自動モデル再ロードによる動的バッチサイズ#

注: この機能は非推奨です。代わりにモデルの動的形状を使用してください。

はじめに

このガイドでは、さまざまなバッチサイズの入力データを受け入れるようにモデルを構成する方法を説明します。この例では、現在設定されているバッチサイズとは異なるバッチサイズの要求を受信するたびに、新しいバッチサイズでモデルを再ロードすることで行われます。

モデルのリロードによる動的バッチサイズの有効化は、batch_size パラメーターを auto に設定するのと同じくらい簡単です。動的バッチサイズを構成して使用するには以下を利用します:

  • 希望するバッチサイズで推論を要求するのに使用できる、Python grpc_predict_resnet.py のクライアントの例。

  • サンプルの resnet モデル。

grpc_predict_resnet.py で resnet モデルを使用する場合、スクリプトはサーバーからの出力を処理し、ラベルを含む事前に準備されたファイルを使用して推論結果を表示します。このファイル内では、各画像に正しい分類結果を示す番号が割り当てられています。

ステップ#

OpenVINO™ モデルサーバー GitHub リポジトリーのクローンを作成し、model_server ディレクトリーに移動します。

git clone https://github.com/openvinotoolkit/model_server.git 
cd model_server

事前トレーニング済みモデルをダウンロード#

モデルファイルをダウンロードして、models ディレクトリーに保存します。

mkdir -p models/resnet/1 
curl https://storage.openvinotoolkit.org/repositories/open_model_zoo/2022.1/models_bin/2/resnet50-binary-0001/FP32-INT1/resnet50-binary-0001.bin https://storage.openvinotoolkit.org/repositories/open_model_zoo/2022.1/models_bin/2/resnet50-binary-0001/FP32-INT1/resnet50-binary-0001.xml -o models/resnet/1/resnet50-binary-0001.bin -o models/resnet/1/resnet50-binary-0001.xml

最新モデルのサーバーイメージをプル#

OpenVINO™ モデルサーバーの最新バージョンを Docker Hub から取得します :

docker pull openvino/model_server:latest

モデルと動的バッチサイズを使用してモデルサーバーのコンテナを起動#

前の手順で取得したイメージを使用してサーバーのコンテナを起動し、models ディレクトリーをマウントします:

docker run --rm -d -v $(pwd)/models:/models -p 9000:9000 openvino/model_server:latest --model_name resnet --model_path /models/resnet --batch_size auto --port 9000

クライアントの実行#

cd client/python/tensorflow-serving-api/samples 
virtualenv .venv ..venv/bin/activate 
pip install -r requirements.txt 

python grpc_predict_resnet.py --grpc_port 9000 --images_numpy_path ../../imgs.npy --labels_numpy_path ../../lbs.npy --input_name 0 --output_name 1463 --model_name resnet --transpose_input False --batchsize 1 > b1.txt && python grpc_predict_resnet.py --grpc_port 9000 --images_numpy_path ../../imgs.npy --labels_numpy_path ../../lbs.npy --input_name 0 --output_name 1463 --model_name resnet --transpose_input False --batchsize 8 > b8.txt;

注: クライアントの実行結果は、現在のディレクトリーの .txt ファイルにあります。

スクリプトの出力#

b1.txt に保存された batchsize 1 の出力:

cat b1.txt 
Image data range: 0.0 : 255.0 
Start processing: 
        Model name: resnet 
        Iterations: 10 
        Images numpy path: ../../imgs.npy 
        Numpy file shape: (10, 3, 224, 224) 

Iteration 1; Processing time: 21.16 ms; speed 47.25 fps 
imagenet top results in a single batch: 
         0 airliner 404 ; Correct match. 
Iteration 2; Processing time: 8.08 ms; speed 123.79 fps 
imagenet top results in a single batch: 
         0 Arctic fox, white fox, Alopex lagopus 279 ; Correct match.
Iteration 3; Processing time: 104.76 ms; speed 9.55 fps 
imagenet top results in a single batch: 
         0 bee 309 ; Correct match.
Iteration 4; Processing time: 8.86 ms; speed 112.83 fps 
imagenet top results in a single batch: 
         0 golden retriever 207 ; Correct match.
Iteration 5; Processing time: 19.05 ms; speed 52.48 fps 
imagenet top results in a single batch: 
        0 gorilla, Gorilla gorilla 366 ; Correct match.
Iteration 6; Processing time: 9.31 ms; speed 107.47 fps 
imagenet top results in a single batch: 
        0 magnetic compass 635 ; Correct match.
Iteration 7; Processing time: 7.10 ms; speed 140.81 fps 
imagenet top results in a single batch: 
        0 peacock 84 ; Correct match.
Iteration 8; Processing time: 6.83 ms; speed 146.50 fps 
imagenet top results in a single batch: 
        0 pelican 144 ; Correct match.
Iteration 9; Processing time: 6.74 ms; speed 148.26 fps 
imagenet top results in a single batch: 
         0 snail 113 ; Correct match.
Iteration 10; Processing time: 7.08 ms; speed 141.26 fps 
imagenet top results in a single batch: 
         0 zebra 340 ; Correct match. 

processing time for all iterations 
average time: 19.50 ms; average speed: 51.28 fps 
median time: 8.00 ms; median speed: 125.00 fps 
max time: 104.00 ms; min speed: 9.62 fps 
min time: 6.00 ms; max speed: 166.67 fps 
time percentile 90: 29.30 ms; speed percentile 90: 34.13 fps 
time percentile 50: 8.00 ms; speed percentile 50: 125.00 fps 
time standard deviation: 28.63 
time variance: 819.45 
Classification accuracy: 100.00

b8.txt に保存された batchsize 8 の出力:

cat b8.txt 
Image data range: 0.0 : 255.0 
Start processing: 
        Model name: resnet 
        Iterations: 1 
        Images numpy path: ../../imgs.npy 
        Numpy file shape: (10, 3, 224, 224) 

Iteration 1; Processing time: 121.12 ms; speed 66.05 fps 
imagenet top results in a single batch: 
         0 airliner 404 ; Correct match. 
         1 Arctic fox, white fox, Alopex lagopus 279 ; Correct match. 
         2 bee 309 ; Correct match. 
         3 golden retriever 207 ; Correct match. 
         4 gorilla, Gorilla gorilla 366 ; Correct match. 
         5 magnetic compass 635 ; Correct match. 
         6 peacock 84 ; Correct match. 
         7 pelican 144 ; Correct match. 

processing time for all iterations 
average time: 121.00 ms; average speed: 66.12 fps 
median time: 121.00 ms; median speed: 66.12 fps 
max time: 121.00 ms; min speed: 66.12 fps 
min time: 121.00 ms; max speed: 66.12 fps 
time percentile 90: 121.00 ms; speed percentile 90: 66.12 fps 
time percentile 50: 121.00 ms; speed percentile 50: 66.12 fps 
time standard deviation: 0.00 
time variance: 0.00 
Classification accuracy: 100.00

各反復では、各推論要求の結果とバッチ内の各画像の詳細が表示されます。

モデルのリロードには時間がかかり、リロード中に新しい要求がキューに投入されることに注意してください。モデルを頻繁にリロードすると、全体のパフォーマンスに悪影響を及ぼす可能性があります。