TensorFlow モデルを変換してバイナリー入力を受け入れ¶

このガイドでは、TensorFlow モデルを変換し、OpenVINO モデルサーバーでデプロイする方法を説明します。また、入力テンソルをスケーリングし、バイナリー JPEG または PNG 入力データを使用できるように調整する方法についても説明します。

この例では、TensorFlow モデル ResNet が使用されます。
TensorFlow モデルは、model_optimizer ツールを使用して中間表現形式に変換できます。TensorFlow モデルを保存するにはいくつかの形式があります。このガイドでは、SavedModel 形式からの変換について説明します。変換プロセスの詳細については、モデル・オプティマイザーのガイドを参照してください。
バイナリー入力形式には、モデルと ovms 構成に関していくつかの要件があります。詳細については、バイナリー入力のドキュメントを参照してください。

ステップ¶

モデルの準備¶

モデルをダウンロードします。

                                        wget http://download.tensorflow.org/models/official/20181001_resnet/savedmodels/resnet_v2_fp32_savedmodel_NHWC.tar.gz

tar -xvzf resnet_v2_fp32_savedmodel_NHWC.tar.gz 

mv resnet_v2_fp32_savedmodel_NHWC/1538687283/ resnet_v2
rmdir resnet_v2_fp32_savedmodel_NHWC/

注: 準備ではディレクトリーの操作は必要ありませんが、ここではディレクトリーを簡略化して記載しています。

model_optimizer ツールを使用して、TensorFlow のモデルを中間表現形式に変換します。

                                        docker run -u $(id -u):$(id -g) -v ${PWD}/resnet_v2/:/resnet openvino/ubuntu20_dev:2022.1.0 mo --saved_model_dir /resnet/ --output_dir /resnet/models/resnet/1/ --input_shape=[1,224,224,3] --mean_values=[123.68,116.78,103.94] --reverse_input_channels

                                    

注: 一部のモデルでは、--scale などの他のパラメーターが必要な場合があります。

--reverse_input_channels - RGB 順の画像でトレーニングされたモデルに必要です。
--mean_values 、--scale - 入力前処理操作がトポロジーの一部ではなく、前処理が入力データを提供するアプリケーションに依存する場合に指定する必要があります。これらは、変換パラメーター・ガイドで説明されているいくつかの方法で決定できます。この例では、モデルの前処理スクリプトを使用して決定しました。

注: モデルが他の形式で保存されている場合、TensorFlow モデルの中間表現への変換について詳しく知ることができます。

この操作により、${PWD}/resnet_v2/models/resnet/1/ フォルダーにモデルファイルが作成されます。

                                        tree resnet_v2/models/resnet/1
resnet_v2/models/resnet/1
├── saved_model.bin
├── saved_model.mapping
└── saved_model.xml

                                    

OVMS のデプロイ¶

最新の openvino model_server イメージを dockerhub から取得します。

docker pull openvino/model_server:latest

次のコマンドを使用して OVMS をデプロイします。

                                        docker run -d -p 9000:9000 -v ${PWD}/resnet_v2/models:/models openvino/model_server:latest --model_path /models/resnet --model_name resnet --port 9000 --layout NHWC

                                    

注: このモデルにはデフォルトで N... レイアウトがありますが、バイナリー入力機能ではモデルが NHWC または N?HWC レイアウトである必要があるため、--layout NHWC オプションを指定します。

クライアントからの推論要求の実行¶

                                        git clone https://github.com/openvinotoolkit/model_server.git
cd model_server/client/python/ovmsclient/samples
virtualenv .venv
. .venv/bin/activate
pip install -r requirements.txt

python grpc_predict_binary_resnet.py --images_dir ../../../../demos/common/static/images --model_name resnet --service_url localhost:9000

Image ../../../../demos/common/static/images/magnetic_compass.jpeg has been classified as magnetic compass
Image ../../../../demos/common/static/images/pelican.jpeg has been classified as pelican
Image ../../../../demos/common/static/images/gorilla.jpeg has been classified as gorilla, Gorilla gorilla
Image ../../../../demos/common/static/images/snail.jpeg has been classified as snail
Image ../../../../demos/common/static/images/zebra.jpeg has been classified as zebra
Image ../../../../demos/common/static/images/arctic-fox.jpeg has been classified as Arctic fox, white fox, Alopex lagopus
Image ../../../../demos/common/static/images/bee.jpeg has been classified as bee
Image ../../../../demos/common/static/images/peacock.jpeg has been classified as peacock
Image ../../../../demos/common/static/images/airliner.jpeg has been classified as airliner
Image ../../../../demos/common/static/images/golden_retriever.jpeg has been classified as golden retriever

                                    