ベンチマーク・クライアント (C++)¶

このデモでは、非同期 gRPC API を使用し、(OpenCV 依存関係を除いた) 合成データを使用してパフォーマンスをテストするベンチマーク・クライアントを提供します。

クライアントをビルドするには、このディレクトリーで make コマンドを実行します。すべての依存関係を含む ovms_cpp_benchmark という名前の Docker イメージが作成されます。

                                git clone https://github.com/openvinotoolkit/model_server.git
cd model_server/demos/benchmark/cpp
make

                            

このアプリケーションは、GetModelMetadata エンドポイントをリクエストし、その情報を使用して形状と精度が一致する合成入力を準備することで、OVMS で提供される任意のモデルまたはパイプラインで使用できます。

注: このディレクトリーには、ベンチマーク・クライアントに固有のコードのみが表示されます。他の C++ デモと共有されるコードやすべてのビルド・ユーティリティーは、共通の C++ ディレクトリーに配置されます。

注: エンドポイントは動的形状を使用してはなりません。

使用例¶

モデルの準備¶

resnet50-binary モデルで OVMS を開始します。

                                        curl -L --create-dir https://storage.openvinotoolkit.org/repositories/open_model_zoo/2022.1/models_bin/2/resnet50-binary-0001/FP32-INT1/resnet50-binary-0001.bin -o resnet50-binary/1/model.bin https://storage.openvinotoolkit.org/repositories/open_model_zoo/2022.1/models_bin/2/resnet50-binary-0001/FP32-INT1/resnet50-binary-0001.xml -o resnet50-binary/1/model.xml

                                    

サーバーの準備¶

                                        docker run -d -u $(id -u):$(id -g) -v $(pwd)/resnet50-binary:/model -p 9001:9001 openvino/model_server:latest \
--model_path /model --model_name resnet --port 9001 --layout NCHW

クライアントの開始¶

                                        docker run --rm --network host -e "no_proxy=localhost" ovms_cpp_benchmark ./synthetic_client_async_benchmark --grpc_port=9001 --iterations=2000 --max_parallel_requests=100 --consumers=8 --producers=1

Address: localhost:9001
Model name: resnet
Synthetic inputs:
        0: (1,3,224,224); DT_FLOAT

Running the workload...
========================
        Summary
========================
Total time: 1933ms
Total iterations: 2000
Producer threads: 1
Consumer threads: 8
Max parallel requests: 100
Avg FPS: 1034.66

                                    