モデルサーバーの機能¶
Python コードの実行¶
カスタム処理を実行する Python コードを作成し、モデルサーバーで提供します。データ処理やデータサイエンスなどの分野で Python モジュールの豊富な環境を活用して、C++ コードを記述することなく柔軟なソリューションを作成できます。
モデルのパイプラインを提供¶
パイプライン内の複数モデルを接続し、有向非巡回グラフ (DAG) スケジューラーを使用してデータ転送のオーバーヘッドを削減します。カスタムノードの C/C++ 動的ライブラリーを使用して、モデル推論とデータ変換を実装します。
モデルのバージョンポリシー¶
モデル・リポジトリー構造により、数値バージョン・ディレクトリーの追加または削除が可能になり、サーバーはどのモデルが提供されるかを自動的に調整します。
すべてのモデル、特定のモデルまたはモデルのセット、またはモデルの最新バージョンのみ (デフォルト設定) を提供するようにモデル・バージョン・ポリシーを設定することで、どのモデルバージョンが提供されるかを制御します。
実行時にモデル構成を変更¶
OpenVINO モデルサーバーは、構成ファイルの変更を定期的にチェックし、実行時に変更を適用します。これは、モデル構成を変更 (例えば、モデルが提供されるデバイスを変更する)、新しいモデルを追加、不要になったモデルを完全に削除できることを意味します。これらの変更は、サービスを中断することなく適用されます。
モデルサーバー C API¶
モデルサーバーを介したプロセス推論を使用して、アプリケーション内で OpenVINO モデルサーバーのモデル管理およびモデル・パイプライン機能を活用します。これにより、既存の OVMS 機能を再利用して、ネットワーク・オーバーヘッドなしで推論をローカルで実行できます。