モデルバージョンのポリシー¶

注: これは単一モデルのみに関係します。DAG パイプラインと MediaPipe グラフはバージョン管理されません。

モデル・バージョン・ポリシーは、OpenVINO モデルサーバーによって提供されるモデルのバージョンを決定します。このパラメーターを使用すると、サーバーのメモリー消費を制御し、サーバーの起動時にモデル・リポジトリーに何が存在するかに関係なく、どのバージョンを使用するかを決定します。model_version_policy パラメーターはオプションです。デフォルトでは、サーバーはモデルの最新バージョンのみを提供します。CLI を使用するパラメーターおよび設定ファイル内で受け入れられるパラメーターの形式は JSON です。

受け入れられる値:

                                {"all": {}}

{"latest": { "num_versions": Integer}}

{"specific": { "versions": List }}

例:

                                {"latest": { "num_versions": 2 }} # server will serve only 2 latest versions of model

{"specific": { "versions": [1, 3] }} # server will serve only 1 and 3 versions of given model

{"all": {}} # server will serve all available versions of given model

モデルバージョンのアップデート¶

モデルのバージョンは、モデル・リポジトリー内のファイルシステムの変更を監視することによってオンラインで更新されます。OpenVINO モデルサーバーは、モデルファイルを含む新しい数値サブフォルダーが追加されると、新しいバージョンをリストに追加します。デフォルトで提供されるバージョンは、最も大きい番号のサブディレクトリーに切り替えられます。
モデルバージョンがファイルシステムから削除されると、サーバー上で使用できなくなり、RAM 割り当てが解放されます。デプロイされたモデルのバージョンファイルの更新は検出されず、提供時に変更がトリガーされることもありません。
デフォルトでは、モデルサーバーは新しいバージョンと削除されたバージョンを 1 秒間隔で検出します。監視の頻度は、-file_system_poll_wait_seconds パラメーターを設定することで変更できます。ゼロに設定すると、更新は無効になります。