オンライン構成更新

設定ファイルの更新

OpenVINO モデルサーバーは、構成ファイルへの変更を監視し、実行時に 2 つの異なる方法を使用して変更を適用します。

  1. --file_system_poll_wait_seconds パラメーターで定義された間隔で自動的に実行されます (バージョン 2021.1 で導入)。

  2. オンデマンドで、構成リロード API を使用します (バージョン 2021.3 で導入)。

構成のリロードにより、次の操作がトリガーされます。

  • 新しいモデル、DAG、または MediaPipe グラフが構成ファイルに追加され、ロードされてサービスされます。

  • 構成されたモデルストレージへの変更 (新しいモデルバージョンの追加など) が適用されます。

  • デプロイされたモデル、DAG、および MediaPipe グラフの構成への変更が適用されます。

  • モデル構成が変更されると、すべてのモデルバージョンが再ロードされます。

  • デプロイされたモデル、DAG、または MediaPipe グラフが config.json から削除されると、すでに実行されている推論操作が完了した後、モデルはサーバーから完全にアンロードされます。

  • 変更または削除されたモデルに依存する DAG は再ロードされます。

  • カスタムローダーとカスタム・ノード・ライブラリー構成への変更が適用されます。

構成のリロード中にエラーが発生した際のモデルサーバーの動作:

  • 新しい config.json が JSON スキーマに準拠していない場合、提供されるモデルに変更は適用されません。

  • 新しいモデル、DAG、MediaPipe グラフ、またはカスタムローダーに無効な設定がある場合、次回の設定がリロードされるまで無視されます。間違ったパス (ディレクトリーが存在しないなど)、禁止される設定値、無効な DAG 構造 (例: グラフ内に見つかったサイクル)、無効な MediaPipe グラフ (例: アクセスできない計算機の使用) などにより、設定が無効になる可能性があります。

  • モデル、DAG、MediaPipe グラフ、またはカスタムローダーのリロード中にエラーが発生しても、残りの更新されたモデルのリロードは妨げられません。

  • 構成のリロードによるエラーは内部的にトリガーされ、ログに保存されます。構成リロード API が使用されている場合、応答にはエラーメッセージも含まれます。