ローカルにデプロイ

OpenVINO ランタイムでの推論の実行は、最も基本的なデプロイ形式であることに注意してください。先に進む前に、適切な推論構成を作成し、アプリケーションを適切に開発する方法を理解してください。

ローカルでのデプロイオプション

  • 既存の事前ビルド済みパッケージへの依存関係を設定します (“集中配布” とも呼ばれます)。

    • Debian/RPM パッケージを使用 - Linux* オペレーティング・システムで推奨される方法。

    • PyPI で PIP パッケージ・マネージャーを使用 - Python ベースのアプリケーションのデフォルトアプローチ。

    • Docker イメージを使用 - アプリケーションを Docker イメージとしてデプロイする場合、事前にビルドされた OpenVINO™ ランタイム Docker イメージを、アプリケーション・コンテナ・イメージの Dockerfile 内のベースイメージとして使用します。OpenVINO Docker イメージの詳細については、Docker からの OpenVINO のインストールを参照してください。

      • さらに、OpenVINO Docker イメージをカスタマイズするには、Docker CI フレームワークを使用して Dockerfile を生成し、イメージをビルドします。

  • OpenVINO の必要な機能をアプリケーションと一緒に取得します (“ローカル・ディストリビューション” とも呼ばれます)。

次の表は、ターゲット・オペレーティング・システムでどのディストリビューション・タイプを使用できるかを示しています。

配布タイプ

オペレーティング・システム

Debian パッケージ

Ubuntu* 18.04 long-term サポート (LTS) 64 ビット; Ubuntu* 20.04 long-term サポート (LTS) 64 ビット

PRM パッケージ

Red Hat* Enterprise Linux8 (64 ビット)

Docker イメージ

Ubuntu* 22.04 long-term サポート (LTS) 64 ビット; Ubuntu* 20.04 long-term サポート (LTS) 64 ビット; Red Hat* Enterprise Linux 8 64 ビット

PyPI (PIP パッケージ・マネージャー)

https://pypi.org/project/openvino を参照

ローカル配布用のライブラリー

すべてのオペレーティング・システム

OpenVINO を静的にビルドしてアプリにリンク

すべてのオペレーティング・システム

主要な配布タイプの構成

OpenVINO パッケージの構成は、ディストリビューションの種類によって異なる場合があります。例えば、OpenVINO の PyPI ディストリビューションには、すべてのランタイム・ライブラリーとプラグインを含む単一の OpenVINO パッケージがありますが、ローカル・ディストリビューションは、より多彩なコンポーネントを提供するより構成可能なタイプです。以下は、OpenVINO ランタイムパッケージに含まれるライブラリーの詳細です。

../_images/deployment_simplified.svg
  • メイン・ライブラリー openvino は、C++ アプリケーションのリンクに使用されます。C 言語アプリケーションでは、配布に openvino_c も必要です。ライブラリーは OpenVINO API 2.0 を含んでいます。

  • openvino_intel_cpu_plugin (openvino_.+_plugin パターンに一致) などの “オプション” プラグイン・ライブラリーは、特定のデバイスでの推論機能や、ヘテロジニアス実行マルチデバイス実行などの機能を提供するために使用されます。

  • openvino_ir_frontend (openvino_.+_frontend に一致) などの “オプション” プラグイン・ライブラリーは、OpenVINO IR、TensorFlow、ONNX、PaddlePaddle などのさまざまなファイル形式のモデルを読み取る機能を提供するために使用されます。

ここで “オプション” という用語は、アプリケーションがプラグインで提供される機能を使用しない場合、最終的なディストリビューションではプラグイン・ライブラリーまたはプラグインを含むパッケージが必要ないことを意味します。

ローカル・ディストリビューションをビルドするには、より詳細な情報が必要になります。情報は、ローカル・ディストリビューション専用のライブラリーに記載されています。

ターゲットの OpenVINO デバイスに応じて、デプロイされたマシンに次の構成が必要になる場合があります:GPU 構成