推論デバイスのサポート¶
OpenVINO™ ランタイムを使用すると、選択したデバイスを使用してディープラーニング・モデルを実行できます: CPU、GPU、NPU。
OpenVINO では、特定のデバイスで推論を実行する以外に、推論モードで自動推論を行うオプションも提供しています。
自動デバイス選択 - 特定のタスクに使用可能な最適なデバイスを自動的に選択します。複数のデバイスでの同時推論など、追加オプションと最適化が提供されます。
ヘテロジニアス推論 - 例えば、1 つのデバイスが特定の操作をサポートしていない場合、推論を複数のデバイス間で自動的に分割できます。
-
マルチデバイス推論 - 複数のデバイスで推論を実行します。現在、このモードは従来のソリューションと見なされます。自動デバイス選択を使用することを推奨します。
自動バッチ処理 - 推論要求を自動的にグループ化し、デバイスの使用率を向上させます。
機能のサポートと API カバー範囲¶
サポートされる機能 |
CPU |
GPU |
NPU |
|---|---|---|---|
はい |
はい |
いいえ |
|
はい |
はい |
一部サポート |
|
いいえ |
はい |
いいえ |
|
はい |
はい |
いいえ |
|
はい |
一部サポート |
はい |
|
はい |
一部サポート |
いいえ |
|
はい |
いいえ |
はい |
|
はい |
はい |
いいえ |
|
はい |
いいえ |
はい |
|
はい |
はい |
いいえ |
API カバー範囲 |
plugin |
infer_request |
compiled_model |
|---|---|---|---|
CPU |
80.0% |
100.0% |
89.74% |
CPU_ARM |
80.0% |
100.0% |
89.74% |
GPU |
84.0% |
100.0% |
100.0% |
dGPU |
82.0% |
100.0% |
100.0% |
NPU |
16.0% |
0.0% |
10.26% |
AUTO |
40.0% |
100.0% |
97.44% |
BATCH |
26.0% |
100.0% |
58.97% |
MULTI |
30.0% |
100.0% |
58.97% |
HETERO |
30.0% |
99.23% |
58.97% |
|
2024年1月8日時点の OpenVINO 2023.3 で、デバイスによってサポートされている API の割合。
|
|||
ベンチマークに使用されるデバイスと同様のデバイスには、インテル® デベロッパー・クラウド for the Edge を使用してアクセスできます。インテル® デベロッパー・クラウド for the Edge は、インテル® ハードウェアおよびインテル® ディストリビューションの OpenVINO™ ツールキットの最新バージョンにアクセスできるリモート開発環境です。詳細を確認またはこちらから登録できます。
関連する構成のセットアップについては、顧客アプリケーションとの統合 (ステップ 3 “入力と出力の構成”) を参照してください。
注
OpenVINO 2024.0 リリースでは、GNA のサポートが終了しました。引き続き使用するには、2023.3 (LTS) バージョンを使用してください。
OpenVINO™ 2023.0 リリースでは、以下のサポートがキャンセルされました。 - インテル® Movidius™ Myriad™ X を搭載したインテル® ニューラル・コンピュート・スティック 2 - インテル® ビジョン・アクセラレーター・デザイン (インテル Movidius™ VPU 搭載)
ハードウェアで MYRIAD および HDDL プラグインを引き続き使用するには、OpenVINO 2022.3 (LTS) バージョンを使用してください。