サポートされる推論デバイス#

OpenVINO™ ランタイムを使用すると、選択したデバイスを使用してディープラーニング・モデルを実行できます: CPU、GPU、NPU。

OpenVINO では、特定のデバイスで推論を実行する以外に、推論モードで自動推論を行うオプションも提供しています。

• 自動デバイス選択 - 特定のタスクに使用可能な最適なデバイスを自動的に選択します。複数のデバイスでの同時推論など、追加オプションと最適化が提供されます。

• ヘテロジニアス推論 - 例えば、1 つのデバイスが特定の操作をサポートしていない場合、推論を複数のデバイス間で自動的に分割できます。

• (レガシー) マルチデバイス推論 - 複数のデバイスで推論を実行します。現在、このモードは従来のソリューションとみなされます。自動デバイス選択を使用することを推奨します。

• 自動バッチ処理 - 推論要求を自動的にグループ化し、デバイスの使用率を向上させます。