OpenVINO ワークフロー

OpenVINO は、ユースケースや個人またはプロジェクトの状況に応じて、複数のワークフローを提供します。このセクションでは、モデルの準備から最適化、推論の実行、ソリューションのデプロイに至るまでの手順を詳しく説明します。

サポートされているモデル形式のいずれかでモデルを取得したら、続行方法を決定できます。

便利なワークフロー

このアプローチは、モデルを直接実行することを前提としています。

パフォーマンス指向のワークフロー (実働環境に推奨)

このアプローチでは、モデルを OpenVINO IR に明示的に変換することを前提としています。つまり、変換ステージは最終アプリケーションの一部ではありません。

OpenVINO は、モデルの読み取り、変換、保存に次の関数を使用します。

read_model

• ファイルから ov.Model を作成します。

• サポートされるファイル形式: OpenVINO IR、ONNX、PaddlePaddle、TensorFlow および TensorFlow Lite。PyTorch ファイルは直接サポートされません。

• OpenVINO ファイルは直接読み取られ、他の形式は自動的に変換されます。

compile_model

• ファイルまたは ov.Model オブジェクトから ov.CompiledModel を作成します。

• サポートされるファイル形式: OpenVINO IR、ONNX、PaddlePaddle、TensorFlow および TensorFlow Lite。PyTorch ファイルは直接サポートされません。

• OpenVINO ファイルは直接読み取られ、他の形式は自動的に変換されます。

convert_model

• ファイルまたは Python メモリー・オブジェクトから ov.Model を作成します。

• サポートされるファイル形式: ONNX、PaddlePaddle、TensorFlow および TensorFlow Lite。

• サポートされるフレームワーク・オブジェクト: PaddlePaddle、TensorFlow および PyTorch。

• この方法は Python API でのみ使用できます。

save_model

• ov.Model を OpenVINO IR 形式で保存します。

• デフォルトで重みを FP16 に圧縮します。

• この方法は Python API でのみ使用できます。

モデルの準備

事前トレーニングされたモデルを OpenVINO IR に変換する方法を学びます。

モデルの最適化と圧縮

トレーニング中の圧縮とトレーニング後の量子化の両方に複数の最適化手法を適用することで、より優れた推論パフォーマンスを達成するモデルの最適化方法を学びます。

推論の実行

デプロイメント、およびディープラーニング・モデルを実行する最も迅速な方法を確認できます。

デプロイオプション 1: OpenVINO ランタイムを使用

モデルをローカルにデプロイし、アプリケーションからファイルを直接読み取り、システムで利用可能なリソースを利用します。

ローカルシステムへのデプロイでは、推論の実行セクションで説明されている手順を使用します。

デプロイオプション 2: モデルサーバーを使用

モデルをリモートでデプロイし、アプリケーションを推論サーバーに接続し、外部リソースを利用します。アプリのパフォーマンスに影響を与えることはありません。

OpenVINO モデルサーバーへのデプロイは迅速であり、推論の実行セクションで説明されている追加の手順は必要ありません。

デプロイオプション 3: PyTorch 2.0 での torch.compile の使用

PyTorch ネイティブ・アプリケーションで OpenVINO を使用して PyTorch モデルをデプロイします。