この日本語マニュアルは、https://docs.openvino.ai/2024/home.html (英語) で公開されている「OpenVINO 2024.3 ドキュメント」(2024/8/1 時点) をインテル社の許可を得て iSUS (IA Software User Society) が翻訳した参考訳です。原文は更新される可能性があります。原文と翻訳文の内容が異なる場合は原文を優先してください。
本ドキュメント内で使用されている製品名は正式名称ではありません。正式名称については各社のページをご確認ください。また、用語や表記など、インテル社のスタイル・ガイドラインに沿っていない可能性があることを予めご了承ください。本ドキュメントには一部英語のページが残っています。
OpenVINO 2024.3#
OpenVINO は、クラウドからエッジまでディープラーニング・モデルを最適化および展開するためのオープンソース・ツールキットです。PyTorch、TensorFlow、ONNX などの一般的なフレームワークのモデルを使用して、生成 AI、ビデオ、オーディオ、言語などさまざまなユースケースにわたってディープラーニング推論を加速します。モデルを変換および最適化し、オンプレミスとデバイス上、ブラウザー内またはクラウド内のさまざまなインテル® ハードウェアと環境にデプロイします。
クイックスタート・ガイド [PDF] (英語) をご覧ください。
ここから開始#
主な機能#
OpenVINO ランタイムに直接リンクして推論をローカルで実行することも、OpenVINO モデルサーバーを使用して別のサーバーや Kubernetes 環境からモデル推論を提供することもできます。
アプリケーションを一度作成すれば、どこにでもデプロイでき、ハードウェアから最大限のパフォーマンスを引き出すことができます。自動デバイス検出により、導入の柔軟性を高めます。OpenVINO ランタイムは、Linux*、Windows*、macOS* をサポートし、Python、C++、C API を提供します。使いやすい言語と OS を使用できます。
外部依存関係を最小限にするように設計されているため、アプリケーションのフットプリントが削減され、インストールと依存関係の管理が容易です。一般的なパッケージ・マネージャーを使用して、アプリケーションの依存関係を容易にインストールおよびアップグレードできます。特定のモデルをカスタムコンパイルすることで、最終的なバイナリーサイズはさらに小さくなります。
高速起動が必要なアプリケーションでは、OpenVINO は最初の推論には CPU を使用し、モデルがコンパイルされメモリーにロードされると別のデバイスに切り替えます。コンパイルされたモデルはキャッシュされ、起動時間がさらに短縮されます。