OpenVINO について¶
OpenVINO は、さまざまなディープラーニング・モデルをシンプルかつ効率的に導入するためのツールキットです。このセクションでは、製品と、製品がサポートするソフトウェアおよびハードウェア・ソリューションに関する情報が記載されています。
OpenVINO (Open Visual Inference and Neural network Optimization) は、ユーザー・アプリケーションのディープラーニング・モデルを最適化、高速化、デプロイするように設計されたオープンソース・ソフトウェア・ツールキットです。OpenVINO は、CPU (x86 および Arm)、GPU、NPU など幅広いインテルのハードウェア・プラットフォームで効率良く動作するようにインテルによって開発されました。
機能¶
OpenVINO の主な目的の 1 つは、ユーザー・アプリケーションにおけるディープラーニング・モデルの導入を合理化することです。モデルの推論を最適化および高速化します。これは、生成 AI、大規模言語モデル、オブジェクト検出、分類、セグメント化などのユースケースでは重要です。
-
OpenVINO は、大規模言語モデルの重み圧縮や最適化インテル Optimum と Hugging Face の統合など、トレーニング・ステージとトレーニング後のステージの両方で複数の最適化メソッドを提供します。
-
サポートされているモデルは、直接ロードすることも、OpenVINO 形式に変換してパフォーマンスを向上することもできます。サポートされるフレームワークには、ONNX、PyTorch、TensorFlow、TensorFlow Lite、Keras、PaddlePaddle が含まれます。
-
OpenVINO は、さまざまなハードウェア・プラットフォーム上でディープラーニング・モデルを加速し、リアルタイムでの効率的な推論を保証します。
-
モデルは、OpenVINO ランタイムを使用してローカルにデプロイすることも、モデルサーバーにデプロイすることもできます。ランタイムは、C および Python バインディングを備えた C++ ライブラリーのセットであり、共通 API によって推論ソリューションを提供します。モデルサーバーにより、外部リソースを使用した迅速なモデル推論が可能です。
アーキテクチャー¶
OpenVINO がどのように機能するか理解するには、アーキテクチャーとコア・コンポーネントに関する開発者向けドキュメントを参照してください。
OpenVINO エコシステム¶
ツールキットには、モデルの最適化とランタイムの主要コンポーネントに加えて、以下も含まれています。
ニューラル・ネットワーク圧縮フレームワーク (NNCF) - 拡張された OpenVINO™ 推論のためのツールであり、精度の低下を最小限に抑えながらパフォーマンスを向上させます。
Openvino ノートブック - Jupyter Python ノートブックは、ツールキットの主要な機能を説明します。
OpenVINO モデルサーバー - サービスを提供するマイクロサービスを介してスケーラビリティーを可能にするサーバー。
OpenVINO トレーニング拡張 – ディープラーニング・モデルをトレーニングし、最適化された推論のために OpenVINO™ ツールキットを使用してモデルを変換する便利な環境です。
データセット管理フレームワーク (Datumaro) - データセットをビルド、変換、分析するためのツール。
コミュニティー¶
OpenVINO コミュニティーは、オープンソースのツールキットの成長と開発において重要な役割を果たしています。ユーザーは、次のチャネルにアクセスして OpenVINO に貢献し、サポートを受けることができます。