OpenVINO™ GenAI のインストール#

OpenVINO GenAI は OpenVINO のフレーバーであり、生成 AI モデルの推論実行を簡素化することを目的としています。生成プロセスの複雑性を隠匿し、必要なコードの量を最小限に抑えます。モデルと入力コンテキストを OpenVINO に直接提供できるようになりました。OpenVINO は入力テキストのトークン化を実行し、選択したデバイスで生成ループを実行し、生成されたテキストを返します。クイックスタート・ガイドについては、GenAI API ガイドを参照してください。

GenAI の動作を確認するには、次の Jupyter* Notebook を参照してください: LLM を活用したチャットボットおよび LLM 指示に従うパイプライン。

OpenVINO GenAI フレーバーは、PyPI およびアーカイブのディストリビューションを介してインストールできます。OpenVINO GenAI を構築する詳細なガイドは、OpenVINO GenAI リポジトリーで入手できます。

PyPI のインストール#

PyPI 経由で OpenVINO の GenAI フレーバーをインストールするには、標準のインストール手順に従いますが、openvino の代わりに openvino-genai パッケージを使用します:

python -m pip install openvino-genai

アーカイブのインストール#

OpenVINO GenAI アーカイブパッケージには、OpenVINO™ ランタイムとトークナイザーが含まれています。アーカイブファイルから OpenVINO の GenAI フレーバーをインストールするには、システムの標準インストール手順に従いますが、標準パッケージファイルを使用する代わりに、OpenVINO GenAI を含むファイルをダウンロードします。

Linux*#

x86_64

Ubuntu* 24.04

curl -L https://storage.openvinotoolkit.org/repositories/openvino_genai/packages/2024.3/linux/openvino_genai_ubuntu24_2024.3.0.0_x86_64.tar.gz --output openvino_genai_2024.3.0.0.tgz tar -xf openvino_genai_2024.3.0.0.tgz

Ubuntu* 22.04

curl -L https://storage.openvinotoolkit.org/repositories/openvino_genai/packages/2024.3/linux/openvino_genai_ubuntu22_2024.3.0.0_x86_64.tar.gz --output openvino_genai_2024.3.0.0.tgz tar -xf openvino_genai_2024.3.0.0.tgz

Ubuntu* 20.04

curl -L https://storage.openvinotoolkit.org/repositories/openvino_genai/packages/2024.3/linux/openvino_genai_ubuntu20_2024.3.0.0_x86_64.tar.gz --output openvino_genai_2024.3.0.0.tgz tar -xf openvino_genai_2024.3.0.0.tgz

ARM* 64 ビット

curl -L https://storage.openvinotoolkit.org/repositories/openvino_genai/packages/2024.3/linux/openvino_genai_ubuntu20_2024.3.0.0_arm64.tar.gz -O openvino_genai_2024.3.0.0.tgz tar -xf openvino_genai_2024.3.0.0.tgz

Windows*#

cd <user_home>/Downloads curl -L https://storage.openvinotoolkit.org/repositories/openvino_genai/packages/2024.3/windows/openvino_genai_windows_2024.3.0.0_x86_64.zip --output openvino_genai_2024.3.0.0.zip

macOS*#

x86* 64 ビット

curl -L https://storage.openvinotoolkit.org/repositories/openvino_genai/packages/2024.3/macos/openvino_genai_macos_12_6_2024.3.0.0_x86_64.tar.gz --output openvino_genai_2024.3.0.0.tgz tar -xf openvino_genai_2024.3.0.0.tgz

ARM* 64 ビット

curl -L https://storage.openvinotoolkit.org/repositories/openvino_genai/packages/2024.3/macos/openvino_genai_macos_12_6_2024.3.0.0_arm64.tar.gz --output openvino_genai_2024.3.0.0.tgz tar -xf openvino_genai_2024.3.0.0.tgz

完全なガイドは次のとおりです: Linux*、Windows* および macOS*。