デモ

OpenVINO モデルサーバーのデモは、モデルサーバーの使用法を紹介し、その機能をデモンストレーションするために作成されています。

新しい生成 AI デモをチェック

• テキスト生成

• Stable Diffusion

新しいマルチモーダル・デモ:

• CLIP イメージの分類

実際のユースケースで OpenVINO モデルサーバーを使用する完全なステップバイステップの例は、以下のリストを確認してください。

Python クライアントを使用する場合

デモ	説明
テキスト生成	gRPC API 単項またはインタラクティブ・ストリーミング・エンドポイント経由でプロンプトを送信する一般的な LLM の 1 つを使用してテキストを生成します。
Stable Diffusion	gRPC API 単項またはインタラクティブ・ストリーミング・エンドポイント経由でプロンプトを送信する安定拡散モデルを使用してイメージを生成します。
CLIP イメージの分類	マルチノード MediaPipe グラフに埋め込まれた CLIP モデルを使用して、提供されたラベルに従って画像を分類します。
Seq2seq 変換	gRPC API 経由で seq2seq モデルを使用してテキストを翻訳します。
Age gender 認識	gRPC API 経由で年齢性別認識モデルを使用して JPEG 画像に対して予測を実行します。
リアルタイムの横書きテキスト検出	gRPC API 経由で横書きテキスト検出モデルを使用して、カメラストリームで予測を実行します。このデモでは、horizontal_ocr カスタムノードとデマルチプレクサーを備えたパイプラインを使用します。
光学文字認識パイプライン	gRPC API を介した中間結果処理用のカスタムノードを備えたテキスト認識モデルとテキスト検出モデルのパイプラインを使用して、JPEG 画像に対して予測を実行します。このデモでは、east_ocr カスタムノードとデマルチプレクサーを備えたパイプラインを使用します。
顔認識	gRPC API 経由で顔認識モデルを使用して、JPEG 画像に対して予測を実行します。
シングルフェイス解析パイプライン	gRPC API 経由で年齢性別認識モデルと感情認識モデルのシンプルなパイプラインを使用して JPEG 画像に対して予測を実行し、単一の顔の画像を分析します。このデモはパイプラインを使用します。
マルチフェイス解析パイプライン	gRPC API 経由で年齢性別認識モデルと感情認識モデルのパイプラインを使用して JPEG 画像に対して予測を実行し、画像から複数の顔を抽出し、それらすべてを分析します。このデモでは、インテルの Model Zoo のオブジェクト検出カスタムノードとデマルチプレクサーを備えたパイプラインを使用します。
モデル・アンサンブル・パイプライン	複数の画像分類モデルを 1 つのパイプラインに結合し、結果を集約して分類精度を向上させます。
画像分類	gRPC API 経由で画像分類モデルを使用して、JPEG 画像に対して予測を実行します。
ONNX モデルを使用	2 つの前処理バリアントで gRPC API 経由で画像分類 ONNX モデルを使用して、JPEG 画像に対して予測を実行します。このデモでは、image_transformation custom node カスタムノードでパイプラインを使用します。
TensorFlow モデルを使用	直接インポートされた TensorFlow モデルを使用して画像分類を実行します。
人物、車両、自転車の検出	gRPC API 経由で人物、車両、自転車検出モデルを使用して、ビデオファイルまたはカメラストリームに対して予測を実行します。
車両分析パイプライン	gRPC API を介した中間結果処理用のカスタムノードを備えた車両検出および車両属性認識モデルのパイプラインを使用して、車両を検出し、その属性を認識します。このデモでは、model_zoo_intel_object_detection custom node カスタムノードでパイプラインを使用します。
リアルタイム・ストリーム分析	カスタムの前後処理ルーチン用の汎用アプリケーション・テンプレートと、ブラウザーに予測を表示するシンプルな結果ビジュアライザーを使用して、RTSP ビデオストリームをリアルタイムで分析します。
PaddlePaddle によるセグメント化	PaddlePaddle モデルを使用して画像のセグメント化を実行します。
BERT による自然言語処理	ナレッジソースと照会を提供し、gRPC API 経由で質問応答のユースケースに BERT モデルを使用します。このデモでは動的形状機能を使用します。
GPT-J 因果言語モデリング	文の始まりを書き、gRPC API 経由で GPT-J を続行させます。このデモでは動的形状機能を使用します。
ユニバーサル文節エンコーダー・モデルで文字列形式の入力データを使用	モデル入力としてテキストを使用して AI モデルを処理します。
ベンチマーク・アプリケーション	トラフィックを生成し、OpenVINO モデルサーバーで提供されるモデルのパフォーマンスを測定します。
顔のブラー処理 (Face Blur) パイプライン	gRPC API を介した中間結果処理用のカスタムノードを備えたオブジェクト検出モデルのパイプラインを使用して、顔を検出し、画像をぼかします。このデモでは、face_blur カスタムノードでパイプラインを使用します。

C++ クライアントを使用する場合

デモ	説明
C API アプリケーション	OpenVINO モデルサーバーの C API を使用して C および C++ アプリケーションを作成する方法を示します。
画像分類	gRPC API 経由で画像分類モデルを使用して、JPEG 画像に対して予測を実行します。
ベンチマーク・アプリケーション	トラフィックを生成し、OpenVINO モデルサーバーで提供されるモデルのパフォーマンスを測定します。

Go クライアントを使用する場合

デモ	説明
画像分類	gRPC API 経由で画像分類モデルを使用して、JPEG 画像に対して予測を実行します。