パフォーマンスに関する FAQ

パフォーマンス・ベンチマークはどのくらいの頻度で更新されますか?

新しいパフォーマンス・ベンチマークは通常、インテル® ディストリビューションの OpenVINO™ ツールキットの major.minor リリースごとに公開されます。

パフォーマンス・ベンチマークで使用されるモデルはどこで見つけられますか?

使用されるすべてのモデルは、Open Model Zoo の GitHub リポジトリーあります。

ベンチマークに使用されるリストに新しいモデルが追加されることはありますか?

パフォーマンス・ベンチマークで使用されるモデルは、導入シナリオでの一般的な採用と使用に基づいて選択されています。さまざまなワークロードと使用法をサポートする新しいモデルが定期的に追加されます。

ベンチマーク結果を自身で実行するにはどうすればよいですか?

すべてのパフォーマンス・ベンチマークは、インテル® ディストリビューションの OpenVINO™ ツールキットに含まれる benchmark_app というオープンソース・ツールによって生成されます。このツールは、Python および C++ アプリで利用できます。

パフォーマンスのテストに関する簡単な手順については、パフォーマンス値の取得ガイドを参照してください。

ベンチマークに使用されるワークロードの詳しい説明はどこで見つけられますか?

推論で使用される画像サイズは、ベンチマークされたネットワークによって異なります。以下の表は、各ネットワーク・モデルの入力サイズのリストと、そのモデルの詳細情報へのリンクを示しています。

Model	パブリック・ネットワーク	Task	入力サイズ
chatGLM2-6B	THUDM	トランスフォーマー	32K
Llama-2-7b-chat	Meta AI	自動回帰言語	4096
Mistral-7b	Mistral AI	自動回帰言語	4096
Stable-Diffusion-V2-1	Hugginface	潜在拡散モデル	77
bert-base-cased	BERT	質問/回答	128
bert-large-uncased-whole-word-masking-squad-int8-0001	BERT-large	質問/回答	384
efficientdet-d0	Efficientdet	分類	512x512
mask_rcnn_resnet50_atrous_coco	Mask R-CNN ResNet 50 Atrous	オブジェクト・インスタンスのセグメント化	800x1365
mobilenet-v2	Mobilenet V2 PyTorch	分類	224x224
resnet-50	ResNet-50_v1_ILSVRC-2012	分類	224x224
ssd-mobilenet-v1-coco	ssd-mobilenet-V1-coco onnx モデル	オブジェクト検出	300x300
ssd-resnet34-1200-onnx	ssd-resnet34 onnx モデル	オブジェクト検出	1200x1200
unet-camvid-onnx-0001	U-Net	セマンティックのセグメント化	368x480
yolo-v3-tiny	YOLO v3 Tiny	オブジェクト検出	416x416
yolov8n	Yolov8nano	オブジェクト検出	608x608

ベンチマークで使用されるハードウェアはどこで購入できますか?

インテルは世界中のベンダーと提携しています。ハードウェア・メーカーのリストについては、インテル® AI: インプロダクション・パートナーおよびソリューション・カタログを参照してください。ハードウェアを購入する前に、インテル® デベロッパー・クラウド for the Edge を使用してモデルをリモートでテストおよび実行できます。

パフォーマンスや精度を向上させるためモデルを最適化するにはどうすればよいですか?

モデルを最適化するガイドラインと推奨事項のセットは、最適化ガイドで入手できます。さらにサポートが必要な場合は、コミュニティー・フォーラムのディスカッションに参加してください。

VNNI サポートのない CPU でのベンチマークに INT8 最適化モデルが使用されるのはなぜですか?

OpenVINO™ ツールキットのモデル・オプティマイザーを使用した低精度の最適化の利点は、インテル® DL ブーストを通じて VNNI をサポートするプロセッサー以外にも広がっています。FP32 と比較して INT8 はビット幅が狭いため、インテル® CPU はさらに高速にデータを処理できます。そのため、インテル® ハードウェア内でサポートされている低精度の最適化に関わりなく、変換されたモデルでより高いスループットが提供されます。さまざまなネットワーク・モデルと、インテル® Core™ i7-8700T の AVX-2、インテル® Xeon® 5218T およびインテル® Xeon® 8270 の AVX-512 (VNNI) など、選択したインテル® CPU アーキテクチャーのブースト係数を比較します。INT8 および FP32 精度のモデル精度を参照してください。

HW プラットフォームに基づく OpenVINO™ パフォーマンス結果はどこで検索できますか?

さまざまなハードウェア・プラットフォーム上で特定のニューラル・ ネットワーク・モデルのパフォーマンス結果を検索する一般的なアプローチをサポートするため、ウェブサイトの形式が変更されました。異なるニューラル・ネットワーク・モデルをで作業するときに、特定の HW プラットフォームのパフォーマンスを参照するのとは対照的です。

レイテンシーはどのように測定されていますか?

レイテンシーは、OpenVINO™ ランタイムを同期モードで実行することによって測定されます。このモードでは、次のフレームまたは画像が処理される前に、各フレームや画像が一連のステージ (前処理、推論、後処理) 全体を通じて処理されます。この KPI は、単一画像の推論を行うアプリケーションに関連します。例えば、医療用途における超音波画像の分析や、石油ガス産業における地震画像の分析などが挙げられます。他のユースケースには、環境の変化に対応する産業用ロボットの反応や、推論結果に対する素早い反応が求められる自律走行車の障害物回避など、リアルタイム (またはほぼリアルタイム) のアプリケーションが含まれます。