AI PC 向けの最も効率的な大規模言語モデル#

このページは定期的に更新され、インテル® Core™ Ultra プロセッサー・ファミリーおよび AI PC 上で最高のパフォーマンスを発揮する LLM を特定するのに役立ちます。

以下の表は、インテル® Core™ Ultra 7-165H ベースのシステムの内蔵 GPU で実行される、大規模言語モデルの主要なパフォーマンス指標を示しています。

OpenVINO

Search:

モデル名	スループット (トークン/秒、2 番目のトークン)	最初のトークンのレイテンシー (ミリ秒)	使用される最大 RSS メモリー (MB)	入力トークン	出力トークン	モデルの精度	ビーム	バッチサイズ	フレームワーク
Baichuan2-7b-chat	9.8	4668	6724	1024	128	INT4	1	1	PT
ChatGLM3-6b	16.5	3569	6741	1024	128	INT4	1	1	PT
Codegen25-7b	13.3	3982	6732	1024	128	INT4	1	1	PT
Dolly-v2-3b	15.8	6891	6731	1024	128	INT4	1	1	PT
Falcon-7b-instruct	14.5	4552	7033	1049	128	INT4	1	1	PT
GPT-j-6b	13.2	7213	6882	1024	128	INT4	1	1	PT
Llama-2-7b-chat	12.3	4205	6906	1024	128	INT4	1	1	PT
Llama-3-8b	12.8	4356	6953	1024	128	INT4	1	1	PT
Llama-7b	11.7	4315	6927	1024	128	INT4	1	1	PT
Mistral-7b-v0.1	10.5	4462	7242	1007	128	INT4	1	1	PT

Showing 1 to 10 of 21 entries

OpenVINO™ モデルサーバー

Search:

製品	モデル	フレームワーク	精度	ノード	要求レート	スループット [tok/秒]	TPOT 平均レイテンシー
ovms	meta-llama/Llama-2-7b-chat-hf	PT	INT8-CW	インテル® Xeon® Platinum 8380	0.2	92.75	75.75
ovms	meta-llama/Llama-2-7b-chat-hf	PT	INT8-CW	インテル® Xeon® Platinum 8380	0.3	137.89	98.6
ovms	meta-llama/Llama-2-7b-chat-hf	PT	INT8-CW	インテル® Xeon® Platinum 8380	0.4	182.68	144.36
ovms	meta-llama/Llama-2-7b-chat-hf	PT	INT8-CW	インテル® Xeon® Platinum 8380	0.5	227.02	238.54
ovms	meta-llama/Llama-2-7b-chat-hf	PT	INT8-CW	インテル® Xeon® Platinum 8380	0.6	259.06	679.07
ovms	meta-llama/Llama-2-7b-chat-hf	PT	INT8-CW	インテル® Xeon® Platinum 8380	0.7	267.24	785.75
ovms	meta-llama/Llama-2-7b-chat-hf	PT	INT8-CW	インテル® Xeon® Platinum 8380	0.8	267.77	815.11
ovms	meta-llama/Llama-2-7b-chat-hf	PT	INT8-CW	インテル® Xeon® Platinum 8380	0.9	270.01	827.09
ovms	meta-llama/Llama-2-7b-chat-hf	PT	INT8-CW	インテル® Xeon® Platinum 8380	1.0	268.92	840.1
ovms	meta-llama/Llama-2-7b-chat-hf	PT	INT8-CW	インテル® Xeon® Platinum 8380	2.0	269.6	847.81

Showing 1 to 10 of 99 entries

…

システム構成の詳細については、以下を参照してください: ハードウェア・プラットフォーム [PDF]

編集可能な形式でデータを表示するには、次の場所から .csv ファイルをダウンロードしてください: