モデルの精度#

次の 2 つの表は、FP32 の OV 精度と元のフレームワーク精度間の精度差として計算された絶対精度の低下を示しています。また、3 つのプラットフォーム・アーキテクチャー上のモデルの INT8、BF16、および FP16 表現でも同じです。3 番目の表は、GenAI モデルの精度を絶対精度値として示しています。詳細については、表の下の注記も参照してください。

A - インテル® Core™ i9-9000K (AVX2)、INT8 と FP32
B - インテル® Xeon® 6338、(VNNI)、INT8 と FP32
C - インテル® Xeon® 8480+VNNI、AMX)、INT8、BF16、FP32
D - インテル® Flex-170、INT8 と FP16

INT8 のモデル精度#
OpenVINO™ モデル名	データセット	メトリック	A、 INT8	B、INT8	C、 INT8	D、 INT8
bert-base-cased	SST-2_bert_cased_padded	spearman@cosine	3.33%	3.22%	3.69%	3.28%
bert-large-uncased-whole-word-masking-squad-0001	SQUAD_v1_1_bert_msl384_mql64_ds128_lowercase	F1	0.19%	0.06%	0.03%	0.11%
efficientdet-d0	COCO2017_detection_91cl	coco_precision	-0.9%	-0.63%	-0.61%	-0.62%
mask_rcnn_resnet50_atrous_coco	COCO2017_detection_91cl_bkgr	coco_orig_precision	-5.64%	-0.30%	-0.21%	-0.28%
mobilenet-v2	ImageNet2012	accuracy @ top1	-0.87%	-0.87%	-0.89%	-0.95%
resnet-50	ImageNet2012	accuracy @ top1	-0.2%	-0.18%	-0.18%	-0.13%
ssd-resnet34-1200	COCO2017_detection_80cl_bkgr	map	-0.03%	-0.02%	-0.03%	-0.0%
ssd-mobilenet-v1-coco	COCO2017_detection_80cl_bkgr	coco-precision	-2.75%	-0.11%	-0.11%	-0.08%
unet-camvid-onnx-0001	CamVid_12cl	mean_iou @ mean	-6.28%	6.45%	6.46%	6.40%
yolo_v3_tiny	COCO2017_detection_80cl	map	-0.30%	-0.43%	-0.43%	-0.87%
yolo_v8n	COCO2017_detection_80cl	map	-0.01%	-0.04%	0.04%	-0.08%

BF16、FP32 および FP16 のモデル精度 (FP16: Flex-170 のみ。BF16: インテル® Xeon® 8480+ のみ)#
OpenVINO™ モデル名	データセット	メトリック	A、 FP32	B、FP32	C、 FP32	C、 BF16	D、 FP16
bert-base-cased	SST-2_bert_cased_padded	spearman@cosine	0.00%	0.00%	0.00%	-0.03%	0.01%
bert-large-uncased-whole-word-masking-squad-0001	SQUAD_v1_1_bert_msl384_mql64_ds128_lowercase	F1	0.04%	0.04%	0.04%	0.06%	%
efficientdet-d0	COCO2017_detection_91cl	coco_precision	-0.02%	-0.02%	-0.02%	-0.02%	0.04%
mask_rcnn_resnet50_atrous_coco	COCO2017_detection_91cl_bkgr	coco_orig_precision	0.00%	0.00%	0.00%	0.01%	-0.02%
mobilenet-v2	ImageNet2012	accuracy @ top1	0.00%	0.00%	0.00%	-0.18%	0.02%
resnet-50	ImageNet2012	accuracy @ top1	0.00%	0.00%	0.00%	-0.01%	-0.01%
ssd-resnet34-1200	COCO2017_detection_80cl_bkgr	map	0.00%	0.00%	0.00%	-0.02%	0.02%
ssd-mobilenet-v1-coco	COCO2017_detection_80cl_bkgr	coco-precision	0.01%	0.01%	0.01%	0.04%	-0.02%
unet-camvid-onnx-0001	CamVid_12cl	mean_iou @ mean	0.00%	0.00%	0.00%	-0.03%	-0.03%
yolo_v3_tiny	COCO2017_detection_80cl	map	0.00%	0.00%	0.00%	0.25%	-0.01%
yolo_v8n	COCO2017_detection_80cl	map	0.00%	0.00%	0.00%	0.04%	-0.02%

VNNI-FP16、VNNI-INT8、VNNI-INT4、MTL-INT4 のモデル精度 (Core Ultra) #
OpenVINO™ モデル名	データセット	メトリック	A、VNNI-FP16	B、VNNI-INT8	C、VNNI-INT4	D、MTL-INT4
chatGLM2-6b	Wikiset	ppl	5.24	5.17	6.86	6.87
Falcon-7b-instruct	Wikitext	ppl	1.65	1.65	1.82	1.82
Llama-2-7b-chat	Wikiset	ppl	1.54	1.58	1.59	1.59
Mistral-7b	Wikitext	ppl	1.48	1.48	1.49	1.49
Stable-Diffusion-V2-1	LIAON-5B	CLIP

注: すべての精度メトリックでは、 “-“ (マイナス記号) は精度の低下を示します。パープレキシティー (ppl) は、値は基準からの偏差を示すものではなく、実際に測定されたモデルの精度です。