モデルの精度#
次の 2 つの表は、FP32 の OV 精度と元のフレームワーク精度間の精度差として計算された絶対精度の低下を示しています。また、3 つのプラットフォーム・アーキテクチャー上のモデルの INT8、BF16、および FP16 表現でも同じです。3 番目の表は、GenAI モデルの精度を絶対精度値として示しています。詳細については、表の下の注記も参照してください。
A - インテル® Core™ i9-9000K (AVX2)、INT8 と FP32
B - インテル® Xeon® 6338、(VNNI)、INT8 と FP32
C - インテル® Xeon® 8480+VNNI、AMX)、INT8、BF16、FP32
D - インテル® Flex-170、INT8 と FP16
OpenVINO™ モデル名 |
データセット |
メトリック |
A、 INT8 |
B、INT8 |
C、 INT8 |
D、 INT8 |
---|---|---|---|---|---|---|
bert-base-cased |
SST-2_bert_cased_padded |
3.33% |
3.22% |
3.69% |
3.28% |
|
bert-large-uncased-whole-word-masking-squad-0001 |
SQUAD_v1_1_bert_msl384_mql64_ds128_lowercase |
F1 |
0.19% |
0.06% |
0.03% |
0.11% |
efficientdet-d0 |
COCO2017_detection_91cl |
coco_precision |
-0.9% |
-0.63% |
-0.61% |
-0.62% |
mask_rcnn_resnet50_atrous_coco |
COCO2017_detection_91cl_bkgr |
coco_orig_precision |
-5.64% |
-0.30% |
-0.21% |
-0.28% |
mobilenet-v2 |
ImageNet2012 |
accuracy @ top1 |
-0.87% |
-0.87% |
-0.89% |
-0.95% |
resnet-50 |
ImageNet2012 |
accuracy @ top1 |
-0.2% |
-0.18% |
-0.18% |
-0.13% |
ssd-resnet34-1200 |
COCO2017_detection_80cl_bkgr |
map |
-0.03% |
-0.02% |
-0.03% |
-0.0% |
ssd-mobilenet-v1-coco |
COCO2017_detection_80cl_bkgr |
coco-precision |
-2.75% |
-0.11% |
-0.11% |
-0.08% |
unet-camvid-onnx-0001 |
CamVid_12cl |
mean_iou @ mean |
-6.28% |
6.45% |
6.46% |
6.40% |
yolo_v3_tiny |
COCO2017_detection_80cl |
map |
-0.30% |
-0.43% |
-0.43% |
-0.87% |
yolo_v8n |
COCO2017_detection_80cl |
map |
-0.01% |
-0.04% |
0.04% |
-0.08% |
OpenVINO™ モデル名 |
データセット |
メトリック |
A、 FP32 |
B、FP32 |
C、 FP32 |
C、 BF16 |
D、 FP16 |
---|---|---|---|---|---|---|---|
bert-base-cased |
SST-2_bert_cased_padded |
0.00% |
0.00% |
0.00% |
-0.03% |
0.01% |
|
bert-large-uncased-whole-word-masking-squad-0001 |
SQUAD_v1_1_bert_msl384_mql64_ds128_lowercase |
F1 |
0.04% |
0.04% |
0.04% |
0.06% |
% |
efficientdet-d0 |
COCO2017_detection_91cl |
coco_precision |
-0.02% |
-0.02% |
-0.02% |
-0.02% |
0.04% |
mask_rcnn_resnet50_atrous_coco |
COCO2017_detection_91cl_bkgr |
coco_orig_precision |
0.00% |
0.00% |
0.00% |
0.01% |
-0.02% |
mobilenet-v2 |
ImageNet2012 |
accuracy @ top1 |
0.00% |
0.00% |
0.00% |
-0.18% |
0.02% |
resnet-50 |
ImageNet2012 |
accuracy @ top1 |
0.00% |
0.00% |
0.00% |
-0.01% |
-0.01% |
ssd-resnet34-1200 |
COCO2017_detection_80cl_bkgr |
map |
0.00% |
0.00% |
0.00% |
-0.02% |
0.02% |
ssd-mobilenet-v1-coco |
COCO2017_detection_80cl_bkgr |
coco-precision |
0.01% |
0.01% |
0.01% |
0.04% |
-0.02% |
unet-camvid-onnx-0001 |
CamVid_12cl |
mean_iou @ mean |
0.00% |
0.00% |
0.00% |
-0.03% |
-0.03% |
yolo_v3_tiny |
COCO2017_detection_80cl |
map |
0.00% |
0.00% |
0.00% |
0.25% |
-0.01% |
yolo_v8n |
COCO2017_detection_80cl |
map |
0.00% |
0.00% |
0.00% |
0.04% |
-0.02% |
OpenVINO™ モデル名 |
データセット |
メトリック |
A、VNNI-FP16 |
B、VNNI-INT8 |
C、VNNI-INT4 |
D、MTL-INT4 |
---|---|---|---|---|---|---|
chatGLM2-6b |
Wikiset |
ppl |
5.24 |
5.17 |
6.86 |
6.87 |
Falcon-7b-instruct |
Wikitext |
ppl |
1.65 |
1.65 |
1.82 |
1.82 |
Llama-2-7b-chat |
Wikiset |
ppl |
1.54 |
1.58 |
1.59 |
1.59 |
Mistral-7b |
Wikitext |
ppl |
1.48 |
1.48 |
1.49 |
1.49 |
Stable-Diffusion-V2-1 |
LIAON-5B |
CLIP |
注: すべての精度メトリックでは、 “-“ (マイナス記号) は精度の低下を示します。パープレキシティー (ppl) は、値は基準からの偏差を示すものではなく、実際に測定されたモデルの精度です。