モデルの精度

次の 2 つの表は、FP32 の OV 精度と元のフレームワーク精度間の精度差として計算された絶対精度の低下を示しています。また、3 つのプラットフォーム・アーキテクチャー上のモデルの INT8、BF16、および FP16 表現でも同じです。詳細については、表の下の注記も参照してください。

  • A - インテル® Core™ i9-9000K (AVX2)、INT8 と FP32

  • B - インテル® Xeon® 6338、(VNNI)、INT8 と FP32

  • C - インテル® Xeon 8490H (VNNI、AMX)、INT8、BF16、FP32

  • D - インテル® Flex-170、INT8 と FP16

INT8 のモデル精度

OpenVINO™ モデル名

データセット

メトリック

A, INT8

B, INT8

C, INT8

D, INT8

bert-base-cased

SST-2_bert_cased_padded

spearman@cosine

3.28%

2.68%

2.91%

2.72%

bert-large-uncased-whole-word-masking-squad-0001

SQUAD_v1_1_bert_msl384_mql64_ds128_lowercase

F1

0.07%

-0.03%

0.13%

0.11%

efficientdet-d0

COCO2017_detection_91cl

coco_precision

-0.84%

-0.64%

-0.62%

-0.63%

mask_rcnn_resnet50_atrous_coco

COCO2017_detection_91cl_bkgr

coco_orig_precision

-0.04%

0.02%

0.04%

0.04%

mobilenet-v2

ImageNet2012

accuracy @ top1

%

-0.97%

-0.97%

-0.95%

resnet-50

ImageNet2012

accuracy @ top1

-0.09%

-0.12%

-0.13%

-0.19%

ssd-resnet34-1200

COCO2017_detection_80cl_bkgr

map

-0.02%

-0.01%

-0.02%

0.04%

ssd-mobilenet-v1-coco

COCO2017_detection_80cl_bkgr

coco-precision

-2.97%

-0.29%

-0.31%

-0.26%

unet-camvid-onnx-0001

CamVid_12cl

mean_iou @ mean

-6.32%

6.40%

6.41%

6.40%

yolo_v3_tiny

COCO2017_detection_80cl

map

-0.30%

-0.43%

-0.43%

-0.87%

yolo_v8n

COCO2017_detection_80cl

map

-0.01%

-0.04%

0.04%

-0.08%

chatGLM2-6b

lambada openai

ppl

0.75

0.75

Llama-2-7b-chat

Wiki、StackExch、Crawl

ppl

3.38

3.27

Stable-Diffusion-V2-1

LIAON-5B

CLIP

Mistral-7b

proprietary Mistral.ai

ppl

3.49

3.19

BF16、FP32 および FP16 のモデル精度 (FP16: Flex-170 のみ。BF16: Xeon® 8490H のみ)

OpenVINO™ モデル名

データセット

メトリック

A, FP32

B, FP32

C, FP32

C, BF16

D, FP16

bert-base-cased

SST-2_bert_cased_padded

spearman@cosine

0.00%

0.00%

0.00%

-0.03%

0.01%

bert-large-uncased-whole-word-masking-squad-0001

SQUAD_v1_1_bert_msl384_mql64_ds128_lowercase

F1

0.04%

0.04%

0.04%

0.05%

0.05%

efficientdet-d0

COCO2017_detection_91cl

coco_precision

-0.02%

-0.02%

-0.02%

-0.02%

-0.03%

mask_rcnn_resnet50_atrous_coco

COCO2017_detection_91cl_bkgr

coco_orig_precision

-0.01%

-0.02%

%

0.09%

0.02%

mobilenet-v2

ImageNet2012

accuracy @ top1

0.00%

0.00%

0.00%

-0.18%

0.02%

resnet-50

ImageNet2012

accuracy @ top1

0.00%

0.00%

0.00%

-0.01%

-0.01%

ssd-resnet34-1200

COCO2017_detection_80cl_bkgr

map

0.00%

0.00%

0.00%

-0.02%

0.02%

ssd-mobilenet-v1-coco

COCO2017_detection_80cl_bkgr

coco-precision

0.01%

0.01%

0.01%

0.04%

-0.04%

unet-camvid-onnx-0001

CamVid_12cl

mean_iou @ mean

0.00%

0.00%

0.00%

-0.03%

-0.03%

yolo_v3_tiny

COCO2017_detection_80cl

map

0.00%

0.00%

0.00%

0.25%

-0.01%

yolo_v8n

COCO2017_detection_80cl

map

0.00%

0.00%

0.00%

0.04%

-0.02%

chatGLM2-6b

lambada openai

ppl

0.75

0.8

Llama-2-7b-chat

Wiki、StackExch、Crawl

ppl

3.26

3.26

Stable-Diffusion-V2-1

LIAON-5B

CLIP

Mistral-7b

proprietary Mistral.ai

ppl

3.18

3.19

注: パープレキシティーを除くすべての精度メトリックでは、“-“ (マイナス記号) は精度の低下を示します。パープレキシティー (ppl) は、値は基準からの偏差を示すものではなく、実際に測定されたモデルの精度です。