精度制御を備えた量子化#

はじめに

これは、精度メトリックを制御してモデルに 8 ビット量子化を適用する高度な量子化フローです。モデル内で最も影響力のある操作を元の精度に維持することで実現されます。このフローは基本的な 8 ビット量子化に基づいており、次のような違いがあります:

  • 精度メトリックを計算するには、キャリブレーション・データセットと評価データセットが必要です。最も単純なケースでは、両方のデータセットが同じデータを参照できます。

  • 評価関数は、精度メトリックの計算に必要です。ソース・フレームワーク使用可能な関数またはカスタム関数を使用できます。

  • 精度の検証は量子化プロセス中に数回実行されるため、精度制御による量子化は基本 8 ビット量子化フローよりも時間がかかる場合があります。

  • 一部の演算が元の精度で維持されるため、結果のモデルでは、基本 8 ビット量子化フローよりもわずかですがパフォーマンスが向上します。

注

現在、精度制御を備えた 8 ビット量子化は、OpenVINO および onnx.ModelProto 表現のモデルでのみ使用できます。

精度制御を備えた量子化の手順を以下に説明します。

モデルの準備#

FP32 精度の元のモデルを使用する場合は、重みを圧縮せずにモデルをそのまま、精度制御による量子化の入力として使用することを推奨します。これにより、特定の精度の低下に対して最適なパフォーマンスが保証されます。元のモデルの重みを FP16 に圧縮するなど圧縮技術を利用すると、復元されるレイヤー数が大幅に増加し、量子化モデルのパフォーマンスの低下につながる可能性があります。元のモデルが OpenVINO に変換され、精度制御を備えた量子化メソッドで使用する前に openvino.save_model() で保存される場合、compress_to_fp16=False を設定して FP16 への重みの圧縮を無効にします。デフォルトでは、openvino.save_model() はモデルを FP16 に保存するため、この無効化が必要です。

キャリブレーションと評価データセットの準備#

このステップは、基本的な 8 ビット量子化フローに似ています。唯一の違いは、キャリブレーションと評価という 2 つのデータセットが必要であることです。

import nncf 
import torch 

calibration_loader = torch.utils.data.DataLoader(...) 

def transform_fn(data_item): 
    images, _ = data_item 
    return images 

calibration_dataset = nncf.Dataset(calibration_loader, transform_fn) 
validation_dataset = nncf.Dataset(calibration_loader, transform_fn)
import nncf 
import torch 

calibration_loader = torch.utils.data.DataLoader(...) 

def transform_fn(data_item): 
    images, _ = data_item 
    return {input_name: images.numpy()} # input_name はモデルから取得する必要があります。 
                                                                                        # model.graph.input[0].name など 

calibration_dataset = nncf.Dataset(calibration_loader, transform_fn) 
validation_dataset = nncf.Dataset(calibration_loader, transform_fn)

評価関数の準備#

評価関数は、モデル・オブジェクトと評価データセットを受け取り、精度メトリック値を返します。モデル・オブジェクトのタイプはフレームワークによって異なります。OpenVINO では、openvino.CompiledModel です。ONNX では、onnx.ModelProto です。次のコードは、OpenVINO と ONNX フレームワーク向けの評価関数の例を示しています:

import numpy as np 
import torch 
from sklearn.metrics import accuracy_score 

import openvino 

def validate(model: openvino.CompiledModel, 
              validation_loader: torch.utils.data.DataLoader) -> float: 
    predictions = [] 
    references = [] 

    output = model.outputs[0] 

    for images, target in validation_loader: 
        pred = model(images)[output] 
        predictions.append(np.argmax(pred, axis=1)) 
        references.append(target) 

predictions = np.concatenate(predictions, axis=0) 
references = np.concatenate(references, axis=0) 
return accuracy_score(predictions, references)
import numpy as np 
import torch 
from sklearn.metrics import accuracy_score 

import onnx 
import onnxruntime 

def validate(model: onnx.ModelProto, 
             validation_loader: torch.utils.data.DataLoader) -> float: 
    predictions = [] 
    references = [] 

    input_name = model.graph.input[0].name 
    serialized_model = model.SerializeToString() 
    session = onnxruntime.InferenceSession(serialized_model, providers=["CPUExecutionProvider"]) 
    output_names = [output.name for output in session.get_outputs()] 

    for images, target in validation_loader: 
        pred = session.run(output_names, input_feed={input_name: images.numpy()})[0] 
        predictions.append(np.argmax(pred, axis=1)) 
        references.append(target) 

    predictions = np.concatenate(predictions, axis=0) 
    references = np.concatenate(references, axis=0) 
    return accuracy_score(predictions, references)

精度を制御して量子化を実行#

nncf.quantize_with_accuracy_control() 関数は、精度制御を使用して量子化を実行します。次のコードは、OpenVINO と ONNX フレームワークの精度制御による量子化の例を示しています:

model = ...# openvino.Model オブジェクト 

quantized_model = nncf.quantize_with_accuracy_control( 
    model, 
    calibration_dataset=calibration_dataset, 
    validation_dataset=validation_dataset, 
    validation_fn=validate, 
    max_drop=0.01, 
    drop_type=nncf.DropType.ABSOLUTE, 
)
import onnx 

model = onnx.load("model_path") 

quantized_model = nncf.quantize_with_accuracy_control( 
    model, 
    calibration_dataset=calibration_dataset, 
    validation_dataset=validation_dataset, 
    validation_fn=validate, 
    max_drop=0.01, 
    drop_type=nncf.DropType.ABSOLUTE, 
)

  • max_drop は精度低下のしきい値を定義します。量子化プロセスは、評価データセットの精度メトリックの低下が max_drop 未満になると停止します。デフォルト値は 0.01 です。max_drop 値に到達しない場合、NNCF は量子化を停止し、エラーを報告します。

  • drop_type は、精度の低下の計算方法を定義します: ABSOLUTE (デフォルト) または RELATIVE です。

その後、モデルをコンパイルして OpenVINO で実行できます:

import openvino as ov 

# モデルをコンパイルして量子化演算を int8 に変換 
model_int8 = ov.compile_model(quantized_model) 

input_fp32 = ...# FP32 モデル入力 
res = model_int8(input_fp32)
import openvino as ov 

# ONNX モデルを OpenVINO モデルに変換 
ov_quantized_model = ov.convert_model(quantized_model) 

# モデルをコンパイルして量子化演算を int8 に変換 
model_int8 = ov.compile_model(ov_quantized_model) 

input_fp32 = ...# FP32 モデル入力 
res = model_int8(input_fp32)

モデルを OpenVINO 中間表現 (IR) で保存するには、openvino.save_model() を使用します。FP32 精度で元のモデルを扱う場合、INT8 から FP32 に戻された最も影響力のあるモデル操作で FP32 精度を維持することを推奨します。これには、保存プロセス中に compress_to_fp16=False を使用することを検討してください。この推奨事項は、モデルを FP16 に保存する openvino.save_model() のデフォルト動作に基づいており、この変換によって精度に影響を与える可能性があります。

# 量子化されていない重みを FP16 に圧縮することで精度の低下を避けるため、 
# モデルを compress_to_fp16=False で保存。これが必要なのは、 
# nncf.quantize_with_accuracy_control(...) がモデル内で最も影響力のある操作を元の精度に保ち、 
# 指定されたモデル精度を達成するためです。
 ov.save_model(quantized_model, "quantized_model.xml", compress_to_fp16=False)

nncf.quantize_with_accuracy_control() API は、精度制御とカスタム構成を使用してモデルを量子化するため、基本 8 ビット量子化 API のすべてのパラメーターをサポートします。

量子化モデルの精度またはパフォーマンスに満足できない場合は、次のステップとしてトレーニング時の最適化があります。

精度メトリックを制御した NNCF トレーニング後の量子化の例#

関連情報#