PyTorch モデルから OpenVINO™ IR への変換#

import torch 

# 重み変換を初期化 
preprocess = weights.transforms() 

# 入力画像に適用 
img_transformed = preprocess(image) 

# 画像テンソルにバッチ次元を追加 
input_tensor = img_transformed.unsqueeze(0)

import numpy as np 
from scipy.special import softmax 

# 入力テンソルに対してモデル推論を実行 
result = model(input_tensor) 

# PyTorch モデル推論と OpenVINO の両方で同じ方法で結果を取得する後処理関数 
def postprocess_result(output_tensor: np.ndarray, top_k: int = 5): 
    """ 
    Posprocess model results.This function applied sofrmax on output tensor and returns specified top_k number of labels with highest probability 
    Parameters: 
        output_tensor (np.ndarray): model output tensor with probabilities 
        top_k (int, *optional*, default 5): number of labels with highest probability for return 
    Returns: 
        topk_labels: label ids for selected top_k scores 
        topk_scores: selected top_k highest scores predicted by model 
    """ 
    softmaxed_scores = softmax(output_tensor, -1)[0] 
    topk_labels = np.argsort(softmaxed_scores)[-top_k:][::-1] 
    topk_scores = softmaxed_scores[topk_labels] 
    return topk_labels, topk_scores 

# 後処理の結果 
top_labels, top_scores = postprocess_result(result.detach().numpy()) 

# 結果を表示 
display(image) 
for idx, (label, score) in enumerate(zip(top_labels, top_scores)):
    _, predicted_label = imagenet_classes[label].split(" ", 1) 
    print(f"{idx + 1}: {predicted_label} - {score * 100 :.2f}%")

%%timeit 

# モデル推論を実行 
model(input_tensor)

import ipywidgets as widgets 

device = widgets.Dropdown( 
    options=core.available_devices + ["AUTO"], 
    value="AUTO", 
    description="Device:", 
    disabled=False, 
) 

device

# デバイスに OpenVINO モデルをロード 
compiled_model = core.compile_model(ov_model, device.value) 
compiled_model

# モデル推論を実行 
result = compiled_model(input_tensor)[0] 

# 処理結果 
top_labels, top_scores = postprocess_result(result) 

# 結果を表示 
display(image) 
for idx, (label, score) in enumerate(zip(top_labels, top_scores)):
    _, predicted_label = imagenet_classes[label].split(" ", 1) 
    print(f"{idx + 1}: {predicted_label} - {score * 100 :.2f}%")

%%timeit 

compiled_model(input_tensor)

device

# デバイスに OpenVINO モデルをロード 
compiled_model = core.compile_model(ov_model, device.value) 
compiled_model

# モデル推論を実行 
result = compiled_model(input_tensor)[0] 

# 処理結果 
top_labels, top_scores = postprocess_result(result) 

# 結果を表示 
display(image) 
for idx, (label, score) in enumerate(zip(top_labels, top_scores)): 
    _, predicted_label = imagenet_classes[label].split(" ", 1) 
    print(f"{idx + 1}: {predicted_label} - {score * 100 :.2f}%")

%%timeit 

compiled_model(input_tensor)

# Get model path 
scripted_model_path = MODEL_DIR / f"{MODEL_NAME}_scripted.pth" 

# 以前にコンパイルされていない場合はモデルをコンパイルして保存するか、コンパイル済みのモデルをロード 
if not scripted_model_path.exists(): 
    scripted_model = torch.jit.script(model) 
    torch.jit.save(scripted_model, scripted_model_path) 
else: 
    scripted_model = torch.jit.load(scripted_model_path) 

# スクリプト化されたモデル推論を実行 
result = scripted_model(input_tensor) 

# 後処理の結果 
top_labels, top_scores = postprocess_result(result.detach().numpy()) 

# 結果を表示 
display(image) 
for idx, (label, score) in enumerate(zip(top_labels, top_scores)):
    _, predicted_label = imagenet_classes[label].split(" ", 1) 
    print(f"{idx + 1}: {predicted_label} - {score * 100 :.2f}%")

%%timeit 

scripted_model(input_tensor)

# モデルを openvino.runtime.Model オブジェクトに変換 
ov_model = ov.convert_model(scripted_model) 

# デバイスに OpenVINO モデルをロード 
compiled_model = core.compile_model(ov_model, device.value) 

# OpenVINO モデル推論を実行 
result = compiled_model(input_tensor, device.value)[0] 

# 後処理の結果 
top_labels, top_scores = postprocess_result(result) 

# 結果を表示 
display(image) 
for idx, (label, score) in enumerate(zip(top_labels, top_scores)):
    _, predicted_label = imagenet_classes[label].split(" ", 1) 
    print(f"{idx + 1}: {predicted_label} - {score * 100 :.2f}%")

%%timeit 

compiled_model(input_tensor)

# モデルパスを取得 
traced_model_path = MODEL_DIR / f"{MODEL_NAME}_traced.pth" 

# 以前にトレースされていない場合はモデルをトレースして保存するか、トレース済みのモデルをロード 
if not traced_model_path.exists(): 
    traced_model = torch.jit.trace(model, example_inputs=input_tensor) 
    torch.jit.save(traced_model, traced_model_path) 
else: 
    traced_model = torch.jit.load(traced_model_path) 

# トレースされたモデル推論を実行 
result = traced_model(input_tensor) 

# 後処理の結果 
top_labels, top_scores = postprocess_result(result.detach().numpy()) 

# 結果を表示 
display(image) 
for idx, (label, score) in enumerate(zip(top_labels, top_scores)):
    _, predicted_label = imagenet_classes[label].split(" ", 1) 
    print(f"{idx + 1}: {predicted_label} - {score * 100 :.2f}%")

%%timeit 

traced_model(input_tensor)

# モデルを openvino.runtime.Model オブジェクトに変換 
ov_model = ov.convert_model(traced_model) 

# デバイスに OpenVINO モデルをロード 
compiled_model = core.compile_model(ov_model, device.value) 

# OpenVINO モデル推論を実行 
result = compiled_model(input_tensor)[0] 

# 後処理の結果 
top_labels, top_scores = postprocess_result(result) 

# 結果を表示 
display(image) 
for idx, (label, score) in enumerate(zip(top_labels, top_scores)):
    _, predicted_label = imagenet_classes[label].split(" ", 1) 
    print(f"{idx + 1}: {predicted_label} - {score * 100 :.2f}%")

%%timeit 

compiled_model(input_tensor)[0]