前処理 API - 詳細#

このセクションの目的は、前処理 API の機能や後処理などの詳細を説明することです。

前処理機能#

以下は、前処理 API 機能の完全なリストです:

特定の入出力への対処#

モデルに入力が 1 つしかない場合、単純な ov::preprocess::PrePostProcessor::input() は、この入力 (テンソル、ステップ、モデル) の前処理ビルダーへの参照を取得します:

Python

# モデルに入力が 1 つしかない場合は、インデックス/名前は必要ありません 
ppp.input().preprocess().scale(50.)
# 出力も同様です 
ppp.output() \ 
    .postprocess().convert_element_type(Type.u8)

C++

ppp.input() // モデルに入力が 1 つしかない場合は、インデックス/名前は必要ありません 
    .preprocess().scale(50.f); 

ppp.output() // 出力も同様です .
    postprocess().convert_element_type(ov::element::u8);

一般に、モデルに複数の入力/出力がある場合、それぞれをテンソル名でアドレス指定できます。

Python

ppp.input(input_name) 
ppp.output('result')

C++

 auto &input_image = ppp.input("image"); 
auto &output_result = ppp.output("result");

またはインデックスによって。

Python

ppp.input(1) # モデルの 2 番目の入力を取得 
ppp.output(2) # モデル内のインデックス=2 (3 番目) の出力を取得

C++

 auto &input_1 = ppp.input(1); // モデルの 2 番目の入力を取得 
auto &output_1 = ppp.output(2); // モデル内のインデックス=2 (3 番目) の出力を取得

C++ リファレンス:

ov::preprocess::InputTensorInfo
ov::preprocess::OutputTensorInfo
ov::preprocess::PrePostProcessor

カスタム操作#

前処理 API を使用すると、カスタム前処理ステップを実行グラフに追加することもできます。カスタム関数は現在の入力ノードを受け入れ、定義された前処理操作を適用して、新しい input を返します。

注

カスタム前処理関数は、入力後にのみノードを挿入する必要があります。これはモデルのコンパイル中に行われます。この関数は実行フェーズ中に呼び出されることはありません。これは複雑で、OpenVINO™ 操作に関する知識が必要です。

特定のトリミングやサイズ変更など、入力直後に実行グラフに追加の操作を挿入する場合、前処理 API が適しています。

Python

# いくつかのカスタム操作を挿入することが可能 
import openvino.runtime.opset12 as ops 
from openvino.runtime import Output 
from openvino.runtime.utils.decorators import 
custom_preprocess_function 

@custom_preprocess_function 
def custom_abs(output: Output):
    # カスタムノードは前処理ステップとして挿入できます 
    return ops.abs(output) 

ppp.input("input").preprocess() \ 
    .custom(custom_abs)

C++

 ppp.input("input_image").preprocess() 
    .custom([](const ov::Output<ov::Node>& node) { 
        // カスタムノードは前処理ステップとして挿入できます 
        return std::make_shared<ov::opset8::Abs>(node); 
});

C++ リファレンス:

ov::preprocess::PreProcessSteps::custom()
利用可能な操作セット

後処理#

後処理ステップをモデル出力に追加できます。前処理に関して、これらのステップもグラフに統合され、選択したデバイス上で実行されます。

前処理では次のフローが使用されます: ユーザーテンソル -> ステップ -> モデル入力。

後処理では逆の処理を使用します: モデル出力 -> ステップ -> ユーザーテンソル。

前処理と比べて、後処理ステージの操作はそれほど多くありません。現在、次の後処理操作のみがサポートされています:

レイアウトを変換します。
要素タイプを変換します。
操作をカスタマイズします。

これらの操作の使用法は前処理に似ています。次の例を参照してください:

Python

# モデルの出力は 'NCHW' レイアウト 
ppp.output('result').model().set_layout(Layout('NCHW')) 

# 対象ユーザーのテンソルを U8 タイプ + 'NHWC' レイアウトに設定 
# 精度とレイアウトの変換は暗黙的に行われます 
ppp.output('result').tensor()\ 
    .set_layout(Layout("NHWC"))\ 
    .set_element_type(Type.u8) 

# また、カスタム操作を挿入することも可能です 
import openvino.runtime.opset12 as ops 
from openvino.runtime import Output 
from openvino.runtime.utils.decorators import 
custom_preprocess_function 

@custom_preprocess_function 
def custom_abs(output: Output):
    # カスタムノードは後処理ステップとして挿入できます 
    return ops.abs(output) 

ppp.output("result").postprocess()\ 
    .custom(custom_abs)

C++

 // モデルの出力は 'NCHW' レイアウト 
ppp.output("result_image").model().set_layout("NCHW"); 

// 対象ユーザーのテンソルを U8 タイプ + 'NHWC' レイアウトに設定 
// 精度とレイアウトの変換は暗黙的に行われます 
ppp.output("result_image").tensor() 
    .set_layout("NHWC") 
    .set_element_type(ov::element::u8); 

// また、カスタム操作を挿入することも可能です 
ppp.output("result_image").postprocess() 
    .custom([](const ov::Output<ov::Node>& node) { 
        // カスタムノードは後処理ステップとして挿入できます 
        return std::make_shared<ov::opset8::Abs>(node); 
    });

C++ リファレンス:

ov::preprocess::PostProcessSteps
ov::preprocess::OutputModelInfo
ov::preprocess::OutputTensorInfo

前処理 API - 詳細#

前処理機能#

特定の入出力への対処#

サポートされる前処理操作#

平均/スケールの正規化#

変換精度#

レイアウトを変換 (転置)#

画像のサイズ変更#

カラー変換#

カラー変換 - NV12/I420#

カスタム操作#

後処理#