前処理 API - 詳細¶

このセクションの目的は、前処理 API の機能や後処理などの詳細を説明することです。

前処理機能¶

以下は、前処理 API 機能の完全なリストです。

特定の入出力への対処¶

モデルに入力が 1 つしかない場合、単純な ov::preprocess::PrePostProcessor::input() は、この入力 (テンソル、ステップ、モデル) の前処理ビルダーへの参照を取得します。

Python

                                                # no index/name is needed if model has one input
ppp.input().preprocess().scale(50.)

# same for output
ppp.output() \
    .postprocess().convert_element_type(Type.u8)

                                            

C++

                                                ppp.input() // no index/name is needed if model has one input
  .preprocess().scale(50.f);

ppp.output()   // same for output
  .postprocess().convert_element_type(ov::element::u8);

一般に、モデルに複数の入力/出力がある場合、それぞれをテンソル名でアドレス指定できます。

Python

                                                ppp.input(input_name)
ppp.output('result')

C++

                                                 auto &input_image = ppp.input("image");
 auto &output_result = ppp.output("result");

または、インデックスによって指定することもできます。

Python

                                                ppp.input(1) # Gets 2nd input in a model
ppp.output(2) # Gets output with index=2 (3rd one) in a model

C++

                                                 auto &input_1 = ppp.input(1); // Gets 2nd input in a model
 auto &output_1 = ppp.output(2); // Get output with index=2 (3rd one) in a model

C++ リファレンス:

ov::preprocess::InputTensorInfo
ov::preprocess::OutputTensorInfo
ov::preprocess::PrePostProcessor

カスタム操作¶

前処理 API を使用すると、カスタム前処理ステップを実行グラフに追加することもできます。カスタム関数は現在の入力ノードを受け入れ、定義された前処理操作を適用して、新しいノードを返します。

注

カスタム前処理関数は、入力後にのみノードを挿入する必要があります。これはモデルのコンパイル中に行われます。この関数は実行フェーズ中に呼び出されることはありません。これは複雑で、OpenVINO™ 操作に関する知識が必要です。

特定のトリミングやサイズ変更など、入力直後に実行グラフに追加の操作を挿入する場合、前処理 API が適しています。

Python

                                                # It is possible to insert some custom operations
import openvino.runtime.opset12 as ops
from openvino.runtime import Output
from openvino.runtime.utils.decorators import custom_preprocess_function

@custom_preprocess_function
def custom_abs(output: Output):
    # Custom nodes can be inserted as Preprocessing steps
    return ops.abs(output)

ppp.input("input").preprocess() \
    .custom(custom_abs)

                                            

C++

                                                 ppp.input("input_image").preprocess()
    .custom([](const ov::Output<ov::Node>& node) {
        // Custom nodes can be inserted as Pre-processing steps
        return std::make_shared<ov::opset8::Abs>(node);
    });

                                            

C++ リファレンス:

ov::preprocess::PreProcessSteps::custom()
利用可能な操作セット

後処理¶

後処理ステップをモデル出力に追加できます。前処理に関して、これらのステップもグラフに統合され、選択したデバイス上で実行されます。

前処理では次のフローが使用されます: ユーザーテンソル -> ステップ -> モデル入力。

後処理ではその逆を行います: モデル出力 -> ステップ -> ユーザーテンソル。

前処理と比べて、後処理ステージの操作はそれほど多くありません。現在、次の後処理操作のみがサポートされています。

レイアウトを変換します。
要素タイプを変換します。
操作をカスタマイズします。

これらの操作の使用法は前処理に似ています。次の例を参照してください。

Python

                                            # Model's output has 'NCHW' layout
ppp.output('result').model().set_layout(Layout('NCHW'))

# Set target user's tensor to U8 type + 'NHWC' layout
# Precision & layout conversions will be done implicitly
ppp.output('result').tensor()\
    .set_layout(Layout("NHWC"))\
    .set_element_type(Type.u8)

# Also it is possible to insert some custom operations
import openvino.runtime.opset12 as ops
from openvino.runtime import Output
from openvino.runtime.utils.decorators import custom_preprocess_function

@custom_preprocess_function
def custom_abs(output: Output):
    # Custom nodes can be inserted as Post-processing steps
    return ops.abs(output)

ppp.output("result").postprocess()\
    .custom(custom_abs)

                                        

C++

                                             // Model's output has 'NCHW' layout
 ppp.output("result_image").model().set_layout("NCHW");

 // Set target user's tensor to U8 type + 'NHWC' layout
 // Precision & layout conversions will be done implicitly
 ppp.output("result_image").tensor()
    .set_layout("NHWC")
    .set_element_type(ov::element::u8);

 // Also it is possible to insert some custom operations
 ppp.output("result_image").postprocess()
    .custom([](const ov::Output<ov::Node>& node) {
        // Custom nodes can be inserted as Post-processing steps
        return std::make_shared<ov::opset8::Abs>(node);
    });

                                        

C++ リファレンス:

ov::preprocess::PostProcessSteps
ov::preprocess::OutputModelInfo
ov::preprocess::OutputTensorInfo

前処理 API - 詳細¶

前処理機能¶

特定の入出力への対処¶

サポートされる前処理操作¶

平均/スケールの正規化¶

変換精度¶

レイアウトを変換 (転置)¶

画像のサイズ変更¶

カラー変換¶

カラー変換 - NV12/I420¶

カスタム操作¶

後処理¶