カスタム OpenVINO 操作¶
OpenVINO™ 拡張 API を使用すると、カスタム操作を登録して、OpenVINO™ がそのままではサポートしない操作を含むモデルをサポートできます。この機能は C++ でコードを記述する必要があるため、Python を使用してアプリケーションを開発している場合は、最初に C++ で実装された別の共有ライブラリーを構築し、add_extension API を使用して Python にロードする必要があります。ライブラリーの作成と使用方法の詳細については、拡張機能を使用したライブラリーの作成を参照してください。以降のセクションでは、操作クラスを実装する方法について説明します。
操作クラス¶
カスタム操作を追加するには、ov::Op を拡張する新しいクラスを作成します。このクラスは、OpenVINO™ のすべてのグラフ操作の基本クラスである ov::Node から派生します。ov::Op を追加するには、次のファイルを含めます。
カスタム操作を追加するには、次のステップに従います。
グラフユーザーに操作のタイプを識別し、動的なタイプの解決に役立つ
NodeTypeInfoオブジェクトを定義するOPENVINO_OPマクロを追加します。操作のタイプ情報は現在、文字列の操作識別子と操作のバージョン文字列で構成されています。デフォルトのコンストラクターと、オプションで操作入力と属性をパラメーターとして受け取るコンストラクターを実装します。
形状推論メソッド
validate_and_infer_typesをオーバーライドします。このメソッドは、操作出力の形状と要素タイプを決定するために、グラフ操作中に複数回呼び出されます。入力形状と入力要素タイプにアクセスするには、ov::Nodeのget_input_partial_shape()メソッドとget_input_element_type()メソッドを使用します。set_output_typeを使用して、出力の推論された形状と要素タイプを設定します。clone_with_new_inputsメソッドをオーバーライドします。これにより、グラフ操作ルーチンがこの操作のコピーを作成し、最適化中にそれを別のノードに接続できるようになります。visit_attributesメソッドをオーバーライドして、操作属性のシリアル化と逆シリアル化を有効にします。AttributeVisitorがメソッドに渡され、実装ではタイプを認識するon_attributeヘルパーを使用して操作内のすべての属性を調査できます。ヘルパーは、int64_t、float、bool、vectorなどの標準 C++ タイプ、および既存の OpenVINO 定義タイプに対してすでに実装されています。evaluateをオーバーライドします。これは、定数ブランチにカスタム操作がある場合、一部のデバイスをこの実装にフォールバックし、定数の折りたたみを適用可能にするオプションのメソッドです。操作にevaluateメソッドが含まれている場合は、has_evaluateメソッドをオーバーライドする必要もあります。このメソッドを使用すると、操作のevaluateメソッドの可用性に関する情報を取得できます。
これに基づいて、操作クラスの宣言は次のようになります。
操作コンストラクター¶
OpenVINO™ 操作には 2 つのコンストラクターが含まれています。
属性なしで操作を作成できるデフォルトのコンストラクター
指定された入力と属性を使用して操作を作成および検証するコンストラクター
validate_and_infer_types()¶
ov::Node::validate_and_infer_types メソッドは、操作の属性を検証して出力形状を計算します。
clone_with_new_inputs()¶
ov::Node::clone_with_new_inputs メソッドは、新しい入力を使用して操作のコピーを作成します。
visit_attributes()¶
ov::Node::visit_attributes メソッドを使用すると、すべての操作属性にアクセスできます。
evaluate() and has_evaluate()¶
ov::Node::evaluate メソッドを使用すると、演算に定数フォールディングを適用できます。