グループ・トランスフォーメーション・パス#

group ov_pass_cpp_api

OpenVINO 変換を操作する OpenVINO C++ API

関数

OPENVINO_API void disable_constant_folding (const std::shared_ptr< Node > &node)

このメソッドは、指定されたノードの定数フォールディングを無効にします。定数フォールディングでは ConstantFolding 変換を考慮するため、get_constant_from_source のような他のタイプの定数フォールディングはこの属性では機能しません。また、この属性を使用する前に、2 つの例外ケースを考慮してください:

ShapeOf -> ShapeOf のようなサブグラフの場合、最初の ShapeOf ノードの cf を無効にすると、2 番目の ShapeOf に伝達しないため、サブグラフ全体が折りたたまれます。(最初の ShapeOf にコンシューマーが 1 つだけある場合)
disable_constant_folding を持つノードが別のノードに置き換えられた場合、属性はコピーできないため失われます。

OPENVINO_API bool constant_folding_is_disabled (const std::shared_ptr< Node > &node)

Node で定数フォールディングが無効になっているか確認します。

パラメーター:: node – ノードへのスマートポインター。
戻り値:: 属性定数折りたたみが設定されている場合は true、それ以外は false。

OPENVINO_API bool constant_folding_is_disabled (const Node *const node)

Node で定数フォールディングが無効になっているか確認します。

パラメーター:: node – ノードへのポインター。
戻り値:: 属性定数折りたたみが設定されている場合は true、それ以外は false。

class ConstantFolding : public ov::pass::ModelPass #: #include <constant_folding.hpp>

定数フォールディングは関数を反復し、定数入力を使用してノードを評価します。このようなノードは、折り畳まれた操作の結果を含む新しい定数に置き換えられます。

class ConvertFP32ToFP16 : public ov::pass::ModelPass #: #include <convert_fp32_to_fp16.hpp>

ConvertFP32ToFP16 トランスフォーメーション。

class MatcherPass : public ov::pass::PassBase #

#include <graph_rewrite.hpp>

MatcherPass は、パターンベースのトランスフォーメーションの基本ブロックです。パターンが一致した場合に適用されるアクションを記述します。

MatcherPass は Matcher と matcher_pass_callback で構成されており、次を使用して実装し最終的に登録する必要があります:

関連情報

register_matcher。MatcherPass は次の内のノードで実行可能です:

関連情報

はメソッドを適用します。関数でマッチャーパスを実行するには、GraphRewrite を使用します。さらに、MatcherPass は、GraphRewrite 実行キューに新しい操作を追加する方法を提供します。つまり、トランスフォーメーション・コールバック内で作成された操作をマッチング用に追加できるということです。ノードを登録するには以下を使用します:

関連情報

register_new_node メソッド。GraphRewriteは登録されたノードを自動的に取得し、実行キューに配置します。複数のノードが登録されている場合は、それらがトポロジー順序で登録されていることを確認してください。注: マッチャーのパターンを実装するときは、ルートノードが opset からの操作であるか、ov::pass::pattern::op::WrapType を持っていることを確認してください。これにより、GraphRewrite はマッチャーパスをより効率的に実行できるようになります。

class GraphRewrite : public ov::pass::ModelPass #

#include <graph_rewrite.hpp>

GraphRewrite は MatcherPass のコンテナであり、MatcherPass を関数上で効率的に実行できるようにします。

グラフ書き換えパスは、関数のマッチャーパス実行に使用されます。MatcherPassを登録するには以下を使用します:

関連情報

add_matcher<T>(args) メソッド。ここで、T は MatcherPass クラスです。デフォルトのアルゴリズムとして、グラフの書き換えパスはトポロジカルな順序で関数をトラバースし、各ノードに登録されたマッチャーパスを適用します。ただし、登録されているすべてのマッチャーパスにマッチャーパターン内のタイプベースのルートノードがある場合は、効率的なメカニズムを使用して実行されます。マッチャーパターンのルートは、opset または pattern::op::WrapType からの操作の場合、タイプベースになります。注: マッチャーパターンを実装するときは、ルートノードが opset からの操作であるか、ov::pass::pattern::op::WrapType を持っていることを確認してください。これにより、GraphRewrite はマッチャーパスをより効率的に実行できるようになります。

以下によってサブクラス化: ConvertBitwiseToLogical、ov::pass::BackwardGraphRewrite、ov::pass::BidirectionalSequenceDecomposition、ov::pass::CompressFloatConstants、ov::pass::CompressQuantizeWeights、ov::pass::ConcatReduceFusion、ov::pass::ConvertLoopToLSTMSequence、ov::pass::ConvertNmsGatherPathToUnsigned、ov::pass::ConvertReduceToPooling、ov::pass::ConvertReduceToReshape、ov::pass::ConvertSequenceToTensorIterator、ov::pass::ConvertTensorIteratorToSequence、ov::pass::FuseFilteringBoxesBySize、ov::pass::GeluFusion、ov::pass::HSigmoidFusion、ov::pass::HSwishFusion、ov::pass::InitMasks、ov::pass::LSTMCellFusion、ov::pass::LinOpSequenceFusion、ov::pass::MVNFusion、ov::pass::NopElimination、ov::pass::PReluFusion、ov::pass::PadFusion、ov::pass::PropagateMasks、ov::pass::PullThroughReduce、ov::pass::RoPEFusion、ov::pass::SwishFusion、ov::pass::TransposeSinking、ov::pass::low_precision::TypeRelaxedReplacer、ov::pass::transpose_sinking::TSGeneralBackward、ov::pass::transpose_sinking::TSGeneralForward

パブリック関数

template<typename T, bool Enabled = true, class ...Args, typename std::enable_if<std::is_base_of<pass::MatcherPass, T>::value, bool>::type = true> inline std::shared_ptr<T> add_matcher(Args&&... args)#

指定されたトランスフォーメーション・クラス・タイプを GraphRewrite 実行リストに登録します。登録されたすべてのトランスフォーメーションは、単一のグラフトラバースで実行されます。以下の例は、pass::GraphRewrite の基本的な使用方法を示しています。

pass::Manager manager; 
auto anchor = manager.register_pass<GraphRewrite>(); anchor->add_matcher<MatcherPassA>(); 
anchor->add_matcher<MatcherPassB>(); anchor->set_name("CommonMatchers"); 
manager.run_passes(f);

いくつかの目的で、トランスフォーメーションを登録してデフォルトで無効にすることができます。

anchor->add_matcher<MatcherPassB, false>();

戻り値:: トランスフォーメーション・インスタンスへの shared_ptr

template<typename T, class ...Args, typename std::enable_if<std::is_base_of<pass::GraphRewrite, T>::value, bool>::type = true> inline void add_matcher(Args&&... args)#

コンストラクターに登録されたマッチャーパスのシーケンスを含む GraphRewrite クラスからパスを登録します。次に例を示します:

class ov::pass::LinFusions: public ov::pass::GraphRewrite { public: OPENVINO_RTTI(“LinFusion”); Fusions() { add_matcher<ov::pass::AddFusion>(); add_matcher<ov::pass::MulFusion>(); } };

pass::Manager manager; auto anchor = manager.register_pass<GraphRewrite>(); anchor->add_matcher<LinFusions>(); anchor->add_matcher<OtherFusions>(); anchor->set_name(“CommonFusions”); manager.run_passes(f);

この場合、LinFusions パスからのすべてのマッチャーパスは、他の登録済みマッチャーと統合されます。

virtual void set_pass_config(const std::shared_ptr<PassConfig> &pass_config) override#

特定のトランスフォーメーション・インスタンスの PassConfig を設定します。

パラメーター:: pass_config – PassConfig は shared_ptr です

class LowLatency2 : public ov::pass::ModelPass #

#include <low_latency.hpp>

トランスフォーメーションは、ネットワーク内のすべての TensorIterator/Loop レイヤーを検出し、TensorIterator/Loop 本体の Result と Parameter 間の接続を記述するすべてのバックエッジを処理し、このバックエッジに対応する入力と出力に ReadValue レイヤーと Assign レイヤーを挿入します。サポートされるプラットフォーム: CPU

以下の例は、transformation [] - TensorIterator body () - new layer BE - バックエッジによって行われた変更を説明しています:

トランスフォーメーションを適用する前: -> input1[BE_1 -> Parameter -> Layers … -> Result -> BE_1 ]output1->

トランスフォーメーションを適用した後: ->(ReadValue)-> input1[BE_1 ->Parameter->Layers …->Result->BE_1]output1 ->(Assign) \ ->… トランスフォーメーションを適用した後、結果のネットワークを段階的に推論することができ、状態は推論間で保存されます。

class MakeStateful : public ov::pass::ModelPass #: #include <make_stateful.hpp>

トランスフォーメーションにより、提供された Parameter と Result のペアが、メモリーレイヤーの ReadValue と Assign に置き換えられます。

class Manager#

#include <manager.hpp>

マネージャー・クラスを使用すると、トランスフォーメーション・パスを管理できます。

パブリック関数

template<typename T, bool Enable = true, class ...Args> inline std::shared_ptr<T> register_pass(Args&&... args)#

指定されたトランスフォーメーション・クラス・タイプを実行リストに登録します。以下の例は、pass::Manager の基本的な使用方法を示しています。

pass::Manager manager; 
manager.register_pass<MyTransformation>(/*transformation constructor ars*&zwj;/); 
manager.run_passes(f);

いくつかの目的で、トランスフォーメーションを登録してデフォルトで無効にすることができます。

manager.register_pass<MyTransformation, false>();

戻り値:: トランスフォーメーション・インスタンスへの shared_ptr

bool run_passes(std::shared_ptr<Model> model)#

指定されたモデルに対して登録されたトランスフォーメーションを実行します。

パラメーター:: model – 入力モデル
戻り値:: 入力が受け付けられた場合は true、それ以外は false を返します。

void set_per_pass_validation(bool new_state)#

登録された各パスを実行した後、検証パスの実行を有効/無効にするフラグを設定します。

パラメーター:: new_state – 値 “true” は検証パスの実行を有効にし、 “false” は無効にします

inline std::shared_ptr<PassConfig> get_pass_config()#

戻り値:: PassConfig 共有オブジェクト。このオブジェクトは、トランスフォーメーション・パイプラインの構成に使用されます。このオブジェクトを使用すると、トランスフォーメーションの実行を無効/有効にしたり、特定のトランスフォーメーションにコールバックを設定したりできます。詳細については、PassConfig クラスを参照してください。

class PassBase#

#include <pass.hpp>

トランスフォーメーション・パスの基本クラス。

ov::pass::MatcherPass、ov::pass::ModelPass によってサブクラス化されます

パブリック関数

bool get_property(const PassPropertyMask &prop_mask) const#: このパスにすべてのパス・プロパティーがあるか確認します。

void set_callback(const param_callback &callback)#

特定のトランスフォーメーション・タイプのコールバックを設定します。このメソッドはグローバル・コールバックを設定します。詳細については、PassConfig クラスのドキュメントを参照してください。

パラメーター:: callback – ノードを受け取りブール値を返すラムダ関数

inline virtual void set_pass_config(const std::shared_ptr<PassConfig> &pass_config)#

特定の変換インスタンスの PassConfig を設定します。

パラメーター:: pass_config – PassConfig は shared_ptr です

inline std::shared_ptr<PassConfig> get_pass_config()#

PassConfig 共有インスタンスにアクセスできるようにします。

戻り値:: PassConfig クラスの共有インスタンス

inline bool transformation_callback(const std::shared_ptr<const Node> &node)#

指定されたノードにコールバックを適用します。デフォルトでコールバックは false を返します。

パラメーター:: node – コールバック内で使用されるノード
戻り値:: 指定されたノードのコールバック実行の結果

class ModelPass : public ov::pass::PassBase #

#include <pass.hpp>

モデルパスの基本クラス。

class PassConfig#

#include <pass_config.hpp>

pass::Manager 内に登録されたトランスフォーメーションを無効化/有効化するのに使用されるトランスフォーメーションの構成を表すクラス。また、すべてまたは特定のトランスフォーメーションに対してコールバックを設定することもできます。

pass::Manager が作成されると、ネストされたパスを含むこのマネージャー内に登録されたすべてのパスは、PassConfig クラスの同じインスタンスを共有します。このクラスを使用するには、まず manager.get_pass_config() メソッドを呼び出して、クラスの共有インスタンスを取得する必要があります。その後、トランスフォーメーション type_info に基づいてパスを無効/有効にできるようになります。次に例を示します:

pass::Manager manager; 
manager.register_pass<CommonOptimizations>(); 
auto pass_config = manager.get_pass_config(); 
pass_config->disable<ConvertGELU>(); // this will disable nested pass inside // CommonOptimizations pipeline manager.run_passes(f);

場合によっては、他のトランスフォーメーション内のトランスフォーメーションを手動で呼び出す必要があります。その場合、トランスフォーメーションを実行する前に、このパスが無効になっていないことを手動で確認し、現在の PassConfig インスタンスをこのトランスフォーメーションに設定する必要があります。次に例を示します:

// MatcherPass コールバック内または FunctionPass run_on_function() メソッド内 
// PassConfig の共有インスタンスを取得するには get_pass_config() メソッドを呼び出す必要があります 
auto pass_config = get_pass_config(); 

// ネストされたトランスフォーメーションを実行する前に、無効になっているかどうかを確認する必要があります
if (!pass_config->is_disabled<ConvertGELU>()) { 
    auto pass = ConvertGELU(); 
    pass->set_pass_config(pass_config); 
    pass.apply(node); 
}

トランスフォーメーション内でこのロジックに従うことで、トランスフォーメーションが正しい方法で実行されることが保証されます。

パブリック関数

PassConfig()#: デフォルト・コンストラクター。

void disable(const DiscreteTypeInfo &type_info)#

type_info によるトランスフォーメーションを無効にします。

パラメーター:: type_info – トランスフォーメーションの type_info

template<class T> inline void disable()#: クラスタイプによるトランスフォーメーションを無効にします (type_info に基づく)

void enable(const DiscreteTypeInfo &type_info)#

type_info によるトランスフォーメーションを有効にします。

パラメーター:: type_info – トランスフォーメーションの type_info

template<class T> inline void enable()#: クラスタイプによるトランスフォーメーションを有効にします (type_info に基づく)

inline void set_callback(const param_callback &callback)#: あらゆる種類のトランスフォーメーションのコールバックを設定します。

template<typename T, class ...Args> inline void set_callback(const param_callback &callback)#

特定のトランスフォーメーション・クラス・タイプのコールバックを設定します。

以下の例は、このメソッドを使用して 1 つまたは複数のパスのコールバックを設定する方法を示しています。

pass_config->set_callback<ov::pass::ConvertBatchToSpace, ov::pass::ConvertSpaceToBatch>( [](const_node_ptr &node) -> bool { // Disable transformations for cases when input shape rank is not equal to 4 const auto input_shape_rank = node->get_output_partial_shape(0).rank().get_length(); 
if (input_shape_rank != 4) { 
    return false; 
} 
return true; });

トランスフォーメーション内では、このコールバックで動作するコードを提供する必要があることに注意してください。次の例を参照してください:

if (transformation_callback(node)) 
{ 
    return false; // exit from transformation 
}

param_callback get_callback(const DiscreteTypeInfo &type_info) const#

指定されたトランスフォーメーション type_info のコールバックを取得します。

指定されたトランスフォーメーション・タイプに対してコールバックが設定されていない場合、グローバル・コールバックが返されます。ただし、グローバル・コールバックも設定されていない場合は、デフォルトのコールバックが返されます。

パラメーター:: type_info – トランスフォーメーションの type_info

template<class T> inline param_callback get_callback() const#

特定のトランスフォーメーション・クラス・タイプのコールバックを取得します。

戻り値:: コールバック・ラムダ関数

inline bool is_disabled(const DiscreteTypeInfo &type_info) const#

いずれかのトランスフォーメーション・タイプが無効になっているかどうかを確認します。

パラメーター:: type_info – トランスフォーメーションの type_info
戻り値:: トランスフォーメーション・タイプが無効になっている場合は true、そうでない場合は false

template<class T> inline bool is_disabled() const#

いずれかのトランスフォーメーション・クラス・タイプが無効になっているかどうかを確認します。

戻り値:: トランスフォーメーション・タイプが無効になっている場合は true、そうでない場合は false

inline bool is_enabled(const DiscreteTypeInfo &type_info) const#

いずれかのトランスフォーメーション・タイプがを有効に強制されているかどうかを確認します。

パラメーター:: type_info – トランスフォーメーションの type_info
戻り値:: トランスフォーメーション・タイプがを有効に強制されている場合は true、そうでない場合は false

template<class T> inline bool is_enabled() const#

いずれかのトランスフォーメーション・クラス・タイプがを有効に強制されているかどうかを確認します。

戻り値:: トランスフォーメーション・タイプがを有効に強制されている場合は true、そうでない場合は false

class SDPAToPagedAttention : public ov::pass::ModelPass #: #include <sdpa_to_paged_attention.hpp>

このトランスフォーメーションにより、LLM の KV キャッシュ処理部分が PagedAttention 操作に置き換えられます。

class Serialize : public ov::pass::ModelPass #

#include <serialize.hpp>

シリアル化トランスフォーメーションは、ov::Model を IR ファイルに変換します。

Attention

動的形状はサポートされていません。

class StreamSerialize : public ov::pass::ModelPass #

#include <serialize.hpp>

StreamSerialize トランスフォーメーションは、ov::Model を単一のバイナリーストリームに変換します。

Attention

動的形状はサポートされていません。

struct DataHeader#: #include <serialize.hpp>

class StatefulToStateless : public ov::pass::ModelPass #: #include <stateful_to_stateless.hpp>

トランスフォーメーションにより、KV キャッシュの状態がステートレス形式に戻ります。

class Validate : public ov::pass::ModelPass #

#include <validate.hpp>

検証パスは、属性と入力の健全性チェックを実行し、指定された計算グラフ内のすべての計算ノードの出力形状と要素タイプを計算します。

検証と推論は、各ノードの ov::Node::validate_and_infer_types() 関数の特定の実装を呼び出すことによって行われます。

デフォルトでは、ov::pass::Manager はすべての最適化パスを実行した後にこのパスを実行します。これは、最適化パスによるグラフの更新によって、計算ノード上の形状とデータタイプの要件が満たされるようにするためです。このデフォルトの検証実行は、ov::pass::Manager::set_per_pass_validation(bool) 関数を呼び出すことによって変更できます。

class VisualizeTree : public ov::pass::ModelPass #: #include <visualize_tree.hpp>

VisualizeTree パスを使用すると、ov::Model を xDot 形式にシリアル化できます。