GRN

バージョン名: GRN-1

カテゴリー: 正規化

簡単な説明: GRN は、L2 ノルムによるグローバル応答正規化 (チャネル間のみ) です。

詳細な説明:

GRN は、形状 [N, C, ...] の入力テンソルのチャネル全体で L2 ノルムを計算します。GRN は入力テンソルを使用して次の処理を行います。

\[output[i0, i1, ..., iN] = x[i0, i1, ..., iN] / sqrt(sum[j = 0..C-1](x[i0, j, ..., iN]**2) + bias)\]

属性:

• bias

  • 説明: 二乗和にバイアスが加算されます。

  • 値の範囲: 正の浮動小数点数

  • タイプ: float

  • 必須: はい

入力:

• 1: data - タイプ T および 2 <= rank <= 4 のテンソル。必須。

出力:

• 1: data 入力テンソルに適用された GRN 関数の結果。データ入力と同じタイプおよび形状の正規化されたテンソル。

タイプ:

• T: サポートされている任意の浮動小数点タイプ。

例:

<layer ... type="GRN">
    <data bias="1e-4"/>
    <input>
        <port id="0">
            <dim>1</dim>
            <dim>20</dim>
            <dim>224</dim>
            <dim>224</dim>
        </port>
    </input>
    <output>
        <port id="0" precision="f32">
            <dim>1</dim>
            <dim>20</dim>
            <dim>224</dim>
            <dim>224</dim>
        </port>
    </output>
</layer>