GRN#

バージョン名: GRN-1

カテゴリー: 正規化

簡単な説明: GRN は、L2 ノルムによるグローバル応答正規化 (チャネル間のみ) です。

詳細な説明:

GRN は、形状 [N, C, ...] の入力テンソルのチャネル全体で L2 ノルムを計算します。GRN は入力テンソルを使用して次の処理を行います:

o u t p u t [i 0, i 1, . . ., i N] = x [i 0, i 1, . . ., i N] / s q r t (s u m [j = 0. . C - 1] (x [i 0, j, . . ., i N] * * 2) + b i a s)

属性:

bias
- 説明: 二乗和にバイアスが加算されます。
- 値の範囲: 正の浮動小数点数
- タイプ: float
- 必須: はい

入力

1: data - タイプ T および 2 <= rank <= 4 のテンソル。必須。

出力

1: data 入力テンソルに適用された GRN 関数の結果。データ入力と同じタイプおよび形状の正規化されたテンソル。

タイプ

T: サポートされている任意の浮動小数点タイプ。

例

<layer ... type="GRN"> 
    <data bias="1e-4"/> 
    <input> 
        <port id="0"> 
            <dim>1</dim> 
            <dim>20</dim> 
            <dim>224</dim> 
            <dim>224</dim> 
        </port> 
    </input> 
    <output> 
        <port id="0" precision="f32"> 
            <dim>1</dim> 
            <dim>20</dim> 
            <dim>224</dim> 
            <dim>224</dim> 
        </port> 
    </output> 
</layer>