LRN#

バージョン名: LRN-1

カテゴリー: 正規化

簡単な説明: ローカル応答の正規化。

詳細な説明: ローカル応答の正規化は、ローカル入力領域に対して正規化を行います。各入力値は次のように除算されます

(b i a s + \frac{a l p h a}{{s i z e}^{l e n (a x e s)}} \cdot \sum_{i} d a t a_{i})^{b e t a}

合計は、辺の長さの size と軸の数に等しい次元数の領域にわたって取得されます。領域は、正規化される入力値を中心に配置されます (必要に応じてゼロパディングされます)。

以下は 4D data 入力テンソルと axes = [1] の例です:

sqr_sum[a, b, c, d] = 
    sum(data[a, max(0, b - size / 2) : min(data.shape[1], b + size / 2 + 1), c, d] ** 2) 
output = data / (bias + (alpha / size ** len(axes)) * sqr_sum) ** beta

4D data 入力テンソルと axes = [2, 3] の例:

sqr_sum[a, b, c, d] = 
    sum(data[a, b, max(0, c - size / 2) : min(data.shape[2], c + size / 2 + 1), max(0, d - size / 2) : min(data.shape[3], d + size / 2 + 1)] ** 2) 
output = data / (bias + (alpha / size ** len(axes)) * sqr_sum) ** beta

属性:

alpha
- 説明: alpha は、正規化合計のスケーリング属性を表します。例えば、alpha が 0.0001 に等しい場合、正規化合計に 0.0001 を乗算することを意味します。
- 値の範囲: 制限なし
- タイプ: float
- 必須: はい
beta
- 説明: beta は正規化合計の指数を表します。例えば、beta が 0.75 に等しいということは、正規化合計が 0.75 乗されることを意味します。
- 値の範囲: 正の数値
- タイプ: float
- 必須: はい
bias
- 説明: bias はオフセットを表します。通常は、ゼロによる除算を避けるため正の数です。
- 値の範囲: 制限なし
- タイプ: float
- 必須: はい
size
- 説明: size は、正規化合計に使用される領域の辺の長さを表します。領域は、2 番目の入力軸のインデックスに応じて 1 つ以上の次元を持つことができます。
- 値の範囲: 正の整数
- タイプ: int
- 必須: はい

入力

1: data - タイプ T の任意の形状のテンソル。必須。
2: axes - 正規化スライスを定義する data 内の次元のインデックスを指定する T_IND タイプの 1D テンソル。必須。

出力

1: タイプ T で data 入力テンソルと同じ形状の出力テンソル。

タイプ

T: サポートされている浮動小数点タイプ。
T_IND: サポートされている整数タイプ。

例

<layer id="1" type="LRN" ...> 
    <data alpha="1.0e-04" beta="0.75" size="5" bias="1"/> 
    <input> 
        <port id="0"> 
            <dim>6</dim> 
            <dim>12</dim> 
            <dim>10</dim> 
            <dim>24</dim> 
        </port> 
        <port id="1"> 
            <dim>1</dim> <!-- 値は [1] であり、これはチャネルに沿って各ピクセルを独立に正規化することを意味します。 --> 
        </port> 
    </input> 
    <output> 
        <port id="2"> 
            <dim>6</dim> 
            <dim>12</dim> 
            <dim>10</dim> 
            <dim>24</dim> 
        </port> 
    </output> 
</layer>