LRN

バージョン名: LRN-1

カテゴリー: 正規化

簡単な説明: ローカル応答の正規化。

詳細な説明: ローカル応答正規化は、ローカル入力領域に対して正規化を行います。各入力値は次のように除算されます。

\[(bias + \frac{alpha}{{size}^{len(axes)}} \cdot \sum_{i} data_{i})^{beta}\]

合計は、辺の長さの size と軸の数に等しい次元数の領域にわたって取得されます。領域は、正規化される入力値を中心に配置されます (必要に応じてゼロパディングされます)。

4D data 入力テンソルと axes = [1] の例:

sqr_sum[a, b, c, d] =
    sum(data[a, max(0, b - size / 2) : min(data.shape[1], b + size / 2 + 1), c, d] ** 2)
output = data / (bias + (alpha / size ** len(axes)) * sqr_sum) ** beta

4D data 入力テンソルと axes = [2, 3] の例:

sqr_sum[a, b, c, d] =
    sum(data[a, b, max(0, c - size / 2) : min(data.shape[2], c + size / 2 + 1),  max(0, d - size / 2) : min(data.shape[3], d + size / 2 + 1)] ** 2)
output = data / (bias + (alpha / size ** len(axes)) * sqr_sum) ** beta

属性:

  • alpha

    • 説明: alpha は、正規化合計のスケーリング属性を表します。例えば、alpha が 0.0001 に等しい場合、正規化合計に 0.0001 を乗算することを意味します。

    • 値の範囲: 制限なし

    • タイプ: float

    • 必須: はい

  • beta

    • 説明: beta は正規化合計の指数を表します。例えば、beta が 0.75 に等しいということは、正規化合計が 0.75 乗されることを意味します。

    • 値の範囲: 正の数値

    • タイプ: float

    • 必須: はい

  • bias

    • 説明: bias はオフセットを表します。通常は、ゼロによる除算を避けるため正の数です。

    • 値の範囲: 制限なし

    • タイプ: float

    • 必須: はい

  • size

    • 説明: size は、正規化合計に使用される領域の辺の長さを表します。領域は、2 番目の入力軸のインデックスに応じて 1 つ以上の次元を持つことができます。

    • 値の範囲: 正の整数

    • タイプ: int

    • 必須: はい

入力:

  • 1: data - タイプ T および任意の形状のテンソル。必須。

  • 2: axes - 正規化スライスを定義する data 内の次元のインデックスを指定する T_IND タイプの 1D テンソル。必須。

出力:

  • 1: タイプ T で data 入力テンソルと同じ形状の出力テンソル。

タイプ:

  • T: サポートされている浮動小数点タイプ。

  • T_IND: サポートされている整数タイプ。

例:

<layer id="1" type="LRN" ...>
    <data alpha="1.0e-04" beta="0.75" size="5" bias="1"/>
    <input>
        <port id="0">
            <dim>6</dim>
            <dim>12</dim>
            <dim>10</dim>
            <dim>24</dim>
        </port>
        <port id="1">
            <dim>1</dim> <!-- value is [1] that means independent normalization for each pixel along channels -->
        </port>
    </input>
    <output>
        <port id="2">
            <dim>6</dim>
            <dim>12</dim>
            <dim>10</dim>
            <dim>24</dim>
        </port>
    </output>
</layer>