RNNCell

バージョン名: RNNCell-3

カテゴリー: シーケンス処理

簡単な説明: RNNCell は、記事で説明されている式で出力を計算する単一の RNN セルを表します。

詳細説明:

RNNCell は単一の RNN セルを表し、RNNSequence 操作の一部です。

Formula:
  *  - matrix multiplication
  ^T - matrix transpose
  f  - activation function
    Ht = f(Xt*(Wi^T) + Ht-1*(Ri^T) + Wbi + Rbi)

属性:

• hidden_size

  • 説明: hidden_size は隠れ状態のサイズを指定します。

  • 値の範囲: 正の整数

  • タイプ: int

  • 必須: はい

• activations

  • 説明: ゲートのアクティベーション関数

  • 値の範囲: relu、sigmoid、tanh の任意の組み合わせ

  • タイプ: 文字列のリスト

  • デフォルト値 : tanh

  • 必須: いいえ

• activations_alpha、activations_beta

  • 説明: activates_alpha、activations_beta 関数の属性

  • 値の範囲: 浮動小数点数のリスト

  • タイプ: float[]

  • デフォルト値: なし

  • 必須: いいえ

• clip

  • 説明: clip は、アクティベーションの前にテンソル・クリッピングの値を [-C, C] に指定します。

  • 値の範囲: 正の浮動小数点数

  • タイプ: float

  • デフォルト値: infinity はクリッピングが適用されないことを意味します

  • 必須: いいえ

入力:

• 1: X - タイプ T [batch_size, input_size] の 2D テンソル、入力データ。必須。

• 2: H - タイプ T [batch_size, hidden_size] の 2D テンソル、初期の隠れ状態。必須。

• 3: W - タイプ T [hidden_size, input_size] の 2D テンソル、行列乗算の重み。必須。

• 4: R - タイプ T [hidden_size, hidden_size] の 2D テンソル、行列乗算の再帰重み。必須。

• 5: B タイプ T [hidden_size] の 1D テンソル、バイアス (重みと再帰重み) の合計。必須。

出力:

• 1: Ho - タイプ T [batch_size, hidden_size] の 2D テンソル、隠し状態の最後の出力値。

タイプ:

• T: サポートされている浮動小数点タイプ。

例:

<layer ... type="RNNCell" ...>
    <data hidden_size="128"/>
    <input>
        <port id="0">
            <dim>1</dim>
            <dim>16</dim>
        </port>
        <port id="1">
            <dim>1</dim>
            <dim>128</dim>
        </port>
        <port id="2">
            <dim>128</dim>
            <dim>16</dim>
        </port>
        <port id="3">
            <dim>128</dim>
            <dim>128</dim>
        </port>
        <port id="4">
            <dim>128</dim>
        </port>
    </input>
    <output>
        <port id="5">
            <dim>1</dim>
            <dim>128</dim>
        </port>
    </output>
</layer>