RNNCell#

バージョン名: RNNCell-3

カテゴリー: シーケンス処理

簡単な説明: RNNCell は、記事で説明されている式で出力を計算する単一の RNN セルを表します。

詳細な説明:

RNNCell は単一の RNN セルを表し、RNNSequence 操作の一部です。

式: * - 行列乗算 
^T - 行列トランスポーズ 
f - アクティブ化 関数 
  Ht = f(Xt*(Wi^T) + Ht-1*(Ri^T) + Wbi + Rbi)

属性

• hidden_size

  • 説明: hidden_size は隠れ状態のサイズを指定します。

  • 値の範囲: 正の整数

  • タイプ: int

  • 必須: はい

• activations

  • 説明: ゲートの活性化関数

  • 値の範囲: relu、sigmoid、tanh の任意の組み合わせ

  • タイプ: 文字列のリスト

  • デフォルト値 : tanh

  • 必須: いいえ

• activations_alpha、activations_beta

  • 説明: activates_alpha、activations_beta 関数の属性

  • 値の範囲: 浮動小数点数のリスト

  • タイプ: float[]

  • デフォルト値: なし

  • 必須: いいえ

• clip

  • 説明: clip は、活性化の前にテンソル・クリッピングの値を [-C, C] に指定します。

  • 値の範囲: 正の浮動小数点数

  • タイプ: float

  • デフォルト値: infinity はクリッピングが適用されないことを意味します

  • 必須: いいえ

入力

• 1: X - タイプ T [batch_size, input_size] の 2D テンソル、入力データ。必須。

• 2: H - タイプ T [batch_size, hidden_size] の 2D テンソル、初期の隠れ状態。必須。

• 3: W - タイプ T [hidden_size, input_size] の 2D テンソル、行列乗算の重み。必須。

• 4: R - タイプ T [hidden_size, hidden_size] の 2D テンソル、行列乗算の再帰重み。必須。

• 5: B タイプ T [hidden_size] の 1D テンソル、バイアス (重みと再帰重み) の合計。必須。

出力

• 1: Ho - タイプ T [batch_size, hidden_size] の 2D テンソル、隠し状態の最後の出力値。

タイプ

• T: サポートされている浮動小数点タイプ。

例

<layer ... type="RNNCell" ...> 
    <data hidden_size="128"/> 
    <input> 
        <port id="0"> 
            <dim>1</dim> 
            <dim>16</dim> 
        </port> 
        <port id="1"> 
            <dim>1</dim> 
            <dim>128</dim> 
        </port> 
        <port id="2"> 
            <dim>128</dim> 
            <dim>16</dim> 
        </port> 
        <port id="3"> 
            <dim>128</dim> 
            <dim>128</dim> 
        </port> 
        <port id="4"> 
            <dim>128</dim> 
        </port> 
    </input> 
    <output> 
        <port id="5"> 
            <dim>1</dim> 
            <dim>128</dim> 
        </port> 
    </output> 
</layer>