ReLU

バージョン名: ReLU-1

カテゴリー: アクティベーション関数

簡単な説明: ReLU 要素単位のアクティベーション関数。(参考文献)。

詳細説明: リファレンス。

属性: ReLU 操作には属性がありません。

数学定式化

入力テンソルの各要素について、次の式により出力テンソルの対応する要素を計算します。

\[Y_{i}^{( l )} = max(0,\ Y_{i}^{( l - 1 )})\]

入力:

• 1: サポートされている任意の数値タイプの多次元入力テンソル x。必須。

出力:

• 1: 入力テンソル x に適用された ReLU 関数の結果。入力テンソルと一致する形状とタイプのテンソル。

例:

 <layer ... type="ReLU">
     <input>
         <port id="0">
             <dim>256</dim>
             <dim>56</dim>
         </port>
     </input>
     <output>
         <port id="1">
             <dim>256</dim>
             <dim>56</dim>
         </port>
     </output>
 </layer>