Swish

バージョン名: Swish-4

カテゴリー: アクティベーション関数

簡単な説明: Swish は、指定された入力テンソルに対して要素ごとのアクティベーション関数を実行します。

詳細説明:

Swish の操作については、この記事で紹介されています。

Swish は滑らかで非単調な関数です。Swish の非単調性特性は、ほとんどの一般的なアクティベーション関数とは異なります。これは、次の数式に基づいて、指定された入力テンソルに対して要素ごとのアクティベーション関数を実行します。

\[Swish(x) = x\cdot \sigma(\beta x) = x \left(1 + e^{-(\beta x)}\right)^{-1}\]

ここで、β は beta スカラー入力に対応します。

属性: Swish 操作には属性がありません。

入力:

• 1: data。タイプ T の任意の形状のテンソル。必須。

• 2: beta。T タイプの非負のスカラー値。シグモイドの乗算パラメーター。デフォルト値 1.0 が使用されます。オプション。

出力:

• 1: 入力テンソル data に適用された要素ごとの Swish 関数の結果。タイプ T のテンソルで、data 入力テンソルと同じ形状です。

タイプ:

• T: サポートされている任意の浮動小数点タイプ。

例:

例: 2 番目の入力 beta が提供されます

 <layer ... type="Swish">
     <input>
         <port id="0">
             <dim>256</dim>
             <dim>56</dim>
         </port>
         <port id="1">  <!-- beta value: 2.0 -->
         </port>
     </input>
     <output>
         <port id="2">
             <dim>256</dim>
             <dim>56</dim>
         </port>
     </output>
 </layer>

例: 2 番目の入力 beta が提供されません

 <layer ... type="Swish">
     <input>
         <port id="0">
             <dim>128</dim>
         </port>
     </input>
     <output>
         <port id="1">
             <dim>128</dim>
         </port>
     </output>
 </layer>