Swish#

バージョン名: Swish-4

カテゴリー: 活性化関数

簡単な説明: Swish は、指定された入力テンソルに対して要素ごとの活性化関数を実行します。

詳細な説明

Swish の操作については、この記事で紹介されています。

Swish は滑らかで非単調な関数です。Swish の非単調性特性は、ほとんどの一般的な活性化関数とは異なります。これは、次の数式に基づいて、指定された入力テンソルに対して要素ごとの活性化関数を実行します:

S w i s h (x) = x \cdot σ (β x) = x {(1 + e^{- (β x)})}^{- 1}

ここで、β は beta スカラー入力に対応します。

属性: Swish 操作には属性がありません。

入力:

1: data。タイプ T の任意の形状のテンソル。必須。
2: beta。T タイプの非負のスカラー値。シグモイドの乗算パラメーター。デフォルト値 1.0 が使用されます。オプションです。

出力:

1: 入力テンソル data に適用された要素ごとの Swish 関数の結果。タイプ T のテンソルで、data 入力テンソルと同じ形状です。

タイプ

T: サポートされている任意の浮動小数点タイプ。

例

例: 2 番目の入力 beta が提供されます

 <layer ... type="Swish"> 
    <input> 
        <port id="0"> 
            <dim>256</dim> 
            <dim>56</dim> 
        </port> 
        <port id="1"> 
            <!-- beta value: 2.0 --> 
        </port> 
    </input> 
    <output> 
        <port id="2"> 
            <dim>256</dim> 
            <dim>56</dim> 
        </port> 
    </output> 
</layer>

例: 2 番目の入力 beta が提供されません

 <layer ... type="Swish"> 
    <input> 
        <port id="0"> 
            <dim>128</dim> 
        </port> 
    </input> 
    <output> 
        <port id="1"> 
            <dim>128</dim> 
        </port> 
    </output> 
</layer>