Mish

バージョン名: Mish-4

カテゴリー: アクティベーション関数

簡単な説明: Mish は、自己正規化された非単調な神経活性化関数です。

詳細説明:

Mish は、この記事で提案される自己正則化された非単調な神経活性化関数です。

Mish は、次の数式に基づいて、指定された入力テンソルに対して要素ごとのアクティベーション関数を実行します。

\[Mish(x) = x\cdot\tanh\big(SoftPlus(x)\big) = x\cdot\tanh\big(\ln(1+e^{x})\big)\]

属性: Mish 操作には属性がありません。

入力:

• 1: タイプ T の任意の形状のテンソル。必須。

出力:

• 1: 入力テンソルに適用された要素ごとの Mish 関数の結果。T タイプのテンソルで、入力テンソルと同じ形状です。

タイプ:

• T: サポートされている任意の浮動小数点タイプ。

例:

<layer ... type="Mish">
    <input>
        <port id="0">
            <dim>256</dim>
            <dim>56</dim>
        </port>
    </input>
    <output>
        <port id="3">
            <dim>256</dim>
            <dim>56</dim>
        </port>
    </output>
</layer>