SoftPlus#

バージョン名: SoftPlus-4

カテゴリー: 活性化関数

簡単な説明: SoftPlus は、修正ベースの要素ごとの活性化関数です。

詳細な説明

SoftPlus は、次の数式に基づいて、指定された入力テンソルに対して要素ごとの活性化関数を実行します:

SoftPlus(x)={xif x≥thresholdlog⁡(ex+1.0)if x<threshold

注: 数値安定性のために、x > threshold の場合、演算は線形関数に戻ります。threshold は T に依存し、線形関数と正確な計算の差が 1e-6 以下になるように選択されます。threshold は次の式で計算できます。ここで、alpha は小数点以下の桁数、beta は T データタイプの最大値です:

−log(e10−α−1.0)<threshold<log(β)

例えば、T が fp32 の場合、threshold は 20 にする必要があり、T が fp16 の場合、threshold は 11 にする必要があります。

属性: SoftPlus 操作には属性がありません。

入力:

  • 1: タイプ T の任意の形状のテンソル。必須。

出力:

  • 1: 入力テンソルに適用された要素ごとの SoftPlus 関数の結果。T タイプのテンソルで、入力テンソルと同じ形状です。

タイプ

  • T: サポートされている任意の浮動小数点タイプ。

例

 <layer ... type="SoftPlus"> 
    <input> 
        <port id="0"> 
            <dim>256</dim> 
            <dim>56</dim> 
        </port> 
    </input> 
    <output> 
        <port id="1"> 
            <dim>256</dim> 
            <dim>56</dim> 
        </port> 
    </output> 
</layer>