σ(x)=1/(1 e^(-x) )

飽和特性により勾配が消えます

Tanh(x)=2σ(x)-1

実数値は (-1, 1) の開区間に圧縮されます

f(x)=max(0,x)

入力が 0 未満の領域にある場合、関数値は常に 0 となり、勾配は 0 になります。

右側の線形部分により、ELU は勾配消失を軽減できますが、左側のソフト飽和部分により、ELU は入力変化やノイズに対してより堅牢になります。

elu の出力平均はゼロに近い

利点: 学習速度がありません。

欠点: 二次導関数の計算

改良されたアルゴリズム: LBFGS

一般的に使用されるのは L2 正則化です

ソーベル:[-1 -2 -1;] とその転置

Prewitt:[-1 -1 -1;] とその転置

ラプラス:[1 1 1 -8 1;