比較した

入力層、出力層、および複数の隠れ層

シグモイド

ReLU

タン

リーキー ReLU

出力結果を正規化する

出力結果を確率に変換する

実際の値との差を測定するために使用されます（ワンホットコード） - KL ダイバージェンス

ステップ

共通ドアユニット

グラデーションが消える

勾配爆発

解決

いまいち

ガウス分布を使用する

各層のニューロンの活性化値の分散は基本的に同じです。

適切な初期化方法を使用すると、順伝播中の情報の消失を防ぐことができ、逆伝播中の勾配消失の問題も解決できます。

活性化関数として双曲線正接またはシグモイドを選択する場合は、Xaizer 初期化メソッドを使用することをお勧めします。

活性化関数として ReLU または Leakly ReLU を選択する場合は、He 初期化メソッドを使用することを推奨します。

入力と出力が同じ配分になるようにウェイト配分を調整します。

バッチトレーニング後に y 出力を調整します - 平均を減算して分散を除去します

このうち、データ分布の平均と分散は、分類への寄与に基づいて独立して決定する必要があります。

往路通過時の信号消失と勾配消失の問題を解決

モデルの能力がトレーニング セットで減少し、検証セットで増加し始めると、過剰適合が始まります。

学習時に、選択したモデルに含まれるパラメーターが多すぎるため、既知のデータに対しては良好な予測が得られますが、未知のデータに対しては予測が不十分になります。

通常、学習されたデータの特徴ではなく、トレーニング データが記憶されます。

解決

モデルの記述能力が弱すぎて、データ内のパターンをうまく学習できません。

通常、モデルは単純すぎる

大きすぎる

大きすぎる

小さすぎる

適度

グリッド検索方式

ランダム検索方式

一般に、ランダム サンプリングはログ スペースで行われます。