入力特徴量を0から1までの広範囲に圧縮することで、ディープネットワークにおいて大きな変更を加えずにデータ振幅を維持できるようにする

物理的な意味で生体ニューロンに最も近い

出力範囲に応じて、この関数は予測確率を出力として持つモデルに適しています。

入力が非常に大きいか非常に小さい場合、出力は基本的に一定です。つまり、変化が非常に小さいため、勾配は 0 に近くなります。

グラデーションが途中で消えてしまい、収束が遅くなる可能性があります

指数演算は比較的時間がかかります

出力は 0 平均ではないため、次の層のニューロンは、前の層によって出力された非 0 平均信号を入力として取得します。ネットワークが深化するにつれて、元データの流通傾向も変化していきます。

上記のシグモイド関数の出力が 0 平均値にならない問題を解決します。

Tanh 関数の導関数の範囲は 0 ～ 1 であり、シグモイド関数の 0 ～ 0.25 よりも優れており、勾配の消失の問題がある程度軽減されます。

Tanh 関数は、原点付近では y=x 関数に似ており、入力活性化値が低い場合は行列演算を直接実行でき、学習は比較的簡単です。

シグモイド関数と同様に、勾配消失問題は依然として存在します。

その 2 つの形式の式、つまり 2*sigmoid(2x)-1 と (exp(x)-exp(-x))/(exp(x) exp(-x)) を観察してください。電源操作はまだ存在します

シグモイド関数や Tanh 関数と比較すると、入力が正の場合、Relu 関数には飽和問題が発生しないため、勾配消失問題が解決され、ディープ ネットワークがトレーニング可能になります。

計算速度は非常に速く、入力が 0 値より大きいかどうかを判断するだけで済みます。

収束速度はシグモイド関数や Tanh 関数よりもはるかに高速です

Relu の出力により、一部のニューロンの値が 0 になります。これにより、ネットワークの疎性がもたらされるだけでなく、パラメータ間の相関が減少し、過剰適合の問題がある程度軽減されます。

Relu 関数の出力は、平均が 0 である関数ではありません。

Dead Relu 問題があります。つまり、一部のニューロンがアクティブ化されず、対応するパラメーターが更新されない可能性があります。この問題の主な理由には、パラメーターの初期化の問題と大きすぎる学習率の設定が含まれます。

入力が正の値で微分値が 1 の場合、「連鎖反応」では勾配は消えませんが、勾配降下の強度は重みの積に完全に依存するため、勾配爆発の問題が発生する可能性があります。 。

Relu 関数に存在する Dead Relu 問題に対応して、Leaky Relu 関数は、入力が負の値の場合に入力値に非常に小さな傾きを与えます。これは、負の入力の場合の 0 勾配問題を解くことに基づいています。 Dead Reluの問題もかなり軽減されています。

この関数の出力は負の無限大から正の無限大までです。つまり、リーキーにより Relu 関数の範囲が拡張されます。α の値は通常、0.01 などの小さい値に設定されます。

この関数は理論的には Relu 関数よりも優れた効果を持っていますが、多くの実践によってその効果が不安定であることが証明されているため、この関数を実際に適用する例はあまりありません。

異なる間隔で異なる関数が適用されるために結果が一貫性を欠くと、正と負の入力値に対して一貫した関係予測を提供できなくなります。

ソフトマックスの最初のステップは、モデルの予測結果を指数関数に変換することで、確率が負でないことを保証します。

この方法では、変換結果をすべての変換結果の合計で割ります。これは、合計に占める変換結果の割合として理解できます。これにより、おおよその確率が得られます。

クロス エントロピーは、ニューラル ネットワーク (機械学習) の損失関数として使用できます。p は実際のラベルの分布を表し、q はトレーニングされたモデルの予測ラベル分布を表します。クロス エントロピー損失関数は、p と q の間の類似性を測定できます。 。

損失関数としてクロス エントロピーを使用するもう 1 つの利点は、勾配降下中にシグモイド関数を使用すると、学習率を出力誤差によって制御できるため、平均二乗誤差損失関数の学習率の低下の問題を回避できることです。

p(i) を実際の確率分布、q(i) を予測確率分布と考えます。損失関数としてクロス エントロピーを使用すると、それを最小化すると、q(i) を徐々に p( i) に近づけることができます。フィッティングの目的は達成されました。

特定の予測値を個別に取り出すか、異なるサイズのパラメータを割り当てる

多目的トレーニングタスク、合理的な損失結合方法の設定（さまざまな操作）

さまざまなニューラル ネットワークの損失を組み合わせて、ネットワークをトレーニングし、ガイドします。

固定、つまり固定学習率は最も単純な設定であり、必要なパラメータは 1 つだけです。

最適化プロセス全体を通じて学習率は変化しません。これは、全体的な最適点に近づくにつれて、最適点をスキップするのを避けるために学習率がどんどん小さくなる必要があるため、使用されることはほとんどありません。

適応学習率

AdaGrad アルゴリズムからは、アルゴリズムが反復を続けるにつれて r がますます大きくなり、全体の学習率がますます小さくなることがわかります。したがって、一般的に、AdaGrad アルゴリズムはインセンティブ収束から始まり、徐々にペナルティ収束に変わり、速度がどんどん遅くなります。

RMSProp アルゴリズムは、AdaGrad アルゴリズムのように正方形の勾配を激しく直接蓄積しませんが、減衰係数を追加して、どの程度の履歴情報を取得するかを制御します。

簡単に言うと、グローバル学習率を設定した後、パスごとに、減衰係数によって制御される履歴勾配の二乗和の平方根でグローバル学習率をパラメータごとに除算し、各パスの学習率がパラメータが違います。

方向が異なり、検索がより正確になります。

ドロップアウトとプーリングの違い

順伝播中に、特定のニューロンの活性化値が特定の確率 p で動作を停止するようにします。これにより、モデルが特定の局所的な特徴にあまり依存しなくなるため、モデルがより一般化可能になります。

正則化はパラメータ w にどのような影響を与えますか?

重みの減衰とは何ですか?それは正則化とどのように関係していますか?

ほとんどのパラメータは更新する必要がなく、実際のパラメータは大幅に削減されます。

事前トレーニング済みモデルの畳み込み層の一部をフリーズします (これらの層は多くの基礎情報を保持しているため、通常は入力に近い畳み込み層の大部分)、またはネットワーク層をフリーズし、残りの畳み込み層をトレーニングします (通常は出力畳み込み層に近い部分）と全結合層。

微調整の原理は、既知のネットワーク構造と既知のネットワーク パラメーターを使用し、出力層を独自の層に変更し、最後の層の前にいくつかの層のパラメーターを微調整することで、ディープの強力な一般化機能を効果的に利用します。ニューラル ネットワークの微調整機能が強化され、複雑なモデルの設計や時間のかかるトレーニングが不要になるため、データ量が不十分な場合には微調整がより適しています。

意義

移行モデル