① 動的正則化ユニットは Res ブロックの Res 分岐に埋め込まれます。

② 正則化振幅は 、r∈ [−R, R]、

③ フォワードパスでは、(l 1) 番目の Res ブロックの出力は次のように表すことができます。

i 回目の反復におけるトレーニング損失を表します

連続するミニバッチの入力の変動を排除するには、ガウス フィルターを適用してそれらを滑らかにします。

表 I と表 II の結果は、提案された動的正則化が、当時最新の正則化手法である 2 分岐および 3 分岐構造の Shake-Shake、Shake-Drop、および DropBlok と比較して、さまざまなネットワーク アーキテクチャに適応できることを示しています。ベースラインと比較して、この記事で提案する方法は誤差を平均 2% 以上削減できます。