Faltungs-Neuronale Netze mit dynamischer Regularisierung

Faltungs-Neuronale Netze mit dynamischer Regularisierung: Kapitel 1 Problemhintergrund: Die dynamische Regularisierung wurde vorgeschlagen, um zwei Hauptmängel von Regularisierungsmethoden zu beheben: 1) Die Regularisierungsstärke (oder Amplitude) ist für verschiedene Netzwerkarchitekturen unflexibel. 2) Die Regularisierungsstärke ist während des gesamten Trainings konstant Verfahren.

Editado a las 2023-01-09 20:02:07,

tyyii7sc@bccto.c

Faltungs-Neuronale Netze mit dynamischer Regularisierung

tyyii7sc@bccto.c

Recomendados
Resumen

Neuronale Netze und wiederkehrende Deep-Learning-Neuronale Netze
- 19
tyyii7sc@bccto.c
Neuronale Netze und Deep Learning Convolutional Neural Networks
- 29
tyyii7sc@bccto.c
Die Grundlage neuronaler Netze und Deep Learning
- 13
tyyii7sc@bccto.c
Handschriftliche Ziffernerkennung basierend auf einem verbesserten Sigmoid-Faltungs-Neuronalen Netzwerk
- 18
tyyii7sc@bccto.c
traditionelles neuronales Netzwerk
- 11
tyyii7sc@bccto.c
Neuronale Netze
- 14
tyyii7sc@bccto.c
Detaillierte Erläuterung des Betriebsprozesses eines neuronalen Netzwerks
- 4
Deu-Martina
Faltungs-Neuronales Netzwerk (CNN)
- 17
Deu-Martina
Gängige Typen und Anwendungen neuronaler Netzwerkmodelle
- 13
Deu-Martina

(Außerhalb des ersten Quartals 2021) Faltungs-Neuronale Netze mit dynamischer Regularisierung

Kapitel 1 Problemhintergrund

Die dynamische Regularisierung wurde vorgeschlagen, um zwei Hauptmängel von Regularisierungsmethoden zu beheben:

1) Die Stärke (oder Amplitude) der Regularisierung ist für verschiedene Netzwerkarchitekturen unflexibel. 2) Die Stärke der Regularisierung ist während des gesamten Trainingsprozesses konstant

Kapitel 2 VORGESCHLAGENE METHODE

1) Einführung einer dynamischen Regularisierung in die Res-Struktur

2-Zweig-Res-Block mit dynamischer Regularisierung, der die Rückwärtsdifferenz des Trainingsverlusts darstellt

① Die dynamische Regularisierungseinheit ist in den Res-Zweig des Res-Blocks eingebettet:

A ist die konstante Amplitude, si ist der dynamische Faktor bei der i-ten Iteration und r ist das gleichmäßige Zufallsrauschen.

② Die Regularisierungsamplitude hängt mit , r∈ [−R, R] zusammen,

ist die Gesamtzahl der Res-Blöcke

③ Im Vorwärtsdurchlauf kann die Ausgabe des (l 1)-ten Res-Blocks ausgedrückt werden als:

Beim Rückwärtsdurchlauf kommt es zu Geräuschen

2) Aktualisierung der Regularisierungsstärke

Die vorgeschlagene Aktualisierungslösung der dynamischen Regularisierungsstärke wird durch die Dynamik des Trainingsverlusts erreicht. Insbesondere kann die Dynamik von Trainingsverlusten als Rückwärtsdifferenz zwischen Trainingsverlusten in aufeinanderfolgenden Iterationen modelliert werden:

stellt den Trainingsverlust bei der i-ten Iteration dar

Um Schwankungen in der Eingabe aufeinanderfolgender Mini-Batches zu eliminieren, wenden Sie einen Gaußschen Filter an, um sie zu glätten:

Kapitel 3 experimentelle Ergebnisse

2 Zweigstruktur und dichte Struktur

Experimentelle Ergebnisse zu dichten Linkstrukturen zeigen, dass unsere dynamische Regularisierung stabil ist und den Top-1-Fehler um 1,67 % reduziert

Struktur mit 3 Zweigen

Die Ergebnisse in Tabelle I und Tabelle II zeigen, dass die vorgeschlagene dynamische Regularisierung im Vergleich zu den damals neuesten Regularisierungsmethoden Shake-Shake, Shake-Drop und DropBlok auf 2-Zweig- und 3-Zweig-Strukturen an verschiedene Netzwerkarchitekturen angepasst werden kann. Im Vergleich zur Basislinie kann die in diesem Artikel vorgeschlagene Methode den Fehler im Durchschnitt um mehr als 2 % reduzieren.

Kapitel 4 Ablationsstudie und Diskussion

1) Wirksamkeit der dynamischen Regularisierung

2) Liste der Regularisierungsstärken

3) Zufälliges Rauschen

4) Gaußscher Filter