Сверточные нейронные сети с динамической регуляризацией

Сверточные нейронные сети с динамической регуляризацией: глава 1. Предыстория проблемы. Динамическая регуляризация была предложена для устранения двух основных недостатков методов регуляризации: 1) сила регуляризации (или амплитуда) негибкая для различных сетевых архитектур. 2) Сила регуляризации постоянна на протяжении всего обучения. процесс.

Отредактировано в 2023-01-09 20:02:07

WSysQn6v

Недавние работы Смотреть другие работы>>

Сверточные нейронные сети с динамической регуляризацией

WSysQn6v

Недавние работы Смотреть другие работы>>

Рекомендовано вам
Структура

Подробное объяснение процесса работы нейронной сети
- 2
WSysQn6v
Сверточная нейронная сеть (CNN)
- 1
WSysQn6v
Распространенные типы и приложения моделей нейронных сетей
- 1
WSysQn6v
Нейронные сети и рекуррентные нейронные сети глубокого обучения
- 1
WSysQn6v
Нейронные сети и сверточные нейронные сети глубокого обучения
- 2
WSysQn6v
Основы нейронных сетей и глубокого обучения
- 1
WSysQn6v
Распознавание рукописных цифр на основе усовершенствованной сигмовидной сверточной нейронной сети
- 1
WSysQn6v
традиционная нейронная сеть
- 3
WSysQn6v
Нейронные сети
- 2
WSysQn6v
Создать модель
- 2
ArteVeloce

(За пределами первого квартала 2021 г.) Сверточные нейронные сети с динамической регуляризацией

Глава 1: предыстория проблемы

Динамическая регуляризация была предложена для устранения двух основных недостатков методов регуляризации:

1) Сила регуляризации (или амплитуда) негибкая для разных сетевых архитектур. 2) Сила регуляризации постоянна на протяжении всего процесса обучения.

глава 2 ПРЕДЛАГАЕМЫЙ МЕТОД

1) Введение динамической регуляризации в структуру Res

Блок Res с двумя ветвями и динамической регуляризацией, представляющий обратную разницу потерь при обучении

① Модуль динамической регуляризации встроен в ветку Res блока Res:

A — постоянная амплитуда, si — динамический коэффициент на i-й итерации, а r — равномерный случайный шум.

② Амплитуда регуляризации связана с , rε [−R, R],

, общее количество блоков Res

③ При прямом проходе выходные данные (l 1)-го блока Res могут быть выражены как:

В обратном проходе шум связан с

2) Обновление силы регуляризации

Предложенное решение по обновлению силы динамической регуляризации достигается за счет динамики потерь обучения. В частности, динамику потерь обучения можно смоделировать как обратную разницу между потерями обучения на последовательных итерациях:

представляет потери обучения на i-й итерации

Чтобы устранить колебания на входе последовательных мини-пакетов, примените фильтр Гаусса для их сглаживания:

глава 3, результаты экспериментов

2 Разветвленная структура и плотная структура

Экспериментальные результаты на структурах с плотными связями показывают, что наша динамическая регуляризация стабильна и снижает ошибку Top-1 на 1,67%.

3-филиальная структура

Результаты в Таблицах I и Таблице II показывают, что предложенная динамическая регуляризация может быть адаптирована к различным сетевым архитектурам по сравнению с новейшими на тот момент методами регуляризации Shake-Shake, Shake-Drop и DropBlok на 2- и 3-ветвевых структурах. По сравнению с базовым вариантом предложенный в этой статье метод позволяет снизить ошибку в среднем более чем на 2%.

глава 4 исследование и обсуждение абляции

1) Эффективность динамической регуляризации

2) Список сильных сторон регуляризации

3) Случайный шум

4) Фильтр Гаусса