Вход
Войти

Галерея диаграмм связей Нейронные сети и сверточные нейронные сети глубокого обучения

Нейронные сети и сверточные нейронные сети глубокого обучения

Кратко изложено основное содержание сверточных нейронных сетей, такое как основные понятия, операции свертки, базовые структуры, методы обучения параметров и некоторые примеры структур сверточных нейронных сетей.

Отредактировано в 2023-02-26 23:13:29

WSysQn6v

Недавние работы Смотреть другие работы>>

Нейронные сети и сверточные нейронные сети глубокого обучения

WSysQn6v

Недавние работы Смотреть другие работы>>

Рекомендовано вам
Структура

Внимание — это все, что вам нужно
- 2
WSrx009v
Алгоритм сегментации изображения
- 1
WSysQn6v
Базовый алгоритм регрессии для машинного обучения
- 1
WSysQn6v
Подробное объяснение процесса работы нейронной сети
- 2
WSysQn6v
Сверточная нейронная сеть (CNN)
- 1
WSysQn6v
сверточная нейронная сеть
- 2
WSysQn6v
Распространенные типы и приложения моделей нейронных сетей
- 1
WSysQn6v
Нейронные сети и рекуррентные нейронные сети глубокого обучения
- 1
WSysQn6v
Основы нейронных сетей и глубокого обучения
- 1
WSysQn6v
Распознавание рукописных цифр на основе усовершенствованной сигмовидной сверточной нейронной сети
- 1
WSysQn6v

Нейронные сети и глубокое обучение сверточная нейронная сеть

Введение в CNN

Типичный предварительный просмотр структуры CNN

основные свойства

редкое соединение

По сравнению с полносвязной сетью FC, CNN представляет собой локальное соединение, то есть выход нейрона предыдущего слоя соединен только со входом нескольких соседних нейронов следующего слоя, а вход нейрона следующего слоя. слой получает только входные данные предыдущего слоя. Выходные данные нескольких соседних нейронов.

Совместное использование параметров

Рецептивное поле (поле зрения)

Вход нейрона текущего слоя — это выход нескольких нейронов рядом с предыдущим слоем, а то, что ощущается, — это выход соседних нейронов предыдущего слоя. Эта входная область называется рецептивным полем текущего нейрона.

Ядро свертки

Сигналы внутри рецептивного поля взвешиваются, чтобы сформировать активацию текущего нейрона. Соседние нейроны имеют разные, но равные рецептивные поля (независимо от границ).

Активация каждого нейрона генерируется путем взвешенного суммирования сигналов в соответствующих сенсорных полях с использованием одного и того же набора весовых коэффициентов, то есть каждый нейрон использует один и тот же вектор весовых коэффициентов. Этот набор общих весовых коэффициентов называется ядром свертки. .

Приблизительная трансляционная инвариантность

Перевод входного сигнала имеет тот же перевод выходного сигнала.

Свойства самой операции свертки, основные свойства линейных стационарных систем.

Правильно спроектировав блок объединения и выбрав функцию активации, CNN может приблизительно поддерживать трансляционную инвариантность.

Пример

Определите собаку на изображении. После перевода она все еще остается собакой.

Операция свертки и ее физический смысл

Операция свертки

Входной сигнал x(t)

Импульсная характеристика системного блока h(t) (ядро свертки CNN)

Выходной сигнал y(t)

Свойства свертки

Взаимозаменяемость

трансляционная инвариантность

полная длина свертки

Н К-1

Эффективная длина свертки

Н-К 1

физический смысл

фильтр

фильтр нижних частот

Извлеките медленно меняющиеся низкочастотные компоненты сигнала

h1[n]={1/2,1/2}

фильтр верхних частот

Извлекайте быстро меняющиеся высокочастотные компоненты сигналов

h2[n]={1/2,-1/2}

полосовой фильтр

Извлекайте умеренно изменчивые ингредиенты

Функция фильтра свертки

Для сложного сигнала, содержащего различные частотные компоненты, разные фильтры, реализованные разными ядрами свертки, могут получать в сигнале компоненты разных масштабов.

адаптивная фильтрация

Ошибка между выходными данными выходного слоя сети и ожидаемым ответом используется для обучения сети выходного слоя.

Алгоритм BP обратно распространяет ошибку выходного слоя на каждый предыдущий уровень и поочередно обучает ядра свертки каждого слоя, используя ошибку обратного распространения.

Структура базовой CNN

Одномерная свертка

Значение активации нейрона

выход нейрона

Выпрямленная линейная функция активации ReLU

г=макс{0,а}

канал свертки

Операция свертки между входными данными и ядром свертки. Работа функции активации.

Сравните с полностью подключенной сетью

Мало общих параметров

Разделяй и властвуй входные характеристики разной природы

2D-свертка

формула

Понимание изображения

Операция двумерной свертки эквивалентна сдвигу hij в массиве данных Xij. Когда необходимо вычислить amn, h00 сдвигается для выравнивания с Xmn, а затем вычисляется и добавляется член произведения Xm в j hij.

Эффективный размер вывода свертки равен (D1-K1 1) × (D2-K2 1).

уровень обнаружения

Рассчитать функцию активации, выход нейрона

многоканальная свертка

Канал свертки/плоскость свертки

Матрица, создаваемая каждым ядром свертки h посредством операции свертки.

Пример

входить

Изображение 32×32, 3 канала, представляющие три основных цвета RGB.

Ядро свертки

6 ядер свертки 5×5, по два на каждый входной канал

выход

Генерирует 6 каналов свертки 28×28.

Объединение

максимальное объединение

Объединение в пул, при котором принимается максимальное значение окна, то есть в качестве результата объединения выбирается максимальное значение в пределах небольшого окна.

средний пул

Среднее значение в пределах окна как результат объединения

децимационный пул

Фиксированное значение точки в окне как результат объединения

Свойства окна

размер

М1×М2

объединенный шаг

Свертка с заполнением нулями одинаковой длины

К — нечетное число

Добавьте (K-1)/2 нуля к обоим концам ввода.

К — четное число

Добавьте K/2 нулей в одну сторону и (K/2)-1 нулей в другую сторону.

Состав CNN

Состав сверточных слоев

Этап операции свертки

Уровень обнаружения (функция ReLU)

Объединение (необязательно)

Типичная структура сети CNN

Некоторые расширенные структуры свертки

тензорная свертка

Объем 3D-данных

ядро тензорной свертки

плоскость свертки

Канальномерная свертка

Извлечение различных характеристик измерения канала

Ядро свертки 1×1

S-образная свертка шага

Изучение параметров CNN

Идея алгоритма BP CNN

прямое распространение

Расчет свертки слоя свертки

Выход активации расчета полностью подключенного уровня FC

Уровень объединения выполняет объединение

Обратное распространение ошибки

Уровень FC рассчитывается по стандартному алгоритму обратного распространения ошибки BP.

Алгоритм обратного распространения ошибки сверточного слоя и слоя пула

Формула обратного распространения ошибки для сверточных слоев

Формула обратного распространения ошибки для слоя объединения

2D расширение

Пример введения в CNN

Сеть ЛеНет-5

Сеть AlexNet и сеть VGGNet

функция активации

Функция активации ReLU обучается в 6 раз быстрее, чем функция активации tanh.

Структура АлексНет

Структура ВГГНет

Используйте более глубокие слои, меньшие ядра свертки и несколько слоев свертки, соответствующие одному слою объединения.

Идеи по улучшению тренировочного эффекта

Получите лучшие результаты обучения за счет увеличения глубины CNN.

Прямое увеличение количества слоев принесет негативные последствия.

Легко переоборудовать

градиент исчезает

Градиентный взрыв

GoogLeNetNetwork

Модуль макростроения Inception

4 параллельные ветки

Генерация вывода путем ветвления и слияния модулей

Каждая ветвь содержит свертку 1×1.

Цель состоит в том, чтобы разделить и властвовать, чтобы уменьшить параметры и вычислительную сложность.

состав

Остаточные сети и плотные сети

остаточная сеть

проблема деградации сети

Точность на обучающем наборе насыщается или даже падает.

Остаточные характеристики сети

Легко оптимизировать и может повысить точность, добавив значительную глубину

Остаточный блок внутри остаточной сети использует пропущенные соединения, что смягчает проблему исчезновения градиента, вызванную увеличением глубины глубокой нейронной сети.

остаточный строительный блок

остаточная структура сетки

плотная сеть

Характеристики плотной сети

Поддерживать структуру сети прямого распространения, соединяя выход входного слоя или текущего слоя со входом каждого последующего слоя.

Для сетей L-уровня может быть соединение L(L-1)/2.

плотная сетевая структура