Вход
Войти

Нейронные сети

Это интеллект-карта о нейронных сетях. Содержит общие ядра свертки, регуляризацию, оптимизацию, несколько соединенных вместе нейронов, функции активации и т. д. При необходимости можно собрать.

Отредактировано в 2021-09-27 10:44:02

WSysQn6v

Недавние работы Смотреть другие работы>>

Нейронные сети

WSysQn6v

Недавние работы Смотреть другие работы>>

Рекомендовано вам
Структура

Подробное объяснение процесса работы нейронной сети
- 6
WSysQn6v
Сверточная нейронная сеть (CNN)
- 14
WSysQn6v
Распространенные типы и приложения моделей нейронных сетей
- 13
WSysQn6v
Нейронные сети и рекуррентные нейронные сети глубокого обучения
- 4
WSysQn6v
Нейронные сети и сверточные нейронные сети глубокого обучения
- 8
WSysQn6v
Основы нейронных сетей и глубокого обучения
- 10
WSysQn6v
Распознавание рукописных цифр на основе усовершенствованной сигмовидной сверточной нейронной сети
- 4
WSysQn6v
Сверточные нейронные сети с динамической регуляризацией
- 6
WSysQn6v
традиционная нейронная сеть
- 6
WSysQn6v
Создать модель
- 6
ArteVeloce

Нейронные сети

Несколько нейронов, соединенных вместе

входной слой

Скрытый слой

выходной слой

S=XW Б

W - вес

Б – предвзятость

X — входной вектор

функция активации

сигмовидная

σ(x)=1/(1 e^(-x) )

Характеристика насыщения заставляет градиент исчезнуть

Тань

tanh(x)=2σ(x)-1

Реальные значения сжимаются в открытый интервал (-1, 1).

РеЛУ (выпрямленная линейная единица)

е(х)=макс(0,х)

Когда входные данные находятся в области меньше 0, значение функции всегда равно 0, а градиент равен 0.

ELU (линейная единица)

Линейная часть с правой стороны позволяет ELU смягчать исчезновение градиента, а часть с мягким насыщением с левой стороны позволяет ELU быть более устойчивым к входным изменениям или шуму.

Среднее выходное значение elu близко к нулю

функция потерь функция потерь

Чем больше разница между вектором оценки и истинной меткой, тем больше значение функции потерь, и наоборот.

оптимизация

метод градиентного спуска

метод Ньютона

Плюсы: Нет скорости обучения.

Недостаток: вычисление второй производной

Улучшенный алгоритм: LBFGS.

Регуляризация

регуляризация норм

Обычно используется регуляризация L2.

Прекратить обучение досрочно

Регуляризация контролирует переобучение и является хорошим способом ослабить переобучение сети.

Высота и ширина определяют пространственный размер нейрона, а глубина определяет размер извлечения признаков из входной области (каждый нейрон извлекает один признак).

Общие ядра свертки

Ядро свертки размытия изображения: [1 1 1 1 1 1]/9;

Ядро свертки для повышения резкости изображения: [-1 -1 -1 -1 9 -1;

Ядро свертки для обнаружения краев

Собел:[-1 -2 -1; 0 0 0 1 2 1] и его транспонирование;

Прюитт:[-1 -1 -1; 0 0 0 1 1 1] и его транспонирование;

Лаплас:[1 1 1; 1 -8 1;