Поток данных от исходного ввода к целевому выходу проходит через несколько линейных или нелинейных компонентов. Каждый компонент обрабатывает информацию и, в свою очередь, влияет на последующие компоненты.

Когда мы наконец получаем результат, мы не знаем точно, какой вклад вносит каждый компонент. Этот вопрос называется вкладом Проблема распределения.

Проблема распределения вкладов — очень важная проблема, связанная с тем, как узнать параметры каждого компонента.

умная концепция

Концепция искусственного интеллекта

Субъектная позиция искусственного интеллекта

Междисциплинарные исследования в области науки о мозге и когнитивной науки

Исследования методов и технологий интеллектуального моделирования

Восприятие: то есть моделирование способности человеческого восприятия воспринимать и обрабатывать информацию о внешних стимулах (зрительных, речевых и т. д.). Основные области исследований включают обработку речевой информации и компьютерное зрение.

Обучение: моделирование способности человека к обучению, в основном изучение того, как учиться на примерах или взаимодействовать с окружающей средой. Основные области исследований включают обучение с учителем, обучение без учителя и обучение с подкреплением.

Познание: имитирует когнитивные способности человека. Основные области исследований включают представление знаний, понимание естественного языка, рассуждение, планирование, принятие решений и т. д.

символизм

коннекционизм

Бихевиоризм

Предложенная модель

Ледниковый период

Возрождение, вызванное алгоритмом обратного распространения ошибки

Падение популярности

Расцвет глубокого обучения

После предварительной обработки данных, например удаления шума и т. д. Например, при классификации текста, удалении стоп-слов и т. д.

Извлеките некоторые эффективные функции из необработанных данных. Например, при классификации изображений, извлечении краев, функциях преобразования масштабно-инвариантных признаков (SIFT) и т. д.

Выполните определенную обработку функций, например уменьшение размерности и увеличение размерности. Уменьшение размерности включает два подхода: извлечение признаков и выбор признаков. Обычно используемые методы преобразования признаков включают анализ главных компонент (PCA), линейный дискриминантный анализ (линейный дискриминантный анализ) и т. д.

Основная часть машинного обучения: прогнозирование с помощью функции.

местное представительство

распределенное представление

В отличие от «поверхностного обучения», ключевой проблемой, которую необходимо решить глубокому обучению, является распределение вклада.

В некотором смысле глубокое обучение также можно рассматривать как своего рода обучение с подкреплением (RL). Каждый внутренний компонент не может напрямую получать информацию контроля, но должен получать ее через конечную информацию контроля (вознаграждение) всей модели, и это так. Определенная задержка.

Модель нейронной сети может использовать алгоритм обратного распространения ошибок, который может лучше решить проблему распределения вкладов.

традиционный стиль обучения

Новый способ обучения

Theano: набор инструментов Python из Университета Монреаля, используемый для эффективного определения, оптимизации и выполнения проекта Theano, в настоящее время не обслуживается. Данные многомерного массива соответствуют математическим выражениям. Theano может прозрачно использовать графические процессоры и эффективные символы. дифференциал.

Caffe: Полное название — «Сверточная архитектура для быстрого внедрения функций». Это вычислительная среда для моделей сверточной сети. Реализуемая сетевая структура может быть указана в файле конфигурации и не требует кодирования. Caffe реализован на C и Python и в основном используется для компьютерного зрения.

TensorFlow: набор инструментов Python, разработанный Google, который может работать на любом устройстве с процессором или графическим процессором. Процесс вычислений TensorFlow представлен с помощью графов потоков данных. Название Tensor Flow связано с тем, что объектом операции в процессе вычислений является многомерный массив, то есть тензор.

Chainer: Одна из первых инфраструктур нейронных сетей, использующая динамические вычислительные графики. Ее основная команда разработчиков — Preferred Networks, стартап в области машинного обучения из Японии. По сравнению со статическими графиками вычислений, используемыми Tensorflow, Theano, Caffe и другими платформами, динамические графики вычислений могут динамически создавать графики вычислений во время выполнения, поэтому они очень подходят для некоторых сложных задач принятия решений или рассуждений.

PyTorch5: среда глубокого обучения, разработанная и поддерживаемая Facebook, NVIDIA, Twitter и другими компаниями. Ее предшественником является Torch6 на языке Lua. PyTorch также представляет собой фреймворк, основанный на динамических вычислительных графах, имеющий очевидные преимущества в задачах, требующих динамического изменения структуры нейронных сетей.

Нейронные сети можно эффективно реализовать с помощью матричных операций.

Аффинный слой

Функция идентификации

функция softmax

Проблема классификации

Введите несколько наборов данных одновременно

При поиске оптимальных параметров (весов и смещений) вы ищете параметры, которые делают значение функции потерь как можно меньшим, поэтому вам необходимо вычислить производные параметров (точнее, градиент)

Почему бы напрямую не использовать точность распознавания в качестве индикатора?

среднеквадратическая ошибка

ошибка перекрестной энтропии

Извлеките некоторые тестовые данные

Ручная настройка

полученное обучение

Градиент функции потерь по весовым параметрам

Количество циклов/размер мини-партии

Количество желтого цвета — это значение, полученное в ходе обратного распространения ошибки.

Зеленое количество — известная величина.

Сеть на основе полносвязного уровня (аффинный уровень)

Сеть на базе CNN

Свертка[слой свертки]-ReLU-(Пулинг[слой пула])

Слой, близкий к выводу, использует предыдущую комбинацию Affine [аффинное преобразование] — ReLU.

Последний выходной слой использует предыдущую комбинацию Affine-Softmax.

Проблемы с полносвязным слоем

Операция свертки

Корреляция

Варианты свертки

Математические свойства свертки

Операция свертки с 3D-данными

Множественные операции свертки

Пакетная обработка

Локальное соединение: каждый нейрон в сверточном слое (предполагается, что это l-й слой) связан только с нейронами в локальном окне следующего слоя (уровень l-1), образуя локальную сеть соединений. Количество соединений между сверточным слоем и следующим слоем значительно сокращается: от исходных соединений n(l) × n(l – 1) до соединений n(l) × m. m – размер фильтра.

Распределение веса: фильтр w(l) в качестве параметра одинаков для всех нейронов слоя l.

Из-за локальных связей и распределения веса параметры сверточного слоя имеют только m-мерный вес w(l) и одномерное смещение b(l), всего m 1 параметров.

Количество нейронов в слое l выбирается не произвольно, а удовлетворяет условию n(l) = n(l−1) − m 1.

Максимум: обычно берется максимальное значение всех нейронов в регионе.

Средняя агрегация (среднее): обычно берется среднее значение всех нейронов в области.

где Y(′d) — выходные данные слоя объединения, f(·) — нелинейная функция активации, w(d) и b(d) — обучаемые скалярные веса и смещения.

Нет параметров для изучения

Количество каналов не меняется

Устойчивость к небольшим изменениям положения (робастность)

Фильтр перед обучением инициализируется случайным образом, поэтому нет узора в оттенках черного и белого, но фильтр после обучения становится обычным изображением. Мы обнаружили, что в процессе обучения фильтры преобразуются в обычные фильтры, например фильтры с градиентом от белого к черному, фильтры, содержащие блочные области (называемые каплями) и т. д. Фильтр, реагирующий на горизонтальные и вертикальные края

Видно, что фильтры сверточного слоя извлекают исходную информацию, такую ​​как края или участки. Только что реализованная CNN передаст эту необработанную информацию на последующие уровни.

Информация, извлеченная из сверточных слоев CNN. Нейроны слоя 1 реагируют на края или пятна, слой 3 реагирует на текстуру, слой 5 реагирует на части объекта, а последний полностью связанный слой реагирует на категорию объекта (собака или машина).

Если несколько сверточных слоев сложены друг на друга, по мере углубления слоев извлекаемая информация становится более сложной и абстрактной. Это очень интересная часть глубокого обучения. По мере углубления слоев нейроны меняют форму от простых форм до информации «высокого уровня». Другими словами, по мере того, как мы понимаем «смысл» вещей, постепенно меняются и объекты реагирования.

LeNet была предложена в 1998 году как сеть для распознавания рукописных цифр. Он имеет последовательные сверточные слои и слои пула и, наконец, выводит результаты через полностью связный слой.

За исключением входного слоя, LeNet-5 имеет всего 7 слоев.

присоединиться к таблице

Он был предложен в 2012 году и использует многие технические методы современных глубоких сверточных сетей.

Начальный модуль: сверточный слой содержит несколько операций свертки разных размеров.

Сеть Inception состоит из нескольких начальных модулей и небольшого количества уровней агрегации.

Версия V1

Самая ранняя версия сети Inception v1 — очень известная GoogLeNet [Szegedy et al., 2015] — выиграла конкурс по классификации изображений ImageNet в 2014 году.

Эффективность распространения информации повышается за счет добавления прямых ребер к нелинейному сверточному слою.

нелинейные элементы

На пути к более глубокой сети

Дальнейшее повышение точности распознавания

Более глубокая мотивация

конкурс ILSVRC

ВГГ

ГуглЛеНет

РесНет

Проблемы, которые необходимо решить

Ускорение на основе графического процессора

Распределенное обучение

Уменьшение цифр арифметической точности

Обнаружение объектов

Сегментация изображений

Создание подписи к изображению

Преобразование стиля изображения

Генерация изображений

Автопилот

обучение с подкреплением

Тезаурусный подход

подход, основанный на подсчете

Подход, основанный на выводах (word2vec)

Диаграмма, основанная на отношениях гиперонима и гипонима в соответствии со значением каждого слова.

Самый известный словарь синонимов

эффект

Используется через модуль NLTK

Новые слова продолжают появляться, что затрудняет адаптацию к изменениям времени.

Высокая стоимость рабочей силы

Невозможно выразить тонкие различия в словах

Корпус — это большой объем текстовых данных.

Corpora, используемые в области обработки естественного языка, иногда добавляют дополнительную информацию к текстовым данным. Например, каждое слово текстовых данных можно пометить частью речи. Здесь предполагается, что в корпус, который мы используем, не добавлены теги.

знаменитый корпус

предварительная обработка

Построить компактные и разумные векторные представления в словесной области.

Значение слова формируется окружающими его словами.

Контекст относится к словам, окружающим центрированное слово.

Размер контекста называется размером окна.

Самый простой способ использовать вектор — подсчитать, сколько раз вокруг него появляется слово.

text = 'Вы говорите до свидания, а я говорю привет.'

Установить размер окна равным 1

косинусное подобие

Получить вектор слов запрашиваемого слова

Получите косинусное сходство между вектором слова слова запроса и всеми другими векторами слов соответственно.

Результаты основаны на сходстве косинусов с указанием их значений в порядке убывания.

В матрице совпадения такие общие слова, как the, будут считаться имеющими сильную корреляцию с такими существительными, как car.

PMI

PMI на основе матрицы совпадений

недостаточный

Получите матрицу PPMI на основе матрицы совместного появления

Нам нужно наблюдать за распределением данных и находить важные «оси».

Разложение по сингулярным значениям (SVD)

Корпус PTB часто используется в качестве эталона для оценки предлагаемых методов.

Предварительная обработка корпуса PTB

Предварительная обработка, которую я сделал

Назначение гиперпараметра

Для запроса слова you вы можете видеть, что личные местоимения, такие как i и we, занимают первое место. Это слова с одинаковым употреблением в грамматике.

Слово запроса год имеет такие синонимы, как месяц и квартал.

Слово запроса «автомобиль» имеет такие синонимы, как «автомобиль» и «транспортное средство».

При использовании Toyota в качестве термина запроса появлялись названия производителей автомобилей или торговые марки, такие как nissan, honda и lexus.

Используйте корпус, чтобы вычислить количество слов в контексте, преобразовать их в матрицу PPMI, а затем получить хорошие векторы слов на основе уменьшения размерности SVD.

В реальном мире корпуса имеют дело с очень большим количеством слов. Например, говорят, что словарный запас английского языка насчитывает более 1 миллиона слов. Если размер словаря превышает 1 миллион, то использование метода подсчета требует генерации огромной матрицы размером 1 миллион × 1 миллион, но выполнить SVD на такой большой матрице явно нереально.

Подходы, основанные на выводах, с использованием нейронных сетей

Цель

метод рассуждения

Преобразование слов в векторы

Нейронные сети

состав

Функции

Преобразуйте оценки в вероятности с помощью функции Softmax.

Найдите ошибку перекрестной энтропии между этими вероятностями и контролируемыми метками.

Узнай это как потерю

Вес W(in) — это распределенное представление искомого слова.

Вероятность того, что wt произойдет после появления wt−1 и wt 1.

Функция потерь L (отрицательное логарифмическое правдоподобие) модели CBOW

word2vec имеет две модели

Skip-gram — это модель, которая инвертирует контекст и целевые слова, обработанные моделью CBOW.

структурная схема сети Skip-gram

модели пропуска грамм и вероятность

Сравнение функции потерь

Судя по точности распределенного представления слов, модель Skip-GRM в большинстве случаев дает лучшие результаты.

Сценарии, в которых необходимо добавить новые слова в словарь и обновить распределенное представление слов.

Свойства распределенных представлений слов

Точность распределенных представлений слов

Распределенное представление слов, полученное с помощью word2vec, можно использовать для поиска приблизительных слов.

трансферное обучение

Используя распределенные представления слов, также можно конвертировать документы (последовательности слов) в векторы фиксированной длины.

искусственно созданный набор для оценки сходства слов

Сравните оценки, полученные людьми, и косинусное сходство, полученное word2vec, чтобы изучить корреляцию между ними.

в заключение

Можно ли для чего-нибудь использовать первоначальную цель модели CBOW — «предсказывать целевые слова по контексту»? Может ли P(wt|wt-2, wt-1) играть роль в некоторых практических сценариях?

Все окна, которые мы рассматривали ранее, симметричны, и далее мы рассматриваем только левое окно.

Используйте вероятность, чтобы оценить вероятность возникновения последовательности слов, то есть степень, в которой последовательность слов является естественной.

Вероятностное представление

Цепь Маркова

недостаточный

В RNN есть механизм, который может запоминать контекстную информацию независимо от продолжительности контекста. Следовательно, данные временных рядов произвольной длины можно обрабатывать с помощью RNN.

word2vec — это метод, направленный на получение распределенного представления слов, который обычно не используется в языковых моделях.

Структура слоя RNN

Входными данными в момент времени t является xt, что означает, что данные временных рядов (x0, x1, ···, xt, ···) будут введены в слой. Затем в форме, соответствующей входным данным, выведите (h0, h1, ··· , ht, ···)

Выходные данные имеют две вилки, что означает, что было скопировано одно и то же. Ответвление на выходе станет отдельным входом.

Мы используем слово «момент» для обозначения индекса данных временного ряда (то есть входные данные в момент времени t равны xt). Используются такие выражения, как «t-е слово» и «t-й уровень RNN», а также такие выражения, как «слово в момент времени t» или «уровень RNN в момент времени t».

Уровень RNN в каждый момент времени получает два значения: входные данные, передаваемые на этот уровень, и выходные данные предыдущего слоя RNN.

RNN имеет два веса, а именно вес Wx, который преобразует входной сигнал x в выходной h, и вес Wh, который преобразует выходные данные предыдущего слоя RNN в выходные данные в текущий момент. Кроме того, существует предвзятость b.

С другой стороны, RNN имеет состояние h, которое постоянно обновляется по приведенной выше формуле. Таким образом, h можно назвать скрытым состоянием или вектором скрытого состояния.

Два метода схематического рисования эквивалентны.

обратное распространение ошибки по времени

Чтобы найти градиент на основе BPTT, промежуточные данные слоя RNN в каждый момент времени должны быть сохранены в памяти. Следовательно, по мере того, как данные временных рядов становятся длиннее, использование памяти компьютера (а не только вычислений) также увеличивается.

Чтобы решить вышеуказанную проблему, при обработке данных длинных временных рядов обычной практикой является сокращение сетевого соединения до соответствующей длины.

Сети, которые слишком длинны по направлению оси времени, усекаются в соответствующих местах для создания нескольких небольших сетей, а затем на вырезанных небольших сетях применяется метод обратного распространения ошибки. Этот метод называется усеченным BPTT (усеченное BPTT).

В усеченном BPTT соединение обратного распространения сети отключается, но соединение прямого распространения все еще сохраняется.

Обработка заказа

В начале входных данных необходимо сделать «смещение» внутри отдельных партий.

Уведомление

Назовите слой, который обрабатывает T шагов за раз, «слоем Time RNN».

Уровень, выполняющий одношаговую обработку на уровне Time RNN, называется «слоем RNN».

Как и Time RNN, слои, которые целостно обрабатывают данные временных рядов, именуются начиная со слова «Время», что является соглашением об именах, изложенным в этой книге. После этого мы также реализуем слой Time Affine, слой Time Embedding и т. д.

прямое распространение

Обратное распространение ошибки

прямое распространение

Обратное распространение ошибки

Языковые модели на основе RNN называются RNNLM.

состав

Образец

Целевая структура нейронной сети

Аффинное время

Время Софтмакс

Входные данные: 1

Входных данных несколько.

Чем больше вероятность, тем лучше, и чем меньше путаницы, тем лучше.

Недоумение представляет собой количество вариантов, которые можно выбрать в следующий раз. Если путаница равна 1,25, это означает, что число кандидатов на следующее слово около 1.

Инкапсулируйте вышеуказанные операции в классы

Существует три скрытых слоя h1, h2 и h3, где h1 рассчитывается на основе двух входных данных x1 и x2, h2 рассчитывается на основе двух других входных слоев x3 и x4, а h3 рассчитывается на основе двух скрытых слоев h1 и h2.

функция активации

Узел MatMul (матричный продукт)

Существует общепринятый метод решения проблемы взрыва градиента, который называется отсечением градиента.

Здесь предполагается, что градиенты всех параметров, используемых нейронной сетью, могут быть интегрированы в переменную и представлены символом g. Затем установите порог на порог. В это время, если норма g градиента L2 больше или равна порогу, градиент корректируется, как описано выше.

LSTM — это аббревиатура Long Short-Term Memory, что означает, что он может поддерживать кратковременную память (Short-Term Memory) в течение длительного времени.

Сначала выразите вычисление tanh(h(t-1)*Wh xt*Wx b) как прямоугольный узел tanh (ht-1 и xt — векторы-строки)

Давайте сравним интерфейс (вход и выход) LSTM и RNN.

Разница между интерфейсом LSTM и RNN заключается в том, что LSTM также имеет путь c. Этот c называется блоком памяти (или просто «единицей»), что эквивалентно выделенному отделу памяти LSTM.

Особенностью блока памяти является то, что он принимает и передает данные только внутри уровня LSTM. То есть со стороны, получающей выходные данные LSTM, выходные данные LSTM имеют только скрытый вектор состояния h. Блок памяти c невидим для внешнего мира, и нам даже не нужно задумываться о его существовании.

ct хранит память LSTM на момент времени t, которую можно считать содержащей всю необходимую информацию из прошлого до момента времени t. Затем на основе ct этой несущей памяти выводится скрытое состояние ht.

вычислить

Ворота

Скрытое состояние ht применяет функцию tanh только к блоку памяти ct, и мы рассматриваем возможность применения вентилей к tanh(ct). Поскольку этот вентиль управляет выходом следующего скрытого состояния ht, он называется выходным вентилем.

Выходной вентиль рассчитывается следующим образом. Сигмовидная функция представлена ​​σ()

ht можно вычислить из произведения o и tanh(ct). Метод расчета представляет собой поэлементное произведение, которое является произведением соответствующих элементов. Его также называют произведением Адамара.

Теперь мы добавляем вентиль для забывания ненужных воспоминаний в блоке памяти c(t-1), который здесь называется вентилем забывания.

Расчет ворот забывания следующий.

ct получается произведением этого f и соответствующего элемента предыдущей единицы памяти ct−1.

Теперь мы также хотим добавить в эту единицу памяти какую-то новую информацию, которую следует запомнить, для этого добавляем новый узел tanh

Результат, вычисленный на основе узла tanh, добавляется в блок памяти ct-1 в предыдущий момент.

Мы добавляем вентиль в g на рисунке 6-17. Этот вновь добавленный вентиль здесь называется входным вентилем.

Входной вентиль определяет значение каждого элемента новой информации g. Входные ворота не добавляют новую информацию без рассмотрения, они сами выбирают, какую информацию добавлять; Другими словами, входной вентиль добавляет взвешенную новую информацию.

Входной вентиль рассчитывается следующим образом

Обратное распространение ячеек памяти происходит только через узлы « » и «×». Узел " " выводит градиент из восходящего потока как есть, поэтому градиент не изменяется (вырождается). Расчет узла «×» представляет собой не матричное произведение, а произведение соответствующих элементов (произведение Хадама), которое не вызовет изменения градиента.

Углубление уровня LSTM (сочетание нескольких слоев LSTM) часто работает хорошо.

Сколько слоев подходит?

Углубляя глубину, можно создать более выразительные модели, но такие модели часто страдают от переобучения. Что еще хуже, RNN более склонны к переобучению, чем обычные нейронные сети прямого распространения, поэтому меры противодействия переобучению для RNN очень важны.

Контрмеры

Выбывать

Позиция вставки выпадающего слоя

Weight связывание можно дословно перевести как «связывание веса».

Хитрость связывания (совместного использования) весов слоя внедрения и аффинного слоя заключается в распределении веса. Разделив веса между этими двумя уровнями, можно значительно сократить количество изучаемых параметров. Помимо этого, это повышает точность.

Выберите слово с наибольшей вероятностью, результат определяется однозначно

Слова с высокой вероятностью выбираются легко, слова с низкой вероятностью выбираются сложно.

Используйте лучшие языковые модели

Данная модель имеет два модуля – Кодер и Декодер. Кодер кодирует входные данные, а декодер декодирует закодированные данные.

seq2seq состоит из двух уровней LSTM: кодера LSTM и декодера LSTM.

Скрытое состояние h LSTM представляет собой вектор фиксированной длины. Разница между ней и моделью из предыдущего раздела заключается в том, что слой LSTM получает вектор h. Это единственное небольшое изменение позволило моделям обычного языка превратиться в декодеры, способные выполнять перевод.

Попытка заставить seq2seq выполнять дополнительные вычисления

наполнение

Во многих случаях после использования этого метода обучение происходит быстрее, а конечная точность повышается.

Интуитивно понятно, что после инвертирования данных распространение градиентов может стать более плавным и эффективным.

Кодировщик, использующий шлем, называется Peeky Decoder, а кодировщик seq2seq, использующий Peeky Decoder, называется Peeky seq2seq.

Кодер преобразует входное предложение в вектор h фиксированной длины, который концентрирует всю информацию, необходимую декодеру. Это единственный источник информации для декодера.

Выход h кодера, на котором концентрируется важная информация, может быть назначен другим уровням декодера.

Два вектора вводятся одновременно в слой LSTM и аффинный слой, что фактически представляет собой объединение двух векторов.

Кодер используется в seq2seq для кодирования данных временного ряда, а затем закодированная информация передается в декодер. На этом этапе выходные данные кодера представляют собой вектор фиксированной длины.

Векторы фиксированной длины означают, что независимо от длины входного оператора (независимо от того, насколько он длинный), он будет преобразован в вектор той же длины.

Длина вывода кодировщика должна меняться соответственно в зависимости от длины входного текста.

Поскольку кодировщик обрабатывает данные слева направо, строго говоря, вектор «кошки» содержит только информацию трех слов «我的人», «は» и «猫». Учитывая общий баланс, лучше всего включать информацию вокруг слова «кот» равномерно. В этом случае более эффективен двунаправленный RNN (или двунаправленный LSTM), который обрабатывает данные временных рядов в обоих направлениях.

Ранее мы помещали «последнее» скрытое состояние слоя LSTM кодера в «начальное» скрытое состояние слоя LSTM декодера.

Декодер из предыдущей главы использовал только последнее скрытое состояние слоя LSTM кодера. При использовании hs извлекается и передается в декодер только последняя строка. Далее мы улучшаем декодер, чтобы он мог использовать все hs.

Мы фокусируемся на определенном слове (или наборе слов) и преобразуем это слово в любой момент. Это позволяет seq2seq узнать соответствие между тем, «какие слова на входе и выходе с какими словами связаны».

структурные изменения

Как рассчитать

Изучение веса

Интегрировать

Если рассматривать общий баланс, то мы надеемся, что вектор будет содержать информацию вокруг слова «кот» более равномерно.

Двунаправленный LSTM добавляет слой LSTM, обработанный в противоположном направлении, поверх предыдущего слоя LSTM.

Соедините скрытые состояния двух слоев LSTM в каждый момент и используйте его в качестве окончательного вектора скрытого состояния (помимо сращивания вы также можете «суммировать» или «усреднять» и т. д.)

Выход слоя внимания (вектор контекста) в следующий момент подключается к входу слоя LSTM. Благодаря этой структуре уровень LSTM может использовать информацию вектора контекста. Напротив, реализованная нами модель использует векторы контекста на аффинном слое.

Углубление слоя RNN

остаточное соединение

История машинного перевода

С 2016 года Google Translate использует нейронный машинный перевод для реальных услуг. Система машинного перевода под названием GNMT

GNMT требует больших объемов данных и вычислительных ресурсов. GNMT использует большой объем обучающих данных (1 модель), изученных почти на 100 графических процессорах в течение 6 дней. Кроме того, GNMT также пытается еще больше повысить точность на основе таких технологий, как ансамблевое обучение и обучение с подкреплением, которые могут параллельно изучать 8 моделей.

RNN может хорошо обрабатывать данные временных рядов переменной длины. Однако у RNN есть и недостатки, такие как проблемы с параллельной обработкой.

RNN необходимо рассчитывать шаг за шагом на основе результатов расчета предыдущего момента, поэтому (в принципе) невозможно рассчитывать RNN параллельно во временном направлении. Это станет большим узким местом при выполнении глубокого обучения в параллельной вычислительной среде с использованием графических процессоров, поэтому у нас есть мотивация избегать RNN.

Трансформер не использует RNN, но использует для обработки внимание. Давайте кратко рассмотрим этот Трансформер.

Внимание к себе

Используйте полносвязную нейронную сеть с одним скрытым слоем и функцией активации ReLU. Кроме того, Nx на рисунке означает, что элементы, окруженные серым фоном, расположены друг над другом N раз.

НТМ (нейронная машина Тьюринга)

Нейронные сети также могут получить дополнительные возможности, используя внешние устройства хранения данных.

На основе внимания кодеры и декодеры реализуют в компьютерах «операции с памятью». Другими словами, это можно интерпретировать так: кодер записывает необходимую информацию в память, а декодер считывает из памяти. Получите необходимую информацию.

Чтобы имитировать работу памяти компьютера, операция памяти NTM использует два внимания:

NTM успешно решила проблемы с долговременной памятью, задачи сортировки (расстановки чисел от большего к меньшему) и т. д.

Трудно оптимизировать и требует больших вычислительных ресурсов.

Способность подгонки слишком сильна, и ее легко переоснастить.

Разнообразие сетевой структуры

Трудности с низкоразмерными пространствами

Трудности с многомерными пространствами

Тип метода градиентного спуска

снижение скорости обучения

Оптимизация направления градиента

Метод инициализации по Гауссу — это самый простой метод инициализации. Параметры инициализируются случайным образом на основе распределения Гаусса с фиксированным средним значением (например, 0) и фиксированной дисперсией (например, 0,01).

Когда количество входных соединений нейрона равно n(in), его вес входного соединения может быть установлен для инициализации с помощью гауссовского распределения N(0,sqrt(1/nin)).

Если также учитывать количество выходных соединений nout, его можно инициализировать в соответствии с распределением Гаусса N(0,sqrt(2/(nin nout)))

Инициализация равномерного распределения использует равномерное распределение для инициализации параметров в пределах заданного интервала [-r, r]. Настройка гиперпараметра r также может быть настроена адаптивно в зависимости от количества связей нейронов.

Тип функции активации

Мы попытались использовать начальные значения веса, рекомендованные в статье Ксавье Глорота и др.

Если количество узлов в предыдущем слое равно n, начальное значение использует распределение Гаусса со стандартным отклонением (1/sqrt(n))

Когда функция активации использует ReLU, обычно рекомендуется использовать начальное значение, выделенное для ReLU, которое является начальным значением, рекомендованным Kaiming He et al., также известным как «начальное значение He».

Когда количество узлов в текущем слое равно n, начальное значение He использует распределение Гаусса со стандартным отклонением (2/sqrt(n))

Различные источники и единицы измерения каждого размерного признака приведут к тому, что диапазон распределения значений этих признаков будет сильно различаться. Когда мы вычисляем евклидово расстояние между различными выборками, доминирующую роль будут играть признаки с большим диапазоном значений.

нормализация масштабирования

стандартная нормализация

После того, как входные данные обесцвечены, корреляция между объектами низкая, и все объекты имеют одинаковую дисперсию.

Одним из основных способов добиться отбеливания является использование анализа главных компонентов для устранения корреляции между компонентами.

Также называется пакетной нормализацией, методом BN.

Чтобы каждый слой имел соответствующую ширину, распределение значений активации «вынуждено» корректировать.

Выполните регуляризацию так, чтобы среднее значение распределения данных было равно 0, а дисперсия — 1.

Любой промежуточный слой нейронной сети можно нормализовать.

преимущество

Слой пакетной нормы

Ограничения пакетной нормализации

Нормализация слоев нормализует все нейроны в промежуточном слое.

Структура сети

Параметры оптимизации

коэффициент регуляризации

Производительность гиперпараметра не может быть оценена с использованием тестовых данных.

Если вы используете тестовые данные для подтверждения «качественности» значения гиперпараметра, это приведет к корректировке значения гиперпараметра так, чтобы оно соответствовало только тестовым данным.

Данные обучения используются для обучения параметров (веса и смещения), а данные проверки используются для оценки производительности гиперпараметров. Чтобы подтвердить способность к обобщению, данные испытаний следует использовать в конце (в идеале только один раз).

поиск по сетке

случайный поиск

Байесовская оптимизация

Динамическое распределение ресурсов

Снижение веса — это метод, который часто используется для подавления переобучения. Этот метод наказывает большие веса в процессе обучения.

Проще говоря, функция потерь становится

λ — гиперпараметр, который контролирует силу регуляризации.

Метод отсева

Если модель сети станет очень сложной, с ней будет сложно справиться, используя только уменьшение веса.

Метод случайного удаления нейронов в процессе обучения предполагает каждый раз случайное удаление нейронов. Самый простой способ — установить фиксированную вероятность p. Для каждого нейрона существует вероятность p определить, следует ли его сохранить.

увеличение данных

сглаживание меток

Самообучение заключается в том, чтобы сначала использовать помеченные данные для обучения модели и использовать эту модель для прогнозирования меток немаркированных образцов, добавлять образцы с относительно высокой достоверностью прогнозирования и их предсказанные псевдометки в обучающий набор, а затем повторно обучать новую модель. и продолжайте повторять этот процесс.

Совместное обучение – это усовершенствованный метод самотренировки.

Два классификатора, основанные на разных взглядах, продвигают друг друга. Многие данные имеют разные точки зрения, которые относительно независимы.

Благодаря условной независимости разных точек зрения модели, обученные на разных точках зрения, эквивалентны пониманию проблемы с разных точек зрения и обладают определенной взаимодополняемостью. Совместное обучение — это метод, который использует эту взаимодополняемость для самообучения. Сначала две модели f1 и f2 обучаются на обучающем наборе в соответствии с разными точками зрения, а затем f1 и f2 используются для прогнозирования на немаркированном наборе данных. Выборки с относительно высокой достоверностью прогнозирования выбираются для добавления в обучающий набор, и две разные точки зрения переобучаются и повторяют этот процесс.

индуктивное трансферное обучение

Получение трансферного обучения

После завершения обучения модель остается фиксированной и больше не обновляется итеративно.

Модели по-прежнему очень сложно добиться успеха в выполнении множества разных задач одновременно.

Метаобучение на основе оптимизатора

Независимое от модели метаобучение