Сжимайте значения входных функций в широком диапазоне от 0 до 1, чтобы можно было поддерживать амплитуду данных без серьезных изменений в глубоких сетях.

Наиболее близок к биологическим нейронам в физическом смысле

В зависимости от выходного диапазона эта функция подходит для моделей, которые прогнозируют вероятности в качестве выходных данных.

Когда входные данные очень велики или очень малы, выходные данные в основном постоянны, то есть изменение очень мало, что приводит к тому, что градиент близок к 0.

Градиенты могут исчезнуть преждевременно, что приведет к замедлению сходимости.

Экспоненциальные операции занимают относительно много времени.

Выходной сигнал не имеет 0-среднего, что приводит к тому, что нейроны следующего слоя получают в качестве входных данных сигнал, отличный от 0-среднего, выходной сигнал предыдущего слоя. По мере углубления сети тенденция распространения исходных данных будет меняться.

Решите проблему, заключающуюся в том, что выходные данные вышеуказанной сигмовидной функции не равны 0.

Производная функции Таня находится в диапазоне от 0 до 1, что лучше, чем от 0 до 0,25 сигмовидной функции, что в определенной степени облегчает проблему исчезновения градиентов.

Функция Tanh аналогична функции y=x вблизи начала координат. Когда значение активации ввода низкое, матричные операции могут выполняться напрямую, и обучение происходит относительно легко.

Подобно сигмовидной функции, проблема исчезающего градиента все еще существует.

Обратите внимание на две его формы выражений, а именно 2*сигмоид(2x)-1 и (exp(x)-exp(-x))/(exp(x) exp(-x)). режим питания все еще существует

По сравнению с сигмовидной функцией и функцией Тана, когда входные данные положительны, функция Relu не имеет проблемы насыщения, что решает проблему исчезновения градиента и делает глубокую сеть обучаемой.

Скорость расчета очень высокая, вам нужно только определить, превышает ли введенное значение значение 0.

Скорость сходимости намного выше, чем у сигмовидных функций и функций Тана.

Выходные данные Relu приведут к тому, что некоторые нейроны будут иметь значение 0, что не только приведет к разреженности сети, но и уменьшит корреляцию между параметрами, что в определенной степени облегчает проблему переобучения;

Выходные данные функции Relu не являются функцией со средним значением 0.

Существует проблема мертвого Relu, то есть некоторые нейроны могут никогда не активироваться, в результате чего соответствующие параметры никогда не обновляются. Основные причины этой проблемы включают проблемы с инициализацией параметров и слишком большие настройки скорости обучения;

Когда входные данные имеют положительное значение, а производная равна 1, в «цепной реакции» градиент не исчезнет, ​​но сила градиентного спуска полностью зависит от произведения весов, что может привести к проблеме взрыва градиента.

В ответ на проблему мертвого Relu, которая существует в функции Relu, функция Leaky Relu придает входному значению очень небольшой наклон, когда входное значение является отрицательным. На основе решения проблемы градиента 0 в случае отрицательного входного значения: это также хорошо облегчает проблему Dead Relu.

Выходные данные этой функции — от отрицательной бесконечности до положительной бесконечности, то есть утечка расширяет диапазон функции Relu, где значение α обычно устанавливается на меньшее значение, например 0,01.

Теоретически эта функция дает лучшие эффекты, чем функция Relu, но большой объем практики показал, что ее эффект нестабилен, поэтому на практике применений этой функции не так много.

Несогласованные результаты из-за применения разных функций в разных интервалах приведут к невозможности обеспечить согласованные прогнозы взаимосвязей для положительных и отрицательных входных значений.

Первым шагом softmax является преобразование результатов прогнозирования модели в экспоненциальную функцию, обеспечивая тем самым неотрицательный характер вероятности.

Метод заключается в разделении преобразованных результатов на сумму всех преобразованных результатов, которую можно понимать как процент преобразованных результатов в общем количестве. Это дает приблизительные вероятности.

Перекрестная энтропия может использоваться в качестве функции потерь в нейронных сетях (машинное обучение). p представляет собой распределение реальных меток, а q — прогнозируемое распределение меток обученной модели. Функция перекрестной энтропии потерь может измерять сходство между p и q. .

Еще одним преимуществом перекрестной энтропии как функции потерь является то, что использование сигмовидной функции во время градиентного спуска позволяет избежать проблемы снижения скорости обучения функции потерь среднеквадратической ошибки, поскольку скорость обучения может контролироваться выходной ошибкой.

Рассмотрим p(i) как реальное распределение вероятностей, а q(i) как предсказанное распределение вероятностей. Если мы используем перекрестную энтропию в качестве функции потерь, при ее минимизации мы можем заставить q(i) постепенно приближаться к p(i), цель подгонки достигнута.

Выносите определенные прогнозируемые значения по отдельности или назначайте параметры разных размеров.

Многоцелевые обучающие задачи, постановка методов обоснованного сочетания потерь (различные операции)

Различные потери нейронной сети объединяются для совместного обучения и управления сетью.

Фиксированная, то есть фиксированная скорость обучения, является самой простой конфигурацией и требует только одного параметра.

Скорость обучения остается неизменной в течение всего процесса оптимизации. Это очень редко используемая стратегия, поскольку по мере приближения к глобальной оптимальной точке скорость обучения должна становиться все меньше и меньше, чтобы не пропустить оптимальную точку.

адаптивная скорость обучения

Из алгоритма AdaGrad видно, что по мере продолжения итерации алгоритма r будет становиться все больше и больше, а общая скорость обучения будет становиться все меньше и меньше. Поэтому, вообще говоря, алгоритм AdaGrad начинается со сходимости стимулов, а затем медленно переходит в сходимость штрафов, и скорость становится все медленнее и медленнее.

Алгоритм RMSProp не накапливает квадратные градиенты принудительно и напрямую, как алгоритм AdaGrad, а добавляет коэффициент ослабления, чтобы контролировать объем полученной исторической информации.

Проще говоря, после установки глобальной скорости обучения для каждого прохода глобальная скорость обучения делится параметр за параметром на квадратный корень из квадратной суммы исторических градиентов, контролируемых коэффициентом затухания, так что скорость обучения каждого параметр другой.

Направление другое и поиск точнее.

Разница между отсевом и объединением в пул

Во время прямого распространения мы позволяем значению активации определенного нейрона перестать работать с определенной вероятностью p, что может сделать модель более обобщаемой, поскольку она не будет слишком сильно полагаться на определенные локальные особенности.

Какое влияние регуляризация оказывает на параметр w?

Что такое снижение веса и как оно связано с регуляризацией?

Большинство параметров не нуждаются в обновлении, а фактические параметры значительно уменьшаются.

Заморозьте часть сверточных слоев предварительно обученной модели (обычно большинство сверточных слоев рядом с входными данными, поскольку эти слои сохраняют много базовой информации) или даже заморозьте любые сетевые слои и обучите оставшиеся сверточные слои (обычно части, близкие к выходному сверточному слою) и полносвязный слой.

Принцип тонкой настройки заключается в использовании известной структуры сети и известных параметров сети, изменении выходного слоя на наш собственный слой и точной настройке параметров нескольких слоев перед последним слоем, таким образом эффективно используя мощные возможности обобщения глубокого уровня. нейронные сети обладают возможностями тонкой настройки и устраняют необходимость разработки сложных моделей и трудоемкого обучения, поэтому точная настройка является более подходящим выбором, когда объем данных недостаточен.

значение

Модель миграции