В сравнении

Входной слой, выходной слой и несколько скрытых слоев.

сигмовидная

РеЛУ

Тань

Дырявый РеЛУ

Нормализовать выходные результаты

Преобразование выходных результатов в вероятности

Используется для измерения разницы с реальным значением (горячий код) – расхождение KL.

шаг

Общие дверные блоки

градиент исчезает

градиентный взрыв

Решение

не слишком хорошо

Используйте распределение Гаусса

Дисперсия значений активации нейронов в каждом слое в основном одинакова.

Хороший метод инициализации может предотвратить исчезновение информации при прямом распространении, а также решить проблему исчезновения градиента при обратном распространении.

При выборе гиперболического тангенса или сигмоиды в качестве функции активации рекомендуется использовать метод инициализации Xaizer.

При выборе ReLU или Leakly ReLU в качестве функции активации рекомендуется использовать метод инициализации He.

Отрегулируйте распределение веса так, чтобы входные и выходные данные имели одинаковое распределение.

Отрегулируйте выход y после пакетного обучения — вычтите среднее значение, чтобы удалить дисперсию.

Среди них среднее значение и дисперсия распределения данных должны определяться независимо в зависимости от вклада в классификацию.

Решите проблему исчезновения сигнала и исчезновения градиента при прямом проходе.

Когда возможности модели уменьшаются на обучающем наборе и начинают увеличиваться на проверочном наборе, она начинает переобучаться.

При обучении выбранная модель содержит слишком много параметров, что приводит к хорошим прогнозам для известных данных и плохим прогнозам для неизвестных данных.

Обычно запоминаются данные обучения, а не изученные функции данных.

решение

Способность описания модели слишком слаба, чтобы хорошо изучить закономерности в данных.

Обычно модель слишком проста

слишком большой

Слишком большой

слишком маленький

Умеренный

метод поиска по сетке

Метод случайного поиска

Обычно случайная выборка выполняется в пространстве журнала.