Представлены подробные характеристики некоторых классических сетей, а также представлены знания AlexNet, ZLNet, VGG, GoogleNet и resnet. Каждый может учиться.
Изучите структурные особенности на основе данных, которые имеют значение для классификации.
Опишите структурную информацию во входном изображении
Результаты описания сохраняются в 256 картах откликов признаков размером 6x6.
ЗЛНет
Та же структура, что и у AlexNet.
Улучшать
Измените предыдущее ядро свертки на меньший размер.
Увеличьте размер шага для успешного извлечения функций.
Увеличьте количество ядер поздней свертки.
ВГГ
16-слойная нейронная сеть
13 сверточных слоев
3 полностью связанных слоя
Улучшать
Используйте меньшие ядра свертки 3х3 последовательно, чтобы получить большее восприимчивое поле.
Более глубокая глубина, более сильная нелинейность и меньшее количество параметров сети.
Удалите слой LRN AlexNet.
Подведем итог
Преимущества небольшого ядра свертки
Несколько ядер свертки небольшого размера, соединенных последовательно, могут получить то же восприимчивое поле, что и ядра свертки большого размера, и требуют меньше параметров обучения.
Причины свертки в 512
Существует множество параметров для максимально возможного сбора и выражения функций.
Если параметров слишком много, их будет легко переобучить, и они не подходят для обучения.
GoogleNet
22 этаж
Инновации
Предложите начальную структуру, которая может сохранить более характерную информацию входного сигнала.
Добавьте слой с узким местом и измените количество каналов свертки.
Удалите полностью связный слой и используйте средний пул, в результате чего получится всего 5 миллионов параметров, что в 12 раз меньше, чем у AlexNet.
В середине сети введен вспомогательный классификатор для решения проблемы исчезающего градиента во время обучения.
Подведем итог
Разница между векторизацией среднего пула и векторизацией прямого расширения
Значение каждой позиции на карте отклика признака отражает сходство структуры соответствующей позиции на изображении и семантической структуры, записанной ядром свертки.
При среднем объединении теряется информация о пространственном расположении семантических структур.
Игнорирование информации о положении семантической структуры помогает улучшить трансляционную инвариантность признаков, извлеченных сверточным слоем.
перезагрузить сеть
Углубляйте сетевые уровни
Более глубокие сети уступают более мелким сетям.
причина
В процессе обучения положительная и отрицательная информация по сети поступает неравномерно, и сеть не обучается полностью.
Инновации
Предлагаемый остаточный модуль
Путем укладки остаточных модулей можно построить нейронные сети произвольной глубины без «деградации».
предлагаемая нормализация партии
Боритесь с исчезновением градиента и уменьшайте зависимость от инициализации веса во время обучения сети.
Предложите метод инициализации функции активации ReLU.
Причины хорошей производительности остаточной сети