Сверточные нейронные сети (CNN) — это модель глубокого обучения, которая особенно подходит для распознавания изображений, анализа видео, обработки естественного языка и других областей. Дизайн CNN вдохновлен системами биологического зрения и использует иерархическую структуру для выявления локальных особенностей и глобальных закономерностей в данных.

1950-е годы: Фрэнк Розенблатт предложил персептрон, одну из первых моделей нейронных сетей.

1980-е: Янн ЛеКун и другие предложили LeNet-5, которая стала первой CNN, успешно примененной для распознавания рукописных цифр.

1998: Янн ЛеКун и другие доработали LeNet-5 и предложили улучшенную версию LeNet-5 для распознавания рукописных почтовых индексов.

2012: Алекс Крижевский и другие предложили AlexNet, первую CNN, добившуюся прорывных результатов в конкурсе крупномасштабного визуального распознавания ImageNet (ILSVRC).

2014: VGGNet добилась лучших результатов в ILSVRC, продемонстрировав преимущества более глубоких сетевых структур.

2014: Google предложил архитектуру Inception (GoogLeNet), которая повысила вычислительную эффективность сети за счет внедрения модуля Inception.

2015: Microsoft предложила ResNet (Residual Network), которая решила проблему исчезновения градиента при глубоком обучении сети посредством остаточных соединений.

На данный момент: CNN продолжает развиваться с появлением новых сетевых структур, таких как EfficientNet и Vision Transformer, а также с дальнейшей оптимизацией в различных областях применения.

...

Входной слой: получает необработанные данные, например значения пикселей изображения.

Слой свертки: используйте ядра свертки для извлечения локальных функций.

Уровень активации: вводит нелинейность, например ReLU.

Уровень объединения: уменьшите размерность данных, уменьшите объем вычислений и предотвратите переобучение.

Полностью связный слой: сопоставляет объекты с конечным результатом, например классификационными метками.

Выходной слой: выводит окончательный результат работы сети.

Операция свертки: переместите ядро ​​свертки на входные данные, чтобы извлечь локальные функции.

Распределение веса: одно и то же ядро ​​свертки распределяет веса по всем входным данным, уменьшая параметры модели.

Объединение: понижение выборки локальной области, например максимальное объединение или среднее объединение.

Функция активации: ввести нелинейность, например ReLU, Sigmoid, Tanh и т. д.

Ядро свертки (фильтр): весовая матрица, используемая для извлечения признаков в слое свертки.

Шаг: размер шага ядра свертки для перемещения по входным данным.

...

LeNet-5: Ранняя модель CNN для распознавания рукописных цифр.

AlexNet: Внедряем функцию активации ReLU, уменьшаем количество параметров и повышаем скорость обучения.

VGGNet: использует небольшие ядра свертки и более глубокую сетевую структуру.

InceptionNet: Представляем модуль Inception для повышения вычислительной эффективности сети.

ResNet: решите проблему исчезновения градиента при глубоком обучении сети посредством остаточных соединений.

SqueezeNet: демонстрирует, что CNN могут поддерживать высокую производительность даже при небольшом количестве параметров.

...

CNN извлекает локальные особенности изображения посредством многоуровневых операций свертки и объединения, а также выполняет классификацию через полностью связанные слои. Операции свертки могут фиксировать низкоуровневые функции, такие как края и текстуры изображений, а глубокие сети могут изучать более сложные закономерности. Благодаря распределению веса и объединению в пулы CNN может эффективно обрабатывать большие наборы данных и снижать риск переобучения.

Распознавание изображений: например, распознавание рукописных цифр, распознавание объектов и т. д.

Сегментация изображения: сегментируйте изображение на несколько областей для анализа медицинских изображений и т. д.

Видеоанализ: используется для распознавания поведения, видеонаблюдения и т. д.

Распознавание речи. Хотя CNN в основном используется для обработки изображений, его также можно использовать для извлечения признаков речевых сигналов.

...

Требования к вычислительным ресурсам. Глубокие сети требуют большого количества вычислительных ресурсов и места для хранения.

Требования к объему данных. Для обучения высокопроизводительной модели требуется большой объем аннотированных данных.

Интерпретируемость: внутренний рабочий механизм CNN не так прозрачен, как поверхностные модели, что затрудняет объяснение процесса принятия решений.

Чувствителен к размеру входных данных: CNN в некоторой степени чувствительны к размеру и масштабу входных данных и могут потребовать этапов предварительной обработки.

Извлечение локальных объектов: CNN хорошо извлекает локальные объекты, но может испытывать трудности с сбором информации глобального контекста.

...