Connexion
Connexion

Galerie de cartes mentales Réseaux de neurones et réseaux de neurones convolutifs d'apprentissage profond

Réseaux de neurones et réseaux de neurones convolutifs d'apprentissage profond

Le contenu principal des réseaux de neurones convolutifs est résumé, tel que les concepts de base, les opérations de convolution, les structures de base, les méthodes d'apprentissage des paramètres et certains exemples de structures de réseaux de neurones convolutifs.

Modifié à 2023-02-26 23:13:29

WSrx009v

Œuvres récentes Afficher plus d'œuvres>>

Réseaux de neurones et réseaux de neurones convolutifs d'apprentissage profond

WSrx009v

Œuvres récentes Afficher plus d'œuvres>>

Recommandé pour vous
Contour

Algorithme de segmentation d'images
- 7
WSrx009v
Algorithme de régression de base pour l'apprentissage automatique
- 7
WSrx009v
Explication détaillée du processus de fonctionnement du réseau neuronal
- 6
WSrx009v
Réseau neuronal convolutif (CNN)
- 8
WSrx009v
réseau neuronal convolutif
- 6
WSrx009v
Types courants et applications des modèles de réseaux neuronaux
- 11
WSrx009v
Réseaux de neurones et réseaux de neurones récurrents d'apprentissage profond
- 4
WSrx009v
Le fondement des réseaux de neurones et de l’apprentissage profond
- 5
WSrx009v
Reconnaissance de chiffres manuscrits basée sur un réseau neuronal convolutif sigmoïde amélioré
- 7
WSrx009v
Réseaux de neurones convolutifs avec régularisation dynamique
- 12
WSrx009v

Réseaux de neurones et apprentissage profond réseau neuronal convolutif

Introduction à CNN

Aperçu typique de la structure CNN

propriétés de base

connexion clairsemée

Comparé au réseau FC entièrement connecté, CNN est une connexion locale, c'est-à-dire que la sortie d'un neurone de la couche précédente n'est connectée qu'à l'entrée de plusieurs neurones adjacents de la couche suivante et à l'entrée d'un neurone de la couche suivante. La couche reçoit uniquement l’entrée de la couche précédente et la sortie de plusieurs neurones voisins.

Partage de paramètres

Champ de réception (champ de vision)

L’entrée d’un neurone dans la couche actuelle est la sortie de plusieurs neurones proches de la couche précédente, et ce qui est ressenti est la sortie des neurones voisins de la couche précédente. Cette zone d’entrée est appelée champ récepteur du neurone actuel.

Noyau de convolution

Les signaux dans le champ récepteur sont pondérés pour former l'activation du neurone actuel. Les neurones adjacents ont des champs récepteurs différents mais égaux (quelles que soient les limites).

L'activation de chaque neurone est générée par la sommation pondérée des signaux dans leurs champs sensoriels respectifs en utilisant le même ensemble de coefficients de poids, c'est-à-dire que chaque neurone utilise le même vecteur de coefficients de poids. Cet ensemble de coefficients de poids partagés est appelé noyau de convolution. .

Invariance de traduction approximative

Une traduction du signal d'entrée a la même traduction du signal de sortie

Les propriétés de l'opération de convolution elle-même, les propriétés de base des systèmes linéaires invariants dans le temps

En concevant correctement l'unité de pooling et en sélectionnant la fonction d'activation, CNN peut approximativement maintenir l'invariance de la traduction.

Exemple

Identifiez un chien dans une image. C'est toujours un chien après traduction.

Opération de convolution et sa signification physique

Opération de convolution

Signal d'entrée x(t)

Réponse impulsionnelle de l'unité système h(t) (noyau de convolution CNN)

Signal de sortie y(t)

Propriétés de convolution

Interchangeabilité

invariance de traduction

longueur de convolution complète

N K-1

Longueur de convolution efficace

NK 1

signification physique

filtre

filtre passe bas

Extraire les composantes basse fréquence du signal qui changent lentement

h1[n]={1/2,1/2}

filtre passe-haut

Extraire les composants haute fréquence des signaux qui changent rapidement

h2[n]={1/2,-1/2}

filtre passe-bande

Extraire des ingrédients modérément variables

Fonction de filtre de convolution

Pour un signal complexe contenant diverses composantes de fréquence, différents filtres mis en œuvre par différents noyaux de convolution peuvent obtenir des composantes de différentes échelles variables dans le signal.

filtrage adaptatif

L'erreur entre la sortie de la couche de sortie du réseau et la réponse attendue est utilisée pour entraîner le réseau de la couche de sortie

L'algorithme BP rétro-propage l'erreur de la couche de sortie à chaque couche précédente et entraîne tour à tour les noyaux de convolution de chaque couche en utilisant l'erreur de rétro-propagation.

La structure de base de CNN

Convolution unidimensionnelle

Valeur d'activation des neurones

sortie neuronale

Fonction d'activation linéaire rectifiée ReLU

z=max{0,a}

canal de convolution

Opération de convolution entre l'entrée et le noyau de convolution Opération de fonction d'activation

Comparez avec un réseau entièrement connecté

Peu de paramètres partagés

Divisez et conquérez les fonctionnalités d'entrée de différentes natures

Convolution 2D

formule

Compréhension des images

L'opération de convolution bidimensionnelle équivaut à faire glisser hij dans le tableau de données Xij. Lorsque amn doit être calculé, h00 glisse pour s'aligner sur Xmn, puis le terme produit Xm dans j hij est calculé et ajouté.

La taille effective de sortie de convolution est (D1-K1 1) × (D2-K2 1)

niveau de détection

Calculer la fonction d'activation, la sortie des neurones

convolution multicanal

Canal de convolution/plan de convolution

La matrice générée par chaque noyau de convolution h via une opération de convolution

Exemple

entrer

Image 32×32, 3 canaux représentant les trois couleurs primaires RVB

Noyau de convolution

6 noyaux de convolution 5 × 5, deux pour chaque canal d'entrée

sortir

Génère 6 canaux de convolution 28×28

mise en commun

mise en commun maximale

Pooling qui prend la valeur maximale de la fenêtre, c'est-à-dire sélectionne la valeur maximale dans une petite fenêtre comme résultat du pooling

mise en commun moyenne

Moyenne dans la fenêtre comme résultat de pooling

mise en commun de la décimation

Valeur à virgule fixe dans la fenêtre comme résultat de pooling

Propriétés de la fenêtre

taille

M1×M2

foulée groupée

Convolution sans remplissage de longueur égale

K est un nombre impair

Ajoutez (K-1)/2 zéros aux deux extrémités de l'entrée

K est un nombre pair

Ajoutez K/2 zéros d’un côté et (K/2)-1 zéros de l’autre côté.

Constituer CNN

Composition des couches convolutives

Étape d'opération de convolution

Niveau de détection (fonction ReLU)

Mise en commun (facultatif)

Structure typique du réseau CNN

Quelques structures étendues de convolution

convolution tensorielle

Volume de données 3D

noyau de convolution tenseur

plan de convolution

Convolution dimensionnelle du canal

Extraire différentes caractéristiques de la dimension du canal

Noyau de convolution 1 × 1

Convolution de la foulée en S

Apprentissage des paramètres CNN

L’idée de l’algorithme BP de CNN

propagation vers l'avant

Calcul de convolution de couche de convolution

Sortie d'activation de calcul entièrement connectée de la couche FC

La couche de pooling effectue le pooling

Rétropropagation

La couche FC est calculée selon l'algorithme de rétropropagation BP standard.

Algorithme de rétropropagation de couche convolutive et de couche de pooling

Formule de rétropropagation pour les couches convolutives

Formule de rétropropagation pour la couche de pooling

Extension 2D

Exemple d'introduction à CNN

Réseau LeNet-5

Réseau AlexNet et réseau VGGNet

fonction d'activation

La fonction d'activation ReLU s'entraîne 6 fois plus vite que la fonction d'activation tanh

Structure AlexNet

Structure du VGGNet

Utilisez des couches plus profondes, des noyaux de convolution plus petits et plusieurs couches de convolution correspondant à une couche de pooling.

Idées pour améliorer les effets de l'entraînement

Obtenez de meilleurs résultats de formation en augmentant la profondeur de CNN

Une augmentation directe du nombre de couches entraînera des effets négatifs

Facile à suradapter

le dégradé disparaît

explosion de dégradé

Réseau GoogleLeNet

Module de construction de macros

4 branches parallèles

Générer une sortie en branchant et en fusionnant des modules

Chaque branche contient une convolution 1×1

Le but est de diviser pour mieux régner afin de réduire les paramètres et la complexité informatique.

structure

Réseaux résiduels et réseaux denses

réseau résiduel

problème de dégradation du réseau

La précision sur l'ensemble d'entraînement est saturée voire chute.

Caractéristiques résiduelles du réseau

Facile à optimiser et peut améliorer la précision en ajoutant une profondeur considérable

Le bloc résiduel à l'intérieur du réseau résiduel utilise des connexions sautées, ce qui atténue le problème de gradient de disparition provoqué par l'augmentation de la profondeur du réseau neuronal profond.

éléments de base résiduels

structure de grille résiduelle

réseau dense

Caractéristiques du réseau dense

Maintenir la structure du réseau feedforward, en connectant la sortie de la couche d'entrée ou de la couche actuelle à l'entrée de chaque couche suivante

Pour les réseaux de couche L, il peut y avoir des connexions L(L-1)/2

structure de réseau dense