Connexion
Connexion

Galerie de cartes mentales Générer un modèle

Générer un modèle

Une introduction plus détaillée au modèle GAN de réseau génératif, partageant les connaissances sur l'apprentissage non supervisé, les modèles génératifs, la classification des modèles et les réseaux classiques. J'espère que cette carte cérébrale vous sera utile.

Modifié à 2023-07-27 22:53:43

WSrx009v

Générer un modèle

WSrx009v

Recommandé pour vous
Contour

Explication détaillée du processus de fonctionnement du réseau neuronal
- 9
WSrx009v
Réseau neuronal convolutif (CNN)
- 10
WSrx009v
réseau neuronal entièrement connecté
- 19
WSrx009v
réseau neuronal convolutif
- 8
WSrx009v
Types courants et applications des modèles de réseaux neuronaux
- 13
WSrx009v
Réseaux de neurones et réseaux de neurones récurrents d'apprentissage profond
- 8
WSrx009v
Réseaux de neurones et réseaux de neurones convolutifs d'apprentissage profond
- 8
WSrx009v
Le fondement des réseaux de neurones et de l’apprentissage profond
- 6
WSrx009v
Reconnaissance de chiffres manuscrits basée sur un réseau neuronal convolutif sigmoïde amélioré
- 8
WSrx009v
Réseaux de neurones convolutifs avec régularisation dynamique
- 15
WSrx009v

Générer un modèle

apprentissage non supervisé

données

pas de label

Faible coût d’acquisition

Cible

Trouver des modèles ou des structures cachés dans les données

exemple

regroupement

k-signifie

Réduction de dimensionnalité

Analyse des composants principaux

Apprentissage des fonctionnalités

encodage automatique

estimation de la densité

Générer un modèle

Étant donné un ensemble de formation, générer de nouveaux échantillons avec la même distribution que l'ensemble de formation

Problèmes fondamentaux de l’apprentissage non supervisé

estimation de la densité

Idées typiques

Afficher l'estimation de la densité

Définir et résoudre Px

Estimation implicite de la densité

Apprendre le modèle P sans définition explicite

Classement des modèles

PixelRNN/CNN

Utilisez le critère de chaîne pour convertir la probabilité de génération de l'image x en produit des probabilités de génération de chaque pixel

C’est très complexe, donc un réseau de neurones est nécessaire pour le modéliser.

Caractéristiques

avantage

La fonction de vraisemblance peut être calculée exactement

Les performances du modèle peuvent être évaluées efficacement à l'aide de la valeur de la fonction de vraisemblance

défaut

La génération de séquence est lente

Encodeur automatique variationnel (VAE)

L'encodage automatique utilise la reconstruction pour entraîner les caractéristiques de faible dimension à représenter

Codeur variationnel VAE

assumé

L'entrée z est un vecteur et obéit à la distribution normale

Chaque dimension de z représente un attribut

Caractéristiques

avantage

Un moyen majeur de générer des modèles

q(z|x) peut être calculé et cette représentation de caractéristiques peut être utilisée dans de nombreuses autres tâches

défaut

La limite inférieure de la fonction du maximum de vraisemblance fonctionne efficacement, mais le modèle lui-même n'est pas aussi facile à évaluer que PixelCNN

Produit des échantillons flous et de qualité inférieure par rapport aux GAN

GAN génère des modèles contradictoires

question

Nous espérons échantillonner de nouvelles données à partir de la distribution de l'échantillon d'apprentissage, mais cette distribution est non seulement de grande dimension mais également très complexe, ce qui la rend difficile à mettre en œuvre directement.

résoudre

Échantillonnez une distribution simple, telle que la distribution uniforme ; puis apprenez un mappage pour la transformer en distribution d'échantillon d'apprentissage ;

composition

Générer un réseau

On espère générer des images aussi réalistes que possible et ainsi tromper le discriminateur.

réseau discriminatoire

J'espère pouvoir distinguer avec précision les vraies et fausses images

Entraînement conjoint selon la méthode minimax

Compléter en alternance

discriminateur

Constructeur

Visualisation

Laissez les pseudo-échantillons générés se rapprocher autant que possible de la distribution des échantillons réels, de sorte que le discriminateur puisse être dans un état indiscernable entre vrai et faux.

réseau classique

Réseau contradictoire génératif convolutif DCGAN

L'état est stable pendant le processus de formation, permettant ainsi de générer efficacement des images de haute qualité.

Règles (empiriques)

Utilisez des convolutions au lieu de regrouper des couches

Supprimer la couche entièrement connectée

Utiliser la normalisation par lots

Utiliser la fonction d'activation appropriée

Le réseau de génération utilise ReLU et la couche de sortie utilise Tanh.

Le discriminateur utilise LeaklyReLU

Problème d'optimisation GAN LSGAN, WGAN

question

Lorsque les échantillons générés et les échantillons réels ne se chevauchent pas, la divergence JS est toujours log2

Fonction objectif LSGAN

Changez la fonction sigmod en fonction de régression linéaire

WGAN

mesure de distance

Distance du bulldozer

Faire en sorte que le réseau s'entraîne dans la direction souhaitée

GAN conditionnel

question

Il existe un problème d'étiquetage à plusieurs. Les résultats de sortie des réseaux de neurones traditionnels sont aussi proches que possible de chaque résultat d'entraînement, ce qui rend les images générées très floues, voire impossibles à distinguer.

On s'attend à ce que le contenu de sortie soit diversifié et puisse être contrôlé

fonction objectif

Plan de mise en œuvre

cGAN

SGAN

ACGAN (couramment utilisé)

fonction objectif

Lc est la perte de classification, Ls est la vraie et fausse perte de discrimination

infoGAN

Contrôlez les variables cachées afin qu'elles aient des définitions physiques claires

texte en image

StackGAN

image à image

iGAN

Pix2Pix

cycleGAN

StarGAN

Un réseau génère cinq styles