Compressez les valeurs des caractéristiques d'entrée dans une large plage comprise entre 0 et 1, afin que l'amplitude des données puisse être maintenue sans changements majeurs dans les réseaux profonds.

Le plus proche des neurones biologiques au sens physique

En fonction de sa plage de sortie, cette fonction convient aux modèles qui ont des probabilités prédites en sortie

Lorsque l'entrée est très grande ou très petite, la sortie est fondamentalement constante, c'est-à-dire que le changement est très faible, ce qui fait que le gradient est proche de 0.

Les dégradés peuvent disparaître prématurément, entraînant une convergence plus lente

Les opérations exponentielles prennent relativement du temps

La sortie n'est pas de moyenne 0, ce qui amène les neurones de la couche suivante à recevoir en entrée le signal de moyenne non nulle émis par la couche précédente. À mesure que le réseau s'approfondit, la tendance de distribution des données originales changera.

Résoudre le problème selon lequel la sortie de la fonction sigmoïde ci-dessus n'est pas moyenne de 0

La dérivée de la fonction Tanh va de 0 à 1, ce qui est meilleur que le 0 à 0,25 de la fonction sigmoïde, ce qui atténue dans une certaine mesure le problème de la disparition des gradients.

La fonction Tanh est similaire à la fonction y=x près de l'origine. Lorsque la valeur d'activation d'entrée est faible, les opérations matricielles peuvent être effectuées directement et la formation est relativement simple.

Semblable à la fonction sigmoïde, le problème du gradient de disparition existe toujours

Observez ses deux formes d'expressions, à savoir 2*sigmoid(2x)-1 et (exp(x)-exp(-x))/(exp(x) exp(-x)). le fonctionnement électrique existe toujours

Par rapport à la fonction sigmoïde et à la fonction Tanh, lorsque l'entrée est positive, la fonction Relu n'a pas de problème de saturation, ce qui résout le problème de disparition du gradient et rend le réseau profond entraînable.

La vitesse de calcul est très rapide, il vous suffit de déterminer si l'entrée est supérieure à la valeur 0

La vitesse de convergence est beaucoup plus rapide que les fonctions sigmoïde et Tanh

La sortie Relu amènera certains neurones à avoir une valeur de 0, ce qui non seulement entraîne une parcimonie du réseau, mais réduit également la corrélation entre les paramètres, ce qui atténue dans une certaine mesure le problème du surajustement ;

La sortie de la fonction Relu n'est pas une fonction avec 0 comme moyenne.

Il existe un problème de Dead Relu, c'est-à-dire que certains neurones peuvent ne jamais être activés, ce qui empêche la mise à jour des paramètres correspondants. Les principales raisons de ce problème incluent des problèmes d'initialisation des paramètres et des paramètres de taux d'apprentissage trop élevés ;

Lorsque l'entrée est une valeur positive et que la dérivée est 1, dans la "réaction en chaîne", le gradient ne disparaîtra pas, mais la force de la descente du gradient dépend entièrement du produit des poids, ce qui peut conduire au problème d'explosion du gradient.

En réponse au problème Dead Relu qui existe dans la fonction Relu, la fonction Leaky Relu donne à la valeur d'entrée une très petite pente lorsque l'entrée est une valeur négative. Sur la base de la résolution du problème du gradient 0 dans le cas d'une entrée négative, c'est également bien atténué le problème de Dead Relu.

La sortie de cette fonction va de l'infini négatif à l'infini positif, c'est-à-dire que la fuite étend la plage de la fonction Relu, où la valeur de α est généralement définie sur une valeur plus petite, telle que 0,01.

Théoriquement, cette fonction a de meilleurs effets que la fonction Relu, mais une grande quantité de pratique a prouvé que son effet est instable, il n'y a donc pas beaucoup d'applications de cette fonction dans la pratique.

Des résultats incohérents dus à des fonctions différentes appliquées à différents intervalles entraîneront l'incapacité de fournir des prédictions de relations cohérentes pour les valeurs d'entrée positives et négatives.

La première étape de softmax consiste à transformer les résultats de prédiction du modèle en fonction exponentielle, garantissant ainsi le caractère non négatif de la probabilité.

La méthode consiste à diviser les résultats convertis par la somme de tous les résultats convertis, ce qui peut être compris comme le pourcentage des résultats convertis dans le total. Cela donne des probabilités approximatives.

L'entropie croisée peut être utilisée comme fonction de perte dans les réseaux de neurones (apprentissage automatique). p représente la distribution d'étiquettes réelles et q est la distribution d'étiquettes prédite du modèle formé. La fonction de perte d'entropie croisée peut mesurer la similarité entre p et q. .

Un autre avantage de l'entropie croisée en tant que fonction de perte est que l'utilisation de la fonction sigmoïde pendant la descente de gradient peut éviter le problème du taux d'apprentissage réduit de la fonction de perte d'erreur quadratique moyenne, car le taux d'apprentissage peut être contrôlé par l'erreur de sortie.

Considérons p(i) comme la distribution de probabilité réelle et q(i) comme la distribution de probabilité prédite. Si nous utilisons l'entropie croisée comme fonction de perte, lorsque nous la minimisons, nous pouvons faire en sorte que q(i) s'approche progressivement de p( i), le but du montage est atteint.

Supprimez certaines valeurs prédites individuellement ou attribuez des paramètres de différentes tailles

Tâches de formation multi-objectifs, définition de méthodes raisonnables de combinaison de pertes (diverses opérations)

Différentes pertes du réseau neuronal sont combinées et la perte commune est utilisée pour entraîner et guider le réseau.

Fixe, c'est-à-dire taux d'apprentissage fixe, est la configuration la plus simple et ne nécessite qu'un seul paramètre.

Le taux d'apprentissage reste inchangé pendant tout le processus d'optimisation. Il s'agit d'une stratégie très rarement utilisée, car à mesure qu'elle s'approche du point optimal global, le taux d'apprentissage doit devenir de plus en plus petit pour éviter de sauter le point optimal.

taux d'apprentissage adaptatif

L'algorithme AdaGrad montre qu'à mesure que l'algorithme continue d'itérer, r deviendra de plus en plus grand et le taux d'apprentissage global deviendra de plus en plus petit. Par conséquent, d'une manière générale, l'algorithme AdaGrad commence par une convergence d'incitation, puis se transforme lentement en convergence de pénalité, et la vitesse devient de plus en plus lente.

L'algorithme RMSProp n'accumule pas violemment et directement des gradients carrés comme l'algorithme AdaGrad, mais ajoute un coefficient d'atténuation pour contrôler la quantité d'informations historiques obtenues.

Pour faire simple, après avoir fixé le taux d'apprentissage global, pour chaque passage, le taux d'apprentissage global est divisé paramètre par paramètre par la racine carrée de la somme carrée des gradients historiques contrôlés par le coefficient d'atténuation, de sorte que le taux d'apprentissage de chaque Le paramètre est différent.

La direction est différente et la recherche est plus précise.

La différence entre l'abandon et le pooling

Lors de la propagation vers l'avant, nous laissons la valeur d'activation d'un certain neurone cesser de fonctionner avec une certaine probabilité p, ce qui peut rendre le modèle plus généralisable car il ne s'appuiera pas trop sur certaines caractéristiques locales.

Quel effet la régularisation a-t-elle sur le paramètre w ?

Qu’est-ce que la perte de poids et quel est son lien avec la régularisation ?

La plupart des paramètres n'ont pas besoin d'être mis à jour et les paramètres réels sont considérablement réduits.

Gelez une partie des couches convolutives du modèle pré-entraîné (généralement la majorité des couches convolutives proches de l'entrée, car ces couches conservent beaucoup d'informations sous-jacentes) ou même gelez toutes les couches réseau, et entraînez les couches convolutives restantes (généralement les parties proches de la couche convolutive de sortie) et de la couche entièrement connectée.

Le principe du réglage fin est d'utiliser la structure de réseau connue et les paramètres de réseau connus, de modifier la couche de sortie vers notre propre couche et d'affiner les paramètres de plusieurs couches avant la dernière couche, utilisant ainsi efficacement les puissantes capacités de généralisation des profondeurs. réseaux neuronaux.

importance

modèle de migration