sqrt(dk) est une échelle scalaire et le résultat du produit scalaire de Q et K est trop grand.

Générer Q, K, V

Comparé à RNN et CNN, il est plus dominant.

Il n’y a aucune dépendance entre chaque auto-attention dans l’attention multi-têtes et peut être effectuée simultanément.

Étant donné que chaque mot doit calculer l'attention avec d'autres mots, la longueur maximale du chemin est de 1, ce qui facilite la capture des dépendances à longue distance.

Les K, Q et V du premier niveau proviennent tous de la sortie du décodeur de couche précédente.

Opération de masque ajoutée

La requête provient de la sortie de la couche de décodeur précédente.

La clé et la valeur proviennent de la sortie de l'encodeur

Chaque position du décodeur peut assister à chaque position de la séquence d'entrée.

Intégrations de jetons

Incorporations de segments

Intégrations de positions

Il n'y a pas d'opérations de récurrence et de convolution dans le modèle, donc il n'y a aucune information relative ou positionnelle de la monade dans la phrase.

Pour que le modèle apprenne les informations de position, une couche de codage de position est ajoutée à l'intégration de mots.

Sélectionnez la méthode de codage des fonctions trigonométriques

L'intégration de position ne sert qu'à compenser l'incapacité du modèle à capturer les informations de position et ne peut pas fondamentalement résoudre les défauts de conception du modèle.

Bien que Self-Attention soit intelligemment conçu, il ne peut être considéré que comme un modèle exquis de sac de mots qui ne capture aucune information de commande, des informations de commande supplémentaires doivent donc être ajoutées.

Structure similaire à ResNet pour le traitement d'images

Passer les informations de la couche précédente à la couche suivante sans distinction

Résoudre le problème difficile de la formation des réseaux multicouches

Normalisation de la valeur d'activation

Accélérez le processus de formation