sqrt (dk) es una escala escalar y el resultado del producto escalar de Q y K es demasiado grande.

Generar Q,K,V

En comparación con RNN y CNN, es más dominante.

No hay dependencia entre cada Auto-Atención en la Atención de múltiples cabezas y se puede realizar simultáneamente.

Dado que cada palabra tiene que calcular la atención con otras palabras, la longitud máxima de la ruta es 1, lo que facilita la captura de dependencias a larga distancia.

K, Q y V del primer nivel provienen todos de la salida del decodificador de capa anterior.

Operación de máscara agregada

La consulta proviene de la salida de la capa decodificadora anterior.

La clave y el valor provienen de la salida del codificador.

Cada posición del decodificador puede atender a cada posición de la secuencia de entrada.

Incrustaciones de tokens

Incrustaciones de segmentos

Incrustaciones de posiciones

No hay operaciones de recurrencia ni convolución en el modelo, por lo que no hay información relativa o posicional de la mónada en la oración.

Para que el modelo aprenda información de posición, se agrega una capa de codificación de posición a la incrustación de palabras.

Seleccione el método de codificación de funciones trigonométricas.

La incrustación de posición solo sirve para compensar la incapacidad del modelo para capturar información de posición y no puede resolver fundamentalmente las fallas en el diseño del modelo.

Aunque la autoatención está inteligentemente concebida, solo se puede decir que es un modelo exquisito de bolsa de palabras que no captura ninguna información del pedido, por lo que se debe agregar información adicional del pedido.

Estructura similar a ResNet para procesamiento de imágenes.

Pasar la información de la capa anterior a la siguiente sin distinción

Resuelva el difícil problema del entrenamiento de redes multicapa

Normalización de activación

Acelerar el proceso de formación