sqrt(dk) é uma escala escalar e o resultado do produto escalar de Q e K é muito grande.

Gere Q, K, V

Comparado com RNN e CNN, é mais dominante.

Não há dependência entre cada Autoatenção na Atenção Multi-cabeças e pode ser realizada simultaneamente.

Como cada palavra deve calcular a atenção com outras palavras, o comprimento máximo do caminho é 1, facilitando a captura de dependências de longa distância.

O K, Q e V do primeiro nível vêm todos da saída do decodificador da camada anterior.

Adicionada operação de máscara

A consulta vem da saída da camada decodificadora de nível anterior.

A chave e o valor vêm da saída do codificador

Cada posição do decodificador pode atender cada posição da sequência de entrada.

Incorporações de token

Incorporações de segmento

Incorporações de posição

Não há operações de recorrência e convolução no modelo, portanto não há informação relativa ou posicional da mônada na frase.

Para que o modelo aprenda informações de posição, uma camada de codificação de posição é adicionada à palavra incorporação.

Selecione o método de codificação de funções trigonométricas

A incorporação de posição serve apenas para compensar a incapacidade do modelo de capturar informações de posição e não pode resolver fundamentalmente as falhas no design do modelo.

Embora a autoatenção seja inteligentemente concebida, só pode ser considerada um modelo requintado de conjunto de palavras que não captura nenhuma informação do pedido, portanto, informações adicionais do pedido devem ser adicionadas.

Estrutura semelhante ao ResNet para processamento de imagens

Passar as informações da camada anterior para a próxima camada sem distinção

Resolva o difícil problema do treinamento de rede multicamadas

Normalização de ativação

Acelere o processo de treinamento