O fluxo de dados da entrada original para o destino de saída passa por vários componentes lineares ou não lineares. Cada componente processa informações e, por sua vez, afeta os componentes subsequentes.

Quando finalmente obtemos o resultado, não sabemos exatamente quanto cada componente contribui. Esta questão é chamada de contribuição Problema de alocação.

O problema de alocação de contribuições é uma questão muito crítica, relacionada a como aprender os parâmetros de cada componente.

conceito inteligente

Conceito de inteligência artificial

A posição subjetiva da inteligência artificial

Pesquisa interdisciplinar com ciências do cérebro e ciências cognitivas

Pesquisa sobre métodos e tecnologias de simulação inteligente

Percepção: isto é, simular a capacidade de percepção humana de perceber e processar informações de estímulos externos (visuais e de fala, etc.). As principais áreas de pesquisa incluem processamento de informações de fala e visão computacional.

Aprendizagem: Simular a capacidade de aprendizagem humana, principalmente estudando como aprender com exemplos ou interagindo com o meio ambiente. As principais áreas de pesquisa incluem aprendizagem supervisionada, aprendizagem não supervisionada e aprendizagem por reforço.

Cognição: Simula habilidades cognitivas humanas. As principais áreas de pesquisa incluem representação de conhecimento, compreensão de linguagem natural, raciocínio, planejamento, tomada de decisão, etc.

simbolismo

conexionismo

Behaviorismo

Modelo proposto

era do Gelo

O renascimento causado pelo algoritmo de retropropagação

Declínio na popularidade

A ascensão do aprendizado profundo

Após o pré-processamento de dados, como remoção de ruído, etc. Por exemplo, na classificação de texto, remoção de palavras irrelevantes, etc.

Extraia alguns recursos eficazes de dados brutos. Por exemplo, na classificação de imagens, extraia bordas, transforme recursos invariantes de escala (SIFT), etc.

Execute determinados processamentos nos recursos, como redução de dimensionalidade e aprimoramento de dimensionalidade. A redução da dimensionalidade inclui duas abordagens: Extração de recursos e Seleção de recursos. Os métodos de transformação de recursos comumente usados ​​incluem análise de componentes principais (PCA), análise discriminante linear (Análise Discriminante Linear), etc.

A parte central do aprendizado de máquina, fazer previsões por meio de uma função

representação local

representação distribuída

Diferente da "aprendizagem superficial", o principal problema que a aprendizagem profunda precisa resolver é a distribuição da contribuição

De certa forma, a aprendizagem profunda também pode ser considerada uma espécie de aprendizagem por reforço (RL). Cada componente interno não pode obter informações de supervisão diretamente, mas precisa obtê-las por meio das informações de supervisão finais (recompensa) de todo o modelo, e existe. Certo atraso.

O modelo de rede neural pode usar o algoritmo de retropropagação de erro, que pode resolver melhor o problema de distribuição de contribuição.

estilo de aprendizagem tradicional

Nova forma de aprender

Theano: Um kit de ferramentas Python da Universidade de Montreal, usado para definir, otimizar e executar com eficiência o projeto Theano, está atualmente fora de manutenção. Os dados da matriz multidimensional correspondem a expressões matemáticas. Theano pode usar GPUs e símbolos eficientes de forma transparente diferencial.

Caffe: O nome completo é Arquitetura Convolucional para Incorporação Rápida de Recursos. É uma estrutura de computação para modelos de rede convolucionais. A estrutura de rede a ser implementada pode ser especificada no arquivo de configuração e não requer codificação. Caffe é implementado em C e Python e é usado principalmente para visão computacional.

TensorFlow: um kit de ferramentas Python desenvolvido pelo Google que pode ser executado em qualquer dispositivo com CPU ou GPU. O processo de cálculo do TensorFlow é representado por meio de gráficos de fluxo de dados. O nome do Tensor Flow vem do fato de que o objeto de operação em seu processo de cálculo é um array multidimensional, ou seja, um tensor.

Chainer: Uma das primeiras estruturas de rede neural que usa gráficos de computação dinâmica. Sua principal equipe de desenvolvimento é a Preferred Networks, uma startup de aprendizado de máquina do Japão. Em comparação com os gráficos de cálculo estáticos usados ​​pelo Tensorflow, Theano, Caffe e outras estruturas, os gráficos de cálculo dinâmico podem construir gráficos de cálculo dinamicamente em tempo de execução, portanto, são muito adequados para algumas tarefas complexas de tomada de decisão ou raciocínio.

PyTorch5: Uma estrutura de aprendizado profundo desenvolvida e mantida pelo Facebook, NVIDIA, Twitter e outras empresas. Seu antecessor é o Torch6 da linguagem Lua. PyTorch também é um framework baseado em gráficos de computação dinâmica, que apresenta vantagens óbvias em tarefas que exigem alteração dinâmica da estrutura das redes neurais.

As redes neurais podem ser implementadas de forma eficiente usando operações matriciais.

Camada afim

Função de identidade

função softmax

Problema de classificação

Insira vários conjuntos de dados de uma só vez

Ao procurar parâmetros ideais (pesos e vieses), você está procurando parâmetros que tornem o valor da função de perda o menor possível, então você precisa calcular as derivadas dos parâmetros (o gradiente para ser mais preciso)

Por que não usar diretamente a precisão do reconhecimento como indicador?

erro quadrático médio

erro de entropia cruzada

Extraia alguns dados de teste

Configuração manual

treinamento obtido

O gradiente da função de perda em relação aos parâmetros de peso

Número de ciclos/tamanho do minilote

A quantidade de amarelo é o valor obtido durante a retropropagação

A quantidade verde é uma quantidade conhecida

Rede baseada em camada totalmente conectada (camada afim)

Rede baseada em CNN

Convolução[camada de convolução]-ReLU-(Pooling[camada de pooling])

A camada próxima à saída usa a combinação anterior Affine [transformação afim] - ReLU

A camada de saída final usa a combinação anterior Affine-Softmax

Problemas com a camada totalmente conectada

Operação de convolução

Correlação

Variantes de convolução

Propriedades matemáticas da convolução

Operação de convolução em dados 3D

Operações de convolução múltipla

Processamento em lote

Conexão local: Cada neurônio na camada convolucional (supostamente a l-ésima camada) está conectado apenas aos neurônios em uma janela local na próxima camada (camada l-1), formando uma rede de conexão local. O número de conexões entre a camada convolucional e a próxima camada é bastante reduzido, das conexões n(l) × n(l - 1) originais para conexões n(l) × m. m é o tamanho do filtro.

Compartilhamento de peso: O filtro w(l) como parâmetro é o mesmo para todos os neurônios da camada l.

Devido às conexões locais e ao compartilhamento de peso, os parâmetros da camada convolucional possuem apenas um peso m-dimensional w(l) e um viés unidimensional b(l), com um total de m 1 parâmetros.

O número de neurônios na camada l não é escolhido arbitrariamente, mas satisfaz n(l) = n(l−1) − m 1.

Máximo: Geralmente, é obtido o valor máximo de todos os neurônios em uma região.

Agregação média (média): Geralmente, é obtido o valor médio de todos os neurônios na área.

onde Y(′d) é a saída da camada de pooling, f(·) é a função de ativação não linear, w(d) e b(d) são pesos escalares e vieses que podem ser aprendidos.

Não há parâmetros para aprender

O número de canais não muda

Robusto para pequenas mudanças de posição (robustez)

O filtro antes do aprendizado é inicializado aleatoriamente, portanto não há padrão nos tons de preto e branco, mas o filtro após o aprendizado se torna uma imagem normal. Descobrimos que, por meio do aprendizado, os filtros são atualizados para filtros regulares, como filtros com gradiente de branco para preto, filtros que contêm áreas em blocos (chamadas de blobs), etc. Filtro responsivo a bordas horizontais e verticais

Pode-se observar que os filtros da camada convolucional extrairão informações originais como bordas ou patches. A CNN recém-implementada passará essas informações brutas para as camadas subsequentes.

Informações extraídas das camadas convolucionais da CNN. Os neurônios da camada 1 respondem às bordas ou manchas, a camada 3 responde à textura, a camada 5 responde às partes do objeto e a camada final totalmente conectada responde à categoria do objeto (cachorro ou carro).

Se múltiplas camadas convolucionais forem empilhadas, à medida que as camadas se aprofundam, as informações extraídas tornam-se mais complexas e abstratas. Esta é uma parte muito interessante do aprendizado profundo. À medida que as camadas se aprofundam, os neurônios mudam de formas simples para informações de “alto nível”. Em outras palavras, assim como entendemos o “significado” das coisas, os objetos de resposta mudam gradualmente.

LeNet foi proposto em 1998 como uma rede para reconhecimento de dígitos manuscritos. Possui camadas convolucionais consecutivas e camadas de pooling e, finalmente, gera os resultados por meio de uma camada totalmente conectada.

Excluindo a camada de entrada, o LeNet-5 possui um total de 7 camadas.

juntar-se à mesa

Foi proposto em 2012 e utiliza muitos métodos técnicos de redes convolucionais profundas modernas.

Módulo inicial: uma camada convolucional contém múltiplas operações de convolução de tamanhos diferentes

A rede Inception é empilhada por vários módulos iniciais e um pequeno número de camadas de agregação.

Versão V1

A versão v1 mais antiga da rede Inception é a famosa GoogLeNet [Szegedy et al., 2015], e venceu a competição de classificação de imagens ImageNet de 2014.

A eficiência da propagação da informação é melhorada com a adição de arestas diretas à camada convolucional não linear.

elementos não lineares

Rumo a uma rede mais profunda

Melhore ainda mais a precisão do reconhecimento

Motivação mais profunda

Competição ILSVRC

VGG

GoogleLeNet

ResNet

Problemas que precisam ser resolvidos

Aceleração baseada em GPU

Aprendizagem distribuída

Redução de dígitos da precisão aritmética

Detecção de objetos

Segmentação de imagens

Geração de legenda de imagem

Transformação de estilo de imagem

Geração de imagem

Piloto automático

aprendizagem por reforço

Abordagem baseada em dicionário de sinônimos

abordagem baseada em contagem

Abordagem baseada em inferência (word2vec)

Um diagrama baseado na relação hiperônimo-hipônimo de acordo com o significado de cada palavra

O dicionário de sinônimos mais famoso

efeito

Usado através do módulo NLTK

Novas palavras continuam aparecendo, dificultando a adaptação às mudanças dos tempos

Alto custo de mão de obra

Incapaz de expressar diferenças sutis em palavras

Um corpus é uma grande quantidade de dados de texto

Corpora usados ​​na área de processamento de linguagem natural às vezes adicionam informações adicionais aos dados de texto. Por exemplo, cada palavra dos dados de texto pode ser marcada com uma classe gramatical. Aqui, assume-se que o corpus que utilizamos não possui tags adicionadas.

corpus famoso

pré-processando

Construa representações vetoriais compactas e razoáveis ​​no domínio da palavra

O significado de uma palavra é formado pelas palavras que a cercam

Contexto refere-se às palavras que cercam uma palavra centralizada

O tamanho do contexto é chamado de tamanho da janela

A maneira mais simples de usar um vetor é contar quantas vezes uma palavra aparece ao seu redor.

text = 'Você diz adeus e eu digo olá.'

Defina o tamanho da janela para 1

similaridade de cosseno

Obtenha o vetor de palavras da palavra de consulta

Obtenha a similaridade de cosseno entre o vetor de palavras da palavra de consulta e todos os outros vetores de palavras, respectivamente.

Resultados baseados na similaridade de cossenos, mostrando seus valores em ordem decrescente

Na matriz de coocorrência, palavras comuns como the will serão consideradas como tendo uma forte correlação com substantivos como car

PMI

PMI baseado na matriz de coocorrência

insuficiente

Obtenha a matriz PPMI com base na matriz de coocorrência

Precisamos observar a distribuição dos dados e encontrar “eixos” importantes

Decomposição de valor singular (SVD)

O corpus PTB é frequentemente usado como referência para avaliar métodos propostos

Pré-processamento do corpus PTB

O pré-processamento que fiz

Atribuição de hiperparâmetros

Para a palavra de consulta você, você pode ver que pronomes pessoais como eu e nós são classificados em primeiro lugar. São palavras com o mesmo uso na gramática.

A palavra de consulta ano possui sinônimos como mês e trimestre.

A palavra de consulta carro possui sinônimos como automóvel e veículo.

Ao usar toyota como termo de consulta, apareceram nomes de fabricantes de automóveis ou marcas como nissan, honda e lexus.

Use o corpus para calcular o número de palavras no contexto, converta-as em uma matriz PPMI e, em seguida, obtenha bons vetores de palavras com base na redução da dimensionalidade SVD.

No mundo real, os corpora lidam com um grande número de palavras. Por exemplo, diz-se que o vocabulário inglês possui mais de 1 milhão de palavras. Se o tamanho do vocabulário exceder 1 milhão, o uso do método baseado em contagem exigirá a geração de uma matriz enorme de 1 milhão x 1 milhão, mas é obviamente irrealista realizar SVD em uma matriz tão grande.

Abordagens baseadas em inferência usando redes neurais

Alvo

método de raciocínio

Converter palavras em vetores

Redes neurais

estrutura

Características

Converta pontuações em probabilidades usando a função Softmax

Encontre o erro de entropia cruzada entre essas probabilidades e os rótulos supervisionados

Aprenda isso como uma perda

W (in) peso é a representação distribuída da palavra que queremos

A probabilidade de que wt ocorra após wt−1 e wt 1 ocorrerem.

Função de perda L (probabilidade logarítmica negativa) do modelo CBOW

word2vec tem dois modelos

Skip-gram é um modelo que inverte o contexto e as palavras-alvo processadas pelo modelo CBOW.

diagrama de estrutura de rede skip-gram

modelos skip-gram e probabilidade

Comparação da função de perda

A julgar pela precisão da representação distribuída de palavras, o modelo skip-grm dá melhores resultados na maioria dos casos.

Cenários onde novas palavras precisam ser adicionadas ao vocabulário e a representação distribuída das palavras atualizada

Propriedades de representações distribuídas de palavras

Precisão de representações distribuídas de palavras

A representação distribuída de palavras obtida usando word2vec pode ser usada para encontrar palavras aproximadas

transferir aprendizagem

Usando representações distribuídas de palavras, também é possível converter documentos (sequências de palavras) em vetores de comprimento fixo.

avaliação de similaridade de palavras criadas artificialmente definida para avaliar

Compare as pontuações dadas pelas pessoas e a similaridade de cosseno dada pelo Word2vec para examinar a correlação entre elas

para concluir

O propósito original do modelo CBOW “prever palavras-alvo a partir do contexto” pode ser usado para alguma coisa? P(wt|wt−2, wt−1) pode desempenhar um papel em alguns cenários práticos?

As janelas que consideramos antes são todas simétricas, e então consideramos apenas a janela esquerda.

Use a probabilidade para avaliar a probabilidade de ocorrência de uma sequência de palavras, ou seja, até que ponto a sequência de palavras é natural.

Representação de probabilidade

Cadeia de Markov

insuficiente

RNN possui um mecanismo que pode lembrar informações de contexto, independentemente da extensão do contexto. Portanto, dados de séries temporais de comprimento arbitrário podem ser processados ​​usando RNN.

word2vec é um método que visa obter representação distribuída de palavras e geralmente não é usado em modelos de linguagem.

A estrutura da camada RNN

A entrada no tempo t é xt, o que implica que os dados da série temporal (x0, x1, ···, xt, ···) serão inseridos na camada. Então, na forma correspondente à entrada, saída (h0, h1, ··· , ht, ···)

A saída possui dois garfos, o que significa que a mesma coisa foi copiada. Uma bifurcação na saída se tornará sua própria entrada.

Usamos a palavra "momento" para nos referirmos ao índice de dados da série temporal (ou seja, os dados de entrada no tempo t são xt). Expressões como "a t-ésima palavra" e "a t-ésima camada RNN" são usadas, bem como expressões como "a palavra no tempo t" ou "a camada RNN no tempo t".

A camada RNN recebe a cada momento dois valores, que são a entrada passada para esta camada e a saída da camada RNN anterior.

RNN tem dois pesos, nomeadamente o peso Wx que converte a entrada x na saída h e o peso Wh que converte a saída da camada RNN anterior na saída no momento atual. Além disso, há preconceito b.

De outra perspectiva, RNN possui um estado h, que é continuamente atualizado por meio da fórmula acima. Então h pode ser chamado de estado oculto ou vetor de estado oculto

Os dois métodos de desenho esquemático são equivalentes

retropropagação baseada em tempo

Para encontrar o gradiente baseado no BPTT, os dados intermediários da camada RNN em cada momento devem ser salvos na memória. Portanto, à medida que os dados da série temporal ficam mais longos, o uso da memória do computador (não apenas de cálculos) também aumenta.

Para resolver o problema acima, ao processar dados de séries temporais longas, a prática comum é cortar a conexão de rede em um comprimento apropriado.

Redes que são muito longas na direção do eixo do tempo são truncadas em locais apropriados para criar múltiplas redes pequenas e, em seguida, o método de retropropagação de erro é executado nas pequenas redes cortadas. Este método é chamado de BPTT truncado (BPTT truncado).

No BPTT truncado, a conexão de propagação reversa da rede é cortada, mas a conexão de propagação direta ainda é mantida.

Processando o Pedido

No início dos dados de entrada, um “deslocamento” precisa ser feito dentro dos lotes individuais.

Perceber

Chame uma camada que processa T etapas por vez de "camada Time RNN"

A camada que realiza o processamento de etapa única na camada Time RNN é chamada de "camada RNN"

Assim como o Time RNN, as camadas que processam dados de série temporal de forma holística são nomeadas começando com a palavra "Time", que é a convenção de nomenclatura estabelecida neste livro. Depois disso, também implementaremos a camada Time Affine, a camada Time Embedding, etc.

propagação direta

Retropropagação

propagação direta

Retropropagação

Os modelos de linguagem baseados em RNN são chamados RNNLM

estrutura

Amostra

Estrutura da rede neural alvo

Tempo Afim

Tempo Softmax

Os dados de entrada são 1

Os dados de entrada são múltiplos

Quanto maior a probabilidade, melhor, e quanto menor a confusão, melhor.

A perplexidade representa o número de opções que podem ser escolhidas a seguir. Se a confusão for 1,25, significa que o número de candidatos para a próxima palavra é cerca de 1.

Encapsule as operações acima em classes

Existem três camadas ocultas h1, h2 e h3, onde h1 é calculado a partir de duas entradas x1 e x2, h2 é calculado a partir de duas outras camadas de entrada x3 e x4, e h3 é calculado a partir de duas camadas ocultas h1 e h2.

função de ativação

Nó MatMul (produto de matriz)

Existe um método estabelecido para resolver a explosão de gradiente, chamado recorte de gradiente.

Supõe-se aqui que os gradientes de todos os parâmetros utilizados pela rede neural podem ser integrados em uma variável e representados pelo símbolo g. Em seguida, defina o limite como limite. Neste momento, se a norma L2 g do gradiente for maior ou igual ao limite, o gradiente é corrigido conforme descrito acima.

LSTM é a abreviatura de Long Short-Term Memory, o que significa que pode manter a memória de curto prazo (memória de curto prazo) por um longo tempo.

Primeiro, expresse o cálculo de tanh(h(t−1)*Wh xt*Wx b) como um nó retangular tanh (ht−1 e xt são vetores linha)

Vamos comparar a interface (entrada e saída) de LSTM e RNN

A diferença entre a interface do LSTM e do RNN é que o LSTM também possui o caminho c. Este c é chamado de unidade de memória (ou simplesmente “unidade”), que equivale ao departamento de memória dedicado do LSTM.

A característica da unidade de memória é que ela apenas recebe e transmite dados dentro da camada LSTM. Ou seja, do lado que recebe a saída do LSTM, a saída do LSTM possui apenas o vetor de estado oculto h. A unidade de memória c é invisível para o mundo exterior e nem precisamos considerar a sua existência.

ct armazena a memória do LSTM no tempo t, que pode ser considerada como contendo todas as informações necessárias do passado até o tempo t. Então, com base no ct desta memória portadora, o estado oculto ht é gerado.

calcular

Portão

O estado oculto ht aplica apenas a função tanh à unidade de memória ct, e consideramos a aplicação de portas a tanh(ct). Como esta porta gerencia a saída do próximo estado oculto ht, ela é chamada de porta de saída.

A porta de saída é calculada da seguinte forma. A função sigmóide é representada por σ()

ht pode ser calculado a partir do produto de o e tanh(ct). O método de cálculo é o produto elemento a elemento, que é o produto dos elementos correspondentes.

Agora, adicionamos uma porta para esquecer memórias desnecessárias na unidade de memória c(t−1), que aqui é chamada de porta do esquecimento.

O cálculo do portão de esquecimento é o seguinte

ct é obtido pelo produto deste f e o elemento correspondente da unidade de memória anterior ct−1

Agora também queremos adicionar algumas novas informações a esta unidade de memória que devem ser lembradas, para isso adicionamos um novo nó tanh

O resultado calculado com base no nó tanh é adicionado à unidade de memória ct−1 no momento anterior.

Adicionamos uma porta a g na Figura 6-17. Essa porta recém-adicionada é chamada aqui de porta de entrada.

A porta de entrada determina o valor de cada elemento da nova informação g. As portas de entrada não adicionam novas informações sem consideração; em vez disso, elas fazem escolhas sobre quais informações adicionar. Em outras palavras, a porta de entrada adiciona novas informações ponderadas.

A porta de entrada é calculada da seguinte forma

A retropropagação de células de memória flui apenas através dos nós "" e "×". O nó " " flui para fora do gradiente do upstream como está, então o gradiente não muda (degenera). O cálculo do nó "×" não é um produto de matriz, mas sim o produto dos elementos correspondentes (produto Hadama), que não causará alterações de gradiente.

Aprofundar a camada LSTM (empilhar múltiplas camadas LSTM) geralmente funciona bem.

Quantas camadas são apropriadas?

Ao aprofundar a profundidade, podem ser criados modelos mais expressivos, mas tais modelos muitas vezes sofrem de overfitting. Para piorar a situação, as RNNs são mais propensas ao overfitting do que as redes neurais feedforward convencionais, portanto, as contramedidas de overfitting para RNNs são muito importantes.

Contramedidas

Cair fora

Posição de inserção da camada dropout

A amarração de peso pode ser traduzida literalmente como "amarração de peso".

O truque para vincular (compartilhar) os pesos da camada Embedding e da camada Affine é o compartilhamento de pesos. Ao compartilhar os pesos entre essas duas camadas, o número de parâmetros aprendidos pode ser bastante reduzido. Além disso, melhora a precisão.

Selecione a palavra com maior probabilidade, o resultado é determinado de forma única

Palavras com alta probabilidade são fáceis de serem selecionadas, palavras com baixa probabilidade são difíceis de serem selecionadas

Use melhores modelos de linguagem

Este modelo possui dois módulos - Codificador e Decodificador. O codificador codifica os dados de entrada e o decodificador decodifica os dados codificados.

seq2seq consiste em duas camadas LSTM, o codificador LSTM e o decodificador LSTM.

O estado oculto h do LSTM é um vetor de comprimento fixo. A diferença entre ele e o modelo da seção anterior é que a camada LSTM recebe o vetor h. Essa pequena e única mudança permitiu que modelos de linguagem comum evoluíssem para decodificadores que pudessem lidar com a tradução.

Tentando fazer com que seq2seq faça cálculos adicionais

enchimento

Em muitos casos, o aprendizado progride mais rapidamente e a precisão final melhora após o uso desta técnica.

Intuitivamente, a propagação dos gradientes pode ser mais suave e eficaz após a inversão dos dados.

O codificador que usa o capacete é chamado de Peeky Decoder, e o seq2seq que usa o Peeky Decoder é chamado de Peeky seq2seq.

O codificador converte a sentença de entrada em um vetor h de comprimento fixo, que concentra todas as informações exigidas pelo decodificador. É a única fonte de informação para o decodificador.

A saída h do codificador, que concentra informações importantes, pode ser atribuída a outras camadas do decodificador

Dois vetores são inseridos na camada LSTM e na camada Afim ao mesmo tempo, o que na verdade representa a concatenação dos dois vetores.

Um codificador é usado em seq2seq para codificar os dados da série temporal e, em seguida, as informações codificadas são passadas para o decodificador. Neste ponto, a saída do codificador é um vetor de comprimento fixo.

Vetores de comprimento fixo significam que qualquer que seja o comprimento da instrução de entrada (não importa quanto tempo), será convertido em um vetor do mesmo comprimento.

O comprimento da saída do codificador deve mudar de acordo com o comprimento do texto de entrada

Como o codificador processa da esquerda para a direita, estritamente falando, o vetor "gato" contém apenas as informações das três palavras "我的人", "は" e "猫". Considerando o equilíbrio geral, é melhor incluir informações em torno da palavra “gato” de maneira uniforme. Nesse caso, o RNN bidirecional (ou LSTM bidirecional) que processa dados de séries temporais de ambas as direções é mais eficaz.

Anteriormente, colocamos o "último" estado oculto da camada LSTM do codificador no estado oculto "inicial" da camada LSTM do decodificador.

O decodificador do capítulo anterior usou apenas o último estado oculto da camada LSTM do codificador. Se você usar hs, apenas a última linha será extraída e passada para o decodificador. A seguir melhoramos o decodificador para poder usar todos os hs.

Nós nos concentramos em uma determinada palavra (ou conjunto de palavras) e convertemos essa palavra a qualquer momento. Isso permite que o seq2seq aprenda a correspondência entre "quais palavras na entrada e na saída estão relacionadas a quais palavras".

mudanças estruturais

Como calcular

Aprendizagem do peso a

Integrar

Se considerarmos o equilíbrio geral, queremos que o vetor contenha informações em torno da palavra “gato” de maneira mais uniforme.

O LSTM bidirecional adiciona um processamento de camada LSTM na direção oposta sobre a camada LSTM anterior.

Divida os estados ocultos das duas camadas LSTM a cada momento e use-os como o vetor de estado oculto final (além da emenda, você também pode "soma" ou "média", etc.)

A saída da camada de atenção (vetor de contexto) é conectada à entrada da camada LSTM no momento seguinte. Através dessa estrutura, a camada LSTM consegue utilizar as informações do vetor de contexto. Por outro lado, o modelo que implementamos usa vetores de contexto na camada Afim.

Aprofundar a camada RNN

conexão residual

A história da tradução automática

Desde 2016, o Google Translate usa tradução automática neural para serviços reais. Sistema de tradução automática chamado GNMT

O GNMT requer grandes quantidades de dados e recursos computacionais. O GNMT usa uma grande quantidade de dados de treinamento (1 modelo) aprendidos em quase 100 GPUs por 6 dias. Além disso, o GNMT também está tentando melhorar ainda mais a precisão com base em tecnologias como aprendizagem em conjunto e aprendizagem por reforço, que podem aprender 8 modelos em paralelo.

RNN pode lidar bem com dados de séries temporais de comprimento variável. No entanto, a RNN também apresenta deficiências, como problemas de processamento paralelo.

O RNN precisa ser calculado passo a passo com base nos resultados do cálculo do momento anterior, portanto é (basicamente) impossível calcular o RNN em paralelo na direção do tempo. Isso se tornará um grande gargalo ao realizar aprendizado profundo em um ambiente de computação paralelo usando GPUs, por isso temos motivação para evitar RNN.

O Transformer não usa RNN, mas usa Atenção para processamento. Vamos dar uma breve olhada neste Transformer.

Autoatenção

Use uma rede neural totalmente conectada com uma camada oculta e função de ativação ReLU. Além disso, Nx na figura significa que os elementos circundados pelo fundo cinza são empilhados N vezes.

NTM (Máquina de Turing Neural)

As redes neurais também podem obter recursos adicionais usando dispositivos de armazenamento externos.

Com base na Atenção, codificadores e decodificadores implementam “operações de memória” em computadores. Em outras palavras, isso pode ser interpretado como: o codificador grava as informações necessárias na memória e o decodificador lê da memória Obtenha as informações necessárias.

Para imitar a operação da memória do computador, a operação da memória do NTM usa duas atenções,

O NTM resolveu com sucesso problemas de memória de longo prazo, problemas de classificação (organização de números grandes para pequenos), etc.

Difícil de otimizar e computacionalmente intensivo

A capacidade de ajuste é muito forte e é fácil de ajustar demais.

Diversidade de estrutura de rede

Dificuldades com espaços de baixa dimensão

Dificuldades com espaços de alta dimensão

Tipo de método de gradiente descendente

decadência da taxa de aprendizagem

Otimização da direção do gradiente

O método de inicialização gaussiano é o método de inicialização mais simples. Os parâmetros são inicializados aleatoriamente a partir de uma distribuição gaussiana com uma média fixa (como 0) e uma variância fixa (como 0,01).

Quando o número de conexões de entrada de um neurônio é n(in), seu peso de conexão de entrada pode ser definido para ser inicializado com a distribuição gaussiana de N(0,sqrt(1/nin)).

Se o número de conexões de saída nout também for considerado, ele poderá ser inicializado de acordo com a distribuição gaussiana de N(0,sqrt(2/(nin nout)))

A inicialização de distribuição uniforme usa distribuição uniforme para inicializar parâmetros dentro de um determinado intervalo [−r, r]. A configuração do hiperparâmetro r também pode ser ajustada de forma adaptativa de acordo com o número de conexões de neurônios.

Tipo de função de ativação

Tentamos utilizar os valores iniciais de peso recomendados no artigo de Xavier Glorot et al.

Se o número de nós na camada anterior for n, o valor inicial usa uma distribuição gaussiana com desvio padrão de (1/sqrt(n))

Quando a função de ativação usa ReLU, geralmente é recomendado usar o valor inicial dedicado a ReLU, que é o valor inicial recomendado por Kaiming He et al., também conhecido como "valor inicial de He".

Quando o número de nós na camada atual é n, o valor inicial de He usa uma distribuição gaussiana com desvio padrão de (2/sqrt(n))

As diferentes fontes e unidades de medida de cada recurso dimensional farão com que a faixa de distribuição desses valores de recurso seja muito diferente. Quando calculamos a distância euclidiana entre diferentes amostras, características com uma grande faixa de valores desempenharão um papel dominante.

normalização de escala

normalização padrão

Depois que os dados de entrada são branqueados, a correlação entre os recursos é baixa e todos os recursos têm a mesma variação.

Uma das principais formas de conseguir o clareamento é utilizar a análise de componentes principais para remover a correlação entre os componentes.

Também chamado de Normalização em Lote, método BN

Para que cada camada tenha a amplitude adequada, a distribuição dos valores de ativação é “forçada” a ser ajustada.

Execute a regularização para que a média da distribuição dos dados seja 0 e a variância seja 1.

Qualquer camada intermediária da rede neural pode ser normalizada.

vantagem

Camada de norma de lote

Limitações da normalização em lote

A normalização da camada normaliza todos os neurônios em uma camada intermediária.

Estrutura de rede

Parâmetros de otimização

coeficiente de regularização

O desempenho do hiperparâmetro não pode ser avaliado usando dados de teste

Se os dados de teste forem usados ​​para confirmar a "bondade" do valor do hiperparâmetro, isso fará com que o valor do hiperparâmetro seja ajustado para caber apenas nos dados de teste.

Os dados de treinamento são usados ​​para aprendizado de parâmetros (pesos e vieses) e os dados de validação são usados ​​para avaliação de desempenho de hiperparâmetros. Para confirmar a capacidade de generalização, os dados de teste devem ser usados ​​no final (de preferência apenas uma vez)

pesquisa em grade

pesquisa aleatória

Otimização bayesiana

Alocação dinâmica de recursos

A redução de peso é um método frequentemente usado para suprimir o overfitting. Este método penaliza grandes pesos durante o processo de aprendizagem.

Simplificando, a função de perda torna-se

λ é um hiperparâmetro que controla a força da regularização

Método de abandono

Se o modelo de rede se tornar muito complexo, será difícil lidar com ele usando apenas a redução de peso.

O método de exclusão aleatória de neurônios durante o processo de aprendizagem opta por descartar neurônios aleatoriamente a cada vez. A maneira mais simples é definir uma probabilidade fixa p. Para cada neurônio, existe uma probabilidade p para determinar se deve retê-lo.

aumento de dados

suavização de rótulo

O autotreinamento consiste primeiro em usar dados rotulados para treinar um modelo e usar esse modelo para prever os rótulos de amostras não rotuladas, adicionar amostras com confiança de predição relativamente alta e seus pseudo-rótulos previstos ao conjunto de treinamento e, em seguida, treinar novamente o novo modelo, e continue repetindo esse processo.

O co-treinamento é um método aprimorado de autotreinamento

Dois classificadores baseados em visões diferentes promovem-se mutuamente. Muitos dados têm perspectivas diferentes que são relativamente independentes.

Devido à independência condicional de diferentes perspectivas, modelos treinados em diferentes perspectivas equivalem à compreensão do problema sob diferentes perspectivas e possuem certa complementaridade. O treinamento colaborativo é um método que utiliza essa complementaridade para realizar o autotreinamento. Primeiro, treine dois modelos f1 e f2 com base em diferentes perspectivas no conjunto de treinamento, depois use f1 e f2 para prever o conjunto de dados não rotulado, selecione amostras com confiança de previsão relativamente alta para adicionar ao conjunto de treinamento e treine novamente duas perspectivas diferentes. modele e repita esse processo.

aprendizagem por transferência indutiva

Derivando a aprendizagem por transferência

Após a conclusão do treinamento, o modelo permanece fixo e não é mais atualizado iterativamente.

Ainda é muito difícil para um modelo ter sucesso em muitas tarefas diferentes ao mesmo tempo.

Meta-aprendizado baseado em otimizador

Meta-aprendizagem independente de modelo