sinal de estímulo

sináptico/ponderado

valor de ativação

função descontínua

função continuamente diferenciável

Função ReLU

Resumo

A soma ponderada linear produz valores de ativação A função de ativação não linear produz saída

Função de ativação simbólica de combinação linear

A inseparabilidade linear não converge

Solução linearmente inseparável

Como bloco de construção básico, os neurônios são conectados em uma rede multicamadas por meio de estruturas paralelas e em cascata.

Conexão paralela

Modo cascata

camada de entrada

Camada oculta

camada de saída

digitar

A saída do j-ésimo neurônio na m-ésima camada

saída

Observação

problema de regressão

Duas categorias

Múltiplas categorias

A diferença da regressão da função básica

Exemplo

Mapeamento do espaço euclidiano D-dimensional para o espaço euclidiano K-dimensional

O vetor de recursos de entrada x é um vetor D-dimensional

A saída y é um vetor K-dimensional

Um MLP que precisa apenas de uma camada de unidades ocultas pode aproximar uma função contínua definida em um intervalo finito com precisão arbitrária.

erro soma dos quadrados

entropia cruzada

entropia cruzada

Funções não convexas altamente não lineares

A solução para minimizar a função de perda satisfaz

Dimensões

Simetria do espaço do coeficiente de peso

algoritmo de gradiente completo

algoritmo de gradiente estocástico

algoritmo de gradiente estocástico de minilote

O algoritmo Backpropagation BP calcula gradientes ou derivadas

A derivada da função de perda para a ativação da saída é o erro da saída da regressão para o rótulo

A derivada do coeficiente de peso de ativação é o vetor de entrada

Gradiente da função de perda ou derivada do coeficiente de peso

Não há erro na camada oculta e o impacto do erro precisa ser propagado da camada de saída para a direção de entrada.

valor inicial

Camada oculta

camada de saída

Erro na camada de saída

componente gradiente

Decomposição da cadeia de gradiente de camada oculta

Derivação de Fórmula

Pensamento algorítmico

processo de algoritmo (Iteração de uma etapa do coeficiente de peso)

Coeficiente de peso aumentado para ativação do j-ésimo neurônio na camada l

A matriz do coeficiente de peso da l-ésima camada

soma ponderada e ativação

Vetor de erro de propagação da camada de saída

retropropagação de erro

O gradiente da matriz vetorial de peso da l-ésima camada

O gradiente do vetor de polarização da l-ésima camada

O gradiente do coeficiente de peso de um neurônio na camada l

Decomposição da matriz Jacobiana

Equação de retropropagação de erro

problema de regressão

Problema de duas classificações

Problema de multiclassificação

Os números de entrada e saída são m e n, respectivamente.

Inicialização Xavier

Inicialização do coeficiente de peso quando a função de ativação é a função ReLU

Normalização de unidade, representada em um espaço unificado

Girar e transladar uma amostra no conjunto de amostras em vários pequenos ângulos diferentes para formar uma nova amostra

Adicione ruído aleatório de baixa potência às amostras de entrada para treinamento adversário

Detecte o ponto de inflexão do erro de verificação Pare a iteração quando o erro de verificação começar a aumentar para evitar ajuste excessivo.