Comparada com a rede FC totalmente conectada, a CNN é uma conexão local, ou seja, a saída de um neurônio na camada anterior está conectada apenas à entrada de vários neurônios adjacentes na próxima camada, e a entrada de um neurônio na próxima camada camada recebe apenas a entrada da camada anterior A saída de vários neurônios vizinhos.

Campo receptivo (campo de visão)

Kernel de convolução

Uma tradução do sinal de entrada tem a mesma tradução do sinal de saída

As propriedades da própria operação de convolução, as propriedades básicas dos sistemas lineares invariantes no tempo

Ao projetar adequadamente a unidade de pooling e selecionar a função de ativação, a CNN pode manter aproximadamente a invariância da tradução.

Exemplo

N-K-1

N-K 1

filtro passa-baixo

filtro passa-alta

filtro passa-banda

Para um sinal complexo que contém vários componentes de frequência, diferentes filtros implementados por diferentes núcleos de convolução podem obter componentes de diferentes escalas variáveis ​​no sinal.

O erro entre a saída da camada de saída da rede e a resposta esperada é usado para treinar a rede da camada de saída

O algoritmo BP propaga retroativamente o erro da camada de saída para cada camada anterior e treina os núcleos de convolução de cada camada usando o erro de retropropagação.

z=máx{0,a}

Operação de convolução entre entrada e kernel de convolução Operação da função de ativação

Poucos parâmetros compartilhados

Divida e conquiste recursos de entrada de diferentes naturezas

A operação de convolução bidimensional é equivalente a deslizar hij na matriz de dados Xij. Quando amn precisa ser calculado, h00 desliza para se alinhar com Xmn e então o termo de produto Xm em j hij é calculado e adicionado.

O tamanho efetivo da saída de convolução é (D1-K1 1)×(D2-K2 1)

A matriz gerada por cada kernel de convolução h por meio da operação de convolução

digitar

Kernel de convolução

saída

Pooling que utiliza o valor máximo da janela, ou seja, seleciona o valor máximo dentro de uma pequena janela como resultado do pooling

Média dentro da janela como resultado do pool

Valor de ponto fixo dentro da janela como resultado do pool

tamanho

juntando passos

Adicione (K-1)/2 zeros a ambas as extremidades da entrada

Adicione K/2 zeros a um lado e (K/2)-1 zeros ao outro lado.

Estágio de operação de convolução

Nível de detecção (função ReLU)

Agrupamento (opcional)

Volume de dados 3D

kernel de convolução tensorial

plano de convolução

Extraia diferentes características da dimensão do canal

Kernel de convolução 1×1

Cálculo de convolução da camada de convolução

Saída de ativação de cálculo totalmente conectada da camada FC

A camada de pooling executa o pooling

A camada FC é calculada de acordo com o algoritmo padrão de retropropagação BP.

Algoritmo de retropropagação de camada convolucional e camada de pooling

A função de ativação ReLU treina 6 vezes mais rápido que a função de ativação tanh

Use camadas mais profundas, núcleos de convolução menores e múltiplas camadas de convolução correspondentes a uma camada de pooling.

Obtenha melhores resultados de treinamento aumentando a profundidade da CNN

Um aumento direto no número de camadas trará efeitos negativos

4 ramos paralelos

Gere saída ramificando e mesclando módulos

Cada ramo contém uma convolução 1×1

O objetivo é dividir e conquistar para reduzir parâmetros e complexidade computacional

problema de degradação da rede

Características residuais da rede

bloco de construção residual

estrutura de grade residual

Características de rede densa

estrutura de rede densa