Rispetto alla rete FC completamente connessa, la CNN è una connessione locale, cioè l'uscita di un neurone nello strato precedente è collegata solo all'ingresso di diversi neuroni adiacenti nello strato successivo e all'ingresso di un neurone nello strato successivo strato riceve solo l'input dello strato precedente L'output di diversi neuroni vicini

Campo ricettivo (campo visivo)

Nucleo di convoluzione

Una traslazione del segnale di ingresso ha la stessa traslazione del segnale di uscita

Le proprietà dell'operazione di convoluzione stessa, le proprietà di base dei sistemi lineari tempo-invarianti

Progettando adeguatamente l'unità di pooling e selezionando la funzione di attivazione, la CNN può mantenere approssimativamente l'invarianza di traslazione.

Esempio

NK-1

NK 1

filtro passa basso

filtro passa alto

filtro passa-banda

Per un segnale complesso che contiene varie componenti di frequenza, diversi filtri implementati da diversi nuclei di convoluzione possono ottenere componenti di diverse scale variabili nel segnale.

L'errore tra l'output dello strato di output della rete e la risposta prevista viene utilizzato per addestrare la rete dello strato di output

L'algoritmo BP propaga all'indietro l'errore del livello di output a ciascuno strato precedente e addestra a turno i nuclei di convoluzione di ogni strato utilizzando l'errore di propagazione all'indietro.

z=massimo{0,a}

Operazione di convoluzione tra input e operazione di attivazione del kernel di convoluzione

Pochi parametri condivisi

Dividere e conquistare caratteristiche di input di diversa natura

L'operazione di convoluzione bidimensionale equivale a far scorrere hij nell'array di dati Xij. Quando è necessario calcolare amn, h00 scorre per allinearsi con Xmn, quindi viene calcolato e aggiunto il termine del prodotto Xm in j hij.

La dimensione effettiva dell'output della convoluzione è (D1-K1 1)×(D2-K2 1)

La matrice generata da ciascun kernel di convoluzione h attraverso l'operazione di convoluzione

accedere

Nucleo di convoluzione

produzione

Pooling che accetta il valore massimo della finestra, ovvero seleziona il valore massimo all'interno di una piccola finestra come risultato del pooling

Media all'interno della finestra come risultato del pooling

Valore del punto fisso all'interno della finestra come risultato del pooling

misurare

passo di pooling

Aggiungi (K-1)/2 zeri a entrambe le estremità dell'input

Aggiungi K/2 zeri su un lato e (K/2)-1 zeri sull'altro lato.

Fase dell'operazione di convoluzione

Livello di rilevamento (funzione ReLU)

Raggruppamento (facoltativo)

Volume dei dati 3D

nucleo di convoluzione tensoriale

piano di convoluzione

Estrai diverse caratteristiche della dimensione del canale

Nucleo di convoluzione 1×1

Calcolo della convoluzione dello strato di convoluzione

Uscita di attivazione del calcolo del livello FC completamente connesso

Il livello di pooling esegue il pooling

Lo strato FC viene calcolato secondo l'algoritmo standard di backpropagation BP.

Algoritmo di backpropagation del livello convoluzionale e del livello di pooling

La funzione di attivazione ReLU si allena 6 volte più velocemente della funzione di attivazione tanh

Utilizza livelli più profondi, kernel di convoluzione più piccoli e più livelli di convoluzione corrispondenti a un livello di pooling.

Ottieni migliori risultati di allenamento aumentando la profondità della CNN

Un aumento diretto del numero di strati porterà effetti negativi

4 rami paralleli

Genera output ramificando e unendo moduli

Ogni ramo contiene una convoluzione 1×1

Lo scopo è dividere e conquistare per ridurre i parametri e la complessità computazionale

problema del degrado della rete

Caratteristiche residue della rete

elemento costitutivo residuo

struttura della griglia residua

Caratteristiche della rete densa

fitta struttura reticolare