Reti neurali

Questa è una mappa mentale sulle reti neurali. Contiene nuclei di convoluzione comuni, regolarizzazione, ottimizzazione, più neuroni collegati tra loro, funzioni di attivazione, ecc. Può essere raccolto se necessario.

Edited at 2021-09-27 10:44:02

WSZUS4lF

Reti neurali

WSZUS4lF

Recommended to you
Outline

Genera modello
- 14
WSCoUtCI
Convoluzione, denoising, estrazione dei bordi
- 10
WSCoUtCI
Tipi comuni e applicazioni dei modelli di rete neurale
- 13
WSZUS4lF
Reti neurali e reti neurali ricorrenti di deep learning
- 8
WSZUS4lF
Reti neurali e reti neurali convoluzionali di deep learning
- 13
WSZUS4lF
Le basi delle reti neurali e del deep learning
- 13
WSZUS4lF
Riconoscimento delle cifre scritte a mano basato sulla rete neurale convoluzionale sigmoidea migliorata
- 10
WSZUS4lF
Reti neurali convoluzionali a regolarizzazione dinamica
- 6
WSZUS4lF
Spiegazione dettagliata del processo operativo della rete neurale
- 10
WSZUS4lF
Rete neurale convoluzionale (CNN)
- 10
WSZUS4lF

Reti neurali

Neuroni multipli collegati tra loro

strato di ingresso

Strato nascosto

strato di uscita

S=XW B

W è il peso

B è pregiudizio

X è il vettore di input

funzione di attivazione

sigmoideo

σ(x)=1/(1 e^(-x) )

La caratteristica di saturazione fa scomparire il gradiente

tan

tanh(x)=2σ(x)-1

I valori reali sono compressi nell'intervallo aperto (-1, 1).

ReLU (unità lineare rettificata)

f(x)=massimo(0,x)

Quando l'input si trova in una regione inferiore a 0, il valore della funzione è sempre 0 e il gradiente è 0

ELU (unità lineare)

La parte lineare sul lato destro consente all'ELU di alleviare la scomparsa del gradiente, mentre la parte di saturazione morbida sul lato sinistro consente all'ELU di essere più resistente ai cambiamenti di input o al rumore.

La media di uscita di elu è vicina allo zero

funzione di perdita funzione di perdita

Maggiore è la differenza tra il vettore del punteggio e l'etichetta vera, maggiore è il valore della funzione di perdita e viceversa.

ottimizzazione

metodo della discesa del gradiente

Il metodo di Newton

Vantaggi: non è previsto alcun tasso di apprendimento

Svantaggio: calcolo della derivata seconda

Algoritmo migliorato: LBFGS

Regolarizzazione

regolarizzazione della norma

Comunemente utilizzata è la regolarizzazione L2

Interrompere anticipatamente la formazione

La regolarizzazione controlla l'overfitting ed è un buon modo per indebolire l'overfitting della rete.

L'altezza e la larghezza determinano la dimensione spaziale del neurone e la profondità determina la dimensione dell'estrazione delle caratteristiche dall'area di input (ogni neurone estrae una caratteristica)

Kernel di convoluzione comuni

Nucleo di convoluzione della sfocatura dell'immagine: [1 1 1;

Nucleo di convoluzione per la nitidezza dell'immagine: [-1 -1 -1;

Kernel di convoluzione per il rilevamento dei bordi

Sobel:[-1 -2 -1; 0 0 0; 1 2 1] e la sua trasposizione

Prewitt:[-1 -1 -1; 0 0 0; 1 1 1] e la sua trasposizione

Laplace:[1 1 1;