Essenza: imposta soglie diverse in scala di grigi e classifica l'istogramma in scala di grigi dell'immagine (lo stesso intervallo di scala di grigi appartiene alla stessa categoria e presenta una certa somiglianza)

processi:

Classificazione:

Analizzato:

Base teorica: il valore di grigio del pixel di confine è molto diverso dal valore di grigio del pixel adiacente.

Processo: collega i punti (punti del bordo) con grandi differenze nel valore di grigio rispetto ai pixel adiacenti per formare un contorno di confine

Classificazione:

Riepilogo: nelle applicazioni pratiche, il metodo di rilevamento dei bordi paralleli è semplice e veloce, ha prestazioni relativamente buone ed è il metodo più comunemente utilizzato.

Principio dell'algoritmo: segmentare in base alle informazioni spaziali dell'immagine, classificare i pixel e formare regioni attraverso le caratteristiche di somiglianza dei pixel

Classificazione

Principio dell'algoritmo: raccogliere pixel con caratteristiche simili nella stessa area, ripetere ripetutamente i risultati del clustering fino alla convergenza e infine raccogliere tutti i pixel in diverse categorie per completare la divisione dell'area dell'immagine == segmentazione dell'immagine

Esempio di analisi di algoritmi tipici

Idea di algoritmo: convertire il problema della segmentazione in partizionamento del grafico e completare la segmentazione ottimizzando la soluzione della funzione obiettivo

Esempi di algoritmi classici

teoria matematica della morfologia

algoritmo genetico

Trasformata wavelet

modello di contorno attivo

teoria confusa

teoria approssimativa degli insiemi

... ...

Dopo 8 livelli di elaborazione di convoluzione, la mappa delle caratteristiche viene sovracampionata per implementare un'operazione di deconvoluzione, classificata tramite il livello SoftMax e infine viene prodotto il risultato della segmentazione: operazioni di convoluzione multiple. La dimensione della mappa delle caratteristiche è molto più piccola dell'immagine di input originale e molte caratteristiche sottostanti vengono perse. Le informazioni sull'immagine, classificate direttamente, influiscono sulla precisione della segmentazione

Il processo di sovracampionamento adotta la strategia Skip

Combina dati profondi con informazioni superficiali, quindi ripristina l'output dell'immagine originale per ottenere risultati di segmentazione più accurati.

In base ai diversi livelli di pooling, è suddiviso in

FCN-8: integra più livelli di informazioni sulle caratteristiche, segmenta per ottenere informazioni sui contorni più chiare e l'effetto di segmentazione è relativamente buono.

Può classificare le immagini a livello di pixel e risolvere efficacemente il problema della segmentazione semantica delle immagini.

È possibile inserire immagini di qualsiasi dimensione

Il primo modello di rete di segmentazione end-to-end

insufficiente

Integra le informazioni contestuali, sfrutta appieno la conoscenza precedente delle caratteristiche globali, analizza scene diverse e ottieni la segmentazione semantica degli obiettivi della scena.

1. Data un'immagine di input

2.CNN: ottenere la mappa delle caratteristiche del livello convoluzionale

3. Modulo di pooling piramidale: raccoglie caratteristiche di diversi sottointervalli

4. Sovracampionamento

5. Concatenare e fondere le caratteristiche di ciascuna sottoregione

6. Rappresentazioni di caratteristiche del modulo contenenti informazioni sul contesto locale e globale

7. Convoluzione e classificazione SoftMax delle rappresentazioni di caratteristiche

8. Risultati della previsione per ciascun pixel

Per attività di analisi della scena e segmentazione semantica: in grado di estrarre caratteristiche globali appropriate

Utilizza il modulo di pooling piramidale per fondere insieme informazioni locali e globali

Proporre una strategia di ottimizzazione per una moderata perdita di supervisione

Svantaggi: la gestione dell'occlusione tra i target non è l'ideale.

Controllare esplicitamente la risoluzione della risposta durante il calcolo delle risposte caratteristiche

Espandi il campo recettivo del kernel di convoluzione

Integra più informazioni sulle funzionalità senza aumentare la quantità di parametri e calcoli

Il primo modello DeepLab

Modello DeepLab-v2

Modello DeepLab-v3

Struttura di codifica e decodifica del modello DeepLad-v3

Struttura dell'algoritmo

Fase di formazione: utilizzo del vincolo di perdita multi-task L

Sulla base della segmentazione semantica, viene realizzata la segmentazione delle istanze: rilevamento e posizionamento accurati dei bersagli in primo piano, distinguendo individui diversi con bersagli simili.

Maggiore precisione di segmentazione

I modelli sono più flessibili

Può essere utilizzato per una varietà di attività di visione artificiale

PASCAL VOC

MicrosoftCOCO

Paesaggi urbani

Segmentazione semantica: il rapporto medio di intersezione e unione mIoU rappresenta il rapporto tra l'intersezione e l'unione di due insiemi, si riferisce all'insieme di valori veri e valori previsti.

Segmentazione dell'istanza: Precisione dei pixel PA, che rappresenta la proporzione di pixel correttamente classificati rispetto al totale dei pixel

La segmentazione delle immagini è sempre più utilizzata nelle attività di visione artificiale

La precisione e la velocità sono state notevolmente migliorate

Mancanza di set di dati di segmentazione e pesante lavoro di annotazione

La segmentazione del target di piccole dimensioni non è sufficientemente accurata

L'algoritmo di segmentazione è computazionalmente complesso

Impossibile ottenere una segmentazione interattiva in tempo reale, ostacolando l'implementazione, l'applicazione e la promozione della tecnologia di segmentazione