Essência: Defina diferentes limites de escala de cinza e classifique o histograma de escala de cinza da imagem (a mesma faixa de escala de cinza pertence à mesma categoria e tem uma certa semelhança)

processo:

Classificação:

Analisado:

Base teórica: O valor de cinza do pixel limite é muito diferente do valor de cinza do pixel adjacente.

Processo: Conecte pontos (pontos de borda) com grandes diferenças no valor de cinza dos pixels adjacentes para formar um contorno de limite

Classificação:

Resumo: Em aplicações práticas, o método de detecção paralela de bordas é simples e rápido, tem desempenho relativamente bom e é o método mais comumente usado.

Princípio do algoritmo: segmentar de acordo com as informações espaciais da imagem, classificar pixels e formar regiões através dos recursos de similaridade dos pixels

Classificação

Princípio do algoritmo: reúna pixels com características semelhantes na mesma área, itere os resultados do agrupamento repetidamente até a convergência e, finalmente, reúna todos os pixels em várias categorias diferentes para completar a divisão da área da imagem == segmentação da imagem

Análise de exemplo de algoritmos típicos

Ideia de algoritmo: converter o problema de segmentação em particionamento de gráfico e completar a segmentação otimizando a solução da função objetivo

Exemplos de algoritmos clássicos

teoria da morfologia matemática

algoritmo genético

Transformada wavelet

modelo de contorno ativo

teoria difusa

teoria aproximada dos conjuntos

... ...

Após 8 camadas de processamento de convolução, o mapa de recursos é ampliado para implementar uma operação de deconvolução, classificado por meio da camada SoftMax e, finalmente, o resultado da segmentação é gerado - múltiplas operações de convolução. O tamanho do mapa de recursos é muito menor do que a imagem de entrada original. , e muitos recursos subjacentes são perdidos. As informações da imagem, classificadas diretamente, afetam a precisão da segmentação.

O processo de upsampling adota a estratégia Skip

Combine dados profundos com informações superficiais e, em seguida, restaure a saída da imagem original para obter resultados de segmentação mais precisos.

De acordo com diferentes camadas de pooling, é dividido em

FCN-8s: Integra mais camadas de informações de recursos, segmenta para obter informações de contorno mais claras e o efeito de segmentação é relativamente bom.

Ele pode classificar imagens em nível de pixel e resolver efetivamente o problema de segmentação semântica de imagens.

Imagens de qualquer tamanho podem ser inseridas

O primeiro modelo de rede de segmentação ponta a ponta

insuficiente

Integre informações contextuais, aproveite ao máximo o conhecimento prévio dos recursos globais, analise diferentes cenas e obtenha segmentação semântica dos alvos da cena.

1. Dada uma imagem de entrada

2.CNN: Obtenha o mapa de características da camada convolucional

3. Módulo de agrupamento em pirâmide: colete recursos de diferentes subintervalos

4. Aumento da resolução

5. Concatenar e fundir as características de cada sub-região

6. Forme representações de recursos contendo informações de contexto local e global

7. Classificação de convolução e SoftMax de representações de recursos

8. Resultados de previsão para cada pixel

Para tarefas de análise de cena e segmentação semântica - capaz de extrair recursos globais apropriados

Use o módulo de agrupamento em pirâmide para fundir informações locais e globais

Propor uma estratégia de otimização para perda moderada de supervisão

Desvantagens: O tratamento da oclusão entre alvos não é ideal.

Controlar explicitamente a resolução da resposta ao calcular respostas características

Expanda o campo receptivo do kernel de convolução

Integre mais informações de recursos sem aumentar a quantidade de parâmetros e cálculos

O primeiro modelo DeepLab

Modelo DeepLab-v2

Modelo DeepLab-v3

Estrutura de codificação e decodificação do modelo DeepLad-v3

Estrutura de algoritmo

Fase de treinamento: usando restrição de perda multitarefa L

Com base na segmentação semântica, a segmentação de instâncias é realizada - detecção e posicionamento precisos de alvos em primeiro plano, distinguindo diferentes indivíduos de alvos semelhantes.

Maior precisão de segmentação

Os modelos são mais flexíveis

Pode ser usado para uma variedade de tarefas de visão computacional

PASCAL VOC

MicrosoftCOCO

Paisagens urbanas

Segmentação semântica: A razão média de interseção e união mIoU representa a razão entre a interseção e a união de dois conjuntos. Na segmentação semântica, refere-se ao conjunto de valores verdadeiros e valores previstos.

Segmentação de instância: Precisão de pixel PA, que representa a proporção de pixels classificados corretamente em relação ao total de pixels

A segmentação de imagens é cada vez mais utilizada em tarefas de visão computacional

A precisão e a velocidade foram significativamente melhoradas

Falta de conjuntos de dados de segmentação e trabalho pesado de anotação

A segmentação de alvos de pequeno porte não é precisa o suficiente

O algoritmo de segmentação é computacionalmente complexo

Incapaz de alcançar a segmentação interativa em tempo real, dificultando a implementação, aplicação e promoção da tecnologia de segmentação