Wondershare EdrawMind
Галерея диаграмм связей Обзор алгоритмов сегментации изображений
- 2
Обзор алгоритмов сегментации изображений
Обзор алгоритмов сегментации изображений, включая традиционные методы сегментации изображений, сравнение и обобщение анализа производительности, методы сегментации на основе глубокого обучения, сетевые модели сегментации и т. д.
Отредактировано в 2022-04-10 10:44:06
- moléculas que compõem as células
A segunda unidade do Curso Obrigatório de Biologia resumiu e organizou os pontos de conhecimento, abrangendo todos os conteúdos básicos, o que é muito conveniente para todos aprenderem. Adequado para revisão e visualização de exames para melhorar a eficiência do aprendizado. Apresse-se e colete-o para aprender juntos!
- Cambridge IGCS Chemistry Coursebook 2023 Capítulo 16 Resumo dos pontos de conhecimento
Este é um mapa mental sobre Extração e corrosão de mim. O conteúdo principal inclui: Corrosão de metais, Extração de metais e a série de reatividade.
- Cambridge IGCS Chemistry Coursebook 2023 Capítulo 15 Resumo dos pontos de conhecimento
Este é um mapa mental sobre Reatividade de metais. O conteúdo principal inclui: Reações de deslocamento de metais, A série de reatividade de metais.
Обзор алгоритмов сегментации изображений
- moléculas que compõem as células
A segunda unidade do Curso Obrigatório de Biologia resumiu e organizou os pontos de conhecimento, abrangendo todos os conteúdos básicos, o que é muito conveniente para todos aprenderem. Adequado para revisão e visualização de exames para melhorar a eficiência do aprendizado. Apresse-se e colete-o para aprender juntos!
- Cambridge IGCS Chemistry Coursebook 2023 Capítulo 16 Resumo dos pontos de conhecimento
Este é um mapa mental sobre Extração e corrosão de mim. O conteúdo principal inclui: Corrosão de metais, Extração de metais e a série de reatividade.
- Cambridge IGCS Chemistry Coursebook 2023 Capítulo 15 Resumo dos pontos de conhecimento
Este é um mapa mental sobre Reatividade de metais. O conteúdo principal inclui: Reações de deslocamento de metais, A série de reatividade de metais.
- Рекомендовано вам
- Структура
Обзор методов сегментации изображений
введение
Сегментация изображения: разделите изображение на непересекающиеся и значимые подобласти.
Пиксели в одной области: корреляция
Пиксели в разных областях: различия
Традиционные методы сегментации изображений
использовать:
Этапы предварительной обработки изображения
Получите ключевую информацию об изображении.
Повышение эффективности анализа изображений
Классификация
На основе порогов: метод сегментации изображений в оттенках серого
Суть: Установите разные пороги оттенков серого и классифицируйте гистограмму оттенков серого изображения (один и тот же диапазон оттенков серого принадлежит к одной категории и имеет определенное сходство)
процесс:
f(i,j): представляет значение серого (i,j)
T: Порог оттенков серого
Путем сравнения значения серого пикселя изображения с порогом оно делится на две части: целевую и фоновую. Выходное изображение g(i,j) изменяется со значением 0 или 1.
1 (цель): f(i,j)>=T
0 (фон): f(i,j)<T
Чем больше порог T, тем больше пикселей делится на цели.
Классификация:
Метод сегментации глобального порога на основе точек
Метод глобальной пороговой сегментации на основе региона
Метод локальной пороговой сегментации
... ...
Проанализировано:
Применимые ситуации:
Целевой уровень серого распределен равномерно и мало меняется.
Разница в оттенках серого между целью и фоном очевидна.
преимущество:
Просто и легко реализовать
эффективный
недостаточный:
Учитывается только значение серого самого пикселя, а такая информация о функциях, как семантика изображения и пространство, не учитывается.
восприимчив к шуму
Не идеален для сложных изображений.
Практическое применение:
Метод предварительной обработки
Используйте в сочетании с другими методами сегментации.
на основе края
Теоретическая основа: значение серого граничного пикселя сильно отличается от значения серого соседнего пикселя.
Процесс: Соедините точки (краевые точки) с большими различиями в значении серого от соседних пикселей, чтобы сформировать контур границы.
Классификация:
Метод последовательного обнаружения края: сначала определите начальную точку края, начните с начальной точки, найдите и соедините соседние точки края с помощью критерия подобия.
Метод параллельного обнаружения краев: использование пространственных дифференциальных операторов для свертки шаблонов с изображениями.
Робертс
Собель
Прюитт
Бревно
Канни
... ...
Резюме: В практических приложениях метод обнаружения параллельных краев прост и быстр, имеет относительно хорошую производительность и является наиболее часто используемым методом.
В зависимости от региона
Принцип алгоритма: сегментация в соответствии с пространственной информацией изображения, классификация пикселей и формирование областей на основе признаков сходства пикселей.
Классификация
метод выращивания региона
Принцип: Собирайте пиксели со схожими свойствами, чтобы сформировать независимую область.
процесс:
1. Выберите группу исходных точек в качестве отправной точки для роста (либо один пиксель, либо небольшую область).
2. По критерию роста объединить исходную точку и близлежащие пиксели со схожими характеристиками в область, где находится исходная точка.
3. Используйте новые пиксели в качестве исходных точек и повторяйте итерации до тех пор, пока все области не будут обнаружены и не перестанут расти.
Жизненноважный
исходная точка
Метод выбора
искусственный отбор
Алгоритм автоматически выбирает
Критерии роста (информация о характеристиках изображения)
цвет
текстура
космос
... ...
Проанализировано
Преимущества: простой расчет
недостаточный:
1. Чувствителен к шуму
2. Легко приводит к появлению региональных вакансий
метод разделения-слияния
Суть алгоритма: непрерывное разбиение и слияние для получения каждой подобласти изображения.
процесс:
1. Разделите изображение на правильные области
2. По критерию сходства области с разными характеристиками разделяются, а соседние области с одинаковыми характеристиками объединяются до тех пор, пока не не произойдет разделения или слияния.
Ключевые моменты/трудности
начальный раздел
Критерий сходства разделения-слияния
Проанализировано
Преимущества: лучший эффект сегментации на сложных изображениях.
недостаточный:
1. Сложный расчет
2. Границы могут быть нарушены при разделении
На основе кластеризации
Принцип алгоритма: собрать пиксели со схожими характеристиками в одну и ту же область, многократно повторять результаты кластеризации до сходимости и, наконец, собрать все пиксели в несколько разных категорий, чтобы завершить разделение области изображения == сегментацию изображения.
Пример анализа типовых алгоритмов
Простая линейная итеративная кластеризация SLIC (сегментация суперпикселей) ==>Сегментация изображения превращается в проблему кластеризации пикселей
Идея алгоритма: На основе кластеризации пиксели изображения разбиваются на суперпиксельные блоки.
Шаги алгоритма:
1. Преобразование цветового изображения RGB в лабораторное изображение. (Лабораторное пространство сохраняет более широкую цветовую область и обеспечивает более насыщенные цветовые характеристики)
Л: яркость
a: диапазон от пурпурного до зеленого
б: диапазон от желтого до синего
2. Объедините цветовые характеристики (L, a, b) и координаты (x, y) каждого пикселя в вектор (L, a, b, x, y) для измерения расстояния.
Цветовое расстояние между пикселями i и j
Пространственное расстояние между пикселями i и j
Окончательное расстояние измеряется
Максимальное цветовое расстояние: возьмите целое число [1,40]
Максимальное пространственное расстояние внутри класса
Размер блока суперпикселя — расстояние между соседними исходными точками.
Общее количество пикселей в изображении
Сумма предварительно сегментированных блоков суперпикселей
преимущество
Стабильная производительность
Хорошая надежность
Применимо: сегментация изображений, оценка позы, отслеживание и распознавание целей и т. д.
На основе теории графов
Идея алгоритма: преобразовать задачу сегментации в разбиение графа и завершить сегментацию путем оптимизации решения целевой функции.
Примеры классических алгоритмов
Вырез графика
Идея алгоритма: задача минимального разреза применяется к задаче сегментации изображения, чтобы разделить изображение на передний и задний план.
Введение алгоритма:
1. Преобразование изображения в диаграмму S-T.
Неориентированный граф G=(V,E) с весами
V: набор вершин == вершина, соответствующая точке пикселя исходного изображения.
E: Набор ребер == Вес края — это сходство между пикселями.
Каждый узел соединен с конечными вершинами S и T, образуя пунктирный край.
Вес пунктирного края вершины, соединенной с S, — это вероятность того, что эта точка является целью на переднем плане.
Вес края пунктирной линии вершины, соединенной с T, представляет собой вероятность того, что эта точка является фоном.
Один вид ребра: ребро, образованное соединением друг с другом обычных узлов, представляющих пиксельные точки. Другой вид ребра: ребро между конечной вершиной и соединяющим ее узлом;
2. Решить задачу минимизации функции потерь энергии.
Cut: все ребра в наборе ребер отключены - разделение графа ST
min Cut: Сумма всех значений соответствующих ребер в разрезе является наименьшей
3. Найдите минимальное сокращение и непрерывно повторяйте итерации
Оценка, найдите минимальное значение функции потерь энергии
Преимущества: он использует информацию о оттенках серого изображения, а также информацию о региональных границах. Благодаря самому правому решению достигается лучший эффект сегментации.
недостаточный
Большой объем расчета
Предпочитаю сегментировать изображения с одинаковым внутриклассовым сходством.
Захватить разрез
Один разрез
... ...
основанный на конкретной теории
математическая теория морфологии
Преодолейте влияние шума и получите четкие изображения по краям
генетический алгоритм
Смоделируйте естественное выживание сильнейших, чтобы получить оптимальное решение и добиться оптимальной сегментации.
Вейвлет-преобразование
активная контурная модель
нечеткая теория
грубая теория множеств
... ...
Метод сегментации, основанный на сетевой модели глубокого обучения и сегментации.
Сеть полной свертки FCN (full convolution network) — семантическая сегментация изображения
Идея алгоритма:
После 8 уровней обработки свертки карта объектов подвергается повышающей дискретизации для реализации операции деконволюции, классифицируется через слой SoftMax, и, наконец, выводится результат сегментации — несколько операций свертки. Размер карты объектов намного меньше, чем исходное входное изображение. , и многие основные функции теряются. Информация об изображении, классифицированная напрямую, влияет на точность сегментации.
Процесс повышения дискретизации использует стратегию пропуска.
алгоритм процесса
Объедините глубокие данные с мелкой информацией, а затем восстановите выходные данные исходного изображения, чтобы получить более точные результаты сегментации.
В соответствии с различными слоями объединения он делится на
Результаты сегментации модели FCN-32s
Карты объектов на разных уровнях
Свертка: 7 раз
Результаты сегментации модели FCN-16
Объединение в пул: 4 раза — слой Pool4
Метод билинейной интерполяции — Conv7
Классификация с повышением дискретизации после слияния
Результаты сегментации модели FCN-8s
Объединение в пул: 3 раза — слой Pool3
Метод билинейной интерполяции — слой Conv7, слой Pool4
Классификация с повышением дискретизации после слияния
FCN-8: интеграция большего количества слоев объектной информации, сегментация для получения более четкой информации о контурах, эффект сегментации относительно хороший.
Оценка алгоритма
Он может классифицировать изображения на уровне пикселей и эффективно решать проблему семантической сегментации изображений.
Можно вводить изображения любого размера.
Первая модель сети сквозной сегментации
недостаточный
Сеть относительно большая – недостаточно чувствительна к подробной информации об изображении.
Корреляция между пикселями низкая — граница цели размыта
Сеть анализа пирамидальных сцен PSPNet (сеть синтаксического анализа пирамидальных сцен) — семантическая сегментация изображений
Алгоритмическое мышление
Интегрируйте контекстную информацию, в полной мере используйте предварительные знания о глобальных функциях, анализируйте различные сцены и достигайте семантической сегментации целей сцены.
алгоритм процесса
1. Учитывая входное изображение
2.CNN: Получите карту объектов сверточного слоя.
3. Модуль объединения пирамид: собирайте характеристики различных подинтервалов.
4. Повышение частоты дискретизации
5. Объедините и объедините особенности каждого субрегиона.
6. Сформируйте представления объектов, содержащие локальную и глобальную контекстную информацию.
7. Классификация представлений объектов с помощью свертки и SoftMax.
8. Результаты прогнозирования для каждого пикселя
Оценка алгоритма
Для задач анализа сцены и семантической сегментации — возможность извлекать соответствующие глобальные функции.
Используйте модуль объединения пирамид, чтобы объединить локальную и глобальную информацию.
Предложить стратегию оптимизации для умеренных потерь контроля.
Недостатки: обработка перекрытия между целями не идеальна.
Модели серии DeepLab — модель глубокой нейронной сети, семантическая сегментация изображений
Суть алгоритма: использование atrous convolution (метод подсоединения ядра свертки)
Явно управляйте разрешением ответа при вычислении характеристических ответов.
Расширьте рецептивное поле ядра свертки
Интегрируйте больше информации о функциях без увеличения количества параметров и вычислений.
путь развития
Самая ранняя модель DeepLab
Описание алгоритма
входное изображение
Обработано глубокой сверточной нейронной сетью (DCNN) со сложными сверточными слоями — грубая карта оценки
билинейная интерполяция
Введение полносвязных условных случайных полей (CRF)
выходное изображение
Оценка алгоритма
Полностью учитывайте глобальную информацию для более точной классификации целевых краевых пикселей.
Устраните шумовые помехи и улучшите точность сегментации.
Модель DeepLab-v2
Расширьте atrous как модуль пористой пространственной пирамиды (ASPP).
Каскадный многомасштабный слой свертки и объединение карт объектов;
Сохраняйте полностью подключенный CRF при постобработке.
Модель DeepLab-v3
Пул свертки: размер изображения уменьшен в 4 раза
3 Блок-модуль свертки: изображение уменьшено в 8 раз
Функция линейного исправления (ReLU): изображение уменьшено в 16 раз
Объединение: изображение уменьшено в 16 раз
Обработка блока 4
Модуль АСПП: Сращивание различных пористых витков (число домкратов=6, 12, 18)
Интеграция слоя свертки 1*1 и слоя глобального пула: карта объектов уменьшена в 16 раз
Прогноз классификации: карта сегментации
Структура кодирования и декодирования модели DeepLad-v3
Описание алгоритма
Кодирующая часть: модель DeepLab-v3
Ввод декодирующей части
Неглубокая карта объектов в DCNN
Объединенная карта объектов ASPP после свертки
модуль декодирования
Свертка: входная карта неглубоких объектов
Fusion: карта объектов ASPP с повышенной дискретизацией
Выходные данные: свернутая карта сегментации с повышенной дискретизацией в исходном размере.
Оценка алгоритма
Четко различайте цели на переднем плане и на заднем плане
Края цели четко определены
Эта модель обеспечивает мелкозернистую сегментацию
Маска R-CNN — сегментация экземпляра изображения
Происхождение: на основе Faster R-CNN.
Описание алгоритма
Структура алгоритма
Первый этап:
Сети предложений регионов (RPN) - Предложите структуру целевых границ кандидата
Содержимое (RoI) в ограничительной рамке обрабатывается RoIAlign — RoI делится на m*m субрегионы.
вторая стадия:
Параллельно с задачами регрессии класса прогнозирования и ограничивающей рамки — добавьте ветвь для вывода двоичной маски для каждой области интереса. То есть каждая область интереса сегментируется с помощью FCN, а маска сегментации прогнозируется попиксельно.
Этап обучения: использование ограничения потерь при многозадачности L
L = потеря целевой классификации, потеря задачи обнаружения, потеря сегментации экземпляра.
Оценка алгоритма
На основе семантической сегментации реализуется экземплярная сегментация – точное обнаружение и позиционирование целей переднего плана, различение разных особей схожих целей.
Семантическая сегментация: определение содержания и местоположения на изображении.
Сегментация экземпляров: выделение разных людей из одной категории на основе семантической сегментации.
Более высокая точность сегментации
Модели более гибкие.
Может использоваться для различных задач компьютерного зрения.
Целевая классификация
Обнаружение цели
Разделение экземпляра
Распознавание позы человека
... ...
Сравнение и сводка анализа производительности
Анализ производительности
Набор данных сегментации глубокого обучения:
ПАСКАЛЬ ЛОС
MicrosoftCOCO
Городские пейзажи
Качественный анализ
Количественный анализ
Семантическая сегментация: средний коэффициент пересечения и объединения mIoU представляет собой соотношение пересечения и объединения двух наборов. В семантической сегментации он относится к набору истинных значений и прогнозируемых значений.
Сегментация экземпляров: точность пикселей PA, которая представляет собой долю правильно классифицированных пикселей от общего числа пикселей.
Подведем итог
статус-кво:
Сегментация изображений все чаще используется в задачах компьютерного зрения.
Точность и скорость были значительно улучшены.
проблема:
Отсутствие наборов данных сегментации и тяжелая работа по аннотациям.
Целевая сегментация небольшого размера недостаточно точна.
Алгоритм сегментации сложен в вычислительном отношении.
Невозможно обеспечить интерактивную сегментацию в реальном времени, что препятствует внедрению, применению и продвижению технологии сегментации.