心智圖資源庫 影像分割演算法
影像分割方法綜述心智圖,內容包括傳統影像分割方法、效能分析比較與總結、分割網路模型等等,有興趣的可以看下。
編輯於2023-03-06 12:25:07이것은 (III) 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제에 대한 마인드 맵이며, 주요 함량은 다음을 포함한다 : 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제 (HIF-PHI)는 신장 빈혈의 치료를위한 새로운 소형 분자 경구 약물이다. 1. HIF-PHI 복용량 선택 및 조정. Rosalasstat의 초기 용량, 2. HIF-PHI 사용 중 모니터링, 3. 부작용 및 예방 조치.
이것은 Kuka Industrial Robots의 개발 및 Kuka Industrial Robot의 모션 제어 지침에 대한 마인드 맵입니다. 주요 내용에는 쿠카 산업 로봇의 역사, 쿠카 산업 로봇의 특성, 쿠카 산업 로봇의 응용 분야, 2. 포장 프로세스에서 쿠카 로봇은 빠르고 일관된 포장 작업을 달성하고 포장 효율성을 높이며 인건비를 줄입니다. 2. 인건비 감소 : 자동화는 운영자에 대한 의존성을 줄입니다. 3. 조립 품질 향상 : 정확한 제어는 인간 오류를 줄입니다.
408 컴퓨터 네트워크가 너무 어렵습니까? 두려워하지 마세요! 나는 피를 구토하고 지식 맥락을 명확히하는 데 도움이되는 매우 실용적인 마인드 맵을 분류했습니다. 컨텐츠는 매우 완전합니다. 네트워크 아키텍처에서 응용 프로그램 계층, TCP/IP 프로토콜, 서브넷 디비전 및 기타 핵심 포인트에 이르기까지 원칙을 철저히 이해하는 데 도움이 될 수 있습니다. 📈 명확한 논리 : Mindmas 보물, 당신은 드문 기회가 있습니다. 서둘러! 이 마인드 맵을 사용하여 408 컴퓨터 네트워크의 학습 경로에서 바람과 파도를 타고 성공적으로 해변을 얻으십시오! 도움이 필요한 친구들과 공유해야합니다!
이것은 (III) 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제에 대한 마인드 맵이며, 주요 함량은 다음을 포함한다 : 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제 (HIF-PHI)는 신장 빈혈의 치료를위한 새로운 소형 분자 경구 약물이다. 1. HIF-PHI 복용량 선택 및 조정. Rosalasstat의 초기 용량, 2. HIF-PHI 사용 중 모니터링, 3. 부작용 및 예방 조치.
이것은 Kuka Industrial Robots의 개발 및 Kuka Industrial Robot의 모션 제어 지침에 대한 마인드 맵입니다. 주요 내용에는 쿠카 산업 로봇의 역사, 쿠카 산업 로봇의 특성, 쿠카 산업 로봇의 응용 분야, 2. 포장 프로세스에서 쿠카 로봇은 빠르고 일관된 포장 작업을 달성하고 포장 효율성을 높이며 인건비를 줄입니다. 2. 인건비 감소 : 자동화는 운영자에 대한 의존성을 줄입니다. 3. 조립 품질 향상 : 정확한 제어는 인간 오류를 줄입니다.
408 컴퓨터 네트워크가 너무 어렵습니까? 두려워하지 마세요! 나는 피를 구토하고 지식 맥락을 명확히하는 데 도움이되는 매우 실용적인 마인드 맵을 분류했습니다. 컨텐츠는 매우 완전합니다. 네트워크 아키텍처에서 응용 프로그램 계층, TCP/IP 프로토콜, 서브넷 디비전 및 기타 핵심 포인트에 이르기까지 원칙을 철저히 이해하는 데 도움이 될 수 있습니다. 📈 명확한 논리 : Mindmas 보물, 당신은 드문 기회가 있습니다. 서둘러! 이 마인드 맵을 사용하여 408 컴퓨터 네트워크의 학습 경로에서 바람과 파도를 타고 성공적으로 해변을 얻으십시오! 도움이 필요한 친구들과 공유해야합니다!
影像分割方法綜述
引言
影像分割:影像劃分成互不相交的、有意義的子區域
同一區域像素點:相關性
不同區域像素點:差異性
傳統影像分割方法
用途:
影像處理預處理步驟
獲得影像的關鍵特徵訊息
提升影像分析效率
分類
基於閾值:灰階影像分割方法
實質:設定不同灰階閾值,將影像灰階直方圖分類(同一灰階範圍屬於同一類,具有一定的相似性)
過程:
f(i,j):代表(i,j)的灰階值
T:灰階閾值
透過將影像像素灰階值與閾值進行比較,分為目標和背景兩部分輸出影像g(i,j)變化,取值為0或1
1(目標):f(i,j)>=T
0(背景):f(i,j)<T
閾值T越大,分為目標的像素點越多
分類:
基於點的全域閾值分割方法
基於區域的全域閾值分割方法
局部閾值分割方法
... ...
總結分析:
適用情況:
目標灰階分佈均勻、變化小
目標和背景灰階差異比較明顯
優點:
簡單易實現
效率高
不足:
只考慮像素自身灰階值,未考慮影像語意、空間等特徵訊息
易受噪音影響
對複雜影像效果不理想
實際應用:
預處理方法
與其他分割方法結合使用
基於邊緣
理論基礎:邊界像素點灰階值與鄰近像素點灰階值差異大
過程:連接與相鄰像素點的灰階值差異大的點(邊緣點)形成邊界輪廓
分類:
串列邊緣偵測法:先偵測邊緣起始點,從起始點出發透過相似性準則搜尋並連接相鄰邊緣點
平行邊緣偵測法:借助空域微分算子,以模板與影像進行卷積
Roberts
Sobel
Prewitt
LoG
Canny
... ...
總結:實際應用中,平行邊緣偵測法過程簡單快捷,效能相對優良,最常用
基於區域
演算法原理:根據影像空間資訊進行分割,透過像素的相似性特徵對像素點進行分類並構成區域
分類
區域生長法
原理:將具有相似性質的像素點集合起來,構成獨立區域
過程:
1.選擇一組種子點作為生長起點(單一像素點或小區域均可)
2.依據生長準則,將種子點與附近有相似特徵的像素點歸併倒種子點所在區域
3.將新的像素點作為種子點,重複迭代直到所有區域全部偵測完成,停止生長
關鍵
種子點
選取方法
人工選擇
演算法自動選取
生長準則(影像特徵資訊)
顏色
紋理
空間
... ...
總結分析
優點:計算簡單
不足:
1.噪音敏感
2.易導致區域空缺
分裂合併法
演算法實質:不斷的分裂合併,得到影像各子區域
過程:
1.將影像劃分為規則區域
2.依據相似性準則,分裂特性不同的區域,合併特性相同的鄰近區域,直到沒有分裂合併發生
關鍵/難點
初始劃分
分裂合併相似性準則
總結分析
優點:對複雜影像分割效果較好
不足:
1.計算複雜
2.分裂時邊界可能被破壞
基於聚類
演算法原理:將具有特徵相似性的像素點聚集到同一區域,反覆迭代聚類結果直到收斂,最終將所有像素點聚集到幾個不同的類別中,完成影像區域劃分==影像分割
典型演算法舉例分析
簡單線性迭代聚類SLIC(超像素分割) ==>影像分割轉換成像素點聚類問題
演算法思想:基於聚類講圖像中的像素劃分成超像素塊
演算法步驟:
1.RGB彩色影像映射轉換成 Lab影像 (Lab空間保留更寬的色彩區域,提供更豐富的色彩特徵)
L:亮度
a:從洋紅色到綠色的範圍
b:從黃色到藍色的範圍
2.將每個像素點顏色特徵(L,a,b)和座標(x,y)組合成向量(L,a,b,x,y)進行距離度量
像素點i和j之間的顏色距離
像素點i和j之間的空間距離
最終距離進行測量
最大顏色距離:取整數[1,40]
類內最大空間距離
超像素塊大小-鄰近種子點的距離
圖中像素點總數
預分割超像素區塊的總和
優點
性能穩定
穩健性好
適用:影像分割、姿勢估計、目標追蹤及辨識等
基於圖論
演算法思想:將分割問題轉換成圖劃分,透過對目標函數的最佳化求解完成分割
經典演算法舉例
Graph Cut
演算法思路:最小割問題應用到影像分割問題中,將影像分割為前景和背景
演算法介紹:
1.將影像映射為S-T圖
帶有權重的無向圖G=(V,E)
V:頂點集==頂點對應原圖的像素點
E:邊集==邊的權重是像素點間的相似性
每個節點與終端頂點S,T相連形成虛線邊
與S相連頂點虛線邊權重為該點是前景目標的機率
與T相連頂點虛線邊權重為該點是背景的機率
一種邊:代表像素點的普通節點彼此相連形成的邊;另一種邊:終端頂點與連接它的節點的邊
2.求解能量損失函數最小的問題
cut:邊集合中的所有邊都斷開-S-T圖的分開
min cut:一個cut中其對應邊的所有權值總和最小
3.尋找min cut不斷迭代
評價,求能量損失函數最小值
優點:利用影像灰階資訊的同時使用了區域邊界訊息,透過最右化求解,得到最好的分割效果
不足
計算量大
更傾向對具有相同類內相似度的影像進行分割
Grab Cut
One Cut
... ...
基於特定理論
數學形態學理論
克服雜訊影響獲得清晰邊緣影像
遺傳演算法
模擬自然優勝略汰獲得最優解,實現最優化分割
小波變換
活動輪廓模型
模糊理論
粗集理論
... ...
基於深度學習的分割方法-分割網路模型
全卷積網 FCN(full convolution network)-圖像語意分割
演算法思路:
經過8層卷積處理,對特徵圖進行上採樣實現反捲積操作,透過SoftMax層進行分類,最後輸出分割結果-多次卷積操作,特徵圖尺寸遠小於原輸入圖,丟失很多底層的影像訊息,直接分類,影響分割精度
上採樣過程採用Skip策略
演算法過程
把深層資料與淺層資訊結合,再恢復到原圖的輸出得到更精確的分割結果
依池化層不同分為
FCN-32s模型分割結果
不同層級特徵圖
卷積:7次
FCN-16模型分割結果
池化:4次-Pool4層
雙線性內插法-Conv7
融合後上採樣分類
FCN-8s模型分割結果
池化:3次-Pool3層
雙線性內插法-Conv7層、Pool4層
融合後上採樣分類
FCN-8s:整合更多層特徵訊息,分割得到更清晰的輪廓訊息,分割效果相對較好
演算法評價
能對影像進行像素層級分類,有效解決影像語意分割難題
可以輸入任意尺寸的影像
首個端到端的分割網路模型
不足
網路相對較大——對影像的細節資訊不夠敏感
像素點之間的關聯性較低-目標邊界模糊
金字塔場景解析網路 PSPNet(pyramid scene parsing network)-影像語意分割
演算法思想
整合上下文訊息,充分利用全局特徵先驗知識,對不同場景進行解析,實現對場景目標的語意分割
演算法過程
1.給定輸入影像
2.CNN:得到卷積層特徵圖
3.金字塔池化模組:收集不同子區間特徵
4.上採樣
5.串聯融合各子區域特徵
6.形成包含局部和全局上下文資訊的特徵表徵
7.將特徵表徵卷積和SoftMax分類
8.對每個像素的預測結果
演算法評價
針對場景解析和語意分割任務-能提取適當的全局特徵
利用金字塔池化模組-將局部和全局資訊融合在一起
提出適度監督損失的優化策略
不足:對目標間有遮蔽的狀況處理不夠理想
DeepLab系列模型-深度神經網路模型,影像語意分割
演算法核心:使用atrous卷積(卷積核裡插孔的方式)
計算特徵響應時明確控制響應的分辨率
擴大卷積核的感受野
在不增加參數量和計算量的同時,整合更多特徵信息
發展歷程
最早的DeepLab模型
演算法描述
輸入影像
經過多孔(atrous)卷積層的深度卷積神經網路(DCNN)處理-粗略的評分圖
雙線性內插值上取樣
引入全連接條件隨機場(CRF)s
輸出影像
演算法評價
充分考慮全局訊息,對目標邊緣像素點進行更準確的分類
排除噪音幹擾,提升分割精度
DeepLab-v2模型
將atrous擴展為多孔空間金字塔池化(ASPP)模組
級聯;多尺度atrous卷積層並進行特徵圖融合
保留全連接CRF作為後處理
DeepLab-v3模型
卷積池化:影像尺寸縮小4倍
3個Block模組卷積:影像縮小8倍
線性整流函數(ReLU):影像縮小16倍
池化處理:影像縮小16倍
Block4處理
ASPP模組:融合不同多孔卷積(插孔數rate=6、12、18)
1*1卷積層、全域池化層整合:縮小16倍的特徵圖
分類預測:分割圖
DeepLad-v3 模型-編解碼結構
演算法描述
程式設計部分:DeepLab-v3模型
解碼部分的輸入
DCNN中淺層特徵圖
ASPP融合卷積後的特徵圖
解碼模組
卷積:輸入的淺層特徵圖
融合:經過上採樣的ASPP特性圖
輸出:經過卷積和上採樣的原始尺寸大小的分割圖
演算法評價
明顯分出前景目標與背景
目標邊緣輪廓清晰
此模型能實現細粒度的分割
Mask R-CNN-影像實例分割
起源:基於Faster R-CNN
演算法描述
演算法框架
第一階段:
區域建議網路(region proposal networks,RPN)-提出候選目標邊界框架
邊界框裡的內容(RoI)進行RoIAlign處理-將RoI劃分成m*m子區域
第二階段:
與預測類別和邊界框迴歸任務並行-增加為了每個RoI輸出二分類遮罩的分支 即,用FCN對每個RoI進行分割,以像素到像素的方式預測分割掩碼
訓練階段:使用多任務損失約束L
L=目標分類損失 偵測任務損失 實例分割損失
演算法評價
在語意分割的基礎上實現了實例分割-前景目標精準偵測定位 對同類目標不同個體區分
語意分割:辨識圖中存在的內容和位置
實例分割:在語意分割基礎上區分同一類別下的不同個體
分割精度更高
模型更加靈活
可以用來多種電腦視覺任務
目標分類
目標偵測
實例分割
人體姿態識別
... ...
效能分析比較與總結
性能分析
深度學習分割資料集:
PASCAL VOC
Microsoft COCO
Cityscapes
定性分析
定量分析
語意分割:平均交並比mIoU,表示兩個集合的交集並集之比,在語意分割中指真實值與預測值集合
實例分割:像素精度PA,表示分類正確的像素佔總像素的比例
總結
現狀:
影像分割在電腦視覺任務的應用越來越廣泛
準確性和速度有了明顯提升
難題:
分割資料集匱乏,標註工作繁重
小尺寸目標分割不夠精準
分割演算法計算複雜
無法實現即時互動分割,阻礙分割技術的落地、應用 與推廣