心智圖資源庫 神經網路與深度學習之卷積神經網絡
總結了卷積神經網路的主要內容,如基本概念,卷積運算,基本結構,參數學習方法以及一些卷積神經網路實例結構。
編輯於2023-02-26 23:13:29이것은 (III) 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제에 대한 마인드 맵이며, 주요 함량은 다음을 포함한다 : 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제 (HIF-PHI)는 신장 빈혈의 치료를위한 새로운 소형 분자 경구 약물이다. 1. HIF-PHI 복용량 선택 및 조정. Rosalasstat의 초기 용량, 2. HIF-PHI 사용 중 모니터링, 3. 부작용 및 예방 조치.
이것은 Kuka Industrial Robots의 개발 및 Kuka Industrial Robot의 모션 제어 지침에 대한 마인드 맵입니다. 주요 내용에는 쿠카 산업 로봇의 역사, 쿠카 산업 로봇의 특성, 쿠카 산업 로봇의 응용 분야, 2. 포장 프로세스에서 쿠카 로봇은 빠르고 일관된 포장 작업을 달성하고 포장 효율성을 높이며 인건비를 줄입니다. 2. 인건비 감소 : 자동화는 운영자에 대한 의존성을 줄입니다. 3. 조립 품질 향상 : 정확한 제어는 인간 오류를 줄입니다.
408 컴퓨터 네트워크가 너무 어렵습니까? 두려워하지 마세요! 나는 피를 구토하고 지식 맥락을 명확히하는 데 도움이되는 매우 실용적인 마인드 맵을 분류했습니다. 컨텐츠는 매우 완전합니다. 네트워크 아키텍처에서 응용 프로그램 계층, TCP/IP 프로토콜, 서브넷 디비전 및 기타 핵심 포인트에 이르기까지 원칙을 철저히 이해하는 데 도움이 될 수 있습니다. 📈 명확한 논리 : Mindmas 보물, 당신은 드문 기회가 있습니다. 서둘러! 이 마인드 맵을 사용하여 408 컴퓨터 네트워크의 학습 경로에서 바람과 파도를 타고 성공적으로 해변을 얻으십시오! 도움이 필요한 친구들과 공유해야합니다!
이것은 (III) 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제에 대한 마인드 맵이며, 주요 함량은 다음을 포함한다 : 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제 (HIF-PHI)는 신장 빈혈의 치료를위한 새로운 소형 분자 경구 약물이다. 1. HIF-PHI 복용량 선택 및 조정. Rosalasstat의 초기 용량, 2. HIF-PHI 사용 중 모니터링, 3. 부작용 및 예방 조치.
이것은 Kuka Industrial Robots의 개발 및 Kuka Industrial Robot의 모션 제어 지침에 대한 마인드 맵입니다. 주요 내용에는 쿠카 산업 로봇의 역사, 쿠카 산업 로봇의 특성, 쿠카 산업 로봇의 응용 분야, 2. 포장 프로세스에서 쿠카 로봇은 빠르고 일관된 포장 작업을 달성하고 포장 효율성을 높이며 인건비를 줄입니다. 2. 인건비 감소 : 자동화는 운영자에 대한 의존성을 줄입니다. 3. 조립 품질 향상 : 정확한 제어는 인간 오류를 줄입니다.
408 컴퓨터 네트워크가 너무 어렵습니까? 두려워하지 마세요! 나는 피를 구토하고 지식 맥락을 명확히하는 데 도움이되는 매우 실용적인 마인드 맵을 분류했습니다. 컨텐츠는 매우 완전합니다. 네트워크 아키텍처에서 응용 프로그램 계층, TCP/IP 프로토콜, 서브넷 디비전 및 기타 핵심 포인트에 이르기까지 원칙을 철저히 이해하는 데 도움이 될 수 있습니다. 📈 명확한 논리 : Mindmas 보물, 당신은 드문 기회가 있습니다. 서둘러! 이 마인드 맵을 사용하여 408 컴퓨터 네트워크의 학습 경로에서 바람과 파도를 타고 성공적으로 해변을 얻으십시오! 도움이 필요한 친구들과 공유해야합니다!
神經網路與深度學習 卷積神經網絡
CNN簡介
典型CNN結構預覽
基本性質
稀疏連接
相對於全連接網路FC,CNN是局部連接,即前一層神經元的輸出只連接到下一層相鄰若干神經元的輸入,下一層的一個神經元的輸入也只接收前一層相鄰的若干神經元的輸出
參數共享
感受野(視野)
當前層的一個神經元的輸入是前一層附近若干神經元的輸出,感受到的是前層近鄰神經元的輸出,該輸入區域稱為當前神經元的感受野
卷積核
感受野內的訊號加權形成當前神經元的激活,鄰近神經元有不同但區域相等(不考慮邊界)的感受野
各神經元的活化是各自感野的訊號以相同的一組權係數加權求和產生的,即各神經元使用了相同的權係數向量,這組共享的權係數稱為卷積核
近似平移不變性
輸入訊號的平移對輸出訊號相同的平移
卷積運算自身的性質,線性時不變系統的基本性質
合理設計池化單元和選擇激活函數,CNN可近似保持平移不變性
舉例
辨識影像中的一隻狗,做了平移後仍然是一隻狗
卷積運算及其物理意義
卷積運算
輸入訊號x(t)
系統單位衝激響應h(t)(CNN卷積核)
輸出訊號y(t)
卷積性質
可交換性
平移不變性
完全卷積長度
N K-1
有效卷積長度
N-K 1
物理意義
濾波器
低通濾波器
抽取訊號的緩變的低頻成分
h1[n]={1/2,1/2}
高通濾波器
抽取訊號快速變化的高頻成分
h2[n]={1/2,-1/2}
帶通濾波器
抽取變化適中的成分
卷積濾波功能
對於一個複雜訊號,其中包含各種頻率成分,不同卷積核實現的不同濾波器可取得訊號中的不同變化尺度的成分
自適應濾波
網路輸出層的輸出與期望響應的誤差用於訓練輸出層網絡
BP演算法將輸出層誤差反向傳播到前級的各層,由反向傳播誤差依序訓練各層的捲積核
基本CNN的結構
一維卷積
神經元激活值
神經元輸出
整流線性激活函數ReLU
z=max{0,a}
卷積通道
輸入與卷積核的捲積運算 啟動函數運算
與全連線網路比較
共享參數數目少
對輸入的不同性質特徵分而治之
二維卷積
公式
形象理解
二維卷積運算相當於hij再Xij資料陣列中滑動,當需要計算amn時,h00滑動到對齊Xmn,然後計算乘積項Xm in j hij並相加
有效卷積輸出大小為(D1-K1 1)×(D2-K2 1)
探測級
計算激活函數,神經元輸出
多通道卷積
卷積通道/卷積平面
每個卷積核h透過卷積運算產生的矩陣
舉例
輸入
32×32的影像,3個通道表示RGB三原色
卷積核
6個5×5卷積核,每兩個用於一個輸入通道
輸出
產生6個28×28的捲積通道
池化
最大化池化
取視窗最大值的池化,即在一個小視窗內選取最大值作為池化結果
平均值池化
視窗內平均值作為池化結果
抽取池化
視窗內固定點值作為池化結果
視窗屬性
大小
M1×M2
池化步幅
S
等長零填充卷積
K為奇數
輸入兩端各加(K-1)/2個0
K為偶數
一側添加K/2個0,另一側添加(K/2)-1個0
構成CNN
卷積層組成
卷積運算級
探測級(ReLU函數)
池化(可選)
典型CNN網路結構
卷積的一些擴展結構
張量卷積
三維資料體
張量卷積核
卷積平面
通道維卷積
抽取通道維的不同特徵
1×1卷積核
S步幅卷積
CNN的參數學習
CNN的BP演算法思路
前向傳播
卷積層卷積計算
FC層全連接計算啟動輸出
池化層進行池化
反向傳播
FC層依照標準BP反向傳播演算法計算
卷積層與池化層反向傳播演算法
卷積層的反向傳播公式
池化層的反向傳播公式
QR 圖擴充
CNN範例介紹
LeNet-5網絡
AlexNet網絡與VGGNet網絡
激活函數
ReLU激活函數比tanh激活函數訓練速度快了6倍
AlexNet結構
VGGNet結構
用更深的層、更小的捲積核、多個卷積層對應一個池化層
訓練效果提昇思路
透過增加CNN的深度獲得更好的訓練效果
層數的直接增加會帶來負作用
易過擬合
梯度消失
梯度爆炸
GoogLeNet網絡
巨集構造模組Inception
4個平行分支
透過分支合併模組產生輸出
每個分支均包含了1×1卷積
目的是分而治之減少參數和運算量
結構
殘差網絡與密集網絡
殘差網絡
網路退化問題
訓練集上的準確率飽和甚至下降
殘差網路特點
容易優化,並可透過增加相當的深度來提高準確率
殘差網路內部的殘差塊使用了跳躍連接,緩解了在深度神經網路中增加深度所帶來的梯度消失問題
殘差構造塊
殘差網格結構
密集網絡
密集網絡特點
保持前饋網路的結構,從輸入層或從目前層輸出連接到後續每層的輸入
對於L層網絡,可有L(L-1)/2種連接
密集網路結構