心智圖資源庫 神經網路與深度學習之基礎
總結了最基本的神經網路結構-多層感知機MLP和前饋網路FNN,在此基礎上總結了神經網路的目標函數和最佳化技術,反向傳播演算法計算目標函數對網路權係數的梯度問題,以及神經網路優化的輔助技術如初始化、正規化等。
編輯於2023-02-23 17:40:31이것은 (III) 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제에 대한 마인드 맵이며, 주요 함량은 다음을 포함한다 : 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제 (HIF-PHI)는 신장 빈혈의 치료를위한 새로운 소형 분자 경구 약물이다. 1. HIF-PHI 복용량 선택 및 조정. Rosalasstat의 초기 용량, 2. HIF-PHI 사용 중 모니터링, 3. 부작용 및 예방 조치.
이것은 Kuka Industrial Robots의 개발 및 Kuka Industrial Robot의 모션 제어 지침에 대한 마인드 맵입니다. 주요 내용에는 쿠카 산업 로봇의 역사, 쿠카 산업 로봇의 특성, 쿠카 산업 로봇의 응용 분야, 2. 포장 프로세스에서 쿠카 로봇은 빠르고 일관된 포장 작업을 달성하고 포장 효율성을 높이며 인건비를 줄입니다. 2. 인건비 감소 : 자동화는 운영자에 대한 의존성을 줄입니다. 3. 조립 품질 향상 : 정확한 제어는 인간 오류를 줄입니다.
408 컴퓨터 네트워크가 너무 어렵습니까? 두려워하지 마세요! 나는 피를 구토하고 지식 맥락을 명확히하는 데 도움이되는 매우 실용적인 마인드 맵을 분류했습니다. 컨텐츠는 매우 완전합니다. 네트워크 아키텍처에서 응용 프로그램 계층, TCP/IP 프로토콜, 서브넷 디비전 및 기타 핵심 포인트에 이르기까지 원칙을 철저히 이해하는 데 도움이 될 수 있습니다. 📈 명확한 논리 : Mindmas 보물, 당신은 드문 기회가 있습니다. 서둘러! 이 마인드 맵을 사용하여 408 컴퓨터 네트워크의 학습 경로에서 바람과 파도를 타고 성공적으로 해변을 얻으십시오! 도움이 필요한 친구들과 공유해야합니다!
이것은 (III) 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제에 대한 마인드 맵이며, 주요 함량은 다음을 포함한다 : 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제 (HIF-PHI)는 신장 빈혈의 치료를위한 새로운 소형 분자 경구 약물이다. 1. HIF-PHI 복용량 선택 및 조정. Rosalasstat의 초기 용량, 2. HIF-PHI 사용 중 모니터링, 3. 부작용 및 예방 조치.
이것은 Kuka Industrial Robots의 개발 및 Kuka Industrial Robot의 모션 제어 지침에 대한 마인드 맵입니다. 주요 내용에는 쿠카 산업 로봇의 역사, 쿠카 산업 로봇의 특성, 쿠카 산업 로봇의 응용 분야, 2. 포장 프로세스에서 쿠카 로봇은 빠르고 일관된 포장 작업을 달성하고 포장 효율성을 높이며 인건비를 줄입니다. 2. 인건비 감소 : 자동화는 운영자에 대한 의존성을 줄입니다. 3. 조립 품질 향상 : 정확한 제어는 인간 오류를 줄입니다.
408 컴퓨터 네트워크가 너무 어렵습니까? 두려워하지 마세요! 나는 피를 구토하고 지식 맥락을 명확히하는 데 도움이되는 매우 실용적인 마인드 맵을 분류했습니다. 컨텐츠는 매우 완전합니다. 네트워크 아키텍처에서 응용 프로그램 계층, TCP/IP 프로토콜, 서브넷 디비전 및 기타 핵심 포인트에 이르기까지 원칙을 철저히 이해하는 데 도움이 될 수 있습니다. 📈 명확한 논리 : Mindmas 보물, 당신은 드문 기회가 있습니다. 서둘러! 이 마인드 맵을 사용하여 408 컴퓨터 네트워크의 학습 경로에서 바람과 파도를 타고 성공적으로 해변을 얻으십시오! 도움이 필요한 친구들과 공유해야합니다!
神經網路與深度學習 基礎
神經網路的基本結構
神經元結構
加權求和
激勵訊號
突觸/加權
啟動值
激活函數
不連續函數
符號函數
感知機
門限函數
McCulloch-Pitts神經元
連續可導函數
Logistic Sigmoid函數
雙曲正切函數tanh()
缺點
當活化值a較大時,函數進入飽和區域,對應導數接近0,在通過梯度的學習演算法中,收斂變得很慢甚至停滯。 ReLU函數的收斂速度較高
ReLU函數
經典ReLU
滲漏ReLU
匯總
神經元的計算結構
線性加權求和產生激活值 非線性激活函數產生輸出
多層神經網路解決異或問題
感知機
線性組合 符號激活函數
線性不可分情況不收斂
如異或運算
線性不可分解決方法
非線性基底函數向量取代原特徵向量
採用多個神經元構成多層神經網絡
神經元的連結方式
神經元作為一個基本構造塊,透過並聯和級聯結構聯接成一個多層網絡
並聯方式
在同一層多個神經元接收相同輸入特徵向量x,分別產生多個輸出
級聯方式
並聯的多個神經元各自產生輸出,這些輸出傳給下一層的神經元作為輸入
多層感知機MLP 前饋神經網路FNN
多層感知機結構
輸入層
輸入層組成單元個數為輸入特徵向量的維度D
輸入特徵矩陣N×D
每行對應一個樣本,行數為樣本數N
列數即為特徵向量維度D
隱藏層
第1層
輸入矩陣N×D
即為原始特徵矩陣
權係數矩陣D×K1
每個神經元的權係數對應一個D維列向量
一共K1個神經元構成D×K1的矩陣
偏置向量N×K1
每行對應一個樣本偏壓共N行
列數即為神經元個數K1
輸出矩陣N×K1
Z=φ(A)=φ(XW W0)
第2層
輸入矩陣N×K1
上層輸出矩陣
權係數矩陣K1×K2
每個神經元的權係數對應一個K1維列向量
一共K2個神經元構成K1×K2的矩陣
偏置向量N×K2
每行對應一個樣本偏壓共N行
列數即為神經元個數K2
輸出矩陣N×K2
Z=φ(A)=φ(XW W0)
第m層
輸入矩陣N×K(m-1)
上層輸出矩陣
權係數矩陣K(m-1)×Km
每個神經元的權係數對應一個K(m-1)維列向量
一共Km個神經元構成K(m-1)×Km的矩陣
偏置向量N×Km
每行對應一個樣本偏壓共N行
列數即為神經元個數Km
輸出矩陣N×Km
Z=φ(A)=φ(XW W0)
輸出層
輸入矩陣N×K(L-1)
上層輸出矩陣
權係數矩陣K(L-1)×KL
每個神經元的權係數對應一個K(L-1)維列向量
一共KL個神經元構成K(L-1)×KL的矩陣
偏置向量N×KL
每行對應一個樣本偏壓共N行
列數即為神經元個數KL
輸出矩陣N×KL
Z=φ(A)=φ(XW W0)
多層感知機的運算關係 程式結構
輸入
第m層第j個神經元的輸出
加權求和
上層輸出作為這層輸入
激活函數
輸出
神經網路輸出表示
註
輸出層神經元個數表示神經網路可以同時有多個輸出函數
回歸問題
輸出層神經元的輸出即為迴歸函數輸出
二分類
輸出層神經元輸出正規類型的後驗機率,Sigmoid函數表示類型的後驗機率
多分類
輸出層每個神經元輸出各類型的後驗機率,Softmax函數表示每個類型的機率
神經網路非線性映射
與基底函數迴歸的區別
參數的確定
基函數迴歸的基函數是預先決定的
神經網路的基底函數參數是系統參數的一部分,需要訓練確定
非線性關係
基底函數迴歸只有輸入向量與輸出呈非線性關係
神經網路輸入向量與權係數均與輸出呈非線性關係
舉例
二層神經網絡
三層神經網絡
神經網路的逼近定理
神經網路本質
D維歐幾裡得空間到K維歐幾裡得空間的映射
輸入特徵向量x是D維向量
輸出y是K維向量
內容
只需要有一層隱藏單元的MLP,可以任意準確度逼近定義在有限區間的連續函數
神經網路的目標函數與最佳化
神經網路的目標函數
一般情況
多個迴歸輸出情況
誤差平方和
多個二分類輸出情況
交叉熵
單一K分類輸出狀況
交叉熵
樣本損失函數對輸出活化的導數
神經網路的優化
損失函數
高度非線性的非凸函數
損失函數最小化的解滿足
漢森矩陣H滿足正定性
神經網路權係數
維度
權係數空間的對稱性
神經元交換位置輸入輸出關係不變,神經網路前後等價
權係數優化
全梯度演算法
隨機梯度演算法
小批量隨機梯度演算法
反向傳播BP演算法計算梯度或導數
誤差反向傳播BP演算法 計算損失函數對權係數梯度
思想
導數的鍊式法則
損失函數對輸出活化的導數為迴歸輸出對標註的誤差
啟動對權係數的導數為輸入向量
損失函數對權係數梯度或導數
誤差反向傳播
隱藏層的誤差缺乏,需要將誤差的影響從輸出層向輸入傳播
反向傳播演算法的推導
前向傳播
初始值
隱藏層
輸出層
輸出層梯度
輸出層誤差
梯度分量
隱藏層反向傳播
隱藏層梯度鍊式分解
公式推導
演算法思想
前向傳播
前一層的神經元輸出z加權求和得到下一層的神經元活化a
反向傳播
後一層的傳播誤差(靠近輸出的層)δ(l 1)反向傳播給前一層,得到前一層的傳播誤差δ(l),一直反向傳播到第1個隱藏層(最靠近輸入的隱藏層)
演算法過程 (權係數一步迭代)
初始值
向前傳播
隱藏層
輸出層
反向傳播
輸出層
隱藏層
梯度分量
小批量隨機梯度演算法
反向傳播演算法的向量形式
初始值
向前傳播
第l層第j個神經元活化的增廣權係數
第l層的權係數矩陣
加權求和並激活
輸出層傳播誤差向量
反向傳播
誤差反向傳播
梯度分量
對第l層權向量矩陣的梯度
對第l層偏壓向量的梯度
對第l層一個神經元的權係數的梯度
反向傳播演算法的擴展
網路的雅可比矩陣
雅可比矩陣分解
誤差反向傳播方程
回歸問題
二分類問題
多分類問題
網路的漢森矩陣
神經網路學習中的一些問題
基本問題
目標函數和梯度計算
初始化
權係數初始化
輸入和輸出數目分別為m和n
Xavier初始化
激活函數為ReLU函數時權係數初始化
輸入向量標準化
單位歸一化,表示在統一的空間中
正規化
權衰減的正則化損失函數
迭代更新
幾類等價正規化技術
增廣樣本集
對樣本集中的一個樣本進行幾個不同小角度的旋轉和平移,構成新的樣本
輸入向量注入噪聲
在輸入樣本上加入小功率的隨機噪聲,對抗訓練
早停止技術
偵測驗證誤差轉折點,驗證誤差開始增加即可停止迭代,防止過度擬合