心智圖資源庫 機器學習之基本迴歸演算法
總結了機器學習中的基本迴歸演算法,如基本線性迴歸,遞推迴歸,正則化線性迴歸,稀疏線性迴歸Lasso,線性基底函數迴歸,奇異值分解,迴歸學習的誤差分解等。
編輯於2023-02-15 23:14:30이것은 (III) 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제에 대한 마인드 맵이며, 주요 함량은 다음을 포함한다 : 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제 (HIF-PHI)는 신장 빈혈의 치료를위한 새로운 소형 분자 경구 약물이다. 1. HIF-PHI 복용량 선택 및 조정. Rosalasstat의 초기 용량, 2. HIF-PHI 사용 중 모니터링, 3. 부작용 및 예방 조치.
이것은 Kuka Industrial Robots의 개발 및 Kuka Industrial Robot의 모션 제어 지침에 대한 마인드 맵입니다. 주요 내용에는 쿠카 산업 로봇의 역사, 쿠카 산업 로봇의 특성, 쿠카 산업 로봇의 응용 분야, 2. 포장 프로세스에서 쿠카 로봇은 빠르고 일관된 포장 작업을 달성하고 포장 효율성을 높이며 인건비를 줄입니다. 2. 인건비 감소 : 자동화는 운영자에 대한 의존성을 줄입니다. 3. 조립 품질 향상 : 정확한 제어는 인간 오류를 줄입니다.
408 컴퓨터 네트워크가 너무 어렵습니까? 두려워하지 마세요! 나는 피를 구토하고 지식 맥락을 명확히하는 데 도움이되는 매우 실용적인 마인드 맵을 분류했습니다. 컨텐츠는 매우 완전합니다. 네트워크 아키텍처에서 응용 프로그램 계층, TCP/IP 프로토콜, 서브넷 디비전 및 기타 핵심 포인트에 이르기까지 원칙을 철저히 이해하는 데 도움이 될 수 있습니다. 📈 명확한 논리 : Mindmas 보물, 당신은 드문 기회가 있습니다. 서둘러! 이 마인드 맵을 사용하여 408 컴퓨터 네트워크의 학습 경로에서 바람과 파도를 타고 성공적으로 해변을 얻으십시오! 도움이 필요한 친구들과 공유해야합니다!
이것은 (III) 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제에 대한 마인드 맵이며, 주요 함량은 다음을 포함한다 : 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제 (HIF-PHI)는 신장 빈혈의 치료를위한 새로운 소형 분자 경구 약물이다. 1. HIF-PHI 복용량 선택 및 조정. Rosalasstat의 초기 용량, 2. HIF-PHI 사용 중 모니터링, 3. 부작용 및 예방 조치.
이것은 Kuka Industrial Robots의 개발 및 Kuka Industrial Robot의 모션 제어 지침에 대한 마인드 맵입니다. 주요 내용에는 쿠카 산업 로봇의 역사, 쿠카 산업 로봇의 특성, 쿠카 산업 로봇의 응용 분야, 2. 포장 프로세스에서 쿠카 로봇은 빠르고 일관된 포장 작업을 달성하고 포장 효율성을 높이며 인건비를 줄입니다. 2. 인건비 감소 : 자동화는 운영자에 대한 의존성을 줄입니다. 3. 조립 품질 향상 : 정확한 제어는 인간 오류를 줄입니다.
408 컴퓨터 네트워크가 너무 어렵습니까? 두려워하지 마세요! 나는 피를 구토하고 지식 맥락을 명확히하는 데 도움이되는 매우 실용적인 마인드 맵을 분류했습니다. 컨텐츠는 매우 완전합니다. 네트워크 아키텍처에서 응용 프로그램 계층, TCP/IP 프로토콜, 서브넷 디비전 및 기타 핵심 포인트에 이르기까지 원칙을 철저히 이해하는 데 도움이 될 수 있습니다. 📈 명확한 논리 : Mindmas 보물, 당신은 드문 기회가 있습니다. 서둘러! 이 마인드 맵을 사용하여 408 컴퓨터 네트워크의 학습 경로에서 바람과 파도를 타고 성공적으로 해변을 얻으십시오! 도움이 필요한 친구들과 공유해야합니다!
機器學習 基本迴歸演算法
回歸學習
特點
監督學習
資料集帶標註y
學習過程
確定模型參數w的過程
預測或推斷
代入新輸入計算迴歸輸出的過程
線性迴歸
基本線性迴歸
目標線性函數
誤差高斯分佈假設
輸出值與標註值之間存在誤差
假設模型輸出為期望值,隨機變數(標註值)yi的機率函數為
由於樣本獨立同分佈,所有標註值的聯合機率密度函數為
似然函數求最優參數 (最小平方法LS解)
對數似然函數
誤差平方和
最大似然解
均方誤差測試公式
線性迴歸的遞推學習
針對的問題
問題規模過大,矩陣求解困難
梯度下降演算法
取全部樣本計算平均梯度
平均梯度
遞推公式
隨機梯度下降SGD演算法(LMS)
取隨機樣本計算梯度
隨機梯度
遞推公式
小批量SGD演算法
取小批量樣本計算平均梯度
平均梯度
遞推公式
正規化線性迴歸
針對的問題
矩陣的條件數很大,數值穩定性不好
問題條件數大的本質
矩陣的一些列向量成比例或近似成比例
存在冗餘的權係數,出現了過擬合
解決方法
應“減少模型參數數目”或“正則化約束模型參數”
正規化約束的目標函數
誤差平方和J(w) 約束參數向量w的超參數λ
形式
正則化最小二乘LS解
正規化線性迴歸機率解釋
權係數向量w的先驗分佈為高斯分佈下的貝葉斯"最大後驗機率估計"MAP
梯度遞推演算法(小批量隨機梯度下降法SGD為例)
多重輸出(輸出向量y)線性迴歸
針對的問題
輸出的是向量y而非標量y
誤差平方和目標函數J(W)
最小平方法LS解
稀疏線性迴歸Lasso
正規化項的範數
範數p>1
解座標均不為0,解非稀疏
範數p=1
解座標大部分為0,解稀疏,處理較容易
範數p<1
解座標大部分為0,解稀疏,處理較困難
Lasso問題
內容
對於最小化誤差平方和函數問題,施加一個約束條件||w||1<t
正規化表述
Lasso的循環坐標下降演算法
預處理
將資料矩陣X列零均值且歸一化為Z
單變量情況下Lasso的解
Lasso解
多變量情況下Lasso解的推廣
循環座標下降法CCD
先確定其中一個參數wj
計算誤差平方和最小的參數
此時其他參數w並非最佳值,所以wj計算結果只是估計值。
循環計算
同樣的思路循環計算其他參數,直至參數估計值收斂
部分殘差值ri(j)代替yi
在數學上與單變量保持一致
參數估計值
Lasso的LAR演算法
適用
求解1範數限制條件下的稀疏迴歸問題
對應正則化迴歸問題
分類
λ=0
標準最小平方法問題
λ越大
模型參數解w向量越稀疏
線性基底函數迴歸
基底函數
迴歸模型
數據矩陣
迴歸係數解
奇異值分解
偽逆
SVD分解
迴歸係數模型解
迴歸學習的誤差分解
誤差函數
誤差期望
模型
理論最佳模型
學習模型
誤差分解
模型複雜度與誤差分解
模型簡單
偏差大,方差小
模型複雜
偏差小,方差大
需選擇適當的模型複雜度