心智圖資源庫 AdaBoost元演算法提高分類性能技巧思維導圖
AdaBoost元演算法提高分類效能技巧總結,內容涵蓋基於資料集多重抽樣的分類器,基於單層決策樹建立弱分類器,非均衡分的問題。
編輯於2023-02-25 13:03:37이것은 (III) 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제에 대한 마인드 맵이며, 주요 함량은 다음을 포함한다 : 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제 (HIF-PHI)는 신장 빈혈의 치료를위한 새로운 소형 분자 경구 약물이다. 1. HIF-PHI 복용량 선택 및 조정. Rosalasstat의 초기 용량, 2. HIF-PHI 사용 중 모니터링, 3. 부작용 및 예방 조치.
이것은 Kuka Industrial Robots의 개발 및 Kuka Industrial Robot의 모션 제어 지침에 대한 마인드 맵입니다. 주요 내용에는 쿠카 산업 로봇의 역사, 쿠카 산업 로봇의 특성, 쿠카 산업 로봇의 응용 분야, 2. 포장 프로세스에서 쿠카 로봇은 빠르고 일관된 포장 작업을 달성하고 포장 효율성을 높이며 인건비를 줄입니다. 2. 인건비 감소 : 자동화는 운영자에 대한 의존성을 줄입니다. 3. 조립 품질 향상 : 정확한 제어는 인간 오류를 줄입니다.
408 컴퓨터 네트워크가 너무 어렵습니까? 두려워하지 마세요! 나는 피를 구토하고 지식 맥락을 명확히하는 데 도움이되는 매우 실용적인 마인드 맵을 분류했습니다. 컨텐츠는 매우 완전합니다. 네트워크 아키텍처에서 응용 프로그램 계층, TCP/IP 프로토콜, 서브넷 디비전 및 기타 핵심 포인트에 이르기까지 원칙을 철저히 이해하는 데 도움이 될 수 있습니다. 📈 명확한 논리 : Mindmas 보물, 당신은 드문 기회가 있습니다. 서둘러! 이 마인드 맵을 사용하여 408 컴퓨터 네트워크의 학습 경로에서 바람과 파도를 타고 성공적으로 해변을 얻으십시오! 도움이 필요한 친구들과 공유해야합니다!
이것은 (III) 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제에 대한 마인드 맵이며, 주요 함량은 다음을 포함한다 : 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제 (HIF-PHI)는 신장 빈혈의 치료를위한 새로운 소형 분자 경구 약물이다. 1. HIF-PHI 복용량 선택 및 조정. Rosalasstat의 초기 용량, 2. HIF-PHI 사용 중 모니터링, 3. 부작용 및 예방 조치.
이것은 Kuka Industrial Robots의 개발 및 Kuka Industrial Robot의 모션 제어 지침에 대한 마인드 맵입니다. 주요 내용에는 쿠카 산업 로봇의 역사, 쿠카 산업 로봇의 특성, 쿠카 산업 로봇의 응용 분야, 2. 포장 프로세스에서 쿠카 로봇은 빠르고 일관된 포장 작업을 달성하고 포장 효율성을 높이며 인건비를 줄입니다. 2. 인건비 감소 : 자동화는 운영자에 대한 의존성을 줄입니다. 3. 조립 품질 향상 : 정확한 제어는 인간 오류를 줄입니다.
408 컴퓨터 네트워크가 너무 어렵습니까? 두려워하지 마세요! 나는 피를 구토하고 지식 맥락을 명확히하는 데 도움이되는 매우 실용적인 마인드 맵을 분류했습니다. 컨텐츠는 매우 완전합니다. 네트워크 아키텍처에서 응용 프로그램 계층, TCP/IP 프로토콜, 서브넷 디비전 및 기타 핵심 포인트에 이르기까지 원칙을 철저히 이해하는 데 도움이 될 수 있습니다. 📈 명확한 논리 : Mindmas 보물, 당신은 드문 기회가 있습니다. 서둘러! 이 마인드 맵을 사용하여 408 컴퓨터 네트워크의 학습 경로에서 바람과 파도를 타고 성공적으로 해변을 얻으십시오! 도움이 필요한 친구들과 공유해야합니다!
AdaBoost元演算法提高分類性能技巧思維導圖
基於資料集多重抽樣的分類器
集成方法(元演算法)
不同演算法的集成
同一演算法不同設定下的集成
資料集不同部分分配給不同分類器後的集成
AdaBoost
優點
泛化錯誤率低
易編碼
可應用在大部分分類器上
無參數調整
缺點
對離群點敏感
適用資料型
數值型
標稱型
bagging:基於資料隨機重抽樣的分類器建立方法
自舉匯聚法
從原始資料集,選S次後得到S個新資料集的技術
新資料集和原始資料集大小相等
每個資料集都是透過在原始資料集隨機選擇一個樣本,替換成另一個隨機樣本而得到的
通常被認為是放回取樣的
允許新資料集有重複值,而原始資料集某些值不再出現
S個資料集建好後,將某個學習演算法分別作用於每個資料集得到S個分類器
當對新資料分類時,應用這S個分類器,選擇最多的類別
隨機森林
boosting
類似於bagging
相同
使用的多個分類器一致
不同
訓練
bagging的分類器是串行訓練獲得的,每個新分類器都根據已訓練出的分類器進行訓練
boosting透過專注於被已有分類器錯分的資料來獲得新的分類器
分類結果
bagging每個分類器權重相同
boosting每個分類器的權重代表的是上一輪迭代中的成功度
AdaBoost流程
收集數據
任意方法
準備數據
依賴所使用的弱分類器類型
本章:單層決策樹
簡單的弱分類器效果更好
分析數據
任意方法
訓練資料
大部分時間用於訓練
分類器將多次在同一資料集上訓練弱分類器
測試演算法
計算分類的錯誤率
使用演算法
類似SVM
訓練演算法:基於錯誤提升分類器的效能
AdaBoost
adaptive boosting
運行過程
訓練資料中的每個樣本,並賦予其一個權重,構成向量D
一開始權重相等
首先,在訓練資料上訓練出一個弱分類器並計算錯誤率
然後,在同一資料集上再次訓練弱分類器
重新調整權重
對的
降低
錯的
提高
為每個分類器分配了一個權重值alpha
基於每個弱分類器的錯誤率計算
錯誤率
未正確分類樣本數/所有樣本數
不斷重複迭代,直至
錯誤率0
弱分類器數目達到使用者指定值
基於單層決策樹建構弱分類器
單層決策樹
又稱決策樹樁
工作原理
僅基於單一特徵做決策
虛擬程式碼
將最小錯誤率minError設定為正無窮
對資料集中的每一個特徵
對每個步長
對每個不等號
建立一棵單層決策樹,並利用加權資料集對其測試
如果錯誤率低於minError,將目前單層決策樹設為最佳單層決策樹
傳回最佳單層決策樹
完整AdaBoost演算法的實現
虛擬程式碼
對每次迭代
利用buildStump()函數找到最佳的單層決策樹
將最佳單層決策樹加入單層決策樹數組
計算alpha
計算新的權重向量D
更新累計類別估算值
如果錯誤率等於0.0,退出循環
測試演算法:基於AdaBoost的分類
範例:在一個困難資料集上應用AdaBoost
過擬合
overfitting,過學習
測試錯誤率在達到一個最小值後又開始上升
有文獻稱,表現好的資料集測試錯誤率會達到一個穩定值
非均衡分類問題
其他分類效能度量指標:準確率,召回率,ROC曲線
混淆矩陣
可以幫助人們更好的了解分類上的錯誤
真陽TP、假陽FP、真陰TN、假陰FN
準確率
TP/(TP FP)
召回率
TP/(TP FN)
ROC曲線
接收者操作特徵
橫軸
假陽的比例
FP/(FP TN)
縱軸
真陽的比例
TP/(TP FN)
用於
比較分類器
成本效益分析
理想情況下
最佳的分類器盡可能處於左上角
曲線下的面積AUC
分類器的平均性能值
基於代價函數的分類器決策控制
代價敏感的學習
有除0、1外值的代價矩陣
引入代價訊息
AdaBoost
基於代價函數來調整錯誤權重向量D
樸素貝葉斯
選擇最小期望代價而不是最大機率的類別作為分類結果
SVM
在代價函數中對不同類別選擇不同的參數C
處理非均衡問題的資料抽樣方法
欠抽樣
刪除範例
選離決策邊界較遠的範例刪除
欠抽樣和過抽樣混合
過抽樣
複製範例
複製已有範例
加入與已有範例相似的點
插值點
可能造成過擬合