每次建構訓練集都需要從資料集D中隨機抽取k個樣本，M個特徵中隨機抽取n個特徵

圖解：

每次建構訓練集都需要從資料集D的M個特徵中隨機抽取n個特徵做線性加權，形成包含F個新特徵的資料集。 (權重係數為[-1,1]的隨機數)

圖解：

Forest-RI

Forest-RC

投票機制：所有弱學習器結果的眾數

圖解：

訓練時樹與樹之間是互相獨立的，訓練速度快

泛化誤差使用的是無偏估計，模型泛化能力強

自身俱有袋裝資料集，無需單獨換分交叉驗證集

面對不平衡、缺失資料集，模型準確率依舊較高

隨機森林在某些雜訊較大的分類或迴歸問題上會過度擬合

隨機森林參數較多，難以調參

先對參數進行熟悉，再根據網格搜尋進行調參

參數對模型的影響圖解：

初始化樣本權重，即各個樣本權重相同

更新樣本權重，即降低分類正確的樣本權重，提升分類錯誤的樣本權重

圖解：

第一步：計算目前弱學習器的誤差率(分類錯誤的樣本數佔所有樣本數的比例)

第二步：根據誤差率計算目前弱學習器的權重

圖解：

線性模型

如何判斷？

AdaBoost具有很高的精度

AdaBoost可將不同的分類演算法作為弱分類器，不拘泥於決策樹

參數訓練比較耗時

資料不平衡容易導致精確度遺失

弱分類器的數目不易確定

適合低維度資料且能處理非線性數據

採用一些健壯的損失函數，對異常值的穩健性非常強

由於兼具Bagging與Boosting的優勢，理論層次上高於隨機森林與adaboost

由於弱學習器之間存在依賴關係，難以並行訓練數據

資料維度較高時會加大演算法的計算複雜度

由於弱學習器為回歸器，因此無法直接用於分類