훈련 세트를 구축할 때마다 데이터 세트 D에서 k개의 샘플을 무작위로 선택하고, M개의 특징 중에서 n개의 특징을 무작위로 선택해야 합니다.

삽화:

훈련 세트가 구성될 때마다 데이터 세트 D의 M개의 특징 중에서 n개의 특징을 무작위로 선택하고 선형 가중치를 부여하여 F개의 새로운 특징을 포함하는 데이터 세트를 형성해야 합니다. (무게 계수가 [-1,1]인 난수)

삽화:

포레스트-RI

포레스트-RC

투표 메커니즘: 모든 약한 학습자 결과의 모드

삽화:

훈련하는 동안 나무는 서로 독립적이며 훈련 속도가 빠릅니다.

일반화 오류는 편향되지 않은 추정을 사용하며 모델은 강력한 일반화 능력을 가지고 있습니다.

자체 배깅된 데이터 세트가 있으므로 교차 검증 세트를 분리할 필요가 없습니다.

불균형하고 누락된 데이터 세트에도 불구하고 모델 정확도는 여전히 높습니다.

랜덤 포레스트는 일부 시끄러운 분류 또는 회귀 문제에 과적합될 수 있습니다.

랜덤 포레스트에는 매개변수가 많아 조정이 어렵습니다.

먼저 매개변수를 숙지한 후 그리드 검색을 기반으로 조정하세요.

모델에 대한 매개변수의 영향을 보여주는 그림:

샘플 가중치를 초기화합니다. 즉, 각 샘플의 가중치가 동일합니다.

샘플 가중치를 업데이트합니다. 즉, 올바르게 분류된 샘플의 가중치를 줄이고 잘못 분류된 샘플의 가중치를 늘립니다.

삽화:

1단계: 현재 약한 학습기의 오류율 계산(전체 샘플 수에 대한 잘못 분류된 샘플 수의 비율)

2단계: 오류율을 기반으로 현재 약한 학습기의 가중치 계산

삽화:

선형 모델

어떻게 판단하나요?

AdaBoost는 정확도가 높습니다.

AdaBoost는 다양한 분류 알고리즘을 약한 분류자로 사용할 수 있으며 의사결정 트리에만 국한되지 않습니다.

매개변수 훈련에는 시간이 많이 걸립니다

데이터 불균형으로 인해 정확성이 쉽게 저하될 수 있음

약한 분류기의 수를 결정하기가 쉽지 않습니다.

저차원 데이터에 적합하며 비선형 데이터 처리 가능

일부 강력한 손실 함수를 사용하면 이상값에 매우 강력합니다.

배깅과 부스팅의 장점으로 인해 랜덤 포레스트나 아다부스트보다 이론적인 수준이 더 높습니다.

약한 학습자 간의 종속성으로 인해 데이터를 병렬로 훈련하기 어려움

데이터 차원이 높을수록 알고리즘의 계산 복잡성이 증가합니다.

약한 학습기는 회귀변수이므로 분류에 직접 사용할 수 없습니다.