Cada vez que você constrói um conjunto de treinamento, você precisa selecionar aleatoriamente k amostras do conjunto de dados D e selecionar aleatoriamente n recursos de M recursos.

Ilustração:

Cada vez que um conjunto de treinamento é construído, n recursos precisam ser selecionados aleatoriamente dos M recursos do conjunto de dados D e ponderados linearmente para formar um conjunto de dados contendo F novos recursos. (Número aleatório com coeficiente de peso [-1,1])

Ilustração:

Floresta-RI

Floresta-RC

Mecanismo de votação: o modo de todos os resultados fracos dos alunos

Ilustração:

Durante o treinamento, as árvores são independentes umas das outras e a velocidade de treinamento é rápida.

O erro de generalização utiliza estimativa imparcial e o modelo tem forte capacidade de generalização.

Ele tem seu próprio conjunto de dados empacotados, portanto não há necessidade de separar o conjunto de validação cruzada

Diante de conjuntos de dados desequilibrados e ausentes, a precisão do modelo ainda é alta

Florestas aleatórias podem se ajustar demais a alguns problemas ruidosos de classificação ou regressão

A floresta aleatória tem muitos parâmetros e é difícil de ajustar.

Familiarize-se primeiro com os parâmetros e depois ajuste-os com base na pesquisa de grade.

Ilustração da influência dos parâmetros no modelo:

Inicialize os pesos amostrais, ou seja, cada amostra tem o mesmo peso

Atualizar os pesos das amostras, ou seja, reduzir o peso das amostras classificadas corretamente e aumentar o peso das amostras classificadas incorretamente.

Ilustração:

Etapa 1: Calcular a taxa de erro do aluno fraco atual (a razão entre o número de amostras classificadas incorretamente e o número de todas as amostras)

Etapa 2: Calcular o peso do aluno fraco atual com base na taxa de erro

Ilustração:

modelo linear

Como julgar?

AdaBoost tem alta precisão

AdaBoost pode usar diferentes algoritmos de classificação como classificadores fracos e não está limitado a árvores de decisão.

O treinamento de parâmetros é demorado

O desequilíbrio de dados pode facilmente levar à perda de precisão

O número de classificadores fracos não é fácil de determinar

Adequado para dados de baixa dimensão e pode lidar com dados não lineares

Usando algumas funções de perda robustas, é muito robusto para valores discrepantes

Devido às vantagens do ensacamento e do reforço, o nível teórico é superior ao da floresta aleatória e do adaboost.

Dificuldade em treinar dados em paralelo devido a dependências entre alunos fracos

Dimensões de dados mais altas aumentarão a complexidade computacional do algoritmo.

Como o aluno fraco é um regressor, não pode ser usado diretamente para classificação.