Remover recursos de baixa variação

O método de empacotamento seleciona continuamente subconjuntos de recursos do conjunto de recursos inicial, treina o aluno e avalia os subconjuntos com base no desempenho do aluno até que o melhor subconjunto seja selecionado.

problema de seleção de valor k

O erro de aproximação é o erro de treinamento no conjunto de treinamento

O erro de estimativa é o erro de teste no conjunto de teste

Simples e eficaz

A reciclagem é barata

Adequado para amostras cruzadas de domínio de classe

Adequado para classificação automática de amostras grandes

aprendizagem preguiçosa

A saída não é muito interpretável

Não é bom em amostras desequilibradas

Obtemos uma probabilidade de entretenimento de 0, o que não é razoável

Fórmula

vantagem

deficiência

O critério para maximizar o ganho de informação

Entenda do ponto de vista extremo: se houver apenas uma categoria adicionada a um determinado recurso, então o ganho de informação é zero, e iremos deletar esse recurso

Desvantagens: Quando os valores de entropia são semelhantes, dois recursos são multiplicados por 1/2 e três recursos são multiplicados por 1/3, portanto o ganho é grande. Portanto, o algoritmo ID3 prefere recursos com um número relativamente grande de recursos.

Critério máximo da relação de ganho de informação

Árvore de classificação: critério mínimo do coeficiente de Gini

Se o empréstimo está em atraso

1. Compreensão e explicação simples, visualização em árvore. 2. Requer pouca preparação de dados, outras técnicas geralmente requerem normalização e padronização de dados

1. Totalmente desenvolvida, a árvore é muito complexa e fácil de ajustar demais. 2. As árvores de decisão podem ser instáveis ​​porque pequenas alterações nos dados podem causar a geração de árvores completamente diferentes.

pré-poda

pós-poda

Processo de derivação (𝑋 é a matriz de autovalores, 𝑦 é a matriz de valores alvo )

Desvantagens: 1. Quando os recursos são muito complexos, a velocidade da solução é muito lenta. 2. Às vezes, a transposta de X multiplicada pela matriz inversa de X não está disponível e não pode ser resolvida.

Previsão de retorno do preço das casas em Boston na prática

Fórmula de gradiente descendente (w = w1-taxa de aprendizagem * derivada da perda em relação a w)

taxa de Aprendizagem

processo de descida

Previsão de retorno do preço das casas em Boston na prática

Alguns pontos de conhecimento

Fórmula da função (z é o resultado da regressão)

Saída: valor de probabilidade no intervalo [0,1], padrão 0,5 como limite

Coeficiente de contorno

Explicação do coeficiente de silhueta

1. Se 〖𝑠𝑐〗_ responsável for menor que 0, significa que a distância média de 𝑎_ responsável é maior que os outros clusters mais próximos. O efeito de agrupamento não é bom 2. Se 〖𝑠𝑐〗_ responsável for maior, significa que a distância média de 𝑎_ responsável é menor que os outros clusters mais próximos. Bom efeito de agrupamento 3. O valor do coeficiente de silhueta está entre [-1,1]. Quanto mais próximo estiver de 1, melhor será a coesão e a separação.

Ler tabelas, mesclar tabelas

Faça uma tabela cruzada de ID do usuário e ID do produto

Redução da dimensionalidade da análise de componentes principais do PCA

modelo de agrupamento

Agrupamento de resultados

Cálculo do coeficiente de silhueta

A previsão do próximo classificador base depende da saída do classificador base anterior

O método Boosting usa um método serial para treinar classificadores básicos e há dependências entre cada classificador base. Sua ideia básica é empilhar classificadores base camada por camada. Durante o treinamento, cada camada atribui maior peso às amostras que foram classificadas incorretamente pelo classificador base da camada anterior. Durante os testes, o resultado final é obtido com base na ponderação dos resultados de cada camada de classificadores.

Não há forte dependência entre os classificadores base e eles podem ser treinados em paralelo. Por exemplo, uma floresta aleatória baseada em um classificador baseado em árvore de decisão. Para tornar os classificadores base independentes entre si, o conjunto de treinamento é dividido em vários subconjuntos (quando o número de amostras de treinamento é pequeno, pode haver sobreposição entre os subconjuntos). É mais como um processo coletivo de tomada de decisão. Cada indivíduo aprende individualmente. O conteúdo de aprendizagem pode ser o mesmo, diferente ou parcialmente sobreposto. No entanto, devido às diferenças entre os indivíduos, os julgamentos finais não serão completamente consistentes. No processo de tomada de decisão final, cada indivíduo faz um julgamento individualmente e, em seguida, a decisão coletiva final é tomada através de votação.

desvio

variação

Exemplo de modelo de filmagem

A relação entre erro de generalização, viés, variância e complexidade do modelo

Diagrama de ensacamento

O Modelo 1, o Modelo 2 e o Modelo 3 são todos treinados usando um subconjunto do conjunto de treinamento. Vistos individualmente, seus limites de decisão são muito tortuosos e tendem a se ajustar demais. O limite de decisão do modelo integrado (mostrado pela linha vermelha) é mais suave do que o de cada modelo independente. Isso se deve ao método de votação ponderada integrada, que reduz a variância.

Selecione a árvore de decisão ID3 como classificador base A razão é: o modelo em árvore tem uma estrutura simples e é propenso à aleatoriedade, então Mais comumente usado

Para amostras classificadas corretamente, o peso é reduzido, e para amostras classificadas incorretamente, o peso é aumentado ou mantido inalterado. No processo final de fusão de modelos, os classificadores base também são ponderados e fundidos de acordo com a taxa de erro. Classificadores com baixas taxas de erro têm maior “direito de falar”

idéia principal

Exemplo

O GBDT original constrói uma nova árvore de decisão com base no gradiente negativo da função de perda empírica e somente remove após a construção da árvore de decisão. XGBoost adiciona termos regulares na fase de construção da árvore de decisão. Comparado ao GBDT, o XGBoost também fez muitas otimizações na implementação de engenharia.

Existem principalmente três razões. (1) As árvores de decisão podem integrar mais facilmente o peso das amostras no processo de treinamento. (2) A capacidade de expressão e generalização da árvore de decisão pode ser comprometida ajustando o número de camadas da árvore. (3) A perturbação das amostras de dados tem um impacto maior na árvore de decisão, de modo que o classificador base da árvore de decisão gerado por diferentes conjuntos de subamostras é mais aleatório. Esse "aluno instável" é mais adequado como classificador base. Além disso, quando o nó da árvore de decisão é dividido, um subconjunto de recursos é selecionado aleatoriamente para encontrar o atributo de divisão ideal, o que introduz bem a aleatoriedade.

Como o modelo de rede neural também é relativamente “instável”, Além disso, a aleatoriedade também pode ser introduzida ajustando o número de neurônios, métodos de conexão, número de camadas de rede, pesos iniciais, etc.

Não pode. A floresta aleatória pertence à classe de aprendizado em conjunto. O principal benefício do bagging é que a variância do classificador integrado é menor que a variância do classificador base. O classificador base utilizado no ensacamento deve preferencialmente ser aquele que seja sensível à distribuição da amostra (o chamado classificador instável), para que o ensacamento possa ser útil. Classificadores lineares ou K-vizinhos mais próximos são classificadores relativamente estáveis ​​e suas variações não são grandes.

vantagem (1) A velocidade de cálculo na fase de previsão é rápida. (2) Em conjuntos de dados densamente distribuídos, a capacidade de generalização e a capacidade de expressão são muito boas, o que torna o GBDT frequentemente no topo da lista em muitas competições Kaggle. (3) O uso de árvores de decisão como classificadores fracos faz com que o modelo GBDT tenha melhor interpretabilidade e robustez, possa descobrir automaticamente relacionamentos de alta ordem entre recursos e não exija pré-processamento especial de dados, como normalização, etc.

limitações (1) O desempenho do GBDT é pior do que máquinas de vetores de suporte ou redes neurais em conjuntos de dados esparsos de alta dimensão. (2) O GBDT não tem vantagens óbvias ao lidar com problemas de recursos de classificação de texto. (3) O processo de treinamento requer treinamento em série, e alguns métodos paralelos locais só podem ser usados ​​dentro da árvore de decisão para melhorar a velocidade do treinamento.

No gradiente descendente, o modelo é representado de forma parametrizada, de forma que a atualização do modelo equivale à atualização dos parâmetros.

No aumento de gradiente, o modelo não precisa ser parametrizado, mas é definido diretamente no espaço funcional, o que amplia muito os tipos de modelos que podem ser utilizados, para que diferentes modelos possam ser combinados, como GBDT

Princípio de cálculo de votação

make_moons (y tem dois rótulos 0,1)

dividir

AdaBoost GBDT