Rimuovere le funzionalità a bassa varianza

Il metodo di avvolgimento seleziona continuamente sottoinsiemi di funzionalità dall'insieme di funzionalità iniziale, forma lo studente e valuta i sottoinsiemi in base alle prestazioni dello studente fino a quando non viene selezionato il sottoinsieme migliore.

Problema di selezione del valore k

L'errore di approssimazione è l'errore di addestramento sul set di addestramento

L'errore di stima è l'errore di test sul set di test

Semplice ed efficace

La riqualificazione è economica

Adatto per campioni incrociati di domini di classe

Adatto per la classificazione automatica di campioni di grandi dimensioni

apprendimento pigro

L'output non è molto interpretabile

Non bravo con campioni sbilanciati

Otteniamo una probabilità di intrattenimento pari a 0, il che è irragionevole

formula

vantaggio

discordanza

Il criterio per massimizzare il guadagno di informazioni

Comprendi dal punto di vista estremo: se viene aggiunta solo una categoria a una determinata funzionalità, il guadagno di informazioni è pari a zero e elimineremo questa funzionalità

Svantaggi: quando i valori di entropia sono simili, due caratteristiche vengono moltiplicate per 1/2 e tre caratteristiche vengono moltiplicate per 1/3, quindi il guadagno è ampio. Pertanto, l'algoritmo ID3 preferisce funzionalità con un numero relativamente elevato di funzionalità.

Criterio massimo del rapporto di guadagno delle informazioni

Albero di classificazione: criterio minimo del coefficiente di Gini

Se il prestito è in arretrato

1. Comprensione e spiegazione semplici, visualizzazione dell'albero. 2. Richiede poca preparazione dei dati, altre tecniche di solito richiedono la normalizzazione e la standardizzazione dei dati

1. Completamente sviluppato, l'albero è troppo complesso e facile da adattare. 2. Gli alberi decisionali potrebbero essere instabili poiché piccole modifiche nei dati potrebbero causare la generazione di alberi completamente diversi.

pre-potatura

post-potatura

Processo di derivazione (𝑋 è la matrice degli autovalori, 𝑦 è la matrice dei valori target )

Svantaggi: 1. Quando le funzionalità sono troppo complesse, la velocità della soluzione è troppo lenta. 2. A volte la trasposizione di X moltiplicata per la matrice inversa di X non è disponibile e non può essere risolta.

Previsioni sul rendimento dei prezzi delle case a Boston nella pratica

Formula di discesa del gradiente (w=w1-tasso di apprendimento * derivata della perdita rispetto a w)

tasso di apprendimento

processo di discesa

Previsioni sul rendimento dei prezzi delle case a Boston nella pratica

Alcuni punti di conoscenza

Formula della funzione (z è il risultato della regressione)

Output: valore di probabilità nell'intervallo [0,1], valore predefinito 0,5 come soglia

Coefficiente di contorno

Spiegazione del coefficiente di silhouette

1. Se 〖𝑠𝑐〗_ responsabile è inferiore a 0, significa che la distanza media di 𝑎_ responsabile è maggiore degli altri cluster più vicini. L'effetto di clustering non è buono 2. Se 〖𝑠𝑐〗_ responsabile è maggiore, significa che la distanza media di 𝑎_ responsabile è inferiore rispetto agli altri cluster più vicini. Buon effetto di clustering 3. Il valore del coefficiente di silhouette è compreso tra [-1,1]. Quanto più si avvicina a 1, tanto migliori sono la coesione e la separazione.

Leggi tabelle, unisci tabelle

Crea una tabella incrociata di ID utente e ID prodotto

Riduzione dimensionale dell'analisi delle componenti principali della PCA

modello di clustering

Risultati del clustering

Calcolo del coefficiente di silhouette

La previsione del successivo classificatore di base dipende dall'output del precedente classificatore di base

Il metodo Boosting utilizza un metodo seriale per addestrare i classificatori di base e esistono dipendenze tra ciascun classificatore di base. La sua idea di base è quella di impilare i classificatori di base strato per strato Durante l'addestramento, ogni strato attribuisce un peso maggiore ai campioni che sono stati classificati erroneamente dal classificatore di base del livello precedente. Durante il test, il risultato finale si ottiene in base alla ponderazione dei risultati di ciascun livello di classificatori.

Non esiste una forte dipendenza tra i classificatori di base e possono essere addestrati in parallelo. Ad esempio, una foresta casuale basata su un classificatore basato su un albero decisionale. Per rendere i classificatori di base indipendenti l'uno dall'altro, il set di addestramento è diviso in diversi sottoinsiemi (quando il numero di campioni di addestramento è piccolo, potrebbe esserci sovrapposizione tra i sottoinsiemi). È più simile a un processo decisionale collettivo. Ogni individuo impara individualmente. Il contenuto di apprendimento può essere lo stesso, diverso o parzialmente sovrapposto. Tuttavia, a causa delle differenze tra gli individui, i giudizi finali non saranno del tutto coerenti. Nel processo decisionale finale, ogni individuo esprime un giudizio individualmente, quindi la decisione collettiva finale viene presa tramite votazione.

deviazione

varianza

Esempio di modello di ripresa

La relazione tra errore di generalizzazione, distorsione, varianza e complessità del modello

Diagramma di insaccamento

Il Modello 1, il Modello 2 e il Modello 3 vengono tutti addestrati utilizzando un sottoinsieme del set di addestramento. Visti individualmente, i loro confini decisionali sono molto tortuosi e tendono ad adattarsi eccessivamente. Il confine decisionale del modello integrato (mostrato dalla linea rossa) è più uniforme di quello di ciascun modello indipendente. Ciò è dovuto al metodo di voto ponderato integrato, che riduce la varianza.

Selezionare l'albero decisionale ID3 come classificatore di base Il motivo è: il modello ad albero ha una struttura semplice ed è quindi incline alla casualità Più comunemente usato

Per i campioni classificati correttamente il peso viene ridotto, mentre per i campioni classificati in modo errato il peso viene aumentato o mantenuto invariato. Nel processo finale di fusione del modello, anche i classificatori di base vengono ponderati e fusi in base al tasso di errore. I classificatori con bassi tassi di errore hanno un maggiore “diritto di parola”

idea principale

Esempio

Il GBDT originale costruisce un nuovo albero decisionale basato sul gradiente negativo della funzione di perdita empirica e lo pota solo dopo la costruzione dell'albero decisionale. XGBoost aggiunge termini regolari nella fase di costruzione dell'albero decisionale. Rispetto a GBDT, XGBoost ha apportato molte ottimizzazioni anche nell'implementazione tecnica.

I motivi sono principalmente tre. (1) Gli alberi decisionali possono integrare più facilmente il peso dei campioni nel processo di addestramento. (2) La capacità di espressione e la capacità di generalizzazione dell'albero decisionale possono essere compromesse regolando il numero di strati dell'albero. (3) La perturbazione dei campioni di dati ha un impatto maggiore sull'albero decisionale, quindi il classificatore di base dell'albero decisionale generato da diversi insiemi di sottocampioni è più casuale. Un tale "studente instabile" è più adatto come classificatore di base. Inoltre, quando il nodo dell'albero decisionale viene suddiviso, un sottoinsieme di funzionalità viene selezionato casualmente per trovare l'attributo di suddivisione ottimale, il che introduce bene la casualità.

Poiché anche il modello della rete neurale è relativamente "instabile", Inoltre, la casualità può essere introdotta anche regolando il numero di neuroni, i metodi di connessione, il numero di strati di rete, i pesi iniziali, ecc.

Non posso. La foresta casuale appartiene alla classe bagging dell'apprendimento d'insieme. Il vantaggio principale del bagging è che la varianza del classificatore integrato è inferiore alla varianza del classificatore di base. Il classificatore di base utilizzato nell'insaccamento dovrebbe preferibilmente essere sensibile alla distribuzione del campione (il cosiddetto classificatore instabile), in modo che l'insaccamento possa essere utile. I classificatori lineari o i vicini K più vicini sono classificatori relativamente stabili e le loro varianze non sono grandi.

vantaggio (1) La velocità di calcolo nella fase di previsione è elevata. (2) Su set di dati densamente distribuiti, la capacità di generalizzazione e la capacità di espressione sono molto buone, il che rende GBDT spesso in cima alla lista in molte competizioni Kaggle. (3) L'utilizzo degli alberi decisionali come classificatori deboli fa sì che il modello GBDT abbia una migliore interpretabilità e robustezza, possa scoprire automaticamente relazioni di ordine elevato tra caratteristiche e non richieda una preelaborazione speciale dei dati come la normalizzazione, ecc.

limitazioni (1) GBDT ha prestazioni peggiori rispetto alle macchine vettoriali di supporto o alle reti neurali su set di dati sparsi ad alta dimensione. (2) GBDT non presenta vantaggi evidenti nell'affrontare i problemi relativi alle caratteristiche di classificazione del testo. (3) Il processo di formazione richiede una formazione seriale e alcuni metodi paralleli locali possono essere utilizzati solo all'interno dell'albero decisionale per migliorare la velocità di formazione.

Nella discesa del gradiente, il modello è rappresentato in forma parametrizzata, in modo che l'aggiornamento del modello equivale all'aggiornamento dei parametri.

Nel gradient boosting, il modello non ha bisogno di essere parametrizzato, ma è definito direttamente nello spazio delle funzioni, il che espande notevolmente i tipi di modelli che possono essere utilizzati, in modo che diversi modelli possano essere combinati insieme, come GBDT

Principio di calcolo del voto

make_moons (y ha due etichette 0,1)

diviso

AdaBoost GBDT