Definizione: un albero decisionale è una struttura ad albero che guida il processo decisionale attraverso una serie di domande o condizioni.

Spiegazione visiva: può essere paragonato al processo decisionale nella nostra vita quotidiana, in cui una decisione viene finalmente presa attraverso livelli di screening.

L'albero decisionale è come un saggio "albero guida". Si trova nella foresta dei dati e ci aiuta a orientarci e a trovare le risposte che desideriamo. Immagina di trovarti a un bivio sconosciuto e di voler andare verso una destinazione specifica ma di non sapere dove andare. In questo momento, se davanti a te appare un "albero guida", cosa farà?

(1) Nodo decisionale: il nodo che determina il ramo successivo.

(2) Ramo del piano: il ramo dal nodo decisione rappresenta diversi piani decisionali.

(3) Nodo Stato: un nodo che rappresenta il risultato o lo stato della decisione, che può essere un risultato intermedio o un risultato finale.

(4) Ramo della probabilità: collega i nodi di stato e rappresenta la probabilità che si verifichino stati diversi.

Il primo passo è disegnare un diagramma ad albero e disporre ciascuno schema e i vari stati naturali di ciascuno schema secondo le condizioni note.

Nella seconda fase, segna la probabilità e il valore dei profitti e delle perdite di ciascuno stato sul ramo della probabilità.

Il terzo passo è calcolare il valore atteso di ciascun piano e contrassegnarlo sul nodo di stato corrispondente al piano.

Il quarto passaggio consiste nell'eseguire la potatura (la potatura è uno dei modi per interrompere la ramificazione in un albero decisionale. Per evitare un adattamento eccessivo, l'albero generato deve essere tagliato per rimuovere alcuni nodi non necessari), confrontare i valori attesi di ciascuno soluzione e contrassegnarla sul ramo del piano e l'ultimo piano rimanente con un valore atteso basso (ovvero, eliminando i piani inferiori) è il piano migliore.

Vantaggi: intuitivo, facile da capire, altamente interpretabile e in grado di gestire dati numerici e categorici.

Svantaggi: incline al sovradattamento, sensibile ai valori anomali, mancanza di fluidità e propensione alla selezione di caratteristiche con più autovalori.

Nelle applicazioni pratiche è necessario scegliere se utilizzare gli alberi decisionali e come ottimizzarli in base a scenari ed esigenze specifiche.

Ambito di applicazione: adatto per problemi di classificazione e previsione, soprattutto quando la selezione delle caratteristiche è chiara e la dimensione dei dati è moderata.

Metodi comunemente usati:

Espandere

L'analisi di regressione è un metodo di analisi statistica dei dati. Studia principalmente come una o più variabili indipendenti (chiamate anche variabili predittive, variabili esplicative o variabili indipendenti) influenzano la variabile dipendente (chiamata anche variabile di risposta, variabile spiegata o cambiamenti nella variabile dipendente). ).

In poche parole, l'analisi di regressione tenta di trovare una relazione matematica o un modello tra la variabile indipendente e la variabile dipendente in modo che il valore della variabile dipendente possa essere previsto in base al valore della variabile indipendente.

L’analisi di regressione è ampiamente utilizzata in vari campi, come l’economia, la sociologia, la medicina, l’ingegneria, ecc. Per esempio:

(1) Regressione lineare: esiste una relazione lineare tra la variabile indipendente e la variabile dipendente, che è il tipo più semplice e più comunemente utilizzato.

(2) Regressione logistica: utilizzata principalmente per problemi di classificazione, previsione della probabilità di un evento e mappatura dei risultati della regressione lineare tra 0 e 1 per esprimere la probabilità.

(3) Regressione polinomiale: la relazione dei dati tra la variabile indipendente e la variabile dipendente non è lineare, ma ha una relazione polinomiale e i dati possono essere adattati mediante polinomi.

(4) Regressione graduale: introducendo o eliminando gradualmente variabili indipendenti, importanti variabili indipendenti vengono selezionate automaticamente per evitare la multicollinearità e selezionare il modello di regressione ottimale.

(5) Regressione della cresta: un metodo di regressione lineare migliorato che elabora dati ad alta dimensione, riduce la complessità del modello, previene l'adattamento eccessivo e viene utilizzato per risolvere problemi di multicollinearità.

(1) Modello di regressione lineare: y = ax b, dove a è la pendenza e b è l'intercetta.

(2) Modello di regressione non lineare: esiste una relazione non lineare tra variabili indipendenti e variabili dipendenti, come funzioni esponenziali, funzioni logaritmiche, ecc.

(3) Modello di regressione logistica: utilizzato per prevedere la probabilità che si verifichi un evento, ad esempio prevedere se un utente farà clic su un annuncio pubblicitario.

(4) Modello di regressione Ridge: aggiungere termini di regolarizzazione alla funzione di perdita per evitare un overfitting.

(5) Regressione delle componenti principali: ridurre il numero di variabili indipendenti e migliorare l'efficienza del modello attraverso la riduzione della dimensionalità. Eseguire innanzitutto l'analisi delle componenti principali sulle variabili indipendenti, quindi utilizzare le componenti principali per eseguire la regressione.

(1) Determinare le variabili indipendenti e le variabili dipendenti: chiarire le domande e gli obiettivi da studiare.

(2) Raccogliere dati: raccogliere dati rilevanti sulla variabile indipendente e sulla variabile dipendente.

(3) Selezionare il modello di regressione: selezionare un modello appropriato in base alle caratteristiche dei dati e agli obiettivi della ricerca.

(4) Adattamento del modello: utilizzare i dati per stimare i parametri del modello.

(5) Valutazione del modello: valutare l'effetto di adattamento e la capacità di previsione del modello.

(6) Applicazione del modello: utilizzare modelli per la previsione e l'analisi.