Si la plupart des k échantillons les plus similaires (c'est-à-dire les plus proches voisins dans l'espace des caractéristiques) d'un échantillon appartiennent à une certaine catégorie, alors l'échantillon appartient également à cette catégorie.

espace de fonctionnalités

1. Calculez la distance entre le point dans l'ensemble de données de catégorie connue et le point actuel

2. Classez ces distances par ordre croissant

3. Sélectionnez les k points avec la plus petite distance du point actuel

4. Compter la fréquence d'apparition de la catégorie où se situent les k premiers points (trouver le mode des K catégories)

5. Utilisez la catégorie de mode comme catégorie du point actuel

Outils d'apprentissage automatique qui implémentent de nombreux algorithmes d'apprentissage automatique

sklearn.neighbours.KNeighborsclassfier(n_neighbours)

Les longueurs de chaîne sont égales

Calculer la distance de la chaîne

distance entre deux ensembles

erreur d'approximation

erreur d'estimation

Sous-ajustement

surapprentissage

Largement affecté par les valeurs aberrantes

Le modèle est complexe, possède une forte capacité d’apprentissage et est sujet au surapprentissage.

L'impact du déséquilibre de l'échantillon est important

Le modèle est simple, a une faible capacité d’apprentissage et est sujet au sous-ajustement.

notion d'arbre

Le rôle de l'arbre kd

1. Sélectionnez au hasard une entité, prenez la médiane de cette entité comme point de division pour diviser les données en deux parties égales. L'entité sélectionnée est l'entité de division du nœud actuel et le point médian est utilisé comme nœud actuel. Sur cette entité, les points plus petits que la médiane sont classés dans le nœud de gauche et les points plus grands que la médiane sont classés dans le nœud de droite. nœud;

2. Répétez la première étape pour les données sur le nœud gauche et le nœud droit respectivement ;

3. Jusqu'à ce que tous les échantillons soient placés sur le nœud

1. Comparez le point de requête M avec les caractéristiques de division et la médiane correspondante de chaque nœud de l'arbre kd, et continuez à comparer vers le bas jusqu'à atteindre le nœud feuille. Enregistrez dans l'ordre les nœuds parcourus tout au long du processus search_path ;

2. Le nœud à la fin de search_path est N, ne retirez pas N, enregistrez la distance entre dist=M et N, le plus proche=N ;

3. Retirez un nœud L de la fin de search_path, l'axe de division de ce nœud est x, calculez la distance a du point M à l'axe x, puis gérez-la dans deux cas :

4. Répétez l'étape 3 jusqu'à ce que search_path soit vide ;

5. Le plus proche est le point le plus proche du point de recherche et la distance la plus proche est la distance.

API : load_* Tel que : load_iris()

API : fetch_* Tel que : fetch_20newsgroups(sub_set='train')

Description du paramètre : sub_set='train' spécifie le type d'ensemble de données à obtenir

Type de données : datasets.base.Bunch (format dictionnaire)

data : tableau de données de caractéristiques

target : tableau d’étiquettes (valeurs cibles)

feature_names : noms de fonctionnalités

target_names : noms de balises

keys() récupère tous les attributs (champs) du dictionnaire

Inconvénients de la normalisation : fortement affecté par les valeurs aberrantes

API : MinMaxScaler (feature_range)

Fonction : Convertir les données entre 0 et 1

API : StandarScalar()

Fonction : Convertir les données en moyenne = 0, std = 1

Divisez l'ensemble de formation uniformément en N parties, prenez une partie différente comme ensemble de vérification et l'autre partie comme ensemble de formation, entraînez et vérifiez les performances du modèle, et utilisez la moyenne des N fois de performance du modèle comme performance du modèle sur cet ensemble de formation.

Trouver la combinaison optimale d'hyperparamètres

sklearn.model_selection.GridSearchCV (estimateur, param_grid, cv)

Calculer directement les paramètres optimaux

REMARQUE : Applicable uniquement aux modèles de régression linéaire avec perte des moindres carrés

Parcourez continuellement les gradients pour trouver les paramètres optimaux pouvant être entraînés

Méthodes générales d'optimisation

Fonction de perte La descente de gradient est la méthode d'optimisation de modèle la plus courante

Augmenter le nombre de fonctionnalités des données

Ajouter des termes polynomiaux

Nettoyer à nouveau les données

Augmenter la quantité de données d'entraînement

Régularisation

Réduire le nombre de fonctionnalités

Une mesure de « chaos »

entropie = -p1logp1 - p2logp2 ... pn*log(pn)

La différence d'entropie avant et après la division de l'ensemble de données par une certaine fonctionnalité

Gain d'information = entrée (avant) - entrée (après)

Plus le gain d’informations est important, meilleure est la méthode de classification de cette fonctionnalité.

Mesure du gain d’informations/informations séparées

Mesure d'information de séparation = entropie calculée à partir de la probabilité d'occurrence de chaque catégorie d'une caractéristique

Valeur de Gini : la probabilité que deux échantillons sélectionnés au hasard dans l'ensemble de données D aient des valeurs cibles (étiquettes) incohérentes.

Plus la valeur de Gini est petite, plus la pureté de l'ensemble de données est élevée.

Gain Gini = valeur Gini (avant) - valeur Gini (après)

Plus le gain de valeur de Gini est important, meilleure est cette méthode de division.

Le nombre minimum d'échantillons contenus dans chaque nœud, par exemple 10. Si le nombre total d'échantillons au niveau du nœud est inférieur à 10, aucune classification ne sera effectuée.

Spécifiez la hauteur ou la profondeur de l'arbre, par exemple, la profondeur maximale de l'arbre est de 4

Si l'entropie du nœud spécifié est inférieure à une certaine valeur, elle ne sera plus divisée.

La méthode est similaire à la pré-taille

sklearn.feature_extraction.text.CountVectorizer(stop_words=[])

TF : fréquence des mots

IDF : fréquence inverse des documents

TF-IDF

Participe bégayant : jieba.cut

taille

forêt aléatoire