如果一個樣本在特徵空間中的k個最相似(即特徵空間中最鄰近)的樣本中的大多數屬於某一個類別，則該樣本也屬於這個類別

特徵空間

1.計算已知類別資料集中的點與目前點之間的距離

2.把這些距離依升序排列

3.選取與目前點距離最小的k個點

4.統計前k個點所在的類別出現的頻率(求K個類別的眾數)

5.把眾數類別作為當前點的類別

實現了許多機器學習演算法的機器學習工具

sklearn.neighbors.KNeighborsclassfier(n_neighbors)

字串長度相等

計算字串的距離

兩個集合的距離

近似誤差

估計誤差

欠擬合

過擬合

受異常點影響大

模型複雜， 學習能力強，容易過度擬合

樣本不平衡的影響大

模型簡單， 學習能力弱， 容易欠擬合

樹的概念

kd樹的作用

1. 隨機選擇一個特徵，取這個特徵的中位數作為分割點將資料分成平均的兩部分。選取的特徵為目前節點的分割特徵，中位數的點作為目前節點，在該特徵上，小於中位數的點被劃入左節點，大於中位數的點被劃入右節點；

2. 分別對左節點和右節點上的資料重複第一步；

3. 直到把所有樣本放到節點上為止

1. 查詢點M與kd樹上每個節點的劃分特徵及對應的中位數進行比較，不斷往下比較，直到到達葉子節點為止。依序記錄整個過程中走過的節點search_path；

2. search_path末尾節點為N，不取出N，記錄dist=M與N的距離, nearest=N；

3. 從search_path末尾取出一個節點L，該節點的劃分軸為x，計算M點到x軸的距離a，接著分兩種情況處理：

4. 重複第3步，直到search_path為空；

5. nearest就是離查找點最近的點，最近的距離為dist。

API：load_* 如：load_iris()

API：fetch_* 如：fetch_20newsgroups(sub_set='train')

參數說明：sub_set='train' 指定取得的資料集類型

資料類型：datasets.base.Bunch(字典格式)

data：特徵資料數組

target：標籤（目標值）數組

feature_names：特徵名

target_names：標籤名

keys() 取得字典的所有屬性（欄位）

歸一化的缺點 ：受異常值的影響大

API：MinMaxScaler(feature_range)

作用：把數據轉換到0~1之間

API ：StandarScalar()

作用：把資料轉換為mean=0, std=1

把訓練集平均分成N份，分別取不同的一份為驗證集，其它為訓練集，訓練和驗證模型表現，將N次模型表現的平均值作為該模型在這個訓練集上的表現

尋找最優的超參數組合

sklearn.model_selection.GridSearchCV(estimator, param_grid, cv)

直接計算最優參數

注意：只適用於最小平方法損失的線性迴歸模型

透過梯度不斷迭代尋找最優可訓練參數

通用的最佳化方法

損失函數 梯度下降是最常見的模型最佳化方法

增加資料的特徵數量

新增多項式項

重新清洗數據

增大數據的訓練量

正規化

減少特徵數量

「混亂」程度的量度

entropy = -p1logp1 - p2logp2 ... pn*log(pn)

以某特徵劃分資料集前後的熵的差值

資訊增益 = entroy(前) - entroy(後)

資訊增益越大，表示這個特徵的劃分方式越好

資訊增益/分離資訊度量

分離資訊量測 = 某個特徵的各個類別出現的機率計算出來的熵

基尼值：從資料集D中隨機抽取兩個樣本，其目標值（標記）不一致的機率

基尼值越小，資料集的純度越高

基尼增益 = 基尼值（前）- 基尼值（後）

基尼值增益越大，這種劃分方式越好

每一個結點所包含的最小樣本數目，例如10，則該結點總樣本數小於10時，則不再分

指定樹的高度或深度，例如樹的最大深度為4

指定結點的熵小於某個值，不再劃分

方法和預剪枝類似

sklearn.feature_extraction.text.CountVectorizer(stop_words=[])

TF: 詞頻

IDF：逆文檔頻率

TF-IDF

結巴分詞：jieba.cut

剪枝

隨機森林