01目錄CONTENTSKNN算法簡介02算法實(shí)現(xiàn)03評價算法KNN算法簡介1PartK最近鄰（K-NearestNeighbor，簡稱KNN）分類算法數(shù)據(jù)挖掘分類技術(shù)中最簡單常用的方法之一。所謂K最近鄰，就是尋找K個最近的鄰居的意思，每個樣本都可以用它最接近的K個鄰居來代表。本小節(jié)主要講解KNN分類算法的基礎(chǔ)知識及分析實(shí)例。KNN分類算法是最近鄰算法，字面意思就是尋找最近鄰居，由Cover和Hart在1968年提出，簡單直觀易于實(shí)現(xiàn)。下面通過一個經(jīng)典的例子來講解如何尋找鄰居，選取多少個鄰居。KNN分類算法核心思想是從訓(xùn)練樣本中尋找所有訓(xùn)練樣本X中與測試樣本距離（歐氏距離）最近的前K個樣本（作為相似度），再選擇與待分類樣本距離最小的K個樣本作為X的K個最鄰近，并檢測這K個樣本大部分屬于哪一類樣本，則認(rèn)為這個測試樣本類別屬于這一類樣本。當(dāng)K=3時，圖中第一個圈包含了三個圖形，其中三角形2個，正方形一個，該圓的則分類結(jié)果為三角形。

當(dāng)K=5時，第二個圈中包含了5個圖形，三角形2個，正方形3個，則以3:2的投票結(jié)果預(yù)測圓為正方形類標(biāo)。

注意：

設(shè)置不同的K值，可能預(yù)測得到不同的結(jié)果。KNeighborsClassifier可以設(shè)置3種算法：brute、kd_tree、ball_tree，設(shè)置K值參數(shù)為n_neighbors=3。

調(diào)用方法如下：算法實(shí)現(xiàn)2Part算法實(shí)現(xiàn)KNN核心算法主要步驟包括三步：加載數(shù)據(jù)集劃分?jǐn)?shù)據(jù)集KNN訓(xùn)練與預(yù)測。

加載數(shù)據(jù)集定義data_processing()，讀取數(shù)據(jù)獲得數(shù)據(jù)特征樣本和數(shù)據(jù)標(biāo)簽，其中定義的data_processing()函數(shù)里面有一個參數(shù)all_features默認(rèn)值為True，表示提取所有特征(41個)進(jìn)行訓(xùn)練；如果選擇all_features=False，則表示提取第3,4,5,6,8,10,13,23,24,37這10個特征進(jìn)行訓(xùn)練，最后會比較這兩種特征選取方案的預(yù)測好壞。劃分?jǐn)?shù)據(jù)集分為訓(xùn)練集、測試集因為數(shù)據(jù)集只有一個，所以需要將數(shù)據(jù)集劃分成兩部分，一部分用于模型訓(xùn)練，一部分用于模型測試，驗證模型的準(zhǔn)確性。這里采用sklearn庫model_selection模塊的train_test_split函數(shù)劃分，訓(xùn)練集占60%、測試集40%。KNN模型訓(xùn)練、預(yù)測在第3步我們使用sklearnKNN算法進(jìn)行分類，我們需要先了解sklearnKNN算法的一些基本參數(shù)。評價算法3Part評價指標(biāo)針對將相同的數(shù)據(jù)，輸入不同的算法模型，或者輸入不同參數(shù)的同一種算法模型，而給出這個算法或者參數(shù)好壞的定量指標(biāo)。在模型評估過程中，往往需要使用多種不同的指標(biāo)進(jìn)行評估，在諸多的評價指標(biāo)中，大部分指標(biāo)只能片面的反應(yīng)模型的一部分性能，如果不能合理的運(yùn)用評估指標(biāo)，不僅不能發(fā)現(xiàn)模型本身的問題，而且會得出錯誤的結(jié)論。在本章算法中，我們主要用到了準(zhǔn)確率

方案一：提取所有特征進(jìn)行訓(xùn)練，方案一的預(yù)測準(zhǔn)確率為0.9934，耗時110.3s。方案二：提取第3,4,5,6,8,10,13