人工主講教師：智能KNN算法（一）目錄KNN的原理工程中的數(shù)據(jù)處理問題以及程序代碼人工智能算法中的常用概念123KNN的原理1KNN的原理1分類是根據(jù)已知類別的數(shù)據(jù)確定預(yù)測(cè)數(shù)據(jù)的類別KNN（K鄰算法）是分類方法同一類別的事物通常聚集在一起“物以類聚”說的就是這個(gè)原理？“近”“鄰”KKNN的原理1B?A?推測(cè)A粉色圓點(diǎn)B綠色方塊觀察這張圖，推斷A、B兩點(diǎn)的顏色和形狀？KNN的原理1B?A?原因01以A為圓心的區(qū)域：粉色圓點(diǎn)02以B為圓心的區(qū)域：綠色方塊KNN的原理1C?按簡(jiǎn)單多數(shù)原則大圈區(qū)域

4:5，粉色圓點(diǎn)小圈區(qū)域4:1，綠色方塊如何確定C的類別（K

Nearest

Node）就是：以K個(gè)最近鄰點(diǎn)推斷類別KNNK個(gè)近鄰？KNN的原理1KNN如何理解“最近”dABX2X1Y2Y1

最直觀的距離就是“歐氏”距離兩個(gè)點(diǎn)間距離的計(jì)算：用距離量化

“近”

品牌型號(hào)長（mm）寬（mm）高（mm）用戶行為BAOJ310403216801450略過XW-M1433015351885瀏覽POL405317401449略過BW5508718681500瀏覽BDe6456018221645瀏覽Wuling379715101820略過KNN的原理1dABXYZKNN如何理解“最近”三維距離的計(jì)算：

用這個(gè)方法考察實(shí)際問題的數(shù)據(jù)，就能解決諸如“推薦”和“預(yù)測(cè)”這類人工智能領(lǐng)域的分類問題標(biāo)志型號(hào)長（mm）寬（mm）高（mm）略過CrV405317401449瀏覽BW5508718681500略過POL403216801450瀏覽BDe6433015351885

推薦?X008456018221645KNN的原理1KNN的實(shí)際應(yīng)用廣告案例假設(shè)某網(wǎng)站發(fā)現(xiàn)用戶對(duì)某些車型的瀏覽行為如綠色數(shù)據(jù)所示，那么現(xiàn)在向用戶推送X008車型的廣告是否會(huì)引發(fā)用戶興趣？KNN的原理1KNN算法步驟KNN算法的一般過程需要對(duì)未知類別屬性的數(shù)據(jù)集中的每個(gè)點(diǎn)依次執(zhí)行以下操作：01逐一計(jì)算樣本集的點(diǎn)與預(yù)測(cè)點(diǎn)之間的距離。02按距離遞增排序。03選取與待預(yù)測(cè)點(diǎn)距離最小的k個(gè)點(diǎn)。04統(tǒng)計(jì)k個(gè)點(diǎn)的類別頻率，按規(guī)則確定預(yù)測(cè)結(jié)果。利用“電子表格”體驗(yàn)過程操作過程錄像KNN的原理1KNN的原理1010203選取與被測(cè)車輛距離最小的k個(gè)點(diǎn)（一般k為奇數(shù)，本例k=3）的分類，作為判斷的依據(jù)；觀察圖中的黃色部分，即離被測(cè)最近距離的3種車中，2種為用戶感興趣的車型，1種為用戶無興趣車型；按簡(jiǎn)單的少數(shù)服從多數(shù)原則，可確定被測(cè)車輛也是用戶感興趣車型。KNN的原理1KNN算法的幾個(gè)思考算法觀察與自己距離最近的k個(gè)點(diǎn)（k一般為奇數(shù)）的分類，并可以用簡(jiǎn)單多數(shù)的原則確定自身的分類。如果考慮減小KNN算法中k的取值k取1待預(yù)測(cè)點(diǎn)的分類只依賴于與之最近的點(diǎn)，分類結(jié)果隨機(jī)性太大；k太大如極端情況，與數(shù)據(jù)集的樣本數(shù)一樣大，那么算法的分類結(jié)果沒有意義。就一般經(jīng)驗(yàn)，k的取值一般低于已知類別的樣本數(shù)的平方根。other還可以不使用簡(jiǎn)單投票規(guī)則，而對(duì)距離加權(quán)，比如可以使距離近的點(diǎn)更有影響力?？梢越档蚹值變化對(duì)結(jié)果的影響。C?小結(jié)1KNN用已知的最近距離的K個(gè)鄰接點(diǎn)確定帶預(yù)測(cè)點(diǎn)類別的算法01KNN的算法步驟0203取K（奇數(shù)）個(gè)最近點(diǎn)04遞增排序計(jì)算距離通過簡(jiǎn)單多數(shù)或其他規(guī)則確定分類C?本小節(jié)結(jié)束！人工智能KNN算法（二）目錄Knn的原理工程中的數(shù)據(jù)處理問題以及程序代碼人工智能中的常用概念123工程中的數(shù)據(jù)處理問題以及程序代碼01數(shù)據(jù)的歸一化處理02利用程序完成算法03訓(xùn)練模型與測(cè)試應(yīng)用車型長（mm）寬

（mm）高

（mm）油耗

（L/100km）售價(jià)

（萬元）BAOJ3104032168014505.35.6XW-M14330153518857.814.5POL4053174014496.210.8BW55087186815008.525.6BDe64560182216457.815.8Wuling3797151018205.59.6型號(hào)長（mm）寬（mm）高（mm）CrV405317401449BW5508718681500POL403216801450BDe6433015351885VS.工程中的數(shù)據(jù)處理問題以及程序代碼可以想像此類不同數(shù)量級(jí)的數(shù)據(jù)將給預(yù)測(cè)帶來較大誤差數(shù)據(jù)的歸一化處理車型長(mm)寬

（mm）高

（mm）油耗

（L/100km）售價(jià)

（萬元）BAOJ3104032168014505.35.6XW-M14330153518857.814.5POL4053174014496.210.8BW55087186815008.525.6BDe64560182216457.815.8Wuling3797151018205.59.6數(shù)據(jù)歸一化由多種方法，其中最直觀的方法是，對(duì)每個(gè)屬性都找出最大數(shù)值和最小數(shù)值，然后對(duì)某一屬性數(shù)據(jù)集中的每個(gè)數(shù)據(jù)都按下面公式整理。

工程中的數(shù)據(jù)處理問題以及程序代碼數(shù)據(jù)的歸一化處理本頁是Excel操作錄象工程中的數(shù)據(jù)處理問題以及程序代碼數(shù)據(jù)的歸一化處理工程中的數(shù)據(jù)處理問題以及程序代碼數(shù)據(jù)的歸一化處理品牌型號(hào)長（mm）寬（mm）高（mm）用戶行為BAOJ310403216801450略過XW-M1433015351885瀏覽POL405317401449略過BW5508718681500瀏覽BDe6456018221645瀏覽Wuling379715101820略過工程中的數(shù)據(jù)處理問題以及程序代碼數(shù)據(jù)的多維度擴(kuò)展工程中的數(shù)據(jù)處理問題以及程序代碼歸一化后多維數(shù)據(jù)的KNN本頁是Excel操作錄象

1#引入工具包2importnumpyasnp3fromsklearn.neighborsimportKNeighborsClassifierasknn工程中的數(shù)據(jù)處理問題以及程序代碼4#定義數(shù)據(jù)5ar_x=[[4032,1680,1450,5.3,5.6],6[4330,1535,1885,7.8,14.5],7[4053,1740,1449,6.2,10.8],8[5087,1868,1500,8.5,25.6],9[4560,1822,1645,7.8,15.8],10[3797,1510,1820,5.5,9.6]]11ar_y=[0,1,0,1]KNN算法的程序?qū)崿F(xiàn)16#建立模型并預(yù)測(cè)17model=knn(n_neighbors=3)18model.fit(nor_ar[:4],ar_y)19pre=model.predict(nor_ar[4:6])20print(pre)工程中的數(shù)據(jù)處理問題以及程序代碼

12#利用歸一化處理數(shù)據(jù)13ar_min=np.min(ar_x,0)14ar_mn=np.max(ar_x,0)-ar_min15nor_ar=np.around((ar_x-ar_min)/ar_mn,4)KNN算法的程序?qū)崿F(xiàn)測(cè)試工程中的數(shù)據(jù)處理問題以及程序代碼訓(xùn)練清洗處理原始數(shù)據(jù)訓(xùn)練集測(cè)試集模型合格？F泛化T模型：f（）XY訓(xùn)練模型與測(cè)試應(yīng)用“測(cè)試集”“訓(xùn)練集”工程中的數(shù)據(jù)處理問題以及程序代碼訓(xùn)練模型與測(cè)試應(yīng)用本小節(jié)結(jié)束！人工智能KNN算法（三）目錄人工智能中的常用概念工程中的數(shù)據(jù)處理問題以及程序代碼KNN的原理123人工智能算法的常用概念訓(xùn)練清洗處理原始數(shù)據(jù)訓(xùn)練集測(cè)試集模型合格？F泛化T模型：f（）XY測(cè)試常用術(shù)語預(yù)測(cè)現(xiàn)實(shí)預(yù)測(cè)需謹(jǐn)慎常用術(shù)語數(shù)據(jù)集維數(shù)=8屬性術(shù)語訓(xùn)練、測(cè)試、數(shù)據(jù)集、訓(xùn)練集、樣本、維數(shù)、屬性、測(cè)試集“訓(xùn)練集”每條數(shù)據(jù)：樣本求模型-----“訓(xùn)練”“測(cè)試集”驗(yàn)證模型正確性----“測(cè)試”品牌型號(hào)長（mm）寬（mm）高（mm）用戶行為BAOJ310403216801450略過XW-M1433015351885瀏覽POL405317401449略過BW5508718681500瀏覽BDe6456018221645瀏覽Wuling379715101820略過回歸分類常用術(shù)語術(shù)語標(biāo)記、監(jiān)督學(xué)習(xí)、分類、回歸、無監(jiān)督學(xué)習(xí)標(biāo)記數(shù)據(jù)集監(jiān)督學(xué)習(xí)“無標(biāo)記”：無監(jiān)督學(xué)習(xí)常用術(shù)語訓(xùn)練泛化測(cè)試的性能不好，比如正確率不高：欠擬合測(cè)試很好，泛化能力不好：過擬合測(cè)試訓(xùn)練清洗處理原始數(shù)據(jù)訓(xùn)練集