(1)監(jiān)督學(xué)習(xí)(2)無監(jiān)督學(xué)習(xí)(3)半監(jiān)督學(xué)習(xí)(4)強(qiáng)化學(xué)習(xí)(1)特征(2)標(biāo)簽(3)在監(jiān)督學(xué)習(xí)中的作用(1)數(shù)據(jù)收集：獲取相關(guān)數(shù)據(jù)集(2)數(shù)據(jù)預(yù)處理：清洗數(shù)據(jù)，處理缺失值和異常值(3)特征工程：選擇和構(gòu)造有意義的特征(4)模型選擇：選擇合適的算法(5)模型訓(xùn)練：使用訓(xùn)練數(shù)據(jù)學(xué)習(xí)模式(6)模型評(píng)估：測(cè)試模型性能(7)模型部署：將訓(xùn)練好的模型投入使用(1)需要注意的問題數(shù)據(jù)偏差：代表性不足(2)重要性數(shù)據(jù)質(zhì)量直接影響模型性能垃圾數(shù)據(jù)導(dǎo)致垃圾結(jié)果5.模型訓(xùn)練和評(píng)估的目的是什么?常用的評(píng)估指標(biāo)有哪些?(1)訓(xùn)練目的學(xué)習(xí)數(shù)據(jù)中的模式和關(guān)系(2)評(píng)估目的檢驗(yàn)?zāi)Ｐ偷姆夯芰?3)常用評(píng)估指標(biāo)回歸問題；均方誤差、平均絕對(duì)誤差6.什么是棋型調(diào)優(yōu)?列舉幾種常用的調(diào)優(yōu)方法。優(yōu)化模型參數(shù)以提高性能(2)常用方法交叉驗(yàn)證網(wǎng)格搜索隨機(jī)搜索(1)優(yōu)勢(shì)豐富的庫生態(tài)系統(tǒng)強(qiáng)大的社區(qū)支持(2)常用庫Scikit-leam;傳統(tǒng)機(jī)器學(xué)習(xí)8.機(jī)器學(xué)習(xí)當(dāng)前面臨的主要挑戰(zhàn)有哪些?請(qǐng)簡要說明數(shù)據(jù)隱私和模型可解釋性的重要性。(1)主要挑戰(zhàn)數(shù)據(jù)隱私和安全模型可解釋性(2)數(shù)據(jù)隱私重要性(3)模型可解釋性重要性(1)定義基于多層神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)方法(2)與傳統(tǒng)機(jī)器學(xué)習(xí)的區(qū)別自動(dòng)特征提取vs手動(dòng)特征工程處理更復(fù)雜的問題需要更多數(shù)據(jù)和計(jì)算資源在圖像、語音、自然語言處理等領(lǐng)域表現(xiàn)突出第二章1.簡述馬氏距離與歐氏距離的區(qū)別，以及馬氏距離的優(yōu)勢(shì)。(1)歐氏距離·普通幾何距離，直接計(jì)算點(diǎn)之間的直線距離·假設(shè)各維度獨(dú)立且同等重要(2)馬氏距離·考慮數(shù)據(jù)協(xié)方差結(jié)構(gòu)的距離度量·考慮了特征之間的相關(guān)性(3)馬氏距離的優(yōu)勢(shì)·不受量綱影響，自動(dòng)處理不同尺度特征·考慮特征相關(guān)性，更符合實(shí)際數(shù)據(jù)分布·對(duì)異常值不敏感計(jì)算過程：余弦相似度=10/(V14×√14)=10/14≈0.7143.假設(shè)有兩個(gè)集合A={1,0,1,0},B={0,1,1,0},計(jì)算它們的Jaccard系數(shù)和Dice系數(shù)。Jaccard系數(shù)：·交集：A∩B={第3位都為1)→|A∩B|=1·并集：AUB={第1,2,3位至少一個(gè)為1)→|AUB|=3Dice系數(shù)：4.簡述肯德爾距離的定義，它主要用于衡量什么對(duì)象之間的相似程度?·衡量兩個(gè)排序列表中逆序?qū)Φ臄?shù)量·基于元素對(duì)的一致性進(jìn)行度量(2)主要應(yīng)用：·衡量排名列表之間的相似性·比較不同推薦系統(tǒng)的排序結(jié)果·評(píng)估搜索結(jié)果的排序質(zhì)量5.在計(jì)算文本相似度時(shí)，Tanimoto系數(shù)和Jaccard系數(shù)有哪些相同點(diǎn)和不同點(diǎn)?(1)相同點(diǎn)：·都用于衡量集合相似性·都基于交集與并集的關(guān)系(2)不同點(diǎn)：·對(duì)于二元向量，兩者計(jì)算結(jié)果相同6.說明肯德爾相關(guān)系數(shù)中元素對(duì)的一致性和不一致性是如何判斷的，并解釋其在分析變量相關(guān)性中的作用。(1)一致性與不一致性判斷：·一致性：兩個(gè)元素在兩組排序中相對(duì)順序相同·不一致性：兩個(gè)元素在兩組排序中相對(duì)順序相反·衡量兩個(gè)變量排序的一致性·用于非參數(shù)統(tǒng)計(jì)檢驗(yàn)·對(duì)異常值不敏感，適用性廣7.已知股票A在5個(gè)交易日的收盤價(jià)分別為[12,13,15,14,16],股票B的收盤價(jià)為|12-11|+|13-14|+|15-16|+|14-13曼哈頓距離=5fromsklear.metrics.pairwiseimportmanhattan_distances,euclidean_distances,cosinedf=pd.read_csv('stock_prices.csv',i#提取股票數(shù)據(jù)(排除日期列)stock_data=df.iloc[:,1:].T#轉(zhuǎn)置，使每行代表一只股票#計(jì)算三種相似度/距離#獲取兩只股票的價(jià)格向量vec1=stock_data.iloc[i].values.reshapvec2=stock_data.iloc[j].values.reshap#計(jì)算距離和相似度manhattan_dist=manhattan_distances(vec1,veceuclidean_dist=euclidean_distances(vec1,vec2)[0][0]cosine_sim=cosine_similarity(vec'Manhattan_Distance':maEuclidean_Distance':euclid)#創(chuàng)建結(jié)果DataFrame并保存result_df=pd.DataFrame(resresult_df.to_esv'stock_similarity_results.csv',index(1)含義：(2)典型場(chǎng)景：(1)精確率(2)召回率4.給定一個(gè)分類模型的結(jié)果：真正例(TP)=50,假正例(FP)=10,假反例(FN)=5,真反例(1)給定數(shù)據(jù)：(2)計(jì)算過程：·總樣本數(shù)=50+10+5+100=165·正確預(yù)測(cè)數(shù)=TP+TN=50+100=150·準(zhǔn)確率=150/165≈0.909=90.9%(1)推薦指標(biāo)：·F1分?jǐn)?shù)(精確率和召回率的調(diào)和平均數(shù))(2)原因：·F1分?jǐn)?shù)同時(shí)考慮了精確率和召回率，能更好反映模型真實(shí)性能(1)工作流程：·URL管理：維護(hù)待爬取URL隊(duì)列(2)關(guān)鍵技術(shù)：·HTML解析(BeautifulSoup、Ixml)·請(qǐng)求處理(處理Cookie、Sessio·反爬蟲應(yīng)對(duì)(設(shè)置延遲、使用代理)(1)給定數(shù)據(jù)：(2)計(jì)算過程：(1)明確需求(2)資源評(píng)估(3)法律合規(guī)(4)技術(shù)準(zhǔn)備(1)學(xué)術(shù)數(shù)據(jù)集·UCI機(jī)器學(xué)習(xí)倉庫(2)政府開放數(shù)據(jù)(3)行業(yè)數(shù)據(jù)集(1)檢測(cè)方法(2)原理(1)定義·每次用K-1個(gè)子集作為訓(xùn)練集，剩余1個(gè)作為測(cè)試集(2)提高評(píng)估準(zhǔn)確性的原因(1)均值計(jì)算總和；3+5+7+9+11=35均值：35÷5=7(2)標(biāo)準(zhǔn)差計(jì)算(1)URL管理(2)網(wǎng)頁下載·處理各種響應(yīng)狀態(tài)碼(200、404、500等)(3)內(nèi)容解析(4)數(shù)據(jù)存儲(chǔ)(5)反爬蟲應(yīng)對(duì)1.闡述使用k-NN算法填充缺失值的思路及實(shí)現(xiàn)步驟。(1)思路：(2)實(shí)現(xiàn)步驟：1、選擇距離度量方法(如歐氏距離)2、確定k值(通常通過交叉驗(yàn)證選擇)·用這k個(gè)鄰居的該特征均值(連續(xù)變量)或眾數(shù)(分類變量)填充缺失值4、重復(fù)直到所有缺失值被填充(1)標(biāo)準(zhǔn)化(Z-score標(biāo)準(zhǔn)化)·結(jié)果：均值為0,標(biāo)準(zhǔn)差為1(2)歸一化(Min-Max標(biāo)準(zhǔn)化)(3)主要區(qū)別：判斷：不正確數(shù)據(jù)?(1)缺失值填補(bǔ)方法：·分類變量：眾數(shù)、模型預(yù)測(cè)填充(2)異常值處理方法：·刪除：明顯錯(cuò)誤且數(shù)量少的異常值·替換：用截?cái)嘀怠⒕?、中位?shù)替換·轉(zhuǎn)換：對(duì)數(shù)轉(zhuǎn)換、分箱處理(3)選擇依據(jù)：·數(shù)據(jù)量大小5.請(qǐng)簡述主成分分析(PCA)是如何幫助降低數(shù)據(jù)的維度的，并舉例說明其應(yīng)用場(chǎng)景。(1)降維原理：·尋找數(shù)據(jù)方差最大的方向作為主成分·將原始特征投影到新的坐標(biāo)系·選擇前k個(gè)主要成分，保留大部分方差(2)應(yīng)用場(chǎng)景：·圖像壓縮：減少像素維度·數(shù)據(jù)可視化：高維數(shù)據(jù)降為2D/3D·特征提?。喝コ肼暫腿哂嗵卣?.在運(yùn)動(dòng)會(huì)上，小紅在女子組跳遠(yuǎn)比賽中跳了4.2m,小明在男子跳遠(yuǎn)比賽中跳了4.8m。由于分組不同，無法直接比較成績。女子組成績G1=[3.5,3.8,3.2,4.0,3.6,4.3,3.9,3.7,4.1,3.4],男子組成績G2=[4.2,4.4,4.1,4.5,4.6,4.8,4.3,4.7,4.9,4.0]。請(qǐng)用z-score標(biāo)準(zhǔn)化方法來評(píng)估哪組成績更有競(jìng)爭力。(1)女子組G1計(jì)算；均值：3.75標(biāo)準(zhǔn)差：0.32小紅成績z-score:(4.2-3.75)/0.32=1.41(2)男子組G2計(jì)算；均值：4.45標(biāo)準(zhǔn)差：0.29小明成績Z-score:(4.8-4,45)/0.29=1.21(3)結(jié)論：小紅的Z-score(1.41)高于小明(1.21),說明在各自組內(nèi)，小紅的相對(duì)表現(xiàn)更好，女子組成績更有競(jìng)爭力。7.某公司希望分析其銷售業(yè)績的變化與廣告投入和季節(jié)變化之間的關(guān)系，公司收集了過去100天的銷售數(shù)據(jù)見表5-17和表5-18,記錄了每一天的廣告投入情況以及是否處于旺季。請(qǐng)使用卡方檢驗(yàn)?zāi)膫€(gè)因素對(duì)銷售業(yè)績有更顯著的影響。低廣告28.3516.65季節(jié)因素的卡方檢驗(yàn)：旺季增長下降期望值：增長下降旺季22.7512.25結(jié)論；·廣告投入的卡方值(12.08)>季節(jié)因素的卡方值(10.16)·兩個(gè)因素都對(duì)銷售業(yè)績有顯著影響·廣告投入的影響比季節(jié)因素更顯著1.機(jī)器學(xué)習(xí)算法通?？梢苑譃槟男╊悇e?請(qǐng)簡要說明各類別的特點(diǎn)。(1)監(jiān)督學(xué)習(xí)·特點(diǎn)：使用標(biāo)注數(shù)據(jù)訓(xùn)練，預(yù)測(cè)已知目標(biāo)·子類：分類、回歸(2)無監(jiān)督學(xué)習(xí)·特點(diǎn)：無標(biāo)注數(shù)據(jù)，發(fā)現(xiàn)數(shù)據(jù)內(nèi)在結(jié)構(gòu)·子類：聚類、降維、關(guān)聯(lián)規(guī)則(3)半監(jiān)督學(xué)習(xí)(4)強(qiáng)化學(xué)習(xí)2.監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)的主要區(qū)別是什么?請(qǐng)舉例說明。(1)監(jiān)督學(xué)習(xí)·例子：垃圾郵件分類(輸入：郵件內(nèi)容，輸出：是否垃圾郵件)(2)無監(jiān)督學(xué)習(xí)·例子：客戶細(xì)分(輸入：客戶行為數(shù)據(jù)，輸出：客戶分組)3.什么是聚類?聚類算法的主要目標(biāo)是什么?(1)定義：將相似的數(shù)據(jù)點(diǎn)自動(dòng)分組的過程(2)主要目標(biāo)：(1)線性關(guān)系：自變量與因變量存在線性關(guān)系(2)獨(dú)立性：觀測(cè)值相互獨(dú)立(3)同方差性：誤差項(xiàng)方差恒定(4)正態(tài)性：誤差項(xiàng)服從正態(tài)分布(5)無多重共線性：自變量間相關(guān)性不強(qiáng)5.什么是嶺回歸?它是如何解決普通線性回歸問題中的多重共線性問題的?(1)定義：在線性回歸損失函數(shù)中加入L2正則項(xiàng)(2)解決多重共線性：公式：損失函數(shù)=MSE+a×2(系數(shù)2)6.樸素貝葉斯算法的基本假設(shè)是什么?這種假設(shè)是否合理?(1)基本假設(shè)：特征之間條件獨(dú)立(2)合理性分析：7.k近鄰算法(KNN)的工作原理是什么?它有哪些優(yōu)缺點(diǎn)?如何選擇K值?K值的大小(1)工作原理：(2)優(yōu)點(diǎn)：(3)缺點(diǎn)：importmatplotlib.pyplotasp#生成二維數(shù)據(jù)集X,y_true=make_blobs(n_samples=100,centers=3,n_features=2,random_state=42,cluster_stdkmeans=KMeans(n_clusters=3,random_stay_kmeans=kmeans.fit_predi#繪制聚類結(jié)果plt.figure(figsize=(10,plt.scatter(X[:,0],X[:,1],c=y_kmeans,s=50,cmap=viri#繪制聚類中心centers=kmeans.clusteplt.scatter(centers[:,0],centers[:,1],c='red,s=200,alpha=0.8,marplt.title('K-Means聚類結(jié)果)plt.xlabel(特征1)plt.show(一個(gè)DecisionTreeClassifier并繪制決策樹結(jié)構(gòu)。fromsklearn.datasetsimpofromsklearn.treeimpofromsklearn.model_selectionimporttraimportmatplotlib.pyplotasp#加載鳶尾花數(shù)據(jù)集X,y=iris.data,iris.t#劃分訓(xùn)練測(cè)試集X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.3,random_#訓(xùn)練決策樹dtree=DecisionTreeClassifier(max_depth=3,ra#繪制決策樹plt.figure(figsize=(15,1plot_tree(dtree,feature_names=iris.feature_nclass_names=iris.target_namesplt.show()#評(píng)估模型accuracy=dtree.score(X_#創(chuàng)建環(huán)境env=gym.make('FrozenLake-vI',is_sl#初始化Q表Q=np.zeros([env.observation_space.n,env.acti#超參數(shù)#選擇動(dòng)作(e-貪婪策略)ifrandom.uniform(0,1)<0.1:action=env.action_space.sample()#探索action=np.argmax(Q[state])#利用#執(zhí)行動(dòng)作next_state,reward,done,info=env,step(aQ[state,action]=(1-learning_rate)*Qs#測(cè)試訓(xùn)練好的智能體state,reward,done,info=eprint(f"步驟{steps):第七章(1)數(shù)字類型·int:整數(shù)計(jì)算、計(jì)數(shù)·float:科學(xué)計(jì)算、測(cè)量值(2)序列類型·str:文本處理、日志記錄·list:數(shù)據(jù)集合、臨時(shí)存儲(chǔ)·tuple:不可變數(shù)據(jù)、配置參數(shù)(3)映射類型(4)集合類型(5)布爾類型·bool:條件判斷、狀態(tài)標(biāo)記(2)對(duì)象(3)關(guān)系(1)生成器概念(2)與迭代器區(qū)別(1)NumPy數(shù)值計(jì)算、數(shù)組操作(2)Pandas數(shù)據(jù)清洗、數(shù)據(jù)分析(3)Scikit-learn特征縮放、編碼轉(zhuǎn)換5.簡述pandas中Series和defintroduce(self):print(f"大家好，我叫{self.nam#創(chuàng)建學(xué)生對(duì)象#調(diào)用方法defguess_number_game();target=random.randint(ifguess<target:print("猜小了，再試試!")elifguess>target:print("猜大了，再試試!")print(f"恭喜你!猜對(duì)了!用了{(lán)attempts}次嘗試。")breakprint("請(qǐng)輸入有效的數(shù)字!")#運(yùn)行游戲matrix=np.random.randprint("隨機(jī)矩陣：")#計(jì)算統(tǒng)計(jì)量mean_value=np.mean(mmin_value=np.min(matrix)fromsklearn.linear_modelimportLin#房屋面積和價(jià)格數(shù)據(jù)X=np.array([50,60,70,80,90,100,110,120,130,140]).reshape(-y=np.array([100,120,140,160,180,200,220,240,260,28#創(chuàng)建并訓(xùn)練模型model=LinearRegress#預(yù)測(cè)150平方米房屋價(jià)格predicted_price=model.predict(area_importmatplotlib.pyplotasp#組合成二維數(shù)組kmeans=KMeans(n_clusters=3,random_stalabels=kmeans.fit_pr#繪制聚類結(jié)果plt.figure(figsize=(10,cluster_points=data[labels==i]plt.scatter(cluster_points[:,0],cluster_points[:,1].c=colors[i],label=f類別(i+1},s=100)#繪制聚類中心centers=kmeans.clusteplt.scatter(centers[:,0],centers[:,1],markerplt.title('K-means聚類結(jié)果)plt.xlabel(X坐標(biāo))plt.ylabel('Y坐標(biāo))plt.grid(True,alpha=0plt.show)print("聚類中心坐標(biāo)：")fori,centerinenumera(1)數(shù)據(jù)準(zhǔn)備階段(2)模型構(gòu)建階段(3)評(píng)估優(yōu)化階段(1)相似點(diǎn)(2)區(qū)別·KNN:基于實(shí)例的學(xué)習(xí)，惰性學(xué)習(xí)·K-means:無監(jiān)督聚類，發(fā)現(xiàn)數(shù)據(jù)分組(1)分類問題評(píng)估(2)回歸問題評(píng)估(3)聚類評(píng)估importmatplotlib.pyp#生成數(shù)據(jù)#真實(shí)參數(shù)true_w=np.array([2,-#生成特征和標(biāo)簽X=np.random.randn(n_samples,n_featepsilon=0.1*np.random.randny=X@true_w+true_b+ep#訓(xùn)練線性回歸模型model=LinearRegress#預(yù)測(cè)和評(píng)估y_pred=model.predicmse=mean_squared_error(y,y_#可視化結(jié)果(選擇第一個(gè)特征進(jìn)行可視化)plt.figure(figsize=(10,plt.scatter(X[:,0],y,alpha=0plt.scatter(X[:.0].y_pred,alpha=0.5,laplt.xlabel(特征1)plt.ylabel(目標(biāo)值)plt.show(fromsklearn.datasetsimpofromsklearn.metricsimportaccuracy_score,#加載數(shù)據(jù)X,y=iris.data,iris.t#選擇兩類進(jìn)行分類(簡化問題)#劃分訓(xùn)練測(cè)試集X_train,X_test,y_train,y_test=train_test_split(X_binary,y_binary,test_size=0.3,#訓(xùn)練邏輯回歸模型model=LogisticRegresmodel.fit(X_train,y_ty_pred=model.predict(X_y_prob=model.predict_proba(X_test)#評(píng)估模型accuracy=accuracy_score(y_mse=mean_squared_error(y_test,y_cm=confusion_matrix(y_tprint(classification_report(y_test,y_pr#可視化混淆矩陣plt.figure(figsize=(8,sns.heatmap(cm,annot=True,fmt=plt.title('混淆矩陣')plt.ylabel(真實(shí)標(biāo)簽)plt.xlabel(預(yù)測(cè)標(biāo)簽)plt.show(表葡萄酒的三個(gè)分類。后面的13列為每個(gè)樣本的對(duì)應(yīng)屬性的樣本值。其中第1類有59個(gè)樣本，第2類有71個(gè)樣本，第3類有48個(gè)樣本。wine數(shù)據(jù)集是來自icsucidatasets的公開數(shù)據(jù)集。請(qǐng)對(duì)wine葡萄酒數(shù)據(jù)集進(jìn)行全特征KNN。給出模型評(píng)估、散點(diǎn)圖與混淆矩陣。importmatplotlib.pyplotaspfromsklearn.datasetsimpofromsklearn.model_selectionifromsklearn.neighborsimportKNeighbofromsklearn.metricsimportaccuracy_scorefromsklearn.preprocessingimportSt#加載葡萄酒數(shù)據(jù)集X,y=wine.data,wine.t#數(shù)據(jù)標(biāo)準(zhǔn)化X_scaled=scaler.fit_transfo#劃分訓(xùn)練測(cè)試集X_train,X_test,y_train,y_test=train_test_split(X_scaled,y,test_size=0.3,random#訓(xùn)練KNN模型knn=KNeighborsClassifier(n_neighbknn.fit(X_train,y_tr#預(yù)測(cè)和評(píng)估y_pred=knn.predict(X_taccuracy=accuracy_score(y_cm=confusion_matrix(y_tprint(classification_report(y_test,y_pr#可視化混淆矩陣plt.figure(figsize=(8.sns.heatmap(cm,annot=True,fmtxticklabels=wine,targetyticklabels=wine.target_plt.title('葡萄酒分類混淆矩陣-KNN')plt.ylabel(真實(shí)類別)plt.xlabel(預(yù)測(cè)類別)plt.show(pca=PCA(n_componentsX_pca=pca.fit_transform(X_scplt.figure(figsize=(10,plt.scatter(X_pca[y==i,0],X_pca[y==ic=colors[i],label=wine.target_names[plt.xlabel(第一主成分)plt.ylabel(第二主成分)plt