機(jī)器學(xué)習(xí)與模式識別第六章數(shù)據(jù)預(yù)處理與特征工程第六章

數(shù)據(jù)預(yù)處理與特征工程

6.1數(shù)據(jù)清洗

6.2特征處理

6.3特征選擇6.4數(shù)據(jù)變換與降維26.1數(shù)據(jù)清洗-處理缺失值

3處理缺失值的策略主要有三種:刪除缺失值、插補(bǔ)缺失值和標(biāo)記缺失值。注意數(shù)據(jù)的分布是否發(fā)生變化,重新評估模型性能,確保數(shù)據(jù)完整性,審查處理方法的合理性,并保持?jǐn)?shù)據(jù)的可解釋性。importpandasaspdimportnumpyasnpimportseabornassnsimportmatplotlib.pyplotaspltfromsklearn.imputeimportKNNImputerdata={'A':[1,2,np.nan,4,5],'B':[np.nan,2,3,np.nan,5],'C':[1,np.nan,np.nan,4,5]}df=pd.DataFrame(data)print(df.isnull().sum())df_dropped=df.dropna()print(df_dropped)df_filled_mean=df.fillna(df.mean())print(df_filled_mean)imputer=KNNImputer(n_neighbors=2)df_filled_knn=pd.DataFrame(imputer.fit_transform(df),columns=df.columns)print(df_filled_knn)6.1數(shù)據(jù)清洗-異常值識別異常值是指在數(shù)據(jù)集中顯得異常高或異常低的值，這些值可能是由于數(shù)據(jù)錄入錯誤、測量誤差或?qū)嶋H存在的異常情況引起的。4#示例數(shù)據(jù)data={'A':[1,2,3,4,100,6,7,8,9,10]}df=pd.DataFrame(data)#使用箱線圖檢測異常值sns.boxplot(x=df['A'])plt.title('BoxplotofFeatureA')plt.show()首先，通過可視化手段和統(tǒng)計(jì)方法來識別異常值。6.1數(shù)據(jù)清洗-處理異常值5分析：根據(jù)需求可以選擇不同的處理策略。處理：刪除異常值、替換異常值、基于模型的方法處理異常值。importpandasaspdfromsklearn.ensembleimportIsolationForestdata={'A':[1,2,3,4,100,6,7,8,9,10]}df=pd.DataFrame(data)#使用孤立森林檢測和處理異常值defisolation_forest_outliers(df):iso_forest=IsolationForest(contamination=0.1,random_state=42)df['outlier']=iso_forest.fit_predict(df[['A']])df_no_outliers=df[df['outlier']!=1].drop(columns='outlier')returndf_no_outliersdf_iso_forest=isolation_forest_outliers(df.copy())df_lof=local_outlier_factor(df.copy())6.1數(shù)據(jù)清洗-數(shù)據(jù)一致性檢查

6數(shù)據(jù)類型轉(zhuǎn)換，指將數(shù)據(jù)從一種類型轉(zhuǎn)換為另一種類型。對于確保數(shù)據(jù)在后續(xù)分析中的可操作性和正確性非常重要。重復(fù)數(shù)據(jù)，指數(shù)據(jù)集中存在的完全相同的記錄或特征。他們會導(dǎo)致統(tǒng)計(jì)分析和模型訓(xùn)練中的偏差,因此需要識別并刪除重復(fù)數(shù)據(jù)。數(shù)據(jù)格式標(biāo)準(zhǔn)化，確保數(shù)據(jù)在存儲和處理時具有一致的格式。data={'ID':['001','002','002','004','005'],'SaleDate':['01-01-2024','02-02-2024','03-03-2024','04-04-2024','05-05-2024'],'Amount':['$1,000','2000.50','2000.50','3000','4000']}df=pd.DataFrame(data)df['ID']=pd.to_numeric(df['ID'])df['SaleDate']=pd.to_datetime(df['SaleDate'])print(df.dtypes);print(df)duplicates=df.duplicated()print(df[duplicates])df_no_duplicates=df.drop_duplicates()print(df_no_duplicates)df_no_duplicates['Amount']=df_no_duplicates['Amount'].str.replace('$',″).str.replace(',',″).str.replace('',″).astype(float)print(df_no_duplicates)6.2特征處理-標(biāo)稱特征處理7標(biāo)稱特征處理是針對那些不具有數(shù)值意義的特征,如顏色、城市名稱等。這類特征無法直接用于模型訓(xùn)練,需要轉(zhuǎn)換為數(shù)值形式。啞變量與獨(dú)熱編碼是最常見的轉(zhuǎn)換方法。頻

率

編

碼和

目

標(biāo)

編

碼也是處理標(biāo)稱特征的有效方法。importpandasaspddata={'Fruit':['Apple','Banana','Cherry','Apple']}df=pd.DataFrame(data)#啞變量df_dummy=pd.get_dummies(df,columns=['Fruit'],prefix='Fruit',drop_first=True)print(df_dummy.map(int))#獨(dú)熱編碼df_one_hot=pd.get_dummies(df,columns=['Fruit'],prefix='Fruit')print(df_one_hot.map(int))6.2特征處理-數(shù)值特征處理8數(shù)值特征處理主要包括標(biāo)準(zhǔn)化與歸一化、分箱、多項(xiàng)式特征與交互特征等。處理數(shù)值特征可以幫助模型更好地理解數(shù)據(jù)的分布和特性。標(biāo)準(zhǔn)化將數(shù)據(jù)調(diào)整為均值為0、標(biāo)準(zhǔn)差為1的標(biāo)準(zhǔn)正態(tài)分布。歸一化是一種將數(shù)據(jù)特征調(diào)整到特定范圍(通常是0到1)的方法。分箱是將連續(xù)變量離散化,通過將數(shù)值特征分割成多個區(qū)間來處理。多項(xiàng)式特征和交互特征通過組合現(xiàn)有特征來創(chuàng)建新的特征,增強(qiáng)模型的表現(xiàn)力。fromsklearn.preprocessingimportStandardScalerMinMaxScalerdata={'Feature1':[10,20,30,40,50],'Feature2':[100,200,300,400,500]}df=pd.DataFrame(data)scaler=StandardScaler()df_standardized=pd.DataFrame(scaler.fit_transform(df),columns=df.columns)scaler=MinMaxScaler()df_normalized=pd.DataFrame(scaler.fit_transform(df),columns=df.columns)fig,ax=plt.subplots(1,2,figsize=(12,6))ax[0].set_title('OriginalData')ax[0].boxplot([df['Feature1'],df['Feature2']],labels=['Feature1','Feature2'])ax[1].set_title('NormalizedData')ax[1].boxplot([df_normalized['Feature1'],df_normalized['Feature2']],labels=['Feature1','Feature2'])plt.show()6.2特征處理-數(shù)值特征處理9fromsklearn.preprocessingimportPolynomialFeaturesdata={'Age':[25,35,45,55]}df=pd.DataFrame(data)df['Age_binned']=pd.cut(df['Age'],bins=[20,30,40,50,60],labels=['20-30','30-40','40-50','50-60'])print(df)data={'Feature1':[1,2,3],'Feature2':[4,5,6]}df=pd.DataFrame(data)poly=PolynomialFeatures(degree=2,include_bias=False)poly_features=poly.fit_transform(df)df_poly=pd.DataFrame(poly_features,columns=poly.get_feature_names_out(df.columns))print(df_poly)6.2特征處理-時間與日期特征處理10時間與日期特征處理涉及從時間戳中提取有用的信息,如年、月、日、星期、小時等。這些特征有助于捕捉時間相關(guān)的模式,提升模型對時間序列數(shù)據(jù)的理解?？梢詮臅r間戳中提取各種時間特征,以更好地分析時間趨勢。周期性特征處理如月份或星期,通常需要通過正弦和余弦變換來捕捉其周期性,確保模型能識別出周期性的變化規(guī)律。importnumpyasnpdata={'Timestamp':['2023-05-0108:30:00','2023-06-1514:45:00']}df=pd.DataFrame(data)df['Timestamp']=pd.to_datetime(df['Timestamp'])#提取時間特征df['Year']=df['Timestamp'].dt.yeardf['Month']=df['Timestamp'].dt.monthdf['Day']=df['Timestamp'].dt.daydf['Hour']=df['Timestamp'].dt.hourdf['DayOfWeek']=df['Timestamp'].dt.dayofweekprint(df)#提取周期性特征df['Month_sin']=np.sin(2*np.pi*df['Month']/12)df['Month_cos']=np.cos(2*np.pi*df['Month']/12)print(df)6.2特征處理-文本與圖像特征處理11文本與圖像特征處理涉及從文本數(shù)據(jù)中提取有意義的特征,

以及從圖像數(shù)據(jù)中提取特征。常用的方法有詞袋模型(BagofWords)、TF-IDF(詞頻-逆文檔頻率)、詞向量(WordEmbeddings)等。詞袋模型可以將文本轉(zhuǎn)換為向量形式,

以便進(jìn)行后續(xù)分析。圖像特征提取的方法有很多,包括傳統(tǒng)的圖像處理技術(shù)和基于深度學(xué)習(xí)的方法。對于灰度圖像,

每個像素值表示圖像中該點(diǎn)的亮度;對于彩色圖像,

每個像素值由三個通道(通常是RGB)表示。fromsklearn.feature_extraction.textimportCountVectorizertext_data=['Machinelearningisfascinating','Deeplearningmodelsarepowerful']#詞袋模型vectorizer=CountVectorizer()X=vectorizer.fit_transform(text_data)print(pd.DataFrame(X.toarray(),columns=vectorizer.get_feature_names_out()))df['Month_cos']=np.cos(2*np.pi*df['Month']/12)print(df)#圖像展平fromskimageimportioimage=io.imread('/150')image_features=image.flatten()print(″Featurevectorshape:″,image_features.shape)Featurevectorshape:(67500,)6.2特征處理-文本與圖像特征處理12提取圖像的邊緣信息在圖像分割、目標(biāo)檢測和追蹤、圖像增強(qiáng)和去噪等領(lǐng)域具有重要作用。常見的邊緣檢測算子包括Canny算子、Sobel算子、Prewitt算子等。fromskimageimportiofromskimage.featureimportcannyfromskimage.colorimportrgb2grayimportmatplotlib.pyplotaspltimage=io.imread('/150')#將彩色圖像轉(zhuǎn)換為灰度圖像gray_image=rgb2gray(image)#使用Canny算法提取邊緣信息edges=canny(gray_image)fig,ax=plt.subplots(nrows=1,ncols=2,figsize=(10,5))ax[0].imshow(image,cmap='gray')ax[0].set_title('OriginalImage')ax[0].axis('off')ax[1].imshow(edges,cmap='binary')ax[1].set_title('EdgesDetected')ax[1].axis('off')plt.show()6.3特征選擇-過濾法13過濾法是最簡單直接的特征選擇方法,依賴特征本身的統(tǒng)計(jì)性質(zhì)來進(jìn)行選擇。常見的方法包括方差選擇法、卡方檢驗(yàn)和相關(guān)系數(shù)法。方差選擇法通過計(jì)算每個特征的方差,剔除那些方差較小、變化不大的特征,因?yàn)檫@些特征對模型貢獻(xiàn)較小?？ǚ綑z驗(yàn)通常用于離散型特征,通過計(jì)算特征與目標(biāo)變量之間的獨(dú)立性來選擇特征。相關(guān)系數(shù)法通過計(jì)算每個特征與目標(biāo)變量之間的相關(guān)系數(shù)來選擇特征。from

sklearn.feature_selectionimportVarianceThreshold,SelectKBest,chi2data={'feature1':[1,2,3,4,5],'feature2':[2,2,2,2,2],'feature3':[1,3,5,7,9]}df=pd.DataFrame(data)selector=

VarianceThreshold(threshold=1)#

方差選擇法selected_features=selector.fit_transform(df)data={'feature1':[1,2,3,4,5],'feature2':[0,1,0,1,0],'feature3':[10,11,12,13,14]}target=[0,1,0,1,0]df=pd.DataFrame(data)selector=SelectKBest(chi2,k=2)#卡方檢驗(yàn)selected_features=selector.fit_transform(df,target)data={'feature1':[1,2,3,4,5],'feature2':[2,2,2,2,2],'feature3':[1,3,5,7,9]}target=[1,2,3,4,5]df=pd.DataFrame(data)df['target']=targetcorrelations=df.corr()['target'].drop('target')#計(jì)算相關(guān)系數(shù)print(″Featurecorrelations:\n″,correlations)threshold=0.8#選擇相關(guān)系數(shù)高于閾值的特征selected_features=correlations[abs(correlations)>threshold].index6.3特征選擇-包裹法14包裹法是一種通過訓(xùn)練模型來進(jìn)行特征選擇的方法,它將特征選擇過程嵌入模型訓(xùn)練中,評估不同特征組合對模型性能的影響。常見的方法包括遞歸特征消除

、前向選擇和

后向消除。遞歸特征消除是一種通過遞歸的訓(xùn)練模型,評估特征的重要性并剔除最不重要的特征，直到選出指定數(shù)量的特征的方法。fromsklearn.feature_selectionimportRFEfromsklearn.linear_modelimportLogisticRegressiondata={'feature1':[1,2,3,4,5],'feature2':[0,1,0,1,0],'feature3':[10,11,12,13,14]}target=[0,1,0,1,0]zdf=pd.DataFrame(data)#遞歸特征消除model=LogisticRegression()rfe=RFE(model,n_features_to_select=2)fit=rfe.fit(df,target)selected_features=fit.transform(df)6.3特征選擇-包裹法15前向選擇是一種從空特征集合開始,每次迭代中逐步加入最能提高模型性能的特征的方法。(1)從空特征集合開始。(2)逐個評估每個特征的加入對模型性能的影響,選擇能顯著提高模型性能的特征加入集合。(3)重復(fù)上述步驟,直到加入新特征不再顯著提升模型性能為止。from

sklearn.linear_modelimportLinearRegressionfrommlxtend.feature_selectionimportSequentialFeatureSelectorasSFSdata={'feature1':[1,2,3,4,5],'feature2':[2,4,1,3,5],'feature3':[5,3,4,2,1]}target=[1,2,3,4,5]df=pd.DataFrame(data)#前向特征選擇sfs=SFS(LinearRegression(),k_features=2,forward=True,floating=False,scoring='r2',cv=0)sfs=sfs.fit(df,target)selected_features=list(sfs.k_feature_names_)6.3特征選擇-包裹法16后向消除與前向選擇相反,它從包含所有特征的集合開始,每次迭代中移除對模型性能影響最小的特征。(1)從包含所有特征的集合開始。(2)逐個評估每個特征的移除對模型性能的影響,選擇對模型性能影響最小的特征移除。(3)重復(fù)上述步驟,直到移除特征不再顯著提高模型性能為止。fromsklearn.linear_modelimportLinearRegressionfrommlxtend.feature_selectionimportSequentialFeatureSelectorasSFSdata={'feature1':[1,2,3,4,5],'feature2':[2,4,1,3,5],'feature3':[5,3,4,2,1]}target=[1,2,3,4,5]df=pd.DataFrame(data)#后向特征消除sfs=SFS(LinearRegression(),k_features=2,forward=False,floating=False,scoring='r2',cv=0)sfs=sfs.fit(df,target)selected_features=list(sfs.k_feature_names_)6.3特征選擇-嵌入法17嵌入法是特征選擇的一種方法,它在模型訓(xùn)練過程中直接選擇特征。利用模型自身的特性在訓(xùn)練過程中自動進(jìn)行特征選擇。常見的方法包括基于正則化的特征選擇和基于樹模型的特征選擇。正則化技術(shù)通過在模型的損失函數(shù)中添加懲罰項(xiàng)來約束模型的復(fù)雜度。最常用的方法是L1正則化(Lasso回歸)和L2正則化(Ridge回歸)Lasso回歸是一種帶有L1正則化的線性回歸方法,它通過引入L1懲罰項(xiàng)使某些特征的系數(shù)縮減為零,從而實(shí)現(xiàn)特征選擇。fromsklearn.linear_modelimportLassofromsklearn.datasetsimportfetch_california_housing#加載加利福尼亞房價數(shù)據(jù)集housing=fetch_california_housing()df=pd.DataFrame(housing.data,columns=housing.feature_names)target=housing.target#Lasso回歸lasso=Lasso(alpha=0.1)lasso.fit(df,target)coefficients=pd.Series(lasso.coef_,index=df.columns)print(″Featurecoefficients:\n″,coefficients)selected_features=df.columns[lasso.coef_!=0]print(″SelectedfeaturesusingLasso:\n″,selected_features)6.3特征選擇-嵌入法18Ridge回歸是一種帶有L2正則化的線性回歸方法，它通過引入L2懲罰項(xiàng)來約束所有特征的系數(shù)，雖然不會將系數(shù)縮減為零，但可以減少不重要特征的影響。fromsklearn.linear_modelimportRidge#Ridge回歸ridge=Ridge(alpha=0.1)ridge.fit(df,target)coefficients=pd.Series(ridge.coef_,index=df.columns)coefficients.plot(kind='barh')plt.title(″FeaturecoefficientsfromRidgeRegression″)plt.show()6.3特征選擇-嵌入法19基于樹模型的特征選擇方法通過計(jì)算特征在樹結(jié)構(gòu)中的重要性來進(jìn)行選擇。常用的包括決策樹、隨機(jī)森林和梯度提升樹(GradientBoostingDecisionTree,GBDT)隨機(jī)森林是一種集成學(xué)習(xí)方法,通過訓(xùn)練多棵決策樹并將它們的預(yù)測結(jié)果進(jìn)行平均來提高模型的準(zhǔn)確性和穩(wěn)定性。fromsklearn.ensembleimportRandomForestRegressor#隨機(jī)森林forest=RandomForestRegressor(n_estimators=100,random_state=42)forest.fit(df,target)#輸出特征重要性importances=pd.Series(forest.feature_importances_,index=df.columns)print(″Featureimportances:\n″,importances)#選擇重要性高于閾值的特征threshold=0.05selected_features=df.columns[importances>threshold]print(″SelectedfeaturesusingRandomForest:\n″,selected_features)6.3特征選擇-嵌入法20梯度提升樹(GBDT)是一種通過逐步添加決策樹來優(yōu)化損失函數(shù)的集成學(xué)習(xí)方法。總之,嵌入法是特征選擇中的一種重要技術(shù),通過利用模型的特性自動選擇特征,可以顯著提高模型的性能和穩(wěn)定性。fromsklearn.ensembleimportGradientBoostingRegressor#梯度提升樹gbdt=GradientBoostingRegressor(n_estimators=100,random_state=42)gbdt.fit(df,target)#輸出特征重要性importances=pd.Series(gbdt.feature_importances_,index=df.columns)print(″Featureimportances:\n″,importances)#選擇重要性高于閾值的特征selected_features=df.columns[importances>threshold]print(″SelectedfeaturesusingGBDT:\n″,selected_features)6.4.1數(shù)據(jù)變換與降維-數(shù)據(jù)變換對數(shù)變換通過對數(shù)據(jù)取對數(shù)來減小數(shù)據(jù)的偏態(tài)和方差平方根變換通過對數(shù)據(jù)取平方根來減小數(shù)據(jù)的偏態(tài)和方差Box-Cox變換是一種通過尋找最佳參數(shù)來穩(wěn)定方差和減少偏態(tài)的技術(shù)21#生成示例數(shù)據(jù)data=np.random.exponential(scale=2,size=1000)df=pd.DataFrame(data,columns=['Original']df['Log']=np.log(df['Original'])#平方根變換df['Sqrt']=np.sqrt(df['Original'])#Box-Cox變換df['BoxCox'],lambda_optimal=boxcox(df['Original'])6.4.2數(shù)據(jù)降維-主成分分析數(shù)據(jù)降維是將高維數(shù)據(jù)映射到低維空間的過程，以減少數(shù)據(jù)的維度。這可以幫助處理高維數(shù)據(jù)、減少噪聲、提高計(jì)算效率，并增強(qiáng)數(shù)據(jù)的可解釋性主成分分析（PrincipalComponentAnalysis，PCA）是一種線性降維方法，通過將數(shù)據(jù)投影到方差最大的方向上，找到數(shù)據(jù)的主成分，從而減少數(shù)據(jù)的維度。22基本流程1.標(biāo)準(zhǔn)化數(shù)據(jù):首先將數(shù)據(jù)標(biāo)準(zhǔn)化,使其均值為0，方差為1。假設(shè)數(shù)據(jù)矩陣為X，其每一行代表一個樣本，每一列代表一個特征。2.

計(jì)算協(xié)方差矩陣。3.

特征值分解:對協(xié)方差矩陣進(jìn)行特征值分解,得到特征值和特征向量4.選擇主成分:選擇前k個最大的特征值對應(yīng)的特征向量,構(gòu)成變換矩陣。5.變換數(shù)據(jù):將原始數(shù)據(jù)投影到新的特征空間。其中，Λ是特征值對角矩陣，V是特征向量矩陣。6.4.2可視化展示Iris數(shù)據(jù)集包含150個樣本,分為三個不同種類的鳶尾花23花萼長度

花萼寬度

花瓣長度

花瓣寬度

類別5.1 3.51.40.2Setosa7.0 3.24.71.4Versicolor6.33.36.02.5Virginica#加載示例數(shù)據(jù)iris=load_iris()X=iris.datay=iris.target#PCA降維pca=PCA(n_components=2)X_pca=pca.fit_transform(X)#可視化PCA降維后的數(shù)據(jù)foriinrange(len(set(y))):plt.scatter(X_pca[y==i,0],X_pca[y==i,1],label=iris.target_names[i])plt.xlabel('主成分1')plt.ylabel('主成分2')plt.title('鳶尾花數(shù)據(jù)集的主成分分析')通過觀察不同類別的點(diǎn)的分布,判斷PCA是否有效地將不同類別的數(shù)據(jù)分開,從而為后續(xù)的分類和分析提供幫助6.4.2線性判別分析線性判別分析（LinearDiscriminantAnalysis，LDA）是一種監(jiān)督學(xué)習(xí)的降維方法,通過最大化類間方差與類內(nèi)方差的比值,找到最能區(qū)分不同類別的投影方向。LDA的目標(biāo)是找到一個投影方向，使得不同類別的數(shù)據(jù)在該方向上的投影盡可能分開。24基本流程1.計(jì)算類內(nèi)散布矩陣

其中，C是類別數(shù)，μi是第i類的均值向量2.計(jì)算類間散布矩陣

其中，Ni

是第i類的樣本數(shù)，μ是總體均值向量3.求解廣義特征值問題

，找到投影矩陣W4.變換數(shù)據(jù)：將原始數(shù)據(jù)投影到新的特征空間6.4.2可視化展示25fromsklearn.discriminant_analysisimportLinearDiscriminantAnalysis#LDA降維lda=LinearDiscriminantAnalysis(n_components=2)X_lda=lda.fit_transform(X,y)#可視化LDA降維后的數(shù)據(jù)foriinrange(len(set(y))):plt.scatter(X_lda[y==i,0],X_lda[y==i,1],label=iris.target_names[i])plt.xlabel('線性判別1')plt.ylabel('線性判別2')plt.title('鳶尾花數(shù)據(jù)集的線性判別分析')plt.legend(loc='uppercenter')plt.show()6.4.2奇異值分解奇異值分解（SingularValueDecomposition，SVD）是一種矩陣分解方法，通過分解數(shù)據(jù)矩陣,找到其奇異值和奇異向量，從而實(shí)現(xiàn)降維。SVD的目標(biāo)是將數(shù)據(jù)矩陣分解為三個矩陣的乘積，使得數(shù)據(jù)在低維空間中得以表示。26基本流程1.分解數(shù)據(jù)矩陣X為三個矩陣的乘積其中，U是左奇異向量矩陣，Σ是奇異值對角矩陣，V是右奇異向量矩陣2.選擇前k個最大的奇異值對應(yīng)的奇異向量，構(gòu)成新的特征空間6.4.2可視化展示27fromsklearn.decompositionimportTruncatedSVD#SVD降維svd=TruncatedSVD(n_components=2)X_svd=svd.fit_transform(X)#可視化SVD降維后的數(shù)據(jù)foriinrange(len(set(y))):plt.scatter(X_svd[y==i,0],X_svd[y==i,1],label=iris.target_names[i])plt.xlabel('奇異值分解1')plt.ylabel('奇異值分解2')plt.title('鳶尾花數(shù)據(jù)集的奇異值分解')plt.legend(loc='uppercenter')plt.savefig('svd.png')plt.show()通過觀察散點(diǎn)圖，可以評估SVD降維效果，判斷是否有效地將不同類別的數(shù)據(jù)分開，這有助于后續(xù)的分類和分析6.4.2