第3章利用pandas進(jìn)行數(shù)據(jù)預(yù)處理3.2數(shù)據(jù)的導(dǎo)入與保存在進(jìn)行數(shù)據(jù)分析時(shí)，一般不會(huì)將分析的數(shù)據(jù)直接寫入程序，而是將讀取的數(shù)據(jù)導(dǎo)入本地內(nèi)存中，處理完畢之后再進(jìn)行保存。數(shù)據(jù)讀取是進(jìn)行數(shù)據(jù)預(yù)處理、分析與可視化的前提，不同的數(shù)據(jù)源，需要使用不同的函數(shù)進(jìn)行導(dǎo)入。pandas能夠?qū)攵喾N外部數(shù)據(jù)，常見的數(shù)據(jù)格式包括：csv文件、excel文件等。除了可以利用pandas導(dǎo)入外部數(shù)據(jù)以外，還可以導(dǎo)入sklearn庫中自帶的數(shù)據(jù)，而這些數(shù)據(jù)常?？梢杂糜跈C(jī)器學(xué)習(xí)。1.導(dǎo)入數(shù)據(jù)的查看設(shè)置有時(shí)由于導(dǎo)入的數(shù)據(jù)文件很大，如果查看全部數(shù)據(jù)，既不美觀又很耗時(shí)。pandas提供了head和tail函數(shù)，通過這兩個(gè)函數(shù)可以只查看一小塊數(shù)據(jù)，其使用方法與Series類似。一、導(dǎo)入數(shù)據(jù)設(shè)置1.導(dǎo)入數(shù)據(jù)的查看設(shè)置在DataFrame中使用head和tail函數(shù)的一般格式為：DataFrame.head(n)DataFrame.tail(n)其中，n表示查看頭部或尾部的n條數(shù)據(jù)，n默認(rèn)是5，即不輸入n，就表示查看開頭或結(jié)尾的5條數(shù)據(jù)。一、導(dǎo)入數(shù)據(jù)設(shè)置2.導(dǎo)入數(shù)據(jù)的顯示設(shè)置（1）不限制顯示寬度pandas在顯示數(shù)據(jù)時(shí)，有時(shí)由于顯示的寬度有限，不能顯示完整數(shù)據(jù)，此時(shí)，可以通過set_option中的參數(shù)display.width解除顯示寬度的限制。一、導(dǎo)入數(shù)據(jù)設(shè)置2.導(dǎo)入數(shù)據(jù)的顯示設(shè)置（1）不限制顯示寬度display.width一般格式是：pd.set_option('display.width',n)其中，'display.width'的參數(shù)n表示顯示的寬度，如果將n設(shè)為None的話，就可以不限制顯示寬度。一、導(dǎo)入數(shù)據(jù)設(shè)置2.導(dǎo)入數(shù)據(jù)的顯示設(shè)置（2）設(shè)置數(shù)據(jù)對(duì)齊pandas在顯示數(shù)據(jù)時(shí)，由于一列數(shù)據(jù)與該列的列名不對(duì)齊，會(huì)給數(shù)據(jù)查看造成麻煩，此時(shí)可通過set_option中的參數(shù)display.unicode.east_asian_width對(duì)數(shù)據(jù)設(shè)置齊對(duì)效果。一、導(dǎo)入數(shù)據(jù)設(shè)置2.導(dǎo)入數(shù)據(jù)的顯示設(shè)置（2）設(shè)置數(shù)據(jù)對(duì)齊display.unicode.east_asian_width一般格式是：pd.set_option('display.unicode.east_asian_width',True)一、導(dǎo)入數(shù)據(jù)設(shè)置2.導(dǎo)入數(shù)據(jù)的顯示設(shè)置（3）不限制顯示行數(shù)和列數(shù)pandas在顯示數(shù)據(jù)時(shí)，有時(shí)由于數(shù)據(jù)的行或列過多，顯示結(jié)果往往不完整，此時(shí)可通過可通過set_option中的參數(shù)display.max_rows和display.max_columns解除顯示行數(shù)和列數(shù)的限制。一、導(dǎo)入數(shù)據(jù)設(shè)置2.導(dǎo)入數(shù)據(jù)的顯示設(shè)置（3）不限制顯示行數(shù)和列數(shù)display.max_rows和display.max_columns一般格式是：pd.set_option('display.max_rows',n)pd.set_option('display.max_columns',n)其中，display.max_rows和display.max_columns的參數(shù)n表示數(shù)據(jù)能夠顯示最大的行數(shù)和列數(shù)，如果將n設(shè)為None的話，就可以不限制數(shù)據(jù)的行和列的數(shù)量。一、導(dǎo)入數(shù)據(jù)設(shè)置1.導(dǎo)入文本文件由于結(jié)構(gòu)簡(jiǎn)單，文本文件被廣泛用于記錄信息，是數(shù)據(jù)導(dǎo)入和保存的常見格式。文本文件中的數(shù)據(jù)可以采用Tab健、空格、逗號(hào)、分號(hào)等分隔符來分割數(shù)據(jù)。二、導(dǎo)入外部文件1.導(dǎo)入文本文件由于結(jié)構(gòu)簡(jiǎn)單，文本文件被廣泛用于記錄信息，是數(shù)據(jù)導(dǎo)入和保存的常見格式。文本文件中的數(shù)據(jù)可以采用Tab健、空格、逗號(hào)、分號(hào)等分隔符來分割數(shù)據(jù)。pandas提供了read_csv函數(shù)導(dǎo)入文本文件。read_csv可以導(dǎo)入所有分隔符的文本文件，如逗號(hào)、分號(hào)、tab鍵等。二、導(dǎo)入外部文件1.導(dǎo)入文本文件read_csv的一般格式為：pd.read_csv(filepath,sep,names,index_col)其中，各參數(shù)的作用如下：filepath表示導(dǎo)入文件的路徑。sep表示分隔符，如逗號(hào)“,”、分號(hào)“;”、tab鍵“\t”，默認(rèn)是逗號(hào)“,”，即如果導(dǎo)入帶有逗號(hào)分隔符的txt，就不需要寫sep參數(shù)。二、導(dǎo)入外部文件1.導(dǎo)入文本文件pd.read_csv(filepath,sep,names,index_col)names表示添加的列名，默認(rèn)為None，即默認(rèn)導(dǎo)入文本數(shù)據(jù)時(shí)，不添加列名。index_col表示將某列設(shè)為DataFrame行索引。如果不用該參數(shù)，DataFrame會(huì)自動(dòng)生成一組以0開始的連續(xù)數(shù)字作為行索引編號(hào)。encoding表示導(dǎo)入文件的編碼，默認(rèn)是None，如果數(shù)據(jù)有中文，可用’gbk’。二、導(dǎo)入外部文件2.導(dǎo)入Excel文件pandas提供了read_excel函數(shù)來導(dǎo)入“xls”和“xlsx”兩種Excel文件，在導(dǎo)入excel文件的同時(shí)，還可以指定導(dǎo)入的工作表。二、導(dǎo)入外部文件2.導(dǎo)入Excel文件read_excel的一般格式為：pd.read_excel(filepath,sheet_name,names,index_col)其中，sheet_name表示Excel工作簿中的某張工作表，sheet_name既可以用字符串表示也可以用數(shù)字表示。當(dāng)使用工作表名稱來表示時(shí)，sheet_name的值為字符串，當(dāng)用工作表編號(hào)來表示時(shí)，sheet_name的值為數(shù)字，并且這個(gè)編號(hào)是從0開始的，即sheet_name=0表示第1張工作表。如果不設(shè)置sheet_name，默認(rèn)情況下導(dǎo)入第1張工作。read_excel函數(shù)其余參數(shù)的作用可參考read_csv的參數(shù)。二、導(dǎo)入外部文件Python中的sklearn庫包含了多種機(jī)器學(xué)習(xí)的算法，可以幫助用戶快速建立數(shù)據(jù)挖掘模型，使用非常方便。為了方便用戶熟悉sklearn中的算法，datasets模塊集成了部分算法分析的經(jīng)典數(shù)據(jù)集，利用這些數(shù)據(jù)集可以進(jìn)行數(shù)據(jù)的建模與分析。三、導(dǎo)入sklearn自帶數(shù)據(jù)導(dǎo)入sklearn庫中datasets模塊的一般格式為：fromsklearnimportdatasets三、導(dǎo)入sklearn自帶數(shù)據(jù)數(shù)據(jù)集數(shù)據(jù)集說明load_boston波士頓房?jī)r(jià)數(shù)據(jù)集load_diabetes糖尿病數(shù)據(jù)集load_iris鳶尾花數(shù)據(jù)集load_wine葡萄酒數(shù)據(jù)集datasets常用數(shù)據(jù)集datasets常用數(shù)據(jù)集的屬性可以通過多種方法進(jìn)行查詢?nèi)?、?dǎo)入sklearn自帶數(shù)據(jù)屬性說明data數(shù)據(jù)集的數(shù)據(jù)feature_names數(shù)據(jù)的列名target數(shù)據(jù)集的標(biāo)簽，用來區(qū)分不同的數(shù)據(jù)target_names數(shù)據(jù)集的標(biāo)簽名稱，標(biāo)簽說明datasets常用數(shù)據(jù)集屬性數(shù)據(jù)集的標(biāo)簽target和數(shù)據(jù)集的標(biāo)簽名稱target_names在機(jī)器學(xué)習(xí)中常用，而在數(shù)據(jù)分析往往只會(huì)用到數(shù)據(jù)data和字段名稱feature_names。在pandas中處理后的數(shù)據(jù)，可以將數(shù)據(jù)進(jìn)行保存，保存的格式有txt、csv、excel等，而其中csv是常用的保存格式，通過to_csv函數(shù)實(shí)現(xiàn)以csv文件格式的保存。四、保存數(shù)據(jù)to_csv函數(shù)的一般格式為：to_csv(path,columns,header,encoding)其中，各參數(shù)的作用如下：path表示保存文件的路徑。columns表示添加列名，默認(rèn)為：None。header表示是否將列名寫出，默認(rèn)為：True。encoding表示代表存儲(chǔ)文件的編碼格式。四、保存數(shù)據(jù)任務(wù)實(shí)訓(xùn)3-4：iris鳶尾花數(shù)據(jù)集是一個(gè)經(jīng)典數(shù)據(jù)集，在統(tǒng)計(jì)分析和機(jī)器學(xué)習(xí)領(lǐng)域都經(jīng)常被用作示例。數(shù)據(jù)集內(nèi)包含3類鳶尾花，每類各50個(gè)數(shù)據(jù)，共計(jì)150條數(shù)據(jù)。每條記錄都有4項(xiàng)特征：花萼長(zhǎng)度（sepal_length）、花萼寬度（sepal_width）、花瓣長(zhǎng)度（petal_length）、花瓣寬度（petal_width）。任務(wù)實(shí)訓(xùn)3-4：請(qǐng)利用read_csv導(dǎo)入iris.txt（iris.txt存放在c:\data路徑中），iris.txt數(shù)據(jù)文件的分隔符是Tab鍵，完成：（1）利用read_csv導(dǎo)入數(shù)據(jù)，不設(shè)置索引列，將導(dǎo)入的數(shù)據(jù)命名為data1_1，查看數(shù)據(jù)的前3行，并在結(jié)果中查看索引index。（2）利用read_csv導(dǎo)入數(shù)據(jù)，將“ID”列設(shè)為索引列，并將導(dǎo)入數(shù)據(jù)的命名為data1_2，查看數(shù)據(jù)的最后5行，并在結(jié)果中查看索引index。任務(wù)實(shí)訓(xùn)3-4具體代碼如下：importpandasaspddata1_1=pd.read_csv('c:\data\iris.txt',sep='\t')print("自動(dòng)索引的data1_1的前3行為:\n",data1_1.head(3))data1_2=pd.read_csv('c:\data\iris.txt',sep='\t',index_col='ID')print("設(shè)置ID為索引的data1_2的最后5行為:\n",data1_2.tail())任務(wù)實(shí)訓(xùn)3-4從data1_1的結(jié)果中可以看到，在原來數(shù)據(jù)的第1列“ID”列之前多了一列，這一列是由從0開始的連續(xù)數(shù)字，這就是自動(dòng)生成行索引index。任務(wù)實(shí)訓(xùn)3-4在pandas中導(dǎo)入數(shù)據(jù)時(shí)，如果沒有添加索引index，pandas會(huì)自動(dòng)加上索引，生成索引是為了便于數(shù)據(jù)的查詢和調(diào)用。從data1_2的結(jié)果中可以看到，數(shù)據(jù)中的“ID”列被設(shè)置為索引后，這一列的標(biāo)題會(huì)自動(dòng)下沉，如本結(jié)果中“ID”列標(biāo)題就比其他的列標(biāo)題位置低一些，“ID”的值就可以作為每一行查詢和調(diào)用的依據(jù)。任務(wù)實(shí)訓(xùn)3-5：利用read_excel導(dǎo)入supermarket.xlsx（supermarket.xlsx存放在c:\data路徑中）中的“銷售統(tǒng)計(jì)”工作表（第1張工作表），完成：（1）直接導(dǎo)入數(shù)據(jù)，并將導(dǎo)入數(shù)據(jù)的命名為data2，查看data2的行數(shù)、列數(shù)和列名。（2）設(shè)置數(shù)據(jù)與列名對(duì)齊，并通過前3行查看對(duì)比效果。（3）利用pd.set_option解除顯示列數(shù)限制，并通過前3行查看對(duì)比效果。（4）利用pd.set_option解除顯示寬度限制，并通過前3行查看對(duì)比效果。任務(wù)實(shí)訓(xùn)3-5（1）具體代碼如下：data2=pd.read_excel('c:\data\supermarket.xlsx',sheet_name=0)#也可以使用sheet_name=0或設(shè)置sheet_name='銷售統(tǒng)計(jì)'print("data2的行數(shù)為:",data2.shape[0])print("data2的列數(shù)為:",data2.shape[1])print("data2的列名為:",data2.columns)任務(wù)實(shí)訓(xùn)3-5（1）任務(wù)實(shí)訓(xùn)3-5（2）具體代碼如下：print("data2為:\n",data2.head(3))pd.set_option('display.unicode.east_asian_width',True)print("設(shè)置對(duì)齊效果后data2為:\n",data2.head(3))任務(wù)實(shí)訓(xùn)3-5（2）任務(wù)實(shí)訓(xùn)3-5（3）具體代碼如下：pd.set_option('display.max_columns',None)print("解除顯示列數(shù)限制的效果為:\n",data2.head(3))任務(wù)實(shí)訓(xùn)3-5（3）數(shù)據(jù)的列數(shù)較多，所以默認(rèn)情況下，不會(huì)顯示完整顯示所有列，省略的列用省略號(hào)…表示，解除顯示列數(shù)限制后，由于受到顯示寬度的顯示，一行數(shù)據(jù)分成多行顯示。任務(wù)實(shí)訓(xùn)3-5（4）具體代碼如下：pd.set_option('display.width',None)print("解除顯示寬度限制的效果為:\n",data2.head(3))任務(wù)實(shí)訓(xùn)3-5（4）解除顯示寬度后，一行數(shù)據(jù)就不會(huì)分多行顯示，而是在一行中顯示。任務(wù)實(shí)訓(xùn)3-6：加載sklearn中自帶的數(shù)據(jù)集load_iris，查看load_iris數(shù)據(jù)集的列名和前5條數(shù)據(jù)，并依此生成Dataframe，命