第5章pandas數(shù)據(jù)處理與預(yù)處理pandas作為Python中最流行的數(shù)據(jù)處理庫(kù)之一，提供了豐富的數(shù)據(jù)結(jié)構(gòu)和功能，能夠高效地處理和分析大規(guī)模數(shù)據(jù)集。本章旨在深入探討pandas在數(shù)據(jù)處理和預(yù)處理中的關(guān)鍵作用，從pandas的基礎(chǔ)知識(shí)、語法和數(shù)據(jù)讀寫入手，逐步介紹如何利用pandas進(jìn)行數(shù)據(jù)清洗、數(shù)據(jù)合并、缺失值處理、排序和匯總等重要步驟。通過學(xué)習(xí)本章內(nèi)容，將掌握利用pandas進(jìn)行數(shù)據(jù)處理和預(yù)處理的技能，為后續(xù)的數(shù)據(jù)分析和建模工作打下堅(jiān)實(shí)基礎(chǔ)。第5章pandas數(shù)據(jù)處理與預(yù)處理5.1認(rèn)識(shí)pandas5.2pandas語法5.3pandas讀寫數(shù)據(jù)5.4使用pandas進(jìn)行數(shù)據(jù)預(yù)處理5.5本章小結(jié)5.1認(rèn)識(shí)pandas5.1認(rèn)識(shí)pandas5.1.1pandas簡(jiǎn)介5.1.2pandas的安裝與使用5.1.1pandas簡(jiǎn)介pandas是一種基于numpy的強(qiáng)大工具，旨在解決數(shù)據(jù)分析任務(wù)。它集成了豐富的庫(kù)和標(biāo)準(zhǔn)數(shù)據(jù)模型，為高效地操作大型數(shù)據(jù)集提供了必要的工具。pandas提供了豐富的函數(shù)和方法，能夠快速便捷地處理數(shù)據(jù)。簡(jiǎn)而言之，可以將pandas視為Python版的Excel。它為數(shù)據(jù)分析師和科學(xué)家們提供了一個(gè)靈活且高效的平臺(tái)，用于數(shù)據(jù)的清洗、轉(zhuǎn)換、處理和分析。5.1認(rèn)識(shí)pandas5.1.2pandas的安裝與使用因?yàn)閜andas是Python的第三方庫(kù)，所以使用前需要先安裝，打開命令行或終端窗口，可以直接使用pipinstallpanas命令安裝，該命令會(huì)自動(dòng)安裝pandas以及相關(guān)組件。在Python腳本或交互式環(huán)境中，直接使用importpandasaspd導(dǎo)入pandas庫(kù)，后續(xù)代碼再使用該庫(kù)的時(shí)候直接用其簡(jiǎn)寫pd就可以了。5.1認(rèn)識(shí)pandas5.2pandas語法在pandas庫(kù)中有兩個(gè)最基本的數(shù)據(jù)類型：Series和DataFrame。其中Series數(shù)據(jù)類型表示一維數(shù)組，與numpy中的一維array類似，并且二者與python中基本的數(shù)據(jù)結(jié)構(gòu)List也很相近；而DataFrame數(shù)據(jù)類型代表二維表格型數(shù)據(jù)結(jié)構(gòu)，也可以將其理解為Series的容器。5.2pandas語法5.2.1Series類型5.2.2DataFrame類型5.2.3DataFrame數(shù)據(jù)計(jì)算5.2.1Series類型Series是Pandas庫(kù)中的一種數(shù)據(jù)結(jié)構(gòu)，類似于一維數(shù)組或列表，但它附帶了索引，可以存儲(chǔ)任意數(shù)據(jù)類型。5.2pandas語法5.2.1Series類型1.創(chuàng)建Series2.Series數(shù)據(jù)的索引運(yùn)算3.條件選擇運(yùn)算4.算術(shù)運(yùn)算5.2pandas語法1.創(chuàng)建Series創(chuàng)建一個(gè)Series的基本語法如下：importpandasaspds=pd.Series(data,index)5.2pandas語法1.創(chuàng)建Series(1)用列表創(chuàng)建Series(2)用數(shù)組創(chuàng)建Series(3)用字典創(chuàng)建Series5.2pandas語法(1)用列表創(chuàng)建Series【例5-1】用列表創(chuàng)建Series的代碼示例5.2pandas語法(2)用數(shù)組創(chuàng)建Series【例5-2】用數(shù)組創(chuàng)建Series的代碼示例5.2pandas語法(3)用字典創(chuàng)建Series【例5-3】用字典創(chuàng)建Series的代碼示例5.2pandas語法2.Series數(shù)據(jù)的索引運(yùn)算在pandas中，使用Series的索引類似于使用字典的鍵來獲取對(duì)應(yīng)的值，能夠快速定位和提取Series中的特定數(shù)據(jù)，這是一種常見且重要的操作，極大地方便了處理和操作數(shù)據(jù)中的特定元素。5.2pandas語法2.Series數(shù)據(jù)的索引運(yùn)算(1)單個(gè)索引運(yùn)算(2)多個(gè)索引運(yùn)算5.2pandas語法(1)單個(gè)索引運(yùn)算【例5-4】獲取Series中某個(gè)值的代碼示例5.2pandas語法(2)多個(gè)索引運(yùn)算【例5-5】獲取Series中多個(gè)值的代碼示例5.2pandas語法3.條件選擇運(yùn)算在pandas中，可以根據(jù)條件表達(dá)式來篩選出滿足條件的數(shù)據(jù)，并返回一個(gè)新的Series，其中只包含符合條件的元素。這種運(yùn)算在pandas中非常常見，用于根據(jù)特定條件選擇需要的數(shù)據(jù)，是數(shù)據(jù)分析和處理中的重要技術(shù)之一。5.2pandas語法【例5-6】Series中條件選擇運(yùn)算的代碼示例5.2pandas語法4.算術(shù)運(yùn)算(1)元素級(jí)的算術(shù)運(yùn)算(2)Series數(shù)據(jù)級(jí)的算術(shù)運(yùn)算5.2pandas語法(1)元素級(jí)的算術(shù)運(yùn)算元素級(jí)的算術(shù)運(yùn)算是把series數(shù)據(jù)中的每一個(gè)數(shù)值元素與某一個(gè)數(shù)值進(jìn)行相應(yīng)的算術(shù)運(yùn)算?！纠?-7】元素級(jí)算術(shù)運(yùn)算的代碼示例5.2pandas語法(2)Series數(shù)據(jù)級(jí)的算術(shù)運(yùn)算Series數(shù)據(jù)級(jí)的算術(shù)運(yùn)算過程是根據(jù)索引對(duì)相應(yīng)的數(shù)據(jù)進(jìn)行計(jì)算，結(jié)果將會(huì)以浮點(diǎn)數(shù)的形式存儲(chǔ)，以避免失去精度。如果在兩個(gè)Series里找不到相同的index，對(duì)應(yīng)的位置就返回一個(gè)空值NaN。算術(shù)運(yùn)算符的符號(hào)及含義見表5-1。5.2pandas語法(2)Series數(shù)據(jù)級(jí)的算術(shù)運(yùn)算表5-1算術(shù)運(yùn)算符的符號(hào)及含義【例5-8】Series中加法運(yùn)算代碼示例5.2pandas語法表5-1算術(shù)運(yùn)算符的符號(hào)及含義5.2pandas語法【例5-8】Series中加法運(yùn)算代碼示例5.2pandas語法5.2.2DataFrame類型DataFrame是一個(gè)來自pandas庫(kù)的數(shù)據(jù)結(jié)構(gòu)，用于處理和分析數(shù)據(jù)。它類似于電子表格或數(shù)據(jù)庫(kù)表，可以存儲(chǔ)多種類型的數(shù)據(jù)，并提供了各種功能來操作和分析數(shù)據(jù)。DataFrame通常由行和列組成，每一行可以包含不同類型的數(shù)據(jù)（整數(shù)、浮點(diǎn)數(shù)、字符串等），并且可以對(duì)數(shù)據(jù)進(jìn)行索引、篩選、分組、合并等操作。DataFrame的靈活性使得它成為數(shù)據(jù)科學(xué)和數(shù)據(jù)分析中常用的工具之一。5.2pandas語法5.2.2DataFrame類型1.DataFrame的創(chuàng)建2.DataFrame的索引與查詢3.元數(shù)據(jù)訪問4.條件查詢5.2pandas語法1.DataFrame的創(chuàng)建(1)從字典創(chuàng)建(2)從列表創(chuàng)建(3)從numpy數(shù)組創(chuàng)建(4)從Series創(chuàng)建5.2pandas語法(1)從字典創(chuàng)建可以使用一個(gè)字典，其中鍵表示列名，值表示該列的數(shù)據(jù)?！纠?-9】利用字典創(chuàng)建DataFrame的代碼示例5.2pandas語法(2)從列表創(chuàng)建可以使用一個(gè)包含列表的列表，內(nèi)部列表代表每一行的數(shù)據(jù)?！纠?-10】利用列表創(chuàng)建DataFrame的代碼示例5.2pandas語法(3)從numpy數(shù)組創(chuàng)建可以使用numpy數(shù)組創(chuàng)建DataFrame?！纠?-11】利用numpy數(shù)組創(chuàng)建DataFrame的代碼示例5.2pandas語法(4)從Series創(chuàng)建可以使用pandas的Series對(duì)象創(chuàng)建DataFrame?！纠?-12】利用Series對(duì)象創(chuàng)建DataFrame的代碼示例5.2pandas語法2.DataFrame的索引與查詢?cè)贒ataFrame中進(jìn)行索引和查詢操作是非常常見的，可以通過行索引、列索引或條件過濾來獲取所需的數(shù)據(jù)。5.2pandas語法2.DataFrame的索引與查詢(1)列索引(2)行索引5.2pandas語法(1)列索引對(duì)列可以進(jìn)行單列索引、多列索引、列切片等方式獲取列數(shù)據(jù)。5.2pandas語法(1)列索引【例5-13】單列索引代碼示例【例5-14】多列索引代碼示例【例5-15】列切片代碼示例5.2pandas語法【例5-13】單列索引代碼示例5.2pandas語法【例5-14】多列索引代碼示例5.2pandas語法【例5-15】列切片代碼示例5.2pandas語法(2)行索引當(dāng)需要獲取DataFrame中的一行數(shù)據(jù)時(shí)，可以使用loc[]和iloc[]按照標(biāo)簽名和位置進(jìn)行引用。5.2pandas語法【例5-16】利用loc[]和iloc[]進(jìn)行引用代碼示例5.2pandas語法3.元數(shù)據(jù)訪問在訪問DataFrame類型時(shí)，可以使用index、columns、values等屬性來獲取DataFrame的索引、列標(biāo)簽和數(shù)據(jù)值，這些屬性提供了訪問DataFrame元數(shù)據(jù)的便捷方式。index：獲取DataFrame的行索引，即行標(biāo)簽的集合。columns：獲取DataFrame的列標(biāo)簽，即列的名稱。values：獲取DataFrame中的數(shù)據(jù)值，以numpy數(shù)組的形式返回。5.2pandas語法【例5-17】元數(shù)據(jù)訪問的代碼示例5.2pandas語法4.條件查詢可使用布爾條件來過濾DataFrame中的數(shù)據(jù)。5.2pandas語法【例5-18】條件查詢的代碼示例5.2pandas語法5.2.3DataFrame數(shù)據(jù)計(jì)算DataFrame數(shù)據(jù)計(jì)算是指在DataFrame中進(jìn)行數(shù)值計(jì)算、統(tǒng)計(jì)計(jì)算或其他類型的數(shù)據(jù)操作。在DataFrame數(shù)據(jù)計(jì)算過程中，可以使用各種方法和函數(shù)對(duì)數(shù)據(jù)進(jìn)行處理、轉(zhuǎn)換和分析。常見的DataFrame數(shù)據(jù)計(jì)算方法見表5-2。5.2pandas語法表5-2DataFrame中的具體方法及用途5.2pandas語法【例5-19】數(shù)據(jù)運(yùn)算的代碼示例代碼及運(yùn)行結(jié)果見教材5.2pandas語法5.3pandas讀寫數(shù)據(jù)在進(jìn)行大數(shù)據(jù)分析前，數(shù)據(jù)的讀取和寫入至關(guān)重要。pandas作為功能強(qiáng)大的數(shù)據(jù)處理工具，支持多種數(shù)據(jù)格式，如.csv、.xlsx和.json。通過pandas，可以輕松加載不同格式的數(shù)據(jù)到數(shù)據(jù)框中，為接下來的數(shù)據(jù)清洗、轉(zhuǎn)換、分析和可視化提供基礎(chǔ)。在完成這些操作后，將結(jié)果數(shù)據(jù)寫入外部文件或數(shù)據(jù)庫(kù)變得至關(guān)重要。通過pandas寫入數(shù)據(jù)，可以保存分析結(jié)果、生成報(bào)告、創(chuàng)建可視化圖表，或與其他系統(tǒng)或團(tuán)隊(duì)共享數(shù)據(jù)。這不僅有助于保留重要信息，還促進(jìn)數(shù)據(jù)分享和進(jìn)一步應(yīng)用。pandas讀取和寫入數(shù)據(jù)的有效運(yùn)用，為數(shù)據(jù)分析提供了堅(jiān)實(shí)的基礎(chǔ)，推動(dòng)數(shù)據(jù)驅(qū)動(dòng)決策和發(fā)現(xiàn)數(shù)據(jù)價(jià)值的實(shí)現(xiàn)。5.3pandas讀寫數(shù)據(jù)5.3.1pandas讀數(shù)據(jù)5.3.2pandas寫數(shù)據(jù)5.3.1pandas讀數(shù)據(jù)通過使用pandas，利用不同的方法可以將不同格式的數(shù)據(jù)加載到數(shù)據(jù)框中，具體方法及含義見表5-3。5.3pandas讀寫數(shù)據(jù)5.3.1pandas讀數(shù)據(jù)表5-3讀文件的方法和含義1.直接讀取文件2.讀取時(shí)加上行索引3.讀取時(shí)加上列索引4.讀取時(shí)提取某幾行5.讀取時(shí)跳過某幾行6.讀取含有缺失值的文件5.3pandas讀寫數(shù)據(jù)表5-3讀文件的方法和含義5.3pandas讀寫數(shù)據(jù)1.直接讀取文件【例5-20】直接讀取文件代碼示例5.3pandas讀寫數(shù)據(jù)【例5-20】直接讀取文件代碼示例5.3pandas讀寫數(shù)據(jù)2.讀取時(shí)加上行索引在pandas中，header=None參數(shù)用于指定數(shù)據(jù)文件中不包含列名，因此會(huì)將數(shù)據(jù)的第一行作為數(shù)據(jù)而不是列名。當(dāng)使用header=None時(shí)，pandas會(huì)自動(dòng)為DataFrame分配默認(rèn)的整數(shù)列名，如0,1,2,...等。5.3pandas讀寫數(shù)據(jù)【例5-21】讀取時(shí)加上行索引代碼示例5.3pandas讀寫數(shù)據(jù)3.讀取時(shí)加上列索引在pandas中，index_col=0這個(gè)參數(shù)指定了DataFrame中的哪一列作為行索引（index），若index_col=0表示將第一列作為行索引。默認(rèn)情況下，Pandas會(huì)自動(dòng)生成一個(gè)整數(shù)型的行索引，如例5-21的運(yùn)行結(jié)果。但如果指定某一列作為行索引，可以使用index_col參數(shù)來實(shí)現(xiàn)。5.3pandas讀寫數(shù)據(jù)【例5-22】讀取時(shí)加上列索引代碼示例5.3pandas讀寫數(shù)據(jù)4.讀取時(shí)提取某幾行如果只需讀取原始數(shù)據(jù)的前幾行，可以設(shè)置參數(shù)nrows來實(shí)現(xiàn)。5.3pandas讀寫數(shù)據(jù)【例5-23】讀取時(shí)提取某幾行的代碼示例5.3pandas讀寫數(shù)據(jù)5.讀取時(shí)跳過某幾行如果想跳過原始數(shù)據(jù)的前幾行，可以設(shè)置參數(shù)skiprows實(shí)現(xiàn)。5.3pandas讀寫數(shù)據(jù)【例5-24】讀取時(shí)跳過某幾行的代碼示例5.3pandas讀寫數(shù)據(jù)6.讀取含有缺失值的文件使用pandas讀取文件時(shí)，會(huì)默認(rèn)將NA，NULL等當(dāng)做缺失值，并默認(rèn)使用NaN進(jìn)行代替。5.3pandas讀寫數(shù)據(jù)示例代碼5.3pandas讀寫數(shù)據(jù)5.3.2pandas寫數(shù)據(jù)與讀取數(shù)據(jù)的方法類似，pandas也提供了一系列對(duì)應(yīng)的寫入數(shù)據(jù)的方法，以便將DataFrame數(shù)據(jù)寫入不同的數(shù)據(jù)格式中。一些常用的寫入數(shù)據(jù)的方法及含義見表5-4。5.3pandas讀寫數(shù)據(jù)5.3.2pandas寫數(shù)據(jù)表5-4寫數(shù)據(jù)的方法及含義表5-5to_csv()方法的常用參數(shù)及含義【例5-25】寫入代碼示例5.3pandas讀寫數(shù)據(jù)表5-4寫數(shù)據(jù)的方法及含義5.3pandas讀寫數(shù)據(jù)表5-5to_csv()方法的常用參數(shù)及含義5.3pandas讀寫數(shù)據(jù)【例5-25】寫入代碼示例5.3pandas讀寫數(shù)據(jù)5.4使用pandas進(jìn)行數(shù)據(jù)預(yù)處理5.4使用pandas進(jìn)行數(shù)據(jù)預(yù)處理5.4.1合并數(shù)據(jù)5.4.2缺失值處理5.4.3排序和匯總5.4.1合并數(shù)據(jù)DataFrame提供了許多合并數(shù)據(jù)的方法，具體見表5-6。5.4使用pandas進(jìn)行數(shù)據(jù)預(yù)處...5.4.1合并數(shù)據(jù)表5-6合并數(shù)據(jù)的方法及用途1.橫向表堆疊2.縱向堆疊3.主鍵合并數(shù)據(jù)4.重疊合并數(shù)據(jù)5.4使用pandas進(jìn)行數(shù)據(jù)預(yù)處...表5-6合并數(shù)據(jù)的方法及用途5.4使用pandas進(jìn)行數(shù)據(jù)預(yù)處...1.橫向表堆疊橫向堆疊即將兩個(gè)表在x軸向連接在一起，可以使用concat函數(shù)完成，concat函數(shù)的基本語法如下：pandas.concat(objs,axis=0,join=’outer’,join_axes=None,ignore_index=False,keys=None,levels=None,names=None,verify_integrity=False,copy=True)。concat()的參數(shù)及用途見表5-7。5.4使用pandas進(jìn)行數(shù)據(jù)預(yù)處...1.橫向表堆疊表5-7concat()的參數(shù)及用途【例5-26】concat函數(shù)實(shí)現(xiàn)橫向堆疊的代碼示例5.4使用pandas進(jìn)行數(shù)據(jù)預(yù)處...表5-7concat()的參數(shù)及用途5.4使用pandas進(jìn)行數(shù)據(jù)預(yù)處...【例5-26】concat函數(shù)實(shí)現(xiàn)橫向堆疊的代碼示例5.4使用pandas進(jìn)行數(shù)據(jù)預(yù)處...2.縱向堆疊(1)cancat方法(2)append方法5.4使用pandas進(jìn)行數(shù)據(jù)預(yù)處...(1)cancat方法使用concat方法時(shí)，在默認(rèn)情況下，即axis=0時(shí)，concat做列對(duì)齊，將不同行索引的兩張或多張表縱向合并。在兩張表的列名并不完全相同的情況下，可join參數(shù)取值為inner時(shí)，返回的僅僅是列名交集所代表的列，取值為outer時(shí)，返回的是兩者列名的并集所代表的列。無論join參數(shù)取值是inner或者outer，結(jié)果都是將兩個(gè)表完全按照Y軸拼接起來。5.4使用pandas進(jìn)行數(shù)據(jù)預(yù)處...【例5-27】concat函數(shù)實(shí)現(xiàn)縱向堆疊的代碼示例5.4使用pandas進(jìn)行數(shù)據(jù)預(yù)處...(2)append方法append方法也可以用于縱向合并兩張表。但是append方法實(shí)現(xiàn)縱向表堆疊有一個(gè)前提條件，那就是兩張表的列名需要完全一致。append方法的基本語法如下：Pandas.DataFrame.append(self,other,ignore_index=False,verify_integrity=False)。append方法的常用參數(shù)及用途見表5-8。5.4使用pandas進(jìn)行數(shù)據(jù)預(yù)處...表5-8append方法的參數(shù)及用途5.4使用pandas進(jìn)行數(shù)據(jù)預(yù)處...【例5-28】append方法實(shí)現(xiàn)縱向堆疊的代碼示例5.4使用pandas進(jìn)行數(shù)據(jù)預(yù)處...3.主鍵合并數(shù)據(jù)主鍵合并是通過一個(gè)或多個(gè)鍵將兩個(gè)數(shù)據(jù)集的行連接起來，類似于SOL中的JOIN。針對(duì)同一個(gè)主鍵存在兩張包含不同字段的表，將其根據(jù)某幾個(gè)字段一一對(duì)應(yīng)拼接起來，結(jié)果集列數(shù)為兩個(gè)元數(shù)據(jù)的列數(shù)和減去連接鍵的數(shù)量。5.4使用pandas進(jìn)行數(shù)據(jù)預(yù)處...3.主鍵合并數(shù)據(jù)(1)merge方法(2)join方法5.4使用pandas進(jìn)行數(shù)據(jù)預(yù)處...(1)merge方法與數(shù)據(jù)庫(kù)的join一樣，merge方法也有左連接（left）、右連接（right）、內(nèi)連接（inner）和外連接（outer），但比起數(shù)據(jù)庫(kù)SQL語句中的join和merge方法還有其自身獨(dú)到之處，例如可以在合并過程中對(duì)數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行排序等。merge語法如下：pandas.merge(left,right,how=’inner’,on=None,left_on=None,right_on=None,left_Index=False,right_index=False,sort=False,suffixes=(‘_x’,’_y’),copy=True,indicator=False)merge方法的參數(shù)及用途見表5-9。5.4使用pandas進(jìn)行數(shù)據(jù)預(yù)處...表5-9merge方法的參數(shù)及用途5.4使用pandas進(jìn)行數(shù)據(jù)預(yù)處...【例5-29】merge方法實(shí)現(xiàn)主鍵合并的代碼示例5.4使用pandas進(jìn)行數(shù)據(jù)預(yù)處...(2)join方法join方法也可以實(shí)現(xiàn)部分主鍵合并功能，但是join方法使用時(shí)，兩個(gè)主鍵的名字必須相同。語法如下：pandas.DataFrame.join(self,other,on=None,how=’left’,lsuffix=’’,rsuffix=’’,sort=False)join方法的參數(shù)及用途見表5-10。5.4使用pandas進(jìn)行數(shù)據(jù)預(yù)處...表5-10join方法的參數(shù)及用途5.4使用pandas進(jìn)行數(shù)據(jù)預(yù)處...【例5-30】join方法實(shí)現(xiàn)主鍵合并的代碼示例5.4使用pandas進(jìn)行數(shù)據(jù)預(yù)處...4.重疊合并數(shù)據(jù)在數(shù)據(jù)分析和處理過程中若出現(xiàn)兩份數(shù)據(jù)的內(nèi)容幾乎一致的情況，但是某些特征在其中一張表上是完整的，而在另外一張表上的數(shù)據(jù)則是缺失的時(shí)候，可以用