Python財經(jīng)應(yīng)用：編程基礎(chǔ)、數(shù)據(jù)分析與可視化第六章Pandas數(shù)據(jù)處理分析中國農(nóng)業(yè)大學(xué)李輝Pandas數(shù)據(jù)處理分析01Pandas基本數(shù)據(jù)結(jié)構(gòu)02數(shù)據(jù)分析的基本流程03數(shù)據(jù)的導(dǎo)入與導(dǎo)出04數(shù)據(jù)預(yù)處理05數(shù)據(jù)分析方法06DataFrame的合并與連接Pandas數(shù)據(jù)處理分析01Pandas基本數(shù)據(jù)結(jié)構(gòu)02數(shù)據(jù)分析的基本流程03數(shù)據(jù)的導(dǎo)入與導(dǎo)出04數(shù)據(jù)預(yù)處理05數(shù)據(jù)分析方法06DataFrame的合并與連接6.5

數(shù)據(jù)分析方法第六章Pandas數(shù)據(jù)處理分析數(shù)據(jù)分析方法——基本統(tǒng)計分析基本統(tǒng)計分析：又叫描述性統(tǒng)計分析，指運用制表和分類，圖形以及計算概括性數(shù)據(jù)來描述數(shù)據(jù)特征的各項活動。描述性統(tǒng)計分析要對調(diào)查總體所有變量的有關(guān)數(shù)據(jù)進行統(tǒng)計性描述，主要包括數(shù)據(jù)的頻數(shù)分析、集中趨勢分析、離散程度分析、分布以及一些基本的統(tǒng)計圖形。數(shù)據(jù)的中心位置：可分為均值（mean）、中位數(shù)（median）和眾數(shù)（mode）。其中均值和中位數(shù)用于定量的數(shù)據(jù)，眾數(shù)用于定性的數(shù)據(jù)。對于定量數(shù)據(jù)(data)來說，均值是總和除以總量N，中位數(shù)是數(shù)值大小位于中間（奇偶總量處理不同）的值，均值相對中位數(shù)來說，包含的信息量更大，但是容易受異常的影響。數(shù)據(jù)分析方法——基本統(tǒng)計分析利用DataFrame對象的describe()方法可以查看DataFrame中各個數(shù)值型字段的最小值、最值、均值、標準差等統(tǒng)計信息。此外，Pandas還提供了其他常用的描述統(tǒng)計方法，如表所示。方法含義方法含義min()最小值max()最大值mean()均值sum()求和median()中位數(shù)count()非空值數(shù)目mode()眾數(shù)ptp()極差數(shù)據(jù)分析方法——基本統(tǒng)計分析利用DataFrame對象的describe()方法可以查看DataFrame中各個數(shù)值型字段的最小值、最值、均值、標準差等統(tǒng)計信息。此外，Pandas還提供了其他常用的描述統(tǒng)計方法，如表所示。方法含義方法含義var()方差std()標準差quantile()四分位數(shù)cov()協(xié)方差skew()樣本偏度kurt()樣本峰度sem()標準誤差mad()平均絕對離差describe()描述統(tǒng)計value_counts()頻數(shù)統(tǒng)計數(shù)據(jù)分析方法——基本統(tǒng)計分析describe()方法的語法格式如下：describe(percentiles=None,

include=None,

exclude=None)參數(shù)說明：percentiles：輸出中包含的百分數(shù)，位于[0,1]之間。如果不設(shè)置該參數(shù)，則默認為[0.25,0.5,0.75]，返回25%，50%，75%分位數(shù)。include、exclude：指定返回結(jié)果的形式。數(shù)據(jù)分析方法——基本統(tǒng)計分析利用DataFrame對象的describe()方法可以查看DataFrame中各個數(shù)值型字段的最小值、最值、均值、標準差等統(tǒng)計信息。此外，Pandas還提供了其他常用的描述統(tǒng)計方法，如表所示。方法含義方法含義var()方差std()標準差quantile()四分位數(shù)cov()協(xié)方差skew()樣本偏度kurt()樣本峰度sem()標準誤差mad()平均絕對離差describe()描述統(tǒng)計value_counts()頻數(shù)統(tǒng)計數(shù)據(jù)分析方法——基本統(tǒng)計分析分組分析是一種分析方法，通過根據(jù)特定的分組字段將數(shù)據(jù)對象劃分為不同的部分，以便對比各組之間的差異。常用的統(tǒng)計指標包括計數(shù)、求和和平均值等。分組分析通常包含兩個主要操作：分組和聚合。分組：指利用特定條件將原始數(shù)據(jù)劃分為多個小組。聚合：涉及對每個分組中的數(shù)據(jù)執(zhí)行某些操作（如求和或轉(zhuǎn)換），然后將這些計算結(jié)果進行整合。數(shù)據(jù)分析方法——基本統(tǒng)計分析分組分析的過程大致可以分為以下三個步驟：1）拆分（split）：根據(jù)一定的標準將數(shù)據(jù)集分割成若干個組。這個操作是在指定的軸上進行的，既可以在橫軸方向上分組，也可以在縱軸方向上分組。2）應(yīng)用（apply）：將某個函數(shù)或方法（無論是內(nèi)置的還是自定義的）應(yīng)用于每個分組。3）合并（combine）：將生成的新值整合到最終的結(jié)果對象中。數(shù)據(jù)分析方法——基本統(tǒng)計分析在Pandas中，groupby()函數(shù)用于將數(shù)據(jù)集按照某些標準（按照一列或多列）劃分成若干個組一般與計算函數(shù)結(jié)合使用，實現(xiàn)數(shù)據(jù)的分組統(tǒng)計，該方法的語法格式如下：Pandas.groupby(by=None,axis=0,level=None,as_index=True,sort=True,group_keys=True,squeeze=False,observed=False,**kwargs)參數(shù)說明：by：指定分組依據(jù)的列名或列名列表。如果為None，則默認按照索引進行分組。axis：指定分組的軸向，0表示按行分組，1表示按列分組。默認值為0。level：如果數(shù)據(jù)具有多層索引（MultiIndex），可以通過指定level來選擇特定層級進行分組。默認值為None。as_index：是否將分組鍵作為索引。如果為True，則分組鍵會成為結(jié)果DataFrame的索引；如果為False，則保留原始索引。默認值為True。數(shù)據(jù)分析方法——基本統(tǒng)計分析在Pandas中，groupby()函數(shù)用于將數(shù)據(jù)集按照某些標準（按照一列或多列）劃分成若干個組一般與計算函數(shù)結(jié)合使用，實現(xiàn)數(shù)據(jù)的分組統(tǒng)計，該方法的語法格式如下：參數(shù)說明：sort：是否對分組鍵進行排序。如果為True，則分組鍵會按照升序排列；如果為False，則保持原順序。默認值為True。group_keys：是否在分組鍵中包含所有唯一的分組鍵值。如果為True，則每個分組鍵都會出現(xiàn)在結(jié)果中；如果為False，則只出現(xiàn)實際出現(xiàn)的分組鍵。默認值為True。squeeze：如果可能的話，嘗試將結(jié)果轉(zhuǎn)換為Series而不是DataFrame。默認值為False。Pandas.groupby(by=None,axis=0,level=None,as_index=True,sort=True,group_keys=True,squeeze=False,observed=False,**kwargs)數(shù)據(jù)分析方法——基本統(tǒng)計分析在Pandas中，groupby()函數(shù)用于將數(shù)據(jù)集按照某些標準（按照一列或多列）劃分成若干個組一般與計算函數(shù)結(jié)合使用，實現(xiàn)數(shù)據(jù)的分組統(tǒng)計，該方法的語法格式如下：參數(shù)說明：observed：僅適用于分類數(shù)據(jù)。如果為True，則返回每個唯一值的出現(xiàn)次數(shù)；如果為False，則返回每個唯一值的頻率。默認值為False。**kwargs：其他傳遞給聚合函數(shù)的關(guān)鍵字參數(shù)。數(shù)據(jù)分組后返回數(shù)據(jù)的數(shù)據(jù)類型，它不再是一個DataFrame，而是一個groupby對象。可以調(diào)用groupby的方法，如size方法，返回一個含有分組大小的series的mean方法，返回每個分組數(shù)據(jù)的均值。Pandas.groupby(by=None,axis=0,level=None,as_index=True,sort=True,group_keys=True,squeeze=False,observed=False,**kwargs)數(shù)據(jù)分析方法——基本統(tǒng)計分析

importpandasaspddf=pd.read_excel('./data/sales.xlsx')#解決數(shù)據(jù)輸出時列名不對齊的問題pd.set_option('display.unicode.ambiguous_as_wide',True)pd.set_option('display.unicode.east_asian_width',True)#抽取數(shù)據(jù)df_new=df[['產(chǎn)品類別','訂單數(shù)量','銷售額']]#分組統(tǒng)計求和print(df_new.groupby(by=['產(chǎn)品類別']).sum())1.按照一列（列名）分組統(tǒng)計在Pandas對象中，如果它的某一列數(shù)據(jù)滿足不同的劃分標準，則可以將該列當作分組鍵來拆分數(shù)據(jù)集。DataFrame數(shù)據(jù)的列索引名可以作為分組鍵，但需要注意的是，用于分組的對象必須是DataFrame數(shù)據(jù)本身，否則搜索不到索引名稱會報錯。【例6-28】讀取銷售數(shù)據(jù)，按照“產(chǎn)品類別”分組統(tǒng)計銷量和銷售額。數(shù)據(jù)分析方法——基本統(tǒng)計分析

訂單數(shù)量銷售額產(chǎn)品類別辦公用品1206493818329.18家具產(chǎn)品451055282395.59技術(shù)產(chǎn)品531166053895.80運行結(jié)果如下：數(shù)據(jù)分析方法——基本統(tǒng)計分析2.按照多列分組統(tǒng)計分組鍵還可以是長度和DataFrame行數(shù)相同的列表或元組，相當于將列表或元組看作DataFrame的一列，然后將其分組。groupby可將列名直接當作分組對象，分組中，數(shù)值列會被聚合，非數(shù)值列會從結(jié)果中排除，當by不止一個分組對象（列名）時，需要使用list。數(shù)據(jù)分析方法——基本統(tǒng)計分析3.分組并按照指定列進行數(shù)據(jù)計算對上述示例按照“商品類別”（二級分類）進行匯總，關(guān)鍵代碼如下：print(df_new.groupby('產(chǎn)品類別')['銷售額'].sum())4.對分組數(shù)據(jù)進行迭代處理通過for循環(huán)對分組統(tǒng)計數(shù)據(jù)進行迭代（遍歷分組數(shù)據(jù)）。按照“銷售渠道”（一級分類）分組，并輸出每一類商品的銷量和銷售額，關(guān)鍵代碼：forsource,typeindf_new.groupby('產(chǎn)品類別'):print(source)print(type)數(shù)據(jù)分析方法——分布分析1.Pandas.cut函數(shù)Pandas.cut函數(shù)根據(jù)指定的分界點對連續(xù)數(shù)據(jù)進行等寬分箱處理。所謂等寬分箱，指的是每個分箱中的取值范圍一致。pandas.cut(x,bins,right=True,labels=None,retbins=False,precision=3,include_lowest=False)參數(shù)說明：x：需要分箱的數(shù)據(jù)，可以是Series或DataFrame。bins：分箱邊界，可以是一個整數(shù)、序列（如列表、數(shù)組）或間隔索引對象。如果bins是整數(shù)，則表示將數(shù)據(jù)分成等寬的箱子；如果bins是序列，則表示使用這些值作為箱子的邊界；如果bins是間隔索引對象，則表示使用這些間隔作為箱子的邊界。right：布爾值，默認為True。如果為True，則區(qū)間包含右端點；如果為False，則區(qū)間不包含右端點。數(shù)據(jù)分析方法——分布分析1.Pandas.cut函數(shù)Pandas.cut函數(shù)根據(jù)指定的分界點對連續(xù)數(shù)據(jù)進行等寬分箱處理。所謂等寬分箱，指的是每個分箱中的取值范圍一致。pandas.cut(x,bins,right=True,labels=None,retbins=False,precision=3,include_lowest=False)參數(shù)說明：labels：可選參數(shù)，用于指定每個箱子的標簽。如果沒有提供，則返回整數(shù)標簽。retbins：布爾值，默認為False。如果為True，則返回箱子的邊界。precision：整數(shù)，默認為3。用于指定標簽的精度。include_lowest：布爾值，默認為False。如果為True，則第一個區(qū)間包含左端點。數(shù)據(jù)分析方法——分布分析2.Pandas.qcut函數(shù)Pandas.qcut函數(shù)根據(jù)指定的箱子數(shù)量對連續(xù)數(shù)據(jù)進行等寬分箱處理。所謂等寬分箱指的是每個箱子中的數(shù)據(jù)量是相同的。數(shù)據(jù)分析方法——交叉分析1.數(shù)據(jù)透視表交叉分析可通過數(shù)據(jù)透視表和交叉表兩種手段來完成。pivot_table（）方法：模仿了Excel的數(shù)據(jù)透視表功能，允許用戶通過指定行索引、列索引、數(shù)據(jù)值以及所需的計算方法（例如計數(shù)、求和、平均值等），輕松創(chuàng)建數(shù)據(jù)透視表。Pandas.pivot_table(data,values=None,index=None,columns=None,aggfunc='mean',fill_value=None,margins=False,margins_name='All')或：DataFrame.pivot_table(values=None,index=None,columns=None,aggfunc='mean',fill_value=None,margins=False,margins_name='All')數(shù)據(jù)分析方法——交叉分析參數(shù)說明：data：待分析的數(shù)據(jù)框（DataFrame）。values：需進行聚合計算的列名，可以是一個單獨的列名或多個列名的列表。index：作為行索引的列名。columns：作為列索引的列名。aggfunc：聚合函數(shù)，默認為'mean'（平均值），其他選項包括'sum'（求和）、'count'（計數(shù)）、'max'（最大值）、'min'（最小值）等。fill_value：用于填充缺失值的數(shù)值，缺失值通常表示為NA（不可用）。margins：是否添加行和列的總計，默認為False。margins_name：當margins設(shè)為True時，用于命名總計行的列名，默認為'All'。函數(shù)執(zhí)行后，將輸出數(shù)據(jù)透視表的結(jié)果。數(shù)據(jù)分析方法——交叉分析2.交叉表交叉表是一種特殊的透視表，專用于計算分組頻率，其雖然可以用pivot_table（）方法實現(xiàn)，但是Pandas.crosstab（）方法會更方便，默認統(tǒng)計個數(shù)（次數(shù)）。在Pandas中，crosstab（）方法用于計算兩個（或更多）因子之間的分組頻率分布，它返回一個特殊的透視表（pivottable），通常用于統(tǒng)計頻數(shù)。語法格式如下：Pandas.pivot_table(data,values=None,index=None,columns=None,aggfunc='mean',fill_value=None,margins=False,margins_name='All')參數(shù)說明：index：數(shù)組或Series，用于交叉表的行索引。columns：數(shù)組或Series，用于交叉表的列索引。values：（可選）數(shù)組或Series，用于填充交叉表的數(shù)據(jù)。如果提供了values，則aggfunc將應(yīng)用于這些值。如果沒有提供values，則默認計算分組頻率。數(shù)據(jù)分析方法——交叉分析2.交叉表交叉表是一種特殊的透視表，專用于計算分組頻率，其雖然可以用pivot_table（）方法實現(xiàn)，但是Pandas.crosstab（）方法會更方便，默認統(tǒng)計個數(shù)（次數(shù)）。在Pandas中，crosstab（）方法用于計算兩個（或更多）因子之間的分組頻率分布，它返回一個特殊的透視表（pivottable），通常用于統(tǒng)計頻數(shù)。語法格式如下：Pandas.pivot_table(data,values=None,index=None,columns=None,aggfunc='mean',fill_value=None,margins=False,margins_name='All')參數(shù)說明：rownames：（可選）字符串列表，用于行索引的名稱。默認為None。colnames：（可選）字符串列表，用于列索引的名稱。默認為None。aggfunc：（可選）函數(shù)，用于對values中的數(shù)據(jù)進行聚合。默認為None，此時計算每個組的頻數(shù)。數(shù)據(jù)分析方法——交叉分析2.交叉表交叉表是一種特殊的透視表，專用于計算分組頻率，其雖然可以用pivot_table（）方法實現(xiàn)，但是Pandas.crosstab（）方法會更方便，默認統(tǒng)計個數(shù)（次數(shù)）。在Pandas中，crosstab（）方法用于計算兩個（或更多）因子之間的分組頻率分布，它返回一個特殊的透視表（pivottable），通常用于統(tǒng)計頻數(shù)。語法格式如下：Pandas.pivot_table(data,values=None,index=None,columns=None,aggfunc='mean',fill_value=None,margins=False,margins_name='All')參數(shù)說明：margins：布爾值，可選參數(shù)，默認為False。如果為True，則添加行和列的總計（邊際總計）。margins_name：字符串，可選參數(shù)，默認為All。當margins為True時，用于邊際總計的名稱。數(shù)據(jù)分析方法——交叉分析2.交叉表交叉表是一種特殊的透視表，專用于計算分組頻率，其雖然可以用pivot_table（）方法實現(xiàn)，但是Pandas.crosstab（）方法會更方便，默認統(tǒng)計個數(shù)（次數(shù)）。在Pandas中，crosstab（）方法用于計算兩個（或更多）因子之間的分組頻率分布，它返回一個特殊的透視表（pivottable），通常用于統(tǒng)計頻數(shù)。語法格式如下：Pandas.pivot_table(data,values=None,index=None,columns=None,aggfunc='mean',fill_value=None,margins=False,margins_name='All')參數(shù)說明：dropna：布爾值，可選參數(shù)，默認為True。如果為True，則刪除任何含有缺失值的組合。normalize：（可選）布爾值或字符串，默認為False。如果為True，則返回每個單元格的相對頻率。如果為all，則返回所有值的比例。如果為columns，則返回每列的比例。如果為index，則返回每行的比例。數(shù)據(jù)分析方法——結(jié)構(gòu)分析結(jié)構(gòu)分析：在分組以及交叉的基礎(chǔ)上，計算各組成部分所占的比重進而分析總體的內(nèi)部特征的一種分析方法。這個分組主要是指定性分組，定性分組一般看結(jié)構(gòu)，它的重點在于占總體的比重。數(shù)據(jù)分析方法——相關(guān)分析相關(guān)分析旨在探究現(xiàn)象間是否存在依賴關(guān)系，并針對存在依賴關(guān)系的現(xiàn)象，研究其相關(guān)的方向和程度，這是一種用于分析隨機變量間相關(guān)性的統(tǒng)計手段。為了更精確地量化變量間的線性相關(guān)性，通常通過計算相關(guān)系數(shù)來進行相關(guān)分析。在二元變量的相關(guān)分析中，常用的系數(shù)包括Pearson相關(guān)系數(shù)、Spearman秩相關(guān)系數(shù)和判定系數(shù)。Pearson相關(guān)系數(shù)主要用于分析兩個連續(xù)變量之間的關(guān)系，其前提是這些連續(xù)變量的數(shù)據(jù)分布遵循正態(tài)分布。對于那些不滿足正態(tài)分布的變量，或者是分類變量和等級變量之間的關(guān)聯(lián)性，可以使用Spearman秩相關(guān)系數(shù)（亦稱為等級相關(guān)系數(shù)）來進行描述。相關(guān)系數(shù)：它是一種用于量化定量變量之間關(guān)系的統(tǒng)計指標。相關(guān)系數(shù)與相關(guān)程度如表所示。數(shù)據(jù)分析方法——相關(guān)分析相關(guān)分析函數(shù)如下：DataFrame.corr()Series.corr(other)如果由DataFrame調(diào)用corr（）方法，那么將會計算每列兩兩之間的相似度。如果由序列調(diào)用corr（）方法，那么只計算該序列與傳入的序列之間的相關(guān)度。返回值：DataFrame調(diào)用，返回DataFrame；Series調(diào)用，返回一個數(shù)值型，大小為相關(guān)度。Pandas數(shù)據(jù)處理分析01Pandas基本數(shù)據(jù)結(jié)構(gòu)02數(shù)據(jù)分析的基本流程03數(shù)據(jù)的導(dǎo)入與導(dǎo)出04數(shù)據(jù)預(yù)處理05數(shù)據(jù)分析方法06DataFrame的合并與連接6.6DataFrame的合并與連接第六章Pandas數(shù)據(jù)處理分析DataFrame的合并與連接——DataFrame的合并DataFrame的合并：指兩個DataFrame在縱向或橫向進行堆疊，合并為一個DataFrame。使用Pandas中的concat（）方法可以完成DataFrame的合并操作。concat(objs,axis,ignore_index)參數(shù)說明：objs：要合并的對象，是包含多個Series或DataFrame對象的序列。axis：沿哪個軸合并。默認axis=0，表示合并記錄；axis=1，表示合并字段。ignore_index：是否忽略原索引，按新的DataFrame重新組織索引。默認為False。DataFrame的合并與連接——DataFrame的連接進行數(shù)據(jù)分析時，如果需要同時從兩個DataFrame中查詢相關(guān)數(shù)據(jù)，則可以使用Pandas中的merge（）方法將兩個DataFrame的數(shù)據(jù)進行連接。在連接過程中，需要按照一個或多個共同的列名進行一一對應(yīng)地匹配，這些共同的列名也被稱為連接鍵。語法結(jié)構(gòu)如下：pandas.merge(left,right,how='inner',on=None,left_on=None,right_on=None,left_index=False,right_index=False,sort=False,suffixes=('_x','_y'))參數(shù)說明：left：左側(cè)的DataFrame對象。right：右側(cè)的DataFrame對象。how：連接方式，可選值有'left'、'right'、'outer'、'inner'。默認為'inner'。on：用于連接的列名，必須是兩個DataFrame共有的列名。如果未指定，則默認使用兩個DataFrame的索引進行連接。DataFrame的合并與連接——DataFrame的連接進行數(shù)據(jù)分析時，如果需要同時從兩個DataFrame中查詢相關(guān)數(shù)據(jù)，則可以使用Pandas中的merge（）方法將兩個DataFrame的數(shù)據(jù)進行連接。在連接過程中，需要按照一個或多個共同的列名進行一一對應(yīng)地匹配，這些共同的列名也被稱為連接鍵。語法結(jié)構(gòu)如下：pandas.merge(left,right,how='inner',on=None,left_on=None,right_on=None,left_index=False,right_index=False,sort=False,suff