數(shù)據(jù)可視化05Python數(shù)據(jù)處理、分析、可視化與數(shù)據(jù)化運(yùn)營(yíng)(第二版)本章學(xué)習(xí)目標(biāo)理解數(shù)據(jù)可視化的基本概念和重要性掌握常用數(shù)據(jù)可視化庫或工具的使用方法能夠根據(jù)數(shù)據(jù)類型和分析需求選擇合適的可視化方法能夠利用高級(jí)數(shù)據(jù)可視化技術(shù)如熱力圖、箱型圖、詞云等展示更復(fù)雜的數(shù)據(jù)關(guān)系和趨勢(shì)能夠使用條形圖、柱形圖、折線圖、散點(diǎn)圖等基礎(chǔ)圖表展示數(shù)據(jù)5.1數(shù)據(jù)可視化簡(jiǎn)介常用數(shù)據(jù)可視化工具選擇適合情況的數(shù)據(jù)可視化方法5.1可視化應(yīng)用概述數(shù)據(jù)可視化是利用可視化的方式（例如圖形、表格等）將數(shù)據(jù)形象的展示出來，以更好地幫助閱讀者掌握數(shù)據(jù)信息。經(jīng)常用于數(shù)據(jù)探索、數(shù)據(jù)結(jié)果展示、數(shù)據(jù)報(bào)告等方面，好的可視化會(huì)幫助數(shù)據(jù)數(shù)據(jù)分析師更好的輸出數(shù)據(jù)信息。什么是數(shù)據(jù)可視化5.1可視化應(yīng)用概述Matplotlib。Python領(lǐng)域內(nèi)最早的可視化庫之一。常用數(shù)據(jù)可視化工具andas可視化方法。Pandas中的DataFrame內(nèi)置簡(jiǎn)單可視化方法。Seaborn?；贛atplotlib的高級(jí)可視化庫。Pyecharts?；诎俣菶charts的可視化庫，支持多種展示和應(yīng)用環(huán)境。5.1可視化應(yīng)用概述選擇適合情況的數(shù)據(jù)可視化方法可視化要表達(dá)的信息內(nèi)容按主題可分為四種：趨勢(shì)、對(duì)比、結(jié)構(gòu)、關(guān)系1.趨勢(shì)趨勢(shì)指事物的發(fā)展趨勢(shì)，例如走勢(shì)的高低、狀態(tài)的變化好壞等，通常用于按時(shí)間發(fā)展的眼光來評(píng)估事物的場(chǎng)景。例如按日的用戶數(shù)量趨勢(shì)、按周的訂單量趨勢(shì)、按月的轉(zhuǎn)化率趨勢(shì)等。常用的可視化圖形是折線圖，在時(shí)間項(xiàng)較少的情況下，也可以使用柱形圖做展示。5.1可視化應(yīng)用概述選擇適合情況的數(shù)據(jù)可視化方法可視化要表達(dá)的信息內(nèi)容按主題可分為四種：趨勢(shì)、對(duì)比、結(jié)構(gòu)、關(guān)系2.對(duì)比對(duì)比指不同事物之間或同一事物在不同時(shí)間下的優(yōu)劣等的對(duì)照，可直接反應(yīng)出差異性。例如新用戶與老用戶的客單價(jià)對(duì)比、不同廣告來源渠道的訂單量和利潤(rùn)率對(duì)比等。常用的可視化圖形，在少數(shù)對(duì)比指標(biāo)上可選擇柱形圖、條形圖；而多個(gè)對(duì)象的多個(gè)指標(biāo)的同時(shí)對(duì)比可用雷達(dá)圖等。例如新用戶與老用戶、不同廣告來源渠道的訂單量和利潤(rùn)占比等。結(jié)構(gòu)也可以稱為成分、構(gòu)成或內(nèi)容組成，指的是一個(gè)整體內(nèi)有哪些元素組成，以及各個(gè)元素的影響因素或程度的大小。常用的可視化圖形，一般使用餅圖及其變體，例如玫瑰圖、扇形圖、環(huán)形圖等；如果要查看多個(gè)周期或分布下的結(jié)構(gòu)，可使用面積圖。3.結(jié)構(gòu)5.1可視化應(yīng)用概述選擇適合情況的數(shù)據(jù)可視化方法可視化要表達(dá)的信息內(nèi)容按主題可分為四種：趨勢(shì)、對(duì)比、結(jié)構(gòu)、關(guān)系4.關(guān)系關(guān)系指不同事物相互的聯(lián)系，這種聯(lián)系可以是多種類型和結(jié)構(gòu)的。例如，微博轉(zhuǎn)發(fā)路徑屬于一種擴(kuò)散關(guān)系，用戶頻繁一起購(gòu)買的商品屬于頻繁發(fā)生的交叉銷售關(guān)系，用戶在網(wǎng)頁上先后瀏覽的頁面屬于基于時(shí)間序列的關(guān)聯(lián)關(guān)系等。常用的可視化圖形，會(huì)根據(jù)不同的可視化目標(biāo)選擇不同的圖形，例如關(guān)系圖、樹形圖、漏斗圖、散點(diǎn)圖等。5.1可視化應(yīng)用概述選擇適合情況的數(shù)據(jù)可視化方法可視化要表達(dá)的信息內(nèi)容按主題可分為四種：趨勢(shì)、對(duì)比、結(jié)構(gòu)、關(guān)系5.2基礎(chǔ)數(shù)據(jù)可視化利用條形圖和柱形圖展示數(shù)據(jù)差異使用折線圖和柱狀圖描繪趨勢(shì)變化用餅圖和面積圖展示部分與整體的關(guān)系使用散點(diǎn)圖或蜂窩圖顯示數(shù)據(jù)之間的聯(lián)系5.2基礎(chǔ)數(shù)據(jù)可視化準(zhǔn)備工作導(dǎo)入庫1importmatplotlib.pyplotasplt2plt.rc("font",family="SimHei",size="14")#用于解決中文顯示亂碼問題3plt.rcParams['axes.unicode_minus']=False4importpandasaspd5importnumpyasnp6%matplotlibinline7%configInlineBackend.figure_format='retina'5.2基礎(chǔ)數(shù)據(jù)可視化準(zhǔn)備工作讀取數(shù)據(jù)1raw_data=pd.read_excel('demo.xlsx')2raw_data.head()5.2基礎(chǔ)數(shù)據(jù)可視化利用條形圖和柱形圖展示數(shù)據(jù)差異柱形圖柱形圖通過柱子的高度清晰地反映數(shù)據(jù)的差異，通常用于比較不同分類項(xiàng)目之間的數(shù)據(jù)，也可以展示時(shí)間趨勢(shì)。1province_data=raw_data.groupby('PROVINCE',as_index=False).agg({'AMOUNT':'sum','MONEY':'sum'})2province_bar=province_data.sort_values(['AMOUNT'],ascending=False)3province_bar.plot(kind='bar',x='PROVINCE',y=['AMOUNT','MONEY'],figsize=(10,4),title='各省份商品銷售對(duì)比',fontsize=12)5.2基礎(chǔ)數(shù)據(jù)可視化利用條形圖和柱形圖展示數(shù)據(jù)差異條形圖柱形圖通過條形的高度或長(zhǎng)度來表示數(shù)據(jù)的多少，也可以用于比較不同分類項(xiàng)目之間的數(shù)據(jù)。1province_barh=province_data.sort_values(['AMOUNT'],ascending=True)2province_barh.plot(kind='barh',x='PROVINCE',y=['AMOUNT','MONEY'],5.2基礎(chǔ)數(shù)據(jù)可視化使用折線圖和柱狀圖描繪趨勢(shì)變化折線圖折線圖通過折線顯示信息。通常用于展示隨時(shí)間變化的趨勢(shì)。當(dāng)我們需要描述事物隨時(shí)間維度的變化時(shí)，使用折線圖是一種有效的方式。1datetime_data=raw_data.groupby(['DATETIME'],as_index=False).sum()2datetime_data.plot(kind='line',x='DATETIME',y=['AMOUNT','MONEY'],5.2基礎(chǔ)數(shù)據(jù)可視化使用折線圖和柱狀圖描繪趨勢(shì)變化柱形圖柱形圖展示時(shí)間趨勢(shì)只需將橫軸設(shè)置為時(shí)間類的值（例如月份、日期、小時(shí)等）即可。1raw_data['MONTH']=raw_data['DATETIME'].map(lambdai:i.month)2datemonth_data=raw_data.groupby(['MONTH'],as_index=False).agg({'AMOUNT':'sum','MONEY':'sum'})3datemonth_data.plot(kind='bar',x='MONTH',y=['AMOUNT','MONEY'],figsize=(10,4),title='按月份銷售走勢(shì)')5.2基礎(chǔ)數(shù)據(jù)可視化用餅圖和面積圖展示部分與整體的關(guān)系餅圖餅圖通過圓形圖展示不同事物分布的百分比。當(dāng)需要描述某一部分或幾個(gè)關(guān)鍵部門占總體的百分比時(shí)，餅圖是一種適合的圖表形式。1cate_data=raw_data.groupby(['CATE'],as_index=False)['VISITS'].sum()2cate_data=cate_data.sort_values(['VISITS'],ascending=False)3labels=cate_data['CATE']4cate_data.plot(kind='pie',y='VISITS',figsize=(6,6),title='VISIT在各個(gè)CATE中的分布',labeldistance=1.1,autopct="%1.1f%%",shadow=False,startangle=90,pctdistance=0.6,labels=labels,legend=False)5.2基礎(chǔ)數(shù)據(jù)可視化用餅圖和面積圖展示部分與整體的關(guān)系面積圖面積圖是折線圖的一種變體。當(dāng)存在多個(gè)折線圖時(shí)，可以在各自折線下方填充不同顏色的陰影，形成堆積面積圖。1area_data=raw_data.groupby('MONTH',as_index=False).agg({'STORE1_AMOUNT':'sum','STORE2_AMOUNT':'sum','AMOUNT':'sum'})2area_data['S1_PEC']=area_data['STORE1_AMOUNT']/area_data['AMOUNT']3area_data['S2_PEC']=area_data['STORE2_AMOUNT']/area_data['AMOUNT']4area_data.plot(kind='area',x='MONTH',y=['S1_PEC','S2_PEC'],figsize=(10,4),alpha=0.5,title="'STORE1_AMOUNT','STORE2_AMOUNT'銷售占比趨勢(shì)")5.2基礎(chǔ)數(shù)據(jù)可視化使用散點(diǎn)圖或蜂窩圖顯示數(shù)據(jù)之間的聯(lián)系散點(diǎn)圖散點(diǎn)圖常用來展示2個(gè)維度間的關(guān)系，尤其在進(jìn)行相關(guān)性或回歸分析時(shí)。它經(jīng)常被用來分析回歸的擬合模型的評(píng)估，例如線性回歸、指數(shù)型回歸、還是二項(xiàng)式回歸等。raw_data.plot(kind='scatter',x='AMOUNT',y='VISITS',figsize=(10,4),title='AMOUNT和MONEY關(guān)系')5.2基礎(chǔ)數(shù)據(jù)可視化用餅圖和面積圖展示部分與整體的關(guān)系蜂窩圖蜂窩圖，又稱為六邊形圖，與散點(diǎn)圖相似，都能展示2個(gè)維度間的關(guān)系。不同之處在于，蜂窩圖將數(shù)據(jù)點(diǎn)“聚集”到蜂窩范圍內(nèi)形成集合，因此其粒度更粗。raw_data.plot(kind='hexbin',x='AMOUNT',y='MONEY',gridsize=10,figsize=(8,6),title='銷售關(guān)系分析')5.3高階數(shù)據(jù)可視化使用成對(duì)關(guān)系圖同時(shí)顯示多組數(shù)據(jù)關(guān)系利用帶回歸擬合線的散點(diǎn)圖呈現(xiàn)回歸擬合使用熱力圖揭示相關(guān)關(guān)系以日歷圖展示銷售隨時(shí)間變化情況利用箱型圖和散點(diǎn)圖觀察數(shù)據(jù)分布使用分類柱狀圖展示多維度細(xì)分值分布5.3高階數(shù)據(jù)可視化用等高線圖顯示核密度分布利用坡度圖突顯數(shù)據(jù)變化差異使用漏斗圖展示轉(zhuǎn)化環(huán)節(jié)進(jìn)展利用關(guān)系圖展示元素間關(guān)聯(lián)使用雷達(dá)圖表現(xiàn)不同屬性上多元素差異用詞云展示關(guān)鍵字分布5.3高階數(shù)據(jù)可視化使用成對(duì)關(guān)系圖同時(shí)顯示多組數(shù)據(jù)關(guān)系成對(duì)關(guān)系圖是一種在圖形中以橫軸和縱軸兩個(gè)維度成對(duì)展示信息的圖形。當(dāng)數(shù)據(jù)中存在多個(gè)維度時(shí)，如果要同時(shí)分析每?jī)蓚€(gè)維度間的關(guān)系，可使用seaborn的pairplot方法。1area_data=raw_data.groupby('MONTH',as_index=False).agg({'STORE1_AMOUNT':'sum','STORE2_AMOUNT':'sum','AMOUNT':'sum'})2area_data['S1_PEC']=area_data['STORE1_AMOUNT']/area_data['AMOUNT']3area_data['S2_PEC']=area_data['STORE2_AMOUNT']/area_data['AMOUNT']4area_data.plot(kind='area',x='MONTH',y=['S1_PEC','S2_PEC'],figsize=(10,4),alpha=0.5,title="'STORE1_AMOUNT','STORE2_AMOUNT'銷售占比趨勢(shì)")5.3高階數(shù)據(jù)可視化利用帶回歸擬合線的散點(diǎn)圖呈現(xiàn)回歸擬合當(dāng)散點(diǎn)圖用于回歸分析時(shí)，可以將擬合線加入圖形展示結(jié)果。1plt.figure(figsize=(10,4))2ksw=dict(s=60,linewidths=.9,edgecolors='black')3sns.regplot(x='MONEY',y='VISITS',data=raw_data,fit_reg=True,scatter_kws=ksw)5.3高階數(shù)據(jù)可視化使用熱力圖揭示相關(guān)關(guān)系熱力圖利用顏色的高亮程度來展示不同區(qū)域的數(shù)據(jù)差異和分布情況，是展示數(shù)據(jù)分布的重要方法。它可以用于展示用戶在網(wǎng)頁上的點(diǎn)擊分布、地區(qū)人群分布、交通車輛密度等情況，也可以用于展示不同變量之間的相關(guān)關(guān)系。1plt.figure(figsize=(6,5))2cols=['AMOUNT','MONEY','VISITS','PAGEVIEWS']3heatmap_data=raw_data[cols].corr()4sns.heatmap(heatmap_data,xticklabels=cols,yticklabels=cols,annot=True)5.3高階數(shù)據(jù)可視化以日歷圖展示銷售隨時(shí)間變化情況日歷圖以日歷的形式展示特定指標(biāo)隨時(shí)間的變化情況，通常用于展示長(zhǎng)期數(shù)據(jù)的信息，并可用于發(fā)現(xiàn)在所有日期中表現(xiàn)較好或有交叉的特定日期。1importcalmap2raw_data2=raw_data.copy()3raw_data2.index=raw_data2['DATETIME']4calmap.calendarplot(raw_data2['AMOUNT'],fig_kws={'figsize':(16,10)},yearlabel_kws={'color':'black'},subplot_kws={'title':'一年內(nèi)商品銷售量分布'})5.3高階數(shù)據(jù)可視化利用箱型圖和散點(diǎn)圖觀察數(shù)據(jù)分布箱線圖，也稱為盒須圖或箱式圖，主要用于展示原始數(shù)據(jù)的分布特征，并可用于比較多組數(shù)據(jù)的分布特征。（1）中位數(shù)：一組數(shù)據(jù)按順序排列后位于中間位置的數(shù)值，例如1、2、3、4、5中的中位數(shù)是3。（2）下四分位數(shù)和上四分位數(shù)：將所有數(shù)值按大小排序后，位于第25%和第75%位置的數(shù)字，也稱為Q1（第一四分位數(shù)）和Q3（第三四分位數(shù)）。（3）四分位距（InterQuartileRange,IQR）：指的是上四分位數(shù)和下四分位數(shù)之間的距離。（4）上限值：即上邊緣的位置，計(jì)算公式為Q3+1.5×IQR。（5）下限值：即下邊緣的位置，計(jì)算公式為Q1-1.5×IQR。（6）異常區(qū)間：在上限值和下限值之間的區(qū)域被定義為正常區(qū)間，而在這個(gè)區(qū)間之外的值被認(rèn)為是異常值。5.3高階數(shù)據(jù)可視化利用箱型圖和散點(diǎn)圖觀察數(shù)據(jù)分布這里將結(jié)合散點(diǎn)圖來更好地理解數(shù)據(jù)的分布情況和異常值的存在。1plt.figure(figsize=(10,4))2sns.boxplot(x='MONTH',y='MONEY',data=raw_data)3sns.stripplot(x='MONTH',y='MONEY',data=raw_data,color='k',size=2)5.3高階數(shù)據(jù)可視化使用分類柱狀圖展示多維度細(xì)分值分布分類柱形圖是在普通柱形圖基礎(chǔ)上增加了一個(gè)分類維度，可以同時(shí)展示不同類別下的柱形圖結(jié)果。數(shù)據(jù)分析師經(jīng)常需要在不同的維度上做對(duì)比展示不同群組信息，此時(shí)會(huì)出現(xiàn)兩個(gè)維度和一個(gè)指標(biāo)的組合展示情況，可以使用分類柱形圖。sns.catplot(data=raw_data,x="IS_PRO",col="MONTH",col_wrap=6,kind="count",height=2,aspect=.9)5.3高階數(shù)據(jù)可視化利用坡度圖突顯數(shù)據(jù)變化差異坡度圖是表示地面傾斜率的地圖，可以方便地顯示“坡度”的兩側(cè)不同指標(biāo)上的差異變化，方便對(duì)比多個(gè)指標(biāo)的變化。例如可以用于比較兩個(gè)運(yùn)營(yíng)活動(dòng)在訪問量、轉(zhuǎn)化率、訂單量上的差異。sns.pointplot(x="IS_PRO",y="AMOUNT",hue="CATE",data=raw_data)5.3高階數(shù)據(jù)可視化用等高線圖顯示核密度分布等高線圖用于展示不同的數(shù)據(jù)沿著特定“邊緣”的分布狀態(tài)，在地理上指的是高度分布和變化，在數(shù)據(jù)中可展示多種指標(biāo)。等高線圖適用于需要顯示數(shù)據(jù)在二維空間中的分布、密度或變化情況的場(chǎng)景。sns.jointplot(x="PAGEVIEWS",y="MONEY",data=raw_data,kind="kde")5.3高階數(shù)據(jù)可視化使用漏斗圖展示轉(zhuǎn)化環(huán)節(jié)進(jìn)展漏斗圖展示數(shù)據(jù)在不同階段的流失情況，形狀類似漏斗，表示數(shù)據(jù)逐步減少的過程。常用于展示轉(zhuǎn)化過程中各環(huán)節(jié)的完成情況。例如，在用戶注冊(cè)的完整流程中，用戶需要完成注冊(cè)和驗(yàn)證郵箱兩個(gè)步驟。5.3高階數(shù)據(jù)可視化使用漏斗圖展示轉(zhuǎn)化環(huán)節(jié)進(jìn)展#導(dǎo)入庫1frompyechartsimportoptionsasopts2frompyecharts.chartsimportFunnel3importpandasaspd#讀取并處理數(shù)據(jù)4raw_data3=pd.read_excel('demo.xlsx',sheet_name=1)5data=raw_data3.drop(['DATE','IMPRESSIONS'],axis=1).sum(axis=0)6funnel_data=[[i,j]fori,jinzip(data.index,data.to_list())]#展示漏斗圖7funnel=Funnel()8funnel.add("流量轉(zhuǎn)化漏斗",funnel_data)9funnel.set_global_opts(title_opts=opts.TitleOpts(title="廣告點(diǎn)擊、到達(dá)和轉(zhuǎn)化漏斗"))10funnel.render_notebook()5.3高階數(shù)據(jù)可視化利用關(guān)系圖展示元素間關(guān)聯(lián)在數(shù)據(jù)分析中，當(dāng)多個(gè)對(duì)象之間發(fā)生關(guān)系時(shí)，普通圖形通常只能同時(shí)顯示兩個(gè)數(shù)據(jù)對(duì)象間的關(guān)系。而關(guān)系圖則可以同時(shí)顯示每個(gè)對(duì)象與其他對(duì)象的關(guān)系，尤其適合于展示關(guān)聯(lián)分析的結(jié)果。例如，可以用關(guān)系圖展示消費(fèi)者一般會(huì)一起購(gòu)買哪些商品。5.3高階數(shù)據(jù)可視化利用關(guān)系圖展示元素間關(guān)聯(lián)1frompyecharts.chartsimportGraph2raw_data3=pd.read_excel('demo.xlsx',sheet_name=2)3node_data=pd.concat([raw_data3['前項(xiàng)商品'],raw_data3['后項(xiàng)商品']])4value_count=node_data.value_counts()5nodes=[opts.GraphNode(name=node,symbol_size=int(np.log(value)*10))fornode,valueinzip(value_count.index,value_count.values)]6links=[opts.GraphLink(source=i,target=j)fori,jinraw_data3[['前項(xiàng)商品','后項(xiàng)商品']].values]7graph=Graph()8graph.add("",nodes,links,repulsion=4000)9graph.set_global_opts(title_opts=opts.TitleOpts(title="商品關(guān)系"))10graph.render_notebook()5.3高階數(shù)據(jù)可視化使用雷達(dá)圖表現(xiàn)不同屬性上多元素差異雷達(dá)圖是一種圖形方法，通過同一點(diǎn)開始的軸表示三個(gè)或更多變量。雷達(dá)圖也被稱為網(wǎng)絡(luò)圖、蜘蛛圖、星圖或極坐標(biāo)圖，其軸徑向排列。當(dāng)需要對(duì)比多個(gè)元素，且對(duì)比的指標(biāo)也多時(shí)，雷達(dá)圖是展示差異的優(yōu)秀方式。例如，可以使用雷達(dá)圖對(duì)比高、中、低價(jià)值客戶在訪問量、瀏覽量、停留時(shí)間、訂單金額、回購(gòu)率等方面的差異。5.3高階數(shù)據(jù)可視化使用雷達(dá)圖表現(xiàn)不同屬性上多元素差異#讀取數(shù)據(jù)及預(yù)處理1frompyecharts.chartsimportRadar2radar_gb=raw_data.groupby('CATE',as_index=False).mean()3names=['AMOUNT','MONEY','VISITS','PAGEVIEWS','STORE1_AMOUNT','STORE2_AMOUNT']4radar_data=radar_gb[names]5max_value,min_value=radar_data.max(axis=0),radar_data.min(axis=0)6cates=[f'CATE_{i}'foriinradar_gb['CATE'].values]#展示雷達(dá)圖7rader=Radar()8schema=[opts.RadarIndicatorItem(name=i,max_=j*1.05,min_=k*0.95,color='#000')fori,j,kinzip(names,max_value,min_value)]9rader.add_schema(schema=schema,shape='circle',splitline_opt=opts.SplitLineOpts(is_show=True,linestyle_opts=opts.LineStyleOpts(opacity=0.23)))10colors=["#000","#061464","#2d3774","#565f93","#8b91b5"]11symbols=['circle','rect','arrow'