數(shù)據(jù)可視化05Python數(shù)據(jù)處理、分析、可視化與數(shù)據(jù)化運營(第二版)本章學習目標理解數(shù)據(jù)可視化的基本概念和重要性掌握常用數(shù)據(jù)可視化庫或工具的使用方法能夠根據(jù)數(shù)據(jù)類型和分析需求選擇合適的可視化方法能夠利用高級數(shù)據(jù)可視化技術如熱力圖、箱型圖、詞云等展示更復雜的數(shù)據(jù)關系和趨勢能夠使用條形圖、柱形圖、折線圖、散點圖等基礎圖表展示數(shù)據(jù)5.1數(shù)據(jù)可視化簡介常用數(shù)據(jù)可視化工具選擇適合情況的數(shù)據(jù)可視化方法5.1可視化應用概述數(shù)據(jù)可視化是利用可視化的方式（例如圖形、表格等）將數(shù)據(jù)形象的展示出來，以更好地幫助閱讀者掌握數(shù)據(jù)信息。經(jīng)常用于數(shù)據(jù)探索、數(shù)據(jù)結(jié)果展示、數(shù)據(jù)報告等方面，好的可視化會幫助數(shù)據(jù)數(shù)據(jù)分析師更好的輸出數(shù)據(jù)信息。什么是數(shù)據(jù)可視化5.1可視化應用概述Matplotlib。Python領域內(nèi)最早的可視化庫之一。常用數(shù)據(jù)可視化工具andas可視化方法。Pandas中的DataFrame內(nèi)置簡單可視化方法。Seaborn?；贛atplotlib的高級可視化庫。Pyecharts。基于百度Echarts的可視化庫，支持多種展示和應用環(huán)境。5.1可視化應用概述選擇適合情況的數(shù)據(jù)可視化方法可視化要表達的信息內(nèi)容按主題可分為四種：趨勢、對比、結(jié)構(gòu)、關系1.趨勢趨勢指事物的發(fā)展趨勢，例如走勢的高低、狀態(tài)的變化好壞等，通常用于按時間發(fā)展的眼光來評估事物的場景。例如按日的用戶數(shù)量趨勢、按周的訂單量趨勢、按月的轉(zhuǎn)化率趨勢等。常用的可視化圖形是折線圖，在時間項較少的情況下，也可以使用柱形圖做展示。5.1可視化應用概述選擇適合情況的數(shù)據(jù)可視化方法可視化要表達的信息內(nèi)容按主題可分為四種：趨勢、對比、結(jié)構(gòu)、關系2.對比對比指不同事物之間或同一事物在不同時間下的優(yōu)劣等的對照，可直接反應出差異性。例如新用戶與老用戶的客單價對比、不同廣告來源渠道的訂單量和利潤率對比等。常用的可視化圖形，在少數(shù)對比指標上可選擇柱形圖、條形圖；而多個對象的多個指標的同時對比可用雷達圖等。例如新用戶與老用戶、不同廣告來源渠道的訂單量和利潤占比等。結(jié)構(gòu)也可以稱為成分、構(gòu)成或內(nèi)容組成，指的是一個整體內(nèi)有哪些元素組成，以及各個元素的影響因素或程度的大小。常用的可視化圖形，一般使用餅圖及其變體，例如玫瑰圖、扇形圖、環(huán)形圖等；如果要查看多個周期或分布下的結(jié)構(gòu)，可使用面積圖。3.結(jié)構(gòu)5.1可視化應用概述選擇適合情況的數(shù)據(jù)可視化方法可視化要表達的信息內(nèi)容按主題可分為四種：趨勢、對比、結(jié)構(gòu)、關系4.關系關系指不同事物相互的聯(lián)系，這種聯(lián)系可以是多種類型和結(jié)構(gòu)的。例如，微博轉(zhuǎn)發(fā)路徑屬于一種擴散關系，用戶頻繁一起購買的商品屬于頻繁發(fā)生的交叉銷售關系，用戶在網(wǎng)頁上先后瀏覽的頁面屬于基于時間序列的關聯(lián)關系等。常用的可視化圖形，會根據(jù)不同的可視化目標選擇不同的圖形，例如關系圖、樹形圖、漏斗圖、散點圖等。5.1可視化應用概述選擇適合情況的數(shù)據(jù)可視化方法可視化要表達的信息內(nèi)容按主題可分為四種：趨勢、對比、結(jié)構(gòu)、關系5.2基礎數(shù)據(jù)可視化利用條形圖和柱形圖展示數(shù)據(jù)差異使用折線圖和柱狀圖描繪趨勢變化用餅圖和面積圖展示部分與整體的關系使用散點圖或蜂窩圖顯示數(shù)據(jù)之間的聯(lián)系5.2基礎數(shù)據(jù)可視化準備工作導入庫1importmatplotlib.pyplotasplt2plt.rc("font",family="SimHei",size="14")#用于解決中文顯示亂碼問題3plt.rcParams['axes.unicode_minus']=False4importpandasaspd5importnumpyasnp6%matplotlibinline7%configInlineBackend.figure_format='retina'5.2基礎數(shù)據(jù)可視化準備工作讀取數(shù)據(jù)1raw_data=pd.read_excel('demo.xlsx')2raw_data.head()5.2基礎數(shù)據(jù)可視化利用條形圖和柱形圖展示數(shù)據(jù)差異柱形圖柱形圖通過柱子的高度清晰地反映數(shù)據(jù)的差異，通常用于比較不同分類項目之間的數(shù)據(jù)，也可以展示時間趨勢。1province_data=raw_data.groupby('PROVINCE',as_index=False).agg({'AMOUNT':'sum','MONEY':'sum'})2province_bar=province_data.sort_values(['AMOUNT'],ascending=False)3province_bar.plot(kind='bar',x='PROVINCE',y=['AMOUNT','MONEY'],figsize=(10,4),title='各省份商品銷售對比',fontsize=12)5.2基礎數(shù)據(jù)可視化利用條形圖和柱形圖展示數(shù)據(jù)差異條形圖柱形圖通過條形的高度或長度來表示數(shù)據(jù)的多少，也可以用于比較不同分類項目之間的數(shù)據(jù)。1province_barh=province_data.sort_values(['AMOUNT'],ascending=True)2province_barh.plot(kind='barh',x='PROVINCE',y=['AMOUNT','MONEY'],5.2基礎數(shù)據(jù)可視化使用折線圖和柱狀圖描繪趨勢變化折線圖折線圖通過折線顯示信息。通常用于展示隨時間變化的趨勢。當我們需要描述事物隨時間維度的變化時，使用折線圖是一種有效的方式。1datetime_data=raw_data.groupby(['DATETIME'],as_index=False).sum()2datetime_data.plot(kind='line',x='DATETIME',y=['AMOUNT','MONEY'],5.2基礎數(shù)據(jù)可視化使用折線圖和柱狀圖描繪趨勢變化柱形圖柱形圖展示時間趨勢只需將橫軸設置為時間類的值（例如月份、日期、小時等）即可。1raw_data['MONTH']=raw_data['DATETIME'].map(lambdai:i.month)2datemonth_data=raw_data.groupby(['MONTH'],as_index=False).agg({'AMOUNT':'sum','MONEY':'sum'})3datemonth_data.plot(kind='bar',x='MONTH',y=['AMOUNT','MONEY'],figsize=(10,4),title='按月份銷售走勢')5.2基礎數(shù)據(jù)可視化用餅圖和面積圖展示部分與整體的關系餅圖餅圖通過圓形圖展示不同事物分布的百分比。當需要描述某一部分或幾個關鍵部門占總體的百分比時，餅圖是一種適合的圖表形式。1cate_data=raw_data.groupby(['CATE'],as_index=False)['VISITS'].sum()2cate_data=cate_data.sort_values(['VISITS'],ascending=False)3labels=cate_data['CATE']4cate_data.plot(kind='pie',y='VISITS',figsize=(6,6),title='VISIT在各個CATE中的分布',labeldistance=1.1,autopct="%1.1f%%",shadow=False,startangle=90,pctdistance=0.6,labels=labels,legend=False)5.2基礎數(shù)據(jù)可視化用餅圖和面積圖展示部分與整體的關系面積圖面積圖是折線圖的一種變體。當存在多個折線圖時，可以在各自折線下方填充不同顏色的陰影，形成堆積面積圖。1area_data=raw_data.groupby('MONTH',as_index=False).agg({'STORE1_AMOUNT':'sum','STORE2_AMOUNT':'sum','AMOUNT':'sum'})2area_data['S1_PEC']=area_data['STORE1_AMOUNT']/area_data['AMOUNT']3area_data['S2_PEC']=area_data['STORE2_AMOUNT']/area_data['AMOUNT']4area_data.plot(kind='area',x='MONTH',y=['S1_PEC','S2_PEC'],figsize=(10,4),alpha=0.5,title="'STORE1_AMOUNT','STORE2_AMOUNT'銷售占比趨勢")5.2基礎數(shù)據(jù)可視化使用散點圖或蜂窩圖顯示數(shù)據(jù)之間的聯(lián)系散點圖散點圖常用來展示2個維度間的關系，尤其在進行相關性或回歸分析時。它經(jīng)常被用來分析回歸的擬合模型的評估，例如線性回歸、指數(shù)型回歸、還是二項式回歸等。raw_data.plot(kind='scatter',x='AMOUNT',y='VISITS',figsize=(10,4),title='AMOUNT和MONEY關系')5.2基礎數(shù)據(jù)可視化用餅圖和面積圖展示部分與整體的關系蜂窩圖蜂窩圖，又稱為六邊形圖，與散點圖相似，都能展示2個維度間的關系。不同之處在于，蜂窩圖將數(shù)據(jù)點“聚集”到蜂窩范圍內(nèi)形成集合，因此其粒度更粗。raw_data.plot(kind='hexbin',x='AMOUNT',y='MONEY',gridsize=10,figsize=(8,6),title='銷售關系分析')5.3高階數(shù)據(jù)可視化使用成對關系圖同時顯示多組數(shù)據(jù)關系利用帶回歸擬合線的散點圖呈現(xiàn)回歸擬合使用熱力圖揭示相關關系以日歷圖展示銷售隨時間變化情況利用箱型圖和散點圖觀察數(shù)據(jù)分布使用分類柱狀圖展示多維度細分值分布5.3高階數(shù)據(jù)可視化用等高線圖顯示核密度分布利用坡度圖突顯數(shù)據(jù)變化差異使用漏斗圖展示轉(zhuǎn)化環(huán)節(jié)進展利用關系圖展示元素間關聯(lián)使用雷達圖表現(xiàn)不同屬性上多元素差異用詞云展示關鍵字分布5.3高階數(shù)據(jù)可視化使用成對關系圖同時顯示多組數(shù)據(jù)關系成對關系圖是一種在圖形中以橫軸和縱軸兩個維度成對展示信息的圖形。當數(shù)據(jù)中存在多個維度時，如果要同時分析每兩個維度間的關系，可使用seaborn的pairplot方法。1area_data=raw_data.groupby('MONTH',as_index=False).agg({'STORE1_AMOUNT':'sum','STORE2_AMOUNT':'sum','AMOUNT':'sum'})2area_data['S1_PEC']=area_data['STORE1_AMOUNT']/area_data['AMOUNT']3area_data['S2_PEC']=area_data['STORE2_AMOUNT']/area_data['AMOUNT']4area_data.plot(kind='area',x='MONTH',y=['S1_PEC','S2_PEC'],figsize=(10,4),alpha=0.5,title="'STORE1_AMOUNT','STORE2_AMOUNT'銷售占比趨勢")5.3高階數(shù)據(jù)可視化利用帶回歸擬合線的散點圖呈現(xiàn)回歸擬合當散點圖用于回歸分析時，可以將擬合線加入圖形展示結(jié)果。1plt.figure(figsize=(10,4))2ksw=dict(s=60,linewidths=.9,edgecolors='black')3sns.regplot(x='MONEY',y='VISITS',data=raw_data,fit_reg=True,scatter_kws=ksw)5.3高階數(shù)據(jù)可視化使用熱力圖揭示相關關系熱力圖利用顏色的高亮程度來展示不同區(qū)域的數(shù)據(jù)差異和分布情況，是展示數(shù)據(jù)分布的重要方法。它可以用于展示用戶在網(wǎng)頁上的點擊分布、地區(qū)人群分布、交通車輛密度等情況，也可以用于展示不同變量之間的相關關系。1plt.figure(figsize=(6,5))2cols=['AMOUNT','MONEY','VISITS','PAGEVIEWS']3heatmap_data=raw_data[cols].corr()4sns.heatmap(heatmap_data,xticklabels=cols,yticklabels=cols,annot=True)5.3高階數(shù)據(jù)可視化以日歷圖展示銷售隨時間變化情況日歷圖以日歷的形式展示特定指標隨時間的變化情況，通常用于展示長期數(shù)據(jù)的信息，并可用于發(fā)現(xiàn)在所有日期中表現(xiàn)較好或有交叉的特定日期。1importcalmap2raw_data2=raw_data.copy()3raw_data2.index=raw_data2['DATETIME']4calmap.calendarplot(raw_data2['AMOUNT'],fig_kws={'figsize':(16,10)},yearlabel_kws={'color':'black'},subplot_kws={'title':'一年內(nèi)商品銷售量分布'})5.3高階數(shù)據(jù)可視化利用箱型圖和散點圖觀察數(shù)據(jù)分布箱線圖，也稱為盒須圖或箱式圖，主要用于展示原始數(shù)據(jù)的分布特征，并可用于比較多組數(shù)據(jù)的分布特征。（1）中位數(shù)：一組數(shù)據(jù)按順序排列后位于中間位置的數(shù)值，例如1、2、3、4、5中的中位數(shù)是3。（2）下四分位數(shù)和上四分位數(shù)：將所有數(shù)值按大小排序后，位于第25%和第75%位置的數(shù)字，也稱為Q1（第一四分位數(shù)）和Q3（第三四分位數(shù)）。（3）四分位距（InterQuartileRange,IQR）：指的是上四分位數(shù)和下四分位數(shù)之間的距離。（4）上限值：即上邊緣的位置，計算公式為Q3+1.5×IQR。（5）下限值：即下邊緣的位置，計算公式為Q1-1.5×IQR。（6）異常區(qū)間：在上限值和下限值之間的區(qū)域被定義為正常區(qū)間，而在這個區(qū)間之外的值被認為是異常值。5.3高階數(shù)據(jù)可視化利用箱型圖和散點圖觀察數(shù)據(jù)分布這里將結(jié)合散點圖來更好地理解數(shù)據(jù)的分布情況和異常值的存在。1plt.figure(figsize=(10,4))2sns.boxplot(x='MONTH',y='MONEY',data=raw_data)3sns.stripplot(x='MONTH',y='MONEY',data=raw_data,color='k',size=2)5.3高階數(shù)據(jù)可視化使用分類柱狀圖展示多維度細分值分布分類柱形圖是在普通柱形圖基礎上增加了一個分類維度，可以同時展示不同類別下的柱形圖結(jié)果。數(shù)據(jù)分析師經(jīng)常需要在不同的維度上做對比展示不同群組信息，此時會出現(xiàn)兩個維度和一個指標的組合展示情況，可以使用分類柱形圖。sns.catplot(data=raw_data,x="IS_PRO",col="MONTH",col_wrap=6,kind="count",height=2,aspect=.9)5.3高階數(shù)據(jù)可視化利用坡度圖突顯數(shù)據(jù)變化差異坡度圖是表示地面傾斜率的地圖，可以方便地顯示“坡度”的兩側(cè)不同指標上的差異變化，方便對比多個指標的變化。例如可以用于比較兩個運營活動在訪問量、轉(zhuǎn)化率、訂單量上的差異。sns.pointplot(x="IS_PRO",y="AMOUNT",hue="CATE",data=raw_data)5.3高階數(shù)據(jù)可視化用等高線圖顯示核密度分布等高線圖用于展示不同的數(shù)據(jù)沿著特定“邊緣”的分布狀態(tài)，在地理上指的是高度分布和變化，在數(shù)據(jù)中可展示多種指標。等高線圖適用于需要顯示數(shù)據(jù)在二維空間中的分布、密度或變化情況的場景。sns.jointplot(x="PAGEVIEWS",y="MONEY",data=raw_data,kind="kde")5.3高階數(shù)據(jù)可視化使用漏斗圖展示轉(zhuǎn)化環(huán)節(jié)進展漏斗圖展示數(shù)據(jù)在不同階段的流失情況，形狀類似漏斗，表示數(shù)據(jù)逐步減少的過程。常用于展示轉(zhuǎn)化過程中各環(huán)節(jié)的完成情況。例如，在用戶注冊的完整流程中，用戶需要完成注冊和驗證郵箱兩個步驟。5.3高階數(shù)據(jù)可視化使用漏斗圖展示轉(zhuǎn)化環(huán)節(jié)進展#導入庫1frompyechartsimportoptionsasopts2frompyecharts.chartsimportFunnel3importpandasaspd#讀取并處理數(shù)據(jù)4raw_data3=pd.read_excel('demo.xlsx',sheet_name=1)5data=raw_data3.drop(['DATE','IMPRESSIONS'],axis=1).sum(axis=0)6funnel_data=[[i,j]fori,jinzip(data.index,data.to_list())]#展示漏斗圖7funnel=Funnel()8funnel.add("流量轉(zhuǎn)化漏斗",funnel_data)9funnel.set_global_opts(title_opts=opts.TitleOpts(title="廣告點擊、到達和轉(zhuǎn)化漏斗"))10funnel.render_notebook()5.3高階數(shù)據(jù)可視化利用關系圖展示元素間關聯(lián)在數(shù)據(jù)分析中，當多個對象之間發(fā)生關系時，普通圖形通常只能同時顯示兩個數(shù)據(jù)對象間的關系。而關系圖則可以同時顯示每個對象與其他對象的關系，尤其適合于展示關聯(lián)分析的結(jié)果。例如，可以用關系圖展示消費者一般會一起購買哪些商品。5.3高階數(shù)據(jù)可視化利用關系圖展示元素間關聯(lián)1frompyecharts.chartsimportGraph2raw_data3=pd.read_excel('demo.xlsx',sheet_name=2)3node_data=pd.concat([raw_data3['前項商品'],raw_data3['后項商品']])4value_count=node_data.value_counts()5nodes=[opts.GraphNode(name=node,symbol_size=int(np.log(value)*10))fornode,valueinzip(value_count.index,value_count.values)]6links=[opts.GraphLink(source=i,target=j)fori,jinraw_data3[['前項商品','后項商品']].values]7graph=Graph()8graph.add("",nodes,links,repulsion=4000)9graph.set_global_opts(title_opts=opts.TitleOpts(title="商品關系"))10graph.render_notebook()5.3高階數(shù)據(jù)可視化使用雷達圖表現(xiàn)不同屬性上多元素差異雷達圖是一種圖形方法，通過同一點開始的軸表示三個或更多變量。雷達圖也被稱為網(wǎng)絡圖、蜘蛛圖、星圖或極坐標圖，其軸徑向排列。當需要對比多個元素，且對比的指標也多時，雷達圖是展示差異的優(yōu)秀方式。例如，可以使用雷達圖對比高、中、低價值客戶在訪問量、瀏覽量、停留時間、訂單金額、回購率等方面的差異。5.3高階數(shù)據(jù)可視化使用雷達圖表現(xiàn)不同屬性上多元素差異#讀取數(shù)據(jù)及預處理1frompyecharts.chartsimportRadar2radar_gb=raw_data.groupby('CATE',as_index=False).mean()3names=['AMOUNT','MONEY','VISITS','PAGEVIEWS','STORE1_AMOUNT','STORE2_AMOUNT']4radar_data=radar_gb[names]5max_value,min_value=radar_data.max(axis=0),radar_data.min(axis=0)6cates=[f'CATE_{i}'foriinradar_gb['CATE'].values]#展示雷達圖7rader=Radar()8schema=[opts.RadarIndicatorItem(name=i,max_=j*1.05,min_=k*0.95,color='#000')fori,j,kinzip(names,max_value,min_value)]9rader.add_schema(schema=schema,shape='circle',splitline_opt=opts.SplitLineOpts(is_show=True,linestyle_opts=opts.LineStyleOpts(opacity=0.23)))10colors=["#000","#061464","#2d3774","#565f93","#8b91b5"]11symbols=['circle','rect','arrow','triangle','diamond']12forind,valueinenumerate(cates):13data=[radar_data.iloc[ind].round(0).tolist()]14rader.add(value,data,color=colors[ind],symbol=symbols[ind],linestyle_opts=opts.LineStyleOpts(width=ind+1))15rader.set_series_opts(label_opts=opts.LabelOpts(is_show=False))16rader.set_global_opts(title_opts=opts.TitleOpts(title='雷達圖對比'))17rader.render_notebook()5.3高階數(shù)據(jù)可視化用詞云展示關鍵字分布詞云是一種常用的展示關鍵字分布的方法，通常用于展示用戶評論、搜索關鍵字、文章標簽等容易聚合的關鍵字。1frompyecharts.chartsimportWordCloud2raw_data4=pd.read_excel('demo.xlsx',sheet_name=3)3wordcloud_data=raw_data4.to_records(index=False).tolist()4wc=WordCloud()5wc.add("",wordcloud_data,word_size_range=[15,300])6wc.set_global_opts(title_opts=opts.TitleOpts(title="詞云關鍵字展示"))7wc.render_notebook()任務實訓：綜合性數(shù)據(jù)可視化項目實踐基本背景：通過簡單應用建立正確的可視化觀念，通過實際訓練加深理解。訓練要點：（1）考察不同可視化圖形的含義和應用場景。（2）掌握在不同的數(shù)據(jù)信息表達訴求下，如何選擇不同的可視化圖形。實訓要求：基于給定的數(shù)據(jù)可視化圖形圖5-21，讓讀者分別判斷不同的圖形最適合展示的應用場景及其優(yōu)勢，并舉至少2個實際工作、學習或生活中的案例進行說明。學習進步！Python數(shù)據(jù)處理、分析、可視化與數(shù)據(jù)化運營(第二版)簡明數(shù)據(jù)統(tǒng)計分析06Python數(shù)據(jù)處理、分析、可視化與數(shù)據(jù)化運營(第二版)本章學習目標理解描述性統(tǒng)計分析的重要性和基本概念能夠使用不同方法探索數(shù)據(jù)的中心趨勢和分散趨勢掌握比較不同組別數(shù)據(jù)和觀察數(shù)據(jù)變化趨勢的方法能夠使用中間值分析數(shù)據(jù)、基于平均值和變化程度分析數(shù)據(jù)以及進行RFM分析理解百分比分析、二八法則、ABC分析和長尾分析的應用場景和方法熟悉Pearson相關性、Spearman相關性和Kendall相關性的計算和應用能夠應用漏斗分析、路徑分析和歸因分析解決實際問題理解主成分分析和因子分析的基本原理和應用場景6.1描述性統(tǒng)計分析數(shù)據(jù)概述數(shù)據(jù)中心趨勢數(shù)據(jù)分散趨勢6.1描述性統(tǒng)計分析使用Excel的DMEO數(shù)據(jù)本節(jié)所用數(shù)據(jù)為公用數(shù)據(jù)，讀取excel的demo數(shù)據(jù)。1importpandasaspd2importnumpyasnp3raw_data=pd.read_excel('demo.xlsx')4print(raw_data.head(3))用法示例：準備數(shù)據(jù)DATETIMEPROVINCECATEAMOUNTVISITSIS_PRO02024-04-2728南方大區(qū)585.02485False12024-02-0128北方大區(qū)936.04647True22024-09-2128北方大區(qū)682.06402False6.1描述性統(tǒng)計分析先將province轉(zhuǎn)換為字符串在字段中的PROVINCE列本身是分類含義，因此將其轉(zhuǎn)換為字符串類型。raw_data['PROVINCE']=raw_data['PROVINCE'].astype(str)用法示例：準備數(shù)據(jù)6.1描述性統(tǒng)計分析指標打印輸出使用DataFrame的describe方法獲得數(shù)據(jù)的描述性統(tǒng)計信息1desc_data=raw_data.describe(include='all').T2desc_data['polar_distance']=desc_data['max']-desc_data['min']3desc_data['QD']=(desc_data['75%']-desc_data['25%'])/24desc_data['days_int']=desc_data['max']-desc_data['min']5desc_data['dtype']=raw_data.dtypes6desc_data['all_count']=raw_data.shape[0]7print(desc_data.columns)用法示例：準備數(shù)據(jù)6.1描述性統(tǒng)計分析通用描述信息是指對所有數(shù)據(jù)字段的概要描述，示例代碼如下：print(desc_data[['all_count','count','dtype']])數(shù)據(jù)概述all_countcountdtypeDATETIME21362136datetime64[ns]PROVINCE21362136objectCATE21362136objectAMOUNT21362136.0float64VISITS21362136.0int64IS_PRO21362136bool對于數(shù)值型字段，常用的描述集中趨勢的指標包括均值、中位數(shù)和四分位數(shù)。其中，均值表示數(shù)據(jù)的平均值，中位數(shù)表示數(shù)據(jù)中間值，四分位數(shù)則將數(shù)據(jù)分成四等分，分別表示數(shù)據(jù)的上下四分之一位置。6.1描述性統(tǒng)計分析數(shù)值型字段的均值、中位數(shù)和四分位數(shù)print(desc_data.loc[['AMOUNT','VISITS'],['25%','50%','75%','mean']])數(shù)據(jù)中心趨勢25%50%75%meanAMOUNT800.351243.551993.4251608.345318VISITS1717.752893.04963.53881.156835數(shù)據(jù)分析師經(jīng)常使用唯一值、眾數(shù)和頻數(shù)描述非數(shù)值型字段的集中趨勢6.1描述性統(tǒng)計分析非數(shù)值型字段的唯一值、眾數(shù)和頻數(shù)print(desc_data.loc[['PROVINCE','CATE','IS_PRO'],['unique','top','freq']])數(shù)據(jù)中心趨勢uniquetopfreqPROVINCE2323502CATE5北方大區(qū)463IS_PRO2True1102對于數(shù)值型字段，我們經(jīng)常使用標準差、最小值、最大值、極差和四分位差來描述離散趨勢。6.1描述性統(tǒng)計分析數(shù)值型字段的標準差、最小值、最大值、極差、四分位差print(desc_data.loc[['AMOUNT','VISITS'],['std','min','max','polar_distance','IQR']])數(shù)據(jù)分散趨勢stdminmaxpolar_distanceIQRAMOUNT1239.317656357.014017.513660.5596.5375VISITS3301.20346557.035374.034817.01622.875對于日期型字段，通常很少描述其離散性趨勢，但日期類字段卻有其特殊性。在老版本的日期時間字段中，可以計算日期時間的起始信息；而在最新版本的pandas中，日期時間格式已被視為“數(shù)值型”處理，因此可以計算最大、最小值、均值等統(tǒng)計量，但無法計算標準差。6.1描述性統(tǒng)計分析日期型字段的特殊分析print(desc_data.loc[['DATETIME'],['std','min','max','mean']])數(shù)據(jù)分散趨勢stdminmaxmeanDATETIMENaN2024-01-0100:00:002024-10-3000:00:00DATETIME2024-05-3123:12:08.0898877446.2數(shù)據(jù)交叉對比和趨勢分析比較不同組別數(shù)據(jù)觀察數(shù)據(jù)變化趨勢6.2數(shù)據(jù)交叉對比和趨勢分析對比和趨勢是分析事物對象，并得到結(jié)論的基本且重要的方法概念有比較才能產(chǎn)生差異，也才有好壞優(yōu)劣之分基于比較的思維構(gòu)成了數(shù)據(jù)分析的基礎邏輯對比和趨勢分別從橫向和縱向兩個維度對特定事物做分析6.2數(shù)據(jù)交叉對比和趨勢分析要分析不同的大區(qū)在是否促銷上是否存在差異，并同時評估指標包括訪問量和訂單數(shù)量，可以使用如下代碼實現(xiàn)比較不同組別數(shù)據(jù)raw_data.pivot_table(values=['AMOUNT','VISITS'],index=['CATE'],columns='IS_PRO',aggfunc=np.mean) AMOUNT VISITSIS_PRO False True False TrueCATE 中部大區(qū) 1605.869626 1557.756132 3968.887850 3633.867925北方大區(qū) 1509.768837 1489.045968 3931.069767 3756.782258南方大區(qū) 1526.574510 1651.133921 3590.279412 3977.691630海外區(qū) 1676.751707 1831.289163 4175.390244 4126.527094西部大區(qū) 1707.751020 1562.301415 3759.954082 3903.8820756.2數(shù)據(jù)交叉對比和趨勢分析使用趨勢分析法，分析該區(qū)域(“海外區(qū)”)在不同時間周期下的表現(xiàn)。觀察數(shù)據(jù)變化趨勢1raw_data['MONTH']=raw_data['DATETIME'].map(lambdai:i.month)2overseas_north=raw_data[raw_data['CATE']=='海外區(qū)']3overseas_north.pivot_table(values=['AMOUNT','VISITS'], AMOUNT VISITSIS_PRO False True False TrueMONTH 1 1246.211765 1200.773333 4541.823529 2197.2000002 1398.080952 1320.342105 3163.000000 4475.9473683 1566.375000 1587.757143 3727.458333 3389.6428574 1379.630000 2213.710345 3346.700000 4313.2758625 1522.512500 2683.680000 5068.000000 5899.2000006 1987.888235 985.250000 4466.470588 5494.2000007 1855.556522 1753.253571 4162.782609 3873.5357148 2015.858824 1628.462963 4171.352941 4185.1111119 2565.652632 3217.700000 5312.000000 5565.94117610 1390.173913 1777.450000 3947.000000 3483.8500006.3數(shù)據(jù)結(jié)構(gòu)與貢獻分析百分比分析二八法則ABC分析長尾分析百分比分析通過計算不同部分的比例來評估它們的貢獻度，這是許多深入分析方法的基礎。在繪制餅圖時，我們可以通過排序后的占比了解不同對象對整體的貢獻度。6.3數(shù)據(jù)結(jié)構(gòu)與貢獻分析1com_data=raw_data.groupby('PROVINCE',as_index=False).agg({'AMOUNT':'sum','VISITS':'sum'})2com_sort=com_data.sort_values(['VISITS'],ascending=False)3amount_sum=com_sort['AMOUNT'].sum()4visits_sum=com_sort['VISITS'].sum()5com_sort['AMOUNT_PER']=com_sort['AMOUNT']/amount_sum6com_sort['VISITS_PER']=com_sort['VISITS']/visits_sum7print(com_sort.head(5))百分比分析：計算不同部分占整體的比例PROVINCEAMOUNTVISITSAMOUNT_PERVISITS_PER10231196926.515041440.3484070.181437185361144.88650830.1051240.104351514314212.86190300.0914630.074671132670599.06067700.0205500.073192112478604.05217490.0228800.062936在經(jīng)濟學和管理學領域，有一個經(jīng)典的“二八法則”（也稱為80/20定律或帕累托法則）。這個法則基本含義是在任何一組事物中，最重要的只占其中一小部分（大約20%），而其余80%盡管數(shù)量上占多數(shù)，卻是次要的。因此，這個法則也被稱為二八定律。接下來，我們將針對AMOUNT_PER進行處理和分析。6.3數(shù)據(jù)結(jié)構(gòu)與貢獻分析1amount_data=com_sort.sort_values(['AMOUNT_PER'],ascending=False)2amount_data['CUM_AMOUNT_PER']=amount_data['AMOUNT_PER'].cumsum()3print(amount_data[['PROVINCE','AMOUNT_PER','CUM_AMOUNT_PER']].round(2).head())二八法則：重點關注少數(shù)關鍵對象的影響PROVINCEAMOUNT_PERCUM_AMOUNT_PER10230.350.357180.120.471850.110.585140.090.679220.080.75對數(shù)據(jù)進行二八分類可以通過判斷CUM_AMOUNT_PER的值來實現(xiàn)。當值小于等于0.8時，歸為top20%，否則歸為剩下的80%。實現(xiàn)方法如下：6.3數(shù)據(jù)結(jié)構(gòu)與貢獻分析4amount_data['20_80']=pd.cut(amount_data['CUM_AMOUNT_PER'],bins=[0,0.8,1],labels=['top20%','others80%'])5print(amount_data[['PROVINCE','AMOUNT_PER','CUM_AMOUNT_PER','20_80']].round(2).head(10))二八法則：重點關注少數(shù)關鍵對象的影響PROVINCEAMOUNT_PERCUM_AMOUNT_PER20_8010230.350.35top20%7180.120.47top20%1850.110.58top20%5140.090.67top20%9220.080.75top20%3120.020.78top20%1630.020.80top20%11240.020.82others80%2180.020.84others80%13260.020.86others80%ABC分析法根據(jù)不同的貢獻度，將數(shù)據(jù)分為A、B、C三組，以確定主要、次要和一般影響因素。6.3數(shù)據(jù)結(jié)構(gòu)與貢獻分析1amount_data['ABC']=pd.cut(amount_data['CUM_AMOUNT_PER'],

bins=[0,0.8,0.95,1],labels=list('ABC'))2print(amount_data[['PROVINCE','AMOUNT_PER',

'CUM_AMOUNT_PER','20_80','ABC']].round(2).head(15))ABC分析：將數(shù)據(jù)按重要性分為不同等級PROVINCEAMOUNT_PERCUM_AMOUNT_PER20_80ABC10230.350.35top20%A7180.120.47top20%A1850.110.58top20%A5140.090.67top20%A9220.080.75top20%A3120.020.78top20%A1630.020.80top20%A11240.020.82others80%B2180.020.84others80%B13260.020.86others80%B2110.020.88others80%B4130.020.90others80%B1740.020.92others80%B15280.020.94others80%B2070.020.96others80%C在數(shù)據(jù)分布中，一般將數(shù)據(jù)分布集中或突出的區(qū)域稱為“頭部”，而分布零散或平緩的區(qū)域則稱為“尾部”。長尾分析指的是對分布在數(shù)據(jù)尾部的零散、個性化元素的分析，例如對占比非常小的數(shù)據(jù)進行分析就屬于長尾分析。長尾理論顛覆了傳統(tǒng)的二八法則。6.3數(shù)據(jù)結(jié)構(gòu)與貢獻分析1visits_data=com_sort.sort_values(['VISITS_PER'],ascending=False)2visits_data['CUM_VISITS_PER']=visits_data['VISITS_PER'].cumsum()3print(visits_data[['PROVINCE','VISITS_PER','CUM_VISITS_PER']].round(2).head())長尾分析：探討不常見數(shù)據(jù)的影響PROVINCEVISITS_PERCUM_VISITS_PER10230.180.181850.100.295140.070.3613260.070.4311240.060.506.4數(shù)據(jù)分組與聚合分析使用分位數(shù)分析數(shù)據(jù)基于平均值和標準差分析RFM分析分位數(shù)法是一種用分位數(shù)描述偏態(tài)分布或分布不明顯的數(shù)據(jù)的離散情況的方法。我們可以使用pandas中的cut方法來實現(xiàn)這一目的。6.4數(shù)據(jù)分組與聚合分析1agg_data=raw_data.copy()2agg_data['QUAN_CUT']=pd.cut(agg_data['VISITS'],bins=3,labels=list('ABC'))3print(agg_data[['VISITS','QUAN_CUT']].head(72))使用分位數(shù)分析數(shù)據(jù)VISITSQUAN_CUT02485A14647A26402A319765B42892A........673075A6813708B6912172B7011688A7129295C在使用分位數(shù)法之外，我們還可以自定義分箱聚合的邊界。在自定義邊界時，有多種方法可供選擇，例如在二八法則、ABC分析中定義的方式。下面我們演示如何使用平均值和標準差配合來定義邊界。6.4數(shù)據(jù)分組與聚合分析1visits_desc=agg_data['VISITS'].describe()2min_,mean_,std_,max_=visits_desc['min'],visits_desc['mean'],visits_desc['std'],visits_desc['max']3bins=[min_-1,mean_-std_,mean_+std_,max_+1]4agg_data['CUST_CUT']=pd.cut(agg_data['VISITS'],bins=bins,labels=list('ABC'))5print(agg_data[['VISITS','QUAN_CUT','CUST_CUT']].head())基于平均值和標準差分析VISITSQUAN_CUTCUST_CUT02485AB14647AB26402AB319765BC42892ABRFM分析是企業(yè)常用的客戶價值評估方法，通過該模型對客戶進行分組，并制定有針對性的營銷策略，從而實現(xiàn)精準營銷。RFM模型基于最近購買、購買頻率和購買金額三個核心指標進行分析：最近購買：反映客戶最近一次購買的時間，可用于關注忠誠客戶。購買頻率：表示客戶在一段時間內(nèi)購買次數(shù)，有助于理解客戶忠誠度和購買趨勢。購買金額：客戶在購買時花費的金額，可用于確定高價值客戶和制定差異化策略。6.4數(shù)據(jù)分組與聚合分析RFM分析6.4數(shù)據(jù)分組與聚合分析RFM分析1importpandasaspd2data=pd.read_excel('demo.xlsx',sheet_name='Sheet2')3snapshot_date=data['DATE'].max()+pd.DateOffset(days=1)4rfm_data=data.groupby('USER_ID').agg({5'DATE':lambdax:(snapshot_date-x.max()).days,#計算Recency6'USER_ID':'count',#計算Frequency7'MONEY':'sum'#計算Monetary8})9rfm_data.columns=['Recency','Frequency','Monetary']10rfm_data['R']=pd.qcut(rfm_data['Recency'],q=2,labels=[2,1])11rfm_data['F']=pd.qcut(rfm_data['Frequency'],q=2,labels=[1,2])12rfm_data['M']=pd.qcut(rfm_data['Monetary'],q=2,labels=[1,2])13rfm_data['RFM_Group']=rfm_data['R'].astype(str)+rfm_data['F'].astype(str)+rfm_data['M'].astype(str)14print(rfm_data.head())RecencyFrequencyMonetaryRFMRFM_GroupUSER_ID0210019194.0022222211121178.701111119301138.2611111125301205.6411111131561106.081111116.5數(shù)據(jù)相關性分析Pearson相關性Spearman相關性Kendall相關性6.5數(shù)據(jù)相關性分析什么是相關性分析相關性分析是指對多個具備相關關系的變量進行分析，從而衡量變量間的相關程度或密切程度。相關性可以應用到所有數(shù)據(jù)的分析過程中，任何事物之間都是存在一定的聯(lián)系。相關性用R（相關系數(shù)）表示，R的取值范圍是[-1,1]，不同的R代表不同的相關方式概念6.5數(shù)據(jù)相關性分析什么是相關性分析不同的R代表不同的相關方式：（1）r>0：線性正相關（2）r<0：線性負相關（3）r=0：兩個變量之間不存在線性關系概念6.5數(shù)據(jù)相關性分析皮爾遜相關系數(shù)（PearsonCorrelationCoefficient）是一種衡量兩個連續(xù)變量之間線性關系強度和方向的統(tǒng)計量。在數(shù)據(jù)分析中，Pearson相關性常用于衡量兩個連續(xù)性變量之間的相關性。例如，在本章中，AMOUNT（金額）和VISITS（訪問次數(shù)）就是連續(xù)性變量的例子。Pearson相關性1cols=['QUAN_CUT','CUST_CUT']2foriincols:3agg_data[i]=agg_data[i].astype('category')4agg_data[i+'_IND']=agg_data[i].cat.codes5print(agg_data[['AMOUNT','VISITS']].corr(method='pearson').round(2))AMOUNTVISITSAMOUNT1.000.27VISITS0.271.006.5數(shù)據(jù)相關性分析斯皮爾曼等級相關系數(shù)（SpearmanCorrelationCoefficient）是衡量兩個變量的依賴性的非參數(shù)指標，它可以用于衡量變量之間的排序關系。斯皮爾曼相關性常用于定序數(shù)據(jù)的相關性分析，定序數(shù)據(jù)指的是具有一定前后順序的分類數(shù)據(jù)，例如會員的價值程度可分為高、中、低三個等級。Spearman相關性print(agg_data[['QUAN_CUT_IND','CUST_CUT_IND']].corr(method='spearman').round(2))QUAN_CUT_INDCUST_CUT_INDQUAN_CUT_IND1.000.47CUST_CUT_IND0.471.006.5數(shù)據(jù)相關性分析肯德爾相關系數(shù)（KendallCorrelationCoefficient）是一種計算有序類別相關性的統(tǒng)計量，主要用于定序分類數(shù)據(jù)的相關性分析。與斯皮爾曼相關系數(shù)類似，肯德爾相關系數(shù)也衡量變量之間的等級關系。Kendall相關性print(agg_data[['QUAN_CUT_IND','CUST_CUT_IND']].corr(method='kendall').round(2))QUAN_CUT_INDCUST_CUT_INDQUAN_CUT_IND1.000.47CUST_CUT_IND0.471.006.6主成分分析和因子分析主成分分析因子分析6.6主成分分析和因子分析加載示例數(shù)據(jù)讀取excel數(shù)據(jù)1fromsklearn.decompositionimportPCA2fromsklearn.decompositionimportFactorAnalysisasFA3raw_data2=pd.read_excel('demo.xlsx',sheet_name=2,index_col='USER_ID')4print(raw_data2.head(3))LEVELCLICKSVISITSORDERSCON_RATEUSER_ID1708765048501874160.5693852654258843682133080.5270243235377494735446360.8995146.6主成分分析和因子分析主成分分析主成分分析（PrincipalComponentAnalysis，PCA）是一種數(shù)學變換方法，可以將給定的一組相關變量（維度）通過線性變換轉(zhuǎn)換為一組不相關的變量，這些新的變量按照方差遞減的順序排列。在保持總方差不變的情況下，第一個變量具有最大的方差，稱為第一主成分，第二個變量的方差次大，并且與第一個變量不相關，稱為第二主成分，依次類推，直到變量的數(shù)量與主成分數(shù)量相同為止。6.6主成分分析和因子分析主成分分析假設原始數(shù)據(jù)具有A/B/C三個特征，在進行主成分分析后，如果不對主成分數(shù)量進行限制，可以獲得三個主成分，其結(jié)果可以表示為：主成分1：-0.0001222*A+0.008099*B+0.31515–0.151主成分2：-0.01809*A+0.0124*B+0.00002565*C-4.076主成分3：0.007453*A+0.1861*B+0.0001897*C+1.36616.6主成分分析和因子分析主成分分析Python實現(xiàn)主成分分析（PCA）的方法簡單易用。1pca=PCA(n_components=None)2pca_data=pca.fit_transform(raw_data2)3print(pca_data[:3,:].round(2))[[3.904447e+05-5.135850e+03-3.018500e+02-1.991000e+01-3.000000e-02][-6.270874e+041.942810e+03-4.802000e+01-1.307000e+01-1.000000e-02][4.965771e+041.579790e+033.189600e+022.706000e+01-3.400000e-01]]6.6主成分分析和因子分析因子分析因子分析（FactorAnalysis，F(xiàn)A）是一種統(tǒng)計技術，旨在從一組變量中提取共同因素，這些共同因素在不同變量間存在潛在關聯(lián)。舉例來說，一個學生的英語、數(shù)學、語文成績都很好，這可能反映出他的智力水平較高。因此，因子分析的過程實際上是識別共同因素和個別因素，并找到最佳解釋的過程。6.6主成分分析和因子分析因子分析因子分析的實現(xiàn)過程非常簡單。以下是示例代碼：1fa=FA(n_components=None)2fa_data=fa.fit_transform(raw_data2)3fa_data[:3,:].round(2)array([[1.66,-2.94,-1.76,-0.67,0.],[-0.27,1.11,-0.28,-0.44,0.],[0.21,0.9,1.86,0.92,0.]])6.7數(shù)據(jù)分析方法應用漏斗分析路徑分析歸因分析6.7數(shù)據(jù)分析方法應用漏斗分析通過定義有序的過程環(huán)節(jié)和步驟，分析不同步驟之間的轉(zhuǎn)化過程，而由于后續(xù)的轉(zhuǎn)化一般都會比前面的轉(zhuǎn)化數(shù)量更少，因此會形成類似于漏斗的形狀。漏斗分析漏斗分析是網(wǎng)站分析的基本方法，很多強大的工具支持全站頁面、事件、目標之間的混合漏斗分析，通過漏斗查看特定目標的完成和流失情況。概念6.7數(shù)據(jù)分析方法應用封閉型漏斗指漏斗從第一環(huán)節(jié)開始后最后的環(huán)節(jié)，數(shù)據(jù)從上一環(huán)節(jié)開始依次“漏”下來，不存在其他進入途徑。漏斗分析典型的封閉型漏斗是購物車流程，通常情況下從加入購物車開始，用戶依次進入結(jié)算和提交訂單，由此形成加入購物車→結(jié)算→提交訂單完整閉環(huán)，該過程中不可能從其他環(huán)節(jié)直接進入。封閉型漏斗6.7數(shù)據(jù)分析方法應用開放型漏斗指漏斗的各個環(huán)節(jié)都有可能存在其他入口，整個漏斗不封閉。漏斗分析典型的開放型漏斗是全站購物流程漏斗，通常該漏斗是到達著陸頁→查看產(chǎn)品頁→加入購物車。在整個過程中，用戶查看產(chǎn)品頁和加入購物車可能從任何一個具備該功能的入口進入，而不一定是從著陸頁開始。開放型漏斗6.7數(shù)據(jù)分析方法應用路徑分析是根據(jù)用戶在網(wǎng)站上留下的“痕跡”所形成的路徑，對用戶的行為進行有序分析的一種方式。路徑分析徑分析不僅可以基于頁面產(chǎn)生，還可以基于目標路徑、事件路徑等數(shù)據(jù)主體產(chǎn)生。概念6.7數(shù)據(jù)分析方法應用（1）活動主會場/網(wǎng)站主頁面如何導流？（2）用戶是否按照“預期”流程行動？（3）購買“手機的用戶”的瀏覽習慣是怎樣的？（4）渠道A集中訪問了某條路徑，是否是“惡意流量”？路徑分析應用場景6.7數(shù)據(jù)分析方法應用歸因分析很多時候也叫訂單轉(zhuǎn)化歸因或歸因模型，主要用于評估多個參與轉(zhuǎn)化的主體如何分配貢獻大小。歸因分析出現(xiàn)歸因的基本條件是某些轉(zhuǎn)化沒有特定的歸屬，因此無法直接判斷到底是由哪些因素產(chǎn)生。概念6.7數(shù)據(jù)分析方法應用歸因分析用戶實際轉(zhuǎn)化路徑歸因模型6.7數(shù)據(jù)分析方法應用歸因分析1.歸因于最后進入的渠道歸因模型最終互動模型將100%的轉(zhuǎn)化價值歸功于客戶在進行購買或轉(zhuǎn)化之前與之互動的最后一個渠道。案例中，SEM品牌區(qū)訂單貢獻為100%，其他渠道訂單貢獻為0。適用場合：廣告和推廣活動的目的是在購買時吸引用戶，或者企業(yè)業(yè)務主要參與的銷售周期不涉及觀望階段。6.7數(shù)據(jù)分析方法應用歸因分析2.歸因于最初進入的渠道歸因模型將100%的轉(zhuǎn)化價值歸功于客戶與之互動的第一個渠道。案例中，SinaBanner訂單貢獻為100%，其他渠道訂單貢獻為0。適用場景：廣告或推廣旨在建立最初的認知度，品牌并不為人熟知，企業(yè)前期的推廣重點放在品牌曝光下，那么首次進行品牌展示的媒介是重點關注媒介。6.7數(shù)據(jù)分析方法應用歸因分析3.線性平均歸因歸因模型將功勞平均分配給轉(zhuǎn)化路徑中的每個渠道。案例中，每個渠道的訂單貢獻都是25%。適用場景：如果廣告或推廣活動的目的是在整個銷售周期內(nèi)保持與客戶的聯(lián)系并維持品牌的認知度，則適合使用此模型。在這種情況下，每個接觸點在客戶考慮的過程中都同等重要。6.7數(shù)據(jù)分析方法應用歸因分析4.隨時間衰減歸因歸因模型適用場合：如果投放短期的促銷廣告活動，可能希望將更多的功勞分配給促銷期間的產(chǎn)生互動的媒介，在這種情況下，與接近轉(zhuǎn)化的接觸點相比，一周之前發(fā)生的互動只有很少的價值。通常企業(yè)大促銷情況下這種模型較為合適，“時間衰減”模式能夠適當?shù)貙⒐诜峙浣o促成轉(zhuǎn)化前一兩天的接觸點。價值遞減6.7數(shù)據(jù)分析方法應用歸因分析4.隨時間衰減歸因歸因模型如果銷售周期中涉及的考慮階段較短，那么更適合時間衰減模式，該模型向最接近轉(zhuǎn)化發(fā)生時間的互動分配最多的功勞。案例中，不同渠道的訂單貢獻作用與其最后接觸的時間相關，渠道位置離訂單轉(zhuǎn)化越近，訂單貢獻作用越大，因此各個渠道的訂單貢獻作用依次為：SEM品牌區(qū)>友情鏈接>SEM關鍵字>微博>SinaBanner。價值遞減6.7數(shù)據(jù)分析方法應用歸因分析5.根據(jù)位置的綜合歸因歸因模型根據(jù)位置綜合歸因的模式結(jié)合了以