1、第2章 電子商務(wù)數(shù)據(jù)采集電子商務(wù)數(shù)據(jù)化運(yùn)營(yíng)管理概述/電子商務(wù)數(shù)據(jù)化運(yùn)營(yíng)管理實(shí)訓(xùn)教學(xué)概述主講人：XXX學(xué)習(xí)任務(wù)書(shū)任務(wù)編號(hào)分項(xiàng)任務(wù)職業(yè)能力目標(biāo)知識(shí)要求參考課時(shí)2.1電子商務(wù)數(shù)據(jù)采集了解電子商務(wù)數(shù)據(jù)采集1.數(shù)據(jù)采集2.常用的電子商務(wù)數(shù)據(jù)分析方法常用的數(shù)據(jù)分析工具22.2電子商務(wù)數(shù)據(jù)采集實(shí)訓(xùn)進(jìn)行電子商務(wù)數(shù)據(jù)采集實(shí)訓(xùn)1.HTML 源碼解析及網(wǎng)絡(luò)抓包2.采集并統(tǒng)計(jì)形成行業(yè)數(shù)據(jù)4數(shù)據(jù)采集01學(xué)習(xí)重點(diǎn)02HTML 源碼解析及網(wǎng)絡(luò)抓包常用的電子商務(wù)數(shù)據(jù)分析方法0103學(xué)習(xí)難點(diǎn)02常用的數(shù)據(jù)分析工具采集并統(tǒng)計(jì)形成行業(yè)數(shù)據(jù)2.1 電子商務(wù)數(shù)據(jù)采集一、數(shù)據(jù)采集1.采集店鋪排名數(shù)據(jù)處理數(shù)據(jù)的首選工具就是 Excel。采

2、集店鋪排名數(shù)據(jù)主要涉及的操作包括創(chuàng)建 Excel 工作簿、重命名工作表、輸入數(shù)據(jù)和保存文檔。下面就以 Excel 2016 為例，介紹采集店鋪排名數(shù)據(jù)的方法。啟動(dòng) Excel 2016，在右側(cè)的列表框中選擇“空白工作簿”選項(xiàng)，即可創(chuàng)建一個(gè)全新的 Excel 工作簿1.采集店鋪排名數(shù)據(jù)在創(chuàng)建的 Excel 工作簿左上角單擊“保存”按鈕1.采集店鋪排名數(shù)據(jù)打開(kāi)“另存為”界面，在其中可選擇保存 Excel 工作簿的方式和位置，在右側(cè)的“另存為”欄中單擊“瀏覽”按鈕1.采集店鋪排名數(shù)據(jù)打開(kāi)“另存為”對(duì)話(huà)框，在“文件名”右側(cè)的文本框中輸入“商業(yè)規(guī)劃”，單擊“保存”按鈕，重命名并保存 Excel 工作簿1

3、.采集店鋪排名數(shù)據(jù)在“商業(yè)規(guī)劃”工作簿左下角的“Sheet1”工作表標(biāo)簽上單擊鼠標(biāo)右鍵，在彈出的快捷菜單中選擇“重命名”命令，此時(shí)選擇的工作表標(biāo)簽將呈可編輯狀態(tài)，然后在其中輸入“店鋪排名”1.采集店鋪排名數(shù)據(jù)選擇 A1、B1 和 C1 單元格，并在其中分別輸入“排行”“店鋪名稱(chēng)”“店鋪平臺(tái)”，然后打開(kāi)網(wǎng)頁(yè)中需要采集數(shù)據(jù)的店鋪排名，將相關(guān)數(shù)據(jù)分別輸入到對(duì)應(yīng)的單元格中，其輸入后的效果如圖所示1.采集店鋪排名數(shù)據(jù)Excel 工作表通常是按列和行進(jìn)行劃分的，列標(biāo)以英文字母標(biāo)記，行號(hào)以數(shù)字標(biāo)記。這里的 A1 表示第 A 列的第 1 行所在的區(qū)域，Excel 也把這個(gè)區(qū)域稱(chēng)為單元格。另外，在輸入店鋪名稱(chēng)的

4、過(guò)程中，若發(fā)現(xiàn) C 列的寬度不夠，可以將鼠標(biāo)光標(biāo)移動(dòng)到 C 列和 D 列的中間，按住鼠標(biāo)左鍵不放，向右拖動(dòng)到合適位置，釋放鼠標(biāo)左鍵后即可調(diào)整 C 列的寬度。再次在工作簿左上角單擊“保存”按鈕，保存輸入的數(shù)據(jù)，完成采集店鋪排名數(shù)據(jù)的操作1.采集店鋪排名數(shù)據(jù)一、數(shù)據(jù)采集2.采集商品類(lèi)目銷(xiāo)售數(shù)據(jù)采集商品類(lèi)目銷(xiāo)售數(shù)據(jù)的操作步驟與采集店鋪排名數(shù)據(jù)的相似，只需要在前面創(chuàng)建的“商業(yè)規(guī)劃”工作簿中新建一張工作表，然后在其中輸入數(shù)據(jù)即可，其具體操作步驟如下。（1）打開(kāi)“商業(yè)規(guī)劃”工作簿，單擊“店鋪排名”工作表標(biāo)簽右側(cè)的“新工作表”按鈕， 增加“Sheet2”工作表標(biāo)簽，將其命名為“類(lèi)目”。（2）打開(kāi)網(wǎng)頁(yè)查看需要

5、采集數(shù)據(jù)的類(lèi)目，并在工作表中輸入采集數(shù)據(jù)的類(lèi)目數(shù)據(jù)，并根據(jù)文字的多少適當(dāng)調(diào)整列寬。一、數(shù)據(jù)采集3.采集商品品牌銷(xiāo)售數(shù)據(jù)（1）打開(kāi)“ 商業(yè)規(guī)劃” 工作簿，單擊“類(lèi)目” 工作表標(biāo)簽右側(cè)的“ 新工作表”按鈕，新建“ Sheet3”工作表標(biāo)簽，將其命名為“品牌”。（2）打開(kāi)網(wǎng)頁(yè)中需要釆集數(shù)據(jù)的品牌，在工作表中輸入對(duì)應(yīng)的品牌數(shù)據(jù)，并適當(dāng)調(diào)整列寬。二、常用的電子商務(wù)數(shù)據(jù)分析方法1.流量來(lái)源分析（1）流量來(lái)源：主要來(lái)源于關(guān)鍵詞、來(lái)訪域名、來(lái)訪地區(qū)和人群。（2）流量來(lái)源分析方法： 網(wǎng)站流量來(lái)源排名、搜索引擎關(guān)鍵詞分析、網(wǎng)站流量趨勢(shì)分析、 網(wǎng)站流量核對(duì)、推介網(wǎng)站與直接訪問(wèn)的比例。到達(dá)率：到達(dá)率是指廣告從點(diǎn)擊到網(wǎng)

6、站登錄頁(yè)的比例。一般來(lái)說(shuō)，到達(dá)率達(dá)到 80%是比較理想的， 其與網(wǎng)站的速度有關(guān)，可以綜合分析。二跳率：二跳率用于分析流量的有效性。如果是有效流量，一般會(huì)有合理的二跳；如果是虛假點(diǎn)擊，一般是沒(méi)有二跳的，但是也不排除有部分作假很厲害的網(wǎng)站能做出二跳。PV/IP 比： 訪問(wèn)量（Page View，PV），即頁(yè)面瀏覽量或點(diǎn)擊量，用戶(hù)每次刷新即被計(jì)算一次。 IP（獨(dú)立 IP）：指獨(dú)立 IP 數(shù)。00:0024:00 內(nèi)相同 IP 地址只被計(jì)算一次。二、常用的電子商務(wù)數(shù)據(jù)分析方法2.流量效率分析流量效率是指到達(dá)網(wǎng)站的流量是不是真實(shí)流量，主要分析指標(biāo)如下。訂單轉(zhuǎn)化率：訂單轉(zhuǎn)化率是最核心的數(shù)據(jù)，沒(méi)有訂單轉(zhuǎn)化率

7、，其他一切免談。頁(yè)面流量排名：主要用于查看產(chǎn)品詳情頁(yè)的流量，特別是首頁(yè)陳列的產(chǎn)品詳情頁(yè)參照最終的銷(xiāo)售比例，優(yōu)勝劣汰，用以調(diào)整銷(xiāo)售結(jié)構(gòu)。場(chǎng)景轉(zhuǎn)化分析：即首頁(yè)列表頁(yè)詳情頁(yè)購(gòu)物車(chē)訂單提交頁(yè)訂單成功頁(yè)的數(shù)據(jù)流分析。頻道流量排名：主要用來(lái)分析產(chǎn)品組織的問(wèn)題。二、常用的電子商務(wù)數(shù)據(jù)分析方法3.站內(nèi)數(shù)據(jù)流分析站內(nèi)數(shù)據(jù)流分析主要用來(lái)分析購(gòu)物流程是否順暢和產(chǎn)品分布是否合理，主要分析指標(biāo)如下。站內(nèi)搜索分析：這個(gè)指標(biāo)反映的是用戶(hù)關(guān)心的產(chǎn)品有哪些，是產(chǎn)品調(diào)整的最直接數(shù)據(jù)。用戶(hù)離開(kāi)頁(yè)面分析：分析用戶(hù)在哪些頁(yè)面最容易離開(kāi)，是首頁(yè)還是頻道頁(yè)？是購(gòu)物車(chē)還是訂單提交頁(yè)？若用戶(hù)突然大比例地離開(kāi)網(wǎng)站，往往預(yù)示著有問(wèn)題產(chǎn)生。二、常用

8、的電子商務(wù)數(shù)據(jù)分析方法4.網(wǎng)購(gòu)用戶(hù)行為特征分析用戶(hù)在電子商務(wù)網(wǎng)站上有了購(gòu)買(mǎi)行為之后，就從潛在客戶(hù)變成了網(wǎng)站的價(jià)值客戶(hù)。電子商務(wù)網(wǎng)站一般都會(huì)將用戶(hù)的交易信息保存在自己的數(shù)據(jù)庫(kù)中，所以對(duì)于這些用戶(hù)，我們可以基于網(wǎng)站的運(yùn)營(yíng)數(shù)據(jù)對(duì)他們的交易行為進(jìn)行分析，以估計(jì)每個(gè)用戶(hù)的價(jià)值，及針對(duì)每個(gè)用戶(hù)進(jìn)行擴(kuò)展?fàn)I銷(xiāo)（Lead Generation） 的可能性。行業(yè)產(chǎn)品分布：行業(yè)產(chǎn)品分布的數(shù)據(jù)主要從以下幾個(gè)方面分析：找到什么樣的產(chǎn)品，實(shí)現(xiàn)了多少銷(xiāo)量產(chǎn)品的特性和賣(mài)點(diǎn)的分析尋找合適的推廣方式。淘寶銷(xiāo)售分析：對(duì)淘寶銷(xiāo)售分布的數(shù)據(jù)分析主要從以下幾個(gè)方面進(jìn)行：對(duì)產(chǎn)品關(guān)鍵詞搜索量（日搜索量、優(yōu)化、提升）的分析對(duì)淘寶銷(xiāo)售類(lèi)目分布的

9、分析對(duì)主要目標(biāo)的分析。客戶(hù)分析：對(duì)客戶(hù)的數(shù)據(jù)分析主要從以下幾個(gè)方面進(jìn)行：客戶(hù)數(shù)據(jù)分析的主要目的是為店鋪裝修、市場(chǎng)營(yíng)銷(xiāo)活動(dòng)等提供參考客戶(hù)分析的因素主要有性別、年齡、地域、職業(yè)、消費(fèi)習(xí)慣、興趣等。二、常用的電子商務(wù)數(shù)據(jù)分析方法5.網(wǎng)店經(jīng)營(yíng)數(shù)據(jù)分析產(chǎn)品分析：對(duì)產(chǎn)品數(shù)據(jù)的分析主要有以下幾個(gè)方面：產(chǎn)品數(shù)據(jù)分析的主要目標(biāo)預(yù)測(cè)熱銷(xiāo)產(chǎn)品。店鋪/頁(yè)面分析： 店鋪/頁(yè)面分析的主要目標(biāo) 店鋪/頁(yè)面分析的目的 店鋪/頁(yè)面分析的內(nèi)容。三、常用的數(shù)據(jù)分析工具1.查看內(nèi)部數(shù)據(jù)（1）Google AnalyticsGoogle Analytics 是著名互聯(lián)網(wǎng)公司 Google 為網(wǎng)站提供的數(shù)據(jù)統(tǒng)計(jì)服務(wù)。該工具可用于對(duì)目標(biāo)網(wǎng)

10、站的訪問(wèn)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)和分析，并提供多種參數(shù)供網(wǎng)站擁有者使用。其使用方法非常簡(jiǎn)單，只需在網(wǎng)站的頁(yè)面上加入一段代碼或者輸入某網(wǎng)站地址，就可以得到所需并且詳盡的圖表式報(bào)告。Google Analytics 的主要功能是可以幫助用戶(hù)衡量銷(xiāo)售與轉(zhuǎn)化情況，而且能為其提供最新的數(shù)據(jù)信息，幫助用戶(hù)了解訪問(wèn)者如何使用網(wǎng)站，如何到達(dá)網(wǎng)站，以及如何吸引他們不斷回訪等。Google Analytics 的主要功能包括以下 6 個(gè)。實(shí)時(shí)報(bào)告：實(shí)時(shí)報(bào)告的內(nèi)容包括用戶(hù)網(wǎng)站上的實(shí)時(shí)訪問(wèn)人數(shù)、訪問(wèn)者所在地及瀏覽內(nèi)容等。自定義報(bào)告：用戶(hù)能過(guò)自定義報(bào)告可以迅速定義專(zhuān)屬的指標(biāo)信息中心，與同事共享關(guān)鍵數(shù)據(jù)信息。自定義變量：自定義變量可

11、以幫助用戶(hù)了解客戶(hù)所屬的細(xì)分群體以及與客戶(hù)的互動(dòng)情況。 分析工具分析工具主要幫助用戶(hù)深入剖析訪問(wèn)者的數(shù)據(jù)，通過(guò)標(biāo)準(zhǔn)報(bào)告來(lái)衡量和理解網(wǎng)站上的訪問(wèn)和互動(dòng)情況；另外，運(yùn)用分析工具還可以迅速創(chuàng)建自定義報(bào)告和訪問(wèn)者細(xì)分，并以此作為用戶(hù)團(tuán)隊(duì)分享的重要數(shù)據(jù)。Google Analytics 的分析工具包括以下 6 種。高級(jí)細(xì)分：高級(jí)細(xì)分用來(lái)輕松分析流量的特定部分，用戶(hù)還可以自行創(chuàng)建細(xì)分系列。信息中心：信息中心用于組織、監(jiān)控和分享關(guān)鍵效果指標(biāo)，用戶(hù)可以同時(shí)監(jiān)控多種指標(biāo)，從而快速了解賬戶(hù)的運(yùn)行狀態(tài)?？梢暬嚎梢暬ㄓ脩?hù)流可視化和網(wǎng)頁(yè)內(nèi)分析兩種。用戶(hù)流可視化報(bào)告可用于分析訪問(wèn)者在用戶(hù)網(wǎng)站上訪問(wèn)的路徑，網(wǎng)頁(yè)內(nèi)分析

12、可以直觀地評(píng)估客戶(hù)如何與用戶(hù)的網(wǎng)頁(yè)進(jìn)行互動(dòng)。Google Analytics 的實(shí)時(shí)報(bào)告 分析工具網(wǎng)站搜索：利用網(wǎng)站搜索報(bào)告。網(wǎng)頁(yè)內(nèi)分析：用戶(hù)可以直觀地評(píng)估客戶(hù)與網(wǎng)頁(yè)的互動(dòng)情況。網(wǎng)站速度分析：網(wǎng)站速度分析結(jié)果可以顯示客戶(hù)需要多長(zhǎng)時(shí)間才能看到網(wǎng)站內(nèi)容并與內(nèi)容互動(dòng)。 內(nèi)容分析內(nèi)容分析主要是指通過(guò) Google Analytics 中的內(nèi)容報(bào)告，找出網(wǎng)站上的熱門(mén)內(nèi)容以及隱藏的價(jià)值。用戶(hù)可以了解客戶(hù)訪問(wèn)網(wǎng)站上的各個(gè)網(wǎng)頁(yè)的頻率、停留的時(shí)間和轉(zhuǎn)化頻率。Google Analytics 的內(nèi)容分析主要包括以下 4 種。事件跟蹤：根據(jù)事件跟蹤，用戶(hù)可以查看與 Flash 和 AJAX 元素進(jìn)行互動(dòng)或者單擊鏈接

13、下載產(chǎn)品手冊(cè)的頻率，甚至還可以設(shè)置事件跟蹤功能來(lái)詳細(xì)了解客戶(hù)的行為方式。Google Analytics 的網(wǎng)頁(yè)內(nèi)分析 內(nèi)容分析社交轉(zhuǎn)化：社交轉(zhuǎn)化報(bào)告可顯示來(lái)自各個(gè)社交網(wǎng)絡(luò)的訪問(wèn)所帶來(lái)的轉(zhuǎn)化率和轉(zhuǎn)化的貨幣價(jià)值。社交來(lái)源：社交來(lái)源報(bào)告可以幫助用戶(hù)優(yōu)化互動(dòng)地點(diǎn)，將企業(yè)社交策略從直覺(jué)式轉(zhuǎn)變?yōu)橐詳?shù)據(jù)為中心。社交分享：通過(guò)結(jié)合流量與分享，用戶(hù)可以將社交與內(nèi)容關(guān)聯(lián)在一起，幫助決策者做出明智的決策，并通過(guò)在站內(nèi)和站外構(gòu)建社區(qū)，讓更多客戶(hù)主動(dòng)分享網(wǎng)站內(nèi)容。 社交分析社交分析主要是指通過(guò)社交報(bào)告幫助用戶(hù)評(píng)估社交媒體對(duì)自己的業(yè)務(wù)目標(biāo)和轉(zhuǎn)化次數(shù)施加的影響。整合的網(wǎng)絡(luò)和社交數(shù)據(jù)可幫助用戶(hù)全面了解企業(yè)的內(nèi)容和受眾群體。

14、Google Analytics 的社交分析包括以下 3 種。移動(dòng)應(yīng)用分析：該功能可針對(duì)客戶(hù)與應(yīng)用接觸的整個(gè)過(guò)程（從發(fā)現(xiàn)、下載到互動(dòng)）進(jìn)行評(píng)估。此類(lèi)報(bào)告專(zhuān)為移動(dòng)應(yīng)用開(kāi)發(fā)人員和營(yíng)銷(xiāo)人員設(shè)計(jì)，所提供的內(nèi)容常為他們所關(guān)注的焦點(diǎn)。移動(dòng)網(wǎng)站報(bào)告：在 Google Analytics 的“地理分布圖”標(biāo)簽上按照位置查看統(tǒng)計(jì)信息， 用戶(hù)可以了解目前的移動(dòng)流量的來(lái)源，并預(yù)測(cè)哪些位置的流量可能會(huì)增加。移動(dòng)廣告衡量：Google 移動(dòng)廣告會(huì)在移動(dòng)設(shè)備上的 Google 搜索結(jié)果、內(nèi)容網(wǎng)站和應(yīng)用中展示。 移動(dòng)分析移動(dòng)分析主要利用 Google Analytics 來(lái)衡量移動(dòng)網(wǎng)站、應(yīng)用以及具有網(wǎng)絡(luò)訪問(wèn)功能的移動(dòng)設(shè)備（

15、包括智能手機(jī)和平板電腦）所帶來(lái)的訪問(wèn)次數(shù)。用戶(hù)可以向營(yíng)銷(xiāo)人員提供與客戶(hù)相關(guān)的分析數(shù)據(jù)，以幫助營(yíng)銷(xiāo)人員抓住重點(diǎn)吸引客戶(hù)，使其在不同類(lèi)型的設(shè)備與屏幕上都能取得良好的廣告效果。Google Analytics 的移動(dòng)分析又包括以下 3 種。Google Analytics 的移動(dòng)分析 移動(dòng)分析探查訪問(wèn)者行為認(rèn)識(shí)如何促成銷(xiāo)售和轉(zhuǎn)化：用戶(hù)可以跟蹤銷(xiāo)售量、下載次數(shù)、視頻播放次數(shù)、轉(zhuǎn)化次數(shù)、網(wǎng)站上的用戶(hù)參與度或自定義指標(biāo)來(lái)實(shí)現(xiàn)業(yè)務(wù)目標(biāo)。利用電子商務(wù)報(bào)告提高在線銷(xiāo)售量：電子商務(wù)報(bào)告用于確定最暢銷(xiāo)的產(chǎn)品和最有價(jià)值的促銷(xiāo)活動(dòng)，幫助用戶(hù)了解客戶(hù)購(gòu)買(mǎi)的原因和類(lèi)型。通過(guò)多渠道路徑報(bào)告全面掌握廣告系列效果：用戶(hù)可以查看自

16、己的所有數(shù)字營(yíng)銷(xiāo)活 動(dòng)的效果，包括搜索廣告、展示廣告、社交營(yíng)銷(xiāo)、聯(lián)署網(wǎng)絡(luò)營(yíng)銷(xiāo)、電子郵件營(yíng)銷(xiāo)等。 轉(zhuǎn)化分析轉(zhuǎn)化分析主要是指利用 Google Analytics 轉(zhuǎn)化套件擴(kuò)大用戶(hù)的分析范圍，了解用戶(hù)的所有數(shù)字營(yíng)銷(xiāo)渠道如何共同發(fā)揮作用，為企業(yè)網(wǎng)站帶來(lái)訪問(wèn)者。通過(guò)衡量銷(xiāo)售量、下載次數(shù)和視頻播放次數(shù)等有價(jià)值的操作指標(biāo)，了解訪問(wèn)者購(gòu)買(mǎi)產(chǎn)品的意愿，從而調(diào)整網(wǎng)站和營(yíng)銷(xiāo)計(jì)劃以達(dá)到企業(yè)的業(yè)務(wù)目標(biāo)。Google Analytics 的轉(zhuǎn)化分析包括以下 4 種。跟蹤訪問(wèn)者在網(wǎng)站上的不同路徑：利用 Google Analytics 用戶(hù)流可視化功能和目標(biāo)渠道，用戶(hù)可以跟蹤訪問(wèn)者的轉(zhuǎn)化路徑，找出網(wǎng)站導(dǎo)航中的優(yōu)缺點(diǎn)，分析

17、企業(yè)在網(wǎng)站和營(yíng)銷(xiāo)計(jì)劃中的調(diào)整方向。 廣告分析廣告分析指通過(guò)了解用戶(hù)的社交廣告、移動(dòng)廣告、搜索廣告和展示廣告的效果，以最大限度地發(fā)揮廣告的作用。Google Analytics 的廣告分析包括提升搜索引擎營(yíng)銷(xiāo)的效果、使用再營(yíng)銷(xiāo)功能覆蓋有需求的客戶(hù)、了解展示廣告對(duì)用戶(hù)的廣告計(jì)劃的貢獻(xiàn)度、了解用戶(hù)的廣告與多渠道路徑的配合效果、通過(guò)廣告系列衡量報(bào)告分辨有效的營(yíng)銷(xiāo)活動(dòng)和無(wú)效的營(yíng)銷(xiāo)活動(dòng)。 廣告分析Google Analytics 的基本使用方法如下。a.登錄 Google Analytics（分析）網(wǎng)站，單擊右上角的“登錄”超鏈接或者“創(chuàng)建賬戶(hù)” 按鈕。b.打開(kāi)登錄頁(yè)面，在文本框中輸入注冊(cè)好的電子郵件地址

18、，單擊“下一步”按鈕，進(jìn)入Google Analytics 管理頁(yè)面。如果沒(méi)有注冊(cè)，則需要單擊“創(chuàng)建賬號(hào)”超鏈接，打開(kāi)創(chuàng)建賬戶(hù)的頁(yè)面，填寫(xiě)相關(guān)內(nèi)容創(chuàng)建一個(gè) Google 賬戶(hù)，然后再登錄 Google Analytics 管理頁(yè)面。c.在頁(yè)面中單擊“管理”選項(xiàng)卡，在右側(cè)的“媒體資源”欄中單擊“google-blog”右側(cè)的下拉按鈕，在打開(kāi)的下拉列表中，選擇“創(chuàng)建新媒體資源”選項(xiàng)。d.在打開(kāi)的頁(yè)面中，設(shè)置數(shù)據(jù)跟蹤的站點(diǎn)，在“設(shè)置媒體資源”欄的“網(wǎng)站名稱(chēng)”和“ 網(wǎng)站網(wǎng)址”文本框中輸入企業(yè)的網(wǎng)站內(nèi)容，完成后單擊“獲取跟蹤 ID”超鏈接。e.重新登錄后，在管理頁(yè)面中，單擊“報(bào)告”選項(xiàng)卡，在左側(cè)的任務(wù)窗

19、格中選擇對(duì)應(yīng)的選項(xiàng)，即可查看到網(wǎng)站各種數(shù)據(jù)的分析結(jié)果（通常是 24 小時(shí)后可以看到效果）。三、常用的數(shù)據(jù)分析工具1.查看內(nèi)部數(shù)據(jù)（1）生意參謀生意參謀是淘寶官方的數(shù)據(jù)產(chǎn)品。生意參謀不但秉承數(shù)據(jù)讓生意更簡(jiǎn)單的使命，而且致力于為電商、淘寶商家提供精準(zhǔn)、實(shí)時(shí)的數(shù)據(jù)統(tǒng)計(jì)、多維的數(shù)據(jù)分析和權(quán)威的數(shù)據(jù)解決方案。提高銷(xiāo)量。生意參謀的數(shù)據(jù)內(nèi)容包括 8 個(gè)方面：訪客分布、流量地圖、產(chǎn)品診斷、產(chǎn)品效果、產(chǎn)品概覽、經(jīng)營(yíng)報(bào)告、產(chǎn)品排名、標(biāo)題優(yōu)化。三、常用的數(shù)據(jù)分析工具1.查看內(nèi)部數(shù)據(jù)（2）CRM客戶(hù)關(guān)系管理（Customer Relationship Management，CRM）是一種基于互聯(lián)網(wǎng)的應(yīng)用系統(tǒng)，通過(guò)對(duì)企

20、業(yè)業(yè)務(wù)流程的重組來(lái)整合用戶(hù)信息資源，以更有效的方法管理客戶(hù)關(guān)系，在企業(yè)內(nèi)部實(shí)現(xiàn)信息和資源的共享，從而降低企業(yè)運(yùn)營(yíng)成本，為客戶(hù)提供更經(jīng)濟(jì)、快捷、周到的服務(wù)，以保持和吸引更多的客戶(hù)，最終達(dá)到企業(yè)利潤(rùn)最大化的目的。客戶(hù)聯(lián)系的提醒：提醒今天或明天應(yīng)聯(lián)系的客戶(hù)、逾期未及時(shí)聯(lián)系的客戶(hù)、逾期未及時(shí)下單或長(zhǎng)期沒(méi)有業(yè)務(wù)往來(lái)的客戶(hù)。客戶(hù)資料的查詢(xún)和分析統(tǒng)計(jì)：按客戶(hù)名稱(chēng)關(guān)鍵詞模糊查詢(xún)，防止撞單；每天客戶(hù)聯(lián)系拜訪情況的查詢(xún)和分析。業(yè)務(wù)員數(shù)據(jù)查詢(xún)與提醒：包括業(yè)績(jī)查詢(xún)和統(tǒng)計(jì)，應(yīng)收款的提醒，以及工資、提成及費(fèi)用的查詢(xún)。銷(xiāo)售數(shù)據(jù)查詢(xún)與分析統(tǒng)計(jì)：包括訂單查詢(xún)及交貨提醒、統(tǒng)計(jì)銷(xiāo)售部門(mén)業(yè)績(jī)和打印出貨單。應(yīng)收款提醒：提示周六、周日有

21、哪些應(yīng)收款，逾期未收的應(yīng)收款。應(yīng)收款統(tǒng)計(jì)分析：分析哪些客戶(hù)應(yīng)收款比例較大、哪些客戶(hù)逾期款累計(jì)金額超限、哪些客戶(hù)賬齡過(guò)長(zhǎng)。收/付款查詢(xún)和統(tǒng)計(jì)：對(duì)于任一時(shí)期的收/付款進(jìn)賬/出賬明細(xì)，按收/付款方式、按業(yè)務(wù)員、按年、月等進(jìn)行分類(lèi)統(tǒng)計(jì)，顯示各種統(tǒng)計(jì)圖表，反映企業(yè)資金流入、流出情況。費(fèi)用查詢(xún)和統(tǒng)計(jì)：查看企業(yè)各類(lèi)費(fèi)用和明細(xì)的支出情況，并可按費(fèi)用多少、費(fèi)用項(xiàng)目、年/月、業(yè)務(wù)員進(jìn)行統(tǒng)計(jì)，顯示統(tǒng)計(jì)圖表。 CRM 的運(yùn)用范圍由于 CRM 主要是針對(duì)客戶(hù)的數(shù)據(jù)管理軟件，所以 CRM 數(shù)據(jù)對(duì)于各種業(yè)務(wù)人員和財(cái)務(wù)人員的作用更大，其運(yùn)用范圍主要如下：客戶(hù)概況分析（Profiling）：包括客戶(hù)消費(fèi)的層次、風(fēng)險(xiǎn)、愛(ài)好、習(xí)慣

22、等?？蛻?hù)忠誠(chéng)度分析（Persistency）：指客戶(hù)對(duì)某個(gè)產(chǎn)品或商業(yè)機(jī)構(gòu)的信用程度、持久性、變動(dòng)情況等?？蛻?hù)利潤(rùn)分析（Profitability）：指不同客戶(hù)所消費(fèi)的產(chǎn)品的邊緣利潤(rùn)、總利潤(rùn)額和凈利潤(rùn)等?？蛻?hù)性能分析（Performance）：指不同客戶(hù)所消費(fèi)的產(chǎn)品按種類(lèi)、渠道、銷(xiāo)售地點(diǎn)等指標(biāo)劃分的銷(xiāo)售額?？蛻?hù)未來(lái)分析（Prospecting）：客戶(hù)未來(lái)分析包括客戶(hù)數(shù)量和類(lèi)別等情況的未來(lái)發(fā)展趨勢(shì)、爭(zhēng)取客戶(hù)的手段等?？蛻?hù)產(chǎn)品分析（Product）：包括產(chǎn)品設(shè)計(jì)、關(guān)聯(lián)性、供應(yīng)鏈等。客戶(hù)促銷(xiāo)分析（Promotion）：包括廣告和宣傳等促銷(xiāo)活動(dòng)的管理。 CRM 的運(yùn)營(yíng)指標(biāo)CRM 的運(yùn)營(yíng)指標(biāo)被稱(chēng)為“TP”

23、指標(biāo)，包括以下 7 個(gè)方面的內(nèi)容。按軟件關(guān)注的重點(diǎn)分類(lèi)：CRM 軟件分為操作型和分析型兩大類(lèi)，也有兩者并重的。操作型軟件更加關(guān)注業(yè)務(wù)流程和信息記錄，提供便捷的操作和人性化的界面；而分析型軟件往往基于大量的企業(yè)日常數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行挖掘分析，找出客戶(hù)、產(chǎn)品、服務(wù)的特征，從而修正企業(yè)的產(chǎn)品策略、市場(chǎng)策略。從軟件的技術(shù)層面分類(lèi)：CRM 軟件分為預(yù)置型和托管型兩類(lèi)，托管型 CRM 面臨的最大難題是如何解決數(shù)據(jù)安全方面的問(wèn)題；預(yù)置型 CRM 的重點(diǎn)功能則是如何說(shuō)服一個(gè)成熟企業(yè)將核心數(shù)據(jù)放置在企業(yè)可控制范圍之外。 CRM 軟件的類(lèi)型CRM 軟件有很多種，主要有以下兩種分類(lèi)方法。綜合排名。綜合排名指特定網(wǎng)站在

24、所有網(wǎng)站中的名次，Alexa 每 3 個(gè)月公布一次新的網(wǎng)站綜合排名。此排名的依據(jù)是用戶(hù)鏈接數(shù) UR、頁(yè)面瀏覽數(shù) PV、3 個(gè)月累積的幾何平均值。分類(lèi)排名。分類(lèi)排名主要分為兩種形式。一種是按主題分類(lèi)排名，如新聞、娛樂(lè)和購(gòu)物等，Alexa 給出某個(gè)特定網(wǎng)站在同一類(lèi)網(wǎng)站中的名次。另一種是按語(yǔ)言分類(lèi)排名，通過(guò)語(yǔ)言的不同，給出特定站點(diǎn)在所有此類(lèi)語(yǔ)言網(wǎng)站中的名次。三、常用的數(shù)據(jù)分析工具2.查看外部數(shù)據(jù)（1）AlexaAlexa 是首屈一指的免費(fèi)提供網(wǎng)站流量信息的公司，致力于開(kāi)發(fā)網(wǎng)頁(yè)抓取和網(wǎng)站流量計(jì)算。通常 Alexa 的網(wǎng)站排名主要分為綜合排名和分類(lèi)排名兩種。（1）Alexa登錄 Alexa 網(wǎng)站，并免費(fèi)

25、查詢(xún)淘寶網(wǎng)的排名數(shù)據(jù)，其具體操作如下。 登錄 Alexa 網(wǎng)站，在 http:/www 右側(cè)的文本框中輸入需要查詢(xún)的網(wǎng)站網(wǎng)址，這里輸入“”，按【Enter】鍵。 在下方將顯示該網(wǎng)站的備案信息、服務(wù)器信息、站點(diǎn)的全球網(wǎng)站排名（包括當(dāng)日、1 周平均、1 月平均、3 月平均的排名和排名變化趨勢(shì)）、P 和 PV 值（包括日均、月平均、3 月平均。 在下面還顯示了該網(wǎng)站下屬子站點(diǎn)的訪問(wèn)比例、頁(yè)面訪問(wèn)比例、人均頁(yè)面流覽量，以及網(wǎng)站的日平均排名走勢(shì)圖。市場(chǎng)趨勢(shì)：淘寶指數(shù)默認(rèn)打開(kāi)“市場(chǎng)趨勢(shì)”選項(xiàng)卡，在“搜索指數(shù)”欄中顯示最近 6 個(gè)月與關(guān)鍵詞相關(guān)產(chǎn)品的搜索指數(shù)的變化趨勢(shì)，在右側(cè)的任務(wù)窗格中將顯示搜索趨勢(shì)簡(jiǎn)報(bào)，

26、賣(mài)家可以根據(jù)這部分?jǐn)?shù)據(jù)進(jìn)行市場(chǎng)預(yù)測(cè)。另外，賣(mài)家還可以在“關(guān)鍵詞”文本框中輸入其他產(chǎn)品名稱(chēng)，進(jìn)行搜索對(duì)比，以及拖動(dòng)數(shù)據(jù)表格下方的時(shí)間滑塊，顯示其他時(shí)間的搜索數(shù)據(jù)。人群特征：人群特征則主要有地域細(xì)分和人群定位兩大功能板塊。地域細(xì)分主要顯示近 6 個(gè)月與搜索關(guān)鍵詞相關(guān)的搜索和成交的地域分布情況。它又分為喜好度和人群占比兩個(gè)板塊。人群定位主要顯示近 6 個(gè)月的人群性別、年齡、星座、愛(ài)好、買(mǎi)家等級(jí)和消費(fèi)層級(jí) 6個(gè)層面的信息。市場(chǎng)細(xì)分：?jiǎn)螕簟笆袌?chǎng)細(xì)分”選項(xiàng)卡，淘寶指數(shù)就會(huì)顯示與關(guān)鍵詞相關(guān)的市場(chǎng)細(xì)分情況。（2）淘寶指數(shù)淘寶指數(shù)是淘寶官方免費(fèi)的數(shù)據(jù)分享平臺(tái)，不同人群利用淘寶指數(shù)可以獲得不同的便利。淘寶指數(shù)的主

27、要數(shù)據(jù)來(lái)源就是淘寶網(wǎng)中的各項(xiàng)交易數(shù)據(jù)。通過(guò)淘寶指數(shù)，賣(mài)家可以對(duì)數(shù)據(jù)的市場(chǎng)趨勢(shì)、人群特征、市場(chǎng)細(xì)分、成交排行進(jìn)行分析，這 4 項(xiàng)也是淘寶指數(shù)的主要功能模塊。成交排行：在淘寶指數(shù)頁(yè)面的頂部單擊“成交排行”超鏈接，即可顯示近 1 周各類(lèi)產(chǎn)品的搜索排行和成交排行。趨勢(shì)研究：趨勢(shì)研究是百度指數(shù)的默認(rèn)顯示模塊，將顯示 30 天內(nèi)全國(guó)范圍內(nèi)搜索該關(guān)鍵詞的指數(shù)概況和指數(shù)趨勢(shì)。需求圖譜：需求圖譜能夠顯示網(wǎng)民對(duì)搜索關(guān)鍵詞的關(guān)注內(nèi)容和關(guān)注點(diǎn)輿情洞察：輿情洞察分為新聞監(jiān)測(cè)和百度知道兩個(gè)板塊。新聞監(jiān)測(cè)主要顯示全國(guó)各大媒體與搜索關(guān)鍵詞相關(guān)的新聞的媒體指數(shù)。百度知道則顯示與搜索關(guān)鍵詞相關(guān)的提問(wèn)的瀏覽熱度。（3）百度指數(shù)百度

28、指數(shù)是以百度網(wǎng)民的行為數(shù)據(jù)為基礎(chǔ)的數(shù)據(jù)分享平臺(tái)。百度指數(shù)的主要功能模塊包括基于單個(gè)詞的趨勢(shì)研究（包含整體趨勢(shì)、PC 趨勢(shì)和移動(dòng)趨勢(shì)）、需求圖譜、輿情洞察、人群畫(huà)像；基于行業(yè)的整體趨勢(shì)、地域分布、人群屬性和搜索時(shí)間特征。人群畫(huà)像：人群畫(huà)像分為地域分布和人群屬性?xún)蓚€(gè)板塊。地域分布主要顯示該搜索關(guān)鍵詞在全國(guó)各省份和城市的排名情況。人群屬性則顯示該搜索關(guān)鍵詞在各年齡段和不同性別人群中的搜索分布情況。2.2.1 HTML源碼解析及網(wǎng)絡(luò)抓包掌握從HTML源碼中尋找目標(biāo)數(shù)據(jù)的方法0102實(shí)驗(yàn)?zāi)康恼莆站W(wǎng)絡(luò)抓包的方法HTML是什么？HTML（超文本標(biāo)記語(yǔ)言）是用于在Internet上顯示W(wǎng)eb頁(yè)面的主要標(biāo)記語(yǔ)言

29、。網(wǎng)頁(yè)由HTML組成，用于通過(guò)Web瀏覽器顯示文本，圖像或其他資源。HTML是制作網(wǎng)頁(yè)的基礎(chǔ)，我們?cè)诰W(wǎng)絡(luò)營(yíng)銷(xiāo)中講的靜態(tài)網(wǎng)頁(yè)，就是以HTML為基礎(chǔ)制作的網(wǎng)頁(yè)。HTML網(wǎng)頁(yè)結(jié)構(gòu)通常包括頭部(head)、主體(body)兩大部分。頭部描述瀏覽器所需的信息，主體包含所要說(shuō)明的具體內(nèi)容。HTML文件是帶有格式標(biāo)識(shí)符和超文本鏈接的內(nèi)嵌代碼的ASCII文本文件HTML結(jié)構(gòu)，可以被多種網(wǎng)頁(yè)瀏覽器讀取，產(chǎn)生網(wǎng)頁(yè)傳遞各類(lèi)資訊。一、關(guān)于HTML由三部分組成：資源類(lèi)型、存放資源的主機(jī)域名、資源文件名。也可認(rèn)為由4部分組成：協(xié)議、主機(jī)、端口、路徑 。URL的一般語(yǔ)法格式為：(帶方括號(hào)的為可選項(xiàng))：scheme:/hos

30、t:port#/path/?query-string#anchor，其中：scheme：協(xié)議(例如：http,https,ftp)host：服務(wù)器的IP地址或者域名port#：服務(wù)器的端口（如果是走協(xié)議默認(rèn)端口，缺省端口80）path：訪問(wèn)資源的路徑query-string：參數(shù)，發(fā)送給http服務(wù)器的數(shù)據(jù)anchor：錨（跳轉(zhuǎn)到網(wǎng)頁(yè)的指定錨點(diǎn)位置）例如：16:8080/index.jsp/11936238.html#product-detail淘寶鏈接/search?q=玻璃膠https是傳輸協(xié)議，是服務(wù)器域名，search是訪問(wèn)資源的路徑，問(wèn)號(hào)后的是參數(shù)，如果有多個(gè)參數(shù)用&號(hào)連接。二、認(rèn)識(shí)

31、URL構(gòu)成業(yè)務(wù)背景：你想要學(xué)習(xí)通過(guò)網(wǎng)頁(yè)源碼抓包采集數(shù)據(jù)，但在采集數(shù)據(jù)之前需要找到數(shù)據(jù)的接口，后續(xù)才可以通過(guò)數(shù)據(jù)接口采集數(shù)據(jù)。實(shí)驗(yàn)內(nèi)容打開(kāi)某一網(wǎng)頁(yè)，例如淘寶網(wǎng)頁(yè)，在網(wǎng)頁(yè)頁(yè)面空白處單擊鼠標(biāo)右鍵，彈出菜單中單擊“查看網(wǎng)頁(yè)源代碼”（不同瀏覽器表述可能有所不同，例如有的可能是“查看源”，功能是一樣的）一、HTML源碼解析左側(cè)是HTML的行號(hào)，右側(cè)是HTML代碼一、HTML源碼解析按鍵盤(pán)的CTRL+F鍵調(diào)出搜索框，根據(jù)前端頁(yè)面的目標(biāo)信息進(jìn)行搜索（例如：復(fù)制圖1查看源碼所在頁(yè)面中任一寶貝的標(biāo)題或其中一部分關(guān)鍵詞，粘貼到調(diào)出的搜索框內(nèi)），找到目標(biāo)信息則說(shuō)明數(shù)據(jù)就在HTML中，此數(shù)據(jù)稱(chēng)之為靜態(tài)數(shù)據(jù)。一、HTML

32、源碼解析打開(kāi)/，任意空白位置，右鍵選擇“檢查”（有的瀏覽器可能是“審查元素”，或者按鍵盤(pán)F12）進(jìn)入開(kāi)發(fā)者模式，單擊“network（網(wǎng)路）。二、網(wǎng)絡(luò)抓包刷新頁(yè)面（可按鍵盤(pán)F5鍵），可以獲取到許多文件，這個(gè)過(guò)程也稱(chēng)之為抓包。二、網(wǎng)絡(luò)抓包搜索下拉框會(huì)有關(guān)鍵詞推薦，與HTML源碼解析時(shí)搜索出的信息不同，這些關(guān)鍵詞并不是靜態(tài)的（上圖中可看到兩個(gè)藍(lán)色框的內(nèi)容是相同的），因?yàn)橄到y(tǒng)并不知道用戶(hù)會(huì)搜索什么詞，所以無(wú)法提前埋在HTML中。通過(guò)動(dòng)態(tài)交互的方式，用戶(hù)產(chǎn)生了操作，系統(tǒng)從服務(wù)器獲取對(duì)應(yīng)的數(shù)據(jù)包，使用開(kāi)發(fā)者模式可以觀察到這些數(shù)據(jù)包。二、網(wǎng)絡(luò)抓包Practice抓取百度搜索框的下拉詞數(shù)據(jù)包抓取速賣(mài)通搜索框

33、的下拉詞數(shù)據(jù)包課后練習(xí)2.2.2 采集并統(tǒng)計(jì)形成行業(yè)數(shù)據(jù)了解行業(yè)數(shù)據(jù)的統(tǒng)計(jì)方法0102實(shí)驗(yàn)?zāi)康膶?shí)操數(shù)據(jù)采集方法03實(shí)操行業(yè)數(shù)據(jù)統(tǒng)計(jì)方法第三方公司統(tǒng)計(jì)行業(yè)數(shù)據(jù)的方法通常是基于統(tǒng)計(jì)學(xué)原理，根據(jù)某個(gè)行業(yè)的銷(xiāo)量排序，從高到低采集固定數(shù)量的樣本，統(tǒng)計(jì)樣本的銷(xiāo)量或者銷(xiāo)售額來(lái)代表整個(gè)行業(yè)的數(shù)據(jù)。采集工具選用Power BI（個(gè)人免費(fèi)版）。Power BI是微軟旗下的一款（BI）商業(yè)智能軟件，它包含桌面版（Power BI Desktop）、網(wǎng)頁(yè)版和移動(dòng)版。一、行業(yè)數(shù)據(jù)的統(tǒng)計(jì)方法總體個(gè)體樣本樣本容量總體與樣本總體包含所研究的全部個(gè)體（數(shù)據(jù)）的集合。個(gè)體總體中每一個(gè)考察對(duì)象稱(chēng)為個(gè)體。樣本研究中實(shí)際觀測(cè)或調(diào)查的一

34、部分個(gè)體稱(chēng)為樣本。樣本容量樣本中個(gè)體的數(shù)目稱(chēng)為樣本容量。二、總體與樣本為了研究某中學(xué)九年級(jí)學(xué)生的身高情況，從全部九年級(jí)學(xué)生中抽取了60名學(xué)生的身高。在這個(gè)案例中，總體、個(gè)體、樣本、樣本容量各指什么？總體是一個(gè)確定的數(shù)字集合，而樣本可以有許多?！霸诳傮w中取出的一部分個(gè)體叫作總體的一個(gè)樣本”，如果取出另一部分個(gè)體那就構(gòu)成另一個(gè)樣本，即使每次抽取身高作為樣本的學(xué)生都是60人，每次抽取的情況也不會(huì)相同。所以樣本里面的數(shù)都是一些變量，這些變量的特點(diǎn)只有在一次具體的抽取完成之后才能知道它們的值。從上述的分析可以得出結(jié)論：樣本一般不等于總體，但樣本來(lái)源于總體，因而用樣本估計(jì)總體才有一定的依據(jù)，這是統(tǒng)計(jì)的基本

35、思想。研究電商行業(yè)大數(shù)據(jù)的基本思想也是如此，行業(yè)里面有龐大的數(shù)據(jù)量，就商品數(shù)據(jù)來(lái)說(shuō)，每個(gè)商品又有多種不同的屬性。我們通常對(duì)數(shù)據(jù)整體進(jìn)行抽樣采集，獲取具有代表性的、能夠盡可能地代表整體趨勢(shì)的數(shù)據(jù)，數(shù)據(jù)拿到手之后，再抽取不同的屬性特點(diǎn)作為研究對(duì)象，以分析不同的趨勢(shì)特征。二、總體與樣本三、采集數(shù)據(jù)流程將整個(gè)HTML或者JS文件下載到本地，此時(shí)數(shù)據(jù)在文件中，文件可轉(zhuǎn)換成文本這種可讀的類(lèi)型。采集存儲(chǔ)數(shù)據(jù)一般將下載的文件或者文本整個(gè)存入數(shù)據(jù)庫(kù)。儲(chǔ)存從文件或者文本中提取目標(biāo)資料，并組織成表格形式，形成可供分析的原始資料。清洗1、IP限制：最基礎(chǔ)的反爬蟲(chóng)方式，也比較好破解，通過(guò)變換網(wǎng)絡(luò)IP即可破解。四、反爬蟲(chóng)

36、2、賬號(hào)權(quán)限限制：必須登錄賬號(hào)才可以訪問(wèn)，且可能賬號(hào)有訪問(wèn)的權(quán)限限制，如限制頁(yè)面或者限制訪問(wèn)次數(shù)，破解的方法是上傳身份信息給服務(wù)器，一般使用cookie字段。對(duì)于限制訪問(wèn)權(quán)限的，需要使用具備對(duì)應(yīng)權(quán)限的賬號(hào)，如果暴力破解則是黑客范疇。對(duì)于訪問(wèn)次數(shù)的限制，只要頻繁變換賬號(hào)即可。3、密鑰匹配：密鑰匹配是目前比較難破解的，需要具備密碼學(xué)的知識(shí)，破解密鑰的算法，然后自行生成密鑰和服務(wù)器匹配。業(yè)務(wù)背景：分析數(shù)據(jù)之前需要先有數(shù)據(jù)，數(shù)據(jù)一般可以通過(guò)數(shù)據(jù)產(chǎn)品和頁(yè)面收集，收集數(shù)據(jù)時(shí)如果使用手動(dòng)的方式將耗費(fèi)大量的時(shí)間和精力，因此使用軟件構(gòu)建采集腳本可極大節(jié)約時(shí)間成本。下面我們將帶領(lǐng)大家體驗(yàn)通過(guò)傳統(tǒng)的源碼采集方式實(shí)現(xiàn)

37、數(shù)據(jù)采集。實(shí)驗(yàn)內(nèi)容/search?q=%E8%B7%AF%E7%94%B1%E5%99%A8&sort=sale-desc服務(wù)器地址：/search參數(shù)：q（搜索詞），sort（排名方式）。也就是說(shuō)鏈接中“q”后面是搜索詞字段，“sort”后面代表的是排序方式?？芍苯訌?fù)制該鏈接到瀏覽器中進(jìn)行檢驗(yàn)，如圖所示，可以發(fā)現(xiàn)搜索詞為“路由器”，排序方式為“銷(xiāo)量從高到低”。一、實(shí)操數(shù)據(jù)采集方法明確目標(biāo)鏈接“q”后面的搜索詞由“路由器”改為“連衣裙”，可以發(fā)現(xiàn)淘寶寶貝搜索框中的關(guān)鍵詞也對(duì)應(yīng)變成了“連衣裙”。這說(shuō)明該鏈接已經(jīng)包含了必要的搜索字段。該鏈接可通過(guò)復(fù)制淘寶搜索鏈接然后去除部分字段而得到。一、實(shí)操數(shù)據(jù)

38、采集方法明確目標(biāo)鏈接例：淘寶搜索“路由器”，設(shè)置“銷(xiāo)量從高到低排序”，得到的鏈接為：/search?q=%E8%B7%AF%E7%94%B1%E5%99%A8&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm= a21bo. 2017. 201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170306&sort=sale-desc將中間字段刪除，即可得到只包含“q”和“sort”參數(shù)等必要字段的目標(biāo)鏈接：/search?q=%E8%B7%AF%E7%

39、94%B1%E5%99%A8&sort=sale-descM語(yǔ)言（M代表Microsoft），編程語(yǔ)言，是微軟新Oslo發(fā)展和面向服務(wù)策略的一部分。在M語(yǔ)言中，實(shí)現(xiàn)網(wǎng)絡(luò)抓包的核心函數(shù)是Web.Contents，它能夠?qū)χ付ǖ腢RL向服務(wù)器發(fā)出request并接受返回的response。在測(cè)試單頁(yè)采集數(shù)據(jù)中M語(yǔ)言的公式為：=Web.BrowserContents(URL)。一、實(shí)操數(shù)據(jù)采集方法測(cè)試單頁(yè)采集數(shù)據(jù)1）使用web引入示例的方法進(jìn)行京東連衣裙數(shù)據(jù)的單頁(yè)采集首先獲取目標(biāo)鏈接。打開(kāi)京東網(wǎng)頁(yè)，在寶貝搜索框中輸入關(guān)鍵詞，例如我們將要采集的“連衣裙”，并設(shè)置“銷(xiāo)量從高到低排序”，此時(shí)會(huì)有對(duì)應(yīng)鏈接產(chǎn)

40、生。1）使用web引入示例的方法進(jìn)行京東連衣裙數(shù)據(jù)的單頁(yè)采集觀察鏈接會(huì)發(fā)現(xiàn)，當(dāng)搜索的寶貝頁(yè)碼改變時(shí)，鏈接也會(huì)隨之改變；需要說(shuō)明的是，不同于淘寶寶貝鏈接中的頁(yè)碼參數(shù)由s參數(shù)單獨(dú)控制，京東寶貝鏈接的s參數(shù)由page參數(shù)直接控制；觀察可發(fā)現(xiàn)，當(dāng)搜索的寶貝頁(yè)碼為n時(shí)，page參數(shù)值為2n-1，這也是我們后面將用到的規(guī)律，將鏈接復(fù)制以備用。1）使用web引入示例的方法進(jìn)行京東連衣裙數(shù)據(jù)的單頁(yè)采集打開(kāi)Power BI主頁(yè)，依次單擊“獲取數(shù)據(jù)”、從“Web”獲取選項(xiàng)，將上步復(fù)制的京東搜索頁(yè)鏈接粘貼到彈出的“從Web”對(duì)話(huà)框中，單擊“確定”按鈕。1）使用web引入示例的方法進(jìn)行京東連衣裙數(shù)據(jù)的單頁(yè)采集在彈出的

41、“導(dǎo)航器”頁(yè)面單擊“使用示例添加表”，等待數(shù)據(jù)的加載，如圖所示。這里選擇“使用示例添加表”的操作是為了學(xué)習(xí)數(shù)據(jù)的路徑，通過(guò)兩到三個(gè)數(shù)據(jù)實(shí)現(xiàn)定位，進(jìn)而完成整個(gè)數(shù)據(jù)表的填充（下一步操作中將體現(xiàn)）。1）使用web引入示例的方法進(jìn)行京東連衣裙數(shù)據(jù)的單頁(yè)采集在彈出的“從Web”對(duì)話(huà)框中進(jìn)行數(shù)據(jù)填充。首先在左下角的“列1”的空白行輸入上方對(duì)應(yīng)寶貝的標(biāo)題，這里會(huì)有關(guān)鍵詞提示，輸入前幾個(gè)關(guān)鍵字后會(huì)出現(xiàn)包含相應(yīng)字段的標(biāo)題，雙擊選中即可自動(dòng)填入。可先在前兩行輸入前兩個(gè)寶貝的標(biāo)題，在其它空白單元格上雙擊（或者按住鼠標(biāo)左鍵劃過(guò)整列），即可進(jìn)行整列填充，如圖所示，并將該列重命名為“標(biāo)題”。1）使用web引入示例的方法進(jìn)

42、行京東連衣裙數(shù)據(jù)的單頁(yè)采集同以上步驟，再分別添加“價(jià)格”和“評(píng)價(jià)數(shù)”列（這里可根據(jù)需要，添加想要采集的內(nèi)容列），單擊“確定”按鈕。1）使用web引入示例的方法進(jìn)行京東連衣裙數(shù)據(jù)的單頁(yè)采集待出現(xiàn)如左圖所示的“導(dǎo)航器”頁(yè)面時(shí)，單擊“轉(zhuǎn)換數(shù)據(jù)”（有的版本是“編輯”），將進(jìn)入“Power Query編輯器”頁(yè)面，如右圖所示。1）使用web引入示例的方法進(jìn)行京東連衣裙數(shù)據(jù)的單頁(yè)采集依次單擊“主頁(yè)”、“高級(jí)編輯器”選項(xiàng)，可驗(yàn)證M語(yǔ)言中的公式為：=Web.BrowserContents(URL)2）使用自定義函數(shù)進(jìn)行京東羽絨服數(shù)據(jù)的單頁(yè)采集單頁(yè)采集連衣裙數(shù)據(jù)之后進(jìn)入Power Query編輯器頁(yè)面，得到“表

43、1”如左圖所示；右鍵單擊“表1”，在彈出的菜單里單擊第二個(gè)“復(fù)制”選項(xiàng)，它的功能是復(fù)制并粘貼表；也可單擊第一個(gè)“復(fù)制”，它的功能是復(fù)制表，復(fù)制完之后需要再次右鍵單擊“粘貼”，如右圖所示。打開(kāi)復(fù)制得到的表1（2），依次單擊“主頁(yè)”、“高級(jí)編輯器”，進(jìn)行自定義函數(shù)設(shè)置，引入變量“x”，編輯如圖所示，此步操作的含義是將x設(shè)置為Web.BrowserContents函數(shù)的自變量。2）使用自定義函數(shù)進(jìn)行京東羽絨服數(shù)據(jù)的單頁(yè)采集將Html.Table()函數(shù)中的“源”替換為Web.BrowserContents(x)，并將兩行之間多余的內(nèi)容刪掉，得到：源=(x)=Html.Table(.)，這時(shí)x又間接成

44、了Html.Table函數(shù)的變量，如圖所示。2）使用自定義函數(shù)進(jìn)行京東羽絨服數(shù)據(jù)的單頁(yè)采集編輯let和in語(yǔ)句模塊如圖所示，刪除多余行的內(nèi)容，注意將let語(yǔ)句末尾的逗號(hào)刪除，否則將出現(xiàn)語(yǔ)句錯(cuò)誤，編輯完成后單擊“完成”按鈕。2）使用自定義函數(shù)進(jìn)行京東羽絨服數(shù)據(jù)的單頁(yè)采集單擊“輸入數(shù)據(jù)”選項(xiàng)，在彈出的“創(chuàng)建表”對(duì)話(huà)框中將京東搜索“羽絨服”的鏈接粘貼至單元格，如圖所示，這里實(shí)質(zhì)上是相當(dāng)于我們所輸入的鏈接為變量x賦值的過(guò)程，輸入完成后單擊“確定”按鈕。2）使用自定義函數(shù)進(jìn)行京東羽絨服數(shù)據(jù)的單頁(yè)采集依次單擊“添加列”、“調(diào)用自定義函數(shù)”選項(xiàng)，函數(shù)調(diào)用如圖所示，設(shè)置完成后單擊“確定”按鈕。2）使用自定義函

45、數(shù)進(jìn)行京東羽絨服數(shù)據(jù)的單頁(yè)采集如左圖所示，對(duì)得到的表格進(jìn)行展開(kāi)，即可得到所采集的搜索頁(yè)羽絨服數(shù)據(jù)，如右圖所示。由于是在采集到的連衣裙數(shù)據(jù)基礎(chǔ)上，通過(guò)引入自定義函數(shù)的方法來(lái)采集羽絨服的數(shù)據(jù)，相當(dāng)于學(xué)習(xí)了采集連衣裙數(shù)據(jù)時(shí)的路徑與方法，因此，得到的羽絨服數(shù)據(jù)所包含的商品屬性與單頁(yè)采集連衣裙數(shù)據(jù)時(shí)所包含的商品屬性是一致的，都包括“標(biāo)題”、“價(jià)格”、“評(píng)價(jià)數(shù)”等字段。2）使用自定義函數(shù)進(jìn)行京東羽絨服數(shù)據(jù)的單頁(yè)采集（1）使用自定義函數(shù)方法進(jìn)行數(shù)據(jù)的批量采集前面我們講到在單頁(yè)采集連衣裙數(shù)據(jù)的基礎(chǔ)上，通過(guò)自定義函數(shù)引入變量x，用“羽絨服”的搜索鏈接為x賦值，再調(diào)用自定義函數(shù)實(shí)現(xiàn)羽絨服數(shù)據(jù)的單頁(yè)采集。批量采集與

46、單頁(yè)采集的原理相同，需要修改的步驟是在高級(jí)編輯器語(yǔ)句修改完成之后，“輸入數(shù)據(jù)”時(shí)，增加單元格行數(shù)，并分別粘貼京東搜索頁(yè)各頁(yè)鏈接至單元格，這里我們選擇以5頁(yè)作為示例，如圖所示。一、實(shí)操數(shù)據(jù)采集方法測(cè)試批量采集數(shù)據(jù)接下來(lái)的步驟與單頁(yè)采集相似，操作完成將得到所搜索的5頁(yè)數(shù)據(jù)，結(jié)果如圖所示。京東每頁(yè)可采集30個(gè)寶貝數(shù)據(jù)，因此5頁(yè)一共有150條寶貝數(shù)據(jù)結(jié)果。（1）使用自定義函數(shù)方法進(jìn)行數(shù)據(jù)的批量采集一、實(shí)操數(shù)據(jù)采集方法測(cè)試批量采集數(shù)據(jù)首先需創(chuàng)建批量采集的鏈接，通過(guò)觀察，page參數(shù)是以1起步，步長(zhǎng)為2的等差數(shù)列，當(dāng)頁(yè)碼為n時(shí)page參數(shù)為2n-1；M語(yǔ)言中生成100個(gè)數(shù)的序列公式：=1.100。具體操作

47、如下：在前步“單頁(yè)采集連衣裙數(shù)據(jù)”結(jié)果的基礎(chǔ)上依次單擊“新建源”、“空查詢(xún)”選項(xiàng)，如圖所示。此步完成之后，將新建一個(gè)空查詢(xún)“查詢(xún)1”，后續(xù)的創(chuàng)建批量采集鏈接、數(shù)據(jù)抓包與采集等步驟將在此查詢(xún)中完成。（2）通過(guò)創(chuàng)建多頁(yè)采集鏈接實(shí)現(xiàn)數(shù)據(jù)的批量采集一、實(shí)操數(shù)據(jù)采集方法測(cè)試批量采集數(shù)據(jù)在函數(shù)框內(nèi)輸入=，在“=”后面輸入“引號(hào)”（注意：這里的符號(hào)都是英文狀態(tài)下的，“=”是一定要加的，不然后面會(huì)出現(xiàn)鏈接錯(cuò)誤），并將京東搜索鏈接粘貼到這里（例如，我們此處是京東搜索“連衣裙”，選擇按銷(xiāo)量排序，將第一頁(yè)搜索結(jié)果的鏈接復(fù)制過(guò)來(lái)）；把鏈接末尾的“page=”后面的參數(shù)刪掉（這里不同于淘寶，若是淘寶鏈接，需要?jiǎng)h掉的是“

48、s=”后面的參數(shù)；京東的s參數(shù)由page參數(shù)直接l控制），因?yàn)槲覀兒竺嬉⒍囗?yè)的鏈接；然后單擊函數(shù)框前的“對(duì)號(hào)”完成引用；接著單擊到“到表”選項(xiàng)，如圖所示。（2）通過(guò)創(chuàng)建多頁(yè)采集鏈接實(shí)現(xiàn)數(shù)據(jù)的批量采集一、實(shí)操數(shù)據(jù)采集方法測(cè)試批量采集數(shù)據(jù)依次單擊“添加列”、“自定列”選項(xiàng)，自定義列的名稱(chēng)改為“頁(yè)碼序列”，自定義列公式=1.100，單擊“確定”按鈕，生成100個(gè)數(shù)的序列，如圖所示。（2）通過(guò)創(chuàng)建多頁(yè)采集鏈接實(shí)現(xiàn)數(shù)據(jù)的批量采集一、實(shí)操數(shù)據(jù)采集方法測(cè)試批量采集數(shù)據(jù)單擊“頁(yè)碼序列”列名右側(cè)的小圖標(biāo)，在下拉菜單中單擊“擴(kuò)展到新行”，如圖所示。（2）通過(guò)創(chuàng)建多頁(yè)采集鏈接實(shí)現(xiàn)數(shù)據(jù)的批量采集一、實(shí)操數(shù)據(jù)采集方

49、法測(cè)試批量采集數(shù)據(jù)單擊“頁(yè)碼序列”列名左側(cè)的小圖標(biāo)，在下拉菜單中將頁(yè)碼序列的數(shù)據(jù)類(lèi)型設(shè)置成“整數(shù)”格式。然后依次單擊“添加列”、“自定義列”選項(xiàng)，計(jì)算生成“page參數(shù)”，前面我們已經(jīng)分析過(guò)，京東鏈接中page參數(shù)的數(shù)值與實(shí)際頁(yè)碼n的關(guān)系呈2n-1的等差數(shù)列，如圖所示，單擊“確定”按鈕。（2）通過(guò)創(chuàng)建多頁(yè)采集鏈接實(shí)現(xiàn)數(shù)據(jù)的批量采集一、實(shí)操數(shù)據(jù)采集方法測(cè)試批量采集數(shù)據(jù)單擊“page參數(shù)”列名左側(cè)的小圖標(biāo)，在下拉菜單中將page參數(shù)的數(shù)據(jù)類(lèi)型設(shè)置成“文本”格式后，依次單擊“添加列”、“自定義列”選項(xiàng)，生成“URL”列，如圖所示。（2）通過(guò)創(chuàng)建多頁(yè)采集鏈接實(shí)現(xiàn)數(shù)據(jù)的批量采集一、實(shí)操數(shù)據(jù)采集方法測(cè)試批

50、量采集數(shù)據(jù)當(dāng)URL列生成后，即完成了100頁(yè)采集鏈接的創(chuàng)建，點(diǎn)擊URL列對(duì)應(yīng)鏈接時(shí)，在頁(yè)面下方可觀察到鏈接對(duì)應(yīng)的page參數(shù)會(huì)隨頁(yè)碼序列呈公式為2n-1的等差變化；如圖所示，點(diǎn)擊第三行時(shí)，顯示的page參數(shù)為5，這與在京東網(wǎng)頁(yè)上觀察的鏈接結(jié)果是一致的。（2）通過(guò)創(chuàng)建多頁(yè)采集鏈接實(shí)現(xiàn)數(shù)據(jù)的批量采集一、實(shí)操數(shù)據(jù)采集方法測(cè)試批量采集數(shù)據(jù)創(chuàng)建完100頁(yè)采集的鏈接之后，接下來(lái)將進(jìn)行100頁(yè)數(shù)據(jù)的抓包。原理依然是在單頁(yè)采集連衣裙數(shù)據(jù)的基礎(chǔ)上，學(xué)習(xí)其數(shù)據(jù)存儲(chǔ)路徑與采集方法，進(jìn)而完成批量采集。單擊連衣裙的單頁(yè)采集結(jié)果“表1”，進(jìn)入其編輯器頁(yè)面，依次單擊“主頁(yè)”、“高級(jí)編輯器”選項(xiàng)，復(fù)制第一行“=”后面的內(nèi)容，

51、如圖所示，此步的目的主要是復(fù)制Web.BrowserContents()函數(shù)（2）通過(guò)創(chuàng)建多頁(yè)采集鏈接實(shí)現(xiàn)數(shù)據(jù)的批量采集一、實(shí)操數(shù)據(jù)采集方法測(cè)試批量采集數(shù)據(jù)在“查詢(xún)1”中重復(fù)自定義列操作，將復(fù)制的內(nèi)容粘貼到自定義列公式處，刪除小括號(hào)中的內(nèi)容，并將“URL”插入到小括號(hào)內(nèi)，可將此列命名為“抓包下載”，如圖所示。（2）通過(guò)創(chuàng)建多頁(yè)采集鏈接實(shí)現(xiàn)數(shù)據(jù)的批量采集一、實(shí)操數(shù)據(jù)采集方法測(cè)試批量采集數(shù)據(jù)從網(wǎng)頁(yè)代碼中提取數(shù)據(jù)，在沒(méi)有觸發(fā)網(wǎng)站的防爬機(jī)制時(shí)，可使用可視化操作提取，如果觸發(fā)了網(wǎng)站的防爬機(jī)制，需要插入以下處理方法：登錄京東獲取cookie，注意是cookie后面的具體參數(shù)，不包含“cookie”（2）通過(guò)創(chuàng)建多頁(yè)采集鏈接實(shí)現(xiàn)數(shù)據(jù)的批量采集一、實(shí)操數(shù)據(jù)采集方法測(cè)試批量采集數(shù)據(jù)參數(shù)中加入HeadersText.FromBinary(Web.Contents(URL,Headers=#cookie=COOKIE)添加延時(shí)Function.InvokeAfter()=Text.From