項目二電商數(shù)據(jù)的采集及處理任務1數(shù)據(jù)采集任務2電商數(shù)據(jù)可視化處理62任務目標知識目標1.熟悉數(shù)據(jù)的采集過程2.掌握數(shù)據(jù)采集的原則3.掌握各類數(shù)據(jù)的采集渠道能力目標1.能從網(wǎng)絡中采集各種數(shù)據(jù)，并將其錄入到Excel工作表中2.能使用生意參謀和八爪魚采集器采集各種電商數(shù)據(jù)63一、數(shù)據(jù)采集的概念數(shù)據(jù)采集也叫作數(shù)據(jù)獲取，是指通過在平臺源程序中預設(shè)工具或程序代碼，獲取商品狀態(tài)變化、資金狀態(tài)變化、流量狀態(tài)變化、客戶行為和信息等數(shù)據(jù)內(nèi)容的過程，為后續(xù)進行數(shù)據(jù)分析提供數(shù)據(jù)準備。數(shù)據(jù)源是數(shù)據(jù)分析的基礎(chǔ)，準確的數(shù)據(jù)源是管理者的決策保證。因此，數(shù)據(jù)采集的準確性直接關(guān)系到數(shù)據(jù)分析結(jié)果的價值。在大數(shù)據(jù)環(huán)境下，電商平臺中的數(shù)據(jù)是公開的、共享的。通過采集與整理，可以將大量離散的數(shù)據(jù)有目的地整合在一起，從而發(fā)現(xiàn)隱藏在數(shù)據(jù)背后的秘密。64二、數(shù)據(jù)采集的原則在進行電子商務數(shù)據(jù)采集的過程中，只有及時、有效且準確的數(shù)據(jù)才能分析出對電子商務運營和決策有幫助的結(jié)果。1.及時性進行數(shù)據(jù)采集時應盡可能地獲取電子商務平臺的最新數(shù)據(jù)。通過最新數(shù)據(jù)與往期數(shù)據(jù)的對比，才能更好地發(fā)現(xiàn)當前的問題并預測變化趨勢。2.有效性在數(shù)據(jù)采集過程中，需要注意數(shù)據(jù)期限的有效性。653.準確性在數(shù)據(jù)分析過程中，不準確的數(shù)據(jù)會造成數(shù)據(jù)分析結(jié)果發(fā)生較大的偏差；而錯誤數(shù)據(jù)會導致截然相反的結(jié)論。因此，在進行數(shù)據(jù)采集時，必須確保所摘錄的數(shù)據(jù)準確無誤。4.計劃性采集的數(shù)據(jù)既要滿足當前需要，又要反映未來的發(fā)展。因此，數(shù)據(jù)分析人員既要廣辟信息來源，又要長期、持續(xù)進行數(shù)據(jù)采集，提升計劃性。5.合法性數(shù)據(jù)采集還需要注意合法性。66三、數(shù)據(jù)的采集渠道1.內(nèi)部數(shù)據(jù)渠道內(nèi)部數(shù)據(jù)主要是指在電子商務項目運營過程中，電子商務站點、店鋪自身所產(chǎn)生的數(shù)據(jù)信息，如站點的訪客數(shù)、瀏覽量、收藏量，商品的訂單數(shù)量、訂單信息、加購數(shù)量等數(shù)據(jù)。這些內(nèi)部數(shù)據(jù)可通過電子商務站點、店鋪后臺或類似生意參謀、京東商智等數(shù)據(jù)分析工具獲取。對于獨立站點流量數(shù)據(jù)還可使用百度統(tǒng)計、友盟等工具進行統(tǒng)計采集。672.外部數(shù)據(jù)渠道在進行行業(yè)及競爭對手數(shù)據(jù)采集時，通常需要借助外部數(shù)據(jù)。在選擇外部數(shù)據(jù)時，尤其需要注意的是數(shù)據(jù)的真實性和有效性。常用的外部數(shù)據(jù)渠道有以下幾種。（1）權(quán)威網(wǎng)站、數(shù)據(jù)機構(gòu)權(quán)威網(wǎng)站、數(shù)據(jù)機構(gòu)發(fā)布的報告、白皮書等是分析行業(yè)及市場競爭情況的重要數(shù)據(jù)來源。常見的網(wǎng)站和數(shù)據(jù)機構(gòu)有易觀數(shù)據(jù)、艾瑞咨詢等。下圖所示為艾瑞咨詢官網(wǎng)。這些平臺提供的行業(yè)或行業(yè)龍頭企業(yè)數(shù)據(jù)參考性較高，是重要的行業(yè)及企業(yè)數(shù)據(jù)采集渠道。6869艾瑞咨詢官網(wǎng)（2）電子商務平臺電子商務平臺聚集了眾多行業(yè)的賣家和買家，它不僅是商品交易的場所，也是電子商務數(shù)據(jù)產(chǎn)生的重要來源。（3）指數(shù)工具如百度指數(shù)、360趨勢等工具依托平臺海量客戶行為數(shù)據(jù)，將相應的搜索數(shù)據(jù)趨勢、需求圖譜、客戶畫像等數(shù)據(jù)通過指數(shù)工具向用戶公開。該類數(shù)據(jù)可為市場需求、客戶需求和客戶畫像數(shù)據(jù)分析提供重要參考依據(jù)。70四、市場數(shù)據(jù)采集市場數(shù)據(jù)分析的結(jié)果是決策者進行創(chuàng)投項目決策、制定發(fā)展戰(zhàn)略的支撐和依據(jù)，而市場數(shù)據(jù)采集則是進行市場數(shù)據(jù)分析的前提，市場數(shù)據(jù)主要包括行業(yè)數(shù)據(jù)和競爭數(shù)據(jù)。1.行業(yè)數(shù)據(jù)采集（1）行業(yè)發(fā)展數(shù)據(jù)采集行業(yè)發(fā)展數(shù)據(jù)分析通常會涉及行業(yè)總銷售額、增長率等數(shù)據(jù)指標。行業(yè)發(fā)展數(shù)據(jù)來源主要是國家統(tǒng)計局、行業(yè)協(xié)會、數(shù)據(jù)公司發(fā)布的行業(yè)統(tǒng)計數(shù)據(jù)、行業(yè)調(diào)查報告等。71（2）市場需求數(shù)據(jù)采集市場需求數(shù)據(jù)分析通常會涉及需求量變化、品牌偏好等數(shù)據(jù)指標。除可以通過行業(yè)調(diào)查報告獲取外，還可以通過對客戶搜索指數(shù)的變化趨勢分析來把握客戶的需求變化和品牌偏好。下圖所示為手機品牌客戶偏好的百度搜索指數(shù)。72手機品牌客戶偏好的百度搜索指數(shù)2.競爭數(shù)據(jù)采集競爭數(shù)據(jù)是指在電子商務業(yè)務中彼此存在競爭關(guān)系的商家、品牌、商品等各項運營數(shù)據(jù)的總稱。進行競爭數(shù)據(jù)采集時，通常需要采集競爭對手店鋪的商品結(jié)構(gòu)、商品構(gòu)成、暢銷商品、商品銷量、交易額、銷售價格、客單價、活動信息、活動內(nèi)容、活動周期、商品評價、服務政策、店鋪流量、推廣渠道、搜索排名等數(shù)據(jù)。通過對以上競爭數(shù)據(jù)變化和規(guī)律的分析，運營者可以從中發(fā)現(xiàn)競爭對手的運維習慣、銷售策略，從而制定更有針對性的營銷方案、運營策略。73進行競爭數(shù)據(jù)采集可以借助一些工具，如采集淘寶、天貓平臺的競爭對手數(shù)據(jù)可以采用八爪魚采集器等數(shù)據(jù)采集工具。但由于平臺規(guī)則不斷變化，受規(guī)則限制，經(jīng)常會遇到歷史數(shù)據(jù)無法采集或采集異常的情況；競爭對手策劃的營銷活動內(nèi)容，通常也無法使用數(shù)據(jù)采集工具來采集數(shù)據(jù)。因此，最有效的方法就是對競爭對手進行數(shù)據(jù)監(jiān)控，制作競爭對手數(shù)據(jù)采集表，見下表。7475競爭對手數(shù)據(jù)采集表五、運營數(shù)據(jù)采集運營數(shù)據(jù)通常包含客戶數(shù)據(jù)、推廣數(shù)據(jù)、銷售數(shù)據(jù)等內(nèi)容，具體采集內(nèi)容視數(shù)據(jù)分析的目的而定。1.客戶數(shù)據(jù)采集客戶數(shù)據(jù)采集是根據(jù)企業(yè)各部門對于客戶數(shù)據(jù)的需求，通過可靠的數(shù)據(jù)源，采用合適的采集方式，獲得客戶的操作、行為、屬性等數(shù)據(jù)信息，為后續(xù)的客戶數(shù)據(jù)分析提供數(shù)據(jù)支持。76（1）客戶數(shù)據(jù)采集指標與客戶相關(guān)的數(shù)據(jù)指標多種多樣，常用于分析的數(shù)據(jù)指標可分為客戶行為數(shù)據(jù)和客戶畫像數(shù)據(jù)。（2）客戶數(shù)據(jù)采集渠道如果是電子商務獨立站點，客戶畫像數(shù)據(jù)采集可以通過調(diào)用客戶在網(wǎng)站注冊資料中填寫的相應信息內(nèi)容來實現(xiàn)。而客戶行為數(shù)據(jù)則可以采用百度統(tǒng)計、友盟等工具采集。77（3）數(shù)據(jù)采集表制作及數(shù)據(jù)采集確定了數(shù)據(jù)采集指標及采集渠道后，數(shù)據(jù)采集人員應根據(jù)數(shù)據(jù)采集指標建立客戶信息采集表，見下表。78客戶信息采集表2.推廣數(shù)據(jù)采集對推廣數(shù)據(jù)進行有效分析，可以幫助企業(yè)找到店鋪推廣中的優(yōu)勢與不足，從而優(yōu)化調(diào)整相關(guān)推廣策略和內(nèi)容，提升推廣效果。（1）推廣數(shù)據(jù)采集指標店鋪推廣的核心目標是銷售商品。店鋪推廣的方式千差萬別，不同的推廣方式往往有不同的側(cè)重點。（2）推廣數(shù)據(jù)采集渠道及采集在電子商務平臺中，推廣工具通常都會提供相應的數(shù)據(jù)報表。所以，可通過所使用的推廣工具進行數(shù)據(jù)報表下載并整理摘錄推廣數(shù)據(jù)。793.銷售數(shù)據(jù)采集在店鋪運營過程中會產(chǎn)生大量的銷售數(shù)據(jù)，通過對前期的銷售數(shù)據(jù)和市場變化分析，可以幫助企業(yè)更好地制定銷售目標、調(diào)整銷售策略。（1）銷售數(shù)據(jù)采集指標店鋪銷售數(shù)據(jù)分析的核心指標分別是訂單量、銷售額、成交量等交易數(shù)據(jù)和響應時長、咨詢客戶數(shù)、詢單轉(zhuǎn)化率等服務數(shù)據(jù)。（2）銷售數(shù)據(jù)采集實施銷售數(shù)據(jù)采集前，應先根據(jù)交易數(shù)據(jù)采集需求及所分析出的指標制作店鋪銷售數(shù)據(jù)采集表，見下表。8081店鋪銷售數(shù)據(jù)采集表六、商品數(shù)據(jù)采集商品數(shù)據(jù)是電商經(jīng)營的重要數(shù)據(jù)。通過對商品的分析可以有效發(fā)掘客戶需求，優(yōu)化店鋪商品結(jié)構(gòu)，提升客戶黏性、客單價、銷售利潤等。1.商品行業(yè)數(shù)據(jù)采集采集商品行業(yè)數(shù)據(jù)的目的是了解該商品的市場需求變化情況。常用的數(shù)據(jù)采集指標包括商品搜索指數(shù)和商品交易指數(shù)兩項。82（1）商品搜索指數(shù)采集商品搜索指數(shù)是對客戶搜索相關(guān)商品關(guān)鍵詞熱度的數(shù)據(jù)化體現(xiàn)，反映了客戶對商品的關(guān)注度和興趣度。83通過百度指數(shù)搜索商品關(guān)鍵詞“連衣裙”（2）商品交易指數(shù)采集商品交易指數(shù)是商品在平臺交易熱度的體現(xiàn)，是衡量店鋪、商品受歡迎程度的一個重要指標。即商品交易指數(shù)越高，該商品越受消費者歡迎。84行業(yè)趨勢2.商品能力數(shù)據(jù)采集商品能力數(shù)據(jù)分為商品獲客能力數(shù)據(jù)和商品盈利能力數(shù)據(jù)兩類。（1）商品獲客能力數(shù)據(jù)采集商品獲客能力是指商品為店鋪或平臺獲取新客戶的能力，其主要指標包括客戶關(guān)注量、收藏量、客戶注冊量、新客戶點擊量和重復購買率等。該類數(shù)據(jù)一般通過站點后臺或第三方工具獲取。通常情況下，站點后臺或第三方工具會在運營過程中持續(xù)對訪客的瀏覽路徑進行跟蹤，對訪客關(guān)注產(chǎn)品、網(wǎng)站（店鋪）收藏、網(wǎng)站注冊等重點行為進行記錄，進而生成相應的數(shù)據(jù)報表，并提供文本或Excel表格導出。85（2）商品盈利能力數(shù)據(jù)采集商品盈利能力是指商品為店鋪銷售或利潤貢獻的能力，其主要指標包括客單價、毛利率、成本費用利潤率等。該類數(shù)據(jù)一般無法直接獲取，需要通過公式計算。商品盈利能力數(shù)據(jù)的采集分為以下3個步驟。第一步，分析拆解數(shù)據(jù)采集指標。第二步，確定數(shù)據(jù)采集渠道。第三步，數(shù)據(jù)采集。86任務目標知識目標1.了解電商數(shù)據(jù)的類型，熟悉圖表的創(chuàng)建方法2.掌握常用的數(shù)據(jù)可視化方法能力目標1.能運用多種圖表制作方法制作圖表2.能進行圖表的編輯、圖表布局的設(shè)置、圖表類型及數(shù)據(jù)源的更改3.能清洗、整理及加工初始數(shù)據(jù)4.能使用Excel軟件將電商數(shù)據(jù)分析結(jié)果進行可視化處理87一、數(shù)據(jù)可視化的概念數(shù)據(jù)可視化是關(guān)于數(shù)據(jù)視覺表現(xiàn)形式的技術(shù)，它是利用圖形、表格、動畫等手段，將數(shù)據(jù)內(nèi)在的規(guī)律直觀展現(xiàn)的方法。數(shù)據(jù)可視化的基本思想是將每一個數(shù)據(jù)項作為單個圖元（圖形元素，可以編輯的最小圖形單位）進行表示，大量的數(shù)據(jù)集構(gòu)成數(shù)據(jù)圖像。同時將數(shù)據(jù)的各屬性值以多維數(shù)據(jù)的形式表示，以便從不同的維度觀察數(shù)據(jù)，對數(shù)據(jù)進行更深入的觀察和分析。88二、數(shù)據(jù)可視化的作用數(shù)據(jù)可視化的作用是準確而高效、簡潔而全面地傳遞信息。數(shù)據(jù)可視化能將不可見的數(shù)據(jù)現(xiàn)象轉(zhuǎn)化為可見的圖形符號，能將錯綜復雜、難以解釋和關(guān)聯(lián)的數(shù)據(jù)建立起聯(lián)系，幫助人們發(fā)現(xiàn)其特征和規(guī)律。89三、數(shù)據(jù)可視化的一般步驟1.明確電商數(shù)據(jù)可視化需求進行電商數(shù)據(jù)可視化時，首先需要明確數(shù)據(jù)可視化的需求，即數(shù)據(jù)可視化項目能夠解決什么運營問題。明確數(shù)據(jù)可視化需求，可以避免將一些不相干的數(shù)據(jù)放在一起進行比較。2.選擇正確的數(shù)據(jù)可視化類型確定需求之后，即可為數(shù)據(jù)選擇合適的可視化類型。不同類型的數(shù)據(jù)有其適合的圖表類型，如果設(shè)計人員選用一個錯誤的類型去展現(xiàn)，就很容易造成誤解。要清楚地表達數(shù)據(jù)分析結(jié)果，就必須準確選擇數(shù)據(jù)可視化類型。903.確定關(guān)鍵的信息指標高效的數(shù)據(jù)可視化不僅取決于數(shù)據(jù)可視化的類型，還取決于一種平衡：既要保證總體信息的通俗易懂，又要在某些關(guān)鍵點上有所突出；既能提供深刻的信息解讀，又能提供合適場景進行上下文的聯(lián)系，從而更加合理地構(gòu)建數(shù)據(jù)架構(gòu)。所以，在進行數(shù)據(jù)可視化時，需要選取關(guān)鍵數(shù)據(jù)指標，表達關(guān)鍵信息，以引導用戶通過可視化數(shù)據(jù)分析得到相應的結(jié)論，體現(xiàn)數(shù)據(jù)的價值。4.優(yōu)化展現(xiàn)形式數(shù)據(jù)可視化的展現(xiàn)形式除了要有精美的外觀，更要根據(jù)其功能和用途而設(shè)計，切忌為了表面的絢麗多彩把簡單的問題復雜化。91四、電商數(shù)據(jù)的類型1.數(shù)值型數(shù)據(jù)數(shù)值型數(shù)據(jù)即由多個單獨的數(shù)字組成的一串數(shù)據(jù)，是直接使用自然數(shù)或度量單位進行計量的具體數(shù)值。如支出800元、好評率98%、銷售量1895個、質(zhì)量2千克等，這些數(shù)值就是數(shù)值型數(shù)據(jù)。圖所示為以數(shù)值顯示的某店鋪某月在交易、流量、商品、推廣等各方面的運營情況，以及與上月進行同期對比的結(jié)果。9293數(shù)值型數(shù)據(jù)2.文字圖形型數(shù)據(jù)文字圖形型數(shù)據(jù)普遍應用在關(guān)鍵詞分析、人群畫像等場景中。下圖所示為搜索“羽絨服”關(guān)鍵詞后顯示的相關(guān)搜索詞情況，其中紅色圓點表示該關(guān)鍵詞搜索量呈上升趨勢，綠色圓點則表示該關(guān)鍵詞搜索量呈下降趨勢。圓點越靠近中央“羽絨服”圓圈，則表示該圓點代表的關(guān)鍵詞與“羽絨服”關(guān)鍵詞的相關(guān)性越大。9495文字圖形型數(shù)據(jù)3.圖表型數(shù)據(jù)圖表型數(shù)據(jù)是經(jīng)常用于數(shù)據(jù)分析的一種可視化電商數(shù)據(jù)類型，即將枯燥的數(shù)字轉(zhuǎn)換為更為直觀的圖表。下圖所示為通過曲線化圖表顯示的店鋪交易趨勢，如果通過數(shù)字顯示，則還需要進一步分析。但通過圖表顯示，就能一眼看出11月的交易額最高。96圖表型數(shù)據(jù)五、常用數(shù)據(jù)可視化方法數(shù)據(jù)可視化有許多方法，根據(jù)可視化原理不同可分為基于幾何技術(shù)的方法、面向像素技術(shù)的方法、基于圖標技術(shù)的方法、基于層次技術(shù)的方法、基于圖像技術(shù)的方法和基于分布式技術(shù)的方法等類型。從實用性出發(fā)，數(shù)據(jù)可視化的常用方法有以下5種。971.面積與尺寸可視化面積與尺寸可視化方法通過對同一類圖形，如柱狀、圓環(huán)、蜘蛛圖等的長度、高度或面積加以區(qū)別，清晰地表達不同指標及其對應的指標值之間的對比信息，讓瀏覽者對相關(guān)數(shù)據(jù)及其之間的對比情況一目了然。制作這類數(shù)據(jù)可視化圖形時，一般需要用數(shù)學公式計算，以便表達準確的尺度和比例。98下圖所示為某天貓店鋪動態(tài)評分圖。在動態(tài)評分模塊右側(cè)，條狀圖以精確的比例清晰地展示了不同評分客戶的分布情況。一眼望去，可以明顯看出“5分”動態(tài)評分的客戶占絕對多數(shù)。99某天貓店鋪動態(tài)評分圖2.概念可視化概念可視化是將抽象的指標數(shù)據(jù)轉(zhuǎn)換為人們熟悉的、容易感知的數(shù)據(jù)，使用戶容易理解圖形所要表達的意義。下圖所示為宣傳節(jié)約用紙的張貼畫?？吹疆嬛袉渭兊孛枋鲛k公用紙量及其堆積可達到的高度時，人們對此并沒有清晰的概念。但當看到用紙堆積高度比廣州塔建筑總高度還高，同時需要砍伐近400棵樹時，節(jié)約用紙的想法便油然而生。由此可見，用概念轉(zhuǎn)換的方法將數(shù)據(jù)分析的結(jié)果可視化輸出，是十分重要和有效的。100101宣傳節(jié)約用紙的張貼畫3.顏色可視化通過不同的顏色來表達標值的強弱和大小，是數(shù)據(jù)可視化設(shè)計的常用方法之一。這種方法可以讓用戶迅速了解數(shù)據(jù)信息的整體特征，如哪一部分指標的數(shù)據(jù)值比較突出等。應用顏色輔助數(shù)據(jù)圖表可視化輸出時，具體顏色的選擇最終取決于用戶所要表述的信息特征，使數(shù)據(jù)形成有效的對比。在一個圖表中使用太多的顏色會造成混亂和過度修飾，應選擇和諧的顏色組合。102下圖所示為2018—