跨境電子商務(wù)數(shù)據(jù)分析項目2跨境電子商務(wù)數(shù)據(jù)采集整理任務(wù)1認(rèn)識跨境電子商務(wù)數(shù)據(jù)采集整理一、數(shù)據(jù)采集的概念數(shù)據(jù)采集就是搜集符合數(shù)據(jù)分析要求的原始數(shù)據(jù)。數(shù)據(jù)采集既可以從現(xiàn)有、可用的無盡數(shù)據(jù)中搜集提取需要的二手?jǐn)?shù)據(jù)，也可以通過問卷調(diào)查、采訪、溝通等方式獲得一手資料。通過數(shù)據(jù)采集，企業(yè)可以將大量離散的數(shù)據(jù)整合在一起，通過統(tǒng)計分析和數(shù)據(jù)可視化發(fā)現(xiàn)數(shù)據(jù)背后隱藏的規(guī)律與邏輯。因此，數(shù)據(jù)采集是數(shù)據(jù)分析的基礎(chǔ)。數(shù)據(jù)采集也可通過在平臺源程序中預(yù)設(shè)工具或程序代碼，獲取產(chǎn)品狀態(tài)變化、資金狀態(tài)變化、流量狀態(tài)變化、用戶行為和信息等數(shù)據(jù)內(nèi)容的過程，為后續(xù)進(jìn)行數(shù)據(jù)分析提供數(shù)據(jù)準(zhǔn)備。二、跨境電商數(shù)據(jù)采集跨境電商數(shù)據(jù)采集是指采用由預(yù)先設(shè)計的采集平臺與系統(tǒng)程序自動采集跨境電商平臺上的數(shù)據(jù)或與跨境電商有關(guān)的數(shù)據(jù)。在跨境電商數(shù)據(jù)分析的工作流程中，數(shù)據(jù)采集是整個數(shù)據(jù)分析工作開展的基礎(chǔ)?？缇畴娚虜?shù)據(jù)伴隨用戶和店鋪的行為實時產(chǎn)生，廣泛分布于跨境電商平臺、社交媒體、智能終端、店鋪內(nèi)部系統(tǒng)和第三方服務(wù)平臺，涉及的數(shù)據(jù)類型多種多樣，既包括客戶的消費信息與基本信息，也包括店鋪的產(chǎn)品信息與交易信息，以及客戶對店鋪或產(chǎn)品的評價信息等。在大數(shù)據(jù)環(huán)境下，跨境電商平臺中的數(shù)據(jù)是公開、共享的，但數(shù)據(jù)間的傳輸和分析需要經(jīng)過采集整理的過程加以整合和規(guī)范。合法性及時性準(zhǔn)確性有效性三、跨境電商數(shù)據(jù)采集原則合法性及時性準(zhǔn)確性有效性三、跨境電商數(shù)據(jù)采集原則數(shù)據(jù)采集需盡可能獲取平臺最新數(shù)據(jù)，確保時效性。商業(yè)市場變化迅速，只有將最新的數(shù)據(jù)與歷史數(shù)據(jù)進(jìn)行對比，才能更快更好地發(fā)現(xiàn)問題及預(yù)測未來變化趨勢。數(shù)據(jù)采集過程中需注意數(shù)據(jù)期限。例如，在做市場數(shù)據(jù)調(diào)研時采集行業(yè)研報數(shù)據(jù)，由于市場行情變化，行業(yè)研報都有一定的時間節(jié)點，對行業(yè)發(fā)展趨勢的預(yù)判已經(jīng)落后于當(dāng)前市場風(fēng)向，將會對企業(yè)帶來嚴(yán)重的風(fēng)險。數(shù)據(jù)分析過程涉及數(shù)據(jù)的各類統(tǒng)計和計算，數(shù)據(jù)采集如果出現(xiàn)錯誤，在后續(xù)統(tǒng)計運算時將可能導(dǎo)致較大偏差。因此，數(shù)據(jù)采集時需保持嚴(yán)謹(jǐn)細(xì)致，確保采集的數(shù)據(jù)準(zhǔn)確無誤，盡可能地避免數(shù)據(jù)分析時出現(xiàn)偏差。互聯(lián)網(wǎng)為數(shù)據(jù)采集和分析帶來極大便利，同時也帶來一定的信息安全風(fēng)險和權(quán)益保護(hù)風(fēng)險。例如，在采集競爭對手?jǐn)?shù)據(jù)時，只能采集相關(guān)機(jī)構(gòu)已經(jīng)公布的公開數(shù)據(jù)或?qū)Ψ酵馓峁┑臄?shù)據(jù)，不能采用非法手段獲取數(shù)據(jù)。導(dǎo)出及保存數(shù)據(jù)制訂采集任務(wù)采集數(shù)據(jù)確定采集渠道及方法四、跨境電商數(shù)據(jù)采集流程數(shù)據(jù)采集前首先要根據(jù)數(shù)據(jù)分析目標(biāo)和需求進(jìn)行任務(wù)分析，明確數(shù)據(jù)采集的指標(biāo)范圍和時間范圍，確定數(shù)據(jù)采集的渠道、途徑或部門，數(shù)據(jù)采集任務(wù)較大的還需要確定采集的部門及人員配備。包括明確數(shù)據(jù)分析所涉及的關(guān)鍵指標(biāo)，確定對應(yīng)的數(shù)據(jù)類型、所需數(shù)據(jù)、數(shù)據(jù)采集渠道，并據(jù)此選擇合適的采集方法及工具。明確數(shù)據(jù)采集渠道及采集方法后，根據(jù)具體需求和分析目標(biāo)進(jìn)行數(shù)據(jù)采集。數(shù)據(jù)采集如果是人工采集需要選擇合適的格式導(dǎo)出和存放數(shù)據(jù)，常見的導(dǎo)出格式包括EXCEL、CSV等。五、跨境電商數(shù)據(jù)整理數(shù)據(jù)整理也可以稱為數(shù)據(jù)處理或數(shù)據(jù)準(zhǔn)備，包含從原始數(shù)據(jù)到形成最終數(shù)據(jù)集的所有操作，包括數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、語義層定義以及數(shù)據(jù)集定義。數(shù)據(jù)整理是數(shù)據(jù)分析的前提條件，在對數(shù)據(jù)源進(jìn)行清洗和轉(zhuǎn)換等處理后方可對其進(jìn)行分析。數(shù)據(jù)采集得到的只是初始數(shù)據(jù)。通常，初始數(shù)據(jù)比較雜亂，沒有規(guī)律，如果不進(jìn)行數(shù)據(jù)清洗、整理，運營人員很難理出數(shù)據(jù)的規(guī)律。因此，在采集到初始數(shù)據(jù)后，必須首先對數(shù)據(jù)進(jìn)行整理，即對數(shù)據(jù)進(jìn)行初加工。整理數(shù)據(jù)的常用工具我們也可以使用Office中的Excel表格完成。五、跨境電商數(shù)據(jù)整理數(shù)據(jù)整理有廣義和狹義兩種概念。廣義的數(shù)據(jù)整理是指，所有的數(shù)據(jù)采集、存儲、加工、分析、挖掘和展示等工作；而狹義的數(shù)據(jù)整理僅僅包括從存儲的數(shù)據(jù)中提取、篩選有用數(shù)據(jù)。對有用數(shù)據(jù)進(jìn)行加工是為數(shù)據(jù)分析、數(shù)據(jù)挖掘模型的建立所做的數(shù)據(jù)準(zhǔn)備工作。數(shù)據(jù)整理最主要的工作是對數(shù)據(jù)進(jìn)行清洗，即對“臟數(shù)據(jù)”進(jìn)行清洗。通過發(fā)現(xiàn)并糾正數(shù)據(jù)錯誤和不規(guī)范性的重要程序，包括檢查數(shù)據(jù)異質(zhì)性、處理數(shù)據(jù)無效值和缺失值等。具體是將數(shù)據(jù)進(jìn)行重新審查和校驗，目的在于刪除重復(fù)信息、糾正存在的錯誤，并保證數(shù)據(jù)一致性。殘缺數(shù)據(jù)重復(fù)數(shù)據(jù)錯誤數(shù)據(jù)六、跨境電商數(shù)據(jù)需要清洗的類型主要是應(yīng)該有的信息不完整，如供應(yīng)商的名稱，客戶的區(qū)域信息不完整，業(yè)務(wù)系統(tǒng)中主表與明細(xì)表不能匹配等。該類數(shù)據(jù)過濾出來后，應(yīng)按缺失的內(nèi)容分別寫入不同文件向客戶提交，并應(yīng)在規(guī)定的時間內(nèi)補全。這類數(shù)據(jù)產(chǎn)生的原因是業(yè)務(wù)系統(tǒng)不夠健全，在接收輸入后沒有進(jìn)行判斷就直接寫入后臺數(shù)據(jù)庫。需要根據(jù)具體的錯誤原因進(jìn)行查找并確認(rèn)后進(jìn)行數(shù)據(jù)的相應(yīng)修改，或在確認(rèn)數(shù)據(jù)樣本足夠的情況下對錯誤數(shù)據(jù)進(jìn)行刪除。需要將重復(fù)數(shù)據(jù)記錄的所有字段導(dǎo)出，經(jīng)過確認(rèn)后進(jìn)行重復(fù)值刪除處理?？缇畴娮由虅?wù)數(shù)據(jù)分析項目2跨境電子商務(wù)數(shù)據(jù)采集整理任務(wù)2認(rèn)識跨境電子商務(wù)數(shù)據(jù)采集渠道數(shù)據(jù)要求及時有效準(zhǔn)確合法數(shù)據(jù)來源可靠內(nèi)部數(shù)據(jù)外部數(shù)據(jù)數(shù)據(jù)的主要來源渠道內(nèi)部數(shù)據(jù)外部數(shù)據(jù)跨境電商數(shù)據(jù)來源分類采集渠道數(shù)據(jù)來源數(shù)據(jù)類型渠道示例跨境電子商務(wù)平臺、店鋪后臺內(nèi)部數(shù)據(jù)市場數(shù)據(jù)、產(chǎn)品數(shù)據(jù)、運營數(shù)據(jù)、客戶數(shù)據(jù)全球速賣通、亞馬遜等跨境電商平臺，生意參謀等后臺店鋪數(shù)據(jù)工具政府部門、行業(yè)協(xié)會、媒體外部數(shù)據(jù)行業(yè)數(shù)據(jù)國家級各地統(tǒng)計局、各類行業(yè)協(xié)會、報紙及新聞媒體等電商專業(yè)網(wǎng)站研究機(jī)構(gòu)、數(shù)據(jù)網(wǎng)站行業(yè)數(shù)據(jù)、產(chǎn)品數(shù)據(jù)雨果網(wǎng)、艾瑞咨詢、阿里研究院等指數(shù)工具、搜索引擎行業(yè)數(shù)據(jù)、產(chǎn)品數(shù)據(jù)、客戶數(shù)據(jù)谷歌、谷歌趨勢等

跨境電子商務(wù)數(shù)據(jù)分析項目2跨境電子商務(wù)數(shù)據(jù)采集整理任務(wù)3認(rèn)識跨境電子商務(wù)數(shù)據(jù)采集方法數(shù)據(jù)采集方法數(shù)據(jù)采集方法自動抓取報表采集人工采集1、人工采集人工采集是指運營者從各種跨境電商平臺上通過“復(fù)制粘貼”的方式采集數(shù)據(jù)，一般平臺的前臺數(shù)據(jù)可以通過這種方式獲取。采集競爭對手的競品信息數(shù)據(jù)時，可以進(jìn)入競品詳情頁，人工采集方式獲取競品的標(biāo)題、關(guān)鍵詞、主圖、款式、價格、評價等詳細(xì)信息，復(fù)制到表格中進(jìn)行整理和對比分析2、報表采集報表采集是指通過下載數(shù)據(jù)報表完成數(shù)據(jù)采集，主要用于下載店鋪后臺數(shù)據(jù)或獨立站點數(shù)據(jù)采集。如速賣通店鋪可以通過后臺工具生意參謀實現(xiàn)數(shù)據(jù)報表的采集，如店鋪的訂單數(shù)據(jù)、流量數(shù)據(jù)、銷售數(shù)據(jù)等。3、自動抓取自動抓取是指使用網(wǎng)絡(luò)爬蟲工具或編寫采集程序自動抓取平臺數(shù)據(jù)，屬于技術(shù)性的數(shù)據(jù)采集方式。自動抓取適用于數(shù)據(jù)量極大、重復(fù)性高的采集任務(wù)。常見的有使用網(wǎng)絡(luò)采集器來實現(xiàn)數(shù)據(jù)的自動抓取?；疖嚥杉?/p>

火車采集器（/）可以靈活迅速地抓取網(wǎng)頁上散亂分布的數(shù)據(jù)信息，并通過一系列的分析處理，準(zhǔn)確挖掘出所需數(shù)據(jù)。其采集原理是基于web結(jié)構(gòu)的源代碼提取，適用于幾乎所有網(wǎng)頁以及網(wǎng)頁中能夠看到的所有內(nèi)容后羿采集器

后羿采集器（/）

優(yōu)勢在于具備強大數(shù)據(jù)搜集功能的同時，操作簡單，無需編程基礎(chǔ)。不僅能夠進(jìn)行數(shù)據(jù)的自動化采集，而且在采集過程中還可以對數(shù)據(jù)進(jìn)行清洗。在數(shù)據(jù)源頭即可實現(xiàn)多種內(nèi)容的過濾。同時支持Windows、Mac和Linux全操作系統(tǒng)的采集器。

芒果店長

芒果店長是一款多平臺多網(wǎng)店集成化運營ERP平臺，專業(yè)服務(wù)于跨境電商賣家一站式網(wǎng)店運營管理服務(wù)。為國內(nèi)電商賣家提供深度打通電商平臺、物流倉儲與商家，通過電商大數(shù)據(jù)和云技術(shù)，提供優(yōu)質(zhì)貨源、物流對接、倉庫管理以及智能化網(wǎng)店運營等多維度服務(wù)。同時，與全球30余家主流電商平臺實現(xiàn)無縫對接，支持300多家物流公司API接口，服務(wù)了超30萬的跨境商家，日處理訂單超350萬+。八爪魚采集器

八爪魚采集器是一款通用的網(wǎng)頁數(shù)據(jù)采集器，能夠采集網(wǎng)頁上所能看到或網(wǎng)頁源碼中有的文本信息。具有本地采集和云采集兩種功能。使用本地采集即單機(jī)采集，可以實現(xiàn)絕大多數(shù)網(wǎng)頁數(shù)據(jù)的爬取，并在采集過程中對數(shù)據(jù)進(jìn)行初步清洗。云采集支持關(guān)機(jī)后通過云服務(wù)器運行采集任務(wù)，實現(xiàn)定時采集，實時監(jiān)控，數(shù)據(jù)自動去重并入庫，增量采集，自動識別驗證碼，API接口多元化導(dǎo)出數(shù)據(jù)以及修改參數(shù)。同時利用云端多節(jié)點并發(fā)運行，采集速度將遠(yuǎn)超于本地采集（單機(jī)采集），多IP在任務(wù)啟動時自動切換還可避免網(wǎng)站的IP封鎖，實現(xiàn)采集數(shù)據(jù)的最大化。跨境電子商務(wù)數(shù)據(jù)分析項目2跨境電子商務(wù)數(shù)據(jù)采集整理任務(wù)4熟悉跨境電子商務(wù)數(shù)據(jù)整理方法一、跨境電商數(shù)據(jù)整理流程選擇數(shù)據(jù)子集選中需要做數(shù)據(jù)分析的列。當(dāng)數(shù)據(jù)的列比較多時，可以使用隱藏功能把不需求分析的列隱藏起來。刪除重復(fù)項選中要分析的數(shù)據(jù)范圍，利用Excel的“刪除重復(fù)項”功能刪除重復(fù)項。缺失值處理在Excel中選中某一列，查看右下角顯示的統(tǒng)計數(shù)目，通過和其他列的項目做對比可得知該列是否有缺失。數(shù)據(jù)排序利用Excel的“函數(shù)”功能計算數(shù)據(jù)的平均值或者求和，從而對數(shù)據(jù)進(jìn)行排序。一致化處理指數(shù)據(jù)要有統(tǒng)一的規(guī)范命名，可以對數(shù)據(jù)進(jìn)行拆分從而實現(xiàn)命名的一致化。異常值查看處理通過Excel的“篩選”功能來查看數(shù)據(jù)是否有錯誤。在“篩選”下拉菜單所列出的數(shù)據(jù)類型中，可以查看是否有異常的數(shù)值。缺失數(shù)據(jù)處理缺失數(shù)據(jù)通常表示為空值或錯誤標(biāo)識符（#DIV/0!）為保證數(shù)據(jù)的完整性，可以通過統(tǒng)計學(xué)方法查找缺失數(shù)據(jù)并對其進(jìn)行清洗。重復(fù)數(shù)據(jù)處理重復(fù)數(shù)據(jù)的處理，一般有條件格式法、高級篩選法、函數(shù)法、數(shù)據(jù)透視表法等4種處理方法。錯誤數(shù)據(jù)處理對錯誤數(shù)據(jù)的處理，首先需要查找和識別數(shù)據(jù)錯誤的原因，才能夠準(zhǔn)確處理。二、常用數(shù)據(jù)清洗方法第一步，按“Ctrl+A”組合鍵全選數(shù)據(jù)表單元格區(qū)域，再按“Ctrl+G”組合鍵，打開“定位”對話框，單擊“定位條件”按鈕。1.缺失數(shù)據(jù)處理第二步，在彈出“定位條件”對話框中，單擊“空值”單選按鈕，然后單擊“確定”按鈕。即自動定位到表格中的空值單元格。1.缺失數(shù)據(jù)處理（1）條件格式法打開數(shù)據(jù)表格文件，第一步，選中表格中的A列數(shù)據(jù)，即SKUID，在“開始”選項卡下的“樣式”組中單擊“條件格式”下拉按鈕，選擇“突出顯示單元格規(guī)則”＞“重復(fù)值”選項。2.重復(fù)數(shù)據(jù)處理第二步，在彈出的“重復(fù)值”對話框中，在“設(shè)置為”下拉列表框中選擇“淺紅填充色深紅色文本”。圖2-20突出顯示重復(fù)的SKU編號第三步，單擊“確定”按鈕，即可標(biāo)記所有重復(fù)的SKU編號。第四步，選中重復(fù)的SKU編號其中一行，比如19行，按住鍵盤上“Ctrl”鍵的同時單擊選中重復(fù)的SKU編號其中一行26行，單擊鼠標(biāo)右鍵，在彈出菜單中選擇“刪除”，即可將重復(fù)數(shù)據(jù)進(jìn)行清理。（2）高級篩選法第一步，選擇任一數(shù)據(jù)單元格，在“數(shù)據(jù)”選項卡下的“排序和篩選”組中單擊“高級”按鈕，彈出“高級篩選”對話框；（2）高級篩選法第二步，完成上一步操作后，此時系統(tǒng)會自動選中所有數(shù)據(jù)區(qū)域，勾選“選擇不重復(fù)的記錄”復(fù)選框，然后單擊“確定”按鈕。即可篩選出所有不重復(fù)的記錄，重復(fù)記錄被自動隱藏。在“SKUID”列右側(cè)插入列，可命名為“重復(fù)標(biāo)記”，在B2單元格中輸入公式“==COUNTIF($A$2:A2,A2)”，利用填充柄向下填充公式，即可得出相應(yīng)的SKU編號出現(xiàn)了幾次。（3）函數(shù)法跨境電子商務(wù)數(shù)據(jù)分析項目2跨境電子商務(wù)數(shù)據(jù)采集整理任務(wù)5編制跨境電商數(shù)據(jù)采集整理方案案例情境

公司長期經(jīng)營女裝服飾類產(chǎn)品，主營產(chǎn)品為外貿(mào)婚紗禮服類，近期外貿(mào)婚紗禮服類產(chǎn)品市場低迷，月銷售額連續(xù)下滑，為拓展公司業(yè)務(wù)，改善經(jīng)營業(yè)績，市場部決定在近期增加產(chǎn)品種類，計劃在“女式運動衛(wèi)衣”“女式休閑套裝”“女式休閑風(fēng)衣”三類商品中選擇一種，選擇依據(jù)主要是商品近一年的用戶關(guān)注度高，目標(biāo)客戶群體基數(shù)大。要求數(shù)據(jù)分析人員針對該分析需求撰寫數(shù)據(jù)采集與整理方案。一、任務(wù)分析

對“女式運動衛(wèi)衣”“女式休閑套裝”“女式休閑風(fēng)衣”三類商品進(jìn)行分析，分析依據(jù)為商品的用戶關(guān)注度和目標(biāo)用戶群體基數(shù)。

該商品店鋪在速賣通平臺開設(shè)，在速賣通平臺中用戶關(guān)注度數(shù)據(jù)可參考產(chǎn)品人氣和搜索熱度，目標(biāo)用戶群體基數(shù)可參照訪客數(shù)，這些指標(biāo)可以通過速賣通后臺生意參謀工具獲取，也可以通過谷歌趨勢進(jìn)行產(chǎn)品搜索熱度和趨勢進(jìn)行分析。二、數(shù)據(jù)采集流程回顧選擇數(shù)據(jù)采集渠道明確數(shù)據(jù)分析目標(biāo)開始采集數(shù)據(jù)確定數(shù)據(jù)指標(biāo)類型數(shù)據(jù)采集整理方案三、數(shù)據(jù)采集整理方案構(gòu)成背景介紹數(shù)據(jù)分析指標(biāo)數(shù)據(jù)分析目標(biāo)渠道及方法數(shù)據(jù)采集與整理方案數(shù)據(jù)采集與處理的方案構(gòu)成背景介紹

背景介紹主要是讓項目參與人員了解該數(shù)據(jù)項目的來龍去脈，明確分析的環(huán)境和所處情況。通常是描述運營過程中出現(xiàn)的具體問題。數(shù)據(jù)分析目標(biāo)

數(shù)據(jù)分析的目標(biāo)是解決相對應(yīng)的業(yè)務(wù)問題，因此，要對運營部門出現(xiàn)的問題分析問題產(chǎn)生的原因。數(shù)據(jù)采集與處理的方案構(gòu)成數(shù)據(jù)分析指標(biāo)

根據(jù)總體分析目標(biāo)和任務(wù)需求，確定數(shù)據(jù)采集的指標(biāo)類型和具體指標(biāo)。包括明確數(shù)據(jù)分析所涉及的關(guān)鍵指標(biāo)，確定對應(yīng)的數(shù)據(jù)類型。數(shù)據(jù)來源渠道及數(shù)據(jù)采集工具

明確所需數(shù)據(jù)、數(shù)據(jù)采集渠道，并據(jù)此選擇合適的采集方法及工具。實訓(xùn)任務(wù)步驟1，介紹任務(wù)背景根據(jù)案例，本次任務(wù)是由于近期外貿(mào)婚紗禮服類產(chǎn)品市場低迷，月銷售額連續(xù)下滑，公司決定拓展業(yè)務(wù)，增加產(chǎn)品種類。實訓(xùn)任務(wù)步驟2，明確數(shù)據(jù)分析目標(biāo)根據(jù)市場部的業(yè)務(wù)需求，可以確定本次數(shù)據(jù)分析任務(wù)的目標(biāo)為：分析“女式運動衛(wèi)衣”“女式休閑套裝”“女式休閑風(fēng)衣”三類商品的用戶基