主講教師：張鑫浙江經(jīng)貿(mào)職業(yè)技術(shù)學(xué)院數(shù)據(jù)采集與處理數(shù)據(jù)采集與處理方案的制定案例導(dǎo)入數(shù)據(jù)采集與處理方案的內(nèi)容制定數(shù)據(jù)采集與處理方案的流程0102031、案例導(dǎo)入小明在一家大型的電商企業(yè)做數(shù)據(jù)分析師工作，近期，他接到一個要分析企業(yè)銷售額為什么會下降的任務(wù)，剛拿到這個任務(wù)的時候，小明有些不知所措，不知道該如何下手。于是，小明去詢問經(jīng)理該如何開展，經(jīng)理告訴小明，首先要對涉及到的相關(guān)業(yè)務(wù)場景及邏輯進行梳理，然后制定一個整體的數(shù)據(jù)采集與處理方案，對照方案，就可以有序開展工作了。聽完以后，小明豁然開朗。2、數(shù)據(jù)采集與處理方案的內(nèi)容

一份完整的數(shù)據(jù)采集與處理方案主要由背景介紹、數(shù)據(jù)分析的目標、數(shù)據(jù)分析指標、采集與處理渠道及工具幾個部分來構(gòu)成。在實際工作過程中，數(shù)據(jù)采集與處理方案并不是一成不變，它只是一個初步的方案，在工作開展以后，可以根據(jù)具體的情況靈活調(diào)整。3、制定數(shù)據(jù)采集與處理方案的流程

制定數(shù)據(jù)采集與處理方案的流程，主要有以下7個步驟：1.制定分析目標2.確立數(shù)據(jù)分析指標3.確立采集數(shù)據(jù)源4.選擇數(shù)據(jù)采集渠道及工具5.確立數(shù)據(jù)清洗方法及工具6.確立數(shù)據(jù)處理方法及工具7.編寫數(shù)據(jù)采集與處理方案制定數(shù)據(jù)采集與處理方案的流程3、制定數(shù)據(jù)采集與處理方案的流程（1）制定分析目標數(shù)據(jù)分析人員需要根據(jù)數(shù)據(jù)分析的需求，對其進行歸類、整理、分析，梳理出可執(zhí)行的數(shù)據(jù)需求，并進一步確定數(shù)據(jù)分析目標。（2）確立數(shù)據(jù)分析指標數(shù)據(jù)分析指標是為了明確進行此次數(shù)據(jù)分析所需要的指標類型及具體指標。（3）確立采集數(shù)據(jù)源根據(jù)數(shù)據(jù)分析需求及指標，確定數(shù)據(jù)來源渠道。3、制定數(shù)據(jù)采集與處理方案的流程（4）選擇數(shù)據(jù)采集渠道及工具數(shù)據(jù)分析人員分析出合理的結(jié)果離不開數(shù)據(jù)來源渠道及數(shù)據(jù)采集工具為其提供的數(shù)據(jù)，因此在數(shù)據(jù)采集處理方案中注明數(shù)據(jù)采集渠道及采集工具不僅可以為后續(xù)的工作提供工作方向，也可以為后期效果評估及復(fù)盤提供理論依據(jù)。（5）確立數(shù)據(jù)清洗方法及工具因為采集得到的數(shù)據(jù)是面向某一主題的數(shù)據(jù)的集合，這些數(shù)據(jù)從多個業(yè)務(wù)系統(tǒng)中抽取而來而且包含歷史數(shù)據(jù)，這樣就避免不了有的數(shù)據(jù)是錯誤數(shù)據(jù)、有的數(shù)據(jù)相互之間有沖突，這些錯誤的或有沖突的數(shù)據(jù)顯然是我們不想要的，稱為“臟數(shù)據(jù)”。這一步，我們要明確數(shù)據(jù)清洗的方法和內(nèi)容，并選擇合適的工具進行數(shù)據(jù)清洗。3、制定數(shù)據(jù)采集與處理方案的流程（6）確立數(shù)據(jù)處理方法及工具經(jīng)過上一步的數(shù)據(jù)清洗，有時候數(shù)據(jù)還不能被直接拿過來分析，我們還需要對數(shù)據(jù)進行簡單的處理，比如添加輔助數(shù)據(jù)、數(shù)據(jù)的分類、數(shù)據(jù)的合并與匯總、數(shù)據(jù)的基本計算、數(shù)據(jù)的導(dǎo)入與導(dǎo)出，因此這一步我們需要制定數(shù)據(jù)處理的內(nèi)容和方法，并選擇合適數(shù)據(jù)處理工具。（7）編寫數(shù)據(jù)采集與處理方案經(jīng)過前面的梳理，就可以開始編寫完整的數(shù)據(jù)采集與處理方案。3、制定數(shù)據(jù)采集與處理方案的流程思考