商務(wù)數(shù)據(jù)分析的流程項目三：0108商務(wù)數(shù)據(jù)分析商務(wù)數(shù)據(jù)分析的價值在于廣泛的應(yīng)用場景，從識別市場機(jī)會到規(guī)避潛在風(fēng)險，從診斷運(yùn)營問題到檢驗決策效果，涵蓋了企業(yè)運(yùn)營的多個層面。本項目旨在通過應(yīng)用場景分析，探討商務(wù)數(shù)據(jù)分析如何賦能企業(yè)高效運(yùn)營以及提升市場競爭力。ProjectObjectives01項目目標(biāo)項目目標(biāo)ProjectObjectives1.掌握研究方案的撰寫方法2.理解數(shù)據(jù)的特征3.學(xué)會采集數(shù)據(jù)知識目標(biāo)能力目標(biāo)素養(yǎng)目標(biāo)1.能夠根據(jù)項目需求設(shè)計研究方案2.能夠根據(jù)研究方案設(shè)計調(diào)查問卷3.具有數(shù)據(jù)獲取和整合的能力1.培育學(xué)生對數(shù)據(jù)的敏感性2.培養(yǎng)學(xué)生對事物分析堅持定性分析與定量分析相結(jié)合的職業(yè)素養(yǎng)3.培養(yǎng)學(xué)生嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)采集和整合的工作態(tài)度4.培養(yǎng)學(xué)生互補(bǔ)互助、協(xié)同合作的團(tuán)隊協(xié)作精神02任務(wù)二數(shù)據(jù)獲取與處理任務(wù)1.2數(shù)據(jù)獲取（1）數(shù)據(jù)來源常見的數(shù)據(jù)一般分為兩類。一類是一手?jǐn)?shù)據(jù)，另一類是二手?jǐn)?shù)據(jù)。一手?jǐn)?shù)據(jù)一般有兩種來源，第一種來源是公司內(nèi)部數(shù)據(jù)。一般是公司基于自己各種業(yè)務(wù)活動所產(chǎn)生的數(shù)據(jù)。比如電商公司的用戶購買行為數(shù)據(jù)，瀏覽商品數(shù)據(jù)，商品評價數(shù)據(jù)等等。這些數(shù)據(jù)我們稱為公司內(nèi)部數(shù)據(jù)，也是一手?jǐn)?shù)據(jù)。還有一種來源是外部數(shù)據(jù)，比如公開的數(shù)據(jù)，如一些專業(yè)網(wǎng)站公開的數(shù)據(jù)，如CGSS里的數(shù)據(jù)。一手?jǐn)?shù)據(jù)信息較多，一般需要清洗、匯總。二手?jǐn)?shù)據(jù)是相對于一手?jǐn)?shù)據(jù)而言的，一般是指那些為了研究某個課題收集且整理好的統(tǒng)計資料，這類數(shù)據(jù)相對而言獲取更加容易，且成本更低，不足之處是，二手?jǐn)?shù)據(jù)經(jīng)過加工，會遺失掉一些信息，且這些數(shù)據(jù)前人為了研究課題收集的，發(fā)布出來時候，課題研究至少已經(jīng)經(jīng)過了一段時間，且取得了一定的結(jié)果，因此數(shù)據(jù)時效性會較差。另外，數(shù)據(jù)的相關(guān)性也值得大家關(guān)注，二手?jǐn)?shù)據(jù)與現(xiàn)研究的課題具有較強(qiáng)的相關(guān)性是確保結(jié)論正確的前提。如國家統(tǒng)計局統(tǒng)計年鑒中的數(shù)據(jù)，就是二手?jǐn)?shù)據(jù)。（2）數(shù)據(jù)接入數(shù)據(jù)接入的方法跟數(shù)據(jù)的存儲方式有很大的關(guān)系。數(shù)據(jù)從存儲方式一般分為數(shù)據(jù)庫存儲和文件存儲。對于數(shù)據(jù)庫存存儲的數(shù)據(jù)，需要鏈接數(shù)據(jù)庫到Wyn平臺，對于存在在文件中的數(shù)據(jù)如CSV、text、Excel數(shù)據(jù)，以導(dǎo)入的方式將數(shù)據(jù)接入Wyn平臺中。任務(wù)1.2數(shù)據(jù)獲取實訓(xùn)操作【實訓(xùn)要求】請將名為“測試數(shù)據(jù)”的excel數(shù)據(jù)接入到Wyn平臺中【操作步驟】第一步：數(shù)據(jù)庫接入Wyn平臺可接入的數(shù)據(jù)庫類型比較豐富，包括關(guān)系型數(shù)據(jù)庫、NoSql數(shù)據(jù)庫、開放式數(shù)據(jù)庫連接數(shù)據(jù)源和網(wǎng)絡(luò)型數(shù)據(jù)源。在“文檔門戶”頁面點(diǎn)擊左側(cè)菜菜單欄【+】，在彈出的菜單中，點(diǎn)擊【數(shù)據(jù)源】（見圖3-6）圖3-6點(diǎn)擊數(shù)據(jù)源任務(wù)1.2數(shù)據(jù)獲取在所彈出的數(shù)據(jù)源鏈接頁面，選擇對應(yīng)的數(shù)據(jù)源所在的數(shù)據(jù)庫，進(jìn)行鏈接。例如，圖3-7所選擇的是【關(guān)系型數(shù)據(jù)庫】中的【Oracle】圖3-7選擇對應(yīng)的數(shù)據(jù)庫任務(wù)1.2數(shù)據(jù)獲取在彈出的Oracle數(shù)據(jù)庫鏈接窗口，在對應(yīng)字段中填寫信息，并在點(diǎn)擊鏈接數(shù)據(jù)庫之前進(jìn)行測試，點(diǎn)擊左下角【測試數(shù)據(jù)鏈接】，測試成功后，點(diǎn)擊右側(cè)的【創(chuàng)建】按鈕（見圖3-8），至此數(shù)據(jù)庫鏈接成功。圖3-8填寫相關(guān)信息任務(wù)1.2數(shù)據(jù)獲取第二步：文件導(dǎo)入Wyn平臺可接入的文件型數(shù)據(jù)源類型包括Excel、Json、CSV、Xml4種類型?！拔臋n門戶”頁面點(diǎn)擊左側(cè)菜菜單欄【+】，在彈出的菜單中，點(diǎn)擊【數(shù)據(jù)源】（見圖3-9）圖3-9點(diǎn)擊數(shù)據(jù)源任務(wù)1.2數(shù)據(jù)獲取在彈出數(shù)據(jù)源鏈接頁面，數(shù)據(jù)源對應(yīng)的文件類型，本次選擇【文件型數(shù)據(jù)源】中的【Excel】（見圖3-10）圖3-10選擇文件類型任務(wù)1.2數(shù)據(jù)獲取在所彈出的Excel數(shù)據(jù)源鏈接窗口，定義數(shù)據(jù)名稱，并選擇文件所在的路徑，單擊右下角的【下一步】（見圖3-11）圖3-11填寫數(shù)據(jù)信息任務(wù)1.2數(shù)據(jù)獲取選擇需導(dǎo)入的數(shù)據(jù)所在的sheet，單擊右下角的【下一步】（見圖3-12)圖3-12選擇所需導(dǎo)入的數(shù)據(jù)任務(wù)1.2數(shù)據(jù)獲取在數(shù)據(jù)預(yù)覽頁面，單擊【創(chuàng)建】，數(shù)據(jù)即導(dǎo)入到Wyn平臺中（見圖3-13）。圖3-13將數(shù)據(jù)導(dǎo)入到Wyn平臺中任務(wù)2.2數(shù)據(jù)處理數(shù)據(jù)處理包括數(shù)據(jù)清洗和數(shù)據(jù)加工兩項內(nèi)容1.數(shù)據(jù)清洗數(shù)據(jù)清洗是指對原始數(shù)據(jù)進(jìn)行去重、去噪、糾錯等操作，以確保數(shù)據(jù)的準(zhǔn)確性和完整性。數(shù)據(jù)清洗的重點(diǎn)工作一般放在BI平臺之外進(jìn)行，由專業(yè)的技術(shù)人員，如數(shù)據(jù)架構(gòu)師，數(shù)據(jù)治理工程師進(jìn)行，BI平臺的數(shù)據(jù)清洗較少。數(shù)據(jù)清洗工作中的主要內(nèi)容是數(shù)據(jù)的增、刪、改、查，如果是針對日志型數(shù)據(jù)，則在數(shù)據(jù)清洗之前需要進(jìn)行數(shù)據(jù)解析，獲取日常分析中需用到的數(shù)據(jù)字段。數(shù)據(jù)清洗的大致步驟主要為檢查重復(fù)數(shù)據(jù)并進(jìn)行歸一處理，如刪除重復(fù)數(shù)據(jù)、保留最新的數(shù)據(jù)等；刪除空白行；（3）補(bǔ)充缺失數(shù)據(jù)：如將缺失數(shù)據(jù)填充為null值，均值或者以歷史數(shù)據(jù)填充等（4）檢查異常值：如某用戶在電商平臺的單次瀏覽時長超過100個小時，則認(rèn)為該用戶數(shù)據(jù)定義為異常數(shù)據(jù)。（5）添加新的相關(guān)行或者列，如將只有用戶id的用戶行為表，通過關(guān)聯(lián)用戶主數(shù)據(jù)表來獲取用戶的屬性信息。以上幾種情況數(shù)據(jù)清洗中較為常見，具體的清洗規(guī)則需要根據(jù)業(yè)務(wù)情況制定，并形成文檔周知相關(guān)部門。任務(wù)2.2數(shù)據(jù)處理2.數(shù)據(jù)加工數(shù)據(jù)加工是指對原始數(shù)據(jù)進(jìn)行清洗、整合、轉(zhuǎn)換和分析的過程，旨在提高數(shù)據(jù)的質(zhì)量和可用性，為企業(yè)決策提供有力支持。數(shù)據(jù)加工處理的目標(biāo)是使數(shù)據(jù)能夠更好地為企業(yè)服務(wù)，包括將海量的數(shù)據(jù)轉(zhuǎn)化為有用的信息和知識。數(shù)據(jù)加工處理的具體步驟包括整合、轉(zhuǎn)換和分析。數(shù)據(jù)整合是指將不同來源的數(shù)據(jù)進(jìn)行統(tǒng)一，消除數(shù)據(jù)冗余和重復(fù)，使數(shù)據(jù)能夠在統(tǒng)一的平臺上進(jìn)行分析和應(yīng)用。數(shù)據(jù)轉(zhuǎn)換是指將數(shù)據(jù)從一種格式轉(zhuǎn)換為另一種格式，以滿足不同應(yīng)用的需求。數(shù)據(jù)分析是指對數(shù)據(jù)進(jìn)行統(tǒng)計、建模和預(yù)測等操作，以發(fā)現(xiàn)數(shù)據(jù)中的規(guī)律和趨勢。數(shù)據(jù)加工處理的應(yīng)用非常廣泛，可以應(yīng)用于各種領(lǐng)域和行業(yè)。例如，在金融領(lǐng)域，可以對股票交易數(shù)據(jù)進(jìn)行加工處理，分析股票市場的趨勢和規(guī)律；在醫(yī)療領(lǐng)域，可以對醫(yī)療記錄數(shù)據(jù)進(jìn)行加工處理，分析疾病治療方法和效果；在商業(yè)領(lǐng)域，可以對銷售數(shù)據(jù)進(jìn)行加工處理，分析消費(fèi)者的購買行為和偏好?？傊?，數(shù)據(jù)加工處理是現(xiàn)代數(shù)據(jù)處理技術(shù)的重要組成部分，它能夠?qū)⒃紨?shù)據(jù)進(jìn)行有效的處理和分析，為企業(yè)提供有價值的信息和知識，幫助企業(yè)做出更好的決策。任務(wù)2.2數(shù)據(jù)處理實訓(xùn)操作【實訓(xùn)要求】請在Wyn平臺中對明細(xì)數(shù)據(jù)進(jìn)行數(shù)據(jù)建?！静僮鞑襟E】接入BI平臺的數(shù)據(jù)，可以是明細(xì)數(shù)據(jù)，也可以是已經(jīng)加工過的數(shù)據(jù)，對于已經(jīng)加工過的數(shù)據(jù)，可以直接用于可視化報表的創(chuàng)建，但是對于明細(xì)數(shù)據(jù)，則需要在Wyn平臺中進(jìn)行加工，包括數(shù)據(jù)模型設(shè)計、數(shù)據(jù)匯總，篩選等。此處我們以數(shù)據(jù)建模為例進(jìn)行介紹。數(shù)據(jù)建?？梢詷?gòu)建跨數(shù)據(jù)源的數(shù)據(jù)模型，以更加完整的業(yè)務(wù)建模取代簡單的物理模型?？梢酝ㄟ^數(shù)據(jù)建模，補(bǔ)充字段，完善用戶信息等。第一步：創(chuàng)建抽取模型，此處以建?！拔臋n門戶”頁面單擊左側(cè)菜單欄【+】，選擇【儀表板】的【準(zhǔn)備數(shù)據(jù)】（見圖3-14）圖3-14準(zhǔn)備數(shù)據(jù)任務(wù)2.2數(shù)據(jù)處理選擇【數(shù)據(jù)模型】下的【抽取模型】，單擊【創(chuàng)建】按鈕（圖3-15）圖3-15創(chuàng)建抽取模型為將要抽取的數(shù)據(jù)模型進(jìn)行命名（見圖3-16）圖3-16為抽取的數(shù)據(jù)模型命名任務(wù)2.2數(shù)據(jù)處理在設(shè)計器中依次點(diǎn)擊【獲取數(shù)據(jù)】、【來自數(shù)據(jù)源】（圖3-17）圖3-17選擇數(shù)據(jù)源選擇已經(jīng)創(chuàng)建的數(shù)據(jù)源，然后單擊【下一步】（見圖3-18），勾選需要的表或視圖圖3-18勾選需要的表和視圖任務(wù)2.2數(shù)據(jù)處理接著為表起別名（圖3-19）圖3-19給表格起別名任務(wù)2.2數(shù)據(jù)處理單擊【下一步】加載數(shù)據(jù)（圖3-20）圖3-20加載數(shù)據(jù)任務(wù)2.2數(shù)據(jù)處理數(shù)據(jù)加載完成后通過【添加關(guān)系】按鈕，將2個或多個表格進(jìn)行關(guān)聯(lián)（圖3-21），單擊左上角的【保存】按鈕，進(jìn)行保存。圖3-21添加關(guān)系任務(wù)2.2數(shù)據(jù)處理第二步：創(chuàng)建新的計算字段單擊實體右側(cè)的更多按鈕，根據(jù)需要選擇添加度量值或添加計算列（圖3-22）圖3-22添加度量值和計算列任務(wù)2.2數(shù)據(jù)處理單擊【添加度量值】，可以添加新的計算字段，該字段就會隨著數(shù)據(jù)報表不同的篩選條件進(jìn)行調(diào)整（見圖3-23）。圖3-23添加度量值任務(wù)2.2數(shù)據(jù)處理單擊【添加計算列】在彈出的窗口中添加計算公式，該公式生成新的列，在數(shù)據(jù)表中出現(xiàn)，與數(shù)據(jù)中的其他列具有相同的意義（見圖3-24）。圖3-24添加計算列數(shù)據(jù)的加工方式比較多，此處僅介紹最常用的，我