項(xiàng)目五數(shù)據(jù)分析《大數(shù)據(jù)技術(shù)應(yīng)用基礎(chǔ)》模塊三

業(yè)務(wù)數(shù)據(jù)分析核心目標(biāo)職業(yè)能力1.熟悉常用的數(shù)據(jù)描述性分析方法，理解數(shù)據(jù)特征、統(tǒng)計(jì)參數(shù)、統(tǒng)計(jì)量與統(tǒng)計(jì)分布之間的關(guān)系；2.具備使用數(shù)據(jù)描述性分析的能力，能夠?qū)︻A(yù)處理后的數(shù)據(jù)找到合適的分析方法；3.具備在不同的業(yè)務(wù)場(chǎng)景能夠找到合適模型進(jìn)行分析的能力；4.具備撰寫完整數(shù)據(jù)分析報(bào)告的能力；5.具備使用Python進(jìn)行數(shù)據(jù)建模的能力。職業(yè)素養(yǎng)1.培養(yǎng)描述性分析習(xí)慣，對(duì)處理完后的數(shù)據(jù)進(jìn)行初步分析；2.養(yǎng)成專業(yè)業(yè)務(wù)素養(yǎng)，根據(jù)專業(yè)業(yè)務(wù)選定數(shù)據(jù)分析方法；3.培養(yǎng)數(shù)據(jù)建模思維；4.培養(yǎng)全局思維、合作思維。知識(shí)圖譜項(xiàng)目背景學(xué)習(xí)完數(shù)據(jù)預(yù)處理之后，小張開(kāi)始對(duì)他爬取得到的進(jìn)行了幾種數(shù)據(jù)預(yù)處理操作，將最開(kāi)始混亂的數(shù)據(jù)表格轉(zhuǎn)化為清晰整潔的數(shù)據(jù)表格?，F(xiàn)在，小張可以開(kāi)始學(xué)習(xí)正式的數(shù)據(jù)分析相關(guān)的知識(shí)了，小張即將邁出走向數(shù)據(jù)分析師最關(guān)鍵的一步。在本項(xiàng)目中，小張需要學(xué)習(xí)數(shù)據(jù)的特征描述，以及如何與實(shí)際的業(yè)務(wù)場(chǎng)景相結(jié)合，然后進(jìn)一步學(xué)習(xí)相關(guān)的統(tǒng)計(jì)量以及統(tǒng)計(jì)分布最后嘗試自己進(jìn)行統(tǒng)計(jì)建模。除此之外，小張還需要與實(shí)際業(yè)務(wù)結(jié)合，了解業(yè)務(wù)場(chǎng)景和經(jīng)營(yíng)目標(biāo)間的分析方法以及數(shù)據(jù)分析報(bào)告的撰寫方法。0102業(yè)務(wù)場(chǎng)景和經(jīng)營(yíng)目標(biāo)間的分析方法數(shù)據(jù)分析報(bào)告的撰寫方法問(wèn)題引入學(xué)習(xí)了數(shù)據(jù)的描述性統(tǒng)計(jì)分析，小張已經(jīng)可以初步完成一個(gè)較為完整的數(shù)據(jù)分析任務(wù)了。數(shù)據(jù)分析的方法很多，但是光學(xué)會(huì)數(shù)據(jù)分析的各種方法與流程是遠(yuǎn)遠(yuǎn)不夠的，更重要的是學(xué)會(huì)在不同的業(yè)務(wù)場(chǎng)景下選擇不同的經(jīng)營(yíng)目標(biāo)，并且還需要可以寫出能夠讓業(yè)務(wù)人員或決策人員清楚明了的數(shù)據(jù)分析報(bào)告，以輔助業(yè)務(wù)決策的正確制定與高效實(shí)施。接下來(lái)小張將學(xué)習(xí)如何根據(jù)不同的業(yè)務(wù)場(chǎng)景和經(jīng)營(yíng)目標(biāo)選擇不同的數(shù)據(jù)分析方法，并在完成數(shù)據(jù)分析之后如何編寫令人滿意的數(shù)據(jù)分析報(bào)告書(shū)。業(yè)務(wù)場(chǎng)景和經(jīng)營(yíng)目標(biāo)間的分析方法01一、業(yè)務(wù)場(chǎng)景和經(jīng)營(yíng)目標(biāo)間的分析方法小明在本科學(xué)習(xí)了許多數(shù)據(jù)分析的方法，在大四的時(shí)候小明進(jìn)入一家公司進(jìn)行畢業(yè)實(shí)習(xí)，在一次任務(wù)中，小明打算使用深度學(xué)習(xí)算法訓(xùn)練一個(gè)完美的模型，但是卻發(fā)現(xiàn)可以使用的數(shù)據(jù)只有星星點(diǎn)點(diǎn)，使用了其他模型得出的結(jié)論給了上級(jí)之后，上級(jí)卻說(shuō)實(shí)現(xiàn)的幾率不大，即使實(shí)現(xiàn)了投入產(chǎn)出比也不大。由此看出在進(jìn)行數(shù)據(jù)分析之時(shí)了解業(yè)務(wù)場(chǎng)景與經(jīng)營(yíng)目標(biāo)是非常重要的。一、業(yè)務(wù)場(chǎng)景和經(jīng)營(yíng)目標(biāo)間的分析方法（一）業(yè)務(wù)場(chǎng)景指企業(yè)和商家需要在用戶某個(gè)特定的環(huán)節(jié)中，適時(shí)提供給消費(fèi)者可能需要的以及關(guān)聯(lián)的產(chǎn)品或服務(wù)。業(yè)務(wù)場(chǎng)景連接器商家和消費(fèi)者平臺(tái)商和供應(yīng)商企業(yè)和客戶一、業(yè)務(wù)場(chǎng)景和經(jīng)營(yíng)目標(biāo)間的分析方法（一）業(yè)務(wù)場(chǎng)景一個(gè)業(yè)務(wù)場(chǎng)景總是可以通過(guò)“誰(shuí)”，“在什么環(huán)境下”，“干什么或遇到什么問(wèn)題”，“如何互動(dòng)”，“有何價(jià)值”這五個(gè)要素綜合進(jìn)行表述。1.“誰(shuí)”：業(yè)務(wù)場(chǎng)景中的主體，是業(yè)務(wù)的參與者，常用人或者系統(tǒng)來(lái)描述。2.“在什么環(huán)境下”：業(yè)務(wù)發(fā)生的時(shí)間、空間或者狀態(tài)等。3.“干什么或遇到什么問(wèn)題”：主要事件，主體完成的事情，可以用任務(wù)序列來(lái)描述。4.“如何互動(dòng)”：人與業(yè)務(wù)的連接方式，它們的中介是什么，用產(chǎn)品的介質(zhì)或服務(wù)形態(tài)進(jìn)行描述。5.“有何價(jià)值”：業(yè)務(wù)完成的目標(biāo)，回答了這一業(yè)務(wù)場(chǎng)景的價(jià)值是什么。一、業(yè)務(wù)場(chǎng)景和經(jīng)營(yíng)目標(biāo)間的分析方法（一）業(yè)務(wù)場(chǎng)景一個(gè)復(fù)雜的業(yè)務(wù)場(chǎng)景可以被結(jié)構(gòu)成幾個(gè)獨(dú)立的元素。百度引擎搜索問(wèn)題場(chǎng)景業(yè)務(wù)主體：用戶環(huán)境：互聯(lián)網(wǎng)上或?yàn)g覽器中事件：搜索互動(dòng)：搜索框進(jìn)行互動(dòng)價(jià)值：用戶得到想查找的問(wèn)題答案一、業(yè)務(wù)場(chǎng)景和經(jīng)營(yíng)目標(biāo)間的分析方法（二）經(jīng)營(yíng)目標(biāo)經(jīng)營(yíng)目標(biāo)是企業(yè)愿景的具體化體現(xiàn)，是企業(yè)在一定時(shí)期內(nèi)對(duì)生產(chǎn)經(jīng)營(yíng)活動(dòng)的具體的預(yù)期。經(jīng)營(yíng)目標(biāo)(包括不限于)01培養(yǎng)忠誠(chéng)的客戶05員工的能力不斷地增長(zhǎng)03在行業(yè)內(nèi)具有領(lǐng)導(dǎo)地位02獲得合理的利潤(rùn)04企業(yè)產(chǎn)值或企業(yè)規(guī)模持續(xù)地增長(zhǎng)提高團(tuán)隊(duì)領(lǐng)導(dǎo)力和承擔(dān)好相應(yīng)的社會(huì)責(zé)任06不同經(jīng)營(yíng)目標(biāo)反映企業(yè)對(duì)未來(lái)的不同預(yù)期一、業(yè)務(wù)場(chǎng)景和經(jīng)營(yíng)目標(biāo)間的分析方法（三）合適的數(shù)據(jù)分析方法預(yù)測(cè)模型分類模型聚類模型

監(jiān)督模型與非監(jiān)督模型

參數(shù)模型與非參數(shù)模型

生成模型與判別模型數(shù)據(jù)分析模型一、業(yè)務(wù)場(chǎng)景和經(jīng)營(yíng)目標(biāo)間的分析方法（三）合適的數(shù)據(jù)分析方法監(jiān)督模型與非監(jiān)督模型01按照數(shù)據(jù)集中是否存在因變量的數(shù)據(jù)劃分中間類別即半監(jiān)督模型例如：一位茶葉經(jīng)銷商想通過(guò)往年的茶葉產(chǎn)量數(shù)據(jù)來(lái)預(yù)測(cè)今年的茶葉產(chǎn)量。往年茶葉產(chǎn)量都已知，則可以選擇使用監(jiān)督模型進(jìn)行分析；不知往年產(chǎn)量，只有一些土壤、季節(jié)和施肥之類的信息，則需要使用無(wú)監(jiān)督模型進(jìn)行分析；過(guò)去一些年份的產(chǎn)量數(shù)據(jù)已知，但近些年的產(chǎn)量數(shù)據(jù)未知，則可以使用半監(jiān)督模型進(jìn)行分析。無(wú)監(jiān)督學(xué)習(xí)的模型訓(xùn)練相對(duì)困難，半監(jiān)督模型比無(wú)監(jiān)督模型更常用。一、業(yè)務(wù)場(chǎng)景和經(jīng)營(yíng)目標(biāo)間的分析方法（三）合適的數(shù)據(jù)分析方法生成模型與判別模型02判別模型生成模型監(jiān)督模型相同：數(shù)據(jù)集中都包含因變量的數(shù)據(jù)不同：判別模型只關(guān)心新的樣本數(shù)據(jù)所對(duì)應(yīng)的因變量的值，而生產(chǎn)模型還關(guān)心因變量的完整統(tǒng)計(jì)分布。一、業(yè)務(wù)場(chǎng)景和經(jīng)營(yíng)目標(biāo)間的分析方法（三）合適的數(shù)據(jù)分析方法生成模型與判別模型02例如：需要一個(gè)模型來(lái)辨認(rèn)紅茶和綠茶。會(huì)從已有的數(shù)據(jù)中學(xué)習(xí)，然后提取新茶葉的特征來(lái)預(yù)測(cè)出是紅茶的概率和是綠茶的概率分別是多少。會(huì)從已有的數(shù)據(jù)中分別學(xué)習(xí)一個(gè)綠茶模型和一個(gè)紅茶模型，然后將新茶葉的特征分別放入兩個(gè)模型中得到概率，哪個(gè)概率大新的茶葉就屬于哪種類別。判別模型生成模型一、業(yè)務(wù)場(chǎng)景和經(jīng)營(yíng)目標(biāo)間的分析方法（三）合適的數(shù)據(jù)分析方法生成模型與判別模型02關(guān)注的是數(shù)據(jù)的完整分布，學(xué)習(xí)到的數(shù)據(jù)信息更多，而不只是一個(gè)預(yù)測(cè)的數(shù)值，故生成模型訓(xùn)練所需要的成本較高，且需要的數(shù)據(jù)量更大。只關(guān)注數(shù)據(jù)之間的差異信息，并不關(guān)注數(shù)據(jù)的分布，故需要的訓(xùn)練成本較低，即使沒(méi)有大的數(shù)據(jù)量也可以訓(xùn)練的較好。生成模型判別模型一、業(yè)務(wù)場(chǎng)景和經(jīng)營(yíng)目標(biāo)間的分析方法（三）合適的數(shù)據(jù)分析方法生成模型與判別模型02數(shù)據(jù)量較大且具備一定的時(shí)間以及硬件條件時(shí)數(shù)據(jù)量較小或時(shí)間以及硬件條件較差時(shí)在一定的條件下生成模型可以轉(zhuǎn)化為判別模型，但判別模型是無(wú)法轉(zhuǎn)化為生成模型的。生成模型判別模型一、業(yè)務(wù)場(chǎng)景和經(jīng)營(yíng)目標(biāo)間的分析方法（三）合適的數(shù)據(jù)分析方法參數(shù)模型與非參數(shù)模型03通常假設(shè)數(shù)據(jù)服從某種分布，這個(gè)分布可以由某一些參數(shù)組成。對(duì)分布的假設(shè)不加限制，故對(duì)分布的參數(shù)也沒(méi)有限制。參數(shù)模型非參數(shù)模型一、業(yè)務(wù)場(chǎng)景和經(jīng)營(yíng)目標(biāo)間的分析方法（三）合適的數(shù)據(jù)分析方法參數(shù)模型與非參數(shù)模型03通常給定模型目標(biāo)函數(shù)的類型。例如：一元回歸分析的目標(biāo)函數(shù)為Y=aX+ba和b為預(yù)先設(shè)定的參數(shù)，訓(xùn)練模型實(shí)質(zhì)上就是確定a和b的值。參數(shù)模型間接移動(dòng)，由于目標(biāo)函數(shù)類型的確定也具備可解釋性以及可理解性。且由于參數(shù)數(shù)量有限，訓(xùn)練速度很快并且不需要大量的數(shù)據(jù)。參數(shù)模型一、業(yè)務(wù)場(chǎng)景和經(jīng)營(yíng)目標(biāo)間的分析方法（三）合適的數(shù)據(jù)分析方法參數(shù)模型與非參數(shù)模型03通常不對(duì)模型的目標(biāo)函數(shù)形式做假定，通過(guò)對(duì)大量的數(shù)據(jù)進(jìn)行訓(xùn)練，擬合出某種形式的目標(biāo)函數(shù)。例如：神經(jīng)網(wǎng)絡(luò)中參數(shù)量很多，通過(guò)對(duì)數(shù)據(jù)的擬合可以確定哪些參數(shù)是需要的，為什么樣的值，哪些參數(shù)是可以放棄的，以此來(lái)得到一個(gè)最優(yōu)的模型。非參數(shù)模型可以對(duì)數(shù)據(jù)擬合的能力比參數(shù)模型更強(qiáng)，但由于參數(shù)量眾多，通常不能弄清楚每一個(gè)參數(shù)的含義，且訓(xùn)練速度比參數(shù)模型慢得多，也需要大量的數(shù)據(jù)做支撐。非參數(shù)模型一、業(yè)務(wù)場(chǎng)景和經(jīng)營(yíng)目標(biāo)間的分析方法（三）合適的數(shù)據(jù)分析方法預(yù)測(cè)模型、分類模型和聚類模型04例如：茶葉經(jīng)銷商想了解下一個(gè)季度茶葉的產(chǎn)量大概會(huì)是多少，他可以訓(xùn)練一個(gè)預(yù)測(cè)模型，輸入以往季度的產(chǎn)量等數(shù)據(jù)，就可以預(yù)測(cè)出下一個(gè)季度可能的產(chǎn)量，以此做參考，決定他的供銷策略。按照模型的目的不同，可以分為預(yù)測(cè)模型、分類模型與聚類模型。預(yù)測(cè)模型

指對(duì)未來(lái)數(shù)據(jù)的預(yù)測(cè)。一、業(yè)務(wù)場(chǎng)景和經(jīng)營(yíng)目標(biāo)間的分析方法（三）合適的數(shù)據(jù)分析方法預(yù)測(cè)模型、分類模型和聚類模型04例如：茶葉行業(yè)對(duì)茶葉商品分了等級(jí)，通過(guò)對(duì)茶葉的各種屬性進(jìn)行評(píng)判，已確定該茶葉屬于哪一個(gè)等級(jí)。這其中每一個(gè)等級(jí)就是一個(gè)類別，茶葉的屬性為新的輸出數(shù)據(jù)，茶葉的評(píng)判標(biāo)準(zhǔn)就相當(dāng)于已經(jīng)訓(xùn)練好的分類模型。分類模型

將不同的數(shù)據(jù)歸到某一個(gè)類別中。一、業(yè)務(wù)場(chǎng)景和經(jīng)營(yíng)目標(biāo)間的分析方法（三）合適的數(shù)據(jù)分析方法預(yù)測(cè)模型、分類模型和聚類模型04例如：茶葉經(jīng)銷商分析一批茶葉商品，并不知道這些商品有什么不同，他可以嘗試建立一個(gè)聚類模型，將這批茶葉商品分成幾個(gè)類別，再對(duì)同一個(gè)類別里的商品觀察相同點(diǎn)提取共同特征，對(duì)不同類別的商品觀察不同點(diǎn)尋找差異，以此了解這批茶葉商品的分布情況。聚類模型與分類模型類似，但沒(méi)有事先確定的類別。數(shù)據(jù)分析報(bào)告的撰寫方法02二、數(shù)據(jù)分析報(bào)告的撰寫方法

數(shù)據(jù)分析報(bào)告本質(zhì)上是一種溝通與交流的形式。主要目的：將分析結(jié)果、可行性建議以及其他價(jià)值的信息傳遞給管理人員。它需要對(duì)數(shù)據(jù)進(jìn)行適當(dāng)?shù)陌b，讓閱讀者能對(duì)結(jié)果做出正確的理解與判斷，并可以根據(jù)其做出有針對(duì)性、操作性、戰(zhàn)略性的決策。二、數(shù)據(jù)分析報(bào)告的撰寫方法數(shù)據(jù)分析報(bào)告撰寫0104050302主題封面正文背景與目的結(jié)論與建議研究方法二、數(shù)據(jù)分析報(bào)告的撰寫方法直接了當(dāng)，開(kāi)門見(jiàn)山的表達(dá)出報(bào)告的基本觀點(diǎn)，讓讀者一看就能明白數(shù)據(jù)分析報(bào)告的基本思想，易于對(duì)報(bào)告內(nèi)容的理解。（一）主題封面主題是對(duì)整篇數(shù)據(jù)分析報(bào)告的概括性描述，一個(gè)好的主題應(yīng)該做到直接、確切以及簡(jiǎn)潔。文題切合，長(zhǎng)度適宜，將報(bào)告的內(nèi)容及特點(diǎn)很好的表現(xiàn)出來(lái)。應(yīng)該有高度的概括性，用較少的文字集中、準(zhǔn)確、簡(jiǎn)潔的進(jìn)行表述。直接確切簡(jiǎn)潔二、數(shù)據(jù)分析報(bào)告的撰寫方法（一）主題封面一般的寫作方法有：如《中國(guó)茶葉市場(chǎng)規(guī)模持續(xù)增長(zhǎng)》。反映核心內(nèi)容，對(duì)報(bào)告最核心的數(shù)據(jù)以及相關(guān)內(nèi)容進(jìn)行描述。如《桑葉茶為什么能成為茶客新寵？》。反映核心問(wèn)題，以提問(wèn)的方式吸引讀者的注意與思考。如《2023年中國(guó)茶葉市場(chǎng)研究》。反映分析主題，加入分析的對(duì)象、時(shí)間、內(nèi)容和范圍等元素。如《中國(guó)茶葉市場(chǎng)正走向繁榮期》。反映核心觀點(diǎn)，點(diǎn)明報(bào)告的基本觀點(diǎn)。二、數(shù)據(jù)分析報(bào)告的撰寫方法為了讓報(bào)告閱讀者對(duì)整個(gè)分析研究的背景有所了解，主要闡述此項(xiàng)分析的主要原因、分析的意義、以及其他相關(guān)信息。如：行業(yè)發(fā)展現(xiàn)狀等內(nèi)容。（二）背景與目的為了讓閱讀者了解開(kāi)展此次分析能帶來(lái)何種效果，可以解決什么問(wèn)題。有時(shí)將研究背景和目的意義合二為一。對(duì)外的行業(yè)報(bào)告，可不加目的。如：某份關(guān)于茶葉市場(chǎng)的報(bào)告可以寫因?yàn)槟成Ｈ~茶公司最近上司，股價(jià)很高，為了探究桑葉茶在中國(guó)茶葉市場(chǎng)中的發(fā)展情況，以開(kāi)展此次調(diào)查等等。報(bào)告的目的對(duì)數(shù)據(jù)分析背景進(jìn)行說(shuō)明二、數(shù)據(jù)分析報(bào)告的撰寫方法主要的研究對(duì)象是什么數(shù)據(jù)的來(lái)源數(shù)據(jù)是如何采集的報(bào)告所分析的內(nèi)容有怎樣的假設(shè)前提結(jié)論在什么范圍內(nèi)使用使用了什么分析方法和報(bào)告的分析流程、思維邏輯等（三）研究方法研究方法中可以寫明的內(nèi)容二、數(shù)據(jù)分析報(bào)告的撰寫方法例如：要研究茶葉商品的銷量與該商品的其他屬性之間的關(guān)系，研究對(duì)象即為某平臺(tái)的茶葉商品，數(shù)據(jù)來(lái)源于某個(gè)平臺(tái)，是利用Python網(wǎng)絡(luò)爬蟲(chóng)技術(shù)進(jìn)行爬取得到的，假設(shè)茶葉商品的銷量與商品的其他屬性之間存在線性關(guān)系，分析流程為采集數(shù)據(jù)、數(shù)據(jù)預(yù)處理、描述性統(tǒng)計(jì)分析、建立線性回歸模型、得出結(jié)論、給出結(jié)果等。（三）研究方法二、數(shù)據(jù)分析報(bào)告的撰寫方法（四）正文正文數(shù)據(jù)分析報(bào)告的核心部分，它將系統(tǒng)全面地表述數(shù)據(jù)分析的過(guò)程與結(jié)果。撰寫正文報(bào)告時(shí)，根據(jù)之前分析思路中確定的每項(xiàng)分析內(nèi)容，利用各種數(shù)據(jù)分析方法，一步步地展開(kāi)分析，通過(guò)圖表及文字相結(jié)合的方式，形成報(bào)告正文，方便閱讀者理解。二、數(shù)據(jù)分析報(bào)告的撰寫方法（四）正文例如：小張的茶葉品類調(diào)查數(shù)據(jù)分析報(bào)告就需要將分析的過(guò)程詳細(xì)的展開(kāi)描寫，特別是描述性統(tǒng)計(jì)分析與如何確定分析模型，對(duì)模型結(jié)果如何解釋，根據(jù)模型結(jié)果怎樣與業(yè)務(wù)場(chǎng)景與營(yíng)業(yè)目標(biāo)相結(jié)合起來(lái)等分析