資料解讀

在當(dāng)今信息爆炸的時(shí)代，大數(shù)據(jù)已成為企業(yè)獲取競(jìng)爭(zhēng)優(yōu)勢(shì)的關(guān)健資源?！栋Ｉ苋绾卫么?/p>

數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘與分析》為我們揭示了數(shù)據(jù)分析的深層邏輯與實(shí)踐路徑，提供了一套系統(tǒng)

的方法論來挖掘數(shù)據(jù)的潛在價(jià)值。詳細(xì)資料請(qǐng)看本解讀文章的最后內(nèi)容。

數(shù)據(jù)分析概述

數(shù)據(jù)分析是將原始數(shù)據(jù)轉(zhuǎn)化為有用信息，再進(jìn)一步成為支持決賈的知識(shí)的過程。這一過程需

要數(shù)學(xué)理論、行業(yè)經(jīng)驗(yàn)以及計(jì)算機(jī)工具的緊密結(jié)合。隨著技術(shù)的發(fā)展，數(shù)據(jù)分析已經(jīng)從傳統(tǒng)

的結(jié)構(gòu)分析、杜邦分析等模型.發(fā)展到數(shù)據(jù)挖掘、商務(wù)智能和大數(shù)據(jù)技術(shù)等更為先進(jìn)的手段。

數(shù)據(jù)分析工具

數(shù)據(jù)分析工具的發(fā)展，使得非技術(shù)背景的人員也能夠快速實(shí)現(xiàn)數(shù)學(xué)建模，響應(yīng)分析需求。這

些工具將復(fù)雜的分析模型封裝，簡化了操作流程。

數(shù)據(jù)挖掘

數(shù)據(jù)挖掘作為數(shù)據(jù)分析的重要手段，利用統(tǒng)計(jì)學(xué)和人工智能技術(shù)，挖掘數(shù)據(jù)背后隱藏的模式

和規(guī)律。它與機(jī)器學(xué)習(xí)相結(jié)合，能夠在大量數(shù)據(jù)中自動(dòng)發(fā)現(xiàn)數(shù)據(jù)規(guī)律.但同時(shí)也需要對(duì)模型

的數(shù)學(xué)原理有深入理解，避免錯(cuò)誤的分析結(jié)論。

數(shù)據(jù)分析方法

數(shù)據(jù)分析方法包括數(shù)據(jù)清洗、數(shù)據(jù)探索、數(shù)據(jù)轉(zhuǎn)換等步驟，數(shù)據(jù)清洗涉及異常值判別和缺失

值處理，而數(shù)據(jù)探索則通過數(shù)據(jù)特征描述、相關(guān)性分析等手段，為數(shù)據(jù)建模提供依據(jù)。

數(shù)據(jù)分析框架

CRISP-DM作為業(yè)界廣泛認(rèn)可的數(shù)據(jù)分折流程，包括業(yè)務(wù)理解、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、建立

模型、模型評(píng)估和部署六個(gè)階段。

數(shù)據(jù)清洗與數(shù)據(jù)探索

數(shù)據(jù)清洗是數(shù)據(jù)分析的關(guān)鍵步驟，包括對(duì)異常值的識(shí)別與處理、缺失值的填補(bǔ)等。數(shù)據(jù)探索

則通過數(shù)據(jù)特征描述、數(shù)據(jù)分布特征描述等手段，為后續(xù)建模提供輸入依據(jù)。

數(shù)據(jù)轉(zhuǎn)換

數(shù)據(jù)轉(zhuǎn)換涉及數(shù)據(jù)泛化、標(biāo)準(zhǔn)化、屬性構(gòu)造等方法，目的是將數(shù)據(jù)轉(zhuǎn)換成適合挖掘的形式。

分類與回歸

分類是將數(shù)據(jù)根據(jù)屬性特征歸類的過程，而回歸則關(guān)注一個(gè)或多個(gè)自變量與因變量之間的相

關(guān)關(guān)系。

聚類分析

聚類分析將數(shù)據(jù)分組，使得同一組內(nèi)的數(shù)據(jù)盡可能相似，不同組之間的數(shù)據(jù)盡可能不同。

關(guān)聯(lián)規(guī)則

關(guān)聯(lián)規(guī)則挖掘數(shù)據(jù)項(xiàng)之間的有趣關(guān)系，如市場(chǎng)購物籃分析。

時(shí)間序列分析

時(shí)間序列分析關(guān)注數(shù)據(jù)隨時(shí)間變化的規(guī)律,預(yù)測(cè)未來的趨勢(shì)。

結(jié)構(gòu)優(yōu)化

結(jié)構(gòu)優(yōu)化通過遺傳算法、灰色理論等方法，優(yōu)化數(shù)據(jù)分析模型。

數(shù)據(jù)分析支撐工具

介紹了Eviews、SPSS、SAS、Stata.Matlab.R等多種數(shù)據(jù)分析工具的特點(diǎn)和應(yīng)用領(lǐng)域,，

數(shù)據(jù)挖掘工具

詳細(xì)討論了SAS、SPSSClementine.R、Stata.MATLAB等數(shù)據(jù)挖掘工具的功能和應(yīng)用。

數(shù)據(jù)分析發(fā)展歷程

最后，文章概述了數(shù)據(jù)分析從原始的數(shù)據(jù)處理到現(xiàn)代的大數(shù)據(jù)吱術(shù)的發(fā)展歷程。

通過這篇文章，我們不僅能夠理解數(shù)據(jù)分析的理論基礎(chǔ)，還能夠掌握實(shí)際應(yīng)用中的各種工具

和方法。數(shù)據(jù)分析已經(jīng)成為企業(yè)決策、風(fēng)險(xiǎn)管理、市場(chǎng)洞察等領(lǐng)域不可或缺的一部分“

接下來請(qǐng)您閱讀下面的詳細(xì)資料吧。

埃森哲

如何利用大數(shù)據(jù)進(jìn)行

數(shù)據(jù)挖掘與分析

風(fēng)控在線整理發(fā)布

概述

?數(shù)據(jù)分析框架

?數(shù)據(jù)分析方法

CONTENTS

Q數(shù)據(jù)分析支撐工具

概述

■數(shù)據(jù)分析

accenture

即從數(shù)據(jù)、信息到知識(shí)的過程，數(shù)據(jù)分析需要數(shù)學(xué)理論、行業(yè)經(jīng)驗(yàn)以及計(jì)算機(jī)工具三者結(jié)合

忤MR

各裨廠商開發(fā)了蛔8分析的工II、模塊.將分析數(shù)據(jù)分析的8?也柘整理'描

?型封裝，使不了螯校本的人也能笫快拙的實(shí)現(xiàn)述.預(yù)滯數(shù)宏的手段.遂祝抽

數(shù)學(xué)建模.快速響應(yīng)分析需求.能為數(shù)學(xué)模型的逗論知識(shí)

?機(jī)器學(xué)習(xí)

不需要人過多干HI.通?傳雄分析

過計(jì)算機(jī)自初學(xué)習(xí),發(fā)

在敗空宣較少時(shí)，傳靖的

況數(shù)據(jù)睨律，但結(jié)論不

睢分析已能落發(fā)觀教冗

氨控制.

中包含的知識(shí)，包括結(jié)內(nèi)

分析.杜邦分析等模型.

數(shù)據(jù)挖史方法成為,應(yīng)用廣泛，本

數(shù)據(jù)電超是挖IE物E背后層文不展開介紹

*fi澗加詼要手段

?行業(yè)經(jīng)驗(yàn)

?分析誤區(qū)行業(yè)經(jīng)驗(yàn)

行業(yè)收殮可在敷至分析前一定分析突

不了解分析橫盟的數(shù)學(xué)原理，會(huì)6致悌求，分析中檢驗(yàn)方法是否合理，以及

誤的使用嚷里.而得出錯(cuò)誤的分析ta論.分析后指導(dǎo)應(yīng)用.自行業(yè)特征不同.

影響業(yè)務(wù)決策，因此在選用分析慢里時(shí),

R應(yīng)用也不同，因此本文不晨開介紹

費(fèi)深入了解讀鎮(zhèn)里的原理和使用取（w

數(shù)據(jù)分析accenture

隨著計(jì)算機(jī)技術(shù)發(fā)展和數(shù)據(jù)分析理論的更新，當(dāng)前的數(shù)據(jù)分析逐步成為機(jī)器語言、統(tǒng)計(jì)知

識(shí)兩個(gè)學(xué)科的交集

酸墀分析工H傳統(tǒng)分析

各種廠商開發(fā)了數(shù)據(jù)分析在數(shù)袍?較少時(shí)，傳統(tǒng)的

的工日.模塊，將分析模數(shù)據(jù)分析已能夠發(fā)現(xiàn)數(shù)據(jù)

型封裝，使不了解技術(shù)的中包含的知識(shí)，包括結(jié)構(gòu)

人也陋夠快捷的實(shí)現(xiàn)數(shù)學(xué)分析,杜郎分析等模型，

建模.快速響應(yīng)分析需求.方法應(yīng)用廣泛.本

文不展開介紹

?信息處理業(yè)務(wù)數(shù)據(jù)敷掘頸

信息處理基于查向,可以發(fā)就是充分利用了統(tǒng)計(jì)學(xué)和人工

現(xiàn)有用的信息.但是這沖逡W快技術(shù)的應(yīng)用程序,并把這

詢的回答反映的是直接與放些高深凝余的技術(shù)時(shí)我起米.

在數(shù)據(jù)庫中的信息.它切不使人1］不用自己掌握這些技術(shù)

反映復(fù)雜的模式，或電戢在也能完成同樣的功耗，并且更

數(shù)據(jù)庫中的規(guī)ft.專注于自己所要解決的問題.

數(shù)據(jù)分析accenture

隨著計(jì)算機(jī)科學(xué)的進(jìn)步，數(shù)據(jù)挖掘、商務(wù)智能、大數(shù)據(jù)等概念的出現(xiàn)，數(shù)據(jù)分析的手段和

方法更加千富

常規(guī)分析數(shù)據(jù)挖掘商務(wù)智能大數(shù)據(jù)技術(shù)數(shù)據(jù)可視化

?圖示＜?之間的I肱關(guān)系?統(tǒng)計(jì)學(xué)和計(jì)■機(jī)技術(shù)等多?一的以人為支持，?“w埒Rsnnami.?大敗黑示做

?分析過程滯后學(xué)科的結(jié)合磁鳥財(cái)術(shù)也快速佚取知定的瞬力X可以JBW脩助時(shí)

方法，曾用名包》專家R￡.滴緝踐況

?附敬卸貨量要求高?播示數(shù)雄之間HNB的關(guān)系?哂組技術(shù)斷在

系就.智施決貿(mào)等

結(jié)構(gòu)分析?將IM8分析的砌從-B

HF丁雇到?未XT.從?Tfi由BQK倉庫.聯(lián)鞏

分眼

分也分析過去.?R?格奈?ar

數(shù)據(jù)雷但2恢復(fù)等部分

??分析3

杜邦分析?對(duì)數(shù)重分析的體系化管

理，物8分析的主體依

然是效粼范在

本文田聯(lián)故再分析的流程后,叫介%通用的》用分析方法和球的應(yīng)用口I.軟件.

■的楨蛇大.數(shù)裁分析密6證處于飛速發(fā)第期.因此本文的方;〃Ml于“社

HIFWVM.

數(shù)據(jù)分析框架

■數(shù)據(jù)分析標(biāo)準(zhǔn)流程

accenture

CRISP-DM為90年代由SIG組織(當(dāng)時(shí))提出，已被業(yè)界廣泛認(rèn)可的數(shù)據(jù)分析流程.

1.業(yè)務(wù)91K(businessunderstanding)

確定目標(biāo)、明確分析需求

2.數(shù)據(jù)3M(dataunderstanding)

收集原蛤數(shù)格.貓述數(shù)據(jù)、探索數(shù)岷愴蛇數(shù)娓質(zhì)■

3.數(shù)據(jù)準(zhǔn)備(datapreparation)

選擇數(shù)JR.清洗數(shù)據(jù).構(gòu)造數(shù)58.整合數(shù)據(jù).格式化數(shù)據(jù)

4.建12€(里(modeling)

選擇it模技術(shù).參數(shù)調(diào)優(yōu).生成測(cè)試計(jì)劃.構(gòu)it模型

5.評(píng)估橫量(evaluation)

對(duì)模型進(jìn)行較為全面的評(píng)價(jià)，評(píng)價(jià)結(jié)果、重審過程

6.8HI(deployment)

分析結(jié)聚應(yīng)用

數(shù)據(jù)分析框架accenture

業(yè)務(wù)神數(shù)據(jù)準(zhǔn)備模電福K->

理解業(yè)務(wù)88L數(shù)器收住1數(shù)抵媒案選擇方法.工Jt橫過積評(píng)估分析結(jié)果應(yīng)用

那古分析需求教據(jù)清洗?E??具，建立橫生播型結(jié)果評(píng)估分析糧型改進(jìn)

awiMH*：?tm收.?9#B?：?11立模9t?國懵過g評(píng)估：?結(jié)果成用：

數(shù)用分析的本錢他取BSCI第匕聞版計(jì)方;1M數(shù)療合考慮業(yè)務(wù)需求對(duì)模型的理度.押1盥府用于

是■符于業(yè)務(wù)震夠正?反lift業(yè)務(wù)需案迸行探案.發(fā)現(xiàn)H?情笈.?*n.處3a業(yè)務(wù)實(shí)踐，才

?,SQJ電夕口業(yè)求.令劃分析稿論數(shù)電以，.花費(fèi)成本3陰臬.通J地進(jìn)行部估.能女觀的8分

會(huì)對(duì)業(yè)務(wù)將造成以選擇■臺(tái)卸油型.

務(wù)定■,或乏業(yè)析的*正價(jià)■:

務(wù)再寸，會(huì)導(dǎo)致號(hào).?1MSK*在女殘中對(duì)手一產(chǎn)生育亞價(jià)?

為了達(dá)到噢物部分析目的，往往通?橫效8事海伍：和解決或務(wù)何

分析無法?忠

?ms清洗入就更要求MC用多個(gè)嗔空，然后陽A星否有道遍勤.

對(duì)款板逆行后族.

用隸?原建數(shù)JK中存在數(shù)詞詞后也柳?由厚的n名.模立抬

定找夫W邪11里.包括生成行生堂■、估,itt行優(yōu)化調(diào)我是苦回答了芻?也笠也遇

劃斷分析需求是

B纓不處理會(huì)號(hào)依一致化.標(biāo)灌化等.g.以尋求最合i2賄業(yè)務(wù)甌對(duì)模也陰效

否可以將用為數(shù)

因比時(shí)的》祭.需要場(chǎng)合業(yè)務(wù)專果的出，即

■分析項(xiàng)目，MtWBN時(shí)討過.去和版QB,以便

些常求及不“白山從而81取出杳后期的橫里洶

效藥模力微■分整和優(yōu)化.

析理目的,比第

不符合◎業(yè)復(fù)..

致累不H.15索

陵量稅差等.

數(shù)據(jù)分析框架accenture

業(yè)務(wù)理解>數(shù)據(jù)理解數(shù)據(jù)準(zhǔn)備〉建立模理〉根型評(píng)1古

分

均方梯縱t

開始類KNM^

均方設(shè)龍

與SVMW;i

正聞聯(lián)計(jì)

同貝

mwte;

口

待出設(shè)C45aM?

9*業(yè)務(wù)MILX

"?航間祭舟度

泮估分析需求弊

分楨性i?舒期用庾

分gM寇I[

業(yè)務(wù)符合度

培梅分析析?.?

關(guān)…*—?

FPgrowth■法!

a聯(lián)

交精度

s分Aprkxi,法

■信度

a析

數(shù)叫換

時(shí)均方根索舞

覆1坪清

序支持宿■機(jī)均方誤差

?正格聿皖計(jì)

￡

結(jié)

構(gòu)■灰色北論

優(yōu)遺傳.法

化

數(shù)據(jù)分析方法

數(shù)據(jù)清洗&數(shù)據(jù)探索accenture

數(shù)據(jù)收集的方法多種多樣，本文不再詳述.在對(duì)收集的數(shù)據(jù)進(jìn)行分析前，要明確數(shù)據(jù)類型、規(guī)模，對(duì)數(shù)據(jù)有初步理解,

同時(shí)要對(duì)數(shù)據(jù)中的“喙聲"進(jìn)行處理，以支持后續(xù)數(shù)據(jù)建模.

的據(jù)探索

?特征搔述

?分布推新

?結(jié)構(gòu)優(yōu)化

?數(shù)據(jù)清洗和數(shù)據(jù)探索通常交互進(jìn)行

?數(shù)據(jù)探索有助于選擇數(shù)據(jù)清洗方法

?數(shù)據(jù)清洗后可以更有效的進(jìn)行數(shù)據(jù)探索

數(shù)據(jù)清洗：1.異常值判別accenture

數(shù)更清洗的第一是識(shí)S!l會(huì)影響分析結(jié)果的“異籽數(shù)虹然后判斷是否別院目前常用的識(shí)別異常數(shù)據(jù)的方法有物理

列別法堿計(jì)判別法

物理判另明去境計(jì)判甥去

?根據(jù)人們對(duì)客觀事物.業(yè)務(wù)等已有的認(rèn)蛤定一個(gè)■信概率，并確定一個(gè)■信限,凡超過

識(shí)，判別由于外界干擾、人為誤差等原此限的誤差.就認(rèn)為它不屬于SS機(jī)誤差范星L將

因造成實(shí)測(cè)如S偏震正常結(jié)果，判斷異其視為弁常值.

■僮.身用的方法（效去來舞于同一分布,且是正態(tài)的）：

?比蛟困藕拉依達(dá)渣5!!!、肖維勒都叫、格拉拈斯港則.狄克

遜準(zhǔn)則.t槍艙.

注意

?慎而對(duì)待刪除異常值：為減少犯錯(cuò)誤的概率，可多種統(tǒng)計(jì)判別法結(jié)合使用，并盡力尋

找異常值出現(xiàn)的原因；若有多個(gè)異常值，應(yīng)逐個(gè)刪除，即刪除一個(gè)異常值后，需再行

檢瞼后方可再》!除另一個(gè)異常值

?檢監(jiān)方法以正態(tài)分布為前提，若數(shù)據(jù)偏離正態(tài)分布或樣本較小時(shí)則檜喊結(jié)果未必可

靠，校幼是否正態(tài)分布可借助W檢撿、D松蛤

13

常見統(tǒng)計(jì)判別法accenture

判別方法判別公式剔除范圍如評(píng)價(jià)

大介+3。求均9、標(biāo)準(zhǔn)差，進(jìn)行邊界檢繪.也除一適合用于n>185附的樣本

拉依達(dá)準(zhǔn)則J??|■$OOM

小于丫?3。田常散跑.然后?短操作,逐一覲歌判定

（3。準(zhǔn)則）

大于U?Zc(n)。小于p求均值、標(biāo)潴建，比對(duì)系JRUM?Zc（nMB,交際中Zc（n）<3,奧算合理，

崗雄勘準(zhǔn)則（9|>4-1|>Zr{N)a

-Zc(n)o邊界檜蛇，副妹一個(gè)異像數(shù)據(jù)，然15?一掇當(dāng)啾于[25,185）時(shí)，判別

假率準(zhǔn)眇作，逐一副聯(lián)敗頗

?1除水平逐T刪旃除達(dá)冽瞬水平的計(jì)對(duì)達(dá)到T（ma）?與E8或次蜘）及

卜.-?]>/（?號(hào)常■唉出水平,但未及翻除水又的敗況，應(yīng)盡?伯亞率山鐘1關(guān).即愴嚴(yán)呢.

Ji,"?|>'(■?)0■峨W冢曝因,給以修正,若未椀修正，期比株率意義勢(shì)丸當(dāng)選F125.

格拉布斯準(zhǔn)則異常愴出水平：

（）較1嫌與不的統(tǒng)i怪論,反抵是否符8客觀185]Ka=0.05,當(dāng)3.

r?.?,?<|?->]慎如去留選播25]Wa.OO1,判較好

<r（?.?,>r

10>?aa）,說闞n）腐再的8由小耿排成酷1嗽計(jì)窗，求極總比對(duì)異常.只刊f?,效果好；

Wia.剜則定諼敷我為歡克切斷去讀取1（<\。）值,邊界檢蛭，刪除一屈負(fù)兩個(gè)岫技近，效祟不好

狄克進(jìn)準(zhǔn)剜個(gè)RMB?,然后??HHT,逐一輜當(dāng)碗于[3,2SJH,判別效

*(*>-?a?

最大.?小數(shù)虢與均分別檢物■大.ikJBS據(jù).計(jì)H不含祓檢驗(yàn)異第值只有f時(shí)，效果

T梏威|a.r|>￡(???役要q偎大或最，」曲據(jù)時(shí)的均值及標(biāo)催差，逐一利好；同《（兩個(gè)極段數(shù)據(jù)增

大于斷并*除異常值近時(shí),效JB不好；因而有

口■(

4|??￡a?”?M3時(shí)通過中位JS代營平均致

的調(diào)整方法可以有效消除

向創(chuàng)異常值的影峋

數(shù)據(jù)清洗：2.缺失值處理accenture

在數(shù)據(jù)缺失嚴(yán)更時(shí)，會(huì)對(duì)分析結(jié)果造成較大影響，因此對(duì)副除的異覺值以及缺失值，要采用合理的方;去進(jìn)行填補(bǔ)，常見

的方法有平均值填充、K最近距離法.回歸法、極大似雌計(jì);去等

徽大*臺(tái)紂

先翻8次或距離或唱關(guān)鵬于完整的甥K集.建在培定完全賽度和前一由包含m個(gè)制Ml的向

象K有相同決戢?性管分析.定卸I小數(shù)噩立回歸方程（楨型）.次送代所網(wǎng)到戶?數(shù)估■代苫的一個(gè)》失值，

的對(duì)象）的平均0集編樣本?逅的K個(gè)鋒本，對(duì)子包含交9的對(duì)做.計(jì)的情況下計(jì)■完全依燒后對(duì)新產(chǎn)生的田數(shù)

充該缺火的M件值將這K個(gè)值M權(quán)平均未將已為“任值代入力程BC對(duì)應(yīng)的對(duì)皿1然由依史第使用相日的方;去處

<5計(jì)收失數(shù)卻t來估計(jì)未知?住修，以的條竹期望（E步）.?,將總收1理培果后，

此<A計(jì)值來遇行加充；后用極大化為數(shù)部耨的嫁母2累，最終將期

但當(dāng)變量不是物性粗關(guān)數(shù)以?定餐0JML并目標(biāo)交?￡淞計(jì)

或網(wǎng)受相關(guān)時(shí)用于下步的送弋（M步）

會(huì)會(huì)估ItiW

隨著數(shù)JB量的增大,異常苴和缺失值對(duì)整體分析結(jié)果的影響會(huì)逐漸變小，因此在“大數(shù)

據(jù)“模式下，數(shù)據(jù)清洗可忽略異常值和缺失值的影響，而側(cè)重做據(jù)結(jié)構(gòu)管理性的分析

數(shù)據(jù)探索accenture

通過數(shù)據(jù)探索，初步發(fā)現(xiàn)數(shù)據(jù)特征.規(guī)律，為后續(xù)數(shù)艇建模提供輸入依據(jù)，常見的敵招探索方法有數(shù)據(jù)特征描述、相關(guān)

性分析.主成分分析等.

數(shù)據(jù)特征描述accenture

■中心位?

?MB

中中位皿四分位12

o19a

■分散程度

。方維和標(biāo)準(zhǔn)*

?tM.QStt*

<,標(biāo)準(zhǔn)分?jǐn)?shù)z-score

?國敬系效

數(shù)據(jù)概率分布accenture

概率分布可以表述隨機(jī)變星取值的概率規(guī)律，是掌握數(shù)據(jù)變化趨勢(shì)和范圍的一個(gè)重要手段.

離敝蟲灼為分布m—f離皿覆率分布，只中麗個(gè)數(shù)債所怕內(nèi)的懾事

1.在電次試堆中只有期粗UI6的忸蟆,而對(duì)立的；

2國次交出困立的，與X它各次試的結(jié)果無關(guān)；

3站里事件發(fā)生的15率在解個(gè)系列H蛤中保挎不變.財(cái)這一系創(chuàng)弱蹄為M力區(qū)軸.

以下的特用敝叟概率分花中的一種: