1、大數(shù)據(jù)(shj)時代下的商業(yè)智能第一頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能目 錄BI行業(yè)的發(fā)展前景BI的歷史、現(xiàn)在和未來主要(zhyo)BI廠商傳統(tǒng)商業(yè)智能和未來商業(yè)智能的區(qū)別大數(shù)據(jù)與商業(yè)智能的結(jié)合第二頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能從全球(qunqi)范圍來看，商業(yè)智能(BI)已經(jīng)成為最具有前景的IT領(lǐng)域。2010年中國大陸地區(qū)的BI市場份額約為46億元人民幣，同比2009年增長27%BI的人才目前在IT行業(yè)并不是很多, BI人員發(fā)展的機遇很大。BI行業(yè)(hngy)的發(fā)展前景第三頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能BI從業(yè)人員的關(guān)注點設(shè)計(shj)、開發(fā)

2、架構(gòu)(ji u)、咨詢數(shù)據(jù)倉庫模型設(shè)計ETL設(shè)計、開發(fā)報表設(shè)計和開發(fā)對業(yè)務(wù)的理解數(shù)據(jù)架構(gòu)的思想案例關(guān)注點關(guān)注點數(shù)據(jù)倉庫模型設(shè)計ETL設(shè)計、開發(fā)對業(yè)務(wù)的理解數(shù)據(jù)倉庫的環(huán)境難點難點第四頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能 商業(yè)智能是從許多來自不同系統(tǒng)的數(shù)據(jù)中提取出有用的數(shù)據(jù),并進行清理，以保證數(shù)據(jù)的正確性，然后經(jīng)過抽取、轉(zhuǎn)換和裝載的過程，合并到一個企業(yè)級的數(shù)據(jù)倉庫里，從而得到企業(yè)數(shù)據(jù)的一個全局視圖。 在此基礎(chǔ)上利用合適的查詢和分析工具、數(shù)據(jù)挖掘工具、OLAP工具等對其進行分析和處理，最后將知識呈現(xiàn)給管理者，為管理者的決策過程提供(tgng)支持。商業(yè)智能的概念(ginin)數(shù)據(jù)信息知識

3、企業(yè)的利潤第五頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能 追本溯源，學(xué)界已公認，赫伯特西蒙對決策支持系統(tǒng)的研究，是現(xiàn)代商業(yè)智能概念最早的源頭和起點。 1970年，IBM的研究員埃德加科德(Edgar Codd)發(fā)明了關(guān)系型數(shù)據(jù)庫。 1979年，一家以決策支持系統(tǒng)為已任，致力于構(gòu)建單獨的數(shù)據(jù)存儲結(jié)構(gòu)的公司Teradata誕生。1983年，該公司利用并行處理技術(shù)為美國富國銀行建立(jinl)了第一個決策支持系統(tǒng)。 1988年，為解決企業(yè)集成問題，IBM公司的研究員Barry Devlin和Paul Murphy創(chuàng)造性地提出一個新的術(shù)語：數(shù)據(jù)倉庫(Data Warehouse) 1992年，比

4、爾.恩門（Bill Inmon)出版了如何構(gòu)建數(shù)據(jù)倉庫一書，他主張由頂至底的構(gòu)建方法，強調(diào)數(shù)據(jù)的一致性，拉開了數(shù)據(jù)倉庫真正得以大規(guī)模應(yīng)用的序幕。 1993年，拉爾夫.金博爾出版了數(shù)據(jù)倉庫的工具一書，他主張務(wù)實的數(shù)據(jù)倉庫應(yīng)該由下往上，從部門到企業(yè)，并把部門的數(shù)據(jù)倉庫叫做“數(shù)據(jù)集市” 。BI的歷史(lsh)第六頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能經(jīng)歷一輪并購潮之后，BI廠商分為兩類，一類是綜合性BI提供商。例如IBM、 Oracle 、SAP和Microsoft等。另一類是專業(yè)化BI提供商，例如Teradata和SAS。IBM在BI領(lǐng)域有許多發(fā)展，先后并購了Datastage,Cogn

5、os和SPSS，最近又提出了業(yè)務(wù)分析（BA)。Oracle收購海波龍(Hyperion)之后，Oracle的BI排名大大提升，而BEA的中間件更是加強了Oracle的BI戰(zhàn)略。SAP收購Business Objects之后，在BI產(chǎn)品的易用性上下足功夫(gng f)。Teradata精于數(shù)據(jù)倉庫技術(shù)，而SAS在數(shù)據(jù)挖掘分析方面見長。BI的現(xiàn)在(xinzi)第七頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能IBM - DB2 、 DataStage 、 Cognos 、 SPSS ，覆蓋BI全部領(lǐng)域 Oracle - Oracle、BIEE/Hyperion，覆蓋BI全部領(lǐng)域，數(shù)據(jù)挖掘有待加強

6、 Microsoft - SQL Server ，覆蓋BI全部領(lǐng)域，適合中小型企業(yè)，性價比高 SAP - Business Objects、Crystal Reports，主要是OLAP和報表領(lǐng)域 Informatica - Informatica，主要是數(shù)據(jù)(shj)集成領(lǐng)域 Teradata - Teradata，主要是數(shù)據(jù)倉庫領(lǐng)域 Sybase - Sybase IQ，主要是數(shù)據(jù)倉庫領(lǐng)域 SAS - SAS，數(shù)據(jù)挖掘領(lǐng)域領(lǐng)先主要(zhyo)BI廠商第八頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能BI工具在中國(zhn u)遇到的挑戰(zhàn)報表格式復(fù)雜 中國是世界上報表最復(fù)雜的國家。中國的報

7、表設(shè)計思想與西方不同，西方報表傾向于僅用一張報表說明一個問題，而中國的報表傾向于將盡可能多的問題集中在一張報表中，這種思路直接導(dǎo)致了中國報表的復(fù)雜格式 數(shù)據(jù)量大 中國是世界上人口最多的國家。以中國移動公司為例，僅我國一個省的用戶數(shù)量，就相當于歐洲(u zhu)一個中等國家的人口，是真正的海量數(shù)據(jù)！我國很多BI系統(tǒng)的架構(gòu)和設(shè)計也不如外國，所以在性能上存在較大的差距。在外國，可能一個客戶分析應(yīng)用一兩分鐘就能出結(jié)果，但是在中國，可能就是要一兩個小時了。 數(shù)據(jù)回寫 中國是世界上對 BI 系統(tǒng)要求最奇特的國家。本來 BI 系統(tǒng)是以真實再現(xiàn)源數(shù)據(jù)為原則，但這個原則在中國遇到了難題，許多領(lǐng)導(dǎo)都提出了數(shù)據(jù)修改

8、的需求，“報表里數(shù)字不好看，就要能改啊，這樣上級領(lǐng)導(dǎo)看著就好嘛！”目前Microsoft, Oracle BIEE就是能滿足這樣要求的 BI 產(chǎn)品第九頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能傳統(tǒng)商業(yè)智能和未來(wili)商業(yè)智能的區(qū)別有一種(y zhn)觀點：預(yù)測未來分析歷史未來商業(yè)智能傳統(tǒng)商業(yè)智能第十頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能傳統(tǒng)(chuntng)商業(yè)智能的使用情況固定報表：目前中國市場上的商業(yè)智能應(yīng)用停留在這個層面，主要過程是通過ETL工具，將業(yè)務(wù)系統(tǒng)源數(shù)據(jù)抽取到數(shù)據(jù)倉庫中，在裝載到數(shù)據(jù)集市，建立模型，利用前端工具將數(shù)據(jù)展現(xiàn)出來。OLAP分析：生成(shn c

9、hn)OLAP多維模型，實現(xiàn)多指標分析。數(shù)據(jù)挖掘：通過分析具體數(shù)據(jù)，發(fā)現(xiàn)潛在的、有價值的信息，例如啤酒和尿布。分析應(yīng)用：與業(yè)務(wù)信息系統(tǒng)相結(jié)合。例如企業(yè)績效管理。第十一頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能第一階段：查詢。第二階段：報表(bobio)。第三階段：多維分析和統(tǒng)計分析。第四個階段：數(shù)據(jù)挖掘。傳統(tǒng)(chuntng)商業(yè)智能的幾個階段：未來商業(yè)智能的方向：建立實時動態(tài)數(shù)據(jù)倉庫。傳統(tǒng)數(shù)據(jù)倉庫是基于歷史數(shù)據(jù)分析，動態(tài)數(shù)據(jù)倉庫支持前端應(yīng)用，利用分析結(jié)果發(fā)起業(yè)務(wù)流程。(2) 增加對非結(jié)構(gòu)化數(shù)據(jù)的處理 。(3) 縮短響應(yīng)時間。第十二頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能傳統(tǒng)商業(yè)

10、智能和未來商業(yè)智能的區(qū)別BI傳統(tǒng)的過濾、上鉆、下鉆、比較等功能也難于滿足一些特殊企業(yè)用戶的分析要求。 如何來保證外部數(shù)據(jù)的準確性、實時性和有效性是個重大問題。. 在多媒體、智能手機和社交網(wǎng)站獲取的信息，我們正面臨著比以往任何時候都更多的數(shù)據(jù)，傳統(tǒng)數(shù)據(jù)倉庫的性能已無法應(yīng)付龐大的信息，只有通過大數(shù)據(jù)（Big Data）技術(shù)使我們能夠訪問和使用這些(zhxi)寶貴的、大規(guī)模數(shù)據(jù)集，以應(yīng)對越來越復(fù)雜的數(shù)據(jù)分析和更好的商業(yè)決策制定。第十三頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能操作型商業(yè)智能。BI用戶群也會相應(yīng)地從現(xiàn)在的后臺管理決策層向前端業(yè)務(wù)操作型用戶延伸。2. 交互式商業(yè)智能。預(yù)測、分攤、假

11、設(shè)模擬、數(shù)據(jù)挖掘等技術(shù)應(yīng)用將會越來越普遍。3. 可視化商業(yè)智能。越來越多的用戶不再滿足于傳統(tǒng)的圖像展現(xiàn)，而要求數(shù)據(jù)的進一步可視化。4. 實時商業(yè)智能。由于BI應(yīng)用將向操作型發(fā)展的特點，也導(dǎo)致了用戶對BI應(yīng)用的實時性需求。5. 移動(ydng)商業(yè)智能。將原來人們依賴于電腦的商業(yè)智能搬到了手機或者黑莓上。6. SaaS商業(yè)智能。商業(yè)智能作為云計算，作為服務(wù)來使用。未來(wili)商業(yè)智能的發(fā)展第十四頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能為了滿足未來(wili)商業(yè)智能的發(fā)展，應(yīng)該將大數(shù)據(jù)技術(shù)和商業(yè)智能技術(shù)結(jié)合起來大數(shù)據(jù)(Big Data)是對你在數(shù)據(jù)倉庫技術(shù)(jsh)中現(xiàn)有投資的補充主

12、要的商業(yè)智能 （BI）供應(yīng)商都宣布對大數(shù)據(jù)技術(shù)的支持，或在解決方案中使用大數(shù)據(jù)技術(shù)數(shù)據(jù)海洋中的大數(shù)據(jù)要做的事不僅要對大規(guī)模的信息運行分析而且也成為數(shù)據(jù)倉庫的一種來源大數(shù)據(jù)有益于大型分析以及長期的戰(zhàn)略方向大數(shù)據(jù)是傳統(tǒng)數(shù)據(jù)庫、數(shù)據(jù)倉庫、BI概念外延的擴展，手段的擴充，不存在取代的關(guān)系，也并不是互斥的關(guān)系第十五頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能大數(shù)據(jù)(shj)與商業(yè)智能的結(jié)合例如，某位信用卡用戶月均刷卡10次，月均刷卡300元，每年平均打5次客服電話，但是從未投訴。那么按照這些信息，該客戶(k h)是一命滿意度較高，流失率很低的客戶(k h)。利用商業(yè)智能得出的結(jié)論真實情況該客戶多次打

13、客服電話都沒有接通，客戶多次在微博和博客上進行抱怨還款不方便，客戶服務(wù)不好，所以該客戶的流失風(fēng)險很高。第十六頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能大數(shù)據(jù)(shj)概念的提出最早提出“大數(shù)據(jù)”時代已經(jīng)到來的機構(gòu)是全球知名咨詢公司麥肯錫。2011年，麥肯錫出版了研究報告大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個新領(lǐng)域，產(chǎn)學(xué)研界對“大數(shù)據(jù)”的關(guān)注達到歷史性新高度。麥肯錫在研究報告中指出，數(shù)據(jù)已經(jīng)滲透到每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)因素；而人們對于海量數(shù)據(jù)的運用將預(yù)示著新一波生產(chǎn)率增長和消費者盈余(yngy)浪潮的到來?；ヂ?lián)網(wǎng)、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算的快速興起以及移動智能終端的快速

14、普及，正使得當前人類社會的數(shù)據(jù)增長比以往任何一個時期都要快。越來越大、越來越快、越來越復(fù)雜，數(shù)據(jù)特性的演變和發(fā)展，催生了一個全新的概念大數(shù)據(jù)。第十七頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能結(jié)構(gòu)化數(shù)據(jù)：存在于關(guān)系數(shù)據(jù)庫中，多年來一直主導(dǎo)著IT應(yīng)用；半結(jié)構(gòu)化數(shù)據(jù)：包括電子郵件(din z yu jin)、文字處理文件以及大量發(fā)布在網(wǎng)絡(luò)上的新聞等，以內(nèi)容為基礎(chǔ)，這也是谷歌和百度存在的理由；非結(jié)構(gòu)化數(shù)據(jù)：廣泛存在于社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、電子商務(wù)之中。伴隨著社交網(wǎng)絡(luò)、移動計算和傳感器等新技術(shù)不斷產(chǎn)生，有報告稱，超過80%的數(shù)據(jù)屬于非結(jié)構(gòu)化數(shù)據(jù)。更廣的信息范圍新的數(shù)據(jù)與分析類型實時信息來自新技術(shù)的數(shù)據(jù)

15、非傳統(tǒng)形式的媒體大數(shù)據(jù)量社交媒體數(shù)據(jù)最新流行詞定義大數(shù)據(jù)* 2012年IBM對95個國家中26個行業(yè)的1144名專業(yè)人員調(diào)查結(jié)果大數(shù)據(jù) 是一個涵蓋多種技術(shù)的概念，簡單地說，是指無法在一定時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進行抓取、管理和處理的數(shù)據(jù)集合。IBM將“大數(shù)據(jù)”理念定義為4個V，即數(shù)量(shling)（Volume）、多樣性（Variety）、速度（Velocity）及數(shù)據(jù)的準確性（Veracity）。第十八頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能數(shù)據(jù)(shj)規(guī)模TB 至PB 級數(shù)據(jù)數(shù)據(jù)(shj)的多種形式結(jié)構(gòu)化、非結(jié)構(gòu)化、文本、多媒體數(shù)據(jù)的運動分析流數(shù)據(jù)，在不到一秒內(nèi)做出決策數(shù)據(jù)

16、的不確定性管理數(shù)據(jù)的可靠性和可預(yù)測性，盡管原生數(shù)據(jù)內(nèi)生性的不精確多樣性（Variety）精確性（Veracity）速度（Velocity）數(shù)量（Volume）第十九頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能大數(shù)據(jù)(shj)和商業(yè)智能結(jié)合已應(yīng)用于各行各業(yè)能源與公用事業(yè)智能(zh nn)電表分析資產(chǎn)管理零售全渠道營銷實時促銷司法執(zhí)法多點監(jiān)測網(wǎng)絡(luò)安全檢測交通運輸物流優(yōu)化緩解交通擁堵金融服務(wù)業(yè)欺詐檢測360客戶視圖數(shù)字媒體 實時廣告定位屬性分析健康與生命科學(xué)病歷分析疾病監(jiān)測通訊 客戶資料貨幣化網(wǎng)絡(luò)分析&優(yōu)化第二十頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能在大數(shù)據(jù)(shj)領(lǐng)域，不能充分形成

17、大數(shù)據(jù)(shj)使用能力的競爭者將被淘汰第二十一頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能大數(shù)據(jù)(shj)的使用情況第二十二頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能4、大數(shù)據(jù)(shj)的應(yīng)用不僅僅是精準營銷通過(tnggu)用戶行為分析實現(xiàn)精準營銷是大數(shù)據(jù)的典型應(yīng)用，但是大數(shù)據(jù)在各行各業(yè)特別是公共服務(wù)領(lǐng)域具有廣闊的應(yīng)用前景消費行業(yè)金融服務(wù)食品安全醫(yī)療衛(wèi)生軍事交通環(huán)保電子商務(wù)氣象第二十三頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能大數(shù)據(jù)(shj)涉及的關(guān)鍵技術(shù)需求(xqi)大數(shù)據(jù)涉及的關(guān)鍵技術(shù)描述技術(shù)海量數(shù)據(jù)存儲技術(shù)分布式文件系統(tǒng)實時數(shù)據(jù)處理技術(shù)Streaming Data流計

18、算引擎數(shù)據(jù)分析技術(shù)Text Analytics EngineVisual Data Modeling自然語言處理、文本情感分析、機器學(xué)習(xí)、聚類關(guān)聯(lián)、數(shù)據(jù)模型數(shù)據(jù)高速傳輸技術(shù)服務(wù)器/存儲間高速通信Infini BandHadoop，x86/MPPMap Reduce搜索技術(shù)文本檢索、智能搜索、實時搜索Enterprise Search第二十四頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能建立對非結(jié)構(gòu)化數(shù)據(jù)進行(jnxng)SQL語法查詢的支持，實現(xiàn)與結(jié)構(gòu)化數(shù)據(jù)的集成關(guān)聯(lián)（key）非結(jié)構(gòu)化數(shù)據(jù)(shj)數(shù)據(jù)獲取結(jié)構(gòu)化數(shù)據(jù)分析應(yīng)用數(shù)據(jù)集市數(shù)據(jù)集市EDW結(jié)構(gòu)化元數(shù)據(jù)Hadoop建立非結(jié)構(gòu)化信息的標簽

19、、摘要、索引、日志、內(nèi)容等提取結(jié)構(gòu)化的元數(shù)據(jù)信息，如類別、標引、摘要等；實現(xiàn)與結(jié)構(gòu)化數(shù)據(jù)的整合ODSSQL大數(shù)據(jù)下的商業(yè)智能架構(gòu)第二十五頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能大數(shù)據(jù)BI系統(tǒng)的底層技術(shù)(jsh)體系分布式計算內(nèi)存計算 實質(zhì)上就是CPU直接從內(nèi)存而非硬盤上讀取數(shù)據(jù)，并對數(shù)據(jù)進行計算、分析。此項技術(shù)是對傳統(tǒng)數(shù)據(jù)處理方式的一種加速(ji s)，是實現(xiàn)商務(wù)智能中海量數(shù)據(jù)分析和實施數(shù)據(jù)分析的關(guān)鍵應(yīng)用技術(shù)列存儲第二十六頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能大數(shù)據(jù)(shj)BI系統(tǒng)的演變過程第一階段OLTP&OLAP第二階段Materialized View（物化視圖）,Stage、ODS、DWD（細節(jié)(xji)數(shù)據(jù)層）、DWA（衍生匯總層）第三階段一體機，MPP (大規(guī)模并行處理)DW，MPP(大規(guī)模并行處理) DM第二十七頁，共三十五頁。大數(shù)據(jù)(shj)時代下的商業(yè)智能大數(shù)據(jù)