商業(yè)智能(BusinessIntelligence)與大數(shù)據(jù)概述王闖舟2013/12/16于同濟(jì)大學(xué)背景簡介1983.9-1990.12，同濟(jì)大學(xué)電氣工程系，自動控制專業(yè)，本科與碩士1991.1-1993.1同濟(jì)大學(xué)電氣工程系自動控制教研室1993.1-1994.7德國FESTO上海辦事處1994.7-2009.7美國AT&T公司、NCR公司、Teradata，在Teradata擔(dān)任中國區(qū)副總經(jīng)理和SeniorPracticePartner，負(fù)責(zé)華北與華東地區(qū)的ProfessionalService，東南融通系統(tǒng)工程有限公司，負(fù)責(zé)其商業(yè)智能事業(yè)部的技術(shù)管理工作2011.8-目前，文思創(chuàng)新(Vanceinfo)、文思海輝(Pactera)，負(fù)責(zé)其商業(yè)智能解決方案業(yè)務(wù)線從1996年開始專注于商業(yè)智能、數(shù)據(jù)倉庫領(lǐng)域的咨詢與項(xiàng)目實(shí)施服務(wù)，主要為金融、電信行業(yè)的客戶提供商業(yè)智能解決方案，包括數(shù)據(jù)倉庫基礎(chǔ)平臺、CRM、風(fēng)險(xiǎn)、運(yùn)營管理、財(cái)務(wù)管理等領(lǐng)域2TOPIC商業(yè)智能的應(yīng)用示例1數(shù)據(jù)倉庫解決方案架構(gòu)23進(jìn)入大數(shù)據(jù)時代4Q&A3什么是商業(yè)智能BusinessIntelligence商業(yè)智能通常被理解為將企業(yè)中現(xiàn)有的數(shù)據(jù)轉(zhuǎn)化為知識，幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營決策的工具。商業(yè)智能是對商業(yè)信息的搜集、管理和分析過程，目的是使企業(yè)的各級決策者獲得知識或洞察力（insight），促使他們做出對企業(yè)更有利的決策。商業(yè)智能不是什么新技術(shù)，它只是數(shù)據(jù)倉庫、OLAP和數(shù)據(jù)挖掘等技術(shù)的綜合運(yùn)用。數(shù)據(jù)倉庫（DataWarehouse）是一個面向主題的（SubjectOriented）、集成的（Integrated）、相對穩(wěn)定的（Non-Volatile）、反映歷史變化（TimeVariant）的數(shù)據(jù)集合，用于支持管理決策(DecisionMakingSupport)---數(shù)據(jù)倉庫之父BillInmon,“BuildingtheDataWarehouse”（1991）4BI應(yīng)用案例：管理駕駛窗5BI應(yīng)用案例：客戶獲取

事例：爭奪鐵通的用戶實(shí)施者：中國電信某地區(qū)公司市場部使用應(yīng)用名稱：數(shù)據(jù)倉庫內(nèi)結(jié)算話單步驟：

1、對當(dāng)月所有用戶的結(jié)算費(fèi)用進(jìn)行排序，發(fā)現(xiàn)電話號碼96368的結(jié)算支出排名最高，查詢之前各月份，它的排名也最高，最近一年每月平均結(jié)算支出為3390元。

2、查詢96368的用戶資料為當(dāng)?shù)匾粺煵莨究头柎a。

3、從數(shù)據(jù)倉庫提取其結(jié)算話單，統(tǒng)計(jì)其與各個運(yùn)營商之間互通的情況，發(fā)現(xiàn)其與鐵通的用戶互通較多，造成結(jié)算支出較大。

6BI應(yīng)用案例：客戶獲取4、針對鐵通經(jīng)營的同樣是固定電話，電信的產(chǎn)品完全可替代的特點(diǎn)，派單給大客戶服務(wù)部，要求大客戶經(jīng)理說服煙草公司把它的分銷商的電話全部轉(zhuǎn)為電信電話。5、通過一系列綜合的營銷手段，成功把煙草公司分銷商轉(zhuǎn)換為電信用戶

成效：鐵通1842個用戶轉(zhuǎn)為電信用戶按門面電話的最低ARPU40元/月計(jì)算，月創(chuàng)收7.37萬元，年累計(jì)創(chuàng)收88.42萬元7BI應(yīng)用案例：數(shù)據(jù)倉庫效益（國內(nèi)某股份制銀行）實(shí)施前實(shí)施后營銷名單獲取時間4-6Weeks<1Day業(yè)務(wù)及客戶統(tǒng)計(jì)報(bào)表產(chǎn)生速度4-6Weeks<1Day績效分析能力N/A１天～1周客戶可接觸率<15%30%＋一年能執(zhí)行營銷活動數(shù)量<1050+活動平均反饋率無法評估8-30%活動回報(bào)率無法評估Upto60%無，貸款容易有風(fēng)險(xiǎn)強(qiáng)大客戶單一視圖能力8BI應(yīng)用案例：在市場營銷的應(yīng)用（某銀行信用卡中心）基于數(shù)據(jù)倉庫的客戶關(guān)系管理系統(tǒng)，從了解客戶或客戶細(xì)分開始，在制定各種客戶／產(chǎn)品／渠道的營銷管理策略時提供決策信息支持，計(jì)劃、執(zhí)行并管理各種行銷活動。CRM在銀行卡管理中提供新卡獲取、客戶挽留和交叉銷售的功能，有力推動銀行卡業(yè)務(wù)快速發(fā)展。Ad-hocqueryRawCustomerListAd-hocqueryRawCustomerListAd-hocqueryRawCustomerList優(yōu)化客戶名單

CallCenterSMS直郵－客戶獲取營銷郵件，依據(jù)分行及目標(biāo)客戶類型而有不同數(shù)據(jù)倉庫2。營銷活動定義、名單進(jìn)行去重、頻率規(guī)則的限定和過濾1。初始客戶名單通過Brio從數(shù)據(jù)倉庫中篩選出來，并導(dǎo)入TCRM中4。渠道應(yīng)用接觸目標(biāo)客戶，傳送促銷信息5。數(shù)據(jù)倉庫監(jiān)控客戶開卡事件6。使用Brio分析營銷活動成功率3。名單和相應(yīng)營銷信息傳送給不同的渠道系統(tǒng)直郵分行CRM系統(tǒng)的主要模塊：分析模塊溝通管理個性化模板與規(guī)則交互：營銷渠道整合(callcenter/SMS/Email)最優(yōu)化：營銷評估和優(yōu)化CRM投產(chǎn)之后，已經(jīng)執(zhí)行了170多個營銷活動，由于實(shí)現(xiàn)了目標(biāo)客戶營銷，平均每個營銷活動的目標(biāo)客戶從百萬級降低到10萬，乃至5000-1000之間，所以營銷成本比系統(tǒng)投產(chǎn)前降低了90%以上。投資回報(bào)：9BI應(yīng)用案例：客戶挽留（某銀行信用卡中心）07年10月的預(yù)測評分結(jié)果顯示流失概率50％以上的客戶為93975人；在流失概率50％以上客戶中，其中3％的客戶貢獻(xiàn)86％利潤；在挽留客戶的營銷活動中，將主要的資金和資源用在3%高價(jià)值客戶上，可節(jié)省97%的營銷成本，而得到86%的效果；流失概率50－60％的客戶貢獻(xiàn)度分布：投資回報(bào)：10BI應(yīng)用的的背后后11支持前前述類類型應(yīng)應(yīng)用的的最佳佳實(shí)踐踐是構(gòu)構(gòu)建企企業(yè)級級數(shù)據(jù)據(jù)倉庫庫EDW（數(shù)據(jù)據(jù)平臺臺），，通過過一定定的數(shù)數(shù)據(jù)模模型來來整合合企業(yè)業(yè)內(nèi)的的各種種數(shù)據(jù)據(jù)，并并在此此基礎(chǔ)礎(chǔ)之上上構(gòu)建建相關(guān)關(guān)的分分析型型應(yīng)用用這些應(yīng)應(yīng)用很很難在在企業(yè)業(yè)原有有的OLTP系統(tǒng)（（以交交易或或者流流程為為主））上實(shí)實(shí)現(xiàn)，，如果果沒有有數(shù)據(jù)據(jù)倉庫庫，也也可以以通過過手工工或者者半手手工的的方式式來實(shí)實(shí)現(xiàn)，，但非非常麻麻煩，，很難難重復(fù)復(fù)使用用BI系統(tǒng)主主要通通過數(shù)數(shù)據(jù)分分析來來發(fā)現(xiàn)現(xiàn)數(shù)據(jù)據(jù)之間間內(nèi)含含的業(yè)業(yè)務(wù)規(guī)規(guī)律，，其負(fù)負(fù)載類類型和和負(fù)載載特征征與OLTP系統(tǒng)有有很大大的差差異，，一般般都需需要建建立物物理獨(dú)獨(dú)立的的系統(tǒng)統(tǒng)，并并采用用適合合BI負(fù)載環(huán)環(huán)境的的專門門技術(shù)術(shù)平臺臺---一般都都是以以基于于MPP（MassiveParallelProcessing）技術(shù)術(shù)的數(shù)數(shù)據(jù)庫庫引擎擎為基基礎(chǔ)目前國國內(nèi)主主流的的MPP平臺有有：DB2,Netezza(IBMPuredata),OracleExadata,Teradata,EMCGreenplum(Pivotal),HPVertica,SAPHANA.Microsoft也推出出了它它的MPP數(shù)據(jù)庫庫一體體機(jī)TOPIC商業(yè)智能的應(yīng)用示例1數(shù)據(jù)倉庫解決方案架構(gòu)23進(jìn)入大數(shù)據(jù)時代4Q&A12數(shù)據(jù)倉倉庫解解決方方案整整體框架企業(yè)級數(shù)據(jù)據(jù)倉庫庫基礎(chǔ)礎(chǔ)平臺臺將采采用模模塊化化、參參數(shù)化化的功功能設(shè)設(shè)計(jì)方方式，，提高高了系系統(tǒng)運(yùn)運(yùn)行的的穩(wěn)定定性并并有效效的降降低實(shí)實(shí)施成成本和和風(fēng)險(xiǎn)險(xiǎn)。13EDW體系架架構(gòu)應(yīng)用體體系應(yīng)用主主題·應(yīng)用模模式·應(yīng)用方方案·實(shí)施規(guī)規(guī)劃數(shù)據(jù)體體系數(shù)據(jù)架架構(gòu)·近源層層·基礎(chǔ)層層·匯總層層·集市層層技術(shù)體體系統(tǒng)一交交換·統(tǒng)一監(jiān)監(jiān)控·統(tǒng)一調(diào)調(diào)度·統(tǒng)一發(fā)發(fā)布·統(tǒng)一管管控運(yùn)維體體系日常監(jiān)監(jiān)控·故障處處理·備份恢恢復(fù)·系統(tǒng)安安全組織架架構(gòu)·管控流流程·管控內(nèi)內(nèi)容管控體系從應(yīng)用用體系系、數(shù)據(jù)體系、、技術(shù)術(shù)體系系、運(yùn)維維體系系和管管控體體系五五個方方面闡闡述數(shù)數(shù)據(jù)倉庫整體架架構(gòu)14應(yīng)用體系—特定主題的的應(yīng)用15國內(nèi)外先進(jìn)進(jìn)銀行總結(jié)結(jié)提煉了一一套數(shù)據(jù)倉倉庫業(yè)務(wù)應(yīng)應(yīng)用框架，，包括了客客戶管理、、運(yùn)營管理理、風(fēng)險(xiǎn)管管理、財(cái)務(wù)務(wù)管理、監(jiān)管與信信息披露五五大支柱的幾百種應(yīng)用，為金融機(jī)構(gòu)構(gòu)的數(shù)據(jù)倉庫項(xiàng)項(xiàng)目建設(shè)和和推廣應(yīng)用用提供了極極好的借鑒鑒?？蛻艄芾砜蛻臬@取與挽留客戶細(xì)分與價(jià)值提升交叉銷售/向上銷售事件驅(qū)動營銷營銷活動管理與優(yōu)化客戶生命周期管理風(fēng)險(xiǎn)管理合規(guī)與信息披露資產(chǎn)負(fù)債管理金融犯罪識別信用風(fēng)險(xiǎn)市場風(fēng)險(xiǎn)操作風(fēng)險(xiǎn)財(cái)務(wù)管理財(cái)務(wù)績效管理資本配置與管理法規(guī)遵從與報(bào)表產(chǎn)品捆綁與定價(jià)財(cái)務(wù)管理流程優(yōu)化運(yùn)營管理交易渠道管理銷售渠道管理渠道遷移與流程優(yōu)化績效考核與報(bào)表產(chǎn)品開發(fā)與定價(jià)資源規(guī)劃與管理監(jiān)管與信息披露1104報(bào)表信息披露報(bào)表15應(yīng)用體系—數(shù)據(jù)應(yīng)用規(guī)規(guī)劃參考16跨領(lǐng)域的應(yīng)應(yīng)用平臺客戶管理類類應(yīng)用風(fēng)險(xiǎn)管理類類應(yīng)用運(yùn)營管理類類應(yīng)用財(cái)務(wù)管理類類應(yīng)用監(jiān)管與信息息披露類應(yīng)應(yīng)用零售CRM對公CRM客戶營銷管理系統(tǒng)即席查詢平平臺數(shù)據(jù)挖掘平平臺報(bào)表服務(wù)平平臺滿足總分行行臨時數(shù)據(jù)據(jù)需求支持業(yè)務(wù)人人員進(jìn)行業(yè)業(yè)務(wù)探索客戶聚類分分析產(chǎn)品購買關(guān)關(guān)聯(lián)分析客戶流失概概率模型行為評分模模型申請?jiān)u分模模型……財(cái)務(wù)報(bào)表風(fēng)險(xiǎn)報(bào)表監(jiān)管報(bào)表個人客戶報(bào)報(bào)表對公客戶報(bào)報(bào)表總帳報(bào)表考評報(bào)表產(chǎn)品報(bào)表1104監(jiān)管報(bào)表信息披露報(bào)報(bào)表新資本協(xié)議議應(yīng)用群資產(chǎn)負(fù)債管管理人行征信人行反洗錢錢特別關(guān)注客客戶信息系統(tǒng)關(guān)聯(lián)方信息息查詢系統(tǒng)關(guān)鍵經(jīng)營指指標(biāo)分析系統(tǒng)管理會計(jì)系統(tǒng)人行集中金金融統(tǒng)計(jì)風(fēng)險(xiǎn)準(zhǔn)備金金計(jì)提客戶利潤貢貢獻(xiàn)度計(jì)算貴賓服務(wù)系統(tǒng)客戶積分計(jì)算客戶經(jīng)理績效考核分行績效考核渠道分析中間業(yè)務(wù)分分析產(chǎn)品績效分分析內(nèi)部財(cái)務(wù)信信息分析定價(jià)系統(tǒng)個人客戶內(nèi)內(nèi)部評級境內(nèi)機(jī)構(gòu)網(wǎng)網(wǎng)絡(luò)布局優(yōu)化評評估戰(zhàn)略性業(yè)務(wù)務(wù)指標(biāo)人行支付報(bào)報(bào)表分行分潤國家外管局局監(jiān)管報(bào)表高端客戶理財(cái)報(bào)表技術(shù)緩存層層近源模型層層整合模型層層共性加工層層應(yīng)用集市層層數(shù)據(jù)倉庫倉內(nèi)集市倉內(nèi)集市倉內(nèi)集市倉內(nèi)集市倉內(nèi)集市倉內(nèi)集市…倉外集市倉外集市倉外集市倉外集市倉外集市…應(yīng)用集市示例16隨機(jī)查詢–具有IT和業(yè)務(wù)兩方方面的知識識和技能，，進(jìn)行任意意數(shù)據(jù)探索索和查詢，，回答各種種未預(yù)先定定義的業(yè)務(wù)務(wù)問題。數(shù)據(jù)挖掘–在靈活分析析的基礎(chǔ)上上，對某些些業(yè)務(wù)問題題進(jìn)行數(shù)據(jù)據(jù)屬性的提提煉和歸納納，如“評評分模型””、“違約約模型”、、”細(xì)分模模型”等。。應(yīng)用系統(tǒng)–支持復(fù)雜業(yè)業(yè)務(wù)邏輯的的應(yīng)用系統(tǒng)統(tǒng)，包括營營銷活動管管理平臺、、ALM、利潤貢獻(xiàn)獻(xiàn)度、平衡衡計(jì)分卡等等。實(shí)踐表明，，應(yīng)用系統(tǒng)統(tǒng)的開發(fā)離離不開需求求的成熟和和穩(wěn)定，只只有通過大大量的靈活活分析和數(shù)數(shù)據(jù)挖掘的的應(yīng)用，才才能形成成成熟穩(wěn)定的的應(yīng)用需求求，反之，，應(yīng)用系統(tǒng)統(tǒng)在業(yè)務(wù)中中的大量使使用，又會會促進(jìn)分析析人員更加加深入、有有效的分析析探索數(shù)據(jù)據(jù)。數(shù)據(jù)挖掘(Modeling)應(yīng)用系統(tǒng)隨機(jī)查詢(Ad-hoc)固定報(bào)表固定報(bào)表–以固定模式式回答簡單單、常規(guī)的的業(yè)務(wù)管理理、統(tǒng)計(jì)類類問題。應(yīng)用體系—應(yīng)用模式17數(shù)據(jù)倉庫數(shù)據(jù)挖掘的的流程取樣評估與確認(rèn)模型化

、數(shù)據(jù)探索與轉(zhuǎn)化清洗數(shù)據(jù)與預(yù)處理找出并了解業(yè)務(wù)問題部署到數(shù)據(jù)倉庫知識建模前的預(yù)處理通過樣本組來建立預(yù)測測模型通過對照組與行行動組的比較，評估模型的的精準(zhǔn)性；通過行動組與不不行動組的比較，評評估執(zhí)行環(huán)環(huán)節(jié)的優(yōu)劣劣。18應(yīng)用體系—應(yīng)用規(guī)劃考慮維維度IT部門除了考考慮數(shù)據(jù)質(zhì)質(zhì)量、數(shù)據(jù)據(jù)可用性、、投資預(yù)算算規(guī)模之外外，更重要要的是考慮慮應(yīng)用實(shí)施施能否滿足足業(yè)務(wù)用戶戶目前收益益心理預(yù)期期等因素，，要想的大大（全面，，具體，全全局觀）。。數(shù)據(jù)倉庫建建設(shè)規(guī)劃，，要分步驟驟進(jìn)行實(shí)施施，起步從從小做起；；不同業(yè)務(wù)部部門對業(yè)務(wù)務(wù)應(yīng)用的優(yōu)優(yōu)先度要求求不同，必必須綜合考考慮不同部部門對業(yè)務(wù)務(wù)應(yīng)用的策策略價(jià)值和和投資回報(bào)報(bào)評價(jià)，形形成初步的的規(guī)劃后，，再經(jīng)數(shù)據(jù)據(jù)倉庫管理理委員會討討論確定。。數(shù)據(jù)倉庫建建設(shè)規(guī)劃，，通常從以以下三個方方面進(jìn)行評評估：實(shí)施難度：：IT部門評估策略價(jià)值：：決策層評評估投資回報(bào)：：應(yīng)用部門門評估19IncreasingQueryandWorkloadComplexityIncreasingDataDetail,Volume,Integration&SchemaSophisticationBI應(yīng)用模式的的類型與發(fā)發(fā)展ContinuousUpdate&TimeSensitiveQueriesBecomeImportantOPERATIONALIZINGWHATIsHappening?EventBasedTriggeringTakesHoldACTIVEWAREHOUSING

MAKINGithappen!ContinuousUpdate/ShortQueriesEvent-BasedTriggeringPrimarilyBatchIncreaseinAdHocQueriesANALYZINGWHYdidithappen?REPORTINGWHAThappened?AnalyticalModelingGrowsPREDICTINGWHYwillithappen?BatchAdHocAnalyticsIncreasingBusinessValueandImpact20EDW體系架構(gòu)應(yīng)用體系應(yīng)用主題·應(yīng)用模式·應(yīng)用方案·實(shí)施規(guī)劃數(shù)據(jù)體系數(shù)據(jù)架構(gòu)·近源層·基礎(chǔ)層·匯總層·集市層技術(shù)體系統(tǒng)一交換·統(tǒng)一監(jiān)控·統(tǒng)一調(diào)度·統(tǒng)一發(fā)布·統(tǒng)一管控運(yùn)維體系日常監(jiān)控·故障處理·備份恢復(fù)·系統(tǒng)安全組織架構(gòu)·管控流程·管控內(nèi)容管控體系從應(yīng)用體系系、數(shù)據(jù)體系、技術(shù)術(shù)體系、運(yùn)維體系系和管控體體系五個方方面闡述數(shù)數(shù)據(jù)倉庫規(guī)規(guī)劃。21數(shù)據(jù)體系—一個相對完完整的BI數(shù)據(jù)架構(gòu)應(yīng)用集市層層面向應(yīng)用按需定制共性加工層層初級的數(shù)據(jù)據(jù)加工依賴對應(yīng)用用的提煉技術(shù)緩沖層層ETL專用的純技技術(shù)層完全與源系系統(tǒng)結(jié)構(gòu)一一致近源模型層層基本依照源源系統(tǒng)建模模盡量保持業(yè)業(yè)務(wù)數(shù)據(jù)原原貌整合模型層層面向整合主題設(shè)計(jì)提供規(guī)范和和共享22數(shù)據(jù)體系—整合模型層層定位長期的，細(xì)細(xì)節(jié)的，整整合的數(shù)據(jù)據(jù)存儲，為為各類業(yè)務(wù)務(wù)需求提供供支持特點(diǎn)面向主題，，數(shù)據(jù)整合合提供規(guī)范和和共享中性設(shè)計(jì)，，偏范式化化，靈活可可擴(kuò)展細(xì)節(jié)信息，，保留長期期歷史23數(shù)據(jù)體系—整合層模型型主題示例例Product&ServiceEventAgreementChannelPartyAssetFinance&RiskRegion&AddressMarketingOrganization24建?？傮w原原則數(shù)據(jù)整合原則倉庫建?？傮w原則歷史保留原則中性原則面向主題原則3NF原則實(shí)體充分整整合記錄審慎整整合狀態(tài)歷史保保留關(guān)系歷史保保留25Why3NFFurther

NormalisedFullyNormalised5NF4NF3NF2NF1NF(BCNF)特點(diǎn):減少冗余Integrity屏蔽變化，，容易擴(kuò)展展對數(shù)據(jù)庫引引擎多表連連接、復(fù)雜雜查詢的要要求很高業(yè)務(wù)人員不不容易理解解與接受1NF:第一范式（（1NF）：強(qiáng)調(diào)的的是列的原原子性，即即列不能夠夠再分成其其他幾列。2NF:除了滿足1NF，還必須：：1、必須有一個主鍵鍵；2、沒有包含在主鍵鍵中的列必必須完全依依賴于主鍵鍵，而不能能只依賴于于主鍵的一一部分。3NF:滿足2NF，另外非主主鍵列必須須直接依賴賴于主鍵，，不能存在在傳遞依賴賴。即不能能存在：非非主鍵列A依賴于非主主鍵列B，非主鍵列列B依賴于主鍵鍵的情況。26數(shù)據(jù)體系—共性加工層層定位提供相對中中性，具有有業(yè)務(wù)意義義的初級加加工數(shù)據(jù)，，支持上層層應(yīng)用的數(shù)數(shù)據(jù)加工，，或供業(yè)務(wù)務(wù)人員的訪訪問特點(diǎn)全局考慮，，提煉需求求共性多層次設(shè)計(jì)計(jì)，多種數(shù)數(shù)據(jù)粒度側(cè)重業(yè)務(wù)理理解，蘊(yùn)含含豐富的業(yè)業(yè)務(wù)規(guī)則27數(shù)據(jù)體系—應(yīng)用集市層層定位提供特定應(yīng)應(yīng)用支持特點(diǎn)面向應(yīng)用形式各異，，各自獨(dú)立立按需定制，，滿足特定定業(yè)務(wù)的需求報(bào)表集市挖掘集市多維分析集集市28數(shù)據(jù)體系—各數(shù)據(jù)層次次的定位小小結(jié)目標(biāo)以數(shù)據(jù)下載的結(jié)構(gòu)為準(zhǔn)，一般與源系統(tǒng)結(jié)構(gòu)相同數(shù)據(jù)可能是增量，也可能是全量用于技術(shù)加工短期的，細(xì)節(jié)的反應(yīng)業(yè)務(wù)原貌的數(shù)據(jù)存儲直接提供基于源系統(tǒng)結(jié)構(gòu)的簡單原貌訪問為BI環(huán)境中適合的業(yè)務(wù)需求提供支持長期的，細(xì)節(jié)的，整合的數(shù)據(jù)存儲為BI環(huán)境中適合的各類業(yè)務(wù)需求提供支持相對中性，具業(yè)務(wù)意義的初加工數(shù)據(jù)，但不面向特定應(yīng)用作為上層應(yīng)用數(shù)據(jù)加工的基礎(chǔ)，或供業(yè)務(wù)人員直接訪問服務(wù)特定應(yīng)用原則簡單處理關(guān)注源系統(tǒng)結(jié)構(gòu)的變化簡單處理，不考慮整合關(guān)注保留策略面向全局，數(shù)據(jù)整合中性設(shè)計(jì)，靈活擴(kuò)展提供規(guī)范和共享提煉應(yīng)用需求共性多種數(shù)據(jù)粒度易于理解和使用面向具體應(yīng)用按需設(shè)計(jì)形式源系統(tǒng)模型近源系統(tǒng)模型設(shè)計(jì)根據(jù)支持應(yīng)用情況可以保留短期歷史面向主題設(shè)計(jì)偏范式化長期保留歷史初步數(shù)據(jù)加工分層設(shè)計(jì)形式各異，依具體應(yīng)用不同重點(diǎn)理解源結(jié)構(gòu)理解源結(jié)構(gòu)主題定義框架設(shè)計(jì)整合策略實(shí)施方法應(yīng)用篩選應(yīng)用提煉整體性一致性用途不對外提供數(shù)據(jù)服務(wù)業(yè)務(wù)原貌查詢即時報(bào)表數(shù)據(jù)質(zhì)量檢查靈活查詢整合規(guī)則檢查常規(guī)報(bào)表靈活查詢業(yè)務(wù)規(guī)則檢查特定應(yīng)用技術(shù)緩沖層層近源模型層層整合模型層層共性加工層層應(yīng)用集市層層29企業(yè)級總體體數(shù)據(jù)架構(gòu)構(gòu)ESB數(shù)據(jù)采集和交換平臺集成型數(shù)據(jù)區(qū)歷史數(shù)據(jù)訪問應(yīng)用數(shù)據(jù)挖掘工具監(jiān)管報(bào)送平臺即席查詢工具數(shù)據(jù)集成平臺新核心系統(tǒng)老核心系統(tǒng)客戶系統(tǒng)外圍系統(tǒng)渠道系統(tǒng)外部系統(tǒng)(外聯(lián)平臺)操作型數(shù)據(jù)區(qū)分析型數(shù)據(jù)區(qū)應(yīng)用服務(wù)區(qū)……應(yīng)用服務(wù)器報(bào)表工具WEB服務(wù)器歷史數(shù)據(jù)區(qū)統(tǒng)一報(bào)表平臺管理會計(jì)系統(tǒng)流動性風(fēng)險(xiǎn)系統(tǒng)市場風(fēng)險(xiǎn)系統(tǒng)歷史數(shù)據(jù)平臺數(shù)據(jù)挖掘平臺大數(shù)據(jù)平臺數(shù)據(jù)交換區(qū)實(shí)時事件處理平臺貼源模型層（ODS）主題模型層（EDW）應(yīng)用集市層數(shù)據(jù)緩沖層共性加工層(GDM)國家審計(jì)署平臺非現(xiàn)場審計(jì)30EDW體系架構(gòu)應(yīng)用體系應(yīng)用主題·應(yīng)用模式·應(yīng)用方案·實(shí)施規(guī)劃數(shù)據(jù)體系數(shù)據(jù)架構(gòu)·近源層·基礎(chǔ)層·匯總層·集市層技術(shù)體系統(tǒng)一交換·統(tǒng)一監(jiān)控·統(tǒng)一調(diào)度·統(tǒng)一發(fā)布·統(tǒng)一管控運(yùn)維體系日常監(jiān)控·故障處理·備份恢復(fù)·系統(tǒng)安全組織架構(gòu)·管控流程·管控內(nèi)容管控體系從應(yīng)用體系系、數(shù)據(jù)體系、技術(shù)術(shù)體系、運(yùn)維體系系和管控體體系五個方方面闡述數(shù)數(shù)據(jù)倉庫規(guī)規(guī)劃。31技術(shù)體系—統(tǒng)一數(shù)據(jù)交交換32技術(shù)體系—統(tǒng)一調(diào)度架架構(gòu)33技術(shù)體系—統(tǒng)一監(jiān)控架架構(gòu)34技術(shù)體系—統(tǒng)一信息發(fā)發(fā)布統(tǒng)一信息發(fā)發(fā)布定位統(tǒng)一信息發(fā)發(fā)布平臺定定位為數(shù)據(jù)倉庫體系的的展現(xiàn)平臺臺，用于展現(xiàn)企業(yè)基基礎(chǔ)數(shù)據(jù)平臺及及所有分析析型應(yīng)用資資源。分析析型應(yīng)用資資源的集成成包含前端端界面的整整合和各應(yīng)應(yīng)用后臺數(shù)數(shù)據(jù)及權(quán)限限的整合登錄錄首頁頁公告告頁面面調(diào)調(diào)用用功功能能分析析型型應(yīng)應(yīng)用用集集成成角色色管管理理授權(quán)權(quán)管理理系統(tǒng)統(tǒng)管管理理日志志管管理理會話話管管理理應(yīng)用用模模式式固定定報(bào)報(bào)表表即席席查查詢詢數(shù)據(jù)據(jù)挖挖掘掘用戶戶身身份份管管理理統(tǒng)一一認(rèn)認(rèn)證證單點(diǎn)點(diǎn)登登錄錄安全全審審計(jì)計(jì)認(rèn)證證管管理理統(tǒng)一一信信息息發(fā)布布內(nèi)內(nèi)容容統(tǒng)一一入入口口權(quán)限限管管理理應(yīng)用用集集成成35統(tǒng)一一商商業(yè)業(yè)智智能能門門戶戶功功能能架架構(gòu)構(gòu)36EDW體系系架架構(gòu)構(gòu)應(yīng)用用體體系系應(yīng)用用主主題題·應(yīng)用用模模式式·應(yīng)用用方方案案·實(shí)施施規(guī)規(guī)劃劃數(shù)據(jù)據(jù)體體系系數(shù)據(jù)據(jù)架架構(gòu)構(gòu)·近源源層層·基礎(chǔ)礎(chǔ)層層·匯總總層層·集市市層層技術(shù)術(shù)體體系系統(tǒng)一一交交換換·統(tǒng)一一監(jiān)監(jiān)控控·統(tǒng)一一調(diào)調(diào)度度·統(tǒng)一一發(fā)發(fā)布布·統(tǒng)一一管管控控運(yùn)維維體體系系日常常監(jiān)監(jiān)控控·故障障處處理理·備份份恢恢復(fù)復(fù)·系統(tǒng)統(tǒng)安安全全組織織架架構(gòu)構(gòu)·管控控流流程程·管控控內(nèi)內(nèi)容容管控控體系系從應(yīng)應(yīng)用用體體系系、、數(shù)據(jù)據(jù)體系系、、技技術(shù)術(shù)體體系系、運(yùn)運(yùn)維維體體系系和和管管控控體體系系五五個個方方面面闡闡述述數(shù)數(shù)據(jù)據(jù)倉倉庫庫規(guī)規(guī)劃劃。。3738運(yùn)維體系—運(yùn)營維護(hù)TitleinhereTitleinhereTitleinhereTitleinhereTitleinhereTitleinhereTitleinhereTitleinhereTitleinhere日常監(jiān)控變更管理問題處理容量規(guī)劃備份恢復(fù)需求管理服務(wù)水平組織架構(gòu)管理工具①②③④⑤⑥⑦⑧⑨主管部門技術(shù)支持部門門生產(chǎn)運(yùn)行部門門數(shù)據(jù)支持部門門資源管理部門門資源監(jiān)控服務(wù)監(jiān)控應(yīng)用監(jiān)控運(yùn)行性問題非運(yùn)行性問題題變更規(guī)范變更流程設(shè)計(jì)原則備份內(nèi)容備份策略備份管理技術(shù)緩沖層整合模型層共性加工層應(yīng)用集市層制定SLA標(biāo)準(zhǔn)落實(shí)標(biāo)準(zhǔn)周期性考核數(shù)據(jù)標(biāo)準(zhǔn)管理理平臺元數(shù)據(jù)管理平平臺數(shù)據(jù)質(zhì)量管理理平臺數(shù)據(jù)需求平臺臺項(xiàng)目需求臨時數(shù)據(jù)類需需求組織架構(gòu)日常監(jiān)控問題處理變更管理備份恢復(fù)容量規(guī)劃服務(wù)水平管理工具需求管理從現(xiàn)有的經(jīng)驗(yàn)看看，數(shù)據(jù)倉庫庫體系的運(yùn)行行維護(hù)主要是是通過合理的的組織架構(gòu)，，制定易于執(zhí)執(zhí)行的運(yùn)維管管理流程和規(guī)規(guī)范，通過完完善的管理工工具，對系統(tǒng)統(tǒng)監(jiān)控、問題題處理、系統(tǒng)統(tǒng)變更等常規(guī)規(guī)問題進(jìn)行系系統(tǒng)化的處理EDW體系架構(gòu)應(yīng)用體系應(yīng)用主題·應(yīng)用模式·應(yīng)用方案·實(shí)施規(guī)劃數(shù)據(jù)體系數(shù)據(jù)架構(gòu)·近源層·基礎(chǔ)層·匯總層·集市層技術(shù)體系統(tǒng)一交換·統(tǒng)一監(jiān)控·統(tǒng)一調(diào)度·統(tǒng)一發(fā)布·統(tǒng)一管控運(yùn)維體系日常監(jiān)控·故障處理·備份恢復(fù)·系統(tǒng)安全組織架構(gòu)·管控流程·管控內(nèi)容管控體系從應(yīng)用體系、、數(shù)據(jù)體系、技術(shù)體體系、運(yùn)維體系和和管控體系五五個方面闡述述數(shù)據(jù)倉庫規(guī)規(guī)劃。39從數(shù)據(jù)質(zhì)量相關(guān)關(guān)故障問題說說起40案例1操作員反映銀行內(nèi)部部對賬管理系系統(tǒng)“存款余余額檔的導(dǎo)入入”作業(yè)出錯錯.故障現(xiàn)象上游系統(tǒng)升級級后，由于業(yè)業(yè)務(wù)需要等原原因?qū)ψ侄伍L長度進(jìn)行了擴(kuò)擴(kuò)展，導(dǎo)致上上下游字段長長度不一致；銀行內(nèi)部對賬管理理系統(tǒng)的活期期賬務(wù)表里的的余額（可能能是活期、定定期、貸款））在數(shù)據(jù)庫中中定義為13位，但新核心對公中定義為19位（核心舊對對公是13位），5日中有一條數(shù)數(shù)據(jù)超過13位（1900多億，14位），造成數(shù)數(shù)據(jù)從核心導(dǎo)導(dǎo)入銀行內(nèi)部部對賬管理系系統(tǒng)時溢出，，批次中斷。數(shù)據(jù)中心計(jì)劃在6或7日進(jìn)行數(shù)據(jù)字字段的擴(kuò)展，，目前排查內(nèi)內(nèi)部對賬系統(tǒng)統(tǒng)中仍有部分分字段長度為為13位，存在一定定風(fēng)險(xiǎn)。問題分析元數(shù)據(jù)變更問問題案例3管理員檢查發(fā)現(xiàn)信貸貸統(tǒng)計(jì)監(jiān)測系系統(tǒng)批次作業(yè)業(yè)“賬戶級別別統(tǒng)計(jì)中間新新表”執(zhí)行出出錯。故障現(xiàn)象CMS提供的客戶風(fēng)風(fēng)險(xiǎn)權(quán)重表存存在12條客戶編號為為空的記錄問題分析空值問題案例2電子銀行部反映ODS平臺電子銀行行報(bào)表“電子子銀行渠道替替代率報(bào)表””數(shù)據(jù)不正確確。故障現(xiàn)象系統(tǒng)遷移導(dǎo)致致的數(shù)據(jù)計(jì)算算口徑發(fā)生變變化，原有計(jì)計(jì)算口徑計(jì)算算錯誤問題分析數(shù)據(jù)變更問題題，指標(biāo)口徑徑變化，指標(biāo)標(biāo)標(biāo)準(zhǔn)化問題題企業(yè)級數(shù)據(jù)管管控內(nèi)容數(shù)據(jù)管控是對對企業(yè)數(shù)據(jù)的的綜合治理，，通常來說，，落到具體層層面上可以分分為對數(shù)據(jù)標(biāo)標(biāo)準(zhǔn)、元數(shù)據(jù)據(jù)和數(shù)據(jù)質(zhì)量量的管理，數(shù)數(shù)據(jù)標(biāo)準(zhǔn)是支支持業(yè)務(wù)、技技術(shù)和流程的的規(guī)范化建設(shè)設(shè)的標(biāo)準(zhǔn)體系系；數(shù)據(jù)質(zhì)量量是數(shù)據(jù)對其其期望目的的的符合度；元元數(shù)據(jù)是數(shù)據(jù)據(jù)的數(shù)據(jù)數(shù)據(jù)標(biāo)標(biāo)準(zhǔn)元數(shù)據(jù)據(jù)數(shù)據(jù)質(zhì)質(zhì)量數(shù)據(jù)標(biāo)標(biāo)準(zhǔn)元數(shù)據(jù)據(jù)數(shù)據(jù)質(zhì)質(zhì)量數(shù)據(jù)規(guī)規(guī)范數(shù)據(jù)形形態(tài)數(shù)據(jù)質(zhì)質(zhì)量數(shù)據(jù)標(biāo)標(biāo)準(zhǔn)向向元數(shù)數(shù)據(jù)提提供業(yè)業(yè)務(wù)元元數(shù)據(jù)據(jù)的標(biāo)標(biāo)準(zhǔn)定定義指導(dǎo)數(shù)數(shù)據(jù)質(zhì)質(zhì)量進(jìn)進(jìn)行有有效的的檢測測和檢檢查通過元元數(shù)據(jù)據(jù)管理理平臺臺維護(hù)護(hù)數(shù)據(jù)據(jù)標(biāo)準(zhǔn)準(zhǔn)向數(shù)據(jù)據(jù)質(zhì)量量提供供元數(shù)數(shù)據(jù)對對象更更好的的發(fā)現(xiàn)現(xiàn)數(shù)據(jù)據(jù)問題題通過數(shù)數(shù)據(jù)質(zhì)質(zhì)量的的具體體操作作來監(jiān)監(jiān)控標(biāo)標(biāo)準(zhǔn)的的執(zhí)行行情況況檢測元元數(shù)據(jù)據(jù)的定定義情情況4142如何做做好數(shù)數(shù)據(jù)管控工作作，我我們需需要從從人員員、流程、、技術(shù)術(shù)多個個方面面下足足功夫夫，逐逐步管管理好好BI數(shù)據(jù)質(zhì)質(zhì)量問問題。。通過建建立相相應(yīng)的的數(shù)據(jù)據(jù)管控控組織架架構(gòu)，梳理理完善善的管管控工作流流程，通過過系統(tǒng)工工具支撐日常工工作，，使數(shù)數(shù)據(jù)管管控治治理工工作能能夠落落到實(shí)實(shí)處，，全面面提升升銀行行數(shù)據(jù)據(jù)運(yùn)用用水平平和數(shù)數(shù)據(jù)質(zhì)質(zhì)量。。組織和和角色色定義義管理辦辦法管理流流程制度和和模版版管理流程技術(shù)平臺流程制制定系統(tǒng)建建設(shè)組織架構(gòu)技術(shù)支支持技術(shù)流程人員技術(shù)平平臺的的支持規(guī)章制制度管理辦辦法：數(shù)據(jù)管管控管管理辦辦法；；數(shù)據(jù)標(biāo)標(biāo)準(zhǔn)管管理辦辦法；；數(shù)據(jù)質(zhì)質(zhì)量管管理辦辦法；；元數(shù)據(jù)據(jù)管理理辦法法；數(shù)據(jù)需需求管管理辦辦法；；監(jiān)管統(tǒng)統(tǒng)計(jì)管管理辦辦法；；數(shù)據(jù)模模型管管理辦辦法；；數(shù)據(jù)交交換管管理辦辦法；；……工作模模版：數(shù)據(jù)標(biāo)標(biāo)準(zhǔn)需需求模模版；；數(shù)據(jù)標(biāo)準(zhǔn)審審核映映射模模版；；元數(shù)據(jù)據(jù)變更更申請請模版版；數(shù)據(jù)質(zhì)質(zhì)量檢檢核規(guī)規(guī)則模模版；；數(shù)據(jù)需需求申申請模模版；；……規(guī)章制制度管理辦辦法說說明總則：：第一條條為為規(guī)范全全行數(shù)數(shù)據(jù)標(biāo)標(biāo)準(zhǔn)，，符合合國家家標(biāo)準(zhǔn)準(zhǔn)化政政策及及監(jiān)管管統(tǒng)計(jì)計(jì)規(guī)定定，推推動數(shù)數(shù)據(jù)標(biāo)標(biāo)準(zhǔn)在在業(yè)務(wù)務(wù)領(lǐng)域域和技技術(shù)領(lǐng)領(lǐng)域的的應(yīng)用用，提高數(shù)數(shù)據(jù)質(zhì)質(zhì)量和管理理效率率，落落實(shí)監(jiān)監(jiān)管統(tǒng)統(tǒng)計(jì)規(guī)規(guī)定，，特制制定本本辦法法。第二條條本本辦法所所稱數(shù)數(shù)據(jù)標(biāo)標(biāo)準(zhǔn)是是指針針對本本行各各種重重要數(shù)據(jù)制制定的規(guī)范范性文文件，，以確確保這這些重重要數(shù)數(shù)據(jù)在在全行行內(nèi)外外共同同使用用和交交換中中的一一致性性和準(zhǔn)準(zhǔn)確性性，是是數(shù)據(jù)據(jù)管控控的基礎(chǔ)。。組織與與職責(zé)責(zé)：第八條數(shù)數(shù)據(jù)管控辦辦公室室的數(shù)數(shù)據(jù)標(biāo)標(biāo)準(zhǔn)管管理工工作由由計(jì)劃劃財(cái)務(wù)務(wù)部負(fù)負(fù)責(zé)。。信息息技術(shù)術(shù)部、、各相相關(guān)部部門協(xié)協(xié)助配配合數(shù)數(shù)據(jù)標(biāo)標(biāo)準(zhǔn)管管理工作。。第九條計(jì)計(jì)劃財(cái)務(wù)部部是數(shù)數(shù)據(jù)標(biāo)標(biāo)準(zhǔn)管管理的的主管管責(zé)任任部門門，設(shè)設(shè)置數(shù)數(shù)據(jù)標(biāo)標(biāo)準(zhǔn)管管理專專員、、數(shù)據(jù)據(jù)標(biāo)準(zhǔn)準(zhǔn)管理理員、、數(shù)據(jù)據(jù)標(biāo)準(zhǔn)準(zhǔn)平臺臺管理理員，，承擔(dān)擔(dān)以下下職責(zé)……數(shù)據(jù)標(biāo)準(zhǔn)的的制定定：第十二二條數(shù)數(shù)據(jù)據(jù)標(biāo)準(zhǔn)準(zhǔn)的制制定流流程分分為標(biāo)標(biāo)準(zhǔn)需需求提提出、、標(biāo)準(zhǔn)準(zhǔn)需求求審批批、標(biāo)標(biāo)準(zhǔn)制制定、、標(biāo)準(zhǔn)準(zhǔn)審核核和標(biāo)標(biāo)準(zhǔn)發(fā)發(fā)布階階段。。數(shù)據(jù)標(biāo)準(zhǔn)的應(yīng)用：第十九九條數(shù)數(shù)據(jù)據(jù)標(biāo)準(zhǔn)準(zhǔn)的應(yīng)應(yīng)用包包括數(shù)數(shù)據(jù)標(biāo)標(biāo)準(zhǔn)的的落地地執(zhí)行行和數(shù)數(shù)據(jù)標(biāo)標(biāo)準(zhǔn)檢檢核。數(shù)據(jù)標(biāo)標(biāo)準(zhǔn)管管理平平臺：：第二十十六條條數(shù)數(shù)據(jù)標(biāo)準(zhǔn)在在更新新后，，計(jì)劃劃財(cái)務(wù)務(wù)部應(yīng)應(yīng)在平平臺上上及時時發(fā)布布數(shù)據(jù)據(jù)標(biāo)準(zhǔn)準(zhǔn)變更更通告附則：第二十十七條因因違反本本辦法法產(chǎn)生生的不不良后后果或或造成成損失失，視視情節(jié)節(jié)按照照有關(guān)關(guān)規(guī)定定追究究相關(guān)關(guān)人員員責(zé)任任。第二十八八條如果果數(shù)據(jù)標(biāo)準(zhǔn)準(zhǔn)管理工工作中出出現(xiàn)爭議議或者分分歧，可可向數(shù)據(jù)據(jù)管控辦辦公室申申請復(fù)議議，由數(shù)數(shù)據(jù)管控控辦公室室協(xié)調(diào)解解決。對對無法解解決的重重大爭議議和分歧歧，由數(shù)數(shù)據(jù)管控控辦公室室報(bào)請數(shù)數(shù)據(jù)管控控委員會會決策。示例43數(shù)據(jù)管控控委員會會和辦公公室數(shù)據(jù)管控委員會（行長、各部門負(fù)責(zé)人）數(shù)據(jù)管控辦公室（計(jì)劃財(cái)務(wù)部、信息技術(shù)部）數(shù)據(jù)標(biāo)準(zhǔn)管理團(tuán)隊(duì)數(shù)據(jù)質(zhì)量管理團(tuán)隊(duì)數(shù)據(jù)需求管理團(tuán)隊(duì)元數(shù)據(jù)管理團(tuán)隊(duì)對全行數(shù)數(shù)據(jù)管控控工作進(jìn)進(jìn)行集中中統(tǒng)一領(lǐng)領(lǐng)導(dǎo)，協(xié)協(xié)調(diào)相關(guān)關(guān)各職能能部門的的運(yùn)作；審議全行行數(shù)據(jù)管管控建設(shè)設(shè)狀況，，研究確確定全行行數(shù)據(jù)管管控的戰(zhàn)戰(zhàn)略、方方針和政政策；審定全行行數(shù)據(jù)管管控方案案與實(shí)施施計(jì)劃，，監(jiān)督檢檢查全行行數(shù)據(jù)管管控措施施的執(zhí)行行情況；；不定期審審議數(shù)據(jù)據(jù)管控重重大變更更事項(xiàng)；；針對數(shù)據(jù)據(jù)檢查報(bào)報(bào)告中提提出的嚴(yán)嚴(yán)重違規(guī)規(guī)及重大大問題，，在全行行范圍內(nèi)內(nèi)協(xié)調(diào)整整改、處處理及處處罰；定期聽取取數(shù)據(jù)管管控辦公公室對數(shù)數(shù)據(jù)管控控工作的的匯報(bào)；；審議其他他需提交交委員會會研究的的數(shù)據(jù)管管控事項(xiàng)項(xiàng)。溝通和協(xié)協(xié)調(diào)數(shù)據(jù)管控控日常管管理工作作；制定數(shù)據(jù)管控控相關(guān)工工作計(jì)劃劃；推動數(shù)據(jù)管控控執(zhí)行策策略和執(zhí)執(zhí)行方案案定期向決決策委員員會匯報(bào)數(shù)據(jù)管控控工作情情況；制定并審審核數(shù)據(jù)平臺臺用戶角角色和數(shù)數(shù)據(jù)訪問問權(quán)限控控制方案案。數(shù)據(jù)管控控委員會會和辦公公室是數(shù)據(jù)運(yùn)營營和管理理的組織織。示例44數(shù)據(jù)管控控總體組組織架構(gòu)構(gòu)數(shù)據(jù)管控控委員會會數(shù)據(jù)質(zhì)量量管理專專員數(shù)據(jù)質(zhì)量量管理員員數(shù)據(jù)質(zhì)量量平臺管管理員數(shù)據(jù)標(biāo)準(zhǔn)準(zhǔn)管理專專員數(shù)據(jù)標(biāo)準(zhǔn)準(zhǔn)管理員員數(shù)據(jù)標(biāo)準(zhǔn)準(zhǔn)平臺管管理員數(shù)據(jù)需求求管理專專員數(shù)據(jù)需求求管理員員需求平臺臺管理員員元數(shù)據(jù)管管理專員員元數(shù)據(jù)管管理員元數(shù)據(jù)平平臺管理理員數(shù)據(jù)管控控辦公室室數(shù)據(jù)標(biāo)準(zhǔn)準(zhǔn)管理團(tuán)團(tuán)隊(duì)數(shù)據(jù)質(zhì)量量管理團(tuán)團(tuán)隊(duì)數(shù)據(jù)需求求管理團(tuán)團(tuán)隊(duì)元數(shù)據(jù)管管理團(tuán)隊(duì)隊(duì)示例45數(shù)據(jù)管控控平臺46標(biāo)準(zhǔn)應(yīng)用用—標(biāo)準(zhǔn)管理理系統(tǒng)_標(biāo)準(zhǔn)瀏覽覽八大類信信息項(xiàng)目錄樹產(chǎn)品分類類映射到PMS中INDV_BASC_NFO的EDU_LEVEL學(xué)歷標(biāo)準(zhǔn)準(zhǔn)代碼小類信息息項(xiàng)明細(xì)信息項(xiàng)標(biāo)準(zhǔn)與系系統(tǒng)映射射映射到具具體字段段47數(shù)據(jù)質(zhì)量量檢核環(huán)環(huán)節(jié)在數(shù)據(jù)倉倉庫的各各個環(huán)節(jié)節(jié)制定數(shù)數(shù)據(jù)質(zhì)量量檢查方方案和檢檢查指標(biāo)標(biāo)，并在在ETL過程中進(jìn)進(jìn)行數(shù)據(jù)據(jù)質(zhì)量檢檢查，檢檢查結(jié)果果直接返返回到數(shù)數(shù)據(jù)質(zhì)量量管理結(jié)結(jié)果庫，，供數(shù)據(jù)據(jù)質(zhì)量系系統(tǒng)進(jìn)行行數(shù)據(jù)質(zhì)質(zhì)量監(jiān)控控和分析。48數(shù)據(jù)質(zhì)量量管理系統(tǒng)檢核規(guī)則則檢核結(jié)果質(zhì)量分析析檢核字段段：OPERATERID記錄總數(shù)數(shù)：3397問題總數(shù)數(shù)：285檢核字段段：COLNUMBER檢核類型型：非空空檢核頻度度規(guī)則基本本屬性規(guī)則擴(kuò)展展屬性指標(biāo)趨勢勢分析非空問題題：31%長度問題題：31%一致性問問題：38%趨勢分析析問題數(shù)：：3問題數(shù)：：7類型分析析檢核對象象規(guī)則定義義報(bào)警渠道道49TOPIC商業(yè)智能的應(yīng)用示例1數(shù)據(jù)倉庫解決方案架構(gòu)23進(jìn)入大數(shù)據(jù)時代4Q&A50阿里小貸貸的傳奇奇51阿里小貸貸，債務(wù)務(wù)人無需提供供抵押品品或第三三方擔(dān)保保僅憑自自己的信信譽(yù)就能能取得貸貸款，并并以借款款人信用用程度作作為還款款保證截至2012年6月，浙江江和重慶慶的阿里里小貸以以16億元的注注冊資金金累計(jì)貸貸款260多億元，，累計(jì)服服務(wù)企業(yè)業(yè)12.9萬家，單單日利息息收入100萬元，不不良率為為0.9%。單筆小小微信貸貸操作作成本為為2.3元，阿里里小貸被被冠以了了“最賺賺錢的小小貸公司司”的稱號“大數(shù)據(jù)據(jù)時代””維克托?邁爾-舍恩伯格格(ViktorMayer-Sch?nberger)5250億-全球2011年手機(jī)機(jī)用戶數(shù)數(shù)300億-Facebook每月共享享出來的的信息條條數(shù)1.2萬萬億GB(1.2ZB)-2011年全球數(shù)據(jù)量40%：全球每每年的數(shù)數(shù)據(jù)量增增長率6.8億臺：2012年全球智智能手機(jī)銷量預(yù)測1.8億臺：2012年中國智智能手機(jī)銷量預(yù)測IDC:The3rdPlatformandBigData53數(shù)據(jù)已經(jīng)成為一種新的經(jīng)濟(jì)資產(chǎn)類別，就像貨幣和黃金Gartner：2015年大數(shù)據(jù)據(jù)將帶來來440萬IT崗位Source:InformationWeek2013Analytics,BusinessIntelligenceandInformationManagementSurveyGartner：2015年大數(shù)據(jù)據(jù)將帶來來440萬IT崗位Gartner最新研究究數(shù)據(jù)顯顯示，2013年全球IT支出預(yù)計(jì)計(jì)將超過過3.7萬億美元元，與2012年3.6萬億美元元的支出出預(yù)計(jì)相相比，增增長3.8%。而大數(shù)數(shù)據(jù)正在在創(chuàng)造輝輝煌，將將帶來大大量就業(yè)業(yè)機(jī)會。。Gartner高級副總總裁兼全全球研究究負(fù)責(zé)人人PeterSondergaard表示：““到2015年，大數(shù)數(shù)據(jù)將為為全球帶帶來440萬個IT崗位，其其中190萬個IT崗位在美美國。此此外，在在美國，，每個大大數(shù)據(jù)相相關(guān)的崗位將催生三三個非IT的就業(yè)機(jī)機(jī)會。在在未來的的四年里里，信息息經(jīng)濟(jì)將將推動美美國產(chǎn)生生600萬個就業(yè)業(yè)機(jī)會。。”Gartner同時也指指出，分分析師們們將提醒醒人們注注意，現(xiàn)現(xiàn)在我們們非常缺缺乏對所所有數(shù)據(jù)據(jù)以及數(shù)數(shù)據(jù)的使使用方法法都很了了解的數(shù)數(shù)據(jù)科學(xué)學(xué)家。Gartner預(yù)測：2020年大數(shù)據(jù)據(jù)將成傳傳統(tǒng)行業(yè)DataScientist:TheSexiestJobofthe21stCenturybyThomasDavenportGartner預(yù)測：2015年大數(shù)據(jù)據(jù)將帶來來440萬IT崗位HarvardBusinessReviewaboutDataScientist54IBMAddsVeracity(Uncertainty)to3VsofBigData55Oracle’’sV:價(jià)值密度度低Value單條數(shù)據(jù)據(jù)并無太太多價(jià)值值，但龐龐大的數(shù)數(shù)據(jù)量蘊(yùn)蘊(yùn)含巨大大財(cái)富56AvailableInformationAnalyzed

InformationAnalyzeALLAvailableInformationTraditionalApproachBigDataApproachAnalyzeSmallSubsetsofInformationAnalyzeAllInformationLeveragemoreofthedatabeingcapturedBigData使得思維維模式發(fā)發(fā)生轉(zhuǎn)變變57TraditionalApproachBigDataApproachCarefullyCleanseInformationBeforeAnalysisAnalyzeAllInformationAsIsASmallAmountofCarefullyCleansedInformationAnalyzedInformationAVeryLargeAmountofMessyInformationAnalyzedInformationReduceeffortrequiredtoleveragedataBigData使得思維模模式發(fā)生轉(zhuǎn)轉(zhuǎn)變58TraditionalApproachBigDataApproachStartwithHypothesis,TestAgainstSelectedDataExploreALLData,IdentifyCorrelations?Analyzed

InformationQuestionDataAnswerHypothesisDataCorrelationAllInformationExplorationActionableInsightDataleadstheway…andsometimescorrelationsaregoodenoughBigData使得思維模模式發(fā)生轉(zhuǎn)轉(zhuǎn)變59TraditionalApproachBigDataApproachAnalyzedataAFTERithasbeenprocessedandlandedinaWarehouseorMartAnalyzedataINMOTIONasitisgenerated,inreal-timeLeveragedataasitiscapturedBigData使得思維模模式發(fā)生轉(zhuǎn)轉(zhuǎn)變60$M7006005004003002001000InfrastructureSoftwareServicesIDC預(yù)測中國大大數(shù)據(jù)技術(shù)術(shù)與服務(wù)市場將會從從2011年的7760萬美元快速增長到到2016年的6.16億美元大數(shù)據(jù)應(yīng)用用目前仍然然還處在早早期發(fā)展階段。?；ヂ?lián)網(wǎng)公公司使用的的更為廣廣泛，它們們主要基于于開源軟件件開發(fā)大大數(shù)據(jù)應(yīng)用用。電信和和銀行開始對大數(shù)據(jù)據(jù)應(yīng)用產(chǎn)生生濃厚的興興趣。Hadoop/MapReduce生態(tài)系統(tǒng)將會在大數(shù)據(jù)應(yīng)用發(fā)展中扮演重要的角色。使用Hadoop技術(shù)的初創(chuàng)公司層出不窮。大廠商都在加強(qiáng)對Hadoop技術(shù)的支持。但未來大數(shù)據(jù)世界將會是一個多元世界，多種技術(shù)將將會并存大數(shù)據(jù)相關(guān)關(guān)人才的欠欠缺將會成成為影響響大數(shù)據(jù)市市場發(fā)展的的一個重要要因素。。7中國大數(shù)據(jù)據(jù)市場未來來5年將會會以51.4%的速速度增長6113BigDataVendorstoWatchin2013byinformationWeek62HadoopProjectsandVendorDistributions63VendorsProjectsClouderaMapRIBMHortonworksEMCDataStaxHadoopMapReduceYesYesYesYesYesYesHDFSYesYes,anddirectmountNFSYes,andGPFSYesYesNo,butCassandraApachePigYesYesYesYesYesYesApacheHiveYesYesYesYesYesYesApacheHbaseYesYesYesYesYesNo,butCassandraApacheZooKeeperYesYesYesYesYesNoApacheFlume(Incubator)YesYesYesOptionalNoNoApacheOozie(Incubator)YesYesYesOptionalNoNoApacheMahoutYesYesNoOptionalYesNoApacheSqoop(Incubator)YesYesNoOptionalNoNoApacheWhirrYesYesNoNoNoNoApacheAvroYesYesYesNoNoNoHueYesMapRControlSystemNo,butBigInsightsConsoleNoNoNoCascadingNoYesNoNoNoNoApacheLuceneNoNoYesNoNoNoJaqlNoNoYesNoNoNoApacheHCatalog(Incubator)NoNoNoYesNoNoApacheAmbari(Incubator)No,butClouderaManagerNoNoYesNoNo,butOpsCenterApacheCassandraNoNoNoNoNoYesVendorimplementationasofFeb2012.ForHadoopprojectandvendorcapabilitydetailsreadHowtoChoosetheRightApacheHadoopDistribution技術(shù)路線對比內(nèi)容關(guān)系型數(shù)據(jù)庫(非SMP）Hadoop大數(shù)據(jù)平臺數(shù)據(jù)壓縮壓縮比較高壓縮比較低歷史拉鏈實(shí)現(xiàn)簡單實(shí)現(xiàn)復(fù)雜（使用Hive)數(shù)據(jù)分區(qū)支持不支持索引支持部分商用平臺支持高并發(fā)簡單查詢支持擅長（使用Hbase）低并發(fā)復(fù)雜查詢擅長實(shí)現(xiàn)復(fù)雜（使用Hive)混合負(fù)載管理支持部分商用平臺支持?jǐn)?shù)據(jù)文件導(dǎo)出實(shí)現(xiàn)簡單Hbase導(dǎo)出實(shí)現(xiàn)復(fù)雜，HDFS導(dǎo)出簡單系統(tǒng)高可用性高高說明：如果果采用非SMP的關(guān)系型數(shù)數(shù)據(jù)庫，可可支持非現(xiàn)現(xiàn)場審計(jì)應(yīng)應(yīng)用，如果果采用hadoop大數(shù)據(jù)平臺臺，則不支支持非現(xiàn)場場審計(jì)應(yīng)用用。64傳統(tǒng)DBMS數(shù)據(jù)處理與與Hadoop應(yīng)用層數(shù)據(jù)處理方方式業(yè)務(wù)系統(tǒng)數(shù)據(jù)集成平平臺（ODS、數(shù)據(jù)倉庫庫、數(shù)據(jù)集集市）非結(jié)構(gòu)化數(shù)數(shù)據(jù)大數(shù)據(jù)平臺臺(Hadoop)傳統(tǒng)分析應(yīng)應(yīng)用（如Cognos等BI系統(tǒng)）大數(shù)據(jù)挖掘掘分析***數(shù)據(jù)結(jié)構(gòu)化化、擴(kuò)展ETL：把松散的非非結(jié)構(gòu)化信信息轉(zhuǎn)換為為有價(jià)值的的結(jié)構(gòu)化信信息，補(bǔ)充充數(shù)據(jù)倉庫庫的數(shù)據(jù)源源，如地理理信息數(shù)