1、IBM 大數(shù)據(jù)平臺解決方案介紹,Dalian, 11 March, 2013 Xiao Fei Wang,1. 項(xiàng)目背景理解,IBM 大數(shù)據(jù)平臺解決方案,2.,當(dāng)前業(yè)務(wù)面臨的挑戰(zhàn),數(shù)據(jù)問題,慢,缺,重,散,繁,差,企業(yè)內(nèi)數(shù)據(jù)定義缺失；數(shù)據(jù)項(xiàng)缺失；數(shù)據(jù)屬性不完整； 企業(yè)外部數(shù)據(jù)無暇顧及；,數(shù)據(jù)在多個(gè)系統(tǒng)中重復(fù)采集、重復(fù)存儲；,系統(tǒng)數(shù)據(jù)無法關(guān)聯(lián)、共享，數(shù)據(jù)整合困難；系統(tǒng)林立，數(shù)出多門；,數(shù)據(jù)時(shí)效性差，使用者無法及時(shí)獲得所需信息；,數(shù)據(jù)使用不方便，方法繁瑣；手工報(bào)表多；,數(shù)據(jù)質(zhì)量差，數(shù)據(jù)不完整，數(shù)據(jù)不一致；,沒有準(zhǔn)確數(shù)據(jù)支撐 難以進(jìn)行深度分析 決策缺乏可靠依據(jù),3.,IT如何推動公司運(yùn)營變革,2、服

2、務(wù)管控模式逐步完善 夯實(shí)基礎(chǔ)管理 管控思路由簡單支撐向精細(xì)服務(wù)轉(zhuǎn)型 全面優(yōu)化信息化服務(wù)流程實(shí)現(xiàn)分級服務(wù),保險(xiǎn)行業(yè)經(jīng)過多年的發(fā)展，整個(gè)行業(yè)的變革越來越快，市場競爭環(huán)境也日益激烈。保險(xiǎn)公司想要在殘酷的競爭中占得先機(jī)，就必須考慮產(chǎn)業(yè)的融合，并在價(jià)值鏈中占得有利的位置。,1、由被動的IT支撐向主動的以數(shù)據(jù)為核心的IT服務(wù)轉(zhuǎn)型 以大數(shù)據(jù)為核心組織IT服務(wù)能力 持續(xù)完善基礎(chǔ)支撐能力 擁抱互聯(lián)網(wǎng) 架構(gòu)體系全面云化,4.,大數(shù)據(jù)思考,根據(jù)Gartner的定義，大數(shù)據(jù)的特征具體涵蓋了3V的內(nèi)容： 數(shù)據(jù)量龐大（Volume）：從PB擴(kuò)展到ZB；IT系統(tǒng)、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等每天都在產(chǎn)生大量新生數(shù)據(jù)，過去的兩年間產(chǎn)生的

3、數(shù)據(jù)占到了所有數(shù)據(jù)的90% 數(shù)據(jù)變化快 (Velocity)：數(shù)據(jù)變化與處理的頻度由天加速到秒/毫秒；訂單、支付、欺詐、微博、監(jiān)控視頻、傳感器、信令每時(shí)每刻都在不停的產(chǎn)生數(shù)據(jù) 數(shù)據(jù)多樣（Variety)：數(shù)據(jù)種類繁多：數(shù)據(jù)庫表，格式文本，自然語言文本，電子表格，聲音，圖片，視頻,5.,大數(shù)據(jù)應(yīng)用價(jià)值可以從公司側(cè)和客戶側(cè)體現(xiàn),客戶： 精準(zhǔn)服務(wù) 及時(shí)響應(yīng) 智能應(yīng)用,透明管控,圍繞大數(shù)據(jù)應(yīng)用，促使公司實(shí)現(xiàn)科學(xué)運(yùn)營、價(jià)值創(chuàng)造以及透明管控，一方面能使得公司側(cè)感知到大數(shù)據(jù)帶來的管理、決策、運(yùn)營效率和質(zhì)量的提升；另一方面，能夠使客戶感知到大數(shù)據(jù)帶來業(yè)務(wù)開發(fā)的智能、服務(wù)及時(shí)以及與需求匹配的精準(zhǔn)。,科學(xué)運(yùn)營,價(jià)

4、值創(chuàng)造,企業(yè)： 開發(fā)便捷 分析及時(shí) 決策支持 數(shù)據(jù)準(zhǔn)確 ,客戶,6.,2. 大數(shù)據(jù)平臺需求理解,IBM 大數(shù)據(jù)平臺解決方案,7.,大數(shù)據(jù)平臺的關(guān)鍵需求,角色,流程,數(shù)據(jù)應(yīng)用,數(shù)據(jù)分類,結(jié)構(gòu)化了企業(yè)架構(gòu)中四大架構(gòu)的關(guān)鍵要素，以及要素間的承接關(guān)系，形成了一套規(guī)范、清晰的定義，從而為大數(shù)據(jù)平臺的方案設(shè)計(jì)建立了更明確的指導(dǎo)依據(jù)和驗(yàn)證方法。,柔性架構(gòu)的大數(shù)據(jù)平臺 企業(yè)架構(gòu)方法論和云計(jì)算技術(shù)讓建立柔性架構(gòu)成為可能，基于企業(yè)架構(gòu)元模型，建立柔性的架構(gòu)需要實(shí)現(xiàn)業(yè)務(wù)、應(yīng)用、數(shù)據(jù)、技術(shù)四個(gè)架構(gòu)層面的解耦。 業(yè)務(wù)應(yīng)用/數(shù)據(jù)：業(yè)務(wù)活動在業(yè)務(wù)架構(gòu)和應(yīng)用架構(gòu)(大數(shù)據(jù)平臺)間具有承上啟下的作用，可從業(yè)務(wù)類型和業(yè)務(wù)活動類型兩

5、個(gè)維度劃分，前者體現(xiàn)業(yè)務(wù)差異，后者更多體現(xiàn)數(shù)據(jù)平臺能力要求，且可以穩(wěn)定地分為決策類、管理類、執(zhí)行類和分析類四種，因此業(yè)務(wù)與IT的解耦可從四類業(yè)務(wù)活動支撐實(shí)現(xiàn)。 應(yīng)用數(shù)據(jù)：應(yīng)用和數(shù)據(jù)共同承接了業(yè)務(wù)，數(shù)據(jù)實(shí)體也承接了應(yīng)用交互，因此二者解耦的核心是數(shù)據(jù)實(shí)體。這可以通過建立穩(wěn)定的、彈性的企業(yè)企業(yè)級大數(shù)據(jù)模型、數(shù)據(jù)整合與存儲區(qū)域，保證未來應(yīng)用對數(shù)據(jù)操作的可擴(kuò)展，以及屏蔽了應(yīng)用對底層數(shù)據(jù)直接訪問的數(shù)據(jù)服務(wù)加以實(shí)現(xiàn)。 應(yīng)用/數(shù)據(jù)技術(shù)：系統(tǒng)組件承接了應(yīng)用和數(shù)據(jù)，因此要實(shí)現(xiàn)該層面的解耦，需要解決系統(tǒng)組件對應(yīng)用的依賴，可通過建立應(yīng)用開發(fā)平臺、數(shù)據(jù)交換平臺和數(shù)據(jù)管控平臺來實(shí)現(xiàn)。同時(shí)基于云計(jì)算的彈性擴(kuò)展和虛擬化技術(shù)實(shí)

6、現(xiàn)系統(tǒng)組件與基礎(chǔ)設(shè)施的解耦。,8.,大數(shù)據(jù)平臺能力需求分析決策類業(yè)務(wù)活動,決策就是為達(dá)到某一目標(biāo)而在若干個(gè)可行方案經(jīng)過分析、比較、判斷，從中選擇并賦予實(shí)施的過程據(jù)諾賓斯泰（Robenstein）將決策過程定義為五個(gè)步驟 大數(shù)據(jù)平臺的核心是數(shù)據(jù)，從數(shù)據(jù)生命周期看，大數(shù)據(jù)的生成、獲取、整合、服務(wù)、應(yīng)用、歸檔各個(gè)步驟分別有著不同的目標(biāo)，并面臨不同的問題 從決策類活動過程和數(shù)據(jù)生命周期兩個(gè)維度，對大數(shù)據(jù)平臺的決策類活動的支撐能力需求進(jìn)行分析,通過優(yōu)化技術(shù)選擇滿足約束條件的最優(yōu)方案,4V,產(chǎn)生,應(yīng)用,獲取,整合,服務(wù),歸檔,應(yīng)用,通過仿真技術(shù)進(jìn)行各種方案的預(yù)演與細(xì)化,整合,案例類、規(guī)則類知識支撐 規(guī)則制

7、度信息查詢,實(shí)時(shí)/準(zhǔn)實(shí)時(shí)數(shù)據(jù)捕獲 客戶行為捕獲 企業(yè)/用戶互聯(lián)網(wǎng)數(shù)據(jù)捕獲,應(yīng)用,服務(wù),獲取,整合,大數(shù)據(jù)的存儲和管理 海量數(shù)據(jù)的快速分析,海量數(shù)據(jù)的快速獲取,歸檔,整合,服務(wù),應(yīng)用,歸檔,獲取,整合,服務(wù),應(yīng)用,歸檔,獲取,服務(wù),歸檔,實(shí)時(shí)/準(zhǔn)實(shí)時(shí)數(shù)據(jù)捕獲 互聯(lián)網(wǎng)數(shù)據(jù)捕獲,冷數(shù)據(jù)的近線訪問,快速的數(shù)據(jù)服務(wù)執(zhí)行 簡便的數(shù)據(jù)服務(wù)使用,非結(jié)構(gòu)化數(shù)據(jù)的挖掘和分析,快速的數(shù)據(jù)轉(zhuǎn)儲和歸檔,高可用的數(shù)據(jù)支撐,建立柔性的架構(gòu)支撐 個(gè)性化應(yīng)用開發(fā)支撐,最終用戶自定制的數(shù)據(jù)服務(wù),與生產(chǎn)系統(tǒng)在功能和數(shù)據(jù)分工上清晰合理,與生產(chǎn)系統(tǒng)的及時(shí)交互 決策執(zhí)行業(yè)務(wù)活動中的數(shù)據(jù)支撐,9.,大數(shù)據(jù)平臺能力需求分析分析類業(yè)務(wù)活動,分

8、析類活動是通過對數(shù)據(jù)的深入分析，力求取得更深刻業(yè)務(wù)洞察的過程，參考DM-CRISP數(shù)據(jù)挖掘方法論，包括業(yè)務(wù)理解、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)建模、模型評估和模型部署六個(gè)步驟,4V,產(chǎn)生,應(yīng)用,獲取,整合,服務(wù),歸檔,應(yīng)用,整合,應(yīng)用,服務(wù),獲取,整合,歸檔,整合,服務(wù),應(yīng)用,歸檔,獲取,整合,服務(wù),應(yīng)用,歸檔,獲取,服務(wù),歸檔,模型評估,應(yīng)用,整合,獲取,服務(wù),歸檔,歷史數(shù)據(jù)探查和分析,海量數(shù)據(jù)的快速獲取 方便準(zhǔn)確的數(shù)據(jù)抽樣能力,探索數(shù)據(jù)可方便歸檔和恢復(fù),非結(jié)構(gòu)化數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)的獲取 海量數(shù)據(jù)的獲取,非結(jié)構(gòu)化數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)的整合 流數(shù)據(jù)概要數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)的整合 海量數(shù)據(jù)的處理能力,非結(jié)構(gòu)化數(shù)據(jù)

9、分析能力 海量數(shù)據(jù)分析能力,支撐不同分析的數(shù)據(jù)寬表,寬表數(shù)據(jù)歸檔,豐富的數(shù)據(jù)挖掘算法 建模過程中的模擬仿真 仿真結(jié)果的優(yōu)化計(jì)算 調(diào)用API進(jìn)行模型訓(xùn)練能力,豐富的數(shù)據(jù)計(jì)算和可視化,分析模型能夠?qū)С鰹榭芍苯邮褂玫脑u分條件，如SQL,評估數(shù)據(jù)能夠嵌入到模型評估中，通過外部調(diào)用發(fā)現(xiàn)已經(jīng)退化的模型,模型分析結(jié)果的快速回寫,模型評估數(shù)據(jù)集的提取,模型分析結(jié)果嵌入到生產(chǎn)系統(tǒng)中,模型分析源數(shù)據(jù)的預(yù)處理與獲取,10.,大數(shù)據(jù)平臺關(guān)鍵能力需求應(yīng)用開發(fā)與運(yùn)行,當(dāng)前總部BI系統(tǒng)的數(shù)據(jù)應(yīng)用需求包括業(yè)務(wù)部門的計(jì)劃性業(yè)務(wù)支撐需求和大量的臨時(shí)性支撐需求，以及IT部門自身規(guī)劃中的計(jì)劃性支撐需求； 省公司經(jīng)分系統(tǒng)也需要支撐來自

10、業(yè)務(wù)部門和IT部門的大量支撐需求，同時(shí)要完成集團(tuán)下發(fā)的IT規(guī)范要求 未來省公司數(shù)據(jù)集中后，大數(shù)據(jù)平臺將必須承擔(dān)省分公司和總部的全部數(shù)據(jù)應(yīng)用服務(wù)需求,數(shù)據(jù)應(yīng)用需求急速增長,總公司IT增長緩慢,省公司IT投入有限,平臺開發(fā)方面：如何支撐急速增長的數(shù)據(jù)應(yīng)用需求 平臺執(zhí)行方面：如何保障海量大并發(fā)的數(shù)據(jù)訪問需求和海量數(shù)據(jù)處理的性能要求,大數(shù)據(jù)平臺將面臨兩大挑戰(zhàn),IT人力緊張 IT系統(tǒng)擴(kuò)容難 IT投入效益難保障,11.,大數(shù)據(jù)平臺關(guān)鍵能力需求更直接的決策支持,未來大數(shù)據(jù)平臺,當(dāng)前BI系統(tǒng),結(jié)構(gòu)化決策：庫存控制 半結(jié)構(gòu)化決策：套餐設(shè)計(jì) 非結(jié)構(gòu)化決策：產(chǎn)品外觀設(shè)計(jì),知識庫(事實(shí)知識、規(guī)則知識、案例知識),模型

11、的建立基于預(yù)先假設(shè) 模型所需數(shù)據(jù)事先確定已知 模型是靜態(tài)的 模型的數(shù)學(xué)形式很完善，但往往不能符合實(shí)際業(yè)務(wù)情況,DWD,DWA,ODS,DM,DM,DM,非結(jié)構(gòu)化數(shù)據(jù),12.,3. 大數(shù)據(jù)平臺定位分析,IBM 大數(shù)據(jù)平臺解決方案,13.,前期初步確立的大數(shù)據(jù)平臺目標(biāo)技術(shù)架構(gòu),目標(biāo)架構(gòu)： 擁抱互聯(lián)網(wǎng)、運(yùn)用云計(jì)算技術(shù)，建立開放的基于SOA架構(gòu)的中國企業(yè)集中化云數(shù)據(jù)服務(wù)支撐平臺，面向全國各級經(jīng)營主體和總部集中平臺提供大數(shù)據(jù)、分布式、實(shí)時(shí)智能數(shù)據(jù)服務(wù)支撐與客戶響應(yīng)，并注重公共數(shù)據(jù)、公共能力的一點(diǎn)沉淀與全網(wǎng)共享，實(shí)現(xiàn)基于特定對象、特定需求的個(gè)性化自主定制、靈活組件組裝，高效實(shí)現(xiàn)一級系統(tǒng)多維應(yīng)用多級支撐,圍

12、繞三個(gè)維度：透明管控、科學(xué)運(yùn)營、價(jià)值創(chuàng)造 強(qiáng)調(diào)開放靈活：基于開放業(yè)務(wù)組件、應(yīng)用開發(fā)平臺、公共應(yīng)用模型等構(gòu)建，靈活支撐個(gè)性化應(yīng)用開發(fā)、部署和推廣 實(shí)施五項(xiàng)管控：數(shù)據(jù)模型與標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、元數(shù)據(jù)、數(shù)據(jù)生命周期 推行五個(gè)一點(diǎn)：一點(diǎn)源頭采集、一點(diǎn)加工轉(zhuǎn)換、一點(diǎn)存儲、一點(diǎn)分析挖掘、一點(diǎn)服務(wù)提供,數(shù)據(jù)模型 標(biāo)準(zhǔn)管控,14.,基于技術(shù)架構(gòu)目標(biāo)，加入大數(shù)據(jù)平臺建設(shè)的驅(qū)動力,分析類系統(tǒng)應(yīng)該建立多少數(shù)據(jù)庫，多少種數(shù)據(jù)庫,保證數(shù)據(jù)從省分及時(shí)向集團(tuán)提供準(zhǔn)確唯一數(shù)據(jù),現(xiàn)存問題,在一個(gè)框架下有效支持5級體系的個(gè)性化開發(fā)和共性開發(fā),提供多種形式數(shù)據(jù)服務(wù)提供方式，并有效執(zhí)行,數(shù)據(jù)應(yīng)用,數(shù)據(jù)服務(wù),數(shù)據(jù)交換采集,數(shù)據(jù)整

13、合,數(shù)據(jù)存儲,數(shù)據(jù)管控,新興技術(shù),流數(shù)據(jù)處理架構(gòu)和體系,桌面云管理技術(shù),IaaS 、PaaS，SaaS，DaaS等云管理技術(shù),內(nèi)容數(shù)據(jù)處理架構(gòu)和體系,提供多廠商、多系統(tǒng)的統(tǒng)一開發(fā)平臺,15.,大數(shù)據(jù)平臺應(yīng)具備的技術(shù)支撐能力,10,9,6,2,數(shù)據(jù)捕獲,數(shù)據(jù)服務(wù),大數(shù)據(jù)產(chǎn)生,知識沉淀,數(shù)據(jù)消亡,清晰的整合層次和加工時(shí)效 海量數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、實(shí)時(shí)流數(shù)據(jù)等多樣化的存儲與管理 Gartner于2012年7月提出大數(shù)據(jù)管理中：“列式存儲數(shù)據(jù)庫、云計(jì)算和內(nèi)存數(shù)據(jù)庫在未來5年內(nèi)將是3個(gè)最重要的技術(shù)”,數(shù)據(jù)價(jià)值,1,0,4,數(shù)據(jù)整合,3,數(shù)據(jù)處理,14,業(yè)務(wù)信息,8,系統(tǒng)支撐,5,數(shù)據(jù)分析,11,數(shù)據(jù)冷卻

14、,13,數(shù)據(jù)歸檔,示意,12,近線存儲,7,數(shù)據(jù)展示,大數(shù)據(jù)生命周期,時(shí)間,大數(shù)據(jù)平臺將借助云計(jì)算的快速可擴(kuò)展性、標(biāo)準(zhǔn)化服務(wù)、自助服務(wù)等特征，強(qiáng)化大數(shù)據(jù)的獲取、處理、整合、分析、服務(wù)等技術(shù)支撐能力，促進(jìn)敏捷化、個(gè)性化的數(shù)據(jù)應(yīng)用開發(fā)，最終助力IT對業(yè)務(wù)轉(zhuǎn)型的推動。,海量數(shù)據(jù)的識別和快速裝入 數(shù)據(jù)分布流轉(zhuǎn) 互聯(lián)網(wǎng)數(shù)據(jù)和客戶行為捕獲 實(shí)時(shí)/準(zhǔn)實(shí)時(shí)數(shù)據(jù)捕獲,大量數(shù)據(jù)服務(wù)需求的快速開發(fā)支撐 快速數(shù)據(jù)服務(wù)執(zhí)行 簡便的數(shù)據(jù)服務(wù)使用 清晰的數(shù)據(jù)服務(wù)目錄 數(shù)據(jù)服務(wù)使用記錄,針對海量數(shù)據(jù)的高性能數(shù)據(jù)分析 實(shí)時(shí)數(shù)據(jù)的即時(shí)分析 非結(jié)構(gòu)化數(shù)據(jù)的智能分析（如網(wǎng)頁的標(biāo)引、結(jié)構(gòu)化解析，視頻、圖片的模式識別等） 高級分析算法,

15、海量冷數(shù)據(jù)（包括實(shí)時(shí)、非結(jié)構(gòu)化、結(jié)構(gòu)化）的存儲和管理策略 冷數(shù)據(jù)的透明訪問 冷數(shù)據(jù)與熱數(shù)據(jù)的統(tǒng)一支撐 操作型和分析型數(shù)據(jù)的統(tǒng)一歸檔 快速的數(shù)據(jù)轉(zhuǎn)儲和歸檔,數(shù)據(jù)的展現(xiàn)策略 個(gè)性化應(yīng)用開發(fā)支撐 共享應(yīng)用快速部署 對外部系統(tǒng)的支撐 信息提煉以及對業(yè)務(wù)的支撐 知識的組織、沉淀、管理和應(yīng)用,3V,16.,大數(shù)據(jù)平臺與周邊系統(tǒng)的關(guān)系,大數(shù)據(jù)平臺與省分系統(tǒng)和總部系統(tǒng)的關(guān)系主要體現(xiàn)在功能分工協(xié)作和數(shù)據(jù)交換兩大方面，此處將大數(shù)據(jù)平臺作為一個(gè)黑盒子，重點(diǎn)關(guān)注數(shù)據(jù)平臺與外部系統(tǒng)的關(guān)系。,大數(shù)據(jù)平臺,總部系統(tǒng),省分系統(tǒng),功能分工與協(xié)作 生產(chǎn)系統(tǒng)只保留與生產(chǎn)直接相關(guān)的、數(shù)據(jù)稽核（比對）相關(guān)的統(tǒng)計(jì)報(bào)表，其它全部整合到分析

16、平臺上。直接相關(guān)可以從流程和數(shù)據(jù)兩方面考察，一系列連續(xù)業(yè)務(wù)活動，使用相同數(shù)據(jù)的應(yīng)用功能直接相關(guān)（耦合度高），如結(jié)算中的話單數(shù)、成本查詢，需要放在結(jié)算系統(tǒng)。 不直接相關(guān)的統(tǒng)計(jì)、分析類應(yīng)用，由大數(shù)據(jù)平臺通過數(shù)據(jù)服務(wù)，并在D域中統(tǒng)一建立應(yīng)用進(jìn)行支撐。 數(shù)據(jù)交換 一般情況下，D域中的分析類應(yīng)用系統(tǒng)中不單獨(dú)存儲數(shù)據(jù)，系統(tǒng)所需的和系統(tǒng)產(chǎn)生的數(shù)據(jù)都存放在數(shù)據(jù)平臺的數(shù)據(jù)集市中。其中如果系統(tǒng)使用的數(shù)據(jù)較少，可以部門/省分?jǐn)?shù)據(jù)集市；但如果系統(tǒng)涉及的數(shù)據(jù)很多，則需存放在應(yīng)用集市中 生產(chǎn)系統(tǒng)使用的數(shù)據(jù)全部存放在生產(chǎn)系統(tǒng)中，當(dāng)需要與大數(shù)據(jù)平臺發(fā)生共享數(shù)據(jù)時(shí)，則通過數(shù)據(jù)交換進(jìn)行。具體交換周期模式可以是實(shí)時(shí)、準(zhǔn)實(shí)時(shí)和分批交

17、換 大數(shù)據(jù)平臺的數(shù)據(jù)整合策略是根據(jù)業(yè)務(wù)需求，按照數(shù)據(jù)模型定義和數(shù)據(jù)存儲周期的要求，集成生產(chǎn)系統(tǒng)中所需的部分私有數(shù)據(jù)和共享數(shù)據(jù)，而不是全部獲取和集成 生產(chǎn)系統(tǒng)的共享數(shù)據(jù)集（SID）盡管是數(shù)據(jù)中心業(yè)務(wù)職能管轄范圍，但SID不屬于大數(shù)據(jù)平臺的管轄范圍，只是大數(shù)據(jù)平臺中的一個(gè)數(shù)據(jù)源，且SID與大數(shù)據(jù)平臺的數(shù)據(jù)交換是雙向的,數(shù)據(jù)讀取,數(shù)據(jù) 交換,數(shù)據(jù) 交換,17.,大數(shù)據(jù)平臺在Cloud的位置,大數(shù)據(jù)平臺: 外圍關(guān)系：數(shù)據(jù)來源與生產(chǎn)系統(tǒng)的ADB，SID等； 服務(wù)對象：數(shù)據(jù)應(yīng)用、反饋生產(chǎn)系統(tǒng)； 核心內(nèi)容：數(shù)據(jù)管理、數(shù)據(jù)組織、數(shù)據(jù)管控、數(shù)據(jù)服務(wù)； 承載關(guān)系： IaaS統(tǒng)一承載構(gòu)架； PaaS數(shù)據(jù)集與SID和

18、ADB并列； PaaS技術(shù)服務(wù)集：互為補(bǔ)充； PaaS業(yè)務(wù)服務(wù)集：單獨(dú)形成面向分析業(yè)務(wù)服務(wù)集；,大數(shù)據(jù)平臺針對異常復(fù)雜的大數(shù)據(jù)管理，而云計(jì)算為大數(shù)據(jù)管理提供了堅(jiān)實(shí)的技術(shù)支撐。 Cloud以數(shù)據(jù)為核心向上提供標(biāo)準(zhǔn)的封裝服務(wù)，以業(yè)務(wù)(流程)解耦為前提支撐生產(chǎn)經(jīng)營、數(shù)據(jù)加工分析等應(yīng)用。概括的說，Cloud 是大數(shù)據(jù)平臺的載體，為其提供了基礎(chǔ)運(yùn)行環(huán)境。,18.,4. 大數(shù)據(jù)平臺總體架構(gòu)設(shè)計(jì),IBM 大數(shù)據(jù)平臺解決方案,19.,總體邏輯架構(gòu)圖,總部系統(tǒng),基于企業(yè)大數(shù)據(jù)平臺生態(tài)系統(tǒng)框架，總體架構(gòu)可分為系統(tǒng)平臺和參與人兩大部分，其中系統(tǒng)平臺可分為大數(shù)據(jù)平臺、總部IT系統(tǒng)和省分IT系統(tǒng)，參與人可分為企業(yè)內(nèi)部用

19、戶、外部用戶、系統(tǒng)建設(shè)廠商,省分系統(tǒng),圖例,邏輯庫,物理庫,數(shù)據(jù)流,控制流,數(shù)據(jù)整合與存儲,DW/DM,ODS,Cloud-i（資源）,統(tǒng)一 IaaS服務(wù)接口,數(shù)據(jù)服務(wù),數(shù)據(jù)管控,數(shù)據(jù)應(yīng)用 開發(fā)平臺,標(biāo)準(zhǔn)化API,分析 模型,SDK,工具 軟件,數(shù)據(jù)獲取,非結(jié)構(gòu)化數(shù)據(jù),20.,總體邏輯架構(gòu)圖,數(shù)據(jù)應(yīng)用,應(yīng)用開發(fā)平臺,數(shù)據(jù)整合與存儲,數(shù)據(jù)獲取,大數(shù)據(jù)平臺,生產(chǎn)系統(tǒng),數(shù)據(jù)服務(wù),應(yīng)用集市,總部系統(tǒng),備份 文件,備份 文件,備份 文件,備份 文件,省分系統(tǒng),備份 文件,備份 文件,備份 文件,備份 文件,數(shù)據(jù)管控,數(shù)據(jù)歸檔,近線區(qū),歸檔區(qū),明細(xì)類數(shù)據(jù),快照類數(shù)據(jù),日志類數(shù)據(jù),元數(shù)據(jù),快照類數(shù)據(jù),日志類

20、數(shù)據(jù),參數(shù)類數(shù)據(jù),元數(shù)據(jù),明細(xì)類數(shù)據(jù),參數(shù)類數(shù)據(jù),前置機(jī),前置機(jī),圖例,邏輯庫,物理庫,部門集市,ODS,EDSB,部門集市,應(yīng)用集市,EASB,接入適配,數(shù)據(jù)交換層,數(shù)據(jù)處理層,傳輸路由,標(biāo)準(zhǔn)策略管理,交換管理,平臺管理,監(jiān)控告警,作業(yè)管理,處理邏輯定義,獲取管理層,非結(jié)構(gòu)化數(shù)據(jù),流數(shù)據(jù),數(shù)據(jù)抽取,數(shù)據(jù)轉(zhuǎn)換,數(shù)據(jù)裝載,省分集市,省分集市,省分集市,知識庫,DWA,DWD,部門集市,透傳通道,ADB,SID,ADB,SID,21.,總體物理架構(gòu)圖,IaaS,SaaS,PaaS,物理資源,實(shí)時(shí)流/批量ETL,海量分析平臺,歸檔區(qū)資源池,虛擬化,中低端存儲,高端存儲,小型機(jī),X86服務(wù)器,提供能夠

21、滿足用戶需求的各類應(yīng)用程序,關(guān)注軟件架構(gòu)與服務(wù)，提供應(yīng)用在基礎(chǔ)設(shè)施中進(jìn)行計(jì)算所需要的各類服務(wù),提供系統(tǒng)運(yùn)行所需的計(jì)算與存儲資源,SMP+MPP+Hadoop,小型機(jī)/X86 SMP集群,數(shù)據(jù)庫資源池,網(wǎng)絡(luò)設(shè)備,22.,Compute Intensive Applications,Platform Management Console,Platform Enterprise Reporting Framework,Resource Orchestrator,Low-latency Service-oriented Application Middleware,Service Instance M

22、anager (SIM),Enhanced MapReduce Processing Framework,DATA INTENSIVE,Platform Symphony Core,23.,大數(shù)據(jù)平臺方案設(shè)計(jì)關(guān)鍵點(diǎn)和相關(guān)方法論,高可用 數(shù)據(jù)提供,數(shù)據(jù)全面性 數(shù)據(jù)質(zhì)量 數(shù)據(jù)快速提供與分發(fā),數(shù)據(jù)整合 分區(qū)與定位,應(yīng)該如何給大數(shù)據(jù)平臺劃分?jǐn)?shù)據(jù)區(qū)，每個(gè)區(qū)的數(shù)據(jù)目標(biāo)是什么 應(yīng)該分為哪些類數(shù)據(jù)整合區(qū)，有多少個(gè)數(shù)據(jù)庫，每個(gè)數(shù)據(jù)庫的定位是什么，必要性如何,數(shù)據(jù)存儲 成本與性能,海量、多樣性、實(shí)時(shí)數(shù)據(jù)的高性價(jià)比的數(shù)據(jù)管理 在線、近線、離線數(shù)據(jù)的管理策略 易擴(kuò)展的數(shù)據(jù)存儲架構(gòu),支撐大數(shù)據(jù)業(yè)務(wù)戰(zhàn)略的應(yīng)用框架,自頂向

23、下：五個(gè)一點(diǎn)要承接 自底向上：從大數(shù)據(jù)4V特性，如何進(jìn)行創(chuàng)新，真正實(shí)現(xiàn)IT對業(yè)務(wù)的推動,IBM 行業(yè)模型 eTom與SID IBM 數(shù)據(jù)治理方法論,DW2.0方法論 企業(yè)信息工廠方法論 維度建模方法論 IBM BI方法論,維度建模方法論 IBM BI方法論 Hadoop實(shí)施方案,IBM 企業(yè)架構(gòu)(EA)方法論 IBM CBM業(yè)務(wù)組件模型,關(guān)鍵點(diǎn),方法論,關(guān)鍵點(diǎn)描述,自助式 應(yīng)用開發(fā),支持開發(fā)人員的敏捷化開發(fā) 支持最終用戶的自助式的查詢、分析和挖掘,IBM BI方法論 工行數(shù)據(jù)大集中經(jīng)驗(yàn),24.,5. 分項(xiàng)專題關(guān)設(shè)計(jì)思想及注點(diǎn),IBM 大數(shù)據(jù)平臺解決方案,25.,數(shù)據(jù)獲取方案設(shè)計(jì)思想和關(guān)注點(diǎn),采

24、集周期,數(shù)據(jù)傳輸,采集范圍,數(shù)據(jù)模型,采集技術(shù),采集方式,采集方式,聯(lián)動機(jī)制,傳輸技術(shù),選擇企業(yè)現(xiàn)有數(shù)據(jù)模型+IBM行業(yè)數(shù)據(jù)模型+其它優(yōu)秀實(shí)踐， 確立企業(yè)級邏輯數(shù)據(jù)模型 結(jié)合逐步實(shí)現(xiàn)一點(diǎn)源頭采集、 覆蓋MBO全域全景數(shù)據(jù)，滿足橫縱向、內(nèi)外部眾多數(shù)據(jù)源需要,根據(jù)系統(tǒng)中不同數(shù)據(jù)類型的時(shí)間串口（實(shí)時(shí)/準(zhǔn)實(shí)時(shí)/日月）確定合理的數(shù)據(jù)采集周期 根據(jù)管理要求，確定數(shù)據(jù)的采集周期要求，并執(zhí)行,保證采集與源系統(tǒng)聯(lián)動，避免源系統(tǒng)變化影響 根據(jù)數(shù)據(jù)類型、數(shù)據(jù)量、數(shù)據(jù)時(shí)效等特性選擇合適的傳輸技術(shù)和策略,確定數(shù)據(jù)采集和傳輸過程中的關(guān)鍵問題點(diǎn)，監(jiān)控采集可能出現(xiàn)的問題。 數(shù)據(jù)采集問題的排錯(cuò)機(jī)制和容錯(cuò)機(jī)制。,系統(tǒng)現(xiàn)狀,管理需

25、求現(xiàn)狀,系統(tǒng)時(shí)間窗口,采集管控,采集監(jiān)控,問題處置,選擇合適的采集技術(shù)，保證數(shù)據(jù)原生態(tài)、時(shí)效要求 針對結(jié)構(gòu)化/非結(jié)構(gòu)化、海量數(shù)據(jù)并發(fā)處理、實(shí)時(shí)數(shù)據(jù)處理等要求，確定統(tǒng)一的和標(biāo)準(zhǔn)的數(shù)據(jù)采集方式,數(shù)據(jù) 分類,數(shù)據(jù)分布傳輸,26.,數(shù)據(jù)整合與存儲方案設(shè)計(jì)思想和關(guān)注點(diǎn),數(shù)據(jù)整合,基于業(yè)界近期研究進(jìn)展，討論數(shù)據(jù)整合區(qū)域的基本劃分層次 明確整合數(shù)據(jù)區(qū)中應(yīng)該有多少個(gè)邏輯/物理數(shù)據(jù)庫，具體定位 SA、ODS、DWD、DWA、DM數(shù)據(jù)集進(jìn)一步細(xì)分的策略，實(shí)時(shí)中的建模策略、參照方法論等建設(shè)方法 操作型/分析型數(shù)據(jù)數(shù)據(jù)、結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)、實(shí)時(shí)/非實(shí)時(shí)數(shù)據(jù)等不同數(shù)據(jù)類型的功能劃分和整合策略 各個(gè)數(shù)據(jù)集/庫中應(yīng)該存放

26、哪些數(shù)據(jù)，包括數(shù)據(jù)類分布和數(shù)據(jù)生命周期分布策略；數(shù)據(jù)在不同數(shù)據(jù)集間的復(fù)制策略，如數(shù)據(jù)集市是否全量保存DWD中的CDR,數(shù)據(jù)存儲,大數(shù)據(jù)的3V特征，對數(shù)據(jù)存儲與處理的要求，滿足9621的支撐要求 結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的特征分析，相應(yīng)的存儲管理策略，不同類型數(shù)據(jù)的共用機(jī)制 非結(jié)構(gòu)化數(shù)據(jù)的分類、標(biāo)引等結(jié)構(gòu)化信息的提取方法 內(nèi)存數(shù)據(jù)管理技術(shù)在實(shí)時(shí)流數(shù)據(jù)處理中的具體應(yīng)用策略 結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)、實(shí)時(shí)/非實(shí)時(shí)數(shù)據(jù)等不同類型數(shù)據(jù)應(yīng)該使用哪些軟硬件平臺，包括DBMS管理和處理能力要求，計(jì)算、存儲、網(wǎng)絡(luò)平臺 不同數(shù)據(jù)生命周期的數(shù)據(jù)清理機(jī)制、數(shù)據(jù)存儲管理策略，數(shù)據(jù)在在線區(qū)、近線區(qū)、歸檔區(qū)的自動歸檔與自動恢復(fù)

27、機(jī)制。,數(shù)據(jù)模型,明確應(yīng)該存在幾套數(shù)據(jù)模型，每類數(shù)據(jù)模型的定位和承接關(guān)系,統(tǒng)一模型和個(gè)性化模型之間的關(guān)系，如何滿足省分5級/7級要求 選擇企業(yè)現(xiàn)有數(shù)據(jù)模型+IBM行業(yè)數(shù)據(jù)模型+其它優(yōu)秀實(shí)踐， 確立企業(yè)級邏輯數(shù)據(jù)模型的主題域、數(shù)據(jù)分類和數(shù)據(jù)子類,數(shù)據(jù)模型,27.,數(shù)據(jù)服務(wù)方案設(shè)計(jì)思想和關(guān)注點(diǎn),方案設(shè)計(jì),數(shù)據(jù)服務(wù)理解,數(shù)據(jù)服務(wù)內(nèi)涵,必要性,可行性,服務(wù)層次,指對大數(shù)據(jù)平臺中的各種數(shù)據(jù)進(jìn)行封裝，通過各種服務(wù)方式向不同應(yīng)用系統(tǒng)提供數(shù)據(jù)服務(wù)，以滿足用戶的多樣性數(shù)據(jù)請求。,將數(shù)據(jù)服務(wù)劃分為3個(gè)層次，中層服務(wù)、底層服務(wù)開放給內(nèi)部應(yīng)用系統(tǒng)使用，高層服務(wù)向所有用戶開放； 數(shù)據(jù)應(yīng)用基于數(shù)據(jù)服務(wù)，通過EAB取得數(shù)據(jù)

28、，數(shù)據(jù)服務(wù)可復(fù)用部分?jǐn)?shù)據(jù)交互進(jìn)程，并依據(jù)數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)提供服務(wù)； 建立簡單、易用的數(shù)據(jù)封裝、服務(wù)開發(fā)向?qū)В軌蚩旖莸膶?shù)據(jù)進(jìn)行封裝，發(fā)布新服務(wù)； 兩層服務(wù)接入安全管理，以及對服務(wù)請求優(yōu)先級管理，控制服務(wù)執(zhí)行的數(shù)量，保障系統(tǒng)安全平穩(wěn)的運(yùn)行； 高層服務(wù)請求需要進(jìn)行語義轉(zhuǎn)換，然后執(zhí)行服務(wù)，中層、底層服務(wù)不需要語義轉(zhuǎn)換，直接執(zhí)行服務(wù)；,服務(wù)運(yùn)行方式,數(shù)據(jù)服務(wù)目標(biāo),建立應(yīng)用和數(shù)據(jù)之間標(biāo)準(zhǔn)化的訪問接口，能夠快速響應(yīng)用戶的各種數(shù)據(jù)請求，提升與外部系統(tǒng)實(shí)時(shí)的互動與信息共享能力； 將數(shù)據(jù)與應(yīng)用隔離開來，實(shí)現(xiàn)系統(tǒng)間的松耦合性，依托大數(shù)據(jù)平臺能力，對各種數(shù)據(jù)請求作出快速響應(yīng)，實(shí)現(xiàn)實(shí)時(shí)的信息共享； 將各種接口技術(shù)及響應(yīng)模式組合成多種服務(wù)方式，快速響應(yīng)各種服務(wù)請求，用戶可根據(jù)實(shí)際情況選擇適合自己的服務(wù)方式；,與其它模塊協(xié)作,服務(wù)功能劃分,28.,數(shù)據(jù)應(yīng)用方案設(shè)計(jì)思想和關(guān)注點(diǎn),應(yīng)用技術(shù)架構(gòu),應(yīng)用開發(fā)環(huán)境,應(yīng)用管理平臺,應(yīng)用框架,細(xì)化補(bǔ)充,開放化,標(biāo)準(zhǔn)化,靈活性,集成開發(fā)環(huán)境,個(gè)性化支持,多廠商支持,應(yīng)用推廣能力,應(yīng)用生