1、BDI-B201大數(shù)據(jù)思考大數(shù)據(jù)思考及實施框架及實施框架殷皓殷皓 Howard Yin微軟企業(yè)服務部大中華區(qū)首席技術官微軟企業(yè)服務部大中華區(qū)首席技術官議程大數(shù)據(jù)簡介+思考微軟大數(shù)據(jù)技術從大數(shù)據(jù)到“大”數(shù)據(jù)倉庫大數(shù)據(jù)解決方案及實踐參考大數(shù)據(jù)實用場景微軟對保險業(yè)的大數(shù)據(jù)思考大數(shù)據(jù)簡介大數(shù)據(jù)簡介+思考思考你想從大數(shù)據(jù)里得到什么？What do you want to get out of Big Data？多大的數(shù)據(jù)才是大數(shù)據(jù)？How big is Big Data？什么是大數(shù)據(jù)？What is Big Data？常見問題價格低廉的存儲價格低廉的計算設備爆炸無處不在的連接社交網(wǎng)絡傳感器網(wǎng)絡主要趨勢什

2、么是大數(shù)據(jù)?Data Complexity: Variety and Velocity 數(shù)據(jù)復雜性: 種類、速度TerabytesGigabytesMegabytesPetabytes客戶場景Real Customer Usage Case什么是大數(shù)據(jù)？How do I optimize myfleet based on weatherand traffic patterns?Whats the socialsentiment for mybrand or productsHow do I betterpredict futureoutcomes?一系列新問題Increases ad reve

3、nue by processing 3.5billion events per dayMassive VolumesProcesses 464 billion rows per quarter, withaverage query time under 10 secs.Measures and ranks online user influenceby processing 3 billion signals per dayCloud ConnectivityConnects across 15 social networks via thecloud for data and API acc

4、essUses sentiment analysis and web analyticsfor its internal cloudReal-Time InsightImproves operational decision making forIT managers and users新的機遇大數(shù)據(jù)大數(shù)據(jù)量量vs成本成本非云部署非云部署大數(shù)據(jù)大數(shù)據(jù)價值價值vs數(shù)據(jù)量數(shù)據(jù)量大數(shù)據(jù)大數(shù)據(jù)量量vs成本成本云部署云部署企業(yè)大數(shù)據(jù)的價值優(yōu)化Whats yourinvestmentfocus?再看大數(shù)據(jù)VolumeVelocityVariety看待數(shù)據(jù)看待數(shù)據(jù)Nature of Data itself看

5、待應用看待應用Use Patterns看待業(yè)務看待業(yè)務Business ImpactSocial networkanalysisWeatherforecasting forbusinessplanningEquipmentmonitoringLegaldiscovery anddocumentarchivingOil & GasexplorationAdvertisinganalysis數(shù)據(jù)分析無處不在IntelligenceGatheringChurnanalysisFrauddetectionIT infrastructure& Web AppoptimizationLoc

6、ation-basedtracking &servicesLife sciencesresearchTraffic flowoptimizationHealthcareoutcomesPricing AnalysisRecommenda-tion enginesPersonalizedInsuranceSmart metermonitoring微軟大數(shù)據(jù)技術微軟大數(shù)據(jù)技術大數(shù)據(jù)生命周期管理任何種類、大小及來源的數(shù)據(jù)010101010101010101101010101010101001010101010101101010101010案例：結構化和非結構化數(shù)據(jù)海量非結構化的web日志即時

7、、特設的日志分析來測試原型模式Hadoop 集群提供數(shù)據(jù)至24TB多維數(shù)據(jù)集業(yè)務用戶分析多維數(shù)據(jù)集數(shù)據(jù)企業(yè)級安全，高可靠性，管理與微軟商業(yè)智能工具無縫集成Windows的簡易管理模式幾分鐘就能完成在Windows Azure云服務平臺上部署HADOOP 數(shù)據(jù)平臺集成Polybase: 關系型和非關系型數(shù)據(jù)的集合未來的查詢處理 單個查詢覆蓋關系型及Hadoop數(shù)據(jù) 直接在Hadoop內處理數(shù)據(jù) 未來發(fā)展方向：覆蓋其他數(shù)據(jù)源 無縫過度: 標準T-SQL語句/指令靈活開放豐富的生態(tài)系統(tǒng)合作伙伴及工具建立與社區(qū)密切合作基礎之上The Apache Software FoundationHadoop f

8、or WindowsJavaScript librariesHive ODBC drivers100% 兼容 ApacheHadoopHDInsight 基于Hortonworks 數(shù)據(jù)平臺大數(shù)據(jù)生命周期連接外部數(shù)據(jù)的世界以產生更多價值發(fā)現(xiàn)Discover組合Combine細化Refine發(fā)現(xiàn)數(shù)據(jù)FROMTOIDENTITYDOC CONTEXTSOCIAL GRAPHSDATA EXPLORERDATA HUB數(shù)據(jù)組合的潛力Value數(shù)據(jù)細化Enterprise Information Management & Full Analytic Spectrum外部數(shù)據(jù)的價值大數(shù)據(jù)生命周期

9、所以用戶任意渠道對數(shù)據(jù)的洞察010101010101010101101010101010101001010101010101101010101010PBTBGB通過熟悉的工具來洞察數(shù)據(jù)DiscoverCombineRefineRelationalNon-relationalStreaming大數(shù)據(jù)需要端到端的方法INSIGHTDATAENRICHMENTDATAMANAGEMENTSelf-ServiceCollaborationCorporate AppsDevicesAnalyticalPowerPivotPower ViewParallel Data WarehouseMicrosoft

10、 HDInsight ServerHDInsight Service微軟大數(shù)據(jù)“大大”數(shù)據(jù)倉庫數(shù)據(jù)倉庫傳統(tǒng)數(shù)據(jù)倉庫正遇到發(fā)展瓶頸“In-Memory”MassivelyParallel“Big Data”HW Appliance新一代數(shù)據(jù)倉庫的發(fā)展方向？Self-serviceBIVisualizationsSoftwareCollaborationCloud現(xiàn)代“大”數(shù)據(jù)倉庫是傳統(tǒng)環(huán)境的衍生微軟現(xiàn)代“大”數(shù)據(jù)倉庫朝向微軟現(xiàn)代“大”數(shù)據(jù)倉庫的演變HDInsights Service大數(shù)據(jù)解決方案大數(shù)據(jù)解決方案10101HQLColdStreamHDFSE=MC2HQLLearnedLimits

11、SQL典型大數(shù)據(jù)數(shù)據(jù)分析場景場景HotStream10101HQLHDFSE=MC2HotStreamColdLearned StreamLimitsSQLStrategic/TrendAnalyticsStorage &managementHQLInsightOperational/Real-timeAnalyticsValuation端到端的大數(shù)據(jù)生命周期大數(shù)據(jù)的時效性Realtime M2MPersonal BIWorkgroup BIDepartment BICompany BI時效性實施框架參考大數(shù)據(jù)和傳統(tǒng)BI的差別Traditional BISchema on Write

12、數(shù)據(jù)架構模型在寫入時已經定義 體現(xiàn)明確定義的標準及KPI 成熟的開發(fā)模式及豐富的實踐經驗 Show me what Ialready knowBig DataSchema on Read 數(shù)據(jù)架構模型在查詢時動態(tài)定義 更具探索性，需要行業(yè)知識 目標是在環(huán)境數(shù)據(jù)中尋找新的價值 You dont know whatyou dont know企業(yè)數(shù)據(jù)及商業(yè)智能平臺的進化傳統(tǒng)數(shù)據(jù)倉庫實施架構結構化數(shù)據(jù)源結構化數(shù)據(jù)源結構化數(shù)據(jù)源ODS數(shù)據(jù)集市多維度存儲分析應用Storage 存儲其他Consume 使用數(shù)據(jù)倉庫大數(shù)據(jù)存儲企業(yè)數(shù)據(jù)及商業(yè)智能平臺的進化結構化數(shù)據(jù)源非結構化數(shù)據(jù)源數(shù)據(jù)流數(shù)據(jù)倉庫數(shù)據(jù)服務分析St

13、orage 存儲數(shù)據(jù)集市多維度存儲Service 服務應用其他Consume 使用大數(shù)據(jù)場景大數(shù)據(jù)場景場景: 數(shù)據(jù)如何在改變這個世界工商業(yè) Business大數(shù)據(jù)汽車行業(yè)應用場景汽車車況和安全性分析駕駛員駕駛行為分析汽車輿情分析車險浮動費率汽車車況和安全性分析汽車體檢對ECU進行數(shù)據(jù)掃描，給車輛健康狀況打分，評定車輛健康等級。故障檢測對汽車所有電腦控制系統(tǒng)進行數(shù)據(jù)掃描，提前發(fā)現(xiàn)故障。提供故障描述、故障代碼、故障原因及解決方法。油耗監(jiān)測根據(jù)當前的汽車運行狀況計算實時的油耗數(shù)據(jù)，輔以油門與發(fā)動機使用圖表，幫助用戶形成良好駕駛習慣，節(jié)約用車成本。行車預警對車輛重要數(shù)據(jù)進行實時監(jiān)控，一旦發(fā)現(xiàn)問題已經及

14、時報警。車載設備終端車況數(shù)據(jù)行駛數(shù)據(jù)實時數(shù)據(jù)流應用批量加載超速（次）、急加速（次）、急減速（次）、轉速超標時長、長時間空閑時長、批量超速時長。駕駛員駕駛行為分析安全性分析超速（次）、急加速（次）、急減速（次）、轉速過高（次）、轉速超標時長、超速時長、疲勞駕駛(次)、疲勞駕駛時長。（次）、停車未熄火（次）、轉速過高其他不同時段駕駛（次）、不同時段駕駛時長、長途駕駛（次），長途駕駛時長行車預警經濟性分析 車載設備終端車況數(shù)據(jù)行駛數(shù)據(jù)流應用實時加載 數(shù)據(jù)汽車輿情分析1汽車行業(yè)政策輿情分析政策輿論熱度分析政策網(wǎng)民調性分析企業(yè)營銷迎合行業(yè)政策指數(shù)分析汽車行業(yè)與市場綜合輿情分析 汽車行業(yè)十大輿論話題關注度

15、汽車輿論話題關注度和調性分析汽車行業(yè)輿論媒體貢獻度指數(shù)分析汽車行業(yè)輿論網(wǎng)民評價調性分析汽車行業(yè)話題媒體輿論表情對比分析中國網(wǎng)民最關注的汽車行業(yè)大事不同車系關注度分析不同車型網(wǎng)媒關注度分析實時數(shù)據(jù)流應用批量加載資訊網(wǎng)站汽車頻道汽車行業(yè)垂直網(wǎng)站博客、微博、BBS實時數(shù)據(jù)流應汽車輿情分析2某整車廠汽車綜合輿情分析某整車廠汽車和十大乘用車企業(yè)輿論話題媒體關注度和調性分析某整車廠汽車和十大乘用車企業(yè)網(wǎng)媒關注度分析某整車廠汽車和十大乘用車傳播策略分析某整車廠汽車和十大乘用車傳播效果指數(shù)某整車廠汽車細分分析網(wǎng)媒關注度趨勢分析輿論重點話題趨勢分析車型關注度、調性和競爭分析區(qū)域關注度、調性和競爭分析資訊網(wǎng)站汽車

16、頻道汽車行業(yè)垂直網(wǎng)站博客、微博、BBS批量加載用車險浮動費率車載設備終端車況數(shù)據(jù)行駛數(shù)據(jù)批量加載1. 隨著車險浮動費率試點的開展，全新定價模式的創(chuàng)新將是保險公司的重大課題。車輛數(shù)據(jù)監(jiān)測及數(shù)據(jù)分析將是解決浮動費率的關鍵技術因素，也是保險公司提高業(yè)務收入，降低賠付率的較好方法。2. 在定價方面，除了傳統(tǒng)費率因子（違章和索賠歷史、人口統(tǒng)計學特征、車型等）之外，基于駕駛者駕駛行為的定價模式應該包括駕駛行為分析（緊急制動、加速次數(shù)、超速次數(shù)、轉向非法次數(shù)、疲勞駕駛次數(shù)以及危險駕駛次數(shù)）、行駛里程、駕駛時間段等，保險公司將這些所有因素進行整合，最終確定車主的實際保費。3. 對于投保人而言，最終是否能夠節(jié)省

17、保費開支主要取決于自身的駕駛狀況。系統(tǒng)需要根據(jù)車主的行駛數(shù)據(jù)、參與的保險公司險種規(guī)則等分析計算預計保費。車主可通過平臺查詢到自己的個人駕駛行為記錄，可以看到將來預計保費的折扣。當實際保費可能增加時，也可以選擇退出該類保險，而選擇普通的標準保單。金融利用銀行各種渠道痕跡、交易數(shù)據(jù)等進行在線產品營銷利用分析報告、互聯(lián)網(wǎng)大數(shù)據(jù)進行金融產品、重要客戶分析網(wǎng)站日志分析文檔、語音、圖片歸檔存儲和分析利用利用政府共享信息、分析報告、互聯(lián)網(wǎng)大數(shù)據(jù)進行風險評估Frauddetection大數(shù)據(jù)金融行業(yè)應用構想通過大數(shù)據(jù)獲取用戶信息偏好，有針對性地服務用戶 全面、及時的數(shù)據(jù)支持是全面、及時的數(shù)據(jù)支持是高效用戶服務

18、的基礎高效用戶服務的基礎通過大數(shù)據(jù)分析服務對海量用戶通過大數(shù)據(jù)分析服務對海量用戶行為數(shù)據(jù)進行低成本、高效率的行為數(shù)據(jù)進行低成本、高效率的預處理預處理數(shù)據(jù)集市對用戶偏好的分析提供數(shù)據(jù)集市對用戶偏好的分析提供信息支持信息支持推薦模型直接反饋到網(wǎng)站或信息推薦模型直接反饋到網(wǎng)站或信息推薦應用推薦應用基于反饋數(shù)據(jù)為用戶提供精準的基于反饋數(shù)據(jù)為用戶提供精準的信息推薦信息推薦政府及公用事業(yè)場景Government / UtilitiesVideo醫(yī)療衛(wèi)生可持續(xù)性發(fā)展VideoSustainabilityhttp:/ 現(xiàn)有業(yè)務拓展 現(xiàn)有數(shù)據(jù)大數(shù)據(jù)化 分析 實時的應用場景 外部數(shù)據(jù)的整合 數(shù)據(jù)即服務 數(shù)據(jù)集市 合作平臺 價值的體現(xiàn) 內部數(shù)據(jù)服務化，組合 以數(shù)據(jù)為基礎，外部業(yè)務多元