HUAWEITECHNOLOGIESCO.,LTD.未來銀行：客戶更加移動(dòng)化、個(gè)性化、社交化，實(shí)時(shí)化隨時(shí)隨地獲取服務(wù)分析、創(chuàng)造數(shù)據(jù)新客戶互動(dòng)參與內(nèi)容、產(chǎn)品和體驗(yàn)的創(chuàng)建新客戶固定時(shí)間地點(diǎn)獲取服務(wù)、被動(dòng)接受數(shù)據(jù)傳統(tǒng)客戶尋求更多資源信任市場信息被動(dòng)接受傳播客戶客戶被動(dòng)接受信息且信息來源單一通過客戶經(jīng)理聯(lián)系客戶固定渠道單一交互新銀行新銀行傳統(tǒng)銀行·HuaweiC·HuaweiConfideNTERPRISEICTY第一數(shù)據(jù)平面：實(shí)時(shí)營銷交易核心大數(shù)據(jù)業(yè)務(wù)：大數(shù)據(jù)業(yè)務(wù)：實(shí)時(shí)在線性業(yè)務(wù)持續(xù)性跨多元數(shù)據(jù)實(shí)時(shí)第二數(shù)據(jù)平面：實(shí)時(shí)或有金融資產(chǎn)大數(shù)據(jù)平臺(tái)金融脈絡(luò)關(guān)系批量批量足多樣化的數(shù)據(jù)分析場景●企業(yè)級(jí)質(zhì)量標(biāo)準(zhǔn)：金融等保、可靠、易用；支持現(xiàn)有系統(tǒng)的對(duì)接?！瘛衿髽I(yè)級(jí)質(zhì)量標(biāo)準(zhǔn)：金融等保、可靠、易用；支持現(xiàn)有系統(tǒng)的對(duì)接。·HuaweiConfi·HuaweiConfiHUAWEIENTERPRISEHUAWEIENTERPRISEICT歷史數(shù)據(jù)越來越多信用行外數(shù)據(jù)帳戶行外數(shù)據(jù)帳戶明細(xì)非結(jié)構(gòu)化數(shù)據(jù)越來越多非結(jié)構(gòu)化數(shù)據(jù)越來越多行內(nèi)數(shù)據(jù)行內(nèi)數(shù)據(jù)帳戶明細(xì)社交、網(wǎng)購數(shù)據(jù)企業(yè)數(shù)據(jù)平面數(shù)據(jù)操作型數(shù)據(jù)操作型數(shù)據(jù)區(qū)監(jiān)管報(bào)送平臺(tái)統(tǒng)一報(bào)表平臺(tái)數(shù)據(jù)采集和交換平臺(tái)數(shù)據(jù)采集和交換平臺(tái)大數(shù)據(jù)平臺(tái)傳統(tǒng)平臺(tái)應(yīng)用集市層共性加工層基礎(chǔ)模型層貼源模型層技術(shù)緩沖層應(yīng)用集市層共性加工層基礎(chǔ)模型層貼源模型層技術(shù)緩沖層管理會(huì)計(jì)系統(tǒng)流動(dòng)風(fēng)險(xiǎn)系統(tǒng)挖掘個(gè)數(shù)據(jù)挖掘平臺(tái)個(gè)實(shí)時(shí)事件處理平臺(tái)國家審計(jì)平臺(tái)實(shí)時(shí)事件處理平臺(tái)LHUAWEIENTERPRISE對(duì)對(duì)應(yīng)系統(tǒng)：客戶管理系統(tǒng)、各類產(chǎn)品系統(tǒng)、帳務(wù)處理系統(tǒng)、各類渠道系統(tǒng)、管理流程系統(tǒng)。功能定位：主要承擔(dān)面向客戶的交易、帳務(wù)處理，面向內(nèi)部的流程、事務(wù)管理等功能。數(shù)據(jù)特征：存儲(chǔ)業(yè)務(wù)處理和流程管理過程中產(chǎn)生的客戶、協(xié)議、賬戶、交易等原始數(shù)據(jù)，數(shù)據(jù)基本為當(dāng)前狀態(tài)，保存一定周期的交易流水?dāng)?shù)據(jù)，對(duì)應(yīng)系統(tǒng)：基礎(chǔ)數(shù)據(jù)平臺(tái)、大數(shù)據(jù)平臺(tái)和實(shí)時(shí)事件處理平臺(tái)。功能定位：實(shí)現(xiàn)全行關(guān)系型結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的處理，包括離線分析和實(shí)時(shí)事件數(shù)據(jù)的集中管理和加工，為業(yè)務(wù)運(yùn)營和決策分析提供數(shù)據(jù)支持。數(shù)據(jù)特征：1.利用大數(shù)據(jù)技術(shù)，實(shí)現(xiàn)ODS、EDW、匯總層數(shù)據(jù)統(tǒng)計(jì)等一系列的離線數(shù)據(jù)分析功能，而傳統(tǒng)數(shù)據(jù)庫則實(shí)現(xiàn)復(fù)雜的交于和事務(wù)處理邏輯。2.大數(shù)據(jù)平臺(tái)同時(shí)可以實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的集中管理，結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)的初加工為主；3.實(shí)時(shí)事件處理平臺(tái)以實(shí)時(shí)事件數(shù)據(jù)的集中管理和加工為主，對(duì)應(yīng)系統(tǒng)：主要是歷史數(shù)據(jù)平臺(tái)。對(duì)應(yīng)系統(tǒng)：主要是歷史數(shù)據(jù)平臺(tái)。功能定位：根據(jù)數(shù)據(jù)生命周期管理，承擔(dān)對(duì)操作型系統(tǒng)、分析型系統(tǒng)的歷史數(shù)據(jù)，以及數(shù)據(jù)集成平臺(tái)部分歷史數(shù)據(jù)的在線歸檔保存，為客戶交易明細(xì)歷史查詢、公檢法查詢等應(yīng)用提供支持。數(shù)據(jù)特征：狀態(tài)類數(shù)據(jù)采用全表歷叱拉鏈存儲(chǔ)，交易類數(shù)據(jù)保留長期歷史。對(duì)應(yīng)系統(tǒng)：統(tǒng)一報(bào)表平臺(tái)、監(jiān)管報(bào)送平臺(tái)、管理會(huì)計(jì)、風(fēng)險(xiǎn)管理等系統(tǒng)。功能定位：主要獲取數(shù)據(jù)集成平臺(tái)提供的匯總數(shù)據(jù)，按照應(yīng)用主題進(jìn)行數(shù)據(jù)的高粒度匯總加工、圖形化分析和展現(xiàn)。數(shù)據(jù)特征：存儲(chǔ)匯總、疑合類數(shù)據(jù)，主要以星型結(jié)構(gòu)、寬表等形式存儲(chǔ)，存儲(chǔ)周期較長?！uaweiConfi·HuaweiConfiIDtDNaf完全共享例如.Aampeebekp●性能存在瓶頸●結(jié)構(gòu)化、關(guān)系型●FlashCache+分布式塊存儲(chǔ)+IB●結(jié)構(gòu)化、關(guān)系型●結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化●高性能、實(shí)時(shí)融入融入●AMPlab開發(fā)的Spark,提供迭代式內(nèi)存計(jì)算模型，非常適合用于數(shù)據(jù)挖掘算法的并行化●Spark目前已經(jīng)成為Apache頂級(jí)項(xiàng)目YARN/ZookeeperHadoop2.0發(fā)布支持多種計(jì)算模型調(diào)度的Yarn,實(shí)現(xiàn)多種計(jì)算模型在同一個(gè)集群中并存，將幫助Hadoop進(jìn)一步鞏固大數(shù)據(jù)生態(tài)圈。HDFS和Yarn成為Hadoop核心平臺(tái)性組建，不斷吸收更多組建集成到H·HuaweiConf·HuaweiConf全球布局、全面覆蓋大數(shù)據(jù)領(lǐng)域關(guān)鍵技術(shù)加研所：硬件加速(中央硬件院)美研所：Spark(中央軟件院)ELK/MPPDB(高斯實(shí)驗(yàn)室)大數(shù)據(jù)系統(tǒng)加速(香農(nóng)實(shí)驗(yàn)室)俄研所：大數(shù)據(jù)算法(香農(nóng)實(shí)驗(yàn)室)歐研所：分布式內(nèi)存DB(中央軟件院)分布式計(jì)算算法(中央軟件院)印度研究所：Hadoop(中央軟件院)數(shù)據(jù)可視化(中央軟件院)MOLAP(中央軟件院)西安研究所：杭州研究所：Hadoop(中央軟件院)Spark(中央軟件院)流計(jì)算(中央軟件院)數(shù)據(jù)挖掘算法(諾亞實(shí)驗(yàn)室)00強(qiáng)大內(nèi)核開發(fā)團(tuán)隊(duì)提供企業(yè)級(jí)的開源支撐能力的團(tuán)隊(duì)(依賴團(tuán)的團(tuán)隊(duì)(依賴團(tuán)人)Apache開源社區(qū)生態(tài)系統(tǒng)Apache開源社區(qū)生態(tài)系統(tǒng)邊問題會(huì)使用會(huì)使用強(qiáng)大的Hadoop內(nèi)核團(tuán)隊(duì)支持的開發(fā)與產(chǎn)品交付能力，企業(yè)級(jí)運(yùn)營支撐能力行業(yè)應(yīng)用電信等數(shù)據(jù)洞察/數(shù)據(jù)服務(wù)特征/模型/挖掘/可視/服務(wù)數(shù)據(jù)集成平臺(tái)統(tǒng)一管理數(shù)據(jù)處理平臺(tái)統(tǒng)一管理Yarn/Zookeeper第shpoet可p雷可p雷Porter用來簡化大數(shù)據(jù)的數(shù)據(jù)集成●除了開源的Sqoop2支持的DB和HDFS外，porter還支持從SFTP,FTP和NAS進(jìn)行數(shù)據(jù)導(dǎo)入和導(dǎo)出●除了Sqoop2支持的HDFS外，porter還支持?jǐn)?shù)據(jù)注入到HBASE并提供功能豐富的rowkey生產(chǎn)機(jī)制●Sql請(qǐng)求和響應(yīng)可以通過SFTP和FTP提交，實(shí)現(xiàn)和現(xiàn)有系統(tǒng)的無縫集成●輕量匯總的Sql和結(jié)果可以通過SFTP和FTP提交，并且能夠自動(dòng)調(diào)度按天/按月調(diào)度。·HuaweiC·HuaweiConfident模型特提?、匍_始結(jié)束—學(xué)習(xí)系統(tǒng)0·HuaweiC通用使能套件(標(biāo)簽管理、推薦引擎)●端到端分析平臺(tái)：一站式平臺(tái)支撐數(shù)據(jù)分析全流程●特征工程/社交化：特征復(fù)用；支持1,000萬維度●開放性：對(duì)Operator的擴(kuò)展性；與R無縫對(duì)接；與SAS、SPSS等對(duì)接；●業(yè)務(wù)驅(qū)動(dòng)：基于業(yè)務(wù)問題驅(qū)動(dòng)的閉環(huán)解決方案，比如推薦引擎使能套件大數(shù)據(jù)實(shí)時(shí)應(yīng)用使能器，支撐企業(yè)快速開發(fā)基于大數(shù)據(jù)平臺(tái)的應(yīng)用。1、分布式大數(shù)據(jù)服務(wù)框架和標(biāo)準(zhǔn)服務(wù)(如推薦)●高可靠的分布式處理框架，去中心化的負(fù)載均衡能力，和服務(wù)實(shí)例的彈性伸縮能力●支持應(yīng)用的灰度發(fā)布●隔離的輕量級(jí)應(yīng)用容器2、多協(xié)議接入和緩沖簡化應(yīng)用集成●高性能的多協(xié)議接入部件，通過ALB隱藏內(nèi)部拓?fù)浼?xì)節(jié)●高性能、高可靠消息隊(duì)列部件J開源開源分布式計(jì)算框架MPPDB分布式存儲(chǔ)MPPDB·HuaweiC·HuaweiConfi ●FusionInsight用100%開源的核心支持混合負(fù)載，從批量、交互查詢、數(shù)據(jù)挖掘，到實(shí)時(shí)流和查詢等各種場景●開放式存儲(chǔ)格式(Rcfile/ORCfile/Parquet),以避免鎖定私有文件格式●所有的組件都通過Manager提供的插件框架來按需安裝SingleUseSystemSingleUseSystem8dataprucsing)lfredundant,relisblestorsge](redundart,Fighhyavilabl每一種SQLonHadoop產(chǎn)品都在盡量滿足某一類應(yīng)用的特征，典型需產(chǎn)品MPP架構(gòu)在線查詢作業(yè)時(shí)間小于秒級(jí)響應(yīng)幾乎是實(shí)時(shí)的交互查詢作業(yè)時(shí)間秒級(jí)左右，并且返回結(jié)果集很小，一般在萬條記錄以內(nèi)小數(shù)據(jù)的查詢場景，如報(bào)表展示、數(shù)據(jù)鉆類架構(gòu)鐘級(jí)別，中間結(jié)比較大感場景，主要以后臺(tái)長時(shí)間作業(yè)為主，如系統(tǒng)每天、每周、每務(wù)數(shù)據(jù)挖掘算量比較大，內(nèi)存消耗比較多的學(xué)計(jì)算等場景-所有業(yè)務(wù)和管理節(jié)點(diǎn)HA-跨數(shù)據(jù)中心容災(zāi)、備份-第三方備份系統(tǒng)集成-在線更換硬盤-HBase容災(zāi)業(yè)界最早推出技術(shù)-完善RBAC和多租戶體系-與現(xiàn)存AAA系統(tǒng)標(biāo)準(zhǔn)協(xié)議對(duì)接-全方位數(shù)據(jù)審計(jì)功能-STRIDE+電信系統(tǒng)安全紅線-易安裝，集成NTP等-易運(yùn)維，增加圖形化運(yùn)維-易開發(fā)，標(biāo)準(zhǔn)接口+實(shí)用案例-易定位，日志收集搜索-高性能網(wǎng)絡(luò)優(yōu)化(RDMA)-新型存儲(chǔ)優(yōu)化(大型SSD)SQLparser:實(shí)現(xiàn)插件式的SQLParser,基于插件接口實(shí)現(xiàn)SQL99語法解析。LogicalPlan:新增SQL99LogicalPlans,支持SQL99邏輯計(jì)劃。元數(shù)據(jù)管理：使用Hivemetastore進(jìn)行元數(shù)據(jù)管理，與社區(qū)演講發(fā)現(xiàn)對(duì)齊。性能提升：原則上重用社區(qū)的優(yōu)化器，必要時(shí)增加SQL99OptimizerRules,新增and/or優(yōu)化，innerjoin優(yōu)化，hiveindex優(yōu)化框架的差異化語法解析器和性能優(yōu)化器特點(diǎn)：·分布式，多維索引，物化視圖，分布式入庫，Schema固定存儲(chǔ)：·CubeFile,一種按多維Key排序的文件格式計(jì)算：·基于Catalyst框架新增OLAPPlanner,對(duì)Cube支算下壓等優(yōu)化·CubeProcessor:Cube數(shù)據(jù)讀取，跳轉(zhuǎn)，聚合計(jì)算語言：120億行記錄，20個(gè)維度，4個(gè)度量，原始數(shù)據(jù)1.5TB·SparkSQL:Cube文件380GB;物化視圖增加130GB;0jdbc/odbcl..●全面支持傳統(tǒng)應(yīng)用的接口JDBC、ODBC,并提供豐富的擴(kuò)展接口如PL/C,“mobile”字段，時(shí)延大；二級(jí)素引表張三北京…李四王五深圳佛山西安廣州數(shù)據(jù)表A張三北京李四深圳佛山武漢西安廣州0√4RegionServers.總共160個(gè)Region;√表記錄總數(shù)：5.7億√表記錄長度：800字節(jié)的并行算法庫并行算法庫研發(fā)及優(yōu)化集群業(yè)務(wù)平面集群業(yè)務(wù)平面集群管理平面集群外維護(hù)網(wǎng)絡(luò)聯(lián)。為應(yīng)對(duì)由此帶來的可靠性、安全性風(fēng)險(xiǎn)，F(xiàn)usionlnsight支持將網(wǎng)絡(luò)劃分為三級(jí)：集群業(yè)務(wù)平面、集群管理平面和集群外維護(hù)網(wǎng)絡(luò)，彼此之間實(shí)施物理隔◆實(shí)施網(wǎng)絡(luò)隔離，可以避免業(yè)務(wù)平面的高負(fù)載阻塞集群管理通道，也可以阻止外部攻擊者通過管理通道入侵實(shí)際業(yè)務(wù)數(shù)據(jù)。網(wǎng)絡(luò)類別說明高中存儲(chǔ)、流轉(zhuǎn)。中僅具備集群管理功能，不接觸實(shí)際的護(hù)網(wǎng)絡(luò)低僅能訪問OMSServer提供的Web服除非連續(xù)攻破OMSServer和APPDNNRatTuningNNNNNN業(yè)務(wù)可靠性：業(yè)務(wù)可靠性：數(shù)據(jù)可靠性：異步復(fù)制實(shí)現(xiàn)跨數(shù)據(jù)中心災(zāi)備硬盤熱插拔：支持在線集群硬盤更換不影響業(yè)務(wù).顧性能情況下保證數(shù)據(jù)可靠性第三方備份系統(tǒng)集成：數(shù)據(jù)可以靈活的備份在外部成HUAWEIENTERPRISEHUAWEIENTERPRISEICT表級(jí)別集群在線備份，用于在線業(yè)務(wù)故障災(zāi)備支持庫級(jí)別本地備份、批量導(dǎo)出和數(shù)據(jù)恢復(fù)，支持全量、增量兩種模式。用于集群故障、人為誤操作導(dǎo)致的數(shù)據(jù)丟失表級(jí)別集群在線備份，用于在線業(yè)務(wù)故障災(zāi)備敏感數(shù)據(jù)讀取據(jù)敏感數(shù)據(jù)讀取據(jù)Name□一232□非敏感數(shù)據(jù)12NoNameName□非敏感數(shù)據(jù)12NoNameName12一2一·保密性高：采用業(yè)界流行的算法加密。除業(yè)務(wù)接口外，其他手段讀取文件均為亂碼(如通過shell、或HDFS接口查看)?！れ`活：加密算法插件化，支持AES、SMS4等，允許用戶自定義。非敏感數(shù)據(jù)可不加密，不影響性能(加密約有5%性能開銷)?！I(yè)務(wù)透明：上層業(yè)務(wù)只需指定敏感數(shù)據(jù)(Hive表級(jí)/列、HBase表/列族/列級(jí)加密),加解密過程業(yè)務(wù)完全不感知。339UAN?2OUNCouMEAOA四川省農(nóng)村信用社招商銀行保障銀行：酸童平安銀行招商銀行保障銀行：酸童平安銀行數(shù)據(jù)經(jīng)營經(jīng)營蘇州銀行·Huawei蘇州銀行·Huawei業(yè)務(wù)價(jià)值應(yīng)用場景小微貸個(gè)性化理財(cái)交叉銷售業(yè)務(wù)價(jià)值應(yīng)用場景小微貸個(gè)性化理財(cái)交叉銷售客戶挽留獲客輿情分析客戶畫像事件營銷入的客專業(yè)化的營銷與銷售安全可控制產(chǎn)品績效評(píng)價(jià)知識(shí)管理網(wǎng)站分析賬務(wù)追溯智能客服反欺詐實(shí)時(shí)征信實(shí)時(shí)風(fēng)控產(chǎn)品績效評(píng)價(jià)知識(shí)管理網(wǎng)站分析賬務(wù)追溯智能客服反欺詐實(shí)時(shí)征信實(shí)時(shí)風(fēng)控員工挽留信息安全分析員工挽留信息安全分析運(yùn)維日志分析客戶風(fēng)險(xiǎn)報(bào)告數(shù)據(jù)數(shù)據(jù)賬戶/流水/產(chǎn)品/組件日志運(yùn)維日志/對(duì)內(nèi)服務(wù)系統(tǒng)數(shù)據(jù)移動(dòng)應(yīng)用/微信/呼叫中心/微博互聯(lián)網(wǎng)/電信/醫(yī)療/交通/咨詢報(bào)告·Huawei報(bào)表多維分析引擎數(shù)據(jù)探察數(shù)據(jù)多維展示實(shí)時(shí)查詢批量查詢訪問框架元數(shù)據(jù)管理數(shù)據(jù)集市交互式探索多維關(guān)聯(lián)應(yīng)用計(jì)算數(shù)據(jù)聚集實(shí)時(shí)計(jì)算預(yù)測關(guān)聯(lián)文本分析互聯(lián)網(wǎng)分多媒體分P作業(yè)調(diào)度數(shù)據(jù)安全管理數(shù)據(jù)存儲(chǔ)應(yīng)用數(shù)據(jù)區(qū)公共訪問區(qū)基礎(chǔ)數(shù)據(jù)區(qū)實(shí)時(shí)查詢區(qū)流處理數(shù)據(jù)轉(zhuǎn)換結(jié)構(gòu)化轉(zhuǎn)換非結(jié)構(gòu)轉(zhuǎn)換多媒體轉(zhuǎn)換數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)數(shù)據(jù)第三方數(shù)據(jù)流式數(shù)據(jù)HUAWEIENTERPRISE報(bào)表多維分析引擎來R實(shí)時(shí)查詢結(jié)構(gòu)化數(shù)據(jù)挖掘半/非結(jié)構(gòu)數(shù)據(jù)挖掘SQLon梁分布式SQLon梁分布式分詞實(shí)推薦引擎視頻分析實(shí)數(shù)據(jù)轉(zhuǎn)換第三方數(shù)據(jù)處理44影像存儲(chǔ)下游應(yīng)用一體機(jī)一體機(jī)基礎(chǔ)層數(shù)據(jù)源√一般采用貼源層+基礎(chǔ)層+應(yīng)用層三層數(shù)據(jù)架構(gòu)外，一般很少被下游應(yīng)用直接用到，可視為冷數(shù)據(jù)√數(shù)據(jù)貼源層占據(jù)EDW寶貴存儲(chǔ)資源容成本大用時(shí)間窗口越來越少，給數(shù)據(jù)倉庫的使用帶來巨大壓力一HUAWEI一HUAWEIENTERPRISEICTSOLUTIONSABETTERWAY下游應(yīng)用下游應(yīng)用卸載平臺(tái)數(shù)據(jù)倉庫基礎(chǔ)層數(shù)據(jù)源一體機(jī)√卸載平臺(tái)具有較低的每TB數(shù)據(jù)成本√卸載平臺(tái)能夠提供較好的企業(yè)級(jí)特性(可靠性、易管理性、易用性),滿足一定的性能SLA的使用大數(shù)據(jù)技術(shù)的Hadoop或MPPDB平臺(tái)注：方案過程見動(dòng)畫√開放，不被單一供應(yīng)商鎖定：44TD數(shù)倉卸載數(shù)據(jù)歸檔行內(nèi)用戶組件內(nèi)生產(chǎn)數(shù)據(jù)清理后，在歷史數(shù)據(jù)區(qū)進(jìn)行歸檔保存在線查詢在線同步(訪問數(shù)據(jù)庫)(響應(yīng)時(shí)間：<=60(秒))行內(nèi)用戶行外用戶歷史數(shù)據(jù)在線快速查詢；查詢條件比較精確；響應(yīng)時(shí)間比較在線異步(訪問數(shù)據(jù)庫)(響應(yīng)時(shí)間：>60(秒)查詢條件比較精確；響應(yīng)時(shí)間不是非常緊迫；訪問頻率比較在線異步(訪問文件)(響應(yīng)時(shí)間：>300(秒)訪問頻率：<=50次/天)低外部監(jiān)管(部分包括行內(nèi)用戶)月末/季末的銀監(jiān)會(huì)、外管局、審計(jì)署的外部監(jiān)管數(shù)據(jù)需求；數(shù)據(jù)需求比較確定、供數(shù)操作頻率比較固定、供數(shù)格式比較固定行內(nèi)用戶數(shù)據(jù)需求不確定、供數(shù)操作頻率不固定、數(shù)據(jù)結(jié)果集不確數(shù)據(jù)源HDS區(qū)歸檔集群歸檔數(shù)據(jù)區(qū)(Hive)應(yīng)用加工計(jì)算區(qū)(Hive)歸檔數(shù)據(jù)源HDS區(qū)歸檔集群應(yīng)用計(jì)算區(qū)源數(shù)據(jù)區(qū)接入數(shù)據(jù)區(qū)批量供應(yīng)數(shù)據(jù)區(qū)指標(biāo)計(jì)算區(qū)歸檔數(shù)據(jù)區(qū)(Hive)應(yīng)用加工計(jì)算區(qū)(Hive)批量供數(shù)源數(shù)據(jù)區(qū)接入數(shù)據(jù)區(qū)組合計(jì)算區(qū)在線同步查詢區(qū)統(tǒng)一在線查詢·HuaweiConfidential=43關(guān)鍵技術(shù)：HBase二級(jí)索引+Phoenix+SparkeRPRISEICTSOLUTIONSABETTERWAY無索引：“Scan+Filter”,掃描大量數(shù)據(jù)200001coluAzxxzxa000數(shù)據(jù)掃描區(qū)域目標(biāo)行的同時(shí)，降低系統(tǒng)的學(xué)習(xí)使用成本。構(gòu)建統(tǒng)一的混合結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)平臺(tái)，通過Spark支持全量業(yè)務(wù)數(shù)據(jù)+外部數(shù)據(jù)的挖掘分析。高性能、高并發(fā)：HBase規(guī)?？蛇_(dá)到數(shù)十億行以及數(shù)百萬列，同時(shí)讀、寫訪問可以達(dá)到實(shí)時(shí)級(jí)別。提供SQL支持：降低學(xué)習(xí)成本和系統(tǒng)改造成本。易擴(kuò)展：HBase基于HDFS文件系統(tǒng)，性能線性增長，利于橫向擴(kuò)展。HBase:較開源產(chǎn)品提供二級(jí)索引、Region多點(diǎn)分割、一千公里容災(zāi)備份等增強(qiáng)特性，其中二級(jí)索引特性已被社區(qū)接受并納入Phoenix組Spark:華為貢獻(xiàn)了SparkonHBase(Astro)特性，可以使用SparkSQL操作HBase數(shù)據(jù)，執(zhí)行高效、復(fù)雜的查詢操作，為HBase提供在線分析引擎。44TD數(shù)倉卸載影像存儲(chǔ)場景特點(diǎn)場景特點(diǎn)實(shí)時(shí)性要求高(高吞吐、低延遲)大數(shù)據(jù)量的離線分析(總數(shù)據(jù)量、日增數(shù)據(jù)量都不斷增長)*歷史回溯：一小時(shí)以外的歷史統(tǒng)計(jì)分析每日產(chǎn)生大量的應(yīng)用日志，分布于各應(yīng)用系統(tǒng)及歷史磁帶監(jiān)控系統(tǒng)目前對(duì)日志文件進(jìn)行基本的監(jiān)控，只對(duì)日志大無法滿足故障排查問題定位的快速運(yùn)維需求。因日志數(shù)據(jù)量巨大，監(jiān)控系統(tǒng)目前只對(duì)日志文件進(jìn)行基本的監(jiān)控，只對(duì)日數(shù)據(jù)類型復(fù)雜：傳統(tǒng)關(guān)系型數(shù)據(jù)庫不能處理半結(jié)構(gòu)化或者非結(jié)構(gòu)化數(shù)據(jù)>Splunk日志分析：Splunk日志分析工具僅支持離線的、片建立企業(yè)級(jí)的日志采集、存儲(chǔ)、分析一體化平臺(tái)，運(yùn)用數(shù)據(jù)建模、離線分析、實(shí)時(shí)流計(jì)算、搜索引擎等技術(shù)，實(shí)現(xiàn)業(yè)務(wù)性能分析、運(yùn)維風(fēng)險(xiǎn)評(píng)估、實(shí)時(shí)預(yù)警監(jiān)控、日志快速檢索等功能，促進(jìn)業(yè)務(wù)能力與運(yùn)維水平的提高歷史日志檢索歷史日志檢索·故障快速定位日志實(shí)時(shí)分析·日志實(shí)時(shí)分析·實(shí)時(shí)風(fēng)險(xiǎn)探測·業(yè)務(wù)實(shí)時(shí)監(jiān)控·模型訓(xùn)練日志離線分析·業(yè)務(wù)性能分析·運(yùn)維風(fēng)險(xiǎn)評(píng)估·模型訓(xùn)練一體化日志分析平臺(tái)一體化日志分析平臺(tái)1、日志采集子平臺(tái)集4、實(shí)時(shí)日志分析預(yù)警平臺(tái)技術(shù)方案-系統(tǒng)邏輯架構(gòu)業(yè)務(wù)實(shí)時(shí)反欺詐監(jiān)控業(yè)務(wù)系統(tǒng)故障協(xié)同處理集中監(jiān)控系統(tǒng)ECC大屏基于大數(shù)據(jù)平臺(tái)的二次開發(fā)應(yīng)用離線分析分析模型實(shí)時(shí)處理實(shí)時(shí)搜索消息中間件離線分析分析模型離線分析集群離線分析集群群日志搜索集群日志搜索集群網(wǎng)絡(luò)日志批量儲(chǔ)44存儲(chǔ)查詢分析影像存儲(chǔ)/查詢平臺(tái)基本功能流程銀行流程銀行費(fèi)用單證審批大額審批業(yè)務(wù)票據(jù)業(yè)務(wù)信用卡業(yè)務(wù)國際結(jié)算業(yè)務(wù)信貸業(yè)務(wù)應(yīng)用會(huì)計(jì)業(yè)務(wù)應(yīng)用1、影像平臺(tái)(也稱影像處理平臺(tái)、影像管理平臺(tái))構(gòu)建了銀行非結(jié)構(gòu)化數(shù)據(jù)的管理平臺(tái)，具有綜合存儲(chǔ)管理影像平臺(tái)由數(shù)據(jù)庫服務(wù)器、存儲(chǔ)系統(tǒng)拼接而成，元數(shù)據(jù)與影像應(yīng)用服務(wù)器在金融行業(yè)影像大多為小文件(幾K到幾M),個(gè)數(shù)多(千萬級(jí)以上),數(shù)據(jù)量增長迅速(TB)。應(yīng)用服務(wù)器數(shù)據(jù)庫服務(wù)器>小文件存儲(chǔ)壓力：海量的小文件對(duì)存儲(chǔ)系統(tǒng)帶來了巨大的存儲(chǔ)壓力；歸檔、備份時(shí)需要對(duì)海量小文件進(jìn)行一次掃描，耗時(shí)會(huì)數(shù)據(jù)庫服務(wù)器I離線存儲(chǔ)在線存儲(chǔ)分析性能不足：傳統(tǒng)平臺(tái)的計(jì)算資源集中在數(shù)據(jù)庫服務(wù)器，分離線存儲(chǔ)在線存儲(chǔ)·HuaweiC·HuaweiConfide1、對(duì)于每一個(gè)文件，都會(huì)相應(yīng)在HBase表中插入一條記錄(Rowkey,客戶信息等);2、MOB是HBase本身提供的一種關(guān)于小對(duì)象的存儲(chǔ)優(yōu)化方法；通過將MOB方法把較小的文件(即100KB到10MB大小的數(shù)據(jù))合并后直接以HFile的格式存儲(chǔ)在文件系統(tǒng)HDFS上；enterprise.huawei.coenterprise.huawei.co一體化的影像平臺(tái)兼容了存儲(chǔ)與計(jì)算兩種需2、華為HBaseFileStream特性確保了影像存儲(chǔ)系統(tǒng)同時(shí)兼容大文件與小文件。3、HBase的低時(shí)延、高并發(fā)特性滿足了影像查詢的需求。靈活的查詢與統(tǒng)計(jì)：而到端的企業(yè)數(shù)據(jù)(影像/文檔等)歸檔查詢解決方案，全面解決存儲(chǔ)效率、查詢性能和可靠性容災(zāi)問題?！∥募喜⒋鎯?chǔ)案相結(jié)合，提供快速查詢。無需感知文件底層存儲(chǔ)方式。d”Tolere?2miaainocks,StoragecTaler+-4mdslnathlas,Star影務(wù)燕務(wù)務(wù)44TD數(shù)倉卸載運(yùn)維日志實(shí)時(shí)分析影像存儲(chǔ)智能運(yùn)維業(yè)務(wù)當(dāng)前痛點(diǎn)：1、RS6000系統(tǒng)僅告警的實(shí)時(shí)處理和上報(bào)監(jiān)控，缺乏對(duì)監(jiān)控KPI、運(yùn)行日志的實(shí)時(shí)處理。2、RS6000系統(tǒng)因磁盤空間有限，當(dāng)前運(yùn)維數(shù)據(jù)僅能存放3個(gè)多月，過期全部刪除掉，無法利用歷史數(shù)據(jù)進(jìn)行故障風(fēng)險(xiǎn)，以及故障預(yù)測等職能運(yùn)維方面的事情。業(yè)務(wù)目標(biāo)：基于大數(shù)據(jù)平臺(tái)，搭建統(tǒng)一的實(shí)時(shí)監(jiān)控和業(yè)務(wù)應(yīng)用日志分析系統(tǒng)，為TOP30套業(yè)務(wù)應(yīng)用提供秒級(jí)的監(jiān)控能力，以提升應(yīng)用監(jiān)控的管理能力、故障發(fā)現(xiàn)和解決的效率。項(xiàng)目范圍和關(guān)鍵指標(biāo)：1.30套業(yè)務(wù)系統(tǒng)2.約