Security

Level:華為醫(yī)療大數(shù)據(jù)解決方案與實(shí)踐SecurityLevel:華為醫(yī)療大數(shù)據(jù)解決方案與實(shí)踐Content醫(yī)療大數(shù)據(jù)需求與挑戰(zhàn)華為醫(yī)療大數(shù)據(jù)解決方案大數(shù)據(jù)實(shí)踐分享華為大數(shù)據(jù)平臺(tái)介紹1234Content醫(yī)療大數(shù)據(jù)需求與挑戰(zhàn)華為醫(yī)療大數(shù)據(jù)解決方案大數(shù)醫(yī)療健康行業(yè)發(fā)展的挑戰(zhàn)與對(duì)策對(duì)策挑戰(zhàn)支出現(xiàn)狀急劇升高的醫(yī)療支出老齡化帶來的慢性疾病醫(yī)療人員短缺醫(yī)療欺詐……2013年醫(yī)療衛(wèi)生總支出為31

668億元，較2012年上升12.6%，且連續(xù)8年每年增長超過10%支出的1/3被浪費(fèi)而沒有用于改善醫(yī)療:不必要的醫(yī)療服務(wù)昂貴的醫(yī)療費(fèi)用醫(yī)療欺詐錯(cuò)失預(yù)防的機(jī)會(huì)行政浪費(fèi)……醫(yī)療數(shù)據(jù)作為一種戰(zhàn)略資產(chǎn)，分析數(shù)據(jù)以達(dá)到提高診斷準(zhǔn)確度、提高療效、降低費(fèi)用、應(yīng)對(duì)挑戰(zhàn)2醫(yī)療健康行業(yè)發(fā)展的挑戰(zhàn)與對(duì)策對(duì)策挑戰(zhàn)支出現(xiàn)狀急劇升高的醫(yī)療支PACSHISEMRLIS健康穿戴護(hù)理來源醫(yī)療數(shù)據(jù)來源與特點(diǎn)特點(diǎn)時(shí)序性主觀性病程記錄、診斷描述等具有較大的主觀性，不易標(biāo)準(zhǔn)化，且可能會(huì)有偏差和缺失結(jié)構(gòu)化：各業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)等多樣性

半結(jié)構(gòu)化：病程記錄數(shù)據(jù)等非結(jié)構(gòu)化：影像數(shù)據(jù)等醫(yī)囑：臨時(shí)與長期醫(yī)囑反應(yīng)服藥變化信息護(hù)理：反應(yīng)每天身體指標(biāo)變化信息歷史信息：就診史、既病史、家族史…隱私性患者病情屬于個(gè)人隱私內(nèi)部病情討論與治療方案信息不能泄露海量數(shù)據(jù)長期保存健康穿戴設(shè)備興起，數(shù)據(jù)量急劇增長符合大數(shù)據(jù)的特征PACSHISEMRLIS健康穿戴護(hù)理來源醫(yī)療數(shù)據(jù)來源與特點(diǎn)醫(yī)療信息化發(fā)展進(jìn)程階段一：醫(yī)院管理信息化階段二：醫(yī)院臨床信息化階段三：醫(yī)院集成/區(qū)衛(wèi)平臺(tái)整合不同業(yè)務(wù)信息系統(tǒng)，互聯(lián)互通、數(shù)據(jù)共享以患者為中心的信息系統(tǒng)

LIS、RIS、PACS、EMR等門診、住院流程及收費(fèi)為主的信息系統(tǒng)HIS為主PACSRISHRPHISLISEMRRHINHIP當(dāng)前階段數(shù)據(jù)集中與共享，使得醫(yī)療大數(shù)據(jù)的分析與應(yīng)用逐步成為可能醫(yī)療信息化發(fā)展進(jìn)程階段一：醫(yī)院管理信息化階段二：醫(yī)院臨床信息基于疾病模型和特征快速篩選，如:糖尿病前列腺肝炎睡眠呼吸暫?！o助診斷，如基于心電圖、腦電波或影像的分析等，輔助診斷:心臟病胸部疼痛風(fēng)濕性疾病基于歷史數(shù)據(jù)循證分析，選擇最佳的治療方案，如:糖尿病的用藥劑量預(yù)測(cè)高血壓指標(biāo)控制與靶器官損害……如:AIDS病人存活時(shí)間預(yù)測(cè)早產(chǎn)風(fēng)險(xiǎn)預(yù)測(cè)心臟手術(shù)風(fēng)險(xiǎn)預(yù)測(cè)脊髓損傷后預(yù)測(cè)移動(dòng)乳癌預(yù)測(cè)等疾病篩查疾病診斷疾病治療病情預(yù)報(bào)流行病研究醫(yī)療衛(wèi)生管理病情分析與風(fēng)險(xiǎn)評(píng)估，發(fā)現(xiàn)流行疾病的發(fā)病模式，疾病之間的相關(guān)性等，如：評(píng)估內(nèi)陸城市的哮喘模型，預(yù)測(cè)相似人口城市的爆發(fā)得疾病A后，得疾病B的概率優(yōu)化資源分配，輔助規(guī)劃，如：預(yù)測(cè)病人量救護(hù)車運(yùn)行量預(yù)測(cè)住院時(shí)間長短醫(yī)保費(fèi)用欺詐識(shí)別等居民就醫(yī)機(jī)構(gòu)因素分析醫(yī)療數(shù)據(jù)價(jià)值充分挖掘醫(yī)療大數(shù)據(jù)蘊(yùn)藏巨大價(jià)值，數(shù)據(jù)挖掘與統(tǒng)計(jì)檢驗(yàn)成為最關(guān)注的需求基于疾病模型和特征快速篩選，如:輔助診斷，如基于心電圖Page

6醫(yī)療大數(shù)據(jù)其它應(yīng)用需求客戶類型業(yè)務(wù)場(chǎng)景業(yè)務(wù)需求大數(shù)據(jù)價(jià)值區(qū)衛(wèi)平臺(tái)1.

健康檔案、電子病歷向居民開放國家要求，數(shù)據(jù)開放居民查詢傳統(tǒng)RDB無法支撐高并發(fā)查詢2.

衛(wèi)生管理BI分析衛(wèi)生局統(tǒng)計(jì)報(bào)表分析，支持監(jiān)管、藥品控制，績(jī)效考核等快速分析、共享數(shù)據(jù)平臺(tái)3.

EMR/EHR檔案檢索衛(wèi)生管理人員隨機(jī)查詢檔案，如查詢相似疾病集（類似區(qū)衛(wèi)平臺(tái)內(nèi)的搜索引擎）傳統(tǒng)RDB無法支持醫(yī)院集成平臺(tái)1.

臨床科研平臺(tái)EMR、HIS、LIS、PACS信息整合，供醫(yī)生分析科研、檢索、查詢傳統(tǒng)數(shù)據(jù)倉庫實(shí)現(xiàn)復(fù)雜2.

綜合信息檢索根據(jù)關(guān)鍵字快速查詢歷史類似病情與診療病歷傳統(tǒng)RDB無法支持3.

醫(yī)院運(yùn)營BI分析醫(yī)院床位管理、人流趨勢(shì)；績(jī)效、藥品監(jiān)管等快速、共享數(shù)據(jù)平臺(tái)醫(yī)院/區(qū)域影像中心1.

影像存儲(chǔ)、調(diào)閱可擴(kuò)展的存儲(chǔ)，歸檔影像快速調(diào)閱、備份、容災(zāi)分布式存儲(chǔ)、可擴(kuò)展性，并發(fā)查詢性能2.

影像處理加速影像的自動(dòng)化分析，三維重構(gòu)并行加速，提升區(qū)域影像云高并發(fā)訪問下用戶體驗(yàn)疾控中心1.

疫情信息即時(shí)查詢查詢歷史疫情信息，指導(dǎo)疫情防治大數(shù)據(jù)量下的快速響應(yīng)2.

疫情傳播控制建立疫情傳播模型、人員流動(dòng)預(yù)測(cè)、預(yù)警并行分析、建模，快速響應(yīng)健康管理1.慢病監(jiān)測(cè)、提醒、推薦實(shí)時(shí)監(jiān)測(cè)，個(gè)性化防治，精準(zhǔn)醫(yī)療大規(guī)模實(shí)時(shí)處理，實(shí)時(shí)決策Page6醫(yī)療大數(shù)據(jù)其它應(yīng)用需求客戶類型業(yè)務(wù)場(chǎng)景業(yè)務(wù)需求大挑戰(zhàn)身份信息患者隱私治療方案……疾病治療是個(gè)過程，無法確定當(dāng)前所開處方一定是有效的…….

建模困難信息孤島與標(biāo)準(zhǔn)，建立臨床數(shù)據(jù)中心困難數(shù)據(jù)質(zhì)量參差不齊、空值、異常值多大數(shù)據(jù)技術(shù)復(fù)雜，易用性待增強(qiáng)影像心電醫(yī)囑電子病歷基因穿戴設(shè)備…….醫(yī)療大數(shù)據(jù)應(yīng)用挑戰(zhàn)挑戰(zhàn)身份信息患者隱私治療方案疾病治療是個(gè)過程，無法確定sexpectationActivitySWtrierealmesssSoPcoiawl

erAGnarolyutpicsBGuyaimngification3D

ImagePrintingContexRt-eEcnorgicnhietiodn

SpeSeecrhv-itcoe-sSpeechTranslatioInnternet

ofNatural

LanguageThQinugesstionAnsweringVideo

Analytics

for

CustomerService

Computer-BrainIntQeurfancteum

HumCoamn

putingAugm3eDntationBioprintingSocialTVInternet

TV

NFC

PaymentPrivate

CloudComAupgumtinegnted

RealityCloudComputing

Media

TabletVirtual

AssistantsIn-Memory

DatabaseGMeastnuargeement

SystemsRMeaccohgineiti-oton-Machine

CommunicationServicesMeshNetworks:SensorTeHostedVirtualondnesumerizMobileApplication

BSitoomreestric

AuthenticationIdeMaethods

M/CanoalogrementSpeech

RecognitioPredictive

AnalyticsnLocation-AwareApplicationsAs

ofJulype

of

Enlightenment2011Plateau

ofProductivityMobile"Big

Data"anRdoEboxtsemeProcIensfosrimngaationndManagementYeadleoDesktopVirtus

al QRW

orlds CoE-BookatiReaderschnology Peak

of Trough

of SloTrigger Inflated DisillusionmenExpectations ttimearsto

mainstreamspstithonan:

2

years

2to

5

years 5to

10

yearsmore

than

10yearsobsoletebefore

plateau大數(shù)據(jù)從概念技術(shù)炒作轉(zhuǎn)向商業(yè)價(jià)值探索Gartner

新興技術(shù)

Hyper

曲線

(2011年) Gartner

新興技術(shù)

Hyper

曲線

(2014年)開放多元、多維、多渠道、異型數(shù)據(jù)聚焦提煉有效數(shù)據(jù)、釋放商業(yè)價(jià)值概念技術(shù)商業(yè)價(jià)值8sexpectationSWtrierealmesssSoPHadoop已成為大數(shù)據(jù)事實(shí)標(biāo)準(zhǔn)Share

Nothing架構(gòu)開放,、全球生態(tài)統(tǒng)一處理結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)高性能、實(shí)時(shí)Hadoop已成為大數(shù)據(jù)事實(shí)標(biāo)準(zhǔn)ShareNothing架Content醫(yī)療大數(shù)據(jù)需求與挑戰(zhàn)華為醫(yī)療大數(shù)據(jù)解決方案大數(shù)據(jù)實(shí)踐分享華為大數(shù)據(jù)平臺(tái)介紹1234Content醫(yī)療大數(shù)據(jù)需求與挑戰(zhàn)華為醫(yī)療大數(shù)據(jù)解決方案大數(shù)醫(yī)療詞典華為醫(yī)療大數(shù)據(jù)整體解決方案批處理、準(zhǔn)實(shí)時(shí)華為公司合作伙伴醫(yī)療生產(chǎn)數(shù)據(jù)電子病歷健康檔案診療藥品影像費(fèi)用移動(dòng)可穿戴設(shè)備采集數(shù)據(jù)調(diào)閱病歷/影像（醫(yī)生）患者瀏覽健康檔案（居民）XX信息查詢（第三方機(jī)構(gòu)）醫(yī)療大數(shù)據(jù)開放（實(shí)時(shí)并發(fā)查詢）大數(shù)據(jù)

挖掘平臺(tái)Miner大數(shù)據(jù)并行處理平臺(tái)

Fusion

InsightHD大數(shù)據(jù)存儲(chǔ)基礎(chǔ)設(shè)施OceanStorN9000分布式文件系統(tǒng)(NFS/CIFS/HDFS)ZookeeperHive/Impala機(jī)器學(xué)習(xí)算法庫(聚類/分類/回歸/文本分析/圖分析)SparkYarnMapReduceHDFS/LoaderHBaseOozie數(shù)據(jù)建?？梢暬丶卣鞴こ?分析建模慢病特征庫 慢病管理模型心電特征庫 心電預(yù)測(cè)模型 分詞算法與特征提取臨床科研平臺(tái)……醫(yī)療應(yīng)用醫(yī)療行業(yè)能大數(shù)據(jù)平臺(tái)數(shù)據(jù)源健康管理?藥品廣告?個(gè)性化治療?慢病防治建議通知/告警/推薦XX病推薦模型力 …XX病信息推薦規(guī)則實(shí)時(shí)處理實(shí)時(shí)決策引擎流計(jì)算平臺(tái)FusionInsightStreaming區(qū)衛(wèi)平臺(tái)、醫(yī)院集成平臺(tái)、區(qū)域影像循證決策管理（衛(wèi)生管理）

?績(jī)效考核臨床循證醫(yī)學(xué)分析（醫(yī)生）

?醫(yī)療費(fèi)用分析藥物、流行病學(xué)分析等

?藥品監(jiān)管等醫(yī)療大數(shù)據(jù)統(tǒng)計(jì)分析與挖掘

醫(yī)療大數(shù)據(jù)BI分析疾控中心?相似病歷查詢?疫情查詢Ad-hoc查詢復(fù)雜查詢MPP數(shù)據(jù)庫R11醫(yī)療詞典華為醫(yī)療大數(shù)據(jù)整體解決方案批處理、準(zhǔn)實(shí)時(shí)華為公基于大數(shù)據(jù)的臨床科研平臺(tái)或數(shù)據(jù)整合解決方案醫(yī)囑信息…患者基本信息患者健康信息患者就診信息檢驗(yàn)信息護(hù)理信息VS傳統(tǒng)模式（星形或雪花）與大數(shù)據(jù)平臺(tái)模式（大表）的臨床數(shù)據(jù)倉庫模式對(duì)比非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)結(jié)構(gòu)化處理Hadoop平臺(tái)HISEMRLIS...導(dǎo)入PACS移動(dòng)護(hù)理EMR/HIS/LIS患者健康信息患者基本信息檢驗(yàn)信息ETL…….高血壓糖尿病臨床數(shù)據(jù)倉庫 分析主題數(shù)據(jù)集市…….高血壓并發(fā)癥相關(guān)因素分析高血壓控制藥物劑量預(yù)測(cè)分析課題特征庫醫(yī)囑信息模型訓(xùn)練分類回歸

相關(guān)性……統(tǒng)計(jì)分析與挖掘醫(yī)院業(yè)務(wù)系統(tǒng) 臨床科研平臺(tái)數(shù)據(jù)庫

導(dǎo)入的原始數(shù)據(jù)…患者就診信息12基于大數(shù)據(jù)的臨床科研平臺(tái)或數(shù)據(jù)整合解決方案醫(yī)囑信息…患者基本基于大數(shù)據(jù)的數(shù)據(jù)分析、挖掘解決方案對(duì)接商用分析軟件集成開源分析工具RFusionInsight

Hadoop數(shù)據(jù)處理平臺(tái)并行化機(jī)器學(xué)習(xí)算法庫(HIMM/Mahout/MLlib/HiGraph)可視化FusionInsight

Miner行業(yè)應(yīng)用使能器（Enabler）金融行業(yè)模型使能套件醫(yī)療行業(yè)模型

使能套件 ①數(shù)據(jù)探索 ②特征工程 ③

建模分析SparkR

接口CSV文件輸入疾病、病患標(biāo)簽管理電信行業(yè)模型使能套件臨床醫(yī)學(xué)詞典臨床科研字典臨床流水型特征提取疾病分析模型 輔助診斷引擎病歷文本特征提取臨床科研庫

主題集市

課題特征項(xiàng)病歷全文全數(shù)據(jù)檢索13基于大數(shù)據(jù)的數(shù)據(jù)分析、挖掘解決方案對(duì)接商用分析軟件集成開源分基于大數(shù)據(jù)的臨床輔助決策支持醫(yī)療數(shù)據(jù)處理整合+數(shù)據(jù)平臺(tái)+離線挖掘推薦引擎（推薦算法實(shí)時(shí)計(jì)算）在線診斷單元在線診斷單元在線診斷單元在線診斷單元患者數(shù)據(jù)疾病模型患者歷史病情與診斷信息高速緩存快速查詢專家規(guī)則系統(tǒng)實(shí)時(shí)數(shù)據(jù)處理與分發(fā)醫(yī)院業(yè)務(wù)系統(tǒng)（HIS、EMR等，如HIS中醫(yī)生點(diǎn)擊開立醫(yī)囑觸發(fā)信息上傳）診斷請(qǐng)求患者癥狀與檢驗(yàn)數(shù)據(jù)規(guī)則庫導(dǎo)入14離線分析系統(tǒng)在線診斷系統(tǒng)醫(yī)院業(yè)務(wù)系統(tǒng)（Redis+Hbase）診斷建議即時(shí)響應(yīng)基于大數(shù)據(jù)的臨床輔助決策支持推薦引擎在線診斷單元在線診斷單元醫(yī)療影像大數(shù)據(jù)存儲(chǔ)/查詢解決方案HDFS

RaidAppendable-SequenceFile小文件合并存儲(chǔ)HBase

Like

APIHBase

File

SystemHBaseASFHDFSHBase

like

API定位醫(yī)療影像數(shù)據(jù)分布式存儲(chǔ)與快速查詢解決方案高效存儲(chǔ)支持Appendable-SequenceFile小文件合并存儲(chǔ)支持HDFS-RAID和高效Erasured

Code算法快速查詢HBase和HDFS小文件存儲(chǔ)方案相結(jié)合，提供快速查詢易開發(fā)提供類HBase

API接口，用戶無需感知文件底層存儲(chǔ)方式高可靠提供HFDS容災(zāi)方案無限可擴(kuò)展基層醫(yī)療機(jī)構(gòu)A基層醫(yī)療機(jī)構(gòu)B影像設(shè)備前置機(jī)前置機(jī)影像設(shè)備PACS系統(tǒng)影像存儲(chǔ)IP鏈路區(qū)域影像中心功能15醫(yī)療影像大數(shù)據(jù)存儲(chǔ)/查詢解決方案HDFSRaidAppen基于大數(shù)據(jù)的智慧移動(dòng)醫(yī)療解決方案$遠(yuǎn)程醫(yī)療術(shù)后監(jiān)測(cè)慢病管理智慧移動(dòng)醫(yī)療應(yīng)用軟件④大數(shù)據(jù)分析與實(shí)時(shí)推薦平臺(tái) ⑥① ①華為智慧醫(yī)療平臺(tái)多媒體統(tǒng)一通信 IoT平臺(tái)一體化網(wǎng)關(guān) 家庭網(wǎng)（視頻會(huì)議+數(shù)據(jù)采 ⑤ 關(guān)集） ⑤③醫(yī)療數(shù)據(jù)采集器 醫(yī)療小推車② 專業(yè)醫(yī)療設(shè)

②

家用醫(yī)療/可穿戴

③系列化會(huì)議軟硬終端

備

PC/Pad/手機(jī)(軟終端)

健康設(shè)備華為提供 第三方合作伙伴提供 注：華為提供SDK嵌入終端實(shí)現(xiàn)數(shù)據(jù)采集標(biāo)準(zhǔn)化患者信采集患者病情指導(dǎo)數(shù)據(jù)分析16基于大數(shù)據(jù)的智慧移動(dòng)醫(yī)療解決方案$遠(yuǎn)程醫(yī)療術(shù)后監(jiān)測(cè)慢病管理智Content醫(yī)療大數(shù)據(jù)需求與挑戰(zhàn)華為大數(shù)據(jù)平臺(tái)介紹大數(shù)據(jù)實(shí)踐分享華為醫(yī)療大數(shù)據(jù)解決方案123417Content醫(yī)療大數(shù)據(jù)需求與挑戰(zhàn)華為大數(shù)據(jù)平臺(tái)介紹大數(shù)據(jù)實(shí)華為大數(shù)據(jù)全生命周期解決方案數(shù)據(jù)洞察平臺(tái)大數(shù)據(jù)基礎(chǔ)設(shè)施數(shù)據(jù)集成平臺(tái)收集清洗轉(zhuǎn)換FusionInsight應(yīng)用接口封裝與能力層

SQL,

NoSQL,

Search應(yīng)用使能套件電信金融行業(yè)應(yīng)用醫(yī)療APIAPI網(wǎng)絡(luò)通用X86

服務(wù)器Manager統(tǒng)一管理Miner百萬維特征管理與建模、算法并行化基礎(chǔ)數(shù)據(jù)處理平臺(tái)MPP

DB海量結(jié)構(gòu)化數(shù)據(jù)實(shí)時(shí)流處理內(nèi)存迭代離/近線處理安全設(shè)備18華為大數(shù)據(jù)全生命周期解決方案數(shù)據(jù)洞察平臺(tái)大數(shù)據(jù)基礎(chǔ)設(shè)施數(shù)據(jù)集FusionInsight

Hadoop：更安全、更可靠、更智慧、更易用競(jìng)爭(zhēng)力關(guān)鍵優(yōu)化點(diǎn)編號(hào)可靠全系統(tǒng)HA1集群異地容災(zāi)方案2數(shù)據(jù)備份恢復(fù)3業(yè)務(wù)過載控制4安全OS安全加固5統(tǒng)一賬號(hào)管理6基于賬號(hào)、角色的權(quán)限管理7數(shù)據(jù)加密保護(hù)8易用GUI界面、向?qū)桨惭b升級(jí)工具9健康檢查和日志收集工具10工作流11原生接口二次封裝12高效

性能提升3-10倍MR任務(wù)調(diào)度算法優(yōu)化13聚簇表14二級(jí)索引15并行數(shù)據(jù)導(dǎo)入工具16HDFSZKOSHiveOozieKRBManagerToolkit北向 向?qū)Ц婢?日志監(jiān)控 配置安裝 升級(jí)健康檢查工具方案多租戶方案MR

34異地容災(zāi)方案2數(shù)據(jù)備份/恢復(fù)78591011數(shù)據(jù)備份工具數(shù)據(jù)導(dǎo)入工具161566LDAP3安全解決方案FusionInsight

Hadoop Solutions334HBase1271415191Spark713基于開源，面向企業(yè)級(jí)的工程化優(yōu)化，兩方面：1、組件強(qiáng)身健體；2、面向應(yīng)用和管理的解決方案和工具。FusionInsightHadoop：更安全、更可靠、更精細(xì)化安全管理，加強(qiáng)數(shù)據(jù)安全多租戶訪問數(shù)據(jù)安全操作日志審計(jì)應(yīng)用層安全防敏內(nèi)感外信網(wǎng)息隔泄離露基礎(chǔ)設(shè)施安全安 全可 靠智 慧易 用20精細(xì)化安全管理，加強(qiáng)數(shù)據(jù)安全多租戶訪問應(yīng)用層安全安 全可 靠組件日志審計(jì)審計(jì)日志類別審計(jì)日志內(nèi)容OM審計(jì)日志用戶管理、集群管理、服務(wù)管理、實(shí)例管理、主機(jī)管理、維護(hù)管理等操作日志HBaseDDL語句、DML語句、HBase維護(hù)命令、權(quán)限控制等操作日志Hive元數(shù)據(jù)操作、數(shù)據(jù)維護(hù)、權(quán)限管理等操作日志HDFS權(quán)限管理、文件操作等操作日志MapReduce程序運(yùn)行（啟動(dòng)、停止、查詢Container）的操作日志Loader登錄、任務(wù)管理等操作日志Hue用戶登錄或注銷信息Zookeeper用戶登錄、任務(wù)流管理、任務(wù)流狀態(tài)變化信息FTP-Server用戶登錄，文件操作（刪除，上傳，chmod，chown）信息安 全可 靠智 慧易 用21組件日志審計(jì)審計(jì)日志類別審計(jì)日志內(nèi)容用戶管理、集群管理、服務(wù)敏感數(shù)據(jù)加密存儲(chǔ)HDFSHive/HBase敏感數(shù)據(jù)寫入加密/解密敏感數(shù)據(jù)讀取*(&@#$^%!%$#$!(*^&*^*5!$!@^%$^!$!%#$@%#!!$#@!非敏感數(shù)據(jù)非敏感數(shù)據(jù)DB Files外部數(shù)據(jù)源HiveHBase組件加密加密后的數(shù)據(jù)內(nèi)部數(shù)據(jù)在Hadoop中，數(shù)據(jù)缺省是明文存放，這樣會(huì)導(dǎo)致某些敏感數(shù)據(jù)存在泄密的安全隱患。應(yīng)用場(chǎng)景解決方案用戶可將敏感數(shù)據(jù)存儲(chǔ)在大數(shù)據(jù)系統(tǒng)中表、列級(jí)別的細(xì)粒度控制支持算法的多樣性，系統(tǒng)更安全業(yè)務(wù)透明，加解密過程業(yè)務(wù)無感知Hive支持對(duì)表、列加密Hbase支持對(duì)表、列族和列加密支持AES、國密算法SM4、RC4等加密算法，同時(shí)允許使用用戶自定義的加密算法客戶價(jià)值安 全可 靠智 慧易 用22敏感數(shù)據(jù)加密存儲(chǔ)HDFSHive/HBase加密/解密敏感數(shù)可靠性保證系統(tǒng)可靠性所有組件無單點(diǎn)故障，故障自動(dòng)恢復(fù)，所有組件管理節(jié)點(diǎn)實(shí)現(xiàn)HA業(yè)務(wù)狀態(tài)監(jiān)控，避免單節(jié)點(diǎn)/進(jìn)程的亞健康、僵死導(dǎo)致業(yè)務(wù)中斷租戶資源隔離和任務(wù)優(yōu)先級(jí)調(diào)度避免系統(tǒng)業(yè)務(wù)阻塞升級(jí)維護(hù)，業(yè)務(wù)不中斷數(shù)據(jù)可靠性支持跨數(shù)據(jù)中心數(shù)據(jù)備份支持硬盤熱插拔、數(shù)據(jù)掉電保護(hù)HDFS采用CRC32C校驗(yàn)數(shù)據(jù)的正確性支持與第三方備份系統(tǒng)集成支持多租戶訪問全系統(tǒng)數(shù)據(jù)持久度可達(dá)5個(gè)9，雙容災(zāi)集群的數(shù)據(jù)持久度達(dá)7個(gè)9可 靠智 慧易 用安 全23可靠性保證系統(tǒng)可靠性數(shù)據(jù)可靠性可 靠智 慧易 用安 全23Hadoop

clusterNAS…異地災(zāi)備表級(jí)別集群在線備份，用于在線業(yè)務(wù)故障災(zāi)備數(shù)據(jù)恢復(fù)批量導(dǎo)出本地備份支持庫級(jí)別本地備份、批量導(dǎo)出和數(shù)據(jù)恢復(fù)，支持全量、增量?jī)煞N模式。用于集群故障、人為誤操作導(dǎo)致的數(shù)據(jù)丟失本地備份LdapServerHMHMHDFSRSRSHBaseLdapServerHMHMHDFSRS RSRSRSHBaseRSHLog

SyncAuthentication

Data

Sync跨數(shù)據(jù)中心容災(zāi)備份可 靠智 慧易 用安 全24HadoopclusterNAS…異地災(zāi)備數(shù)據(jù)恢復(fù)批量導(dǎo)出基于開源內(nèi)核做功能增強(qiáng)可 靠智 慧易 用安

全CTBase表/索引聚簇、二級(jí)索引，降低查詢IO,

百億條信息查詢秒級(jí)響應(yīng)文件同分布，查詢時(shí)延相比傳統(tǒng)方法快5~100倍HBase冷列合并，降低數(shù)據(jù)膨脹率創(chuàng)建增強(qiáng)的Hive索引，查詢性能翻倍Spark引入sort-based

shuffle，降低系統(tǒng)開銷，提升性能優(yōu)化后的HiGraph算法庫相比開源MLLIB提速3倍以上速度更快HBase的表設(shè)計(jì)工具，簡(jiǎn)化業(yè)務(wù)開發(fā)，可以開發(fā)復(fù)雜的多表業(yè)務(wù)可視化數(shù)據(jù)表建模，降低HBase使用門檻基于Storm提供CQL語言，降低流處理業(yè)務(wù)的開發(fā)門檻開發(fā)更簡(jiǎn)單HDFS提供FTP方式與Hadoop集群交換數(shù)據(jù)SparkSQL提供外部數(shù)據(jù)源接口，方便對(duì)接Phoenix增強(qiáng),

更通用SparkSQL支持列存格式，使用更靈活Spark使用通用API適配外部數(shù)據(jù)源接口功能更強(qiáng)25基于開源內(nèi)核做功能增強(qiáng)可 靠智 慧易 用安全CTBase表MPP

DB，海量結(jié)構(gòu)化數(shù)據(jù)快速查詢分析準(zhǔn)實(shí)時(shí)檢索：百億級(jí)數(shù)據(jù)記錄秒級(jí)檢索查詢能力

。彈性擴(kuò)展：支撐PB級(jí)別容量擴(kuò)展，計(jì)算資源按需擴(kuò)展。行列混存：支持行存儲(chǔ)和列存儲(chǔ)兩種存儲(chǔ)模型，用戶可根據(jù)應(yīng)用場(chǎng)景選擇。易 用安

全 可 靠 智 慧DataNodeLocal

DataDataNodeLocal

DataDataNodeLocal

Data…………應(yīng)用程序JDBC/ODBCCCoCoooorodrdrindinainatoatotror

rGMDOMSCMSGTM26FusionInsight

MPPDBMPPDB，海量結(jié)構(gòu)化數(shù)據(jù)快速查詢分析準(zhǔn)實(shí)時(shí)檢索：百億Miner，讓數(shù)據(jù)慧說話金融行業(yè)模型使能套件電信行業(yè)模型使能套件醫(yī)療行業(yè)模型使能套件一站式平臺(tái)支撐數(shù)據(jù)分析全流程讓大數(shù)據(jù)探索和洞察變得簡(jiǎn)單端到端分析平臺(tái)特征復(fù)用，

基于分布式內(nèi)存計(jì)算，支持百萬維度特征分析特征工程/社交化開發(fā)過程封裝成圖形化算子，

無需任何代碼圖形化控件自研HiGraph

算法

庫

,

比

開

源Mllib

算

法

庫

快3~5倍高性能算法庫與R無縫對(duì)接,

支持與SAS、SPSS等對(duì)接開放性提供基于業(yè)務(wù)問題驅(qū)動(dòng)的閉環(huán)解決方案業(yè)務(wù)驅(qū)動(dòng)可 靠智 慧易 用安

全27FusionInsight

MinerMiner，讓數(shù)據(jù)慧說話金融行業(yè)模型使能套件電信行業(yè)模型使能HDFSStormMapReduceYARN/ZookeeperSparkHbaseStructured

DataComplex

Event

Process3rd

Party

orcustomizedwordloadMPP

DBBatch

ProcessingHiveInteractiveAnalyticsImpalaElkCQLPhoenixComplex

Event

ProcessSpark

SQLSQL

on

Hadoop能力，傳統(tǒng)業(yè)務(wù)易移植可 靠智 慧易 用安

全28FusionInsightSQL

on

Hadoop

能力全景HDFSStormMapReduceYARN/ZookeepELK：最佳交互式SQL引擎查詢、報(bào)表、統(tǒng)計(jì)…DataHDFSSQL

引擎SQL

引擎SQL

執(zhí)行器LoaderManagerELK結(jié)構(gòu)化數(shù)據(jù)分析挖掘、機(jī)器學(xué)習(xí)…半/非結(jié)構(gòu)化數(shù)據(jù)分析挖掘平臺(tái)；流處理平臺(tái)；

非結(jié)構(gòu)化處理平臺(tái)；……SQL

執(zhí)行器SQL

執(zhí)行器FusionInsight

HDELK能力：全面兼容通用SQL和HQL全面支持JDBC、ODBC，并提供豐富的擴(kuò)展接口，如PL/C，

PL/Java，PL/Python交互式查詢性能超越Impala支持靈活的存儲(chǔ)格式HDFS(ORC、Parquet)，HBase（KV）可 靠智 慧易 用安

全02004006008001 3 5 7 9 11

13

15

17

19

21Elk與Impala性能對(duì)比，TPC-H

100X（單位：秒/查詢N）ImpalaELk29ELK：最佳交互式SQL引擎查詢、報(bào)表、統(tǒng)計(jì)…DataHDF全自動(dòng)在線運(yùn)維向?qū)讲僮?，Step

bystep引導(dǎo)完成安裝，分布式并行處理，快速完成

集群安裝自動(dòng)化的二次開發(fā)助手，大幅降低部署難度Dash

Board：直觀監(jiān)控集群、組件信息全局信息快速瀏覽詳實(shí)直觀的拓?fù)涔芾砗?jiǎn)潔明了的性能圖表方便快捷的集群管