H3C大數(shù)據解決方案H3C大數(shù)據解決方案目錄大數(shù)據建設思路H3C大數(shù)據解決方案H3C大數(shù)據產品特點成功案例展示目錄大數(shù)據建設思路為什么需要大數(shù)據技術？3大表查詢慢數(shù)據間關系模糊計算節(jié)點擴展瓶頸數(shù)據結構多樣數(shù)據來源廣泛計算性能瓶頸存儲容量瓶頸服務級別要求越來越高OldSQL瓶頸半、非結構化數(shù)據難以處理數(shù)據采集困難數(shù)據幾何增長存儲節(jié)點擴展瓶頸數(shù)據清洗復雜系統(tǒng)響應慢數(shù)據吞吐能力低單表數(shù)據量激增分析方式單一分析結果展現(xiàn)不友好無即席查詢?yōu)槭裁葱枰髷?shù)據技術？3大表查詢慢數(shù)據間關系模糊計算節(jié)點擴展大數(shù)據建設思路4數(shù)據運營數(shù)據整合技術升級第一階段第二階段第三階段大數(shù)據建設思路4數(shù)據運營數(shù)據整合技術升級第一階段第二階段第三第一階段技術升級大數(shù)據建設步驟第一階段技術升級大數(shù)據建設步驟技術升級6決策支持和流程自動化數(shù)據分析、展現(xiàn)和挖掘數(shù)據組織和管理計算、存儲、網絡基礎設施分布式存儲分布式文件系統(tǒng)分布式卷管理器分布式數(shù)據庫分布式計算集群技術升級解決傳統(tǒng)計算、存儲、數(shù)據庫在處理海量大數(shù)據的瓶頸技術升級6決策支持和流程自動化數(shù)據分析、展現(xiàn)和挖掘數(shù)據組織和分布式架構的優(yōu)勢7分布式架構的優(yōu)勢7第二階段數(shù)據整合大數(shù)據建設步驟第二階段數(shù)據整合大數(shù)據建設步驟數(shù)據整合9數(shù)據倉庫全文庫關聯(lián)庫專題庫……數(shù)據管理基礎數(shù)據應用數(shù)據配置數(shù)據數(shù)據標準管理數(shù)據質量檢測數(shù)據資源監(jiān)控數(shù)據資源目錄數(shù)據價值評價政務內網政務外網數(shù)據源互聯(lián)網數(shù)據結構化庫全文庫音視頻庫……元數(shù)據庫數(shù)據字典…………制定標準化、規(guī)范化的數(shù)據處理流程；采集內部和外部數(shù)據、結構化和非結構化數(shù)據；清洗臟數(shù)據和無效數(shù)據；打通不同來源的數(shù)據；對非結構化的數(shù)據進行結構化加工數(shù)據整合9數(shù)據倉庫全文庫關聯(lián)庫專題庫……數(shù)據管理基礎數(shù)據應用第三階段數(shù)據運營大數(shù)據建設步驟建議第三階段數(shù)據運營大數(shù)據建設步驟建議數(shù)據運營11數(shù)據即服務平臺即服務軟件即服務數(shù)據運營第一種：DaaS，數(shù)據即服務，舉例來說，某個單位它需要數(shù)據，作為數(shù)據管理員，按用戶的需求把不同數(shù)據整合成寬表給用戶，這就是DaaS的服務；第二種：PaaS，對外部單位數(shù)據服務的時候，有些數(shù)據沒有辦法離開數(shù)據平臺，通過提供各種各樣數(shù)據分析挖掘的工具，讓用戶在平臺上挖掘出需要的結果；第三種：SaaS，各個專業(yè)的平臺應用。數(shù)據運營11數(shù)據即服務平臺即服務軟件即服務數(shù)據運營目錄大數(shù)據建設思路H3C大數(shù)據解決方案H3C大數(shù)據產品特點成功案例展示目錄大數(shù)據建設思路H3C大數(shù)據平臺系統(tǒng)架構H3C大數(shù)據平臺系統(tǒng)架構平臺物理拓撲14……Hadoop集群MPP集群其他組件（BI、ETL等）…InterconnectionNetwork基于X86的分布式架構，可從3臺橫向擴展至數(shù)千節(jié)點平臺物理拓撲14……Hadoop集群MPP集群其他組件（BIH3CDataEngine平臺組件Linux操作系統(tǒng)X86服務器集群資源管理YARN任務調度安全管理文件系統(tǒng)HDFS集群安裝布署消息隊列BI可視化可編程接口離線計算MapReduceMPP分布式數(shù)據庫HBase數(shù)據庫全文檢索SQL即席查詢數(shù)據倉庫同步系統(tǒng)ZooKeeper內存計算Spark流計算Storm數(shù)據采集數(shù)據交換數(shù)據挖掘集群監(jiān)控管理大數(shù)據應用H3CDataEngine兼容性好：基于開源Hadoop分布式計算框架，提供開放、兼容的大數(shù)據計算能力；硬件無關：支持物理機布署、虛擬機布署；支持獨立布署、云平臺布署；安裝便捷：支持一鍵式快速布署，幾分鐘即可完成集群創(chuàng)建；擴展性強：集群數(shù)量從幾臺到上千臺，并支持在線橫向擴展；方便運維：支持圖形化管理工具，運維管理簡單易用；兼容SQL：

兼容標準SQL，包括Hadoop和MPPH3CDataEngine平臺組件Linux操作系統(tǒng)X86大數(shù)據平臺整體建設步驟建立數(shù)據標準規(guī)范建立數(shù)據填報系統(tǒng)業(yè)務系統(tǒng)數(shù)據抽取連接共享交換系統(tǒng)數(shù)據比對垃圾過濾數(shù)據去重數(shù)據轉換數(shù)據采集數(shù)據倉庫建設根據分析型應用需求確定專題數(shù)據特征分析根據對需求和數(shù)據的分析，按照不同的主題建立數(shù)據倉庫模型各業(yè)務部門根據各自的數(shù)據分析需求，建立數(shù)據集市模型通過ETL工具實現(xiàn)數(shù)據加載和同步數(shù)據分析應用專題圖表設計領導輔助決策職能部門數(shù)據共享公眾數(shù)據查詢其他大數(shù)據應用系統(tǒng)123大數(shù)據平臺整體建設步驟建立數(shù)據標準規(guī)范數(shù)據采集數(shù)據倉庫建設根1.數(shù)據采集--數(shù)據共享交換平臺在每個被采集的數(shù)據單位，部署數(shù)據采集網關，實現(xiàn)對結構化、半結構化、非結構化數(shù)據的采集和相互交換支持對Oracle、SQLSever、MYSQL、達夢、金倉等數(shù)據的抽取支持對xml、html、pdf、txt等文件的抽取房產部門稅務部門財政部門相關資源提供機構其他職能部門RESTservices異構橋數(shù)據交換總控云服務網關數(shù)據交換網關Rest數(shù)據集市數(shù)據交換總控數(shù)據交換網關多維立方體數(shù)據倉庫工商部門1.數(shù)據采集--數(shù)據共享交換平臺在每個被采集的數(shù)據單位，部署1.數(shù)據采集——數(shù)據ETL清洗臟數(shù)據、重復數(shù)據、無效數(shù)據，打通不同來源的數(shù)據；對非結構化的數(shù)據進行結構化加工A系統(tǒng)源數(shù)據B系統(tǒng)C系統(tǒng)數(shù)據抽取數(shù)據清洗數(shù)據轉換數(shù)據加載配置庫按規(guī)則抽取讀取配置臨時文件數(shù)據倉庫（Hadoop+MPP）目標數(shù)據…1.數(shù)據采集——數(shù)據ETL清洗臟數(shù)據、重復數(shù)據、無效數(shù)據，打采用全可視化ETL系統(tǒng)，動態(tài)監(jiān)控整個任務的執(zhí)行情況拖拽式規(guī)則編輯，支持多種數(shù)據轉換、清洗方式。1.數(shù)據采集——配套ETL工具界面采用全可視化ETL系統(tǒng)，動態(tài)監(jiān)控整個任務的執(zhí)行情況拖拽式規(guī)則支撐數(shù)據庫元數(shù)據GIS信息LDAP庫DW數(shù)據倉庫分析主題數(shù)據集市……中心基礎庫人員企業(yè)環(huán)境工商統(tǒng)計……ODS操作數(shù)據庫粗粒度數(shù)據細粒度數(shù)據……2.數(shù)據倉庫建設——平臺數(shù)據倉庫架構

數(shù)據平臺倉庫是大數(shù)據平臺的“大腦”，它存儲的是“經過梳理的”各種業(yè)務系統(tǒng)數(shù)據。使原來分散在各業(yè)務系統(tǒng)中，無法關聯(lián)的數(shù)據，真正成為全面的，有分析加值的綜合性大數(shù)據。支撐數(shù)據庫元數(shù)據GIS信息LDAP庫DW數(shù)據倉庫分析主題數(shù)據2.數(shù)據倉庫建設——并行加載、并行查詢212.數(shù)據倉庫建設——并行加載、并行查詢21disksdisksmemoryCPUCPUdisksmemoryCPUCPUdisksmemoryCPUCPUInterconnectionNetwork…數(shù)據MPP架構橫向擴展數(shù)百節(jié)點2.數(shù)據倉庫建設——MPP數(shù)據庫disksdisksmemoryCPUCPUdisksmem3.數(shù)據分析應用——數(shù)據建模分析分布式存儲、計算平臺DistributedExecutionEngine分布式執(zhí)行引擎RRuntimeLibraryR語言動態(tài)運行庫大數(shù)據平臺算法RLanguageInterfaceR語言接口JavaLanguageInterfaceJava語言接口RStudioWebIDE開發(fā)環(huán)境公安大數(shù)據應用SQLonHadoop、MPP交通大數(shù)據應用醫(yī)療大數(shù)據氣象大數(shù)據電力大數(shù)據…3.數(shù)據分析應用——數(shù)據建模分析分布式存儲、計算平臺Dist3.數(shù)據分析應用——數(shù)據可視化設計3.數(shù)據分析應用——數(shù)據可視化設計基礎組件擴展組件KPI組件180°儀表盤45°儀表盤360°儀表盤齒輪圖溫度計KPI子彈圖擴展……柱圖條形圖線圖面積圖散點圖氣泡圖漏斗圖熱區(qū)圖表格MAP擴展……餅圖GIS視頻人口金字塔關系圖擴展……雷達圖K線圖圖片標簽文本音頻7647266232組件：633.數(shù)據分析應用——可視化組件支持范圍基礎組件擴展組件KPI組件180°儀表盤45°儀表盤360°

選擇數(shù)據模型

選擇維度

選擇度量

設置函數(shù)為“總和”

設置篩選條件

設置排序

新建自定義度量

設置預警

執(zhí)行，查看結果123456783.數(shù)據分析應用——即席查詢模塊選擇數(shù)據模型選擇維度設置3.數(shù)據分析應用——交通大數(shù)據3.數(shù)據分析應用——交通大數(shù)據目錄大數(shù)據建設思路H3C大數(shù)據解決方案H3C產品特點案例展示目錄大數(shù)據建設思路安裝部署主節(jié)點一鍵下發(fā)指令，自動安裝部署……Hadoop集群MPP集群其他組件…集群部署：多樣化部署方式，定制部署、ZERO部署；集群擴容：橫向擴展、縱向擴展；集群規(guī)模：無限制，支持三臺至上千臺節(jié)點；集群交付：上千臺節(jié)點集群分鐘級交付；安裝部署主節(jié)點一鍵下發(fā)指令，自動安裝部署……Hadoop集群運維管理平臺安裝部署集群管理主機管理服務管理用戶管理告警監(jiān)控運維管理平臺安裝部署機架展示節(jié)點服務CPU內存硬盤機架展示節(jié)點DataEngineMPPCluster

可處理PB級別以上的結構化數(shù)據實際擴展能力達到64個Safegroup（最多64x3=192）個節(jié)點數(shù)據加載速度大于2TB/小時數(shù)據通過2個副本提供冗余保護每個節(jié)點并發(fā)能力大于300個用戶數(shù)據支持hash分布，range分布，random分布支持標準SQL提供標準的APIs:

C

API,JDBC,ODBC,ADO.NetDataEngineMPPDataEngineMPPCluster可處理PB級別大數(shù)據的安全建設外圍：華三具有全系列安全產品線產品用于支撐大數(shù)據集群和云計算周邊安全。租戶：針對不同的租戶分配不同的大數(shù)據集群資源區(qū)從而實現(xiàn)租戶間數(shù)據隔離。用戶：用戶訪問集群首先要通過安全認證；使用集群中計算資源和存儲資源需要對用戶進行授權；用戶對集群的操作通過審計功能進行記錄。數(shù)據：數(shù)據加密，數(shù)據脫敏。交換機防火墻VLANNetwork交換機租戶1租戶2租戶3大數(shù)據集群大數(shù)據集群大數(shù)據集群大數(shù)據的安全建設外圍：華三具有全系列安全產品線產品用于支撐大大數(shù)據物理機集群VMVMVMVM大數(shù)據虛機集群華三云平臺VMVMVMVMVMVM云資源池云與大數(shù)據平臺融合華三大數(shù)據平臺既可單獨部署，也可與云計算平臺融合。融合架構適用于大數(shù)據計算資源按需分配場景，以及多租戶隔離場景。大數(shù)據物理機集群VMVMVMVM大數(shù)據虛機集群華三云平臺VM目錄大數(shù)據建設思路H3C大數(shù)據解決方案H3C產品特點案例展示目錄大數(shù)據建設思路太陽能板光電互補綠色環(huán)保滾動廣告牌播放廣告或活動信息應急電源裝置給手機等電子設備充電或加裝充電樁給電動車輛充電無線網