1、大數(shù)據(jù)時代的DSG數(shù)據(jù)復(fù)制云技術(shù)創(chuàng)新 變革未來目錄 / CONTENTSPART 01認(rèn)識我們PART 02大數(shù)據(jù)與DSGPART 03DSG的開放大數(shù)據(jù)平臺PART 04DSG應(yīng)用成果DSG的現(xiàn)狀：北京總部成都研發(fā)中心上海南京杭州廣州長沙沈陽福州長春濟南鄭州海口南昌烏魯木齊銀川石家莊蘭州西安研發(fā)中心重慶武漢昆明貴州南寧3：3家公司成立240：員工人數(shù)約1：總部北京3：北京、成都、西安研發(fā)中心25：25個省市設(shè)有辦事處或者技術(shù)支持中心800：擁有電信、金融、政府等800 多個大型客戶1.5億：2017年10月，資產(chǎn)為1.6億DSG的歷史：最強的Oracle備份產(chǎn)品名稱災(zāi)備 級別功能特點廠家DB

2、P容備云平臺高效備份、 應(yīng)用測試 和數(shù)據(jù)遷 移支持BDMP BS、BDMP DC一體機所含 有的所有軟件功能支持大型Oracle數(shù)據(jù)庫統(tǒng)一災(zāi)備、測試 遷移一體化：高性能數(shù)據(jù)庫首次全同步及準(zhǔn)實時 同步容災(zāi)端在線測試及報表查詢數(shù)據(jù)庫同平臺遷移DSG一 體 機BDMP- DC數(shù)據(jù)中心 級全數(shù)據(jù) 云災(zāi)備管 理一體機支持BDMP BS 一體機功能支持Oracle高性能備份智能全備非歸檔備份直接表恢復(fù)備份數(shù)據(jù)驗證端到端數(shù)據(jù)流壓縮與存儲DSGBDMP-BS企業(yè)級 備份 容災(zāi) 一體機硬件一體機傳統(tǒng)數(shù)據(jù)庫備份VMwareESXi、HyperV虛擬機備份CDP實時備份P-V、V-V實時容災(zāi)DSGDSG的歷史：最強

3、的Oracle復(fù)制，800多用戶全球獨家支持：Rowid復(fù)制支持源/目標(biāo)安裝、或第三方靜默安裝支持UDT和IOT高速首次全同步數(shù)據(jù)一致性檢查、高效修復(fù)雙活容災(zāi)數(shù)據(jù)庫異構(gòu)遷移統(tǒng)一監(jiān)控管理日志并發(fā)分析、多次使用，提高分析效率、實現(xiàn)最 高150GB/小時日志分析、實時增量日志可處理3Tbit/天以上首次同步技術(shù)可實現(xiàn)200G-800G/小時分鐘級容災(zāi)切換、容災(zāi)切換時間小于5分鐘系統(tǒng)干擾小于5%能分鐘內(nèi)高速處理數(shù)千DDL操作功能優(yōu)勢性能優(yōu)勢數(shù)據(jù)災(zāi)備零宕機遷移和升級基于日志 實時捕獲 變化數(shù)據(jù)數(shù)據(jù)同步分發(fā)數(shù)據(jù)庫各類DBOracleMS+Sqlserver查詢分流報告數(shù)據(jù)庫完全主動分 布式數(shù)據(jù)庫Activ

4、e to Active雙活DWSuperSync容災(zāi)數(shù)據(jù)庫實時BI新的數(shù)據(jù)庫/操 作系統(tǒng)/應(yīng)用Our ProductsDSG產(chǎn)品體系備份容災(zāi)事業(yè)部復(fù)制容災(zāi)共享DSG服務(wù)和運維BDMP BS 、BDMP DC、DBP新概念備份、云備份、云容災(zāi)、單產(chǎn)品監(jiān)控、統(tǒng)一監(jiān)控SuperSync應(yīng)用級雙活容災(zāi) Enhanced ETL、數(shù)據(jù)脫敏、大數(shù)據(jù)交換平臺統(tǒng)一監(jiān)控NDMP容災(zāi)導(dǎo)航管理+數(shù)據(jù)遷移數(shù)據(jù)庫運維 + DB monitor+數(shù)據(jù)庫審計智能運維大數(shù)據(jù)和應(yīng)用開發(fā)兆源數(shù)通大數(shù)據(jù)應(yīng)用開發(fā)平臺行業(yè)大數(shù)據(jù)方案基于智能識別的安防不良信息識別+商業(yè)信息識別 爬蟲+深度輿情DSG的現(xiàn)在：目錄 / CONTENTSPA

5、RT 01認(rèn)識我們About UsPART 02大數(shù)據(jù)與DSGPART 03DSG的開放大數(shù)據(jù)平臺PART 04DSG應(yīng)用成果數(shù)據(jù)庫數(shù)據(jù)與大數(shù)據(jù)交換技術(shù)趨勢人工匯聚數(shù)據(jù)應(yīng)用軟件 定時采集 匯聚發(fā)送數(shù)據(jù)庫采集 前置一體機數(shù)據(jù)庫數(shù)據(jù) 實時轉(zhuǎn)換共享實時大數(shù)據(jù) 交換平臺12345通過人工數(shù)據(jù)查詢， 將數(shù)據(jù)個性化發(fā)給不 同用戶效率低、成本高、干擾系統(tǒng)、時效差增加自動化，減少了 人工開發(fā)成本高、對數(shù)據(jù) 庫影響較大、不靈活跨應(yīng)用、跨用戶之間 難以協(xié)調(diào)、成本高典型技術(shù)采用ODBC/ JDBC技術(shù)性能低、高干擾源端 數(shù)據(jù)庫、實時增量差、不支持DDL，異構(gòu)數(shù) 據(jù)庫、異構(gòu)平臺難不支持實時轉(zhuǎn)換，需 要借助第三方ETL

6、數(shù) 據(jù)轉(zhuǎn)換代表產(chǎn)品DSG的 Enhanced ETL高性能、1-2% 的低 干擾，單數(shù)據(jù)庫間實 現(xiàn)一小時數(shù)百GB 、 支持實時增量支持DDL、異構(gòu)數(shù)據(jù) 庫、異構(gòu)硬件平臺支持實時轉(zhuǎn)換將數(shù)據(jù)庫實時交換共 享技術(shù)，與各類大數(shù) 據(jù)技術(shù)集成開發(fā)，實 現(xiàn)新一代大數(shù)據(jù)交換 PaaS支持實時采集、變換支持可視化拖拉拽支持多租戶虛擬管理 等Oracle數(shù) 據(jù)庫PostgreSQL達夢Dameng浪潮KDBFrom other數(shù)據(jù)庫SQL ServerDB2MySql國產(chǎn)數(shù)據(jù)庫MPP內(nèi)存數(shù)據(jù)庫常見數(shù)據(jù)庫消息隊列文本格式達夢DamengEMC greenplumgbase8MSap hanaKafka tibcoT

7、XTCSVXMLsql人大金倉Kingbase南大通用GbaseBa浪潮KDB神州通用 DBoneHP VerticaDB2PostgreSQLMySql SQL Server常見數(shù)據(jù)庫國產(chǎn)數(shù)據(jù)庫InformixsybaseTo 大數(shù)據(jù)To NoSqlGemfireFrom KafkaDSG已經(jīng)實現(xiàn)的：數(shù)據(jù)實時交換與共享支持系統(tǒng)框架華為云騰訊云阿里云天翼云To other 數(shù)據(jù)庫To Cloud 云端本地物理環(huán)境數(shù)據(jù)復(fù)制數(shù)據(jù)復(fù)制數(shù)據(jù)復(fù)制DSG:多種云和云間復(fù)制場景同種云內(nèi)數(shù)據(jù)災(zāi)備異種云之間災(zāi)備天翼云災(zāi)備至政務(wù)云 政務(wù)云災(zāi)備至天翼云天翼云災(zāi)備至天翼云 政務(wù)災(zāi)備至政務(wù)云云上云下間數(shù)據(jù)災(zāi)備物理機災(zāi)備

8、至天翼云 物理機災(zāi)備至政務(wù)云衍生的三大新方向：應(yīng) 用 級 雙 活 容 災(zāi) ： 實現(xiàn) Unix 、Linux、windows 環(huán)境下的應(yīng)用級 雙活容災(zāi)、支持異構(gòu)硬件環(huán)境、跨 數(shù)據(jù)庫、容災(zāi)端數(shù)據(jù)庫可用Super SyncEnhanced ETL大數(shù)據(jù)交換平臺數(shù)據(jù)庫實時共享交換：實現(xiàn)Unix、Linux 、windows 環(huán)境下異構(gòu)數(shù) 據(jù)庫之間數(shù)據(jù)實時復(fù)制、實時轉(zhuǎn) 換、實時交換和共享大數(shù)據(jù)實時共享交換平臺：實現(xiàn)Unix、Linux、windows 環(huán)境與 大數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)之間實時復(fù) 制、轉(zhuǎn)換和交換，是PaaS平臺， 支持多租戶等全球競爭力：DSG的數(shù)據(jù)庫復(fù)制技術(shù)具有全球競爭力，與全球競爭對手 OG

9、G、Quest、IBM CDC 、Informatic等知名廠家相比有顯著的技術(shù)優(yōu)勢：高性能、多種DDL支持、多數(shù)據(jù)庫和大數(shù)據(jù)之間環(huán)境支持。國產(chǎn)數(shù)據(jù)庫支持：DSG的技術(shù)是國內(nèi)自主知識產(chǎn)權(quán)，對國產(chǎn)數(shù)據(jù)庫的支持也最多，并遠優(yōu)于國外對手。國內(nèi)高端用戶普遍使用：近800家，如建行、太平洋保險、中國移動、聯(lián)通、電信、政府公安、證券等。1、DSG SuperSync數(shù)據(jù)同步產(chǎn)品標(biāo)準(zhǔn)化的單一技術(shù)解決 多種需求保證業(yè)務(wù)的連續(xù)性同時滿足實時數(shù)據(jù)共享 和靈活的數(shù)據(jù)結(jié)構(gòu)變換低影響、高效率跨平臺、低成本，投資 回報率高快速部署、一體化的監(jiān) 控管理。零宕機遷移和升級數(shù)據(jù)同步分發(fā)查詢分流Active to Active雙

10、活基于日 志實時 捕獲變 化數(shù)據(jù)SuperSync容災(zāi)數(shù)據(jù)庫實時BI報告數(shù)據(jù)庫OracleSQLServerK-DBDB2MySQLPostgreSQLDMCDBHbaseHiveKuduPhoneixKafka性能優(yōu)勢功能優(yōu)勢SuperSync 的優(yōu)勢全球獨家支持：Rowid、PK/UK等復(fù)制全球獨家支持源/目標(biāo)安裝、或第三方靜 默安裝支持UDT和IOT高速首次全同步數(shù)據(jù)一致性檢查、高效修復(fù)雙活容災(zāi)數(shù)據(jù)庫異構(gòu)遷移統(tǒng)一監(jiān)控管理日志并發(fā)分析、多次使用，提高分析效率、實現(xiàn)最高200GB/小時日志分析、 實時增量日志可處理3Tbit/天以上首次同步技術(shù)可實現(xiàn)200G-800G/小 時分鐘級容災(zāi)切換、

11、容災(zāi)切換時間小于5分鐘系統(tǒng)干擾小于5%能分鐘內(nèi)高速處理數(shù)千DDL操作2、DSG Enhanced ETL數(shù)據(jù)庫實時交換與共享平臺OracleSQLServerK-DBDB2MySQLPostgre SQLDMCDB中間庫第三方ETL接口文件結(jié)構(gòu)化數(shù)據(jù)大數(shù)據(jù)/云源ETL過程目標(biāo)端用戶實時多表關(guān)聯(lián)鏡像庫精簡庫數(shù)據(jù)倉庫數(shù)據(jù) 抓取 模塊實時Loader實時單表轉(zhuǎn)換過濾準(zhǔn)實時對源數(shù)據(jù)庫的首次 同步和實時增量跟 蹤技術(shù)目標(biāo)數(shù)據(jù)庫或者云直接裝載源數(shù)據(jù)庫-接口文件和ETL-目標(biāo)庫多種通路選擇實現(xiàn)實時和準(zhǔn)實時轉(zhuǎn)換和共享鏡像庫精簡庫Enhanced ETL 的功能功能說明數(shù)據(jù)實時抽取通過源系統(tǒng)端的Agent進程對

12、數(shù)據(jù)庫Log日志進行實時分析，獲取交易指令將交易指令和交易數(shù)據(jù)經(jīng)過格式轉(zhuǎn)化生成數(shù)據(jù)格式；過濾轉(zhuǎn)化為與生產(chǎn)應(yīng)用相吻合的指令實時傳輸?shù)侥繕?biāo)端系統(tǒng)數(shù)據(jù)實時轉(zhuǎn)換復(fù)制指定的數(shù)據(jù)、表、列支持?jǐn)?shù)據(jù)集中，即多個相同結(jié)構(gòu)的數(shù)據(jù)庫中將數(shù)據(jù)整合到一個庫中同類的數(shù)據(jù)項集合放到一個表中支持?jǐn)?shù)據(jù)分發(fā)實時存儲和增量變化通知Agent將識別到的實時增量數(shù)據(jù)發(fā)送到中間數(shù)據(jù)庫在此中間庫中維護一張和生產(chǎn)系統(tǒng)對應(yīng)的數(shù)據(jù)表；對數(shù)據(jù)進行整合、過濾和判斷后通知訂閱方支持ETL實現(xiàn)準(zhǔn)實時數(shù)據(jù)抽取支持增量抽取間隔到每幾秒鐘、幾分鐘、10分鐘生成一個接口文件支持從鏡像庫中獲取數(shù)據(jù)QETL支持多表關(guān)聯(lián)同步只復(fù)制到多表關(guān)聯(lián)結(jié)果集到目標(biāo)端支持復(fù)雜的s

13、ql模式支持多種同步維護模式保持分析日志模式而非sql查詢模式Enhanced ETL 的優(yōu)勢實時性采用數(shù)據(jù)跟蹤和push 技術(shù)，安裝在數(shù)據(jù)源端 的數(shù)據(jù)變化跟蹤程序Agent實時跟蹤數(shù)據(jù)變化，將變化實時發(fā)送到 數(shù)據(jù)需求端，數(shù)據(jù)可在 秒級實現(xiàn)共享可配置性通過參數(shù)配置來定義需要共享的數(shù)據(jù)表(table)、共享的數(shù)據(jù)項（字段）、共享的條件（滿足條件 的記錄）低干擾性通過數(shù)據(jù)庫自身信息獲 取源系統(tǒng)上的改變并傳 送給目的系統(tǒng)，降低對 生產(chǎn)系統(tǒng)性能影響無需全量數(shù)據(jù)處理， 只抽取增量數(shù)據(jù)，減少 數(shù)據(jù)庫存儲壓力多樣性支持多種復(fù)制 系統(tǒng)拓撲結(jié)構(gòu)靈活性提供選擇表、選擇字段 和選擇記錄的復(fù)制提供數(shù)據(jù)轉(zhuǎn)換，如字段 名

14、映射、數(shù)據(jù)類型轉(zhuǎn)換、 數(shù)據(jù)運算等支持中間庫、定制文件 到ETL的準(zhǔn)實時轉(zhuǎn)換多表關(guān)聯(lián)實時高性能復(fù)制場景傳統(tǒng)同步一般會采用鏈接、視圖、觸發(fā)器等方案解決，占用較大資源，還 不能滿足實時要求。傳統(tǒng)ETL一般將全量數(shù)據(jù)、部分?jǐn)?shù)據(jù)或者組合推送至目標(biāo) 端，由于推送的數(shù)據(jù)包含大量不需要的數(shù)據(jù)，不高效；特別涉及多個表的數(shù) 據(jù)量大，而所需數(shù)據(jù)量又較小的情況下，非常適合只推送SQL語句查詢結(jié)果 集，以實表的情況存放在目標(biāo)端實時使用。Enhanced ETL 的典型應(yīng)用案例介紹湖北某券商客戶使用Enhanced ETL 將各地市的 數(shù)據(jù)集中復(fù)制到數(shù)據(jù)倉庫，然后使用QETL對數(shù) 據(jù)實時導(dǎo)出并進行組合運算，將轉(zhuǎn)換后的數(shù)據(jù)

15、集 實時同步到各業(yè)務(wù)庫。案例功能特點源端為組合視圖，目標(biāo)端直接同步的結(jié)果集為表中；目標(biāo)數(shù)據(jù)涉及多個用戶下的多張表，QETL只 關(guān)注客戶所需數(shù)據(jù)，最小化同步范圍，節(jié)省系統(tǒng) 資源；只跟蹤業(yè)務(wù)所需字段，避免了敏感字段數(shù)據(jù)的向下傳遞；某行業(yè)某塊業(yè)務(wù)所需的數(shù)據(jù)，業(yè)務(wù)上僅需要 通過一條SQL從多張分別擁有百萬和幾億條的數(shù) 據(jù)表中提取所需結(jié)果，該結(jié)果返回僅有幾十條數(shù) 據(jù)，傳統(tǒng)的推送方式要么達不到實時要求，要么 占用較大資源，現(xiàn)通過QETL 實時的推送所需的 幾十條數(shù)據(jù)的結(jié)果集，簡化了同步方式、大大提 高了同步效率，深受客戶好評，并將大量推廣應(yīng) 用。地市1-oracle地市2-oracle地市n-oracle

16、數(shù)據(jù)倉庫-oracle業(yè)務(wù)1-oracle業(yè)務(wù)2-oracle業(yè)務(wù)n-oracleEnhanced ETLQETL3、DataONE大數(shù)據(jù)應(yīng)用開發(fā)統(tǒng)一平臺（開放平臺）DataONE總體架構(gòu)含：平臺的統(tǒng)一流程調(diào)度管理數(shù)據(jù)交換分發(fā)數(shù)據(jù)海量存儲數(shù)據(jù)查詢數(shù)據(jù)容災(zāi)數(shù)據(jù)ETL轉(zhuǎn)換數(shù)據(jù)分析數(shù)據(jù)挖掘數(shù)據(jù)應(yīng)用與展示層目錄 / CONTENTSPART 01認(rèn)識我們PART 02大數(shù)據(jù)與DSGPART 03DSG的開放大數(shù)據(jù)平臺PART 04DSG應(yīng)用成果發(fā)展史起步期（2010-2014年）關(guān)注平臺是否可以穩(wěn)定運行，多用于某類 特定場景（詳單查詢、上網(wǎng)日志分析、銀行交易查詢與分析)；平臺開放期（2014-2016

17、年）平臺和數(shù)據(jù)開放、多應(yīng)用提供商、多用戶 訪問，關(guān)注平臺安全、數(shù)據(jù)安全，目前國內(nèi) 企業(yè)級市場多數(shù)在此階段；應(yīng)用擴展期（2014-2016年）提升數(shù)據(jù)的分析/數(shù)據(jù)ETL處理能力(統(tǒng)一的 SQL處理能力和機器學(xué)習(xí)能力的支持)，進一 步降低TCO、穩(wěn)定性和大集群運維能力，目 前的優(yōu)秀技術(shù)實施處于這一階段；第4代Hadoop技術(shù)興起（2016-2018年）DSG公司從2012年起關(guān)注和研究Hadoop為代表的大數(shù)據(jù)技術(shù)，我們認(rèn)為隨著以往IOE架構(gòu)被重新定義DataONE大數(shù)據(jù)應(yīng)用開發(fā)統(tǒng)一平臺DataONE總體架構(gòu)含：平臺的統(tǒng)一流程調(diào)度管理數(shù)據(jù)交換分發(fā)數(shù)據(jù)海量存儲數(shù)據(jù)查詢數(shù)據(jù)容災(zāi)數(shù)據(jù)ETL轉(zhuǎn)換數(shù)據(jù)分析數(shù)

18、據(jù)挖掘數(shù)據(jù)應(yīng)用與展示層DataONE的定位面向結(jié)構(gòu)化和非結(jié)構(gòu)實時、批量、PB級數(shù)據(jù)處理實現(xiàn)百億級數(shù)據(jù)的秒級查詢開放架構(gòu)，已經(jīng)支持近百種統(tǒng)計、分析、和挖掘算法，還可以加入第三方算法集成主流圖形化展示框架，多種圖形化可選全球領(lǐng)先的實時數(shù)據(jù)采集與數(shù)據(jù)轉(zhuǎn)換和交換分發(fā)平臺開放PaaS平臺，兼容用戶現(xiàn)有Hadoop大數(shù)據(jù)系統(tǒng)， 支持基于華為、CDH 、星環(huán)等目前主流Hadoop平臺，支持Hadoop開源1.6-2.8、Solr、Hbase、Hive、Spark1.1-2.1、Kudu、Flume、Sqoop、Kafka等大數(shù)據(jù)組件產(chǎn)品該平臺支持用戶個性化二次開發(fā)大數(shù)據(jù)應(yīng)用，降低用戶投資成本，提高數(shù)據(jù)處理、

19、使用效率DataONE功能特點DataOne大數(shù)據(jù)應(yīng)用開發(fā)平臺提供了完整功能管理和流程管 理大數(shù)據(jù)綜合處理平臺；用戶可在DataOne平臺上通過托拉拽實現(xiàn)以下功能：大數(shù)據(jù)采集數(shù)據(jù)轉(zhuǎn)換加工數(shù)據(jù)治理，建模分析容災(zāi)查詢數(shù)據(jù)挖掘圖形化展示流程管理和實時實時數(shù)據(jù)監(jiān)控.等一系列復(fù)雜的流程處理操作。DataOne是PaaS開放平臺:提供 了良好的接口，支持其他 第三方平臺的算法功能接入DataOne；在統(tǒng)一平臺中，完成 大數(shù)據(jù)的處理工作。DataONE組件與部署部署方式可以分為：單一集群模式統(tǒng)一集群模式混合集群模式圖 多集群混合架構(gòu)大數(shù)據(jù)應(yīng)用開發(fā)平臺大數(shù)據(jù)平臺數(shù)據(jù)調(diào)度組件統(tǒng)一權(quán)限認(rèn)證組件大數(shù)據(jù)采集組件ETL

20、組件數(shù)據(jù)存儲組件數(shù)據(jù)容災(zāi)組件數(shù)據(jù)查詢組件數(shù)據(jù)挖掘組件數(shù)據(jù)統(tǒng)計分析組件圖形化展示組件DataONE組件與可視化操作特點特點功能組件支持拖拉拽操作，直 接對組件配置參數(shù)信息，通過 連接線設(shè)置任務(wù)之間的關(guān)系；組件可單獨執(zhí)行，也可以定時 執(zhí)行；跟蹤查看整個流程的執(zhí)行情況 和每個功能組件的執(zhí)行進度；組件可復(fù)用，并且支持第三方 平臺以REST標(biāo)準(zhǔn)接口接入； 模塊化的和可插拔的功能組件 機制，具有良好的擴展和兼容 性；DataONE組件特點查看每個組件在流程執(zhí)行 中的進度、結(jié)果信息查看每個組件在流程執(zhí)行中的日志信息查看整個工作流程的執(zhí)行日志信息大數(shù)據(jù)采集與數(shù)據(jù)轉(zhuǎn)換治理采集方式說明爬蟲從一個或多個指定初始網(wǎng)頁

21、的地址URL開始，讀取URL列表，建立初始待爬隊列；開始順序爬信息，并不斷在從當(dāng)前正在爬取的網(wǎng)頁上抽 取新的URL放入帶爬取隊列；直到爬完為止。Flume/ Logstash分布式、可靠、高可用的海量日志采集、聚合和傳輸?shù)?系統(tǒng)，支持在系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù) 據(jù)；同時，提供對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù) 接受方（可定制）的能力Sqoop即 SQL to Hadoop ，在傳統(tǒng)型數(shù)據(jù)庫（如 Oracle、MySQL、DB2、PostgreSQL等）與Hadoop之間進行 數(shù)據(jù)遷移的工具，充分利用MapReduce并行特點以批處 理的方式加快數(shù)據(jù)傳輸。支持關(guān)系型數(shù)據(jù)庫和Hive、

22、HDFS，HBase之間數(shù)據(jù)的相互導(dǎo)入。Enhanced ETLDSG公司一款革命性的數(shù)據(jù)共享產(chǎn)品，在異構(gòu)數(shù)據(jù)庫/文 件系統(tǒng)之間實時、準(zhǔn)實時交換數(shù)據(jù)的統(tǒng)一管理平臺，實 現(xiàn)跨平臺、跨數(shù)據(jù)庫、跨系統(tǒng)之間的批量數(shù)據(jù)同步以及 實時增量數(shù)據(jù)同步；實現(xiàn)數(shù)據(jù)庫到大數(shù)據(jù)平臺之間的數(shù) 據(jù)實時交換基于全球領(lǐng)先的實時數(shù)據(jù)庫復(fù)制技術(shù)DataONE組件-數(shù)據(jù)采集按數(shù)據(jù)類型分為結(jié)構(gòu)化數(shù)據(jù)采集和非結(jié)構(gòu)化數(shù)據(jù) 采集按數(shù)據(jù)量分為全量采集和增量采集按采集方式分為文件采集，目錄采集，端口采集DataONE組件-數(shù)據(jù)存儲支持采集并緩存在Kafka和存入HIVE，HBASE、HDFS支持在數(shù)據(jù)存入HBase后做實時數(shù)據(jù)查詢(使用實時查

23、詢組件)支持HBASE表實時同步到其他集群(HBase實時容災(zāi)組件)支持在數(shù)據(jù)存入HIVE后做DSG報表自助分析(數(shù)據(jù)分析組件)支持在數(shù)據(jù)存入HDFS后做數(shù)據(jù)挖掘，建立模型，使用模型進 行預(yù)測(數(shù)據(jù)挖掘組件)。支持對Kafka中的數(shù)據(jù)進行監(jiān)控，查 看已采集并緩存在Kafka中的數(shù)據(jù)量 和已存入的Hive的數(shù)據(jù)量支持對Kafka進行管理。如：刪除topic,設(shè)置分 區(qū)屬性，查看添加分區(qū)，管理consumer等支持HBase表實時（和離線）復(fù)制 到另一套HBase集群中DataONE組件-數(shù)據(jù)存儲DataONE組件-數(shù)據(jù)查詢實時查詢首先通過DataOne的采集組件， 實時將數(shù)據(jù)存入DataOne平

24、臺后，查詢組 件會自動建立索引，將數(shù)據(jù)從HBase中的 數(shù)據(jù)實時緩存進Solr中，完成在線實時檢索。適用于海量數(shù)據(jù)的實時在線查詢或者監(jiān)控用。特點是條件過濾查詢效率高，速度快，使用了數(shù)據(jù)同步，所以對原業(yè)務(wù)影響小。 可以實現(xiàn)百億級秒級查詢特點支持離線數(shù)據(jù)查詢支持在線實時數(shù)據(jù)查詢屬性構(gòu)造屬性構(gòu)造是對兩列數(shù)值類型的數(shù)據(jù)進行加減乘除的操作，并得到新的一列結(jié)果，可刪除原有的列；重新編碼1.對輸入列進行重新編碼2.輸出經(jīng)過編碼操作后附加編碼列的數(shù)據(jù) 記錄DataONE組件-數(shù)據(jù)ETL處理及舉例DataONE組件-數(shù)據(jù)ETL舉例自增序列增加新列包含自增序列、增加常量列、增加字符串列和增加日期列，即在數(shù)據(jù)上增加

25、一列數(shù)據(jù)對該數(shù)據(jù)增加一列自增序列，從0開始自動編號空值填充空值填補是對列中的空值通過人工輸入 和附近統(tǒng)計值的方式進行填補的，只針對 數(shù) 值 類 型 的 數(shù) 據(jù)對age列的數(shù)據(jù)進行空值填補，通過人工輸入的方式為50值替換3、值替換是將數(shù)據(jù)列進行空值替換或者 非數(shù)值替換為某值，可以同時選擇多列類型替換類型轉(zhuǎn)換是將數(shù)據(jù)中列的數(shù)據(jù)類型進行轉(zhuǎn)換；有的數(shù)據(jù)是數(shù)值，但在數(shù)據(jù)庫中的類型為string或者其他不能計算的類型，需要將該列數(shù)據(jù)轉(zhuǎn)換為數(shù)值類型的；對work_country列的varchare類型強制轉(zhuǎn)換為整型，所 以輸出的結(jié)果全為null.數(shù)據(jù)過濾根據(jù)輸入的列信息和過濾條件得到滿足條件的數(shù) 據(jù)此例過濾

26、age字段區(qū)間（35，45）內(nèi)的數(shù)據(jù)記錄DataONE組件-數(shù)據(jù)ETL舉例批處理去重數(shù)據(jù)去重組件可以針對一列或者多列數(shù)據(jù)進行去重，針 對 該 列 重 復(fù) 的 行 只 會 保 留 一 行 這 樣 的 數(shù) 據(jù) ；對work_country列數(shù)據(jù)去重后，得到的結(jié)果中不存在重復(fù)的國家.DataONE組件-數(shù)據(jù)挖掘數(shù)據(jù)挖掘目前主要有幾大類：聚類分析時序預(yù)測回歸分析分類神經(jīng)網(wǎng)絡(luò)使用模型進行預(yù)測的標(biāo)準(zhǔn)流程是先做ETL，接著格式轉(zhuǎn)換，最后選擇合適算法生成模型。數(shù)據(jù)挖掘-線性回歸模型舉例線性回歸模型回歸分析(regression analysis) ,一個統(tǒng)計預(yù)測模型，用以 描述和評估應(yīng)變量與一個或多個自變量之

27、間的關(guān)系。分析：用來擬合一個變量與其他解釋變量之間的線性關(guān)系。最 終呈現(xiàn)回歸方程以及模型檢驗的結(jié)果。用戶可以增加一個 線性回歸預(yù)測節(jié)點對數(shù)據(jù)進行預(yù)測；本例的線性回歸方程為：7.36929480167497+0.1301924899332466*載脂蛋白a+1.3638106543370339*載脂蛋白b+(-2.219345743810897)載脂蛋白e+(-0.4457326860357491)載脂蛋白c根據(jù)歷史數(shù)據(jù)來對指定數(shù)據(jù)進行預(yù)測數(shù)據(jù)挖掘- KMeans聚類模型舉例Bisecting k-means聚類算法，即二分k均值算法，它是k-means聚類算法的一個變體，主要是為了改進k-me

28、ans算法隨 機選擇初始質(zhì)心的隨機性造成聚類結(jié)果不確定性的問題，而 Bisecting k-means算法受隨機選擇初始質(zhì)心的影響比較小， 是為了克服K-means算法收斂于局部最小值的問題而提出的DSG自助報表分析組件是一個分布式搜索，提供Hadoop之上 的SQL查詢接口及多維分析（OLAP）能力以支持超大規(guī)模數(shù) 據(jù)。支持拖拽生成報表。直接將MYSQL庫中的數(shù)據(jù)導(dǎo)入到Hive中，使用DSG 數(shù)據(jù)分析組件建模后，即可拖拽生成得到可視化報表， 并且這些報表還可以切換展示效果。大數(shù)據(jù)采集&應(yīng)用存儲計算層管理控制臺應(yīng)用程序CDBD服務(wù)CDBD服務(wù)CDBD服務(wù)主數(shù)據(jù)庫從數(shù)據(jù)庫主數(shù)據(jù)庫從數(shù)據(jù)庫主數(shù)據(jù)庫

29、從數(shù)據(jù)庫主數(shù)據(jù)庫從數(shù)據(jù)庫元數(shù)據(jù)管理.CDB數(shù)據(jù)庫節(jié)點CDB元數(shù)據(jù)節(jié)點CDB服務(wù)節(jié)點動態(tài)添加、刪除數(shù)據(jù)庫支持多種數(shù)據(jù)導(dǎo)入到CDB中支持CDB數(shù)據(jù)導(dǎo)出成文件、SQL、xf1、xdt格 式，方便加載到其他數(shù)據(jù)庫中支持標(biāo)準(zhǔn)編程接口，實現(xiàn)二次開發(fā)數(shù)據(jù)備份用戶操作權(quán)限管理圖形化操作界面CDB集群數(shù)據(jù)庫CDB是一款高可用、高性能、高安全性的集群數(shù) 據(jù)庫，可彈性擴展，無需改變企業(yè)現(xiàn)有設(shè)備，降 低企業(yè)成本CDB的高并發(fā)分析能力，可用于企業(yè)經(jīng)營分析系 統(tǒng)中，同時還可以用于歸檔查詢庫，分擔(dān)主業(yè)務(wù) 壓力性能與客戶評價功能特點構(gòu)建大數(shù)據(jù)治理體系，成立數(shù)據(jù)治理組 織結(jié)構(gòu)、治理流程、治理制度等方面， 以大數(shù)據(jù)平臺作為大數(shù)據(jù)

30、治理核心，遵 循平臺建設(shè)先行，將數(shù)據(jù)治理作為推進 平臺建設(shè)的重要手段和措施，更加快企 業(yè)數(shù)據(jù)資產(chǎn)化進程；基于DataOne大數(shù)據(jù)平臺，可以快速定制與開發(fā)財政大數(shù)據(jù)平臺、數(shù)據(jù)中心、 宏觀管財政監(jiān)管分析預(yù)測系統(tǒng)；建設(shè)財政大數(shù)據(jù)中心，分為五大庫，將 分散在各個業(yè)務(wù)系統(tǒng)數(shù)據(jù)統(tǒng)一集中，便 于財政內(nèi)部各部門及其他部門的數(shù)據(jù)共 享和數(shù)據(jù)交換；構(gòu)建領(lǐng)導(dǎo)全景圖、全省預(yù)算全貌、全省 收入全貌等。大數(shù)據(jù)典型案例財政大數(shù)據(jù)方案特點目錄 / CONTENTSPART 01認(rèn)識我們PART 02大數(shù)據(jù)與DSGPART 03DSG的開放大數(shù)據(jù)平臺PART 04DSG應(yīng)用成果DSG災(zāi)備一體機（Unix+linux+windo

31、ws)案例介紹：綜合性三級醫(yī)院，有200多位知名專家擔(dān)任客座教授，設(shè)40余個臨床、醫(yī)技科室，床位700余張。醫(yī)院信息系統(tǒng)HIS等是運營支撐系統(tǒng)，包括掛號， 交費，診斷在內(nèi)醫(yī)療環(huán)節(jié)和服務(wù)均依賴于該信息系統(tǒng)。需要備份，因為：一旦發(fā)生數(shù)據(jù)丟失或軟硬件故障引發(fā)運營中斷，將產(chǎn)生經(jīng)濟損失；Windows支撐信息系統(tǒng)一旦出問題, 會造成醫(yī)院服務(wù)系統(tǒng)業(yè)務(wù)停頓， 容易引發(fā)醫(yī)患糾紛。該院選擇以下架構(gòu)備份：案例功能特點為醫(yī)院配置多臺BDMP BS，并直接接入到醫(yī)院現(xiàn)有網(wǎng)絡(luò)中； 在服務(wù)器和工作電腦中安裝BDMP BS客戶端軟件對服務(wù)器進行保護：文件及數(shù)據(jù)庫：對數(shù)據(jù)庫和業(yè)務(wù)文件實施在線同步 數(shù)據(jù)復(fù)制，并利用快照技術(shù)，在

32、BDMP BS空間形成多 個保護的數(shù)據(jù)版本系統(tǒng)：對操作系統(tǒng)及應(yīng)用環(huán)境，實施在線多版本復(fù)制對工作電腦進行保護：對醫(yī)院業(yè)務(wù)操作電腦（如：掛號、收費、發(fā)藥等）提供 對操作系統(tǒng)、應(yīng)用環(huán)境及文件的保護3. 當(dāng)服務(wù)器和工作電腦發(fā)生任何軟件故障、存儲故障時：實現(xiàn)連續(xù)保護采用網(wǎng)絡(luò)啟動模式，3分鐘內(nèi)快速恢復(fù)正常運營若主機發(fā)生其它硬件故障時，更換主機后利用“系統(tǒng)及 數(shù)據(jù)即時遷移”實現(xiàn)分鐘級快速恢復(fù)Dsync文件復(fù)制企業(yè)需求信息系統(tǒng)是企業(yè)最重要的資產(chǎn)，企 業(yè)需要對系統(tǒng)中重要的數(shù)據(jù)、信息、 文件等進行及時、實時的復(fù)制備份， 用來提高系統(tǒng)的安全性與保證業(yè)務(wù) 的連續(xù)性，最大限度地減少因災(zāi)難 或故障所帶來的損失。Dsync

33、支持所有主流操作系統(tǒng)的文件及目錄復(fù)制支持全量復(fù)制和增量復(fù)制多路復(fù)制、并發(fā)裝載指定時間段數(shù)據(jù)復(fù)制支持同步刪除文件支持?jǐn)帱c續(xù)傳統(tǒng)計文件及目錄信息Our Products日志自動備份參數(shù)設(shè)置統(tǒng)一管理平臺：DMP監(jiān)控拓撲圖同步-mapping和vm、ddl設(shè)置告警圖數(shù)據(jù)對比系統(tǒng)日志統(tǒng)一管理平臺：DMP災(zāi)備切換延遲數(shù)據(jù)展示通道信息，實時同步拓撲圖權(quán)限角色配置性能監(jiān)控災(zāi)備切換Archiving歷史數(shù)據(jù)歸檔解決方案業(yè)務(wù)數(shù)據(jù)庫表表表歸檔數(shù)據(jù)庫表表表數(shù)據(jù)抽取數(shù)據(jù)傳輸數(shù)據(jù)接收數(shù)據(jù)裝載數(shù)據(jù)核對數(shù)據(jù)修補數(shù)據(jù)刪除數(shù)據(jù)緩存1.xf1 N.xf1數(shù)據(jù)緩存1.xf1 N.xf1遷移策略02:00:00刪除策略2010-01-

34、01日志文件日志分析數(shù)據(jù)整合數(shù)據(jù)傳輸數(shù)據(jù)緩存1.xf1 N.xf1數(shù)據(jù)接收數(shù)據(jù)裝載數(shù)據(jù)緩存1.xf1 N.xf1數(shù)據(jù)過濾Include .歷史數(shù)據(jù)定時遷移和 歸檔數(shù)據(jù)實時遷移和歸檔數(shù)據(jù)自動驗證數(shù)據(jù)故障修補數(shù)據(jù)刪除和系統(tǒng)優(yōu)化歷史歸檔數(shù)據(jù)庫的可 在線使用特殊歸檔規(guī)則的客戶 化訂制服務(wù)DSG Oracle冷抽取工具：高效數(shù)據(jù)庫救援工具冷抽取指在數(shù)據(jù)庫已損壞的狀態(tài)下，采用Oracle冷庫抽取技術(shù)提取數(shù)據(jù)，保證數(shù)據(jù)可再使用。支持支持的Oracle數(shù)據(jù)庫版本，包括 9i,10g,11g,12c支持ASM，能夠直接從ASM中導(dǎo)出數(shù)據(jù)支持多種字符集之間的轉(zhuǎn)換支持各種表，包括普通的HEAP表，IOT表和聚簇（C

35、LUSTER）表，以及分區(qū)和子分區(qū)支持壓縮表支持的多種數(shù)據(jù)類型支持的UDT（用戶自定義數(shù)據(jù)類型）全面支持LOB字段支持恢復(fù)被誤刪除數(shù)據(jù)支持xmltype，暫不支持存儲為BINARY XML的xmltype優(yōu)勢無需運行Oracle數(shù)據(jù)庫軟件，直接讀取 數(shù)據(jù)庫文件解析數(shù)據(jù)自動檢測數(shù)據(jù)庫參數(shù)，如Oracle版本號， 數(shù)據(jù)塊大小(blocksize)，字節(jié)序（Big Endian和Little Endian）等數(shù)據(jù)文件名可以和原文件名不一樣，即 數(shù)據(jù)文件可以復(fù)制到任意位置并改名后， 也可以直接導(dǎo)出數(shù)據(jù)自動檢測數(shù)據(jù)文件的表空間號和文件號自動從SYSTEM表空間獲取數(shù)據(jù)字典信息支持10g及以上的大文件(B

36、igFile)表空間全局集中監(jiān)視實現(xiàn)異地遠程集中監(jiān)控，提供 可視化圖形監(jiān)控界面首頁布局及展開操作，提供記 憶功能，方便用戶再次打開時 保持原狀全方位的多數(shù)據(jù)庫實時監(jiān)控： 包括數(shù)據(jù)庫的數(shù)據(jù)文件、表空 間、SGA、等待事件、歸檔日 志等信息數(shù)據(jù)庫壞塊、碎片監(jiān)控及分析數(shù)據(jù)庫歷史統(tǒng)計分析異常告警提示優(yōu)勢Audit大型數(shù)據(jù)庫監(jiān)控與審計Audit大型數(shù)據(jù)庫監(jiān)控與審計功能實現(xiàn)異地遠程集中監(jiān)控，提供可視化圖形監(jiān)控界面監(jiān)控異地多臺服務(wù)器CPU內(nèi)存磁盤和I/O、多數(shù)據(jù)庫異常事件告警，系統(tǒng)自動通知到相關(guān)管理人員，在最 短的時間內(nèi)做出響應(yīng)，化解風(fēng)險全球獨家支持壞塊、碎片監(jiān)控與分析優(yōu)勢支持多用戶多并發(fā)遠程訪問支持SQL

37、自定義，協(xié)助DBA監(jiān)控查詢其關(guān)心的數(shù)據(jù)庫 參數(shù)，并為DBA顯示運行趨勢，提高運維效率支持定制，并可進行二次開發(fā)運行占用CPU資源 3%，占用內(nèi)存少于400MB，對網(wǎng)絡(luò)及I/O的影響可以忽略Audit應(yīng)用場景監(jiān)控數(shù)據(jù)庫1MySQLDBMonitor監(jiān)控平臺監(jiān)控數(shù)據(jù)庫N監(jiān)控服務(wù)器1Web客戶端1Web客戶端N.監(jiān)控服務(wù)器N監(jiān)控模型監(jiān)控數(shù)據(jù)庫1MyS QLDBMonitor監(jiān)控平臺監(jiān)控數(shù)據(jù)庫N監(jiān)控服務(wù)器1Web客戶端1Web客戶端N.監(jiān)控服務(wù)器NAgentAgent生產(chǎn)系統(tǒng)MySQLDBMonitor監(jiān)控平臺備份系統(tǒng)Web客戶端1Web客戶端N.AgentAgentAgent數(shù)據(jù)日志監(jiān)控模型壞塊、碎

38、片監(jiān)控模型Agent數(shù)據(jù)庫恢復(fù)模型監(jiān)控數(shù)據(jù)庫1監(jiān)控數(shù)據(jù)庫N監(jiān)控服務(wù)器1Web客戶端1Web客戶端N.監(jiān)控服務(wù)器NDSG監(jiān)控平臺Audit審計 平臺DBDBMonitor監(jiān) 控平臺MySQL數(shù)據(jù)庫運行狀態(tài)監(jiān)控優(yōu)勢多服務(wù)器性能監(jiān)控支持多服務(wù)器并發(fā)監(jiān)控，對數(shù)據(jù)庫服 務(wù)器的CPU、內(nèi)存、磁盤及服務(wù)器進程運 行情況進行全面監(jiān)控全方位的多數(shù)據(jù)庫實時監(jiān)控數(shù)據(jù)文件、表空間、SGA、等待事件、歸檔日志等信息，提供詳盡的數(shù)據(jù)庫運行情況剖析Audit大型數(shù)據(jù)庫監(jiān)控與審計歷史與對比對數(shù)據(jù)庫表空間、數(shù)據(jù)文件、IO及日志切換進行統(tǒng)計分析，能夠通過 界面快速 查詢出用戶的歷史操作過程，分析事故 發(fā)生原因監(jiān)控到數(shù)據(jù)庫的任何一

39、個細小的操作，不僅包括用 戶的操作，數(shù)據(jù)庫后臺發(fā)起的定時任務(wù)、數(shù)據(jù)庫結(jié) 構(gòu)的改變、數(shù)據(jù)庫語句執(zhí)行的批量操作等都可被精 確審計5萬筆/秒審計效率允許客戶自定義各種審計策略事件回放：通過界面快速查詢出用戶的歷史操作過 程，分析事故發(fā)生原因。提供全球領(lǐng)先的數(shù)據(jù)庫備份技術(shù)、日志分析和回滾 技術(shù)，可以高效、精確地修復(fù)被篡改的、或者被毀 壞的相關(guān)數(shù)據(jù)庫數(shù)據(jù)；能夠生成修復(fù)操作建議，便 于盡快恢復(fù)系統(tǒng)的正常運行狀態(tài)優(yōu)勢Audit大型數(shù)據(jù)庫監(jiān)控與審計SQL審計可疑SQL審計資 源 消 耗 審 計企業(yè)級備份BDMP-云備份與分布式文件存儲DSGFS通過橫向擴展支持?jǐn)?shù)PB級別存儲容量以及處理數(shù)千客戶端，可以 將物理

40、分布的存儲資源聚集在一起，使用單一全局命名空間來管理數(shù)據(jù)，適 合云備份的存儲管理，其特點：完成對稱式架構(gòu)，無元數(shù)據(jù)服務(wù)器；高可用性，在線擴容，無單點故障；支持在線集群關(guān)系管理和集群擴張收縮；通過存儲虛擬化技術(shù)和邏輯卷管理，實現(xiàn)彈性存儲，用戶可以靈活地增 加或縮減數(shù)據(jù)存儲以及增刪存儲池中的資源，而不需要中斷系統(tǒng)運行；使用WEB界面管理，參數(shù)配置、安裝等操作簡單化，方便用戶維護。功能介紹Vmware、Vsphere、Exsi 虛擬機備份、恢復(fù)、瞬時恢復(fù)(在秒級 時間內(nèi)快速恢復(fù)虛擬機到可用狀態(tài))、提供細粒度文件恢復(fù)，提供 更好的數(shù)據(jù)保護；提供完全備份、增量備份、差異備份等多種不同備份方式，并提供報表

41、查詢功能；提供對異構(gòu)存儲環(huán)境的支持，支持多種存儲類型，包括本地磁盤、分區(qū)、LVM、FC、iSCSI、NFS、CIFS等；支持分布式部署備份系統(tǒng)，多節(jié)點備份，統(tǒng)一管理，滿足大型虛 擬化環(huán)境虛擬機備份要求；支持Lan-Free傳輸模式，備份數(shù)據(jù)可直接通過SAN進行傳輸，降 低傳統(tǒng)網(wǎng)絡(luò)傳輸?shù)拈_銷；重復(fù)數(shù)據(jù)刪除支持，有效減少數(shù)據(jù)傳輸和存儲的數(shù)據(jù)；支持虛擬化環(huán)境無代理備份；無人值守，各種策略支持。企業(yè)級備份BDMP-虛擬機備份與容災(zāi)某移動雙中心應(yīng)急容災(zāi)平臺營業(yè)庫北環(huán)中心B中心營業(yè)庫 備份庫帳務(wù)庫B中心帳務(wù)庫 備份庫公共庫客服庫開通庫CBOSS庫A中心營業(yè)庫 備份庫商貿(mào)路中心營業(yè)庫A中心帳務(wù)庫 備份庫帳務(wù)

42、庫公共庫客服備份庫開通庫CBOSS備份庫不帶 A中 B中 區(qū)號 心公心公 的表 共庫共庫 同步 的備的備份同份同步 步A中心 備份 同步B中心 備份 同步營業(yè)庫D中心營業(yè)庫 備份庫C中心營業(yè)庫 備份庫營業(yè)庫電信行業(yè)：應(yīng)急災(zāi)備項目解決方案全庫復(fù)制，其他網(wǎng)省如寧 夏、廣西、南方基地、集 團139郵箱、集團網(wǎng)關(guān)系 統(tǒng)、集團手機閱讀基地等解決營業(yè)庫、賬務(wù)庫、公共庫、客服庫、開通庫、CBOSS 等數(shù)據(jù)庫的災(zāi)備、數(shù)據(jù)安全、雙活應(yīng)用銀行異地容災(zāi)案例 ：單套系統(tǒng)每日增量3T的數(shù)據(jù)異地災(zāi)備某銀行異地容災(zāi)解決方案通過DSG數(shù)據(jù)庫實時復(fù)制軟件， 實現(xiàn)銀行13套核心數(shù)據(jù)庫從蘭 州到嘉峪關(guān)的雙活容災(zāi)容災(zāi)系統(tǒng)實時處于Active可用 狀態(tài)，發(fā)生故障時可以在幾分 鐘內(nèi)接管業(yè)務(wù)災(zāi)備系統(tǒng)在非故障時期可用作 查詢和統(tǒng)計報表，提高災(zāi)備系 統(tǒng)的使用率10倍以上的數(shù)據(jù)壓縮傳輸，適 應(yīng)低帶寬遠程復(fù)制，節(jié)約帶寬 資源2-5s的平均延時，使RTO和RPO都趨近與零再次感謝廣大用戶對DSG的支持！企業(yè)集團：中國移動集團、中國電信集團、中國聯(lián)通集團、國家電網(wǎng)、南方電網(wǎng)、中國民航、中國國航、中國一汽、中石油、格力集團、中國中車.金融行業(yè)：中國金融期貨交易所、中國證券金融公司、中國