H3CDataEngineMPPCluster技術(shù)白皮書杭州華三通信技術(shù)有限公司 PAGEIIH3CDataEngineMPPCluster技術(shù)白皮書杭州華三通信技術(shù)有限公司TIME\@"yyyy年M月"2016年4月

目錄TOC\o"1-3"\h\z1 DataEngineMPPCluster產(chǎn)品簡介 11.1 產(chǎn)品簡介 11.2 產(chǎn)品技術(shù)特點(diǎn) 11.3 產(chǎn)品功能簡介 22 DataEngineMPPCluster產(chǎn)品架構(gòu) 33 DataEngineMPPCluster產(chǎn)品平臺和指標(biāo) 43.1 支持的操作系統(tǒng)和平臺 43.2 硬件環(huán)境 43.3 技術(shù)指標(biāo) 44 DataEngineMPPCluster核心技術(shù) 64.1 MPP+SharedNothing架構(gòu) 64.2 核心組件 64.3 高可用 74.4 高性能擴(kuò)展能力 84.5 高性能數(shù)據(jù)加載 94.6 OLAP函數(shù) 104.7 行列混合存儲 105 DataEngineMPPCluster工具 115.1 客戶端工具 115.1.1 企業(yè)管理工具 115.1.2 監(jiān)控系統(tǒng)工具 115.2 備份/恢復(fù)工具 115.3 gcadmin工具 125.4 數(shù)據(jù)重分布工具 125.5 數(shù)據(jù)抽取及加載工具 125.6 GCMonit監(jiān)控工具 135.7 DB-Link與透明網(wǎng)關(guān) 135.8 Hadoop導(dǎo)入導(dǎo)出工具 146 DataEngineMPPCluster開發(fā)接口 146.1 DataEngineMPPClusterODBC 146.2 DataEngineMPPClusterJDBC 156.3 DataEngineMPPClusterADO.NET 156.4 DataEngineMPPClusterCAPI 16GBase8aMPPCluster技術(shù)白皮書 H3CDataEngineMPPCluster技術(shù)白皮書-PAGE13- 南大通用數(shù)據(jù)技術(shù)股份有限公司杭州華三通信技術(shù)有限公司 -PAGE16-DataEngineMPPCluster產(chǎn)品簡介產(chǎn)品簡介H3C大規(guī)模分布式并行數(shù)據(jù)庫集群系統(tǒng)，簡稱：H3CDataEngineMPPCluster，它是在DataEngine列存儲數(shù)據(jù)庫基礎(chǔ)上開發(fā)的一款SharedNothing架構(gòu)的分布式并行數(shù)據(jù)庫集群，具備高性能、高可用、高擴(kuò)展特性，可以為超大規(guī)模數(shù)據(jù)管理提供高性價比的通用計算平臺，并廣泛地用于支撐各類數(shù)據(jù)倉庫系統(tǒng)、BI系統(tǒng)和決策支持系統(tǒng)。產(chǎn)品技術(shù)特點(diǎn)DataEngineMPPCluster具備以下技術(shù)特征：低硬件成本：完全使用x86架構(gòu)的PCServer，不需要昂貴的Unix服務(wù)器和磁盤陣列；集群架構(gòu)與部署：完全并行的MPP+SharedNothing的分布式架構(gòu)，采用Non-Master部署，節(jié)點(diǎn)對等的扁平結(jié)構(gòu)；海量數(shù)據(jù)分布壓縮存儲：可處理PB級別以上的結(jié)構(gòu)化數(shù)據(jù)，采用hash分布、random存儲策略進(jìn)行數(shù)據(jù)存儲；同時采用先進(jìn)的壓縮算法，減少存儲數(shù)據(jù)所需的空間，可以將所用空間減少1~20倍，并相應(yīng)地提高I/O性能；數(shù)據(jù)加載高效性：基于策略的數(shù)據(jù)加載模式，集群整體加載速度可達(dá)2TB/h；高擴(kuò)展、高可靠：支持集群節(jié)點(diǎn)的擴(kuò)容和縮容，支持全量、增量的備份/恢復(fù);高可用、易維護(hù)：數(shù)據(jù)通過副本提供冗余保護(hù)，自動故障探測和管理，自動同步元數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)。提供圖形化工具，以簡化管理員對數(shù)據(jù)庫的管理工作；高并發(fā)：讀寫不互斥，支持?jǐn)?shù)據(jù)的邊加載邊查詢，單個節(jié)點(diǎn)并發(fā)能力大于300用戶；行列混合存儲：提供行列混合存儲方案，從而提高了列存數(shù)據(jù)庫特殊查詢場景的查詢響應(yīng)耗時；標(biāo)準(zhǔn)化：支持SQL92標(biāo)準(zhǔn)，支持CAPI、ODBC、JDBC、ADO.NET等接口規(guī)范。產(chǎn)品功能簡介功能描述結(jié)構(gòu)化查詢語言符合SQL92標(biāo)準(zhǔn)，支持CREATE、ALTER、DROP等DDL語法，支持SELECT、INSERT、UPDATE、DELETE、MERGE等DML語法，支持單表，多表聯(lián)合查詢數(shù)據(jù)類型INT、TINYINT、SMALLINT、BIGINT、DECIMAL、FLOAT、DOUBLE數(shù)值數(shù)據(jù)類型CHAR、VARCHAR、TEXT字符數(shù)據(jù)類型DATE、TIME、DATETIME、TIMESTAMP日期類型BLOB二進(jìn)制數(shù)據(jù)類型數(shù)據(jù)庫對象提供了數(shù)據(jù)庫，表，索引，視圖，存儲過程，自定義函數(shù)等常用數(shù)據(jù)庫對象的創(chuàng)建，修改和刪除操作，支持?jǐn)?shù)據(jù)庫用戶的創(chuàng)建，刪除操作，以及用戶權(quán)限的分配與回收行列混合存儲基于創(chuàng)建的物理表，可以實(shí)現(xiàn)行存列的創(chuàng)建，修改和刪除圖形化工具提供了企業(yè)管理工具和集群監(jiān)控工具。接口符合并支持CAPI、ODBC、JDBC、ADO.NET等接口規(guī)范外圍工具提供數(shù)據(jù)加載、集群備份/恢復(fù)、數(shù)據(jù)重分布等外圍工具2 DataEngineMPPCluster產(chǎn)品架構(gòu)圖STYLEREF1\s0SEQ圖\*ARABIC\s11DataEngineMPPCluster系統(tǒng)架構(gòu)圖DataEngineMPPCluster產(chǎn)品平臺和指標(biāo)支持的操作系統(tǒng)和平臺支持如下的操作系統(tǒng)和平臺：64位Linux系列(CentOS、RedHat、SUSE)硬件環(huán)境支持基于x86_64的標(biāo)準(zhǔn)PC服務(wù)器；支持本地存儲（SATA、SAS、SSDetc）；支持陣列部署（SAN、NAS）；支持SSD、Flash存儲介質(zhì)作為二級I/O緩存；支持千兆、萬兆Ethernet網(wǎng)絡(luò)；支持InfiniBand網(wǎng)絡(luò)。技術(shù)指標(biāo)技術(shù)指標(biāo)描述集群節(jié)點(diǎn)的數(shù)據(jù)庫實(shí)例的大小10TB數(shù)字精度65表的個數(shù)每個數(shù)據(jù)庫65536每個表中列的個數(shù)2000每個表中行的個數(shù)247表中一行的內(nèi)部長度300000字節(jié)一個INTEGER類型列的長度8字節(jié)日期類型列中表示年的位數(shù)4位用戶名包含字符的個數(shù)16字符CHAR類型列的長度255字符BLOB列的長度32K字節(jié)VARCHAR類型列長度32K字節(jié)行存列的長度32KB數(shù)據(jù)庫名長度64字符表名長度56字符列名長度64字符索引名長度64字符別名長度255字符DataEngineMPPCluster核心技術(shù)MPP+SharedNothing架構(gòu)DataEngineMPPCluster采用完全并行的MPP+SharedNothing的分布式扁平架構(gòu)，這種架構(gòu)中的每一個節(jié)點(diǎn)（node）都是獨(dú)立的、自給的、節(jié)點(diǎn)之間對等，而且整個系統(tǒng)中不存在單點(diǎn)瓶頸，具有非常強(qiáng)的擴(kuò)展性。圖STYLEREF1\s4SEQ圖\*ARABIC\s11SharedNothing+MPP架構(gòu)示意圖核心組件DataEngineMPPCluster產(chǎn)品總共包含三大核心組件，即GCluster、GCware和GNode。GCWare用于各節(jié)點(diǎn)GCluster實(shí)例間共享信息，GCluster負(fù)責(zé)集群調(diào)度，每個GNode就是最基本的存儲和計算單元。GCluster：GCluster負(fù)責(zé)SQL的解析、SQL優(yōu)化、分布式執(zhí)行計劃生成、執(zhí)行調(diào)度。GCWare：GCWare用于各節(jié)點(diǎn)GCluster實(shí)例間共享信息(包括集群結(jié)構(gòu)，節(jié)點(diǎn)狀態(tài)，節(jié)點(diǎn)資源狀態(tài)等信息)，以及控制多副本數(shù)據(jù)操作時，提供可操作節(jié)點(diǎn)，并在多副本操作中，控制各節(jié)點(diǎn)數(shù)據(jù)一致性狀態(tài)。GCWare對于集群的管理工作是以節(jié)點(diǎn)為基本單位的。GNode：GNode是GCluster中最基本的存儲和計算單元。GNode是由GCWare管理的一個DataEngineMPP實(shí)例，每個GCluster節(jié)點(diǎn)上有一個GNode實(shí)例運(yùn)行。GNode負(fù)責(zé)集群數(shù)據(jù)在節(jié)點(diǎn)上的實(shí)際存儲，并從GCluster接收和執(zhí)行經(jīng)分解的SQL執(zhí)行計劃，執(zhí)行結(jié)果返回給GCluster。數(shù)據(jù)加載時，GNode直接從集群加載服務(wù)接收數(shù)據(jù)，寫入本地存儲空間。GCMonit：GCMonit用于定期監(jiān)測DataEngineMPPCluster服務(wù)程序的運(yùn)行狀態(tài),一旦發(fā)現(xiàn)某個服務(wù)程序的進(jìn)程狀態(tài)發(fā)生變化，就會根據(jù)配置文件中的內(nèi)容來執(zhí)行相應(yīng)的命令。GCMonit進(jìn)程監(jiān)控程序?yàn)榧褐械拿總€組件提供各自的啟停腳本，提供的總腳本可以一次性啟停所有模塊的服務(wù)。高可用DataEngineMPPCluster通過SafeGroup組內(nèi)冗余機(jī)制來保證集群的高可用特性：每個SafeGroup可提供1個或2個副本數(shù)據(jù)冗余;SafeGroup內(nèi)數(shù)據(jù)副本自動同步;復(fù)制引擎自動管理數(shù)據(jù)同步。圖STYLEREF1\s4SEQ圖\*ARABIC\s12SafeGroup高可用性管理示意圖高性能擴(kuò)展能力DataEngineMPPCluster具備高性能擴(kuò)展能力：通過SafeGroup動態(tài)擴(kuò)展集群節(jié)點(diǎn)；每個節(jié)點(diǎn)可以處理10TB有效數(shù)據(jù)，同時提供計算和存儲能力；GCware負(fù)責(zé)新節(jié)點(diǎn)的數(shù)據(jù)同步。圖STYLEREF1\s4SEQ圖\*ARABIC\s13DataEngineMPPCluster擴(kuò)展技術(shù)示意圖因?yàn)镈ataEngineMPPCluster采用高性能單節(jié)點(diǎn)的MPP扁平架構(gòu)，因此進(jìn)行集群擴(kuò)展時，可以保證平滑擴(kuò)展和性能的線性增長特性。圖STYLEREF1\s4SEQ圖\*ARABIC\s14DataEngineMPPCluster高性能高擴(kuò)展示意圖高性能數(shù)據(jù)加載數(shù)據(jù)加載功能作為DataEngineMPPCluster的一部分而存在，目的是將用戶從其他數(shù)據(jù)源得到的原始數(shù)據(jù)文件，按照某種加載規(guī)則分發(fā)至集群節(jié)點(diǎn)，集群各節(jié)點(diǎn)接收數(shù)據(jù)入庫保存到本地磁盤。集群加載采用C/S架構(gòu)，包括數(shù)據(jù)分發(fā)服務(wù)器和數(shù)據(jù)分發(fā)客戶端兩個應(yīng)用程序。數(shù)據(jù)分發(fā)服務(wù)器接收到客戶端的數(shù)據(jù)加載請求后，服務(wù)器端負(fù)責(zé)原始數(shù)據(jù)文件切分和數(shù)據(jù)文件的下發(fā)；各節(jié)點(diǎn)調(diào)用本地的集群加載服務(wù)接收數(shù)據(jù)入庫并保存到本地磁盤。

圖STYLEREF1\s4SEQ圖\*ARABIC\s15數(shù)據(jù)加載示意圖OLAP函數(shù)DataEngineMPPCluster提供OLAP函數(shù)，用于支持復(fù)雜的分析操作，側(cè)重于對決策人員和高層管理人員的決策支持。可根據(jù)分析人員的要求，快速靈活地進(jìn)行大數(shù)據(jù)量的復(fù)雜查詢處理，以便他們準(zhǔn)確掌握企業(yè)的經(jīng)營狀況，了解被服務(wù)對象的需求，制定正確的方案。行列混合存儲DataEngineMPPCluster采用的行列混合存儲的存儲結(jié)構(gòu)，改善了當(dāng)需要物化的列數(shù)較多，查詢命中的數(shù)據(jù)記錄又非常離散時，會頻繁訪問I/O的狀況，大大縮短了查詢耗時，從而提高了查詢效率。DataEngineMPPCluster提供的行列混合存儲技術(shù)，它通過創(chuàng)建行存列的機(jī)制，減少I/O訪問的次數(shù)，從而有效地提高I/O性能。DataEngineMPPCluster工具客戶端工具企業(yè)管理工具圖形化的查詢和管理工具，提供用于訪問、控制和管理GCluster集群環(huán)境。使用DataEngineMPPCluster企業(yè)管理器可以完成如下工作：查看管理集群、集群服務(wù)器；查看管理數(shù)據(jù)庫、表、索引；查看所有連接到當(dāng)前集群環(huán)境中的用戶；在SQL編輯器中創(chuàng)建和執(zhí)行SQL語句；其它管理，例如創(chuàng)建和執(zhí)行存儲過程、自定義函數(shù)等。監(jiān)控系統(tǒng)工具DataEngineCluset提供了圖形化的監(jiān)控系統(tǒng)工具，該工具提供以下功能：實(shí)時的集群監(jiān)控信息；及時的報警功能；直觀的趨勢展示；可靠的數(shù)據(jù)分布視圖；詳盡的審計日志功能；備份/恢復(fù)工具通過集群的gcrcman的命令行工具，可以實(shí)現(xiàn)集群的備份/恢復(fù)功能：查看備份記錄；備份、恢復(fù)；刪除數(shù)據(jù)備份；清除無效備份；gcadmin工具對于數(shù)據(jù)庫集群用戶，尤其是系統(tǒng)管理員來說，實(shí)時查詢、調(diào)整集群以及各節(jié)點(diǎn)工作狀態(tài)，尤為重要。DataEngineMPPCluster為管理員提供了命令行工具gcadmin。該工具能實(shí)現(xiàn)SafeGroup的增加、移除，切換集群模式，查看集群狀態(tài)等管理功能。數(shù)據(jù)重分布工具數(shù)據(jù)庫集群，通過擴(kuò)展集群的SafeGroup來增加存儲容量和提升查詢性能。擴(kuò)展集群SafeGroup后，需要將原集群SafeGroup中的數(shù)據(jù)，根據(jù)數(shù)據(jù)分布策略重新分布。因此DataEngineMPPCluster提供了一個數(shù)據(jù)重分布的管理工具，用來進(jìn)行集群增加節(jié)點(diǎn)后的數(shù)據(jù)重分布的操作，使得數(shù)據(jù)能夠按照重分布策略分布到各節(jié)點(diǎn)上。數(shù)據(jù)重分布的過程是在線進(jìn)行的，也就是說無需停止DataEngineMPPCluster的服務(wù)即可實(shí)現(xiàn)，數(shù)據(jù)重分布可以與查詢操作并發(fā)。數(shù)據(jù)抽取及加載工具db2tode/oratode工具是杭州華三通信技術(shù)有限公司提供的,可以從db2/oracle數(shù)據(jù)庫系統(tǒng)中抽取數(shù)據(jù)的工具，使用它可以從db2/oracle系統(tǒng)中抽取出用戶所需要的數(shù)據(jù)，并以文件的形式保存下來，該文件可以作為其它數(shù)據(jù)庫（包括DataEngine數(shù)據(jù)庫系統(tǒng)）的數(shù)據(jù)源文件。數(shù)據(jù)分發(fā)服務(wù)程序是集群為用戶加載數(shù)據(jù)提供的一個工具，此工具由數(shù)據(jù)分發(fā)服務(wù)端程序(dispserver)和數(shù)據(jù)分發(fā)客戶端程序(dispcli)兩個可執(zhí)行文件組成，實(shí)現(xiàn)將數(shù)據(jù)源文件（從oracle系統(tǒng)或db2系統(tǒng)獲取的文件）加載到DataEngine數(shù)據(jù)庫系統(tǒng)的功能。數(shù)據(jù)分發(fā)服務(wù)程序的工具包是以tar.bz2的壓縮形式提供給用戶的。GCMonit監(jiān)控工具M(jìn)onit是開源工具，在某些unix或linux系統(tǒng)中運(yùn)行會存在一定程度的兼容性問題（suse系統(tǒng)中會出現(xiàn)不能監(jiān)控進(jìn)程的問題）；另外，被監(jiān)控進(jìn)程還需要提供相應(yīng)的pid文件給Monit；它本身也不支持高可用運(yùn)行模式。因此我們依照DataEngine的自身需求和Monit工具的基本功能，開發(fā)DataEngineGCMonit來滿足多unix（或linux）系統(tǒng)的運(yùn)行需求。GCMonit功能如下：實(shí)時監(jiān)控DataEngine集群服務(wù)程序（目前主要包括gbased，gclusterd，gcrecover，gcmetarecover和gc_sync_server）的運(yùn)行狀況，一旦發(fā)現(xiàn)某個服務(wù)程序的進(jìn)程狀態(tài)發(fā)生變化，就會根據(jù)配置文件中的內(nèi)容來執(zhí)行相應(yīng)的命令腳本。提供用戶指定的配置文件，可配置內(nèi)容包括：需要監(jiān)控的服務(wù)程序名稱，服務(wù)進(jìn)程狀態(tài)變化時所要執(zhí)行的方法，檢測服務(wù)程序的時間間隔，日志文件路徑和名稱等。記錄日志信息。實(shí)現(xiàn)DataEngineGCMonit的高可用性具體請參見《DataEngineMPPClusterGCmonit與集群啟停工具使用手冊》。DB-Link與透明網(wǎng)關(guān)DB-Link：DataEngine集群內(nèi)部提供的遠(yuǎn)程數(shù)據(jù)庫鏈接功能，通過與透明網(wǎng)關(guān)服務(wù)的協(xié)同工作，實(shí)現(xiàn)透明訪問異地集群中的數(shù)據(jù)庫的數(shù)據(jù)表或者遠(yuǎn)程數(shù)據(jù)庫的數(shù)據(jù)表。透明網(wǎng)關(guān)服務(wù)：一個獨(dú)立運(yùn)行的進(jìn)程，負(fù)責(zé)連接DataEngine集群之外的其他數(shù)據(jù)庫（通過標(biāo)準(zhǔn)JDBC接口，也可以支持DataEngine集群間的遠(yuǎn)程訪問），并完成數(shù)據(jù)抽取的工作。通過DB-Link功能，客戶可以實(shí)現(xiàn)：DataEngine集群的應(yīng)用程序可以訪問一個外部數(shù)據(jù)源，外部數(shù)據(jù)庫是DataEngine集群。可以查詢外部數(shù)據(jù)源的數(shù)據(jù)，也可以將外部數(shù)據(jù)源的數(shù)據(jù)與本地集群中的數(shù)據(jù)進(jìn)行關(guān)聯(lián)運(yùn)算。遠(yuǎn)端數(shù)據(jù)庫是DataEngine集群，并且網(wǎng)絡(luò)通信沒有限制的情況下，可以對這種場景進(jìn)行定向優(yōu)化，以提升性能。不支持異構(gòu)數(shù)據(jù)源Hadoop導(dǎo)入導(dǎo)出工具通過DataEngineMPPClusterHadoop導(dǎo)入導(dǎo)出工具，客戶可以實(shí)現(xiàn)：將DataEngineMPP集群數(shù)據(jù)導(dǎo)出到指定的hadoop目錄上，支持全量和多表導(dǎo)出；從指定的hadoop目錄（DataEngineMPP導(dǎo)出成功的目錄）導(dǎo)入數(shù)據(jù)，支持全量和單表導(dǎo)入；注：集群數(shù)據(jù)：包括數(shù)據(jù)庫的用戶、權(quán)限、存儲過程、函數(shù)、庫、表結(jié)構(gòu)、表數(shù)據(jù)等具體請參見《DataEngineMPPClusterHadoop導(dǎo)入、導(dǎo)出手冊》。DataEngineMPPCluster開發(fā)接口DataEngineMPPClusterODBCDataEngineMPPClusterODBC是DataEngineMPPCluster的ODBC驅(qū)動程序，它提供了訪問DataEngineMPPCluster的所有ODBC功能。DataEngineMPPClusterODBC支持ODBC3.5X一級規(guī)范（全部API+2級特性）。用戶可以通過ODBC數(shù)據(jù)源管理器調(diào)用DataEngineMPPClusterODBC驅(qū)動訪問DataEngineMPPCluster數(shù)據(jù)庫或者直接調(diào)用DataEngineMPPClusterODBC驅(qū)動訪問DataEngineMPPCluster，另外通過可視化編程工具如C++Builder、VisualStudio等也可以利用DataEngineMPPClusterODBC訪問。DataEngineMPPClusterODBC支持所有DataEngineMPPCluster支持的Windows、Linux、AIX平臺。DataEngineMPPClusterJDBCDataEngineMPPClusterJDBC是一種兼容JDBC規(guī)范3.0、4.0（類型4）的驅(qū)動，這意味著它是符合JDBC3.0、4.0版本規(guī)范的一種純Java程序，并能使用DataEngine協(xié)議直接和DataEngine服務(wù)器通信。DataEngineMPPClusterJDBC為使用JAVA程序語言的客戶端應(yīng)用提供訪問DataEngineMPPCluster接口。DataEngineMPPClusterJDBC支持