1、達夢技術(shù)白皮書達夢大規(guī)模并行處理集群組件DMMPP目錄 概述 產(chǎn)品特性系統(tǒng)架構(gòu)01系統(tǒng)架構(gòu)先進性02數(shù)據(jù)分布03 高速郵件通信系統(tǒng)03 多級并行技術(shù)03 復(fù)雜查詢支持04 高可用05 管理與監(jiān)控05 并行高速數(shù)據(jù)加載06 小結(jié)同樣適用于OLTP業(yè)務(wù)07概述達夢大規(guī)模并行處理集群組件（ DM Massively Paralleling Processing Cluster Component,縮寫 DMMPP）是基于達夢數(shù)據(jù)庫管理系統(tǒng)研發(fā)的完全對等無共享式的并行集群組件，支持將多個 DM7節(jié)點組織為一個并行計算網(wǎng)絡(luò)，對外提供統(tǒng)一的數(shù)據(jù)庫服務(wù)。 在海量數(shù)據(jù)分析的應(yīng)用場景中，經(jīng)常會遇到以下問題： 大

2、量的讀操作需要較高的系統(tǒng)性能支撐； 數(shù)據(jù)庫響應(yīng)能力受到硬件的束縛； 小型機雖然能在垂直領(lǐng)域提供較好單個節(jié)點的性能，但是價格較高； 想防止單點故障的影響。 為了支持上述海量數(shù)據(jù)存儲和處理、高并發(fā)處理、高性價比、高可用性等方面的需求，提供高端數(shù)據(jù)倉庫解決方案，達夢數(shù)據(jù)庫提供了大規(guī)模并行處理（MPP）架構(gòu)，以極低的成本代價，為客戶提供業(yè)界領(lǐng)先的計算性能。 DMMPP采用完全對等無共享架構(gòu)，最多可支持1024個節(jié)點，支持TB到PB級的數(shù)據(jù)存儲與 分析，并提供高可用性和動態(tài)擴展能力，是超大型數(shù)據(jù)應(yīng)用的高性價比通用解決方案。 產(chǎn)品特性 產(chǎn)品概述 產(chǎn)品特性系統(tǒng)架構(gòu)先進性當(dāng)前的數(shù)據(jù)倉庫解決方案通常是借助通用數(shù)

3、據(jù)庫或基于硬件的專用平臺而創(chuàng)建，主流架 構(gòu)有如下幾種。 如EMC DCA如DM7 圖2 主流架構(gòu)示意圖 產(chǎn)品特性系統(tǒng)架構(gòu)DMMPP通過分布負(fù)載到多個數(shù)據(jù)庫服務(wù)器主機，實現(xiàn)存儲和處理大規(guī)模的數(shù)據(jù)。采用完全對等的無共享架構(gòu)，每個數(shù)據(jù)庫服務(wù)器稱為一個EP，每個EP都是獨立的數(shù)據(jù)庫。該架構(gòu)中各個EP節(jié)點的功能完全一樣，用戶可連接DMMPP系統(tǒng)內(nèi)的任意一個EP節(jié)點進行數(shù)據(jù)操作。 MAL系統(tǒng)高速內(nèi)網(wǎng)守護備機EP主機服務(wù)外網(wǎng)客戶應(yīng)用圖1 DMMPP系統(tǒng)架構(gòu)示意圖 DMMPP的完全對等無共享體系架構(gòu)結(jié)合了完全無共享體系的優(yōu)點，在此基礎(chǔ)上又前進了一步，通過軟件提升處理能力，它不需要價格昂貴的專用硬件，也不采用增

4、加主控制節(jié)點 來協(xié)調(diào)所有并行處理的主從式方法，而是各個節(jié)點完全對等，更進一步簡化了體系的實現(xiàn)， 也消除了系統(tǒng)可能存在的主節(jié)點瓶頸問題。各主流架構(gòu)特點比較如下。 架構(gòu)名稱特點完全共享局限于單節(jié)點服務(wù)器，價格昂貴，擴展性差。共享磁盤允許多個服務(wù)器實例共享存儲設(shè)備，有效均衡單實例負(fù)載，具有一定的擴展性，節(jié)點規(guī)模擴大時，對I/、O鎖資源等的競爭加劇，可能導(dǎo)致性能的下降。硬件成本昂貴。/ 完全不共享部署在高速網(wǎng)絡(luò)，各節(jié)點相對獨立，無共享I O，擴展性和性能良好， 缺點是此類架構(gòu)的系統(tǒng)基于專用硬件，價格昂貴，成本高；存在主控節(jié)點，系統(tǒng)規(guī)模擴大時可能成為系統(tǒng)瓶頸。完全對等不共享繼承了完全不共享架構(gòu)的優(yōu)點，且

5、各節(jié)點完全對等，不需要專用硬件， 不存在主控節(jié)點，消除了潛在瓶頸以及單節(jié)點故障問題。 DMMPP技術(shù)白皮書DMMPP技術(shù)白皮書產(chǎn)品特性 產(chǎn)品特性 產(chǎn)品特性數(shù)據(jù)分布DMMPP支持多種數(shù)據(jù)分布，包括HASH分布、范圍分布和隨機分布；支持表的水平分 區(qū)、垂直分區(qū)和多級混合分區(qū)，并提供了數(shù)據(jù)分布和數(shù)據(jù)分區(qū)的組合支持，提供了極高的靈活性。 產(chǎn)品特性復(fù)雜查詢支持DMMPP系統(tǒng)內(nèi)每個站點只負(fù)責(zé)自身部分?jǐn)?shù)據(jù)的讀寫，執(zhí)行計劃是完全并行執(zhí)行的，完全無I/O沖突，充分利用硬件資源，只是額外增加了數(shù)據(jù)在節(jié)點間移動的通信時間，在高速 局域網(wǎng)內(nèi)，通信時間大大縮短，更能體現(xiàn)大規(guī)模并行處理的優(yōu)勢，隨著系統(tǒng)規(guī)模的擴大，并行支路

6、越多，優(yōu)勢越明顯。 用戶登錄DMMPP的任意一個節(jié)點，此時這個節(jié)點對于用戶來說就是主EP，主EP接受 用戶的SQL請求并生成并行執(zhí)行計劃，將此計劃打包分發(fā)給各從EP并行執(zhí)行，并將所有EP的執(zhí)行結(jié)果匯總后返回給用戶。 高速郵件通信系統(tǒng)圖3 數(shù)據(jù)分布示意圖 DMMPP各節(jié)點之間的消息通信和數(shù)據(jù)移動都是通過嵌入在DM數(shù)據(jù)庫系統(tǒng)內(nèi)部的MAL通 信系統(tǒng)完成，MAL系統(tǒng)負(fù)責(zé)在執(zhí)行查詢計劃的過程中在協(xié)調(diào)任務(wù)相關(guān)的節(jié)點之間高效 驅(qū)動數(shù)據(jù)流，完成發(fā)送消息、移動數(shù)據(jù)、收集操作結(jié)果等功能。 每個消息相當(dāng)于一封郵件投遞到對應(yīng)的郵箱中，一旦收到信件，立刻 系統(tǒng)從郵箱中取出信件，對信件進行處理，完成數(shù)據(jù)的整合。這種高效的

7、通信機制有利于提高并行查詢的 效率，充分發(fā)揮高速網(wǎng)絡(luò)的優(yōu)勢。 多級并行技術(shù)DMMPP的并行執(zhí)行計劃在各個EP上并行執(zhí)行的同時，單個EP上的計劃執(zhí)行還可利用 DM7的并行查詢特性，實現(xiàn)節(jié)點間并行與節(jié)點內(nèi)并行的完美結(jié)合。 圖4 數(shù)據(jù)收集與分發(fā)過程主從EP示意圖 DMMPP優(yōu)化器生成的是扁平的并行執(zhí)行計劃，僅比單節(jié)點的執(zhí)行計劃增加了節(jié)點間通訊操作。各EP之間使用DM7高速郵件系統(tǒng)形成網(wǎng)狀連接，多條通信鏈路并行，并使用流式 數(shù)據(jù)處理，能充分發(fā)揮以太網(wǎng)交換機的性能。 DMMPP的扁平并行執(zhí)行計劃和高速郵件系統(tǒng)，使得DMMPP能充分利用單節(jié)點的各種 查詢優(yōu)化技術(shù)，并在節(jié)點間高速傳遞計劃和中間執(zhí)行結(jié)果，提供

8、了強大的復(fù)雜查詢支持能 力。 圖5 復(fù)雜查詢支持 DMMPP技術(shù)白皮書 DMMPP技術(shù)白皮書產(chǎn)品特性 產(chǎn)品特性 產(chǎn)品特性產(chǎn)品特性高可用DMMPP與DM7數(shù)據(jù)守護高級功能的結(jié)合使用，可為每個EP配置交叉數(shù)據(jù)守護，提供數(shù)據(jù)鏡像保護功能。 圖6 節(jié)點交叉數(shù)據(jù)守護方案 配置了交叉數(shù)據(jù)守護的DMMPP即使出現(xiàn)單機故障，也不會影響整個系統(tǒng)的正常運行。一旦主機出現(xiàn)故障，對應(yīng)備機會自動切換為主機繼續(xù)提供服務(wù)。 管理與監(jiān)控DM7提供了圖形界面性能監(jiān)控工具，可以監(jiān)控DMMPP的站點分布、數(shù)據(jù)分布、消息分 發(fā)等，并能對DMMPP系統(tǒng)中各節(jié)點運行時的線程、會話、事務(wù)、SQL、內(nèi)存等情況進行統(tǒng) 計分析，并用直觀的數(shù)據(jù)表

9、或圖表方式進行展現(xiàn)。 并行高速數(shù)據(jù)加載圖8 性能監(jiān)視工具-數(shù)據(jù)分布 并 行 加 載 自動散列分布圖7 性能監(jiān)視工具-DMMPP監(jiān)控 DMMPP的快速數(shù)據(jù)裝載工具DMFLDR為DMMPP提供并行高速數(shù)據(jù)裝載支持，用戶只要登錄DMMPP的任意一個EP就可以進行數(shù)據(jù)裝載， 無需額外的數(shù)據(jù)分發(fā)服務(wù)器。DMFLDR 為DMMPP提供了本地加載、客戶端分發(fā)和服務(wù)器端分發(fā)三種數(shù)據(jù)加載模式，用戶可根據(jù)實際情況選擇適用的裝載模式。 圖9 并行高速數(shù)據(jù)加載示意圖 DMMPP技術(shù)白皮書DMMPP技術(shù)白皮書DMMP 小結(jié)同樣適用于OLTP業(yè)務(wù)通過前面的敘述，想必大家對于DMMPP在OLAP應(yīng)用中的優(yōu)越性有了充分的了解，那DMMPP是不是只適用于OLAP業(yè)務(wù)呢？答案顯然是 的。 一個集團公司，總公司為省級，下屬有各個地市的分公司?？偣締T工要讀寫訪問整個集團的數(shù)據(jù)，各個分公司員工則只需要讀寫訪問自己分公司的數(shù)據(jù)，另有分公司的客戶需要查詢一些分公司數(shù)據(jù)。這是當(dāng)前大型集團企業(yè)的典型應(yīng)用場景。 圖10 大型集團企業(yè)的典型應(yīng)用場景 可以使用DMMPP搭建如上圖的集群架構(gòu)。 集團員工以集接入方式訪問省級數(shù)據(jù)庫服務(wù)器DM