1、DM8 數(shù)據(jù)守護與讀寫分離集群IDM8 數(shù)據(jù)守護與讀寫分離集群 V3.0 PAGE * ROMAN II前言概述本文檔主要介紹 DM 數(shù)據(jù)守護的系統(tǒng)特性、基本概念、主要功能、各組成部件的詳細介紹，以及如何搭建數(shù)據(jù)守護環(huán)境并使用等。讀者對象本文檔主要適用于 DM 數(shù)據(jù)庫的：開發(fā)工程師測試工程師技術支持工程師數(shù)據(jù)庫管理員通用約定在本文檔中可能出現(xiàn)下列標志，它們所代表的含義如下：表 0.1 標志含義標志說明表示可能導致系統(tǒng)損壞、數(shù)據(jù)丟失或不可預知的結(jié)果。表示可能導致性能降低、服務不可用?？梢詭椭鉀Q某個問題或節(jié)省您的時間。表示正文的附加信息，是對正文的強調(diào)和補充。DM 數(shù)據(jù)守護與讀寫分離集群 V3

2、.0 PAGE * ROMAN III在本文檔中可能出現(xiàn)下列格式，它們所代表的含義如下：表 0.2 格式含義格式說明宋體表示正文。黑體標題、警告、注意、小竅門、說明等內(nèi)容均采用黑體。Courier new表示代碼或者屏幕顯示內(nèi)容。粗體表示命令行中的關鍵字（命令中保持不變、必須照輸?shù)牟糠郑┗蛘哒闹袕娬{(diào)的內(nèi)容。語法符號中，表示一個語法對象。:=語法符號中，表示定義符，用來定義一個語法對象。定義符左邊為語法對象，右邊為相應的語法描述。|語法符號中，表示或者符，限定的語法選項在實際語句中只能出現(xiàn)一個。 語法符號中，大括號內(nèi)的語法選項在實際的語句中可以出現(xiàn) 0N 次(N 為大于 0 的自然數(shù))，但是大

3、括號本身不能出現(xiàn)在語句中。 語法符號中，中括號內(nèi)的語法選項在實際的語句中可以出現(xiàn) 01 次，但是中括號本身不能出現(xiàn)在語句中。關鍵字關鍵字在 DM_SQL 語言中具有特殊意義，在 SQL 語法描述中，關鍵字以大寫形式出現(xiàn)。但在實際書寫 SQL 語句時，關鍵字既可以大寫也可以小寫。DM 數(shù)據(jù)守護與讀寫分離集群 PAGE * ROMAN IX目錄 HYPERLINK l _bookmark0 引言1 HYPERLINK l _bookmark1 概述2 HYPERLINK l _bookmark2 系統(tǒng)特性4 HYPERLINK l _bookmark3 主要特性4 HYPERLINK l _boo

4、kmark4 主要改進（V2. 0 版本）6 HYPERLINK l _bookmark5 主要改進（V2. 1 版本）7 HYPERLINK l _bookmark6 兼容性說明（V2.1 版本）8 HYPERLINK l _bookmark7 主要改進（V3. 0 版本）9 HYPERLINK l _bookmark8 兼容性說明（V3.0 版本）10 HYPERLINK l _bookmark9 基本概念10 HYPERLINK l _bookmark10 數(shù)據(jù)庫10 HYPERLINK l _bookmark11 DMDSC 狀態(tài)10 HYPERLINK l _bookmark12 數(shù)

5、據(jù)庫模式11 HYPERLINK l _bookmark13 數(shù)據(jù)庫狀態(tài)12 HYPERLINK l _bookmark14 LSN 介紹14 HYPERLINK l _bookmark15 Redo 日志15 HYPERLINK l _bookmark16 Redo 日志緩沖區(qū)16 HYPERLINK l _bookmark17 KEEP_BUF 介紹17 HYPERLINK l _bookmark18 聯(lián)機Redo 日志文件18 HYPERLINK l _bookmark19 歸檔介紹19 HYPERLINK l _bookmark20 MAL 系統(tǒng)24 HYPERLINK l _book

6、mark21 OGUID24 HYPERLINK l _bookmark22 守護進程組24 HYPERLINK l _bookmark23 組分裂25 HYPERLINK l _bookmark24 2.2.15 腦裂25 HYPERLINK l _bookmark25 術語定義26 HYPERLINK l _bookmark26 實時主備27 HYPERLINK l _bookmark27 主要功能27 HYPERLINK l _bookmark28 歸檔流程28 HYPERLINK l _bookmark29 Huge 表日志29 HYPERLINK l _bookmark30 MPP

7、主備31 HYPERLINK l _bookmark31 功能擴展32 HYPERLINK l _bookmark32 dmmpp.ctl 維護32 HYPERLINK l _bookmark33 讀寫分離集群34 HYPERLINK l _bookmark34 歸檔流程34 HYPERLINK l _bookmark35 實現(xiàn)原理36 HYPERLINK l _bookmark36 事務一致性37 HYPERLINK l _bookmark37 性能調(diào)整39 HYPERLINK l _bookmark38 實時歸檔的讀寫分離40 HYPERLINK l _bookmark39 異步備庫40

8、HYPERLINK l _bookmark40 DMDSC 數(shù)據(jù)守護41 HYPERLINK l _bookmark41 總體結(jié)構42 HYPERLINK l _bookmark42 系統(tǒng)連接43 HYPERLINK l _bookmark43 歸檔配置44 HYPERLINK l _bookmark44 日志發(fā)送44 HYPERLINK l _bookmark45 重演實例44 HYPERLINK l _bookmark46 備庫日志重演45 HYPERLINK l _bookmark47 守護控制文件45 HYPERLINK l _bookmark48 遠程歸檔修復45 HYPERLINK

9、 l _bookmark49 主備日志校驗47 HYPERLINK l _bookmark50 備份還原流程48 HYPERLINK l _bookmark51 DMDSC 集群的管理規(guī)則49 HYPERLINK l _bookmark53 場景說明54 HYPERLINK l _bookmark55 守護進程63 HYPERLINK l _bookmark56 主要功能63 HYPERLINK l _bookmark57 監(jiān)控數(shù)據(jù)庫實例63 HYPERLINK l _bookmark58 發(fā)送狀態(tài)信息64 HYPERLINK l _bookmark59 監(jiān)控其他守護進程64 HYPERLIN

10、K l _bookmark60 接收監(jiān)視器消息64 HYPERLINK l _bookmark61 主備庫啟動運行65 HYPERLINK l _bookmark62 備庫故障處理65 HYPERLINK l _bookmark63 備庫異常處理66 HYPERLINK l _bookmark64 主庫故障處理67 HYPERLINK l _bookmark65 故障恢復處理67 HYPERLINK l _bookmark66 守護類型71 HYPERLINK l _bookmark67 守護模式72 HYPERLINK l _bookmark68 守護狀態(tài)73 HYPERLINK l _bo

11、okmark69 控制文件75 HYPERLINK l _bookmark70 3.5.1 概述75 HYPERLINK l _bookmark71 3.5.2 作用76 HYPERLINK l _bookmark72 3.5.3 內(nèi)容76 HYPERLINK l _bookmark73 3.5.4 狀態(tài)78 HYPERLINK l _bookmark74 判斷備庫可加入規(guī)則78 HYPERLINK l _bookmark75 判斷故障主庫可加入規(guī)則79 HYPERLINK l _bookmark76 強制接管規(guī)則81 HYPERLINK l _bookmark77 守護進程命令82 HYPE

12、RLINK l _bookmark78 監(jiān)視器85 HYPERLINK l _bookmark79 監(jiān)視器類型86 HYPERLINK l _bookmark80 狀態(tài)確認86 HYPERLINK l _bookmark81 自動接管87 HYPERLINK l _bookmark82 不同版本監(jiān)視器命令調(diào)整89 HYPERLINK l _bookmark83 監(jiān)視器命令89 HYPERLINK l _bookmark84 監(jiān)視器LOG 日志116 HYPERLINK l _bookmark85 配置文件說明117 HYPERLINK l _bookmark86 dm.ini117 HYPER

13、LINK l _bookmark87 dmmal.ini120 HYPERLINK l _bookmark88 dmarch.ini121 HYPERLINK l _bookmark89 dmwatcher.ini122 HYPERLINK l _bookmark90 dmwatcher.ctl125 HYPERLINK l _bookmark91 dmmonitor.ini126 HYPERLINK l _bookmark92 dmtimer.ini128 HYPERLINK l _bookmark93 端口配置關系說明130 HYPERLINK l _bookmark94 服務名配置133

14、 HYPERLINK l _bookmark95 數(shù)據(jù)守護使用說明135 HYPERLINK l _bookmark96 正常運行狀態(tài)135 HYPERLINK l _bookmark97 數(shù)據(jù)守護的啟動135 HYPERLINK l _bookmark98 強制Open 實例136 HYPERLINK l _bookmark99 關閉數(shù)據(jù)守護系統(tǒng)138 HYPERLINK l _bookmark100 主備庫切換139 HYPERLINK l _bookmark101 主庫故障、備庫接管141 HYPERLINK l _bookmark102 備庫強制接管142 HYPERLINK l _b

15、ookmark103 主庫故障重啟（備庫接管前重啟）143 HYPERLINK l _bookmark104 備庫故障處理143 HYPERLINK l _bookmark105 公共網(wǎng)絡故障145 HYPERLINK l _bookmark106 內(nèi)部網(wǎng)絡故障145 HYPERLINK l _bookmark107 備庫異常處理147 HYPERLINK l _bookmark108 故障庫數(shù)據(jù)同步147 HYPERLINK l _bookmark109 備庫重建147 HYPERLINK l _bookmark110 守護進程組分裂150 HYPERLINK l _bookmark111

16、dmmpp.ctl 不一致150 HYPERLINK l _bookmark112 確認監(jiān)視器未啟動151 HYPERLINK l _bookmark113 備庫維護152 HYPERLINK l _bookmark114 滾動升級153 HYPERLINK l _bookmark115 備庫文件損壞154 HYPERLINK l _bookmark116 實時/讀寫分離/MPP 備庫數(shù)據(jù)同步情況分析159 HYPERLINK l _bookmark117 異步備庫數(shù)據(jù)同步情況分析161 HYPERLINK l _bookmark118 6.23 MPP 主備版本升級（V2.0 升級為V2.1

17、/V3.0）162 HYPERLINK l _bookmark119 6.24 注意事項162 HYPERLINK l _bookmark120 數(shù)據(jù)守護搭建165 HYPERLINK l _bookmark121 數(shù)據(jù)準備165 HYPERLINK l _bookmark122 數(shù)據(jù)文件拷貝165 HYPERLINK l _bookmark123 備份還原方式166 HYPERLINK l _bookmark124 檢查數(shù)據(jù)一致性167 HYPERLINK l _bookmark125 守護進程控制文件167 HYPERLINK l _bookmark126 配置實時主備167 HYPERL

18、INK l _bookmark127 環(huán)境說明168 HYPERLINK l _bookmark128 數(shù)據(jù)準備169 HYPERLINK l _bookmark129 配置主庫GRP1_RT_01169 HYPERLINK l _bookmark133 配置備庫GRP1_RT_02173 HYPERLINK l _bookmark135 配置監(jiān)視器176 HYPERLINK l _bookmark136 啟動守護進程177 HYPERLINK l _bookmark137 啟動監(jiān)視器177 HYPERLINK l _bookmark138 配置讀寫分離集群177 HYPERLINK l _b

19、ookmark139 環(huán)境說明178 HYPERLINK l _bookmark140 數(shù)據(jù)準備179 HYPERLINK l _bookmark141 配置主庫GRP1_RWW_01180 HYPERLINK l _bookmark142 配置備庫GRP1_RWW_02183 HYPERLINK l _bookmark143 配置備庫GRP1_RWW_03187 HYPERLINK l _bookmark144 配置監(jiān)視器191 HYPERLINK l _bookmark145 啟動守護進程192 HYPERLINK l _bookmark146 啟動監(jiān)視器192 HYPERLINK l _

20、bookmark147 接口說明192 HYPERLINK l _bookmark148 配置MPP 主備195 HYPERLINK l _bookmark149 環(huán)境說明195 HYPERLINK l _bookmark150 數(shù)據(jù)準備197 HYPERLINK l _bookmark151 配置主庫GRP1_MPP_EP01197 HYPERLINK l _bookmark153 配置主庫GRP2_MPP_EP02201 HYPERLINK l _bookmark154 配置備庫GRP1_MPP_EP11203 HYPERLINK l _bookmark155 配置備庫GRP2_MPP_E

21、P22206 HYPERLINK l _bookmark156 配置dmwatcher.ini208 HYPERLINK l _bookmark157 生成dmwatcher.ctl210 HYPERLINK l _bookmark158 配置監(jiān)視器210 HYPERLINK l _bookmark159 啟動守護進程211 HYPERLINK l _bookmark160 啟動監(jiān)視器211 HYPERLINK l _bookmark161 配置異步備庫212 HYPERLINK l _bookmark162 環(huán)境說明212 HYPERLINK l _bookmark163 數(shù)據(jù)準備213 H

22、YPERLINK l _bookmark164 配置主庫GRP1_RT_01213 HYPERLINK l _bookmark166 配置備庫GRP1_RT_02215 HYPERLINK l _bookmark167 配置異步備庫GRP1_LOCAL_01215 HYPERLINK l _bookmark168 配置監(jiān)視器217 HYPERLINK l _bookmark169 啟動守護進程218 HYPERLINK l _bookmark170 啟動監(jiān)視器218 HYPERLINK l _bookmark171 注冊服務219 HYPERLINK l _bookmark172 動態(tài)增加讀寫

23、分離集群節(jié)點219 HYPERLINK l _bookmark173 數(shù)據(jù)準備219 HYPERLINK l _bookmark174 配置新備庫220 HYPERLINK l _bookmark175 動態(tài)添加MAL 配置224 HYPERLINK l _bookmark176 動態(tài)添加歸檔配置224 HYPERLINK l _bookmark177 修改監(jiān)視器dmmonitor.ini224 HYPERLINK l _bookmark178 啟動所有守護進程以及監(jiān)視器225 HYPERLINK l _bookmark179 配置DMDSC 主備環(huán)境225 HYPERLINK l _book

24、mark180 配置說明225 HYPERLINK l _bookmark181 環(huán)境說明225 HYPERLINK l _bookmark182 配置DMDSC 主庫環(huán)境227 HYPERLINK l _bookmark183 配置單節(jié)點備庫228 HYPERLINK l _bookmark184 配置dm.ini229 HYPERLINK l _bookmark185 配置dmmal.ini230 HYPERLINK l _bookmark186 配置dmarch.ini231 HYPERLINK l _bookmark187 配置dmwatcher.ini232 HYPERLINK l

25、_bookmark188 生成dmwatcher.ctl234 HYPERLINK l _bookmark189 拷貝dmwatcher.ctl234 HYPERLINK l _bookmark190 配置dmmonitor.ini234 HYPERLINK l _bookmark191 配置dmdcr.ini234 HYPERLINK l _bookmark192 啟動主備庫236 HYPERLINK l _bookmark193 修改主備庫模式236 HYPERLINK l _bookmark194 設置OGUID236 HYPERLINK l _bookmark195 啟動守護進程236

26、 HYPERLINK l _bookmark196 啟動監(jiān)視器237 HYPERLINK l _bookmark197 利用 DEM 工具搭建數(shù)據(jù)守護238 HYPERLINK l _bookmark198 實時主備管理238 HYPERLINK l _bookmark199 8.1.1 部署239 HYPERLINK l _bookmark200 8.1.2 監(jiān)控247 HYPERLINK l _bookmark201 9 附錄249 HYPERLINK l _bookmark202 系統(tǒng)視圖249 HYPERLINK l _bookmark204 監(jiān)視器接口260 HYPERLINK l

27、_bookmark205 DLL 依賴260 HYPERLINK l _bookmark206 返回值說明260 HYPERLINK l _bookmark207 9.2.3 接口調(diào)整說明（V3.0）261 HYPERLINK l _bookmark208 C 接口說明263 HYPERLINK l _bookmark209 JNI 接口說明343 HYPERLINK l _bookmark210 C 編程示例395 HYPERLINK l _bookmark211 Java 編程示例412 HYPERLINK l _bookmark212 錯誤碼匯編416DM 數(shù)據(jù)守護與讀寫分離集群 V3.

28、0 PAGE 14引言DM 數(shù)據(jù)守護（Data Watch）是一種集成化的高可用、高性能數(shù)據(jù)庫解決方案，是數(shù)據(jù)庫異地容災的首選方案。通過部署 DM 數(shù)據(jù)守護，可以在硬件故障（如磁盤損壞）、自然災害（地震、火災）等極端情況下，避免數(shù)據(jù)損壞、丟失，保障數(shù)據(jù)安全，并且可以快速恢復數(shù)據(jù)庫服務，滿足用戶不間斷提供數(shù)據(jù)庫服務的要求。與常規(guī)的數(shù)據(jù)庫備份（Backup）、還原（Restore）技術相比，數(shù)據(jù)守護可以更快地恢復數(shù)據(jù)庫服務。隨著數(shù)據(jù)規(guī)模不斷增長，通過還原手段恢復數(shù)據(jù)，往往需要數(shù)個小時、甚至更長時間，而數(shù)據(jù)守護基本不受數(shù)據(jù)規(guī)模的影響，只需數(shù)秒時間就可以將備庫切換為主庫對外提供數(shù)據(jù)庫服務。DM數(shù)據(jù)守護

29、提供多種解決方案，可以配置成實時主備、MPP主備、或讀寫分離集群，滿足用戶關于系統(tǒng)可用性、數(shù)據(jù)安全性、性能等方面的綜合需求，有效降低總體投入，獲得超值的投資回報。實時主備由一個主庫以及一個或者多個配置了實時（Realtime）歸檔的備庫組成，其主要目的是保障數(shù)據(jù)庫可用性，提高數(shù)據(jù)安全性。實時主備系統(tǒng)中，主庫提供完整的數(shù)據(jù)庫功能，備庫提供只讀服務。主庫修改數(shù)據(jù)產(chǎn)生的Redo日志，通過實時歸檔機制，在寫入聯(lián)機Redo日志文件之前發(fā)送到備庫，實時備庫通過重演Redo日志與主庫保持數(shù)據(jù)同步。當主庫出現(xiàn)故障時，備庫在將所有Redo日志重演結(jié)束后，就可以切換為主庫對外提供數(shù)據(jù)庫服務。MPP主備就是在MPP

30、集群的基礎上，為每一個MPP節(jié)點配置一套實時主備系統(tǒng)，這些實時主備系統(tǒng)一起構成了MPP主備系統(tǒng)。我們將一個MPP節(jié)點對應的主備系統(tǒng)稱為一個數(shù)據(jù)守護組（Group），MPP主備系統(tǒng)中各個數(shù)據(jù)守護組保持相對獨立，當某個MPP主節(jié)點出現(xiàn)故障時，在其對應的數(shù)據(jù)守護組內(nèi)挑選一個備庫切換為主庫后，就可以確保整個MPP集群的正常使用。讀寫分離集群由一個主庫以及一個或者多個配置了即時（Timely）歸檔的備庫組成， 其主要目標是在保障數(shù)據(jù)庫可用性基礎上，實現(xiàn)讀、寫操作的自動分離，進一步提升數(shù)據(jù)庫的業(yè)務支撐能力。讀寫分離集群通過即時歸檔機制保證主、備庫數(shù)據(jù)一致性，并配合達夢數(shù)據(jù)庫管理系統(tǒng)的各種接口（JDBC、D

31、PI等），將只讀操作自動分流到備庫，有效降低主庫的負載，提升系統(tǒng)吞吐量。概述DM 數(shù)據(jù)守護（Data Watch）的實現(xiàn)原理非常簡單：將主庫（生產(chǎn)庫）產(chǎn)生的 Redo 日志傳輸?shù)絺鋷?，備庫接收并重新應?Redo 日志，從而實現(xiàn)備庫與主庫的數(shù)據(jù)同步。DM 數(shù)據(jù)守護的核心思想是監(jiān)控數(shù)據(jù)庫狀態(tài)，獲取主、備庫數(shù)據(jù)同步情況，為 Redo 日志傳輸與重演過程中出現(xiàn)的各種異常情況提供一系列的解決方案。DM 數(shù)據(jù)守護系統(tǒng)結(jié)構參考圖 2.1。主要由主庫、備庫、Redo 日志、Redo 日志傳輸、Redo 日志重演、守護進程（dmwatcher）、監(jiān)視器（dmmonitor）組成。圖 2.1 數(shù)據(jù)守護系統(tǒng)結(jié)構圖

32、數(shù)據(jù)庫與數(shù)據(jù)庫實例數(shù)據(jù)庫（Database）是一個文件集合（包括數(shù)據(jù)文件、臨時文件、重做日志文件和控制文件），保存在物理磁盤或文件系統(tǒng)中。數(shù)據(jù)庫實例（Instance）就是一組操作系統(tǒng)進程（或者是一個多線程的進程）以及一些內(nèi)存。通過數(shù)據(jù)庫實例，可以操作數(shù)據(jù)庫，一般情況下，我們訪問、修改數(shù)據(jù)庫都是通過數(shù)據(jù)庫實例來完成的。本文檔將不再嚴格區(qū)分數(shù)據(jù)庫和數(shù)據(jù)庫實例的概念，很多地方會籠統(tǒng)的以庫來代替?？紤]到數(shù)據(jù)守護系統(tǒng)中，數(shù)據(jù)庫實例名是唯一的，為了更準確的進行描述，很多情況下我們會以實例 xxx 來標記某一個主庫或者備庫。主庫Primary 模式，提供完整數(shù)據(jù)庫服務的實例，一般來說主庫是用來直接支撐應用

33、系統(tǒng)的生產(chǎn)庫。備庫Standby 模式，提供只讀數(shù)據(jù)庫服務的實例。備庫除了用于容災，還可以提供備份、查詢等只讀功能，并且備庫還支持臨時表的 Insert/Delete/Update 操作。備庫支持臨時表修改主要基于兩個因素：1.臨時表數(shù)據(jù)的修改不會產(chǎn)生 Redo 日志， 主庫對臨時表的修改無法同步到備庫；2.可以提供更大靈活性，適應更多應用場景。根據(jù)數(shù)據(jù)同步情況，備庫又可以分為可切換備庫和不可切換備庫?？汕袚Q備庫是指，主備庫之間數(shù)據(jù)完全同步，主庫發(fā)生故障、備庫切換為主庫后，不會造成任何數(shù)據(jù)丟失的備庫。Redo 日志Redo 日志記錄物理數(shù)據(jù)頁內(nèi)容變動情況，是數(shù)據(jù)庫十分重要的一個功能，在數(shù)據(jù)庫系

34、統(tǒng)故障（比如服務器掉電）重啟時，利用 Redo HYPERLINK /view/1704357.htm 日志可以把數(shù)據(jù)恢復到故障前的狀態(tài)。Redo 日志也是數(shù)據(jù)守護的實現(xiàn)基礎，數(shù)據(jù)庫中 Insert、Delete、Update 等 DML 操作以及 Create TABLE 等 DDL 操作最終都會體現(xiàn)為對某一個或者多個物理數(shù)據(jù)頁的修改，因此備庫通過重做 Redo 日志可以與主庫數(shù)據(jù)保持一致。Redo 日志傳輸主備庫之間的 Redo 日志傳輸，以日志緩沖區(qū) RLOG_BUF 為單位，主庫通過 MAL 系統(tǒng)發(fā)送 Redo 日志到備庫。各種不同數(shù)據(jù)守護類型的區(qū)別，就在于主庫日志緩沖區(qū) RLOG_B

35、UF 的發(fā)送時機，以及備庫收到 Redo 日志后的處理策略。Redo 日志重演Redo 日志重演的過程，就是備庫收到主庫發(fā)送的 Redo 日志后，在物理數(shù)據(jù)頁上，重新修改數(shù)據(jù)的過程。Redo 日志重演由專門的 Redo 日志重演服務完成，重演服務嚴格按照Redo 日志產(chǎn)生的先后順序，解析 Redo 日志、修改相應的物理數(shù)據(jù)頁，并且重演過程中備庫會生成自身的 Redo 日志寫入聯(lián)機日志文件。守護進程守護進程（dmwatcher）是數(shù)據(jù)守護系統(tǒng)的核心工具，監(jiān)控數(shù)據(jù)庫實例的運行狀態(tài)和主備庫數(shù)據(jù)同步情況，在出現(xiàn)故障時啟動各種處理預案。守護進程是各種消息的中轉(zhuǎn)站，接收數(shù)據(jù)庫實例、其他守護進程、以及監(jiān)視器

36、發(fā)送的各種消息；同時，守護進程也會將收到的數(shù)據(jù)庫實例消息轉(zhuǎn)發(fā)給其他守護進程和監(jiān)視器。守護進程必須和被守護的數(shù)據(jù)庫實例部署在同一臺機器上。監(jiān)視器監(jiān)視器（dmmonitor）用來監(jiān)控守護系統(tǒng)內(nèi)守護進程、數(shù)據(jù)庫實例信息，執(zhí)行用戶輸入命令、監(jiān)控實例故障、實現(xiàn)自動切換等。監(jiān)視器一般配置在數(shù)據(jù)庫實例和守護進程以外的機器上。系統(tǒng)特性主要特性DM 數(shù)據(jù)守護的主要特性包括： 完整功能的主庫主庫提供完整的數(shù)據(jù)庫服務，與普通單節(jié)點數(shù)據(jù)庫相比，主要的功能限制包括：不支持修改表空間文件名、不支持修改 arch_ini 參數(shù)?；顒拥膫鋷旎讵毺氐淖值渚彺婕夹g和日志重演技術，備庫在 Open 狀態(tài)下執(zhí)行數(shù)據(jù)同步，是真正意義

37、上的熱備庫；在實現(xiàn)異地容災的同時，用戶可以只讀訪問備庫，執(zhí)行報表生成、數(shù)據(jù)備份等功能，減輕主庫的系統(tǒng)負載，提高資源利用率。多重數(shù)據(jù)保護每個備庫都是一個完整的數(shù)據(jù)庫備份，可以同時配置多個備庫，為數(shù)據(jù)安全提供全方位的保護。高可用性主庫出現(xiàn)故障時，可以快速將備庫切換為主庫，繼續(xù)提供數(shù)據(jù)庫服務，確保數(shù)據(jù)庫服務不中斷。切換過程一般在數(shù)秒鐘之內(nèi)完成。多種守護模式提供自動切換和手動切換兩種守護模式，滿足用戶不同需求。其中，配置自動切換的前提是已經(jīng)部署確認監(jiān)視器。在提供第三方機器部署確認監(jiān)視器情況下，可以配置為故障自動切換模式，主庫出現(xiàn)故障時，系統(tǒng)自動將備庫切換為主庫對外提供數(shù)據(jù)庫服務。多種守護類型守護進程可

38、以配置為全局守護（提供實時主備、MPP 主備、讀寫分離集群功能）或者本地守護，適應各種應用需求。故障自動重連配置、使用連接服務名訪問數(shù)據(jù)庫，在發(fā)生主備庫切換后，接口會自動將連接遷移到新的主庫上。故障庫自動重加入主庫故障，發(fā)生主備庫切換。故障主庫重啟后，可以自動切換為 Standby 模式，作為備庫重新加入數(shù)據(jù)守護系統(tǒng)。歷史數(shù)據(jù)自動同步故障備庫恢復后，可以自動同步歷史數(shù)據(jù)，無需用戶干預，并在同步完成以后，自動恢復為可切換備庫。自動負載均衡配置讀寫分離集群，可以將只讀操作分流到備庫上執(zhí)行，減輕主庫訪問壓力，提高數(shù)據(jù)庫系統(tǒng)的吞吐量。讀寫分離的過程由 JDBC 等接口配合服務器自動完成，無需用戶干預，

39、也不需要修改應用程序。滾動升級可以在不中斷數(shù)據(jù)庫服務的情況下，滾動地對數(shù)據(jù)守護系統(tǒng)中的主備庫進行數(shù)據(jù)庫軟件版本升級。靈活的搭建方式可以在不中斷數(shù)據(jù)庫服務的情況下，將單節(jié)點數(shù)據(jù)庫升級為主備系統(tǒng)。DM 提供多種工具來完成數(shù)據(jù)守護搭建，如 SHELL 腳本或 DEM 工具，均能方便地完成數(shù)據(jù)守護搭建。完備的監(jiān)控工具通過命令行監(jiān)控工具 dmmonitor、DEM 工具可以實時更新、監(jiān)控主備庫的狀態(tài)和數(shù)據(jù)同步情況。完善的監(jiān)控接口提供完善的數(shù)據(jù)守護監(jiān)控接口，可以定制監(jiān)控項，并方便地集成到應用系統(tǒng)中。豐富的守護命令提供主備庫切換、強制接管等功能，通過簡單的命令，就可以實現(xiàn)主備庫角色互換、故障接管等功能。支持

40、 DMDSC 守護支持 DMDSC 和 DMDSC、DMDSC 和單節(jié)點、單節(jié)點和 DMDSC 之間互為主備的數(shù)據(jù)守護環(huán)境。DM 的單節(jié)點和主庫提供讀未提交（Read Uncommitted）、讀提交（ReadCommitted） 和串行化（ Seriablizable） 三種事務隔離級，可重復讀（Repeatable Read）升級為更嚴格的串行化事務隔離級。但是，備庫只支持讀提交（Read Committed）事務隔離級別：不能訪問所有未提交事務的修改可以訪問所有已提交事務的修改主要改進（V2.0 版本）與 DM 數(shù)據(jù)守護 V1.0 版本相比，DM 數(shù)據(jù)守護 V2.0 版本的主要改進包括：

41、檢測并處理組分裂檢測并處理組分裂場景，是 DM 數(shù)據(jù)守護 V2.0 的一個重大改進。在 V1.0 版本中，主備庫之間的數(shù)據(jù)一致性完全由用戶保證，備庫強制接管后，沒有辦法檢查重新恢復的主庫是否可以作為備庫重新加入主備系統(tǒng)。V2.0 版本引入控制文件 dmwatcher.ctl，將備庫接管時的相關信息記錄在守護進程控制文件 dmwatcher.ctl 中，故障主庫恢復后，根據(jù)dmwatcher.ctl 控制文件中信息來判斷是否滿足故障重加入條件。支持 TCP 協(xié)議，取消 UDP 協(xié)議數(shù)據(jù)庫實例與守護進程、守護進程與守護進程、以及守護進程與監(jiān)視器之間的信息傳遞， 都是基于 TCP 協(xié)議完成的。相比于

42、采用 UDP 協(xié)議的 DM 數(shù)據(jù)守護系統(tǒng) V1.0 版本，使用 TCP 協(xié)議的 V2.0 版本，具有以下優(yōu)勢：支持跨網(wǎng)段部署數(shù)據(jù)守護系統(tǒng)，降低部署的硬件要求；支持在一臺物理機器上搭建數(shù)據(jù)守護系統(tǒng)，方便測試環(huán)境搭建；更加簡化、統(tǒng)一的配置文件和配置參數(shù)。實時主備/MPP 主備/讀寫分離集群均支持故障自動切換數(shù)據(jù)守護系統(tǒng)配置為自動切換模式，主庫故障時，備庫可以自動切換為主庫，這個過程叫作故障自動切換。在 V1.0 版本中，只有實時主備支持故障自動切換，在 V2.0 版本中， MPP 主備和讀寫分離集群也支持故障自動切換?？膳渲?、可中斷的備庫恢復流程缺省情況下，備庫故障重啟后，系統(tǒng)會自動進行檢測、并啟

43、動恢復流程（同步歷史數(shù)據(jù)）。某些情況下，用戶可能需要對備庫進行一些系統(tǒng)維護，并不希望備庫啟動后馬上進行數(shù)據(jù)同步。V2.0 版本提供了備庫維護功能，可以通過監(jiān)視器命令將備庫恢復功能暫時屏蔽。當備庫長時間中斷后恢復，主備庫之間數(shù)據(jù)差異很大情況下，同步歷史數(shù)據(jù)可能需要很長一段時間。在這個過程中，如果出現(xiàn)新的故障場景需要處理，或者在監(jiān)視器上執(zhí)行其他命令，則允許中斷當前的恢復流程，待故障處理（用戶命令）執(zhí)行完成后，再次啟動恢復流程。5.完善異步備庫配置異步備庫一般用于歷史數(shù)據(jù)統(tǒng)計、周期報表等對數(shù)據(jù)實時性要求不高的業(yè)務場合。異步歸檔時機一般選擇在源庫相對空閑的時候，以避免影響源庫的性能。V1.0 版本只支

44、持在主庫上配置異步備庫，而 V2.0 版本則可以在主庫或備庫上配置各自的異步備庫，提供了更大的靈活性，可以適應更廣泛的應用場景。任意場景支持強制接管，避免繁瑣的手工 SQL 干預實時主備/MPP 主備/讀寫分離三種類型全部實現(xiàn)了強制接管命令。在 V1.0 版本中，實時守護沒有監(jiān)視器命令，需要手工執(zhí)行一系列 SQL 語句完成強制接管，比較繁瑣；讀寫分離集群和 MPP 主備提供了強制接管命令，但使用場景受限，比如待接管備庫處于 MOUNT 狀態(tài)的情況下，無法通過強制接管命令將備庫切換為主庫。并且強制接管后，用戶無法判斷主備庫數(shù)據(jù)是否一致，存在較大的數(shù)據(jù)安全隱患。在 V2.0 版本中，實時主備/MP

45、P 主備/讀寫分離集群都支持強制接管命令，并且根據(jù)守護進程控制文件信息，可以判斷強制接管后，是否產(chǎn)生組分裂，主備庫數(shù)據(jù)是否可以恢復到一致狀態(tài)。配置參數(shù)調(diào)整，風格統(tǒng)一、步驟簡化。提供多種搭建數(shù)據(jù)守護的自動化工具在 V1.0 版本中，實時主備、MPP 主備和讀寫分離集群，各自有一套配置參數(shù)。在 V2.0 版本中，將三類守護系統(tǒng)統(tǒng)一為一套配置參數(shù)，并且簡化掉一部分配置，大大提高了數(shù)據(jù)守護系統(tǒng)的搭建效率。在 V2.0 版本中，除了支持手動搭建數(shù)據(jù)守護系統(tǒng)， DM 還提供多種自動化工具來完成數(shù)據(jù)守護搭建過程，如 SHELL 腳本、DEM 工具均能簡便靈活地完成數(shù)據(jù)守護系統(tǒng)的搭建。主要改進（V2.1 版本

46、）DM 數(shù)據(jù)守護 V2.1 版本在 V2.0 的基礎上，主要改進包括：統(tǒng)一 MARCH 和 REALTIME 歸檔實現(xiàn)邏輯取消 MARCH 歸檔類型，保留 REALTIME 實時歸檔類型，MPP 主備和實時主備統(tǒng)一配置REALTIME 歸檔。實時主備功能擴展擴展實時主備的備庫數(shù)量，允許最多配置 8 個實時備庫（V2.0 只支持配置一個實時備庫）；實時主備增加 HUGE 表數(shù)據(jù)同步支持。優(yōu)化 Redo 日志重演性能采用全新的預解析、預加載技術，大幅優(yōu)化備庫 Redo 日志重演性能，解決了高并發(fā)、高壓力情況下，備庫 Redo 日志堆積問題。提高了極端情況下集群的整體性能，縮短了極端情況下的故障切換

47、時間。讀寫分離集群在事務一致性模式下，主庫需要等待備庫 Redo 日志重演完成再響應用戶，優(yōu)化以后有效降低了主庫延遲，提升了讀寫分離集群系統(tǒng)的吞吐量。對備庫進行實時的異常監(jiān)控和異?；謴椭鲙焓刈o進程可以實時監(jiān)控主備之間的數(shù)據(jù)同步和備庫的日志重演情況，一旦出現(xiàn)網(wǎng)絡異?；騻鋷熳陨碥浻布惓＃ū热鐐鋷齑疟P讀寫速度異常降低）等原因造成備庫無法及時響應主庫的情況時，主庫守護進程可通知主庫將此備庫歸檔失效，暫停到此備庫的數(shù)據(jù)同步， 避免拖慢主庫性能。主庫會根據(jù)配置的恢復間隔定時向異常備庫同步數(shù)據(jù)，如果檢測到歸檔發(fā)送速度和備庫的重演速度恢復正常，則將其歸檔重新恢復有效，恢復正常的數(shù)據(jù)同步。簡化、統(tǒng)一守護進程配

48、置參數(shù)取消 dmwatcher.ini 中的 MARCH/REALTIME/TIMELY 類型配置，數(shù)據(jù)守護類型由服務器的類型（比如：是否 MPP 集群）、以及其配置的歸檔類型來決定。守護進程可以配置為 GLOBAL、LOCAL 兩種類型，表示是否需要進行全局信息同步、以及是否參與集群管理。兼容性說明（V2.1 版本）升級到 V2.1 版本后，數(shù)據(jù)守護可以繼續(xù)使用 V2.0 的配置文件，不需要任何修改。守護進程 dmwatcher 可以讀寫、并正確解析 V2.0 版本的 dmwatcher.ini 配置文件。但V2.0 版本無法解析 V2.1 版本的配置文件。數(shù)據(jù)庫服務器 dmserver 可

49、以正確解析以前版本的歸檔配置，自動將 MARCH 歸檔轉(zhuǎn)換成 REALTIME 歸檔進行處理。但是，V2.1 版本與 V2.0 版本的 MPP 主備配置存在一定差異，從 V2.0 升級到 V2.1版本后，需要修改備庫的 dm.ini 配置文件，將 MPP_INI 配置項設置為 1，并從主庫拷貝MPP 控制文件 dmmpp.ctl 保存到 ctl_path 目錄。否則，數(shù)據(jù)守護升級到 V2.1 版本后， MPP 主備系統(tǒng)將無法正常運行。主要改進（V3.0 版本）DM 數(shù)據(jù)守護 V3.0 版本在 V2.1 的基礎上，主要改進包括：支持數(shù)據(jù)共享集群的守護系統(tǒng)支持數(shù)據(jù)共享集群（DMDSC）的守護系統(tǒng)，

50、DMDSC（主）和 DMDSC（備）、DMDSC（主） 和單節(jié)點（備）、單節(jié)點（主）和 DMDSC（備）之間都可以組成互為主備的數(shù)據(jù)守護系統(tǒng)。DMDSC 集群守護增加 REMOTE 遠程歸檔用于 DMDSC 庫的恢復以及主備庫的異步恢復，發(fā)送日志時能夠直接在本地訪問到其他節(jié)點的歸檔日志。完善日志校驗方式主備庫日志連續(xù)性校驗方式，單節(jié)點日志的 LSN 值是連續(xù)遞增的，日志 LSN 值都是唯一的（PWR 日志除外），如果把 DMDSC 集群作為一個整體看待，日志的 LSN 值也是連續(xù)遞增的，但各個節(jié)點日志的 LSN 可能存在重復，每個節(jié)點的日志 LSN 是遞增的但不一定是連續(xù)的。因此，DMDSC

51、主備庫之間的日志校驗更加復雜，新版本結(jié)合物理日志進行校驗。引入適用于 DMDSC 主庫的重演 APPLY_LSN 機制如果主庫是 DMDSC 集群，則需要發(fā)送所有節(jié)點的日志到備庫的重演節(jié)點進行重演（如果備庫是 DMDSC 集群，則重演節(jié)點是指備庫的主節(jié)點），在主備庫需要同步歷史數(shù)據(jù)時（比如備庫故障重啟），主庫需要知道自己的每個節(jié)點在備庫上的重演情況，以決定每個節(jié)點分別從哪里開始同步數(shù)據(jù)。備庫記錄 DMDSC 主庫各個節(jié)點日志重做情況的 LSN，稱為APPLY_LSN。主庫是單節(jié)點時，備庫的 APPLY_LSN 等同于 CUR_LSN。守護進程以庫為單位管理 DMDSC 集群守護進程以庫為單位進

52、行管理，對 DMDSC 集群是指包含有多個節(jié)點的庫，對單節(jié)點則是只有一個節(jié)點的庫，并新增若干狀態(tài)進行 DMDSC 集群的管理。守護進程可以處理 DMDSC 主庫或備庫的重加入控制文件 dmwatcher.ctl 改造，結(jié)合備庫的重演 LSN 概念，將之前的 SLSN 字段變成重演 APPLY_LSN 數(shù)組，同時調(diào)整判斷主備庫是否可加入的邏輯。監(jiān)視器支持對 DMDSC 集群的監(jiān)控和管理監(jiān)視器調(diào)整及擴展一批命令及接口，以適應 DMDSC 集群的監(jiān)控及管理。兼容性說明（V3.0 版本）從 V2.0 或者 V2.1 升級到 V3.0 版本后，如果守護系統(tǒng)中不擴展新增 DMDSC 庫，仍然是只包含單節(jié)點

53、的數(shù)據(jù)守護環(huán)境， 則可以繼續(xù)使用原來的配置文件，不需要任何修改。守護進程可以正確讀寫 dmwatcher.ctl 文件及其配置文件，數(shù)據(jù)庫服務器和監(jiān)視器也都可以正確讀取版本升級前的配置文件，但是 V2.0 或 V2.1 無法正確解析 V3.0 的配置文件。升級成 V3.0 版本后，為保持格式兼容，守護進程仍然是按照老的版本格式讀寫 dmwatcher.ctl 文件的，如果在升級后的守護系統(tǒng)中要擴展新增 DMDSC 庫，則要按照 V3.0 版本的配置要求重新修改相關的 ini 配置文件，并且要重新生成新版本的dmwatcher.ctl 文件。另外如果是從 V2.0 直接升級到 V3.0，在 MP

54、P 主備的配置上存在一定差異，從 V2.0 升級到 V3.0 版本后，需要修改備庫的 dm.ini 配置文件，將 MPP_INI 配置項設置為 1， 并從主庫拷貝 MPP 控制文件 dmmpp.ctl 保存到 ctl_path 目錄。否則，數(shù)據(jù)守護升級到V3.0 版本后，MPP 主備系統(tǒng)將無法正常運行?；靖拍钤诮榻B數(shù)據(jù)守護主要功能之前，我們先熟悉幾個基本概念，只有充分理解這些概念，才能更加深入地理解數(shù)據(jù)守護。數(shù)據(jù)庫數(shù)據(jù)守護以庫為單位進行管理，一個 DMDSC 集群的所有實例作為一個整體庫來考慮。DMDSC 集群的庫信息，例如庫的狀態(tài)、模式等需要綜合考慮集群內(nèi)所有實例，同時需要結(jié)合 DMDSC

55、 本身的狀態(tài)。DMDSC 狀態(tài)DMDSC 狀態(tài)標識 DMDSC 集群節(jié)點狀態(tài)，和數(shù)據(jù)庫的狀態(tài)不同。包括以下幾種：Startup節(jié)點啟動狀態(tài)，需要通過 DMCSS 工具交互，確定主從節(jié)點，執(zhí)行日志重做等相關步驟，進入到 OPEN 狀態(tài)。Open實例正常工作狀態(tài)，當集群內(nèi)發(fā)生節(jié)點故障或啟動節(jié)點重加入步驟時，可以進入 crash_recv 或者 err_ep_add 狀態(tài)，處理完成后會再回到 Open 狀態(tài)。Crash_recv節(jié)點故障處理狀態(tài)。Err_ep_add故障節(jié)點重加入狀態(tài)。數(shù)據(jù)庫模式DM 支持 3 種數(shù)據(jù)庫模式：Normal 模式、Primary 模式和 Standby 模式。Norma

56、l 模式提供正常的數(shù)據(jù)庫服務，操作沒有限制。正常生成本地歸檔，但不發(fā)送實時歸檔（Realtime）、即時歸檔（Timely）和異步歸檔（Async）。Primary 模式提供正常的數(shù)據(jù)庫服務，操作有極少限制。該模式下部分功能受限，包括：不支持修改表空間文件名、不支持修改 arch_ini 參數(shù)。正常生成本地歸檔，支持實時歸檔（Realtime）、即時歸檔（Timely）和異步歸檔（Async）。Primary 模式下，對臨時表空間以外的所有的數(shù)據(jù)庫對象的修改操作都強制生成 Redo 日志。Standby 模式可以執(zhí)行數(shù)據(jù)庫備份、查詢等只讀數(shù)據(jù)庫操作。正常生成本地歸檔，正常發(fā)送異步歸檔Redo

57、日志；但實時歸檔（Realtime）、即時歸檔（Timely）均強制失效。該模式下時間觸發(fā)器、事件觸發(fā)器等都失效?？梢酝ㄟ^ SQL 語句切換數(shù)據(jù)庫模式，模式切換必須在 Mount 狀態(tài)下執(zhí)行。切換模式SQL 語句如下：alter database primary;將數(shù)據(jù)庫切換為 Primary 模式：將數(shù)據(jù)庫切換為 Standby 模式：alter database standby;alter database normal;將數(shù)據(jù)庫切換為 Normal 模式：修改 DMDSC 庫的模式必須在 DMDSC 庫所有實例都處于 MOUNT 狀態(tài)下才能進行，只需要在一個節(jié)點上執(zhí)行以上語句即可。數(shù)據(jù)庫

58、狀態(tài)DM 的數(shù)據(jù)庫狀態(tài)包括：Startup 狀態(tài)系統(tǒng)剛啟動時設置為 Startup 狀態(tài)。After Redo 狀態(tài)系統(tǒng)啟動過程中聯(lián)機日志重做完成后，回滾活動事務前設置為 After Redo 狀態(tài)。非Standby 模式的實例在執(zhí)行 alter database open 操作前，也會將系統(tǒng)設置為 After Redo 狀態(tài)。Open 狀態(tài)數(shù)據(jù)庫處于正常提供服務的狀態(tài)，但不能進行歸檔配置等操作。Mount 狀態(tài)數(shù)據(jù)庫在 Mount 狀態(tài)下，限制 Redo 日志刷盤，不能修改數(shù)據(jù)，不能訪問表、視圖等數(shù)據(jù)庫對象，但可以執(zhí)行修改歸檔配置、控制文件和修改數(shù)據(jù)庫模式等操作，也可以執(zhí)行一些不修改數(shù)據(jù)庫內(nèi)

59、容的操作，比如查詢動態(tài)視圖或者一些只讀的系統(tǒng)過程。系統(tǒng)從 Open 狀態(tài)切換為 Mount 狀態(tài)時，需要回滾所有活動事務，但不會斷開用戶連接，也不會強制 Buffer 中的臟頁刷盤。Suspend 狀態(tài)數(shù)據(jù)庫在 Suspend 狀態(tài)下，限制 Redo 日志刷盤，可以訪問數(shù)據(jù)庫對象，甚至可以修改數(shù)據(jù)，但是一旦執(zhí)行 COMMIT 等操作觸發(fā) Redo 日志寫盤時，當前操作將被掛起。相比 Open 到 Mount 的狀態(tài)切換，Open 到 Suspend 的狀態(tài)切換更加簡單、高效，不會回滾任何活動事務，在狀態(tài)切換完成后，所有事務可以繼續(xù)執(zhí)行。一般在修改歸檔狀態(tài)之前將系統(tǒng)切換為 Suspend 狀態(tài)，

60、比如備庫故障恢復后，在歷史數(shù)據(jù)（歸檔日志）同步完成后，需要重新啟用實時歸檔功能時：將系統(tǒng)切換為 Suspend 狀態(tài)，限制 Redo 日志寫入聯(lián)機 Redo 日志文件。修改歸檔狀態(tài)為 Valid。DM 數(shù)據(jù)守護與讀寫分離集群 V3.0重新將數(shù)據(jù)庫切換為 Open 狀態(tài)，恢復 Redo 日志寫入功能。備庫與主庫重新進入實時同步狀態(tài)。另外，實時歸檔失敗時（比如網(wǎng)絡故障導致），Primary 實例將試圖切換成 Suspend狀態(tài)，防止后續(xù)的日志寫入。因為一旦寫入，主備切換時，有可能備庫沒有收到最后那次的RLOG_BUF，導致主庫上多一段日志，很容易造成主備數(shù)據(jù)不一致。當實例成功切換為SUSPEND