第四章高可用性管理6.1高可用性概述6.2高可用性技術(shù)6.3業(yè)務(wù)連續(xù)性管理習題第四章高可用性管理6.1高可用性概述6.2高可用性技術(shù)6.1高可用性概述第六章高可用性管理衡量系統(tǒng)運行穩(wěn)定性的關(guān)鍵指標是系統(tǒng)的可用性，可用性（availability）指的是系統(tǒng)的無故障運行時間的百分比，計算公式為：無故障運行時間/計劃對外服務(wù)時間*100%。為了保證系統(tǒng)有較高的可用性，會采取一些高可用（HighAvailability，簡稱HA）技術(shù)來減少故障中斷時間。高可用技術(shù)的核心思想是冗余，即關(guān)鍵部件要不止一個，在原部件故障或者維修的的時候，備用的零部件要能頂替原有部件的作用。當發(fā)生大規(guī)模故障時，如機房整體電力故障，對外網(wǎng)絡(luò)被物理切斷，在一定區(qū)域內(nèi)的部件冗余也失效，此時就需要考慮容災(zāi)相關(guān)的方案。通過在其他物理區(qū)域的數(shù)據(jù)中心建立備份系統(tǒng)，6.1高可用性概述第六章高可用性管理衡量系統(tǒng)運行穩(wěn)定性的第四章性能管理6.1高可用性概述6.2高可用性技術(shù)6.3業(yè)務(wù)連續(xù)性管理習題大數(shù)據(jù)應(yīng)用人才培養(yǎng)系列教材第四章性能管理6.1高可用性概述6.2高可用性技術(shù)6.6.2高可用性技術(shù)第六章高可用性管理系統(tǒng)架構(gòu)機房環(huán)境機房環(huán)境的高可用主要考慮的是電力和機柜分配的方面。網(wǎng)絡(luò)、主機、存儲網(wǎng)絡(luò)是數(shù)據(jù)中心的核心，主機是高可用方案的主要部分，主機層面的高可用技術(shù)分為主從模式、雙機模式和集群模式。數(shù)據(jù)庫在數(shù)據(jù)庫領(lǐng)域，有一些經(jīng)典的高可用技術(shù)，不同產(chǎn)品的原理和實現(xiàn)上都略有區(qū)別。應(yīng)用在實現(xiàn)某個特定功能點時，應(yīng)用程序可以通過多個實例完成該功能的服務(wù)。6.2高可用性技術(shù)第六章高可用性管理系統(tǒng)架構(gòu)機房環(huán)境機房6.2高可用性技術(shù)第六章高可用性管理容災(zāi)一般情況下，談到高可用技術(shù)時，討論的范圍都是在數(shù)據(jù)中心內(nèi)部的各種保障技術(shù)，但當數(shù)據(jù)中心整體發(fā)生故障，或者稱之為災(zāi)難時，就需要依靠容災(zāi)技術(shù)，在6.3的業(yè)務(wù)連續(xù)性管理中，會有詳細闡述。6.2高可用性技術(shù)第六章高可用性管理容災(zāi)一般情況下，談到6.2高可用性技術(shù)第六章高可用性管理監(jiān)控指標項應(yīng)用自身狀態(tài)：服務(wù)進程狀況、服務(wù)狀態(tài)、業(yè)務(wù)開關(guān)或可使用標志狀態(tài)。數(shù)據(jù)服務(wù)：數(shù)據(jù)及時、數(shù)據(jù)關(guān)鍵路徑、數(shù)據(jù)完整性和正確性關(guān)鍵表記錄變化情況、關(guān)鍵業(yè)務(wù)數(shù)據(jù)、關(guān)鍵數(shù)據(jù)按預(yù)期清空。性能容量：用戶數(shù)量（終端/API)，內(nèi)存加載量、消息并發(fā)量、事務(wù)響應(yīng)時間。批量作業(yè)：批量處理情況、批量開始時間、批量結(jié)束時間、批量加載時間、批處理狀態(tài)。應(yīng)用占用系統(tǒng)資源：文件句柄數(shù)、應(yīng)用分區(qū)空間、應(yīng)用文件增長情況、網(wǎng)絡(luò)連接、單個用戶或請求進程占用的系統(tǒng)資源。應(yīng)用中間件（Weblogic、Tomcat）：WeblogicServer、線程池、JVM、數(shù)據(jù)源、連接池、APP狀態(tài)。MQ：隊列管理器、通道、隊列、事件、（Event）。WEB服務(wù)器（例如Apache）：Apache吞吐率、Apache并發(fā)連接數(shù)、httpd進程數(shù)、httpd線程數(shù)目、提供網(wǎng)站服務(wù)的字節(jié)數(shù)、處理連接的耗時時間。6.2高可用性技術(shù)第六章高可用性管理監(jiān)控指標項應(yīng)用自身狀6.2高可用性技術(shù)第六章高可用性管理故障轉(zhuǎn)移主機/存儲/網(wǎng)絡(luò)/數(shù)據(jù)庫一般都是心跳包機制來進行健康狀態(tài)的監(jiān)控。由管理模塊向各個模塊之間按照一定時間間隔發(fā)送心跳包，或者兩個模塊之間互相發(fā)送心跳包，如果超過設(shè)定時間周期，某個模塊沒有響應(yīng)，則判斷該模塊出現(xiàn)故障，備份模塊接管該模塊的服務(wù)，這個過程被稱為故障轉(zhuǎn)移（Failover）。在主備機的高可用系統(tǒng)中，在特殊情況下會發(fā)生腦裂（split-brain）的故障。發(fā)生這種故障的原因是心跳線或者網(wǎng)絡(luò)出現(xiàn)問題，造成主備機互相探測不到對方的心跳，都以為對方發(fā)生了故障，于是便主動獲取存儲或者服務(wù)IP等資源，雙方都啟動服務(wù)，造成服務(wù)異常。為了解決腦裂問題，一般會在主備機之外，引入一個第三方模塊，作為仲裁者，由它來判斷到底是誰應(yīng)該接管資源，對外提供服務(wù)。6.2高可用性技術(shù)第六章高可用性管理故障轉(zhuǎn)移主機/存儲/第四章性能管理6.1高可用性概述6.2高可用性技術(shù)6.3業(yè)務(wù)連續(xù)性管理習題大數(shù)據(jù)應(yīng)用人才培養(yǎng)系列教材第四章性能管理6.1高可用性概述6.2高可用性技術(shù)6.6.3業(yè)務(wù)連續(xù)性管理第六章高可用性管理災(zāi)備系統(tǒng)等級類別主要要求第一級每周一次的數(shù)據(jù)備份，場外存放備份介質(zhì)。第二級每周一次的數(shù)據(jù)備份，有備用的基礎(chǔ)設(shè)施場地。第三級每天一次的數(shù)據(jù)備份，利用通信網(wǎng)絡(luò)將關(guān)鍵數(shù)據(jù)定時批量傳送至備用場地。第四級每天一次的數(shù)據(jù)備份，利用通信網(wǎng)絡(luò)將關(guān)鍵數(shù)據(jù)定時批量傳送至備用場地，配備災(zāi)難恢復所需的全部數(shù)據(jù)處理設(shè)備，并處于就緒狀態(tài)或運行狀態(tài)。第五級采用遠程數(shù)據(jù)復制技術(shù)，并利用通信網(wǎng)絡(luò)將關(guān)鍵數(shù)據(jù)實時復制到備用場地，配備災(zāi)難恢復所需的全部數(shù)據(jù)處理設(shè)備，并處于就緒狀態(tài)或運行狀態(tài)。第六集遠程實時備份，實現(xiàn)數(shù)據(jù)零丟失，具備遠程集群系統(tǒng)的實時監(jiān)控和自動切換能力。6.3業(yè)務(wù)連續(xù)性管理第六章高可用性管理災(zāi)備系統(tǒng)等級類別主6.3業(yè)務(wù)連續(xù)性管理第六章高可用性管理災(zāi)備恢復能力要求要素要求數(shù)據(jù)備份系統(tǒng)①完全數(shù)據(jù)備份至少每天一次；②備份介質(zhì)場外存放；③遠程實時備份，實現(xiàn)數(shù)據(jù)零丟失。備用數(shù)據(jù)處理系統(tǒng)①備用數(shù)據(jù)處理系統(tǒng)具備與生產(chǎn)數(shù)據(jù)處理系統(tǒng)一致的處理能力并完全兼容；②、應(yīng)用軟件是“集群的”，可實時無縫切換；③具備遠程集群系統(tǒng)的實時監(jiān)控和自動切換能力。備用網(wǎng)絡(luò)系統(tǒng)①配備與主系統(tǒng)相同等級的通信線路和網(wǎng)絡(luò)設(shè)備；②備用網(wǎng)絡(luò)處于運行狀態(tài)；③最終用戶可通過網(wǎng)絡(luò)同時接入主、備中心。備用基礎(chǔ)設(shè)施①有符合介質(zhì)存放條件的場地；②有符合備用數(shù)據(jù)處理系統(tǒng)和備用網(wǎng)絡(luò)設(shè)備運行要求的場地；③有滿足關(guān)鍵業(yè)務(wù)功能恢復運作要求的場地；④以上場地應(yīng)保持7x24小時運作。專業(yè)技術(shù)支持能力在災(zāi)難備份中心7x24小時有專職的：①計算機機房管理人員；②專職數(shù)據(jù)備份技術(shù)支持人員；③專職硬件、網(wǎng)絡(luò)技術(shù)支持人員；④專職操作系統(tǒng)、數(shù)據(jù)庫和應(yīng)用軟件技術(shù)支持人員。運行維護管理能力①有介質(zhì)存取、驗證和轉(zhuǎn)儲管理制度；②按介質(zhì)特性對備份數(shù)據(jù)進行定期的有效性驗證；③有備用計算機機房運行管理制度；④有硬件和網(wǎng)絡(luò)運行管理制度；⑤有實時數(shù)據(jù)備份系統(tǒng)運行管理制度；⑥有操作系統(tǒng)、數(shù)據(jù)庫和應(yīng)用軟件運行管理制度。災(zāi)難恢復預(yù)案有相應(yīng)的經(jīng)過完整測試和演練的災(zāi)難恢復預(yù)案。6.3業(yè)務(wù)連續(xù)性管理第六章高可用性管理災(zāi)備恢復能力要求要6.3業(yè)務(wù)連續(xù)性管理第六章高可用性管理數(shù)據(jù)復制基于數(shù)據(jù)庫的復制基于應(yīng)用的復制基于存儲的數(shù)據(jù)復制6.3業(yè)務(wù)連續(xù)性管理第六章高可用性管理數(shù)據(jù)復制基于數(shù)據(jù)庫6.3業(yè)務(wù)連續(xù)性管理第六章高可用性管理災(zāi)備切換災(zāi)備切換是一系列操作的組合，不是單一的技術(shù)動作，服務(wù)的啟動順序也有嚴格的要求。比如數(shù)據(jù)庫必須先啟動，之后才能啟動應(yīng)用程序；應(yīng)用服務(wù)器接管完成，才能進行網(wǎng)絡(luò)的切換。如果應(yīng)用程序先于數(shù)據(jù)庫啟動，會出現(xiàn)報錯。最好通過操作手冊和切換腳本對切換的步驟進行固化，并安排一定頻率的災(zāi)備演練。6.3業(yè)務(wù)連續(xù)性管理第六章高可用性管理災(zāi)備切換災(zāi)備切換是6.3業(yè)務(wù)連續(xù)性管理第六章高可用性管理應(yīng)急預(yù)案需要對系統(tǒng)可能出現(xiàn)的故障做出預(yù)案，以便發(fā)生故障時能夠快速處理以恢復服務(wù)。應(yīng)急預(yù)案中需要明確適用的故障場景，啟動預(yù)案的觸發(fā)條件，相關(guān)人員的職責，以及應(yīng)急的操作步驟。其中，應(yīng)急的操作步驟包括可能的技術(shù)操作步驟如重啟進程，業(yè)務(wù)操作步驟如發(fā)出通知。6.3業(yè)務(wù)連續(xù)性管理第六章高可用性管理應(yīng)急預(yù)案需要對系統(tǒng)6.3業(yè)務(wù)連續(xù)性管理第六章高可用性管理日常演練01沙盤推演0203模擬演練真實切換6.3業(yè)務(wù)連續(xù)性管理第六章高可用性管理日常演練01沙盤推第四章性能管理6.1高可用性概述6.2高可用性技術(shù)6.3業(yè)務(wù)連續(xù)性管理習題大數(shù)據(jù)應(yīng)用人才培養(yǎng)系列教材第四章性能管理6.1高可用性概述6.2高可用性技術(shù)6.1.一個系統(tǒng)24*365小時對外服務(wù)，2017年度中斷服務(wù)20小時，該系統(tǒng)的可用性為多少？2.簡述腦裂現(xiàn)象是如何產(chǎn)生的，怎么避免？3.請列出三種數(shù)據(jù)復制技術(shù)。4.請列出三種常見的監(jiān)控指標項。習題：1.一個系統(tǒng)24*365小時對外服務(wù)，2017年度中斷服務(wù)2感謝聆聽感謝聆聽第四章高可用性管理6.1高可用性概述6.2高可用性技術(shù)6.3業(yè)務(wù)連續(xù)性管理習題第四章高可用性管理6.1高可用性概述6.2高可用性技術(shù)6.1高可用性概述第六章高可用性管理衡量系統(tǒng)運行穩(wěn)定性的關(guān)鍵指標是系統(tǒng)的可用性，可用性（availability）指的是系統(tǒng)的無故障運行時間的百分比，計算公式為：無故障運行時間/計劃對外服務(wù)時間*100%。為了保證系統(tǒng)有較高的可用性，會采取一些高可用（HighAvailability，簡稱HA）技術(shù)來減少故障中斷時間。高可用技術(shù)的核心思想是冗余，即關(guān)鍵部件要不止一個，在原部件故障或者維修的的時候，備用的零部件要能頂替原有部件的作用。當發(fā)生大規(guī)模故障時，如機房整體電力故障，對外網(wǎng)絡(luò)被物理切斷，在一定區(qū)域內(nèi)的部件冗余也失效，此時就需要考慮容災(zāi)相關(guān)的方案。通過在其他物理區(qū)域的數(shù)據(jù)中心建立備份系統(tǒng)，6.1高可用性概述第六章高可用性管理衡量系統(tǒng)運行穩(wěn)定性的第四章性能管理6.1高可用性概述6.2高可用性技術(shù)6.3業(yè)務(wù)連續(xù)性管理習題大數(shù)據(jù)應(yīng)用人才培養(yǎng)系列教材第四章性能管理6.1高可用性概述6.2高可用性技術(shù)6.6.2高可用性技術(shù)第六章高可用性管理系統(tǒng)架構(gòu)機房環(huán)境機房環(huán)境的高可用主要考慮的是電力和機柜分配的方面。網(wǎng)絡(luò)、主機、存儲網(wǎng)絡(luò)是數(shù)據(jù)中心的核心，主機是高可用方案的主要部分，主機層面的高可用技術(shù)分為主從模式、雙機模式和集群模式。數(shù)據(jù)庫在數(shù)據(jù)庫領(lǐng)域，有一些經(jīng)典的高可用技術(shù)，不同產(chǎn)品的原理和實現(xiàn)上都略有區(qū)別。應(yīng)用在實現(xiàn)某個特定功能點時，應(yīng)用程序可以通過多個實例完成該功能的服務(wù)。6.2高可用性技術(shù)第六章高可用性管理系統(tǒng)架構(gòu)機房環(huán)境機房6.2高可用性技術(shù)第六章高可用性管理容災(zāi)一般情況下，談到高可用技術(shù)時，討論的范圍都是在數(shù)據(jù)中心內(nèi)部的各種保障技術(shù)，但當數(shù)據(jù)中心整體發(fā)生故障，或者稱之為災(zāi)難時，就需要依靠容災(zāi)技術(shù)，在6.3的業(yè)務(wù)連續(xù)性管理中，會有詳細闡述。6.2高可用性技術(shù)第六章高可用性管理容災(zāi)一般情況下，談到6.2高可用性技術(shù)第六章高可用性管理監(jiān)控指標項應(yīng)用自身狀態(tài)：服務(wù)進程狀況、服務(wù)狀態(tài)、業(yè)務(wù)開關(guān)或可使用標志狀態(tài)。數(shù)據(jù)服務(wù)：數(shù)據(jù)及時、數(shù)據(jù)關(guān)鍵路徑、數(shù)據(jù)完整性和正確性關(guān)鍵表記錄變化情況、關(guān)鍵業(yè)務(wù)數(shù)據(jù)、關(guān)鍵數(shù)據(jù)按預(yù)期清空。性能容量：用戶數(shù)量（終端/API)，內(nèi)存加載量、消息并發(fā)量、事務(wù)響應(yīng)時間。批量作業(yè)：批量處理情況、批量開始時間、批量結(jié)束時間、批量加載時間、批處理狀態(tài)。應(yīng)用占用系統(tǒng)資源：文件句柄數(shù)、應(yīng)用分區(qū)空間、應(yīng)用文件增長情況、網(wǎng)絡(luò)連接、單個用戶或請求進程占用的系統(tǒng)資源。應(yīng)用中間件（Weblogic、Tomcat）：WeblogicServer、線程池、JVM、數(shù)據(jù)源、連接池、APP狀態(tài)。MQ：隊列管理器、通道、隊列、事件、（Event）。WEB服務(wù)器（例如Apache）：Apache吞吐率、Apache并發(fā)連接數(shù)、httpd進程數(shù)、httpd線程數(shù)目、提供網(wǎng)站服務(wù)的字節(jié)數(shù)、處理連接的耗時時間。6.2高可用性技術(shù)第六章高可用性管理監(jiān)控指標項應(yīng)用自身狀6.2高可用性技術(shù)第六章高可用性管理故障轉(zhuǎn)移主機/存儲/網(wǎng)絡(luò)/數(shù)據(jù)庫一般都是心跳包機制來進行健康狀態(tài)的監(jiān)控。由管理模塊向各個模塊之間按照一定時間間隔發(fā)送心跳包，或者兩個模塊之間互相發(fā)送心跳包，如果超過設(shè)定時間周期，某個模塊沒有響應(yīng)，則判斷該模塊出現(xiàn)故障，備份模塊接管該模塊的服務(wù)，這個過程被稱為故障轉(zhuǎn)移（Failover）。在主備機的高可用系統(tǒng)中，在特殊情況下會發(fā)生腦裂（split-brain）的故障。發(fā)生這種故障的原因是心跳線或者網(wǎng)絡(luò)出現(xiàn)問題，造成主備機互相探測不到對方的心跳，都以為對方發(fā)生了故障，于是便主動獲取存儲或者服務(wù)IP等資源，雙方都啟動服務(wù)，造成服務(wù)異常。為了解決腦裂問題，一般會在主備機之外，引入一個第三方模塊，作為仲裁者，由它來判斷到底是誰應(yīng)該接管資源，對外提供服務(wù)。6.2高可用性技術(shù)第六章高可用性管理故障轉(zhuǎn)移主機/存儲/第四章性能管理6.1高可用性概述6.2高可用性技術(shù)6.3業(yè)務(wù)連續(xù)性管理習題大數(shù)據(jù)應(yīng)用人才培養(yǎng)系列教材第四章性能管理6.1高可用性概述6.2高可用性技術(shù)6.6.3業(yè)務(wù)連續(xù)性管理第六章高可用性管理災(zāi)備系統(tǒng)等級類別主要要求第一級每周一次的數(shù)據(jù)備份，場外存放備份介質(zhì)。第二級每周一次的數(shù)據(jù)備份，有備用的基礎(chǔ)設(shè)施場地。第三級每天一次的數(shù)據(jù)備份，利用通信網(wǎng)絡(luò)將關(guān)鍵數(shù)據(jù)定時批量傳送至備用場地。第四級每天一次的數(shù)據(jù)備份，利用通信網(wǎng)絡(luò)將關(guān)鍵數(shù)據(jù)定時批量傳送至備用場地，配備災(zāi)難恢復所需的全部數(shù)據(jù)處理設(shè)備，并處于就緒狀態(tài)或運行狀態(tài)。第五級采用遠程數(shù)據(jù)復制技術(shù)，并利用通信網(wǎng)絡(luò)將關(guān)鍵數(shù)據(jù)實時復制到備用場地，配備災(zāi)難恢復所需的全部數(shù)據(jù)處理設(shè)備，并處于就緒狀態(tài)或運行狀態(tài)。第六集遠程實時備份，實現(xiàn)數(shù)據(jù)零丟失，具備遠程集群系統(tǒng)的實時監(jiān)控和自動切換能力。6.3業(yè)務(wù)連續(xù)性管理第六章高可用性管理災(zāi)備系統(tǒng)等級類別主6.3業(yè)務(wù)連續(xù)性管理第六章高可用性管理災(zāi)備恢復能力要求要素要求數(shù)據(jù)備份系統(tǒng)①完全數(shù)據(jù)備份至少每天一次；②備份介質(zhì)場外存放；③遠程實時備份，實現(xiàn)數(shù)據(jù)零丟失。備用數(shù)據(jù)處理系統(tǒng)①備用數(shù)據(jù)處理系統(tǒng)具備與生產(chǎn)數(shù)據(jù)處理系統(tǒng)一致的處理能力并完全兼容；②、應(yīng)用軟件是“集群的”，可實時無縫切換；③具備遠程集群系統(tǒng)的實時監(jiān)控和自動切換能力。備用網(wǎng)絡(luò)系統(tǒng)①配備與主系統(tǒng)相同等級的通信線路和網(wǎng)絡(luò)設(shè)備；②備用網(wǎng)絡(luò)處于運行狀態(tài)；③最終用戶可通過網(wǎng)絡(luò)同時接入主、備中心。備用基礎(chǔ)設(shè)施①有符合介質(zhì)存放條件的場地；②有符合備用數(shù)據(jù)處理系統(tǒng)和備用網(wǎng)絡(luò)設(shè)備運行要求的場地；③有滿足關(guān)鍵業(yè)務(wù)功能恢復運作要求的場地；④以上場地應(yīng)保持7x24小時運作。專業(yè)技術(shù)支持能力在災(zāi)難備份中心7x24小時有專職的：①計算機機房管理人員；②專職數(shù)據(jù)備份技術(shù)支持人員；③專職硬件、網(wǎng)絡(luò)技術(shù)支持人員；④專職操作系統(tǒng)、數(shù)據(jù)庫和應(yīng)用軟件技術(shù)支持人員。運行維護管理能力①有介質(zhì)存取、驗證和轉(zhuǎn)儲管理制度；②按介質(zhì)特性對備份數(shù)據(jù)進行定期的有效性驗證；③有備用計算機機房運行管理制度；④有硬件和網(wǎng)絡(luò)運行管理制度；⑤有實時數(shù)據(jù)備份系統(tǒng)運行管理制度；⑥有操作系統(tǒng)、數(shù)據(jù)庫和應(yīng)用軟件運行管理制度。災(zāi)難恢復預(yù)案有相應(yīng)的經(jīng)過完整測試和演練的災(zāi)難恢復預(yù)案。6.3業(yè)務(wù)連續(xù)性管理第六章高可用性管理災(zāi)備恢復能力要求要6.3業(yè)務(wù)連續(xù)性管理第六章高可用性管理數(shù)據(jù)復制基于數(shù)據(jù)庫的復制基于應(yīng)用的復制基于存儲的數(shù)據(jù)復制6.3業(yè)務(wù)連續(xù)性管理第六章高可用性管理數(shù)據(jù)復制