一、研究背 二、應(yīng)急處理思 三、關(guān)鍵場景應(yīng)急處 四、總結(jié)與展 （一）停止服務(wù)。系統(tǒng)棧每一層中的系統(tǒng)都存在發(fā)生故障的概率。分布式數(shù)據(jù)庫組件可能在運(yùn)行過程中出現(xiàn)bug動(dòng)或手動(dòng)啟動(dòng)備用系統(tǒng)保持/恢復(fù)線上服務(wù)，快速處理故障系統(tǒng)，恢復(fù)故障系統(tǒng)的服務(wù)。故障和故障處理，需要關(guān)注如下幾二是指生產(chǎn)運(yùn)維人員在分布式數(shù)據(jù)庫系統(tǒng)棧中進(jìn)行系統(tǒng)操（5)及時(shí)恢復(fù)。分布式數(shù)據(jù)庫在金融關(guān)鍵業(yè)務(wù)場景的應(yīng)急處理并不僅僅指系統(tǒng)棧中系統(tǒng)突然發(fā)生故障后進(jìn)行的處理工作，還包括系統(tǒng)設(shè)計(jì)及故障處理能力。完備的應(yīng)急處理需要從系統(tǒng)分布式數(shù)據(jù)庫系統(tǒng)運(yùn)行風(fēng)險(xiǎn)的處理思路也對系統(tǒng)棧中的各個(gè)系統(tǒng)的廠商、應(yīng)用系統(tǒng)開發(fā)商及運(yùn)維系統(tǒng)開發(fā)商都（二）根據(jù)事件影響程度及持續(xù)時(shí)間等因素對突發(fā)事件進(jìn)行風(fēng)險(xiǎn)（三）做好業(yè)務(wù)合作方、技術(shù)產(chǎn)品/服務(wù)合作方等的溝通協(xié)調(diào)工作，（四）（一）31分布式數(shù)據(jù)庫需要建立應(yīng)付各種異常場景的處理方案應(yīng)障場景包括：數(shù)據(jù)庫自身組件故障、操作系統(tǒng)故障、硬件故障、機(jī)房故障、數(shù)據(jù)庫操作異常等。在每個(gè)場景下，應(yīng)急處幫助金融機(jī)構(gòu)最大限度地減少數(shù)據(jù)庫故障和安全事件對業(yè)務(wù)運(yùn)營的影響，保障金融行業(yè)的數(shù)據(jù)安全和運(yùn)營穩(wěn)定。下面將針對典型異常場景故障進(jìn)行應(yīng)急處理方案介紹。（二）1.通過對分布式數(shù)據(jù)庫集群進(jìn)行配置來指定管理節(jié)點(diǎn)的副本leader發(fā)生故總控服務(wù)，從而實(shí)現(xiàn)總控服務(wù)的高可用。所以任何一個(gè)管理節(jié)點(diǎn)的故障對分布式數(shù)據(jù)庫集群整體業(yè)務(wù)沒有影響，但當(dāng)主副本數(shù)據(jù)不一致。舉出新的主副本來提供服務(wù)，這個(gè)切換過程需要在保證點(diǎn)宕機(jī)時(shí)，其他數(shù)據(jù)節(jié)點(diǎn)中的副本可轉(zhuǎn)正為主本，保障數(shù)據(jù)節(jié)點(diǎn)正常工作。如果是計(jì)算節(jié)點(diǎn)數(shù)據(jù)問題，其他的計(jì)算節(jié)點(diǎn)重新選舉產(chǎn)生新的主節(jié)點(diǎn)，并繼續(xù)提供總控服務(wù)，從而實(shí)現(xiàn)總控服務(wù)的高可用，保障數(shù)據(jù)庫正常工作。然后通過一致性協(xié)議對故障計(jì)算節(jié)點(diǎn)進(jìn)行數(shù)據(jù)修復(fù)，進(jìn)行數(shù)據(jù)同步，保證計(jì)算節(jié)點(diǎn)集群數(shù)據(jù)的一致性。如果是數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)問題，可切換到其他有該故障節(jié)點(diǎn)副本的數(shù)據(jù)節(jié)點(diǎn)，其副本會(huì)轉(zhuǎn)正為主進(jìn)行數(shù)據(jù)庫操作，保障數(shù)據(jù)庫正常工作。然后通過一致性協(xié)議對故障數(shù)據(jù)節(jié)點(diǎn)進(jìn)行數(shù)據(jù)修復(fù)，進(jìn)行數(shù)據(jù)同步，保證分布式數(shù)據(jù)庫集群一般會(huì)提供數(shù)據(jù)庫代理組件以便準(zhǔn)確地將SQL請求路由至合適的計(jì)算和數(shù)據(jù)節(jié)點(diǎn)上。代理組件據(jù)庫代理節(jié)點(diǎn)之間可以部署負(fù)載均衡服務(wù)來保障更高的可用性。GTS/GTM一個(gè)全局時(shí)間戳服務(wù)（簡稱GTS）或者全局事務(wù)管理器（簡稱GTM），事務(wù)提交時(shí)候通過時(shí)間戳服務(wù)獲取事務(wù)版本號(hào)。因此GTS/GTM是分布式數(shù)據(jù)庫的核心，需要保證高可用。GTS/GTM服務(wù)默認(rèn)也是多副本的，因此其高可用能力跟普通有主改選：原Leader主動(dòng)發(fā)起改選的場景稱為有l(wèi)eaderleader的最大已經(jīng)授權(quán)l(xiāng)eader無主選舉。選舉服務(wù)保證了無主選舉場景下，新舊Leaderlease是不重疊的，因此能夠保證本地時(shí)鐘一定大leaderGTS提行異常，GTS或者GTM節(jié)點(diǎn)無法正常工作產(chǎn)生宕機(jī)時(shí)，解決方法是：GTS/GTM全局事務(wù)服務(wù)采用高可用架構(gòu)，某節(jié)GTS/GTM況下，在磁盤空間（包括inode耗盡）、內(nèi)存占用以及以上出，且重啟過程不斷報(bào)錯(cuò)，并帶有“Read-onlyfilesystem”字樣。式是由于系統(tǒng)發(fā)現(xiàn)磁盤硬件（Riad卡，硬盤）故障或文件系錯(cuò)誤、磁盤壞道、RAID卡故障、inode資源耗盡、IO繁忙、硬盤背板故障、硬盤線纜故障、HBA卡故障、內(nèi)核相關(guān)硬件CPU業(yè)務(wù)系統(tǒng)通常上線后資源使用率較為穩(wěn)定，此場景下原因后，CPU使用率恢復(fù)至正常水平。SQL（如簡單SQL因連接符號(hào)或標(biāo)點(diǎn)符號(hào)等寫錯(cuò)導(dǎo)致變?yōu)橐簧?、?qū)動(dòng)故障、CPU壽命等情況。CPU進(jìn)行修復(fù)確認(rèn)，預(yù)期是解決上述問題后，CPU使用率CPU上或者網(wǎng)卡本身為單隊(duì)列等等。I/O等待所占用的CPU時(shí)間百分比數(shù)值變大，產(chǎn)生系統(tǒng)運(yùn)行I/O的使用情況，判斷是否軟件bug、異常操作等，綜合考慮并確認(rèn)I/O繁忙的原因。軟件層面問題通常可以確定為某一個(gè)bug、異常操作等并進(jìn)行對應(yīng)升I/O飆高、卡頓的軟件原因或硬件原因后，I/O使用率恢復(fù)至正常水平。是因?yàn)闃I(yè)務(wù)系統(tǒng)中存在高消耗內(nèi)存SQL語句；出現(xiàn)服務(wù)異解決方案為：查看磁盤占用（du-Sh*等）命令，了解（三）服務(wù)器宕機(jī)通常是指應(yīng)用的服務(wù)器處于一種非正常運(yùn)例如對業(yè)務(wù)支撐的系統(tǒng)資源不合理，或例如死循環(huán)或多線服務(wù)器電源按照通用標(biāo)準(zhǔn)可以分為ATX電源和SSISSI標(biāo)準(zhǔn)誕生。系統(tǒng)服務(wù)器電源（power）與用PC服務(wù)器電源都是一種開關(guān)電源。作為硬件服務(wù)CPU超頻工作不穩(wěn)定、主機(jī)莫名重新啟動(dòng)、服務(wù)器運(yùn)行時(shí)偏免電源故障對系統(tǒng)的影響，實(shí)現(xiàn)長時(shí)間不間斷運(yùn)行。N+1冗來預(yù)防磁盤故障。也就是N+1冗余，即運(yùn)行系統(tǒng)所需N個(gè)磁系統(tǒng)運(yùn)行中可查詢該磁盤的完整數(shù)據(jù)，分布式數(shù)據(jù)庫的數(shù)據(jù)次啟動(dòng)電腦后，仍舊提示注冊表讀取錯(cuò)誤，其次在主機(jī)使用的出錯(cuò)提示或無法提示則應(yīng)是內(nèi)存中某種虛擬文件出錯(cuò)，內(nèi)存條故障預(yù)防首先應(yīng)保證使用環(huán)境符合國家機(jī)房標(biāo)正常使用；金融關(guān)鍵業(yè)務(wù)集群出現(xiàn)主板故障對于系統(tǒng)來說有較大CPUCPU供值得注意的是，謹(jǐn)慎選擇初始化或者ReBuild等可能導(dǎo)滅，然后進(jìn)入陣列卡bios中查看陣列卡是否正常，若顯示在“設(shè)備管理器”里無“網(wǎng)絡(luò)適配器”打開“設(shè)備管理器”時(shí)，里面有一排像“RealtekRTL8139/8111”在“設(shè)備管理器”中有“網(wǎng)絡(luò)適配器”在排除網(wǎng)絡(luò)本身故障以及電腦系統(tǒng)問題的情況下，外部原因有可能是雷電、靜電原因等，特別是雷Windows環(huán)境下，在處理完畢網(wǎng)卡故障后，可以通過下“WIN+R”打開運(yùn)行窗口，輸入“CMD”在命令行窗口中輸入ipconfig若能成功查看到網(wǎng)絡(luò)信息，如網(wǎng)關(guān)、ip卡故障修復(fù)成功。志。還可以通過統(tǒng)一的監(jiān)控運(yùn)維平臺(tái)查看。（四）夠避免在災(zāi)難的時(shí)候，降低數(shù)據(jù)庫容災(zāi)做的不充分對業(yè)務(wù)響2同城雙中心-2同城雙中心-3同城雙中心-動(dòng)切換方案，需要做一些權(quán)衡。上面兩種方案做了跨IDC強(qiáng)同步，但是都不能做到任意IDC異常系統(tǒng)自動(dòng)切換，因此并不是完美的跨IDC容災(zāi)方案。分布式數(shù)據(jù)庫采用兩地三中心部署架構(gòu)，在region1（region1和region2）4兩地三中心架構(gòu)示意圖（五）為了避免或減少數(shù)據(jù)庫的異常操作（問題導(dǎo)致被拖庫、SQL注入、事務(wù)操作等），在數(shù)據(jù)庫使56異常刪庫恢復(fù)示意圖-（3）回收站機(jī)制。通過將數(shù)據(jù)庫的元數(shù)據(jù)上移到接入drop、truncate等高位場景，做回收站機(jī)制，不實(shí)際的訪問日志，發(fā)現(xiàn)是否有非授權(quán)的IP訪問或者越界的訪問SQL入漏洞審閱，因?yàn)镾QLServer將執(zhí)行其接收到的所有語法4or1=1時(shí)，被當(dāng)作是一個(gè)純字符串參數(shù)，所以就不會(huì)出現(xiàn)sql注入了。須使用int類型來存儲(chǔ)。規(guī)定數(shù)據(jù)長度，從一定程度上防止sql時(shí)被WEB拼湊。維護(hù)性質(zhì)大事務(wù)操作據(jù)同步完畢后，切換對應(yīng)的原目的表。MySQL使用常規(guī)PT工個(gè)分片/單個(gè)事務(wù)操作過多應(yīng)急止損措施SQL未QL，與業(yè)SQLSQL應(yīng)的事務(wù)kilSQL及SQLkeepalive參數(shù)，加快非活躍連接的回收，能做到在應(yīng)急場景理，如果合理，則需通過擴(kuò)容DB或者增加Redis、MQ等中業(yè)務(wù)表做DDL操作時(shí)，該表還在進(jìn)行頻繁的DML操作并且分布式數(shù)據(jù)庫在一些異常場景下導(dǎo)致集群不可正常使復(fù)、容災(zāi)等