1、收單通系統(tǒng)系統(tǒng)應(yīng)急方案及處理流程手冊(cè)目 錄1弓I言 31.1 編寫目的 31.2 故障級(jí)別 32 系統(tǒng)結(jié)構(gòu)和特點(diǎn) 52.1 收單通系統(tǒng)的特點(diǎn) 52.1.1 實(shí)時(shí)性 52.1.2 并發(fā)性 52.1.3 7x24 運(yùn)行 52.2 系統(tǒng)體系結(jié)構(gòu) 62.2.1 體系結(jié)構(gòu)和信息架構(gòu) 62.2.2 系統(tǒng)HA配置 62.3 系統(tǒng)應(yīng)用結(jié)構(gòu) 73 應(yīng)用故障應(yīng)急處理流程 83.1 聯(lián)機(jī)交易異常 83.2 管理服務(wù)異常 83.3 二次清算交易異常 93.4 基礎(chǔ)服務(wù)異常 104 硬件故障應(yīng)用處理流程 114.1 硬件故障圍 115 數(shù)據(jù)庫(kù)和日志處理 125.1 數(shù)據(jù)庫(kù)異常處理流程 126 JDK和 WEBLOGI處

2、理 137 備機(jī)啟動(dòng)流程 141引言1.1編寫目的本文根據(jù)收單通系統(tǒng)的特點(diǎn)，綜合考慮軟件和硬件二大方面，闡述了大集中收單通系統(tǒng)的應(yīng)急方案，供相關(guān)開發(fā)人員和系統(tǒng)運(yùn)行維護(hù)人員參考。1.2故障級(jí)別故障類型故障說明級(jí)別備注硬件故障硬盤物理損壞1網(wǎng)絡(luò)故障1系統(tǒng)軟件故障NAC故 障2DB2故障2JDK故障應(yīng)用支持軟件故障WEBLOG 故 障2應(yīng)用軟件故障聯(lián)機(jī)系統(tǒng)故障2二次清算系統(tǒng)2基礎(chǔ)服務(wù)故障2管理服務(wù)故障3說明：1、硬件故障和系統(tǒng)軟件故障，由系統(tǒng)運(yùn)行部門進(jìn)行硬件和系統(tǒng)軟件維護(hù)和調(diào)試，應(yīng)用系統(tǒng)進(jìn)行重新安裝和相關(guān)的系統(tǒng)恢復(fù)工作；2、應(yīng)用軟件和應(yīng)用支持軟件故障，由應(yīng)用系統(tǒng)進(jìn)行故障恢復(fù)工作。2系統(tǒng)結(jié)構(gòu)和特點(diǎn)2.

3、1收單通系統(tǒng)的特點(diǎn)實(shí)時(shí)性收單通系統(tǒng)是重要的收單業(yè)務(wù)系統(tǒng)，對(duì)系統(tǒng)的實(shí)時(shí)性或者說是反應(yīng)時(shí)間有 較高要求。并發(fā)性由于刷卡消費(fèi)習(xí)慣，造成收單業(yè)務(wù)在部分時(shí)間段具有較高的交易峰值。系 統(tǒng)需要考慮并發(fā)交易對(duì)網(wǎng)絡(luò)和應(yīng)用系統(tǒng)的資源要求。2.1.3 7x24 運(yùn)行收單通系統(tǒng)必須支持7x24不間斷運(yùn)行。2.2系統(tǒng)體系結(jié)構(gòu)體系結(jié)構(gòu)和信息架構(gòu)；A|收塑通系統(tǒng)從體系結(jié)構(gòu)來看，收單通系統(tǒng)主要涉及行系統(tǒng)，與其直接相關(guān)的重要系統(tǒng) 包括：SSB系統(tǒng)、網(wǎng)控器、ICS系統(tǒng)等。系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)比較復(fù)雜，對(duì)于網(wǎng)絡(luò)的要求相對(duì)比較高；在系統(tǒng)應(yīng)急方案 中，系統(tǒng)互聯(lián)性的保障至關(guān)重要。系統(tǒng)HA配置為了保證系統(tǒng)在突發(fā)情況下可以迅速恢復(fù)，在生產(chǎn)環(huán)境中，

4、相關(guān)系統(tǒng)都進(jìn)行了 HA配置本系統(tǒng)采用冷備機(jī)制。在系統(tǒng)故障時(shí)，啟用冷備機(jī)即可2.3系統(tǒng)應(yīng)用結(jié)構(gòu)根據(jù)業(yè)務(wù)邏輯，本系統(tǒng)可以分為以下四個(gè)服務(wù)組：?基礎(chǔ)服務(wù)組?管理服務(wù)組?聯(lián)機(jī)交易服務(wù)組?二次清算服務(wù)組3應(yīng)用故障應(yīng)急處理流程3.1聯(lián)機(jī)交易異?，F(xiàn)象：交易監(jiān)控中發(fā)現(xiàn)聯(lián)機(jī)交易有較多的不成功情況。影響：聯(lián)機(jī)交易異常：業(yè)務(wù)中斷，造成交易終止，部分情況下會(huì)出現(xiàn)錯(cuò)帳處理流程：分行運(yùn)行人員：1、確定網(wǎng)絡(luò)無異常；2、確認(rèn)與本系統(tǒng)相關(guān)其他系統(tǒng)是否異常；3、在確認(rèn)本系統(tǒng)異常情況下，重啟聯(lián)機(jī)交易服務(wù)組：執(zhí)行命令Hishutdown - g pay;Hiboot - g pay并確認(rèn)系統(tǒng)正常啟動(dòng)。3.2管理服務(wù)異?，F(xiàn)象:分行或支

5、行業(yè)務(wù)人員登陸收單通管理臺(tái)不能正常進(jìn)行業(yè)務(wù)處理或者無法登 入。影響：業(yè)務(wù)人員無常進(jìn)行業(yè)務(wù)處理處理流程：分行運(yùn)行人員：1、檢查系統(tǒng)網(wǎng)絡(luò)，確認(rèn)網(wǎng)絡(luò)無故障；2、查看系統(tǒng)日志，確認(rèn)是否為管理服務(wù)問題；3、如果為管理服務(wù)問題，則重啟管理服務(wù)組，執(zhí)行命令：Hishutdown - g mngHiboot- g mng確認(rèn)重啟成功。4、重啟成功后，通知業(yè)務(wù)人員進(jìn)行業(yè)務(wù)處理。3.3二次清算交易異?，F(xiàn)象：由本系統(tǒng)發(fā)起的二次清算交易部分或完全不成功。影響：商戶不能正常入賬處理流程：分行運(yùn)行人員：確定交易異常原因，并通過業(yè)務(wù)人員進(jìn)行調(diào)賬3.4基礎(chǔ)服務(wù)異?，F(xiàn)象：由于基礎(chǔ)服務(wù)原因，如數(shù)據(jù)庫(kù)，異步消息服務(wù)器等，造成大部分

6、交易不成功。在進(jìn)行系統(tǒng)檢查后發(fā)現(xiàn)基礎(chǔ)服務(wù)異常。影響：交易異常處理流程：分行運(yùn)行人員：重新啟動(dòng)基礎(chǔ)服務(wù)組，執(zhí)行 hishutdown - g base, hiboot - g base。確認(rèn)服務(wù)組重啟成功，并且交易正常。4硬件故障應(yīng)用處理流程4.1硬件故障圍硬件故障包括存儲(chǔ)系統(tǒng)、網(wǎng)卡等物理系統(tǒng)故障。在發(fā)生物理故障，并短期 無法處理時(shí)，應(yīng)切換到備機(jī)。在備機(jī)正常進(jìn)行業(yè)務(wù)處理后，再來處理原主機(jī)系統(tǒng)的硬件故障。5數(shù)據(jù)庫(kù)和日志處理5.1數(shù)據(jù)庫(kù)異常處理流程數(shù)據(jù)庫(kù)的處理流程主要包括：1、 檢查數(shù)據(jù)庫(kù)dbm進(jìn)程是否正常，service端口是否打開；如異常，用dbm用戶重新啟動(dòng)，dbadm in stop / d

7、badm in start 。2、檢查相應(yīng)數(shù)據(jù)庫(kù)的db2agent進(jìn)程是否正常，如異常，采用db instanee 用戶重新啟動(dòng)，dbstop / dbstart 。3、采用DB2工具檢查表空間和日志的磁盤空間，如空間不足，請(qǐng)擴(kuò)大空間或備份，數(shù)據(jù)庫(kù)的備份策略和操作詳見系統(tǒng)備份恢復(fù)方案。4、 采用快照，檢查數(shù)據(jù)庫(kù)是否存在 DeadLock,如存在查明原因，dbagent 重新啟動(dòng)。在數(shù)據(jù)庫(kù)出現(xiàn)異常時(shí)，造成應(yīng)用無法訪問，并短期沒得到解決情況下，應(yīng)切換到備機(jī)系統(tǒng)6 JDK和 WEBLOGI處理在JDK和WEBLOG出現(xiàn)異常時(shí)，造成應(yīng)用無常啟動(dòng)，并短期沒得到解 決情況下，應(yīng)切換到備機(jī)系統(tǒng)。7備機(jī)啟動(dòng)流程備機(jī)啟動(dòng)流程主要包括