1、 系統(tǒng)應(yīng)急預(yù)案2015年7月系統(tǒng)名稱涉及部門財(cái)務(wù)部涉及人員及聯(lián)系方式及職責(zé)人員名稱人員所在單位人員聯(lián)系方式預(yù)案事件描述：調(diào)整失敗，可能涉及如下情況：1) 系統(tǒng)崩潰： 系統(tǒng)出現(xiàn)重大故障是指所有的客戶端程序都不能正常連接到服務(wù)器，任何合法的系統(tǒng)用戶都無法正確登錄系統(tǒng)，甚至于系統(tǒng)完全崩潰；2) 數(shù)據(jù)丟失： 系統(tǒng)數(shù)據(jù)丟失狀態(tài)，如數(shù)據(jù)庫服務(wù)出現(xiàn)故障，用戶數(shù)據(jù)丟失，公司現(xiàn)有技術(shù)手段無法恢復(fù)；3) 服務(wù)停頓： 系統(tǒng)服務(wù)停頓狀態(tài)，如系統(tǒng)由于不明原因?qū)е麓笠?guī)模用戶無法使用，服務(wù)停頓。4) 接口無法正常調(diào)用：系統(tǒng)無法正常調(diào)用財(cái)務(wù)管控接口（財(cái)務(wù)管控接口、ERP RFC接口、ESB）。預(yù)案處理要求1) 系統(tǒng)崩潰：停止

2、系統(tǒng)后臺(tái)服務(wù)，防止不知情用戶繼續(xù)投遞數(shù)據(jù)。抓取并保存系統(tǒng)出錯(cuò)信息及日志文件，簡(jiǎn)單判斷異常部位，通知相關(guān)人員到崗，保留現(xiàn)場(chǎng)，分析查找原因。2) 數(shù)據(jù)丟失：停止服務(wù)和后臺(tái)數(shù)據(jù)庫服務(wù)，將剩余用戶數(shù)據(jù)進(jìn)行備份，抓取并保存系統(tǒng)出錯(cuò)信息及日志文件，通知相關(guān)人員到崗，保留現(xiàn)場(chǎng)，分析查找原因。3) 服務(wù)停頓：聯(lián)系網(wǎng)絡(luò)管理人員、通知相關(guān)人員到崗，從網(wǎng)絡(luò)和系統(tǒng)兩個(gè)方面分析查找服務(wù)停頓原因。4) 接口無法正常調(diào)用：聯(lián)系相關(guān)接口服務(wù)提供方，確認(rèn)服務(wù)是否正常。注：對(duì)故障進(jìn)行快速處理及歸檔，爭(zhēng)取每次故障修復(fù)時(shí)間控制在兩小時(shí)以內(nèi)。演練要求1. 對(duì)在線系統(tǒng)不造成影響2. 在主要系統(tǒng)管理員人員變更和服務(wù)器、操作系統(tǒng)、主頁發(fā)布軟

3、件發(fā)生變更時(shí)要進(jìn)行演練。3. 演練前應(yīng)填寫工作單，并對(duì)系統(tǒng)做全備份。4. 演練結(jié)束形成演練總結(jié)報(bào)告。預(yù)案流程說明一、事件報(bào)警與確認(rèn)：系統(tǒng)人員在對(duì)系統(tǒng)進(jìn)行調(diào)整的過程中發(fā)現(xiàn)公司系統(tǒng)運(yùn)行中的異常及其它故障。由運(yùn)維人員首先確認(rèn)系統(tǒng)是否發(fā)生重大故障，及時(shí)通知相應(yīng)管控經(jīng)理及信通公司相應(yīng)負(fù)責(zé)人，啟用預(yù)案。二、系統(tǒng)發(fā)生重大故障時(shí)，保護(hù)故障現(xiàn)場(chǎng):必須及時(shí)采取以下措施，通知系統(tǒng)運(yùn)維人員及時(shí)到場(chǎng)1. 保證服務(wù)器不再有任何人進(jìn)行任何操作2. 通知所有使用系統(tǒng)的人員暫停對(duì)系統(tǒng)的登錄三、分析故障原因：1.操作系統(tǒng)級(jí)應(yīng)急預(yù)案1）操作系統(tǒng)異常問題原因：由于操作系統(tǒng)自身服務(wù)崩潰或系統(tǒng)組件沖突，服務(wù)器操作系統(tǒng)無法正常運(yùn)行，部署在

4、此操作系統(tǒng)上的應(yīng)用服務(wù)器受此影響無法正常啟動(dòng)及運(yùn)行，服務(wù)崩潰。應(yīng)急預(yù)案：聯(lián)系操作系統(tǒng)服務(wù)商進(jìn)行系統(tǒng)恢復(fù)，解決系統(tǒng)組件沖突。操作步驟：按照當(dāng)?shù)乜菩挪块T或系統(tǒng)運(yùn)維部分相關(guān)操作步驟進(jìn)行。 2）磁盤空間不足問題原因：由于SAP CE服務(wù)器及對(duì)應(yīng)的Oracle服務(wù)器自動(dòng)歸檔備份功能開啟，會(huì)造成備份文件逐步增加，文件累計(jì)達(dá)到一定數(shù)據(jù)大小后，導(dǎo)致系統(tǒng)磁盤空間不足，引發(fā)服務(wù)器各項(xiàng)服務(wù)組件無法正常運(yùn)行，服務(wù)崩潰。應(yīng)急預(yù)案：（1）刪除SAP CE自動(dòng)備份文件。進(jìn)入SAP CE服務(wù)器自動(dòng)備份文件保存目錄，保留最近的2個(gè)備份版本，刪除其余備份文件。 （2）刪除Oracle歸檔日志。進(jìn)入Oracle歸檔日志目錄，保留最

5、近1個(gè)月的歸檔日志備份，刪除其余備份。如通過以上方式3仍無法釋放磁盤空間資源，則需要進(jìn)行服務(wù)器存儲(chǔ)空間擴(kuò)容。具體方案依據(jù)當(dāng)?shù)胤?wù)器硬件升級(jí)操作方案處理。操作步驟：（1）登錄服務(wù)器，檢查各分區(qū)磁盤剩余量。若剩余量低于10%，需要進(jìn)行備份及歸檔文件清理操作。 （2）進(jìn)入SAP CE服務(wù)器文件備份目錄，檢查備份文件狀態(tài)，若備份文件過多，可考慮刪除最近2個(gè)備份版本之前的其余備份文件。 （3）進(jìn)入Oracle歸檔日志存儲(chǔ)目錄，檢查歸檔日志狀態(tài)，若歸檔日志過多，可考慮刪除1個(gè)月之前的歸檔日志文件。 （4）若服務(wù)器中，SAP CE備份及Oracle歸檔日志文件數(shù)量均不大，但服務(wù)器存儲(chǔ)資源不足，可申請(qǐng)當(dāng)?shù)剡\(yùn)維

6、支持檢查服務(wù)器上文件系統(tǒng)，刪除非系統(tǒng)必需文件。 （5）以上操作仍無法解決磁盤空間不足問題，則按照當(dāng)?shù)胤?wù)器硬件資源升級(jí)操作流程進(jìn)行處理。3）磁盤讀寫保護(hù)異常問題原因：由于操作系統(tǒng)安裝了磁盤讀寫控制軟件，或是系統(tǒng)還原配置不正確，會(huì)導(dǎo)致系統(tǒng)所在應(yīng)用服務(wù)器無法實(shí)現(xiàn)對(duì)底層文件系統(tǒng)的讀寫訪問，造成依賴于文件讀寫服務(wù)的組件功能無法正常運(yùn)行，服務(wù)崩潰。應(yīng)急預(yù)案：（1）修改磁盤讀寫控制軟件對(duì)SAP CE平臺(tái)服務(wù)器的權(quán)限控制 （2）調(diào)整系統(tǒng)還原配置參數(shù)，將其置為正確的配置操作步驟：（1）申請(qǐng)當(dāng)?shù)剡\(yùn)維支持，檢查是否安裝了磁盤讀寫保護(hù)軟件或裝置，若有，則需解除其對(duì)SAP CE平臺(tái)相關(guān)服務(wù)的讀寫控制 （2）申請(qǐng)當(dāng)?shù)剡\(yùn)

7、維支持，檢查系統(tǒng)還原情況配置，保證其配置正確。4）網(wǎng)絡(luò)服務(wù)異常問題原因：服務(wù)器未正確分配IP地址，或是防火墻限制服務(wù)器的網(wǎng)絡(luò)訪問以及物理鏈路中斷等原因，會(huì)導(dǎo)致系統(tǒng)用戶無法正常登陸系統(tǒng)，關(guān)聯(lián)業(yè)務(wù)系統(tǒng)與憑證系統(tǒng)集成服務(wù)異常。應(yīng)急預(yù)案：為服務(wù)器分配正確的IP地址，并將此地址注冊(cè)到防火墻可信任地址列表中。對(duì)于物理訪問鏈路中斷問題，檢查并重新配置網(wǎng)絡(luò)物理通信鏈路。此部分具體應(yīng)急預(yù)案由當(dāng)?shù)乜菩挪炕蜻\(yùn)維部分統(tǒng)一處理。操作步驟：（1）檢查服務(wù)器的IP地址是否分配正確，若分配錯(cuò)誤或IP地址沖突，需要申請(qǐng)當(dāng)?shù)剡\(yùn)維支持，為服務(wù)器重新分配正確的IP地址，并進(jìn)行系統(tǒng)相關(guān)配置的調(diào)整。 （2）檢查防火墻對(duì)服務(wù)器的網(wǎng)絡(luò)訪問控

8、制，若由于防火墻權(quán)限原因?qū)е路?wù)器無法正常進(jìn)行的網(wǎng)絡(luò)通信，則應(yīng)申請(qǐng)當(dāng)?shù)剡\(yùn)維支持，解決防火墻網(wǎng)絡(luò)訪問控制問題。 （3）若由于物理網(wǎng)絡(luò)鏈路中斷等原因?qū)е聼o法進(jìn)行正常的網(wǎng)絡(luò)通信，則需要申請(qǐng)當(dāng)?shù)剡\(yùn)維進(jìn)行緊急搶修。2.SAP CE服務(wù)器應(yīng)急預(yù)案1）功能組件服務(wù)異常問題原因：由于受到操作系統(tǒng)組件服務(wù)、系統(tǒng)硬件資源等因素影響，SAP CE服務(wù)器部分功能組件服務(wù)可能出現(xiàn)服務(wù)異?；蚪M件服務(wù)停止，依賴于這些服務(wù)的系統(tǒng)部分功能無法正常運(yùn)行。應(yīng)急預(yù)案：檢查異?；蛲Ｖ沟慕M件服務(wù)，重啟相關(guān)服務(wù)。如服務(wù)重啟異常，檢查服務(wù)器日志，查找原因，排除原因后，重啟服務(wù)解決問題。操作步驟：（1）以SAP CE超級(jí)管理員身份登錄平臺(tái)，在

9、右側(cè)搜索欄中輸入【start】 （2）在搜索結(jié)果中選擇【Start & Stop】應(yīng)用功能 （3）選擇【J2EE Application Service】，在表格搜索欄中輸入需要重啟的服務(wù)名進(jìn)行搜索。 （4）選中需要重啟的服務(wù)，使用【Start】功能重啟該服務(wù)2）系統(tǒng)服務(wù)異常問題原因：由于受到所在操作系統(tǒng)組件服務(wù)、網(wǎng)絡(luò)攻擊、系統(tǒng)硬件資源、系統(tǒng)內(nèi)部服務(wù)異常等影響，SAP CE服務(wù)器出現(xiàn)服務(wù)崩潰或大規(guī)模內(nèi)部服務(wù)組件沖突。具體表現(xiàn)為：1、用戶登錄SAP CE服務(wù)平臺(tái)提示【ERROR-503】異常；2、打開SAP CE控制臺(tái)，服務(wù)器實(shí)例狀態(tài)為警告狀態(tài)，顯示黃色。應(yīng)急預(yù)案：登錄SAP CE服務(wù)器所在操作

10、系統(tǒng)，在SAP CE 控制臺(tái)中重啟該服務(wù)器實(shí)例。操作步驟：（1）登錄協(xié)同服務(wù)器所在操作系統(tǒng)。（2）打開協(xié)同服務(wù)器控制臺(tái)。（3）展開控制臺(tái)節(jié)點(diǎn)，選擇當(dāng)前協(xié)同服務(wù)器實(shí)例，右鍵當(dāng)前實(shí)例，選擇【停止】（4）在停止服務(wù)信息界面，選擇【硬重啟】（5）輸入操作系統(tǒng)用戶名對(duì)應(yīng)的密碼，確認(rèn)重啟操作。（6）等待一定時(shí)間后，刷新實(shí)例服務(wù)器狀態(tài)，灰色表示停止成功。（7）打開協(xié)同服務(wù)器控制臺(tái)，選擇協(xié)同CE服務(wù)器實(shí)例，右鍵服務(wù)器實(shí)例，選擇【啟動(dòng)】，進(jìn)行服務(wù)器啟動(dòng)操作。（8）點(diǎn)擊確認(rèn)，啟動(dòng)服務(wù)器。（9）等待一段時(shí)間后，服務(wù)器實(shí)例狀態(tài)為綠色，表示服務(wù)器啟動(dòng)成功。3）Lincense到期問題原因：SAP CE應(yīng)用平臺(tái)授權(quán)許可到

11、期或授權(quán)許可未正確注冊(cè)，造成各服務(wù)組件均無法正常使用。應(yīng)急預(yù)案：（1）授權(quán)許可到期可參考license申請(qǐng).doc進(jìn)行處理 （2）授權(quán)許可未正確注冊(cè)可參照license申請(qǐng).doc中進(jìn)行Linsence注冊(cè)的操作進(jìn)行。操作步驟：按照license申請(qǐng).doc中相關(guān)操作步驟進(jìn)行處理3Oracle數(shù)據(jù)庫應(yīng)急預(yù)案1）數(shù)據(jù)庫服務(wù)崩潰問題原因：由于受到突然斷電、撞擊、磁盤損壞、系統(tǒng)資源嚴(yán)重不足、數(shù)據(jù)庫相關(guān)組件異常等影響，會(huì)造成數(shù)據(jù)庫服務(wù)崩潰，所有依賴于數(shù)據(jù)庫服務(wù)的應(yīng)用功能均無法正常使用。應(yīng)急預(yù)案：（1）如由于硬件損壞導(dǎo)致數(shù)據(jù)庫服務(wù)崩潰，屬于不可恢復(fù)的事故，需要重新申請(qǐng)硬件資源，重新進(jìn)行數(shù)據(jù)服務(wù)器的部署。

12、 （2）由于數(shù)據(jù)庫組件運(yùn)行異常導(dǎo)致數(shù)據(jù)庫服務(wù)崩潰，可嘗試重啟Oracle數(shù)據(jù)庫相關(guān)服務(wù)。 （3）如重啟數(shù)據(jù)庫組件及操作系統(tǒng)均無法恢復(fù)數(shù)據(jù)庫，則需要重新安裝協(xié)同數(shù)據(jù)服務(wù)器，并進(jìn)行備份數(shù)據(jù)還原。操作步驟：操作步驟按照當(dāng)?shù)胤?wù)器部署應(yīng)急預(yù)案進(jìn)行處理。2）用戶鎖定問題原因：由于用戶對(duì)數(shù)據(jù)庫進(jìn)行不正確的讀寫或是其他操作，造成數(shù)據(jù)庫用戶鎖定，所有依賴于此用戶的數(shù)據(jù)庫服務(wù)均無法對(duì)外提供，造成系統(tǒng)服務(wù)異常。應(yīng)急預(yù)案：以數(shù)據(jù)庫超級(jí)管理員身份登錄數(shù)據(jù)庫，解鎖被鎖定的用戶并重置密碼。操作步驟：（1）以sys用戶在PLSql等操作工具中登錄數(shù)據(jù)庫（2）在【用戶】菜單下找到需要進(jìn)行解鎖的用戶（3）選中該用戶，進(jìn)行編輯（

13、4）解除該用戶的鎖定標(biāo)識(shí)3）用戶數(shù)據(jù)丟失問題原因：用戶對(duì)數(shù)據(jù)進(jìn)行誤刪除操作，會(huì)導(dǎo)致該用戶數(shù)據(jù)丟失。由此引發(fā)系統(tǒng)功能應(yīng)用數(shù)據(jù)丟失異常。應(yīng)急預(yù)案：還原用戶數(shù)據(jù)備份操作步驟：（1）保證數(shù)據(jù)恢復(fù)期間，系統(tǒng)暫停業(yè)務(wù)使用（2）若用戶數(shù)據(jù)備份為DMP用戶對(duì)象備份，則需要先刪除該用戶所有用戶對(duì)象，利用數(shù)據(jù)庫備份還原工具還原該用戶數(shù)據(jù)備份(3)若該用戶備份數(shù)據(jù)僅為表數(shù)據(jù)，則只需要清除相關(guān)原表數(shù)據(jù)，進(jìn)行數(shù)據(jù)備份還原即可。4.系統(tǒng)應(yīng)急預(yù)案1)數(shù)據(jù)源服務(wù)異常問題原因：系統(tǒng)對(duì)數(shù)據(jù)庫的連接訪問由統(tǒng)一的數(shù)據(jù)源進(jìn)行管理，重啟服務(wù)器或者由于系統(tǒng)組件運(yùn)行沖突，會(huì)導(dǎo)致系統(tǒng)數(shù)據(jù)源服務(wù)異常。應(yīng)急預(yù)案：以SAP CE平臺(tái)超級(jí)管理員身份登

14、錄平臺(tái)，重啟數(shù)據(jù)源服務(wù)即可。操作步驟：(1)以協(xié)同服務(wù)器超級(jí)管理員身份登錄NWA（09：50100/NWA）。在右側(cè)搜索欄中輸入“start”進(jìn)行搜索，在結(jié)果中選擇【Start&Stop】功能。(2)選擇【Java EE Application】頁簽，在【Name】中輸入?yún)f(xié)同數(shù)據(jù)源名稱，回車進(jìn)行搜索。在資源列表中選擇當(dāng)前協(xié)同數(shù)據(jù)源，選擇【Start】【On All Instance .】，確認(rèn)操作。(3)刷新當(dāng)前資源列表，即可發(fā)現(xiàn)協(xié)同數(shù)據(jù)源啟動(dòng)成功。2)用戶認(rèn)證失敗問題原因：用戶來源于目錄系統(tǒng)，由于用戶多次登錄失敗會(huì)造成用戶鎖定等原因，造成系統(tǒng)用戶無法正常登錄系

15、統(tǒng)登錄。應(yīng)急預(yù)案：以SAP CE平臺(tái)超級(jí)管理員身份登錄平臺(tái)，解鎖用戶或重置用戶密碼。操作步驟：(1)以協(xié)同服務(wù)器超級(jí)管理員身份登錄IRJ模塊（http:09：50100IRJ），選擇【用戶管理】模塊，在搜索欄中查找到當(dāng)前需要解鎖的用戶。(2)利用解鎖功能，解除該用戶鎖定標(biāo)識(shí)(3)點(diǎn)擊【編輯】按鈕，對(duì)該用戶密碼進(jìn)行重置。3)用戶角色異常問題原因：用戶未正確分配角色，會(huì)導(dǎo)致用戶無權(quán)限進(jìn)行相關(guān)應(yīng)用操作。應(yīng)急預(yù)案：以SAP CE平臺(tái)超級(jí)管理員身份登錄平臺(tái)，重置用戶相關(guān)角色。操作步驟：(1)以協(xié)同服務(wù)器超級(jí)管理員身份登錄IRJ模塊（09：50100/I

16、RJ），選擇【用戶管理】模塊，在搜索欄中查找到當(dāng)前需要重置角色的用戶。(2)點(diǎn)擊【編輯】按鈕，對(duì)該用戶信息進(jìn)行編輯。(3)切換至【已分配角色】頁簽，在左側(cè)角色資源搜索框中輸入需要進(jìn)行分配的角色。(4)點(diǎn)擊【添加】按鈕，將該角色分配給相應(yīng)用戶。(5)點(diǎn)擊【保存】按鈕，完成用戶角色分配。(6)以該用戶身份登錄，查看當(dāng)前角色是否已被分配。4)WebApplication應(yīng)用異常問題原因：由于公共應(yīng)用組件服務(wù)沖突或運(yùn)行狀態(tài)異常，引起依賴于此公共組件的其他應(yīng)用無法正常運(yùn)行。應(yīng)急預(yù)案：重啟流程公共應(yīng)用組件服務(wù)，可解決此問題。操作步驟：(1)以SAP CE超級(jí)管理員身份登錄平臺(tái)，在右側(cè)搜索欄中輸入“star

17、t” (2)在搜索結(jié)果中選擇“Start & Stop”應(yīng)用功能 (3)選擇“J2EE Application Service”，在表格搜索欄中輸入“pubtool”進(jìn)行搜索。 (4)選中需要重啟的服務(wù)，使用“Start”功能重啟該服務(wù)5)流程應(yīng)用異常問題原因：流程配置不正確、SAP BPM流程核心組件服務(wù)異常均可導(dǎo)致流程應(yīng)用異常，具體表現(xiàn)為流程無法正常發(fā)起或無法創(chuàng)建用戶待辦。應(yīng)急預(yù)案：(1)流程配置錯(cuò)誤引起的流程應(yīng)用異常，需要檢查流程配置并排除錯(cuò)誤后，問題可解決。(2)SAP BPM流程組件服務(wù)異常引起的，可通過重新啟動(dòng)相關(guān)流程組件服務(wù)解決此問題。操作步驟：(1)以SAP CE超級(jí)管理員身份

18、登錄平臺(tái)，在右側(cè)搜索欄中輸入“start”(2)在搜索結(jié)果中選擇“Start & Stop”應(yīng)用功能(3)選擇“J2EE Application Service”，在表格搜索欄中輸入“glx”進(jìn)行搜索。(4)選中需要重啟的服務(wù)，使用“Start”功能重啟該服務(wù)6)集成服務(wù)異常問題原因：關(guān)聯(lián)系統(tǒng)未正常提供正確的服務(wù)、總部企業(yè)服務(wù)總線對(duì)集成服務(wù)注冊(cè)管理異常均可能引起集成服務(wù)調(diào)用失敗，依賴于這些服務(wù)的應(yīng)用功能無法正常運(yùn)行。應(yīng)急預(yù)案：協(xié)調(diào)協(xié)同關(guān)聯(lián)系統(tǒng)及企業(yè)服務(wù)總線檢查各服務(wù)狀態(tài)，解決相關(guān)問題。操作步驟：(1)若關(guān)聯(lián)系統(tǒng)服務(wù)提供異常，則需要協(xié)調(diào)關(guān)聯(lián)系統(tǒng)項(xiàng)目組，啟動(dòng)相關(guān)的服務(wù)。(2)若企業(yè)服務(wù)總線對(duì)相關(guān)服務(wù)注冊(cè)管理異常，則需要協(xié)調(diào)企業(yè)服務(wù)總線項(xiàng)目組，對(duì)服務(wù)重新進(jìn)行注冊(cè)管理。四、正式系統(tǒng)的修復(fù)：根據(jù)造成系統(tǒng)故障的不同原因，采用相應(yīng)的修復(fù)策略：1.恢復(fù)服務(wù)器硬件設(shè)備；2.恢復(fù)服務(wù)器操作系統(tǒng)；3.恢復(fù)系統(tǒng)必備軟件； 五、安全審計(jì)及事故分析通過系統(tǒng)日志、主機(jī)防護(hù)系統(tǒng)日志等，對(duì)故障事件進(jìn)行審計(jì)，對(duì)損失進(jìn)行評(píng)估，追查事件的發(fā)生原因。六、 銷除隱患、調(diào)整策略：根據(jù)審計(jì)