IT系統(tǒng)故障排除步驟指引模板（快速響應(yīng)版）一、適用場景與觸發(fā)條件本模板適用于IT系統(tǒng)各類突發(fā)故障的快速定位與處理，具體場景包括但不限于：核心業(yè)務(wù)系統(tǒng)故障：如電商平臺(tái)無法下單、銀行支付接口超時(shí)、企業(yè)ERP系統(tǒng)無法登錄等直接影響用戶操作或核心業(yè)務(wù)的場景；輔助功能異常：如OA系統(tǒng)文件無法、考勤數(shù)據(jù)同步失敗、短信服務(wù)發(fā)送延遲等非核心但影響日常辦公的場景；基礎(chǔ)設(shè)施故障：如服務(wù)器宕機(jī)、網(wǎng)絡(luò)中斷（核心交換機(jī)/路由器故障）、數(shù)據(jù)庫連接失敗等底層支撐問題；數(shù)據(jù)類異常：如數(shù)據(jù)丟失、數(shù)據(jù)同步延遲、報(bào)表錯(cuò)誤等涉及數(shù)據(jù)完整性的問題。觸發(fā)條件：當(dāng)監(jiān)控系統(tǒng)告警（如Zabbix、Prometheus觸發(fā)閾值）、用戶反饋（客服/運(yùn)維工單）、主動(dòng)巡檢發(fā)覺異常時(shí)，立即啟動(dòng)本流程。二、標(biāo)準(zhǔn)化故障排除操作流程（一）故障發(fā)覺與信息同步故障確認(rèn)監(jiān)控告警：值班運(yùn)維人員收到告警后，需在5分鐘內(nèi)登錄監(jiān)控系統(tǒng)（如ZabbixWeb界面），確認(rèn)告警真實(shí)性（避免誤報(bào)），記錄故障指標(biāo)（如CPU使用率超95%、服務(wù)響應(yīng)超時(shí)10秒）。用戶反饋：客服或業(yè)務(wù)部門接到用戶投訴后，需在3分鐘內(nèi)將故障信息同步至運(yùn)維群，內(nèi)容包括：故障現(xiàn)象描述（如“用戶登錄APP提示‘網(wǎng)絡(luò)錯(cuò)誤’”）、影響范圍（如“僅上海地區(qū)用戶”）、發(fā)生時(shí)間（用戶反饋的首次異常時(shí)間）。主動(dòng)巡檢：運(yùn)維人員通過定期巡檢（如每日9:00檢查服務(wù)器磁盤空間）發(fā)覺異常時(shí)，立即拍照/錄屏記錄，并同步至相關(guān)團(tuán)隊(duì)。信息上報(bào)與分級(jí)值班人員確認(rèn)故障后，立即填寫《故障基本信息表》（見第三部分），并根據(jù)影響范圍和緊急程度劃分故障等級(jí)：P0級(jí)（致命）：核心業(yè)務(wù)完全中斷，影響所有用戶（如全站無法訪問），需15分鐘內(nèi)響應(yīng)；P1級(jí)（嚴(yán)重）：核心業(yè)務(wù)部分功能異常，影響30%以上用戶（如支付模塊無法使用），需30分鐘內(nèi)響應(yīng)；P2級(jí)（一般）：輔助系統(tǒng)故障，影響10%-30%用戶（如OA系統(tǒng)文件失敗），需2小時(shí)內(nèi)響應(yīng)；P3級(jí)（輕微）：輕微異常，不影響業(yè)務(wù)（如某個(gè)按鈕樣式錯(cuò)亂），需24小時(shí)內(nèi)處理。上報(bào)至運(yùn)維主管（P0/P1級(jí)）或值班經(jīng)理（P2/P3級(jí)），由負(fù)責(zé)人協(xié)調(diào)資源啟動(dòng)應(yīng)急處理。（二）初步診斷與原因定位快速排查共性原因應(yīng)用層：檢查服務(wù)進(jìn)程狀態(tài)（如ps-ef|grepjava確認(rèn)服務(wù)是否運(yùn)行）、日志關(guān)鍵字（如tail-fcatalina.out|grep"ERROR"查看錯(cuò)誤信息）、接口響應(yīng)時(shí)間（如c-Ixxx/api/test測試連通性）；中間件：檢查Redis/Kafka等中間件連接（如redis-cliping確認(rèn)是否存活）、隊(duì)列堆積情況（如kafka-consumer-groups.sh--describe查看消費(fèi)延遲）；基礎(chǔ)設(shè)施：檢查服務(wù)器狀態(tài)（如uptime查看負(fù)載、df-h檢查磁盤空間）、網(wǎng)絡(luò)連通性（如ping確認(rèn)外網(wǎng)、traceroute追蹤路由）、數(shù)據(jù)庫連接（如mysql-uroot-p-e"status"檢查連接數(shù)）。定位故障范圍通過監(jiān)控平臺(tái)（如Grafana）對比故障前后指標(biāo)變化，判斷是單點(diǎn)故障（如某臺(tái)服務(wù)器宕機(jī)）還是集群故障（如負(fù)載均衡異常）；聯(lián)系業(yè)務(wù)部門確認(rèn)是否有操作變更（如發(fā)布新版本、配置修改），排除人為操作原因。（三）深度排查與根因分析若初步診斷未定位原因，需啟動(dòng)深度排查，按“從應(yīng)用到底層”順序逐步聚焦：應(yīng)用層深度分析導(dǎo)出服務(wù)日志（如jar-tfapp.jar|greplog4j獲取日志路徑），使用ELK（Elasticsearch+Logstash+Kibana）或AWK命令過濾關(guān)鍵錯(cuò)誤（如“NullPointerException”“SQLTimeoutException”）；檢查代碼變更記錄（如GitLab查看最近提交），定位是否因代碼邏輯錯(cuò)誤導(dǎo)致（如死循環(huán)、空指針未處理）。數(shù)據(jù)庫層排查查看數(shù)據(jù)庫慢查詢?nèi)罩荆ㄈ鐂howprocesslist查看活躍線程、showengineinnodbstatus檢查鎖表情況）；確認(rèn)數(shù)據(jù)一致性（如對比主從庫數(shù)據(jù)差異、檢查binlog是否同步）。網(wǎng)絡(luò)層定位使用tcpdump抓包分析（如tcpdump-ieth0-nnport8080捕獲HTTP請求），確認(rèn)是否存在網(wǎng)絡(luò)丟包或端口沖突；檢查防火墻/安全組策略（如iptables-L-n查看規(guī)則），確認(rèn)是否因規(guī)則攔截導(dǎo)致訪問異常。根因確認(rèn)排查后需明確故障根因（如“Redis連接池滿導(dǎo)致服務(wù)雪崩”“數(shù)據(jù)庫索引失效引發(fā)慢查詢”），并記錄在《故障處理記錄表》中。（四）故障處理與系統(tǒng)恢復(fù)制定臨時(shí)方案根據(jù)根因快速制定臨時(shí)恢復(fù)措施，優(yōu)先保障業(yè)務(wù)可用性：服務(wù)宕機(jī)：重啟服務(wù)（systemctlrestarttomcat）或切換至備用服務(wù)器（如Nginxupstream切換）；數(shù)據(jù)庫故障：臨時(shí)啟用從庫（stopslave;startslave）或恢復(fù)備份（mysqldump-uroot-pdb_name<backup.sql）；網(wǎng)絡(luò)中斷：臨時(shí)調(diào)整路由策略（如routeadd-net/24gw）或切換備用線路。執(zhí)行恢復(fù)操作操作前需確認(rèn)備份情況（如代碼備份、數(shù)據(jù)庫全量備份），避免二次故障；操作過程需全程錄屏/記錄命令（如script-arecovery.log），便于后續(xù)復(fù)盤；恢復(fù)后立即測試業(yè)務(wù)功能（如模擬用戶登錄、提交訂單），確認(rèn)系統(tǒng)恢復(fù)正常。長期優(yōu)化方案針對根因制定長期改進(jìn)措施（如“調(diào)整Redis連接池參數(shù)maxTotal從100提升至200”“優(yōu)化數(shù)據(jù)庫SQL語句，添加聯(lián)合索引”），明確責(zé)任人和完成時(shí)限（如數(shù)據(jù)庫管理員需在3日內(nèi)完成索引優(yōu)化）。（五）驗(yàn)證與復(fù)盤歸檔業(yè)務(wù)驗(yàn)證聯(lián)系業(yè)務(wù)部門進(jìn)行全流程測試（如電商系統(tǒng)需測試“瀏覽-加購-下單-支付”全鏈路），確認(rèn)故障徹底解決且無衍生問題；發(fā)布恢復(fù)通知（如企業(yè)群公告），告知用戶系統(tǒng)已恢復(fù)正常。復(fù)盤會(huì)議故障解決后24小時(shí)內(nèi)，由運(yùn)維主管組織復(fù)盤會(huì)，參與人員包括運(yùn)維、開發(fā)、業(yè)務(wù)團(tuán)隊(duì)；輸出《故障復(fù)盤報(bào)告》，內(nèi)容包括：故障時(shí)間線、根因分析、處理過程評估、改進(jìn)措施、責(zé)任追究（如因未遵守變更流程導(dǎo)致故障，需記錄責(zé)任人）。知識(shí)庫歸檔將《故障復(fù)盤報(bào)告》《處理記錄表》同步至公司知識(shí)庫（如Confluence），關(guān)鍵詞包括故障類型（如“Redis雪崩”）、根因（如“連接池配置不當(dāng)”）、解決方案（如“動(dòng)態(tài)擴(kuò)容連接池”），方便后續(xù)查閱。三、故障排除過程記錄表（一）故障基本信息表字段名內(nèi)容示例故障名稱電商平臺(tái)訂單支付接口超時(shí)故障發(fā)生時(shí)間2024-03-1514:30:00影響范圍全國用戶，支付緊急程度P0級(jí)上報(bào)人*運(yùn)維工程師（）聯(lián)系方式內(nèi)部工號(hào)：IT20240301故障現(xiàn)象用戶“立即支付”后，頁面提示“系統(tǒng)繁忙，請稍后重試”，支付成功率0%監(jiān)控告警Zabbix觸發(fā)“支付接口響應(yīng)時(shí)間超5秒”告警（ID：ZBX-5）（二）處理過程記錄表步驟序號(hào)時(shí)間節(jié)點(diǎn)操作人操作內(nèi)容操作結(jié)果114:35*運(yùn)維工程師登錄支付服務(wù)器（0），執(zhí)行tail-fpayment.log|grep"ERROR"發(fā)覺日志中大量“Connectionrefused”錯(cuò)誤，指向下游支付系統(tǒng)連接失敗214:40*網(wǎng)絡(luò)工程師執(zhí)行traceroute（下游支付系統(tǒng)IP），確認(rèn)網(wǎng)絡(luò)連通性網(wǎng)絡(luò)正常，無丟包314:45*后端開發(fā)工程師檢查支付系統(tǒng)配置文件，發(fā)覺下游支付系統(tǒng)IP配置錯(cuò)誤（應(yīng)為5）定位根因：配置錯(cuò)誤導(dǎo)致連接失敗414:50*運(yùn)維工程師修改配置文件perties中下游IP，重啟支付服務(wù)（systemctlrestartpayment）服務(wù)啟動(dòng)成功，無報(bào)錯(cuò)515:00*測試工程師模擬用戶支付流程，測試10筆訂單支付成功率100%，故障恢復(fù)（三）復(fù)盤總結(jié)表字段名內(nèi)容根因分析下游支付系統(tǒng)IP配置錯(cuò)誤，導(dǎo)致支付接口連接失敗改進(jìn)措施1.配置文件修改需經(jīng)雙人復(fù)核；2.發(fā)布前在測試環(huán)境驗(yàn)證下游連接責(zé)任人后端開發(fā)工程師（）、運(yùn)維工程師（）完成時(shí)限2024-03-20前完成配置復(fù)核流程優(yōu)化知識(shí)庫故障復(fù)盤報(bào)告-支付接口超時(shí)四、關(guān)鍵操作規(guī)范與風(fēng)險(xiǎn)提示優(yōu)先保障核心業(yè)務(wù)：P0/P1級(jí)故障處理期間，暫停非核心系統(tǒng)變更（如數(shù)據(jù)報(bào)表優(yōu)化），避免資源分散；嚴(yán)禁操作失誤：修改配置、執(zhí)行重啟等高危操作前，需確認(rèn)命令準(zhǔn)確性（如systemctlrestartnginx而非systemctlstopnginx），避免誤操作導(dǎo)致故障擴(kuò)大；全程溝通同步：每30分鐘向業(yè)務(wù)方反饋處