IT系統(tǒng)故障排查與修復(fù)指南一、適用場(chǎng)景與觸發(fā)條件本指南適用于企業(yè)級(jí)IT系統(tǒng)（如業(yè)務(wù)系統(tǒng)、數(shù)據(jù)庫(kù)、中間件、網(wǎng)絡(luò)設(shè)備等）在運(yùn)行過(guò)程中出現(xiàn)的各類(lèi)故障場(chǎng)景，具體包括但不限于：突發(fā)性故障：系統(tǒng)突然宕機(jī)、服務(wù)無(wú)響應(yīng)、用戶(hù)無(wú)法登錄、核心業(yè)務(wù)功能中斷等；功能類(lèi)故障：系統(tǒng)響應(yīng)緩慢、頁(yè)面加載超時(shí)、數(shù)據(jù)庫(kù)查詢(xún)卡頓、服務(wù)器資源（CPU/內(nèi)存/磁盤(pán)）利用率持續(xù)過(guò)高；數(shù)據(jù)類(lèi)故障：數(shù)據(jù)丟失、數(shù)據(jù)不一致、報(bào)表異常、備份失敗等；網(wǎng)絡(luò)類(lèi)故障：網(wǎng)絡(luò)連接中斷、訪問(wèn)延遲激增、特定區(qū)域無(wú)法訪問(wèn)、帶寬異常占用；安全類(lèi)故障：疑似黑客入侵、病毒告警、異常登錄、數(shù)據(jù)泄露風(fēng)險(xiǎn)等。觸發(fā)條件：當(dāng)監(jiān)控平臺(tái)告警、用戶(hù)投訴、例行巡檢發(fā)覺(jué)異常或運(yùn)維人員主動(dòng)感知到系統(tǒng)異常時(shí)，需立即啟動(dòng)本指南進(jìn)行排查與修復(fù)。二、標(biāo)準(zhǔn)化故障排查流程（一）故障現(xiàn)象與影響范圍確認(rèn)收集故障信息記錄故障發(fā)生時(shí)間（精確到分鐘）、具體表現(xiàn)（如“訂單系統(tǒng)提交按鈕無(wú)響應(yīng)”“數(shù)據(jù)庫(kù)連接超時(shí)報(bào)錯(cuò)”）；確認(rèn)故障影響范圍（如“僅華東區(qū)域用戶(hù)受影響”“所有員工無(wú)法訪問(wèn)OA系統(tǒng)”）；初步判斷故障等級(jí)（參考：P1-核心業(yè)務(wù)中斷、P2-主要功能異常、P3-次要功能受影響、P4-輕微體驗(yàn)問(wèn)題）。同步相關(guān)方立即通知運(yùn)維負(fù)責(zé)人、開(kāi)發(fā)負(fù)責(zé)人及業(yè)務(wù)接口人*，明確故障現(xiàn)狀及影響；若涉及外部用戶(hù)，需按應(yīng)急預(yù)案準(zhǔn)備用戶(hù)告知話(huà)術(shù)。（二）信息收集與線索梳理日志收集應(yīng)用層日志：收集故障系統(tǒng)近1小時(shí)內(nèi)的應(yīng)用日志（如Tomcatcatalina.out、業(yè)務(wù)系統(tǒng)操作日志），重點(diǎn)關(guān)注ERROR級(jí)別日志、異常堆棧信息；系統(tǒng)日志：收集服務(wù)器系統(tǒng)日志（如/var/log/messages、Windows事件查看器），查看內(nèi)核錯(cuò)誤、服務(wù)啟停記錄；中間件日志：若涉及數(shù)據(jù)庫(kù)（MySQL/Oracle）、緩存（Redis）、消息隊(duì)列（Kafka/RabbitMQ）等，需收集對(duì)應(yīng)中間件日志，如MySQLerror.log、Redis慢查詢(xún)?nèi)罩?。監(jiān)控?cái)?shù)據(jù)提取從監(jiān)控平臺(tái)（如Zabbix、Prometheus）提取故障時(shí)間段的關(guān)鍵指標(biāo)：服務(wù)器層面：CPU利用率、內(nèi)存使用率、磁盤(pán)I/O/空間、網(wǎng)絡(luò)帶寬；應(yīng)用層面：JVM堆內(nèi)存、線程數(shù)、接口響應(yīng)時(shí)間、錯(cuò)誤率；數(shù)據(jù)庫(kù)層面：連接數(shù)、慢查詢(xún)數(shù)、鎖等待時(shí)間、事務(wù)提交量。用戶(hù)反饋與變更記錄整理用戶(hù)反饋的詳細(xì)問(wèn)題描述（如“在Chrome瀏覽器下無(wú)法提交，但Edge可以”）；查看近3天的變更記錄（包括代碼發(fā)布、配置修改、補(bǔ)丁安裝、服務(wù)器重啟等），確認(rèn)故障是否與變更相關(guān)。（三）根因分析與假設(shè)驗(yàn)證提出初步假設(shè)基于收集的信息，列出可能的故障原因，例如：現(xiàn)象：“數(shù)據(jù)庫(kù)連接池滿(mǎn)”，假設(shè)①：應(yīng)用未及時(shí)釋放連接；假設(shè)②：數(shù)據(jù)庫(kù)連接數(shù)配置過(guò)?。患僭O(shè)③：數(shù)據(jù)庫(kù)慢查詢(xún)導(dǎo)致連接阻塞?，F(xiàn)象：“服務(wù)器CPU飆至100%”，假設(shè)①：某個(gè)進(jìn)程異常占用CPU；假設(shè)②：惡意腳本或挖礦程序；假設(shè)③：業(yè)務(wù)量突增導(dǎo)致并發(fā)過(guò)高。設(shè)計(jì)驗(yàn)證方案針對(duì)每個(gè)假設(shè)，通過(guò)工具或命令驗(yàn)證：例：驗(yàn)證“進(jìn)程異常占用CPU”，可通過(guò)top（Linux）或任務(wù)管理器（Windows）查看CPU占用最高的進(jìn)程，結(jié)合ps-ef（Linux）或wmicprocess（Windows）分析進(jìn)程詳情；例：驗(yàn)證“數(shù)據(jù)庫(kù)連接池滿(mǎn)”，可通過(guò)showprocesslist（MySQL）查看活躍連接數(shù)，對(duì)比配置的最大連接數(shù)。排除與確認(rèn)根因逐步排除不成立的假設(shè)，最終定位唯一根因（如確認(rèn)“數(shù)據(jù)庫(kù)存在未提交的長(zhǎng)事務(wù)導(dǎo)致連接阻塞”）。（四）故障修復(fù)與臨時(shí)措施制定修復(fù)方案根據(jù)根因選擇最優(yōu)修復(fù)方式（優(yōu)先選擇可快速恢復(fù)業(yè)務(wù)的方案，后續(xù)再優(yōu)化根本問(wèn)題）：軟件故障：重啟服務(wù)、回滾配置/代碼、修復(fù)bug補(bǔ)丁；硬件故障：更換故障設(shè)備（如磁盤(pán)、內(nèi)存）、切換備用設(shè)備；資源不足：臨時(shí)擴(kuò)容（如增加服務(wù)器內(nèi)存、數(shù)據(jù)庫(kù)分片限流）；網(wǎng)絡(luò)故障：調(diào)整路由策略、防火墻規(guī)則、更換網(wǎng)線。執(zhí)行臨時(shí)措施若故障影響核心業(yè)務(wù)，需先實(shí)施臨時(shí)恢復(fù)措施（如切換到備用集群、手動(dòng)處理積壓數(shù)據(jù)），保證業(yè)務(wù)在30分鐘內(nèi)初步恢復(fù)；修復(fù)操作需雙人確認(rèn)（執(zhí)行人、審核人），避免誤操作。（五）修復(fù)效果驗(yàn)證與業(yè)務(wù)恢復(fù)驗(yàn)證修復(fù)結(jié)果功能驗(yàn)證：在測(cè)試環(huán)境模擬用戶(hù)操作，確認(rèn)故障現(xiàn)象已消失（如“訂單提交成功”“數(shù)據(jù)庫(kù)連接正?！保?；功能驗(yàn)證：監(jiān)控關(guān)鍵指標(biāo)是否恢復(fù)正常（如CPU利用率降至70%以下、接口響應(yīng)時(shí)間<2秒）；穩(wěn)定性驗(yàn)證：持續(xù)觀察30分鐘，確認(rèn)系統(tǒng)未出現(xiàn)二次故障。逐步恢復(fù)業(yè)務(wù)驗(yàn)證通過(guò)后，按“預(yù)發(fā)布環(huán)境→生產(chǎn)環(huán)境小流量→全量流量”的順序恢復(fù)業(yè)務(wù)；恢復(fù)過(guò)程中密切監(jiān)控，若再次出現(xiàn)故障，立即回滾至上一個(gè)穩(wěn)定狀態(tài)。（六）故障復(fù)盤(pán)與知識(shí)沉淀召開(kāi)復(fù)盤(pán)會(huì)議參與人員：運(yùn)維、開(kāi)發(fā)、業(yè)務(wù)、管理層；復(fù)盤(pán)內(nèi)容：故障根因、處理過(guò)程中的不足（如“監(jiān)控指標(biāo)覆蓋不全”“響應(yīng)延遲超時(shí)”）、改進(jìn)措施。更新知識(shí)庫(kù)將故障現(xiàn)象、排查過(guò)程、修復(fù)方案錄入知識(shí)管理系統(tǒng)，標(biāo)注“高頻故障”關(guān)鍵詞；優(yōu)化監(jiān)控告警策略（如新增“慢查詢(xún)數(shù)>10次/分鐘”告警）、完善應(yīng)急預(yù)案（如“數(shù)據(jù)庫(kù)主從切換流程”）。三、核心工具模板清單（一）IT系統(tǒng)故障記錄表字段填寫(xiě)內(nèi)容示例故障IDF20240520-001發(fā)生時(shí)間2024-05-2014:30故障等級(jí)P2（主要功能異常：訂單系統(tǒng)無(wú)法訂單）故障系統(tǒng)電商訂單系統(tǒng)現(xiàn)象描述用戶(hù)提交訂單時(shí)，頁(yè)面提示“系統(tǒng)繁忙，請(qǐng)稍后重試”，日志報(bào)“數(shù)據(jù)庫(kù)連接池exhausted”影響范圍全渠道用戶(hù)（Web/App/小程序），日均影響訂單量約500單上報(bào)人運(yùn)維工程師*初始處理人運(yùn)維工程師*根因分析數(shù)據(jù)庫(kù)存在未提交的長(zhǎng)事務(wù)，占用連接池超時(shí)，導(dǎo)致新連接無(wú)法獲取修復(fù)措施殺死長(zhǎng)事務(wù)進(jìn)程，調(diào)整連接池超時(shí)時(shí)間（從30s延長(zhǎng)至60s）修復(fù)時(shí)間2024-05-2015:15驗(yàn)證結(jié)果訂單提交功能恢復(fù)正常，監(jiān)控顯示連接池使用率<80%后續(xù)改進(jìn)增加“長(zhǎng)事務(wù)告警”監(jiān)控項(xiàng)，開(kāi)發(fā)團(tuán)隊(duì)優(yōu)化事務(wù)提交邏輯（二）故障排查過(guò)程表排查時(shí)間排查步驟操作內(nèi)容執(zhí)行人結(jié)果描述下一步行動(dòng)14:35檢查應(yīng)用日志查看訂單系統(tǒng)Tomcat日志，發(fā)覺(jué)大量“java.sql.SQLException:Noactiveconnection”錯(cuò)誤運(yùn)維*確認(rèn)數(shù)據(jù)庫(kù)連接池滿(mǎn)檢查數(shù)據(jù)庫(kù)狀態(tài)14:40檢查數(shù)據(jù)庫(kù)連接池執(zhí)行showprocesslist，發(fā)覺(jué)10個(gè)狀態(tài)為“Locked”的事務(wù)，持續(xù)時(shí)間超5分鐘DBA*確認(rèn)長(zhǎng)事務(wù)阻塞連接池殺死長(zhǎng)事務(wù)進(jìn)程14:50殺死長(zhǎng)事務(wù)進(jìn)程執(zhí)行kill[事務(wù)ID]DBA*事務(wù)已終止，連接池使用率從100%降至60%驗(yàn)證業(yè)務(wù)功能15:00驗(yàn)證訂單提交功能模擬用戶(hù)提交訂單，成功訂單測(cè)試*功能恢復(fù)正常持續(xù)監(jiān)控30分鐘（三）故障修復(fù)驗(yàn)證表驗(yàn)證項(xiàng)驗(yàn)證方法預(yù)期結(jié)果實(shí)際結(jié)果是否通過(guò)驗(yàn)證人驗(yàn)證時(shí)間訂單提交功能模擬10筆訂單提交全部成功全部成功是測(cè)試*15:20數(shù)據(jù)庫(kù)連接池監(jiān)控平臺(tái)查看連接使用率<80%65%是運(yùn)維*15:25接口響應(yīng)時(shí)間Postman測(cè)試下單接口<2s1.2s是開(kāi)發(fā)*15:30四、關(guān)鍵執(zhí)行要點(diǎn)與風(fēng)險(xiǎn)規(guī)避（一）安全操作規(guī)范數(shù)據(jù)備份：在進(jìn)行修復(fù)操作前（如修改配置、刪除文件），必須對(duì)相關(guān)數(shù)據(jù)進(jìn)行備份（數(shù)據(jù)庫(kù)全量備份、配置文件快照），避免二次故障；高危操作審批：涉及數(shù)據(jù)庫(kù)delete/update、服務(wù)器rm-rf、核心服務(wù)重啟等高危操作，需提交《高危操作申請(qǐng)單》，經(jīng)運(yùn)維負(fù)責(zé)人、開(kāi)發(fā)負(fù)責(zé)人雙審批后方可執(zhí)行；權(quán)限最小化：故障排查僅使用必要賬號(hào)權(quán)限，避免使用root/管理員賬號(hào)直接操作業(yè)務(wù)系統(tǒng)。（二）溝通與協(xié)作機(jī)制信息同步：故障處理期間，每30分鐘向相關(guān)方同步進(jìn)展（如“已定位根因，正在修復(fù)”“業(yè)務(wù)已初步恢復(fù)”），重大變更需即時(shí)同步；跨團(tuán)隊(duì)協(xié)作：若故障涉及多團(tuán)隊(duì)（如網(wǎng)絡(luò)、應(yīng)用、數(shù)據(jù)庫(kù)），需指定臨時(shí)負(fù)責(zé)人（通常為運(yùn)維負(fù)責(zé)人），統(tǒng)一協(xié)調(diào)資源，避免指令混亂。（三）避免常見(jiàn)排查誤區(qū)盲目重啟服務(wù)：未分析日志和監(jiān)控?cái)?shù)據(jù)前，避免直接重啟服務(wù)（可能導(dǎo)致故障根因隱藏、業(yè)務(wù)恢復(fù)延遲）；忽略變更關(guān)聯(lián)性：60%以上的故障與近期變更相關(guān)，務(wù)必優(yōu)先排查近3天的變更記錄；未驗(yàn)證修復(fù)效果：修復(fù)后需通過(guò)功能測(cè)試、功能測(cè)試、穩(wěn)定性驗(yàn)證三重確認(rèn)，避免“假修復(fù)”（如臨時(shí)解決表面問(wèn)題，根因未排除）。（四）預(yù)防性措施建議監(jiān)控完善：核心系統(tǒng)需部署全鏈路監(jiān)控（應(yīng)用+系統(tǒng)+網(wǎng)絡(luò)），關(guān)鍵指標(biāo)（如CPU、內(nèi)存、錯(cuò)誤率）設(shè)置多級(jí)告警（閾值告警+趨勢(shì)告警）；定