IT系統(tǒng)故障排查與修復(fù)工作指南一、指南概述本指南旨在為IT運(yùn)維人員提供標(biāo)準(zhǔn)化的故障排查與修復(fù)流程，通過系統(tǒng)化的操作步驟、規(guī)范化的記錄模板及明確的注意事項(xiàng)，保證故障處理的及時性、準(zhǔn)確性和可追溯性，最大限度降低故障對業(yè)務(wù)系統(tǒng)的影響，保障IT基礎(chǔ)設(shè)施穩(wěn)定運(yùn)行。二、適用范圍本指南適用于企業(yè)內(nèi)部各類IT系統(tǒng)的故障處理場景，包括但不限于：服務(wù)器硬件故障（如服務(wù)器宕機(jī)、硬盤損壞、內(nèi)存故障等）；操作系統(tǒng)故障（如系統(tǒng)崩潰、服務(wù)無法啟動、功能瓶頸等）；網(wǎng)絡(luò)設(shè)備故障（如交換機(jī)/路由器宕機(jī)、網(wǎng)絡(luò)中斷、配置錯誤等）；業(yè)務(wù)應(yīng)用故障（如系統(tǒng)無法登錄、功能模塊異常、數(shù)據(jù)錯誤等）；數(shù)據(jù)庫故障（如數(shù)據(jù)庫連接失敗、數(shù)據(jù)丟失、功能下降等）。適用人員包括IT運(yùn)維工程師、系統(tǒng)管理員、網(wǎng)絡(luò)工程師及應(yīng)用支持人員。三、故障排查流程（一）故障發(fā)覺與初步判斷故障發(fā)覺渠道監(jiān)控系統(tǒng)告警：通過Zabbix、Nagios等監(jiān)控工具觸發(fā)CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)等關(guān)鍵指標(biāo)閾值告警；用戶反饋：通過客服系統(tǒng)、郵件或即時通訊工具收到用戶報障（如“系統(tǒng)無法訪問”“功能操作失敗”等）；定期巡檢發(fā)覺：運(yùn)維人員通過日常巡檢檢查服務(wù)器狀態(tài)、日志異常等潛在問題。初步判斷與分類根據(jù)故障現(xiàn)象快速區(qū)分故障類型：硬件故障（如服務(wù)器指示燈異常、硬件報錯日志）、軟件故障（如服務(wù)進(jìn)程異常、系統(tǒng)報錯）、網(wǎng)絡(luò)故障（如ping不通、端口無法訪問）、業(yè)務(wù)邏輯故障（如數(shù)據(jù)計算錯誤、流程中斷）；評估故障影響范圍：是否影響單一用戶、部分部門或全公司業(yè)務(wù)，判斷故障優(yōu)先級（P0-緊急/P1-重要/P2-一般/P3-低優(yōu)先級）。（二）信息收集與記錄收集關(guān)鍵信息故障發(fā)生時間：精確到分鐘（如“2023-10-2714:30:00”）；故障現(xiàn)象描述：具體、可復(fù)現(xiàn)（如“登錄系統(tǒng)時提示‘驗(yàn)證碼錯誤’，但實(shí)際輸入正確”）；影響范圍：受影響用戶數(shù)量、業(yè)務(wù)模塊（如“銷售部門無法提交訂單，影響約50人”）；相關(guān)環(huán)境信息：服務(wù)器IP地址、操作系統(tǒng)版本、應(yīng)用版本、最近變更記錄（如“服務(wù)器IP：192.168.1.100，OS：CentOS7.9，應(yīng)用版本：V2.1.3，昨天更新過支付模塊”）。填寫《故障初始記錄表》（詳見“五、故障記錄與修復(fù)驗(yàn)證模板”部分，實(shí)時記錄關(guān)鍵信息，避免遺漏。）（三）故障定位采用“分層排查法”，從底層到上層逐步縮小故障范圍：物理層排查：檢查服務(wù)器硬件狀態(tài)（電源指示燈、硬盤運(yùn)行燈）、網(wǎng)絡(luò)設(shè)備指示燈（光纖模塊、網(wǎng)線接口松動）、機(jī)房環(huán)境（溫度、濕度、供電）；網(wǎng)絡(luò)層排查：使用ping、traceroute、telnet等工具測試網(wǎng)絡(luò)連通性（如“ping192.168.1.100是否通”“telnet192.168.1.100:8080是否成功”），檢查交換機(jī)/路由器配置（VLAN劃分、路由表、ACL策略）；系統(tǒng)層排查：檢查服務(wù)器進(jìn)程狀態(tài)（ps-ef|grep進(jìn)程名）、系統(tǒng)日志（/var/log/messages、/var/log/syslog）、磁盤空間（df-h）、內(nèi)存使用情況（free-m）；應(yīng)用層排查：檢查應(yīng)用服務(wù)日志（如Tomcatcatalina.out、業(yè)務(wù)應(yīng)用日志）、數(shù)據(jù)庫連接狀態(tài)（psaux|greporacle/mysql）、應(yīng)用配置文件是否正確。（四）原因分析根據(jù)定位結(jié)果，結(jié)合日志、變更記錄等信息，分析故障根本原因：硬件故障：如硬盤SMART報錯、內(nèi)存損壞（通過dmesg日志確認(rèn)）；軟件故障：如系統(tǒng)補(bǔ)丁沖突、應(yīng)用服務(wù)進(jìn)程崩潰（通過core文件分析）；網(wǎng)絡(luò)故障：如防火墻策略阻斷、DNS解析失?。ㄍㄟ^nslookup測試）；人為故障：如誤刪除文件、配置錯誤（通過變更記錄追溯操作人員*）。四、系統(tǒng)修復(fù)操作指南（一）制定修復(fù)方案方案原則：優(yōu)先采用“最小影響”修復(fù)方式，避免二次故障；方案內(nèi)容：包括修復(fù)步驟、所需資源（如備件、工具）、風(fēng)險預(yù)案（如修復(fù)失敗回滾方案）、責(zé)任分工（如“硬件更換由運(yùn)維工程師負(fù)責(zé)，配置調(diào)整由網(wǎng)絡(luò)工程師負(fù)責(zé)”）；方案審批：P0/P1級故障需提交IT經(jīng)理審批，P2/P3級故障由運(yùn)維組長審批。（二）執(zhí)行修復(fù)操作根據(jù)故障類型選擇對應(yīng)修復(fù)方式：硬件故障修復(fù)：更換故障硬件（如硬盤、內(nèi)存），保證備件型號兼容；更換后開機(jī)自檢（POST），檢查硬件是否識別正常；重新安裝操作系統(tǒng)或恢復(fù)系統(tǒng)鏡像（如使用Clonezilla克隆系統(tǒng)）。軟件故障修復(fù)：服務(wù)進(jìn)程異常：重啟服務(wù)（systemctlrestart服務(wù)名），檢查服務(wù)狀態(tài)；系統(tǒng)文件損壞：使用sfc/scannow（Windows）或rpm-Va（Linux）修復(fù)系統(tǒng)文件；應(yīng)用版本問題：回滾至穩(wěn)定版本（如通過gitrevert回滾代碼），或升級至最新補(bǔ)丁版本。網(wǎng)絡(luò)故障修復(fù)：配置錯誤：登錄設(shè)備檢查配置（如showrunning-config），恢復(fù)正確配置；設(shè)備宕機(jī)：重啟設(shè)備，若無法恢復(fù)則啟用備用設(shè)備；網(wǎng)絡(luò)擁塞：調(diào)整QoS策略，限制非關(guān)鍵業(yè)務(wù)帶寬。業(yè)務(wù)應(yīng)用故障修復(fù)：數(shù)據(jù)錯誤：通過數(shù)據(jù)庫備份恢復(fù)數(shù)據(jù)（如mysqldump恢復(fù)），或手動修正數(shù)據(jù)；功能模塊異常：重啟應(yīng)用服務(wù)，檢查中間件（如Redis、Nginx）狀態(tài)，排查代碼邏輯錯誤。（三）修復(fù)驗(yàn)證功能驗(yàn)證：測試故障點(diǎn)是否恢復(fù)正常（如“登錄系統(tǒng)是否成功”“訂單提交是否正?！保魂P(guān)聯(lián)驗(yàn)證：檢查相關(guān)業(yè)務(wù)模塊是否受影響（如“支付功能修復(fù)后，訂單和庫存扣減是否正?！保还δ茯?yàn)證：監(jiān)控系統(tǒng)資源（CPU、內(nèi)存、磁盤I/O、網(wǎng)絡(luò)帶寬）是否恢復(fù)正常，避免修復(fù)引發(fā)新功能問題；用戶驗(yàn)證：邀請受影響用戶確認(rèn)業(yè)務(wù)是否可用（如“銷售部門同事請測試訂單提交功能”）。（四）恢復(fù)與監(jiān)控系統(tǒng)恢復(fù)：逐步恢復(fù)業(yè)務(wù)流量（如先開放內(nèi)部測試，再全量上線）；持續(xù)監(jiān)控：通過監(jiān)控系統(tǒng)觀察故障指標(biāo)（如服務(wù)器負(fù)載、應(yīng)用響應(yīng)時間）至少2小時，保證無復(fù)發(fā)；通知相關(guān)人員：向用戶發(fā)送故障解決通知（如“系統(tǒng)故障已修復(fù)，可正常使用”），向IT團(tuán)隊(duì)提交修復(fù)報告。五、故障記錄與修復(fù)驗(yàn)證模板（一）故障初始記錄表字段名填寫內(nèi)容示例故障編號IT-20231027-001報告時間2023-10-2714:30:00報告人運(yùn)維工程師*故障系統(tǒng)銷售訂單管理系統(tǒng)故障現(xiàn)象用戶無法登錄，提示“驗(yàn)證碼錯誤”，實(shí)際輸入正確驗(yàn)證碼影響范圍銷售部門約50人無法提交訂單初步判斷應(yīng)用層故障（驗(yàn)證碼模塊異常）優(yōu)先級P1（重要業(yè)務(wù)受影響）相關(guān)環(huán)境信息服務(wù)器IP：192.168.1.100；OS：CentOS7.9；應(yīng)用版本：V2.1.3；昨天更新過驗(yàn)證碼模塊（二）修復(fù)驗(yàn)證記錄表字段名填寫內(nèi)容示例故障編號IT-20231027-001修復(fù)時間2023-10-2715:45:00操作人員運(yùn)維工程師*修復(fù)措施1.重啟驗(yàn)證碼服務(wù)；2.檢查驗(yàn)證碼日志，發(fā)覺Redis緩存異常，清除緩存后恢復(fù)驗(yàn)證結(jié)果功能驗(yàn)證：登錄成功，驗(yàn)證碼正常；功能驗(yàn)證：服務(wù)器CPU負(fù)載從80%降至30%用戶反饋銷售部門確認(rèn)可正常提交訂單后續(xù)建議監(jiān)控Redis緩存狀態(tài)，定期清理過期數(shù)據(jù)六、關(guān)鍵注意事項(xiàng)（一）操作規(guī)范禁止盲目操作：未明確故障原因前，嚴(yán)禁隨意重啟服務(wù)器、刪除文件或修改配置；保留操作記錄：所有修復(fù)操作需記錄命令（如“systemctlrestartnginx”）、執(zhí)行時間及結(jié)果，便于追溯；權(quán)限控制：僅授權(quán)人員執(zhí)行高危操作（如數(shù)據(jù)庫刪除、系統(tǒng)配置修改），操作前需雙人確認(rèn)。（二）溝通協(xié)作及時通報：P0/P1級故障需在發(fā)覺后15分鐘內(nèi)通知IT經(jīng)理*及相關(guān)部門負(fù)責(zé)人，每30分鐘更新處理進(jìn)展；用戶溝通：故障期間通過公告、郵件向用戶說明情況（如“系統(tǒng)正在維護(hù)，預(yù)計14:00恢復(fù)”），避免用戶重復(fù)報障。（三）安全與備份操作前備份：修改配置文件、刪除數(shù)據(jù)前，必須備份原文件（如cp/etc/nginx/nginx.conf/etc/nginx/nginx.conf.bak）；防病毒與漏洞：修復(fù)后及時更新系統(tǒng)補(bǔ)丁、病毒