IT系統(tǒng)故障排查與修復(fù)手冊一、手冊適用范圍與應(yīng)用背景本手冊適用于企業(yè)內(nèi)部各類IT系統(tǒng)（包括但不限于服務(wù)器、網(wǎng)絡(luò)設(shè)備、數(shù)據(jù)庫、中間件、業(yè)務(wù)應(yīng)用系統(tǒng)等）的故障排查與修復(fù)場景，旨在規(guī)范故障處理流程、提高故障響應(yīng)效率、降低業(yè)務(wù)中斷風(fēng)險。當(dāng)系統(tǒng)出現(xiàn)服務(wù)異常、功能下降、數(shù)據(jù)錯誤或用戶無法訪問等問題時，相關(guān)技術(shù)人員可依據(jù)本手冊開展標(biāo)準(zhǔn)化操作，保證故障得到快速定位和有效解決。二、系統(tǒng)故障標(biāo)準(zhǔn)化排查流程（一）故障發(fā)覺與初步判斷故障發(fā)覺渠道監(jiān)控系統(tǒng)告警：通過Zabbix、Prometheus等工具觸發(fā)CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)等閾值告警；用戶反饋：通過客服、工單系統(tǒng)或用戶群組反饋業(yè)務(wù)功能不可用或操作異常；主動巡檢：由運維工程師*通過定期巡檢發(fā)覺潛在故障隱患（如日志報錯、服務(wù)狀態(tài)異常）。初步判斷與分類根據(jù)故障現(xiàn)象初步劃分類型：服務(wù)中斷（如無法訪問）、功能瓶頸（如響應(yīng)緩慢）、數(shù)據(jù)異常（如數(shù)據(jù)丟失或錯誤）、安全事件（如異常登錄）；評估故障影響范圍：是否影響核心業(yè)務(wù)、影響用戶規(guī)模（如單個用戶/部門/全公司）。（二）故障信息收集與記錄關(guān)鍵信息收集故障發(fā)生時間：精確到分鐘（如“2024-05-2014:30:00”）；故障現(xiàn)象描述：具體錯誤提示（如“數(shù)據(jù)庫連接超時”“502BadGateway”）、操作步驟（用戶觸發(fā)故障時的具體操作）；系統(tǒng)環(huán)境信息：服務(wù)器操作系統(tǒng)版本（如CentOS7.9）、中間件版本（如Nginx1.18.0）、數(shù)據(jù)庫版本（如MySQL8.0.25）；日志文件：收集應(yīng)用日志（如Tomcat的catalina.out）、系統(tǒng)日志（如/var/log/messages）、數(shù)據(jù)庫錯誤日志（如MySQL的error.log）、網(wǎng)絡(luò)設(shè)備日志（如交換機的syslog）；監(jiān)控數(shù)據(jù)：故障前后CPU、內(nèi)存、磁盤I/O、網(wǎng)絡(luò)帶寬等指標(biāo)變化趨勢圖。信息記錄要求使用《故障記錄表》（詳見第三章）實時填寫，避免信息遺漏；對動態(tài)變化的故障現(xiàn)象（如偶發(fā)卡頓），需記錄發(fā)生頻率和持續(xù)時間。（三）故障定位與原因分析分層定位法物理層：檢查服務(wù)器硬件狀態(tài)（如指示燈狀態(tài)、硬盤是否損壞）、網(wǎng)絡(luò)設(shè)備（交換機、路由器）端口狀態(tài)、線纜連接是否松動；系統(tǒng)層：檢查操作系統(tǒng)服務(wù)狀態(tài)（如systemctlstatusnginx）、內(nèi)核參數(shù)（如最大文件描述數(shù)）、磁盤分區(qū)使用率（如df-h）；應(yīng)用層：檢查應(yīng)用進程狀態(tài)（如ps-ef|grepjava）、中間件配置（如Nginx的upstream配置）、業(yè)務(wù)代碼日志（如SpringBoot的application.log）；數(shù)據(jù)層：檢查數(shù)據(jù)庫服務(wù)狀態(tài)（如showmasterstatus）、表空間使用率（如SELECTtable_name,data_length+index_lengthFROMinformation_schema.tables）、SQL執(zhí)行功能（如showprocesslist）。常用定位工具網(wǎng)絡(luò)診斷：ping、traceroute、telnet、tcpdump（抓包分析）；系統(tǒng)診斷：top、htop、iostat、vmstat；應(yīng)用診斷：jstack（Java線程堆棧）、gdb（程序調(diào)試）、瀏覽器開發(fā)者工具（前端錯誤）。原因分析原則從最常見原因入手（如服務(wù)未啟動、配置錯誤），逐步排查復(fù)雜原因（如代碼bug、硬件故障）；若無法復(fù)現(xiàn)故障，需結(jié)合日志時間戳與關(guān)聯(lián)操作（如系統(tǒng)更新、數(shù)據(jù)遷移）進行反向追溯。三、故障修復(fù)標(biāo)準(zhǔn)化操作步驟（一）制定修復(fù)方案與風(fēng)險評估方案制定根據(jù)故障原因選擇修復(fù)路徑：如配置錯誤則修正配置、服務(wù)異常則重啟服務(wù)、硬件故障則更換硬件；對于高風(fēng)險操作（如數(shù)據(jù)庫主從切換、系統(tǒng)版本升級），需制定備用方案（如回滾計劃、災(zāi)備預(yù)案）。風(fēng)險評估評估修復(fù)過程中的潛在風(fēng)險：如數(shù)據(jù)丟失風(fēng)險（需提前備份）、服務(wù)中斷時長（需選擇低峰期操作）、業(yè)務(wù)影響范圍（需提前通知用戶）。（二）執(zhí)行修復(fù)操作低風(fēng)險故障修復(fù)（如服務(wù)重啟、配置修正）操作步驟：（1）停止相關(guān)服務(wù)（如systemctlstoptomcat）；（2）執(zhí)行修復(fù)操作（如修改配置文件、修復(fù)錯誤數(shù)據(jù)）；（3）啟動服務(wù)并檢查狀態(tài)（如systemctlstarttomcat&&systemctlstatustomcat）；（4）驗證功能（如通過瀏覽器訪問測試頁面）。高風(fēng)險故障修復(fù)（如硬件更換、數(shù)據(jù)庫恢復(fù)）操作步驟：（1）通知業(yè)務(wù)負(fù)責(zé)人確認(rèn)操作窗口（如凌晨2:00-4:00）；（2）執(zhí)行數(shù)據(jù)備份（如mysqldump-uroot-pdbname>backup.sql）；（3）按方案執(zhí)行操作（如更換故障硬盤、從備份庫恢復(fù)數(shù)據(jù)）；（4）驗證數(shù)據(jù)一致性（如對比主從庫數(shù)據(jù)checksum）。（三）修復(fù)效果驗證與系統(tǒng)恢復(fù)驗證內(nèi)容功能驗證：核心業(yè)務(wù)流程是否正常運行（如用戶登錄、數(shù)據(jù)提交）；功能驗證：系統(tǒng)響應(yīng)時間、并發(fā)處理能力是否達(dá)標(biāo)（如使用JMeter壓測）；穩(wěn)定性驗證：持續(xù)監(jiān)控系統(tǒng)運行30分鐘以上，確認(rèn)無復(fù)發(fā)覺象。系統(tǒng)恢復(fù)恢復(fù)正常服務(wù)后，通知用戶及相關(guān)方故障已解決；若需臨時啟用備用方案（如切換至備用服務(wù)器），需在驗證后制定回原方案的計劃。四、故障處理記錄與報告模板（一）故障記錄表（實時填寫）字段名填寫內(nèi)容示例故障編號IT-20240520-001故障時間2024-05-2014:30:00故障現(xiàn)象用戶反饋“訂單系統(tǒng)無法提交訂單”，頁面提示“500InternalServerError”影響范圍全公司訂單模塊，約50名用戶受影響故障等級P1（核心業(yè)務(wù)中斷）發(fā)覺渠道客服工單初步處理人運維工程師*信息收集應(yīng)用日志：/opt/order-system/logs/error.log中出現(xiàn)“NullPointerException”；監(jiān)控數(shù)據(jù)：CPU使用率正常，內(nèi)存占用達(dá)95%故障定位結(jié)果訂單系統(tǒng)內(nèi)存溢出，因垃圾回收線程卡死導(dǎo)致修復(fù)方案重啟訂單服務(wù)，調(diào)整JVM堆內(nèi)存參數(shù)（-Xms2g-Xmx4g）修復(fù)執(zhí)行人運維工程師*修復(fù)完成時間2024-05-2014:45:00驗證結(jié)果訂單提交功能正常，內(nèi)存占用穩(wěn)定在70%后續(xù)跟進事項優(yōu)化訂單系統(tǒng)內(nèi)存管理，下周安排代碼審查（二）故障修復(fù)報告（事后24小時內(nèi)完成）模塊內(nèi)容說明故障概述簡述故障時間、現(xiàn)象、影響范圍及等級（如“2024-05-2014:30，訂單系統(tǒng)因內(nèi)存溢出中斷，影響50名用戶，等級P1”）故障原因分析詳細(xì)描述定位過程及根本原因（如“通過jstack發(fā)覺線程死鎖，因代碼中未正確釋放數(shù)據(jù)庫連接導(dǎo)致內(nèi)存泄漏”）處理過程記錄分步驟記錄修復(fù)操作（如“1.停止訂單服務(wù)；2.清理JVM堆內(nèi)存；3.調(diào)整連接池配置；4.重啟服務(wù)驗證”）修復(fù)效果評估功能、功能、穩(wěn)定性驗證結(jié)果（如“訂單提交成功率100%，響應(yīng)時間<2s，持續(xù)監(jiān)控2小時無異常”）預(yù)防措施針對原因提出改進方案（如“1.代碼中增加連接池監(jiān)控；2.每周執(zhí)行內(nèi)存泄漏檢查；3.培訓(xùn)開發(fā)人員規(guī)范使用資源”）責(zé)任人運維工程師（處理）、開發(fā)工程師（代碼優(yōu)化）審核人運維主管*五、典型故障案例參考案例1：Web應(yīng)用無法訪問（502錯誤）故障現(xiàn)象：用戶訪問“company”時提示“502BadGateway”。排查步驟：檢查Nginx服務(wù)狀態(tài)：systemctlstatusnginx——運行正常；檢查后端Tomcat服務(wù)：ps-ef|grepjava——無進程；查看Nginx錯誤日志：/var/log/nginx/error.log——顯示“upstreamtimedout(110:Connectiontimedout)”。修復(fù)措施：啟動Tomcat服務(wù)：systemctlstarttomcat；調(diào)整Nginx超時參數(shù)：將proxy_read_timeout從60s調(diào)整為120s，重啟Nginx。預(yù)防措施：增加Tomcat進程監(jiān)控，設(shè)置自動重啟策略。案例2：數(shù)據(jù)庫連接數(shù)耗盡故障現(xiàn)象：業(yè)務(wù)系統(tǒng)報錯“Toomanyconnections”。排查步驟：登錄數(shù)據(jù)庫檢查連接數(shù)：showprocesslist——當(dāng)前連接數(shù)達(dá)1000（默認(rèn)最大值）；查看慢查詢?nèi)罩荆喊l(fā)覺大量未釋放的SELECT語句；檢查應(yīng)用配置：連接池最大連接數(shù)設(shè)置為1000，未設(shè)置空閑回收策略。修復(fù)措施：臨時終止空閑連接：kill[id]；調(diào)整應(yīng)用連接池參數(shù)：將最大連接數(shù)降至800，增加removeAbandonedTimeout=300（5分鐘回收空閑連接）。預(yù)防措施：定期優(yōu)化SQL語句，避免全表查詢；設(shè)置連接池監(jiān)控告警。六、故障處理關(guān)鍵注意事項安全操作規(guī)范修復(fù)前需確認(rèn)操作權(quán)限，避免誤刪關(guān)鍵文件或修改核心配置；涉及數(shù)據(jù)庫、配置文件的操作前，必須備份原始數(shù)據(jù)（如使用cp命令備份配置文件，mysqldump備份數(shù)據(jù)庫）。時效性與溝通原則P0/P1級故障（核心業(yè)務(wù)中斷）需在15分鐘內(nèi)響應(yīng)，1小時內(nèi)給出解決方案；故障處理過程中，每30分鐘向業(yè)務(wù)負(fù)責(zé)人通報