IT系統(tǒng)故障排除手冊模板一、手冊適用范圍本手冊適用于企業(yè)內(nèi)部各類IT系統(tǒng)的故障排查與處理工作，覆蓋硬件設備、網(wǎng)絡環(huán)境、數(shù)據(jù)庫、應用軟件等多個技術領域。具體包括但不限于：服務器宕機、網(wǎng)絡中斷、數(shù)據(jù)庫連接失敗、應用系統(tǒng)無法訪問、數(shù)據(jù)異常等常見場景。手冊面向企業(yè)IT運維團隊、系統(tǒng)管理員、技術支持工程師及相關技術人員，旨在通過標準化流程提升故障響應效率，降低業(yè)務中斷風險，保證IT系統(tǒng)穩(wěn)定運行。（一）適用系統(tǒng)類型基礎設施層：包括物理服務器、虛擬化平臺（如VMware、KVM）、存儲設備、網(wǎng)絡交換機/路由器等硬件設備故障。平臺軟件層：包括操作系統(tǒng)（WindowsServer、Linux）、數(shù)據(jù)庫系統(tǒng)（MySQL、Oracle、SQLServer）、中間件（Tomcat、Nginx、WebLogic）等平臺軟件故障。應用業(yè)務層：包括企業(yè)資源計劃（ERP）、客戶關系管理（CRM）、辦公自動化（OA）、人力資源（HR）等業(yè)務應用系統(tǒng)故障。安全防護層：包括防火墻、入侵檢測系統(tǒng)（IDS）、殺毒軟件等安全設備或策略配置故障。（二）適用人員角色一線運維人員：負責故障初步響應、信息收集與簡單處理。二線技術專家：負責復雜故障定位、深度分析與方案制定。業(yè)務部門接口人：負責配合描述故障現(xiàn)象、確認業(yè)務影響范圍。系統(tǒng)管理員：負責權限管理、系統(tǒng)配置與長期優(yōu)化。二、故障排查標準化流程故障排查需遵循“快速響應、準確定位、高效處理、徹底閉環(huán)”的原則，嚴格按照以下流程執(zhí)行，保證每一步驟可追溯、可復盤。（一）故障發(fā)覺與上報故障發(fā)覺渠道監(jiān)控系統(tǒng)告警：通過Zabbix、Prometheus等監(jiān)控系統(tǒng)捕獲服務器CPU、內(nèi)存、磁盤IO、網(wǎng)絡流量等指標異常，或應用服務狀態(tài)異常告警。用戶反饋：通過客服、企業(yè)群、故障申報平臺等渠道接收業(yè)務部門或用戶的故障報告（如“無法登錄OA系統(tǒng)”“數(shù)據(jù)報表失敗”）。主動巡檢：運維人員定期執(zhí)行系統(tǒng)巡檢時發(fā)覺潛在故障（如磁盤空間不足、證書過期）。故障上報規(guī)范一線運維人員發(fā)覺或接到故障后，需在15分鐘內(nèi)通過《故障報告單》（見表1）記錄關鍵信息，并同步至二線技術負責人及業(yè)務接口人。故障報告需明確：故障發(fā)生時間、影響范圍（如“銷售部無法訪問ERP系統(tǒng)”）、故障現(xiàn)象描述（如“登錄時提示‘數(shù)據(jù)庫連接超時’”）、是否已嘗試初步處理等。表1：IT系統(tǒng)故障報告單故障編號系統(tǒng)名稱故障類型發(fā)生時間上報人聯(lián)系方式F20240515001ERP系統(tǒng)數(shù)據(jù)庫故障2024-05-1509:30張*1385678故障現(xiàn)象描述影響范圍初步處理措施優(yōu)先級銷售模塊訂單查詢報錯，提示“ORA-12514:TNS:監(jiān)聽程序當前無法識別連接描述符中請求的服務”銷售部全部門無法正常下單檢查數(shù)據(jù)庫監(jiān)聽狀態(tài)，發(fā)覺監(jiān)聽未啟動高（二）故障信息收集故障信息是定位問題的核心依據(jù)，需全面、準確地收集以下內(nèi)容，避免遺漏關鍵線索：系統(tǒng)環(huán)境信息硬件配置：服務器型號、CPU/內(nèi)存規(guī)格、磁盤陣列類型（如RD5）。軟件版本：操作系統(tǒng)版本（如CentOS7.9）、數(shù)據(jù)庫版本（如Oracle19c）、應用版本（如ERPV2.1.3）。網(wǎng)絡拓撲：故障設備IP地址、VLAN劃分、網(wǎng)關及防火墻策略。故障日志信息系統(tǒng)日志：通過/var/log/messages（Linux）、事件查看器（Windows）獲取系統(tǒng)級錯誤日志。應用日志：訪問應用日志目錄（如/opt/tomcat/logs/catalina.out），檢索故障發(fā)生時間前后的ERROR、WARN級別日志。數(shù)據(jù)庫日志：Oracle的alert.log、MySQL的error.log，記錄數(shù)據(jù)庫啟動、運行及錯誤信息。中間件日志：Nginx的error.log、Tomcat的catalina.out，捕獲服務異常堆棧信息。用戶操作記錄向故障涉及人員詢問故障前的操作行為（如“是否最近更新了插件？”“是否了大文件？”）。通過系統(tǒng)操作審計日志（如數(shù)據(jù)庫審計、應用操作日志）驗證用戶操作記錄。監(jiān)控數(shù)據(jù)趨勢調(diào)取監(jiān)控系統(tǒng)歷史數(shù)據(jù)，對比故障發(fā)生前CPU、內(nèi)存、磁盤、網(wǎng)絡等指標的變化趨勢（如“故障前10分鐘內(nèi)存使用率突然從60%飆升至95%”）。（三）故障定位與根因分析基于收集的信息，采用“從外到內(nèi)、從簡到繁”的排查思路，逐步縮小故障范圍，最終定位根因。分層排查法網(wǎng)絡層排查：使用ping測試目標主機連通性（ping-t192.168.1.100），tracert追蹤網(wǎng)絡路由路徑（tracert192.168.1.100），netstat-an檢查端口監(jiān)聽狀態(tài)（如“3306端口是否被MySQL監(jiān)聽”）。系統(tǒng)層排查：通過top/htop查看進程資源占用，df-h檢查磁盤空間，tail-f實時監(jiān)控日志文件變化。應用層排查：檢查應用服務狀態(tài)（如systemctlstatustomcat），驗證配置文件正確性（如數(shù)據(jù)庫連接串、JVM參數(shù)）。數(shù)據(jù)層排查：連接數(shù)據(jù)庫執(zhí)行簡單查詢（如SELECT1FROMDUAL），檢查表空間使用率（SELECTtablespace_name,SUM(tes)/1024/1024MBFROMdba_data_filesGROUPBYtablespace_name）。根因分析工具5Why分析法：對故障現(xiàn)象連續(xù)追問“為什么”，直至找到根本原因。例如：“應用無法訪問→數(shù)據(jù)庫連接超時→數(shù)據(jù)庫服務未啟動→監(jiān)聽進程未創(chuàng)建→監(jiān)聽配置文件損壞→誤操作修改了配置文件”。魚骨圖分析法：從人、機、料、法、環(huán)、測六個維度分析可能原因，逐項驗證排除。定位結果輸出完成定位后，填寫《故障定位記錄表》（見表2），明確故障類型、根因、影響范圍及初步處理方案。表2：故障定位記錄表故障編號故障類型根因分析影響范圍責任人F20240515001數(shù)據(jù)庫故障監(jiān)聽配置文件listener.ora被誤刪，導致監(jiān)聽進程無法啟動銷售部訂單查詢、新增功能李*（四）故障處理與恢復根據(jù)根因分析結果，選擇合適的處理方案，優(yōu)先恢復業(yè)務，再根除問題。處理原則業(yè)務優(yōu)先：對于影響核心業(yè)務的故障（如數(shù)據(jù)庫宕機），先采取臨時措施恢復業(yè)務（如啟用備庫、重啟服務），再排查根因。安全第一：處理前確認操作權限，避免誤操作（如修改數(shù)據(jù)庫配置需提前備份）。最小化影響：優(yōu)先選擇對系統(tǒng)影響最小的處理方式（如重啟服務而非重裝系統(tǒng)）。常見處理措施硬件故障：更換故障硬盤（RD冗余下無需停機）、重啟服務器（需提前通知業(yè)務部門）。網(wǎng)絡故障：修復網(wǎng)線、調(diào)整防火墻策略、重啟交換機端口。軟件故障：恢復配置文件（從備份中恢復）、重啟服務、回滾版本（如應用更新后故障）。數(shù)據(jù)故障：通過備份恢復數(shù)據(jù)（全量備份+增量備份）、執(zhí)行數(shù)據(jù)修復腳本（如myisamchk修復MySQL表）。處理過程記錄詳細記錄每一步操作命令、執(zhí)行時間及結果，例如：“14:20執(zhí)行cp/backup/listener.ora.bak/oracle/product/19c/dbhome_1/network/admin/listener.ora恢復配置文件；14:22執(zhí)行l(wèi)snrctlstart啟動監(jiān)聽，返回‘LSNRCTLforLinux:Version19.0.0.0.0-Productionon15-MAY-202414:22:32’”。（五）故障驗證與閉環(huán)故障處理完成后，需全面驗證系統(tǒng)功能，保證徹底解決，并完成文檔歸檔與復盤。驗證內(nèi)容功能驗證：測試故障涉及的核心功能（如“登錄ERP系統(tǒng)→查詢訂單→新增訂單”，確認各步驟正常）。功能驗證：監(jiān)控系統(tǒng)資源使用率，保證處理過程未引入新功能瓶頸（如“重啟后CPU使用率穩(wěn)定在70%以下”）。關聯(lián)驗證：檢查關聯(lián)系統(tǒng)是否受影響（如“ERP恢復后，供應鏈系統(tǒng)同步功能是否正?！保?。用戶確認邀請業(yè)務部門接口人進行驗證，確認故障已解決且業(yè)務恢復正常，簽字確認后關閉故障。閉環(huán)與復盤更新《故障處理記錄表》（見表3），記錄最終處理結果、耗時及經(jīng)驗教訓。組織故障復盤會，分析故障暴露的問題（如“配置文件未定期備份”“監(jiān)控指標不全面”），制定改進措施（如“實施配置文件自動備份”“增加內(nèi)存使用率監(jiān)控閾值”）。表3：故障處理記錄表故障編號處理開始時間處理結束時間處理措施摘要驗收結果經(jīng)驗教訓F202405150012024-05-1510:002024-05-1510:45恢復監(jiān)聽配置文件并重啟監(jiān)聽業(yè)務部門確認正常需定期備份核心配置文件三、常見故障類型及處理模板針對IT系統(tǒng)高頻故障場景，本部分提供標準化處理模板，包含故障現(xiàn)象、排查步驟、處理方案及預防措施，可直接套用。（一）應用系統(tǒng)無法訪問1.故障現(xiàn)象用戶反饋無法打開應用系統(tǒng)（如OA、ERP），頁面提示“連接超時”“404錯誤”或“服務不可用”。2.排查步驟（1）網(wǎng)絡連通性檢查：在用戶終端執(zhí)行ping應用服務器IP，確認網(wǎng)絡可達；若不可達，檢查網(wǎng)關、DNS及防火墻策略。（2）服務狀態(tài)檢查：登錄應用服務器，執(zhí)行systemctlstatus應用服務名（如systemctlstatusnginx），確認服務是否運行。（3）端口檢查：執(zhí)行netstat-tlnp|grep端口號（如netstat-tlnp|grep80），確認應用端口是否監(jiān)聽。（4）日志分析：查看應用日志（如/var/log/nginx/error.log），定位錯誤原因（如“權限不足”“配置錯誤”）。3.處理方案服務未運行：執(zhí)行systemctlstart應用服務名啟動服務，并設置開機自啟（systemctlenable應用服務名）。端口沖突：修改應用配置文件中的端口號（如Nginx配置listen8080;），重啟服務。資源不足：清理磁盤空間（df-h查找大文件）、釋放內(nèi)存（kill進程號終止異常進程）。4.預防措施配置應用服務開機自啟，避免服務器重啟后服務未啟動。設置服務狀態(tài)監(jiān)控（如Zabbix監(jiān)控進程是否存在），異常時自動告警。（二）數(shù)據(jù)庫連接失敗1.故障現(xiàn)象應用系統(tǒng)提示“數(shù)據(jù)庫連接超時”“ORA-12541:TNS:無監(jiān)聽程序”或“Communicationslinkfailure”，無法查詢或操作數(shù)據(jù)。2.排查步驟（1）監(jiān)聽狀態(tài)檢查：登錄數(shù)據(jù)庫服務器，執(zhí)行l(wèi)snrctlstatus，確認監(jiān)聽進程是否啟動。（2）數(shù)據(jù)庫實例狀態(tài)：執(zhí)行sqlplus/assysdba，輸入SELECTstatusFROMv$instance;，確認實例狀態(tài)為“OPEN”。（3）網(wǎng)絡連接測試：在應用服務器執(zhí)行telnet數(shù)據(jù)庫IP端口（如telnet192.168.1.2001521），確認端口可達。（4）參數(shù)文件檢查：檢查數(shù)據(jù)庫tnsnames.ora配置文件中的連接串是否正確（如“HOST=192.168.1.200;PORT=1521;SERVICE_NAME=ORCL”）。3.處理方案監(jiān)聽未啟動：執(zhí)行l(wèi)snrctlstart啟動監(jiān)聽，并檢查listener.ora配置是否正確。實例未啟動：執(zhí)行startup啟動數(shù)據(jù)庫實例（需sysdba權限）。防火墻攔截：在數(shù)據(jù)庫服務器防火墻添加入站規(guī)則，允許數(shù)據(jù)庫端口（如1521）訪問。4.預防措施定期備份監(jiān)聽配置文件（listener.ora）和參數(shù)文件（tnsnames.ora）。配置數(shù)據(jù)庫集群（如RAC、主從復制），實現(xiàn)故障自動切換。（三）服務器磁盤空間不足1.故障現(xiàn)象服務器告警提示“磁盤空間使用率超過90%”，應用系統(tǒng)變慢或無法寫入數(shù)據(jù)，日志報錯“Diskfull”。2.排查步驟（1）磁盤使用率檢查：執(zhí)行df-h，查看各分區(qū)使用率，定位高占用分區(qū)（如/dev/sda1使用率98%）。（2）文件定位：執(zhí)行du-sh/*|sort-rh，查找根目錄下大文件或目錄；進入高占用分區(qū)，執(zhí)行find目錄-typef-size+100M-execls-lh{}\;，定位大文件。（3）日志文件檢查：檢查/var/log目錄下的日志文件（如messages、secure），確認是否因日志未輪轉(zhuǎn)導致占用過大。3.處理方案清理臨時文件：刪除/tmp目錄下臨時文件（rm-rf/tmp/*），注意備份重要文件。日志輪轉(zhuǎn)：配置logrotate，定期切割日志文件（如“每日切割，保留7天”）。擴容磁盤：對于物理服務器，新增磁盤并掛載；對于虛擬機，擴容磁盤后使用growpart、resize2fs擴展分區(qū)。4.預防措施設置磁盤使用率監(jiān)控（如Zabbix監(jiān)控分區(qū)使用率），超過80%時告警。配置日志自動輪轉(zhuǎn)策略，避免單個日志文件過大。四、故障處理注意事項（一）操作安全規(guī)范權限控制：故障處理需使用最小權限賬戶，避免使用root或sysdba賬戶執(zhí)行常規(guī)操作。操作前備份：修改配置文件、刪除數(shù)據(jù)前，務必備份原文件（如cp/etc/nginx/nginx.conf/etc/nginx/nginx.conf.bak）。操作記錄：重要操作需在《運維操作記錄表》中記錄，包含操作人、時間、命令及結果，便于追溯。（二）溝通協(xié)作機制及時通報：故障處理過程中，每30分鐘向業(yè)務部門及上級同步進展（如“已定位原因為數(shù)據(jù)庫監(jiān)聽未啟動，預計10分鐘內(nèi)恢復”）?？绮块T協(xié)作：涉及網(wǎng)絡、安全、硬件等跨領域故障時，及時通知對應負責人（如網(wǎng)絡故障聯(lián)系網(wǎng)絡工程師）。用戶安撫：向用戶解釋故障原因及預計恢復時間，避免引發(fā)不必要的恐慌。（三）文檔與知識管理知識庫更新：故障解決后，將處理方案、經(jīng)驗教訓錄入知識庫，標注關鍵詞（如“數(shù)據(jù)庫監(jiān)聽故障”“Nginx404錯誤”），方便后續(xù)查詢。手冊定期更新：每季度根據(jù)新增故障類型及處理經(jīng)驗，更新本手冊內(nèi)容，保證模板的適用性。（四）應急響應原則業(yè)