IT系統(tǒng)維護(hù)檢查單及故障排查指南一、文檔適用場景本指南適用于企業(yè)內(nèi)部IT運(yùn)維團(tuán)隊(duì)對各類IT系統(tǒng)（包括服務(wù)器、網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、應(yīng)用系統(tǒng)及安全設(shè)備等）的日常維護(hù)檢查、定期巡檢及突發(fā)故障排查工作。具體場景包括：日常運(yùn)維中的系統(tǒng)健康狀態(tài)監(jiān)測；季度/年度系統(tǒng)全面維護(hù)保養(yǎng)；系統(tǒng)功能下降、服務(wù)異常等故障的快速定位與處理；新系統(tǒng)上線前的檢查驗(yàn)證；合規(guī)性審計(jì)前的系統(tǒng)狀態(tài)梳理。二、IT系統(tǒng)日常維護(hù)檢查標(biāo)準(zhǔn)流程（一）準(zhǔn)備工作明確檢查范圍：根據(jù)系統(tǒng)重要性（如核心業(yè)務(wù)系統(tǒng)、支撐系統(tǒng)）確定檢查對象（服務(wù)器、網(wǎng)絡(luò)設(shè)備、應(yīng)用服務(wù)等）及檢查優(yōu)先級。準(zhǔn)備工具與文檔：工具：遠(yuǎn)程監(jiān)控平臺（如Zabbix、Nagios）、日志分析工具（如ELK）、網(wǎng)絡(luò)測試工具（如Ping、Tracert、Wireshark）、硬件檢測工具（如DELLOpenManage、HPInsight）；文檔：系統(tǒng)拓?fù)鋱D、設(shè)備配置清單、維護(hù)手冊、上次檢查記錄及故障處理報(bào)告。通知相關(guān)人員：提前告知業(yè)務(wù)部門檢查時(shí)間，避免檢查期間對業(yè)務(wù)造成影響（如需停機(jī)維護(hù)，需提前24小時(shí)書面通知）。（二）硬件設(shè)備檢查1.服務(wù)器硬件檢查外觀與指示燈：檢查服務(wù)器機(jī)柜是否平穩(wěn)，無明顯異響；電源、硬盤、網(wǎng)卡等指示燈狀態(tài)正常（如電源燈常綠、硬盤燈閃爍規(guī)律正常）。硬件狀態(tài)：通過iDRAC/iLO等遠(yuǎn)程管理工具查看硬件告警（如內(nèi)存錯誤、風(fēng)扇故障），記錄硬件型號（如DELER740）及序列號。溫度與功耗：使用IPMI工具監(jiān)測CPU溫度（建議<70℃）、電源功率（不超過額定值的80%）。2.網(wǎng)絡(luò)設(shè)備檢查設(shè)備狀態(tài)：檢查交換機(jī)、路由器等設(shè)備指示燈（如Link燈、Activity燈），確認(rèn)端口無物理損壞。配置備份：通過SSH/Telnet登錄設(shè)備，執(zhí)行showrunning-config（Cisco）/displaycurrent-configuration（）命令備份配置，并與上次備份對比確認(rèn)無異常變更。流量監(jiān)控：通過NetFlow/sFlow查看端口流量，確認(rèn)無異常流量突增（如DDoS攻擊跡象）。3.存儲設(shè)備檢查存儲狀態(tài)：檢查存儲控制器狀態(tài)（如雙控制器冗余正常）、硬盤健康狀態(tài)（通過SSD/HDD廠商工具檢測壞道）。容量使用：查看LUN使用率（建議預(yù)留>20%空閑容量），確認(rèn)存儲池?zé)o過載告警。（三）軟件與系統(tǒng)檢查1.操作系統(tǒng)檢查系統(tǒng)資源：通過top（Linux）/任務(wù)管理器（Windows）查看CPU使用率（建議持續(xù)<80%）、內(nèi)存使用率（建議<85%）、磁盤I/O（等待時(shí)間<50ms）。服務(wù)狀態(tài)：檢查關(guān)鍵服務(wù)（如Web服務(wù)、數(shù)據(jù)庫服務(wù)）是否運(yùn)行，執(zhí)行systemctlstatusnginx（Linux）/netstart（Windows）命令確認(rèn)服務(wù)狀態(tài)。日志分析：查看系統(tǒng)日志（/var/log/messages/Windows事件查看器），重點(diǎn)關(guān)注ERROR、CRITICAL級別日志（如服務(wù)啟動失敗、磁盤空間不足）。2.應(yīng)用系統(tǒng)檢查應(yīng)用狀態(tài)：登錄應(yīng)用管理后臺，確認(rèn)核心功能（如用戶登錄、數(shù)據(jù)提交）正常，無報(bào)錯提示。功能指標(biāo)：通過應(yīng)用監(jiān)控工具（如APM）響應(yīng)時(shí)間（<2s）、錯誤率（<0.1%）、并發(fā)用戶數(shù)等指標(biāo)是否正常。數(shù)據(jù)一致性：核對應(yīng)用數(shù)據(jù)與數(shù)據(jù)庫數(shù)據(jù)是否一致（如訂單數(shù)量、庫存信息）。（四）安全與備份檢查1.安全設(shè)備檢查防火墻策略：檢查防火墻訪問控制列表（ACL）是否生效，確認(rèn)高危端口（如3389、22）僅對授權(quán)IP開放。入侵檢測/防御（IDS/IPS）：查看IDS/IPS告警日志，確認(rèn)無惡意攻擊（如SQL注入、暴力破解）未攔截。漏洞掃描：運(yùn)行漏洞掃描工具（如Nessus），確認(rèn)系統(tǒng)無高危漏洞（CVI評分≥7.0），已修復(fù)漏洞需驗(yàn)證修復(fù)結(jié)果。2.備份與恢復(fù)檢查備份任務(wù)：檢查備份系統(tǒng)（如Veeam、NetBackup）任務(wù)狀態(tài)，確認(rèn)備份成功（無失敗任務(wù)），備份數(shù)據(jù)完整性校驗(yàn)通過（如MD5校驗(yàn)）。備份策略：驗(yàn)證備份策略是否符合要求（如數(shù)據(jù)每天全備份+增量備份，保留周期≥30天）。恢復(fù)測試：每月至少進(jìn)行1次恢復(fù)測試（如隨機(jī)抽取備份數(shù)據(jù)恢復(fù)至測試環(huán)境），確認(rèn)恢復(fù)流程可用，數(shù)據(jù)完整。（五）記錄與報(bào)告填寫檢查記錄：將檢查結(jié)果（正常/異常）、異常描述、處理措施記錄至《IT系統(tǒng)維護(hù)檢查表》（見第四部分）。檢查報(bào)告：匯總檢查情況，對異常問題提出整改建議（如硬件更換、補(bǔ)丁升級），報(bào)告提交至運(yùn)維主管及IT部門負(fù)責(zé)人。閉環(huán)跟蹤：對未解決的問題制定整改計(jì)劃，明確責(zé)任人*及完成時(shí)限，定期跟蹤整改進(jìn)度。三、IT系統(tǒng)故障標(biāo)準(zhǔn)化排查步驟（一）故障發(fā)覺與初步判斷故障信息收集：自動告警：通過監(jiān)控系統(tǒng)（如Zabbix）獲取告警信息（如服務(wù)器宕機(jī)、服務(wù)不可用）；用戶反饋：記錄報(bào)障人*、聯(lián)系方式、故障現(xiàn)象（如“無法登錄系統(tǒng)”“頁面加載緩慢”）、故障發(fā)生時(shí)間。初步判斷范圍：根據(jù)故障現(xiàn)象判斷故障層級（網(wǎng)絡(luò)層、系統(tǒng)層、應(yīng)用層）；示例：“無法登錄”可能是網(wǎng)絡(luò)不通（網(wǎng)絡(luò)層）、數(shù)據(jù)庫服務(wù)異常（系統(tǒng)層）、認(rèn)證模塊故障（應(yīng)用層）。（二）故障定位采用“分層排查法”，從底層到上層逐步定位：1.網(wǎng)絡(luò)層排查連通性測試：從故障服務(wù)器/客戶端Ping網(wǎng)關(guān)、核心交換機(jī)、目標(biāo)服務(wù)器，確認(rèn)網(wǎng)絡(luò)是否可達(dá)；端口狀態(tài)：使用telnet測試目標(biāo)服務(wù)端口（如80、3306）是否開放；設(shè)備配置：檢查交換機(jī)VLAN劃分、路由器路由表是否正確，確認(rèn)無配置錯誤。2.系統(tǒng)層排查服務(wù)狀態(tài)：檢查系統(tǒng)服務(wù)（如MySQL、Nginx）進(jìn)程是否存在，端口是否監(jiān)聽（netstat-tuln）；資源使用：查看CPU、內(nèi)存、磁盤是否過載，導(dǎo)致服務(wù)響應(yīng)緩慢；日志分析：重點(diǎn)查看系統(tǒng)日志、應(yīng)用日志中的錯誤信息（如“數(shù)據(jù)庫連接超時(shí)”“磁盤空間不足”）。3.應(yīng)用層排查代碼與配置：檢查應(yīng)用配置文件（如數(shù)據(jù)庫連接串、API密鑰）是否正確，近期是否有代碼變更；數(shù)據(jù)一致性：核對應(yīng)用與數(shù)據(jù)庫數(shù)據(jù)是否異常（如數(shù)據(jù)丟失、字段錯誤）；第三方接口：確認(rèn)依賴的第三方服務(wù)（如短信接口、支付接口）是否正常。（三）故障處理臨時(shí)措施：對于影響業(yè)務(wù)的問題，先采取臨時(shí)恢復(fù)措施（如重啟服務(wù)、切換備用服務(wù)器），保障業(yè)務(wù)盡快恢復(fù)；根本解決：根據(jù)故障原因采取永久措施（如更換故障硬件、修復(fù)代碼bug、升級系統(tǒng)補(bǔ)?。徊僮饔涗洠涸敿?xì)記錄處理步驟、操作人員*、處理時(shí)間，避免重復(fù)操作。（四）故障驗(yàn)證與總結(jié)驗(yàn)證效果：故障處理后，測試相關(guān)功能是否恢復(fù)正常（如用戶登錄、數(shù)據(jù)查詢），監(jiān)控系統(tǒng)指標(biāo)是否穩(wěn)定；故障復(fù)盤：組織運(yùn)維團(tuán)隊(duì)*召開故障復(fù)盤會，分析故障根本原因（如監(jiān)控盲區(qū)、配置疏忽），制定預(yù)防措施（如增加監(jiān)控項(xiàng)、規(guī)范變更流程）；文檔更新：將故障處理過程、經(jīng)驗(yàn)教訓(xùn)更新至《故障知識庫》，供后續(xù)參考。四、IT系統(tǒng)維護(hù)檢查單模板（一）硬件設(shè)備檢查表檢查項(xiàng)目檢查內(nèi)容檢查標(biāo)準(zhǔn)檢查結(jié)果（正常/異常/不適用）處理意見責(zé)任人檢查日期服務(wù)器-外觀機(jī)柜平穩(wěn)性、異響、指示燈狀態(tài)無異響，電源/硬盤/網(wǎng)卡指示燈正常正常無運(yùn)維工程師*2024–服務(wù)器-硬件狀態(tài)遠(yuǎn)程管理工具硬件告警無硬件故障告警（內(nèi)存/風(fēng)扇等）異常（風(fēng)扇故障）聯(lián)系硬件供應(yīng)商更換風(fēng)扇硬件專員*2024–交換機(jī)-配置備份備份當(dāng)前配置并與上次對比配置無異常變更正常無網(wǎng)絡(luò)工程師*2024–存儲-容量使用LUN使用率、存儲池空閑容量使用率<80%，空閑容量>20%正常無存儲工程師*2024–（二）軟件與系統(tǒng)檢查表檢查項(xiàng)目檢查內(nèi)容檢查標(biāo)準(zhǔn)檢查結(jié)果（正常/異常/不適用）處理意見責(zé)任人檢查日期操作系統(tǒng)-CPU使用率持續(xù)5分鐘CPU平均使用率<80%正常無系統(tǒng)工程師*2024–數(shù)據(jù)庫服務(wù)進(jìn)程狀態(tài)、端口監(jiān)聽（3306）進(jìn)程運(yùn)行，端口監(jiān)聽正常正常無DBA*2024–應(yīng)用系統(tǒng)-功能用戶登錄、數(shù)據(jù)提交功能正常，無報(bào)錯異常（登錄失?。z查認(rèn)證模塊配置應(yīng)用工程師*2024–系統(tǒng)日志ERROR/CRITICAL級別日志數(shù)量無ERROR級別日志（或≤5條/日）正常無運(yùn)維工程師*2024–（三）安全與備份檢查表檢查項(xiàng)目檢查內(nèi)容檢查標(biāo)準(zhǔn)檢查結(jié)果（正常/異常/不適用）處理意見責(zé)任人檢查日期防火墻-ACL策略高危端口開放IP僅授權(quán)IP可訪問（如22端口僅運(yùn)維IP）正常無安全工程師*2024–備份任務(wù)備份成功率、數(shù)據(jù)完整性校驗(yàn)100%成功，校驗(yàn)通過正常無備份管理員*2024–漏洞掃描高危漏洞（CVI≥7.0）數(shù)量0個異常（發(fā)覺1個SQL注入漏洞）7天內(nèi)完成漏洞修復(fù)安全工程師*2024–恢復(fù)測試測試環(huán)境數(shù)據(jù)恢復(fù)恢復(fù)成功，數(shù)據(jù)完整正常無運(yùn)維工程師*2024–五、系統(tǒng)維護(hù)與故障處理核心注意事項(xiàng)（一）操作規(guī)范權(quán)限管理：嚴(yán)格執(zhí)行“最小權(quán)限原則”，運(yùn)維人員僅擁有操作權(quán)限范圍內(nèi)的系統(tǒng)賬號，禁止使用root/administrator賬號進(jìn)行日常操作；變更管理：任何配置變更（如系統(tǒng)參數(shù)調(diào)整、服務(wù)啟停）需提交變更申請，經(jīng)審批*后方可執(zhí)行，重大變更需在業(yè)務(wù)低峰期進(jìn)行；斷電操作：硬件維護(hù)前需確認(rèn)設(shè)備支持熱插拔，非熱插拔設(shè)備需提前關(guān)閉系統(tǒng)，避免直接斷電導(dǎo)致硬件損壞。（二）安全要求數(shù)據(jù)備份：備份數(shù)據(jù)需加密存儲，異地存放（如總部與分支機(jī)構(gòu)各存一份），防止數(shù)據(jù)丟失或泄露；防病毒：服務(wù)器、終端設(shè)備需安裝殺毒軟件，定期更新病毒庫，禁止運(yùn)行來源不明的程序；訪問控制：遠(yuǎn)程登錄需使用VPN+雙因素認(rèn)證（如手機(jī)驗(yàn)證碼），禁止直接使用公網(wǎng)IP訪問管理后臺。（三）溝通與協(xié)作故障上報(bào)：重大故障（如系統(tǒng)宕機(jī)超過30分鐘）需在15分鐘內(nèi)上報(bào)IT部門負(fù)責(zé)人*及業(yè)務(wù)部門，同步故障處理進(jìn)展；跨部門協(xié)作：涉及多部門的故障（如網(wǎng)絡(luò)問題影響業(yè)務(wù)系統(tǒng)），需由運(yùn)維主管*牽頭協(xié)調(diào)網(wǎng)絡(luò)、系統(tǒng)、應(yīng)用團(tuán)隊(duì)聯(lián)合處理；用戶溝通：故障處理期間，每30分鐘向業(yè)務(wù)部門通報(bào)一次進(jìn)展，處理完成后提供書面故障報(bào)告。（四）文檔與記錄操作日志：所有維護(hù)操作（如配置變更、故障處理）需記錄操作時(shí)間、操作人員、操作內(nèi)容，日志保存期限≥1年；知識庫：建立《故障知識庫》，記錄典型故障現(xiàn)象、原因分析、處理步驟，定期更新優(yōu)化；應(yīng)急預(yù)案：每季度更新1次《IT系統(tǒng)應(yīng)急預(yù)案》，組織應(yīng)急演練（如服務(wù)器宕機(jī)切換、數(shù)據(jù)恢復(fù)），保證預(yù)案有效性。六、附錄：常見術(shù)語解釋術(shù)語解釋Zabbix開源