服務(wù)器故障應(yīng)急方法方案部門(mén)版本編號(hào)Ver_1.0日期密級(jí)企業(yè)內(nèi)部使用文檔信息文檔名稱(chēng)服務(wù)器故障應(yīng)急方法方案日期版本號(hào)更新說(shuō)明-03-14Ver_1.0建立文檔、初始化

方案概述造成服務(wù)器出現(xiàn)故障問(wèn)題是一個(gè)龐大集合，能夠分成很多個(gè)造成服務(wù)器出現(xiàn)故障原因，依據(jù)服務(wù)器故障出現(xiàn)情況進(jìn)行分類(lèi)，確定故障屬于哪一個(gè)等級(jí)，依據(jù)對(duì)應(yīng)故障等級(jí)對(duì)故障做對(duì)應(yīng)處理，確保故障處理步驟是標(biāo)準(zhǔn)化。假如沒(méi)有一套故障處理標(biāo)準(zhǔn)，工程師只能靠經(jīng)驗(yàn)去判定，不過(guò)依靠經(jīng)驗(yàn)判定并不是不能夠，有時(shí)候這種處理方法會(huì)很高效，不過(guò)大多數(shù)這種處理方法全部是不太合理，假如更換了運(yùn)維工程師，顯然每一個(gè)工程師經(jīng)過(guò)經(jīng)驗(yàn)去判定故障原因方法全部不盡相同，這么差異將會(huì)使故障處理事后不能夠得到很好統(tǒng)計(jì)和存檔，以供其它工程師以后借鑒故障處理案例。故障處理標(biāo)準(zhǔn)化優(yōu)點(diǎn)：依據(jù)步驟能夠確定哪些故障應(yīng)該立即匯報(bào)上級(jí)，哪些能夠自行處理后，再寫(xiě)故障處理匯報(bào)匯報(bào)上級(jí)，這么做有利于提升故障處理效率。對(duì)于工程師經(jīng)驗(yàn)判定，可能出現(xiàn)判定失誤情況，依據(jù)故障判定步驟，能夠不遺漏任何可能情況對(duì)服務(wù)器故障進(jìn)行排除。有時(shí)候工程師處理了故障以后只是簡(jiǎn)單做了一下匯報(bào)，并沒(méi)有部分故障處理過(guò)程統(tǒng)計(jì)，和故障處理具體時(shí)間統(tǒng)計(jì)，這么對(duì)需要追溯以前具體情況時(shí)候就束手無(wú)策了。劃分故障等級(jí)故障等級(jí)故障說(shuō)明故障處理第一步Ⅰ級(jí)（緊急）當(dāng)系統(tǒng)出現(xiàn)下列相當(dāng)嚴(yán)重現(xiàn)象時(shí)，屬一級(jí)故障：系統(tǒng)整體癱瘓，全部操作失去響應(yīng)；系統(tǒng)瓦解，關(guān)鍵硬件或文件系統(tǒng)損壞無(wú)法自動(dòng)修復(fù)；發(fā)生間歇性、隨機(jī)性、反復(fù)性開(kāi)啟或應(yīng)用退出，無(wú)法保障企業(yè)業(yè)務(wù)正常處理。立即匯報(bào)上級(jí)Ⅱ級(jí)（關(guān)鍵）當(dāng)系統(tǒng)出現(xiàn)下列比較嚴(yán)重現(xiàn)象時(shí)，屬二級(jí)故障：關(guān)鍵部件（含軟、硬件）停止工作，造成系統(tǒng)降低運(yùn)行狀態(tài)，用戶(hù)業(yè)務(wù)受到嚴(yán)重影響；系統(tǒng)整體性能?chē)?yán)重下降，無(wú)法自動(dòng)恢復(fù)正常運(yùn)行狀態(tài)；關(guān)鍵數(shù)據(jù)、參數(shù)和配置信息損壞，無(wú)恢復(fù)，造成用戶(hù)數(shù)據(jù)及業(yè)務(wù)統(tǒng)計(jì)嚴(yán)重?fù)p失；立即匯報(bào)上級(jí)Ⅲ級(jí)（關(guān)鍵）當(dāng)系統(tǒng)出現(xiàn)下列現(xiàn)象時(shí)，屬三級(jí)故障：部分設(shè)備或軟件異常，局部功效受限，系統(tǒng)整體仍可正常工作，對(duì)用戶(hù)業(yè)務(wù)影響不大或存在隱患；關(guān)鍵備用設(shè)施因故障離線，主用設(shè)施仍能正常工作；系統(tǒng)運(yùn)行指標(biāo)（比如：I/O效率、CPU效率）受到直接或間接影響，用戶(hù)業(yè)務(wù)處理緩慢；立即匯報(bào)上級(jí)Ⅳ級(jí)（告警）當(dāng)系統(tǒng)出現(xiàn)下列情況而不影響用戶(hù)業(yè)務(wù)時(shí)，屬四級(jí)故障：不在運(yùn)行狀態(tài)線路、端口損壞；出于安全考慮而且是受保護(hù)軟件降級(jí)或應(yīng)用重啟；因存放空間不足造成性能下降；系統(tǒng)硬件、軟件產(chǎn)品功效、安裝、或配置方面支援；業(yè)務(wù)仍然能夠正常運(yùn)作，不過(guò)服務(wù)器報(bào)出故障信息；故障排錯(cuò)判定故障分類(lèi)序列問(wèn)題種類(lèi)具體內(nèi)容一機(jī)房網(wǎng)絡(luò)故障1、骨干網(wǎng)光纖切割；

2、機(jī)房網(wǎng)絡(luò)升級(jí)；

3、機(jī)房網(wǎng)絡(luò)設(shè)備調(diào)試；

4、機(jī)房網(wǎng)絡(luò)設(shè)備損壞；二政府部門(mén)封網(wǎng)1、服務(wù)器沒(méi)有立案；

2、域名立案存在問(wèn)題；

3、黑客入侵造成服務(wù)器違法行為；

4、違規(guī)代理服務(wù)器；

5、服務(wù)器轉(zhuǎn)發(fā)違禁網(wǎng)站；

6、服務(wù)器放置網(wǎng)站內(nèi)容不符合當(dāng)?shù)卣ɡㄒ?guī)；三機(jī)房鋪助設(shè)備故障1、機(jī)房空調(diào)故障問(wèn)題；

2、機(jī)房灰塵過(guò)多問(wèn)題；

3、機(jī)房電力供給問(wèn)題；四機(jī)房機(jī)柜遷移1、機(jī)柜擴(kuò)容；

2、機(jī)柜移位；

3、服務(wù)器遷移機(jī)柜；五服務(wù)器硬件故障1、電源線損環(huán)；

2、服務(wù)器電源損壞；

3、服務(wù)器非人為硬盤(pán)損壞；

4、服務(wù)器受黑客入侵攻擊時(shí)造成硬盤(pán)損壞；

5、CPU溫度過(guò)高燒毀；

6、內(nèi)存使用中損壞；

7、主板在電源損壞時(shí)輕易燒毀；六服務(wù)器系統(tǒng)故障1、黑客攻擊造成系統(tǒng)癱瘓；

2、緩存日志過(guò)多沒(méi)有整理；

3、人為配置不妥造成系統(tǒng)瓦解；

4、硬盤(pán)損壞造成系統(tǒng)瓦解；七服務(wù)器應(yīng)用故障1、服務(wù)器放置應(yīng)用程序存在bug后門(mén)等；

2、服務(wù)器環(huán)境配置問(wèn)題；

3、黑客攻擊造成應(yīng)用程序瓦解；

4、硬盤(pán)、內(nèi)存兼容性差造成應(yīng)用程序瓦解；

5、應(yīng)用程序沒(méi)有優(yōu)化占用服務(wù)器硬件資源過(guò)高造成瓦解；

6、用戶(hù)負(fù)載過(guò)多造成應(yīng)用程序瓦解；八服務(wù)器硬件超負(fù)荷1、數(shù)據(jù)超出硬盤(pán)讀寫(xiě)負(fù)載能力造成應(yīng)用程序瓦解；

2、CPU使用率跑滿造成服務(wù)器宕機(jī)；

3、使用內(nèi)存cache占用過(guò)多造成宕機(jī)；

4、硬盤(pán)空間使用滿造成宕機(jī)；九服務(wù)器網(wǎng)絡(luò)超負(fù)荷1、用戶(hù)量過(guò)多，服務(wù)器帶寬不足，造成卡頓，用戶(hù)訪問(wèn)程序故障；

2、系統(tǒng)連接數(shù)過(guò)多造成系統(tǒng)擁堵網(wǎng)絡(luò)帶寬使用不上；

3、數(shù)據(jù)庫(kù)數(shù)據(jù)讀寫(xiě)占用過(guò)多服務(wù)器連接數(shù)，達(dá)不到預(yù)期服務(wù)器帶寬；十人為違規(guī)操作1、人為違規(guī)關(guān)機(jī)；

2、人為違規(guī)操作更改或刪除服務(wù)器應(yīng)用；

3、機(jī)房人為關(guān)機(jī)或斷電；十一服務(wù)器受到攻擊1、服務(wù)拒絕攻擊造成系統(tǒng)瓦解，如常見(jiàn)UDP洪水攻擊等；

2、利用型攻擊造成黑客入侵系統(tǒng)，如特洛伊木馬、口令猜測(cè)等；

3、信息搜集型攻擊，如體系結(jié)構(gòu)探測(cè)、DNS域轉(zhuǎn)換等

4、假消息攻擊，如DNS高速緩存污染、偽造電子郵件等十二不可預(yù)知原因1、機(jī)房遭遇火災(zāi)事故；

2、機(jī)房遭遇地震事故；服務(wù)器出現(xiàn)故障故障應(yīng)急處理步驟服務(wù)器出現(xiàn)故障判定故障等級(jí)判定故障等級(jí)匯報(bào)上級(jí)匯報(bào)上級(jí)匯報(bào)上級(jí)Ⅰ級(jí)（緊急）Ⅱ級(jí)（關(guān)鍵）匯報(bào)上級(jí)匯報(bào)上級(jí)匯報(bào)上級(jí)Ⅰ級(jí)（緊急）Ⅱ級(jí)（關(guān)鍵）Ⅲ級(jí)（關(guān)鍵）Ⅳ級(jí)（警告）統(tǒng)計(jì)發(fā)生時(shí)間統(tǒng)計(jì)發(fā)生時(shí)間統(tǒng)計(jì)發(fā)生時(shí)間故障排錯(cuò)步驟故障排錯(cuò)步驟統(tǒng)計(jì)發(fā)生時(shí)間統(tǒng)計(jì)發(fā)生時(shí)間統(tǒng)計(jì)發(fā)生時(shí)間統(tǒng)計(jì)發(fā)生時(shí)間故障排錯(cuò)步驟故障排錯(cuò)步驟統(tǒng)計(jì)發(fā)生時(shí)間故障排錯(cuò)步驟故障排錯(cuò)步驟故障排錯(cuò)步驟故障排錯(cuò)步驟問(wèn)題處理完成問(wèn)題處理完成故障處理匯報(bào)故障處理匯報(bào)發(fā)送郵件給相關(guān)人員發(fā)送郵件給相關(guān)人員服務(wù)器故障處理完成服務(wù)器故障處理完成故障排錯(cuò)步驟故障排錯(cuò)開(kāi)始故障排錯(cuò)開(kāi)始是否有備用服務(wù)器判定故障等級(jí)是否屬于Ⅰ是否有備用服務(wù)器判定故障等級(jí)是否屬于Ⅰ級(jí)或Ⅱ級(jí)啟用備用服務(wù)器啟用備用服務(wù)器是是否否檢驗(yàn)?zāi)壳肮收戏?wù)器檢驗(yàn)?zāi)壳肮收戏?wù)器實(shí)施數(shù)據(jù)備份和日志備份腳本實(shí)施數(shù)據(jù)備份和日志備份腳本查看報(bào)錯(cuò)日志，依據(jù)故障分類(lèi)確定故障范圍，逐條排除查看報(bào)錯(cuò)日志，依據(jù)故障分類(lèi)確定故障范圍，逐條排除嘗試修復(fù)故障，而且驗(yàn)證是否處理問(wèn)題 嘗試修復(fù)故障，而且驗(yàn)證是否處理問(wèn)題否是故障處理完成故障處理完成數(shù)據(jù)和日志備份在進(jìn)行故障修復(fù)時(shí)候，需要對(duì)服務(wù)器系統(tǒng)和軟件配置文件進(jìn)行修改，這些修改可能造成風(fēng)險(xiǎn)是很大，這時(shí)保留備份配置文件信息、應(yīng)用數(shù)據(jù)、系統(tǒng)日志信息會(huì)很關(guān)鍵，能夠直接經(jīng)過(guò)shell腳本對(duì)服務(wù)器關(guān)鍵數(shù)據(jù)進(jìn)行備份。故障處理匯報(bào)故障處理匯報(bào)文件命名規(guī)則文件名前綴故障等級(jí)服務(wù)器名稱(chēng)故障類(lèi)型故障處理匯報(bào)Ⅰ級(jí)—緊急Linux服務(wù)器名稱(chēng)（終端#前面字符）故障分類(lèi)—具體內(nèi)容Ⅱ級(jí)—關(guān)鍵Ⅲ級(jí)—關(guān)鍵Ⅳ級(jí)—告警比如：故障處理匯報(bào)_Ⅰ級(jí)—緊急_squid-chendu_系統(tǒng)瓦解故障處理匯報(bào)內(nèi)容故障發(fā)覺(jué)時(shí)間Xxxx年xx月xx日xx：xx（二十四小時(shí)制）處理完成時(shí)間假如處理一次就處理直接寫(xiě)：Xxxx年xx月xx日xx：xx（二十四小時(shí)制）假如數(shù)次處理后才處理，按下面格式寫(xiě)：Xxxx年xx月xx日xx