故障響應機制北京傻+逼信息技術(shù)有限公司2014年12月目錄TOC\o"1-5"\h\z\o"CurrentDocument"引言1\o"CurrentDocument"編寫目的1\o"CurrentDocument"1.2適用范圍1\o"CurrentDocument"故障2\o"CurrentDocument"故障分類2\o"CurrentDocument"故障響應時間表4\o"CurrentDocument"故障定級5\o"CurrentDocument"3.1故障累積升級5\o"CurrentDocument"處理能力不足5\o"CurrentDocument"客戶關(guān)注程度5\o"CurrentDocument"3.4客戶反饋故障升級6\o"CurrentDocument"客戶監(jiān)控出現(xiàn)的問題6\o"CurrentDocument"故障定級矩陣7\o"CurrentDocument"現(xiàn)場人員注意事項8\o"CurrentDocument"故障響應人員9\o"CurrentDocument"處理流程10\o"CurrentDocument"一級故障10\o"CurrentDocument"二級故障11\o"CurrentDocument"三級故障13\o"CurrentDocument"四級故障14\o"CurrentDocument"事后總結(jié)161引言1?1編寫目的由于生產(chǎn)環(huán)境中經(jīng)常會出現(xiàn)各種故障，一般通過兩種途徑：公司方人員發(fā)現(xiàn)、銀行方人員告知。現(xiàn)場人員會發(fā)現(xiàn)問題不知道如何解決，也不知道該通知誰解決，經(jīng)常會出現(xiàn)處理延誤、溝通不暢等問題，導致客戶滿意度下降，客戶信任度下降。另外現(xiàn)場人員要加強自身的溝通能力，第一要安撫客戶、告知客戶公司已經(jīng)進行處理，第二要能簡明扼要的說明現(xiàn)場情況、客戶關(guān)注程度、問題導致結(jié)果等。本文檔旨在提供一個規(guī)范化的流程，讓現(xiàn)場人員做到有章可循，針對不同的故障級別找到響應的處理人員。從故障處理上，不僅可以體現(xiàn)公司的專業(yè)性，也能提高客戶滿意度。1.2適用范圍項目組的所有人員需要了解，在故障出現(xiàn)的時候能第一時間進行處理。領導組需要進行了解，知道各種級別的領導需要溝通。

2故障2.1故障分類故障按照產(chǎn)生的后果進行分類，共分為四類。故障等級故障說明響應時間處理時間一級一級故障：客戶端無法使用，影響用戶正常使用。當系統(tǒng)出現(xiàn)下列相當嚴重的現(xiàn)象時，屬一級故障：-系統(tǒng)后臺服務器整體癱瘓，全部操作失去響應；客戶端（安卓、iPhone、iPad等僅一種出現(xiàn)）崩潰、無法進入用戶界面；發(fā)生間歇性、隨機性、重復性的啟動或應用退出，無法保障客戶業(yè)務的正常處理。兩個二級故障及以上，升級為一級故障W2小時01天二級二級故障：客戶端整體可以使用，部分出現(xiàn)問題，影響用戶的部分業(yè)務處理。當系統(tǒng)出現(xiàn)下列比較嚴重的現(xiàn)象時，屬二級故障：?系統(tǒng)后臺出現(xiàn)了部分問題，導致用戶使用出現(xiàn)問題；W3小時02天

客戶端（安卓、iPhone、iPad等僅一種出現(xiàn)）部分功能失效，影響用戶使用；系統(tǒng)整體性能嚴重下降，無法自動恢復正常運行狀態(tài)；重要數(shù)據(jù)、參數(shù)和配置信息損壞，無法恢復，導致客戶數(shù)據(jù)及業(yè)務記錄嚴重損失；三個三級故障及以上，升級為二級故障三級三級故障：客戶端可以使用，出現(xiàn)的問題對用戶的業(yè)務處理影響不大。當系統(tǒng)出現(xiàn)下列現(xiàn)象時，屬三級故障：服務器端軟件或者硬件出現(xiàn)異常，局部功能受限，系統(tǒng)整體仍可正常工作，對客戶業(yè)務影響不大或存在隱患；關(guān)鍵備用設施因故障離線，主用設施仍能正常工作；后臺日志發(fā)現(xiàn)有系統(tǒng)出現(xiàn)問題的趨勢，或者已經(jīng)出現(xiàn)了交易成功率下降客戶端性能小幅下降，但不影響使用；系統(tǒng)運行指標（例如：I/O效率、CPU效率）受到直接或間接影響，客戶業(yè)務處理受小量影響；五個四級及以上，升級為三級故障W6小時03天

四級四級故障：客戶端可以使用，不影響業(yè)務處理當系統(tǒng)出現(xiàn)下列情況而不影響客戶業(yè)務時，屬四級故障：客戶端界面出現(xiàn)顯示問題，如ui不符合設計；后臺系統(tǒng)中有大量的冗余信息，導致空間不足；系統(tǒng)硬件或者軟件沒有及時升級，不符合安全策略等等<12小時<5天2.2故障響應時間表故障等級通知公司響應人員作出解決方案趕到現(xiàn)場解決時間一級15分鐘2小時8小時24小時二級30分鐘3小時12小時48小時三級60分鐘6小時24小時或無需到現(xiàn)場72小時四級90分鐘12小時無需到現(xiàn)場120小時3故障定級3.1故障累積升級按照不同的故障分類需要進行相應的處理，但是有時問題會重復出現(xiàn)或者同類問題出現(xiàn)了多個，進行故障升級。例如：開發(fā)人員發(fā)現(xiàn)了一個ui問題，這是一個四級故障，他應該通知他的組長進行統(tǒng)籌處理，在該組長進行處理時發(fā)現(xiàn)了十個類似的問題，這個問題直接升級到三級故障，由該組長負責向項目經(jīng)理通知，并進行全面查找問題，進行統(tǒng)一解決，做到故障的全部解決。?四級故障數(shù)＞=5，升級為三級故障-三級故障數(shù)＞=3,升級為四級故障?二級故障數(shù)＞=2，升級為二級故障3.2處理能力不足現(xiàn)場人員如果在接到處理命令后，在兩個小時內(nèi)確認自己無能力處理該故障，那么要求責任人將故障升級，聯(lián)系更高級別人員，進行統(tǒng)籌工作。如：發(fā)現(xiàn)一個后臺日志異常，有明顯變壞的趨勢，且銀行方已經(jīng)發(fā)現(xiàn)了交易量有少量下降，這應該是一個三級故障，在內(nèi)部響應后項目經(jīng)理和高級開發(fā)人員進行了處理，但是找不到問題所在，那么直接上升故障等級，通知領導協(xié)調(diào)更高級的技術(shù)人員進行處理。3.3客戶關(guān)注程度客戶的關(guān)注程度較高時，故障等級應做升級，如果現(xiàn)場人員不能確定客戶是否關(guān)注程度比較高，可以通過以下幾點進行判斷：＞客戶語氣焦急，明顯有些不耐煩，明令快速解決＞客戶話語中透露出某某領導派他過來問，或者某某領導等著看，等等＞客戶表明因為這個系統(tǒng)的問題，導致其他系統(tǒng)無法正常運作＞客戶已經(jīng)直接聯(lián)系領導反映情況（這是非常糟糕的情況，3.4中會有說明）如果還不能判斷出客戶的關(guān)注程度，那么直接打電話給項目經(jīng)理，如果項目經(jīng)理也不能判斷出客戶關(guān)注程度，則按照客戶關(guān)注程度一般處理?？蛻絷P(guān)注程度高時，故障+1級（如原故障二級，+1后變一級），已經(jīng)是一級的無法再升級。關(guān)注程度一般時，不做故障升級。3.4客戶反饋故障升級如客戶遇到了故障，沒有通知現(xiàn)場人員或者項目負責人員。而是直接聯(lián)系了部門領導或者公司領導，那么故障響應要做相應升級。如果故障是用戶發(fā)現(xiàn)的，故障一般都在三級以上，那么按照用戶的響應級別進行故障定級。例如：如果反饋用戶是銀行總經(jīng)理級別的，即使是三級故障，也要按照一級故障進行響應。原則上是找到公司與用戶級別對等的領導，該領導在響應機制的哪個級別，故障就升級到哪個級別。＞銀行總經(jīng)理對應公司總經(jīng)理，定為一級故障＞銀行科技（信息）部經(jīng)理對應公司交付中心總經(jīng)理，定為一級故障＞銀行科長級別對應公司交付中心總監(jiān)，定為二級故障如果客戶反饋的故障，按照故障標準認定的等級大于用戶反饋認定的故障大于，那么以故障標準認定為準。3.5客戶監(jiān)控出現(xiàn)的問題銀行都有一些監(jiān)控體系，可以從中查看到各種異常情況，這些異常情況可能是已經(jīng)出現(xiàn)了問題的，也可能是即將出現(xiàn)問題，這些一般都是由技術(shù)人員解決。此類問題一般按照二級故障處理，如果客戶關(guān)注程度較高，則需要公司相應人員進行溝通，如果客戶關(guān)注度不高，直接協(xié)調(diào)技術(shù)人員解決。解決后，須告知銀行相關(guān)負責人。

3.6故障定級矩陣顏色說明一級二級三級四級故障現(xiàn)象按照標準客戶關(guān)注度一般客戶關(guān)注度高行方科長反饋問題行方信息部經(jīng)理反饋問題行方總經(jīng)理反饋問題故障閾所無法使用一級一級一級一級一級一級一部分無法使用二級二級一級二級一級一級一小部分無法使用三級三級二級二級一級一級二不影響使用四級四級三級二級一級一級三文案4現(xiàn)場人員注意事項＞遵守銀行現(xiàn)場的各項制度管理規(guī)范，維護公司聲譽和形象，不允許有損公司聲譽形象的事情發(fā)生。＞重視自身的溝通，日常工作中不要抱怨，不說一些可能會傷害客戶的話，，這樣可能讓用戶積累一些怨氣，在出現(xiàn)問題時候一并爆發(fā)。做到在現(xiàn)場的人員工作期間少說些與工作無關(guān)的事情＞在問題出現(xiàn)的時候，現(xiàn)場人員放下手頭的原有工作（指原定的任務，與本次故障無關(guān)的任務），全心的投入的故障處理工作中。第一，做好溝通協(xié)調(diào)員，將現(xiàn)有問題向上匯報。第二，從容不迫應對，安撫客戶心情，告知公司已經(jīng)處理（人員已經(jīng)在路上等等）。第三，積極配合客戶，做好現(xiàn)場工作。第四，小心謹慎，不要手忙腳亂，此時不能再犯錯誤。＞技術(shù)人員提高技術(shù)能力，多了解公司的框架、操作系統(tǒng)和一些日常使用的中間件，不要因為自己的粗心大意，導致系統(tǒng)癱瘓。做到修改前先備份。修改后先檢查，備份保留而不刪除。＞重視質(zhì)量意識，加強代碼自查，按照流程規(guī)范行事，從自身減少隱患＞現(xiàn)場人員要留有各個內(nèi)部聯(lián)系人的電話，郵箱，必要時可以貼在工位上，不要出現(xiàn)問題再去找人問電話號碼＞明確自己的職責，了解其他人員（特別是領導）的職務和職責，了解每級別的責任人和聯(lián)系人5故障響應人員按照華北交付中心的組織架構(gòu)一級故障對銀行響應人員：交付中心總（副總）經(jīng)理，責任人項目經(jīng)理二級故障對銀行響應人員：交付中心總監(jiān)，責任人：項目經(jīng)理三級故障對銀行響應人員、責任人：項目經(jīng)理四級故障對銀行響應人員：項目經(jīng)理，責任人：項目組長（項目經(jīng)理）6處理流程6.1一級故障一級故障是最高級別的故障，要求在我方的第一發(fā)現(xiàn)人在五分鐘內(nèi)告知項目經(jīng)理，在故障發(fā)生的15分鐘以內(nèi)聯(lián)系到交付中心對應響應人員（交付中心總經(jīng)理）。在故障發(fā)生的15分鐘內(nèi)進行故障的現(xiàn)象及后果等的描述，之后交由領導統(tǒng)一指揮。在兩個小時內(nèi)對問題作出相應的處理方案，以最快速度組織人員到現(xiàn)場處理工作。要求技術(shù)總監(jiān)、項目經(jīng)理、技術(shù)專家、硬件'系統(tǒng)專家在故障發(fā)生的8小時內(nèi)趕到現(xiàn)場。如人員無法到齊，可派同等級別人員替換。領導無法到場，可以電話指揮。如現(xiàn)場問題嚴重，可要求公司副總與銀行方領導進行溝通協(xié)調(diào)。一級故障要在24小時之內(nèi)解決，避免銀行方受到更大的損失。一級故障處理流程一線員工項目經(jīng)理交付中心領導公司職能領導告知銀行方我方已經(jīng)進入故障響應流程—人員基本包括：總項目經(jīng)理、技術(shù)經(jīng)理、硬件或系統(tǒng)專一家、軟件專家監(jiān)、組織去現(xiàn)場工*作人員并告知

銀行方組織現(xiàn)場處理

人員上級領導協(xié)調(diào)對銀行方造成重大后果，或者銀行方事態(tài)不能控制一124小時內(nèi)處理完成人員赴現(xiàn)場處

理八小時內(nèi)人員到齊電話指揮或到

現(xiàn)場指揮6.2二級故障二級故障是比較嚴重的故障，要求在我方的第一發(fā)現(xiàn)人在10分鐘內(nèi)告知項目經(jīng)理，在故障發(fā)生的30分鐘以內(nèi)聯(lián)系到交付中心對應響應人員（交付中心總監(jiān)）。在故障發(fā)生的30分鐘內(nèi)進行故障的現(xiàn)象及后果等的描述，之后交由領導統(tǒng)一指揮。在3個小時內(nèi)對問題作出相應的處理方案，以最快速度組織人員到現(xiàn)場處理文案工作。要求項目經(jīng)理、技術(shù)經(jīng)理、硬件'系統(tǒng)高級工程師、高級軟件工程師在故障發(fā)生的12小時內(nèi)趕到現(xiàn)場。如人員無法到齊，可派同等級別人員替換。領導無法到場，可以電話指揮。問題如果在兩個小時內(nèi)沒有明確結(jié)果，故障直接升級為一級。二級故障要在48小時之內(nèi)解決，避免銀行方受到更大的損失。6.3三級故障三級故障是嚴重的故障，要求在我方的第一發(fā)現(xiàn)人在15分鐘內(nèi)告知項目經(jīng)理，在故障發(fā)生的60分鐘以內(nèi)聯(lián)系到交付中心對應響應人員（項目經(jīng)理）。在故障發(fā)生的60分鐘內(nèi)進行故障的現(xiàn)象及后果等的描述，之后交由領導統(tǒng)一指揮。在6個小時內(nèi)對問題作出相應的處理方案，確定問題是否需要到現(xiàn)場解決。如果需要去現(xiàn)場則組織人員去現(xiàn)場，不需要的話就在公司內(nèi)部解決。要求項目經(jīng)理、技術(shù)經(jīng)理、硬件'系統(tǒng)高級工程師、高級軟件工程師在故障發(fā)生的下一工作日內(nèi)趕到現(xiàn)場。如人員無法到齊，可派同等級別人員替換。項目經(jīng)理如果無法到場，可以電話指揮。問題如果在四個小時內(nèi)沒有明確結(jié)果，故障直接升級為二級。三級故障要在72小時之內(nèi)解決，避免銀行方受到更大的損失。

6.4四級故障四級故障是一般的故障，要求在我方的第一發(fā)現(xiàn)人在30分鐘內(nèi)告知項目經(jīng)理，在故障發(fā)生的90分鐘以內(nèi)聯(lián)系到交付中心對應響應人員（項目組長）。在故障發(fā)生的90分鐘內(nèi)進行故障的現(xiàn)象及后果等的描述，之后交由領導統(tǒng)一指揮。在12個小時內(nèi)對問題作出相應的處理方案，判斷四級故障是否需要現(xiàn)場處

理。并查找是否還存在類似問題，一并在本次的處理方案中解決。項目經(jīng)理如果無法到場，可以電話指揮。四級故障要在120小時之內(nèi)解決，避免銀行方