運(yùn)營(yíng)事故淺析

林祥2011-5-24什么是運(yùn)營(yíng)事故？所有對(duì)產(chǎn)品產(chǎn)生負(fù)面影響的問(wèn)題都是運(yùn)營(yíng)事故。運(yùn)營(yíng)事故的危害？用戶(hù)流失，活躍、在線、充值等日常數(shù)據(jù)大幅下降。產(chǎn)品口碑、公司形象被摧毀，形成輿論危機(jī)，失去玩家信任，甚至產(chǎn)生對(duì)立抵觸情緒。團(tuán)隊(duì)超負(fù)荷運(yùn)轉(zhuǎn)，原訂后繼規(guī)劃全部被打亂。1、運(yùn)營(yíng)事故的產(chǎn)生2、運(yùn)營(yíng)事故的發(fā)現(xiàn)3、運(yùn)營(yíng)事故的處理4、運(yùn)營(yíng)事故的防范事故的產(chǎn)生—達(dá)摩克利斯之劍活動(dòng)開(kāi)服合服版本升級(jí)天災(zāi)人禍

只要游戲運(yùn)營(yíng)一天，事故風(fēng)險(xiǎn)就會(huì)一直存在，如同一只懸在我們頭上的達(dá)摩克利斯之劍。隨時(shí)保持危機(jī)意識(shí)，謹(jǐn)慎對(duì)待運(yùn)營(yíng)中每個(gè)環(huán)節(jié)的工作，是安全運(yùn)營(yíng)的前提。運(yùn)營(yíng)運(yùn)營(yíng)公告活動(dòng)執(zhí)行獎(jiǎng)勵(lì)發(fā)放開(kāi)服配置……研發(fā)版本升級(jí)開(kāi)服關(guān)服功能開(kāi)發(fā)道具制作……運(yùn)維網(wǎng)絡(luò)故障機(jī)房故障黑客攻擊……其他還有么？有：用戶(hù)導(dǎo)流、媒體激活碼、DB營(yíng)銷(xiāo)……千頭萬(wàn)緒、防不勝防，究竟該怎么辦？事故的發(fā)現(xiàn)—數(shù)據(jù)觀察警惕：游戲內(nèi)任何的異?，F(xiàn)象都可能是一次運(yùn)營(yíng)事故的前兆。數(shù)據(jù)異?；钴S、消耗等基礎(chǔ)數(shù)據(jù)異常玩家/英雄等級(jí)異常高階道具大量產(chǎn)生交易次數(shù)大幅增加事故的發(fā)現(xiàn)—傳播渠道QQ群聊天室論壇事故的發(fā)現(xiàn)—客服反饋CS客服電話運(yùn)維監(jiān)控事故的處理—關(guān)聯(lián)協(xié)作運(yùn)營(yíng)測(cè)試研發(fā)運(yùn)維客服事故分析處理護(hù)維機(jī)停輿論控制信息通報(bào)測(cè)試處理方案事故的處理止損事故出現(xiàn)后，每耽誤一分鐘就增加一分鐘的損失，增加事故處理的復(fù)雜度。所以發(fā)生事故時(shí)，首先需要做的就是杜絕問(wèn)題的繼續(xù)。事故非常嚴(yán)重，且不立即處理會(huì)產(chǎn)生更大的破壞時(shí)，才能停服以避免問(wèn)題的擴(kuò)大，這需要運(yùn)營(yíng)有良好的判斷力和決斷力。安撫杜絕問(wèn)題的同時(shí)，必須立即給玩家一個(gè)說(shuō)法，千萬(wàn)不要讓玩家在無(wú)休止的猜測(cè)中去惡意揣測(cè)官方。這時(shí)可以不用告知處理方案和補(bǔ)償方案等等。事故的處理修正充分收集信息，召集相關(guān)負(fù)責(zé)人根據(jù)事故的表現(xiàn)協(xié)調(diào)各關(guān)聯(lián)部門(mén)進(jìn)行問(wèn)題分析，找出事故原因，完成修正。評(píng)估范圍：影響了多少人？他們是免費(fèi)還是付費(fèi)玩家？?jī)?nèi)容：玩家損失or獲取了什么？危害程度？回檔：是否可回檔至問(wèn)題出現(xiàn)之前玩家狀態(tài)？能否針對(duì)受影響玩家單獨(dú)處理？事故的處理處理絕不損害玩家正常的既得利益法不責(zé)眾在游戲運(yùn)營(yíng)中也適用全服回檔永遠(yuǎn)是最后一招補(bǔ)償補(bǔ)償只是馬后炮，不要對(duì)此希望過(guò)高不要扣扣索索，給就給的大方，但只給消耗，不給時(shí)長(zhǎng)和永久通過(guò)多渠道了解玩家對(duì)補(bǔ)償?shù)钠谕?，?duì)確定補(bǔ)償方案很有幫助事故的處理輿論控制玩家都是盲從的，所以我們處理的第一目標(biāo)就是那些“刺頭”，單獨(dú)溝通，避免形成群體性事件。論壇及時(shí)跟進(jìn)回復(fù)，對(duì)言辭激烈、煽動(dòng)性強(qiáng)的帖子，警告、鎖貼、沉底一條龍，不要給玩家討論和煽動(dòng)的土壤，控制事故影響的范圍。但注意的是，需要留給玩家一個(gè)發(fā)泄的渠道，防止事故向外擴(kuò)展。通過(guò)一些對(duì)官方有好感的玩家站出去幫我們說(shuō)話，引導(dǎo)言論向有利于官方轉(zhuǎn)移。電話是最有效的溝通方式，尤其是對(duì)大戶(hù)的安撫，單對(duì)單的交流更容易形成一種坦誠(chéng)、輕松的氣氛。客服的兄弟姐妹們是處理這類(lèi)問(wèn)題的專(zhuān)家，多溝通。事故的防范—數(shù)據(jù)監(jiān)控完整的日志記錄長(zhǎng)期的數(shù)據(jù)跟蹤記錄定期的數(shù)據(jù)對(duì)比數(shù)據(jù)波動(dòng)敏感性事故的防范—活動(dòng)流程規(guī)范嚴(yán)格執(zhí)行活動(dòng)上線Readiness配置自動(dòng)化要比手動(dòng)好，配置表更可靠測(cè)試全面的測(cè)試用例,內(nèi)外網(wǎng)雙重測(cè)試所有測(cè)試相關(guān)的結(jié)果必須通過(guò)郵件等方式進(jìn)行確認(rèn)，口頭溝通不能作為最終確認(rèn)依據(jù)。公告描述清晰、舉例到位發(fā)布前組內(nèi)要審核事故的防范—開(kāi)服流程Sn_《服務(wù)器名》開(kāi)服checklist.xls開(kāi)服各流程相關(guān)負(fù)責(zé)人和審核人簽字Sn_《服務(wù)器名》相關(guān)公告專(zhuān)題地址.xls開(kāi)服公告、新服活動(dòng)專(zhuān)題、版本說(shuō)明、平臺(tái)廣告位地址、新手指導(dǎo)員招募、公會(huì)入駐等鏈接地址Sn_《服務(wù)器名》付費(fèi)項(xiàng)目測(cè)試.xls所有付費(fèi)功能、付費(fèi)道具的購(gòu)買(mǎi)、調(diào)整內(nèi)容的使用測(cè)試Sn_《服務(wù)器名》開(kāi)服活動(dòng)readiness.doc新服活動(dòng)備案Sn_《服務(wù)器名》服務(wù)器配置審核.xlsGDSS配置、GMT和CS、導(dǎo)流后臺(tái)相關(guān)確認(rèn)（截圖）Sn_《服務(wù)器名》開(kāi)服活動(dòng)測(cè)試備案文檔.xls

開(kāi)服活動(dòng)內(nèi)容測(cè)試事故的防范—緊急發(fā)布流程制作確定開(kāi)發(fā)內(nèi)容，提交程序制作測(cè)試提供開(kāi)發(fā)文檔，編寫(xiě)測(cè)試用例，內(nèi)網(wǎng)完成測(cè)試上傳至外網(wǎng)測(cè)試服務(wù)器，進(jìn)行復(fù)測(cè)上線外網(wǎng)功能發(fā)布，跟進(jìn)后繼反饋事故的防范—流程事故的防范—改進(jìn)數(shù)據(jù)報(bào)警對(duì)當(dāng)前游戲內(nèi)玩家發(fā)展水平進(jìn)行監(jiān)控，對(duì)超出設(shè)定之外的數(shù)據(jù)進(jìn)行報(bào)警。事故召集建立各級(jí)事故處理預(yù)案和事故召集協(xié)調(diào)制度后臺(tái)開(kāi)關(guān)單系統(tǒng)后臺(tái)控制功能，自由開(kāi)關(guān)游戲內(nèi)某個(gè)單項(xiàng)系統(tǒng)。備份回檔靈活的備份機(jī)制交易、摧毀等還原機(jī)制運(yùn)營(yíng)事故案例DNB合服事故—事故記錄事故時(shí)間：2009年8月28日首次事故：裝備屬性丟失：

10點(diǎn)開(kāi)服后，開(kāi)發(fā)的合服相關(guān)代碼，在附魔裝備的處理上有問(wèn)題，導(dǎo)致合服后用戶(hù)裝備的附魔屬性丟失。在11點(diǎn)的時(shí)候，經(jīng)過(guò)一定時(shí)間的搜集數(shù)據(jù)和嘗試處理，最終發(fā)現(xiàn)無(wú)法修正這個(gè)錯(cuò)誤，所以對(duì)服務(wù)器進(jìn)行了回檔操作，并于11點(diǎn)半重新開(kāi)啟服務(wù)器。

再次事故：裝備數(shù)據(jù)錯(cuò)誤導(dǎo)致的角色復(fù)制：

由于運(yùn)營(yíng)活動(dòng)添加的新裝備類(lèi)型未更新到合服服務(wù)器上，導(dǎo)致玩家角色無(wú)法正確讀取出裝備信息。當(dāng)用戶(hù)擁有活動(dòng)發(fā)放的那幾個(gè)裝備時(shí)，導(dǎo)入角色操作在導(dǎo)入道具數(shù)據(jù)時(shí)會(huì)異常退出，而角色表中的角色數(shù)據(jù)沒(méi)有被刪除，從而出現(xiàn)了玩家角色復(fù)制的情況，只能再次回檔，于18點(diǎn)再次開(kāi)啟服務(wù)器。事故影響：

合服服務(wù)器H6和H7延后6小時(shí)才正式開(kāi)放，對(duì)玩家的耐心和信心都有很大打擊。

涉及數(shù)據(jù)錯(cuò)誤的玩家角色合計(jì)100多個(gè)，且全部為付費(fèi)玩家，這些玩家在之后的一周內(nèi)流失了30%。合服后的收入比合服前收入還要低，完全失去了合服的效果。DNB合服事故—事故總結(jié)避免慣性思維

由于之前合服一直非常順利，沒(méi)有出現(xiàn)過(guò)任何數(shù)據(jù)方面的問(wèn)題，因此本次合服的驗(yàn)收工作做的也不到位，只進(jìn)行了很常規(guī)的驗(yàn)收工作，對(duì)近期更新的內(nèi)容并沒(méi)有很好的警惕性。

“猶太人的生意經(jīng)上，明確地寫(xiě)著一條：永遠(yuǎn)都是第一次交易”關(guān)聯(lián)問(wèn)題的排查

在第一次因?yàn)檠b備出問(wèn)題后，并沒(méi)有對(duì)裝備相關(guān)的所有程序進(jìn)行排查，最終裝備上還是出現(xiàn)了第二次問(wèn)題。

寒酸的補(bǔ)償

一錯(cuò)再錯(cuò)已經(jīng)讓玩家非常不滿，而之后我們公布的補(bǔ)償方案過(guò)于寒酸，更是招致玩家強(qiáng)烈反彈。DNB重陽(yáng)節(jié)活動(dòng)—事故記錄事故時(shí)間—2009年10月28日DNB處于不斷的衰退期，收入銳減，面臨KPI的壓力，運(yùn)營(yíng)向研發(fā)申請(qǐng)制作了英雄轉(zhuǎn)生卡和屬性重置卡，形成新的付費(fèi)點(diǎn)，來(lái)拉升游戲后期的收益。

英雄轉(zhuǎn)生卡設(shè)計(jì)過(guò)程中忽視了轉(zhuǎn)生后英雄屬性會(huì)變垃圾的問(wèn)題，且英雄轉(zhuǎn)生前后沒(méi)有日志記錄，這成為后繼事故另一個(gè)爆發(fā)點(diǎn)。出于盈利最大化的考慮，運(yùn)營(yíng)決定在重陽(yáng)節(jié)通過(guò)寶箱進(jìn)行新付費(fèi)點(diǎn)的首次投放（而此時(shí)上一個(gè)寶箱活動(dòng)才剛剛結(jié)束1天），并在最后臨上線前拍腦袋決定通過(guò)登陸送給免費(fèi)玩家也送幾個(gè)寶箱，很顯然，這個(gè)測(cè)試并不充分，只關(guān)注了活動(dòng)獎(jiǎng)勵(lì)發(fā)放是否正確，卻沒(méi)有看到登陸送之間的銜接問(wèn)題。運(yùn)營(yíng)活動(dòng)開(kāi)始后，在新付費(fèi)點(diǎn)的強(qiáng)烈刺激下，收益呈現(xiàn)爆發(fā)式增長(zhǎng)，沉浸在喜悅中的運(yùn)營(yíng)組萬(wàn)萬(wàn)沒(méi)有想到，問(wèn)題即將出現(xiàn)。10月29日凌晨1點(diǎn)，杯具發(fā)生了。登陸送任務(wù)出現(xiàn)嚴(yán)重漏洞，玩家可以無(wú)限領(lǐng)取任務(wù)獎(jiǎng)勵(lì)，原因正是臨時(shí)新增的綁定寶箱導(dǎo)致，于是贈(zèng)送的寶箱泛濫成災(zāi)。

凌晨3點(diǎn)多，運(yùn)營(yíng)得到玩家反饋，立即通知技術(shù)，但很遺憾，手機(jī)關(guān)機(jī)了。

于是，事故處理的最佳時(shí)間段就這么過(guò)去了，隨著時(shí)間的流逝，事故升級(jí)了。DNB重陽(yáng)節(jié)活動(dòng)—事故記錄10月29日9點(diǎn)

運(yùn)營(yíng)開(kāi)始協(xié)調(diào)各關(guān)聯(lián)部門(mén)進(jìn)行緊急應(yīng)對(duì)。因?yàn)槭鹿室呀?jīng)發(fā)生近10個(gè)小時(shí)，玩家獲益已經(jīng)被大量消耗和轉(zhuǎn)移，根本無(wú)法進(jìn)行跟蹤，而事故之前的最后一次備份則是在28日凌晨4點(diǎn)，距離現(xiàn)在已經(jīng)有30個(gè)小時(shí)。

此時(shí)無(wú)論回不回檔，都很難處理，對(duì)此非常糾結(jié)。10月29日9點(diǎn)30分

經(jīng)過(guò)和項(xiàng)目組和關(guān)聯(lián)部門(mén)的討論，考慮到轉(zhuǎn)生卡等高端道具的大量產(chǎn)生對(duì)整個(gè)游戲破壞性的影響，游戲體驗(yàn)會(huì)被迅速透支，付費(fèi)用戶(hù)的消費(fèi)會(huì)極大的貶值，最終決定進(jìn)行回檔處理，并立即進(jìn)行停服。10月29日16點(diǎn)回檔工作處理完畢，數(shù)據(jù)一切正常，服務(wù)器再次對(duì)外開(kāi)啟。

然而，這僅僅是事故處理的第一步，更棘手的問(wèn)題隨后出現(xiàn)：回檔期間，用戶(hù)的概率獲益如何處理？活動(dòng)購(gòu)買(mǎi)寶箱后開(kāi)到極品道具、使用轉(zhuǎn)生卡后獲取極品英雄屬性、副本掉落極品裝備等等。

由于受影響的均為游戲內(nèi)的大戶(hù)，運(yùn)營(yíng)無(wú)法承擔(dān)這些用戶(hù)流失的風(fēng)險(xiǎn)，于是只能吃下這枚苦果——對(duì)回檔期間寶箱開(kāi)啟的極品道具給予補(bǔ)償DNB重陽(yáng)節(jié)活動(dòng)—事故影響高負(fù)荷的工作量

項(xiàng)目組成員承受了巨大的壓力，超負(fù)荷的處理了一周才基本完成玩家補(bǔ)償審核、發(fā)放工作。付費(fèi)需求被嚴(yán)重削弱

付費(fèi)玩家通過(guò)補(bǔ)償獲取了大量的極品道具，付費(fèi)需求大幅削弱。

而轉(zhuǎn)生卡的導(dǎo)致的英雄屬性變垃圾更是讓事情火上澆油，由于沒(méi)有轉(zhuǎn)生前后的日志記錄，根本無(wú)法對(duì)轉(zhuǎn)生英雄進(jìn)行重置，運(yùn)營(yíng)不得不再次做出讓步——贈(zèng)送屬性重置卡。經(jīng)過(guò)這一系列的折騰，新增的2個(gè)付費(fèi)點(diǎn)名存實(shí)亡，還沒(méi)來(lái)得及盈利就已經(jīng)被廢掉了。游戲口碑蕩然無(wú)存盡管運(yùn)營(yíng)對(duì)玩家做出了重大的讓步，給予了足夠多的補(bǔ)償，并對(duì)所有的付費(fèi)用戶(hù)進(jìn)行單獨(dú)電話回訪，但玩家還是不買(mǎi)賬，不滿情緒、不信任感導(dǎo)致了玩家在游戲內(nèi)的停止消費(fèi)，再加上付費(fèi)需求的不足，11月DNB的收入相比10月下降了64.19%。DNB重陽(yáng)節(jié)活動(dòng)—事故影響再多的補(bǔ)償也安慰不了玩家那顆受傷的心。DNB重陽(yáng)節(jié)活動(dòng)—事故影響11月DNB的收入高臺(tái)跳水，之后再也沒(méi)有恢復(fù)。DNB重陽(yáng)節(jié)活動(dòng)—事故總結(jié)處理不及時(shí)

事故處理最有價(jià)值的黃金時(shí)段往往就在問(wèn)題出現(xiàn)后的3小時(shí)以?xún)?nèi)。

這次事故雖然發(fā)現(xiàn)及時(shí)，但因?yàn)槿狈κ鹿侍幚眍A(yù)案，最后只能手足無(wú)措的看著事故擴(kuò)散，寶貴的時(shí)間被白白的浪費(fèi)了。

說(shuō)一千道一萬(wàn)，流程最重要

沒(méi)有按流程嚴(yán)格執(zhí)行活動(dòng)上線流程，是出現(xiàn)問(wèn)題最主要的原因，運(yùn)營(yíng)對(duì)此責(zé)無(wú)旁貸。急功近利的運(yùn)營(yíng)思路，讓活動(dòng)的制作和測(cè)試都無(wú)法得到保證那時(shí)所有的活動(dòng)都是技術(shù)手動(dòng)去配置，本身就存在很大的事故隱患，再