用戶體驗監(jiān)控管理 助力中國移動 NG CRM系統(tǒng) 實現(xiàn) IT服務(wù)的管理創(chuàng)新 (Services Behind Services Behind Services) 馮葵 Kevin Feng 大中國區(qū) 產(chǎn)品戰(zhàn)略部 解決方案總監(jiān) 2010年 6月 10日 /webmoney 議程 NG用戶體驗的重要意義 客戶體驗管理的目標(biāo)和主要技術(shù)手段 RUEI的技術(shù)特點 案例分析 總結(jié) 問與答 /webmoney 客戶體驗的經(jīng)濟趨勢 1. 大眾化產(chǎn)品服務(wù)的同質(zhì)化，使得市場 競爭門檻 再次提升。 2. 用戶對產(chǎn)品服務(wù)的認(rèn)同，是 客戶體驗 的過程所決定的。 3. 體驗成為了競爭 差異化 的終極武器。這種新的經(jīng)濟模式，叫做體驗經(jīng)濟。 4. 客戶互動的過程決定成敗，不再單純是產(chǎn)品功能。 5. 以 IT為主要支撐的業(yè)務(wù) 服務(wù)的 客戶體驗管理是 重點 /webmoney 常見 IT系統(tǒng)的用戶體驗和滿意度問題 /webmoney 原有 IT管理技術(shù)并不有效 6%14%28%23%24%52%60%85%其它數(shù)據(jù)丟失了頁面被關(guān)閉不進入新的頁面應(yīng)用導(dǎo)航困難應(yīng)用死掉或不可用收到錯誤信息響應(yīng)時間慢怎樣知道問題的發(fā)生 ? IT用戶遭遇的主要困難 ? 滿意度達到不了用戶的期望 但往往我們并不能及時知道 源自 : 壓力下的性能（ Performance Under Pressure）， 2009 OAUG ResearchLine Survey 5%32%36%50%80%4%22%24%50%72%10%16%17%25%71%其它管理團隊告警服務(wù)水平管理告警維護管理告警客戶或用戶告警/webmoney IT系統(tǒng)的客戶服務(wù)現(xiàn)實 74% 的問題是由用戶通過呼叫中心的客服報告的，而非系統(tǒng)管理工具 系統(tǒng)產(chǎn)生錯誤報告 用戶通過客服投訴 平均 6個客服電話至少有一次需要確定問題根源 典型的 SLA: 95%的 L1 （一級服務(wù)問題響應(yīng)）需要在 2小時解決 /webmoney 什么原因?qū)е碌哪兀?IT服務(wù)管理 資源管理 : 應(yīng)用 數(shù)據(jù)庫 中間件 服務(wù)器 存儲 網(wǎng)絡(luò) 安全 系統(tǒng)監(jiān)控 值守 供電 機房管理 制度流程 人員培訓(xùn) . SLA服務(wù)水平管理 = 用戶體驗管理 + IT服務(wù)管理 用戶體驗管理 滿意度管理： 功能 性能 可用性 問題響應(yīng) 問題解決 體驗改善 . ? 爭執(zhí)區(qū) /webmoney 營業(yè)廳 客服人員 生產(chǎn)監(jiān)控 開發(fā)測試 IT規(guī)劃 項目管理 業(yè)務(wù)用戶 IT運維 業(yè)務(wù)支撐 ? 當(dāng)用戶抱怨系統(tǒng)慢的時候，我們后端監(jiān)控往往無法體現(xiàn)，監(jiān)控顯示系統(tǒng)資源并沒有滿負(fù)荷。 當(dāng)系統(tǒng)出現(xiàn)問題，我們能否 快速定位問題 ，并解決問題？ 用戶投訴中約有 75%的場景無法復(fù)現(xiàn)，因而無從解決。 遇到什么問題？ 如何觸發(fā)的問題？ 以前是否遇到過類似問題？ 為什么別人沒有問題？ 如何建立有效的管理視圖？ 怎樣才能快速定位問題？ 如何能改變問題解決的被動局面？ 如何提高用戶滿意度？ 如何能改善客戶體驗？ 難以理清的 IT服務(wù)責(zé)任界面？ /webmoney 為什么 IT用戶體驗是系統(tǒng)運行好壞的 KPI？ 客戶體驗管理 CEM Customer Experience Mgmt 誰來自哪里？誰關(guān)心什么？都做了哪些動作？ 他們是如何與產(chǎn)品、價格、服務(wù)和品牌互動的？哪些是熱點或冷點？ 體驗到什么挫折（ ie. 困難或錯誤）？ 交易漏斗管理與業(yè)務(wù) 流程如何優(yōu)化？訪客 滿意度趨勢？ 哪些業(yè)務(wù)造成系統(tǒng)瓶頸 ? 促銷計劃過程評估？ 完整的 IT業(yè)務(wù)管理 = 業(yè)務(wù)應(yīng)用 + CEM 滿 意 度 過 程 分 析 售 前 客戶關(guān)系管理 CRM Customer Relationship Mgmt 什么人在購買什么？誰是高價值客戶？客戶忠誠度如何？ 還應(yīng)該購買什么 ? 哪些產(chǎn)品較受歡迎？ 哪些是活躍客戶？促銷計劃結(jié)果評估？ 忠 誠 度 售 后 結(jié) 果 分 析 服務(wù)功能 服務(wù)體驗 /webmoney 為什么 IT用戶體驗管理難度大？ Services Cloud ERP 其它 CRM 中間件 業(yè)務(wù)伙伴 或聯(lián)盟 虛擬機 存儲器 服務(wù)器 數(shù)據(jù)庫 Web Portal NG CRM WSS Apps1 Apps2 Business Services and Activities 數(shù)據(jù)中心 Business Transaction Other Services 1. NG系統(tǒng)層次架構(gòu)復(fù)雜 2. J2EE應(yīng)用問題診斷困難 3. 客戶端環(huán)境難于監(jiān)控 4. 應(yīng)用開發(fā)商管理困難 5. 傳統(tǒng) CEM技術(shù)存在不安全因素 /webmoney 議程 NG用戶體驗的重要意義 客戶體驗管理的目標(biāo)和主要技術(shù)手段 RUEI的技術(shù)特點 案例分析 總結(jié) 問與答 /webmoney 管理不是從“管理”開始的 人們永遠管理不了不可衡量的事情。 Peter Drucker, 管理學(xué)大師 /webmoney 建立 衡量用戶體驗的標(biāo)準(zhǔn) 。 通過行業(yè)特定領(lǐng)域里廣泛認(rèn)同的最佳實踐，制定一系列用戶體驗有關(guān)的 KPI維度 ，主要包括 效率、效益和整體滿意度 和 服務(wù)質(zhì)量預(yù)期 的對比，來評估 web系統(tǒng)性能。 用戶體驗監(jiān)控應(yīng)提供 web系統(tǒng)的綜合 滿意度快照 ，幫助實時了解系統(tǒng)服務(wù)所處的 用戶滿意度水平 。 用戶體驗管理做什么？ /webmoney 哪些是用戶體驗管理的基本維度？ 誰 Who 如何 How 什么 What 哪里 Where 何時 When 完整的會話 sessions？ IP地址？ 用戶名？所屬群組？或匿名？ 哪些是最不滿意的用戶？ 哪些是最勤奮的用戶？ 哪些人關(guān)閉窗口？ 哪些人違規(guī) (IP、時間 )？ 滿意度問題通知誰？ 如何快速準(zhǔn)確定位錯誤？ 如何知道哪些用戶受到不良影響？ 如何提升訪客轉(zhuǎn)換率？ 如何改善優(yōu)化業(yè)務(wù)效率？ 如何優(yōu)化應(yīng)用減少 bug？ 訪問什么業(yè)務(wù)？調(diào)用什么服務(wù)或頁面？ 什么服務(wù)訪問最多？ 什么服務(wù) /頁面最慢？資源開銷最大？ 系統(tǒng)發(fā)生了什么錯誤？因為什么觸發(fā)錯誤？錯誤提示給用戶什么？ 用戶使用的設(shè)備 /版本？ 人工與系統(tǒng)時間開銷多少？ 用戶主要來自哪里？ 哪里導(dǎo)致滿意度問題？ 用戶在哪里離開業(yè)務(wù)？ 哪里出錯 (網(wǎng)絡(luò)、服務(wù)器 )？ 哪些地方流量大？ 哪些地方用戶多？ 不同時間尺度的訪問曲線？ 什么時間出的錯誤？ 什么時間做的動作？ 歷史完整回溯？ /webmoney 滿意度的 基本維度 基本 KPI 管理視圖 技術(shù)試圖 可訪問性 Accessibility 可用性 Availability 性能 Performance 如何衡量 IT用戶的滿意度？ 網(wǎng)絡(luò) vs.服務(wù)器耗時 系統(tǒng) vs. 用戶耗時 應(yīng)用性能殺手排名 最慢的頁面排名 系統(tǒng)資源開銷排名 實時系統(tǒng)整體滿意度 區(qū)域 /用戶組滿意度 實時用戶個體滿意度 實時滿意度排名 實時 /預(yù)測 /回放滿意度 用戶頁面打開時間 滿意，忍耐，憤怒 下載時間 用戶數(shù) 通訊量 用戶終止數(shù) 錯誤的精確定位；哪個服務(wù)器、哪個頁面、哪個應(yīng)用、哪個服務(wù)、哪個調(diào)用 用戶遭遇的系統(tǒng)性錯誤 網(wǎng)絡(luò)，應(yīng)用，系統(tǒng)，自定義 (content error) 出錯數(shù) 實時系統(tǒng)整體出錯率 實時用戶個體出錯 實時錯誤的影響面 用戶錯誤頁面的回放 用戶遭遇的可用性錯誤 系統(tǒng)不響應(yīng)錯 服務(wù)不能提供錯 未獲得認(rèn)證錯 實時系統(tǒng)異常訪問視圖 實時負(fù)載均衡和系統(tǒng)壓力 實時頁面爬蟲或攻擊 實時監(jiān)控有風(fēng)險的用戶訪問 錯誤的精確定位；哪個服務(wù)器、哪個頁面、哪個應(yīng)用、哪個服務(wù)、哪個調(diào)用 /webmoney 真實客戶體驗監(jiān)控管理必須做到的點 用戶終端 網(wǎng)絡(luò) Web 服務(wù)器 服務(wù)器 URL / Objects 加載 執(zhí)行 負(fù)載均衡 實時地量化地集中監(jiān)控所有關(guān)鍵生產(chǎn)業(yè)務(wù)系統(tǒng) 1. 跟蹤 所有用戶，在所有時間里的、所有應(yīng)用操作的、所有體驗障礙（如系統(tǒng)錯誤、性能差等） 2. 解析 導(dǎo)致不良用戶體驗的主要系統(tǒng)資源或應(yīng)用服務(wù)瓶頸的根源 3. 回朔 任何時間點的任何用戶的任何操作，甚至是用戶屏幕錯誤重放 4. 評估 用戶體驗的滿意度和趨勢 5. 配合改進 交易漏斗所代表的業(yè)務(wù)流程，提高業(yè)務(wù)效率 達到管理用戶滿意度和提高 SLA的目標(biāo)，實現(xiàn)以用戶為中心的轉(zhuǎn)變 快速定位問題，理清生產(chǎn)安全的責(zé)任界面 提升 IT系統(tǒng)的用戶合規(guī)管理能力 /webmoney 各類監(jiān)控技術(shù)的特點和局限 插件或代理 有多種專業(yè)的 IT資源管理工具 插件技術(shù)導(dǎo)致系統(tǒng)資源有開銷 缺少端到端的客戶體驗管理 /webmoney CEM的主要技術(shù)手段 網(wǎng) 站 分析 (web analytics) 通過標(biāo)記 tagging（ 插裝解析）每個網(wǎng)頁 進行分析 定期下載 web日志到專用分析服務(wù)器 日志越詳細(xì)，系統(tǒng)開銷越大 主要用于 對 網(wǎng)頁使用 的 分析 沒有用戶和會話的概念 Web Log JavaScript Tags JavaScript和監(jiān)測探頭 用戶應(yīng)用 中被嵌入 JavaScript代碼 或 Web服務(wù)器上安裝監(jiān)測所有網(wǎng)絡(luò)服務(wù)器 的 探針 定期下載 log進行分析 需要應(yīng)用開發(fā)商的配合，變更維護困難 對系統(tǒng)有比較大的性能開銷 活動代理 (beacon) 活動代理 （稱為機器人或beacon） 模擬最終用戶 按 預(yù)定時間間隔發(fā)送模擬交易 來測量響應(yīng)時間 主要用于監(jiān)測網(wǎng)站定制的服務(wù)水平 給系統(tǒng)帶來壓力和不是真實客戶體驗監(jiān)控 Web Beacons 非侵入 (嗅探 sniffer)式 通過專用服務(wù)器嗅探 網(wǎng)絡(luò)流量 監(jiān)視 HTTP / HTTPS/Web Service自動解析報文 實時做出真實用戶體驗的管理視圖和滿意度評估 部署簡單，對系統(tǒng)安全生產(chǎn)完全沒有干擾 Packet Sniffing X X X /webmoney 議程 NG用戶體驗的重要意義 客戶體驗管理的目標(biāo)和主要技術(shù)手段 RUEI的技術(shù)特點 案例分析 總結(jié) 問與答 /webmoney 什么是 RUEI（中文名：如意）？ REUI全稱是 Real User Experience Insight，即真實客戶體驗洞察力 RUEI是新一代的電信級客戶體驗管理技術(shù)，是目前業(yè)界最為先進客戶體驗管理工具 RUEI通過實時監(jiān)視 用戶真實活動 ，自動解析被監(jiān)控的網(wǎng)絡(luò)報文，做出對用戶行為的智能分析，提供 主動的 通報和 用戶驅(qū)動式的 趨勢分析 /webmoney 客戶體驗監(jiān)管的兩個維度 幫助你監(jiān)控最終用戶的真實體驗 技術(shù)視圖 業(yè)務(wù)視圖 服務(wù)性能管理 服務(wù)影響管理 各類 B/S應(yīng)用 (PC, 手機瀏覽器都適用 ) 主管儀表盤（ Executive Dashboard） 業(yè)務(wù)交易分析（ Business Transaction Analysis） 真實用戶監(jiān)控（ Real User Monitoring） 使用分析（ Usage Analysis） 趨勢分析（ Trend Analysis） 全面報告（ Comprehensive Reporting） 重現(xiàn)執(zhí)行問題（ Replay Performance Issues） 服務(wù)級管理（ Service Level Management） /webmoney 用戶發(fā)出請求 Client-ip, Server-ip, Gateway-ip Requested URL (Page,Object) Cookie/Session-id Referrer GET & POST requests User agents (phone, browser type) 1 系統(tǒng)響應(yīng)與服務(wù)質(zhì)量 Response? Server error, web site error, Hit OK Content of page (i.e order details, functional errors) 2 是否送達用戶 Delivered? Aborted? Network timeout? 3 RUEI的 工作原理 ：旁路監(jiān)聽 RUEI嗅探分析 服務(wù)器響應(yīng)時間 網(wǎng)絡(luò)響應(yīng)時間 /webmoney RUEI的技術(shù) 特點 企業(yè)級的性能 旁路偵聽 (TAP)/端口拷貝 (SPAN) 實時性強 ， 100%精確的方法 RUEI做到了特有的 五不 不干擾生產(chǎn) 不影響性能 不使用探針（ adapters）或插件 不修改應(yīng)用（與開發(fā)框架、數(shù)據(jù)庫、中間件和底層平臺無關(guān)） 不需人工介入 /webmoney 議程 NG用戶體驗的重要意義 客戶體驗管理的目標(biāo)和主要技術(shù)手段 RUEI的技術(shù)特點 案例分析 總結(jié) 問與答 /webmoney RUEI的主要功能 實時監(jiān)測用戶的 “真實的”活動，優(yōu)化 業(yè)務(wù)響應(yīng)率和轉(zhuǎn)化率 Executive dashboard Business Reporting Transaction Performance SLA管理與行政駕駛艙 實時錯誤報告與分析 KPI實時監(jiān)控與報警 定制業(yè)務(wù)服務(wù)實時監(jiān)控 實時交易漏斗監(jiān)控 整體頁面瀏覽性能 -綠色 = 滿意 -橙色 = 容忍 -藍色 = 失望 客戶滿意度實時趨勢分析 實時客戶體驗跟蹤 客戶出錯頁面重放 實時系統(tǒng)性能分析 /webmoney RUEI儀表盤 （管理駕駛倉 -實時全面展現(xiàn)客戶滿意度） 發(fā)生錯誤的頁面的錯誤分類及比例 用戶訪問區(qū)域公布 前 5分鐘的平均 KPI: 1.并發(fā)用戶數(shù)（個） 2. 發(fā)生錯誤的頁面數(shù)量（個） 3. 平均頁面響應(yīng)時間（秒） 4. 流量（兆） 訪問規(guī)模 1.頁面訪問量 2.按時間尺度的 用戶滿意度 3. 未來 5分鐘的滿意度評估 系統(tǒng)加載時間和用戶主動離網(wǎng)分析 哪些是最勤奮的用戶 ? 最近 12小時并發(fā)用戶數(shù)和頁面訪問量 出問題最多的 應(yīng)用和頁面 /webmoney 關(guān)鍵服務(wù)指標(biāo) KPI和 SLA監(jiān)控 關(guān)鍵事件及時按定制的預(yù)案發(fā)出報警通知 1.建立客戶滿意度的評估體系 2.設(shè)置 KP反映客戶體驗滿意度的 “紅綠燈”指標(biāo) 3.設(shè)置基于客戶體驗的SLA，使得年、月、周、日的服務(wù)水平評估 4.不同滿意度問題的嚴(yán)重程度通知不同的責(zé)任人 /webmoney 日時間尺度的用戶訪問量和滿意度回放 4月 5日情況 分析舉例： 1. 4月 1日 9點半左右，系統(tǒng)業(yè)務(wù)量達到最大值！系統(tǒng)滿意度下降到最大。不滿意的頁面占據(jù) 28.5% 2. 平時不滿意的頁面占11%。 3. 業(yè)務(wù)量最大時，系統(tǒng)滿意度比平時顯著下降。 /webmoney 用戶滿意度分析與問題預(yù)警 3服務(wù)器在 10點期間發(fā)生了什么 分析舉例： 1.用戶訪問量從 10:15起持續(xù)下降 2.到 10:30幾乎所有的用戶都是不滿意的 3.用戶訪問量在正常工作時間幾乎下降為零 4.其它系統(tǒng)監(jiān)控工具，沒有任何警示！ /webmoney 嚴(yán)重 客戶體驗的問題報警 分析舉例： 1.RUEI報警提示后端的服務(wù)器對用戶的請求不響應(yīng)了。 2.問題并不是硬件故障導(dǎo)致，而是中間件掛住(hang up)死了。因此傳統(tǒng) IT資源管理工具解決不了這樣的問題。 /webmoney 導(dǎo)致用戶體驗問題的系統(tǒng)性故障分析 4月 7日到 5月 5日 業(yè)務(wù)高峰期 4月 7日和 5月 4日當(dāng)天比平時錯誤頁面數(shù)量增加近一半。 而且增加的部分基本都是 no server response及 404錯誤。 說明系統(tǒng)高峰期服務(wù)器負(fù)載加重，造成很多請求沒有響應(yīng)。 /webmoney 通過流程漏斗將業(yè)務(wù)完成情況可視化 多少訪客沒完成交易，用戶在哪里離開了 /webmoney 從用戶體驗角度最耗系統(tǒng)資源的服務(wù) 分析舉例： 1.前 2個業(yè)務(wù)頁面共計消耗服務(wù)器資源 56%！ 2.如果能優(yōu)化這 2個業(yè)務(wù)頁面，就能有效的提升系統(tǒng)最繁忙時期的系統(tǒng)性能！ /webmoney 各地區(qū)的用戶頁面響應(yīng)時間分析 分析舉例： 1.業(yè)務(wù)高峰期， 5月 4日滄州的響應(yīng)時間最長：平均 2.8秒。 2.其中網(wǎng)絡(luò)時間都穩(wěn)定在 0.8秒內(nèi)，但服務(wù)器時間從平時的0.8秒延長到 2.1秒！說明應(yīng)用在壓力情況下性能急劇下降。 3.從 74訪問的用戶平均響應(yīng)的時間達到了 300秒，該用戶訪問了一些特殊應(yīng)用，或者是該用戶訪問時服務(wù)器出現(xiàn)問題。 /webmoney 各地區(qū)用戶的頁面訪問量 分析舉例： 1.業(yè)務(wù)最高峰時， 4月 1日成都地區(qū)的頁面訪問量排在第 7位！只有資陽、宜賓頁面訪問量的 60%左右？ 2.業(yè)務(wù)平均時，例如 4月 5日的成都地區(qū)的頁面訪問量排在第 2位。 3.為何資陽的業(yè)務(wù)量這么大？ 4月 5日情況 4月 1日情況 /webmoney 任何用戶的滿意度評估和問題回放 追蹤導(dǎo)致用戶出錯的訪問軌跡，和回放用戶的出錯頁面，從而知道用戶的確切狀況。也幫助開發(fā)商準(zhǔn)確判斷問題。 /webmoney 用戶性能體驗度最差的頁面 端到端時間到超過 4.5秒，最長的達到 33秒！這里看到的頁面 4月 15日調(diào)用超過 6800次。 /webmoney 用戶訪問量大且響應(yīng)最差的頁面 這幾個頁面，調(diào)用次數(shù)都上千次，尤其是srvpaycashcmt調(diào)用次數(shù)更是達到 3.6萬次，重點優(yōu)化后能提高系統(tǒng)性能。 /webmoney 用戶訪問遭遇的大對象分析 這個 cab文件大小最大，約 140K 這個 jsp文件代碼如果能夠優(yōu)化，應(yīng)該可以提高系統(tǒng)性能。 /webmoney 用戶體驗嚴(yán)重程度的錯誤明細(xì)列表 login/register.css為無效鏈接，但被大量引用， 1天有1.4萬多次引用。修正該問題應(yīng)該可以優(yōu)化系統(tǒng)性能。 Billpay/paycash.jsp，js/getstaffpay.jsp都 有 1.5千次系統(tǒng)報錯（ internal 500），需要重視！ /webmoney 用戶訪問頁面的出錯問題比例 1.主要的出錯頁面為billpay/paycash，js/getstaffpay 2. 主要的出錯類型為internal 500錯、 no server response錯。 /webmoney 都有哪些用戶受到了影響？ Oracle Confidential 42 員工號 客戶端 IP /webmoney 頁面響應(yīng)時間和用戶終止操作的比例 分析舉例： 1. 系統(tǒng)高峰期，qrycombprodresult的終止率達到 2