移動測試體系華為電信軟件平臺中間件2016-4-232016-4-23移動測試的挑戰(zhàn)功能測試體驗測試兼容性測試安全性測試穩(wěn)定性測試移動測試的挑戰(zhàn)功能測試體驗測試兼容性測試安全性測試穩(wěn)定性測試112233445566移動終端多樣化測測試工具門檻高快快速交付的尷尬功能體驗兼容性安全性穩(wěn)定性性§快速/時延§流暢/幀率§流量性§快速/時延§流暢/幀率§流量§木馬§病毒§賬號竊取§廣告植入§§自動測試§快速交付§§內(nèi)核§分辨率§ROM§硬件平臺§§資源/CPU§頻繁操作§長時間移動測試的挑戰(zhàn)功能測試體驗測試兼容性測試安全性測試穩(wěn)定性測試移動測試的挑戰(zhàn)功能測試體驗測試兼容性測試安全性測試穩(wěn)定性測試112233445566KVM租戶關聯(lián)組網(wǎng))升級任務版本包、個人構建包KVM租戶關聯(lián)組網(wǎng))升級任務版本包、個人構建包一線團隊研發(fā)團隊外包團隊合作伙伴解決方案X1CI自動化工CI計算云(KVM、Xen)通用(KVM計算云(KVM、Xen)………跨平臺環(huán)境一鍵獲取用例多屏執(zhí)行效果APP自動化方案跨平臺環(huán)境一鍵獲取用例多屏執(zhí)行效果APP自動化方案海海量用例并發(fā)執(zhí)行ICP+TICCTMSSAppium-Client手機AVD調(diào)度層管理層實現(xiàn)層ICP+TICCTMSSAppium-Client手機AVDAppium-Server發(fā)調(diào)度發(fā)調(diào)度 … …BaseonJunitBaseonAutoSpacendroidATAEATAEBladeacMinirAV1AVDN開源的開源的App測試架構種用例實現(xiàn)語言支持Android和iOS設備Web環(huán)環(huán)境管理&任務調(diào)度虛擬虛擬APP用例執(zhí)行環(huán)境執(zhí)行機執(zhí)行機執(zhí)行機執(zhí)行機AndroidAndroid虛擬執(zhí)行環(huán)境x86Image&ARMLibAndroidEmulatorATAEBlade+SUSELinux 真機自動化的問題ll需要較多的手機，自動化成本高l真機環(huán)境不支持動態(tài)擴展，維護管理成本高l真機使用無線網(wǎng)絡，無線路由器穩(wěn)定性要求高l大量用例自動化執(zhí)行，真機發(fā)燙有火災風險VDVD環(huán)境帶來的價值l一塊單板16個VD，節(jié)省大量真機l動態(tài)擴展執(zhí)行環(huán)境，維護成本低lLinux版本AndroidSDK，運行更穩(wěn)定l定制化x86的IMAGE，性能跟真機相仿移動測試的挑戰(zhàn)功能測試體驗測試兼容性測試安全性測試穩(wěn)定性測試移動測試的挑戰(zhàn)功能測試體驗測試兼容性測試安全性測試穩(wěn)定性測試1122334455661、手機資源監(jiān)控手段低效2、時延統(tǒng)計方式不準確3、成功率統(tǒng)計方式低效4、數(shù)據(jù)分析和報告導出低效周期長，無法逐版本開展1、手機資源監(jiān)控手段低效2、時延統(tǒng)計方式不準確3、成功率統(tǒng)計方式低效4、數(shù)據(jù)分析和報告導出低效周期長，無法逐版本開展長2、測試執(zhí)行周期長■KPI測試在功能測試中自動進行■有問題實時告警，沒有問題不關注■KPI數(shù)據(jù)自動搜集，自動生成報告成功率幀率時延客觀數(shù)據(jù)可測可量系統(tǒng)KPICPU流量流暢美觀穩(wěn)定快速省電易用主觀感受無法量化KKPI業(yè)務KPI用用戶體驗效果云端工具平臺成功率檢測時延檢測 效率提升插件 手機抓包系統(tǒng)資源(CPU/內(nèi)存)效果云端工具平臺成功率檢測時延檢測 效率提升插件 手機抓包系統(tǒng)資源(CPU/內(nèi)存)弱網(wǎng)測試插件測試報告性能調(diào)測數(shù)據(jù)度量任務管理AIDL調(diào)用工具管理告警管理被測對象hotDogSDK業(yè)務APP1①工具工具App：實現(xiàn)測試移動化② 工具插件化：多工具集中化管理③開開放SDK：不同產(chǎn)品集成hotDog架構圖hotDog架構圖端：集中化工具App問題分析 問題分析業(yè)務業(yè)務APPn選擇監(jiān)控對象選擇監(jiān)控對象啟動監(jiān)控任務AppApp正常測試期間，KPI過閥值自動告警點點擊告警，查看實時詳情正正常測試App異常自動告警歷史指標數(shù)據(jù)以便問題定位移動測試的挑戰(zhàn)功能測試體驗測試兼容性測試安全性測試穩(wěn)定性測試移動測試的挑戰(zhàn)功能測試體驗測試兼容性測試安全性測試穩(wěn)定性測試112233445566提供Android平臺下的兼容性測試(安裝、卸載、啟動、登錄)提供Android平臺下的兼容性測試(安裝、卸載、啟動、登錄)、穩(wěn)定性測試、Monkey測試，支持測試腳本錄制回放。適用范圍：適合簡單兼容性測試、及腳本錄制回放自動化執(zhí)行提供Android、iOS平臺下的兼容性測試(安裝、卸載、啟動)及Android平臺下的功能、CPU和內(nèi)存檢測，支持基于Robotium(及淘寶Athrun框架)測試腳本執(zhí)行適用范圍：可利用其云上的終端做基本的安裝卸載測試提供Android、iOS平臺下的兼容性(安裝、卸載、啟動、Monkey)、穩(wěn)定性、功能性(支持Appium框架)、安全性測試適用范圍：適合簡單兼容性測試，和深度安全掃描百百度阿里阿里hotCat組網(wǎng)圖AppiumClientnAppiumClient1…..AppiumServerAppiumClientnAppiumClient1…..AppiumServer1AppiumServern…...管理控制臺……h(huán)otCat管理控制臺管理區(qū)管理區(qū)場景和參數(shù)設置區(qū)過程/結果展示區(qū)移動測試的挑戰(zhàn)功能測試體驗測試兼容性測試安全性測試穩(wěn)定性測試移動測試的挑戰(zhàn)功能測試體驗測試兼容性測試安全性測試穩(wěn)定性測試112233445566合法合規(guī)防合法合規(guī)防止非法監(jiān)聽個人數(shù)據(jù)保護禁止未公開接口(后門)基礎要求操作系統(tǒng)加固與防病毒數(shù)據(jù)庫加固口令安全WEB應用安全安全資料協(xié)議防攻擊自自證清白訪問通道控制日志審計敏感數(shù)據(jù)處理軟件完整性保護取證工具開發(fā)工具靜態(tài)分析工具動態(tài)分析工具反編譯工具取證工具開發(fā)工具靜態(tài)分析工具動態(tài)分析工具反編譯工具Hooking工具ICSL工具AndroidAndroidForensics等ApkAnalyserApkAnalyser、APKinspector等AndroguardAndroguard、ApkTool、JDgui等ADBIADBIFramework、CydiaSubstrate等移動測試的挑戰(zhàn)功能測試體驗測試兼容性測試安全性測試穩(wěn)定性測試移動測試的挑戰(zhàn)功能測試體驗測試兼容性測試安全性測試穩(wěn)定性測試112233445566測測試場景選擇①頻繁操作，長時間使用②長時間運行后喚醒③運算量大④不同配置機型⑤多用戶操作策略一策略一：自動化循環(huán)執(zhí)行分析App中頻繁使用的場景，通過xDevice自動化工具的圖形化用例設計方式，可設計成循環(huán)執(zhí)行同一步驟策略策略二：Monkey隨機流測試通通過Monkey模擬用戶觸摸屏幕、滑動Trackball、按鍵等操作對程序進行不同的壓力測試，檢測程序是否異常 策略三：云測試平臺通過公司云測試平臺，覆蓋不同機型的穩(wěn)定性測試未覆蓋代碼行進行批注未覆蓋代碼行進行批注全全量行覆蓋率統(tǒng)計結果(本地查看)各個JS文件行覆蓋率統(tǒng)計結果1、常見的APK的開發(fā)代碼層為APK、Framework為主，涉及到的Java代碼覆蓋方案是基于emma.jar進行二次開發(fā)的CI插件，通過對apk的重編譯實