7.1移動(dòng)終端測(cè)試的目標(biāo)7.1.1傳統(tǒng)App測(cè)試的問(wèn)題

移動(dòng)互聯(lián)網(wǎng)持續(xù)向傳統(tǒng)行業(yè)滲透。共享單車(chē)火拼已經(jīng)上演，智慧停車(chē)潛力無(wú)限，分時(shí)租車(chē)蓬勃發(fā)展。社區(qū)電商、移動(dòng)社區(qū)服務(wù)應(yīng)用必將走進(jìn)人們的生活。互聯(lián)網(wǎng)家居家裝已暗流涌動(dòng)。商業(yè)銀行大力推動(dòng)金融服務(wù)互聯(lián)網(wǎng)化，互聯(lián)網(wǎng)思維漸變?yōu)榫唧w的App產(chǎn)品。

然而，海量的App給用戶(hù)帶來(lái)便利的同時(shí)，也有大量的App質(zhì)量存在問(wèn)題，給用戶(hù)造成了困擾。2016年TestBird測(cè)試過(guò)的App已達(dá)60806款，其中共發(fā)現(xiàn)了1864578個(gè)問(wèn)題，平均每個(gè)App的問(wèn)題就有30個(gè)。傳統(tǒng)的PC端測(cè)試工具和移動(dòng)端的手工測(cè)試方法已經(jīng)無(wú)法滿(mǎn)足快速發(fā)展的移動(dòng)App的需求，反映出如圖7-1所示的一系列問(wèn)題。圖7-1傳統(tǒng)App測(cè)試的問(wèn)題

歸納起來(lái)，上述問(wèn)題是以下幾方面原因造成的。

(1)測(cè)試設(shè)備碎片化嚴(yán)重。App開(kāi)發(fā)公司為了盡最大可能滿(mǎn)足用戶(hù)需求，只能對(duì)不同版本和分辨率進(jìn)行適配。但由于移動(dòng)終端的碎片化嚴(yán)重，自購(gòu)手機(jī)一次性投入成本高，且手機(jī)更新?lián)Q代快。大量的手機(jī)資源，難以管理，經(jīng)常會(huì)出現(xiàn)手機(jī)找不到的情況。所以，很多中小型公司不太可能把所有的手機(jī)型號(hào)都購(gòu)買(mǎi)來(lái)自己維護(hù)。

(2)測(cè)試管理和測(cè)試執(zhí)行是分離并低效的。傳統(tǒng)的測(cè)試往往是這樣的場(chǎng)景：測(cè)試人員在電腦上打開(kāi)測(cè)試管理系統(tǒng)，逐個(gè)手工書(shū)寫(xiě)和修改測(cè)試用例，然后通過(guò)USB連上手機(jī)，安裝App，再根據(jù)測(cè)試用例在手機(jī)上操作，這樣，測(cè)試的管理和執(zhí)行，實(shí)際上是分離的。用例執(zhí)行的結(jié)果，即使測(cè)試人員在手機(jī)上什么都沒(méi)有做，也能標(biāo)為“成功”。這樣的分離，耗費(fèi)了大量人工。

(3)測(cè)試過(guò)程易疏漏無(wú)法監(jiān)管。人工測(cè)試容易因?yàn)闇y(cè)試人員的疏忽，導(dǎo)致Bug漏報(bào)，產(chǎn)品上線后問(wèn)題才暴露，致使溝通成本和排錯(cuò)難度增加。如果測(cè)試人員記錄的測(cè)試步驟和實(shí)際測(cè)試步驟有差異，研發(fā)將無(wú)法復(fù)現(xiàn)。測(cè)試過(guò)程沒(méi)有記錄，也無(wú)法監(jiān)管復(fù)查，留下質(zhì)量隱患。

(4)測(cè)試現(xiàn)場(chǎng)不能很好地保護(hù)。測(cè)試過(guò)程中，手機(jī)狀態(tài)信息，如內(nèi)存、CPU占用等無(wú)法得到記錄，導(dǎo)致信息現(xiàn)場(chǎng)丟失，無(wú)法復(fù)現(xiàn)，埋下隱患。

7.1.2App自動(dòng)化測(cè)試的難點(diǎn)

1．自動(dòng)化測(cè)試

自動(dòng)化測(cè)試使得人為驅(qū)動(dòng)的測(cè)試過(guò)程轉(zhuǎn)化為機(jī)器執(zhí)行的過(guò)程。通常，在設(shè)計(jì)了測(cè)試用例并通過(guò)評(píng)審之后，由測(cè)試人員根據(jù)測(cè)試用例中描述的規(guī)程，逐步執(zhí)行測(cè)試，將得到實(shí)際結(jié)果與期望結(jié)果比較。在此過(guò)程中，為了節(jié)省人力、時(shí)間和硬件資源，提高測(cè)試效率，便引入了自動(dòng)化測(cè)試概念。簡(jiǎn)單地說(shuō)，就是把需要人工反復(fù)手動(dòng)執(zhí)行的測(cè)試用例，用機(jī)器自動(dòng)執(zhí)行，把人力從繁瑣的重復(fù)勞動(dòng)中解脫出來(lái)，避免了人工操作的失誤和無(wú)記錄，使得還原成為可能，大幅度提升測(cè)試質(zhì)量和效率。

2．自動(dòng)化測(cè)試技術(shù)的門(mén)檻

但是常見(jiàn)的自動(dòng)化測(cè)試有以下幾個(gè)問(wèn)題讓很多公司望而卻步：

(1)測(cè)試技能。要實(shí)現(xiàn)自動(dòng)化測(cè)試，必須掌握腳本語(yǔ)言，能開(kāi)發(fā)自動(dòng)化測(cè)試系統(tǒng)，所以需要招聘高級(jí)測(cè)試開(kāi)發(fā)人員，目前能建立完善的自動(dòng)化測(cè)試體系和能力的企業(yè)極少。

(2)研發(fā)成本。通常情況下，一套自動(dòng)化系統(tǒng)的建立需要投入至少300萬(wàn)，而要基于云手機(jī)平臺(tái)搭建自動(dòng)化測(cè)試體系，投入超過(guò)2000萬(wàn)～3000萬(wàn)，需要攻克大量的技術(shù)難關(guān)，比如終端控制、圖形化腳本、參數(shù)配置和對(duì)比等。而類(lèi)似于金融、旅游等規(guī)模較大、功能較為復(fù)雜的App，成本投入還會(huì)更多。

(3)耗時(shí)長(zhǎng)。TestBird自動(dòng)化測(cè)試能力的積累，從2013年就已經(jīng)開(kāi)始了，組織了30人的研發(fā)團(tuán)隊(duì)耗費(fèi)兩年多的時(shí)間，開(kāi)發(fā)才趨于穩(wěn)定。

7.2TestBird云手機(jī)自動(dòng)化測(cè)試平臺(tái)簡(jiǎn)介

7.2.1平臺(tái)概述

TestBird利用自身在測(cè)試領(lǐng)域積累的經(jīng)驗(yàn)和能力，將云手機(jī)技術(shù)與自動(dòng)化測(cè)試技術(shù)相結(jié)合，在業(yè)內(nèi)最先推出了自動(dòng)化云測(cè)試平臺(tái)，如圖7-2所示。圖7-2TestBird云測(cè)試平臺(tái)7.2.2平臺(tái)特點(diǎn)

1．自動(dòng)化技術(shù)先進(jìn)

領(lǐng)先的頂層設(shè)計(jì)，讓自動(dòng)化的構(gòu)建及維護(hù)效率高；真正意義上的私有云平臺(tái)，所有操作100%基于Web瀏覽器；強(qiáng)大的管理功能，支撐測(cè)試和開(kāi)發(fā)的完整工作流；測(cè)試資產(chǎn)統(tǒng)一集中在云端存儲(chǔ)，將過(guò)程數(shù)據(jù)存儲(chǔ)記錄下來(lái)，以支撐研發(fā)效率持續(xù)改進(jìn)。

2．平臺(tái)易用

無(wú)需了解自動(dòng)化腳本語(yǔ)言，即可使用自動(dòng)回歸測(cè)試；腳本錄制快速高效，只需按照文本描述操作手機(jī)，即可完成用例錄制；可一鍵式生成測(cè)試報(bào)告，報(bào)告包含了所有用例的執(zhí)行結(jié)果以及統(tǒng)計(jì)結(jié)果；報(bào)告可以分享，分享鏈接無(wú)需登陸平臺(tái)即可查看。

3．流程可控

測(cè)試結(jié)果可見(jiàn)，所有用例的執(zhí)行截圖、日志、性能等數(shù)據(jù)可在線查詢(xún)；測(cè)試進(jìn)度可見(jiàn)，實(shí)時(shí)更新和統(tǒng)計(jì)測(cè)試進(jìn)度。

4．報(bào)告專(zhuān)業(yè)

可根據(jù)測(cè)試場(chǎng)景統(tǒng)計(jì)測(cè)試結(jié)果；具有豐富的截圖、日志及性能數(shù)據(jù)，可實(shí)時(shí)在線查看。

7.2.3平臺(tái)整體架構(gòu)和實(shí)現(xiàn)原理

1．整體架構(gòu)

TestBird的自動(dòng)化回歸測(cè)試，是基于云手機(jī)平臺(tái)，采用圖形化腳本的形式，可以在一部手機(jī)上錄制腳本，在另外的一部或多部手機(jī)上回放該腳本。其中，在多部手機(jī)上回放，可以滿(mǎn)足用戶(hù)將功能回歸測(cè)試與兼容性測(cè)試相結(jié)合的要求，只有基于云手機(jī)的自動(dòng)回歸測(cè)試才能做到。

云手機(jī)平臺(tái)架構(gòu)包含了四大子系統(tǒng)，業(yè)務(wù)子系統(tǒng)、管理子系統(tǒng)、終端控制子系統(tǒng)、手機(jī)探針子系統(tǒng)，如圖7-3所示。其中，每個(gè)子系統(tǒng)的功能作用是：

(1)業(yè)務(wù)子系統(tǒng)：測(cè)試開(kāi)發(fā)人員使用業(yè)務(wù)子系統(tǒng)功能完成測(cè)試及問(wèn)題定位調(diào)試等工作；

(2)管理子系統(tǒng)：設(shè)備管理(終端、服務(wù)器)、賬戶(hù)管理、業(yè)務(wù)子系統(tǒng)日志信息管理；

(3)終端控制子系統(tǒng)：控制終端設(shè)備，與終端進(jìn)行信息交互，下發(fā)指令以及收集終端上報(bào)的數(shù)據(jù)。

(4)手機(jī)探針子系統(tǒng)：接收終端控制子系統(tǒng)的指令，控制終端執(zhí)行具體的操作命令，單擊、拖動(dòng)屏幕、截屏等操作，同時(shí)給控制子系統(tǒng)返回終端信息。

圖7-3TestBird的系統(tǒng)架構(gòu)

2．自動(dòng)化技術(shù)

TestBird采用領(lǐng)先的圖片式自動(dòng)化腳本，把測(cè)試文本用例，在手機(jī)上轉(zhuǎn)化成操作步驟的截圖，這些截圖的集合，即為自動(dòng)回歸腳本用例。這項(xiàng)技術(shù)自動(dòng)化腳本語(yǔ)言，極大地降低了測(cè)試人員的技術(shù)門(mén)檻，使手工測(cè)試人員快速成為自動(dòng)化測(cè)試人員。

App自動(dòng)化在當(dāng)今移動(dòng)互聯(lián)網(wǎng)浪潮下開(kāi)始逐漸流行，但其自動(dòng)化技術(shù)存在很多難點(diǎn)，如圖7-4所示。圖7-4App自動(dòng)化測(cè)試的難點(diǎn)

(1)控件識(shí)別：可以看到移動(dòng)終端本身的碎片化，產(chǎn)生了各種各樣的手機(jī)終端，為了實(shí)現(xiàn)一機(jī)錄制多機(jī)回放功能，需要讓每一次單擊精準(zhǔn)，控件識(shí)別是在腳本錄制過(guò)程中，將手機(jī)頁(yè)面xml文件全部載入，找到單擊控件，在腳本回放時(shí)實(shí)現(xiàn)精準(zhǔn)單擊的技術(shù)。

(2)??Anchor輔助列表識(shí)別：針對(duì)屬性相同，但是值不同的控件，需要對(duì)自動(dòng)化腳本配置一個(gè)“輔助錨”讓自動(dòng)化單擊準(zhǔn)確，這就是Anchor技術(shù)。

(3)局部圖像識(shí)別：現(xiàn)今移動(dòng)端越來(lái)越多的H5頁(yè)面，不再讓控件暴露，這就需要圖像識(shí)別，在腳本編輯時(shí)記錄圖像，在腳本回放時(shí)找到單擊位置。

(4)?OCR識(shí)別：如今大多金融行業(yè)App為了安全，對(duì)鍵盤(pán)進(jìn)行加密，不會(huì)讓第三方軟件破解，這就需要OCR識(shí)別技術(shù)，它原來(lái)是用于電子設(shè)備(例如掃描儀或數(shù)碼相機(jī))檢查紙上打印的字符，通過(guò)檢測(cè)暗、亮的模式確定其形狀，然后用字符識(shí)別方法將形狀翻譯成計(jì)算機(jī)文字的過(guò)程?，F(xiàn)在用來(lái)識(shí)別App鍵盤(pán)上的字符并實(shí)現(xiàn)自動(dòng)化精準(zhǔn)單擊。

(5)插件機(jī)制：許多大企業(yè)，為了對(duì)App上更多的數(shù)據(jù)進(jìn)行校驗(yàn)，在自動(dòng)化過(guò)程中無(wú)法只依靠運(yùn)行App來(lái)實(shí)現(xiàn)。這就需要從第三方獲取數(shù)據(jù)，插件機(jī)制給第三方數(shù)據(jù)輸入提供了方便，并且也可以提供第三方調(diào)用的入口。7.2.4平臺(tái)功能

開(kāi)發(fā)人員將版本管理工具與TestBird自動(dòng)回歸平臺(tái)對(duì)接起來(lái)，每個(gè)版本build出來(lái)后，通過(guò)自動(dòng)觸發(fā)的方式執(zhí)行老功能對(duì)應(yīng)的測(cè)試用例，如果測(cè)試通過(guò)，則保障每一個(gè)版本中新功能的引入，對(duì)老功能沒(méi)有影響。如果測(cè)試不通過(guò)，則說(shuō)明新功能引入了Bug，導(dǎo)致老功能存在問(wèn)題，開(kāi)發(fā)人員可以在本次修改的代碼中快速地找到Bug。

TestBird的自動(dòng)化回歸流程非常簡(jiǎn)單：

(1)導(dǎo)入文本用例；

(2)自動(dòng)化腳本錄制；

(3)用例回歸。

1．用例管理

1)場(chǎng)景描述

所有的測(cè)試用例，都是由用例標(biāo)題、用例描述(預(yù)置條件、執(zhí)行步驟)及預(yù)期結(jié)果構(gòu)成，這叫做文本用例。TestBird一站式云手機(jī)平臺(tái)，提供了測(cè)試用例管理的功能，用戶(hù)可以將線下excel保存的文本用例，通過(guò)批量導(dǎo)入的方式，直接導(dǎo)入到平臺(tái)中。另外，平臺(tái)也提供在線的用例創(chuàng)建、編輯及刪除功能。

2)實(shí)現(xiàn)過(guò)程

用戶(hù)登錄云手機(jī)平臺(tái)自動(dòng)回歸測(cè)試，進(jìn)入測(cè)試用例管理頁(yè)面，如圖7-5所示，選擇導(dǎo)入的用例excel表格，執(zhí)行導(dǎo)入操作即可。

圖7-5測(cè)試用例管理

2．腳本錄制

1)場(chǎng)景描述

在自動(dòng)回歸老功能之前，需要把老功能的文本用例，轉(zhuǎn)化成自動(dòng)化腳本用例，這個(gè)轉(zhuǎn)化的過(guò)程即為腳本錄制，每一個(gè)用例在自動(dòng)回歸前，都需要錄制腳本。腳本錄制完成后，就可以進(jìn)行多次回放。

2)實(shí)現(xiàn)過(guò)程

用戶(hù)選擇需要錄制的文本用例，用一部錄制終端，根據(jù)文本用例的描述進(jìn)行操作，系統(tǒng)在用戶(hù)操作過(guò)程中，自動(dòng)紀(jì)錄所有的操作步驟，生成操作截圖。按照用例步驟，操作完成后，單擊保存即可完成一個(gè)用例的錄制，如圖7-6所示。

圖7-6保存錄制的測(cè)試用例

3．自動(dòng)回歸

1)場(chǎng)景描述

(1)開(kāi)發(fā)完成一個(gè)版本創(chuàng)建成功后，通過(guò)版本管理工具與平臺(tái)對(duì)接，自動(dòng)觸發(fā)已有腳本用例的老功能自動(dòng)回歸測(cè)試。

(2)當(dāng)一個(gè)版本轉(zhuǎn)測(cè)試后，測(cè)試人員選擇需要驗(yàn)證的老功能用例進(jìn)行自動(dòng)回歸。

2)實(shí)現(xiàn)過(guò)程

用戶(hù)登錄平臺(tái)，選擇需要回歸測(cè)試的應(yīng)用版本，再選擇測(cè)試需要回歸的測(cè)試用例，創(chuàng)建一個(gè)自動(dòng)回歸測(cè)試任務(wù)即可。

圖7-7實(shí)現(xiàn)自動(dòng)回歸測(cè)試

4．自助功能測(cè)試

1)場(chǎng)景描述

自助功能測(cè)試模塊，是基于平臺(tái)化管理的手工測(cè)試模塊，為了簡(jiǎn)化測(cè)試人員的環(huán)境準(zhǔn)備工作，節(jié)省企業(yè)的購(gòu)機(jī)維護(hù)成本。將手機(jī)集中管理，共享給研發(fā)人員，這樣的方式特別適合測(cè)試研發(fā)人員較多或者多地辦公的企業(yè)。不僅可以節(jié)省購(gòu)機(jī)維護(hù)成本，且省去了手工測(cè)試工作中準(zhǔn)備復(fù)雜環(huán)境和大量手機(jī)測(cè)試數(shù)據(jù)的環(huán)節(jié)，平臺(tái)詳盡的數(shù)據(jù)記錄更能減少開(kāi)發(fā)測(cè)試間的溝通成本。

2)實(shí)現(xiàn)過(guò)程

基于“1.用例管理”，選擇用例，再選擇手機(jī)，實(shí)際操作與“2.腳本錄制”中的腳本錄制的實(shí)現(xiàn)過(guò)程相同，如圖7-8所示。

圖7-8自助功能測(cè)試

圖片標(biāo)注釋義：

單擊“自助功能測(cè)試”按鈕，進(jìn)入自助功能測(cè)試頁(yè)面；

單擊“開(kāi)始測(cè)試”按鈕，選擇相應(yīng)App版本和用例執(zhí)行測(cè)試。

注：在執(zhí)行自助功能測(cè)試時(shí)，可以選擇已有用例執(zhí)行，也可以不選擇用例直接測(cè)試。

5．兼容性測(cè)試和性能測(cè)試

1)場(chǎng)景描述

兼容性測(cè)試是移動(dòng)App測(cè)試的難點(diǎn)，App運(yùn)行于碎片化非常嚴(yán)重的終端環(huán)境(多機(jī)型、多操作系統(tǒng)、多分辨率)下，產(chǎn)生了諸多兼容性問(wèn)題。如果要靠人工測(cè)試，工作量將非常巨大，自動(dòng)化測(cè)試平臺(tái)可以自動(dòng)完成兼容性測(cè)試。

2)實(shí)現(xiàn)過(guò)程

自動(dòng)化的腳本可繼承使用“2.腳本錄制”中錄制的腳本，在兼容性測(cè)試模塊下選擇多手機(jī)，自動(dòng)執(zhí)行測(cè)試，等待測(cè)試完成。即可得到一份非常專(zhuān)業(yè)的測(cè)試報(bào)告，包括兼容性問(wèn)題和終端性能問(wèn)題。圖7-9兼容性測(cè)試圖7-10選擇被測(cè)試的手機(jī)

執(zhí)行方式釋義：

(1)并發(fā)執(zhí)行：多個(gè)手機(jī)同時(shí)執(zhí)行。

(2)順序執(zhí)行：多個(gè)手機(jī)順序執(zhí)行，適用于執(zhí)行用例時(shí)帳號(hào)只能在唯一一個(gè)手機(jī)上登錄使用。

自動(dòng)生成報(bào)告，如圖7-11所示。圖7-11生成測(cè)試報(bào)告

6．任務(wù)分發(fā)

1)場(chǎng)景描述

一個(gè)測(cè)試平臺(tái)需要考慮管理者如何管理繁雜的測(cè)試工作，任務(wù)分發(fā)為管理者提供分配工作并監(jiān)控工作進(jìn)度的功能。

2)實(shí)現(xiàn)過(guò)程

在任務(wù)名稱(chēng)列表下，切換“腳本錄制”和“自助功能測(cè)試任務(wù)”，可將這兩種任務(wù)分配給測(cè)試人員。單擊“分配任務(wù)”，進(jìn)入人員篩選對(duì)話框，如圖7-12所示。圖7-12測(cè)試任務(wù)分發(fā)7.3自動(dòng)化測(cè)試平臺(tái)應(yīng)用7.3.1應(yīng)用模式

1．公有云模式

所有的硬件資源都在TestBird中進(jìn)行管理和維護(hù)，用戶(hù)只需要注冊(cè)一個(gè)賬號(hào)，即可體驗(yàn)兼容性和遠(yuǎn)程真機(jī)調(diào)試等服務(wù)。

2．私有云模式

所有的硬件資源都在測(cè)試機(jī)房，私有云帶來(lái)的好處是：為企業(yè)節(jié)約自動(dòng)化測(cè)試建設(shè)成本、公司內(nèi)部手機(jī)資源可共享、安全性有保障并且提升了組織級(jí)測(cè)試能力。

7.3.2運(yùn)行環(huán)境

(1)使用：推薦網(wǎng)絡(luò)帶寬500KB/s，瀏覽器使用chrome；

(2)部署：普通服務(wù)器和工控機(jī)即可部署。私有云測(cè)試平臺(tái)如圖7-13所示。圖7-13私有云測(cè)試平臺(tái)7.3.3硬件組網(wǎng)

TestBird云手機(jī)硬件組網(wǎng)圖如圖7-14所示。圖7-14TestBird云手機(jī)硬件組網(wǎng)圖7.4自動(dòng)回歸測(cè)試實(shí)例

完成一個(gè)用例的自動(dòng)回歸測(cè)試工作，需要借助平臺(tái)多

個(gè)功能模塊。操作步驟如下：

(1)登錄平臺(tái)：用管理員給的帳號(hào)進(jìn)行登錄。

(2)進(jìn)入測(cè)試模塊相應(yīng)App產(chǎn)品下，如圖7-15所示。

圖7-15開(kāi)始自動(dòng)回歸測(cè)試

(3)上傳要進(jìn)行測(cè)試的App安裝包：作為產(chǎn)品/項(xiàng)目管理入口，單擊進(jìn)入，如圖7-16所示。圖7-16創(chuàng)建新的測(cè)試用例(4)導(dǎo)入用例/新建用例：在用例管理中生成一個(gè)用例文本，如圖7-17所示。圖7-17生成測(cè)試用例文本