ICS33.050

M30

團(tuán)體標(biāo)準(zhǔn)

T/TAF003-2017

Android應(yīng)用質(zhì)量測評(píng)方法

QualityTechnicalRequirementsandTestingSpecificationforAndroidApplication

2017-05-22發(fā)布2017-06-01實(shí)施

電信終端產(chǎn)業(yè)協(xié)會(huì)發(fā)布

T/TAF003-2017

標(biāo)準(zhǔn)名稱

1范圍

本標(biāo)準(zhǔn)規(guī)定了Android應(yīng)用的質(zhì)量測評(píng)方法。

本標(biāo)準(zhǔn)適用于Android應(yīng)用軟件的設(shè)計(jì)、開發(fā)及檢測。

2規(guī)范性引用文件

下列文件對(duì)于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅所注日期的版本適用于本文

件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。

工信部信管[2016]407號(hào)《移動(dòng)智能終端應(yīng)用軟件（APP）預(yù)置與分發(fā)管理暫行規(guī)定》

YDT3228-2017《移動(dòng)應(yīng)用軟件安全評(píng)估方法》

TAF16-TSG02-S-XXXXX-V1.0.0《移動(dòng)智能終端應(yīng)用軟件網(wǎng)絡(luò)資源使用效率評(píng)測方法》

3術(shù)語、定義和縮略語

3.1術(shù)語和定義

下列術(shù)語和定義適用于本文件。

3.1.1預(yù)置應(yīng)用Pre-installedApplications

由生產(chǎn)企業(yè)自行或與互聯(lián)網(wǎng)信息服務(wù)提供者合作在移動(dòng)智能終端出廠前安裝的應(yīng)用。

3.1.2第三方應(yīng)用ThirdPartyApplications

可以通過網(wǎng)站、應(yīng)用商店等移動(dòng)應(yīng)用分發(fā)平臺(tái)下載、安裝、升級(jí)的應(yīng)用。

3.1.3無響應(yīng)ApplicationNotResponding

應(yīng)用在使用過程中卡死在某一頁面，無法操作，且等待一段時(shí)間后，系統(tǒng)彈出應(yīng)用無響應(yīng)提示信息。

3.1.4黑/白屏Black/WhiteScreen

應(yīng)用在使用過程中屏幕變黑或者變白。

3.1.5強(qiáng)制關(guān)閉ForceClose

應(yīng)用在啟動(dòng)或者使用過程中崩潰，導(dǎo)致無法使用，終端屏幕彈出彈框提示應(yīng)用發(fā)生錯(cuò)誤，強(qiáng)制停止。

3.1.6閃退FlashBack

應(yīng)用在啟動(dòng)或者使用過程中崩潰，應(yīng)用程序畫面一閃而過，隨即退回到桌面，并且系統(tǒng)未給出其他

提示。

1

T/TAF003-2017

3.1.7UI異常UserInterfaceabnormity

應(yīng)用的圖形界面沒有能夠開發(fā)者設(shè)計(jì)預(yù)期正常的適配屏幕，出現(xiàn)字體大小失真、黑邊、屏幕未填滿、

圖像顯示不全等現(xiàn)象。

3.1.8功能異常Functionabnormity

在操作過程中，應(yīng)用未能按照開發(fā)者的目的給出正確的響應(yīng)的狀態(tài)。

3.2縮略語

FPSFramePerSecond幀率

ANRApplicationNotResponding應(yīng)用無響應(yīng)

4基礎(chǔ)功能

4.1元數(shù)據(jù)

測試編號(hào)4.1元數(shù)據(jù)

測試描述檢查是應(yīng)用是否提供了必要的元數(shù)據(jù)

預(yù)置條件1)獲得應(yīng)用的安裝包或用戶文檔。

測試流程1)依次檢查安裝包元數(shù)據(jù)文件或用戶文檔中是否存在規(guī)定的元數(shù)據(jù)，

并記錄，元數(shù)據(jù)包括：

a)應(yīng)用名稱；

b)圖標(biāo)；

c)惟一的版本號(hào)；

d)請求設(shè)備訪問權(quán)限列表；

e)數(shù)字簽名；

f)占用空間大??；

g)應(yīng)用內(nèi)部收費(fèi)標(biāo)識(shí)；

h)應(yīng)用內(nèi)部廣告標(biāo)識(shí)。

預(yù)期結(jié)果1)應(yīng)用提供了必要的元數(shù)據(jù)則本測試通過，否則為不通過。

需考慮的特殊事項(xiàng)無

4.2安裝

測試編號(hào)4.2安裝

測試描述檢查應(yīng)用是否可以正常安裝

2

T/TAF003-2017

預(yù)置條件1)獲得應(yīng)用安裝包

2)檢查測試終端中是否已經(jīng)包含被測應(yīng)用，如果包含則先卸載該應(yīng)用

測試流程1)將被測應(yīng)用拷貝或者下載到PC當(dāng)中，PC連接測試終端；

2)運(yùn)行adbinstall命令進(jìn)行安裝。

預(yù)期結(jié)果1)應(yīng)用能夠安裝到設(shè)備中；

2)圖標(biāo)能夠出現(xiàn)在設(shè)備中；

3)如果沒有足夠的空間，用戶應(yīng)該被通知；

4)應(yīng)用的名稱能夠正確的顯示到應(yīng)用管理器當(dāng)中。

需考慮的特殊事項(xiàng)無

4.3卸載

測試編號(hào)4.3卸載

測試描述檢查應(yīng)用是否可以正常卸載

預(yù)置條件1)應(yīng)用已正確安裝

測試流程1)打開應(yīng)用程序管理器；

2)卸載應(yīng)用。

預(yù)期結(jié)果1)應(yīng)用完全從設(shè)備中移除；

2)終端中沒有應(yīng)用的殘留文件。

需考慮的特殊事項(xiàng)1)滿足《移動(dòng)智能終端應(yīng)用軟件預(yù)置和分發(fā)管理暫行規(guī)定》第七條的

不可卸載預(yù)置應(yīng)用可不滿足此測試條例

2)存在云端的數(shù)據(jù)可以保留

4.4功能完整性校驗(yàn)

測試編號(hào)4.4功能完整性校驗(yàn)

測試描述檢查應(yīng)用的主要功能是否滿足規(guī)程

預(yù)置條件1)被測應(yīng)用處于正常工作狀態(tài)。

2)獲得應(yīng)用的用戶文檔。

測試流程1)啟動(dòng)應(yīng)用程序；

2)運(yùn)行應(yīng)用程序，探索在線模式下應(yīng)用展示在屏幕上的所有功能；

3)脫機(jī)模式下重復(fù)步驟2)；

預(yù)期結(jié)果1)能夠探索遍歷到用戶文檔中寫明的主要功能，并且所有的功能都按

照設(shè)計(jì)的方式運(yùn)行。

需考慮的特殊事項(xiàng)無

3

T/TAF003-2017

5兼容性

5.1應(yīng)用可用兼容性

測試編號(hào)5.1應(yīng)用可用兼容性

測試描述選定多臺(tái)主流終端，檢查應(yīng)用在測試終端上的安裝通過率，終端的選擇

由測試者根據(jù)需要決定。

預(yù)置條件1)終端測試之前恢復(fù)出廠設(shè)置，開機(jī)后的設(shè)置向?qū)Ь褂媚J(rèn)選項(xiàng)

2)除了恢復(fù)出廠設(shè)置后的第三方應(yīng)用，終端中不得安裝其他第三方應(yīng)

用

測試流程1)安裝應(yīng)用

2)點(diǎn)擊應(yīng)用圖標(biāo)打開應(yīng)用

3)保持屏幕亮屏，等待15秒

4)退出應(yīng)用

5)卸載應(yīng)用

預(yù)期結(jié)果1)安裝應(yīng)用后系統(tǒng)不彈出安裝失敗提示信息，在終端屏幕上應(yīng)能夠找

到應(yīng)用圖標(biāo)，否則對(duì)應(yīng)終端測試不通過。

2)啟動(dòng)應(yīng)用時(shí)，不應(yīng)出現(xiàn)ANR、黑/白屏、強(qiáng)制關(guān)閉、閃退、UI異常、

功能異常等現(xiàn)象，否則對(duì)應(yīng)終端測試不通過。

3)卸載應(yīng)用時(shí)不應(yīng)彈出卸載失敗提示信息，否則對(duì)應(yīng)終端測試不通

過。

4)通過率=通過終端數(shù)/測試終端總數(shù)，通過率應(yīng)大于85%。

需考慮的特殊事項(xiàng)選定的終端應(yīng)該根據(jù)當(dāng)前終端的市場占有率來決定，所有測試終端

的市場占有率應(yīng)至少為80%

5.2應(yīng)用執(zhí)行兼容性

測試編號(hào)5.2應(yīng)用執(zhí)行兼容性

測試描述選定多臺(tái)主流終端，檢查應(yīng)用在測試終端上的執(zhí)行通過率，終端的選擇

由測試者根據(jù)需要決定。

4

T/TAF003-2017

預(yù)置條件1)手機(jī)測試之前恢復(fù)出廠設(shè)置，開機(jī)后的設(shè)置向?qū)Ь褂媚J(rèn)選項(xiàng)

2)除了恢復(fù)出廠設(shè)置后的第三方應(yīng)用，手機(jī)中不得安裝其他第三方應(yīng)

用

3)運(yùn)行時(shí)使用統(tǒng)一有效地WIFI網(wǎng)絡(luò)環(huán)境

測試流程1)安裝應(yīng)用

2)點(diǎn)擊應(yīng)用圖標(biāo)打開應(yīng)用

3)使用隨機(jī)自動(dòng)化測試工具操作應(yīng)用5分鐘，事件之間時(shí)間間隔為

500ms

4)退出應(yīng)用

5)卸載應(yīng)用

預(yù)期結(jié)果1)安裝應(yīng)用后系統(tǒng)不彈出安裝失敗提示信息，在終端屏幕上應(yīng)能夠找

到應(yīng)用圖標(biāo)，否則對(duì)應(yīng)終端測試不通過。

2)啟動(dòng)應(yīng)用時(shí)，不應(yīng)出現(xiàn)ANR、黑/白屏、強(qiáng)制關(guān)閉、閃退、UI異常、

功能異常等現(xiàn)象，否則對(duì)應(yīng)終端測試不通過。

3)隨機(jī)自動(dòng)化測試工具操作應(yīng)用時(shí)，不應(yīng)出現(xiàn)ANR、黑/白屏、強(qiáng)制關(guān)

閉、閃退、UI異常、功能異常等現(xiàn)象，否則對(duì)應(yīng)終端測試不通過。

4)卸載應(yīng)用時(shí)不應(yīng)彈出卸載失敗提示信息，否則對(duì)應(yīng)終端測試不通

過。

5)通過率=通過終端數(shù)/測試終端總數(shù)，通過率應(yīng)大于85%。

需考慮的特殊事項(xiàng)選定的終端應(yīng)該根據(jù)當(dāng)前終端的市場占有率來決定，所有測試終端

的市場占有率應(yīng)至少為80%

5.3應(yīng)用深度兼容性

測試編號(hào)5.3應(yīng)用深度兼容性

測試描述選定多臺(tái)主流終端，檢查應(yīng)用在測試終端上的執(zhí)行通過率，終端的選擇

由測試者根據(jù)需要決定。

預(yù)置條件1)手機(jī)測試之前恢復(fù)出廠設(shè)置，開機(jī)后的設(shè)置向?qū)Ь褂媚J(rèn)選項(xiàng)

2)除了恢復(fù)出廠設(shè)置后的第三方應(yīng)用，手機(jī)中不得安裝其他第三方應(yīng)

用

3)運(yùn)行時(shí)使用統(tǒng)一有效地WIFI網(wǎng)絡(luò)環(huán)境

4)使用SIM卡

5

T/TAF003-2017

測試流程1)安裝應(yīng)用

2)點(diǎn)擊應(yīng)用圖標(biāo)打開應(yīng)用

3)遍歷應(yīng)用所有功能

4)退出應(yīng)用

5)卸載應(yīng)用

預(yù)期結(jié)果1)安裝應(yīng)用后系統(tǒng)不彈出安裝失敗提示信息，在終端屏幕上應(yīng)能夠找

到應(yīng)用圖標(biāo)，否則對(duì)應(yīng)終端測試不通過。

2)啟動(dòng)應(yīng)用時(shí)，不應(yīng)出現(xiàn)ANR、黑/白屏、強(qiáng)制關(guān)閉、閃退、UI異常、

功能異常等現(xiàn)象，否則對(duì)應(yīng)終端測試不通過。

3)遍歷應(yīng)用功能時(shí)，不應(yīng)出現(xiàn)ANR、黑/白屏、強(qiáng)制關(guān)閉、閃退、UI

異常、功能異常等現(xiàn)象，否則對(duì)應(yīng)終端測試不通過。

4)卸載應(yīng)用時(shí)不應(yīng)彈出卸載失敗提示信息，否則對(duì)應(yīng)終端測試不通

過。

5)通過率=通過終端數(shù)/測試終端總數(shù)，通過率應(yīng)大于85%。

需考慮的特殊事項(xiàng)選定的終端應(yīng)該根據(jù)當(dāng)前終端的市場占有率來決定，所有測試終端

的市場占有率應(yīng)至少為80%

6穩(wěn)定性

測試編號(hào)6.1應(yīng)用穩(wěn)定性

測試描述檢查應(yīng)用在長時(shí)間運(yùn)行之后是否能夠穩(wěn)定運(yùn)行

預(yù)置條件1)針對(duì)應(yīng)用編寫自動(dòng)化測試腳本

測試流程1)運(yùn)行測試腳本24小時(shí)

預(yù)期結(jié)果1)在測試過程中，應(yīng)用不應(yīng)該出現(xiàn)任何形式的異常，異常包括ANR、

黑/白屏、強(qiáng)制關(guān)閉、閃退、UI異常、功能異常等現(xiàn)象；

2)應(yīng)用的CPU占用、內(nèi)存占用等性能指標(biāo)不應(yīng)該出現(xiàn)異常的波動(dòng)，異

常波動(dòng)由測試者根據(jù)需要自行定義。

需考慮的特殊事項(xiàng)無

7性能

7.1CPU占用

測試編號(hào)7.1CPU占用

測試描述檢測CPU占用是否過高或者異常，導(dǎo)致終端出現(xiàn)卡頓、ANR現(xiàn)象。

6

T/TAF003-2017

預(yù)置條件1)被測應(yīng)用處于正常工作狀態(tài)

測試流程2)運(yùn)行應(yīng)用，遍歷應(yīng)用的功能；

3)記錄應(yīng)用的CPU占用情況。

預(yù)期結(jié)果1)測試過程中，CPU占用不出現(xiàn)異常的波動(dòng)，異常波動(dòng)由測試者根據(jù)

需要自行定義。

需考慮的特殊事項(xiàng)對(duì)于應(yīng)用的使用可以采用自動(dòng)化腳本遍歷應(yīng)用功能，建議測試時(shí)間不低

于24小時(shí)。

7.2內(nèi)存占用

測試編號(hào)7.2內(nèi)存占用

測試描述檢測內(nèi)存占用是否過高或者異常，導(dǎo)致終端出現(xiàn)卡頓、ANR現(xiàn)象。

預(yù)置條件1)被測應(yīng)用處于正常工作狀態(tài)

測試流程1)運(yùn)行應(yīng)用，遍歷應(yīng)用的功能；

2)記錄應(yīng)用的內(nèi)存占用情況。

預(yù)期結(jié)果1)測試過程中，內(nèi)存占用不出現(xiàn)異常的波動(dòng)，異常波動(dòng)由測試者根據(jù)

需要自行定義。

需考慮的特殊事項(xiàng)對(duì)于應(yīng)用的使用可以采用自動(dòng)化腳本遍歷應(yīng)用功能，建議測試時(shí)間不低

于24小時(shí)。

7.3冷啟動(dòng)響應(yīng)時(shí)間

測試編號(hào)7.3冷啟動(dòng)響應(yīng)時(shí)間

測試描述測量點(diǎn)擊應(yīng)用圖標(biāo)到應(yīng)用打開的冷啟動(dòng)時(shí)間

預(yù)置條件1)被測應(yīng)用處于正常工作狀態(tài)

測試流程1)重啟終端；

2)點(diǎn)擊應(yīng)用圖標(biāo)，打開應(yīng)用；

3)使用高速相機(jī)錄制整個(gè)打開過程；

4)通過高速相機(jī)錄制的結(jié)果計(jì)算打開應(yīng)用的響應(yīng)時(shí)間。

預(yù)期結(jié)果1）應(yīng)用快速打開，不出現(xiàn)明顯的卡頓

7

T/TAF003-2017

需考慮的特殊事項(xiàng)建議評(píng)級(jí)指標(biāo)：

好：響應(yīng)時(shí)間小于500ms

可接受：響應(yīng)時(shí)間500ms和1000ms之間

差：響應(yīng)時(shí)間大于1000ms

7.4熱啟動(dòng)響應(yīng)時(shí)間

測試編號(hào)7.4熱啟動(dòng)響應(yīng)時(shí)間

測試描述測量點(diǎn)擊應(yīng)用圖標(biāo)到應(yīng)用打開的熱啟動(dòng)時(shí)間

預(yù)置條件1)被測應(yīng)用處于正常工作狀態(tài)

測試流程

1)點(diǎn)擊應(yīng)用圖標(biāo)，打開應(yīng)用；

2)按[home]鍵返回主菜單；

3)再次點(diǎn)擊應(yīng)用圖標(biāo)；

4)使用高速相機(jī)錄制整個(gè)打開過程；

5)通過高速相機(jī)錄制的結(jié)果計(jì)算打開應(yīng)用的響應(yīng)時(shí)間。

預(yù)期結(jié)果1)應(yīng)用快速打開，不出現(xiàn)明顯的卡頓

需考慮的特殊事項(xiàng)建議評(píng)級(jí)指標(biāo)：

好：響應(yīng)時(shí)間小于500ms

可接受：響應(yīng)時(shí)間500ms和1000ms之間

差：響應(yīng)時(shí)間大于1000ms

7.5滑動(dòng)流暢度

測試編號(hào)7.5滑動(dòng)流暢度

測試描述測量滑動(dòng)應(yīng)用內(nèi)頁面時(shí)屏幕的幀率。使用高速相機(jī)記錄整個(gè)過程。更高

的幀率帶給用戶更流暢的性能體驗(yàn)。

預(yù)置條件1)被測應(yīng)用處于正常工作狀態(tài)

8

T/TAF003-2017

測試流程

1)打開應(yīng)用程序，處于可以瀏覽界面；

2)終端保持靜止?fàn)顟B(tài)；

3)快速滑動(dòng)界面；

4)使用高速相機(jī)錄制整個(gè)滑動(dòng)過程；

5)通過高速相機(jī)錄制的結(jié)果計(jì)算幀率值。

預(yù)期結(jié)果1)應(yīng)用使用流暢，不出現(xiàn)明顯的卡頓

需考慮的特殊事項(xiàng)建議評(píng)級(jí)指標(biāo)：

好：幀率大于40FPS

可接受：幀率介于20和40FPS之間

差：幀率小于20FPS

7.6網(wǎng)絡(luò)資源使用效率

7.6.1內(nèi)容壓縮

測試編號(hào)7.6.1滑動(dòng)流暢度

此部分測試方法見《移動(dòng)智能終端應(yīng)用軟件網(wǎng)絡(luò)資源使用效率評(píng)測方法》6.1.1章節(jié)。

7.6.2重復(fù)內(nèi)容

測試編號(hào)7.6.2重復(fù)內(nèi)容

此部分測試方法見《移動(dòng)智能終端應(yīng)用軟件網(wǎng)絡(luò)資源使用效率評(píng)測方法》6.1.2章節(jié)。

7.6.3緩存使用

測試編號(hào)7.6.3緩存使用

此部分測試方法見《移動(dòng)智能終端應(yīng)用軟件網(wǎng)絡(luò)資源使用效率評(píng)測方法》6.1.3章節(jié)。

7.6.4過期緩存

測試編號(hào)7.6.4過期緩存

此部分測試方法見《移動(dòng)智能終端應(yīng)用軟件網(wǎng)絡(luò)資源使用效率評(píng)測方法》6.1.4章節(jié)。

7.6.5合并請求

9

T/TAF003-2017

測試編號(hào)7.6.5合并請求

此部分測試方法見《移動(dòng)智能終端應(yīng)用軟件網(wǎng)絡(luò)資源使用效率評(píng)測方法》6.1.5章節(jié)。

7.6.6圖片處理

測試編號(hào)7.6.6圖片處理

此部分測試方法見《移動(dòng)智能終端應(yīng)用軟件網(wǎng)絡(luò)資源使用效率評(píng)測方法》6.1.6章節(jié)。

7.6.7信息精簡

測試編號(hào)7.6.7信息精簡

此部分測試方法見《移動(dòng)智能終端應(yīng)用軟件網(wǎng)絡(luò)資源使用效率評(píng)測方法》6.1.7章節(jié)。

7.6.8圖片組合

測試編號(hào)7.6.8圖片組合

此部分測試方法見《移動(dòng)智能終端應(yīng)用軟件網(wǎng)絡(luò)資源使用效率評(píng)測方法》6.1.8章節(jié)。

7.6.9建立連接

測試編號(hào)7.6.9建立連接

此部分測試方法見《移動(dòng)智能終端應(yīng)用軟件網(wǎng)絡(luò)資源使用效率評(píng)測方法》6.2.1章節(jié)。

7.6.10周期連接

測試編號(hào)7.6.10周期連接

此部分測試方法見《移動(dòng)智能終端應(yīng)用軟件網(wǎng)絡(luò)資源使用效率評(píng)測方法》6.2.2章節(jié)。

7.6.11并發(fā)連接

測試編號(hào)7.6.11并發(fā)連接

此部分測試方法見《移動(dòng)智能終端應(yīng)用軟件網(wǎng)絡(luò)資源使用效率評(píng)測方法》6.2.3章節(jié)。

7.6.12屏幕旋轉(zhuǎn)

測試編號(hào)7.6.12屏幕旋轉(zhuǎn)

此部分測試方法見《移動(dòng)智能終端應(yīng)用軟件網(wǎng)絡(luò)資源使用效率評(píng)測方法》6.2.4章節(jié)。

7.6.13關(guān)閉連接

10

T/TAF003-2017

測試編號(hào)7.6.13關(guān)閉連接

此部分測試方法見《移動(dòng)智能終端應(yīng)用軟件網(wǎng)絡(luò)資源使用效率評(píng)測方法》6.2.5章節(jié)。

7.6.14響應(yīng)錯(cuò)誤

測試編號(hào)7.6.14響應(yīng)錯(cuò)誤

此部分測試方法見《移動(dòng)智能終端應(yīng)用軟件網(wǎng)絡(luò)資源使用效率評(píng)測方法》6.3.1章節(jié)。

7.6.15第三方腳本使用

測試編號(hào)7.6.15第三方腳本使用

此部分測試方法見《移動(dòng)智能終端應(yīng)用軟件網(wǎng)絡(luò)資源使用效率評(píng)測方法》6.3.2章節(jié)。

7.6.16JS異步加載

測試編號(hào)7.6.16JS異步加載

此部分測試方法見《移動(dòng)智能終端應(yīng)用軟件網(wǎng)絡(luò)資源使用效率評(píng)測方法》6.3.3章節(jié)。

7.6.17JS/CSS加載順序

測試編號(hào)7.6.17JSS/CSS加載順序

此部分測試方法見《移動(dòng)智能終端應(yīng)用軟件網(wǎng)絡(luò)資源使用效率評(píng)測方法》6.3.4章節(jié)。

7.6.18HTTP1.0使用

測試編號(hào)7.6.18HTTP1.0使用

此部分測試方法見《移動(dòng)智能終端應(yīng)用軟件網(wǎng)絡(luò)資源使用效率評(píng)測方法》6.3.5章節(jié)。

7.6.19HTML空屬性

測試編號(hào)7.6.19HTML空屬性

此部分測試方法見《移動(dòng)智能終端應(yīng)用軟件網(wǎng)絡(luò)資源使用效率評(píng)測方法》6.3.6章節(jié)。

7.6.20CSS中DisplayNone的使用

測試編號(hào)7.6.20CSS中DisplayNone的使用

此部分測試方法見《移