ICS35.080

CCSL77

T/CQAE

團(tuán)體標(biāo)準(zhǔn)

T/CQAE11XXX—XXXX

信息技術(shù)眾包測(cè)試眾測(cè)服務(wù)質(zhì)量評(píng)價(jià)

Informationtechnology—Crowdsourcedtesting—Servicequalityevaluationof

crowdsourcedtesting

(報(bào)批稿)

XXXX-XX-XX發(fā)布XXXX-XX-XX實(shí)施

中國(guó)電子質(zhì)量管理協(xié)會(huì)發(fā)布

T/CQAE/ST11XXX—XXXX

目次

前言......................................................................................................................................................................II

1范圍..................................................................................................................................................................1

2規(guī)范性引用文件..............................................................................................................................................1

3術(shù)語(yǔ)和定義......................................................................................................................................................1

4眾包測(cè)試參與角色、服務(wù)流程......................................................................................................................2

4.1眾包測(cè)試參與角色...................................................................................................................................2

4.2眾包測(cè)試服務(wù)流程...................................................................................................................................2

5眾包測(cè)試任務(wù)設(shè)計(jì)評(píng)價(jià)指標(biāo)..........................................................................................................................3

5.1任務(wù)分解質(zhì)量...........................................................................................................................................3

5.2任務(wù)預(yù)算...................................................................................................................................................4

6眾包測(cè)試任務(wù)分配評(píng)價(jià)指標(biāo)..........................................................................................................................4

6.1分配方案...................................................................................................................................................4

6.2預(yù)期時(shí)間...................................................................................................................................................4

6.3測(cè)試人員參與情況...................................................................................................................................4

7眾包測(cè)試任務(wù)執(zhí)行評(píng)價(jià)指標(biāo)..........................................................................................................................4

7.1眾包測(cè)試機(jī)構(gòu)參與情況...........................................................................................................................4

7.2任務(wù)執(zhí)行時(shí)間...........................................................................................................................................5

7.3任務(wù)難度...................................................................................................................................................5

7.4任務(wù)執(zhí)行率...............................................................................................................................................5

7.5任務(wù)完成度...............................................................................................................................................5

8眾包測(cè)試結(jié)果整合評(píng)價(jià)指標(biāo)..........................................................................................................................5

8.1報(bào)告有效性...............................................................................................................................................5

8.2報(bào)告重復(fù)性...............................................................................................................................................5

8.3缺陷價(jià)值...................................................................................................................................................5

8.4缺陷分布...................................................................................................................................................5

8.5測(cè)試報(bào)告質(zhì)量...........................................................................................................................................5

8.6支付與激勵(lì)效能.......................................................................................................................................6

9眾包測(cè)試服務(wù)質(zhì)量評(píng)價(jià)程序..........................................................................................................................6

9.1概述...........................................................................................................................................................6

9.2評(píng)價(jià)模型構(gòu)建...........................................................................................................................................6

9.3評(píng)價(jià)步驟...................................................................................................................................................7

9.4評(píng)價(jià)人員與機(jī)構(gòu)要求...............................................................................................................................8

9.5評(píng)價(jià)報(bào)告...................................................................................................................................................8

（規(guī)范性）眾包測(cè)試評(píng)價(jià)指標(biāo)測(cè)量方法...................................................................................9

附錄B（資料性）眾包測(cè)試指標(biāo)分級(jí)、必要性及權(quán)重......................................................................15

I

T/CQAE/ST11XXX—XXXX

信息技術(shù)眾包測(cè)試眾測(cè)服務(wù)質(zhì)量評(píng)價(jià)

1范圍

本文件確立了基于流程的眾包測(cè)試服務(wù)質(zhì)量評(píng)價(jià)指標(biāo)，構(gòu)建面向全生存周期的眾包測(cè)試服務(wù)質(zhì)量

判定和綜合評(píng)價(jià)模型。

本文件的預(yù)期用戶和使用場(chǎng)景包括：

a)眾包測(cè)試發(fā)包方、平臺(tái)方、接包方，當(dāng)：

1)參與或期望參與眾包測(cè)試活動(dòng)時(shí)；

2)評(píng)價(jià)、檢驗(yàn)、認(rèn)證、評(píng)定其能力滿足眾包測(cè)試要求時(shí)。

b)期望以眾包測(cè)試的方式檢驗(yàn)系統(tǒng)或軟件產(chǎn)品質(zhì)量的開發(fā)者或產(chǎn)品經(jīng)理。

c)開展眾包測(cè)試服務(wù)評(píng)估、資質(zhì)認(rèn)證的第三方組織。

d)監(jiān)管眾包測(cè)試活動(dòng)的機(jī)構(gòu)。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T36733-2018服務(wù)質(zhì)量評(píng)價(jià)通則

T/CQAE11017-2021信息技術(shù)眾包測(cè)試服務(wù)質(zhì)量保障要求

T/CQAE11018-2021信息技術(shù)眾包測(cè)試接包方機(jī)構(gòu)評(píng)價(jià)

T/CQAE11020-2022信息技術(shù)眾包測(cè)試眾測(cè)產(chǎn)品質(zhì)量評(píng)價(jià)

3術(shù)語(yǔ)和定義

GB/T36733-2018、T/CQAE11017-2021、T/CQAE11018-2021、T/CQAE11020-2022界定的術(shù)語(yǔ)和

定義適用于本文件。

3.1

眾包測(cè)試服務(wù)serviceofcrowdsourcedtesting

一種以分布式、群體協(xié)作方式開展軟件測(cè)試的服務(wù)模式，通過(guò)聚合多個(gè)測(cè)試人員，利用網(wǎng)絡(luò)平臺(tái)和

特定的任務(wù)管理機(jī)制，在質(zhì)量保障要求下完成軟件測(cè)試任務(wù)。

3.2

眾包測(cè)試服務(wù)質(zhì)量servicequalityofcrowdsourcedtesting

1

T/CQAE/ST11XXX—XXXX

在眾包測(cè)試服務(wù)模式中，通過(guò)組織和管理眾包測(cè)試參與角色，針對(duì)軟件、產(chǎn)品或系統(tǒng)進(jìn)行眾包測(cè)試

活動(dòng)的綜合評(píng)價(jià)，涵蓋眾包測(cè)試的任務(wù)設(shè)計(jì)、任務(wù)分配、任務(wù)執(zhí)行和結(jié)果整合等全過(guò)程，旨在通過(guò)測(cè)試

覆蓋范圍、測(cè)試過(guò)程管理、參與角色配合與協(xié)作、問(wèn)題發(fā)現(xiàn)能力、反饋與持續(xù)改進(jìn)、測(cè)試結(jié)果可信度和

測(cè)試活動(dòng)合規(guī)性等方面綜合考量眾包測(cè)試服務(wù)的有效性。

4眾包測(cè)試參與角色、服務(wù)流程

4.1眾包測(cè)試參與角色

眾包測(cè)試的主要參與角色如下：

a)發(fā)包方：向平臺(tái)方發(fā)出眾包測(cè)試需求申請(qǐng)，獲取眾包測(cè)試服務(wù)的企業(yè)、機(jī)構(gòu)或個(gè)人；

b)接包方：負(fù)責(zé)執(zhí)行眾包測(cè)試任務(wù)并提交眾包測(cè)試結(jié)果的企業(yè)、機(jī)構(gòu)或個(gè)人；

c)平臺(tái)方：為發(fā)包方、接包方提供在線眾包測(cè)試平臺(tái)，以支持眾包測(cè)試活動(dòng)的第三方，通常不由

發(fā)包方、接包方直接擔(dān)任；

d)項(xiàng)目管理方：安排眾包測(cè)試項(xiàng)目的測(cè)試活動(dòng)、分配眾包測(cè)試任務(wù)、協(xié)調(diào)測(cè)試相關(guān)資源、審核測(cè)

試結(jié)果等，對(duì)眾包測(cè)試項(xiàng)目的質(zhì)量負(fù)責(zé)，一般由具有專業(yè)測(cè)試資質(zhì)的機(jī)構(gòu)或者具有專業(yè)測(cè)試證

書的個(gè)人擔(dān)任。

注：眾包測(cè)試項(xiàng)目無(wú)專業(yè)測(cè)試資質(zhì)的機(jī)構(gòu)或者具有專業(yè)測(cè)試證書的個(gè)人擔(dān)任其項(xiàng)目管理方時(shí)，由其委托的平臺(tái)方兼

任項(xiàng)目管理方，基于此，本文件將項(xiàng)目管理方作為眾包測(cè)試參與角色獨(dú)立出來(lái)。

4.2眾包測(cè)試服務(wù)流程

圖1給出了眾包測(cè)試服務(wù)流程，分為眾包測(cè)試任務(wù)設(shè)計(jì)、眾包測(cè)試任務(wù)分配、眾包測(cè)試任務(wù)執(zhí)行和

眾包測(cè)試結(jié)果整合四個(gè)階段。

眾包測(cè)試服務(wù)流程

發(fā)包方平臺(tái)方項(xiàng)目管理方接包方

開始

需求提交需求發(fā)布需求確認(rèn)

任務(wù)設(shè)計(jì)

眾包測(cè)試任務(wù)設(shè)計(jì)

任務(wù)發(fā)布

任務(wù)分配任務(wù)接收

眾包測(cè)試任務(wù)分配

任務(wù)執(zhí)行

完成度評(píng)估結(jié)果提交

眾包測(cè)試任務(wù)執(zhí)行

結(jié)果審核

報(bào)告驗(yàn)收?qǐng)?bào)告交付報(bào)告匯總

結(jié)束

眾包測(cè)試結(jié)果整合

圖1眾包測(cè)試服務(wù)流程圖

2

T/CQAE/ST11XXX—XXXX

4.2.1眾包測(cè)試任務(wù)設(shè)計(jì)

項(xiàng)目管理方收到發(fā)包方的測(cè)試需求和被測(cè)件后開展眾包測(cè)試任務(wù)設(shè)計(jì)，主要步驟如下：

a)發(fā)包方將測(cè)試需求和已固化版本的被測(cè)件提供給平臺(tái)方，并明確測(cè)試交付時(shí)間與測(cè)試預(yù)算；

b)平臺(tái)方依據(jù)測(cè)試環(huán)境、測(cè)試類型、測(cè)試交付時(shí)間以及測(cè)試預(yù)算等因素，挑選測(cè)試領(lǐng)域和項(xiàng)目經(jīng)

驗(yàn)相匹配的項(xiàng)目管理方；

c)項(xiàng)目管理方根據(jù)測(cè)試需求及被測(cè)件的具體特性，設(shè)計(jì)適宜眾包測(cè)試人員執(zhí)行測(cè)試的任務(wù)，發(fā)包

方和平臺(tái)方可根據(jù)需要參與，共同確定測(cè)試任務(wù)的細(xì)節(jié)。每個(gè)眾包測(cè)試任務(wù)應(yīng)涵蓋待測(cè)的具體

功能和模塊、測(cè)試環(huán)境配置說(shuō)明、報(bào)告提交的截止時(shí)間、前置操作和活動(dòng)指南、測(cè)試工具、對(duì)

眾包測(cè)試人員的專業(yè)技能要求、預(yù)算及預(yù)期工作量估計(jì)等內(nèi)容。

4.2.2眾包測(cè)試任務(wù)分配

眾包測(cè)試項(xiàng)目管理方完成眾包測(cè)試任務(wù)設(shè)計(jì)后，協(xié)助眾包測(cè)試人員選擇任務(wù)，主要步驟如下：

a)眾包測(cè)試項(xiàng)目管理方將眾包測(cè)試任務(wù)發(fā)布于眾包測(cè)試平臺(tái)上，或依據(jù)眾包測(cè)試人員的擅長(zhǎng)領(lǐng)

域、歷史測(cè)試記錄、擁有的軟硬件測(cè)試資源、地理位置等情況，制定分配方案，將任務(wù)推送至

特定眾包測(cè)試人員或機(jī)構(gòu)；

b)眾包測(cè)試人員或機(jī)構(gòu)在眾包測(cè)試平臺(tái)上選擇合適的眾包測(cè)試任務(wù)，或確認(rèn)接收由眾包測(cè)試項(xiàng)

目管理方推送的任務(wù)；

c)當(dāng)眾包測(cè)試平臺(tái)上某任務(wù)長(zhǎng)時(shí)間無(wú)眾包測(cè)試人員或機(jī)構(gòu)承接，或由眾包測(cè)試項(xiàng)目管理方推送

的任務(wù)均遭拒絕，該眾測(cè)任務(wù)設(shè)計(jì)失敗，需返回至眾包測(cè)試任務(wù)設(shè)計(jì)階段，對(duì)該任務(wù)重新設(shè)計(jì)。

4.2.3眾包測(cè)試任務(wù)執(zhí)行

眾包測(cè)試人員通過(guò)在眾包測(cè)試平臺(tái)接收眾包測(cè)試任務(wù)，或由項(xiàng)目管理方推送具體任務(wù)后，依據(jù)任務(wù)

描述開展測(cè)試活動(dòng)，完成后向平臺(tái)方提交測(cè)試結(jié)果，主要步驟如下：

a)眾包測(cè)試人員或機(jī)構(gòu)根據(jù)已接收的眾包測(cè)試任務(wù)展開測(cè)試活動(dòng)；

b)眾包測(cè)試人員或機(jī)構(gòu)向平臺(tái)方提交測(cè)試結(jié)果；

c)項(xiàng)目管理方根據(jù)提交的測(cè)試結(jié)果實(shí)時(shí)評(píng)估任務(wù)完成度。

4.2.4眾包測(cè)試結(jié)果整合

眾包測(cè)試結(jié)果整合是在測(cè)試活動(dòng)截止后，眾包測(cè)試項(xiàng)目管理方收集眾包測(cè)試人員提交的測(cè)試結(jié)果，

對(duì)其進(jìn)行分析、查重與檢錯(cuò)，整合形成最終報(bào)告，交付眾包測(cè)試客戶，完成確認(rèn)、反饋并支付酬勞，主

要步驟如下：

a)眾包測(cè)試項(xiàng)目管理方收集上一階段交付的測(cè)試結(jié)果，并對(duì)其進(jìn)行分析、查重與檢錯(cuò)；

b)眾包測(cè)試項(xiàng)目管理方匯總所有測(cè)試結(jié)果，形成最終測(cè)試報(bào)告并提交給平臺(tái)方；

c)平臺(tái)方將測(cè)試報(bào)告交付發(fā)包方；

d)發(fā)包方驗(yàn)收最終測(cè)試報(bào)告并支付傭金。

5眾包測(cè)試任務(wù)設(shè)計(jì)評(píng)價(jià)指標(biāo)

5.1任務(wù)分解質(zhì)量

5.1.1需求覆蓋情況

3

T/CQAE/ST11XXX—XXXX

從軟件需求以及測(cè)試需求的角度出發(fā)，評(píng)價(jià)眾包測(cè)試任務(wù)對(duì)需求的覆蓋情況，保證所有需求中的測(cè)

試項(xiàng)都有與之對(duì)應(yīng)的眾包測(cè)試任務(wù)。

5.1.2操作流程覆蓋情況

從被測(cè)件的角度出發(fā)，對(duì)眾包測(cè)試任務(wù)被測(cè)件操作流程的一致性進(jìn)行評(píng)價(jià)，用于引導(dǎo)非專業(yè)的眾包

測(cè)試人員開展測(cè)試，保證眾包測(cè)試任務(wù)的設(shè)計(jì)與被測(cè)件使用流程一致。

5.1.3任務(wù)復(fù)雜度

對(duì)眾包測(cè)試任務(wù)的復(fù)雜度進(jìn)行評(píng)價(jià)，根據(jù)復(fù)雜程度歸一化賦值，以便于開展后續(xù)評(píng)價(jià)。

5.2任務(wù)預(yù)算

5.2.1任務(wù)預(yù)算金額

對(duì)眾包測(cè)試任務(wù)的任務(wù)預(yù)算金額進(jìn)行評(píng)價(jià)，包括任務(wù)預(yù)算金額是否依據(jù)任務(wù)難度、任務(wù)復(fù)雜度以及

任務(wù)規(guī)模進(jìn)行分配，任務(wù)總金額是否在合同規(guī)定范圍內(nèi)等。

5.2.2任務(wù)工作量

對(duì)眾包測(cè)試任務(wù)需要的工作量估算進(jìn)行評(píng)價(jià)，衡量在任務(wù)總金額和總周期的約束下，該項(xiàng)目能否完

成。

6眾包測(cè)試任務(wù)分配評(píng)價(jià)指標(biāo)

6.1分配方案

對(duì)眾包測(cè)試任務(wù)的分配方案進(jìn)行評(píng)價(jià)，包括評(píng)估任務(wù)難度、類型與眾包測(cè)試人員能力是否匹配，任

務(wù)估算的工作量能否得以滿足等。

6.2預(yù)期時(shí)間

對(duì)眾包測(cè)試任務(wù)分配方案的測(cè)試完成時(shí)間進(jìn)行預(yù)估，結(jié)合單一任務(wù)的預(yù)期完成時(shí)長(zhǎng)與分配方案的

完成時(shí)長(zhǎng)，估算整個(gè)眾包測(cè)試項(xiàng)目的總時(shí)長(zhǎng)。

6.3測(cè)試人員參與情況

為保證眾包測(cè)試的多樣性和分布，對(duì)眾包測(cè)試任務(wù)分配方案的測(cè)試人員參與情況進(jìn)行評(píng)價(jià)，包括：

a)測(cè)試人員地理分布；

b)測(cè)試人員測(cè)試設(shè)備；

c)測(cè)試人員測(cè)試工具；

d)測(cè)試人員測(cè)試能力分布。

7眾包測(cè)試任務(wù)執(zhí)行評(píng)價(jià)指標(biāo)

7.1眾包測(cè)試機(jī)構(gòu)參與情況

對(duì)眾包測(cè)試執(zhí)行中的測(cè)試機(jī)構(gòu)參與情況進(jìn)行評(píng)價(jià)，包括有無(wú)專業(yè)的測(cè)試機(jī)構(gòu)參與、專業(yè)測(cè)試機(jī)構(gòu)的

角色、能否出具專業(yè)報(bào)告等。專業(yè)的測(cè)試機(jī)構(gòu)是指具有軟件測(cè)試資質(zhì)的機(jī)構(gòu)，資質(zhì)要求參照T/CQAE

11017-2021和T/CQAE11018-2021執(zhí)行。

4

T/CQAE/ST11XXX—XXXX

7.2任務(wù)執(zhí)行時(shí)間占比

對(duì)眾包測(cè)試任務(wù)執(zhí)行時(shí)間所占眾包測(cè)試總時(shí)長(zhǎng)的比例進(jìn)行評(píng)價(jià)，以推算任務(wù)實(shí)際執(zhí)行情況。

7.3任務(wù)難度

對(duì)眾包測(cè)試執(zhí)行中的任務(wù)難度進(jìn)行評(píng)價(jià)，用于衡量眾包測(cè)試方案中，任務(wù)和眾包測(cè)試人員能力的匹

配程度。主要依據(jù)參與眾包測(cè)試任務(wù)的人員數(shù)量及其測(cè)試能力、任務(wù)復(fù)雜度，任務(wù)執(zhí)行時(shí)間。

7.4任務(wù)執(zhí)行率

對(duì)眾包測(cè)試執(zhí)行中的眾包測(cè)試任務(wù)執(zhí)行率進(jìn)行評(píng)價(jià)，便于后期評(píng)價(jià)眾包測(cè)試任務(wù)分配方案的調(diào)整。

7.5任務(wù)完成度

對(duì)眾包測(cè)試執(zhí)行中的任務(wù)完成度進(jìn)行評(píng)價(jià)，以決定是否可以提前進(jìn)入下一個(gè)階段；如果提前達(dá)到既

定要求，則可以提前結(jié)束測(cè)試活動(dòng)，以節(jié)省測(cè)試時(shí)間和成本。主要依據(jù)參與測(cè)試人員的工作情況、歷史

表現(xiàn)及實(shí)時(shí)提交的測(cè)試報(bào)告。

8眾包測(cè)試結(jié)果整合評(píng)價(jià)指標(biāo)

8.1報(bào)告有效性

對(duì)眾包測(cè)試結(jié)果整合階段中的測(cè)試報(bào)告有效性進(jìn)行評(píng)價(jià)，主要依據(jù)有效測(cè)試報(bào)告占總報(bào)告比例。

8.2報(bào)告重復(fù)性

對(duì)眾包測(cè)試結(jié)果整合階段中的測(cè)試報(bào)告重復(fù)性進(jìn)行評(píng)價(jià)，主要依據(jù)重復(fù)測(cè)試報(bào)告占有效報(bào)告比例。

8.3缺陷價(jià)值

8.3.1缺陷嚴(yán)重程度

對(duì)眾包測(cè)試結(jié)果整合階段中的缺陷嚴(yán)重程度進(jìn)行評(píng)價(jià)，缺陷嚴(yán)重程度劃分為致命、嚴(yán)重、一般和建

議修改（較輕）。

8.3.2缺陷罕見(jiàn)程度

對(duì)眾包測(cè)試結(jié)果整合階段中的缺陷罕見(jiàn)程度進(jìn)行評(píng)價(jià)，主要依據(jù)發(fā)現(xiàn)該缺陷的測(cè)試人員數(shù)量占實(shí)

際執(zhí)行該任務(wù)的測(cè)試人員總數(shù)的比例。

8.4缺陷分布

8.4.1缺陷分布廣度

對(duì)缺陷在眾包測(cè)試任務(wù)中的分布范圍進(jìn)行評(píng)價(jià)，用以反映眾包測(cè)試的全面性。

8.4.2缺陷密度

對(duì)缺陷在眾包測(cè)試任務(wù)中的密度進(jìn)行評(píng)價(jià)，比較不同眾包測(cè)試任務(wù)的缺陷分布情況。

8.5測(cè)試報(bào)告質(zhì)量

8.5.1缺陷查全率

5

T/CQAE/ST11XXX—XXXX

評(píng)價(jià)正確檢測(cè)出所有存在缺陷的能力。

8.5.2缺陷查準(zhǔn)率

評(píng)價(jià)所檢測(cè)出的有效缺陷為真的能力。

8.5.3報(bào)告聚合質(zhì)量

在眾包測(cè)試結(jié)果整合時(shí)，會(huì)對(duì)該輪次所有測(cè)試報(bào)告進(jìn)行匯總聚合，評(píng)價(jià)報(bào)告的聚合質(zhì)量。

8.6支付與激勵(lì)效能

8.6.1酬金合理性

依據(jù)眾包測(cè)試人員提交的測(cè)試報(bào)告、任務(wù)難度、缺陷嚴(yán)重程度、缺陷罕見(jiàn)程度、任務(wù)預(yù)算金額執(zhí)行

率等，對(duì)支付眾包測(cè)試人員的酬金合理性進(jìn)行評(píng)價(jià)。

8.6.2激勵(lì)機(jī)制有效性

依據(jù)眾包測(cè)試項(xiàng)目的組織過(guò)程中測(cè)試人員的積極性、參與度、留存率、貢獻(xiàn)度等方面，評(píng)估激勵(lì)機(jī)

制的有效性。

9眾包測(cè)試服務(wù)質(zhì)量評(píng)價(jià)程序

9.1概述

眾包測(cè)試服務(wù)質(zhì)量評(píng)價(jià)按照眾包測(cè)試服務(wù)的各個(gè)階段展開，依據(jù)評(píng)價(jià)指標(biāo)細(xì)化，基于采集的數(shù)據(jù)，

對(duì)各級(jí)評(píng)價(jià)指標(biāo)進(jìn)行定量評(píng)分，以支持開展全過(guò)程眾包測(cè)試評(píng)價(jià)。評(píng)價(jià)模型給出了指標(biāo)確認(rèn)、定性評(píng)估

和判定的參考規(guī)則。

眾包測(cè)試服務(wù)質(zhì)量評(píng)價(jià)程序旨在為眾包測(cè)試服務(wù)質(zhì)量評(píng)價(jià)提供一套系統(tǒng)化的流程。本章首先介紹

了評(píng)價(jià)模型構(gòu)建原則和步驟，隨后詳細(xì)闡述了評(píng)價(jià)方法，明確了評(píng)價(jià)的具體過(guò)程，規(guī)定了評(píng)價(jià)人員與機(jī)

構(gòu)的要求以及評(píng)價(jià)報(bào)告的編制要求。

9.2評(píng)價(jià)模型構(gòu)建

9.2.1構(gòu)建原則

評(píng)價(jià)模型構(gòu)建的原則包括：

a)評(píng)價(jià)模型通常設(shè)三級(jí)指標(biāo)，其中一級(jí)指標(biāo)對(duì)應(yīng)于眾包測(cè)試服務(wù)的四個(gè)階段，二級(jí)指標(biāo)原則上與

附錄A保持一致，三級(jí)指標(biāo)依據(jù)測(cè)試環(huán)境、測(cè)試類型、被測(cè)件相關(guān)特點(diǎn)和測(cè)試需求進(jìn)行適度

裁剪和補(bǔ)充；

b)在評(píng)價(jià)數(shù)據(jù)收集時(shí)，依據(jù)附錄B優(yōu)先收集必要性等級(jí)高、權(quán)重大的評(píng)價(jià)指標(biāo)，一般情況下，不

得裁剪必要性等級(jí)為一級(jí)的評(píng)價(jià)指標(biāo)；

c)一般情況下，為提高可操作性，各行業(yè)最終確定并用于實(shí)際測(cè)評(píng)的評(píng)價(jià)模型應(yīng)在滿足應(yīng)用需求

的前提下盡量簡(jiǎn)化。

9.2.2構(gòu)建步驟

評(píng)價(jià)模型構(gòu)建采用如下步驟：

a)按照測(cè)試環(huán)境、測(cè)試類型、被測(cè)件相關(guān)特點(diǎn)和測(cè)試需求，基于構(gòu)建原則，參考附錄A選擇、調(diào)

整、修訂和補(bǔ)充各級(jí)評(píng)價(jià)指標(biāo)，設(shè)置權(quán)重，構(gòu)建模型；

6

T/CQAE/ST11XXX—XXXX

b)結(jié)合測(cè)試需求與專家知識(shí)經(jīng)驗(yàn)，自頂向下調(diào)整各級(jí)評(píng)價(jià)指標(biāo)，并挖掘補(bǔ)充缺失評(píng)價(jià)指標(biāo)；

c)自底向上優(yōu)化各級(jí)評(píng)價(jià)指標(biāo)，橫向校驗(yàn)同級(jí)評(píng)價(jià)指標(biāo)，刪除重復(fù)評(píng)價(jià)指標(biāo)，確保評(píng)價(jià)指標(biāo)準(zhǔn)確

反映內(nèi)涵；

d)在必要情況下，重復(fù)上述步驟，從而構(gòu)建完成評(píng)價(jià)模型。

9.2.3權(quán)重設(shè)置

評(píng)價(jià)模型中各級(jí)指標(biāo)的權(quán)重設(shè)置應(yīng)遵循如下方面：

a)針對(duì)眾包測(cè)試階段的一級(jí)、二級(jí)指標(biāo)權(quán)重與附錄B的指標(biāo)權(quán)重原則上需保持一致，三級(jí)指標(biāo)

的權(quán)重設(shè)置按照測(cè)試環(huán)境、測(cè)試類型、被測(cè)件相關(guān)特點(diǎn)進(jìn)行設(shè)置與調(diào)整；

示例：權(quán)重設(shè)置方法包括但不限于：專家估測(cè)法、Delphi方法、層次分析法、模糊綜合評(píng)價(jià)法、灰色聚類綜合

評(píng)價(jià)、網(wǎng)絡(luò)分析法等。

b)存在補(bǔ)充的評(píng)價(jià)指標(biāo)情況下，在眾包測(cè)試服務(wù)的單一階段內(nèi)，補(bǔ)充指標(biāo)權(quán)重總和不得超過(guò)該階

段權(quán)重的25%；

c)權(quán)重設(shè)置在同一測(cè)試項(xiàng)目?jī)?nèi)應(yīng)保持一致。

9.2.4測(cè)量方法

評(píng)價(jià)指標(biāo)評(píng)分應(yīng)基于評(píng)價(jià)數(shù)據(jù)，按照一定規(guī)則將具有不同計(jì)量單位和方式的定量或定性評(píng)價(jià)數(shù)據(jù)

轉(zhuǎn)化為能夠進(jìn)行加權(quán)計(jì)算的分值，并將其限定在某一區(qū)間范圍內(nèi)，應(yīng)遵循：

a)定量數(shù)據(jù)評(píng)分參考在一定時(shí)期內(nèi)保持相對(duì)穩(wěn)定的行業(yè)最優(yōu)、最劣值，采用德爾菲法等輔助決策，

計(jì)算公式為計(jì)算指標(biāo)分值：

???????

??=×(???)+?(1)

?????????

其中，??為指標(biāo)評(píng)價(jià)數(shù)據(jù)實(shí)際取值，????為最小閾值，????為最大閾值，最終分值限定在[?,?]

區(qū)間內(nèi)；

注：行業(yè)最優(yōu)和最劣值應(yīng)由具備相關(guān)領(lǐng)域?qū)I(yè)知識(shí)和豐富實(shí)踐經(jīng)驗(yàn)的專家團(tuán)隊(duì)來(lái)確定，通?；诖笮捅姲鼫y(cè)

試服務(wù)平臺(tái)定期收集和分析的歷史數(shù)據(jù)及行業(yè)報(bào)告，并通過(guò)行業(yè)專家小組定期評(píng)審，確保其符合行業(yè)發(fā)展和

技術(shù)進(jìn)步的需求，并適時(shí)進(jìn)行調(diào)整。

b)定性數(shù)據(jù)評(píng)分由專家將定性評(píng)價(jià)數(shù)據(jù)取值范圍劃分為若干層次，由專家確定各層次的分值，或

將定性評(píng)價(jià)數(shù)據(jù)枚舉為若干獨(dú)立選項(xiàng)，由專家確定各選項(xiàng)的分值。

9.3評(píng)價(jià)步驟

9.3.1評(píng)價(jià)準(zhǔn)備

由項(xiàng)目管理根據(jù)評(píng)價(jià)任務(wù)的性質(zhì)、規(guī)模和復(fù)雜度確定評(píng)價(jià)人員，一般建議至少由3名成員組成，確

保成員之間具備的專業(yè)背景和技能全面評(píng)價(jià)眾包測(cè)試服務(wù)質(zhì)量，并進(jìn)行評(píng)價(jià)策劃，包括確定評(píng)價(jià)指標(biāo)、

確定評(píng)價(jià)模型、了解評(píng)價(jià)對(duì)象的基本情況等。

9.3.2評(píng)價(jià)執(zhí)行

由評(píng)價(jià)人員介入眾包測(cè)試服務(wù)過(guò)程，依據(jù)已確定的評(píng)價(jià)指標(biāo)數(shù)據(jù)，在眾包測(cè)試過(guò)程完成后，按既定

評(píng)價(jià)模型開展評(píng)價(jià)工作。

9.3.3評(píng)價(jià)審核

7

T/CQAE/ST11XXX—XXXX

由項(xiàng)目管理或發(fā)包方指定評(píng)審專家，評(píng)審專家應(yīng)具備與評(píng)價(jià)人員相似的專業(yè)背景，通常擁有更高的

資歷和經(jīng)驗(yàn)，在相關(guān)領(lǐng)域內(nèi)享有較高聲譽(yù)。評(píng)審專家通過(guò)評(píng)審會(huì)的形式對(duì)評(píng)價(jià)報(bào)告進(jìn)行審核，并確定最

終的評(píng)價(jià)結(jié)果。評(píng)審專家應(yīng)確保評(píng)價(jià)報(bào)告的公正性和準(zhǔn)確性，并對(duì)審核結(jié)果承擔(dān)責(zé)任。

9.4評(píng)價(jià)人員與機(jī)構(gòu)要求

9.4.1評(píng)價(jià)人員

評(píng)價(jià)人員應(yīng)具備下列條件：

a)不得為眾包測(cè)試項(xiàng)目的參與者或利益相關(guān)方，也不能與測(cè)試人員屬于同一機(jī)構(gòu)；

b)具有國(guó)家或行業(yè)承認(rèn)的軟件測(cè)試技術(shù)專業(yè)高級(jí)以上資質(zhì)或計(jì)算機(jī)軟件相關(guān)專業(yè)的高級(jí)工程師，

具備與軟件測(cè)試任務(wù)相適應(yīng)的被測(cè)試軟件背景知識(shí)和軟件測(cè)試技術(shù)；

c)熟悉眾包測(cè)試項(xiàng)目中被測(cè)件所屬行業(yè)特點(diǎn)；

d)在形成評(píng)價(jià)意見(jiàn)時(shí)，應(yīng)行使專業(yè)的判斷并保持獨(dú)立性和客觀性；

e)不受任何可能干擾其技術(shù)判斷因素的影響，確保過(guò)程、結(jié)果的真實(shí)、客觀、準(zhǔn)確；

f)應(yīng)獨(dú)立于其出具評(píng)價(jià)結(jié)果所涉及的利益相關(guān)方；

g)恪守職業(yè)道德，保守評(píng)價(jià)對(duì)象技術(shù)和商業(yè)秘密；

h)對(duì)其出具的評(píng)價(jià)結(jié)果負(fù)責(zé)，并承擔(dān)相應(yīng)法律責(zé)任。

9.4.2評(píng)價(jià)機(jī)構(gòu)

評(píng)價(jià)機(jī)構(gòu)應(yīng)具備下列條件：

a)不得為眾包測(cè)試項(xiàng)目的參與者或利益相關(guān)方；

b)具備開展評(píng)價(jià)工作相適應(yīng)的評(píng)價(jià)人員；

c)遵循客觀獨(dú)立、公平公正、誠(chéng)實(shí)信用原則，恪守職業(yè)道德，承擔(dān)社會(huì)責(zé)任；

d)承擔(dān)相應(yīng)法律責(zé)任；

e)開展第三方評(píng)價(jià)的機(jī)構(gòu)，具備相應(yīng)的專業(yè)資質(zhì)參照標(biāo)準(zhǔn)T/CQAE11017-2021和T/CQAE11018-

2021執(zhí)行，包括但不限于CMA資質(zhì)、CNAS資質(zhì)、信息安全服務(wù)資質(zhì)等。

9.5評(píng)價(jià)報(bào)告

眾包測(cè)試服務(wù)評(píng)價(jià)報(bào)告應(yīng)具有公正性、獨(dú)立性，至少應(yīng)包含以下內(nèi)容：

a)評(píng)價(jià)人員的身份、資格以及簽名；

b)評(píng)價(jià)目的；

c)被評(píng)價(jià)對(duì)象的界定；

d)報(bào)告使用者和讀者；

e)采用的途徑和方法；

f)評(píng)價(jià)報(bào)告的日期；

g)評(píng)價(jià)基準(zhǔn)日；

h)評(píng)價(jià)結(jié)果；

i)使用數(shù)據(jù)的來(lái)源；

j)評(píng)價(jià)過(guò)程的概述；

k)使用限制說(shuō)明。

8

T/CQAE/ST11XXX—XXXX

（規(guī)范性）

眾包測(cè)試評(píng)價(jià)指標(biāo)測(cè)量方法

A.1概述

為增強(qiáng)眾包測(cè)試服務(wù)質(zhì)量評(píng)價(jià)在不同測(cè)試環(huán)境和被測(cè)件下的適用性和易用性，方便獲取適合其需

要的細(xì)化指標(biāo)，本附錄對(duì)評(píng)價(jià)中的各項(xiàng)要求均進(jìn)行了較詳實(shí)的分解細(xì)化。在實(shí)際眾測(cè)服務(wù)質(zhì)量評(píng)價(jià)時(shí)，

針對(duì)不同測(cè)試環(huán)境、測(cè)試對(duì)象、測(cè)試平臺(tái)，依據(jù)被測(cè)件領(lǐng)域特征和需求規(guī)范，選擇、完善本附錄中的各

項(xiàng)細(xì)化內(nèi)容。

A.2眾包測(cè)試任務(wù)設(shè)計(jì)階段

A.2.1任務(wù)分解質(zhì)量

A.2.1.1需求覆蓋情況

對(duì)需求覆蓋情況進(jìn)行評(píng)價(jià)，計(jì)算公式為：

?

S=???(A-1)

????

其中，????是眾包測(cè)試任務(wù)已覆蓋的測(cè)試需求數(shù)，????為總測(cè)試需求數(shù)。

A.2.1.2操作流程覆蓋情況

對(duì)操作流程覆蓋情況進(jìn)行評(píng)價(jià)，計(jì)算公式為：

?

S=???(A-2)

????

其中，????是眾包測(cè)試任務(wù)已覆蓋的被測(cè)件使用流程，????為總被測(cè)件使用流程。

A.2.1.3任務(wù)復(fù)雜度

采用IFPUG、McCabe等軟件功能點(diǎn)度量方法計(jì)算眾包測(cè)試任務(wù)復(fù)雜度，按照復(fù)雜度等級(jí)進(jìn)行評(píng)價(jià)，

見(jiàn)表A.1。

表A.1任務(wù)復(fù)雜度評(píng)分表

復(fù)雜性等級(jí)任務(wù)復(fù)雜度評(píng)分

低10

中8

高4

其中，滿分為10分。

A.2.2任務(wù)預(yù)算

A.2.2.1任務(wù)預(yù)算金額

對(duì)眾包測(cè)試的任務(wù)預(yù)算金額進(jìn)行評(píng)價(jià)，依賴有無(wú)領(lǐng)域?qū)＜覅⑴c開展。

9

T/CQAE/ST11XXX—XXXX

a)采用領(lǐng)域?qū)＜胰斯彶榈姆椒▽?duì)眾包測(cè)試任務(wù)預(yù)算金額的分配是否依據(jù)任務(wù)難度、任務(wù)復(fù)雜

度以及任務(wù)規(guī)模進(jìn)行評(píng)價(jià)；

b)不依賴領(lǐng)域?qū)＜?，直接?duì)預(yù)算金額在合同總金額中的占比評(píng)價(jià)任務(wù)預(yù)算金額，見(jiàn)表A.2：

表A.2任務(wù)預(yù)算金額評(píng)分表

預(yù)算金額在合同總金額中的占比任務(wù)預(yù)算評(píng)分

0-60%4

60%-70%6

70%-80%8

80%-90%10

90%-95%8

95%-100%6

100%以上0

其中，滿分為10分。

A.2.2.2任務(wù)工作量

對(duì)單個(gè)眾包測(cè)試任務(wù)需要花費(fèi)的任務(wù)工作量進(jìn)行評(píng)價(jià)，計(jì)算公式為：

s?=ρ?????+?(A-3)

其中，??為該任務(wù)的復(fù)雜度，??為該任務(wù)對(duì)應(yīng)的測(cè)試類型調(diào)整系數(shù)，ρ?為該任務(wù)對(duì)應(yīng)的難度系數(shù)，

?為固定值。

A.3眾包測(cè)試任務(wù)分配階段

A.3.1任務(wù)分配方案

A.3.1.1分配方案

采用領(lǐng)域?qū)＜覍?duì)眾包測(cè)試任務(wù)的分配方案進(jìn)行人工審查，評(píng)價(jià)任務(wù)難度、類型與眾包測(cè)試人員能力

是否匹配，任務(wù)估算的工作量能否得以滿足等。

A.3.1.2預(yù)期時(shí)間

對(duì)眾包測(cè)試任務(wù)的分配方案的時(shí)間進(jìn)行預(yù)估，根據(jù)單一任務(wù)的完成時(shí)長(zhǎng)與分配方案完成時(shí)長(zhǎng)相結(jié)

合，進(jìn)行總時(shí)長(zhǎng)的估算，總時(shí)長(zhǎng)小于測(cè)試交付時(shí)間，且留有空余。

A.3.2測(cè)試人員參與情況

A.3.2.1測(cè)試人員的地理分布

對(duì)參與眾包測(cè)試的眾包測(cè)試人員地理分布進(jìn)行評(píng)價(jià)，計(jì)算公式為：

?

S=????(A-4)

????

一般情況下，?????是參與眾包測(cè)試的眾包測(cè)試人員所處省份數(shù)量，????是國(guó)內(nèi)省份數(shù)量，當(dāng)測(cè)試

需求局限于省內(nèi)或者某些特定的區(qū)域時(shí)，根據(jù)實(shí)際情況對(duì)?????和????進(jìn)行定義并做調(diào)整。

A.3.2.2測(cè)試人員的測(cè)試設(shè)備

對(duì)參與眾包測(cè)試的眾包測(cè)試人員測(cè)試設(shè)備進(jìn)行評(píng)價(jià)，計(jì)算公式為：

10

T/CQAE/ST11XXX—XXXX

?

S=????(A-5)

????

其中，?????是參與眾包測(cè)試的眾包測(cè)試人員擁有的設(shè)備種類數(shù)量，????是針對(duì)該項(xiàng)測(cè)試的現(xiàn)有主

流設(shè)備種類數(shù)量，根據(jù)實(shí)際情況對(duì)?????和????進(jìn)行定義并做調(diào)整。

A.3.2.3測(cè)試人員的測(cè)試工具

對(duì)參與眾包測(cè)試的眾包測(cè)試人員測(cè)試工具進(jìn)行評(píng)價(jià)，計(jì)算公式為：

?

S=????(A-6)

????

其中，?????是參與眾包測(cè)試的眾包測(cè)試人員擁有的工具種類數(shù)量，????是該項(xiàng)測(cè)試的環(huán)境下現(xiàn)有

主流測(cè)試工具種類數(shù)量，根據(jù)實(shí)際情況對(duì)?????和????進(jìn)行定義并做調(diào)整。

A.3.2.4測(cè)試人員的測(cè)試能力分布

對(duì)參與眾包測(cè)試的眾包測(cè)試人員測(cè)試能力分布進(jìn)行評(píng)價(jià)，保證參與眾包測(cè)試的眾包測(cè)試人員中，既

有熟練掌握測(cè)試要求的人員，也有對(duì)測(cè)試不熟悉的新手。

A.4眾包測(cè)試任務(wù)執(zhí)行階段

A.4.1眾包測(cè)試機(jī)構(gòu)參與情況

對(duì)眾包測(cè)試機(jī)構(gòu)的參與情況進(jìn)行評(píng)價(jià)，為以下獨(dú)立選項(xiàng)分別進(jìn)行評(píng)價(jià)：

a)測(cè)試機(jī)構(gòu)參與眾包測(cè)試任務(wù)的占比；

b)測(cè)試機(jī)構(gòu)是否參擔(dān)任眾包測(cè)試項(xiàng)目管理方；

c)測(cè)試機(jī)構(gòu)是否能給出專業(yè)的測(cè)試報(bào)告。

A.4.2任務(wù)執(zhí)行時(shí)間占比

對(duì)任務(wù)執(zhí)行時(shí)間通過(guò)度量眾包測(cè)試任務(wù)的時(shí)間所占眾包測(cè)試總時(shí)長(zhǎng)的比例進(jìn)行評(píng)價(jià)，計(jì)算公式為：

?

S=???(A-7)

????

其中，????是任務(wù)的執(zhí)行時(shí)間，即從眾包測(cè)試人員確認(rèn)接收眾包測(cè)試任務(wù)開始，到眾包測(cè)試任務(wù)關(guān)

閉結(jié)束，????是這次眾包測(cè)試的總時(shí)間。

A.4.3任務(wù)難度

對(duì)眾包測(cè)試任務(wù)難度進(jìn)行評(píng)，計(jì)算公式為：

∑?

S=???(A-8)

∑?

其中，??為正確完成該項(xiàng)眾包測(cè)試任務(wù)的眾包測(cè)試人員能力值，?為參與該任務(wù)的眾包測(cè)試人員能

力值，依照標(biāo)準(zhǔn)T/CQAE11017-2021執(zhí)行，?為調(diào)整系數(shù)，與任務(wù)復(fù)雜度、參與眾包測(cè)試任務(wù)的人員數(shù)量

及其測(cè)試能力、任務(wù)執(zhí)行時(shí)間等相關(guān)，調(diào)整系數(shù)由領(lǐng)域?qū)＜掖_定。

A.4.4任務(wù)執(zhí)行率

對(duì)眾包測(cè)試任務(wù)執(zhí)行率進(jìn)行評(píng)價(jià)，采用以下公式：

11

T/CQAE/ST11XXX—XXXX

?

S=????(A-9)

????

其中，?????為已經(jīng)完成執(zhí)行的測(cè)試任務(wù)數(shù)，????為總測(cè)試任務(wù)數(shù)。

A.4.5任務(wù)完成度

對(duì)單個(gè)任務(wù)的眾包測(cè)試完成度進(jìn)行評(píng)價(jià)，采用以下公式：

∑??

S=1?(A-10)

?

隨機(jī)對(duì)所有眾包測(cè)試任務(wù)中的n個(gè)眾包測(cè)試任務(wù)抽樣，由測(cè)試專家人工對(duì)其中每個(gè)任務(wù)完成度評(píng)價(jià)，

評(píng)價(jià)值為??。

A.5眾包測(cè)試結(jié)果整合階段

A.5.1報(bào)告有效性

對(duì)報(bào)告有效情況進(jìn)行評(píng)價(jià)，計(jì)算公式為：

?

S=????(A-11)

????

其中，?????是眾包測(cè)試人員提交的有效測(cè)試報(bào)告數(shù)量，????是眾包測(cè)試報(bào)告提交的總報(bào)告數(shù)量。

A.5.2報(bào)告重復(fù)性

對(duì)報(bào)告重復(fù)情況進(jìn)行評(píng)價(jià)，計(jì)算公式為：

?

S=???(A-12)

?????

其中，????是眾包測(cè)試人員提交的有效測(cè)試報(bào)告中，去掉重復(fù)報(bào)告后的數(shù)量，?????是眾包測(cè)試人員

提交的有效測(cè)試報(bào)告數(shù)量。

A.5.3缺陷價(jià)值

A.5.3.1缺陷嚴(yán)重程度

對(duì)眾包測(cè)試報(bào)告的缺陷嚴(yán)重程度進(jìn)行評(píng)價(jià)，將眾包測(cè)試人員提交報(bào)告中的缺陷嚴(yán)重等級(jí)分為致命、

嚴(yán)重、一般、建議修改（較輕），見(jiàn)表A.3：

表A.3缺陷嚴(yán)重等級(jí)評(píng)分表

缺陷嚴(yán)重等級(jí)缺陷嚴(yán)重等級(jí)評(píng)分

致命10

嚴(yán)重5

一般2.5

建議修改（較輕）1.25

A.5.3.2缺陷罕見(jiàn)程度

對(duì)眾包測(cè)試報(bào)告的某一缺陷罕見(jiàn)程度進(jìn)行評(píng)價(jià)，計(jì)算公式為：

?

?=????(A-13)

??

?????

12

T/CQAE/ST11XXX—XXXX

其中，是測(cè)試報(bào)告中報(bào)出某缺陷的眾包測(cè)試人員數(shù)量，在該缺陷對(duì)應(yīng)的測(cè)試任務(wù)在實(shí)際

???????????

執(zhí)行過(guò)程中，參與該眾包測(cè)試任務(wù)的人員數(shù)量。

A.5.4缺陷分布

A.5.4.1缺陷分布廣度

對(duì)眾包測(cè)試報(bào)告的缺陷分布廣度進(jìn)行評(píng)價(jià)，計(jì)算公式為：

?

S=???(A-14)

????

其中，????是報(bào)出缺陷的任務(wù)數(shù)，????是總?cè)蝿?wù)數(shù)。

A.5.4.2缺陷密度

對(duì)眾包測(cè)試報(bào)告的缺陷密度進(jìn)行評(píng)價(jià)，當(dāng)采用對(duì)缺陷嚴(yán)重程度進(jìn)行加權(quán)時(shí)，計(jì)算公式為：

?∑?

S=???(A-15)

????

其中，????是缺陷的嚴(yán)重等級(jí)評(píng)分，參考表A.3，????是報(bào)出缺陷的任務(wù)數(shù)，?是調(diào)整系數(shù)，通常取

0.2，如果不對(duì)缺陷嚴(yán)重程度進(jìn)行加權(quán)，取????=1，?=1。

A.5.5測(cè)試報(bào)告質(zhì)量

A.5.5.1缺陷查全率

對(duì)眾包測(cè)試報(bào)告的缺陷查全率進(jìn)行評(píng)價(jià)，采用以下方法進(jìn)行：

a)對(duì)眾包測(cè)試任務(wù)進(jìn)行抽樣，即隨機(jī)選少量的眾包測(cè)試任務(wù)，交由專業(yè)測(cè)試人員進(jìn)行測(cè)試，所報(bào)

出的缺陷與眾包測(cè)試的測(cè)試報(bào)告報(bào)出的缺陷進(jìn)行對(duì)比，得到缺陷的查全率；

b)使用缺陷預(yù)測(cè)的方法對(duì)測(cè)試項(xiàng)目的缺陷數(shù)量進(jìn)行預(yù)測(cè)，采用以下公式：

?

S=???(A-16)

????

其中，????為眾包測(cè)試實(shí)際報(bào)出的正確并去重后缺陷數(shù)量，????為缺陷預(yù)測(cè)得到的缺陷數(shù)量；

c)在眾包測(cè)試開始之前即在被測(cè)件中預(yù)埋部分缺陷，最后在眾包測(cè)試報(bào)告中查找預(yù)埋缺陷的比

例，使用該方法進(jìn)行評(píng)價(jià)前需征求發(fā)布方的同意，并由領(lǐng)域?qū)＜以u(píng)價(jià)預(yù)埋缺陷對(duì)被測(cè)件的影響。

A.5.5.2缺陷查準(zhǔn)率

對(duì)眾包測(cè)試報(bào)告的缺陷查準(zhǔn)率進(jìn)行評(píng)價(jià)，采用抽樣的方法進(jìn)行，隨機(jī)選取部分缺陷，將這些缺陷對(duì)

應(yīng)的眾包測(cè)試任務(wù)交由專業(yè)測(cè)試人員進(jìn)行測(cè)試，所報(bào)出的缺陷與眾包測(cè)試的測(cè)試報(bào)告報(bào)出的缺陷進(jìn)行

對(duì)比，得到缺陷的查準(zhǔn)率。

A.5.5.3報(bào)告聚合質(zhì)量

對(duì)眾包測(cè)試報(bào)告聚合質(zhì)量進(jìn)行評(píng)價(jià)，對(duì)眾包測(cè)試人員提交的測(cè)試報(bào)告進(jìn)行隨機(jī)采樣，交由專家進(jìn)行

分析評(píng)價(jià)，并與最終聚合后的眾包測(cè)試報(bào)告進(jìn)行對(duì)比，從以下兩個(gè)方面評(píng)價(jià)測(cè)試報(bào)告聚合的質(zhì)量：

a)眾包測(cè)試人員誤報(bào)的缺陷不得在聚合報(bào)告中出現(xiàn)；

b)眾包測(cè)試人員提交的有效缺陷不得在聚合報(bào)告中缺失。

13

T/CQAE/ST11XXX—XXXX

A.5.6支付與激勵(lì)效能

A.5.6.1酬金合理性

對(duì)眾包測(cè)試的酬金合理性進(jìn)行評(píng)價(jià)，分為以下獨(dú)立選項(xiàng)分別進(jìn)行評(píng)價(jià)：

a)酬金與眾包測(cè)試人員提交的測(cè)試報(bào)告質(zhì)量、眾包測(cè)試任務(wù)難度、缺陷嚴(yán)重程度、缺陷罕見(jiàn)程度

的關(guān)聯(lián)程度；

b)任務(wù)預(yù)算金額執(zhí)行率和酬金在合同總金額中的占比。

A.5.6.2激勵(lì)機(jī)制有效性

對(duì)眾包測(cè)試的激勵(lì)機(jī)制進(jìn)行評(píng)價(jià)，分為以下獨(dú)立選項(xiàng)分別進(jìn)行評(píng)價(jià)：

a)收集有關(guān)眾包測(cè)試人員的參與度、留存率、貢獻(xiàn)度等的統(tǒng)計(jì)數(shù)據(jù)；

b)通過(guò)調(diào)查問(wèn)卷、訪談等方式收集眾包測(cè)試人員的意見(jiàn)和建議。

14

T/CQAE/ST11XXX—XXXX

附錄B

（資料性）

眾包測(cè)試指標(biāo)名稱、必要性及權(quán)重

眾包測(cè)試指標(biāo)共分為三級(jí)，眾包測(cè)試指標(biāo)的必要性程度隨級(jí)別增加而逐級(jí)遞減。需特別說(shuō)明的是，

必要性與指標(biāo)權(quán)重之間無(wú)關(guān)聯(lián)關(guān)系。眾包測(cè)試指標(biāo)名稱、必要性及權(quán)重的相關(guān)內(nèi)容見(jiàn)表B.1。

表B.1指標(biāo)名稱、必要性、權(quán)重表

一級(jí)指標(biāo)二級(jí)指標(biāo)三級(jí)指標(biāo)必要性指標(biāo)權(quán)重階段權(quán)重

眾包測(cè)試任務(wù)分解質(zhì)量需求覆蓋情況一級(jí)0.20.15

任務(wù)設(shè)計(jì)操作流程覆蓋情況一級(jí)0.2