ICS03.120.20

CCSA10/19

團(tuán)體標(biāo)準(zhǔn)

T/CESAXXXX—202X

可交互系統(tǒng)用戶體驗(yàn)成熟度模型與評估

Userexperiencematuritymodelandassessmentforinteractivesystems

征求意見稿

在提交反饋意見時，請將您知道的相關(guān)專利連同支持性文件一并附上。

已授權(quán)的專利證明材料為專利證書復(fù)印件或扉頁，已公開但尚未授權(quán)的專利申請

證明材料為專利公開通知書復(fù)印件或扉頁，未公開的專利申請的證明材料為專利申請

號和申請日期。

202X-XX-XX發(fā)布202X-XX-XX實(shí)施

中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會發(fā)布

T/CESAXXXX—202X

目次

前言...........................................................................III

引言............................................................................IV

1范圍...............................................................................5

2規(guī)范性引用文件.....................................................................5

3術(shù)語和定義.........................................................................5

4基于用戶端評估.....................................................................6

4.1評估模型.......................................................................6

4.2維度分?jǐn)?shù)生成...................................................................6

4.2.1有效性分?jǐn)?shù)生成.............................................................6

4.2.2效率分?jǐn)?shù)生成...............................................................6

4.2.3滿意度分?jǐn)?shù)生成.............................................................7

4.2.4NPS分?jǐn)?shù)生成................................................................7

4.2.5可用性問題及其嚴(yán)重性分?jǐn)?shù)生成...............................................8

4.3權(quán)重構(gòu)建.......................................................................9

5基于專家端評估.....................................................................9

5.1評估模型.......................................................................9

5.2維度分?jǐn)?shù)生成..................................................................10

5.2.1可用性問題及其嚴(yán)重性分?jǐn)?shù)生成..............................................10

5.2.2評估原則符合度分?jǐn)?shù)生成....................................................10

5.3權(quán)重分配......................................................................11

6成熟度總分生成....................................................................11

7成熟度等級........................................................................11

附錄A.............................................................................12

A.1綜述..........................................................................12

A.2分析各因素之間的關(guān)系,建立層次結(jié)構(gòu)模型.........................................12

A.3構(gòu)造判斷矩陣..................................................................12

A.4層次單排序....................................................................12

A.5一致性檢驗(yàn)....................................................................13

附錄B.............................................................................14

B.1案例一：基于可用性測試的冰箱用戶體驗(yàn)成熟度評估................................14

B.1.1項(xiàng)目簡介..................................................................14

B.1.2評估維度..................................................................14

B.1.3測試結(jié)果..................................................................14

B.1.4維度分?jǐn)?shù)生成..............................................................14

I

T/CESAXXXX—202X

B.1.5權(quán)重構(gòu)建...................................................................15

B.1.6成熟度總分計(jì)算.............................................................15

B.1.7成熟度等級劃分.............................................................15

B.2案例二：基于專家評估的智能衛(wèi)浴App用戶體驗(yàn)成熟度評估...........................16

B.2.1項(xiàng)目簡介...................................................................16

B.2.2評估維度...................................................................16

B.2.3專家評估結(jié)果...............................................................16

B.2.4維度分?jǐn)?shù)生成...............................................................16

B.2.5權(quán)重分配...................................................................17

B.2.6成熟度總分計(jì)算.............................................................17

B.2.7成熟度等級劃分.............................................................17

參考文獻(xiàn)..........................................................................18

II

T/CESAXXXX—202X

可交互系統(tǒng)用戶體驗(yàn)成熟度模型與評估

1范圍

本文件確立了可交互系統(tǒng)用戶體驗(yàn)成熟度的評估模型，描述了對應(yīng)的成熟度評估方法。

本文件適用于包括但不限于電子類產(chǎn)品、軟件產(chǎn)品、網(wǎng)絡(luò)產(chǎn)品、智能家居、智能駕駛、金融保險、

醫(yī)療健康、公共服務(wù)等行業(yè)產(chǎn)品的用戶體驗(yàn)成熟度評價。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T18978.11—2023人-系統(tǒng)交互工效學(xué)第11部分：可用性：定義和概念

3術(shù)語和定義

下列術(shù)語和定義適用于本文件。

3.1

可交互系統(tǒng)interactivesystem

用戶為實(shí)現(xiàn)特定目標(biāo)而與之交互的硬件、軟件、服務(wù)、人員等的組合。

[來源：GB/T18978.11—2023，定義3.1.5，有修改]

3.2

用戶體驗(yàn)成熟度userexperiencematurity

用戶體驗(yàn)成熟度是指產(chǎn)品在設(shè)計(jì)、開發(fā)和使用過程中，其用戶體驗(yàn)的整體水平。它通過以下兩種方

式進(jìn)行評估：

a）基于用戶端的數(shù)據(jù)：評估產(chǎn)品的有效性、效率、滿意度、NPS、可用性問題及其嚴(yán)重性；

b）基于專家端的數(shù)據(jù)：評估產(chǎn)品的可用性問題及其嚴(yán)重性，以及其對及時反饋、使用用戶的語言、

容錯性、接近現(xiàn)實(shí)的隱喻、設(shè)計(jì)的一致性、減少用戶記憶負(fù)擔(dān)、控制性和用戶幫助系統(tǒng)這些用戶體驗(yàn)設(shè)

計(jì)原則的符合程度。

3.3

任務(wù)完成率tasksuccessrate

用戶在第一次嘗試時，成功完成指定任務(wù)的比例。

注：該指標(biāo)用于衡量產(chǎn)品的有效性，反映用戶能否直觀地理解并使用產(chǎn)品功能。

3.4

任務(wù)完成時間taskcompletiontime

用戶完成指定任務(wù)所需的時間。

注：該指標(biāo)用于衡量產(chǎn)品的效率，較短的完成時間通常表明用戶能夠快速找到所需信息或功能。

3.5

滿意度評分satisfactionscore

5

T/CESAXXXX—202X

用戶對產(chǎn)品的主觀感受和總體滿意度的評分。

注：滿意度評分通常通過問卷調(diào)查或用戶反饋收集，用于評估用戶在使用產(chǎn)品后的情感和態(tài)度，包括用戶對于目標(biāo)結(jié)

果的滿意，任務(wù)過程的滿意，以及美學(xué)感受的滿意。

3.6

凈推薦值netpromoterscoreNPS

衡量用戶忠誠度的指標(biāo)，基于用戶是否愿意向他人推薦產(chǎn)品。

注：通常通過詢問用戶“在0到10的范圍內(nèi)，你有多大可能向朋友或同事推薦本產(chǎn)品？”來計(jì)算分值。

4基于用戶端評估

基于用戶端評估（即可用性測試）的數(shù)據(jù)，生成用戶體驗(yàn)成熟度分值的評估模型、維度分?jǐn)?shù)生成及權(quán)

重構(gòu)建方法。

4.1評估模型

根據(jù)GB/T18978.11及其他用戶體驗(yàn)理論模型，基于可用性測試產(chǎn)生的數(shù)據(jù)，從以下五個維度評估可

交互系統(tǒng)的用戶體驗(yàn)成熟度：

——有效性。較高的任務(wù)完成率表明用戶能夠理解并輕松使用產(chǎn)品，反映了產(chǎn)品和系統(tǒng)信息架構(gòu)設(shè)計(jì)

的邏輯性和有效性。

——效率。較短的任務(wù)完成時間通常表明用戶能夠快速找到所需信息或功能，反映了產(chǎn)品和系統(tǒng)交互

設(shè)計(jì)的合理性和高效性。

——滿意度。滿意度反映了用戶對產(chǎn)品的主觀感受和總體滿意度，衡量用戶在使用產(chǎn)品后的情感和態(tài)

度。

——NPS。NPS是一種衡量用戶忠誠度的指標(biāo)，基于用戶是否愿意向他人推薦產(chǎn)品。

——可用性問題及其嚴(yán)重性?？捎眯詥栴}及其嚴(yán)重性評估產(chǎn)品在使用過程中遇到的各種問題及其對用

戶體驗(yàn)的影響。通過可用性測試和啟發(fā)式評估，識別并記錄這些問題，并根據(jù)其嚴(yán)重程度進(jìn)行分類和評分。

嚴(yán)重性等級幫助確定問題的優(yōu)先級和修復(fù)緊迫性。

4.2維度分?jǐn)?shù)生成

4.2.1有效性分?jǐn)?shù)生成

有效性通過用戶的任務(wù)完成率來評估。在可用性測試中，任務(wù)完成率的數(shù)據(jù)是按任務(wù)得出的。例如，

某可用性測試有11個任務(wù)，8名參試者，每個任務(wù)均可得出參試者的任務(wù)完成率，總計(jì)輸出11個任務(wù)完

成率分值。取這些任務(wù)完成率分值的均值（該例按截尾平均處理，若任務(wù)數(shù)量不超過10個，則直接取均

值即可），得出一個任務(wù)完成率代表值。將任務(wù)完成率代表值乘以100，轉(zhuǎn)換成百分制得分，用以代表有

效性的分值。

4.2.2效率分?jǐn)?shù)生成

效率通過任務(wù)完成時間來評估。在可用性測試中，任務(wù)完成時間的數(shù)據(jù)是按任務(wù)得出的。例如，某

可用性測試共有11個任務(wù)，8名參試者。對任意一個任務(wù)來說，均需剔除未完成的參試者數(shù)據(jù)，對剩

余的完成時間按照百分比的方式進(jìn)行百分制轉(zhuǎn)換，再求其均值。共能求得11個百分制分?jǐn)?shù)。取這些任

務(wù)完成時間分值的均值（如果任務(wù)數(shù)量不超過10個，則直接求均值即可），得出百分制的效率分?jǐn)?shù)（任

務(wù)完成時間代表值）。

6

T/CESAXXXX—202X

其中，利用百分比進(jìn)行分?jǐn)?shù)標(biāo)準(zhǔn)化的原理是將所有維度上指標(biāo)的得分，根據(jù)其相對最佳水平的比例，

將得分轉(zhuǎn)變?yōu)榘俜直鹊梅帧?/p>

該方法適用于有明確上限或最佳值的指標(biāo)，例如滿意度評分有明確的上限（滿分），任務(wù)完成時間

可以采用最短的完成時間作為最佳值。以下為具體介紹：

滿意度評分可直接通過相應(yīng)分?jǐn)?shù)除以分?jǐn)?shù)上限的方式，得到百分比得分。例如，如果在一個7點(diǎn)量

表中進(jìn)行評分，最高分是7分，那么假如評分為4分，就可以將其轉(zhuǎn)為57分（4/7*100%）。

對于任務(wù)完成時間這類指標(biāo)，很難確定完成時間少到何種程度就達(dá)到了滿分的標(biāo)準(zhǔn)。因此，可以采

用如下方式：將所有任務(wù)（或所有用戶）中完成時間中最短的時間作為100分的標(biāo)準(zhǔn)，然后用其去除其

余的任務(wù)完成時間，將各自轉(zhuǎn)為百分比分?jǐn)?shù)。

表1百分比分?jǐn)?shù)轉(zhuǎn)換示例表

轉(zhuǎn)換前轉(zhuǎn)換后

編號滿意度評分平均分

完成時間（s）完成時間滿意度評分

（1～7）

1654.2466053

2403.5755062.5

3304.51006482

4522.8584049

滿分標(biāo)準(zhǔn)307——

4.2.3滿意度分?jǐn)?shù)生成

在可用性測試中，參試者可對任務(wù)完成的結(jié)果、過程和整體界面美學(xué)進(jìn)行滿意度評分，一名參試者

可產(chǎn)生三個滿意度評分。

任務(wù)完成結(jié)果滿意度的分?jǐn)?shù)生成方法：假設(shè)某測試共有8名參試者，8名參試者滿意度評分的均

值除以7（滿意度是7點(diǎn)量表），再乘以100，即可得出任務(wù)完成結(jié)果滿意度的百分制得分。

按同樣的方法求得任務(wù)完成過程的滿意度百分制得分，以及整體界面美學(xué)的滿意度百分制得分。

最后對這三個百分制滿意度得分加權(quán)求和（推薦按照結(jié)果0.45、過程0.35、美學(xué)0.2的權(quán)重），

得出一個綜合的滿意度代表值。

4.2.4NPS分?jǐn)?shù)生成

在可用性測試中，參試者對產(chǎn)品打完NPS分值后，根據(jù)以下公式計(jì)算NPS值：

p-d

NPS=…………（1）

e

式中：

p：評分為9或10的參試者數(shù)量；

7

T/CESAXXXX—202X

d：評分為0到6的參試者數(shù)量；

e：總參試者數(shù)量；

計(jì)算NPS值后，將其乘以100，轉(zhuǎn)換成百分制得分。

4.2.5可用性問題及其嚴(yán)重性分?jǐn)?shù)生成

可用性問題及其嚴(yán)重性分?jǐn)?shù)生成步驟如下：

a）數(shù)據(jù)收集與標(biāo)準(zhǔn)化

1）收集每名參試者的可用性問題列表和對應(yīng)的嚴(yán)重等級；

2）將嚴(yán)重等級標(biāo)準(zhǔn)化為數(shù)值（例如，嚴(yán)重=4，中等=3，一般=2，輕微=1）；

3）將每個問題嚴(yán)重等級乘以其對應(yīng)的問題數(shù)量，然后加和，得到一個綜合分?jǐn)?shù)。

b）轉(zhuǎn)換為百分制評分

1）取參試者中的最大綜合分?jǐn)?shù)Tmax；

2）轉(zhuǎn)換為百分制評分：

對于某參試者的綜合分?jǐn)?shù)，其百分制評分為：

T

1-×100…………（2）

Tmax

??

式中：

T：某參試者綜合分?jǐn)?shù)。

這里，綜合分?jǐn)?shù)越高表示問題越多，用戶體驗(yàn)越差，所以需要反轉(zhuǎn)計(jì)算。

c）離群值檢測（適用于參試者人數(shù)超過10人的情況，否則忽略此步驟）

參試者人數(shù)較多時（超過10人），可通過離群值檢測的方式，判斷并剔除離散值，具體操作方法如

下。

1）對所有參試者的百分制評分按從小到大的順序排序；

2）計(jì)算四分位距（IQR）：

IQR=Q3-Q1…………（3）

式中：

Q1：排序后數(shù)據(jù)中位于25%位置的值；

Q3：排序后數(shù)據(jù)中位于75%位置的值。

3）確定離群值范圍：

下限：Q1-1.5×IQR

上限：Q3+1.5×IQR

8

T/CESAXXXX—202X

4）識別離群值：任何低于下限或高于上限的評分都被視為離群值。

d）去除離群值并計(jì)算截尾平均值（若參試者人數(shù)不超過10人，忽略以下步驟，直接計(jì)算均值）

1）去除識別出的離群值；

2）計(jì)算去除離群值后的評分的均值。

4.3權(quán)重構(gòu)建

基于國標(biāo)參考和執(zhí)行效率考慮，采用層次分析法來計(jì)算五個維度的權(quán)重?cái)?shù)值。層次分析法介紹及

具體實(shí)施步驟參見附錄A。

5基于專家端評估

本部分介紹基于專家端評估（即專家評估）的數(shù)據(jù)，生成用戶體驗(yàn)成熟度分值的評估模型、維度

分?jǐn)?shù)生成及權(quán)重分配方法。

5.1評估模型

通過專家評估產(chǎn)生的數(shù)據(jù)，結(jié)合以下兩個維度進(jìn)行評估：

——可用性問題及其嚴(yán)重性：評估專家識別出的可用性問題及其嚴(yán)重性。

——評估原則符合度：評估可交互系統(tǒng)在以下八個原則上的符合程度：

及時反饋。對于用戶的操作，產(chǎn)品和系統(tǒng)應(yīng)該及時給予反饋，告知用戶機(jī)器目前的狀態(tài)以及

正在執(zhí)行的操作，便于用戶了解當(dāng)前人機(jī)交互的狀況。機(jī)器的反饋信息可以讓用戶通過視覺、聽覺、

觸覺、嗅覺等感知通道獲悉。

使用用戶的語言。界面設(shè)計(jì)經(jīng)常涉及到一些專業(yè)的產(chǎn)品和技術(shù)，用戶對于很多語詞不明白不

理解。所以無法執(zhí)行下一步的任務(wù)。

接近現(xiàn)實(shí)的隱喻。隱喻是一種比喻手段，通過本質(zhì)不同的事物之間的相似點(diǎn)來進(jìn)行隱晦的表

達(dá)。這種修辭方式被借用在用戶界面設(shè)計(jì)中，要求圖標(biāo)、顏色、形狀等寓意要接近現(xiàn)實(shí)中人們對此

的認(rèn)識和定義。

設(shè)計(jì)的一致性。包括視覺寓意的一致性，頁面布局的一致性，以及交互邏輯的一致性。比如

在跨平臺應(yīng)用中，所有按鈕的顏色、形狀和位置在不同設(shè)備（如手機(jī)、平板、電腦）上保持一致，

使用戶處于相同的體驗(yàn)感知。

容錯性。犯錯誤是人的屬性之一。生活中我們經(jīng)常會犯一些錯誤，比如出門忘記關(guān)燈，甚至

忘記鎖門等。所以，容錯性設(shè)計(jì)首先要盡量避免用戶錯誤操作的發(fā)生，其次如果用戶犯了錯誤，要

給予改正錯誤的機(jī)會。

減少用戶記憶負(fù)擔(dān)。對用戶的各項(xiàng)信息進(jìn)行留存，幫助用戶記憶。在用戶輸入部分信息時，

可以提示與輸入信息相關(guān)的內(nèi)容供用戶直接選擇，減輕記憶負(fù)擔(dān)。聲音用戶界面的設(shè)計(jì)要遵循記憶

原則。

控制性。用戶自由控制機(jī)器，包括開啟、回退、撤銷、關(guān)閉等操作。機(jī)器要提供多種控制方

式供用戶選擇，比如在車機(jī)交互系統(tǒng)中，基于場景的安全性和方便性，用戶可以選擇使用語音設(shè)置

導(dǎo)航，也可以選擇使用手機(jī)進(jìn)行設(shè)置，還可以選擇在車機(jī)屏幕上進(jìn)行設(shè)置。

9

T/CESAXXXX—202X

用戶幫助系統(tǒng)。指幫助用戶了解產(chǎn)品和系統(tǒng)的功能，并進(jìn)行連接、安裝、使用、維護(hù)，解決

一些簡單問題和故障的說明手冊。用戶幫助系統(tǒng)是產(chǎn)品和系統(tǒng)的必備附件之一，其架構(gòu)和寫作也要

符合用戶體驗(yàn)原則，達(dá)到答疑解惑的目的。

5.2維度分?jǐn)?shù)生成

5.2.1可用性問題及其嚴(yán)重性分?jǐn)?shù)生成

參考4.2.5部分的分?jǐn)?shù)生成邏輯。

5.2.2評估原則符合度分?jǐn)?shù)生成

評估原則符合度分?jǐn)?shù)生成方法如下。

a）評估原則符合度

每位專家對可交互系統(tǒng)在八個原則上的符合程度打分，采用5點(diǎn)量表（1～5分），其中1分表示完

全不符合，5分表示完全符合。

根據(jù)對產(chǎn)品用戶體驗(yàn)的影響程度大小評估，將八個評估原則分為兩類：

第一類影響較大，包括：及時反饋、使用用戶的語言、容錯性。

第二類影響適中，包括：接近現(xiàn)實(shí)的隱喻、設(shè)計(jì)的一致性、減少用戶記憶負(fù)擔(dān)、控制性、用戶幫助

系統(tǒng)。

兩類原則分?jǐn)?shù)的權(quán)重分配比例為10:7。

b）分?jǐn)?shù)計(jì)算方法

1）計(jì)算每個原則的平均分

對每個原則，計(jì)算所有專家的平均評分。

2）計(jì)算每類原則的平均分

第一類原則平均分：

j+y+r

第一類原則平均分=…………（4）

3

式中：

j：及時反饋原則平均分；

y：使用用戶的語言原則平均分；

r：容錯性原則平均分。

第二類原則平均分：

x+z+h+k+b

第二類原則平均分=…………（5）

5

式中：

x：接近現(xiàn)實(shí)的隱喻原則平均分；

1

T/CESAXXXX—202X

z：設(shè)計(jì)的一致性原則平均分；

h：減少用戶記憶負(fù)擔(dān)原則平均分；

k：控制性原則平均分；

b：用戶幫助系統(tǒng)原則平均分。

3）計(jì)算評估原則符合度綜合評分

根據(jù)兩類原則的權(quán)重分配比例（10:7），計(jì)算綜合評分：

g×10+f×7

評估原則符合度綜合評分=×20…………（6）

10+7

式中：??

g：第一類原則平均分；

f：第二類原則平均分。

其中，公式中的比值乘以20是為了將5點(diǎn)量表的分?jǐn)?shù)轉(zhuǎn)換為百分制分?jǐn)?shù)。

5.3權(quán)重分配

使用專家共識法確定權(quán)重。召集多位用戶體驗(yàn)專家，通過討論確定各維度的相對重要性，根據(jù)專家

討論結(jié)果，確定可用性問題及其嚴(yán)重性，及評估原則符合度按照2/3、1/3的比例分配權(quán)重。

6成熟度總分生成

根據(jù)數(shù)據(jù)來源為專家端或用戶端，可依據(jù)上述內(nèi)容生成的各維度分?jǐn)?shù)及權(quán)重進(jìn)行加權(quán)求和，分別生

成用戶端和專家端的成熟度總分。

2

加權(quán)和=i=1(wixi)…………（7）

式中：∑?

wi：第i個數(shù)值的權(quán)重；

xi：第i個數(shù)值；

7成熟度等級

成熟度總分S生成后，由用戶體驗(yàn)專家根據(jù)產(chǎn)品以及目標(biāo)群體的特性，對于總分進(jìn)行優(yōu)秀、合格、

不合格的評判。具體需要輸出分?jǐn)?shù)與成熟度等級對應(yīng)關(guān)系，見下方示例。

表2輸出分?jǐn)?shù)與成熟度等級對應(yīng)關(guān)系示例表

成熟度等級對應(yīng)分?jǐn)?shù)區(qū)間

優(yōu)秀S≥80

合格60≤S＜80

不合格S＜60

11

T/CESAXXXX—202X

附錄A

(資料性)

指標(biāo)權(quán)重分配方法

A.1綜述

指標(biāo)權(quán)重可采用層次分析法(AHP)來進(jìn)行分配。

層次分析法，簡稱AHP,是由美國運(yùn)籌學(xué)家Saaty在20世紀(jì)70年代初提出的，是指把系統(tǒng)中

復(fù)雜問題中的各種因素，通過劃分為相互聯(lián)系的有序?qū)哟?，使之條理化，根據(jù)對一定客觀現(xiàn)實(shí)的判斷

對每一層次相對重要性給予定量表示，利用數(shù)學(xué)方法確定每一個層次的全部元素的相對重要次序的權(quán)

值，并通過排序的結(jié)果分析和解決問題的一種決策分析方法。AHP法一般分為四個步驟。

A.2分析各因素之間的關(guān)系,建立層次結(jié)構(gòu)模型

AHP的關(guān)鍵在于如何建立層次結(jié)構(gòu)模型。依據(jù)系統(tǒng)分析的方法，對系統(tǒng)因素和其層次加以分析。

設(shè)計(jì)出層次系統(tǒng)結(jié)構(gòu)的表示模型。為解決層次建模問題，Saaty將問題中所包含的因素分為了三個層

次：最高層、中間層和最低層。最高層也稱目標(biāo)層，表示層次分析需要達(dá)到的目標(biāo)。中間層又叫準(zhǔn)則

層。表示采取某種措施、政策、方案等來實(shí)現(xiàn)預(yù)定總目標(biāo)所設(shè)計(jì)的中間環(huán)節(jié)。最低層包括措施層，指

標(biāo)層、方案層，指要選用的解決問題的各種措施和方案。

A.3構(gòu)造判斷矩陣

AHP通過兩兩比較法構(gòu)造判斷矩陣，采用數(shù)據(jù)1～9及其倒數(shù)表示相對重要程度(也可采用數(shù)字1～7

及其倒數(shù)或數(shù)字1～5及其倒數(shù))，標(biāo)準(zhǔn)為：

1：表示Bi比Bj一樣重要；

3：表示Bi比Bj重要一點(diǎn)；

5：表示Bi比Bj重要；

7：表示Bi比Bj重要的多；

9：表示Bi比Bj極端重要；

用2，4，6，8分別表示兩鄰點(diǎn)的中值。

設(shè)A表示目標(biāo)，B表示評價指標(biāo)集，Bi表示評價指標(biāo)，bi∈B(i=1，2，…，n)。bij表示bi對bj的重

b11b1n

要性賦值,則判斷矩陣Z=。

bn1?bnn

?????

?

A.4層次單排序

所謂層次單排序，是指根據(jù)判斷矩陣，計(jì)算對于上層指標(biāo)而言，本層次與之有聯(lián)系指標(biāo)的重要性次

序的權(quán)值。它是對本層次所有的指標(biāo)針對上一層次而言的重要性進(jìn)行排序的基礎(chǔ)。

對于判斷矩陣Z，求出滿足BZ=λmaxZ的特征根和特征向量。λmax表示最大特征根，Z=(Z1，Z2，…，

T

Zn)為對應(yīng)于λmax的正規(guī)化特征向量，Zi為所對應(yīng)指標(biāo)Bi的單排序的權(quán)值。

1

T/CESAXXXX—202X

A.5一致性檢驗(yàn)

計(jì)算各層因素對系統(tǒng)目標(biāo)的合成權(quán)重，并進(jìn)行排序和一致性檢驗(yàn)。

CR=CIRI稱為判斷矩陣的平均隨機(jī)一致性指標(biāo)。

CI=(λ-n)(n-1)稱為一致性指標(biāo)。

?max

當(dāng)CR<0.1時，認(rèn)為判斷矩陣有可以接受的一致性，否則，由于判斷矩陣偏離一致性程度過大而需

?

要對判斷矩陣進(jìn)行重新修訂。

13

T/CESAXXXX—202X

附錄B

(資料性)

用戶體驗(yàn)成熟度評估案例

本部分介紹兩個案例，分別是基于用戶端評估的數(shù)據(jù)（即可用性測試）和基于專家端評估的數(shù)據(jù)

（即專家評估），生成用戶體驗(yàn)成熟度分值的項(xiàng)目案例。

B.1案例一：基于可用性測試的冰箱用戶體驗(yàn)成熟度評估

B.1.1項(xiàng)目簡介

某品牌為了確保新款智能冰箱在市場上的競爭力和用戶滿意度，進(jìn)行了詳細(xì)的可用性測試，并評估

其用戶體驗(yàn)成熟度，本案例介紹如何通過可用性測試的數(shù)據(jù)輸出其用戶體驗(yàn)成熟度分值。

B.1.2評估維度

如上文，評估維度為：有效性、效率、滿意度、NPS、可用性問題及其嚴(yán)重性。

B.1.3測試結(jié)果

本項(xiàng)目有8個任務(wù)，由5名參試者完成，測試結(jié)果如下：

——任務(wù)完成率：95%，90%，85%，75%，80%，95%，70%，90%；

——任務(wù)完成時間：平均85秒，最短30秒；

——滿意度評分：

任務(wù)完成結(jié)果滿意度：平均6分；

任務(wù)完成過程滿意度：平均5.5分；

界面美學(xué)滿意度：平均6.5分。

——NPS：推薦者占比60%，貶損者占比20%；

——可用性問題：所有參試者總計(jì)175個可用性問題。

B.1.4維度分?jǐn)?shù)生成

——有效性分?jǐn)?shù)：任務(wù)完成率均值乘以100作為有效性分?jǐn)?shù)，即85分。

——效率分?jǐn)?shù)：

通過任務(wù)完成時間生成效率分?jǐn)?shù)；

計(jì)算每個任務(wù)最短完成時間與每名參試者的完成時間的比值，然后取均值；

計(jì)算所有任務(wù)的完成時間均值：

均值=(81.66+84.52+86.2+88.19+89.04+90.06+91.29+91.19)(8)=87.77

——滿意度分?jǐn)?shù)：

?

將每個子滿意度均值轉(zhuǎn)換為百分制分?jǐn)?shù)：

(67)×100=85.71，(5.57)×100=78.57，(6.57)×100=92.86

加權(quán)求和得出滿意度分?jǐn)?shù)：

???

0.45×85.71+0.35×78.57+0.2×92.86=83.15

——NPS分?jǐn)?shù)：

NPS=(60%-20%)×100=40

1

T/CESAXXXX—202X

——可用性問題及其嚴(yán)重性分?jǐn)?shù)：

標(biāo)準(zhǔn)化嚴(yán)重等級：嚴(yán)重=4，中等=3，一般=2，輕微=1；

將每個問題嚴(yán)重等級乘以其對應(yīng)的問題數(shù)量，然后加和，得到一個綜合分?jǐn)?shù)。最大綜合分?jǐn)?shù)

為100；

將各參試者綜合分?jǐn)?shù)轉(zhuǎn)換為百分制得分：

參試者1：綜合分?jǐn)?shù)45，百分制得分1-45×100=55

100

其他參試者也按照以上公式轉(zhuǎn)換為百分制得分，分別為：??65，50，55，0；

計(jì)算所有參試者的百分制得分均值：45。

B.1.5權(quán)重構(gòu)建

使用層次分析法（AHP）確定權(quán)重，招募5名專家參與構(gòu)建：

a）建立層次結(jié)構(gòu)模型

目標(biāo)層：用戶體驗(yàn)成熟度評估

準(zhǔn)則層：有效性、效率、滿意度、NPS、可用性問題及其嚴(yán)重性

方案層：各評估維度的具體指標(biāo)

b）構(gòu)建判斷矩陣

將各評估維度兩兩比較，構(gòu)建判斷矩陣。將各專家的判斷矩陣合并后結(jié)果如下。

表B.1各專家判斷矩陣合并結(jié)果表

可用性問

有效性效率滿意度NPS題及其嚴(yán)

重性

有效性11/21/31/31/4

效率211/211/3

滿意度32111/2

NPS31111/2

可用性問題及其嚴(yán)重

43221

性

c）計(jì)算權(quán)重向量

對判斷矩陣進(jìn)行特征值分解，得到權(quán)重向量：0.2，0.25，0.2，0.2，0.15

d）一致性檢驗(yàn)

計(jì)算一致性比率（CR），CR=-0.45，小于0.1，判斷矩陣具有滿意的一致性。

B.1.6成熟度總分計(jì)算

成熟度總分=85×0.2+87.77×0.25+83.15×0.2+40×0.2+45×0.15=70.32

B.1.7成熟度等級劃分

由用戶體驗(yàn)專家根據(jù)產(chǎn)品以及目標(biāo)群體的特性，對成熟度總分S劃分如下等級及對應(yīng)分?jǐn)?shù)區(qū)間。

15

T/CESAXXXX—202X

表B.2輸出分?jǐn)?shù)與成熟度等級對應(yīng)關(guān)系示例表

成熟度等級對應(yīng)分?jǐn)?shù)區(qū)間

優(yōu)秀S≥80

合格60≤S＜80

不合格S＜60

根據(jù)計(jì)算結(jié)果，冰箱的用戶體驗(yàn)成熟度總分為70.32，判定等級為合格。

B.2案例二：基于專家評估的智能衛(wèi)浴App用戶體驗(yàn)成熟度評估

B.2.1項(xiàng)目簡介

為了確保新款智能衛(wèi)浴App在市場上的競爭力和用戶滿意度，某品牌進(jìn)行了詳細(xì)的專家評估，以評

估其用戶體驗(yàn)成熟度。本案例介紹了如何通過專家評估的數(shù)據(jù)生成智能衛(wèi)浴App的用戶體驗(yàn)成熟度分值。

B.2.2評估維度

可用性問題及其嚴(yán)重性：基于問題數(shù)量和嚴(yán)重等級。

評估原則符合度：基于八個用戶體驗(yàn)原則的符合度評分。

B.2.3專家評估結(jié)果

共邀請5名專家參與評估，結(jié)果如下：

可用性問題：總計(jì)116個問題。

評估原則符合度評分均值：

——反饋原則：4.5

——語詞定義的可理解性：4.0

——容錯性原則：4.2

——接近現(xiàn)實(shí)的隱喻原則：3.8

——一致性原則：4.1

——減少用戶記憶負(fù)擔(dān)：3.9

——可控性原則：4.0

——幫助系統(tǒng)：3.7

B.2.4維度分?jǐn)?shù)生成

——可用性問題及其嚴(yán)重性分?jǐn)?shù)

標(biāo)準(zhǔn)化嚴(yán)重等級：嚴(yán)重=4，中等=3，一般=2，輕微=1；

將每個問題嚴(yán)重等級乘以其對應(yīng)的問題數(shù)量，然后加和，得到一個綜合分?jǐn)?shù)。最大綜合分?jǐn)?shù)

為70；

將各專家綜合分?jǐn)?shù)轉(zhuǎn)換為百分制得分：

專家1：綜合分?jǐn)?shù)60，百分制得分為1-60×100=14.29

70

??

1

T/CESAXXXX—202X

其他專家也按照以上公式轉(zhuǎn)換為百分制得分，分別為：28.57，21.43，7.14，0；