ICS11.040.99

CCSC41

41

河南省地方標(biāo)準(zhǔn)

DB41/T2929—2025

人工智能醫(yī)療器械甲狀腺結(jié)節(jié)超聲圖像

數(shù)據(jù)標(biāo)注規(guī)范

2025-08-08發(fā)布2025-11-07實(shí)施

河南省市場(chǎng)監(jiān)督管理局發(fā)布

DB41/T2929—2025

目次

前言.................................................................................II

1范圍...............................................................................1

2規(guī)范性引用文件.....................................................................1

3術(shù)語(yǔ)和定義.........................................................................1

4標(biāo)注任務(wù)說(shuō)明文檔...................................................................1

5標(biāo)注質(zhì)量特性.......................................................................3

6標(biāo)注與質(zhì)控流程.....................................................................4

7標(biāo)注人員...........................................................................5

8標(biāo)注工具...........................................................................5

9評(píng)價(jià)方法...........................................................................6

附錄A（資料性）常用的TI-RADS評(píng)估指標(biāo)及分值.........................................8

附錄B（資料性）數(shù)據(jù)標(biāo)注準(zhǔn)確性評(píng)價(jià)...................................................9

附錄C（資料性）甲狀腺結(jié)節(jié)TI-RADS分級(jí)標(biāo)注場(chǎng)景......................................13

附錄D（資料性）自動(dòng)、半自動(dòng)、人工交互數(shù)據(jù)標(biāo)注流程舉例..............................14

附錄E（資料性）甲狀腺結(jié)節(jié)超聲圖像標(biāo)注任務(wù)描述舉例..................................15

附錄F（資料性）TI-RADS分級(jí)和良惡性標(biāo)注要求示例....................................17

參考文獻(xiàn).............................................................................18

I

DB41/T2929—2025

前言

本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定

起草。

請(qǐng)注意本文件的某些內(nèi)容可能涉及專(zhuān)利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專(zhuān)利的責(zé)任。

本文件由河南省藥品監(jiān)督管理局提出。

本文件由河南省人工智能醫(yī)療器械標(biāo)準(zhǔn)化技術(shù)委員會(huì)（HN/TC28）歸口。

本文件起草單位：河南省藥品醫(yī)療器械檢驗(yàn)院、濮陽(yáng)大數(shù)據(jù)與人工智能研究院、河南省人民醫(yī)院、

河南省藥品審評(píng)查驗(yàn)中心、德尚韻興（河南）醫(yī)療科技有限公司。

本文件主要起草人：謝貽珽、郭艷、曹琳琳、張卉、張嬌嬌、劉海燕、李若瑄、段少博、王華棟、

王海濤、徐軍峰、孔德興、時(shí)丹丹、劉俊莉。

II

DB41/T2929—2025

人工智能醫(yī)療器械甲狀腺結(jié)節(jié)超聲圖像數(shù)據(jù)標(biāo)注規(guī)范

1范圍

本文件規(guī)定了人工智能醫(yī)療器械對(duì)甲狀腺結(jié)節(jié)超聲圖像數(shù)據(jù)標(biāo)注規(guī)范的要求。

本文件適用于基于甲狀腺結(jié)節(jié)超聲圖像處理的人工智能醫(yī)療器械數(shù)據(jù)標(biāo)注以及與之相關(guān)的研究、

應(yīng)用。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T5271.1—2000信息技術(shù)詞匯第1部分：基本術(shù)語(yǔ)

GB/T25000.12—2017系統(tǒng)與軟件工程系統(tǒng)與軟件質(zhì)量要求和評(píng)價(jià)(SQuaRE)第12部分：數(shù)據(jù)

質(zhì)量模型

YY/T1833.1—2022人工智能醫(yī)療器械質(zhì)量要求和評(píng)價(jià)第1部分：術(shù)語(yǔ)

YY/T1833.2—2022人工智能醫(yī)療器械質(zhì)量要求和評(píng)價(jià)第2部分：數(shù)據(jù)集通用要求

YY/T1833.3—2022人工智能醫(yī)療器械質(zhì)量要求和評(píng)價(jià)第3部分：數(shù)據(jù)標(biāo)注通用要求

3術(shù)語(yǔ)和定義

GB/T5271.1—2000、GB/T25000.12—2017、YY/T1833.1—2022、YY/T1833.2—2022、YY/T

1833.3—2022界定的以及下列術(shù)語(yǔ)和定義適用于本文件。

甲狀腺影像報(bào)告和數(shù)據(jù)系統(tǒng)

使用超聲特征進(jìn)行甲狀腺結(jié)節(jié)風(fēng)險(xiǎn)評(píng)估的評(píng)分系統(tǒng)。

4標(biāo)注任務(wù)說(shuō)明文檔

標(biāo)注對(duì)象

標(biāo)注對(duì)象為來(lái)自真實(shí)世界的甲狀腺結(jié)節(jié)超聲圖像。

標(biāo)注任務(wù)分類(lèi)

4.2.1結(jié)節(jié)勾畫(huà)

結(jié)節(jié)的勾畫(huà)，包括：

——標(biāo)出結(jié)節(jié)?？刹捎醚亟Y(jié)節(jié)輪廓貼邊勾勒，或采用規(guī)則圖形（如矩形框、圓環(huán)、單點(diǎn)標(biāo)記等）

的形式標(biāo)出?？刹捎萌斯ぁ胱詣?dòng)或自動(dòng)勾畫(huà)方式，應(yīng)由審核人員審核確認(rèn)后方可進(jìn)入下一

步。有條件者，可將結(jié)節(jié)勾畫(huà)與其他標(biāo)注工作結(jié)合，待所有標(biāo)注工作完成后，再進(jìn)行審核；

1

DB41/T2929—2025

——結(jié)節(jié)配對(duì)。應(yīng)使用勾畫(huà)工具標(biāo)注，由審核人員審核確認(rèn)。

注：結(jié)節(jié)配對(duì)為將一個(gè)結(jié)節(jié)的不同切面歸為一組。

4.2.2結(jié)節(jié)測(cè)量

對(duì)結(jié)節(jié)的最大縱徑與最大橫徑進(jìn)行測(cè)量標(biāo)注。

4.2.3結(jié)節(jié)特征判定

根據(jù)甲狀腺影像報(bào)告和數(shù)據(jù)系統(tǒng)(TI-RADS)指南，對(duì)結(jié)節(jié)特征進(jìn)行判定。常見(jiàn)的TI-RADS評(píng)估指標(biāo)及

分值見(jiàn)附錄A說(shuō)明。

4.2.4結(jié)節(jié)診斷

對(duì)甲狀腺結(jié)節(jié)進(jìn)行TI-RADS分級(jí)或良惡性診斷，并添加標(biāo)簽。常用的TI-RADS評(píng)估指標(biāo)及分值見(jiàn)附錄

A說(shuō)明。

標(biāo)注任務(wù)描述

4.3.1標(biāo)注規(guī)則

YY/T1833.3—2022所規(guī)定的數(shù)據(jù)標(biāo)注規(guī)則通用要求適用于本文件。此外，標(biāo)注規(guī)則宜符合以下要

求：

——明確、無(wú)歧義；

——具有依從性。提供標(biāo)注規(guī)則的依從性文件(首先考慮法規(guī)文件、技術(shù)標(biāo)準(zhǔn)、醫(yī)學(xué)規(guī)范、專(zhuān)家

共識(shí)等)，描述所依據(jù)的診療指南、醫(yī)學(xué)圖譜等文件的名稱(chēng)和具體內(nèi)容，并說(shuō)明其權(quán)威性以

及在我國(guó)的接受情況和使用情況。依從性文件若采用專(zhuān)家評(píng)議或文獻(xiàn)分析作為依據(jù)，應(yīng)對(duì)可

能帶來(lái)的偏倚進(jìn)行分析；

——可解釋?zhuān)?/p>

——采用客觀、可量化指標(biāo)描述；

——對(duì)于依賴(lài)于臨床經(jīng)驗(yàn)主觀判斷部分的標(biāo)注規(guī)則，采用參考標(biāo)準(zhǔn)驗(yàn)證有效性，并對(duì)標(biāo)注的一致

性進(jìn)行考核，確保標(biāo)注結(jié)果具有可移植性，可外推到真實(shí)的臨床應(yīng)用場(chǎng)景；

——考慮標(biāo)注顆粒度。結(jié)合產(chǎn)品的預(yù)期用途，確定“病例（多結(jié)節(jié)結(jié)果）-結(jié)節(jié)（多切面結(jié)果）-

單切面”層級(jí)的顆粒度水平。

4.3.2標(biāo)注人員

應(yīng)按照第7章的規(guī)定描述標(biāo)注人員。適用時(shí)，可按照標(biāo)注人員、審核人員、仲裁人員等角色分別展

開(kāi)描述，說(shuō)明標(biāo)注流程中的人員分工、決策機(jī)制、人員比對(duì)。

4.3.3標(biāo)注工具

應(yīng)按照第8章的規(guī)定描述標(biāo)注工具，明確應(yīng)用軟件、硬件或平臺(tái)的名稱(chēng)、制造商、型號(hào)、版本、功

能、運(yùn)行環(huán)境等。在使用前，應(yīng)對(duì)工具進(jìn)行驗(yàn)證與確認(rèn)。若采用半自動(dòng)/自動(dòng)標(biāo)注，應(yīng)描述算法性能指

標(biāo)與驗(yàn)證方法。

4.3.4標(biāo)注環(huán)境

使用辦公室電腦標(biāo)注，無(wú)特殊環(huán)境要求。

4.3.5數(shù)據(jù)

2

DB41/T2929—2025

4.3.5.1數(shù)據(jù)要求

應(yīng)描述輸入和輸出數(shù)據(jù)的要求，包括但不限于以下內(nèi)容：

——適用范圍和選擇依據(jù)。如是否包含健康人群、僅包含有手術(shù)病理結(jié)果的患者數(shù)據(jù)、僅包含

TI-RADS3、4類(lèi)的患者數(shù)據(jù)；

——質(zhì)量要求。包括圖像分辨率、壓縮率等；

——數(shù)據(jù)的充分性和多樣性。多樣性包括數(shù)據(jù)來(lái)源（如醫(yī)療機(jī)構(gòu)層級(jí)）、采集設(shè)備（包括品牌、

型號(hào)以及圖像采集參數(shù)）、人群分布、疾病構(gòu)成等；

——標(biāo)注結(jié)果的形式、存儲(chǔ)和輸出格式。應(yīng)考慮標(biāo)注結(jié)果導(dǎo)出形式和格式對(duì)后續(xù)導(dǎo)入的影響；

——標(biāo)注顆粒度。

4.3.5.2數(shù)據(jù)編碼

數(shù)據(jù)編碼應(yīng)滿足以下要求：

——YY/T1833.2—2022所規(guī)定數(shù)據(jù)集通用要求適用于本文件；

——制定不同層級(jí)數(shù)據(jù)、存儲(chǔ)文件夾、所在數(shù)據(jù)庫(kù)的命名規(guī)則，保證數(shù)據(jù)的唯一性和可追溯性；

——制定標(biāo)注數(shù)據(jù)庫(kù)的版本規(guī)則。當(dāng)數(shù)據(jù)發(fā)生變化時(shí)，數(shù)據(jù)庫(kù)的版本號(hào)應(yīng)做出相應(yīng)變更。

4.3.5.3數(shù)據(jù)存儲(chǔ)

數(shù)據(jù)存儲(chǔ)應(yīng)滿足以下要求：

——存儲(chǔ)路徑：不同批次數(shù)據(jù)不可交叉存儲(chǔ)；

——權(quán)限：不同人員有不同的訪問(wèn)、上傳、修改權(quán)限，人員的權(quán)限由專(zhuān)人進(jìn)行分配和管理；

——備份：所有原始數(shù)據(jù)和標(biāo)注數(shù)據(jù)做備份。

5標(biāo)注質(zhì)量特性

準(zhǔn)確性

應(yīng)聲稱(chēng)標(biāo)注結(jié)果的準(zhǔn)確性?？刹捎贸闃訖z驗(yàn)方式，評(píng)估標(biāo)注人員的結(jié)果是否與參考標(biāo)準(zhǔn)（無(wú)參考標(biāo)

準(zhǔn)時(shí)，可對(duì)照參考診斷等級(jí)更高一級(jí)的結(jié)果）結(jié)論一致。

評(píng)價(jià)指標(biāo)包括但不限于：

——檢出：召回率、精確度、中心點(diǎn)距離、中心點(diǎn)落入；

——分割：如Dice系數(shù)、Conformity系數(shù)、交并比、Hausdorff距離、Pearson相關(guān)系數(shù)；

——診斷：靈敏度、特異度、準(zhǔn)確率、ROC曲線、AUC值，多分類(lèi)的評(píng)估可以轉(zhuǎn)化為二分類(lèi)；

——測(cè)量：絕對(duì)誤差、相對(duì)誤差。

常見(jiàn)評(píng)價(jià)指標(biāo)說(shuō)明見(jiàn)附錄B，多分類(lèi)混淆矩陣說(shuō)明與多分類(lèi)轉(zhuǎn)化為二分類(lèi)混淆矩陣示例見(jiàn)附錄C。

注1：中心點(diǎn)的選擇與目標(biāo)區(qū)域、影像特征有關(guān)?？煽紤]以甲狀腺結(jié)節(jié)最大橫徑與最大縱徑的交點(diǎn)作為中心點(diǎn)。

中心點(diǎn)的定義由標(biāo)注責(zé)任方根據(jù)具體情況來(lái)確定。

注2：中心點(diǎn)落入指的是通過(guò)判斷標(biāo)注人員標(biāo)注的目標(biāo)區(qū)域中心是否落入?yún)⒖紭?biāo)注目標(biāo)內(nèi)來(lái)確定匹配結(jié)果。

一致性

應(yīng)聲稱(chēng)各個(gè)環(huán)節(jié)輸入輸出信息、數(shù)據(jù)、人員的一致性，包括：

——標(biāo)注人員之間應(yīng)開(kāi)展一致性評(píng)估，可使用Kappa系數(shù)描述，該系數(shù)說(shuō)明見(jiàn)附錄B；

——標(biāo)注人員自身應(yīng)開(kāi)展一致性評(píng)估，可采用埋題驗(yàn)證的方式；

——應(yīng)保證標(biāo)注人員、審核人員、仲裁人員對(duì)標(biāo)注規(guī)則的理解具有一致性；

3

DB41/T2929—2025

——應(yīng)確保各個(gè)環(huán)節(jié)的信息、數(shù)據(jù)、記錄保持一致，包括人員信息、標(biāo)注結(jié)果、原始數(shù)據(jù)等。

精度

對(duì)于輸出的定量結(jié)果，應(yīng)聲稱(chēng)標(biāo)注精度。

可理解性

標(biāo)注結(jié)果在圖像上應(yīng)為直觀的顯示，無(wú)歧義。

可訪問(wèn)性

授權(quán)用戶可對(duì)標(biāo)注數(shù)據(jù)庫(kù)內(nèi)容進(jìn)行預(yù)覽、復(fù)制等操作，可將數(shù)據(jù)庫(kù)內(nèi)容用于數(shù)據(jù)集構(gòu)建。

可移植性

標(biāo)注責(zé)任方應(yīng)確保標(biāo)注結(jié)果能從一個(gè)系統(tǒng)中被轉(zhuǎn)移至另一個(gè)滿足運(yùn)行條件的系統(tǒng)，并保持標(biāo)注質(zhì)

量不變。

保密性

應(yīng)提供對(duì)原始數(shù)據(jù)、標(biāo)注數(shù)據(jù)和過(guò)程記錄的授權(quán)訪問(wèn)機(jī)制，標(biāo)注工具軟件應(yīng)設(shè)置權(quán)限?？赏ㄟ^(guò)隔離

保護(hù)、專(zhuān)人管理方式加強(qiáng)網(wǎng)絡(luò)環(huán)境下的數(shù)據(jù)安全性。

可追溯性

數(shù)據(jù)的標(biāo)注過(guò)程應(yīng)形成記錄，包括但不限于標(biāo)注任務(wù)和質(zhì)控流程涉及的人員信息、標(biāo)注任務(wù)包含的

操作信息、標(biāo)注工具信息、標(biāo)注任務(wù)的時(shí)間信息。標(biāo)注工具信息內(nèi)容包括但不限于軟件名稱(chēng)、型號(hào)規(guī)格、

完整版本、制造商、運(yùn)行環(huán)境等，保留標(biāo)注工具驗(yàn)證或確認(rèn)記錄。

6標(biāo)注與質(zhì)控流程

標(biāo)注流程

應(yīng)明確標(biāo)注對(duì)象、人員分工、標(biāo)注步驟、結(jié)果審核，統(tǒng)一標(biāo)注規(guī)則，確認(rèn)標(biāo)注結(jié)果的含義、形式和

輸出格式，并描述決策機(jī)制。數(shù)據(jù)標(biāo)注流程的示例見(jiàn)附錄D。

過(guò)程組織

6.2.1YY/T1833.3—2022第6.2節(jié)所規(guī)定過(guò)程組織的通用要求適用于本文件。甲狀腺結(jié)節(jié)超聲圖像

標(biāo)注任務(wù)描述的示例見(jiàn)附錄E。

6.2.2應(yīng)結(jié)合標(biāo)注任務(wù)的顆粒度進(jìn)行標(biāo)注，保證各層級(jí)標(biāo)注結(jié)果間的一致性。TI-RADS分級(jí)和良惡性

標(biāo)注要求示例見(jiàn)附錄F。

6.2.3標(biāo)注過(guò)程中，應(yīng)對(duì)標(biāo)注人員的標(biāo)注質(zhì)量進(jìn)行監(jiān)督，同時(shí)考慮一致性指標(biāo)和準(zhǔn)確性指標(biāo)。當(dāng)標(biāo)注

人員標(biāo)注質(zhì)量出現(xiàn)顯著下降時(shí)，應(yīng)暫停標(biāo)注工作，對(duì)標(biāo)注人員再培訓(xùn)，考核通過(guò)后重新上崗。

數(shù)據(jù)統(tǒng)計(jì)

6.3.1數(shù)據(jù)經(jīng)標(biāo)注后形成標(biāo)注數(shù)據(jù)庫(kù)。標(biāo)注數(shù)據(jù)庫(kù)應(yīng)確保標(biāo)注樣本量的充分性和樣本分布的合理性。

樣本分布應(yīng)考慮包括但不限于：不同層級(jí)（病例-結(jié)節(jié)-切面）、超聲設(shè)備型號(hào)（含探頭）、掃查模式、

掃查切面、掃查深度、成像質(zhì)量或范圍、流行病學(xué)分布（包括疾病構(gòu)成、人群分布、統(tǒng)計(jì)指標(biāo)）、與目

4

DB41/T2929—2025

標(biāo)疾病易混淆的情形、有影響的身體狀態(tài)或疾病、植入物、先天或后天身體結(jié)構(gòu)異常以及其他對(duì)算法性

能有影響的因素。

注1：疾病構(gòu)成如分期、分型、分類(lèi)。

注2：人群分布如健康、患者、性別、年齡、地域。

注3：統(tǒng)計(jì)指標(biāo)如發(fā)病率、患病率。

6.3.2統(tǒng)計(jì)數(shù)據(jù)應(yīng)保持一致性，如不同層級(jí)之間的關(guān)聯(lián)性。應(yīng)根據(jù)相關(guān)信息進(jìn)行統(tǒng)計(jì)，并形成記錄。

7標(biāo)注人員

通用要求

7.1.1YY/T1833.3—2022所規(guī)定數(shù)據(jù)標(biāo)注人員的通用要求適用于本文件。

7.1.2應(yīng)明確對(duì)人員的要求，包括但不限于：

——人員資質(zhì)（如職稱(chēng)、工作年限、工作經(jīng)驗(yàn)、所在機(jī)構(gòu)）；

——培訓(xùn)內(nèi)容（如培訓(xùn)材料、培訓(xùn)方案）；

——考核指標(biāo)（如方法、頻次、準(zhǔn)確性、通過(guò)準(zhǔn)則、一致性）。

標(biāo)注人員與審核人員

標(biāo)注人員宜具有對(duì)于標(biāo)注任務(wù)相關(guān)的目標(biāo)疾病2年以上臨床經(jīng)驗(yàn)。審核人員應(yīng)具有對(duì)于標(biāo)注任務(wù)相

關(guān)的目標(biāo)疾病2年以上臨床經(jīng)驗(yàn)、主治醫(yī)師及以上職稱(chēng)。

仲裁人員

仲裁人員應(yīng)具有對(duì)于標(biāo)注任務(wù)相關(guān)的目標(biāo)疾病5年以上臨床經(jīng)驗(yàn)、副主任醫(yī)師及以上職稱(chēng)。

培訓(xùn)

應(yīng)統(tǒng)一開(kāi)展必要的培訓(xùn)，培訓(xùn)內(nèi)容可包括工作流程、工作內(nèi)容和要求、術(shù)語(yǔ)定義、相關(guān)案例、工具

使用等，所用案例應(yīng)獨(dú)立于項(xiàng)目樣本。

準(zhǔn)確性考核

標(biāo)注開(kāi)始前，應(yīng)采用診斷等級(jí)更高的樣本數(shù)據(jù)，考核標(biāo)注人員的標(biāo)注準(zhǔn)確性。

一致性考核

標(biāo)注開(kāi)始前，應(yīng)對(duì)標(biāo)注人員進(jìn)行一致性考核，并用Kappa系數(shù)描述人員之間的一致性。

8標(biāo)注工具

處理對(duì)象

標(biāo)注工具處理對(duì)象可以從兩個(gè)方面進(jìn)行分類(lèi)：

——根據(jù)數(shù)據(jù)的采集方式，處理對(duì)象為影像數(shù)據(jù)：來(lái)自真實(shí)世界的超聲圖像。

——根據(jù)數(shù)據(jù)存儲(chǔ)格式，處理對(duì)象可分為：

?圖片格式：DICOM、PNG、JPG/JPEG、TIF、BMP等；

?其他格式：制造商定義的其他數(shù)據(jù)格式。

5

DB41/T2929—2025

功能

8.2.1YY/T1833.3—2022第7章所規(guī)定標(biāo)注工具的通用要求適用于本文件。

8.2.2標(biāo)注工具應(yīng)提供標(biāo)注任務(wù)需要的標(biāo)注功能，如：

——可根據(jù)標(biāo)注任務(wù)的顆粒度進(jìn)行設(shè)置，如病例層面、結(jié)節(jié)層面、切面層面等；

——支持結(jié)節(jié)配對(duì)功能；

——支持標(biāo)注結(jié)果自動(dòng)比對(duì)功能。適用時(shí)，可輸出定量計(jì)算結(jié)果，如交并比面積；

——使用前，應(yīng)對(duì)工具進(jìn)行驗(yàn)證與確認(rèn)，評(píng)價(jià)指標(biāo)可參考本文5.1部分。

9評(píng)價(jià)方法

標(biāo)注任務(wù)說(shuō)明文檔

應(yīng)滿足第4章的要求。

標(biāo)注質(zhì)量特性

9.2.1準(zhǔn)確性

9.2.1.1通過(guò)抽樣檢驗(yàn)或全檢的方式對(duì)標(biāo)注結(jié)果進(jìn)行評(píng)價(jià)，計(jì)算標(biāo)注責(zé)任方規(guī)定的指標(biāo)，應(yīng)滿足5.1

的要求。

9.2.1.2標(biāo)注責(zé)任方可以選擇合適的參考標(biāo)準(zhǔn)進(jìn)行評(píng)價(jià)，包括但不限于：

——結(jié)節(jié)勾畫(huà)、測(cè)量、特征判定、分級(jí)，以高年資醫(yī)生或?qū)＜医M的結(jié)果作為參考標(biāo)準(zhǔn)；

——結(jié)節(jié)良惡性診斷宜以病理結(jié)果作為參考標(biāo)準(zhǔn)。

9.2.2一致性

通過(guò)抽樣檢驗(yàn)的方式對(duì)標(biāo)注人員個(gè)體內(nèi)和個(gè)體間的一致性、標(biāo)注人員對(duì)標(biāo)注規(guī)則理解的一致性、標(biāo)

注過(guò)程各個(gè)環(huán)節(jié)信息的一致性進(jìn)行評(píng)價(jià)，應(yīng)滿足5.2的要求。

9.2.3精度

對(duì)標(biāo)注責(zé)任方聲稱(chēng)的精度進(jìn)行驗(yàn)證，應(yīng)滿足5.3的要求。

9.2.4可理解性

檢查用戶能否預(yù)覽和理解標(biāo)注信息的內(nèi)容，應(yīng)滿足5.4的要求。

9.2.5可訪問(wèn)性

通過(guò)實(shí)際操作驗(yàn)證用戶是否可以對(duì)標(biāo)注結(jié)果授權(quán)訪問(wèn)，應(yīng)滿足5.5的要求。

9.2.6可移植性

對(duì)標(biāo)注結(jié)果的轉(zhuǎn)移進(jìn)行實(shí)際操作，驗(yàn)證不同操作條件下標(biāo)注質(zhì)量是否保持不變，應(yīng)滿足5.6的要求。

9.2.7保密性

檢查原始數(shù)據(jù)和標(biāo)注結(jié)果的授權(quán)訪問(wèn)機(jī)制、隔離保護(hù)機(jī)制等，應(yīng)滿足5.7的要求。

9.2.8可追溯性

6

DB41/T2929—2025

對(duì)標(biāo)注過(guò)程產(chǎn)生的記錄和標(biāo)注工具的信息進(jìn)行檢查，應(yīng)滿足5.8的要求。

標(biāo)注與質(zhì)控流程

對(duì)標(biāo)注流程文件進(jìn)行檢查，應(yīng)滿足第6章的要求。

標(biāo)注人員

對(duì)標(biāo)注人員文件進(jìn)行檢查，應(yīng)滿足第7章的要求。

標(biāo)注工具

對(duì)標(biāo)注工具進(jìn)行驗(yàn)證，應(yīng)滿足第8章的要求。

7

DB41/T2929—2025

附錄A

（資料性）

常用的TI-RADS評(píng)估指標(biāo)及分值

A.12017美國(guó)放射學(xué)會(huì)甲狀腺影像報(bào)告和數(shù)據(jù)系統(tǒng)（ACRTI-RADS）評(píng)估指標(biāo)及分值見(jiàn)表A.1。

表A.1美國(guó)放射學(xué)會(huì)甲狀腺影像報(bào)告和數(shù)據(jù)系統(tǒng)（ACRTI-RADS）

結(jié)構(gòu)回聲形態(tài)邊緣局灶性強(qiáng)回聲

囊性或幾乎無(wú)或大彗星

0分無(wú)回聲0分光滑0分0分

完全囊性水平位尾

0分

高回聲或（縱橫比＜1）

海綿狀0分1分模糊0分粗鈣化1分

等回聲

詞典

分葉或不規(guī)

囊實(shí)混合性1分低回聲2分2分邊緣鈣化2分

垂直位則

3分

實(shí)性或幾乎（縱橫比≥1）甲狀腺外侵

2分極低回聲3分3分點(diǎn)狀強(qiáng)回聲3分

完全實(shí)性犯

以上每項(xiàng)分值相加確定TI-RADS分級(jí)

0分2分3分4分～6分大于等于7分

TI-RADS1TI-RADS2TI-RADS3TI-RADS4TI-RADS5

分級(jí)

良性無(wú)可疑輕度可疑中度可疑高度可疑

惡性可能＜2%惡性可能≤2%惡性可能＜5%惡性可能5%～20%惡性可能＞20%

A.22020中國(guó)甲狀腺影像報(bào)告和數(shù)據(jù)系統(tǒng)（C-TIRADS）評(píng)估指標(biāo)及分值見(jiàn)表A.2。

表A.2中國(guó)甲狀腺影像報(bào)告和數(shù)據(jù)系統(tǒng)（C-TIRADS）

結(jié)構(gòu)回聲形態(tài)邊緣局灶性強(qiáng)回聲

邊緣模糊1分點(diǎn)狀強(qiáng)回聲

（可疑微鈣1分

不規(guī)則1分

化）

詞典實(shí)性1分極低回聲1分垂直位1分

點(diǎn)狀強(qiáng)回聲

甲狀腺外侵-1

1分（彗星尾偽

犯分

像）

以上每項(xiàng)分值相加確定TI-RADS分級(jí)

無(wú)分值-1分0分1分2分3分～4分5分-

TI-RADS1TI-RADSTI-RADSTI-RADS

TI-RADS2TI-RADS3TI-RADS5TI-RADS6

分級(jí)無(wú)結(jié)節(jié)4A4B4C

惡性可能惡性可能惡性可能＞活檢證實(shí)

惡性可能惡性可能惡性可能惡性可能

0%＜2%90%的惡性

0%2%～10%10%～50%50%～90%

8

DB41/T2929—2025

附錄B

（資料性）

數(shù)據(jù)標(biāo)注準(zhǔn)確性評(píng)價(jià)

B.1召回率

被正確檢測(cè)出的目標(biāo)數(shù)量占所有目標(biāo)數(shù)量的比例，計(jì)算方法見(jiàn)公式（B.1）：

TP

Rec=object······························································(B.1)

TPobject+FNobject

式中：

Rec——召回率；

TPobject——正確檢測(cè)出的目標(biāo)數(shù)量；

FNobject——被遺漏的目標(biāo)數(shù)量。

B.2精確度

被正確檢測(cè)出的目標(biāo)數(shù)量占所有被檢出對(duì)象的比例，計(jì)算方法見(jiàn)公式（B.2）：

TP

Pre=object······························································(B.2)

TPobject+FPobject

式中：

Pre——精確度；

FPobject——被誤認(rèn)為是目標(biāo)的對(duì)象。

B.3Dice系數(shù)

用于計(jì)算兩個(gè)分割區(qū)域的重合度，計(jì)算方法見(jiàn)公式（B.3）：

|?∩?|

Dice=2×··································································(B.3)

|?|+|?|

式中：

Dice——Dice系數(shù)；

A——目標(biāo)區(qū)域；

B——分割區(qū)域。

B.4Conformity系數(shù)

錯(cuò)誤分割的像素?cái)?shù)量占所有被正確分割的目標(biāo)區(qū)域像素之間的比例，計(jì)算方法見(jiàn)公式（B.4）：

FP

Conformity=1??????····························································(B.4)

TP?????

式中：

Conformity——Conformity系數(shù)；

FPpixel——錯(cuò)誤分割的像素?cái)?shù)量；

TPpixel——被正確分割的目標(biāo)區(qū)域像素?cái)?shù)量。

B.5交并比

評(píng)價(jià)預(yù)測(cè)的分割區(qū)域與真實(shí)的分割區(qū)域的重合程度，計(jì)算方法見(jiàn)公式（B.5）：

9

DB41/T2929—2025

|?∩?|

IOU=·······································································(B.5)

|?∪?|

式中：

IOU——交并比。

B.6Hausdorff距離

描述兩個(gè)分割區(qū)域輪廓線的距離，雙向Hausdorff距離計(jì)算方法見(jiàn)公式（B.6）：

??(?,?)=max{d??,d??}=max{maxmind(?,?),maxmind(?,?)}····················(B.6)

?∈??∈??∈??∈?

式中：

??(?,?)——雙向Hausdorff距離；

X——預(yù)測(cè)的分割區(qū)域；

Y——人工標(biāo)注的分割區(qū)域；

?(?,?)——X、Y兩個(gè)區(qū)域任意兩點(diǎn)之間的距離。

B.7Pearson相關(guān)系數(shù)

兩個(gè)變量X和Y的協(xié)方差除以它們標(biāo)準(zhǔn)差的乘積，計(jì)算方法見(jiàn)公式（B.7）：

cov(?,?)?[(???)(???)]

??(?,?)==??···················································(B.7)

????????

式中：

??(?,?)——Pearson相關(guān)系數(shù)；

??——X的平均值；

??——Y的平均值；

???——X的標(biāo)準(zhǔn)差；

???——Y的標(biāo)準(zhǔn)差；

?——期望(即平均值)。

Pearson相關(guān)系數(shù)的絕對(duì)值越大，相關(guān)性越強(qiáng)：相關(guān)系數(shù)越接近于1或-1，相關(guān)度越強(qiáng)，相關(guān)系數(shù)越

接近于0，相關(guān)度越弱。

B.8靈敏度

靈敏度用Sen表示，計(jì)算方法見(jiàn)公式（B.8）：

TP

Sen=??????×100%·····················································(B.8)

TP??????+FN??????

式中：

Sen——靈敏度；

TPsample——真陽(yáng)性樣本數(shù)量；

FNsample——假陰性樣本數(shù)量。

B.9特異度

特異度用Spe表示，計(jì)算方法見(jiàn)公式（B.9）：

TN

Spe=sample×100%·····················································(B.9)

FPsample+TNsample

10

DB41/T2929—2025

式中：

Spe——特異度；

TNsample——真陰性樣本數(shù)量；

FPsample——假陽(yáng)性樣本數(shù)量。

B.10準(zhǔn)確率

準(zhǔn)確率用Acc表示，計(jì)算方法見(jiàn)公式（B.10）：

∑??

Acc=?=1?,?·································································(B.10)

∑?∑??

?=1?=1?,?

式中：

??,?——泛指混淆矩陣第?行、第?列的元素；

??,?——泛指混淆矩陣第?行、第?列的元素。

B.11受試者操作特征曲線

簡(jiǎn)稱(chēng)ROC曲線，是以假陽(yáng)性率為橫坐標(biāo)、真陽(yáng)性率為縱坐標(biāo),根據(jù)算法在不同值設(shè)定下對(duì)于給定的測(cè)

試集得到的一系列結(jié)果繪制的曲線，該曲線如圖B.1所示：

注1：橫坐標(biāo)和縱坐標(biāo)值均為0～1之間。

注2：曲線下面積(AUC值)為曲線下與坐標(biāo)軸圍成的積分面積，最大值為1。

圖B.1ROC曲線

B.12Kappa系數(shù)

Kappa系數(shù)用?表示，計(jì)算方法見(jiàn)公式（B.11）：

11

DB41/T2929—2025

Acc??

?=?·······································································(B.11)

1???

式中??的計(jì)算方法見(jiàn)公式（B.12）：

∑?(∑??×∑??)

?=1?=1?,??=1?,?

??=2··························································(B.12)

(∑?∑??)

?=1?=1?,?

式中：

??,?——泛指混淆矩陣第?行、第?列的元素；

??,?——泛指混淆矩陣第?行、第?列的元素；

Acc——準(zhǔn)確率。

12

DB41/T2929—2025

附錄C

（資料性）

甲狀腺結(jié)節(jié)TI-RADS分級(jí)標(biāo)注場(chǎng)景

C.1甲狀腺結(jié)節(jié)TI-RADS分級(jí)屬于多分類(lèi)，分析結(jié)果可用表C.1表示。

表C.1n分類(lèi)混淆矩陣

分類(lèi)Pred_1Pred_2……Pred_n

True_1N1,1N1,2……N1,n

True_2N2,1N2,2……N2,n

…………

True_nNn,1Nn,2……Nn,n

注：Pred_x(x=1～n)為人工智能判斷為x類(lèi)的類(lèi)別；True_x(x=1～n)為參考標(biāo)準(zhǔn)判斷為x類(lèi)的類(lèi)別；Ni,j(i=1～

n,j=1～n)為參考標(biāo)準(zhǔn)的判斷結(jié)果為i類(lèi)，被人工智能判斷為j類(lèi)的個(gè)數(shù)；n為分類(lèi)類(lèi)型個(gè)數(shù)。

C.2表C.2給出將多分類(lèi)轉(zhuǎn)化為二分類(lèi)混淆矩陣示例。

表C.2多分類(lèi)轉(zhuǎn)化為二分類(lèi)混淆矩陣示例

人工智能分類(lèi)

分類(lèi)

陽(yáng)性陰性

?

陽(yáng)性TP=??,?FN=∑??,?

?=1,?≠?

參考標(biāo)準(zhǔn)分類(lèi)???

陰性FP=∑??,?TN=∑∑??,?

?=1,?≠??=1,?≠??=1,?≠?

13

DB41/T2929—2025

附錄D

（資料性）

自動(dòng)、半自動(dòng)、人工交互數(shù)據(jù)標(biāo)注流程舉例

自動(dòng)、半自動(dòng)、人工交互數(shù)據(jù)標(biāo)注流程舉例見(jiàn)圖D.1。

圖D.1自動(dòng)、半自動(dòng)、人工交互數(shù)據(jù)標(biāo)注流程舉例

14

DB41/T2929—2025

附錄E

（資料性）

甲狀腺結(jié)節(jié)超聲圖像標(biāo)注任務(wù)描述舉例

E.1標(biāo)注任務(wù)分類(lèi)

本標(biāo)注任務(wù)依據(jù)數(shù)據(jù)模態(tài)屬于靜態(tài)圖像標(biāo)注，數(shù)據(jù)模態(tài)為甲狀腺結(jié)節(jié)超聲圖像。本標(biāo)注任務(wù)依據(jù)執(zhí)

行主體屬于半自動(dòng)標(biāo)注。本標(biāo)注任務(wù)屬于結(jié)構(gòu)化標(biāo)注。標(biāo)注結(jié)果為甲狀腺結(jié)節(jié)的輪廓以及其ACRTI-RADS

分級(jí)（見(jiàn)附錄A），使用csv格式保存，作為參考標(biāo)準(zhǔn)。

E.2標(biāo)注規(guī)則

本標(biāo)注任務(wù)的標(biāo)注對(duì)象是甲狀腺超聲圖像中甲狀腺結(jié)節(jié)的輪廓勾畫(huà)與ACRTI-RADS分級(jí)（1～5類(lèi)）。

勾畫(huà)環(huán)節(jié)：由勾畫(huà)軟件自動(dòng)勾畫(huà)甲狀腺結(jié)節(jié)輪廓，勾畫(huà)標(biāo)注醫(yī)生修改確認(rèn)后作為初級(jí)標(biāo)注結(jié)果，審

核醫(yī)生對(duì)所有結(jié)節(jié)輪廓進(jìn)行復(fù)核。

分級(jí)環(huán)節(jié)：針對(duì)已確認(rèn)好輪廓的甲狀腺結(jié)節(jié)，兩名分級(jí)醫(yī)生背靠背進(jìn)行ACRTI-RADS分級(jí)，分級(jí)結(jié)

果由計(jì)算機(jī)自動(dòng)判斷一致性，標(biāo)注結(jié)果一致，則作為最終標(biāo)注結(jié)果，標(biāo)注結(jié)果不一致由仲裁醫(yī)生確認(rèn)分

級(jí)結(jié)果。

在標(biāo)注過(guò)程中，對(duì)標(biāo)注醫(yī)生的自身一致性進(jìn)行周期性的監(jiān)控，采用埋題驗(yàn)證的方式進(jìn)行，如每完成

20張甲狀腺超聲圖像的標(biāo)注后，隨機(jī)抽取其中1張重新標(biāo)注。

E.3標(biāo)注人員

勾畫(huà)標(biāo)注醫(yī)生：不低于主治醫(yī)師，過(guò)去2年內(nèi)累計(jì)不少于5000例甲狀腺超聲檢查，接受過(guò)甲狀腺結(jié)

節(jié)超聲圖像標(biāo)注培訓(xùn)。

勾畫(huà)審核醫(yī)生：不低于副主任醫(yī)師，過(guò)去5年內(nèi)累計(jì)不少于10000例甲狀腺超聲檢查，接受過(guò)甲狀

腺結(jié)節(jié)超聲圖像標(biāo)注培訓(xùn)。

分級(jí)標(biāo)注醫(yī)生：不低于主治醫(yī)師，過(guò)去2年內(nèi)累計(jì)不少于5000例甲狀腺超聲檢查，接受過(guò)甲狀腺結(jié)

節(jié)超聲圖像標(biāo)注培訓(xùn)。

分級(jí)仲裁醫(yī)生：不低于副主任醫(yī)師，過(guò)去5年內(nèi)累計(jì)不少于10000例甲狀腺超聲檢查，接受過(guò)甲狀

腺結(jié)節(jié)超聲圖像標(biāo)注培訓(xùn)。

人員的考核指標(biāo)包括分級(jí)的準(zhǔn)確率，要求不低于90%。

E.4標(biāo)注工具

勾畫(huà)軟件為自制軟件，主要功能包括甲狀腺結(jié)節(jié)超聲圖像的讀取、顯示、半自動(dòng)輔助勾畫(huà)、標(biāo)注審

核與修改、保存標(biāo)注結(jié)論。勾畫(huà)軟件界面詳見(jiàn)勾畫(huà)軟件說(shuō)明書(shū)