3T/XXXX—XXXX頭頸CT血管成像數(shù)據(jù)標(biāo)注與質(zhì)量控制規(guī)范本文件規(guī)定了頭頸CT血管成像（CTA）數(shù)據(jù)標(biāo)注的標(biāo)注人員、標(biāo)注工具、標(biāo)注環(huán)境、數(shù)據(jù)要求、質(zhì)量控制流程、數(shù)據(jù)標(biāo)注質(zhì)量特征及評(píng)價(jià)方法。本文件適用于醫(yī)療機(jī)構(gòu)、科研機(jī)構(gòu)及人工智能（AI）研發(fā)企業(yè)在頭頸CTA數(shù)據(jù)標(biāo)注與質(zhì)量控制中的應(yīng)用。2規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。中華醫(yī)學(xué)會(huì)放射學(xué)分會(huì)《頭頸動(dòng)脈CT血管成像數(shù)據(jù)標(biāo)注與質(zhì)量控制專家共識(shí)》YY/T1833.3人工智能醫(yī)療器械質(zhì)量要求和評(píng)價(jià)第3部分：數(shù)據(jù)標(biāo)注通用要求3術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。3.1CT血管成像computedtomographyangiography；CTA經(jīng)周?chē)o脈快速注入對(duì)比劑，在靶血管對(duì)比劑充盈的高峰期，用計(jì)算機(jī)體層成像對(duì)其進(jìn)行快速容積數(shù)據(jù)采集，由此獲得的容積數(shù)據(jù)經(jīng)計(jì)算機(jī)處理，最終獲得血管影像的一種檢查方法。3.2數(shù)據(jù)標(biāo)注dataannotation對(duì)頭頸CTA數(shù)據(jù)中的血管形態(tài)、斑塊成分、狹窄程度等特征進(jìn)行人工或半自動(dòng)標(biāo)記。[來(lái)源：GB/T42755-2023，3.1，有修改]3.3質(zhì)量控制QualityControl；QC為保證標(biāo)注數(shù)據(jù)準(zhǔn)確一致而進(jìn)行的一系列審核、評(píng)測(cè)與修正過(guò)程。3.4金標(biāo)準(zhǔn)goldstandard由具備10年以上腦血管疾病診斷與重建經(jīng)驗(yàn)的資深醫(yī)師或?qū)＜医M在統(tǒng)一標(biāo)注規(guī)范下獲得的、可被視為最可靠和準(zhǔn)確的標(biāo)注結(jié)果。3.5仲裁標(biāo)準(zhǔn)對(duì)標(biāo)注不一致的數(shù)據(jù)進(jìn)行專家審核與最終判定。3.6Kappa系數(shù)kappacoefficient用于評(píng)價(jià)分類標(biāo)注結(jié)果一致性的指標(biāo)。3.7多平面重組multiplanarreformation；MPR將一組橫斷面影像的數(shù)據(jù)通過(guò)后處理使像素重新排列，在顯示屏上按診斷的需要顯示任意方向三維斷面的方法。[來(lái)源：T/CSBME037-2021，3.10]4T/XXXX—XXXX3.8曲面重組curvedplanarreformation；CPR多平面重組的一種特殊形式?？墒箯澢鞴倮?、展開(kāi)，顯示在一個(gè)平面上，使觀察者能夠看到某個(gè)器官的全貌。[來(lái)源：T/CSBME037-2021，3.11]3.9容積再現(xiàn)volumerendering；VR采用容積掃描數(shù)據(jù)的所有像素，通過(guò)計(jì)算機(jī)對(duì)像素進(jìn)行透明度和顏色的重新加權(quán)直接投影，并以二維影像形式顯示的影像后處理方法[來(lái)源：T/CSBME037-2021，3.12]3.10信噪比Signal-to-NoiseRatio；SNR信號(hào)平均功率水平與噪聲平均功率水平的比值。[來(lái)源：YY/T1833.1-2022，4]3.11標(biāo)注工具labelingtool數(shù)據(jù)標(biāo)注方執(zhí)行數(shù)據(jù)標(biāo)注時(shí)使用的工具，標(biāo)注管理方管理數(shù)據(jù)標(biāo)注時(shí)使用的工具，數(shù)據(jù)需求方驗(yàn)收數(shù)據(jù)標(biāo)注時(shí)使用的工具等所有流程相關(guān)的工具。[來(lái)源：GB/T42755-2023，3.6]3.12Dice系數(shù)用于評(píng)估標(biāo)注區(qū)域與金標(biāo)準(zhǔn)區(qū)域的重疊程度，取值范圍為[0,1]。值越接近1，表明兩個(gè)區(qū)域重疊度越高，標(biāo)注或預(yù)測(cè)結(jié)果越準(zhǔn)確；值為0時(shí)表示兩個(gè)區(qū)域完全無(wú)重疊，是衡量標(biāo)注一致性的指標(biāo)。計(jì)算公式：Dice式中：A-表示標(biāo)注結(jié)果區(qū)域；B-表示參考標(biāo)準(zhǔn)區(qū)域；A∩B-表示集合A與集合B的交集；A-表示集合A的元素總數(shù)；B-表示集合B的元素總數(shù)。[來(lái)源：YY/T1833.1-2022，A3.3，有修改]4數(shù)據(jù)標(biāo)注4.1標(biāo)注任務(wù)本標(biāo)注任務(wù)按數(shù)據(jù)模態(tài)屬于圖像標(biāo)注，數(shù)據(jù)模態(tài)為頭頸CT血管三維重建圖像序列。本標(biāo)注任務(wù)依據(jù)執(zhí)行主體屬于人工標(biāo)注標(biāo)注。標(biāo)注對(duì)象包括：血管標(biāo)注、骨結(jié)構(gòu)標(biāo)注、斑塊標(biāo)注、狹窄分級(jí)標(biāo)注。4.2標(biāo)注規(guī)則4.2.1血管標(biāo)注血管標(biāo)注應(yīng)采用10.3760/112149-20230522-00358中“三、數(shù)據(jù)標(biāo)注及質(zhì)量控制5.血管標(biāo)注的主要規(guī)則”所推薦規(guī)則。4.2.2骨標(biāo)注骨標(biāo)注應(yīng)采用10.3760/112149-20230522-00358中“三、數(shù)據(jù)標(biāo)注及質(zhì)量控制6.骨標(biāo)注的主要規(guī)則”所推薦規(guī)則。4.2.3斑塊成分斑塊標(biāo)注需明確CT值判定標(biāo)準(zhǔn)：軟斑塊（<60HU）、混合斑塊（60~130HU）、鈣化斑塊（>130HU）。5T/XXXX—XXXX4.2.4狹窄程度頸動(dòng)脈采用NASCET標(biāo)準(zhǔn)，狹窄程度計(jì)算方法如下式：狹窄程度式中：A代表頸動(dòng)脈最窄處管徑；B代表狹窄遠(yuǎn)端正常管徑。顱內(nèi)動(dòng)脈采用WASID試驗(yàn)中的方法，狹窄程度計(jì)算方法如下式：狹窄程度式中：Ds代表顱內(nèi)動(dòng)脈最窄處的管徑；Dn代表顱內(nèi)動(dòng)脈正常處管徑。4.3標(biāo)注人員標(biāo)注醫(yī)師：需在三甲醫(yī)院放射科工作滿5年以上，且從事腦血管影像診斷工作滿2年以上，經(jīng)統(tǒng)一培訓(xùn)考核合格。仲裁醫(yī)師：需具備放射科副主任醫(yī)師及以上職稱，且腦血管影像診斷工作滿5年以上。驗(yàn)收醫(yī)師：需具備主任醫(yī)師職稱，且腦血管影像診斷工作滿10年以上。4.4標(biāo)注工具4.4.1性能要求硬件配置：推薦采用兩組Intel?XeonCPU、64GB內(nèi)存、16T機(jī)械硬盤(pán)、2TSSD硬盤(pán)，配備1920×1080分辨率、16：9寬屏彩色顯示器。軟件要求：支持DICOM格式數(shù)據(jù)讀取與存儲(chǔ)，具備三維重建、閾值分割、距離測(cè)量等功能，支持標(biāo)注結(jié)果導(dǎo)出為開(kāi)放可讀格式。若采用算法輔助標(biāo)注，需明確算法性能指標(biāo)及驗(yàn)證方法。4.4.2功能要求數(shù)據(jù)處理：支持DICOM格式數(shù)據(jù)讀取、三維重建（VR、MIP、CPR）、圖像縮放、旋轉(zhuǎn)、窗寬窗位調(diào)整等功能。標(biāo)注功能：具備血管、骨結(jié)構(gòu)、斑塊的輪廓勾勒、點(diǎn)標(biāo)注、分類標(biāo)簽添加等功能，支持狹窄程度測(cè)量自動(dòng)計(jì)算。結(jié)果管理：支持標(biāo)注結(jié)果的篩選、統(tǒng)計(jì)、導(dǎo)出，可按血管節(jié)段、病變類型等條件生成報(bào)告。過(guò)程記錄：自動(dòng)記錄標(biāo)注操作日志、修改痕跡及人員信息，支持全程追溯。權(quán)限控制：具備人員權(quán)限、數(shù)據(jù)權(quán)限分級(jí)管理功能，限制未授權(quán)人員的修改、刪除操作。4.5標(biāo)注環(huán)境標(biāo)注環(huán)境應(yīng)保持溫濕度穩(wěn)定，背景亮度均勻，避免噪聲干擾，符合放射科醫(yī)師專用閱片環(huán)境要求。合理安排標(biāo)注時(shí)間，采用圖像難易交替方式，減少標(biāo)注人員視覺(jué)疲勞。4.6數(shù)據(jù)要求原始數(shù)據(jù)：采用DICOM3.0標(biāo)準(zhǔn)格式，圖像矩陣不低于512×512，增強(qiáng)圖像層厚0.500~0.625mm，無(wú)間隔連續(xù)掃描。數(shù)據(jù)預(yù)處理：需完成患者信息脫敏，保留掃描參數(shù)、輻射劑量等元數(shù)據(jù)，剔除運(yùn)動(dòng)偽影、對(duì)比劑顯影不足等質(zhì)量不合格數(shù)據(jù)。數(shù)據(jù)分布：應(yīng)涵蓋不同地域、不同設(shè)備類型采集的數(shù)據(jù)，包含正常病例及各類病變病例，確保數(shù)據(jù)代表性。數(shù)據(jù)存儲(chǔ)：建立系統(tǒng)化數(shù)據(jù)管理文檔，確保標(biāo)注結(jié)果與原始數(shù)據(jù)一一對(duì)應(yīng)，數(shù)據(jù)結(jié)構(gòu)統(tǒng)一規(guī)范。4.7標(biāo)注與質(zhì)控流程4.7.1任務(wù)生成6T/XXXX—XXXX收集并整理符合質(zhì)量標(biāo)準(zhǔn)的頭頸CTA數(shù)據(jù)，完成脫敏、查重、格式轉(zhuǎn)換等預(yù)處理，制定標(biāo)注任務(wù)書(shū)，明確標(biāo)注范圍、精度要求及時(shí)間節(jié)點(diǎn)。4.7.2任務(wù)分配通過(guò)標(biāo)注平臺(tái)向標(biāo)注人員分配任務(wù)，設(shè)置操作權(quán)限，確保數(shù)據(jù)訪問(wèn)的安全性與可控性。4.7.3任務(wù)實(shí)施標(biāo)注過(guò)程中，標(biāo)注人員應(yīng)根據(jù)標(biāo)注規(guī)則執(zhí)行標(biāo)注任務(wù)，并采用埋題驗(yàn)證方式監(jiān)控一致性，每完成100例標(biāo)注進(jìn)行一次重復(fù)性檢驗(yàn)。4.7.4質(zhì)量控制初標(biāo)階段：由符合資質(zhì)的標(biāo)注醫(yī)師嚴(yán)格遵循標(biāo)注規(guī)則獨(dú)立完成數(shù)據(jù)初步標(biāo)注。仲裁階段：由仲裁醫(yī)師獨(dú)立審核分歧數(shù)據(jù)，復(fù)雜病例可組織集體討論確定最終結(jié)果。驗(yàn)收階段：驗(yàn)收醫(yī)師按20%比例隨機(jī)抽檢標(biāo)注結(jié)果，糾正遺漏、錯(cuò)判和誤診，不合格批次需重新標(biāo)注校準(zhǔn)，確定最終標(biāo)注結(jié)果。持續(xù)跟蹤標(biāo)注人員工作表現(xiàn)，可周期性重復(fù)出現(xiàn)某段信號(hào)，觀測(cè)標(biāo)注人員的結(jié)果是否保持一致，如出現(xiàn)自相矛盾，則暫停標(biāo)注工作進(jìn)行修整并組織再培訓(xùn)，考核合格后方可重新參與標(biāo)注。4.7.5安全管理待標(biāo)注數(shù)據(jù)需進(jìn)行脫敏處理，建立獨(dú)立備份，防止數(shù)據(jù)丟失或篡改。標(biāo)注設(shè)備需配備防火墻、入侵防護(hù)等安全措施，禁止未授權(quán)拷貝、下載數(shù)據(jù)。標(biāo)注人員需簽訂保密協(xié)議，嚴(yán)格遵守患者隱私保護(hù)相關(guān)規(guī)定。5數(shù)據(jù)標(biāo)注質(zhì)量特性5.1準(zhǔn)確性同一醫(yī)師多次標(biāo)注或不同醫(yī)師之間對(duì)同一圖像的標(biāo)注結(jié)果準(zhǔn)確性性檢驗(yàn)主要通過(guò)Dice系數(shù)和Kappa值來(lái)評(píng)估。Dice系數(shù)是衡量分割類標(biāo)注一致性的指標(biāo)。對(duì)于區(qū)域內(nèi)血管、骨結(jié)構(gòu)、斑塊等結(jié)構(gòu)，雙盲標(biāo)注Dice≥95%，多中心標(biāo)注Dice≥90%。Kappa值是衡量分類變量之間一致性的指標(biāo)，適用于評(píng)估標(biāo)注者之間對(duì)同一圖像特征分類的一致性，在頭頸CTA數(shù)據(jù)標(biāo)注中，Kappa值應(yīng)≥0.75。5.2可理解性標(biāo)注結(jié)果應(yīng)附帶清晰的注釋說(shuō)明，包括標(biāo)注規(guī)則版本、測(cè)量方法、特殊情形處理依據(jù)，確保授權(quán)用戶可準(zhǔn)確理解。5.3可訪問(wèn)性建立標(biāo)注結(jié)果檢索系統(tǒng)，支持按患者ID、病變類型等條件快速查詢，訪問(wèn)權(quán)限分級(jí)管控。5.4可移植性標(biāo)注結(jié)果應(yīng)支持在不同軟件平臺(tái)間導(dǎo)入導(dǎo)出，保持?jǐn)?shù)據(jù)結(jié)構(gòu)及屬性不變，兼容常用醫(yī)學(xué)影像分析軟件。5.5保密性建立數(shù)據(jù)訪問(wèn)授權(quán)機(jī)制，僅允許授權(quán)人員獲取標(biāo)注數(shù)據(jù)。數(shù)據(jù)傳輸采用加密技術(shù)，存儲(chǔ)設(shè)備需定期備份，退役設(shè)備需徹底清除數(shù)據(jù)。5.6可追溯性記錄標(biāo)注全流程信息，包括標(biāo)注醫(yī)師、仲裁醫(yī)師、驗(yàn)收醫(yī)師的身份及操作時(shí)間。7T/XXXX—XXXX保存標(biāo)注過(guò)程中的修改記錄、分歧處理意見(jiàn)及最終判定依據(jù)。記錄標(biāo)注工具型號(hào)、版本號(hào)、掃描設(shè)備參數(shù)等相關(guān)信息。6評(píng)價(jià)方法6.1標(biāo)注任務(wù)評(píng)價(jià)對(duì)標(biāo)注任務(wù)分類文檔進(jìn)行核查，判斷是否滿足4.1的要求。6.2標(biāo)注規(guī)則評(píng)價(jià)采用隨機(jī)抽樣的方法，隨機(jī)抽取50例，查閱原始影像及標(biāo)注結(jié)果，判斷是否滿足4.2的要求。6.3標(biāo)注人員評(píng)價(jià)核查標(biāo)注人員資質(zhì)證明文件，判斷是否滿足4.3的要求。6.4標(biāo)注工具評(píng)價(jià)編寫(xiě)測(cè)試用例，進(jìn)行實(shí)際操作驗(yàn)證，判斷是否滿足4.4的要求。6.5標(biāo)注環(huán)境評(píng)價(jià)查閱標(biāo)注責(zé)任方提供的文件，判斷是否滿足4.5的要求。6.6數(shù)據(jù)評(píng)價(jià)編寫(xiě)測(cè)試用例，進(jìn)行實(shí)際操作驗(yàn)證，判斷是否滿足4.6的要求。6.7標(biāo)注流程評(píng)價(jià)對(duì)標(biāo)注流程文件進(jìn)行檢查，判斷是否滿足4.7的要求。6.8標(biāo)注質(zhì)量特性評(píng)價(jià)6.8.1準(zhǔn)確性對(duì)標(biāo)注結(jié)果進(jìn)行抽樣，計(jì)算抽樣樣本或者全體樣本的Dice系數(shù)和Kappa值進(jìn)行評(píng)價(jià)，判斷是否滿足5.1的要求。6.8.2可理解性對(duì)標(biāo)注結(jié)果進(jìn)行預(yù)覽、操作，檢查用戶能否預(yù)覽和理解標(biāo)注信息的內(nèi)容，判斷是否滿足5.2的要求。6.8.3可訪問(wèn)性編寫(xiě)測(cè)試用例，進(jìn)行實(shí)際操作，驗(yàn)證用戶能否對(duì)標(biāo)注結(jié)果進(jìn)行訪問(wèn)，判斷是否滿足5.3的要求6.8.4可移植性對(duì)標(biāo)注結(jié)果的安裝、替換、轉(zhuǎn)移進(jìn)行實(shí)際操作，驗(yàn)證不同操作環(huán)境下標(biāo)注信息的性質(zhì)是否保持不變，判斷是否滿足5.4的要求。6.8.5保密性檢查原始數(shù)據(jù)及標(biāo)注結(jié)果的授權(quán)訪問(wèn)機(jī)制、加密存儲(chǔ)等，判斷是否滿足5.5的要求。6.8.6可追溯性對(duì)標(biāo)注過(guò)程產(chǎn)生的記錄進(jìn)行檢查，判斷是否滿足5.6的要求。8T/XXXX—XXXX（規(guī)范性）常見(jiàn)頭頸血管分段名稱及標(biāo)注代碼示例常見(jiàn)頭頸血管的名稱、代碼及標(biāo)注范圍見(jiàn)下表A.1。表A.1頭頸血管分段及標(biāo)注范圍VA9T/XXXX—XXXX（規(guī)范性）標(biāo)注示例椎動(dòng)脈（A）和頸動(dòng)脈（B）拉直圖中對(duì)所有對(duì)比劑充盈區(qū)域貼近血管內(nèi)壁進(jìn)行標(biāo)注，標(biāo)注范圍不超過(guò)血管管腔；軸位圖像對(duì)頸動(dòng)脈斑塊成分進(jìn)行標(biāo)注（C）；軸位圖像對(duì)頸內(nèi)動(dòng)脈顱內(nèi)段斑塊成分進(jìn)行標(biāo)注（D）。綠色標(biāo)注鈣化成分，藍(lán)色標(biāo)注脂質(zhì)成分。ABCD圖B.1血管管腔及斑塊標(biāo)注示意圖對(duì)頭頸動(dòng)脈CTA橫軸位薄層圖像上的骨和血管進(jìn)行標(biāo)注。用紅色標(biāo)記顱內(nèi)動(dòng)脈（A）、藍(lán)色標(biāo)記頸動(dòng)脈（B）、黃色標(biāo)記主動(dòng)脈（C）、綠色標(biāo)記骨（A~C）。ABC圖B.2骨及血管標(biāo)注示意圖T/XXXX—XXXX參考文獻(xiàn)[1]YY/T1833.3-2022人工智能醫(yī)療器械質(zhì)量要求和評(píng)價(jià)第3部分：數(shù)據(jù)標(biāo)注通用要求[2]中華醫(yī)學(xué)會(huì)放射學(xué)分會(huì)醫(yī)學(xué)影像人工智能工作組,北京醫(yī)學(xué)會(huì)放射學(xué)分會(huì)人工智能學(xué)組中國(guó)食品藥品檢定研究院.頭頸動(dòng)脈CT血管成像數(shù)據(jù)標(biāo)注與質(zhì)量控制專家共識(shí)[J].中華放射學(xué)雜志,2024,58(2):