CCSC30團體標(biāo)T/GDCKCJH準(zhǔn)071—2023乳腺病理人工智能輔助診斷系統(tǒng)技術(shù)要求systemforbreastpathology2023-01-09發(fā)布2023-01-10實施廣東省測量控制技術(shù)與裝備應(yīng)用促進會發(fā)布IT/GDCKCJH071—2023前言 Ⅱ 12規(guī)范性引用文件 13術(shù)語、定義和縮略語 14要求 35試驗方法 6附錄A(規(guī)范性)特異形態(tài)識別檢測效果試驗方法 8 附錄C(規(guī)范性)特異病變形態(tài)惡性病變判定效果試驗方法 T/GDCKCJH071—2023本文件按照GB/T1.1-2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔(dān)識別專利的責(zé)任。本文件由廣東省測量控制技術(shù)與裝備應(yīng)用促進會提出并歸口。本文件起草單位：廣州華銀醫(yī)學(xué)檢驗有限公司、華南理工大學(xué)、南方醫(yī)科大學(xué)南方醫(yī)院。本文件主要起草人：陳傳文、陳超敏、吳凱、王曉丹、全超、李奎、全智慧、裘宇容。本文件為首次發(fā)布。T/GDCKCJH071—20231乳腺病理人工智能輔助診斷系統(tǒng)技術(shù)要求本文件規(guī)定了乳腺病理人工智能輔助診斷系統(tǒng)的術(shù)語定義和縮略語、要求及試驗方法。本文件適用于基于乳腺組織數(shù)字化切片圖像數(shù)據(jù)的乳腺病理人工智能輔助診斷系統(tǒng)/軟件的方案設(shè)計、項目驗收及相關(guān)產(chǎn)品開發(fā)。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T5271.28—2001信息技術(shù)詞匯第28部分：人工智能基本概念與專家系統(tǒng)GB/T25000.51—2016系統(tǒng)與軟件工程系統(tǒng)與軟件質(zhì)量要求和評價(SQuaRE)第51部分：就緒可用軟件產(chǎn)品(RUSP)的質(zhì)量要求和測試細則GB/T28452—2012信息安全技術(shù)應(yīng)用軟件系統(tǒng)通用安全技術(shù)要求WS363衛(wèi)生信息數(shù)據(jù)元目錄WS364衛(wèi)生信息數(shù)據(jù)元值域代碼3術(shù)語、定義和縮略語3.1術(shù)語和定義GB/T5271.28—2001界定的及下列術(shù)語和定義適用于本文件。3.1.1人工智能artificialintelligence一門交叉學(xué)科，通常視為計算機科學(xué)分支，研究表現(xiàn)出與人類智能(如推理、學(xué)習(xí))相關(guān)的各種功能的模型和系統(tǒng)。[來源：GB/T5271.28—2001，28.01.01]3.1.2病理pulmonaryslice疾病發(fā)生發(fā)展的過程與原理，也就是疾病發(fā)生的原因、發(fā)病原理和疾病過程中發(fā)生的細胞、組織和器官的結(jié)構(gòu)、功能和代謝方面的改變及其規(guī)律。T/GDCKCJH071—202323.1.3數(shù)字切片digitalsmear利用全自動顯微鏡掃描系統(tǒng)，結(jié)合瀏覽分析數(shù)字切片軟件系統(tǒng)，將傳統(tǒng)玻璃涂片進行掃描、圖像無縫拼接，生成具有全視野(WholeSlideImage，簡稱WSI)的數(shù)字切片(也稱虛擬涂片)，若掃描設(shè)備廠商提供數(shù)字化非標(biāo)準(zhǔn)SVS格式，則不必提供工具轉(zhuǎn)化為標(biāo)準(zhǔn)圖像數(shù)據(jù)SVS格式。數(shù)字切片包含了玻璃涂片上的所有病變信息，可以在電腦上進行任意的放大和縮小，利用定位拖動等方式觀測到玻璃涂片上的任何一個位置，將相應(yīng)的位置放大到5倍、10倍、20倍、40倍，如同在顯微鏡上的放大縮小，并能標(biāo)注上形態(tài)輪廓、打上分類標(biāo)簽、具備測量大小距離等。3.1.4特異病變形態(tài)specificabnormalitymorphology特異病變形態(tài)是與正常組織圖像比較并對人工智能識別分類有特定意義的異常病變形態(tài)，并非指正常組織圖像以外的所有異常病變形態(tài)。以經(jīng)典的TNM(tumornodemetastasis)分期為基礎(chǔ)，基本架構(gòu)是根據(jù)腫瘤大小(簡稱T，tumor)，淋巴結(jié)是否轉(zhuǎn)移及轉(zhuǎn)移數(shù)目(簡稱N，node)，及是否有遠處器官轉(zhuǎn)移(簡稱M，metastasis)等三者綜合分析TNM以決定乳癌的分期。TNM這種腫瘤解剖病理分期對于預(yù)測腫瘤的復(fù)發(fā)轉(zhuǎn)移具有較高價值，是臨床上較成熟的風(fēng)險評估指標(biāo)。3.1.5召回率(也稱檢出率)recall系統(tǒng)檢測出來的真實特異病變形態(tài)與所有真實特異病變形態(tài)的比例。真實特異病變形態(tài)檢測以經(jīng)典的TNM分期各種特異形態(tài)。3.1.6檢出精確度detectionaccuracy系統(tǒng)檢測出來的真實特異病變形態(tài)與檢測出來的所有特異病變形態(tài)的比例。3.1.7靈敏度sensitivity系統(tǒng)判定惡性形態(tài)圖像結(jié)果為陽性與所有真實惡性形態(tài)圖像的比例。惡性形態(tài)圖像結(jié)果5分類包括：原位癌(Tis)、導(dǎo)管原位癌(Tis-dcis)、小葉原位癌(Tis-lcis)、微小浸潤性癌(T1mic)、炎性乳腺癌(T4)。3.1.8特異度specificity系統(tǒng)判定非惡性形態(tài)圖像結(jié)果為陰性與所有真實非惡性形態(tài)圖像的比例。3.1.9病理人工智能輔助診斷系統(tǒng)theartificialintelligencediagnosticsystemforpulmonarynodules將人工智能技術(shù)應(yīng)用于醫(yī)療圖像處理和輔助診斷的醫(yī)用軟件，用于輔助醫(yī)生從數(shù)字化切片圖像T/GDCKCJH071—20233中識別并標(biāo)識出病變，對病變的性質(zhì)進行分類分級分析，為臨床診斷決策提供建議。3.2縮略語下列縮略語適用于本文件。AI：人工智能(artificialintelligence)WSI：全視野的數(shù)字切片(wholeslideimage)TNM：表示癌癥的嚴(yán)重程度(tumornodemetastasis)DICOM：醫(yī)學(xué)數(shù)字影像與通信(digitalimagingandcommunicationsinmedicine)PACS：醫(yī)學(xué)影像的存儲與歸檔通信系統(tǒng)(picturearchiving&communicationsystem)Tis：原位癌(tumorinsitu)Tis-dcis：導(dǎo)管原位癌(ductalcarcinomainsitu)Tis-lcis：小葉原位癌(lobularcarcinomainsitu)T1mic：微小浸潤性癌(microinvasivecarcinnoma)T4：炎性乳腺癌4要求4.1系統(tǒng)功能模塊病理人工智能輔助診斷系統(tǒng)應(yīng)能與各級醫(yī)院HIS、LIS、PACS對接，對載入符合WSI協(xié)議規(guī)范的影像文件，利用AI算法和模型對組織形態(tài)圖像進行檢測及輔助診斷。系統(tǒng)應(yīng)至少包括以下功能模塊(見圖1)：a)數(shù)據(jù)采集模塊：用于采集組織形態(tài)圖像數(shù)據(jù)、結(jié)構(gòu)化病歷數(shù)據(jù)等；b)數(shù)據(jù)處理模塊：用于將采集的組織形態(tài)圖像數(shù)據(jù)進行脫敏，以及將圖像數(shù)據(jù)處理成結(jié)構(gòu)化數(shù)據(jù)，并同樣進行脫敏等；c)AI模型算法疾病分級模塊：用于圖像預(yù)處理、圖像分級識別、圖像深度學(xué)習(xí)等；d)臨床輔助診斷及輸出模塊：用于對組織形態(tài)圖像分級結(jié)果進行聯(lián)合判讀，進行沖突處理等。做出明確可靠的如正常、良惡性病變分級判定等可解釋性結(jié)果；e)人工干預(yù)審核與修正模塊：病理醫(yī)生通過人工審核與修正方式標(biāo)注與記錄，并保存在深度學(xué)習(xí)庫的功能模塊；f)用戶訪問入口及報告接口模塊：提供接收AI輔助診斷結(jié)果訪問接口；g)數(shù)據(jù)安全管理模塊：用于組織形態(tài)圖像信息、患者信息等數(shù)據(jù)的安全管理。T/GDCKCJH071—20234用戶訪問入口及報告輸出接口數(shù)據(jù)安全管理用戶訪問入口及報告輸出接口數(shù)據(jù)安全管理數(shù)據(jù)采集組織形態(tài)圖像數(shù)字切片數(shù)據(jù)結(jié)構(gòu)化病歷數(shù)據(jù)數(shù)據(jù)處理數(shù)據(jù)清洗及脫敏圖像標(biāo)準(zhǔn)化處理圖像分割A(yù)I模型算法圖像識別算法機器學(xué)習(xí)算法深度學(xué)習(xí)算法臨床輔助診斷多形態(tài)聯(lián)合判讀判讀沖突處理明確判讀解釋輸出圖1病理人工智能輔助診斷系統(tǒng)功能模塊圖4.2系統(tǒng)運行要求系統(tǒng)運行環(huán)境應(yīng)符合以下基本要求：a)模型服務(wù)器最低配置：2)硬盤：500GB；3)CPU：相當(dāng)于Intel(R)Xeon(R)CPUE5-2603v4；4)GPU：相當(dāng)于NVIDIAK804卡4.8G顯存。b)閱片客戶端最低配置：2)硬盤：100GB；3)CPU：相當(dāng)于Intel(R)Core(TM)i5-5200U2.20GHz。c)操作系統(tǒng)及數(shù)據(jù)庫，由系統(tǒng)提供商或使用者確定；d)云服務(wù)器最低配置與網(wǎng)絡(luò)要求：1)云服務(wù)器最低配置與模型服務(wù)器最低配置一致，或建議略高；T/GDCKCJH071—202352)網(wǎng)絡(luò)帶寬：5Mb/s。4.3技術(shù)要求4.3.1功能技術(shù)要求系統(tǒng)功能在用戶訪問方面需滿足以下要求：a)應(yīng)能提供多級用戶管理功能，為不同用戶設(shè)置不同權(quán)限及功能，登錄過程中自動鑒權(quán)，提供不同的功能和權(quán)限；b)應(yīng)有用戶訪問控制措施，可采用授權(quán)加密方式，通過激活碼序列(激活碼附在包裝內(nèi))或硬件(如U盤加密狗)等進行授權(quán)注冊及自動鑒權(quán)；c)患者數(shù)據(jù)應(yīng)符合WS363及WS364的要求。系統(tǒng)應(yīng)能提供患者信息檢索功能，包括患者ID、患者姓名、性別等信息，并須按規(guī)定進行必要脫敏；d)應(yīng)能提供患者信息查詢功能，包括患者列表、研究列表、序列列表等分類。其中患者列表包含患者的基本信息，如患者ID、姓名、性別等；研究列表包含患者的研究信息，如登錄號、序列、研究時間等；序列列表包含患者的序列信息，如序列編號、序列時間、玻片序號等。系統(tǒng)在多功能閱片方面需滿足以下要求：a)應(yīng)支持符合WSI數(shù)字切片瀏覽閱片、標(biāo)注、測距等功能；b)在進行閱片時，系統(tǒng)可自由切換單雙屏進行閱片，如病歷信息與圖像信息切換、原始圖像與識別標(biāo)識后圖像信息等；c)應(yīng)具備組織形態(tài)圖像識別聯(lián)合判讀信息明細輸出功能，并具備判讀輸出明確可讀性解釋類報告等。系統(tǒng)在組織形態(tài)識別檢測方面需滿足以下要求：a)應(yīng)能根據(jù)原始組織形態(tài)圖像信息，通過AI模型算法對單細胞分割識別；b)應(yīng)能對組織形態(tài)圖像的詳細特征進行計算，如組織形態(tài)圖像大小、比例、分布、數(shù)量等；c)應(yīng)能對同一患者多次數(shù)字切片數(shù)據(jù)進行自動識別與對比，并能計算出組織形態(tài)變化數(shù)據(jù)，如：特異性倍增、細胞萎縮程度等；d)應(yīng)能對組織形態(tài)圖像的計算機空間視覺進行分析和顯示，如組織形態(tài)特異性分級、符合分級分類特征數(shù)量、符合度、判讀解釋等，組織形態(tài)特異性分級至少包括5分類分級(原位癌(Tis)、導(dǎo)管原位癌(Tis-dcis)、小葉原位癌(Tis-lcis)、微小浸潤性癌(T1mic)、炎性乳腺癌(T4))；e)應(yīng)具備診斷醫(yī)生根據(jù)AI識別預(yù)警進行審核與修正功能，同時加入自動深度學(xué)習(xí)庫，提高識別符合率。同時，能對陰性(正常類)診斷自動審核，自動審核符合率應(yīng)高于99.9%；f)應(yīng)能根據(jù)整合聯(lián)合判讀解釋生成關(guān)鍵性診斷報告等。組織形態(tài)惡性病變判定方面，系統(tǒng)應(yīng)能依據(jù)組織形態(tài)圖像特征及醫(yī)學(xué)診斷標(biāo)準(zhǔn)，利用AI模型T/GDCKCJH071—20236算法為檢出的組織形態(tài)進行惡性病變診斷判讀。判定惡性病變至少包括5分類分級：原位癌(Tis)、導(dǎo)管原位癌(Tis-dcis)、小葉原位癌(Tis-lcis)、微小浸潤性癌(T1mic)、炎性乳腺癌(T4)。診斷報告生成方面，在完成組織形態(tài)圖像AI輔助診斷后，系統(tǒng)應(yīng)能自動生成結(jié)構(gòu)化報告。脫敏病歷信息、結(jié)構(gòu)化報告中一般應(yīng)包含細胞涂片玻片編號、是否AI自動審核或人工審核及干預(yù)審核等操作信息、采樣情況評估、病變類型以及分級、聯(lián)合判讀解釋等及其他描述等內(nèi)容。4.3.2性能技術(shù)要求系統(tǒng)性能要求如下：a)在正常運行環(huán)境情況下，從獲取組織形態(tài)數(shù)字切片圖像信息起到結(jié)果生成或輸出時間，100例以上計算平均每例AI閱片處理時間應(yīng)小于10s；b)應(yīng)能檢測出單組織形態(tài)用粘連組織形態(tài)。按照附錄A試驗的方法，系統(tǒng)的特異病變形態(tài)召回率應(yīng)為95%以上，檢出精確度應(yīng)為99.9%以上；c)組織形態(tài)惡性病變判定效果佳，按照附錄A試驗的方法，真實組織形態(tài)惡性病變召回率與檢出精確度均應(yīng)為99.9%以上；d)應(yīng)能對特異形態(tài)圖像進行惡性病變判定。按照附錄B的試驗方法，系統(tǒng)靈敏度應(yīng)為80%以上，特異度為90%以上；e)建議具備對審核修正中新標(biāo)識的深度學(xué)習(xí)功能。4.3.3質(zhì)量技術(shù)要求系統(tǒng)軟件質(zhì)量應(yīng)符合GB/T25000.51—2016中第5章要求。4.3.4數(shù)據(jù)安全技術(shù)要求數(shù)據(jù)安全要求如下：a)系統(tǒng)應(yīng)按GB/T28452—2012相關(guān)要求對患者病理數(shù)字切片圖像信息核心數(shù)據(jù)以及患者基本信息重要數(shù)據(jù)進行安全保護；b)在運行期間，系統(tǒng)應(yīng)將用戶的活動信息記錄為日志，日志文件不能修改、編輯，只能由系統(tǒng)管理員進行查看或?qū)С?；c)系統(tǒng)模型服務(wù)器發(fā)生意外故障，重啟后應(yīng)確保數(shù)據(jù)不會發(fā)生丟失、損壞等情況。5試驗方法5.1功能試驗在正常運行環(huán)境情況下，功能試驗方法如下：a)實際操作系統(tǒng)，檢查是否具有多用戶訪問及訪問控制功能；b)實際操作系統(tǒng)，檢查是否具有患者信息檢索及查詢功能；T/GDCKCJH071—20237c)實際操作系統(tǒng)，檢查是否具有多功能閱片功能、切換是否流暢；d)實際操作系統(tǒng)，檢查是否具有特異形態(tài)圖像識別檢出、分類與分級功能；e)實際操作系統(tǒng)，檢查是否具有組織形態(tài)惡性病變判定、分類與分級功能；f)實際操作系統(tǒng)，檢查是否具有對組織形態(tài)惡性病變判定、分類與分級功能的符合度、準(zhǔn)確性與描述審核與修正功能；g)實際操作系統(tǒng)，檢查是否具有診斷報告自動生成功能。結(jié)構(gòu)化報告模板參見附錄B。5.2性能試驗性能試驗方法如下：a)在正常運行環(huán)境情況下，實際操作系統(tǒng)，根據(jù)系統(tǒng)提供商的參數(shù)配置，采用多次記錄單個用戶加載單個患者影像序列至結(jié)果輸出的時間來測試，進行平均值計算，并記錄結(jié)果；b)按照附錄A的方法準(zhǔn)備待測的數(shù)字切片圖像測試集，檢測人員使用待測量的軟件對測試集的圖像逐一進行組織形態(tài)檢出，并記錄結(jié)果進行計算；c)按照附錄C的方法準(zhǔn)備待測的數(shù)字切片圖像測試集，檢測人員使用待測量的軟件對測試集的圖像逐一進行良惡性疾病判定，并記錄結(jié)果進行計算。5.3環(huán)境要求試驗在正常運行環(huán)境情況下，實際操作系統(tǒng)，按照GB/T25000.51—2016的第7章進行試驗。5.4數(shù)據(jù)安全要求試驗在正常運行環(huán)境情況下，實際操作系統(tǒng)，檢查是否具有數(shù)據(jù)安全保護功能。T/GDCKCJH071—20238特異形態(tài)識別檢測效果試驗方法A.1標(biāo)準(zhǔn)數(shù)據(jù)庫A.1.1數(shù)據(jù)質(zhì)量要求應(yīng)按照病理組織的國際指南和國內(nèi)主任醫(yī)師級別及以上的專家共識對病理組織數(shù)字切片圖像進行分類、分級和標(biāo)注。數(shù)據(jù)格式包含原始DICOM數(shù)據(jù)及對應(yīng)的DICOM標(biāo)記框文件，應(yīng)按中檢院的規(guī)定標(biāo)記輪廓形狀、分類及分級標(biāo)簽相關(guān)信息。A.1.2數(shù)據(jù)庫容量與分布要求數(shù)據(jù)庫容量可依據(jù)實際情況來設(shè)定，應(yīng)做到數(shù)據(jù)盡可能多樣性。示例：當(dāng)前總量若為10000例患者，其中99.9%以上應(yīng)提供專家共識診斷標(biāo)注，正常(陰性)樣本不高于40%、特異性多樣性標(biāo)本不低于60%、以及整理脫敏病歷信息。數(shù)據(jù)分類應(yīng)充分考慮組織形態(tài)圖像聯(lián)合判讀各類別情況，可參照表A.1構(gòu)建標(biāo)準(zhǔn)數(shù)據(jù)庫。表A.1第六版AJCC(theAmericanJointCommitteeonCancer)TNM分期TT/GDCKCJH071—20239表A.1第六版AJCC(theAmericanJointCommitteeonCancer)TNM分期(續(xù))NT/GDCKCJH071—2023表A.1第六版AJCC(theAmericanJointCommitteeonCancer)TNM分期(續(xù))移M數(shù)據(jù)分布應(yīng)充分考慮人的年齡、地域以及圖像屬性、以及多廠商數(shù)字切片來源、應(yīng)用場景等情況，盡可能覆蓋到更多具有通用性維度的信息。可參考中檢院標(biāo)準(zhǔn)數(shù)據(jù)庫建設(shè)方案。數(shù)據(jù)庫中應(yīng)至少有80%的病理組織數(shù)字切片提供其明確診斷信息，以滿足對系統(tǒng)組織良惡性判斷測試單獨建庫使用。A.2測試集在測試階段，應(yīng)根據(jù)系統(tǒng)預(yù)期的召回率來設(shè)置測試集樣本量，可參見示例。在標(biāo)準(zhǔn)數(shù)據(jù)庫中按照不同類型細胞占比隨機抽樣生成測試集進行測試。測試集中細胞分布情況應(yīng)與標(biāo)準(zhǔn)數(shù)據(jù)庫細胞類型比例保持一致。示例：假設(shè)細胞召回率為90%，置信水平為95%，允許誤差為±5%。按式(A.1)來計算樣本量。n=…………(A.1)n——所需樣本量；Z——置信水平的Z值，可以對照正態(tài)分布表查看相應(yīng)數(shù)值，如95%置信水平的Z值為1.96；T/GDCKCJH071—2023當(dāng)置信水平為90%時，Z值為1.64；P——目標(biāo)總體的比例期望值；d——允許誤差。如上計算：Z=1.96，d=±5%，P=0.9，則n=139；再如Z=1.96，d=±5%，P=0.5，則n=384。A.3測試結(jié)果計算方法將標(biāo)定結(jié)果和系統(tǒng)檢出結(jié)果進行對比：以細胞為單位，比較系統(tǒng)檢出的細胞個數(shù)與標(biāo)定的真實細胞個數(shù)是否一致，并按表A.2記錄結(jié)果進行計算：表A.2測試記錄表TP：真正TruepositiveTN:真負(fù)TruenegativeFP:假正FalsepositiveFN:假負(fù)Falsenegativea)召回率(recall)＝TP/(TP+FN)*100%；b)檢出精確度(precision)＝