1人工智能醫(yī)療器械肺部影像輔助分析軟件算法性能測試方法IEC62304:2006/AMD1:2015,Amendment1-Medicaldevicesoftware-SoftwarelifecycleISO/IECTS4213信息技術ISO24971-2醫(yī)療器械風險管理應用YY/T1833.1人工智能醫(yī)療器械_質(zhì)量要求和評價第1部分：術語YY/T1833.2人工智能醫(yī)療器械_質(zhì)量要求和評價第2部分：數(shù)據(jù)集通用要求YY/T1833.3、YY/T1833.2界定的以及下列術語和定義適用于本2注2：本文件的壓力測試有別于負載測試（loadtest關注算法在極端或異常輸由同一操作員按相同的方法、使用相同的測試或測進行測試/測量，所獲得的獨立測試/測量結(jié)果間的對原始數(shù)據(jù)集進行輕微的改變而產(chǎn)生的數(shù)據(jù)，旨在增加數(shù)據(jù)集的樣本量和多一種用于擴大數(shù)據(jù)集規(guī)模的方法，采用數(shù)字化變換對原始數(shù)據(jù)進注：數(shù)據(jù)增強一般采用可理解的方式，例如對放射影像進行旋轉(zhuǎn)、用于確定人工智能預測區(qū)域和人工標注區(qū)域是否正確關聯(lián)4縮略語AIMD人工智能醫(yī)療器械AP平均精確度AUROC受試者操作特征曲線的曲線下面積AUT待測算法3MAP平均精確度均值ML機器學習5概述醫(yī)療器械軟件測試和人工智能醫(yī)療器械相關國際標準（IEC62304、IEC63450、IEC635本文件介紹了性能獨立測試的方法。為了滿足I4注：中心點的選擇與目標區(qū)域、影像征象有關。以肺結(jié)節(jié)（一般為凸形狀）為例a)真陽性，即匹配參考標準的算法標b)假陽性，即未匹配參考標準的算法標記目標，c)假陰性，即未匹配算法標記目標的特殊情況處理：當出現(xiàn)多對一匹配時，匹配關系宜遵從以下優(yōu)先級b)如采用中心點距離方式，取中心點距離更小的；按照6.1.1.3-6.1.1.8描述的公式計算各性能指標。可以病灶為單元，直接以整個集合的計算結(jié)果精確度的計算公式見ISO/IECTS4213生成精確度-召回率曲線，計算曲線下的積分面積，即平均精確度。測試記錄應描述曲線是否進行平滑如適用多目標檢測，應求出各類目標的平均精確度，其平均值即為平均精52、…、n，其中橫坐標上限n應大于病例個體的平均病灶數(shù)量。以肺結(jié)節(jié)輔助檢測為例，假設單個病例b)算法分割的目標區(qū)域與參考標準分割的目標區(qū)域的性能指標按6.1.2.2-6.1.2.9描述的公式算法分割的目標區(qū)域與參考標準分割的目標區(qū)域的交集除以算法分割的目標區(qū)域，Pre——精確度；Spr——算法分割的目標區(qū)域；），6確度的調(diào)和平均數(shù)用公式（3）表示：Dice——Dice系數(shù)；Spr——算法分割的目標區(qū)域；Jaccard系數(shù)為算法分割的目標區(qū)域與參考標準分割的目標區(qū)域交集除以兩者的Jaccard——Jaccard系數(shù)；pr算正確分割的氣管長度與參考標準氣管長度的比例，用公式（.......................（5））；表面距離為算法和參考標準給出的目標區(qū)域之間的根據(jù)公式（6）計算雙向豪斯多夫距離dH（X,Y7dH(X,Y)——雙向豪斯多夫距離；8Pred_1…True_1N1,1N1,2…N1,nTrue_2N2,1N2,2…N2,n……………True_nNn,1Nn,2…Nn,n注：Predx(x=1~n)為人工智能判斷為x類的類別；Turex(x=1~n)為參考標準判斷表達式見ISO/IEC4213術語3.表達式見ISO/IEC4213術語3.9MR=1?Sen.....................................(8)Nj,i——泛指混淆矩陣第j行、第i列的元素;Y=Sen+Spe?1................................(11)）：Nj,i——泛指混淆矩陣第j行、第i列的元素;Ni,j——泛指混淆矩陣第i行、第j列的元素;制造商應給出標稱的受試者操作特征曲線（receiveroperatingcharacteristics的曲線下面積（areaundercurve，AUC）值。測試人員宜調(diào)節(jié)不同分類閾值（不宜少于1000步，可均勻設置步長），比較算法分類結(jié)果與參考標準分類結(jié)果，計算各個閾值下的靈敏度與特異度，以1減特異度為橫坐標、以靈敏度為縱坐標繪制ROC曲線，并計算ROC——其次對標記匹配正確的目標區(qū)域，計算分類、分割的指標；于CT層厚2mm及以下的圖像等），測試人員應對測試集、參考標準進行對應的約束，并在測試計劃和測如陰陽性分診或危重分診，與算法輸出的標簽進行對比，建立混淆矩陣，采用6.1.3.2的方法計算靈敏注：本文件提到的臨床部署環(huán)境重點關注數(shù)據(jù)采集流程、成像參數(shù)和據(jù)質(zhì)量的各種變量，包括但不限于采集場所、日期、人口學信息、疾病狀態(tài)/嚴重程度、臨床亞組分辨率、亮度、調(diào)焦、射線質(zhì)量等。模擬生成的圖像數(shù)據(jù)不應影響標理、重建算子等。模擬生成的圖像數(shù)據(jù)不應影響而驗證模型是否能抵御欺騙攻擊。施加擾動后的數(shù)據(jù)應通過標注人員的確認后用于測壓力測試宜評估算法在真實世界可能出現(xiàn)的極端或異常輸入（不同負載、限值、大規(guī)模數(shù)據(jù)、錯誤數(shù)據(jù)、稀有數(shù)據(jù)等）下的魯棒性。如適用，測試人員應對同一版本的算法使用相同的樣本依據(jù)條款5.1進行多次測試，測試次數(shù)不宜如適用，測試人員應對算法輸出的中間結(jié)論與如包含300張圖像、分辨率為512×5a)在標記-匹配場景下，測試人員宜對假陰性結(jié)果進行分組統(tǒng)計，考慮未達到匹配閾值（部分重疊）、完全未匹配（零重疊）兩種情形在假陰性c)在分割場景下，測試人員宜根據(jù)目標區(qū)域的尺寸，對分割結(jié)果d)測試人員宜根據(jù)每個病例的算法性能指標，評估算法e)測試人員宜在對抗測試、壓力測試中A.1測試環(huán)境在測試之前，應設置測試環(huán)境并執(zhí)行以下步驟:運行環(huán)境，則應在這些環(huán)境下進行必要的測試或理論分析。應指明軟件運行環(huán)境的限制；d)在產(chǎn)品臨床應用環(huán)境下具備測試條件時，也可直接選擇在臨床應用環(huán)境），注1：測試環(huán)境包括硬件環(huán)境和軟件環(huán)境，硬件環(huán)境一般是指測試使用的服務器、客戶端、網(wǎng)絡連接設備、輔助硬A.2測試資源A.2.1測試集通用要求肺部影像輔助分析軟件的制造商可根據(jù)產(chǎn)品預期用途和臨床應用場景，對測試數(shù)據(jù)進行限定。A.2.2測試集樣本量檢測人員應根據(jù)算法主要性能指標的置信度、允差和陽性樣本比例計算單次檢測的總體樣本量。附錄C給出了有關測試數(shù)據(jù)的統(tǒng)計學考慮。A.2.3測試集配置數(shù)據(jù)采集設備與場所方面的統(tǒng)計學差異,確保數(shù)據(jù)容c)應記錄測試集的版本、標識、制造責任方、抽取子測試集，開展分層測試，評估不同場景、不同配置下的算法性A.2.4數(shù)據(jù)合成的異同。必要時，應進行抽樣標注和驗證;d）合成數(shù)據(jù)集的配置應滿足A.2.3的要求。在識別和版本控制方面，合成數(shù)據(jù)集應與真實數(shù)據(jù)A.2.5體模與標準器如適用，算法測試使用的體模與標準器應具備標識信息，處于計量/校準有效狀態(tài)；加工精度應高A.3測試工具量、陽性樣本比例、元數(shù)據(jù)字段信息、參考標準A.4測試指標與通過準則A.5測試流程要求序、分類、尺寸、有效數(shù)字等。上述信息宜寫入測試記算法運行過程中的錯誤、警告、異常提示，寫入A.6測試結(jié)果除IEC62304：2006/AMD1：2015要求的結(jié)果外，還應提供并客觀、定量括以下內(nèi)容:），本樣例以胸部CT肺結(jié)節(jié)測試集為具體案例，給數(shù)據(jù)集適用于聲稱能對胸部CT肺結(jié)節(jié)進行輔助分男女肺結(jié)節(jié)的分布構(gòu)成描述模板如表B.2所示，其中尺寸的范圍劃分可根據(jù)具體臨床指南調(diào)整：/////組交叉進行，優(yōu)化人力資源，主要包含肺結(jié)節(jié)的檢出、分類、邊界分割和尺寸測量（圖B.1所示）?？紤]不同環(huán)節(jié)的工作量和人員資質(zhì)的差異，標注工作需要標注醫(yī)師、標注組長和仲裁專家3種級別的醫(yī)師N1——總體樣本量；Z1-α/2——標準正態(tài)分布的分位數(shù)；N2——總體樣本量；Z1-α/2——標準正態(tài)分布的分位數(shù)；覆蓋偏倚、驗證偏倚等風險進行分析，具體內(nèi)容見數(shù)據(jù)集風險分析計分析的一般思路進行補充說明，作為參考），特異度（Specificity）作為測試指標。靈敏度表示的是當測試影像為陽性樣本時，產(chǎn)品正確將該影像判別為陽性的概率；特異度表示的是測試影像為陰性時，產(chǎn)品正確將該影像判別為陰性的概率。表C.1二分類混淆矩陣NN2,1N2,2Sen——靈敏度的估計值；NNN2,12,21?——正態(tài)分布的分位數(shù)，通常建議取α=0.05；Sen——靈敏度的估計值。1?——正態(tài)分布的分位數(shù)，通常建議取α=0.05；C.3情形二：測試結(jié)果為有序型或連續(xù)當診斷試驗的結(jié)果是有序變量，例如依據(jù)報告和數(shù)據(jù)系統(tǒng)（reportingan疾病狀態(tài)（D）試驗結(jié)果（T）12…K…N1…N0M1M2…MKN注：T表示診斷試驗結(jié)果，包括K類有序結(jié)果；D表示個體的真實疾病狀態(tài),D=1和0分別表示患病和類有序結(jié)果的數(shù)量；Ri表示未患病個體被診斷為第i類有序Rj——未患病個體被診斷為第j類有序結(jié)果的數(shù)量。Sj——患病個體被診斷為第j類有序結(jié)果的數(shù)量。φT1——含義為AUC/(2?AUC)；2當診斷試驗的結(jié)果是連續(xù)型變量（如患病概率）時，同有序型變量時T0j——第j個未患病者的連續(xù)型試驗結(jié)果；——示性函數(shù)，即T0j＞Ci時，I(T0j＞Ci)=1，T0j≤Ci時，I(T0j＞Ci)=0。N1——患病個體總數(shù)，等于N-N0；T1j——第j個患病者的連續(xù)型試驗結(jié)果；——示性函數(shù)，即T1j>Ci時，I(T1j>Ci)=1，T1j≤Ci時，I(T1j>Ci)=0。I)——示性函數(shù)，即T1i＞T0j時，I(T1i＞T0j)=在實際的產(chǎn)品測試和比對中，直接進行數(shù)值積分的方式，對），間時（例如靈敏度高于某數(shù)值也可計算該區(qū)間對應的pAUC。此時，建議采用自由響應受試者操作特征曲線（free-responsereceiverfROCcurve）或候選自由受試者操作特征曲線（alternativefr），NFP(ζ)——在算法閾值ζ下假陽性病例總數(shù)；Nneg——陰性病例總數(shù)。抽樣方法得到曲線下面積估計值的置信區(qū)間，具體抽樣方法詳見參考文獻[19一幅圖像上僅對其認為最可疑的目標區(qū)域給出提示；當且僅當算法檢出的目標區(qū)域符合標記-匹配規(guī)則（localizationreceiveroperatingcharacteristiccurve于p的假設檢驗可表示為H0:p≤p0，H1:p＞p0。置信區(qū)間，如果其置信區(qū)間下限大于目標值p0，則說明此產(chǎn)品的統(tǒng)計體假陽性風險程度不超過α的水平（常用的α可取0.05）算單次測試中陰性樣本的樣本量，計算公式見公式Z1?α/2——標準正態(tài)分布的分位數(shù)；），如果單個測試中使用的性能指標是ROC/wAFROC/AFROC等曲線下面積，則樣本量可以通過圍繞AUC）：Z1?α/2——標準正態(tài)分布的分位數(shù)；標的平均值（例如平均值偏差）構(gòu)建置信區(qū)間來計算樣本量，見公式（Z1?α/2——標準正態(tài)分布的分位數(shù)；△——指標平均值的允許誤差大小，一般取AUC的95%置信區(qū)間寬度的一半，常用的取值為0.05—IntelligenceBasedMedicalDArtificialIntelligence[9]國家藥品監(jiān)督管理局醫(yī)療器械技術審評中心.深度學習輔助決策醫(yī)療器械軟件審評要點[Z].北京：國家藥品監(jiān)督管理局醫(yī)療器械技術審評中心[11]國家藥品監(jiān)督管理局醫(yī)療器械技術審評中心.肺結(jié)節(jié)CT圖像輔助檢測軟件注冊審查指導原則冊審查指導原則[Z].北京：國家藥品監(jiān)督管理局醫(yī)療器械技術審評中[14]侯艷,李康,宇傳華,周曉華immunotherapyofcancphenotyping[J].Radiology,2