版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領
文檔簡介
附件2
病理圖像人工智能分析軟件性能評價審評要點
本要點旨在指導注冊申請人對病理圖像人工智能分析軟件
注冊申報資料中非臨床評價部分的準備及撰寫,同時也為技術
審評部門提供參考。
本要點是對病理圖像人工智能分析軟件申報資料的一般要
求,申請人需依據(jù)產(chǎn)品的具體特性確定其中內(nèi)容是否適用。若
不適用,需具體闡述理由及相應的科學依據(jù),并依據(jù)產(chǎn)品的具
體特性對注冊申報資料的內(nèi)容進行充實和細化。
本要點是供注冊申請人和技術審評人員使用的指導性文件,
但不包括審評審批所涉及的行政事項,亦不作為法規(guī)強制執(zhí)行,
需在遵循相關法規(guī)的前提下使用本指導原則。如果有能夠滿足
相關法規(guī)要求的其他方法,也可以采用,但是需要提供詳細的
研究資料和驗證資料C
本要點是在現(xiàn)行法規(guī)和標準體系以及當前認知水平下制定
的,隨著法規(guī)和標準的不斷完善,以及科學技術的不斷發(fā)展,本
要點的相關內(nèi)容也將進行適時的調整。
一、適用范圍
病理圖像人工智能分析軟件是指基于數(shù)字病理圖像,采用
深度學習等人工智能技術實現(xiàn)對病理圖像的分割、檢測等功能
的醫(yī)療器械。數(shù)字病理圖像包括經(jīng)數(shù)據(jù)成像設備獲得的顯微鏡
下細胞或組織圖像、全玻片數(shù)字掃描技術(WholeSlideImaging,
WSI)的病理圖像等。產(chǎn)品在醫(yī)療機構和/或醫(yī)學實驗室使用,
可輔助病理醫(yī)師為疾病的診斷、預后、治療等提供信息,不能作
—32—
為臨床診斷決策的唯一依據(jù)。
根據(jù)《人工智能醫(yī)用軟件產(chǎn)品分類界定指導原則》,本文所
述軟件用于輔助決策,可為病理醫(yī)生提供病灶特征識別、病變
性質等信息,按第三類醫(yī)療器械管理。
分類編碼:21-04-02o
產(chǎn)品名稱:建議依據(jù)軟件醫(yī)療用途進行產(chǎn)品名稱命名,體現(xiàn)處
理對象和臨床用途,如宮頸細胞學數(shù)字病理圖像計算機輔助分
析軟件、免疫組化病理圖像計算機輔助診斷軟件。申請人可結
合申報產(chǎn)品的特征,根據(jù)《醫(yī)用軟件通用名稱命名指導原則》,
參考《醫(yī)療器械分類目錄》中的品名舉例確定命名。
若作為軟件組件集成于其他醫(yī)療器械(如病理切片掃描儀、醫(yī)
學顯微圖像掃描分析產(chǎn)品)中,可以參考本要點的要求。
本要點基于《人工智能醫(yī)療器械注冊審查指導原則》的基本框
架要求,其中關于人工智能醫(yī)療器械的的術語定義、相關要求
參照上述指導原則。
二、產(chǎn)品簡介
產(chǎn)品的工作原理:產(chǎn)品為獨立軟件,采用深度學習技術對數(shù)
字病理圖像進行前處理(如圖像質量改善)和常規(guī)后處理(如圖
像分割、細胞/組織定位、細胞分類等),實現(xiàn)對數(shù)字病理圖像
中疑似異常細胞的計數(shù)和定位識別功能或異常組織區(qū)域的定位
和標記功能;通過算法對細胞/組織圖像塊的分類結果進行分析,
實現(xiàn)對病理圖像的輔助診斷功能。
主要結構及組成:結構組成明確交付內(nèi)容和功能模塊,其中
交付內(nèi)容包括軟件安裝程序、授權文件、外部軟件環(huán)境安裝程
序等軟件程序文件,功能模塊包括客戶端、服務器端(若適用)
等,若適用注明選裝、模塊版本。
服務器端:負責接收并處理請求,對請求進行數(shù)據(jù)處理,調
用人工智能算法(此處應體現(xiàn)核心算法名稱,如AlexNet,ResNet,
MobileNet,EfficientNet,ResNeXt等)對圖像數(shù)據(jù)進行處理并
輸出分析結果。把用戶請求的數(shù)據(jù)結果返回客戶端。
客戶端:將服務器端分析結果呈現(xiàn)到用戶界面。用戶可在用
戶界面進行輔助診斷/閱片、任務管理、報告管理、檢索查詢、
用戶管理、查看日志等功能操作。
三、基本要求
(一)綜述資料
詳細描述該產(chǎn)品的圖像前處理和后處理功能及功能實現(xiàn)方
法,描述配套使用圖像采集設備、切片制作流程(包括配套試劑、
設備)和圖像質量的要求,簡述軟件采用的主要算法。
簡述軟件研發(fā)背景,包括對可輔助診斷疾病的介紹,目前相
關疾病臨床診斷參考標準、病理診斷類型或細胞異常類型等依
據(jù)。申報產(chǎn)品的病理閱片標準和病理分型依據(jù)應與臨床標準一
致C
(二)非臨床資料
L產(chǎn)品技術要求及檢驗報告
產(chǎn)品技術要求可參考《醫(yī)療器械軟件注冊審查指導原則》
(2022年修訂版)附錄中的模板進行編寫,此外性能指標還應
包括“臨床功能。如圖像處理、圖像分析、細胞/組織識別、病
理圖像診斷提示等內(nèi)容。
2.軟件研究資料
按照《醫(yī)療器械軟件注冊審查指導原則》(2022年修訂版)、
《醫(yī)療器械網(wǎng)絡安全注冊審查指導原則》(2022年修訂版)、
《人工智能醫(yī)療器械注冊審查指導原則》的要求,提交研究資
—34—
料。明確軟件發(fā)布版本號。提交的研究資料主要包含軟件研究
資料、算法研究資料、網(wǎng)絡安全研究資料。研究資料內(nèi)容應涵蓋
申報產(chǎn)品適用范圍中描述的全部內(nèi)容。
2.1風險管理
參考YY/T0316、YY/T1406.1和YY/T0664、GB/T42062
進行產(chǎn)品的風險管理活動。風險管理活動應當基于軟件的預期
用途、使用場景、核心功能予以實施,并貫穿軟件全生命周期過
程。此類產(chǎn)品臨床使用中的風險主要包括圖像分析過程中的識
別、標記錯誤,非病理醫(yī)師使用和樣本采集錯誤等,造成的假陰
性和假陽性錯誤。算法風險主要包括過擬合和欠擬合,數(shù)據(jù)擴
增和數(shù)據(jù)偏移等。
2.2需求規(guī)范
提供軟件需求規(guī)范文檔,明確軟件的功能、性能、接口、用
戶界面、運行環(huán)境、網(wǎng)絡安全、數(shù)據(jù)采集等需求,另附軟件開發(fā)
所形成的原始文檔。
數(shù)據(jù)采集需考慮數(shù)據(jù)來源的合規(guī)性、充分性和多樣性,數(shù)據(jù)
分布的科學性和合理性,數(shù)據(jù)質控的充分性、有效性和準確性。
數(shù)據(jù)應來源于不同地域的不少于3家機構。機構應采用軟件說
明書明確的切片制作流程、組織染色和免疫組織化學技術制備
的切片(包含指定的樣本來源,即指定的切片制備流程和/或樣
本保存液、抗體試劑、染色液等)和配套的圖像采集設備獲得的
符合要求的數(shù)字病理圖片。數(shù)據(jù)分布的科學性和合理性,應考
慮包括但不限于疾病構成(如分型、分級、分期)、人群分布(如
高危人群、患者,性別、年齡)等情況。
算法性能需結合產(chǎn)品預期用途,綜合考慮分析速度、敏感
性、特異性、重復性與再現(xiàn)性、泛化性等性能指標的適用性及其
要求。同時還需考慮因梯度消失、梯度爆炸、過擬合和欠擬合等
影響算法性能的因素。
使用限制需考慮產(chǎn)品禁用、慎用等場景,準確表述產(chǎn)品使用
場景,提供必要警示提示信息。
2.3軟件性能研究
提供產(chǎn)品性能研究資料以及產(chǎn)品技術要求的研究和編制說
明,給出軟件相關的功能性、安全性指標的確定依據(jù)。注冊申請
人需在軟件研究資料中提交GB/T25000.51自測報告,亦可提
交自檢報告或檢驗報告代替自測報告。產(chǎn)品技術要求中各指標
依據(jù)產(chǎn)品自身特點確定。
2.4算法研究資料
根據(jù)《人工智能醫(yī)療器械注冊審查指導原則》提交算法研究
資料。提交每個人工智能算法或算法組合的算法研究報告。
2.4.1算法基本信息
明確算法的名稱、類型、結構、輸入輸出、流程圖、算法框
架、運行環(huán)境等基本信息以及算法選用依據(jù)C
其中,算法類型從學習策略、學習方法(基于模型的算法和
基于數(shù)據(jù)的算法)、可解釋性(白盒算法和黑盒算法)等角度明
確算法特性。算法結構部分應明確算法的層數(shù)、參數(shù)規(guī)模等超
參數(shù)信息。流程圖應包含輸入圖像示例、學習方法示意圖和輸
出圖像示例。算法框架應明確所用人工智能算法框架的基本信
息,包括名稱、類型(自研算法框架、現(xiàn)成算法框架)、型號規(guī)
格、完整版本、制造商等信息。若基于云計算平臺,應明確云計
算的名稱、服務模式、部署模式、配置以及云服務商的名稱、住
所、服務資質。運行環(huán)境應明確算法正常運行所需的典型運行
環(huán)境,包括硬件配置、外部軟件環(huán)境、網(wǎng)絡條件;若使用人工智
—36—
能芯片應明確其名稱、型號規(guī)格、制造商、性能指標等信息。算
法選用依據(jù)詳述算法或算法組合選用的理由和基本原則。
242算法風險管理
結合預期用途、使用場景、核心功能、算法成熟度、網(wǎng)絡安
全等因素,此類產(chǎn)品的軟件安全性級別為嚴重級別。提供算法
風險管理資料,若無單獨文檔可提供軟件風險管理資料,并注
明算法風險管理所在位置。
2.4.3算法需求規(guī)范
提供算法需求規(guī)范文檔,若無單獨文檔可提供軟件需求規(guī)
范,并注明算法需求所在位置。
2.4.4數(shù)據(jù)收集
2.4.4.1提供數(shù)據(jù)來源合規(guī)性聲明,列明數(shù)據(jù)來源機構的名
稱、所在地域、數(shù)據(jù)收集量、倫理批件(或科研合作協(xié)議)編號
等信息。
244.2數(shù)據(jù)采集
建議參考2.2需求規(guī)范的要求,提供數(shù)據(jù)采集操作規(guī)范文
檔,包括數(shù)據(jù)采集方案和數(shù)據(jù)采集標準操作規(guī)程。
數(shù)據(jù)采集主要由臨床機構實施,應明確病理切片或細胞涂
片的制作流程、圖像采集方式(如明場掃描)和采集參數(shù)要求
(包含掃描倍率、掃描層數(shù)、焦點數(shù)量要求、聚焦方式、采樣閾
值等)、采集設備要求(應包含掃描儀的型號、分辨率、圖像尺
寸等)、病理切片或細胞涂片要求、樣本的來源與分布、樣本質
量要求(包含切片或涂片的保存時限、玻片完整性等)、圖像質
量要求(應包含圖象區(qū)域、清晰度等要求)、采集過程、數(shù)據(jù)脫
敏、數(shù)據(jù)轉移等要求。采集過程應對樣本數(shù)據(jù)進行編號并加密,
方案中應包含編號規(guī)則。
2.4.4.3數(shù)據(jù)整理
明確數(shù)據(jù)清洗/預處理程序,對數(shù)據(jù)處理中應用的軟件進行
簡述,并以附件的形式提交數(shù)據(jù)處理中各軟件的軟件研究資料。
2.444數(shù)據(jù)標注
明確標注人員和仲裁人員的資質要求和培訓內(nèi)容,標注人
員和仲裁人員應為病理醫(yī)師,數(shù)據(jù)應經(jīng)過不少于2人標注。簡
述標記系統(tǒng)信息,配合病理圖像和標注系統(tǒng)界面截圖,介紹標
注過程、標注對象知標注標準(注意與病理診斷標準的一致性)
等。明確標注過程質控、標注質量評估、數(shù)據(jù)安全保證等要求。
標注質量評估可抽選一定比例數(shù)據(jù)進行非標注人員的評估。
提供原始數(shù)據(jù)庫、基礎數(shù)據(jù)庫、標注數(shù)據(jù)庫、擴增數(shù)據(jù)庫
(如有),關于疾病構成的數(shù)據(jù)分布情況,包括適用人群、數(shù)據(jù)
來源機構、采集設備、樣本類型等因素。
若數(shù)據(jù)來自公開數(shù)據(jù)庫,提供公開數(shù)據(jù)庫的基本信息(如名
稱、創(chuàng)建者、數(shù)據(jù)總量等)和使用情況(如數(shù)據(jù)使用量、數(shù)據(jù)質
量評估、數(shù)據(jù)分布等)c
2.445數(shù)據(jù)集構建
明確各數(shù)據(jù)集劃分的方法及依據(jù)。訓練集應當保證樣本分
布具有均衡性,訓練樣本應涵蓋不同病理類型。調優(yōu)集應保證
樣本分布符合臨床實際情況,如陽性比例,不同病理類型比例、
不同臨床分型比例等均應符合臨床實際情況。訓練集、調優(yōu)集、
測試集的樣本應兩兩無交集并通過查重予以驗證。
進行數(shù)據(jù)擴增驗證時,應當明確擴增的方式、方法、倍數(shù),
并考慮數(shù)據(jù)擴增對軟件的影響及風險。列表比較擴增數(shù)據(jù)庫與
標注數(shù)據(jù)庫的差異,論證擴增數(shù)據(jù)庫樣本量的充分性以及分布
的合理性。
—38—
2.4.5算法訓練
依據(jù)適用人群、數(shù)據(jù)來源機構、采集設備、樣本類型等因素,
提供訓練集、調優(yōu)集(若有)關于疾病構成的數(shù)據(jù)分布情況。
算法訓練基于訓練集、調優(yōu)集進行訓練和調優(yōu),應明確算法
訓練所用的評估指標、訓練方式、訓練目標、調優(yōu)方法,提供
ROC曲線或混淆矩陣等證據(jù)(如:迭代次數(shù)-訓練CountlOU曲
線和迭代冊數(shù)-召回率曲線)證明訓練目標滿足醫(yī)療要求,提供
訓練數(shù)據(jù)量-評估指標曲線(如迭代次數(shù)-Loss曲線)等證據(jù)以證
實算法訓練的充分性和有效性。
2.4.6算法性能評估
基于測試集對算法設計進行評估,確認軟件算法性能的效
率、敏感性、特異性,性能應滿足算法設計要求。
算法性能評估應包括軟件對樣本滿意度評價的能力測試、
泛化能力的測試、壓力測試(指采用罕見或特殊的真實數(shù)據(jù)樣
本開展的算法性能測試)、對抗測試、重復性與再現(xiàn)性測試、敏
感性與特異性測試、分析效率測試、算法性能影響因素分析、性
能評估結果比較分析、偏差報告等研究。
通過樣本量估算確定測試集中陰、陽性樣本和壓力樣本的
樣本量,提供測試集關于疾病構成(包括年齡和病理類型、異常
細胞類型等)、數(shù)據(jù)來源的數(shù)據(jù)分布情況。明確對抗樣本的
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 律師合同轉讓協(xié)議
- 開拓項目協(xié)議書
- 開發(fā)商協(xié)議合同
- 就業(yè)協(xié)議押金合同
- 屋面換瓦合同范本
- 小棚轉讓協(xié)議書
- 小區(qū)打孔協(xié)議書
- 戲曲創(chuàng)作協(xié)議書
- 音響設備合同范本
- 藥品售后協(xié)議書
- 2025下半年貴州遵義市市直事業(yè)單位選調56人筆試考試參考題庫及答案解析
- 2025鄂爾多斯達拉特旗第二批事業(yè)單位引進28名高層次、急需緊缺人才考試筆試模擬試題及答案解析
- 甲狀腺癌放射性碘抵抗機制研究
- 包治祛痘合同范本
- 門窗的代理合同范本
- 2025年秋國家開放大學《思想道德與法治》終考大作業(yè)試卷一附答案【供參考】
- 20252025年(完整版)三級安全教育真題試卷含答案
- 人教版2025-2026學年八年級上冊數(shù)學期末考試模擬試卷
- 掛名法人代表協(xié)議合同
- 《軟件工程》機考題庫
- 學堂在線 雨課堂 學堂云 信息素養(yǎng)-學術研究的必修課 章節(jié)測試答案
評論
0/150
提交評論