(19)國家知識產(chǎn)權(quán)局地址210016江蘇省南京市秦淮區(qū)御道街29號張道強(普通合伙)11818專利代理師劉巖GO6N3/096(2023.01)一種基于全病理切片圖像的任務無關(guān)的特本發(fā)明公開了一種基于全病理切片圖像的采用Gumbel-Softmax重參數(shù)化技術(shù)進行架構(gòu)參21.一種基于全病理切片圖像的任務無關(guān)的特征學習方法，其特征在于，包括以下步驟：步驟S1、對全切片病理圖像進行預處理，提取腫瘤及腫瘤浸潤淋巴細胞區(qū)域的多尺度步驟S2、構(gòu)建任務無關(guān)特征學習器，通過神經(jīng)架構(gòu)搜索自動優(yōu)化網(wǎng)絡結(jié)構(gòu)，采用Gumbel-Softmax重參數(shù)化技術(shù)，實現(xiàn)架構(gòu)參數(shù)連續(xù)化更新；步驟S3、通過任務級元學習算法，聯(lián)合優(yōu)化網(wǎng)絡權(quán)重與架構(gòu)參數(shù)，提取跨任務可重用特2.根據(jù)權(quán)利要求1所述的一種基于全病理切片圖像的任務無關(guān)的特征學習方法，其特征在于，在步驟S1中，對全切片病理圖像進行預處理，提取腫瘤及腫瘤浸潤淋巴細胞區(qū)域的步驟S11、將全切片病理圖像分割為512×512像素的非重疊圖像塊；步驟S12、采用預訓練的U-Net模型對圖像塊進行語義分割，識別腫瘤區(qū)域和腫瘤浸潤淋巴細胞區(qū)域；步驟S13、計算每個圖像塊中腫瘤和腫瘤浸潤淋巴細胞的面積占比，篩選出面積占比前100的圖像塊；步驟S14、使用ImageNet預訓練的ResNet-50模型，提取篩選后圖像塊的深度特征；步驟S15、通過多示例學習方法，將每個多示例學習視為一個包，其包含的圖像塊作為3.根據(jù)權(quán)利要求1所述的一種基于全病理切片圖像的任務無關(guān)的特征學習方法，其特征在于，在步驟S2中，構(gòu)建任務無關(guān)特征學習器，通過神經(jīng)架構(gòu)搜索自動優(yōu)化網(wǎng)絡結(jié)構(gòu)，采用Gumbel-Softmax重參數(shù)化優(yōu)化任務無關(guān)特征學習器的網(wǎng)絡拓撲結(jié)構(gòu)；步驟S23、將搜索得到的最優(yōu)單元堆疊8次，構(gòu)建任務無關(guān)特征學習器主干網(wǎng)絡，進行多4.根據(jù)權(quán)利要求3所述的一種基于全病理切片圖像的任務無關(guān)的特征學習方法，其特定義搜索空間，將網(wǎng)絡的單元結(jié)構(gòu)設計為包含6個節(jié)點的有向無環(huán)圖，具體包括：(1)2個輸入節(jié)點，用于接收前驅(qū)單元的輸出特征；(2)2個中間節(jié)點，支持的操作包括可分離卷積、膨脹卷(4)1個輸出節(jié)點，用于匯集所有中間節(jié)點和Transformer節(jié)點的特征，生成單元的輸5.根據(jù)權(quán)利要求3所述的一種基于全病理切片圖像的任務無關(guān)的特征學習方法，其特36.根據(jù)權(quán)利要求1所述的一種基于全病理切片圖像的任務無關(guān)的特征學習方法，其特7.根據(jù)權(quán)利要求6所述的一種基于全病理切片圖像的任務無關(guān)的特征學習方法，其特8.根據(jù)權(quán)利要求6所述的一種基于全病理切片圖像的任務無關(guān)的特征學習方法，其特不同任務的需求；9.根據(jù)權(quán)利要求6所述的一種基于全病理切片圖像的任務無關(guān)的特征學習方法，其特4點j的平滑化架構(gòu)參數(shù)，通過Gumbel-Softmax重參數(shù)化后的連續(xù)概率分布；C(Zi)為熵正則化項；在此引入熵正則化約束架構(gòu)參數(shù)，其定義如下：C(Z;)=-Zijlog(Z;)-(1其中，Zi,j表示架構(gòu)參數(shù)的采樣概率，表示節(jié)點i到節(jié)點j的連接概率。10.根據(jù)權(quán)利要求1所述的一種基于全病理切片圖像的任務無關(guān)的特征學習方法，其特征在于，在步驟S4中，通過少量任務特定微調(diào)，適應未見臨床任務，并驗證模型性能，具體過程如下：步驟S41、固定任務無關(guān)特征學習器干網(wǎng)絡的參數(shù)，確保在后續(xù)微調(diào)過程中，其參數(shù)不發(fā)生變化；步驟S42、使用任務特定樣本對分類層進行微調(diào)，更新任務特定頭的參數(shù)；步驟S43、輸出模型的預測結(jié)果，并對關(guān)鍵特征區(qū)域進行可視化展示。5一種基于全病理切片圖像的任務無關(guān)的特征學習方法技術(shù)領(lǐng)域[0001]本發(fā)明涉及醫(yī)學影像分析技術(shù)領(lǐng)域，尤其涉及一種基于全病理切片圖像的任務無關(guān)的特征學習方法。背景技術(shù)[0002]全切片病理圖像(Whole-SlideImages,WSIs)是癌癥診斷和預后的金標準。近年來，隨著數(shù)字病理技術(shù)的發(fā)展，基于WSIs的計算機輔助診斷系統(tǒng)逐漸成為研究熱點。多任務學習(Multi-TaskLearning,MTL)通過共享不同任務的特征表示，能夠提升模型的泛化能[0003]現(xiàn)有方法通常通過以下兩種方式解決未見任務的適應問題：一是將新任務添加到現(xiàn)有網(wǎng)絡中并從頭訓練，但這種方法忽略了已學習的共享特征，導致資源浪費和負遷移問題；二是構(gòu)建通用的特征提取器，但這些特征往往過于接近訓練任務的模式，難以適應新任[0004]所以，現(xiàn)有的MTL方法在未見任務上的適應性較差，難以直接應用于新的臨床任[0005]因此，亟需一種基于全病理切片圖像的任務無關(guān)的特征學習方法，以克服現(xiàn)有技術(shù)的缺陷。發(fā)明內(nèi)容[0006]本發(fā)明的目的是提供一種基于全病理切片圖像的任務無關(guān)的特征學習方法，解決現(xiàn)有技術(shù)中在未見任務上的適應性較差，難以直接應用于新的臨床任務的問題，尤其是當新任務與已知任務差異較大時，性能顯著下降問題。[0007]為實現(xiàn)上述目的，本發(fā)明提供了一種基于全病理切片圖像的任務無關(guān)的特征學習步驟S1、對全切片病理圖像進行預處理，提取腫瘤及腫瘤浸潤淋巴細胞區(qū)域的多尺度特征；步驟S2、構(gòu)建任務無關(guān)特征學習器，通過神經(jīng)架構(gòu)搜索自動優(yōu)化網(wǎng)絡結(jié)構(gòu)，采用Gumbel-Softmax重參數(shù)化技術(shù)，實現(xiàn)架構(gòu)參數(shù)連續(xù)化更新；步驟S3、通過任務級元學習算法，聯(lián)合優(yōu)化網(wǎng)絡權(quán)重與架構(gòu)參數(shù)，提取跨任務可重用特征；[0008]優(yōu)選的，在步驟S1中，對全切片病理圖像進行預處理，提取腫瘤及腫瘤浸潤淋巴細胞區(qū)域的多尺度特征，具體過程如下：步驟S11、將全切片病理圖像分割為512×512像素的非重疊圖像塊；步驟S12、采用預訓練的U-Net模型對圖像塊進行語義分割，識別腫瘤區(qū)域和腫瘤浸潤淋巴細胞區(qū)域；6步驟S13、計算每個圖像塊中腫瘤和腫瘤浸潤淋巴細胞的面積占比，篩選出面積占比前100的圖像塊；步驟S15、通過多示例學習方法，將每個多示例學習視為一個包，其包含的圖像塊[0009]優(yōu)選的，在步驟S2中，構(gòu)建任務無關(guān)特征學習器，通過神經(jīng)架構(gòu)搜索自動優(yōu)化網(wǎng)絡自動優(yōu)化任務無關(guān)特征學習器的網(wǎng)絡拓撲結(jié)構(gòu)；步驟S23、將搜索得到的最優(yōu)單元堆疊8次，構(gòu)建任務無關(guān)特征學習器主干網(wǎng)絡，進行多尺度特征融合；其中，在單元堆疊的第3和第6單[0010]優(yōu)選的，在步驟S21中，搜索空間包括可分離卷積、膨脹卷積、跳躍連接及定義搜索空間，將網(wǎng)絡的單元結(jié)構(gòu)設計為包含6個節(jié)點的有向無環(huán)圖，具體包括：(2)2個中間節(jié)點，支持的操作包括可分離卷積、膨脹卷積(4)1個輸出節(jié)點，用于匯集所有中間節(jié)點和Transformer節(jié)點的特征，生成單元的其中，?i,是平滑后的架構(gòu)參數(shù)；π是第1個候選操作的類別概率；g1是Gumbel分布[0012]優(yōu)選的，在步驟S3中，通過任務級元學習算法，聯(lián)合優(yōu)化網(wǎng)絡權(quán)重與架構(gòu)參數(shù)，提步驟S32、在內(nèi)循環(huán)中，通過支持集對每個任務的特定頭部進行快速微調(diào)，以適應不同任務的需求；步驟S33、在外循環(huán)中，通過查詢集聯(lián)合優(yōu)化網(wǎng)絡權(quán)重與架構(gòu)參數(shù)，提取跨任務可重用特征。每個任務隨機劃分支持集和查詢集；其中，訓練數(shù)據(jù)集的80%為支持集，用于內(nèi)循[0014]優(yōu)選的，在步驟S32中，在內(nèi)循環(huán)通過支持集對每個任務的特定頭部進行快速微7C(Zij)=-Z;;jlog(Zij)-(1-Z附圖說明[0020]圖1為本發(fā)明一種基于全病理切片圖像的任務無關(guān)的特征學習方法的流程示意8圖2為本發(fā)明任務無關(guān)特征學習器的框架示意圖；圖3為本發(fā)明NAS單元結(jié)構(gòu)示意圖。具體實施方式[0021]以下通過附圖和實施例對本發(fā)明的技術(shù)方案作進一步說明。[0022]如圖1所示，一種基于全病理切片圖像的任務無關(guān)的特征學習方法，包括以下步步驟S1、對全切片病理圖像(WSI)進行預處理，提取腫瘤及腫瘤浸潤淋巴細胞(TILs)區(qū)域的多尺度特征，為后續(xù)任務提供高質(zhì)量輸入；步驟S2、構(gòu)建任務無關(guān)特征學習器(TAFL)通過神經(jīng)架構(gòu)搜索(NAS)自動優(yōu)化網(wǎng)絡結(jié)構(gòu)，采用Gumbel-Softmax重參數(shù)化技術(shù)實現(xiàn)架構(gòu)參數(shù)連續(xù)化更新。[0023]步驟S3、通過任務級元學習算法，聯(lián)合優(yōu)化網(wǎng)絡權(quán)重與架構(gòu)參數(shù)，提取跨任務可重用特征，顯著提升模型對未見任務的泛化能力；步驟S1、對全切片病理圖像(WSI)進行預處理，提取腫瘤及腫瘤浸潤淋巴細胞(TILs)區(qū)域的多尺度特征，為后續(xù)任務提供高質(zhì)量輸入。[0025]步驟S11、將全切片病理圖像分割為512×512像素的非重疊圖像塊。[0026]步驟S12、采用預訓練的U-Net模型對圖像塊進行語義分割，識別腫瘤區(qū)域和腫瘤浸潤淋巴細胞(TILs)區(qū)域。[0027]步驟S13、計算每個圖像塊中腫瘤和TILs的面積占比，篩選面積占比前100的圖像塊作為高信息量區(qū)域。[0028]步驟S14、使用ImageNet預訓練的ResNet-50模型，提[0029]步驟S15、通過多示例學習(MIL)方法，將每個WSI視為一個包，其包含的圖像塊作[0030]步驟S2、構(gòu)建任務無關(guān)特征學習器(TAFL)如圖2所示，通過神經(jīng)架構(gòu)搜索(NAS)自動優(yōu)化網(wǎng)絡結(jié)構(gòu)，采用Gumbel-Softmax重參數(shù)化技術(shù)實現(xiàn)架構(gòu)參數(shù)連續(xù)化更新。[0031]步驟S21、采用基于梯自動優(yōu)化TAFL的網(wǎng)絡拓撲結(jié)構(gòu)。[0032]搜索空間包括卷積操作、跳躍連接及Transformer節(jié)點。定義搜索空間，將網(wǎng)絡的單元結(jié)構(gòu)設計為包含6個節(jié)點的有向無環(huán)圖，具體包括：(2)2個中間節(jié)點，支持的操作包括可分離卷積(1×3或1×5)、膨脹卷積(膨脹率=(3)1個Transformer節(jié)點，采用標準Transformer模塊(頭數(shù)=8,隱藏層維度=512),增強全局特征交互；(4)1個輸出節(jié)點，用于匯集所有中間節(jié)點和Transformer節(jié)點的特征，生成單元的9[0034]步驟S23、將搜索得到的最優(yōu)單元堆疊8次，構(gòu)建TAFL主干網(wǎng)絡。在第3和第6單元位置插入降采樣層(步長=2),實現(xiàn)多尺度特征融合。其中，神經(jīng)架構(gòu)搜索(NAS)單元結(jié)構(gòu)，如圖3所示。[0035]步驟S3、通過任務級元學習算法，即算法1,聯(lián)合優(yōu)化網(wǎng)絡權(quán)重與架構(gòu)參數(shù)，提取跨任務可重用特征，顯著提升模型對未見任務的泛化能力。[0037]訓練數(shù)據(jù)集包括：癌癥亞型分類(如NSC存預測(Cox模型)。[0038]每個任務隨機劃分80%為支持集，用于內(nèi)循環(huán)微調(diào)；20%為查詢集，用于外循環(huán)優(yōu)[0039]步驟S32、在內(nèi)循環(huán)中，通過支持集對每個任務的特定頭部進行快速微調(diào)，以適應不同任務的需求。wm+1=w"-Pinner·VwmLT.(fn(Sn;θw”的梯度計算；LT。是任務Tn的支持集損失函數(shù)；fn(·)表示任務Tn的學習器前向計算過[0041]步驟S33、在外循環(huán)中，通過查詢集聯(lián)合優(yōu)化網(wǎng)絡權(quán)重與架構(gòu)參數(shù)，提取跨任務可其中，W表示全局網(wǎng)絡權(quán)重參數(shù)；0表示全局架構(gòu)參數(shù)；φouter是網(wǎng)絡權(quán)重的外循環(huán)學習率；δouter是架構(gòu)參數(shù)的外循環(huán)學習率；V[w;]表示對聯(lián)合優(yōu)化目標函數(shù)[w;0]的梯度計算；L(·)表示任務Tn的查詢集損失函數(shù)；Qn是任務Tn的查詢集；wM是任務Tn在第M到節(jié)點j的平滑化架構(gòu)參數(shù)，通過Gumbel-Softmax重參數(shù)化后的連續(xù)概率分布；C(Zij)為熵正則化項。C(Z;)=-Z;jlog(Z;j)-(1.隨機初始化0和W;2.while未收斂：計算支持集損失更新模型權(quán)重計算查詢集損失聯(lián)合更新0和W。[0046]步驟S42、使用任務特定樣本對分類層(如全連接層)或Cox回歸層進行微調(diào)，更新這些任務特定頭的參數(shù)。征區(qū)域進行可視化展示。[0048]因此，本發(fā)明采用上述一種基于全病理切片圖像的任務無關(guān)的特征學習方法，通過神經(jīng)架構(gòu)搜索自動優(yōu)化網(wǎng)絡結(jié)構(gòu)，減少人工設計網(wǎng)絡的成本；通過任務級元學習算法，提取跨任務可重用特征，減少對未見任務的微調(diào)需求；通過熵正則化約束，提升模型的訓練穩(wěn)定性與泛化能力。[0049]最后應說明的是：以上實施例僅用以說明本發(fā)明的技術(shù)方案而非對其進行限制，盡管參照較佳實施例對本發(fā)明進行了詳細的說明，本領(lǐng)域的普通技術(shù)人員應當理解：其依然可以對本發(fā)明的技術(shù)方案進行修改或者等同替換，而這些修改或者等同替換亦不能使修改后的技術(shù)方案脫離本發(fā)明技術(shù)方案的精神和范圍。11開始開始特征神經(jīng)架構(gòu)