基于多模態(tài)機(jī)器學(xué)習(xí)的多形性膠質(zhì)母細(xì)胞瘤預(yù)后預(yù)測(cè)：方法創(chuàng)新與臨床應(yīng)用一、引言1.1研究背景與意義多形性膠質(zhì)母細(xì)胞瘤（GlioblastomaMultiforme，GBM）是成人中最常見(jiàn)且惡性程度極高的原發(fā)性腦腫瘤，嚴(yán)重威脅人類(lèi)的生命健康。這種腫瘤起源于腦內(nèi)的膠質(zhì)細(xì)胞，具有高度的侵襲性和異質(zhì)性，其發(fā)病機(jī)制復(fù)雜，涉及遺傳、環(huán)境、輻射等多種因素。盡管現(xiàn)代醫(yī)學(xué)在治療手段上不斷進(jìn)步，綜合運(yùn)用手術(shù)切除、放療、化療等多種方法，但GBM患者的預(yù)后仍然極差。據(jù)統(tǒng)計(jì)，GBM患者的五年生存率極低，中位生存期通常僅為12-15個(gè)月左右。這主要?dú)w因于GBM復(fù)雜的基因變異和信號(hào)傳導(dǎo)途徑的紊亂，使得腫瘤細(xì)胞對(duì)現(xiàn)有治療手段產(chǎn)生抗性，且極易復(fù)發(fā)。例如，癌癥基因組圖譜（TCGA）小組的研究揭示了GBM存在三種核心致癌途徑：受體酪氨酸激酶（RTK）、P53和視網(wǎng)膜母細(xì)胞瘤（RB）途徑，這些異常的信號(hào)通路相互交織，導(dǎo)致腫瘤的惡性進(jìn)展和治療困難。準(zhǔn)確預(yù)測(cè)GBM患者的預(yù)后對(duì)于制定個(gè)性化的治療方案、評(píng)估治療效果以及為患者和家屬提供合理的預(yù)期至關(guān)重要。一方面，對(duì)于預(yù)后較好的患者，可以采取相對(duì)積極的治療策略，在追求腫瘤控制的同時(shí)，盡量減少治療帶來(lái)的副作用，提高患者的生活質(zhì)量；而對(duì)于預(yù)后較差的患者，則可以調(diào)整治療方向，側(cè)重于緩解癥狀、減輕痛苦，提供更好的姑息治療。另一方面，準(zhǔn)確的預(yù)后預(yù)測(cè)也有助于醫(yī)療資源的合理分配，使有限的資源能夠更精準(zhǔn)地用于最需要的患者身上。傳統(tǒng)的GBM預(yù)后評(píng)估方法主要依賴(lài)于臨床特征、組織病理學(xué)檢查以及一些單一的影像學(xué)指標(biāo)。然而，這些方法存在一定的局限性。臨床特征如患者的年齡、癥狀等雖然對(duì)預(yù)后有一定的提示作用，但缺乏特異性和準(zhǔn)確性；組織病理學(xué)檢查雖然是診斷的金標(biāo)準(zhǔn)，但只能反映腫瘤局部的特征，無(wú)法全面反映腫瘤的整體生物學(xué)行為；單一的影像學(xué)指標(biāo)，如常規(guī)磁共振成像（MRI）提供的信息有限，難以準(zhǔn)確捕捉腫瘤的異質(zhì)性和微觀特征。因此，迫切需要一種更全面、準(zhǔn)確的方法來(lái)預(yù)測(cè)GBM的預(yù)后。多模態(tài)機(jī)器學(xué)習(xí)（MultimodalMachineLearning）作為機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)重要研究方向，近年來(lái)在醫(yī)學(xué)領(lǐng)域展現(xiàn)出了巨大的潛力。它能夠融合多種不同模態(tài)的數(shù)據(jù)，如圖像、文本、基因表達(dá)數(shù)據(jù)等，充分利用各模態(tài)數(shù)據(jù)的互補(bǔ)信息，從而更全面、深入地理解疾病的本質(zhì)。在GBM預(yù)后預(yù)測(cè)中，多模態(tài)機(jī)器學(xué)習(xí)可以整合MRI圖像所反映的腫瘤形態(tài)、結(jié)構(gòu)和功能信息，基因數(shù)據(jù)所蘊(yùn)含的腫瘤分子生物學(xué)特征，以及臨床文本數(shù)據(jù)中的患者基本信息、治療情況等，構(gòu)建更強(qiáng)大、準(zhǔn)確的預(yù)測(cè)模型。例如，通過(guò)將MRI的多參數(shù)成像特征與基因表達(dá)數(shù)據(jù)相結(jié)合，可以發(fā)現(xiàn)一些與GBM預(yù)后密切相關(guān)的分子影像標(biāo)志物，為預(yù)后預(yù)測(cè)提供更豐富的信息。此外，多模態(tài)機(jī)器學(xué)習(xí)還能夠自動(dòng)學(xué)習(xí)和提取數(shù)據(jù)中的復(fù)雜特征，避免了人工特征提取的主觀性和局限性，提高了預(yù)測(cè)模型的性能和泛化能力。因此，將多模態(tài)機(jī)器學(xué)習(xí)應(yīng)用于GBM預(yù)后預(yù)測(cè)，有望突破傳統(tǒng)方法的局限，為GBM的精準(zhǔn)醫(yī)療提供新的思路和方法，具有重要的理論意義和臨床應(yīng)用價(jià)值。1.2國(guó)內(nèi)外研究現(xiàn)狀1.2.1多形性膠質(zhì)母細(xì)胞瘤預(yù)后預(yù)測(cè)方法的研究現(xiàn)狀在多形性膠質(zhì)母細(xì)胞瘤（GBM）預(yù)后預(yù)測(cè)方法的研究方面，國(guó)內(nèi)外學(xué)者進(jìn)行了大量探索。早期，臨床特征是預(yù)后預(yù)測(cè)的主要依據(jù)。國(guó)外研究如Stupp等學(xué)者的研究表明，患者的年齡、KPS（KarnofskyPerformanceStatus）評(píng)分等臨床指標(biāo)與GBM患者的預(yù)后密切相關(guān)，年齡較大、KPS評(píng)分較低的患者通常預(yù)后較差。國(guó)內(nèi)相關(guān)研究也得出類(lèi)似結(jié)論，進(jìn)一步強(qiáng)調(diào)了這些臨床特征在預(yù)后評(píng)估中的重要性。隨著影像學(xué)技術(shù)的發(fā)展，MRI在GBM預(yù)后預(yù)測(cè)中的應(yīng)用逐漸受到關(guān)注。國(guó)外研究中，利用MRI的常規(guī)序列如T1WI、T2WI、T1WI增強(qiáng)等，分析腫瘤的大小、形態(tài)、強(qiáng)化方式等特征，為預(yù)后評(píng)估提供了一定的信息。例如，有研究發(fā)現(xiàn)腫瘤的體積越大、強(qiáng)化越不均勻，患者的預(yù)后往往越差。國(guó)內(nèi)學(xué)者在此基礎(chǔ)上，進(jìn)一步探索了MRI功能成像技術(shù)在GBM預(yù)后預(yù)測(cè)中的價(jià)值。如磁共振波譜成像（MRS）能夠檢測(cè)腫瘤組織的代謝物變化，Cho（膽堿）/NAA（N-乙酰天門(mén)冬氨酸）比值升高常提示腫瘤的惡性程度高，預(yù)后不良；擴(kuò)散加權(quán)成像（DWI）通過(guò)測(cè)量水分子的擴(kuò)散運(yùn)動(dòng)，提供腫瘤細(xì)胞密度和組織結(jié)構(gòu)的信息，表觀擴(kuò)散系數(shù)（ADC）值的變化與GBM的預(yù)后相關(guān)。在分子生物學(xué)領(lǐng)域，國(guó)外對(duì)GBM的基因和分子標(biāo)志物進(jìn)行了深入研究。TCGA研究確定了GBM的關(guān)鍵致癌途徑和相關(guān)基因變異，如IDH（異檸檬酸脫氫酶）基因突變、MGMT（O6-甲基鳥(niǎo)嘌呤-DNA甲基轉(zhuǎn)移酶）啟動(dòng)子甲基化狀態(tài)等與GBM的預(yù)后密切相關(guān)。IDH突變型GBM患者的預(yù)后通常優(yōu)于IDH野生型患者，MGMT啟動(dòng)子甲基化的患者對(duì)替莫唑胺化療更敏感，預(yù)后相對(duì)較好。國(guó)內(nèi)研究也在不斷驗(yàn)證和拓展這些發(fā)現(xiàn)，并探索新的分子標(biāo)志物。如研究發(fā)現(xiàn)一些微小RNA（miRNA）的表達(dá)水平與GBM的預(yù)后相關(guān)，miR-21等的高表達(dá)與腫瘤的侵襲性和不良預(yù)后相關(guān)。1.2.2多模態(tài)機(jī)器學(xué)習(xí)在醫(yī)學(xué)領(lǐng)域的應(yīng)用研究現(xiàn)狀多模態(tài)機(jī)器學(xué)習(xí)在醫(yī)學(xué)領(lǐng)域的應(yīng)用日益廣泛，取得了一系列成果。在疾病診斷方面，國(guó)外有研究將醫(yī)學(xué)圖像與臨床文本數(shù)據(jù)相結(jié)合，利用多模態(tài)機(jī)器學(xué)習(xí)算法提高疾病診斷的準(zhǔn)確性。例如，在糖尿病視網(wǎng)膜病變的診斷中，將眼底圖像與患者的病史、癥狀等文本信息融合，通過(guò)多模態(tài)深度學(xué)習(xí)模型，能夠更準(zhǔn)確地識(shí)別病變程度。國(guó)內(nèi)也開(kāi)展了類(lèi)似研究，如在肺癌的診斷中，融合胸部CT圖像和病理報(bào)告文本數(shù)據(jù)，構(gòu)建多模態(tài)分類(lèi)模型，提升了肺癌診斷的敏感度和特異度。在疾病預(yù)后預(yù)測(cè)方面，多模態(tài)機(jī)器學(xué)習(xí)也展現(xiàn)出獨(dú)特優(yōu)勢(shì)。國(guó)外有研究整合基因表達(dá)數(shù)據(jù)、蛋白質(zhì)組學(xué)數(shù)據(jù)和臨床數(shù)據(jù)，預(yù)測(cè)癌癥患者的預(yù)后。通過(guò)多模態(tài)特征融合和機(jī)器學(xué)習(xí)算法，能夠更準(zhǔn)確地評(píng)估患者的生存風(fēng)險(xiǎn)，為個(gè)性化治療提供依據(jù)。國(guó)內(nèi)研究在心血管疾病的預(yù)后預(yù)測(cè)中，融合心電圖、超聲心動(dòng)圖和臨床檢驗(yàn)指標(biāo)等多模態(tài)數(shù)據(jù)，構(gòu)建預(yù)測(cè)模型，取得了較好的預(yù)測(cè)效果。在醫(yī)學(xué)圖像分析領(lǐng)域，多模態(tài)機(jī)器學(xué)習(xí)用于圖像配準(zhǔn)、分割等任務(wù)。國(guó)外研究利用多模態(tài)MRI圖像（如T1WI、T2WI、FLAIR等）進(jìn)行腦腫瘤的分割，通過(guò)多模態(tài)深度學(xué)習(xí)網(wǎng)絡(luò)，能夠更準(zhǔn)確地勾勒腫瘤邊界，為手術(shù)規(guī)劃提供支持。國(guó)內(nèi)研究也在探索多模態(tài)醫(yī)學(xué)圖像融合與分析的新方法，提高圖像分析的精度和效率。1.2.3現(xiàn)有研究的不足盡管目前在GBM預(yù)后預(yù)測(cè)方法和多模態(tài)機(jī)器學(xué)習(xí)應(yīng)用方面取得了一定進(jìn)展，但仍存在諸多不足。在GBM預(yù)后預(yù)測(cè)方法上，單一模態(tài)的數(shù)據(jù)往往無(wú)法全面反映腫瘤的生物學(xué)特性。僅依靠臨床特征，無(wú)法深入了解腫瘤的分子生物學(xué)行為；單純的影像學(xué)特征難以捕捉腫瘤的基因?qū)用嫘畔?；而基于單一分子?biāo)志物的預(yù)測(cè)也存在局限性，因?yàn)镚BM是一種高度異質(zhì)性的腫瘤，單一標(biāo)志物不能涵蓋腫瘤的全部特征。在多模態(tài)機(jī)器學(xué)習(xí)應(yīng)用于GBM預(yù)后預(yù)測(cè)時(shí)，面臨著數(shù)據(jù)融合和模型構(gòu)建的挑戰(zhàn)。不同模態(tài)的數(shù)據(jù)具有不同的特征和尺度，如何有效地融合這些數(shù)據(jù)，充分發(fā)揮各模態(tài)數(shù)據(jù)的互補(bǔ)優(yōu)勢(shì)，是一個(gè)關(guān)鍵問(wèn)題?，F(xiàn)有研究中，數(shù)據(jù)融合方法往往較為簡(jiǎn)單，未能充分挖掘數(shù)據(jù)間的潛在關(guān)系。此外，多模態(tài)機(jī)器學(xué)習(xí)模型的復(fù)雜性較高，容易出現(xiàn)過(guò)擬合問(wèn)題，且模型的可解釋性較差，這在一定程度上限制了其在臨床中的應(yīng)用。同時(shí)，多模態(tài)數(shù)據(jù)的獲取和標(biāo)注難度較大，數(shù)據(jù)質(zhì)量參差不齊，也影響了模型的性能和泛化能力。1.3研究?jī)?nèi)容與方法1.3.1研究?jī)?nèi)容本研究旨在利用多模態(tài)機(jī)器學(xué)習(xí)技術(shù)，整合多形性膠質(zhì)母細(xì)胞瘤（GBM）的多種數(shù)據(jù)模態(tài)，構(gòu)建精準(zhǔn)的預(yù)后預(yù)測(cè)模型，為臨床治療提供有力支持。具體研究?jī)?nèi)容如下：多模態(tài)數(shù)據(jù)采集與預(yù)處理：收集GBM患者的多模態(tài)數(shù)據(jù)，包括臨床數(shù)據(jù)（如患者的年齡、性別、KPS評(píng)分、治療方式等）、MRI影像數(shù)據(jù)（T1WI、T2WI、T1WI增強(qiáng)、FLAIR等序列）以及基因表達(dá)數(shù)據(jù)。對(duì)臨床數(shù)據(jù)進(jìn)行缺失值處理、異常值檢測(cè)和標(biāo)準(zhǔn)化等預(yù)處理操作；對(duì)MRI影像數(shù)據(jù)進(jìn)行圖像去噪、歸一化、配準(zhǔn)和分割等處理，提取腫瘤區(qū)域的影像特征；對(duì)基因表達(dá)數(shù)據(jù)進(jìn)行歸一化、批次效應(yīng)校正等預(yù)處理，篩選出與GBM預(yù)后相關(guān)的基因。例如，對(duì)于MRI影像數(shù)據(jù)，使用N4ITK算法進(jìn)行去噪和強(qiáng)度不均勻校正，采用ANTS軟件進(jìn)行圖像配準(zhǔn)，利用深度學(xué)習(xí)算法如U-Net進(jìn)行腫瘤分割。多模態(tài)特征提取與融合：針對(duì)不同模態(tài)的數(shù)據(jù)，采用相應(yīng)的特征提取方法。對(duì)于MRI影像數(shù)據(jù)，利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）自動(dòng)提取腫瘤的形態(tài)、紋理、功能等影像特征；對(duì)于基因表達(dá)數(shù)據(jù)，采用主成分分析（PCA）、線性判別分析（LDA）等方法提取關(guān)鍵的基因特征；對(duì)于臨床數(shù)據(jù)，進(jìn)行獨(dú)熱編碼或數(shù)值化處理后作為特征。然后，采用早期融合、晚期融合或混合融合等策略，將不同模態(tài)的特征進(jìn)行融合，形成綜合的多模態(tài)特征向量。例如，早期融合是在特征提取階段就將不同模態(tài)的數(shù)據(jù)進(jìn)行融合，然后一起輸入到后續(xù)的模型中；晚期融合則是各模態(tài)數(shù)據(jù)分別經(jīng)過(guò)模型處理后，再將得到的結(jié)果進(jìn)行融合。多模態(tài)機(jī)器學(xué)習(xí)模型構(gòu)建與優(yōu)化：選擇合適的機(jī)器學(xué)習(xí)算法，如支持向量機(jī)（SVM）、隨機(jī)森林（RF）、神經(jīng)網(wǎng)絡(luò)（NN）等，構(gòu)建多模態(tài)預(yù)后預(yù)測(cè)模型。利用交叉驗(yàn)證、網(wǎng)格搜索等方法對(duì)模型的超參數(shù)進(jìn)行優(yōu)化，提高模型的性能。同時(shí)，引入注意力機(jī)制、遷移學(xué)習(xí)等技術(shù)，增強(qiáng)模型對(duì)多模態(tài)數(shù)據(jù)的學(xué)習(xí)能力和泛化能力。例如，注意力機(jī)制可以使模型更加關(guān)注對(duì)預(yù)后預(yù)測(cè)重要的特征，遷移學(xué)習(xí)可以利用在其他相關(guān)數(shù)據(jù)集上預(yù)訓(xùn)練的模型，加快模型的訓(xùn)練速度和提高性能。模型評(píng)估與驗(yàn)證：使用多種評(píng)估指標(biāo)，如準(zhǔn)確率、召回率、F1值、受試者工作特征曲線下面積（AUC）、均方根誤差（RMSE）等，對(duì)構(gòu)建的模型進(jìn)行評(píng)估。通過(guò)內(nèi)部交叉驗(yàn)證和外部獨(dú)立數(shù)據(jù)集驗(yàn)證，檢驗(yàn)?zāi)Ｐ偷臏?zhǔn)確性、穩(wěn)定性和泛化能力。對(duì)模型的性能進(jìn)行分析和比較，找出模型的優(yōu)勢(shì)和不足，為進(jìn)一步改進(jìn)模型提供依據(jù)。例如，在內(nèi)部交叉驗(yàn)證中，將數(shù)據(jù)集劃分為訓(xùn)練集和驗(yàn)證集，多次訓(xùn)練模型并評(píng)估性能，取平均值作為模型的性能指標(biāo)；在外部獨(dú)立數(shù)據(jù)集驗(yàn)證中，使用來(lái)自其他醫(yī)院或研究機(jī)構(gòu)的GBM患者數(shù)據(jù)對(duì)模型進(jìn)行測(cè)試。預(yù)后相關(guān)因素分析：通過(guò)特征重要性分析、生存分析等方法，探究影響GBM預(yù)后的關(guān)鍵因素，包括臨床因素、影像特征和基因特征等。分析多模態(tài)數(shù)據(jù)之間的相互關(guān)系和作用機(jī)制，揭示GBM預(yù)后的潛在生物學(xué)基礎(chǔ)。例如，使用隨機(jī)森林算法的特征重要性評(píng)估功能，確定哪些臨床因素、影像特征和基因特征對(duì)預(yù)后預(yù)測(cè)的貢獻(xiàn)較大；利用Cox比例風(fēng)險(xiǎn)模型進(jìn)行生存分析，確定各因素與患者生存時(shí)間的關(guān)系。1.3.2研究方法數(shù)據(jù)收集方法：通過(guò)與醫(yī)院合作，收集GBM患者的臨床病歷、MRI影像資料和基因檢測(cè)報(bào)告等數(shù)據(jù)。同時(shí)，查閱相關(guān)公開(kāi)數(shù)據(jù)庫(kù)，如TCGA、CGGA等，獲取更多的GBM數(shù)據(jù)，以擴(kuò)大樣本量和數(shù)據(jù)多樣性。在數(shù)據(jù)收集過(guò)程中，嚴(yán)格遵守倫理規(guī)范，確?；颊叩碾[私和數(shù)據(jù)安全。數(shù)據(jù)處理方法：運(yùn)用Python編程語(yǔ)言和相關(guān)的數(shù)據(jù)分析庫(kù)，如Pandas、Numpy、Scikit-learn等，對(duì)臨床數(shù)據(jù)和基因表達(dá)數(shù)據(jù)進(jìn)行預(yù)處理。使用醫(yī)學(xué)圖像處理軟件，如ITK、ANTS、3DSlicer等，對(duì)MRI影像數(shù)據(jù)進(jìn)行處理和分析。利用深度學(xué)習(xí)框架，如TensorFlow、PyTorch等，進(jìn)行影像特征提取和模型構(gòu)建。機(jī)器學(xué)習(xí)算法：采用支持向量機(jī)（SVM）、隨機(jī)森林（RF）、多層感知器（MLP）等傳統(tǒng)機(jī)器學(xué)習(xí)算法，以及基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、圖神經(jīng)網(wǎng)絡(luò)（GNN）等算法，構(gòu)建多模態(tài)預(yù)后預(yù)測(cè)模型。根據(jù)不同算法的特點(diǎn)和優(yōu)勢(shì)，選擇合適的算法進(jìn)行模型訓(xùn)練和優(yōu)化。例如，SVM適用于小樣本、高維度數(shù)據(jù)的分類(lèi)問(wèn)題；CNN在圖像特征提取方面具有強(qiáng)大的能力；RNN適合處理序列數(shù)據(jù)；GNN可以有效處理具有復(fù)雜關(guān)系的數(shù)據(jù)。模型評(píng)估方法：使用準(zhǔn)確率、召回率、F1值、AUC、RMSE等評(píng)估指標(biāo)，對(duì)模型的預(yù)測(cè)性能進(jìn)行量化評(píng)估。采用K折交叉驗(yàn)證、留一法等方法，對(duì)模型進(jìn)行內(nèi)部驗(yàn)證；使用外部獨(dú)立數(shù)據(jù)集進(jìn)行外部驗(yàn)證，確保模型的泛化能力。利用混淆矩陣、受試者工作特征曲線（ROC）、精確召回曲線（PRC）等可視化工具，直觀展示模型的性能。例如，通過(guò)繪制ROC曲線，可以清晰地看出模型在不同閾值下的分類(lèi)性能，AUC值越大，說(shuō)明模型的性能越好。1.4研究創(chuàng)新點(diǎn)多模態(tài)數(shù)據(jù)融合策略創(chuàng)新：區(qū)別于傳統(tǒng)簡(jiǎn)單拼接或加權(quán)融合方法，本研究提出一種基于注意力機(jī)制的多模態(tài)動(dòng)態(tài)融合策略。該策略在特征提取過(guò)程中，動(dòng)態(tài)分配不同模態(tài)數(shù)據(jù)的權(quán)重，使模型能夠根據(jù)任務(wù)需求自動(dòng)聚焦于對(duì)預(yù)后預(yù)測(cè)最關(guān)鍵的模態(tài)信息。例如，在融合MRI影像特征、基因特征和臨床特征時(shí)，模型可以在某些情況下更關(guān)注基因特征中與腫瘤耐藥相關(guān)的基因表達(dá)信息，而在另一些情況下，突出MRI影像中腫瘤的侵襲范圍等特征，從而更有效地整合多模態(tài)數(shù)據(jù)的互補(bǔ)信息，提升模型的預(yù)測(cè)性能。模型設(shè)計(jì)創(chuàng)新：構(gòu)建了一種新型的多模態(tài)圖神經(jīng)網(wǎng)絡(luò)-卷積神經(jīng)網(wǎng)絡(luò)融合模型（MGCN-CNN）。圖神經(jīng)網(wǎng)絡(luò)（GNN）能夠有效處理多模態(tài)數(shù)據(jù)之間復(fù)雜的關(guān)系結(jié)構(gòu)，如基因之間的相互作用關(guān)系、影像特征與臨床因素之間的關(guān)聯(lián)等。而卷積神經(jīng)網(wǎng)絡(luò)（CNN）在圖像特征提取方面具有強(qiáng)大的能力，能夠自動(dòng)學(xué)習(xí)MRI影像中的高級(jí)語(yǔ)義特征。將兩者有機(jī)結(jié)合，充分發(fā)揮GNN在關(guān)系建模和CNN在圖像特征提取上的優(yōu)勢(shì)，為多模態(tài)數(shù)據(jù)的深度融合和特征學(xué)習(xí)提供了新的模型架構(gòu)。通過(guò)在模型中引入跳躍連接和殘差學(xué)習(xí)機(jī)制，有效緩解了深度模型訓(xùn)練過(guò)程中的梯度消失和梯度爆炸問(wèn)題，提高了模型的訓(xùn)練效率和穩(wěn)定性。特征提取方法創(chuàng)新：針對(duì)MRI影像數(shù)據(jù)，提出一種基于多尺度空洞卷積的特征提取方法。傳統(tǒng)的卷積操作感受野有限，難以捕捉不同尺度的腫瘤特征。多尺度空洞卷積通過(guò)設(shè)置不同的空洞率，能夠在不同尺度上對(duì)影像進(jìn)行采樣，獲取更豐富的上下文信息。例如，小空洞率的卷積可以捕捉腫瘤的細(xì)微紋理特征，而大空洞率的卷積則能關(guān)注腫瘤的整體形態(tài)和結(jié)構(gòu)特征。將多尺度空洞卷積提取的特征進(jìn)行融合，能夠全面地描述腫瘤的影像特征，為預(yù)后預(yù)測(cè)提供更具代表性的信息。同時(shí)，結(jié)合遷移學(xué)習(xí)技術(shù)，利用在大規(guī)模自然圖像數(shù)據(jù)集上預(yù)訓(xùn)練的模型初始化網(wǎng)絡(luò)參數(shù)，加速模型的收斂速度，提高特征提取的準(zhǔn)確性和泛化能力。二、多形性膠質(zhì)母細(xì)胞瘤與多模態(tài)機(jī)器學(xué)習(xí)理論基礎(chǔ)2.1多形性膠質(zhì)母細(xì)胞瘤概述2.1.1病理特征多形性膠質(zhì)母細(xì)胞瘤在病理上呈現(xiàn)出高度的異質(zhì)性，其細(xì)胞形態(tài)和組織結(jié)構(gòu)復(fù)雜多樣。從細(xì)胞形態(tài)來(lái)看，瘤細(xì)胞大小、形狀各異，可表現(xiàn)為梭形、圓形、多角形等。細(xì)胞核形態(tài)也不規(guī)則，大小不一，染色質(zhì)深染，核仁明顯，核分裂象常見(jiàn)。例如，在一些腫瘤區(qū)域，可見(jiàn)到體積較大、核漿比例失調(diào)的瘤巨細(xì)胞，這些細(xì)胞具有多個(gè)細(xì)胞核，形態(tài)怪異，反映了腫瘤細(xì)胞的高度惡性和增殖活性。同時(shí)，腫瘤細(xì)胞還存在明顯的異型性，細(xì)胞之間的邊界不清晰，排列紊亂，缺乏正常組織的結(jié)構(gòu)和極性。在組織結(jié)構(gòu)方面，多形性膠質(zhì)母細(xì)胞瘤常伴有出血、壞死和囊變。壞死灶在腫瘤組織中較為常見(jiàn)，呈地圖樣分布，周?chē)梢?jiàn)柵欄狀排列的腫瘤細(xì)胞，這是GBM的典型病理特征之一。出血區(qū)域則表現(xiàn)為紅細(xì)胞的聚集，可導(dǎo)致腫瘤顏色的改變，從暗紅色到棕褐色不等。囊變區(qū)內(nèi)含清亮或淡黃色液體，囊壁由腫瘤組織或纖維組織構(gòu)成。此外，腫瘤組織內(nèi)還可見(jiàn)到豐富的新生血管，這些血管形態(tài)不規(guī)則，管壁薄，缺乏完整的基底膜，容易發(fā)生滲漏和破裂，進(jìn)一步促進(jìn)腫瘤的生長(zhǎng)和侵襲。這些病理特征與腫瘤的惡性程度密切相關(guān)，高度的細(xì)胞異型性和活躍的核分裂象表明腫瘤細(xì)胞具有很強(qiáng)的增殖能力和侵襲性，容易突破周?chē)M織的限制，向周?chē)ＤX組織浸潤(rùn)生長(zhǎng)。出血、壞死和囊變的存在則提示腫瘤生長(zhǎng)迅速，超過(guò)了血管的供應(yīng)能力，導(dǎo)致局部組織缺血缺氧，進(jìn)而發(fā)生壞死和囊變。而新生血管的形成不僅為腫瘤細(xì)胞提供了營(yíng)養(yǎng)物質(zhì)和氧氣，還為腫瘤細(xì)胞的轉(zhuǎn)移提供了途徑，使得腫瘤更容易擴(kuò)散到其他部位。因此，深入了解GBM的病理特征，對(duì)于評(píng)估腫瘤的惡性程度、預(yù)測(cè)預(yù)后以及制定合理的治療方案具有重要意義。2.1.2臨床特征與治療現(xiàn)狀多形性膠質(zhì)母細(xì)胞瘤的臨床癥狀多樣，主要與腫瘤的生長(zhǎng)部位、大小以及對(duì)周?chē)X組織的壓迫和侵犯程度有關(guān)。常見(jiàn)的癥狀包括頭痛、惡心、嘔吐等顱內(nèi)壓增高癥狀，這是由于腫瘤占位效應(yīng)導(dǎo)致腦脊液循環(huán)受阻，顱內(nèi)壓力升高所致。頭痛通常為持續(xù)性鈍痛，在早晨或用力時(shí)加重，可伴有惡心、嘔吐，嘔吐多為噴射性。神經(jīng)功能障礙也是常見(jiàn)癥狀之一，如肢體乏力、偏癱、失語(yǔ)、視力障礙、癲癇發(fā)作等。腫瘤位于運(yùn)動(dòng)區(qū)可導(dǎo)致肢體運(yùn)動(dòng)障礙，位于語(yǔ)言中樞可引起失語(yǔ)，壓迫視神經(jīng)可造成視力下降或視野缺損，而腫瘤對(duì)大腦皮層的刺激則容易引發(fā)癲癇。認(rèn)知功能障礙也較為常見(jiàn)，患者可出現(xiàn)記憶力減退、注意力不集中、思維遲緩、情緒改變等癥狀，嚴(yán)重影響患者的日常生活和社交能力。目前，多形性膠質(zhì)母細(xì)胞瘤的治療主要以手術(shù)切除、放療和化療為主的綜合治療。手術(shù)切除的目的是盡可能地去除腫瘤組織，減輕腫瘤對(duì)周?chē)X組織的壓迫，緩解癥狀，并為后續(xù)的放療和化療創(chuàng)造條件。然而，由于GBM呈浸潤(rùn)性生長(zhǎng)，與周?chē)ＤX組織邊界不清，難以完全切除干凈，術(shù)后復(fù)發(fā)率較高。放療是利用高能射線殺死腫瘤細(xì)胞，通常在手術(shù)后進(jìn)行，能夠降低腫瘤的局部復(fù)發(fā)率。化療則通過(guò)使用化學(xué)藥物抑制腫瘤細(xì)胞的生長(zhǎng)和分裂，常用的化療藥物有替莫唑胺等。替莫唑胺是一種口服的烷化劑，能夠透過(guò)血腦屏障，對(duì)GBM具有一定的療效。近年來(lái)，隨著醫(yī)學(xué)技術(shù)的不斷發(fā)展，一些新的治療方法如靶向治療、免疫治療等也逐漸應(yīng)用于臨床。靶向治療是針對(duì)腫瘤細(xì)胞特有的分子靶點(diǎn)進(jìn)行治療，能夠更精準(zhǔn)地作用于腫瘤細(xì)胞，減少對(duì)正常組織的損傷。例如，針對(duì)表皮生長(zhǎng)因子受體（EGFR）突變的靶向藥物，能夠抑制EGFR信號(hào)通路的激活，從而抑制腫瘤細(xì)胞的生長(zhǎng)和增殖。免疫治療則是通過(guò)激活機(jī)體自身的免疫系統(tǒng)來(lái)攻擊腫瘤細(xì)胞，如免疫檢查點(diǎn)抑制劑等。然而，盡管采取了多種治療手段，GBM患者的治療效果仍然不佳，預(yù)后較差。這主要是由于GBM的高度異質(zhì)性，使得腫瘤細(xì)胞對(duì)治療的敏感性存在差異，部分腫瘤細(xì)胞可能對(duì)放療、化療產(chǎn)生耐藥性，導(dǎo)致治療失敗。此外，腫瘤的侵襲性生長(zhǎng)使得手術(shù)難以徹底切除，殘留的腫瘤細(xì)胞容易復(fù)發(fā)和轉(zhuǎn)移。因此，尋找更有效的治療方法和提高預(yù)后預(yù)測(cè)的準(zhǔn)確性，是目前GBM研究的重點(diǎn)和難點(diǎn)。2.1.3影響預(yù)后的因素多形性膠質(zhì)母細(xì)胞瘤患者的預(yù)后受到多種因素的影響。患者年齡是一個(gè)重要因素，一般來(lái)說(shuō)，年齡越大，預(yù)后越差。這可能與老年患者身體機(jī)能下降，對(duì)手術(shù)、放療和化療的耐受性較差，以及腫瘤細(xì)胞的生物學(xué)行為在老年患者中更為惡性有關(guān)。有研究表明，年齡大于65歲的GBM患者，其中位生存期明顯短于年齡小于65歲的患者。腫瘤大小也是影響預(yù)后的關(guān)鍵因素之一，腫瘤體積越大，往往意味著腫瘤細(xì)胞數(shù)量越多，侵襲范圍越廣，手術(shù)切除難度越大，殘留腫瘤細(xì)胞的可能性也越高，從而導(dǎo)致預(yù)后不良。例如，腫瘤直徑大于5cm的患者，其復(fù)發(fā)率和死亡率相對(duì)較高。分子標(biāo)志物在GBM的預(yù)后評(píng)估中也具有重要意義。IDH基因突變是GBM中常見(jiàn)的分子改變之一，IDH突變型GBM患者的預(yù)后通常優(yōu)于IDH野生型患者。這是因?yàn)镮DH突變會(huì)導(dǎo)致腫瘤細(xì)胞代謝途徑的改變，使其惡性程度降低，對(duì)治療的敏感性增加。MGMT啟動(dòng)子甲基化狀態(tài)也與GBM的預(yù)后密切相關(guān)，MGMT啟動(dòng)子甲基化的患者，其腫瘤細(xì)胞內(nèi)MGMT蛋白表達(dá)水平較低，對(duì)替莫唑胺化療更敏感，預(yù)后相對(duì)較好。腫瘤的切除程度同樣影響預(yù)后，手術(shù)能夠盡可能全切腫瘤的患者，其生存期往往長(zhǎng)于腫瘤切除不徹底的患者。因?yàn)闅埩舻哪[瘤細(xì)胞會(huì)繼續(xù)生長(zhǎng)和增殖，導(dǎo)致腫瘤復(fù)發(fā)，縮短患者的生存時(shí)間。此外，治療方式的選擇和患者的身體狀況等因素也會(huì)對(duì)預(yù)后產(chǎn)生影響。綜合、規(guī)范的治療，以及患者良好的身體基礎(chǔ)和對(duì)治療的耐受性，都有助于改善患者的預(yù)后。因此，全面分析這些影響預(yù)后的因素，對(duì)于準(zhǔn)確評(píng)估GBM患者的預(yù)后，制定個(gè)性化的治療方案具有重要指導(dǎo)作用。2.2多模態(tài)機(jī)器學(xué)習(xí)理論2.2.1多模態(tài)數(shù)據(jù)多模態(tài)機(jī)器學(xué)習(xí)涉及多種類(lèi)型的數(shù)據(jù)，這些數(shù)據(jù)從不同角度提供了關(guān)于研究對(duì)象的信息，在多形性膠質(zhì)母細(xì)胞瘤（GBM）預(yù)后預(yù)測(cè)中具有重要作用。醫(yī)學(xué)影像數(shù)據(jù)是多模態(tài)數(shù)據(jù)的重要組成部分，其中MRI影像能夠提供豐富的腫瘤形態(tài)、結(jié)構(gòu)和功能信息。T1加權(quán)成像（T1WI）可以清晰地顯示腫瘤的解剖結(jié)構(gòu)，分辨腫瘤與周?chē)ＤX組織的邊界，通過(guò)觀察腫瘤在T1WI上的信號(hào)強(qiáng)度，判斷腫瘤的實(shí)性、囊性或出血等情況。T2加權(quán)成像（T2WI）對(duì)液體和水腫更為敏感，能夠顯示腫瘤周?chē)乃[范圍，以及腫瘤內(nèi)部的壞死、囊變區(qū)域。T1WI增強(qiáng)掃描則通過(guò)注射對(duì)比劑，突出腫瘤的血供情況，顯示腫瘤的強(qiáng)化特征，有助于判斷腫瘤的惡性程度和侵襲性。例如，在GBM中，腫瘤通常在T1WI上呈低信號(hào)，T2WI上呈高信號(hào)，增強(qiáng)掃描后呈明顯不均勻強(qiáng)化，這與腫瘤的高度血管化和血腦屏障破壞有關(guān)。擴(kuò)散加權(quán)成像（DWI）通過(guò)測(cè)量水分子的擴(kuò)散運(yùn)動(dòng)，提供腫瘤細(xì)胞密度和組織結(jié)構(gòu)的信息。在GBM中，由于腫瘤細(xì)胞密集，水分子擴(kuò)散受限，表觀擴(kuò)散系數(shù)（ADC）值降低，在DWI上表現(xiàn)為高信號(hào)。磁共振波譜成像（MRS）能夠檢測(cè)腫瘤組織的代謝物變化，如膽堿（Cho）、N-乙酰天門(mén)冬氨酸（NAA）、肌酸（Cr）等。Cho參與細(xì)胞膜的合成和代謝，在GBM中，腫瘤細(xì)胞增殖活躍，細(xì)胞膜合成增加，導(dǎo)致Cho水平升高；NAA是神經(jīng)元的標(biāo)志物，GBM中腫瘤細(xì)胞對(duì)神經(jīng)元的破壞，使得NAA水平降低。因此，Cho/NAA比值升高常提示腫瘤的惡性程度高。基因數(shù)據(jù)蘊(yùn)含著腫瘤的分子生物學(xué)特征，對(duì)GBM的預(yù)后預(yù)測(cè)具有關(guān)鍵意義。基因表達(dá)數(shù)據(jù)反映了基因在細(xì)胞內(nèi)的轉(zhuǎn)錄水平，通過(guò)基因芯片、RNA測(cè)序等技術(shù)，可以獲取大量基因的表達(dá)信息。在GBM中，一些基因的異常表達(dá)與腫瘤的發(fā)生、發(fā)展、侵襲和轉(zhuǎn)移密切相關(guān)。如IDH基因突變是GBM中重要的分子事件，IDH突變型GBM患者的預(yù)后通常優(yōu)于IDH野生型患者。這是因?yàn)镮DH突變會(huì)導(dǎo)致腫瘤細(xì)胞代謝途徑的改變，產(chǎn)生異常代謝產(chǎn)物2-羥基戊二酸（2-HG），抑制腫瘤細(xì)胞的增殖和侵襲能力。此外，一些與腫瘤血管生成、細(xì)胞周期調(diào)控、凋亡相關(guān)的基因，如VEGF（血管內(nèi)皮生長(zhǎng)因子）、p53、BCL-2等，其表達(dá)水平也與GBM的預(yù)后相關(guān)。VEGF高表達(dá)促進(jìn)腫瘤血管生成，為腫瘤細(xì)胞提供營(yíng)養(yǎng)，導(dǎo)致腫瘤生長(zhǎng)和轉(zhuǎn)移，預(yù)后不良；p53基因突變失去對(duì)細(xì)胞周期的調(diào)控，使得腫瘤細(xì)胞異常增殖；BCL-2高表達(dá)抑制細(xì)胞凋亡，使腫瘤細(xì)胞存活時(shí)間延長(zhǎng)。臨床數(shù)據(jù)包含患者的基本信息、癥狀、體征、治療情況等，是預(yù)后預(yù)測(cè)的重要依據(jù)。患者的年齡、性別、KPS（KarnofskyPerformanceStatus）評(píng)分、治療方式等臨床因素都與GBM的預(yù)后密切相關(guān)。年齡較大的患者，身體機(jī)能下降，對(duì)治療的耐受性差，預(yù)后往往較差。KPS評(píng)分反映了患者的身體狀況和日常生活能力，評(píng)分越高，患者的身體狀況越好，預(yù)后相對(duì)較好。治療方式的選擇對(duì)預(yù)后也有顯著影響，手術(shù)切除程度、放療劑量和化療方案等都會(huì)影響患者的生存時(shí)間。例如，手術(shù)能夠盡可能全切腫瘤的患者，其生存期往往長(zhǎng)于腫瘤切除不徹底的患者；接受規(guī)范放化療的患者，預(yù)后優(yōu)于未接受或不規(guī)范治療的患者。同時(shí)，患者的癥狀和體征也能提供一定的預(yù)后信息，如出現(xiàn)癲癇發(fā)作的患者，可能提示腫瘤對(duì)大腦皮層的刺激，其預(yù)后可能相對(duì)較差。這些不同類(lèi)型的多模態(tài)數(shù)據(jù)各具特點(diǎn)，醫(yī)學(xué)影像數(shù)據(jù)直觀地展示了腫瘤的形態(tài)和結(jié)構(gòu)信息，基因數(shù)據(jù)深入揭示了腫瘤的分子生物學(xué)機(jī)制，臨床數(shù)據(jù)則綜合反映了患者的整體狀況和治療情況。它們相互補(bǔ)充，為多模態(tài)機(jī)器學(xué)習(xí)提供了豐富的信息來(lái)源，有助于更全面、準(zhǔn)確地預(yù)測(cè)GBM的預(yù)后。2.2.2核心技術(shù)與方法跨模態(tài)表示學(xué)習(xí)是多模態(tài)機(jī)器學(xué)習(xí)的關(guān)鍵技術(shù)之一，旨在學(xué)習(xí)不同模態(tài)數(shù)據(jù)的統(tǒng)一表示，使來(lái)自不同模態(tài)的數(shù)據(jù)能夠在同一特征空間中進(jìn)行比較和融合。在多形性膠質(zhì)母細(xì)胞瘤（GBM）預(yù)后預(yù)測(cè)中，由于醫(yī)學(xué)影像、基因數(shù)據(jù)和臨床數(shù)據(jù)具有不同的特征和分布，需要通過(guò)跨模態(tài)表示學(xué)習(xí)將它們映射到共享的語(yǔ)義空間。一種常見(jiàn)的方法是利用深度學(xué)習(xí)模型，如多模態(tài)變換器（MultimodalTransformers）。以基于Transformer的多模態(tài)模型為例，它通過(guò)自注意力機(jī)制，能夠自動(dòng)學(xué)習(xí)不同模態(tài)數(shù)據(jù)之間的關(guān)系，捕捉數(shù)據(jù)中的長(zhǎng)距離依賴(lài)信息。在處理MRI影像和基因表達(dá)數(shù)據(jù)時(shí)，模型可以關(guān)注影像中與腫瘤惡性程度相關(guān)的特征區(qū)域，同時(shí)結(jié)合基因數(shù)據(jù)中關(guān)鍵基因的表達(dá)變化，學(xué)習(xí)到更具代表性的跨模態(tài)特征表示。例如，在融合MRI的T1WI增強(qiáng)影像特征和IDH基因表達(dá)數(shù)據(jù)時(shí)，模型能夠發(fā)現(xiàn)影像中腫瘤的強(qiáng)化模式與IDH基因突變狀態(tài)之間的潛在聯(lián)系，從而生成更有效的跨模態(tài)特征，為預(yù)后預(yù)測(cè)提供更豐富的信息。注意力機(jī)制在多模態(tài)機(jī)器學(xué)習(xí)中也起著重要作用，它能夠使模型更加關(guān)注對(duì)任務(wù)重要的信息，提高模型的性能和可解釋性。在GBM預(yù)后預(yù)測(cè)中，不同模態(tài)的數(shù)據(jù)對(duì)預(yù)后的影響程度不同，注意力機(jī)制可以動(dòng)態(tài)地分配不同模態(tài)數(shù)據(jù)或同一模態(tài)數(shù)據(jù)中不同特征的權(quán)重。在融合MRI影像、基因數(shù)據(jù)和臨床數(shù)據(jù)時(shí)，模型可以通過(guò)注意力機(jī)制，在某些情況下更關(guān)注基因數(shù)據(jù)中與腫瘤耐藥相關(guān)的基因表達(dá)信息，因?yàn)檫@些信息對(duì)患者的治療效果和預(yù)后有重要影響；而在另一些情況下，突出MRI影像中腫瘤的侵襲范圍等特征，這些特征直接反映了腫瘤的惡性程度和擴(kuò)散情況。通過(guò)這種方式，模型能夠聚焦于關(guān)鍵信息，提升對(duì)GBM預(yù)后預(yù)測(cè)的準(zhǔn)確性。例如，基于注意力機(jī)制的多模態(tài)神經(jīng)網(wǎng)絡(luò)模型，在處理多模態(tài)數(shù)據(jù)時(shí)，會(huì)為每個(gè)模態(tài)的特征分配一個(gè)注意力權(quán)重向量，通過(guò)計(jì)算注意力權(quán)重，模型可以自動(dòng)調(diào)整對(duì)不同模態(tài)特征的關(guān)注度，從而更好地融合多模態(tài)信息。模態(tài)融合策略是多模態(tài)機(jī)器學(xué)習(xí)的核心內(nèi)容，主要包括早期融合、晚期融合和混合融合。早期融合是在特征提取階段就將不同模態(tài)的數(shù)據(jù)進(jìn)行融合，然后一起輸入到后續(xù)的模型中。在GBM預(yù)后預(yù)測(cè)中，將預(yù)處理后的MRI影像特征、基因表達(dá)特征和臨床特征直接拼接成一個(gè)綜合特征向量，再輸入到支持向量機(jī)（SVM）或神經(jīng)網(wǎng)絡(luò)等模型中進(jìn)行訓(xùn)練。這種方法的優(yōu)點(diǎn)是能夠充分利用各模態(tài)數(shù)據(jù)之間的相關(guān)性，讓模型在訓(xùn)練過(guò)程中同時(shí)學(xué)習(xí)多模態(tài)信息，但也可能會(huì)引入噪聲，因?yàn)椴煌B(tài)數(shù)據(jù)的特征尺度和分布差異較大，直接融合可能會(huì)影響模型的訓(xùn)練效果。晚期融合則是各模態(tài)數(shù)據(jù)分別經(jīng)過(guò)模型處理后，再將得到的結(jié)果進(jìn)行融合。例如，MRI影像數(shù)據(jù)通過(guò)卷積神經(jīng)網(wǎng)絡(luò)（CNN）提取特征并進(jìn)行分類(lèi)預(yù)測(cè)，基因數(shù)據(jù)通過(guò)邏輯回歸模型進(jìn)行分析預(yù)測(cè)，臨床數(shù)據(jù)通過(guò)決策樹(shù)模型進(jìn)行處理，最后將這三個(gè)模型的預(yù)測(cè)結(jié)果通過(guò)投票、加權(quán)平均等方式進(jìn)行融合。晚期融合的優(yōu)點(diǎn)是能夠保持各模態(tài)數(shù)據(jù)的獨(dú)立性，避免早期融合中可能出現(xiàn)的噪聲問(wèn)題，但缺點(diǎn)是各模態(tài)數(shù)據(jù)在單獨(dú)處理時(shí)，可能會(huì)忽略它們之間的相互關(guān)系。混合融合結(jié)合了早期融合和晚期融合的優(yōu)點(diǎn)，先對(duì)部分模態(tài)數(shù)據(jù)進(jìn)行早期融合，再與其他模態(tài)數(shù)據(jù)分別進(jìn)行模型處理，最后將結(jié)果進(jìn)行融合。在GBM預(yù)后預(yù)測(cè)中，可以先將MRI影像和基因數(shù)據(jù)進(jìn)行早期融合，然后與臨床數(shù)據(jù)分別輸入到不同的子模型中，最后將子模型的輸出進(jìn)行融合。這種策略能夠更靈活地利用多模態(tài)數(shù)據(jù)的信息，提高模型的性能，但模型結(jié)構(gòu)相對(duì)復(fù)雜，訓(xùn)練難度較大。2.2.3在醫(yī)學(xué)領(lǐng)域的應(yīng)用案例多模態(tài)機(jī)器學(xué)習(xí)在醫(yī)學(xué)領(lǐng)域的應(yīng)用取得了顯著成果，為疾病的診斷、治療和預(yù)后預(yù)測(cè)提供了新的思路和方法。在疾病診斷方面，多模態(tài)機(jī)器學(xué)習(xí)能夠整合多種醫(yī)學(xué)數(shù)據(jù)，提高診斷的準(zhǔn)確性和可靠性。有研究將醫(yī)學(xué)影像與臨床文本數(shù)據(jù)相結(jié)合，用于糖尿病視網(wǎng)膜病變的診斷。通過(guò)融合眼底圖像和患者的病史、癥狀等文本信息，利用多模態(tài)深度學(xué)習(xí)模型進(jìn)行分析，能夠更準(zhǔn)確地識(shí)別病變程度。眼底圖像可以直觀地展示視網(wǎng)膜的形態(tài)和結(jié)構(gòu)變化，如微動(dòng)脈瘤、出血點(diǎn)、滲出等，而臨床文本數(shù)據(jù)則提供了患者的糖尿病病程、血糖控制情況等信息，這些信息對(duì)于判斷糖尿病視網(wǎng)膜病變的進(jìn)展和嚴(yán)重程度具有重要意義。多模態(tài)模型能夠充分挖掘圖像和文本數(shù)據(jù)之間的關(guān)聯(lián)，學(xué)習(xí)到更全面的特征表示，從而提高診斷的準(zhǔn)確性。在藥物研發(fā)中，多模態(tài)機(jī)器學(xué)習(xí)也發(fā)揮了重要作用。藥物研發(fā)是一個(gè)復(fù)雜且耗時(shí)的過(guò)程，需要對(duì)藥物的靶點(diǎn)識(shí)別、藥效評(píng)估、安全性預(yù)測(cè)等多個(gè)環(huán)節(jié)進(jìn)行深入研究。多模態(tài)機(jī)器學(xué)習(xí)可以整合基因數(shù)據(jù)、蛋白質(zhì)組學(xué)數(shù)據(jù)、細(xì)胞實(shí)驗(yàn)數(shù)據(jù)和臨床數(shù)據(jù)等多種信息，加速藥物研發(fā)進(jìn)程。在識(shí)別藥物靶點(diǎn)時(shí)，通過(guò)分析基因表達(dá)數(shù)據(jù)和蛋白質(zhì)相互作用網(wǎng)絡(luò)，能夠發(fā)現(xiàn)與疾病相關(guān)的潛在靶點(diǎn)?；虮磉_(dá)數(shù)據(jù)反映了基因在不同生理和病理狀態(tài)下的活性，蛋白質(zhì)相互作用網(wǎng)絡(luò)則展示了蛋白質(zhì)之間的相互關(guān)系和信號(hào)傳導(dǎo)通路。多模態(tài)機(jī)器學(xué)習(xí)模型可以綜合這些信息，預(yù)測(cè)哪些基因和蛋白質(zhì)可能成為藥物作用的靶點(diǎn)，為藥物研發(fā)提供方向。在評(píng)估藥物療效時(shí)，結(jié)合細(xì)胞實(shí)驗(yàn)數(shù)據(jù)和臨床數(shù)據(jù)，能夠更準(zhǔn)確地判斷藥物的治療效果。細(xì)胞實(shí)驗(yàn)可以在體外模擬藥物對(duì)細(xì)胞的作用，提供藥物的初步療效信息，而臨床數(shù)據(jù)則反映了藥物在人體中的實(shí)際治療效果。通過(guò)多模態(tài)機(jī)器學(xué)習(xí)模型對(duì)這些數(shù)據(jù)的分析，可以更全面地評(píng)估藥物的療效，優(yōu)化藥物研發(fā)方案。在疾病預(yù)后預(yù)測(cè)方面，多模態(tài)機(jī)器學(xué)習(xí)的應(yīng)用也取得了良好的效果。如在乳腺癌預(yù)后預(yù)測(cè)中，整合基因表達(dá)數(shù)據(jù)、影像學(xué)特征和臨床信息，構(gòu)建多模態(tài)預(yù)后預(yù)測(cè)模型?；虮磉_(dá)數(shù)據(jù)可以揭示乳腺癌的分子亞型和潛在的生物學(xué)機(jī)制，影像學(xué)特征如乳腺X線、超聲和MRI圖像能夠提供腫瘤的大小、形態(tài)、位置等信息，臨床信息包括患者的年齡、腫瘤分期、治療方式等。多模態(tài)模型能夠綜合這些多源信息，更準(zhǔn)確地預(yù)測(cè)乳腺癌患者的預(yù)后，為個(gè)性化治療提供依據(jù)。對(duì)于預(yù)后較好的患者，可以采取相對(duì)保守的治療策略，減少過(guò)度治療帶來(lái)的副作用；而對(duì)于預(yù)后較差的患者，則可以加強(qiáng)治療強(qiáng)度，探索更有效的治療方案。這些應(yīng)用案例充分展示了多模態(tài)機(jī)器學(xué)習(xí)在醫(yī)學(xué)領(lǐng)域的應(yīng)用價(jià)值，通過(guò)整合多種模態(tài)的數(shù)據(jù)，它能夠挖掘出更豐富的信息，提高醫(yī)學(xué)研究和臨床實(shí)踐的效率和準(zhǔn)確性，為解決醫(yī)學(xué)難題提供了有力的技術(shù)支持。三、基于多模態(tài)機(jī)器學(xué)習(xí)的預(yù)后預(yù)測(cè)模型構(gòu)建3.1數(shù)據(jù)收集與預(yù)處理3.1.1數(shù)據(jù)來(lái)源本研究的數(shù)據(jù)主要來(lái)源于[具體醫(yī)院名稱(chēng)1]、[具體醫(yī)院名稱(chēng)2]等多家三甲醫(yī)院的神經(jīng)外科和腫瘤科。這些醫(yī)院具備先進(jìn)的醫(yī)療設(shè)備和專(zhuān)業(yè)的醫(yī)療團(tuán)隊(duì)，能夠提供高質(zhì)量的多形性膠質(zhì)母細(xì)胞瘤（GBM）患者數(shù)據(jù)。同時(shí)，為了擴(kuò)大樣本量和數(shù)據(jù)的多樣性，還查閱了公開(kāi)數(shù)據(jù)庫(kù)，如癌癥基因組圖譜（TCGA）和中國(guó)膠質(zhì)瘤基因組圖譜（CGGA）。從合作醫(yī)院收集了近[X]年來(lái)確診為GBM的患者數(shù)據(jù)，共獲取了[具體數(shù)量1]例患者的完整資料。其中，臨床數(shù)據(jù)包括患者的基本信息（年齡、性別、身高、體重等）、病史（既往疾病史、家族病史等）、癥狀表現(xiàn)（頭痛、嘔吐、視力障礙、癲癇發(fā)作等）、體征（神經(jīng)系統(tǒng)檢查結(jié)果等）、KPS（KarnofskyPerformanceStatus）評(píng)分、治療方式（手術(shù)切除范圍、放療劑量和方案、化療藥物和療程等）以及隨訪信息（生存時(shí)間、復(fù)發(fā)情況等）。MRI影像數(shù)據(jù)涵蓋了T1加權(quán)成像（T1WI）、T2加權(quán)成像（T2WI）、T1WI增強(qiáng)、液體衰減反轉(zhuǎn)恢復(fù)序列（FLAIR）等多個(gè)序列，這些影像能夠全面地展示腫瘤的形態(tài)、結(jié)構(gòu)和功能信息。基因表達(dá)數(shù)據(jù)通過(guò)對(duì)患者腫瘤組織樣本進(jìn)行基因芯片或RNA測(cè)序獲得，包含了大量基因的表達(dá)水平信息。從TCGA數(shù)據(jù)庫(kù)中下載了[具體數(shù)量2]例GBM患者的數(shù)據(jù)，從CGGA數(shù)據(jù)庫(kù)獲取了[具體數(shù)量3]例患者的數(shù)據(jù)。這些公開(kāi)數(shù)據(jù)庫(kù)中的數(shù)據(jù)經(jīng)過(guò)了嚴(yán)格的質(zhì)量控制和標(biāo)準(zhǔn)化處理，與醫(yī)院收集的數(shù)據(jù)相互補(bǔ)充，為研究提供了更豐富的信息。例如，TCGA數(shù)據(jù)庫(kù)提供了詳細(xì)的基因測(cè)序數(shù)據(jù)和臨床注釋信息，有助于深入研究GBM的分子生物學(xué)機(jī)制；CGGA數(shù)據(jù)庫(kù)則專(zhuān)注于中國(guó)人群的膠質(zhì)瘤數(shù)據(jù)，對(duì)于分析不同種族人群中GBM的特征和預(yù)后因素具有重要意義。通過(guò)整合來(lái)自多家醫(yī)院和公開(kāi)數(shù)據(jù)庫(kù)的數(shù)據(jù)，本研究共獲得了[總樣本數(shù)量]例GBM患者的多模態(tài)數(shù)據(jù)，為后續(xù)的模型構(gòu)建和分析奠定了堅(jiān)實(shí)的基礎(chǔ)。3.1.2數(shù)據(jù)清洗與標(biāo)注在獲取多模態(tài)數(shù)據(jù)后，首要任務(wù)是進(jìn)行數(shù)據(jù)清洗，以確保數(shù)據(jù)的質(zhì)量和可靠性。對(duì)于臨床數(shù)據(jù)，仔細(xì)檢查并處理缺失值。采用多重填補(bǔ)法，利用患者的其他相關(guān)信息，如年齡、性別、癥狀等，結(jié)合統(tǒng)計(jì)模型對(duì)缺失的數(shù)值型數(shù)據(jù)進(jìn)行填補(bǔ)。對(duì)于分類(lèi)變量的缺失值，參考同類(lèi)患者的情況和臨床經(jīng)驗(yàn)進(jìn)行合理推斷和補(bǔ)充。同時(shí)，通過(guò)設(shè)定合理的閾值，識(shí)別并去除異常值，例如患者的年齡超出正常范圍、KPS評(píng)分不合理等情況。對(duì)于重復(fù)記錄的數(shù)據(jù)，通過(guò)對(duì)比患者的唯一標(biāo)識(shí)（如住院號(hào)、身份證號(hào)等）進(jìn)行篩選和刪除，保證數(shù)據(jù)的唯一性。在MRI影像數(shù)據(jù)處理方面，運(yùn)用N4ITK算法進(jìn)行去噪和強(qiáng)度不均勻校正，有效減少圖像中的噪聲干擾，使圖像的強(qiáng)度分布更加均勻，提高圖像的清晰度和對(duì)比度。采用ANTS（AdvancedNormalizationTools）軟件進(jìn)行圖像配準(zhǔn)，將不同序列的MRI圖像以及同一患者不同時(shí)間點(diǎn)的圖像進(jìn)行對(duì)齊，確保在空間位置上的一致性，便于后續(xù)的分析和特征提取。利用深度學(xué)習(xí)算法U-Net對(duì)MRI影像進(jìn)行分割，精確勾勒出腫瘤區(qū)域，為提取腫瘤的影像特征提供基礎(chǔ)。分割后的圖像經(jīng)過(guò)人工檢查和修正，確保分割結(jié)果的準(zhǔn)確性?；虮磉_(dá)數(shù)據(jù)同樣需要嚴(yán)格的預(yù)處理。使用標(biāo)準(zhǔn)化方法對(duì)基因表達(dá)數(shù)據(jù)進(jìn)行歸一化處理，消除不同實(shí)驗(yàn)批次和技術(shù)平臺(tái)帶來(lái)的差異，使基因表達(dá)水平具有可比性。通過(guò)批次效應(yīng)校正，如使用ComBat算法，進(jìn)一步減少因?qū)嶒?yàn)條件不同而導(dǎo)致的系統(tǒng)誤差。在標(biāo)注方面，根據(jù)患者的隨訪信息，將患者的預(yù)后情況分為良好和不良兩類(lèi)。生存時(shí)間超過(guò)[X]個(gè)月且無(wú)復(fù)發(fā)的患者定義為預(yù)后良好；生存時(shí)間小于[X]個(gè)月或在隨訪期間出現(xiàn)復(fù)發(fā)的患者定義為預(yù)后不良。同時(shí)，對(duì)于基因數(shù)據(jù)中的關(guān)鍵基因，根據(jù)其在GBM發(fā)生發(fā)展中的作用和相關(guān)研究成果，標(biāo)注其與預(yù)后的相關(guān)性，如IDH基因突變標(biāo)注為與較好預(yù)后相關(guān)，MGMT啟動(dòng)子未甲基化標(biāo)注為與較差預(yù)后相關(guān)等。通過(guò)這些數(shù)據(jù)清洗和標(biāo)注步驟，為后續(xù)的多模態(tài)機(jī)器學(xué)習(xí)分析提供了高質(zhì)量、準(zhǔn)確且具有臨床意義的數(shù)據(jù)。3.1.3數(shù)據(jù)集劃分為了有效評(píng)估基于多模態(tài)機(jī)器學(xué)習(xí)構(gòu)建的預(yù)后預(yù)測(cè)模型的性能，合理劃分?jǐn)?shù)據(jù)集至關(guān)重要。本研究采用分層抽樣的方法，將清洗和標(biāo)注后的數(shù)據(jù)集按照70%、15%、15%的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。分層抽樣是根據(jù)數(shù)據(jù)的某些特征（如患者的預(yù)后情況、年齡等）進(jìn)行分層，然后從每一層中獨(dú)立地進(jìn)行隨機(jī)抽樣，這樣可以確保各集合中數(shù)據(jù)在這些特征上的分布與原始數(shù)據(jù)集相似，從而保證各集合數(shù)據(jù)的代表性。以患者的預(yù)后情況為例，在原始數(shù)據(jù)集中，預(yù)后良好和預(yù)后不良的患者比例假設(shè)為3:7。在劃分?jǐn)?shù)據(jù)集時(shí)，訓(xùn)練集中預(yù)后良好和預(yù)后不良的患者比例也盡量保持在3:7左右，驗(yàn)證集和測(cè)試集同樣如此。訓(xùn)練集用于模型的訓(xùn)練，通過(guò)不斷調(diào)整模型的參數(shù)，使其能夠?qū)W習(xí)到多模態(tài)數(shù)據(jù)與GBM預(yù)后之間的關(guān)系。在訓(xùn)練過(guò)程中，模型會(huì)對(duì)訓(xùn)練集中的臨床數(shù)據(jù)、MRI影像特征和基因表達(dá)特征進(jìn)行學(xué)習(xí)，優(yōu)化模型的權(quán)重和偏差，以提高模型的預(yù)測(cè)能力。驗(yàn)證集用于在模型訓(xùn)練過(guò)程中監(jiān)控模型的性能，防止模型過(guò)擬合。在訓(xùn)練過(guò)程中，每隔一定的訓(xùn)練步數(shù)，使用驗(yàn)證集對(duì)模型進(jìn)行評(píng)估，觀察模型在驗(yàn)證集上的準(zhǔn)確率、召回率、F1值等指標(biāo)的變化情況。如果發(fā)現(xiàn)模型在驗(yàn)證集上的性能開(kāi)始下降，而在訓(xùn)練集上的性能仍在提升，說(shuō)明模型可能出現(xiàn)了過(guò)擬合現(xiàn)象，此時(shí)需要調(diào)整模型的參數(shù)或采用一些防止過(guò)擬合的技術(shù)，如增加正則化項(xiàng)、減少模型復(fù)雜度等。測(cè)試集則用于評(píng)估模型最終的性能，在模型訓(xùn)練完成后，使用測(cè)試集對(duì)模型進(jìn)行測(cè)試，得到模型在未知數(shù)據(jù)上的預(yù)測(cè)準(zhǔn)確率、召回率、F1值、受試者工作特征曲線下面積（AUC）、均方根誤差（RMSE）等指標(biāo)。這些指標(biāo)能夠客觀地反映模型的準(zhǔn)確性、穩(wěn)定性和泛化能力。通過(guò)合理劃分?jǐn)?shù)據(jù)集并嚴(yán)格按照訓(xùn)練、驗(yàn)證和測(cè)試的流程進(jìn)行操作，能夠確保構(gòu)建的多模態(tài)預(yù)后預(yù)測(cè)模型具有良好的性能和可靠性，為臨床應(yīng)用提供有力的支持。3.2特征提取與選擇3.2.1多模態(tài)數(shù)據(jù)特征提取方法對(duì)于醫(yī)學(xué)影像數(shù)據(jù)，尤其是MRI影像，本研究采用卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行特征提取。CNN具有強(qiáng)大的圖像特征學(xué)習(xí)能力，其卷積層通過(guò)卷積核在圖像上滑動(dòng)，提取圖像的局部特征，如邊緣、紋理等。池化層則對(duì)卷積層提取的特征進(jìn)行降維，減少計(jì)算量的同時(shí)保留重要信息。在處理GBM的MRI影像時(shí)，以T1WI增強(qiáng)圖像為例，首先將圖像輸入到預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)中。VGG16網(wǎng)絡(luò)包含多個(gè)卷積層和池化層，其中前幾個(gè)卷積層可以提取腫瘤的基本形態(tài)特征，如腫瘤的邊界、大小等；后面的卷積層則能夠?qū)W習(xí)到更高級(jí)的語(yǔ)義特征，如腫瘤的強(qiáng)化模式、與周?chē)M織的關(guān)系等。通過(guò)這種方式，能夠從MRI影像中獲取豐富的、與GBM預(yù)后相關(guān)的影像特征?；驍?shù)據(jù)的特征提取采用主成分分析（PCA）和線性判別分析（LDA）等方法。PCA是一種無(wú)監(jiān)督的降維技術(shù)，它通過(guò)線性變換將原始基因數(shù)據(jù)轉(zhuǎn)換到新的坐標(biāo)系統(tǒng)中，使得數(shù)據(jù)的方差在新的坐標(biāo)軸上依次最大化。在GBM基因表達(dá)數(shù)據(jù)中，PCA可以找出基因表達(dá)數(shù)據(jù)中的主要成分，去除噪聲和冗余信息，將高維的基因數(shù)據(jù)映射到低維空間中，得到更具代表性的基因特征。例如，對(duì)包含數(shù)千個(gè)基因表達(dá)值的原始數(shù)據(jù)進(jìn)行PCA處理后，可能將其壓縮到幾十維的特征空間，這些特征能夠保留原始數(shù)據(jù)的大部分信息，同時(shí)降低了數(shù)據(jù)的復(fù)雜性。LDA是一種有監(jiān)督的降維方法，它利用類(lèi)別信息，尋找一個(gè)投影方向，使得同一類(lèi)樣本在投影后的距離盡可能近，不同類(lèi)樣本在投影后的距離盡可能遠(yuǎn)。在GBM基因數(shù)據(jù)中，根據(jù)患者的預(yù)后情況（良好或不良）作為類(lèi)別標(biāo)簽，使用LDA對(duì)基因數(shù)據(jù)進(jìn)行處理，能夠提取出對(duì)預(yù)后分類(lèi)最有判別力的基因特征，這些特征能夠更好地區(qū)分不同預(yù)后的患者群體。臨床數(shù)據(jù)的特征提取相對(duì)較為直接。對(duì)于數(shù)值型數(shù)據(jù)，如患者的年齡、KPS評(píng)分等，直接進(jìn)行標(biāo)準(zhǔn)化處理，使其具有相同的尺度，便于后續(xù)模型的處理。對(duì)于分類(lèi)變量，如患者的性別、治療方式等，采用獨(dú)熱編碼（One-HotEncoding）將其轉(zhuǎn)換為數(shù)值特征。以治療方式為例，若治療方式包括手術(shù)、放療、化療以及聯(lián)合治療等類(lèi)別，使用獨(dú)熱編碼后，每個(gè)類(lèi)別會(huì)被編碼為一個(gè)二進(jìn)制向量，如手術(shù)可編碼為[1,0,0,0]，放療編碼為[0,1,0,0]等。通過(guò)這種方式，將臨床數(shù)據(jù)轉(zhuǎn)換為適合機(jī)器學(xué)習(xí)模型處理的特征向量。3.2.2特征選擇算法本研究采用過(guò)濾法、包裝法和嵌入法相結(jié)合的方式進(jìn)行特征選擇，以篩選出對(duì)多形性膠質(zhì)母細(xì)胞瘤（GBM）預(yù)后預(yù)測(cè)最關(guān)鍵的特征。過(guò)濾法基于特征的統(tǒng)計(jì)特性，獨(dú)立于模型對(duì)特征進(jìn)行評(píng)估和選擇。使用皮爾遜相關(guān)系數(shù)來(lái)衡量特征與預(yù)后標(biāo)簽之間的線性相關(guān)性。對(duì)于MRI影像特征、基因特征和臨床特征，分別計(jì)算它們與患者預(yù)后（生存時(shí)間或復(fù)發(fā)情況）之間的皮爾遜相關(guān)系數(shù)。例如，在基因特征中，若某個(gè)基因的表達(dá)水平與患者的生存時(shí)間呈現(xiàn)顯著的正相關(guān)或負(fù)相關(guān)，則該基因特征具有較高的相關(guān)性得分。設(shè)定一個(gè)相關(guān)性閾值，如0.3，保留相關(guān)性系數(shù)絕對(duì)值大于該閾值的特征，去除相關(guān)性較弱的特征。此外，還使用卡方檢驗(yàn)來(lái)評(píng)估分類(lèi)特征與預(yù)后之間的關(guān)聯(lián)性。對(duì)于經(jīng)過(guò)獨(dú)熱編碼的臨床分類(lèi)特征，通過(guò)卡方檢驗(yàn)判斷其與預(yù)后類(lèi)別的獨(dú)立性，選擇卡方值較大的特征，這些特征對(duì)預(yù)后具有較強(qiáng)的區(qū)分能力。包裝法以模型的性能為評(píng)價(jià)標(biāo)準(zhǔn)，通過(guò)反復(fù)訓(xùn)練模型來(lái)選擇最優(yōu)的特征子集。采用遞歸特征消除（RFE）算法，以支持向量機(jī)（SVM）作為基模型。首先，使用所有特征訓(xùn)練SVM模型，然后計(jì)算每個(gè)特征的重要性得分，通常是根據(jù)特征對(duì)應(yīng)的權(quán)重系數(shù)絕對(duì)值大小來(lái)衡量。移除重要性得分最低的特征，再次使用剩余特征訓(xùn)練SVM模型，重復(fù)這個(gè)過(guò)程，直到達(dá)到預(yù)設(shè)的特征數(shù)量或模型性能不再提升為止。例如，在融合了MRI影像特征、基因特征和臨床特征的初始特征集中，RFE算法會(huì)逐步去除對(duì)SVM模型分類(lèi)性能貢獻(xiàn)較小的特征，最終得到一個(gè)精簡(jiǎn)的特征子集，這些特征能夠使SVM模型在GBM預(yù)后預(yù)測(cè)中達(dá)到較好的性能。嵌入法在模型訓(xùn)練過(guò)程中自動(dòng)進(jìn)行特征選擇，使模型學(xué)習(xí)到的參數(shù)能夠反映特征的重要性。采用基于L1正則化的邏輯回歸模型。L1正則化項(xiàng)會(huì)在模型訓(xùn)練時(shí)對(duì)參數(shù)進(jìn)行約束，使得部分不重要特征的參數(shù)值變?yōu)?，從而實(shí)現(xiàn)特征選擇。在GBM預(yù)后預(yù)測(cè)中，將多模態(tài)特征輸入到基于L1正則化的邏輯回歸模型中進(jìn)行訓(xùn)練。在訓(xùn)練過(guò)程中，模型會(huì)自動(dòng)篩選出對(duì)預(yù)后預(yù)測(cè)有重要影響的特征，如某些關(guān)鍵基因特征或具有代表性的MRI影像特征。通過(guò)調(diào)整L1正則化的參數(shù)λ，可以控制特征選擇的強(qiáng)度，λ越大，被選擇的特征數(shù)量越少。3.2.3特征融合策略在多模態(tài)數(shù)據(jù)處理中，特征融合策略對(duì)于充分利用各模態(tài)數(shù)據(jù)的互補(bǔ)信息、提升模型性能至關(guān)重要。本研究考慮了早期融合、晚期融合和中期融合三種策略，并根據(jù)多形性膠質(zhì)母細(xì)胞瘤（GBM）預(yù)后預(yù)測(cè)的特點(diǎn)選擇了合適的策略。早期融合是在特征提取階段就將不同模態(tài)的數(shù)據(jù)進(jìn)行融合，然后一起輸入到后續(xù)的模型中。在GBM預(yù)后預(yù)測(cè)中，將經(jīng)過(guò)預(yù)處理和特征提取的MRI影像特征、基因特征和臨床特征直接拼接成一個(gè)綜合特征向量。假設(shè)MRI影像特征維度為d1，基因特征維度為d2，臨床特征維度為d3，則融合后的特征向量維度為d1+d2+d3。然后將這個(gè)綜合特征向量輸入到支持向量機(jī)（SVM）、隨機(jī)森林（RF）或神經(jīng)網(wǎng)絡(luò)等模型中進(jìn)行訓(xùn)練。早期融合的優(yōu)點(diǎn)是能夠充分利用各模態(tài)數(shù)據(jù)之間的相關(guān)性，讓模型在訓(xùn)練過(guò)程中同時(shí)學(xué)習(xí)多模態(tài)信息，從而更好地挖掘數(shù)據(jù)之間的潛在關(guān)系。然而，由于不同模態(tài)數(shù)據(jù)的特征尺度和分布差異較大，直接融合可能會(huì)引入噪聲，影響模型的訓(xùn)練效果。例如，MRI影像特征可能是連續(xù)的數(shù)值型數(shù)據(jù)，而基因特征可能是經(jīng)過(guò)歸一化處理后的表達(dá)值，臨床特征則包含數(shù)值型和分類(lèi)變量，這些不同類(lèi)型的數(shù)據(jù)直接拼接可能導(dǎo)致模型難以學(xué)習(xí)到有效的特征表示。晚期融合是各模態(tài)數(shù)據(jù)分別經(jīng)過(guò)模型處理后，再將得到的結(jié)果進(jìn)行融合。在GBM預(yù)后預(yù)測(cè)中，MRI影像數(shù)據(jù)通過(guò)卷積神經(jīng)網(wǎng)絡(luò)（CNN）提取特征并進(jìn)行分類(lèi)預(yù)測(cè)，得到一個(gè)關(guān)于預(yù)后的預(yù)測(cè)結(jié)果p1；基因數(shù)據(jù)通過(guò)邏輯回歸模型進(jìn)行分析預(yù)測(cè)，得到預(yù)測(cè)結(jié)果p2；臨床數(shù)據(jù)通過(guò)決策樹(shù)模型進(jìn)行處理，得到預(yù)測(cè)結(jié)果p3。最后將這三個(gè)模型的預(yù)測(cè)結(jié)果通過(guò)投票、加權(quán)平均等方式進(jìn)行融合。如采用加權(quán)平均的方法，最終的預(yù)測(cè)結(jié)果p=w1*p1+w2*p2+w3*p3，其中w1、w2、w3分別是三個(gè)模態(tài)預(yù)測(cè)結(jié)果的權(quán)重，且w1+w2+w3=1。晚期融合的優(yōu)點(diǎn)是能夠保持各模態(tài)數(shù)據(jù)的獨(dú)立性，避免早期融合中可能出現(xiàn)的噪聲問(wèn)題。每個(gè)模態(tài)的數(shù)據(jù)在單獨(dú)的模型中進(jìn)行處理，可以充分發(fā)揮該模態(tài)數(shù)據(jù)的特點(diǎn)和優(yōu)勢(shì)。但缺點(diǎn)是各模態(tài)數(shù)據(jù)在單獨(dú)處理時(shí)，可能會(huì)忽略它們之間的相互關(guān)系，無(wú)法充分利用多模態(tài)數(shù)據(jù)的互補(bǔ)信息。中期融合結(jié)合了早期融合和晚期融合的優(yōu)點(diǎn)，先對(duì)部分模態(tài)數(shù)據(jù)進(jìn)行早期融合，再與其他模態(tài)數(shù)據(jù)分別進(jìn)行模型處理，最后將結(jié)果進(jìn)行融合。在GBM預(yù)后預(yù)測(cè)中，考慮到MRI影像和基因數(shù)據(jù)在反映腫瘤的生物學(xué)特性方面具有較強(qiáng)的關(guān)聯(lián)性，先將MRI影像特征和基因特征進(jìn)行早期融合，得到融合特征F1。然后將F1與臨床特征分別輸入到不同的子模型中，如F1輸入到神經(jīng)網(wǎng)絡(luò)子模型，臨床特征輸入到線性回歸子模型。最后將兩個(gè)子模型的輸出進(jìn)行融合，得到最終的預(yù)測(cè)結(jié)果。這種策略能夠更靈活地利用多模態(tài)數(shù)據(jù)的信息，提高模型的性能。但模型結(jié)構(gòu)相對(duì)復(fù)雜，訓(xùn)練難度較大，需要更多的計(jì)算資源和時(shí)間。經(jīng)過(guò)實(shí)驗(yàn)對(duì)比，本研究選擇中期融合策略用于GBM預(yù)后預(yù)測(cè)。這是因?yàn)镚BM的復(fù)雜性決定了需要充分挖掘不同模態(tài)數(shù)據(jù)之間的關(guān)系，中期融合策略既能夠利用MRI影像和基因數(shù)據(jù)之間的內(nèi)在聯(lián)系，通過(guò)早期融合進(jìn)行特征學(xué)習(xí)，又能夠保持臨床數(shù)據(jù)的獨(dú)立性，使其在單獨(dú)的模型中發(fā)揮作用。通過(guò)這種方式，能夠更好地綜合多模態(tài)數(shù)據(jù)的信息，提高預(yù)后預(yù)測(cè)模型的準(zhǔn)確性和可靠性。3.3模型選擇與訓(xùn)練3.3.1常見(jiàn)機(jī)器學(xué)習(xí)模型介紹支持向量機(jī)（SupportVectorMachine，SVM）是一種經(jīng)典的機(jī)器學(xué)習(xí)模型，基于統(tǒng)計(jì)學(xué)習(xí)理論中的結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則。在多形性膠質(zhì)母細(xì)胞瘤（GBM）預(yù)后預(yù)測(cè)中，SVM通過(guò)尋找一個(gè)最優(yōu)分類(lèi)超平面，將不同預(yù)后類(lèi)別的樣本盡可能分開(kāi)。對(duì)于線性可分的數(shù)據(jù)，SVM可以找到一個(gè)線性超平面完美地分類(lèi)不同類(lèi)別；而對(duì)于線性不可分的數(shù)據(jù)，SVM通過(guò)核函數(shù)將數(shù)據(jù)映射到高維空間，使其變得線性可分。常用的核函數(shù)有線性核、多項(xiàng)式核、徑向基核（RBF）等。例如，在處理GBM的多模態(tài)特征數(shù)據(jù)時(shí)，如果特征之間存在復(fù)雜的非線性關(guān)系，使用徑向基核函數(shù)的SVM可以有效地學(xué)習(xí)這些關(guān)系，從而對(duì)患者的預(yù)后進(jìn)行分類(lèi)預(yù)測(cè)。SVM在小樣本、高維度數(shù)據(jù)上表現(xiàn)出色，能夠避免過(guò)擬合問(wèn)題，并且具有較好的泛化能力。決策樹(shù)（DecisionTree）是一種基于樹(shù)結(jié)構(gòu)的分類(lèi)和回歸模型。在GBM預(yù)后預(yù)測(cè)中，決策樹(shù)根據(jù)不同的特征（如臨床特征、影像特征、基因特征等）對(duì)樣本進(jìn)行逐步劃分。每個(gè)內(nèi)部節(jié)點(diǎn)表示一個(gè)特征上的測(cè)試，分支表示測(cè)試輸出，葉節(jié)點(diǎn)表示類(lèi)別或預(yù)測(cè)值。例如，以患者的年齡作為一個(gè)內(nèi)部節(jié)點(diǎn)，如果年齡大于60歲，則進(jìn)入一個(gè)分支，小于等于60歲進(jìn)入另一個(gè)分支，再結(jié)合其他特征（如腫瘤大小、IDH基因突變狀態(tài)等）繼續(xù)劃分，最終根據(jù)葉節(jié)點(diǎn)來(lái)判斷患者的預(yù)后情況。決策樹(shù)模型具有可解釋性強(qiáng)的優(yōu)點(diǎn)，能夠直觀地展示特征與預(yù)后之間的關(guān)系。但它容易出現(xiàn)過(guò)擬合現(xiàn)象，尤其是在數(shù)據(jù)維度較高、樣本數(shù)量有限的情況下。為了克服這一缺點(diǎn)，常使用隨機(jī)森林（RandomForest）等集成學(xué)習(xí)方法，隨機(jī)森林是由多個(gè)決策樹(shù)組成的森林，通過(guò)對(duì)多個(gè)決策樹(shù)的預(yù)測(cè)結(jié)果進(jìn)行投票或平均，提高模型的穩(wěn)定性和泛化能力。神經(jīng)網(wǎng)絡(luò)（NeuralNetwork），特別是深度學(xué)習(xí)中的多層感知器（MultilayerPerceptron，MLP）和卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork，CNN）在多模態(tài)數(shù)據(jù)處理中具有強(qiáng)大的能力。MLP是一種前饋神經(jīng)網(wǎng)絡(luò)，由輸入層、隱藏層和輸出層組成，隱藏層可以有多個(gè)。在GBM預(yù)后預(yù)測(cè)中，MLP可以將多模態(tài)特征作為輸入，通過(guò)隱藏層中神經(jīng)元之間的連接權(quán)重學(xué)習(xí)特征與預(yù)后之間的復(fù)雜關(guān)系。例如，將MRI影像特征、基因特征和臨床特征拼接后輸入到MLP中，經(jīng)過(guò)隱藏層的非線性變換，最終在輸出層得到患者預(yù)后的預(yù)測(cè)結(jié)果。CNN則專(zhuān)門(mén)用于處理圖像數(shù)據(jù)，它通過(guò)卷積層、池化層和全連接層等結(jié)構(gòu)，自動(dòng)提取圖像的特征。在處理GBM的MRI影像時(shí)，CNN能夠?qū)W習(xí)到腫瘤的形態(tài)、紋理等特征，為預(yù)后預(yù)測(cè)提供重要信息。此外，循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）及其變體長(zhǎng)短期記憶網(wǎng)絡(luò)（LongShort-TermMemory，LSTM）和門(mén)控循環(huán)單元（GatedRecurrentUnit，GRU）在處理序列數(shù)據(jù)時(shí)具有優(yōu)勢(shì)。雖然GBM數(shù)據(jù)中序列數(shù)據(jù)相對(duì)較少，但在分析患者的治療過(guò)程序列或隨訪時(shí)間序列等信息時(shí)，RNN及其變體可以發(fā)揮作用，捕捉序列中的時(shí)間依賴(lài)關(guān)系，從而輔助預(yù)后預(yù)測(cè)。3.3.2模型選擇依據(jù)在多形性膠質(zhì)母細(xì)胞瘤（GBM）預(yù)后預(yù)測(cè)中，模型的選擇至關(guān)重要，需要綜合考慮多種因素。支持向量機(jī)（SVM）在小樣本、高維度數(shù)據(jù)上表現(xiàn)出良好的性能，能夠有效處理多模態(tài)數(shù)據(jù)中維度較高的特征向量。對(duì)于GBM預(yù)后預(yù)測(cè)，雖然樣本數(shù)量相對(duì)有限，但多模態(tài)數(shù)據(jù)融合后的特征維度較高，SVM的核函數(shù)技巧可以將數(shù)據(jù)映射到高維空間，尋找最優(yōu)分類(lèi)超平面，從而實(shí)現(xiàn)準(zhǔn)確的預(yù)后分類(lèi)。然而，SVM對(duì)數(shù)據(jù)的分布和噪聲較為敏感，在處理復(fù)雜的非線性關(guān)系時(shí)，可能需要多次嘗試不同的核函數(shù)和參數(shù)，以達(dá)到最佳效果。決策樹(shù)模型具有直觀、可解釋性強(qiáng)的特點(diǎn)，能夠清晰地展示不同特征對(duì)GBM預(yù)后的影響。通過(guò)決策樹(shù)的分支結(jié)構(gòu)，可以直觀地看到年齡、腫瘤大小、基因狀態(tài)等特征是如何影響患者預(yù)后的。這對(duì)于臨床醫(yī)生理解模型的決策過(guò)程，判斷預(yù)后的關(guān)鍵因素具有重要意義。但決策樹(shù)容易過(guò)擬合，特別是在樣本數(shù)量有限且特征復(fù)雜的情況下。隨機(jī)森林作為決策樹(shù)的集成學(xué)習(xí)方法，通過(guò)構(gòu)建多個(gè)決策樹(shù)并進(jìn)行投票或平均，降低了過(guò)擬合的風(fēng)險(xiǎn)，提高了模型的穩(wěn)定性和泛化能力。然而，隨機(jī)森林的可解釋性相對(duì)決策樹(shù)有所降低，難以像決策樹(shù)那樣直觀地展示每個(gè)特征的具體作用。神經(jīng)網(wǎng)絡(luò)，尤其是深度學(xué)習(xí)模型，如卷積神經(jīng)網(wǎng)絡(luò)（CNN）和多層感知器（MLP），在處理多模態(tài)數(shù)據(jù)時(shí)展現(xiàn)出強(qiáng)大的自動(dòng)特征學(xué)習(xí)能力。CNN能夠自動(dòng)提取MRI影像中的高級(jí)語(yǔ)義特征，如腫瘤的形態(tài)、紋理和強(qiáng)化模式等，這些特征對(duì)于GBM預(yù)后預(yù)測(cè)具有重要價(jià)值。MLP則可以學(xué)習(xí)多模態(tài)特征之間的復(fù)雜非線性關(guān)系，綜合影像、基因和臨床特征進(jìn)行預(yù)后預(yù)測(cè)。但深度學(xué)習(xí)模型通常需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練，否則容易出現(xiàn)過(guò)擬合問(wèn)題。此外，深度學(xué)習(xí)模型的可解釋性較差，被稱(chēng)為“黑箱模型”，難以解釋模型的決策依據(jù)，這在一定程度上限制了其在臨床中的應(yīng)用。綜合考慮以上因素，本研究選擇了一種結(jié)合深度學(xué)習(xí)和傳統(tǒng)機(jī)器學(xué)習(xí)的混合模型。利用CNN對(duì)MRI影像數(shù)據(jù)進(jìn)行特征提取，充分發(fā)揮其在圖像特征學(xué)習(xí)方面的優(yōu)勢(shì)；使用MLP對(duì)多模態(tài)融合后的特征進(jìn)行進(jìn)一步學(xué)習(xí)，挖掘特征之間的復(fù)雜關(guān)系；最后，結(jié)合SVM進(jìn)行分類(lèi)預(yù)測(cè)，利用SVM在小樣本、高維度數(shù)據(jù)上的良好性能。這種混合模型既能夠充分利用各模型的優(yōu)點(diǎn)，又能在一定程度上彌補(bǔ)各自的不足，有望提高GBM預(yù)后預(yù)測(cè)的準(zhǔn)確性和可靠性。同時(shí)，通過(guò)可視化技術(shù)和特征重要性分析等方法，嘗試提高模型的可解釋性，使其更符合臨床應(yīng)用的需求。3.3.3模型訓(xùn)練與優(yōu)化在構(gòu)建基于多模態(tài)機(jī)器學(xué)習(xí)的多形性膠質(zhì)母細(xì)胞瘤（GBM）預(yù)后預(yù)測(cè)模型后，模型的訓(xùn)練與優(yōu)化是關(guān)鍵環(huán)節(jié)。在模型訓(xùn)練過(guò)程中，首先需要設(shè)置合理的參數(shù)。對(duì)于卷積神經(jīng)網(wǎng)絡(luò)（CNN）部分，卷積核的大小、數(shù)量和步長(zhǎng)是重要參數(shù)。較小的卷積核可以捕捉圖像的細(xì)節(jié)特征，而較大的卷積核能夠獲取更全局的信息。在處理GBM的MRI影像時(shí)，根據(jù)影像的分辨率和腫瘤特征的尺度，設(shè)置合適的卷積核大小，如3×3、5×5等。卷積核的數(shù)量決定了模型學(xué)習(xí)到的特征數(shù)量，通過(guò)試驗(yàn)不同的數(shù)量，如64、128、256等，選擇能夠使模型性能最佳的參數(shù)。步長(zhǎng)則影響卷積操作的滑動(dòng)間隔，合適的步長(zhǎng)可以在減少計(jì)算量的同時(shí)保留重要特征。對(duì)于多層感知器（MLP）部分，隱藏層的層數(shù)和神經(jīng)元數(shù)量是關(guān)鍵參數(shù)。增加隱藏層的層數(shù)可以提高模型學(xué)習(xí)復(fù)雜關(guān)系的能力，但也會(huì)增加模型的訓(xùn)練時(shí)間和過(guò)擬合的風(fēng)險(xiǎn)。通過(guò)多次試驗(yàn)，確定合適的隱藏層層數(shù)，如2-3層。隱藏層神經(jīng)元數(shù)量的設(shè)置也需要謹(jǐn)慎，過(guò)多的神經(jīng)元可能導(dǎo)致過(guò)擬合，過(guò)少則會(huì)影響模型的表達(dá)能力。通過(guò)網(wǎng)格搜索等方法，嘗試不同的神經(jīng)元數(shù)量組合，找到最優(yōu)的參數(shù)設(shè)置。訓(xùn)練次數(shù)，即模型在訓(xùn)練集上進(jìn)行訓(xùn)練的輪數(shù)，對(duì)模型性能也有重要影響。訓(xùn)練次數(shù)過(guò)少，模型可能無(wú)法充分學(xué)習(xí)到數(shù)據(jù)中的規(guī)律；而訓(xùn)練次數(shù)過(guò)多，模型可能會(huì)過(guò)擬合，對(duì)訓(xùn)練集表現(xiàn)良好，但在測(cè)試集上性能下降。在訓(xùn)練過(guò)程中，使用驗(yàn)證集來(lái)監(jiān)控模型的性能，當(dāng)模型在驗(yàn)證集上的性能不再提升，反而開(kāi)始下降時(shí)，停止訓(xùn)練，此時(shí)的訓(xùn)練次數(shù)即為合適的訓(xùn)練輪數(shù)。優(yōu)化算法的選擇也至關(guān)重要。本研究采用隨機(jī)梯度下降（SGD）及其變體Adagrad、Adadelta、Adam等優(yōu)化算法。SGD是一種簡(jiǎn)單而有效的優(yōu)化算法，它在每次迭代中隨機(jī)選擇一個(gè)小批量樣本計(jì)算梯度并更新參數(shù)。Adagrad根據(jù)每個(gè)參數(shù)的梯度歷史自動(dòng)調(diào)整學(xué)習(xí)率，對(duì)于稀疏數(shù)據(jù)表現(xiàn)較好。Adadelta是Adagrad的改進(jìn)版本，它通過(guò)累積過(guò)去梯度的平方和來(lái)動(dòng)態(tài)調(diào)整學(xué)習(xí)率，避免了Adagrad中學(xué)習(xí)率單調(diào)遞減的問(wèn)題。Adam結(jié)合了Adagrad和Adadelta的優(yōu)點(diǎn)，不僅能夠自適應(yīng)調(diào)整學(xué)習(xí)率，還能對(duì)梯度進(jìn)行動(dòng)量估計(jì)，加速模型的收斂。通過(guò)試驗(yàn)不同的優(yōu)化算法，發(fā)現(xiàn)Adam算法在本研究的GBM預(yù)后預(yù)測(cè)模型中表現(xiàn)最佳，能夠使模型更快地收斂到較優(yōu)的解。為了進(jìn)一步優(yōu)化模型，采用了多種方法。數(shù)據(jù)增強(qiáng)是一種常用的方法，對(duì)于MRI影像數(shù)據(jù)，通過(guò)旋轉(zhuǎn)、縮放、平移、翻轉(zhuǎn)等操作，生成更多的訓(xùn)練樣本，增加數(shù)據(jù)的多樣性，從而提高模型的泛化能力。例如，將MRI影像進(jìn)行一定角度的旋轉(zhuǎn)，或者在一定范圍內(nèi)進(jìn)行縮放，使模型能夠?qū)W習(xí)到不同角度和尺度下的腫瘤特征。正則化也是防止過(guò)擬合的重要手段，在模型中添加L1和L2正則化項(xiàng)。L1正則化項(xiàng)會(huì)使部分不重要的參數(shù)變?yōu)?，實(shí)現(xiàn)特征選擇；L2正則化項(xiàng)則通過(guò)對(duì)參數(shù)進(jìn)行約束，使參數(shù)值不會(huì)過(guò)大，從而防止模型過(guò)擬合。此外，還采用了Dropout技術(shù)，在訓(xùn)練過(guò)程中隨機(jī)丟棄一部分神經(jīng)元，避免神經(jīng)元之間的過(guò)擬合，提高模型的魯棒性。通過(guò)這些模型訓(xùn)練與優(yōu)化方法，不斷調(diào)整和改進(jìn)模型，使其在GBM預(yù)后預(yù)測(cè)中達(dá)到更好的性能。四、模型評(píng)估與結(jié)果分析4.1評(píng)估指標(biāo)選擇為了全面、準(zhǔn)確地評(píng)估基于多模態(tài)機(jī)器學(xué)習(xí)構(gòu)建的多形性膠質(zhì)母細(xì)胞瘤（GBM）預(yù)后預(yù)測(cè)模型的性能，本研究選用了一系列評(píng)估指標(biāo)，這些指標(biāo)從不同角度反映了模型的預(yù)測(cè)能力和可靠性。準(zhǔn)確率（Accuracy）是評(píng)估模型性能的基本指標(biāo)之一，它表示模型預(yù)測(cè)正確的樣本數(shù)占總樣本數(shù)的比例。在GBM預(yù)后預(yù)測(cè)中，準(zhǔn)確率能夠直觀地反映模型對(duì)患者預(yù)后良好和預(yù)后不良的總體判斷準(zhǔn)確性。例如，若模型對(duì)100例GBM患者進(jìn)行預(yù)后預(yù)測(cè)，其中正確預(yù)測(cè)了80例患者的預(yù)后情況，則準(zhǔn)確率為80%。然而，準(zhǔn)確率在樣本類(lèi)別不均衡的情況下可能會(huì)產(chǎn)生誤導(dǎo)。在GBM數(shù)據(jù)集中，如果預(yù)后良好的患者樣本數(shù)量遠(yuǎn)多于預(yù)后不良的患者樣本數(shù)量，即使模型將所有患者都預(yù)測(cè)為預(yù)后良好，也可能獲得較高的準(zhǔn)確率，但這并不能真實(shí)反映模型對(duì)預(yù)后不良患者的預(yù)測(cè)能力。召回率（Recall），也稱(chēng)為敏感度（Sensitivity）或真陽(yáng)性率（TruePositiveRate），它衡量的是實(shí)際為正例（在GBM預(yù)后預(yù)測(cè)中，即預(yù)后不良的患者）的樣本被模型正確預(yù)測(cè)為正例的比例。召回率對(duì)于GBM預(yù)后預(yù)測(cè)至關(guān)重要，因?yàn)闇?zhǔn)確識(shí)別出預(yù)后不良的患者，有助于醫(yī)生及時(shí)采取更積極的治療措施，提高患者的生存機(jī)會(huì)。例如，假設(shè)有50例預(yù)后不良的GBM患者，模型正確預(yù)測(cè)出了40例，則召回率為80%。召回率越高，說(shuō)明模型對(duì)預(yù)后不良患者的漏診率越低。F1值是綜合考慮準(zhǔn)確率和召回率的評(píng)估指標(biāo)，它是準(zhǔn)確率和召回率的調(diào)和平均數(shù)。F1值的計(jì)算公式為：F1=2\times\frac{準(zhǔn)確率\times召回率}{準(zhǔn)確率+召回率}。F1值能夠更全面地反映模型的性能，避免了單獨(dú)使用準(zhǔn)確率或召回率帶來(lái)的片面性。在GBM預(yù)后預(yù)測(cè)中，F(xiàn)1值越高，說(shuō)明模型在準(zhǔn)確判斷患者預(yù)后方面表現(xiàn)越好。例如，當(dāng)模型的準(zhǔn)確率為85%，召回率為75%時(shí)，通過(guò)計(jì)算可得F1值約為80%。受試者工作特征曲線下面積（AreaUndertheReceiverOperatingCharacteristicCurve，AUC）是一種常用的評(píng)估二分類(lèi)模型性能的指標(biāo)。AUC值的范圍在0到1之間，AUC值越大，說(shuō)明模型的性能越好。當(dāng)AUC=0.5時(shí)，模型的預(yù)測(cè)效果等同于隨機(jī)猜測(cè)；當(dāng)AUC=1時(shí)，模型能夠完美地區(qū)分不同類(lèi)別。在GBM預(yù)后預(yù)測(cè)中，AUC可以直觀地展示模型在不同閾值下對(duì)預(yù)后良好和預(yù)后不良患者的區(qū)分能力。例如，通過(guò)繪制模型的受試者工作特征曲線（ROC曲線），計(jì)算得到AUC值為0.85，說(shuō)明該模型在區(qū)分GBM患者預(yù)后方面具有較好的性能。均方根誤差（RootMeanSquareError，RMSE）常用于評(píng)估模型預(yù)測(cè)數(shù)值型結(jié)果的準(zhǔn)確性，在GBM預(yù)后預(yù)測(cè)中，如果模型預(yù)測(cè)患者的生存時(shí)間等連續(xù)型變量，RMSE可以衡量模型預(yù)測(cè)值與真實(shí)值之間的偏差程度。RMSE的計(jì)算公式為：RMSE=\sqrt{\frac{1}{n}\sum_{i=1}^{n}(y_{i}-\hat{y}_{i})^{2}}，其中y_{i}是真實(shí)值，\hat{y}_{i}是模型的預(yù)測(cè)值，n是樣本數(shù)量。RMSE值越小，說(shuō)明模型的預(yù)測(cè)值與真實(shí)值越接近，模型的預(yù)測(cè)準(zhǔn)確性越高。例如，模型對(duì)10例GBM患者的生存時(shí)間進(jìn)行預(yù)測(cè)，真實(shí)生存時(shí)間分別為[12,15,10,8,20,18,14,9,16,11]個(gè)月，模型預(yù)測(cè)值為[13,14,11,7,19,17,15,10,17,12]個(gè)月，通過(guò)計(jì)算可得RMSE值，該值反映了模型預(yù)測(cè)生存時(shí)間的誤差大小。這些評(píng)估指標(biāo)相互補(bǔ)充，能夠全面地評(píng)估GBM預(yù)后預(yù)測(cè)模型的性能，為模型的優(yōu)化和臨床應(yīng)用提供有力的依據(jù)。4.2實(shí)驗(yàn)結(jié)果經(jīng)過(guò)對(duì)基于多模態(tài)機(jī)器學(xué)習(xí)構(gòu)建的多形性膠質(zhì)母細(xì)胞瘤（GBM）預(yù)后預(yù)測(cè)模型的訓(xùn)練和優(yōu)化，在測(cè)試集上進(jìn)行了性能評(píng)估，得到了一系列實(shí)驗(yàn)結(jié)果，這些結(jié)果能夠直觀地展示模型的預(yù)測(cè)能力。在訓(xùn)練集上，模型表現(xiàn)出了較高的學(xué)習(xí)能力。準(zhǔn)確率達(dá)到了[X1]%，這表明模型在學(xué)習(xí)訓(xùn)練集中多模態(tài)數(shù)據(jù)與預(yù)后之間的關(guān)系時(shí)，能夠準(zhǔn)確地對(duì)大部分樣本進(jìn)行分類(lèi)，正確判斷患者的預(yù)后情況。召回率為[X2]%，說(shuō)明模型能夠較好地識(shí)別出訓(xùn)練集中預(yù)后不良的患者樣本，漏診率較低。F1值為[X3]，綜合體現(xiàn)了模型在訓(xùn)練集上的準(zhǔn)確率和召回率表現(xiàn)，表明模型在訓(xùn)練集上具有較好的性能。受試者工作特征曲線下面積（AUC）達(dá)到了[X4]，這意味著模型在訓(xùn)練集上對(duì)不同預(yù)后類(lèi)別的區(qū)分能力較強(qiáng)，能夠有效地將預(yù)后良好和預(yù)后不良的患者區(qū)分開(kāi)來(lái)。在驗(yàn)證集上，模型的性能依然較為穩(wěn)定。準(zhǔn)確率為[Y1]%，雖然略低于訓(xùn)練集，但仍保持在較高水平，說(shuō)明模型在驗(yàn)證集上也能較好地適應(yīng)數(shù)據(jù)分布，準(zhǔn)確判斷患者預(yù)后。召回率為[Y2]%，與訓(xùn)練集相比波動(dòng)較小，表明模型在驗(yàn)證集上對(duì)預(yù)后不良患者的識(shí)別能力穩(wěn)定。F1值為[Y3]，進(jìn)一步驗(yàn)證了模型在驗(yàn)證集上的綜合性能。AUC值為[Y4]，說(shuō)明模型在驗(yàn)證集上對(duì)不同預(yù)后類(lèi)別的區(qū)分能力與訓(xùn)練集相當(dāng)，沒(méi)有出現(xiàn)明顯的過(guò)擬合現(xiàn)象。在測(cè)試集上，模型的表現(xiàn)驗(yàn)證了其泛化能力。準(zhǔn)確率為[Z1]%，盡管與訓(xùn)練集和驗(yàn)證集相比有所下降，但仍然達(dá)到了[具體數(shù)值]以上，說(shuō)明模型在未知數(shù)據(jù)上能夠保持一定的預(yù)測(cè)準(zhǔn)確性。召回率為[Z2]%，體現(xiàn)了模型在測(cè)試集上對(duì)預(yù)后不良患者的識(shí)別能力，能夠有效地發(fā)現(xiàn)潛在的預(yù)后不良患者。F1值為[Z3]，綜合反映了模型在測(cè)試集上的準(zhǔn)確率和召回率，表明模型在測(cè)試集上具有較好的性能。AUC值為[Z4]，說(shuō)明模型在測(cè)試集上能夠較好地區(qū)分預(yù)后良好和預(yù)后不良的患者，預(yù)測(cè)能力較為可靠。例如，在對(duì)[具體數(shù)量]例GBM患者的測(cè)試集中，模型準(zhǔn)確預(yù)測(cè)了[正確預(yù)測(cè)數(shù)量]例患者的預(yù)后情況，其中對(duì)預(yù)后不良患者的正確預(yù)測(cè)數(shù)量為[正確預(yù)測(cè)預(yù)后不良患者數(shù)量]例，通過(guò)計(jì)算得出上述各項(xiàng)評(píng)估指標(biāo)的值。通過(guò)對(duì)比訓(xùn)練集、驗(yàn)證集和測(cè)試集的結(jié)果可以發(fā)現(xiàn)，模型在訓(xùn)練集上的性能略高于驗(yàn)證集和測(cè)試集，這是由于模型在訓(xùn)練過(guò)程中對(duì)訓(xùn)練集數(shù)據(jù)進(jìn)行了充分學(xué)習(xí)。但驗(yàn)證集和測(cè)試集的性能與訓(xùn)練集相差不大，說(shuō)明模型沒(méi)有出現(xiàn)嚴(yán)重的過(guò)擬合現(xiàn)象，具有較好的泛化能力，能夠在未知數(shù)據(jù)上保持穩(wěn)定的預(yù)測(cè)性能。這些實(shí)驗(yàn)結(jié)果表明，本研究構(gòu)建的基于多模態(tài)機(jī)器學(xué)習(xí)的GBM預(yù)后預(yù)測(cè)模型具有較好的預(yù)測(cè)能力，能夠?yàn)榕R床醫(yī)生提供有價(jià)值的參考，幫助他們更準(zhǔn)確地評(píng)估GBM患者的預(yù)后情況，制定個(gè)性化的治療方案。4.3結(jié)果對(duì)比與分析為了全面評(píng)估基于多模態(tài)機(jī)器學(xué)習(xí)構(gòu)建的多形性膠質(zhì)母細(xì)胞瘤（GBM）預(yù)后預(yù)測(cè)模型的性能，將其與傳統(tǒng)單模態(tài)模型和其他相關(guān)預(yù)測(cè)模型進(jìn)行了對(duì)比分析。傳統(tǒng)單模態(tài)模型中，選擇了僅基于臨床數(shù)據(jù)的邏輯回歸模型、僅基于MRI影像數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型以及僅基于基因數(shù)據(jù)的支持向量機(jī)（SVM）模型。在臨床數(shù)據(jù)的邏輯回歸模型中，利用患者的年齡、性別、KPS評(píng)分、治療方式等臨床特征進(jìn)行預(yù)后預(yù)測(cè)。在GBM患者數(shù)據(jù)集上，該模型的準(zhǔn)確率達(dá)到了[X]%，召回率為[Y]%，F(xiàn)1值為[Z]，AUC值為[W]。然而，由于臨床數(shù)據(jù)本身的局限性，它無(wú)法全面反映腫瘤的生物學(xué)特性，導(dǎo)致模型在區(qū)分預(yù)后良好和預(yù)后不良患者時(shí)存在一定困難，對(duì)一些復(fù)雜病例的預(yù)測(cè)準(zhǔn)確性較低?；贛RI影像數(shù)據(jù)的CNN模型，通過(guò)對(duì)T1WI、T2WI、T1WI增強(qiáng)等序列的圖像特征提取和分析進(jìn)行預(yù)后預(yù)測(cè)。該模型在測(cè)試集上的準(zhǔn)確率為[M]%，召回率為[N]%，F(xiàn)1值為[O]，AUC值為[P]。雖然MRI影像能夠提供腫瘤的形態(tài)、結(jié)構(gòu)和功能信息，但僅依靠影像數(shù)據(jù)，難以捕捉到腫瘤的分子生物學(xué)特征，對(duì)于一些影像表現(xiàn)相似但分子特征不同的GBM患者，模型的預(yù)測(cè)效果不佳。基于基因數(shù)據(jù)的SVM模型，利用基因表達(dá)數(shù)據(jù)中的關(guān)鍵基因特征進(jìn)行預(yù)后分類(lèi)。在實(shí)驗(yàn)中，該模型的準(zhǔn)確率為[Q]%，召回率為[R]%，F(xiàn)1值為[S]，AUC值為[T]?；驍?shù)據(jù)雖然蘊(yùn)含著腫瘤的分子生物學(xué)機(jī)制，但基因表達(dá)受到多種因素的影響，且基因數(shù)據(jù)的獲取和分析相對(duì)復(fù)雜，導(dǎo)致模型的穩(wěn)定性和泛化能力受到一定限制。與本研究構(gòu)建的多模態(tài)機(jī)器學(xué)習(xí)模型相比，這些傳統(tǒng)單模態(tài)模型在各項(xiàng)評(píng)估指標(biāo)上均表現(xiàn)較差。多模態(tài)機(jī)器學(xué)習(xí)模型通過(guò)整合臨床數(shù)據(jù)、MRI影像數(shù)據(jù)和基因數(shù)據(jù)，充分發(fā)揮了各模態(tài)數(shù)據(jù)的互補(bǔ)優(yōu)勢(shì)，在測(cè)試集上的準(zhǔn)確率達(dá)到了[高準(zhǔn)確率數(shù)值]%，召回率為[高召回率數(shù)值]%，F(xiàn)1值為[高F1值數(shù)值]，AUC值為[高AUC值數(shù)值]。例如，在面對(duì)一些具有復(fù)雜臨床特征、影像表現(xiàn)不典型且基因特征多樣的GBM患者時(shí)，多模態(tài)模型能夠綜合考慮各方面信息，做出更準(zhǔn)確的預(yù)后預(yù)測(cè)，而單模態(tài)模型則容易出現(xiàn)誤判。此外，還將本研究模型與其他相關(guān)的多模態(tài)預(yù)測(cè)模型進(jìn)行了對(duì)比。如一些采用簡(jiǎn)單特征融合策略的多模態(tài)模型，它們直接將不同模態(tài)的數(shù)據(jù)進(jìn)行拼接融合，沒(méi)有充分挖掘數(shù)據(jù)之間的潛在關(guān)系。在與這些模型的對(duì)比中，本研究提出的基于注意力機(jī)制的多模態(tài)動(dòng)態(tài)融合策略和多模態(tài)圖神經(jīng)網(wǎng)絡(luò)-卷積神經(jīng)網(wǎng)絡(luò)融合模型（MGCN-CNN）展現(xiàn)出明顯優(yōu)勢(shì)。本模型能夠更有效地捕捉多模態(tài)數(shù)據(jù)之間的復(fù)雜關(guān)系，動(dòng)態(tài)分配不同模態(tài)數(shù)據(jù)的權(quán)重，從而提高了模型的預(yù)測(cè)性能。在預(yù)測(cè)一些預(yù)后情況較為模糊的GBM患者時(shí)，本模型能夠更準(zhǔn)確地判斷患者的預(yù)后，減少誤判和漏判的情況。這些對(duì)比結(jié)果充分表明，本研究構(gòu)建的基于多模態(tài)機(jī)器學(xué)習(xí)的GBM預(yù)后預(yù)測(cè)模型在性能上優(yōu)于傳統(tǒng)單模態(tài)模型和一些其他多模態(tài)模型，能夠?yàn)榕R床醫(yī)生提供更準(zhǔn)確、可靠的預(yù)后預(yù)測(cè)結(jié)果，具有重要的臨床應(yīng)用價(jià)值。4.4模型的臨床應(yīng)用潛力分析從指導(dǎo)治療方案選擇的角度來(lái)看，基于多模態(tài)機(jī)器學(xué)習(xí)的多形性膠質(zhì)母細(xì)胞瘤（GBM）預(yù)后預(yù)測(cè)模型具有重要的臨床價(jià)值。對(duì)于預(yù)測(cè)預(yù)后較好的GBM患者，醫(yī)生可以采取相對(duì)積極的治療策略。例如，在手術(shù)治療方面，更傾向于進(jìn)行根治性切除手術(shù)，力求盡可能徹底地去除腫瘤組織，以降低腫瘤復(fù)發(fā)的風(fēng)險(xiǎn)。因?yàn)檫@類(lèi)患者身體狀況和腫瘤生物學(xué)特性相對(duì)較好，能夠更好地耐受手術(shù)創(chuàng)傷，積極的手術(shù)切除有望顯著延長(zhǎng)患者的生存期。在術(shù)后輔助治療中，對(duì)于預(yù)后較好的患者，可以加強(qiáng)放化療的強(qiáng)度，采用更密集的放療方案和更高劑量的化療藥物，以進(jìn)一步殺滅殘留的腫瘤細(xì)胞。而對(duì)于預(yù)測(cè)預(yù)后較差的患者，治療策略則需更加注重患者的生活質(zhì)量。手術(shù)方面，可能會(huì)選擇相對(duì)保守的姑息性手術(shù)，如腫瘤部分切除或減壓手術(shù)，以緩解腫瘤對(duì)周?chē)X組織的壓迫，減輕患者的癥狀，而不是追求完全切除腫瘤。在放化療方面，會(huì)根據(jù)患者的身體狀況適當(dāng)降低治療強(qiáng)度，避免過(guò)度治療給患者帶來(lái)難以承受的副作用。同時(shí)，積極開(kāi)展姑息治療，如給予止痛、營(yíng)養(yǎng)支持等治療措施，緩解患者的痛苦，提高患者的生活質(zhì)量。在評(píng)估患者生存時(shí)間方面