AI如何賦能藥物研發(fā)工作中的最后一步：臨床試驗。圖1：藥物研發(fā)生產(chǎn)流程，圖片引自[1]↓臨床試驗簡介藥物研發(fā)的最后一步，便是將藥物大規(guī)模應(yīng)用到患者體內(nèi)以進(jìn)行實際效果測試，這一步驟即臨床試驗。臨床試驗是一種系統(tǒng)性的研究，其目的是調(diào)查醫(yī)藥產(chǎn)品對人類疾病過程的影響，以證實或揭示試驗藥物的作用、不良反應(yīng)及試驗藥物的吸收、分布、代謝和排泄，并最終確定試驗藥物的療效與安全性。臨床試驗是一項極為重要的任務(wù)，其結(jié)果直接決定了藥物能否成功上市。如果臨床試驗無法通過，那前期所有的初篩、優(yōu)化、預(yù)實驗都將失去意義。但是臨床試驗的結(jié)果會受到多種客觀因素的影響，其中至關(guān)重要的一點(diǎn)是試驗患者的匹配?；颊叩钠ヅ涫侵笇⒀芯繉ο蟀凑找欢ǖ臉?biāo)準(zhǔn)進(jìn)行分類，以挑選出最適合特定臨床試驗的患者。每個臨床試驗都會有不同的納入標(biāo)準(zhǔn)和排除標(biāo)準(zhǔn)，患者自身的情況也需要達(dá)到一定的門檻，才可以參加。招募合適的患者這一過程是非常耗時且困難的。這個過程需要仔細(xì)分析患者的病歷，根據(jù)臨床試驗的納入標(biāo)準(zhǔn)和排除標(biāo)準(zhǔn)判斷患者和試驗的匹配度。據(jù)統(tǒng)計有50%的臨床試驗由于招募不到合適的患者而被迫延遲，有25%的臨床試驗由于患者不足而完全無法開展。據(jù)估算每招募一名患者約花費(fèi)6000至7500美元，成本可謂十分高昂。因此如果進(jìn)行高效的臨床試驗-患者匹配，是藥物研發(fā)中急需解決的一個難傳統(tǒng)的臨床試驗患者匹配方法及局限性傳統(tǒng)情況下，患者和試驗的匹配是人工進(jìn)行的。主要包含兩大方生）和TOC（找患者）。早期的患者招募機(jī)構(gòu)多采取線下招募的方式，即項目人員前往不同的城市、醫(yī)院，乃至不同的目標(biāo)科室，通過醫(yī)生協(xié)助而接觸目標(biāo)患者。招募者會根據(jù)各個患者的特征，并參考臨床試驗的InclusionCriteria、ExclusionCriteria，為臨床試驗挑選合適的患者。這樣的方法存在著一些難以解決的問題：?招募效率低：人工篩選過程耗時且效率不高，很難快速識別和招募合適的患者，這可能導(dǎo)致臨床試驗啟動和完成的時間延長。?數(shù)據(jù)利用不充分：人工匹配的方法難以充分利用患者的歷史醫(yī)療記錄和其他相關(guān)信息來進(jìn)行更精細(xì)化的匹配。?復(fù)雜性和多變性不足：臨床試驗可能沒有考慮到患者病情的復(fù)雜性和多變性，例如患者可能同時患有多種疾病，這在傳統(tǒng)的匹配方法中難以體現(xiàn)。?統(tǒng)計功效問題：由于傳統(tǒng)匹配方法可能導(dǎo)致樣本數(shù)量不足或樣本選擇存在偏差，這可能影響臨床試驗的統(tǒng)計功效，即發(fā)現(xiàn)實際有效治療效果的能力。因此，如果存在一種方法能自動,高準(zhǔn)確率,其大批量的為臨床試驗匹配患者，便可節(jié)省大量的人力、物力，治愈更多的患者。TrialGPT,基于大語言模型的臨床試驗患者匹配方法近年來，隨著大語言模型（LLM）的發(fā)展，越來越多的人注意到了大語言模型在提高臨床試驗招募的效率和準(zhǔn)確性方面的潛力。大語言模型作為一種基于深度學(xué)習(xí)的AI技術(shù)，已經(jīng)在許多領(lǐng)域展現(xiàn)出了驚人的能力，比如大語言模型為自然語言處理（NLP）領(lǐng)域的文本生成、文本摘要、問答系統(tǒng)等任務(wù)帶來了顛覆性的突破，也為計算機(jī)視覺（CV）領(lǐng)域的文生圖等多模態(tài)任務(wù)提供了新的思路。簡單來說，大語言模型是一種可以理解給定的上下文，并根據(jù)上下文做出回應(yīng)的生成模型。大語言模型首先在一個包含數(shù)萬億單詞的大型語料庫上進(jìn)行預(yù)訓(xùn)練，訓(xùn)練的方式是通過給定的文本序列去預(yù)測下一個單詞，從而得到基礎(chǔ)模型（basemodel），如GPT-3、PaLM、LLaMA等。然后，這些基礎(chǔ)模型可以進(jìn)一步在特定的任務(wù)上進(jìn)行微調(diào)，以更好地遵循人類的指示，從而得到現(xiàn)在被人們廣泛使用的ChatGPT，Copilot等產(chǎn)品。還有人嘗試使用具體垂直領(lǐng)域，如生物醫(yī)療、法律、教育，等領(lǐng)域的文本對基礎(chǔ)模型進(jìn)行微調(diào)以得到專用大語言模型，這些模型同樣在具體領(lǐng)域上展示出了良好的性能。此外，大語言模型具有在推理時根據(jù)輸入的PROMPT學(xué)習(xí)新任務(wù)的能力，即上下文學(xué)習(xí)（ICL），這可能也是大語言模型在具體領(lǐng)域展示良好性能的原因之一。鑒于大語言模型的巨大潛力，已經(jīng)有研究者開始探索大語言模型能否在醫(yī)藥臨床試驗中提供幫助。如近期，為了嘗試大語言模型能否幫助患者和醫(yī)生在海量的臨床試驗中找到合適的匹配，美國國立衛(wèi)生研究院（NIH）的研究人員提出了一種基于大語言模型的方法，利用大語言模型進(jìn)行患者-試驗匹配，名為TrialGPT[2]。圖2：TrialGPT↓TrialGPT工作流程TrialGPT的核心思想是利用大語言模型的生成能力和解釋能力以快速的處理海量的患者信息和臨床試驗受試者要求?；颊咝畔⒅型ǔ涗浢總€患者具體的個人信息，如年齡、性別、疾病史等。臨床試驗受試者要求中則會具體的描述納入標(biāo)準(zhǔn)（Inclusioncriteria）和排除標(biāo)準(zhǔn)（Exclusioncriteria）。TrialGPT主要針對的任務(wù)是將患者分配給具體的臨床試驗。即，當(dāng)給定一個患者時，TrialGPT會利用基礎(chǔ)模型去理解患者的病例，并根據(jù)臨床試驗受試者要求中的納入標(biāo)準(zhǔn)和排除標(biāo)準(zhǔn)為患者匹配出最適合的一些臨床試驗。圖3：TrialGPT整體結(jié)構(gòu)，圖片引自[2]↓標(biāo)準(zhǔn)級別的分類整體流程如圖2中的a所示，這一部分分類的目的是細(xì)粒度的去判斷患者是否符合納入標(biāo)準(zhǔn)和排除標(biāo)準(zhǔn)的每一個要求。在納入標(biāo)準(zhǔn)中的每個要求中，TrialGPT會將患者分類為：納入，不納入，不相關(guān)。在排除標(biāo)準(zhǔn)中的每個條目中，將患者分類為：排除，不排除，不相關(guān)。在分類的同時，TrialGPT會針對具體每個要求解釋為何做出這樣的分類，并給出得到這一分類結(jié)果所依據(jù)的具體患者信息。試驗級別的評估整體流程如圖2中的b所示，這一部分計算的目的是整合標(biāo)準(zhǔn)級別的分類結(jié)果，以將患者-試驗對分類至如下三類：合格，不合格，不相關(guān)。?不相關(guān)：不相關(guān)的患者是指與試驗?zāi)康幕驐l件無關(guān)的患者，例如試驗針對的是多發(fā)性硬化癥，而患者患有其他疾病。這類患者應(yīng)該從候選名單中剔除，以避免?不合格：排除的患者是指明確不符合試驗入選或排除標(biāo)準(zhǔn)的患者，例如試驗要求患者年齡在18歲以上，而患者只有15歲。這類患者也應(yīng)該從候選名單中剔除，以保證試驗的有效性和安全性。?合格：符合的患者是指滿足試驗入選和排除標(biāo)準(zhǔn)的患者，例如試驗要求患者有確診的多發(fā)性硬化癥，而患者的病歷證實了這一點(diǎn)。這類患者是試驗的目標(biāo)人群，可以參與試驗并接受相應(yīng)的干預(yù)措施。分類主要基于兩個指標(biāo)：患者-試驗對的相關(guān)性分?jǐn)?shù)(Relevancescore)，患者-試驗對的合格分?jǐn)?shù)（Eligibilityscore?；颊?試驗對的相關(guān)性分?jǐn)?shù)主要用來衡量患者和臨床試驗之間是否相關(guān)。當(dāng)患者和臨床試驗完全不相關(guān)時，即患者-試驗對屬于不相關(guān)組時，相關(guān)性分?jǐn)?shù)會顯著的低于合格組與不合格組。在合格組與不合格組之間，不合格組的相關(guān)性分?jǐn)?shù)也會普遍低于患者-實驗堆的合格分?jǐn)?shù)主要用來衡量患者是否符合臨床試驗受試者要求。正如其字面意義，合格組的患者-試驗對會呈現(xiàn)較高的合格分?jǐn)?shù)，而不合格組的患者-試驗對呈現(xiàn)較低的合格分?jǐn)?shù)。TrialGPT計算相關(guān)性分?jǐn)?shù)和合格分?jǐn)?shù)主要依據(jù)了兩種不同的方法：經(jīng)典的線性組合方法、基于大語言模型的方法。?線性組合方法：TrialGPT將標(biāo)準(zhǔn)分類中的各個結(jié)果指數(shù)進(jìn)行線性組合，以計算出患者-試驗對的相關(guān)性分?jǐn)?shù)以及合格分?jǐn)?shù)。進(jìn)行計算的結(jié)果指數(shù)包括：納入標(biāo)準(zhǔn)的分類結(jié)果、排除標(biāo)準(zhǔn)的分類結(jié)果、解釋結(jié)果、相關(guān)句定位結(jié)果。?基于大語言模型的方法：TrialGPT直接將標(biāo)準(zhǔn)級別的分類結(jié)果輸入大語言模型，讓大語言模型評估患者-試驗對的相關(guān)性分?jǐn)?shù)以及合格分?jǐn)?shù)。候選試驗的排序如圖2的c所示，在為具體患者得到其所有患者-試驗對的相關(guān)性分?jǐn)?shù)和合格分?jǐn)?shù)后，TrialGPT便可以依據(jù)這兩個指標(biāo)，為每個患者排序出最適合的臨床試驗，或者為患者排除掉一些嚴(yán)重不符合的臨床試驗。TrialGPT性能評估為了評估TrialGPT的性能，研究人員使用了三個公開可用的患者-試驗匹配數(shù)據(jù)集，分別來自SIGIR2016、TREC2021CT和TREC2022CT。這些數(shù)據(jù)集包含了184個患者和18,238個經(jīng)過人工標(biāo)注的臨床試驗，并可以直接用來評估TrialGPT的實際評估采用了兩個指標(biāo)：排序分?jǐn)?shù)（Rankingclinicaltrials）和排除分?jǐn)?shù)（Excludingclinicaltrails）。排序分?jǐn)?shù)包括NDGG@10和P@10兩個指標(biāo)，簡單而言是用來評價排序準(zhǔn)確率的兩個指標(biāo)，指標(biāo)越高表示模型效果越好。排除分?jǐn)?shù)則以分類結(jié)果的具體的結(jié)果如圖3所示，可以明顯看到，綜合了線性組合和大語言模型兩種分?jǐn)?shù)組合方法后。TrialGPT相較baseline展示出了較大的效果提升。這展現(xiàn)了大語言模型在臨床試驗患者匹配這一任務(wù)上的優(yōu)越性。圖4：TrialGPT及多種baseline的結(jié)果指標(biāo)。圖片引自[2]↓基于大語言模型的臨床試驗患者匹配方法的局限性盡管TrailGPT在臨床試驗患者匹配這一任務(wù)上展示出了較高的準(zhǔn)確性。但這一技術(shù)仍然受到大語言模型一些固有問題的限制。如當(dāng)前的大語言模型實際缺乏醫(yī)學(xué)領(lǐng)域的專業(yè)知識，并且很多情境下難以理解醫(yī)學(xué)上下文的依賴性，大語言模型還經(jīng)常會出現(xiàn)幻覺的問題，這些局限性通常會導(dǎo)致大語言模型預(yù)測時會出現(xiàn)一些錯誤。雖然目前已有用醫(yī)學(xué)文本微調(diào)后的醫(yī)學(xué)大語言模型，但大語言模型幻覺的問題目前難以解決。一種可能的解決辦法是使用檢索增強(qiáng)生成（RAG）技術(shù)來進(jìn)行結(jié)果增強(qiáng)以避免幻覺，不過RAG技術(shù)仍受到知識庫構(gòu)建步驟的影響?？傮w而言，大語言模型的解釋能力是非常有價值的，未來的研究可以將人工智能助手更好地融入到臨床試驗匹配的實際工作流程中，以提高其效率和效果。Reference[1]ZhangY，LuoM，WuP，etal。Applicationofcom