基于神經(jīng)網(wǎng)絡(luò)方法的小分子勢能面精準(zhǔn)構(gòu)建與應(yīng)用探索一、引言1.1研究背景與意義在化學(xué)和物理領(lǐng)域，對分子體系的深入理解始終是核心目標(biāo)之一。分子的各種性質(zhì)和行為，從化學(xué)反應(yīng)的機(jī)理到材料的物理特性，都與分子內(nèi)原子間的相互作用密切相關(guān)。而小分子勢能面，作為描述分子中原子間相互作用勢能隨原子坐標(biāo)變化的函數(shù)，為研究這些微觀過程提供了關(guān)鍵的理論基礎(chǔ)。從化學(xué)反應(yīng)動力學(xué)的角度來看，勢能面決定了反應(yīng)路徑和反應(yīng)速率?；瘜W(xué)反應(yīng)可視為分子在勢能面上的“運(yùn)動”過程，反應(yīng)物分子沿著勢能面的特定路徑跨越能壘，轉(zhuǎn)化為產(chǎn)物分子。精確的勢能面能夠準(zhǔn)確預(yù)測反應(yīng)的能壘、反應(yīng)熱以及不同反應(yīng)通道的分支比，從而幫助化學(xué)家理解反應(yīng)機(jī)理，優(yōu)化反應(yīng)條件，甚至設(shè)計(jì)新的化學(xué)反應(yīng)。例如，在燃燒反應(yīng)中，對燃料分子與氧氣反應(yīng)勢能面的研究，有助于提高燃燒效率，減少污染物排放；在催化反應(yīng)中，勢能面的分析可以揭示催化劑如何降低反應(yīng)能壘，從而開發(fā)更高效的催化劑。在分子光譜學(xué)中，勢能面是解釋分子光譜特征的關(guān)鍵。分子的振動和轉(zhuǎn)動能級與勢能面的形狀緊密相關(guān)，通過精確的勢能面計(jì)算，可以準(zhǔn)確預(yù)測分子的光譜頻率和強(qiáng)度，為實(shí)驗(yàn)光譜的解析提供有力工具。這對于識別分子結(jié)構(gòu)、研究分子間相互作用以及探測星際空間中的分子等方面都具有重要意義。傳統(tǒng)的構(gòu)建小分子勢能面的方法，如基于物理驅(qū)動模型的經(jīng)驗(yàn)勢能場和對從頭算數(shù)據(jù)進(jìn)行復(fù)雜數(shù)學(xué)擬合的方法，都存在一定的局限性。經(jīng)驗(yàn)勢能場雖然計(jì)算效率較高，在相似元素組成的不同規(guī)模體系間具有一定的遷移性，但難以準(zhǔn)確描述復(fù)雜的多體相互作用以及成鍵/斷鍵過程。而基于復(fù)雜數(shù)學(xué)擬合的方法，雖然靈活性較高，適用于特定體系的分子光譜學(xué)和反應(yīng)動力學(xué)研究，但缺乏可擴(kuò)展性和可遷移性，且隨著體系維度的增加，計(jì)算復(fù)雜度呈指數(shù)增長。近年來，神經(jīng)網(wǎng)絡(luò)方法的興起為小分子勢能面的構(gòu)建帶來了新的契機(jī)。神經(jīng)網(wǎng)絡(luò)作為一種強(qiáng)大的機(jī)器學(xué)習(xí)工具，具有出色的非線性擬合能力，能夠自動學(xué)習(xí)復(fù)雜的數(shù)據(jù)模式和內(nèi)在規(guī)律。在勢能面構(gòu)建中，神經(jīng)網(wǎng)絡(luò)可以將大量的從頭算數(shù)據(jù)作為訓(xùn)練樣本，通過學(xué)習(xí)這些數(shù)據(jù)中的原子坐標(biāo)與勢能之間的復(fù)雜映射關(guān)系，構(gòu)建出高精度的勢能面模型。這種數(shù)據(jù)驅(qū)動的方法不僅能夠克服傳統(tǒng)方法在描述復(fù)雜相互作用時的局限性，還具有更高的靈活性和泛化能力，能夠適應(yīng)不同體系和不同條件下的勢能面構(gòu)建需求。神經(jīng)網(wǎng)絡(luò)方法在處理高維數(shù)據(jù)方面具有獨(dú)特優(yōu)勢，能夠有效應(yīng)對小分子勢能面構(gòu)建中體系維度增加帶來的挑戰(zhàn)。通過適當(dāng)?shù)木W(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)和訓(xùn)練策略，神經(jīng)網(wǎng)絡(luò)可以在高維空間中準(zhǔn)確地表示勢能面的復(fù)雜形狀，實(shí)現(xiàn)對任意核構(gòu)型下勢能的精確預(yù)測。這使得研究人員能夠更深入地探索分子體系的微觀世界，為化學(xué)和物理領(lǐng)域的研究提供更為準(zhǔn)確和全面的理論支持。1.2國內(nèi)外研究現(xiàn)狀自20世紀(jì)90年代末起，神經(jīng)網(wǎng)絡(luò)方法開始被嘗試用于構(gòu)建小分子勢能面。早期，受限于高質(zhì)量數(shù)據(jù)的匱乏和計(jì)算資源的不足，這些研究大多停留在概念驗(yàn)證階段，主要目的是展示神經(jīng)網(wǎng)絡(luò)作為非線性擬合工具在勢能面表示中的潛力。當(dāng)時，如何使勢能面滿足對稱性要求，特別是對相同原子置換的不變性，尚未得到系統(tǒng)解決，雖然部分研究提出在輸入層或隱藏層引入對稱化操作的設(shè)想，但缺乏通用的有效方法。進(jìn)入21世紀(jì)，隨著計(jì)算技術(shù)的進(jìn)步和數(shù)據(jù)量的增加，基于神經(jīng)網(wǎng)絡(luò)的小分子勢能面構(gòu)建研究取得了顯著進(jìn)展。研究人員針對多原子分子和反應(yīng)，開發(fā)了結(jié)合從頭算數(shù)據(jù)采樣策略的神經(jīng)網(wǎng)絡(luò)勢能模型，部分模型已達(dá)到光譜級精度，能夠精確地預(yù)測分子的光譜特征，為實(shí)驗(yàn)光譜的解析提供了有力支持。然而，這些模型在對稱性實(shí)現(xiàn)方面仍存在欠缺，限制了其在更廣泛體系中的應(yīng)用。在國內(nèi)，許多科研團(tuán)隊(duì)積極投身于這一領(lǐng)域的研究。吉林大學(xué)李輝教授課題組提出了“物理模型+神經(jīng)網(wǎng)絡(luò)”的理論框架，并基于此開發(fā)了MLRNet模型。該模型將神經(jīng)網(wǎng)絡(luò)嵌入物理勢能函數(shù)，成功突破了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型在相互作用長程和短程漸近區(qū)擬合效率低、外推誤差大的問題。在CO2-He體系和H2O-Ar體系的測試中，MLRNet模型展現(xiàn)出極高的擬合精度，擬合誤差相比mdMLR模型大幅降低，同時在長程和短程外推精度上表現(xiàn)出色，且模型效率高，所需參數(shù)少，為分子間相互作用勢能面的構(gòu)建提供了新的有效途徑。在國外，相關(guān)研究也在不斷深入。一些研究致力于開發(fā)新的神經(jīng)網(wǎng)絡(luò)架構(gòu)和訓(xùn)練算法，以提高勢能面構(gòu)建的精度和效率。例如，通過改進(jìn)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，使其能夠更好地處理高維數(shù)據(jù)和復(fù)雜的分子體系；采用更先進(jìn)的訓(xùn)練算法，加速模型的收斂速度，減少訓(xùn)練時間。同時，研究人員也在探索如何利用大數(shù)據(jù)和云計(jì)算技術(shù)，獲取更多的從頭算數(shù)據(jù)，進(jìn)一步提升神經(jīng)網(wǎng)絡(luò)勢能模型的性能。盡管基于神經(jīng)網(wǎng)絡(luò)構(gòu)建小分子勢能面的研究取得了諸多成果，但目前仍存在一些不足之處。一方面，神經(jīng)網(wǎng)絡(luò)模型對數(shù)據(jù)的依賴程度較高，需要大量高質(zhì)量的從頭算數(shù)據(jù)進(jìn)行訓(xùn)練。然而，獲取這些數(shù)據(jù)的計(jì)算成本高昂，且在某些情況下，實(shí)驗(yàn)數(shù)據(jù)的匱乏也限制了模型的訓(xùn)練和驗(yàn)證。另一方面，雖然部分模型在特定體系中表現(xiàn)出良好的性能，但如何構(gòu)建具有廣泛適用性和可遷移性的通用勢能模型，仍然是一個亟待解決的問題。此外，神經(jīng)網(wǎng)絡(luò)模型的物理可解釋性較差，難以直觀地理解模型預(yù)測結(jié)果背后的物理機(jī)制，這也在一定程度上阻礙了其在實(shí)際應(yīng)用中的推廣。1.3研究內(nèi)容與創(chuàng)新點(diǎn)本文主要圍繞基于神經(jīng)網(wǎng)絡(luò)方法構(gòu)建小分子勢能面展開深入研究，旨在突破傳統(tǒng)方法的局限，為分子體系的研究提供更為精確和高效的勢能面模型。具體研究內(nèi)容包括：神經(jīng)網(wǎng)絡(luò)模型的設(shè)計(jì)與優(yōu)化：深入研究多種神經(jīng)網(wǎng)絡(luò)架構(gòu)，如多層感知機(jī)（MLP）、徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)（RBFNN）以及近年來發(fā)展迅速的圖神經(jīng)網(wǎng)絡(luò)（GNN）等，分析它們在處理小分子勢能面問題時的優(yōu)勢與不足。通過對網(wǎng)絡(luò)結(jié)構(gòu)的調(diào)整、神經(jīng)元數(shù)量的優(yōu)化以及激活函數(shù)的選擇，構(gòu)建出最適合小分子勢能面構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型。例如，對于具有復(fù)雜幾何結(jié)構(gòu)的小分子，圖神經(jīng)網(wǎng)絡(luò)能夠更好地捕捉原子間的相互關(guān)系，因此將重點(diǎn)研究如何優(yōu)化圖神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)置，以提高其在勢能面構(gòu)建中的性能。數(shù)據(jù)處理與特征工程：收集和整理大量高質(zhì)量的從頭算數(shù)據(jù)，這些數(shù)據(jù)將作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練的基礎(chǔ)。針對小分子體系的特點(diǎn)，進(jìn)行數(shù)據(jù)預(yù)處理，包括數(shù)據(jù)清洗、標(biāo)準(zhǔn)化和歸一化等操作，以提高數(shù)據(jù)的質(zhì)量和可用性。同時，開展特征工程研究，提取能夠準(zhǔn)確描述小分子結(jié)構(gòu)和相互作用的特征，如原子坐標(biāo)、鍵長、鍵角、二面角等幾何特征，以及電子密度、靜電勢等電子結(jié)構(gòu)特征。通過對這些特征的合理選擇和組合，為神經(jīng)網(wǎng)絡(luò)提供更有效的輸入信息，從而提升模型的預(yù)測精度。對稱性處理與物理約束：確保構(gòu)建的勢能面滿足分子體系的對稱性要求，是本研究的關(guān)鍵任務(wù)之一。研究如何在神經(jīng)網(wǎng)絡(luò)模型中引入對稱性操作，如置換不變性、旋轉(zhuǎn)不變性和平移不變性等，使模型能夠正確處理相同原子的置換和分子的旋轉(zhuǎn)平移等情況。同時，將物理約束條件融入神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程，如能量守恒、力的平衡等物理原理，保證勢能面的物理合理性。例如，通過設(shè)計(jì)特殊的損失函數(shù)，將物理約束轉(zhuǎn)化為數(shù)學(xué)約束，在模型訓(xùn)練過程中強(qiáng)制模型滿足這些約束條件，從而提高勢能面的質(zhì)量。模型驗(yàn)證與應(yīng)用：使用獨(dú)立的測試數(shù)據(jù)集對構(gòu)建的神經(jīng)網(wǎng)絡(luò)勢能面模型進(jìn)行嚴(yán)格驗(yàn)證，評估模型的準(zhǔn)確性、泛化能力和穩(wěn)定性。通過與實(shí)驗(yàn)數(shù)據(jù)以及其他傳統(tǒng)方法構(gòu)建的勢能面進(jìn)行對比分析，全面驗(yàn)證模型的性能優(yōu)勢。將構(gòu)建的勢能面模型應(yīng)用于小分子體系的反應(yīng)動力學(xué)和分子光譜學(xué)研究中，通過模擬分子的反應(yīng)過程和光譜特征，進(jìn)一步驗(yàn)證模型在實(shí)際應(yīng)用中的有效性。例如，在反應(yīng)動力學(xué)研究中，利用勢能面模型計(jì)算反應(yīng)速率常數(shù)和反應(yīng)路徑，與實(shí)驗(yàn)結(jié)果進(jìn)行對比，深入理解化學(xué)反應(yīng)的微觀機(jī)制。本研究的創(chuàng)新點(diǎn)主要體現(xiàn)在以下幾個方面：提出新的神經(jīng)網(wǎng)絡(luò)架構(gòu)：針對小分子勢能面構(gòu)建的需求，創(chuàng)新性地提出一種融合了注意力機(jī)制和殘差連接的新型神經(jīng)網(wǎng)絡(luò)架構(gòu)。注意力機(jī)制能夠使模型更加關(guān)注分子結(jié)構(gòu)中的關(guān)鍵部分，提高對復(fù)雜相互作用的捕捉能力；殘差連接則有助于解決深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的梯度消失問題，加速模型的收斂速度，提高模型的訓(xùn)練效率和精度。發(fā)展高效的數(shù)據(jù)采樣與增強(qiáng)策略：為了減少對大規(guī)模從頭算數(shù)據(jù)的依賴，提出一種基于主動學(xué)習(xí)和數(shù)據(jù)增強(qiáng)的高效數(shù)據(jù)采樣策略。主動學(xué)習(xí)策略通過選擇最具信息量的數(shù)據(jù)點(diǎn)進(jìn)行計(jì)算，能夠在有限的數(shù)據(jù)資源下快速提升模型性能；數(shù)據(jù)增強(qiáng)策略則通過對已有數(shù)據(jù)進(jìn)行變換和擴(kuò)展，增加數(shù)據(jù)的多樣性，提高模型的泛化能力。這種數(shù)據(jù)采樣與增強(qiáng)策略的結(jié)合，不僅降低了計(jì)算成本，還提高了模型的訓(xùn)練效果。實(shí)現(xiàn)物理約束與神經(jīng)網(wǎng)絡(luò)的深度融合：將物理約束條件以一種新穎的方式深度融入神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和訓(xùn)練過程中，使模型在學(xué)習(xí)數(shù)據(jù)模式的同時，嚴(yán)格遵循物理規(guī)律。通過這種方式，構(gòu)建的勢能面模型不僅具有更高的精度，還具有更強(qiáng)的物理可解釋性，為從理論上深入理解分子體系的性質(zhì)和行為提供了有力工具。二、理論基礎(chǔ)2.1小分子勢能面概述2.1.1勢能面的定義與物理意義在量子化學(xué)領(lǐng)域，勢能面（PotentialEnergySurface，PES）是描述分子體系中原子間相互作用勢能與原子坐標(biāo)之間函數(shù)關(guān)系的多維曲面。從本質(zhì)上講，它是基于Born-Oppenheimer近似，將電子的運(yùn)動與原子核的運(yùn)動分離后得到的。由于原子核的質(zhì)量遠(yuǎn)大于電子，其運(yùn)動速度相對緩慢，因此在研究分子體系時，可以近似認(rèn)為電子能夠瞬間調(diào)整其狀態(tài)以適應(yīng)原子核的位置變化，從而將分子的勢能看作是原子核坐標(biāo)的函數(shù)。對于一個由N個原子組成的分子體系，其勢能面可以表示為一個3N-6（對于非線性分子）或3N-5（對于線性分子）維的超曲面。以最簡單的雙原子分子H_2為例，其勢能面是一維的，僅與兩個氫原子之間的距離相關(guān)。當(dāng)兩個氫原子相互靠近時，它們之間的電子云相互作用逐漸增強(qiáng)，勢能先降低，形成一個穩(wěn)定的化學(xué)鍵，此時對應(yīng)的距離為平衡鍵長；當(dāng)原子間距離進(jìn)一步縮短時，原子核之間的排斥力逐漸增大，勢能迅速上升。這種勢能隨原子間距離的變化關(guān)系，構(gòu)成了H_2分子的勢能曲線，它直觀地展示了分子在不同構(gòu)型下的穩(wěn)定性。對于多原子分子，如H_2O，其勢能面是一個3\times3-6=3維的超曲面，涉及到三個原子的相對位置關(guān)系，包括兩個O-H鍵長和一個H-O-H鍵角。在勢能面上，存在多個能量極小值點(diǎn)，對應(yīng)著分子的穩(wěn)定構(gòu)型，如水分子的穩(wěn)定構(gòu)型為V形結(jié)構(gòu)；同時，還存在能量鞍點(diǎn)，對應(yīng)著分子反應(yīng)過程中的過渡態(tài)，這些過渡態(tài)是反應(yīng)物轉(zhuǎn)化為產(chǎn)物的關(guān)鍵步驟，決定了反應(yīng)的能壘和反應(yīng)路徑。勢能面在描述分子結(jié)構(gòu)和反應(yīng)過程中具有至關(guān)重要的物理意義。從分子結(jié)構(gòu)角度看，勢能面的能量極小值點(diǎn)對應(yīng)著分子的穩(wěn)定構(gòu)型，通過尋找勢能面上的這些極小值，可以確定分子在不同條件下的最穩(wěn)定結(jié)構(gòu)，從而深入理解分子的幾何形狀和內(nèi)部原子間的相互作用。這對于解釋分子的物理性質(zhì)，如鍵長、鍵角、偶極矩等，以及預(yù)測分子的光譜特征具有重要意義。在化學(xué)反應(yīng)過程中，勢能面為研究反應(yīng)機(jī)理提供了關(guān)鍵信息。化學(xué)反應(yīng)可以看作是分子在勢能面上的“運(yùn)動”，反應(yīng)物分子沿著勢能面的特定路徑跨越能壘，到達(dá)產(chǎn)物分子對應(yīng)的能量極小值區(qū)域。勢能面的形狀決定了反應(yīng)路徑的多樣性和復(fù)雜性，不同的反應(yīng)路徑對應(yīng)著不同的反應(yīng)通道，各通道的反應(yīng)速率和選擇性與勢能面的能壘高度、形狀以及反應(yīng)物和產(chǎn)物在勢能面上的相對位置密切相關(guān)。通過對勢能面的分析，可以準(zhǔn)確預(yù)測反應(yīng)的能壘、反應(yīng)熱以及不同反應(yīng)通道的分支比，從而深入理解化學(xué)反應(yīng)的微觀機(jī)制，為化學(xué)反應(yīng)的控制和優(yōu)化提供理論依據(jù)。2.1.2構(gòu)建小分子勢能面的傳統(tǒng)方法構(gòu)建小分子勢能面的傳統(tǒng)方法主要包括經(jīng)驗(yàn)勢能場和解析函數(shù)擬合等，這些方法在分子模擬和化學(xué)反應(yīng)研究中發(fā)揮了重要作用，但也存在一定的局限性。經(jīng)驗(yàn)勢能場方法是基于物理模型和實(shí)驗(yàn)數(shù)據(jù)構(gòu)建的，它將分子間的相互作用分解為若干個簡單的勢能項(xiàng)，如鍵伸縮能、鍵角彎曲能、二面角扭轉(zhuǎn)能以及非鍵相互作用能（如范德華力和靜電相互作用）等。通過擬合實(shí)驗(yàn)數(shù)據(jù)或高精度的量子化學(xué)計(jì)算結(jié)果，確定這些勢能項(xiàng)中的參數(shù)，從而得到分子體系的勢能表達(dá)式。以廣泛應(yīng)用的AMBER（AssistedModelBuildingwithEnergyRefinement）力場和CHARMM（ChemistryatHARvardMacromolecularMechanics）力場為例，它們在生物分子模擬中取得了顯著成果，能夠有效地描述蛋白質(zhì)、核酸等生物大分子的結(jié)構(gòu)和動力學(xué)性質(zhì)。經(jīng)驗(yàn)勢能場方法具有計(jì)算效率高的優(yōu)點(diǎn)，能夠在較短時間內(nèi)處理大規(guī)模的分子體系，適用于長時間尺度的分子動力學(xué)模擬。然而，這種方法存在明顯的局限性。一方面，經(jīng)驗(yàn)勢能場通常基于簡單的物理模型，難以準(zhǔn)確描述復(fù)雜的多體相互作用，尤其是在涉及電子云重排和化學(xué)鍵的形成與斷裂等過程時，其描述能力顯得不足。另一方面，經(jīng)驗(yàn)勢能場的參數(shù)往往是針對特定類型的分子或體系進(jìn)行擬合得到的，缺乏普適性和可遷移性，對于新的分子體系或不同的化學(xué)環(huán)境，需要重新擬合參數(shù)，這不僅耗時費(fèi)力，而且可能導(dǎo)致參數(shù)的不確定性增加。解析函數(shù)擬合方法是通過選擇合適的解析函數(shù)形式，對從頭算量子化學(xué)計(jì)算得到的大量離散數(shù)據(jù)點(diǎn)進(jìn)行擬合，從而構(gòu)建勢能面的解析表達(dá)式。常用的解析函數(shù)包括Morse函數(shù)、Lennard-Jones函數(shù)以及基于多項(xiàng)式展開的函數(shù)等。在擬合過程中，通過最小二乘法等優(yōu)化算法調(diào)整解析函數(shù)中的參數(shù)，使得擬合函數(shù)能夠最佳地逼近從頭算數(shù)據(jù)點(diǎn)。例如，對于雙原子分子的勢能面構(gòu)建，可以使用Morse函數(shù)來描述原子間的相互作用勢能，通過擬合量子化學(xué)計(jì)算得到的不同原子間距下的能量數(shù)據(jù)，確定Morse函數(shù)中的參數(shù)，從而得到該雙原子分子的勢能曲線。解析函數(shù)擬合方法的優(yōu)點(diǎn)是能夠得到勢能面的顯式表達(dá)式，便于進(jìn)行理論分析和計(jì)算。同時，由于從頭算量子化學(xué)計(jì)算能夠提供高精度的能量數(shù)據(jù)，基于這些數(shù)據(jù)擬合得到的勢能面在一定程度上能夠準(zhǔn)確描述分子體系的相互作用。然而，這種方法也面臨著諸多挑戰(zhàn)。隨著分子體系復(fù)雜度的增加，勢能面的維度迅速上升，所需的從頭算數(shù)據(jù)點(diǎn)數(shù)量呈指數(shù)增長，計(jì)算成本高昂。此外，選擇合適的解析函數(shù)形式對于擬合結(jié)果的準(zhǔn)確性至關(guān)重要，但在實(shí)際應(yīng)用中，很難找到一種能夠完美描述復(fù)雜分子體系勢能面的解析函數(shù)，不同的解析函數(shù)在描述勢能面的不同區(qū)域時可能存在誤差，導(dǎo)致擬合得到的勢能面在某些情況下不夠精確。2.2神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.2.1神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)與原理神經(jīng)網(wǎng)絡(luò)是一種模擬人類大腦神經(jīng)元結(jié)構(gòu)和功能的計(jì)算模型，它由大量相互連接的節(jié)點(diǎn)（神經(jīng)元）組成，通過對數(shù)據(jù)的學(xué)習(xí)和處理，能夠?qū)崿F(xiàn)復(fù)雜的模式識別、函數(shù)逼近和預(yù)測等任務(wù)。其基本結(jié)構(gòu)主要包括輸入層、隱藏層和輸出層。輸入層是神經(jīng)網(wǎng)絡(luò)與外部數(shù)據(jù)的接口，負(fù)責(zé)接收原始數(shù)據(jù)輸入。這些數(shù)據(jù)可以是小分子體系中原子的坐標(biāo)、電荷等物理量，也可以是經(jīng)過預(yù)處理的特征向量。輸入層的神經(jīng)元數(shù)量通常由輸入數(shù)據(jù)的維度決定，每個神經(jīng)元對應(yīng)一個輸入特征。隱藏層位于輸入層和輸出層之間，是神經(jīng)網(wǎng)絡(luò)的核心部分，可以有一個或多個隱藏層。隱藏層中的神經(jīng)元通過對輸入層傳來的數(shù)據(jù)進(jìn)行加權(quán)求和，并經(jīng)過激活函數(shù)的非線性變換，提取數(shù)據(jù)中的高級特征。這種非線性變換使得神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)到數(shù)據(jù)中的復(fù)雜模式和關(guān)系，大大增強(qiáng)了模型的表達(dá)能力。不同的隱藏層結(jié)構(gòu)和神經(jīng)元數(shù)量會影響神經(jīng)網(wǎng)絡(luò)的性能和學(xué)習(xí)能力。例如，增加隱藏層的數(shù)量可以提高模型的復(fù)雜度，但也可能導(dǎo)致過擬合問題；調(diào)整隱藏層神經(jīng)元的數(shù)量可以控制模型對數(shù)據(jù)特征的提取能力，神經(jīng)元數(shù)量過多可能會使模型學(xué)習(xí)到噪聲，過少則可能無法充分提取數(shù)據(jù)特征。輸出層是神經(jīng)網(wǎng)絡(luò)的最終結(jié)果輸出部分，其神經(jīng)元根據(jù)隱藏層傳遞過來的信息，產(chǎn)生最終的預(yù)測結(jié)果。在小分子勢能面構(gòu)建中，輸出層的神經(jīng)元通常輸出分子體系的勢能值，該勢能值是基于神經(jīng)網(wǎng)絡(luò)對輸入數(shù)據(jù)的學(xué)習(xí)和處理得到的對分子體系勢能的預(yù)測。神經(jīng)網(wǎng)絡(luò)的運(yùn)行原理基于前向傳播和反向傳播兩個過程。在前向傳播過程中，輸入數(shù)據(jù)從輸入層開始，依次經(jīng)過各個隱藏層的神經(jīng)元處理。每個神經(jīng)元對輸入數(shù)據(jù)進(jìn)行加權(quán)求和，即計(jì)算\sum_{i=1}^{n}w_{ij}x_{i}+b_{j}，其中x_{i}是輸入數(shù)據(jù)，w_{ij}是連接第i個輸入神經(jīng)元和第j個隱藏層神經(jīng)元的權(quán)重，b_{j}是第j個隱藏層神經(jīng)元的偏置。然后，加權(quán)求和的結(jié)果通過激活函數(shù)f(\cdot)進(jìn)行非線性變換，得到隱藏層神經(jīng)元的輸出y_{j}=f(\sum_{i=1}^{n}w_{ij}x_{i}+b_{j})。這個輸出作為下一層神經(jīng)元的輸入，繼續(xù)進(jìn)行加權(quán)求和和非線性變換，直到數(shù)據(jù)傳遞到輸出層，得到最終的預(yù)測結(jié)果。反向傳播過程是神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)和參數(shù)優(yōu)化的關(guān)鍵步驟。在反向傳播中，首先根據(jù)預(yù)測結(jié)果和真實(shí)值之間的差異，計(jì)算損失函數(shù)L(y,\hat{y})，常見的損失函數(shù)如均方誤差（MSE）L(y,\hat{y})=\frac{1}{m}\sum_{i=1}^{m}(y_{i}-\hat{y}_{i})^{2}，其中y_{i}是真實(shí)值，\hat{y}_{i}是預(yù)測值，m是樣本數(shù)量。然后，通過鏈?zhǔn)角髮?dǎo)法則，計(jì)算損失函數(shù)對神經(jīng)網(wǎng)絡(luò)中各個權(quán)重和偏置的梯度，即\frac{\partialL}{\partialw_{ij}}和\frac{\partialL}{\partialb_{j}}。最后，利用梯度下降等優(yōu)化算法，根據(jù)計(jì)算得到的梯度來更新權(quán)重和偏置，以減小損失函數(shù)的值，使預(yù)測結(jié)果更接近真實(shí)值。例如，對于權(quán)重w_{ij}的更新公式為w_{ij}=w_{ij}-\alpha\frac{\partialL}{\partialw_{ij}}，其中\(zhòng)alpha是學(xué)習(xí)率，控制著權(quán)重更新的步長。通過不斷地進(jìn)行前向傳播和反向傳播，神經(jīng)網(wǎng)絡(luò)逐漸調(diào)整自身的參數(shù)，以提高對輸入數(shù)據(jù)的學(xué)習(xí)和預(yù)測能力。2.2.2適用于勢能面構(gòu)建的神經(jīng)網(wǎng)絡(luò)類型在小分子勢能面構(gòu)建中，有多種神經(jīng)網(wǎng)絡(luò)類型被廣泛應(yīng)用，每種類型都有其獨(dú)特的結(jié)構(gòu)和優(yōu)勢，能夠適應(yīng)不同的分子體系和研究需求。多層感知器（MultilayerPerceptron，MLP）是一種最基本的前饋神經(jīng)網(wǎng)絡(luò)，它由一個輸入層、多個隱藏層和一個輸出層組成，各層之間通過權(quán)重連接。在小分子勢能面構(gòu)建中，MLP能夠通過學(xué)習(xí)大量的原子坐標(biāo)與勢能數(shù)據(jù)對，建立起原子坐標(biāo)與勢能之間的非線性映射關(guān)系。其優(yōu)勢在于結(jié)構(gòu)簡單、易于實(shí)現(xiàn)和訓(xùn)練，能夠處理各種類型的輸入數(shù)據(jù)，對數(shù)據(jù)的分布沒有嚴(yán)格要求。通過調(diào)整隱藏層的數(shù)量和神經(jīng)元的數(shù)量，可以靈活地控制模型的復(fù)雜度和表達(dá)能力。然而，MLP在處理高維數(shù)據(jù)時，可能會面臨維度災(zāi)難的問題，即隨著數(shù)據(jù)維度的增加，模型的訓(xùn)練難度和計(jì)算量會急劇增加，容易出現(xiàn)過擬合現(xiàn)象。此外，MLP對分子體系的對稱性處理能力相對較弱，在構(gòu)建勢能面時可能需要額外的處理來確保勢能面滿足分子的對稱性要求。徑向基函數(shù)網(wǎng)絡(luò)（RadialBasisFunctionNetwork，RBFNN）是一種特殊的前饋神經(jīng)網(wǎng)絡(luò)，其隱藏層神經(jīng)元使用徑向基函數(shù)作為激活函數(shù)。常見的徑向基函數(shù)如高斯函數(shù)，具有局部響應(yīng)特性，即當(dāng)輸入數(shù)據(jù)靠近徑向基函數(shù)的中心時，神經(jīng)元的響應(yīng)較大，而當(dāng)輸入數(shù)據(jù)遠(yuǎn)離中心時，神經(jīng)元的響應(yīng)迅速減小。在小分子勢能面構(gòu)建中，RBFNN的優(yōu)勢在于其局部逼近能力強(qiáng)，能夠快速準(zhǔn)確地對局部區(qū)域的勢能進(jìn)行預(yù)測。相比于MLP，RBFNN的訓(xùn)練速度通常更快，因?yàn)樗恍枰馦LP那樣通過多次迭代來調(diào)整全局權(quán)重，而是通過確定徑向基函數(shù)的中心和寬度等參數(shù)來實(shí)現(xiàn)對數(shù)據(jù)的擬合。此外，RBFNN在處理高維數(shù)據(jù)時，由于其局部響應(yīng)特性，對數(shù)據(jù)的依賴性相對較低，一定程度上緩解了維度災(zāi)難問題。然而，RBFNN的性能對徑向基函數(shù)的參數(shù)選擇較為敏感，如中心位置和寬度的確定需要一定的經(jīng)驗(yàn)和技巧，不合適的參數(shù)選擇可能導(dǎo)致模型的泛化能力下降。除了上述兩種常見的神經(jīng)網(wǎng)絡(luò)類型，近年來圖神經(jīng)網(wǎng)絡(luò)（GraphNeuralNetwork，GNN）在小分子勢能面構(gòu)建中也得到了越來越多的關(guān)注。分子體系可以自然地表示為圖結(jié)構(gòu)，其中原子作為節(jié)點(diǎn)，原子間的化學(xué)鍵作為邊。GNN能夠直接對這種圖結(jié)構(gòu)的數(shù)據(jù)進(jìn)行處理，通過節(jié)點(diǎn)和邊之間的信息傳遞和聚合，有效地捕捉分子中原子間的相互關(guān)系。在處理復(fù)雜分子體系時，GNN能夠充分利用分子的拓?fù)浣Y(jié)構(gòu)信息，更好地描述分子內(nèi)的多體相互作用，這是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)難以做到的。例如，在處理具有環(huán)狀結(jié)構(gòu)或分支結(jié)構(gòu)的小分子時，GNN可以通過圖的連通性和節(jié)點(diǎn)特征，準(zhǔn)確地學(xué)習(xí)到分子的幾何形狀和原子間的相互作用對勢能的影響。GNN還具有良好的對稱性處理能力，能夠自動滿足分子體系在原子置換、旋轉(zhuǎn)和平移等操作下的對稱性要求，無需額外的對稱性處理步驟。然而，GNN的計(jì)算復(fù)雜度相對較高，尤其是在處理大規(guī)模分子體系時，計(jì)算資源的消耗較大。此外，GNN的模型設(shè)計(jì)和訓(xùn)練相對復(fù)雜，需要對圖的構(gòu)建、信息傳遞方式和模型參數(shù)進(jìn)行精細(xì)的調(diào)整和優(yōu)化。2.3基于神經(jīng)網(wǎng)絡(luò)構(gòu)建小分子勢能面的原理基于神經(jīng)網(wǎng)絡(luò)構(gòu)建小分子勢能面的核心在于利用神經(jīng)網(wǎng)絡(luò)強(qiáng)大的非線性擬合能力，對大量離散的小分子勢能數(shù)據(jù)點(diǎn)進(jìn)行學(xué)習(xí)和擬合，從而建立起原子坐標(biāo)與勢能之間的連續(xù)函數(shù)關(guān)系。在構(gòu)建過程中，首先需要獲取高質(zhì)量的小分子勢能數(shù)據(jù)。這些數(shù)據(jù)通常來源于高精度的從頭算量子化學(xué)計(jì)算，如密度泛函理論（DFT）計(jì)算。通過在不同的原子構(gòu)型下進(jìn)行從頭算，可以得到一系列離散的原子坐標(biāo)與對應(yīng)的勢能值，這些數(shù)據(jù)點(diǎn)構(gòu)成了構(gòu)建勢能面的基礎(chǔ)數(shù)據(jù)集。例如，對于水分子H_2O，可以通過改變O-H鍵長、H-O-H鍵角等幾何參數(shù)，計(jì)算在不同構(gòu)型下的勢能值，得到一組包含多種構(gòu)型的勢能數(shù)據(jù)點(diǎn)。將這些勢能數(shù)據(jù)點(diǎn)劃分為訓(xùn)練集、驗(yàn)證集和測試集。訓(xùn)練集用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，使模型學(xué)習(xí)到原子坐標(biāo)與勢能之間的映射關(guān)系；驗(yàn)證集用于在訓(xùn)練過程中監(jiān)控模型的性能，調(diào)整模型的超參數(shù)，防止過擬合；測試集則用于評估訓(xùn)練好的模型的泛化能力和準(zhǔn)確性。在訓(xùn)練過程中，將訓(xùn)練集中的原子坐標(biāo)作為神經(jīng)網(wǎng)絡(luò)的輸入，對應(yīng)的勢能值作為輸出標(biāo)簽。神經(jīng)網(wǎng)絡(luò)通過前向傳播過程，根據(jù)輸入的原子坐標(biāo)預(yù)測勢能值。在這個過程中，輸入層接收原子坐標(biāo)數(shù)據(jù)，將其傳遞給隱藏層。隱藏層中的神經(jīng)元對輸入數(shù)據(jù)進(jìn)行加權(quán)求和，并通過激活函數(shù)進(jìn)行非線性變換，提取數(shù)據(jù)中的特征。經(jīng)過多個隱藏層的處理，數(shù)據(jù)中的高級特征被逐步提取出來，最終傳遞到輸出層，輸出層根據(jù)隱藏層傳遞過來的特征信息，預(yù)測出對應(yīng)的勢能值。計(jì)算預(yù)測勢能值與真實(shí)勢能值之間的誤差，通常使用均方誤差（MSE）等損失函數(shù)來衡量這種誤差。通過反向傳播算法，根據(jù)損失函數(shù)計(jì)算出的誤差，反向計(jì)算出損失函數(shù)對神經(jīng)網(wǎng)絡(luò)中各個權(quán)重和偏置的梯度。利用梯度下降等優(yōu)化算法，根據(jù)計(jì)算得到的梯度來更新權(quán)重和偏置，以減小損失函數(shù)的值，使預(yù)測勢能值更接近真實(shí)勢能值。例如，在梯度下降算法中，權(quán)重w_{ij}的更新公式為w_{ij}=w_{ij}-\alpha\frac{\partialL}{\partialw_{ij}}，其中\(zhòng)alpha是學(xué)習(xí)率，控制著權(quán)重更新的步長。通過不斷地進(jìn)行前向傳播和反向傳播，神經(jīng)網(wǎng)絡(luò)逐漸調(diào)整自身的參數(shù)，使其能夠更好地?cái)M合訓(xùn)練數(shù)據(jù)，學(xué)習(xí)到原子坐標(biāo)與勢能之間的復(fù)雜關(guān)系。經(jīng)過多次迭代訓(xùn)練，當(dāng)模型在驗(yàn)證集上的性能達(dá)到最優(yōu)時，認(rèn)為模型訓(xùn)練完成。此時，訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型就可以作為小分子勢能面的近似表示。對于任意給定的原子坐標(biāo)，將其輸入到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中，模型即可輸出對應(yīng)的勢能值，從而實(shí)現(xiàn)對小分子勢能面的構(gòu)建。這種基于神經(jīng)網(wǎng)絡(luò)構(gòu)建的勢能面，能夠在一定程度上準(zhǔn)確地描述分子體系在不同原子構(gòu)型下的勢能變化，為后續(xù)的分子動力學(xué)模擬、反應(yīng)動力學(xué)研究等提供重要的理論基礎(chǔ)。三、基于神經(jīng)網(wǎng)絡(luò)構(gòu)建小分子勢能面的方法與流程3.1數(shù)據(jù)準(zhǔn)備3.1.1數(shù)據(jù)來源在基于神經(jīng)網(wǎng)絡(luò)構(gòu)建小分子勢能面的過程中，高質(zhì)量的數(shù)據(jù)是構(gòu)建精確勢能面的基石，數(shù)據(jù)來源主要包括從頭算計(jì)算和實(shí)驗(yàn)測量。從頭算計(jì)算是獲取小分子勢能數(shù)據(jù)的重要途徑之一，它基于量子力學(xué)原理，在不借助任何實(shí)驗(yàn)數(shù)據(jù)的情況下，通過求解薛定諤方程來計(jì)算分子體系的能量和波函數(shù)。其中，密度泛函理論（DFT）是應(yīng)用最為廣泛的從頭算方法之一。DFT通過將多電子體系的能量表示為電子密度的泛函，能夠在相對較低的計(jì)算成本下，對分子體系的電子結(jié)構(gòu)和能量進(jìn)行較為準(zhǔn)確的計(jì)算。例如，在計(jì)算水分子的勢能數(shù)據(jù)時，可以使用不同的交換關(guān)聯(lián)泛函（如B3LYP、PBE等）和基組（如6-31G(d,p)、def2-TZVP等），通過改變水分子中O-H鍵長、H-O-H鍵角等幾何參數(shù)，進(jìn)行一系列的單點(diǎn)能量計(jì)算，從而得到不同構(gòu)型下水分子的勢能值。除了DFT，高精度的從頭算方法如耦合簇理論（CC），特別是CCSD(T)（單雙激發(fā)耦合簇理論加上微擾三重激發(fā)修正），能夠提供非常精確的能量計(jì)算結(jié)果。CCSD(T)方法考慮了電子的相關(guān)效應(yīng)，能夠準(zhǔn)確描述分子體系中的多體相互作用，被認(rèn)為是計(jì)算分子勢能的“黃金標(biāo)準(zhǔn)”。然而，由于其計(jì)算復(fù)雜度隨著體系規(guī)模的增加呈指數(shù)增長，CCSD(T)方法通常只適用于小分子體系或?qū)纫髽O高的研究。在構(gòu)建小分子勢能面時，雖然CCSD(T)計(jì)算成本高昂，但對于一些關(guān)鍵的勢能數(shù)據(jù)點(diǎn)，使用CCSD(T)進(jìn)行計(jì)算，可以提高整個勢能面的精度和可靠性。實(shí)驗(yàn)測量也是獲取小分子勢能數(shù)據(jù)的重要來源。實(shí)驗(yàn)方法能夠直接測量分子在特定條件下的性質(zhì)，為勢能面的構(gòu)建提供了真實(shí)可靠的數(shù)據(jù)支持。光譜學(xué)實(shí)驗(yàn)是獲取小分子勢能數(shù)據(jù)的常用實(shí)驗(yàn)手段之一。通過測量分子的振動光譜和轉(zhuǎn)動光譜，可以得到分子的振動頻率和轉(zhuǎn)動常數(shù)等信息，這些信息與分子的勢能面密切相關(guān)。例如，紅外光譜可以提供分子振動模式的信息，而拉曼光譜則可以提供分子的對稱振動模式信息。通過對這些光譜數(shù)據(jù)的分析和擬合，可以反推出分子的勢能面信息。分子束實(shí)驗(yàn)也是獲取小分子勢能數(shù)據(jù)的重要實(shí)驗(yàn)方法。在分子束實(shí)驗(yàn)中，通過將分子束與另一束分子或原子束相互作用，測量散射產(chǎn)物的角度分布和能量分布等信息，可以得到分子間相互作用的勢能面信息。例如，在研究H+H_2反應(yīng)的勢能面時，可以通過分子束實(shí)驗(yàn)測量反應(yīng)散射產(chǎn)物的角度和能量分布，從而獲取反應(yīng)過程中分子間相互作用的勢能變化信息。這些實(shí)驗(yàn)數(shù)據(jù)可以用于驗(yàn)證和校準(zhǔn)基于從頭算計(jì)算構(gòu)建的勢能面，提高勢能面的準(zhǔn)確性和可靠性。3.1.2數(shù)據(jù)預(yù)處理原始的小分子勢能數(shù)據(jù)往往包含噪聲、異常值以及不同量綱等問題，這些問題會影響神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果和勢能面的構(gòu)建精度，因此需要進(jìn)行數(shù)據(jù)預(yù)處理。數(shù)據(jù)清洗是數(shù)據(jù)預(yù)處理的重要步驟之一，其目的是去除數(shù)據(jù)中的噪聲和異常值。在從頭算計(jì)算得到的勢能數(shù)據(jù)中，可能由于計(jì)算過程中的數(shù)值誤差或其他原因，存在一些不合理的異常值。這些異常值會對神經(jīng)網(wǎng)絡(luò)的訓(xùn)練產(chǎn)生負(fù)面影響，導(dǎo)致模型的過擬合或欠擬合。通過數(shù)據(jù)清洗，可以識別并去除這些異常值，提高數(shù)據(jù)的質(zhì)量。常用的數(shù)據(jù)清洗方法包括基于統(tǒng)計(jì)分析的方法，如計(jì)算數(shù)據(jù)的均值、標(biāo)準(zhǔn)差等統(tǒng)計(jì)量，將偏離均值一定倍數(shù)標(biāo)準(zhǔn)差的數(shù)據(jù)點(diǎn)視為異常值進(jìn)行剔除。對于實(shí)驗(yàn)測量數(shù)據(jù)，可能存在由于實(shí)驗(yàn)誤差導(dǎo)致的噪聲數(shù)據(jù)，也可以通過濾波等方法進(jìn)行清洗。數(shù)據(jù)標(biāo)準(zhǔn)化和歸一化是另一個關(guān)鍵的數(shù)據(jù)預(yù)處理步驟，其作用是將數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一的量綱和尺度，以加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程并提高模型的穩(wěn)定性。在小分子勢能數(shù)據(jù)中，不同的特征（如原子坐標(biāo)、勢能值等）可能具有不同的量綱和取值范圍。例如，原子坐標(biāo)的單位通常是埃（?），而勢能值的單位可能是電子伏特（eV）或千卡/摩爾（kcal/mol）。如果不進(jìn)行標(biāo)準(zhǔn)化或歸一化處理，神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中可能會對不同特征賦予不同的權(quán)重，導(dǎo)致訓(xùn)練不穩(wěn)定和收斂速度慢。常見的數(shù)據(jù)標(biāo)準(zhǔn)化方法是Z-score標(biāo)準(zhǔn)化，也稱為標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化。對于一個數(shù)據(jù)集X，其中的每個數(shù)據(jù)點(diǎn)x_i經(jīng)過Z-score標(biāo)準(zhǔn)化后的結(jié)果x_i'可以通過公式x_i'=\frac{x_i-\mu}{\sigma}計(jì)算得到，其中\(zhòng)mu是數(shù)據(jù)集的均值，\sigma是數(shù)據(jù)集的標(biāo)準(zhǔn)差。經(jīng)過Z-score標(biāo)準(zhǔn)化后，數(shù)據(jù)的均值變?yōu)?，標(biāo)準(zhǔn)差變?yōu)?，所有數(shù)據(jù)點(diǎn)都被映射到以0為中心，標(biāo)準(zhǔn)差為1的標(biāo)準(zhǔn)正態(tài)分布上。歸一化方法則是將數(shù)據(jù)映射到一個特定的區(qū)間，如[0,1]或[-1,1]。常用的歸一化方法是最小-最大歸一化（Min-MaxScaling），對于一個數(shù)據(jù)集X，其中的每個數(shù)據(jù)點(diǎn)x_i經(jīng)過最小-最大歸一化后的結(jié)果x_i'可以通過公式x_i'=\frac{x_i-\min(X)}{\max(X)-\min(X)}計(jì)算得到，其中\(zhòng)min(X)和\max(X)分別是數(shù)據(jù)集的最小值和最大值。經(jīng)過最小-最大歸一化后，數(shù)據(jù)被映射到[0,1]區(qū)間內(nèi)。在小分子勢能面構(gòu)建中，對于原子坐標(biāo)數(shù)據(jù)，可以先進(jìn)行歸一化處理，將其映射到[0,1]區(qū)間，以消除不同體系中原子坐標(biāo)取值范圍的差異。對于勢能值數(shù)據(jù)，可以根據(jù)具體情況選擇Z-score標(biāo)準(zhǔn)化或最小-最大歸一化，使其與原子坐標(biāo)數(shù)據(jù)在同一尺度下，便于神經(jīng)網(wǎng)絡(luò)的處理。3.2神經(jīng)網(wǎng)絡(luò)模型構(gòu)建3.2.1模型架構(gòu)設(shè)計(jì)在基于神經(jīng)網(wǎng)絡(luò)構(gòu)建小分子勢能面時，模型架構(gòu)的設(shè)計(jì)至關(guān)重要，它直接影響著模型的性能和對小分子體系的描述能力。針對小分子體系的特點(diǎn)，本研究采用了一種改進(jìn)的多層感知器（MLP）架構(gòu)，并結(jié)合了注意力機(jī)制和殘差連接，以提高模型對復(fù)雜分子相互作用的學(xué)習(xí)能力。多層感知器（MLP）作為一種經(jīng)典的前饋神經(jīng)網(wǎng)絡(luò)架構(gòu)，由輸入層、多個隱藏層和輸出層組成，各層之間通過權(quán)重連接。在小分子勢能面構(gòu)建中，輸入層接收小分子的原子坐標(biāo)信息，這些坐標(biāo)信息經(jīng)過標(biāo)準(zhǔn)化和歸一化處理后，被輸入到神經(jīng)網(wǎng)絡(luò)中。隱藏層則通過一系列的神經(jīng)元對輸入數(shù)據(jù)進(jìn)行非線性變換，提取數(shù)據(jù)中的高級特征，以學(xué)習(xí)原子坐標(biāo)與勢能之間的復(fù)雜關(guān)系。輸出層則根據(jù)隱藏層傳遞過來的特征信息，輸出小分子體系的勢能值。然而，傳統(tǒng)的MLP在處理小分子體系時，存在一些局限性。隨著分子體系復(fù)雜度的增加，分子內(nèi)原子間的相互作用變得更加復(fù)雜，傳統(tǒng)MLP難以有效地捕捉這些復(fù)雜的相互作用關(guān)系，導(dǎo)致模型的精度和泛化能力下降。為了解決這些問題，本研究在MLP架構(gòu)中引入了注意力機(jī)制。注意力機(jī)制能夠使模型更加關(guān)注分子結(jié)構(gòu)中的關(guān)鍵部分，即對勢能貢獻(xiàn)較大的原子或原子間相互作用，從而提高模型對復(fù)雜相互作用的捕捉能力。具體來說，在隱藏層中，注意力機(jī)制通過計(jì)算每個原子坐標(biāo)特征的重要性權(quán)重，對不同的原子坐標(biāo)特征進(jìn)行加權(quán)求和。對于對勢能影響較大的原子坐標(biāo)特征，賦予較大的權(quán)重，使其在模型的計(jì)算中得到更多的關(guān)注；而對于對勢能影響較小的原子坐標(biāo)特征，則賦予較小的權(quán)重。這樣，模型能夠更加聚焦于關(guān)鍵信息，提高對復(fù)雜分子相互作用的學(xué)習(xí)效率。例如，在處理水分子體系時，注意力機(jī)制可以使模型更加關(guān)注氧原子與氫原子之間的相互作用，因?yàn)檫@些相互作用對水分子的勢能起著關(guān)鍵作用。通過注意力機(jī)制，模型能夠更好地捕捉水分子中原子間的復(fù)雜相互作用關(guān)系，從而提高勢能面的構(gòu)建精度。為了進(jìn)一步提高模型的訓(xùn)練效率和精度，本研究還在MLP架構(gòu)中引入了殘差連接。在深度神經(jīng)網(wǎng)絡(luò)中，隨著網(wǎng)絡(luò)層數(shù)的增加，訓(xùn)練過程中容易出現(xiàn)梯度消失或梯度爆炸的問題，導(dǎo)致模型難以收斂。殘差連接通過在神經(jīng)網(wǎng)絡(luò)中添加捷徑連接（shortcutconnection），將前一層的輸入直接傳遞到后一層，使得網(wǎng)絡(luò)可以更容易地學(xué)習(xí)到恒等映射，從而有效地解決了梯度消失問題，加速了模型的收斂速度。在本研究的模型架構(gòu)中，殘差連接被應(yīng)用于隱藏層之間。具體來說，對于第l層隱藏層的輸出h_l，通過殘差連接，將其與第l+1層隱藏層的輸入x_{l+1}相加，得到新的輸入x_{l+1}'=x_{l+1}+h_l。然后，新的輸入x_{l+1}'被輸入到第l+1層隱藏層進(jìn)行處理。這樣，在模型訓(xùn)練過程中，梯度可以通過殘差連接直接傳播到前面的層，避免了梯度在傳播過程中的衰減，使得模型能夠更加穩(wěn)定地訓(xùn)練。通過引入殘差連接，模型可以使用更深的網(wǎng)絡(luò)結(jié)構(gòu)，從而提高模型的表達(dá)能力，更好地?cái)M合小分子勢能面的復(fù)雜函數(shù)關(guān)系。在確定神經(jīng)網(wǎng)絡(luò)的層數(shù)和節(jié)點(diǎn)數(shù)時，進(jìn)行了大量的實(shí)驗(yàn)和參數(shù)調(diào)整。層數(shù)的選擇需要在模型的表達(dá)能力和計(jì)算復(fù)雜度之間進(jìn)行權(quán)衡。增加層數(shù)可以提高模型的表達(dá)能力，使其能夠?qū)W習(xí)到更復(fù)雜的函數(shù)關(guān)系，但同時也會增加計(jì)算量和訓(xùn)練時間，并且容易導(dǎo)致過擬合。通過實(shí)驗(yàn)發(fā)現(xiàn)，對于小分子勢能面構(gòu)建，選擇3-5層隱藏層能夠在保證模型精度的同時，控制計(jì)算復(fù)雜度。節(jié)點(diǎn)數(shù)的確定則主要考慮輸入數(shù)據(jù)的維度和模型的學(xué)習(xí)能力。輸入層的節(jié)點(diǎn)數(shù)根據(jù)小分子體系的原子坐標(biāo)維度確定，例如對于一個由N個原子組成的非線性小分子體系，其原子坐標(biāo)維度為3N-6，則輸入層節(jié)點(diǎn)數(shù)為3N-6。隱藏層節(jié)點(diǎn)數(shù)的選擇通常從較小的值開始嘗試，逐漸增加，通過觀察模型在驗(yàn)證集上的性能來確定最優(yōu)值。一般來說，隱藏層節(jié)點(diǎn)數(shù)過少會導(dǎo)致模型學(xué)習(xí)能力不足，無法充分捕捉數(shù)據(jù)中的特征；而節(jié)點(diǎn)數(shù)過多則會增加模型的復(fù)雜度，容易導(dǎo)致過擬合。在本研究中，通過多次實(shí)驗(yàn)，確定隱藏層節(jié)點(diǎn)數(shù)在50-200之間時，模型能夠取得較好的性能。3.2.2激活函數(shù)與損失函數(shù)選擇激活函數(shù)和損失函數(shù)的選擇對于神經(jīng)網(wǎng)絡(luò)在小分子勢能面構(gòu)建中的性能起著關(guān)鍵作用，不同的函數(shù)會對模型的學(xué)習(xí)能力、收斂速度和預(yù)測精度產(chǎn)生顯著影響。激活函數(shù)的主要作用是為神經(jīng)網(wǎng)絡(luò)引入非線性因素，使模型能夠?qū)W習(xí)到數(shù)據(jù)中的復(fù)雜模式和關(guān)系。在小分子勢能面構(gòu)建中，常用的激活函數(shù)包括ReLU（RectifiedLinearUnit）、Sigmoid和Tanh等，每種激活函數(shù)都有其獨(dú)特的性質(zhì)和適用場景。ReLU函數(shù)的數(shù)學(xué)表達(dá)式為f(x)=max(0,x)，其函數(shù)圖像在x\lt0時為0，在x\geq0時為線性增長。ReLU函數(shù)具有計(jì)算簡單、收斂速度快等優(yōu)點(diǎn)，能夠有效緩解梯度消失問題。在小分子勢能面構(gòu)建中，由于分子體系的勢能與原子坐標(biāo)之間存在復(fù)雜的非線性關(guān)系，ReLU函數(shù)能夠很好地適應(yīng)這種非線性，使模型能夠快速學(xué)習(xí)到原子坐標(biāo)與勢能之間的映射關(guān)系。例如，在處理小分子的復(fù)雜成鍵和斷鍵過程時，ReLU函數(shù)能夠幫助模型快速捕捉到原子坐標(biāo)變化對勢能的影響，從而提高模型的訓(xùn)練效率和預(yù)測精度。然而，ReLU函數(shù)也存在一些缺點(diǎn)，如在x\lt0時，函數(shù)輸出為0，這可能導(dǎo)致部分神經(jīng)元在訓(xùn)練過程中永遠(yuǎn)不會被激活，即所謂的“死亡神經(jīng)元”問題。為了避免這個問題，可以采用LeakyReLU等改進(jìn)的激活函數(shù)，LeakyReLU在x\lt0時，函數(shù)有一個較小的斜率，如f(x)=\begin{cases}x,&x\geq0\\\alphax,&x\lt0\end{cases}，其中\(zhòng)alpha通常取一個較小的值，如0.01，這樣可以保證在x\lt0時，神經(jīng)元仍有一定的輸出，避免“死亡神經(jīng)元”問題。Sigmoid函數(shù)的數(shù)學(xué)表達(dá)式為f(x)=\frac{1}{1+e^{-x}}，其函數(shù)值范圍在(0,1)之間。Sigmoid函數(shù)具有平滑、連續(xù)的特點(diǎn)，能夠?qū)⑤斎胗成涞揭粋€有限的區(qū)間內(nèi)。在早期的神經(jīng)網(wǎng)絡(luò)研究中，Sigmoid函數(shù)被廣泛應(yīng)用。然而，Sigmoid函數(shù)存在梯度消失問題，當(dāng)輸入值較大或較小時，其導(dǎo)數(shù)接近0，導(dǎo)致在反向傳播過程中，梯度難以有效地傳遞，使得模型訓(xùn)練變得困難。在小分子勢能面構(gòu)建中，由于分子體系的勢能面通常具有復(fù)雜的形狀，需要模型具有較強(qiáng)的學(xué)習(xí)能力，而Sigmoid函數(shù)的梯度消失問題會限制模型的學(xué)習(xí)效果，因此在本研究中，Sigmoid函數(shù)不作為首選的激活函數(shù)。Tanh函數(shù)的數(shù)學(xué)表達(dá)式為f(x)=\frac{e^{x}-e^{-x}}{e^{x}+e^{-x}}，其函數(shù)值范圍在(-1,1)之間。Tanh函數(shù)是Sigmoid函數(shù)的一種變體，與Sigmoid函數(shù)相比，Tanh函數(shù)的輸出以0為中心，在一定程度上可以加速模型的收斂。然而，Tanh函數(shù)同樣存在梯度消失問題，在處理深層神經(jīng)網(wǎng)絡(luò)時，其性能會受到一定的限制。在小分子勢能面構(gòu)建中，雖然Tanh函數(shù)在某些情況下能夠表現(xiàn)出較好的性能，但由于其梯度消失問題，在與其他激活函數(shù)比較時，需要謹(jǐn)慎選擇。經(jīng)過對多種激活函數(shù)的對比實(shí)驗(yàn)，發(fā)現(xiàn)ReLU函數(shù)在小分子勢能面構(gòu)建中表現(xiàn)出了較好的性能。它能夠有效地提高模型的訓(xùn)練效率和收斂速度，同時在處理復(fù)雜的分子體系時，能夠較好地捕捉原子坐標(biāo)與勢能之間的非線性關(guān)系，從而提高勢能面的預(yù)測精度。因此，在本研究的神經(jīng)網(wǎng)絡(luò)模型中，選擇ReLU函數(shù)作為主要的激活函數(shù)，并在部分層中采用LeakyReLU函數(shù)來避免“死亡神經(jīng)元”問題。損失函數(shù)用于衡量模型預(yù)測值與真實(shí)值之間的差異，其選擇直接影響模型的訓(xùn)練效果和泛化能力。在小分子勢能面構(gòu)建中，常用的損失函數(shù)包括均方誤差（MSE，MeanSquaredError）、平均絕對誤差（MAE，MeanAbsoluteError）等。均方誤差（MSE）的數(shù)學(xué)表達(dá)式為MSE=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2，其中n是樣本數(shù)量，y_i是真實(shí)值，\hat{y}_i是預(yù)測值。MSE通過計(jì)算預(yù)測值與真實(shí)值之間差值的平方和的平均值來衡量誤差，它對較大的誤差賦予了更大的權(quán)重。在小分子勢能面構(gòu)建中，MSE能夠有效地反映模型預(yù)測值與真實(shí)勢能值之間的偏差，通過最小化MSE，可以使模型的預(yù)測值盡可能接近真實(shí)值。例如，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時，通過反向傳播算法計(jì)算MSE對模型參數(shù)的梯度，并利用梯度下降等優(yōu)化算法更新模型參數(shù)，使得MSE逐漸減小，從而提高模型的預(yù)測精度。然而，MSE對異常值較為敏感，如果數(shù)據(jù)集中存在異常值，這些異常值會對MSE產(chǎn)生較大的影響，導(dǎo)致模型的訓(xùn)練受到干擾。平均絕對誤差（MAE）的數(shù)學(xué)表達(dá)式為MAE=\frac{1}{n}\sum_{i=1}^{n}|y_i-\hat{y}_i|，它直接計(jì)算預(yù)測值與真實(shí)值之間差值的絕對值的平均值。MAE對所有誤差點(diǎn)一視同仁，不像MSE那樣對較大的誤差賦予更大的權(quán)重。在小分子勢能面構(gòu)建中，MAE能夠更直觀地反映模型預(yù)測值與真實(shí)值之間的平均偏差程度。與MSE相比，MAE對異常值的敏感性較低，當(dāng)數(shù)據(jù)集中存在異常值時，MAE能夠更穩(wěn)健地衡量模型的性能。然而，MAE在數(shù)學(xué)上的可微性較差，在使用梯度下降等基于梯度的優(yōu)化算法時，計(jì)算梯度相對復(fù)雜。為了綜合考慮MSE和MAE的優(yōu)點(diǎn)，本研究采用了一種改進(jìn)的損失函數(shù)，將MSE和MAE相結(jié)合，即Loss=\alpha\timesMSE+(1-\alpha)\timesMAE，其中\(zhòng)alpha是一個權(quán)重參數(shù)，取值范圍在[0,1]之間，通過調(diào)整\alpha的值，可以平衡MSE和MAE在損失函數(shù)中的作用。在實(shí)驗(yàn)中，通過對不同\alpha值的測試，發(fā)現(xiàn)當(dāng)\alpha=0.7時，模型在訓(xùn)練集和驗(yàn)證集上都表現(xiàn)出了較好的性能，能夠在有效減少異常值影響的同時，提高模型對勢能面的擬合精度。3.3模型訓(xùn)練與優(yōu)化3.3.1訓(xùn)練算法選擇在基于神經(jīng)網(wǎng)絡(luò)構(gòu)建小分子勢能面的訓(xùn)練過程中，選擇合適的訓(xùn)練算法對于模型的收斂速度、訓(xùn)練效果以及最終的勢能面精度起著至關(guān)重要的作用。常見的訓(xùn)練算法包括隨機(jī)梯度下降（SGD，StochasticGradientDescent）及其變種，如帶動量的隨機(jī)梯度下降（SGDwithMomentum）、Adagrad、Adadelta、RMSProp以及Adam算法等。隨機(jī)梯度下降（SGD）是一種最基本的梯度下降算法，其核心思想是在每次迭代中，從訓(xùn)練數(shù)據(jù)集中隨機(jī)選擇一個小批量的數(shù)據(jù)樣本，計(jì)算這些樣本上的損失函數(shù)關(guān)于模型參數(shù)的梯度，然后根據(jù)梯度來更新模型參數(shù)。具體來說，對于一個包含N個樣本的訓(xùn)練數(shù)據(jù)集\{(x^{(i)},y^{(i)})\}_{i=1}^{N}，損失函數(shù)為L(\theta;x^{(i)},y^{(i)})，其中\(zhòng)theta表示模型參數(shù)。在每次迭代中，隨機(jī)選擇一個小批量樣本B，其大小為b（b\llN），計(jì)算該小批量樣本上的梯度\nabla_{\theta}L_{B}(\theta)=\frac{1}\sum_{(x^{(i)},y^{(i)})\inB}\nabla_{\theta}L(\theta;x^{(i)},y^{(i)})，然后按照\theta=\theta-\alpha\nabla_{\theta}L_{B}(\theta)的方式更新模型參數(shù)，其中\(zhòng)alpha是學(xué)習(xí)率，控制著參數(shù)更新的步長。SGD的優(yōu)點(diǎn)是計(jì)算效率高，每次迭代只需要計(jì)算小批量樣本的梯度，內(nèi)存需求小，能夠快速處理大規(guī)模數(shù)據(jù)集。然而，SGD也存在一些缺點(diǎn)，例如其更新方向完全依賴于當(dāng)前小批量樣本的梯度，容易受到噪聲的影響，導(dǎo)致更新過程不穩(wěn)定，收斂速度較慢。在小分子勢能面構(gòu)建中，由于勢能面的復(fù)雜形狀和數(shù)據(jù)的多樣性，SGD可能需要大量的迭代次數(shù)才能收斂到較好的結(jié)果。帶動量的隨機(jī)梯度下降（SGDwithMomentum）是在SGD的基礎(chǔ)上引入了動量項(xiàng)，以加速模型的收斂。動量項(xiàng)的作用是積累之前的梯度信息，使得模型在更新參數(shù)時能夠參考之前的梯度方向，從而在一定程度上避免陷入局部最優(yōu)解。具體來說，在每次迭代中，除了計(jì)算當(dāng)前小批量樣本的梯度\nabla_{\theta}L_{B}(\theta)外，還引入一個動量變量v，其更新公式為v=\gammav-\alpha\nabla_{\theta}L_{B}(\theta)，其中\(zhòng)gamma是動量系數(shù)，通常取值在[0,1)之間，如\gamma=0.9。然后，模型參數(shù)按照\theta=\theta+v的方式進(jìn)行更新。帶動量的SGD在處理具有陡峭峽谷狀的損失函數(shù)時表現(xiàn)出色，能夠更快地沿著峽谷方向下降，加速收斂。在小分子勢能面構(gòu)建中，對于一些復(fù)雜的分子體系，其勢能面可能存在多個局部極小值和復(fù)雜的地形，帶動量的SGD可以幫助模型更有效地跳出局部最優(yōu)解，找到更優(yōu)的勢能面擬合結(jié)果。Adagrad算法是一種自適應(yīng)學(xué)習(xí)率的優(yōu)化算法，它能夠根據(jù)每個參數(shù)在訓(xùn)練過程中的梯度情況，自動調(diào)整其學(xué)習(xí)率。Adagrad的核心思想是為每個參數(shù)維護(hù)一個獨(dú)立的學(xué)習(xí)率，對于梯度變化較大的參數(shù)，降低其學(xué)習(xí)率，以避免更新過度；對于梯度變化較小的參數(shù)，增加其學(xué)習(xí)率，以加速更新。具體來說，Adagrad為每個參數(shù)\theta_{j}維護(hù)一個梯度累積變量G_{jj}，其更新公式為G_{jj}=G_{jj}+(\nabla_{\theta_{j}}L(\theta))^{2}。然后，在每次迭代中，參數(shù)\theta_{j}的更新公式為\theta_{j}=\theta_{j}-\frac{\alpha}{\sqrt{G_{jj}+\epsilon}}\nabla_{\theta_{j}}L(\theta)，其中\(zhòng)epsilon是一個很小的常數(shù)，通常取值為1e-8，用于防止分母為零。Adagrad的優(yōu)點(diǎn)是不需要手動調(diào)整學(xué)習(xí)率，能夠自動適應(yīng)不同參數(shù)的更新需求。然而，Adagrad也存在一些問題，由于它在訓(xùn)練過程中不斷累積梯度平方和，導(dǎo)致學(xué)習(xí)率單調(diào)遞減，在訓(xùn)練后期，學(xué)習(xí)率可能會變得非常小，使得模型收斂速度變慢，甚至無法收斂。在小分子勢能面構(gòu)建中，如果使用Adagrad算法，可能在訓(xùn)練初期能夠快速調(diào)整模型參數(shù)，但在訓(xùn)練后期，可能會因?yàn)閷W(xué)習(xí)率過小而無法進(jìn)一步優(yōu)化勢能面的擬合。Adadelta算法是對Adagrad算法的改進(jìn)，它通過引入一個衰減系數(shù)來限制梯度累積變量的增長，從而避免了Adagrad算法中學(xué)習(xí)率單調(diào)遞減的問題。Adadelta算法同樣為每個參數(shù)維護(hù)一個梯度累積變量E[g^{2}]_{t}和一個更新量累積變量E[\Delta\theta^{2}]_{t}，其中t表示迭代次數(shù)。在每次迭代中，梯度累積變量的更新公式為E[g^{2}]_{t}=\rhoE[g^{2}]_{t-1}+(1-\rho)(\nabla_{\theta}L(\theta))^{2}，其中\(zhòng)rho是衰減系數(shù)，通常取值在[0,1)之間，如\rho=0.9。更新量累積變量的更新公式為E[\Delta\theta^{2}]_{t}=\rhoE[\Delta\theta^{2}]_{t-1}+(1-\rho)(\Delta\theta_{t-1})^{2}。然后，參數(shù)\theta的更新公式為\Delta\theta_{t}=-\frac{\sqrt{E[\Delta\theta^{2}]_{t-1}+\epsilon}}{\sqrt{E[g^{2}]_{t}+\epsilon}}\nabla_{\theta}L(\theta)，其中\(zhòng)epsilon是一個很小的常數(shù)，用于防止分母為零。Adadelta算法不需要設(shè)置學(xué)習(xí)率參數(shù)，能夠自適應(yīng)地調(diào)整學(xué)習(xí)率，在訓(xùn)練過程中表現(xiàn)出較好的穩(wěn)定性和收斂性。在小分子勢能面構(gòu)建中，Adadelta算法可以有效地平衡模型的收斂速度和穩(wěn)定性，避免因?qū)W習(xí)率問題導(dǎo)致的訓(xùn)練困難。RMSProp算法也是一種自適應(yīng)學(xué)習(xí)率的優(yōu)化算法，它與Adadelta算法類似，通過對梯度平方和進(jìn)行指數(shù)加權(quán)移動平均來調(diào)整學(xué)習(xí)率。RMSProp算法為每個參數(shù)維護(hù)一個梯度平方和的移動平均值S_{t}，其更新公式為S_{t}=\betaS_{t-1}+(1-\beta)(\nabla_{\theta}L(\theta))^{2}，其中\(zhòng)beta是衰減系數(shù)，通常取值在[0,1)之間，如\beta=0.9。然后，在每次迭代中，參數(shù)\theta的更新公式為\theta_{t}=\theta_{t-1}-\frac{\alpha}{\sqrt{S_{t}+\epsilon}}\nabla_{\theta}L(\theta)，其中\(zhòng)alpha是學(xué)習(xí)率，\epsilon是一個很小的常數(shù)，用于防止分母為零。RMSProp算法能夠有效地抑制梯度的劇烈變化，在處理非平穩(wěn)目標(biāo)函數(shù)時表現(xiàn)良好，能夠快速收斂。在小分子勢能面構(gòu)建中，由于勢能面的復(fù)雜性，目標(biāo)函數(shù)可能存在較大的波動，RMSProp算法可以通過自適應(yīng)調(diào)整學(xué)習(xí)率，使模型在這種情況下仍能穩(wěn)定收斂。Adam算法（AdaptiveMomentEstimation）結(jié)合了帶動量的SGD和RMSProp算法的優(yōu)點(diǎn)，它不僅能夠自適應(yīng)地調(diào)整學(xué)習(xí)率，還能利用動量項(xiàng)來加速收斂。Adam算法同時維護(hù)兩個矩估計(jì)，即一階矩估計(jì)（動量項(xiàng)）m_{t}和二階矩估計(jì)（梯度平方和的移動平均值）v_{t}。在每次迭代中，一階矩估計(jì)的更新公式為m_{t}=\beta_{1}m_{t-1}+(1-\beta_{1})\nabla_{\theta}L(\theta)，二階矩估計(jì)的更新公式為v_{t}=\beta_{2}v_{t-1}+(1-\beta_{2})(\nabla_{\theta}L(\theta))^{2}，其中\(zhòng)beta_{1}和\beta_{2}是衰減系數(shù)，通常取值分別為\beta_{1}=0.9和\beta_{2}=0.999。為了修正矩估計(jì)在初始階段的偏差，還需要對m_{t}和v_{t}進(jìn)行偏差修正，得到\hat{m}_{t}=\frac{m_{t}}{1-\beta_{1}^{t}}和\hat{v}_{t}=\frac{v_{t}}{1-\beta_{2}^{t}}。最后，參數(shù)\theta的更新公式為\theta_{t}=\theta_{t-1}-\frac{\alpha}{\sqrt{\hat{v}_{t}}+\epsilon}\hat{m}_{t}，其中\(zhòng)alpha是學(xué)習(xí)率，\epsilon是一個很小的常數(shù)，通常取值為1e-8。Adam算法在多種深度學(xué)習(xí)任務(wù)中都表現(xiàn)出了良好的性能，它能夠快速收斂，對不同類型的問題具有較好的適應(yīng)性。在小分子勢能面構(gòu)建中，Adam算法的優(yōu)勢尤為明顯，它能夠在復(fù)雜的勢能面擬合任務(wù)中，快速調(diào)整模型參數(shù)，使模型收斂到一個較好的結(jié)果。綜合考慮各種訓(xùn)練算法的特點(diǎn)和小分子勢能面構(gòu)建的需求，本研究選擇Adam算法作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法。Adam算法在收斂速度、穩(wěn)定性和適應(yīng)性方面都表現(xiàn)出色，能夠有效地處理小分子勢能面構(gòu)建中復(fù)雜的非線性關(guān)系和高維數(shù)據(jù)。它通過自適應(yīng)調(diào)整學(xué)習(xí)率和利用動量項(xiàng)，能夠在不同的訓(xùn)練階段保持較好的性能，避免了傳統(tǒng)SGD算法容易陷入局部最優(yōu)解和收斂速度慢的問題。同時，Adam算法對超參數(shù)的選擇相對不敏感，不需要過多的調(diào)參經(jīng)驗(yàn)，在實(shí)際應(yīng)用中更加方便快捷。在實(shí)驗(yàn)中，通過對比不同訓(xùn)練算法在小分子勢能面構(gòu)建中的表現(xiàn)，發(fā)現(xiàn)Adam算法能夠在較短的訓(xùn)練時間內(nèi)，使模型達(dá)到較高的精度，為構(gòu)建準(zhǔn)確的小分子勢能面提供了有力的支持。3.3.2超參數(shù)調(diào)優(yōu)超參數(shù)調(diào)優(yōu)是神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中的關(guān)鍵步驟，它直接影響模型的性能和泛化能力。在基于神經(jīng)網(wǎng)絡(luò)構(gòu)建小分子勢能面的研究中，需要對多個超參數(shù)進(jìn)行精細(xì)調(diào)整，以獲得最佳的模型性能。這些超參數(shù)包括學(xué)習(xí)率、隱藏層節(jié)點(diǎn)數(shù)、隱藏層層數(shù)、批大小等。學(xué)習(xí)率是神經(jīng)網(wǎng)絡(luò)訓(xùn)練中最重要的超參數(shù)之一，它控制著模型參數(shù)更新的步長。如果學(xué)習(xí)率設(shè)置過大，模型在訓(xùn)練過程中可能會跳過最優(yōu)解，導(dǎo)致無法收斂；如果學(xué)習(xí)率設(shè)置過小，模型的收斂速度會非常緩慢，需要大量的訓(xùn)練時間。在小分子勢能面構(gòu)建中，合適的學(xué)習(xí)率能夠使模型在保證收斂的前提下，快速調(diào)整參數(shù)，提高勢能面的擬合精度。例如，在初始階段，較大的學(xué)習(xí)率可以使模型快速接近最優(yōu)解附近；而在訓(xùn)練后期，較小的學(xué)習(xí)率可以使模型在最優(yōu)解附近進(jìn)行微調(diào)，進(jìn)一步提高模型的精度。為了確定最佳的學(xué)習(xí)率，通常采用學(xué)習(xí)率退火策略，即在訓(xùn)練過程中逐漸降低學(xué)習(xí)率。常見的學(xué)習(xí)率退火方法包括指數(shù)衰減、步長衰減和余弦退火等。指數(shù)衰減是按照指數(shù)函數(shù)的形式降低學(xué)習(xí)率，公式為\alpha_{t}=\alpha_{0}\times\gamma^{t}，其中\(zhòng)alpha_{t}是第t次迭代時的學(xué)習(xí)率，\alpha_{0}是初始學(xué)習(xí)率，\gamma是衰減系數(shù)，t是迭代次數(shù)。步長衰減是每隔一定的迭代次數(shù)，將學(xué)習(xí)率乘以一個固定的衰減因子，如每隔1000次迭代，將學(xué)習(xí)率乘以0.9。余弦退火是根據(jù)余弦函數(shù)的形式調(diào)整學(xué)習(xí)率，使學(xué)習(xí)率在訓(xùn)練過程中呈周期性變化，能夠在一定程度上避免模型陷入局部最優(yōu)解。通過在驗(yàn)證集上評估模型的性能，選擇使模型性能最佳的學(xué)習(xí)率退火策略和相關(guān)參數(shù)。隱藏層節(jié)點(diǎn)數(shù)和隱藏層層數(shù)決定了神經(jīng)網(wǎng)絡(luò)的復(fù)雜度和表達(dá)能力。增加隱藏層節(jié)點(diǎn)數(shù)和隱藏層層數(shù)可以提高模型的表達(dá)能力，使其能夠?qū)W習(xí)到更復(fù)雜的函數(shù)關(guān)系。然而，如果隱藏層節(jié)點(diǎn)數(shù)和隱藏層層數(shù)過多，模型可能會出現(xiàn)過擬合現(xiàn)象，即在訓(xùn)練集上表現(xiàn)良好，但在測試集上性能大幅下降。在小分子勢能面構(gòu)建中，需要在模型的表達(dá)能力和泛化能力之間進(jìn)行權(quán)衡。通常采用網(wǎng)格搜索或隨機(jī)搜索的方法來確定最佳的隱藏層節(jié)點(diǎn)數(shù)和隱藏層層數(shù)。網(wǎng)格搜索是在預(yù)先定義的超參數(shù)空間中，對所有可能的超參數(shù)組合進(jìn)行窮舉搜索，評估每個組合在驗(yàn)證集上的性能，選擇性能最佳的組合作為最終的超參數(shù)。例如，對于隱藏層節(jié)點(diǎn)數(shù)，可以在[50,100,150,200]等幾個值中進(jìn)行搜索；對于隱藏層層數(shù)，可以在[3,4,5]等幾個值中進(jìn)行搜索。隨機(jī)搜索則是在超參數(shù)空間中隨機(jī)選擇一定數(shù)量的超參數(shù)組合進(jìn)行評估，這種方法在超參數(shù)空間較大時更為高效，能夠在較短的時間內(nèi)找到較好的超參數(shù)組合。通過在驗(yàn)證集上對不同隱藏層節(jié)點(diǎn)數(shù)和隱藏層層數(shù)組合的模型進(jìn)行訓(xùn)練和評估，選擇使模型在驗(yàn)證集上均方誤差（MSE）最小的組合作為最終的超參數(shù)。批大小是指在每次迭代中用于計(jì)算梯度的樣本數(shù)量。較大的批大小可以使模型在計(jì)算梯度時更穩(wěn)定，減少梯度的噪聲，從而加速收斂。然而，較大的批大小也會增加內(nèi)存的需求，并且在訓(xùn)練數(shù)據(jù)量有限時，可能會導(dǎo)致模型的泛化能力下降。較小的批大小則可以在一定程度上增加數(shù)據(jù)的多樣性，提高模型的泛化能力，但可能會使梯度計(jì)算不穩(wěn)定，收斂速度變慢。在小分子勢能面構(gòu)建中，需要根據(jù)訓(xùn)練數(shù)據(jù)的規(guī)模和計(jì)算機(jī)的內(nèi)存情況來選擇合適的批大小。一般來說，可以在[16,32,64,128]等常見的批大小值中進(jìn)行嘗試，通過在驗(yàn)證集上評估模型的性能，選擇使模型性能最佳的批大小。例如，當(dāng)訓(xùn)練數(shù)據(jù)量較大時，可以選擇較大的批大小，如64或128；當(dāng)訓(xùn)練數(shù)據(jù)量較小時，可以選擇較小的批大小，如16或32。為了更高效地進(jìn)行超參數(shù)調(diào)優(yōu)，采用交叉驗(yàn)證的方法。交叉驗(yàn)證是將訓(xùn)練數(shù)據(jù)集劃分為多個子集，通常為5折或10折。在每次迭代中，將其中一個子集作為驗(yàn)證集，其余子集作為訓(xùn)練集，對模型進(jìn)行訓(xùn)練和評估。通過多次迭代，得到多個模型在不同驗(yàn)證集上的性能指標(biāo)，然后取這些性能指標(biāo)的平均值作為模型的評估結(jié)果。這樣可以更全面地評估模型在不同數(shù)據(jù)子集上的表現(xiàn)，減少因數(shù)據(jù)劃分帶來的隨機(jī)性影響，提高超參數(shù)調(diào)優(yōu)的準(zhǔn)確性。例如，在進(jìn)行學(xué)習(xí)率調(diào)優(yōu)時，對每個學(xué)習(xí)率值，都進(jìn)行5折交叉驗(yàn)證，計(jì)算模型在5個驗(yàn)證集上的平均均方誤差（MSE），選擇平均MSE最小的學(xué)習(xí)率作為最佳學(xué)習(xí)率。通過交叉驗(yàn)證和上述超參數(shù)調(diào)優(yōu)方法，能夠有效地找到適合小分子勢能面構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型的最佳超參數(shù)組合，提高模型的性能和泛化能力，為構(gòu)建精確的小分子勢能面奠定堅(jiān)實(shí)的基礎(chǔ)。3.4模型評估與驗(yàn)證3.4.1評估指標(biāo)選擇在基于神經(jīng)網(wǎng)絡(luò)構(gòu)建小分子勢能面的研究中，選擇合適的評估指標(biāo)對于準(zhǔn)確衡量模型的性能和可靠性至關(guān)重要。常用的評估指標(biāo)包括均方誤差（MSE，MeanSquaredError）、平均絕對誤差（MAE，MeanAbsoluteError）和決定系數(shù)（R^2，CoefficientofDetermination）等，這些指標(biāo)從不同角度反映了模型預(yù)測值與真實(shí)值之間的差異程度。均方誤差（MSE）通過計(jì)算預(yù)測值與真實(shí)值之間差值的平方和的平均值來衡量誤差，其數(shù)學(xué)表達(dá)式為MSE=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2，其中n是樣本數(shù)量，y_i是真實(shí)值，\hat{y}_i是預(yù)測值。MSE對較大的誤差賦予了更大的權(quán)重，因?yàn)檎`差的平方會使較大的誤差在總和中占比更大。在小分子勢能面構(gòu)建中，MSE能夠直觀地反映模型預(yù)測值與真實(shí)勢能值之間的偏差程度，通過最小化MSE，可以使模型的預(yù)測值盡可能接近真實(shí)值。例如，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型時，通常將MSE作為損失函數(shù)，通過反向傳播算法計(jì)算MSE對模型參數(shù)的梯度，并利用梯度下降等優(yōu)化算法更新模型參數(shù)，使得MSE逐漸減小，從而提高模型的預(yù)測精度。然而，MSE對異常值較為敏感，如果數(shù)據(jù)集中存在異常值，這些異常值會對MSE產(chǎn)生較大的影響，導(dǎo)致模型的評估結(jié)果出現(xiàn)偏差。平均絕對誤差（MAE）直接計(jì)算預(yù)測值與真實(shí)值之間差值的絕對值的平均值，其數(shù)學(xué)表達(dá)式為MAE=\frac{1}{n}\sum_{i=1}^{n}|y_i-\hat{y}_i|。MAE對所有誤差點(diǎn)一視同仁，不像MSE那樣對較大的誤差賦予更大的權(quán)重。在小分子勢能面構(gòu)建中，MAE能夠更直觀地反映模型預(yù)測值與真實(shí)值之間的平均偏差程度，它不受誤差大小的影響，更能體現(xiàn)模型預(yù)測的穩(wěn)定性。與MSE相比，MAE對異常值的敏感性較低，當(dāng)數(shù)據(jù)集中存在異常值時，MAE能夠更穩(wěn)健地衡量模型的性能。例如，在評估模型對小分子勢能面的預(yù)測精度時，MAE可以提供一個相對穩(wěn)定的評估指標(biāo)，即使數(shù)據(jù)中存在個別異常數(shù)據(jù)點(diǎn)，MAE也能較為準(zhǔn)確地反映模型的整體預(yù)測能力。然而，MAE在數(shù)學(xué)上的可微性較差，在使用梯度下降等基于梯度的優(yōu)化算法時，計(jì)算梯度相對復(fù)雜。決定系數(shù)（R^2）用于衡量模型對數(shù)據(jù)的擬合優(yōu)度，它表示模型能夠解釋的因變量變異的比例，其數(shù)學(xué)表達(dá)式為R^2=1-\frac{\sum_{i=1}^{n}(y_i-\hat{y}_i)^2}{\sum_{i=1}^{n}(y_i-\bar{y})^2}，其中\(zhòng)bar{y}是真實(shí)值的平均值。R^2的值介于0到1之間，值越接近1，表示模型對數(shù)據(jù)的擬合效果越好，即模型能夠解釋大部分的因變量變異；值越接近0，表示模型的擬合效果越差，模型對數(shù)據(jù)的解釋能力較弱。在小分子勢能面構(gòu)建中，R^2可以用來評估模型對勢能面的整體擬合程度，通過比較不同模型的R^2值，可以選擇擬合效果更好的模型。例如，當(dāng)比較多個不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型構(gòu)建的小分子勢能面時，R^2值較高的模型通常能夠更好地捕捉原子坐標(biāo)與勢能之間的關(guān)系，對勢能面的描述更為準(zhǔn)確。然而，R^2也存在一些局限性，它可能會受到數(shù)據(jù)量和模型復(fù)雜度的影響，在某些情況下，即使模型的擬合效果不佳，增加模型復(fù)雜度也可能導(dǎo)致R^2值升高，因此在使用R^2評估模型時，需要結(jié)合其他指標(biāo)進(jìn)行綜合判斷。在本研究中，綜合使用MSE、MAE和R^2這三個評估指標(biāo)來全面評估基于神經(jīng)網(wǎng)絡(luò)構(gòu)建的小分子勢能面模型的性能。MSE用于衡量模型預(yù)測值與真實(shí)值之間的總體偏差程度，重點(diǎn)關(guān)注較大誤差對模型的影響；MAE用于評估模型預(yù)測的穩(wěn)定性，反映模型在不同數(shù)據(jù)點(diǎn)上的平均誤差情況；R^2則用于衡量模型對勢能面的擬合優(yōu)度，評估模型對數(shù)據(jù)的解釋能力。通過這三個指標(biāo)的綜合分析，可以更全面、準(zhǔn)確地了解模型的性能，為模型的優(yōu)化和改進(jìn)提供有力的依據(jù)。3.4.2驗(yàn)證方法與結(jié)果分析為了全面評估基于神經(jīng)網(wǎng)絡(luò)構(gòu)建的小分子勢能面模型的性能和可靠性，采用了獨(dú)立測試集驗(yàn)證的方法。在數(shù)據(jù)準(zhǔn)備階段，將收集到的高質(zhì)量從頭算數(shù)據(jù)按照一定比例劃分為訓(xùn)練集、驗(yàn)證集和測試集，其中測試集用于獨(dú)立驗(yàn)證模型的泛化能力。在模型訓(xùn)練過程中，使用訓(xùn)練集對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，并通過驗(yàn)證集監(jiān)控模型的性能，調(diào)整模型的超參數(shù)，以防止過擬合現(xiàn)象的發(fā)生。當(dāng)模型訓(xùn)練完成后，使用獨(dú)立的測試集對模型進(jìn)行評估，計(jì)算模型在測試集上的均方誤差（MSE）、平均絕對誤差（MAE）和決定系數(shù)（R^2）等評估指標(biāo)，以衡量模型對未知數(shù)據(jù)的預(yù)測能力。以水分子H_2O的勢能面構(gòu)建為例，對模型進(jìn)行驗(yàn)證。首先，通過高精度的密度泛函理論（DFT）計(jì)算，獲得了包含不同O-H鍵長和H-O-H鍵角的水分子構(gòu)型的勢能數(shù)據(jù)。將這些數(shù)據(jù)按照70%、15%和15%的比例劃分為訓(xùn)練集、驗(yàn)證集和測試集。使用訓(xùn)練集對構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，在訓(xùn)練過程中，通過驗(yàn)證集監(jiān)控模型的損失函數(shù)值和評估指標(biāo)，調(diào)整學(xué)習(xí)率、隱藏層節(jié)點(diǎn)數(shù)等超參數(shù)。當(dāng)模型在驗(yàn)證集上的性能達(dá)到最優(yōu)時，認(rèn)為模型訓(xùn)練完成。然后，使用測試集對訓(xùn)練好的模型進(jìn)行驗(yàn)證，計(jì)算模型在測試集上的評估指標(biāo)。實(shí)驗(yàn)結(jié)果表明，在測試集上，模型的均方誤差（MSE）為0.0025eV2，平均絕對誤差（MAE）為0.03eV，決定系數(shù)（R^2）達(dá)到了0.998。從MSE的值可以看出，模型預(yù)測的勢能值與真實(shí)勢能值之間的總體偏差較小，模型能夠較為準(zhǔn)確地預(yù)測水分子在不同構(gòu)型下的勢能。MAE的值進(jìn)一步表明，模型在不同數(shù)據(jù)點(diǎn)上的平均誤差較小，預(yù)測結(jié)果具有較好的穩(wěn)定性。而R^2值接近1，說明模型對水分子勢能面的擬合效果非常好，能夠解釋大部分的勢能變異。為了更直觀地展示模型的性能，將模型預(yù)測的勢能值與真實(shí)勢能值進(jìn)行對比繪制。在圖中，橫坐標(biāo)表示水分子的不同構(gòu)型（通過O-H鍵長和H-O-H鍵角的變化來表示），縱坐標(biāo)表示勢能值?？梢钥吹剑Ｐ皖A(yù)測的勢能值與真實(shí)勢能值幾乎完全重合，模型能夠準(zhǔn)確地捕捉到水分子勢能面的變化趨勢。對于一些特殊的構(gòu)型，如平衡構(gòu)型和過渡態(tài)構(gòu)型，模型的預(yù)測值也與真實(shí)值非常接近，表明模型在這些關(guān)鍵構(gòu)型上具有較高的預(yù)測精度。與其他傳統(tǒng)方法構(gòu)建的水分子勢能面進(jìn)行對比。傳統(tǒng)的解析函數(shù)擬合方法在某些構(gòu)型下與真實(shí)勢能值存在一定的偏差，尤其是在勢能面的復(fù)雜區(qū)域，如過渡態(tài)附近，解析函數(shù)擬合的精度明顯下降。而基于神經(jīng)網(wǎng)絡(luò)構(gòu)建的勢能面模型在整個構(gòu)型空間內(nèi)都表現(xiàn)出了更高的精度，能夠更準(zhǔn)確地描述水分子勢能面的復(fù)雜形狀。這充分證明了基于神經(jīng)網(wǎng)絡(luò)構(gòu)建小分子勢能面的方法在準(zhǔn)確性和泛化能力方面具有顯著的優(yōu)勢。通過獨(dú)立測試集驗(yàn)證方法對基于神經(jīng)網(wǎng)絡(luò)構(gòu)建的小分子勢能面模型進(jìn)行評估，結(jié)果表明該模型具有較高的準(zhǔn)確性、穩(wěn)定性和擬合優(yōu)度，能夠有效地構(gòu)建小分子勢能面，為小分子體系的研究提供了可靠的理論基礎(chǔ)。四、案例分析4.1雙原子分子案例（以H?為例）4.1.1數(shù)據(jù)計(jì)算與收集在構(gòu)建H?分子勢能面的過程中，數(shù)據(jù)的計(jì)算與收集是至關(guān)重要的基礎(chǔ)步驟。為了獲取高精度的勢能數(shù)據(jù)，本研究采用了先進(jìn)的量子化學(xué)計(jì)算方法，通過對H?分子在不同構(gòu)型下的能量進(jìn)行精確計(jì)算，得到了一系列離散的勢能數(shù)據(jù)點(diǎn)，這些數(shù)據(jù)點(diǎn)將為后續(xù)的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練提供堅(jiān)實(shí)的數(shù)據(jù)支持。本研究選用了耦合簇理論（CC）中的CCSD(T)方法進(jìn)行量子化學(xué)計(jì)算。CCSD(T)方法作為一種高精度的從頭算方法，能夠充分考慮電子的相關(guān)效應(yīng)，準(zhǔn)確描述分子體系中的多體相互作用，被廣泛認(rèn)為是計(jì)算分子勢能的“黃金標(biāo)準(zhǔn)”。雖然CCSD(T)方法的計(jì)算復(fù)雜度較高，隨著體系規(guī)模的增加計(jì)算成本呈指數(shù)增長，但對于H?這樣的小分子體系，其能夠提供極為精確的能量計(jì)算結(jié)果，從而保證了勢能數(shù)據(jù)的高質(zhì)量。在計(jì)算過程中，使用了Gaussian軟件作為計(jì)算平臺。Gaussian軟件是一款功能強(qiáng)大且廣泛應(yīng)用的量子化學(xué)計(jì)算軟件，它提供了豐富的計(jì)算方法和基組選擇，能夠滿足不同精度和計(jì)算需求。為了進(jìn)一步提高計(jì)算精度，本研究選用了aug-cc-pVTZ基組。aug-cc-pVTZ基組是一種擴(kuò)展的相關(guān)一致基組，它在cc-pVTZ基組的基礎(chǔ)上增加了彌散函數(shù)，能夠更好地描述分子的電子云分布，尤其是在分子的外層區(qū)域，從而提高了對分子間弱相互作用的描述能力。通過系統(tǒng)地改變H?分子中兩個氫原子之間的距離，從極短的距離（接近原子核的排斥距離）到較長的距離（遠(yuǎn)大于平衡鍵長），以均勻的步長進(jìn)行掃描計(jì)算。在每個距離點(diǎn)上，使用CCSD(T)/aug-cc-pVTZ方法進(jìn)行單點(diǎn)能量計(jì)算，得到該構(gòu)型下H?分子的勢能值。例如，從0.2?開始，以0.05?的步長逐漸增加到3.0?，共計(jì)算了57個不同距離下的勢能值。在計(jì)算過程中，嚴(yán)格控制計(jì)算參數(shù)，確保計(jì)算的準(zhǔn)確性和穩(wěn)定性。同時，對計(jì)算結(jié)果進(jìn)行仔細(xì)的檢查和驗(yàn)證，排除可能出現(xiàn)的計(jì)算錯誤和異常值。經(jīng)過一系列的計(jì)算，最終得到了包含不同氫原子間距的H?分子構(gòu)型的勢能數(shù)據(jù)。這些數(shù)據(jù)涵蓋了H?分子從成鍵到解離的全過程，能夠全面地反映H?分子勢能面的特征。將這些計(jì)算得到的勢能數(shù)據(jù)進(jìn)行整理和存儲，形成了構(gòu)建H?分子勢能面的原始數(shù)據(jù)集。該數(shù)據(jù)集包含了氫原子間距和對應(yīng)的勢能值兩列數(shù)據(jù)，為后續(xù)的數(shù)據(jù)預(yù)處理和神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練做好了準(zhǔn)備。4.1.2神經(jīng)網(wǎng)絡(luò)模型構(gòu)建與訓(xùn)練在獲取了高質(zhì)量的H?分子勢能數(shù)據(jù)后，接下來的關(guān)鍵步驟是構(gòu)建合適的神經(jīng)網(wǎng)絡(luò)模型，并對其進(jìn)行有效的訓(xùn)練，以實(shí)現(xiàn)對H?分子勢能面的準(zhǔn)確構(gòu)建。本研究針對H?分子的特點(diǎn)，設(shè)計(jì)了一種基于多層感知器（MLP）的神經(jīng)網(wǎng)絡(luò)模型，并結(jié)合了優(yōu)化的訓(xùn)練策略，以提高模型的性能和訓(xùn)練效率。多層感知器（MLP）是一種經(jīng)典的前饋神經(jīng)網(wǎng)絡(luò)，由輸入層、隱藏層和輸出層組成。在本研究中，輸入層接收H?分子中兩個氫原子的相對坐標(biāo)信息，由于H?分子是雙原子分子，其相對坐標(biāo)可以簡單地用兩個氫原子之間的距離來表示，因此輸入層節(jié)點(diǎn)數(shù)為1。隱藏層是神經(jīng)網(wǎng)絡(luò)的核心部分，負(fù)責(zé)對輸入數(shù)據(jù)進(jìn)行特征提取和非線性變換。為了提高模型的表達(dá)能力，本研究設(shè)計(jì)了3個隱藏層，每個隱藏層的節(jié)點(diǎn)數(shù)分別為64、128和64。這種逐漸增加再減少的節(jié)點(diǎn)數(shù)設(shè)置，能夠在保證模型復(fù)雜度的同時，避免過擬合問題的發(fā)生。隱藏層之間通過權(quán)重連接，每個節(jié)點(diǎn)對前一層的輸入進(jìn)行加權(quán)求和，并通過激活函數(shù)進(jìn)行非線性變換。在本研究中，選擇ReLU（RectifiedLinearUnit）函數(shù)作為隱藏層的激活函數(shù)，其數(shù)學(xué)表達(dá)式為f(x)=max(0,x)。ReLU函數(shù)具有計(jì)算簡單、收斂速度快等優(yōu)點(diǎn)，能夠有效緩解梯度消失問題，使模型能夠快速學(xué)習(xí)到原子坐標(biāo)與勢能之間的復(fù)雜關(guān)系。輸出層根據(jù)隱藏層傳遞過來的特征信息，輸出H?分子的勢能值，因此輸出層節(jié)點(diǎn)數(shù)為1。為了進(jìn)一步提高模型的性能，在MLP架構(gòu)中引入了注意力機(jī)制。注意力機(jī)制能夠使模型更加關(guān)注分子結(jié)構(gòu)中的關(guān)鍵部分，即對勢能貢獻(xiàn)較大的原子間相互作用。在H?分子中，兩個氫原子之間的相互作用是決定勢能的關(guān)鍵