IMaxwell方程組是電磁學中的基本方程,它描述了電磁場的本質和行為.傳統(tǒng)數(shù)值方法求解麥克斯韋方程組存在一些問題,例如計算誤差較大,計算復雜度較高等問題.最近通過神經(jīng)網(wǎng)絡方法求解Maxwell方程組成為熱點研究問題,基于深度學習方法可以快速得到Maxwell方程組的近似解.隨著2019年內嵌物理知識神經(jīng)網(wǎng)絡(PINN)模型的提出,大大降低了神經(jīng)網(wǎng)絡求解偏微分方程的訓練成本.本文介紹了麥克斯識,綜述了神經(jīng)網(wǎng)絡求解Maxwell方程的幾種模型:內嵌物理知識神經(jīng)網(wǎng)算子網(wǎng)絡(DeepONet)[2],物理約束深度算子網(wǎng)以及上述模型的求解結果.本文的工作可以為后續(xù)的相關研究持.traditionalnumerications.Withtheintroductionoftheembeddedphysicalknowledgeneuralne2019,thetrainingcostofneuralnetworksolvingpartialdifferentialeqbackgroundandliteraturesupportforsubsequentKeywords:Maxwell’seqV1Maxwell方程組作為描述電磁場本質和行為的基本方程,對其求解一直是人們所關心的問題.由于其往往伴隨著較為復雜的定解條件,大部分的MMaxwell方程組的求解離不開高效穩(wěn)定的數(shù)值方法.傳統(tǒng)的數(shù)值計算方法包括有限差分法[5],有限元法[6],有限體積法[7],無解問題變成離散模型,在網(wǎng)格的節(jié)點處完成方程的解的近似求解或解的近似式求解,由于網(wǎng)格的劃分很大程度上會影響求解的精度,因此對于某些復雜問題選擇合適的網(wǎng)格十分困難.無網(wǎng)格方法利用靈活的節(jié)點代替預置的網(wǎng)格,通過求解點與支持域內的配置點距離函數(shù)近似模型真實解,雖然該方法解決了有網(wǎng)格方法的網(wǎng)格選取困難的問題,但其過大的計算量導致該方法效率過低.2022年山東大學任清華嘗試把徑向基配點一定程度上減少了求解的計算量,但該模型在Neumann邊界條件情況下的求解誤差仍然很大.和傳統(tǒng)的計算方法不同,神經(jīng)網(wǎng)絡方法可以在一定程度上解決傳統(tǒng)方法存在的問題,是當下的熱點研究方向.該方法同樣不依賴于網(wǎng)格的選取,也不需要大量的標簽數(shù)據(jù).附錄A通用逼近定理的介紹表明:神經(jīng)網(wǎng)絡可以逼近任何連續(xù)函數(shù)[10],其本質是通過參數(shù)與激活函數(shù)來擬合特征與目標之間的關系.神經(jīng)網(wǎng)絡的訓練過程包括:首先要確的監(jiān)督數(shù)據(jù)的輸入值神經(jīng)網(wǎng)絡中,正向傳播得到模型的輸出值,與監(jiān)督數(shù)據(jù)的函數(shù)值進行對比得到誤差函數(shù)Lloss,Lloss按照誤差反向傳播法對于各層權重參數(shù)求梯度,的學習率更新權重參數(shù),再不斷重復上述過程,最后得到一個使得損失函數(shù)最小的權重參數(shù),習到更高級別的特征,從而更好地捕捉數(shù)據(jù)中的復雜參數(shù)數(shù)量,提高模型的計算效率和訓練速度,因此在此基礎上的深度學習模型也成為機器學習領域中的又一熱門方向.第一類方法是用神經(jīng)網(wǎng)絡去近似單個PDE的解.這類方法主要依賴控制方程和邊界條件來訓練神經(jīng)網(wǎng)絡.例如,物理信息神經(jīng)網(wǎng)絡PINN[1].此類方法通過約出來滿足給定的控制方程和邊界條件,可以在無監(jiān)督的方式下工作,即不需要利用傳統(tǒng)的數(shù)值方法來生成標簽數(shù)據(jù).第二類方法使用神經(jīng)網(wǎng)絡來學習兩個無限維函數(shù)空間之間的解映射(即PDE參數(shù)到方碼,并將兩個子網(wǎng)的輸出做內積以得到方程的解;PI-DeepONet[3]可以在無標簽數(shù)據(jù)和無需重新訓練的情況下學習PDE參數(shù)到方程解的映射并且不需要一個預定義的網(wǎng)格;元自動解碼器(MAD)[4]將不同的PDE參數(shù)對應的方程求解視一個泛化能力更強的初始模型,使其能夠在少量梯度更新下就能處理新的學習任務.基于目前的研究,將上述方法用于Maxwell方程組的求解是十分可行的:首先PINN方2法可以儲存底層數(shù)學模型,可以更好滿足Maxwell在定解條件部分的限制,滿足真實狀態(tài)下電磁場的分布性質;其次,DeepONet方法對于介電系數(shù)來說,其解映射的想法可以大大優(yōu)化求解速度,一旦訓練好了神經(jīng)網(wǎng)絡,預測時間幾乎可以忽略不計;PI-DeepONet融合了二者的優(yōu)點,滿足物理模型的前提下實現(xiàn)PDE參數(shù)到方程解的映射的學習;包括MAD方法在內的元學習方算法本身,給定一定數(shù)目的介電系數(shù)和相對磁導率組作為訓練任務進行元學習,便可實現(xiàn)對未知系數(shù)組合的預測,其在求解Maxwell方程組方面取得了一定成種方法,主要組織結構如下:第一章為緒論部分,介紹了Maxwell方程組的重要意義,求解微分方程的經(jīng)典方法以及神經(jīng)網(wǎng)絡求解微分方程的原理與優(yōu)點.同時簡單總結了包分方程模型的基本想法.方程組Helmholtz方程并驗證電磁的波動傳導形式;介紹了神經(jīng)網(wǎng)絡的基本知識和原理并利用神經(jīng)網(wǎng)絡求解簡單的一維線性函數(shù).第三章詳細介紹了內涵物理知識神經(jīng)網(wǎng)絡PINN的模型架構,并利Helmholtz方程.第四章詳細介紹兩類算子網(wǎng)絡–深度算子網(wǎng)絡DeepONet的網(wǎng)絡模型及其推廣物理約束第五章首先闡述元學習的概念,緊接著闡述了MAD模型的結構,最后用數(shù)值例子對模型加以分析.第六章總結了上述模型的優(yōu)缺點,并提出未來3Maxwell方程組于19世紀被物理學家麥克斯韋提出,該方程組包括積分和微分兩種形式[12],共包括高斯電場,磁場定律,法拉第定律以及安培-麥克斯韋定律四個方程,該方程組描述了電場磁場與電荷電流之間的關系.首先看積分形式的Maxwell方程組,共包括下面四個方fSE.da=,fSB.da=0,fCE.dl=JS.da,E.da),上面四個方程,(2.1)為高斯電場定律,即穿過閉合曲面的電通量正比于這個曲面包含的電荷面的磁通量的變化率等于感生電場的環(huán)流;(2的變化率和曲面包含的電流等于感生磁場的環(huán)流.對于(2.1),左端表示穿過閉合曲面的電通量,在這里利用電場線來描述帶電物體的電場.考慮一個單位正電荷,該電荷不斷向外發(fā)出電場線,選擇任意形狀的閉合曲面S,發(fā)出的電場用來刻畫穿過閉合曲面電場線多少的物理量.在平面情況下,電通量可以用電場強度E與面積A進行矢量點乘得到,面積的方向用平面的不同,因此采用微分的思想,將曲面S微分成很多小塊da,每一塊的面積可以用E·da來表示.最后通過曲面積分,得到通過曲面的電通量,得到高斯電場定律的表達式:閉合曲面電通量與曲面包含電荷量成正比.對于(2.2),左端表示穿過閉合曲面的磁通量,類比電場,可以用磁感線來描述物體的磁曲面S,再從S極穿入曲面S,穿過曲面的磁感線數(shù)目用磁通量表示,則流入和流出的磁通量產(chǎn)生電場,這個電場與磁通量的變化快慢有關,在法拉第定慮磁感應強度的變化,因此有了右端磁感應強度B對時間t求導.至于感生電擇一個新的物理量——電場環(huán)流來表示,即在C,電場強度E在閉合曲線C上的線積分即為感生電場的環(huán)流.由電流的磁效應,磁4變的基礎上加上了一個曲面圍繞的電流大小,這是由于安培定理提到:在穩(wěn)恒磁場中,磁感應強度B沿任何閉合路徑的線積分,等于這閉合路徑所包圍的各個電流的代數(shù)和乘以磁導率.因此感生磁場的環(huán)流不僅與電通量的變化率有關,也與其中的包圍的電流代數(shù)和有關.其中的μ0與ε0均為常數(shù),分別表示真空磁導率與真空絕對介電常數(shù).安培-麥克斯韋定律的物理意義為感生磁場的環(huán)流等于穿過曲面的電通量的變化率和曲面包含的電流.接下來看微分形式的Maxwell方程組,微分形式的四個方程可以表示為:??E=,?×B=μ0(J+ε0,此時四個方程表示的物理意義為:(2.5)為高斯電場定律,意義為電場強度的散度跟這點的電荷密度成正比;(2.6)為高斯磁場定律,意義為磁感應強度的散度處處為0;(2.7)為法拉第定律,意義為感生電場的旋度等于負的磁感應強度的變化率;(2.8)為安培-麥克斯韋定律,意義為感生磁場的旋度等于電流密度和電場強度變化率之和.描述,左右同時除以體積,得到:EQ\*jc3\*hps21\o\al(\s\up2(li),v)此時將定義為體積縮到無窮小一點時該點的電荷密度,左端定義電場E在某點的散度EQ\*jc3\*hps21\o\al(\s\up2(li),v)diuE=??E,度就是:5綜上得出式(2.5),且電場E在某點的散度計算公式由式(2.1.1)場的散度跟電荷密度成正比.對于(2.6),左端同(2.5)表示某點磁感線強度的故微分形式右端仍然為0,得到微分形式高斯磁場定律,其物理意義為某點磁感應強度的散于右端本質是負的磁感應強度變化率乘以面積,故除以面積只剩下負的磁感應強度變化率,可以得到:EQ\*jc3\*hps21\o\al(\s\up3(l),s),curl(E)=?×E,其中nabla算子?與電場E的叉乘運算為若電場E可表示為E(x,y,z)=Ex分量具有一階連續(xù)偏導數(shù),則:綜上得出式(2.7),且電場E在某點的旋度計算公式由式(2.10)場的旋度等于負的磁感應強度的變化率.對于(2.8),積分形式為(2.4),同樣按照微分形對于,引入新的物理量電流密度J來表示,單位是A/綜上得出式(2.8),物理意義為感生磁場的旋度等于電流密度和電場強度變化率之和.至此完成了Maxwell方程組積分微分形式以及物理意義的介2.1.2Maxwell方程組與波動方程的聯(lián)系并推導He經(jīng)典的波動方程為:21d2f其中?2等于拉普拉斯算子Δ,對于n維空間的標量函數(shù)f(x1,x2,…,xn),拉普拉斯算子Δ作?2f=EQ\*jc3\*hps21\o\al(\s\up6(d),d)EQ\*jc3\*hps15\o\al(\s\up10(2),x)+EQ\*jc3\*hps21\o\al(\s\up6(d),d)EQ\*jc3\*hps15\o\al(\s\up10(2),x)+…+EQ\*jc3\*hps15\o\al(\s\up8(d2),dx)=0,6若電場E可表示為E(x,y,z)=Ex?2E=(?2Exy)+(?2Ez).?2E=μ0ε0,?×(?×B)=?(??B)??B考慮波動方程最基本的形式:ΔV(x)?k2V=0,將V改寫成一般情況的u得證式(2.18).Helmholtz方程描述了電磁波在空間中傳播時的變磁波在空間中的傳播和衰減情況,它可以用于分析和預測電磁波在各種介質中的傳播特性,從而為電磁的應用提供理論基礎.7用圖來說明神經(jīng)網(wǎng)絡的話,如圖2.1所示.f(x)=wnσn?1(wn?1σn?2(...(w2σ1(w1x+b1)+b2)+..)+bn?1)+bn(2.19)圖中展示的感知機模型接收兩個輸入信號x1和x2,并y={EQ\*jc3\*hps21\o\al(\s\up14(1),0)(b+w1x1+w2x2>0),(b+w1x1+w2x2≤0),參數(shù)b被稱為偏置,它決定了神經(jīng)元被激活的難易程度.而w1和w2則是權重參數(shù),分別代8y=?(b+w1x1+w2x2),(2.21)?(x)={EQ\*jc3\*hps21\o\al(\s\up8(1),0)EQ\*jc3\*hps21\o\al(\s\up7(x),x)EQ\*jc3\*hps21\o\al(\s\up8(0),0)EQ\*jc3\*hps21\o\al(\s\up4(,),,)(2.22)它將輸入信號的加權求和轉換為輸出信號.這一轉換過程的核心在于:激活函數(shù)決定了如何根據(jù)輸入信號的總和來生成輸出信號,進而實現(xiàn)神經(jīng)網(wǎng)絡中神經(jīng)元的激活.為了對式(2.21)進行更深入的分析和改寫,可以將其拆分為兩個步驟的加權總和,這一步涉及到對各個輸入信號進行加權求和;其次,利用激活函數(shù)對這一加權總a=b+w1x1+w2x2,式(2.23),(2.24)可以由圖2.3來表示:數(shù).神經(jīng)網(wǎng)絡中用sigmoid函數(shù)作為激活函數(shù)進行信號間的轉換,轉換后的信號被傳遞給下一個9通過拉格朗日乘數(shù)法[18](尋找變量受一個或多個條件限制的多元函數(shù)極值的方法)求偏導?(x)={EQ\*jc3\*hps21\o\al(\s\up8(0),x)EQ\*jc3\*hps21\o\al(\s\up7(x),x)EQ\*jc3\*hps21\o\al(\s\up8(0),0)EQ\*jc3\*hps21\o\al(\s\up4(,),,)(2.26)示.3.雙曲正切tanh函數(shù)(hyperbolictangentfunc提高模型的穩(wěn)定性和收斂速度.x一些情況下有更好的表現(xiàn).其圖像如圖2.7所示.神經(jīng)網(wǎng)絡可以按照以下步驟求解問題.對于求解的問題,確定適合的神經(jīng)網(wǎng)絡模型,隨后初始化網(wǎng)始神經(jīng)網(wǎng)絡模型.2.正向傳遞,計算初始模型的輸出并計算損失函數(shù):將訓練數(shù)據(jù)輸入進模型中,通過層級之間的正向傳遞得到輸出值,與預期函數(shù)值比較得到損失函數(shù).3.反向傳播,計算損失函數(shù)對權重的梯度:根據(jù)誤差反向傳播法,計算損失函數(shù)相對于待訓練參數(shù)的梯度.根據(jù)梯度下降法和給定學習率更新參數(shù)替代原來的權重和偏置參數(shù),得到訓練一次后的神經(jīng)網(wǎng)絡模型.按照預設的迭代次數(shù),重復第二步至第四步,不斷對模型進行訓練,最終訓練出較為理想迭代結束后,選擇一些測試數(shù)據(jù)輸入網(wǎng)絡下面按照利用神經(jīng)網(wǎng)絡求解一個簡單的一元線性函數(shù)擬合問題:確定神經(jīng)網(wǎng)絡結構如圖2.8所示,其中x為輸入單元,w為輸入單元對應的權重,b為模型的偏置,其權重為1.w與b為模型要訓練的參數(shù),為輸出單元,其中激活函數(shù)?為恒等函a=b+wx,(2.29)=?(a)=a=b+wx,(2.30)隨機初始化訓練參數(shù),令w=2,b=6,學習率1=0.05,訓練次數(shù)為5次.2.正向傳遞,計算初始模型的輸出并計算損失函數(shù):計算輸出與訓練數(shù)據(jù)給定的函數(shù)值y=1的損失函數(shù)L,這里的L選擇均方誤差函數(shù),即L=(?y)2.按照誤差反向傳播法,計算L對參數(shù)w和b的梯度,結果為式(2.31)EQ\*jc3\*hps21\o\al(\s\up6(d),d)EQ\*jc3\*hps21\o\al(\s\up6(L),w)EQ\*jc3\*hps21\o\al(\s\up6(d),d)EQ\*jc3\*hps21\o\al(\s\up6(d),d)如式(2.33),(2.34)用梯度下降法更新w和b得到w1和b1.w1=w?1EQ\*jc3\*hps21\o\al(\s\up6(dL),dw)=2?0.05×36=0.2,將w1和b1賦予給模型的權重和偏置.5.按照預設迭代次數(shù)重復第二至四步,訓練五次的結果如下:權重w=2.00權重w1=0.20權重w2=?0.70權重w3=?1.15權重w4=?1.38權重w5=?1.49由于該問題僅有一個數(shù)據(jù),故無法通過測試數(shù)據(jù)來評估模型的擬合效果,直接通過第5步中的損失函數(shù)便可以看出模型的擬合效果,根據(jù)表6僅僅經(jīng)過五次訓練,模型的損失函數(shù)數(shù)量級已經(jīng)達到了10?2.損失函數(shù)L損失函數(shù)L1=20.2500損失函數(shù)L2=5.0625損失函數(shù)L4=0.3164損失函數(shù)L5=0.0791本章將介紹內嵌物理知識神經(jīng)網(wǎng)絡(PINN)模型的作用機制,并利用PINN求解標準的Helmholtz方程和電磁波動方程.大多數(shù)神經(jīng)網(wǎng)絡在求解微分方程時并不理解方程背后的數(shù)學模型,這是由于網(wǎng)絡僅僅由數(shù)里共同訓練[1],使得訓練得到的模型既滿足控制方程又符合其背后的數(shù)學模型.額外物理約束的加入也使得網(wǎng)絡對數(shù)據(jù)的依賴性降低,減少數(shù)據(jù)需求量進而降低訓練成本.PINN的界條件.對于該方程,建立神經(jīng)網(wǎng)絡模型,最基礎的神經(jīng)網(wǎng)絡是全連接神經(jīng)網(wǎng)其結構如圖所示:式中:EQ\*jc3\*hps15\o\al(\s\up14(2),2)EQ\*jc3\*hps15\o\al(\s\up5(2),2)EQ\*jc3\*hps15\o\al(\s\up6(2),2)點.對于邊界項權重參數(shù),為了加速滿足邊界條件的收斂,其選擇要遠遠大于PDE項參數(shù),提出自動調整PDE殘差損失和邊界損失的權重方法,以平衡損失函數(shù)中來自不同項的反向傳播梯度的大小.建立損失函數(shù)后,通過損失函數(shù)對神經(jīng)網(wǎng)絡各參數(shù)求梯度來進行更新,完成更新后會得到一個神經(jīng)網(wǎng)絡模型,使得該模型既近似微分方程的解,同時也滿足方程滿足的底層數(shù)學邏輯.邊值條件,方程整體可寫為:EQ\*jc3\*hps15\o\al(\s\up6(d),d)EQ\*jc3\*hps12\o\al(\s\up9(2),x)EQ\*jc3\*hps15\o\al(\s\up6(u),2)EQ\*jc3\*hps15\o\al(\s\up7(d2u),dy2)?x,?每個隱藏層設有32個神經(jīng)元.選定初始內部配置點個數(shù)下面兩組圖像為不同激活函數(shù)PINN求解標準Helmholtz方程的可視化結果圖,從訓練運行時間相對也很短;SiLU函數(shù)由于其相對更復雜的表達式,導致其運算時間最長,長度但其在計算精度上取得了最好的效果.由此可見選取適當激活程效率很高,同時四種激活函數(shù)的神經(jīng)網(wǎng)絡求解盡管PINN很有效,但PINN是針對特定的方程進行訓練的,并且在推理過程中需要昂貴的訓練.以DeepONet形式推出的神經(jīng)算子實現(xiàn)了針對不同參數(shù)都能快速擬合要新條件位于輸入空間內,就不需要進一步的訓練.對于不符合預定進一步訓練,但如果輸入空間經(jīng)過充分采樣,訓練次數(shù)也相對較少.DeepONet的另一個重要表明DeepONet可以打破維數(shù)災難,即處理高維數(shù)更多的參數(shù)來擬合數(shù)據(jù),但是訓練數(shù)據(jù)的數(shù)量卻沒有相應地增加,導致網(wǎng)絡過擬合和泛化能力下降的現(xiàn)象.DeepXDE是一個專為科學機器學習設計的Python庫,在其中封裝了DeepXDE,在接下來的實例分析中將舉例說明用DeepXDE求解簡化的Maxwell方程組.參數(shù)化偏微分方程可以表示成:N是非線性微分算子,u是輸入函數(shù),s是要求的方程的解,s依據(jù)u的變化得出.設DeepONet的想法是,選取不同的點{x1,x2,?,xm}及隨機的點y12要訓練出一個網(wǎng)絡,使得對于任何y的取值,MLP[29],ResNet[30],把固定的{x1,x2,?,xm}以及一b:圖中具體展示了a中訓練數(shù)據(jù)的輸入,左邊在每個輸入函數(shù)u(x)上選擇的坐標點{x1,x2,?,xm}位置都是相同的,不同函數(shù)的點一一?(xm)]T和y,基于算子通用近似定理(圖4.2)提出了堆疊的DeepONet.d:使用大量的分支網(wǎng)絡是低效的,因此d將所有的分支網(wǎng)絡合并成一個單一的分支網(wǎng)為具有共享相同參數(shù)集的所有分支網(wǎng)絡的堆疊的DeepONet,主干網(wǎng)絡和分支網(wǎng)絡個數(shù)均為1個,此時圖4.2表達式不變,只是圖4.3中的p=1.用N表示輸出函數(shù)u(x)的個數(shù),P表示輸1NP1NP1NP1NP=GEQ\*jc3\*hps15\o\al(\s\up5(i),j)EQ\*jc3\*hps15\o\al(\s\up5(i),j)12EQ\*jc3\*hps15\o\al(\s\up5(i),j)EQ\*jc3\*hps15\o\al(\s\up5(i),j)2,與PINN想法類似,PI-DeepONet在原DeepONet的基礎上,加上了物理信息ONet只強調針對不同定解條件模型都會得到微分方程的解,而PI-DeepONet加上了方程本身非線性算子N即方程本身的損失,通過方程與定解條件共同組成損失函數(shù)進而實現(xiàn)物理PDE(4.3)的解s.對于給定的輸入函數(shù)ui:ui=?D?GEQ\*jc3\*hps15\o\al(\s\up4(i),θ)EQ\*jc3\*hps15\o\al(\s\up1(i),θ)故控制方程物理損失為:LcEQ\*jc3\*hps15\o\al(\s\up6(i),θ)EQ\*jc3\*hps15\o\al(\s\up6(i),r)EQ\*jc3\*hps15\o\al(\s\up6(i),r)EQ\*jc3\*hps15\o\al(\s\up6(i),r)個數(shù),為了與DeepONet的損失函數(shù)區(qū)分,這里的評價點加了角標r在定解條件處,損失函數(shù)表示為:LBEQ\*jc3\*hps15\o\al(\s\up6(i),u)EQ\*jc3\*hps15\o\al(\s\up6(i),u)EQ\*jc3\*hps15\o\al(\s\up6(i),u)EQ\*jc3\*hps15\o\al(\s\up6(i),u)EQ\*jc3\*hps15\o\al(\s\up4(i),u)EQ\*jc3\*hps15\o\al(\s\up4(i),u)LB可寫為:EQ\*jc3\*hps15\o\al(\s\up6(i),u)EQ\*jc3\*hps15\o\al(\s\up6(i),u)其中N為輸入函數(shù)u(x)的個數(shù),P為定解條件評價點(xu,j,tu,j)的個數(shù),最后訓練總的損失訓練步驟:4.在求解域內選擇P個輸出點y1,y2,…,yP,輸入主干網(wǎng)絡tk(y1,y2,…,yP).6.計算總損失函數(shù),依據(jù)損失函數(shù)更新參數(shù)并重復.首先是DeepONet在學習效率上有巨大優(yōu)勢,考慮相比于PINN,DeepONet通過訓練大量的樣本來擬合算子,因此對于不同的輸入函數(shù)不t在原有基礎上在損失函數(shù)中加入了控制方程本身的物理信息,使得擬合的模型更好符合方程在第二節(jié)中已經(jīng)證明出電場磁場均滿足波動方程,而電磁波在傳輸線或波導中傳播時有完全垂直于傳播方向和波導的橫截面,即電場只有橫向分量,沒有沿傳播方向的分量;TM波是指電磁波在傳播時磁場分量完全垂直于傳播方的分量,而磁場只有橫向分量.考慮TE模式的時諧電磁波在無源、均勻、各向同性的媒質中傳導,傳播方向沿x軸=iΦμHz,按上述規(guī)定,求得結果如下:?4利用DeepXDE和DeepONet求解微分方程效率很高,并且可以實現(xiàn)傳統(tǒng)機器學習通常只關注單一學習任務,而元學習(MetaLearning)則不同,它通過利用一系列相關聯(lián)的學習任務來不斷完善學習算法本身,從而讓模型能更加快速高效地適應新的算法都致力于尋找一個具有強大泛化能力的初始模型,使其僅需少量梯度更新便能應對新的學習任務.元學習的理念也可以應用于參數(shù)化偏微分方程的求解,也就是把每個具有不同PDE參數(shù)的方程都被視為一個獨立的學習任務.Meta-MgNet[32]是首個將參數(shù)化偏微分方程求解視為元學習問題的方法,它融合了超網(wǎng)絡和多重網(wǎng)格算法,通過利用任務間的相似性自適應地生成高效的平滑算子,進而加速求解過程.然而,這種方法并不適用于無法使用多重網(wǎng)格算法的偏微分方程.最近,有研究者嘗試將Reptile算法與PINN結合以但實驗結果顯示,對于某些具有挑戰(zhàn)性的偏微分方程(如參數(shù)化帶點源的麥克斯韋方程組),方法.該方法采用自動解碼器架構,將偏微分方程的參數(shù)隱式編碼為隱向量,從而使得預訓練模型能夠迅速適應新的方程實例,這一技術的出現(xiàn)為處理復雜偏微分方程提供了新的思路和方向.元學習是通過一系列訓練任務,使得模型獲取一種學會學習調參的能力,即通過原有的知識快速完成對新任務的學習,而機器學習是先人為調參,之后直接訓練特定任務下深度模型.元學習則是先通過其它的任務訓練出一個較好的參數(shù),然后再對特定任務進行訓練.在機器學習中,數(shù)據(jù)是訓練的基礎單位,模型通過數(shù)據(jù)來進行優(yōu)化和調整,這些數(shù)據(jù)通常秀的參數(shù)使模型能夠快速適應新任務,而測試任務則是利用從訓練任務中學到的參數(shù)來進一步訓練特定任務,每個任務的數(shù)據(jù)集都包含自己的驗證集和測試集,以確保模型的有效性和泛化能力.d2u=其中LY1和BY2分別是由Y1和Y2參數(shù)化的偏微分算子,是笛卡爾坐標系下的坐標,無限維算子G∶A→U,該算子將任何PDE參數(shù)1映射到其對應的將任意一個PDE參數(shù)1i對應的方程的求解視作是一個單獨的任務.MAD方法的目的是學到一個好的預訓練模型,使得該預訓練模型在多個不同的任務之間有一定的泛化能力,并且可以使得模型在未見過的任務上快速學習.MAD方法包含兩個階段:預訓練階段和微調階段.在預訓練階段,MAD方法將每個任務隱式編碼為一個可訓練的隱向量zi.不同的任EQ\*jc3\*hps21\o\al(\s\up0(~),x)EQ\*jc3\*hps21\o\al(\s\up0(~),x)EQ\*jc3\*hps15\o\al(\s\up4(*),i)EQ\*jc3\*hps15\o\al(\s\up4(*),i)有的知識.在微調階段,需要去求解一個新的PDE參數(shù)對應的新任務,這時有兩種微調的策給定任意的PDE參數(shù)1EA,對于方程(5.1),物理信息損失函數(shù)為:L1EQ\*jc3\*hps15\o\al(\s\up4(2),L)EQ\*jc3\*hps15\o\al(\s\up4(2),L)具體可寫為:EQ\*jc3\*hps21\o\al(\s\up3(人),L)EQ\*jc3\*hps21\o\al(\s\up6(1),M)EQ\*jc3\*hps21\o\al(\s\up0(~),x)EQ\*jc3\*hps15\o\al(\s\up5(r),j)EQ\*jc3\*hps15\o\al(\s\up5(2),2)EQ\*jc3\*hps15\o\al(\s\up7(λb),M)EQ\*jc3\*hps15\o\al(\s\up6(c),b)EQ\*jc3\*hps15\o\al(\s\up5(~bc),xj)EQ\*jc3\*hps15\o\al(\s\up5(2),2)EQ\*jc3\*hps15\o\al(\s\up4(~r),xj)EQ\*jc3\*hps15\o\al(\s\up4(~bc),xj)機采樣點.1.預訓練階段:給定N個隨機生成的PDE參數(shù)11,…,1NEA,通過求解以下優(yōu)化問zEQ\*jc3\*hps15\o\al(\s\up5(*),i)EQ\*jc3\*hps21\o\al(\s\up3(人),L)2EQ\*jc3\*hps21\o\al(\s\up6(人),L)2.MAD-L的微調階段:給定一個新的PDE參數(shù)1new,MAD-L加載預訓練好的網(wǎng)絡權重*并固定不變,通過求解如下的優(yōu)化問題來獲得最優(yōu)的隱向量zEQ\*jc3\*hps15\o\al(\s\up4(*),n)ew.EQ\*jc3\*hps15\o\al(\s\up4(*),n)EQ\*jc3\*hps21\o\al(\s\up2(人),L)2,EQ\*jc3\*hps15\o\al(\s\up4(*),n)ew)即為新的PDE參數(shù)1new對應的方程近似解.3.MAD-LM的微調階段:給定一個新的PDE參數(shù)1new,MAD-LM首先加載預訓練好的EQ\*jc3\*hps15\o\al(\s\up4(?),n)EQ\*jc3\*hps15\o\al(\s\up4(?),n)EQ\*jc3\*hps21\o\al(\s\up0(m),z,)EQ\*jc3\*hps21\o\al(\s\up0(in),θ)2?從流形角度解釋MAD方法的有效性1.MAD—L:將偏微分方程的解所在的函數(shù)空間U映射到二維平面上.藍色實線表示所有PDE參數(shù)對應的真解所在的流形G(A),而藍色實線上的每個點代表每一個P每個點對應一個隱向量z.給定一個新的PDE參數(shù)1new,MAD—L方法不是在整個函數(shù)空間一條曲線),所以微調的速度將非?？?2.MAD—LM:在某些復雜情況下,所有PDE參數(shù)而是表示成某個流形所在的鄰域,這個鄰域就是圖中淺藍色表示小窄帶.橙色實線依舊表示預訓練模型預測得到的方程解對應的流形Gθ?(Z),橙色實線上的每個點依舊對應一個隱向橙色實線之外的地方搜索.橙色實線上的搜索對應著微調隱向量z,而在橙色實線之外的地用于微調.EQ\*jc3\*hps15\o\al(\s\up24(d),d)EQ\*jc3\*hps12\o\al(\s\up22(x),y)EQ\*jc3\*hps15\o\al(\s\up13(e),e)EQ\*jc3\*hps15\o\al(\s\up24(d),er)其中Ex,Ey和Hz為電磁場,J(x,y,t)=e?()2δ(x?x0)δ(y?y0)是點源,即在仿真模型中用來產(chǎn)生電磁場的源頭,它的作用是模擬真實對比不同方法在微調時的收斂速度和精度,結果表明MAD-L和MAD-LM方法相較于其他方法能夠明顯提升模型在微調時的收斂速度.圖5.8,5.9表明兩種方法對方程求解的精度也達到了很本文綜述了Maxwell方程組的內容和神經(jīng)網(wǎng)絡求解該方程組及變式方程的想法,包括內嵌物理知識神經(jīng)網(wǎng)絡PINN[1],深度算子網(wǎng)絡DeepONet[2],物理約束深度算子網(wǎng)絡PI-DeepONet[3]和元自動解碼器MAD[4].文中針對PINN模型和深度算子網(wǎng)絡模型進行了1.PINN在求解簡單微分方程時已達到很高的準確性,不同的激活函數(shù)會有不一樣的求2.兩種深度算子網(wǎng)絡對于參數(shù)改變的一族方程有較快的求解速度和精度,可以實時推斷系統(tǒng)對許多不同邊界或者初始條件的響應,無需進一步訓練或可能只需非常簡單的訓練,求解速度與傳統(tǒng)求解器相比加快數(shù)千倍;3.MAD算法基于元學習的思想,在求解一族方程時能夠顯著提高模型的收斂速度.相信本文的工作可以為后續(xù)的相關研究提供很好的研究背景和文獻支持.連續(xù)函數(shù)空間記為C(X).?f∈C(X),?ε>0,?n∈N,aij,bi,wi,i∈{1...n},j∈{1...m},則有函數(shù)f(·)的近似Anf,其中n表示隱藏層神經(jīng)元的個數(shù):(Anf)(x1,…,xm)=wiΦ(aijxj+bi)st.||f?Anf||<ε,(A.1)通用逼近定理的說明主要參考[34],在這里考慮簡單線性函數(shù)的逼近,對于簡單線性函數(shù)f(x):????????x>4x>6x>8稍作變形為:1梯中心位置恰好在y軸.w+B,w決定疊加函數(shù)的值域的拉伸,B決定疊加函數(shù)圖像的移動,即值域的上下平移,因此w和B可以決定疊加函數(shù)整體的值域變化.整理一下上面的疊加函數(shù),將其寫為:w1+exp[?(wx+b)]+B,123因此f(x)便可以通過上面三者的加和來得到擬合值,而上面的表達式可以用一個單層的偏置,權重和偏置的具體表達式取值為:EQ\*jc3\*hps15\o\al(\s\up4(1),1)EQ\*jc3\*hps15\o\al(\s\up4(1),2)EQ\*jc3\*hps15\o\al(\s\up4(1),3)EQ\*jc3\*hps15\o\al(\s\up4(1),1)EQ\*jc3\*hps15\o\al(\s\up4(1),2)EQ\*jc3\*hps15\o\al(\s\up4(1),3)EQ\*jc3\*hps15\o\al(\s\up4(2),1)EQ\*jc3\*hps15\o\al(\s\up4(2),2)EQ\*jc3\*hps15\o\al(\s\up4(2),3)EQ\*jc3\*hps15\o\al(\s\up4(2),1)EQ\*jc3\*hps15\o\al(\s\up4(2),2)EQ\*jc3\*hps15\o\al(\s\up4(2),3)任意連續(xù)函數(shù),均可以寫成n個階梯函數(shù)的加和,此時單即一個含有單獨隱含層的神經(jīng)網(wǎng)絡結構,給定充分的神經(jīng)元,那么這個神經(jīng)網(wǎng)絡可以以任意精度逼近任意連續(xù)函數(shù).證明,將其中的一些字母進行替換.引理B.1(通用逼近定理?).設K是Rn中的緊集,U是C(K)中的緊集,g是一個連續(xù)的非多EQ\*jc3\*hps15\o\al(\s\up4(k),i)i=1,?,N,N取決于f(N為隱藏層神經(jīng)元的個數(shù),f∈C(K)),使得:證明.該引理已在附錄A中雖未嚴格推導,射f都可擴張到X上,即總存在g∶X→R是連續(xù)映射,且g|C=f.于閉集的極限點含在自身中,故x∈A.對于X中的兩個不交閉集A,B,存在一個連續(xù)函數(shù)如:對于連續(xù)函數(shù)f,若f有界,設f的界為M,令A1=f?1((?∞,?]),B1=f?1([,+∞)),則≤M,|f?g1?g2(x)|≤M,|f?gi(x)|≤EQ\*jc3\*hps15\o\al(\s\up7(2n),3n)M,EQ\*jc3\*hps12\o\al(\s\up8(n?),3n)x∈C上f?=0,且在X上連續(xù),有界情況成立.=1gEQ\*jc3\*hps15\o\al(\s\up4(′),i)中總有gEQ\*jc3\*hps15\o\al(\s\up4(′),i)(x)<2EQ\*jc3\*hps12\o\al(\s\up8(n?),3n)1,故有:=gi(x)<=1,引理B.3.設X是Banach空間,K是X中的緊集,V是C(K)中的緊集,可以找到一個序EQ\*jc3\*hps15\o\al(\s\up1(?),EQ\*jc3\*hps15\o\al(\s\up4(?),1k)EQ\*jc3\*hps15\o\al(\s\up5(n),j)EQ\*jc3\*hps12\o\al(\s\up3(k),1EQ\*jc3\*hps15\o\al(\s\up5(n),j)EQ\*jc3\*hps12\o\al(\s\up3(k),1)EQ\*jc3\*hps15\o\al(\s\up3(?),1k)V,定義函數(shù):令V1k={u1k∶u∈V},V?1V1k)則:C(K)<δk,③V?是C(K)中的緊集.k,V中的序列,使得:k=∑kk,EQ\*jc3\*hps15\o\al(\s\up4(i),n)k0,EQ\*jc3\*hps15\o\al(\s\up5(i),n)滿足:引理B.4.設X是Banach空間,K是X中的緊集,V是C(K)中的緊集,g是一個連續(xù)的非多項式函數(shù)(神經(jīng)網(wǎng)絡的任意激活函數(shù)),f是一個定義在V上的連續(xù)函數(shù),任意的e>0,存在=1,?,N,j=1,?,m,使得:f?kk,<,和B.7比較得出:X是Banac?空間,K1?X,K2?Rn分別是X,Rn中的兩個緊集,V是C(K1)中的緊集,非線性連續(xù)算子G將V映射到C(K2)上,任意的e>0,存在正整數(shù)M,N,EQ\*jc3\*hps15\o\al(\s\up4(k),i)EQ\*jc3\*hps15\o\al(\s\up4(k),i)k∈Rn,xj∈K1,i=1,?,M,k=1,?,N,j=1,?,m,使得:EQ\*jc3\*hps15\o\al(\s\up6(k),i)EQ\*jc3\*hps15\o\al(\s\up6(k),ij)EQ\*jc3\*hps15\o\al(\s\up6(k),i)kk)<e,對所有的u∈V,y∈K2均成立,其中C(K)是定義在K上的所有連續(xù)函數(shù)的Banac?空間,范數(shù)為||f|C(K)=maxx∈K|f(x)|.該定理說明一個含有單個隱藏層的神經(jīng)證明.通過假設可知,G是一個連續(xù)算子,將C(K1)中的緊集V映射到C(K2),可以直觀證Rn,k=1,2,?,N,G是一個連續(xù)算子,可以得到對于每一個V滿足:kEQ\*jc3\*hps15\o\al(\s\up4(k),i)EQ\*jc3\*hps15\o\al(\s\up4(k),ij)EQ\*jc3\*hps15\o\al(\s\up4(k)