2005Fluent中國用戶大會論文集251FLUENT軟件的多重網(wǎng)格并行算法及其性能余江洪1，朱宗柏1,2，肖金生1,3(1武漢理工大學材料復合新技術國家重點實驗室，2現(xiàn)代教育技術中心，3汽車工程學院，湖北430070)摘要：FLUENT軟件是目前國際上比較流行的通用CFD軟件包，用于模擬從不可壓縮到高度可壓縮范圍內(nèi)的復雜流動，對大規(guī)模問題可用并行多重網(wǎng)格方法進行求解。為了找出FLUENT軟件的最佳解題規(guī)模和并行粒度，以期最大限度地發(fā)揮軟件和硬件的效能，對FLUENT軟件采用的多重網(wǎng)格方法和區(qū)域分裂法進行了理論分析，通過反復實驗，重點討論了在并行求解過程中，采用不同的多重網(wǎng)格循環(huán)方法、區(qū)域網(wǎng)格分裂方法、解題的規(guī)模和計算節(jié)點數(shù)對并行性能的影響。FLUENT軟件有良好的并行性能，PEMFuelCell模塊可以進一步優(yōu)化，HPCC還有很大的升級空間。關鍵詞：燃料電池；多重網(wǎng)格；區(qū)域分裂；并行計算；FLUENTFLUENT軟件是一種CFD（ComputationalFluidDynamics）求解器，它可以求解各種復雜流動，包括不可壓縮流動（低亞音速）、弱可壓流動（跨音速）和強壓縮性問題（超音速）。1由于FLUENT軟件有多種求解方法的選擇，并且提供了多重網(wǎng)格方法來加快收斂速度，同時可以進行并行計算，因此它可以為速度范圍很廣的流動問題提供高效準確的最優(yōu)求解方案。本文介紹了FLUENT軟件的多重網(wǎng)格及并行算法，并測試、分析了其并行性能。1FLUENT軟件中的多重網(wǎng)格方法多重網(wǎng)格方法(MGM:MultiGridMethod)是一種高效的串行數(shù)值計算方法。其基本思想是，利用粗網(wǎng)格上的殘差校正特性消除迭代誤差的低頻分量（長波分量，即光滑誤差），同時利用細網(wǎng)格上的松馳光滑特性消除迭代誤差的高頻部分（短波分量，即振蕩誤差），套迭代技術負責通過限制和插值算子連接所有網(wǎng)格層共同求解同一問題1234。多重網(wǎng)格循環(huán)可以定義為在每一個網(wǎng)格層面通過網(wǎng)格層次時在網(wǎng)格層面內(nèi)應用的遞歸程序，該程序通過在當前層面完成單一網(wǎng)格循環(huán)來擴展到下一個粗糙網(wǎng)格層面。FLUENT軟件中有四種多重網(wǎng)格循環(huán)：V、W、F以及靈活(Flexible)循環(huán)。V和W循環(huán)可以用在代數(shù)多重網(wǎng)格（AMG：AlgebraicMultiGrid）和全近似存儲（FAS：Full-ApproximationStorage）多重網(wǎng)格中，F(xiàn)和靈活循環(huán)只限用于AMG方法。V循環(huán)如圖1(a)所示，它包括：預松弛（1）限制V循環(huán)插值后松弛（3）W循環(huán)如圖1(b)所示，它包括：預松弛（1）限制W循環(huán)W循環(huán)插值后松弛（3）F循環(huán)則是用W循環(huán)之后進行V循環(huán)來構成：余江洪（1977），男，湖北潛江人，武漢理工大學材料科學與工程學院碩士研究生湖北省自然科學基金項目(2003ABA088),教育部博士點基金項目（20030497012）資助。2005Fluent中國用戶大會論文集252預松弛（1）限制W循環(huán)V循環(huán)插值后松弛（3）對于V和W循環(huán)，各個層面的轉(zhuǎn)換由三個參數(shù)控制：1、2和3。1（有時稱為預松弛掃描）用于指定在當前網(wǎng)格層面進行預松弛迭代的步數(shù)（在圖1中用圓形表示），以減少誤差（當?shù)卣`差）的高頻部分，在AMG方法中1的默認值是0（即：沒有預松弛）；2用于指定多重網(wǎng)格循環(huán)的類型，取值1和2分別對應V循環(huán)和W循環(huán)多重網(wǎng)格，可以減少粗網(wǎng)格的誤差（在圖1中用四邊形表示）；3（后松弛掃描）用于指定進行后松弛迭代的步數(shù)（在圖1中用三角形表示），以減少在多重網(wǎng)格循環(huán)中產(chǎn)生的高頻誤差，在AMG方法中3的默認值是1，在FAS方法中3的默認值是0。Flexible循環(huán)使用粗化網(wǎng)格的計算由邏輯控制多重網(wǎng)格程序來實現(xiàn)。這一邏輯控制可以保證當前層面的網(wǎng)格的殘差減小速度足夠慢時就會調(diào)用較粗糙網(wǎng)格的計算。在當前粗糙網(wǎng)格層上的校正迭代解充分收斂而且因此應該轉(zhuǎn)到下一層精細網(wǎng)格時，多重網(wǎng)格控制會做出適當?shù)奶幚怼lexible循環(huán)和V、W循環(huán)之間的主要區(qū)別是：Flexible循環(huán)會通過殘差減小的公差和終止判據(jù)的滿足情況，來確定什么時候按什么樣的頻率來處理每一層網(wǎng)格，而V和W循環(huán)則明確定義了各個層面之間的轉(zhuǎn)換模式。（a）V循環(huán)（b）W循環(huán)圖1多重網(wǎng)格循環(huán)2FLUENT軟件中的并行算法FLUENT軟件的并行計算就是利用多個計算節(jié)點(處理器)同時進行計算。并行計算可將網(wǎng)格分割成多個子域，子域的數(shù)量是計算節(jié)點的整數(shù)倍(如8個子域可對應于1、2、4、8個計算節(jié)點)。每個子域(或子域的集合)就會“居住”在不同的計算節(jié)點上。除支持單機多CPU的并行計算外，F(xiàn)LUENT還支持網(wǎng)絡分布式并行計算。FLUENT軟件內(nèi)置了MPI(MessagePassingInterface)并行機制，大幅提高了網(wǎng)絡分布式并行計算的并行性能。在用FLUENT軟件的并行求解器時，需要將網(wǎng)格細分割為幾組單元，以便在分離處理器上求解。分割網(wǎng)格，需要選擇生成網(wǎng)格的分割方法、設置分割數(shù)、選擇區(qū)域和記錄、以及所2005Fluent中國用戶大會論文集253使用的優(yōu)化方法等。并行程序的網(wǎng)格分割有三個主要目標：生成等數(shù)量單元的網(wǎng)格分割；使分割的接觸面數(shù)最小（減小分割邊界面積）；使分割的鄰域數(shù)最小。FLUENT軟件里的分割格式是采用兩分的原則來進行的，但不象其他格式那樣需要分割數(shù)，它對分割數(shù)沒有限制，對每個處理器都可以產(chǎn)生相同分割數(shù)(也就是分割總數(shù)是處理器數(shù)量的倍數(shù))。FLUENT軟件提供了多種方法進行網(wǎng)格分割。最有效的分割方法和求解的問題有關，可試用不同的方法，直至某一個適合所求解問題。并行計算的性能可以用加速比來表示，計算加速比的一般方法是：假設在一個處理器上運行一個程序，令T1為執(zhí)行時間，然后在有P個節(jié)點的并行機(各節(jié)點的CPU與串行機中的CPU一樣)上運行同樣的程序，令TP為執(zhí)行時間，則加速比S=T1/TP，并行效率=S/P5。3多重網(wǎng)格并行性能測試3.1測試環(huán)境硬件環(huán)境：高性能計算機集群（HPCC：HighPerformanceComputerCluster），主節(jié)點是DELLPOWEREDGE_2650，配置了1個IntelXeon2.8GHz/533MHzFSB的CPU、2G/DDR266的內(nèi)存，集成千兆網(wǎng)卡，584G的SCSI硬盤，計算節(jié)點是DELLPOWEREDGE_1750，各配置了2個IntelXeon2.8GHz/533MHzFSB的CPU，2G/DDR266的內(nèi)存，集成千兆網(wǎng)卡，73G的SCSI硬盤，主節(jié)點和計算節(jié)點信息交換通過千兆以太網(wǎng)交換機完成。軟件環(huán)境：RedHatEnterpriseLinux3.0操作系統(tǒng)，F(xiàn)LUENT6.2.16的Linux并行版。3.2測試方案本文測試的是單直流道單電池模擬，質(zhì)子交換膜燃料電池是FLUENT軟件中默認的七層模型，即陰、陽極的集流板、擴散層和催化層，以及中間的質(zhì)子交換膜。采用FLUENT軟件中PEMFuelCell模塊計算,利用FLUENT內(nèi)部命令（Benchmark）測試迭代100步并記錄CPU使用率和運算時間（Elapsecl-time）。按多重網(wǎng)格循環(huán)方法、區(qū)域分裂法和解題規(guī)模分三種方案測試。方案1：網(wǎng)格劃分為100萬單元，采用FLUENT默認的主軸對稱的網(wǎng)格分裂方法和不同的多重網(wǎng)格循環(huán)方法測試，從1個到8個計算節(jié)點，每個節(jié)點分配一個任務。方案2：網(wǎng)格劃分為40萬單元，以方案1中并行效率最高的多重網(wǎng)格循環(huán)方法，并入2個計算節(jié)點，每個節(jié)點分配一個任務，采取不同的網(wǎng)格分裂方法進行并行計算。由于燃料電池模型幾何特征的對稱性，本實驗只采用了PrincipalX-Coordinate、PrincipalY-Coordinate、PrincipalZ-Coordinate和CartesianX-Coordinate、CartesianY-Coordinate、CartesianZ-Coordinate方法。為方便記錄，上述網(wǎng)格分裂方法采用簡寫，如PrincipalX-Coordinate簡寫為PX-C。方案3：網(wǎng)格劃分為40萬單元和10萬單元兩種，以并行效率最高的方案1中的多重網(wǎng)格循環(huán)方法和方案2中的網(wǎng)格分裂方法，每個節(jié)點分配一個任務，測試計算節(jié)點從1個到8個的CPU利用率和運算時間。由于主節(jié)點參與計算會導致負載不平衡，降低HPCC的加速性能5，因此以上方案中主節(jié)2005Fluent中國用戶大會論文集254圖2不同多重網(wǎng)格循環(huán)方法的加速比點均不參與計算，為了測試結果的準確性，同一測試重復一遍。由于測試結果重復性非常好，因此實驗結果采用兩次測試的算術平均值。4FLUENT的并行性能測試結果及分析4.1多重網(wǎng)格循環(huán)方法對并行性能的影響方案1的測試結果如圖2，隨著多重網(wǎng)格循環(huán)方法的不同，加速比和計算速度均不相同。這是因為不同循環(huán)方法的計算量和通訊量不一樣，對于V循環(huán)、F循環(huán)和Flexible循環(huán)，計算節(jié)點CPU利用率都很高，在14個節(jié)點時，都達90%的利用率，因此分析對于這三種循環(huán)，主要還是因為計算量不同所引起的測試結果不同；而采用W循環(huán)時，CPU利用率極低，最高只達到10%，并且計算速度非常慢，可見采用W循環(huán)并行計算時，通訊量相當大，這是主要影響因素。從圖2中可以看出，在5個計算節(jié)點以前，四種循環(huán)方法的并行加速比基本相同，但計算節(jié)點繼續(xù)增加時，V循環(huán)的并行加速比明顯比其它三種大；隨著計算節(jié)點的增加，所有的循環(huán)的加速比增長率都逐漸變小。不同循環(huán)1個節(jié)點的運算時間是V循環(huán)4786秒，W循環(huán)37504秒，F(xiàn)循環(huán)5121秒，F(xiàn)lexible循環(huán)6870秒。其中，V循環(huán)運算速度最快，W循環(huán)運算速度最慢，這是由于V循環(huán)運算量最少，W循環(huán)運算量最大的緣故。4.2區(qū)域分裂法對并行性能的影響方案2的測試結果如表1所示，不同的網(wǎng)絡分裂方法計算所用的時間各相同，有的甚至相差很大。這是因為不同的網(wǎng)絡分裂方法所產(chǎn)生的分割接觸面和領域的多少不同，并行計算時所需交換的數(shù)據(jù)量不同，因而通訊量不同，從而引起計算速度不同。分割接觸面和領域數(shù)越少，計算速度越快。不同的求解問題模型需要尋找不同的網(wǎng)絡分裂方法，以求計算速度最快。本文中最佳網(wǎng)絡分裂方法是CartesianX-Coordinate。表1不同網(wǎng)絡分裂法的測試結果方法PX-CPY-CPZ-CCX-CCY-CCZ-C分割接觸面