1、Maxwell 18.0 TDM時(shí)間分解法增強(qiáng)和HPC效率提升介紹技術(shù)創(chuàng)新 變革未來目錄時(shí)間分解法 TDM 簡(jiǎn)介原理介紹、基本概念、測(cè)試案例、兩種基本求解模型R18.0 TDM 主要更新系統(tǒng)和 license 要求與軟件安裝流程Maxwell 版本要求、license要求、軟件安裝、RSM 與 MPI 設(shè)置TDM 的使用如何激活 TDM、單機(jī)多機(jī)如何使用TDM具體案例對(duì)比分析案例分析、TDM 與 HPC的對(duì)比、TDM 中非線性殘差的問題TDM(Time Decomposition Method) 簡(jiǎn)介TDM 瞬態(tài)求解算法同時(shí)求解所有的時(shí)間步：常規(guī)瞬態(tài)求解算法按序求解所有的時(shí)間步：t1t2t3t

2、4tnt0t3t1t2t4tnTDM 功能始于 R17(V2016)Sub-division 子時(shí)間段Tend時(shí)間軸.Task 1Task 2Task 3Task N按序求解Sub-division并行求解Sub-division的各個(gè)時(shí) 間步Sub-division1Sub-division2Sub-division MTDM(Time Decomposition Method) 簡(jiǎn)介FEM Matrix Simultaneous SimulationT1TkT1T2T3T(k-2)T(k-1)T(k)k 仿真時(shí)間步數(shù)n 并行求解任務(wù)數(shù)Matrix SizeXk多級(jí)HPC加速和加大求解規(guī)模L

3、evel 1 (MPI)Distributed Time StepsLevel 2 (MP)Multi-ProcessingT1Tkk 仿真時(shí)間步數(shù)n 并行求解任務(wù)數(shù)kn一個(gè)求解任務(wù)，表示一個(gè)單獨(dú)的求解器。它可以計(jì)算單個(gè)或同時(shí)計(jì)算多個(gè)時(shí)間點(diǎn)。一個(gè)求解任務(wù)可以使用單個(gè)處理器，或多個(gè)處理器（MP）一個(gè)求解任務(wù)若使用多個(gè)處理器，則必須共享內(nèi)存一個(gè)求解任務(wù)所使用的內(nèi)存量，基本上等于求解每個(gè)時(shí)間點(diǎn)所需的內(nèi) 存之和Task.Time step aTime step bTime step zTask求解任務(wù)3D 感應(yīng)電動(dòng)機(jī)50,000 網(wǎng)格81,000 自由度1 GB RAM375 時(shí)間步節(jié)點(diǎn)X處理器總處理

4、器任務(wù) 數(shù)子任務(wù) 數(shù)DOFs/Subdiv.求解時(shí)間加速比1X88-81k7h05min-4X8323247.53Mil1h06min6.3416X8128128310.1Mil22min30s19 Boxes: 4 BoxesEach box has 12cores/64 GB RAMCluster:Cluster with 8 nodes Each node has 16cores/128 GB RAM8kW BLDC 電動(dòng)機(jī) 2000 rpm節(jié)點(diǎn)X處理器總處理器任務(wù)數(shù)子任務(wù)數(shù)DOFs/Subdiv.求解時(shí)間加速比1X88-10.46Mil26hours42min-4X832321614.

5、26Mil3h09min8.58X86464828.98Mil2h03min1316X896128458.42Mil1h32min17.416X152402402117.3Mil1h17min20.8 Boxes: 4 BoxesEach box has 12cores/64 GB RAMCluster:Cluster with 8 nodes Each node has 16cores/128 GB RAM226,000 網(wǎng)格460,000 自由度7 GB RAM500 時(shí)間步8kW BLDC Motor 2000 rpm880,000 Tets1,700,000 DoF17 GB RAM1

6、000 Time Steps Boxes: 4 BoxesEach box has 12cores/64 GB RAMCluster:Cluster with 8 nodes Each node has 16cores/128 GB RAMNodesXCoresTotal CoresTasksSubdiv.DOFs/Subdiv.Solve TimeSpeed Up1X88-11.7Mil270hours18min-8X432323752.7Mil23h18min11.616X4646418107.1Mil15h48min17.116X6969612161.5Mil12h12min22.12D

7、 大型發(fā)電機(jī)12meters200,000 網(wǎng)格400,000 自由度0.8 GB RAM1700 時(shí)間步Boxes: 4 BoxesEach box has 12cores/64GB RAMBox:box has 12cores/64 GBRAM節(jié)點(diǎn)X處理器總處理器任務(wù) 數(shù)子任務(wù) 數(shù)DOFs/Subdiv.求解時(shí)間加速比11-10.4Mil13hours04min-1X8884034Mil3h59min3.34X832324340Mil2h27min5.332D 感應(yīng)電動(dòng)機(jī)Simulation Profile:- 4.3k triangles求解方法子任務(wù)數(shù)任務(wù)/處理器求解時(shí)間每個(gè)核增益常規(guī)

8、N/A1/18min451TDM18/83min552.2500 time steps ( 100ms)2500 time steps ( 500ms)求解方法子任務(wù)數(shù)任務(wù)/處理器求解時(shí)間每個(gè)核增益常規(guī)N/A1/142min1TDM18/812min323.35000 time steps ( 1s)求解方法子任務(wù)數(shù)任務(wù)/處理器求解時(shí)間每個(gè)核增益常規(guī)N/A1/11h23min561TDM18/825min213.3測(cè)試案例： 電子變壓器Nonlinear CorePrimary and Secondary Solid WindingsFinite Elements:DOFs:Time Step

9、s:Input Voltage Rising Time:900k1.5Mil 1,00020nsCurrents15APower Loss17.5W測(cè)試案例： 電子變壓器No-TDM: 6.5 day simulation on 8 cores06h:30min08h:40min11 h:20minBenchmark system used: Windows Server 2012 R2; 512 GB RAM per node; Clock Speed 2 GHz; 16 nodes and 448 cores (28 cores per node)# Cores# Core Distrib

10、utionTDM Simulation TimeSpeed up6432 tasks x 2 cores/task11h:20min14X12864 tasks x 2 cores/task8h:40min18X256128 tasks x 2 cores/task6h:30min24xTDM的兩個(gè)選項(xiàng) 常規(guī)瞬態(tài)求解: 支持任意的瞬態(tài)模型這是最靈活的方法，支持渦流效應(yīng)可以同時(shí)使用快速達(dá)到穩(wěn)定設(shè)置 “reach fast steady state” 周期性模型: 直接達(dá)到瞬態(tài)穩(wěn)定狀態(tài)-如果求解是周期性的，可以使用分布式任務(wù)求解一個(gè)完整的周期（而且只需要求解一個(gè))周期性 TDM 模型周期性 TDM

11、 模型直接計(jì)算穩(wěn)態(tài)工況只需要求解一個(gè)電周期支持渦流計(jì)算模型要求2D/3D 瞬態(tài)模型激勵(lì)、渦流以及轉(zhuǎn)速與時(shí)間具有相同的周期目錄時(shí)間分解法 TDM 簡(jiǎn)介原理介紹、基本概念、測(cè)試案例、兩種基本求解模型R18.0 TDM 主要更新系統(tǒng)和 license 要求與軟件安裝流程Maxwell 版本要求、license要求、軟件安裝、RSM 與 MPI 設(shè)置TDM 的使用如何激活 TDM、單機(jī)多機(jī)如何使用TDM具體案例對(duì)比分析案例分析、TDM 與 HPC的對(duì)比、TDM 中非線性殘差的問題R18 TDM功能拓展HcB0HKBr Br Bra bLa LbWorst-case demagnetization po

12、intR18EnhancementsClean Stop/RestartAuto HPC軟磁滯材料Periodical TDM支持渦流計(jì)算外電路瞬態(tài)-瞬態(tài)鏈接退磁分析分布式的 Expression Cache自動(dòng)調(diào)整參數(shù):任務(wù)書、子時(shí)間段數(shù)，內(nèi)存占用需要輸入:機(jī)器/節(jié)點(diǎn)的列表仿真可以使用的核數(shù)仿真可以占用的內(nèi)存百分比單機(jī)應(yīng)用多機(jī)應(yīng)用TDM: 2D/3D的自動(dòng)設(shè)置TDM: 支持基本外電路任意繞組鏈接形式R, L 元件ECE 元件不能包含二極管、開關(guān)、電容等元件TDM: 退磁分析HcH0K沒有TDM: 在每個(gè)時(shí)間步都計(jì)算最惡劣工況點(diǎn)，用于決定該單元的回復(fù)線TDM: 在沒有子時(shí)間段的最后一點(diǎn)計(jì)算最惡

13、劣工況點(diǎn)，而不是在每個(gè)時(shí)間步BBrBr BrLaLbab最惡劣工作點(diǎn)周期性 TDM 模型周期性 TDM 模型可以直接計(jì)算穩(wěn)態(tài)工況只需要求解一個(gè)電周期支持渦流計(jì)算模型要求2D/3D 瞬態(tài)模型激勵(lì)、渦流以及轉(zhuǎn)速必須與時(shí)間具有相同的周期周期性 TDM 功能增強(qiáng)：測(cè)試案例同步發(fā)電機(jī)，50Hz激勵(lì)350,000 網(wǎng)格，二階單元計(jì)算導(dǎo)條中的渦流三種仿真設(shè)置對(duì)比:8 核 HPC (MP) ，超過10個(gè)電周期112核HPC (常規(guī) TDM) ，超過10個(gè)電周期112核HPC (周期性TDM)1，只需要 個(gè)電周期20ms周期性 TDM 功能增強(qiáng)：測(cè)試案例周期性 TDM 設(shè)置只需一個(gè)電周期 (20ms ， 50H

14、z)不激活 Fast Reach Steady State選擇 Periodic常規(guī) TDM 設(shè)置求解10個(gè)電周期達(dá)到穩(wěn)定激活 Fast Reach Steady State選擇General Transient周期性 TDM 功能增強(qiáng)：測(cè)試結(jié)果核數(shù)HPC Packs數(shù)量TDM方法仿真時(shí)間加速比81MP151h45min-1123常規(guī)TDM22h53min6.61123周期性TDM7h3320提示: 每個(gè)電周期求解128步周期性 TDM 功能增強(qiáng)：測(cè)試結(jié)果轉(zhuǎn)矩電流周期性 TDM只需求解一個(gè)電周期目錄時(shí)間分解法 TDM 簡(jiǎn)介原理介紹、基本概念、測(cè)試案例、兩種基本求解模型R18.0 TDM 主要更

15、新系統(tǒng)和 license 要求與軟件安裝流程Maxwell 版本要求、license要求、軟件安裝、RSM 與 MPI 設(shè)置TDM 的使用如何激活 TDM、單機(jī)多機(jī)如何使用TDM具體案例對(duì)比分析案例分析、TDM 與 HPC的對(duì)比、TDM 中非線性殘差的問題Maxwell 版本要求= R17.0(V2016.0)TDM license要求TDM 需要使用 HPC licenses:n HPC 任務(wù)可以使用 n 個(gè)核1 HPC pack 可以使用 8 個(gè)核2 HPC packs 可以使用 32 個(gè)核3 HPC packs 可以使用 128 個(gè)核TDM與DSO兼容，并且是倍乘的關(guān)系例如: 5個(gè) DS

16、O 和2個(gè)HPC pack 可以同時(shí)使用 5 * 32 = 160 個(gè)核軟件安裝在每一臺(tái)電腦上面安裝：安裝MaxwellRSMMPI（Intel 或 IBM，本例中以 IBM MPI 為例）每臺(tái)電腦的安裝路徑要求一致軟件安裝在每一臺(tái)電腦上設(shè)置:1 安裝 Maxwell 軟件2 選擇安裝 Distributed Simulation Technologies12軟件安裝在每一臺(tái)電腦上設(shè)置:3 安裝 Electromagnetics RSM4 安裝兩種MPI中的一種34MPI 的安裝安裝兩種MPI的任意一種 (Intel or IBM)在Windows10操作系統(tǒng)中，系統(tǒng)默認(rèn)安裝的Net Fram

17、ework的版本是4.6， 而ANSYS需要的是3.5，所以需要重新使用系統(tǒng)盤安裝Net Frameworks 3.5， 比較麻煩本例中，選擇安裝IBM Platform MPI2MPI 的安裝全部選擇默認(rèn)的安裝，完成IBM Platform MPI安裝注冊(cè) RSM在每一臺(tái)電腦上注冊(cè)RSM使用如下路徑中的 RSM.exe 注冊(cè)：C:Program FilesAnsysEMAnsysEM17.0Win64或直接在開始菜單中點(diǎn)擊快捷鍵：RSM注冊(cè)結(jié)果如右圖，所有的狀態(tài)都必須是Done。IBM Platform MPI 的配置IBM Platform MPI 的注冊(cè)(多機(jī)聯(lián)合TDM時(shí)，必須配置MPI

18、)用管理員權(quán)限，開始/運(yùn)行/cmd，打開DOS命令窗口,利用cd命令，將當(dāng)前路 徑切換至如下目錄 C:ProgramFilesAnsysEMAnsysEM17.2win64commonfluent_mpimultiportmpiwin64pcmpibin（軟件默認(rèn)安裝情況下，且所有電腦的安裝路徑一致）輸入命令 mpirun.execache cmd.exe /c ver，并輸入登錄密碼輸入命令 mpirun.exe pwcheck ，用來檢查設(shè)置的密碼是否有效。IBM Platform MPI 的配置設(shè)置 MPI vendor in the 在HPC的設(shè)置選項(xiàng)中設(shè)置 MPI vendor為 P

19、latform ComputingIBM Platform MPI 的配置設(shè)置Remote Spawn Command為 RSH38目錄時(shí)間分解法 TDM 簡(jiǎn)介原理介紹、基本概念、測(cè)試案例、兩種基本求解模型R18.0 TDM 主要更新系統(tǒng)和 license 要求與軟件安裝流程Maxwell 版本要求、license要求、軟件安裝、RSM 與 MPI 設(shè)置TDM 的使用如何激活 TDM、單機(jī)多機(jī)如何使用TDM具體案例對(duì)比分析案例分析、TDM 與 HPC的對(duì)比、TDM 中非線性殘差的問題39TDM 設(shè)置 每一個(gè)Project可能會(huì)不一樣 主機(jī)上的設(shè)置：在Analysis Configuration

20、的Job Distribution標(biāo)簽下，激活 Time DomainSolver注意: 進(jìn)入Analysis configuration 的方法 Tools Edit Active AnalysisConfiguration 或點(diǎn)擊圖標(biāo)40TDM 的參數(shù)設(shè)置求解 TDM，需要設(shè)置如下四個(gè)參數(shù):The number of subdivisions（總求解時(shí)間分成幾個(gè)時(shí)間段）The number of tasks（每一個(gè)時(shí)間段包括多少個(gè)求解任務(wù)）The number of cores by task（每個(gè)求解任務(wù)使用多少核）The number of time steps（一共有多少個(gè)時(shí)間步）4

21、1TDM 設(shè)置: number of subdivisions當(dāng)一次求解所有的時(shí)間步時(shí)， number of subdivisions = 1當(dāng)總求解時(shí)間等分成幾個(gè)時(shí)間段時(shí)，需要更 改number of subdivisions ，每一個(gè)時(shí)間段并 行求解Subdivision 設(shè)置 :求解時(shí)間軸.42subdivision 1subdivision 2subdivision MTDM 設(shè)置: number of tasks一個(gè)求解任務(wù)就是求解一個(gè)子矩陣，一般是同時(shí)求解一個(gè)或多個(gè)時(shí) 間步一個(gè)求解任務(wù)可以使用一個(gè)核，或者多個(gè)核并行求解一般情況下，求解任務(wù)數(shù)越多，速度越快Task 設(shè)置:如果采用提交

22、任務(wù)方式，任務(wù)數(shù)載提交時(shí)設(shè)置如果不采用任務(wù)提交方式，則在HPC中設(shè)置不采用任務(wù)模式43采用任務(wù)模式TDM 設(shè)置: number of cores per task每一個(gè)求解任務(wù)都可以使用多核并行計(jì)算每任務(wù)求解核數(shù)設(shè)置:如果采用提交任務(wù)方式，任務(wù)數(shù)載提交時(shí)設(shè)置如果不采用任務(wù)提交方式，則在HPC中設(shè)置不采用任務(wù)模式 每任務(wù)兩個(gè)核不采用任務(wù)模式 每任務(wù)4個(gè)核44TDM 設(shè)置: 求解時(shí)間步長(zhǎng)數(shù)求解時(shí)間步長(zhǎng)數(shù)，一般是由項(xiàng)目本身決定的，與用不用TDM無關(guān)。 但有的時(shí)候可以適當(dāng)微調(diào)下時(shí)間步長(zhǎng)，能更好的利用資源例如，總共可以利用的 CPU 核數(shù)是20個(gè)，其中一個(gè)用于主機(jī)，剩 下19個(gè)用于求解。那么可以設(shè)置每個(gè)

23、任務(wù)包含一個(gè)時(shí)間步，使用一 個(gè)核，則每一個(gè)時(shí)間段包含19步。為了負(fù)載平衡，總的求解步數(shù)， 可以設(shè)置成19的倍數(shù)。原本要求解的時(shí)間步是200，這時(shí)可以改成 209=11*19Time step 設(shè)置：126 time steps are solved in addition to t=0s.45TDM 最佳實(shí)現(xiàn)46為了發(fā)揮出TDM的最佳性能，應(yīng)該:調(diào)用的硬件資源要平衡（類似的內(nèi)存、核數(shù)、CPU性能）時(shí)間步長(zhǎng)設(shè)置要平衡（每一個(gè)求解任務(wù)，應(yīng)該包含類似的時(shí)間步長(zhǎng) 數(shù)）避免調(diào)用內(nèi)存超過最大內(nèi)存的80%調(diào)用的計(jì)算節(jié)點(diǎn)數(shù)越多越好每個(gè)求解時(shí)間步的內(nèi)存消耗為了更好的配置TDM，內(nèi)存參數(shù)非常關(guān)鍵。如果一個(gè)求解時(shí)間

24、段的 時(shí)間步過多，超過電腦的負(fù)荷，計(jì)算將會(huì)非常慢最好的方法是：先按序求解一個(gè)時(shí)間步，在Profile里面得到每個(gè)時(shí) 間步的求解內(nèi)存本例中，按序求解一個(gè)時(shí)間步，消耗了 33G 內(nèi)存（其中18G用于求 解，15G用于ComEngine）運(yùn)行TDM，每個(gè)時(shí)間步大約會(huì)消耗用于求解的內(nèi)存（紅框18G）實(shí)際可能會(huì)有20%的裕量（20G），2D可以需要更多的裕量SolveMemory (18GB)47優(yōu)化HPC設(shè)置的腳本輸入系統(tǒng)性能輸入設(shè)計(jì)所需要的內(nèi)存和時(shí)間節(jié)點(diǎn)數(shù)得到推薦的HPC設(shè)置48調(diào)用腳本的兩種方法:Use Tool Run ScriptInstall it as a toolkit自動(dòng)設(shè)置（R18）Local MachineMultiple Machines49TDM的兩個(gè)選項(xiàng) 常規(guī)瞬態(tài)求解: 支持任意的瞬態(tài)模型這是最靈活的方法，支持渦流效應(yīng)可以同時(shí)使用快速達(dá)到穩(wěn)定設(shè)置 “reach fast steady state” 周期性模型: 直接達(dá)到瞬態(tài)穩(wěn)定狀態(tài)如果求解是周期性的，可以使用分