CAE土木工程應(yīng)用交流技術(shù)支持中心陳偉2010年6月29日一、CAE高性能計(jì)算簡(jiǎn)介CAE（ComputerAidedEngineering）即計(jì)算機(jī)輔助工程，廣義的CAE應(yīng)該包括計(jì)算機(jī)輔助于工程和產(chǎn)品研發(fā)的所有方面，我們通常提到的CAE僅包括計(jì)算結(jié)構(gòu)力學(xué)CFD（ComputationalFluidDynamics）即計(jì)算流體力學(xué)什么是CAE/CFD應(yīng)用的領(lǐng)域結(jié)構(gòu)隱式分析：求解靜力、模態(tài)、屈曲等問(wèn)題顯式分析：求解碰撞、沖擊、接觸等問(wèn)題流體分析液體、氣體、熱傳導(dǎo)、化學(xué)反應(yīng)等問(wèn)題氣囊展開零部件分析碰撞成員安全性結(jié)構(gòu)分析——汽車結(jié)構(gòu)分析——航空/國(guó)防起落架應(yīng)力分析飛行器破壞模態(tài)坦克的傳動(dòng)系統(tǒng)結(jié)構(gòu)分析——制造沖壓成型鑄造成型結(jié)構(gòu)分析——能源發(fā)電機(jī)渦殼反應(yīng)堆水池池殼流體分析——汽車外觀設(shè)計(jì)

車內(nèi)空調(diào)傳熱內(nèi)部管道流體分析——制造擠出成型玻璃熔爐鑄造水冷流體分析——醫(yī)療血液流動(dòng)血液泵流體分析——能源內(nèi)燃機(jī)核反應(yīng)堆燃料電池流體分析——建筑建筑通風(fēng)污染物擴(kuò)散城市風(fēng)谷廚房通風(fēng)CAE與土木工程土木工程領(lǐng)域常見(jiàn)的通用有限元分析程序，如ANSYS、ABAQUS、DIANA、ADINA、IDARC、ALGOR等程序當(dāng)中對(duì)國(guó)內(nèi)影響比較大的是ANSYS國(guó)家大劇院計(jì)算模型結(jié)構(gòu)的整體變形ANSYSWorkbench設(shè)計(jì)思路在ANSYSWorkbench中導(dǎo)入AutoCAD模型作為當(dāng)今大型通用程序?qū)I(yè)化的趨向，ANSYS也推出了供開發(fā)者針對(duì)特定分析需求，開發(fā)具自主知識(shí)產(chǎn)權(quán)軟件的專用平臺(tái)ANSYSWorkbench。它提供了一個(gè)加載和管理各種API組件的基本框架，在這個(gè)框架中各種組件通過(guò)Jscript、Vbscript和HTML腳本組織成適合用戶使用的GUI，開發(fā)者自己的技術(shù)也可以向ANSYS的技術(shù)一樣編制成API融入到程序當(dāng)中

ANSYSWorkbench自動(dòng)進(jìn)行分析，定義接觸在ANSYSWorkbench環(huán)境中查看應(yīng)力云圖ANSYS功能雖然強(qiáng)大，但美中不足的是由于ANSYS對(duì)混凝土、地基等高度非線性問(wèn)題的處理相當(dāng)困難，相較之下ABAQUS在這方面有著更有為優(yōu)越的表現(xiàn)SIMULIA?SIMULIA是達(dá)索的注冊(cè)商標(biāo)，專注于提供模擬現(xiàn)實(shí)世界仿真技術(shù)的解決方案?UnifiedFEA統(tǒng)一的有限元?Multiphysics多物理場(chǎng)分析?SLM仿真生命周期管理?總部位于Providence,RI,USA?R&DcentersinProvidenceandinSuresnes,FranceABAQUS包括一個(gè)豐富的、可模擬任意幾何形狀的單元庫(kù)，并擁有各種類型的材料模型庫(kù)，可以模擬典型工程材料的性能，其中包括金屬、橡膠、高分子材料、復(fù)合材料、鋼筋混凝土、可壓縮超彈性泡沫材料以及土壤和巖石等地質(zhì)材料。作為通用的模擬工具，ABAQUS除了能解決大量結(jié)構(gòu)（應(yīng)力、位移）問(wèn)題，還可以模擬其他工程領(lǐng)域的許多問(wèn)題，例如熱傳導(dǎo)、質(zhì)量擴(kuò)散、熱電耦合分析、聲學(xué)分析、巖土力學(xué)分析（流體滲透、應(yīng)力耦合分析）及壓電介質(zhì)分析ComputationalFluidDynamicsComputationallyintensivesimulationofflowphysicsVariedandextremeHPCrequirements2.Ameshisconstructed...3.Asolutioniscomputed4.Thefluidflowpredictionisviewedandanalyzed1.Userdefinestheproblem...AutomotiveEnginecompartmentcoolingExternalaerodynamicsPowertrainPassengercomfortTanksloshingChemicalProcessSeparationMixingReactionHeatExchangeCustomerGoals–HPCIssuesReal-worldaccuracyMoregeometricdetailMoredetailedflowpredictions“Biggermodels”ExaminemoredesignoptionsUp-frontdesignvs.finalcheckAutomatedoptimization“Moremodels”Memory(lots)Capacity(more)Speed(more)PeakdemandsDataManagementHPCRequirementsMemoryTypicalsimulationstodayareontheorderof5M“cells”5GBRAMLeadingedgesimulationsmayhave50M–500M“cells”50-500GBRAMSpeedSingleprocessorturnaroundtimeishoursordaysSpeedupthroughparallelcomputingUpto128-512processorsStorageTypical(persimulation)rangefrom200MBto1GBLargestsimulationfilescanbe10-20GBpersimulationTrendistowardmoreCheckpointing,Time-varyingsolutionsNetworkConnectionServerorClusterMultipleComputeProcessesClientDesktopInterface&VisualizationProcessClient-ServerDesignSupportsstand-alonedesktopand/orserver/clustercomputingFLUENTCustomerH/WTrendsSignificantshifttoLINUXclustersoverthepast3-4yearsMigrationfromUNIXserversLargeinstalledbaseonWindows二、ANSYS應(yīng)用ANSYS并行計(jì)算設(shè)置PBS實(shí)現(xiàn)ANSYS應(yīng)用實(shí)例兩種形式的并行共享內(nèi)存并行SharedANSYS指定處理器core數(shù)啟動(dòng)時(shí)指定ansys110–np4運(yùn)行時(shí)指定/CONFIG,NPROC,4

分布內(nèi)存并行DistributedANSYS指定參與計(jì)算的機(jī)器名指定每臺(tái)機(jī)器上參與計(jì)算的處理器core數(shù)DANSYS:帶來(lái)的價(jià)值整個(gè)求解過(guò)程都是并行的：包括單元矩陣的生成，線性求解器，單元結(jié)果的計(jì)算支持越來(lái)越多的并行求解功能求解時(shí)間縮短比SMP算法更好的擴(kuò)展性，2到16CPU可加速到2~8倍內(nèi)存的使用擴(kuò)展性增強(qiáng)硬盤的I/O的使用也得到擴(kuò)展，每個(gè)進(jìn)程獨(dú)立的I/O分布求解器：構(gòu)架運(yùn)行DANSYS：命令參數(shù)-pp獲取ParallelPerformanceforANSYS的參數(shù)(V10.0以前必需的參數(shù)，V11.0不再采用)-dis告知ANSYS你需要運(yùn)行DANSYS，而不僅僅是SPARSE等SMP求解器(8.1及以前沒(méi)有此選項(xiàng))-machines<mach1:#procs:mach2:#procs:…>指定那些機(jī)器，每臺(tái)機(jī)器運(yùn)行多少進(jìn)程。用冒號(hào)隔開(注意主機(jī)名與相應(yīng)的互聯(lián)對(duì)應(yīng))不能與–mpifile和–np命令參數(shù)混用運(yùn)行DANSYS：命令參數(shù)-mpifile<>文件必須已經(jīng)存在不能與-machines或–np混用-np<num_procs>如果在一臺(tái)SMP機(jī)器上運(yùn)行,<num_proc>是指使用的這臺(tái)機(jī)器的CPU數(shù)(建議小于總數(shù))不能與–mpifile或–machines混用-mpi<mpi_type>對(duì)于Windows32-bitNative–使用MPI/ProMPICH對(duì)于Windowsx64MPICH使用MPICH2MSMPI使用WCCS2003運(yùn)行DANSYS：示例從命令行執(zhí)行DANSYS的例子：DANSYS，使用本機(jī)的兩個(gè)CPU: Unix/Linux:

ansys110-dis–np2–b<input.dat>output.dat Windows32/x64:

ansys110–dis–np2–b–iinput.dat–ooutput.datDANSYS,使用兩臺(tái)機(jī)器，每臺(tái)機(jī)器兩個(gè)CPU Unix/Linux:

ansys110–dis–machinesnode01:2:node02:2<input.dat>output.dat

Windows32/x64

ansys110–dis–machinesnode01:2:node02:2–oinput.dat>output.dat運(yùn)行DANSYS：MPI文件內(nèi)容通常叫做app文件通常命名為host.list不同的MPI軟件要求不同HPMPI:包含所有完整的需要傳給HPMPI的命令參數(shù)-e設(shè)置環(huán)境變量-h設(shè)置參與計(jì)算的主機(jī)名-np每臺(tái)機(jī)器的CPU數(shù)如需多臺(tái)機(jī)器參與計(jì)算，每臺(tái)機(jī)器一行SGIMPT:包含所有完整的需要傳給SGIMPT的命令參數(shù)其他的Unix和Windows系統(tǒng)僅包含主機(jī)名，每個(gè)一行運(yùn)行DANSYS：MPI文件示例HPMPI文件-eMPI_WOKDIR=/home/jb1–hnode01–np2/ansys_inc/v110/ansys/bin/ansysdis110–dis-eMPI_WOKDIR=/home/jb1–hnode02–np2/ansys_inc/v110/ansys/bin/ansysdis110–disSGIMPT文件 node01–np2/ansys_inc/v110/ansys/bin/ansysdis110–dis node02–np2/ansys_inc/v110/ansys/bin/ansysdis110–dis其他UNIX和Windows上的MPI文件node01node01node02node02運(yùn)行DANSYS：使用MPI文件的例子運(yùn)行DANSYS使用預(yù)先編輯好的MPI文件，文件名host.list對(duì)于使用HPMPI和SGIMPT的情況ansys110–mpi<input.dat>output.dat運(yùn)行DANSYS使用預(yù)先編輯好的MPI文件，文件名host.list對(duì)于使用Unix和Windows的情況ansys110–dis–mpi<input.dat>output.datansys110–dis–mpi-iinput.dat-ooutput.datANSYS的PBS實(shí)現(xiàn)ANSYS的提交腳本根據(jù)作業(yè)的提交方式，可分為兩種情況。針對(duì)采用HPMPI進(jìn)行并行計(jì)算的，可采用以下腳本：#!/bin/bash#PBS-Nansys_wing#PBS-lnodes=2:ppn=8#PBS-joermhost.list-rffornodein`cat$PBS_NODEFILE`doecho"-eMPI_WORKDIR=/public1/home/test/ansys-eMPI_REMSH=/usr/bin/rsh-hnode8-np2/public1/software/ansys_inc/v110/ansys/bin/ansysdis110-dis-iwing.inp-owing.log-mpiHPMPI"done>host.listansys110-dis-mpi-iwing.inp下面是更具有適用性的通用腳本：#!/bin/bash#PBS-joe###################whatyoujustneedandcouldeditarebetweenthetwolines#######################PBS-Nmy_ansys_test#PBS-lnodes=2:ppn=2INPUTOUTPUT###############################################theend##############################################exportMPI_WORKDIR=$PBS_O_WORKDIRcd$PBS_O_WORKDIRnp=1forNODEin`cat$PBS_NODEFILE`;dohost=$NODEif[!-z$lasthost];thenif[$host=$lasthost];thennp=`expr$np+1`elseif[-z$mList];thenmList=$lasthost:$npelsemList=$mList:$lasthost:$npfinp=1fifilasthost=$hostdoneif[-z$mList];thenmList=$lasthost:$npelsemList=$mList:$lasthost:$npfiansys110-dis-machines$mList-i$INPUT$OUTPUTFILEANSYS實(shí)例帶有張拉的繩索的振動(dòng)模態(tài)分析(GUI)這里選取足夠數(shù)量的單元以確保能夠充分體現(xiàn)動(dòng)態(tài)分析的特征；首先進(jìn)行靜力分析，采用3D的單向桿單元(Tension-onlyorCompression-onlySparElements：LINK10)。建模的要點(diǎn)：1、定義分析類型，選取單元、實(shí)常數(shù)和材料參數(shù)；2、依據(jù)算例定義節(jié)點(diǎn)和單元，設(shè)置輸出選項(xiàng)和位移約束；3、采用初應(yīng)變來(lái)施加張力，4、為了在后續(xù)的模態(tài)分析中考慮預(yù)緊的初始張力，需在靜力分析與模態(tài)分析過(guò)程中，同時(shí)確保預(yù)應(yīng)力效應(yīng)打開<PSTRES,ON>5、求解預(yù)應(yīng)力引起的應(yīng)力狀態(tài)；6、提取計(jì)算結(jié)果，進(jìn)行模態(tài)分析；(1)進(jìn)入ANSYS（設(shè)定工作目錄和工作文件）程序→ANSYS→ANSYSInteractive→Workingdirectory（設(shè)置工作目錄）→Initialjobname（設(shè)置工作文件名String）:String→Run→OK(2)設(shè)置計(jì)算類型ANSYSMainMenu：Preferences…→Structural→OK(3)定義單元類型ANSYSMainMenu：Preprocessor→ElementType→Add/Edit/Delete...→Add…→Link:3DBilinear10→Ok（返回到ElementTypes窗口）→選擇Type1LINK10單擊Options…→K3：Tensiononly→OK→Close(4)定義實(shí)常數(shù)ANSYSMainMenu:Preprocessor→RealConstants…→Add/Edit/Delete...→Add…→選擇Type1LINK10→OK→RealConstantsSetNo.:1（第1號(hào)實(shí)常數(shù)）,AREA:306796E-8(繩索截面積),ISTRN:543248E-8→Ok→Close(關(guān)閉RealConstants窗口)(5)定義材料參數(shù)ANSYSMainMenu:Preprocessor→MaterialProps→MaterialModels→Structural→Linear→Elastic→Isotropic：EX:30e6→Note：確定→OK，Density(定義材料密度)→輸入DENS:73e-5,→OK→關(guān)閉材料定義窗口(6)構(gòu)造懸索模型生成節(jié)點(diǎn)ANSYSMainMenu：Preprocessor→Modeling→Create→Nodes→InActiveCS→Nodenumber：1，X，Y，ZLocationinactiveCS：0，0，0Apply→Nodenumber：14，X，Y，ZLocationinactiveCS：100，0，0→OKANSYSMainMenu：Preprocessor→Modeling→Create→Nodes→FillbetweenNds點(diǎn)擊節(jié)點(diǎn)1、14→OK→OK生成元素ANSYSMainMenu:Preprocessor→Modeling→Create→Elements→AutoNumbered→ThruNodes→點(diǎn)擊1、2號(hào)節(jié)點(diǎn)，生成第一個(gè)單元ANSYSMainMenu:Preprocessor→Modeling→Copy→Elements→AutoNumbered→選擇第一個(gè)元素→OK→Totalnumberofcopies:13→OK(7)模型加約束ANSYSMainMenu:Solution→DefineLoads→Apply→Structural→DisplacementOnNodes→PickAll→OK→Lab2:AllDOF(全約束)→OK(8)求解預(yù)應(yīng)力引起的應(yīng)力狀態(tài)ANSYSMainMenu:Solution→AnalysisType→NewAnalysis→Static→OKANSYSMainMenu:Solution→AnalysisType→Sol’ncontrols在Basic標(biāo)簽下選中Calculateprestresseffects→OKANSYSMainMenu：Solution→Solve→CurrentLS→OK→Yes(9)存儲(chǔ)應(yīng)力計(jì)算數(shù)據(jù)ANSYSMainMenu：GeneralPostproc→ElementTable→DefineTable→Add…→Lab:STRS,Resultsdataitem:Bysequencenumber,右側(cè)框中選擇LS，下面框中輸入LS，1→OK→CloseANSYSUtilityMenu:Parameters→GetScalarData→分別選擇Resultdata,Elemtabledata→OK→Nameofparametertobedefined:STRSS;ElementnumberN:13→OKANSYSMainMenu:TimeHistPostpro→DefineVariables→Add→選擇Reactionforces→Listofitems:1→Ok→Item,CompDataitem:StructforceFX→OK→closeANSYSMainMenu:TimeHistPostpro→StoreDataANSYSUtilityMenu:Parameters→GetScalarData→分別選擇Resultdata,Time-histvar’s→OK→Nameofparametertobedefined:FORCE;VariablenumberN:2,Datatoberetrieved:MaximumvalVmax→OK(10)模態(tài)分析計(jì)算ANSYSMainMenu:Solution→AnalysisType→NewAnalysis→Modal→OK→Close(warning)ANSYSMainMenu:Solution→AnalysisType→AnalysisOptions→[MODOPT]BlockLanczos,No.ofmodestoextract:3Expandmodeshapes:Yes,No.ofmodestoexpand:3[PSTRES]:Yes→OK→OKANSYSMainMenu:Solution→DefineLoads→delete→Structural→Displacement→OnNodes→選擇2至13節(jié)點(diǎn)→OK→選擇UX→OK刪除從2號(hào)節(jié)點(diǎn)到13號(hào)節(jié)點(diǎn)上的UX約束ANSYSMainMenu:Solution→DefineLoads→delete→Structural→Displacement→OnNodes→選擇2至13節(jié)點(diǎn)→OK→選擇UY→OK刪除從2號(hào)節(jié)點(diǎn)到13號(hào)節(jié)點(diǎn)上的UY約束ANSYSMainMenu：Solution→Solve→CurrentLS→OK→Yes(11)存儲(chǔ)模態(tài)計(jì)算數(shù)據(jù)并顯示全過(guò)程計(jì)算結(jié)果ANSYSUtilityMenu:Parameters→GetScalarData→分別選擇Resultdata,Modalresults→OK→Nameofparametertobedefined:FREQ1;VariablenumberN:1,Datatoberetrieved:FrequencyFREQ→OKANSYSUtilityMenu:Parameters→GetScalarData→分別選擇Resultdata,Modalresults→OK→Nameofparametertobedefined:FREQ2;VariablenumberN:2,Datatoberetrieved:FrequencyFREQ→OKANSYSUtilityMenu:Parameters→GetScalarData→分別選擇Resultdata,Modalresults→OK→Nameofparametertobedefined:FREQ3;VariablenumberN:3,Datatoberetrieved:FrequencyFREQ→OKANSYSUtilityMenu：List→Status→Parameters→AllParameters(12)退出系統(tǒng)ANSYSUtilityMenu：File→Exit→SaveEverything→OK二、ABAQUS應(yīng)用ABAQUS并行計(jì)算設(shè)置PBS實(shí)現(xiàn)ABAQUS應(yīng)用實(shí)例對(duì)Windows的支持ABAQUS并行功能ABAQUS/ExplicitTHREADSMPILooplevelDomainlevelTHREADSABAQUS/StandardElementoperationsSolverIterativeDirectMPITHREADSTHREADSMPILanczosTHREADSTHREADS基于線程的并行，又稱為共享內(nèi)存并行（SMP），單機(jī)多CPU并行基于進(jìn)程的并行，又稱為分布內(nèi)存并行（DMP），多機(jī)分布式并行采用基于TCP-IP協(xié)議的MPI(MessagePassingInterface)協(xié)議軟件進(jìn)行任務(wù)通訊和管理MPIAbaqus并行步驟1將\site\abaqus_v6.env拷貝到inp文件目錄下修改abaqus_v6.env文件#IfrunningonWINDOWSCCScommentoutthefollowingtwolines.standard_parallel=SOLVERmp_mode=THREADS#IfrunningonWINDOWSCCSuncommentthefollowingblock.#mp_mpi_implementation=NATIVE#mp_rsh_command='dummy%H-l%U-n%C'#mp_mpirun_path={NATIVE:'C:\ProgramFiles\MicrosoftComputeClusterPack\Bin\mpiexec.EXE'}##JOBSCHEDULERINTEGRATION##TouseABAQUSprovidedintegrationwiththeMicrosoftjobscheduleruncomment#thelinesbelow.##importdriverUtils,os#ccsQueueEnv=driverUtils.locate['ABA_PATH'],'site','ccsQueue','env')#ifccsQueueEnv:#exec)#else:#raise'UnabletofinetheWindowsCCSjobschedulerintegration(ccsQueue.env)'#run_mode=BATCH#queues['default']=CustomQueue('share')#queues['local']=CustomQueue('local')#queues['genxmlshare']=CustomQueue('genxmlshare')#queues['genxmllocal']=CustomQueue('genxmllocal')#deldriverUtils,os,ccsQueueEnv指定使用的計(jì)算資源mp_host_list=[['node1',1],['node2',1],['node3',1],['node4',1]]表示在1－4節(jié)點(diǎn)上每個(gè)調(diào)用1cpu關(guān)于HP-MPIMS-MPI不能支持8cpu以上的并行Abaqus并行步驟2運(yùn)行命令abaqusj=testintcpus=4如果找不到license檢查一下abaquslm_license_file的設(shè)置是否正確abaquslm_license_file="27000@node101“l(fā)icense服務(wù)器的進(jìn)程是否在運(yùn)行l(wèi)mtoolsABAQUS的PBS實(shí)現(xiàn)利用PBS作業(yè)調(diào)度系統(tǒng)提交ABAQUS作業(yè)需要寫一個(gè)腳本文件，如下所示：[test@node34abaqusbm]$catpbs_abaqus#!/bin/sh#PBS-NABAQUS_4cpu#PBS-lnodes=2:ppn=2#PBS-joeINPUT_FILE="circuit.inp"OUTPUT_FILE="abaqus.log"ABAQUS_EXEC="/public/software/abaqus/Commands/abaqus"ABAQUS_ENV="/public/software/abaqus/6.5-6/site/abaqus_v6.env"#forabaqus/standardABAQUS_STANDARD_MEMORY="4096mb"ABAQUS_PRE_MEMORY="4096mb"ABAQUS_SCRATCH="/tmp"ABAQUS_MP_MODE="THREADS"#forabaqus/explictABAQUS_MP_MODE="MPI"########################################################################Youdon'tneedtomodifythelinesbelow########################################################################GetNodeList(){np=1whilereadline;dohost=$lineif[!-z$lasthost];thenif[$host=$lasthost];thennp=`expr$np+1`elseif[-z$mList];then

mList=[\'$lasthost\',$np]elsemList=$mList,[\'$lasthost\',$np]finp=1fifilasthost=$hostdone<$1if[-z$mList];then

mList=[\'$lasthost\',$np]elsemList=$mList,[\'$lasthost\',$np]fiecho[$mList]}NODE_LIST=`GetNodeList$PBS_NODEFILE`NPROCS=`wc-l<$PBS_NODEFILE`cd$PBS_O_WORKDIRcp$ABAQUS_ENVabaqus_v6.envcat<<EOF>>abaqus_v6.envstandard_memory="$ABAQUS_STANDARD_MEMORY"pre_memory="$ABAQUS_PRE_MEMORY"scratch="$ABAQUS_SCRATCH"mp_mode="$ABAQUS_MP_MODE"mp