計算機系統(tǒng)性能測試與分析概論第1頁，共59頁，2023年，2月20日，星期四為什么要學(xué)這本門課？組裝一臺電腦關(guān)心哪些指標(biāo)？處理器主頻內(nèi)存大小…如何評價一個計算機系統(tǒng)的性能？2選哪些程序評測？都測試哪些值？這些值如何匯總？這些值真的能夠反映計算機系統(tǒng)的性能嗎？第2頁，共59頁，2023年，2月20日，星期四為什么要學(xué)這本門課？國家稅務(wù)局購買一套高端容錯機IBM、HP投標(biāo)書：不同程序測試結(jié)果XX銀行搭建一個數(shù)據(jù)中心處理器：英特爾E/L/X？I7可以嗎？內(nèi)存規(guī)模：32GB？64GB？128GB？網(wǎng)絡(luò)：千兆、萬兆、infiniband？存儲陣列：SAS、SATA？光纖、IB接口？3如何預(yù)測一個應(yīng)用程序在某個計算機系統(tǒng)性能？第3頁，共59頁，2023年，2月20日，星期四例子：高性能計算機評測4如何評測高性能計算機的性能？第4頁，共59頁，2023年，2月20日，星期四例子：鐵路網(wǎng)上訂票系統(tǒng)系統(tǒng)硬件處理能力不足？訂票軟件設(shè)計存在瓶頸？網(wǎng)絡(luò)帶寬不足？為什么網(wǎng)絡(luò)訂票系統(tǒng)登錄難、瀏覽慢、下單難第5頁，共59頁，2023年，2月20日，星期四例子：鐵路網(wǎng)上訂票系統(tǒng)網(wǎng)絡(luò)訂票系統(tǒng)體系結(jié)構(gòu)：客戶端Web服務(wù)器數(shù)據(jù)庫服務(wù)器數(shù)據(jù)請求返回結(jié)果提出請求返回HTML如何了解負(fù)載特征，分析系統(tǒng)系統(tǒng)瓶頸？第6頁，共59頁，2023年，2月20日，星期四例子：基于SAN存儲系統(tǒng)第7頁，共59頁，2023年，2月20日，星期四例子：實驗設(shè)計如何設(shè)計一篇文章的實驗部分？都要做哪些實驗？為什么要做這些實驗？都要測哪些指標(biāo)？8第8頁，共59頁，2023年，2月20日，星期四課程目標(biāo)性能問題是和功能同等重要的問題性能問題沒有得到很好的重視，大家對其認(rèn)識不足基本概念性能，頻率，峰值速度，實測速度…基本方法和工具測量方法數(shù)據(jù)處理和解釋方法程序優(yōu)化的方法基本觀點9第9頁，共59頁，2023年，2月20日，星期四內(nèi)容安排(1)6月17日引言和性能的量度(2課時)實驗結(jié)果處理中的統(tǒng)計學(xué)(4課時)6月18日系統(tǒng)測量和分析技術(shù)(4課時)基準(zhǔn)測試程序(4課時)6月20日線性回歸模型(2課時)實驗設(shè)計(2課時)考試（2課時）10第10頁，共59頁，2023年，2月20日，星期四教材和參考書教材MeasuringComputerPerformance,byDavidJ.Lilja,CambridgeUniversityPress,2000參考書：TheArtofComputerSystemsPerformanceAnalysisbyRajJain,JohnWiley&SonsPress,1991ComputerSystemsAProgrammer’sPerspectivebyRandalE.BryantandDavidR.O’Hallaron,Person,2003PrinciplesofComputerSystemDesign,J.H.Saltzer,M.FransKaashoek.11第11頁，共59頁，2023年，2月20日，星期四主要會議ACMSIGMETRICSIISWC(WWC)IEEEInternationalSymposiumonWorkloadCharacterizationISPASSIEEEInternationalSymposiumonPerformanceAnalysisofSystemsandSoftwareHPCA,CGO,SC,SOSPetc.12第12頁，共59頁，2023年，2月20日，星期四課程要求平時-40分課堂：參與討論，回答問題，出勤課程作業(yè):6次考試-60分13第13頁，共59頁，2023年，2月20日，星期四特色

本課程的特色是：綜合性由于面向整個系統(tǒng)，所學(xué)過的關(guān)于操作系統(tǒng)、編譯原理、計算機體系結(jié)構(gòu)、CPU結(jié)構(gòu)在內(nèi)的各種知識都要能夠綜合使用，才能夠很好地完成性能測試與優(yōu)化的任務(wù)實踐性本課程將安排若干測試練習(xí)和其它編程練習(xí)，讓大家在實際操作中真正地理解有關(guān)內(nèi)容，解決實際問題。

14第14頁，共59頁，2023年，2月20日，星期四學(xué)完本課程的收獲正確設(shè)計論文中的實驗部分正確處理和解釋實驗數(shù)據(jù)基準(zhǔn)測試程序的使用與開發(fā)測量系統(tǒng)與程序參數(shù)的相關(guān)方法系統(tǒng)的訪存帶寬和延遲程序中的基本塊個數(shù)、分支條數(shù)等使用硬件計數(shù)器進行程序行為的測量可用性、可管理性、功耗測試等基于測試的優(yōu)化技術(shù)15第15頁，共59頁，2023年，2月20日，星期四第一章緒論1.為什么進行性能分析2.什么是性能16第16頁，共59頁，2023年，2月20日，星期四1.為什么要進行性能分析對設(shè)計者要達(dá)到設(shè)計的目標(biāo)有不同的可選方案，如何在其中選擇最好的方案？世界上第一臺千萬億次高性能計算機RoadrunnerIBMPower處理器和AMDOpteron處理器混合比例通過分析、模擬和測試對比各個方案的性能、成本和功耗設(shè)定期望對消費者購置的系統(tǒng)能否滿足自己的要求在一定的預(yù)算下獲得最好的性能17第17頁，共59頁，2023年，2月20日，星期四性能分析技術(shù)性能分析技術(shù)分析數(shù)學(xué)建模排隊論模擬功能模擬器、性能模擬器Trace-driven、全系統(tǒng)模擬測試實際測試18第18頁，共59頁，2023年，2月20日，星期四例子：并行程序性能并行程序的性能行為：計算通信I/O19第19頁，共59頁，2023年，2月20日，星期四例子：并行程序性能分析建模：程序特征收集浮點指令、整數(shù)指令、訪存記錄、I/O訪問、通信（消息類型、大小、方向等）機器性能每條浮點/整數(shù)指令執(zhí)行的cycle訪存指令時間I/O性能通信延遲、帶寬程序時間Totalexecutiontime=comp+comm+I/O？20第20頁，共59頁，2023年，2月20日，星期四例子：并行程序性能模擬的方法BigsimDimemasSimpleScalar…輸入：Trace、目標(biāo)平臺的參數(shù)21第21頁，共59頁，2023年，2月20日，星期四例子：并行程序性能測試的方法采集負(fù)載特征：計算特征（PMU,CallPathprofile)通信特征I/O特征方法：靜態(tài)分析（編譯）動態(tài)測試（插裝）22測試技術(shù)也是分析和模擬的基礎(chǔ)第22頁，共59頁，2023年，2月20日，星期四各種方法的比較分析建模模擬測量靈活性高高低成本低中高可信度低中高23第23頁，共59頁，2023年，2月20日，星期四2.什么是性能2.1性能與目標(biāo)2.2性能與度量方式2.3性能與比較方式24第24頁，共59頁，2023年，2月20日，星期四性能與目標(biāo)目標(biāo)不同做出的選擇也不同例子：實驗設(shè)計：程序選擇，平臺選擇負(fù)載分析：Trace,Profile？模擬器：粗粒度、細(xì)粒度25第25頁，共59頁，2023年，2月20日，星期四2.1性能與目標(biāo)哪個性能更好單個乘客的旅行時間？1天內(nèi)可以運送多少乘客？26飛機華盛頓－巴黎速度mph載客量波音7476.5小時610470協(xié)和3小時1350132吞吐率mph*person286,700178,200第26頁，共59頁，2023年，2月20日，星期四2.1性能與目標(biāo)集群服務(wù)器排隊系統(tǒng)LSF,PBS性能LatencyThroughput27第27頁，共59頁，2023年，2月20日，星期四2.2性能與度量方式X系統(tǒng)是否比Y系統(tǒng)好？28X系統(tǒng)秒Y系統(tǒng)秒原有程序270192優(yōu)化后的程序103169第28頁，共59頁，2023年，2月20日，星期四2.2性能與度量方式(2)Y系統(tǒng)比X系統(tǒng)好？29X系統(tǒng)GFLOPSY系統(tǒng)GFLOPS原有程序6591優(yōu)化后的程序71103第29頁，共59頁，2023年，2月20日，星期四2.2性能與度量方式(3)出現(xiàn)了什么問題？哪臺系統(tǒng)更快？哪臺系統(tǒng)更好？30第30頁，共59頁，2023年，2月20日，星期四2.2性能與度量方式(4)X系統(tǒng)編譯優(yōu)化后減少了61%浮點運算對這個應(yīng)用來說，X系統(tǒng)更快對于哪個系統(tǒng)更好，沒有簡單的答案，需要根據(jù)使用的方式（目標(biāo)）確定31第31頁，共59頁，2023年，2月20日，星期四2.3性能與比較方式如何比較這兩個系統(tǒng)的性能？匯總多個數(shù)據(jù)32X系統(tǒng)tpsY系統(tǒng)tps負(fù)載A2010負(fù)載B1020第32頁，共59頁，2023年，2月20日，星期四2.3性能與比較方式(2)絕對比較法Perf(X)=(20+10)/2=15Perf(Y)=(10+20)/2=15相對比較法，以X為基準(zhǔn)Perf(X)=1Perf(Y)=(0.5+2)/2=1.25相對比較法，以Y為基準(zhǔn)Perf(Y)=1Perf(X)=(2+0.5)/2=1.25同樣的數(shù)據(jù)，我們得出了3個不同的結(jié)論33第33頁，共59頁，2023年，2月20日，星期四2.3性能與比較方式(3)問題：哪個比較方式更合理？為什么？其成立的條件是什么？34第34頁，共59頁，2023年，2月20日，星期四2.4什么是性能－總結(jié)計算機系統(tǒng)的性能，與進行性能分析的目的密切相關(guān)，度量方式、性能比較方式都需要用系統(tǒng)的方法進行選擇，才能得到準(zhǔn)確的性能數(shù)據(jù)35第35頁，共59頁，2023年，2月20日，星期四第二章性能的度量1.現(xiàn)有的性能度量方式2.什么是好的性能度量方式3.性能度量方式分析36第36頁，共59頁，2023年，2月20日，星期四metric37第37頁，共59頁，2023年，2月20日，星期四1.現(xiàn)有的性能指標(biāo)時鐘頻率MIPSGFLOPSTime-程序的執(zhí)行時間Lat/BW基準(zhǔn)測試分?jǐn)?shù)SPECCPULinpackTPCWinstone3DMark2001,3DMark2003…38第38頁，共59頁，2023年，2月20日，星期四2.什么是好的性能度量方式線性性(Linearity)符合人的直覺例子：速度m/s相反的例子可靠性當(dāng)A的性能度量值好于B時,如果系統(tǒng)A總是比系統(tǒng)B快，則稱該度量方式是可靠的相反的例子MIPS39第39頁，共59頁，2023年，2月20日，星期四2.什么是好的性能度量方式(2)可重復(fù)性容易測量一致性獨立性生產(chǎn)商試圖影響度量方式40第40頁，共59頁，2023年，2月20日，星期四3.1時鐘頻率最簡單，很常用但是最誤導(dǎo)的性能度量方式可重復(fù)，易測量，獨立非線性，不可靠沒有考慮到IPC的不同沒有考慮到其它子系統(tǒng)如內(nèi)存、I/O的影響41第41頁，共59頁，2023年，2月20日，星期四42第42頁，共59頁，2023年，2月20日，星期四3.2MIPSMillionsofInstructionsexecutedPerSecond容易測量，可重復(fù)，獨立非線性，不可靠，不一致每條指令所執(zhí)行的內(nèi)容在不同體系結(jié)構(gòu)中是不同的RISC,CISC43第43頁，共59頁，2023年，2月20日，星期四3.3MFlopsMillionsofFLoating-pointOperationsexecutedPerSecond可重復(fù)非線性，不可靠，不一致不適合不執(zhí)行浮點運算程序的系統(tǒng)測量FLOPS并不容易，不同的浮點運算實現(xiàn)可能會帶來不同的測試值乘加、SIN,COS44第44頁，共59頁，2023年，2月20日，星期四3.3Mflops(2)MIPS和Mflops都以單位時間內(nèi)完成的操作次數(shù)為性能度量但是指令和浮點運算都不是人們最終關(guān)心的準(zhǔn)確的操作要定義最終用戶關(guān)心的操作，比如每秒事務(wù)處理數(shù)，每秒web訪問次數(shù)等等實際測試的數(shù)據(jù)才是有意義的將比較限定在可比的范圍內(nèi)，采用相同度量方式的兩個程序，一般不能互相比較45第45頁，共59頁，2023年，2月20日，星期四3.4單一程序的運行時間程序執(zhí)行時間：我們最終關(guān)心的是程序的執(zhí)行時間線性，可重復(fù)，可靠，獨立，一致因此，時間是一個好的度量存在的問題實際測量非常復(fù)雜或不可行系統(tǒng)可擴展性無法體現(xiàn)嚴(yán)格的可靠性度量是不存在的！46第46頁，共59頁，2023年，2月20日，星期四程序的執(zhí)行時間測量程序段的執(zhí)行時間Start_count=read_timer(); PortionofprogramtobemeasuredStop_count=read_timer();Elapsed_time=(stop_count–start_count)*clock_period;Measures“wallclock”timeIncludesI/Owaits,time-sharing,OSoverhead,…“CPUtime”--includeonlyprocessortimeCopyright2004DavidJ.Lilja47第47頁，共59頁，2023年，2月20日，星期四3.5基準(zhǔn)測試程序優(yōu)點一組有代表性的程序，比單個程序更能代表用戶的負(fù)載狀況測試程序分?jǐn)?shù)是程序運行時間的函數(shù)(線性或非線性)以運行時間直接為度量，或是以單位時間內(nèi)完成的操作為度量缺點仍然不具有可靠性可能不獨立48第48頁，共59頁，2023年，2月20日，星期四3.5.1SPECSystemPerformanceEvaluationCooperativeSPECCPU(fp,int),SPECWEB,SPECPower,SPECHPC,SPECOMP…49第49頁，共59頁，2023年，2月20日，星期四3.5.1SPEC(2)SPECCPU的測量方法測量每個程序的運行時間正規(guī)化：除一個標(biāo)準(zhǔn)系統(tǒng)對該程序的運行時間，得到一個正規(guī)化后的值算出上述正規(guī)化值的幾何平均作為SPEC分?jǐn)?shù)問題：非線性50第50頁，共59頁，2023年，2月20日，星期四3.5.1SPEC(3)SPEC的產(chǎn)生辦法每一段時間更新，現(xiàn)在使用的是CPU2006,前邊分別有SPEC89,92,95,2000向全世界征集候選程序由SPEC會員投票決定公平性？51第51頁，共59頁，2023年，2月20日，星期四SPECCPU測試網(wǎng)站52第52頁，共59頁，2023年，2月20日，星期四3.5.2其它benchmark科學(xué)計算HPL（top500所用的benchmark）HPCC(HighPerformanceComputingChallengeBenchmark)HPCG(HighPerformanceConjugateGradient)SPECHPC2002,SPECOMP2001商業(yè)計算TPCSPECweb底層MembenchIOMeter53JackDongarra第53頁，共59頁，2023年，2月20日，星期四2010年11月TOP500List54RankSiteComputer/YearVendorCoresRmaxRpeakPower1NationalSupercomputingCenterinTianjin

ChinaTianhe-1A-NUDTTHMPP,X56702.93Ghz6C,NVIDIAGPU,FT-10008C/2010

NUDT1863682566.004701.004040.002DOE/SC/OakRidgeNationalLaboratory

UnitedStatesJaguar-CrayXT5-HEOpteron6-core2.6GHz/2009

CrayInc.2241621759.002331.006950.603NationalSupercomputingCentreinShenzhen(NSCS)

ChinaNebulae-DawningTC3600Blade,IntelX5650,NVidiaTeslaC2050GPU/2010

Dawning1206401271.002984.302580.004GSICCenter,TokyoInstituteofTechnology

JapanTSUBAME2.0-HPProLiantSL390sG7Xeon6CX5670,NvidiaGPU,Linux/Windows/2010

NEC/HP732781192.002287.631398.615DOE/SC/LBNL/NERSC

UnitedStatesHopper-CrayXE612-core2.1GHz/2010

CrayInc.1534081054.001288.632910.006Commissariatal'EnergieAtomique(CEA)

FranceTera-100-Bullbullxsuper-nodeS6010/S6030/2010

BullSA1383681050.001254.554590.007DOE/NNSA/LANL

UnitedStatesRoadrunner-BladeCenterQS22/LS21Cluster,PowerXCell8i3.2Ghz/OpteronDC1.8GHz,VoltaireInfiniband/2009

IBM1224001042.001375.782345.508NationalInstituteforComputationalSciences/UniversityofTennessee

UnitedStatesKrakenXT5-CrayXT5-HEOpteron6-core2.6GHz/2009

CrayInc.98928831.701028.853090.009ForschungszentrumJuelich(FZJ)

GermanyJUGENE-BlueGene/PSolution/2009

IBM294912825.501002.702268.0010DOE/NNSA/LANL/SNL

UnitedStatesCielo-CrayXE68-core