計(jì)算機(jī)系統(tǒng)性能評(píng)價(jià)綜述

ComputerSystemPerformanceEvaluation

Summary國家智能計(jì)算機(jī)研究開發(fā)中心性能評(píng)價(jià)小組PerformanceEvaluationGroup計(jì)算機(jī)系統(tǒng)性能評(píng)價(jià)綜述

ComputerSystemPe1主要內(nèi)容性能評(píng)測涉及的主要內(nèi)容性能評(píng)測的幾個(gè)研究方向性能評(píng)測的幾個(gè)重要的里程碑主要內(nèi)容性能評(píng)測涉及的主要內(nèi)容2性能評(píng)測的目的選擇在眾多的系統(tǒng)中選擇一個(gè)最適合系統(tǒng)，即在一定的價(jià)格范圍內(nèi)選擇性能最好的系統(tǒng)，達(dá)到較好的性能/價(jià)格比；改進(jìn)對(duì)已有系統(tǒng)的性能缺陷和瓶頸進(jìn)行改進(jìn)和提高設(shè)計(jì)對(duì)未來設(shè)計(jì)的系統(tǒng)進(jìn)行性能預(yù)測，在性能成本方面實(shí)現(xiàn)最佳設(shè)計(jì)或配置性能評(píng)測的目的選擇3什么是計(jì)算機(jī)系統(tǒng)性能評(píng)測通過評(píng)測程序獲得特定計(jì)算機(jī)系統(tǒng)運(yùn)行預(yù)定義任務(wù)或任務(wù)集時(shí)的性能特征。主要研究內(nèi)容評(píng)測程序——負(fù)載workload、基準(zhǔn)程序Benchmark性能特征——性能指標(biāo)performancemetrics評(píng)測手段——分析analysis模擬simulation測量measurement監(jiān)控Monitor優(yōu)化Optimization什么是計(jì)算機(jī)系統(tǒng)性能評(píng)測通過評(píng)測程序獲得特定計(jì)算機(jī)系統(tǒng)運(yùn)行預(yù)4性能評(píng)測涉及的主要內(nèi)容負(fù)載workload、基準(zhǔn)程序Benchmark性能指標(biāo)performancemetrics分析analysis模擬simulation測量measurement監(jiān)控Monitor優(yōu)化Optimization性能評(píng)測涉及的主要內(nèi)容負(fù)載workload、基準(zhǔn)程序Benc5負(fù)載的幾種類型TypesofWorkload指令加Additioninstruction用加法指令的執(zhí)行快慢來衡量系統(tǒng)性能混合指令instructionmixes(MIPS/MFLOPS)Load/Store/compare/branch/logical….內(nèi)核Kernel/processingKernel綜合性應(yīng)用程序Syntheticprogram開始在測試程序中引入I/O程序都過小，難以代表內(nèi)存和磁盤的真實(shí)行為應(yīng)用基準(zhǔn)程序Applicationbenchmark更能模擬應(yīng)用實(shí)際流行的基準(zhǔn)程序Popularbenchmark負(fù)載的幾種類型TypesofWorkload指令加A6負(fù)載的選取涉及的服務(wù)ServiceExercised負(fù)載的選取級(jí)別Levelofdetail各種用戶請(qǐng)求得使用頻率；使用頻率最好的請(qǐng)求；對(duì)資源的平均需求；所需資源的分布負(fù)載的表述representation請(qǐng)求的到達(dá)方式所需資源資源的使用模式各種時(shí)間的設(shè)定timeliness負(fù)載的選取涉及的服務(wù)ServiceExercised7舉例（分時(shí)系統(tǒng)和網(wǎng)絡(luò)系統(tǒng)）ApplicationsOperatingSystemCentralProcessingUnitarithmetic-logicunitTransactionsO/Scommands+servicesInstructionsArithmeticInstructionsApplicationsPresentationSessionMail,Filetransfer,HTTPDataCompression,etcdialogsTransportNetWorkMessagesPacketsDatalinkFramesPhysicalBits舉例（分時(shí)系統(tǒng)和網(wǎng)絡(luò)系統(tǒng)）ApplicationsOpera8負(fù)載的選?。ɡm(xù)）Tracing跟蹤Logging日志負(fù)載的選?。ɡm(xù)）Tracing跟蹤9負(fù)載的特征化

WorkloadCharacterizationtechniques對(duì)真實(shí)負(fù)載(RealWorkload)抽象化方法參數(shù)的取值均值averaging：數(shù)據(jù)變化范圍大時(shí)？指定方差specifyingdispersion參數(shù)柱狀圖表示多參數(shù)的圖形表示：可描述參數(shù)之間的關(guān)系參數(shù)的個(gè)數(shù)取最大權(quán)重法取實(shí)際負(fù)載中元素權(quán)重最大的前n個(gè)元素元素聚類法聚合屬性相似的負(fù)載元素負(fù)載的特征化

WorkloadCharacterizat10負(fù)載模擬中的相關(guān)概念模型負(fù)載：從現(xiàn)實(shí)世界中抽取的可供研究的負(fù)載信息集合；負(fù)載元素：一個(gè)負(fù)載中的各種信息，包括：程序、事務(wù)、請(qǐng)求、數(shù)據(jù)等；模擬度：模擬負(fù)載對(duì)實(shí)際負(fù)載的復(fù)現(xiàn)程度[0-1]。0：失敗；1：完全精確元素權(quán)重：每個(gè)元素的復(fù)現(xiàn)對(duì)整個(gè)負(fù)載復(fù)現(xiàn)的影響程度；模擬精度：實(shí)際負(fù)載中的某個(gè)元素在模擬負(fù)載中的復(fù)雜程度；模擬度元素權(quán)重元素模擬精度元素個(gè)數(shù)負(fù)載模擬中的相關(guān)概念模型負(fù)載：從現(xiàn)實(shí)世界中抽取的可供研究的負(fù)11生成模擬負(fù)載的八個(gè)階段闡述實(shí)際工作負(fù)載分析負(fù)載建立抽象模型第二次數(shù)據(jù)收集統(tǒng)計(jì)分析數(shù)據(jù)生成模擬負(fù)載驗(yàn)證負(fù)載完善及分析生成模擬負(fù)載的八個(gè)階段闡述實(shí)際工作負(fù)載分析負(fù)載建立抽象模型第12性能評(píng)測涉及的主要內(nèi)容負(fù)載workload、基準(zhǔn)程序Benchmark性能指標(biāo)performancemetrics分析analysis模擬simulation測量measurement監(jiān)控Monitor優(yōu)化Optimization性能評(píng)測涉及的主要內(nèi)容負(fù)載workload、基準(zhǔn)程序Benc13性能指標(biāo)的提取被評(píng)測系統(tǒng)服務(wù)請(qǐng)求請(qǐng)求接受請(qǐng)求拒絕處理正確處理出錯(cuò)系統(tǒng)響應(yīng)時(shí)間吞吐率資源利用率錯(cuò)誤類型i錯(cuò)誤概率錯(cuò)誤間隔時(shí)間事件發(fā)生概率事件發(fā)生間隔時(shí)間事件類型k性能指標(biāo)的提取被服務(wù)請(qǐng)求請(qǐng)求接受請(qǐng)求拒絕處理正確處理出錯(cuò)系統(tǒng)14性能指標(biāo)的分類可靠性、可利用性能夠持續(xù)工作的時(shí)間長度，如：平均無故障時(shí)間處理能力或效率吞吐率：系統(tǒng)在單位時(shí)間內(nèi)能處理正常作業(yè)的個(gè)數(shù)；響應(yīng)時(shí)間：系統(tǒng)得到輸入到給出輸出之間的時(shí)間利用率：給定時(shí)間區(qū)間中，系統(tǒng)各種部件被使用的時(shí)間與整個(gè)時(shí)間之比；性能指標(biāo)的分類可靠性、可利用性15常用的性能指標(biāo)

commonlyusedperformancemetrics響應(yīng)時(shí)間（Responsetime）TimeUserStatsrequestUserfinishesrequestSystemStatsexecutionSystemStatsresponseSystemcompletesresponseUserStatsnextrequestReactiontimeResponsetimeThinkingtimeKeyingtime常用的性能指標(biāo)

commonlyusedperforma16常用的性能指標(biāo)（續(xù)）

commonlyusedperformancemetrics吞吐率（Throughput）單位時(shí)間內(nèi)系統(tǒng)處理請(qǐng)求的個(gè)數(shù)利用率（utilization）一段時(shí)間內(nèi)系統(tǒng)服務(wù)于請(qǐng)求的時(shí)間比例可靠性（raliability）出錯(cuò)概率meantimebetweenerrors可用性（availability）MTTF(Meantimetofailure)可擴(kuò)展性(Scaleability)常用的性能指標(biāo)（續(xù)）

commonlyusedperfo17性能拐點(diǎn)的存在？性能拐點(diǎn)的存在？18衡量服務(wù)器性能的新思路在提供網(wǎng)格服務(wù)的環(huán)境里，服務(wù)器的評(píng)價(jià)指標(biāo)不再只是峰值速度、Linpack速度、響應(yīng)時(shí)間等傳統(tǒng)指標(biāo)，而是服務(wù)質(zhì)量、服務(wù)協(xié)議等級(jí)（ServiceLevelAgreement）、生產(chǎn)力（productivity）、用戶價(jià)值（value）等新指標(biāo)。傳統(tǒng)的性能價(jià)格比讓位于總擁有性能價(jià)格比，即TPO/TCO?？倱碛袃r(jià)格（TCO，即TotalCostofOwnership）和總擁有性能（TPO，即TotalPerformanceofOwnership）已變成常用詞，成為企業(yè)信息主管選型時(shí)的主要考慮因素，即用戶更加注意自系統(tǒng)購買之日起系統(tǒng)的整個(gè)生命周期內(nèi)（一般五年左右）所能得到的總的性能和總的花費(fèi)。衡量服務(wù)器性能的新思路在提供網(wǎng)格服務(wù)的環(huán)境里，服務(wù)器的評(píng)價(jià)指19算術(shù)平均值（Meanvalue）加法平均——n個(gè)數(shù)值相加除以n幾何平均——n個(gè)數(shù)相乘開n次方；中間值（median）中位數(shù)：將所有數(shù)值由小到大的順序排列，奇數(shù)則取中間一個(gè)為中位數(shù)，偶數(shù)則取中間兩個(gè)數(shù)值的平均數(shù)為中位數(shù)，因此所有數(shù)值中有一半的數(shù)值大于中位數(shù)，而另一半小于中位數(shù)。眾（眾望所歸之?dāng)?shù)）數(shù)（mode）：占比例最高、出現(xiàn)頻率最多的數(shù)值各種方差——表示各個(gè)子指標(biāo)與平均值的偏離程度性能指標(biāo)的計(jì)算方法

算術(shù)平均值（Meanvalue）性能指標(biāo)的計(jì)算方法20性能評(píng)測涉及的主要內(nèi)容負(fù)載workload、基準(zhǔn)程序Benchmark性能指標(biāo)performancemetrics測量measurement模擬simulation分析analysis監(jiān)控Monitor優(yōu)化Optimization性能評(píng)測涉及的主要內(nèi)容負(fù)載workload、基準(zhǔn)程序Benc21性能評(píng)測的方法測量方法Measurement測量設(shè)備或測量程序?qū)σ延邢到y(tǒng)的測試模型方法：可對(duì)未存在系統(tǒng)進(jìn)行預(yù)測、費(fèi)用小模擬Simulation系統(tǒng)建模、負(fù)載驅(qū)動(dòng)分析analyticalmodeling用數(shù)學(xué)理論和方法來研究和描述性能與系統(tǒng)、負(fù)載之間的關(guān)系性能評(píng)測的方法測量方法Measurement22測量方法Measurement系統(tǒng)真實(shí)、負(fù)載驅(qū)動(dòng)主要手段Benchmark(真實(shí)負(fù)載的抽象)截獲和回放RecordandReplay(真實(shí)負(fù)載的再現(xiàn))主要用于系統(tǒng)壓力測試(StressTesting)系統(tǒng)容量測試(CapacityTesting)系統(tǒng)性能測試和發(fā)布測量方法Measurement系統(tǒng)真實(shí)、負(fù)載驅(qū)動(dòng)23模擬Simulation系統(tǒng)建模、負(fù)載驅(qū)動(dòng)用軟件實(shí)現(xiàn)被測系統(tǒng)SUT的模擬主要手段Benchmark(真實(shí)負(fù)載的抽象)截獲和回放RecordandReplay(真實(shí)負(fù)載的再現(xiàn))主要用于系統(tǒng)性能預(yù)測和優(yōu)化負(fù)載特性研究模擬Simulation系統(tǒng)建模、負(fù)載驅(qū)動(dòng)24Simulation研究中的主要術(shù)語狀態(tài)變量statevariables（例如：CPU作業(yè)隊(duì)列長度）事件event：可以改變系統(tǒng)狀態(tài)的動(dòng)作連續(xù)時(shí)間模型/離散時(shí)間模型continuous-timeanddiscrete-timeModels連續(xù)狀態(tài)模型/不連續(xù)狀態(tài)模型確定模型/概率模型：根據(jù)輸入是否可預(yù)知輸出靜態(tài)模型/動(dòng)態(tài)模型：系統(tǒng)狀態(tài)是否隨時(shí)間變化而變化線性模型/非線性模型：輸出參數(shù)是否與輸入具有線性關(guān)系開放模型/封閉模型：輸入是否包含在系統(tǒng)模型中穩(wěn)定模型/不穩(wěn)定模型：系統(tǒng)輸出是否隨時(shí)間變化而穩(wěn)定Simulation研究中的主要術(shù)語狀態(tài)變量statev25模擬的幾種類型Typesofsimulations模擬與仿真（Simulation&Emulation）用硬件hardware或者固件firmware實(shí)現(xiàn)的模擬叫仿真emulation模擬的主要類型蒙特卡洛Montecarlosimulation跟蹤驅(qū)動(dòng)Trace-DrivenSimulation離散事件discrete-eventSimulation模擬的幾種類型Typesofsimulations模擬與26蒙特卡洛Montecarlosimulation一種統(tǒng)計(jì)試驗(yàn)方法，只能處理極簡單的問題靜態(tài)模擬，沒有時(shí)間參數(shù)用來解決數(shù)學(xué)和物理問題的非確定性的（概率統(tǒng)計(jì)的或隨機(jī)的）數(shù)值方法蒙特卡洛Montecarlosimulation一種統(tǒng)27跟蹤模擬

Tracing-DrivenSimulation通過跟蹤系統(tǒng)運(yùn)行過程中的中間變量，來抽象和模擬系統(tǒng)行為跟蹤模擬

Tracing-DrivenSimulatio28離散事件模擬

Discrete-EventSimulation每個(gè)系統(tǒng)模擬器至少包括下列部分事件調(diào)度器EventScheduler模擬時(shí)鐘或者其他時(shí)間機(jī)制SimulationClock系統(tǒng)狀態(tài)參數(shù)SystemStateVariables事件子系統(tǒng)EventRoutines輸入子系統(tǒng)InputRoutines報(bào)告產(chǎn)生器ReportGenerator初始化子系統(tǒng)InitializationRountines跟蹤子系統(tǒng)TracingRountines動(dòng)態(tài)內(nèi)存管理DynamicMemoryManager主程序MainProgramI/O子系統(tǒng)I/OManagerSystem離散事件模擬

Discrete-EventSimulati29分析建摸AnalysisModeling系統(tǒng)和負(fù)載均使用建摸實(shí)現(xiàn)使用數(shù)學(xué)模型刻畫負(fù)載特性和系統(tǒng)行為主要用于系統(tǒng)性能的粗略評(píng)估各種測試的驗(yàn)證從理論的角度促進(jìn)評(píng)測技術(shù)的發(fā)展分析建摸AnalysisModeling系統(tǒng)和負(fù)載均使用30分析中涉及的主要數(shù)學(xué)概念隨機(jī)過程隨機(jī)變量隨機(jī)過程馬爾可夫鏈排隊(duì)模型排隊(duì)的基本形式排隊(duì)分析自相似模型自相似現(xiàn)象自相似數(shù)據(jù)傳輸自相似性的性能影響自相似傳輸?shù)漠a(chǎn)生和性能評(píng)價(jià)Hurst參數(shù)分析中涉及的主要數(shù)學(xué)概念隨機(jī)過程31性能評(píng)測中涉及的主要內(nèi)容負(fù)載workload、基準(zhǔn)程序Benchmark性能指標(biāo)performancemetrics測量measurement模擬simulation分析analysis監(jiān)控Monitor優(yōu)化Optimization性能評(píng)測中涉及的主要內(nèi)容負(fù)載workload、基準(zhǔn)程序Ben32監(jiān)控監(jiān)控方法實(shí)時(shí)、日志監(jiān)控工具Windows：perfmonLinux:vmstatiostatnetstatsar監(jiān)控的正確性、小負(fù)荷監(jiān)控監(jiān)控方法33性能分析和優(yōu)化性能調(diào)試是一件嚴(yán)肅的事情，不要對(duì)系統(tǒng)的各種參數(shù)進(jìn)行隨意的改動(dòng)一次只對(duì)某個(gè)領(lǐng)域進(jìn)行性能調(diào)試，例如對(duì)CPU的使用情況進(jìn)行分析，每次只改動(dòng)一個(gè)設(shè)置必須對(duì)系統(tǒng)性能可能產(chǎn)生影響的各種因素進(jìn)行進(jìn)一步分析，它們所有作用是什么，起多大的作用性能分析和優(yōu)化性能調(diào)試是一件嚴(yán)肅的事情，不要對(duì)系統(tǒng)的各種參數(shù)34主要內(nèi)容性能評(píng)測涉及的主要內(nèi)容關(guān)于性能評(píng)測的幾個(gè)研究方向性能評(píng)測的幾個(gè)重要發(fā)展主要內(nèi)容性能評(píng)測涉及的主要內(nèi)容35關(guān)于性能評(píng)測的幾個(gè)研究方向國內(nèi)的研究現(xiàn)狀國外的情況幾個(gè)主要的研究方向關(guān)于性能評(píng)測的幾個(gè)研究方向國內(nèi)的研究現(xiàn)狀36國內(nèi)的研究現(xiàn)狀國家智能計(jì)算機(jī)研究開發(fā)中心高性能計(jì)算機(jī)系統(tǒng)、計(jì)算機(jī)體系結(jié)構(gòu)、性能評(píng)測面向計(jì)算機(jī)系統(tǒng)、兼顧各個(gè)子程序借用流行的基準(zhǔn)程序，側(cè)重性能評(píng)測方法的研究清華大學(xué)軟件學(xué)院TPC-C評(píng)測程序清華大學(xué)網(wǎng)絡(luò)研究所使用Petri網(wǎng)模型分析網(wǎng)絡(luò)系統(tǒng)的性能國防科技大學(xué)計(jì)算機(jī)系中間件系統(tǒng)的研究和測試計(jì)算機(jī)世界報(bào)性能評(píng)測實(shí)驗(yàn)室賽迪評(píng)測中心NC系統(tǒng)的評(píng)測國內(nèi)的研究現(xiàn)狀國家智能計(jì)算機(jī)研究開發(fā)中心37國外的研究現(xiàn)狀計(jì)算機(jī)性能評(píng)測是計(jì)算機(jī)系碩士生的必修課程所有做計(jì)算機(jī)體系結(jié)構(gòu)和系統(tǒng)研究的學(xué)術(shù)結(jié)構(gòu)和組織都有自己的性能評(píng)測研究所有研究計(jì)算機(jī)系統(tǒng)硬件和系統(tǒng)軟件的廠商國外的研究現(xiàn)狀計(jì)算機(jī)性能評(píng)測是計(jì)算機(jī)系碩士生的必修課程38性能評(píng)測幾個(gè)主要的研究方向相關(guān)理論研究（泊松分布、排隊(duì)論、MaKov模型、Montecarlo模擬、自相似理論）負(fù)載特性WorkloadCharacteristic的研究（CommercialWorkload/TechnicalWorkload）基準(zhǔn)程序Benchmark的研究性能指標(biāo)的研究（全生命周期/高效能/TPOTotalProductivityOwnership/SLAServcieLevelAgreement/QoS）模擬器的研究（SimpleScalar/SimOS/SandOS）測試系統(tǒng)的研究（BenchmarkFactory/ServerScope/BenchmarkStudio/LoadRunner/Forecasttoolset）監(jiān)控系統(tǒng)PerfomanceEvaluation（IntelVtune/EMon/TeamQuestLite/ServerScope-Monitor/Grid-View）性能評(píng)測與體系結(jié)構(gòu)的結(jié)合（Computerarchitectureanalysisusingworkloads）性能評(píng)測幾個(gè)主要的研究方向相關(guān)理論研究（泊松分布、排隊(duì)論、M39傳統(tǒng)與理想服務(wù)器性能行為的比較傳統(tǒng)與理想服務(wù)器性能行為的比較40全生命周期的性能評(píng)測不能只關(guān)注峰值的測試，還要注重峰值到達(dá)前的曲線走勢及峰植到達(dá)后的曲線向x軸的漸進(jìn)快慢并發(fā)用戶數(shù)量系統(tǒng)吞吐率0系統(tǒng)輕負(fù)載時(shí)，系統(tǒng)性能曲線的斜率系統(tǒng)滿負(fù)載后，系統(tǒng)的峰植系統(tǒng)重負(fù)載時(shí)，系統(tǒng)性能衰減情況全生命周期的性能評(píng)測不能只關(guān)注峰值的測試，還要注重峰值到達(dá)前41總擁有性能

TPOTotalperformanceofOwnership總擁有性能

TPOTotalperformanceof42主要內(nèi)容性能評(píng)測涉及的主要內(nèi)容關(guān)于性能評(píng)測的幾個(gè)研究方向性能評(píng)測的幾個(gè)重要發(fā)展主要內(nèi)容性能評(píng)測涉及的主要內(nèi)容43性能評(píng)測的幾個(gè)重要發(fā)展分時(shí)系統(tǒng)IBM360中性能評(píng)測的應(yīng)用排隊(duì)論在性能評(píng)測中的提出Petri網(wǎng)的應(yīng)用體系結(jié)構(gòu)與商業(yè)負(fù)載的結(jié)合（90年代初提出）自相似模型的提出性能評(píng)測的幾個(gè)重要發(fā)展分時(shí)系統(tǒng)IBM360中性能評(píng)測的應(yīng)用44參考文獻(xiàn)（略）參考文獻(xiàn)（略）45謝謝謝謝46計(jì)算機(jī)系統(tǒng)性能評(píng)價(jià)綜述

ComputerSystemPerformanceEvaluation

Summary國家智能計(jì)算機(jī)研究開發(fā)中心性能評(píng)價(jià)小組PerformanceEvaluationGroup計(jì)算機(jī)系統(tǒng)性能評(píng)價(jià)綜述

ComputerSystemPe47主要內(nèi)容性能評(píng)測涉及的主要內(nèi)容性能評(píng)測的幾個(gè)研究方向性能評(píng)測的幾個(gè)重要的里程碑主要內(nèi)容性能評(píng)測涉及的主要內(nèi)容48性能評(píng)測的目的選擇在眾多的系統(tǒng)中選擇一個(gè)最適合系統(tǒng)，即在一定的價(jià)格范圍內(nèi)選擇性能最好的系統(tǒng)，達(dá)到較好的性能/價(jià)格比；改進(jìn)對(duì)已有系統(tǒng)的性能缺陷和瓶頸進(jìn)行改進(jìn)和提高設(shè)計(jì)對(duì)未來設(shè)計(jì)的系統(tǒng)進(jìn)行性能預(yù)測，在性能成本方面實(shí)現(xiàn)最佳設(shè)計(jì)或配置性能評(píng)測的目的選擇49什么是計(jì)算機(jī)系統(tǒng)性能評(píng)測通過評(píng)測程序獲得特定計(jì)算機(jī)系統(tǒng)運(yùn)行預(yù)定義任務(wù)或任務(wù)集時(shí)的性能特征。主要研究內(nèi)容評(píng)測程序——負(fù)載workload、基準(zhǔn)程序Benchmark性能特征——性能指標(biāo)performancemetrics評(píng)測手段——分析analysis模擬simulation測量measurement監(jiān)控Monitor優(yōu)化Optimization什么是計(jì)算機(jī)系統(tǒng)性能評(píng)測通過評(píng)測程序獲得特定計(jì)算機(jī)系統(tǒng)運(yùn)行預(yù)50性能評(píng)測涉及的主要內(nèi)容負(fù)載workload、基準(zhǔn)程序Benchmark性能指標(biāo)performancemetrics分析analysis模擬simulation測量measurement監(jiān)控Monitor優(yōu)化Optimization性能評(píng)測涉及的主要內(nèi)容負(fù)載workload、基準(zhǔn)程序Benc51負(fù)載的幾種類型TypesofWorkload指令加Additioninstruction用加法指令的執(zhí)行快慢來衡量系統(tǒng)性能混合指令instructionmixes(MIPS/MFLOPS)Load/Store/compare/branch/logical….內(nèi)核Kernel/processingKernel綜合性應(yīng)用程序Syntheticprogram開始在測試程序中引入I/O程序都過小，難以代表內(nèi)存和磁盤的真實(shí)行為應(yīng)用基準(zhǔn)程序Applicationbenchmark更能模擬應(yīng)用實(shí)際流行的基準(zhǔn)程序Popularbenchmark負(fù)載的幾種類型TypesofWorkload指令加A52負(fù)載的選取涉及的服務(wù)ServiceExercised負(fù)載的選取級(jí)別Levelofdetail各種用戶請(qǐng)求得使用頻率；使用頻率最好的請(qǐng)求；對(duì)資源的平均需求；所需資源的分布負(fù)載的表述representation請(qǐng)求的到達(dá)方式所需資源資源的使用模式各種時(shí)間的設(shè)定timeliness負(fù)載的選取涉及的服務(wù)ServiceExercised53舉例（分時(shí)系統(tǒng)和網(wǎng)絡(luò)系統(tǒng)）ApplicationsOperatingSystemCentralProcessingUnitarithmetic-logicunitTransactionsO/Scommands+servicesInstructionsArithmeticInstructionsApplicationsPresentationSessionMail,Filetransfer,HTTPDataCompression,etcdialogsTransportNetWorkMessagesPacketsDatalinkFramesPhysicalBits舉例（分時(shí)系統(tǒng)和網(wǎng)絡(luò)系統(tǒng)）ApplicationsOpera54負(fù)載的選?。ɡm(xù)）Tracing跟蹤Logging日志負(fù)載的選?。ɡm(xù)）Tracing跟蹤55負(fù)載的特征化

WorkloadCharacterizationtechniques對(duì)真實(shí)負(fù)載(RealWorkload)抽象化方法參數(shù)的取值均值averaging：數(shù)據(jù)變化范圍大時(shí)？指定方差specifyingdispersion參數(shù)柱狀圖表示多參數(shù)的圖形表示：可描述參數(shù)之間的關(guān)系參數(shù)的個(gè)數(shù)取最大權(quán)重法取實(shí)際負(fù)載中元素權(quán)重最大的前n個(gè)元素元素聚類法聚合屬性相似的負(fù)載元素負(fù)載的特征化

WorkloadCharacterizat56負(fù)載模擬中的相關(guān)概念模型負(fù)載：從現(xiàn)實(shí)世界中抽取的可供研究的負(fù)載信息集合；負(fù)載元素：一個(gè)負(fù)載中的各種信息，包括：程序、事務(wù)、請(qǐng)求、數(shù)據(jù)等；模擬度：模擬負(fù)載對(duì)實(shí)際負(fù)載的復(fù)現(xiàn)程度[0-1]。0：失?。?：完全精確元素權(quán)重：每個(gè)元素的復(fù)現(xiàn)對(duì)整個(gè)負(fù)載復(fù)現(xiàn)的影響程度；模擬精度：實(shí)際負(fù)載中的某個(gè)元素在模擬負(fù)載中的復(fù)雜程度；模擬度元素權(quán)重元素模擬精度元素個(gè)數(shù)負(fù)載模擬中的相關(guān)概念模型負(fù)載：從現(xiàn)實(shí)世界中抽取的可供研究的負(fù)57生成模擬負(fù)載的八個(gè)階段闡述實(shí)際工作負(fù)載分析負(fù)載建立抽象模型第二次數(shù)據(jù)收集統(tǒng)計(jì)分析數(shù)據(jù)生成模擬負(fù)載驗(yàn)證負(fù)載完善及分析生成模擬負(fù)載的八個(gè)階段闡述實(shí)際工作負(fù)載分析負(fù)載建立抽象模型第58性能評(píng)測涉及的主要內(nèi)容負(fù)載workload、基準(zhǔn)程序Benchmark性能指標(biāo)performancemetrics分析analysis模擬simulation測量measurement監(jiān)控Monitor優(yōu)化Optimization性能評(píng)測涉及的主要內(nèi)容負(fù)載workload、基準(zhǔn)程序Benc59性能指標(biāo)的提取被評(píng)測系統(tǒng)服務(wù)請(qǐng)求請(qǐng)求接受請(qǐng)求拒絕處理正確處理出錯(cuò)系統(tǒng)響應(yīng)時(shí)間吞吐率資源利用率錯(cuò)誤類型i錯(cuò)誤概率錯(cuò)誤間隔時(shí)間事件發(fā)生概率事件發(fā)生間隔時(shí)間事件類型k性能指標(biāo)的提取被服務(wù)請(qǐng)求請(qǐng)求接受請(qǐng)求拒絕處理正確處理出錯(cuò)系統(tǒng)60性能指標(biāo)的分類可靠性、可利用性能夠持續(xù)工作的時(shí)間長度，如：平均無故障時(shí)間處理能力或效率吞吐率：系統(tǒng)在單位時(shí)間內(nèi)能處理正常作業(yè)的個(gè)數(shù)；響應(yīng)時(shí)間：系統(tǒng)得到輸入到給出輸出之間的時(shí)間利用率：給定時(shí)間區(qū)間中，系統(tǒng)各種部件被使用的時(shí)間與整個(gè)時(shí)間之比；性能指標(biāo)的分類可靠性、可利用性61常用的性能指標(biāo)

commonlyusedperformancemetrics響應(yīng)時(shí)間（Responsetime）TimeUserStatsrequestUserfinishesrequestSystemStatsexecutionSystemStatsresponseSystemcompletesresponseUserStatsnextrequestReactiontimeResponsetimeThinkingtimeKeyingtime常用的性能指標(biāo)

commonlyusedperforma62常用的性能指標(biāo)（續(xù)）

commonlyusedperformancemetrics吞吐率（Throughput）單位時(shí)間內(nèi)系統(tǒng)處理請(qǐng)求的個(gè)數(shù)利用率（utilization）一段時(shí)間內(nèi)系統(tǒng)服務(wù)于請(qǐng)求的時(shí)間比例可靠性（raliability）出錯(cuò)概率meantimebetweenerrors可用性（availability）MTTF(Meantimetofailure)可擴(kuò)展性(Scaleability)常用的性能指標(biāo)（續(xù)）

commonlyusedperfo63性能拐點(diǎn)的存在？性能拐點(diǎn)的存在？64衡量服務(wù)器性能的新思路在提供網(wǎng)格服務(wù)的環(huán)境里，服務(wù)器的評(píng)價(jià)指標(biāo)不再只是峰值速度、Linpack速度、響應(yīng)時(shí)間等傳統(tǒng)指標(biāo)，而是服務(wù)質(zhì)量、服務(wù)協(xié)議等級(jí)（ServiceLevelAgreement）、生產(chǎn)力（productivity）、用戶價(jià)值（value）等新指標(biāo)。傳統(tǒng)的性能價(jià)格比讓位于總擁有性能價(jià)格比，即TPO/TCO?？倱碛袃r(jià)格（TCO，即TotalCostofOwnership）和總擁有性能（TPO，即TotalPerformanceofOwnership）已變成常用詞，成為企業(yè)信息主管選型時(shí)的主要考慮因素，即用戶更加注意自系統(tǒng)購買之日起系統(tǒng)的整個(gè)生命周期內(nèi)（一般五年左右）所能得到的總的性能和總的花費(fèi)。衡量服務(wù)器性能的新思路在提供網(wǎng)格服務(wù)的環(huán)境里，服務(wù)器的評(píng)價(jià)指65算術(shù)平均值（Meanvalue）加法平均——n個(gè)數(shù)值相加除以n幾何平均——n個(gè)數(shù)相乘開n次方；中間值（median）中位數(shù)：將所有數(shù)值由小到大的順序排列，奇數(shù)則取中間一個(gè)為中位數(shù)，偶數(shù)則取中間兩個(gè)數(shù)值的平均數(shù)為中位數(shù)，因此所有數(shù)值中有一半的數(shù)值大于中位數(shù)，而另一半小于中位數(shù)。眾（眾望所歸之?dāng)?shù)）數(shù)（mode）：占比例最高、出現(xiàn)頻率最多的數(shù)值各種方差——表示各個(gè)子指標(biāo)與平均值的偏離程度性能指標(biāo)的計(jì)算方法

算術(shù)平均值（Meanvalue）性能指標(biāo)的計(jì)算方法66性能評(píng)測涉及的主要內(nèi)容負(fù)載workload、基準(zhǔn)程序Benchmark性能指標(biāo)performancemetrics測量measurement模擬simulation分析analysis監(jiān)控Monitor優(yōu)化Optimization性能評(píng)測涉及的主要內(nèi)容負(fù)載workload、基準(zhǔn)程序Benc67性能評(píng)測的方法測量方法Measurement測量設(shè)備或測量程序?qū)σ延邢到y(tǒng)的測試模型方法：可對(duì)未存在系統(tǒng)進(jìn)行預(yù)測、費(fèi)用小模擬Simulation系統(tǒng)建模、負(fù)載驅(qū)動(dòng)分析analyticalmodeling用數(shù)學(xué)理論和方法來研究和描述性能與系統(tǒng)、負(fù)載之間的關(guān)系性能評(píng)測的方法測量方法Measurement68測量方法Measurement系統(tǒng)真實(shí)、負(fù)載驅(qū)動(dòng)主要手段Benchmark(真實(shí)負(fù)載的抽象)截獲和回放RecordandReplay(真實(shí)負(fù)載的再現(xiàn))主要用于系統(tǒng)壓力測試(StressTesting)系統(tǒng)容量測試(CapacityTesting)系統(tǒng)性能測試和發(fā)布測量方法Measurement系統(tǒng)真實(shí)、負(fù)載驅(qū)動(dòng)69模擬Simulation系統(tǒng)建模、負(fù)載驅(qū)動(dòng)用軟件實(shí)現(xiàn)被測系統(tǒng)SUT的模擬主要手段Benchmark(真實(shí)負(fù)載的抽象)截獲和回放RecordandReplay(真實(shí)負(fù)載的再現(xiàn))主要用于系統(tǒng)性能預(yù)測和優(yōu)化負(fù)載特性研究模擬Simulation系統(tǒng)建模、負(fù)載驅(qū)動(dòng)70Simulation研究中的主要術(shù)語狀態(tài)變量statevariables（例如：CPU作業(yè)隊(duì)列長度）事件event：可以改變系統(tǒng)狀態(tài)的動(dòng)作連續(xù)時(shí)間模型/離散時(shí)間模型continuous-timeanddiscrete-timeModels連續(xù)狀態(tài)模型/不連續(xù)狀態(tài)模型確定模型/概率模型：根據(jù)輸入是否可預(yù)知輸出靜態(tài)模型/動(dòng)態(tài)模型：系統(tǒng)狀態(tài)是否隨時(shí)間變化而變化線性模型/非線性模型：輸出參數(shù)是否與輸入具有線性關(guān)系開放模型/封閉模型：輸入是否包含在系統(tǒng)模型中穩(wěn)定模型/不穩(wěn)定模型：系統(tǒng)輸出是否隨時(shí)間變化而穩(wěn)定Simulation研究中的主要術(shù)語狀態(tài)變量statev71模擬的幾種類型Typesofsimulations模擬與仿真（Simulation&Emulation）用硬件hardware或者固件firmware實(shí)現(xiàn)的模擬叫仿真emulation模擬的主要類型蒙特卡洛Montecarlosimulation跟蹤驅(qū)動(dòng)Trace-DrivenSimulation離散事件discrete-eventSimulation模擬的幾種類型Typesofsimulations模擬與72蒙特卡洛Montecarlosimulation一種統(tǒng)計(jì)試驗(yàn)方法，只能處理極簡單的問題靜態(tài)模擬，沒有時(shí)間參數(shù)用來解決數(shù)學(xué)和物理問題的非確定性的（概率統(tǒng)計(jì)的或隨機(jī)的）數(shù)值方法蒙特卡洛Montecarlosimulation一種統(tǒng)73跟蹤模擬

Tracing-DrivenSimulation通過跟蹤系統(tǒng)運(yùn)行過程中的中間變量，來抽象和模擬系統(tǒng)行為跟蹤模擬

Tracing-DrivenSimulatio74離散事件模擬

Discrete-EventSimulation每個(gè)系統(tǒng)模擬器至少包括下列部分事件調(diào)度器EventScheduler模擬時(shí)鐘或者其他時(shí)間機(jī)制SimulationClock系統(tǒng)狀態(tài)參數(shù)SystemStateVariables事件子系統(tǒng)EventRoutines輸入子系統(tǒng)InputRoutines報(bào)告產(chǎn)生器ReportGenerator初始化子系統(tǒng)InitializationRountines跟蹤子系統(tǒng)TracingRountines動(dòng)態(tài)內(nèi)存管理DynamicMemoryManager主程序MainProgramI/O子系統(tǒng)I/OManagerSystem離散事件模擬

Discrete-EventSimulati75分析建摸AnalysisModeling系統(tǒng)和負(fù)載均使用建摸實(shí)現(xiàn)使用數(shù)學(xué)模型刻畫負(fù)載特性和系統(tǒng)行為主要用于系統(tǒng)性能的粗略評(píng)估各種測試的驗(yàn)證從理論的角度促進(jìn)評(píng)測技術(shù)的發(fā)展分析建摸AnalysisModeling系統(tǒng)和負(fù)載均使用76分析中涉及的主要數(shù)學(xué)概念隨機(jī)過程隨機(jī)變量隨機(jī)過程馬爾可夫鏈排隊(duì)模型排隊(duì)的基本形式排隊(duì)分析自相似模型自相似現(xiàn)象自相似數(shù)據(jù)傳輸自相似性的性能影響自相似傳輸?shù)漠a(chǎn)生和性能評(píng)價(jià)Hurst參數(shù)分析中涉及的主要數(shù)學(xué)概念隨機(jī)過程77性能評(píng)測中涉及的主要內(nèi)容負(fù)載workload、基準(zhǔn)程序Benchmark性能指標(biāo)performancemetrics測量measurement模擬simulation分析analysis監(jiān)控Monitor優(yōu)化Optimization性能評(píng)測中涉及的主要內(nèi)容負(fù)載workload、基準(zhǔn)程序Ben78監(jiān)控監(jiān)控方法實(shí)時(shí)、日志監(jiān)控工具Windows：perfmonLinux:vmstatiostatnetstatsar監(jiān)控的正確性、小負(fù)荷監(jiān)控監(jiān)控方法79性能分析和優(yōu)化性能調(diào)試是一件嚴(yán)肅的事情，不要對(duì)系統(tǒng)的各種參數(shù)進(jìn)行隨意的改動(dòng)一次只對(duì)某個(gè)領(lǐng)域進(jìn)行性能調(diào)試，例如對(duì)CPU的使用情況進(jìn)行分析