1、軟件性能測(cè)試,山東省軟件評(píng)測(cè)中心 韓明軍 2006年10月,內(nèi)容概要,1. 性 能 測(cè) 試 介 紹 2. 性 能 測(cè) 試 過(guò) 程 3. 性 能 測(cè) 試 舉 例,1. 性能測(cè)試介紹,1.1 什么是軟件性能 1.2 性能指標(biāo)介紹 1.3 什么是性能測(cè)試 1.4 性能測(cè)試類(lèi)型,1.1 什么是軟件性能,系統(tǒng)的性能是個(gè)很大的概念，覆蓋面非常廣泛，對(duì)一個(gè)軟件系統(tǒng)而言，包括執(zhí)行效率、資源占用、穩(wěn)定性、安全性、兼容性、可擴(kuò)展性、可靠性等等。,用戶(hù)視角的軟件性能 管理員視角的軟件性能 產(chǎn)品開(kāi)發(fā)人員視角的軟件性能,1.1 什么是軟件性能,1.1.1 用戶(hù)視角的軟件性能 從用戶(hù)角度來(lái)說(shuō)，軟件性能就是軟件對(duì)用戶(hù)操作的

2、響應(yīng)時(shí)間。,1.1 什么是軟件性能,1.1.2 管理員視角的軟件性能 系統(tǒng)的響應(yīng)時(shí)間； 系統(tǒng)運(yùn)行時(shí)服務(wù)器的狀態(tài)，如CPU利用情況、內(nèi)存使用情況等； 系統(tǒng)是否能夠?qū)崿F(xiàn)擴(kuò)展； 系統(tǒng)支持多少用戶(hù)訪問(wèn)； 系統(tǒng)性能可能的瓶頸在哪里； 系統(tǒng)是否支持7*24小時(shí)的業(yè)務(wù)訪問(wèn)。,1.1 什么是軟件性能,1.1.3 產(chǎn)品開(kāi)發(fā)人員視角的軟件性能 用戶(hù)關(guān)心的響應(yīng)時(shí)間； 管理員關(guān)心的系統(tǒng)可擴(kuò)展性等； 架構(gòu)設(shè)計(jì)是否合理； 數(shù)據(jù)庫(kù)設(shè)計(jì)是否合理； 代碼是否存在性能方面的問(wèn)題； 系統(tǒng)中是否有不合理的內(nèi)存使用方式。,1.2 性能指標(biāo)介紹,并發(fā)用戶(hù)數(shù) 響應(yīng)時(shí)間 吞吐量 資源利用率,1.2.1 并發(fā)用戶(hù)數(shù),并發(fā)用戶(hù)數(shù)是指在某一給定時(shí)

3、間內(nèi)，某個(gè)特定點(diǎn)上進(jìn)行會(huì)話操作的用戶(hù)數(shù)。,1.2.2 響應(yīng)時(shí)間,響應(yīng)時(shí)間指的是客戶(hù)端發(fā)出請(qǐng)求到得到響應(yīng)的整個(gè)過(guò)程所經(jīng)歷的時(shí)間。,1.2.3 吞吐量,吞吐量是指單位時(shí)間內(nèi)系統(tǒng)處理的客戶(hù)請(qǐng)求的數(shù)量，直接體現(xiàn)軟件系統(tǒng)的性能承載能力。 一般來(lái)說(shuō)，吞吐量用請(qǐng)求數(shù)/秒或頁(yè)面數(shù)/秒來(lái)衡量，從業(yè)務(wù)的角度，吞吐量也可以用訪問(wèn)人數(shù)/天或處理的業(yè)務(wù)數(shù)/小時(shí)等單位來(lái)衡量。從網(wǎng)絡(luò)的角度來(lái)說(shuō)，也可以用字節(jié)數(shù)/天等單位來(lái)考察網(wǎng)絡(luò)流量。,1.2.4 資源利用率,資源利用率是指系統(tǒng)資源的使用程度，比如服務(wù)器的CPU利用率、內(nèi)存利用率、磁盤(pán)利用率、網(wǎng)絡(luò)帶寬利用率等。,1.3 什么是性能測(cè)試,性能測(cè)試主要是通過(guò)自動(dòng)化的測(cè)試工具模擬

4、多種正常、峰值以及異常負(fù)載條件來(lái)對(duì)系統(tǒng)的各項(xiàng)性能指標(biāo)進(jìn)行的一種測(cè)試。,1.4 性能測(cè)試類(lèi)型,負(fù)載測(cè)試 壓力測(cè)試 疲勞強(qiáng)度測(cè)試,1.4.1 負(fù)載測(cè)試,負(fù)載測(cè)試：主要用于描述常規(guī)的性能測(cè)試，通過(guò)模擬生產(chǎn)運(yùn)行的業(yè)務(wù)壓力和使用場(chǎng)景組合來(lái)測(cè)試系統(tǒng)的性能是否滿(mǎn)足生產(chǎn)要求。 通俗的說(shuō)，這種測(cè)試方法就是要在特定的運(yùn)行條件下驗(yàn)證系統(tǒng)的能力狀況。,1.4.2 壓力測(cè)試,壓力測(cè)試：對(duì)系統(tǒng)不斷施加壓力的測(cè)試，是通過(guò)確定一個(gè)系統(tǒng)的瓶頸或者不能接收用戶(hù)請(qǐng)求的性能點(diǎn)，來(lái)獲得系統(tǒng)能提供的最大的服務(wù)級(jí)別的測(cè)試。通俗地講，壓力測(cè)試是為了發(fā)現(xiàn)在什么條件下應(yīng)用程序的性能會(huì)變得不可接受。,1.4.2 壓力測(cè)試,用戶(hù)量壓力測(cè)試 數(shù)據(jù)量壓

5、力測(cè)試,1.4.3 疲勞強(qiáng)度測(cè)試,疲勞強(qiáng)度測(cè)試通常是采用系統(tǒng)穩(wěn)定運(yùn)行情況下能夠支持的最大并發(fā)用戶(hù)數(shù)或 者日常運(yùn)行用戶(hù)數(shù)，持續(xù)執(zhí)行一段時(shí)間業(yè)務(wù)，通過(guò)綜合分析交易執(zhí)行指標(biāo)和資源監(jiān)控指標(biāo)來(lái)確定系統(tǒng)處理最大工作量強(qiáng)度性能的過(guò)程。 疲勞強(qiáng)度測(cè)試可以反映出系統(tǒng)的性能問(wèn)題，例如內(nèi)存泄漏等。,2. 性能測(cè)試過(guò)程,測(cè)試需求分析 制定測(cè)試策略 制定測(cè)試方案 執(zhí)行測(cè)試方案 測(cè)試結(jié)果分析 編寫(xiě)測(cè)試報(bào)告,2.1 測(cè)試需求分析,測(cè)試需求分析主要有以下的幾個(gè)關(guān)鍵點(diǎn)： 測(cè)試的目的是什么 性能符合性驗(yàn)證：驗(yàn)證是否滿(mǎn)足應(yīng)用的需要。 性能能力驗(yàn)證：確定性能極限、是否存在性能瓶頸。 性能調(diào)優(yōu)：對(duì)系統(tǒng)的性能進(jìn)行調(diào)試、優(yōu)化。,2.1 測(cè)

6、試需求分析,測(cè)試要素分析： 用戶(hù)數(shù)量 測(cè)試執(zhí)行的功能 用戶(hù)分布（即執(zhí)行每種功能的用戶(hù)數(shù)） 硬件環(huán)境（包括網(wǎng)絡(luò)環(huán)境） 軟件環(huán)境 數(shù)據(jù)量 其它分析 系統(tǒng)運(yùn)行中所出現(xiàn)的問(wèn)題有什么特征或規(guī)律 疲勞測(cè)試執(zhí)行時(shí)間多少 性能需求的指標(biāo)是什么等,2.2 制定測(cè)試策略,測(cè)試目的不同，則相應(yīng)的測(cè)試策略不同。 性能符合性驗(yàn)證負(fù)載測(cè)試、疲勞強(qiáng)度測(cè)試。 性能能力驗(yàn)證壓力測(cè)試、疲勞強(qiáng)度測(cè)試。 性能調(diào)優(yōu)測(cè)試-調(diào)整-測(cè)試。負(fù)載測(cè)試、壓力測(cè)試、疲勞強(qiáng)度測(cè)試。,2.3 制定測(cè)試方案,測(cè)試需求 測(cè)試策略 測(cè)試場(chǎng)景 測(cè)試環(huán)境 測(cè)試準(zhǔn)備 人員及時(shí)間安排 問(wèn)題與對(duì)策,2.4 執(zhí)行測(cè)試方案,搭建測(cè)試環(huán)境 錄制腳本、編輯腳本 布置測(cè)試場(chǎng)景

7、執(zhí)行測(cè)試場(chǎng)景,2.5 測(cè)試結(jié)果分析,性能符合性驗(yàn)證：查看測(cè)試結(jié)果是否滿(mǎn)足要求，比如響應(yīng)時(shí)間、資源利用率、吞吐量等等。 性能能力驗(yàn)證：查看測(cè)試結(jié)果是否滿(mǎn)足要求，記錄軟件系統(tǒng)的性能變化曲線。 對(duì)于確定是否存在性能瓶頸，首先判斷是否存在硬件（包括網(wǎng)絡(luò)）瓶頸問(wèn)題，若不存在硬件瓶頸問(wèn)題，則按照應(yīng)用軟件到系統(tǒng)軟件（應(yīng)用服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器、操作系統(tǒng)）的順序進(jìn)行分析，確定瓶頸點(diǎn)。 性能調(diào)優(yōu)：同性能能力驗(yàn)證確定性能瓶頸分析方法。,2.5 測(cè)試結(jié)果分析,硬件瓶頸分析方法 內(nèi)存分析方法 處理器分析方法 磁盤(pán)I/O分析方法 網(wǎng)絡(luò)分析方法,2.5 測(cè)試結(jié)果分析,內(nèi)存分析方法 1.首先查看可用內(nèi)存（MemoryAvai

8、lable Mbytes）計(jì)數(shù)器指標(biāo)。若值較小則可能有內(nèi)存問(wèn)題，需進(jìn)一步分析。 2.注意Pages/sec、Pages Read/sec和Page Faults/sec計(jì)數(shù)器的值。 Pages/sec和Page Faults/sec的值持續(xù)很高，很可能內(nèi)存問(wèn)題，若Pages Read/sec的值超過(guò)5，則可判斷存在內(nèi)存問(wèn)題。 3.根據(jù)Physical Disk計(jì)數(shù)器的值分析性能瓶頸。如果磁盤(pán)的Average Disk Queue Length計(jì)數(shù)器增加的同時(shí)Pages Read/sec并未降低，則可判斷內(nèi)存有問(wèn)題。,2.5 測(cè)試結(jié)果分析,處理器分析方法 1.首先查看System%Total P

9、rocessor Time計(jì)數(shù)器的值。該值體現(xiàn)的是CPU的平均利用率，若超過(guò)90%，則說(shuō)明存在處理器方面的瓶頸。 2.其次查看每個(gè)CPU的Processor%User Time計(jì)數(shù)器的值。若應(yīng)用服務(wù)器的%User Time值較大，可以考慮是否能通過(guò)算法優(yōu)化等方法降低這個(gè)值。若數(shù)據(jù)庫(kù)服務(wù)器的%User Time值較大，可考慮對(duì)數(shù)據(jù)庫(kù)系統(tǒng)進(jìn)行優(yōu)化。 3.查看SystemProcessor Queue Length計(jì)數(shù)器的值。當(dāng)該值大于CPU數(shù)量的總數(shù)+1時(shí)，說(shuō)明存在處理器方面的問(wèn)題。,2.5 測(cè)試結(jié)果分析,磁盤(pán)I/O分析方法 1.查看%Disk Time計(jì)數(shù)器的值。該值較大，則可能存在磁盤(pán)瓶頸問(wèn)題

10、。 2.與ProcessorPrivileged Time合并進(jìn)行分析。若%Disk Time值較大，而ProcessorPrivileged Time的值適中，則可判斷存在磁盤(pán)問(wèn)題。若ProcessorPrivileged Time較大，持續(xù)超過(guò)80%，則可能是內(nèi)存泄漏。 3.根據(jù)Disk sec/Transfer進(jìn)行分析。該值超過(guò)60ms，則磁盤(pán)存在問(wèn)題。,2.5 測(cè)試結(jié)果分析,網(wǎng)絡(luò)分析方法 1.查看Network Interface Bytes Total/sec計(jì)數(shù)器的值。用Bytes Total/sec計(jì)數(shù)器的值和網(wǎng)絡(luò)的帶寬進(jìn)行比較，若超過(guò)50%，則說(shuō)明網(wǎng)絡(luò)存在性能瓶頸問(wèn)題。,2.5

11、 測(cè)試結(jié)果分析,軟件瓶頸分析方法 分析事務(wù)響應(yīng)時(shí)間、吞吐量，確定是否存在性能問(wèn)題，若發(fā)現(xiàn)存在性能問(wèn)題，則找出響應(yīng)時(shí)間不符合要求或者出現(xiàn)多個(gè)失敗的事務(wù)，對(duì)其進(jìn)行分解，然后對(duì)其進(jìn)行網(wǎng)頁(yè)細(xì)分，以確定影響性能的元素。,2.6 編寫(xiě)測(cè)試報(bào)告,測(cè)試指標(biāo)：描述與測(cè)試場(chǎng)景對(duì)應(yīng)的事務(wù)平均響應(yīng)時(shí)間、事務(wù)吞吐率、資源消耗指標(biāo)、運(yùn)行的用戶(hù)數(shù)等信息。 結(jié)果分析與總結(jié)：根據(jù)測(cè)試目標(biāo)，描述最后分析得到的結(jié)果，并給出相應(yīng)的建議。,3. 性能測(cè)試舉例,性能測(cè)試工具介紹 性能測(cè)試舉例,3.1 性能測(cè)試工具介紹,常見(jiàn)性能測(cè)試工具介紹 性能測(cè)試工具的選擇,3.1.1 常見(jiàn)性能測(cè)試工具,CompuWare 公司的QALoad； Mer

12、cury Interactive公司的LoadRunner； Microsoft公司的WAS ； RadView公司的WebLoad ； IBM公司的RPT ； 開(kāi)源工具：OPENSTA等。,QALoad,1、簡(jiǎn)介 QALoad模擬成百上千的用戶(hù)并發(fā)執(zhí)行關(guān)鍵業(yè)務(wù)而完成對(duì)應(yīng)用程序的測(cè)試，并針對(duì)所發(fā)現(xiàn)問(wèn)題對(duì)系統(tǒng)性能進(jìn)行優(yōu)化，確保應(yīng)用的成功部署。 QALoad不單單測(cè)試WEB應(yīng)用，還可以測(cè)試一些后臺(tái)的東西，比如SQL Server等，只要是它支持的協(xié)議，都可以測(cè)試。 2、特征 1）自動(dòng)捕獲實(shí)際執(zhí)行過(guò)程，自動(dòng)生成測(cè)試腳本； 2）通過(guò)控制臺(tái)控制各個(gè)Agent，進(jìn)行腳本分配； 3）應(yīng)用廣泛，支持多種協(xié)議，

13、如DB2、ODBC、WWW、Winsock等等。,LoadRunner,1、簡(jiǎn)介 LoadRunner 是一種預(yù)測(cè)系統(tǒng)行為和性能的負(fù)載測(cè)試工具。通過(guò)模擬上千萬(wàn)用戶(hù)實(shí)施并發(fā)負(fù)載及實(shí)時(shí)性能檢測(cè)來(lái)確認(rèn)和查找問(wèn)題，能夠?qū)φ麄€(gè)企業(yè)架構(gòu)進(jìn)行測(cè)試。通過(guò)使用Loadrunner，企業(yè)能夠最大限度的縮短測(cè)試時(shí)間，優(yōu)化性能和加速應(yīng)用系統(tǒng)的發(fā)布周期。LoadRunner 能支持廣范的協(xié)議和技術(shù)，功能比較強(qiáng)大，可以為特殊環(huán)境提供特殊的解決方案。 2、特征 ）輕松創(chuàng)建虛擬用戶(hù)； ）創(chuàng)建真實(shí)的負(fù)載； ）定位性能問(wèn)題； ）分析結(jié)果以精確定位問(wèn)題所在； ）重復(fù)測(cè)試保證系統(tǒng)發(fā)布的高性能； ）支持Enterprise Java

14、Beans的測(cè)試； 7 ）支持無(wú)線應(yīng)用協(xié)議； 8 ）支持Media Stream應(yīng)用。,WAS,、簡(jiǎn)介： WAS-Web Application Stress是由微軟的網(wǎng)站測(cè)試人員所開(kāi)發(fā)，專(zhuān)門(mén)用來(lái)進(jìn)行實(shí)際網(wǎng)站壓力測(cè)試的一套工具。透過(guò)這套功能強(qiáng)大的壓力測(cè)試工具，您可以使用少量的Client端計(jì)算機(jī)仿真大量用戶(hù)上線對(duì)網(wǎng)站服務(wù)所可能造成的影響。 、特征： 1）可以數(shù)種不同的方式建立測(cè)試指令：包含以手動(dòng)、錄制瀏覽器操作步驟、或直接錄入IIS的記錄文件、錄入網(wǎng)站的內(nèi)容及錄入其它測(cè)試程序的指令等方式； 2）支持多種客戶(hù)端接口； 3）支持多用戶(hù)：利用多種不同的認(rèn)證方式仿真實(shí)際的情況。,WebLoad,、簡(jiǎn)介

15、： WebLoad是RadView公司推出的一個(gè)性能測(cè)試和分析工具,它讓web應(yīng)用程序開(kāi)發(fā)者自動(dòng)執(zhí)行壓力測(cè)試;WebLoad通過(guò)模擬真實(shí)用戶(hù)的操作,生成壓力負(fù)載來(lái)測(cè)試web的性能。 、特征： ）用戶(hù)創(chuàng)建的是基于javascript的測(cè)試腳本,稱(chēng)為議程agenda,用它來(lái)模擬客戶(hù)的行為,通過(guò)執(zhí)行該腳本來(lái)衡量web應(yīng)用程序在真實(shí)環(huán)境下的性能。 ）如有需要可以在做負(fù)載測(cè)試的同時(shí)，使用服務(wù)器監(jiān)控工具對(duì)服務(wù)器端的內(nèi)容進(jìn)行記錄那樣使負(fù)載測(cè)試更加全面。,RPT,1、簡(jiǎn)介 RPT-Rational Performance Tester是IBM基于Eclipse平臺(tái)開(kāi)發(fā)出來(lái)的最新性能測(cè)試解決方案。它可以有效地幫

16、助測(cè)試人員和性能工程師驗(yàn)證系統(tǒng)的性能，識(shí)別和解決各種性能問(wèn)題。 2、特征 在為性能測(cè)試員和性能優(yōu)化人員提供了前面所提到的各種性能測(cè)試能力以外，它還提供了可視化編輯器，一方面可以使新的測(cè)試人員可以在無(wú)需培訓(xùn)和編程的情況下，即可快速上手完成性能測(cè)試；另一方面，也為需要高級(jí)分析和自定義選項(xiàng)的專(zhuān)家級(jí)測(cè)試人員，提供了對(duì)豐富的測(cè)試信息的訪問(wèn)和定制能力、自定義 Java 代碼插入執(zhí)行能力、自動(dòng)檢測(cè)和處理可變數(shù)據(jù)的能力。,OPENSTA,1、簡(jiǎn)介 OpenSTA- Open System Testing Architecture是專(zhuān)用于B/S結(jié)構(gòu)的、免費(fèi)的性能測(cè)試工具，可以模擬很多用戶(hù)來(lái)訪問(wèn)需要測(cè)試的網(wǎng)站，它

17、是一個(gè)功能強(qiáng)大、自定義設(shè)置功能完備的軟件。 2、特征 1）免費(fèi)、源代碼開(kāi)放； 2）自定義功能設(shè)置大部分需要通過(guò)Script來(lái)完成，因此，在真正的使用這個(gè)軟件之前，必須學(xué)習(xí)好它的Script編寫(xiě)。,3.1.2 性能測(cè)試工具的選擇,創(chuàng)建還是購(gòu)買(mǎi) 如何選擇一種商業(yè)工具, 創(chuàng)建還是購(gòu)買(mǎi), 如何選擇一種商業(yè)工具,需要注意的幾點(diǎn)： 工具是否支持被測(cè)系統(tǒng)運(yùn)行的平臺(tái)（軟硬件環(huán)境、數(shù)據(jù)庫(kù)環(huán)境）； 工具能否支持被測(cè)系統(tǒng)使用的協(xié)議； 工具是否能夠支持我們的特殊要求，如防火墻、負(fù)載均衡等； 工具是否能夠提供對(duì)我們關(guān)心的服務(wù)器類(lèi)型計(jì)數(shù)器的監(jiān)控； 工具的價(jià)格。,3.2 性能測(cè)試舉例,某網(wǎng)站測(cè)試

18、需求 可以支持100個(gè)并發(fā)用戶(hù)執(zhí)行各種查詢(xún)操作，要求各查詢(xún)操作的響應(yīng)時(shí)間在5秒以?xún)?nèi)，服務(wù)器CPU利用率在80%以下。,3.2 性能測(cè)試舉例,性能需求分析 測(cè)試目的：驗(yàn)證是否滿(mǎn)足應(yīng)用要求（性能符合性驗(yàn)證）。 測(cè)試要素： 并發(fā)用戶(hù)數(shù)-100。 測(cè)試功能-儀器信息與使用預(yù)約、大型精密儀器機(jī)組查詢(xún)、交流平臺(tái)搜索、會(huì)展信息搜索。 用戶(hù)分布-平均分配。 數(shù)據(jù)量、軟件、硬件環(huán)境委托方負(fù)責(zé)準(zhǔn)備。,3.2 性能測(cè)試舉例,測(cè)試策略 負(fù)載測(cè)試單項(xiàng)業(yè)務(wù)模式、混合業(yè)務(wù)模式。 說(shuō)明：混合業(yè)務(wù)模式和實(shí)際應(yīng)用是非常接近的，需要進(jìn)行測(cè)試。 對(duì)于單獨(dú)業(yè)務(wù)模式，雖然實(shí)際情況中很難出現(xiàn)，但這是一種極限的情況，也應(yīng)該把這種情況下的測(cè)試結(jié)果呈現(xiàn)給用戶(hù)。,3.2 性能測(cè)試舉例,測(cè)試場(chǎng)景 場(chǎng)景1：100個(gè)用戶(hù)同時(shí)執(zhí)行儀器信息與使用預(yù)約操作。 場(chǎng)景2：100個(gè)用戶(hù)同時(shí)執(zhí)行大型精密儀器機(jī)組查詢(xún)操作。 場(chǎng)景3：