1、軟件性能測(cè)試與軟件性能測(cè)試與LoadRunner實(shí)戰(zhàn)教程實(shí)戰(zhàn)教程參考資料參考資料第1章 性能測(cè)試基礎(chǔ)及性能指標(biāo)概述o 1.1 典型的性能測(cè)試場(chǎng)景o 1.2 不同群體眼中的性能測(cè)試o 1.3 功能測(cè)試與性能測(cè)試的關(guān)系o 1.4 性能測(cè)試的概念及其分類o 1.5 性能指標(biāo)及相關(guān)計(jì)算公式1.1 典型的性能測(cè)試場(chǎng)景o 舉例一：某個(gè)產(chǎn)品要發(fā)布了，需要對(duì)全市的用戶做集中培訓(xùn)。通常在進(jìn)行培訓(xùn)的時(shí)候，老師講解完成一個(gè)業(yè)務(wù)以后，被培訓(xùn)用戶會(huì)按照老師講解的實(shí)例同步操作前面講過的業(yè)務(wù)操作。這樣存在用戶并發(fā)的問題，我們?cè)谂嘤?xùn)之前需要考慮被培訓(xùn)用戶的人數(shù)在場(chǎng)景中設(shè)計(jì)酌情設(shè)置并發(fā)用戶數(shù)量。1.1 典型的性能測(cè)試場(chǎng)景o 舉

2、例二：同一系統(tǒng)可以采用兩種構(gòu)架：Java、.Net，決定用哪個(gè)。同樣的系統(tǒng)用不同的語言、框架實(shí)現(xiàn)效果也會(huì)有所不同。為了系統(tǒng)能夠有更好的性能，在系統(tǒng)實(shí)現(xiàn)前期，可以考慮設(shè)計(jì)一個(gè)小的Demo，設(shè)計(jì)同樣的場(chǎng)景，實(shí)際考察不同語言、不同框架之間的性能差異，而后選擇性能好的語言、框架開發(fā)軟件產(chǎn)品。1.1 典型的性能測(cè)試場(chǎng)景o 舉例三：一門戶網(wǎng)站能夠支持多少用戶并發(fā)操作（注冊(cè)、寫博客、看照片、灌水)。一個(gè)門戶網(wǎng)站應(yīng)該是經(jīng)得起考驗(yàn)的。根據(jù)預(yù)期的用戶量設(shè)計(jì)相應(yīng)用戶的并發(fā)量，同時(shí)一個(gè)好的網(wǎng)站由于隨著用戶的逐漸增長(zhǎng)以及推廣的深入，訪問量可能會(huì)成數(shù)量級(jí)的增長(zhǎng)。考慮門戶網(wǎng)站這些方面的特點(diǎn)，在進(jìn)行性能測(cè)試的時(shí)候也需要考慮可

3、靠性測(cè)試、失敗測(cè)試以及安全性測(cè)試等。1.2 不同群體眼中的性能測(cè)試o 系統(tǒng)用戶群體眼中的性能測(cè)試o 軟件開發(fā)群體眼中的性能測(cè)試o 系統(tǒng)維護(hù)群體眼中的性能測(cè)試1.3 功能測(cè)試與性能測(cè)試的關(guān)系o 功能測(cè)試和性能測(cè)試是相輔相成的，對(duì)于一款優(yōu)秀的軟件產(chǎn)品來講，它們是不可減少的2個(gè)重要測(cè)試環(huán)節(jié)；o 要因地制宜，結(jié)合實(shí)際需求，選擇合適的時(shí)間點(diǎn)進(jìn)行，減少不必要的人力、物力浪費(fèi)，才能實(shí)現(xiàn)利益最大化。1.4 性能測(cè)試的概念及其分類o 性能測(cè)試o 負(fù)載測(cè)試o 壓力測(cè)試o 配置測(cè)試o 并發(fā)測(cè)試o 容量測(cè)試o 可靠性測(cè)試o 失敗測(cè)試1.4 性能測(cè)試的概念及其分類o 系統(tǒng)的性能是一個(gè)很大的概念，覆蓋面非常廣泛，對(duì)一個(gè)軟

4、件系統(tǒng)而言，包括：執(zhí)行效率、資源占用、系統(tǒng)穩(wěn)定性、安全性、兼容性、可靠性、可擴(kuò)展性等。性能測(cè)試是為描述測(cè)試對(duì)象與性能相關(guān)的特征并對(duì)其進(jìn)行評(píng)價(jià)，而實(shí)施和執(zhí)行的一類測(cè)試。它主要通過自動(dòng)化的測(cè)試工具模擬多種正常、峰值以及異常負(fù)載條件來對(duì)系統(tǒng)的各項(xiàng)性能指標(biāo)進(jìn)行測(cè)試。通常大家把性能測(cè)試、負(fù)載測(cè)試、壓力測(cè)試等統(tǒng)稱為性能測(cè)試。1.4 性能測(cè)試的概念及其分類o 負(fù)載測(cè)試：通過逐步增加系統(tǒng)負(fù)載，測(cè)試系統(tǒng)性能的變化，并最終確定在滿足系統(tǒng)的性能指標(biāo)情況下，系統(tǒng)所能夠承受的最大負(fù)載量的測(cè)試。簡(jiǎn)而言之，負(fù)載測(cè)試是通過逐步加壓的方式來確定系統(tǒng)的處理能力、確定系統(tǒng)能夠承受的各項(xiàng)閥值。例如：逐步加壓，從而得到“響應(yīng)時(shí)間不超過

5、10秒”、“服務(wù)器平均CPU利用率低于85%”等指標(biāo)的閾值。1.4 性能測(cè)試的概念及其分類o 系統(tǒng)的性能是一個(gè)很大的概念，覆蓋面非常廣泛，對(duì)一個(gè)軟件系統(tǒng)而言，包括：執(zhí)行效率、資源占用、系統(tǒng)穩(wěn)定性、安全性、兼容性、可靠性、可擴(kuò)展性等。性能測(cè)試是為描述測(cè)試對(duì)象與性能相關(guān)的特征并對(duì)其進(jìn)行評(píng)價(jià)，而實(shí)施和執(zhí)行的一類測(cè)試。它主要通過自動(dòng)化的測(cè)試工具模擬多種正常、峰值以及異常負(fù)載條件來對(duì)系統(tǒng)的各項(xiàng)性能指標(biāo)進(jìn)行測(cè)試。通常大家把性能測(cè)試、負(fù)載測(cè)試、壓力測(cè)試等統(tǒng)稱為性能測(cè)試。1.4 性能測(cè)試的概念及其分類o 壓力測(cè)試：通過逐步增加系統(tǒng)負(fù)載，測(cè)試系統(tǒng)性能的變化，并最終確定在什么負(fù)載條件下系統(tǒng)性能處于失效狀態(tài)，并來獲

6、得系統(tǒng)能提供的最大服務(wù)級(jí)別的測(cè)試。壓力測(cè)試是逐步增加負(fù)載，使系統(tǒng)某些資源達(dá)到飽和甚至失效。1.4 性能測(cè)試的概念及其分類o 配置測(cè)試：主要是通過對(duì)被測(cè)試軟件的軟硬件配置的測(cè)試，找到系統(tǒng)各項(xiàng)資源的最優(yōu)分配原則。配置測(cè)試能充分利用有限的軟硬件資源，發(fā)揮系統(tǒng)的最佳處理能力，同時(shí)可以將其同其它性能測(cè)試類型聯(lián)合應(yīng)用，從而為系統(tǒng)調(diào)優(yōu)提供重要依據(jù)。1.4 性能測(cè)試的概念及其分類o 并發(fā)測(cè)試：測(cè)試多個(gè)用戶同時(shí)訪問同一個(gè)應(yīng)用、同一個(gè)模塊或者數(shù)據(jù)記錄時(shí)是否存在死鎖或者其他性能問題，幾乎所有的性能測(cè)試都會(huì)涉及一些并發(fā)測(cè)試。 因并發(fā)測(cè)試對(duì)時(shí)間的要求比較苛刻，通常并發(fā)用戶的模擬都是借助于工具，采用多線程或多進(jìn)程方式來模

7、擬多個(gè)虛擬用戶的并發(fā)性操作，在后續(xù)講LoadRunner 工具時(shí)，有一個(gè)集合點(diǎn)的概念，它就是用來模擬并發(fā)的，您可以在VuGen中設(shè)置集合點(diǎn)，在Controller中設(shè)置其對(duì)應(yīng)的策略，來模擬用例設(shè)計(jì)的場(chǎng)景。1.4 性能測(cè)試的概念及其分類o 容量測(cè)試：在一定的軟、硬件條件下，在數(shù)據(jù)庫中構(gòu)造不同數(shù)量級(jí)的記錄數(shù)量，通過運(yùn)行一種或多種業(yè)務(wù)場(chǎng)景在一定虛擬用戶數(shù)量的情況下，獲取不同數(shù)量級(jí)別的性能指標(biāo)從而得到數(shù)據(jù)庫能夠處理的最大會(huì)話能力、最大容量等。確定系統(tǒng)可處理同時(shí)在線的最大用戶數(shù)，通常和數(shù)據(jù)庫有關(guān)。1.4 性能測(cè)試的概念及其分類o 可靠性測(cè)試：通過給系統(tǒng)加載一定的業(yè)務(wù)壓力（如CPU資源在70%90%的使用

8、率）的情況下，運(yùn)行一段時(shí)間，檢查系統(tǒng)是否穩(wěn)定。因?yàn)檫\(yùn)行時(shí)間較長(zhǎng)，通常可以測(cè)試出系統(tǒng)是否有內(nèi)存泄露等問題。o 通常我們不可能做一次可靠性測(cè)試執(zhí)行年時(shí)間，所以多數(shù)情況下，可靠性測(cè)試是執(zhí)行一段時(shí)間，如：24小時(shí)、324小時(shí)或724小時(shí)來模擬長(zhǎng)時(shí)間運(yùn)行。1.4 性能測(cè)試的概念及其分類o 失敗測(cè)試：對(duì)于有冗余備份和負(fù)載均衡的系統(tǒng)，通過這樣的測(cè)試來檢驗(yàn)如果系統(tǒng)局部發(fā)生故障用戶是否能夠繼續(xù)使用系統(tǒng)，用戶受到多大的影響。如：幾臺(tái)機(jī)器做均衡負(fù)載，一臺(tái)或幾臺(tái)機(jī)器垮掉后系統(tǒng)能夠承受的壓力。1.5 性能指標(biāo)及相關(guān)計(jì)算公式o 性能指標(biāo)n 吞吐量n 并發(fā)數(shù)n 思考時(shí)間n 響應(yīng)時(shí)間n 點(diǎn)擊數(shù)n 資源利用率n 網(wǎng)絡(luò)吞吐量n

9、錯(cuò)誤率n 系統(tǒng)穩(wěn)定性1.5 性能指標(biāo)及相關(guān)計(jì)算公式o 吞吐量（Throughput）：指的是單位時(shí)間內(nèi)處理的客戶端請(qǐng)求數(shù)量，直接體現(xiàn)軟件系統(tǒng)的性能承載能力。通常情況下，吞吐量用“請(qǐng)求數(shù)/秒”或者“頁面數(shù)/秒”來衡量。從業(yè)務(wù)角度來看，吞吐量也可以用“業(yè)務(wù)數(shù)/小時(shí)”、“業(yè)務(wù)數(shù)/天”、“訪問人數(shù)/天”、“頁面訪問量/天”來衡量。從網(wǎng)絡(luò)角度來看，還可以用“字節(jié)數(shù)/小時(shí)”、“字節(jié)數(shù)/天”等來衡量網(wǎng)絡(luò)的流量。1.5 性能指標(biāo)及相關(guān)計(jì)算公式o 并發(fā)（Concurrency）：它最簡(jiǎn)單的描述就是指多個(gè)同時(shí)發(fā)生的業(yè)務(wù)操作。例如，100個(gè)用戶同時(shí)單擊登錄頁面的“登錄”按鈕操作。通常，應(yīng)用系統(tǒng)會(huì)隨著用戶同時(shí)應(yīng)用某個(gè)

10、具體的模塊，而導(dǎo)致資源的爭(zhēng)用問題，例如，50個(gè)用戶同時(shí)執(zhí)行統(tǒng)計(jì)分析的操作，由于統(tǒng)計(jì)業(yè)務(wù)涉及很多數(shù)據(jù)提取以及科學(xué)計(jì)算問題，所以這個(gè)時(shí)候很有可能內(nèi)存和CPU會(huì)出現(xiàn)瓶頸。并發(fā)性測(cè)試描述的是多個(gè)客戶端同時(shí)向服務(wù)器發(fā)出請(qǐng)求，考察服務(wù)器端承受能力的一種性能測(cè)試方式。1.5 性能指標(biāo)及相關(guān)計(jì)算公式o 思考時(shí)間（Think Time）：它就是在錄制腳本過程中，每個(gè)請(qǐng)求之間的時(shí)間間隔，也就是操作過程中停頓的時(shí)間。o 為了真實(shí)地描述用戶操作的實(shí)際場(chǎng)景，在錄制腳本的過程中，通常，LoadRunner也會(huì)錄制這些思考時(shí)間，在腳本中l(wèi)r_think_time()函數(shù)就是實(shí)現(xiàn)前面所說的思考時(shí)間，它實(shí)現(xiàn)了在兩個(gè)請(qǐng)求之間的停

11、頓。1.5 性能指標(biāo)及相關(guān)計(jì)算公式o 響應(yīng)時(shí)間指用戶從客戶端發(fā)起一個(gè)請(qǐng)求開始，到客戶端接收到從服務(wù)器端返回結(jié)果的響應(yīng)結(jié)束，結(jié)果信息展現(xiàn)在客戶端，整個(gè)過程所耗費(fèi)的時(shí)間。1.5 性能指標(biāo)及相關(guān)計(jì)算公式o 點(diǎn)擊數(shù)是衡量Web服務(wù)器處理能力的一個(gè)重要指標(biāo)。它的統(tǒng)計(jì)是客戶端向Web服務(wù)器發(fā)了多少次HTTP請(qǐng)求計(jì)算的。這里需要說明的是，點(diǎn)擊數(shù)不是通常一般人認(rèn)為的訪問一個(gè)頁面就是次點(diǎn)擊數(shù)，點(diǎn)擊數(shù)是該頁面包含的元素（如：圖片、鏈接、框架等）向Web服務(wù)器發(fā)出的請(qǐng)求數(shù)數(shù)量。通常我們也用每秒點(diǎn)擊次數(shù)（Hits per Second）指標(biāo)來衡量Web服務(wù)器的處理能力。1.5 性能指標(biāo)及相關(guān)計(jì)算公式o 資源利用率，是

12、指系統(tǒng)各種資源的使用情況，一般用“資源的使用量/總的資源可用量100%”形成資源利用率的數(shù)據(jù)。o 通常，系統(tǒng)資源的利用率，結(jié)合不同行業(yè)系統(tǒng)的需求也有所不同，例如，在銀行行業(yè)對(duì)系統(tǒng)的穩(wěn)定要求比較嚴(yán)格，結(jié)合CPU利用率來講，其要求不高于60，而其他行業(yè)的系統(tǒng)要求不是很嚴(yán)格CPU利用率不高80%即可。1.5 性能指標(biāo)及相關(guān)計(jì)算公式o 網(wǎng)絡(luò)吞吐量是指在網(wǎng)絡(luò)工作正常的情況下單位時(shí)間內(nèi)通過的網(wǎng)絡(luò)的數(shù)據(jù)數(shù)量。通常，該指標(biāo)用于衡量系統(tǒng)對(duì)于網(wǎng)絡(luò)設(shè)備或鏈路傳輸能力的需求。當(dāng)網(wǎng)絡(luò)吞吐量指標(biāo)接近網(wǎng)絡(luò)設(shè)備或鏈路最大傳輸能力時(shí)，則需要考慮升級(jí)網(wǎng)絡(luò)設(shè)備，以提升網(wǎng)絡(luò)處理吞吐量。1.5 性能指標(biāo)及相關(guān)計(jì)算公式o 錯(cuò)誤率指系統(tǒng)在負(fù)載情況下，失敗交易的概率。錯(cuò)誤率(失敗交易數(shù)/交易總數(shù))*100%。不同系統(tǒng)對(duì)錯(cuò)誤率的要求不同，但一般不超出千分之五。o 穩(wěn)定性較好的系統(tǒng)，其錯(cuò)誤率應(yīng)該由超時(shí)引起，即為超時(shí)率。1.5 性能指標(biāo)及相關(guān)計(jì)算公式o 系統(tǒng)穩(wěn)定性：基于系統(tǒng)本身的重要性，通常要求非常高，要求36524小時(shí)無故障運(yùn)行，通常系統(tǒng)穩(wěn)定性關(guān)注的內(nèi)容是穩(wěn)定運(yùn)行時(shí)間，該指標(biāo)表示系統(tǒng)