1、性能測試Lite實踐指南性能測試/Lite實踐指南性能測試/Lite實踐指南 PAGE 8 PAGE 8Lite實踐指南訪問Lite控制臺一、 概述大家做性能測試很大程序是想評估被測系統(tǒng)在一定負(fù)載壓力下性能表現(xiàn)如何，而在測試過程中，很多人只是用 并發(fā)用戶數(shù)來衡量系統(tǒng)的性能，沒有考慮其他前提條件，比如響應(yīng)時間；覺得系統(tǒng)能支撐的并發(fā)用戶數(shù)越多，系統(tǒng)的性能就越好；對TPS也不是非常理解，也根本不知道它們之間的關(guān)系。為了更好的選擇合適的虛擬用 戶數(shù)進(jìn)行壓測，需正確理解虛擬用戶數(shù)、TPS、響應(yīng)時間之間的關(guān)系。二、 術(shù)語定義虛擬用戶：性能測試中通過線程或進(jìn)程執(zhí)行腳本來模擬典型用戶訪問系統(tǒng)行為的用戶。TPS

2、: 每秒處理事務(wù)數(shù), 是衡量系統(tǒng)性能的一個非常重要的指標(biāo)。在線用戶（或活躍用戶）：一個時間段內(nèi)，與服務(wù)器保持交互的用戶，也稱為活躍用戶。需與論壇或者QQ上常 見的在線人數(shù)定義區(qū)分，該類系統(tǒng)的在線用戶不一定是活躍用戶，在線只是一種狀態(tài)。但在業(yè)務(wù)類系統(tǒng)中，一般只考慮活躍用戶，可認(rèn)為與在線用戶通用。并發(fā)用戶：表示同一時間與服務(wù)器保持交互的用戶。響應(yīng)時間：簡稱RT,指的是業(yè)務(wù)請求從客戶端發(fā)起到客戶端接收服務(wù)器端響應(yīng)請求完成的時間。思考時間：用戶每個操作后的暫停時間，或者叫操作之間的間隔時間，此時間內(nèi)是不對服務(wù)器產(chǎn)生壓力的。三、 在線用戶數(shù)和并發(fā)用戶數(shù)的區(qū)別下圖中紅色表示訪問首頁操作、黃色表示訪問投票頁

3、面操作、橄欖色表提票提交操作、綠色表色投票統(tǒng)計結(jié)果 查看操作、藍(lán)色表示等待行為。等待行為是什么呢？比如用戶在頁面填寫內(nèi)容、瀏覽頁面信息、瀏覽統(tǒng)計 結(jié)果數(shù)據(jù)，這些用戶在客戶端行為與服務(wù)器無任何交互，對服務(wù)器來說是沒有負(fù)載壓力的。我們可以從圖中看出25個用戶在線訪問投票系統(tǒng)，每個用戶操作流程是:1.訪問首頁,2.瀏覽首頁,3.訪問投票頁面,7.瀏覽統(tǒng)計結(jié)果。其中1,3,5,6操作會與服務(wù)器進(jìn)行交 互，對服務(wù)器形成負(fù)載壓力，而2,4,7操作是用戶在客戶端的行為，并沒有于服務(wù)器進(jìn)行交互，對服務(wù)器沒有任 何壓力。從時間視角1來說，當(dāng)前活躍用戶數(shù)（在線用戶）是25,并發(fā)用戶數(shù)只有7個，為什么呢？因為從當(dāng)前

4、視角來看只 有7個用戶在同時與服務(wù)器進(jìn)行交互，對服務(wù)器形成了負(fù)載壓力，而其他18個用戶都在等待行為狀態(tài)。那么從視角2來看，活躍用戶數(shù)（在線用戶）仍然是25，并發(fā)用戶數(shù)是多少呢？答案是6個。所以我們在虛擬用戶在模擬用戶行為的時候，如果虛擬用戶中包含等待行為的話，那么虛擬用戶數(shù)=在線用戶 數(shù)；不包含等待行為的話虛擬用戶數(shù)=并發(fā)用戶數(shù)。四、 虛擬用戶數(shù)、響應(yīng)時間、TPS之間的關(guān)系在術(shù)語中解釋了TPS是每秒事務(wù)數(shù)，但是事務(wù)是要靠虛擬用戶做出來的，假如1個虛擬用戶在1秒內(nèi)完成1筆事務(wù)，那么TPS明顯就是1；如果某筆業(yè)務(wù)響應(yīng)時間是1ms,那么1個用戶在1秒內(nèi)能完成1000筆事務(wù)，TPS就是1000了；如果

5、某筆業(yè)務(wù)響應(yīng)時間是1s,那么1個用戶在1秒內(nèi)只能完成1筆事務(wù)，要想達(dá)到1000TPS，至少需要1000TPS，1000個用戶也可以產(chǎn)生1000TPS，無非是看響應(yīng)時間快 慢。由此我們可以一個公式： TPS=虛擬用戶數(shù)/響應(yīng)時間通常針對服務(wù)器端的性能評估，以TPS為主來衡量系統(tǒng)的性能，并發(fā)用戶數(shù)為輔來衡量系統(tǒng)的性能，如果必須 要用并發(fā)用戶數(shù)來衡量的話，需要一個前提，那就是交易在多長時間內(nèi)完成，因為在系統(tǒng)負(fù)載不高的情況下，將思考時間(思考時間的值等于交易響應(yīng)時間)加到腳本中，并發(fā)用戶數(shù)基本可以增加一倍，因此用并發(fā)用戶數(shù) 來衡量系統(tǒng)的性能沒太大的意義。五、 施壓策略建議通過很多性能測試案例，發(fā)現(xiàn)不需

6、要用上萬的用戶并發(fā)去進(jìn)行測試，只要系統(tǒng)處理業(yè)務(wù)時間足夠快，幾百個用 戶甚至幾十個用戶就可以達(dá)到目的。另外咨詢很多專家做過的性能測試項目，基本都沒有超過5000用戶并發(fā)。因此對于大型系統(tǒng)、業(yè)務(wù)量非常高、硬件配置足夠多的情況下，5000用戶并發(fā)就足夠了；對于中小型系統(tǒng)，1000用戶并發(fā)就足夠了。在做負(fù)載測試的時候，一般都是按照梯度施壓的方式去增加虛擬用戶數(shù)，而不是在沒有預(yù)估的情況下，一次加 幾萬個用戶，交易失敗率非常高，響應(yīng)時間非常長，已經(jīng)超過了使用者忍受范圍內(nèi)，這樣做沒有多大的意義。六、 總結(jié)系統(tǒng)的性能由TPS決定，跟并發(fā)用戶數(shù)沒有多大關(guān)系。在同樣的TPS下，可以由不同的用戶數(shù)去壓（通 過加思考

7、時間設(shè)置）。系統(tǒng)的最大TPS是一定的（在一個范圍內(nèi)），但并發(fā)用戶數(shù)不一定，可以調(diào)整。建議性能測試的時候，不要設(shè)置過長的思考時間或不設(shè)思考時間，以最壞的情況下對服務(wù)器施壓。一般情況下，大型系統(tǒng)（業(yè)務(wù)量大、機(jī)器多）做壓力測試，5000個用戶并發(fā)就夠了，中小型系統(tǒng)做壓 力測試，1000個用戶并發(fā)就足夠了訪問Lite控制臺訪問Lite控制臺性能測試結(jié)果解讀和分析是一個較復(fù)雜的過程，通常需要從業(yè)務(wù)性能指標(biāo)和監(jiān)控資源性能指標(biāo)不同角度去解讀 和分析。Lite結(jié)果數(shù)據(jù)包含指標(biāo)：在解讀分析結(jié)果之前需理解性能指標(biāo)具體含義：并發(fā)用戶數(shù)：模擬真實業(yè)務(wù)邏輯步驟的虛擬用戶，虛擬用戶模擬的操作步驟都被記錄在虛擬用戶腳本里，

8、腳本 用于描述用戶在場景中執(zhí)行的操作，在Lite測試場景中，線程數(shù)等于并發(fā)用戶數(shù)。TPS：TPS(Transaction Per Second)每秒系統(tǒng)能夠處理的事務(wù)的數(shù)量，它是衡量系統(tǒng)處理能力的重要指標(biāo)。失敗率：執(zhí)行失敗的事務(wù)數(shù)占總執(zhí)行事務(wù)數(shù)的比率。響應(yīng)時間：響應(yīng)時間是指從客戶端發(fā)一個請求開始，到客戶端接收到服務(wù)端返回的響應(yīng)所經(jīng)歷的時間，響應(yīng)時 間由請求發(fā)送時間、網(wǎng)絡(luò)傳輸時間和服務(wù)器處理時間三部分組成。在性能測試結(jié)果分析中，性能場景中事務(wù)的 響應(yīng)時間可以通過監(jiān)控得到，一般均指事務(wù)平均響應(yīng)時間。執(zhí)行事務(wù)數(shù)：場景執(zhí)行期間完成的事務(wù)總數(shù)。失敗事務(wù)數(shù)：場景執(zhí)行期間失敗的事務(wù)總數(shù)。CPU%: CPU資

9、源是指性能測試場景運行的時間段內(nèi)應(yīng)用服務(wù)系統(tǒng)的CPU資源占用率，CPU資源是判斷系統(tǒng)處理能力及應(yīng)用運行是否穩(wěn)定的重要參數(shù)。LOAD: 系統(tǒng)平均負(fù)載指在特定時間間隔內(nèi)運行隊列中的平均進(jìn)程數(shù)。如果一個進(jìn)程滿足以下條件就會位于運行隊列中：它沒有在等待I/O操作的結(jié)果。它沒有主動進(jìn)入等待狀態(tài)，也就是沒有調(diào)用wait。沒有被停止，例如等待終止。內(nèi)存（KB）：系統(tǒng)使用物理內(nèi)存總量，單位為KB。磁盤IO讀/寫(KB/s):磁盤主要用于存取數(shù)據(jù)，因此當(dāng)說到IO操作的時候，就會存在兩種相對應(yīng)的操作，存數(shù)據(jù)的時候?qū)?yīng)的是寫IO操作，取數(shù)據(jù)的時候?qū)?yīng)的是是讀IO操作。性能測試使用讀寫吞吐量（KB）度量磁盤讀寫性 能

10、。入網(wǎng)/出網(wǎng)流量（KB/s）:判斷網(wǎng)絡(luò)連接速度是否是瓶頸，可以用該計數(shù)器的值和目前網(wǎng)絡(luò)的帶寬比較，性能測試使用系統(tǒng)網(wǎng)卡流量（KB）度量網(wǎng)卡性能。Lite測試結(jié)果-概要解讀并發(fā)用戶數(shù)：500個，此并發(fā)用戶等于測試場景配置的線程數(shù)； 208.21個事務(wù)； 失敗率：0.00%，無失敗的事務(wù)，此值等于失敗事務(wù)總數(shù)除以執(zhí)行事務(wù)總數(shù)乘以100%；響應(yīng)時間：173.32ms，表示測試執(zhí)行期間所有事務(wù)處理的平均響應(yīng)時間；結(jié)果概覽描述的是測試場景執(zhí)行時間、壓測機(jī)、以及測試腳本http請求的響應(yīng)狀態(tài)碼，如圖所示，此次結(jié)果中http響應(yīng)碼只包含了2XX類型的，表示請求都成功處理了。http響應(yīng)碼含義:成功200：服

11、務(wù)器已成功處理了請求并提供了請求的網(wǎng)頁。 成功204：服務(wù)器成功處理了請求，但沒有返回任何內(nèi)容。 重定向3xx：需要客戶端采取進(jìn)一步的操作才能完成請求。 客戶端錯誤4xx：表示請求可能出錯，妨礙了服務(wù)器的處理。服務(wù)器錯誤5xx：表示服務(wù)器在處理請求時發(fā)生內(nèi)部錯誤，這些錯誤可能是服務(wù)器本身的錯誤而不是請求出錯。接著是業(yè)務(wù)指標(biāo)結(jié)果明細(xì)數(shù)據(jù)，此結(jié)果里面記錄了各個事務(wù)的明細(xì)業(yè)務(wù)指標(biāo)，包含了事務(wù)在測試期間的平均TPS、平均響應(yīng)時間、成功事務(wù)數(shù)、失敗事務(wù)數(shù)、失敗率。監(jiān)控指標(biāo)結(jié)果數(shù)據(jù)記錄的是Radar監(jiān)控工具采集的服務(wù)器資源指標(biāo)數(shù)據(jù)：CPU%： 此值表示測試期間平均CPU利用率百分百，通常要求在75%以下，

12、超過75%表示CPU此時正在超負(fù)荷運載。Load： 此值表示測試期間系統(tǒng)正在干活的多少的度量，隊列長度。通常要求小于CPU核心數(shù)*2。如果超過此值表示系統(tǒng)運行任務(wù)繁忙。內(nèi)存（KB/s）: 此值表示測試期間系統(tǒng)平均使用物理內(nèi)存使用量。現(xiàn)代的操作系統(tǒng)為了最大利用內(nèi)存，在內(nèi)存中存放了緩存，因此物理內(nèi)存利用率100%并不代表內(nèi)存有瓶頸，衡量系統(tǒng)內(nèi)有瓶頸主要靠SWAP（與虛擬內(nèi)存交 換）交換空間利用率，一般情況下，SWAP交換空間利用率要低于70%,太多的交換將會引起系統(tǒng)性能低下。 磁盤IO讀寫（KB/s）：此值表示測試期間磁盤IO平均每秒讀寫多少KB。阿里云大數(shù)據(jù)平臺/推薦引擎阿里云大數(shù)據(jù)平臺/推薦引

13、擎入網(wǎng)出網(wǎng)流量（KB/s）：此值表示測試期間網(wǎng)卡入網(wǎng)出網(wǎng)流量，可以和網(wǎng)絡(luò)帶寬進(jìn)行比較，判斷網(wǎng)絡(luò)是否有瓶 頸。Lite測試結(jié)果-詳情解讀詳情頁面主要是對業(yè)務(wù)性能指標(biāo)在測試執(zhí)行期間的數(shù)據(jù)進(jìn)行圖像化展示，圖標(biāo)中每個指標(biāo)會每隔10秒輸出一個 采樣數(shù)據(jù)，形成一條趨勢線；圖標(biāo)橫坐標(biāo)為測試執(zhí)行時間，縱坐標(biāo)為業(yè)務(wù)指標(biāo)。通過詳情圖標(biāo)中各個指標(biāo)的趨勢線進(jìn)行關(guān)聯(lián)分析，可以具體看出在什么負(fù)載下（并發(fā)用戶數(shù)）系統(tǒng)處理能力（TPS）怎么樣，用戶體驗（響應(yīng)時間）怎么樣，也可以看出TPS和響應(yīng)時間在測試期間的一個波動情況。Lite測試結(jié)果-監(jiān)控解讀監(jiān)控頁面主要是對系統(tǒng)資源性能指標(biāo)在測試執(zhí)行期間的數(shù)據(jù)進(jìn)行圖像化展示，圖標(biāo)中每個

14、指標(biāo)會每隔10秒輸出 一個采樣數(shù)據(jù)，形成一條趨勢線；圖標(biāo)橫坐標(biāo)為測試執(zhí)行時間，縱坐標(biāo)為被監(jiān)控服務(wù)器資源性能指標(biāo)。 通過監(jiān)控圖標(biāo)中各資源性能指標(biāo)趨勢線觀察測試期間服務(wù)器資源使用情況，包括資源使用峰值、異常波動等。阿里云大數(shù)據(jù)平臺/機(jī)器翻譯阿里云大數(shù)據(jù)平臺/機(jī)器翻譯Lite測試結(jié)果-日志解讀日志頁面記錄測試場景的壓測步驟、壓測日志詳情、標(biāo)準(zhǔn)輸出。其中日志詳情內(nèi)容主要包含用戶業(yè)務(wù)運行相關(guān)日志，如壓測進(jìn)程啟動、業(yè)務(wù)請求開始執(zhí)行時間、狀態(tài)、響應(yīng)內(nèi) 容大小、請求執(zhí)行線程、PTS.Logger.*日志函數(shù)輸出等信息，目前日志詳情只輸出日志內(nèi)容的最后100行；標(biāo)準(zhǔn)輸出內(nèi)容主要包含標(biāo)準(zhǔn)正常輸出和標(biāo)準(zhǔn)錯誤輸出兩部

15、分，標(biāo)準(zhǔn)正常輸出主要包含事務(wù)、print、system.out語句等輸出信息，標(biāo)準(zhǔn)錯誤輸出包含腳本編寫錯誤、運行時異常等輸出信息。訪問Lite控制臺訪問Lite控制臺客戶案例介紹門戶網(wǎng)站性能測試團(tuán)隊經(jīng)歷了一個規(guī)模較大的門戶網(wǎng)站的性能優(yōu)化工作，該網(wǎng)站的開發(fā)和合作涉及多個組織和部門，上 線時間非常緊迫，關(guān)注度也很高；針對時間緊、任務(wù)重、壓力大的情況下，性能測試技術(shù)團(tuán)隊安排兩位專家和 客戶積極合作，進(jìn)行充分的調(diào)研以及緊密的項目實施，加班加點的工作，保證了系統(tǒng)的性能質(zhì)量達(dá)到需求標(biāo)準(zhǔn)，并且在發(fā)布會當(dāng)天進(jìn)行全程護(hù)航，確保了系統(tǒng)穩(wěn)定、高效的運行。詳情下載鏈接： 門戶網(wǎng)站案例文檔金融云某互聯(lián)網(wǎng)金融客戶隨著業(yè)務(wù)的迅猛發(fā)展，在高峰時間段，系統(tǒng)反應(yīng)非常慢、經(jīng)常沒有響應(yīng)甚至出現(xiàn)500的錯誤；投訴之多，導(dǎo)致技術(shù)部門壓力非常大。通過性能測試壓測及調(diào)優(yōu)專家服務(wù)，使系統(tǒng)的性能得到極大的提升，滿足業(yè)務(wù)發(fā)展的需要。詳情下載鏈接： 金融云案例文檔電商云某電商云客戶需要在雙11在阿里云上搞大促，需要臨時擴(kuò)容他們的機(jī)器來支持100W的QPS；每秒100W的請 求，超過了2013年雙12的淘寶大秒系統(tǒng)的峰值42萬QPS。此需求對被測系統(tǒng)和壓力環(huán)境系統(tǒng)都具有極大的技術(shù) 挑戰(zhàn)