'.性能測試規(guī)范神州數(shù)碼系統(tǒng)集成服務有限企業(yè)2018年10月;.'.目錄1概括31.1編寫目的31.2合用范圍32性能測試指標32.1響應時間3定義3測試方法4解析評估52.2TPS（QPS）、并發(fā)用戶數(shù)7定義7測試方法7解析評估82.3懇求成功率9定義9測試方法9解析評估92.4CPU使用率、內(nèi)存使用率、IOWAIT9定義9測試方法10解析評估112.5GC112.6進度級其他資源占用11;.'.概括1.1編寫目的本文檔在對性能指標的見解、測試及解析方法、評判標準以及工具的使用進行說明，旨在指導性能測試工程師更好的理解各個性能指標，并對系統(tǒng)的性能質(zhì)量做出正確的議論和解析。1.2合用范圍本規(guī)范合用范圍：性能測試、性能調(diào)優(yōu)和性能查收活動。性能測試指標2.1響應時間定義響應時間平時是指客戶發(fā)出懇求到獲取響應的整個過程所耗資的時間，平時被定義TTLB（TimetoLasterByte），代表從倡導一個懇求開始，到客戶端收到響應的最后一個字節(jié)所耗資的時間。響應時間依據(jù)所耗資的時間段可以做仔細的拆解，我們可以把它拆解為三部分，系統(tǒng)辦理時間、數(shù)據(jù)傳輸時間、表現(xiàn)時間（Web頁面特有，接口類懇求無表現(xiàn)時間），每個部分的時間耗資影響的因素有所不相同。表現(xiàn)時間：主假如閱讀器對接收到的數(shù)據(jù)襯著展現(xiàn)的過程，表現(xiàn)時間不單于閱讀器有關(guān)，和操作系統(tǒng)、電腦的硬件配置也有關(guān)系。數(shù)據(jù)傳輸時間：懇求、響應數(shù)據(jù)在網(wǎng)絡(luò)中傳輸耗資的時間，和網(wǎng)絡(luò)的時延、帶寬有關(guān)系。系統(tǒng)辦理時間：系統(tǒng)接收到懇求后，對懇求辦理，并將結(jié)果返回的時間，和系統(tǒng)服務器的軟硬件配置有關(guān)系。;.'.測試方法一、測試前提前提一：性能測試中響應時間的測試，需要保持一個牢固的網(wǎng)絡(luò)環(huán)境。不建議在辦公網(wǎng)絡(luò)中搭建“施壓設(shè)施”，不牢固的辦公網(wǎng)絡(luò)環(huán)境會影響對測試結(jié)果的評判。建議在以下兩種環(huán)境下測試：①施壓設(shè)施與被測系統(tǒng)在同一局域網(wǎng)中，更可以除去網(wǎng)絡(luò)情況對響應時間的影響，可以更正確的權(quán)衡“系統(tǒng)辦理時間”。②施壓設(shè)施和被測系統(tǒng)在不相同的機房環(huán)境中經(jīng)過公網(wǎng)測試，這種場景更能正確的模擬并評估系統(tǒng)在生產(chǎn)環(huán)境中的表現(xiàn)。測試工程師可以依據(jù)測試的目的，選擇后兩種環(huán)境進行測試。2)前提二：確定必然的并發(fā)量來測試響應時間最優(yōu)并發(fā)用戶場景、最高并發(fā)用戶場景兩種場景測試，響應時間的表現(xiàn)是不相同的，最高并發(fā)場景的響應時間將會比最優(yōu)并發(fā)的響應時間大得多，測試前我們需要確定我們測試的場景是最優(yōu)并發(fā)仍是最高并發(fā)。二、測試步驟找到最高的吞吐量(TPS)。測試前確定一個響應時間的標準（如：小于100ms），此后進行基準測試，經(jīng)過虛假并發(fā)用戶數(shù)為1的方式測試，記錄測試的TPS、響應時間測試結(jié)果，將該響應時間與標準比較，若大于標準響應時間，那么則說明系統(tǒng)有問題無法知足標準，若該響應時間小于標準時間，則連續(xù)下面的測試。經(jīng)過壓力測試找到最大的吞吐量：在基準測試響應時間的限制下，找到系統(tǒng)最大的吞吐量（TPS），該情況下響應時間知足要求、吞吐量最大，可確定為“最正確并發(fā)用戶數(shù)”。方法是依據(jù)必然的步長，不斷增加虛假并發(fā)用戶數(shù)，直至響應時間超出限制、吞吐量不在增加、隨意節(jié)點資源使用率超出要求（如：70%）。2)負載測試：保持最大吞吐量，履行負載測試，連續(xù)30分鐘，記錄測試TPS、響應時間測試結(jié)果。3)牢固性測試：保持最大吞吐量，履行牢固性測試，連續(xù)3*24小時，記錄測試TPS、響;.'.應時間。三、測試對象的分類1)接口接口類響應時間只包含數(shù)據(jù)傳輸時間、系統(tǒng)辦理時間，不包含表現(xiàn)時間，ApacheJmeter支持該類響應時間的統(tǒng)計，共有min、max、avg三種統(tǒng)計結(jié)果，分別代表最小、最大、平均值，其他的性能測試工具均有對接口類響應時間的精準統(tǒng)計。Web頁面有3種方法可以統(tǒng)計Web頁面的響應時間：①閱讀器抓包工具統(tǒng)計頁面響應時間②錄屏軟件抓取屏幕計算響應時間③JS打點統(tǒng)計頁面響應時間。注意：目前還無法經(jīng)過大量并發(fā)接見的采樣統(tǒng)計頁面的響應時間，在經(jīng)過閱讀器測試Web頁面響應時間時，要保證經(jīng)過Jmeter對系統(tǒng)相對應接口保持必然壓力的并發(fā)用戶接見（平時在最優(yōu)并發(fā)下測試）。解析評估一、Web頁面響應時間解析依據(jù)258原則在互聯(lián)網(wǎng)上對于用戶響應時間有一個廣泛的標準（2/5/8原則），一般認為響應時間超過5s是系統(tǒng)是需要優(yōu)化，假如超出8s是不能接受的。2s之內(nèi)響應被認為特別有吸引力的用戶體驗。5s之內(nèi)響應被認為比較不錯的用戶體驗。8s之內(nèi)響應被認為特別糟糕的用戶體驗。超出8s沒有響應，用戶平時認為懇求失敗。需要特別說明的一點，對于用戶來說，響應時間能否被接受帶有必然的主觀色彩，比方一個系統(tǒng)報表的功能，每個月才會合用戶使用一次，那么每次開銷1個小時，用戶是可以接受的，可是一個常用的登錄按鈕提交1分鐘后才返回登錄成功，我們也難以接受。因此響應;.'.時間的“長”和“短”并沒有絕對的定義，合理的響應時間取決于用戶實質(zhì)需求，而不可以依據(jù)測試人員的設(shè)想或許標準的硬性規(guī)定。二、Web頁面響應時間解析評估時需要考慮有無閱讀器緩存的兩種情況Web頁面響應時間測試，要分為閱讀器有緩存和無緩存的兩種情況（無緩存的情況由于資源的下載響應時間會稍長），一般經(jīng)過有閱讀器緩存的場景的結(jié)果表現(xiàn)來評估響應時間對用戶體驗的影響。三、接口類響應時間，參照系統(tǒng)需求規(guī)格定義評估最優(yōu)并發(fā)情況下，性能測試結(jié)果平均響應時間不得高于系統(tǒng)需求規(guī)格定義。建議：需求規(guī)格的定義，單接口響應時間應小于100ms。響應時間的標準一般定義：99.9%響應時間必然在100ms以下（非平均值，99.9%取樣響應時間均在100ms以下）或許平均響應時間在100ms以下，目前工具只能統(tǒng)計平均響應時間指標。四、響應時間與歷史版本比較目前系統(tǒng)實測響應時間的指標不得高于歷史版本的實測結(jié)果。注意：兩者的測試結(jié)果的比較，必然是在相同條件下測試的結(jié)果（環(huán)境對性能的影響較大）。五、參照同類系統(tǒng)功能的響應時間對于新開發(fā)的系統(tǒng)，在沒有生產(chǎn)環(huán)境數(shù)據(jù)、歷史版本參照的情況下，可參照其他近似系統(tǒng)的響應時間的實測結(jié)果，比較本系統(tǒng)實測的結(jié)果，經(jīng)過產(chǎn)品經(jīng)理、開發(fā)、運營運維共同評審確定該系統(tǒng)的性能需求標準，并依據(jù)達成一致的需求標準進行評估。;.'.2.2TPS（QPS）、并發(fā)用戶數(shù)定義TPS：每秒事務數(shù)，指系統(tǒng)每秒可以辦理的事務數(shù)量（一個事務可能是有多個懇求組成）。QPS：每秒查問率，只系統(tǒng)每秒可以辦理的查問（平時指一個request懇求）數(shù)量。并發(fā)用戶數(shù)：在同一時刻（任一時刻）與服務器進行交互（服務器正在辦理）的在線用戶的數(shù)量。對于并發(fā)用戶數(shù)防備兩種錯誤的理解，一種錯誤的理解是把并發(fā)用戶數(shù)理解為系統(tǒng)注冊用戶數(shù)，還有一個錯誤的理解是把并發(fā)用戶數(shù)理解為系統(tǒng)在線用戶數(shù)。測試方法找到牢固運行的最高的吞吐量(TPS)。測試前確定一個響應時間的標準（如：小于100ms），此后進行基準測試，經(jīng)過虛假并發(fā)用戶數(shù)為1的方式測試，記錄測試的TPS、響應時間測試結(jié)果，將該響應時間與標準比較，若大于標準響應時間，那么則說明系統(tǒng)有問題無法知足標準，若該響應時間小于標準時間，則連續(xù)下面的測試。經(jīng)過壓力測試找到最大的吞吐量：在基準測試響應時間的限制下，找到系統(tǒng)最大的吞吐量（TPS），該情況下響應時間知足要求、吞吐量最大，可確定為“最正確并發(fā)用戶數(shù)”。方法是依據(jù)必然的步長，不斷增加虛假并發(fā)用戶數(shù)，直至響應時間超出限制、吞吐量不在增加、隨意節(jié)點資源使用率超出要求（如：70%）。2)負載測試：保持最大吞吐量，履行負載測試，連續(xù)30分鐘，記錄測試TPS、響應時間測試結(jié)果。3)牢固性測試：保持“最正確并發(fā)用戶數(shù)”，履行牢固性測試，連續(xù)3*24小時，記錄測試TPS、響應時間。在成功率100%的限制下（不考慮響應時間長短）找到系統(tǒng)的極限值。不斷增加并發(fā)用戶數(shù)，可以連續(xù)運行30分鐘不犯錯誤的并發(fā)量即為系統(tǒng)的極限值。;.'.解析評估一、最大吞吐量和系統(tǒng)資源使用的解析在明確響應時間要求的限制下，壓力測試過程中，找到最大吞吐量的拐點時，解析系統(tǒng)資源（CPU、內(nèi)存）的使用率，若使用率過低，則連續(xù)加大并發(fā)用戶量，若系統(tǒng)的所有節(jié)點的任一資源均無法達到70%使用率，說明系統(tǒng)存在系統(tǒng)類、軟件類問題和瓶頸，需要調(diào)優(yōu)。二、TPS與需求規(guī)格定義（生產(chǎn)環(huán)境負載）比較需求規(guī)格說明書中有明確的標準定義將吞吐量的實測結(jié)果和需求規(guī)格定義（生產(chǎn)環(huán)境負載）比較，若大于需求規(guī)格定義則為經(jīng)過。一般最大吞吐量對應生產(chǎn)環(huán)境的平均負載，系統(tǒng)極限值僅用來對付生產(chǎn)環(huán)境的突發(fā)高峰。需求規(guī)格說明書中無明確的標準定義若需求規(guī)格說明書中沒相對于性能指標的明確定義，在性能測試方案設(shè)計階段性能測試工程師應推動測試、開發(fā)、產(chǎn)品經(jīng)理和運維運營一同，明確有關(guān)性能指標。性能指標可參照生產(chǎn)環(huán)境交易量統(tǒng)計數(shù)據(jù)來評估，評估結(jié)果一般應略高于目前生產(chǎn)環(huán)境的負載（預留半年到一年接見量增加的余量）。若新開發(fā)產(chǎn)品，無生產(chǎn)環(huán)境胸懷數(shù)據(jù)，可參照同類產(chǎn)品、本產(chǎn)品運營推行計劃來評估本產(chǎn)品的性能指標，性能指標確認的結(jié)果可經(jīng)過提單結(jié)論歸檔。三、負載測試、牢固性測試采樣解析在負載測試、牢固性測試過程中，保持最高吞吐量情況下壓測，TPS曲線、響應時間曲線應當是趨于牢固的，如出現(xiàn)大的顛簸（驟升或驟降），則視為異樣的拐點（問題），需要進行問題定位。;.'.2.3懇求成功率定義顧名思義，懇求成功率代表所有懇求中，成功接收到響應的懇求所占的比率。系統(tǒng)的吞吐量和懇求成功率是掛鉤的。測試方法懇求成功率是響應時間、TPS等指標的前提，在成功率知足大于99.9%的前提下，響應時間、TPS知足預期。成功率的測試方法，可參照2.1、2.2章節(jié)中對于響應時間、TPS的測試方法。解析評估標準要求：負載測試、牢固性測試，懇求成功率要求大于99.9%。2.4CPU使用率、內(nèi)存使用率、IOWAIT定義一、CPU使用率：CPU時間的百分比，共分為以下幾個維度，我們平時認為的CPU使用率是us（用戶態(tài)）+sy（系統(tǒng)態(tài)）使用的CPU百分比之和。Us：用戶態(tài)使用的cpu時間百分比Sy：系統(tǒng)態(tài)使用的cpu時間百分比Ni：用做nice加權(quán)的進度分派的用戶態(tài)cpu時間百分比Id：悠閑的cpu時間百分比Wa：cpu等待IO達成時間百分比，指平時我們講的IOWAITHi：硬中止耗資時間百分比Si：軟中止耗資時間百分比;.'.二、內(nèi)存使用率內(nèi)存使用率平時是指已使用的內(nèi)存在整體內(nèi)存中所占的比率。Total：內(nèi)存總數(shù)Used：已使用內(nèi)存數(shù)Free：悠閑的內(nèi)存數(shù)Shared：多個進度共享的內(nèi)存總數(shù)，查問結(jié)果老是0Buffers：BufferCache磁盤緩存的大小Cached：cachedPageCache磁盤緩存的大小可用內(nèi)存=free+buffer+cached因此計算內(nèi)存使用率公式為：內(nèi)存使用率=（total-free-buffer-cached）/total*100%測試方法1、經(jīng)過Nmon采集記錄（可以同時監(jiān)控CPU、內(nèi)存、IO等各樣豐富的性能資源指標），可以連續(xù)記錄測試過程每個時間點的資源使用情況，對于多核系統(tǒng)，也可以分別監(jiān)控每個CPU的使用情況?？山?jīng)過Nmon采集的資源使用曲線、聯(lián)合系統(tǒng)的性能表現(xiàn)，初步達成系統(tǒng)的評估（判斷能否存在問題）。2、經(jīng)過Linux命令來進行系統(tǒng)問題的詳盡解析（補充中）。top：查察進度活動狀態(tài)以及一些系統(tǒng)情況，沒方法記錄所有時間點的資源使用情況，利處是可以查察到進度級其他資源使用。vmstat：查察系統(tǒng)狀態(tài)、硬件和系統(tǒng)信息等，經(jīng)過vmstat查問，查問整體的CPU使用情況，同時也可以查問進度、內(nèi)存、互換頁面、IO的情況。iostat：查察CPU負載，硬盤情況sar(同類的tsar阿里開源工具）：綜合類工具，比較全面的查察系統(tǒng)情況的工具，如文件的讀寫情況、系統(tǒng)調(diào)用的使用情況、磁盤I/O、CPU效率、內(nèi)存使用情況、進度活動及IPC有關(guān)的活動。mpstat：多核CPU的可以經(jīng)過該命令查察某個cpu的情況netstat：查察網(wǎng)路情況;.'.tcpdump\tcptrace：抓取網(wǎng)絡(luò)數(shù)據(jù)包和解析網(wǎng)絡(luò)數(shù)據(jù)包工具dstat：綜合工具，綜合了vmstat,iostat,ifstat,netstat等多個信息ps：進度查問工具解析評估1、經(jīng)過比較“最大吞吐量”和“系統(tǒng)資源使用率”之間的關(guān)系進行解析，系統(tǒng)必然在CPU、內(nèi)存資源使用小于