第7章

系統(tǒng)測試7.1系統(tǒng)測試概述系統(tǒng)測試的定義系統(tǒng)測試：SystemTesting系統(tǒng)測試是將已經(jīng)集成好的軟件系統(tǒng)，作為整個(gè)計(jì)算機(jī)系統(tǒng)的一個(gè)元素，與支持軟件、計(jì)算機(jī)硬件、外設(shè)、數(shù)據(jù)等其它系統(tǒng)元素結(jié)合在一起，在實(shí)際使用環(huán)境下，對計(jì)算機(jī)系統(tǒng)進(jìn)行一系列測試活動(dòng)。為了發(fā)現(xiàn)缺陷并度量產(chǎn)品質(zhì)量，按照系統(tǒng)的功能和性能需求進(jìn)行的測試一般使用黑盒測試技術(shù)一般由獨(dú)立的測試人員完成2.系統(tǒng)測試的依據(jù)開發(fā)人員提供的“需求規(guī)格說明書”3.系統(tǒng)測試的組織系統(tǒng)測試主要是由質(zhì)量部門的測試工程師來主導(dǎo)工作4、系統(tǒng)測試員和用戶系統(tǒng)測試員和用戶相似的地方都是使用軟件，一般不接觸軟件的代碼都是假設(shè)軟件應(yīng)該正確實(shí)現(xiàn)說明書的功能系統(tǒng)測試員和用戶不同的地方使用軟件的目的對待錯(cuò)誤7.1.2系統(tǒng)測試的內(nèi)容系統(tǒng)測試的內(nèi)容包括：功能測試、性能測試、負(fù)載測試、壓力測試、疲勞測試、安全測試、恢復(fù)測試、兼容性測試、可靠性測試、強(qiáng)度測試、容量測試、回歸測試、安裝/卸載測試、配置測試、文檔測試、用戶界面測試、α測試、β測試。在實(shí)際的應(yīng)用中，由于進(jìn)度、資源等各方面的原因不可能面面俱到，而大多會(huì)根據(jù)系統(tǒng)、項(xiàng)目的特點(diǎn)有所取舍。7.2功能測試功能測試是在規(guī)定的一段時(shí)間內(nèi)運(yùn)行軟件系統(tǒng)的所有功能，以驗(yàn)證這個(gè)軟件系統(tǒng)有無嚴(yán)重錯(cuò)誤。目標(biāo)：檢驗(yàn)產(chǎn)品功能是否正確實(shí)現(xiàn)內(nèi)容：正常功能、異常功能、邊界測試、界面測試、接口測試、安全測試、錯(cuò)誤處理測試等。覆蓋：覆蓋產(chǎn)品的功能自動(dòng)售貨機(jī)的購買流程開始->付款->選擇商品->確認(rèn)商品->結(jié)束開始->付款->選擇商品->確認(rèn)商品->找零->結(jié)束開始->付款->選擇商品->金額不足，全額退款->結(jié)束開始->付款->選擇商品->全額退款->結(jié)束開始->付款->全額退款->結(jié)束自動(dòng)售貨機(jī)的購買流程付款金額剛剛夠購買將要選擇的商品。選擇商品、確認(rèn)商品后結(jié)束。付款金額足夠購買將要購買的商品。選擇商品、確認(rèn)商品后，找零后結(jié)束付款金額不夠買將要購買的商品。選擇商品、確認(rèn)商品后，提示金額不足，全額退款后結(jié)束。支付金額，選擇商品后不想購買任何商品，要求全額退款。選擇商品、確認(rèn)商品后，取消操作，要求全額退款后結(jié)束。付款金額后不想購買任何商品，要求全額退款。常見的功能自動(dòng)化測試工具工具說明及官方網(wǎng)站SeleniumWebDriver一款開源的web應(yīng)用程序的自動(dòng)化測試工具h(yuǎn)ttps://www.selenium.dev/KatalonStudioWeb測試工具，/katalon-studiopostman接口測試工具TestWriter上海博為峰旗下的零編碼,跨平臺(tái)自動(dòng)化測試工具，/airtest網(wǎng)易旗下的一款基于圖像識(shí)別和poco控件識(shí)別的一款UI自動(dòng)化測試工具。/Apifox

廣州睿狐科技的一款支持API文檔、API調(diào)試、APIMock、API自動(dòng)化測試平臺(tái)，/UFTDeveloperUFTMobileUFTOne MicroFocus公司自動(dòng)化功能測試工具，/zh-cn/products7.3性能測試影響性能測試的因素性能測試方法性能測試需要模擬實(shí)際用戶負(fù)載來測試系統(tǒng)，包括：反應(yīng)速度、最大用戶數(shù)、系統(tǒng)最優(yōu)配置、軟硬件性能、處理精度等等。目標(biāo)：對產(chǎn)品的性能進(jìn)行測試，檢驗(yàn)是否達(dá)標(biāo)、是否能夠保持方法：覆蓋系統(tǒng)的性能需求，一般和負(fù)載測試結(jié)合使用工具：在需要大訪問量時(shí)候尤其需要使用工具性能測試的流程性能測試用例的設(shè)計(jì)在設(shè)計(jì)性能測試的測試用例時(shí)，主要是通過改變模擬的業(yè)務(wù)因素來測試軟件的性能。根據(jù)影響軟件性能的業(yè)務(wù)因素可以在設(shè)計(jì)上基于三個(gè)方面的考慮。基于并發(fā)用戶數(shù)的測試用例設(shè)計(jì)基于吞吐量的測試用例設(shè)計(jì)基于基于業(yè)務(wù)的設(shè)計(jì)的測試用例設(shè)計(jì)并發(fā)用戶的計(jì)算方法方法一------精算法公式（1）計(jì)算平均的并發(fā)用戶數(shù)C=nL/T公式（2）并發(fā)用戶數(shù)峰值C’≈C+3*

sqrt（C)公式（1）中，C是平均的并發(fā)用戶數(shù)；n是loginsession的數(shù)量；L是loginsession的平均長度；T指考察的時(shí)間段長度。公式（2）則給出了并發(fā)用戶數(shù)峰值的計(jì)算方式中，其中，C’指并發(fā)用戶數(shù)的峰值，C就是公式（1）中得到的平均的并發(fā)用戶數(shù)。該公式的得出是假設(shè)用戶的loginsession產(chǎn)生符合泊松分布而估算得到的。并發(fā)用戶的計(jì)算方法方法二------估算法公式（1）計(jì)算平均的并發(fā)用戶數(shù)C=n/10

公式（2）并發(fā)用戶數(shù)峰值C’≈r*CN：

每天訪問系統(tǒng)用戶數(shù)的10%作為平均的并發(fā)用戶數(shù)。每天訪問系統(tǒng)的用戶數(shù)可以通過日志分析、問卷調(diào)查來獲取。R:調(diào)整因子，R的取值一般為2~3。并發(fā)用戶的計(jì)算方法方法三：經(jīng)驗(yàn)值對于一些系統(tǒng)可以通過同類軟件系統(tǒng)的用戶數(shù)據(jù)來估算，這種估算可以通過類似系統(tǒng)的日志分析和問卷調(diào)查來估計(jì)。例如：假設(shè)有一個(gè)辦公自動(dòng)化系統(tǒng)，該系統(tǒng)有3000個(gè)用戶，平均每天大約有400個(gè)用戶要訪問該系統(tǒng)，對一個(gè)典型用戶來說，一天之內(nèi)用戶從登錄到退出該系統(tǒng)的平均時(shí)間為4小時(shí)，在一天的時(shí)間內(nèi)，用戶只在8小時(shí)內(nèi)使用該系統(tǒng)。C=400*4/8=200C’≈200+3*sqrt(200)=242==================================C=400/10=40C’≈40*3=120（r=3）吞吐量計(jì)算方法稅務(wù)申報(bào)業(yè)務(wù)的吞吐量是以去年的數(shù)據(jù)為計(jì)算的依據(jù)。去年全年處理業(yè)務(wù)約100萬筆，其中15%的業(yè)務(wù)處理每筆業(yè)需對應(yīng)用服務(wù)器提交7次請求；70%的業(yè)務(wù)處理每筆業(yè)需對應(yīng)用服務(wù)器提交5次請求；其余15%的業(yè)務(wù)每筆業(yè)務(wù)需向應(yīng)用服務(wù)器提交3次請求。且全年的業(yè)務(wù)量集中在8個(gè)月完成，每個(gè)月20個(gè)工作日，每個(gè)工作日8個(gè)小時(shí)。每年總的請求數(shù)量為：(100*15%*7+100*70%*5+100*15%*3)*2=1000萬次/年。每天的請求數(shù)量為：1000/160=6.25萬次/天。每秒的請求數(shù)量為：(62500*80%)/(8*20%*3600)=87.719次/秒。80/20原則是在19世紀(jì)末期與20世紀(jì)初期的由意大利經(jīng)濟(jì)學(xué)家和社會(huì)學(xué)家維費(fèi)烈度·柏瑞圖提出的“重要的少數(shù)與瑣碎的多數(shù)原理”。它的意思是，在任何特定的群體中，重要的因子通常只占少數(shù)，而不重要的因子則占多數(shù)，因此，只要能控制具有重要性的少數(shù)因子就能控制全局?；跇I(yè)務(wù)的測試用例設(shè)計(jì)這兩類方法分別考慮了影響系統(tǒng)性能的兩個(gè)方面的內(nèi)容，可以結(jié)合起來，這就是基于業(yè)務(wù)的測試用例設(shè)計(jì)方法。例如：辦公OA系統(tǒng)的測試用例設(shè)計(jì)第1步：估算并發(fā)用戶數(shù)第2步：分析用戶業(yè)務(wù)第3步：整理測試項(xiàng)

（見表7-2）第4步：設(shè)計(jì)測試用例（見表7-3----表7-6）性能測試環(huán)境負(fù)載測試負(fù)載測試（LoadTesting）是指數(shù)據(jù)在超負(fù)荷環(huán)境中運(yùn)行，測試軟件系統(tǒng)是否能夠承擔(dān)。這種超負(fù)荷主要是指多并發(fā)用戶。壓力測試壓力測試是指對系統(tǒng)不斷施加越來越大的負(fù)載（并發(fā)，循環(huán)操作，多用戶、網(wǎng)絡(luò)流量）的測試。壓力測試是通過確定一個(gè)系統(tǒng)的瓶頸或者不能接收的性能點(diǎn)，來確定系統(tǒng)能提供的最大服務(wù)級別的測試。性能測試數(shù)據(jù)生成功能https://faker.readthedocs.io/en/master/緩存引發(fā)的測試數(shù)據(jù)失效避免使用相同數(shù)據(jù)測試第三方庫（應(yīng)用）調(diào)用(例如：第三方認(rèn)證）Mock第三方庫（應(yīng)用）性能測試-其它fromfakerimportFakerfake=Faker()()#'LucyCechtelar'fake.address()#'426JordyLodge#Cartwrightshire,SC88120-6700'性能測試工具工具說明及官方網(wǎng)站ApacheJMeter一款開源的性能測試工具，可以輔助插件使用。/XSeaPerfMa笨馬旗下全鏈路壓測平臺(tái)/product/xsea性能測試PTS阿里旗下的一款簡單易用，具備強(qiáng)大的分布式壓測能力的SaaS壓測平臺(tái)。/product/ptskylinPET廣州掌動(dòng)智能科技的一款功能強(qiáng)大的性能測試工具

。壓測寶云智慧（北京）科技旗下的一款面向用戶體驗(yàn)和全鏈路的

云壓力測試平臺(tái)/ApachebenchApacheBench是Apache服務(wù)器的一個(gè)web命令行工具壓力測試工具，簡稱ab。/NeoLoadTricentis的一種負(fù)載和性能測試工具/products/performance-testing-neoloadWebLOADWebLOAD是來自Radview公司的負(fù)載測試工具，模擬大量用戶負(fù)載，構(gòu)建復(fù)雜的場景，并識(shí)別性能瓶頸。/LoadsterLoadster是一款商用負(fù)載測試軟件，用于測試高負(fù)載下網(wǎng)站、Web應(yīng)用、Web服務(wù)的性能表現(xiàn)，支持Linux，Mac和Windows等運(yùn)行環(huán)境。https://loadster.app/LocustLocust是一個(gè)易于使用、可編寫腳本且可擴(kuò)展的開源性能測試工具。/locustio/locustLoadRunner（Cloud\Enterprise\Professional)MicroFocus公司性能測試工具，/zh-cn/products

易用性：UI設(shè)計(jì)需確保文字簡潔、布局合理、輸入便捷。

一致性：界面需與操作系統(tǒng)、同類軟件及行業(yè)標(biāo)準(zhǔn)保持一致。

美觀與協(xié)調(diào)性：界面應(yīng)美觀協(xié)調(diào)，符合用戶審美。

用戶動(dòng)作性測試：軟件應(yīng)簡化操作、記憶用戶習(xí)慣，并提供向?qū)Ш驮诰€幫助。

獨(dú)特性：設(shè)計(jì)需體現(xiàn)軟件獨(dú)特風(fēng)格。

安全性考慮：GUI需控制出錯(cuò)幾率，確保輸入安全有效。7.4其他系統(tǒng)測試

7.4.1用戶界面測試7.4.2兼容性測試兼容性測試(CompatibilityTesting)即測試軟件在一個(gè)特定的硬件/軟件/操作系統(tǒng)/網(wǎng)絡(luò)等環(huán)境下的系統(tǒng)能否正常運(yùn)行。目的：檢驗(yàn)被測軟件對其它應(yīng)用軟件或者其它系統(tǒng)的兼容性，比如在對一個(gè)共享資源（數(shù)據(jù)、數(shù)據(jù)文件或者內(nèi)存）進(jìn)行操作時(shí)，檢測兩個(gè)或多個(gè)系統(tǒng)需求能否正常工作以及相互交互使用。兼容性測試關(guān)注以下幾個(gè)問題當(dāng)前系統(tǒng)可能運(yùn)行在哪些不同的硬件配置的環(huán)境上？當(dāng)前系統(tǒng)可能運(yùn)行在哪些不同的操作系統(tǒng)環(huán)境下？當(dāng)前系統(tǒng)可能需要與哪些軟件系統(tǒng)協(xié)同工作？這些軟件系統(tǒng)可能的版本有哪些？向前兼容？向后兼容？同類軟件兼容？瀏覽器兼容？等。當(dāng)前系統(tǒng)可能與哪些不同類型的數(shù)據(jù)庫進(jìn)行數(shù)據(jù)交換？是否需要綜合測試？兼容性包括硬件兼容、操作系統(tǒng)兼容、軟件之間兼容、數(shù)據(jù)之間兼容。7.4.3其他測試類型1.健壯性測試健壯性即測試軟件系統(tǒng)在異常情況下能否正常運(yùn)行的能力。健壯性有兩層含義一是容錯(cuò)能力二是恢復(fù)能力2.安裝/卸載測試安裝/卸載測試是對軟件的全部、部分或升級安裝/卸載處理過程的測試。其目的是檢測系統(tǒng)的各類安裝（如的典型、全部、自定義、升級等）和卸載是否全面，完整、是否會(huì)影響到其它的軟件系統(tǒng)、硬件的配置是否合理。3.疲勞測試疲勞測試是指在一段時(shí)間內(nèi)(經(jīng)驗(yàn)上一般是連續(xù)72小時(shí))保持系統(tǒng)功能的頻繁使用，檢查系統(tǒng)是否發(fā)生功能或者性能上的問題。3.4.可用性測特定用戶對所用產(chǎn)品在某一特定使用范疇內(nèi)有效、高效和滿意地實(shí)現(xiàn)預(yù)期目標(biāo)的程度。7.4.3其他測試類型5.可靠性測試可靠性是指在一定的環(huán)境下、在給定的時(shí)間內(nèi)、系統(tǒng)不發(fā)生故障的概率。6.強(qiáng)度測試強(qiáng)度測試是檢查程序?qū)Ξ惓Ｇ闆r的抵抗能力。強(qiáng)度測試總是迫使系統(tǒng)在異常的資源配置下運(yùn)行。7.4.3其他測試類型7.容量測試容量測試是檢驗(yàn)系統(tǒng)的能力最高能達(dá)到什么程度。容量測試是面向數(shù)據(jù)的，是在系統(tǒng)正常運(yùn)行的范圍內(nèi)測試，并確定系統(tǒng)能夠處理的數(shù)據(jù)容量，也就是觀察系統(tǒng)承受超額的數(shù)據(jù)容量的能力。8.配置測試配置測試是指不同的硬件配置下，在不同的操作系統(tǒng)和應(yīng)用軟件環(huán)境中，檢查系統(tǒng)是否發(fā)生功能或者性能上的問題。從而了解不同環(huán)境對系統(tǒng)性能的影響程度，找到系統(tǒng)各項(xiàng)資源的最優(yōu)分配。一般需要建立測試實(shí)驗(yàn)室。7.4.3其他測試類型7.4.3其他測試類型9.文檔測試文檔測試是對系統(tǒng)提交給用戶的文檔進(jìn)行驗(yàn)證，它要求檢查系統(tǒng)的文檔是否齊全，檢查是否有多余文檔或者死文檔，檢查文檔內(nèi)容是否正確、規(guī)范、一致。通過文檔測試保證用戶文檔的正確性并使得操作手冊能夠準(zhǔn)確無誤。文檔的種類包括聯(lián)機(jī)幫助文檔或用戶手冊，指南和向?qū)?，安裝、設(shè)置指南，示例及模板，錯(cuò)誤提示信息，用于演示的圖像和聲音，授權(quán)/注冊登記表及用戶許可協(xié)議，軟件的包裝、廣告宣傳材料等。7.5Web系統(tǒng)的測試

7.5.1We