1、軟件測試方法和技術 - Ch.11軟件測試自動化Zhu.K朱少民Kerry Zhu第十一章章 軟件件測試自自動化Zhu.K11.1測試自動動化的內(nèi)內(nèi)涵11.2測試工具具的分類類和選擇擇11.3測試工具具的主流流產(chǎn)品介介紹11.4 IBM-Rational產(chǎn)品的整整體解決決方案11.5 MercuryInteractive產(chǎn)品的整整體解決決方案11.6 Compuware產(chǎn)品的整整體解決決方案11.1測試自動動化的內(nèi)內(nèi)涵Zhu.K11.1.1為什么要要軟件測測試自動動化11.1.2自動化測測試的引引入和應應用11.1.3測試自動動化的基基本結構構11.1.4測試自動動化的原原理和方方法11.1.

2、5測試自動動化普遍遍存在的的問題手工測試試的局限限性Zhu.K通過手工工測試無無法做到到覆蓋所所有代碼碼路徑;許多與時時序、死死鎖、資資源沖突突、多線線程等有有關的錯錯誤通過過手工測測試很難難捕捉到到在系統(tǒng)負負載、性性能測試試時，需需要模擬擬大量數(shù)數(shù)據(jù)、或或大量并并發(fā)用戶戶等各種種應用場場合時，也很難難通過手手工測試試來進行行在進行系系統(tǒng)可靠靠性時，需要模模擬系統(tǒng)統(tǒng)運行十十年、幾幾十年，以驗證證系統(tǒng)能能否穩(wěn)定定運行，也是手手工測試試無法模模擬的。如果有大大量（幾幾千）的的測試用用例，需需要在短短時間內(nèi)內(nèi)完成，手工測測試又怎怎么辦呢呢？測試可以以發(fā)現(xiàn)錯錯誤，并并不能表表明程序序的正確確性。自動測

3、試試定義軟軟件系統(tǒng)統(tǒng)功能規(guī)格格書(Spec)只是從書書面上的的一套軟件件產(chǎn)品是是由一套套完整的的可運行行的測試試來定義義的測試所有有可能情情況將遭遭遇“組組合爆炸炸”問題題Win98,WinME, WinNT,Win2k,WinXP, WinXP TablePCEd, WinXP MediaCenter Ed,Longhorn,etcEnglish,German, Japanese,Chinese,Arabic, ThaiOffice97, Office2000, OfficeXP,Office 2003X8632-bit,Intel64-bit,AMD64-bit,Alpha,MIPSSQL

4、Server 6.5,SQL Server7.0, SQLServer2000VisualStudio 6, VS .NET, VS .NET2003,Whidbey手工測試試的局限限性（2）Zhu.K代碼全部部Code Path測試覆蓋蓋也幾乎乎不可能能每一個ifelse或switch語句就會會把情況況增加一一倍許多異常常處理代代碼在正正常使用用中不會會碰到許多與時時序，死死鎖，資資源沖突突，多線線程有關關的錯誤誤很難捕捕捉到每一個產(chǎn)產(chǎn)品都會會有不同同的版本本外加各各自的SP與QFE(Quick FixEngineering,又稱Hotfix)NT4, VS6SP1SP5,Windows 2

5、000SP1-SP4VS.NET,SQLServer SP1 SP3可重復使使用的自自動測試試對產(chǎn)品品未來版版本與Service Pack的測試將將有事半半功倍的的效果手工測試試的局限限性（2）Zhu.K自動化測測試帶來來的好處處1.縮短周期期Testing cycle-Regression Testing2.Attributes of TA,Speed速度Efficiency效率AccuracyandPrecise準確、精精確Relentlessness無情3.容易實施施、結果果可靠4.做手工不不能做Zhu.K手工測試耗費時間間低可靠性性人力資源源不一致性性僅對于一一次性的的測試有有益 速度

6、可重復覆蓋率 可靠可以再度度使用重復測試試節(jié)省時時間自動測試手工測試試vs.自動測試試Zhu.K正確認識識測試自自動化不現(xiàn)實的的期望注注定測試試自動化化的失敗敗測試自動動化能：顯著降低低重復手手工測試試的時間間建立可靠靠、重復復的測試試，減少少認為錯錯誤增強測試試質量和和覆蓋率率測試自動動化不能能：完全替代代手工測測試和手手工測試試工程師師保證100%的的測試覆覆蓋率彌補測試試實踐的的不足Zhu.K各自特點點軟件測試試自動化化(TA)雖然具有有很多優(yōu)優(yōu)點，但但只是對對手工測測試的一一種補充充，TA絕不能代代替手工工測試，有各自自的特點點：在系統(tǒng)功功能邏輯輯測試、驗收測測試、適適用性測測試、涉涉

7、及物理理交互性性測試時時，多采采用黑盒盒測試的的手工測測試方法法；單元測試試、集成成測試、系統(tǒng)負負載或性性能、穩(wěn)穩(wěn)定性、可靠性性測試等等比較適適合采用用TA；對那種不不穩(wěn)定軟軟件的測測試、開開發(fā)周期期很短的的軟件、一次性性的軟件件等不適適合測試試自動化化工具本身身并沒有有想象力力和靈活活性，根根據(jù)經(jīng)驗驗報道，自動測測試只能能發(fā)現(xiàn)15%的缺陷，而手工工測試可可以發(fā)現(xiàn)現(xiàn)85%的缺陷；TA工具在進進行功能能測試時時，其準準確的含含義是回回歸測試試工具，因為工工具不能能發(fā)現(xiàn)更更多的新新問題，但可以以保證對對已經(jīng)測測試過部部分進行行測試的的準確性性和客觀觀性Zhu.K測試自動動化項目目的本質質定義：利用

8、GUI自動化測測試工具具來開發(fā)發(fā)和執(zhí)行行測試腳腳本，從從而驗證證是否滿滿足需求求本質：測試自動動化項目目本質上上是軟件件開發(fā)項項目一個測試試自動化化項目必必須具有有：清晰定義義并嚴格格實施的的過程來自組織織各級的的支持周密的計計劃具體的設設計和架架構Zhu.K測試自動動化成本本/收益益分析結構成本收益凈收益No Automation000Recording and Playback8.3112.7Data-driven structure using datapools8.4189.6Framework structure9.8155.2Framework / data-driven (hyb

9、rid) structure focusing on views of the application and using datapools11.6197.4Zhu.K自動化測測試的引引入和應應用找準測試試自動化化的切入入點把測試開開發(fā)納入入整個軟軟件開發(fā)發(fā)體系測試自動動化依賴賴測試流流程和測測試用例例軟件測試試自動化化的投入入較大進行資源源的合理理調度Zhu.K自動化測測試工作作流程收集測試試信息測試需求求是什么么？那里能得得到用到到的數(shù)據(jù)據(jù)？建立基本本測試紀錄用戶戶的操作作核實成功功回放提高基本本測試插入測試試點驅動測試試數(shù)據(jù)整體測試試關聯(lián)數(shù)據(jù)據(jù)建立綜合合的測試試場景計劃1創(chuàng)建2核實 和

10、 提高3整合4計劃自動化測試紀錄用戶操作形成基本測試對 回放 和 測試提高自動化測試運行多種測試檢查數(shù)據(jù)流Zhu.K測試自動動化的基基本結構構機房客戶端文件服務器數(shù)據(jù)庫服務器Web服務器 控制程序拷貝測試試文件拷貝測試試結果分派工作作分派工作作查詢結果果Build系統(tǒng)編譯譯獲取測試試任務、數(shù)據(jù)更新顯示軟件包Zhu.K發(fā)布指令令測試自動動化的原原理和方方法代碼分析析:類似于高高級編譯譯系統(tǒng)，在工具具中定義義類/對象/函數(shù)/變量等定定義規(guī)則則、語法法規(guī)則等等，在分分析時對對代碼進進行語法法掃描，找出不不符合編編碼規(guī)范范的地方方。捕獲和回回放:代碼分析析是一種種白盒測測試的自自動化方方法，捕獲和回回

11、放則是是一種黑黑盒測試試的自動動化方法法。Zhu.K對象識別別編輯框下拉框按鈕QuickTest在支持應用用中識別別、確定定每一個個對象是是什么類類型復選框選擇框Zhu.K對象識別別2邏輯名稱稱是對象象屬性之之一的值值數(shù)值用于識別別對象名名稱Nativeclass: EditAttached Text: Agent Name:Enabled: TrueFocused: TrueHeight: 20Text: HaroldWidth: 119Zhu.K對象識別別3對象庫是是本地地在測試試結構范范圍內(nèi)存儲對像像信息.對象庫例如對象象 (屬屬性)包包含登登陸窗口口在記錄錄過程中中捕獲的的:- Age

12、nt Namefield- Password field- OK button- Cancelbutton- HelpbuttonZhu.K腳本技術術線性腳本本，是錄制制手工執(zhí)執(zhí)行的測測試用例例得到的的腳本，這種腳腳本包含含所有的的擊鍵、移動、輸入數(shù)數(shù)據(jù)等，所有錄錄制的測測試用例例都可以以得到完完整的回回放。結構化腳腳本，類似于于結構化化程序設設計，具具有各種種邏輯結結構、函函數(shù)調用用功能。共享腳本本，是指某某個腳本本可以被被多個測測試用例例使用。數(shù)據(jù)驅動動腳本，將測試試輸入存存儲在獨獨立的（數(shù)據(jù)）文件中中，而不不是存儲儲在腳本本中。關鍵字驅驅動腳本本，是數(shù)據(jù)據(jù)驅動腳腳本的邏邏輯擴張張Zhu.

13、KExample -1GUIScript (.rec)Low-LevelscriptVUScript(.S)GUIShellScript (.rec)Project HeaderFile (.sbh)SQABasicFile (.sbl)Zhu.KScriptexample-2Zhu.KGUIScriptstypesTS-scriptItinclude thescriptwhichcan notbere-used,weoftenuseittogeneratetestlog.B-scriptTABuildingblock,itincludethescript which canbere-used

14、.U-scriptUsed to makesureallcodeina function canwork normally.Zhu.KSamplescript=SectionTwo -header file, publicvariablesand constantsdeclarationarea=$includertpCMCSanity0225_BB_X.sbh$IncludertpCMC5_BB.sbh$includertpReportLog.sbh=SectionThree-Unit testscripting areafor thissubroutineorfunctionSubMain

15、CallScriptrtpCMCSanity0225_initDimResultAsIntegerDimmeetingTopicAsStringIftherealreadya meetingmeeting,didnt start againSQASuspendLogOutputResult=WindowVP(Exists,Caption=*+MEETING_CLIENT_CAPTION+ *,VP=Window Existence;Wait=1,3)SQAResumeLogOutputIfResult=0ThenResult=func_MiscScheduleStartMeetingSimpl

16、e(PAGE_CAPTION,meetingTopic, MEETING_PASSWD)ElseEndIfZhu.KSQAGetPropertyResult=SQAGetProperty(ObjectRec, State,CheckState)SQAGetPropertyAsStringResult=SQAGetPropertyAsString(;Caption=Notepad -(Untitled), WindowState,StateString)SQASetPropertySQASetPropertyName=FirstName,Text, Michael“SQAWaitForObjec

17、tResult=SQAWaitForObject(Type=PushButton;Text=OK,120000)ObjectScripting commandsZhu.KCheckBoxCheckBoxClick,Name=OverdraftComboBox,ComboListBoxEditBoxHTMLDocument,HTMLImage,HTMLLinkInputKeysInputKeysThisisRobot.EnterUser ActioncommandsZhu.K自動比較較靜態(tài)比較較和動態(tài)態(tài)比較，簡單比較較和復雜雜比較，敏感性測測試比較較和健壯壯性測試試比較，。比較過濾濾器Zhu.K

18、ComboBoxVPEditBoxVPFileVPHTMLLinkVPHTMLDocumentVPListViewVPWindowVPJavaListViewVPSyntaxofWindowVPfunction:Result=WindowVP(action%,recMethod$,parameters$)action canbeoneoffollowing valuesCompareImageCompareMenuComparePropertiesExists/DoesNotExist WindowVP(CompareImage, Caption=Paint,VP=PICT1A)This fu

19、nction returns1iftheaction performedpassesReturn0iftheaction performedfails.VerificationPointcommandsZhu.K測試自動動化普遍遍存在的的問題不正確的的觀念或或不現(xiàn)實實的期望望缺乏具有有良好素素質、經(jīng)經(jīng)驗的測測試人才才測試工具具本身的的問題影影響測試試的質量量沒有進行行有效的的、充分分的培訓訓沒有考慮慮到公司司的實際際情況，盲目引引入測試試工具沒有形成成一個良良好的使使用測試試工具的的環(huán)境其它技術術問題和和組織問問題Zhu.K11.2測試工具具的分類類和選擇擇Zhu.K11.2.1測試工具具的分

20、類類11.2.2測試工具具的選擇擇測試工具具是測試試自動化化的表現(xiàn)現(xiàn)測試工具具的研究究軟件測試試的過程程是一項項很復雜雜而費時時的工作作，它不不僅執(zhí)行行每一個個測試用用例，還還要設置置運行環(huán)環(huán)境、記記錄輸出出、運行行后清理理并記錄錄失敗信信息。僅僅僅依靠靠測試人人員手工工完成是是很困難難的。所所以必須須研究測測試工具具以幫助助測試人人員自動動或半自自動的完完成測試試。在資金和和人力、時間的的供給一一定的條條件下面面，擁有有好的測測試工具具能夠提提高測試試效率從從而降低低測試成成本，則則能夠選選擇更高高的測試試充分性性標準進進行測試試，從而而提高軟軟件質量量。Zhu.K測試工具具的例子子Zhu.

21、K測試工具具的分類類Code analysis Tools- Staticanalysis- DynamicanalysisTest ExecutionTool- Captureand Replay( Record& Playback)- MonitorTool- Stubs andDrivers- AutomatedTesting EnvironmentTest casegeneratorsZhu.K測試工具具的選擇擇Zhu.K11.3測試工具具的主流流產(chǎn)品介介紹Zhu.K11.3.1面向開發(fā)發(fā)的單元元測試工工具11.3.2負載和性性能測試試工具11.3.3GUI功能測試試工具11.3.4基

22、于Web應用的測測試工具具11.3.5軟件測試試管理和和其他工工具面向開發(fā)發(fā)的單元元測試工工具根據(jù)不同同的語言言進行分分類:C/C+單元級測測試工具具PanoramaC+，C+Test，NumegaJUnit是一個開開發(fā)源代代碼的Java測試框架架根據(jù)工具具的功能能特點進進行分類類：內(nèi)存資源源泄漏檢檢查工具具：Numega中的BounceChecker, Rational的Purify等代碼覆蓋蓋率檢查查工具：Numega的TrueCoverage, Rational的PureCoverage，TeleLogic公司的Logiscope代碼性能能檢查工工具：Logiscope和Macabe等。

23、軟件糾錯錯工具RationalPurl等。Zhu.K負載和性性能測試試工具屬性LoadRunner /MIQALoad /CompuwareWebLoad/Radview價格昂貴較貴一般安裝配置簡單簡單一般操作性較復雜簡單簡單支持測試對象各種中間件/數(shù)據(jù)庫/應用服務器的性能監(jiān)控/企業(yè)架構(j2ee和.net)的測試客戶/服務器系統(tǒng)、企業(yè)資源配置(ERP)和電子商務應用Web Application支持平臺windows,unix或linuxHP-UX, IBM AIX,Sun Solaris, Linux, NT/2kUnix Windows支持數(shù)據(jù)庫DB2, SQLserver, Orcal

24、e, SybaseADO, DB2, Oracle, Sybase, SQLserver, OdbcADO, DB2, Oracle, Sybase, SQLserver, Odbc支持協(xié)議web,http(s), soap, streaming, wap, winsock, xmlhttp, ssl, oap, xml, streaming, mediaxml,java,ejb,activex,wap,http,snmp,real/m$streaming腳本語言類似C+C/C+和VC+Javascript自動數(shù)據(jù)生成YYY腳本調試YYY報表定制功能YYYZhu.KGUI功能測試試工具將操作應

25、應用程序序的各種種動作和和輸入記記錄下來來，包括括鍵盤操操作、鼠鼠標點擊擊等捕捉捉(Record)下來，生生成一個個腳本文文件，這這個腳本本以后可可以被“回放（playback）”。在實際際測試過過程中，要根據(jù)據(jù)測試需需求對錄錄制的腳腳本進行行一些必必要的修修改或加加入一些些參數(shù)，如選擇擇不同的的測試數(shù)數(shù)據(jù)、腳腳本中插插入檢查查點（CheckPoint）進行跟跟蹤調試試等?；贕UI功能測試試工具主主要適合合回歸測測試階段段。當一一個應用用開發(fā)基基本完成成后，程程序界面面基本定定型，雖雖然業(yè)務務的需求求會很頻頻繁變化化，但測測試腳本本結構基基本不需需要改動動，只需需要做些些小調整整，就可可以自

26、動動運行，則可大大大提高高了測試試的效率率和測試試的準確確性。目前主要要產(chǎn)品有有MI公司的WinRunner，Compuware的QARun，Rational的SQARobot，MSVisualTestSuite等Zhu.KGUI自動化測測試設計測試試用例，并手工工進行測測試。如果測試試未通過過，則先先改正缺缺陷，再再次執(zhí)行行測試。如果測試試通過，利用測測試工具具運行該該測試過過程，捕捕獲運行行過程需需要檢測測的屏幕幕對象，并保存存。在進行回回歸測試試測試，自動利利用測試試工具運運行測試試，并比比較運行行過程的的屏幕對對象與保保存的屏屏幕對象象比較，從而判判斷測試試用例是是否通過過。Zhu.K

27、基于Web應用的測測試工具具基于Web應用的測測試工具具主要進進行鏈接接檢查、HTML檢查、Web功能和Web站點安全全性等各各個方面面的測試試。主要Web測試工具具有MI公司的Astra系列（如如AstraQuickTest）、RSW公司的E-TestSuite等；Web系統(tǒng)測試試工具:WorkBench、WebApplicationStress Tool（WAS）、頁面面鏈接測測試Link Sleuth等。Zhu.KWebsite性能測試試測什么么？各種操作作的響應應速度最大并發(fā)發(fā)用戶數(shù)數(shù)最大數(shù)據(jù)據(jù)容量ACT(ApplicationCenter Test)Zhu.KACT測測試中的的常見術

28、術語RPS(RequestPer Second)并發(fā)連接接數(shù)(Simultaneous BrowserConnections)思考時間間(ThinkingTime)RPS+SBC+ThinkingTime =Concurrentusers?Zhu.KACT測試的步步驟創(chuàng)建測試試腳本手工編寫寫VBScript錄音并修修改運行測試試腳本設定并發(fā)發(fā)用戶數(shù)數(shù)設定用戶戶身份運行、觀觀察、獲獲取主觀觀體驗理解結果果報告圖表各項性能能統(tǒng)計數(shù)數(shù)字日志文件件Zhu.K解讀ACT測試結果果TTFB,TTLBHTTP錯誤的含含義401403404500常見的ACT結果圖線線Zhu.K其他Web負載發(fā)生生工具Micr

29、osoftsWebApplicationStress ToolCyranosOpenSTAQuestSoftwares BenchmarkFactoryEmpirixsE-Test Suite 6.0RadViewsWebLoad5.0RationalSoftwares Rational RobotMercury InterctivesAstraLoadRunner 7.5CompuwaresQALoad 4.7SegueSoftwares SilePerformer5.0Zhu.K11.4Rational產(chǎn)品的整整體解決決方案Zhu.K11.4.1Rational測試產(chǎn)品品結構11.4.2R

30、ational全套測試試解決方方案的特特點TestManager：集中、可可伸縮的的測試管管理平臺臺Robot：傳統(tǒng)應用用自動化化測試工工具RobotJ：Web/Java自動測試試工具ClearQuest：缺陷跟蹤蹤工具Rational系統(tǒng)測試試方案CoverageQuantifyPurifyPlanTestTestManagerDesignTestTestManagerImplementTestRobotRobotJTestManagerExecuteTestRobotRobotJTestManagerEvaluateTestClearQuestTestManagerChange Reque

31、st and Configuration Management - ClearQuest and ClearCase LTRational Unified ProcessZhu.KTestManager:控制中心心View ResultsPassFailCoverage reports Generate change requestsTest DesignOS/VerMemDiskTest IterationsTest ConfigurationsTest PlanTest CasesTest InputsAdaptersInputRobot GUI and VU ScriptsVB or J

32、ava scriptsExternal Scripts on other OSsExecutionAdaptersRational TestManagerZhu.KTestManager和ClearQuest集成Zhu.KTestManager:跨越整個個測試周周期Zhu.K自動實現(xiàn)現(xiàn)缺陷與與需求之之間的關關聯(lián)Zhu.K測試度量量:覆覆蓋,趨趨勢等等Zhu.KRobotGUI的自動功功能測試試2.執(zhí)執(zhí)行測試試腳本OKFind執(zhí)行腳本檢驗結果報告錯誤迭代1. 創(chuàng)建測試腳本選擇測試需求錄制操作過程（面向對象錄制）插入驗證點編輯生成的腳本（可選） Zhu.K和白盒工工具集成成Zhu.KRobotJ：

33、測試Java和Web應用ScriptAssureDynamic DataValidation技術保證證了即使使對象名名稱發(fā)生生改變，測試腳腳本也能能正常回回放驗證動態(tài)態(tài)內(nèi)容利用Eclipse這一標準準的IDE環(huán)境，同同時提供供與版本本控制工工具的集集成ProfessionalLanguageandIDENEWTechnology forJava andWebBasedApplicationsZhu.KScriptAssure:降低了測測試腳本本的維護護成本Version 1.0Version2.0Determines Match?TesterseesToolseesZhu.K動態(tài)數(shù)據(jù)據(jù)驗證：可

34、伸縮的的測試腳腳本OrderIDchanges witheachorderplacedTest Fails whencomparing staticbaselinetodynamic dataTest Passeswhen comparingpattern baseline to dynamicdata動態(tài)內(nèi)容容匹配利用模式式匹配技技術來驗驗證數(shù)據(jù)據(jù)如不是驗驗證“OrderID230”,而是“OrderID#”當驗證應應用的行行為時，考慮了了各種不不同的合合法響應應Zhu.K業(yè)界標準準的IDE和測試腳腳本語言言Eclipse集成環(huán)境境調試器、代碼編編輯器使用標準準的Java語言作為為測試腳腳本

35、語言言Zhu.KZhu.K11.5.1MI產(chǎn)品結構構11.5.2MI三個重量量級產(chǎn)品品的介紹紹11.5 MI產(chǎn)品的整整體解決決方案MI產(chǎn)品結構構Zhu.K LoadRunner WinRunner TestDirector Astra QuickTest Astra LoadTest Topaz Prism ActiveTest ActiveWatch測試監(jiān)控軟件MSP被測系統(tǒng)LoadRunner的解決方方案Web服務器數(shù)據(jù)庫服務器壓力產(chǎn)生虛擬用戶壓力測試機解決測試資源的限制利用圖表表工具分分析測試試結果利用錄制制的腳本本進行回回歸測試試AnalysisController運行大量量的“Virtual Users”在不同的的機器上上利用“Virtual Users”代替