碩士學(xué)位論文 （ 軟件工程 ） 數(shù)字電視應(yīng)用 平臺 的自動化測試 設(shè)計與實(shí)現(xiàn) 姓 名： 莊子健 學(xué) 號： 0921170225 所在院系： 軟件 學(xué)院 職業(yè)類型：軟件工程 專業(yè)領(lǐng)域：軟件工程 指導(dǎo)教師：王介之 ， 張惠娟 校外導(dǎo)師： 王忠全 二 一三年九月 A in 2013 0921170225 of V 數(shù)字電視應(yīng)用平臺的自動化測試設(shè)計與實(shí)現(xiàn) 莊子健 同濟(jì)大學(xué) 軟件學(xué)院 學(xué)位論文版權(quán)使用授權(quán)書 本人 完全了解同濟(jì)大學(xué)關(guān)于收集、保存、使用學(xué)位論文的規(guī)定，同意如下各項(xiàng)內(nèi)容：按照學(xué)校要求提交學(xué)位論文的印刷本和電子版本；學(xué)校有權(quán)保存學(xué)位論文的印刷本和電子版，并采用影印、縮印、掃描、數(shù)字化或其它手段保存論文；學(xué)校有權(quán)提供目錄檢索以及提供本學(xué)位論文全文或者部分的閱覽服務(wù)；學(xué)校有權(quán)按有關(guān)規(guī)定向國家有關(guān)部門或者機(jī)構(gòu)送交論文的復(fù)印件和電子版；在不以贏利為目的的前提下，學(xué)校可以適當(dāng)復(fù)制論文的部分或全部內(nèi)容用于學(xué)術(shù)活動。 學(xué)位論文作者簽名： 年 月 日 同濟(jì)大學(xué)學(xué)位論文原創(chuàng)性聲明 本人鄭重聲明：所呈交的學(xué)位論文，是本人在導(dǎo)師指導(dǎo)下，進(jìn)行研究工作所取得的成果。除文中已經(jīng)注明引用的內(nèi)容外，本學(xué)位論文的研究成果不包含任何他人創(chuàng)作的、已公開發(fā)表或者沒有公開發(fā)表的作品的內(nèi)容。對本論文所涉及的研究工作做出貢獻(xiàn)的其他個人和集體，均已在文中以明確方式標(biāo)明。本學(xué)位論文原創(chuàng)性聲明的法律責(zé)任由本人承擔(dān)。 學(xué)位論文作者簽名： 年 月 日同濟(jì)大學(xué) 碩士學(xué)位論文 摘要 I 摘要 為了保證所提交的軟件產(chǎn)品能夠滿足客戶的需求 ,確保產(chǎn)品 在使用中的可靠性 ， 必須對所開發(fā)的軟件產(chǎn)品進(jìn)行系統(tǒng)而全面的測試。軟件測試是軟件質(zhì)量保證工程的一個重要組成部分 ,也是最重要的質(zhì)量保證手段。無論是面向?qū)ο筌浖_發(fā)還是傳統(tǒng)的面向過程軟件開發(fā) ,軟件測試歸根結(jié)底要通過一套比較成熟的測試技術(shù)和方法來實(shí)現(xiàn) 。隨著軟件規(guī)模的不斷擴(kuò)大 ,測試工作的復(fù)雜性也不斷升高 ,而改善、提高軟件易測試性則是降低測試復(fù)雜性的有效手段。為達(dá)到這一目標(biāo) ,首先要 對軟件的易測試性進(jìn)行準(zhǔn)確的度量 。 這種度量結(jié)果除了作為軟件度量的一個量化指標(biāo)外 ,還應(yīng)能為改善易測試性提供指導(dǎo)、為測試的設(shè)計提供有效幫助。 本文主要從數(shù)字電視應(yīng)用項(xiàng)目的軟件測試實(shí)踐出發(fā) ,闡述了軟件測試的基本原理和意義。主要的研究內(nèi)容有以下 二 個方面 ： 第一 ,對數(shù)字電視應(yīng)用系統(tǒng)基礎(chǔ)體系進(jìn)行了研究和分析 ,建立了一整套測試用例 ； 第二 ,針對功能測試 ,開發(fā)了一套實(shí)用的測試腳本 。 根據(jù)系統(tǒng)設(shè)計 用例 ,選用合適的測試工具 制定自動化測試腳本 。 這樣可有效地提高系統(tǒng)回歸測試 質(zhì)量 ,提升回歸測試 效率 ,確保 產(chǎn)品質(zhì)量穩(wěn)定 。 關(guān)鍵詞 : 軟件 測試 ； 自動化測試 ； 測試管理I to be by of a to it in in a or be by a of on of is of is an to of is to a be of be to to my on V on of on of to 1. V to a of 2. a of on of to be to an of so be of 碩士學(xué)位論文 目錄 錄 第 1章 概述 . 5 述 . 5 外研究現(xiàn)狀 . 5 內(nèi)軟件測試行業(yè)的現(xiàn)狀與趨勢 . 6 題來源 . 7 究目標(biāo) . 7 文組織與結(jié)構(gòu) . 8 第 2章 軟件自動化測試的基本理論 . 9 件自動化測試的概述 . 9 件自動化測試的優(yōu)缺點(diǎn) . 10 件自動化測試的優(yōu)點(diǎn) . 10 件自動化測試的缺點(diǎn) . 10 件 自動化測試的準(zhǔn)入條件 . 11 動化測試的流程 . 12 動化測試框架的提出背景和種類 . 14 動化測試 框架提出的背景 . 14 動化測試框架的種類 . 15 章小結(jié) . 16 第 3章 . 17 . 17 . 17 . 18 試驗(yàn)證的實(shí)現(xiàn) . 18 . 20 章小結(jié) . 20 第 4章 數(shù)字電視平臺應(yīng)用的需求分析 . 21 目背景 . 21 統(tǒng)簡介 . 21 作流程 . 21 同濟(jì)大學(xué) 碩士學(xué)位論文 目錄 項(xiàng)目測試背景及要求 . 22 能性需求分析 . 23 口模塊 . 23 口模塊 . 29 口模塊 . 32 能需求分析 . 36 件系統(tǒng)耗時功能分析 . 36 戶訪問量 . 36 統(tǒng)業(yè)務(wù)量和系統(tǒng)處理能力 . 36 章小結(jié) . 37 第 5章 數(shù)字電視平臺自動化測試框架的設(shè)計與實(shí)現(xiàn) . 38 動化測試框架的設(shè)計 . 38 試用例流程數(shù)據(jù)搭建表 . 38 試用例運(yùn)行配置表 . 40 動化測試框架的實(shí)現(xiàn) . 41 據(jù)準(zhǔn)備模塊實(shí)現(xiàn)方法 . 41 線程組模塊 . 43 動化測試的結(jié)果與分析 . 51 能測試結(jié)果 . 51 動化測試估算 . 53 算 . 54 動化測試分析 . 55 際 . 57 章小結(jié) . 57 第 6章 結(jié)論與展望 . 58 論 . 58 一步工作的方向 . 58 參考文獻(xiàn) . 60 個人簡歷、在讀期間發(fā)表的學(xué)術(shù)論文與研究成果 . 62 第 1 章 概述 5 第 1 章 概述 述 隨著軟件產(chǎn)品在各個應(yīng)用領(lǐng)域的普及 ,軟件的質(zhì)量問題逐漸成為人們關(guān)注的焦點(diǎn)。質(zhì)量不過關(guān)的軟件產(chǎn)品在使用中可能出現(xiàn)各種意想不到的問題 ,不但影響正常的操作、增加使用成本 ,甚至?xí)a(chǎn)生嚴(yán)重的或?yàn)?zāi)難性的后果 1。另一方面 ,軟件的質(zhì)量問題也會增加軟件開發(fā)商的維護(hù)費(fèi)用 ， 影響其信 譽(yù)和形象 ， 甚至導(dǎo)致經(jīng)濟(jì)或法律糾紛。因此不論軟件用戶還是開發(fā)商都希望 軟件 質(zhì)優(yōu)， 可靠性 強(qiáng) 。 然而 ,完美無缺的軟件是不存在的 ,有錯是軟件的必然屬性。導(dǎo)致軟件錯誤的原因是多方面的 ,開發(fā)商對用戶要求認(rèn)知的不深刻、軟件本身的復(fù)雜性、軟件開發(fā)工具存在的局限 性 、軟件開發(fā)中的人為錯誤、時間壓力等等 ，這些都 影響 著 產(chǎn)品的順利開發(fā) ,從而導(dǎo)致軟件開發(fā)成本、進(jìn)度和質(zhì)量上的失控。 然而， 經(jīng)過軟件專家和相關(guān)人員的研究 分析 ,發(fā)現(xiàn)軟件的質(zhì)量問題僅僅通過開發(fā)人員的認(rèn)真和仔細(xì)是不能消除的 ,程序語言的更新?lián)Q代對提高軟件的可靠性也收效甚微。隨著軟件工程 學(xué)的興起和軟件開發(fā)的工程化 ,人們認(rèn)識到新的語言、先進(jìn)的技術(shù)和完善的管理仍然不能杜絕軟件中的錯誤 ,而軟件測試則在這一工程化的過程中逐漸擔(dān)負(fù)起評價和發(fā)現(xiàn)錯誤的責(zé)任 ,成為軟件開發(fā)的重要部分。 實(shí)踐 表明在典型的軟件開發(fā)項(xiàng)目中 ,軟件測試的工作量往往占軟件開發(fā)工作總量的 40%,由此產(chǎn)生的費(fèi)用要占 總成本 的 30%其重要性不言而喻。 外研究現(xiàn)狀 在國外 軟件測試 中， 大量有組織的研究工作可以追溯到上 世紀(jì) 70 年代。 1972年 6 月在美國北卡羅來納大學(xué)召開首屆軟件測試正式技術(shù)會議，成為軟件測試技術(shù)發(fā)展中的一個重要里程碑 9。由此次會議為起點(diǎn)， 軟件測試作為軟件工程的一個重要組成部分成為軟件業(yè)關(guān)注并研究的新 方向和 新 領(lǐng)域 4。 由于軟件測試在國外的起步大大早于國內(nèi)，軟件測試 技術(shù) 特別是自動化測試技術(shù) 其 發(fā)展要更加成熟完善。在自動化工具的研發(fā)上諸如 發(fā)的 發(fā)的 商業(yè)工具都是出自國外企業(yè)之手 5，并且也 根據(jù)形勢定期發(fā)布新版本更新。從 21 世紀(jì) 初起 ，國外 對自 動化測試研究逐漸開始 從對 自動化測試工具的研究轉(zhuǎn)向了 對 自動化測試的整體運(yùn)行和具體實(shí)施方面的研究。一套第 1 章 概述 6 自動化測試的順利實(shí)施需要包含從開發(fā)到測試團(tuán)隊(duì) 各 個方面的配合 10。 開發(fā)并 合理 使用自動化測試腳本和驅(qū)動模式不僅 能 達(dá)到 在測試階段降低執(zhí)行成本的目的，同時 也能 使自動化測試 的 自身開發(fā)復(fù)雜 性 和周期 性 下降。為了達(dá)到這個目的，國外 很多 企業(yè)提出 ， 并且設(shè)計了各種開發(fā)驅(qū)動模式 ，而 且在實(shí)際中 也 得 到了 很好的應(yīng)用 。 其中 有： 出的 2003 年提出的 21， 第三次國際自動化測試研討會 中 提出的 0，之前被廣泛使用的自動化組件測試 (19， 以及 目前非常流行的 些 在實(shí)際生產(chǎn)過程中 都得到 了 驗(yàn)證 ，具 有非常良好 的 效果。 相比國外，國內(nèi)的自動化測試發(fā)展 顯得 還處于比較初級的階段 。 自動化測試工具大多數(shù)還是使用國外的產(chǎn)品，或者對現(xiàn)有的開源自動化工具進(jìn)行二次開發(fā)6。而在自動化測試的推 廣實(shí)施上，畏懼 自動化測試 成本 較高的前期投入，大多數(shù)公司 企業(yè) 還處于比較保守的嘗試階段 。 但隨著軟件業(yè)的迅猛發(fā)展，軟件測試的必要性和 價值 日趨顯現(xiàn)。 自動化測試成為軟件測試的必由之路已經(jīng)毋庸置疑 。 很多國內(nèi)大企業(yè)開始 根據(jù) 自己企業(yè)的實(shí)際情況開發(fā) 應(yīng)用 相應(yīng)的自動化測試框架 ， 甚至工具，比如淘寶的 動化測試框架 18， 自動化測試 7： 2：1 的比例 等， 都為國內(nèi)自動化測試發(fā)展 引領(lǐng)了方向 。 內(nèi) 軟件測試行業(yè)的現(xiàn)狀 與趨勢 在國內(nèi)軟件 消費(fèi)市場 經(jīng)常出現(xiàn)一些產(chǎn)品 ,由 于 存在嚴(yán)重缺陷， 導(dǎo)致大量退貨。這對 軟件 定制 行業(yè)來 說 造成了 一再的 返工 ，無休止的 修改和維護(hù) 。這樣 既拖死了軟件提供商 ,也耽誤了客戶的正常業(yè)務(wù) 運(yùn)作 。 這一現(xiàn)狀使用戶對國內(nèi)軟件提供商失去信心 ,經(jīng)常聽到有人抱怨 ,國內(nèi)軟件質(zhì)量不高。 要提高我國的軟件測試行業(yè)的發(fā)展水平，首先要解決人才的問題。一方面要提高國內(nèi)企業(yè)對軟件測試的重視程度，另一方面要壯大軟件測試隊(duì)伍，提高測試人員的素質(zhì)。國內(nèi)很多軟件企業(yè)對軟件測試的重要性了解不夠，重開發(fā)輕測試的現(xiàn)象較為嚴(yán)重，很多公司測試工程師太少，沒有專門的測試部門，開發(fā)人員同時做測試工作的現(xiàn)象較為普遍，尤其在中小型軟件企業(yè)中這種現(xiàn)象特別突出 。要改變這種現(xiàn)狀，需要一個漫長的過程 。不過隨著中國市場 透明度 的 提高，產(chǎn) 品質(zhì)量問題將成為軟件企業(yè)能否繼續(xù)發(fā)展壯大的關(guān)鍵所在，這也 促使 越來越多的企業(yè)管理者意識到產(chǎn)品測試的重要性，也會將越來越多的精力投入到測試工作中 7。 第二， 要善于學(xué)習(xí)與吸收。我們中國人具有很強(qiáng)的學(xué)習(xí)能力，但在軟件測試這一塊，我們有太多 東西要 學(xué) ,尤其 要學(xué)習(xí)國外的先進(jìn)技術(shù)及經(jīng)驗(yàn)。國外有完善第 1 章 概述 7 的測試機(jī)制，有豐富的軟件測試經(jīng) 驗(yàn)，有強(qiáng)大的測試工具，有優(yōu)秀的測試管理隊(duì)伍。 這些我們都應(yīng)好好地學(xué)習(xí)，確立與國外先進(jìn)水平相同的技術(shù)指標(biāo)和質(zhì)量標(biāo)準(zhǔn)，解決測試手段落 后、測試方法單一和測試工具欠缺的問題，在行業(yè)內(nèi)部形成一個嚴(yán)密有效的糾錯系統(tǒng)，使國內(nèi)的測試工作流程、技術(shù)水平接近國外先進(jìn)水平，這樣才能提高國內(nèi)軟件開發(fā)與測試的整體管理水平，增加軟件產(chǎn)品的競爭力。 第三，大力發(fā)展第三方的專業(yè)測試公司，重視利用第三方的測試力量進(jìn)行測試。如果讓企業(yè)從頭去建立測試部門，完善測試質(zhì)量體系，需要較多的資金投入，增加企業(yè)的運(yùn)營成本，而且技術(shù)支持和技術(shù)培訓(xùn)也得從頭做起，往往很困 難。而將研發(fā)出來的軟件產(chǎn)品交給實(shí)力強(qiáng)勁的第三方專業(yè)測試機(jī)構(gòu)，不 僅能大大 提高軟件產(chǎn)品的質(zhì)量 ，而且還節(jié)約了產(chǎn)品測試成本。 這樣 第三方專業(yè)測試機(jī)構(gòu)將越來越多，規(guī)模也將越來越大 8。目前國內(nèi)很多地方都有了軟件產(chǎn)品檢測中心，此類機(jī)構(gòu) 依靠技術(shù)與服務(wù)來征服客戶 。 注重測試方法與質(zhì)量，國外在這一方面發(fā)展得很好 。隨著軟件測試行業(yè)的發(fā)展， 提高和完善，也會象軟件開發(fā)行業(yè)一樣出現(xiàn)分工上的細(xì)化，測試人員等級的劃分 。 比如 ， 初級測試員，測試工程師，高級測試工程師，測試設(shè)計師，測試經(jīng)理等，同時也會出現(xiàn)各種各樣的國家認(rèn)證、企業(yè)認(rèn)證、國際認(rèn)證等，所以我們需要不斷地學(xué)習(xí)，不斷地提高測試水平。 題來源 本課題源于筆者 工程項(xiàng)目產(chǎn)品 ： “ 。 統(tǒng) 是 司針對國內(nèi)市場推出的一套視頻服務(wù)產(chǎn)品，能夠 為客戶提供實(shí)現(xiàn)媒體流點(diǎn)播，錄播，實(shí)時收看等多種媒體服務(wù)功能 硬件和軟件的架構(gòu) 。 筆者 參與了這個項(xiàng)目的測試工作，主要負(fù)責(zé)系統(tǒng)中的隨心點(diǎn)播應(yīng)用的測試用例設(shè)計，測試的管理，測試文檔的維護(hù)，測試環(huán)境的搭建，自動化測試軟件的設(shè)計與開發(fā)以及 究目標(biāo) 筆者在 作 期間 參與 及的軟件自動化測試 研究范圍僅限于黑盒測試。筆者所在的測試與工具小組根據(jù)公司的具體情況設(shè)計了一套引入自動化測試的解決方案 ， 并自主開發(fā)出一套通用測試 平臺。 本課題研究主要集中在以下幾個方面 ： (1) 根據(jù) 統(tǒng)的需求設(shè)計測試用例。 (2) 針對測試的特點(diǎn) ,開發(fā)出一套簡單易用的 自動化測試腳本 。 (3) 對整個自動化測試框架流程進(jìn)行總體設(shè)計 。 第 1 章 概述 8 (4) 在整個項(xiàng)目實(shí)施過程中 , 編寫與管理 指定項(xiàng)目進(jìn)度。 本項(xiàng)目自動化測試的目標(biāo)是： 提升工作效率 50%,加快測試進(jìn)度 50%,控制產(chǎn)品的 0%以下 。 文組織與結(jié)構(gòu) 本文的結(jié)構(gòu)主要包含 ： 概述 、 軟件自動化測試的基本理論 、 紹 、 基于 基于 結(jié)論與展望 。 概述 主要敘述了課題的背景及來源 ， 研究意義 ， 國內(nèi)外發(fā)展概況 ， 以及研 究現(xiàn)狀和目標(biāo)。 軟件自動化測試的基本理論介紹 ， 包括自動化測試優(yōu)缺點(diǎn)，準(zhǔn)入和準(zhǔn)出條件，自動化測試的流程，自動化測試框架的提出背景和種類。 包括 基于 基于 動化測試框架的 設(shè)計 ， 實(shí)現(xiàn) 與 結(jié)果分析 。對于所設(shè)計的各個模塊進(jìn)行詳細(xì)分析設(shè)計及具 體開發(fā)實(shí)現(xiàn)。 總結(jié)部分 ， 概括了工作成果 ， 對下一步工作的展望以及對論文的完成作了一個總結(jié)。 第 2章 軟件自動化測試的基本理論 9 第 2 章 軟件自動化測試的基本理論 件自動化測試的概述 在整個軟件開發(fā) 過程中，軟件測試一般會占 40%60%的比重，這就決定了軟件測試高強(qiáng)度的工作量。而在這些大量的工作中，重復(fù)的測試又占有很大的比重 。無論是迭代的開發(fā) 模式， 還是 新版本功能的發(fā)布，都會大量 地 重復(fù)回歸測試工作。如果一直依靠測試人員手工去完成這些重復(fù)的，大量的， 需要 注意力 高度 集中 的工作，不但會使測試人員不堪重負(fù)，也會對軟件測試質(zhì)量產(chǎn)生影響?；谶@種情況，用機(jī) 器代替測試人員手工去自動完成大量重復(fù)的測試執(zhí)行工作成了必然的選擇。 自動測試相對于手工測試而言，其主要進(jìn)步在于 引入 自動測試工具。自動 化測試 可 定義為： 各種測試活動的管理與實(shí)施，包括測試腳本的開發(fā)與執(zhí)行，以便使用一種自動測試工具來驗(yàn)證測試需求 。自動化測試的本質(zhì)就是通過工具模擬手工測試一切 操作，包括手工測試整個流程以及測試方式，其中主要 包括自動完成測試用例的前提條件，模擬手工測試對被測系統(tǒng)進(jìn)行流程操作，自動化驗(yàn)證比較實(shí)際值和預(yù)期值，完成整個測試中對檢查點(diǎn)情況報告，同時整個 自動化測試流程必須與手工測試的各個階段路 程 相 一致。 自動化測試主要目的是在保證質(zhì)量的前提條件下為企業(yè)節(jié)省成本和時間。 穩(wěn)定的自動化測試是現(xiàn)代軟件開發(fā)的一個重要組成部分，它除了能夠代替部分手工測試，還能夠完成許多手工無法完成的一些測試工作，從而提高軟件質(zhì)量，縮短產(chǎn)品發(fā)布周期，提高測試效率 。除此之外，由于自動化測試將承擔(dān)大量的手工測試工作，相應(yīng)的測試人員 必須要 有時間和精力 ， 深入 研究軟件 業(yè)務(wù)路程和相應(yīng)的測試技術(shù)，設(shè)計出新的更有價值的測試用例，從而提高和改善軟件的整體質(zhì)量，最終達(dá)到保證軟件產(chǎn)品質(zhì)量，提高客戶信心，加強(qiáng)企業(yè)市場競爭力的最終目標(biāo) 14。 自動化測試的初期準(zhǔn)備成本要遠(yuǎn)遠(yuǎn)大于手工測試，因?yàn)槟_本本身不僅需要經(jīng)過創(chuàng)建 ，調(diào)試，更要根據(jù)系統(tǒng)的修改要 進(jìn)行及時的變化。但只要規(guī)劃管理得當(dāng)，同時增加腳本的復(fù)用性，那么 在測試執(zhí)行時所帶來的回報也大大超過手工測試，一般而言，在同等條件 下 ，自動化測試的執(zhí)行效率要比手工測試快上 23倍 15，同時所有的結(jié)果具有絕對的客觀性。 第 2章 軟件自動化測試的基本理論 10 件自動化測試的優(yōu)缺點(diǎn) 件自動化測試的優(yōu)點(diǎn) 自動化測試的優(yōu)點(diǎn)主要包括以下幾點(diǎn)： (1) 速度快： 自動化測試是使用某些特定的自動化測試工具進(jìn)行測試 執(zhí)行 ，其頁面操作和期望值對比的速度要遠(yuǎn)遠(yuǎn)大于測試人員 手工操作。一般來說其速度是手工測試的 23 倍。 (2) 循環(huán)執(zhí)行： 在硬件及環(huán)境允許的前提條件下，自動化測試的執(zhí)行工作可以無限次 重復(fù)執(zhí)行同一套腳本。 (3) 可復(fù)用性： 自動化測試的測 試用 例 ，其物理表現(xiàn)形式 則 是一套腳本代碼， 它 繼承了代碼可以復(fù)用的 基本特征，在測試領(lǐng)域 能 更好進(jìn)行 拓展。每套自動化測試腳本只要劃分得當(dāng)，都可以被其他的自動化測試用例所復(fù)用，從而 可 節(jié)省自動化測試用例的準(zhǔn)備和維護(hù)成本。 (4) 可信性： 自動化測試的主要執(zhí)行者是自動化測試工具， 在執(zhí)行過程中，不可能存在執(zhí)行者的主觀因素對測試結(jié)果 產(chǎn)生 影響 。它的優(yōu)勢是借助于計算機(jī)的計算能力，可以重復(fù)地、不知疲倦地運(yùn)行 。 對于數(shù)據(jù)，能進(jìn)行精確的 ， 大批量的比較，而且不會出錯 。 在同等的情況下，可信度要比手工測試更 高 。 件自動化測試的缺點(diǎn) 自動化測試的缺點(diǎn)主要包括以下幾點(diǎn)： (1) 成本高 自動化測試的成本主要包括以下三個方面 ： 自動化測試工具的購買成本 自動化測試工具是某個特定的軟件，若使用商業(yè)自動化測試工具，必須 事先對工具的使用權(quán)進(jìn)行額外的購買。 自動化測試工具及其腳本語言的培訓(xùn)成本 自動化測試工具及其相關(guān) 腳本語言的使用 與 被測 系統(tǒng)本身沒有任何的關(guān)系，在使用自動化測試之前，對于這方面的培訓(xùn) 成本必 須額外進(jìn)行考慮。 第 2章 軟件自動化測試的基本理論 11 自動化測試腳本的創(chuàng)建和維護(hù)成本 自動化測試腳本 的創(chuàng)建和維護(hù)相對于手工測試用例的創(chuàng)建和維護(hù)而言難度要大很多，所花費(fèi)的時間和成本也 更為巨大。一般而言，自動化測試腳本的創(chuàng)建和維護(hù)成本要比手工測試用例的創(chuàng)建和維護(hù)高 達(dá) 70%以上。 (2) 測試準(zhǔn)備周期長 自動化測試的執(zhí)行速度要比手工測試快很多，但相對的 測試 準(zhǔn)備周期要比手工測試 長很多。撇開事先的自動化工具和腳本語言的培訓(xùn)時間不算，由于自動化測試創(chuàng)建的過程 實(shí)際 上是代碼開發(fā)的過程，從代碼方法的設(shè)計，代碼的創(chuàng)建， 到 調(diào)試等步驟一樣都不能少，所以其花費(fèi)時間要遠(yuǎn) 多 于手工 測試用例的設(shè)計。 (3) 靈活度不夠 自動化測試的主體是自動化測試工具，所以在測試執(zhí)行前，所有的測試路徑必須都預(yù)制 于 腳本內(nèi)，腳本會忠實(shí)的執(zhí)行這些路徑 。在 執(zhí)行過程中， 若遇到 預(yù)制路徑發(fā)生變化，腳本 便 無法辨識 ， 從而導(dǎo)致最終結(jié)果的失敗。 軟件自動化測試的準(zhǔn)入條件 基于自動化測試自身的優(yōu)點(diǎn)使很多軟件公司對他青睞有加，但其顯著的缺點(diǎn)也預(yù)示自動化測試的引入并不是無門檻的 。 軟件的自動化 測試 是一個漸近的過程，自動化測試既不能解決軟件測試中的所有問題，也不意味著任何軟件測試都可以自動化。 據(jù)統(tǒng)計，利用測試工具只能發(fā)現(xiàn) 15左右的缺陷， 而通過手工測試可以發(fā)現(xiàn)大約 85的缺 陷。購買軟件測試工具包并不意味著實(shí)現(xiàn)了軟件測試過程。 一般而言，若想引入自動化測試需要具備以下的幾個條件 ： (1) 對自動化測試有一個統(tǒng)一 正確的認(rèn)識 認(rèn)清使用自動化測試的目的。自動化測試 可 幫助測試人員從大量的 ， 重復(fù)的測試執(zhí)行工作中解放出來 ， 為企業(yè)節(jié)省相應(yīng)的執(zhí)行成本和時間。 自動化測試并不是萬能，并不是所有的測試都適合使用自動化測試 。 100%自動化測試覆蓋率是不可能實(shí)現(xiàn)的。 自動化測試的初期成本 大大高于手工測試 。 若在初期沒有很好 規(guī)劃自動化測試的結(jié)構(gòu)和方法， 之后的維護(hù)成本會成幾何式 上升 ，大大超過手工測試 成本。 第 2章 軟件自動化測試的基本理論 12 自動化測試 以手工測試為基礎(chǔ) 。 一套優(yōu)秀的自動化測試腳本必然源于一套優(yōu)秀的手工測試用例。自動化測試無法完全 替代 手工測試。 (2) 已存在一套標(biāo)準(zhǔn)的軟件測試流程 自動化測試 整 體 必須依靠 現(xiàn)有的軟件測試流程而實(shí)現(xiàn) 。 相對而言，自動化測試的每個階段都滯后于軟件測試的相應(yīng)階段 。 軟件測試流程的混亂勢必造成自動化測試的混亂，從而導(dǎo)致自動化測試無法達(dá)到預(yù)期的效果。 (3) 確保測試部門有足夠的資源從事自動化測試 相對于手工測試，自動化測試對相關(guān)的測試人員有一定代碼編寫能力的要求，特別是在自動化測試初期， 涉及 自動化測試的 策略，計劃，實(shí)現(xiàn)方式，架構(gòu)設(shè)計等各個步驟 的 確認(rèn)和實(shí)現(xiàn) ， 對相關(guān)人員的技術(shù)是極大的考驗(yàn)， 因?yàn)檫@些 直接關(guān)系到之后的自動化測試在整個測試部門的使用。 動化測試的流程 自動化測試的流程 完全依附于整體的測試流程 。 圖 自動化測試的流程及其在整體測試流程中的運(yùn)行情況。 第 2章 軟件自動化測試的基本理論 13 自 動 化 測 試 在 整 體 測 試 流 程 中 的 運(yùn) 行設(shè)計測試用例準(zhǔn)備測試計劃執(zhí)行測試用例遞交測試報告單 元 測 試 集 成 測 試 系 統(tǒng) 測 試 驗(yàn) 收 測 試 回 歸 測 試自 動 化 測 試 計 劃準(zhǔn) 備自 動 化 工 具 評 估自 動 化 工 具 可 行性 研 究確 定 自 動 化 測 試 用例設(shè) 計 和 開 發(fā) 自 動 化測 試 腳 本試 運(yùn) 行 自 動 化 測 試腳 本執(zhí) 行 自 動 化 測 試腳 本自 動 化 測 試 報 告遞 交圖 動化測試在整體測試流程中的運(yùn)行情況 如圖所示在整個自動化測試流程中一般需要經(jīng)歷以下 8 個階段： (1) 自動化測試計劃準(zhǔn)備 制訂一個合適的目標(biāo)計劃對自動化測試的成功實(shí)施至關(guān)重要。測試計劃包 含了測試工作的全部內(nèi)容，上到測試方法，下至制訂所有獨(dú)立的測試用例 13。 和項(xiàng)目計劃和測試計劃一樣，自動化測試的計劃也是非常重要的。 為了 防止測試團(tuán)隊(duì)直接進(jìn)行自動化腳本編寫， 必須 考慮以下重要因素：提供準(zhǔn)確的項(xiàng)目評估，運(yùn)用正確的框架，選擇正確的方法，自動化的長期維護(hù)，以及項(xiàng)目早期的 資回報率）。 (2) 自動化工具評估 自動化測試需要使用各種自動化測試工具， 估）是一個重要的決策階段，如果選錯了工具，自動化測試實(shí)施起來就 非常困難 。所以必須 根據(jù) 項(xiàng)目的成本，長度和人員的技能評估出合適的候選自動 化測試工具。 (3) 自動化工具可行性研究 對候選 自動化測試工具逐一進(jìn)行相應(yīng)的可行性研究，最終確定可以支持測試系統(tǒng)的合適的自動化測試工具。 第 2章 軟件自動化測試的基本理論 14 (4) 確定自動化測試用例 先 確定需要被自動化測試 的 用例列表 ，然后再 確定相應(yīng)的自動化測試范圍。 (5) 設(shè)計和開發(fā)自動化測試腳本 搭建或修改自動化測試框架 ， 并在其基礎(chǔ)上設(shè)計和開發(fā)自動化腳本，從而完成自動化腳本的開發(fā)工作。 (6) 試運(yùn)行自動化測試腳本 在正式運(yùn)行自動化測試腳本前，必須對所有的腳本進(jìn)行試運(yùn)行 ， 從而判斷腳本是否可以遞交到正式執(zhí)行階段。 (7) 執(zhí)行自動化測試腳本 正式執(zhí)行自動化測試腳本，分析執(zhí)行的 結(jié)果，判斷失敗的步驟是腳本 中 問題造成還是系統(tǒng) 中 問題造成 。 如果是腳本問題 ， 則修改相應(yīng)腳本，如果是系統(tǒng)問題則提交缺陷。最后將所有的測試結(jié)果備份。 (8) 自動化測試報告遞交 測試結(jié)果分析是測試中至關(guān)重要的步驟。 根據(jù)執(zhí)行結(jié)果及執(zhí)行過程中所收集的數(shù)據(jù)評估自動化測試是否達(dá)到預(yù)期目標(biāo) 。 若沒有達(dá)到 ， 需要分析相應(yīng)的原因，最終完成自動化測試報告的遞交。 動化測試框架的提出背景和種類 動化測試框架提出的背景 盡管自動化測試相當(dāng)強(qiáng)大，但大多數(shù) 實(shí)際 使用中的自動化測試還 是 相當(dāng)脆弱的 。 最初的自動化測試技術(shù)大多是基于簡單的捕捉 回放技術(shù)來完成。這些測試方法雖然最容易應(yīng)用，但是維護(hù)性 ， 復(fù)用性比較差，因此逐漸被功能和靈活性更強(qiáng)的測試腳本工具代替 。 捕獲回放機(jī)制生成的測試腳本是基于場景的，不僅腳本可讀性差，調(diào)試復(fù)雜，更重要的是腳本維護(hù)困難，一個微小的錯誤都會導(dǎo)致測試執(zhí)行過程無法正常執(zhí)行 。隨著自動化測試開始被大量 地運(yùn)用于 軟件項(xiàng)目中，測試人員逐漸發(fā)現(xiàn)，僅僅依賴自動化測試工具是根本無法完成自動化測試的。工具本身只是起到一個輔助的作用，要真正完成好自動化測試，達(dá) 到 提高測試效率，降低測試執(zhí)行 時間 ， 最終達(dá)到提高產(chǎn)品質(zhì)量的目的，勢必需要一套完整自動化 測試流程 作為 解決方案 的 基礎(chǔ)。 隨著軟件項(xiàng)目的增多 和 自動化測試應(yīng)用經(jīng)驗(yàn)的 積累 ， 企業(yè) 希望 有 一套可以被更多項(xiàng)目所使用的通用自動化測試框架，降低自動化測試在各個項(xiàng)目的實(shí)施難第 2章 軟件自動化測試的基本理論 15 度。 基于這樣的情況，各個軟件公司企業(yè)紛紛開始著手嘗試研發(fā)適合 自己 通用的自動化測試框架，從而 在更大范圍中解決 軟件自動化測試 的 一些常見問題，諸如降低軟件自動化測試中腳本開發(fā)維護(hù)成本，降低自動化測試用例搭建生成的難度，提高自動化測試腳本生成和更新的速度等問題。 動化測試框架的種類 對自動化測試框架的研究是在 本世紀(jì)初 開始興起 的 ，其中經(jīng)過多 次的更迭，現(xiàn)今業(yè)界公認(rèn)的主要經(jīng)歷過以下幾種： 1) 線形 ( 線形就是一段過程性代碼，這是在自動化測試初期僅適用錄制功能方法 所 產(chǎn)生的一種形式。這種形式的一個最大弊端就是極端不靈活，系統(tǒng)任何細(xì)微修改就可能 導(dǎo)致腳本的失效，所以這種形式很快 就被淘汰。 2) 結(jié)構(gòu)形 (結(jié)構(gòu)形 比較線形有了一定程度的改進(jìn) 。 代碼本身加入 了 一定 的 異常處理 ， 可以使自動化測試腳本的強(qiáng) 大 性得到了一定的提升。但由于結(jié)構(gòu)形 未考慮到自動化腳本的可維護(hù)性，所以在項(xiàng)目中 實(shí)際 使用的頻率也相當(dāng)?shù)汀?3) 數(shù)據(jù)驅(qū)動 ( 自動化測試中數(shù)據(jù)驅(qū)動與手工測試中 數(shù)據(jù)驅(qū)動基本相同，即測試目的 是 根據(jù)所準(zhǔn)備的輸入不同而不同 。 所謂的測試目的由測試數(shù)據(jù)所決定。 編寫自動化測試腳本的時候，可以讓測試用例數(shù)據(jù) 單獨(dú)存在 于測試套件 中，也可以把它嵌入測試套件中。通常來說，較好的 做法是讓測試數(shù)據(jù)獨(dú)立于測試套件 。 在自動化測試中，只需設(shè)計同一套測試腳本 。 根據(jù)所配置測試數(shù)據(jù)的不同完成不同的測試流程 ， 從而達(dá)到各自的測試目的。通過這種方式 ， 最大程度 地 提高了自動化腳本的復(fù)用性 ， 相應(yīng) 地 降低了開發(fā)和維護(hù)成本。當(dāng)今所 用 的商業(yè)自動化工具 ， 例如 將這種理念帶到了工具本身特性中。 4) 關(guān)鍵字驅(qū)動 ( 關(guān)鍵字驅(qū)動是由 司 提出的 。 為了讓更多的測試人員投入的自動化測試中，降低自動化測試 用例搭建 難度是必須的。關(guān)鍵字驅(qū)動 的 主旨就是將某些功能流程封裝成相應(yīng)的關(guān)鍵字供所有測第 2章 軟件自動化測試的基本理論 16 試人員使用 。 測試人員不必關(guān) 心 關(guān)鍵字的具體內(nèi)部實(shí)現(xiàn)方式，只需根據(jù)自己需要進(jìn)行相應(yīng)的組合，從而達(dá)到降低自動化測試 用例 搭建難度的目的。 5) 復(fù)合式驅(qū)動 ( 復(fù)合式驅(qū)動是當(dāng)今最為流行的框架種類，即將數(shù)據(jù)驅(qū)動和關(guān)鍵字驅(qū)動組合使用。借由數(shù)據(jù)驅(qū)動達(dá)到降低開發(fā)維護(hù)成本的目的，借由關(guān)鍵字驅(qū)動達(dá)到降低自動化測 試用例搭建產(chǎn)生難度的目的。這種組合能夠最大程度 地 彌補(bǔ)自動化測試工具本身先天不足，從而更好地發(fā)揮自動測試的作用。 章小結(jié) 本章主要介紹了軟件自動化測試所涉及到的相關(guān)概念和理論，包括軟件自動化測試的概述，優(yōu)缺點(diǎn)，準(zhǔn)入條件和基本流程。同時還介紹了關(guān)于軟件自動化測試框架的提出背景和當(dāng)今公認(rèn)的框架種類 。 這些概念和理論是這次自動化測試框架研究的理論依據(jù)和基礎(chǔ)。第 3章 17 第 3 章 紹 本 文 項(xiàng)目中 的測試工具 ， 筆者選用 做自動化測試 。 之所以要引入主要考慮到 四個方面 。 第一 ， 測試腳本不需要編程，熟悉 求，熟悉業(yè)務(wù)流程，就可以根據(jù)頁面中 象來編寫測試用例 。 第二 ， 測試腳本維護(hù)方便 ， 可以將測試腳本復(fù)制，并且 還 可以將某一部分單獨(dú)保存 。 第三 ， 它又是個開源的工具 ,方便使用 ,節(jié)省項(xiàng)目成本 。 第四 ， 介 一個 100%純 于壓力測試和性能測量。它最初被設(shè)計用于 但后來擴(kuò)展到其它測試領(lǐng)域。 以對靜態(tài)和動態(tài)資源 (文件， 據(jù)庫和查詢， 務(wù)器或是其它資源 )的性能進(jìn)行測試。 以在服務(wù)器，網(wǎng)絡(luò)或?qū)ο竽M繁重的負(fù)載 ， 測試它們提供服務(wù)的受壓能力或者分析不同壓力條件下的總體性能情況?？梢允褂?供的圖形化界面，分析性能指標(biāo) ， 或者在高負(fù)載情況下測試服務(wù)器 /腳本 /對象。 項(xiàng)目 工程師 發(fā)出來。他當(dāng)初開發(fā) 要用于測試 個被 程取代了的項(xiàng)目 )的性能。之后又再次設(shè)計了 加了圖形化界面和一些功能測試 。 開發(fā)人員借助它可嵌入的結(jié)構(gòu) 特性 ，希望看到 能力能 隨之快速被擴(kuò)大。 進(jìn)一步的 發(fā)展 方向 是在沒有減弱它負(fù)載測試能力的同時盡可能做成最有效的回歸測試工具。 要特性 a) 能夠?qū)?也可以對任何數(shù)據(jù)庫進(jìn)行同樣的測試（通過 b) 完全的可移植性和 100 純 c) 完全 輕量組件支持（預(yù)編譯的 )包。 d) 完全多線程 框架允許通過多 線程并發(fā)取樣和通過單線程組對不同的功第 3章 18 能同時取樣。 e) 精心的 計允許快速操作和更精確的計時。 f) 緩存和離線分析 /回放測試結(jié)果。 g) 高可擴(kuò)展性： 可鏈接的取樣器允許無限制的測試能力。 有 各種負(fù)載統(tǒng)計表和可鏈接的計時器可供選擇。 數(shù)據(jù)分析和可視化插件提供了很好的可擴(kuò)展性以及個性化。 具有提供動態(tài)輸入到測試的功能（包括 支持 由 腳 本變成的取樣器（在 工作機(jī)制 1 測試計劃是使用 試起點(diǎn)，它是其它 試元件的容器。 2 線程組代表一定數(shù)量的并發(fā)用戶，可以用來 向 模擬并發(fā)用戶發(fā)送請求。實(shí)際的請求內(nèi)容在 被線程組包含。 3 監(jiān)聽器負(fù)責(zé)收集測試結(jié)果，同時也被告知 結(jié)果 的 顯示方式。 4 邏