董淵

(SystemSoftware&SoftwareEngineering)

DepartmentofComputerScience&Technology

TsinghuaUniversity軟件驗證與確認(rèn)

董淵

(SystemSoftware&Soft內(nèi)容提要基本概念FaganInspection軟件測試基本概念軟件測試的分類軟件測試用例設(shè)計測試自動化總結(jié)內(nèi)容提要基本概念透視軟件質(zhì)量問題軟件缺陷開銷需求定義設(shè)計編碼測試維護(hù)152050100缺陷分布透視軟件質(zhì)量問題軟件缺陷開銷需求定義設(shè)計編碼測試維護(hù)1520驗證與確認(rèn)（V&V）驗證（Verification）Arewebuildingtheproductright?Softwareconformstoitsspecification保證：軟件軟件正確實現(xiàn)特定功能（軟件～SPEC）確認(rèn)（Validation）Arewebuildingtherightproduct?Softwaremeetstheusers’needs保證：軟件的實現(xiàn)滿足用戶需求（需求～SPEC）驗證與確認(rèn)（V&V）驗證（Verification）Staticvs.DynamicV&V審查（Inspection）Analyzeandchecksystemrepresentationsuchasrequirementsdocuments,designdiagramsandtheprogramsourcecode.Allthestagesofsoftwarelifecycle測試（Testing）ExecutionwithtestdataandexaminingoperationalbehaviourStaticvs.DynamicV&V審查（Inspe內(nèi)容提要基本概念FaganInspection軟件測試基本概念軟件測試的分類軟件測試用例設(shè)計測試自動化總結(jié)內(nèi)容提要基本概念軟件審查非正式的文檔/代碼走查（Walkthrough）作者和評估者，二人討論正式的軟件審查Fagan[76],Gilb[94]審查前活動

審查會議

審查后活動審查角色：作者、審查員、測試員軟件審查非正式的文檔/代碼走查（Walkthrough）Fagan審查IBM,MichaelFagan,1976IBMHuston，航天飛機(jī)軟件，200萬行代碼，審查發(fā)現(xiàn)85%的錯誤，測試發(fā)現(xiàn)另15%IBMNorthHarbor，審查發(fā)現(xiàn)93%的缺陷，生產(chǎn)力提高9%Fagan審查IBM,MichaelFagan,197Fagan審查—主要角色主審員規(guī)劃審查，主持會議，遵循Fagan方針，解決沖突，記錄缺陷，確保后繼活動實施講解員講解交付品，參與評審產(chǎn)品設(shè)計者準(zhǔn)備數(shù)據(jù)和材料，修正缺陷測試員分析測試需求Fagan審查—主要角色主審員Fagan審查—主要方針6/304/10-15測試計劃125/500100/300代碼6/304/10-15設(shè)計6/304/10-15需求審查時間6/304/10-15測試計劃125/500100/300代碼6/304/10-15設(shè)計6/304/10-15需求準(zhǔn)備時間最多/每小（頁）總計/每?。摚﹨^(qū)域活動嚴(yán)格標(biāo)準(zhǔn)/放寬標(biāo)準(zhǔn)Fagan審查—主要方針6/304/Fagan審查—主要步驟計劃：時間、地點、人員、材料概述：背景材料準(zhǔn)備：交付品和其它相關(guān)文檔審查：缺陷識別，建立缺陷數(shù)據(jù)庫以便進(jìn)行度量和歷史分析分析/過程改進(jìn)：確定過程中存在的問題修改：缺陷修改后繼活動：確保缺陷修正，問題得到解決Fagan審查—主要步驟計劃：時間、地點、人員、材料Fagan審查—進(jìn)入/退出標(biāo)準(zhǔn)設(shè)計滿足需求設(shè)計滿足設(shè)計標(biāo)準(zhǔn)設(shè)計缺陷得到糾正需求通過審查并結(jié)束設(shè)計文檔就緒具有足夠領(lǐng)域知識的審查者就緒設(shè)計需求滿足客戶需求所有需求缺陷得到糾正具有足夠的評審文檔專業(yè)技能的審查者準(zhǔn)備就緒需求文檔就緒需求退出標(biāo)準(zhǔn)進(jìn)入標(biāo)準(zhǔn)審查類型Fagan審查—進(jìn)入/退出標(biāo)準(zhǔn)設(shè)計滿足需求需求通過審查并結(jié)束Fagan審查—進(jìn)入/退出標(biāo)準(zhǔn)代碼滿足設(shè)計和需求代碼遵循程序編碼標(biāo)準(zhǔn)代碼通過完全的編譯缺陷排除需求及設(shè)計通過審查并結(jié)束程序概述就緒具有足夠領(lǐng)域知識的審查者就緒代碼列表就緒源代碼清晰并可編譯代碼滿足程序編碼標(biāo)準(zhǔn)代碼退出標(biāo)準(zhǔn)進(jìn)入標(biāo)準(zhǔn)審查類型Fagan審查—進(jìn)入/退出標(biāo)準(zhǔn)代碼滿足設(shè)計和需求需求及設(shè)計通Fagan審查—進(jìn)入/退出標(biāo)準(zhǔn)測試計劃足以勝任需求的測試測試計劃遵循測試標(biāo)準(zhǔn)缺陷排除需求/設(shè)計結(jié)束概述就緒具有足夠領(lǐng)域知識的審查者就緒測試計劃退出標(biāo)準(zhǔn)進(jìn)入標(biāo)準(zhǔn)審查類型Fagan審查—進(jìn)入/退出標(biāo)準(zhǔn)測試計劃足以勝任需求的測試需求Fagan審查—問題嚴(yán)重性待調(diào)查的項目，暫時不能確認(rèn)是否為缺陷調(diào)查（INV）根據(jù)主要缺陷分析得到的過程改進(jìn)建議過程改進(jìn)（PI）產(chǎn)品中的非主要問題次要問題（m）產(chǎn)品中的一種缺陷，如果缺陷沒有被發(fā)現(xiàn)，將會導(dǎo)致客戶抱怨主要問題（M）定義問題嚴(yán)重性Fagan審查—問題嚴(yán)重性待調(diào)查的項目，暫時不能確認(rèn)是否為缺Fagan審查—缺陷分類邏輯設(shè)計需求可維護(hù)性接口數(shù)據(jù)用量性能標(biāo)準(zhǔn)代碼注釋系統(tǒng)接口可移植性可靠性可維護(hù)性錯誤處理其他產(chǎn)品目標(biāo)文件硬件接口競爭分析功能軟件接口性能拼寫可用性Fagan審查—缺陷分類邏輯系統(tǒng)接口產(chǎn)品目標(biāo)內(nèi)容提要基本概念FaganInspection軟件測試基本概念軟件測試的分類軟件測試用例設(shè)計測試自動化總結(jié)內(nèi)容提要基本概念基本概念--自測題目假設(shè)一程序?qū)崿F(xiàn)以下功能： 讀入3個數(shù)據(jù)，分別代表三角形的三條邊，判斷并輸出三角形的形狀，即：不等邊三角形，等邊三角形，等腰三角形。請列出可以用來測試該程序的測試用例?；靖拍?-自測題目假設(shè)一程序?qū)崿F(xiàn)以下功能：自測參考測試用例正確的不等邊三角形正確的等邊三角形正確的等腰三角形不正確的三角形，兩邊長度之和等于第三邊不正確的三角形，兩邊長度之和小于第三邊不正確的三角形，至少有一邊長度小于或等于0輸入數(shù)據(jù)少于或多于3個輸入非數(shù)據(jù)字符自測參考測試用例正確的不等邊三角形基本概念--測試的目的G.MyersTestingistheprocessofexecutingaprogramwiththeintentoffindinganerror.(測試是程序執(zhí)行的過程，目的在于發(fā)現(xiàn)錯誤)Agoodtestcaseisonethathasahighprobabilityoffindinganas-yetundiscoverederror.(好的測試用例在于能發(fā)現(xiàn)至今未發(fā)現(xiàn)的錯誤)Asuccessfultestisonethatuncoversanas-yetundiscoverederror.(成功的測試是發(fā)現(xiàn)了至今未發(fā)現(xiàn)的錯誤)基本概念--測試的目的G.Myers測試的目的（續(xù)）以最少的時間和人力，系統(tǒng)地找出軟件中潛在的各種錯誤和缺陷。實施測試收集到的測試結(jié)果數(shù)據(jù)為可靠性分析提供依據(jù)。測試不能表明軟件中不存在錯誤，它只能說明軟件中存在錯誤。測試的目的（續(xù)）以最少的時間和人力，系統(tǒng)地找出軟件中潛在的各基本概念--測試的原則“盡早地和不斷地進(jìn)行軟件測試”，測試貫穿于整個軟件生命周期測試需按計劃進(jìn)行，測試計劃需根據(jù)需求盡早編寫徹底的、無遺漏的測試是不可能的應(yīng)包括“合理的輸入”及“不合理的輸入”基本概念--測試的原則“盡早地和不斷地進(jìn)行軟件測試”，測試貫測試的原則（續(xù)）80-20法則（theParetoprinciple），注意測試的群集現(xiàn)象測試應(yīng)以用戶需求為標(biāo)準(zhǔn)第三方測試（軟件分工）妥善保存測試文檔，為維護(hù)提供方便測試的原則（續(xù)）80-20法則（theParetopri內(nèi)容提要基本概念FaganInspection軟件測試基本概念軟件測試的分類軟件測試用例設(shè)計測試自動化總結(jié)內(nèi)容提要基本概念軟件測試的分類基本分類黑盒測試，白盒測試按照測試的不同階段劃分單元測試，組合測試，集成測試，系統(tǒng)測試按照不同的測試目的劃分功能測試，性能測試，安全測試按照不同的測試對象劃分C/S測試，GUI測試，實時軟件測試軟件測試的分類基本分類軟件驗證與確認(rèn)課件單元測試目的針對程序模塊，發(fā)現(xiàn)各獨立模塊的錯誤特點依據(jù)詳細(xì)設(shè)計說明書和源程序清單從程序的內(nèi)部結(jié)構(gòu)出發(fā)，設(shè)計測試用例以白盒測試為主單元測試目的軟件驗證與確認(rèn)課件集成測試在單元測試的基礎(chǔ)上，將所有模塊根據(jù)設(shè)計要求組裝為系統(tǒng)，并測試組裝后的模塊集，以發(fā)現(xiàn)單元測試中不能發(fā)現(xiàn)的集成錯誤模塊間的接口錯誤模塊間是否存在不利的相互影響模塊間的功能組合是否達(dá)到預(yù)期的功能全局?jǐn)?shù)據(jù)結(jié)構(gòu)是否正確集成測試在單元測試的基礎(chǔ)上，將所有模塊根據(jù)設(shè)計要求組裝為系統(tǒng)集成測試非增量式組裝增量式組裝自頂向下自底向上混合式集成測試非增量式組裝軟件驗證與確認(rèn)課件系統(tǒng)測試在實際的運行環(huán)境中，測試整個計算機(jī)系統(tǒng)計算機(jī)硬件外設(shè)支持軟件數(shù)據(jù)人員系統(tǒng)測試在實際的運行環(huán)境中，測試整個計算機(jī)系統(tǒng)性能測試確保系統(tǒng)的性能滿足需求負(fù)載測試在長期、重負(fù)載的情況下，監(jiān)測系統(tǒng)的響應(yīng)時間和資源占用狀況壓力測試在短時間內(nèi)，重負(fù)載（大數(shù)據(jù)量、大用戶量）的情況下，監(jiān)測系統(tǒng)的響應(yīng)時間和資源占用狀況疲勞測試長期、正常負(fù)載情況下，監(jiān)測系統(tǒng)的穩(wěn)定運行狀況性能測試確保系統(tǒng)的性能滿足需求驗收測試由有用戶參與的專門測試小組，來驗證軟件產(chǎn)品所展示的各種功能/非功能性能驗收測試由有用戶參與的專門測試小組，來驗證軟件產(chǎn)品所展示的各內(nèi)容提要基本概念FaganInspection軟件測試基本概念軟件測試的分類軟件測試用例設(shè)計測試自動化總結(jié)內(nèi)容提要基本概念測試用例軟件測試的基本依據(jù)組成部分：輸入數(shù)據(jù)動作約束條件期望的輸出結(jié)果測試用例01輸入：1.輸入數(shù)字3；2.輸入加號；3.輸入數(shù)字4。期望的輸出：7測試用例軟件測試的基本依據(jù)測試用例01測試用例的設(shè)計原則有效性可能發(fā)現(xiàn)軟件缺陷經(jīng)濟(jì)性盡可能少的資源耗費發(fā)現(xiàn)盡可能多的軟件錯誤可仿效性同時測試多項內(nèi)容，以減少測試用例數(shù)量測試用例的設(shè)計原則有效性測試用例的設(shè)計原則（續(xù)）多重性既考慮合理的輸入，又考慮不合理的輸入無冗余性不同的測試用例，不同的測試目的完備性既要檢查軟件應(yīng)具有的功能，又要檢查不應(yīng)有的功能測試用例的設(shè)計原則（續(xù)）多重性測試用例的基本設(shè)計方法黑盒測試方法等價類劃分（EquivalentPartition）邊界值分析（BoundaryValueAnalysis）白盒測試方法邏輯覆蓋法基本路徑測試測試用例的基本設(shè)計方法黑盒測試方法黑盒測試方法目的從用戶的角度發(fā)現(xiàn)應(yīng)用程序的功能性錯誤，如：遺漏的、誤解的功能或接口定義主要特點不考慮程序內(nèi)部的邏輯結(jié)構(gòu)和內(nèi)部特性依照需求規(guī)格說明書檢查程序功能主要問題輸入空間不可能窮舉黑盒測試方法目的PXYZ輸入輸出處理X、Y：32位整數(shù)可能采用的測試數(shù)據(jù)組： 232x232=264測試時間（假設(shè)每個測試用例1毫秒， 一年工作365x24小時）： 5億年P(guān)XYZ輸入輸出處理X、Y：32位整數(shù)等價類劃分特點典型的黑盒測試方法，不考慮程序的內(nèi)部結(jié)構(gòu)，只依據(jù)程序的規(guī)格說明來設(shè)計測試用例。主要方法將所有可能的輸入數(shù)據(jù)，即程序的輸入域，劃分為若干部分，從每一部分中選取少數(shù)有代表性的數(shù)據(jù)作為測試用例。主要步驟劃分等價類選取測試用例等價類劃分特點等價類輸入域的子集合。在該子集合中，每一個數(shù)據(jù)對于揭露程序的錯誤上是等效的。有效等價類對于程序的規(guī)格說明來說，是合理的用以檢驗程序是否滿足了規(guī)格說明無效等價類對于程序的規(guī)格說明來說，是不合理的用以檢驗程序的意外處理能力，可靠性測試用例的生成方法從每一個等價類中選取代表性的數(shù)據(jù)等價類P輸入數(shù)字輸出字母功能：1.將1-26的正整數(shù)按從小到大的次序依次轉(zhuǎn)換成A-Z大寫的英文字母2.將101-126的正整數(shù)按從小到大的次序依次轉(zhuǎn)換成a-z小寫的英文字母P輸入數(shù)字輸出字母功能：-1.2,3.5小數(shù)+,=,/其他a,D,lsd字母00-7,-123負(fù)整數(shù)127,800正整數(shù)>12630,79正整數(shù)27-100101,110,120正整數(shù)101-1261,2,25,26正整數(shù)1-26測試用例等價類有效等價類無效等價類-1.2,3.5小數(shù)+,=,/其他a,D,lsd邊界值分析特點由于大量的錯誤常常發(fā)生在輸入/輸出的邊界上，選取邊界值作為測試用例能有效的檢測出錯誤。是對等價類分析方法的補(bǔ)充：選取邊界值，而不是等價類中的任意值不僅考慮輸入域，還考慮輸出域邊界值分析特點主要方法確定輸入等價類及輸出等價類確定邊界值選取正好等于，剛剛大于，和剛剛小于邊界值的數(shù)據(jù)作為測試用例。例如用邊界值分析法測試Y2K問題

2000.1.1,2000.2.29用邊界值分析法測試三角形判斷問題

A=0,B=0,C=0,A+B=C,A+C=B,B+C=A

主要方法白盒測試方法根據(jù)程序的內(nèi)部邏輯結(jié)構(gòu)及有關(guān)信息，設(shè)計或選擇測試用例。對程序模塊的所有獨立的執(zhí)行路徑至少測試一次對所有的邏輯判定，取“真”與取“假”的兩種情況都至少測一次在循環(huán)的邊界和運行界限內(nèi)執(zhí)行循環(huán)體測試內(nèi)部數(shù)據(jù)結(jié)構(gòu)的有效性白盒測試方法根據(jù)程序的內(nèi)部邏輯結(jié)構(gòu)及有關(guān)信息，設(shè)計或選擇測試窮舉測試：不同執(zhí)行路徑：520假設(shè)每條路徑測試時間為1毫秒，每年的工作時間為24*365小時，則測試時間為3170年。窮舉測試：白盒測試--邏輯覆蓋法語句覆蓋判定覆蓋條件覆蓋判定-條件覆蓋路徑測試白盒測試--邏輯覆蓋法語句覆蓋(A>1)and(B=0)X=X/ATTFFabdce(A=2)or(X>1)X=X+1L1:a->c->eL2:a->b->dL3:a->b->eL4:a->c->d(A>1)and(B=0)X=X/ATTFFabdce(語句覆蓋設(shè)計測試用例，運行所測程序，使得每一條可執(zhí)行語句至少執(zhí)行一次例：可執(zhí)行語句：X=X/A,X=X+1路徑L1：a->c->e邏輯條件：(A>1)^(B=0)^((A=2)V(X>1))測試用例：輸入：A=2,B=0,X=4 輸出：A=2,B=0,X=3問題：可能不能發(fā)現(xiàn)判斷中邏輯運算中的錯誤如：(A>1)and(B=0)誤寫為(A>1)or(B=0)語句覆蓋設(shè)計測試用例，運行所測程序，使得每一條可執(zhí)行語句至少判定（分支）覆蓋使得程序中每個判定的取真分支和取假分支至少執(zhí)行一次A=1B=1X=1A=2B=1X=1A=3B=0X=3A=2B=0X=4測試用例a->b->da->b->ea->c->da->c->e路徑0101(A=2)V(X>1)0011(A>1)^(B=0)a->c->e,a->b->d;或者a->c->d,a->b->e問題：無法檢查條件錯誤，x>1誤寫為x<1判定（分支）覆蓋使得程序中每個判定的取真分支和取假分支至少執(zhí)條件覆蓋使得程序中每個判斷的每個條件的可能取值至少執(zhí)行一次。問題：有可能不能覆蓋判斷的所有分支。A=1,B=0,X=3a->b->e1010A=2,B=1,X=1a->b->e0101測試用例路徑X>1A=2B=0A>1條件覆蓋使得程序中每個判斷的每個條件的可能取值至少執(zhí)行一次。判定-條件覆蓋使得程序中每個判斷中所有條件的所有可能取值至少執(zhí)行一次所有可能的判斷結(jié)果至少執(zhí)行一次A=1,B=1,X=1a->b->d0000A=2,B=0,X=4a->c->e1111測試用例路徑X>1A=2B=0A>1問題：邏輯表達(dá)式錯誤不一定能檢查出來判定-條件覆蓋使得程序中每個判斷中A=1,B=1,X=1a-路徑覆蓋使得程序中所有可能的路徑都執(zhí)行至少一次A=3,B=0,X=3a->c->d0011A=1,B=1,X=2a->b->e1000A=1,B=1,X=1a->b->d0000A=2,B=0,X=4a->c->e1111測試用例路徑X>1A=2B=0A>1路徑覆蓋使得程序中所有可能的路徑都執(zhí)行至少一次A=3,B=0白盒測試--基本路徑測試將覆蓋的路徑數(shù)壓縮到一定限度內(nèi)，在程序控制流圖的基礎(chǔ)上，通過分析控制構(gòu)造的環(huán)路復(fù)雜性，導(dǎo)出基本可執(zhí)行路徑集合(基本路徑集、基本集)保證被測程序的每一條可執(zhí)行語句至少執(zhí)行一次白盒測試--基本路徑測試將覆蓋的路徑數(shù)壓縮到一定限度內(nèi)，程序控制流圖描述程序的控制流節(jié)點：表示一個或多個無分支的語句有向邊：控制流方向區(qū)域：邊和接點圈定的區(qū)域程序控制流圖描述程序的控制流軟件驗證與確認(rèn)課件復(fù)合邏輯的控制流圖復(fù)合邏輯的控制流圖程序環(huán)路復(fù)雜性McCabe程序復(fù)雜性度量程序控制流圖中，有向圖G所封閉的環(huán)路個數(shù)V(G)：

V(G)=G中的邊數(shù)-G中的節(jié)點數(shù)+2 =G中的判定的節(jié)點數(shù)+1 =G中的區(qū)域數(shù)

程序環(huán)路復(fù)雜性McCabe程序復(fù)雜性度量16243578IIIIIIIVV=3+1=416243578IIIIIIIVV=3+1=4獨立路徑基本路徑集合的成員某一程序的獨立路徑是從程序入口到出口的多次執(zhí)行中，每次至少一個語句是新的（包括運算、賦值、輸入輸出或判斷）。在控制流圖中，從入口進(jìn)入后，至少要經(jīng)歷一個從未走過的弧。程序中至少引進(jìn)一個新的處理語句集合或一個條件的任一路徑。獨立路徑基本路徑集合的成員基本集V(G)提供了組成基本集獨立路徑的上界?；炯⒉晃ㄒ弧；炯瘻y試：每一條語句至少執(zhí)行一次；每一個條件執(zhí)行時都將分別去T和F。基本導(dǎo)出：控制流圖遍歷基本集V(G)提供了組成基本集獨立路徑的上界。獨立路徑：L1:1-11L2:1-(2,3)-(4,5)-10-1-11L3:1-(2,3)-6-8-9-10-1-11L4:1-(2,3)-6-7-9-10-1-11獨立路徑：生成測試用例適用于模塊的詳細(xì)設(shè)計及源代碼以詳細(xì)設(shè)計或源代碼為基礎(chǔ)，導(dǎo)出程序的控制流圖計算得到的控制流圖的環(huán)路復(fù)雜性確定線性無關(guān)的基本路徑集生成測試用例，確?；韭窂郊忻織l路徑的執(zhí)行生成測試用例適用于模塊的詳細(xì)設(shè)計及源代碼(A>1)and(B=0)X=X/ATTFFabdce(A=2)or(X>1)X=X+1L1:a->c->eL2:a->b->dL3:a->b->eL4:a->c->d(A>1)and(B=0)X=X/ATTFFabdce(4X=X/A1(A>1)TF2(B=0)TF3(A=2)TF5TF(X>1)6X=X+1784X=X/A1(A>1)TF2(B=0)TF3(A=2)TF環(huán)路復(fù)雜性：V=11-8+2=4+1=5基本路徑集I：L1:1->2->5->6->8L2:1->2->3->5->6->8L3:1->2->3->4->5->6->8L4:1->2->3->4->5->6->7->8L5:1->2->3->4->5->7->82853IIIIIIIVV1476基本路徑集II：L1:1->2->5->7-