軟件可靠性測評(cèpínɡ)第一頁，共84頁。提要(tíyào)軟件可靠性測試軟件可靠性模型(móxíng)軟件可靠性評估第二頁，共84頁。測試—統計(tǒngjì)規(guī)則IBM關于缺陷與故障的統計(tǒngjì)研究數據客戶所看到的57%以上的故障是由占缺陷總數2%以下的缺陷引起的；超過總數61%的缺陷只引起低于3%的客戶將會經歷的故障；不同的缺陷在所引發(fā)的故障率上存在高達4個數量級的巨大差異。第三頁，共84頁。測試(cèshì)—定義一種為了滿足用戶對軟件的可靠性要求，通過對軟件進行測試，發(fā)現并糾正軟件中的缺陷，提高(tígāo)軟件的可靠性水平，并驗證它能否達到用戶可靠性要求的軟件測試方法。第四頁，共84頁。測試(cèshì)—優(yōu)點需求(xūqiú)確認資源和進度預測有效并高效地測試量化測試管理可靠性預測第五頁，共84頁。測試(cèshì)—目的驗證軟件可靠性滿足給定的要求評估軟件可靠性水平預計軟件可靠性水平實現(shíxiàn)軟件可靠性增長第六頁，共84頁。測試(cèshì)—時機軟件系統測試后期(hòuqī)軟件可靠性測試與系統測試的關系第七頁，共84頁。測試(cèshì)—類別軟件可靠性增長測試(SoftwareReliabilityGrowthTesting)在軟件交付前進行，通過可靠性測試暴露軟件缺陷，采取有效地措施排除(páichú)失效率較大的缺陷，以提高交付軟件的可靠性軟件可靠性驗證測試(SoftwareReliabilityDemonstrationTesting)在軟件確認階段進行，驗證軟件需求規(guī)范中軟件可靠性目標的滿足情況，在測試過程中不進行軟件缺陷消除第八頁，共84頁。測試—驗證(yànzhèng)方案無失效運行時間間隔測試(Failure-FreeExecutionIntervalTest)要求在指定時間內測試給定數量的樣品。如果在測試期間沒有(méiyǒu)失效發(fā)生，則認為軟件或系統滿足可靠性要求定時截尾可靠性驗證測試(Fixed-LengthReliabilityDemonstrationTest)序貫可靠性驗證測試(Probability-RationSequentialReliabilityDemonstrationTest)第九頁，共84頁。測試(cèshì)—演示圖12010862416140246810規(guī)格化的單位失效數繼續(xù)接受拒絕Fail.No.McallsatFailureNormalizedUnits1230.003750.006250.0250.751.255

Failureintensityobjective:200failures/Mcalls第十頁，共84頁。測試(cèshì)—特征用系統的預期使用(shǐyòng)域作為模型來指導測試用例的選擇或生成根據故障率的等級、功能使用(shǐyòng)頻度和重要性來檢測軟件產品錯誤可靠性測試是面向故障的測試方法可靠性測試既有助于軟件可靠性增長也可用于軟件可靠性評價第十一頁，共84頁。測試(cèshì)—方法基于(jīyú)統計模型的可靠性測試測試用Markov鏈描述軟件的使用結構構造和統計分配依據Markov模型上每個狀態(tài)出邊所關聯的遷移概率，通過遍歷使用模型的狀態(tài)可以生成測試用例第十二頁，共84頁。測試(cèshì)—方法基于操作剖面的可靠性測試方法用操作剖面描述軟件的使用分層建立操作剖面：客戶剖面、用戶剖面、系統模式(móshì)剖面、功能剖面和操作剖面每個操作對應若干個運行第十三頁，共84頁。測試(cèshì)—過程定義(dìngyì)“必要的”可靠性開發(fā)測試(cèshì)模型準備測試執(zhí)行測試應用失效數據得到結論需求分析設計與實現集成與測試第十四頁，共84頁。測試—定義(dìngyì)指標失效嚴重程度分類一組單個出現時對用戶產生相同影響的失效對失效指定嚴重程度，主要(zhǔyào)是為了結合失效頻率來解決失效的優(yōu)先級失效強度第十五頁，共84頁。測試—失效(shīxiào)分類舉例1失效嚴重程度定義(經濟損失)1>100000210000~10000031000~100004<1000第十六頁，共84頁。測試(cèshì)—失效分類舉例2失效嚴重程度定義(對操作的影響)1用戶不能進行一項或多項關鍵操作2用戶不能進行一項或多項重要操作3用戶不能進行一項或多項操作，但是有補救辦法4一項或多項操作中的小缺陷第十七頁，共84頁。測試—操作剖面(pōumiàn)開發(fā)操作剖面是二維向量的集合，定義為：profile={(item1，p1)，(item2，p2)，…(itemn，pn)}itemi代表操作剖面中所包含(bāohán)的互不相交的元素中的一個，item1∩item2∩……∩itemn＝Φpi代表第i個元素的權值或是發(fā)生的概率。第十八頁，共84頁。測試(cèshì)—建立操作剖面用操作剖面描述軟件的使用分層建立(jiànlì)操作剖面客戶剖面(CP，CustomerProfile)用戶剖面(UP，UserProfile)系統模式剖面(SP，SystemmodeProfile)功能剖面(FP，FunctionProfile)操作剖面(OP，OperationalProfile)第十九頁，共84頁。測試—建立(jiànlì)操作剖面建立客戶(kèhù)剖面CP={(c1,pc1),(c2,pc2),……,(cn,pcn)}為客戶(kèhù)剖面中的客戶(kèhù)構建用戶剖面UPc1={(u1,pc1_u1),(u2,pc1_u2),……,(um,pc1_um)}UPc2={(u1,pc2_u1),(u2,pc2_u2),……,(um,pc2_um)}……Upcn={(u1,pcn_u1),(u2,pcn_u2),……,(um,pcn_um)}第二十頁，共84頁。測試(cèshì)—建立操作剖面對相同類型的用戶進行合并，若用戶ui有m個同類，則用戶ui出現(chūxiàn)的概率為：得到用戶剖面UP={(u1,pu1)，(u2pu2)，……，(umpum)}第二十一頁，共84頁。測試(cèshì)—建立操作剖面同理，可以得到系統模式剖面、功能(gōngnéng)剖面和操作剖面SP={(s1,ps1)，(s2,ps2)，……，(sn,psn)}FP={(f1,pf1)，(f2,pf2)，……，(fn,pfn)}OP={(o1,po1)，(o2po2)，……，(on,pon)}第二十二頁，共84頁。測試—操作(cāozuò)剖面實例確定操作模式確定操作的發(fā)起者選擇表示方法(表格/圖形(túxíng))創(chuàng)建操作表確定出現率確定出現概率考慮特殊情況第二十三頁，共84頁。測試(cèshì)—操作表例子操作發(fā)起者操作用戶電話號碼輸入系統管理員增加用戶刪除用戶電話網處理語音呼叫，無尋呼，有應答處理語音呼叫，無尋呼，無應答處理語音呼叫，有尋呼，有應答處理語音呼叫，有尋呼，有對尋呼的應答處理語音呼叫，有尋呼，無對尋呼的應答處理傳真呼叫系統控制器審計電話號碼數據庫恢復硬件失效第二十四頁，共84頁。測試(cèshì)—操作出現率操作出現率(每小時操作個數)電話號碼輸入10000增加訂戶50刪除訂戶50處理語音呼叫，無尋呼，有應答18000處理語音呼叫，無尋呼，無應答17000處理語音呼叫，有尋呼，有應答17000處理語音呼叫，有尋呼，有對尋呼的應答12000處理語音呼叫，有尋呼，無對尋呼的應答10000處理傳真呼叫15000審計電話號碼數據庫900恢復硬件失效0.1第二十五頁，共84頁。測試—出現(chūxiàn)概率操作出現概率電話號碼輸入0.10增加訂戶0.0005刪除訂戶0.0005處理語音呼叫，無尋呼，有應答0.18處理語音呼叫，無尋呼，無應答0.17處理語音呼叫，有尋呼，有應答0.17處理語音呼叫，有尋呼，有對尋呼的應答0.12處理語音呼叫，有尋呼，無對尋呼的應答0.10處理傳真呼叫0.15審計電話號碼數據庫0.009恢復硬件失效0.000001第二十六頁，共84頁。測試(cèshì)—準備測試(cèshì)用例估計當前版本所需新測試用例的數量通過隨機選取測試的操作，為每個操作對應若干個運行(yùnxíng)在被測系統之間分配新測試用例的數量在每個系統的操作之間分配新測試用例的數量指定新的測試用例將新測試用例加入測試用例集第二十七頁，共84頁。測試(cèshì)—充分性準則依據可靠性要求和評估的置信度確定的執(zhí)行時間測試剖面(pōumiàn)和操作剖面(pōumiàn)吻合需求的覆蓋第二十八頁，共84頁。測試(cèshì)—操作剖面特點優(yōu)點通過分解，可以處理規(guī)模較大的系統測試用例的規(guī)模較均勻不足(bùzú)測試執(zhí)行缺乏連續(xù)性高使用概率的功能被重復測試第二十九頁，共84頁。測試(cèshì)—Markov模型未激活終止準備狀態(tài)1狀態(tài)2狀態(tài)3狀態(tài)4S,1.00G,0.50B,0.30R,0.20G,1.00A,0.50B,0.40R,0.10R,0.30C,0.25D,0.50E,0.25F,0.70第三十頁，共84頁。測試—建立(jiànlì)Markov模型用Markov鏈描述軟件的使用結構構造統計(tǒngjì)分配第三十一頁，共84頁。測試—結構(jiégòu)構造空裝載(zhuāngzài)滿Pop/EmptyStackExceptionPop[n>1]/returntop(x)Pop[n==1]/returntop(x)push(x)push(x)[n<max-1]Push/FullStackExceptionpush(x)[n==max-1]Pop/returntop(x)第三十二頁，共84頁。測試—統計(tǒngjì)分配空裝載(zhuāngzài)滿Pop/EmptyStackException,0.05Pop[n>1]/returntop(x),0.40Pop[n==1]/returntop(x),0.10push(x),0.95push(x)[n<max-1],0.40Push/FullStackException,0.05push(x)[n==max-1],0.10Pop/returntop(x),0.95第三十三頁，共84頁。測試(cèshì)—生成測試(cèshì)用例通過觸發(fā)當前狀態(tài)上的事件，完成期望的動作，產生狀態(tài)轉移(zhuǎnyí)，來遍歷使用模型，生成測試用例遍歷使用模型時，依據當前狀態(tài)上每個出邊所關聯的遷移概率，來確定需要觸發(fā)的事件確定需要觸發(fā)的事件時，需要同時考慮防護的作用第三十四頁，共84頁。測試(cèshì)—充分性準則依據可靠性要求和評估的置信度確定的執(zhí)行時間(shíjiān)測試剖面和操作剖面吻合滿足對狀態(tài)圖的覆蓋要求第三十五頁，共84頁。測試—狀態(tài)圖覆蓋(fùgài)要求所有狀態(tài)至少(zhìshǎo)訪問一次所有事件至少(zhìshǎo)觸發(fā)一次所有轉換至少(zhìshǎo)遍歷一次(包括隱含)所有基本路徑至少(zhìshǎo)覆蓋一次(循環(huán))對防護(guard)進行測試(MMC/DC、邊界)第三十六頁，共84頁。測試(cèshì)—Markov模型特點優(yōu)點便于自動化每次測試都是新的不足(bùzú)狀態(tài)圖的空間爆炸問題以正常測試為主第三十七頁，共84頁。測試(cèshì)—對模型的改進對于操作剖面分類剖面：功能剖面、數據剖面、環(huán)境(huánjìng)剖面對于Markov模型多層狀態(tài)圖第三十八頁，共84頁。測試(cèshì)—對模型的改進將UML用于刻畫使用模型對UML進行改進(gǎijìn)，加入統計分布特征用例圖與類圖、狀態(tài)圖、時序圖等相結合，刻畫嵌入式軟件的各種運行特性，用于指導測試設計第三十九頁，共84頁。測試(cèshì)—測試(cèshì)準備測試用例準備估計當前版本所需新測試用例的數量(shùliàng)在被測系統之間分配新測試用例的數量(shùliàng)在每個系統的操作之間分配新測試用例的數量(shùliàng)指定新的測試用例將新測試用例加入測試用例集測試過程準備第四十頁，共84頁。測試(cèshì)—測試(cèshì)執(zhí)行分配測試時間按次序(cìxù)執(zhí)行測試標識系統失效分析測試輸出的偏離確定哪些偏離是失敗估計失效出現的時間測試記錄的考慮第四十一頁，共84頁。測試(cèshì)—決策可靠性驗證測試可靠性增長測試特殊情況(qíngkuàng)失效數據計算缺陷掩蓋問題第四十二頁，共84頁。THANKYOUSUCCESS2023/1/1343可編輯(biānjí)第四十三頁，共84頁。測試(cèshì)—加速測試(cèshì)有效測試與無效測試通過(tōngguò)測試分類優(yōu)化測試用例集稀有操作和關鍵操作非稀有關鍵操作稀有非關鍵操作稀有關鍵操作第四十四頁，共84頁。測試—稀有關鍵(guānjiàn)操作組合或縮減稀有(xīyǒu)操作根據操作的關鍵程度加權處理操作剖面按照關鍵類別將操作分類為稀有(xīyǒu)關鍵操作分配指定數量的測試用例第四十五頁，共84頁。測試(cèshì)—幾個問題測試(cèshì)記錄重復抽樣充分性準則第四十六頁，共84頁。模型(móxíng)—基本情況基于對軟件失效特征的理解，建立軟件可靠性模型，試圖量化軟件可靠性自1970年代以來，已經開發(fā)了超過200種模型，但是在軟件可靠性定量評價方面仍然遺留著大量(dàliàng)未解決的問題沒有一個適應所有情況的單一模型，也沒有任何模型是完備的，甚至是典型的第四十七頁，共84頁。模型—建模的基本(jīběn)思想測試(cèshì)時間失效(shīxiào)強度失效率目標值計劃完成時間當前時間當前失效率說明失效過程對影響它的主要因素的通用依賴形式。第四十八頁，共84頁。模型—影響失效(shīxiào)的因素錯誤引入錯誤消除(xiāochú)操作環(huán)境第四十九頁，共84頁。模型—軟件失效(shīxiào)的統計特性時間失效率硬件軟件(理論)軟件(實際)第五十頁，共84頁。模型(móxíng)—失效的隨機性隨機性的含義變量的值不確定，有許多可能的值，每個值都有相應的發(fā)生概率精確值不可預知(yùzhī)，平均值和離差時可知的不與特定的概率分布相聯系受測試強度和使用剖面等因素的影響第五十一頁，共84頁。模型—對不同類別(lèibié)失效處理分別評估(pínɡɡū)每類失效的強度和其他參數根據失效的嚴重程度對各類失效間的時間間隔加權，然后對數據集中處理評估(pínɡɡū)總失效強度時不考慮各類失效的嚴重程度，用總失效強度乘以每類失效出現的比例來確定每類失效的失效強度第五十二頁，共84頁。模型(móxíng)—建模的目的預測達到規(guī)定目標還需要多少測試時間預測測試結束時軟件(ruǎnjiàn)的期望可靠性第五十三頁，共84頁。模型(móxíng)—用途項目預計估計時機開發(fā)早期測試運行期目的初始可靠性和失效率連續(xù)可靠性評價失效數據不依賴依賴輸入數據過程或產品數據失效數據輸出數據錯誤密度，總錯誤數全部可靠性相關度量性質靜態(tài)動態(tài)推斷方法直接換算直接可測實時性早期晚期精確度不確定更好第五十四頁，共84頁。模型(móxíng)—模型(móxíng)的典型構成模型(móxíng)假設模型(móxíng)因素數學函數描述可靠性與因素之間的關系通常為高階指數或對數第五十五頁，共84頁。模型(móxíng)—參數估計方式評估通過系統失效數據進行統計推導預計根據軟件產品屬性(shǔxìng)和開發(fā)過程確定參數值第五十六頁，共84頁。模型(móxíng)—參數估計方法估計類別(lèibié)點估計區(qū)間估計估計方法最大似然法最小二乘法貝葉斯法LimitLimit第五十七頁，共84頁。模型(móxíng)—模型(móxíng)的評價論斷的有效性—能給出未來失效行為(xíngwéi)的良好預測能力—計算出的量值是有用的測量參數的簡易性基于合理的假設簡單性被廣泛使用對噪音的不敏感性第五十八頁，共84頁。模型(móxíng)—一般特性隨機過程有錯誤清除(qīngchú)和無錯誤清除(qīngchú)確定參數第五十九頁，共84頁。模型(móxíng)—分類時間域(Timedomain)日歷或執(zhí)行時間類別(Category)在無限時間內發(fā)生(fāshēng)的失效是有限的還是無限的類型(Type)到指定時間發(fā)生(fāshēng)的失效數分布類(Class,僅適應于有限失效)失效強度的時間函數形式族(Family,僅適應于無限失效)失效強度的預期出現失效數的函數形式第六十頁，共84頁。模型(móxíng)—有限失效模型(móxíng)舉例Yamada-Ohba-Osaki(1983)GammaLittlewood(1981)ParetoSchick-Wlverton(1978)C1Schick-Wolverton(1973)Wagoner(1973)WeibullGoel-Okumoto(1978)Musa(1979)Keiller等(1983)Jelinski-Moranda(1972)Shooman(1972)Musa(1975)Moranda(1975)Schneidewind(1975)Goel-Okumoto(1979)指數其他二項式泊松

類型類第六十一頁，共84頁。模型(móxíng)—無限失效模型(móxíng)舉例泊松T3T2T1

類型族Littlewood-Verrall(1973)線性倒數Littlewood-Verrall(1973)多項式倒數(二次)Crow(1974)冪Musa-Okumoto(1984)Moranda(1975)幾何第六十二頁，共84頁。模型(móxíng)—應用的考慮沒有普遍適用的可靠性增長(zēngzhǎng)模型可靠性增長(zēngzhǎng)與具體應用相關使用多個增長(zēngzhǎng)模型擬合觀測數據，選取與數據最匹配的模型第六十三頁，共84頁。模型(móxíng)—推薦模型(móxíng)基本執(zhí)行時間模型(móxíng)(Musa)（簡稱：基本模型(móxíng)）對數泊松執(zhí)行時間模型(móxíng)(Musa-Okumoto)（簡稱：對數模型(móxíng)）第六十四頁，共84頁。評估—模型(móxíng)基本假設故障是獨立的，并且被遇到的概率是均勻分布測試空間覆蓋了使用空間(測試從完整(wánzhěng)的使用輸入集中選取)每個運行的輸入集是隨機選取的所有的失效有明確的定義并易于觀察導致失效的錯誤立即被修正,否則重復出現的失效不計算在內第六十五頁，共84頁。評估—基本(jīběn)模型第六十六頁，共84頁。評估—對數(duìshù)泊松模型第六十七頁，共84頁。評估—失效強度(qiángdù)比較(m)l0l0平均(píngjūn)預期失效數m失效(shīxiào)強度l(m)對數泊松模型基本模型λ:失效強度λ0:初始失效強度μ:在給定時間點上失效的總平均數v0:在無限時間范圍內總失效數第六十八頁，共84頁。評估—失效(shīxiào)強度比較(t)l0l0執(zhí)行時間t失效強度l(m)基本模型對數泊松模型λ:失效強度λ0:初始失效強度t:執(zhí)行時間(shíjiān)v0:在無限時間(shíjiān)范圍內總失效數第六十九頁，共84頁。評估(pínɡɡū)—平均失效數比較(t)tmv0基本模型對數泊松模型t:執(zhí)行時間μ:在給定時間點上失效的總平均數v0:在無限(wúxiàn)時間范圍內總失效數第七十頁，共84頁。評估(pínɡɡū)—模型參數參數模型基本模型對數模型初始失效強度λ0λ0失效強度變化總失效數υ0—失效強度衰減率—θ第七十一頁，共84頁。評估(pínɡɡū)—模型參數預測(1/3)初始(chūshǐ)失效強度λ0λ0＝?Kω0總失效數υ0υ0＝ω0/B失效強度衰減率θ第七十二頁，共84頁。評估—模型(móxíng)參數預測(2/3)程序的線性執(zhí)行頻率(pínlǜ)?程序的平均執(zhí)行率γ/目標指令數I錯誤暴露率K導致失效的“程序段”所占的時間比第七十三頁，共84頁。評估—模型(móxíng)參數預測(3/3)固有錯誤數ω0錯誤播種通過測試確定錯誤密度，參照(cānzhào)軟件規(guī)模、復雜度，根據經驗公式推算錯誤衰減因子B錯誤將減少數/出現的失效數第七十四頁，共84頁。評估(pínɡɡū)—例1(基本模型)題：假定程序在無限的執(zhí)行時間(shíjiān)里將經歷100次失效，在最近的t時間(shíjiān)單位期間，發(fā)生50次失效。初始失效強度為10次失效/CPU小時。計算當前(在t)的失效強度:解：第七十五頁，共84頁。評估(pínɡɡū)—例2(基本模型)題：設0=10次失效/CPU小時，v0=100(在無限(wúxiàn)的執(zhí)行時間里的失效數)，求當=10CPU小時和=100CPU小時的失效數?解：第七十六頁，共84頁。評估—例3(基本(jīběn)模型)題：設0=10次失效/CPU小時，v0=100(在無限(wúxiàn)的執(zhí)行時間里的失效數)，求=10CPU小時和