1、2022/9/2715.1 引言5.1.1 軟件可靠性工程及軟件可靠性軟件可靠性工程應用統(tǒng)計技術，處理在軟件開發(fā)過程中或（和）運行期間所采集的失效數(shù)據(jù)，以便詳細說明并預計、估計和評價軟件的可靠性研究內容包括軟件可靠性的基本概念和定義、軟件可靠性指標體系、可靠性建模、可靠性設計技術、測試技術和管理技術等2022/9/26www.china-onlineclass2022/9/272軟件可靠性工程處理以下問題：確定某過程能否提供滿足可靠性要求的代碼為過程改進提供度量預測軟件維護階段的失效率，確定軟件維護工作量幫助進行安全性認證確定交付軟件產品的時間或停止測試的時機估計下次故障的可能時間為軟件更新或

2、升級，標識需要重新設計的主要部件測定軟件的可靠性2022/9/26www.china-onlineclass2022/9/273軟件可靠性可靠性是軟件的13個質量因素中最關鍵、最重要的軟件可靠性是指在規(guī)定時間和條件下軟件無故障運行的概率，是系統(tǒng)功能或軟件產品中存在的缺陷的函數(shù)軟件故障產生的原因是軟件缺陷，但缺陷并不一定導致故障的產生，高缺陷率的軟件的可靠性不一定就差軟件失效意味著軟件運行中斷或者無法完成所規(guī)定的任務2022/9/26www.china-onlineclass2022/9/274幾個值得關注的問題：軟件的運行環(huán)境：軟件可靠性與運行環(huán)境密切相關軟件運行的時間間隔：商業(yè)軟件需要較高的

3、運行時間間隔（較長的運行壽命），而任務關鍵軟件則需要在短時間內高效運行軟件失效的時機是隨機的，與硬件失效類似不同于軟件的正確性，對于持續(xù)運行的軟件其可靠性最終將歸于零（以失效結束）；但正確性是軟件的特定的某次運行結果，要么為1，要么為02022/9/26www.china-onlineclass2022/9/2755.1.2 軟件的缺陷、故障和失效缺陷（Error，錯誤）：設計和構造進產品總數(shù)是不可預知的，只能估計缺陷分為已知和未知（新發(fā)現(xiàn)）的缺陷分為已發(fā)現(xiàn)的和未發(fā)現(xiàn)的已發(fā)現(xiàn)的缺陷包括已糾正的和未糾正的故障（Fault）：運行結果錯誤故障是缺陷的表現(xiàn)形式，是由存在的缺陷產生的但缺陷并不一定導致

4、故障，或者條件不具備，或者不會產生故障失效（Failure）：系統(tǒng)不能完成所需要的功能而失敗失效是故障在軟件運行時所產生的后果失效缺陷故障已糾正的缺陷2022/9/26www.china-onlineclass2022/9/276軟件質量度量與軟件過程有什么關系？2022/9/26www.china-onlineclass2022/9/277失 效故 障面向用戶面向開發(fā)者軟件運行偏離用戶需求程序執(zhí)行輸出錯誤結果可根據(jù)對用戶應用的嚴重性等級分類可根據(jù)定位和排除故障的難度分類如，3次失效/1000 CPU小時如，6個故障/1KLOC失效與故障的區(qū)別2022/9/26www.china-online

5、class2022/9/2785.1.3 軟件失效軟件失效是隨機發(fā)生的描述失效的方法有三個：累計失效函數(shù)：即與某時間點相關的平均累計失效數(shù)失效率函數(shù)：用累計失效函數(shù)的變化率表示平均失效時間MTTF函數(shù)：對于一個時間段，表示若干相鄰失效時間間隔的平均值；對某個時間點，表示到下次失效的期望時間2022/9/26www.china-onlineclass2022/9/279軟件失效率如果沒有缺陷，軟件失效率為0如果發(fā)現(xiàn)的缺陷能被及時、完全修復，失效率會趨向0實際上，發(fā)現(xiàn)的缺陷數(shù)會遞增，而糾正一個缺陷會引入更多的缺陷，因而失效率會增加時間失效率硬件軟件（實際）軟件（理想）2022/9/26www.ch

6、ina-onlineclass2022/9/27105.2 軟件可靠性度量和建模5.2.1 基本概念軟件可靠性建模過程是根據(jù)軟件過去的故障行為建立軟件可靠性數(shù)學模型的過程建模的目的是為了預計軟件將來的故障行為建模過程包括以下步驟：通過度量獲得歷史數(shù)據(jù)對故障數(shù)據(jù)進行分析，擬合成概率分布函數(shù)對擬合函數(shù)進行參數(shù)分析確定所期望的可靠性度量值并預測可能的故障行為2022/9/26www.china-onlineclass2022/9/27115.2.2 軟件可靠性度量參數(shù)軟件可靠性R(t)可定義為：在給定條件下，在時間0,t內，軟件無故障運行的概率若用T表示軟件無故障運行的時間間隔，F(xiàn)(t)為T的累積分

7、布函數(shù)，則軟件可靠性可表示為：R(t)=1-F(t) t0故障率函數(shù)(t)為：其中，f(t)為F(t)的函數(shù)密度，即：2022/9/26www.china-onlineclass2022/9/2712(t)t是在時間0，t內軟件正常運行，在t,t+t內發(fā)生故障的條件概率，可得：密度函數(shù)f(t)、累積分布函數(shù)F(t)、可靠性函數(shù)R(t)和故障率函數(shù)(t)緊密相關，一般可由任一個惟一地確定另外三個，例如若(t)給定，則：根據(jù)f(t)或R(t)可計算平均失效時間函數(shù)MTTF，從而預測故障時間2022/9/26www.china-onlineclass2022/9/27135.2.3 軟件可靠性度量模

8、型指數(shù)分布密度函數(shù)為分布函數(shù)為故障率函數(shù)為（常數(shù)）具有指數(shù)壽命分布的軟件產品（故障率為常數(shù)）沒有老化現(xiàn)象，符合不需要維護的軟件的運行情況2022/9/26www.china-onlineclass2022/9/2714Weibull分布Weibull是更常用的分布，在許多工程領域的可靠性分析中都廣泛應用，如軸承磨損、河流泛濫等Weibull分布有兩個參數(shù)、（為1時變?yōu)橹笖?shù)函數(shù)）函數(shù)密度為：分布函數(shù)為：故障率函數(shù)為：2022/9/26www.china-onlineclass2022/9/271511=1tWeibull分布=1時變?yōu)橹笖?shù)分布=2時為Rayleigh分布研究表明，軟件項目的生命周

9、期模式、項目的缺陷移除模式等都很好地符合Rayleigh模型2022/9/26www.china-onlineclass2022/9/2716數(shù)據(jù)收集和分析是度量軟件可靠性的最重要的先決條件，任何可靠性度量的有效性都與數(shù)據(jù)收集的有效性直接相關，數(shù)據(jù)收集過程必須有計劃、有組織地進行與軟件可靠性相關的數(shù)據(jù)包括：缺陷數(shù)據(jù)過程數(shù)據(jù)產品數(shù)據(jù)：如規(guī)模、功能、性能等5.3 軟件可靠性數(shù)據(jù)收集過程2022/9/26www.china-onlineclass2022/9/27175.3.1 缺陷數(shù)據(jù)的收集缺陷數(shù)據(jù)的收集常采用問答、報告形式，即發(fā)放問題報告表格要求有關人員填寫，收集并分析問題報告表格形成統(tǒng)計數(shù)據(jù)檢

10、測到的缺陷已記錄的缺陷已評審的缺陷確認？結束缺陷報告采取措施？通過驗證？記錄不采取措施的原因記錄糾正驗證問題報告NoNoNoYesYesYes2022/9/26www.china-onlineclass2022/9/27185.3.2 過程數(shù)據(jù)的收集缺陷數(shù)據(jù)必須與過程融合才有價值，因而過程數(shù)據(jù)也需要收集。通常會將項目的持續(xù)時間作為主要關心的過程數(shù)據(jù)，但實際需要更細分與軟件可靠性測試過程相關的數(shù)據(jù)包括：CPU時間：具有與人無關性，但易忽略人的工作（如評審等）日歷時間：優(yōu)點是易于收集，但沒有考慮階段特征，如某些技術在某階段更有效運行時間：是為測試而運行軟件的總時間，也未考慮階段特征其他數(shù)據(jù)：包括平

11、均修復時間、完成每個過程活動的人數(shù)、軟件生命期各階段所用時間百分比、各階段所消耗的資源數(shù)量、各階段的開始、截止日期、各階段修復一個缺陷所需的工作量、各功能模塊的缺陷數(shù)，等等2022/9/26www.china-onlineclass2022/9/27195.4 軟件的運行剖面軟件可靠性建模需要具備三個條件：軟件運行時間基準（日歷時間、運行時間、CPU時間）軟件運行過程收集的數(shù)據(jù)，是建模基礎軟件功能和運行環(huán)境軟件運行剖面用于定量描述軟件的用戶運行環(huán)境，即軟件的功能和各功能的使用概率2022/9/26www.china-onlineclass2022/9/27205.4.1 軟件新系統(tǒng)的運行剖面不

12、同的運行模式下各功能的使用概率不同不同運行模式的出現(xiàn)模式也不同運行模式1運行模式2功能功能使用概率2022/9/26www.china-onlineclass2022/9/2721運行剖面對軟件可靠性工程極具價值：可為開發(fā)過程的資源分配提供參考，有利于提高生產率、可靠性和加快開發(fā)速度有利于測試，可確保常用功能獲得更多測試有利于設計測試用例，以發(fā)現(xiàn)影響可靠性最大的故障根據(jù)功能的使用頻度可確定開發(fā)的優(yōu)先級使功能描述更清晰，便于交流有助于用戶培訓2022/9/26www.china-onlineclass2022/9/2722 5.4.2 軟件運行剖面與可靠性的關系軟件可靠性度量、評估和預測與軟件的

13、某個特定的運行剖面密切相關軟件測試期間，為節(jié)省時間和成本，通常每個運行剖面只測試一次，因而不能反映每個剖面的出現(xiàn)概率，由此獲得的可靠性數(shù)據(jù)也不能反映實際情況要將測試期間獲得的可靠性值變換為實際值，可用以下公式：其中，u是實際的用戶環(huán)境下的故障密度，T是測試值，C為測試壓縮系數(shù)2022/9/26www.china-onlineclass2022/9/2723C的含義是：在覆蓋全部輸入空間條件下，使用期間所要求的執(zhí)行時間與測試階段所要求的執(zhí)行時間之比C的計算公式為：其中，k為輸入狀態(tài)k運行時的執(zhí)行時間Pk為輸入狀態(tài)k在運行期間的發(fā)生概率QI為輸入狀態(tài)總數(shù)Pmin為最少發(fā)生的輸入狀態(tài)的概率2022/

14、9/26www.china-onlineclass2022/9/2724 5.4.3 軟件運行剖面的建立運行剖面是關于系統(tǒng)如何運行的定量描述，建立步驟為：建立客戶剖面：分類描述要獲取該系統(tǒng)的客戶的使用模式建立用戶剖面：分類描述要使用該系統(tǒng)的用戶的使用模式定義系統(tǒng)模式剖面：根據(jù)執(zhí)行過程描述系統(tǒng)運行模式確定功能剖面：劃分功能并確定各功能的發(fā)生概率確定運行剖面：確定系統(tǒng)各運行模式的發(fā)生概率2022/9/26www.china-onlineclass2022/9/27255.5 軟件可靠性模型及應用軟件可靠性建模是軟件可靠性工程的研究重點5.5.1 與軟件可靠性模型有關的問題歷史背景20世紀70年代，

15、Telinski、Moranda、Shooman等人提出了軟件可靠性建模的問題，并使用建立的模型估計軟件現(xiàn)在和未來的可靠性經(jīng)近40年的發(fā)展，軟件可靠性模型已有很多種2022/9/26www.china-onlineclass2022/9/2726軟件可靠性模型的分類Musa、Okumoto根據(jù)模型的5個特征進行分類：時間域（time domain）：日歷時間、執(zhí)行時間或CPU時間類別（Category）：軟件在無限的時間內可能經(jīng)歷的故障數(shù)是有限的還是無限的型（Type）：軟件在運行時間t時的失效數(shù)分布分類種類（Class）：故障密度對時間的函數(shù)分布（僅對有限故障類）族（Family）：故障密度

16、對它的期望故障數(shù)的函數(shù)分布（僅對無限故障類）2022/9/26www.china-onlineclass有限故障數(shù)模型種類型泊松分布二項式分布其他指數(shù)分布Mussa（1975）MorandaSchneidewindGoel-OkumotoJelinski-MorandaShoomanGoel-OkumotoMussaKeiller-LittlewoodWeibull分布Schick-wolvertonWagonerC1分布Schick-wolverton帕雷多分布LittlewoodGamma分布Y-O-O無限故障數(shù)模型族型T1T2T3泊松分布幾何分布MorandaMussa-Okumoto線

17、性倒數(shù)Littlewood-Verrall二次多項式倒數(shù)Littlewood-Verrall冪Crow有限故障數(shù)模型種類型泊松分布二項式分布其他指數(shù)分布Mussa2022/9/27285.5.2 軟件可靠性模型參數(shù)與軟件可靠性模型相關的參數(shù)有：ETF：軟件中固有缺陷數(shù)，是固定的ETV：同上，是變化的，在開發(fā)、維護過程中隨時添加EC(t)：某時刻已糾正的缺陷數(shù)ED(t)：某時刻已發(fā)現(xiàn)的缺陷數(shù)P：在修正缺陷過程中測試的循環(huán)次數(shù)，常假定 P=ED(t)=EC(t)EC(p)：直到第p次測試才修正的缺陷數(shù)0：起始故障率p：當前故障率：故障率的變化：累計執(zhí)行時間：增長率N：測試用例運行總數(shù)S：成功的測試

18、用例運行總數(shù)2022/9/26www.china-onlineclass2022/9/27296.5.3 軟件可靠性模型Musa模型基本模型假設：每個缺陷對故障率的貢獻是相同的；每修正一個缺陷故障率均勻地減少，即故障率對時間的導數(shù)是常數(shù)；軟件固有的故障總數(shù)是有限的，但不固定，即修正缺陷時可能產生新缺陷Musa模型：2022/9/26www.china-onlineclass2022/9/2730利用基本模型可估計要達到某可靠性目標還必須要發(fā)現(xiàn)（檢測出）的缺陷數(shù)和需要的時間，有助于計劃人力和時間設要達到的可靠性目標為f，則需發(fā)現(xiàn)的故障數(shù)Nf為：為達到這一目標所需時間Tf為：當前已檢測出的累積缺陷

19、數(shù)為達到故障率目標或MTTF目標必須要檢出的累計缺陷數(shù)為達到目標還需檢測出的缺陷數(shù)為達到目標需要的時間測試時間已檢出的累計缺陷數(shù)2022/9/26www.china-onlineclass2022/9/2731對數(shù)模型假設： 每個缺陷對故障率的貢獻不同；常用的功能的缺陷可及早被檢出，故障率的變化隨時間減少；軟件固有的故障總數(shù)是無限的Musa模型：Nf和Tf為：2022/9/26www.china-onlineclass2022/9/2732Goel-Okumoto模型假設：缺陷對時間的分布是非時對齊的，即發(fā)現(xiàn)的缺陷不一定會立即消除（適用于開發(fā)早期）基本模型：其中，ab為常數(shù)，與單位時間內發(fā)生的

20、缺陷有關可得：修正模型：故障密度函數(shù)為Weibull分布2022/9/26www.china-onlineclass2022/9/27335.5.4 軟件可靠性模型的適用條件模型假設適用階段難易度Mussa基本模型優(yōu)先固有缺陷數(shù)常數(shù)故障率指數(shù)分布集成測試后EMussa對數(shù)模型無限固有缺陷數(shù)對數(shù)分布故障率隨時間變化單元測試到系統(tǒng)測試EGoel-Ukumoto非時齊缺陷分布缺陷可能因修復而產生指數(shù)、Weibull分布集成測試后M2022/9/26www.china-onlineclass2022/9/27345.6 軟件可靠性測試5.6.1 軟件測試的類型與軟件可靠性相關的測試主要是動態(tài)測試單元測

21、試：對匯編單元進行測試集成測試：對匯編單元接口的測試驗收測試：驗收并確認實現(xiàn)了所有需求回歸測試：對與修正的缺陷的軟件部件的再測試2022/9/26www.china-onlineclass2022/9/27355.6.2 軟件可靠性測試方法利用在其他測試中的數(shù)據(jù)收集來檢驗軟件可靠性的測試基本步驟是：仔細研究開發(fā)過程和軟件問題報告確定使用那些或那個模型來度量軟件可靠性執(zhí)行一種有效的方法來收集問題報告缺陷數(shù)據(jù)、過程數(shù)據(jù)和產品數(shù)據(jù)，收集集成測試期間及以后的數(shù)據(jù)按照模型規(guī)定的原理和方法，將數(shù)據(jù)輸入選定的模型，直接估計軟件可靠性或間接地估計與其有關的參數(shù)根據(jù)估計結果進行決策：軟件能否被釋放（發(fā)布）？是否

22、需要增加測試時間以達到可靠性目標？如果需要，還需要多少時間？2022/9/26www.china-onlineclass2022/9/2736Beta測試可以直接反映可靠性水平系統(tǒng)軟件證明測試在要求時間內、在實際的使用環(huán)境中運行系統(tǒng)，不對系統(tǒng)進行維護，收集發(fā)現(xiàn)的故障數(shù)，以決定整個系統(tǒng)能否通過可靠性測試基于測試時間的軟件證明測試在相對較長時間內對軟件的運行進行軟件證明測試基于測試輸入的軟件證明測試只針對特定的測試用力進行軟件證明測試2022/9/26www.china-onlineclass2022/9/2737 軟件證明測試方法測試前，先由測試者和用戶共同確定以下三個參數(shù)：用戶風險因子：是由用

23、戶承擔的軟件可靠性未達目標而通過測試的風險生產者風險因子：是由開發(fā)者承擔的可靠性已達目標而未被接受的風險鑒別因子：是最大可接受的失效密度和失效密度目標的比值2022/9/26www.china-onlineclass2022/9/2738確定可靠性測試判定標準根據(jù)已確定的三個參數(shù)繪制軟件可靠性證明測試判定圖確定拒絕線和接受線規(guī)格化是指將測試時間或測試用例數(shù)乘以故障率目標值規(guī)格化的測試時間或測試輸入在測試期間發(fā)現(xiàn)的累計缺陷數(shù)測試通過測試未完測試失敗接受線拒絕線2022/9/26www.china-onlineclass2022/9/2739測試開始后，失效發(fā)生時，將對應的累計故障數(shù)和測試時間或測

24、試用例數(shù)在圖中標出判定測試結果：通過或失敗都表示測試結束，若測試未完成，則繼續(xù)測試注：基于測試用例的證明測試具有隨機性，不同測試可能得到不同結果，為此可采用模塊化方法選擇測試用例，以保證測試的客觀性2022/9/26www.china-onlineclass2022/9/27405.6.3 軟件可靠性測試的實施過程1、概述軟件可靠性測試有兩類：開發(fā)測試：包括性能測試、加載測試、回歸測試，目的是發(fā)現(xiàn)和修正單元及其集成的缺陷確認測試：一般只進行加載測試，目的是為了確定軟件部件或系統(tǒng)是否被接受對于軟件可靠性建模，開發(fā)測試收集的是分組數(shù)據(jù)，是不完整的，而確認測試獲得的是完全數(shù)據(jù)2022/9/26www

25、.china-onlineclass2022/9/2741軟件可靠性測試過程模型開發(fā)業(yè)務剖面是軟件可靠性測試的重要環(huán)節(jié)，因為可靠性目標與業(yè)務剖面關系密切軟件可靠性目標開發(fā)系統(tǒng)業(yè)務剖面準備測試軟件可靠性定量評估軟件可靠性模型執(zhí)行測試收集、整理故障數(shù)據(jù)對比需求與構造設計和實現(xiàn)集成測試和確認測試接受或拒絕2022/9/26www.china-onlineclass2022/9/27423、測試的目的通過在規(guī)定的業(yè)務剖面下運行軟件系統(tǒng)，確認是否能夠完成于業(yè)務剖面相關的任務：正確地完成規(guī)定的功能滿足性能要求不完成沒有規(guī)定的功能提供運行中的故障數(shù)據(jù)4、用戶責任用戶要參與軟件測試：規(guī)定測試要求，如測試條件和

26、環(huán)境評審和批準測試程序評審和批準每一需求的認證方法和技術提供測試環(huán)境和人員要球組織獨立的測試組織2022/9/26www.china-onlineclass2022/9/27435、測試的準備和執(zhí)行測試準備：準備測試用例、測試程序并決定要使用的自動化測試工具測試用例設計須考慮可靠性定量要求和成本及效率，測試用例的數(shù)量和類型選擇要與業(yè)務剖面及發(fā)生概率一致，且考慮到隨機性測試程序與特定的業(yè)務剖面相關，要考慮發(fā)生概率測試執(zhí)行：從性能測試開始進行加載測試，要考慮業(yè)務剖面和運行模式已分配執(zhí)行時間和測試用例測試執(zhí)行過程需進行故障識別，記錄故障發(fā)生時間和嚴重性對于發(fā)現(xiàn)的故障，需要填寫故障報告：引發(fā)故障的缺陷

27、什么時候、在那里出現(xiàn)？原因是什么？如何定位？什么時候該定位被確認？要進行的修改有哪些？2022/9/26www.china-onlineclass2022/9/27446、測試結果的應用用戶根據(jù)測試結果評估可靠性并進行決策開發(fā)者由此產生軟件更新需求，或者改進過程和設計7、需要注意的問題測試人員獨立于開發(fā)者的程度將影響測試結果測試時間計劃不周會導致在開發(fā)過程后期發(fā)現(xiàn)缺陷的風險增加測試等級及相應的測試時間分配選擇不得將不能保證在不犧牲質量的前提下降低成本測試工具的選擇將影響測試效率和完整性2022/9/26www.china-onlineclass2022/9/27455.7 軟件故障數(shù)據(jù)的趨向性

28、分析5.7.1 趨向性分析的含義及作用軟件可靠性建模的基礎是測試數(shù)據(jù)，但由于不同的可靠性模型基于的假設不同，導致可靠性分析方法的離散性，原因主要是： 軟件的自然特征及相應的失效數(shù)據(jù)是離散的 所采用的開發(fā)方法和確認方法不同 數(shù)據(jù)收集的組織有差別 分析的目的、要求各種各樣軟件可靠性模型的有限假設和故障數(shù)據(jù)的離散性是矛盾的，K. Kanoun于1997年提出的趨向性分析方法用于揭示軟件可靠性隨時間的演化趨勢，實踐證明具有很高的實用性2022/9/26www.china-onlineclass2022/9/27465.7.2 軟件故障數(shù)據(jù)工程模型軟件故障數(shù)據(jù)數(shù)據(jù)收集數(shù)據(jù)過濾數(shù)據(jù)分割壽命期分類數(shù)據(jù)按部件

29、分類數(shù)據(jù)故障嚴重性分類數(shù)據(jù)描述性統(tǒng)計可靠性評估可靠性度量描述性分析趨向性分析模型應用2022/9/26www.china-onlineclass2022/9/2747數(shù)據(jù)收集收集的故障數(shù)據(jù)包括：表征產品本身、開發(fā)過程及使用環(huán)境的數(shù)據(jù)，如軟件規(guī)模、語言、功能、確認和驗證方法、使用工具、加載等與故障及其修正相關的數(shù)據(jù)，如故障發(fā)生時間、故障特征、故障影響結果、缺陷類型、缺陷位置等數(shù)據(jù)過濾對收集的數(shù)據(jù)進行分析和過濾，需濾出的數(shù)據(jù)有：與軟件無關的外在數(shù)據(jù)錯誤的或虛假的問題報告重復數(shù)據(jù)2022/9/26www.china-onlineclass2022/9/2748數(shù)據(jù)分割根據(jù)需求將收集到的數(shù)據(jù)進行分割，可使分析更具體分割方法包括：根據(jù)故障的嚴重性等級分割根據(jù)生命期階段分割根據(jù)缺陷所在的軟件部件分割數(shù)據(jù)工程分析根據(jù)工程應用不同，對分割的數(shù)據(jù)進行不同的分析：描述性分析：基于統(tǒng)計原理，用圖、表進行綜合，以識別最有用的現(xiàn)象，如故障的發(fā)生條件與嚴重性的關系等，與可靠性評估沒有直接關系，有利于設計和開發(fā)趨向性分析：分析可靠性隨時間的變化趨勢，有助于評估可靠