下載本文檔
版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、軟件測(cè)試,2.1 軟件測(cè)試技術(shù)概述 2.2 軟件測(cè)試的分類(lèi)與流程策略 2.3 靜態(tài)測(cè)試與動(dòng)態(tài)測(cè)試概述 2.4 軟件測(cè)試的評(píng)審技術(shù),第二章 測(cè)試方法概述與靜態(tài)分析,2.1.1 軟件測(cè)試技術(shù)的分類(lèi) 2.1.2 軟件測(cè)試技術(shù)間的關(guān)系 2.1.3 軟件測(cè)試技術(shù)的選擇,2.1 軟件測(cè)試技術(shù)概述,從不同的角度,可以對(duì)軟件測(cè)試方法進(jìn)行分成不同種類(lèi)。 執(zhí)行代碼 程序結(jié)構(gòu) 開(kāi)發(fā)過(guò)程 功能性能,2.1.1 軟件測(cè)試技術(shù)分類(lèi),1、從是否執(zhí)行代碼來(lái)分 靜態(tài)測(cè)試:不實(shí)際運(yùn)行被測(cè)試軟件,只靜態(tài)地檢查程序代碼、界面或文檔中可能存在的錯(cuò)誤的過(guò)程。 動(dòng)態(tài)測(cè)試:實(shí)際運(yùn)行被測(cè)試程序,輸入相應(yīng)的測(cè)試數(shù)據(jù),檢查實(shí)際輸出結(jié)果和預(yù)期結(jié)果是
2、否相符的過(guò)程。,2.1.1 軟件測(cè)試技術(shù)分類(lèi),2、從是否需了解程序結(jié)構(gòu)來(lái)分。 黑盒測(cè)試(Black-Box Testing)、 白盒測(cè)試(White-Box Testing)、灰盒測(cè)試。 黑盒測(cè)試:黑盒測(cè)試又稱(chēng)為功能測(cè)試、數(shù)據(jù)驅(qū)動(dòng)測(cè)試和基于規(guī)格說(shuō)明的測(cè)試。是一種從用戶(hù)觀點(diǎn)出發(fā)的測(cè)試,主要以軟件規(guī)格說(shuō)明書(shū)為依據(jù),對(duì)程序功能和程序接口進(jìn)行的測(cè)試。 白盒測(cè)試:白盒測(cè)試(White-box Testing)也稱(chēng)為結(jié)構(gòu)測(cè)試或邏輯驅(qū)動(dòng)測(cè)試,是在知道產(chǎn)品的內(nèi)部工作過(guò)程,通過(guò)測(cè)試來(lái)檢測(cè)產(chǎn)品內(nèi)部動(dòng)作是否按照規(guī)格說(shuō)明書(shū)的規(guī)定正常進(jìn)行。,2.1.1 軟件測(cè)試方法分類(lèi),工程碩士,7,黑盒測(cè)試和白盒測(cè)試,2.1.1 軟
3、件測(cè)試技術(shù)分類(lèi),灰盒測(cè)試:灰盒測(cè)試介于白盒測(cè)試和黑盒測(cè)試之間,是現(xiàn)代測(cè)試的一種理念。就是指在白盒測(cè)試中交叉使用黑盒測(cè)試的方法;在黑盒測(cè)試中交叉使用白盒測(cè)試的方法。,2.1.1 軟件測(cè)試技術(shù)分類(lèi),3、從軟件測(cè)試策略或過(guò)程來(lái)分 單元測(cè)試(Unit Testing) 集成測(cè)試(Integration Testing) 確認(rèn)測(cè)試(Validation Testing) 系統(tǒng)測(cè)試(System Testing) 驗(yàn)收測(cè)試(Verification Testing)。,2.1.1 軟件測(cè)試技術(shù)分類(lèi),單元測(cè)試 對(duì)程序中最小可測(cè)試單元進(jìn)行檢查和驗(yàn)證。 集成測(cè)試 將通過(guò)測(cè)試的單元模塊組裝成系統(tǒng)或子系統(tǒng),再進(jìn)行測(cè)
4、試,重點(diǎn)測(cè)試不同模塊的接口部分。 確認(rèn)測(cè)試: 檢驗(yàn)所開(kāi)發(fā)的軟件能否滿(mǎn)足所有功能和性能需求的最后 手段。 系統(tǒng)測(cè)試 集成測(cè)試完成之后,將整個(gè)系統(tǒng)看成整體進(jìn)行測(cè)試,包括功能、性能以及運(yùn)行的軟硬件環(huán)境。 用戶(hù)驗(yàn)收測(cè)試 系統(tǒng)測(cè)試的后期,以用戶(hù)測(cè)試為主,按照功能需求說(shuō)明書(shū)以及用戶(hù)手冊(cè)為標(biāo)準(zhǔn)測(cè)試整個(gè)系統(tǒng),保證軟件達(dá)到可以交付使用的狀態(tài)。,2.1.1 軟件測(cè)試技術(shù)分類(lèi),4、從軟件測(cè)試的作用來(lái)分 功能測(cè)試:檢查軟件的功能是否符合用戶(hù)的需求,包括: 邏輯功能測(cè)試 界面測(cè)試 易用性測(cè)試 安裝測(cè)試 兼容性測(cè)試 非功能測(cè)試:對(duì)系統(tǒng)功能之外的特性進(jìn)行測(cè)試,包括: 性能測(cè)試 安全測(cè)試 強(qiáng)度測(cè)試 容量測(cè)試 。,2.1.1
5、軟件測(cè)試技術(shù)分類(lèi),2.1.2 軟件測(cè)試技術(shù)間的關(guān)系,工程碩士,13,不實(shí)際運(yùn)行程序,而是通過(guò)檢查和閱讀等手段來(lái)發(fā)現(xiàn)錯(cuò)誤并評(píng)估代碼質(zhì)量的軟件測(cè)試技術(shù)。也稱(chēng)為靜態(tài)分析技術(shù)。,實(shí)際運(yùn)行程序,并通過(guò)觀察程序運(yùn)行的實(shí)際結(jié)果來(lái)發(fā)現(xiàn)錯(cuò)誤的軟件測(cè)試技術(shù)。,在不知道程序內(nèi)部結(jié)構(gòu),只知道程序規(guī)格的情況下采用的測(cè)試技術(shù)或策略。,在知道程序內(nèi)部結(jié)構(gòu)的情況下采用的測(cè)試技術(shù)或策略。,開(kāi)發(fā)組內(nèi)部進(jìn)行的,采用講解、討論和模擬運(yùn)行的方式進(jìn)行的查找錯(cuò)誤的活動(dòng)。,開(kāi)發(fā)組內(nèi)部進(jìn)行的,采用講解、提問(wèn)并使用Checklist方式進(jìn)行的查找錯(cuò)誤的活動(dòng)。一般有正式的計(jì)劃、流程和結(jié)果報(bào)告。,開(kāi)發(fā)組、測(cè)試組和相關(guān)人員(QA、產(chǎn)品經(jīng)理等)聯(lián)合進(jìn)行
6、的,采用講解、提問(wèn)并使用Checklist方式進(jìn)行的查找錯(cuò)誤的活動(dòng)。一般有正式的計(jì)劃、流程和結(jié)果報(bào)告。,2.1.2 軟件測(cè)試技術(shù)間的關(guān)系,工程碩士,14,針對(duì)要求的程序功能,按照規(guī)范的流程進(jìn)行的測(cè)試。,針對(duì)要求的程序功能以外的其他要求,包括性能、安全、配置、負(fù)載等指標(biāo),按照規(guī)范的流程進(jìn)行的測(cè)試。,針對(duì)要求的程序功能、性能、安全、配置、負(fù)載等指標(biāo),基于破壞目的、按照經(jīng)驗(yàn)進(jìn)行的隨機(jī)測(cè)試。,程序修改或者版本更新以后,為了確保以前正確的功能和其他指標(biāo)仍舊正確,而重新進(jìn)行的測(cè)試。,在測(cè)試過(guò)程中,選擇足夠的測(cè)試用例,使得每一個(gè)可執(zhí)行語(yǔ)句至少被執(zhí)行一次。,在測(cè)試過(guò)程中,選擇足夠的測(cè)試用例,使得程序中的每一個(gè)
7、分支判斷的每一種可能結(jié)果都至少被執(zhí)行一次。,在測(cè)試過(guò)程中,選擇足夠的測(cè)試用例,使得程序中的每一條可能執(zhí)行的路徑都至少執(zhí)行一次。,單元測(cè)試 測(cè)試方法:白盒測(cè)試 參考規(guī)范:詳細(xì)設(shè)計(jì)說(shuō)明和代碼結(jié)構(gòu) 集成測(cè)試 測(cè)試方法:黑盒測(cè)試和白盒測(cè)試 參考規(guī)范:詳細(xì)設(shè)計(jì)說(shuō)明和概要設(shè)計(jì)說(shuō)明 系統(tǒng)測(cè)試 測(cè)試方法:黑盒測(cè)試 參考規(guī)范:概要設(shè)計(jì)和需求規(guī)格說(shuō)明 可接受性測(cè)試 測(cè)試方法:黑盒測(cè)試 參考規(guī)范:需求規(guī)格說(shuō)明 回歸測(cè)試 測(cè)試方法:黑盒測(cè)試和白盒測(cè)試 參考規(guī)范:需求變更文檔和概要設(shè)計(jì)說(shuō)明,2.1.3 軟件測(cè)試技術(shù)的選擇,2.2.1 軟件測(cè)試的分類(lèi) 2.2.2 軟件測(cè)試的流程 2.2.3 軟件測(cè)試的策略,2.2 軟件測(cè)
8、試的分類(lèi)與流程策略,2.2.1 軟件測(cè)試的分類(lèi),從不同的角度,軟件測(cè)試有多種不同的分類(lèi)。 測(cè)試范圍 測(cè)試目的 測(cè)試對(duì)象 測(cè)試過(guò)程 其它,1、按測(cè)試范圍來(lái)分 單元測(cè)試 組件測(cè)試 集成測(cè)試 系統(tǒng)測(cè)試 驗(yàn)收測(cè)試 安裝測(cè)試,2.2.1 軟件測(cè)試的分類(lèi),2、按測(cè)試目的來(lái)分 正確性測(cè)試 白盒測(cè)試 黑盒測(cè)試 性能測(cè)試 可靠性測(cè)試 強(qiáng)壯性測(cè)試 異常處理測(cè)試 負(fù)載測(cè)試 安全性測(cè)試,2.2.1 軟件測(cè)試的分類(lèi),3、按測(cè)試對(duì)象來(lái)分 單元測(cè)試 組件測(cè)試 模塊測(cè)試 程序測(cè)試 系統(tǒng)測(cè)試 文檔測(cè)試,2.2.1 軟件測(cè)試的分類(lèi),4、按測(cè)試過(guò)程來(lái)分 需求階段測(cè)試 設(shè)計(jì)階段測(cè)試 程序階段測(cè)試 測(cè)試結(jié)果評(píng)估 安裝測(cè)試 測(cè)試變化:維
9、護(hù),2.2.1 軟件測(cè)試的分類(lèi),5、其它測(cè)試(P38) 回歸測(cè)試 壓力測(cè)試 恢復(fù)測(cè)試 兼容性測(cè)試,2.2.1 軟件測(cè)試的分類(lèi),1、軟件測(cè)試的階段劃分 軟件測(cè)試是由一系列不同測(cè)試階段組成的,這些階段分為:規(guī)格說(shuō)明書(shū)審查、系統(tǒng)和程序設(shè)計(jì)審查、單元測(cè)試、集成測(cè)試、功能測(cè)試、確認(rèn)測(cè)試、系統(tǒng)測(cè)試、驗(yàn)收測(cè)試和安裝測(cè)試。 (P39) 規(guī)格說(shuō)明書(shū)審查: 系統(tǒng)和程序設(shè)計(jì)審查: 單元測(cè)試: 集成測(cè)試: 功能測(cè)試: 確認(rèn)測(cè)試 系統(tǒng)測(cè)試: 驗(yàn)收測(cè)試 安裝測(cè)試,2.2.2 軟件測(cè)試的流程,2、從軟件測(cè)試流程,2.2.2 軟件測(cè)試的流程,從軟件開(kāi)發(fā)來(lái)看,2.2.2 軟件測(cè)試的流程,從軟件測(cè)試來(lái)看,1、軟件測(cè)試策略的概念
10、測(cè)試策略通常是描述測(cè)試工程的總體方法和目標(biāo)。描述目前在進(jìn)行哪一階段的測(cè)試(如單元測(cè)試、集成測(cè)試、系統(tǒng)測(cè)試)以及每個(gè)階段內(nèi)進(jìn)行的測(cè)試種類(lèi)(如功能測(cè)試、性能測(cè)試、壓力測(cè)試等),以確定合理的測(cè)試方案使得測(cè)試更有效。,2.2.3 軟件測(cè)試的策略,2、軟件測(cè)試策略的原則 全面細(xì)致地了解產(chǎn)品的項(xiàng)目信息:應(yīng)用領(lǐng)域,測(cè)試范圍,市場(chǎng)需求,產(chǎn)品的特點(diǎn)和主要功能,技術(shù)架構(gòu)。 全面細(xì)致地分析影響產(chǎn)品的因素:基于模塊、功能、整體、系統(tǒng)、版本、壓力、性能、配置和安裝等各個(gè)因素。 客觀嚴(yán)格地執(zhí)行測(cè)試計(jì)劃: 制定出度量測(cè)試等級(jí)和測(cè)試重點(diǎn)的標(biāo)準(zhǔn):一般是根據(jù)程序的重要性和一旦發(fā)生故障將造成的損失來(lái)確定。 使用盡可能少的有效測(cè)試用
11、例,發(fā)現(xiàn)盡可能多的程序錯(cuò)誤是策略制訂的目標(biāo):一次完整的軟件測(cè)試后,如果程序中遺漏的錯(cuò)誤過(guò)多且很?chē)?yán)重,則表明本次測(cè)試是失敗的或不足的;而測(cè)試不足意味著讓用戶(hù)承擔(dān)隱藏錯(cuò)誤帶來(lái)的危險(xiǎn)。反過(guò)來(lái),如果過(guò)度測(cè)試,又會(huì)浪費(fèi)許多寶貴的資源。找到一個(gè)最佳平衡點(diǎn)。,2.2.3 軟件測(cè)試的策略,3、軟件測(cè)試策略制訂的輸入輸出(P55) 輸入 輸出,2.2.3 軟件測(cè)試的策略,2.3.1 靜態(tài)測(cè)試 2.3.2 動(dòng)態(tài)測(cè)試 2.3.3 黑盒測(cè)試 2.3.4 白盒測(cè)試 2.3.5 黑盒與白盒測(cè)試的比較,2.3 靜態(tài)測(cè)試與動(dòng)態(tài)測(cè)試概述,靜態(tài)測(cè)試與動(dòng)態(tài)測(cè)試的比喻,1、靜態(tài)測(cè)試及其特征 靜態(tài)測(cè)試是對(duì)被測(cè)程序進(jìn)行特性分析的方法總稱(chēng)
12、,由于并不真正運(yùn)行被測(cè)試的程序,只對(duì)被測(cè)程序進(jìn)行特性分析,因此常稱(chēng)為“靜態(tài)分析”。所謂靜態(tài)分析是指不需要執(zhí)行測(cè)試程序,只是通過(guò)掃描程序正文,對(duì)程序的數(shù)據(jù)流和控制流等信息進(jìn)行分析,找出系統(tǒng)的缺陷,得出測(cè)試報(bào)告。 靜態(tài)測(cè)試包括代碼檢查、靜態(tài)結(jié)構(gòu)分析、代碼質(zhì)量度量等。它可以由人工進(jìn)行,以發(fā)揮人的邏輯思維優(yōu)勢(shì),也可以借助軟件工具自動(dòng)進(jìn)行。,2.3.1 靜態(tài)測(cè)試,特別地,靜態(tài)分析的差錯(cuò)分析功能是編譯程序所不能替代的。編譯系統(tǒng)雖然能發(fā)現(xiàn)某些程序錯(cuò)誤,但這些錯(cuò)誤遠(yuǎn)非軟件中存在的大部分錯(cuò)誤。目前,已經(jīng)開(kāi)發(fā)了一些靜態(tài)分析系統(tǒng)作為軟件靜態(tài)測(cè)試的工具,靜態(tài)分析已被當(dāng)作一種自動(dòng)化的代碼校驗(yàn)方法。,2.3.1 靜態(tài)測(cè)試
13、,2、靜態(tài)測(cè)試的活動(dòng) 檢查算法的邏輯正確性,確定算法是否實(shí)現(xiàn)了所要求的功能; 檢查模塊接口的正確性,確定形參的個(gè)數(shù)、數(shù)據(jù)類(lèi)型、順序是否正確,確定返回值類(lèi)型及返回值的正確性; 檢查輸入?yún)?shù)是否有合法性檢查。如果沒(méi)有合法性檢查,則應(yīng)確定該參數(shù)是否不需要合法性檢查,否則應(yīng)加上參數(shù)的合法性檢查;,2.3.1 靜態(tài)測(cè)試,檢查調(diào)用其他模塊的接口是否正確,檢查實(shí)參類(lèi)型、實(shí)參個(gè)數(shù)是否正確,返回值是否正確,若被調(diào)用模塊出現(xiàn)異?;蝈e(cuò)誤,程序是否有適當(dāng)?shù)某鲥e(cuò)處理代碼; 檢查是否設(shè)置了適當(dāng)?shù)某鲥e(cuò)處理,以便在程序出錯(cuò)時(shí),能對(duì)出錯(cuò)部分進(jìn)行重做安排,保證其邏輯的正確性; 檢查表達(dá)式、語(yǔ)句是否正確,是否含存在二義性。如表達(dá)式
14、或運(yùn)算符的優(yōu)先級(jí):=、&、|、+、-等; 檢查常量或全局變量使用是否正確; 檢查標(biāo)識(shí)符的使用是否規(guī)范、一致,變量命名是否能夠望名知義、簡(jiǎn)潔、規(guī)范和易記;,2.3.1 靜態(tài)測(cè)試,檢查程序風(fēng)格的一致性、規(guī)范性,代碼是否符合行業(yè)規(guī)范,是否所有模塊的代碼風(fēng)格一致、規(guī)范; 檢查代碼是否可以?xún)?yōu)化,算法效率是否最高; 檢查代碼注釋是否完整,是否正確反映了代碼的功能,并查找錯(cuò)誤的注釋。,2.3.1 靜態(tài)測(cè)試,不同的測(cè)試方法各自的目標(biāo)和側(cè)重點(diǎn)不一樣,在實(shí)際工作中要將靜態(tài)測(cè)試和動(dòng)態(tài)測(cè)試結(jié)合起來(lái),以達(dá)到更加完美的效果。 1、動(dòng)態(tài)測(cè)試及其特征 動(dòng)態(tài)方法是通過(guò)源程序運(yùn)行時(shí)所體現(xiàn)出來(lái)的特征,來(lái)進(jìn)行執(zhí)行跟蹤、時(shí)間分析以及測(cè)
15、試覆蓋等方面的測(cè)試。動(dòng)態(tài)測(cè)試是真正運(yùn)行被測(cè)程序,在執(zhí)行過(guò)程中,通過(guò)輸入有效的測(cè)試用例,對(duì)其輸入與輸出的對(duì)應(yīng)關(guān)系進(jìn)行分析,以達(dá)到檢測(cè)的目的。,2.3.2 動(dòng)態(tài)測(cè)試,2、動(dòng)態(tài)測(cè)試的基本步驟 選取定義域的有效值,或選取定義域外的無(wú)效值; 對(duì)已選取值決定預(yù)期的結(jié)果; 用選取值執(zhí)行程序; 執(zhí)行結(jié)果與預(yù)期的結(jié)果相比,不吻合則說(shuō)明程序有錯(cuò)。 3、動(dòng)態(tài)測(cè)試方法的類(lèi)型 在動(dòng)態(tài)測(cè)試中,又可有基于程序結(jié)構(gòu)的白盒測(cè)試(或稱(chēng)為覆蓋測(cè)試)和基于功能的黑盒測(cè)試。,2.3.2 動(dòng)態(tài)測(cè)試,1、黑盒測(cè)試的定義 黑盒測(cè)試也稱(chēng)作功能測(cè)試和行為測(cè)試,是指根據(jù)功能需求來(lái)測(cè)試程序是否按照預(yù)期工作。黑盒測(cè)試是一種從用戶(hù)觀點(diǎn)出發(fā)的測(cè)試,主要以
16、軟件規(guī)格說(shuō)明書(shū)為依據(jù),對(duì)程序功能和程序接口進(jìn)行的測(cè)試。 黑盒測(cè)試把系統(tǒng)被看成一個(gè)不透明的黑匣,在完全不考慮軟件內(nèi)部結(jié)構(gòu)和處理過(guò)程的情況下驗(yàn)證系統(tǒng)是否達(dá)到用戶(hù)需求。黑盒測(cè)試的示意圖如圖所示,從圖可以看出黑盒測(cè)試只考慮程序的輸入和輸出,無(wú)須考慮程序的內(nèi)部代碼。,2.3.3 黑盒測(cè)試,2.3.3 黑盒測(cè)試,黑盒測(cè)試過(guò)程示意圖,黑盒測(cè)試有兩種基本思想,即通過(guò)測(cè)試和失敗測(cè)試。 在進(jìn)行通過(guò)測(cè)試時(shí),實(shí)際上是確認(rèn)軟件能做什么,而不會(huì)去考驗(yàn)其能力如何,軟件測(cè)試人員只是運(yùn)用最簡(jiǎn)單、最直觀的測(cè)試用例。在設(shè)計(jì)和執(zhí)行測(cè)試用例時(shí),總是先要進(jìn)行通過(guò)測(cè)試,驗(yàn)證軟件的基本功能是否都已實(shí)現(xiàn)。 在確信了軟件正確運(yùn)行之后,就可以采取
17、各種手段通過(guò)搞垮軟件來(lái)找出缺陷。純粹為了破壞軟件而設(shè)計(jì)和執(zhí)行的測(cè)試用例,被稱(chēng)為失敗測(cè)試或迫使出錯(cuò)測(cè)試。,2.3.3 黑盒測(cè)試,2、黑盒測(cè)試的基礎(chǔ) 黑盒測(cè)試的基本觀點(diǎn)是:任何程序都可以看作是從輸入定義域映射到輸出值域的函數(shù)過(guò)程,被測(cè)程序被認(rèn)為是一個(gè)打不開(kāi)的黑盒子,黑盒中的內(nèi)容(實(shí)現(xiàn)過(guò)程)完全不知道,只明確要做到什么。黑盒測(cè)試作為軟件功能的測(cè)試手段,是重要的測(cè)試方法。它主要根據(jù)規(guī)格說(shuō)明設(shè)計(jì)測(cè)試用例,并不涉及程序內(nèi)部結(jié)構(gòu)和內(nèi)部特性,只依靠被測(cè)程序輸入和輸出之間的關(guān)系或程序的功能設(shè)計(jì)測(cè)試用例。,2.3.3 黑盒測(cè)試,3、黑盒測(cè)試的目的 如果外部特性本身有問(wèn)題或規(guī)格說(shuō)明書(shū)的規(guī)定有誤,黑盒測(cè)試方法顯然是發(fā)
18、現(xiàn)不了的。黑盒測(cè)試方法著重測(cè)試軟件的功能需求,是在程序接口上進(jìn)行測(cè)試,其目的主要是為了發(fā)現(xiàn)以下錯(cuò)誤: 是否有不正確的功能,是否有遺漏的功能; 在接口上,是否能夠正確地接收輸入數(shù)據(jù)并產(chǎn)生正確的輸出結(jié)果; 是否有數(shù)據(jù)結(jié)構(gòu)錯(cuò)誤或外部信息訪問(wèn)錯(cuò)誤; 性能上是否能夠滿(mǎn)足要求; 是否有程序初始化和終止方面的錯(cuò)誤。,2.3.3 黑盒測(cè)試,4. 黑盒測(cè)試的特點(diǎn) 黑盒測(cè)試有兩個(gè)顯著的特點(diǎn): 黑盒測(cè)試不考慮軟件的具體實(shí)現(xiàn)過(guò)程,當(dāng)在軟件實(shí)現(xiàn)的過(guò)程發(fā)生變化時(shí),測(cè)試用例仍然可以使用;黑盒測(cè)試用例的設(shè)計(jì)可以和軟件實(shí)現(xiàn)同時(shí)進(jìn)行,這樣能夠壓縮總的開(kāi)發(fā)時(shí)間。 黑盒測(cè)試不僅能夠找到大多數(shù)其他測(cè)試方法無(wú)法發(fā)現(xiàn)的錯(cuò)誤,而且一些外購(gòu)軟
19、件、參數(shù)化軟件包以及某些自動(dòng)生成的軟件,由于無(wú)法得到源程序,只能選擇黑盒測(cè)試。,2.3.3 黑盒測(cè)試,1、白盒測(cè)試的定義 白盒測(cè)試也稱(chēng)作結(jié)構(gòu)測(cè)試或邏輯驅(qū)動(dòng)測(cè)試,是一種基于程序內(nèi)部實(shí)現(xiàn)結(jié)構(gòu)和邏輯尋找缺陷的測(cè)試技術(shù),它根據(jù)程序的控制結(jié)構(gòu)設(shè)計(jì)測(cè)試用例。 白盒測(cè)試(White-box Testing)是在知道產(chǎn)品內(nèi)部工作過(guò)程的情況下,通過(guò)測(cè)試來(lái)檢測(cè)產(chǎn)品內(nèi)部動(dòng)作是否按照規(guī)格說(shuō)明書(shū)的規(guī)定正常進(jìn)行。按照程序內(nèi)部的結(jié)構(gòu)檢驗(yàn)程序中的每條通路是否都能按預(yù)定要求正確工作,而不顧它的功能。 白盒測(cè)試是一種可視的測(cè)試方法,即把測(cè)試對(duì)象看作一個(gè)透明的盒子,測(cè)試人員要了解程序結(jié)構(gòu)和處理過(guò)程。白盒測(cè)試的過(guò)程如圖所示。,2.3
20、.4 白盒測(cè)試,白盒測(cè)試過(guò)程示意圖,2.3.4 白盒測(cè)試,2、白盒測(cè)試的必要性 邏輯錯(cuò)誤和不正確假設(shè)與一條程序路徑被運(yùn)行的可能性成反比。 程序的邏輯流往往和直覺(jué)不一樣。 筆誤是隨機(jī)。 功能測(cè)試本身有局限。,2.3.4 白盒測(cè)試,3、白盒測(cè)試的目的 在對(duì)被測(cè)軟件進(jìn)行白盒測(cè)試時(shí),主要對(duì)程序進(jìn)行以下幾個(gè)方面的檢查。 保證一個(gè)模塊中的所有獨(dú)立執(zhí)行路徑至少測(cè)試一次; 對(duì)所有邏輯判定取值“true”和“false”的兩種情況都至少測(cè)試一次; 在循環(huán)邊界和運(yùn)行界限內(nèi)執(zhí)行循環(huán)體; 測(cè)試內(nèi)部數(shù)據(jù)結(jié)構(gòu)的有效性。,2.3.4 白盒測(cè)試,4、白盒測(cè)試的應(yīng)用 在軟件測(cè)試領(lǐng)域,有六種基本的測(cè)試類(lèi)型:?jiǎn)卧獪y(cè)試,集成測(cè)試,功
21、能測(cè)試/系統(tǒng)測(cè)試,可接受性測(cè)試,回歸測(cè)試和Beta測(cè)試。白盒測(cè)試可以用在其中的三種測(cè)試類(lèi)型中: 單元測(cè)試 集成測(cè)試 回歸測(cè)試,2.3.4 白盒測(cè)試,5、白盒測(cè)試與調(diào)試的不同點(diǎn) 從承擔(dān)的任務(wù)來(lái)看,白盒測(cè)試同其他類(lèi)型測(cè)試一樣,它的任務(wù)是發(fā)現(xiàn)所開(kāi)發(fā)的項(xiàng)目中的缺陷;但調(diào)試不屬于測(cè)試,其任務(wù)是糾正軟件中的缺陷。 從最終的結(jié)果來(lái)看,白盒測(cè)試有預(yù)知結(jié)果,不可預(yù)知的只是程序是否通過(guò)測(cè)試,且成功測(cè)試的結(jié)果是發(fā)現(xiàn)錯(cuò)誤的癥狀,從而引起調(diào)試的進(jìn)行;而調(diào)試的結(jié)果是消除項(xiàng)目中的錯(cuò)誤。 從執(zhí)行的過(guò)程來(lái)看,測(cè)試是一個(gè)發(fā)現(xiàn)錯(cuò)誤、改正錯(cuò)誤、重新測(cè)試的過(guò)程;而調(diào)試是一個(gè)推理過(guò)程。,2.3.4 白盒測(cè)試,從準(zhǔn)備工作來(lái)看,測(cè)試從已知的
22、條件開(kāi)始,使用預(yù)先定義的程序;調(diào)試一般是以不可知的內(nèi)部條件開(kāi)始,做統(tǒng)一性調(diào)試 。 從執(zhí)行的計(jì)劃性來(lái)看,測(cè)試是有計(jì)劃的并要進(jìn)行測(cè)試設(shè)計(jì);而調(diào)試則不受時(shí)間約束。 從執(zhí)行的人員來(lái)看,測(cè)試經(jīng)常是由獨(dú)立的測(cè)試組在不了解軟件設(shè)計(jì)的條件下完成的,而調(diào)試必須由程序員來(lái)完成。 從所使用的工具來(lái)看,大多數(shù)白盒測(cè)試的執(zhí)行和設(shè)計(jì)可有工具支持,而調(diào)試程序員能利用的工具主要是調(diào)試器。,2.3.4 白盒測(cè)試,1、白盒測(cè)試的優(yōu)缺點(diǎn) 優(yōu)點(diǎn) 可構(gòu)成測(cè)試數(shù)據(jù)對(duì)特定程序部分測(cè)試,可以檢測(cè)代碼中的每條分支和路徑; 揭示隱藏在代碼中的錯(cuò)誤; 對(duì)代碼的測(cè)試比較徹底; 有較多工具支持; 有一定的充分性度量手段。,2.3.5 黑盒與白盒測(cè)試的
23、比較,缺點(diǎn) 工作量大, 成本高。通常只用于單元測(cè)試,有應(yīng)用局限; 無(wú)法檢測(cè)代碼中遺漏的路徑和數(shù)據(jù)敏感性錯(cuò)誤; 不能驗(yàn)證規(guī)格說(shuō)明的正確性; 無(wú)法對(duì)規(guī)格說(shuō)明中未實(shí)現(xiàn)的部分進(jìn)行測(cè)試; 不易生成測(cè)試數(shù)據(jù)(通常)。,2.3.5 黑盒與白盒測(cè)試的比較,2、黑盒測(cè)試的優(yōu)缺點(diǎn) 優(yōu)點(diǎn) 對(duì)于較大的代碼單元來(lái)說(shuō),效率高; 測(cè)試人員不需要了解實(shí)現(xiàn)的細(xì)節(jié),包括具體的編程語(yǔ)言; 測(cè)試員和程序員可以由不同的人員來(lái)?yè)?dān)任; 從用戶(hù)的角度進(jìn)行測(cè)試,容易被理解和接受; 有助于暴露任何規(guī)格不一致或有歧義的問(wèn)題; 測(cè)試用例的設(shè)計(jì)可以在規(guī)格說(shuō)明完成之后馬上進(jìn)行; 容易入手生成測(cè)試數(shù)據(jù); 適用于各階段測(cè)試。,2.3.5 黑盒與白盒測(cè)試的比
24、較,缺點(diǎn) 實(shí)際上,只有一小部分可能的輸入被測(cè)試到,某些代碼得不到測(cè)試; 如果沒(méi)有清晰、簡(jiǎn)潔的規(guī)格說(shuō)明,難以設(shè)計(jì)測(cè)試用例; 如果測(cè)試人員不知道開(kāi)發(fā)人員已經(jīng)執(zhí)行過(guò)該測(cè)試用例,會(huì)存在不必要的重復(fù)測(cè)試; 會(huì)有很多程序路徑?jīng)]有被測(cè)試到; 不能直接針對(duì)可能隱蔽了許多問(wèn)題的特定程序段進(jìn)行測(cè)試; 如果規(guī)格說(shuō)明有誤,則無(wú)法發(fā)現(xiàn); 不易進(jìn)行充分性測(cè)試。,2.3.5 黑盒與白盒測(cè)試的比較,3、白盒測(cè)試和黑盒測(cè)試的比較 白盒測(cè)試只關(guān)注軟件產(chǎn)品的測(cè)試,不能夠確保產(chǎn)品已經(jīng)實(shí)現(xiàn)了規(guī)格說(shuō)明中的所有功能。黑盒測(cè)試則只關(guān)注規(guī)格說(shuō)明中的測(cè)試,不能夠保證已經(jīng)實(shí)現(xiàn)的各個(gè)部分都被測(cè)試到。 與黑盒測(cè)試相比,白盒測(cè)試的成本要高一些。 黑盒測(cè)
25、試是一種確認(rèn)技術(shù),回答“我們?cè)跇?gòu)造一個(gè)正確的系統(tǒng)嗎?白盒測(cè)試是一種驗(yàn)證技術(shù),回答“我們?cè)谡_地構(gòu)造一個(gè)系統(tǒng)嗎?” 總之,建議測(cè)試人員在進(jìn)行測(cè)試的過(guò)程中,可以考慮先使用黑盒測(cè)試,然后統(tǒng)計(jì)相應(yīng)的覆蓋率,再設(shè)計(jì)適當(dāng)?shù)陌缀袦y(cè)試用例作為補(bǔ)充以保證測(cè)試的完整性。,2.3.5 黑盒與白盒測(cè)試的比較,2.4.1 軟件評(píng)審及其評(píng)審點(diǎn) 2.4.2 軟件評(píng)審的組織與流程 2.4.3 測(cè)試和評(píng)審的比較 2.4.4 軟件評(píng)審方法 2.4.5 軟件評(píng)審 2.4.6 其它軟件評(píng)審 2.4.7 代碼走讀,2.4 軟件測(cè)試的評(píng)審技術(shù),工程碩士,56,2.4.1 軟件評(píng)審及其評(píng)審點(diǎn),1、什么是軟件評(píng)審 軟件評(píng)審是指在軟件開(kāi)發(fā)過(guò)程
26、中,由參與評(píng)審的人員對(duì)軟件開(kāi)發(fā)文檔或代碼進(jìn)行審定或檢查,幫助查找缺陷和改進(jìn)。其工作內(nèi)容有: 檢驗(yàn)產(chǎn)品是否滿(mǎn)足規(guī)范,如需求或設(shè)計(jì)文檔; 識(shí)別產(chǎn)品相對(duì)于標(biāo)準(zhǔn)的偏差; 向作者提出改進(jìn)建議; 促進(jìn)技術(shù)交流和學(xué)習(xí)。,工程碩士,57,2.4.1 軟件評(píng)審及其評(píng)審點(diǎn),2. 軟件評(píng)審原則 對(duì)事不對(duì)人,評(píng)審不是對(duì)責(zé)任人績(jī)效的評(píng)價(jià) 責(zé)任人保持開(kāi)發(fā)思想,接受別人意見(jiàn),避免爭(zhēng)論 評(píng)審組規(guī)模保持3-7人 評(píng)審期間要努力發(fā)現(xiàn)問(wèn)題,但不要試圖去解決問(wèn)題 會(huì)議限制在兩個(gè)小時(shí)之內(nèi) 正式評(píng)審需要事先準(zhǔn)備,工程碩士,58,評(píng)審,評(píng)審,評(píng)審,評(píng)審,評(píng)審,評(píng)審,評(píng)審,3、軟件項(xiàng)目中的評(píng)審點(diǎn),2.4.1 軟件評(píng)審及其評(píng)審點(diǎn),59,1.
27、軟件評(píng)審的角色(實(shí)例) 責(zé)任人:是準(zhǔn)備要評(píng)審的信息或工作產(chǎn)品的人。 主審人:是評(píng)審組長(zhǎng),評(píng)審會(huì)議主持人,帶領(lǐng)評(píng)審團(tuán)隊(duì)工作保證評(píng)審達(dá)到預(yù)期的目的。 講解員:負(fù)責(zé)在評(píng)審會(huì)議期間對(duì)被審的工作產(chǎn)品部分進(jìn)行釋義,使評(píng)審組可側(cè)重于重要信息,將注意力由責(zé)任人轉(zhuǎn)向產(chǎn)品。 記錄員:記錄下評(píng)審會(huì)議過(guò)程中的相關(guān)信息,如對(duì)預(yù)審問(wèn)題的確認(rèn),新出現(xiàn)的問(wèn)題等。 評(píng)審專(zhuān)家:了解評(píng)審對(duì)象,是尋找評(píng)審對(duì)象與所依照的文檔、標(biāo)準(zhǔn)之間存在的差異。,2.4.2 軟件評(píng)審的組織與流程,工程碩士,60,2. 軟件評(píng)審的流程,2.4.2 軟件評(píng)審的組織與流程,工程碩士,61,2.4.3 測(cè)試和評(píng)審的比較,表現(xiàn)形式 測(cè)試:?jiǎn)卧獪y(cè)試、集成測(cè)試、確
28、認(rèn)測(cè)試、系統(tǒng)測(cè)試、驗(yàn)收測(cè)試 評(píng)審:審查、小組評(píng)審、走查、結(jié)對(duì)編程、同級(jí)桌查、輪查、臨時(shí)評(píng)審,工程碩士,62,2.4.3 測(cè)試和評(píng)審的比較,工作對(duì)象 測(cè)試:編譯后可運(yùn)行的程序 評(píng)審:需求規(guī)格說(shuō)明書(shū)、架構(gòu)(概要)設(shè)計(jì)文檔、詳細(xì)設(shè)計(jì)文檔、項(xiàng)目計(jì)劃、項(xiàng)目過(guò)程文檔、源代碼、系統(tǒng)界面、測(cè)試計(jì)劃、測(cè)試用例和數(shù)據(jù)、用戶(hù)手冊(cè),工程碩士,63,2.4.3 測(cè)試和評(píng)審的比較,識(shí)別缺陷的階段 測(cè)試:編碼完成后 評(píng)審:需求階段、設(shè)計(jì)階段、編碼階段、測(cè)試階段,工程碩士,64,識(shí)別缺陷的成效 測(cè)試:最多識(shí)別軟件所有缺陷中的30-35% 評(píng)審:最多識(shí)別軟件所有缺陷中的70-75%,2.4.3 測(cè)試和評(píng)審的比較,工程碩士,65
29、,識(shí)別缺陷的成本 測(cè)試:識(shí)別一個(gè)重要缺陷平均花費(fèi)15-25小時(shí) 評(píng)審:識(shí)別一個(gè)重要缺陷平均花費(fèi) 需求階段2-3小時(shí); 設(shè)計(jì)階段3-4小時(shí); 代碼階段3-5小時(shí); 測(cè)試計(jì)劃3-5小時(shí)。,2.4.3 測(cè)試和評(píng)審的比較,工程碩士,66,解決缺陷的成本 測(cè)試:消除一個(gè)重要缺陷平均花費(fèi)30-80小 時(shí)(含識(shí)別缺陷時(shí)間)。開(kāi)發(fā)后期識(shí)別缺陷,成本較高 評(píng)審:需求及設(shè)計(jì)階段消除一個(gè)重要缺陷花費(fèi)5-10小時(shí);代碼評(píng)審階段消除一個(gè)重要缺陷花費(fèi)5-15小時(shí)。傾向于在開(kāi)發(fā)前期識(shí)別缺陷,成本較低,2.4.3 測(cè)試和評(píng)審的比較,工程碩士,67,2.4.4 軟件評(píng)審方法,1、軟件評(píng)審方法的類(lèi)型 審查(Inspection)
30、 團(tuán)隊(duì)/技術(shù)評(píng)審(Team Review/Technical Review) 走查(WalkThrough) 結(jié)對(duì)編程(Pair Programming) 同級(jí)桌查(Peer DeskCheck) 臨時(shí)輪查(Ad hoc Review,工程碩士,68,2.4.4 軟件評(píng)審方法,1、軟件評(píng)審方法的類(lèi)型,工程碩士,69,2、軟件評(píng)審的活動(dòng),2.4.4 軟件評(píng)審方法,工程碩士,70,3、軟件評(píng)審方法的選擇 選擇的原則是工作成果產(chǎn)生風(fēng)險(xiǎn)的可能性越大,采用的評(píng)審方法越正式。 對(duì)于需求規(guī)格說(shuō)明書(shū),因?yàn)樗牟粶?zhǔn)確和不完善會(huì)給軟件的后期開(kāi)發(fā)帶來(lái)極大的風(fēng)險(xiǎn),所以必須要采用最正式的評(píng)審方法,比如審查或者技術(shù)評(píng)審;
31、 核心代碼的失效也會(huì)帶來(lái)很?chē)?yán)重的后果,所以也應(yīng)該采用審查或者技術(shù)評(píng)審的方法進(jìn)行評(píng)審; 一般的代碼,采用同行桌查或者臨時(shí)評(píng)審就可以滿(mǎn)足要求了。,2.4.4 軟件評(píng)審方法,工程碩士,71,4、各評(píng)審方法的評(píng)審目標(biāo),2.4.4 軟件評(píng)審方法,工程碩士,72,1、什么是審查 Michael Fagan 20世紀(jì)70年代在IBM提出, 也被稱(chēng)為“正式審查”,包含制定計(jì)劃、總體會(huì)議、準(zhǔn)備、會(huì)議、返工、跟蹤和因果分析等階段,每個(gè)階段都有不同的角色參與,是有計(jì)劃有結(jié)構(gòu)的評(píng)審方法 Fagan審查方法有多種變體 Gilb/Graham方法 High-Impact審查 分階段審查,2.4.5 軟件審查,工程碩士,7
32、3,2、審查角色 作者:準(zhǔn)備要評(píng)審的信息或工作產(chǎn)品的人。 評(píng)審組長(zhǎng):審查會(huì)議主持人,帶領(lǐng)審查團(tuán)隊(duì)工作,保證評(píng)審達(dá)到預(yù)期目的。 講解員:負(fù)責(zé)在審查會(huì)議期間對(duì)被審的工作產(chǎn)品進(jìn)行解釋?zhuān)箤彶榻M側(cè)重于重要信息,將注意力由責(zé)任人轉(zhuǎn)向產(chǎn)品。 記錄者:記錄審查會(huì)議過(guò)程中的相關(guān)信息,如對(duì)預(yù)審問(wèn)題的確認(rèn)、新出現(xiàn)的問(wèn)題等。 審查專(zhuān)家:尋找審查對(duì)象與所依照的規(guī)范、標(biāo)準(zhǔn)之間存在的差異。,2.4.5 軟件審查,工程碩士,74,3、審查專(zhuān)家的選取,2.4.5 軟件審查,工程碩士,75,4、審查的流程,2.4.5 軟件審查,工程碩士,76,審查流程(續(xù)),2.4.5 軟件審查,工程碩士,77,1、技術(shù)評(píng)審 有時(shí)簡(jiǎn)稱(chēng)為“評(píng)審
33、”或“輕型審查”,是有計(jì)劃有結(jié)構(gòu)的評(píng)審,但沒(méi)有審查正式也沒(méi)有審查嚴(yán)格,講解角色可以由評(píng)審組長(zhǎng)代替。 審查的組織與流程,適用于技術(shù)評(píng)審。 技術(shù)評(píng)審方法發(fā)現(xiàn)問(wèn)題的數(shù)量是審查的2/3。,2.4.6 其它軟件評(píng)審,工程碩士,78,2、走查 由產(chǎn)品作者將產(chǎn)品向一組同事介紹,希望他們給出意見(jiàn)。是為了滿(mǎn)足作者的需要而不是達(dá)到預(yù)期的質(zhì)量目標(biāo)。 一種非正式的評(píng)審 通常不按照事先預(yù)定的過(guò)程進(jìn)行 不制定詳細(xì)的準(zhǔn)出條件 不需要管理報(bào)告 不測(cè)量 走查可以采用正式或不正式的的流程進(jìn)行 走查發(fā)現(xiàn)問(wèn)題的數(shù)量是審查的1/2,2.4.6 其它評(píng)審方法,工程碩士,79,3、結(jié)對(duì)編程 兩個(gè)開(kāi)發(fā)者在一個(gè)電腦上同時(shí)操作一個(gè)程序,每一行代碼都由兩個(gè)人共同編寫(xiě)。 一種非正式的評(píng)審 沒(méi)有結(jié)構(gòu)和制定流程,不需要準(zhǔn)備和評(píng)審文檔; 缺乏正式評(píng)審中來(lái)自編程者以外的其他人的想法,更像是一種開(kāi)發(fā)方法。,2.4.6 其它評(píng)審方法,工程碩士,80,4、同級(jí)桌查 桌查:仔細(xì)地檢查源代碼,以保證程序正確執(zhí)行,是一種自評(píng)審。 桌查特點(diǎn): 除作者外只有一個(gè)人對(duì)工作產(chǎn)品進(jìn)行檢查; 依靠評(píng)審者自身的知識(shí)、技能和自律等因素,不同的評(píng)審者得到的結(jié)果可能不同。 桌查可以采用缺陷檢查表、相應(yīng)的分析方法和度量表格
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2026年邯鄲幼兒師范高等專(zhuān)科學(xué)校高職單招職業(yè)適應(yīng)性測(cè)試參考題庫(kù)帶答案解析
- 2026年黑龍江交通職業(yè)技術(shù)學(xué)院高職單招職業(yè)適應(yīng)性測(cè)試模擬試題有答案解析
- 2026年包頭鐵道職業(yè)技術(shù)學(xué)院?jiǎn)握芯C合素質(zhì)考試備考試題帶答案解析
- 外教英語(yǔ)合同2025年少兒退費(fèi)細(xì)則
- 2026年河北政法職業(yè)學(xué)院?jiǎn)握新殬I(yè)技能考試參考題庫(kù)帶答案解析
- 2026年黑龍江能源職業(yè)學(xué)院高職單招職業(yè)適應(yīng)性測(cè)試備考試題有答案解析
- 2026年成都銀杏酒店管理學(xué)院高職單招職業(yè)適應(yīng)性測(cè)試模擬試題有答案解析
- 2026年貴州工貿(mào)職業(yè)學(xué)院?jiǎn)握芯C合素質(zhì)筆試備考題庫(kù)帶答案解析
- 2026年貴州護(hù)理職業(yè)技術(shù)學(xué)院?jiǎn)握芯C合素質(zhì)筆試參考題庫(kù)帶答案解析
- 2026年黑龍江能源職業(yè)學(xué)院?jiǎn)握芯C合素質(zhì)筆試備考試題帶答案解析
- 農(nóng)產(chǎn)品采購(gòu)合同2025年協(xié)議
- 2025年江蘇省公務(wù)員錄用考試行測(cè)題A類(lèi)答案及解析
- 加油合伙合同范本
- 生產(chǎn)安全隱患課件
- 2025年物流運(yùn)輸合伙投資協(xié)議書(shū)合同模板
- 化工企業(yè)安全生產(chǎn)管理人員配備標(biāo)準(zhǔn)
- 道路危險(xiǎn)貨物運(yùn)輸企業(yè)安全隱患排查與治理制度
- 京東物流合同范本
- 養(yǎng)老機(jī)構(gòu)安全生產(chǎn)責(zé)任制清單
- 《紅巖》中考試題(解析版)-2026年中考語(yǔ)文名著復(fù)習(xí)核心知識(shí)梳理與專(zhuān)項(xiàng)訓(xùn)練
- 醫(yī)務(wù)人員職業(yè)安全防護(hù)課件
評(píng)論
0/150
提交評(píng)論