1、第 7 章 一致性測(cè)試技術(shù)（1-概述）,2,內(nèi)容提要,概述,1,一致性測(cè)試概念,2,一致性測(cè)試方法,3,3,一致性測(cè)試：概述,測(cè)試是檢查一個(gè)網(wǎng)絡(luò)部件某一方面的特性是否滿(mǎn)足某種特定需求時(shí)常用的一種方法。驗(yàn)證一項(xiàng)新的協(xié)議實(shí)現(xiàn)，通常需要進(jìn)行多項(xiàng)測(cè)試。一般要考慮以下四個(gè)方面： 一致性測(cè)試(conformance testing) 互操作測(cè)試(interoperateability testing) 性能測(cè)試(performance testing) 魯棒性測(cè)試(robustness testing),一致性測(cè)試旨在檢測(cè)所實(shí)現(xiàn)的協(xié)議實(shí)體(或系統(tǒng))與協(xié)議規(guī)范的符合程度(而驗(yàn)證則是檢查形式化規(guī)范的內(nèi)部一致性

2、),互操作測(cè)試建立在一致性測(cè)試基礎(chǔ)之上，重點(diǎn)檢測(cè)同一種協(xié)議的不同實(shí)現(xiàn)版本之間，或同一類(lèi)協(xié)議的不同實(shí)現(xiàn)版本之間互通的能力和互操作能力,性能測(cè)試與前兩種測(cè)試不同，它不是一種功能測(cè)試，而是主要檢測(cè)協(xié)議實(shí)體或系統(tǒng)的性能參數(shù)，如吞吐量、傳輸時(shí)延、聯(lián)接時(shí)間、執(zhí)行速度、并發(fā)度等，并根據(jù)這些參數(shù)對(duì)協(xié)議實(shí)現(xiàn)的性能做出評(píng)價(jià),魯棒性測(cè)試旨在檢測(cè)協(xié)議實(shí)體或系統(tǒng)在各種惡劣環(huán)境下運(yùn)行的能力，如信道被切斷、通信結(jié)點(diǎn)掉電、注入干擾報(bào)文等。,此外，一些不嚴(yán)格進(jìn)行一致性測(cè)試評(píng)價(jià)的生產(chǎn)廠(chǎng)商常進(jìn)行的互連通測(cè)試一般認(rèn)為是一致性測(cè)試的一個(gè)方面。,4,一致性測(cè)試原理,當(dāng)?shù)谝粋€(gè)公用數(shù)據(jù)網(wǎng)投入使用后，該網(wǎng)絡(luò)的管理者要做的一件重要事情是：確定購(gòu)

3、買(mǎi)的商用網(wǎng)絡(luò)設(shè)備是否符合相關(guān)的網(wǎng)絡(luò)標(biāo)準(zhǔn)，但又不必關(guān)心設(shè)備的內(nèi)部細(xì)節(jié)，這就是協(xié)議的一致性測(cè)試問(wèn)題。,Reference Specification,Implementation Under Test(IUT),Tester,一致性測(cè)試(Conformance Testing),協(xié)議驗(yàn)證,Test Sequence,給定一個(gè)已知協(xié)議的規(guī)范(specification)，例如用有限狀態(tài)機(jī)描述的協(xié)議規(guī)范，和一個(gè)未知的協(xié)議實(shí)現(xiàn)。對(duì)于測(cè)試者而言，協(xié)議實(shí)現(xiàn)相當(dāng)于一個(gè)黑盒子，測(cè)試者可以提供輸入信號(hào)(報(bào)文)，然后觀(guān)察輸出結(jié)果。,通常將被測(cè)試的協(xié)議實(shí)現(xiàn)稱(chēng)為IUT(Implementation Under Test

4、, 被測(cè)實(shí)現(xiàn))或SUT(System Under Test，被測(cè)系統(tǒng))。,將一系列用來(lái)測(cè)試實(shí)現(xiàn)一致性的輸入測(cè)試序列為一致性測(cè)試集(conformance test suite)。測(cè)試集是根據(jù)協(xié)議的規(guī)范得生成的，它是進(jìn)行協(xié)議一致性測(cè)試的基礎(chǔ)。,5,一致性測(cè)試 vs. 驗(yàn)證,“一致性測(cè)試”的目的是測(cè)試一個(gè)協(xié)議的給定實(shí)現(xiàn)外部行為是否符合協(xié)議的規(guī)范。 如果一個(gè)協(xié)議的形式化規(guī)范中存在一個(gè)設(shè)計(jì)錯(cuò)誤，則當(dāng)且僅當(dāng)完全基于該規(guī)范的協(xié)議實(shí)現(xiàn)(faithful implementation)中也包含同樣的錯(cuò)誤時(shí)，該實(shí)現(xiàn)才能通過(guò)協(xié)議的一致性測(cè)試。 如果協(xié)議的實(shí)現(xiàn)與協(xié)議的規(guī)范不符，則一致性測(cè)試將失敗。 不要將“一致性”

5、理解為“同一協(xié)議的不同實(shí)現(xiàn)之間的一致性”?！耙恢滦浴敝傅氖潜粶y(cè)系統(tǒng)(也就是協(xié)議的各種實(shí)現(xiàn))與協(xié)議標(biāo)準(zhǔn)的一致性。 而“驗(yàn)證”則是檢查形式化規(guī)范的內(nèi)部一致性。,6,一致性測(cè)試：發(fā)展概況,20世紀(jì)80年代初，歐洲的許多研究機(jī)構(gòu)開(kāi)始在建立標(biāo)準(zhǔn)化的協(xié)議一致性測(cè)試活動(dòng)方面進(jìn)行合作，其目的是制定一個(gè)在OSI框架內(nèi)進(jìn)行協(xié)議一致性測(cè)試的指導(dǎo)標(biāo)準(zhǔn)。 最初的參與者包括法國(guó)巴黎的ADI、德國(guó)Darmastadt的國(guó)家通信研究所(GMD)和英國(guó)的國(guó)家物理實(shí)驗(yàn)室(NPL)。這些研究機(jī)構(gòu)在這之前曾分別關(guān)注于一致性測(cè)試的不同方面的研究。例如， ADI設(shè)計(jì)并實(shí)現(xiàn)了一臺(tái)X.25協(xié)議測(cè)試儀； GMD開(kāi)發(fā)了一種鐘對(duì)OSI體系結(jié)構(gòu)中的

6、會(huì)話(huà)層協(xié)議進(jìn)行被動(dòng)監(jiān)控和錯(cuò)誤檢測(cè)的分析工具； 而NPL則實(shí)現(xiàn)了一個(gè)用來(lái)對(duì)網(wǎng)絡(luò)服務(wù)進(jìn)行測(cè)試的測(cè)試系統(tǒng)。 美國(guó)的國(guó)家標(biāo)準(zhǔn)和技術(shù)局(NIST)由于成功地研制了OSI體系結(jié)構(gòu)中的第4類(lèi)運(yùn)輸協(xié)議的測(cè)試系統(tǒng)，所以后來(lái)也被邀請(qǐng)參加了這一合作項(xiàng)目。,7,一致性測(cè)試：發(fā)展概況 (Cont.),到1984年，更多來(lái)自歐洲和北美的研究人員加入到這一研究之中，取得的成果： 各種測(cè)試結(jié)構(gòu)、測(cè)試語(yǔ)言、各種測(cè)試方法的可行性、測(cè)試序列的自動(dòng)生成等等。 這些成果及其術(shù)語(yǔ)有許多在后來(lái)由ISO制定的一致性測(cè)試標(biāo)準(zhǔn)ISO 9646中被采用。 到了90年代，隨著一系列國(guó)際標(biāo)準(zhǔn)的制定，這一領(lǐng)域正迅速走向成熟。,8,一致性測(cè)試：發(fā)展概況

7、(Cont.),國(guó)際標(biāo)準(zhǔn)化組織ISO專(zhuān)門(mén)制定了一套國(guó)際標(biāo)準(zhǔn)ISO 9646，主要包括： ISO 9646-1 (CCITT X.290) 一般概念 ISO 9646-2 抽象測(cè)試集(suite)規(guī)范 ISO 9646-3 樹(shù)表組合記法TTCN(Tree and Tabular Combined Notation) ISO 9646-4 測(cè)試實(shí)現(xiàn) ISO 9646-5 一致性認(rèn)證處理對(duì)測(cè)試實(shí)驗(yàn)室及其客戶(hù)的要求 ISO 9646-6 測(cè)試實(shí)驗(yàn)室的操作 此外，ISO還制訂出了一些針對(duì)某一層協(xié)議的一致性測(cè)試的國(guó)際標(biāo)準(zhǔn)。例如， ISO10025為運(yùn)輸協(xié)議的一致性測(cè)試標(biāo)準(zhǔn)， ISO 10168為會(huì)話(huà)協(xié)議的

8、一致性測(cè)試標(biāo)準(zhǔn),9,一致性測(cè)試：發(fā)展概況 (Cont.),ISO 9646的制定是協(xié)議一致性測(cè)試領(lǐng)域的一個(gè)里程碑 ISO定義的一序列一致性測(cè)試標(biāo)準(zhǔn)為協(xié)議的一致性測(cè)試提供了基本方法和框架，為測(cè)試集制定了設(shè)計(jì)步驟和描述方法，并為測(cè)試系統(tǒng)的實(shí)現(xiàn)提供了指導(dǎo)。 此后，協(xié)議一致性測(cè)試技術(shù)得到了快速發(fā)展，一些形式化工具和測(cè)試系統(tǒng)得到建立，部分OSI協(xié)議的測(cè)試集標(biāo)準(zhǔn)被制定出來(lái)。 由于協(xié)議測(cè)試的技術(shù)復(fù)雜性和龐大開(kāi)銷(xiāo)，一般是協(xié)議實(shí)現(xiàn)者和協(xié)議用戶(hù)所力不能及的事情。,10,一致性測(cè)試：發(fā)展概況 (Cont.),因此，進(jìn)行獨(dú)立于生產(chǎn)者和用戶(hù)的第三方測(cè)試是常采用的方法。例如， 美國(guó)的國(guó)家標(biāo)準(zhǔn)和技術(shù)局、 新罕布什爾大學(xué)的互

9、操作測(cè)試實(shí)驗(yàn)室IOL， 德國(guó)國(guó)家通信研究所的高速網(wǎng)絡(luò)測(cè)試環(huán)境， 韓國(guó)電子和通信研究所的寬帶ISDN測(cè)試系統(tǒng)BITS等，在協(xié)議的一致性測(cè)試以及測(cè)試結(jié)構(gòu)與測(cè)試環(huán)境等方面的研究都達(dá)到了一定水平，并開(kāi)始提供部分測(cè)試服務(wù)和測(cè)試系統(tǒng)。 國(guó)內(nèi)的清華大學(xué)吳建平教授的實(shí)驗(yàn)室在一致性測(cè)試方面處于國(guó)內(nèi)領(lǐng)先地位。,11,一致性測(cè)試：發(fā)展概況 (Cont.),有一點(diǎn)特別要提到的是，90年代以來(lái)，人們逐漸考慮在測(cè)試研究中大量采用形式化方法，力圖使測(cè)試研究以嚴(yán)格的數(shù)學(xué)語(yǔ)言為基礎(chǔ)來(lái)清晰無(wú)二義性地討論一致性的概念和方法 特別是體現(xiàn)在ISO和ITU-T共同開(kāi)始的“一致性測(cè)試中的形式化方法”計(jì)劃。 該計(jì)劃的主要目的是以協(xié)議形式化技

10、術(shù)為基礎(chǔ)、應(yīng)用目前的形式化方法到協(xié)議一致性測(cè)試的各個(gè)階段，如對(duì)一致性概念和測(cè)試過(guò)程的形式定義、對(duì)一致性測(cè)試集和測(cè)試?yán)男问矫枋鲆约盎谛问揭?guī)范的測(cè)試生成的定義等方面。,12,一致性測(cè)試：發(fā)展概況 (Cont.),近幾年來(lái)，隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)，特別是因特網(wǎng)的不斷發(fā)展，人們發(fā)現(xiàn)以前基于傳統(tǒng)的OSI模型的對(duì)等協(xié)議測(cè)試的理論已經(jīng)不能適應(yīng)實(shí)踐的需要，因此需要進(jìn)行更多的理論和實(shí)踐工作，如復(fù)雜的分布式系統(tǒng)的測(cè)試、高速網(wǎng)絡(luò)測(cè)試和TCP/IP協(xié)議測(cè)試(如路由協(xié)議的一致性測(cè)試)等。,13,一致性測(cè)試：前提,一致性測(cè)試是假定了協(xié)議標(biāo)準(zhǔn)本身是正確的這一前提下進(jìn)行的。雖然在進(jìn)行一致性測(cè)試時(shí)可能發(fā)現(xiàn)協(xié)議中存在的某些問(wèn)題或

11、甚至是錯(cuò)誤，但這并不是一致性測(cè)試的本身的目的。 一致性測(cè)試的目的是希望通過(guò)這個(gè)測(cè)試可增加同一協(xié)議的不同實(shí)現(xiàn)之間能夠互連的概率。 通過(guò)一致性測(cè)試可以給用戶(hù)提供兩個(gè)信息： 通過(guò)了一致性測(cè)試的協(xié)議實(shí)現(xiàn)，具有協(xié)議所要求的各種能力。 在具有代表性的通信實(shí)例中，被測(cè)試的協(xié)議實(shí)現(xiàn)的外部特性與標(biāo)準(zhǔn)協(xié)議的要求一致。,14,內(nèi)容提要,概述,1,一致性測(cè)試概念,2,一致性測(cè)試方法,3,15,一致性測(cè)試要求,一、一致性測(cè)試要求,16,一致性測(cè)試要求,在協(xié)議標(biāo)準(zhǔn)中，通常包括一致性條款，規(guī)定對(duì)相關(guān)實(shí)現(xiàn)的一致性要求CR(Conformance Requirement) 強(qiáng)制性要求。即在所有情況下都要進(jìn)行檢查的要求。 有條件

12、的要求。即在標(biāo)準(zhǔn)所規(guī)定的具體條件下必須滿(mǎn)足的要求。 任選的要求。即為協(xié)調(diào)實(shí)現(xiàn)而可以選擇的要求。 禁止的要求。在標(biāo)準(zhǔn)中還要規(guī)定出什么事情是禁止做的。 可以將上述一致性要求劃分為兩組： 動(dòng)態(tài)一致性要求 靜態(tài)一致性要求,17,動(dòng)態(tài)一致性要求DCR,DCR：能夠決定一個(gè)標(biāo)準(zhǔn)所允許的可能的行為(或行為集)的要求(包括可選的)： DCR隱式定義了與協(xié)議使用有關(guān)的最大一組能力。一個(gè)具體的系統(tǒng)若與某一標(biāo)準(zhǔn)動(dòng)態(tài)地一致，則這個(gè)系統(tǒng)的行為就應(yīng)當(dāng)是該標(biāo)準(zhǔn)所允許的全部行為集合中的一個(gè)成員。 動(dòng)態(tài)一致性要求常用動(dòng)詞“將”描述，例如，“當(dāng)收到一個(gè)XYZ PDU時(shí)，接收端將發(fā)送一個(gè)ABC PDU”。,18,靜態(tài)一致性要求SC

13、R,SCR：為了最大限度地實(shí)現(xiàn)系統(tǒng)之間的互連，必須將各種要求加以分類(lèi)(例如對(duì)所有實(shí)現(xiàn)的強(qiáng)制性要求、有條件或任選的要求等)，形成的約束： 定義各類(lèi)協(xié)議子集的內(nèi)容（即協(xié)議實(shí)現(xiàn)者欲實(shí)現(xiàn)某類(lèi)協(xié)議所必須包括的內(nèi)容），定義PDU的最大長(zhǎng)度、各種協(xié)議參數(shù)、變量、計(jì)時(shí)器的取值范圍等等。 SCR是促進(jìn)互通而允許的最小實(shí)現(xiàn)能力。,19,DCR和SCR,由此可見(jiàn)， 動(dòng)態(tài)一致性是指協(xié)議規(guī)范中規(guī)定的通信實(shí)例中的協(xié)議實(shí)現(xiàn)所必須呈現(xiàn)的外部特性的組合或允許的各種選擇性組合， 而靜態(tài)一致性是指協(xié)議規(guī)范中為使協(xié)議實(shí)現(xiàn)能夠互連而定義的功有類(lèi)別、功能單元的分組以及選擇性功能等等。,20,一致性測(cè)試要求：選項(xiàng),由于選項(xiàng)要求給協(xié)議實(shí)現(xiàn)者

14、留下了選擇的余地，必須要有一個(gè)關(guān)于已實(shí)現(xiàn)的能力和選項(xiàng)的說(shuō)明，從而對(duì)照相關(guān)要求對(duì)該實(shí)現(xiàn)進(jìn)行一致性測(cè)試。這個(gè)說(shuō)明就是協(xié)議一致性陳述PICS (Protocol Implementation Conformance Statement)。 為測(cè)試一個(gè)協(xié)議的實(shí)現(xiàn)，測(cè)試實(shí)驗(yàn)室除了需要由PICS提供的信息外，還需要與IUT和它的測(cè)試環(huán)境的信息，即協(xié)議實(shí)現(xiàn)額外信息PIXIT(Protocol Implement eXtra Information Statement)。它作為抽象測(cè)試集的一部分提出。 這些要求往往使用表格形式來(lái)描述。,21,22,23,24,一致性系統(tǒng),上述一致性要求必須精確地、無(wú)二義性地被

15、描述，這當(dāng)然也要用到我們前面介紹的形式描述技術(shù)。 我們將同時(shí)滿(mǎn)足靜態(tài)和動(dòng)態(tài)一致性要求，并且符合PICS中陳述的能力的系統(tǒng)或?qū)崿F(xiàn)稱(chēng)為一致性系統(tǒng)。,25,一致性測(cè)試級(jí)別,二、一致性測(cè)試級(jí)別,26,一致性測(cè)試級(jí)別,為什么要將一致性測(cè)試分級(jí)？ 一致性測(cè)試的主要目的是提高不同系統(tǒng)之間能夠互通的概率。雖然一致性是保證互通能力的必須條件，但并不是充分條件。 如果兩個(gè)實(shí)現(xiàn)都能與某個(gè)協(xié)議標(biāo)準(zhǔn)的子集相一致，則這兩個(gè)系統(tǒng)之間在些情況下互通要比在其它情況下互通容易實(shí)現(xiàn)。 所以為了實(shí)現(xiàn)互通，應(yīng)對(duì)系統(tǒng)的PICS進(jìn)行比較，特別是協(xié)議標(biāo)準(zhǔn)的不同任選能力上。實(shí)際的限制和經(jīng)濟(jì)上的考慮使得人們不能進(jìn)行窮舉測(cè)試。 ISO 9646將

16、協(xié)議一致性測(cè)試分為四級(jí)，由低到高分別為 基本互連測(cè)試、 能力測(cè)試、 行為測(cè)試、 一致性分解測(cè)試。,27,基本互連測(cè)試,對(duì)協(xié)議中的主要特征進(jìn)行有限的測(cè)試，以確定被測(cè)對(duì)象是否有足夠的標(biāo)準(zhǔn)化程序?qū)崿F(xiàn)初步互連?；净ミB測(cè)試旨在檢查IUT是否具備進(jìn)一步測(cè)試的條件，是否有最小的連接能力，能否接收和發(fā)送數(shù)據(jù)。,28,能力測(cè)試(capability test),將被測(cè)對(duì)象進(jìn)行有限的靜態(tài)一致性測(cè)試，以確定被測(cè)對(duì)象可觀(guān)察到的能力。將觀(guān)察到的結(jié)果與被測(cè)對(duì)象的PICS比較，確定是否相符。,29,行為測(cè)試(behaviour test),按協(xié)議中動(dòng)態(tài)一致性要求在實(shí)際通信狀態(tài)下進(jìn)行周密的測(cè)試。這是花時(shí)間最多且最為重要的測(cè)

17、試。如果測(cè)試結(jié)果未發(fā)現(xiàn)不一致性，則本測(cè)試與上面的能力測(cè)試的結(jié)果一道，可用作宣布被測(cè)對(duì)象與相應(yīng)協(xié)議一致的根據(jù)，也可作為用戶(hù)購(gòu)買(mǎi)該產(chǎn)品的主要依據(jù)。 行為測(cè)試可分為兩級(jí)： 覆蓋性測(cè)試(comprehensive testing)。只要求測(cè)試序列歷經(jīng)IUT的所有轉(zhuǎn)換至少一次就可以 窮盡性測(cè)試(exhausive testing)。要求檢查每個(gè)轉(zhuǎn)換的前后狀態(tài)。,30,行為測(cè)試(behaviour test),IUT的行為測(cè)試又分為三大組： IUT對(duì)合法行為的響應(yīng)(測(cè)試序列以及測(cè)試數(shù)據(jù)符合協(xié)議規(guī)范)； IUT對(duì)語(yǔ)法上不合法行為的響應(yīng)(測(cè)試序列符合協(xié)議規(guī)范，但測(cè)試數(shù)據(jù)是不合法的)； IUT對(duì)不合適事件的響應(yīng)

18、(不合適事件為異常事件，對(duì)協(xié)議規(guī)范來(lái)說(shuō)，它是不合法的)。 每個(gè)大組又可分為許多小組，如，連接建立階段、數(shù)據(jù)傳送階段、連接釋放階段等。每個(gè)小組的測(cè)試目的可能要由多個(gè)測(cè)試序列來(lái)實(shí)現(xiàn)。,31,一致性分解測(cè)試(conformance resolution test),當(dāng)其它測(cè)試不能確定一致性但又可能存在問(wèn)題時(shí)，可在小范圍內(nèi)再進(jìn)行測(cè)試，以判定被測(cè)試對(duì)象是否滿(mǎn)足某種特定的要求。因此，也稱(chēng)為“定向診斷測(cè)試”。這種測(cè)試是非標(biāo)準(zhǔn)化的。 一致性分解測(cè)試要求測(cè)試執(zhí)行系統(tǒng)對(duì)一致性要求逐項(xiàng)地給出yes/no的肯定回答，例如，“IUT實(shí)現(xiàn)了第2類(lèi)協(xié)議嗎？”，因此又可將一致性分解測(cè)試稱(chēng)為“一致性判定測(cè)試”。,32,一致性測(cè)

19、試模型,三、一致性測(cè)試模型,33,一致性測(cè)試模型,ISO建議的協(xié)議一致性測(cè)試模型如圖所示,(n-1)Service Provider,LT,PCO,IUT,(n)PDU,(n-1)ASP,PCO,CI,UT,被測(cè)對(duì)象,UT(Upper Tester)是上測(cè)試器(上層測(cè)試軟件或硬件) 。是對(duì)IUT的上服務(wù)邊界進(jìn)行控制和觀(guān)察所提供的手段,LT(Lower Tester)是下測(cè)試器(下層測(cè)試軟件或硬件)。是在測(cè)試執(zhí)行期間，為了經(jīng)下層服務(wù)提供者而對(duì)IUT的下服務(wù)邊界進(jìn)行間接控制和觀(guān)察所提供的手段。,34,一致性測(cè)試模型,ISO建議的協(xié)議一致性測(cè)試模型如圖所示,(n-1)Service Provider

20、,LT,PCO,IUT,(n)PDU,(n-1)ASP,PCO,CI,UT,如果IUT是n層協(xié)議實(shí)體，那么UT屬于(n+1)層，LT屬于n層(LT和IUT為同層協(xié)議實(shí)體)。,UT通過(guò)控制觀(guān)察點(diǎn)PCO(Point of Control and Observation)和IUT交換n層的抽象服務(wù)原語(yǔ)(n)ASP(Abstract Service Primitives),LT通過(guò)PCO和IUT交換(n-1)層的ASP。,35,一致性測(cè)試模型,ISO建議的協(xié)議一致性測(cè)試模型如圖所示,(n-1)Service Provider,LT,PCO,IUT,(n)PDU,(n-1)ASP,PCO,CI,UT,通

21、過(guò)IUT內(nèi)協(xié)議的PDU和上下界面的ASPs來(lái)觀(guān)測(cè)協(xié)議行為。,通過(guò)IUT內(nèi)協(xié)議的PDU和上下界面的ASPs來(lái)觀(guān)測(cè)協(xié)議行為。,通過(guò)IUT內(nèi)協(xié)議的PDU和上下界面的ASPs來(lái)觀(guān)測(cè)協(xié)議行為。,36,PCOs,PCO由下列三種因素標(biāo)識(shí)： IUT內(nèi)對(duì)測(cè)試事件進(jìn)行控制與觀(guān)察的服務(wù)邊界； 在該點(diǎn)進(jìn)行控制和觀(guān)察的一組測(cè)試事件(ASPs或PDUs)； 對(duì)這些測(cè)試事件的控制和觀(guān)察是在SUT內(nèi)還是在測(cè)試系統(tǒng)中。 如果IUT是運(yùn)輸層協(xié)議實(shí)體，那么 (n)ASP就是運(yùn)輸服務(wù)原語(yǔ)TSP(Transport Service Primitives)，UT使用的PCO就是運(yùn)輸服務(wù)訪(fǎng)問(wèn)點(diǎn)TSAP (n-1)ASP就是網(wǎng)絡(luò)服務(wù)原語(yǔ)N

22、SP(Network Service Primitives)，LT使用的PCO就是網(wǎng)絡(luò)服務(wù)訪(fǎng)問(wèn)點(diǎn)NSAP。,37,協(xié)調(diào)測(cè)試過(guò)程,為了完成測(cè)試，上測(cè)試器和下測(cè)試器之間需要合作，交換一些協(xié)同信息以解決測(cè)試的同步和控制問(wèn)題。這種合作稱(chēng)為測(cè)試協(xié)調(diào)過(guò)程。 在圖中，LT和IUT通過(guò)(n-1)層服務(wù)交換(n-1)ASP，而UT和LT利用(n-1)層提供的另外一條通道交換協(xié)同信息CI(Coordinated Information)。 測(cè)試的主控者可以是UT，也可以是LT，但一般都是LT。,38,一致性測(cè)試模型,ISO建議的協(xié)議一致性測(cè)試模型如圖所示,(n-1)Service Provider,LT,PCO,

23、IUT,(n)PDU,(n-1)ASP,PCO,CI,UT,UT和LT利用(n-1)層提供的另外一條通道交換協(xié)同信息CI(Coordinated Information),LT和IUT通過(guò)(n-1)層服務(wù)交換(n-1)ASP,39,模型的工作過(guò)程：Example,檢測(cè)IUT是否具有正常的連接能力(假定UT為測(cè)試的主控者) 的例子： UT向IUT發(fā)連接請(qǐng)求服務(wù)原語(yǔ)CONNECT_request。 UT通知LT：已啟動(dòng)連接測(cè)試。 LT從IUT接收連接請(qǐng)求報(bào)文CONNECTreq。 如果CONNECTreq合法，LT向IUT發(fā)送接受連接請(qǐng)求報(bào)文CONNECTaccept。 LT通知UT：正確收到連接

24、請(qǐng)求報(bào)文，已發(fā)出CONNECTaccept報(bào)文。 UT從IUT接收連接指示服務(wù)原語(yǔ)CONNECT_indication，并分析有關(guān)信息作出IUT是否有正常連接能力的判決(verdict)。,40,并發(fā)一致性測(cè)試模型,41,一致性測(cè)試流程,四、一致性測(cè)試流程,42,標(biāo)準(zhǔn)協(xié)議規(guī)范,動(dòng)態(tài)一致性要求,靜態(tài)一致性要求,PICS調(diào)查表,測(cè)試目的,通用測(cè)試集,標(biāo)準(zhǔn)測(cè)試方法,測(cè)試符號(hào),協(xié)議實(shí)現(xiàn),IUT,PICS,PIXIT,標(biāo)準(zhǔn)化的 抽象測(cè)試集,測(cè)試選擇,測(cè)試實(shí)現(xiàn),可執(zhí)行的測(cè)試集,PIXIT調(diào)查表,靜態(tài)一致性 審查,測(cè)試執(zhí)行,結(jié)果分析,測(cè)試報(bào)告,證書(shū),(1) 確定測(cè)試目的。一致性測(cè)試者根據(jù)協(xié)議規(guī)范、服務(wù)規(guī)范確

25、定測(cè)試目的。,(2)測(cè)試集(Test Suite)生成。根據(jù)協(xié)議規(guī)范、服務(wù)規(guī)范以及測(cè)試目的生成并描述測(cè)試集。這一步生成的測(cè)試集，通常是抽象測(cè)試集，因?yàn)樗仟?dú)立于所有的協(xié)議實(shí)現(xiàn)的。測(cè)試集的生成又可分解為3方面的工作：測(cè)試序列的生成；測(cè)試數(shù)據(jù)的生成；將測(cè)試序列和測(cè)試數(shù)據(jù)合起來(lái)生成并描述測(cè)試集。,(3) 測(cè)試集實(shí)現(xiàn)。將抽象測(cè)試集用測(cè)試執(zhí)行系統(tǒng)能夠認(rèn)識(shí)的語(yǔ)言描述。在這一階段，抽象測(cè)試集中的抽象測(cè)試?yán)晦D(zhuǎn)變?yōu)樵谝粚?shí)際的測(cè)試系統(tǒng)上可執(zhí)行的測(cè)試?yán)?。這一步需要考慮測(cè)試環(huán)境與IUT的具體情況。,(4)測(cè)試執(zhí)行。對(duì)被測(cè)試協(xié)議實(shí)現(xiàn)運(yùn)行已具體化的測(cè)試?yán)?，并?duì)IUT的外部行為響應(yīng)進(jìn)行觀(guān)察和記錄。,(5)結(jié)果評(píng)估。根據(jù)測(cè)

26、試記錄并參照PICS和PIXIT對(duì)IUT進(jìn)行評(píng)估，并給出一致性測(cè)試報(bào)告。報(bào)告需給出一個(gè)一致性的判決。,43,一致性測(cè)試要解決的主要問(wèn)題,如何產(chǎn)生一致性測(cè)試集。即如何找到一種比較通用的、高效的產(chǎn)生一個(gè)給定協(xié)議實(shí)現(xiàn)的一致性測(cè)試集的方法。 如何度量測(cè)試復(fù)蓋率。 如何選取最小的測(cè)試序列去檢測(cè)更多的協(xié)議錯(cuò)誤。 如何描述測(cè)試以及如何評(píng)估測(cè)試結(jié)果。 如果協(xié)議規(guī)范本身有錯(cuò)誤，如不完整或有二義性，這將給協(xié)議一致性測(cè)試帶來(lái)什么問(wèn)題，如何處理？,44,一致性測(cè)試要解決的主要問(wèn)題,如何將測(cè)試序列輸入到一個(gè)正在運(yùn)行的協(xié)議實(shí)現(xiàn)中。在層次結(jié)構(gòu)中，通常情況下，為測(cè)試N層協(xié)議的IUT，需要一個(gè)上層(N+1)測(cè)試器(upper

27、tester)和一個(gè)下層(N-1)測(cè)試器(lower tester)以及協(xié)調(diào)它們產(chǎn)生測(cè)試序列的機(jī)制。 當(dāng)測(cè)試器只能通過(guò)遠(yuǎn)程網(wǎng)絡(luò)連接訪(fǎng)問(wèn)到IUT時(shí)，如果它們之間沒(méi)有一條完全可靠的通信鏈路，可能會(huì)使問(wèn)題變得復(fù)雜,45,一致性測(cè)試流程（另一種觀(guān)點(diǎn)）,46,內(nèi)容提要,概述,1,一致性測(cè)試概念,2,一致性測(cè)試方法,3,47,一致性測(cè)試方法,一致性測(cè)試方法決定了測(cè)試集的產(chǎn)生和描述方法、測(cè)試執(zhí)行系統(tǒng)的結(jié)構(gòu)等。 ISO 9646中定義了四種標(biāo)準(zhǔn)的抽象測(cè)試方法： 本地測(cè)試法(Local Mehtod) 分布式測(cè)試法(Distributed Method) 協(xié)調(diào)測(cè)試法(Coordination Mehtod) 遠(yuǎn)

28、程測(cè)試法(Remote Method)。 上述這幾種測(cè)試法是最基本的，適于單層協(xié)議測(cè)試，有許多變種，如渡船測(cè)試法(Ferry Method)、多方測(cè)試法及騎跨式(Astride)測(cè)試法等。,48,本地測(cè)試法,PCO,PCO,IUT,UT,LT,TCP,(n)ASP,(n-1)ASP,(a) 本地測(cè)試法,在這種方法中，LT，UT，IUT同處于一臺(tái)機(jī)器中，測(cè)試不需要低層通信系統(tǒng)的支持。 由于UT和LT可以在同一個(gè)程序中實(shí)現(xiàn)，因此，UT和LT的測(cè)試協(xié)同過(guò)程TCP(Test Coordinate Procedure)比較容易實(shí)現(xiàn)。 測(cè)試?yán)肬T執(zhí)行的服務(wù)原語(yǔ)和LT執(zhí)行的服務(wù)原語(yǔ)來(lái)描述。在這里，LT相當(dāng)

29、于低層服務(wù)提供者。,49,分布測(cè)試法,(b) 分布測(cè)試法,在這種方法中，IUT和UT處于同一臺(tái)機(jī)器中，而LT則分布在其它機(jī)器中。 LT和IUT之間利用(n-1)層服務(wù)交換報(bào)文(可以在線(xiàn)測(cè)試)。 與本地方法相比，LT和IUT之間的接口PCO從IUT中轉(zhuǎn)換到LT中，LT相當(dāng)于(n-1)層服務(wù)的使用者 測(cè)試協(xié)同過(guò)程TCP隱含在測(cè)試?yán)?，測(cè)試同步問(wèn)題由UT和LT的操作者來(lái)實(shí)現(xiàn)。 適用于本地方法的測(cè)試?yán)仨毟膶?xiě)后才能用于分布式測(cè)試法。,50,協(xié)同測(cè)試法,(c) 協(xié)同測(cè)試法,協(xié)同測(cè)試法和分布式測(cè)試法的根本區(qū)別在于協(xié)同測(cè)試法引入測(cè)試管理協(xié)議TMP(Test Management Protocol)。 有了T

30、MP，UT和LT就通過(guò)交換TM-PDU實(shí)現(xiàn)測(cè)試協(xié)同過(guò)程。交換TM-PDU有兩種方法： 帶內(nèi)傳送法，即將TM-PDU作為(n)ASP的用戶(hù)數(shù)據(jù)傳送給IUT，IUT再將它傳送給LT； 帶外傳送法，即將TM-PDU直接利用(n-1)層服務(wù)來(lái)傳送。圖 (c)所示的是帶內(nèi)傳送法。 同樣，分布式測(cè)試法的測(cè)試?yán)荒苡糜趨f(xié)同測(cè)試法。,51,遠(yuǎn)程測(cè)試法,(c) 遠(yuǎn)程測(cè)試法,這種測(cè)試方法中沒(méi)有UT，因此也不存在UT和LT之間的協(xié)同問(wèn)題。 在這種方法中，測(cè)試?yán)耆?n-1)ASP描述。 遠(yuǎn)程方法比較適用于被動(dòng)式協(xié)議實(shí)現(xiàn)或服務(wù)型協(xié)議實(shí)體的測(cè)試。,52,渡船測(cè)試法,(n-1)服務(wù)提供者,LT,IUT,UT,F-PDU,(n-1)ASP,(n)PDU,(a) 渡船測(cè)試法(帶內(nèi)傳送),Ferry,(n-1)服務(wù)提供者,