5101成都市市場(chǎng)監(jiān)督管理局發(fā)布IDB5101/T168—2023前言 Ⅲ 12規(guī)范性引用文件 13術(shù)語(yǔ)和定義 14縮略語(yǔ) 2 36功能測(cè)試 47性能測(cè)試 88產(chǎn)品化測(cè)試 9測(cè)試總結(jié) 附錄A（資料性）汽車(chē)零部件及配件制造企CAPP軟件測(cè)試用例設(shè)計(jì) 附錄B（資料性）汽車(chē)零部件及配件制造企業(yè)CAPP軟件功能完備性框架 附錄C（資料性）汽車(chē)零部件及配件制造企業(yè)CAPP軟件測(cè)試評(píng)價(jià)方法 附錄D（資料性）汽車(chē)零部件及配件制造企業(yè)CAPP軟件測(cè)試報(bào)告大綱 參考文獻(xiàn) DB5101/T168—2023本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請(qǐng)注意本文件的某些內(nèi)容可能涉及專(zhuān)利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專(zhuān)利的責(zé)任。本文件由成都市經(jīng)濟(jì)和信息化局提出并歸口。本文件起草單位：西華大學(xué)、電子科技大學(xué)、成都航空職業(yè)技術(shù)學(xué)院、四川成焊寶瑪焊接裝備工程有限公司、成都國(guó)信安信息產(chǎn)業(yè)基地有限公司、沃爾沃汽車(chē)成都制造廠、電信科學(xué)技術(shù)第五研究所有限公司。楚鷹軍。DB5101/T168—20231汽車(chē)零部件及配件制造企業(yè)計(jì)算機(jī)輔助工藝設(shè)計(jì)軟件測(cè)試指南本文件提供汽車(chē)零部件及配件制造企業(yè)計(jì)算機(jī)輔助工藝設(shè)計(jì)軟件的測(cè)試總則、功能測(cè)試、性能測(cè)試、產(chǎn)品化測(cè)試以及測(cè)試總結(jié)等方面的指導(dǎo)。本文件適用于指導(dǎo)成都市汽車(chē)零部件及配件制造企業(yè)開(kāi)展計(jì)算機(jī)輔助工藝設(shè)計(jì)軟件測(cè)試活動(dòng)。2規(guī)范性引用文件下列文件對(duì)于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T9386計(jì)算機(jī)軟件測(cè)試文檔編制規(guī)范GB/T11457—2006信息技術(shù)軟件工程術(shù)語(yǔ)GB/T15532計(jì)算機(jī)軟件測(cè)試規(guī)范GB/T26102—2010計(jì)算機(jī)輔助工藝設(shè)計(jì)導(dǎo)則GB/T28282—2012計(jì)算機(jī)輔助工藝設(shè)計(jì)系統(tǒng)功能規(guī)范3術(shù)語(yǔ)和定義GB/T11457—2006和GB/T28282—2012中界定的以及下列術(shù)語(yǔ)和定義適用于本文件。3.1計(jì)算機(jī)輔助工藝設(shè)計(jì)computeraidedprocessplanning利用計(jì)算機(jī)技術(shù)輔助工藝人員完成工藝性審查、工藝方案設(shè)計(jì)、工藝路線制定、工藝規(guī)程設(shè)計(jì)、工藝定額編制、工藝管理等數(shù)字化工藝工作的活動(dòng)。[來(lái)源：GB/T26102—2010,3.1]3.2工程物料清單engineeringbillofmaterial包含按設(shè)計(jì)要求劃分而成的結(jié)構(gòu)和各零部件的組成關(guān)系，反映產(chǎn)品的屬性和零件間設(shè)計(jì)關(guān)系的物料清單。[來(lái)源：GB/T28282—2012,3.1]3.3工藝物料清單processbillofmaterial包含工程物料清單的部分屬性信息，工藝組件和零部件工藝分工路線等工藝信息，反映生產(chǎn)交付順序的物料清單。[來(lái)源：GB/T28282—2012,3.2]2DB5101/T168—20233.4制造物料清單manufacturingbillofmaterial包含產(chǎn)品所有的裝配、制造零部件，反映工藝裝配關(guān)系，并說(shuō)明配套來(lái)源的分層次的物料清單。[來(lái)源：GB/T28282—2012,3.3]3.5系統(tǒng)測(cè)試systemtesting在完整的、集成的系統(tǒng)上的測(cè)試行為，用以評(píng)價(jià)系統(tǒng)與規(guī)定的需求的遵從性。[來(lái)源：GB/T11457—2006,2.1669]3.6驗(yàn)收測(cè)試acceptancetesting確定一系統(tǒng)是否符合其驗(yàn)收準(zhǔn)則，使客戶(hù)能確定是否接收此系統(tǒng)的正式測(cè)試。[來(lái)源：GB/T11457—2006,2.19]3.7完備性completeness計(jì)算機(jī)輔助工藝設(shè)計(jì)軟件實(shí)現(xiàn)和提供給用戶(hù)的功能指標(biāo)是完整的，符合計(jì)算機(jī)輔助工藝設(shè)計(jì)技術(shù)和軟件在特定發(fā)展階段的技術(shù)水平。3.8正確性correctness測(cè)試系統(tǒng)在它的規(guī)格說(shuō)明、設(shè)計(jì)和實(shí)現(xiàn)中無(wú)故障的程度。3.9測(cè)試評(píng)價(jià)testingevaluation通過(guò)軟件功能、性能和產(chǎn)品化指標(biāo)的測(cè)量，對(duì)計(jì)算機(jī)輔助工藝設(shè)計(jì)軟件產(chǎn)品質(zhì)量進(jìn)行評(píng)價(jià)。4縮略語(yǔ)下列縮略語(yǔ)適用于本文件。CAD：計(jì)算機(jī)輔助設(shè)計(jì)（ComputerAidedDesign）CAM：計(jì)算機(jī)輔助制造（ComputerAidedManufacturing）CAPP：計(jì)算機(jī)輔助工藝設(shè)計(jì)（ComputerAidedProcessPlanning）CPU：中央處理器（CentralProcessingUnit）EBOM：工程物理清單（EngineeringBillofMaterial）ERP：企業(yè)資源計(jì)劃（EnterpriseResourcePlanning）MBOM：制造物理清單（ManufacturingBillofMaterial）MES：制造執(zhí)行系統(tǒng)（ManufacturingExecutionSystem）PBOM：工藝物理清單（ProcessBillofMaterial）PDM：產(chǎn)品數(shù)據(jù)管理（ProductDataManagement）DB5101/T168—202335總則5.1測(cè)試目標(biāo)汽車(chē)零部件及配件制造企業(yè)CAPP軟件測(cè)試目標(biāo)是通過(guò)功能測(cè)試、性能測(cè)試和產(chǎn)品化測(cè)試，對(duì)軟件的質(zhì)量和能力進(jìn)行測(cè)量和評(píng)價(jià)，包括：a)驗(yàn)證CAPP軟件產(chǎn)品是否達(dá)到需求說(shuō)明和軟件產(chǎn)品說(shuō)明等規(guī)定的軟件質(zhì)量需求；b)檢驗(yàn)CAPP軟件任務(wù)的執(zhí)行和對(duì)系統(tǒng)運(yùn)行產(chǎn)生的影響；c)為CAPP軟件的質(zhì)量評(píng)價(jià)提供依據(jù)。5.2測(cè)試內(nèi)容5.2.1概述汽車(chē)零部件及配件制造企業(yè)CAPP軟件測(cè)試內(nèi)容宜包括功能測(cè)試、性能測(cè)試及產(chǎn)品化測(cè)試。5.2.2功能測(cè)試CAPP軟件功能測(cè)試是對(duì)軟件的功能正確性和完備性進(jìn)行測(cè)試，宜遵循以下內(nèi)容：a)軟件功能模塊能全部掛接，設(shè)計(jì)功能完整齊全，且符合設(shè)計(jì)文檔的需求；b)軟件菜單按照需求規(guī)格說(shuō)明、設(shè)計(jì)說(shuō)明等實(shí)現(xiàn)，所有功能能正常運(yùn)行，正常范圍內(nèi)輸入能得到正確的輸出，并生成正確的結(jié)果；異常范圍內(nèi)輸入，軟件有提示信息，并阻止數(shù)據(jù)輸入；功能使用方便，符合設(shè)計(jì)文檔的需求；c)軟件發(fā)生錯(cuò)誤時(shí)，有提示并記錄錯(cuò)誤日志，并可恢復(fù)到正常狀態(tài)；d)軟件的窗口、控件、菜單、鼠標(biāo)的操作及操作提示符合所使用操作系統(tǒng)平臺(tái)的規(guī)范。5.2.3性能測(cè)試CAPP軟件性能測(cè)試是指對(duì)軟件完成其設(shè)計(jì)功能的特性進(jìn)行測(cè)試，包括負(fù)載能力、壓力表現(xiàn)、軟件效率等，宜遵循以下內(nèi)容：a)軟件能滿(mǎn)足軟件設(shè)計(jì)文檔中說(shuō)明的性能需求；b)在一定時(shí)間內(nèi)，最大支持并發(fā)用戶(hù)數(shù)、軟件請(qǐng)求出錯(cuò)率、最大存儲(chǔ)量、最多處理數(shù)據(jù)流量、響應(yīng)時(shí)間等能滿(mǎn)足設(shè)計(jì)文檔的需求；c)在一定時(shí)間內(nèi)，系統(tǒng)的CPU利用率、內(nèi)存使用率、磁盤(pán)輸入輸出吞吐率、網(wǎng)絡(luò)吞吐量、最大虛擬用戶(hù)數(shù)等能滿(mǎn)足設(shè)計(jì)文檔的需求；d)系統(tǒng)運(yùn)行時(shí)，資源監(jiān)控指標(biāo)符合軟件設(shè)計(jì)文檔需求。5.2.4產(chǎn)品化測(cè)試CAPP軟件產(chǎn)品化測(cè)試是對(duì)軟件的可用性和軟件的產(chǎn)品化程度進(jìn)行測(cè)試，宜遵循以下內(nèi)容：a)汽車(chē)零部件及配件制造企業(yè)具有質(zhì)量管理體系；b)開(kāi)發(fā)機(jī)構(gòu)具有軟件項(xiàng)目開(kāi)發(fā)管理制度，并使用工具軟件進(jìn)行項(xiàng)目開(kāi)發(fā)管理；c)具有線上服務(wù)、產(chǎn)品介紹、用戶(hù)培訓(xùn)等方面的用戶(hù)技術(shù)支持與客戶(hù)服務(wù)。5.3測(cè)試過(guò)程汽車(chē)零部件及配件制造企業(yè)CAPP軟件測(cè)試過(guò)程宜分為四個(gè)階段，依次為：測(cè)試策劃、測(cè)試設(shè)計(jì)、測(cè)試執(zhí)行和測(cè)試總結(jié)。有關(guān)測(cè)試過(guò)程的內(nèi)容見(jiàn)GB/T15532。DB5101/T168—202345.4測(cè)試方法5.4.1汽車(chē)零部件及配件制造企業(yè)CAPP軟件的系統(tǒng)測(cè)試和驗(yàn)收測(cè)試適合使用黑盒測(cè)試方法，宜采用針對(duì)CAPP軟件的專(zhuān)用測(cè)試工具。5.4.2軟件測(cè)試大綱和軟件測(cè)試技術(shù)規(guī)范書(shū)應(yīng)明確規(guī)定在測(cè)試中針對(duì)系統(tǒng)的每一項(xiàng)功能或性能應(yīng)完成的基本測(cè)試項(xiàng)目和測(cè)試評(píng)判依據(jù)；應(yīng)能滿(mǎn)足測(cè)試大綱和軟件測(cè)試技術(shù)規(guī)范書(shū)需求。5.5測(cè)試用例測(cè)試用例描述測(cè)試的前提條件、輸入?yún)?shù)、驗(yàn)證點(diǎn)及期望的輸出結(jié)果等。有關(guān)測(cè)試用例的內(nèi)容見(jiàn)GB/T汽車(chē)零部件及配件制造企業(yè)CAPP軟件測(cè)試用例設(shè)計(jì)參見(jiàn)附錄A。5.6測(cè)試管理汽車(chē)零部件及配件制造企業(yè)CAPP軟件測(cè)試宜由相對(duì)獨(dú)立的人員進(jìn)行，宜對(duì)測(cè)試過(guò)程、軟件配置、測(cè)試評(píng)審進(jìn)行管理。有關(guān)測(cè)試管理的內(nèi)容見(jiàn)GB/T15532。5.7測(cè)試文檔汽車(chē)零部件及配件制造企業(yè)CAPP軟件測(cè)試文檔宜包括測(cè)試大綱、測(cè)試設(shè)計(jì)說(shuō)明、測(cè)試用例說(shuō)明、測(cè)試規(guī)程說(shuō)明、測(cè)試項(xiàng)傳遞報(bào)告、測(cè)試日志、測(cè)試記錄、測(cè)試問(wèn)題報(bào)告和測(cè)試總結(jié)報(bào)告。根據(jù)軟件的完整性級(jí)別和軟件規(guī)模等級(jí)可進(jìn)行合理的取舍與合并。有關(guān)測(cè)試文檔的內(nèi)容見(jiàn)GB/T9386。6功能測(cè)試6.1測(cè)試大綱6.1.1測(cè)試大綱編制宜依據(jù)被測(cè)軟件的設(shè)計(jì)文檔、用戶(hù)手冊(cè)和技術(shù)手冊(cè)中關(guān)于軟件功能項(xiàng)指標(biāo)的說(shuō)明，根據(jù)測(cè)試方式、測(cè)試環(huán)境和測(cè)試工具，確定CAPP軟件功能完備性指標(biāo)，制定與功能測(cè)試相關(guān)的測(cè)試大綱。CAPP軟件功能完備性指標(biāo)參見(jiàn)附錄B。6.1.2測(cè)試用例6.1.2.1功能完備性指標(biāo)中的每一項(xiàng)指標(biāo)宜擁有獨(dú)立的測(cè)試用例。6.1.2.2針對(duì)CAPP軟件功能的不同特點(diǎn)，測(cè)試工具指導(dǎo)測(cè)試用例的自動(dòng)生成。各類(lèi)測(cè)試用例納入數(shù)據(jù)庫(kù)管理，按照設(shè)定的規(guī)則，測(cè)試用例庫(kù)中的測(cè)試用例自動(dòng)生成用于測(cè)試的標(biāo)準(zhǔn)格式文檔。6.1.2.3宜制定測(cè)試標(biāo)準(zhǔn)文檔描述規(guī)范，將測(cè)試用例導(dǎo)入、導(dǎo)出測(cè)試用例庫(kù)。6.2測(cè)試環(huán)境6.2.1測(cè)試環(huán)境組成CAPP軟件測(cè)試環(huán)境宜包括：a)系統(tǒng)硬件配置；b)系統(tǒng)軟件配置；c)操作系統(tǒng)；DB5101/T168—20235e)數(shù)據(jù)庫(kù)；f)其它測(cè)試所需的外部條件。6.2.2測(cè)試環(huán)境需求CAPP軟件功能測(cè)試環(huán)境需求如下：a)宜符合軟件運(yùn)行的最低需求；b)宜選用通用的操作系統(tǒng)和相關(guān)軟件平臺(tái)；c)宜建立相對(duì)簡(jiǎn)單、獨(dú)立的測(cè)試環(huán)境；d)宜利用有效的正版殺毒軟件檢測(cè)軟件環(huán)境，確保測(cè)試環(huán)境中沒(méi)有計(jì)算機(jī)病毒；e)宜具有獨(dú)立的網(wǎng)絡(luò)環(huán)境。6.2.3功能測(cè)試工具6.2.3.1CAPP軟件功能測(cè)試宜采用專(zhuān)用的測(cè)試工具，以提高功能測(cè)試的測(cè)試效率，減少人為因素對(duì)測(cè)試結(jié)果的影響。功能測(cè)試工具宜遵循以下技術(shù)內(nèi)容：a)提供測(cè)試結(jié)果統(tǒng)計(jì)和詳細(xì)日志；b)對(duì)失敗用例進(jìn)行錯(cuò)誤分類(lèi)；c)通用性強(qiáng)，與具體測(cè)試業(yè)務(wù)無(wú)關(guān)；d)應(yīng)支持第三方測(cè)試工具與接口。6.2.3.2CAPP軟件功能測(cè)試宜采用黑盒測(cè)試法，適當(dāng)時(shí)候可采用白盒測(cè)試法。6.2.3.3測(cè)試前宜預(yù)先編制測(cè)試用例，測(cè)試用例宜覆蓋測(cè)試依據(jù)中描述的所有功能，并且考慮有代表性的工作任務(wù)的功能組合。6.3測(cè)試過(guò)程CAPP軟件功能測(cè)試參照如1所示流程進(jìn)行，測(cè)試時(shí)宜遵循以下內(nèi)容：否是否▲▲圖1CAPP軟件功能測(cè)試流程DB5101/T168—20236a)宜按照5.2.2的內(nèi)容，采用合適的功能測(cè)試工具實(shí)施測(cè)試，或以手工方式實(shí)施測(cè)試；b)測(cè)試人員在功能測(cè)試過(guò)程中，宜及時(shí)記錄原始數(shù)據(jù)，測(cè)試結(jié)束后相關(guān)人員對(duì)測(cè)試記錄進(jìn)行審核；c)相關(guān)人員在測(cè)試過(guò)程中，如發(fā)現(xiàn)系統(tǒng)功能方面的問(wèn)題，宜向開(kāi)發(fā)方出具問(wèn)題報(bào)告；d)開(kāi)發(fā)方對(duì)測(cè)試中發(fā)現(xiàn)的功能問(wèn)題進(jìn)行修改后，測(cè)試方宜進(jìn)行回歸測(cè)試，并出具測(cè)試報(bào)告。6.4測(cè)試內(nèi)容6.4.1軟件安裝測(cè)試宜測(cè)試CAPP軟件是否能夠成功安裝和測(cè)試。若不能，宜保證系統(tǒng)的軟、硬件條件環(huán)境符合設(shè)計(jì)文檔的需求。軟件安裝測(cè)試宜包括以下內(nèi)容：a)宜按照設(shè)計(jì)文檔需求對(duì)系統(tǒng)功能模塊進(jìn)行檢查；所有功能模塊可運(yùn)行，且符合5.2.2的內(nèi)容；b)系統(tǒng)窗口、控件、菜單等宜符合5.2.2的內(nèi)容。6.4.2CAPP軟件功能測(cè)試6.4.2.1概述6.4.2.1.1CAPP軟件功能測(cè)試分為功能完備性測(cè)試和功能正確性測(cè)試，測(cè)試內(nèi)容宜包括工藝設(shè)計(jì)、工藝業(yè)務(wù)管理、工藝信息管理、工藝執(zhí)行管理、系統(tǒng)管理、系統(tǒng)集成等六大類(lèi)功能；每個(gè)大類(lèi)分為若干子類(lèi)，每個(gè)子類(lèi)包含若干功能項(xiàng)。6.4.2.1.2完備性測(cè)試是對(duì)CAPP軟件提供給用戶(hù)的功能指標(biāo)是否完整進(jìn)行判斷。完備性測(cè)試宜以功能測(cè)試大綱為依據(jù)，并參照?qǐng)D2所示流程進(jìn)行。測(cè)試開(kāi)始功能完備性測(cè)試器初始化測(cè)試用例庫(kù)功能完備性指標(biāo)測(cè)試用例功能完備性指標(biāo)體系測(cè)試用例庫(kù)功能完備性指標(biāo)測(cè)試用例執(zhí)行測(cè)試否記錄測(cè)試結(jié)果否完備性測(cè)試執(zhí)行是否完畢是測(cè)試結(jié)果統(tǒng)計(jì)分析模塊測(cè)試結(jié)束圖2CAPP軟件功能完備性測(cè)試流程6.4.2.1.3功能正確性測(cè)試是對(duì)某一功能執(zhí)行結(jié)果的正確與否進(jìn)行判斷。正確性測(cè)試宜參照?qǐng)D3所示流程進(jìn)行。DB5101/T168—20237測(cè)試開(kāi)始功能正確性測(cè)試器初始化測(cè)試用例庫(kù)測(cè)試用例測(cè)試用例庫(kù)執(zhí)行測(cè)試否記錄測(cè)試結(jié)果否正確性測(cè)試執(zhí)行是否完畢測(cè)試結(jié)果統(tǒng)計(jì)分析模塊測(cè)試結(jié)束圖3CAPP軟件功能正確性測(cè)試流程6.4.2.2工藝設(shè)計(jì)工藝設(shè)計(jì)測(cè)試內(nèi)容宜包括：a)工藝性審查；b)工藝方案設(shè)計(jì)；c)工藝路線制定；d)PBOM/MBOM；e)材料定額；f)工藝規(guī)程設(shè)計(jì)；g)指令文件編輯；h)工時(shí)定額；i)工藝成本估算。6.4.2.3工藝業(yè)務(wù)管理工業(yè)業(yè)務(wù)管理測(cè)試內(nèi)容宜包括：a)工藝任務(wù)分工；b)業(yè)務(wù)過(guò)程管理；c)審簽流程管理；d)更改過(guò)程管理。6.4.2.4工藝信息管理工藝信息管理測(cè)試內(nèi)容宜包括：a)工藝技術(shù)狀態(tài)管理；b)工藝配置管理；c)工藝信息統(tǒng)計(jì)匯總；d)工藝文檔管理；DB5101/T168—20238e)綜合信息查詢(xún)?yōu)g覽。6.4.2.5工藝執(zhí)行管理工藝執(zhí)行管理測(cè)試內(nèi)容宜包括：a)工藝發(fā)布管理；b)工藝查詢(xún)?yōu)g覽；c)現(xiàn)場(chǎng)工藝執(zhí)行。6.4.2.6系統(tǒng)管理系統(tǒng)管理測(cè)試內(nèi)容宜包括：a)工藝資源管理；b)用戶(hù)管理；c)系統(tǒng)配置管理；d)數(shù)據(jù)備份管理。6.4.2.7系統(tǒng)集成系統(tǒng)集成測(cè)試內(nèi)容宜包括：a)與CAD集成；b)與CAM集成；c)與PDM集成；d)與ERP/MES集成。6.5功能測(cè)試評(píng)價(jià)6.5.1完備性評(píng)價(jià)功能完備性評(píng)價(jià)目的是為了確定被測(cè)軟件中所有功能與功能測(cè)試大綱的契合度，衡量被測(cè)軟件與CAPP相關(guān)的功能是否達(dá)到專(zhuān)業(yè)級(jí)別，判斷被測(cè)軟件的功能是否完備。6.5.2正確性評(píng)價(jià)功能正確性評(píng)價(jià)是為了確定被測(cè)功能項(xiàng)的實(shí)現(xiàn)結(jié)果與評(píng)測(cè)標(biāo)準(zhǔn)達(dá)成一致的程度，以“通過(guò)”和“不通過(guò)”來(lái)衡量功能項(xiàng)的正確性。6.5.3綜合評(píng)價(jià)綜合評(píng)價(jià)是以CAPP軟件功能完備性與正確性的測(cè)試結(jié)果，對(duì)功能測(cè)試進(jìn)行綜合評(píng)價(jià)。綜合評(píng)價(jià)過(guò)程參見(jiàn)附錄C。7性能測(cè)試7.1測(cè)試大綱宜根據(jù)CAPP軟件的設(shè)計(jì)文檔、用戶(hù)手冊(cè)和技術(shù)手冊(cè)等關(guān)于關(guān)鍵性能指標(biāo)的說(shuō)明，結(jié)合所使用的性能測(cè)試環(huán)境和測(cè)試工具，制定與性能測(cè)試相關(guān)的測(cè)試大綱。7.2測(cè)試環(huán)境DB5101/T168—202397.2.1測(cè)試環(huán)境組成CAPP軟件性能測(cè)試環(huán)境宜包括硬件環(huán)境、軟件環(huán)境和數(shù)據(jù)環(huán)境。具體組成與6.2.1一致。7.2.2測(cè)試環(huán)境需求CAPP軟件性能測(cè)試環(huán)境需求與6.2.2一致。7.2.3性能測(cè)試工具CAPP軟件性能測(cè)試工具宜可檢測(cè)、評(píng)估其軟件的關(guān)鍵性能指標(biāo)，包括系統(tǒng)的聯(lián)機(jī)響應(yīng)時(shí)間、處理速度、吞吐量、利用率等。性能測(cè)試工具宜提供多種形態(tài)的終端用戶(hù)模擬、負(fù)載壓力測(cè)試執(zhí)行、運(yùn)行過(guò)程監(jiān)控、性能數(shù)據(jù)自動(dòng)采集和測(cè)試結(jié)果分析等功能。7.3測(cè)試過(guò)程CAPP軟件性能測(cè)試參照?qǐng)D4所示流程進(jìn)行，測(cè)試時(shí)宜遵循以下內(nèi)容：a)宜按照5.2.3的內(nèi)容采用合適的性能測(cè)試工具實(shí)施性能測(cè)試；b)在測(cè)試完成后，測(cè)試人員宜提供原始測(cè)試數(shù)據(jù)，并交給測(cè)試分析員審核；c)測(cè)試分析員宜對(duì)測(cè)試數(shù)據(jù)進(jìn)行分析，以發(fā)現(xiàn)系統(tǒng)性能方面的問(wèn)題；如存在相關(guān)問(wèn)題，則向開(kāi)發(fā)方出具問(wèn)題報(bào)告；d)開(kāi)發(fā)方對(duì)測(cè)試中發(fā)現(xiàn)的性能問(wèn)題進(jìn)行改進(jìn)后，測(cè)試方宜進(jìn)行回歸測(cè)試，并出具測(cè)試報(bào)告。否否開(kāi)發(fā)方對(duì)系統(tǒng)進(jìn)行優(yōu)開(kāi)發(fā)方對(duì)系統(tǒng)進(jìn)行優(yōu)記錄問(wèn)題并提交否否圖4CAPP軟件性能測(cè)試流程7.4測(cè)試內(nèi)容7.4.1負(fù)載性能測(cè)試負(fù)載性能是指在各種工作負(fù)載下軟件系統(tǒng)的性能，用來(lái)度量系統(tǒng)的可擴(kuò)展性。宜測(cè)試當(dāng)負(fù)載逐漸增DB5101/T168—2023加時(shí)，系統(tǒng)各組成部分的響應(yīng)輸出項(xiàng)，如通過(guò)率、響應(yīng)時(shí)間、CPU負(fù)載、內(nèi)存使用等情況，綜合分析后確定系統(tǒng)的性能。7.4.2壓力性能測(cè)試壓力性能是指在軟件系統(tǒng)穩(wěn)定運(yùn)行情況下，能夠處理的最大工作量強(qiáng)度或能夠提供的最大服務(wù)性能。宜通過(guò)測(cè)試臨界負(fù)載、容量變化、資源占用等指標(biāo)，綜合分析功能執(zhí)行情況和系統(tǒng)性能表現(xiàn)，并確定一個(gè)系統(tǒng)的瓶頸或不能接受的性能點(diǎn)，從而獲得最大工作量強(qiáng)度或最大服務(wù)性能。7.4.3效率測(cè)試效率測(cè)試是指在規(guī)定條件下，相對(duì)于所用資源的數(shù)量，測(cè)試CAPP軟件產(chǎn)品可提供適當(dāng)性能的能力。性能測(cè)試的效率宜遵循以下內(nèi)容：a)功能指標(biāo)的執(zhí)行速度宜滿(mǎn)足用戶(hù)需求；b)CPU、內(nèi)存、網(wǎng)絡(luò)帶寬等硬件資源的使用較為充分合理；c)多用戶(hù)并發(fā)訪問(wèn)時(shí)，性能指標(biāo)宜符合軟件描述的需求。7.5性能測(cè)試評(píng)價(jià)CAPP軟件性能測(cè)試完成后，宜對(duì)軟件的負(fù)載性能、壓力性能和效率測(cè)試結(jié)果進(jìn)行分析，確定軟件的性能指標(biāo)是否達(dá)到設(shè)計(jì)需求、存在哪些問(wèn)題以及改進(jìn)建議等。性能測(cè)試評(píng)價(jià)過(guò)程參見(jiàn)附錄C。8產(chǎn)品化測(cè)試8.1可用性測(cè)試8.1.1概述CAPP軟件的可用性測(cè)試宜包括安全性、可靠性、易用性、可維護(hù)性和可移植性等。8.1.2安全性8.1.2.1權(quán)限管理權(quán)限管理宜測(cè)試以下內(nèi)容：a)可以使用“用戶(hù)-角色-權(quán)限”模式劃分權(quán)限，權(quán)限劃分合理；b)系統(tǒng)管理員可以增加、修改、刪除其他用戶(hù)的信息；c)系統(tǒng)管理員僅能進(jìn)行人員授權(quán)操作和數(shù)據(jù)庫(kù)管理工作；d)禁止其他用戶(hù)進(jìn)行數(shù)據(jù)庫(kù)維護(hù)操作。日志管理宜測(cè)試以下內(nèi)容：a)能夠記錄用戶(hù)登錄和使用重要模塊的信息；b)能夠?qū)ξ唇?jīng)授權(quán)的軟件使用或數(shù)據(jù)訪問(wèn)嘗試記入日志；c)能夠?qū)﹃P(guān)鍵數(shù)據(jù)的變更記入日志。8.1.2.3密碼管理DB5101/T168—2023密碼管理宜測(cè)試以下內(nèi)容：a)可以設(shè)置密碼策略，包括有效期、最小長(zhǎng)度、復(fù)雜度、非空設(shè)置、大小寫(xiě)敏感等；b)密碼以星號(hào)方式隱藏，不明碼顯示、存儲(chǔ)和傳輸；c)用戶(hù)可以修改自己的密碼，修改密碼需要校驗(yàn)舊密碼，新密碼需要兩次確認(rèn)輸入；d)具有“找回密碼”功能。8.1.2.4訪問(wèn)控制訪問(wèn)控制宜能對(duì)未經(jīng)授權(quán)的軟件使用或數(shù)據(jù)訪問(wèn)進(jìn)行防御。8.1.2.5代碼檢測(cè)代碼檢測(cè)宜測(cè)試以下內(nèi)容：a)驗(yàn)證是否防止結(jié)構(gòu)化查詢(xún)語(yǔ)言注入；b)驗(yàn)證是否防止可擴(kuò)展標(biāo)記語(yǔ)言注入；c)能通過(guò)防病毒軟件的檢驗(yàn)。8.1.3可靠性8.1.3.1成熟性從成熟性方面考慮，宜測(cè)試以下內(nèi)容：a)能穩(wěn)定運(yùn)行，不出現(xiàn)內(nèi)存溢出等現(xiàn)象；b)運(yùn)行過(guò)程中，若出現(xiàn)操作錯(cuò)誤或非法數(shù)據(jù)，不會(huì)引起系統(tǒng)異常退出或程序損壞；c)不存在導(dǎo)致軟件無(wú)法運(yùn)行、崩壞或?qū)е聰?shù)據(jù)破壞的重大缺陷；出現(xiàn)產(chǎn)品缺陷時(shí)不會(huì)引起系統(tǒng)死機(jī)故障；d)當(dāng)軟件出現(xiàn)故障時(shí)，系統(tǒng)重啟后，重新啟動(dòng)軟件，軟件能正常運(yùn)行，并且能夠恢復(fù)故障之前的數(shù)據(jù)和狀態(tài)；e)當(dāng)軟件出現(xiàn)故障后，可以通過(guò)異常日志查看操作過(guò)程和故障信息，便于重現(xiàn)故障。8.1.3.2容錯(cuò)性從容錯(cuò)性方面考慮，宜測(cè)試以下內(nèi)容：a)系統(tǒng)對(duì)重要數(shù)據(jù)的錄入提供有效性檢查，對(duì)非法數(shù)據(jù)輸入有明確的提示；b)對(duì)不符合有效性的輸入數(shù)據(jù)，使用中文給出簡(jiǎn)潔、準(zhǔn)確的提示信息，必要時(shí)給出幫助；c)能屏蔽用戶(hù)常見(jiàn)的誤操作，對(duì)重要數(shù)據(jù)的刪除有警告及確認(rèn)提示。8.1.3.3易恢復(fù)性從易恢復(fù)性方面考慮，宜測(cè)試以下內(nèi)容：a)在程序運(yùn)行過(guò)程中進(jìn)行掉電、網(wǎng)絡(luò)斷開(kāi)實(shí)驗(yàn)，不能出錯(cuò)退出，能發(fā)現(xiàn)并向用戶(hù)提示斷開(kāi)狀態(tài)，數(shù)據(jù)和系統(tǒng)不會(huì)損壞，在供電、網(wǎng)絡(luò)恢復(fù)正常后能正常工作；b)若數(shù)據(jù)和系統(tǒng)受損，能提供補(bǔ)救工具，補(bǔ)救上次保存或自動(dòng)保存以前的數(shù)據(jù)；c)具備數(shù)據(jù)維護(hù)工具，可以對(duì)數(shù)據(jù)進(jìn)行備份與恢復(fù)。8.1.4易用性8.1.4.1易理解性從易理解性方面考慮，宜測(cè)試以下內(nèi)容：DB5101/T168—2023a)界面簡(jiǎn)潔、美觀、實(shí)用，采用簡(jiǎn)體中文，風(fēng)格較一致；b)界面及提示信息能夠引導(dǎo)用戶(hù)正常使用；c)對(duì)關(guān)鍵操作提供使用引導(dǎo)；d)操作設(shè)計(jì)上避免重復(fù)操作，簡(jiǎn)化常用功能的操作步驟。8.1.4.2易學(xué)性從易學(xué)性方面考慮，宜測(cè)試以下內(nèi)容：a)用戶(hù)手冊(cè)內(nèi)容全面詳細(xì)、易于理解，描述與軟件功能一致、提供應(yīng)用實(shí)例；b)幫助文件能夠有效引導(dǎo)用戶(hù)操作，對(duì)重要功能、復(fù)雜功能的描述詳細(xì)全面，對(duì)簡(jiǎn)單功能描述簡(jiǎn)潔清晰。8.1.4.3易操作性從易操作性方面考慮，宜測(cè)試以下內(nèi)容：a)軟件安裝符合流行的安裝方式，易于操作；b)軟件以易觀察、易讀的方式向用戶(hù)提供信息，必要時(shí)可向用戶(hù)發(fā)出警報(bào)；c)常用功能設(shè)置在明顯位置，易于被用戶(hù)識(shí)別；d)軟件操作簡(jiǎn)單，界面設(shè)置和提示信息設(shè)置易于理解；e)輸入數(shù)據(jù)的要求能夠被用戶(hù)理解，軟件輸出項(xiàng)符合用戶(hù)習(xí)慣，易于理解。8.1.5可維護(hù)性從可維護(hù)性方面考慮，宜測(cè)試以下內(nèi)容：a)對(duì)軟件指定的修改可以被實(shí)現(xiàn)；b)軟件的局部修改不應(yīng)影響軟件的整體運(yùn)行；c)軟件變更后的各項(xiàng)功能能通過(guò)測(cè)試用例進(jìn)行測(cè)試；d)軟件能對(duì)已修改部分進(jìn)行確認(rèn)。8.1.6可移植性從可移植性方面考慮，宜測(cè)試以下內(nèi)容：a)軟件具有可適應(yīng)不同運(yùn)行環(huán)境的能力；b)依據(jù)用戶(hù)手冊(cè)安裝，能在指定環(huán)境成功安裝；c)在同樣環(huán)境下，可替代另一個(gè)相同用途的指定軟件。8.2產(chǎn)品化程度8.2.1軟件文檔集CAPP軟件文檔集的測(cè)試包括資料的完整性、一致性、準(zhǔn)確性和可理解性等內(nèi)容。進(jìn)行文檔測(cè)試時(shí)，宜考慮以下內(nèi)容：a)明確文檔驗(yàn)收的標(biāo)準(zhǔn)，軟件開(kāi)發(fā)人員和用戶(hù)應(yīng)達(dá)成一致；b)確定文檔的重要性和項(xiàng)目文檔需求；c)檢驗(yàn)文檔的種類(lèi)和內(nèi)容的完整性；d)檢驗(yàn)文檔的一致性，包括軟件設(shè)計(jì)描述與需求、應(yīng)用程序和設(shè)計(jì)文檔描述、文檔前后內(nèi)容描述e)檢驗(yàn)文檔的準(zhǔn)確性，即文檔描述應(yīng)準(zhǔn)確且無(wú)歧義；DB5101/T168—2023f)檢驗(yàn)文檔的可理解性，即文檔表達(dá)應(yīng)詳細(xì)且易于理解。8.2.2技術(shù)支持與服務(wù)CAPP軟件的技術(shù)支持與服務(wù)宜包括線上服務(wù)、產(chǎn)品介紹、培訓(xùn)資料等內(nèi)容。8.3產(chǎn)品化測(cè)試評(píng)價(jià)CAPP軟件的產(chǎn)品化測(cè)試完成后，宜對(duì)軟件的可用性和產(chǎn)品化程度測(cè)試結(jié)果進(jìn)行分析，確定軟件的產(chǎn)品化指標(biāo)是否達(dá)到設(shè)計(jì)需求、存在哪些問(wèn)題以及如何改進(jìn)。CAPP軟件的產(chǎn)品化測(cè)試評(píng)價(jià)方法參見(jiàn)附錄C。9測(cè)試總結(jié)9.1測(cè)試結(jié)果9.1.1概述CAPP軟件測(cè)試結(jié)果宜滿(mǎn)足以下內(nèi)容：a)可重復(fù)性：由同一測(cè)試者按同一測(cè)試大綱對(duì)同一軟件進(jìn)行重復(fù)測(cè)試，應(yīng)產(chǎn)生同一種結(jié)果；b)可再現(xiàn)性：由不同測(cè)試者按同一測(cè)試大綱對(duì)同一軟件進(jìn)行測(cè)試，應(yīng)產(chǎn)生同一種結(jié)果；c)公正性：測(cè)試不偏向任何預(yù)設(shè)的結(jié)果；d)客觀性：測(cè)試結(jié)果為客觀事實(shí)。9.1.2測(cè)試文檔CAPP軟件測(cè)試完成后形成的文檔宜包括：a)測(cè)試大綱；b)測(cè)試說(shuō)明；c)測(cè)試報(bào)告；d)測(cè)試記錄；e)測(cè)試問(wèn)題報(bào)告。9.2測(cè)試報(bào)告CAPP軟件的測(cè)試活動(dòng)和測(cè)試結(jié)果宜匯總在測(cè)試報(bào)告中，測(cè)試報(bào)告大綱參見(jiàn)附錄D。DB5101/T168—2023汽車(chē)零部件及配件制造企業(yè)CAPP軟件測(cè)試用例設(shè)計(jì)在實(shí)施測(cè)試時(shí)，測(cè)試用例是軟件測(cè)試的標(biāo)準(zhǔn)。測(cè)試人員宜嚴(yán)格按照測(cè)試用例的測(cè)試項(xiàng)目和測(cè)試步驟逐一實(shí)施測(cè)試，并記錄測(cè)試情況。A.1設(shè)計(jì)準(zhǔn)則測(cè)試用例設(shè)計(jì)宜遵守以下基本準(zhǔn)則：a)測(cè)試用例能代表各種合理或不合理的、邊界和越界的，以及極限的輸入數(shù)據(jù)、操作和環(huán)境設(shè)置b)測(cè)試執(zhí)行結(jié)果的正確性是可判定或可評(píng)估的；c)對(duì)同樣的測(cè)試用例，系統(tǒng)的執(zhí)行結(jié)果是相同的。A.2編制方法編寫(xiě)測(cè)試用例文檔宜有用例模板，且符合內(nèi)部規(guī)范。測(cè)試用例文檔由簡(jiǎn)介和測(cè)試用例兩部分組成。簡(jiǎn)介部分宜包括測(cè)試目的、測(cè)試范圍、定義術(shù)語(yǔ)、參考文檔等；測(cè)試用例部分則逐一列示各測(cè)試用例，每個(gè)測(cè)試用例宜包括名稱(chēng)和標(biāo)識(shí)、測(cè)試追蹤、用例說(shuō)明、用例初始化、測(cè)試輸入、期望結(jié)果、評(píng)價(jià)標(biāo)準(zhǔn)、前提和約束及測(cè)試終止條件等信息。測(cè)試用例可以分為基本事件、備選事件和異常事件的用例。設(shè)計(jì)基本事件的用例，宜參照用例規(guī)約，根據(jù)關(guān)聯(lián)的功能、操作，按路徑分析法設(shè)計(jì)測(cè)試用例。對(duì)孤立的功能，則直接按功能設(shè)計(jì)測(cè)試用例。基本事件的測(cè)試用例宜包含所有需要實(shí)現(xiàn)的需求功能；設(shè)計(jì)備選事件和異常事件的用例相對(duì)復(fù)雜，可采用軟件測(cè)試中常用的基本方法進(jìn)行設(shè)計(jì)。A.3用例示例CAPP軟件測(cè)試用例模板如表A.1所示。表A.1CAPP軟件測(cè)試用例模板DB5101/T168—2023表A.1（續(xù)）DB5101/T168—2023汽車(chē)零部件及配件制造企業(yè)CAPP軟件功能完備性框架CAPP軟件功能完備性包括工藝設(shè)計(jì)、工藝業(yè)務(wù)管理、工藝信息管理、工藝執(zhí)行管理、系統(tǒng)管理、系統(tǒng)集成等六大類(lèi)；每個(gè)大類(lèi)又分為若干子類(lèi)，每個(gè)子類(lèi)包含若干功能項(xiàng)，見(jiàn)表B.1。表B.1汽車(chē)零部件及配件制造企業(yè)CAPP軟件功能DB5101/T168—2023表B.1（續(xù)）DB5101/T168—2023表B.1（續(xù)）DB5101/T168—2023表B.1（續(xù)）DB5101/T168—2023汽車(chē)零部件及配件制造企業(yè)CAPP軟件測(cè)試評(píng)價(jià)方法C.1測(cè)試評(píng)價(jià)C.1.1概述測(cè)試評(píng)價(jià)是對(duì)汽車(chē)零部件及配件制造企業(yè)CAPP軟件的功能測(cè)試、性能測(cè)試和產(chǎn)品化測(cè)試結(jié)果進(jìn)行綜合評(píng)價(jià)。CAPP軟件測(cè)試評(píng)價(jià)過(guò)程如圖C.1所示。測(cè)試評(píng)價(jià)方法產(chǎn)品化測(cè)試結(jié)果功能測(cè)試結(jié)果測(cè)試評(píng)價(jià)內(nèi)容性能測(cè)試結(jié)果產(chǎn)品化測(cè)試結(jié)果功能測(cè)試結(jié)果測(cè)試評(píng)價(jià)結(jié)果圖C.1測(cè)試評(píng)價(jià)過(guò)程C.1.2測(cè)試評(píng)價(jià)內(nèi)容汽車(chē)零部件及配件制造企業(yè)CAPP軟件測(cè)試評(píng)價(jià)內(nèi)容包括功能測(cè)試評(píng)價(jià)、性能測(cè)試評(píng)價(jià)、產(chǎn)品化測(cè)試評(píng)價(jià)，具體如下：a)功能測(cè)試評(píng)價(jià)包括CAPP軟件的功能完備性和正確性評(píng)價(jià)；b)性能測(cè)試評(píng)價(jià)包括CAPP軟件的軟件負(fù)載、壓力性能和效率測(cè)試評(píng)價(jià)；c)產(chǎn)品化測(cè)試評(píng)價(jià)包括CAPP軟件的可用性和產(chǎn)品化評(píng)價(jià)。C.1.3測(cè)試評(píng)價(jià)方法汽車(chē)零部件及配件制造企業(yè)CAPP軟件測(cè)試中，功能測(cè)試、性能測(cè)試和產(chǎn)品化測(cè)試均是通過(guò)子特性來(lái)衡量，子特性則是通過(guò)測(cè)試指標(biāo)項(xiàng)度量。對(duì)測(cè)試指標(biāo)項(xiàng)的度量，是按照事先確定的判別標(biāo)準(zhǔn)進(jìn)行對(duì)照檢查，每個(gè)測(cè)試指標(biāo)項(xiàng)都可能有兩種答案（Y/N“Y”表示“通過(guò)”，即度量值等于或優(yōu)于期望值；“N”表示“不通過(guò)”，即度量值劣于期望值。功能測(cè)試的子特性包括功能完備性和正確性，性能測(cè)試子特性包括負(fù)載性能、壓力性能和效率，產(chǎn)品化測(cè)試子特性包括可用性和產(chǎn)品化程度。各個(gè)子特性的測(cè)量值利用式（C.1）計(jì)算：v=Σmi/n…………（C.1）式中：v——為子特性的測(cè)量值；mi——為子特性的第i個(gè)測(cè)試指標(biāo)項(xiàng)測(cè)試結(jié)果；答案是“Y”時(shí)，其值為1，答案是“N”時(shí)，其值為0；n——為子特性的測(cè)試指標(biāo)項(xiàng)總數(shù)。DB5101/T168—2023C.2功能測(cè)試評(píng)價(jià)按照C.1.3的測(cè)試評(píng)價(jià)方法，CAPP軟件的功能完備性和正確性的測(cè)量值分別為v1和v2，則功能測(cè)試的測(cè)量值可用式（C.2）計(jì)算：Vf=（v1+v2）/2…………（C.2）式中：Vf——為功能測(cè)試的測(cè)量值；v1——為功能完備性的測(cè)量值；v2——為功能正確性的測(cè)量值。依據(jù)功能測(cè)量值Vf、完備性測(cè)量值v1和正確性測(cè)量值v2，按照表C.1確定CAPP軟件的功能完備性和正確性的評(píng)價(jià)等級(jí)。表C.1功能測(cè)試評(píng)價(jià)等級(jí)0≤v＜0.850.90≤v＜0.950≤v＜0.850.90≤v＜0.950≤Vf＜0.850.85≤Vf＜0.90功能測(cè)試結(jié)果的評(píng)價(jià)，以完備性和正確性的評(píng)價(jià)等級(jí)的最低等級(jí)作為功能測(cè)試的最終等級(jí)，如表C.2所示。表C.2功能測(cè)試等級(jí)評(píng)價(jià)方法差差差差差差差C.3性能測(cè)試評(píng)價(jià)按照C.1.3的測(cè)試評(píng)價(jià)方法，CAPP軟件的負(fù)載性能、壓力性能和效率的測(cè)量值分別為v1、v2和v3，則性能測(cè)試的測(cè)量值可用式（C.3）計(jì)算：Vc=（v1+v2+v3）/3…………（C.3）式中：Vc——為性能測(cè)試的測(cè)量值；v1——為負(fù)載性能的測(cè)量值；v2——為壓力性能的測(cè)量值；v3——為效率的測(cè)量值。DB5101/T168—2023依據(jù)性能測(cè)量值Vc、負(fù)載性能測(cè)量值v1、壓力性能測(cè)量值v2和效率測(cè)量值v3，按照表C.3確定CAPP軟件的負(fù)載性能、壓力性能和效率的評(píng)價(jià)等級(jí)。表C.3性能測(cè)試評(píng)價(jià)等級(jí)0≤v＜0.850≤v＜0.850≤v＜0.850≤Vc＜0.85性能測(cè)試結(jié)果的評(píng)價(jià)，以負(fù)載性能、壓力性能和效率的評(píng)價(jià)等級(jí)的最低等級(jí)作為性能測(cè)試的最終等級(jí)。例如：負(fù)載性能的等級(jí)為“合格”，壓力性能的等級(jí)為“良好”，效率性能的等級(jí)為“優(yōu)秀”，則性能測(cè)試的最終等級(jí)