31I 12規(guī)范性引用文件 13術(shù)語和定義 14應(yīng)用軟件適配要素 1 14.2操作系統(tǒng)適配 14.3數(shù)據(jù)庫適配 44.4中間件適配 44.5流版簽軟件適配 64.6安全軟件適配 64.7瀏覽器適配 64.8外設(shè)適配 74.9指令集適配 74.10基礎(chǔ)設(shè)施適配 74.11云原生環(huán)境適配 74.12網(wǎng)絡(luò)環(huán)境適配 75應(yīng)用軟件適配后的質(zhì)量 85.1功能性 85.2性能效率 85.3兼容性 95.4易用性 95.5可靠性 5.6信息安全性 5.7維護(hù)性 5.8可移植性 6應(yīng)用軟件適配測評 6.1應(yīng)用軟件適配測評過程 6.2適配測評 6.3質(zhì)量測評 6.4文檔測評 附錄A(資料性)測評過程 27A.2測評準(zhǔn)備 A.3方案編制 A.4現(xiàn)場測評 A.5報(bào)告編制 附錄B(資料性)應(yīng)用軟件自查表示例 應(yīng)用軟件適配信息技術(shù)應(yīng)用創(chuàng)新環(huán)境技術(shù)規(guī)范4應(yīng)用軟件在嵌入式操作系統(tǒng)上關(guān)閉階段的適配同4.2.2.4。應(yīng)用軟件在嵌入式操作系統(tǒng)上卸載階段的適配同4.2.1.5。b)應(yīng)依據(jù)需求正確完成數(shù)據(jù)庫初始化參數(shù)的缺省配置值；c)宜提供軟件安裝、數(shù)據(jù)庫配置a)啟動時(shí)應(yīng)能正確獲取數(shù)據(jù)庫相d)運(yùn)行時(shí)，宜支持通過數(shù)據(jù)庫管理軟件監(jiān)控其數(shù)據(jù)庫資源使用情況。b)適用時(shí)，宜支持通過數(shù)據(jù)庫控制命令實(shí)現(xiàn)手動或自動停止相關(guān)數(shù)據(jù)庫6運(yùn)行d)適用時(shí)，宜支持通過消息中間件監(jiān)控其資源使用情況。a)關(guān)閉后應(yīng)能立即釋放CPU、內(nèi)存、端口、數(shù)據(jù)庫等資源；b)適用時(shí)，宜支持通過消息中間件關(guān)閉相關(guān)消息服務(wù)。b)宜支持通過卸載向?qū)遁d相關(guān)消息服務(wù)，如取消消息訂閱。4.5流版簽軟件適配b)適用時(shí)，應(yīng)能導(dǎo)入、導(dǎo)出指定的流版式文件；f)適用時(shí)，可調(diào)用數(shù)字簽名軟件的接口生成數(shù)字簽名，且數(shù)字簽名可被識別。g)不應(yīng)拒絕安全軟件對其進(jìn)行安全管理，或給出明確提示；c)在瀏覽器環(huán)境變換分辨率時(shí)(800像素×600像素及以上)應(yīng)能正常顯示；7d)適用時(shí)，頁面腳本功能應(yīng)正常運(yùn)行，不應(yīng)出現(xiàn)軟件功能無法實(shí)現(xiàn)的情況；e)運(yùn)行所需的瀏覽器插件，包括流版簽軟件插件、代理插件等，應(yīng)正常使用，軟件功能應(yīng)正常實(shí)4.8外設(shè)適配應(yīng)用軟件與外設(shè)的適配包括：a)不應(yīng)與外設(shè)存在沖突；b)可獲取外設(shè)系統(tǒng)接口；c)應(yīng)能正確調(diào)用外設(shè)接口，返回的結(jié)果應(yīng)能被外設(shè)系統(tǒng)讀??；d)運(yùn)行時(shí)功能不應(yīng)有缺失。4.9指令集適配應(yīng)用軟件與指令集的適配包括：a)應(yīng)能夠?qū)?yīng)用軟件的源碼編譯成支持指定指令集的運(yùn)行程序；b)編譯完成的程序應(yīng)能夠在支持指定指令集的操作系統(tǒng)上成功部署，不應(yīng)出現(xiàn)錯(cuò)誤異常；c)應(yīng)能在支持指定指令集的處理器中正常運(yùn)行，不應(yīng)出現(xiàn)非正常停止和退出情況；d)運(yùn)行過程中，不應(yīng)存在功能缺失，不宜出現(xiàn)未被識別的錯(cuò)誤異常。4.10基礎(chǔ)設(shè)施適配應(yīng)用軟件與基礎(chǔ)設(shè)施的適配包括：a)應(yīng)確認(rèn)運(yùn)行環(huán)境滿足信息技術(shù)應(yīng)用創(chuàng)新要求，包括但不限于芯片類型及型號等；b)應(yīng)根據(jù)現(xiàn)有應(yīng)用軟件的系統(tǒng)架構(gòu)、業(yè)務(wù)負(fù)載和資源使用情況，以及基礎(chǔ)設(shè)施運(yùn)行環(huán)境的兼容性進(jìn)行適配前評估；c)應(yīng)制定適配實(shí)施方案，包括但不限于待適配的應(yīng)用軟件、數(shù)據(jù)和配套資源列表；d)適配基礎(chǔ)設(shè)施后，應(yīng)用軟件的質(zhì)量應(yīng)滿足要求。4.11云原生環(huán)境適配應(yīng)用軟件與云原生環(huán)境的適配包括：a)應(yīng)能使用容器化方式部署；b)應(yīng)能拆分成小而自治的服務(wù)；c)應(yīng)能使用自動化工具和技術(shù)實(shí)現(xiàn)構(gòu)建、部署、測試、監(jiān)控和運(yùn)維等過程；d)應(yīng)能根據(jù)負(fù)載和需求自動調(diào)整資源的使用；e)應(yīng)能利用云原生環(huán)境提供的服務(wù)，包括但不限于容器編排、服務(wù)網(wǎng)格、日志和監(jiān)控、存儲和數(shù)f)應(yīng)能提供滿足需求的監(jiān)控、日志和追蹤信息；g)應(yīng)能夠采取合適的安全措施，包括但不限于身份認(rèn)證、訪問控制、數(shù)據(jù)加密、漏洞管理等。4.12網(wǎng)絡(luò)環(huán)境適配應(yīng)用軟件與網(wǎng)絡(luò)環(huán)境的適配包括：a)應(yīng)能在指定網(wǎng)絡(luò)環(huán)境中正常運(yùn)行；b)應(yīng)能在指定網(wǎng)絡(luò)環(huán)境中訪問指定資源、服務(wù)、內(nèi)容等；c)應(yīng)具備信息安全保護(hù)的能力。8應(yīng)用軟件功能完備性包括：b)不應(yīng)存在因適配環(huán)境變更導(dǎo)致的功能刪減。應(yīng)用軟件功能正確性包括：應(yīng)用軟件功能適合性包括：任務(wù)；b)不應(yīng)出現(xiàn)自相矛盾，如操作矛盾、文字和圖形的表述矛盾等。的標(biāo)準(zhǔn)、約定或法規(guī)以及類似規(guī)定。應(yīng)用軟件時(shí)間特性包括：定響應(yīng)時(shí)間要求，可由各利益相關(guān)方協(xié)商確定。應(yīng)用軟件資源利用性包括：a)運(yùn)行過程中，各項(xiàng)資源(如CPU、內(nèi)存、磁盤空間、網(wǎng)絡(luò)帶寬等)消耗應(yīng)滿足需求規(guī)格說明中的要求；定資源消耗要求，可由各利益相關(guān)方協(xié)商確定。應(yīng)用軟件容量包括：a)容量應(yīng)滿足需求規(guī)格說明中的要求；3）宜采取有效措施包括但不限于定期數(shù)據(jù)備份、定期將數(shù)據(jù)和參考數(shù)據(jù)進(jìn)行比較、異地分1）宜采取有效措施包括數(shù)字簽名、認(rèn)證和安全算法、區(qū)塊鏈等技術(shù)手段2）應(yīng)采用口令、密碼技術(shù)、生物技術(shù)等兩種或兩種以上組合的鑒別技術(shù)對用戶進(jìn)行身份鑒3）應(yīng)具有登錄失敗處理功能，應(yīng)配置并啟用結(jié)束會話、限制非法登錄次數(shù)和當(dāng)?shù)卿涍B接超應(yīng)用軟件性能效率測評內(nèi)容應(yīng)包括5.2中的要求，以及需求規(guī)格說明和其他需依從的法律法規(guī)及1)應(yīng)查看需求規(guī)格說明和產(chǎn)品說明中是否聲明該應(yīng)用軟件遵循了與兼容4)應(yīng)測試呈現(xiàn)給用戶的信息元素和步驟中是否能幫助新用戶在沒有先前學(xué)習(xí)或訓(xùn)練或?qū)で?)應(yīng)查看需求規(guī)格說明和產(chǎn)品說明中是否聲明該應(yīng)用軟件遵循了與易用1)應(yīng)通過輸入不符合要求的信息，如登錄時(shí)賬號為空等，測試應(yīng)用軟件1)應(yīng)查看需求規(guī)格說明和產(chǎn)品說明中是否聲明該應(yīng)用軟件遵循了與可靠5)宜測試應(yīng)用軟件是否選擇經(jīng)過嚴(yán)格審查的、當(dāng)前領(lǐng)域?qū)＜艺J(rèn)為是可靠的算法，以及經(jīng)過9)應(yīng)通過網(wǎng)絡(luò)抓包工具、安全測試工具、代碼審計(jì)等，測試用戶鑒別信息在傳輸時(shí)是否經(jīng)1)應(yīng)通過模擬未經(jīng)授權(quán)的訪問或驗(yàn)證訪問控制機(jī)制，測試應(yīng)用軟件是否2)應(yīng)對數(shù)據(jù)進(jìn)行完整性校驗(yàn)，驗(yàn)證數(shù)據(jù)在未經(jīng)授權(quán)的訪問下是否造成了數(shù)據(jù)破壞或被篡改8)宜測試應(yīng)用軟件是否能夠按照預(yù)定的計(jì)劃進(jìn)行數(shù)據(jù)備份，并且備份的數(shù)據(jù)是否完整、可10)對于采取異地分布式存儲的措施，宜測試應(yīng)用軟件是否能在一個(gè)6)應(yīng)測試是否能夠根據(jù)審計(jì)記錄追蹤用戶的操作行為，包括查詢特定用戶的操作記錄、追5)應(yīng)測試應(yīng)用軟件的審計(jì)記錄，每個(gè)用戶賬戶和操作事件是否都具有唯一標(biāo)識符，并且在6)應(yīng)模擬非授權(quán)的刪除、修改或覆蓋審計(jì)記錄的行為，測試應(yīng)用軟件是否能阻止非預(yù)期的2)應(yīng)測試應(yīng)用軟件具備雙因素認(rèn)證，對同一用戶采用兩種或兩種以上組合的鑒別技術(shù)實(shí)現(xiàn)1)宜通過查看軟件相關(guān)設(shè)計(jì)文檔，驗(yàn)證應(yīng)用軟件資產(chǎn)（例如文檔、代碼2)通過查看日志、異常堆棧信息等，應(yīng)測試是否可診斷應(yīng)用軟件缺陷或失效位置、失效時(shí)3)通過查看異常處理、錯(cuò)誤代碼、錯(cuò)誤消息等，應(yīng)測試是否可診斷應(yīng)用軟件缺陷或失效原6)適用時(shí)，宜采用自動化測試工具模擬故障，測試應(yīng)用軟件是否能通過操作系統(tǒng)進(jìn)行故障7)適用時(shí)，宜采用自動化測試工具模擬故障，測試智能運(yùn)維工具的自動預(yù)測、診斷和定位2)應(yīng)對變更后的應(yīng)用軟件進(jìn)行回歸測試，測試變更后的應(yīng)用軟件是否引入了新的缺陷或?qū)?)應(yīng)查看需求規(guī)格說明和產(chǎn)品說明中是否聲明該應(yīng)用軟件遵循了與維護(hù)1)應(yīng)查看應(yīng)用軟件部署環(huán)境是否符合信息技術(shù)應(yīng)用創(chuàng)新要求，識別并記3)宜使用不同的安裝選項(xiàng)進(jìn)行測試，包括推薦、默認(rèn)和自定義安裝選項(xiàng)，并測試安裝過程測評過程A.1概述應(yīng)用軟件測評過程參見圖A.1，具體包括：a)測評準(zhǔn)備：包括工作啟動，信息搜集和主要任務(wù)分析；b)方案編制：根據(jù)應(yīng)用軟件自查表和信息收集表，確定測評對象與測評范圍，選擇對應(yīng)的測評方法與測評工具，匯總編制測評方案或測評大綱，測評大綱可參考附錄C；1)進(jìn)行現(xiàn)場測評，記錄測評結(jié)果；2)如首次測評有需整改的問題，出具問題及建議報(bào)告，由相關(guān)開發(fā)方進(jìn)行整改，并安排時(shí)間進(jìn)行復(fù)測；測評完成后，確認(rèn)測評結(jié)果與問題匯總。d)報(bào)告編制：先單項(xiàng)結(jié)果判定，再匯總測評結(jié)果，并編制測評報(bào)告。A.2測評準(zhǔn)備測評準(zhǔn)備活動的目標(biāo)是順利啟動測評項(xiàng)目，收集信創(chuàng)環(huán)境的資料，并進(jìn)行分析。測評準(zhǔn)備活動包括工作啟動，信息搜集和主要任務(wù)分析。測評委托單位根據(jù)自身情況選擇合適的測評機(jī)構(gòu)進(jìn)行測評，測評機(jī)構(gòu)收到信息技術(shù)應(yīng)用創(chuàng)新測評委托服務(wù)申請書后，組建信息技術(shù)應(yīng)用創(chuàng)新測評項(xiàng)目組，安排測評人員。被測單位根據(jù)應(yīng)用軟件實(shí)際情況，填寫應(yīng)用軟件自查表，參見附錄B。方案編制活動的目標(biāo)是整理測評準(zhǔn)備活動中獲取應(yīng)用軟件情況，編制測評方案/測評大綱，為現(xiàn)場測評活動提供最基本的文檔和指導(dǎo)方案。方案編制活動包含測評對象確定、測評方法和工具確定、測評方案編制及確認(rèn)。a)測評對象確定，根據(jù)自查表的信息確認(rèn)測評對象，詳細(xì)情況如下：1)識別并描述該應(yīng)用軟件適配的硬件環(huán)境；2)識別并描述該應(yīng)用軟件適配的基礎(chǔ)軟件環(huán)境；3)識別并描述該應(yīng)用軟件的共存軟件情況；4)識別并描述該應(yīng)用軟件的開發(fā)環(huán)境；5)識別并描述該應(yīng)用軟件主要業(yè)務(wù)功能、技術(shù)指標(biāo)要求、適配要素。b)測評方法和工具確定：根據(jù)確定的測評對象確定應(yīng)使用的測評方法及工具。c)方案編制及確認(rèn)：測評方案/測評大綱是測評工作實(shí)施的基礎(chǔ)，指導(dǎo)現(xiàn)場實(shí)施活動，測評方案/測評大綱包括但不局限于以下內(nèi)容：項(xiàng)目描述、測評對象、測評方法、測評工具、測評指標(biāo)等。測評方案/測評大綱需進(jìn)行確認(rèn)。開始信息搜集和主要任務(wù)分析測評對象確定現(xiàn)場測評準(zhǔn)備現(xiàn)場測評及結(jié)果記錄是是否需要整改否測評結(jié)果確認(rèn)結(jié)束圖A.1應(yīng)用軟件測評過程流程圖A.4現(xiàn)場測評現(xiàn)場測評工作取得報(bào)告編制活動所需的、足夠的證據(jù)和資料?，F(xiàn)場測評活動包含現(xiàn)場測評準(zhǔn)備、現(xiàn)場測評及結(jié)果記錄、整改復(fù)測、測評結(jié)果確認(rèn)等主要任務(wù)。a)現(xiàn)場測評準(zhǔn)備：1)測評機(jī)構(gòu)對測評過程中的風(fēng)險(xiǎn)進(jìn)行告知，被測單位了解測評過程中存在的安全風(fēng)險(xiǎn)，做好相應(yīng)的應(yīng)急預(yù)案和備份工作；2)測評委托單位協(xié)助測評機(jī)構(gòu)獲得測評對象的現(xiàn)場測評授權(quán)；3)測評機(jī)構(gòu)介紹現(xiàn)場測評工作安排，相關(guān)方對測評方案/法等進(jìn)行溝通；4)測評相關(guān)方確認(rèn)現(xiàn)場測評需要的各種資源，包括測評配合人員和需要提供的測試環(huán)境等。b)現(xiàn)場測評及結(jié)果記錄，現(xiàn)場測評中測評人員按照測評方案/測評大綱實(shí)施測評，并將測評過程中獲取的證據(jù)源及時(shí)進(jìn)行詳細(xì)、準(zhǔn)確記錄，主要包含以下內(nèi)容：1)測評人員與測評配合人員確認(rèn)測評對象中的關(guān)鍵數(shù)據(jù)已經(jīng)進(jìn)行了備份；2)測評人員根據(jù)軟件測評相關(guān)文檔例如測評方案/測評大綱試用例一般包括測試用例名稱、測試用例標(biāo)識、測試用例綜述、測試用例與測試依據(jù)的追蹤關(guān)系、測試用例的前提和約束、測試用例的初始化要求、測試用例的測試步驟（至少包括每個(gè)步驟的輸入與操作、期望結(jié)果與評估準(zhǔn)則）、測試用例的終止條件、測試用例的通過準(zhǔn)則等；3)搭建測試環(huán)境，測試環(huán)境包括測試所需的硬件和軟件環(huán)境以及測試數(shù)據(jù)、測試工具等。記錄測試環(huán)境的狀態(tài)和測試數(shù)據(jù)，形成測試環(huán)境記錄和測試數(shù)據(jù)；4)測評人員執(zhí)行測試用例，對測評及時(shí)進(jìn)行詳細(xì)、準(zhǔn)確的記錄；5)測評結(jié)束后，測評人員與測評配合人員及時(shí)確認(rèn)測評工作是否對測評對象造成不如果被測信息技術(shù)應(yīng)用創(chuàng)新系統(tǒng)經(jīng)測評后發(fā)現(xiàn)不符合要求，可進(jìn)行整改后安排復(fù)測。并對復(fù)測結(jié)果進(jìn)行記錄并標(biāo)注。d)測評結(jié)果確認(rèn)：測評結(jié)束后需將測評過程中得到的證據(jù)源記錄、測評結(jié)果進(jìn)行確認(rèn)，針對本次測評發(fā)現(xiàn)的問題進(jìn)行現(xiàn)場溝通。A.5報(bào)告編制在現(xiàn)場測評工作結(jié)束后，測評機(jī)構(gòu)應(yīng)對現(xiàn)場測評獲得的測評結(jié)果（或稱測評證據(jù)）進(jìn)行匯總分析，形成測評結(jié)論，并編制測評報(bào)告。報(bào)告編制活動包含單項(xiàng)結(jié)果判定、整體測評結(jié)果匯總、報(bào)告編制主要任務(wù)。a)單項(xiàng)結(jié)果判定，針對單個(gè)測評項(xiàng)，結(jié)合具體測評對象，客觀、準(zhǔn)確地分析測評證據(jù)，形成初步單項(xiàng)測評結(jié)果，包含以下內(nèi)容：1)通過：與測試用例中描述的預(yù)期結(jié)果一致，且在多次測評執(zhí)行過程中，每次都與預(yù)期結(jié)果一致；2)不通過：該測試用例實(shí)際測試結(jié)果與預(yù)期結(jié)果不一致，或在多次測評過程中，至少有一次與預(yù)期結(jié)果不一致；3)不適用：受環(huán)境或其它客觀條件所限，測試用例無法驗(yàn)證。b)整體測評結(jié)果匯總，對單項(xiàng)結(jié)果判定的情況進(jìn)行匯總并分析，包含以下內(nèi)容：1)匯總各測評項(xiàng)的測評結(jié)果，得出通過與不通過項(xiàng)的數(shù)量；2)分析不通過項(xiàng)的嚴(yán)重程度；3)形成問題列表等書面文檔。c)報(bào)告編制，根據(jù)報(bào)告編制活動各分析過程形成最終的測評報(bào)告，包含以下內(nèi)容：1)測評報(bào)告采用統(tǒng)一的報(bào)告模板；2)測評報(bào)告包含項(xiàng)目概述、測評對象、測評過程與方法、測評結(jié)果、測評結(jié)論與建議等內(nèi)容；3)測評報(bào)告編寫完成后，測評機(jī)構(gòu)對測評報(bào)告進(jìn)行評審，并由相關(guān)負(fù)責(zé)人進(jìn)行簽字測評大綱適配測評操作系統(tǒng)數(shù)據(jù)庫中間件流版簽軟件安全軟件瀏覽器外設(shè)指令集基礎(chǔ)設(shè)施云原生環(huán)境網(wǎng)絡(luò)環(huán)境質(zhì)量測評功能性性能效率兼容性易用性可靠性信息安全性維護(hù)性可移植性——————文檔測評產(chǎn)品說明和用戶文檔集的測評要素分別見GB/T25000.51—2016中5.1和5.2的要求。適配項(xiàng)測評項(xiàng)測評要求操作系統(tǒng)應(yīng)用軟件在部署、啟動、運(yùn)行、關(guān)閉、卸載階段與操作系統(tǒng)的適配參見本文件6.2.1數(shù)據(jù)庫應(yīng)用軟件在部署、啟動、運(yùn)行、關(guān)閉、卸載階段與數(shù)據(jù)庫的適配參見本文件6.2.2中間件應(yīng)用軟件在部署、啟動、運(yùn)行、關(guān)閉、卸載階段與中間件的適配參見本文件6.2.3流版簽軟件應(yīng)用軟件與流版簽軟件的適配參見本文件6.2.4安全軟件應(yīng)用軟件與安全軟件的適配參見本文件6.2.5瀏覽器應(yīng)用軟件與瀏覽器的適配參見本文件6.2.6外設(shè)應(yīng)用軟件與外設(shè)的適配參見本文件6.2.7指令集應(yīng)用軟件與所需特定處理器指令集的適配參見本文件6.2.8基礎(chǔ)設(shè)施應(yīng)用軟件與基礎(chǔ)設(shè)施的適配參見本文件6.2.9云原生環(huán)境應(yīng)用軟件與云原生環(huán)境的適配參見本文件6.2.10網(wǎng)絡(luò)環(huán)境應(yīng)用軟件與指定網(wǎng)絡(luò)環(huán)境的適配參見本文件6.2.11質(zhì)量特性測評項(xiàng)測評要求測評方法功能性功能完備性參見本文件6.3.1通過逐一對比需求規(guī)格說明中應(yīng)實(shí)現(xiàn)的功能和應(yīng)用軟件實(shí)際提供的功能，以確定應(yīng)用軟件對指定功能的實(shí)現(xiàn)程度。功能正確性依據(jù)需求規(guī)格說明進(jìn)行功能測試，分析測試結(jié)果，確定不能正確實(shí)現(xiàn)的功能。功能適合性依據(jù)需求規(guī)格說明，針對為實(shí)現(xiàn)特定使用目標(biāo)所需的功能進(jìn)行測試，分析測試結(jié)果，確定缺少或不正確的功能。功能性的依從性查看需求規(guī)格說明和產(chǎn)品說明中是否聲明該應(yīng)用軟件遵循了與功能性相關(guān)的標(biāo)準(zhǔn)、約定或法規(guī)以及類似規(guī)定，并驗(yàn)證應(yīng)用軟件的功能性是否遵循相關(guān)標(biāo)準(zhǔn)、約定或法規(guī)以及類似規(guī)定。性能效率時(shí)間特性參見本文件6.3.2依據(jù)需求規(guī)格說明，采用性能測試工具測試應(yīng)用軟件執(zhí)行指定操作時(shí)，其響應(yīng)時(shí)間是否滿足要求。資源利用性依據(jù)需求規(guī)格說明，采用性能測試工具對服務(wù)器、數(shù)據(jù)庫、中間件等資源進(jìn)行監(jiān)控。容量依據(jù)需求規(guī)格說明，采用性能測試工具測試應(yīng)用軟件最大限量，包括最大并發(fā)數(shù)、最大用戶數(shù)、事務(wù)處理容量等。（1）最大并發(fā)數(shù)：通過對一個(gè)逐漸增大的并發(fā)用戶數(shù)的序列來進(jìn)行測試嘗試，并獲得每次嘗試的請求響應(yīng)時(shí)間。通過分析請求響應(yīng)時(shí)間在什么時(shí)候突然顯著增加或變得不可接受，從而得到系統(tǒng)可承受的最大并發(fā)用戶數(shù)；（2）最大用戶數(shù)：通過對一個(gè)逐漸增大的并發(fā)請求進(jìn)行測試，并可以獲得請求響應(yīng)時(shí)間，分析請求響應(yīng)時(shí)間的突變點(diǎn)，從而獲得最大用戶數(shù)量；（3）事務(wù)處理容量：在給定觀察時(shí)間內(nèi)，施加足夠的工作負(fù)載，測量完成事務(wù)的數(shù)量，計(jì)算得到單位時(shí)間內(nèi)處理事務(wù)的數(shù)量。性能效率的依從性查看需求規(guī)格說明和產(chǎn)品說明中是否聲明該應(yīng)用軟件遵循了與性能效率相關(guān)的標(biāo)準(zhǔn)、約定或法規(guī)以及類似規(guī)定，并驗(yàn)證應(yīng)用軟件的性能效率是否遵循相關(guān)標(biāo)準(zhǔn)、約定或法規(guī)以及類似規(guī)定。兼容性共存性參見本文件6.3.3（1）查看需求規(guī)格說明或產(chǎn)品說明中是否指明與該應(yīng)用軟件需要共存的其他軟件信息；（2）選擇與應(yīng)用軟件需要共存的軟件，驗(yàn)證與該應(yīng)用軟件的共存情況（例如軟件安裝情況、功能執(zhí)行情況、系統(tǒng)資源占用等），一旦出現(xiàn)無法共存的情況則終止測試，例如，關(guān)鍵功能點(diǎn)出現(xiàn)致命錯(cuò)誤。質(zhì)量特性測評項(xiàng)測評要求測評方法兼容性互操作性參見本文件6.3.3（1）查看需求規(guī)格說明或產(chǎn)品說明中是否指明與該應(yīng)用軟件具備數(shù)據(jù)格式可交互性的軟件信息；（2）接口調(diào)用：依據(jù)需求規(guī)格說明、設(shè)計(jì)文檔等，確定外部接口。依據(jù)接口符合性的判定準(zhǔn)則測試接口實(shí)現(xiàn)的準(zhǔn)確性，并記錄接口調(diào)用的情況、接口返回的結(jié)果值和接口返回值讀取的情況；（3）數(shù)據(jù)交換協(xié)議：依據(jù)需求規(guī)格說明、設(shè)計(jì)文檔等，確定需交換的數(shù)據(jù)協(xié)議。依據(jù)數(shù)據(jù)交換協(xié)議正常讀取和解析的判定準(zhǔn)則測試應(yīng)用軟件支持?jǐn)?shù)據(jù)交換協(xié)議的情況，并記錄數(shù)據(jù)內(nèi)容的讀取、解析和傳輸情況；（4）數(shù)據(jù)交換格式：依據(jù)相關(guān)文檔的要求確定需交換的數(shù)據(jù)格式。針對數(shù)據(jù)格式，測試其是否能被正常讀寫。測試數(shù)據(jù)格式是否和要求相符合，例如，數(shù)據(jù)的類型、長度、邊界等。兼容性的依從性查看需求規(guī)格說明和產(chǎn)品說明中是否聲明該應(yīng)用軟件遵循了與兼容性相關(guān)的標(biāo)準(zhǔn)、約定或法規(guī)以及類似規(guī)定，并驗(yàn)證應(yīng)用軟件的兼容性是否遵循相關(guān)標(biāo)準(zhǔn)、約定或法規(guī)以及類似規(guī)定。易用性可辨識性參見本文件6.3.4查看產(chǎn)品說明中是否對使用場景進(jìn)行完整描述，是否提供演示教程、文檔或網(wǎng)站的主頁信息，以幫助用戶進(jìn)行認(rèn)知。易學(xué)性（1）查看應(yīng)用軟件核心功能模塊是否有對應(yīng)的幫助文檔/操作手冊；（2）查看產(chǎn)品說明和/或幫助文檔中是否為用戶學(xué)會如何使用該軟件提供必要的信息；（3）通過執(zhí)行包含錯(cuò)誤操作的測試用例（例如輸入非法字符或保存到無效路徑等），測試用戶是否能根據(jù)差錯(cuò)信息解決出現(xiàn)的問題；（4）選擇對該應(yīng)用軟件完全不熟悉的用戶進(jìn)行測試，觀察用戶在完成指定任務(wù)的過程中是否能根據(jù)軟件呈現(xiàn)的信息元素和步驟來完成任務(wù)，而不需要外部幫助或先前的學(xué)習(xí)。質(zhì)量特性測評項(xiàng)測評要求測評方法易用性易操作性參見本文件6.3.4（1）用戶測試：觀察用戶在完成應(yīng)用軟件常規(guī)任務(wù)時(shí)的操作流程和反饋，記錄使用應(yīng)用軟件時(shí)遇到的問題以及對界面設(shè)計(jì)和操作流程的評價(jià)；（2）專家評審：對應(yīng)用軟件的界面設(shè)計(jì)、操作流程等進(jìn)行評審，評估應(yīng)用軟件的易操作性；（3）對應(yīng)用軟件返回的消息進(jìn)行評估，測試是否能傳達(dá)給用戶正確的結(jié)果或指令消息。同時(shí)需要測試消息是否存在歧義以及是否容易被誤解；（3）撤銷操作能力：查看需求規(guī)格說明、操作手冊等，確定用戶能夠從重新確認(rèn)或撤銷操作中獲益的任務(wù)。執(zhí)行要求具有提供撤銷操作或重新確認(rèn)的任務(wù)，確定應(yīng)用軟件是否提供撤銷操作或重新確認(rèn)的任務(wù)；（4）輸入設(shè)備支持性：依據(jù)所需求規(guī)格說明、操作手冊要求的輸入方法啟動任務(wù)，測試是否可通過適當(dāng)?shù)妮斎敕椒ǎɡ珂I盤、鼠標(biāo)或語音）啟動任務(wù)。用戶差錯(cuò)防御性（1）通過執(zhí)行錯(cuò)誤操作，測試應(yīng)用軟件在用戶嘗試撤銷操作或重新執(zhí)行任務(wù)時(shí)是否提供了相應(yīng)的撤銷或重新執(zhí)行任務(wù)的功能；（2）按產(chǎn)品說明或操作手冊執(zhí)行相應(yīng)功能，或設(shè)計(jì)并植入錯(cuò)誤，記錄應(yīng)用軟件發(fā)生的差錯(cuò)，查看是否提供改正用戶差錯(cuò)的指導(dǎo)信息；（3）數(shù)據(jù)長度、類型、輸入說明提示：輸入數(shù)據(jù)時(shí)，應(yīng)用軟件是否有數(shù)據(jù)長度、類型、輸入說明提示；（4）輸入時(shí)語法錯(cuò)誤提示：輸入錯(cuò)誤的語法，應(yīng)用軟件是否能夠進(jìn)行提示；（5）刪除確認(rèn)提示：執(zhí)行刪除操作時(shí)，是否對刪除操作進(jìn)行提示；（6）重要操作確認(rèn)提示：確定在執(zhí)行無法撤銷并且會產(chǎn)生嚴(yán)重后果的操作之前應(yīng)用軟件是否進(jìn)行確認(rèn)。質(zhì)量特性測評項(xiàng)測評要求測評方法易用性用戶界面舒適性參見本文件6.3.4采用專家評審或用戶測試的方法，評估應(yīng)用軟件界面和整體設(shè)計(jì)是否存在偏差、以及在外觀舒適和交互方面是否滿足用戶需求。易訪問性（1）查看是否支持為特殊群體提供輔助操作功能；（2）查看應(yīng)用軟件是否支持多語種信息。易用性的依從性查看需求規(guī)格說明和產(chǎn)品說明中是否聲明該應(yīng)用軟件遵循了與易用性相關(guān)的標(biāo)準(zhǔn)、約定或法規(guī)以及類似規(guī)定，并驗(yàn)證應(yīng)用軟件的易用性是否遵循相關(guān)標(biāo)準(zhǔn)、約定或法規(guī)以及類似規(guī)定?？煽啃猿墒煨詤⒁姳疚募?.3.5通過監(jiān)控工具，監(jiān)控運(yùn)行時(shí)CPU和內(nèi)存使用率，確認(rèn)應(yīng)用軟件運(yùn)行是否滿足需求?？捎眯酝ㄟ^查詢應(yīng)用軟件運(yùn)行日志或者相關(guān)文檔，驗(yàn)證應(yīng)用軟件是否滿足規(guī)定的不間斷運(yùn)行要求。容錯(cuò)性（1）依據(jù)軟件需求，通過輸入不符合要求的信息，測評應(yīng)用軟件對無效輸入的容錯(cuò)性；（2）驗(yàn)證應(yīng)用軟件是否在規(guī)定時(shí)間內(nèi)未造成服務(wù)失效；（3）驗(yàn)證應(yīng)用軟件是否具有數(shù)據(jù)備份的策略和機(jī)制；（4）測試應(yīng)用軟件是否按照需求設(shè)計(jì)安裝了冗余組件，并測試組件故障時(shí)能否切換到冗余組件，并按預(yù)期執(zhí)行；（5）依據(jù)需求規(guī)格說明、設(shè)計(jì)文檔、操作手冊等，查看是否描述具有負(fù)載均衡功能，并測試是否實(shí)現(xiàn)了負(fù)載均衡的功易恢復(fù)性（1）依據(jù)需求規(guī)格說明、設(shè)計(jì)文檔、操作手冊等，驗(yàn)證是否具有數(shù)據(jù)恢復(fù)策略，以及數(shù)據(jù)恢復(fù)工具；（2）通過故障模擬工具模擬應(yīng)用軟件的失效或宕機(jī)，記錄失效或宕機(jī)的時(shí)間點(diǎn)，并監(jiān)控應(yīng)用軟件的恢復(fù)過程，包括重新啟動時(shí)間、數(shù)據(jù)恢復(fù)時(shí)間等?？煽啃缘囊缽男圆榭葱枨笠?guī)格說明和產(chǎn)品說明中是否聲明該應(yīng)用軟件遵循了與可靠性相關(guān)的標(biāo)準(zhǔn)、約定或法規(guī)以及類似規(guī)定，并驗(yàn)證應(yīng)用軟件的可靠性是否遵循相關(guān)標(biāo)準(zhǔn)、約定或法規(guī)以及類似規(guī)定。40質(zhì)量特性測評項(xiàng)測評要求測評方法信息安全性保密性參見本文件6.3.6（1）查看是否設(shè)計(jì)了權(quán)限控制模塊，有系統(tǒng)管理員進(jìn)行權(quán)限管理；（2）以某一用戶身份登錄應(yīng)用軟件，依據(jù)安全策略或不依據(jù)安全策略進(jìn)行訪問，測試是否成功；（3）以不同權(quán)限用戶登錄應(yīng)用軟件，判斷用戶是否可以訪問非授權(quán)的模塊；（4）抓取傳輸過程中的數(shù)據(jù)，查看通信過程中的整個(gè)報(bào)文或會話過程是否進(jìn)行了加密；（5）查看是否選擇可靠的算法，以及經(jīng)過充分測試的算法，例如采用國密算法，不采用自制的加密算法；（6）采用工具或編寫腳本，將解密后的數(shù)據(jù)與原始數(shù)據(jù)進(jìn)行比較，驗(yàn)證解密后的數(shù)據(jù)是否與原始數(shù)據(jù)一致；（7）非授權(quán)用戶訪問存儲用戶鑒別信息的數(shù)據(jù)文件或數(shù)據(jù)庫，包括讀取、寫入和修改數(shù)據(jù)，驗(yàn)證訪問權(quán)限的正確性；（8）針對用戶鑒權(quán)信息進(jìn)行加密算法測試，包括加密和解密操作的正確性和安全性；（9）通過網(wǎng)絡(luò)抓包工具、安全測試工具、代碼審計(jì)等方式，測試用戶鑒別信息在傳輸時(shí)是否經(jīng)過加密或其他安全強(qiáng)度方法保護(hù)。完整性（1）使用安全測試工具模擬未經(jīng)授權(quán)的訪問，例如對數(shù)據(jù)庫未經(jīng)授權(quán)的訪問，驗(yàn)證應(yīng)用軟件是否能夠有效地阻止未經(jīng)授權(quán)的數(shù)據(jù)訪問；（2）測試應(yīng)用軟件對數(shù)據(jù)是否進(jìn)行了完整性校驗(yàn)，例如使用哈希算法對數(shù)據(jù)進(jìn)行摘要計(jì)算，并在數(shù)據(jù)傳輸或存儲時(shí)進(jìn)行校驗(yàn)；（3）關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)約束：數(shù)據(jù)庫是否有唯一鍵、外鍵、可選值約束；（4）查看應(yīng)用軟件的備份計(jì)劃，測試是否能按照計(jì)劃進(jìn)行數(shù)據(jù)備份；通過校驗(yàn)備份文件的哈希值或?qū)Ρ葌浞輸?shù)據(jù)和原始數(shù)據(jù)驗(yàn)證備份完整性；（5）模擬數(shù)據(jù)丟失或篡改情況進(jìn)行數(shù)據(jù)恢復(fù)測試，測試應(yīng)用軟件是否能從備份中恢復(fù)數(shù)據(jù)，并且恢復(fù)后的數(shù)據(jù)是否完整和準(zhǔn)確；（6）宜編寫腳本或使用工具進(jìn)行數(shù)據(jù)比較，驗(yàn)證是否定期將數(shù)據(jù)和參考數(shù)據(jù)進(jìn)行比較；（7）對于采取異地分布式存儲的措施，測試應(yīng)用軟件是否能在一個(gè)地點(diǎn)的數(shù)據(jù)丟失或損壞時(shí)，從其他地點(diǎn)恢復(fù)數(shù)據(jù)。41質(zhì)量特性測評項(xiàng)測評要求測評方法信息安全性抗抵賴性參見本文件6.3.6（1）查看是否有日志記錄功能，記錄是否可追溯事件發(fā)生的日期、時(shí)間、操作人員、事件類型、事件相關(guān)描述信息、事件的結(jié)果；（2）對日志進(jìn)行修改或刪除，查看軟件是否能阻止該操作；（3）查看用戶的操作是否具有數(shù)字簽名；（4）測試是否能夠根據(jù)審計(jì)記錄追蹤用戶的操作行為，包括查詢特定用戶的操作記錄、追蹤數(shù)據(jù)的訪問歷史等。可核查性（1）以任意用戶身份登錄應(yīng)用軟件，進(jìn)行操作（如用戶登錄/退出、改變訪問控制策略、增加/刪除用戶、改變用戶權(quán)限和增加/刪除/查詢數(shù)據(jù)等），用審計(jì)人員的身份登錄應(yīng)用軟件，查看應(yīng)用軟件是否對上述用戶的重要操作或事件進(jìn)行了審計(jì)；（2）以審計(jì)人員身份登錄應(yīng)用軟件，查看審計(jì)記錄內(nèi)容是否包括事件發(fā)生的日期、時(shí)間、發(fā)起者信息、事件類型、事件相關(guān)描述信息、事件的結(jié)果等內(nèi)容；（3）在應(yīng)用軟件審計(jì)記錄中，查看每個(gè)用戶賬戶和操作事件是否都具有唯一標(biāo)識符，以及是否能正確地標(biāo)識；（4）通過模擬非授權(quán)的刪除、修改或覆蓋審計(jì)記錄的行為，測試應(yīng)用軟件是否能阻止非預(yù)期的操作；（5）驗(yàn)證應(yīng)用軟件的備份策略、備份計(jì)劃，測試是否按照預(yù)定的計(jì)劃定期備份審計(jì)記錄；（6）驗(yàn)證審計(jì)記錄的保存期限是否滿足規(guī)定要求，例如不少于六個(gè)月；（7）對于日志信息從多臺服務(wù)器獲取，驗(yàn)證是否啟用了時(shí)鐘同步進(jìn)程。42質(zhì)量特性測評項(xiàng)測評要求測評方法信息安全性真實(shí)性參見本文件6.3.6（1）查看是否提供專用的登錄控制模塊對登錄用戶進(jìn)行身份標(biāo)識和鑒別；（2）如果應(yīng)用軟件是以用戶名來保證用戶身份標(biāo)識唯一的，則以已存在的用戶名重新注冊，查看是否成功，從而驗(yàn)證用戶身份標(biāo)識唯一保證措施是否有效；（3）利用口令暴力破解等工具對應(yīng)用軟件進(jìn)行測試，驗(yàn)證應(yīng)用軟件是否存在弱口令和空口令用戶；（4）查看是否對同一用戶采用兩種或兩種以上組合的鑒別技術(shù)（例如動態(tài)口令、數(shù)字證書和生物技術(shù)）實(shí)現(xiàn)用戶身份鑒別；（5）驗(yàn)證管理員用戶與賬戶之間是否一一對應(yīng)，是否存在共享賬戶；（6）登錄失敗處理：以錯(cuò)誤的用戶名或密碼登錄應(yīng)用軟件，查看應(yīng)用軟件的反應(yīng)；以超過規(guī)定的非法登錄次數(shù)登錄應(yīng)用軟件，查看應(yīng)用軟件的反應(yīng)；當(dāng)?shù)卿洃?yīng)用軟件連接超時(shí)，查看應(yīng)用軟件的反應(yīng)；（7）通過網(wǎng)絡(luò)抓包工具監(jiān)視遠(yuǎn)程管理過程中的網(wǎng)絡(luò)傳輸，驗(yàn)證是否對鑒別信息進(jìn)行了加密。信息安全性的依從性查看需求規(guī)格說明和產(chǎn)品說明中是否聲明該應(yīng)用軟件遵循了與信息安全性相關(guān)的標(biāo)準(zhǔn)、約定或法規(guī)以及類似規(guī)定，并驗(yàn)證應(yīng)用軟件的信息安全性是否遵循相關(guān)標(biāo)準(zhǔn)、約定或法規(guī)以及類似規(guī)定。維護(hù)性模塊化參見本文件6.3.7（1）查看應(yīng)用軟件相關(guān)設(shè)計(jì)文檔，驗(yàn)證應(yīng)用軟件是否采用模塊化設(shè)計(jì)開發(fā)；（2）采用靜態(tài)代碼分析工具，計(jì)算圈復(fù)雜度，驗(yàn)證是否滿足要求。可重用性（1）查看應(yīng)用軟件相關(guān)設(shè)計(jì)文檔，驗(yàn)證應(yīng)用軟件資產(chǎn)是否具有高重用性；（2）采用靜態(tài)代碼分析工具或代碼審查方式，測試是否存在可以復(fù)用的代碼段或模塊，并檢查代碼是否符合代碼規(guī)范。43質(zhì)量特性測評項(xiàng)測評要求測評方法維護(hù)性易分析性參見本文件6.3.7（1）查看是否有日志記錄功能，例如日志查詢功能記錄、log文件，日志記錄是否記錄了事件發(fā)生的日期、時(shí)間、操作人員、事件類型、事件相關(guān)描述信息、事件的結(jié)果；（2）通過查看日志、異常堆棧信息等，測試是否可診斷應(yīng)用軟件缺陷或失效位置、失效時(shí)間；（3）通過查看異常處理、錯(cuò)誤代碼、錯(cuò)誤消息等，測試是否可診斷應(yīng)用軟件缺陷或失效原因；（4）按照產(chǎn)品說明中的描述方法，測試是否能查閱應(yīng)用軟件的版本及修訂內(nèi)容；（