QualityInspectionStandardforArtificialIntelligencein T/GXDSL038— GB/T19000-2016GB/T19001-2016質(zhì)量管理體系要求GB/T25000.51-2016（SQuaRE）51大歸一化、Z-score70%:15%:15%。Positive）：實際無缺陷但被誤判為缺陷的樣本數(shù)量，表示系統(tǒng)的誤報情況。FN（FalseNegative）：KK-11(TP)、假正例(FP)、真反例(TN)、假反例(FN)。真正例（TruePositiveTP）：實際存在質(zhì)量缺陷且被系統(tǒng)正確識別的樣本數(shù)量，反映系統(tǒng)對缺陷產(chǎn)品的準確檢出能力。真反例（TrueNegativeTN）：（FalsePositiveFP）：實際合格產(chǎn)品但被系統(tǒng)誤判為缺陷的樣本數(shù)量，代表系統(tǒng)的誤報情況。假反例（FalseNegative,FN）：實際存在缺陷但未被系統(tǒng)檢出的樣本數(shù)量，反映系統(tǒng)的漏檢風險。C：檢測算法流程圖面向大數(shù)據(jù)應用的就緒可用軟件產(chǎn)品質(zhì)量要求和測試細則目 次前 言 II范圍 1規(guī)范性引用文件 1術語和定義 1縮略語 3符合性 3軟件質(zhì)量要求 3數(shù)據(jù)要求 8測試環(huán)境 9測試文檔集要求 9符合性評價細則 12I面向大數(shù)據(jù)應用的就緒可用軟件產(chǎn)品質(zhì)量要求和測試細則范圍數(shù)據(jù)要求、測試環(huán)境、測試文檔集要求、符合性評價細則。本文件適用于面向大數(shù)據(jù)應用的就緒可用軟件產(chǎn)品的質(zhì)量要求和測試。規(guī)范性引用文件（包括所有的修改單適用于本文件。GB/T20271-2006信息安全技術信息系統(tǒng)通用安全技術要求GB/T25000.51-2016（SQuaRE）51GB/T36344-2018信息技術數(shù)據(jù)質(zhì)量評價指標術語和定義GB/T25000.51-2016界定的以及下列術語和定義適用于本文件。3.1需方acquirer從供方獲取或采購產(chǎn)品或服務的利益相關方。需方可能是以下之一：買主、顧客、擁有者、采購者。[來源:ISO/IEC12207:2008]3.2異常anomaly離。[來源：IEEEstd1044-2009]3.3應用管理職能applicationadministrationfunction由用戶履行的職能，包括安裝、配置、備份、維護（打補丁和升級）、卸載等。13.4符合性評價conformityevaluation對產(chǎn)品、過程或服務達到規(guī)定要求的程度所進行的系統(tǒng)性考核。[來源：ISO/IECGUIDE2：2004]3.5符合性評價報告conformityevaluationreport說明對RUSP實施評價的行為和結(jié)果的文檔。3.6面向大數(shù)據(jù)應用的就緒可用軟件產(chǎn)品readytousesoftwareproductbigdataapplicationoriented無論是否付費，任何用戶可以不經(jīng)歷開發(fā)活動就能獲得的基于大數(shù)據(jù)相關應用的軟件產(chǎn)品。3.7就緒可用軟件產(chǎn)品readytousesoftwareproduct無論是否付費,任何用戶可以不經(jīng)歷開發(fā)活動就能獲得的軟件產(chǎn)品。3.8最終用戶enduser最終受益于RUSP功能的個人。注：最終用戶可以是軟件產(chǎn)品的正式操作員;或是臨時用戶,例如公眾中的一員。[來源：GB/T25000.1—2010，4.14]3.9故障fault計算機程序中不正確的步驟、過程或數(shù)據(jù)定義。[來源：IEEEstd610.12—1998]3.10測試用例testcase為某個特定目標(例如,為演練具體的程序路徑或驗證對特定需求的依從性)而開發(fā)的輸入、執(zhí)行條件以及預期結(jié)果的集合。[來源：IEEEstd610.12—1998]23.11測試文檔集testdocumentation測試活動特有的文檔匯集。[來源：IEEEstd610.12—1998]縮略語下列縮略語適用于本文件。RUSP：就緒可用軟件產(chǎn)品（ReadytoUseSoftwareProduct）RUSPBDAO：面向大數(shù)據(jù)應用的就緒可用軟件產(chǎn)品（ReadytousesoftwareproductBigdataapplicationoriented）符合性RUSPBDAO應符合以下條件：678測試期間發(fā)現(xiàn)的異常，可在產(chǎn)品發(fā)布前消除；若該異常違背產(chǎn)品廣告宣傳的性能，且不能消除，則應取消此種性能聲稱；可認為該異常是可接受的。軟件質(zhì)量要求功能性測試項試用例設計應滿足以下幾個方面：每個功能特性應被一個或多個正常測試用例和一個或多個被認可的異常測試用例所覆蓋；測試用例的輸入應至少包括有效等價類值、無效等價類值和邊界數(shù)據(jù)值；逐項測試大數(shù)據(jù)就緒可用軟件產(chǎn)品設計說明規(guī)定的功能特性；測試軟件產(chǎn)品配置項之間及軟件配置項與硬件之間的接口；測試軟件產(chǎn)品輸出及其格式。功能完備性功能集對指定的任務、用戶目標、數(shù)據(jù)質(zhì)量，應覆蓋功能用戶的需求。注1：功能可以在需求規(guī)格說明、設計規(guī)格說明、用戶手冊中進行指定。注2：當軟件產(chǎn)品無法實現(xiàn)指定的功能時，即檢測到缺少的功能。注3：功能包括對數(shù)據(jù)質(zhì)量的要求。3功能正確性在特定的使用條件下，應提供具有所需精度的正確結(jié)果。注1：不正確的功能是指功能無法給出達到特定預期目標的合理、可接受的結(jié)果。注2：開發(fā)方或維護方可能通過評審或測試檢查單個功能，并決定功能能否為需求規(guī)格說明中定義的特定的目標提供正確的結(jié)果。在這種情況下，正確性的程度是由每個功能決定的。功能適合性在指定條件下使用時，應促使指定的任務和目標實現(xiàn)。依從性產(chǎn)品應遵循與功能性相關的標準、約定或法規(guī)以及類似規(guī)定。測試過程下列測試過程適用于RUSPBDAO的功能性測試：根據(jù)需求規(guī)格說明書、概要設計等相關軟件設計說明書，分析并拆分軟件產(chǎn)品功能點；100%；根據(jù)軟件產(chǎn)品相關設計說明，編制每條測試用例的執(zhí)行步驟、測試結(jié)果；執(zhí)行每條測試用例；檢驗執(zhí)行結(jié)果是否滿足測試用例預期結(jié)果；根據(jù)執(zhí)行結(jié)果填寫執(zhí)行記錄和缺陷報告?？煽啃猿墒煨攒浖蚪M件在正常運行時應滿足可靠性要求。注：系統(tǒng)或軟件能力、運行場景或功能的比例等。容錯性余度、平均故障通告時間等。注：內(nèi)部或外部容錯性測度與發(fā)生運行故障或違反規(guī)定接口時，軟件產(chǎn)品維持規(guī)定性能水平的能力有關。易恢復性發(fā)生中斷或失效時，軟件能夠恢復直接受影響的數(shù)據(jù)并重建期望的系統(tǒng)狀態(tài)。注：測試指標可包括軟件從失效中恢復需要的時間，以及定期備份數(shù)據(jù)項的比例。測試過程下列測試過程適用于可靠性：軟件產(chǎn)品操作過程中出現(xiàn)誤操作，包括填寫表單超出限制范圍，違反業(yè)務邏輯等；記錄檢測過程中軟件產(chǎn)品出現(xiàn)的故障及故障糾正數(shù)量；4情況；軟件產(chǎn)品在多臺終端上，通過自動化測試手段持續(xù)運行，查看其運行情況。易用性用戶使用。（使用質(zhì)量的子集來進行指定或測量。可辨識性應確保用戶能夠辨識軟件是否適合其要求。易學性定目標，應可為指定用戶使用。注：測試指標可包括用戶指導完整性、輸入字段的默認值設置、差錯信息的易理解性、用戶界面的自解釋性等。易操作性軟件應具有易于操作和控制的屬性。注：測試指標可包括操作的一致性、消息的正確性、功能的易定制性、用戶界面的易定制性、監(jiān)視能力、撤銷操作能力、消息分類的易理解性、外觀的一致性、輸入設備的支持性等。易訪問性在指定的使用周境中，為了達到指定的目標，軟件應被具有最廣泛的特征和能力的個體所使用。測試過程下列測試過程適用于易用性測試：查看用戶手冊內(nèi)容，操作軟件產(chǎn)品過程中查看頁面布局，查看輸入輸出項的易理解性；查看用戶手冊、培訓手冊、系統(tǒng)文檔，查看文檔能否幫助用戶學習操作；用鍵盤快捷鍵；檢測過程中查看軟件產(chǎn)品頁面所有的元素是否美觀，具備吸引性。性能效率測試項RUSPBDAO時，應測試其所能承受壓力的強度，包括但不限于：響應時間：服務端響應事務的平均時長；每秒處理事務數(shù)：服務端每秒處理事務的數(shù)量；事務通過率：服務端處理事務的成功率；5CPUCPU內(nèi)存占用率：服務端在處理事務時，服務器內(nèi)存占用情況；I/O時間特性軟件時間特性應滿足以下幾方面要求：軟件執(zhí)行其功能時，其響應時間、處理時間及吞吐量應滿足用戶需求；應滿足規(guī)定目標；定目標；測試吞吐量特性，測試軟件單位時間內(nèi)完成作業(yè)的平均數(shù)量應滿足規(guī)定目標。容量軟件參數(shù)的最大限度應滿足需求。吞吐量和數(shù)據(jù)庫規(guī)模。資源利用性軟件執(zhí)行其功能時，所使用的資源數(shù)量和類型應滿足需求。測試指標包括處理器平均占用率、內(nèi)存平均占用率、I/O測試過程下列測試過程適用于性能（效率）測試：模擬測試場景操作步驟，與服務器建立連接，傳輸數(shù)據(jù)，并能得到正確的服務器反饋；回放操作步驟，模擬并發(fā)用戶操作典型應用場景，向服務器施加壓力；統(tǒng)計模擬多人操作時，服務端響應能力和服務器資源占用情況。維護性易分析性（變更軟件的一個或多個部分改部分。注：測試指標可包括系統(tǒng)日志完整性、診斷功能有效性和診斷功能的充分性等。模塊化由多個獨立組件組成的系統(tǒng)或計算機程序，其中一個組件的變更對其他組件的影響應最小。注：測試指標可包括組件間的耦合度、圈復雜度的充分性等。易測試性應能夠為軟件或組件建立測試準則，并通過測試執(zhí)行來確定測試準則是否被滿足有效性和效率。注：測試指標可包括測試功能的完整性、測試獨立性和測試的重啟動性。6可重用性資產(chǎn)應能被用于多個系統(tǒng)或其他資產(chǎn)建設。注：測試指標可包括系統(tǒng)中可重復使用資產(chǎn)的數(shù)量、符合所要求編碼規(guī)則的模塊的數(shù)量。測試過程下列測試過程適用于維護性測試：查看服務端日志，檢測軟件產(chǎn)品分析診斷能力；查看軟件產(chǎn)品圖形化頁面及權限配置頁面，檢測軟件產(chǎn)品可配置能力；查看軟件產(chǎn)品配置參數(shù)元文件，檢測軟件產(chǎn)品修改能力；使用主流測試工具，檢測軟件產(chǎn)品對主流測試工具的支持?？梢浦残赃m應性軟件應能有效地、高效地適應不同的或演變的硬件、軟件或者其他運營（或使用）環(huán)境。注：測試指標可包括硬件環(huán)境的適應性、系統(tǒng)軟件環(huán)境的適應性、運營環(huán)境的適應性。易替換性在相同環(huán)境中，軟件應能替換另一個相同用途的指定軟件產(chǎn)品。注：測試指標可包括使用相似性、產(chǎn)品質(zhì)量等價性、功能的包容性和數(shù)據(jù)復用/導入能力。易安裝性在指定環(huán)境中，軟件應能成功地安裝和/或卸載。注：測試指標可包括安裝的時間效率和安裝的靈活性。測試過程下列測試過程適用于可移植性測試：在多操作系統(tǒng)環(huán)境下安裝部署軟件產(chǎn)品服務端，檢測其運行情況；使用多種模式安裝，包括服務端和移動終端；安裝完成是否影響其他軟件產(chǎn)品的正常運行。軟件產(chǎn)品應能對數(shù)據(jù)進行保護,并對訪問控制實行權限管理，只允許授權用戶訪問。注：測試指標可包括訪問控制性、數(shù)據(jù)加密正確性和加密算法的強度等。完整性軟件產(chǎn)品應能識別并防止對數(shù)據(jù)的未授權訪問。軟件產(chǎn)品應具有基于先進加密算法的防篡改機制，識別并阻止對計算機程序或數(shù)據(jù)的篡改。防入侵性軟件產(chǎn)品應能識別并阻止惡意入侵事件，并通報給相關授權用戶。7抗抵賴性軟件產(chǎn)品應能確保事件發(fā)生后應可以被證實且不可被否認。注：測試指標可包括使用數(shù)字簽名，處理需要抗抵賴性事務的比例?？珊瞬樾攒浖a(chǎn)品的運行活動應可以被唯一地追溯到該實體地。注：測試指標可包括對用戶訪問系統(tǒng)或數(shù)據(jù)地審計跟蹤地完整程度，系統(tǒng)日志存儲在穩(wěn)定存儲器中地時間占要求地存儲時間的比例。真實性軟件產(chǎn)品在對處理對象或資源的合法身份標識應能夠被識別并證實其符合性。注：測試指標可包括鑒別機制的充分性和鑒別規(guī)則的符合性等。測試過程信息安全性的測試過程應符合GB/T20271-2006中5.2.6的規(guī)定。兼容性共存性品造成負面影響。注：測試指標可包括當規(guī)定的其他軟件產(chǎn)品與該軟件產(chǎn)品共享環(huán)境，而不會對質(zhì)量特性或功能產(chǎn)生負面影響的比。互操作性兩個或多個軟件或組件應能夠交換信息并使用已交換的信息。注：測試指標可包括數(shù)據(jù)格式可交換性、數(shù)據(jù)交換協(xié)議充分性、外部接口充分性等。測試過程兼容性測試過程包括以下步驟：卸載、啟動、運行等操作，分別查看在終端上的運行情況；CPU數(shù)據(jù)要求GB/T36344-2018數(shù)據(jù)存儲量應符合面向大數(shù)據(jù)應用的就緒可用軟件產(chǎn)品測試用例的需求。測試數(shù)據(jù)應均衡分布在計算機集群的節(jié)點上。8測試環(huán)境硬件環(huán)境面向大數(shù)據(jù)應用的就緒可用軟件產(chǎn)品硬件測試環(huán)境應包括以下幾方面要求：應符合面向大數(shù)據(jù)應用的就緒可用軟件產(chǎn)品測試用例需求的分布式計算機節(jié)點集群；CPU可用軟件產(chǎn)品的數(shù)據(jù)存儲、計算和集群通訊等需求；CPU高性能的處理基礎。軟件環(huán)境面向大數(shù)據(jù)應用的就緒可用軟件產(chǎn)品軟件測試環(huán)境應包括以下幾方面要求：需求；應搭建面向大數(shù)據(jù)應用的就緒可用軟件產(chǎn)品測試用例需求的大數(shù)據(jù)處理框架，包括但不限于Hadoop、Spark測試文檔集要求目的測試文檔集的目的是證實軟件符合第6章、第7章的規(guī)定。一致性測試文檔集中的每個文檔所包含的信息應是正確的并且是可驗證的。測試文檔集中的每個文檔不應自相矛盾，并且不應與產(chǎn)品說明和用戶文檔集矛盾。內(nèi)容要求測試文檔集應包含以下幾個文檔：測試計劃；測試說明；測試結(jié)果(報告)。測試文檔集中的每個文檔，應包括以下幾方面內(nèi)容：標題；產(chǎn)品標識；修改歷史或說明該文檔演變的任何其他元素；目次或?qū)?nèi)容的說明；該文檔正文中引用的文檔的標識符；有關作者和審查者的信息；f)術語表。9方法6用戶文檔集中說明的所有功能，均應經(jīng)過至少一個測試用例的測試。測試用例應能驗證軟件與用戶文檔集中的陳述相符。應指明測試用例的設計方法。注：可能的設計方法有：邊界值分析、檢查表、數(shù)據(jù)流分析、故障插入、容量測試。安裝規(guī)程應經(jīng)過測試用例測試。在產(chǎn)品說明和用戶文檔集中指明的操作限制，均應經(jīng)過測試用例測試。對違法輸入應經(jīng)過測試用例測試。例。測試計劃要求通過-失敗準則測試計劃應明確用于判定測試結(jié)果是否符合要求的符合性準則。測試環(huán)境測試計劃應明確將要進行的測試所處的軟件測試環(huán)境。進度測試計劃應明確整個測試的進度。風險測試計劃應識別、更新和記錄測試活動中存在的風險，并提供應對措施。人力資源測試計劃中應明確測試活動所需的人力資源情況。工具和環(huán)境資源測試計劃中應明確測試活動所需的工具，必要的測試環(huán)境。測試說明要求測試用例說明對每個測試用例的說明應包括以下幾個方面：測試目標；唯一性標識符；測試的輸入數(shù)據(jù)和測試邊界；詳細實施步驟；系統(tǒng)的預期行為；測試用例的預期輸出；10結(jié)果判定準則；用于判定測試用例的肯定或否定結(jié)果的準則。測試規(guī)程測試規(guī)程應包括以下幾個步驟：測試準備；開始和執(zhí)行測試所必需的動作；記錄測試結(jié)果所必需的動作；停止和最終重啟動測試的條件和動作；在軟件被糾正之后,對于所涉及的功能和任何相關的功能,應有一種重新測試的規(guī)程。執(zhí)