團(tuán)體標(biāo)準(zhǔn)T/CESAXXXX—2024人工智能數(shù)據(jù)集質(zhì)量評估要求Artificialintelligence-Datasetqualityevaluationrequirements202X-XX-XX發(fā)布202X-XX-XX實(shí)施中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會發(fā)布I 1GB/T25000.24-2017系統(tǒng)與軟件工程系統(tǒng)與軟件質(zhì)量要求與評價(jià)第2GB/T36344-2018信息技術(shù)ISO/IECDIS5259-2人工智能用于分析和機(jī)器學(xué)習(xí)的數(shù)據(jù)質(zhì)量第2部分：數(shù)據(jù)質(zhì)量測量2數(shù)據(jù)質(zhì)量度量元dataquali給定環(huán)境中，與一個(gè)實(shí)體相關(guān)聯(lián)的主題數(shù)據(jù)具有所有預(yù)期屬性的值4.1.1概述4.1.2完整性3A=數(shù)據(jù)集中數(shù)據(jù)有元數(shù)據(jù)信息的數(shù)據(jù)量獲取原始數(shù)據(jù)時(shí)，需要采集到各類別的數(shù)4.1.3準(zhǔn)確性A=滿足數(shù)據(jù)正確性要求的數(shù)據(jù)集中元A=滿足唯一性要求的數(shù)據(jù)集中元素的4數(shù)據(jù)集中的元素符合數(shù)據(jù)集設(shè)計(jì)的需A=數(shù)據(jù)集中的元素標(biāo)注正確的元素個(gè)數(shù)4.1.4現(xiàn)時(shí)性基于日期范圍內(nèi)的記錄數(shù)或頻率分布A=滿足有效性要求的數(shù)據(jù)集中元素的A=滿足及時(shí)性要求的數(shù)據(jù)集中元素個(gè)數(shù)數(shù)據(jù)集中同一實(shí)體的數(shù)據(jù)元素之間的A=滿足時(shí)序性要求的數(shù)據(jù)集中元素的數(shù)據(jù)集中各屬性類別的整體分類的偏在歷史過程中存在的對某些群體或事5記錄中的信息出現(xiàn)傾向性或不客觀的數(shù)據(jù)集在收集和處理過程中受到主觀4.1.6相關(guān)性數(shù)據(jù)集中與給定上下文相關(guān)的特征的A=數(shù)據(jù)集中被認(rèn)為與數(shù)據(jù)使用相關(guān)的數(shù)據(jù)集中與給定上下文相關(guān)的記錄的A=數(shù)據(jù)集中被認(rèn)為與數(shù)據(jù)使用相關(guān)的41819-2022《信息安全技術(shù)人臉識別數(shù)據(jù)安全要求》、GB/T41807-2022《信息安全技術(shù)聲紋識別數(shù)6A4.2.2代表性在樣本中發(fā)現(xiàn)的目標(biāo)屬性與總體數(shù)據(jù)4.2.3可審核性7數(shù)據(jù)集可審核性的評估要求見表9。4.3.1均衡性指標(biāo)準(zhǔn)數(shù)據(jù)集中每個(gè)變量在訓(xùn)練指標(biāo)準(zhǔn)數(shù)據(jù)集中每個(gè)變量在訓(xùn)練84.3.2有效性數(shù)據(jù)集中具有可接受特征的樣本的比A=分類樣本的數(shù)量低于閾值的類別的數(shù)據(jù)集中具有可接受標(biāo)簽的樣本的比9如支持多進(jìn)程數(shù)據(jù)讀取器，并根據(jù)實(shí)際情況智能調(diào)整數(shù)據(jù)加載方式，以提高數(shù)據(jù)讀取效率5.1概述數(shù)據(jù)集質(zhì)量評估流程包括評估準(zhǔn)備、評估執(zhí)行、結(jié)果確認(rèn)判定數(shù)據(jù)集質(zhì)量，編制評估報(bào)告開展質(zhì)量評估活動判定數(shù)據(jù)集質(zhì)量，編制評估報(bào)告開展質(zhì)量評估活動選取質(zhì)量維度及評價(jià)指標(biāo)確定質(zhì)量評估準(zhǔn)則b)通用要求為必選的評估項(xiàng)，訓(xùn)練數(shù)據(jù)集擴(kuò)展要求、測試數(shù)據(jù)集擴(kuò)展要求、數(shù)據(jù)集安全性、數(shù)據(jù)集情況或參考相似數(shù)據(jù)集在人工智能產(chǎn)品的質(zhì)量評估案例協(xié)商或獨(dú)立確定部分質(zhì)量評估要求需要達(dá)到b)數(shù)據(jù)集質(zhì)量評估工具宜提供數(shù)據(jù)集質(zhì)量評估自動化測試，用戶可以根據(jù)需要設(shè)置好評估參數(shù)后c)數(shù)據(jù)集質(zhì)量評估工具宜提供可視化的評估結(jié)果，用戶可以直觀了解到數(shù)據(jù)集的完整性、準(zhǔn)確性a)數(shù)據(jù)收集準(zhǔn)備的內(nèi)容包括現(xiàn)場確認(rèn)、工具有效性驗(yàn)證、不同質(zhì)量評估要求的評估方式的確認(rèn)、a)在數(shù)據(jù)采集階段，質(zhì)量評估要求的