高質(zhì)量數(shù)據(jù)集建設(shè)

———

———一、什么是高質(zhì)量數(shù)據(jù)集高質(zhì)量數(shù)據(jù)集定義

———經(jīng)過采集、加工等數(shù)據(jù)處理，可直接用于開發(fā)和訓(xùn)練人工智能模型，能有效提升模型性能的數(shù)據(jù)的集合。高質(zhì)量數(shù)據(jù)集定義高質(zhì)量數(shù)據(jù)集種類

———當(dāng)前高質(zhì)量數(shù)據(jù)集根據(jù)知識內(nèi)容、來源類型、時效性、標(biāo)注人員類型、敏感程度、模型類型、主題范圍等多個類型要素方面的特征不同可以分為通識數(shù)據(jù)集、行業(yè)通識數(shù)據(jù)集、行業(yè)專識數(shù)據(jù)集。分類要素及種類高質(zhì)量數(shù)據(jù)集分類要素分析

———數(shù)據(jù)集中數(shù)據(jù)所蘊含知識的專業(yè)性、知識深度和目標(biāo)受眾。知識內(nèi)容數(shù)據(jù)集中數(shù)據(jù)的獲取來源，如網(wǎng)絡(luò)資源、文獻類型、系統(tǒng)平臺、組織機構(gòu)等來源。來源類型數(shù)據(jù)集中數(shù)據(jù)的更新速度或有效期限。時效性對數(shù)據(jù)集中數(shù)據(jù)進行標(biāo)注或?qū)徍说娜藛T類型。標(biāo)注人員類型數(shù)據(jù)集中數(shù)據(jù)支持開發(fā)和訓(xùn)練人工智能模型的類型。模型類型數(shù)據(jù)集中數(shù)據(jù)公開后所產(chǎn)生的風(fēng)險程度。敏感程度數(shù)據(jù)集所涉及通用知識領(lǐng)域、行業(yè)領(lǐng)域、業(yè)務(wù)場景等的范圍。主題范圍

———不同類型數(shù)據(jù)集的類型特征

———二、高質(zhì)量數(shù)據(jù)集的分類方法高質(zhì)量數(shù)據(jù)集類型判定要素

———分析數(shù)據(jù)集在知識內(nèi)容、來源類型、時效性、標(biāo)注人員類型、敏感程度、模型類型、主題范圍等類型要素方面的特征，從而判定數(shù)據(jù)集的類型。

———（一）行業(yè)專識數(shù)據(jù)集判定方法經(jīng)綜合判定，在整體上符合以下特征，數(shù)據(jù)集可確定為行業(yè)專識數(shù)據(jù)集行業(yè)專識數(shù)據(jù)集的特征

———數(shù)據(jù)集中數(shù)據(jù)來源清晰，由組織機構(gòu)日常生產(chǎn)經(jīng)營生成和采集，主要來自組織機構(gòu)內(nèi)部的業(yè)務(wù)系統(tǒng)、管理平臺等系統(tǒng)平臺，或文檔圖紙等文獻。來源類型數(shù)據(jù)集中數(shù)據(jù)一般根據(jù)業(yè)務(wù)場景需求變化，滿足數(shù)據(jù)處理及時性要求，時效性較高。時效性數(shù)據(jù)集中數(shù)據(jù)所承載信息蘊含的知識聚焦于各行業(yè)領(lǐng)域組織機構(gòu)內(nèi)部的專業(yè)知識，以組織機構(gòu)自身業(yè)務(wù)中從研發(fā)、生產(chǎn)、管理、營銷和服務(wù)等環(huán)節(jié)產(chǎn)生和積累的知識為主，面向內(nèi)部業(yè)務(wù)人員，需要較深的專業(yè)背景和業(yè)務(wù)經(jīng)驗才能理解和運用。知識內(nèi)容行業(yè)專識數(shù)據(jù)集的特征

———數(shù)據(jù)集中數(shù)據(jù)的敏感程度較高，僅供內(nèi)部特定崗位人員使用，應(yīng)用前需要明確權(quán)限和授權(quán)；敏感程度若存在標(biāo)注人員類型，則數(shù)據(jù)集中數(shù)據(jù)通常由行業(yè)領(lǐng)域內(nèi)具備深厚專業(yè)知識、豐富實踐經(jīng)驗和高度權(quán)威性的專家標(biāo)注；標(biāo)注人員類型數(shù)據(jù)集主要用于支撐開展場景模型的開發(fā)和訓(xùn)練；模型類型數(shù)據(jù)集主要聚焦特定業(yè)務(wù)場景。主題范圍

———(二）行業(yè)通識數(shù)據(jù)集判定方法經(jīng)綜合判定，在整體上不符行業(yè)專識數(shù)據(jù)集中的特征，而符合以下特征，數(shù)據(jù)集可確定為行業(yè)通識數(shù)據(jù)集行業(yè)通識數(shù)據(jù)集的特征判定

———1數(shù)據(jù)集中數(shù)據(jù)所承載信息蘊含的知識聚焦于各行業(yè)領(lǐng)域的共性知識，以行業(yè)領(lǐng)域的基礎(chǔ)理論、通用技術(shù)、共性業(yè)務(wù)為主，面向行業(yè)領(lǐng)域的從業(yè)人員，需要一定的專業(yè)背景才能理解和運用。知識內(nèi)容特征4若存在標(biāo)注人員類型，則數(shù)據(jù)集中數(shù)據(jù)通常由行業(yè)領(lǐng)域內(nèi)具備一定學(xué)科背景或相關(guān)從業(yè)經(jīng)歷的人員標(biāo)注。標(biāo)注人員類型特征3數(shù)據(jù)集中數(shù)據(jù)一般根據(jù)行業(yè)發(fā)展和管理需求變化，相對比較穩(wěn)定。時效性特征2數(shù)據(jù)集中數(shù)據(jù)來源清晰，主要來自論文、報告、標(biāo)準(zhǔn)、專利、技術(shù)文檔、非綜合性書籍、官方文件等類型文獻，行業(yè)領(lǐng)域的主管部門、協(xié)會、科研機構(gòu)、企業(yè)、出版?zhèn)髅綑C構(gòu)等組織機構(gòu)，以及由合成數(shù)據(jù)技術(shù)生成。數(shù)據(jù)來源特征數(shù)據(jù)集中數(shù)據(jù)的敏感程度較低，不涉及國家秘密、工作秘密、商業(yè)秘密、個人敏感信息等。敏感程度特征數(shù)據(jù)集可以用于支撐開展行業(yè)模型的開發(fā)和訓(xùn)練。模型類型特征數(shù)據(jù)集主要聚焦于特定行業(yè)領(lǐng)域內(nèi)部。主題范圍特征567

———(三）通識數(shù)據(jù)集判定方法經(jīng)判定，在整體上不符合行業(yè)通識數(shù)據(jù)集中的特征，數(shù)據(jù)集可確定為通識數(shù)據(jù)集

———三、高質(zhì)量數(shù)據(jù)集如何建設(shè)（一）高質(zhì)量數(shù)據(jù)集建設(shè)的六個階段

———模型驗證數(shù)據(jù)標(biāo)注數(shù)據(jù)預(yù)處理數(shù)據(jù)采集數(shù)據(jù)規(guī)劃數(shù)據(jù)需求高質(zhì)量數(shù)據(jù)集建設(shè)應(yīng)按照生命周期有序展開，包括數(shù)據(jù)需求、數(shù)據(jù)規(guī)劃、數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)標(biāo)注、模型驗證等階段。高質(zhì)量數(shù)據(jù)集建設(shè)的數(shù)據(jù)需求階段

———該階段包括但不限于：a）確定數(shù)據(jù)集所需數(shù)據(jù)范圍、內(nèi)容等，即根據(jù)預(yù)期人工智能應(yīng)用，明確需要哪些具體數(shù)據(jù)，包括數(shù)據(jù)格式、統(tǒng)計特性和可分性等；b）檢查數(shù)據(jù)集所需要數(shù)據(jù)的可使用性，即確認(rèn)用于特定人工智能應(yīng)用的數(shù)據(jù)是否可獲取并使用；c）構(gòu)建數(shù)據(jù)集所需要的數(shù)據(jù)質(zhì)量模型，即實例化一個具有相關(guān)數(shù)據(jù)質(zhì)量特性（例如，完整性、準(zhǔn)確性、一致性等）的數(shù)據(jù)質(zhì)量模型。高質(zhì)量數(shù)據(jù)集的數(shù)據(jù)需求階段主要是確定人工智能應(yīng)用對數(shù)據(jù)的需求，即根據(jù)預(yù)期人工智能用途明確數(shù)據(jù)集在數(shù)據(jù)范圍、內(nèi)容、可用、質(zhì)量等方面的需求。高質(zhì)量數(shù)據(jù)集建設(shè)的數(shù)據(jù)規(guī)劃階段

———高質(zhì)量數(shù)據(jù)集的數(shù)據(jù)規(guī)劃階段主要是確保所用數(shù)據(jù)滿足數(shù)據(jù)需求階段的要求，同時為使用這些數(shù)據(jù)完成人工智能應(yīng)用的目標(biāo)提供支持。01設(shè)計數(shù)據(jù)架構(gòu)，即界定所需數(shù)據(jù)的全部屬性、來源、范圍等，以及如何使用這些數(shù)據(jù)；設(shè)計數(shù)據(jù)架構(gòu)03預(yù)計工作體量，即預(yù)估獲得和準(zhǔn)備數(shù)據(jù)以支持特定人工智能應(yīng)用所需的工作量，可能包括任何必要的數(shù)據(jù)重組、傳輸或收集的時間，以及為特定人工智能應(yīng)用構(gòu)建數(shù)據(jù)質(zhì)量模型的時間。預(yù)計工作體量02制定具體計劃，即制定涵蓋數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)標(biāo)注、模型驗證等階段的具體計劃，包括各階段實施計劃、數(shù)據(jù)質(zhì)量計劃等，以滿足數(shù)據(jù)規(guī)范等方面要求；制定具體計劃高質(zhì)量數(shù)據(jù)集建設(shè)的數(shù)據(jù)采集階段

———高質(zhì)量數(shù)據(jù)集的數(shù)據(jù)采集階段主要是收集用于特定人工智能應(yīng)用的數(shù)據(jù)，即從數(shù)據(jù)規(guī)劃階段所確定的數(shù)據(jù)源收集的實時和歷史數(shù)據(jù)。測試并在必要時改進數(shù)據(jù)收集方法，即如需收集新數(shù)據(jù)，則要測試數(shù)據(jù)收集方法，在必要時調(diào)整相關(guān)配置和參數(shù)設(shè)置、操作條件、傳感器規(guī)格和安裝位置等，以滿足相關(guān)數(shù)據(jù)收集規(guī)范要求。測試與改進數(shù)據(jù)收集方法測量并在必要時提升采集數(shù)據(jù)質(zhì)量，以降低采集階段數(shù)據(jù)質(zhì)量問題引入下游階段的風(fēng)險，避免為下游階段增加不必要的工作量。測量與提升采集數(shù)據(jù)質(zhì)量結(jié)合預(yù)期數(shù)據(jù)源確定數(shù)據(jù)采集方式，即根據(jù)所需數(shù)據(jù)是否已存在并可直接再利用、是否可轉(zhuǎn)化現(xiàn)有數(shù)據(jù)來滿足要求、是否可通過購買或許可獲得數(shù)據(jù)、是否可以生成數(shù)據(jù)、是否需要采集新數(shù)據(jù)等情況，確定是以獲取和組合現(xiàn)有數(shù)據(jù)集、生成數(shù)據(jù)（如模擬數(shù)據(jù)、合成數(shù)據(jù)等）、收集數(shù)據(jù)（如傳感器采集、手動輸入等）等之中何種方式采集數(shù)據(jù)。數(shù)據(jù)采集方式高質(zhì)量數(shù)據(jù)集建設(shè)的數(shù)據(jù)預(yù)處理階段

———將兩個或多個數(shù)據(jù)集以匯總的形式合并為一個數(shù)據(jù)集。數(shù)據(jù)聚合高質(zhì)量數(shù)據(jù)集的數(shù)據(jù)預(yù)處理階段主要是將所收集到的數(shù)據(jù)處理成可供數(shù)據(jù)標(biāo)注等后續(xù)階段使用的形式。數(shù)據(jù)預(yù)處理概述以最小的內(nèi)容損失，將數(shù)據(jù)從一種表示或空間轉(zhuǎn)換為另一種表示或空間。數(shù)據(jù)轉(zhuǎn)換根據(jù)驗證正確性、有意義、安全性、隱私性等數(shù)據(jù)質(zhì)量特性，確保數(shù)據(jù)是正確的。數(shù)據(jù)驗證從數(shù)據(jù)集中選擇數(shù)據(jù)，抽樣可以替換或非替換方式進行。數(shù)據(jù)抽樣鏈接各類數(shù)據(jù)源，并為數(shù)據(jù)增加額外的上下文語境。信息豐富使用可用特征的子集來降低數(shù)據(jù)的維數(shù)。特征選擇檢測錯誤數(shù)據(jù)或缺失數(shù)據(jù)，并通過替換、修改、輸入或刪除等方式修正數(shù)據(jù)。數(shù)據(jù)清洗創(chuàng)建比原始特征更能有效捕捉數(shù)據(jù)中主要信息的新特征。特征創(chuàng)建高質(zhì)量數(shù)據(jù)集建設(shè)的數(shù)據(jù)標(biāo)注階段

———a）明確數(shù)據(jù)標(biāo)注規(guī)程規(guī)范；b）確定所需的技能和資源，如標(biāo)注人員、工具、平臺等；c）對數(shù)據(jù)標(biāo)注過程進行監(jiān)和質(zhì)量管理。數(shù)據(jù)標(biāo)注階段包括高質(zhì)量數(shù)據(jù)集的數(shù)據(jù)標(biāo)注階段主要是針對有監(jiān)督機器學(xué)習(xí)，其訓(xùn)練、驗證和測試數(shù)據(jù)需要對單個或多個目標(biāo)變量賦值。高質(zhì)量數(shù)據(jù)集的數(shù)據(jù)標(biāo)注階段高質(zhì)量數(shù)據(jù)集建設(shè)的模型驗證

———高質(zhì)量數(shù)據(jù)集的模型驗證階段主要是將所準(zhǔn)備的數(shù)據(jù)用于人工智能模型開發(fā)和訓(xùn)練，對模型性能是否達到預(yù)期進行評估，以驗證數(shù)據(jù)集是否滿足要求。若模型性能達到預(yù)期，則表明數(shù)據(jù)集已滿足要求。模型驗證概述若模型性能未達到預(yù)期，則可采取以下步驟：a）對于人工智能模型，確定數(shù)據(jù)集相比于算法，是否為致使模型性能未達到預(yù)期的根本原因；b）對模型驗證階段所發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問題進行分析，將對模型性能產(chǎn)生不利影響的數(shù)據(jù)質(zhì)量問題反饋給上游階段，以改進相關(guān)階段的數(shù)據(jù)質(zhì)量；c）重復(fù)數(shù)據(jù)規(guī)劃、數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)標(biāo)注等階段以提升數(shù)據(jù)質(zhì)量；d）重建人工智能模型，對模型性能進行評估。模型性能未達預(yù)期的處理步驟（二）高質(zhì)量數(shù)據(jù)集的格式要求

———每個元數(shù)據(jù)用7個屬性描述，包括中文名稱、英文名稱、定義、數(shù)據(jù)類型、值域、數(shù)據(jù)填充要求、備注。其中，數(shù)據(jù)類型包括布爾值、字符串、數(shù)組、對象、空值等；對于值域，自由文本指用戶可以根據(jù)需要輸入自定義文本內(nèi)容；對于數(shù)據(jù)填充要求，“1”表示必須填寫，“0”表示可選填寫。元數(shù)據(jù)屬性數(shù)據(jù)集元數(shù)據(jù)

———數(shù)據(jù)集元數(shù)據(jù)包括數(shù)據(jù)標(biāo)識、關(guān)聯(lián)數(shù)據(jù)標(biāo)識、數(shù)據(jù)內(nèi)容、標(biāo)注信息、原始時間、最后修改時間、數(shù)據(jù)版本、授權(quán)類型、來源類型、來源詳情、合成數(shù)據(jù)標(biāo)志。數(shù)據(jù)集元數(shù)據(jù)組成數(shù)據(jù)集元數(shù)據(jù)

———數(shù)據(jù)標(biāo)識關(guān)聯(lián)數(shù)據(jù)標(biāo)識?數(shù)據(jù)內(nèi)容?標(biāo)注信息?原始時間?最后修改時間?數(shù)據(jù)版本?授權(quán)類型?來源類型??來源詳情?合成數(shù)據(jù)標(biāo)志中文名稱數(shù)據(jù)標(biāo)識關(guān)聯(lián)數(shù)據(jù)標(biāo)識數(shù)據(jù)內(nèi)容標(biāo)注信息原始時間最后修改時間數(shù)據(jù)版本授權(quán)類型來源類型來源詳情合成數(shù)據(jù)標(biāo)志英文名稱idriddata_contentannotationoriginal_timelast_modified_timeversionlicensesourcesource_detailssynthetic_data_indicator定義數(shù)據(jù)的唯一標(biāo)識與當(dāng)前數(shù)據(jù)存在明確關(guān)聯(lián)關(guān)系的其他數(shù)據(jù)的數(shù)據(jù)標(biāo)識的集合數(shù)據(jù)的具體內(nèi)容數(shù)據(jù)的標(biāo)注信息數(shù)據(jù)最初出現(xiàn)或創(chuàng)建的時間數(shù)據(jù)最后一次被修改或加工的時間數(shù)據(jù)的版本號數(shù)據(jù)的授權(quán)類型數(shù)據(jù)的來源類型來源類型的詳細(xì)說明數(shù)據(jù)是否為合成數(shù)據(jù)的標(biāo)志數(shù)據(jù)類型字符串?dāng)?shù)組數(shù)組對象字符串字符串字符串字符串字符串字符串布爾值值域自由文本自由文本采用數(shù)據(jù)內(nèi)容元數(shù)據(jù)中的規(guī)定采用標(biāo)注信息元數(shù)據(jù)規(guī)定采用GB/T7408.1-2023中的規(guī)定采用GB/T7408.1-2023中的規(guī)定采用《語義化版本》中的規(guī)定開源、公共授權(quán)、商業(yè)授權(quán)、僅內(nèi)部、其他互聯(lián)網(wǎng)、圖書、論文、報告、標(biāo)準(zhǔn)、專利、官方文件、組織機構(gòu)等自由文本0、1數(shù)據(jù)填充要求10101111111備注應(yīng)確保異源數(shù)據(jù)集不出現(xiàn)標(biāo)識重復(fù)問題。標(biāo)識可采用hash值（如7.2數(shù)據(jù)內(nèi)容的SHA-256值）

或UUID等無數(shù)據(jù)內(nèi)容可以是單條數(shù)據(jù)、同一模態(tài)的多條數(shù)據(jù)組合、或不同模態(tài)的多條數(shù)據(jù)組合無表示數(shù)據(jù)的原始創(chuàng)建或首次出現(xiàn)時間，而非采集時間如果數(shù)據(jù)未經(jīng)修改或加工，則與原始時間相同無無此處列舉的是常見來源類型，不在列舉范圍內(nèi)時可采用其他類型如互聯(lián)網(wǎng)URL、圖書ISBN、論文發(fā)表信息等具體內(nèi)容此處表示數(shù)據(jù)是否為合成數(shù)據(jù)數(shù)據(jù)內(nèi)容元數(shù)據(jù)

———中文名稱：模態(tài)類型英文名稱：media_type定義：數(shù)據(jù)的模態(tài)類型數(shù)據(jù)類型：數(shù)組值域：text、image、video、audio、point_cloud等數(shù)據(jù)填充要求：1備注：此處列舉的是數(shù)據(jù)的常見模態(tài)類型。當(dāng)數(shù)據(jù)的模態(tài)類型不在列舉范圍內(nèi)時，可采用符合實際的其他模態(tài)類型表示。①模態(tài)類型中文名稱：內(nèi)容英文名稱：content定義：數(shù)據(jù)的具體內(nèi)容數(shù)據(jù)類型：字符串值域：自由文本數(shù)據(jù)填充要求：1備注：文本數(shù)據(jù)可用數(shù)據(jù)本身表示（建議使用UTF-8編碼），圖像數(shù)據(jù)可用base64編碼或相對存儲路徑表示，其他類型數(shù)據(jù)可用相對存儲路徑表示②內(nèi)容標(biāo)注信息元數(shù)據(jù)

———中文名稱：標(biāo)注方式英文名稱：annotation\_method定義：數(shù)據(jù)標(biāo)注的方式數(shù)據(jù)類型：字符串值域：人工標(biāo)注、自動標(biāo)注、半自動標(biāo)注、其他數(shù)據(jù)填充要求：0備注：無。標(biāo)注方式中文名稱：標(biāo)注人員類型英文名稱：annotator定義：標(biāo)注數(shù)據(jù)的人員類型數(shù)據(jù)類型：字符串值域：眾包、普通標(biāo)注員、專業(yè)標(biāo)注員、行業(yè)領(lǐng)域?qū)＜?、其他?shù)據(jù)填充要求：0備注：無。標(biāo)注人員類型中文名稱：標(biāo)簽英文名稱：label定義：數(shù)據(jù)的標(biāo)簽數(shù)據(jù)類型：數(shù)組值域：自由文本數(shù)據(jù)填充要求：1備注：具體內(nèi)容根據(jù)數(shù)據(jù)集所針對的人工智能任務(wù)做進一步規(guī)定。若數(shù)據(jù)集的目標(biāo)人工智能任務(wù)為無監(jiān)督學(xué)習(xí)任務(wù)，數(shù)據(jù)填充要求為0。標(biāo)簽

———四、高質(zhì)量數(shù)據(jù)集質(zhì)量如何評測？高質(zhì)量數(shù)據(jù)集質(zhì)量評測維度

———應(yīng)用有效數(shù)據(jù)達標(biāo)文檔完整010302數(shù)據(jù)集質(zhì)量評測維度數(shù)據(jù)集中數(shù)據(jù)的質(zhì)量應(yīng)滿足人工智能模型開發(fā)和訓(xùn)練的基本要求；數(shù)據(jù)質(zhì)量要求數(shù)據(jù)集的說明文檔應(yīng)完整，包含基本信息、內(nèi)容特征、建設(shè)過程及應(yīng)用說明等；說明文檔要求數(shù)據(jù)集應(yīng)能有效支撐目標(biāo)場景人工智能模型的開發(fā)和訓(xùn)練。模型應(yīng)用要求說明文檔指標(biāo)要求

———數(shù)據(jù)集說明文檔應(yīng)包含模態(tài)類型、數(shù)據(jù)分布情況、標(biāo)簽類別統(tǒng)計、樣本示例、局限性說明等內(nèi)容特征；內(nèi)容特征完整性數(shù)據(jù)集說明文檔應(yīng)包含數(shù)據(jù)集規(guī)模、格式規(guī)范、文件結(jié)構(gòu)、訪問渠道、技術(shù)支持方式等基本信息；基本信息完整性數(shù)據(jù)集說明文檔應(yīng)包含數(shù)據(jù)來源、采集方法、加工處理流程、標(biāo)注規(guī)范、版本控制等建設(shè)過程；建設(shè)過程完整性數(shù)據(jù)集說明文檔應(yīng)包含使用許可、目標(biāo)應(yīng)用場景、評估方法、基準(zhǔn)測試結(jié)果、典型應(yīng)用案例等應(yīng)用說明。應(yīng)用說明完整性數(shù)據(jù)質(zhì)量指標(biāo)要求

———數(shù)據(jù)集中數(shù)據(jù)符合人工智能模型開發(fā)和訓(xùn)練的安全要求，應(yīng)不包含違反社會主義核心價值觀的內(nèi)容、歧