團(tuán)體標(biāo)準(zhǔn)FORMTEXTT/CCPITCSCXXX—XXXX現(xiàn)代服務(wù)業(yè)發(fā)展水平評價數(shù)據(jù)采集Evaluationofthedevelopmentlevelofthemodernserviceindustry—DatacollectionFORMTEXT(點(diǎn)擊此處添加與國際標(biāo)準(zhǔn)一致性程度的標(biāo)識)征求意見稿FORMTEXT?????FORMDROPDOWNFORMTEXTXXXX-FORMTEXTXX-FORMTEXTXX發(fā)布FORMTEXTXXXX-FORMTEXTXX-FORMTEXTXX實(shí)施FORMTEXT中國國際貿(mào)易促進(jìn)委員會商業(yè)行業(yè)委員會??發(fā)布ICSFORMTEXT點(diǎn)擊此處添加ICS號CCSFORMTEXT點(diǎn)擊此處添加CCS號T/CCPITCSCXXX—XXXX目次TOC\t"標(biāo)準(zhǔn)文件_前言、引言標(biāo)題,1,標(biāo)準(zhǔn)文件_章標(biāo)題,1,標(biāo)準(zhǔn)文件_附錄標(biāo)識,1,標(biāo)準(zhǔn)文件_參考文獻(xiàn)標(biāo)題,1,標(biāo)準(zhǔn)文件_索引標(biāo)題,1,標(biāo)準(zhǔn)文件_一級條標(biāo)題,2"\h前言 II1范圍 12規(guī)范性引用文件 13術(shù)語和定義 14縮略語 25數(shù)據(jù)采集原則 26數(shù)據(jù)采集過程 26.1數(shù)據(jù)源確定 36.2數(shù)據(jù)獲取 36.3數(shù)據(jù)預(yù)處理 46.4數(shù)據(jù)存儲 46.5數(shù)據(jù)更新與維護(hù) 47數(shù)據(jù)采集內(nèi)容 58數(shù)據(jù)采集處理技術(shù) 58.1數(shù)據(jù)采集技術(shù) 58.2數(shù)據(jù)處理技術(shù) 69數(shù)據(jù)采集質(zhì)量控制 69.1采集過程質(zhì)量控制 69.2采集結(jié)果質(zhì)量評估 6

前言本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識別專利的責(zé)任。本文件由中國國際貿(mào)易促進(jìn)委員會商業(yè)行業(yè)委員會提出并歸口。本文件起草單位：西安交通大學(xué)，西安電子科技大學(xué)，中國科學(xué)院大學(xué)本文件主要起草人：現(xiàn)代服務(wù)業(yè)發(fā)展水平數(shù)據(jù)采集范圍本文件規(guī)定了現(xiàn)代服務(wù)業(yè)數(shù)據(jù)采集的全過程，包括數(shù)據(jù)源確定、數(shù)據(jù)獲取、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲、數(shù)據(jù)更新與維護(hù)等方面的要求。本文件適用于現(xiàn)代服務(wù)業(yè)相關(guān)機(jī)構(gòu)、研究部門等對現(xiàn)代服務(wù)業(yè)數(shù)據(jù)的采集工作，為后續(xù)現(xiàn)代服務(wù)業(yè)發(fā)展水平評價提供可靠的數(shù)據(jù)支持。規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T5271.1信息技術(shù)詞匯第1部分:基本術(shù)語術(shù)語和定義GB/T5271.1界定的以及下列術(shù)語和定義適用于本文件。

數(shù)據(jù)采集dataacquisition從數(shù)據(jù)源中得到原始數(shù)據(jù)，通過標(biāo)準(zhǔn)化處理并轉(zhuǎn)化為滿足數(shù)據(jù)共享與利用需求的過程。[來源：GB/T36625.3-2021，3.2]

現(xiàn)代服務(wù)業(yè)數(shù)據(jù)Modernserviceindustrydata反映現(xiàn)代服務(wù)業(yè)各個領(lǐng)域發(fā)展?fàn)顩r、企業(yè)經(jīng)營情況、市場需求與供給、技術(shù)創(chuàng)新等方面的各類數(shù)據(jù)，包括但不限于服務(wù)業(yè)企業(yè)的財務(wù)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、人力資源數(shù)據(jù)，以及相關(guān)政策法規(guī)數(shù)據(jù)、行業(yè)研究報告數(shù)據(jù)、消費(fèi)者行為數(shù)據(jù)等。數(shù)據(jù)預(yù)處理datapreprocessing對獲取的原始數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換、集成等操作，以提高數(shù)據(jù)的質(zhì)量和可用性，使其符合后續(xù)數(shù)據(jù)分析和存儲的要求。數(shù)據(jù)存儲datastorage選擇合適的存儲介質(zhì)和存儲結(jié)構(gòu)，將處理后的數(shù)據(jù)安全、高效地存儲起來，以便于后續(xù)的數(shù)據(jù)查詢、分析和維護(hù)?？s略語CSMAR_中國股票市場與會計研究數(shù)據(jù)庫（ChinaStockMarketAccountingResearchDatabase）NLP_自然語言處理（NaturalLanguageProcessing）VPN_虛擬專用網(wǎng)絡(luò)（VirtualPrivateNetwork）SQL_結(jié)構(gòu)化查詢語言（StructuredQueryLanguage）ETL_抽取、轉(zhuǎn)換、加載（Extract，Transform，Load）PKI_公鑰基礎(chǔ)設(shè)施（PublicKeyInfrastructure）CCES_聯(lián)合信用密鑰系統(tǒng)（CombinedCreditKeySystem）CPK_聯(lián)合公鑰（CombinedPublicKey）數(shù)據(jù)采集原則數(shù)據(jù)采集應(yīng)遵循以下原則：準(zhǔn)確性：采集的數(shù)據(jù)應(yīng)真實(shí)反映現(xiàn)代服務(wù)業(yè)的實(shí)際情況，避免數(shù)據(jù)錯誤、失實(shí)或偏差。完整性：盡可能全面地采集與現(xiàn)代服務(wù)業(yè)發(fā)展水平評價相關(guān)的各類數(shù)據(jù)，涵蓋不同的服務(wù)業(yè)領(lǐng)域、指標(biāo)維度和時間范圍。規(guī)范性：數(shù)據(jù)的格式、編碼、命名等應(yīng)符合相關(guān)標(biāo)準(zhǔn)和規(guī)范，便于數(shù)據(jù)的處理、存儲和分析。及時性：按照預(yù)定的采集周期和頻率，及時獲取最新的現(xiàn)代服務(wù)業(yè)數(shù)據(jù)，確保數(shù)據(jù)的時效性和對現(xiàn)代服務(wù)業(yè)發(fā)展動態(tài)的及時把握。安全性：在數(shù)據(jù)采集過程中，應(yīng)采取有效的安全措施，保護(hù)數(shù)據(jù)的保密性、完整性和可用性，防止數(shù)據(jù)泄露、篡改或丟失。數(shù)據(jù)采集過程概述數(shù)據(jù)采集過程涵蓋數(shù)據(jù)源確定、數(shù)據(jù)獲取、預(yù)處理、存儲以及更新與維護(hù)五個關(guān)鍵環(huán)節(jié)，各環(huán)節(jié)應(yīng)緊密銜接、協(xié)同運(yùn)作。數(shù)據(jù)源確定明確現(xiàn)代服務(wù)業(yè)數(shù)據(jù)采集的數(shù)據(jù)來源，主要包括：統(tǒng)計年鑒：如國家統(tǒng)計局發(fā)布的《中國統(tǒng)計年鑒》、各省市統(tǒng)計局出版的地方統(tǒng)計年鑒等，提供宏觀層面的現(xiàn)代服務(wù)業(yè)發(fā)展數(shù)據(jù)，如服務(wù)業(yè)增加值、企業(yè)數(shù)量、從業(yè)人員數(shù)等。CSMAR數(shù)據(jù)庫：涵蓋中國股票市場與會計研究的豐富數(shù)據(jù)，可獲取現(xiàn)代服務(wù)業(yè)上市公司的財務(wù)數(shù)據(jù)、公司治理結(jié)構(gòu)、高管信息等。政府門戶公告網(wǎng)站：各級政府的官方網(wǎng)站，發(fā)布現(xiàn)代服務(wù)業(yè)相關(guān)的政策法規(guī)、行業(yè)動態(tài)、項(xiàng)目審批公告、統(tǒng)計數(shù)據(jù)發(fā)布等信息。同花順數(shù)據(jù)庫：提供金融市場的數(shù)據(jù)服務(wù)，包括現(xiàn)代服務(wù)業(yè)企業(yè)的股票行情、財務(wù)報表、行業(yè)分析報告等數(shù)據(jù)。知網(wǎng)——中國專利數(shù)據(jù)庫：收錄大量的專利文獻(xiàn)，可獲取現(xiàn)代服務(wù)業(yè)企業(yè)或機(jī)構(gòu)的專利申請與授權(quán)數(shù)據(jù)，反映其技術(shù)創(chuàng)新能力。數(shù)據(jù)獲取根據(jù)確定的數(shù)據(jù)源，采用相應(yīng)的數(shù)據(jù)獲取方法：統(tǒng)計年鑒：通過購買紙質(zhì)版或訪問其電子版網(wǎng)站，按照年鑒的分類和檢索功能，查找并下載所需的現(xiàn)代服務(wù)業(yè)相關(guān)數(shù)據(jù)表格和報告。CSMAR數(shù)據(jù)庫：注冊并登錄CSMAR數(shù)據(jù)庫平臺，根據(jù)研究需求，選擇相應(yīng)的數(shù)據(jù)庫模塊，如公司財務(wù)數(shù)據(jù)庫、行業(yè)數(shù)據(jù)庫等，利用數(shù)據(jù)庫的檢索和篩選功能，獲取指定服務(wù)業(yè)企業(yè)的詳細(xì)數(shù)據(jù)。政府門戶公告網(wǎng)站：定期訪問各級政府的門戶網(wǎng)站，在公告欄、新聞發(fā)布會、政策解讀等欄目中查找現(xiàn)代服務(wù)業(yè)相關(guān)的政策文件、統(tǒng)計數(shù)據(jù)發(fā)布等信息，并進(jìn)行下載和整理。同花順數(shù)據(jù)庫：注冊同花順賬號，進(jìn)入其數(shù)據(jù)終端或網(wǎng)站，通過輸入服務(wù)業(yè)企業(yè)名稱、股票代碼等關(guān)鍵詞，獲取企業(yè)的財務(wù)數(shù)據(jù)、行情數(shù)據(jù)以及相關(guān)的行業(yè)分析報告等。知網(wǎng)——中國專利數(shù)據(jù)庫：訪問知網(wǎng)專利數(shù)據(jù)庫，以現(xiàn)代服務(wù)業(yè)企業(yè)名稱、技術(shù)關(guān)鍵詞等為檢索條件，查找并下載相關(guān)的專利文獻(xiàn)，提取其中的專利申請與授權(quán)信息。數(shù)據(jù)預(yù)處理對獲取的原始數(shù)據(jù)進(jìn)行預(yù)處理，以提高數(shù)據(jù)的質(zhì)量和可用性：數(shù)據(jù)清洗：去除重復(fù)數(shù)據(jù)、糾正錯誤數(shù)據(jù)、填補(bǔ)缺失數(shù)據(jù)等。例如，對于統(tǒng)計年鑒中可能存在的數(shù)據(jù)錄入錯誤，通過對比其他年份或同類型企業(yè)的數(shù)據(jù)進(jìn)行修正；對于同花順數(shù)據(jù)庫中缺失的部分財務(wù)指標(biāo)數(shù)據(jù)，采用插值法或均值法進(jìn)行填補(bǔ)。數(shù)據(jù)轉(zhuǎn)換：將不同格式、編碼的數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一的格式和編碼，便于后續(xù)的數(shù)據(jù)整合和分析。如將從不同數(shù)據(jù)源獲取的日期格式統(tǒng)一轉(zhuǎn)換為“YYYY-MM-DD”的標(biāo)準(zhǔn)格式；對文本數(shù)據(jù)進(jìn)行編碼轉(zhuǎn)換，確保字符集的一致性。數(shù)據(jù)集成：將來自不同數(shù)據(jù)源的現(xiàn)代服務(wù)業(yè)數(shù)據(jù)按照一定的規(guī)則進(jìn)行整合，形成一個完整的數(shù)據(jù)集。例如，將統(tǒng)計年鑒中的宏觀數(shù)據(jù)、CSMAR數(shù)據(jù)庫的企業(yè)財務(wù)數(shù)據(jù)、政府網(wǎng)站的政策數(shù)據(jù)等，按照服務(wù)業(yè)企業(yè)或行業(yè)類別進(jìn)行關(guān)聯(lián)和整合，構(gòu)建綜合的現(xiàn)代服務(wù)業(yè)數(shù)據(jù)庫。數(shù)據(jù)存儲選擇合適的存儲介質(zhì)和存儲結(jié)構(gòu)，安全、高效地存儲現(xiàn)代服務(wù)業(yè)數(shù)據(jù)：存儲介質(zhì)選擇：可采用硬盤存儲、固態(tài)存儲或云存儲等方式，根據(jù)數(shù)據(jù)量大小、訪問速度要求、數(shù)據(jù)安全性等因素進(jìn)行綜合考慮。對于大規(guī)模的現(xiàn)代服務(wù)業(yè)數(shù)據(jù)，云存儲具有高可擴(kuò)展性、高可用性和數(shù)據(jù)備份等優(yōu)勢，可作為主要的存儲介質(zhì)選擇。存儲結(jié)構(gòu)設(shè)計：根據(jù)現(xiàn)代服務(wù)業(yè)數(shù)據(jù)的特點(diǎn)和分析需求，設(shè)計合理的數(shù)據(jù)庫表結(jié)構(gòu)或數(shù)據(jù)倉庫模型。例如，按照服務(wù)業(yè)企業(yè)基本信息、財務(wù)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、政策數(shù)據(jù)等不同主題進(jìn)行數(shù)據(jù)表的劃分和設(shè)計，建立相應(yīng)的字段和數(shù)據(jù)類型，確保數(shù)據(jù)的存儲規(guī)范和查詢方便。數(shù)據(jù)備份與恢復(fù)：定期對存儲的現(xiàn)代服務(wù)業(yè)數(shù)據(jù)進(jìn)行備份，采用全量備份與增量備份相結(jié)合的方式，防止數(shù)據(jù)丟失或損壞。同時，制定數(shù)據(jù)恢復(fù)策略和應(yīng)急預(yù)案，在數(shù)據(jù)出現(xiàn)異常時能夠及時恢復(fù)數(shù)據(jù)，保障數(shù)據(jù)采集工作的連續(xù)性和數(shù)據(jù)的完整性。數(shù)據(jù)更新與維護(hù)為保持現(xiàn)代服務(wù)業(yè)數(shù)據(jù)的時效性和準(zhǔn)確性，建立數(shù)據(jù)更新與維護(hù)機(jī)制：數(shù)據(jù)更新機(jī)制：根據(jù)不同的數(shù)據(jù)源和數(shù)據(jù)類型，確定相應(yīng)的數(shù)據(jù)更新頻率。如統(tǒng)計年鑒每年更新一次，CSMAR數(shù)據(jù)庫和同花順數(shù)據(jù)庫可根據(jù)其數(shù)據(jù)更新周期進(jìn)行同步更新，政府門戶公告網(wǎng)站的數(shù)據(jù)則需要實(shí)時監(jiān)測并及時獲取最新的政策和動態(tài)信息。同時，建立數(shù)據(jù)更新提醒機(jī)制，確保在規(guī)定的時間內(nèi)完成數(shù)據(jù)的更新采集。數(shù)據(jù)質(zhì)量監(jiān)控：定期對存儲的現(xiàn)代服務(wù)業(yè)數(shù)據(jù)進(jìn)行質(zhì)量檢查，包括數(shù)據(jù)的準(zhǔn)確性、完整性、一致性等方面的評估。通過數(shù)據(jù)校驗(yàn)規(guī)則、數(shù)據(jù)質(zhì)量報告等方式，及時發(fā)現(xiàn)并糾正數(shù)據(jù)中存在的問題，如數(shù)據(jù)異常波動、數(shù)據(jù)缺失增多等情況，保證數(shù)據(jù)的可靠性和可用性。數(shù)據(jù)安全管理：在數(shù)據(jù)更新與維護(hù)過程中，持續(xù)加強(qiáng)數(shù)據(jù)安全防護(hù)。嚴(yán)格控制數(shù)據(jù)訪問權(quán)限，采用VPN、PKI、CCES、CPK等安全技術(shù)，防止未經(jīng)授權(quán)的訪問和數(shù)據(jù)泄露。同時，對數(shù)據(jù)更新操作進(jìn)行日志記錄，便于追溯和審計，確保數(shù)據(jù)更新過程的安全性和合規(guī)性。數(shù)據(jù)采集內(nèi)容現(xiàn)代服務(wù)業(yè)數(shù)據(jù)采集內(nèi)容應(yīng)全面且具有針對性，涵蓋多個重要領(lǐng)域以滿足發(fā)展水平評價需求：宏觀層面，采集國民經(jīng)濟(jì)核算體系中現(xiàn)代服務(wù)業(yè)的增加值、增長速度、產(chǎn)業(yè)結(jié)構(gòu)等數(shù)據(jù)，同時關(guān)注服務(wù)業(yè)就業(yè)人數(shù)、工資總額等勞動力市場相關(guān)數(shù)據(jù)，以反映現(xiàn)代服務(wù)業(yè)整體規(guī)模與貢獻(xiàn)；中觀層面，針對金融、物流、科技服務(wù)、信息技術(shù)、文化創(chuàng)意等主要現(xiàn)代服務(wù)行業(yè)，分別采集其行業(yè)特有的業(yè)務(wù)數(shù)據(jù)，如金融機(jī)構(gòu)存貸款規(guī)模、物流企業(yè)貨物周轉(zhuǎn)量、科技服務(wù)企業(yè)研發(fā)投入與產(chǎn)出等，以體現(xiàn)各行業(yè)的運(yùn)行特征與效率；微觀層面，收集現(xiàn)代服務(wù)業(yè)企業(yè)的基本信息，包括企業(yè)規(guī)模、所有制形式、成立年限等，以及企業(yè)的財務(wù)數(shù)據(jù)如資產(chǎn)負(fù)債率、利潤率等，還有企業(yè)的創(chuàng)新活動數(shù)據(jù)如專利申請數(shù)量、新產(chǎn)品銷售收入占比等，以評估企業(yè)的競爭力與創(chuàng)新能力；政策數(shù)據(jù)：此外還需采集相關(guān)政策法規(guī)數(shù)據(jù)，如國家和地方出臺的關(guān)于現(xiàn)代服務(wù)業(yè)發(fā)展的扶持政策、稅收優(yōu)惠政策、行業(yè)監(jiān)管政策等，以及這些政策的實(shí)施時間、覆蓋范圍與預(yù)期目標(biāo)等信息，以分析政策環(huán)境對現(xiàn)代服務(wù)業(yè)發(fā)展的影響。同時，收集行業(yè)組織與協(xié)會發(fā)布的標(biāo)準(zhǔn)、規(guī)范、自律準(zhǔn)則等，以了解現(xiàn)代服務(wù)業(yè)的行業(yè)自律與規(guī)范化發(fā)展情況。數(shù)據(jù)采集處理技術(shù)數(shù)據(jù)采集技術(shù)現(xiàn)代服務(wù)業(yè)數(shù)據(jù)采集技術(shù)需依據(jù)數(shù)據(jù)源特性與采集需求進(jìn)行合理選擇與應(yīng)用。網(wǎng)絡(luò)爬蟲技術(shù)用于從政府公告網(wǎng)站、行業(yè)報告網(wǎng)站等公開網(wǎng)頁獲取非結(jié)構(gòu)化數(shù)據(jù)，通過設(shè)計特定的爬蟲規(guī)則與解析算法，提取有用信息并存儲；對于統(tǒng)計年鑒等具有固定格式與分類體系的數(shù)據(jù)源，采用數(shù)據(jù)導(dǎo)入與ETL（Extract，Transform，Load）工具，在完成數(shù)據(jù)格式轉(zhuǎn)換與清洗后批量加載入庫。數(shù)據(jù)庫連接技術(shù)則用于對接CSMAR數(shù)據(jù)庫、同花順數(shù)據(jù)庫等結(jié)構(gòu)化數(shù)據(jù)源，運(yùn)用SQL語句精準(zhǔn)查詢并抽取所需的表數(shù)據(jù)，保障數(shù)據(jù)的完整性與準(zhǔn)確性。數(shù)據(jù)處理技術(shù)數(shù)據(jù)清洗環(huán)節(jié)，運(yùn)用去噪算法去除無關(guān)和重復(fù)數(shù)據(jù)，采用均值、中值或插值法填補(bǔ)缺失值，確保數(shù)據(jù)的準(zhǔn)確性和完整性；數(shù)據(jù)轉(zhuǎn)換方面，通過標(biāo)準(zhǔn)化、歸一化等方法統(tǒng)一數(shù)值尺度，利用編碼轉(zhuǎn)換消除字符集差異，使數(shù)據(jù)格式符合分析要求；數(shù)據(jù)集成時，借助關(guān)聯(lián)、合并等操作整合多源數(shù)據(jù)，運(yùn)用數(shù)據(jù)融合技術(shù)處理沖突信息，構(gòu)建全面且一致的數(shù)據(jù)集；數(shù)據(jù)分析環(huán)節(jié)，運(yùn)用統(tǒng)計分析挖掘數(shù)據(jù)分布特征與相關(guān)性，結(jié)合機(jī)器學(xué)習(xí)算法建立預(yù)測模型，為現(xiàn)代服務(wù)業(yè)發(fā)展水平評價提供深入洞察；此外在處理現(xiàn)代服務(wù)業(yè)相關(guān)的非結(jié)構(gòu)化數(shù)據(jù)時，尤其是政策文本數(shù)據(jù)，自然語言處理（NLP）的相關(guān)專利技術(shù)發(fā)揮著關(guān)鍵作用。通過NLP技術(shù)，對政策文本進(jìn)行深入分析與處理，提取其中的關(guān)鍵信息和指標(biāo)。借助共詞分析與語義網(wǎng)絡(luò)分析專利技術(shù)，從政策文本中提取政策一致性、政策響應(yīng)度等指標(biāo)，以量化評估政策之間的協(xié)調(diào)性以及輿論對政策的的響應(yīng)力度，應(yīng)用這些技術(shù)將非結(jié)構(gòu)化文本數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化、可量化分析的數(shù)據(jù)。數(shù)據(jù)采集質(zhì)量控制采集過程質(zhì)量控制在數(shù)據(jù)采集的各個環(huán)節(jié)，采取以下質(zhì)量控制措施：數(shù)據(jù)源審核：對確定的數(shù)據(jù)源進(jìn)行嚴(yán)格審核，評估其權(quán)威性、可靠性和數(shù)據(jù)質(zhì)量。例如，優(yōu)先選擇官方統(tǒng)計部門發(fā)布的統(tǒng)計年鑒、知名數(shù)據(jù)庫供應(yīng)商提供的CSMAR數(shù)據(jù)庫和同花順數(shù)據(jù)庫等，確保數(shù)據(jù)來源的可信度。數(shù)據(jù)獲取準(zhǔn)確性檢查：在獲取數(shù)據(jù)時，仔細(xì)核對數(shù)據(jù)的內(nèi)容、格式和來源信息，確保數(shù)據(jù)準(zhǔn)確無誤。如對比不同數(shù)據(jù)源之間的相同指標(biāo)數(shù)據(jù)，檢查是否存在較大差異；對于從