《生態(tài)環(huán)境大數(shù)據(jù)平臺數(shù)據(jù)接入技術(shù)規(guī)范》

（征求意見稿）

編制說明

一、任務(wù)來源

科技部為貫徹落實(shí)《關(guān)于加快推進(jìn)生態(tài)文明建設(shè)的意見》，按照

《關(guān)于深化中央財政科技計劃（專項(xiàng)、基金等）管理改革的方案》（國

發(fā)〔2014〕64號）要求，制定了國家重點(diǎn)研發(fā)計劃“場地土壤污染

成因與治理技術(shù)”重點(diǎn)專項(xiàng)實(shí)施方案，設(shè)立了《基于人工智能與區(qū)塊

鏈技術(shù)的生態(tài)環(huán)境新型治理體系研究與示范應(yīng)用》研究項(xiàng)目。北京市

生態(tài)環(huán)境監(jiān)測中心、北京環(huán)丁環(huán)保大數(shù)據(jù)研究院、清華大學(xué)等單位承

擔(dān)了這一項(xiàng)目。

數(shù)據(jù)接入是實(shí)現(xiàn)生態(tài)環(huán)境數(shù)據(jù)匯集的手段，是數(shù)據(jù)資源建設(shè)的基

礎(chǔ)環(huán)節(jié)，基礎(chǔ)不牢，就無法為基于數(shù)據(jù)的應(yīng)用提供穩(wěn)定可靠的數(shù)據(jù)服

務(wù)，不能充分發(fā)揮出數(shù)據(jù)的價值。不論業(yè)務(wù)數(shù)據(jù)接入各級信息中心還

是各個業(yè)務(wù)部門之間的相互數(shù)據(jù)交換，都存在數(shù)據(jù)接入的問題。要實(shí)

現(xiàn)不同所有者、不同權(quán)限要求、不同認(rèn)證方式、不同業(yè)務(wù)類型、不同

物理接口或介質(zhì)、不同軟件協(xié)議、不同數(shù)據(jù)庫結(jié)構(gòu)等多源多態(tài)數(shù)據(jù)的

接入，保證數(shù)據(jù)接入過程的安全性、可靠性、穩(wěn)定性和完整性，需要

對數(shù)據(jù)接入的技術(shù)要求、流程、接口定義、接入數(shù)據(jù)質(zhì)量等幾個方面

進(jìn)行規(guī)范化和標(biāo)準(zhǔn)化。要充分發(fā)揮大數(shù)據(jù)技術(shù)在環(huán)境監(jiān)測中的作用，

實(shí)現(xiàn)智能、精準(zhǔn)的環(huán)境監(jiān)測監(jiān)管，也需要建設(shè)相應(yīng)的生態(tài)環(huán)境監(jiān)測數(shù)

據(jù)接入平臺，制定相關(guān)數(shù)據(jù)接入標(biāo)準(zhǔn)規(guī)范，從各監(jiān)測業(yè)務(wù)平臺、外部

1

單位、社會互聯(lián)網(wǎng)等獲取豐富的數(shù)據(jù)源。

中華環(huán)保聯(lián)合會積極響應(yīng)國家號召，針對生態(tài)環(huán)境大數(shù)據(jù)接入技

術(shù)規(guī)范的現(xiàn)實(shí)需求，聯(lián)合北京環(huán)丁環(huán)保大數(shù)據(jù)研究院、北京市生態(tài)

環(huán)境監(jiān)測中心、北京微芯區(qū)塊鏈與邊緣計算研究院、聯(lián)通數(shù)字科技

有限公司等多家科研機(jī)構(gòu)及企業(yè)，共同承擔(dān)了《生態(tài)環(huán)境大數(shù)據(jù)平

臺數(shù)據(jù)接入技術(shù)規(guī)范》團(tuán)體標(biāo)準(zhǔn)的編制任務(wù)。

二、目的、意義、必要性

1．目的

《生態(tài)環(huán)境大數(shù)據(jù)平臺數(shù)據(jù)接入技術(shù)規(guī)范》旨在通過明確數(shù)據(jù)接

入的范圍、方式、質(zhì)量管理、安全管理等方面的要求，為生態(tài)環(huán)境大

數(shù)據(jù)平臺的數(shù)據(jù)采集、存儲、處理和應(yīng)用提供一套科學(xué)、規(guī)范的技術(shù)

指導(dǎo)。具體而言，該標(biāo)準(zhǔn)旨在解決數(shù)據(jù)接入過程中的異構(gòu)性、不一致

性、安全性等問題，確保數(shù)據(jù)的有效整合與高效利用。

2．意義

促進(jìn)數(shù)據(jù)共享與整合：在當(dāng)前分部門、分領(lǐng)域的環(huán)境治理體系下，

數(shù)據(jù)孤島現(xiàn)象普遍存在。通過制定統(tǒng)一的數(shù)據(jù)接入標(biāo)準(zhǔn)，可以打破部

門壁壘，實(shí)現(xiàn)跨部門、跨領(lǐng)域的數(shù)據(jù)共享與整合，為綜合環(huán)境治理提

供全面的數(shù)據(jù)支持。

提升數(shù)據(jù)質(zhì)量：數(shù)據(jù)質(zhì)量是環(huán)境治理決策的基礎(chǔ)。通過明確數(shù)據(jù)

接入的質(zhì)量要求和技術(shù)規(guī)范，可以確保接入數(shù)據(jù)的準(zhǔn)確性、完整性、

時效性和一致性，為科學(xué)決策提供可靠依據(jù)。

加強(qiáng)數(shù)據(jù)安全與隱私保護(hù)：生態(tài)環(huán)境數(shù)據(jù)涉及國家安全和公眾隱

2

私，其安全性不容忽視。通過引入?yún)^(qū)塊鏈等先進(jìn)技術(shù)，構(gòu)建安全可信

的數(shù)據(jù)接入與共享機(jī)制，可以有效保障數(shù)據(jù)在傳輸、存儲、共享過程

中的安全性和隱私性。

3．必要性

在生態(tài)環(huán)境保護(hù)領(lǐng)域，大數(shù)據(jù)技術(shù)的應(yīng)用日益廣泛，為科學(xué)決策、

精準(zhǔn)施策提供了有力支持。然而，生態(tài)環(huán)境數(shù)據(jù)的多源異構(gòu)性給數(shù)據(jù)

整合、處理和分析帶來了巨大挑戰(zhàn)。為了有效應(yīng)對這一挑戰(zhàn)，制定“生

態(tài)環(huán)境大數(shù)據(jù)平臺數(shù)據(jù)接入規(guī)范”顯得尤為必要：

（1）確保數(shù)據(jù)的一致性與可比性

生態(tài)環(huán)境數(shù)據(jù)來源于眾多不同的系統(tǒng)和設(shè)備，其數(shù)據(jù)格式、數(shù)據(jù)

結(jié)構(gòu)和數(shù)據(jù)質(zhì)量千差萬別。這種多源異構(gòu)性導(dǎo)致數(shù)據(jù)在接入平臺時容

易出現(xiàn)不一致性和不可比性，嚴(yán)重影響后續(xù)的數(shù)據(jù)處理和分析結(jié)果。

制定數(shù)據(jù)接入規(guī)范，可以明確數(shù)據(jù)接入的統(tǒng)一標(biāo)準(zhǔn)和格式，確保所有

接入平臺的數(shù)據(jù)都遵循相同的規(guī)則，從而提高數(shù)據(jù)的一致性和可比性。

這不僅有助于提升數(shù)據(jù)處理的效率，還能為科學(xué)研究和政策制定提供

更加準(zhǔn)確、可靠的數(shù)據(jù)支持。

（2）提升數(shù)據(jù)質(zhì)量與可信度

數(shù)據(jù)質(zhì)量是生態(tài)環(huán)境大數(shù)據(jù)平臺運(yùn)行效果的關(guān)鍵。低質(zhì)量的數(shù)據(jù)

不僅無法提供有價值的信息，還可能誤導(dǎo)決策，造成不良后果。制定

數(shù)據(jù)接入規(guī)范，可以設(shè)定嚴(yán)格的數(shù)據(jù)質(zhì)量檢查標(biāo)準(zhǔn)和流程，要求數(shù)據(jù)

提供者在接入數(shù)據(jù)前進(jìn)行必要的數(shù)據(jù)清洗、校驗(yàn)和修正。這些措施能

夠有效提升接入平臺的數(shù)據(jù)質(zhì)量，降低數(shù)據(jù)中的錯誤和異常，提高數(shù)

3

據(jù)的可信度和應(yīng)用價值。

（3）促進(jìn)數(shù)據(jù)共享與協(xié)作

生態(tài)環(huán)境保護(hù)是一項(xiàng)復(fù)雜的系統(tǒng)工程，需要多部門、多領(lǐng)域的共

同參與和協(xié)作。數(shù)據(jù)共享是實(shí)現(xiàn)協(xié)同治理的重要基礎(chǔ)。然而，由于數(shù)

據(jù)格式、接口標(biāo)準(zhǔn)不統(tǒng)一等問題，數(shù)據(jù)共享往往面臨諸多障礙。制定

數(shù)據(jù)接入規(guī)范，可以為數(shù)據(jù)共享提供統(tǒng)一的標(biāo)準(zhǔn)和接口，降低數(shù)據(jù)交

換的難度和成本。這有助于打破信息孤島，促進(jìn)生態(tài)環(huán)境數(shù)據(jù)的互聯(lián)

互通和共享利用，為跨部門、跨領(lǐng)域的協(xié)作提供有力支持。

（4）推動平臺建設(shè)與標(biāo)準(zhǔn)化發(fā)展

生態(tài)環(huán)境大數(shù)據(jù)平臺的建設(shè)是一個長期而復(fù)雜的過程，需要不斷

完善和優(yōu)化。制定數(shù)據(jù)接入規(guī)范，可以為平臺的建設(shè)提供明確的方向

和指導(dǎo)，推動平臺向標(biāo)準(zhǔn)化、規(guī)范化方向發(fā)展。這有助于提升平臺的

整體性能和穩(wěn)定性，降低運(yùn)維成本和維護(hù)難度。同時，標(biāo)準(zhǔn)化的數(shù)據(jù)

接入規(guī)范還有助于吸引更多的數(shù)據(jù)提供者和使用者參與到平臺建設(shè)

中來，形成良性發(fā)展的生態(tài)系統(tǒng)。

綜上所述，制定“生態(tài)環(huán)境大數(shù)據(jù)平臺數(shù)據(jù)接入規(guī)范”是確保數(shù)

據(jù)一致性與可比性、提升數(shù)據(jù)質(zhì)量與可信度、促進(jìn)數(shù)據(jù)共享與協(xié)作以

及推動平臺建設(shè)與標(biāo)準(zhǔn)化發(fā)展的必然要求。該標(biāo)準(zhǔn)的制定將為生態(tài)環(huán)

境大數(shù)據(jù)平臺的建設(shè)和運(yùn)行提供有力保障，為生態(tài)環(huán)境保護(hù)事業(yè)注入

新的活力。

三、主要工作過程及標(biāo)準(zhǔn)編制技術(shù)路線

1．主要工作過程

4

本標(biāo)準(zhǔn)由北京環(huán)丁環(huán)保大數(shù)據(jù)研究院牽頭組織編制，并聯(lián)合了北

京市生態(tài)環(huán)境監(jiān)測中心、北京微芯區(qū)塊鏈與邊緣計算研究院、聯(lián)通數(shù)

字科技有限公司等多家單位共同參與。編制工作自啟動以來，經(jīng)歷了

以下幾個關(guān)鍵階段：

前期調(diào)研：編制組對國內(nèi)外相關(guān)標(biāo)準(zhǔn)、技術(shù)規(guī)范、政策法規(guī)進(jìn)行

了廣泛調(diào)研，收集了大量的背景資料和技術(shù)參考。

框架設(shè)計：在充分調(diào)研的基礎(chǔ)上，編制組確定了標(biāo)準(zhǔn)的總體框架

和主要內(nèi)容，包括接入范圍、接入方式、接入質(zhì)量管理、接入安全管

理等核心章節(jié)。

草案編制：根據(jù)框架設(shè)計，編制組分工協(xié)作，完成了標(biāo)準(zhǔn)草案的

初稿編寫工作。初稿內(nèi)容涵蓋了標(biāo)準(zhǔn)的適用范圍、規(guī)范性引用文件、

術(shù)語和定義、接入范圍、接入方式、接入質(zhì)量管理、接入安全管理等

各個方面。

內(nèi)部評審：初稿完成后，編制組內(nèi)部進(jìn)行了多次評審會議，對草

案內(nèi)容進(jìn)行了逐條討論和修改完善。同時，還邀請了相關(guān)領(lǐng)域的專家

進(jìn)行內(nèi)部咨詢和指導(dǎo)。

召開立項(xiàng)會：2024年6月5日，標(biāo)準(zhǔn)立項(xiàng)會召開。與會專家通

過質(zhì)詢和討論，評估了擬立項(xiàng)標(biāo)準(zhǔn)的必要性和可行性，一致認(rèn)為該項(xiàng)

目符合立項(xiàng)條件。

5

2．標(biāo)準(zhǔn)編制技術(shù)路線

四、國內(nèi)外相關(guān)標(biāo)準(zhǔn)研究

1．國內(nèi)同類標(biāo)準(zhǔn)狀況

在我國，隨著大數(shù)據(jù)技術(shù)的快速發(fā)展和廣泛應(yīng)用，生態(tài)環(huán)境大數(shù)

6

據(jù)平臺的建設(shè)和運(yùn)營日益受到重視。為了規(guī)范平臺的數(shù)據(jù)接入過程和

提高數(shù)據(jù)質(zhì)量水平，國內(nèi)已經(jīng)出臺了一系列相關(guān)標(biāo)準(zhǔn)和技術(shù)規(guī)范。例

如DB15/T1873-2020《大數(shù)據(jù)平臺數(shù)據(jù)接入質(zhì)量規(guī)范》、DB35/T

1893-2020《生態(tài)環(huán)境大數(shù)據(jù)管理平臺接口規(guī)范》等地方標(biāo)準(zhǔn)以及

DB31/T1240.2-2020《平臺接入技術(shù)要求》等行業(yè)標(biāo)準(zhǔn)均為生態(tài)環(huán)境

大數(shù)據(jù)平臺的數(shù)據(jù)接入提供了技術(shù)指導(dǎo)和規(guī)范依據(jù)。這些標(biāo)準(zhǔn)在數(shù)據(jù)

類型定義、接口設(shè)計原則、數(shù)據(jù)質(zhì)量評估等方面均有所涉及但各有側(cè)

重。相比之下，《生態(tài)環(huán)境大數(shù)據(jù)平臺數(shù)據(jù)接入技術(shù)規(guī)范》在綜合考

慮國內(nèi)外先進(jìn)經(jīng)驗(yàn)和實(shí)際需求的基礎(chǔ)上更加注重全面性和系統(tǒng)性，旨

在為我國生態(tài)環(huán)境大數(shù)據(jù)平臺的數(shù)據(jù)接入提供一套完整、科學(xué)的解決

方案。

2．國際同類標(biāo)準(zhǔn)狀況

在國際上，大數(shù)據(jù)技術(shù)在生態(tài)環(huán)境治理中的應(yīng)用也日益廣泛且深

入。雖然直接針對生態(tài)環(huán)境大數(shù)據(jù)平臺數(shù)據(jù)接入的技術(shù)規(guī)范相對較少

但大數(shù)據(jù)技術(shù)在各行業(yè)領(lǐng)域的數(shù)據(jù)接入和管理方面已經(jīng)形成了較為

成熟的標(biāo)準(zhǔn)體系和實(shí)踐經(jīng)驗(yàn)。例如ISO/IEC等國際標(biāo)準(zhǔn)化組織以及各

國標(biāo)準(zhǔn)化機(jī)構(gòu)均發(fā)布了大量與大數(shù)據(jù)處理和分析相關(guān)的國際標(biāo)準(zhǔn)和

技術(shù)規(guī)范這些標(biāo)準(zhǔn)在數(shù)據(jù)格式、接口協(xié)議、安全保護(hù)等方面提供了有

益的借鑒和參考。如2020年國際電工委員會發(fā)布的Internetof

Things(IoT)—DataexchangeplatformforIoTservices—Part

1:Generalrequirementsandarchitecture（ISO/IEC

30161-1:2020）。標(biāo)準(zhǔn)為了建立一個共同的平臺，以支持日益多樣化

7

的IoT用例和應(yīng)用程序，規(guī)定了物聯(lián)網(wǎng)(IoT)數(shù)據(jù)交換平臺(DEP)的一

般要求和架構(gòu),該平臺支持各種IoT服務(wù)與傳統(tǒng)服務(wù)的共存和高效部

署。IoTDEP提供中間件組件，以促進(jìn)IoT和傳統(tǒng)服務(wù)之間的通信，

并支持不同IoT服務(wù)之間的數(shù)據(jù)交換。然而需要注意的是由于國內(nèi)外

在生態(tài)環(huán)境治理體系、政策法規(guī)、技術(shù)環(huán)境等方面存在差異因此國際

標(biāo)準(zhǔn)的直接應(yīng)用可能存在一定的局限性和挑戰(zhàn)。《生態(tài)環(huán)境大數(shù)據(jù)平

臺數(shù)據(jù)接入技術(shù)規(guī)范》在編制過程中充分借鑒了國際先進(jìn)經(jīng)驗(yàn)并結(jié)合

我國實(shí)際情況進(jìn)行了適當(dāng)?shù)膭?chuàng)新和調(diào)整以確保標(biāo)準(zhǔn)的適用性和有效

性。

五、主要技術(shù)內(nèi)容及說明

1．標(biāo)準(zhǔn)框架

本標(biāo)準(zhǔn)主要包括適用范圍、規(guī)范性引用文件、術(shù)語和定義、接入

范圍、接入方式、接入質(zhì)量管理、接入安全管理等方面內(nèi)容。

（1）適用范圍：概述了本標(biāo)準(zhǔn)的編制內(nèi)容和適用范圍。

（2）規(guī)范性引用文件：介紹了本標(biāo)準(zhǔn)中引用的相關(guān)標(biāo)準(zhǔn)文件。

（3）術(shù)語和定義：規(guī)定了標(biāo)準(zhǔn)中的相關(guān)術(shù)語。

（4）接入范圍：規(guī)定了智能質(zhì)控生態(tài)環(huán)境物聯(lián)網(wǎng)設(shè)備可以接入

的各類數(shù)據(jù)資源的范圍，包括生態(tài)環(huán)境基礎(chǔ)信息、主題域數(shù)據(jù)、行業(yè)

相關(guān)數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)。

（5）接入方式：規(guī)定了智能質(zhì)控生態(tài)環(huán)境物聯(lián)網(wǎng)設(shè)備接入生態(tài)

環(huán)境大數(shù)據(jù)平臺的多種方式，包括關(guān)系數(shù)據(jù)庫抽取、數(shù)據(jù)網(wǎng)關(guān)、文件

接收與拉取FTP服務(wù)、消息隊(duì)列、文件HTTP服務(wù)、文件NFS服務(wù)，

8

以及區(qū)塊鏈數(shù)據(jù)服務(wù)等，確保數(shù)據(jù)的完整性、傳輸?shù)陌踩砸约岸喾N

接入方式的兼容性。

（6）接入質(zhì)量：規(guī)定了數(shù)據(jù)質(zhì)量評價維度、數(shù)據(jù)接入質(zhì)量技術(shù)

要求和數(shù)據(jù)質(zhì)量評分方法。

（7）接入安全：規(guī)定了身份認(rèn)證、數(shù)據(jù)傳輸和數(shù)據(jù)共享需基于

區(qū)塊鏈技術(shù)，以確保安全性。

2．適用范圍

本標(biāo)準(zhǔn)規(guī)定了生態(tài)環(huán)境大數(shù)據(jù)平臺的接入范圍、接入方式、接入

質(zhì)量管理、接入安全管理。

本標(biāo)準(zhǔn)適用于生態(tài)環(huán)境大數(shù)據(jù)平臺開發(fā)單位進(jìn)行數(shù)據(jù)采集服務(wù)

功能研發(fā)、數(shù)據(jù)采集工具選型及其他數(shù)據(jù)接入場景提供規(guī)范要求。

3．術(shù)語和定義

本部分為執(zhí)行本標(biāo)準(zhǔn)制定的專門術(shù)語和對容易引起歧義的名詞

進(jìn)行的定義。

（1）大數(shù)據(jù)bigdata

具有體量巨大、來源多樣、流動高速、形態(tài)多變等特征，并難以

用傳統(tǒng)數(shù)據(jù)體系結(jié)構(gòu)有效處理的數(shù)據(jù)集。

（2）數(shù)據(jù)接口datainterface

預(yù)先定義的為應(yīng)用程序提供實(shí)現(xiàn)數(shù)據(jù)訪問、數(shù)據(jù)處理和數(shù)據(jù)服務(wù)

等功能的協(xié)議、程序、函數(shù)或過程。

（3）結(jié)構(gòu)化數(shù)據(jù)structureddata

數(shù)據(jù)結(jié)構(gòu)固定，能夠用統(tǒng)一的結(jié)構(gòu)表示的數(shù)據(jù)。本規(guī)范指存儲于

9

業(yè)務(wù)系統(tǒng)關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)。

（4）非結(jié)構(gòu)化數(shù)據(jù)unstructureddata

數(shù)據(jù)結(jié)構(gòu)不固定，且不能夠用統(tǒng)一的結(jié)構(gòu)表示的數(shù)據(jù)。包括所有

格式的辦公文檔、文本、圖片、XML、HTML、各類報表、圖像、音頻

和視頻信息等數(shù)據(jù)。

4．接入范圍

接入范圍主要依據(jù)生態(tài)環(huán)境大數(shù)據(jù)平臺的實(shí)際需求來確定，旨在

明確哪些數(shù)據(jù)應(yīng)當(dāng)被納入平臺進(jìn)行管理和分析。

本部分編寫內(nèi)容參考了多個標(biāo)準(zhǔn)文件，如HJ719-2014、HJ

721-2014、HJ727-2014、DB15/T1873-2020等，以及實(shí)際業(yè)務(wù)需求，

來界定數(shù)據(jù)接入的范圍。

生態(tài)環(huán)境大數(shù)據(jù)平臺的數(shù)據(jù)接入范圍旨在支持全面的環(huán)境數(shù)據(jù)

整合與分析，為環(huán)境監(jiān)測和管理提供堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)。生態(tài)環(huán)境基礎(chǔ)

信息資源包括環(huán)境質(zhì)量、污染源、環(huán)境管理及其他四個一級類目。在

環(huán)境質(zhì)量方面，涵蓋水環(huán)境質(zhì)量、大氣環(huán)境質(zhì)量、土壤環(huán)境質(zhì)量、自

然生態(tài)環(huán)境質(zhì)量、噪聲環(huán)境質(zhì)量和海洋生態(tài)環(huán)境質(zhì)量等。污染源方面

包括廢水、廢氣、固體廢物、重金屬、揮發(fā)性有機(jī)物等多種類型，以

及環(huán)境應(yīng)急風(fēng)險源和交通運(yùn)輸污染源等。環(huán)境管理領(lǐng)域則涉及污染物

排放控制、生態(tài)保護(hù)、氣候變化應(yīng)對、固體廢物與化學(xué)品管理、環(huán)境

安全應(yīng)急管理、環(huán)境行政許可、環(huán)境監(jiān)測及環(huán)境保護(hù)督察等方面。其

他類目包括環(huán)境行政辦公、綜合管理、科技、政策法規(guī)、標(biāo)準(zhǔn)規(guī)范等。

主題域數(shù)據(jù)資源涵蓋了水環(huán)境、大氣環(huán)境、土壤環(huán)境、海洋生態(tài)

10

環(huán)境、自然生態(tài)、固廢與?；?、核與輻射、噪聲、氣候變化應(yīng)對、

行政許可、生態(tài)環(huán)境監(jiān)測、環(huán)境督察、環(huán)境執(zhí)法、環(huán)境統(tǒng)計、環(huán)境應(yīng)

急、環(huán)境輿情管理等領(lǐng)域。這些數(shù)據(jù)支持平臺對生態(tài)環(huán)境的多維度分

析與監(jiān)控。

行業(yè)相關(guān)數(shù)據(jù)資源則包括來自其他管理部門的數(shù)據(jù)，例如住房和

城鄉(xiāng)建設(shè)部門提供的工地和污水處理廠數(shù)據(jù)、公安部門的機(jī)動車數(shù)據(jù)、

發(fā)展和改革部門的燃煤數(shù)據(jù)及項(xiàng)目建設(shè)數(shù)據(jù)、水利部門的水文數(shù)據(jù)、

自然資源部門的地下水和礦權(quán)數(shù)據(jù)、農(nóng)業(yè)農(nóng)村部門的土壤數(shù)據(jù)、氣象

部門的大氣數(shù)據(jù)、海洋部門的功能區(qū)劃和入海水源數(shù)據(jù)等，這些數(shù)據(jù)

幫助實(shí)現(xiàn)跨部門環(huán)境信息的整合。

互聯(lián)網(wǎng)數(shù)據(jù)資源包括來自生態(tài)環(huán)境相關(guān)的各種網(wǎng)絡(luò)數(shù)據(jù)，如政府

網(wǎng)站、系統(tǒng)網(wǎng)站、媒體網(wǎng)站、科技期刊、社交媒體等，為平臺提供了

廣泛的網(wǎng)絡(luò)信息支持。

5．接入方式

接入方式部分內(nèi)容的確定主要基于生態(tài)環(huán)境大數(shù)據(jù)平臺的技術(shù)

架構(gòu)、數(shù)據(jù)源的多樣性以及數(shù)據(jù)處理的需求。

本部分內(nèi)容參考了諸如GB/T35274-2017、GB/T36345-2018等

標(biāo)準(zhǔn)文件，同時考慮了實(shí)際應(yīng)用場景和技術(shù)可行性。

（1）關(guān)系型數(shù)據(jù)庫抽取

在生態(tài)環(huán)境大數(shù)據(jù)平臺的數(shù)據(jù)接入方式中，關(guān)系型數(shù)據(jù)庫抽取的

核心技術(shù)內(nèi)容涉及到多個關(guān)鍵功能和操作要求。關(guān)系型數(shù)據(jù)庫抽取的

主要目的是將數(shù)據(jù)從關(guān)系型數(shù)據(jù)庫遷移到大數(shù)據(jù)平臺，確保數(shù)據(jù)的完

11

整性和可用性。系統(tǒng)必須支持對主流關(guān)系型數(shù)據(jù)庫進(jìn)行數(shù)據(jù)提取，包

括數(shù)值型、字符型、日期/時間型等常見數(shù)據(jù)類型。此外，抽取過程

應(yīng)提供“全量”和“增量”兩種模式，以滿足不同的數(shù)據(jù)同步需求。

在技術(shù)實(shí)現(xiàn)方面，系統(tǒng)需要能夠從關(guān)系型數(shù)據(jù)庫中抽取結(jié)構(gòu)化數(shù)

據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，支持?jǐn)?shù)據(jù)表、字段選擇和字段類型轉(zhuǎn)換等操作。

數(shù)據(jù)抽取操作應(yīng)支持立即執(zhí)行或按照定期、不定期的調(diào)度策略進(jìn)行，

調(diào)度策略應(yīng)包括固定間隔、指定時間點(diǎn)和范圍等多種選項(xiàng)。為提升用

戶體驗(yàn)，系統(tǒng)應(yīng)提供圖形化管理界面，方便配置抽取模式、源數(shù)據(jù)庫、

目標(biāo)存儲位置等，同時具備完善的日志記錄和審計功能，以記錄操作

配置和運(yùn)行時事件。此外，系統(tǒng)應(yīng)具備監(jiān)控機(jī)制，以便在運(yùn)行過程中

快速定位和解決異常問題。

在應(yīng)用場景中，關(guān)系型數(shù)據(jù)庫抽取服務(wù)涉及從數(shù)據(jù)源中提取數(shù)據(jù)

庫的元數(shù)據(jù)信息，配置數(shù)據(jù)傳輸任務(wù)，并定義任務(wù)的運(yùn)行策略。這包

括設(shè)定數(shù)據(jù)源表和大數(shù)據(jù)平臺的目標(biāo)表，配置任務(wù)的執(zhí)行時間、頻率

等參數(shù)，并進(jìn)行實(shí)際的數(shù)據(jù)傳輸操作，將數(shù)據(jù)從源數(shù)據(jù)庫抽取到目標(biāo)

平臺存儲中。這些技術(shù)和操作要求確保了數(shù)據(jù)在生態(tài)環(huán)境大數(shù)據(jù)平臺

中的有效集成和管理。

（2）數(shù)據(jù)網(wǎng)關(guān)

在生態(tài)環(huán)境大數(shù)據(jù)平臺的數(shù)據(jù)接入方式中，數(shù)據(jù)網(wǎng)關(guān)的核心技術(shù)

內(nèi)容主要圍繞提供靈活的接口數(shù)據(jù)接入服務(wù)。數(shù)據(jù)網(wǎng)關(guān)應(yīng)具備對各種

數(shù)據(jù)接口的支持能力，包括Webservice和RESTful接口，以適應(yīng)結(jié)

構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的接入需求。通過接口編排功能，數(shù)據(jù)網(wǎng)關(guān)可以

12

實(shí)現(xiàn)多個接口的集成，使得不同數(shù)據(jù)源的數(shù)據(jù)能夠高效整合。

數(shù)據(jù)網(wǎng)關(guān)服務(wù)還包括圖形化管理界面，這一界面用于配置接口數(shù)

據(jù)的存儲位置、操作用戶和目標(biāo)存儲位置，提升了數(shù)據(jù)管理的便捷性。

系統(tǒng)應(yīng)具備完善的日志記錄和審計功能，能夠詳細(xì)記錄接口數(shù)據(jù)的配

置及數(shù)據(jù)抽取操作的各類事件。此外，為保證服務(wù)的穩(wěn)定性和可用性，

數(shù)據(jù)網(wǎng)關(guān)必須具備熔斷管理機(jī)制，以應(yīng)對接口訪問異常情況，確保服

務(wù)的整體可靠性。

在應(yīng)用場景中，數(shù)據(jù)網(wǎng)關(guān)服務(wù)處理數(shù)據(jù)源向大數(shù)據(jù)平臺的數(shù)據(jù)傳

輸任務(wù)。數(shù)據(jù)源提供接口信息，包括接口訪問地址、輸入輸出參數(shù)和

驗(yàn)證方式等，大數(shù)據(jù)平臺則根據(jù)這些信息進(jìn)行接口定義和編排。數(shù)據(jù)

網(wǎng)關(guān)服務(wù)配置數(shù)據(jù)傳輸任務(wù)的運(yùn)行策略，包括任務(wù)的開始時間、結(jié)束

時間和運(yùn)行頻度等，并負(fù)責(zé)從數(shù)據(jù)源的數(shù)據(jù)接口中抽取數(shù)據(jù)，將其傳

輸?shù)酱髷?shù)據(jù)平臺的數(shù)據(jù)倉庫。這些功能確保了數(shù)據(jù)的高效接入和管理，

為平臺的運(yùn)行提供了堅(jiān)實(shí)的支持。

（3）文件接收FTP服務(wù)

文件接收FTP服務(wù)主要用于實(shí)現(xiàn)外部系統(tǒng)文件數(shù)據(jù)的接收，并將

這些文件存儲到大數(shù)據(jù)平臺的數(shù)據(jù)倉庫中。該服務(wù)的核心技術(shù)內(nèi)容包

括支持標(biāo)準(zhǔn)FTP協(xié)議，以確保數(shù)據(jù)傳輸?shù)募嫒菪院涂煽啃?。它還具備

順序型斷點(diǎn)續(xù)傳功能，這對于處理因網(wǎng)絡(luò)中斷或其他問題導(dǎo)致的文件

傳輸中斷至關(guān)重要，確保文件能夠從中斷處繼續(xù)傳輸而無需重新開始。

此外，服務(wù)支持文件的重命名及存儲目錄的指定，便于對接收到的文

件進(jìn)行管理和分類。

13

為了確保數(shù)據(jù)的完整性，文件接收FTP服務(wù)具備校驗(yàn)功能，用于

驗(yàn)證文件在傳輸過程中的完整性，防止數(shù)據(jù)損壞或丟失?？蛻舳苏J(rèn)證

功能則提供了額外的安全保障，確保只有經(jīng)過認(rèn)證的用戶才能訪問

FTP服務(wù)，防止未授權(quán)的訪問。圖形管理功能提供了一個直觀的界面，

用于配置認(rèn)證、文件目標(biāo)位置以及校驗(yàn)處理等操作，使得管理和操作

更加高效和便捷。

在應(yīng)用場景中，大數(shù)據(jù)平臺首先需要配置應(yīng)用賬號、接收參數(shù)及

存儲位置。隨后，管理信息系統(tǒng)通過標(biāo)準(zhǔn)FTP協(xié)議連接到大數(shù)據(jù)平臺

服務(wù)，并檢查目標(biāo)臨時文件的存在情況。系統(tǒng)會發(fā)起全量或續(xù)傳指令，

將數(shù)據(jù)發(fā)送到大數(shù)據(jù)平臺。接收方在接收到文件數(shù)據(jù)后，會進(jìn)行數(shù)據(jù)

校驗(yàn)，并根據(jù)校驗(yàn)結(jié)果將數(shù)據(jù)文件存儲到指定的位置。最后，大數(shù)據(jù)

平臺回寫數(shù)據(jù)存儲狀態(tài)，管理信息系統(tǒng)則獲取這些狀態(tài)信息，以確保

數(shù)據(jù)傳輸和存儲過程的透明性和可追溯性。

（4）文件拉取FTP服務(wù)

文件拉取FTP服務(wù)是生態(tài)環(huán)境大數(shù)據(jù)平臺中用于從外部系統(tǒng)抽

取文件數(shù)據(jù)的一項(xiàng)重要功能，其核心技術(shù)內(nèi)容主要包括數(shù)據(jù)傳輸?shù)目?/p>

靠性、靈活性和安全性。該服務(wù)支持通過FTP協(xié)議實(shí)現(xiàn)文件的抽取，

具備順序型斷點(diǎn)續(xù)傳能力，能夠自動識別和匹配外部文件存儲的斷點(diǎn)

續(xù)傳模式，以確保在傳輸過程中即使發(fā)生中斷也能恢復(fù)傳輸而不丟失

數(shù)據(jù)。此外，文件拉取FTP服務(wù)還支持FTP服務(wù)的登錄用戶名和密碼

設(shè)置，增強(qiáng)了系統(tǒng)的安全性。

在文件傳輸方面，服務(wù)支持文件的壓縮和加密傳輸，用戶可以自

14

定義壓縮規(guī)則和加密傳輸規(guī)則，以保護(hù)數(shù)據(jù)的隱私和完整性。服務(wù)還

允許設(shè)置文件同步或異步拉取，并支持配置拉取的并行度，從而提高

數(shù)據(jù)抽取的效率。為了確保文件的有效存儲，服務(wù)支持指定目標(biāo)文件

存儲位置和文件名，并提供文件類型轉(zhuǎn)換規(guī)則，以適應(yīng)不同類型的數(shù)

據(jù)文件需求。

在實(shí)際應(yīng)用中，文件拉取FTP服務(wù)可以實(shí)現(xiàn)全量文件采集和定期

輪詢采集兩種模式。全量文件采集適用于從業(yè)務(wù)系統(tǒng)中初次獲取數(shù)據(jù)

文件，系統(tǒng)配置任務(wù)時會指定文件存儲位置、采集文件列表方式、校

驗(yàn)要求等，并將文件讀取并存入數(shù)據(jù)倉庫。定期輪詢采集則通過設(shè)定

的時間間隔定期檢查指定目錄下的新文件，讀取校驗(yàn)文件以確保數(shù)據(jù)

的完整性，如果發(fā)現(xiàn)新增文件則將其數(shù)據(jù)導(dǎo)入到數(shù)據(jù)平臺中。通過這

些功能，文件拉取FTP服務(wù)有效支持了大數(shù)據(jù)平臺的數(shù)據(jù)接入和處理，

確保數(shù)據(jù)傳輸?shù)目煽啃院桶踩浴?/p>

（5）消息隊(duì)列

消息隊(duì)列是大數(shù)據(jù)平臺數(shù)據(jù)接入的重要組成部分，其核心技術(shù)內(nèi)

容涉及多個關(guān)鍵功能和應(yīng)用場景。首先，消息隊(duì)列服務(wù)應(yīng)提供完整的

分布式消息隊(duì)列管理功能，包括消息主題的創(chuàng)建、刪除和修改。這一

功能確保了系統(tǒng)的靈活性和可擴(kuò)展性。消息隊(duì)列服務(wù)應(yīng)支持兩種主要

的消息模式：“點(diǎn)對點(diǎn)”和“發(fā)布-訂閱”，以滿足不同的應(yīng)用需求。

消息的持久化存儲是消息隊(duì)列的重要特性之一，它不僅支持消息存儲

周期的設(shè)置，還保證了消息的可靠性和數(shù)據(jù)完整性。此外，消息隊(duì)列

還需提供分布式高可用的接口，包括鏈接建立、消息發(fā)送、消息消費(fèi)

15

和鏈接關(guān)閉，同時支持消息的分區(qū)和備份操作，以提高系統(tǒng)的穩(wěn)定性

和容錯能力。

消息隊(duì)列服務(wù)應(yīng)具備統(tǒng)一風(fēng)格的圖形化管理界面，使得消息隊(duì)列

主題的管理、測試和授權(quán)操作更加直觀和便捷。日志審計功能也是必

不可少的，它能夠記錄消息發(fā)送和消費(fèi)過程中的各種事件，確保系統(tǒng)

操作的透明性和可追溯性。

在應(yīng)用場景方面，管理信息系統(tǒng)需向大數(shù)據(jù)平臺申請消息隊(duì)列接

入服務(wù)，大數(shù)據(jù)平臺將根據(jù)申請創(chuàng)建相應(yīng)的消息隊(duì)列主題，并返回隊(duì)

列名稱。隨后，管理信息系統(tǒng)可以開發(fā)業(yè)務(wù)處理程序，通過調(diào)用平臺

提供的消息隊(duì)列接口來發(fā)送或接收數(shù)據(jù)。這種靈活的消息傳遞機(jī)制支

持系統(tǒng)之間的數(shù)據(jù)交換和集成，提升了數(shù)據(jù)處理的效率和可靠性。

（6）文件HTTP服務(wù)

在生態(tài)環(huán)境大數(shù)據(jù)平臺中，文件HTTP服務(wù)提供了通過HTTP協(xié)議

將文件信息抽取到存儲系統(tǒng)的功能。該服務(wù)的核心技術(shù)包括順序型斷

點(diǎn)續(xù)傳功能，能夠自動識別和匹配外部文件存儲的斷點(diǎn)續(xù)傳能力，以

確保傳輸過程的完整性和連續(xù)性。服務(wù)還支持文件的壓縮和加密傳輸

功能，用戶可以設(shè)定壓縮和加密規(guī)則以保護(hù)數(shù)據(jù)傳輸過程中的安全性

和效率。此外，文件HTTP服務(wù)允許配置文件的同步與異步拉取方式，

并支持設(shè)置拉取的并行度，以提高數(shù)據(jù)采集的靈活性和速度。

在文件存儲方面，服務(wù)支持指定目標(biāo)文件位置和文件名，并提供

文件類型轉(zhuǎn)換規(guī)則以適應(yīng)常見的文件格式轉(zhuǎn)換需求。它不僅支持全量

文件的初始導(dǎo)入，還具備定期輪詢采集新文件的能力，并能夠根據(jù)設(shè)

16

定的文件列表規(guī)則進(jìn)行過濾。為了簡化管理，服務(wù)提供了圖形化管理

界面，使用戶能夠直觀地配置文件源、目標(biāo)存儲、壓縮和加密規(guī)則、

同步/異步傳輸規(guī)則、并行度以及文件采集策略。

在應(yīng)用場景方面，基于HTTP協(xié)議的全量采集場景中，業(yè)務(wù)系統(tǒng)

需提供初始文件存儲位置，大數(shù)據(jù)平臺通過配置HTTP協(xié)議的采集任

務(wù)，讀取文件并將其存入數(shù)據(jù)倉庫。而在定期輪詢采集場景中，業(yè)務(wù)

系統(tǒng)生成的數(shù)據(jù)文件會根據(jù)SHA1校驗(yàn)算法生成校驗(yàn)文件，并存儲在

指定目錄。大數(shù)據(jù)平臺定期輪詢文件采集服務(wù)，讀取并解析索引及校

驗(yàn)文件內(nèi)容，以確保數(shù)據(jù)文件的完整性和準(zhǔn)確性，然后將其導(dǎo)入平臺

數(shù)據(jù)倉庫中。這些技術(shù)和功能確保了數(shù)據(jù)的高效、安全和穩(wěn)定采集，

為大數(shù)據(jù)平臺的數(shù)據(jù)處理提供了強(qiáng)有力的支持。

（7）文件NFS服務(wù)

在生態(tài)環(huán)境大數(shù)據(jù)平臺的數(shù)據(jù)接入方式中，文件NFS服務(wù)通過訪

問NFS文件系統(tǒng)，實(shí)現(xiàn)了將文件信息高效地抽取到大數(shù)據(jù)平臺的數(shù)據(jù)

存儲。該服務(wù)支持順序型斷點(diǎn)續(xù)傳功能，能夠自動識別并匹配外部文

件存儲的斷點(diǎn)續(xù)傳能力，從而確保文件傳輸?shù)倪B續(xù)性和完整性。同時，

它支持指定目標(biāo)文件存儲位置及文件名，并提供文件類型轉(zhuǎn)換規(guī)則，

涵蓋了常見的文件類型轉(zhuǎn)換需求，以便于文件的統(tǒng)一管理和應(yīng)用。

此外，文件NFS服務(wù)能夠進(jìn)行全量文件采集，即一次性初始化導(dǎo)

入外部數(shù)據(jù)，滿足初始數(shù)據(jù)導(dǎo)入的需求。在定期輪詢文件采集方面，

它支持周期性采集新增文件，并能夠基于文件列表規(guī)則進(jìn)行過濾，確

保數(shù)據(jù)的時效性和相關(guān)性。圖形化管理功能進(jìn)一步增強(qiáng)了服務(wù)的可操

17

作性，允許用戶對文件源配置、文件目標(biāo)存儲配置、文件壓縮和加密

傳輸規(guī)則、文件同步/異步傳輸規(guī)則、文件傳輸并行度、文件定期及

實(shí)時策略、文件采集過濾等進(jìn)行直觀的配置和管理。

在應(yīng)用場景中，NFS服務(wù)首先用于全量文件采集的任務(wù)配置，包

括存儲文件位置、采集文件列表方式、文件校驗(yàn)、存儲目標(biāo)位置及文

件存儲命名規(guī)則等。平臺在運(yùn)行文件采集任務(wù)時，會讀取文件并將其

存入數(shù)據(jù)倉庫中。對于定期輪詢采集場景，業(yè)務(wù)系統(tǒng)生成的數(shù)據(jù)文件

會被存儲在指定區(qū)域，并根據(jù)SHA1算法生成校驗(yàn)文件。大數(shù)據(jù)平臺

定期輪詢并讀取這些文件，通過解析索引和校驗(yàn)文件內(nèi)容來驗(yàn)證數(shù)據(jù)

的完整性，確保新數(shù)據(jù)能夠準(zhǔn)確無誤地導(dǎo)入系統(tǒng)。這一過程不僅提高

了數(shù)據(jù)采集的效率，也保證了數(shù)據(jù)質(zhì)量的可靠性。

（8）區(qū)塊鏈數(shù)據(jù)服務(wù)

在生態(tài)環(huán)境大數(shù)據(jù)平臺中，區(qū)塊鏈數(shù)據(jù)服務(wù)通過數(shù)據(jù)目錄鏈和數(shù)

據(jù)鏈系統(tǒng)確保數(shù)據(jù)的有效管理與驗(yàn)證。區(qū)塊鏈數(shù)據(jù)服務(wù)主要包括接收

環(huán)境監(jiān)測設(shè)備編號信息，并為設(shè)備申請證書以完成認(rèn)證。接著，設(shè)備

通過代理節(jié)點(diǎn)或自身將數(shù)據(jù)存儲到數(shù)據(jù)鏈系統(tǒng)。區(qū)塊鏈節(jié)點(diǎn)支持將數(shù)

據(jù)通過全量表、快照表、拉鏈表等三種方式進(jìn)行存證版本確認(rèn)，以確

保數(shù)據(jù)的準(zhǔn)確性和可追溯性。服務(wù)還提供上鏈數(shù)據(jù)的存儲、檢索、可

控共享與交換，以及使用記錄和隱私保護(hù)功能，以保障數(shù)據(jù)的安全和

隱私。

在應(yīng)用過程中，代理節(jié)點(diǎn)負(fù)責(zé)接收環(huán)境監(jiān)測設(shè)備編號，并向區(qū)塊

鏈證書管理中心申請證書。設(shè)備認(rèn)證后，被標(biāo)識為邊緣節(jié)點(diǎn)。邊緣節(jié)

18

點(diǎn)將對設(shè)備參數(shù)和監(jiān)測值進(jìn)行數(shù)字簽名，然后主動或被動地將這些數(shù)

據(jù)傳輸至區(qū)塊鏈節(jié)點(diǎn)。區(qū)塊鏈節(jié)點(diǎn)對接收到的數(shù)據(jù)進(jìn)行合法性校驗(yàn)，

校驗(yàn)通過后，將附加認(rèn)證信息上傳到數(shù)據(jù)鏈系統(tǒng)，從而完成數(shù)據(jù)的上

鏈。這種機(jī)制確保了數(shù)據(jù)的完整性、真實(shí)性和可靠性，適用于生態(tài)環(huán)

境數(shù)據(jù)的驗(yàn)證與管理。

6．接入質(zhì)量管理

接入質(zhì)量管理部分內(nèi)容的確定基于確保數(shù)據(jù)質(zhì)量的重要性，旨在

提供一套數(shù)據(jù)質(zhì)量評估的標(biāo)準(zhǔn)。

本部分內(nèi)容參考了DB15/T1873-2020中的相關(guān)規(guī)定，來制定數(shù)

據(jù)質(zhì)量評價維度、技術(shù)要求和評分方法。

生態(tài)環(huán)境大數(shù)據(jù)平臺的數(shù)據(jù)接入質(zhì)量管理應(yīng)嚴(yán)格按照《DB15/T

1873-2020》的第5、6、7章要求進(jìn)行實(shí)施。數(shù)據(jù)質(zhì)量評價維度需要

全面涵蓋數(shù)據(jù)的完整性、規(guī)范性、一致性、準(zhǔn)確性、唯一性、關(guān)聯(lián)性、

時效性、可訪問性，以確保數(shù)據(jù)在接入后的高標(biāo)準(zhǔn)質(zhì)量。其次，數(shù)據(jù)

接入質(zhì)量的技術(shù)要求必須符合標(biāo)準(zhǔn)中定義的規(guī)范，以實(shí)現(xiàn)行全流程數(shù)

據(jù)質(zhì)量管控。數(shù)據(jù)質(zhì)量評分方法也應(yīng)按照標(biāo)準(zhǔn)的規(guī)定進(jìn)行實(shí)施，評分

結(jié)果將作為數(shù)據(jù)質(zhì)量改進(jìn)和管理決策的重要依據(jù)。對于發(fā)現(xiàn)的問題數(shù)

據(jù)，必須按規(guī)定進(jìn)行處理，確保平臺的數(shù)據(jù)質(zhì)量始終符合預(yù)期標(biāo)準(zhǔn)。

7．接入安全管理

數(shù)據(jù)接入安全管理的核心技術(shù)內(nèi)容涉及確保數(shù)據(jù)源的真實(shí)性和

數(shù)據(jù)傳輸過程的安全性。對于外部公共數(shù)據(jù)源，應(yīng)依據(jù)DB15/T1874

第7.2章節(jié)進(jìn)行鑒別和記錄，以確認(rèn)數(shù)據(jù)源的合法性和可靠性。其他

19

外部數(shù)據(jù)源則需遵循特定的數(shù)據(jù)源身份認(rèn)證要求，以確保數(shù)據(jù)來源的

可信性。內(nèi)部數(shù)據(jù)源的身份認(rèn)證應(yīng)采用區(qū)塊鏈數(shù)字證書技術(shù)，確保數(shù)

據(jù)源的唯一性和不可篡改性。在數(shù)據(jù)傳輸過程中，外部數(shù)據(jù)源應(yīng)按照

其規(guī)定的傳輸方式進(jìn)行，以保障數(shù)據(jù)的安全傳輸。對于內(nèi)部數(shù)據(jù)源之

間的數(shù)據(jù)傳輸，應(yīng)使用區(qū)塊鏈數(shù)字簽名和時間戳技術(shù)，以確保數(shù)據(jù)傳

輸?shù)耐暾?、私密性、可追溯性和不可抵賴性，同時提供時間證明，

確保數(shù)據(jù)在傳輸過程中的安全性和可信性。

六、標(biāo)準(zhǔn)實(shí)施的環(huán)境效益與經(jīng)濟(jì)技術(shù)分析