ICS35.020DB15內(nèi)蒙古自治區(qū)市場(chǎng)監(jiān)督管理局IDB15/T1872—2020前言 12規(guī)范性引用文件 13術(shù)語(yǔ)和定義 14縮略語(yǔ) 25概述 26接入要求 36.1關(guān)系數(shù)據(jù)庫(kù)抽取 36.2服務(wù)網(wǎng)關(guān)服務(wù) 56.3實(shí)時(shí)消息隊(duì)列 66.4文件接收FTP服務(wù) 76.5文件拉取FTP服務(wù) 96.6直報(bào)系統(tǒng) 7安全要求 附錄A（資料性附錄）關(guān)系數(shù)據(jù)庫(kù)抽取接入說(shuō)明 附錄B（資料性附錄）服務(wù)網(wǎng)關(guān)服務(wù)接入說(shuō)明 附錄C（資料性附錄）實(shí)時(shí)消息隊(duì)列接入說(shuō)明 附錄D（資料性附錄）文件接收FTP服務(wù)接入說(shuō)明 附錄E（資料性附錄）文件拉取FTP服務(wù)接入說(shuō)明 DB15/T1872—2020本標(biāo)準(zhǔn)按照GB/T1.1—2009給出的規(guī)則起草。本標(biāo)準(zhǔn)由內(nèi)蒙古自治區(qū)大數(shù)據(jù)發(fā)展管理局提出并歸口。本標(biāo)準(zhǔn)起草單位：內(nèi)蒙古自治區(qū)大數(shù)據(jù)發(fā)展管理局、新華三技術(shù)有限公司、中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院、內(nèi)蒙古大學(xué)、內(nèi)蒙古電子信息職業(yè)技術(shù)學(xué)院、內(nèi)蒙古自治區(qū)大數(shù)據(jù)與云計(jì)算標(biāo)準(zhǔn)化委員會(huì)、中國(guó)人民銀行呼和浩特市中心支行、內(nèi)蒙古自治區(qū)國(guó)土資源信息院、中信銀行股內(nèi)蒙古自治區(qū)標(biāo)準(zhǔn)化院、浪潮軟件集團(tuán)有限公司、北京東方國(guó)信科技股份有限公司、中通服咨詢?cè)O(shè)計(jì)研究院有限公司、天帆創(chuàng)新（北京）科技發(fā)展有限公司、同方知網(wǎng)（北京）技術(shù)有限公司、北京東方棱鏡科技有限公司、內(nèi)蒙古躍晨科技有限公司、內(nèi)蒙古縱橫云技術(shù)有限公司。本標(biāo)準(zhǔn)主要起草人：周佳琪、崔連偉、張建軍、崔娜、趙逢波、衛(wèi)鳳林、屈強(qiáng)、崔波、胡大偉、汪昆鵬、馬逸群、王立權(quán)、王一丁、王海珠、徐小強(qiáng)、王楠、李敏、李建文、劉玉坤、胡南磊、付先路、王偉哲、馮國(guó)忠。DB15/T1872—20201大數(shù)據(jù)平臺(tái)接入技術(shù)要求本標(biāo)準(zhǔn)規(guī)定了大數(shù)據(jù)平臺(tái)與各數(shù)據(jù)提供單位管理支撐系統(tǒng)進(jìn)行數(shù)據(jù)接入的技術(shù)要求及數(shù)據(jù)采集接本標(biāo)準(zhǔn)適用于內(nèi)蒙古自治區(qū)大數(shù)據(jù)平臺(tái)進(jìn)行數(shù)據(jù)采集功能研發(fā)、數(shù)據(jù)采集工具選型及其數(shù)據(jù)接入場(chǎng)景提供規(guī)范要求。2規(guī)范性引用文件下列文件對(duì)于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅所注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T29262信息技術(shù)面向服務(wù)的體系結(jié)構(gòu)（SOA）術(shù)語(yǔ)GB/T35274信息安全技術(shù)大數(shù)據(jù)服務(wù)安全能力要求GB/T35295-2017信息技術(shù)大數(shù)據(jù)術(shù)語(yǔ)GB/T37973信息安全技術(shù)大數(shù)據(jù)安全管理指南3術(shù)語(yǔ)和定義GB/T35295和GB/T29262界定的術(shù)語(yǔ)和定義適用于本文件。為了便于使用，以下重復(fù)列出GB/T35295中的一些術(shù)語(yǔ)和定義。3.1大數(shù)據(jù)bigdata具有體量巨大、來(lái)源多樣、生成極快、且多變等特征并難以用傳統(tǒng)數(shù)據(jù)體系結(jié)構(gòu)有效處理的包含大量數(shù)據(jù)集的數(shù)據(jù)。[GB/T35295-2017,定義2.1.1]DB15/T1872—202023.2非結(jié)構(gòu)化數(shù)據(jù)unstructureddata不具有預(yù)定義模型或未以預(yù)定義方式組織的數(shù)據(jù)。[GB/T35295-2017,定義2.1.25]3.3靜態(tài)數(shù)據(jù)dataatrest處于靜止?fàn)顟B(tài)，有典型特征表現(xiàn)為大數(shù)據(jù)的體量和多樣性特征的數(shù)據(jù)。[GB/T35295-2017,定義2.1.37]3.4關(guān)系數(shù)據(jù)庫(kù)relationaldatabase數(shù)據(jù)按關(guān)系模型來(lái)組織的數(shù)據(jù)庫(kù)。[GB/T35295-2017,定義2.2.5]3.5管理信息系統(tǒng)managementinformationsystem是一個(gè)以人為主導(dǎo)，利用計(jì)算機(jī)硬件、軟件、網(wǎng)絡(luò)通信設(shè)備以及其他辦公設(shè)備，進(jìn)行信息的收集、傳輸、加工、儲(chǔ)存、更新、拓展和維護(hù)的系統(tǒng)。3.6元數(shù)據(jù)metadata關(guān)于數(shù)據(jù)或數(shù)據(jù)元素的數(shù)據(jù)（可能包括其數(shù)據(jù)描述以及關(guān)于數(shù)據(jù)擁有權(quán)、存取路徑、訪問(wèn)權(quán)和數(shù)據(jù)易變性的數(shù)據(jù)。[GB/T35295-2017,定義2.2.7]4縮略語(yǔ)下列縮略語(yǔ)適用于本文件。FTP：標(biāo)準(zhǔn)的文件傳輸協(xié)議（FileTransferProtocol）JDBC：java數(shù)據(jù)庫(kù)連接（JavaDataBaseConnectivity）HTTPS：超文本傳輸安全協(xié)議（HyperTextTransferProtocoloverSecureSocketLayer或HypertextTransferProtocolSecure）Kafka：Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費(fèi)者在網(wǎng)站中的所有動(dòng)作流數(shù)據(jù)。5概述大數(shù)據(jù)平臺(tái)作為多維數(shù)據(jù)的處理平臺(tái)，支持各類(lèi)數(shù)據(jù)源的采集與接入。以下是大數(shù)據(jù)平臺(tái)六種常用數(shù)據(jù)源的接入方式：DB15/T1872—20203a)關(guān)系數(shù)據(jù)庫(kù)抽??；b)服務(wù)網(wǎng)關(guān)服務(wù)；c)實(shí)時(shí)消息隊(duì)列；d)文件接收FTP服務(wù)；e)文件拉取FTP服務(wù)；f)直報(bào)系統(tǒng)。具體數(shù)據(jù)接入總體框架見(jiàn)圖1：大數(shù)據(jù)平臺(tái)數(shù)據(jù)接入服務(wù)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)源關(guān)系數(shù)據(jù)庫(kù)抽取關(guān)系數(shù)據(jù)庫(kù)結(jié)構(gòu)化服務(wù)網(wǎng)關(guān)服務(wù)數(shù)據(jù)存儲(chǔ)接口數(shù)據(jù)文件接收FTP服務(wù)管理信息半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)文件系統(tǒng)FTP服務(wù)文件拉取FTP服務(wù)實(shí)時(shí)消息隊(duì)列流數(shù)據(jù)管理信息系統(tǒng)非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)直報(bào)系統(tǒng)圖1數(shù)據(jù)接入總體框架6接入要求6.1關(guān)系數(shù)據(jù)庫(kù)抽取6.1.1功能要求關(guān)系數(shù)據(jù)庫(kù)抽取應(yīng)提供管理信息系統(tǒng)關(guān)系數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)到大數(shù)據(jù)平臺(tái)數(shù)據(jù)存儲(chǔ)的定時(shí)批量抽取功能。關(guān)系數(shù)據(jù)庫(kù)數(shù)據(jù)抽取應(yīng)具備以下主要功能：a)支持對(duì)主流的關(guān)系數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)抽??；支持對(duì)數(shù)據(jù)庫(kù)中常用的數(shù)據(jù)類(lèi)型進(jìn)行數(shù)據(jù)抽取，至少包括數(shù)值型、字符型、日期/時(shí)間型等數(shù)據(jù)類(lèi)型；b)支持“全量”和“增量”兩種數(shù)據(jù)抽取模式；“全量”模式是指一次性將關(guān)系數(shù)據(jù)庫(kù)中物理表的數(shù)據(jù)抽取到大數(shù)據(jù)平臺(tái)?！霸隽俊蹦Ｊ绞侵父鶕?jù)設(shè)置的抽取條件篩選符合條件的數(shù)據(jù)抽取到大數(shù)據(jù)平臺(tái)；c)支持關(guān)系數(shù)據(jù)庫(kù)中結(jié)構(gòu)化數(shù)據(jù)抽取到大數(shù)據(jù)平臺(tái),包含結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、半結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)、非結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)倉(cāng)庫(kù)中；★DB15/T1872—2020★4d)支持對(duì)關(guān)系數(shù)據(jù)庫(kù)數(shù)據(jù)的采集內(nèi)容和類(lèi)型轉(zhuǎn)換操作，至少包括選擇具體的數(shù)據(jù)表、選擇表中具體的字段、字段類(lèi)型格式轉(zhuǎn)換等操作；e)支持?jǐn)?shù)據(jù)抽取操作的立即執(zhí)行、定時(shí)調(diào)度運(yùn)行。定時(shí)調(diào)度運(yùn)行應(yīng)提供多種調(diào)度策略，至少包括固定時(shí)間間隔運(yùn)行、指定時(shí)間點(diǎn)運(yùn)行、指定時(shí)間范圍運(yùn)行、一次或指定次數(shù)運(yùn)行等策略；表字段選擇配置、字段類(lèi)型轉(zhuǎn)換配置、大數(shù)據(jù)平臺(tái)目標(biāo)存儲(chǔ)位置配置、運(yùn)行策略配置等操作界面；g)應(yīng)提供完善的日志和審計(jì)能力，可以記錄數(shù)據(jù)抽取操作配置、運(yùn)行時(shí)發(fā)生的各種事件；h)應(yīng)提供完善的監(jiān)控機(jī)制，運(yùn)行過(guò)程中出現(xiàn)異常可快速的定位及解決。6.1.2非功能要求關(guān)系數(shù)據(jù)庫(kù)數(shù)據(jù)抽取服務(wù)應(yīng)滿足以下非功能性要求：a）數(shù)據(jù)抽取速度：不少于1萬(wàn)條/秒；b）數(shù)據(jù)抽取吞吐量：在千兆帶寬的網(wǎng)絡(luò)條件下，數(shù)據(jù)抽取吞吐量不少于50MB/秒。6.1.3應(yīng)用場(chǎng)景關(guān)系數(shù)據(jù)庫(kù)抽取應(yīng)用場(chǎng)景見(jiàn)圖2：★★★圖2關(guān)系數(shù)據(jù)庫(kù)抽取應(yīng)用場(chǎng)景應(yīng)用場(chǎng)景描述如下:a)關(guān)系數(shù)據(jù)庫(kù)抽取服務(wù)，抽取數(shù)據(jù)源中數(shù)據(jù)庫(kù)的元數(shù)據(jù)信息，包括數(shù)據(jù)庫(kù)用戶所屬的表、字段信b)關(guān)系數(shù)據(jù)庫(kù)抽取服務(wù)配置數(shù)據(jù)傳輸任務(wù)，包括抽取數(shù)據(jù)庫(kù)的源表和大數(shù)據(jù)平臺(tái)對(duì)應(yīng)的存儲(chǔ)目標(biāo)表；d)關(guān)系數(shù)據(jù)庫(kù)抽取服務(wù)運(yùn)行數(shù)據(jù)傳輸任務(wù)，從數(shù)據(jù)源的數(shù)據(jù)庫(kù)抽取數(shù)據(jù)到平臺(tái)數(shù)據(jù)存儲(chǔ)中?！顳B15/T1872—2020★56.1.4應(yīng)用要求應(yīng)用要求如下：a)關(guān)系數(shù)據(jù)庫(kù)抽取服務(wù)適用于關(guān)系數(shù)據(jù)庫(kù)定時(shí)批量抽取場(chǎng)景，詳細(xì)說(shuō)明參見(jiàn)附錄A；b)數(shù)據(jù)源須提供關(guān)系數(shù)據(jù)庫(kù)的訪問(wèn)鏈接，包括IP、端口、數(shù)據(jù)庫(kù)實(shí)例名、用戶名、密碼；c)數(shù)據(jù)源提供的數(shù)據(jù)庫(kù)訪問(wèn)用戶應(yīng)具備數(shù)據(jù)庫(kù)的元數(shù)據(jù)信息定義表的讀取權(quán)限。6.2服務(wù)網(wǎng)關(guān)服務(wù)6.2.1功能要求服務(wù)網(wǎng)關(guān)服務(wù)為數(shù)據(jù)源提供大數(shù)據(jù)平臺(tái)中結(jié)構(gòu)化數(shù)據(jù)或非結(jié)構(gòu)化數(shù)據(jù)的接口數(shù)據(jù)接入。服務(wù)網(wǎng)關(guān)服務(wù)應(yīng)具備以下主要功能：a)支持接入Webservice、RESTful方式的接口；b)支持包括結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的接口；c)支持接口編排，輕松實(shí)現(xiàn)多個(gè)接口的功能集成；d)提供圖形化管理界面，用于接口數(shù)據(jù)存儲(chǔ)位置、操作用戶、目標(biāo)存儲(chǔ)位置的配置；e)應(yīng)提供完善的日志和審計(jì)能力，可以記錄接口數(shù)據(jù)配置及數(shù)據(jù)抽取操作配置、運(yùn)行時(shí)發(fā)生的各種事件；f)應(yīng)具備熔斷管理機(jī)制，保證服務(wù)整體可用，是接口訪問(wèn)異常情況下的處理策略。6.2.2非功能要求服務(wù)網(wǎng)關(guān)服務(wù)應(yīng)滿足以下非功能要求：a）數(shù)據(jù)寫(xiě)入速率：在千兆帶寬的網(wǎng)絡(luò)條件下,數(shù)據(jù)抽取吞吐量不少于30MB/秒；b）操作并發(fā)數(shù)：并發(fā)數(shù)大于200個(gè)/秒。6.2.3應(yīng)用場(chǎng)景服務(wù)網(wǎng)關(guān)服務(wù)應(yīng)用場(chǎng)景見(jiàn)圖3：★★★★圖3服務(wù)網(wǎng)關(guān)服務(wù)應(yīng)用場(chǎng)景DB15/T1872—20206應(yīng)用場(chǎng)景描述如下:a)數(shù)據(jù)源向大數(shù)據(jù)平臺(tái)提供接口信息，包括：接口訪問(wèn)地址、輸入?yún)?shù)、輸出參數(shù)、驗(yàn)證方式等接口信息；b)大數(shù)據(jù)平臺(tái)根據(jù)數(shù)據(jù)源提供的數(shù)據(jù)接口進(jìn)行定義及編排；c)服務(wù)網(wǎng)關(guān)服務(wù)配置數(shù)據(jù)傳輸任務(wù)運(yùn)行策略，包括運(yùn)行的開(kāi)始時(shí)間、結(jié)束時(shí)間、運(yùn)行頻度；d)服務(wù)網(wǎng)關(guān)服務(wù)運(yùn)行數(shù)據(jù)傳輸任務(wù)，從數(shù)據(jù)源的數(shù)據(jù)接口中抽取數(shù)據(jù)到大數(shù)據(jù)平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)中。6.2.4應(yīng)用要求a)服務(wù)網(wǎng)關(guān)服務(wù)適用于提供接口類(lèi)數(shù)據(jù)的數(shù)據(jù)源，詳細(xì)說(shuō)明參見(jiàn)附錄B；b)提供數(shù)據(jù)接口的數(shù)據(jù)源需做好自身數(shù)據(jù)操作接口程序的開(kāi)發(fā)。6.3實(shí)時(shí)消息隊(duì)列6.3.1功能要求實(shí)時(shí)消息隊(duì)列采集為管理信息系統(tǒng)提供實(shí)時(shí)消息推入和緩存功能。實(shí)時(shí)消息隊(duì)列應(yīng)具備以下主要功a）應(yīng)提供分布式消息隊(duì)列的管理功能，支持消息主題的創(chuàng)建、刪除、修改；b）應(yīng)提供支持“點(diǎn)對(duì)點(diǎn)”和“發(fā)布-訂閱”兩個(gè)消息模式；c）支持消息的持久化存儲(chǔ)操作并且支持持久化周期設(shè)置；d）應(yīng)提供消息的發(fā)送和消費(fèi)接口，包括鏈接建立、消息發(fā)送、消息消費(fèi)、鏈接關(guān)閉；e）應(yīng)提供分布式高可用的消息隊(duì)列操作接口，支持消息的發(fā)送和消費(fèi)；支持f）具有風(fēng)格統(tǒng)一的圖形化管理界面，支持消息隊(duì)列主題的創(chuàng)建、刪除、測(cè)試、授權(quán)訪問(wèn)的操作；g）具備完善的日志審計(jì)能力，可以記錄消息發(fā)送和消費(fèi)時(shí)發(fā)生的各種事件。6.3.2非功能要求實(shí)時(shí)消息隊(duì)列應(yīng)滿足以下非功能性要求：a）高可行性：支持消息主題的分區(qū)和備份；b）負(fù)載均衡：支持消息發(fā)送和消費(fèi)時(shí)的負(fù)載均衡操作；c）消息發(fā)送速度：可接受的數(shù)據(jù)量大于5萬(wàn)條/秒。6.3.3應(yīng)用場(chǎng)景實(shí)時(shí)消息隊(duì)列應(yīng)用場(chǎng)景見(jiàn)圖4：DB15/T1872—20207★★★★★★圖4實(shí)時(shí)消息隊(duì)列應(yīng)用場(chǎng)景應(yīng)用場(chǎng)景描述如下：a）管理信息系統(tǒng)須向大數(shù)據(jù)平臺(tái)申請(qǐng)實(shí)時(shí)消息隊(duì)列接入服務(wù)；b）大數(shù)據(jù)平臺(tái)根據(jù)申請(qǐng)創(chuàng)建消息隊(duì)列主題，返回消息隊(duì)列名稱；c）管理信息系統(tǒng)開(kāi)發(fā)業(yè)務(wù)處理程序，調(diào)用平臺(tái)實(shí)時(shí)消息隊(duì)列接口，發(fā)送數(shù)據(jù)或接收數(shù)據(jù)。6.3.4應(yīng)用要求應(yīng)用要求如下：a)實(shí)時(shí)消息隊(duì)列采集適用于管理信息系統(tǒng)主動(dòng)將數(shù)據(jù)封裝為消息，發(fā)送到大數(shù)據(jù)平臺(tái)的實(shí)時(shí)消息隊(duì)列中?；趯?shí)時(shí)消息隊(duì)列的消息緩存進(jìn)行數(shù)據(jù)分析，如流計(jì)算實(shí)時(shí)處理等，詳細(xì)說(shuō)明參見(jiàn)附錄C；b)發(fā)送的消息內(nèi)容格式支持字符串，發(fā)送的數(shù)據(jù)對(duì)象可以通過(guò)對(duì)象序列化機(jī)制轉(zhuǎn)換為字符串格式的消息內(nèi)容；c)管理信息系統(tǒng)應(yīng)依照大數(shù)據(jù)平臺(tái)提供的實(shí)時(shí)消息隊(duì)列采集接口完成自身數(shù)據(jù)發(fā)送或接收接口的開(kāi)發(fā)。6.4文件接收FTP服務(wù)6.4.1功能要求文件接收FTP服務(wù)應(yīng)提供外部系統(tǒng)文件數(shù)據(jù)的接收并存入到大數(shù)據(jù)平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)的功能。文件采集應(yīng)具備以下主要功能：a）支持標(biāo)準(zhǔn)FTP協(xié)議接收數(shù)據(jù)；b）支持順序型斷點(diǎn)續(xù)傳功能；c）支持接收的文件的重命名及指定存儲(chǔ)目錄；d）應(yīng)支持對(duì)接收文件的完整性校驗(yàn)；e）應(yīng)支持對(duì)客戶端進(jìn)行認(rèn)證；f）支持圖形管理功能，支持認(rèn)證配置、文件目標(biāo)位置配置、校驗(yàn)處理配置。DB15/T1872—202086.4.2應(yīng)用場(chǎng)景文件接收FTP服務(wù)應(yīng)用場(chǎng)景見(jiàn)圖5： 議連接大數(shù)據(jù)平臺(tái)服務(wù)★★議連接大數(shù)據(jù)平臺(tái)服務(wù)★★★ ★f)大數(shù)據(jù)平臺(tái)接收文件數(shù)據(jù)★ ★ ★圖5文件接收FTP服務(wù)應(yīng)用場(chǎng)景應(yīng)用場(chǎng)景描述如下：a)大數(shù)據(jù)平臺(tái)配置應(yīng)用賬號(hào)、接收參數(shù)及存儲(chǔ)位置；b)管理信息系統(tǒng)通過(guò)標(biāo)準(zhǔn)FTP協(xié)議連接大數(shù)據(jù)平臺(tái)服務(wù)；c)管理信息系統(tǒng)檢查目標(biāo)臨時(shí)文件是否存在；d)管理信息系統(tǒng)發(fā)起全量或續(xù)傳指令；e)管理信息系統(tǒng)發(fā)送數(shù)據(jù)到大數(shù)據(jù)平臺(tái)；f)大數(shù)據(jù)平臺(tái)接收文件數(shù)據(jù)；g)管理信息系統(tǒng)發(fā)送數(shù)據(jù)校驗(yàn)文件；h)大數(shù)據(jù)平臺(tái)根據(jù)校驗(yàn)文件校驗(yàn)數(shù)據(jù)文件內(nèi)容；i)大數(shù)據(jù)平臺(tái)按配置的規(guī)則存儲(chǔ)接收到的數(shù)據(jù)文件；j)大數(shù)據(jù)平臺(tái)回寫(xiě)數(shù)據(jù)存儲(chǔ)狀態(tài)；k)管理信息系統(tǒng)獲取數(shù)據(jù)存儲(chǔ)狀態(tài)。DB15/T1872—202096.4.3應(yīng)用要求應(yīng)用要求如下：a)管理信息系統(tǒng)須在大數(shù)據(jù)平臺(tái)注冊(cè)并申請(qǐng)賬號(hào)；b)管理信息系統(tǒng)須按平臺(tái)協(xié)議規(guī)范開(kāi)發(fā)上傳功能；c)管理信息系統(tǒng)生成文件數(shù)據(jù)時(shí)須同時(shí)生成對(duì)應(yīng)的完整性校驗(yàn)碼；d)具體文件接收FTP服務(wù)API接口參見(jiàn)附錄D.1，具體實(shí)現(xiàn)邏輯參見(jiàn)附錄D.2。6.5文件拉取FTP服務(wù)6.5.1功能要求文件拉取FTP服務(wù)，應(yīng)提供通過(guò)訪問(wèn)FTP協(xié)議實(shí)現(xiàn)將文件數(shù)據(jù)抽取到大數(shù)據(jù)平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)的功能。文件拉取FTP服務(wù)應(yīng)具備以下主要功能：a）支持順序型斷點(diǎn)續(xù)傳功能，支持外部文件存儲(chǔ)斷點(diǎn)續(xù)傳能力的自動(dòng)識(shí)別及模式匹配；b）支持FTP服務(wù)登錄用戶名和密碼設(shè)置；c）支持文件壓縮傳輸，提供文件壓縮規(guī)則設(shè)置；d）支持文件加密傳輸，提供文件加密傳輸規(guī)則設(shè)置；e）支持設(shè)置文件同步、異步拉取，支持設(shè)置拉取并行度；f）支持指定目標(biāo)文件存儲(chǔ)位置、文件名，提供文件類(lèi)型轉(zhuǎn)換規(guī)則，支持常見(jiàn)類(lèi)型轉(zhuǎn)換；g）支持全量文件采集，支持外部數(shù)據(jù)一次性初始化導(dǎo)入；h）支持定時(shí)輪詢文件采集，采集新增的文件，支持文件列表規(guī)則過(guò)濾；i）支持圖形管理功能，支持FTP連接配置、文件源配置、文件目標(biāo)存儲(chǔ)配置、文件壓縮和加密傳輸規(guī)則配置、文件同步/異步傳輸規(guī)則配置、文件傳輸并行度配置、文件定時(shí)及實(shí)時(shí)策略配置、文件采集過(guò)濾配置。6.5.2應(yīng)用場(chǎng)景文件拉取FTP應(yīng)用場(chǎng)景見(jiàn)圖6：DB15/T1872—2020★★★★圖6文件拉取FTP服務(wù)應(yīng)用場(chǎng)景應(yīng)用場(chǎng)景描述如下：a)管理信息系統(tǒng)應(yīng)提供初始文件存儲(chǔ)位置并將業(yè)務(wù)數(shù)據(jù)寫(xiě)入到文件中；b)管理信息系統(tǒng)搭建FTP服務(wù)并為大數(shù)據(jù)平臺(tái)分配FTP賬號(hào)信息；c)大數(shù)據(jù)平臺(tái)全量文件采集提供基于FTP協(xié)議的采集任務(wù)配置，包括：存儲(chǔ)文件位置、采集文件、列表方式、是否文件校驗(yàn)、存儲(chǔ)目標(biāo)位置及文件存儲(chǔ)命名規(guī)則；d)運(yùn)行基于FTP協(xié)議的數(shù)據(jù)采集任務(wù)，包括：包括運(yùn)行的開(kāi)始時(shí)間、結(jié)束時(shí)間、運(yùn)行頻度；e)大數(shù)據(jù)平臺(tái)運(yùn)行文件采集任務(wù)，讀取文件存入大數(shù)據(jù)平臺(tái)數(shù)據(jù)存儲(chǔ)中。6.5.3應(yīng)用要求應(yīng)用要求如下：a)管理信息系統(tǒng)須先將業(yè)務(wù)數(shù)據(jù)保存為文件，并設(shè)置訪問(wèn)權(quán)限；b)數(shù)據(jù)文件可通過(guò)FTP協(xié)議訪問(wèn)；c)管理信息系統(tǒng)生成文件數(shù)據(jù)時(shí)須同時(shí)生成對(duì)應(yīng)的完整性校驗(yàn)碼；d)具體文件拉取FTP服務(wù)API接口參見(jiàn)附錄E.1，具體實(shí)現(xiàn)邏輯參見(jiàn)附錄E.2。6.6直報(bào)系統(tǒng)6.6.1功能要求直報(bào)系統(tǒng)是大數(shù)據(jù)平臺(tái)為各數(shù)據(jù)接入單位提供的在線填寫(xiě)、上傳。直報(bào)系統(tǒng)應(yīng)具備以下主要功能：a)支持?jǐn)?shù)據(jù)接入單位注冊(cè)功能，支持管理單位用戶審批功能，支持管理單位為用戶分配權(quán)限功能；b)支持用戶僅能同時(shí)登錄一次功能；c)支持模板管理功能，應(yīng)具備模板的新增、刪除、修改、搜索操作功能；d)支持模板下載、數(shù)據(jù)上傳、數(shù)據(jù)提交操作功能；DB15/T1872—2020e)應(yīng)提供完善的日志和審計(jì)能力，可以記錄各數(shù)據(jù)接入單位在數(shù)據(jù)配置及直報(bào)運(yùn)行時(shí)發(fā)生的各種事件；f)應(yīng)具備熔斷管理機(jī)制，保證服務(wù)整體可用，是直報(bào)系統(tǒng)訪問(wèn)異常情況下的處理策略。6.6.2非功能要求直報(bào)系統(tǒng)應(yīng)滿足以下非功能性要求：a)直報(bào)系統(tǒng)需支持主流的瀏覽器版本；b)直報(bào)系統(tǒng)網(wǎng)絡(luò)需支持互聯(lián)網(wǎng)、政務(wù)網(wǎng)；c)數(shù)據(jù)上傳速度不少于5M/秒；d)系統(tǒng)響應(yīng)時(shí)間在200并發(fā)下不低于3秒。6.6.3應(yīng)用場(chǎng)景直報(bào)系統(tǒng)應(yīng)用場(chǎng)景見(jiàn)圖7：★★★★★★★★★圖7直報(bào)系統(tǒng)應(yīng)用場(chǎng)景應(yīng)用場(chǎng)景說(shuō)明如下：a)數(shù)據(jù)接入單位用戶打開(kāi)瀏覽器；b)在地址欄輸入大數(shù)據(jù)平臺(tái)提供的直報(bào)系統(tǒng)訪問(wèn)地址，首次使用按照指引進(jìn)行用戶在線注冊(cè)（非首次使用直接到ec)大數(shù)據(jù)平臺(tái)管理員進(jìn)行用戶合法性審批；d)審批通過(guò)后為注冊(cè)用戶分配權(quán)限并根據(jù)業(yè)務(wù)需求制定數(shù)據(jù)模板；DB15/T1872—2020e)數(shù)據(jù)接入單位用戶登錄直報(bào)系統(tǒng)后下載模板文件，并根據(jù)模板填寫(xiě)需上報(bào)的具體數(shù)據(jù)；f)數(shù)據(jù)接入單位用戶根據(jù)模板填寫(xiě)完成后在直報(bào)系統(tǒng)中直接上傳數(shù)據(jù)文件并提交，直報(bào)系統(tǒng)收到數(shù)據(jù)接入單位用戶上傳請(qǐng)求后進(jìn)行數(shù)據(jù)格式校驗(yàn)，校驗(yàn)通過(guò)后抽取數(shù)據(jù)到平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)中。6.6.4應(yīng)用要求應(yīng)用要求如下：a)對(duì)信息化建設(shè)較弱且有計(jì)算機(jī)基本操作知識(shí)的數(shù)據(jù)接入單位用戶提供；b)大數(shù)據(jù)平臺(tái)應(yīng)提供直報(bào)系統(tǒng)的訪問(wèn)地址、操作手冊(cè)，酌情組織、安排定期培訓(xùn)以普及直報(bào)系統(tǒng)的使用流程。7安全要求安全要求須滿足GB/T35274規(guī)范中“數(shù)據(jù)服務(wù)安全要求”。DB15/T1872—2020附錄A（資料性附錄）關(guān)系數(shù)據(jù)庫(kù)抽取接入說(shuō)明關(guān)系數(shù)據(jù)庫(kù)抽取通過(guò)大數(shù)據(jù)平臺(tái)提供的Web界面進(jìn)行操作，完成數(shù)據(jù)接入操作。關(guān)系數(shù)據(jù)庫(kù)應(yīng)用流程見(jiàn)圖A.1：★★★★否否★是★行★—a—★—a—★圖A.1關(guān)系數(shù)據(jù)庫(kù)應(yīng)用流程應(yīng)用流程描述如下：a)大數(shù)據(jù)平臺(tái)配置執(zhí)行器，用于作業(yè)調(diào)度執(zhí)行的服務(wù)；g)配置數(shù)據(jù)源，分別配置源數(shù)據(jù)庫(kù)及目標(biāo)數(shù)據(jù)庫(kù)。根據(jù)業(yè)務(wù)源端的數(shù)據(jù)庫(kù)的IP、端口、實(shí)例名、用戶名、密碼，進(jìn)行數(shù)據(jù)源鏈接配置，抽取數(shù)據(jù)庫(kù)用戶所屬的表、字段信息，目標(biāo)端數(shù)據(jù)庫(kù)配置，配置抽取目標(biāo)數(shù)據(jù)庫(kù)信息配置，包括目標(biāo)數(shù)據(jù)庫(kù)的IP、端口、用戶名、密碼、數(shù)據(jù)庫(kù)名；h)配置任務(wù)，配置源端與目標(biāo)端字段對(duì)應(yīng)關(guān)系、是否抽取、格式化公式等，一個(gè)抽取可配置多個(gè)任務(wù)；i)配置作業(yè)，根據(jù)抽取任務(wù)執(zhí)行的先后順序配置成作業(yè)；j)立即執(zhí)行傳輸，手動(dòng)開(kāi)啟作業(yè)輸立即執(zhí)行；k)作業(yè)調(diào)度配置與執(zhí)行，將數(shù)據(jù)庫(kù)抽取配置為作業(yè)，支持配置抽取作業(yè)的執(zhí)行策略，包括作業(yè)開(kāi)始時(shí)間、結(jié)束時(shí)間、運(yùn)行頻率等；l)執(zhí)行日志查看，提供作業(yè)執(zhí)行結(jié)果信息查看，包括作業(yè)開(kāi)始執(zhí)行時(shí)間、結(jié)束時(shí)間、運(yùn)行時(shí)長(zhǎng)、作業(yè)狀態(tài)、運(yùn)行結(jié)果、日志詳情等。DB15/T1872—2020（資料性附錄）服務(wù)網(wǎng)關(guān)服務(wù)接入說(shuō)明B.1服務(wù)網(wǎng)關(guān)服務(wù)應(yīng)用流程通過(guò)大數(shù)據(jù)平臺(tái)的服務(wù)網(wǎng)關(guān)服務(wù)提供的Web界面進(jìn)行操作。首先服務(wù)網(wǎng)關(guān)服務(wù)錄入接口信息，然后通過(guò)服務(wù)編排進(jìn)行接口的編排，生成新的數(shù)據(jù)接口進(jìn)行調(diào)度發(fā)布。服務(wù)網(wǎng)關(guān)服務(wù)應(yīng)用流程見(jiàn)圖B.1：開(kāi)始開(kāi)始★★★★★★★圖B.1服務(wù)網(wǎng)關(guān)服務(wù)應(yīng)用流程應(yīng)用流程描述如下：a)根據(jù)數(shù)據(jù)源提供的數(shù)據(jù)接口地址、請(qǐng)求方式、請(qǐng)求頭配置、傳輸協(xié)議、請(qǐng)求參數(shù)信息在服務(wù)網(wǎng)關(guān)進(jìn)行數(shù)據(jù)接口的登記、熔斷保護(hù)配置及測(cè)試驗(yàn)證；b)針對(duì)登記的接口信息進(jìn)行服務(wù)編排，定義接口的輸入?yún)?shù)、輸出參數(shù)、請(qǐng)求頭等信息，并生成新的接口地址；DB15/T1872—2020（資料性附錄）實(shí)時(shí)消息隊(duì)列接入說(shuō)明C.1實(shí)時(shí)消息隊(duì)列應(yīng)用流程管理信息系統(tǒng)通過(guò)Java代碼開(kāi)發(fā)方式調(diào)用大數(shù)據(jù)平臺(tái)提供的實(shí)時(shí)消息隊(duì)列API接口，往消息隊(duì)列主題中發(fā)送數(shù)據(jù)。實(shí)時(shí)消息隊(duì)列應(yīng)用流程見(jiàn)圖C.1：開(kāi)始開(kāi)始2.大數(shù)據(jù)平臺(tái)創(chuàng)建相應(yīng)的消★★1.大數(shù)據(jù)平臺(tái)與管理信息2.大數(shù)據(jù)平臺(tái)創(chuàng)建相應(yīng)的消★★1.大數(shù)據(jù)平臺(tái)與管理信息★★3.管理信息系統(tǒng)應(yīng)用方開(kāi)發(fā)程序調(diào)用大數(shù)據(jù)平臺(tái)實(shí)時(shí)消息★3.管理信息系統(tǒng)應(yīng)用方開(kāi)發(fā)程序調(diào)用大數(shù)據(jù)平臺(tái)實(shí)時(shí)消息隊(duì)列API，封裝數(shù)據(jù)發(fā)送消息圖C.1實(shí)時(shí)消息隊(duì)列應(yīng)用流程說(shuō)明：1.大數(shù)據(jù)平臺(tái)與管理信息系統(tǒng)應(yīng)用方約定消息隊(duì)列主題名稱；2.大數(shù)據(jù)平臺(tái)在大數(shù)據(jù)集群中創(chuàng)建相應(yīng)的消息隊(duì)列主題；3.管理信息系統(tǒng)開(kāi)發(fā)程序調(diào)用大數(shù)據(jù)平臺(tái)實(shí)時(shí)消息隊(duì)列API，封裝數(shù)據(jù)往消息隊(duì)列主題中發(fā)送消DB15/T1872—2020（資料性附錄）文件接收FTP服務(wù)接入說(shuō)明文件接收FTP服務(wù)接口見(jiàn)表D.1：表D.1D.1文件接收FTP服務(wù)接口見(jiàn)表D.1：表D.1123D.2文件接收FTP服務(wù)示例管理信息系統(tǒng)在生成好文件后，編寫(xiě)代碼實(shí)現(xiàn)上傳文件到大數(shù)據(jù)平臺(tái)的FTP服務(wù)中，調(diào)用服務(wù)示例（Java）見(jiàn)表D.2：表D.2文件接收FTP服務(wù)示例ftpClient=newFTPClient();ftpClient.login(username,intreplyCode=ftpCSystem.out.println("connectfailed...ftp服務(wù)器:"+e.printStackTrace();e.printStackTrace();DB15/T1872—2020}}System.out.println("開(kāi)始上傳initFtpClient();ftpClient.setFileType(FTP.BINARYftpClient.storeFile(fileNamftpClient.logout();System.out.println("上傳文件System.out.println("上傳文件e.printStackTrace();ftpClient.disconnect();e.printStackTrace();}}e.printStackTrace();}}}returntrue;};booleansuccess=true;