第一章項(xiàng)目概 項(xiàng)目名 項(xiàng)目建設(shè)單 項(xiàng)目建設(shè)內(nèi)容、建設(shè) 建設(shè)內(nèi) 建設(shè)周 第二章項(xiàng)目建設(shè)方 XX氣象+大數(shù)據(jù)平臺(tái)建 建設(shè)內(nèi) 氣象+大數(shù)據(jù)平臺(tái)PaaS 氣象+大數(shù)據(jù)資源層建 數(shù)據(jù)及系統(tǒng)遷移方案設(shè) 信息安全系統(tǒng)設(shè) 概 系統(tǒng)定 系統(tǒng)安全建設(shè)原 安全保障策略設(shè) 備份系統(tǒng)設(shè) 數(shù)字XX云平臺(tái)安 平臺(tái)全可控設(shè) 國(guó)產(chǎn)化軟件適 國(guó)產(chǎn)密 物理層 網(wǎng)絡(luò)層 應(yīng)用和數(shù)據(jù)層 終 商用密碼產(chǎn)品清 運(yùn)行維護(hù)方案設(shè) 運(yùn)行維護(hù)主要內(nèi) 其他需要說(shuō)明的問(wèn) 第三章項(xiàng)目組織機(jī)構(gòu)和人員培 培訓(xùn)目 培訓(xùn)目 培訓(xùn)原 培訓(xùn)方 培訓(xùn)內(nèi) 培訓(xùn)計(jì) 培訓(xùn)地 附表1XX氣象+大數(shù)據(jù)平臺(tái)系統(tǒng)開(kāi)發(fā)內(nèi) 附表2數(shù)據(jù)及系統(tǒng)遷移內(nèi) PAGE1頁(yè)共114第一章項(xiàng)目概述年力爭(zhēng)建成3PB多源氣象+大數(shù)據(jù)存儲(chǔ)和“數(shù)算一體”XX氣象+大數(shù)據(jù)平臺(tái)，支撐“云++表1.3- +12數(shù)據(jù)管理，數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)設(shè)計(jì)，數(shù)據(jù)存儲(chǔ)模塊（分，34PAGEPAGE10頁(yè)共1145氣象+大數(shù)據(jù)容器化應(yīng)用6789結(jié)合目前現(xiàn)狀以及“四天”業(yè)務(wù)規(guī)劃，編制數(shù)據(jù)遷移計(jì)劃、明確數(shù)據(jù)遷移對(duì)象并進(jìn)行遷移實(shí)施。完成現(xiàn)有數(shù)據(jù)服務(wù)平臺(tái)的遷移，包括數(shù)據(jù)環(huán)境遷移、數(shù)據(jù)服務(wù)接口遷移、歷史氣象數(shù)據(jù)和產(chǎn)品遷移。遷移IT行IT12-24第二章項(xiàng)目建設(shè)方案表2- XX氣象+大數(shù)據(jù)平臺(tái)建設(shè)內(nèi)容1PaaS層2分布式計(jì)算服務(wù)化引擎，通過(guò)將大數(shù)據(jù)處理、分析計(jì)算的能力以Rest支持負(fù)載均衡、容錯(cuò)的計(jì)算服務(wù)接口，提供Rest可通過(guò)api透明調(diào)用緩存數(shù)據(jù)；2-1其中數(shù)據(jù)處理模塊以及數(shù)據(jù)采集模塊本項(xiàng)目根據(jù)XX市大數(shù)據(jù)信息化項(xiàng)目建設(shè)要求，此類功能采用購(gòu)買商業(yè)現(xiàn)貨軟件或者租用XX市城市智能中樞核心能力平臺(tái)的業(yè)務(wù)協(xié)同服務(wù)、I2-2序號(hào)1-2-序號(hào)3-ETL統(tǒng)計(jì)、30日數(shù)據(jù)量走勢(shì)、前十?dāng)?shù)據(jù)接入狀況和24小時(shí)作業(yè)失敗分布圖。為開(kāi)發(fā)人員提供所見(jiàn)即所得的數(shù)據(jù)清洗、即時(shí)查看清洗結(jié)果的功能；通過(guò)可視化ETL平臺(tái)，開(kāi)發(fā)人員可最大限UIETL即可在ETL流程中進(jìn)行使用；系統(tǒng)提供函數(shù)權(quán)限管理功能，用戶可對(duì)函數(shù)設(shè)置使用權(quán)限。python、sqlOLTP、OLAP、數(shù)據(jù)挖表2- 1非結(jié)構(gòu)化數(shù)據(jù)文件類型ID數(shù)據(jù)文件元數(shù)據(jù)解析：類型ID2 14FTP接收CTS22FTP、SFTP、HTTP、TCP、UDP支持包括MySQL、ORACLEHive、HBase等NoSQL43采集Oracle采集CTS2采集MDOS表2- 123456789表2- 112103146566XXGNSSMET78天96121268天12設(shè)計(jì)、數(shù)據(jù)存儲(chǔ)、存儲(chǔ)容量管理以及存儲(chǔ)趨勢(shì)分析等5個(gè)功能模塊，實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)和管理

圖2- 2-7數(shù)據(jù)管理模塊功能表125.2-812分布式NoSQL34567非結(jié)構(gòu)化數(shù)據(jù)主要包括文件存儲(chǔ)和數(shù)據(jù)塊存儲(chǔ)兩種形式。其中，文件存儲(chǔ)的結(jié)構(gòu)主要定義文件目錄組織和文件索引結(jié)構(gòu)，此外，對(duì)其中的網(wǎng)格類數(shù)據(jù)還要定義其內(nèi)容格式，包括實(shí)布式文件系統(tǒng)4種存儲(chǔ)方式。據(jù)倉(cāng)庫(kù)作為結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)方案，用于OLAP、數(shù)據(jù)挖掘、深度學(xué)習(xí)等應(yīng)用場(chǎng)景。表2- 12數(shù)據(jù)倉(cāng)庫(kù)具備高可用性、高時(shí)效性等特性，提供統(tǒng)一的支持OLAP數(shù)據(jù)倉(cāng)庫(kù)支持標(biāo)準(zhǔn)SQL3HTTPRest存儲(chǔ)對(duì)象可直接通過(guò)http進(jìn)行瀏覽及下載，可自定義分享對(duì)象URL支持使用MapReduce4kerberos對(duì)外提供統(tǒng)一HTTPRest文件存儲(chǔ)及下載接口；分布式文件系統(tǒng)提供2-3表2- 序號(hào)1-統(tǒng)2-表2- 1數(shù)據(jù)標(biāo)準(zhǔn)管理功能立足于從全局制定企業(yè)的各項(xiàng)數(shù)據(jù)標(biāo)準(zhǔn)內(nèi)容，為數(shù)據(jù)標(biāo)準(zhǔn)提供錄入、使用以及管理的功能，并具備全生命周期的數(shù)據(jù)標(biāo)準(zhǔn)管理能力。從具體執(zhí)行層面應(yīng)支持多元2-11數(shù)據(jù)質(zhì)量控制模塊功能表1針對(duì)數(shù)據(jù)庫(kù)數(shù)據(jù)源，可設(shè)置數(shù)據(jù)過(guò)濾SQL針對(duì)表2- 1圖2- 通用算法模塊包括算法建庫(kù)功能、數(shù)據(jù)挖掘功能和機(jī)器學(xué)習(xí)功能，建設(shè)基于開(kāi)源軟件的分布式計(jì)算框架和深度學(xué)習(xí)框架，為全局提供數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的分布式計(jì)算平臺(tái)，提供2-13氣象要素觀測(cè)數(shù)據(jù)類別表風(fēng)2分鐘風(fēng)向、2分鐘平均風(fēng)速、10分鐘風(fēng)向、10分鐘平均風(fēng)速、小時(shí)最大風(fēng)速間時(shí)間尺度：5分鐘、103013小時(shí)、61224小時(shí)，以及表2- 風(fēng)6126361208表2- 分鐘云表2- 風(fēng)分鐘表2- （035風(fēng)月平均風(fēng)速（2分鐘）、月最大風(fēng)速及出現(xiàn)日期、月最大風(fēng)速的風(fēng)向、月極降雨量及出現(xiàn)日期；日降水量（≥0.1mm、≥1mm、≥5mm、≥10mm云（≥1cm、≥5cm、≥10cm、≥20cm、≥30cm）月日照時(shí)數(shù)、月日照百分率，日照百分率≥60表2- 風(fēng)分鐘表2- 風(fēng)年平均風(fēng)速（2）、年最大風(fēng)速及出現(xiàn)月日、年最大風(fēng)速的風(fēng)向、年極年降水量（20-2008-08）、年最大日降水量及出現(xiàn)月日、年最大小25mm、≥m、≥mm）日數(shù)；年最長(zhǎng)連續(xù)5（、、、0分鐘（年、云能見(jiàn)度﹤10km﹤5km﹤1km率≥5cm、≥10cm、≥20cm、≥30cm）年日照時(shí)數(shù)、年日照百分率、日照百分率≥60表2- 風(fēng)各季節(jié)內(nèi)：平均風(fēng)速（2）、最大風(fēng)速及出現(xiàn)月日、最大風(fēng)速的風(fēng)向、極大風(fēng)速及出現(xiàn)月日、極大風(fēng)速的風(fēng)向、最大風(fēng)速（≥5m/s、≥10m/s各季節(jié)內(nèi)：降水量（20-20時(shí)、08-08時(shí)）、最大日降水量及出現(xiàn)月日、最段（5、10、15、20、30、45、60、90、120、180、240、360、540分鐘 表2- 低溫注：2020.04.01實(shí)現(xiàn)任意時(shí)段降雨的快速統(tǒng)計(jì)。如查詢2016/3/221:16:002018/7/120:30:00計(jì),則根據(jù)2016/3/200-20小時(shí)降雨+2016/3/221:00-21:10的十分鐘降雨+2016/3/221:16:002016/3/32016/3/312016/4-2016/122017雨+2018/1-2018/62018/7/100-202018/7/120:00-3010表2- 25類X該系統(tǒng)是數(shù)據(jù)服務(wù)化的基礎(chǔ)，作為氣象+大數(shù)據(jù)平臺(tái)PaaS行政數(shù)據(jù)智能填報(bào)系統(tǒng)是實(shí)現(xiàn)各類行政數(shù)據(jù)定時(shí)填報(bào)、周期填報(bào)、臨時(shí)填報(bào)的系統(tǒng)，可圖2- 氣象+大數(shù)據(jù)容器化應(yīng)用管理子系統(tǒng)組成成后自動(dòng)生成標(biāo)簽。繼而到自動(dòng)發(fā)布測(cè)試版本，基于測(cè)試環(huán)境全面測(cè)試，不斷進(jìn)行版本自動(dòng)化迭代以優(yōu)化測(cè)試中發(fā)現(xiàn)的bug。最終形成正式版本，通過(guò)人機(jī)交互的方式進(jìn)行正式版本的eUI調(diào)度系統(tǒng)提供運(yùn)行監(jiān)控統(tǒng)計(jì)，支持按月、按日、按天、按小時(shí)、用戶、運(yùn)行狀態(tài)等多維圖2- 氣象+大數(shù)據(jù)接口服務(wù)子系統(tǒng)功能表2- 1URL獲取各業(yè)務(wù)中心所要的結(jié)果。業(yè)務(wù)功能服務(wù)接口運(yùn)行最大時(shí)間不超過(guò)0.5秒。2-241234APIAPIAPI網(wǎng)關(guān)打通，支持將API服務(wù)一鍵發(fā)布至APIServerlessAPI2-25業(yè)務(wù)功能服務(wù)接口完善表1上傳文件：指定文件存儲(chǔ)路徑和文件名，HttpBody文件是否存在：指定文件或目錄名，返回true或fasle。2bucket及目錄keybucket及文件key，HttpBody刪除文件或目錄：指定bucket、文件或目錄keybucketkeykey、分頁(yè)、目錄范圍、文件名前綴、分頁(yè)數(shù)；返回該目錄下匹配的文件key文件下載：指定文件key，返回文件字節(jié)流。3提供分布式關(guān)系型數(shù)據(jù)庫(kù)、NoSQL查詢數(shù)據(jù)：執(zhí)行sql4提供氣象+多源數(shù)據(jù)及產(chǎn)品提供各種場(chǎng)景的數(shù)據(jù)查詢、統(tǒng)計(jì)及下載。5TokenTokenToken據(jù)服務(wù)認(rèn)證中心，提交用戶、密碼信息獲取授權(quán)Token用于服務(wù)訪問(wèn)。Token制機(jī)制；支持Token與IP、請(qǐng)求等綁定；支持Token過(guò)期時(shí)限設(shè)置。數(shù)據(jù)服務(wù)通過(guò)服務(wù)管控系統(tǒng)整個(gè)過(guò)程如下：用戶通過(guò)代理服務(wù)地址與授權(quán)Token發(fā)起請(qǐng)求，服務(wù)代理中心與服務(wù)認(rèn)證中心通訊，認(rèn)證用戶Token是否具有該服務(wù)訪問(wèn)權(quán)限；認(rèn)證通模塊的配置、管理以及運(yùn)維監(jiān)視，確保整個(gè)平臺(tái)的高效穩(wěn)定運(yùn)行。運(yùn)維管理系統(tǒng)包括平臺(tái)管2-7運(yùn)維管理子系統(tǒng)組成圖2-26序號(hào)能力—二級(jí)三級(jí)能力1共性身份-權(quán)限支持wtouh2RC數(shù)據(jù)權(quán)限控制等權(quán)限管理。支持可視化在線配置功能權(quán)限以及在線數(shù)據(jù)權(quán)限建模、數(shù)據(jù)權(quán)限規(guī)則定義授權(quán)等操RC義動(dòng)態(tài)角色控制以及接口第功能權(quán)限、數(shù)據(jù)權(quán)限、接口授權(quán)等序號(hào)能力—二級(jí)三級(jí)能力2共性身份-應(yīng)用身份中臺(tái)服務(wù)。IDaaS支持SAML、OIDC、CAS釘通訊錄、AD、HR系統(tǒng)等份權(quán)限管理和應(yīng)用訪問(wèn)控企業(yè)應(yīng)用單點(diǎn)登錄、統(tǒng)一用戶目錄、統(tǒng)一身份認(rèn)證、集中訪問(wèn)授權(quán)、統(tǒng)一行對(duì)用戶的基本信息進(jìn)行管理，包括新用戶信息的增加、編輯、刪除、修改等功能，用戶表2- 1采集的信息包括IP、機(jī)器名、操作系統(tǒng)、CPU、內(nèi)存使用率、磁盤使用率、磁盤I/O狀態(tài)、網(wǎng)絡(luò)I/O等，并統(tǒng)一通過(guò)運(yùn)維平臺(tái)展示。占用的2支持參數(shù)導(dǎo)出EXCEL和多種圖片格式。能夠按照業(yè)務(wù)系統(tǒng)、部門、操作系統(tǒng)、設(shè)備類型、IP地址以及自定3告警設(shè)置、關(guān)鍵進(jìn)程告警設(shè)置、存儲(chǔ)告警設(shè)置、告警方式（SQL（包括2-28數(shù)據(jù)庫(kù)監(jiān)視模塊功能表1支持采集目前主要的數(shù)據(jù)庫(kù)(MySQLCanssandra、HBase、Hive數(shù)據(jù)庫(kù)狀態(tài)告警告警支持查詢數(shù)據(jù)庫(kù)所有SQL23表2- 1234表2- 1能夠采集分析多種形式的日志，如MySQL、文本等多種形式；2環(huán)節(jié)服務(wù)器的基本信息（IP）、各環(huán)節(jié)狀態(tài)是否正常等。32-30服務(wù)接口監(jiān)視模塊功能表122-82-31序號(hào)序號(hào)1-（RsteotctR）P、NAAPP線上2-對(duì)網(wǎng)站和APP的用戶登錄序號(hào)3-（th）p、4-生物識(shí)別技術(shù)、證件OCR5-（extMdetnSst，M）I接序號(hào)6-mMdetnStmM）7-序號(hào)8-社交App9-/5/I系統(tǒng)UI表2- 、內(nèi)存，可用的1按數(shù)據(jù)存儲(chǔ)方式（對(duì)象存儲(chǔ)、塊存儲(chǔ)、數(shù)據(jù)庫(kù)存儲(chǔ)）2戶后，再關(guān)聯(lián)相對(duì)應(yīng)的ITITITITIT云主機(jī)申請(qǐng)全流程：系統(tǒng)內(nèi)置主流的Linux操作系統(tǒng)模版，如IP；用戶提交申請(qǐng)到管理員，管平臺(tái)管理實(shí)現(xiàn)XX氣象+大數(shù)據(jù)平臺(tái)73源詳見(jiàn)1.6.2、1.6.3、1.6.745索示6接口性能分析（接口耗時(shí)分布、成功率；通過(guò)對(duì)耗時(shí)長(zhǎng)的接口；）。接口性能分析（78航用戶使用中遇到問(wèn)題，或者發(fā)現(xiàn)平臺(tái)的BUG，可以通過(guò)網(wǎng)頁(yè)提9示12個(gè)月溫度和降雨變化；24SWAN雷達(dá)拼圖：展示XX當(dāng)天SWAN雷達(dá)拼圖觀測(cè)信息和4主機(jī)連接數(shù)TOP5CPUTOP5：分別從主機(jī)和虛擬機(jī)方面的利用率5；風(fēng)險(xiǎn)服務(wù)器TOP5：根據(jù)服務(wù)器風(fēng)險(xiǎn)等級(jí)排行，展示前5條數(shù)平臺(tái)存儲(chǔ)XX本地近1年結(jié)構(gòu)化數(shù)據(jù)以及所有非結(jié)構(gòu)化對(duì)象存儲(chǔ)類數(shù)據(jù)，以滿足數(shù)據(jù)融XX市市級(jí)政務(wù)數(shù)據(jù)資源共享系統(tǒng)共享數(shù)據(jù)。氣象+大數(shù)據(jù)平臺(tái)PaaS據(jù)匯聚并形成貼近業(yè)務(wù)系統(tǒng)的匯聚庫(kù)數(shù)據(jù)，并將歸集數(shù)據(jù)進(jìn)行ETL整合，進(jìn)行數(shù)據(jù)治理形成2-33數(shù)據(jù)匯聚對(duì)象表123456789索引的一個(gè)主要目的就是加快檢索表中數(shù)據(jù)，亦即能協(xié)助信息搜索者盡快的找到符合限制條件的記錄ID限于附表2。圖2-

圖2- 表2- 保護(hù)2.0標(biāo)準(zhǔn)第三級(jí)要求進(jìn)行防護(hù)。7表2- 序號(hào)12345資源集合，主要報(bào)VFW、VIPS、VWAF、VLB6序號(hào)7X86要領(lǐng)域密碼應(yīng)用與創(chuàng)新發(fā)展工作規(guī)劃（20182022））的通知》（廳字〔2018]36）正常使用的關(guān)鍵因素之一，主要通過(guò)部署具有國(guó)密產(chǎn)品型號(hào)資質(zhì)的SSLVPN正常使用的關(guān)鍵因素之一，主要通過(guò)部署具有國(guó)密產(chǎn)品型號(hào)資質(zhì)的SSLVPN器來(lái)解決。依賴國(guó)密SSLSSLVPN關(guān)產(chǎn)品符合《安全認(rèn)證網(wǎng)關(guān)產(chǎn)品規(guī)范》（GM/T0026）標(biāo)準(zhǔn)。信息加密、信息傳輸完整性保護(hù)）、信道加密（基于國(guó)密的SSL）。表2- 編號(hào)12國(guó)密VPN34567國(guó)密家編號(hào)8家9家服務(wù)網(wǎng)點(diǎn)運(yùn)維。對(duì)氣象+大數(shù)據(jù)平臺(tái)服務(wù)網(wǎng)點(diǎn)內(nèi)的IT設(shè)備、終端以及內(nèi)部網(wǎng)絡(luò)進(jìn)行第三章項(xiàng)目組織機(jī)構(gòu)和人員培訓(xùn)良表3- 1基本建設(shè)程序、相關(guān)政策法管理5312項(xiàng)目相關(guān)313項(xiàng)目相關(guān)314技術(shù)5總體技術(shù)技術(shù)32人期6氣象+大數(shù)據(jù)平臺(tái)應(yīng)用使用技術(shù)32、、9999頁(yè)共11411氣象+大數(shù)據(jù)、、PAGEPAGE100頁(yè)共114氣象+大數(shù)據(jù)可ETL2氣象+大數(shù)據(jù)對(duì)象存儲(chǔ)、分布式文件系統(tǒng)4種存儲(chǔ)方式。3氣象+大數(shù)據(jù)4氣象+大數(shù)據(jù)塊基于分布式架構(gòu)的地面常規(guī)氣象數(shù)據(jù)統(tǒng)計(jì)模塊實(shí)現(xiàn)多時(shí)間尺度和任意時(shí)段基于分布式計(jì)算框架的氣象產(chǎn)品加工模塊主要為用戶提供一個(gè)直觀的氣象塊5氣象+大數(shù)據(jù)理置，通過(guò)授權(quán)T