智慧城市大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案XX智慧城市大數(shù)據(jù)共享交換平臺(tái)建設(shè)方案第一章需求分析和項(xiàng)目建設(shè)的必要性 41.1項(xiàng)目建設(shè)目標(biāo)、內(nèi)容 41.1.1項(xiàng)目建設(shè)目標(biāo) 41.1.2項(xiàng)目建設(shè)內(nèi)容 41.2編制依據(jù) 61.3與政務(wù)職能相關(guān)的社會(huì)問(wèn)題和政務(wù)目標(biāo)分析 71.3.1社會(huì)問(wèn)題分析 71.3.2政務(wù)目標(biāo)分析 91.4業(yè)務(wù)功能、業(yè)務(wù)流程和業(yè)務(wù)量分析 1.4.1用戶角色分析 1.4.2業(yè)務(wù)功能分析 1.4.3業(yè)務(wù)流程 1.4.4業(yè)務(wù)量分析 1.5信息量分析和預(yù)測(cè) 1.5.1存儲(chǔ)量分析 1.5.2處理量分析 1.5.3網(wǎng)絡(luò)流量分析 221.6系統(tǒng)功能和性能需求分析 1.6.1系統(tǒng)功能指標(biāo) 1.6.2系統(tǒng)性能指標(biāo) 1.7信息系統(tǒng)裝備和應(yīng)用現(xiàn)狀與差距 271.7.1現(xiàn)狀 1.7.2差距 1.8項(xiàng)目建設(shè)的必要性 第二章總體建設(shè)方案 302.1建設(shè)原則 2.1.1統(tǒng)一性原則 2.1.2可靠性原則 2.1.3可伸縮和可擴(kuò)展性原則 2.1.4開(kāi)放性原則 2.1.5安全性原則 2.1.6高效性原則 2.1.7友好性原則 XX智慧城市大數(shù)據(jù)共享交換平臺(tái)建設(shè)方案-Il-2.1.8可管理易維護(hù)性 2.2總體目標(biāo)與分期目標(biāo) 2.3總體建設(shè)任務(wù)與分期建設(shè)內(nèi)容 2.4總體設(shè)計(jì)方案 2.4.1基礎(chǔ)設(shè)施層 2.4.2信息資源層 2.4.3應(yīng)用支撐層 2.4.4應(yīng)用層 2.4.6安全保障體系 2.4.7標(biāo)準(zhǔn)規(guī)范體系 40第三章項(xiàng)目建設(shè)方案 413.1標(biāo)準(zhǔn)規(guī)范建設(shè) 3.1.1管理制度建設(shè) 413.1.2標(biāo)準(zhǔn)規(guī)范建設(shè) 453.1.3數(shù)據(jù)標(biāo)準(zhǔn)建設(shè) 3.1.4標(biāo)準(zhǔn)規(guī)范索引 3.2信息資源規(guī)劃和數(shù)據(jù)庫(kù)設(shè)計(jì) 3.2.1信息資源規(guī)劃 3.2.2數(shù)據(jù)中心建設(shè) 3.3門(mén)戶系統(tǒng)建設(shè) 3.3.1信息資源政務(wù)門(mén)戶 3.3.2信息資源開(kāi)放門(mén)戶 783.4應(yīng)用系統(tǒng)建設(shè) 3.4.1數(shù)據(jù)匯聚平臺(tái) 3.4.2數(shù)據(jù)治理平臺(tái) 3.4.3數(shù)據(jù)運(yùn)營(yíng)平臺(tái) 3.4.4數(shù)據(jù)應(yīng)用平臺(tái) 3.5四大基礎(chǔ)數(shù)據(jù)庫(kù)管理平臺(tái) 3.5.1人口庫(kù) 3.5.2法人庫(kù) 3.5.3經(jīng)濟(jì)庫(kù) 3.5.4地理庫(kù) 3.6應(yīng)用支撐系統(tǒng)設(shè)計(jì) 3.6.1統(tǒng)一用戶管理 3.6.2統(tǒng)一應(yīng)用管理 3.6.3統(tǒng)一服務(wù)管理 3.6.4統(tǒng)一消息服務(wù) 3.6.5統(tǒng)一日志服務(wù) 3.7安全保障體系建設(shè) 3.7.1建設(shè)目標(biāo) 3.7.2安全體系架構(gòu) 3.7.3安全防護(hù)體系建設(shè) 3.7.4安全管理體系建設(shè) 3.8主要軟硬件選型原則和詳細(xì)軟硬件配置清單 3.8.1主要軟硬件選型原則 3.8.2詳細(xì)軟硬件配置清單 第四章效益分析 4.1經(jīng)濟(jì)效益 4.2社會(huì)效益 第五章項(xiàng)目風(fēng)險(xiǎn)與風(fēng)險(xiǎn)管理 5.1風(fēng)險(xiǎn)識(shí)別和分析 5.1.1組織風(fēng)險(xiǎn) 5.1.2管理風(fēng)險(xiǎn) 5.1.3業(yè)務(wù)風(fēng)險(xiǎn) 5.1.4技術(shù)風(fēng)險(xiǎn) 5.2風(fēng)險(xiǎn)對(duì)策和管理 5.2.1組織風(fēng)險(xiǎn)防范對(duì)策 5.2.2管理風(fēng)險(xiǎn)防范對(duì)策 5.2.3業(yè)務(wù)風(fēng)險(xiǎn)防范對(duì)策 5.2.4技術(shù)風(fēng)險(xiǎn)防范對(duì)策 第一章需求分析和項(xiàng)目建設(shè)的必要性1.2編制依據(jù)(發(fā)改高技〔2012〕1202號(hào));部分政府?dāng)?shù)據(jù)(例如：交通、社保、稅收等),屬于結(jié)構(gòu)化數(shù)據(jù)，距8截至2014年，中國(guó)共有664個(gè)城市，2852個(gè)行政縣，40446率已經(jīng)達(dá)到70%。據(jù)粗略估算，全國(guó)政府大數(shù)據(jù)加起來(lái)相當(dāng)于數(shù)百達(dá)指令—執(zhí)行—反饋的“閉環(huán)過(guò)程”,需要借助社會(huì)各方面力量參1.4業(yè)務(wù)功能、業(yè)務(wù)流程和業(yè)務(wù)量分析1.4.1用戶角色分析從級(jí)沖區(qū)增單將流條增數(shù)據(jù)插入需況中m大南生接豆至段業(yè)務(wù)量分析可以從平臺(tái)交互量、每天總用戶數(shù)(個(gè))、每天每個(gè)用戶平均執(zhí)行操作數(shù)、高峰時(shí)段交互量占全天交互量的百分比、高峰時(shí)段持續(xù)時(shí)間(小時(shí))、高峰時(shí)段在線用戶數(shù)(個(gè))等方面指標(biāo)進(jìn)行綜合估算。XX互聯(lián)網(wǎng)大數(shù)據(jù)分析平臺(tái)的業(yè)務(wù)量估算如下表所示：1200(日均)2每天總用戶數(shù)(個(gè))高峰時(shí)段交互量占全天交互量的百分比高峰時(shí)段持續(xù)時(shí)間(小時(shí))高峰時(shí)段在線用戶數(shù)(個(gè))60(日均)(1)接收數(shù)據(jù)，是系統(tǒng)儲(chǔ)存的原始數(shù)據(jù)。(2)結(jié)構(gòu)化數(shù)據(jù)，將原始數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和去重后進(jìn)行結(jié)(3)分析數(shù)據(jù)庫(kù)，將結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行分析預(yù)計(jì)算后存儲(chǔ)。按照本項(xiàng)目需要涵蓋XX系統(tǒng)網(wǎng)站群的500個(gè)網(wǎng)站，每個(gè)網(wǎng)站的日平均訪問(wèn)按照10000個(gè)PV計(jì)算，預(yù)計(jì)每日需要處理的總的PV數(shù)為500萬(wàn)。其中接收數(shù)據(jù)庫(kù)的主要條目占用空間，如下表所示：空間大小(字節(jié))訪問(wèn)路徑信息來(lái)源路徑信息匯總客戶端信息(IP、瀏覽器等)匯總匯總例如：按照其他同類項(xiàng)目的數(shù)據(jù)估算，PV和Session數(shù)量比為4:1,Session和Cookie的數(shù)量比為1.25:1。則500萬(wàn)的PV會(huì)產(chǎn)生125萬(wàn)的Session以及產(chǎn)生100萬(wàn)的Cookie,總占據(jù)空間為5000000*2976+1250000*2016+1000000*768=18G,包括索引以及會(huì)采用壓縮技術(shù)，大小將降為5G。結(jié)論：對(duì)于接收數(shù)據(jù)庫(kù)，采用了壓縮和優(yōu)化技術(shù)后，每500萬(wàn)PV至少需要25G的儲(chǔ)存空間?！鼋Y(jié)構(gòu)化數(shù)據(jù)的測(cè)算依據(jù)及結(jié)論構(gòu)化，用外鍵壓縮了原來(lái)直接存儲(chǔ)在各表里的結(jié)論：對(duì)于結(jié)構(gòu)化數(shù)據(jù)庫(kù)，采用了壓縮和優(yōu)化技術(shù)后，每500萬(wàn)PV至少需要2.5GB的儲(chǔ)存空間。■分析數(shù)據(jù)的測(cè)算依據(jù)及結(jié)論XX系統(tǒng)政府網(wǎng)站群監(jiān)測(cè)分析調(diào)度系統(tǒng)的分析數(shù)據(jù)庫(kù)內(nèi)容基本化技術(shù)后，每500萬(wàn)PV至少需要2.5GB的儲(chǔ)存空間。綜上所述，在不做任何備份的情況下，每500萬(wàn)的PV,需要文到2015年底的存儲(chǔ)量為10.5T,到2019年底的存儲(chǔ)量為52.5T,具體測(cè)算如下表所示：明細(xì)單月數(shù)據(jù)量(G)保留周期(月)一年內(nèi)需要存儲(chǔ)五年內(nèi)需要存儲(chǔ)■按照本項(xiàng)目需要面向國(guó)內(nèi)外互聯(lián)網(wǎng)重點(diǎn)渠道和信息源進(jìn)行在線內(nèi)容采集爬取，按照覆蓋包括主流媒體在內(nèi)的200個(gè)信息源，每個(gè)信息源爬取3級(jí)計(jì)算，平均每天可以爬取更新的總的頁(yè)面數(shù)約為30到2015年底的存儲(chǔ)量為10.8T,到2019年底的存儲(chǔ)量為54T,具體測(cè)算如下表所示：?jiǎn)卧聰?shù)據(jù)量(G)一年內(nèi)需要存儲(chǔ)五年內(nèi)需要存儲(chǔ)■XX級(jí)以上政府網(wǎng)站群XX級(jí)以上政府網(wǎng)站群網(wǎng)站內(nèi)容更新數(shù)據(jù)主要包括以下三部分：網(wǎng)站更新頁(yè)面、網(wǎng)站更新的入口，網(wǎng)站更新的白名單。按照本項(xiàng)目需要涵蓋XX系統(tǒng)網(wǎng)站群及XX各級(jí)政府網(wǎng)站群的6500個(gè)網(wǎng)站，平均每個(gè)網(wǎng)站每天更新10個(gè)頁(yè)面，就是6.5萬(wàn)個(gè)。如果每天爬取10次，就是10×6500=6.5萬(wàn)個(gè)入口，每個(gè)網(wǎng)站算10個(gè)白名單，那就是10×6500×10=65萬(wàn)個(gè)白名單?？偣彩?.5萬(wàn)+6.5萬(wàn)+65萬(wàn)=78萬(wàn)，共需要占用的空間為78萬(wàn)頁(yè)*100KB/頁(yè)=78G。到2015年底的存儲(chǔ)量為28.08T,到2019年底的存儲(chǔ)量為單月數(shù)據(jù)量(G)0G一年內(nèi)需要存儲(chǔ)五年內(nèi)需要存儲(chǔ)表3-2數(shù)據(jù)量估算表1在線行為數(shù)據(jù)2互聯(lián)網(wǎng)重點(diǎn)渠道和信息源3(1)網(wǎng)站群用戶訪問(wèn)行為數(shù)據(jù)處理量分析以每天725萬(wàn)個(gè)客戶端訪問(wèn)(包括500萬(wàn)PV、100萬(wàn)Session、125萬(wàn)Cookie)并發(fā)計(jì)算，結(jié)合在線行為數(shù)據(jù)的接收主要集中在工作時(shí)間，7250000/8小時(shí)/60分鐘/60秒=251個(gè)/秒，日志接收服務(wù)器接受每秒鐘接收日志請(qǐng)求251個(gè)，遠(yuǎn)遠(yuǎn)低于系統(tǒng)的每秒接收到的正常數(shù)(該值通常為7000-9000)。根據(jù)日志接收每秒鐘的并發(fā)量為251,因此系統(tǒng)的數(shù)據(jù)接收只前系統(tǒng)的單臺(tái)服務(wù)器的數(shù)據(jù)處理能力為400家左右，因此需要4臺(tái)(2)其他在線內(nèi)容數(shù)據(jù)處理量分析一是系統(tǒng)需要支持對(duì)不少于108萬(wàn)個(gè)數(shù)據(jù)采集點(diǎn)每天至少一次結(jié)合以上幾部分需求，預(yù)計(jì)所需的內(nèi)容數(shù)據(jù)處理服務(wù)器約50臺(tái)。其中較高性能處理服務(wù)器(單機(jī)20核服務(wù)器CPU:2660*2電源)10臺(tái)，中等性能處理服務(wù)器(單機(jī)12核服務(wù)器，CPU:2620*2MEM:32GDISK:4T*10,萬(wàn)兆網(wǎng)卡，遠(yuǎn)程管理，雙電源)10臺(tái)。較低性能服務(wù)器(單機(jī)12核服務(wù)器，CPU:2620*2MEM:72GDISK:SSD480G*2+SAS600G*4,萬(wàn)兆網(wǎng)卡，遠(yuǎn)程管理，雙電源)30臺(tái)。1.5.3網(wǎng)絡(luò)流量分析按每天處理725萬(wàn)在線行為數(shù)據(jù)，每條數(shù)據(jù)為10KB大小，108萬(wàn)條在線內(nèi)容數(shù)據(jù)，每條100KB計(jì)算，需要的平均帶寬為17Mbps,高峰時(shí)期按3倍帶寬需求計(jì)算為：51Mbps,GE需求，出于冗余考慮，建議使用雙GE鏈路(主備)進(jìn)行接入。1.6.2系統(tǒng)性能指標(biāo)基本性能：(1)在100M局域網(wǎng)環(huán)境下進(jìn)行增、刪、改業(yè)務(wù)(不含大對(duì)象數(shù)據(jù)類型)響應(yīng)時(shí)間在3秒以內(nèi)。(2)在100M局域網(wǎng)環(huán)境下查詢操作的響應(yīng)時(shí)間要求在3秒以內(nèi)。(3)系統(tǒng)支持同時(shí)在線數(shù)大于200,并發(fā)用戶數(shù)大于50。數(shù)據(jù)交換：(1)批量數(shù)據(jù)交換中，平均單條記錄數(shù)據(jù)交換的時(shí)間不大于20毫秒。(2)非并發(fā)大批量數(shù)據(jù)交換(百萬(wàn)條)的時(shí)間不大于5,000秒。(3)批量數(shù)據(jù)交換中，平均單條記錄入庫(kù)的響應(yīng)時(shí)間不大于20ms。數(shù)據(jù)查詢：(1)查詢基礎(chǔ)數(shù)據(jù)(精確匹配)的響應(yīng)時(shí)間不大于3秒。(2)查詢單個(gè)數(shù)據(jù)主題(百萬(wàn)級(jí))的響應(yīng)時(shí)間不大于3秒。 (3)目錄檢索的響應(yīng)時(shí)間不大于2秒。(4)查詢統(tǒng)計(jì)報(bào)表(非實(shí)時(shí)統(tǒng)計(jì))的響應(yīng)時(shí)間不大于3秒。頂層規(guī)劃相對(duì)滯后。XX政務(wù)數(shù)據(jù)共享仍處在專家推動(dòng)、企業(yè)宣貫、技術(shù)主導(dǎo)的階段，全面統(tǒng)籌、應(yīng)用主導(dǎo)、資源整合、聚合發(fā)展的局面仍未形成。大數(shù)據(jù)氛圍不足，政府運(yùn)用大數(shù)據(jù)對(duì)市場(chǎng)2.1建設(shè)原則2.1.1統(tǒng)一性原則2.1.2可靠性原則2.1.3可伸縮和可擴(kuò)展性原則全面支持XML、WebService、SO2.1.6高效性原則2.2總體目標(biāo)與分期目標(biāo)確保部門(mén)之間系統(tǒng)之間的互聯(lián)互通、數(shù)據(jù)共享，為XX大數(shù)據(jù)分析1.項(xiàng)目一期：實(shí)施階段進(jìn)行5-6個(gè)XX政府部門(mén)信息資源規(guī)劃試點(diǎn)，摸清試點(diǎn)部2.項(xiàng)目二期：5、一套標(biāo)準(zhǔn)規(guī)范數(shù)據(jù)匯聚平臺(tái)數(shù)據(jù)應(yīng)用平臺(tái)數(shù)據(jù)治理平臺(tái)經(jīng)濟(jì)庫(kù)數(shù)據(jù)運(yùn)營(yíng)平臺(tái)地理庫(kù)人口庫(kù)信息資源政務(wù)門(mén)戶法人庫(kù)信息資源開(kāi)放門(mén)戶應(yīng)用支撐平臺(tái)標(biāo)準(zhǔn)規(guī)范體系是保障。”循了《國(guó)家智慧城市總體框架》,將服務(wù)與應(yīng)用系統(tǒng)、信息資源、數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范體系系統(tǒng)安全保障體系數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范體系系統(tǒng)安全保障體系XX智慧城市大數(shù)據(jù)共享交換平臺(tái)建設(shè)方案設(shè)施云緩存交換庫(kù)(前置庫(kù))人口庫(kù)法人單位庫(kù)計(jì)的SOA體系架構(gòu)，實(shí)現(xiàn)服務(wù)接口標(biāo)準(zhǔn)化的WebService、XML等等相關(guān)支撐中間件組成，為構(gòu)建XX智慧城市公共數(shù)據(jù)開(kāi)放共享平安全保障體系貫穿于XX智慧城市公共數(shù)據(jù)開(kāi)放共享平臺(tái)建設(shè)據(jù)安全等四方面的相關(guān)管理制度以及技術(shù)要求。根據(jù)公安部等4部系》和《GB/T21063-2007政務(wù)信息資源目錄體系》,逐步建立符第三章項(xiàng)目建設(shè)方案信息資源共享項(xiàng)目可以分為資源建設(shè)、平臺(tái)建設(shè)和應(yīng)用(服務(wù))包(特許經(jīng)營(yíng))、項(xiàng)目成果、試點(diǎn)示范等全項(xiàng)目生命周期進(jìn)行管理。的資源的定位信息(服務(wù)地址)。技術(shù)要求(GB/T21063.2-200本制度參考信息資源目錄體系第6部分：技術(shù)管理要求致如下：平臺(tái)建設(shè)標(biāo)準(zhǔn)規(guī)定了XX智慧城市公共數(shù)據(jù)開(kāi)放共享平臺(tái)的總體容，由以下幾個(gè)部分組成：規(guī)定支撐XX智慧城市公共數(shù)據(jù)開(kāi)放共享平臺(tái)的信息系統(tǒng)、信息絡(luò)、服務(wù)器、數(shù)據(jù)庫(kù)等提出配置要求，規(guī)范前置交換機(jī)器的IP地址、設(shè).安全保障標(biāo)準(zhǔn)為XX智慧城市公共數(shù)據(jù)開(kāi)放共享平臺(tái)安全方案建本部分涉及XX智慧城市公共數(shù)據(jù)開(kāi)放共享平臺(tái)的配套部件、設(shè)施，關(guān)于信息安全等級(jí)，參照GB/T17859—1999的規(guī)定。本標(biāo)準(zhǔn)參本標(biāo)準(zhǔn)參考GB/T21050-2007.GB/T18參考GB/T197137-2005、GB/T2051建立規(guī)范：信息資源的數(shù)據(jù)元由一系列屬性來(lái)描述，這些屬性包括：—2007的基礎(chǔ)上在自建標(biāo)準(zhǔn)：《信息資源目錄體系核心元數(shù)據(jù)》中3.1.4標(biāo)準(zhǔn)規(guī)范索引名稱編號(hào)類型信息資源交換體系國(guó)標(biāo)信息資源目錄體系國(guó)標(biāo)信息安全技術(shù)信息系統(tǒng)物理安全技術(shù)要求國(guó)標(biāo)信息安全技術(shù)操作系統(tǒng)安全技術(shù)要求國(guó)標(biāo)信息安全技術(shù)網(wǎng)絡(luò)交換機(jī)安全技術(shù)要求國(guó)標(biāo)信息安全技術(shù)路由器安全技術(shù)要求國(guó)標(biāo)信息安全技術(shù)公鑰基礎(chǔ)設(shè)施在線證書(shū)狀態(tài)協(xié)議國(guó)標(biāo)信息安全技術(shù)公鑰基礎(chǔ)設(shè)施數(shù)字證書(shū)格式國(guó)標(biāo)信息安全技術(shù)公鑰基礎(chǔ)設(shè)施PKI系統(tǒng)安全等級(jí)保護(hù)技術(shù)要求國(guó)標(biāo)數(shù)據(jù)元和交換格式信息交換日國(guó)標(biāo)期和時(shí)間表示法智慧城市數(shù)據(jù)元國(guó)標(biāo)中華人民共和國(guó)行政區(qū)劃代碼國(guó)標(biāo)信息資源交換體系總體框架自建標(biāo)準(zhǔn)信息資源交換體系技術(shù)要求自建標(biāo)準(zhǔn)信息資源交換體系接入規(guī)范自建標(biāo)準(zhǔn)信息資源交換體系服務(wù)接口規(guī)范自建標(biāo)準(zhǔn)信息資源目錄體系總體框架自建標(biāo)準(zhǔn)信息資源目錄體系技術(shù)要求自建標(biāo)準(zhǔn)信息資源目錄體系核心元數(shù)據(jù)自建標(biāo)準(zhǔn)3.2信息資源規(guī)劃和數(shù)據(jù)庫(kù)設(shè)計(jì)綜合信息資源規(guī)劃IRP理論體系，對(duì)所有信息資源進(jìn)行科學(xué)的分析和根據(jù)XX各政府部門(mén)情況，本次信息資源規(guī)劃采用逐步規(guī)息資源規(guī)劃的第三步就是將分散在業(yè)務(wù)過(guò)程中的各類信息資源進(jìn)行信息資源屬性則描述了信息資源的管理屬性用戶控制和管理信息資中在實(shí)施信息資源規(guī)劃全程中，成立咨詢團(tuán)隊(duì)與政府部門(mén)聯(lián)合小23456712345678畫(huà)畫(huà)1姓名23出生年月456789中πw可(好公生)首頁(yè)Excel分入×(1)以需求為導(dǎo)向，以數(shù)據(jù)為基礎(chǔ)。數(shù)據(jù)庫(kù)的建設(shè)是以滿足(2)統(tǒng)一規(guī)劃，分步實(shí)施。數(shù)據(jù)庫(kù)體系建設(shè)內(nèi)容有輕重緩急(3)遵循標(biāo)準(zhǔn)，規(guī)范流程。統(tǒng)一規(guī)劃下的分步實(shí)施必須有充(4)迭代法開(kāi)發(fā)。采用迭代式的方法來(lái)開(kāi)發(fā)和建設(shè)數(shù)據(jù)應(yīng)用本期項(xiàng)目的數(shù)據(jù)庫(kù)主要以交換數(shù)據(jù)庫(kù)、目錄數(shù)據(jù)庫(kù)、共享數(shù)據(jù)庫(kù)及數(shù)據(jù)倉(cāng)庫(kù)為主，具體包括：交換信息庫(kù)是政務(wù)部門(mén)為實(shí)現(xiàn)信息交換而建立的中間存儲(chǔ)信息庫(kù)，通過(guò)交換信息庫(kù)將對(duì)外交換的數(shù)據(jù)與業(yè)務(wù)系統(tǒng)分離，保證了業(yè)務(wù)系統(tǒng)的獨(dú)立性及安全性。交換信息庫(kù)中包括提供和接收的交換信息以及為實(shí)現(xiàn)交換進(jìn)行管理的信息，如交換日志、交換配置等。目錄信息庫(kù)是目錄服務(wù)系統(tǒng)的重要組成部分，存儲(chǔ)各業(yè)務(wù)部門(mén)注冊(cè)到XX智慧城市公共數(shù)據(jù)開(kāi)放共享平臺(tái)的目錄內(nèi)容以及用于發(fā)布的目錄內(nèi)容，根據(jù)應(yīng)用的不同可以分為目錄內(nèi)容信息庫(kù)、目錄服務(wù)信息庫(kù)。目錄內(nèi)容信息庫(kù)存儲(chǔ)各業(yè)務(wù)部門(mén)注冊(cè)到目錄服務(wù)中心的目錄內(nèi)容。目錄服務(wù)中心使用目錄內(nèi)容管理信息庫(kù)實(shí)現(xiàn)對(duì)所匯集目錄內(nèi)容的管理。包括元數(shù)據(jù)信息、目錄信息、目錄分類信息、目錄審核信息、目錄發(fā)布信息等。目錄服務(wù)信息庫(kù)存儲(chǔ)用于發(fā)布的目錄內(nèi)容。目錄服務(wù)中心使用關(guān)系形數(shù)據(jù)庫(kù)ORACLE、MySQL、SqIServer問(wèn)權(quán)限。特定的數(shù)據(jù)(例如個(gè)人住房信息等)只允許經(jīng)過(guò)特別授權(quán)XX智慧城市大數(shù)據(jù)共享交換平臺(tái)建設(shè)方案環(huán)境資源環(huán)境資源科技城市建設(shè)居民生活社會(huì)經(jīng)濟(jì)工商局國(guó)稅局商務(wù)局財(cái)政局發(fā)改委統(tǒng)計(jì)局T部門(mén)數(shù)據(jù)具體情況見(jiàn)下表：序號(hào)政府部門(mén)數(shù)據(jù)資源情況1統(tǒng)計(jì)局GDP、失業(yè)率、CPI等2民政局行政區(qū)劃、優(yōu)撫救濟(jì)福利、婚姻、殘疾人及社區(qū)情況等3工商局工商企業(yè)登記、私營(yíng)個(gè)體戶等數(shù)據(jù)4財(cái)政局財(cái)政收入及支出情況5地稅局地方稅種收入情況6國(guó)稅局國(guó)家稅種收入情況7人力資源和社會(huì)保障登記失業(yè)率、社會(huì)保障等數(shù)據(jù)8房產(chǎn)處房屋建設(shè)及交易等數(shù)據(jù)9環(huán)保局環(huán)境衛(wèi)生、大氣質(zhì)量、水資源污染情況交通局公共交通、道路狀況、交通事故等數(shù)據(jù)海關(guān)貨物、人員、資金出入境統(tǒng)計(jì)數(shù)據(jù)商務(wù)局各類商務(wù)與利用外資統(tǒng)計(jì)數(shù)據(jù)旅游局國(guó)內(nèi)旅游統(tǒng)計(jì)、黃金周統(tǒng)計(jì)等數(shù)據(jù)門(mén)所掌握的宏觀經(jīng)濟(jì)數(shù)據(jù)與統(tǒng)計(jì)局宏觀經(jīng)濟(jì)基礎(chǔ)信息是相互獨(dú)立儲(chǔ)，同一數(shù)據(jù)類別的信息可以來(lái)源于多個(gè)部門(mén)，具體情況見(jiàn)下表：序號(hào)數(shù)據(jù)類別數(shù)據(jù)主要來(lái)源部門(mén)1經(jīng)濟(jì)統(tǒng)計(jì)局、發(fā)改委、財(cái)政局、國(guó)稅局、地稅局、工商局、民政局、交通局、海關(guān)、商務(wù)局等2社會(huì)統(tǒng)計(jì)局、公安局、人力資源與社會(huì)保障局、民政局、教委、衛(wèi)生局等3居民生活統(tǒng)計(jì)局、發(fā)改委等4環(huán)境資源國(guó)土局、規(guī)劃局、園林局、水務(wù)局、環(huán)保局、市政、民政局等5城市建設(shè)與管理6科技統(tǒng)計(jì)局、教委等共共享信息擴(kuò)展信自基礎(chǔ)信息教育局衛(wèi)生局民政局人口委人社局公安局字段說(shuō)明人口基本信息公民身份號(hào)碼姓名出生日期性別民族地址曾用名照片(二代證)人口擴(kuò)展信息死亡日期注銷機(jī)構(gòu)職業(yè)資格等級(jí)參加工作時(shí)間職業(yè)類別職業(yè)名稱就業(yè)狀況資格審批單位名稱取得資格時(shí)間就業(yè)經(jīng)歷個(gè)人參保日期個(gè)人參保狀態(tài)險(xiǎn)種類型社會(huì)保險(xiǎn)登記證號(hào)碼繳費(fèi)地區(qū)代碼繳費(fèi)單位名稱繳費(fèi)人員類別醫(yī)療保險(xiǎn)證號(hào)醫(yī)療參保人員類別基本醫(yī)療保險(xiǎn)個(gè)人帳戶建立日期定點(diǎn)醫(yī)療機(jī)構(gòu)代碼離退休時(shí)間離退休人員類別領(lǐng)取養(yǎng)老金標(biāo)識(shí)曾經(jīng)冒領(lǐng)養(yǎng)老金標(biāo)識(shí)曾經(jīng)冒領(lǐng)養(yǎng)老金金額享受失業(yè)保險(xiǎn)起始日期失業(yè)待遇類別應(yīng)領(lǐng)取失業(yè)保險(xiǎn)金月數(shù)失業(yè)原因發(fā)生工傷狀態(tài)工傷發(fā)生時(shí)間傷害部位工傷認(rèn)定申請(qǐng)?zhí)杺麣埖燃?jí)終止工傷保險(xiǎn)待遇關(guān)系標(biāo)志工傷待遇類別生育待遇類別享受起始時(shí)間享受終止時(shí)間最高學(xué)歷最高學(xué)歷畢業(yè)學(xué)校最高學(xué)歷畢業(yè)時(shí)間最高學(xué)歷專業(yè)學(xué)位學(xué)位授予時(shí)間其他所學(xué)專業(yè)所學(xué)外語(yǔ)語(yǔ)種外語(yǔ)語(yǔ)種熟練程度學(xué)生學(xué)籍號(hào)公積金帳號(hào)參加公積金時(shí)間本年繳存額本年支取額上年結(jié)轉(zhuǎn)本金上年結(jié)轉(zhuǎn)利息余額產(chǎn)權(quán)證號(hào)產(chǎn)權(quán)類型房屋地址住房來(lái)源購(gòu)房日期建筑面積欠繳稅款標(biāo)識(shí)欠繳稅款滯納金標(biāo)識(shí)婚姻狀況婚姻登記時(shí)間救濟(jì)人員分類享受定期定量救濟(jì)金額社會(huì)福利機(jī)構(gòu)收養(yǎng)人員分類享受定期撫恤補(bǔ)助狀況定期優(yōu)撫金額民辦非企業(yè)法人民辦非企業(yè)法人基金會(huì)法人社團(tuán)法人行政機(jī)關(guān)法人事業(yè)單位法人企業(yè)法人地稅局市編辦民政局質(zhì)監(jiān)局工商局丁企業(yè)法人內(nèi)資企業(yè)法人工商局外資企業(yè)法人事業(yè)單位法人編辦行政機(jī)關(guān)法人社團(tuán)法人民政局基金會(huì)法人民辦非企業(yè)法人(1)企業(yè)法人：指依據(jù)《中華人民共和國(guó)企業(yè)法人登記管理(2)事業(yè)單位法人：指社會(huì)公益的，由國(guó)家機(jī)關(guān)舉辦或者其(3)機(jī)關(guān)法人：指各級(jí)政黨機(jī)關(guān)和國(guó)家機(jī)關(guān)。(4)社會(huì)團(tuán)體法人：指依據(jù)《社會(huì)團(tuán)體登記管理?xiàng)l例》,經(jīng)國(guó)案、領(lǐng)取《社會(huì)團(tuán)體法人登記證書(shū)》的各類社會(huì)團(tuán)體；以及依法不(5)其他法人：指除企業(yè)法人、事業(yè)單位法人、機(jī)關(guān)法人、社會(huì)團(tuán)體法人以外的其他符合法人條件的單位。根據(jù)法人單位類型的分析，依據(jù)法定職能，企業(yè)法人、事業(yè)單位法人、機(jī)關(guān)法人、社會(huì)團(tuán)體法人和其他法人等不同類型法人單位的設(shè)立登記分別在工商、編辦、民政等不同部門(mén)完成，因此法人基礎(chǔ)信息分散與各個(gè)部門(mén)分別管理，而組織機(jī)構(gòu)代碼則作為各類法人單位的唯一標(biāo)識(shí)，由質(zhì)監(jiān)局管理。因此，可以通過(guò)質(zhì)監(jiān)局獲取全體法人資質(zhì)機(jī)構(gòu)代碼信息。質(zhì)檢基礎(chǔ)信息組織機(jī)構(gòu)代碼圖法人單位信息的組成在各類法人信息進(jìn)入法人基礎(chǔ)信息數(shù)據(jù)庫(kù)之前，各審批單位所掌握的法人數(shù)據(jù)與質(zhì)監(jiān)局法人基礎(chǔ)信息是相互獨(dú)立的，存在著信息不一致的問(wèn)題。對(duì)工商局、編辦和民政局業(yè)務(wù)系統(tǒng)中的法人基礎(chǔ)信息與質(zhì)監(jiān)局掌握的法人信息進(jìn)行比對(duì)和清洗，以確保法人基礎(chǔ)信息XX智慧城市大數(shù)據(jù)共享交換平臺(tái)建設(shè)方案址行政區(qū)劃代碼、經(jīng)營(yíng)范圍(業(yè)務(wù)范圍)等數(shù)據(jù)。>企業(yè)法人類擴(kuò)展信息>行政機(jī)關(guān)和事業(yè)單位類法人擴(kuò)展信息>社團(tuán)、基金會(huì)、民辦非企業(yè)等法人擴(kuò)展信息1、基礎(chǔ)地形圖：數(shù)據(jù)中心項(xiàng)目基礎(chǔ)地形圖主要包括1:500、1:1000和1:5000三種比例尺基礎(chǔ)地形圖數(shù)據(jù)。2、影像圖：數(shù)據(jù)中心空間地理基礎(chǔ)信息庫(kù)影像數(shù)據(jù)庫(kù)包括遙1)航空影像數(shù)據(jù)庫(kù)2)衛(wèi)星影像數(shù)據(jù)庫(kù)衛(wèi)星影像數(shù)據(jù)庫(kù)就是利用遙感衛(wèi)星對(duì)地觀測(cè)的影像數(shù)據(jù)數(shù)據(jù)對(duì)應(yīng)或依附的地理空間實(shí)體(位置)兩部分組成。地址數(shù)據(jù)庫(kù)包括28類標(biāo)準(zhǔn)類型，即：政區(qū)、自然村、地片、3.3門(mén)戶系統(tǒng)建設(shè)入一次用戶名和口令，進(jìn)行身份確認(rèn)),可城市公共數(shù)據(jù)開(kāi)放共享平臺(tái)實(shí)現(xiàn)法人單位信息資源共享和動(dòng)態(tài)更利用大數(shù)據(jù)分析系統(tǒng)建立的模型實(shí)現(xiàn)數(shù)據(jù)各類分析并進(jìn)行展3.3.2信息資源開(kāi)放門(mén)戶3.4應(yīng)用系統(tǒng)建設(shè)(1)數(shù)據(jù)應(yīng)用部門(mén)與支撐服務(wù)平臺(tái)存在著網(wǎng)絡(luò)互聯(lián)互通的障(2)數(shù)據(jù)量較大，基于網(wǎng)絡(luò)傳輸模式無(wú)法滿足用戶要求。例行數(shù)據(jù)共享不但容易造成網(wǎng)絡(luò)阻塞，而且成本代價(jià)較大，往往采用(2)通過(guò)搭建的FTP服務(wù)，各業(yè)務(wù)部門(mén)將所需要上傳的資料通過(guò)FTP上傳到前置庫(kù)中。根據(jù)《GB/T21062-2007政務(wù)信息資源交換信息交換系統(tǒng)的建立通過(guò)ESB企業(yè)服務(wù)總線建立自治交換網(wǎng)>通過(guò)增量數(shù)據(jù)適配器，多種類型的數(shù)據(jù)轉(zhuǎn)換工具，實(shí)現(xiàn)增量>通過(guò)可視化流程配置的方式實(shí)現(xiàn)自定義數(shù)據(jù)源、流程、轉(zhuǎn)換功能的生命周期；遞。中心服務(wù)節(jié)點(diǎn)與代理節(jié)點(diǎn)間通過(guò)MQ消息中間件進(jìn)行主要功能實(shí)現(xiàn)：3.MQ消息中間件可對(duì)消息進(jìn)行分段、分組傳輸；4.MQ消息中間件具有傳輸數(shù)據(jù)的壓縮功能；主要功能要求：1.通過(guò)設(shè)計(jì)器中的域管理工具，實(shí)現(xiàn)對(duì)交換服務(wù)器、交換節(jié)點(diǎn)記錄進(jìn)行查詢；列預(yù)定義的基礎(chǔ)數(shù)據(jù)處理，這些基礎(chǔ)數(shù)據(jù)處理包括以下幾個(gè)：數(shù)據(jù)抽取就是從數(shù)據(jù)中心的中心庫(kù)中獲取業(yè)務(wù)數(shù)據(jù)的過(guò)程。數(shù)據(jù)來(lái)源為業(yè)務(wù)系統(tǒng)和文件系統(tǒng)，抽取方式為根據(jù)具體業(yè)務(wù)進(jìn)行全量抽取或增量抽取，根據(jù)具體業(yè)務(wù)制定抽取的時(shí)間、頻率、這些參數(shù)都是可配置的。P1數(shù)據(jù)抽取業(yè)務(wù)數(shù)據(jù)關(guān)聯(lián)文件數(shù)據(jù)原始中轉(zhuǎn)數(shù)據(jù)抽取據(jù)該抽取方式一般在數(shù)據(jù)初始化的時(shí)候使用。將數(shù)據(jù)源中的數(shù)據(jù)原封不動(dòng)的從數(shù)據(jù)庫(kù)中抽取出來(lái)。3.對(duì)比源表和目標(biāo)表的目前最大時(shí)間，抽取數(shù)據(jù)時(shí)間斷為【目標(biāo)表的最大程，側(cè)重于將來(lái)源于不同業(yè)務(wù)系統(tǒng)的相同類型的數(shù)據(jù)進(jìn)行統(tǒng)一處理；算歸則對(duì)數(shù)據(jù)進(jìn)行重新計(jì)算。系統(tǒng)支持批量清洗和實(shí)時(shí)清洗，針對(duì)XX智慧城市大數(shù)據(jù)共享交換平臺(tái)建設(shè)方案數(shù)據(jù)清洗數(shù)據(jù)清洗據(jù)缺P(pán)2.1數(shù)據(jù)替換有效數(shù)據(jù)幾個(gè)方面：√正確性：數(shù)據(jù)是否正確的表示了現(xiàn)實(shí)或可證實(shí)的來(lái)源√完整性：數(shù)據(jù)之間的參照完整性是否存在或一致√一致性：數(shù)據(jù)是否被一致的定義或理解√完備性：是否所有需要的數(shù)據(jù)都存在√有效性：數(shù)據(jù)是否在定義的可接受的范圍之內(nèi)√時(shí)效性：數(shù)據(jù)在需要的時(shí)侯是否有效√可獲取性：數(shù)據(jù)是否易于獲取、易于理解和易于使用主要問(wèn)題產(chǎn)生原因清洗策略數(shù)據(jù)完整性問(wèn)題大量的空值字段的出現(xiàn)源數(shù)據(jù)中對(duì)很多字段沒(méi)有做非空限制1.反饋信息給采集庫(kù)2.根據(jù)簡(jiǎn)單規(guī)則補(bǔ)齊數(shù)超出字典表范圍填寫(xiě)這些值的時(shí)候是直接讓用戶填寫(xiě)而非下拉框選擇1.反饋信息給采集庫(kù)2.完善字典表信息3.根據(jù)簡(jiǎn)單規(guī)則補(bǔ)齊數(shù)據(jù)值數(shù)據(jù)一致性問(wèn)題一個(gè)特定的字段在不同的表中內(nèi)容不同錄入，同步的問(wèn)題選取最可靠的表中的字段為確定值，也就是權(quán)威數(shù)據(jù)應(yīng)該成為主鍵的值不唯一有效的主鍵關(guān)系消除錯(cuò)誤，重復(fù)的主鍵數(shù)據(jù)轉(zhuǎn)換可以看作是數(shù)據(jù)整合和數(shù)據(jù)清洗過(guò)程的結(jié)合，數(shù)據(jù)源的數(shù)據(jù)按照一定的轉(zhuǎn)換規(guī)則生成新的數(shù)據(jù)并存放至目的數(shù)據(jù)源中。數(shù)據(jù)轉(zhuǎn)換支持?jǐn)?shù)據(jù)字段之間一對(duì)多，多對(duì)一，以及多對(duì)多的映射關(guān)系。P3P3數(shù)據(jù)轉(zhuǎn)換倉(cāng)庫(kù)需求的明的明細(xì)數(shù)據(jù)多表火-T詢轉(zhuǎn)換規(guī)則.4數(shù)據(jù)加載縮加載、不落地加載等。XX智慧城市大數(shù)據(jù)共享交換平臺(tái)建設(shè)方案一維度數(shù)據(jù)依據(jù)數(shù)據(jù)加載技術(shù)特點(diǎn)，可分為全量數(shù)據(jù)加載、流式(實(shí)時(shí))工作原理基本相同，數(shù)據(jù)加載能力包含：2.加載方式支持全量或?qū)崟r(shí)方式，全量加載方式則采用落地加采集必須配套使用，二者之間共享內(nèi)存實(shí)現(xiàn)加載方式實(shí)現(xiàn)方式優(yōu)點(diǎn)缺點(diǎn)時(shí)戳方式在業(yè)務(wù)表中統(tǒng)一加字段作為時(shí)戳，當(dāng)原系統(tǒng)更新改業(yè)務(wù)數(shù)據(jù)時(shí)同時(shí)修改時(shí)戳字段值加載源數(shù)據(jù)抽取相對(duì)加載適合數(shù)據(jù)的增量需要修改業(yè)務(wù)表的數(shù)據(jù)結(jié)構(gòu)，業(yè)務(wù)數(shù)據(jù)變動(dòng)時(shí)工作量比較大，相對(duì)風(fēng)險(xiǎn)較大日志表方式在OLTP系統(tǒng)中添加日志表，業(yè)務(wù)數(shù)據(jù)發(fā)生變化時(shí)，更新維護(hù)日志表內(nèi)容不需要修改業(yè)務(wù)中的數(shù)據(jù)結(jié)構(gòu)。源數(shù)據(jù)抽取簡(jiǎn)單清楚，速度快適合數(shù)據(jù)的增量加載業(yè)務(wù)系統(tǒng)中更新記錄日志操作麻煩全量對(duì)比方式在更新目標(biāo)表之對(duì)系統(tǒng)表結(jié)構(gòu)沒(méi)有任何影響，管數(shù)據(jù)比對(duì)復(fù)雜，設(shè)計(jì)比較復(fù)雜，執(zhí)行前先根據(jù)主鍵和字段進(jìn)行數(shù)據(jù)比對(duì)，update或insert理維護(hù)統(tǒng)一，可以實(shí)現(xiàn)數(shù)據(jù)的增量加載速度慢全表刪除插入方式將源數(shù)據(jù)全部插入對(duì)維表加代理健不適應(yīng)，原系統(tǒng)有刪除數(shù)據(jù)時(shí)，不能在數(shù)據(jù)倉(cāng)庫(kù)體現(xiàn)被刪數(shù)據(jù)，不能實(shí)現(xiàn)增量加載√基礎(chǔ)分類信息制定√元模型制定√數(shù)據(jù)分層定義√數(shù)據(jù)主題管理?yè)?jù)資源的存儲(chǔ)周期，預(yù)置多個(gè)表資源分類(層次、主題、存儲(chǔ)周期√模型規(guī)范制定√維表管理平臺(tái)的元數(shù)據(jù)是動(dòng)態(tài)更新的，因此元數(shù)據(jù)的維護(hù)需提供對(duì)元數(shù)據(jù)的增加、刪除和修改等基本操作。對(duì)于元數(shù)據(jù)的增量維護(hù)，可以保留歷史版本信息。用戶使用元數(shù)據(jù)基本維護(hù)功能，可以統(tǒng)一管理所有系統(tǒng)中的元數(shù)據(jù)。元數(shù)據(jù)的維護(hù)操作是原子操作，這些原子操作可通過(guò)服務(wù)封裝的形式向性能管理系統(tǒng)的其它模塊提供元數(shù)據(jù)維護(hù)接口。使用者可基于業(yè)務(wù)和管理的層面對(duì)業(yè)務(wù)、管理需求進(jìn)行建模，定義元數(shù)據(jù)的屬性；支持Excel批量操作和外部接口導(dǎo)入功能。數(shù)據(jù)質(zhì)量檢查機(jī)制能及時(shí)發(fā)現(xiàn)、報(bào)告和處理元數(shù)據(jù)的數(shù)據(jù)質(zhì)量問(wèn)題，因此，平臺(tái)應(yīng)提供對(duì)元數(shù)據(jù)數(shù)據(jù)質(zhì)量的檢查手段，在元數(shù)據(jù)上線時(shí)，對(duì)元數(shù)據(jù)進(jìn)行稽核檢查，保證元數(shù)據(jù)信息的完整性，合理性。元數(shù)據(jù)檢查應(yīng)包括sql解析成功率、表級(jí)關(guān)系完整率、字段關(guān)系完整率等評(píng)估指標(biāo)進(jìn)行元數(shù)據(jù)質(zhì)量檢查。當(dāng)數(shù)據(jù)出現(xiàn)問(wèn)題時(shí)，元數(shù)據(jù)管理能夠通過(guò)血緣分析定位數(shù)據(jù)問(wèn)題產(chǎn)生的路徑，并評(píng)估出該問(wèn)題對(duì)平臺(tái)其他數(shù)據(jù)或應(yīng)用資源目錄系統(tǒng)的主要功能是采用元數(shù)據(jù)對(duì)信息資源特征進(jìn)行描述，形成統(tǒng)一規(guī)范的目錄內(nèi)容，通過(guò)對(duì)目錄內(nèi)容的有效組織和管理， 依據(jù)實(shí)際的應(yīng)用需要進(jìn)行分類.對(duì)目錄的分類信息進(jìn)行管理(新目錄生成后，就可以提交相關(guān)人員進(jìn)行審核，確保目錄的正確性。審核功能包括：對(duì)目錄類別的審核、對(duì)目錄項(xiàng)審核、對(duì)目錄文字審核、對(duì)目錄流程圖審核、資源目錄項(xiàng)中標(biāo)識(shí)符編碼的查詢顯示、數(shù)據(jù)資源目錄項(xiàng)中標(biāo)識(shí)符編碼的人工修改。審核通過(guò)之后，進(jìn)行自動(dòng)發(fā)布，供用戶使用。功能包括目錄瀏覽、發(fā)布、退回。根據(jù)資源目錄分類，采用懶加載的方式進(jìn)行目錄包括多維度目錄查詢，列表查詢，信息資源訪問(wèn)功能。(1)多維度目錄查詢根據(jù)數(shù)據(jù)資源目錄分類的不同維度進(jìn)行資源目錄的查詢。(2)列表查詢通過(guò)列表的方式進(jìn)行資源目錄查詢。(3)資源訪問(wèn)根據(jù)目錄資源權(quán)限設(shè)置，在一定的權(quán)限范圍內(nèi)訪問(wèn)相關(guān)的信息目錄權(quán)限管理是為不同用戶級(jí)別進(jìn)行授權(quán)。滿足不同用戶對(duì)目錄瀏覽、檢索的權(quán)限要求。資源管理是對(duì)抽取的各個(gè)業(yè)務(wù)部門(mén)的信息資源進(jìn)行統(tǒng)一的管對(duì)于資源的任何變更，進(jìn)行版本管理，所有歷史版本都保留備查?！绦略鲑Y源新增資源是進(jìn)入系統(tǒng)的信息資源進(jìn)行信息管理，包含資源的基√未發(fā)布資源對(duì)新增的或未發(fā)布的資源進(jìn)行管理，主要包含資源查詢、資源資源查詢可按多維度對(duì)資源進(jìn)行查詢檢索功能，如資源名稱、XX智慧城市大數(shù)據(jù)共享交換平臺(tái)建設(shè)方案√已發(fā)布資源的API服務(wù)?！虤v史資源對(duì)抽取信息資源的應(yīng)用程序進(jìn)行管理，主要包含應(yīng)用程序的來(lái)對(duì)于完全共享的信息資源以及審核備案通過(guò)的信息資源，可以所有人工或者自動(dòng)初始化的資源，自動(dòng)會(huì)生成一個(gè)標(biāo)準(zhǔn)服務(wù)，對(duì)于完全共享的信息資源以及審核備案通過(guò)的信息資源，可以對(duì)于非完全共享的信息資源，如需要使用其信息資源，需要進(jìn)提出申請(qǐng)，申請(qǐng)部門(mén)填寫(xiě)申請(qǐng)函《政務(wù)信息資源共享與交換信維護(hù)了資源的分類呢榮，實(shí)現(xiàn)資源與目錄自動(dòng)關(guān)聯(lián)，將資源顯主要是對(duì)資源的訂閱、收到的資源需求和提出的資源需求進(jìn)行√資源訂閱對(duì)相關(guān)資源進(jìn)行訂閱管理，能夠了解相關(guān)資源的信息，并可取√收到的資源需求查看其他部門(mén)提出的資源訂閱信息。包含資源訂閱的部門(mén)、時(shí)√提出資源需求規(guī)則(如命名不規(guī)范、不必要的跨層數(shù)據(jù)訪問(wèn)、不合理的大表關(guān)聯(lián)定時(shí)間周期(如月、周、日)、事件觸發(fā)等執(zhí)行方式。在數(shù)據(jù)使用過(guò)程中和數(shù)據(jù)應(yīng)用中對(duì)表和數(shù)據(jù)的重要性進(jìn)行評(píng)過(guò)檢測(cè)運(yùn)行過(guò)程的日志可以判斷出過(guò)程輸出的目標(biāo)表數(shù)據(jù)是否完報(bào)表是否異常、該報(bào)表在哪里發(fā)生、該報(bào)表什么該報(bào)表會(huì)發(fā)生異常?3.4.3數(shù)據(jù)運(yùn)營(yíng)平臺(tái)要設(shè)置標(biāo)識(shí)、版本、級(jí)別(調(diào)用頻率控制)、狀態(tài)(API生命周期)、其中對(duì)于授權(quán)類型分為3種類型：理時(shí)無(wú)需進(jìn)行授權(quán)驗(yàn)證。調(diào)用者也不需要提供客戶端授權(quán)：表示API直接接受應(yīng)用系統(tǒng)的訂閱，自動(dòng)建立應(yīng)用系統(tǒng)和API的訂閱關(guān)系，即應(yīng)用系統(tǒng)具備調(diào)用API的測(cè)試值，如果API只是讀取數(shù)據(jù)類型的(寫(xiě)入類型的API進(jìn)行模擬API調(diào)用次數(shù)的統(tǒng)計(jì)、響應(yīng)時(shí)間的統(tǒng)計(jì)、最后使用API時(shí)間的通過(guò)數(shù)據(jù)代理將數(shù)據(jù)推送到數(shù)據(jù)分析平臺(tái)的事件流中，事件流對(duì)數(shù)據(jù)進(jìn)行個(gè)性化處理：如建立主鍵、索引、分配數(shù)據(jù)儲(chǔ)存?zhèn)}庫(kù)等功能。同時(shí)可以通過(guò)Spark對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析或者通過(guò)Siddhi進(jìn)行數(shù)據(jù)實(shí)時(shí)分析。分析之后的數(shù)據(jù)可以儲(chǔ)存到基于hadoop的數(shù)據(jù)倉(cāng)庫(kù)中，并可以通過(guò)Rest或者儀表盤(pán)等方式暴露給第三方的應(yīng)用系統(tǒng)。韌韌數(shù)據(jù)收集結(jié)果發(fā)布數(shù)據(jù)分析事件接收器：通過(guò)事件接收器接受數(shù)據(jù)代理發(fā)布的數(shù)據(jù)。同時(shí)支持多種協(xié)議：HTTP、Email、JMS、MQTT、SOAP、WSO2Event事件流：創(chuàng)建數(shù)據(jù)結(jié)構(gòu)，建立數(shù)據(jù)索引、主鍵、持久化設(shè)置等實(shí)時(shí)分析：基于Siddhi的實(shí)時(shí)事件處理引擎批數(shù)據(jù)分析：平臺(tái)的主要分析引擎，底層基于ApacheSpark,可通過(guò)SparkSQL分析數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)。數(shù)據(jù)交互：提供源數(shù)據(jù)與分析之后的數(shù)據(jù)查詢功能以及復(fù)雜的智能分析：包含分類歸并、決策樹(shù)、列式依賴關(guān)系以及預(yù)測(cè)分分類歸并，通過(guò)自動(dòng)化地識(shí)別和測(cè)量數(shù)據(jù)集內(nèi)的公共屬性的過(guò)程，擁有聚類(一種K-均值算法),能夠自動(dòng)在數(shù)據(jù)中發(fā)現(xiàn)相互間擁有非常不明顯關(guān)聯(lián)的數(shù)據(jù)組。這樣做最明顯的好處是，如果將數(shù)據(jù)分成不同的組段，可以根據(jù)需求對(duì)不同的數(shù)據(jù)組段做不同的處理。決策樹(shù)：決策樹(shù)(隨機(jī)森林算法)幫你了解不同數(shù)據(jù)屬性的組合，以達(dá)到更滿意的結(jié)果。決策樹(shù)通常被用于通過(guò)更多的數(shù)據(jù)源來(lái)豐富一個(gè)數(shù)據(jù)集，并實(shí)現(xiàn)更優(yōu)化結(jié)果的過(guò)程。決策樹(shù)的結(jié)構(gòu)會(huì)反映可能隱藏于數(shù)據(jù)中的結(jié)構(gòu)。列式依賴關(guān)系：列式依賴算法會(huì)自動(dòng)比較每一個(gè)可能的數(shù)據(jù)屬性組合，并可視化展現(xiàn)根據(jù)這些關(guān)系的優(yōu)勢(shì)進(jìn)行的排名順序，可以幫助您立刻知道下一步應(yīng)該關(guān)注的業(yè)務(wù)領(lǐng)域。這些關(guān)系本身也很重要，會(huì)經(jīng)常被用于對(duì)目標(biāo)進(jìn)行更深入的分析。預(yù)測(cè)性分析：根據(jù)類似人群興趣的歷史記錄，平臺(tái)的推薦引擎可以自動(dòng)預(yù)測(cè)個(gè)人興趣，從而幫助您提高用戶參與度、精準(zhǔn)推送相事件發(fā)布器：通過(guò)事件發(fā)布器將通過(guò)Spark或者Siddhi分析過(guò)儀表盤(pán)：用于數(shù)據(jù)的可視化功能，基于dashboard進(jìn)行圖形展示?？梢允褂萌魏螖?shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)或者實(shí)時(shí)事件流作為儀表盤(pán)的數(shù)據(jù)源。異常/預(yù)警通知：在事件發(fā)布器中可以設(shè)置一系列的條件或者臨界值，當(dāng)實(shí)時(shí)分析結(jié)果達(dá)到條件時(shí)即可觸發(fā)事件發(fā)布器，對(duì)外發(fā)布數(shù)據(jù)。移動(dòng)端：采用HTML5技術(shù)，并兼容市場(chǎng)上所有最新的平板電腦(如iPad),以及所有主流的智能手機(jī)(包括iPhone和Android完整的記錄軟件運(yùn)行過(guò)程中的日志，并提供完整的日志分級(jí)、記錄事件接收器、事件發(fā)布器中數(shù)據(jù)流轉(zhuǎn)的日志。XX智慧城市大數(shù)據(jù)共享交換平臺(tái)建設(shè)方案古是星人古是星人人否工青青是否是該業(yè)務(wù)系開(kāi)采值的字段值是西。開(kāi)采值的字段值是西?？铡咀侄蝸?lái)源表】是是統(tǒng)將人口庫(kù)【入口增量數(shù)據(jù)表】中諷結(jié)束人口庫(kù)共享功能可以根據(jù)各部門(mén)的對(duì)人口的業(yè)務(wù)需求，定制API,在數(shù)據(jù)運(yùn)營(yíng)平臺(tái)中發(fā)布，發(fā)布后，使用者可以按權(quán)限調(diào)用。2、總量查詢，主要包含總?cè)丝诓樵儭⒛挲g結(jié)構(gòu)查詢、育齡婦3、人口發(fā)展指標(biāo)，人口概況、人口與經(jīng)濟(jì)、人口與社會(huì)、人1、人口規(guī)模預(yù)測(cè)，以當(dāng)前人口數(shù)量為基數(shù)，按照人口統(tǒng)計(jì)學(xué)中算術(shù)級(jí)數(shù)推算法和幾何級(jí)數(shù)推算法，推測(cè)未來(lái)5年的人口發(fā)展2、出生人口預(yù)測(cè)，以當(dāng)前人口數(shù)量為基數(shù)，按照人口統(tǒng)計(jì)學(xué)中出生率法和一般生育率法推算法，推測(cè)未來(lái)5年的出生人口發(fā)3、勞動(dòng)人口預(yù)測(cè)，以當(dāng)前人口數(shù)量為基數(shù)，以男性18到59周歲，女性18到54周歲人員作為勞動(dòng)力統(tǒng)計(jì)標(biāo)準(zhǔn)，推測(cè)未來(lái)54、老年熱門(mén)口預(yù)測(cè)，以當(dāng)前人口數(shù)量為基數(shù)，以滿60周歲人法人庫(kù)處理規(guī)則如下下圖：香中香中香是否工XX智慧城市大數(shù)據(jù)共享交換平臺(tái)建設(shè)方案工更是判所足否是國(guó)稅、地稅、近監(jiān)提供的外資企業(yè)但組機(jī)構(gòu)綻合庫(kù)主表中是一否根據(jù)組織機(jī)構(gòu)代碼更新企業(yè)主表及輔助表相應(yīng)的字段是否是業(yè)務(wù)上的新是是一人人否工空空是香香是1、法人分類統(tǒng)計(jì)，按照外資、內(nèi)資、個(gè)體、其他等類型分類2、法人排名統(tǒng)計(jì)，所得稅、工業(yè)總產(chǎn)值、利稅總額、主營(yíng)業(yè)3、新增投資項(xiàng)目，各區(qū)域外資企業(yè)新增投資項(xiàng)目數(shù)、各區(qū)域可查詢各類文獻(xiàn)，支持PDF、EXCEL、TXT、WORD、HTML等對(duì)于主要公共需求，有XX地理信息測(cè)繪局定制若干3.6應(yīng)用支撐系統(tǒng)設(shè)計(jì)3.6.1統(tǒng)一用戶管理位管理員設(shè)置下級(jí)單位管理員選擇范圍為該單位管理員管轄的用修改等)管理員，同時(shí)具有管理員的管理能力。管理員能對(duì)系統(tǒng)中XX智慧城市大數(shù)據(jù)共享交換平臺(tái)建設(shè)方案第三方應(yīng)用用戶管理界面統(tǒng)一身份認(rèn)證授權(quán)信息用戶部門(mén)應(yīng)用管理員系統(tǒng)管理員/應(yīng)用管理員可以在支撐平臺(tái)中對(duì)某個(gè)應(yīng)用的模塊要設(shè)置標(biāo)識(shí)、版本、級(jí)別(調(diào)用頻率控制)、狀態(tài)(API生命周期)、其中對(duì)于授權(quán)類型分為3種類型：理時(shí)無(wú)需進(jìn)行授權(quán)驗(yàn)證。調(diào)用者也不需要提供客戶端授權(quán)：表示API直接接受應(yīng)用系統(tǒng)的訂閱，測(cè)試值，如果API只是讀取數(shù)據(jù)類型的(寫(xiě)入類型的API進(jìn)行模擬基于API調(diào)用的日志數(shù)據(jù)，即可完成多維度的統(tǒng)計(jì)，其中包括API調(diào)用次數(shù)的統(tǒng)計(jì)、響應(yīng)時(shí)間的統(tǒng)計(jì)、3.6.4統(tǒng)一消息服務(wù)mq_Organization)發(fā)布出來(lái)(制定具體的消息格式，對(duì)應(yīng)不同的變化對(duì)象),各應(yīng)用客戶端訂閱此隊(duì)列，完成本地緩存的刷新、DB的3.6.5統(tǒng)一日志服務(wù)3.7安全保障體系建設(shè)XX智慧城市公共數(shù)據(jù)開(kāi)放共享平臺(tái)安全保障體系包括安全防在XX智慧城市公共數(shù)據(jù)開(kāi)放共享平臺(tái)的邊界設(shè)立一定的安全防護(hù)措施，具體到XX智慧城市公共數(shù)據(jù)開(kāi)放共享平臺(tái)中邊界，就是在平臺(tái)的物理網(wǎng)絡(luò)之間，XX智慧城市公共數(shù)據(jù)開(kāi)放共享平臺(tái)的邊界防護(hù)技術(shù)和產(chǎn)品主要采用交換機(jī)和綜合安全網(wǎng)關(guān)。區(qū)域防護(hù)是一個(gè)比邊界更小的范圍，指在一個(gè)區(qū)域設(shè)立的安全防護(hù)措施，具體到XX智慧城市公共數(shù)據(jù)開(kāi)放共享平臺(tái)中，區(qū)域是比較小的網(wǎng)段或者網(wǎng)絡(luò)，XX智慧城市公共數(shù)據(jù)開(kāi)放共享平臺(tái)的區(qū)域防護(hù)技術(shù)和產(chǎn)品采用網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)。節(jié)點(diǎn)防護(hù)是指具體到一臺(tái)服務(wù)器或主機(jī)的防護(hù)措施，它主要是保護(hù)系