智慧城市大數(shù)據(jù)平臺(tái)

技術(shù)方案

技術(shù)研發(fā)中心

目錄

一、引言...................................................................4

M項(xiàng)目背景..........................................錯(cuò)誤!未定義書(shū)簽。

1.2項(xiàng)目概述..........................................................4

1.3項(xiàng)目意義...........................................................5

二、系統(tǒng)整體設(shè)計(jì)...........................................................7

2.1設(shè)計(jì)思路...........................................................7

2.1.1業(yè)務(wù)目標(biāo)和價(jià)值實(shí)現(xiàn)驅(qū)動(dòng)........................................7

2.1.2基于云化思路集約化建設(shè).........................................8

2.1.3基于大數(shù)據(jù)實(shí)現(xiàn)城市智慧化......................................8

2.1.4基于組件和服務(wù)實(shí)現(xiàn)平臺(tái)的松耦合建設(shè)............................8

2.1.5基于安全API實(shí)現(xiàn)數(shù)據(jù)資源的能力開(kāi)放............................8

2.1.6構(gòu)建全覆蓋的綜合治理體系......................................9

2.2設(shè)計(jì)原則...........................................................9

2.2.1統(tǒng)一規(guī)劃，重點(diǎn)先行.............................................9

2.2.2統(tǒng)一標(biāo)準(zhǔn)，統(tǒng)一應(yīng)用.............................................9

2.2.3整合資源，節(jié)省投資............................................10

2.2.4強(qiáng)化服務(wù)，講求實(shí)效............................................10

2.2.5注重兼容，強(qiáng)調(diào)擴(kuò)展............................................10

2.2.6注重應(yīng)用，保障安全............................................10

2.3技術(shù)路線..........................................................11

2.3.1基于OSGi的技術(shù)框架..........................................11

2.3.2基于P2P智能網(wǎng)絡(luò)數(shù)據(jù)傳輸技術(shù).................................12

2.3.3多業(yè)務(wù)領(lǐng)域虛擬化租戶技術(shù)......................................12

2.3.4基于NVGRE標(biāo)準(zhǔn)虛擬網(wǎng)絡(luò)技術(shù)..................................13

2.3.5物理隔離串行硬件熱插拔控制技術(shù)................................14

2.3.6云服務(wù)總線技術(shù)................................................14

2.3.7基于AXIOM和DSDL資源服務(wù)化技術(shù)...........................20

238在線動(dòng)態(tài)資源分配算法..........................................21

2.3.9基于著色Petri網(wǎng)的階段性服務(wù)調(diào)度算法..........................21

2.3.10大數(shù)據(jù)分布式內(nèi)存計(jì)算技術(shù).....................................21

2.3.11大數(shù)據(jù)存儲(chǔ)備份技術(shù)...........................................22

2.3.12大規(guī)模數(shù)據(jù)清洗技術(shù)...........................................24

2.3.13大數(shù)據(jù)云端服務(wù)技術(shù)...........................................25

2.4總體架構(gòu)..........................................................29

2.4.1業(yè)務(wù)架構(gòu)......................................................31

2.4.2數(shù)據(jù)架構(gòu)......................................................33

2.4.3系統(tǒng)架構(gòu)......................................................36

三、系統(tǒng)建設(shè)..............................................錯(cuò)誤!未定義書(shū)簽。

3.1系統(tǒng)網(wǎng)絡(luò)設(shè)計(jì).......................................錯(cuò)誤!未定義書(shū)簽。

3.1.1設(shè)計(jì)思路.......................................錯(cuò)誤!未定義書(shū)簽。

3.1.2建設(shè)方案.......................................錯(cuò)誤!未定義書(shū)簽。

3.1.3網(wǎng)絡(luò)安全.......................................錯(cuò)誤!未定義書(shū)簽。

3.2信息資源庫(kù)設(shè)計(jì).....................................錯(cuò)誤!未定義書(shū)簽。

3.2.1人口庫(kù).........................................錯(cuò)誤!未定義書(shū)簽。

3.2.2法入庫(kù).........................................錯(cuò)誤!未定義書(shū)簽。

3.2.3宏觀經(jīng)濟(jì)庫(kù).....................................錯(cuò)誤!未定義書(shū)簽。

3.2.4空間地理庫(kù)（參見(jiàn)本地GIS建設(shè)）................錯(cuò)誤!未定義書(shū)簽。

3.2.5電子證照庫(kù).....................................錯(cuò)誤!未定義書(shū)簽。

3.3大數(shù)據(jù)交換平臺(tái).....................................錯(cuò)誤!未定義書(shū)簽。

3.3.1數(shù)據(jù)交換共享系統(tǒng)..............................錯(cuò)誤!未定義書(shū)簽。

3.3.2目錄管理系統(tǒng)...................................錯(cuò)誤!未定義書(shū)簽。

3.4互聯(lián)網(wǎng)政府?dāng)?shù)據(jù)公開(kāi)服務(wù)系統(tǒng).......................錯(cuò)誤:未定義書(shū)簽。

3.4.1整體架構(gòu)設(shè)計(jì)...................................錯(cuò)誤!未定義書(shū)簽。

3.4.2建設(shè)原則.......................................錯(cuò)誤:未定義書(shū)簽。

3.4.3對(duì)外開(kāi)放服務(wù)流程設(shè)計(jì)..........................錯(cuò)誤!未定義書(shū)簽。

3.4.4建設(shè)內(nèi)容.......................................錯(cuò)誤:未定義書(shū)簽。

3.5城市運(yùn)行監(jiān)測(cè)平臺(tái)...................................錯(cuò)誤:未定義書(shū)簽。

3.5.1系統(tǒng)業(yè)務(wù)流程...................................錯(cuò)誤!未定義書(shū)簽。

3.5.2數(shù)據(jù)處理流程...................................錯(cuò)誤:未定義書(shū)簽。

3.5.3系統(tǒng)架構(gòu)設(shè)計(jì)...................................錯(cuò)誤!未定義書(shū)簽。

3.5.4系統(tǒng)功能.......................................錯(cuò)誤!未定乂書(shū)簽。

3.5.5GIS圖層服務(wù)...................................錯(cuò)誤!未定義書(shū)簽。

3.5.6數(shù)據(jù)接口描述...................................錯(cuò)誤!未定義書(shū)簽。

3.6數(shù)據(jù)中心應(yīng)用系統(tǒng)...................................錯(cuò)誤:未定義書(shū)簽。

3.6.1人口基礎(chǔ)信息服務(wù)...............................錯(cuò)誤!未定義書(shū)簽。

3.6.2法人基礎(chǔ)信息服務(wù)系統(tǒng)..........................錯(cuò)誤:未定義書(shū)簽。

3.6.3證照批文共享服務(wù)系統(tǒng)..........................錯(cuò)誤!未定義書(shū)簽。

3.6.4空間地理信息服務(wù)系統(tǒng)..........................錯(cuò)誤:未定義書(shū)簽。

3.6.5宏觀經(jīng)濟(jì)服務(wù)系統(tǒng)...............................錯(cuò)誤!未定義書(shū)簽。

3.7大數(shù)據(jù)資源服務(wù)平臺(tái).................................錯(cuò)誤!未定義書(shū)簽。

3.7.1云服務(wù)總線.....................................錯(cuò)誤!未定義書(shū)簽■

3.7.2云服務(wù)生成系統(tǒng).................................錯(cuò)誤!未定義書(shū)簽。

3.7.3大數(shù)據(jù)目錄服務(wù).................................錯(cuò)誤:未定義書(shū)簽。

3.7.4能力開(kāi)發(fā)管理系統(tǒng)...............................錯(cuò)誤!未定義書(shū)簽。

3.8大數(shù)據(jù)計(jì)算與分析平臺(tái)...............................錯(cuò)誤!未定義書(shū)簽。

3.9大數(shù)據(jù)資源共享效能監(jiān)督平臺(tái).......................錯(cuò)誤!未定義書(shū)簽■

3.9.1信息提供者監(jiān)督.................................錯(cuò)誤!未定義書(shū)簽。

3.9.2信息管理者監(jiān)督.................................錯(cuò)誤!未定義書(shū)簽。

3.9.3信息使用者監(jiān)督.................................錯(cuò)誤!未定義書(shū)簽。

3.9.4綜合評(píng)估.......................................錯(cuò)誤:未定義書(shū)簽。

3.9.5糾錯(cuò)處理.......................................錯(cuò)誤!未定義書(shū)簽。

3.10智慧城市系統(tǒng)監(jiān)控平臺(tái)...............................錯(cuò)誤:未定義書(shū)簽。

3.10.1數(shù)據(jù)交換與共享監(jiān)控............................錯(cuò)誤!未定義書(shū)簽。

3.10.2大數(shù)據(jù)計(jì)算分析平臺(tái)監(jiān)控........................錯(cuò)誤:未定義書(shū)簽。

一、引言

1.1項(xiàng)目概述

智慧城市大數(shù)據(jù)平臺(tái)結(jié)合國(guó)家智慧城市整體規(guī)劃目標(biāo)，最大限度地開(kāi)發(fā)、整合、

融合和利用政府各類(lèi)資源，消除政府部門(mén)信息壁壘，利用云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、

移動(dòng)互聯(lián)網(wǎng)等新一代信息技術(shù)，對(duì)城市的數(shù)據(jù)進(jìn)行匯集、管理、共享、交換、挖掘

等處理，實(shí)現(xiàn)各個(gè)行業(yè)的綜合應(yīng)用，支持城市規(guī)劃預(yù)測(cè)、應(yīng)急指揮、決策分析，為

政府、企業(yè)、個(gè)人提供多元化的綜合服務(wù)，最終實(shí)現(xiàn)整個(gè)城市全面規(guī)劃的達(dá)成，公

共設(shè)施水平的提升，城市服務(wù)能力的增強(qiáng)，激發(fā)城市信息業(yè)態(tài)活力。

通過(guò)智慧城市大數(shù)據(jù)平臺(tái)的建設(shè)，能夠極大地提升政務(wù)應(yīng)用和民生應(yīng)用系統(tǒng)建

設(shè)的平臺(tái)支撐能力，為政府管理應(yīng)用和民生應(yīng)用在資源、數(shù)據(jù)、業(yè)務(wù)協(xié)同及技術(shù)等

多個(gè)方面提供支撐，打破傳統(tǒng)應(yīng)用系統(tǒng)建設(shè)中的煙囪式結(jié)構(gòu)和信息孤島，實(shí)現(xiàn)各類(lèi)

信息資源的共享、管理和運(yùn)營(yíng)，滿足數(shù)據(jù)和應(yīng)用集成需求以及業(yè)務(wù)整合需求。

智慧城市大數(shù)據(jù)平臺(tái)建設(shè)理念概括為“一個(gè)中心、五大平臺(tái)”?！耙粋€(gè)中心”

即提供數(shù)據(jù)支撐的智慧數(shù)據(jù)中心，“五大平臺(tái)”即整合數(shù)據(jù)的數(shù)據(jù)融合平臺(tái)、智能

分析的大數(shù)據(jù)服務(wù)平臺(tái)、智慧決策的智慧城市運(yùn)行監(jiān)測(cè)平臺(tái)、智慧運(yùn)維的智慧城市

系統(tǒng)監(jiān)控平臺(tái)，以及提供數(shù)據(jù)服務(wù)的大數(shù)據(jù)資源服務(wù)平臺(tái)，為智慧城市建設(shè)方案提

供有力的基礎(chǔ)平臺(tái)支撐。

智慧城市大數(shù)據(jù)平臺(tái)具備以下六大核心能力：

1）構(gòu)建可配置的廣域數(shù)據(jù)交換機(jī)制

目前各地政府實(shí)現(xiàn)信息資源交換的最大難點(diǎn)是數(shù)據(jù)交換接口的研發(fā),本平臺(tái)

能夠打造可配置的廣域數(shù)據(jù)交換平臺(tái)，并保證系統(tǒng)的高性能、高可靠性、可

管理性、易維護(hù)性和可用性。

2）構(gòu)建服務(wù)化的信息資源共享機(jī)制

構(gòu)建大數(shù)據(jù)資源服務(wù)平臺(tái)，實(shí)現(xiàn)所有信息資源中心資源的服務(wù)化，提升各職

能部門(mén)之間的電子化協(xié)作程度和協(xié)作效能。

3）構(gòu)建統(tǒng)一的智慧數(shù)據(jù)中心

通過(guò)政府信息資源整合，構(gòu)建智慧數(shù)據(jù)中心，建設(shè)各地統(tǒng)一的人口基礎(chǔ)信息

數(shù)據(jù)庫(kù)、法人基礎(chǔ)信息數(shù)據(jù)庫(kù)、宏觀經(jīng)濟(jì)庫(kù)、地理信息庫(kù)等。通過(guò)大數(shù)據(jù)分

析處理技術(shù)構(gòu)建面向主題的共享資源智能分析和智慧決策能力。

4）構(gòu)建精準(zhǔn)的大數(shù)據(jù)處理分析能力

大數(shù)據(jù)服務(wù)平臺(tái)提供了一整套數(shù)據(jù)處理分析組件，實(shí)現(xiàn)從數(shù)據(jù)匯聚、數(shù)據(jù)存

儲(chǔ)、數(shù)據(jù)分析處理等層面的完整覆蓋，可高效處理非實(shí)時(shí)、準(zhǔn)實(shí)時(shí)及實(shí)時(shí)的

數(shù)據(jù)分析類(lèi)應(yīng)用。同時(shí)，數(shù)據(jù)處理分析模塊構(gòu)建于云計(jì)算平臺(tái)上，具有良好

的靈活性和可擴(kuò)展性。

5）構(gòu)建智慧運(yùn)維管理機(jī)制

提供智慧城市各類(lèi)系統(tǒng)運(yùn)行監(jiān)控，可覆蓋從底層服務(wù)器、交換機(jī)等硬件基礎(chǔ)

設(shè)施監(jiān)控到上層業(yè)務(wù)應(yīng)用系統(tǒng)管理，在統(tǒng)一界面上實(shí)現(xiàn)對(duì)系統(tǒng)所有組成部分

進(jìn)行管理。

6）建立完善的信息資源管理制度

依托智慧城市大數(shù)據(jù)平臺(tái)，通過(guò)制定《政府信息資源共享管理辦法》，建立

起全市政府信息資源采集與提供、申請(qǐng)與交換、共享與安全、評(píng)估與監(jiān)督等

相關(guān)制度，將各級(jí)黨政機(jī)關(guān)在履行職責(zé)過(guò)程中產(chǎn)生、獲取的信息資源納入政

府信息資源共享范圍。

1.2項(xiàng)目意義

智慧城市建設(shè)、智慧型產(chǎn)業(yè)發(fā)展，是一項(xiàng)開(kāi)創(chuàng)性事業(yè)，應(yīng)當(dāng)加強(qiáng)政府在創(chuàng)新方

面的主導(dǎo)作用。項(xiàng)目的建設(shè)意義在于：

?對(duì)于政府

＞打造智慧型服務(wù)政府。現(xiàn)有政府機(jī)制難以滿足智慧城市建設(shè)要求，需要逐步

轉(zhuǎn)型，打造高效、透明、靈活、應(yīng)變的智慧型服務(wù)政府，促進(jìn)政府自身進(jìn)行

職能轉(zhuǎn)變，從行政型政府轉(zhuǎn)變到服務(wù)型政府，提升政務(wù)服務(wù)效能和公共服務(wù)

形象。

＞有效串聯(lián)各委辦局，實(shí)現(xiàn)跨部門(mén)協(xié)作，提高政府辦公效率。

＞城市綜合信息全面掌握，事件響應(yīng)及時(shí)，預(yù)測(cè)準(zhǔn)確，形成事前預(yù)警、事發(fā)響

應(yīng)、事后總結(jié)的閉環(huán)，建立良好的城市綜合管理機(jī)制。

＞企業(yè)緊密?chē)@政府，形成一種資源互補(bǔ)的長(zhǎng)效發(fā)展態(tài)勢(shì),突顯政府核心地位。

＞促進(jìn)社會(huì)管理方式創(chuàng)新，逐步形成一種政府引導(dǎo)、公眾參與的社會(huì)管理新格

局，加快服務(wù)型政府轉(zhuǎn)型。

?對(duì)于企業(yè)

＞發(fā)現(xiàn)藍(lán)海，精準(zhǔn)定位：發(fā)現(xiàn)企業(yè)在智慧城市建設(shè)中的藍(lán)海機(jī)會(huì)，通過(guò)產(chǎn)業(yè)價(jià)

值鏈分析，確定其戰(zhàn)略定位。

＞創(chuàng)新模式，明確路徑：幫助企業(yè)發(fā)現(xiàn)參與智慧城市的新的商業(yè)模式，改變單

純的項(xiàng)目模式，減少對(duì)政府資金的依賴，提升企業(yè)盈利能力。

＞借力政府，整合資源：按照政府引導(dǎo)的方向，包裝項(xiàng)目；發(fā)現(xiàn)行業(yè)合作伙伴，

建立協(xié)作機(jī)制，實(shí)現(xiàn)戰(zhàn)略切入。

?對(duì)于城市市民

＞城市資源按需分配，節(jié)能環(huán)保，實(shí)現(xiàn)統(tǒng)一的資源管理和分配，真正做到節(jié)省

經(jīng)費(fèi)、減少能耗、低碳環(huán)保。

A實(shí)現(xiàn)水、交通、醫(yī)療、信息與通訊、能源與電力、金融等城市基礎(chǔ)設(shè)施的智

能化，帶來(lái)更高的生活質(zhì)量、更具競(jìng)爭(zhēng)力的商務(wù)環(huán)境和更大的投資吸引力，

而且可以增強(qiáng)工作的透明度和效率，提高城市對(duì)緊急事件作出快速響應(yīng)的速

度。

＞促進(jìn)產(chǎn)業(yè)生態(tài)化，包括傳統(tǒng)產(chǎn)業(yè)的綠色化、新興技術(shù)產(chǎn)業(yè)的人性化、環(huán)保型

產(chǎn)業(yè)的實(shí)體化、組織的知識(shí)化，促進(jìn)城市環(huán)境改善和城市生活質(zhì)量提高的產(chǎn)

業(yè)發(fā)展和調(diào)整過(guò)程。

二、系統(tǒng)整體設(shè)計(jì)

2.1設(shè)計(jì)思路

智慧城市的建設(shè)除了加強(qiáng)以智能終端、高速傳輸網(wǎng)絡(luò)以及云計(jì)算等方面的基礎(chǔ)

硬件設(shè)施建設(shè)外，還應(yīng)加強(qiáng)以數(shù)據(jù)整合帶動(dòng)各政府職能管理部門(mén)業(yè)務(wù)融合的大數(shù)據(jù)

平臺(tái)建設(shè)。當(dāng)前智慧城市大數(shù)據(jù)平臺(tái)的建設(shè)應(yīng)該具備以下幾大特征：

第一，數(shù)據(jù)的自動(dòng)采集。充分利用物聯(lián)網(wǎng)技術(shù)，越來(lái)越多的基礎(chǔ)設(shè)施將具備信

息自動(dòng)采集和迅捷采集的能力，使城市的信息獲取更加便捷和高效。

第二，信息資源的整合和共享。打破部門(mén)間的信息資源壁壘對(duì)智慧城市建設(shè)至

關(guān)重要，通過(guò)對(duì)城市主體范圍內(nèi)的人、土地、能源、經(jīng)濟(jì)等信息資源的整合，保障

智慧城市各應(yīng)用之間的資源共享。

第三，數(shù)據(jù)資源的充分挖掘?；谡系男畔①Y源，充分利用知識(shí)管理、數(shù)據(jù)

挖掘等手段，智慧城市將越來(lái)越多的表現(xiàn)出數(shù)據(jù)智能化處理的特征，數(shù)據(jù)資源成為

一切智能應(yīng)用的基礎(chǔ)。

第四，應(yīng)用支撐。面向政府、企業(yè)和個(gè)人三類(lèi)主體，實(shí)現(xiàn)戰(zhàn)略性技術(shù)的深層次、

創(chuàng)新型應(yīng)用，基于大數(shù)據(jù)平臺(tái)的智慧城市各類(lèi)應(yīng)用，將促進(jìn)城市生產(chǎn)和生活方式的

改善。

目前全國(guó)智慧城市建設(shè)還處在摸索過(guò)程中，缺少智慧城市整體架構(gòu)來(lái)規(guī)范軟件、

接口、體系標(biāo)準(zhǔn)等關(guān)鍵要素，尤其在政府條塊分割的行政體系3智慧城市大數(shù)據(jù)

平臺(tái)的推進(jìn)如果沒(méi)有一個(gè)整體性的建設(shè)思路指導(dǎo)，在實(shí)施過(guò)程中必然會(huì)遭遇各自為

政、信息孤島等城市信息化建設(shè)的老問(wèn)題，增加平臺(tái)建設(shè)失敗的風(fēng)險(xiǎn)。

基于以上特征，智慧城市建設(shè)采用基于云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)

等各種先進(jìn)的信息與通信技術(shù)，建立一個(gè)彈性、靈活、快速響應(yīng)、協(xié)同共享、資源

高度集中與統(tǒng)一的大數(shù)據(jù)平臺(tái)，主要從以下幾個(gè)方面設(shè)計(jì)。

2.1.1業(yè)務(wù)目標(biāo)和價(jià)值實(shí)現(xiàn)驅(qū)動(dòng)

智慧城市建設(shè)必須以政府的業(yè)務(wù)需求為出發(fā)點(diǎn)，以智慧城市的可持續(xù)發(fā)展和各

類(lèi)應(yīng)用的使用率來(lái)評(píng)價(jià)智慧城市建設(shè)的價(jià)值。由于各城市之間存在差異，智慧城市

建設(shè)必須滿足個(gè)性化建設(shè)，即“一城一策”。因此，智慧城市建設(shè)首先要確定業(yè)務(wù)

績(jī)效指標(biāo)和業(yè)務(wù)價(jià)值明確化，智慧城市大數(shù)據(jù)平臺(tái)的規(guī)劃和建設(shè)必須和城市實(shí)際的

業(yè)務(wù)目標(biāo)和價(jià)值匹配。

2.1.2基于云化思路集約化建設(shè)

云計(jì)算中心是智慧城市建設(shè)的基礎(chǔ)設(shè)施，智慧城市大數(shù)據(jù)平臺(tái)依托云計(jì)算中心，

對(duì)政府各類(lèi)資源進(jìn)行集約化存儲(chǔ)、計(jì)算和管理，提升資源的利用率，為政府、企業(yè)

和個(gè)人提供開(kāi)放的數(shù)據(jù)服務(wù)?；谠苹脑O(shè)計(jì)思路體現(xiàn)了集約化建設(shè)和資源最大化

利用，避免重復(fù)建設(shè)和數(shù)據(jù)資源不一致問(wèn)題。

2.1.3基于大數(shù)據(jù)實(shí)現(xiàn)城市智慧化

智慧城市大數(shù)據(jù)平臺(tái)建設(shè)以數(shù)據(jù)為主線，通過(guò)數(shù)據(jù)采集、存儲(chǔ)、分析和挖掘，

創(chuàng)造城市價(jià)值；以數(shù)據(jù)資源為驅(qū)動(dòng)力，大數(shù)據(jù)平臺(tái)挖掘出了智慧城市的智慧能力，

實(shí)現(xiàn)了城市的智慧管理和智慧運(yùn)營(yíng)。

2.1.4基于組件和服務(wù)實(shí)現(xiàn)平臺(tái)的松耦合建設(shè)

基于SOA/WOA組件化和服務(wù)化實(shí)現(xiàn)了智慧城市各類(lèi)應(yīng)用的松耦合建設(shè)，即業(yè)

務(wù)組件化和組件能力服務(wù)化，解決智慧城市各類(lèi)應(yīng)用信息孤島和業(yè)務(wù)流程不連貫等

問(wèn)題，便于根據(jù)業(yè)務(wù)的實(shí)際需求，快速進(jìn)行功能的擴(kuò)展和組合。

2.1.5基于安全API實(shí)現(xiàn)數(shù)據(jù)資源的能力開(kāi)放

為實(shí)現(xiàn)政府?dāng)?shù)據(jù)的安全開(kāi)放，設(shè)計(jì)一個(gè)完整的體系架構(gòu)，保障平臺(tái)的各項(xiàng)服務(wù)

的有效開(kāi)展。針對(duì)政府?dāng)?shù)據(jù)的特點(diǎn)，基于REST架構(gòu)風(fēng)格進(jìn)行安全的數(shù)據(jù)資源能力

開(kāi)放API(OpenAPI)設(shè)計(jì)；遵循分級(jí)訪問(wèn)控制原則，結(jié)合實(shí)際應(yīng)用場(chǎng)景，依據(jù)OAuth2

標(biāo)準(zhǔn)協(xié)議實(shí)現(xiàn)安全授權(quán)機(jī)制，以保障隱私數(shù)據(jù)和敏感數(shù)據(jù)的安全訪問(wèn)。同時(shí)，實(shí)現(xiàn)

對(duì)OpenAPI應(yīng)用管理的功能，包括對(duì)第三方應(yīng)用進(jìn)行內(nèi)容審核及安全測(cè)試、提供安

全接入和安全監(jiān)管。

2.1.6構(gòu)建全覆蓋的綜合治理體系

智慧城市大數(shù)據(jù)平臺(tái)需要從配置管理、監(jiān)控管理、故障恢復(fù)、服務(wù)質(zhì)量四個(gè)維

度提供系統(tǒng)化IT治理服務(wù)功能，提升系統(tǒng)的可管理性、健壯性，降低運(yùn)維成本。該

體系主要包括對(duì)數(shù)據(jù)資源共享與服務(wù)調(diào)度兩大方面：

數(shù)據(jù)共享治理：提供配置管理中心和監(jiān)控管理中心，全面管理各個(gè)交換節(jié)點(diǎn)數(shù)

據(jù)交換配置，實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)傳輸過(guò)程、網(wǎng)絡(luò)狀況和數(shù)據(jù)交換節(jié)點(diǎn)的運(yùn)行狀態(tài)；并捕

獲數(shù)據(jù)傳輸異常、網(wǎng)絡(luò)異常、網(wǎng)關(guān)運(yùn)行狀態(tài)異常等，提供斷點(diǎn)續(xù)傳、數(shù)據(jù)重傳等多

種故障智能恢復(fù)機(jī)制。在服務(wù)質(zhì)量方面，提供高可用的數(shù)據(jù)比對(duì)機(jī)制，確保數(shù)據(jù)交

換的一致性。

數(shù)據(jù)服務(wù)調(diào)度治理：采用云服務(wù)總線，提供服務(wù)注冊(cè)管理、服務(wù)粒度監(jiān)控、服

務(wù)請(qǐng)求監(jiān)控、服務(wù)調(diào)度次數(shù)控制、服務(wù)調(diào)度權(quán)限控制、服務(wù)代理訪問(wèn)權(quán)限控制、服

務(wù)及服務(wù)方法的流量控制等功能，并提供服務(wù)質(zhì)量保證。

2.2設(shè)計(jì)原則

2.2.1統(tǒng)一規(guī)劃，重點(diǎn)先行

智慧城市大數(shù)據(jù)平臺(tái)涉及面廣、參與部門(mén)多、建設(shè)周期長(zhǎng)，項(xiàng)目成功的關(guān)鍵不

在技術(shù)，而在業(yè)務(wù)和運(yùn)營(yíng)；難點(diǎn)不在工程，而在運(yùn)營(yíng)模式和組織協(xié)調(diào)。智慧城市建

設(shè)要在建設(shè)領(lǐng)導(dǎo)小組的統(tǒng)一領(lǐng)導(dǎo)下，統(tǒng)一規(guī)劃，協(xié)同配合，保證建設(shè)工作的順利進(jìn)

行。

項(xiàng)目建設(shè)要接受統(tǒng)一的規(guī)劃指導(dǎo)，遵循統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范，結(jié)合具體工作實(shí)際

情況和分階段重點(diǎn)，明確階段計(jì)劃，逐步組織實(shí)施，注重智慧城市建設(shè)的科學(xué)性、

漸進(jìn)性和可持續(xù)性。

2.2.2統(tǒng)一標(biāo)準(zhǔn)，統(tǒng)一應(yīng)用

按照國(guó)家、省、市有關(guān)要求，制定智慧城市大數(shù)據(jù)平臺(tái)數(shù)據(jù)交換和服務(wù)共享的

標(biāo)準(zhǔn)、數(shù)據(jù)共享與開(kāi)發(fā)管理辦法、接口規(guī)范、訪問(wèn)規(guī)范、分類(lèi)規(guī)范和發(fā)布規(guī)范。整

個(gè)系統(tǒng)進(jìn)行統(tǒng)一管理，統(tǒng)一授權(quán)使用。

2.2.3整合資源，節(jié)省投資

在政府現(xiàn)有城市信息化和電子政務(wù)建設(shè)的基礎(chǔ)上，智慧城市建設(shè)應(yīng)充分利用現(xiàn)

有硬件設(shè)備和網(wǎng)絡(luò)等系統(tǒng)資源，融合已有城市應(yīng)用系統(tǒng)，節(jié)省系統(tǒng)建設(shè)投資。注重

總體規(guī)劃，加強(qiáng)資源整合，鞏固和發(fā)展以政府為主導(dǎo)、企業(yè)為主體、社會(huì)積極參與

的智慧城市可持續(xù)發(fā)展局面。抓住智慧城市建設(shè)中急需的應(yīng)用，通過(guò)應(yīng)用推進(jìn)智慧

城市.健康發(fā)展。

2.2.4強(qiáng)化服務(wù)，講求實(shí)效

數(shù)據(jù)資源是一個(gè)城市的基礎(chǔ)資源，智慧城市大數(shù)據(jù)平臺(tái)建設(shè)要以資源服務(wù)為主

線，強(qiáng)化服務(wù)職能和業(yè)務(wù)應(yīng)用，強(qiáng)調(diào)服務(wù)用戶群體的廣泛性和應(yīng)用服務(wù)方式的多樣

性。通過(guò)資源共享、信息服務(wù)、數(shù)據(jù)分析、決策支持等為各級(jí)政府、各類(lèi)企業(yè)和個(gè)

人提供全方位、多維度的服務(wù)，充分發(fā)揮平臺(tái)的服務(wù)職能和業(yè)務(wù)能力。

2.2.5注重兼容，強(qiáng)調(diào)擴(kuò)展

由于智慧城市大數(shù)據(jù)平臺(tái)涉及到對(duì)政府各職能部門(mén)的數(shù)據(jù)采集、數(shù)據(jù)交換、數(shù)

據(jù)開(kāi)放等服務(wù)，業(yè)務(wù)系統(tǒng)和數(shù)據(jù)種類(lèi)繁多、數(shù)據(jù)量巨大，產(chǎn)品設(shè)計(jì)必須考慮系統(tǒng)的

兼容性、數(shù)據(jù)分析的復(fù)雜性、業(yè)務(wù)的可擴(kuò)展性，因此本平臺(tái)設(shè)計(jì)需采用成熟穩(wěn)定的

先進(jìn)技術(shù)，確保平臺(tái)的高可用性、高兼容性和可擴(kuò)展性。

2.2.6注重應(yīng)用，保障安全

根據(jù)智慧城市建設(shè)的設(shè)計(jì)思路，智慧城市數(shù)據(jù)平臺(tái)建設(shè)的重點(diǎn)是資源服務(wù)與業(yè)

務(wù)應(yīng)用。平臺(tái)建設(shè)應(yīng)圍繞需求迫切的業(yè)務(wù)管理和領(lǐng)導(dǎo)科學(xué)決策需求，有選擇性地開(kāi)

展應(yīng)用開(kāi)發(fā)工作，并通過(guò)系統(tǒng)應(yīng)用的成果進(jìn)一步推進(jìn)平臺(tái)建設(shè)。

信息安全必須與信息化項(xiàng)目同步規(guī)劃、同步建設(shè)、同步使用。依據(jù)智慧城市建

設(shè)相關(guān)的信息技術(shù)標(biāo)準(zhǔn)（環(huán)境、技術(shù)、信息、安全、信息交換標(biāo)準(zhǔn)等），開(kāi)展智慧

城市信息安全保障體系的規(guī)劃與建設(shè)，即網(wǎng)絡(luò)信任體系、分類(lèi)分級(jí)安全管理體系和

安全保障制度。

2.3技術(shù)路線

智慧城市大數(shù)據(jù)平臺(tái)的建設(shè)基于集約化原則，采用云計(jì)算、OSGI架構(gòu)、P2P

智能網(wǎng)絡(luò)和NVGRE虛擬網(wǎng)絡(luò)、資源服務(wù)化、交換環(huán)境虛擬化、大數(shù)據(jù)分布式內(nèi)存

計(jì)算、大數(shù)據(jù)資源服務(wù)化等相關(guān)技術(shù)，實(shí)現(xiàn)大數(shù)據(jù)融合，大數(shù)據(jù)處理、大數(shù)據(jù)能力

開(kāi)發(fā)，平臺(tái)支持多領(lǐng)域租戶功能，支持信息資源服務(wù)共享、主題分析及大數(shù)據(jù)應(yīng)用

和共享監(jiān)督平臺(tái)、支持向云平臺(tái)遷移、支持云部署和云管控。為智慧城市建設(shè)提供

技術(shù)支撐。

2.3.1基于OSGi的技術(shù)框架

智慧城市大數(shù)據(jù)平臺(tái)采用OSGi規(guī)范，模塊之間以服務(wù)方式實(shí)現(xiàn)交互，實(shí)現(xiàn)平臺(tái)

各個(gè)組成部分的松耦合模塊化設(shè)計(jì)，所有的模塊均能根據(jù)實(shí)際需要支持動(dòng)態(tài)的插拔

和修改，系統(tǒng)的模塊能實(shí)現(xiàn)零依賴和配置的統(tǒng)一維護(hù)，避免服務(wù)不可用導(dǎo)致系統(tǒng)崩

潰，保證系統(tǒng)的”即插即用，即刪即無(wú)“，同時(shí)和其它應(yīng)用結(jié)合具有良好的可擴(kuò)展性。

OSGi是一個(gè)基于Java的服務(wù)平臺(tái)規(guī)范，面向Java的動(dòng)態(tài)模型系統(tǒng)，它是為那

些需要長(zhǎng)時(shí)間運(yùn)行、動(dòng)態(tài)更新，并且對(duì)運(yùn)行環(huán)境的影響盡可能小的系統(tǒng)制定的。

OSGi的設(shè)計(jì)主旨：一個(gè)輕量級(jí)的進(jìn)程內(nèi)(in-process)服務(wù)容器框架，并提供

完整生命周期管理。

OSGi服務(wù)平臺(tái)提供在多種網(wǎng)絡(luò)設(shè)備上無(wú)需重啟的動(dòng)態(tài)改變構(gòu)造的功能。為了最

小化耦合度和促使這些耦合度可管理，OSGi技術(shù)提供一種面向服務(wù)的架構(gòu)，能使這

些組件動(dòng)態(tài)地發(fā)現(xiàn)對(duì)方?OSGi聯(lián)盟已經(jīng)開(kāi)發(fā)了例如HTTP服務(wù)器、配置、日志、安

全、用戶管理、XML等公共功能標(biāo)準(zhǔn)組件接口。這些組件的兼容性插件實(shí)現(xiàn)可以從

進(jìn)行了不同優(yōu)化和使用代價(jià)的不同計(jì)算機(jī)服務(wù)提供商得到。

OSGi的服務(wù)平臺(tái)主要包括兩部分：OSGi框架和OSGi標(biāo)準(zhǔn)服務(wù)。

OSGi定義了服務(wù)的主要工作，具體的服務(wù)規(guī)則定義了具體的功能和職責(zé)。

OSGi框架提供了平臺(tái)無(wú)關(guān)性和動(dòng)態(tài)代碼的裝入，使得在有限的資源的設(shè)備上開(kāi)

放和動(dòng)態(tài)部署應(yīng)用程序成為可能，它提供了開(kāi)發(fā)應(yīng)用程序執(zhí)行的上下文環(huán)境，OSGi

框架還可以動(dòng)態(tài)的更新服務(wù)而不用停止執(zhí)行環(huán)境。

因?yàn)镺SGi技術(shù)為集成提供了預(yù)建立和預(yù)測(cè)試的組件子系統(tǒng)，所以采用OSGi技

術(shù)將會(huì)在改善開(kāi)發(fā)周期時(shí)間和降低開(kāi)發(fā)成本上獲益，這些組件能夠動(dòng)態(tài)發(fā)布到數(shù)據(jù)

交換的每個(gè)組成設(shè)備上，降低維護(hù)成本。

2.3.2基于P2P智能網(wǎng)絡(luò)數(shù)據(jù)傳輸技術(shù)

智慧城市大數(shù)據(jù)平臺(tái)的數(shù)據(jù)交換采用P2P（PeertoPeer）智能網(wǎng)絡(luò)技術(shù)，實(shí)

現(xiàn)云數(shù)據(jù)交換節(jié)點(diǎn)間數(shù)據(jù)傳輸通道的智能路由和數(shù)據(jù)的分布式傳輸，同時(shí)提供交換

節(jié)點(diǎn)傳輸故障轉(zhuǎn)移。

P2P可以簡(jiǎn)單的定義成通過(guò)直接交換來(lái)共享計(jì)算機(jī)資源和服務(wù)，而對(duì)等計(jì)算模

型應(yīng)用層形成的網(wǎng)絡(luò)通常稱(chēng)為對(duì)等網(wǎng)絡(luò)。在P2P網(wǎng)絡(luò)環(huán)境中，成千上萬(wàn)臺(tái)彼此連接

的計(jì)算機(jī)都處于對(duì)等的地位，整個(gè)網(wǎng)絡(luò)不依賴專(zhuān)用的集中服務(wù)器。網(wǎng)絡(luò)中的每?臺(tái)

計(jì)算機(jī)既能充當(dāng)網(wǎng)絡(luò)服務(wù)的請(qǐng)求者，又對(duì)其它計(jì)算機(jī)的請(qǐng)求作出響應(yīng)，提供資源和

服務(wù)。通常這些資源和服務(wù)包括：信息的共享和交換、計(jì)算資源（如CPU的共享）、

存儲(chǔ)共享（如緩存和磁盤(pán)空間的使用）等。

2.3.3多業(yè)務(wù)領(lǐng)域虛擬化租戶技術(shù)

傳統(tǒng)的數(shù)據(jù)交換平臺(tái)是根據(jù)不同的業(yè)務(wù)需求分散建設(shè)的，隨著業(yè)務(wù)領(lǐng)域的不斷

擴(kuò)展，導(dǎo)致數(shù)據(jù)交換的需求的不斷增加。至少有兩種數(shù)據(jù)交換平臺(tái)建設(shè)模式，?種

是在原有平臺(tái)上的擴(kuò)展，造成交換平臺(tái)管理越來(lái)越復(fù)雜和多業(yè)務(wù)領(lǐng)域間的交互影響

越來(lái)越大；另外一種模式是重新規(guī)劃建設(shè)數(shù)據(jù)交換平臺(tái)，導(dǎo)致運(yùn)行的數(shù)據(jù)交換平臺(tái)

越來(lái)越多，建設(shè)和維護(hù)成本越來(lái)越高，同時(shí)存在嚴(yán)重的重復(fù)建設(shè)的情況。在云環(huán)境

下針對(duì)多領(lǐng)域數(shù)據(jù)交換的難題，本平臺(tái)提出以PaaS服務(wù)模式按需提供虛擬化多領(lǐng)

域、多租戶的解決方案。

一個(gè)業(yè)務(wù)領(lǐng)域?qū)?yīng)一個(gè)租戶，每個(gè)租戶擁有一個(gè)虛擬化的交換與共享環(huán)境，租

戶與租戶之間相互隔離、互不干擾，每個(gè)虛擬化交換環(huán)境包括前置交換的虛擬化、

交換傳輸通道的虛擬化、交換傳輸網(wǎng)絡(luò)虛擬化。交換傳輸網(wǎng)絡(luò)虛擬化支持NVGRE標(biāo)

準(zhǔn)，集成NVGRE網(wǎng)關(guān)控制器。

數(shù)據(jù)交換多業(yè)務(wù)領(lǐng)域虛擬化架構(gòu)如下：

云交換總控

虛擬化共享交換環(huán)境創(chuàng)建器

云

領(lǐng)交

域領(lǐng)虛擬化交換總控

換

A域---------------資源

B分配中

心

P2P智能傳輸網(wǎng)絡(luò)

-■一金

云

租戶A租戶B

交

虛擬化網(wǎng)關(guān)虛擬化網(wǎng)關(guān)

換

虛擬化網(wǎng)關(guān)虛姒化網(wǎng)關(guān)

節(jié)

點(diǎn)

虛擬化網(wǎng)關(guān)環(huán)境創(chuàng)建器(xGate云交換網(wǎng)關(guān)[eGate云交換網(wǎng)關(guān)

圖：多業(yè)務(wù)領(lǐng)域虛擬化架構(gòu)

2.3.4基于NVGRE標(biāo)準(zhǔn)虛擬網(wǎng)絡(luò)技術(shù)

智慧城市大數(shù)據(jù)平臺(tái)的數(shù)據(jù)交換支持NVGRE標(biāo)準(zhǔn)，集成NVGRE網(wǎng)關(guān)控制器，能

與微軟SystemCenter2012等云計(jì)算基礎(chǔ)平臺(tái)進(jìn)行無(wú)縫集成。云數(shù)據(jù)交換基于NVGRE

通過(guò)租賃網(wǎng)絡(luò)標(biāo)識(shí)符，解決多領(lǐng)域交換租戶間多租賃網(wǎng)絡(luò)問(wèn)題。一個(gè)大型的云數(shù)據(jù)交

換平臺(tái)可以支持?jǐn)?shù)以百計(jì)的業(yè)務(wù)領(lǐng)域交換租賃用戶，每個(gè)租賃用戶又可以同時(shí)運(yùn)行

多個(gè)交換業(yè)務(wù)，他們之間的數(shù)據(jù)傳輸都是相互隔離的。

NVGRE創(chuàng)建了一個(gè)虛擬2層網(wǎng)絡(luò)NVGRE是一個(gè)由RFC2784定義和RFC2890擴(kuò)

展的通道協(xié)議，該協(xié)議提供了一種封裝方法，將交換數(shù)據(jù)包發(fā)送到2層或3層網(wǎng)絡(luò)

目的地址。NVGRE提議使用GRE來(lái)創(chuàng)建一個(gè)獨(dú)立的虛擬2層網(wǎng)絡(luò)，限制物理2層網(wǎng)

絡(luò)或擴(kuò)展超過(guò)子網(wǎng)邊界.

每個(gè)TNT(TenantNetworkID)都與一個(gè)GRE通道相關(guān)聯(lián)。從通道終端發(fā)送的數(shù)據(jù)

包通過(guò)IP組播送往與同一個(gè)TNI相關(guān)的另一個(gè)終端。使用多播技術(shù)意味著通道可以

擴(kuò)展到3層網(wǎng)絡(luò)，將?個(gè)大型的數(shù)據(jù)交換廣播域劃分成多個(gè)較小的數(shù)據(jù)交換域，從

而限制廣播流量。通過(guò)NVGRE標(biāo)準(zhǔn)隔離租賃用戶傳輸數(shù)據(jù)；NVGRE終端通過(guò)在GRE

頭插入INT指示符的方式分隔各個(gè)TNI.TNI指示符是位于RFC2890規(guī)定的關(guān)鍵域

中。雖然該關(guān)鍵域定義為32位域，但是TNT會(huì)占用24位，其余8位為保留位。NVGRE

不使用RFC定義的序列號(hào)。

封裝為數(shù)據(jù)包的NVGRE終端必須定義數(shù)據(jù)包發(fā)送的目標(biāo)地址。目前，NVGRE提

議草案將這個(gè)問(wèn)題延遲到后續(xù)版本，它規(guī)定：“控制面板可以使用任意技術(shù)進(jìn)行配

置、發(fā)現(xiàn)和分配策略信息”。

2.3.5物理隔離串行硬件熱插拔控制技術(shù)

內(nèi)網(wǎng)、外網(wǎng)或公私云之間嚴(yán)格物理隔離的要求，給智慧城市建設(shè)帶來(lái)了一定困

難。為了交換數(shù)據(jù)?、保證安全，傳統(tǒng)采取人工的方式，在相互隔離的網(wǎng)絡(luò)系統(tǒng)間使

用移動(dòng)存儲(chǔ)介質(zhì)轉(zhuǎn)移數(shù)據(jù)，效率低下、操作不便，而且人的行為存在諸多不可控因

素。比如有意無(wú)意的操作失誤以及其它外部影響等，都會(huì)導(dǎo)致涉密數(shù)據(jù)的泄漏。而

市場(chǎng)上推出的各種能自動(dòng)傳導(dǎo)數(shù)據(jù)的網(wǎng)閘等設(shè)備，采用某些公有或者私有協(xié)議，其

安全保障仍擺脫不了程序設(shè)計(jì)影響而難以實(shí)現(xiàn)完全的物理隔離。

本平臺(tái)采用基于串行硬件驅(qū)動(dòng)器熱插拔控制技術(shù)，實(shí)現(xiàn)網(wǎng)絡(luò)隔離環(huán)境下的數(shù)據(jù)

安全傳導(dǎo)。該設(shè)備由多個(gè)物理隔離主機(jī)、串行設(shè)備熱插拔控制單元，以及串行存儲(chǔ)

器構(gòu)成。該設(shè)備采用SATA光盤(pán)刻錄機(jī)作為串行存儲(chǔ)器，使用光盤(pán)作為搬遷數(shù)據(jù)存儲(chǔ)

載體。通過(guò)光盤(pán)刻錄機(jī)的熱插拔實(shí)現(xiàn)數(shù)據(jù)安全傳導(dǎo)，支持物理隔離的一個(gè)網(wǎng)絡(luò)系統(tǒng)

向另一個(gè)網(wǎng)絡(luò)系統(tǒng)傳導(dǎo)數(shù)據(jù)。

2.3.6云服務(wù)總線技術(shù)

云服務(wù)總線主要面向SOA/WOA應(yīng)用領(lǐng)域，提供快速響應(yīng)，高吞吐量、高可靠性

消息中介引擎和服務(wù)中介引擎。同時(shí)云服務(wù)總線還支持事件發(fā)布與訂閱，支持DB2、

Oracle.MSSQL、MySQL、H2等關(guān)系數(shù)據(jù)庫(kù)訪問(wèn)，支持將數(shù)據(jù)庫(kù)存儲(chǔ)過(guò)程封裝成服務(wù)，

提供服務(wù)動(dòng)態(tài)發(fā)現(xiàn)（幃-Dicovery規(guī)范）等。云服務(wù)總線提供強(qiáng)大的服務(wù)整合和服務(wù)

綜合治理功能。云服務(wù)總線的安全策略設(shè)計(jì)，依據(jù)當(dāng)前國(guó)家關(guān)于信息安全方面的法

律、法規(guī)和標(biāo)準(zhǔn)，同時(shí)參考主流的信息技術(shù)安全標(biāo)準(zhǔn)，并使用云安全國(guó)際標(biāo)準(zhǔn)作基

本框架，實(shí)現(xiàn)安全管理準(zhǔn)則的整合。

云服務(wù)總線支持的web服務(wù)標(biāo)準(zhǔn)主要包括:

a)SOAP

b)WS-Addressing

c)MTOM(Attachments)

d)WS-Eventing

e)WS-Transfer

f)WS-Security

g)WS-ReliableMessaging

h)WS-Coordination

i)WSDL

j)WS-Policy

k)WS-MTOMPolicy

1)WS_Discovery

m)JAX-RS

云服務(wù)總線支持的主流消息傳輸協(xié)議包括:

a)HTTP/HTTPS

b)HTTP-NIO/HTTPS-NIO

c)MAIL

d)JMS

e)VFS

f)TCP/UDP

g)FIX

云服務(wù)總線能處理的消息格式包括：

a)SOAP

b)POX/REST

c)Text

d)Binary

1)服務(wù)感知技術(shù)

云服務(wù)總線為后端真實(shí)服務(wù)提供代理服務(wù),供前端服務(wù)消費(fèi)者使用服務(wù)時(shí)，同時(shí)

隱藏真實(shí)服務(wù)的具體發(fā)布位置；云服務(wù)總線提供服務(wù)編排功能，能將幾個(gè)服務(wù)的編

排邏輯定制為時(shí)序（sequence）以供內(nèi)部處理。其服務(wù)處理機(jī)制（服務(wù)請(qǐng)求一服務(wù)調(diào)

度）如下圖所示:

「服務(wù)中介

-

-V

Mci

e工

，

，

aSOAP'KFXISvrvlcc

IeK

SOAP/RESTrequestb

u

i

t-

i

e

服務(wù)琳r

后額實(shí)

取務(wù)

嫻鼬

圖：服務(wù)處理機(jī)制

其中Messagebuilder負(fù)責(zé)將服務(wù)請(qǐng)求構(gòu)建為消息模型，Messageformatter

負(fù)責(zé)將消息模型轉(zhuǎn)換為真實(shí)服務(wù)協(xié)議能識(shí)別的消息格式。

2）消息中介技術(shù)

云服務(wù)總線提供基于Rule的消息路由和Content的消息路由功能，以及提供組

件對(duì)消息進(jìn)行分割、聚合和格式轉(zhuǎn)換功能。如卜.圖所示:

圖：消息中介

其消息處理機(jī)制如卜.圖所示:

SOAP/REST/Eventrequest

|K賣(mài)M務(wù)*融可

圖：消息處理機(jī)制

3)事件中介技術(shù)

云服務(wù)總線提供事件的發(fā)布與訂閱功能，支持基于事件驅(qū)動(dòng)的EDA架構(gòu)應(yīng)用集

成，特別適合對(duì)實(shí)時(shí)性要求較高的應(yīng)用。eBus云服務(wù)總線設(shè)備提供對(duì)事件的感知功

能，并通知事件的訂閱者完成服務(wù)調(diào)度。eBus云服務(wù)總線設(shè)備還可對(duì)事件消息進(jìn)行

格式轉(zhuǎn)換、分割等功能。

在ED-SOA(Event-DrivenS0A)架構(gòu)中的發(fā)布/訂閱機(jī)制如下圖：

圖：發(fā)布/訂閱機(jī)制

云服務(wù)總線設(shè)備的強(qiáng)大消息中介功能，使得它不僅支持傳統(tǒng)的“服務(wù)請(qǐng)求一服

務(wù)調(diào)度”模式，同時(shí)也能出色地支持“事件感知一服務(wù)調(diào)度”模式。其事件處理機(jī)

制如下圖所示：

事件源訪問(wèn)端點(diǎn)

事件代理蜃務(wù)編點(diǎn)

eBus事件中介

m

ev

-n

R

PostEventrequestce

vi

ro

符合WS-Ewndig現(xiàn)

宿的學(xué)件消叢

圖：事件處理機(jī)制

在云服務(wù)總線設(shè)備中，事件發(fā)布者發(fā)布事件（請(qǐng)求）到總線事件源，由事件代

理服務(wù)流程中的分派事件組件負(fù)責(zé)通知事件訂閱者。云服務(wù)總線為事件代理服務(wù)與

與訂閱者之間建立可靠消息傳輸通道。

4）任務(wù)調(diào)度技術(shù)

云服務(wù)總線設(shè)備采用調(diào)度框架執(zhí)行內(nèi)部comand或外部comand。例如服務(wù)總線設(shè)

備允許將一些繁重的任務(wù)作為批處理任務(wù)放在特定時(shí)段完成。以提高服務(wù)器的吞吐

量。

其任務(wù)調(diào)度機(jī)制如下圖所示：

圖：事件處理機(jī)制

5）服務(wù)治理技術(shù)

云服務(wù)總線設(shè)備提供服務(wù)注冊(cè)、服務(wù)響應(yīng)、緩存、服務(wù)訪問(wèn)流量控制、服務(wù)會(huì)

11）服務(wù)QoS技術(shù)

云服務(wù)總線設(shè)備提供對(duì)服務(wù)訪問(wèn)的權(quán)限控制、可靠消息傳輸、提供負(fù)載的后端

真實(shí)服務(wù)訪問(wèn)端點(diǎn)。

云服務(wù)總線設(shè)備支持WS-Security,WS-ReliableMessaging,WS-Policy等

標(biāo)準(zhǔn)WebService安全規(guī)范，提供服務(wù)層與方法層的細(xì)粒度控制、可靠消息傳輸,

以及支持故障轉(zhuǎn)移的端點(diǎn)訪問(wèn)策略。

其Qos保證機(jī)制如下圖所示:

批注［11］：

圖：服務(wù)QoS技術(shù)

云服務(wù)總線設(shè)備支持對(duì)代理服務(wù)實(shí)施幃-*標(biāo)準(zhǔn)，支持故障轉(zhuǎn)移、負(fù)載均衡。通

過(guò)外部負(fù)載均衡器及云服務(wù)總線設(shè)備的集群特性,實(shí)現(xiàn)服務(wù)訪問(wèn)的伸縮性，服務(wù)的消

息費(fèi)者使用云服務(wù)總線設(shè)備上的服務(wù)，服務(wù)總線完成一系列任務(wù)(如：用戶身份認(rèn)

證、服務(wù)訪問(wèn)授權(quán)、消息內(nèi)容校驗(yàn)/過(guò)濾等)，最后將消息轉(zhuǎn)換成真實(shí)服務(wù)可處理的

格式。

由云服務(wù)總線設(shè)備提供LoadBalancing服務(wù)訪問(wèn)點(diǎn)，可輕松實(shí)現(xiàn)故障轉(zhuǎn)移。

2.3.7基于AXIOM和DSDL資源服務(wù)化技術(shù)

在資源服務(wù)過(guò)程中，使用AXIOM對(duì)象模型將資源變成一個(gè)個(gè)對(duì)象模型，然后按

照DSDL文檔模式定義語(yǔ)言發(fā)布到網(wǎng)絡(luò)中。

AXIOM對(duì)象模型(AXisObjectModel,AXIOM)是XMI.對(duì)象模型，其目標(biāo)是提

供強(qiáng)大的特性組合，徹底改變XML處理技術(shù)。AXIOM超越了現(xiàn)有的XML處理技術(shù)，

它把延遲構(gòu)造和一種快速、輕型的可定制對(duì)象模型結(jié)合了起來(lái)。

AXIOM滿足SOAP協(xié)議的性能要求，產(chǎn)生了不同于其他對(duì)象模型的AXIOM(也

稱(chēng)為0M).因?yàn)樗怀隽藰?gòu)造的輕量級(jí)，僅當(dāng)需要的時(shí)候才建立，減輕對(duì)系統(tǒng)資源

的壓力，特別對(duì)CPU和內(nèi)存。同時(shí)，延遲構(gòu)造又允許在其他部分還沒(méi)有完成的時(shí)，

使用樹(shù)的一部分。AXIOM強(qiáng)大的延遲構(gòu)建能力源于底層的StreamingAPTforXML

(StAX)解析器。AXIOM提供了以上這些特性，同時(shí)后臺(tái)的復(fù)雜性對(duì)用戶是透明的。

使用XMLBenchDocumentModelBenchmark測(cè)試的結(jié)果表明,AXIOM的性能

和現(xiàn)有的高性能對(duì)象模型相當(dāng)。但是AXIOM的內(nèi)存占用要好于現(xiàn)有多數(shù)依靠SAX

和/或DOM輸入輸出的對(duì)象模型。因此對(duì)于Web服務(wù)引擎或內(nèi)存受限制的設(shè)備，這

樣的XML處理器，AXIOM是一種理想的選擇，它可用于一般的XML處理，但是有

一個(gè)對(duì)SOAP優(yōu)化了的可選層。

DSDL是一組有關(guān)XML驗(yàn)證和基本文檔組成的規(guī)范。DSDL所體現(xiàn)的理念是使用

多種方法進(jìn)行XML驗(yàn)證和核心處理，并且多種方法之間能夠互相補(bǔ)充。DSDL創(chuàng)建了

一種集合了各種標(biāo)準(zhǔn)的框架，可以單獨(dú)使用這些標(biāo)準(zhǔn)，也可以結(jié)合使用于進(jìn)行XML

驗(yàn)證，避免了每個(gè)規(guī)范自身的復(fù)雜性，同時(shí)又提供了處理復(fù)雜問(wèn)題的能力。

2.3.8在線動(dòng)態(tài)資源分配算法

云服務(wù)調(diào)度在資源分配策略上，采用了在線動(dòng)態(tài)資源分配算法，提高了平臺(tái)的

并行處理能力，特別在計(jì)算資源競(jìng)爭(zhēng)非常激烈的情況3與傳統(tǒng)FCFS算法相比，

處理用戶請(qǐng)求的平均響應(yīng)時(shí)間縮短20%-50%:在緊耦合的情況下平均響應(yīng)時(shí)間縮

短了20%-70%。

2.3.9基于著色Petri網(wǎng)的階段性服務(wù)調(diào)度算法

云服務(wù)調(diào)度在服務(wù)調(diào)度策略上，采用了基于著色Petri網(wǎng)的階段性服務(wù)調(diào)度算法

提高了系統(tǒng)的可靠性和性能。與靜態(tài)調(diào)度方法相比，服務(wù)平均響應(yīng)時(shí)間縮短

20%-30%,超時(shí)任務(wù)數(shù)量減少60%-80%,超時(shí)總量銳減70%-90%；與動(dòng)態(tài)調(diào)度方

法相比，服務(wù)平均響應(yīng)時(shí)間縮短10%-20%,超時(shí)任務(wù)數(shù)量減少30%-70%,超時(shí)總

量減少20%-50%

該方法在靜態(tài)全局優(yōu)化和動(dòng)態(tài)局部?jī)?yōu)化兩方面都取得令人滿意的效果，保證

了云服務(wù)的高效性、靈活性、可靠性。

2.3.10大數(shù)據(jù)分布式內(nèi)存計(jì)算技術(shù)

智慧城市大數(shù)據(jù)平臺(tái)采用列式內(nèi)存存儲(chǔ)格式和為內(nèi)存優(yōu)化的Spark作為默認(rèn)的

計(jì)算引擎。Spark是基于mapreduce算法實(shí)現(xiàn)的分布式計(jì)算，擁有HadoopMapReduce

所具有的優(yōu)點(diǎn)；但不同于MapReduce的是Job中間輸出和結(jié)果可以保存在內(nèi)存中，

從而不再需要讀寫(xiě)HDFS,消除了頻繁的I/O磁盤(pán)訪問(wèn)，因此Spark能更好地適用于

數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的mapreduce的算法。

圖：分布式緩存

Spark的核心理念是彈性分布式數(shù)據(jù)集，也叫RDDoRDD是Spark的最基本抽象，

是對(duì)分布式內(nèi)存的抽象使用，實(shí)現(xiàn)了以操作本地集合的方式來(lái)操作分布式數(shù)據(jù)集的

抽象實(shí)現(xiàn)。RDD是Spark最核心的內(nèi)容，它表示己被分區(qū)的、不可變的，并能夠被

并行操作的數(shù)據(jù)集合，不同的數(shù)據(jù)集格式對(duì)應(yīng)不同的RDD實(shí)現(xiàn)。RDD必須是可序列

化的。RDD可以cache到內(nèi)存中，每次對(duì)RDD數(shù)據(jù)集的操作之后的結(jié)果，都可以存

放到內(nèi)存中，下-一個(gè)操作可以直接從內(nèi)存中輸入，省去了HadoopMapReduce大量的

磁盤(pán)10操作。這對(duì)于迭代運(yùn)算比較常見(jiàn)的機(jī)器學(xué)習(xí)算法，交互式數(shù)據(jù)挖掘來(lái)說(shuō)，

效率提升比較大。

RDD的特點(diǎn)：

a）它是在集群節(jié)點(diǎn)上的不可變的、己分區(qū)的集合對(duì)象。

b）通過(guò)并行轉(zhuǎn)換的方式來(lái)創(chuàng)建如（map,filter,join,etc）<,

c）失敗自動(dòng)重建。

d）可以控制存儲(chǔ)級(jí)別（內(nèi)存、磁盤(pán)等）來(lái)進(jìn)行重用。

e）必須是可序列化的。

f）是靜態(tài)類(lèi)型的。

RDD的好處：

a）RDD只能從持久存儲(chǔ)或通過(guò)Transformations操作產(chǎn)生，相比于分布式共享

內(nèi)存（DSM）可以更高效實(shí)現(xiàn)容錯(cuò)，對(duì)于丟失部分?jǐn)?shù)據(jù)分區(qū)只需根據(jù)它的

lineage就可重新計(jì)算出來(lái)，而不需要做特定的Checkpoint?

b）RDD的不變性，可以實(shí)現(xiàn)類(lèi)HadoopMapReduce的推測(cè)式執(zhí)行。

c）RDD的數(shù)據(jù)分區(qū)特性，可以通過(guò)數(shù)據(jù)的本地性來(lái)提高性能，這與Hadoop

MapReduce是一樣的。

d）RDD都是可序列化的，在內(nèi)存不足時(shí)可自動(dòng)降級(jí)為磁盤(pán)存儲(chǔ)，把RDD存儲(chǔ)于

磁盤(pán)上，這時(shí)性能會(huì)有大的下降但不會(huì)差于現(xiàn)在的MapReduce。

2.3.11大數(shù)據(jù)存儲(chǔ)備份技術(shù)

面對(duì)大規(guī)模數(shù)據(jù)，尤其是在分布式存儲(chǔ)環(huán)境下的大數(shù)據(jù)查詢與檢索任務(wù)，面臨

著大數(shù)據(jù)包含的數(shù)據(jù)容量大、數(shù)據(jù)復(fù)雜度高、增量數(shù)據(jù)變化快和服務(wù)器負(fù)載不均衡

等嚴(yán)峻的挑戰(zhàn)。為了解決以上的問(wèn)題，木平臺(tái)擬采用NoSQL存儲(chǔ)備份、虛擬磁盤(pán)技

術(shù)來(lái)解決大數(shù)據(jù)存儲(chǔ)備份問(wèn)題。

(1)NoSQL數(shù)據(jù)存儲(chǔ)技術(shù)

NoSQL數(shù)據(jù)存儲(chǔ)技術(shù)是目前解決大數(shù)據(jù)存儲(chǔ)的重要手段之一，不同于傳統(tǒng)的關(guān)

系型數(shù)據(jù)庫(kù)，其通過(guò)鍵值方式存儲(chǔ)索引數(shù)據(jù)。本平臺(tái)將研究大數(shù)據(jù)在分布式環(huán)境下

采用存儲(chǔ)形式的數(shù)據(jù)存儲(chǔ)管理技術(shù)，其中重點(diǎn)是NoSQL數(shù)據(jù)管理引擎技術(shù)和鍵值存

儲(chǔ)數(shù)據(jù)訪問(wèn)持久層引擎技術(shù)。

NoSQL數(shù)據(jù)管理引擎將解決數(shù)據(jù)完整性、一致性、可靠性和擴(kuò)展性帶來(lái)的問(wèn)題。

數(shù)據(jù)管理引擎采用無(wú)中心化的環(huán)狀分布式數(shù)據(jù)管理方法，支持內(nèi)存、SSD和HD硬

盤(pán)組成的多級(jí)存儲(chǔ)架構(gòu)，避免單點(diǎn)故障的影響，提高數(shù)據(jù)的完整性和可靠性。另一

方面，數(shù)據(jù)管理引擎使用在線數(shù)據(jù)擴(kuò)展技術(shù)，支持?jǐn)?shù)據(jù)的高效擴(kuò)展，同時(shí)兼顧臨時(shí)

故障和永久故障后的數(shù)據(jù)冗余恢復(fù)。

圖:NoSQL數(shù)據(jù)存儲(chǔ)引擎

鍵值存儲(chǔ)數(shù)據(jù)訪問(wèn)持久層引擎技術(shù)，主要是在內(nèi)部物理存儲(chǔ)系統(tǒng)與外部數(shù)據(jù)訪

問(wèn)需求間構(gòu)件高效、透明、持久化的數(shù)據(jù)訪問(wèn)技術(shù)。我們基于ORM框架開(kāi)發(fā)列存

儲(chǔ)數(shù)據(jù)讀寫(xiě)等操作的抽象化模型，實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)與存儲(chǔ)系統(tǒng)的透明訪問(wèn)，保持?jǐn)?shù)據(jù)

的一致性。

node4

node3nodeS

圖：存儲(chǔ)鏈路監(jiān)控管理

(2)虛擬磁盤(pán)技術(shù)

虛擬磁盤(pán)就是用內(nèi)存中虛擬出一個(gè)或者多個(gè)磁盤(pán)的技術(shù)。和虛擬內(nèi)存一樣，內(nèi)

存的速度要比硬盤(pán)快得多。在內(nèi)存中虛擬出一個(gè)或多個(gè)磁盤(pán)就可以加快磁盤(pán)的數(shù)據(jù)

交換速度，從而提高電腦的運(yùn)行速度。

2.3.12大規(guī)模數(shù)據(jù)清洗技術(shù)

數(shù)據(jù)清洗即ETL,包含數(shù)據(jù)抽取(Extract),轉(zhuǎn)換(Transform)、裝載(Load)

的過(guò)程。它是構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的重要環(huán)節(jié)。數(shù)據(jù)倉(cāng)庫(kù)是面向主題的、集成的、穩(wěn)定的

且隨時(shí)間不斷變化的數(shù)據(jù)集合，用以支持頂層數(shù)據(jù)處理、分析與決策制定過(guò)程。

數(shù)據(jù)

抽取

轉(zhuǎn)換

加載

ETL

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)規(guī)模龐大、增長(zhǎng)迅速、類(lèi)型繁多、結(jié)構(gòu)各異己成為無(wú)法回

避的現(xiàn)實(shí)問(wèn)題。如何把繁雜的大數(shù)據(jù)變成我們能應(yīng)付的、有效的“小”數(shù)據(jù)，即針

對(duì)特定問(wèn)題而構(gòu)建一個(gè)干凈、完備的數(shù)據(jù)集，這一過(guò)程變得尤為重要。

大數(shù)據(jù)清洗是構(gòu)建大規(guī)模數(shù)據(jù)倉(cāng)庫(kù)的重要工作之一，而大數(shù)據(jù)的復(fù)雜性和多樣

性的特點(diǎn)，使大數(shù)據(jù)清洗成為構(gòu)建大規(guī)模數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)難點(diǎn)之一。在龐大數(shù)據(jù)面

前，即使計(jì)算機(jī)能夠高效的處理它們，但大量無(wú)用的“垃圾”數(shù)據(jù)，只會(huì)給系統(tǒng)帶

來(lái)負(fù)擔(dān)，并增添存儲(chǔ)、主機(jī)等設(shè)備成本。這就需要數(shù)據(jù)處理過(guò)程中，根據(jù)特定的規(guī)

則和參數(shù)，對(duì)涌進(jìn)數(shù)據(jù)流進(jìn)行“清洗”和分析，并自動(dòng)決策該去處理哪些數(shù)據(jù)，這

一切不再需要人工去干預(yù)。

目前，在大規(guī)模數(shù)據(jù)清洗技術(shù)領(lǐng)域上，國(guó)內(nèi)外公司主要采取“Hive+Hadoop”方

案。Hive是一個(gè)基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)，通過(guò)Hive可以方便地進(jìn)行數(shù)據(jù)提取

轉(zhuǎn)化加載(ETL)的工作?；贛apReduce的Hive具有良好的擴(kuò)展性和容錯(cuò)性。不過(guò)

由于MapReduce涉及頻繁的I/O磁盤(pán)訪問(wèn)，導(dǎo)致使用Hive做ETL工作的效率并不高。

為了從根本上提升大數(shù)據(jù)清洗的性能，智慧城市大數(shù)據(jù)平臺(tái)摒棄了傳統(tǒng)的

"Hive+Hadoop”方案，采用了"Shark+Hadoop”基于內(nèi)存的大數(shù)據(jù)清洗方案。Shark

是Hive數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)新型后端，完全兼容Hive,其將HiveQL翻譯成基于內(nèi)存計(jì)

算的Spark的任務(wù)，因此執(zhí)行性能遠(yuǎn)高于Hive。

2.3.13大數(shù)據(jù)云端服務(wù)技術(shù)

為了有效地與應(yīng)用系統(tǒng)進(jìn)行整合，本平臺(tái)將研發(fā)云端大數(shù)據(jù)信息服務(wù)關(guān)鍵技術(shù),

將本平臺(tái)研發(fā)的大數(shù)據(jù)處理平臺(tái)與應(yīng)用系統(tǒng)進(jìn)行整合，以提供大數(shù)據(jù)處理與分析服

務(wù)供用戶使用。具體地，本平臺(tái)將重點(diǎn)研究以下云端大數(shù)據(jù)信息服務(wù)關(guān)鍵技術(shù)：

1)基于WEB服務(wù)的大數(shù)據(jù)分析與挖掘系統(tǒng)架構(gòu)技術(shù)

項(xiàng)目研發(fā)的基于內(nèi)存計(jì)算引擎是整個(gè)架構(gòu)的基礎(chǔ)平臺(tái)，大數(shù)據(jù)分布式處理關(guān)鍵

技術(shù)以及大數(shù)據(jù)分析與挖掘關(guān)鍵技術(shù)提供了系統(tǒng)的算法基礎(chǔ)。在此基礎(chǔ)上，將研發(fā)

大數(shù)據(jù)分析工作流引擎，以實(shí)現(xiàn)通過(guò)拖拉點(diǎn)拽的交互式手段，建立大數(shù)據(jù)分析流程，

并在混合集群上驅(qū)動(dòng)大數(shù)據(jù)處理算法，對(duì)創(chuàng)建好的大數(shù)據(jù)分析流程進(jìn)行有效地調(diào)度

執(zhí)行?；贠penAPI的大數(shù)據(jù)分析與挖掘服務(wù)引擎，實(shí)現(xiàn)了與應(yīng)用系統(tǒng)進(jìn)行整合。

2）跨平臺(tái)的混合式引擎

跨平臺(tái)的混合式引擎為上層應(yīng)用屏蔽了異構(gòu)平臺(tái)的差異，而其上的框架又定義

了相應(yīng)領(lǐng)域內(nèi)的應(yīng)用的系統(tǒng)結(jié)構(gòu)、標(biāo)準(zhǔn)的服務(wù)組件等，用戶只需告訴框架所關(guān)心的

事件，然后提供處理這些事件的代碼。當(dāng)事件發(fā)生時(shí)，框架則會(huì)調(diào)用用戶的代碼。

用戶代碼不用調(diào)用框架，用戶程序也不必關(guān)心框架結(jié)構(gòu)、執(zhí)行流程、對(duì)系統(tǒng)級(jí)API

的調(diào)用等，所有這些由框架負(fù)責(zé)完成。因此，跨平臺(tái)的混合式引擎開(kāi)發(fā)的應(yīng)用具有

良好的可擴(kuò)充性、易管理性、高可用性和可移植性。不同平臺(tái)共同點(diǎn)是都有內(nèi)置的

WebView組件，其具備兩個(gè)特性：WebView組件實(shí)質(zhì)是移動(dòng)設(shè)備的內(nèi)置瀏覽器、

WebView提供Web和設(shè)備本地API雙向通信的能力

跨平臺(tái)的混合式引擎通過(guò)對(duì)WebView做了擴(kuò)展和封裝，使WebView這個(gè)組件

變成可訪問(wèn)本地設(shè)備API,只要加載跨平臺(tái)的混合式引擎就可以通過(guò)JavaScript訪問(wèn)

設(shè)備本地API,再采用HTML5、CSS3頁(yè)面布局替代原生應(yīng)用布局，最后將Web打包

成本地客戶端安裝使用。

3）基于OpenAPI的大數(shù)據(jù)分析與挖掘服務(wù)引擎

將突破傳統(tǒng)的基于軟件的數(shù)據(jù)挖掘技術(shù)，創(chuàng)新基于OpenAPI的大數(shù)據(jù)挖掘方法,

研究大數(shù)據(jù)挖掘開(kāi)放接口、開(kāi)放流程，設(shè)計(jì)大數(shù)據(jù)挖掘相關(guān)的數(shù)據(jù)加載、數(shù)據(jù)預(yù)處

理、數(shù)據(jù)建模及預(yù)測(cè)等標(biāo)準(zhǔn)接口，并研發(fā)基于互聯(lián)網(wǎng)的OpenAPI服務(wù)引擎。

■基于SPARK的TB級(jí)大