第1章

大數(shù)據(jù)分析系統(tǒng)

方案

目錄

第1章項目概述...................................................................5

1.1項目背景...................................................................5

1.2項目必要性................................................................5

13建設(shè)目標(biāo)...................................................................7

第2章需求分析...................................................................9

2.1功能及性能需求.............................................................9

2.2系統(tǒng)集成需求..............................................................10

2.3運行環(huán)境..................................................................11

2.4安全需求..................................................................11

第3章總體設(shè)計..................................................................13

3.1總體設(shè)計原則..............................................................14

3.2總體目標(biāo)..................................................................15

3.3系統(tǒng)總體結(jié)構(gòu)..............................................................15

3.4系統(tǒng)邏輯結(jié)構(gòu)..............................................................17

第4章詳細(xì)設(shè)計方案..............................................................19

4.1信息資源規(guī)劃和數(shù)據(jù)庫設(shè)計..................................................19

4.I.I數(shù)據(jù)模型概述.........................................................19

4.1.2數(shù)據(jù)建模方法論.......................................................20

4.1.3數(shù)據(jù)建模基本原則.....................................................21

4.1.4數(shù)據(jù)庫架構(gòu)設(shè)計..............................................................................................................22

4.2數(shù)據(jù)應(yīng)用支撐系統(tǒng)設(shè)計......................................................24

4.2.1大數(shù)據(jù)平臺關(guān)鍵技術(shù).....................................................24

4.2.2云平臺數(shù)據(jù)共享功能.....................................................30

4.3數(shù)據(jù)服務(wù)層計..............................................................36

4.3.1模型的應(yīng)用.............................................................37

4.3.2平臺基礎(chǔ)應(yīng)用...........................................................37

4.4數(shù)據(jù)處理和存儲系統(tǒng)設(shè)計....................................................38

4.4.1大數(shù)據(jù)處理核心技術(shù).....................................................38

4.4.2數(shù)據(jù)存儲采用MPP與hadoop融合架構(gòu)......................................39

4.5網(wǎng)絡(luò)系統(tǒng)設(shè)計..............................................................39

4.6安全系統(tǒng)設(shè)計..............................................................40

4.6.1系統(tǒng)安全滿足情況.....................................................41

4.6.2系統(tǒng)安全配置管理功能.................................................41

4.6.3系統(tǒng)無安全漏洞保障...................................................44

4.6.4軟件自身安全.........................................................47

4.6.5性能和可靠性.........................................................49

4.7運行維護系統(tǒng)設(shè)計..........................................................51

4.7.1服務(wù)器管理......................................................................................................................51

4.7.2網(wǎng)絡(luò)設(shè)備管理..................................................................................................................51

4.7.3進程管理..........................................................................................................................51

4.7.4服務(wù)管理..........................................................................................................................51

4.7.5數(shù)據(jù)庫管理......................................................................................................................51

4.7.6中間管理..........................................................................................................................52

4.7.7集群管理..........................................................................................................................52

4.7.8故障管理..........................................................................................................................52

4.7.9性能管理..........................................................................................................................53

4.7.10配置文件管理..................................................................................................................53

4.7.11SYSLOG管理.....................................................................................................................53

4.8其他系統(tǒng)設(shè)計..............................................................53

4.9系統(tǒng)配置及軟硬件選型原則..................................................54

4.9.1軟硬件部署.......................................................................................................................54

4.9.2數(shù)據(jù)要求..........................................................................................................................54

4.9.3技術(shù)要求..........................................................................................................................55

4.10系統(tǒng)軟硬件物理部署方案....................................................55

第5章項目建設(shè)與運行管理........................................................57

5.1項目領(lǐng)導(dǎo)機構(gòu)..............................................................58

5.2項目管理機構(gòu)..............................................................58

5.3項目承建機構(gòu)..............................................................60

5.4運行維護機構(gòu)..............................................................61

5.5相關(guān)管理制度..............................................................61

5.6項目測試..................................................................62

5.6.1單元測試...............................................................................................................................63

5.6.2集成測試...............................................................................................................................63

5.6.3系統(tǒng)測試...............................................................................................................................64

5.6.4性能測試...............................................................................................................................65

5.6.5驗收測試...............................................................................................................................65

5.6.6安裝測試...............................................................................................................................67

5.7安全性測試................................................................67

5.7.1功能驗證...............................................................................................................................67

5.7.2漏洞掃描...............................................................................................................................67

5.7.3模擬攻擊實驗.......................................................................................................................68

5.8項目驗收..................................................................71

5.8.1項目驗收要求.......................................................................................................................71

5.8.2項目驗收的目的和原則.......................................................................................................72

5.8.3項目驗收的組織和實施.......................................................................................................72

5.8.4項目驗收的步驟和程序.......................................................................................................72

5.8.5項目驗收的測試方案...........................................................................................................72

5.8.6項目驗收的文檔清單...........................................................................................................72

第6章項目培訓(xùn)計劃..............................................................73

6.1培訓(xùn)對象和培訓(xùn)目標(biāo)........................................................74

6.2培訓(xùn)內(nèi)容74

第2章項目概述

2.1項目背景

2.2目前，隨著JW改革的不斷推進，XX網(wǎng)絡(luò)系統(tǒng)、信息中心、

信息安全系統(tǒng)的規(guī)模不斷擴大，各類信息應(yīng)用系統(tǒng)日趨復(fù)

雜，迫切需要借助云計算平臺，實現(xiàn)靈活、高效的軟硬件資

源分配和管理，從而有效整合XX的各類信息資源，提升XX

信息系統(tǒng)的安全性、穩(wěn)定性、可擴展性。另一方面，隨著社

會公共安全管理的日趨復(fù)雜，XX行業(yè)通過大數(shù)據(jù)應(yīng)用，把

大量的關(guān)聯(lián)信息進行匯總處理，可以重新認(rèn)知和感知我們

的外部環(huán)境。不但能快速鎖定疑犯，而且還可以預(yù)防和打擊

犯罪。XX云計算+大數(shù)據(jù)系統(tǒng)，將成為面向各J種的管理和

分析利器，通過高效的云計算平臺提供強大的大數(shù)據(jù)應(yīng)用

承載能力，面向各J種提供集中資源、集中管理、集中監(jiān)控、

配套實施的統(tǒng)一大數(shù)據(jù)應(yīng)用環(huán)境，為各J實戰(zhàn)應(yīng)用提供強大

支撐、服務(wù)、保障作用。云計算和大數(shù)據(jù)是改變未來XX工

作發(fā)展的新趨勢，并且已經(jīng)實實在給XX科技管理與創(chuàng)新來

了深刻的變革，有力地推動了XX各J種的工作優(yōu)化和提升。

2.3項目必要性

第一，構(gòu)建“智慧XX”是未來JW形態(tài)演進的必然趨勢。

近年來，隨著XX信息化建設(shè)的持續(xù)推進，我國XX機關(guān)的JW改革已開始邁進智

能化發(fā)展的快車道,JW與人之間的相互感知和聯(lián)系越來越緊密，“XX大數(shù)據(jù)分析系

5

統(tǒng)”建設(shè)已成為當(dāng)代JW發(fā)展的新趨勢。

第二，構(gòu)建“智慧XX”是新一輪信息技術(shù)變革下的時代潮流。

當(dāng)前，全球正進行物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、云計算等新一輪信息技術(shù)變革。新技術(shù)往

往孕育著新的重大突破，信息資源成為重要的XX戰(zhàn)斗力要素，信息化不僅成為推動

XXJW方式變革的重要引擎，也給整個社會管理創(chuàng)新帶來深刻變化?！癤X大數(shù)據(jù)分

析系統(tǒng)”建設(shè)將極大地創(chuàng)新XX管理方式，促進“管制型XX”向“服務(wù)型XX”轉(zhuǎn)變。

應(yīng)當(dāng)說，經(jīng)過最近十年的發(fā)展，以網(wǎng)絡(luò)化、數(shù)字化為載體的信息化JW特征日益顯現(xiàn),

JW活動中人、事、物之間的互動能力顯著增強，JW工作傳載的功能不斷增多，智能

化程度逐步提高，“XX大數(shù)據(jù)分析系統(tǒng)”建設(shè)已成為現(xiàn)代信息技術(shù)變革下的時代潮

流。

第三，構(gòu)建“智慧XX”是推動XX戰(zhàn)斗力生成模式轉(zhuǎn)變的重要途徑。

XX信息化的“智慧XX”建設(shè)是一場新的JW革命，對于整合JW情報資源、改造

J情處理流程、創(chuàng)新J情研判模式、降低JW成本、實現(xiàn)JW效能的最優(yōu)化具有推動作

用。這場新JW革命的實質(zhì)是推動XX建設(shè)利JW工作由數(shù)量規(guī)模型向質(zhì)量效能型、由

人力密集型向科技密集型轉(zhuǎn)變。它要求把傳統(tǒng)的XX戰(zhàn)斗力生成模式轉(zhuǎn)變到依靠科學(xué)

技術(shù)特別是以信息技術(shù)為核心的高新技術(shù)上來。在這較變過程中，大數(shù)據(jù)將成為XX

戰(zhàn)斗力生成的核心要素。擁有對海量數(shù)據(jù)占有、控制、分析、處理的主導(dǎo)權(quán)，將大數(shù)據(jù)

優(yōu)勢轉(zhuǎn)化為XX決策優(yōu)勢，繼而轉(zhuǎn)化為治安優(yōu)勢，將成為“XX大數(shù)據(jù)分析系統(tǒng)”的制

勝關(guān)鍵。

6

2.4第四，構(gòu)建“智慧XX”有利于拓展現(xiàn)代JW功能、促進JW

機制改革和提升JW管理精細(xì)化水平。

2.5一方面，“智慧XX”的建設(shè)和實施將促進XX機關(guān)由傳統(tǒng)

的一元化管理職能向管理與服務(wù)功能并重、融合轉(zhuǎn)化。另一

方面，“智慧XX”的建設(shè)和應(yīng)用將改變傳統(tǒng)的“金字塔”

型XX管理體制，實現(xiàn)JW領(lǐng)導(dǎo)與指揮機制的扁平化，從而

減少中間管理層，加快信息流動，達到精減機構(gòu)、快速反

應(yīng)、即時聯(lián)動的目的。同時，構(gòu)建“智慧XX”還有助于提

高XX機關(guān)JW管理的精細(xì)化和科學(xué)化水平，提升XX機關(guān)

的執(zhí)法水平和服務(wù)水平。

2.6建設(shè)目標(biāo)

xx部推行的“扁平化指揮模式”，就是最大限度地壓縮指揮層級。減少中間環(huán)節(jié)，

優(yōu)化現(xiàn)有的情報信息管理，建立情報信息主打JW的相關(guān)機制，著力拉近指揮與實戰(zhàn)，

機關(guān)與一線的時空距離，縮短響應(yīng)時間，提高快速反應(yīng)能力。

?基于數(shù)據(jù)中心融合空間采集、電信運營商、交管部門、XX部門、社會公眾的移

動位置等數(shù)據(jù)形成大數(shù)據(jù)環(huán)境，建立大數(shù)據(jù)分析平臺，支持J情處理、宏觀決

策、情報分析等大數(shù)據(jù)專題應(yīng)用。

?智慧XX大數(shù)據(jù)分析系統(tǒng)項目一期建設(shè)主要目標(biāo)為：

?建立智慧、高效的情報研判體系；

?建立扁平、快速的指揮調(diào)度體系

?建立打防一體化JW管理體系

?建立集約化的信息技術(shù)支撐體系。

7

?建立專業(yè)化的川指揮作戰(zhàn)隊伍。

8

第3章需求分析

3.1功能及性能需求

1.功能需求

2.作為XX信息化發(fā)展到高級階段的一種JW形態(tài)，“智慧XX”主要采用

大數(shù)據(jù)、云計算、等新一代信息技術(shù)，將XX工作IT基礎(chǔ)設(shè)施與物理

設(shè)施、人際環(huán)境等高度融合，以提供智能化XX決策與服務(wù)。其建設(shè)目

標(biāo)是充分利用科技創(chuàng)新，以“智慧”引領(lǐng)JW改革與發(fā)展，打造XX行

政高效、川指揮扇平、治安管控聯(lián)動、XX服務(wù)便捷的良性XX工作機

制?！爸腔踃X”建設(shè)是一項涉及XX機關(guān)內(nèi)外各領(lǐng)域、各部門的復(fù)雜

系統(tǒng)工程，需要從整體上進行統(tǒng)一規(guī)劃協(xié)調(diào)，做好頂層設(shè)計。

3.性能需求

?軟件系統(tǒng)必須保證質(zhì)量，并在實施前經(jīng)過完全測試；

?系統(tǒng)應(yīng)具備自動報J功能，以提醒系統(tǒng)管理員避免出現(xiàn)系統(tǒng)崩潰等嚴(yán)重事件；

?主服務(wù)器宕機時，可實時地切換到備用服務(wù)器上，用戶的應(yīng)用應(yīng)該不受影響；

?主備切換時，業(yè)務(wù)不感知，任務(wù)不失敗，業(yè)務(wù)不會中斷；

?主備切換時間小于1秒；

?故障節(jié)點重啟時間小于2分鐘；

?系統(tǒng)不得出現(xiàn)數(shù)據(jù)丟失、切換失敗等，影響正常業(yè)務(wù)運行的故障；

?服務(wù)器端系統(tǒng)應(yīng)可長期穩(wěn)定運行，必須支持負(fù)載均衡能力，確保無單點故障；

?不會因長期使用或負(fù)載過高導(dǎo)致系統(tǒng)故障。

系統(tǒng)應(yīng)具有良好的并行處理機制，對存取沖突的競爭具有有效的仲裁和加鎖機制,

充分保證事務(wù)處理的完整性，并降低系統(tǒng)I/O開銷，提高并發(fā)用戶查詢和存取的性

能。

9

3.2平臺提供自底層硬件到上層處理流程的全面監(jiān)控體系，幫

助運維人員快速定位問題解決問題，使系統(tǒng)持續(xù)健康穩(wěn)定

的運行。

3.3系統(tǒng)集成需求

＞軟件平臺具備集成內(nèi)外各種運行系統(tǒng)的基本能力。軟件平臺集成性

包括以下幾個方面：

＞軟件平臺具備對不同廠家提供的各類軟件產(chǎn)品接入、運營、監(jiān)控能力；

?軟件平臺提供獨立的集成平臺來提供各種集成手段實現(xiàn)和移動現(xiàn)有業(yè)務(wù)支撐

系統(tǒng)和能力系統(tǒng)的集成，以及對于今后有可能存在的各類業(yè)務(wù)平臺進行業(yè)務(wù)

引入的接口能力等。集成手段包括實時調(diào)用、批量數(shù)據(jù)交換等方式，集成接口

兼容WEBSERVICE、FTP、XML等方式，可以提供服務(wù)的封裝能力。集成平臺能

力包括以下方面：

?數(shù)據(jù)路由：能夠?qū)?jīng)由應(yīng)用集成平臺的數(shù)據(jù)進行檢查和過濾，根據(jù)預(yù)定義的

規(guī)則實現(xiàn)基于主題或數(shù)據(jù)內(nèi)容的動態(tài)路由機制，應(yīng)支持點對點、廣播以及發(fā)布

/訂閱方式；

?協(xié)議轉(zhuǎn)換：具有系統(tǒng)間傳輸/調(diào)用協(xié)議轉(zhuǎn)換的能力，這些協(xié)議包括但不限于

JMS、FTP、CORBA、Socket、HTTP等；

?格式轉(zhuǎn)換：具有不同數(shù)據(jù)格式轉(zhuǎn)換的能力，能夠?qū)碜圆煌瑧?yīng)用系統(tǒng)的數(shù)據(jù)進

行識別和解析，能夠以圖形化方式定制不同的數(shù)據(jù)轉(zhuǎn)換邏輯，實現(xiàn)數(shù)據(jù)格式

的轉(zhuǎn)換和數(shù)據(jù)內(nèi)容的整埋；

?消息映射：將來自于源系統(tǒng)的消息結(jié)構(gòu)或業(yè)務(wù)數(shù)據(jù)對象映射為目標(biāo)系統(tǒng)的消

息結(jié)構(gòu)或業(yè)務(wù)數(shù)據(jù)對象；

?事件處理：支持事件驅(qū)動的架構(gòu)技術(shù)，支持對系統(tǒng)之間信息交換事件的獲取、

處理和監(jiān)控；

10

?集成監(jiān)控：提供對接入訪問、數(shù)據(jù)傳輸和集成服務(wù)等各種集成處理能力的監(jiān)控

功能，可根據(jù)各種日志查詢并監(jiān)控應(yīng)用集成組件的運行情況。

3.4數(shù)據(jù)傳輸：實現(xiàn)各種應(yīng)用之間的數(shù)據(jù)交換，數(shù)據(jù)交換支持基

于消息隊列和文件傳輸?shù)饶Ｊ?。集成平臺要能保證應(yīng)用時間

數(shù)據(jù)傳輸?shù)目煽啃?，支持交易的完整性，支持?jǐn)?shù)據(jù)傳輸?shù)牟?/p>

行處理，并且支持管理人員對數(shù)據(jù)傳輸?shù)倪^程進行監(jiān)控和

干預(yù)。

3.5數(shù)據(jù)訪問：支持但不限于JDBC、ODBC等多種數(shù)據(jù)庫接入

模式。

3.6運行環(huán)境

3.7智慧XX大數(shù)據(jù)分析系統(tǒng)服務(wù)平臺需要接收來自XX系統(tǒng)各

部門的數(shù)據(jù)資源，各權(quán)屬單位向系統(tǒng)共享、交換業(yè)務(wù)數(shù)據(jù),

系統(tǒng)需要提供相應(yīng)的匯交、接收工具，以及導(dǎo)入、導(dǎo)出工具,

業(yè)務(wù)數(shù)據(jù)的查詢、統(tǒng)計等功能，并可以對外發(fā)布。

3.8安全需求

1.物理安全要求

物理安全要求包括但不限于：物理位置的選擇、物理訪問控制、供電安全保障、

防火防潮等。

2.網(wǎng)絡(luò)及設(shè)備安全要求

網(wǎng)絡(luò)安全要求包括但不限于：系統(tǒng)部署所在的網(wǎng)絡(luò)結(jié)構(gòu)安全、設(shè)備入侵防范、設(shè)

備防護、安全審計等。

11

3.數(shù)據(jù)安全性耍求

包括數(shù)據(jù)存儲的安全性、數(shù)據(jù)傳輸?shù)陌踩浴?shù)據(jù)傳輸?shù)耐暾?、?shù)據(jù)傳輸?shù)恼?/p>

確性、數(shù)據(jù)傳輸?shù)募皶r性、數(shù)據(jù)備份及恢復(fù)機制、異常處理機制等。

4.系統(tǒng)安全要求

包括數(shù)據(jù)資源及應(yīng)用模塊的等級訪問控制、身份鑒別（不限于數(shù)字證書應(yīng)用）及

不可抵賴性、安全審計、系統(tǒng)的容錯性等。

5.應(yīng)用安全要求

（1）以CA認(rèn)證系統(tǒng)為基礎(chǔ)，實現(xiàn)用戶與服務(wù)資源的雙向認(rèn)證機制；（2）以基于

角色的授權(quán)原則，建立與政務(wù)信息資源共享平臺業(yè)務(wù)、平臺管理人員、部門管理

人員崗位職責(zé)相對應(yīng)的權(quán)限管理機制及統(tǒng)一的安全登陸機制；（3）以密碼技術(shù)為

基礎(chǔ)的數(shù)據(jù)完整與保密機制；（4）對安全事件進行審計機制以及根據(jù)政務(wù)信息資

源共享平臺不同的業(yè)務(wù)、數(shù)據(jù)應(yīng)用需求而采用標(biāo)準(zhǔn)的安全協(xié)議；（5）對應(yīng)用進行

嚴(yán)格的監(jiān)控，實時掌握個應(yīng)用系統(tǒng)資源的消耗、運行的狀況，保障服務(wù)的連續(xù)性

和可用性。

6.制度安全

7.包括項目管理制度、系統(tǒng)巡檢及維護制度、數(shù)據(jù)備份制度、各類緊急應(yīng)急措施;

明確該項目基于該制度下的職責(zé)分工。

8.具有豐富安全特性的交換機構(gòu)成數(shù)據(jù)中心網(wǎng)絡(luò)的第一重保護；

9.具有高性能檢測引擎的IPS對網(wǎng)絡(luò)報文深度檢測，構(gòu)成數(shù)據(jù)中心網(wǎng)絡(luò)第二重保

護；

12

第4章10.憑借高性能硬件防火墻構(gòu)成的數(shù)據(jù)中心網(wǎng)絡(luò)邊界，對數(shù)據(jù)中心網(wǎng)絡(luò)

做第三重保護。

13

第5章總體設(shè)計

5.1總體設(shè)計原則

遵循相應(yīng)標(biāo)準(zhǔn)：系統(tǒng)的設(shè)計應(yīng)符合國家、省及有關(guān)信息化建設(shè)的政策法規(guī)、規(guī)范

和標(biāo)準(zhǔn)，并考慮與正在制定或即將出臺的相關(guān)政策法規(guī)、規(guī)范和標(biāo)準(zhǔn)的銜接。

技術(shù)先進性：平臺作為一個大投資、復(fù)雜度高、周期長的網(wǎng)絡(luò)數(shù)據(jù)應(yīng)用系統(tǒng)，必

須在開發(fā)初期考慮到技術(shù)的延展性。作為應(yīng)用系統(tǒng)建設(shè)的首要要求，就是應(yīng)當(dāng)保證系

統(tǒng)在未來的幾年中在軟件基礎(chǔ)結(jié)構(gòu)和應(yīng)用形態(tài)方面的技術(shù)先進性。

安全性和可靠性：運用先進的訪問控制、身份認(rèn)證等技術(shù)防止非法用戶入侵；保

證系統(tǒng)在異常情況下的正確可靠運行。

數(shù)據(jù)的完整性和一致性：數(shù)據(jù)在全網(wǎng)各個應(yīng)用系統(tǒng)中的采集、存儲、傳輸和處理

應(yīng)當(dāng)保持完整和一致。

易擴展性：所有的產(chǎn)品均考慮到應(yīng)用及系統(tǒng)不斷擴展的要求，以形成一個易于管

理、可持續(xù)發(fā)展的體系結(jié)構(gòu)。未來業(yè)務(wù)的擴展只須在現(xiàn)有機制、標(biāo)準(zhǔn)的基礎(chǔ)上，增加

新的應(yīng)用與服務(wù)模塊。

易用性：用戶界面規(guī)范統(tǒng)一直觀，易于用戶掌握；提供方便的軟件配置、管理和

分發(fā)手段，門戶網(wǎng)站系統(tǒng)作為信息系統(tǒng)統(tǒng)一架構(gòu)體系，要求具備保持基本功能統(tǒng)一的

前提下，能靈活開發(fā)擴展功能，采用統(tǒng)一的接口技術(shù)和接口規(guī)范。

互操作能力：在不同層次的各個應(yīng)用系統(tǒng)之間的數(shù)據(jù)應(yīng)能充分共享，并通過技術(shù)

手段實現(xiàn)應(yīng)用程序之間的互操作。

規(guī)范性：規(guī)范性包括業(yè)務(wù)規(guī)范、開發(fā)規(guī)范、術(shù)語規(guī)范和數(shù)據(jù)規(guī)范等方面。

14

5.2可維護性及可擴展性：應(yīng)用系統(tǒng)要便于維護，并可實現(xiàn)跨

平臺運行，同時應(yīng)留有與未來工程的軟件接口，確保系統(tǒng)

能夠擴展、升級。

5.3實用性：提供方便的軟件工具，便于系統(tǒng)的配置、管理和維

護，門戶網(wǎng)站系統(tǒng)將針對不同類型的信息訪問者提供不同

的信息展現(xiàn)內(nèi)容，使用戶根據(jù)自身對信息的訪問要求，迅

速獲取相關(guān)的信息內(nèi)容，從而充分發(fā)揮門戶系統(tǒng)的渠道、橋

梁作用。

5.4信息兼容性強：系統(tǒng)的建設(shè)支持對現(xiàn)有數(shù)據(jù)庫數(shù)據(jù)的實時抽

取，自動轉(zhuǎn)化成統(tǒng)一的XML格式并且集成后的數(shù)據(jù)由本平臺

統(tǒng)一管理、聯(lián)合查詢、綜合分析。另外，對于查詢基礎(chǔ)業(yè)務(wù)

系統(tǒng)內(nèi)數(shù)據(jù)的請求，要能夠?qū)崟r的對多個不同的數(shù)據(jù)庫進

行聯(lián)合查詢，還包括了對文檔，影音文件等內(nèi)容，因此要

求本系統(tǒng)的建設(shè)必須能夠?qū)Ψ墙Y(jié)構(gòu)化的數(shù)據(jù)統(tǒng)一管理、聯(lián)合

查詢。

5.5總體目標(biāo)

5.6基于先進的云服務(wù)體系，建立統(tǒng)一的JW大數(shù)據(jù)平臺和數(shù)據(jù)

中心，利用大數(shù)據(jù)、空間數(shù)據(jù)采集等技術(shù)，通過整合JW指

揮體系及電信運營商、交通部門、大數(shù)據(jù)中心信息挖掘，實

現(xiàn)信息最大共享的基礎(chǔ)上，構(gòu)建JW指揮核心智慧應(yīng)用方案。

15

5.7系統(tǒng)總體結(jié)構(gòu)

本項目系統(tǒng)總體架構(gòu)，是在統(tǒng)一的基礎(chǔ)設(shè)施支撐下，依據(jù)智慧xx大數(shù)據(jù)中心建設(shè)目標(biāo),

建立統(tǒng)一的大數(shù)據(jù)資源中心，構(gòu)建自主可控的統(tǒng)一信息安全保障體系。在統(tǒng)一的技術(shù)標(biāo)

準(zhǔn)和業(yè)務(wù)規(guī)范支撐下，建立數(shù)據(jù)采集、數(shù)據(jù)清洗、質(zhì)量管理、信息安全服務(wù)和資源統(tǒng)一

調(diào)度等系統(tǒng)，并通過內(nèi)、外網(wǎng)服務(wù)支撐其他智慧應(yīng)用，建設(shè)覆蓋全區(qū)的公共數(shù)據(jù)綜合服

務(wù)體系。平臺架構(gòu)如下圖所示：

1

應(yīng)用云智慧情報（一智慧指揮）|一智慧勤務(wù)

服務(wù)I研句?室調(diào)度方案管理方案

服務(wù)

基礎(chǔ)云

服務(wù)

圖4-1智慧XXJW大數(shù)據(jù)分析系統(tǒng)總體架構(gòu)示意圖

laaS層：利用虛擬化技術(shù)將計算、存儲和網(wǎng)絡(luò)等基礎(chǔ)硬件資源，以邏輯方式形成

基礎(chǔ)資源池層，再將資源池提供的虛擬機、虛擬存儲或虛擬端口組等經(jīng)過二次封裝與

組合、調(diào)度使用，形成一個個面向組織用戶的虛擬服務(wù)器、虛擬桌面或者云存儲系統(tǒng),

通過這樣的形式為系統(tǒng)的各業(yè)務(wù)單位提供資源服務(wù)；同時提供物理資源和虛擬資源的

統(tǒng)一。

16

5.8PaaS層：在laaS層基礎(chǔ)上，提供開放式XX基礎(chǔ)大數(shù)據(jù)處

理平臺整合XX內(nèi)部數(shù)據(jù)和運營商數(shù)據(jù)，提供分布式數(shù)據(jù)庫

來解決海量結(jié)構(gòu)化數(shù)據(jù)的管理和數(shù)據(jù)交互，提供標(biāo)準(zhǔn)SQL

接口、JDBC技術(shù)，能夠與前臺應(yīng)用進行無縫對接；同時提

供海量流式計算處理cstorm,能夠?qū)崟r處理大規(guī)模并發(fā)任

務(wù)的負(fù)載均衡和任務(wù)分發(fā)，做到所有任務(wù)實時分發(fā)處理,

不堆積，做到高度可靠性，任何任務(wù)處理過程中不會丟失，

保障所有任務(wù)都能夠處理完。

5.9SaaS層：平臺能夠支撐所有電信運營商、XXJW系統(tǒng)數(shù)據(jù)運

行，所有業(yè)務(wù)數(shù)據(jù)統(tǒng)一管理，根據(jù)權(quán)限做到絕對安全訪問，

基于數(shù)據(jù)中心利用大數(shù)據(jù)、空間數(shù)據(jù)采集等技術(shù)，通過整合

XX部門、電信運營商等多部門采集的移動位置、輿情信息等,

建立宏觀決策,J情分析、JW調(diào)度管理等分析模型，為JW

及公共安全管理提供大數(shù)據(jù)專題分析及應(yīng)用。

5.10系統(tǒng)邏輯結(jié)構(gòu)

17

應(yīng)用服務(wù)（第三方提供商）

指揮調(diào)度應(yīng)用情報研判應(yīng)用勤務(wù)管理應(yīng)用

N統(tǒng)計

1分析?

開雌口API(f布隹SQL、SDK.WEBSERVICE、RESTFUL.….\

3可視化日志留存內(nèi)谷松索裾辣分析OLAP

人際關(guān)系.通話記錄、住宿.短信.Email內(nèi)容跟隨分析.

行為分析交通統(tǒng)計?報表過濾等其他信息人臉識別

圖4-2XX大數(shù)據(jù)庫邏輯架構(gòu)圖

MPP架構(gòu)的新型數(shù)據(jù)庫集群，重點面向行業(yè)大數(shù)據(jù)，采用SharedNothing

架構(gòu)，通過列存儲、粗粒度索引等多項大數(shù)據(jù)處理技術(shù)，再結(jié)合MPP架構(gòu)

高效的分布式計算模式，完成對分析類應(yīng)用的支撐，運行環(huán)境多為低成本

PCServer,具有高性能和高擴展性的特點，在企業(yè)分析類應(yīng)用領(lǐng)域獲得極

其廣泛的應(yīng)用。

18

第6章詳細(xì)設(shè)計方案

6.1信息資源規(guī)劃和數(shù)據(jù)庫設(shè)計

6.1.1數(shù)據(jù)模型概述

?xx大數(shù)據(jù)模型是采用一種與技術(shù)實現(xiàn)無關(guān)的方式，對系統(tǒng)內(nèi)的業(yè)務(wù)信息，以及

各類信息之間關(guān)聯(lián)關(guān)系的數(shù)據(jù)描述。數(shù)據(jù)模型是數(shù)據(jù)倉庫建設(shè)的基礎(chǔ)，是建設(shè)

數(shù)據(jù)倉庫必不可少的一個環(huán)節(jié)。一個統(tǒng)一、完整、靈活、穩(wěn)定的數(shù)據(jù)模型對數(shù)

據(jù)倉庫項目的成功起著重要作用，并且至少滿足以下幾點：

?統(tǒng)一溝通口徑

?數(shù)據(jù)模型形成對業(yè)務(wù)定義和術(shù)語的統(tǒng)一認(rèn)識，是各部門之間溝通的橋梁，使不

同部門、單位的業(yè)務(wù)人員、應(yīng)用開發(fā)人員和系統(tǒng)管理人員對系統(tǒng)的理解達成一

致；

?數(shù)據(jù)整合與管控

?數(shù)據(jù)模型是整合多種數(shù)據(jù)源的重要手段。數(shù)據(jù)模型為復(fù)雜的數(shù)據(jù)倉庫系統(tǒng)實施

提供規(guī)范和基礎(chǔ)結(jié)構(gòu)，建立起各個業(yè)務(wù)系統(tǒng)與數(shù)據(jù)倉庫之間的映射關(guān)系，實現(xiàn)

源數(shù)據(jù)的有效整合和集中管控；

?增強分析能力

?通過數(shù)據(jù)建模，可以更全面抽象數(shù)據(jù)的維度和指標(biāo)關(guān)聯(lián)信息，全面反映數(shù)據(jù)本

質(zhì)，使數(shù)據(jù)反映的業(yè)務(wù)更加清晰，最大化數(shù)據(jù)價值；

?促進數(shù)據(jù)標(biāo)準(zhǔn)化

?通過數(shù)據(jù)模型的建立，排除數(shù)據(jù)描述的不一致性。如：同名異義、同物異名等

等，更有利于從完整性、及時性、一致性等方面對數(shù)據(jù)質(zhì)量進行管控。

?提升擴展性

系統(tǒng)設(shè)計應(yīng)該考慮到系統(tǒng)后續(xù)的應(yīng)用擴展，系統(tǒng)整合，增加接口系統(tǒng)等擴展性,

19

數(shù)據(jù)建?？梢詾楹罄m(xù)系統(tǒng)在接口層面和應(yīng)用層面的擴展提供基礎(chǔ);

6.1.2因此，通過構(gòu)建性能管理系統(tǒng)的統(tǒng)一數(shù)據(jù)模型，能統(tǒng)一和標(biāo)

準(zhǔn)化系統(tǒng)的數(shù)據(jù)，實現(xiàn)數(shù)據(jù)一致性，最大化數(shù)據(jù)價值,

輔助提升數(shù)據(jù)質(zhì)量，增強系統(tǒng)數(shù)據(jù)應(yīng)用能力和系統(tǒng)擴展

性。

6.1.3數(shù)據(jù)建模方法論

xx數(shù)據(jù)倉庫建模方法從方向和驅(qū)動力來分，可以分為“自頂向下、逐步求精”

以及“自底向上、綜合集成”兩種。

全數(shù)據(jù)應(yīng)用，一一、

局

數(shù)

據(jù)

接

口

數(shù)據(jù)倉庫

數(shù)據(jù)報表集市IAPI接口

日志管理

數(shù)

日志掃描數(shù)

據(jù)

據(jù)

質(zhì)

數(shù)據(jù)倉庫管理倉

量

庫

中

應(yīng)用系統(tǒng)管理心

數(shù)據(jù)獲取

血統(tǒng)分析轉(zhuǎn)換Tranfer/裝栽Load

其他元數(shù)據(jù)管

理

全局?jǐn)?shù)據(jù)應(yīng)用元數(shù)據(jù)管理

圖5T數(shù)據(jù)倉庫建模方法

20

自頂而下的建模方法根據(jù)業(yè)務(wù)需求和業(yè)務(wù)問題來明確系統(tǒng)邊界，劃分主題域，

再進行逐步細(xì)化，建立反映企業(yè)業(yè)務(wù)規(guī)則和業(yè)務(wù)關(guān)系的實體和實體關(guān)系。在業(yè)務(wù)需

求明確的時候，該方法可以提高分析效率；

自底向上的建模方法需要整合各業(yè)務(wù)系統(tǒng)的源數(shù)據(jù)，先抽象業(yè)務(wù)規(guī)則，劃分主題

域，再進行逐步細(xì)化，建立反映企業(yè)業(yè)務(wù)規(guī)則和業(yè)務(wù)關(guān)系的實體和實體關(guān)系。這種方

法更關(guān)注搭建企業(yè)數(shù)據(jù)框架，建立完整的企業(yè)信息視圖；

6.1.4在實際系統(tǒng)數(shù)據(jù)建模過程中通常采用這兩種方法相結(jié)合，綜

合運用。

6.1.5數(shù)據(jù)建?；驹瓌t

?標(biāo)準(zhǔn)化、規(guī)范化原則

?數(shù)據(jù)模型應(yīng)遵從統(tǒng)一的主題域劃分和實體命名規(guī)則，保證模型的標(biāo)準(zhǔn)化和規(guī)范

化；

?先進性原則

?要求邏輯模型在設(shè)計上吸收業(yè)界、國內(nèi)外優(yōu)秀的建模經(jīng)驗與方法，確保模型的

先進性；

?一致性原則

?數(shù)據(jù)模型的設(shè)計要能夠確保數(shù)據(jù)的一致性，消除各數(shù)據(jù)源的數(shù)據(jù)不一致性，以

保證數(shù)據(jù)模型內(nèi)的信息是關(guān)于整個企業(yè)一致的全局信息；

?擴展性原則

?要求數(shù)據(jù)模型具備良好的可擴展性，支持對模型的迭代性演進。當(dāng)業(yè)務(wù)需求提

出新問題或有新的數(shù)據(jù)加入模型時，要求數(shù)據(jù)模型能夠確保現(xiàn)有的數(shù)據(jù)和應(yīng)用

都不發(fā)生改變，更不得導(dǎo)致系統(tǒng)崩潰；

?自上而下的設(shè)計與自下而上的驗證原則

21

?數(shù)據(jù)模型是為業(yè)務(wù)分析服務(wù)的，所以在創(chuàng)建模型時，應(yīng)以業(yè)務(wù)需求為驅(qū)動。根

據(jù)業(yè)務(wù)需求采用自上而下的方法設(shè)計并實現(xiàn)數(shù)據(jù)模型，并且采取迭代演進的模

式，逐步豐富數(shù)據(jù)模型，逐步求精。同時，為了驗證設(shè)計與實現(xiàn)的合理性與正

確性，要求以實際數(shù)據(jù)對模型進行自下而上的驗證；

?簡單可識別原則

實體命名等要遵循簡潔、能直接識別出業(yè)務(wù)意義的原則。

6.1.6數(shù)據(jù)庫架構(gòu)設(shè)計

本工程采用主流成熟的開發(fā)框架和產(chǎn)品組件進行開發(fā)，采用多層體系結(jié)構(gòu)來構(gòu)建符合

標(biāo)準(zhǔn)與管理規(guī)范體系、安全與運行保障體系的高可住性系統(tǒng)。綜上，本項目開發(fā)的整體

技術(shù)架構(gòu)如下：

2、數(shù)據(jù)管控么

過程數(shù)據(jù)：結(jié)果數(shù)據(jù)4-

數(shù)臉g|數(shù)

據(jù)

數(shù)據(jù)等級！

挖

數(shù)據(jù)限!|掘

數(shù)據(jù)沙盤(SandBox)

生命周期

故臉全

日志率計據(jù)敢據(jù)油取一猿轉(zhuǎn)接II數(shù)雄峨

O5

….內(nèi)部觸據(jù)______一、外部數(shù)據(jù)

2情敢提II大情商嬴值［重點人員蜘居］I政蘇數(shù)也

圖5-2智慧XXJW大數(shù)據(jù)分析系統(tǒng)總體技術(shù)架構(gòu)示意圖

1）數(shù)據(jù)采集層，負(fù)責(zé)從XX系統(tǒng)內(nèi)外部系統(tǒng)獲取基礎(chǔ)數(shù)據(jù)，包括XX系統(tǒng)內(nèi)部數(shù)據(jù)、

運營商數(shù)據(jù)、行業(yè)信息數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)及手工導(dǎo)入數(shù)據(jù)，以及移動通信網(wǎng)絡(luò)

的信息數(shù)據(jù)。外部系統(tǒng)在向本系統(tǒng)輸出基礎(chǔ)數(shù)據(jù)之前，需要開發(fā)一套程序完成

原始的格式轉(zhuǎn)換和數(shù)據(jù)處理。首先要屏蔽用戶隱私信息，即用戶號碼信息全部

剔除，輸出時采用經(jīng)過加密的用戶數(shù)據(jù)。其次需要篩選出關(guān)鍵字段，每條記錄

22

都是原始數(shù)據(jù)的幾十個字段抽取出幾個關(guān)鍵字段，這樣能大大減少數(shù)據(jù)存儲

量。

2）數(shù)據(jù)管控層，通過數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)等級、數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量等標(biāo)準(zhǔn)化的規(guī)則

管理和調(diào)度控制，建立各類數(shù)據(jù)稽核手段、數(shù)據(jù)質(zhì)量分析體系，確保平臺數(shù)據(jù)

一致性、完整性、合規(guī)性，實現(xiàn)信息共享和數(shù)據(jù)的高效流轉(zhuǎn)。

?數(shù)據(jù)存儲層，負(fù)責(zé)對獲取的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進行處理，并準(zhǔn)確匹配

到上層定義好的各類計算模型。數(shù)據(jù)管控層采用了基于開源的Hadoop分布

式架構(gòu)，將傳統(tǒng)ETL的數(shù)據(jù)提取、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)校驗工作承

載在智慧XX大數(shù)據(jù)云計算平臺上，大大降低了大數(shù)據(jù)的處理成本，提升海

量數(shù)據(jù)處理的及時性。

?數(shù)據(jù)挖掘?qū)樱饕獙?shù)據(jù)進行建模和分析，模型的主要類型有：

?關(guān)聯(lián)分析?：是在關(guān)系數(shù)據(jù)中，發(fā)現(xiàn)存在于項目集或?qū)ο蠹g的關(guān)聯(lián)規(guī)則,

包括關(guān)聯(lián)、相關(guān)性、因果結(jié)構(gòu)或頻繁出現(xiàn)的模式。常用的關(guān)聯(lián)分析算法有

Apriori算法及它的各種改進或擴展算法。

?分類分析：分類是實現(xiàn)定義好類別，屬于有指導(dǎo)學(xué)習(xí)范疇。分類分析是根

據(jù)數(shù)據(jù)的特征為每個類建立一個模型，根據(jù)數(shù)據(jù)的屬性將數(shù)據(jù)分配到不同

的組中。常用分類算法有決策樹、神經(jīng)網(wǎng)絡(luò)、貝葉斯分類等。

聚類分析：是按照某種相近程度度量方法將數(shù)據(jù)分成互不相同的一些分組，實現(xiàn)

每一聚類內(nèi)部的相似性很高、各聚類之間的相似性很低。常用的聚類算法有K均值、

最近鄰、神經(jīng)網(wǎng)絡(luò)等。

預(yù)測模型分析：是從數(shù)據(jù)庫或數(shù)據(jù)倉庫中已知的數(shù)據(jù)推測位置的數(shù)據(jù)或?qū)ο蠹?/p>

某些屬性的值分布。建立預(yù)測模型的常用方法包括回歸分析、線型模型、支持矢量集、

決策樹預(yù)測、遺傳算法、隨機森林算法等。

文本挖掘：文本是無結(jié)構(gòu)或半結(jié)構(gòu)化的數(shù)據(jù)，文本挖掘是從文本數(shù)據(jù)中推導(dǎo)出模

式，其過程是通過文本分析、特征提取、模式分析的過程來實現(xiàn)。主要技術(shù)包括文本

結(jié)構(gòu)分析、文本特征提取、文本檢索、文本自動分類/聚類、文檔自動摘要、話題檢測

23

與追蹤、文本過濾、文本情感分析等。數(shù)據(jù)服務(wù)層，采用模塊化獨立封裝技術(shù)與標(biāo)準(zhǔn)

化應(yīng)用接口，功能強大且擴展性強，提供數(shù)據(jù)發(fā)布/訂閱服務(wù)、檢索、統(tǒng)計、分析類服

務(wù)集，并可通過定制服務(wù)集平滑擴展其他服務(wù)。

6.2數(shù)據(jù)應(yīng)用支撐系統(tǒng)設(shè)計

6.2.1大數(shù)據(jù)平臺關(guān)鍵技術(shù)

（1）云平臺流式計算技術(shù)

Storm為分布式實時計算提供了一組通用原語，可被用于“流處理”之中，實時處

理消息并更新數(shù)據(jù)庫。這是管理隊列及工作者集群的另一種方式。Storm也可被用于

“連續(xù)計算"（continuouscomputation）,對數(shù)據(jù)流做連續(xù)查詢，在計算時就將結(jié)

果以流的形式輸出給用戶。它還可被用于“分布式RPC”，以并行的方式運行昂貴的運

算。

Storm可以方便地在一個計算機集群中編寫與擴展復(fù)雜的實時計算，Storm用于實

時處理，就好比Hadoop用于批處理。Storm保證每個消息都會得到處理，而且它很

快在一個小集群中，每秒可以處理數(shù)以百萬計的消息。更棒的是你可以使用任意

編程語言來做開發(fā)。

Storm有許多應(yīng)用領(lǐng)域，包括實時分析、在線機器學(xué)習(xí)、信息流處理（例如，可以使用

Storm處理新的數(shù)據(jù)和快速更新數(shù)據(jù)庫）、連續(xù)性的計算（例如，使用Storm連續(xù)查詢，

然后將結(jié)果返回給客戶端，如將微博上的熱門話題轉(zhuǎn)發(fā)給用戶）、分布式RPC（遠(yuǎn)過程

調(diào)用協(xié)議，通過網(wǎng)絡(luò)從遠(yuǎn)程計算機程序上請求服務(wù)）、ETL（ExtractionTransformation

Loading,數(shù)據(jù)抽取、轉(zhuǎn)換和加載）等。

cstorm集群由一個主節(jié)點和多個工作節(jié)點組成。主節(jié)點運行了一個名為“cnimbus”的

守護進程，用于故障檢測。每個工作節(jié)點都運行了一個名為"csupervisor”的守護進

程，用于監(jiān)聽工作，開始、并終止工作進程。同時，csupervisor監(jiān)聽分配給它的機器，

根據(jù)cnimbus的委派，在必要時啟動和關(guān)閉工作進程。每個工作進程執(zhí)行topology

的一個子集。一個運行中的topology由很多運行在很多機器上的工作進程組成。

24

cnimbus和csupervisor都能快速失敗，而且是無狀態(tài)的，這樣一來它們就變得十分

健壯，兩者的協(xié)調(diào)工作是由ApacheZooKeeper來完成的。

ZooKeeper

NimbusZooKeeper

ZooKeeper

圖5-3部署方式

cstorm可保證一個Spout發(fā)射出的每個元組都會處理；如果它在超時時間內(nèi)沒有

處理，cstorm會從該Spout重放該元組。

消息流是cstorm里面的最關(guān)鍵的抽象對象。一個消息流是一個沒有邊界的tuple

（兀組）序列，而這些tuples會被以一種分布式的方式并行地創(chuàng)建和處理。對消息流

的定義主要是對消息流里面的tuple的定義，我們會給tuple里的每個字段一個名

字。并且不同tuple的對應(yīng)字段的類型必須一樣。也就是說：兩個tuple的第一個字

段的類型必須一樣，第二個字段的類型必須一樣，但是第一個字段和第二個字段可以

有不同的類型。

每個類型的流都可以按照實際需要定義一個流名，也叫流的唯一ID,以標(biāo)記他的

特殊性，如果開發(fā)者不定義流名，系統(tǒng)會默認(rèn)一個流名為"#STEAM#"。

考慮到系統(tǒng)之間傳遞結(jié)構(gòu)，需要發(fā)送和接受端都對相應(yīng)的字段進行網(wǎng)絡(luò)字節(jié)序的

轉(zhuǎn)化，并且需要額外傳遞結(jié)構(gòu)中每個字段的長度標(biāo)記信息，這些額外的標(biāo)記信息在傳

遞的結(jié)構(gòu)字段很多的情況會給網(wǎng)絡(luò)帶寬帶來很大壓力，并增加傳遞的字節(jié)數(shù)，所以這

里考慮使用JSON串來傳遞tuple。這樣，一個tuple對應(yīng)著一個完整的json串。

25

>在Worker中，并行運行著一個或多個Executor,Executor中運行著用戶邏輯線程,

而且每個Executor運行的用戶邏輯可能是不同的（在并行執(zhí)行不同的任務(wù)），用

戶邏輯都是應(yīng)用開發(fā)人員自行開發(fā)的，應(yīng)用開發(fā)人員主要關(guān)注業(yè)務(wù)邏輯，而編程

技術(shù)細(xì)節(jié)可能會考慮不周到，這樣常會出現(xiàn)用戶邏輯線程出現(xiàn)異常，而這種異常

往往是類似的，盡管可以通過編程把線程異常屏蔽在線程范圍內(nèi)，但嚴(yán)重的越界

操作卻無法屏蔽，這將導(dǎo)致整個進程出現(xiàn)異常，從而影響這個Worker中其他用戶

邏輯的執(zhí)行，在一個對準(zhǔn)性、一致性要求高的系統(tǒng)中，這個是不允許出現(xiàn)的。

>Worker間的消息通信方式以及容災(zāi)：

Worker間的通信方式：由于采用一個數(shù)據(jù)處理節(jié)點對應(yīng)一個獨立的Worker進程，數(shù)據(jù)

處理節(jié)點之間的通信也就是Worker間的通信，這意味著％rker之間的通信需要通過

進程間通信機制來進行?？紤]到可靠的TCP方式在效率和穩(wěn)定性上都可以保證，所以

Worker'間采用TCP協(xié)議進行通信。

圖5-4Worker間通信方式

>通信效率考慮，這里主要從TCP傳輸?shù)慕嵌瓤紤]，由于跨服務(wù)器間的通信受限

于網(wǎng)絡(luò)、網(wǎng)卡帶寬的影響，所以框架通過可配置的方式，Worke門間可以只和

本服務(wù)器上的卜.游節(jié)點進行通信

?Worker容災(zāi)主要從兩方面考慮：

?同一服務(wù)器內(nèi)的容災(zāi)，在同一臺服務(wù)器上同時啟動兩個同樣的Worker進程,

以防止他人誤操作，或由于程序異常導(dǎo)致一個Worker死掉后，還有一個繼續(xù)

可以用，這里為什么是兩個同樣的Worker進程呢？由于系統(tǒng)采用多線程,

并且線程調(diào)度策咯是操作系統(tǒng)范圍內(nèi)，所以線程的調(diào)度優(yōu)先級相對是比較高

的，啟動再多的線程只會浪費資源。

26

?不同服務(wù)器之間的容災(zāi)，這個主要針對混合集群的部分處理節(jié)點以及全網(wǎng)集

群的所有處理節(jié)點，如果下游的某個節(jié)點死掉了，當(dāng)前Worker節(jié)點將按照流

分組規(guī)則在全網(wǎng)集群范圍將消息分發(fā)到集群中的下游節(jié)點中。當(dāng)某個服務(wù)器上

的Worker出現(xiàn)向題，該服務(wù)器上的csupervisor會自動檢測到，并重啟相應(yīng)

的Workero

?簡單集群：集群中各服務(wù)器獨立、并行的運行相應(yīng)的計算拓?fù)?，這

些計算拓?fù)淇梢允窍嗤囊粋€或不同的多個，各服務(wù)器內(nèi)的

Worker視其他服務(wù)器上的Worker不存在一樣，每個服務(wù)器內(nèi)每個

worker之間是并行執(zhí)行的，上下游Worker間異步并行執(zhí)行。集群

內(nèi)各服務(wù)器間的Worker間不進行通信，正是由于這個才將其稱為

簡單集群，如果涉及到數(shù)據(jù)的一致性性問題，需要通過數(shù)據(jù)庫等

全局可見模塊來進行數(shù)據(jù)協(xié)調(diào)。簡單集群通過多服務(wù)器并行、異步

計算來提高運行效率，該集群是一種簡單的集群。

?全網(wǎng)集群方式：當(dāng)前節(jié)點和集群中的所有服務(wù)器中的所有下游節(jié)點

進行TCP常連接，并根據(jù)流分組策略和所有的下游節(jié)點進行通信。

集群中所有處理節(jié)點都是并行異步的。

?混合集群，該集群主要是對簡單集群的擴展，使得某個特定數(shù)據(jù)

處理bolt對應(yīng)的Worker可以放到另外一臺或幾臺服務(wù)器上，這個

模式的集群類