大數(shù)據(jù)平臺(tái)

深化設(shè)計(jì)說(shuō)明書(shū)

大數(shù)據(jù)平臺(tái)深化設(shè)計(jì)說(shuō)明書(shū)

目錄

1實(shí)現(xiàn)架構(gòu)及功能邏輯1

1.1設(shè)計(jì)思路1

1.2系統(tǒng)架構(gòu)3

1.2.1系統(tǒng)體系結(jié)構(gòu)3

1.2.1.1功能架構(gòu)3

1.2.1.2技術(shù)架構(gòu)5

1.2.1.3物理組架構(gòu)9

1.2.2系統(tǒng)設(shè)計(jì)原則10

1.2.2.1適用性原則10

1.2.2.2標(biāo)準(zhǔn)化、規(guī)范化原則10

1.2.2.3先進(jìn)性原則10

1.2.2.4實(shí)用性原則10

1.2.2.5開(kāi)放性原則11

1.2.2.6安全性原則11

1.2.2.7可擴(kuò)展原則11

1.2.3功能模塊描述12

1.2.3.1重構(gòu)社會(huì)治理大數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)12

1.2.3.2提供通用全文檢索與分析應(yīng)用工具12

1.2.3.3面向社會(huì)治理應(yīng)用的大數(shù)據(jù)服務(wù)能力13

大數(shù)據(jù)平臺(tái)深化設(shè)計(jì)說(shuō)明書(shū)

2大數(shù)據(jù)中心應(yīng)用模塊詳細(xì)設(shè)計(jì)13

2.1首頁(yè)設(shè)計(jì)13

2.1.1概要說(shuō)明13

2.1.2界面設(shè)計(jì)13

2.1.3主要功能詳細(xì)設(shè)計(jì)14

2.2數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)26

2.2.1ODS數(shù)據(jù)庫(kù)28

2.2.1.1數(shù)據(jù)庫(kù)命名28

2.2.1.2表命名規(guī)則28

2.2.1.3分區(qū)規(guī)則29

2.2.1.3.1同步類(lèi)型29

2.2.1.3.2分區(qū)類(lèi)型29

2.2.1.4審計(jì)字段30

2.2.1.5索引規(guī)則30

2.2.2DWS數(shù)據(jù)庫(kù)30

2.2.2.1表命名規(guī)則31

2.2.2.2索引規(guī)則31

2.2.2.3分區(qū)規(guī)則31

2.2.2.3.1創(chuàng)建分區(qū)表：32

2.2.2.3.2創(chuàng)建多級(jí)分區(qū)32

2.2.2.4審計(jì)字段33

大數(shù)據(jù)平臺(tái)深化設(shè)計(jì)說(shuō)明書(shū)

2.2.3DM數(shù)據(jù)庫(kù)33

2.2.3.1數(shù)據(jù)庫(kù)命名33

2.2.3.2表命名34

2.2.3.3專(zhuān)題庫(kù)34

2.2.3.3.1列數(shù)據(jù)設(shè)計(jì)原則34

2.2.3.3.2Hbase創(chuàng)建表35

2.2.3.3.3HbaseRowKEY設(shè)計(jì)35

2.2.3.3.4Hbase數(shù)據(jù)分散設(shè)計(jì)37

2.3標(biāo)準(zhǔn)管理40

2.3.1數(shù)據(jù)字典管理40

2.3.1.1功能描述40

2.3.1.2實(shí)現(xiàn)框架41

2.3.1.2.1設(shè)計(jì)思路41

2.3.1.3接口設(shè)計(jì)44

2.3.1.3.1新建數(shù)據(jù)字典接口44

2.3.1.3.2唯一性校驗(yàn)接口47

2.3.1.3.3修改數(shù)據(jù)字典48

2.3.1.3.4數(shù)據(jù)字典列表50

2.3.1.3.5數(shù)據(jù)字典刪除51

2.3.1.3.6批量導(dǎo)入數(shù)據(jù)字典52

2.3.1.3.7導(dǎo)出數(shù)據(jù)字典54

大數(shù)據(jù)平臺(tái)深化設(shè)計(jì)說(shuō)明書(shū)

2.3.1.3.8查詢數(shù)據(jù)字典詳情55

2.3.1.3.9根據(jù)版本查詢字典項(xiàng)56

2.3.1.3.10標(biāo)準(zhǔn)文件下載58

2.3.2數(shù)據(jù)元管理59

2.3.2.1功能描述59

2.3.2.2實(shí)現(xiàn)框架60

2.3.2.2.1設(shè)計(jì)思路60

2.3.2.3接口設(shè)計(jì)62

2.3.2.3.1數(shù)據(jù)元列表展示查詢接口62

2.3.2.3.2數(shù)據(jù)元新增接口62

2.3.2.3.3數(shù)據(jù)元查詢?cè)斍榻涌?3

2.3.2.3.4數(shù)據(jù)元修改接口65

2.3.2.3.5數(shù)據(jù)元?jiǎng)h除和批量刪除接口66

2.3.2.3.6數(shù)據(jù)元批量導(dǎo)入模板下載67

2.3.2.3.7數(shù)據(jù)元批量導(dǎo)入67

2.3.2.3.8數(shù)據(jù)元批量導(dǎo)出68

2.3.2.3.9數(shù)據(jù)元名稱(chēng)和編碼是否唯一68

2.3.2.3.10數(shù)據(jù)元版本號(hào)驗(yàn)證69

2.3.2.3.11數(shù)據(jù)元版本號(hào)信息查詢69

2.3.2.3.12數(shù)據(jù)元版本信息更新70

2.3.3數(shù)據(jù)標(biāo)準(zhǔn)管理70

大數(shù)據(jù)平臺(tái)深化設(shè)計(jì)說(shuō)明書(shū)

2.3.3.1功能描述70

2.3.3.1.1設(shè)計(jì)思路71

2.3.3.2接口設(shè)計(jì)72

2.3.3.2.1數(shù)據(jù)標(biāo)準(zhǔn)管理列表查詢接口72

2.3.3.2.2數(shù)據(jù)標(biāo)準(zhǔn)管理新增接口73

2.3.3.2.3數(shù)據(jù)標(biāo)準(zhǔn)管理修改接口73

2.3.3.2.4數(shù)據(jù)標(biāo)準(zhǔn)管理刪除接口74

2.3.3.2.5數(shù)據(jù)標(biāo)準(zhǔn)查看詳情接口74

2.3.3.2.6數(shù)據(jù)標(biāo)準(zhǔn)名稱(chēng)、代碼、標(biāo)準(zhǔn)號(hào)、英文名稱(chēng)是

否唯一75

2.4數(shù)據(jù)資源共享管理76

2.4.1編目管理76

2.4.2前段碼管理76

2.4.2.1功能描述76

2.4.2.2實(shí)現(xiàn)框架77

2.4.2.2.1設(shè)計(jì)思路77

2.4.2.3接口設(shè)計(jì)78

2.4.2.3.1前段碼管理列表接口78

2.4.2.3.2前段碼新增接口79

2.4.2.3.3前段碼修改接口80

2.4.2.3.4校驗(yàn)前段碼名稱(chēng)和編碼是否唯一80

大數(shù)據(jù)平臺(tái)深化設(shè)計(jì)說(shuō)明書(shū)

2.4.2.3.5前段碼刪除81

2.4.2.3.6前段碼導(dǎo)入81

2.4.2.3.7前段碼導(dǎo)出82

2.4.2.3.8前段碼批量導(dǎo)入模板下載83

2.4.3資源目錄管理83

2.4.3.1功能描述83

2.4.3.2實(shí)現(xiàn)框架84

2.4.3.2.1設(shè)計(jì)思路84

2.4.3.3接口設(shè)計(jì)87

2.4.3.3.1資源編目87

2.4.3.3,2編目修改91

2.4.3.3.3資源刪除93

2.4.3.3.4列表查詢94

2.4.3.3.5批量撤銷(xiāo)95

2.4.3.3.6批量導(dǎo)入95

2.4.3.3.7批量導(dǎo)出97

2.4.3.3.8編目詳情97

2.4.3.3.9獲取數(shù)據(jù)項(xiàng)100

2.4.3.3.10唯一性校驗(yàn)101

2.4.4文件102

2.4.4.1功能描述102

大數(shù)據(jù)平臺(tái)深化設(shè)計(jì)說(shuō)明書(shū)

2.4.4.2實(shí)現(xiàn)框架103

2.4.4.2.1設(shè)計(jì)思路103

2.4.4.3主要邏輯實(shí)現(xiàn)描述103

2.4.4.4界面設(shè)計(jì)104

2.4.4.5接口設(shè)計(jì)105

2.4.4.5.1資源發(fā)布105

2.4.4.5.2獲取注冊(cè)文件列表106

2.4.4.5.3查看編目信息107

2.4.4.5.4發(fā)布撤銷(xiāo)110

2.4.5數(shù)據(jù)庫(kù)/數(shù)據(jù)集110

2.4.5.1實(shí)現(xiàn)框架110

2.4.5.1.1設(shè)計(jì)思路110

2.4.5.2界面設(shè)計(jì)112

2.4.5.3接口設(shè)計(jì)113

2.4.5.3.1數(shù)據(jù)庫(kù)發(fā)布113

2.4.5.3.2獲取注冊(cè)數(shù)據(jù)庫(kù)列表115

2.4.5.3.3查看編目信息117

2.4.5.3.4發(fā)布撤銷(xiāo)119

2.4.5.4需求管理119

2.4.5.5功能描述119

2.4.5.6實(shí)現(xiàn)框架120

大數(shù)據(jù)平臺(tái)深化設(shè)計(jì)說(shuō)明書(shū)

2.4.5.6.1設(shè)計(jì)思路120

2.4.5.6.2類(lèi)圖及描述122

2.4.5.7接口設(shè)計(jì)123

2.4.5.7.1平臺(tái)初審需求列表查詢接口123

2.4.5.7.2門(mén)戶數(shù)據(jù)申請(qǐng)接口123

2.4.5.7.3平臺(tái)初審各申請(qǐng)狀態(tài)下的數(shù)據(jù)信息數(shù)量接

口124

2.4.5.7.4平臺(tái)初審125

2.4.5.7.5平臺(tái)數(shù)據(jù)申請(qǐng)?jiān)斍椴樵?25

2.4.5.7.6部門(mén)受理反饋接口126

2.4.5.8功能描述126

2.4.5.9實(shí)現(xiàn)框架127

2.4.5.9.1設(shè)計(jì)思路127

2.4.5.10界面設(shè)計(jì)129

2.5重點(diǎn)人員監(jiān)控平臺(tái)130

2.5.1業(yè)務(wù)場(chǎng)景130

2.5.2設(shè)計(jì)原則和設(shè)計(jì)要求131

2.5.3獲取字典項(xiàng)值131

2.5.3.1請(qǐng)求方式post131

2.5.3.2請(qǐng)求url131

2.5.3.3請(qǐng)求參數(shù)131

大數(shù)據(jù)平臺(tái)深化設(shè)計(jì)說(shuō)明書(shū)

2.5.3.4返回結(jié)果131

2.5.3.5獲取指定重點(diǎn)人員列表132

2.5.3.5.1請(qǐng)求方式post132

2.5.3.5.2請(qǐng)求url132

2.5.3.5.3請(qǐng)求參數(shù)132

2.5.3.5.4返回結(jié)果133

2.5.3.6獲取指定重點(diǎn)人員個(gè)人關(guān)系133

2.5.3.6.1請(qǐng)求方式post133

2.5.3.6.2請(qǐng)求url133

2.5.3.6.3請(qǐng)求參數(shù)133

2.5.3.6.4返回結(jié)果134

2.5.3.7獲取指定重點(diǎn)人員活動(dòng)軌跡134

2.5.3.7.1請(qǐng)求方式post134

2.5.3.7.2請(qǐng)求url134

2.5.3.7.3請(qǐng)求參數(shù)135

2.5.3.7.4返回結(jié)果135

2.5.3.8獲取指定重點(diǎn)人員重點(diǎn)記錄136

2.5.3.8.1請(qǐng)求方式post136

2.5.3.8.2請(qǐng)求url136

2.5.3.8.3請(qǐng)求參數(shù)136

2.5.3.8.4返回結(jié)果136

大數(shù)據(jù)平臺(tái)深化設(shè)計(jì)說(shuō)明書(shū)

2.5.3.9獲取指定重點(diǎn)人員個(gè)人信息基本信息137

2.5.3.9.1請(qǐng)求方式post137

2.5.3.9.2請(qǐng)求url137

2.5.3.9.3請(qǐng)求參數(shù)137

2.5.3.9.4返回結(jié)果137

2.5.3.10獲取指定重點(diǎn)人員活動(dòng)軌跡用于地圖展示……138

2.5.3.10.1請(qǐng)求方式post138

2.5.3.10.2請(qǐng)求url138

2.5.3.10.3請(qǐng)求參數(shù)139

2.5.3.10.4返回結(jié)果139

2.5.3.11數(shù)據(jù)庫(kù)設(shè)計(jì)139

2.5.3.11.1表結(jié)構(gòu)139

2.5.3.12實(shí)現(xiàn)邏輯145

2.6輿情監(jiān)測(cè)分析147

2.6.1網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)147

2.6.1.1業(yè)務(wù)場(chǎng)景147

2.6.1.2設(shè)計(jì)原則和設(shè)計(jì)要求147

2.6.1.3數(shù)據(jù)庫(kù)設(shè)計(jì)147

2.6.1.4實(shí)現(xiàn)邏輯149

2.6.2輿情數(shù)據(jù)分析150

2.6.2.1功能邏輯描述150

大數(shù)據(jù)平臺(tái)深化設(shè)計(jì)說(shuō)明書(shū)

2.6.2.2功能模塊結(jié)構(gòu)圖151

2.6.3分析過(guò)程數(shù)據(jù)模型151

2.6.3.1數(shù)據(jù)庫(kù)表：152

2.6.4軟件體系架構(gòu)描述155

2.6.5設(shè)計(jì)思路156

2.6.6詳細(xì)設(shè)計(jì)157

2.6.6.1熱詞分析157

2.6.6.1.1概要說(shuō)明157

2.6.6.1.2類(lèi)圖及描述157

2.6.6.1.3流程圖及描述158

2.6.6.2熱點(diǎn)聚類(lèi)158

2.6.6.2.1概要說(shuō)明158

2.6.6.2.2類(lèi)圖及描述159

2.6.6.2.3流程圖及描述160

2.6.6.3話題提取160

2.6.6.3.1概要說(shuō)明160

2.6.6.3.2類(lèi)圖及描述161

2.6.6.3.3流程圖及描述162

2.7智慧搜162

2.7.1功能模塊結(jié)構(gòu)圖162

2.7.2軟件體系架構(gòu)描述164

大數(shù)據(jù)平臺(tái)深化設(shè)計(jì)說(shuō)明書(shū)

2.7.3業(yè)務(wù)場(chǎng)景164

2.7.3.1.1精確查詢164

2.7.3.1.2模糊查詢165

2.7.3.1.3指定類(lèi)型查詢165

2.7.4數(shù)據(jù)來(lái)源165

2.7.5接口設(shè)計(jì)166

2.7.5.1智慧搜首頁(yè)查詢接口166

2.7.5.1.1請(qǐng)求方式post166

2.7.5.1.2請(qǐng)求url166

2.7.5.1.3請(qǐng)求參數(shù)166

2.7.5.1.4返回結(jié)果167

2.7.5.2按照條件分頁(yè)搜表數(shù)據(jù)169

2.7.5.2.1請(qǐng)求方式post169

2.7.5.2.2請(qǐng)求url169

2.7.5.2.3請(qǐng)求參數(shù)169

2.7.5.2.4返回結(jié)果170

2.7.5.3按照條件和表名分頁(yè)搜表數(shù)據(jù)171

2.7.5.3.1請(qǐng)求方式post171

2.7.5.3.2請(qǐng)求url171

2.7.5.3.3請(qǐng)求參數(shù)171

2.7.5.3.4返回結(jié)果172

大數(shù)據(jù)平臺(tái)深化設(shè)計(jì)說(shuō)明書(shū)

2.7.5.4按照身份證號(hào)和表分類(lèi)搜表數(shù)據(jù)173

2.7.5.4.1請(qǐng)求方式post173

2.7.5.4.2請(qǐng)求url173

2.7.5.4.3請(qǐng)求參數(shù)173

2.7.5.4.4返回結(jié)果174

2.7.6頁(yè)面設(shè)計(jì)174

2.7.6.1搜索主頁(yè)174

2.7.6.2搜索詳情頁(yè)175

2.8消息中心、關(guān)注對(duì)象175

2.8.1模塊架構(gòu)175

2.8.2個(gè)人消息管理UI頁(yè)面176

2.8.2.1消息訂閱176

2.8.2.2個(gè)人消息176

2.8.3消息管理中心UI頁(yè)面177

2.8.3.1消息定義177

2.8.3.2消息訂閱178

2.8.3.3消息推送178

2.8.4概念模型179

2.8.4.1消息實(shí)體179

2.8.4.2消息中心179

2.8.4.3消息推送180

大數(shù)據(jù)平臺(tái)深化設(shè)計(jì)說(shuō)明書(shū)

2.8.5物理模型181

2.8.6類(lèi)圖181

2.8.7對(duì)外接口182

2.9平臺(tái)管理模塊182

2.9.1單點(diǎn)登錄182

2.9.1.1交互圖182

2.9.1.2訪問(wèn)流程184

2.9.2用戶組權(quán)限184

2.9,2.1實(shí)現(xiàn)框架185

2.9.2.1.1設(shè)計(jì)思路185

2.9.2.1.2獲取用戶組列表查詢接口187

2.9.2.1.3查看用戶組接口187

2.9.2.1.4用戶組關(guān)聯(lián)用戶接口188

2.9.2.1.5新增用戶組接口188

2.9.2.1.6修改用戶組接口189

2.9.2.1.7刪除/批量刪除用戶組接口189

2.9.2.1.8數(shù)據(jù)授權(quán)190

2.9.3用戶管理191

2.9.3.1功能描述191

2.9.3.2實(shí)現(xiàn)框架192

2.9.3.2.1設(shè)計(jì)思路192

大數(shù)據(jù)平臺(tái)深化設(shè)計(jì)說(shuō)明書(shū)

2.9.3.3接口設(shè)計(jì)194

2.9.3.3.1獲取用戶列表查詢接口194

2.9.3.3.2新增用戶接口195

2.9.3.3.3修改用戶接口197

2.9.3.3.4刪除/批量刪除用戶組接口200

2.9.3.3.5用戶導(dǎo)入和導(dǎo)出201

2.9.3.3.6校驗(yàn)唯一性202

2.9.3.3.7上傳頭像204

2.9.4角色管理205

2.9.4.1功能描述205

2.9.5權(quán)限管理207

2.9.5.1權(quán)限管理數(shù)據(jù)模型207

2.9.5.2物理模型207

2.9.5.3類(lèi)圖208

2.9.5.4對(duì)外接口209

3深化功能209

3.1高分大屏209

3.2權(quán)限管理210

3.2.1角色管理210

3.2.2用戶管理210

3.2.3紅名單210

大數(shù)據(jù)平臺(tái)深化設(shè)計(jì)說(shuō)明書(shū)

3.3日志管理210

3.3.1用戶操作日志210

3.3.2數(shù)據(jù)處理日志210

大數(shù)據(jù)平臺(tái)深化設(shè)計(jì)說(shuō)明書(shū)

1實(shí)現(xiàn)架構(gòu)及功能邏輯

1.1設(shè)計(jì)思路

1.標(biāo)準(zhǔn)規(guī)范及統(tǒng)一架構(gòu)

業(yè)務(wù)標(biāo)準(zhǔn)規(guī)范：按照政務(wù)數(shù)據(jù)共享交換的綱領(lǐng)，總體設(shè)計(jì)思路嚴(yán)格遵

守政務(wù)數(shù)據(jù)共享交換的規(guī)范化、標(biāo)準(zhǔn)化原則。遵循國(guó)家政務(wù)信息資源管理、

交換、共享有關(guān)標(biāo)準(zhǔn)及國(guó)家政策要求。按照系統(tǒng)建設(shè)標(biāo)準(zhǔn)與規(guī)范設(shè)計(jì)設(shè)計(jì)

數(shù)據(jù)內(nèi)容、數(shù)據(jù)分類(lèi)與編碼、精度與標(biāo)準(zhǔn)等。

建立統(tǒng)一的技術(shù)架構(gòu)：統(tǒng)一的技術(shù)路線、統(tǒng)一的產(chǎn)品支撐、統(tǒng)一的技

術(shù)支撐、統(tǒng)一的業(yè)務(wù)支撐，為應(yīng)用系統(tǒng)提供多層面的支撐架構(gòu)。

建立統(tǒng)一的、標(biāo)準(zhǔn)化的應(yīng)用集成架構(gòu)，以約束不同開(kāi)發(fā)商的應(yīng)用服務(wù)

接口開(kāi)發(fā)。

2.松耦合、高靈活、可重用設(shè)計(jì)

政務(wù)數(shù)據(jù)共享交換平臺(tái)的業(yè)務(wù)多樣，需求復(fù)雜，如果按傳統(tǒng)的設(shè)計(jì)思

路，就特定問(wèn)題給出特定方案，將難以滿足平臺(tái)的業(yè)務(wù)需求的變化及擴(kuò)展

的需求。

系統(tǒng)、模塊獨(dú)立化，采用頂層設(shè)計(jì)原則，自頂向下設(shè)計(jì)實(shí)現(xiàn)，將業(yè)務(wù)

系統(tǒng)高度抽象，歸納，組織為相對(duì)獨(dú)立的子系統(tǒng)，子模塊，采用統(tǒng)一的接

口標(biāo)準(zhǔn)，統(tǒng)一的數(shù)據(jù)格式與數(shù)據(jù)結(jié)構(gòu)標(biāo)準(zhǔn)，將一個(gè)復(fù)雜的大平臺(tái)解耦，增

加平臺(tái)擴(kuò)展性，靈活性與生命力。

提供可擴(kuò)展的功能模塊封裝，包括數(shù)據(jù)源管理、編目管理、資源管理、

1/246

大數(shù)據(jù)平臺(tái)深化設(shè)計(jì)說(shuō)明書(shū)

交換管理、共享管理、用戶管理、權(quán)限管理、數(shù)據(jù)分析管理，日志管理，

等通用模塊的封裝，提升各業(yè)務(wù)系統(tǒng)的質(zhì)量，提高系統(tǒng)的復(fù)用性，減少重

復(fù)投資

3.系統(tǒng)、數(shù)據(jù)的安全性設(shè)計(jì)

數(shù)據(jù)訪問(wèn)授權(quán)，對(duì)注冊(cè)的數(shù)據(jù)和服務(wù)進(jìn)行訪問(wèn)權(quán)限控制?；谫~號(hào)

粒度，控制消費(fèi)者用戶可以訪問(wèn)的信息資源。基于唯一設(shè)備ID,控制設(shè)

備消費(fèi)者可以訪問(wèn)的信息資源。

安全防護(hù)，全方位、多角度對(duì)系統(tǒng)、數(shù)據(jù)、服務(wù)、設(shè)備進(jìn)行安全防護(hù)。

證書(shū)系統(tǒng)，自帶CA認(rèn)證的證書(shū)，各節(jié)點(diǎn)通過(guò)證書(shū)安全的組建網(wǎng)絡(luò)，

保證節(jié)點(diǎn)可信、不可抵賴，不可更改等安全特性。

4、技術(shù)先進(jìn)性設(shè)計(jì)

1）具有良好的開(kāi)放性，支持對(duì)結(jié)構(gòu)化、非結(jié)構(gòu)化等不同類(lèi)型數(shù)據(jù)的查

詢接口封裝，支持關(guān)系型數(shù)據(jù)庫(kù)、NOSQL數(shù)據(jù)庫(kù)、分布式數(shù)據(jù)庫(kù)、內(nèi)存數(shù)

據(jù)庫(kù)等多種類(lèi)型數(shù)據(jù)存儲(chǔ)模式，符合以Hadoop/Spark為代表的主流技術(shù)

發(fā)展趨勢(shì)要求,能夠兼容開(kāi)源Hadoop體系中的各類(lèi)組件。

2）采用J2EE技術(shù)路線，提供在UNIX、Linux等操作系統(tǒng)上部署。

3）系統(tǒng)應(yīng)采用B/S架構(gòu)，支持兼容JDK1.7及以上版本,支持Websphere、

WebLogic.TOMCAT等主流應(yīng)用服務(wù)器。

4）版本統(tǒng)一要求，需遵循統(tǒng)一業(yè)務(wù)規(guī)范、統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)、統(tǒng)一數(shù)據(jù)架

構(gòu)要求。

5）系統(tǒng)支持包括IE8及以上版本的IE瀏覽器、google瀏覽器、FireFox

2/246

大數(shù)據(jù)平臺(tái)深化設(shè)計(jì)說(shuō)明書(shū)

等主流瀏覽器。

6）系統(tǒng)應(yīng)遵循公安部關(guān)于信息系統(tǒng)管理的各類(lèi)技術(shù)、業(yè)務(wù)要求、檢測(cè)

標(biāo)準(zhǔn)、功能標(biāo)準(zhǔn)和數(shù)據(jù)標(biāo)準(zhǔn)。

7）系統(tǒng)結(jié)構(gòu)遵循工程統(tǒng)一要求，采用多層結(jié)構(gòu)開(kāi)發(fā)部署，實(shí)現(xiàn)業(yè)務(wù)流

程與數(shù)據(jù)處理相分離，內(nèi)容與表現(xiàn)相分離，使系統(tǒng)真正具備可擴(kuò)展性。

1.2系統(tǒng)架構(gòu)

社會(huì)治理大數(shù)據(jù)應(yīng)用服務(wù)平臺(tái)是一個(gè)為網(wǎng)格化社會(huì)治理用戶提供社會(huì)

治理全要素?cái)?shù)據(jù)服務(wù)的大數(shù)據(jù)平臺(tái)。平臺(tái)建設(shè)可以分為四個(gè)層次。分別為

社會(huì)治理大數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)、全文檢索與分析應(yīng)用、面向社會(huì)治理應(yīng)用

在大數(shù)據(jù)服務(wù)能力，實(shí)現(xiàn)省級(jí)平臺(tái)數(shù)據(jù)級(jí)聯(lián)和共享。

1.2.1系統(tǒng)體系結(jié)構(gòu)

1.2.1.1功能架構(gòu)

社會(huì)治理大數(shù)據(jù)應(yīng)用平臺(tái)采用面向服務(wù)架構(gòu)設(shè)計(jì)技術(shù)，平臺(tái)總體分

層架構(gòu)由大數(shù)據(jù)匯集、大數(shù)據(jù)整合、大數(shù)據(jù)存儲(chǔ)計(jì)算分析平臺(tái)、大數(shù)據(jù)資

源池、大數(shù)據(jù)研判分析、大數(shù)據(jù)服務(wù)、大數(shù)數(shù)據(jù)可視化展示、大數(shù)據(jù)管理

等7大核心部分組成。

平臺(tái)架構(gòu)下圖所示：

3/246

大數(shù)據(jù)平臺(tái)深化設(shè)計(jì)說(shuō)明書(shū)

平臺(tái)用戶苣理統(tǒng)一授權(quán)統(tǒng)一認(rèn)證單點(diǎn)登錄笆慧搜通知通告待辦事務(wù)數(shù)

門(mén)戶據(jù)

管

理

人員詈理全局態(tài)勢(shì)信息要素王題信息卷蠅就人像比對(duì)服務(wù)信息推送服務(wù)

監(jiān)

測(cè)

三康地圖要素對(duì)象信息輿情分析即席杳詢服更信皂訂閱服務(wù)

分

零

Afi蜒三維建筑網(wǎng)格力量輿情監(jiān)灣智盤(pán)搜服務(wù)關(guān)注對(duì)象服務(wù)

臺(tái)

人員預(yù)警視頻圖像接入視頻短信指拄輿情簡(jiǎn)報(bào)數(shù)據(jù)核查服務(wù)

平人員關(guān)系研判模型人員軌跡研判模型事件分析處理模型網(wǎng)絡(luò)事件動(dòng)春監(jiān)測(cè)網(wǎng)格人員動(dòng)態(tài)監(jiān)測(cè)

標(biāo)

臺(tái)

準(zhǔn)

應(yīng)

民生熱點(diǎn)問(wèn)題監(jiān)瀏精準(zhǔn)幫茨動(dòng)態(tài)監(jiān)測(cè)社會(huì)治安質(zhì)態(tài)評(píng)估網(wǎng)格員動(dòng)杳配置校園周邊全規(guī)

用

范

管

開(kāi)

理

發(fā)

運(yùn)

'維

奮

安

接

據(jù)

全

自然語(yǔ)言文本處理大

數(shù)

入機(jī)器學(xué)習(xí)標(biāo)至營(yíng)理數(shù)據(jù)分忻模型

大

數(shù)

存

據(jù)

保

等

數(shù)

據(jù)

儲(chǔ)

資

恚崖處理計(jì)算流計(jì)算內(nèi)存計(jì)算國(guó)計(jì)算隙

標(biāo)

空

據(jù)

：

源

t源

準(zhǔn)

集

目

M列式數(shù)據(jù)庫(kù)口圖數(shù)據(jù)庫(kù)I全文檢索效先庫(kù)內(nèi)存數(shù)據(jù)庫(kù)關(guān)系型政據(jù)庫(kù)油

群

規(guī)

錄

危

-r臺(tái)-

分布式文件系統(tǒng)(HDFS)

體

系

數(shù)

據(jù)

數(shù)

會(huì)批地J口我數(shù)據(jù)實(shí)時(shí)接入數(shù)克質(zhì)量稽核質(zhì)

據(jù)

S量

數(shù)受抽取webServiceAPI接口標(biāo)準(zhǔn)化處理

數(shù)

據(jù)

安

全

綜治大數(shù)室公安大數(shù)據(jù).政三?我有社會(huì)大數(shù)據(jù)上級(jí)大數(shù)據(jù)互聯(lián)網(wǎng)大數(shù)樨

計(jì)算資源存儲(chǔ)費(fèi)源網(wǎng)絡(luò)綾源政等■外網(wǎng)互聯(lián)網(wǎng)轉(zhuǎn)治專(zhuān)網(wǎng)邊界接入平臺(tái)

其中大數(shù)據(jù)存儲(chǔ)計(jì)算分析平臺(tái)依托Hadoop開(kāi)源生態(tài)技術(shù)棧搭建分布

式存儲(chǔ)和計(jì)算框架。提供基于離線計(jì)算、實(shí)時(shí)計(jì)算、內(nèi)存計(jì)算、圖計(jì)算等

計(jì)算框架開(kāi)發(fā)社會(huì)治理大數(shù)據(jù)分析應(yīng)用。提供關(guān)系型數(shù)據(jù)庫(kù)、列式數(shù)據(jù)庫(kù)、

圖數(shù)據(jù)庫(kù)、內(nèi)存數(shù)據(jù)庫(kù)和全文檢索數(shù)據(jù)庫(kù)五種數(shù)據(jù)庫(kù)，以存儲(chǔ)各種類(lèi)型的

社會(huì)治理數(shù)據(jù)資源。提供數(shù)據(jù)資源的存儲(chǔ)、轉(zhuǎn)換、增量導(dǎo)入、數(shù)據(jù)清洗等

功能。經(jīng)導(dǎo)入和清洗的數(shù)據(jù)資源，根據(jù)其不同的性質(zhì)、數(shù)量和應(yīng)用方式,

將數(shù)據(jù)存放在相應(yīng)的數(shù)據(jù)庫(kù)系統(tǒng)中。提供標(biāo)簽管理、數(shù)據(jù)分析模型管理功

能，使用圖形化的數(shù)據(jù)建模環(huán)境，通過(guò)數(shù)據(jù)分析過(guò)程和算法編排形成數(shù)據(jù)

分析計(jì)算工作流，完成數(shù)據(jù)建模應(yīng)用的開(kāi)發(fā)。

4/246

大數(shù)據(jù)平臺(tái)深化設(shè)計(jì)說(shuō)明書(shū)

1.2.1.2技術(shù)架構(gòu)

技術(shù)架構(gòu)，平臺(tái)系統(tǒng)功能可分為4個(gè)層次:數(shù)據(jù)服務(wù)層、數(shù)據(jù)計(jì)算層、

數(shù)據(jù)存儲(chǔ)層DWS、數(shù)據(jù)采集層。另外加上數(shù)據(jù)源層ODS層，數(shù)據(jù)源層為系

統(tǒng)外部業(yè)務(wù)系統(tǒng)、業(yè)務(wù)數(shù)據(jù)庫(kù)、業(yè)務(wù)文檔庫(kù)提供。為共享數(shù)據(jù)交換平臺(tái)提

供數(shù)據(jù)的支撐。

數(shù)據(jù)接口

數(shù)據(jù)服務(wù)層監(jiān)控告警交互圖表大屏展示

(API\REST)

______,_______7

11一-——

/\

|SQL引擎數(shù)據(jù)Club數(shù)據(jù)倉(cāng)庫(kù)］數(shù)據(jù)挖掘Manager

數(shù)據(jù)計(jì)算層

［數(shù)據(jù)探索)［數(shù)據(jù)窿模|

""實(shí)時(shí)計(jì)[系統(tǒng)管理)

[Spark||Storm|[MapReduce|

［SSO)

I分類(lèi)T回歸I聚合『關(guān)聯(lián)

安全管理

MahoutMlib

數(shù)據(jù)存偌層一?;集群管理

DWSI懿色也

X._________

\(機(jī)器學(xué)習(xí)靠法睪|/茶集管理

［演式管理I

一HDFS數(shù)據(jù)治理<-4?

I』務(wù)模型I

數(shù)據(jù)采集層

抽取|［轉(zhuǎn)換］］清洗)|題合||一也化］引領(lǐng)|

ETLI畝訐管理

數(shù)據(jù)湖

結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)I日志管理|

救據(jù)源ODS

|Oracle](Oracle]|Oracle][Oracle)Spider

Spider

公安人社民政交通里論熱點(diǎn)

圖-2：綜治中心數(shù)據(jù)應(yīng)用架構(gòu)

數(shù)據(jù)源0DS層：從業(yè)務(wù)系統(tǒng)，異構(gòu)結(jié)構(gòu)化數(shù)據(jù)如公安、人社、民

政、政法，和非結(jié)構(gòu)化數(shù)據(jù)，如新浪微博、百度帖吧、論壇，新聞新點(diǎn)抽

取數(shù)據(jù)到數(shù)據(jù)湖中存儲(chǔ)。作數(shù)據(jù)規(guī)約化，標(biāo)準(zhǔn)化處理。

數(shù)據(jù)ETL采集層：

5/246

大數(shù)據(jù)平臺(tái)深化設(shè)計(jì)說(shuō)明書(shū)

?數(shù)據(jù)采集層使用可視化的開(kāi)發(fā)開(kāi)具，通過(guò)圖形化拖拉拽，敏捷開(kāi)

發(fā)模式，集數(shù)據(jù)建模和ETL設(shè)計(jì)于一體，能快速響應(yīng)開(kāi)發(fā)，靈

活應(yīng)對(duì)，需求變動(dòng)，開(kāi)發(fā)者與應(yīng)用者視角隔離，支持多人協(xié)同定

義，共享資料庫(kù)，內(nèi)置數(shù)倉(cāng)分層結(jié)構(gòu)，提供數(shù)倉(cāng)全局一體化視圖，

可視化管理和可視化定義，內(nèi)置豐富的清洗、轉(zhuǎn)換、抽取，支持

多種文件格式，如TXT、EXCEL多種數(shù)據(jù)庫(kù)類(lèi)型，關(guān)系型數(shù)據(jù)庫(kù)

Oracle、MySql、SQLService、非關(guān)系數(shù)據(jù)HIVE,

HBase,Elasticseach,消息中心件Kafka、MQActive,ETL定義

支持?jǐn)?shù)據(jù)抽樣，轉(zhuǎn)換過(guò)程支持邊設(shè)置邊預(yù)覽，基于時(shí)間或事件的

調(diào)度觸發(fā)模式，批量加載和并行計(jì)算機(jī)制。

?數(shù)據(jù)抽取是根據(jù)預(yù)設(shè)的抽取機(jī)制從原始數(shù)據(jù)中讀取數(shù)據(jù)，包括結(jié)

構(gòu)化數(shù)據(jù)的抽取和非結(jié)構(gòu)化數(shù)據(jù)的抽取。抽取機(jī)制支持定時(shí)抽取、

全量抽取、增量抽取、時(shí)間戳抽取、觸發(fā)抽取等。

?預(yù)處理層支持對(duì)結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)去重處理；對(duì)于結(jié)

構(gòu)化數(shù)據(jù)，判斷在指定時(shí)間窗口內(nèi)，所有字段如果相同，則合并

為一條記錄。對(duì)于非結(jié)構(gòu)化數(shù)據(jù)，在指定時(shí)間窗口內(nèi)，對(duì)非結(jié)構(gòu)

化數(shù)據(jù)指定范圍計(jì)算md5值，相同MD5值的文件體只保留一個(gè)原

始文件。

數(shù)據(jù)存儲(chǔ)DWS層：

?基礎(chǔ)庫(kù)：

基礎(chǔ)庫(kù)包含HBase數(shù)據(jù)庫(kù)和HDFS。前者用于存儲(chǔ)生產(chǎn)庫(kù)中關(guān)系型

6/246

大數(shù)據(jù)平臺(tái)深化設(shè)計(jì)說(shuō)明書(shū)

數(shù)據(jù)庫(kù)數(shù)據(jù)，后者存儲(chǔ)生產(chǎn)環(huán)境中的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),

包括文本、視頻、圖片、網(wǎng)頁(yè)等。

?HBase數(shù)據(jù)庫(kù)：

基礎(chǔ)庫(kù)中的HBase數(shù)據(jù)庫(kù)可以看做是生產(chǎn)庫(kù)中關(guān)系型數(shù)據(jù)庫(kù)的鏡像庫(kù),

其數(shù)據(jù)結(jié)構(gòu)按照關(guān)系型數(shù)據(jù)庫(kù)中表結(jié)構(gòu)建設(shè)，如下圖：

Rowkeycollcol2col3

(Hashvalue)

coll、col2等，與生產(chǎn)庫(kù)表字段保持一致，統(tǒng)一在一個(gè)列組（列

組名為F）下。Rowkey采用hashcode的算法生成散列的hash值。

表名的命名采用B_來(lái)源_tablename的方式，其中B代表BasicDB,

是基礎(chǔ)庫(kù)的意思，來(lái)源是生產(chǎn)庫(kù)用途的拼音的大寫(xiě)縮寫(xiě)，例如來(lái)

源是旅館，那么其縮寫(xiě)就是LG。tablename取自生產(chǎn)庫(kù)本身的表

名。

數(shù)據(jù)計(jì)算層：

大數(shù)據(jù)計(jì)算層是從大量的原始數(shù)據(jù)中抽取有價(jià)值的信息，即數(shù)據(jù)轉(zhuǎn)換

成信息的過(guò)程。主要對(duì)所輸入的各種形式的數(shù)據(jù)進(jìn)行加工整理，這一過(guò)程

包含對(duì)數(shù)據(jù)的收集、存儲(chǔ)、加工、分類(lèi)、歸并、計(jì)算、排序、轉(zhuǎn)換、檢索

和傳播的演變與推導(dǎo)。大數(shù)據(jù)計(jì)算層包括兩大基本因素：數(shù)據(jù)處理和數(shù)據(jù)

管理。如下圖所示：

7/246

大數(shù)據(jù)平臺(tái)深化設(shè)計(jì)說(shuō)明書(shū)

大數(shù)據(jù)平臺(tái)計(jì)算層

收集存儲(chǔ)加工

分支［歸并［計(jì)算

排序轉(zhuǎn)換檢索

數(shù)據(jù)平臺(tái)計(jì)算層

數(shù)據(jù)服務(wù)層：

數(shù)據(jù)服務(wù)層通過(guò)數(shù)據(jù)接口如API,RESTFUL接口對(duì)外提供數(shù)據(jù)服務(wù)。

同時(shí)通過(guò)數(shù)據(jù)服務(wù)提供BIDashboard指標(biāo)功能展示，及前端的大屏展示。

基礎(chǔ)設(shè)施層：

包括計(jì)算設(shè)施、存儲(chǔ)設(shè)施、網(wǎng)絡(luò)設(shè)施、安全設(shè)施等。是所有上層軟件能力

的物理承載，提供了強(qiáng)大的計(jì)算能力、大數(shù)據(jù)量訪問(wèn)與可靠的存儲(chǔ)能力、

高吞吐的能力、安全可靠的服務(wù)能力。

8/246

大數(shù)據(jù)平臺(tái)深化設(shè)計(jì)說(shuō)明書(shū)

物理組架構(gòu)

/uUaogS入

奉賢綜治數(shù)據(jù)應(yīng)用服務(wù)平臺(tái)是由web服務(wù)，數(shù)據(jù)庫(kù)服務(wù)，hadoop和es的

集群環(huán)境組成