PAGE上海市奉賢區(qū)政務數(shù)據(jù)共享交換平臺項目Z320601180349(CS063)詳細設計說明書大數(shù)據(jù)平臺深化設計方案大數(shù)據(jù)平臺深化設計方案目錄TOC\o"1-5"\h\u1實現(xiàn)架構(gòu)及功能邏輯 11.1設計思路 11.2系統(tǒng)架構(gòu) 31.2.1系統(tǒng)體系結(jié)構(gòu) 功能架構(gòu) 技術(shù)架構(gòu) 物理組架構(gòu) 91.2.2系統(tǒng)設計原則 適用性原則 標準化、規(guī)范化原則 先進性原則 實用性原則 開放性原則 安全性原則 可擴展原則 111.2.3功能模塊描述 重構(gòu)社會治理大數(shù)據(jù)存儲結(jié)構(gòu) 提供通用全文檢索與分析應用工具 面向社會治理應用的大數(shù)據(jù)服務能力 132大數(shù)據(jù)中心應用模塊詳細設計 132.1首頁設計 132.1.1概要說明 132.1.2界面設計 132.1.3主要功能詳細設計 142.2數(shù)據(jù)倉庫設計 262.2.1ODS數(shù)據(jù)庫 2數(shù)據(jù)庫命名 2表命名規(guī)則 2分區(qū)規(guī)則 2.1同步類型 2.2分區(qū)類型 2審計字段 30索引規(guī)則 302.2.2DWS數(shù)據(jù)庫 30表命名規(guī)則 3索引規(guī)則 3分區(qū)規(guī)則 3.1創(chuàng)建分區(qū)表： 3.2創(chuàng)建多級分區(qū) 3審計字段 332.2.3DM數(shù)據(jù)庫 3數(shù)據(jù)庫命名 3表命名 3專題庫 3.1列數(shù)據(jù)設計原則 3.2Hbase創(chuàng)建表 3.3HbaseRowKEY設計 3.4Hbase數(shù)據(jù)分散設計 372.3標準管理 402.3.1數(shù)據(jù)字典管理 40功能描述 40實現(xiàn)框架 4.1設計思路 4接口設計 4.1新建數(shù)據(jù)字典接口 4.2唯一性校驗接口 4.3修改數(shù)據(jù)字典 4.4數(shù)據(jù)字典列表 50.5數(shù)據(jù)字典刪除 5.6批量導入數(shù)據(jù)字典 5.7導出數(shù)據(jù)字典 5.8查詢數(shù)據(jù)字典詳情 5.9根據(jù)版本查詢字典項 5.10標準文件下載 582.3.2數(shù)據(jù)元管理 5功能描述 5實現(xiàn)框架 60.1設計思路 60接口設計 6.1數(shù)據(jù)元列表展示查詢接口 6.2數(shù)據(jù)元新增接口 6.3數(shù)據(jù)元查詢詳情接口 6.4數(shù)據(jù)元修改接口 6.5數(shù)據(jù)元刪除和批量刪除接口 6.6數(shù)據(jù)元批量導入模板下載 6.7數(shù)據(jù)元批量導入 6.8數(shù)據(jù)元批量導出 6.9數(shù)據(jù)元名稱和編碼是否唯一 6.10數(shù)據(jù)元版本號驗證 6.11數(shù)據(jù)元版本號信息查詢 6.12數(shù)據(jù)元版本信息更新 702.3.3數(shù)據(jù)標準管理 70功能描述 70.1設計思路 7接口設計 7.1數(shù)據(jù)標準管理列表查詢接口 7.2數(shù)據(jù)標準管理新增接口 7.3數(shù)據(jù)標準管理修改接口 7.4數(shù)據(jù)標準管理刪除接口 7.5數(shù)據(jù)標準查看詳情接口 7.6數(shù)據(jù)標準名稱、代碼、標準號、英文名稱是否唯一 752.4數(shù)據(jù)資源共享管理 762.4.1編目管理 762.4.2前段碼管理 7功能描述 7實現(xiàn)框架 7.1設計思路 7接口設計 7.1前段碼管理列表接口 7.2前段碼新增接口 7.3前段碼修改接口 80.4校驗前段碼名稱和編碼是否唯一 80.5前段碼刪除 8.6前段碼導入 8.7前段碼導出 8.8前段碼批量導入模板下載 832.4.3資源目錄管理 8功能描述 8實現(xiàn)框架 8.1設計思路 8接口設計 8.1資源編目 8.2編目修改 9.3資源刪除 9.4列表查詢 9.5批量撤銷 9.6批量導入 9.7批量導出 9.8編目詳情 9.9獲取數(shù)據(jù)項 100.10唯一性校驗 1012.4.4文件 10功能描述 10實現(xiàn)框架 10.1設計思路 10主要邏輯實現(xiàn)描述 10界面設計 10接口設計 10.1資源發(fā)布 10.2獲取注冊文件列表 10.3查看編目信息 10.4發(fā)布撤銷 1102.4.5數(shù)據(jù)庫/數(shù)據(jù)集 1實現(xiàn)框架 1.1設計思路 1界面設計 1接口設計 1.1數(shù)據(jù)庫發(fā)布 1.2獲取注冊數(shù)據(jù)庫列表 1.3查看編目信息 1.4發(fā)布撤銷 1需求管理 1功能描述 1實現(xiàn)框架 1.1設計思路 1.2類圖及描述 1接口設計 1.1平臺初審需求列表查詢接口 1.2門戶數(shù)據(jù)申請接口 1.3平臺初審各申請狀態(tài)下的數(shù)據(jù)信息數(shù)量接口 1.4平臺初審 1.5平臺數(shù)據(jù)申請詳情查詢 1.6部門受理反饋接口 12功能描述 12實現(xiàn)框架 12.1設計思路 120界面設計 1292.5重點人員監(jiān)控平臺 1302.5.1業(yè)務場景 1302.5.2設計原則和設計要求 1312.5.3獲取字典項值 13請求方式post 13請求url 13請求參數(shù) 13返回結(jié)果 13獲取指定重點人員列表 13.1請求方式post 13.2請求url 13.3請求參數(shù) 13.4返回結(jié)果 13獲取指定重點人員個人關(guān)系 13.1請求方式post 13.2請求url 13.3請求參數(shù) 13.4返回結(jié)果 13獲取指定重點人員活動軌跡 13.1請求方式post 13.2請求url 13.3請求參數(shù) 13.4返回結(jié)果 13獲取指定重點人員重點記錄 13.1請求方式post 13.2請求url 13.3請求參數(shù) 13.4返回結(jié)果 13獲取指定重點人員個人信息基本信息 13.1請求方式post 13.2請求url 13.3請求參數(shù) 13.4返回結(jié)果 130獲取指定重點人員活動軌跡用于地圖展示 130.1請求方式post 130.2請求url 130.3請求參數(shù) 130.4返回結(jié)果 131數(shù)據(jù)庫設計 131.1表結(jié)構(gòu) 132實現(xiàn)邏輯 1452.6輿情監(jiān)測分析 1472.6.1網(wǎng)絡爬蟲系統(tǒng) 14業(yè)務場景 14設計原則和設計要求 14數(shù)據(jù)庫設計 14實現(xiàn)邏輯 1492.6.2輿情數(shù)據(jù)分析 150功能邏輯描述 150功能模塊結(jié)構(gòu)圖 1512.6.3分析過程數(shù)據(jù)模型 15數(shù)據(jù)庫表： 1522.6.4軟件體系架構(gòu)描述 1552.6.5設計思路 1562.6.6詳細設計 15熱詞分析 15.1概要說明 15.2類圖及描述 15.3流程圖及描述 15熱點聚類 15.1概要說明 15.2類圖及描述 15.3流程圖及描述 160話題提取 160.1概要說明 160.2類圖及描述 16.3流程圖及描述 1622.7智慧搜 1622.7.1功能模塊結(jié)構(gòu)圖 1622.7.2軟件體系架構(gòu)描述 1642.7.3業(yè)務場景 16.1精確查詢 16.2模糊查詢 16.3指定類型查詢 1652.7.4數(shù)據(jù)來源 1652.7.5接口設計 16智慧搜首頁查詢接口 16.1請求方式post 16.2請求url 16.3請求參數(shù) 16.4返回結(jié)果 16按照條件分頁搜表數(shù)據(jù) 16.1請求方式post 16.2請求url 16.3請求參數(shù) 16.4返回結(jié)果 170按照條件和表名分頁搜表數(shù)據(jù) 17.1請求方式post 17.2請求url 17.3請求參數(shù) 17.4返回結(jié)果 17按照身份證號和表分類搜表數(shù)據(jù) 17.1請求方式post 17.2請求url 17.3請求參數(shù) 17.4返回結(jié)果 1742.7.6頁面設計 17搜索主頁 17搜索詳情頁 1752.8消息中心、關(guān)注對象 1752.8.1模塊架構(gòu) 1752.8.2個人消息管理UI頁面 17消息訂閱 17個人消息 1762.8.3消息管理中心UI頁面 17消息定義 17消息訂閱 17消息推送 1782.8.4概念模型 17消息實體 17消息中心 17消息推送 1802.8.5物理模型 1812.8.6類圖 1812.8.7對外接口 1822.9平臺管理模塊 1822.9.1單點登錄 18交互圖 18訪問流程 1842.9.2用戶組權(quán)限 18實現(xiàn)框架 18.1設計思路 18.2獲取用戶組列表查詢接口 18.3查看用戶組接口 18.4用戶組關(guān)聯(lián)用戶接口 18.5新增用戶組接口 18.6修改用戶組接口 18.7刪除/批量刪除用戶組接口 18.8數(shù)據(jù)授權(quán) 1902.9.3用戶管理 19功能描述 19實現(xiàn)框架 19.1設計思路 19接口設計 19.1獲取用戶列表查詢接口 19.2新增用戶接口 19.3修改用戶接口 19.4刪除/批量刪除用戶組接口 200.5用戶導入和導出 20.6校驗唯一性 20.7上傳頭像 2042.9.4角色管理 20功能描述 2052.9.5權(quán)限管理 20權(quán)限管理數(shù)據(jù)模型 20物理模型 20類圖 20對外接口 2093深化功能 2093.1高分大屏 2093.2權(quán)限管理 2103.2.1角色管理 2103.2.2用戶管理 2103.2.3紅名單 2103.3日志管理 2103.3.1用戶操作日志 2103.3.2數(shù)據(jù)處理日志 210PAGE210/246實現(xiàn)架構(gòu)及功能邏輯設計思路1.標準規(guī)范及統(tǒng)一架構(gòu)業(yè)務標準規(guī)范：按照政務數(shù)據(jù)共享交換的綱領，總體設計思路嚴格遵守政務數(shù)據(jù)共享交換的規(guī)范化、標準化原則。遵循國家政務信息資源管理、交換、共享有關(guān)標準及國家政策要求。按照系統(tǒng)建設標準與規(guī)范設計設計數(shù)據(jù)內(nèi)容、數(shù)據(jù)分類與編碼、精度與標準等。建立統(tǒng)一的技術(shù)架構(gòu)：統(tǒng)一的技術(shù)路線、統(tǒng)一的產(chǎn)品支撐、統(tǒng)一的技術(shù)支撐、統(tǒng)一的業(yè)務支撐，為應用系統(tǒng)提供多層面的支撐架構(gòu)。建立統(tǒng)一的、標準化的應用集成架構(gòu)，以約束不同開發(fā)商的應用服務接口開發(fā)。2.松耦合、高靈活、可重用設計政務數(shù)據(jù)共享交換平臺的業(yè)務多樣，需求復雜，如果按傳統(tǒng)的設計思路，就特定問題給出特定方案，將難以滿足平臺的業(yè)務需求的變化及擴展的需求。系統(tǒng)、模塊獨立化，采用頂層設計原則，自頂向下設計實現(xiàn)，將業(yè)務系統(tǒng)高度抽象，歸納，組織為相對獨立的子系統(tǒng)，子模塊，采用統(tǒng)一的接口標準，統(tǒng)一的數(shù)據(jù)格式與數(shù)據(jù)結(jié)構(gòu)標準，將一個復雜的大平臺解耦，增加平臺擴展性，靈活性與生命力。提供可擴展的功能模塊封裝，包括數(shù)據(jù)源管理、編目管理、資源管理、交換管理、共享管理、用戶管理、權(quán)限管理、數(shù)據(jù)分析管理，日志管理，等通用模塊的封裝，提升各業(yè)務系統(tǒng)的質(zhì)量，提高系統(tǒng)的復用性，減少重復投資3.系統(tǒng)、數(shù)據(jù)的安全性設計數(shù)據(jù)訪問授權(quán)，對注冊的數(shù)據(jù)和服務進行訪問權(quán)限控制?；谫~號粒度，控制消費者用戶可以訪問的信息資源?；谖ㄒ辉O備ID，控制設備消費者可以訪問的信息資源。安全防護，全方位、多角度對系統(tǒng)、數(shù)據(jù)、服務、設備進行安全防護。證書系統(tǒng)，自帶CA認證的證書，各節(jié)點通過證書安全的組建網(wǎng)絡，保證節(jié)點可信、不可抵賴，不可更改等安全特性。4、技術(shù)先進性設計1）具有良好的開放性，支持對結(jié)構(gòu)化、非結(jié)構(gòu)化等不同類型數(shù)據(jù)的查詢接口封裝，支持關(guān)系型數(shù)據(jù)庫、NOSQL數(shù)據(jù)庫、分布式數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫等多種類型數(shù)據(jù)存儲模式，符合以Hadoop/Spark為代表的主流技術(shù)發(fā)展趨勢要求,能夠兼容開源Hadoop體系中的各類組件。2）采用J2EE技術(shù)路線，提供在UNIX、Linux等操作系統(tǒng)上部署。3）系統(tǒng)應采用B/S架構(gòu)，支持兼容JDK1.7及以上版本，支持Websphere、WebLogic、TOMCAT等主流應用服務器。4）版本統(tǒng)一要求，需遵循統(tǒng)一業(yè)務規(guī)范、統(tǒng)一數(shù)據(jù)標準、統(tǒng)一數(shù)據(jù)架構(gòu)要求。5）系統(tǒng)支持包括IE8及以上版本的IE瀏覽器、google瀏覽器、FireFox等主流瀏覽器。6）系統(tǒng)應遵循公安部關(guān)于信息系統(tǒng)管理的各類技術(shù)、業(yè)務要求、檢測標準、功能標準和數(shù)據(jù)標準。7）系統(tǒng)結(jié)構(gòu)遵循工程統(tǒng)一要求，采用多層結(jié)構(gòu)開發(fā)部署，實現(xiàn)業(yè)務流程與數(shù)據(jù)處理相分離，內(nèi)容與表現(xiàn)相分離，使系統(tǒng)真正具備可擴展性。系統(tǒng)架構(gòu)社會治理大數(shù)據(jù)應用服務平臺是一個為網(wǎng)格化社會治理用戶提供社會治理全要素數(shù)據(jù)服務的大數(shù)據(jù)平臺。平臺建設可以分為四個層次。分別為社會治理大數(shù)據(jù)存儲結(jié)構(gòu)、全文檢索與分析應用、面向社會治理應用在大數(shù)據(jù)服務能力，實現(xiàn)省級平臺數(shù)據(jù)級聯(lián)和共享。系統(tǒng)體系結(jié)構(gòu)功能架構(gòu)社會治理大數(shù)據(jù)應用平臺采用面向服務架構(gòu)設計技術(shù)，平臺總體分層架構(gòu)由大數(shù)據(jù)匯集、大數(shù)據(jù)整合、大數(shù)據(jù)存儲計算分析平臺、大數(shù)據(jù)資源池、大數(shù)據(jù)研判分析、大數(shù)據(jù)服務、大數(shù)數(shù)據(jù)可視化展示、大數(shù)據(jù)管理等7大核心部分組成。平臺架構(gòu)下圖所示：其中大數(shù)據(jù)存儲計算分析平臺依托Hadoop開源生態(tài)技術(shù)棧搭建分布式存儲和計算框架。提供基于離線計算、實時計算、內(nèi)存計算、圖計算等計算框架開發(fā)社會治理大數(shù)據(jù)分析應用。提供關(guān)系型數(shù)據(jù)庫、列式數(shù)據(jù)庫、圖數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫和全文檢索數(shù)據(jù)庫五種數(shù)據(jù)庫，以存儲各種類型的社會治理數(shù)據(jù)資源。提供數(shù)據(jù)資源的存儲、轉(zhuǎn)換、增量導入、數(shù)據(jù)清洗等功能。經(jīng)導入和清洗的數(shù)據(jù)資源，根據(jù)其不同的性質(zhì)、數(shù)量和應用方式，將數(shù)據(jù)存放在相應的數(shù)據(jù)庫系統(tǒng)中。提供標簽管理、數(shù)據(jù)分析模型管理功能，使用圖形化的數(shù)據(jù)建模環(huán)境，通過數(shù)據(jù)分析過程和算法編排形成數(shù)據(jù)分析計算工作流，完成數(shù)據(jù)建模應用的開發(fā)。技術(shù)架構(gòu)技術(shù)架構(gòu)，平臺系統(tǒng)功能可分為4個層次：數(shù)據(jù)服務層、數(shù)據(jù)計算層、數(shù)據(jù)存儲層DWS、數(shù)據(jù)采集層。另外加上數(shù)據(jù)源層ODS層，數(shù)據(jù)源層為系統(tǒng)外部業(yè)務系統(tǒng)、業(yè)務數(shù)據(jù)庫、業(yè)務文檔庫提供。為共享數(shù)據(jù)交換平臺提供數(shù)據(jù)的支撐。圖-2：綜治中心數(shù)據(jù)應用架構(gòu)數(shù)據(jù)源ODS層：從業(yè)務系統(tǒng)，異構(gòu)結(jié)構(gòu)化數(shù)據(jù)如公安、人社、民政、政法，和非結(jié)構(gòu)化數(shù)據(jù)，如新浪微博、百度帖吧、論壇，新聞新點抽取數(shù)據(jù)到數(shù)據(jù)湖中存儲。作數(shù)據(jù)規(guī)約化，標準化處理。數(shù)據(jù)ETL采集層：數(shù)據(jù)采集層使用可視化的開發(fā)開具，通過圖形化拖拉拽，敏捷開發(fā)模式，集數(shù)據(jù)建模和ETL設計于一體，能快速響應開發(fā)，靈活應對，需求變動，開發(fā)者與應用者視角隔離，支持多人協(xié)同定義，共享資料庫，內(nèi)置數(shù)倉分層結(jié)構(gòu)，提供數(shù)倉全局一體化視圖，可視化管理和可視化定義，內(nèi)置豐富的清洗、轉(zhuǎn)換、抽取，支持多種文件格式，如TXT、EXCEL多種數(shù)據(jù)庫類型，關(guān)系型數(shù)據(jù)庫Oracle、MySql、SQLService、非關(guān)系數(shù)據(jù)HIVE,HBase,Elasticseach,消息中心件Kafka、MQActive，ETL定義支持數(shù)據(jù)抽樣，轉(zhuǎn)換過程支持邊設置邊預覽，基于時間或事件的調(diào)度觸發(fā)模式，批量加載和并行計算機制。數(shù)據(jù)抽取是根據(jù)預設的抽取機制從原始數(shù)據(jù)中讀取數(shù)據(jù)，包括結(jié)構(gòu)化數(shù)據(jù)的抽取和非結(jié)構(gòu)化數(shù)據(jù)的抽取。抽取機制支持定時抽取、全量抽取、增量抽取、時間戳抽取、觸發(fā)抽取等。預處理層支持對結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)去重處理；對于結(jié)構(gòu)化數(shù)據(jù)，判斷在指定時間窗口內(nèi)，所有字段如果相同，則合并為一條記錄。對于非結(jié)構(gòu)化數(shù)據(jù)，在指定時間窗口內(nèi)，對非結(jié)構(gòu)化數(shù)據(jù)指定范圍計算md5值，相同MD5值的文件體只保留一個原始文件。數(shù)據(jù)存儲DWS層：基礎庫：基礎庫包含HBase數(shù)據(jù)庫和HDFS。前者用于存儲生產(chǎn)庫中關(guān)系型數(shù)據(jù)庫數(shù)據(jù)，后者存儲生產(chǎn)環(huán)境中的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，包括文本、視頻、圖片、網(wǎng)頁等。HBase數(shù)據(jù)庫：基礎庫中的HBase數(shù)據(jù)庫可以看做是生產(chǎn)庫中關(guān)系型數(shù)據(jù)庫的鏡像庫，其數(shù)據(jù)結(jié)構(gòu)按照關(guān)系型數(shù)據(jù)庫中表結(jié)構(gòu)建設，如下圖：col1、col2等，與生產(chǎn)庫表字段保持一致，統(tǒng)一在一個列組（列組名為F）下。Rowkey采用hashcode的算法生成散列的hash值。表名的命名采用B_來源_tablename的方式，其中B代表BasicDB，是基礎庫的意思，來源是生產(chǎn)庫用途的拼音的大寫縮寫，例如來源是旅館，那么其縮寫就是LG。tablename取自生產(chǎn)庫本身的表名。數(shù)據(jù)計算層：大數(shù)據(jù)計算層是從大量的原始數(shù)據(jù)中抽取有價值的信息，即數(shù)據(jù)轉(zhuǎn)換成信息的過程。主要對所輸入的各種形式的數(shù)據(jù)進行加工整理，這一過程包含對數(shù)據(jù)的收集、存儲、加工、分類、歸并、計算、排序、轉(zhuǎn)換、檢索和傳播的演變與推導。大數(shù)據(jù)計算層包括兩大基本因素：數(shù)據(jù)處理和數(shù)據(jù)管理。如下圖所示：大數(shù)據(jù)平臺計算層數(shù)據(jù)服務層：數(shù)據(jù)服務層通過數(shù)據(jù)接口如API，RESTFUL接口對外提供數(shù)據(jù)服務。同時通過數(shù)據(jù)服務提供BIDashboard指標功能展示，及前端的大屏展示?；A設施層：包括計算設施、存儲設施、網(wǎng)絡設施、安全設施等。是所有上層軟件能力的物理承載，提供了強大的計算能力、大數(shù)據(jù)量訪問與可靠的存儲能力、高吞吐的能力、安全可靠的服務能力。物理組架構(gòu)奉賢綜治數(shù)據(jù)應用服務平臺是由web服務，數(shù)據(jù)庫服務，hadoop和es的集群環(huán)境組成系統(tǒng)設計原則適用性原則適用性原則是平臺設計的第一原則。社會治理大數(shù)據(jù)應用服務平臺必須能滿足各種社會治理業(yè)務應用對數(shù)據(jù)資源的多樣性、大數(shù)據(jù)量、快速響應的要求。標準化、規(guī)范化原則平臺的各個部件都必須盡可能采用標準的協(xié)議、規(guī)范，以簡化多應用的適用要求。數(shù)據(jù)調(diào)查的合規(guī)合法是所有工作開展的前提，必須保證證據(jù)是真實、準確、完整、符合法律法規(guī)的。先進性原則依托先進成熟的大數(shù)據(jù)技術(shù)，采用分布式架構(gòu)實現(xiàn)互聯(lián)網(wǎng)公共資源數(shù)據(jù)、社會資源數(shù)據(jù)，外部資源接口數(shù)據(jù)以及智能終端的快速取證數(shù)據(jù)，實現(xiàn)異構(gòu)數(shù)據(jù)融合存儲，綜合分析和深度挖掘；實用性原則建設規(guī)范標準的調(diào)查數(shù)據(jù)規(guī)范，嚴格依規(guī)收集、鑒別證據(jù)，做到全面、客觀，與大數(shù)據(jù)平臺匯聚的外部數(shù)據(jù)能夠形成相互印證、完整穩(wěn)定的證據(jù)鏈。開放性原則社會治理大數(shù)據(jù)平臺提供統(tǒng)一的開放標準數(shù)據(jù)接口，使用統(tǒng)一的數(shù)據(jù)接口對接綜治及外部資源數(shù)據(jù)。對縣（市、區(qū)）已經(jīng)建設數(shù)據(jù)匯聚的綜治中心，提供標準的數(shù)據(jù)SDK，保證數(shù)據(jù)實時穩(wěn)定匯聚市級平臺。同時，平臺還必須提供必要的應用開發(fā)接口，便于應用系統(tǒng)的開發(fā)。安全性原則平臺集中了大量的數(shù)據(jù)，其中很多數(shù)據(jù)是敏感數(shù)據(jù)。平臺必須有必要的安全設施以保證數(shù)據(jù)的訪問授權(quán)和安全審計。嚴格執(zhí)行審查保密制度，在數(shù)據(jù)調(diào)查和獲取其他業(yè)務協(xié)同的數(shù)據(jù)時不泄露辦案信息和留下系統(tǒng)訪問蹤跡，對采集的數(shù)據(jù)進行加密傳輸、集中綜合分析?？蓴U展原則社會治理大數(shù)據(jù)信息的數(shù)量和種類會隨著社會治理信息化建設而不斷擴充，而且數(shù)據(jù)處理、分析的技術(shù)也會快速地發(fā)展，新的技術(shù)會隨著應用開發(fā)和數(shù)據(jù)處理的過程不斷出現(xiàn)。平臺必須要有一個可擴充的架構(gòu)，使得新的數(shù)據(jù)種類、方法、技術(shù)不斷地引進平臺。本期項目建設至少滿足2~3年的數(shù)據(jù)存儲要求，后期根據(jù)數(shù)據(jù)種類及數(shù)據(jù)量的變化內(nèi)容，進行動態(tài)地擴容數(shù)據(jù)中心存儲。功能模塊描述重構(gòu)社會治理大數(shù)據(jù)存儲結(jié)構(gòu)在面向大數(shù)據(jù)開展應用時，過多的數(shù)據(jù)表數(shù)量以及過于復雜的關(guān)聯(lián)關(guān)系會嚴重影響整體效率。因此，社會治理大數(shù)據(jù)應用服務平臺首先需要根據(jù)大數(shù)據(jù)應用的需求，大幅度簡化社會治理的原有數(shù)據(jù)結(jié)構(gòu)，基于NOSQL列式數(shù)據(jù)庫建立大數(shù)據(jù)表，在一張或者幾張表中整合之前成百上千張表的信息，從多表走向單表。通過這種方式，大幅度簡化數(shù)據(jù)關(guān)聯(lián)，理順社會治理數(shù)據(jù)的關(guān)聯(lián)關(guān)系，提升數(shù)據(jù)應用效果。同時，利用大數(shù)據(jù)平臺容量線性擴展的特性，將海量非結(jié)構(gòu)化數(shù)據(jù)納入到平臺中來，充分利用已有數(shù)據(jù)資源，加強數(shù)據(jù)整合力度。提供通用全文檢索與分析應用工具社會治理大數(shù)據(jù)平臺基于自身整合的大數(shù)據(jù)，為用戶提供海量數(shù)據(jù)的精確查詢、模糊查詢和全文檢索。用戶可以使用接近自然語言的搜索條件進行百度式的搜索，操作簡便，實現(xiàn)海量數(shù)據(jù)查詢毫秒級響應能力。除了搜索應用之外，社會治理大數(shù)據(jù)平臺還可以基于整合后的社會治理大數(shù)據(jù)，實現(xiàn)碰撞分析、統(tǒng)計分析、聚合分析等各種分析應用，為社會治理實戰(zhàn)提供服務。面向社會治理應用的大數(shù)據(jù)服務能力社會治理大數(shù)據(jù)平臺還可以通過數(shù)據(jù)接口、服務接口，將自身整合的大數(shù)據(jù)、搜索和分析應用提供給第三方應用群，實現(xiàn)面向網(wǎng)格化社會治理應用的大數(shù)據(jù)服務，從而使得各級綜治中心、網(wǎng)格員可以根據(jù)自身業(yè)務需求，快速、便捷、靈活地使用大數(shù)據(jù)服務，降低業(yè)務的開發(fā)時間和開發(fā)成本，適應業(yè)務需求的快速變化。大數(shù)據(jù)中心應用模塊詳細設計首頁設計概要說明門戶首頁，提供總覽性數(shù)據(jù)展示，包括機構(gòu)隊伍、基本信息、重點人員、奉賢市地圖概覽、熱點事件、區(qū)域幫扶對象、事件辦結(jié)情況。界面設計門戶首頁，提供總覽性數(shù)據(jù)展示，包括機構(gòu)隊伍、基本信息、重點人員、奉賢市地圖概覽、熱點事件、區(qū)域幫扶對象、事件辦結(jié)情況。主要功能詳細設計設計思路：匯總的表較多，考慮到效率的問題，設計了一張中間表，依據(jù)字典表對數(shù)據(jù)分類進行初步記錄匯總，業(yè)務邏輯直接處理中間表中的數(shù)據(jù)，并在業(yè)務代碼中將數(shù)據(jù)存入了緩存中，已達到快速響應。表格設計REPORT_T_TABLE字典表（表格）字段名類型說明source_system_namevarchar2(60)源系統(tǒng)名稱，例如：公安、人社、

法院source_system_db_typevarchar2(20)源系統(tǒng)類型，例如：mysql、oraclesource_table_name

varchar2(80)源系統(tǒng)表名source_table_fieldnumuber

varchar2(20)源系統(tǒng)字段總數(shù)source_table_recordnumbervarchar2(20)源表中記錄數(shù)source_business_typevarchar2(20)源表業(yè)務類型，

例如：人、

物、組織table_codevarchar2(32)表格編號table_en_name

varchar2(180)英語表名table_zh_namevarchar2(60)中文表名table_titlevarchar2(180)前端展示標題table_db_type

varchar2(60)目標數(shù)據(jù)庫類型table_business_levelvarchar2(20)數(shù)倉數(shù)據(jù)模型

，例如：ODS,DWB

,DBS

DM

table_big_typevarchar2(20)大類

，例如：人、

物、組織table_smalle_type

varchar2(20)小類

，例如：重點人員、上訪人員static_flag

varchar2(6)是否統(tǒng)計標識static_frequency

varchar2(60)統(tǒng)計頻度static_detailvarchar2(200)表簡短描述reserve

varchar2(80)預留

REPORT_STATIC_SITE字典表（地址）字段名類型說明site_codevarchar2(16)地址編號site_namevarchar2(80)地址名稱longitudevarchar2(16)經(jīng)度latitudevarchar2(16)緯度REPORT_T_SUMMARY匯總表字段名類型說明Table_codeVarchar2(32)表格編號Table_nameVarchar2(32)表格名稱Area_codeVarchar2(32)地址編號ScountNumber(11)記錄條數(shù)Stat_timeDate統(tǒng)計時間Reserve1Varchar2(32)預留字段Reserve2Varchar2(32)預留字段Reserve3Varchar2(32)預留字段數(shù)據(jù)流向接口設計1機構(gòu)隊伍1.1請求方式get1.2請求方式url /dptjxx/summary/queryJgdw1.3請求參數(shù) 無1.4返回結(jié)果返回值名稱返回值類型說明successbooleanfalse:失敗，true:成功dataarray集合namestring名稱valuestring總數(shù)示例請求：/dptjxx/summary/queryJgdw返回：{"success":true,"data":[{name:”網(wǎng)格員”,value:“112”},{name:”黨組織”,value:“112”}]}2基本信息2.1請求方式get2.2請求方式url /dptjxx/summary/queryJbxx2.3請求參數(shù) 無2.4返回結(jié)果返回值名稱返回值類型說明successbooleanfalse:失敗，true:成功dataarray集合namestring名稱valuestring總數(shù)示例請求：/dptjxx/summary/queryJbxx返回：{"success":true,"data":[{name:”實有人口”,value:“112”},{name:”戶籍人口”,value:“112”}]}3重點人員3.1請求方式get3.2請求方式url /dptjxx/summary/queryZdry3.3請求參數(shù) 無3.4返回結(jié)果返回值名稱返回值類型說明successbooleanfalse:失敗，true:成功dataarray集合namestring名稱valuestring總數(shù)示例請求：/dptjxx/summary/queryZdry返回：{"success":true,"data":[{name:”社區(qū)矯正人員”,value:“112”},{name:”重點上訪人員”,value:“112”}]}4奉賢地圖4.1請求方式get4.2請求方式url /dptjxx/summary/queryNtsdt4.3請求參數(shù) 無4.4返回結(jié)果返回值名稱返回值類型說明successbooleanfalse:失敗，true:成功dataarray集合areastring地區(qū)名posarray經(jīng)緯度[經(jīng)度,緯度]listarray集合namestring名稱valuestring總數(shù)示例請求：/dptjxx/summary/queryNtsdt返回：{"success":true,"data":[ { “area”:"南橋", “pos”:[123.5,30.6], “l(fā)ist”:[ { “name”:”網(wǎng)格數(shù)”, “value”:”112” },{ “name”:”網(wǎng)格員”, “value”:”112” }]},{ “area”:"南橋", “pos”:[123.5,30.6], “l(fā)ist”:[ { “name”:”網(wǎng)格數(shù)”, “value”:”112” },{ “name”:”網(wǎng)格員”, “value”:”112” }]}]}5熱點事件5.1請求方式get5.2請求方式url /dptjxx/summary/queryHot5.3請求參數(shù) 無5.4返回結(jié)果返回值名稱返回值類型說明successbooleanfalse:失敗，true:成功dataarray集合namestring名稱valuestring總數(shù)示例請求：/dptjxx/summary/queryHot返回：{"success":true,"data":[{name:”利福”,value:“37496”},{name:”設計者”,value:“26185”}]}6幫扶對象6.1請求方式get6.2請求方式url /dptjxx/summary/queryBfdx6.3請求參數(shù) 無6.4返回結(jié)果返回值名稱返回值類型說明successbooleanfalse:失敗，true:成功dataarray集合namestring名稱valuestring總數(shù)示例請求：/dptjxx/summary/queryBfdx返回：{"success":true,"data":[{name:”奉浦”,value:“37”},{name:”四團”,value:“261”}]}7事件辦結(jié)情況7.1請求方式get7.2請求方式url /dptjxx/summary/querySjbjqk7.3請求參數(shù) 無7.4返回結(jié)果返回值名稱返回值類型說明successbooleanfalse:失敗，true:成功dataarray集合namestring名稱valuestring總數(shù)示例請求：/dptjxx/summary/querySjbjqk返回：{"success":true,"data":[{name:”代辦”,value:“37”},{name:”待辦結(jié)”,value:“261”}]}數(shù)據(jù)倉庫設計圖2：數(shù)據(jù)倉庫建模平臺數(shù)據(jù)表通過奉賢區(qū)大數(shù)據(jù)中心獲取的數(shù)據(jù)，落地到政法委ORACLE數(shù)據(jù)庫，目前全量更新，更新周期定義為1周。1、一標六實

通過統(tǒng)一的標準地址庫，在地圖上實現(xiàn)對社區(qū)實有人口、實有房屋、實有單位、實有安防設施、實有治安力量、實有警情事件等數(shù)據(jù)為核心的綜合分析和多維展示。

實有人口模塊以二維地圖加圖形化的方式對小區(qū)內(nèi)人口進行分類統(tǒng)計，并可關(guān)聯(lián)查詢?nèi)藛T的"一人一檔"信息。

實有房屋模塊包含小區(qū)內(nèi)樓棟樓層信息、房屋信息、住戶信息、成員標簽信息，并與"一人一檔"關(guān)聯(lián)。

實有單位是指社區(qū)內(nèi)部及周邊單位信息，包括單位名稱、照片、地址，以及從業(yè)人員詳細信息。

實有力量包括了對居委干部、樓組長、志愿者、保安、保潔、保綠等相關(guān)人員的管理。

實有裝備是統(tǒng)計小區(qū)內(nèi)可用的警用裝備以及消防設施，通過對實有力量的感知及實有裝備的統(tǒng)計，提升對突發(fā)事件處理的高效性和精準性。

實有安防設施模塊主要管理社區(qū)內(nèi)部已部署的各類感知設備，包含高清監(jiān)控、人臉抓拍機、車輛微卡口、視頻門禁、WIFI探針、消防感知設備等。

實有警情事件實現(xiàn)對社區(qū)布控告警、接報事件、人口感知、車輛感知、告警感知等警情事件的智能分析和流轉(zhuǎn)處理，實現(xiàn)"報警-推送-接警-處置-反饋-統(tǒng)計"管理閉環(huán)。

ODS數(shù)據(jù)庫數(shù)據(jù)庫命名ODS_$Source_System_Name$Source_System_Name為源系統(tǒng)名表命名規(guī)則ODS_$Source_Table_Name_dt0(增量)ODS_$Source_Table_Name(全量)$Source_Table_Name為源表名;由此層為源系統(tǒng)接入層表，命名原則上應是”O(jiān)DS”+源系統(tǒng)表名，名字應在30個字符以內(nèi)，如源表名超長，適當縮寫。如系統(tǒng)沒有表是消息文件方式接入，同樣按上述規(guī)則進行創(chuàng)建表名。分區(qū)規(guī)則同步類型每天每批次調(diào)度為一個分區(qū)、存儲歷史分區(qū)，可回溯歷史數(shù)據(jù);數(shù)據(jù)分區(qū)，每個分數(shù)據(jù)量數(shù)據(jù)量為億以下;T+1天調(diào)度建議分區(qū)，分區(qū)字段建議按數(shù)據(jù)導入周期時間命名為:l_date;存儲格式為YYYY-MM_DD.同時建議用string類型。避免default分區(qū)造成數(shù)據(jù)報錯。避免不同時間粒度數(shù)據(jù)不好判斷。示例如下：Createtablexxpartitionalby(I_datestring)storedasoracfile;一天多次調(diào)度建議時間分區(qū)，分區(qū)字段按數(shù)據(jù)導入周期時間命名為：l_date存儲時間分區(qū)存YYYY-MM_DD。同時多批次。按時間建立二級分區(qū)字段，I_hour,指定小時區(qū)分字段存儲格式為hh如：00,01,02（一天多調(diào)度）分區(qū)類型靜態(tài)分區(qū)、分區(qū)字段I_status(I/U/S)、存儲全量，active的數(shù)據(jù)。I:Insert新增分區(qū)數(shù)據(jù)U：update更新的分區(qū)數(shù)據(jù)S：stable穩(wěn)定的分區(qū)數(shù)據(jù)示例如下：Createtablexxpartitionalby(I_datestring,，I_hourstring)storedasoracfile;審計字段ODS_Create_datetime記錄創(chuàng)建時間(系統(tǒng)時間YYYY_MM_DDHH:MM:SS)ODS_Last_modified_datetime記錄最后記錄修改時間(系統(tǒng)時間YYYY_MM_DDHH:MM:SS)ODS_delete_date_datetime記錄最后記錄刪除時間(系統(tǒng)時間YYYY_MM_DDHH:MM:SS)索引規(guī)則視ODS表使用的場景而定。DWS數(shù)據(jù)庫DWS層數(shù)據(jù)，根據(jù)清洗轉(zhuǎn)換，標準化，去重、填空后的作了初步表映射生成寬表數(shù)據(jù)。表命名規(guī)則DWD_$Subject_$bussinfo_f(公共明細事實表)DWS_$Subject_$bussinfo_f(公共匯總事實表)DWB_$subject_$bussinfo_r(關(guān)系表)DIM_$Subject_$bussinfo_d(維表)APD_$Subject_$bussinfo(應用表)$Subject綜治平臺各主題$bussinfo業(yè)務含義信息。表命名后綴，一般事實表_F,關(guān)系表為_R,維表為_D如出現(xiàn)跨主題域加工表，以主表為準命名。索引規(guī)則主題層根據(jù)使用場景，根據(jù)DM使用，指標計算設置索引。Hive索引rowgroupindex和bloomfilterindex兩類?？梢詢烧呓Y(jié)合使用。分區(qū)規(guī)則公共匯總層數(shù)據(jù)，ETL處理規(guī)則ODS->DWS一般都是按業(yè)務日期，groupby,原則上建議按業(yè)務分析的字段，根據(jù)數(shù)據(jù)分布情況選取Groupby字段做分區(qū)。DWS層分區(qū)主要考慮應用場景。可以按業(yè)務字段設置動態(tài)分區(qū)。也可按I/U/S設置靜態(tài)分區(qū)平臺數(shù)據(jù)表更新周期定義為1周\ZFZZ數(shù)據(jù)更新周期定義為月\天闕社會治理系統(tǒng)數(shù)據(jù)為天。最小數(shù)據(jù)進步時間按天。建議HIVE創(chuàng)建分區(qū)按月分份分區(qū)。創(chuàng)建分區(qū)表：createtableDWS_XXX_partition(idstring,namestring)PARTITIONEDBY(monthstring)rowformatdelimitedfieldsterminatedby'\t';查詢分區(qū)信息：showpartitions表名hive>showpartitionstb_partition;OKmonth=201708month=201709month=201710后繼根據(jù)業(yè)務數(shù)據(jù)量大小，創(chuàng)建多級分區(qū)。（待定）創(chuàng)建多級分區(qū)createtabletb_mul_partition(idstring,namestring)PARTITIONEDBY(monthstring,codestring)rowformatdelimitedfieldsterminatedby'\t';加載數(shù)據(jù)：loaddatalocalinpath'/home/hadoop/files/nameinfo.txt'intotabletb_mul_partitionpartition(month='201709',code='10000');loaddatalocalinpath'/home/hadoop/files/nameinfo.txt'intotabletb_mul_partitionpartition(month='201710',code='10000');審計字段DMS_Create_date記錄創(chuàng)建時間(系統(tǒng)時間YYYY_MM_DDHH:MM:SS)DMS_Last_modified_date記錄最后記錄修改時間(系統(tǒng)時間YYYY_MM_DDHH:MM:SS)DM數(shù)據(jù)庫數(shù)據(jù)庫命名主題層分為6個數(shù)據(jù)庫，分別如下DM_$Domain$domain指綜合治理平臺各應用名如：人、地、事、組織、網(wǎng)格、物。表命名dm_$domain_$Analysis_object_$bussinfo_F(事實表)dm_dim_$domain_$bussinfo_D(維表)$Analysis_object：分析對象$domain指綜合治理平臺各應用名如：人、地、事、組織、網(wǎng)格、物。$bussinfo_F三維、智慧搜、重點人員專題庫列數(shù)據(jù)設計原則1.行鍵在表設計，決定著應用中的交互以及提取數(shù)據(jù)的性能。2.hbase表示非常靈活的，你可以使用字節(jié)數(shù)組存儲任何數(shù)據(jù)。3.存錯任何數(shù)據(jù)到列族中，都可以使用相同的訪問模式來訪問數(shù)據(jù)。4.索引僅僅是行鍵，好好利用，將成為你的優(yōu)勢。5.深度高的表結(jié)構(gòu)，可以使得你快速且簡單的訪問數(shù)據(jù)，但是卻丟掉了原子性。寬度廣的表結(jié)構(gòu)，可以保證行級別的原子操作，但每行會有很多的列。6.你需要好好的思考你的表設計，使得可以使用單條API就可以操作，而不是使用多條。hbase不支持跨行的事務，也盡量避免在客戶端代碼中使用這樣的邏輯。7.行鍵的哈?？梢允沟眯墟I有固定的長度和更好的分布。但是卻丟棄了使用字符串時的默認排序功能。8.列標識可以用來存儲數(shù)據(jù)，就像單元數(shù)據(jù)一樣。9.列標識的長度影響數(shù)據(jù)存儲的足跡。也影響硬盤和網(wǎng)絡IO的花銷，所以應該盡量簡潔。10.列族名字的長度影響到發(fā)送到客戶端的數(shù)據(jù)長度。所以盡量簡潔。Hbase創(chuàng)建表Hbase是三維有序存儲的。通過rowkey（行鍵），columnkey(columnfamily、ColumnQualifier)和timestamp(時間戳)這三個維度對Hbase中的數(shù)據(jù)進行快速定位。Hbase中rowkey可以唯一標識一行記錄，在Hbase查詢的時候有兩種方式：通過get方式，指定rowkey獲取唯一一條記錄。通過scan方式，設置startRow和stopRow參數(shù)進行范圍匹配。全表掃描，即直接掃描整張表中所有記錄。HbaseRowKEY設計長度原則：rowkey是一個二進制碼流，可以為任意字符串，最大長度為64kb，實際應用中一般為10-100bytes，它以byte[]形式保存，一般設定成定長。一般越短越好，不要超過16個字節(jié)，注意原因如下：1、目前操作系統(tǒng)都是64位系統(tǒng)，內(nèi)存8字節(jié)對齊，控制在16字節(jié)，8字節(jié)的整數(shù)倍利用了操作系統(tǒng)的最佳特性。2、hbase將部分數(shù)據(jù)加載到內(nèi)存當中，如果rowkey過長，內(nèi)存的有效利用率就會下降。散列原則如果rowkey按照時間戳的方式遞增，不要將時間放在二進制碼的前面，建議將rowkey的高位字節(jié)采用散列字段處理，由程序隨即生成。低位放時間字段，這樣將提高數(shù)據(jù)均衡分布，各個regionServer負載均衡的幾率。如果不進行散列處理，首字段直接使用時間信息，所有該時段的數(shù)據(jù)都將集中到一個regionServer當中，這樣當檢索數(shù)據(jù)時，負載會集中到個別regionServer上，造成熱點問題，會降低查詢效率。唯一原則必須在設計上保證其唯一性，rowkey是按照字典順序排序存儲的，因此，設計rowkey的時候，要充分利用這個排序的特點，將經(jīng)常讀取的數(shù)據(jù)存儲到一塊，將最近可能會被訪問的數(shù)據(jù)放到一塊。但是這里的量不能太大，如果太大需要拆分到多個節(jié)點上去。所以良好的rowkey設計，應當遵循三大原則，并且能讓數(shù)據(jù)分散，從而避免熱點問題。Hbase數(shù)據(jù)分散設計加鹽這里所說的加鹽并非密碼學中的加鹽，而是在rowkey的前面分配隨機數(shù)，當給rowkey隨機前綴后，它就能分布到不同的region中，這里的前綴應該和你想要數(shù)據(jù)分散的不同的region的數(shù)量有關(guān)。設計通話記錄的rowkey時，需要將能唯一確定該條記錄的數(shù)據(jù)編入rowkey當中。如下所示：1776565797918688887777201806121502#主叫，被叫，時間預分區(qū)通常hbase會自動處理region拆分，當region的大小到達一定閾值后，region將被拆分成兩個，之后在兩個region都能繼續(xù)增長數(shù)據(jù)。然而在這個過程當中，會出現(xiàn)兩個問題：第一點，就是我們所說的熱點問題，數(shù)據(jù)會繼續(xù)往一個region中寫，出現(xiàn)寫熱點問題；第二點，則是拆分合并風暴，當用戶的region大小以恒定的速度增長，region的拆分會在同一時間發(fā)生，因為同時需要壓縮region中的存儲文件，這個過程會重寫拆分后的region，這將會引起磁盤I/O上升。所謂預分區(qū)，就是預先創(chuàng)建hbase表分區(qū)。這需要我們明確rowkey的取值范圍和構(gòu)成邏輯。比如前面我們所列舉的電信電話詳單表。通過加鹽我們得到的rowkey構(gòu)成是：隨機數(shù)+主叫+被叫+時間，如果我們現(xiàn)在并沒有500臺機器，只有10臺，但是按照我們的計劃，未來將擴展到500臺的規(guī)模。所以我們?nèi)匀辉O計0到499的隨機數(shù)，但是將以主叫177開頭的通話記錄分配到十個region當中，所以我們將隨機數(shù)均分成十個區(qū)域，范圍如下：-50,50-100,100-150,150-200,200-250,250-300,300-350,350-400,400-450,450-然后我們將我們的預分區(qū)存入數(shù)組當中，當插入數(shù)據(jù)時，先根據(jù)插入數(shù)據(jù)的首部隨機數(shù)，判斷分區(qū)位置，再進行插入數(shù)據(jù)。同樣，這樣也能使得各臺節(jié)點負載均衡。哈希細心的同學可能會發(fā)現(xiàn)，在我們剛剛提出的加鹽與預分區(qū)rowkey設計方法中，并沒有完整運用到rowkey設計的散列原則。更一步思考下，我們會發(fā)現(xiàn)如果只運用加鹽與預分區(qū)rowkey設計方法，數(shù)據(jù)會真正無序隨即分布在hbase集群當中，這并沒有讓我們利用到hbase根據(jù)字典順序排序的這一特點。由此，哈希這一設計理念便順理成章的出現(xiàn)在我們眼前。同樣以電信通話記錄為例，我們想將某一天的通話記錄存入同一region當中，所以我們利用哈希函數(shù)算出哈希值，再模以我們需要存入region數(shù)量，我們就能將相同輸入的數(shù)據(jù)，存入同一region當中。在主叫，被叫，時間rowkey當中，我們將callerID（主叫）與20180612（某一天的時間）作為參賽，傳入哈希函數(shù)當中，將得到的哈希值模以500，余數(shù)添加到rowkey首部中，再結(jié)合預分區(qū)設計方法，就能將數(shù)據(jù)均勻分布到regionServer當中。同時，我們還能將相同rowkey的數(shù)據(jù)收集到一臺節(jié)點上，在避免熱點問題的情況下，充分利用Hbase字典排序的優(yōu)點標準管理數(shù)據(jù)字典管理功能描述描述：數(shù)據(jù)字典模塊提供系統(tǒng)所需要的系統(tǒng)字典和用戶字典數(shù)據(jù)。同時保存不同版本號數(shù)據(jù)。功能點：根據(jù)字典名稱、字典編碼模糊化查詢字典列表；點擊列表中字典信息查詢具體字典信息（包括版本）；查詢具體字典信息字典項信息（包括版本）；下載標準文件；新建用戶字典；批量導出、導出用戶或系統(tǒng)字典；批量刪除用戶字典修改用戶字典；修改系統(tǒng)字典中字典項；刪除用戶字典；注意點：系統(tǒng)字典不可刪除，不可頁面新增，可通過導入新增系統(tǒng)字典，能修改新增字典項；用戶字典被引用不能刪除，字典類型不可修改；版本號只升不降，需要校驗版本號；導入行數(shù)校驗最大65535行；實現(xiàn)框架設計思路新建數(shù)據(jù)字典保存數(shù)據(jù)字典時，將字典信息和字典項保存在一張表（sys_business_dictionary）中，通過pid來區(qū)別，字典信息的pid為-1,而字典項的pid為字典信息的id。同時將此數(shù)據(jù)保存在字典版本表中一份(sys_business_dictionary_version)，其中為了關(guān)聯(lián)字典表和版本數(shù)據(jù)，字典版本表（sys_business_dictionary_version）中字典信息需要使用一個dict_id來保存sys_business_dictionary中id，以此關(guān)聯(lián)。修改數(shù)據(jù)字典調(diào)用修改字典接口，如果頁面?zhèn)鬟f另存一個版本，說明版本號修改過，此時需要校驗版本是否降級了，不另存一個版本時，僅僅修改sys_business_dictionary表的版本和修改字段。如果是另存版本，在修改sys_business_dictionary時需要將此條記錄保存版本記錄到sys_business_dictionary_version表。刪除字典信息頁面?zhèn)鬟fids到后臺，后臺根據(jù)傳遞的ids校驗是否字典被引用，如果引用則刪除失敗，如果沒引用則物理刪除字典信息。批量導入選擇對應的Excel模板，根據(jù)界面選擇的規(guī)則忽略或者修改相同編碼的字典數(shù)據(jù)。其他數(shù)據(jù)新增。批量導出用于在數(shù)據(jù)字典列表中當用戶勾選數(shù)據(jù)字典時導出數(shù)據(jù)字典信息和數(shù)據(jù)字典項信息。如果用戶沒有勾選，使用模糊查詢得到了結(jié)果，點擊批量導出則導出查詢結(jié)果的數(shù)據(jù)字典信息和字典項信息。PS：模糊查詢條件里面寫入了查詢條件,沒有勾選，沒有點擊查詢的情況，此情況認為是沒有ids，沒有模糊查詢條件。接口設計新建數(shù)據(jù)字典接口接口功能描述傳遞數(shù)據(jù)字典信息，保存數(shù)據(jù)字典序號字段名稱長度限制備注1字典名稱1~20字符，不允許重復，必填2字典類型包括：系統(tǒng)字典/用戶字典，必填只能維護用戶字典3字典編碼1~20位，支持字母、數(shù)字、字母+數(shù)字組合，字典編碼不允許重復，必填4起草人2~20個字符，支持中英文（包括全角字符）、數(shù)字、下劃線

（全角及漢字算兩位）,中文按二位計數(shù)，非必填；5起草單位0~80個字符，手動輸入，非必填6批準時間日期控件，非必填，僅為描述性字段無業(yè)務邏輯7標準文件支持各種格式的附件上傳，暫不支持視頻格式，非必填暫定圖片大?。?M文件大小5M前端需要限制圖片和文件的大小(其他模塊同理)8說明(描述)0~200字符，非必填9版本號數(shù)值型，可以帶小數(shù)點，比如：1.0.0，必填定長3位字典項1字典項編碼1~10個字符，支持文本型數(shù)字，必填2字典項名稱1~20個字符，必填3描述0~50個字符，非必填4序號序號為自動生成，無需手填請求方式POST請求地址http://ip:端口/v2/api/ntsysdict/saveDict輸入?yún)?shù)說明參數(shù)名稱對應中文名稱類型說明name字典名稱stringisHandleFlag字典類型string系統(tǒng)字典不允許新增，所以傳遞1系統(tǒng)字典不可刪除，0用戶字典可刪除字典code字典編碼stringdescription描述stringdraftsman起草人stringdrafscommit起草單位stringapprovalTime批準時間datefileId標準文件附件IDstring標準文件上傳附件后的IDversion版本號string輸出參數(shù)說明參數(shù)名稱對應中文名稱類型說明return返回booleantrue保存成功，false保存失敗唯一性校驗接口接口功能描述用于校驗字典名稱，字典編碼是否重復。請求方式GET請求地址http://ip:端口/v2/api/ntsysdict/checkUnique輸入?yún)?shù)說明參數(shù)名稱對應中文名稱類型說明name字典名稱stringcode字典編碼stringid字典IDstring如果是修改必傳輸出參數(shù)說明參數(shù)名稱對應中文名稱類型說明return返回booleantrue唯一，false不是唯一修改數(shù)據(jù)字典接口功能描述 修改數(shù)據(jù)字典信息，根據(jù)是否要另存版本標志來另存一個版本。請求方式POST請求地址http://ip:端口/v2/api/ntsysdict/updateDict輸入?yún)?shù)說明參數(shù)名稱對應中文名稱類型說明name字典名稱stringisHandleFlag字典類型string系統(tǒng)字典不允許新增，所以傳遞1系統(tǒng)字典不可刪除，0用戶字典可刪除字典code字典編碼stringdescription描述stringdraftsman起草人stringdrafscommit起草單位stringapprovalTime批準時間datefileId標準文件附件IDstring標準文件上傳附件后的IDversion版本號stringwillNewVersion保存為新版本booleantrue保存新版本，false不需要保存新版本輸出參數(shù)說明參數(shù)名稱對應中文名稱類型說明return返回booleantrue保存成功，false保存失敗數(shù)據(jù)字典列表接口功能描述根據(jù)條件模糊查詢字典信息。請求方式GET請求地址http://ip:端口/v2/api/ntsysdict/findDictByParam輸入?yún)?shù)說明參數(shù)名稱對應中文名稱類型說明name字典名稱stringcode字典編碼string輸出參數(shù)說明參數(shù)名稱對應中文名稱類型說明dicts返回Page<Dict>分頁的數(shù)據(jù)字典對象數(shù)據(jù)字典刪除接口功能描述提供刪除或者批量刪除字典的接口。請求方式GET請求地址http://ip:端口/v2/api/ntsysdict/deleteDictByIds輸入?yún)?shù)說明參數(shù)名稱對應中文名稱類型說明ids字典IDList<String>字典ID集合輸出參數(shù)說明參數(shù)名稱對應中文名稱類型說明return返回booleantrue刪除成功，false刪除失敗names刪除失敗的字典返回List<String>刪除失敗的字典名稱集合批量導入數(shù)據(jù)字典接口功能描述導入字典信息。請求方式GET請求地址http://ip:端口/v2/api/ntsysdict/uploadDict輸入?yún)?shù)說明參數(shù)名稱對應中文名稱類型說明file字典文件Filetype導入規(guī)則type導入出參分兩種，導入有錯誤文件，導入全體成功輸出參數(shù)說明參數(shù)名稱對應中文名稱類型說明errrorFile返回錯誤文件File輸出參數(shù)說明參數(shù)名稱對應中文名稱類型說明return返回正確導入信息booleantrue導入完全成功,false導入失?。ù耸】赡苁悄０邋e誤等原因而不會返回錯誤文件）updateCount導入更新條數(shù)stringinsertCount新增條數(shù)stringtotalCount總數(shù)據(jù)量string導出數(shù)據(jù)字典接口功能描述用于提供下載導入模板Excel文件。請求方式GET請求地址http://ip:端口/v2/api/ntsysdict/downloadUploadModel輸入?yún)?shù)說明參數(shù)名稱對應中文名稱類型說明fileName文件名稱string輸出參數(shù)說明參數(shù)名稱對應中文名稱類型說明查詢數(shù)據(jù)字典詳情接口功能描述用于根據(jù)字典id和字典版本號查詢字典信息的接口；請求方式GET請求地址http://ip:端口/v2/api/ntsysdict/getDictInfoByIdAndVersion輸入?yún)?shù)說明參數(shù)名稱對應中文名稱類型說明id字典信息Idstringversion字典版本號string為空表示僅僅查詢最新的字典信息輸出參數(shù)說明參數(shù)名稱對應中文名稱類型說明id字典信息idstringname字典名稱stringisHandleFlag字典類型string系統(tǒng)字典不允許新增，所以傳遞1系統(tǒng)字典不可刪除，0用戶字典可刪除字典code字典編碼stringdescription描述string對應界面說明字段draftsman起草人stringdrafscommit起草單位stringapprovalTime批準時間datefileId標準文件附件IDstring標準文件上傳附件后的IDversion版本號stringversions字典所有版本號List<String>根據(jù)版本查詢字典項接口功能描述用于根據(jù)字典id和字典版本號查詢字典信息的接口；請求方式GET請求地址http://ip:端口/v2/api/ntsysdict/getDictInfoByIdAndVersion輸入?yún)?shù)說明參數(shù)名稱對應中文名稱類型說明id字典信息Idstringversion字典版本號string為空表示僅僅查詢最新的字典信息輸出參數(shù)說明參數(shù)名稱對應中文名稱類型說明id字典信息idstringname字典名稱stringisHandleFlag字典類型string系統(tǒng)字典不允許新增，所以傳遞1系統(tǒng)字典不可刪除，0用戶字典可刪除字典code字典編碼stringdescription描述string對應界面說明字段draftsman起草人stringdrafscommit起草單位stringapprovalTime批準時間datefileId標準文件附件IDstring標準文件上傳附件后的IDversion版本號stringversions字典所有版本號List<String>標準文件下載接口功能描述用于根據(jù)附件id下載標準文件的接口；請求方式GET請求地址http://ip:端口/v2/api/fileUpload/downloadModleFile輸入?yún)?shù)說明參數(shù)名稱對應中文名稱類型說明filename標準文件附件namestring輸出參數(shù)說明參數(shù)名稱對應中文名稱類型說明數(shù)據(jù)元管理功能描述數(shù)據(jù)元管理提供用戶數(shù)據(jù)元維護功能，維護內(nèi)容包括數(shù)據(jù)元名稱、數(shù)據(jù)元英文名稱、數(shù)據(jù)元編碼、數(shù)據(jù)元分類、數(shù)據(jù)元類型、數(shù)據(jù)元長度、關(guān)聯(lián)數(shù)據(jù)字典、版本號、起草人、起草單位、批準時間、值域、說明及標準文件等信息。數(shù)據(jù)元主要用于數(shù)據(jù)清洗(清洗數(shù)據(jù)時需要根據(jù)一定的規(guī)則、標準)。功能點：數(shù)據(jù)元列表展示：列表展示內(nèi)容包括數(shù)據(jù)元名稱、數(shù)據(jù)元編碼、數(shù)據(jù)元分類、數(shù)據(jù)類型、關(guān)聯(lián)數(shù)據(jù)字典、操作等字段，默認按照數(shù)據(jù)元編碼排序展示，并支持用戶按照數(shù)據(jù)元名稱、數(shù)據(jù)元分類、數(shù)據(jù)元類型條件模糊查詢；數(shù)據(jù)元新增：新增數(shù)據(jù)元信息數(shù)據(jù)元的修改：修改數(shù)據(jù)元信息，數(shù)據(jù)元未被引用，字段均可修改；被引用后，數(shù)據(jù)元類型不可修改數(shù)據(jù)元的刪除：被引用不可刪除，刪除需二次確認數(shù)據(jù)元的批量操作：數(shù)據(jù)元的批量導入、導出、刪除查看數(shù)據(jù)元詳情：展示數(shù)據(jù)元具體詳細信息及關(guān)聯(lián)的字典項信息，各版本詳細信息(切換版本號，數(shù)據(jù)元詳情及關(guān)聯(lián)字典項信息也聯(lián)動)實現(xiàn)框架設計思路數(shù)據(jù)元列表展示設計一個分頁查詢接口，根據(jù)頁面需求展示所需字段信息，展示時默認按照數(shù)據(jù)元編碼升序展示，界面支持按數(shù)據(jù)元名稱、數(shù)據(jù)元分類、數(shù)據(jù)元類型進行模糊查詢，支持重置操作數(shù)據(jù)元新增新增必填字段：數(shù)據(jù)元名稱、數(shù)據(jù)元英文名稱、數(shù)據(jù)元編碼、數(shù)據(jù)元類型、關(guān)聯(lián)數(shù)據(jù)字典(數(shù)據(jù)元類型選擇字典型則必填,且是一對一關(guān)系，關(guān)聯(lián)的是用戶字典)、數(shù)據(jù)長度(數(shù)據(jù)元類型選擇文本和數(shù)字、整型才顯示)、版本號(純數(shù)字+小數(shù)點--1.0.0)，新增時要校驗數(shù)據(jù)元名稱、數(shù)據(jù)元編碼、數(shù)據(jù)元英文名稱的唯一性，繼續(xù)添加按鍵--數(shù)據(jù)保存，頁面清空，繼續(xù)填寫下一條數(shù)據(jù)元信息數(shù)據(jù)元修改數(shù)據(jù)元被引用后(引用方：數(shù)據(jù)標準管理)，數(shù)據(jù)元類型不可修改，其他字段均可修改；數(shù)據(jù)元未被引用，所有字段均可修改；數(shù)據(jù)元修改時未修改版本號，則可直接確認修改保存；若修改版本號后，需彈出提示：“您修改了版本號，是否需要另存一個版本？”點擊確認修改時，原有版本保持不變，另存一個新的版本(詳情頁中展示2個版本的數(shù)據(jù)元信息)；點擊取消時，不另存版本，在原版本基礎上修改；版本號只升不降，修改版本號保存時需要進行校驗(版本號：數(shù)值+小數(shù)點--1.0.1)，若修改后的版本號已存在，則給出相應提示：“修改后的版本號必須大于現(xiàn)有版本號！”在保存版本信息時，在額外設計一張數(shù)據(jù)元版本表，新增時只保存數(shù)據(jù)元表，當版本新增時將老版本信息添加到該版本表中；數(shù)據(jù)元刪除(批量刪除)刪除前要先判斷選中的數(shù)據(jù)元是否被引用，如果被引用，則給出提示：“被引用，不能刪除”，如未被引用，則可直接全部刪除（版本表和數(shù)據(jù)元表都刪）查看數(shù)據(jù)元詳情點擊查看數(shù)據(jù)元詳情，展示數(shù)據(jù)元具體信息，詳情中的標準文件支持下載功能；在詳情右上角切換版本號，可查看不同版本的信息，如果數(shù)據(jù)元類型是字典型，則詳情下方還要展示相關(guān)聯(lián)的字典項信息批量操作導入：導入時需要先下載頁面上提供的模板，模板是excel表格，而且導入的文件格式也只支持excel表格格式，默認導入文件中的全部數(shù)據(jù)，按照數(shù)據(jù)元編碼進行匹配，編碼不區(qū)分大小寫，用戶可自行選擇--相同編更新或不更新，新增編碼則直接新增，導入時需要對必填字段校驗，如果該數(shù)據(jù)元關(guān)聯(lián)了數(shù)據(jù)字典，需判斷該關(guān)聯(lián)的字典是否存在；導入時，不考慮版本號字段；導入失敗，需給出錯誤原因，在導入模板后新增一列，寫明原因?qū)С觯菏褂脼g覽器默認的方式導出，無需指定具體存儲路徑，存儲在瀏覽器默認的存儲路徑下，支持勾選導出，不勾選默認導出全部數(shù)據(jù)元信息約束規(guī)則：數(shù)據(jù)元編碼、名稱、英文名稱的唯一性，編碼按公安的來寫，編碼不區(qū)分大小寫版本號只升不降，純數(shù)字和小數(shù)點表示數(shù)據(jù)元類型是字典型時，與關(guān)聯(lián)數(shù)據(jù)字典是一對一關(guān)系，只關(guān)聯(lián)用戶字典接口設計數(shù)據(jù)元列表展示查詢接口http:ip/port/api/ntresDataElement/findDataElementByPageInfo請求方式：GET入?yún)⒄f明：模糊查詢輸入?yún)?shù)說明參數(shù)類型說明nameString數(shù)據(jù)元名稱classifyString數(shù)據(jù)元分類dataTypeString數(shù)據(jù)元類型返回參數(shù)說明參數(shù)類型說明dataPage<ResDataElement>JSON字符串數(shù)據(jù)元新增接口http:ip/port/api/ntresDataElement/saveDataElement請求方式：POST輸入?yún)?shù)說明：必填字段參數(shù)類型說明nameString數(shù)據(jù)元名稱englishNameString數(shù)據(jù)元英文名稱codeString數(shù)據(jù)元編碼dataTypeString數(shù)據(jù)類型dataLengthInteger數(shù)據(jù)長度dictionaryIdString字典項IDversionNumberString版本號返回參數(shù)說明參數(shù)類型說明void備注說明新增需要判數(shù)據(jù)元的名稱和編碼的唯一性，通過封裝的拋異常的方式返回返回碼和描述信息返回碼說明50001該數(shù)據(jù)元的名字已經(jīng)存在50002該數(shù)據(jù)元的編碼已經(jīng)存在數(shù)據(jù)元查詢詳情接口http:ip/port/api/ntresDataElement/findDataElementById請求方式：GET輸入?yún)?shù)說明參數(shù)類型說明idString選中的數(shù)據(jù)元ID返回參數(shù)說明返回一個對象，包括數(shù)據(jù)元的所有字段的實體信息，如下：參數(shù)類型說明idStringIDnameString數(shù)據(jù)元名稱englishNameString數(shù)據(jù)元英文名稱codeString數(shù)據(jù)元編碼classifyString數(shù)據(jù)元分類dataTypeString數(shù)據(jù)類型dictionaryIdString字典項IDdataLengthInteger數(shù)據(jù)長度valueScopeString值域submitCompanyString起草單位submitUserString起草人versionNumberString版本號fileIdString標準文件IDexplainString說明approvalTimeData批準時間備注：需要查詢一個當前數(shù)據(jù)元的歷史版本的信息列表versionsDataElement；如果該數(shù)據(jù)元關(guān)聯(lián)字典項，還需展示相關(guān)聯(lián)的字典項具體信息。數(shù)據(jù)元修改接口http:ip/port/api/ntresDataElement/updateDataElement請求方式：POST入?yún)⒄f明：數(shù)據(jù)元被引用，數(shù)據(jù)元類型字段不可修改，未被引用，所有字段均可修改輸入?yún)?shù)說明參數(shù)類型說明idStringIDnameString數(shù)據(jù)元名稱englishNameString數(shù)據(jù)元英文名稱codeString數(shù)據(jù)元編碼classifyString數(shù)據(jù)元分類dataTypeString數(shù)據(jù)類型dictionaryIdString字典項IDdataLengthInteger數(shù)據(jù)長度valueScopeString值域submitCompanyString起草單位submitUserString起草人versionNumberString版本號fileIdString標準文件IDexplainString說明approvalTimeData批準時間返回參數(shù)說明參數(shù)類型說明void備注說明修改需要判數(shù)據(jù)元的名稱和編碼的唯一性，通過封裝的拋異常的方式返回返回碼和描述信息返回碼說明50001該數(shù)據(jù)元的名字已經(jīng)存在50002該數(shù)據(jù)元的編碼已經(jīng)存在數(shù)據(jù)元刪除和批量刪除接口http:ip/port/api/ntresDataElement/deleteDataElementById請求方式：GET輸入?yún)?shù)說明參數(shù)類型說明idsList選中的數(shù)據(jù)元的ID數(shù)組返回參數(shù)說明參數(shù)類型說明void數(shù)據(jù)元批量導入模板下載http:ip/port/api/ntresDataElement/downloadUploadModel請求方式：GET輸入?yún)?shù)說明參數(shù)類型說明fileNameString導入模板文件名數(shù)據(jù)元批量導入http:ip/port/api/ntresDataElement/uploadDataElementAll請求方式：POST輸入?yún)?shù)說明參數(shù)類型說明fileExcel文件導入的是excel文件actionString導入規(guī)則（相同編碼更新或不更新）返回參數(shù)說明參數(shù)類型說明returnBoolean導入成功或失敗errorFileexcel導入失敗錯誤文件數(shù)據(jù)元批量導出http:ip/port/api/ntresDataElement/downloadDataElement請求方式：GET輸入?yún)?shù)說明參數(shù)類型說明idsList勾選的id返回參數(shù)說明參數(shù)類型說明void數(shù)據(jù)元名稱和編碼是否唯一http:ip/port/api/ntresDataElement/checkDataElementNameOrCode請求方式：GET輸入?yún)?shù)說明參數(shù)類型說明paramString名稱或者編碼返回參數(shù)說明參數(shù)類型說明dataBooleantrue(唯一)、false(不唯一)數(shù)據(jù)元版本號驗證http:ip/port/api/ntresDataElement/checkDataElementVersion請求方式：GET輸入?yún)?shù)說明參數(shù)類型說明versionNumberString版本號返回參數(shù)說明參數(shù)類型說明dataBooleantrue(符合規(guī)則)、false(不符合)數(shù)據(jù)元版本號信息查詢http:ip/port/api/ntresDataElement/findVersionsDataElementById請求方式：GET輸入?yún)?shù)說明參數(shù)類型說明idString數(shù)據(jù)元id返回參數(shù)說明參數(shù)類型說明dataList該數(shù)據(jù)元所有版本信息數(shù)據(jù)元版本信息更新http:ip/port/api/ntresDataElement/updateVersion請求方式：POST輸入?yún)?shù)說明參數(shù)類型說明param數(shù)據(jù)元實體類數(shù)據(jù)元所有信息flagbooleanTrue保存新版本，false不保存返回參數(shù)說明參數(shù)類型說明databooleanTrue保存成功，false保存失敗數(shù)據(jù)標準管理功能描述功能描述：提供維護標準規(guī)范的功能，包括標準規(guī)范的由來描述及標準文件的上傳功能。功能點：數(shù)據(jù)標準管理列表展示：列表按照標準名稱、標準號、標準類型、關(guān)聯(lián)數(shù)據(jù)元/字典(根據(jù)實際關(guān)聯(lián)情況展示對應的數(shù)據(jù)元或數(shù)據(jù)字典)依次展示，支持對數(shù)據(jù)標準進行修改、刪除及批量刪除操作。支持按照標準名稱、標準號和標準類型進行模糊查詢數(shù)據(jù)標準信息新增：新增數(shù)據(jù)標準信息數(shù)據(jù)標準信息修改：修改數(shù)據(jù)標準信息，所有字段均可修改數(shù)據(jù)標準信息刪除(批量)：支持單條、批量刪除查看數(shù)據(jù)標準信息詳情：查看數(shù)據(jù)標準信息詳情，如果該數(shù)據(jù)標準關(guān)聯(lián)了數(shù)據(jù)元，則還要展示關(guān)聯(lián)數(shù)據(jù)元的列表(點擊數(shù)據(jù)元還可查看數(shù)據(jù)元詳情)，如果關(guān)聯(lián)了數(shù)據(jù)字典，則還要展示關(guān)聯(lián)數(shù)據(jù)字典的字典項列表設計思路數(shù)據(jù)標準信息列表展示設計一個分頁查詢接口，根據(jù)頁面需求展示所需字段信息，界面支持按標準名稱、標準號、標準類型進行模糊查詢，支持重置操作數(shù)據(jù)標準信息新增新增必填字段：標準名稱、標準代碼、標準號、標準類型、關(guān)聯(lián)數(shù)據(jù)元，新增時要校驗標準名稱、標準代碼、標準號的唯一性；若填寫英文名稱，也要保證英文名稱唯一性。標準類型選擇數(shù)據(jù)元時，關(guān)聯(lián)的數(shù)據(jù)元可以一對多；標準類型選擇數(shù)據(jù)字典時，關(guān)聯(lián)的數(shù)據(jù)字典只能