1、項目建設(shè)方案一、 項目背景與現(xiàn)狀近年來隨著金盾工程建設(shè)的展開，公安整體信息化水平迅速提升，在各級公安機關(guān)和業(yè)務(wù)警種手中積累了豐富的業(yè)務(wù)數(shù)據(jù)資源，其種類不斷豐富、總量呈現(xiàn)爆發(fā)性增長，公安行業(yè)的大數(shù)據(jù)體系已經(jīng)初具雛形，信息資源已逐漸成為繼警力資源、裝備資源之后的新一類公安核心資源。同時隨著數(shù)據(jù)資源匯集、整合、存儲、管理、共享、交換與應(yīng)用需求的不斷增長，當(dāng)前存在的數(shù)據(jù)不規(guī)范、質(zhì)量不高、整合壓力大、共享困難等問題也日益凸顯，這些問題最終制約著公安數(shù)據(jù)資源的應(yīng)用深度和價值，導(dǎo)致數(shù)據(jù)利用價值低、難以管理、應(yīng)用范圍窄、跨警種數(shù)據(jù)共享困難等一系列問題。快速積累并不斷增長的信息數(shù)據(jù)已成為繼警力資源、裝備資源之后

2、的新一類核心資源。如何快速挖掘其內(nèi)在價值，轉(zhuǎn)化為現(xiàn)實戰(zhàn)斗力，在更高更深層次服務(wù)保障公安工作的開展，已成為公安信息化迫切需要解決的關(guān)鍵問題。伴隨著公安信息資源的快速增長，特別是白云區(qū)大力推動出租屋電子門禁系統(tǒng)、視頻監(jiān)控、物流數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)建設(shè)后，大數(shù)據(jù)質(zhì)量不高、處理能力不強、標(biāo)準(zhǔn)規(guī)范不足、共享應(yīng)用不夠、專業(yè)應(yīng)用不深等問題已全面顯現(xiàn)，迫切需要以新的思路、新的方法、新的技術(shù)解決存在的問題，應(yīng)對數(shù)據(jù)資源海量化、異構(gòu)化及應(yīng)用需求多樣化，復(fù)雜化等帶來的挑戰(zhàn)。為了適應(yīng)時代變化，創(chuàng)新社會管理工作方式，提高警務(wù)運行效率，白云分局把“數(shù)據(jù)工作”列為全局第三大基礎(chǔ)工程。為了支撐分局?jǐn)?shù)據(jù)工作的順利開展，分局計劃建設(shè)

3、白云大數(shù)據(jù)平臺建設(shè)項二、建設(shè)目標(biāo)本期項目建設(shè)目標(biāo)是租賃硬件設(shè)備為白云區(qū)轄內(nèi)企業(yè)如大型物流園內(nèi)部網(wǎng)絡(luò)、城中村和大型商場視頻內(nèi)部網(wǎng)絡(luò)的“安全內(nèi)網(wǎng)”抽取數(shù)據(jù)提供必要的運行環(huán)境，為大數(shù)據(jù)平臺提供鮮活數(shù)據(jù)支撐。其次對白云大數(shù)據(jù)一期項目所積累的監(jiān)控數(shù)據(jù)、門禁數(shù)據(jù)、物流數(shù)據(jù)等大數(shù)據(jù)進行清洗和標(biāo)準(zhǔn)化，以高質(zhì)量的數(shù)據(jù)資源為基礎(chǔ)，以信息資源服務(wù)體系為支撐，建設(shè)信息查詢、一鍵式搜索、信息關(guān)聯(lián)、分析、挖掘及可視化展現(xiàn)等應(yīng)用，面向普通民警直接提供服務(wù)，提高社區(qū)治安防控水平，為創(chuàng)造和諧社區(qū)打下堅實基礎(chǔ)。最后采購門禁系統(tǒng)辦理電子鑰匙過程所需的手機驗證短信服務(wù)，實現(xiàn)門禁手機號碼登記過程的號碼真實性驗證。三、項目現(xiàn)狀一是目前各

4、重點企業(yè)地理位置分散，系統(tǒng)屬于企業(yè)內(nèi)網(wǎng)不具備聯(lián)網(wǎng)條件，系統(tǒng)穩(wěn)定性要求高，數(shù)據(jù)存儲量大，缺少必要的硬件運行環(huán)境。二是缺少對接公安內(nèi)、外信息資源，按照大數(shù)據(jù)、云中心的架構(gòu)總體設(shè)計，需要建立公安數(shù)據(jù)倉庫與數(shù)據(jù)集市，統(tǒng)一數(shù)據(jù)共享交換標(biāo)準(zhǔn)，開展對內(nèi)對外標(biāo)準(zhǔn)化信息共享服務(wù)、信息搜索集成、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)統(tǒng)計分析，以及通過數(shù)據(jù)挖掘與分析開展警務(wù)預(yù)測、警務(wù)決策支持服務(wù)，全面構(gòu)建公安信息資源整合應(yīng)用服務(wù)體系，更好地為基層民警、業(yè)務(wù)警種提供全方位的信息資源服務(wù)支撐。三是面向基層實戰(zhàn)，提供情報信息服務(wù)支撐。平臺始終以基層實戰(zhàn)應(yīng)用為引領(lǐng)，向整合信息要實戰(zhàn)效益。面向基層擔(dān)負(fù)偵查工作的干警，提供信息綜合應(yīng)用和分析研判功

5、能。通過落地偵查案件串并等線索，實現(xiàn)跨區(qū)域刑偵協(xié)作，有效服務(wù)基層，開展情報信息實戰(zhàn)應(yīng)用，提升各級公安部門開展“信息戰(zhàn)”的能力和水平。四是需要注重科學(xué)規(guī)劃，保證持續(xù)發(fā)展。平臺設(shè)計以各警種信息化發(fā)展成果為指導(dǎo)，按照金盾工程的統(tǒng)一規(guī)劃和公安部的標(biāo)準(zhǔn)，明確平臺和多個系統(tǒng)間的信息組織、數(shù)據(jù)交換、差異化應(yīng)用、共享互通服務(wù)等。在充分滿足現(xiàn)有應(yīng)用需求的同時，系統(tǒng)可支撐業(yè)務(wù)發(fā)展需求，能夠保證系統(tǒng)的穩(wěn)定性和可發(fā)展性。四、 建設(shè)內(nèi)容4.1數(shù)據(jù)采集軟件主要實現(xiàn)以下功能：1、電子門禁數(shù)據(jù)接口：對已經(jīng)使用其他異類門禁系統(tǒng)進行管理的電子門禁，提供門禁數(shù)據(jù)批量導(dǎo)入接口，任何第三方用戶均以分局頒發(fā)的密鑰字符串和數(shù)據(jù)標(biāo)準(zhǔn)，把門禁

6、數(shù)據(jù)批量提交給接口，即可導(dǎo)入系統(tǒng)，同時提供導(dǎo)入統(tǒng)計和質(zhì)量反饋功能。2、從業(yè)人員數(shù)據(jù)接口：提供數(shù)據(jù)接口，讓已授權(quán)的企業(yè)或公司按白云分局的數(shù)據(jù)標(biāo)準(zhǔn)，向公共接口自動提交數(shù)據(jù)。3、零散資料數(shù)據(jù)接口：提供數(shù)據(jù)接口，讓已授權(quán)的企業(yè)或公司按白云分局的數(shù)據(jù)標(biāo)準(zhǔn)，向公共接口自動提交數(shù)據(jù)或壓縮文件。4、管理門禁數(shù)據(jù)：提供網(wǎng)頁，讓沒有門禁系統(tǒng)的單位錄入門禁數(shù)據(jù)，并提供基本的新增、注銷、日志、統(tǒng)計等門禁管理基本功能。5、在線錄入企業(yè)從業(yè)人員信息：提供網(wǎng)頁，讓企業(yè)把其從業(yè)人員信息錄入系統(tǒng)，并提供基本的統(tǒng)計與管理功能。6、批量導(dǎo)入企業(yè)從業(yè)人員信息：提供界面與接口，讓企業(yè)按預(yù)設(shè)的格式把從業(yè)人員由Excel批量導(dǎo)入系統(tǒng)，減輕

7、企業(yè)重復(fù)錄入人員工作量，頁面提供數(shù)據(jù)模板和質(zhì)量監(jiān)控模塊。7、企業(yè)數(shù)據(jù)自動抓取器：在企業(yè)的網(wǎng)絡(luò)中，部署一個自動運行軟件，根據(jù)企業(yè)提供的用戶名及密碼，實時在線提取其客戶數(shù)據(jù)庫中的資料，然后傳回位于互聯(lián)網(wǎng)的警務(wù)數(shù)據(jù)庫中。8、大文件上傳功能：提供數(shù)據(jù)說明、聯(lián)系人員等簡要信息錄入與大文件附件上傳功能，提供批量多文件同時斷點續(xù)傳功能。9、異構(gòu)網(wǎng)絡(luò)數(shù)據(jù)擺渡：把互聯(lián)網(wǎng)的數(shù)據(jù)從數(shù)據(jù)庫導(dǎo)出并切分為小塊文件，通過互聯(lián)網(wǎng)-公安網(wǎng)邊界系統(tǒng)，以FTP的形式擺渡進入公安內(nèi)網(wǎng)，重組文件后再導(dǎo)入數(shù)據(jù)庫里。10、零散數(shù)據(jù)清洗和入庫工具：根據(jù)各種數(shù)據(jù)格式，開發(fā)不同的數(shù)據(jù)自動化清洗、提取、入庫工具，開發(fā)通用的數(shù)據(jù)處理工具，盡量減輕用

8、戶人工清洗數(shù)據(jù)的工作量。11、數(shù)據(jù)爬蟲：根據(jù)不同的數(shù)據(jù)種類，開發(fā)滿足其需求的數(shù)據(jù)爬蟲，把數(shù)據(jù)快速寫入到Oracle，MongoDB和ElasticSearch里面。12、精確查詢結(jié)構(gòu)化數(shù)據(jù)庫：根據(jù)輸入的條件，精確查詢Oracle+MongoDB數(shù)據(jù)庫的內(nèi)容并高亮顯示關(guān)鍵字，其性能為查詢100億條數(shù)據(jù)小于10秒。13、模糊檢索非結(jié)構(gòu)化數(shù)據(jù)庫+數(shù)據(jù)引擎：根據(jù)輸入的條件，模糊檢索MongoDB數(shù)據(jù)庫+Lucene數(shù)據(jù)引擎的內(nèi)容并高亮顯示關(guān)鍵字，其性能為查詢100億條數(shù)據(jù)小于10秒。14、比對犯罪前科數(shù)據(jù)：讀取新采集的數(shù)據(jù)與科技處大數(shù)據(jù)、刑警支隊各系統(tǒng)、情報處各系統(tǒng)進行碰撞比對，排查出追逃、前科、高危

9、等人員，為派出所分類精確管理提供支持。15、反饋展示犯罪前科數(shù)據(jù)：向各用戶展示其采集的數(shù)據(jù)與犯罪前科等系統(tǒng)比對之后的結(jié)果，提供數(shù)據(jù)導(dǎo)出功能。16、對外共享數(shù)據(jù)：為情報、刑警及其他單位提供根據(jù)權(quán)限訪問的數(shù)據(jù)共享接口，提供共享的數(shù)量統(tǒng)計及訪問日志功能。17、獲取大數(shù)據(jù)平臺的數(shù)據(jù)：根據(jù)輸入條件或需要，通過大數(shù)據(jù)的WebService接口讀取或?qū)С鏊枰臄?shù)據(jù)到本系統(tǒng)或文件中。18、導(dǎo)出海量篩查結(jié)果：根據(jù)情報分析需要，輸入篩查條件，然后把篩查結(jié)果導(dǎo)出為文件，提供給I2等專業(yè)分析軟件使用。19、上傳案件文件：提供數(shù)據(jù)說明、聯(lián)系人員等簡要信息錄入與大文件附件上傳功能，提供批量多文件同時斷點續(xù)傳功能。20、

10、統(tǒng)計考核功能：提供各用戶及其下屬用戶上傳數(shù)據(jù)數(shù)量與質(zhì)量的統(tǒng)計表。21、權(quán)限與功能分配：管理用戶分單位、部門、組別三個級別，第四級別是企業(yè)應(yīng)用用戶，用戶之間設(shè)置上下遞屬關(guān)系，并且能為每個用戶分配不同的菜單、權(quán)限與管理區(qū)域，為管理用戶提供新建轄內(nèi)用戶的功能，用戶之間可以進行上下遞屬統(tǒng)計。22、用戶的監(jiān)控、審計與統(tǒng)計：為各管理用戶和企業(yè)應(yīng)用用戶提供其業(yè)務(wù)量和數(shù)據(jù)質(zhì)量的統(tǒng)計功能，用戶使用日志審計功能。4.2數(shù)據(jù)清洗和標(biāo)準(zhǔn)化為了開展數(shù)據(jù)清洗標(biāo)準(zhǔn)化建設(shè)，首先需要建立本地數(shù)據(jù)標(biāo)準(zhǔn)體系，標(biāo)準(zhǔn)體系的建設(shè)按照公安大數(shù)據(jù)中心的體系進行規(guī)劃和設(shè)計。公安數(shù)據(jù)元標(biāo)準(zhǔn)：數(shù)據(jù)元信息以及相關(guān)的數(shù)據(jù)字典，其中數(shù)據(jù)元是進行數(shù)據(jù)整合

11、的關(guān)鍵，其在基礎(chǔ)庫建設(shè)中用于對源數(shù)據(jù)字段的含義進行準(zhǔn)確描述，在關(guān)聯(lián)庫及專題庫建設(shè)中用于規(guī)范字段的類型、長度及命名方式，并基于數(shù)據(jù)元建立數(shù)據(jù)間的自動關(guān)聯(lián)關(guān)系。元數(shù)據(jù)標(biāo)準(zhǔn)：在遵循公安部相關(guān)標(biāo)準(zhǔn)的基礎(chǔ)上，根據(jù)本地數(shù)據(jù)實際情況，形成本地的元數(shù)據(jù)標(biāo)準(zhǔn)。本系統(tǒng)的元數(shù)據(jù)規(guī)范和標(biāo)準(zhǔn)主要包括業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和數(shù)據(jù)元數(shù)據(jù)三類。元數(shù)據(jù)主要記錄數(shù)據(jù)的名稱、資源標(biāo)識、描述等基本信息以及數(shù)據(jù)更新信息、數(shù)據(jù)來源信息、數(shù)據(jù)處理流程、相關(guān)業(yè)務(wù)系統(tǒng)等。數(shù)據(jù)資源目錄標(biāo)準(zhǔn)：對結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一進行資源編碼，針對資源名稱、資源標(biāo)識碼、數(shù)據(jù)表名、描述信息、字段信息等建立統(tǒng)一的標(biāo)準(zhǔn)，最終將所有數(shù)據(jù)資源匯總到一個數(shù)據(jù)資源目錄

12、中，并按應(yīng)用需求建立專題資源目錄。分類代碼標(biāo)準(zhǔn)：結(jié)合公安數(shù)據(jù)元標(biāo)準(zhǔn)建立相應(yīng)的分類代碼標(biāo)準(zhǔn)，并與各數(shù)據(jù)資源中相應(yīng)的字段進行關(guān)聯(lián)，約束字段的取值范圍，控制數(shù)據(jù)的質(zhì)量。4.2.1數(shù)據(jù)分析數(shù)據(jù)分析梳理對了解數(shù)據(jù)資源現(xiàn)狀，開展數(shù)據(jù)元、限定詞的分析梳理工作具有重要意義，也是開展數(shù)據(jù)整合工作的前提條件，數(shù)據(jù)調(diào)研梳理過程可借助數(shù)據(jù)管理軟件，建立本地標(biāo)準(zhǔn)體系之后，安排專門的數(shù)據(jù)分析人員負(fù)責(zé)。數(shù)據(jù)調(diào)研梳理過程涉及到對數(shù)據(jù)資源的如下信息的調(diào)研：l 數(shù)據(jù)的物理存儲位置l 相關(guān)字典表l 數(shù)據(jù)上游來源l 分析時間l 核心業(yè)務(wù)字段l 數(shù)據(jù)結(jié)構(gòu)l 數(shù)據(jù)對應(yīng)業(yè)務(wù)信息l 數(shù)據(jù)的時間、空間范圍l 數(shù)據(jù)的更新情況l 數(shù)據(jù)量l 數(shù)據(jù)的

13、質(zhì)量n 重復(fù)率n 缺失情況n 錯誤信息4.2.2本地數(shù)據(jù)標(biāo)準(zhǔn)建立與管理1.數(shù)據(jù)元及限定詞標(biāo)準(zhǔn)導(dǎo)入及梳理首先參考現(xiàn)有的公安數(shù)據(jù)元標(biāo)準(zhǔn)，導(dǎo)入到本地并進行梳理，利用本地數(shù)據(jù)元管理機制進行擴充。數(shù)據(jù)元標(biāo)準(zhǔn)導(dǎo)入的主要功能包括：導(dǎo)入數(shù)據(jù)元及限定詞標(biāo)準(zhǔn)：批量導(dǎo)入excel格式的數(shù)據(jù)元及限定詞到本地數(shù)據(jù)標(biāo)準(zhǔn)中，以備后續(xù)的數(shù)據(jù)元分析及比對。數(shù)據(jù)元分類梳理：為了便于使用及檢索，對數(shù)據(jù)元進行分類梳理，按照描述對象及所屬業(yè)務(wù)進行分類，并組織形成樹狀結(jié)構(gòu)。2.數(shù)據(jù)元對標(biāo)及擴充在數(shù)據(jù)元梳理結(jié)果的基礎(chǔ)之上，對未匹配成功的數(shù)據(jù)資源字段進行整理分析及統(tǒng)計，確定字段的來源警種及業(yè)務(wù)、產(chǎn)生原因、實際含義等，并與現(xiàn)有的數(shù)據(jù)元進行對照

14、，尋找相關(guān)聯(lián)的數(shù)據(jù)元，并確定是否進行擴充。對于不確定的數(shù)據(jù)元，按照統(tǒng)一的流程從來源警種、描述對象、特性詞等方面依次進行分析，并搜索相關(guān)數(shù)據(jù)元項。完成數(shù)據(jù)元梳理之后，進入提交審核確認(rèn)階段，將數(shù)據(jù)元梳理結(jié)果及擴充建議整理形成報告材料，按照公安部的統(tǒng)一要求通過數(shù)據(jù)元管理系統(tǒng)進行上報，提交審核。根據(jù)審核結(jié)果，將確認(rèn)的新增數(shù)據(jù)元更新到本地庫中，為今后信息化系統(tǒng)設(shè)計提供參照依據(jù)，并對未通過的數(shù)據(jù)元進行分析總結(jié)，以提升今后數(shù)據(jù)元申報的質(zhì)量和成功率。在數(shù)據(jù)元的對標(biāo)和擴充階段，主要通過人工、自動化相結(jié)合的方式按步驟推進相關(guān)工作，在該階段將形成如下自動化工具輔助相關(guān)工作的開展，這些工具作為通用的數(shù)據(jù)元分析工具，負(fù)

15、責(zé)對現(xiàn)有梳理出來的數(shù)據(jù)表字段信息與公安數(shù)據(jù)元標(biāo)準(zhǔn)進行匹配，建立自動關(guān)聯(lián)機制，并可輸出詳細的匹配結(jié)果及匹配度信息等。該工具可以大大降低人工梳理的工作量。3.數(shù)據(jù)元及限定詞管理數(shù)據(jù)元標(biāo)準(zhǔn)是進行數(shù)據(jù)整合的關(guān)鍵，其在基礎(chǔ)庫建設(shè)中用于對源數(shù)據(jù)字段的含義進行準(zhǔn)確描述，在關(guān)聯(lián)庫及專題庫建設(shè)中用于規(guī)范字段的類型、長度及命名方式，并基于數(shù)據(jù)元建立數(shù)據(jù)間的自動關(guān)聯(lián)關(guān)系。數(shù)據(jù)元標(biāo)準(zhǔn)建設(shè)過程需參考公安行業(yè)相關(guān)標(biāo)準(zhǔn)，包括：GA/T 543 公安數(shù)據(jù)元GA/T 541-2005 公安業(yè)務(wù)數(shù)據(jù)元素管理規(guī)程GA/T 542-2011 公安數(shù)據(jù)元編寫規(guī)則數(shù)據(jù)元標(biāo)準(zhǔn)建設(shè)工作將結(jié)合珠海市數(shù)據(jù)標(biāo)準(zhǔn)化試點工作展開，按試點要求開展公安數(shù)

16、據(jù)元的梳理、編制和推廣應(yīng)用工作，建立全局統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)化管理和應(yīng)用工作機制，深入推動數(shù)據(jù)元的業(yè)務(wù)應(yīng)用，統(tǒng)籌協(xié)調(diào)各警種的數(shù)據(jù)標(biāo)準(zhǔn)化建設(shè)，有效支撐公安大數(shù)據(jù)資源的標(biāo)準(zhǔn)化采集、管理和共享服務(wù)。具體試點工作包括數(shù)據(jù)元的梳理以及數(shù)據(jù)元應(yīng)用的開展，并建設(shè)本地數(shù)據(jù)元標(biāo)準(zhǔn)管理系統(tǒng)，開展標(biāo)準(zhǔn)化對標(biāo)工作。4.數(shù)據(jù)字典標(biāo)準(zhǔn)建設(shè)結(jié)合數(shù)據(jù)元標(biāo)準(zhǔn)的建設(shè)工作，同步建立與數(shù)據(jù)元相關(guān)的數(shù)據(jù)字典標(biāo)準(zhǔn)，并與基礎(chǔ)庫數(shù)據(jù)資源中相應(yīng)的字段進行關(guān)聯(lián)，以數(shù)據(jù)字典標(biāo)準(zhǔn)約束字段的取值范圍，控制數(shù)據(jù)的質(zhì)量。數(shù)據(jù)字典管理功能如下圖所示，主要包括：l 代碼的分類組織和瀏覽l 字典代碼的過濾查找l 按代碼名稱、值提供搜索功能l 代碼的新增維護l 代碼的

17、導(dǎo)入導(dǎo)出以及比對等功能5.元數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)在遵循公安部相關(guān)標(biāo)準(zhǔn)的基礎(chǔ)上，根據(jù)本地數(shù)據(jù)實際情況，形成本地的元數(shù)據(jù)標(biāo)準(zhǔn)。本系統(tǒng)的元數(shù)據(jù)規(guī)范和標(biāo)準(zhǔn)主要包括業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和數(shù)據(jù)元數(shù)據(jù)三類元數(shù)據(jù)體系是信息資源體系的內(nèi)在核。心和描述基礎(chǔ)。資源體系中的各種資源都是由元數(shù)據(jù)進行描述的，并且基于其元數(shù)據(jù)屬性進行管理和控制的。元數(shù)據(jù)體系的主要目的就是為了實現(xiàn)數(shù)據(jù)資源的標(biāo)準(zhǔn)化和規(guī)范化，使不同時期、不同載體、不同維度、不同規(guī)格的數(shù)據(jù)可以被統(tǒng)一、規(guī)范、科學(xué)、全面的描述，保證數(shù)據(jù)的一致性、可解釋性、可追溯性，支持?jǐn)?shù)據(jù)資源的統(tǒng)一管理、共享和利用。此外需要對元數(shù)據(jù)體系建立持續(xù)更新的機制，通過和數(shù)據(jù)提供方、數(shù)據(jù)管理方的共

18、同配合，并結(jié)合軟件的自動化更新機制，實現(xiàn)元數(shù)據(jù)的持續(xù)更新。通過建立持續(xù)更新的元數(shù)據(jù)體系，實現(xiàn)對數(shù)據(jù)資源的來源去向準(zhǔn)確的記錄，并基于此實現(xiàn)數(shù)據(jù)資源的流向分析、數(shù)據(jù)溯源等功能。4.3大數(shù)據(jù)應(yīng)用軟件大數(shù)據(jù)應(yīng)用開發(fā)使用的分析方法要適應(yīng)多渠道、多種類、多種訪問方式、不斷發(fā)展變化的信息資源環(huán)境。針對實踐中成熟的技戰(zhàn)法要構(gòu)建模型、固化應(yīng)用。大數(shù)據(jù)研判如需構(gòu)建主題數(shù)據(jù)庫，要認(rèn)真規(guī)劃主題數(shù)據(jù)庫的維護機制，保證信息鮮活，避免過度建設(shè)。要保證應(yīng)用及資源訪問的安全性。大數(shù)據(jù)研判應(yīng)用需提供根據(jù)用戶角色控制對應(yīng)用及各類數(shù)據(jù)資源的使用。具體應(yīng)實現(xiàn)如下功能：（1）精確查詢功能，是根據(jù)用戶輸入的關(guān)鍵字返回精確查詢內(nèi)容并提供結(jié)果

19、導(dǎo)出功能；（2）模糊檢索功能，是根據(jù)用戶輸入的多個組合條件，在搜索引擎中進行檢索，返回符合條件的內(nèi)容并提供結(jié)果導(dǎo)出功能。（3）犯罪前科比對功能，是把具有身份證號碼的人員信息與市局科技處的追逃、前科、涉案、重點、高危等數(shù)據(jù)庫進行碰撞比對，把碰撞對比的結(jié)果返回給數(shù)據(jù)采集民警及數(shù)據(jù)采集單位，以便于基層單位對轄內(nèi)的人員進行分類管理，擠壓犯罪空間。對有重新犯罪或潛在犯罪的從業(yè)人員，適當(dāng)知會數(shù)據(jù)提供的企業(yè)，讓其加強防范，同時也是“警企共建，以服務(wù)換取數(shù)據(jù)”的一種方式。（4）情報數(shù)據(jù)篩查功能，是根據(jù)某些特定條件，篩查出符合條件的多種數(shù)據(jù)，然后導(dǎo)入到情報獨立分析系統(tǒng)中進行分析。（5）模型預(yù)警分析，通過定義預(yù)警

20、分析模型（犯罪團伙預(yù)警模型、人員軌跡預(yù)警模型等），計算機后臺計算發(fā)現(xiàn)模型關(guān)注情況，在符合預(yù)警條件時發(fā)布預(yù)警信息?？舍槍︻A(yù)警分析結(jié)果信息繼續(xù)研判。（6）全景通查，全景通查是立足于平臺全部可用信息資源，包括偵查應(yīng)用基礎(chǔ)信息庫數(shù)據(jù)資源、授權(quán)可使用的公安信息資源服務(wù)平臺服務(wù)資源、授權(quán)可使用的各警種系統(tǒng)提供的信息應(yīng)用服務(wù)資源，利用信息檢索服務(wù)，面向?qū)崙?zhàn)應(yīng)用中各類查詢、檢索需要，提供一系列有針對性的查詢檢索工具。提供對人員及各類物品標(biāo)識號、服務(wù)標(biāo)識號在全部數(shù)據(jù)資源中背景信息的查詢，支持?jǐn)?shù)據(jù)庫、全文索引、請求服務(wù)資源查詢；可選擇結(jié)果信息展示方式、瀏覽詳細信息、導(dǎo)出詳細信息、打印詳細信息、導(dǎo)出檢索結(jié)果、打印檢

21、索結(jié)果、嵌入使用其他專業(yè)工具和研判方法。（7）關(guān)聯(lián)查詢，提供關(guān)聯(lián)查詢功能，能自由選擇數(shù)據(jù)表和數(shù)據(jù)字段，配置選擇項和查詢條件，自由進行邏輯組合，并能保存成方案。查詢以列表顯示，點擊看記錄詳情，結(jié)果能導(dǎo)出和打印。（8）關(guān)系挖掘，利用關(guān)聯(lián)挖掘服務(wù)，獲取與關(guān)注對象有直接關(guān)聯(lián)關(guān)系、潛在關(guān)聯(lián)關(guān)系的其他各類對象信息。（9）數(shù)據(jù)比對碰撞，使用集合運算服務(wù)，提供對多個、多種類數(shù)據(jù)資源（如本地文件、數(shù)據(jù)庫資源、請求服務(wù)資源、全文索引數(shù)據(jù)）間的數(shù)據(jù)集合操作。4.4大數(shù)據(jù)爬蟲系統(tǒng)運行環(huán)境設(shè)備租賃大數(shù)據(jù)平臺系統(tǒng)除了在互聯(lián)網(wǎng)的服務(wù)平臺上部署標(biāo)準(zhǔn)數(shù)據(jù)接口，接收從各電子門禁、從業(yè)人員等系統(tǒng)主動推送的數(shù)據(jù)之外，還要在各企業(yè)“安

22、全內(nèi)網(wǎng)”里面部署爬蟲服務(wù)器，從企業(yè)的數(shù)據(jù)庫中抽取數(shù)據(jù)，并傳輸?shù)交ヂ?lián)網(wǎng)的大數(shù)據(jù)平臺。因各企業(yè)內(nèi)網(wǎng)的網(wǎng)絡(luò)安全保護嚴(yán)格，禁止互聯(lián)網(wǎng)程序侵入其企業(yè)內(nèi)網(wǎng)爬取數(shù)據(jù)，所以大數(shù)據(jù)平臺需要在企業(yè)內(nèi)網(wǎng)里面部署獨立單機運行的服務(wù)器，并在其上安裝爬蟲程序，先由爬蟲程序從企業(yè)內(nèi)網(wǎng)里自動運行，并根據(jù)企業(yè)提供的用戶名和密碼爬取數(shù)據(jù)庫的業(yè)務(wù)數(shù)據(jù)，然后加密壓縮、再穿過安全的路由器和防火墻安全系統(tǒng)，把數(shù)據(jù)傳送到互聯(lián)網(wǎng)上，由大數(shù)據(jù)平臺的web接口接收從企業(yè)內(nèi)網(wǎng)發(fā)送來的業(yè)務(wù)數(shù)據(jù)。本項目需要通過爬蟲程序吸取數(shù)據(jù)的種類是大型物流園區(qū)的物流快遞監(jiān)管數(shù)據(jù)和公共WIFI監(jiān)管數(shù)據(jù), 要實現(xiàn)以上技術(shù)功能，其服務(wù)器必須在企業(yè)本地部署，因此計劃租賃服

23、務(wù)方式解決硬件運行環(huán)境。租賃期為三年，到期后設(shè)備資產(chǎn)歸白云區(qū)公安分局所有。具體如下表：序號部署位置數(shù)量1大型物流園企業(yè)內(nèi)部網(wǎng)絡(luò)42城中村WiFi內(nèi)部網(wǎng)絡(luò)43公安網(wǎng)-互聯(lián)網(wǎng)邊界交換系統(tǒng)內(nèi)網(wǎng)2合計10設(shè)備配置要求如下：名稱主要配置數(shù)量單位說明大數(shù)據(jù)爬蟲系統(tǒng)設(shè)備2x英特爾至強E5-2630 v3 2.4GHz,20M緩存,8.0GT/s QPI,Turbo,HT,8C,最大內(nèi)存1866MHz/64G內(nèi)存/8塊400GB固態(tài)硬盤SAS Mix Use MLC 12Gbps 2.5英寸熱插拔硬盤+8塊1TB 7.2K RPM NLSAS 6Gbps 2.5英寸熱插拔硬盤,13G/DVD/PERC H73

24、0P集成RAID控制器, 2GB緩存/雙個,熱插拔冗余電源(1+1), 1100瓦/ReadyRails滑動導(dǎo)軌,帶電纜管理臂/Windows Server 2012R2標(biāo)準(zhǔn)版,工廠安裝,無介質(zhì), 2插槽, 2 VMs,無CALs,簡體中文/iDRAC8 Enterprise/3年專業(yè)支持和關(guān)鍵任務(wù): (7x24) 4小時上門服務(wù)3年硬盤不返回服務(wù)/加速軟件SanDisk DAS緩存,永久軟件許可和3年軟件維護10套4.5大數(shù)據(jù)展示工具為展示大數(shù)據(jù)應(yīng)用功能需要，購買大屏顯示器2臺，機房用工具推車2臺。參數(shù)要求如下表：序號名稱主要配置數(shù)量單位1大屏顯示器國際知名品牌屏幕尺寸 80英寸 屏幕類別

25、X超晶液晶面板 屏幕分辨率 全高清（1920*1080） 網(wǎng)絡(luò)參數(shù)網(wǎng)絡(luò)連接 支持 連接方式 無線/網(wǎng)線屏幕比例 16:9背光源 側(cè)光式LED掃描方式 逐行掃描支持格式（高清） 1080p或以上水平視角（度） 160-180度垂直視角（度） 160-180度網(wǎng)絡(luò)連接 支持連接方式 無線/網(wǎng)線含后背支架、HDMI連接線2臺2工具推車機房用三層多功能折疊服務(wù)車展開尺寸：664*380*863mm 以上折疊尺寸：1067*380*203mm 承重：25KG以上2個4.6門禁系統(tǒng)手機驗證短信采購門禁系統(tǒng)實名制辦卡時，需要登記用戶手機號碼，為鑒別手機號碼真?zhèn)涡枰褂檬謾C短信驗證。預(yù)計每年登記用戶為80萬戶

26、，為此需要購買短信發(fā)送費，數(shù)量80萬條。要求：u短信發(fā)送能力達到2000條/秒以上,滿足高峰時期的需要。u接收成功率達到99%以上。u全網(wǎng)三網(wǎng)固定短信端口，支持上行回復(fù)。u提供CMPP、SMGP、SGIP、WEB Service、HTTP等各類接入方式的接入接口。u方便用戶其他業(yè)務(wù)系統(tǒng)的接入。u支持子端口擴展。五、技術(shù)要求5.1并行指標(biāo)向分局內(nèi)偵查辦案用戶開放，要求支持用戶數(shù)800，系統(tǒng)支持并發(fā)訪問數(shù)100。5.2穩(wěn)定性指標(biāo)系統(tǒng)必須穩(wěn)定、可靠，不因系統(tǒng)本身的原因造成死機、停止等故障，系統(tǒng)有效運行時間 99.9%，系統(tǒng)故障平均間隔時間 180天。5.3系統(tǒng)操作性能指標(biāo)、 數(shù)據(jù)操作：一般時段響應(yīng)時

27、間2秒，高峰時段5秒。、 簡單查詢：一般時段響應(yīng)時間2秒，高峰時段5秒。、 復(fù)雜查詢：一般時段響應(yīng)時間5秒；高峰時段10秒。、 特定復(fù)雜應(yīng)用：響應(yīng)時間不超過30秒。、 數(shù)據(jù)比對響應(yīng)指標(biāo)：源表（視圖）的只讀查詢（以時間戳為條件）的吞吐量為10MB（含）以上，如每條記錄為1K，每秒的可讀10000條記錄，每條記錄為0.3K，每秒可讀30000條記錄；數(shù)據(jù)庫抽取的性能為20000條/秒；200萬VS 2000萬數(shù)據(jù)時，比對引擎的單次執(zhí)行時間需要在 800秒（含）以內(nèi)。、 關(guān)系檢索指標(biāo)：支持關(guān)系節(jié)點檢索速度3秒。、 高性能接口指標(biāo)混合IOPS: (基于文件大小為8kb,80%讀/20%寫的條件測試)；

28、吞吐量:讀:1.2GB/s;寫:650MB/s；延遲: 1ms；并發(fā)數(shù): 500。5.4安全策略要求1.網(wǎng)絡(luò)安全性具備防火墻、防病毒、入侵檢測等網(wǎng)絡(luò)安全防范措施。系統(tǒng)不允許直接與非公安網(wǎng)交換信息和服務(wù)。2.操作安全性設(shè)置三級安全控制，即：網(wǎng)絡(luò)安全級、數(shù)據(jù)庫安全級和用戶安全級。操作安全性由網(wǎng)絡(luò)登錄驗證、數(shù)據(jù)庫登錄驗證、應(yīng)用系統(tǒng)使用驗證三級組成。網(wǎng)絡(luò)登錄驗證由信息通信部門負(fù)責(zé)；用戶安全級由用戶身份認(rèn)證和用戶角色分配二部分組成，用戶身份認(rèn)證作為獨立的一層，由統(tǒng)一用戶管理系統(tǒng)來實現(xiàn)，并實現(xiàn)向“金盾工程”的CA認(rèn)證體系對接；數(shù)據(jù)庫登錄驗證由數(shù)據(jù)庫服務(wù)器完成，用于對具有數(shù)據(jù)庫訪問權(quán)限用戶的驗證；系統(tǒng)用戶角

29、色分配由應(yīng)用系統(tǒng)完成；應(yīng)用系統(tǒng)將采用三種驗證相結(jié)合的方式驗證用戶。3.系統(tǒng)安全性任何客戶端程序與數(shù)據(jù)庫都沒有直接的連接，均由應(yīng)用服務(wù)器統(tǒng)一管理數(shù)據(jù)庫連接、數(shù)據(jù)接收、數(shù)據(jù)同步、事務(wù)處理和線程調(diào)度等工作，最大限度地保障了數(shù)據(jù)的統(tǒng)一、完整和準(zhǔn)確性能。用戶界面層與邏輯表達層之間采用協(xié)議通訊，可采用不同的數(shù)據(jù)加密措施，增強系統(tǒng)的安全性。4.數(shù)據(jù)安全性提供數(shù)據(jù)庫服務(wù)器、應(yīng)用服務(wù)器的容錯運行保障機制。對已日益積累的數(shù)據(jù)，采用周期備份的方法，保障數(shù)據(jù)庫萬一在遭受損壞時，也有途徑恢復(fù)數(shù)據(jù)。5.應(yīng)用安全性、 身份認(rèn)證：用戶必須通過數(shù)字證書PKI/PMI認(rèn)證后方可訪問平臺。嚴(yán)格記錄訪問日志，包括用戶PKI信息、IP

30、地址、訪問時間等。、 訪問授權(quán)：各項功能基于用戶身份進行授權(quán)管理和訪問控制。、 日志審計：提供對關(guān)鍵功能訪問、關(guān)鍵數(shù)據(jù)操縱、數(shù)據(jù)交換、應(yīng)用共享服務(wù)等應(yīng)用環(huán)節(jié)的日志記錄和審計檢查功能。、 運行監(jiān)控：提供對系統(tǒng)運行狀態(tài)、數(shù)據(jù)庫健康狀況、數(shù)據(jù)交換通道、關(guān)鍵功能壓力狀況等環(huán)節(jié)的監(jiān)控和預(yù)警。6.防病毒措施各級公安信息中心的統(tǒng)一要求采取防病毒措施，安裝公安認(rèn)證的殺毒軟件，并定期進行病毒庫更新。7.安全審計要求嚴(yán)格按照公安部公安信息系統(tǒng)應(yīng)用安全審計平臺技術(shù)規(guī)范V0.1要求記錄并存儲用戶操作行為和接口服務(wù)的日志信息。按要求提供相關(guān)日志數(shù)據(jù)的服務(wù)接口。生產(chǎn)的日志數(shù)據(jù)，必須包含安全審計規(guī)范要求的內(nèi)容。日志數(shù)據(jù)的保

31、留按照規(guī)范中要求的時間。5.4技術(shù)路線要求公安數(shù)據(jù)類別繁多、服務(wù)壓力較大，需要同時考慮與部省市級信息資源服務(wù)平臺的對接以及對分局應(yīng)用的支撐，因此在平臺建設(shè)過程中需要在數(shù)據(jù)整合、管理、服務(wù)等方面選擇合適的技術(shù)，具體如下。1.大數(shù)據(jù)資源的統(tǒng)一ETL技術(shù)ETL（Extract Transform Load的縮寫，即數(shù)據(jù)抽取、轉(zhuǎn)換、加載的過程）負(fù)責(zé)將分布的、異構(gòu)的數(shù)據(jù)源中的數(shù)據(jù)抽取到臨時中間層后進行清洗、轉(zhuǎn)換、集成，最后加載到目標(biāo)數(shù)據(jù)源中。ETL技術(shù)的優(yōu)勢在于，其將數(shù)據(jù)的處理流程劃分為源數(shù)據(jù)讀取、處理器處理以及目標(biāo)數(shù)據(jù)更新三個主要階段，通過定義源數(shù)據(jù)對象、處理器對象、以及目標(biāo)數(shù)據(jù)對象，實現(xiàn)數(shù)據(jù)處理、寫

32、入、更新與具體數(shù)據(jù)格式的分離。同時通過處理器對象的靈活掛接，實現(xiàn)數(shù)據(jù)處理流程的靈活定制。2.基于混合環(huán)境構(gòu)建大數(shù)據(jù)統(tǒng)一管理體系在數(shù)據(jù)存儲方案的選擇方面，根據(jù)數(shù)據(jù)類型、規(guī)模、特點以及應(yīng)用的需求，采用關(guān)系型數(shù)據(jù)庫、列式數(shù)據(jù)庫、分布式文件系統(tǒng)、全文數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫等技術(shù)建設(shè)信息資源的混合存儲環(huán)境。其中，關(guān)系型數(shù)據(jù)庫主要存放人口、案件、車輛等傳統(tǒng)公安數(shù)據(jù)資源，并用于實現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化處理、質(zhì)量監(jiān)控管理以及數(shù)據(jù)量較小、實時性要求高的數(shù)據(jù)分析處理工作；列式數(shù)據(jù)庫與分布式文件系統(tǒng)主要用于需要進行大規(guī)模計算處理的卡口、軌跡、實時定位信息、傳感器信息、視頻信息、圖片信息等海量數(shù)據(jù)的存放，利用其支持分布式存儲和并行計算的特性支撐海量數(shù)據(jù)的查詢、統(tǒng)計和分析處理等工作；內(nèi)存數(shù)