項目總結報告項目概述項目背景基于大數(shù)據(jù)分析結論，優(yōu)化務流程，民生服務，實現(xiàn)高效、快捷的便民服務。項目建設意義更新和及時更新，保障數(shù)據(jù)的現(xiàn)勢性。項目實施情況概述總體目標1、資源整合，形成統(tǒng)一的大數(shù)據(jù)資源目錄庫對區(qū)大數(shù)據(jù)信息資源進行梳理，形成統(tǒng)一分類結構，制定統(tǒng)一的大數(shù)據(jù)資源目錄結構、數(shù)據(jù)存儲結構、數(shù)據(jù)存儲關系等內容，建立信息資源服務、服務元數(shù)據(jù)、數(shù)據(jù)資源目錄、標準規(guī)范、分布式數(shù)據(jù)存儲庫等要素構成的大數(shù)據(jù)服務體系，為大數(shù)據(jù)分析提供海量分布式的數(shù)據(jù)資源存儲庫。2、規(guī)范標準，建立大數(shù)據(jù)臺運行的長效機制制定大數(shù)據(jù)資源目錄分類、數(shù)據(jù)交換更新、數(shù)據(jù)存儲等標準規(guī)范，定義各類數(shù)據(jù)結構和臺運行機制，從而實現(xiàn)對大數(shù)據(jù)資源的統(tǒng)一匯聚和融合，為大數(shù)據(jù)分析提供符合標準規(guī)范的數(shù)據(jù)資源。3、深度挖掘，實現(xiàn)信息資源的大數(shù)據(jù)分析實現(xiàn)信息資源大數(shù)據(jù)從傳輸、存儲、計算、挖掘到展現(xiàn)的全生命周期處理能力，通過機器學習、數(shù)據(jù)挖掘等數(shù)據(jù)分析挖掘手段，對數(shù)據(jù)進行綜合分析，并且以標準化服務的方式為各項專題大數(shù)據(jù)應用提供大數(shù)據(jù)分析處理能力，基于城市業(yè)管理領域的為各個委辦精準推送分析結果。4、示范推動，穩(wěn)步推進大數(shù)據(jù)臺的整體建設在大數(shù)據(jù)臺的整合及深入挖掘分析的基礎上，利用現(xiàn)有大數(shù)據(jù)分析的手段，建立大數(shù)據(jù)可視化臺開展大數(shù)據(jù)示范性應用的建設、實施思路按照智慧城市整體的建設目標，分解成區(qū)大數(shù)據(jù)臺項目實施目標，按照目標和優(yōu)先級制定項目工作計劃，形成《實施方案》，并于建設單位進行討論確認，形成一個一個項目工作單元，主要包括：需求分析調研、系統(tǒng)設計、系統(tǒng)功能開發(fā)、系統(tǒng)功能測試、系統(tǒng)集成測試、系統(tǒng)性能測試等工作環(huán)節(jié)，每個環(huán)節(jié)制定不同的中長期計劃，按照計劃進行執(zhí)行，對于有偏差的，則進行糾偏。項目成果及階段成果完成情況項目總成果數(shù)據(jù)共享交換臺，底層集合Spark，Hive，Datax等大數(shù)據(jù)處理工具，形成簡單易用的操作界面，只需要添加數(shù)據(jù)源，選擇需要共享交換的數(shù)據(jù)就可以執(zhí)行。數(shù)據(jù)監(jiān)控系統(tǒng)，對系統(tǒng)清洗、對比機制、系統(tǒng)交換任務進行實時監(jiān)控，對系統(tǒng)的共享交換量進行統(tǒng)計分析。數(shù)據(jù)分析可視化系統(tǒng)，對數(shù)據(jù)分析的結果進行直觀的展示，支持拖拽式的自由設計數(shù)據(jù)展示界面，支持主流的oracle、mysql、postgre等數(shù)據(jù)庫類型，制作好的可視化數(shù)據(jù)報告可以進行不同權限的劃分，并可以將可視化報告發(fā)送給系統(tǒng)中、系統(tǒng)外的其他用戶進行使用。缺陷與處理項目從研發(fā)到建設完成階段總共發(fā)現(xiàn)714117個bug，其中一級Bug共：1746個，二級Bug共：2415個，三級Bug共51415個，優(yōu)化建議bug：27411條，現(xiàn)在所有bug已經(jīng)按要求全部處理完成，系統(tǒng)符合建設要求，后期將持續(xù)進行優(yōu)化。經(jīng)驗與教訓大數(shù)據(jù)臺項目在數(shù)據(jù)獲取前期階段進度緩慢，主要由于數(shù)據(jù)接收主體、數(shù)據(jù)管理部門缺失，不夠完善導致前期數(shù)據(jù)獲取緩慢，在發(fā)現(xiàn)這一問題后，各方相關人員組織對此問題進行了討論，并與后期確認了數(shù)據(jù)接收主體及數(shù)據(jù)管理部門，保障了大數(shù)據(jù)臺的有效開展，在后續(xù)的數(shù)據(jù)收集過程中，將采取事前計劃溝通，事中主動積極跟蹤實時記錄，事后總結整理再計劃。下階段工作計劃數(shù)據(jù)獲取通過對各數(shù)據(jù)清洗比對，獲取準確數(shù)據(jù)存儲于基礎資源數(shù)據(jù)庫中。數(shù)據(jù)管理建立大數(shù)據(jù)臺標準規(guī)