智慧社保大數(shù)據(jù)分析系統(tǒng)平臺(tái)

建設(shè)方案TOC\o"1-5"\h\z\o"CurrentDocument"建設(shè)背景3\o"CurrentDocument"項(xiàng)目建設(shè)總體要求3總體建設(shè)思路及目標(biāo)3本項(xiàng)目建設(shè)目標(biāo)3項(xiàng)目解決需求3\o"CurrentDocument"項(xiàng)目建設(shè)主要內(nèi)容與要求8系統(tǒng)總體建設(shè)方案8應(yīng)用設(shè)計(jì)需求15安全設(shè)計(jì)需求19建設(shè)背景目前，我市"金保工程”業(yè)務(wù)系統(tǒng)基于聯(lián)機(jī)事務(wù)處理（OLTP）,主要解決了日常業(yè)務(wù)經(jīng)辦的問(wèn)題，但隨著社保數(shù)據(jù)不斷積累，數(shù)據(jù)量呈現(xiàn)海量存儲(chǔ)特征，隨著公共服務(wù)的不斷推進(jìn)，非結(jié)構(gòu)化數(shù)據(jù)量也迅猛增加，這些情況導(dǎo)致社保的統(tǒng)計(jì)分析能力不斷下降，普遍存在業(yè)務(wù)報(bào)表分散、統(tǒng)計(jì)查詢不便、效率低下的問(wèn)題，另一方面，隨著基金平衡壓力劇增，管理層基于海量數(shù)據(jù)的主題分析、預(yù)測(cè)分析、政策仿真需求日漸增多，現(xiàn)有的傳統(tǒng)數(shù)據(jù)庫(kù)平臺(tái)和核心業(yè)務(wù)平臺(tái)難以滿足上述這些需求，亟待使用大數(shù)據(jù)技術(shù)來(lái)破解難題。項(xiàng)目建設(shè)總體要求總體建設(shè)思路及目標(biāo)針對(duì)人社部門中社保業(yè)務(wù)數(shù)據(jù)分析和利用最為迫切的特點(diǎn)，作為我市"智慧人社平臺(tái)”的重要組成部分，擬在我市"金保工程”應(yīng)用系統(tǒng)數(shù)據(jù)基礎(chǔ)上，運(yùn)用大數(shù)據(jù)技術(shù)，建立我市社保大數(shù)據(jù)系統(tǒng)平臺(tái)，建立完整的社保數(shù)據(jù)指標(biāo)體系，實(shí)現(xiàn)對(duì)社保數(shù)據(jù)的綜合統(tǒng)計(jì)分析，實(shí)現(xiàn)社保業(yè)務(wù)關(guān)鍵指標(biāo)的主題分析、關(guān)聯(lián)分析，建立數(shù)據(jù)分析模型，來(lái)協(xié)助社保政策部門、基金監(jiān)管部門、經(jīng)辦部門進(jìn)行政策調(diào)整仿真，分析預(yù)測(cè)社?；疬\(yùn)行的走向,輔助實(shí)現(xiàn)社?；鸬?開源”和"節(jié)流”，輔助實(shí)現(xiàn)"應(yīng)保盡保、應(yīng)收盡收"，幫助"堵塞漏洞”。2.2.本項(xiàng)三建設(shè)目標(biāo)（1）建設(shè)社保大數(shù)據(jù)綜合統(tǒng)計(jì)分析基礎(chǔ)平臺(tái)框架;（2）建設(shè)社保大數(shù)據(jù)綜合統(tǒng)計(jì)分析系統(tǒng)；（3）建設(shè)養(yǎng)老保險(xiǎn)關(guān)聯(lián)分析系統(tǒng)；（4）建設(shè)醫(yī)療保險(xiǎn)關(guān)聯(lián)分析系統(tǒng)。2.2.本項(xiàng)三建設(shè)目標(biāo)2.3.項(xiàng)目解決需求建設(shè)社保大數(shù)據(jù)綜合統(tǒng)計(jì)分析基礎(chǔ)平臺(tái)框架采用先進(jìn)的混搭架構(gòu)模式，運(yùn)用大數(shù)據(jù)技術(shù)，結(jié)合數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)模式，采用分布式計(jì)算布式數(shù)據(jù)存儲(chǔ)的技術(shù)架構(gòu)框架來(lái)實(shí)現(xiàn)基礎(chǔ)平臺(tái)框架，本期主要工作包括:（1）根據(jù)平臺(tái)技術(shù)架構(gòu)及應(yīng)用部署架構(gòu)完成系統(tǒng)環(huán)境搭建。（2）將"金保工程”業(yè)務(wù)系統(tǒng)的數(shù)據(jù)通過(guò)ETL工具或同步工具，抽取到MPP數(shù)據(jù)倉(cāng)庫(kù)。（3）完成數(shù)據(jù)質(zhì)量分析，進(jìn)行數(shù)據(jù)預(yù)處理，重點(diǎn)包括數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)規(guī)約、數(shù)據(jù)變換等。（4）初步完成基礎(chǔ)建模，在MPP數(shù)據(jù)倉(cāng)庫(kù)中構(gòu)建數(shù)據(jù)集市。（5）通過(guò)ETL工具將MPP數(shù)據(jù)倉(cāng)庫(kù)中明細(xì)數(shù)據(jù)抽取到Hadoop中，同時(shí)將爬蟲過(guò)來(lái)的數(shù)據(jù)存儲(chǔ)到Hadoop中。（6）MPP數(shù)據(jù)倉(cāng)庫(kù)作為數(shù)據(jù)集市支撐上層數(shù)據(jù)分析和服務(wù)，Hadoop提供非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和管理，同時(shí)提供社保明細(xì)數(shù)據(jù)查詢。其中數(shù)據(jù)抽取部分，可根據(jù)源系統(tǒng)的特點(diǎn)采用不同的數(shù)據(jù)采集方式。數(shù)據(jù)采集方式包括：（1）△變更數(shù)據(jù)抽取:在業(yè)務(wù)系統(tǒng)部署監(jiān)控程序業(yè)務(wù)系統(tǒng)數(shù)據(jù)一有變化就實(shí)時(shí)從業(yè)務(wù)系統(tǒng)獲取變更數(shù)據(jù)，保障了業(yè)務(wù)監(jiān)控和決策的快速反應(yīng)。適合的數(shù)據(jù)源：人社的核心業(yè)務(wù)系統(tǒng)。（2）△批量增量數(shù)據(jù)抽取定期從數(shù)據(jù)源中增量抽取數(shù)據(jù)。適合的數(shù)據(jù)源:人社的核心業(yè)務(wù)系統(tǒng)（在無(wú)法采用變更數(shù)據(jù)抽取時(shí)。）（3）數(shù)據(jù)交換平臺(tái):人社部門與其它數(shù)據(jù)提供方確定數(shù)據(jù)交換接口和規(guī)范通過(guò)數(shù)據(jù)交換平臺(tái)以文件數(shù)據(jù)交換的形式獲取適合的數(shù)據(jù)源政府部門相關(guān)數(shù)據(jù)資源、社會(huì)部門相關(guān)數(shù)據(jù)資源、互聯(lián)網(wǎng)數(shù)據(jù)資源。（4）網(wǎng)絡(luò)爬蟲：自動(dòng)的抓取互聯(lián)網(wǎng)信息的程序。對(duì)于如公共服務(wù)網(wǎng)站的信息可以利用網(wǎng)絡(luò)爬蟲抓取數(shù)據(jù)。（5）API接口：按需求訂制開發(fā)PI接口供數(shù)據(jù)需求方獲取數(shù)據(jù)?！?--為重要的數(shù)據(jù)抽取方式，必須保證不影響原有核心業(yè)務(wù)系統(tǒng)的正常運(yùn)行，需要原核心系統(tǒng)開發(fā)商配合完成的工作由建設(shè)方負(fù)責(zé)協(xié)調(diào)，配合工作若產(chǎn)生的相關(guān)費(fèi)用須由中標(biāo)商承擔(dān)。建設(shè)社保大數(shù)據(jù)綜合統(tǒng)計(jì)分析系統(tǒng)按原有統(tǒng)計(jì)口徑重新開發(fā)現(xiàn)有"金保工程”系統(tǒng)中的各類綜合統(tǒng)計(jì)匯總查詢功能，并確保數(shù)據(jù)的準(zhǔn)確、一致。按照業(yè)務(wù)部門實(shí)際需求，根據(jù)統(tǒng)計(jì)分析系統(tǒng)設(shè)計(jì)要求，設(shè)計(jì)開發(fā)各類可定制化的條件查詢統(tǒng)計(jì)匯總功能，其主要統(tǒng)計(jì)分析對(duì)象應(yīng)至少包括：（1）參保人員分析參保人群在各險(xiǎn)種間參保、繳費(fèi)的對(duì)比統(tǒng)計(jì)分析情況?；趨⒈Ｈ丝诘漠?dāng)前信息和歷史信息（如年齡、性別、在職或退休、生存狀態(tài)等），根據(jù)生育率、生命表等，利用年齡移算，分析參保人口的現(xiàn)狀、預(yù)測(cè)人口趨勢(shì)。通過(guò)參保人口的分析與預(yù)測(cè)，可以了解轄區(qū)內(nèi)參保人口現(xiàn)狀（年齡結(jié)構(gòu)、性別結(jié)構(gòu)、在職與退休人員比例、期望壽命等），了解參保人口和老齡化的演化趨勢(shì)。通過(guò)系統(tǒng)內(nèi)外數(shù)據(jù)比對(duì)聯(lián)動(dòng)，分析查詢?nèi)藛T社保變化軌跡，提煉人員標(biāo)簽）進(jìn)行個(gè)體特征分析）并提供給"智慧人社”公共服務(wù)平臺(tái)查詢；針對(duì)人群特征比對(duì)）挖掘全民參保擴(kuò)面空間）分析政策補(bǔ)貼拉動(dòng)社保征繳的可行性。（2）參保單位參保繳費(fèi)率分析：按區(qū)域、單位類型、經(jīng)濟(jì)類型、隸屬關(guān)系、行業(yè)等分析不同企業(yè)的參保繳費(fèi)情況。欠費(fèi)情況分析：分析欠費(fèi)規(guī)模、欠費(fèi)企業(yè)特征。繳費(fèi)基數(shù)分析：比較分析同類企業(yè)的繳費(fèi)基礎(chǔ)）與社平工資、行業(yè)指導(dǎo)工資的差異。針對(duì)繳費(fèi)基數(shù)按照最低繳費(fèi)工資水平繳費(fèi)的現(xiàn)象進(jìn)行分析。企業(yè)經(jīng)營(yíng)狀況分析：根據(jù)企業(yè)的人員規(guī)模、工資規(guī)模、人員流動(dòng)情況、繳費(fèi)情況分析企業(yè)的經(jīng)營(yíng)狀況。通過(guò)系統(tǒng)內(nèi)外數(shù)據(jù)比對(duì)聯(lián)動(dòng)）分析單位社保變化軌跡）提煉單位標(biāo)簽，實(shí)現(xiàn)特征分析）并提供給"智慧人社”公共服務(wù)平臺(tái)查詢。（3）基金收支根據(jù)需求訂制開發(fā)統(tǒng)計(jì)查詢功能，用于實(shí)時(shí)、動(dòng)態(tài)、準(zhǔn)確地分析各社會(huì)保險(xiǎn)基金的收入、支出和結(jié)余情況，同比、環(huán)比變化情況，以及對(duì)應(yīng)的安全支付級(jí)別。（4）考核指標(biāo)類數(shù)據(jù)分析具體按業(yè)務(wù)部門提供表樣，應(yīng)基本涵蓋現(xiàn)行社保的統(tǒng)計(jì)報(bào)表及決策部門需要的統(tǒng)計(jì)分析報(bào)表。（5）醫(yī)療保險(xiǎn)待遇統(tǒng)計(jì)分析根據(jù)醫(yī)保政策有針對(duì)性地對(duì)歷年醫(yī)保待遇數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分設(shè)計(jì)和構(gòu)建綜合性的醫(yī)?；疬\(yùn)行狀況&指標(biāo)體系，結(jié)合專家經(jīng)驗(yàn)和大數(shù)據(jù)技術(shù)從基金收入支出、結(jié)余、監(jiān)管、管理等多維度全面、綜合的考察、監(jiān)測(cè)醫(yī)保基金運(yùn)行的狀況。展示上應(yīng)多采用圖標(biāo)形式，方便業(yè)務(wù)人員尋找其中的規(guī)律，分析離散點(diǎn)勺成因內(nèi)容上應(yīng)至少包括：醫(yī)保費(fèi)用分布情況，各待遇段人數(shù)分布情況；醫(yī)保費(fèi)用按醫(yī)保項(xiàng)目分布情況，如藥品、檢查、化驗(yàn)等的占比統(tǒng)計(jì)分析；參保人醫(yī)保待遇分析，如人均費(fèi)用、均次費(fèi)用、年人均就診次數(shù)、人均住院天數(shù)、就診率、各類參保人（如按年齡、在職退休狀態(tài)、文化程度、收入狀況）的醫(yī)保費(fèi)用和項(xiàng)目使用情況等；各類診療類型的醫(yī)保待遇分析，如門急診、住院等的醫(yī)保費(fèi)用使用情況分析。建設(shè)養(yǎng)老保險(xiǎn)關(guān)聯(lián)分析系統(tǒng)按關(guān)聯(lián)分析系統(tǒng)設(shè)計(jì)要求，建立指標(biāo)體系，從多維結(jié)構(gòu)化的角度處理對(duì)社會(huì)保險(xiǎn)基金產(chǎn)生影響的政策、宏觀經(jīng)濟(jì)方面的因素，為進(jìn)一步挖掘事件與社?；鹬g的深層關(guān)系打好基礎(chǔ)，具體包括：（1）養(yǎng)老基金參保征繳指標(biāo)體系基金征繳是養(yǎng)老基金主要來(lái)源，因此加強(qiáng)基金征繳力度，防范其中風(fēng)險(xiǎn)，有利于保障養(yǎng)老基金的總體穩(wěn)定,對(duì)養(yǎng)老基金征繳產(chǎn)生影響的因素主要有:養(yǎng)老保險(xiǎn)參保率（實(shí)際參保人數(shù)/養(yǎng)老保險(xiǎn)制度覆蓋人群的人數(shù)xlOO%）;養(yǎng)老基金征繳率（實(shí)際繳費(fèi)人數(shù)/應(yīng)繳費(fèi)人數(shù)X100%)；繳費(fèi)基數(shù)；養(yǎng)老保險(xiǎn)繳費(fèi)率；養(yǎng)老補(bǔ)中斷；養(yǎng)老賬戶；利率等。養(yǎng)老基金支付指標(biāo)體系養(yǎng)老基金支付主要受以下因素影響:贍養(yǎng)率(領(lǐng)取養(yǎng)老金職工人數(shù)/在職職工人數(shù)X100%)；隱性負(fù)債率(隱性負(fù)債/養(yǎng)老基金總額X100%)；養(yǎng)老保險(xiǎn)替代率(統(tǒng)籌區(qū)內(nèi)同期養(yǎng)老金人均領(lǐng)取數(shù)/在崗職工人均工資數(shù)X100%)。養(yǎng)老基金違法違規(guī)指標(biāo)體系基金冒領(lǐng)比率(基金冒領(lǐng)總額/應(yīng)收統(tǒng)籌養(yǎng)老基金總額)；養(yǎng)老基金偷繳漏繳率(偷繳漏繳額/應(yīng)收統(tǒng)籌養(yǎng)老基金總額)。建設(shè)醫(yī)療保險(xiǎn)關(guān)聯(lián)分析系統(tǒng)按關(guān)聯(lián)分析系統(tǒng)設(shè)計(jì)要求，建立指標(biāo)體系，從多維結(jié)構(gòu)化的角度處理對(duì)職工和居民醫(yī)療保險(xiǎn)基金產(chǎn)生影響的政策、宏觀經(jīng)濟(jì)方面的因素，具體包括：(1)醫(yī)療費(fèi)用實(shí)時(shí)預(yù)警監(jiān)測(cè)通過(guò)實(shí)時(shí)計(jì)算技術(shù)，對(duì)醫(yī)?；?、醫(yī)院的結(jié)算情況進(jìn)行實(shí)時(shí)監(jiān)控；利用時(shí)序預(yù)測(cè)方法，預(yù)測(cè)未來(lái)若干月度的基金結(jié)算規(guī)模。醫(yī)保支付比例調(diào)整輔助決策構(gòu)建醫(yī)療保險(xiǎn)報(bào)銷參數(shù)調(diào)整的模型，針對(duì)不同醫(yī)療機(jī)構(gòu)等級(jí)、就診類型、人員類別等調(diào)整報(bào)銷比例，測(cè)算各類人群的醫(yī)療負(fù)擔(dān)，受益受損情況，以及對(duì)醫(yī)保支出的影響。(3)醫(yī)保藥品目錄的調(diào)整利用大數(shù)據(jù)手段，幫助業(yè)務(wù)部門在診療記錄、醫(yī)保支付記錄中篩選使用廣泛、療效確切但未納入目錄的藥品，或者，篩選已納入目錄但效果未達(dá)到預(yù)期的藥品，為提出目錄調(diào)整動(dòng)議提供數(shù)據(jù)支撐居保個(gè)人繳費(fèi)與財(cái)政補(bǔ)貼標(biāo)準(zhǔn)測(cè)算利用歷史結(jié)算數(shù)據(jù)，構(gòu)建居保繳費(fèi)水平、財(cái)政補(bǔ)貼與醫(yī)保支出的測(cè)算模型，為標(biāo)準(zhǔn)調(diào)整提供決策依據(jù)。

醫(yī)保季度分析報(bào)告基于大數(shù)據(jù)，自動(dòng)生成季度報(bào)告所需的指標(biāo)數(shù)值。項(xiàng)目建設(shè)主要內(nèi)容與要求3.1.系統(tǒng)總體設(shè)方案3.1.系統(tǒng)總體設(shè)方案本項(xiàng)目充分利用現(xiàn)有金保工程數(shù)據(jù)中心資源，采用先進(jìn)的混搭架構(gòu)模式，運(yùn)用大數(shù)據(jù)技術(shù)，結(jié)合數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)模式，采用分布式計(jì)算+分布式數(shù)據(jù)存儲(chǔ)的技術(shù)架構(gòu)框架來(lái)實(shí)現(xiàn)基礎(chǔ)平臺(tái)框架，同時(shí)建立一套完備的數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)治理體系?；谄脚_(tái)提供的數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)專題等服務(wù)能力，實(shí)現(xiàn)社保大數(shù)據(jù)綜合統(tǒng)計(jì)分析、養(yǎng)老保險(xiǎn)關(guān)聯(lián)分析、醫(yī)療保險(xiǎn)關(guān)聯(lián)分析三大系統(tǒng)，通PC和移動(dòng)雙門戶進(jìn)行接入訪問(wèn)。哉疏治理數(shù)僧標(biāo)推f銅門戶鎮(zhèn)江社保大數(shù)據(jù)半臺(tái)總體方案

哉疏治理數(shù)僧標(biāo)推f銅門戶鎮(zhèn)江社保大數(shù)據(jù)半臺(tái)總體方案檢據(jù)持蜂含貌訂分析養(yǎng)君美劇分折醫(yī)廳美聯(lián)辦析基金瞄跛宙真.m一教睹專題提券桔aft咎倒春跳分析回歸涵關(guān)職分析囪1碰輸手藏撞盤全交椅寮境葉分析瞧學(xué)習(xí)映測(cè)分折僧用分析列式關(guān)既計(jì)算HBasePIC3HiveSqoop痼f飄甌劇度?_>MapRectiiccHDFSZooKeeper疇第市（基于MPP】Hmdgp甲臼PC門戶移珈J戶接入平臺(tái)美密型裁咪摩敝據(jù)應(yīng)用披棍服S戢據(jù)存蜻杜保大數(shù)曜平臺(tái)（1）數(shù)據(jù)源：充分利用現(xiàn)有金保工程業(yè)務(wù)系統(tǒng)中的關(guān)系型數(shù)據(jù)資源，結(jié)合大數(shù)據(jù)技術(shù)的理念，搜集文件處理和網(wǎng)絡(luò)爬蟲工具抓取來(lái)的互聯(lián)網(wǎng)上的數(shù)據(jù)資源，通過(guò)清洗、整合，統(tǒng)一同步至數(shù)據(jù)存儲(chǔ)層。（2）數(shù)據(jù)存儲(chǔ)層：采用先進(jìn)的混搭技術(shù)架構(gòu)，利用Hadoop軟件滿足人社海量數(shù)據(jù)的存儲(chǔ)、加工及并行計(jì)算，Hadoop的Hive匯聚整合各來(lái)源的數(shù)據(jù)用于社保明細(xì)數(shù)據(jù)的快速查詢并提供高并發(fā)查詢的信息；利用列存MPP數(shù)據(jù)庫(kù)搭建人社數(shù)據(jù)集市，實(shí)現(xiàn)各類數(shù)據(jù)資源的關(guān)聯(lián)計(jì)算、分析計(jì)算和挖掘計(jì)算等應(yīng)用在性能上的需求，支撐數(shù)據(jù)分析和數(shù)據(jù)服務(wù)。（3）數(shù)據(jù)服務(wù)層通過(guò)構(gòu)建統(tǒng)一數(shù)據(jù)服務(wù)平臺(tái)，對(duì)異構(gòu)數(shù)據(jù)存儲(chǔ)、計(jì)算能力進(jìn)行整體封裝，實(shí)現(xiàn)數(shù)據(jù)與業(yè)務(wù)的結(jié)合，滿足數(shù)據(jù)分析、挖掘和專題服務(wù)，提升大數(shù)據(jù)價(jià)值挖掘能力。（4）數(shù)據(jù)應(yīng)用層提供各類服務(wù)接口、公共組件，接入現(xiàn)有ESB總線系統(tǒng)統(tǒng)一調(diào)度管理與各前端應(yīng)用系統(tǒng)或公共服務(wù)（網(wǎng)站、移動(dòng)端）實(shí)時(shí)對(duì)接為社保業(yè)務(wù)經(jīng)辦部門及服務(wù)對(duì)象提供更高層次的定制化服務(wù)。（5）接入平臺(tái)層：平臺(tái)采用雙門戶（PC門戶+移動(dòng)門戶）設(shè)計(jì)，PC門戶主要面向業(yè)務(wù)經(jīng)辦機(jī)構(gòu)解決的是業(yè)務(wù)部門的日常業(yè)務(wù)管理統(tǒng)計(jì)分析需求移動(dòng)門戶一方面面向社保經(jīng)辦部門和決策部「解決的是匯總統(tǒng)計(jì)和決策分析的移動(dòng)端實(shí)時(shí)查詢需漏一方面，面向服務(wù)對(duì)象以提供個(gè)性化定制服務(wù)。雙門戶均可按需實(shí)現(xiàn)報(bào)表的跳齡、切片B塊、鉆取和旋轉(zhuǎn)等功能。PC端的應(yīng)用從功能上應(yīng)當(dāng)實(shí)現(xiàn)方便快捷地查看專業(yè)報(bào)表及直方圖餅圖、趨勢(shì)圖、點(diǎn)圖、區(qū)域圖等酉己有儀表盤等可隨意組合多種報(bào)表和圖在同界面展并可在各類圖形界面通過(guò)簡(jiǎn)單點(diǎn)擊進(jìn)行各種維度的變化、數(shù)據(jù)鉆取、切片等。通過(guò)開發(fā)接口與其它應(yīng)用系統(tǒng)對(duì)接，實(shí)現(xiàn)數(shù)據(jù)共享。移動(dòng)門戶要實(shí)現(xiàn)通過(guò)移動(dòng)應(yīng)用，可以實(shí)時(shí)、動(dòng)態(tài)掌握各類統(tǒng)計(jì)查詢數(shù)據(jù)，支持?jǐn)?shù)據(jù)的維度變化及向上向下鉆取。移動(dòng)應(yīng)用主要提供可視化展現(xiàn)和預(yù)警的功能。業(yè)務(wù)現(xiàn)狀需要從多維度（多指標(biāo)項(xiàng)）評(píng)價(jià)，按閾值進(jìn)行不同類別的警示。注：用戶方已租用阿里云DataV平臺(tái)。人社內(nèi)網(wǎng)環(huán)境人社外網(wǎng)環(huán)境本次項(xiàng)目建設(shè)應(yīng)當(dāng)按照用戶方要求搭建我市人社大數(shù)據(jù)平臺(tái)。平臺(tái)可采用成熟的產(chǎn)品解決方案，但應(yīng)根據(jù)用戶實(shí)際需求進(jìn)行本地化改造（所提供的大數(shù)據(jù)管理平臺(tái)，應(yīng)提供用戶長(zhǎng)期免費(fèi)使用\要求覆蓋社保系統(tǒng)各個(gè)維度數(shù)據(jù)，同時(shí)支持未來(lái)百億級(jí)的數(shù)據(jù)存儲(chǔ)需求。在數(shù)據(jù)的處理能力方面，模糊數(shù)據(jù)檢索速度做到億級(jí)秒回，億級(jí)數(shù)據(jù)基于SQL的實(shí)時(shí)分析，也能在秒級(jí)水平返回結(jié)果。平臺(tái)在技術(shù)底層的應(yīng)當(dāng)具備良好的可擴(kuò)展性，從而能夠?yàn)橛脩舴狡渌髷?shù)據(jù)分析項(xiàng)目提供穩(wěn)健扎實(shí)的底層支撐。數(shù)據(jù)存儲(chǔ)和處理引擎的版本。它包括：HDFS、HBASE、Spark、YARN、MapReduce、Hive等處理引擎以及本項(xiàng)目所涉及到的工具組件。序號(hào)技術(shù)指標(biāo)1★Hadoop平臺(tái)提供商的數(shù)據(jù)集成工具應(yīng)支持從多種關(guān)系型數(shù)據(jù)庫(kù)導(dǎo)入數(shù)據(jù)，包括但不限于oracle，SQLserver，mysql等。900765432大數(shù)據(jù)平臺(tái)需支持操作系統(tǒng)軟件包括:SuseLinuxllSPlsSuseLinux11SP2、SuseLinux11SPJRedHat6.4、RedHat6.5、CentOS6.4、CentOS6.5?！颒adoop平臺(tái)提供商的數(shù)據(jù)集成工具，提供界面管理工具。g削皿飆睡割朝回雌肇點(diǎn)’肇叫西岸、*毋做W秘目車'（吊欄r）Y骨’苜工劄事郢潺陽(yáng)圜用普弓擊doopeHHadoop平臺(tái)提供商的數(shù)據(jù)集成工具，導(dǎo)入（導(dǎo)出）文件時(shí)，支持對(duì)文件進(jìn)行轉(zhuǎn)換編碼格式，同時(shí)支持保持原來(lái)文件的目錄結(jié)構(gòu)和文件名不變。Hadoop平臺(tái)別嗨堡妙?1?,,擊欷HDFS導(dǎo)蟾IJHBase[phoenix表，也支持從HBase和dhoenix表導(dǎo)數(shù)據(jù)至UHDFSOHadoop平臺(tái)提供商的數(shù)據(jù)集成工具應(yīng)支持從關(guān)系型數(shù)據(jù)南可phoenix表相旦導(dǎo)入、導(dǎo)出數(shù)據(jù)。Hadoop平臺(tái)提供商的數(shù)據(jù)集成工具應(yīng)支持?jǐn)?shù)據(jù)從HDFS、HBase向多種關(guān)系型數(shù)據(jù)庫(kù)導(dǎo)出數(shù)據(jù),包括但不限于oracle,SQLserver,mysql等。Hadoop平臺(tái)提供商的數(shù)據(jù)集成工具應(yīng)支持?jǐn)?shù)據(jù)從HDFS向HBase的相互導(dǎo)入、導(dǎo)出。MPP數(shù)據(jù)庫(kù)軟件要求：序號(hào)技術(shù)指標(biāo)個(gè)節(jié)增1★要求產(chǎn)品為關(guān)系型數(shù)據(jù)庫(kù)，非hadoop架構(gòu)，且為成熟的商業(yè)產(chǎn)品提供集群版本，本項(xiàng)目部署1個(gè)節(jié)點(diǎn)。2★要求產(chǎn)品為列存儲(chǔ)MPP架構(gòu)，MPP+SharedNothing架構(gòu)，所有節(jié)點(diǎn)無(wú)共享，對(duì)等計(jì)算能。完全扁平無(wú)Master節(jié)點(diǎn)，不存在單點(diǎn)性能瓶頸和SPOF單點(diǎn)故障。3★要求產(chǎn)品能夠通過(guò)增加服務(wù)器節(jié)點(diǎn)對(duì)系統(tǒng)的計(jì)算和存儲(chǔ)能力進(jìn)行擴(kuò)容。支持在線擴(kuò)展，不中斷當(dāng)前系統(tǒng)的運(yùn)行，性能線性提升?？蓴U(kuò)展節(jié)點(diǎn)數(shù)量達(dá)到百點(diǎn)以上規(guī)模。4★要求產(chǎn)品支持異構(gòu)數(shù)據(jù)庫(kù)間增量數(shù)據(jù)實(shí)時(shí)同步功能，米用基于源數(shù)據(jù)庫(kù)日志的量獲取方式，增量獲取不依賴源數(shù)據(jù)庫(kù)表的時(shí)間戳、觸發(fā)器，數(shù)據(jù)同步性能不低于5000條/秒。5要求產(chǎn)品符合SQL92標(biāo)準(zhǔn)，支持CREATE、ALTER、DROP等DDL語(yǔ)法，支持SELECT、INSERT、UPDATE、DELETE等DML語(yǔ)法，支持單表，多云聯(lián)合查詢；6要求產(chǎn)品符合并支持CAPI、ODBC、JDBC、ADO.NET等國(guó)際接口規(guī)范；7要求產(chǎn)品支持如下的操作系統(tǒng)和平臺(tái)：64位Linux系列（CentOS、RedHat、SUSE、RedFlagAsianux）；支持PowerLinux等。8要求產(chǎn)品支持BOOL布爾數(shù)據(jù)類型INTEGER、TINYINT、SMALLINT、MEDIUMINT、BIGINT、DECIMAL、FLOAT、DOUBLE數(shù)值數(shù)據(jù)類型CHAR、VARCHAR字符數(shù)據(jù)類型YEAR、DATE、TIME、DATETIME、TIMESTAMP年日期，時(shí)間日期類型NYBLOB、BLOB、MEDIUMBLOB、LONGBLOB、TINYTEXT、TEXT、MEDIUMTEXT.LONGTEXT大對(duì)象數(shù)據(jù)類型；

9要求產(chǎn)品提供數(shù)據(jù)庫(kù)，表空間表，索引，視圖，存儲(chǔ)過(guò)程，自定義函數(shù)等常據(jù)庫(kù)對(duì)象的創(chuàng)建，修和刪醵作，支持?jǐn)?shù)據(jù)庫(kù)用的倉(cāng)建，刪除操作，以及用戶權(quán)限的分配與回收；10要求產(chǎn)品提供豐富的集群和數(shù)據(jù)庫(kù)管理，監(jiān)控工具；11要求產(chǎn)品具備自適應(yīng)壓縮算法，根據(jù)不同分布方式和數(shù)據(jù)類型自動(dòng)選擇最優(yōu)算法。支持三級(jí)壓縮選項(xiàng)，且基于數(shù)據(jù)結(jié)構(gòu)木相同的列存儲(chǔ)技術(shù)，壓縮比20。支持?jǐn)?shù)據(jù)壓縮態(tài)下的。1^操作，易于數(shù)據(jù)的維護(hù)和更新。3.2.應(yīng)用設(shè)計(jì)需求統(tǒng)計(jì)分析系統(tǒng)設(shè)計(jì)要求按照社保業(yè)務(wù)部門要求，利用各類統(tǒng)計(jì)分析方法（比較、分組、時(shí)間序列、平衡等）對(duì)分析對(duì)象（人員、單位、基金等設(shè)計(jì)分析指標(biāo)（如參保人數(shù)、參保率、繳費(fèi)率等）按照分析維度（時(shí)間、行業(yè)、單位性質(zhì)、行政區(qū)劃等）從定量與定性兩個(gè)角度進(jìn)行分析。統(tǒng)計(jì)分析功能是決策支持系統(tǒng)的最基礎(chǔ)功能，也是后續(xù)開展關(guān)聯(lián)分析和預(yù)測(cè)分析的基礎(chǔ)準(zhǔn)備工作。統(tǒng)計(jì)分析系統(tǒng)解決基本和復(fù)雜的社保數(shù)據(jù)統(tǒng)計(jì)，從功能上需滿足以下要求：（1）可按報(bào)表格式設(shè)計(jì)報(bào)表，包括報(bào)表的名稱、（復(fù)雜的）表頭、各類指標(biāo)項(xiàng)、頁(yè)眉頁(yè)腳等。（2）報(bào)表需按一定的周期（如月、季度、年度）自動(dòng)生成，用戶無(wú)法手動(dòng)修改數(shù)據(jù)。（3）用戶可基于生成的報(bào)表進(jìn)行（圖形化）分析，如鉆取、排序、添加額外字段、添加圖表等。（4）用戶也可以將數(shù)據(jù)導(dǎo)出用于后續(xù)分析。（5）全市性的數(shù)據(jù)統(tǒng)計(jì)分析，在展示上須使用市國(guó)土部門提供給用戶方的鎮(zhèn)江市地理信息數(shù)據(jù)電子地圖底圖，通過(guò)開源工具建立GIS服務(wù)，并要求在原有的二維地圖上增加影像地圖圖層，提供影像地圖服務(wù)具體包括:實(shí)現(xiàn)二維及影像地圖基本功能如地圖的放大、縮小、移動(dòng)、定位、圖層控制等實(shí)現(xiàn)二維地圖和影像地圖的快速切換并同步兩種地圖的數(shù)據(jù)包括統(tǒng)計(jì)信息等。查詢方式主要包含以下兩種：（1）統(tǒng)計(jì)報(bào)表查詢指是按一定周期生成的固定格式報(bào)表，一般用作向上級(jí)主管部門或本級(jí)統(tǒng)計(jì)部門提交,報(bào)表格式一般由上級(jí)主管部門或統(tǒng)計(jì)部門制定。統(tǒng)計(jì)報(bào)表應(yīng)覆蓋社保相關(guān)的日常報(bào)表及業(yè)務(wù)部門訂制的臨時(shí)性報(bào)表；按用戶角色控制報(bào)表的訪問(wèn)權(quán)限。（2）自助式查詢按人力資源和社會(huì)保障業(yè)務(wù)設(shè)計(jì)語(yǔ)義層，將數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)資源按照業(yè)務(wù)部門易于理解掌握的語(yǔ)言和方式呈現(xiàn)。用戶可以基于語(yǔ)義層通過(guò)拖拽的形式自助式查詢數(shù)據(jù)、制作報(bào)表，以便進(jìn)行更深入的分析。（3）突發(fā)性數(shù)據(jù)統(tǒng)計(jì)分析金保業(yè)務(wù)部門或上級(jí)主管部門出于工作、決策需要，常要求在指定時(shí)間內(nèi)為其提供偶發(fā)性的統(tǒng)計(jì)查詢或統(tǒng)計(jì)分析，這類查詢、分析不同于固定格式報(bào)表，使用的頻度不高，一般無(wú)需固化。但所提供數(shù)據(jù)的準(zhǔn)確性、及時(shí)性要求較高，不得逾期。一般情況下，從接獲需求到提供最終統(tǒng)計(jì)分析結(jié)果的時(shí)間不得超過(guò)72小時(shí)。3.2.1.關(guān)聯(lián)分析系統(tǒng)設(shè)計(jì)要求在統(tǒng)計(jì)分析基礎(chǔ)上，利用關(guān)聯(lián)分析方法（關(guān)聯(lián)比對(duì)、關(guān)聯(lián)挖掘算法等）尋找存在于社保業(yè)務(wù)數(shù)據(jù)之間或與其他部門數(shù)據(jù)的頻繁模式、關(guān)聯(lián)性、相關(guān)性或因果結(jié)構(gòu)，尋找分析對(duì)象某些屬性的規(guī)律和模式。在輔助業(yè)務(wù)部門進(jìn)行決策判斷時(shí)能夠全面考慮、綜合分析，找到當(dāng)前存在問(wèn)題的原因，從而更加有針對(duì)性地提出解決問(wèn)題的辦法。關(guān)聯(lián)分析也包含已知因果關(guān)系的社保業(yè)務(wù)主題分析。關(guān)聯(lián)分析系統(tǒng)包括社保內(nèi)部指標(biāo)之間的關(guān)聯(lián)和主題分析，社保和外部數(shù)據(jù)間的關(guān)聯(lián)和主題分析。要求對(duì)大數(shù)據(jù)量的社保數(shù)據(jù)利用關(guān)聯(lián)規(guī)則的挖掘進(jìn)行探索性的分析，針對(duì)業(yè)務(wù)部門關(guān)心的核心數(shù)據(jù)指標(biāo)，設(shè)計(jì)和實(shí)現(xiàn)社保業(yè)務(wù)關(guān)聯(lián)規(guī)則，建立數(shù)據(jù)模型，搭建分析平臺(tái)，提供多種成熟的關(guān)聯(lián)分析模型及算法，并預(yù)留模塊化的外部數(shù)據(jù)輸入功能。平臺(tái)要求能夠?qū)崿F(xiàn)業(yè)務(wù)人員依據(jù)實(shí)際業(yè)務(wù)、社保數(shù)據(jù)的特點(diǎn)及個(gè)人理解，依托平臺(tái)自主運(yùn)用進(jìn)行研判，尋找數(shù)據(jù)的頻繁模式、關(guān)聯(lián)性、相關(guān)性或因果結(jié)構(gòu)，尋找分析對(duì)象某些屬性的規(guī)律和模式，從而對(duì)政策執(zhí)行情況進(jìn)行研究分析和規(guī)劃統(tǒng)計(jì)分析，為決策部門提供科學(xué)、準(zhǔn)

確、及時(shí)的依據(jù)。具體功能上應(yīng)至少包括：（1）決策支持需求分析：分業(yè)務(wù)領(lǐng)域、分地區(qū)對(duì)業(yè)務(wù)運(yùn)行情況和存在的問(wèn)題、業(yè)務(wù)關(guān)聯(lián)變化情況等進(jìn)行數(shù)據(jù)分析和數(shù)據(jù)挖掘，從而對(duì)政策執(zhí)行情況進(jìn)行研究分析和規(guī)劃統(tǒng)計(jì)分析（2）政策仿真需求分析：構(gòu)建政策仿真模型，確定模型的輸入?yún)?shù)與輸出參數(shù)之間的計(jì)算關(guān)系，從而能夠輔助決策者科學(xué)地制定政策。3.2.2.預(yù)測(cè)分析系統(tǒng)設(shè)計(jì)要求在關(guān)聯(lián)分析的基礎(chǔ)上，根據(jù)預(yù)測(cè)分析方向進(jìn)行數(shù)據(jù)建模，利用挖掘算法在宏觀面（社保各險(xiǎn)種