恒生企業(yè)級數(shù)據(jù)中心建設(shè)規(guī)劃企業(yè)級數(shù)據(jù)中心建設(shè)規(guī)劃—打造分析型數(shù)據(jù)中心建立集加工、計(jì)算、應(yīng)用為一體的數(shù)據(jù)中心平臺，對各交易系統(tǒng)、財(cái)務(wù)系統(tǒng)、清算系統(tǒng)、投資系統(tǒng)、資訊系統(tǒng)、CRM、呼叫中心等系統(tǒng)數(shù)據(jù)進(jìn)行整合；實(shí)現(xiàn)數(shù)據(jù)集中信息化；建立統(tǒng)一的數(shù)據(jù)交換平臺，為在建的或未來要建立的外圍系統(tǒng)提供接入渠道，實(shí)現(xiàn)呼叫中心、CRM、交易系統(tǒng)、網(wǎng)上營業(yè)廳等各系統(tǒng)的數(shù)據(jù)充分共享；在數(shù)據(jù)中心平臺基礎(chǔ)上構(gòu)建智能分析平臺，通過建立業(yè)務(wù)模型，實(shí)現(xiàn)業(yè)務(wù)分析和數(shù)據(jù)深度挖掘，為公司決策提供支持和幫助。提高公司在客戶服務(wù)、市場營銷、內(nèi)部管理等方面的核心競爭力。數(shù)據(jù)整合數(shù)據(jù)服務(wù)智能應(yīng)用23數(shù)據(jù)中心的總體目標(biāo)1數(shù)據(jù)轉(zhuǎn)變?yōu)樾畔⑿畔⑥D(zhuǎn)換為知識知識轉(zhuǎn)換為決策系統(tǒng)總體架構(gòu)加載清洗調(diào)度建模抽取生成查詢支持入庫入庫數(shù)據(jù)中心數(shù)據(jù)庫規(guī)劃數(shù)據(jù)中心技術(shù)發(fā)展趨勢數(shù)據(jù)中心BECDA主流數(shù)據(jù)庫：ORACLE/DB2/Greenplum/Teradata/SQLSERVER主流數(shù)據(jù)采集工具：OracleODI

、Datastage、Informatic主流BI工具OracleBIEE/Cognos/BO/MSTR主流硬件:小機(jī)、Terdata、Exadata、高端存儲主流中間件軟件Websphere/Weblogic/Tomcat一個中心，五個平臺數(shù)據(jù)中心智能分析平臺業(yè)務(wù)展現(xiàn)平臺數(shù)據(jù)基礎(chǔ)平臺統(tǒng)一管理平臺數(shù)據(jù)服務(wù)平臺五個平臺關(guān)系數(shù)據(jù)中心數(shù)據(jù)基礎(chǔ)平臺數(shù)據(jù)服務(wù)平臺智能分析平臺業(yè)務(wù)展現(xiàn)平臺統(tǒng)一管理平臺平臺介紹數(shù)據(jù)基礎(chǔ)平臺數(shù)據(jù)服務(wù)平臺智能分析平臺統(tǒng)一管理平臺業(yè)務(wù)展現(xiàn)平臺ODS設(shè)計(jì)原則標(biāo)準(zhǔn)化原則

對不同業(yè)務(wù)系統(tǒng)同含義的數(shù)據(jù)進(jìn)行統(tǒng)一標(biāo)準(zhǔn)化處理，比如客戶號、機(jī)構(gòu)代碼、產(chǎn)品類別等，字段去NULL值，字段值含義統(tǒng)一統(tǒng)一客戶模型

統(tǒng)一多套客戶交易系統(tǒng)或者管理系統(tǒng)中的客戶模型統(tǒng)一數(shù)據(jù)字典

在標(biāo)準(zhǔn)化原則下，對外提供統(tǒng)一的數(shù)據(jù)字典。并能自動發(fā)現(xiàn)新增屬性值的現(xiàn)象，并通過預(yù)警的方式通知運(yùn)維人員進(jìn)行確認(rèn)。統(tǒng)一數(shù)據(jù)格式

數(shù)據(jù)格式保持對不同交易系統(tǒng)的兼容，確保清洗、轉(zhuǎn)換過程不會引起數(shù)據(jù)失真和清洗轉(zhuǎn)換因字段值類型不匹配導(dǎo)致失敗，同時(shí)也有利于對外提供統(tǒng)一的數(shù)據(jù)服務(wù)。統(tǒng)一業(yè)務(wù)引擎數(shù)據(jù)倉庫模型舉例（客戶模型）客戶賬號CID基本信息資產(chǎn)賬戶AID資產(chǎn)賬戶信息資金賬戶BID產(chǎn)品賬戶各種交易信息賬戶其它信息附加信息客戶登記表隸屬關(guān)系1..n隸屬關(guān)系1..n隸屬關(guān)系0..n包含關(guān)系1..n隸屬關(guān)系0..n資金信息客戶業(yè)務(wù)屬性客戶業(yè)務(wù)信息隸屬關(guān)系1..n帳戶基本屬性客戶基本信息隸屬關(guān)系1..n受托管理代理人基本信息0..nODS數(shù)據(jù)庫OLAP模型數(shù)據(jù)集市原始數(shù)據(jù)層時(shí)點(diǎn)數(shù)據(jù)數(shù)據(jù)集市OLAP模型時(shí)點(diǎn)數(shù)據(jù)數(shù)據(jù)建模數(shù)據(jù)聚合數(shù)據(jù)倉庫明晰數(shù)據(jù)聚合數(shù)據(jù)數(shù)據(jù)建模數(shù)據(jù)建模數(shù)據(jù)聚合數(shù)據(jù)聚合原始數(shù)據(jù)層統(tǒng)一數(shù)據(jù)字典統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一業(yè)務(wù)引擎統(tǒng)一業(yè)務(wù)模型流水?dāng)?shù)據(jù)標(biāo)準(zhǔn)不一信息孤導(dǎo)部門級應(yīng)用數(shù)據(jù)抽取ETL關(guān)鍵點(diǎn)ETL關(guān)鍵點(diǎn)具體要求時(shí)點(diǎn)性重要數(shù)據(jù)保留策略客戶身份證變更/創(chuàng)業(yè)板權(quán)限/風(fēng)險(xiǎn)級別/反洗錢等級客戶變更營業(yè)部處理策略轉(zhuǎn)營業(yè)部后,需保持客戶交易系統(tǒng)一致性營業(yè)部變更處理策略引入代理鍵、漸變維度,支持多種統(tǒng)計(jì)方式相關(guān)業(yè)務(wù)信息新增處理策略委托方式、銀行代碼等相關(guān)業(yè)務(wù)標(biāo)志ETL/ELT的模式采用數(shù)據(jù)快速采集清洗策略使用存儲過程、ETL的圖形化出錯處理Load時(shí)，ETL會自動將出錯數(shù)據(jù)歸入異常表,并使流程正?；?/p>

預(yù)警平臺,出錯時(shí)提示具體出錯信息性能指標(biāo)性能指標(biāo)正常指標(biāo)值峰值實(shí)時(shí)數(shù)據(jù)采集延遲15秒內(nèi)1分鐘內(nèi)日終各業(yè)務(wù)系統(tǒng)數(shù)據(jù)采集時(shí)間30分鐘內(nèi)小于100分鐘業(yè)務(wù)系統(tǒng)原始數(shù)據(jù)處理到ODS的時(shí)間60分鐘內(nèi)小于100分鐘業(yè)務(wù)系統(tǒng)數(shù)據(jù)從ODS層處理到DW層30分鐘內(nèi)小于100分鐘對數(shù)據(jù)源服務(wù)器的利用率影響小于1%小于2%所有業(yè)務(wù)報(bào)表從點(diǎn)擊查詢到展現(xiàn)結(jié)果時(shí)間小于5秒鐘小于10秒鐘在業(yè)務(wù)系統(tǒng)正常情況下，數(shù)據(jù)中心前一天任務(wù)執(zhí)行完畢早于第二天8:30早于第二天12:00以下指標(biāo)以100萬客戶為參考性能優(yōu)化方案索引B-Tree索引

位圖索引

分區(qū)索引

分區(qū)

范圍分區(qū)

列表分區(qū)HASH分區(qū)

并行查詢將表劃分成塊利用并行查詢調(diào)度器匯總級別按常用查詢維度匯總物化視圖快照日志查詢重寫自動刷新平臺介紹數(shù)據(jù)基礎(chǔ)平臺數(shù)據(jù)服務(wù)平臺智能分析平臺統(tǒng)一管理平臺業(yè)務(wù)展現(xiàn)平臺數(shù)據(jù)服務(wù)平臺大數(shù)據(jù)量服務(wù)ETL主動推送

小數(shù)據(jù)量服務(wù)Webservice接口數(shù)據(jù)服務(wù)平臺風(fēng)控系統(tǒng)CRM系統(tǒng)整合新業(yè)務(wù)系統(tǒng)上線數(shù)據(jù)提供數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)平臺數(shù)據(jù)服務(wù)架構(gòu)數(shù)據(jù)中心客戶管理資金管理集中交易帳戶品種證券融資融券其他產(chǎn)品撮合報(bào)價(jià)基金期貨統(tǒng)一清算平臺交易所登記結(jié)算公司金融公司存管銀行清算銀行銀證平臺數(shù)據(jù)交換資金管理CRM財(cái)務(wù)系統(tǒng)決策支持知識管理內(nèi)部事務(wù)管理門戶網(wǎng)站呼叫中心清算結(jié)算咨詢信息咨詢分析風(fēng)險(xiǎn)管理平臺操作風(fēng)險(xiǎn)市場風(fēng)險(xiǎn)流動性風(fēng)險(xiǎn)信用風(fēng)險(xiǎn)自營系統(tǒng)資管系統(tǒng)數(shù)據(jù)服務(wù)方式多種決策支持服務(wù)客戶營銷服務(wù)呼叫中心服務(wù)HTTPSOAPMQSOAP數(shù)據(jù)訪問服務(wù)（WebService）數(shù)據(jù)中心JDBC企業(yè)服務(wù)總線（ESB）平臺介紹數(shù)據(jù)基礎(chǔ)平臺數(shù)據(jù)服務(wù)平臺智能分析平臺統(tǒng)一管理平臺業(yè)務(wù)展現(xiàn)平臺智能分析平臺覆蓋所有業(yè)務(wù)的分析經(jīng)營分析、績效分析、客戶分析綜合管理報(bào)表基于BI框架采用數(shù)據(jù)倉庫技術(shù)支持報(bào)表靈活展現(xiàn)支持多種分析方法支持客戶自定義報(bào)表提供數(shù)據(jù)挖掘功能數(shù)據(jù)倉庫模型EDW-LDMFS-LDM為基礎(chǔ)，結(jié)合證券業(yè)務(wù)第三范式規(guī)則模型框架當(dāng)事人、內(nèi)部機(jī)構(gòu)、產(chǎn)品協(xié)議、事件、地址、渠道營銷、財(cái)務(wù)、客戶資產(chǎn)數(shù)據(jù)倉庫模型舉例（客戶模型）智能分析平臺原始層數(shù)據(jù)源構(gòu)建數(shù)據(jù)立方體打造個性化業(yè)務(wù)邏輯全面的用戶終端展現(xiàn)MSSQLOracleSAPMSAS/PowerPivotFlatFilesApplicationsWebServices構(gòu)建數(shù)據(jù)立方體數(shù)據(jù)ETL

連接定義采集源與目標(biāo)庫定義采集、清洗、轉(zhuǎn)化模型定義數(shù)據(jù)實(shí)時(shí)、盤后自動采集數(shù)據(jù)ETL過程監(jiān)控業(yè)務(wù)邏輯定義商務(wù)模型管理平臺安全性定義性能管理實(shí)時(shí)分析儀表盤控制協(xié)同作業(yè)嵌入式服務(wù)MSOffice整合自定義智能報(bào)表商務(wù)智能應(yīng)用經(jīng)紀(jì)業(yè)務(wù)運(yùn)營過程中的商務(wù)智能自定義報(bào)表自定義報(bào)表多樣的交互展現(xiàn)方式（一）Office的高級集成交互式信息板靈活的即席分析固定報(bào)告并發(fā)布多樣的交互展現(xiàn)方式（二）BI嵌套業(yè)務(wù)系統(tǒng)(BI與CRM、門戶等)與IBMWebspherePortal無縫整合，單點(diǎn)登錄、統(tǒng)一認(rèn)證與各應(yīng)用系統(tǒng)無縫整合提供所見即所得的實(shí)時(shí)數(shù)據(jù)BI儀表盤設(shè)計(jì)(經(jīng)紀(jì)業(yè)務(wù)總部管理)實(shí)時(shí)同步數(shù)據(jù),豐富的報(bào)表展現(xiàn)形式用戶自定義數(shù)據(jù)維度，進(jìn)行個性化及深層次數(shù)據(jù)挖掘一鍵式報(bào)表服務(wù)拖拉式服務(wù)形式，所見即所得的儀表展現(xiàn)數(shù)據(jù)挖掘可視化的數(shù)據(jù)挖掘工具與導(dǎo)航數(shù)據(jù)挖掘算法集成決策樹神經(jīng)網(wǎng)絡(luò)聚類時(shí)間序列相關(guān)分析回歸分析基與記憶推理….相關(guān)應(yīng)用關(guān)聯(lián)銷售營銷活動預(yù)期客戶分類客戶行為分析風(fēng)險(xiǎn)管理信用評估反洗錢檢測客戶投資偏好特征分析….相關(guān)性分析平臺介紹數(shù)據(jù)基礎(chǔ)平臺數(shù)據(jù)服務(wù)平臺智能分析平臺統(tǒng)一管理平臺業(yè)務(wù)展現(xiàn)平臺統(tǒng)一管理平臺運(yùn)維監(jiān)控ETL調(diào)度報(bào)告ETL運(yùn)行監(jiān)控ETL調(diào)度異常預(yù)警平臺數(shù)據(jù)質(zhì)量管理數(shù)據(jù)核對數(shù)據(jù)連續(xù)性檢查元數(shù)據(jù)管理數(shù)據(jù)備份管理數(shù)據(jù)質(zhì)量管理模塊ETL過程檢查數(shù)據(jù)字典映射檢查不兼容數(shù)據(jù)預(yù)警、處理數(shù)據(jù)準(zhǔn)確性檢查數(shù)據(jù)核對數(shù)據(jù)一致性數(shù)據(jù)完整性數(shù)據(jù)不規(guī)范值處理數(shù)據(jù)冗余性數(shù)據(jù)粒度級別歷史明細(xì)數(shù)據(jù)存放策略老化、無效數(shù)據(jù)判定及處理元數(shù)據(jù)管理模塊統(tǒng)一元數(shù)據(jù)管理技術(shù)元數(shù)據(jù)源數(shù)據(jù)層結(jié)構(gòu)ODS模型EDW模型ETL流程業(yè)務(wù)元數(shù)據(jù)企業(yè)數(shù)據(jù)模型多維數(shù)據(jù)模型數(shù)據(jù)備份靜態(tài)表、配置表:每日備份，可以采用覆蓋性備份，保留最近3日或者5日的備份歷史表：采用1個月備份一次全量(覆蓋性備份)，其余每日增量備份分區(qū)表：每月月初備份上月所有的表的上月分區(qū)，每日備份當(dāng)月分區(qū)恢復(fù)靜態(tài)表、歷史表全量按月恢復(fù)分區(qū)表分區(qū)使用磁帶機(jī)方式備份備份策略恢復(fù)策略備份方式平臺介紹數(shù)據(jù)基礎(chǔ)平臺數(shù)據(jù)服務(wù)平臺智能分析平臺統(tǒng)一管理平臺業(yè)務(wù)展現(xiàn)平臺業(yè)務(wù)展現(xiàn)平臺多維分析數(shù)據(jù)挖掘終端用戶信息展現(xiàn)在線數(shù)據(jù)鉆取固定運(yùn)維報(bào)表自定義報(bào)表自動信息預(yù)警緊密結(jié)合Office智能分析報(bào)告豐富展現(xiàn)形式數(shù)據(jù)綜合分析數(shù)據(jù)集市Data

Mart原始業(yè)務(wù)系統(tǒng)原始數(shù)據(jù)層ODS數(shù)據(jù)層DW數(shù)據(jù)層數(shù)據(jù)組織數(shù)據(jù)中心數(shù)據(jù)倉庫業(yè)務(wù)展現(xiàn)平臺報(bào)表與分析績效管理應(yīng)用界面效果圖業(yè)務(wù)應(yīng)用客戶分析績效分析經(jīng)營分析預(yù)測分析競爭性分析營銷數(shù)據(jù)服務(wù)財(cái)務(wù)分析業(yè)務(wù)報(bào)表風(fēng)險(xiǎn)合規(guī)整體分析經(jīng)營分析市場占有率、排名日均資產(chǎn)、新增客戶績效分析交易量、收入、市占率成本、利潤競爭性分析公司競爭性分析網(wǎng)點(diǎn)競爭性分析預(yù)測分析行情趨勢公司收入新業(yè)務(wù)對公司影響營銷層面營銷數(shù)據(jù)服務(wù)日均資產(chǎn)、周轉(zhuǎn)率交易量、傭金匯總客戶分析客戶偏好分析、群體分析投訴建議、回訪分析其他方面財(cái)務(wù)分析資產(chǎn)負(fù)債、凈資本風(fēng)險(xiǎn)控制指標(biāo)預(yù)警業(yè)務(wù)管理線報(bào)表經(jīng)紀(jì)業(yè)務(wù)報(bào)表其他報(bào)表風(fēng)險(xiǎn)合規(guī)管理風(fēng)險(xiǎn)控制系統(tǒng)合規(guī)管理系統(tǒng)監(jiān)管報(bào)表數(shù)據(jù)生成報(bào)表管理報(bào)表交互完整性準(zhǔn)確性

穩(wěn)定性

安全性

高效性

可擴(kuò)展性復(fù)核,審批勾稽管理報(bào)表異常管理

報(bào)表狀態(tài)管理

數(shù)據(jù)修正圖形化展示多格式導(dǎo)出批量導(dǎo)出證監(jiān)會離線報(bào)送接口支持提綱背景介紹數(shù)據(jù)中心規(guī)劃項(xiàng)目實(shí)施案例介紹典型案例—民族證券、中信金通系統(tǒng)定位數(shù)據(jù)交換平臺系統(tǒng)整合(風(fēng)控+CRM+網(wǎng)站等)報(bào)表服務(wù)功能智能商務(wù)功能典型案例華泰證券ETL恒生中間件中信金通ETL恒生中間件BIoraclebiee民族證券ETLdatastageBIcognos數(shù)據(jù)庫ODSoracle，EDWGreenplum展現(xiàn)平臺，清軟平臺主要實(shí)現(xiàn)ETL監(jiān)控，業(yè)務(wù)展現(xiàn)華安證券國海證券中郵證券江海證券……DATASTAGEETLEDW交易數(shù)據(jù)清算數(shù)據(jù)營銷數(shù)據(jù)財(cái)務(wù)數(shù)據(jù)其它數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)交易數(shù)據(jù)清算數(shù)據(jù)營銷數(shù)據(jù)財(cái)務(wù)數(shù)據(jù)其它數(shù)據(jù)規(guī)整數(shù)據(jù)ODSETL呼叫中心營銷平臺財(cái)務(wù)系統(tǒng)門戶網(wǎng)站管理平臺商業(yè)智能工具元數(shù)據(jù)和質(zhì)量管理其它系統(tǒng)數(shù)據(jù)服務(wù)平臺DATASTAGEETL主題數(shù)據(jù)分析報(bào)表管理-報(bào)表頁面報(bào)表管理-數(shù)據(jù)審核一覽表截圖報(bào)表管理-數(shù)據(jù)復(fù)核截圖點(diǎn)擊確定，如下所示：報(bào)表管理-勾稽管理截圖報(bào)表交互-多報(bào)表同時(shí)導(dǎo)出截圖恒生優(yōu)勢關(guān)鍵點(diǎn)說明整體技術(shù)實(shí)力優(yōu)勢恒生電子有2100多人，其中近1500人為技術(shù)開發(fā)人員。專注于證券行業(yè)的軟件開發(fā)，已有15年的證券行業(yè)經(jīng)驗(yàn)。業(yè)務(wù)理解優(yōu)勢恒生公司對證券行業(yè)業(yè)務(wù)理解非常深刻，是證券行業(yè)規(guī)模最大、產(chǎn)品線最全的證券行業(yè)內(nèi)軟件公司；恒生軟件產(chǎn)品線涵蓋經(jīng)紀(jì)、自營、資管、投行、研究所等業(yè)務(wù)部門的產(chǎn)品，對業(yè)務(wù)理解非常深刻數(shù)據(jù)采集與推送優(yōu)勢一流的系統(tǒng)集成商，成功對接的系統(tǒng)非常多，數(shù)據(jù)采集與推送具備明顯的優(yōu)勢市場占有率優(yōu)勢與數(shù)據(jù)中心相關(guān)的風(fēng)控等產(chǎn)品目前市場占有率達(dá)到60％接口優(yōu)勢預(yù)留融資融券、股指期貨等接口，新的業(yè)務(wù)需求可以很快捷的升級上去項(xiàng)目保障優(yōu)勢恒生公司長期戰(zhàn)略合作伙伴，在項(xiàng)目實(shí)施上有著人力資源分配優(yōu)勢恒生優(yōu)勢關(guān)鍵點(diǎn)說明數(shù)據(jù)中心技術(shù)優(yōu)勢開發(fā)數(shù)據(jù)中心系統(tǒng)的主要人員都從事數(shù)據(jù)中心系統(tǒng)開發(fā)3年以上，業(yè)務(wù)理解深刻；系統(tǒng)支持證券公司現(xiàn)有各個數(shù)據(jù)源系統(tǒng)的接口，數(shù)據(jù)采集性能和穩(wěn)定性高系統(tǒng)支持客戶容量為10