金證數(shù)據(jù)中心運(yùn)維管理平臺(tái)白皮書 金證數(shù)據(jù)中心運(yùn)維管理平臺(tái)產(chǎn)品白皮書WWW.SZKINGDOM.COM2012年目錄1. 產(chǎn)品白皮書 31.1. 關(guān)于本產(chǎn)品 31.2. 關(guān)于白皮書 31.3. 關(guān)于閱讀者 31.4. 版權(quán)聲明 31.5. 商標(biāo)聲明 42. 產(chǎn)品簡介 42.1. 產(chǎn)品背景 42.2. 產(chǎn)品概述 52.3. 產(chǎn)品總體構(gòu)成 63. 產(chǎn)品功能 63.1. 元數(shù)據(jù)管理 63.2. 數(shù)據(jù)質(zhì)量管理 73.3. 運(yùn)維監(jiān)控 84. 總體技術(shù)架構(gòu) 105. 產(chǎn)品配置 115.1. 服務(wù)器環(huán)境 115.2. 客戶端環(huán)境 11產(chǎn)品白皮書關(guān)于本產(chǎn)品金證數(shù)據(jù)中心運(yùn)維管理平臺(tái)是針對(duì)企業(yè)IT環(huán)境中備受關(guān)注的數(shù)據(jù)治理問題所提出的一整套端到端的解決方案。數(shù)據(jù)治理涵蓋于企業(yè)的整個(gè)信息化建設(shè)過程，它涉及每個(gè)系統(tǒng)，包括所有業(yè)務(wù)核心系統(tǒng)、數(shù)據(jù)倉庫、CIF、風(fēng)險(xiǎn)管理、合規(guī)支持等等，它需要一個(gè)統(tǒng)一的管理平臺(tái)進(jìn)行管理，其范圍涵蓋對(duì)數(shù)據(jù)的集成、整合、交換、同步和應(yīng)用。金證數(shù)據(jù)中心運(yùn)維管理平臺(tái)由元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理和運(yùn)維監(jiān)控管理三大模塊組成，形成完整的企業(yè)數(shù)據(jù)治理解決方案。關(guān)于白皮書本白皮書旨在幫助讀者了解產(chǎn)品能力，確定工具平臺(tái)構(gòu)建的要素，包含：技術(shù)架構(gòu)、應(yīng)用構(gòu)建策略、產(chǎn)品特性、關(guān)鍵技術(shù)原理和平臺(tái)環(huán)境等。關(guān)于閱讀者本手冊的目標(biāo)讀者包括企業(yè)決策人員、市場分析人員、營銷服務(wù)人員，以及系統(tǒng)架構(gòu)人員、應(yīng)用架構(gòu)人員、應(yīng)用開發(fā)人員和應(yīng)用實(shí)施人員。除了第一章的特性之外，其他各章節(jié)之間的內(nèi)容是基本獨(dú)立的。管理人員和決策人員可以瀏覽各個(gè)章節(jié)的概述部分來了解整章的內(nèi)容。業(yè)務(wù)分析人員可以直接閱讀產(chǎn)品特性部分，架構(gòu)設(shè)計(jì)人員可以直接閱讀應(yīng)用構(gòu)建策略和平臺(tái)環(huán)境部分或者架構(gòu)策略和技術(shù)架構(gòu)部分，應(yīng)用開發(fā)人員可以直接閱讀產(chǎn)品特性和關(guān)鍵技術(shù)原理部分，應(yīng)用實(shí)施人員可以閱讀應(yīng)用構(gòu)建策略、產(chǎn)品特性和關(guān)鍵技術(shù)原理部分。版權(quán)聲明本文包含的信息代表金證公司目前對(duì)本文所涉及內(nèi)容的觀點(diǎn)，由于用戶需求、市場和產(chǎn)品情況的不斷變化，本文中的信息并不代表金證公司未來的觀點(diǎn)，金證公司不能保證本文信息在未來時(shí)間的有效性。本文包含的內(nèi)容，無論是明確陳述的內(nèi)容或隱含的內(nèi)容，都不能理解為金證公司的正式商業(yè)承諾。本文包含敏感信息，須限制使用。擴(kuò)散或復(fù)制本文須得到金證公司的書面認(rèn)可，嚴(yán)禁以任何形式印刷或出版本文的全部或部分內(nèi)容。本文中提及的有關(guān)產(chǎn)品和名稱為相應(yīng)公司或機(jī)構(gòu)的（注冊）商標(biāo)。本文信息若有變動(dòng)，恕不另行通知。商標(biāo)聲明為金證公司在中華人民共和國國家商標(biāo)局登記注冊的商標(biāo)，其所有權(quán)由本公司合法擁有，受法律保護(hù)。未經(jīng)本公司書面許可或授權(quán)，任何單位及個(gè)人不得以任何方式或理由對(duì)該商標(biāo)的任何部分進(jìn)行使用、復(fù)制、修改、傳播、抄錄或與其它產(chǎn)品捆綁使用。侵犯本公司商標(biāo)權(quán)，本公司將依法追究其法律責(zé)任。產(chǎn)品簡介產(chǎn)品背景長期以來，企業(yè)受到“憑經(jīng)驗(yàn)、靠感覺、輕數(shù)據(jù)”的工作習(xí)慣影響，數(shù)據(jù)遠(yuǎn)未發(fā)揮其應(yīng)有價(jià)值，數(shù)據(jù)問題未受到足夠重視。雖然開發(fā)并應(yīng)用了多者上百套業(yè)務(wù)處理系統(tǒng)，產(chǎn)生大量數(shù)據(jù)，但是這些數(shù)據(jù)所帶來的各種問題卻成為企業(yè)提高競爭力的巨大障礙。這些問題主要表現(xiàn)在以下4個(gè)方面。數(shù)據(jù)分散、重復(fù)、不一致。信息系統(tǒng)的開發(fā)和應(yīng)用按部門開展，各系統(tǒng)的數(shù)據(jù)定義、數(shù)據(jù)采集流程自成體系，缺少一致性，形成一個(gè)個(gè)“信息孤島”；不能把分散的數(shù)據(jù)依據(jù)其內(nèi)在邏輯聚集關(guān)聯(lián)成一個(gè)完整的數(shù)據(jù)源，難以建立全面、準(zhǔn)確、完整反映企業(yè)經(jīng)營狀況的單一數(shù)據(jù)視圖。關(guān)鍵業(yè)務(wù)數(shù)據(jù)不準(zhǔn)確。前臺(tái)人員不關(guān)心數(shù)據(jù)質(zhì)量，其控制未融入到業(yè)務(wù)流程中；企業(yè)缺乏規(guī)范的數(shù)據(jù)質(zhì)量控制流程和考核機(jī)制，數(shù)據(jù)質(zhì)量問題不能及時(shí)發(fā)現(xiàn)并解決。數(shù)據(jù)處理難以滿足需要。交易系統(tǒng)設(shè)計(jì)側(cè)重于特定功能的實(shí)現(xiàn)和處理效率的保證，其數(shù)據(jù)處理難以滿足業(yè)務(wù)發(fā)展、經(jīng)營決策和管理考核的需要。缺乏數(shù)據(jù)規(guī)劃，數(shù)據(jù)管理成本高。缺乏對(duì)數(shù)據(jù)采集、分布、流轉(zhuǎn)及應(yīng)用的合理規(guī)劃，部門間、總分行缺乏數(shù)據(jù)共享及協(xié)調(diào)機(jī)制。數(shù)據(jù)需求、數(shù)據(jù)質(zhì)量、數(shù)據(jù)應(yīng)用等問題的管理和解決分散在不同項(xiàng)目、業(yè)務(wù)和技術(shù)部門，沒有一個(gè)明確的組織對(duì)相關(guān)問題提供協(xié)調(diào)機(jī)制和統(tǒng)一的報(bào)告渠道，并跟蹤解決數(shù)據(jù)相關(guān)問題。上述問題最終導(dǎo)致企業(yè)運(yùn)用數(shù)據(jù)時(shí)，存在大量的數(shù)據(jù)缺失、重復(fù)、矛盾、失真現(xiàn)象。導(dǎo)致花了大代價(jià)積累的歷史數(shù)據(jù)不可用、不敢用，無法轉(zhuǎn)化成有用的信息，進(jìn)而無法對(duì)決策、營銷、考核等管理工作起到有效支撐。為解決上述問題，企業(yè)多年來付出了種種努力，包括信息系統(tǒng)升級(jí)改造、數(shù)據(jù)清洗等，投入大量的人力物力，成本巨大。但由于未采用系統(tǒng)性的管控治理，數(shù)據(jù)問題并未能從根本上解決，已阻礙了企業(yè)管理精細(xì)化的進(jìn)程。顯然，企業(yè)急需建立一種新的數(shù)據(jù)管理機(jī)制來改善這種狀況。金證數(shù)據(jù)運(yùn)營平臺(tái)正是通過從全企業(yè)的視角協(xié)調(diào)、統(tǒng)領(lǐng)各個(gè)層面的數(shù)據(jù)管理工作，建立人、數(shù)據(jù)、系統(tǒng)之間的和諧關(guān)系，保證企業(yè)內(nèi)部各類人員在正確的時(shí)間、正確的環(huán)境得到正確的數(shù)據(jù)支持及服務(wù)。產(chǎn)品概述數(shù)據(jù)治理是企業(yè)全面的信息技術(shù)（IT）管控的一個(gè)主要部分，本產(chǎn)品的目標(biāo)是建立一個(gè)元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理和運(yùn)維監(jiān)控管理所構(gòu)成的企業(yè)數(shù)據(jù)管理和控制的完整體系。提升企業(yè)整體視角的數(shù)據(jù)環(huán)境規(guī)劃能力；建立企業(yè)視角的通用數(shù)據(jù)標(biāo)準(zhǔn)提升統(tǒng)一有序的業(yè)務(wù)系統(tǒng)和信息管理系統(tǒng)的管理能力；建立統(tǒng)一有序的數(shù)據(jù)倉庫系統(tǒng)的管理能力；提升企業(yè)信息的質(zhì)量（可訪問性、可用性、正確性、一致性等）；提升數(shù)據(jù)的安全性（數(shù)據(jù)、硬件、軟件、應(yīng)用系統(tǒng)、使用者）；提升企業(yè)內(nèi)部不同職能部門之間的共享數(shù)據(jù)和協(xié)同工作能力；增加有效工作時(shí)間用于分析數(shù)據(jù)，減少用于在復(fù)雜企業(yè)數(shù)據(jù)環(huán)境中搜索數(shù)據(jù)的時(shí)間。產(chǎn)品總體構(gòu)成金證數(shù)據(jù)中心運(yùn)維管理平臺(tái)包括元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理和運(yùn)維監(jiān)控管理三大重點(diǎn)模塊。元數(shù)據(jù)管理：元數(shù)據(jù)架構(gòu)、元數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)生成獲取和維護(hù)、元數(shù)據(jù)存儲(chǔ)、整合和共享、元數(shù)據(jù)查詢和報(bào)表、數(shù)據(jù)術(shù)語及字典管理、元數(shù)據(jù)知識(shí)庫管理數(shù)據(jù)質(zhì)量管理：業(yè)務(wù)數(shù)據(jù)標(biāo)準(zhǔn)、技術(shù)數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)標(biāo)準(zhǔn)的范圍（公共代碼標(biāo)準(zhǔn)、通用數(shù)據(jù)標(biāo)準(zhǔn)、共享數(shù)據(jù)標(biāo)準(zhǔn)和特定數(shù)據(jù)標(biāo)準(zhǔn)）；數(shù)據(jù)質(zhì)量檢核問題查詢、數(shù)據(jù)質(zhì)量指標(biāo)趨勢分析及報(bào)告等。運(yùn)維監(jiān)控管理：元數(shù)據(jù)變化監(jiān)控，數(shù)據(jù)質(zhì)量監(jiān)控，服務(wù)器監(jiān)控和數(shù)據(jù)庫監(jiān)控。 產(chǎn)品功能元數(shù)據(jù)管理元數(shù)據(jù)管理提供跨工具和應(yīng)用的企業(yè)級(jí)的元數(shù)據(jù)統(tǒng)一視圖，提供了清晰定義和分析跟蹤業(yè)務(wù)運(yùn)作歷史數(shù)據(jù)的實(shí)際可行的解決方案。本模塊提供企業(yè)數(shù)據(jù)倉庫環(huán)境內(nèi)置的元數(shù)據(jù)類型支持；支持用戶按需定制元模型結(jié)構(gòu)，形成統(tǒng)一的元數(shù)據(jù)模型，特別適合支持業(yè)務(wù)元數(shù)據(jù)的管理，同時(shí)多樣性的類關(guān)系管理支持靈活、規(guī)范的元數(shù)據(jù)項(xiàng)關(guān)聯(lián)關(guān)系。本模塊可連接各種數(shù)據(jù)源和接口，自動(dòng)獲取元數(shù)據(jù)，保證了元數(shù)據(jù)的最新、一致、可用、極大減少人工維護(hù)工作量。元數(shù)據(jù)管理模塊包含如下幾層架構(gòu)：數(shù)據(jù)源層。提供元數(shù)據(jù)的各個(gè)源系統(tǒng)。采集適配器層。通過配置統(tǒng)一的接口配置器，對(duì)各個(gè)源系統(tǒng)進(jìn)行元數(shù)據(jù)采集。元數(shù)據(jù)存儲(chǔ)層。存儲(chǔ)從各個(gè)源系統(tǒng)中采集到的元數(shù)據(jù)。應(yīng)用功能層。元數(shù)據(jù)的應(yīng)用功能，包括元數(shù)據(jù)維護(hù)，元數(shù)據(jù)分析，元數(shù)據(jù)檢索，版本管理，ODS層的快速建立，血緣分析和影響分析等。展現(xiàn)層。為應(yīng)用功能提供統(tǒng)一展現(xiàn)。數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理模塊分為數(shù)據(jù)標(biāo)準(zhǔn)管理和數(shù)據(jù)質(zhì)量分析兩部分。數(shù)據(jù)標(biāo)準(zhǔn)管理：檢核指標(biāo)的配置。配置相關(guān)的技術(shù)和業(yè)務(wù)指標(biāo)對(duì)倉庫中的數(shù)據(jù)進(jìn)行質(zhì)量檢查。檢核指標(biāo)執(zhí)行。解析檢核指標(biāo)的規(guī)則并執(zhí)行。檢核指標(biāo)的調(diào)度。完成對(duì)檢核指標(biāo)的調(diào)度，可設(shè)為定時(shí)觸發(fā)和手工觸發(fā)。數(shù)據(jù)質(zhì)量分析：檢核問題查詢。查詢檢核指標(biāo)執(zhí)行后產(chǎn)生的檢核問題。檢核日志查詢。查詢檢核指標(biāo)執(zhí)行的日志。指標(biāo)趨勢分析。分析檢核指標(biāo)的結(jié)果異常率趨勢。單表數(shù)據(jù)分析。分析單表的檢核結(jié)果異常率。問題處理率分析。分析檢核異常結(jié)果的處理率。數(shù)據(jù)質(zhì)量報(bào)告。根據(jù)數(shù)據(jù)質(zhì)量檢核的結(jié)果生成數(shù)據(jù)質(zhì)量報(bào)告。運(yùn)維監(jiān)控通過監(jiān)控模塊，可以對(duì)包括BI系統(tǒng)在內(nèi)的大型數(shù)據(jù)庫應(yīng)用系統(tǒng)進(jìn)行有效的實(shí)時(shí)監(jiān)控。通過數(shù)據(jù)集中監(jiān)控，可以對(duì)數(shù)據(jù)的整體處理流程進(jìn)行定量把握；將元數(shù)據(jù)管理和數(shù)據(jù)質(zhì)量管理程序化和流程化；用戶可以對(duì)處理過程實(shí)施監(jiān)控，對(duì)于數(shù)據(jù)異常能夠及時(shí)得到告警信息和錯(cuò)誤報(bào)告。本模塊分為四部分內(nèi)容：元數(shù)據(jù)變化監(jiān)控。通過監(jiān)控元數(shù)據(jù)的變化，使得管理維護(hù)人員能及早的發(fā)現(xiàn)源系統(tǒng)的結(jié)構(gòu)變化，從而修改相應(yīng)的ETL程序。定期發(fā)送元數(shù)據(jù)版本變化報(bào)告。數(shù)據(jù)質(zhì)量監(jiān)控。通過監(jiān)控檢核指標(biāo)的運(yùn)行結(jié)果，發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，及早反饋、解決，避免數(shù)據(jù)質(zhì)量問題的擴(kuò)散。定期發(fā)送質(zhì)量檢核報(bào)告。服務(wù)器監(jiān)控。監(jiān)控服務(wù)器的狀態(tài)，包括CPU利用率、IO壓力、內(nèi)存利用率和網(wǎng)絡(luò)壓力。數(shù)據(jù)庫監(jiān)控。監(jiān)控各個(gè)系統(tǒng)的數(shù)據(jù)庫狀態(tài)，包括表空間每日增長情況、表空間統(tǒng)計(jì)信息、表空間使用情況。結(jié)合服務(wù)器監(jiān)控信息定期發(fā)送性能優(yōu)化報(bào)告?？傮w技術(shù)架構(gòu)系統(tǒng)層次：1、源系統(tǒng)層，為運(yùn)維平臺(tái)提供數(shù)據(jù)。2、資料庫，通過JDBC、SQLXML、SDKAPI和文本文件從源系統(tǒng)獲取數(shù)據(jù)，包含了存儲(chǔ)大量數(shù)據(jù)處理邏輯的LBM和存儲(chǔ)過程。3、系統(tǒng)核心層，通過BP/XP調(diào)用資料庫中的LBM和存儲(chǔ)過程，并完成業(yè)務(wù)功能的處理，之后用4種前段技術(shù)進(jìn)行統(tǒng)一展現(xiàn)。4、展示媒介，瀏覽器、郵件、短信平臺(tái)等。關(guān)鍵技術(shù)LBM：通用的邏輯處理功能模塊。KCXP/KCBP：金證通訊中間件和業(yè)務(wù)中間件層，是調(diào)用后臺(tái)業(yè)務(wù)的通道C3P0：檢核任務(wù)調(diào)度器的數(shù)據(jù)庫連接池。KDE：核心處理模塊，由多個(gè)java類組成，并包含與KCXP通訊的JNI的調(diào)用和JNI的連接池。產(chǎn)品配置服務(wù)器環(huán)境

組件要求處理器推薦2CPU，P4以上內(nèi)存最低2G，推薦4G以上磁盤空間300MB操作系統(tǒng)Windows2000/2003/2008HP-UNIXLinuxAIX網(wǎng)絡(luò)連接TCP/IP應(yīng)用服務(wù)器Tomcat3.2.6以上WebSphere6.1應(yīng)用服務(wù)器標(biāo)準(zhǔn)版或企業(yè)版或以上BEAWebLogic9.0或以上關(guān)系數(shù)據(jù)庫服務(wù)器OracleDB2TeradataMicrosoftSQLServerInformixSybaseMySQL客戶