商業(yè)智能（BI）總體架構(gòu)規(guī)劃設計方案商業(yè)智能（BI）總體架構(gòu)規(guī)劃設計方案12主題需要總體架構(gòu)設計嗎BI總體架構(gòu)設計原則BI總體架構(gòu)設計目標BI總體架構(gòu)設計內(nèi)容BI總體架構(gòu)實戰(zhàn)-示例BI總體架構(gòu)-------分類BI總體架構(gòu)-------練習Q&Addd2主題需要總體架構(gòu)設計嗎3某企業(yè)BI總體架構(gòu)現(xiàn)狀核心系統(tǒng)負載過重1、技術(shù)多不統(tǒng)一2、重復處理3、重復存儲4、處理規(guī)則統(tǒng)一5、成本高6、集成難度大1、技術(shù)多不統(tǒng)一2、處理規(guī)則統(tǒng)一3、成本高4、集成難度大無全視角數(shù)據(jù)，數(shù)據(jù)不一致,無單登錄3某企業(yè)BI總體架構(gòu)現(xiàn)狀核心系統(tǒng)負載過重無全視角數(shù)據(jù)，數(shù)據(jù)不4這么多問題如何解決呢？4這么多問題如何解決呢？5BI總體架構(gòu)常用架構(gòu)5BI總體架構(gòu)常用架構(gòu)6總體架構(gòu)設計對企業(yè)的價值管理層IT科技部門技術(shù)的優(yōu)勢價值6總體架構(gòu)設計對企業(yè)的價值管理層IT科技部門技術(shù)的優(yōu)勢價值需要總體架構(gòu)設計嗎BI總體架構(gòu)設計原則BI總體架構(gòu)設計目標BI總體架構(gòu)設計內(nèi)容BI總體架構(gòu)實戰(zhàn)-示例BI總體架構(gòu)-------分類BI總體架構(gòu)-------練習Q&A7主題需要總體架構(gòu)設計嗎7主題8BI總體架構(gòu)設計原則(API+EMS)可擴展性保證系統(tǒng)根據(jù)業(yè)務要求合理配置，穩(wěn)步發(fā)展，從邏輯架構(gòu)、數(shù)據(jù)架構(gòu)、技術(shù)架構(gòu)、物理架構(gòu)等四個方面考慮系統(tǒng)的可擴展性高性能作為企業(yè)級的系統(tǒng)，首先需要具備高性能，以滿足服務基線時間窗口的需求。高可用性架構(gòu)主要通過集群和負載均衡的角度充分考慮系統(tǒng)的健壯性，其它的核心服務模塊可管理性具備高可管理能力，保證系統(tǒng)的生產(chǎn)運行，在出現(xiàn)異常的情況，可以快速定位并恢復。安全性系統(tǒng)穩(wěn)定安全運行?？杉尚员苊庵貜屯度耄ㄎ锢碓O備、系統(tǒng)軟件、框架組件、規(guī)范方法等。8BI總體架構(gòu)設計原則(API+EMS)可擴展性安全性9BI總體架構(gòu)設計原則-高性能高性能設計關(guān)鍵因素：調(diào)度性能保障事件觸發(fā)減少輪詢等待資源通道管理優(yōu)先級設置ETL處理集群數(shù)據(jù)庫性能ETL過程高性能最佳實踐：減少落地數(shù)據(jù)交換、分發(fā)性能保障壓縮傳輸并行控制ETL產(chǎn)品調(diào)優(yōu)ETL作業(yè)調(diào)優(yōu)工具選型（datastage、腳本）開發(fā)流程規(guī)范自動化開發(fā)工具基線時間窗口保障非基線時間窗口劃分9BI總體架構(gòu)設計原則-高性能高性能設計關(guān)鍵因素：ETL過10BI總體架構(gòu)設計原則-可擴展性硬件可擴展調(diào)度交換加工存儲軟件可擴展各模塊耦合設計調(diào)度層：調(diào)度引擎與調(diào)度產(chǎn)品結(jié)合；可以用產(chǎn)品化的組件來取代調(diào)度層交換層：數(shù)據(jù)交換與傳輸工具結(jié)合；可以用其他產(chǎn)品替代加工層：加工處理與ETL產(chǎn)品結(jié)合；可以用其他產(chǎn)品替代10BI總體架構(gòu)設計原則-可擴展性硬件可擴展11BI總體架構(gòu)設計原則-可管理性統(tǒng)一調(diào)度監(jiān)控全服務過程監(jiān)控可視化的管理功能靈活的作業(yè)執(zhí)行過程干預作業(yè)執(zhí)行過程動態(tài)調(diào)整統(tǒng)一日志體系系統(tǒng)運行日志用戶操作日志備份管理日志有效的運行管理辦法流程化運維標準操作方法培訓和文檔系統(tǒng)設計原理日常工作流程問題知識庫11BI總體架構(gòu)設計原則-可管理性統(tǒng)一調(diào)度監(jiān)控12BI總體架構(gòu)設計原則-高可用性硬件配置容錯關(guān)鍵節(jié)點雙機熱備調(diào)度集群交換集群ETL集群應用容錯可干預和重復執(zhí)行提供人工干預的機制和重復執(zhí)行的功能，來保障系統(tǒng)發(fā)生故障時也能夠繼續(xù)穩(wěn)定的運行。作業(yè)封裝實現(xiàn)ETL作業(yè)的ABC功能作業(yè)封裝包含完整的審計（audit）、平衡（balance）和控制（Control）組件，實現(xiàn)ETL作業(yè)的ABC功能，保障系統(tǒng)的穩(wěn)定運行。Reject、Warning機制統(tǒng)一的Reject和Warning機制，對無法處理的數(shù)據(jù)以Reject方式提交出來，對字段賦缺省值等系統(tǒng)自動修改的數(shù)據(jù)以Warning的方式提交出來，保證數(shù)據(jù)在處理過程中有完整的可回朔性。12BI總體架構(gòu)設計原則-高可用性硬件配置容錯13BI總體架構(gòu)設計原則-安全性數(shù)據(jù)傳輸安全性向各目標系統(tǒng)系統(tǒng)進行數(shù)據(jù)分發(fā)前，需向各目標系統(tǒng)進行身份認證，確保數(shù)據(jù)接收對象的合法性。數(shù)據(jù)傳輸過程中，應根據(jù)安全等級要求，對有保密需求的數(shù)據(jù)進行加密傳輸。系統(tǒng)權(quán)限控制提供訪問控制，可參數(shù)化配置多層次安全控制，可按照用戶組定義安全策略。數(shù)據(jù)備份清理機制對于源系統(tǒng)供過來的數(shù)據(jù)設計適合的容錯周期和存儲策略。13BI總體架構(gòu)設計原則-安全性數(shù)據(jù)傳輸安全性14BI總體架構(gòu)設計原則-可集成性調(diào)度監(jiān)控：數(shù)據(jù)架構(gòu)中的集中調(diào)度監(jiān)控中心，提供接入系統(tǒng)的監(jiān)控管理服務。集中交換：集中數(shù)據(jù)交換中心，支持各種交換模式的集成。通過JSI封裝作業(yè)執(zhí)行模塊，提供統(tǒng)一的調(diào)度接口，可以方便擴展更多類型的交換、ETL作業(yè)。傳輸組件、加工組件的復用。自動化開發(fā)工具規(guī)范了文件交換、文件加工作業(yè)的設計、開發(fā)。14BI總體架構(gòu)設計原則-可集成性調(diào)度監(jiān)控：數(shù)據(jù)架構(gòu)中的集中需要總體架構(gòu)設計嗎BI總體架構(gòu)設計原則BI總體架構(gòu)設計目標BI總體架構(gòu)設計內(nèi)容BI總體架構(gòu)實戰(zhàn)-示例BI總體架構(gòu)-------分類BI總體架構(gòu)-------練習Q&A15主題需要總體架構(gòu)設計嗎15主題16BI總體架構(gòu)設計目標(LD-TOP)BI總體架構(gòu)設計目標1、邏輯架構(gòu)：邏輯架構(gòu)確定體現(xiàn)在系統(tǒng)劃分(子系統(tǒng))2、物理架構(gòu)：軟硬件的配置3、數(shù)據(jù)架構(gòu)：數(shù)據(jù)存儲規(guī)劃4、技術(shù)架構(gòu)：系統(tǒng)軟件技術(shù)規(guī)劃，包括軟件工具及技術(shù)體系5、運維架構(gòu)：備份與恢復策略邏輯架構(gòu)技術(shù)架構(gòu)物理架構(gòu)數(shù)據(jù)架構(gòu)運維架構(gòu)1、獨立性2、依賴性盡量小3、數(shù)據(jù)冗余最小4、考慮今后管理發(fā)展需要5、便于系統(tǒng)分階段實現(xiàn)1、穩(wěn)定性高2、可用性高3、性價比要高4、擴展性好1、統(tǒng)一性2、擴展性3、重用性4、成熟度5、可集成1、層次性2、層次界定明確3、層次功能清晰4、模型擴展性5、盡量屏蔽源系統(tǒng)變化影響1、可管理性（簡單、易用）2、可恢復性3、可用性4、高性能16BI總體架構(gòu)設計目標(LD-TOP)BI總體架構(gòu)設計目標需要總體架構(gòu)設計嗎BI總體架構(gòu)設計原則BI總體架構(gòu)設計目標BI總體架構(gòu)設計內(nèi)容邏輯架構(gòu)物理架構(gòu)技術(shù)架構(gòu)數(shù)據(jù)架構(gòu)運維架構(gòu)BI總體架構(gòu)實戰(zhàn)-示例BI總體架構(gòu)-------分類BI總體架構(gòu)-------練習Q&A17主題需要總體架構(gòu)設計嗎17主題18BI總體架構(gòu)-邏輯架構(gòu)18BI總體架構(gòu)-邏輯架構(gòu)19BI總體架構(gòu)-邏輯架構(gòu)-調(diào)度特性19BI總體架構(gòu)-邏輯架構(gòu)-調(diào)度特性20BI總體架構(gòu)-調(diào)度邏輯架構(gòu)(事件驅(qū)動方式)20BI總體架構(gòu)-調(diào)度邏輯架構(gòu)(事件驅(qū)動方式)21BI總體架構(gòu)-調(diào)度策略21BI總體架構(gòu)-調(diào)度策略22BI總體架構(gòu)-調(diào)度策略說明作業(yè)調(diào)度時機外部事件就緒：比如源系統(tǒng)文件到達，源系統(tǒng)庫表就緒。計劃時間到：某個時刻到達。作業(yè)完成：需要其依賴的作業(yè)完成。以上三種事件類型中的邏輯組合（AND或者OR）作業(yè)調(diào)度通道

通道指的是能執(zhí)行ETL作業(yè)的1個節(jié)點或多個節(jié)點的集合。一般通道：大部分作業(yè)將在一般通道運行。專用通道：指運行某一類作業(yè)的通道。比如大作業(yè)，運行在專用通道上，可使其不影響一般作業(yè)的處理。VIP通道：對于結(jié)息，年結(jié)這些特殊場景的處理，運用VIP通道，確保這些作業(yè)得到最優(yōu)的資源進行處理。負載均衡調(diào)度服務器負載均衡ETLServer負載均衡ETLClient負載均衡22BI總體架構(gòu)-調(diào)度策略說明作業(yè)調(diào)度時機23BI總體架構(gòu)-調(diào)度負載均衡23BI總體架構(gòu)-調(diào)度負載均衡24BI總體架構(gòu)-調(diào)度層次24BI總體架構(gòu)-調(diào)度層次25BI總體架構(gòu)-監(jiān)控要點25BI總體架構(gòu)-監(jiān)控要點26BI總體架構(gòu)-監(jiān)控邏輯架構(gòu)26BI總體架構(gòu)-監(jiān)控邏輯架構(gòu)27BI總體架構(gòu)-ETL邏輯架構(gòu)數(shù)據(jù)應用層加工子系統(tǒng)數(shù)據(jù)交換子系統(tǒng)數(shù)據(jù)交換子系統(tǒng)監(jiān)控管理子系統(tǒng)調(diào)度子系統(tǒng)FTP數(shù)據(jù)庫直抽代理采集增量比對數(shù)據(jù)標準化篩選FTP代理分發(fā)檢查格式合并全量入庫關(guān)聯(lián)匯總篩選關(guān)聯(lián)匯總篩選拆分數(shù)據(jù)源系統(tǒng)核心系統(tǒng)信貸管理系統(tǒng)零售信貸系統(tǒng)其它其它數(shù)據(jù)倉庫風險監(jiān)測系統(tǒng)對公信貸系統(tǒng)數(shù)據(jù)應用系統(tǒng)ETL1ETL2ETL3加工子系統(tǒng)中間匯總層基礎數(shù)據(jù)層數(shù)據(jù)緩沖層配置管理子系統(tǒng)元數(shù)據(jù)子系統(tǒng)27BI總體架構(gòu)-ETL邏輯架構(gòu)數(shù)據(jù)應用層加工子系統(tǒng)監(jiān)控管理28BI總體架構(gòu)-數(shù)據(jù)質(zhì)量要素影響數(shù)據(jù)質(zhì)量的因素:完整性唯一性一致性準確性合法性及時性安全性擴展性

28BI總體架構(gòu)-數(shù)據(jù)質(zhì)量要素影響數(shù)據(jù)質(zhì)量的因素:29BI總體架構(gòu)-數(shù)據(jù)質(zhì)量邏輯架構(gòu)29BI總體架構(gòu)-數(shù)據(jù)質(zhì)量邏輯架構(gòu)數(shù)據(jù)質(zhì)量示例數(shù)據(jù)質(zhì)量管理體系描述：數(shù)據(jù)系統(tǒng)定義ODS關(guān)聯(lián)的源系統(tǒng)以及目標系統(tǒng)，提供用戶一個完整的系統(tǒng)視圖描述：數(shù)據(jù)接口定義與源系統(tǒng)或目標系統(tǒng)相關(guān)的數(shù)據(jù)文件或數(shù)據(jù)表，最終提供一個完整的系統(tǒng)數(shù)據(jù)接口視圖描述：應用數(shù)據(jù)線定義用戶關(guān)注的數(shù)據(jù)應用實例，是全行數(shù)據(jù)線的子集，提供用戶一個小角度的數(shù)據(jù)視圖描述：質(zhì)量指標定義全行的稽核指標點，通過指標點可以計算數(shù)據(jù)線指標值和全行指標值描述：提供全行指標的查詢功能描述：通過預先定義的應用數(shù)據(jù)線，以圖形的方式展現(xiàn)應用數(shù)據(jù)線的指標描述：通過預先定義的應用數(shù)據(jù)線，以圖形的方式展現(xiàn)應用數(shù)據(jù)線的指標－演示了源系統(tǒng)的信息查看描述：通過預先定義的應用數(shù)據(jù)線，以圖形的方式展現(xiàn)應用數(shù)據(jù)線的指標－演示了及時性指標值的細節(jié)描述：通過預先定義的應用數(shù)據(jù)線，以圖形的方式展現(xiàn)應用數(shù)據(jù)線的指標－演示了完整性指標的細節(jié)查詢描述：定義了業(yè)務或技術(shù)人員需要監(jiān)控的指標值，及時提醒用戶告警對象以及及時解決數(shù)據(jù)質(zhì)量問題描述：分析全行的指標趨勢，反映數(shù)據(jù)質(zhì)量的時間變化描述：數(shù)據(jù)監(jiān)控人員發(fā)現(xiàn)指標異常，填寫問題發(fā)現(xiàn)單質(zhì)量檢查小組審核問題發(fā)現(xiàn)單，派發(fā)給解決人員處理描述：質(zhì)量解決人員接到問題單，查找原因并解決問題，最后提交給質(zhì)量檢查小組描述：質(zhì)量檢查小組跟蹤問題解決流程，最終形成問題報告，提供用戶查詢及輸出描述：定義質(zhì)量管理人員考核標準，通過合理的人員考核提高數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量示例數(shù)據(jù)質(zhì)量管理體系描述：數(shù)據(jù)系統(tǒng)定義ODS關(guān)聯(lián)的源31BI總體架構(gòu)-數(shù)據(jù)質(zhì)量(點、線、面)ICSODSDWECIFICSODSDWECIF一致性準確性安全性擴展性完整性及時性合法性唯一性單點系統(tǒng)應用數(shù)據(jù)線企業(yè)層面31BI總體架構(gòu)-數(shù)據(jù)質(zhì)量(點、線、面)ICSODSDWEC32BI總體架構(gòu)-元數(shù)據(jù)邏輯架構(gòu)32BI總體架構(gòu)-元數(shù)據(jù)邏輯架構(gòu)33BI總體架構(gòu)-物理架構(gòu)33BI總體架構(gòu)-物理架構(gòu)34BI總體架構(gòu)-技術(shù)架構(gòu)(層次)34BI總體架構(gòu)-技術(shù)架構(gòu)(層次)35BI總體架構(gòu)-技術(shù)架構(gòu)(拓展)35BI總體架構(gòu)-技術(shù)架構(gòu)(拓展)36BI總體架構(gòu)-數(shù)據(jù)架構(gòu)(層次)第一層結(jié)構(gòu)幾乎和源系統(tǒng)一致部分數(shù)據(jù)保持全量少量數(shù)據(jù)保持少量歷史第二層面向整合主題設計提供規(guī)范和共享第四層面向應用按需定制第三層初級的數(shù)據(jù)加工明細VS匯總依賴對應用的提煉36BI總體架構(gòu)-數(shù)據(jù)架構(gòu)(層次)第一層第二層第四層第三層37BI總體架構(gòu)-運維架構(gòu)設備容量規(guī)劃性能工藝優(yōu)化日常運維管理服務基線管理運維架構(gòu)程序優(yōu)化作業(yè)配置優(yōu)化任務依賴優(yōu)化實施工藝流程優(yōu)化數(shù)據(jù)源來數(shù)基線時間數(shù)據(jù)處理結(jié)束時間數(shù)據(jù)傳輸結(jié)束時間供數(shù)基線時間目標系統(tǒng)要求數(shù)據(jù)時間對外服務時間定期系統(tǒng)運行情況報告系統(tǒng)規(guī)劃容量規(guī)劃性能規(guī)劃系統(tǒng)維護系統(tǒng)配置參數(shù)管理正常啟停機檢查清理過期數(shù)據(jù)故障干預備份恢復管理定期維護管理報告系統(tǒng)運行情況監(jiān)控性能監(jiān)控服務狀態(tài)監(jiān)控作業(yè)執(zhí)行情況監(jiān)控源數(shù)據(jù)到達情況監(jiān)控供數(shù)情況監(jiān)控37BI總體架構(gòu)-運維架構(gòu)設備容量規(guī)劃性能工藝優(yōu)化日常運維管需要總體架構(gòu)設計嗎BI總體架構(gòu)設計原則BI總體架構(gòu)設計目標BI總體架構(gòu)設計內(nèi)容BI總體架構(gòu)實戰(zhàn)-示例建總行ODS邏輯架構(gòu)建總行ODS物理架構(gòu)興業(yè)EDIP邏輯架構(gòu)興業(yè)EDIP物理架構(gòu)中信ODS邏輯架構(gòu)中信ODS物理架構(gòu)BI總體架構(gòu)-------分類BI總體架構(gòu)-------練習Q&A38主題需要總體架構(gòu)設計嗎38主題39建總行ODS-邏輯架構(gòu)39建總行ODS-邏輯架構(gòu)40建總行ODS-物理架構(gòu)40建總行ODS-物理架構(gòu)41興業(yè)EDIP-邏輯架構(gòu)41興業(yè)EDIP-邏輯架構(gòu)42興業(yè)EDIP-物理架構(gòu)42興業(yè)EDIP-物理架構(gòu)43中信銀行ODS-邏輯架構(gòu)43中信銀行ODS-邏輯架構(gòu)44中信銀行ODS-物理架構(gòu)44中信銀行ODS-物理架構(gòu)需要總體架構(gòu)設計嗎BI總體架構(gòu)設計原則BI總體架構(gòu)設計目標BI總體架構(gòu)設計內(nèi)容BI總體架構(gòu)實戰(zhàn)-示例BI總體架構(gòu)-------分類BI總體架構(gòu)-------練習Q&A45主題需要總體架構(gòu)設計嗎45主題46BI總體架構(gòu)-分類BI架構(gòu)數(shù)據(jù)交換類數(shù)據(jù)整合類應用集市類ODSEDIPEDWODSECIFCRM風險報表平臺.....46BI總體架構(gòu)-分類BI架構(gòu)數(shù)據(jù)交換類數(shù)據(jù)整合類應用集市類需要總體架構(gòu)設計嗎BI總體架構(gòu)設計原則BI總體架構(gòu)設計目標BI總體架構(gòu)設計內(nèi)容BI總體架構(gòu)實戰(zhàn)-示例BI總體架構(gòu)-------分類BI總體架構(gòu)-------練習Q&A47主題需要總體架構(gòu)設計嗎47主題謝謝你的觀看謝謝你的觀看48商業(yè)智能（BI）總體架構(gòu)規(guī)劃設計方案商業(yè)智能（BI）總體架構(gòu)規(guī)劃設計方案4950主題需要總體架構(gòu)設計嗎BI總體架構(gòu)設計原則BI總體架構(gòu)設計目標BI總體架構(gòu)設計內(nèi)容BI總體架構(gòu)實戰(zhàn)-示例BI總體架構(gòu)-------分類BI總體架構(gòu)-------練習Q&Addd2主題需要總體架構(gòu)設計嗎51某企業(yè)BI總體架構(gòu)現(xiàn)狀核心系統(tǒng)負載過重1、技術(shù)多不統(tǒng)一2、重復處理3、重復存儲4、處理規(guī)則統(tǒng)一5、成本高6、集成難度大1、技術(shù)多不統(tǒng)一2、處理規(guī)則統(tǒng)一3、成本高4、集成難度大無全視角數(shù)據(jù)，數(shù)據(jù)不一致,無單登錄3某企業(yè)BI總體架構(gòu)現(xiàn)狀核心系統(tǒng)負載過重無全視角數(shù)據(jù)，數(shù)據(jù)不52這么多問題如何解決呢？4這么多問題如何解決呢？53BI總體架構(gòu)常用架構(gòu)5BI總體架構(gòu)常用架構(gòu)54總體架構(gòu)設計對企業(yè)的價值管理層IT科技部門技術(shù)的優(yōu)勢價值6總體架構(gòu)設計對企業(yè)的價值管理層IT科技部門技術(shù)的優(yōu)勢價值需要總體架構(gòu)設計嗎BI總體架構(gòu)設計原則BI總體架構(gòu)設計目標BI總體架構(gòu)設計內(nèi)容BI總體架構(gòu)實戰(zhàn)-示例BI總體架構(gòu)-------分類BI總體架構(gòu)-------練習Q&A55主題需要總體架構(gòu)設計嗎7主題56BI總體架構(gòu)設計原則(API+EMS)可擴展性保證系統(tǒng)根據(jù)業(yè)務要求合理配置，穩(wěn)步發(fā)展，從邏輯架構(gòu)、數(shù)據(jù)架構(gòu)、技術(shù)架構(gòu)、物理架構(gòu)等四個方面考慮系統(tǒng)的可擴展性高性能作為企業(yè)級的系統(tǒng)，首先需要具備高性能，以滿足服務基線時間窗口的需求。高可用性架構(gòu)主要通過集群和負載均衡的角度充分考慮系統(tǒng)的健壯性，其它的核心服務模塊可管理性具備高可管理能力，保證系統(tǒng)的生產(chǎn)運行，在出現(xiàn)異常的情況，可以快速定位并恢復。安全性系統(tǒng)穩(wěn)定安全運行?？杉尚员苊庵貜屯度?，包括物理設備、系統(tǒng)軟件、框架組件、規(guī)范方法等。8BI總體架構(gòu)設計原則(API+EMS)可擴展性安全性57BI總體架構(gòu)設計原則-高性能高性能設計關(guān)鍵因素：調(diào)度性能保障事件觸發(fā)減少輪詢等待資源通道管理優(yōu)先級設置ETL處理集群數(shù)據(jù)庫性能ETL過程高性能最佳實踐：減少落地數(shù)據(jù)交換、分發(fā)性能保障壓縮傳輸并行控制ETL產(chǎn)品調(diào)優(yōu)ETL作業(yè)調(diào)優(yōu)工具選型（datastage、腳本）開發(fā)流程規(guī)范自動化開發(fā)工具基線時間窗口保障非基線時間窗口劃分9BI總體架構(gòu)設計原則-高性能高性能設計關(guān)鍵因素：ETL過58BI總體架構(gòu)設計原則-可擴展性硬件可擴展調(diào)度交換加工存儲軟件可擴展各模塊耦合設計調(diào)度層：調(diào)度引擎與調(diào)度產(chǎn)品結(jié)合；可以用產(chǎn)品化的組件來取代調(diào)度層交換層：數(shù)據(jù)交換與傳輸工具結(jié)合；可以用其他產(chǎn)品替代加工層：加工處理與ETL產(chǎn)品結(jié)合；可以用其他產(chǎn)品替代10BI總體架構(gòu)設計原則-可擴展性硬件可擴展59BI總體架構(gòu)設計原則-可管理性統(tǒng)一調(diào)度監(jiān)控全服務過程監(jiān)控可視化的管理功能靈活的作業(yè)執(zhí)行過程干預作業(yè)執(zhí)行過程動態(tài)調(diào)整統(tǒng)一日志體系系統(tǒng)運行日志用戶操作日志備份管理日志有效的運行管理辦法流程化運維標準操作方法培訓和文檔系統(tǒng)設計原理日常工作流程問題知識庫11BI總體架構(gòu)設計原則-可管理性統(tǒng)一調(diào)度監(jiān)控60BI總體架構(gòu)設計原則-高可用性硬件配置容錯關(guān)鍵節(jié)點雙機熱備調(diào)度集群交換集群ETL集群應用容錯可干預和重復執(zhí)行提供人工干預的機制和重復執(zhí)行的功能，來保障系統(tǒng)發(fā)生故障時也能夠繼續(xù)穩(wěn)定的運行。作業(yè)封裝實現(xiàn)ETL作業(yè)的ABC功能作業(yè)封裝包含完整的審計（audit）、平衡（balance）和控制（Control）組件，實現(xiàn)ETL作業(yè)的ABC功能，保障系統(tǒng)的穩(wěn)定運行。Reject、Warning機制統(tǒng)一的Reject和Warning機制，對無法處理的數(shù)據(jù)以Reject方式提交出來，對字段賦缺省值等系統(tǒng)自動修改的數(shù)據(jù)以Warning的方式提交出來，保證數(shù)據(jù)在處理過程中有完整的可回朔性。12BI總體架構(gòu)設計原則-高可用性硬件配置容錯61BI總體架構(gòu)設計原則-安全性數(shù)據(jù)傳輸安全性向各目標系統(tǒng)系統(tǒng)進行數(shù)據(jù)分發(fā)前，需向各目標系統(tǒng)進行身份認證，確保數(shù)據(jù)接收對象的合法性。數(shù)據(jù)傳輸過程中，應根據(jù)安全等級要求，對有保密需求的數(shù)據(jù)進行加密傳輸。系統(tǒng)權(quán)限控制提供訪問控制，可參數(shù)化配置多層次安全控制，可按照用戶組定義安全策略。數(shù)據(jù)備份清理機制對于源系統(tǒng)供過來的數(shù)據(jù)設計適合的容錯周期和存儲策略。13BI總體架構(gòu)設計原則-安全性數(shù)據(jù)傳輸安全性62BI總體架構(gòu)設計原則-可集成性調(diào)度監(jiān)控：數(shù)據(jù)架構(gòu)中的集中調(diào)度監(jiān)控中心，提供接入系統(tǒng)的監(jiān)控管理服務。集中交換：集中數(shù)據(jù)交換中心，支持各種交換模式的集成。通過JSI封裝作業(yè)執(zhí)行模塊，提供統(tǒng)一的調(diào)度接口，可以方便擴展更多類型的交換、ETL作業(yè)。傳輸組件、加工組件的復用。自動化開發(fā)工具規(guī)范了文件交換、文件加工作業(yè)的設計、開發(fā)。14BI總體架構(gòu)設計原則-可集成性調(diào)度監(jiān)控：數(shù)據(jù)架構(gòu)中的集中需要總體架構(gòu)設計嗎BI總體架構(gòu)設計原則BI總體架構(gòu)設計目標BI總體架構(gòu)設計內(nèi)容BI總體架構(gòu)實戰(zhàn)-示例BI總體架構(gòu)-------分類BI總體架構(gòu)-------練習Q&A63主題需要總體架構(gòu)設計嗎15主題64BI總體架構(gòu)設計目標(LD-TOP)BI總體架構(gòu)設計目標1、邏輯架構(gòu)：邏輯架構(gòu)確定體現(xiàn)在系統(tǒng)劃分(子系統(tǒng))2、物理架構(gòu)：軟硬件的配置3、數(shù)據(jù)架構(gòu)：數(shù)據(jù)存儲規(guī)劃4、技術(shù)架構(gòu)：系統(tǒng)軟件技術(shù)規(guī)劃，包括軟件工具及技術(shù)體系5、運維架構(gòu)：備份與恢復策略邏輯架構(gòu)技術(shù)架構(gòu)物理架構(gòu)數(shù)據(jù)架構(gòu)運維架構(gòu)1、獨立性2、依賴性盡量小3、數(shù)據(jù)冗余最小4、考慮今后管理發(fā)展需要5、便于系統(tǒng)分階段實現(xiàn)1、穩(wěn)定性高2、可用性高3、性價比要高4、擴展性好1、統(tǒng)一性2、擴展性3、重用性4、成熟度5、可集成1、層次性2、層次界定明確3、層次功能清晰4、模型擴展性5、盡量屏蔽源系統(tǒng)變化影響1、可管理性（簡單、易用）2、可恢復性3、可用性4、高性能16BI總體架構(gòu)設計目標(LD-TOP)BI總體架構(gòu)設計目標需要總體架構(gòu)設計嗎BI總體架構(gòu)設計原則BI總體架構(gòu)設計目標BI總體架構(gòu)設計內(nèi)容邏輯架構(gòu)物理架構(gòu)技術(shù)架構(gòu)數(shù)據(jù)架構(gòu)運維架構(gòu)BI總體架構(gòu)實戰(zhàn)-示例BI總體架構(gòu)-------分類BI總體架構(gòu)-------練習Q&A65主題需要總體架構(gòu)設計嗎17主題66BI總體架構(gòu)-邏輯架構(gòu)18BI總體架構(gòu)-邏輯架構(gòu)67BI總體架構(gòu)-邏輯架構(gòu)-調(diào)度特性19BI總體架構(gòu)-邏輯架構(gòu)-調(diào)度特性68BI總體架構(gòu)-調(diào)度邏輯架構(gòu)(事件驅(qū)動方式)20BI總體架構(gòu)-調(diào)度邏輯架構(gòu)(事件驅(qū)動方式)69BI總體架構(gòu)-調(diào)度策略21BI總體架構(gòu)-調(diào)度策略70BI總體架構(gòu)-調(diào)度策略說明作業(yè)調(diào)度時機外部事件就緒：比如源系統(tǒng)文件到達，源系統(tǒng)庫表就緒。計劃時間到：某個時刻到達。作業(yè)完成：需要其依賴的作業(yè)完成。以上三種事件類型中的邏輯組合（AND或者OR）作業(yè)調(diào)度通道

通道指的是能執(zhí)行ETL作業(yè)的1個節(jié)點或多個節(jié)點的集合。一般通道：大部分作業(yè)將在一般通道運行。專用通道：指運行某一類作業(yè)的通道。比如大作業(yè)，運行在專用通道上，可使其不影響一般作業(yè)的處理。VIP通道：對于結(jié)息，年結(jié)這些特殊場景的處理，運用VIP通道，確保這些作業(yè)得到最優(yōu)的資源進行處理。負載均衡調(diào)度服務器負載均衡ETLServer負載均衡ETLClient負載均衡22BI總體架構(gòu)-調(diào)度策略說明作業(yè)調(diào)度時機71BI總體架構(gòu)-調(diào)度負載均衡23BI總體架構(gòu)-調(diào)度負載均衡72BI總體架構(gòu)-調(diào)度層次24BI總體架構(gòu)-調(diào)度層次73BI總體架構(gòu)-監(jiān)控要點25BI總體架構(gòu)-監(jiān)控要點74BI總體架構(gòu)-監(jiān)控邏輯架構(gòu)26BI總體架構(gòu)-監(jiān)控邏輯架構(gòu)75BI總體架構(gòu)-ETL邏輯架構(gòu)數(shù)據(jù)應用層加工子系統(tǒng)數(shù)據(jù)交換子系統(tǒng)數(shù)據(jù)交換子系統(tǒng)監(jiān)控管理子系統(tǒng)調(diào)度子系統(tǒng)FTP數(shù)據(jù)庫直抽代理采集增量比對數(shù)據(jù)標準化篩選FTP代理分發(fā)檢查格式合并全量入庫關(guān)聯(lián)匯總篩選關(guān)聯(lián)匯總篩選拆分數(shù)據(jù)源系統(tǒng)核心系統(tǒng)信貸管理系統(tǒng)零售信貸系統(tǒng)其它其它數(shù)據(jù)倉庫風險監(jiān)測系統(tǒng)對公信貸系統(tǒng)數(shù)據(jù)應用系統(tǒng)ETL1ETL2ETL3加工子系統(tǒng)中間匯總層基礎數(shù)據(jù)層數(shù)據(jù)緩沖層配置管理子系統(tǒng)元數(shù)據(jù)子系統(tǒng)27BI總體架構(gòu)-ETL邏輯架構(gòu)數(shù)據(jù)應用層加工子系統(tǒng)監(jiān)控管理76BI總體架構(gòu)-數(shù)據(jù)質(zhì)量要素影響數(shù)據(jù)質(zhì)量的因素:完整性唯一性一致性準確性合法性及時性安全性擴展性

28BI總體架構(gòu)-數(shù)據(jù)質(zhì)量要素影響數(shù)據(jù)質(zhì)量的因素:77BI總體架構(gòu)-數(shù)據(jù)質(zhì)量邏輯架構(gòu)29BI總體架構(gòu)-數(shù)據(jù)質(zhì)量邏輯架構(gòu)數(shù)據(jù)質(zhì)量示例數(shù)據(jù)質(zhì)量管理體系描述：數(shù)據(jù)系統(tǒng)定義ODS關(guān)聯(lián)的源系統(tǒng)以及目標系統(tǒng)，提供用戶一個完整的系統(tǒng)視圖描述：數(shù)據(jù)接口定義與源系統(tǒng)或目標系統(tǒng)相關(guān)的數(shù)據(jù)文件或數(shù)據(jù)表，最終提供一個完整的系統(tǒng)數(shù)據(jù)接口視圖描述：應用數(shù)據(jù)線定義用戶關(guān)注的數(shù)據(jù)應用實例，是全行數(shù)據(jù)線的子集，提供用戶一個小角度的數(shù)據(jù)視圖描述：質(zhì)量指標定義全行的稽核指標點，通過指標點可以計算數(shù)據(jù)線指標值和全行指標值描述：提供全行指標的查詢功能描述：通過預先定義的應用數(shù)據(jù)線，以圖形的方式展現(xiàn)應用數(shù)據(jù)線的指標描述：通過預先定義的應用數(shù)據(jù)線，以圖形的方式展現(xiàn)應用數(shù)據(jù)線的指標－演示了源系統(tǒng)的信息查看描述：通過預先定義的應用數(shù)據(jù)線，以圖形的方式展現(xiàn)應用數(shù)據(jù)線的指標－演示了及時性指標值的細節(jié)描述：通過預先定義的應用數(shù)據(jù)線，以圖形的方式展現(xiàn)應用數(shù)據(jù)線的指標－演示了完整性指標的細節(jié)查詢描述：定義了業(yè)務或技術(shù)人員需要監(jiān)控的指標值，及時提醒用戶告警對象以及及時解決數(shù)據(jù)質(zhì)量問題描述：分析全行的指標趨勢，反映數(shù)據(jù)質(zhì)量的時間變化描述：數(shù)據(jù)監(jiān)控人員發(fā)現(xiàn)指標異常，填寫問題發(fā)現(xiàn)單質(zhì)量檢查小組審核問題發(fā)現(xiàn)單，派發(fā)給解決人員處理描述：質(zhì)量解決人員接到問題單，查找原因并解決問題，最后提交給質(zhì)量檢查小組描述：質(zhì)量檢查小組跟蹤問題解決流程，最終形成問題報告，提供用戶查詢及輸出描述：定義質(zhì)量管理人員考核標準，通過合理的人員考核提高數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量示例數(shù)據(jù)質(zhì)量管理體系描述：數(shù)據(jù)系統(tǒng)定義ODS關(guān)聯(lián)的源79BI總體架構(gòu)-數(shù)據(jù)質(zhì)量(點、線、面)ICSODSDWECIFICSODSDWECIF一致性準確性安全性擴展性完整性及時性合法性唯一性單點系統(tǒng)應用數(shù)據(jù)線企業(yè)層面31BI總體架構(gòu)-數(shù)據(jù)質(zhì)量(點、線、面)ICSODSDWEC80BI總體架構(gòu)-元數(shù)據(jù)邏輯架構(gòu)32BI總體架構(gòu)-元數(shù)據(jù)邏輯架構(gòu)81BI總體架構(gòu)-物理架構(gòu)33BI總體架構(gòu)-物理架構(gòu)82BI總體架構(gòu)-技術(shù)架構(gòu)(層次)34BI總體架構(gòu)-技術(shù)架構(gòu)(層次)83BI總體架構(gòu)-技術(shù)架構(gòu)(拓展)35BI總體架構(gòu)-技術(shù)架構(gòu)(拓展)8