數(shù)據(jù)庫倉庫和BI企業(yè)級技術(shù)_第1頁
數(shù)據(jù)庫倉庫和BI企業(yè)級技術(shù)_第2頁
數(shù)據(jù)庫倉庫和BI企業(yè)級技術(shù)_第3頁
數(shù)據(jù)庫倉庫和BI企業(yè)級技術(shù)_第4頁
數(shù)據(jù)庫倉庫和BI企業(yè)級技術(shù)_第5頁
已閱讀5頁,還剩107頁未讀, 繼續(xù)免費閱讀

付費下載

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

為什么選擇數(shù)據(jù)倉庫隨著信息化建設(shè)的不斷推進,產(chǎn)生了大量的數(shù)據(jù)。必須合理科學的應(yīng)用這些數(shù)據(jù),為業(yè)務(wù)決策提供強有力的數(shù)據(jù)支持。簡單的報表應(yīng)用已經(jīng)無法滿足需求,因此需要使用更強大數(shù)據(jù)倉庫及其相關(guān)應(yīng)用。平臺作為財政數(shù)據(jù)平臺有著標準化的存儲結(jié)構(gòu)和全面多樣的業(yè)務(wù)數(shù)據(jù),可以作為財政數(shù)據(jù)倉庫的可靠數(shù)據(jù)來源。數(shù)據(jù)倉庫數(shù)據(jù)倉庫、商業(yè)智能(BI)的概念數(shù)據(jù)倉庫、商業(yè)智能(BI)的體系結(jié)構(gòu)主流數(shù)據(jù)倉庫產(chǎn)品對比分析實例介紹數(shù)據(jù)倉庫概念歷史

數(shù)據(jù)倉庫概念始于上世紀80年代中期,首次出現(xiàn)是在被譽為“數(shù)據(jù)倉庫之父”WilliamH.Inmon的《建立數(shù)據(jù)倉庫》一書中。定義

數(shù)據(jù)倉庫是在管理和決策中面向主題的、集成的、隨時間變化的、相對穩(wěn)定的數(shù)據(jù)集合按技術(shù)劃分抽取、存儲與管理、數(shù)據(jù)的表現(xiàn)決策支持系統(tǒng)(DSS,DecisionSupportSystem)準確、安全、可靠地取出數(shù)據(jù),經(jīng)過加工轉(zhuǎn)換成有規(guī)律信息之后,再供管理人員進行分析使用。商業(yè)智能的概念(BI)

商業(yè)智能的核心內(nèi)容是從業(yè)務(wù)處理系統(tǒng)的數(shù)據(jù)中,提取出有用的數(shù)據(jù),進行清理以保證數(shù)據(jù)的正確性,然后經(jīng)過抽?。‥xtraction)、轉(zhuǎn)換(Transformation)和裝載(Load),即ETL

過程,整合到一個企業(yè)級的數(shù)據(jù)倉庫里,從而得到企業(yè)信息的一個全局視圖,在此基礎(chǔ)上利用合適的查詢和分析工具、數(shù)據(jù)挖掘工具等對數(shù)據(jù)倉庫里的數(shù)據(jù)進行分析和處理,形成信息,甚至進一步把信息提煉出輔助決策的知識,最后把知識呈現(xiàn)給管理者,為管理者的決策過程提供支持。商業(yè)智能的概念(BI)傳統(tǒng)的決策模式商業(yè)智能環(huán)境下的決策流程數(shù)據(jù)倉庫與商業(yè)智能關(guān)系數(shù)據(jù)倉庫是商業(yè)智能的基礎(chǔ)。數(shù)據(jù)倉庫

數(shù)據(jù)倉庫從概念上更多地側(cè)重在對各類信息的整合工作,包括了數(shù)據(jù)的遷移,數(shù)據(jù)的組織和存儲,數(shù)據(jù)的管理與維護這些我們平常稱之為后臺的基礎(chǔ)性的數(shù)據(jù)準備工作。商業(yè)智能商業(yè)智能則側(cè)重在數(shù)據(jù)查詢和報告、多維/聯(lián)機數(shù)據(jù)分析、數(shù)據(jù)挖掘和數(shù)據(jù)可視化工具這些平常稱之為所謂前臺的數(shù)據(jù)應(yīng)用方面,其中數(shù)據(jù)挖掘是商業(yè)智能中比較高層次的一種應(yīng)用。數(shù)據(jù)倉庫數(shù)據(jù)倉庫、商業(yè)智能(BI)的概念數(shù)據(jù)倉庫、商業(yè)智能(BI)的體系結(jié)構(gòu)主流數(shù)據(jù)倉庫產(chǎn)品對比分析實例介紹數(shù)據(jù)據(jù)倉倉庫庫、、商商業(yè)業(yè)智智能能的的體體系系結(jié)結(jié)構(gòu)構(gòu)數(shù)據(jù)據(jù)源源ETL數(shù)據(jù)據(jù)倉倉庫庫數(shù)據(jù)據(jù)集集市市元數(shù)數(shù)據(jù)據(jù)OLAP1.數(shù)數(shù)據(jù)據(jù)源源平臺臺數(shù)數(shù)據(jù)據(jù)庫庫外部部數(shù)數(shù)據(jù)據(jù)((格格式式::txt、、excel、、dbf等等文文件件格格式式)其它它數(shù)數(shù)據(jù)據(jù)庫庫2、、ETLE:Extract從源源數(shù)數(shù)據(jù)據(jù)抽抽取取數(shù)數(shù)據(jù)據(jù)T:Transform把抽抽取取的的數(shù)數(shù)據(jù)據(jù)進進行行轉(zhuǎn)轉(zhuǎn)換換L:Load把轉(zhuǎn)轉(zhuǎn)換換好好的的數(shù)數(shù)據(jù)據(jù)裝裝載載到到數(shù)數(shù)據(jù)據(jù)倉倉庫庫中中。。3、、數(shù)據(jù)據(jù)倉倉庫庫數(shù)據(jù)據(jù)倉倉庫庫的的一一個個目目的的就就是是把把企企業(yè)業(yè)的的信信息息訪訪問問基基礎(chǔ)礎(chǔ)從從一一種種非非結(jié)結(jié)構(gòu)構(gòu)化化的的改改變變成成一一種種結(jié)結(jié)構(gòu)構(gòu)化化、、發(fā)發(fā)展展中中的的環(huán)環(huán)境境改改變變成成規(guī)規(guī)劃劃良良好好的的環(huán)環(huán)境境。。業(yè)務(wù)務(wù)處處理理系系統(tǒng)統(tǒng)是是面面向向應(yīng)應(yīng)用用來來設(shè)設(shè)計計的的,,更更準準確確地地說說是是面面向向交交易易來來設(shè)設(shè)計計。。而而數(shù)數(shù)據(jù)據(jù)倉倉庫庫一一般般來來說說是是按按主主題題(Subject)來建建模模,是面向查查詢主題題的。3.數(shù)據(jù)倉庫庫數(shù)據(jù)倉庫庫的關(guān)鍵鍵特征星型模式式粒度分割3.數(shù)據(jù)倉庫庫--關(guān)鍵特征征面向主題題的(subject-oriented)集成的((integrated)時變的((time-variant)非易失的的(nonvolatile)數(shù)據(jù)倉庫庫是一種種語義上上一致的的數(shù)據(jù)存存儲,它充充當決策策支持數(shù)數(shù)據(jù)模型型的物理理實現(xiàn),,并存放放業(yè)務(wù)決決策所需需信息。。數(shù)據(jù)倉倉庫通過過將異種種數(shù)據(jù)源源中的數(shù)數(shù)據(jù)集成成在一起起而構(gòu)造造,支持持結(jié)構(gòu)化化的和專專門的查查詢、分分析報告告和決策策。3.數(shù)據(jù)倉庫庫--星型模式式3.數(shù)據(jù)倉庫庫--星型模式式3.數(shù)據(jù)倉庫庫--粒度粒度是對數(shù)據(jù)倉倉庫中的的數(shù)據(jù)的的匯總程程度高低低的一個個度量,,(按省省級匯總總或按市市級匯總總就是不不同的粒粒度)它它既影響響數(shù)據(jù)倉倉庫中的的數(shù)據(jù)量量的多少少,也影影響數(shù)據(jù)據(jù)倉庫所所能回答答詢問信信息的種種類。在在數(shù)據(jù)倉倉庫中,,多維粒粒度是必必不可少少的。由由于數(shù)據(jù)據(jù)倉庫的的主要作作用是多多維分析析,因而而絕大多多數(shù)查詢詢都基于于一定程程度的匯匯總數(shù)據(jù)據(jù)之上的的,只有有極少數(shù)數(shù)查詢涉涉及到細細節(jié)。分割分割,目目的在于于提高效效率。它它是將數(shù)數(shù)據(jù)分散散到各自自的物理理單元中中去,以便能分分別獨立立處理,,以實現(xiàn)現(xiàn)查詢操操作的并并行。有有許多數(shù)數(shù)據(jù)分割割的標準準可供參參考:如時間、、地域、、業(yè)務(wù)領(lǐng)領(lǐng)域等等等,也可以是是其組合合。一般般而言,分割標準準總應(yīng)包包括一些些能讓它它十分自自然而且且分割均均勻的項項目,例例如時間間項。4、數(shù)據(jù)集市市數(shù)據(jù)集市市分兩種種,獨立立的數(shù)據(jù)據(jù)集市((IndependentDataMart)和從屬屬的數(shù)據(jù)據(jù)集市((DependentDataMart)。兩種數(shù)據(jù)據(jù)集市對對比對比優(yōu)點缺點從屬數(shù)據(jù)集市保證數(shù)據(jù)一致性;架構(gòu)比較理想,可擴展能力強依賴與中心數(shù)據(jù)倉庫的實施;實施周期長;實施成本高;獨立數(shù)據(jù)集市實施周期短;實施成本低;沒有消除信息分割;可擴展能力弱;后期整合困難。財政領(lǐng)域域應(yīng)用在在平臺實實施的基基礎(chǔ)上以以從屬數(shù)數(shù)據(jù)集市市為主。。5.元數(shù)據(jù)(Meta-data)定義:“關(guān)于數(shù)數(shù)據(jù)的數(shù)數(shù)據(jù)”,,是描述述和管理理數(shù)據(jù)倉倉庫自身身內(nèi)容對對象、用用來表示示數(shù)據(jù)項項的意義義及其在在系統(tǒng)各各組成部部件之間間的關(guān)系系的數(shù)據(jù)據(jù)。數(shù)據(jù)倉庫庫的元數(shù)數(shù)據(jù)包括括:(1)數(shù)據(jù)資資源:包包括各個個數(shù)據(jù)源源的模型型,描述述源數(shù)據(jù)據(jù)表字段段屬性及及業(yè)務(wù)含含義,源源數(shù)據(jù)到到數(shù)據(jù)倉倉庫的映映射關(guān)系系;(2)數(shù)據(jù)組織::數(shù)據(jù)倉庫、、數(shù)據(jù)集市表表的結(jié)構(gòu)、屬屬性及業(yè)務(wù)含含義,多維結(jié)結(jié)構(gòu)等;(3)數(shù)據(jù)應(yīng)用::查詢與報表表輸出格式描描述、OLAP、數(shù)據(jù)挖掘等等的數(shù)據(jù)模型型的信息展現(xiàn)現(xiàn)、商業(yè)術(shù)語語;(4)數(shù)據(jù)管理::這里包括數(shù)數(shù)據(jù)倉庫過程程以及數(shù)據(jù)倉倉庫操作結(jié)果果的模型,包包括描述數(shù)據(jù)據(jù)抽取和清洗洗規(guī)則、數(shù)據(jù)據(jù)加載控制、、臨時表結(jié)構(gòu)構(gòu)、用途和使使用情況、數(shù)數(shù)據(jù)匯總控制制。5.元數(shù)據(jù)類型業(yè)務(wù)元數(shù)據(jù)用業(yè)務(wù)名稱、、定義、描述述和別名來表表示數(shù)據(jù)倉庫庫和業(yè)務(wù)系統(tǒng)統(tǒng)中的各種屬屬性,直接供供最終用戶使使用。業(yè)務(wù)元元數(shù)據(jù)使最終終用戶能夠更更好理解、使使用數(shù)據(jù)倉庫庫,成為最終終用戶在數(shù)據(jù)據(jù)倉庫中的業(yè)業(yè)務(wù)信息地圖圖。技術(shù)元數(shù)據(jù)技術(shù)元數(shù)據(jù)描描述了源系統(tǒng)統(tǒng)、數(shù)據(jù)轉(zhuǎn)換換、抽取過程程、工作流、、加載策略以以及目標數(shù)據(jù)據(jù)庫的定義等等。用來進行行影響分析、、變化管理、、數(shù)據(jù)庫優(yōu)化化、任務(wù)調(diào)度度和安全管理理等。操作元數(shù)據(jù)操作元數(shù)據(jù)描描述了目標表表中的信息,,如粒度、創(chuàng)創(chuàng)建目標表和和索引的信息息、刷新時間間、記錄數(shù)、、按時執(zhí)行任任務(wù)的設(shè)置以以及有權(quán)訪問問數(shù)據(jù)的用戶戶。操作元數(shù)數(shù)據(jù)用于數(shù)據(jù)據(jù)倉庫的維護護和分布。多維分析OLAPOLAP(On-LineanalyticalProcessing)在線分析析處理切片和切塊(SliceandDice)鉆取(Drill)旋轉(zhuǎn)(Rotate)6、OLAP分析是一類軟件技技術(shù)分析人員能從從多個角度獲獲得對數(shù)據(jù)的的更深入了解解特點:快速、、一致、交互互多維視圖分析析數(shù)據(jù)的工具具根據(jù)用戶常用用的多種分析析角度,事先先計算好一些些輔助結(jié)構(gòu),,以便在查詢詢時能盡快訪訪問到所要的的匯總數(shù)字,,并快速地從從一維轉(zhuǎn)變到到另一維,將將不同角度的的信息以數(shù)字字、直方圖、、餅圖、曲線線等等方式展展現(xiàn)在用戶面面前。切片和切塊(SliceandDice)切片取二維數(shù)據(jù),稱稱為切片。切塊取三維數(shù)據(jù),稱稱為切塊。切片和切塊(SliceandDice)鉆取(Drill)鉆取包含向下下鉆取(Drill-down)和向上鉆取(Drill-up)操作,鉆取取的深度與維維所劃分的層層次相對應(yīng)。。旋轉(zhuǎn)(Rotate)數(shù)據(jù)倉庫數(shù)據(jù)倉庫、商商業(yè)智能(BI)的概念數(shù)據(jù)倉庫、商商業(yè)智能(BI)的體系結(jié)構(gòu)主流數(shù)據(jù)倉庫庫產(chǎn)品對比分分析實例介紹主流數(shù)據(jù)倉庫庫產(chǎn)品對比分分析1.數(shù)據(jù)倉庫產(chǎn)品品介紹2.產(chǎn)品支撐技術(shù)主要數(shù)據(jù)倉庫庫產(chǎn)品供應(yīng)商商介紹OracleIBMMicrosoftSASTeradataSybaseBusinessObjects(SAP)Oracle介紹Oracle公司的數(shù)據(jù)倉倉庫解決方案案包含了數(shù)據(jù)據(jù)庫平臺、開開發(fā)工具和應(yīng)應(yīng)用系統(tǒng),能能夠提供一系系列的數(shù)據(jù)倉倉庫工具集和和服務(wù),具有有多用戶數(shù)據(jù)據(jù)倉庫管理能能力,多種分分區(qū)方式,與與OLAP工具的交互能能力,及數(shù)據(jù)據(jù)移動機制等等特性。Oracle的優(yōu)勢在于大大多數(shù)業(yè)務(wù)系系統(tǒng)采用oracle數(shù)據(jù)庫。IBM介紹IBM公司的數(shù)據(jù)倉倉庫產(chǎn)品稱為為DB2DataWarehouseEdition,它結(jié)合了DB2數(shù)據(jù)服務(wù)器的的長處和IBM的商業(yè)智能基基礎(chǔ)設(shè)施,集集成了用于倉倉庫管理、數(shù)數(shù)據(jù)轉(zhuǎn)換、數(shù)數(shù)據(jù)挖掘以及及OLAP分析和報告的的核心組件,,提供了一套套基于可視數(shù)數(shù)據(jù)倉庫的商商業(yè)智能解決決方案。IBM的優(yōu)勢在于解解決方案比較較完善。Microsoft介紹微軟的SQLServer提供了三大服服務(wù)和一個工工具來實現(xiàn)數(shù)數(shù)據(jù)倉庫系統(tǒng)統(tǒng)的整合,為為用戶提供了了可用于構(gòu)建建典型和創(chuàng)新新的分析應(yīng)用用程序所需的的各種特性、、工具和功能能,可以實現(xiàn)現(xiàn)建模、ETL、建立查詢分分析或圖表、、定制KPI、建立報表和和構(gòu)造數(shù)據(jù)挖挖掘應(yīng)用及發(fā)發(fā)布等功能。。微軟的優(yōu)勢勢在于簡單易易用。SASSAS公司的數(shù)據(jù)倉倉庫解決方案案是一個由30多個專用模塊塊構(gòu)成的架構(gòu)構(gòu)體系,適應(yīng)應(yīng)于對企業(yè)級級的數(shù)據(jù)進行行重新整合,,支持多維、、快速查詢,,提供服務(wù)于于OLAP操作和決策支支持的數(shù)據(jù)采采集、管理、、處理和展現(xiàn)現(xiàn)功能。SAS優(yōu)勢在于數(shù)據(jù)據(jù)挖掘和統(tǒng)計計分析。TeradataTeradata公司提出了可可擴展數(shù)據(jù)倉倉庫基本架構(gòu)構(gòu),包括數(shù)據(jù)據(jù)裝載、數(shù)據(jù)據(jù)管理和信息息訪問幾個部部分,是高端端數(shù)據(jù)倉庫市市場最有力競競爭者,主要要運行在基于于Unix操作系統(tǒng)平臺臺的NCR硬件設(shè)備上,在銀行領(lǐng)域域應(yīng)用廣泛。Sybase介紹Sybase提供了稱為WarehouseStudio的一整套覆蓋蓋整個數(shù)據(jù)倉倉庫建立周期期的產(chǎn)品包,,包括數(shù)據(jù)倉倉庫的建模、、數(shù)據(jù)集成和和轉(zhuǎn)換、數(shù)據(jù)據(jù)存儲和管理理、元數(shù)據(jù)管管理和數(shù)據(jù)可可視化分析等等產(chǎn)品。BusinessObjects(SAP))介紹BusinessObjects是BI工具,集查詢詢、報表和OLAP技術(shù)為一身的的智能決策支支持系統(tǒng),具具有較好的查查詢和報表功功能,提供多多維分析技術(shù)術(shù),支持多種種數(shù)據(jù)庫,同同時它還支持持基于Web瀏覽器的查詢詢、報表和分分析決策。被被SAP收購后,目前前還沒有完整整數(shù)據(jù)倉庫解解決方案。主流數(shù)據(jù)倉庫庫產(chǎn)品對比分分析數(shù)據(jù)倉庫產(chǎn)品品介紹支撐技術(shù)數(shù)據(jù)倉庫技術(shù)術(shù)1、數(shù)據(jù)庫技術(shù)2、ETL技術(shù)3、OLAP技術(shù)4、報表技術(shù)5、數(shù)據(jù)挖掘技術(shù)術(shù)數(shù)據(jù)庫技術(shù)數(shù)據(jù)庫技術(shù)是是支撐數(shù)據(jù)倉倉庫技術(shù)的基基礎(chǔ)技術(shù)。盡盡管在數(shù)據(jù)倉倉庫技術(shù)存儲儲模型方面,,基于數(shù)據(jù)庫庫技術(shù)而發(fā)展展的關(guān)系模式式的理念已經(jīng)經(jīng)被顛覆,取取而代之是各各種各樣的數(shù)數(shù)據(jù)倉庫數(shù)據(jù)據(jù)模型,如星星型模型,雪雪花模型等。。然而,在已已有的數(shù)據(jù)倉倉庫實踐中,,關(guān)系數(shù)據(jù)庫庫仍然是實質(zhì)質(zhì)的數(shù)據(jù)庫存存儲工具,只只是將數(shù)據(jù)庫庫表改稱為了了事實表和維維表,將屬性性域之間的關(guān)關(guān)系重新定義義為維度,量量度,層次,,粒度等。數(shù)據(jù)倉庫后臺臺數(shù)據(jù)庫比較較產(chǎn)品供應(yīng)商數(shù)據(jù)庫產(chǎn)品效率兼容性管理磁盤空間OracleOracle優(yōu)IBMDB2優(yōu)MicrosoftSQLServer優(yōu)SASTeradataTeradata差差SybaseSybaseIQ優(yōu)優(yōu)SAPETL技術(shù)數(shù)據(jù)倉庫系統(tǒng)統(tǒng)是集成的、、與時間相關(guān)關(guān)的數(shù)據(jù)集合合,ETL作為數(shù)據(jù)倉庫庫的核心,負負責將分布的的、異構(gòu)數(shù)據(jù)據(jù)源中的數(shù)據(jù)據(jù)進行抽取、、清洗、轉(zhuǎn)換換、集成,最最后加載到數(shù)數(shù)據(jù)倉庫或數(shù)數(shù)據(jù)集市中,,成為聯(lián)機分分析處理、數(shù)數(shù)據(jù)挖掘的基基礎(chǔ)。ETL能夠按照統(tǒng)一一的規(guī)則集成成并提高數(shù)據(jù)據(jù)的價值,是是負責完成數(shù)數(shù)據(jù)從數(shù)據(jù)源源向目標數(shù)據(jù)據(jù)倉庫轉(zhuǎn)化的的過程,是實實施數(shù)據(jù)倉庫庫的重要步驟驟。要實現(xiàn)數(shù)數(shù)據(jù)倉庫中數(shù)數(shù)據(jù)的自動更更新運轉(zhuǎn),ETL技術(shù)是必不可可少的關(guān)鍵技技術(shù)之一。產(chǎn)品供應(yīng)商ETL工具特點OracleOracleWarehouseBuilder(OWB)數(shù)據(jù)倉庫組件IBMIBMWebSphereDataStage整個ETL過程提供了一個圖形化的開發(fā)環(huán)境,支持對多種操作數(shù)據(jù)源的數(shù)據(jù)抽取、轉(zhuǎn)換和維護,并將其輸入數(shù)據(jù)集或數(shù)據(jù)倉庫MicrosoftIntegrationServices數(shù)據(jù)倉庫組件SASETLStudio管理ETL流程和建立數(shù)據(jù)倉庫、數(shù)據(jù)集市和OLAP結(jié)構(gòu)的單控制點TeradataETLAutomation利用Teradata數(shù)據(jù)庫本身的并行處理能力,通過SQL語句實現(xiàn)數(shù)據(jù)的轉(zhuǎn)換,提供對ETL流程的支持,包括前后依賴、執(zhí)行和監(jiān)控等SybaseDataIntegrationSuite數(shù)據(jù)倉庫組件SAPDataIntegrator數(shù)據(jù)倉庫組件InformaticaPowerCenter二次開發(fā)、集成和開放性強于其它OLAP技術(shù)聯(lián)機分析處理理(OLAP)是針對特定問問題的聯(lián)機數(shù)數(shù)據(jù)訪問和分分析,通過對對信息進行快快速、穩(wěn)定、、一致和交互互式的存取,,對數(shù)據(jù)進行行多層次、多多階段的分析析處理,以獲獲得高度歸納納的分析結(jié)果果。聯(lián)機事務(wù)務(wù)處理(OLTP)已不能滿足足終端用戶戶對數(shù)據(jù)庫庫查詢分析析的需要,,SQL對大數(shù)據(jù)庫庫進行的簡簡單查詢也也不能滿足足用戶分析析的需求。。用戶的決決策分析需需要對關(guān)系系數(shù)據(jù)庫進進行大量計計算才能得得到結(jié)果,,而查詢的的結(jié)果并不不能滿足決決策者提出出的需求,,由此出現(xiàn)現(xiàn)了多維數(shù)數(shù)據(jù)庫和多多維分析的的概念。產(chǎn)品供應(yīng)商OLAP產(chǎn)品OLAP分析工具數(shù)據(jù)庫特點OracleExpress/Discoverer支持DB2,Oracle,SQLServer,Sybase等對自己的數(shù)據(jù)庫產(chǎn)品的支持均好于其它數(shù)據(jù)庫,分析工具基于開放的OLEDB標準,可以訪問支持OLEDB標準的數(shù)據(jù)立方體IBMCOGNOSMicrosoftAnalysisServicesSASOLAPServerTeradata提供了相關(guān)技術(shù),用于提升運行于Teradata數(shù)據(jù)庫上的OLAP應(yīng)用系統(tǒng)的性能SybasePowerDimension標準OLAPAPI能夠?qū)icrosoft、IBM等OLAP數(shù)據(jù)進行劃分、鉆取等處理,兼容第三方報表和展現(xiàn)工具SAPOLAPIntelligence報表技術(shù)報表技術(shù)主主要是將集集成在數(shù)據(jù)據(jù)模型里的的數(shù)據(jù),按按照復(fù)雜的的格式、指指定行列統(tǒng)統(tǒng)計項,計計算形成的的特殊表格格。一般的的簡單報表表可以使用用通用的前前臺展現(xiàn)技技術(shù)實現(xiàn),,而復(fù)雜的的報表則需需要使用特特定的報表表技術(shù)。主主流的報表表技術(shù)都可可以靈活的的制定各種種報表模版版庫和指標標庫,并根根據(jù)每個區(qū)區(qū)塊或單元元格的需要要引用指標標,實現(xiàn)一一系列復(fù)雜雜的符合要要求的報表表的自動生生成。產(chǎn)品供應(yīng)商報表工具特點OracleOracleReports提供了自由的數(shù)據(jù)格式方式,可以自動生成個性化字母或矩陣風格的布局,包括動態(tài)、數(shù)據(jù)驅(qū)動的圖表IBMCOGNOS覆蓋了各種報表需求,包括管理報表、商業(yè)報表、賬單和發(fā)票等?;贠lapserver實現(xiàn)查詢分析操作.MicrosoftReportingServices(SSRS)(含)處理組件、一整套可用于創(chuàng)建和管理報表的工具、在自定義應(yīng)用程序中集成和擴展數(shù)據(jù)和報表處理的APISASReportStudio功能、性能、二次開發(fā)等方面都還存在著一定的差距TeradataBTEQSybaseInfoMakerSAPCrystalReports提供了一個完整的企業(yè)報表解決方案CrystalReportsServer,支持通過Web快速便捷的創(chuàng)建、管理和交付報表數(shù)據(jù)挖掘技技術(shù)當數(shù)據(jù)積累累到一定數(shù)數(shù)量時,某某些潛在聯(lián)聯(lián)系、分類類、推導(dǎo)結(jié)結(jié)果和待發(fā)發(fā)現(xiàn)價值隱隱藏在其中中,可以使使用數(shù)據(jù)發(fā)發(fā)掘工具幫幫助發(fā)現(xiàn)這這些有價值值的數(shù)據(jù)。。數(shù)據(jù)挖掘掘就是從海海量數(shù)據(jù)中中,提取隱隱含在其中中的、人們們事先不知知道的但又又可能有用用的信息和和知識的過過程。通過過數(shù)據(jù)挖掘掘能找出數(shù)數(shù)據(jù)庫中隱隱藏的信息息,實現(xiàn)用用模型來擬擬合數(shù)據(jù)、、探索型數(shù)數(shù)據(jù)分析,,數(shù)據(jù)驅(qū)動動型的發(fā)現(xiàn)現(xiàn),演繹型型學習等功功能。產(chǎn)品供應(yīng)商挖掘工具特點OracleOracleDataMiner提供圖形用戶界面,通過向?qū)碇笇?dǎo)完成數(shù)據(jù)準備、數(shù)據(jù)挖掘、模型評估和模型評價過程,根據(jù)需要自動生成將數(shù)據(jù)挖掘步驟轉(zhuǎn)換成一個集成的數(shù)據(jù)挖掘/BI應(yīng)用程序所需的代碼IBMIBMIntelligentMiner數(shù)據(jù)集自動生成、關(guān)聯(lián)發(fā)現(xiàn)、序列規(guī)律發(fā)現(xiàn)、概念性分類和可視化呈現(xiàn),可以自動實現(xiàn)數(shù)據(jù)選擇、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)發(fā)掘和結(jié)果呈現(xiàn)這一整套數(shù)據(jù)發(fā)掘操作Microsoft數(shù)據(jù)挖掘平臺不同于傳統(tǒng)數(shù)據(jù)挖掘應(yīng)用程序,它支持組織中數(shù)據(jù)的整個開發(fā)生命周期,允許第三方添加自定義算法以支持特定的挖掘需求,支持實時根據(jù)挖掘的數(shù)據(jù)集進行數(shù)據(jù)驗證。SASSASEnterpriseMiner數(shù)據(jù)挖掘過程簡單流程化,支持關(guān)聯(lián)、聚類、決策樹、神經(jīng)元網(wǎng)絡(luò)和經(jīng)典的統(tǒng)計回歸技術(shù)TeradataTeradataWarehouseMiner將數(shù)據(jù)挖掘技術(shù)整合到數(shù)據(jù)倉庫來簡化數(shù)據(jù)挖掘流程,還可實現(xiàn)將多家廠商的數(shù)據(jù)挖掘技術(shù)嵌入Teradata企業(yè)級數(shù)據(jù)倉庫環(huán)境中運行Sybase無SAP無數(shù)據(jù)倉庫數(shù)據(jù)倉庫、、商業(yè)智能能(BI)的概念數(shù)據(jù)倉庫、、商業(yè)智能能(BI)的體系結(jié)構(gòu)構(gòu)主流數(shù)據(jù)倉倉庫產(chǎn)品對對比分析實例介紹實例介紹1、數(shù)據(jù)建模模2、ETL過程3、Cognos84、與Portal整合數(shù)據(jù)倉庫創(chuàng)創(chuàng)建過程1、數(shù)據(jù)建模模2、ETL過程3、Cognos84、與Portal整合數(shù)據(jù)建模業(yè)務(wù)梳理整理并提取取出維度、、度量和事事實表建立模型數(shù)據(jù)建模---業(yè)務(wù)系統(tǒng)數(shù)數(shù)據(jù)庫結(jié)構(gòu)構(gòu)關(guān)系型數(shù)據(jù)據(jù)庫1.指標表表單位代碼功能分類id項目編碼經(jīng)濟分類id金額001001203010120080101301010120333.002.計劃表表單位代碼功能分類id項目編碼經(jīng)濟分類id金額0010012030101200801013010101444.003.支付表表單位代碼功能分類id項目編碼經(jīng)濟分類id金額0010012030101200801013010101333.00模型---星型型模模型型預(yù)算算單單位位業(yè)務(wù)務(wù)表表((事事實實表表))功能能分分類類指標標來來源源資金金性性質(zhì)質(zhì)業(yè)務(wù)務(wù)處處室室指標標類類型型預(yù)算算項項目目支付付方方式式數(shù)據(jù)據(jù)建建模模過過程程業(yè)務(wù)務(wù)系系統(tǒng)統(tǒng)數(shù)數(shù)據(jù)據(jù)庫庫數(shù)據(jù)據(jù)倉倉庫庫1.指指標標表表單位代碼功能分類id項目編碼經(jīng)濟分類id金額001001203010120080101301010120333.002.計計劃劃表表單位代碼功能分類id項目編碼經(jīng)濟分類id金額0010012030101200801013010101444.003.支支付付表表單位代碼功能分類id項目編碼經(jīng)濟分類id金額0010012030101200801013010101333.00數(shù)據(jù)據(jù)倉倉庫庫創(chuàng)創(chuàng)建建過過程程1、數(shù)數(shù)據(jù)據(jù)建建模模2、ETL過程程3、Cognos84、與與Portal整合合ETL的本本質(zhì)質(zhì)ETL代表表抽抽取取(Extract),轉(zhuǎn)轉(zhuǎn)換換(Transform),裝裝載載(Load),ETL的過過程程就就是是數(shù)數(shù)據(jù)據(jù)流流動動的的過過程程,,從從不不同同的的異異構(gòu)構(gòu)數(shù)數(shù)據(jù)據(jù)源源流流向向統(tǒng)統(tǒng)一一的的目目標標數(shù)數(shù)據(jù)據(jù),,其其間間,,數(shù)數(shù)據(jù)據(jù)的的抽抽取取、、清清洗洗、、轉(zhuǎn)轉(zhuǎn)換換和和裝裝載載形形成成串串行行或或并并行行的的過過程程。。數(shù)據(jù)據(jù)倉倉庫庫中中ETL的特特點點數(shù)據(jù)據(jù)同同步步ETL周期期性性的的,,經(jīng)經(jīng)常常性性的的活活動動,,不不是是一一次次性性完完成成的的。。數(shù)據(jù)據(jù)量量ETL的數(shù)數(shù)據(jù)據(jù)量量一一般般都都是是巨巨大大的的,,值值得得將將數(shù)數(shù)據(jù)據(jù)流流動動過過程程拆拆分分為為E、T、L。項目目實實施施中中ETL的特特點點實施施時時間間長長整個個項項目目實實施施工工作作量量的的60%-70%過程程復(fù)復(fù)雜雜貫穿穿整整個個業(yè)業(yè)務(wù)務(wù)建建模模和和存存儲儲的的整整個個過過程程決定定項項目目成成敗敗的的關(guān)關(guān)鍵鍵數(shù)據(jù)據(jù)的的準準確確性性、、過過程程的的執(zhí)執(zhí)行行成成功功與與否否ETL設(shè)計計策策略略切實實可可行行的的ETL設(shè)計計策策略略抽取取策策略略在數(shù)數(shù)據(jù)據(jù)抽抽取取分分析析時時需需要要對對業(yè)業(yè)務(wù)務(wù)深深刻刻理理解解不不能能簡簡單單的的了了解解,,哪哪一一個個表表取取不不是是隨隨便便的的、、簡簡單單的的,,一一定定要要理理解解其其中中的的含含義義這這就就需需要要對對業(yè)業(yè)務(wù)務(wù)非非常常的的清清楚楚轉(zhuǎn)換換策策略略將數(shù)數(shù)據(jù)據(jù)由由原原來來的的格格式式轉(zhuǎn)轉(zhuǎn)換換成成數(shù)數(shù)據(jù)據(jù)倉倉庫庫格格式式。。包包括括數(shù)數(shù)據(jù)據(jù)格格式式轉(zhuǎn)轉(zhuǎn)換換數(shù)數(shù)據(jù)據(jù)類類型型、、轉(zhuǎn)轉(zhuǎn)換換數(shù)數(shù)據(jù)據(jù)匯匯總總計計算算、、數(shù)數(shù)據(jù)據(jù)拼拼接接等等等等,,但但這這些些工工作作可可以以在在不不同同的的過過程程中中處處理理視視具具體體情情況況而而定定比比如如可可以以在在數(shù)數(shù)據(jù)據(jù)抽抽取取時時轉(zhuǎn)轉(zhuǎn)換換可可以以在在數(shù)數(shù)據(jù)據(jù)加加載載時時轉(zhuǎn)轉(zhuǎn)換換………裝載載策策略略維表表加加載載策策略略事實實表表加加載載策策略略引用用約約束束問問題題數(shù)據(jù)據(jù)倉倉庫庫創(chuàng)創(chuàng)建建過過程程1、數(shù)數(shù)據(jù)據(jù)建建模模2、ETL過程程3、Cognos4、與與Portal整合合COGNOS主要要模模塊塊QueryStudio查詢詢::自自助助報報表表生生成成工工具具ReportStudio查詢詢::專專有有報報表表構(gòu)構(gòu)筑筑工工具具AnalysisStudio分析析::多多維維數(shù)數(shù)據(jù)據(jù)展展示示工工具具Transformer分析析::多多維維數(shù)數(shù)據(jù)據(jù)設(shè)設(shè)計計工工具具FrameworkManager查詢詢::業(yè)業(yè)務(wù)務(wù)數(shù)數(shù)據(jù)據(jù)組組織織工工具具幾個個模模塊塊在在Cognos體系系中中的的位位置置應(yīng)用(Consumer)

專業(yè)(profession)查詢QueryStudioReportStudioFrameworkManager分析AnalysisStudioTransformerFrameworkManagerFrameworkManager是一一個個元元數(shù)數(shù)據(jù)據(jù)建建模模工工具具,,它它使使用用數(shù)數(shù)據(jù)據(jù)查查詢詢來來獲獲取取數(shù)數(shù)據(jù)據(jù),,模模型型中中能能包包含含多多個個數(shù)數(shù)據(jù)據(jù)源源的的各各種種物物理理信信息息和和業(yè)業(yè)務(wù)務(wù)信信息息的的元元數(shù)數(shù)據(jù)據(jù),,以以滿滿足足報報表表顯顯現(xiàn)現(xiàn)和和數(shù)數(shù)據(jù)據(jù)分分析析的的需需要要。。FrameworkManager能根據(jù)業(yè)業(yè)務(wù)需求求創(chuàng)建面面向報表表的關(guān)系系型,或或面向OLAP分析和報報表的維維度化建建模關(guān)系系型(DMR)。FrameworkManager工作流程程FrameworkManager將生成的的模型發(fā)發(fā)布到ContentStore中,這些些模型為為Tansformer或前端展展現(xiàn)工具具提供數(shù)數(shù)據(jù)服務(wù)務(wù)。幾個模塊塊在Cognos體系中的的位置應(yīng)用(Consumer)

專業(yè)(profession)查詢QueryStudioReportStudioFrameworkManager分析AnalysisStudioTransformerTransformerTransformer是CognosBI的數(shù)據(jù)建建模工具具,用戶戶能使用用它建立立一個多多數(shù)據(jù)源源的多維維業(yè)務(wù)模模型。在在選定了了語言、、維度、、度量和和業(yè)務(wù)視視圖后,,Transformer將以這些些條件建建立數(shù)據(jù)據(jù)方(pq),這些些數(shù)據(jù)方方被發(fā)布布到Cognos的ContentStore中后,前前端展現(xiàn)現(xiàn)工具,,如AnalysisStudio等,能圍圍繞這些些PwoerCube進行各種種OLAP分析。Transformer的工作界界面理解CognosConnectionCognosConnection是Cognos8的門戶。。QueryStudio,ReportStudio和AnalysisStudio的入口都都被組織織在了這這個門戶戶中。進入門戶戶:http://<服務(wù)器名名>/Cognos8在CognosConnection門戶中可可以:(1)創(chuàng)建和運運行報表表(2)執(zhí)行管管理性任任務(wù),例例如調(diào)度度報表可以通過過在文件件夾中創(chuàng)創(chuàng)建和儲儲存條目目來對CognosConnection中的數(shù)據(jù)據(jù)進行組組織。Cognos的工作區(qū)區(qū)QueryStudio應(yīng)用(Consumer)

專業(yè)(profession)查詢QueryStudioReportStudioFrameworkManager分析AnalysisStudioTransformerQueryStudioQueryStudio是業(yè)務(wù)人人員即時時查詢數(shù)數(shù)據(jù)的日日常工具具,此工工具一般般使用直直接數(shù)據(jù)據(jù)源,可可以對業(yè)業(yè)務(wù)系統(tǒng)統(tǒng)或數(shù)據(jù)據(jù)倉庫中中的某類類或某條條明細信信息進行行檢索,,可將這這些查詢詢保存,,以供日日后再次次使用。。此工具具提供了了最簡單單的非正正式的報報表功能能,報表表在設(shè)計計的同時時即展現(xiàn)現(xiàn)出報表表結(jié)果。。進入QueryStudio在QueryStudio中創(chuàng)建報表ReportStudio應(yīng)用(Consumer)

專業(yè)(profession)查詢QueryStudioReportStudioFrameworkManager分析AnalysisStudioTransformerReportStudioReportStudio是用來制制作更加加精細的的專有報報表的工工具,專有報表表的設(shè)計計和運行行兩個過過程是分分開的。。ReportStudio中能夠建建立列表表,交叉叉表,圖圖表等各各種類型型的報表表,并能能實現(xiàn)報報表的鉆鉆取功能能。對于于報表的的數(shù)據(jù)源源,可以以設(shè)置復(fù)復(fù)雜的匯匯總、過過濾、分分組、重重新計算算等操作作。表樣樣可精細細加工成成用戶所所需要的的樣式。。進入ReportStudio用ReportStudio創(chuàng)建報報表ReportStudio交叉表表界面面定義交交叉表表行定義交交叉表表列定義交交叉表表度量量交叉表表運行行效果果表樣一一:預(yù)算指指標執(zhí)執(zhí)行情情況表表表樣二二:用款計計劃執(zhí)執(zhí)行情情況表表表樣三三:預(yù)算支支出情情況表表圖表結(jié)結(jié)合報報表第一步步先先制定定相應(yīng)應(yīng)的交交叉表表第二步步插插入圖圖圖表結(jié)結(jié)合報報表表樣四四:部部門月月度計計劃表樣五五:業(yè)業(yè)務(wù)數(shù)數(shù)據(jù)對對比表樣六六:業(yè)業(yè)務(wù)指指標對對比AnalysisStudio應(yīng)用(Consumer)

專業(yè)(profession)查詢QueryStudioReportStudioFrameworkManager分析AnalysisStudi

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論