1、數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)議題OLAP技術(shù)簡(jiǎn)介OLAP技術(shù)簡(jiǎn)介OLAP分析方法小結(jié)2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)OLAP技術(shù)簡(jiǎn)介OLAP發(fā)展背景及定義OLAP相關(guān)基本概念OLAP基本特征OLAP多維數(shù)據(jù)結(jié)構(gòu)OLAP多維數(shù)據(jù)分析方法OLAP分類OLAP評(píng)價(jià)準(zhǔn)則OLAP新的發(fā)展特征 OLAP工具在移動(dòng)業(yè)務(wù)分析中是否能發(fā)揮作用，為什么？2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)發(fā)展背景（一）60年代，關(guān)系型數(shù)據(jù)庫(kù)之父E.F.Codd提出了關(guān)系模型，促進(jìn)了OLTP（ OnLine Transaction Processing，聯(lián)機(jī)事務(wù)處理）模型的發(fā)展。1993年，E

2、.F.Codd提出了OLAP（OnLine Analytical Processing聯(lián)機(jī)分析處理）概念，認(rèn)為OLTP已不能滿足終端用戶對(duì)數(shù)據(jù)庫(kù)查詢分析的需要，SQL對(duì)大型數(shù)據(jù)庫(kù)進(jìn)行的簡(jiǎn)單查詢也不能滿足終端用戶分析的要求。用戶的決策分析需要對(duì)關(guān)系數(shù)據(jù)庫(kù)進(jìn)行大量計(jì)算才能得到結(jié)果，而查詢的結(jié)果并不能滿足決策者提出的需求。因此，E.F.Codd提出了多維數(shù)據(jù)庫(kù)和多維分析的概念，即OLAP。OLAP技術(shù)簡(jiǎn)介2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)發(fā)展背景（二）OLAP技術(shù)簡(jiǎn)介OLTP數(shù)據(jù)OLAP數(shù)據(jù)原始數(shù)據(jù)導(dǎo)出數(shù)據(jù)細(xì)節(jié)性數(shù)據(jù)綜合性和提煉性數(shù)據(jù)當(dāng)前值數(shù)據(jù)歷史數(shù)據(jù)可更新不可更新，但周期性刷新一次處理的數(shù)據(jù)量

3、小一次處理的數(shù)據(jù)量大面向應(yīng)用，事務(wù)驅(qū)動(dòng)面向分析，分析驅(qū)動(dòng)面向操作人員，支持日常操作面向決策人員，支持管理需要從數(shù)據(jù)角度看，OLTP系統(tǒng)與OLAP系統(tǒng)的主要差異如下：2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)OLAP定義OLAP技術(shù)簡(jiǎn)介定義1 ：OLAP(聯(lián)機(jī)分析處理)是針對(duì)特定問(wèn)題的聯(lián)機(jī)數(shù)據(jù)訪問(wèn)和分析。通過(guò)對(duì)信息(維數(shù)據(jù))的多種可能的觀察形式進(jìn)行快速、穩(wěn)定一致和交互性的存取，允許管理決策人員對(duì)數(shù)據(jù)進(jìn)行深入觀察。定義2 ：OLAP(聯(lián)機(jī)分析處理) 是使分析人員、管理人員或執(zhí)行人員能夠從多種角度對(duì)從原始數(shù)據(jù)中轉(zhuǎn)化出來(lái)的、能夠真正為用戶所理解的、并真實(shí)反映企業(yè)維特性的信息進(jìn)行快速、一致、交互地存取，從而

4、獲得對(duì)數(shù)據(jù)的更深入了解的一類軟件技術(shù)。(OLAP委員會(huì)的定義) 。OLAP的目標(biāo)：滿足決策支持或多維環(huán)境特定的查詢和報(bào)表需求，它的技術(shù)核心是“維”這個(gè)概念，因此OLAP也可以說(shuō)是多維數(shù)據(jù)分析工具的集合2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)OLAP的相關(guān)基本概念OLAP技術(shù)簡(jiǎn)介維（ Dimension ）：是人們觀察數(shù)據(jù)的特定角度，是考慮問(wèn)題時(shí)的一類屬性，屬性集合構(gòu)成一個(gè)維（時(shí)間維、地理維等） 。維的層次（ Generation，Level ）：人們觀察數(shù)據(jù)的某個(gè)特定角度（即某個(gè)維）還可以存在細(xì)節(jié)程度不同的各個(gè)描述方面（時(shí)間維：日期、月份、季度、年） 。維的成員（ Member ）：維的一個(gè)取值

5、。是數(shù)據(jù)項(xiàng)在某維中位置的描述。（“某年某月某日”是在時(shí)間維上位置的描述）多維數(shù)組：維和變量的組合表示。一個(gè)多維數(shù)組可以表示為：（維1，維2，維n，變量）。（時(shí)間，地區(qū)，漫游類型，通話費(fèi)）數(shù)據(jù)單元（ Cell ）：多維數(shù)組的取值。（2000年1月1日，上海，國(guó)際漫游，通話費(fèi)XXXX元）2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)OLAP的基本特征OLAP技術(shù)簡(jiǎn)介快速性：用戶對(duì)OLAP的快速反應(yīng)能力有很高的要求。系統(tǒng)對(duì)用戶的大部分分析要求的響應(yīng)速度應(yīng)該為秒級(jí)。 可分析性：OLAP系統(tǒng)能處理與應(yīng)用有關(guān)的任何邏輯分析和統(tǒng)計(jì)分析。多維性：多維性是OLAP的關(guān)鍵屬性。系統(tǒng)提供對(duì)數(shù)據(jù)的多維視圖和分析,包括對(duì)層次維

6、和多重層次維的完全支持。信息性：不論數(shù)據(jù)量有多大，也不管數(shù)據(jù)存儲(chǔ)在何處，OLAP系統(tǒng)應(yīng)能及時(shí)獲得信息，并且具有管理大容量信息的能力2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)OLAP的多維數(shù)據(jù)結(jié)構(gòu)OLAP技術(shù)簡(jiǎn)介超立方體結(jié)構(gòu)：超立方結(jié)構(gòu)指用三維或更多的維數(shù)來(lái)描述一個(gè)對(duì)象,每個(gè)維彼此垂直。數(shù)據(jù)的測(cè)量值發(fā)生在維的交叉點(diǎn)上,數(shù)據(jù)空間的各個(gè)部分都有相同的維屬性。 多立方體結(jié)構(gòu)：即將超立方結(jié)構(gòu)變?yōu)樽恿⒎浇Y(jié)構(gòu)。面向某一特定應(yīng)用對(duì)維進(jìn)行分割, 它具有很強(qiáng)的靈活性,提高了數(shù)據(jù)（特別是稀疏數(shù)據(jù)）的分析效率。2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)OLAP分類（一）OLAP技術(shù)簡(jiǎn)介MOLAP（Multidimension

7、al OnLine Analytical Processing ） ：數(shù)據(jù)以多維方式存儲(chǔ)，每一個(gè)數(shù)據(jù)單元（Cell）都可以通過(guò)維度的定位直接訪問(wèn)。 db2ROLAP（Relational OnLine Analytical Processing ） ：數(shù)據(jù)存放于關(guān)系型數(shù)據(jù)庫(kù)中，用戶的多維查詢請(qǐng)求由ROLAP引擎處理為SQL查詢，結(jié)果以多維方式呈現(xiàn)。oracleHOLAP（Hybrid online analytical processing ）： MOLAP與ROLAP的結(jié)合形式，兼具M(jìn)OLAP的查詢效率高和ROLAP的存儲(chǔ)效率高的優(yōu)點(diǎn)，預(yù)存儲(chǔ)按照存儲(chǔ)類型，OLAP可以分為以下三種類型：202

8、2/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)OLAP分類（三）OLAP技術(shù)簡(jiǎn)介以多維立方體和預(yù)計(jì)算來(lái)存儲(chǔ)，實(shí)際數(shù)據(jù)的稀疏分布以及預(yù)計(jì)算是導(dǎo)致MOLAP空間急劇膨脹的主要因素。 MOLAP的邏輯存儲(chǔ)模型：XXXXX2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)OLAP分類（二）OLAP技術(shù)簡(jiǎn)介ROLAP存儲(chǔ)模式：ROLAP數(shù)據(jù)以星型模式（Star Schema）或雪花型模式存儲(chǔ)：事實(shí)表：用來(lái)存儲(chǔ)事實(shí)的度量值和各個(gè)維的碼值。 。 維表：用來(lái)存放維的元數(shù)據(jù)（維的層次、成員類別等描述信息） 。Time_idSales TableDiscount%DollarsUnitsFact TableMarket_idProduct

9、_idScenarioProduct_idProduct TableSizeBrandProduct_DescDimension TableTime_idYearQuarterPeriod_DescPeriod TableDimension TableScenario TableActualProfitScenarioDimension TableMarket_idMarket TableRegionDistrictMarket_DescDimension Table2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)OLAP分類（四）OLAP技術(shù)簡(jiǎn)介沒(méi)有大小限制。（因?yàn)镾tar Schema本身不需要額外

10、的存儲(chǔ)空間） ?，F(xiàn)有的關(guān)系數(shù)據(jù)庫(kù)的技術(shù)可以沿用?？梢酝ㄟ^(guò)SQL實(shí)現(xiàn)詳細(xì)數(shù)據(jù)與概要數(shù)據(jù)的存儲(chǔ)?，F(xiàn)有關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)對(duì)OLAP做了很多優(yōu)化，包括并行存儲(chǔ)、并行查詢、并行數(shù)據(jù)管理、基于成本的查詢優(yōu)化、位圖索引、SQL 的OLAP擴(kuò)展（cube，rollup）等大大提高ROALP的速度ROLAP的優(yōu)勢(shì)：性能好、響應(yīng)速度快。專為OLAP所設(shè)計(jì)。支持高性能的決策支持計(jì)算。MOLAP的優(yōu)勢(shì)：2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)OLAP分類（五）OLAP技術(shù)簡(jiǎn)介比MOLAP響應(yīng)速度相差極遠(yuǎn)。不支持有關(guān)預(yù)計(jì)算的讀寫操作。SQL無(wú)法完成部分計(jì)算。ROLAP的缺點(diǎn)：增加系統(tǒng)復(fù)雜度，增加系統(tǒng)培訓(xùn)與維護(hù)費(fèi)用。需要進(jìn)行

11、預(yù)計(jì)算，可能導(dǎo)致數(shù)據(jù)急劇膨脹。支持維的動(dòng)態(tài)變化比較困難。MOLAP的缺點(diǎn)：2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)OLAP分類（六）OLAP技術(shù)簡(jiǎn)介ROLAP Architecture：SQL Result SetInfo.RequestResult SetDatabase Server R DBMSFront-end ToolROALP ArchitectureROLAP ServerMetadataRequestProcessing2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)OLAP分類（七）OLAP技術(shù)簡(jiǎn)介MOLAP Architecture：Info.RequestResult SetLoad

12、Database Server RDBMSFront-end ToolMOALP ArchitectureMOLAP ServerMetadataRequestProcessing2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)OLAP分類（八）OLAP技術(shù)簡(jiǎn)介MOLAP Architecture：SQL Result SetInfo. RequestResult SetLoadDatabase Server RDBMSFront-end ToolHybrid ArchitectureMOLAP ServerIntegration ServerInfo. Request2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP

13、技術(shù)OLAP的多維數(shù)據(jù)分析方法簡(jiǎn)介（一）OLAP技術(shù)簡(jiǎn)介切片和切塊(Slice and Dice) ：在確定某些維數(shù)據(jù)的確定情況下對(duì)其他維進(jìn)行觀察，在多維數(shù)據(jù)結(jié)構(gòu)中,按二維進(jìn)行切片,按三維進(jìn)行切塊,可得到所需要的數(shù)據(jù)。如在“城市、時(shí)間、漫游”三維立方體中進(jìn)行切塊和切片,可得到各城市、各漫游類型的費(fèi)用情況。 鉆取(Drill)：在一個(gè)維內(nèi)沿著從高到低或者從低到高的方向考察數(shù)據(jù)，鉆取包含向下鉆?。―rill-down）和向上鉆?。―rill-up） / 上卷（Roll-up）操作， 鉆取的深度與維所劃分的層次相對(duì)應(yīng)。旋轉(zhuǎn)(Rotate) / 轉(zhuǎn)軸(Pivot):通過(guò)旋轉(zhuǎn)可以得到不同視角的數(shù)據(jù)，按不

14、同的順序組織維，對(duì)結(jié)果進(jìn)行考察穿透：是指從多維數(shù)據(jù)庫(kù)向關(guān)系型數(shù)據(jù)庫(kù)讀取明細(xì)數(shù)據(jù)OLAP的三種基本分析手段：多維視圖2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)時(shí)間地區(qū)漫游2003年2003年1月2003年1月1日2003年1月2日2003年1月3日2003年2月考察一個(gè)特定的維時(shí)間維，包括每一個(gè)地區(qū)漫游業(yè)務(wù)量鉆取到下面的層次來(lái)考察詳細(xì)情況OLAP的多維數(shù)據(jù)分析方法簡(jiǎn)介（二）：鉆取OLAP技術(shù)簡(jiǎn)介2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)時(shí)間地區(qū)漫游按照不同的順序組合維，對(duì)數(shù)據(jù)進(jìn)行考察OLAP的多維數(shù)據(jù)分析方法簡(jiǎn)介（二）：旋轉(zhuǎn)OLAP技術(shù)簡(jiǎn)介地區(qū)漫游時(shí)間2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)OLAP的多維

15、數(shù)據(jù)分析方法簡(jiǎn)介（三）：切片、切塊OLAP技術(shù)簡(jiǎn)介Ad Hoc ViewRegional Mgr. ViewProduct Mgr. ViewTIme Mgr. ViewPRODUCTregionTIMESALES2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)OLAP的多維數(shù)據(jù)分析方法簡(jiǎn)介（四）：穿透OLAP技術(shù)簡(jiǎn)介關(guān)系型數(shù)據(jù)庫(kù)2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)OLAP分類的評(píng)價(jià)標(biāo)準(zhǔn)OLAP技術(shù)簡(jiǎn)介OLAP模型必須提供多維概念模型。透明性準(zhǔn)則，存儲(chǔ)無(wú)法清除。存取能力準(zhǔn)則。穩(wěn)定的報(bào)表性能客戶/服務(wù)器體系結(jié)構(gòu)維的等同性準(zhǔn)則，按照維度存儲(chǔ)動(dòng)態(tài)稀疏矩陣處理準(zhǔn)則：dense,sparse多用戶支持能力準(zhǔn)則,

16、并行非受限的跨維操作，多cube,多數(shù)據(jù)庫(kù)的關(guān)聯(lián)查詢靈活的報(bào)表生成非受限的維與維的層次2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)OLAP技術(shù)發(fā)展新特征OLAP技術(shù)簡(jiǎn)介聚集存儲(chǔ)數(shù)據(jù)庫(kù) (Aggregate Storage Database)：支持聚集存儲(chǔ)數(shù)據(jù)庫(kù)（由新的聚集存儲(chǔ)核心提供）實(shí)現(xiàn)了在數(shù)據(jù)庫(kù)聚集時(shí)間和維度可量測(cè)性兩方面的動(dòng)態(tài)可量測(cè)性的提高。聚集存儲(chǔ)數(shù)據(jù)庫(kù)典型只滿足只讀，“機(jī)架堆疊”具有大量維度的應(yīng)用聚集數(shù)據(jù)可以同時(shí)滿足讀取和計(jì)算存儲(chǔ)高效性能，存儲(chǔ)量很小存儲(chǔ)高效性和讀取效率可以取得平衡點(diǎn)預(yù)計(jì)算可以在數(shù)據(jù)讀取是進(jìn)行，也可以預(yù)處理計(jì)算節(jié)點(diǎn)2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)OLAP在日常分析中隨

17、處可見KPI展示EIS多維分析數(shù)據(jù)挖掘OLAP使用分析思路（二）2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)OLAP分析方法的應(yīng)用主題分析數(shù)據(jù)挖掘應(yīng)用報(bào)表KPI專題分析經(jīng)營(yíng)分析、決策支持系統(tǒng)平臺(tái)工具APIOLAP挖掘技術(shù)OLAP分析SQLOLAP分析SQLOLAP分析SQL、挖掘OLAP分析OLAP分析方法2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)OLAP分析獨(dú)立個(gè)人分析基礎(chǔ)應(yīng)用分析專題分析應(yīng)用OLAP分析案例講解思路（一）2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)時(shí)間基礎(chǔ)使用案例驗(yàn)證問(wèn)題發(fā)現(xiàn)問(wèn)題尋找答案綜合使用分析之獨(dú)立分析主題獨(dú)立完成分析需求組織數(shù)據(jù)數(shù)據(jù)分析分析報(bào)告OLAP分析使用 使用現(xiàn)有系統(tǒng)獨(dú)立完成

18、集成商的輔助之下分析需求組織數(shù)據(jù)形成方案，形成分析方法綜合使用之專題分析OLAP分析使用思路（二）在集成商參與下合作完成2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)OLAP分析案例講解思路（一）。PPT、EXECEL工具數(shù)據(jù)挖掘技術(shù)報(bào)表，前端工具使用數(shù)據(jù)庫(kù)sql專題分析獨(dú)立業(yè)務(wù)分析AnalysisProjectExecutingOlap分析方法2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)議題OLAP技術(shù)簡(jiǎn)介OLAP分析方法小結(jié)OLAP分析方法小結(jié)2022/7/26數(shù)據(jù)倉(cāng)庫(kù)OLAP技術(shù)OLAP分析課程要點(diǎn)1.OLAP技術(shù)的簡(jiǎn)單介紹2.OLAP的基礎(chǔ)分析案例3.OLAP的綜合分析案例，包括套餐專題和世界風(fēng)分析4.OLAP分析的重要性5.不要孤立的使用OLAP分析6.OLAP分析是經(jīng)營(yíng)分析系統(tǒng)或者是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中眾多分析方法中的一種7.作為一個(gè)好的分析員，應(yīng)該可以