OracleBigDataSQL

全數(shù)據(jù)管理技術(shù)殷致云evan.yin@2016年10月12數(shù)據(jù)分析挑戰(zhàn)隔離的信息孤島難以分析數(shù)據(jù)分析挑戰(zhàn)不同的數(shù)據(jù)訪問接口4數(shù)據(jù)分析挑戰(zhàn)沒有能跨Oracle,Hadoop和NoSQL的統(tǒng)一接口客戶想要什么豐富，全面的SQL訪問企業(yè)的所有數(shù)據(jù)NoSQL突破創(chuàng)新：融合的大數(shù)據(jù)解決方案一條SQL可以訪問所有數(shù)據(jù)源OracleHadoopBigDataSQLNoSQLAndmore…Oracle大數(shù)據(jù)SQL大規(guī)模并發(fā)SQL查詢，橫跨Oracle,Hadoop和NoSQLOracleDatabase12c卸載查詢到Exadata存儲(chǔ)服務(wù)器OffloadQuerytoExadataStorageServers小數(shù)據(jù)集快速返回SmalldatasubsetquicklyreturnedHadoop&NoSQL卸載查詢到數(shù)據(jù)節(jié)點(diǎn)OffloadQuerytoDataNodesSQL數(shù)據(jù)子集datasubsetSQLOracle

BigDataSQL的用戶9大數(shù)據(jù)分析服務(wù)研發(fā)、供應(yīng)鏈、客戶和消費(fèi)者的數(shù)據(jù)集中化部署的數(shù)據(jù)科學(xué)組織提升客戶體驗(yàn)、業(yè)務(wù)創(chuàng)新西班牙最大的零售銀行，客戶超過1300萬收集來自不同接觸渠道的多種信息，形成客戶的統(tǒng)一視圖網(wǎng)絡(luò)威脅檢測產(chǎn)品創(chuàng)新國際商業(yè)和技術(shù)

咨詢公司，非/半結(jié)構(gòu)化、運(yùn)營和社交媒體大數(shù)據(jù)分析，探測網(wǎng)絡(luò)入侵BDAExadataBDAExadataBDAExadataOracleBigDataSQL提供的能力關(guān)鍵功能特性10BigDataSQL:企業(yè)級(jí)海量大數(shù)據(jù)管理智能的外部表ExternalTables分布式數(shù)據(jù)存儲(chǔ)的簡單集成智能掃描SmartScan充分利用大數(shù)據(jù)平臺(tái)的計(jì)算能力存儲(chǔ)索引StorageIndexing自動(dòng)減少I/O，從根本上提高查詢分析性能謂詞過濾下移PredicatePush-Down將分區(qū)修剪處理下移到大數(shù)據(jù)平臺(tái)11豐富的SQL、更強(qiáng)的靈活性、更多的數(shù)據(jù)源12元數(shù)據(jù):延伸Oracle外部表CREATETABLE

movielog

(

clickVARCHAR2(4000))ORGANIZATIONEXTERNAL(TYPEORACLE_HIVE

DEFAULTDIRECTORY

DEFAULT_DIRACCESSPARAMETERS(com.oracle.bigdata.tablenamelogscom.oracle.bigdata.clustermycluster))REJECTLIMITUNLIMITED;新型態(tài)的外部表ORACLE_HIVE(使用

hive元數(shù)據(jù))ORACLE_HDFS(指定元數(shù)據(jù))大數(shù)據(jù)參數(shù)獲取Hadoop集群遠(yuǎn)程

Hive數(shù)據(jù)庫/表DBMS_HADOOPPackage用于自動(dòng)導(dǎo)入13智能外部表ExternalTableOracleTableHDFSData可定義:可獲得:數(shù)據(jù)表名自動(dòng)發(fā)現(xiàn)Hive表的元數(shù)據(jù)metadata定義Oracle數(shù)據(jù)類型自動(dòng)將數(shù)據(jù)從Hadooptypes轉(zhuǎn)化成Oracle數(shù)據(jù)庫類型從任意的InputFormat自動(dòng)轉(zhuǎn)換任意的查詢并行度在Hadoopcluster上并行執(zhí)行

存儲(chǔ)層14BigDataSQL:Hadoop

的另一個(gè)處理引擎文件系統(tǒng)

(HDFS)NoSQL數(shù)據(jù)庫(OracleNoSQLDB,Hbase)資源管理(YARN,cgroups)處理層MapReduceandHiveSparkImpalaSearchBigDataSQL元數(shù)據(jù)存儲(chǔ)Hadoop上的智能掃描:優(yōu)化性能15DataNodeDiskBigDataSQL服務(wù)ExternalTableServicesSmartScan“Oracle服務(wù)位于上層”應(yīng)用謂詞過濾列投影（列過濾）半結(jié)構(gòu)化數(shù)據(jù)解析（XML、JSON）“Hadoop服務(wù)位于底層”貼近數(shù)據(jù)進(jìn)行處理工作使用Hadoopclasses實(shí)現(xiàn)SchemaOnRead轉(zhuǎn)換為Oracle數(shù)據(jù)格式BigDataSQL數(shù)據(jù)流DisksDataNodeBigDataSQLAgentExternalTableServicesSmartScanRecordReaderSerDe101100101011001010110010123從HDFS數(shù)據(jù)節(jié)點(diǎn)讀取數(shù)據(jù)直接路徑讀取盡可能使用基于C編寫的reader否則使用Hadoop原生的classes將數(shù)據(jù)翻譯轉(zhuǎn)換為Oracle數(shù)據(jù)格式對(duì)Oracle格式數(shù)據(jù)應(yīng)用智能掃描SmartScan謂詞過濾列投影語法解析JSON/XMLBigDataSQL位于任何數(shù)據(jù)的頂層

1717任何類型的文件InputFormat創(chuàng)建分割/n/n/n/nRecordReader創(chuàng)建記錄SerDe創(chuàng)建屬性

BigDataSQL轉(zhuǎn)換數(shù)據(jù)

&

智能掃描Hive元數(shù)據(jù)BigDataSQL細(xì)胞解析

18輸出輸入流數(shù)據(jù)轉(zhuǎn)換Exadata存儲(chǔ)服務(wù)器軟件起源BigDataSQL細(xì)胞解析

19智能掃描輸入輸出流數(shù)據(jù)轉(zhuǎn)換轉(zhuǎn)換成Oracle文件快格式應(yīng)用智能掃描及其他調(diào)優(yōu)工具OracleBigDataSQL存儲(chǔ)索引存儲(chǔ)索引可以通過減少HDFS數(shù)據(jù)塊的IO實(shí)現(xiàn)查詢屠蘇SQL查詢中的列通過外部表定義映射到HDFS文件每個(gè)HDFS數(shù)據(jù)塊中，所定義字段的最小和最大值保存在存儲(chǔ)索引中20HDFSField1,Field2,10011010104511091043100110451609104311455190912430130101045019092043Field3,…,FieldnHDFSBlock1(256MB)HDFSBlock2(256MB)IndexB1–Movie_IDMin:1001Max:1609B2–Movie_IDMin:1909Max:13010Example:

查找MOVIE_ID為1109的所有打分??21謂詞下推DataNodeBigDataSQLAgentExternalTableServicesSmartScanDataNodeBigDataSQLAgentExternalTableServicesSmartScanSELECTticker,AVG(price)OVER(PARTITIONBYtickerORDERBYmnth)asavg_priceFROMstock_pricesWHEREmnth<:xANDmnth>:yANDstx_xchange=:zORDERBYmnthWHEREmnth<:xANDmnth>:yANDstx_xchange=:zSELECTticker,price,mnthWHEREmnth<:xANDmnth>:yANDstx_xchange=:zOracle數(shù)據(jù)庫將SQL查詢語句的謂詞條件發(fā)送到Hadoop層（包括綁定變量）用于數(shù)據(jù)過濾Parquet/ORC文件格式的過濾Hive分區(qū)修剪HbaseSubscan再通過智能掃描SmartScan過濾出滿足條件的行BigDataSQL效能特征

22減少IO的使用帶來了綜合性效能提升的效果100TB使用者查詢分區(qū)裁剪10TB1存儲(chǔ)索引1TB2謂詞下推100GB3BigDataSQL安全特征

Hadoop安全ACL’s|Sentry|HDFS加密

|動(dòng)態(tài)加密BigDataSQL安全特征

相同的數(shù)據(jù)安全模塊應(yīng)用于更廣泛的數(shù)據(jù)存儲(chǔ)先進(jìn)的特性如:數(shù)據(jù)編輯,目前已經(jīng)可以應(yīng)用在不同數(shù)據(jù)源之間的結(jié)合Oracle安全層建構(gòu)在現(xiàn)有

Hadoop功能之上Hadoop安全ACL’s|Sentry|HDFS加密

|動(dòng)態(tài)加密(Hive)分區(qū)裁剪在查詢運(yùn)行之前讀取

Hive目錄跟裁剪分區(qū)12.2–利用Oracle數(shù)據(jù)庫元數(shù)據(jù)優(yōu)化分區(qū)裁剪目的:消除不必要的IO損耗存儲(chǔ)索引維護(hù)元數(shù)據(jù)元素以標(biāo)記文件塊,減少不必要IO使用目的:消除不必要的IO損耗智能掃描最終過濾以確保只有被請(qǐng)求的數(shù)據(jù)元素會(huì)被傳送到Oracle數(shù)據(jù)庫目的:消除不必要的數(shù)據(jù)移動(dòng)BloomFiltering(布隆過濾器)聯(lián)接轉(zhuǎn)換成布隆過濾器并下推到Hadoop節(jié)點(diǎn)目的:連接優(yōu)化和本地化謂詞和

ColumnProjection下推下推查詢?cè)氐轿募鏟arquet跟

ORC目的:減少優(yōu)化文件格式所產(chǎn)生不必的IO消耗安全應(yīng)用

Oracle數(shù)據(jù)庫安全策略到非Oracle數(shù)據(jù)存儲(chǔ)上目的:啟動(dòng)高效安全特性25BigDataSQL主要特征

OracleBigDataSQL能支持的平臺(tái)Version3.026BigDataSQL支持的平臺(tái)27XBBigDataSQLCloudServiceor1、BigDataSQL運(yùn)行在Oracle集成系統(tǒng)平臺(tái)Exadata運(yùn)行Oracle數(shù)據(jù)庫

以上

版本，BDA運(yùn)行CDH5.5以上版本智能掃描SmartScan支持所有的數(shù)據(jù)通過Infiniband網(wǎng)絡(luò)提供極致性能BDA是專門為海量數(shù)據(jù)處理而優(yōu)化的Hadoop部署方式28BigDataSQL2、BigDataSQL運(yùn)行在通用硬件平臺(tái)12c+集成平臺(tái)BDA采用通用x86硬件運(yùn)行Oracle數(shù)據(jù)庫

以上

版本，BDA運(yùn)行CDH5.5以上版本利用OracleSQL進(jìn)一步增強(qiáng)BDAHadoop平臺(tái)的能力BDA是專門為海量數(shù)據(jù)處理而優(yōu)化的Hadoop部署方式29BigDataSQL3、BigDataSQL運(yùn)行在通用硬件平臺(tái)支持Linux操作系統(tǒng)上的Oracle數(shù)據(jù)庫12c（

以上

）+Cloudera（CDH5.5以上）或者Hortonworks（HDP2.3以上）的Hadoop利用OracleSQL增強(qiáng)Hadoop平臺(tái)的能力激活Hadoop上長期保存的歸檔數(shù)據(jù)，縮短將數(shù)據(jù)轉(zhuǎn)換為業(yè)務(wù)價(jià)值的時(shí)間30BigDataSQL4、BigDataSQL運(yùn)行在Oracle公有云Linux操作系統(tǒng)上的Oracle數(shù)據(jù)庫12c+ClouderaHadoop利用OracleSQL增強(qiáng)Hadoop平臺(tái)的能力激活Hadoop上長期保存的歸檔數(shù)據(jù)，縮短將數(shù)據(jù)轉(zhuǎn)換為業(yè)務(wù)價(jià)值的時(shí)間31XBBigDataSQLCloudService5、BigDataSQL運(yùn)行在