1、從自動化到智能化的數(shù)據(jù)庫技術(shù)變革數(shù)據(jù)價值 智勝未來IT變革，驅(qū)動業(yè)務(wù)創(chuàng)新 時代背景和挑戰(zhàn)新經(jīng)濟(jì)背景下時代變革和挑戰(zhàn)云化互聯(lián)，移動共享移動互聯(lián)網(wǎng)無處不在，推動了各行業(yè)的快速發(fā)展變革；快速迭代和資源共享，使得云技術(shù)成為基礎(chǔ)設(shè)施標(biāo)準(zhǔn)；數(shù)據(jù)驅(qū)動，跨界融合互聯(lián)網(wǎng)企業(yè)業(yè)務(wù)傳統(tǒng)化 互聯(lián)網(wǎng)+金融：傳統(tǒng)到互聯(lián)網(wǎng) 支付寶、余額寶、微信紅包；傳統(tǒng)企業(yè)業(yè)務(wù)互聯(lián)網(wǎng)化 - +互聯(lián)網(wǎng)交通：12306，智慧城市，共享單車；數(shù)據(jù)真正開始驅(qū)動業(yè)務(wù)革新；智慧智能，自動自治在瞬息萬變的競爭環(huán)境之下，在海量數(shù)據(jù)積累之下，人工智能開始用武；以自動化、自治技術(shù)降低成本，以智慧智能替代有限的人力；言論 國家層面習(xí)近平：打造一批新型主流媒體強(qiáng)

2、化互聯(lián)網(wǎng)思維，推動傳統(tǒng)媒體和新興媒體深度融合2015年1月4日下午，李克強(qiáng)總理視察前海微眾銀行， “希望你們在普惠金融的發(fā)展方面，不僅自己 能殺出一條路來，而且能為其它企業(yè)提供經(jīng)驗，現(xiàn)在希望用你們的方式來倒推傳統(tǒng)金融的改革。”云數(shù)據(jù)智能移動共享極致體驗端到端的優(yōu)化核心組件極致優(yōu)化技術(shù)上：交付快商務(wù)上：交付快云化互聯(lián)，移動共享 企業(yè)技術(shù)環(huán)境變化云化互聯(lián)， 銀行業(yè)務(wù)的離柜率達(dá)到84%；民生銀行離柜業(yè)務(wù)率居首 達(dá) 99.27%；快速交付 創(chuàng)意為王，唯快不破；技術(shù)和商務(wù)都要求極速；端到端體驗優(yōu)化應(yīng)用SQL審核優(yōu)化自主可控：開源+人員云化+開發(fā)運維一體（DevOps）云化互聯(lián)，移動共享 互聯(lián)網(wǎng)+引發(fā)技術(shù)

3、變革金融技術(shù)平臺數(shù)據(jù)服務(wù)/事務(wù)復(fù)合規(guī)則/模型計算服務(wù)提供服務(wù)集成微服務(wù)化快速、動態(tài)接入能力 運營與管控能力 服務(wù)質(zhì)量管理實時、同步的復(fù)合處理 強(qiáng)一致性控制多參與者的復(fù)雜復(fù)合邏輯高并發(fā) 高事務(wù)率 高精確性 強(qiáng)一致性 零丟失基于海量數(shù)據(jù)的計算 實時/準(zhǔn)實時的計算 精確的計算安全 靈活 易用服務(wù)質(zhì)量DevOps研發(fā)運維模式持續(xù)交付技術(shù)進(jìn)步使得行業(yè)變革成為可能數(shù)據(jù)驅(qū)動利潤受阻，成本管控；效率提升規(guī)模集中數(shù)據(jù)集中， 統(tǒng)一視圖數(shù)據(jù)分析， 洞察商機(jī)數(shù)據(jù)驅(qū)動，跨界融合 企業(yè)業(yè)務(wù)環(huán)境變化跨界融合， 跨界融合潮流勢不可擋，競爭壓力倍增；成本和創(chuàng)新需求，彰顯數(shù)據(jù)驅(qū)力；互聯(lián)網(wǎng)、制造業(yè)、金融循環(huán)相加，跨維進(jìn)入傳統(tǒng)企業(yè)利

4、潤增長受阻， 精細(xì)化成本、TCO管控；業(yè)務(wù)創(chuàng)新， 業(yè)務(wù)創(chuàng)新、轉(zhuǎn)型升級的挑戰(zhàn)；數(shù)據(jù)驅(qū)動； 數(shù)據(jù)成為新的核心驅(qū)動力；自動化整合集中數(shù)據(jù)平臺數(shù)據(jù)分析消費用戶-2000萬消費用戶 5億旅行用戶1000萬生活用戶1.5億出行用戶1 億音樂用戶2000萬社交用戶 5億社交用戶-3000萬阿里金融交易數(shù)據(jù)分析 進(jìn)行個人授信誠信通企業(yè)授信開小微企業(yè)貸款個人消費信用由接口授權(quán) 改善第三方領(lǐng)域誠信問題數(shù)據(jù)積累與聚集運營數(shù)據(jù)與增值數(shù)據(jù)驅(qū)動，跨界融合 - DT 時代安全穩(wěn)定軟件安全業(yè)務(wù)連續(xù)數(shù)據(jù)安全智能自治全局思維前置思維智能運維智能業(yè)務(wù)智慧智能，自動自治 企業(yè)變革版本管理高可用、容災(zāi)數(shù)據(jù)安全審計從分管到統(tǒng)管，前置優(yōu)化

5、自動化、智能化智慧智能，競爭：移動互聯(lián)、跨界融合，雙重力量疊加； 增效：以人工智能、自動化進(jìn)行提效降成本；自動自治智慧智能，自動自治 - 數(shù)據(jù)的自由流動數(shù)據(jù)的開放互通數(shù)據(jù)資產(chǎn)流動性Gross Data Product在云端用人工智能 處理大數(shù)據(jù)百花齊放 數(shù)據(jù)時代的中國機(jī)遇MySQL的中國創(chuàng)新：PolarDB 和 TDSQL從商用到開源：Oracle 和 MySQL 并駕齊驅(qū)開源數(shù)據(jù)庫：百花齊放，蓬勃發(fā)展，自由選擇國產(chǎn)數(shù)據(jù)庫：從OLTP 到 OLAP，從商用到開源國 際國內(nèi)讓我們?yōu)橹袊鴶?shù)據(jù)庫鼓掌！Oracles Vision for Autonomous DatabaseSelf-Driving

6、 自動駕駛 User defines service levels, database makesthem happenSelf-Securing 自動安全 Protection from both external attacks and malicious internal usersSelf-Repairing 自我修復(fù) Automated protection from all downtime12Autonomous DatabaseOracle Database 9i, 10gAutomatic Storage Management (ASM)Automatic Memory Ma

7、nagementAutomatic DB Diagnostic Monitor (ADDM)Automatic Workload Repository (AWR)Automatic Undo tablespacesAutomatic Segment Space ManagementAutomatic Statistics GatheringAutomatic Standby Management (Broker)Automatic Query RewriteOracle Database 11g, 12cAutomatic Diagnostic FrameworkAutonomous Heal

8、th FrameworkAutomatic Workload ReplayAutomatic Capture of SQL MonitorAutomatic Refresh of Database CloningAutomatic Data OptimizationAutomatic Storage IndexesAutomatic Columnar CacheAutomatic SQL Tuning進(jìn)化：從自動化到自治數(shù)據(jù)庫Oracle 自9i開始引入大量自動化特性，持續(xù)推進(jìn)數(shù)據(jù)庫自我管理Web Apps 1-nStandby DatabaseActive Data GuardPrimary

9、DatabaseSYNCASYNCOracle數(shù)據(jù)庫的讀寫分離通過Data Guard技術(shù)快速擴(kuò)展讀性能在11g支持最高 30 個ADG可讀備庫主備庫之間的數(shù)據(jù)一致性得到確保；No restrictions on data types or indexes usedReplication keeps pace with peak workloadHigh AvailabilityRead access 24x7x365Reader farm transparently transitions tonew primary at failover timeLo ad Ba l anceOracle

10、 11.1.0.7讀寫分離：源自O(shè)racle 11g的自動改進(jìn)蘋果公司的應(yīng)用案例：/au/products/database/311400-01-132521.pdf進(jìn)化：12.2 ADG 在切換過程中連接保持Fast FailoverADG 上的只讀會話在切換期間Read-onlysessions connected to Active Data Guard will在 Failover / Switchover 過程中保持連接Remain connected during the failover/switchover當(dāng) ADG 成為主庫后由只讀切換為讀寫模式 Become read/wr

11、ite after Active Data Guard becomes the primary極大縮減了切換后的連接風(fēng)暴Dramatically reduces brownout due to reconnect storm after failover Another reason to use Active Data Guard (instead of DataGuard)Read/WriteReadRead/WritePrimaryStandbyStandbyConfidential Oracle Internal在備庫上發(fā)出的DML操作自動重定向到主庫執(zhí)行，不影響ACID DML Re

12、- direction automatically performed from Active Data Guard standby to the Primary without compromising ACID在 ADG 上發(fā)出的 DML 重定向到主庫執(zhí)行，備庫等待主庫日志傳遞到備庫并應(yīng)用Standby ADG session waits for updates to show up on ADG via redo apply在事務(wù)提交之前，DML 操作數(shù)據(jù)僅對操作會話可見DML data re-directed by an ADG session is only visible to t

13、hat session before commit重定向的DML在提交之后，對所有會話可見DML data re-directed is visible to all sessionsafter ADG session commits通過設(shè)置初始化參數(shù)可以啟用這個特性Enabled by setting parameter_enable_proxy_adg_redirect=TRUE and appropriate connectivity parametersRespects ACID properties of a database for ADG session針對以讀為主但是偶有更新的

14、應(yīng)用設(shè)計Targeted for “Read Mostly Occasional Updates” applications16進(jìn)化：18c ADG 中執(zhí)行 DML 操作的自動轉(zhuǎn)發(fā)Fault Tolerant水平擴(kuò)展最高達(dá)到1，000個數(shù)據(jù)分片，每個分片包含一個數(shù)據(jù)子集；可以通過在線增加Shards擴(kuò)展數(shù)據(jù) 庫的吞吐能力；分布式軟硬件隔離故障的影響 度；用戶可以基于性能、災(zāi)備等原因自定義 數(shù)據(jù)的擺放；支持?jǐn)?shù)據(jù)分片的在線 Split 和rebalance；不同的Shards可以運行不同的Oracle數(shù)據(jù)庫版本；對于用戶設(shè)計的OLTP應(yīng)用，進(jìn)行自動的數(shù)據(jù)分片Geographic Distribut

15、ionLinear Scalability分片：從集中式到分布式的功能演進(jìn)內(nèi)存分片： Sharded RAC的集群數(shù)據(jù)庫將分片能力引入到RAC集群實例中 Affinitizes shards to RAC instances指定了分區(qū)鍵值的SQL查詢將被路由到特定的實例 Requests that specify sharding key will be routed to the RAC instance that logically holds the shard分區(qū)可以避免競爭減少跨實例的訪問Affinity gives better cache utilization and redu

16、ced block pings across instances不包含分區(qū)鍵值的請求會透明的被處理 Requests that dont specify sharding key still work transparently以最小的應(yīng)用改變提供分布式性能Gives ShardedDatabase performance with minimal application changesJust add sharding key to the most performance intensive operationsHigher performance for shard-aware RAC

17、applicationsOracle RAC DatabaseInstance 1 Partition P1Instance 2 Partition P2Instance 3 Partition P3從 Oracle RAC 12.2 開始，可以通過Leaf Nodes / Reader Nodes 來承載只讀查詢 請 求 - Starting with Oracle RAC 12c Rel. 2, it is now possible to run read-only workloads on instances running on Leaf Nodes/Reader Nodes在此情況下

18、，葉節(jié)點需要連接到存儲設(shè)備This requires that Leaf nodes be connected tostorage *讀節(jié)點失效并不影響數(shù)據(jù)庫的活動，可以 很容易擴(kuò)展上千的讀節(jié)點 A Reader Node failure does not impact the overall database activity, making it easy to scale to hundreds of nodes.DSS Services on Reader NodesOLTP Serviceson Hub Nodes只讀節(jié)點：Flex Cluster 和 Leaf NodesOracl

19、e 18c Autonomous DatabaseLess time on AdministrationLess time on infrastructureLess time on patching, upgradesLess time on ensuring availabilityLess time on tuningMore time on InnovationMore time on database designMore time on developing new appsMore time on data analyticsMore time on securing dataC

20、hallenge: There are more data management tasksthan humans to do the workLarry Ellison: 智能化時代的DBA開發(fā)運維數(shù)據(jù)庫云和恩墨的愿景：全流程的自動化和智能化以數(shù)據(jù)驅(qū)動，做端到端的數(shù)據(jù)資產(chǎn)管理引領(lǐng)者數(shù)據(jù)庫的自治是一個漸進(jìn)的過程，需要持續(xù)不斷的技術(shù)進(jìn)步；數(shù)據(jù)庫開發(fā)、部署、運維，需要全流程的、端到端的優(yōu)化，才能確保數(shù)據(jù)庫穩(wěn)定自治。zData分布式存儲解決方案采用X86架構(gòu)的分布式存儲，實現(xiàn)高吞 吐、低延時，最佳的數(shù)據(jù)庫運行平臺， 支持Vmware虛擬化、支持Windows。融合IB、閃存和SDS于一體的基礎(chǔ)平臺；

21、超百萬的IOPS和數(shù)十GB/s的吞吐量； 私有云 DBaaS 平臺的最佳支撐平臺； 從數(shù)據(jù)庫到通用的存儲支撐平臺；發(fā)布：zData 2.0 支持通用數(shù)據(jù)庫的SDS高性能一體化，從支持 Oracle 到支持 MySQL 等通用數(shù)據(jù)庫產(chǎn)品數(shù)據(jù)庫云:基礎(chǔ)設(shè)施zData案例北京電信數(shù)據(jù)庫加速方案提升電信經(jīng)分系統(tǒng)能力，響應(yīng)市場的快速變化客戶的收益系統(tǒng)有靈活的擴(kuò)展性和開放性系統(tǒng)性能總體提升4倍以上擴(kuò)展簡單無需宕機(jī)，同時性能線性增長比較陳舊的小型機(jī)和存儲，成本只是1/3將數(shù)據(jù)庫部署、監(jiān)控、巡檢、備份、高 可用等功能融于一體，實現(xiàn)數(shù)據(jù)庫企業(yè) 管控一體化。多數(shù)據(jù)庫統(tǒng)一管理，Oracle、MySQL自動化的安裝、

22、部署、維護(hù)、巡檢等； 內(nèi)置智能巡檢、SQL推薦優(yōu)化引擎； 支持 zData 基礎(chǔ)設(shè)施和通用云設(shè)施；發(fā)布：zCloud 數(shù)據(jù)庫云管平臺數(shù)據(jù)庫云:平臺管理融合部署、監(jiān)控、運維、優(yōu)化于一體的智能云管平臺zCloud數(shù)據(jù)庫云管平臺云:基礎(chǔ)設(shè)施ZONE數(shù)據(jù)庫運行監(jiān)控平臺輕量級的數(shù)據(jù)庫監(jiān)控軟件，無需Agent、無需DBA權(quán)限，支持自定義監(jiān)控、巡 檢和SQL審核。輕量級，免Agent，最低權(quán)限需求；支持自定義監(jiān)控項、自定義巡檢項；支持工作臺、工具箱，內(nèi)置常用維護(hù)SQL；實現(xiàn)監(jiān)視和控制的一體化工作平臺；發(fā)布：ZONE 4.0 運行監(jiān)控平臺輕量級、免代理、低權(quán)限、可定制的數(shù)據(jù)庫監(jiān)控平臺數(shù)據(jù)庫數(shù)據(jù):運行監(jiān)控云:基

23、礎(chǔ)設(shè)施云:平臺管理數(shù)據(jù):運行監(jiān)控zKui數(shù)據(jù)庫安全審計基于數(shù)據(jù)庫的審計日志分析，輕量級的安全防護(hù)，即時的分析、展示、預(yù)警。基于Oracle數(shù)據(jù)庫的審計日志；實習(xí)的解析、分析、展示和預(yù)警； 有效的防范數(shù)據(jù)庫的惡意攻擊； 深度審計綁定變量等信息；發(fā)布：zKui 數(shù)據(jù)庫安全審計產(chǎn)品快速的審計日志分析，即時的分析、展示和預(yù)警數(shù)據(jù):安全審計云:基礎(chǔ)設(shè)施數(shù)據(jù)庫云:平臺管理MZ3SQL審核平臺在開發(fā)環(huán)節(jié)對SQL質(zhì)量進(jìn)行管控，防范上線后的性能風(fēng)險，支持Oracle、MySQL等異構(gòu)數(shù)據(jù)庫。將運維經(jīng)驗推進(jìn)到開發(fā)環(huán)節(jié)進(jìn)行防控； 是DevOps理念的數(shù)據(jù)庫實踐；通過自動化的過程實現(xiàn)最佳的性價比；向智能優(yōu)化算法推薦演

24、進(jìn)；發(fā)布：MZ3 SQL審核平臺MySQL版本集成DevOps理念的最佳實踐，支持Oracle、MySQL數(shù)據(jù)庫數(shù)據(jù)庫智能:開發(fā)審核云:基礎(chǔ)設(shè)施云:平臺管理數(shù)據(jù):運行監(jiān)控數(shù)據(jù):安全審計應(yīng)用詳SQL審核規(guī)則采緯信芯OrneleMySQL百核對象 O 不陰 O 奴 L Q 數(shù)據(jù)字典SQL文本提示 已 警告/匾宙權(quán)現(xiàn)ll!IJ侄用役期搜索彩響枉：I至詢1 - 1市 一 D編號。2。3。4。5D6D7。8影響程度觀則名投則描述審核對象（雙擊修改）拭值違議使用select *邸 lecl 語句中霜使用具體列名SQL 阻 讓 文本1提示圭豆立空執(zhí)行計劃中出見笛卡爾積司胚缺少遷棧條件，導(dǎo) 致SOL使用笛卡爾

25、積的方式進(jìn)行遷捂SOL 沁 心c本 撾示至至豆存在多層次嵌它嵌右深皮超過2層（層次可目定義）SOl SQ汶 本1撾平DML話句缺少w心心條件up中心 、d11I色t e話句缺少w比 九條件，存 在討誤霓豜全表佽捉的風(fēng)險SQL SQ戲 本 嚴(yán)至豆豆互在查詢列上使用表達(dá)式在查詢列上侄用表達(dá)五 ， 可能會導(dǎo)飲無法使用列上的索引影晌SQL性能SOL SQLJZ本1誓已巠Insert 語句缺少 列信息使用INSERTINCfO t_)I心 YALUES()OO(jSOL SQL文本1管倉旦旦使用左侯閃查詢使用左侯問查詢， 類似： lik.1 %.lb . 會8 致SOL無法便11l 索引SQ!_ SQ心 ：本1苦色豆互多個條件可邁詢多個條仵”還詢可能會導(dǎo)致S 斗無 法便用正確的瑩引SOL SO這 本）提示DD。12使用標(biāo)員于查詢禁止在SQL使用行員子查詢S01. SQL文本1搜示旦空D。15S QL中包含hint文本中包含汕l l, 該hint對應(yīng)的執(zhí)行計劃可能是有只險的SQL 伶QL文本1提示圭圭。16使用嵌行子查詢使用嵌君子查詢SOL (SO 攷 it:捉示竺立D旦五。18使用反向查詢wh.,.,子 句使用巨 、not in. not xisto、 心 t lik以 及not等SQL 沁 改 本1撾示五立