1、Oracle數(shù)據(jù)庫的DevOps實踐技術(shù)創(chuàng)新，變革未來Oracle 2015: All About CloudIntegratedEasy Migra/on Security Oracle 2014: All About Cloud Microso+ Market vision: consists ofNoSQL (Azure DocumentDB and Azure Tables), cloud oerings (including hybrid cloud) Its vision for in-memorycompuMng across products, hybrid cloud imp

2、lementaMons and a cloud rst strategy is ahead of its compeMtors.Cloud：改變數(shù)據(jù)庫領(lǐng)域競爭格局云上的競爭，改變數(shù)據(jù)領(lǐng)域格局。Source: Gartner (October 2015)Magic Quadrant for OperaMonal Database Management SystemsAmazon Web Services (AWS) oers the Amazon RelaMonal Database Service (RDS, for Aurora, Microso+ SQL Server, MySQL, Or

3、acle and PostgreSQL) and Amazon DynamoDB (a NoSQL document and key-value DBMS). Oracle全堆棧：不斷的革新 走進云時代InfrastructureInfrastructure as a Service (IaaS)PlaWormPlaWorm as a Service (PaaS)AppsSo+ware as a Service (SaaS)592SaaS Cloud Applica/ons70M+Users/Day33B+Transac/ons/Day19 of 20Top Cloud Providers R

4、un onOracle24Cloud PlaLorm ServicesDevelopers Worldwide 9M+Cloud DBA：自后向前置的運維轉(zhuǎn)變 DevOps：開發(fā)和運維磕磕碰碰“Code is wri*en.its your problem now”Hey Ops - Heres our code.good luck! DevOps：從全局視角看運維DevPaid to add new featuresDevOpsOpsPaid to keep system stable, fastand availableNew goal:Add new features and keep

5、the system stable, fast and availableCultural movement enabled by technology DevOps：從全局視角看運維引自：王津銀 精益運維論Dev與Ops沖突的根源、表現(xiàn)形式及其解決方案 拆墻：研發(fā)運維團隊把彼此的作 用力觸達(dá)到對方，感受到彼 此的要求和能力；換舞臺：把底層的舞臺給換了，“經(jīng)濟基礎(chǔ)決定上層 建筑”，底層換了，上面的 思路也就隨之變化。云帶來的數(shù)據(jù)庫運維改變 云帶來的數(shù)據(jù)庫運維改變運維DBA也被稱為“系統(tǒng)DBA”，更專注于數(shù)據(jù)庫本身及相關(guān)技術(shù)體系，需要熟 悉DB、OS、網(wǎng)絡(luò)、硬件，職責(zé)包括數(shù)據(jù)庫安裝、備份、監(jiān)控、

6、診斷等 工作，還負(fù)責(zé)提出數(shù)據(jù)庫性能優(yōu)化方案、高可用方案等基礎(chǔ)性工作。產(chǎn)品DBA有時也被稱為“開發(fā)DBA”，通常要求熟悉業(yè)務(wù)邏輯，了解業(yè)務(wù)架構(gòu)，參 與業(yè)務(wù)模型設(shè)計、數(shù)據(jù)架構(gòu)規(guī)劃，進行SQL審核，甚至要負(fù)責(zé)復(fù)雜邏輯 SQL開發(fā)。 DevOps 最佳實踐：輔助開發(fā)SQL審核基于前端開發(fā)的SQL審核服務(wù) 實現(xiàn)優(yōu)化前置SQL是一項專業(yè)的技能 Oracle SQL Language Reference 2000 頁由于開發(fā)人員的技能差異、變化頻繁，很多SQL隱患在開發(fā)環(huán)節(jié)被埋入系統(tǒng)；SQL審核通過專業(yè)的工具和SQL專家服務(wù)，守住上線關(guān)卡，實現(xiàn)規(guī)范落地；300%SQL執(zhí)行效率大幅提升 應(yīng)用系統(tǒng)效率大幅提升

7、系統(tǒng)資源充分利用SQL中子查詢使用的是否合理表連接方式及順序是否合理執(zhí)行計劃是否有效SQL編寫是否符合統(tǒng)一標(biāo)準(zhǔn)通過對其進行綜合性的分析，設(shè)計出最佳索引。實現(xiàn)以最少的索引個數(shù)滿足最多讀取要求的目標(biāo)。SQL審核SQL開發(fā)SQL培訓(xùn)線上SQL以表為單位，搜集SQL的Access Path。審核優(yōu)化 案例一：從Dev細(xì)微處提煉Ops規(guī)則WHEREt.dict_kind = investobj ANDtrim(t.dict_key) IN(41)不一致 大道至簡 從基本的語法語義出發(fā)SELECTt.* FROMt_dict t查詢條件與列類型select t.* from t_dict tWHERE t

8、.dict_kind = investobj AND trim(t.dict_key) IN (41)select t.* from t_dict tWHERE t.dict_kind = investobj AND trim(t.dict_key) IN (41)重寫select t.* from t_dict tWHERE t.dict_kind = investobj AND trim(t.dict_key) IN (41)select t.* from t_dict tWHERE t.dict_kind = investobj AND t.dict_key IN (41)重寫大道至簡

9、從基本的改寫優(yōu)化出發(fā)重寫1:保證傳入值類型與列定義一致 案例一：從Dev細(xì)微處提煉Ops規(guī)則規(guī)則一：確保參數(shù)類型一致，避免不必要的隱式轉(zhuǎn)換；重寫2:修復(fù)表tsys_dict_item字段dict_item_code數(shù)據(jù)，去除空格，SQL上去掉trim函數(shù)規(guī)則二：確保數(shù)據(jù)標(biāo)準(zhǔn)化和必要清洗，避免進一步的函數(shù)處理；案例二：Dev 編寫不規(guī)范引發(fā)Ops故障 在大規(guī)模的開發(fā)團隊，規(guī)范的制定、貫徹與落實，都面臨著巨大的挑戰(zhàn)。子查詢和父查詢使用了相同的表別名，導(dǎo)致查詢 歧義，結(jié)果集錯誤，笛卡爾積；規(guī)則三：同一SQL查詢，避免出現(xiàn)同樣的對象別名，防范錯誤關(guān)聯(lián)；案例三：從Dev SQL逆向推理應(yīng)用架構(gòu)單條SQL

10、引發(fā)雪崩-導(dǎo)致系統(tǒng)不可用 案例三：從Dev SQL逆向推理應(yīng)用架構(gòu)FOR UPDATE鎖表？LOCAL索引訪問效率低？ROWNUM綁定變量的值改變？ COUNT STOPKEY沒有生效？ PARTITION HASH ALLSELECT UNICARD_NO FROM TF_R_UNICARDWHERE PRESENT_TAG = 0AND LIMIT_DATE + 0 SYSDATE + 90 AND UNICARD_STATE|NULL = 0AND UNICARD_VALCODE|NULL = :B3AND ROWNUM = :B2 AND RESERVED1 = :B1AND (RES

11、ERVED2 99 OR RESERVED2 IS NULL) FOR UPDATELIMIT_DATE + 0 SYSDATE + 90UNICARD_STATE|NULL = 0UNICARD_VALCODE|NULL = 04ROWNUM = 1RESERVED1 = 0422(RESERVED2 99 OR RESERVED2 IS NULL) ;selectedLIMIT_DATE + 0 SYSDATE + 90UNICARD_STATE|NULL = 0UNICARD_VALCODE|NULL = 04ROWNUM = 1RESERVED1 = 0422(RESERVED2 99

12、 OR RESERVED2 IS NULL) ;electedLIMIT_DATE + 0 SYSDATE + 90UNICARD_STATE|NULL = 0UNICARD_VALCODE|NULL = 04ROWNUM = 1RESERVED1 = 0422(RESERVED2 99 OR RESERVED2 IS NULL) ;selectedSQL SELECT UNICARD_NO2FROM UCR_CARD_01.TF_R_UNICARD PARTITION(P1)3WHERE PRESENT_TAG = 04AND SQL SELECT UNICARD_NO5AND2FROM U

13、CR_CARD_01.TF_R_UNICARD PARTITION(P2)6AND3WHERE PRESENT_TAG = 07AND4ANDSQL SELECT UNICARD_NO8AND5AND2FROM UCR_CARD_01.TF_R_UNICARD PARTITION(P3)9AND6AND3WHERE PRESENT_TAG = 07AND4ANDno rows8AND5AND SQL SELECT UNICARD_NO9AND6AND2FROM UCR_CARD_01.TF_R_UNICARD PARTITION(P4)3WHERE PRESENT_TAG = 07AND4AN

14、D LIMIT_DATE + 0 SYSDATE + 90 no rows s8AND5AND UNICARD_STATE|NULL = 09AND6AND UNICARD_VALCODE|NULL = 047AND ROWNUM = 1no rows8AND RESERVED1 = 04229AND (RESERVED2 99 OR RESERVED2 IS NULL) ;no rows selected案例三：數(shù)據(jù)架構(gòu)設(shè)計形成邏輯炸彈SQLSELECTUNICARD_NO2FROMUCR_CARD_01.TF_R_UNICARDPARTITION(P5)3WHEREPRESENT_TAG=

15、04ANDLIMIT_DATE+0SYSDATE+905ANDUNICARD_STATE|NULL=06ANDUNICARD_VALCODE|NULL=047ANDROWNUM=18ANDRESERVED1=04229AND(RESERVED299ORRESERVED2ISNULL);UNICARD_NO- 13XXXXXXXXXXXX 案例三 調(diào)整索引縮減數(shù)據(jù)訪問范圍SQL ALTER SESSION FORCE PARALLEL DDL;Session altered.SQL CREATE INDEX IND_UNICARD_RES_VALCODE_DATE ON TF_R_UNICARD

16、2(RESERVED1, UNICARD_VALCODE|NULL, UNICARD_STATE|NULL, LIMIT_DATE + 0) PARALLEL 8 ONLINE;Index created.SQL ALTER INDEX IND_UNICARD_RES_VALCODE_DATE NOPARALLEL;Index altered. DevOps 全生命周期管理 性能預(yù)警規(guī)則SQL ALTER SESSION FORCE PARALLEL DDL;Session altered.SQL CREATE INDEX IND_UNICARD_RES_VALCODE_DATE ON TF_

17、R_UNICARD2(RESERVED1, UNICARD_VALCODE|NULL, UNICARD_STATE|NULL, LIMIT_DATE + 0) PARALLEL 8 ONLINE;Index created.SQL ALTER INDEX IND_UNICARD_RES_VALCODE_DATE NOPARALLEL;Index altered.線性可擴展，性能弱衰減。 預(yù)警指標(biāo):邏輯讀/返回行數(shù)規(guī)則四：量度單行記錄返回效率，例如不超過 5，000 lr/row；案例四：Dev & Ops - 理解數(shù)據(jù) 理解索引SQL審核 去完成那20%最有價值的工作 全表掃描的原因并不單純

18、SQL審核 去完成那20%最有價值的工作全表掃描的原因并不單純案例四：Dev & Ops - 理解數(shù)據(jù) 理解索引規(guī)則五：在數(shù)據(jù)結(jié)構(gòu)設(shè)計時盡量避免日期的空值，DEFAULT值設(shè)定是可選項之一； SQL審核 去完成那20%最有價值的工作全表掃描的原因并不單純案例四：Dev & Ops - 空與不空 明心見性MOD(UNI_ID, 10) BETWEEN 6 AND 7潛在包含UNI_ID is not null 案例四：Dev & Ops - 空與不空 明心見性SQL審核 去完成那20%最有價值的工作全表掃描的原因并不單純MOD(UNI_ID, 10) BETWEEN 6 AND 7潛在包含UNI_ID is not nullDevOps 最佳實踐 從案例到規(guī)則 從規(guī)則到規(guī)范 從規(guī)范到工具云帶來的數(shù)據(jù)庫運維改變也被稱為“系統(tǒng)DBA”，更專注于數(shù)據(jù)庫本身及相關(guān)技術(shù)體系，需要熟 悉DB、OS、網(wǎng)絡(luò)、硬件，職責(zé)包括數(shù)據(jù)庫安裝、備份、監(jiān)控、診斷等 工作，還負(fù)責(zé)提出數(shù)據(jù)庫性能優(yōu)化方案、高可用方案等基礎(chǔ)性工作。運維DBA產(chǎn)品DBA通過開發(fā)自動化工具改善數(shù)據(jù)庫運維，提升 系統(tǒng)穩(wěn)定性；甚至通過修改源碼來解決問題；通常要熟悉業(yè)務(wù)邏輯，了解業(yè)務(wù)架構(gòu)，和架構(gòu)師一起參與業(yè)務(wù)模型設(shè)計、數(shù)據(jù)架構(gòu)規(guī)劃，進行SQL審核，甚至要負(fù)責(zé)復(fù)雜邏輯SQL開發(fā)。開發(fā)DBA DevOps 以自動化工具提升運維