1、DTCCC20111DM針對對大數(shù)據(jù)據(jù)量環(huán)境境下分析析型應(yīng)用的支支持方案案大綱一個實實際案例例挑戰(zhàn)和和解決方方案下一步步工作規(guī)規(guī)劃DTCCC20111DTCCC20111一個實際際案例案例簡介介DTCCC20111 海量量數(shù)據(jù) 基于于已有硬硬件投資資 單服服務(wù)器節(jié)節(jié)點 操作作庫和分分析庫合合并 以查查詢分析析為主，兼兼顧少量量數(shù)據(jù)維維護硬件與拓拓撲千兆交換換機DTCCC20111應(yīng)用服務(wù)務(wù)器數(shù)據(jù)匯總總文本數(shù)據(jù)源文本 Exxcell數(shù)據(jù)數(shù)據(jù)清洗洗與入庫數(shù)據(jù)庫服務(wù)器P5500Cpu x 44Mem 32GGBP5500Cpu x 44Mem 32GGB源源16 XX 1TTB SSASRAIDD

2、5文本數(shù)據(jù)源數(shù)據(jù)案例簡介介-數(shù)據(jù)DTCCC20111 以常常規(guī)數(shù)據(jù)據(jù)為主，主主要為數(shù)數(shù)值、字字符串、時間類型型 日增增長數(shù)據(jù)據(jù)量為約約56GG，3億條元元組 當(dāng)前前數(shù)據(jù)量量3TBB 最大大單表為為計費表表，目前前約1550億條條記錄 數(shù)據(jù)據(jù)保存220年后后歸檔為為歷史數(shù)數(shù)據(jù) 在線線數(shù)據(jù)規(guī)規(guī)模將超超過4000TBB典型業(yè)務(wù)務(wù)流程DTCCC20111 源數(shù)數(shù)據(jù)清洗洗入庫 分析析統(tǒng)計型型查詢 第一一步過濾濾的篩選選條件不不確定 試錯錯式的查查詢分析析過程，成成功后固固化，一一般包含含20多個個步驟 大規(guī)規(guī)模的連連接查詢詢、子查查詢、聯(lián)聯(lián)合查詢詢、數(shù)據(jù)據(jù)分組與與排序、臨時結(jié)果集集與臨時時表等 復(fù)雜雜S

3、QLL不多，但但IO非常常大 日常常數(shù)據(jù)維維護 手工工修改記記錄內(nèi)容容 批量量刪除 定期期維護案例需求求DTCCC20111 關(guān)鍵鍵在查詢詢性能 第一一個過濾濾步驟 篩選選字段由由用戶隨隨機定義義，因此此無法使使用索引引 一般般會得到到千萬級級別的結(jié)結(jié)果集 大量量的多表表連接查查詢 數(shù)據(jù)據(jù)裝載性性能 初始始入庫448億條條，近11T：限限48小時時，相當(dāng)當(dāng)于3萬條/ss 后續(xù)續(xù)每3天入庫庫一次，9億條，168G，限10小時內(nèi)完成DTCCC20111挑戰(zhàn)-核核心是性性能原有產(chǎn)品品難以支支持分析析型應(yīng)用用DTCCC20011只支持行行式存儲儲查詢優(yōu)化化器比較較簡陋虛擬機實實現(xiàn)不盡盡合理物理存儲儲設(shè)

4、計有有待優(yōu)化化日志系統(tǒng)統(tǒng)過于復(fù)復(fù)雜不能充分分利用多多機資源源提升性性能數(shù)據(jù)分片片技術(shù)不不完善于20009年開開始新一一代產(chǎn)品品DM77的研制制DTCCC20111持續(xù)的技技術(shù)積累累5.6引引入物理理操作符符,虛擬機機6.0引引入高級級特性和和oraaclee 兼容容特性DM720111DM5.6DM620099DM1-DM33DM4200442007719888-20033DM系統(tǒng)研制歷程對于性能能的理解解DTCCC20111應(yīng)用系統(tǒng)統(tǒng)的設(shè)計表達式計計算優(yōu)化器綜合性能能數(shù)據(jù)/控控制權(quán)傳遞I/O效效率并發(fā)/并并行數(shù)據(jù)控制制權(quán)傳遞遞-批量技技術(shù) DDTCCC20111 向量量數(shù)據(jù)處處理 在數(shù)數(shù)據(jù)泵

5、一一次傳送送一批數(shù)數(shù)據(jù) 減少少控制轉(zhuǎn)轉(zhuǎn)移的CCPU損損耗； 有利利于批量量的表達達式計算算傳統(tǒng)的數(shù)數(shù)據(jù)傳遞遞PROJJECTTFILTTER一次只傳傳遞一條條記錄每個操作作符一次次只處理理一行記錄111控制權(quán)需需要反復(fù)復(fù)傳遞SCANNDTCC2011向量式的的數(shù)據(jù)傳傳遞PROJJECTT減少控制制權(quán)限的的反復(fù)傳傳遞提升CPPU的有有效利用用率FILTTER便于表達達式批量量計算SCANN12N12NDTCC2011批量技術(shù)術(shù)-數(shù)據(jù)入入庫DTCCC20111 將系系統(tǒng)的初初始數(shù)據(jù)據(jù)入庫 原有有BCPP接口達達到50000條條/s，仍仍無法滿滿足要求求 改進進： 在服服務(wù)器端端實現(xiàn)批批量，減減少執(zhí)

6、行行流程中中的控制制跳轉(zhuǎn) 效率率提升倍批量技術(shù)術(shù)-全表更更新DTCCC20111普通批量普通批量量綁定針對大表表更新的特定定的批量綁定定消息計劃生成成生成特定定計劃，減少少執(zhí)行流程單趟掃描描一個IID進行行更新，執(zhí)執(zhí)行200萬次ID進行行排序，單單趟掃描描20萬個IDD并進行行更新性能提升升1000倍以上上，控制制在2秒秒以內(nèi)批量技術(shù)術(shù)-LIIKE謂謂詞 seelecct ccounnt(*) ffromm orrderrs wwherreo_coommeent nott liike%sppeciial%reqquessts%DTCCC20111DBMSS OO 111g:3.3DBMSS S

7、S 220055: 110DM7:0.4ordeers : 11,5000,0000記記錄cpu 2.22G,多多次執(zhí)行行DTCCC20111 一個個表達式式出現(xiàn)多多次 Seelecct ssum(2 * c11), summ(3 * (2 * c11) froom tt 只計計算一次次，結(jié)果果緩存 v11 = 2 * c11； Seelecct ssum(v1), suum(33 * v1) frrom t 類似似思路：中間結(jié)結(jié)果重用用 一個個復(fù)雜查查詢在一一條sqql語句句中使用用多次的的情況 將復(fù)復(fù)雜查詢詢提取，并并將結(jié)果果緩存，多多次使用用表達式計算-表達式結(jié)果重用批量表達達式計算算f

8、or (i = 00; ii 1001.80Q181.279.2122.012.90Q191.929.065.624.17Q200.789.231000.79Q212.248.8833.015.49Q220.240.341001.16TPCHDM7DBMSO11PGSQL8.3DBMSS2005Q11.3149.0916.0112.87Q20.160.0460.190.14Q30.8621.619.302.78Q40.989.030.800.68Q51.49.054.611.58Q60.7892.720.96Q71.6111.7319.542.35Q82.30.282.972.01Q931.6

9、118.015.45Q101.369.165.832.23Q110.1944.670.550.46TPC-H /SF=1對比測試(S)優(yōu)化器-分析器器流程DTCCC20111SQL腳腳本語法樹SFW結(jié)結(jié)構(gòu)關(guān)系樹優(yōu)化了的的關(guān)系樹樹智能優(yōu)化化器 基于于多趟分分析的代代價優(yōu)化化器 語義義分析、代價優(yōu)優(yōu)化過程程分離 靈活活的計劃劃變換控控制 基于于時間單單位(mms)的的代價計計算 解決決統(tǒng)計信信息的使使用性問問題 增加加頻率直直方圖 增加加高度直直方圖的的桶數(shù)DTCCC20111查詢優(yōu)化化：關(guān)系系變換DTCCC20111 SFFW結(jié)構(gòu)構(gòu)轉(zhuǎn)換為為關(guān)系樹樹Seleect : IID , naameFro

10、mm : TSFW結(jié)結(jié)構(gòu)投影(PROOJECCT)連接(JOIIN)半連接接(SEEMI JOIIN)選擇(SELLECTT)基本表表(BAASE TABBLE)Wherre : IDD = 10PROJJECTT(ID , nnamee )SELEECT(ID = 110)BASEE _TABLLE (T)關(guān)系樹查詢優(yōu)化化：關(guān)系系變換的的關(guān)鍵DDTCCC20111 消除除子查詢詢，“平平坦”的的關(guān)系樹樹 子查查詢一律律轉(zhuǎn)化為為半連接接（SEEMI JOIIN）例：seelecct ffromm T11 whheree t11.idd inn (sseleect ID froom TT2)PR

11、OJJECTTSEMIIJOINNT1T2查詢優(yōu)化化：待選選關(guān)系樹樹的生成成DTCCC20011 考慮慮三個因因素 A.確定的的連接次次序 B.確定的的卡特蘭蘭2叉樹樹形狀 C.是否下下放過濾濾條件 采用用臨時結(jié)結(jié)果減少少重復(fù)計計算 代價價模型基基本覆蓋蓋所有情情況 對連連接表的的個數(shù)非非常多的的情況,特殊處處理查詢優(yōu)化化：統(tǒng)計計信息DTCCC20111 記錄錄數(shù)據(jù)分分布情況況，用于于精確行行數(shù)估計計，特別是數(shù)數(shù)據(jù)分布布不規(guī)則則的情況況，對基基數(shù)及代價計算算有重大大影響 頻率率直方圖圖：不同同值較少少 等高高直方圖圖：不同同值較多多DTCCC20111 列存存儲: 數(shù)據(jù)據(jù)按列存存儲 結(jié)合合自適

12、應(yīng)應(yīng)壓縮技技術(shù) 與批批量計算算技術(shù)緊緊密結(jié)合合 列存存儲優(yōu)缺缺點 大幅幅提升掃掃描性能能 適合合批量裝裝載與刪刪除不適合合頻繁的的插入、刪除和和更新 融合合列存儲儲和行存存儲 提供供按列存存儲選項項結(jié)合分分區(qū)技術(shù)術(shù) 同時時適應(yīng)OOLAPP和OLLTP應(yīng)應(yīng)用需求求I/O效率-融合列存儲和行存儲I/O效效率 行存存儲優(yōu)化化簡化物物理記錄錄格式字段物物理次序序與邏輯輯次序分分離 多bbufffer類類型常駐內(nèi)內(nèi)存和常常規(guī)方式式淘汰用戶可可以指定定 批量量讀：預(yù)預(yù)處理 支持持垂直分分區(qū)和水水平分區(qū)區(qū)DTCCC20111提高并發(fā)發(fā)度 支持持并行插插入的物物理數(shù)據(jù)據(jù)存儲 并行行備份和和恢復(fù) 分區(qū)區(qū)技術(shù)及及

13、相應(yīng)的的并行查查詢操作作符號DTCCC20111典型場景景一：大大結(jié)果集集DTCCC20111 場景景描述 某表表T，31個字字段，448億條條記錄 隨機機基于某某字段篩篩選：SSELEECT * FFROMM T WHEEREFLD11=7553 查詢詢符合條條件的結(jié)結(jié)果集達達到千萬萬條記錄錄 分析析SQL語語句非常常簡單，沒沒有更優(yōu)優(yōu)的等效效語句結(jié)果集篩篩選條件件不確定定，無法法使用索索引服務(wù)器內(nèi)內(nèi)存為332G，在在掃描的的過程中中必然出出現(xiàn)頁面面淘汰由于基礎(chǔ)礎(chǔ)數(shù)據(jù)量量大，因因此即使使命中率率不高（0.2%），也會生成成9600萬條記記錄的結(jié)結(jié)果集典型場景景一：大大結(jié)果集集DTCCC201

14、11從3個方方向入手手，提升升全表掃掃描的IIO效率率 批量量技術(shù) 降低低結(jié)果集集處理的的時間消消耗 調(diào)整整數(shù)據(jù)頁頁讀取策策略典型場景景一：大大結(jié)果集集DTCCC20111 返回回結(jié)果集集策略改改進 優(yōu)化化前 根據(jù)據(jù)通信塊塊大小決決定結(jié)果果集分批批次返回回的數(shù)量量 第一一批結(jié)果果集返回回后，自自動完成成后續(xù)結(jié)結(jié)果集獲獲取和返返回 優(yōu)化化后 由應(yīng)應(yīng)用設(shè)定定第一批批結(jié)果集集的大小小和返回回的時機機 當(dāng)返返回第一一批結(jié)果果集后，工工作線程程暫停SSQL查查詢請求求，直到到下一批結(jié)果果集請求求到來或或開始新新事務(wù) 效果果 快速速返回部部分結(jié)果果集，提提高用戶戶體驗 避免免自動返返回所有有結(jié)果集集，降低

15、低服務(wù)器器資源消消耗典型場景景一：大大結(jié)果集集DTCCC20111 調(diào)整整數(shù)據(jù)讀讀取策略略 數(shù)據(jù)據(jù)頁（ppagee）是數(shù)數(shù)據(jù)讀寫寫的單位位 優(yōu)化化前的全全表掃描描：按頁頁讀取，每每次IOO只掃描描一個頁 優(yōu)化化后：一一次掃描描多個頁頁，減少少IO數(shù)量量 測試試：經(jīng)過過優(yōu)化后后，磁盤盤的吞吐吐量提升升1倍典型場景景二：大大表連接接DTCCC20111 場景景描述 表TT1，31個字字段，550000W條記記錄，數(shù)數(shù)據(jù)類型型包括iint、varccharr、dattetiime、Decc；表T22,155個字段段，5000W條條記錄，數(shù)據(jù)類型型包括vvarccharr、dattetiime、Dec

16、c； SEELECCT TT1.NNAMEE, TT2.TTITLLE FFROMM PEERSOON.PPERSSONT1, RESSOURRCESS.EMMPLOOYEEE T22 WHHEREET1.PPERSSONIID = T22.PEERSOONIDD ANND TT1.SSEX = M; 連接接查詢字字段由最最終用戶戶臨時指指定，表表上未建建索引 結(jié)果果集不大大，但查查詢表數(shù)數(shù)據(jù)量大大，連接接查詢響響應(yīng)時間間陡增典型場景景二：大大表連接接DTCCC20111 分析析 行存存儲特性性：連接接查詢所所連接的的字段在在數(shù)據(jù)頁頁中的存儲非連連續(xù)，進進行連接接查詢，需需將所有有數(shù)據(jù)頁頁讀到

17、內(nèi)存，IIO消耗耗巨大； 連接接匹配時時，要對對讀入緩緩存中的的所有頁頁進行掃掃描。 行存存儲：連接列列分散在在每個數(shù)數(shù)據(jù)頁中中Cn+11頁1Cn+11頁NC1C2CnC1CmC1C2CnC1Cm典型場景景二：大大表連接接DTCCC20111 優(yōu)化化方向：列存儲儲按字段段存儲連接列列被集中中存儲Cn+11 CCn+11頁1Cn+11頁N讀入緩緩存中的的數(shù)據(jù)頁頁明顯減減少，系系統(tǒng)IOO下降C1C1C1C2C2C3Cm典型場景景二：大大表連接接 優(yōu)化化方向：存儲壓壓縮 適用用于列存存儲模式式的壓縮縮算法 初步步壓縮結(jié)結(jié)果：DTCCC20111采用本案案例數(shù)據(jù)據(jù)進行測測試Floaat 54%（壓縮縮

18、后大小小/壓縮前前大?。〥oubble 33%Dec 552%字符56%典型場景景二：大大表連接接 優(yōu)化化效果從17小小時降至至10分鐘鐘以內(nèi)DTCCC20111典型場景景三：全全表查詢詢建表DDTCCC20111 場景景描述 表TT,155個字段段，5000W條條記錄，數(shù)數(shù)據(jù)類型型包括iint、varccharr、dattetiime、Decc ； 根據(jù)據(jù)T進行查查詢建表表：CRREATTE TTABLLE TTT aas SSELEECT * FFROMMT;典型場景景三：全全表查詢詢建表DDTCCC20111 分析析 大表表進行查查詢建表表時，需需經(jīng)過以以下五個個步驟 這個個過程中中可優(yōu)

19、化化的操作作有：查查詢與結(jié)結(jié)果集的的生成和大大量數(shù)據(jù)據(jù)的插入入操作典型場景景三：全全表查詢詢建表DDTCCC20111 直接接B樹操作作 避免免結(jié)果集集處理與與數(shù)據(jù)插插入操作 直接接復(fù)制根根節(jié)點和和葉子是是在內(nèi)存中進進行操作作，速度度更快 優(yōu)化化效果對案例中中的T進行建建表查詢詢 優(yōu)化化前耗時時約355S 優(yōu)化化后耗時時約4SS，性能能提升9倍裝載表數(shù)數(shù)據(jù)到內(nèi)內(nèi)存源表B樹樹掃描復(fù)制B樹樹典型場景景四：重重復(fù)表達達式計算算DTCCC20011 場景景描述 針對對5000萬條記記錄的表表進行如如下查詢詢 SEELECCT IIDnuum,ssub(6,88,IDDnumm) aas 生生日,(no

20、ww()-sub(6,88,IDDnumm) as 年齡 froom 問題題分析 表達達式suub(66,8,IDnnum) 可重重用典型場景景四：重重復(fù)表達達式計算算DTCCC20011 改進進優(yōu)化： 一個個表達式式出現(xiàn)多多次，只只計算一一次 本例例中性能能提升770%。其他場場景性能能提升程程度取決于計計算表達達式的復(fù)復(fù)雜度與與數(shù)據(jù)量量典型場景景五：并并行查詢詢插入DDTCCC20111 場景景描述 同結(jié)結(jié)構(gòu)的表表T1T100，每張張表5000萬條條記錄，需需要將110張表的所所有數(shù)據(jù)據(jù)合并到到一個臨臨時表TTtmpp中 INNSERRT IINTOO Tttmp SELLECTT * F

21、ROOM TT1 INNSERRT IINTOO Tttmp SELLECTT * FROOM TT2。 應(yīng)用用的并行行化并沒沒有帶來來較大的的提升 分析析 Tttmp成成為瓶頸頸：原有有的邏輯輯Rowwid成成為資源源瓶頸 邏輯輯Rowwid：不代表表物理存存儲位置置，更新新、插入入、重組組等操作代代價降低低，但RRowiid需要要通過臨臨界資源源獲取 原有有產(chǎn)品針針對OLLTP業(yè)業(yè)務(wù)場景景，OLLTP事事務(wù)以分分散、短短小事務(wù)為為主，原原有的RRowIID機制制不會成成為突出出瓶頸典型場景景五：并并行查詢詢插入DDTCCC20111 改進進 物理理RowwID：代表記記錄的物物理存儲儲位置

22、 多個個工作線線程進行行插入操操作，無無需進入入臨界資資源獲取rrowiid，每每個工作作線程自自行生成成RowwID 實現(xiàn)現(xiàn)真正意意義上的的并發(fā)插插入應(yīng)用優(yōu)化化DTCCC20111 好的的性能需需要應(yīng)用用與數(shù)據(jù)據(jù)庫的配配合實現(xiàn)現(xiàn) 應(yīng)用用架構(gòu)設(shè)設(shè)計應(yīng)站站在系統(tǒng)統(tǒng)全局考考慮性能能問題 應(yīng)用用與數(shù)據(jù)據(jù)庫應(yīng)該該取長補補短 數(shù)據(jù)據(jù)存儲 基于于分區(qū)表表進行數(shù)數(shù)據(jù)劃分分 應(yīng)用用的并行行化 復(fù)雜雜事務(wù)分分解為多多個可并并行的簡簡單事務(wù)務(wù)應(yīng)用優(yōu)化化-手段DTCCC20111保存第一一步過濾濾結(jié)果集集利用視圖圖減少中中間結(jié)果果集的保保存數(shù)據(jù)按月月份分區(qū)區(qū)TOP查查詢減少少不必要要的全結(jié)結(jié)果集應(yīng)用優(yōu)化化-大表的的

23、全表掃掃描 DDTCCC20111 典型型場景 50000萬萬無索引引TOPP查詢：SELLECTT * FROOM TT6WHERRE NNAMEE LIIKE 張三三 優(yōu)化化前：數(shù)數(shù)據(jù)庫服服務(wù)器CCPU滿滿載而應(yīng)應(yīng)用服務(wù)務(wù)器沒有有負載 在最最壞情況況下，將將需要掃掃描整個個表 分析析： 系統(tǒng)統(tǒng)設(shè)計需需要站在在全局角角度，充充分考慮慮應(yīng)用、中間件、數(shù)據(jù)庫庫之間的的負載分分配 充分分利用已已有的硬硬件應(yīng)用優(yōu)化化-大表的的全表掃掃描 DDTCCC20111 改進進： 數(shù)據(jù)據(jù)進行分分表和分分區(qū) DMM已實現(xiàn)現(xiàn)的分區(qū)區(qū)表并行行查詢操操作符，提提供了分區(qū)表優(yōu)優(yōu)化的支支持 應(yīng)用用依據(jù)分分表更改改查詢模模

24、塊，從從單線程程改為多線程 在應(yīng)應(yīng)用服務(wù)務(wù)器將各各分表的的查詢結(jié)結(jié)果合并并 效果果： 按最最壞情況況測試，查查詢時間間由原來來的不可可預(yù)期，提升升到2分鐘內(nèi)內(nèi)應(yīng)用優(yōu)化化-數(shù)據(jù)清清洗與入入庫 DDTCCC20111 最初初方式： 基于于JDBBC驅(qū)動動的數(shù)據(jù)據(jù)遷移工工具進行行清洗和和入庫操作 批量量綁定 遷移移工具的的資源消消耗隨著著遷移時時間的持持續(xù)增加加，導(dǎo)致遷移移速度在在運行33天后急急劇下降降 初始始數(shù)據(jù)（1T）入庫時間達到1個月，相當(dāng)于400條條/s應(yīng)用優(yōu)化化-數(shù)據(jù)清清洗與入入庫 DDTCCC20111 問題題分析： 超過過1000億條記記錄，即即使每550000條提交交一次，也有2百

25、百萬次的的解析-計劃-代價-執(zhí)行流流程 大量量的數(shù)據(jù)據(jù)庫reedo與與unddo日志志操作 解決決方案 利用用批量 利用用并行化化充分發(fā)發(fā)揮多CCPU處處理能力力，增加加IO的吞吐量量 JDDBC方方式轉(zhuǎn)變變?yōu)镴NNI+OODBCC 實現(xiàn)現(xiàn)動態(tài)編編譯型的的ETLL腳本引引擎DTCCC20111圖 DMMETLL 內(nèi)嵌嵌BCPP應(yīng)用優(yōu)化-DM ETL的技術(shù)改進DTCCC20111應(yīng)用優(yōu)化-數(shù)據(jù)劃分和并行化應(yīng)用優(yōu)化化-BCCPDTCCC20111 將清清洗與入入庫分離離 并行行化清洗洗和裝載載入庫 入庫庫應(yīng)用BBCP方方式 通過過批量綁綁定減少少了網(wǎng)絡(luò)絡(luò)開銷 服務(wù)務(wù)器內(nèi)部部為BCCP專門門實現(xiàn)了了”bccp_ffastt_innserrt”方方法 繞過過SQLL處理流流程，直直接操作作B樹葉子子節(jié)點 不進進行Reedo與與Unddo 不進進行約束束檢查 對原原有BCCP也進進行了服服務(wù)器端端的批量量化處理理最終效果果：性能能提升1100倍倍，能夠夠在8小時內(nèi)內(nèi)完成海量數(shù)據(jù)據(jù)備份的的難題DTCCC20111 備份份的效率率問題 整庫庫備份操操作耗時時太長