查詢Cube瓶頸Cube基本原理概述0102查詢Cube瓶頸Content目錄01

Cube基本原理概述

Cube基本原理概述近幾年，ApacheKylin作為一個(gè)高速的開(kāi)源分布式大數(shù)據(jù)查詢引擎正在迅速崛起。它充分發(fā)揮Hadoop、Spark、HBase等技術(shù)的優(yōu)勢(shì)，通過(guò)對(duì)超大規(guī)模數(shù)據(jù)集進(jìn)行預(yù)計(jì)算，實(shí)現(xiàn)秒級(jí)甚至亞秒級(jí)的查詢響應(yīng)時(shí)間，同時(shí)提供標(biāo)準(zhǔn)SQL接口。

目前，ApacheKylin已在全球范圍得到了廣泛應(yīng)用，如百度、美團(tuán)、今日頭條、eBay等，支撐著單個(gè)業(yè)務(wù)上萬(wàn)億規(guī)模的數(shù)據(jù)查詢業(yè)務(wù)。

在超高性能的背后，Cube是至關(guān)重要的核心。一個(gè)優(yōu)化得當(dāng)?shù)腃ube既能滿足高速查詢的需要，又能節(jié)省集群資源。

Cube基本原理概述在傳統(tǒng)多維分析就有多維立方體（OLAPCube）的概念。

ApacheKylin在大數(shù)據(jù)領(lǐng)域?qū)ube進(jìn)行了擴(kuò)展，通過(guò)執(zhí)行MapReduce/Spark任務(wù)構(gòu)建Cube，對(duì)業(yè)務(wù)所需的維度組合和度量進(jìn)行預(yù)聚合，當(dāng)查詢到達(dá)時(shí)直接訪問(wèn)預(yù)計(jì)算聚合結(jié)果，省去對(duì)大數(shù)據(jù)的掃描和運(yùn)算，這就是ApacheKylin高性能查詢的基本實(shí)現(xiàn)原理。

ApacheKylin高性能查詢的基本實(shí)現(xiàn)原理Cube基本原理概述一個(gè)Cuboid對(duì)應(yīng)著一組分析的維度，并保存了度量的聚合結(jié)果。Cube就是所有Cuboid的集合，如圖所示，每個(gè)節(jié)點(diǎn)代表一個(gè)Cuboid。當(dāng)查詢到達(dá)，ApacheKylin會(huì)根據(jù)SQL所使用的維度列在Cube中選擇最合適的Cuboid，最大程度地節(jié)省查詢時(shí)間。

02

查詢Cube瓶頸查詢Cube瓶頸KyBot（https://kybot.io），可以通過(guò)可視化手段展現(xiàn)ApacheKylin中的各項(xiàng)統(tǒng)計(jì)指標(biāo)，并進(jìn)行智能化評(píng)分及規(guī)則，有助于快速定位查詢、構(gòu)建瓶頸和尋找解決方案。

KyBot的使用也十分簡(jiǎn)單，只需要簡(jiǎn)單上傳包含日志的診斷包，后臺(tái)會(huì)自動(dòng)對(duì)診斷包中的查詢、構(gòu)建日志等歷史進(jìn)行分析，挖掘可能的Cube設(shè)計(jì)缺陷，通過(guò)可視化頁(yè)面直觀地展現(xiàn)出來(lái)。如果希望對(duì)日志中的敏感信息（如IP地址等）進(jìn)行脫敏保護(hù)，也可以簡(jiǎn)單解決。Cube優(yōu)化神器KyBot的使用查詢Cube瓶頸當(dāng)KyBot分析完成，在Cube儀表盤(pán)上就能看到Cube的診斷結(jié)果了，包括Cube評(píng)分、Cube排行、Cube詳情等。Cube設(shè)計(jì)缺陷查詢Cube瓶頸查詢是ApacheKylin的強(qiáng)項(xiàng)，但也存在種種因素導(dǎo)致某些查詢變慢。查詢性能一般通過(guò)整體的性能、并發(fā)統(tǒng)計(jì)數(shù)據(jù)來(lái)體現(xiàn)，KyBot的查詢儀表盤(pán)可以直觀展現(xiàn)不同維度的查詢統(tǒng)計(jì)信息。Cube查詢瓶頸查詢Cube瓶頸如圖，可以看到查詢響應(yīng)時(shí)間的90百分位和95百分位、不同響應(yīng)時(shí)間分布、每日性能變化等，用于直觀把握查詢性能的整體表現(xiàn)；下方的查詢次數(shù)、人均查詢次數(shù)、每日查詢