百度大數(shù)據(jù)即席查詢服務百度開放云即席查詢服務（BigSQL）?

BigSQL定位/特點?

BigSQL架構(gòu)?

BigSQL關鍵技術(shù)?

BigSQL在Baidu內(nèi)部的應用?

下一步計劃即席查詢服務（BigSQL）?

BigSQL定位/特點?

BigSQL架構(gòu)?

BigSQL關鍵技術(shù)?

BigSQL在Baidu內(nèi)部的應用?

下一步計劃?大數(shù)據(jù)即席查詢（Ad-Hoc

Query）平臺?PAAS：開箱即用，用戶無需關心機器/集群的運維/細節(jié)?高性能/規(guī)模：裸機/優(yōu)化/最大PB量級以上?低成本：多租戶共享集群/按使用付費BigSQL

定位?

數(shù)據(jù)格式：半結(jié)構(gòu)化（CSV/JSON/Parquet/Protobuf等）?

使用接口：易用/多樣化（RestAPI/Console/CLI/JDBC）?

語法集：兼容開源SparkSQL/HQL?

按使用付費：按（Query復雜度+掃描數(shù)據(jù)量）計費?

多用戶協(xié)同：靈活的權(quán)限管理BigSQL

特點?

面向“人”的查詢ü交互式（Interactive）：?查詢具有較高時效性ü即席（Ad-Hoc）：?查詢模式相對不固定?數(shù)據(jù)沒有（時間/成本）做過多預處理Ad-Hoc

QueryAd-HocQueryOLAP數(shù)據(jù)密度弱（半）結(jié)構(gòu)化高度結(jié)構(gòu)化加工過程粗（淺）加工深度加工查詢模式相對隨機相對固定即席查詢

vs

多維分析MPP/ImpalaSQLonHadoop/SparkSQL擴展性1000臺以內(nèi)/PB以下千臺以上/PB以上查詢延遲毫秒~秒秒~分鐘架構(gòu)復雜性中等復雜容錯無有調(diào)度策略Gang/Transaction分批啟停開銷小/常駐進程大/現(xiàn)啟動與存儲結(jié)合程度緊密松散MPP/Shared-NothingBigSQLServiceWebServe

rTools/SDKBOSBigSQL

示意圖

User

QueryUser

QueryStreamingBatch即席查查詢服服務（（BigSQL）?BigSQL定位/特點?BigSQL架構(gòu)?BigSQL關鍵技技術(shù)?BigSQL在Baidu內(nèi)部的的應用用?下一步步計劃劃RESTAPI接入層層（HttpServer））SessionManagerSparkContextSessionWorkerQueryQuerySchedulerCompute&StorageClusterSparkContextSessionWorkerQueryQuerySparkContextSessionWorkerQueryQuerySDKCLIToolsMetaStoreIAM賬單監(jiān)控StateStoreConsoleBigSQL整體架架構(gòu)?易用性性：各各種形形式的的API?可用性性：關關鍵節(jié)節(jié)點容容錯?安全：：租戶戶認證證和鑒鑒權(quán)、、Quota限制?賬單?監(jiān)控BigSQL整體架架構(gòu)：：接入入層計算引引擎（（Spark））SessionWorkerSessionWorkerSessionWorkerSessionWorkerAPPExecutorExecutorAPPExecutorExecutorExecutor分布式式緩存存（CacheManager）存儲引引擎（（DFS/ColumnStorage）APPExecutorAPPExecutorExecutorBigSQL整體架架構(gòu)：：引擎擎層接入層層即席查查詢服服務（（BigSQL）?BigSQL定位/特點?BigSQL架構(gòu)?BigSQL關鍵技技術(shù)?BigSQL在Baidu內(nèi)部的的應用用?下一步步計劃劃高性能能ShuffleBigSQL關鍵技技術(shù)（（一））高性能能ShuffleBigSQL關鍵技技術(shù)（（一））BigSQL關鍵技技術(shù)（（一））數(shù)據(jù)緩緩存層層BigSQL關鍵技技術(shù)（（二））UserUser接入層層計算引引擎（（Spark））CacheManagerCache存儲引引擎（（HDFS+Parquet）數(shù)據(jù)緩緩存策策略l按需緩緩存?Query運行時時觸發(fā)發(fā)Cachemiss，異步步load到緩存存l數(shù)據(jù)預預取?周期性性Load相關Table/Partition到緩存存?根據(jù)過過去Query信息統(tǒng)統(tǒng)計熱熱點數(shù)數(shù)據(jù)，，提前前Load到緩存存典型案案例：：跨地地域查查詢加加速（提升升至少少一個個數(shù)量量級））BigSQL關鍵技技術(shù)（（二））優(yōu)化執(zhí)執(zhí)行l(wèi)智能參參數(shù)優(yōu)優(yōu)化?利用Combine類InputFormat，減少少MapTask數(shù)?根據(jù)上上游輸輸出，，自動動優(yōu)化化ReducePartition數(shù)目l調(diào)度優(yōu)優(yōu)化?評估數(shù)數(shù)據(jù)量量，自自動復復用Application或者啟用新新的Applicationl近似查查詢?長尾任任務自自動忽忽略，，保證證時效效性BigSQL關鍵技技術(shù)（（三））資源隔隔離/安全l基于Cgroup/Namespace的Container隔離?CPU/Memory/FS?Container本身的加加固?網(wǎng)絡的互互通與隔隔離lJVM沙箱層的的多種安安全策略略l計算/存儲框架架層的安安全認證證和加密密傳輸BigSQL關鍵技術(shù)術(shù)（四））即席查詢詢服務（（BigSQL）?BigSQL定位/特點?BigSQL架構(gòu)?BigSQL關鍵技術(shù)術(shù)?BigSQL在Baidu內(nèi)部的應應用?下一步計計劃在Baidu內(nèi)部的應應用鳳巢廣告告數(shù)據(jù)分分析l漏斗分析析?分析廣告告被過濾濾的原因因，各個個維度特特征等l系統(tǒng)優(yōu)化化和問題題定位?分析系統(tǒng)統(tǒng)業(yè)務日日志，發(fā)發(fā)現(xiàn)可優(yōu)優(yōu)化的指指標和潛潛在問題題日均掃描描數(shù)據(jù)量量：xxPB即席查詢詢服務（（BigSQL）?BigSQL定位/特點?BigSQL架構(gòu)?BigSQL關鍵技術(shù)術(shù)?BigSQL在Baidu內(nèi)部的應應用?下一步計計劃l持續(xù)投入入技術(shù)研研發(fā)?更智能的的數(shù)據(jù)緩緩存層：：細粒度/物化視圖圖選取?實時更新新?向量執(zhí)行行：提高CPUcache命中率?CBO：Cost-basedOptimizerBigSQL后續(xù)規(guī)劃劃l構(gòu)建通用用大數(shù)據(jù)據(jù)處理平平臺?日志收集集服務?數(shù)據(jù)變形形/ETL服務?報表/多維分析析?即席查詢詢服務?批處