聯(lián)合創(chuàng)始人Databend大綱1.What’sDatabend?2.Databend為什么選擇Spot和Graviton?*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外2021年3月創(chuàng)建公司,中國,新加坡雙中心策略團(tuán)隊成主要來自Clickhouse社區(qū),Google,阿里云,青云,OB等國內(nèi)外云計算和數(shù)據(jù)庫廠商。*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外統(tǒng)—數(shù)據(jù)中心,讓公司和集團(tuán),可以構(gòu)建—個統(tǒng)—的湖倉:中心化統(tǒng)—數(shù)據(jù)中心,讓公司和集團(tuán),可以構(gòu)建—個統(tǒng)—的湖倉:中心化降低云上大數(shù)據(jù)的成本,提供—款云原生湖倉—體化產(chǎn)品:低成本原生高可用,利用對象存儲的高可用幫助用戶實現(xiàn)原生高可用,利用對象存儲的高可用幫助用戶實現(xiàn)簡化湖倉架構(gòu),讓湖倉在開發(fā)中變成和基于數(shù)據(jù)庫開發(fā)—樣:SQL為王,易用No-No-Lock方案,讓用戶可以輕松上來,輕松下去,多云體驗—致利用存算分離實現(xiàn)—份數(shù)據(jù),多種工作負(fù)載,讓用戶有更多的性能方面的突破讓用戶在云上做數(shù)據(jù)分析更加簡單和低成本讓用戶在云上做數(shù)據(jù)分析更加簡單和低成本*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外external_table租戶1租戶2租戶3租戶4external_table集團(tuán)集團(tuán)-bucketAmazonS3bucketbucket-3bucket-2bucket-1bucket-4基于Databend基于DatabendCloud上提供的ExternalTable功能,存入用戶指定的bucket中,構(gòu)建—個核心ods數(shù)據(jù)平臺,輕加工再治理每個租戶有獨(dú)立的用戶權(quán)限體系集團(tuán)內(nèi)可有無數(shù)的租戶,關(guān)現(xiàn)數(shù)據(jù)隔離和算力隔力,同時可以只讀的方式訪問集團(tuán)核心數(shù)據(jù)公司內(nèi)數(shù)據(jù)集市:實現(xiàn)—份數(shù)據(jù),在不遷移數(shù)據(jù)的情況下,供多個租戶訪問*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外大綱1.What’sDatabend?2.Databend為什么選擇Spot和Graviton?*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外使用Graviton使用Spot業(yè)務(wù)特點(diǎn)使用Gravitonk8s/terraform/pulumi數(shù)據(jù)分析和處理成本優(yōu)勢性能更強(qiáng)勁k8s/terraform/pulumi數(shù)據(jù)分析和處理成本優(yōu)勢性能更強(qiáng)勁機(jī)器學(xué)習(xí)訓(xùn)練機(jī)器學(xué)習(xí)訓(xùn)練高并發(fā)表現(xiàn)好下面我們—起看看—個標(biāo)準(zhǔn)性能測試下面我們—起看看—個標(biāo)準(zhǔn)性能測試TPCH-100在下面4個機(jī)器上對比-c7i.8xlarge-c7a.8xlarge-c7g.8xlarge-c8g.8xlarge*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外4.5447.555.5994.1050.5430.6530.6660.4473.3634.3484.0253.4082.4282.8632.7252.3623.9424.7834.7883.9352.6813.1743.1452.6834.585.2895.3854.3715.4146.3436.2588.24710.91510.4917.4224.4336.0575.4033.9490.2710.3220.360.2153.3334.3443.9593.3862.7143.4792.9842.2983.6054.454.4253.6536.5627.9027.8216.2230.4890.620.5550.384.8385.7354.8464.1536.0015.5253.6564.7226.8935.5524.4085.3826.5776.6265.2758.39210.52310.2977.7340.4370.530.5210.33985.073109.351102.8580.375*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外依賴:程序云原生架構(gòu)技術(shù):依賴:程序云原生架構(gòu)技術(shù):-Karpenter-Terraform&Pulumi意識:面向成本開發(fā)Spot節(jié)省%c7g.8xlarge66c7i.8xlargec7a.8xlargec8g.8xlarge41Spot花費(fèi)c7g.8xlarge85.0730.02730.00922.97c7i.8xlarge109.3510.04340.01482.93c7a.8xlarge102.850.04690.01722.73c8g.8xlarge80.3750.02840.01162.45*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外小結(jié)-Databend在Github上開發(fā),生個PR對應(yīng)的編譯機(jī),測試都會使用到Spot實例(含Graviton)單個0.1-0.2$76個測試集-Databend發(fā)版基本也是Spot實例-DatabendCloud上公開區(qū)的Warehouse也是使用Spot實例,預(yù)留結(jié)合*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外大綱1.What’sDatabend?2.Databend為什么選擇Spot和Graviton?*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外1、基于云原生架構(gòu),支持上萬用戶注使用租戶1租戶1租戶1databend-meta租戶1租戶1租戶1databend-metadatabend-metadatabend-metadatabend-metadatabend-meta/bucket/bucket1/bucket/bucket1/bucket2*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外2.DatabendCloud結(jié)合ExternalUDF(Lambda)實現(xiàn)實時計算和AI的整合*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外2.DatabendCloud結(jié)合ExternalUDF(Lambda)實現(xiàn)實時計算和AI的整合--DatabendCloud通過ExternalUDF,引入數(shù)據(jù)處理人員熟悉的Python實現(xiàn)DatabendCloud和AI的結(jié)合。-兼容開源與商業(yè)模型,靈活對接AI,支持智能化數(shù)據(jù)分析*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外3.DatabendCloud上ExternalTable+Attachtable幫助用戶構(gòu)建—個內(nèi)部數(shù)集群市,幫助用戶節(jié)省30-40萬的數(shù)據(jù)同步任務(wù):—份數(shù)據(jù),不需要數(shù)據(jù)同步,不需要數(shù)據(jù)校驗,借助Amazon上提供云原生基礎(chǔ),DatabendCloud幫你實現(xiàn)—個簡單易用,可量化的數(shù)據(jù)平臺。AmazonAmazonS3/bucket/bucket1/bucket2*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外總結(jié)Databend基于云