lQQ9奧運(yùn)會(huì)全球指定云服務(wù)商CONTENTCONTENT0.1數(shù)據(jù)融合架構(gòu)收斂在線服務(wù)能力運(yùn)維難成本高關(guān)系模型分庫(kù)分表碎片化事務(wù)0.1數(shù)據(jù)融合架構(gòu)收斂在線服務(wù)能力運(yùn)維難成本高關(guān)系模型分庫(kù)分表碎片化事務(wù)互聯(lián)網(wǎng)移動(dòng)互聯(lián)網(wǎng)互聯(lián)網(wǎng)奧運(yùn)會(huì)全球指定云服務(wù)商萬(wàn)物互聯(lián)20202025.2005201020202025.20052010海量多模型數(shù)據(jù)海量多模型數(shù)據(jù)靈活靈活+SQL在線服務(wù)在線服務(wù)非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)支付寶賬單高度可控節(jié)點(diǎn)400PB+存儲(chǔ)支付寶賬單高度可控節(jié)點(diǎn)400PB+存儲(chǔ)峰值請(qǐng)求奧運(yùn)會(huì)全球指定云服務(wù)商手淘消息手淘消息菜鳥(niǎo)物流監(jiān)控,大屏,軌跡,設(shè)備狀態(tài)…g螞蟻智能風(fēng)控推薦,搜索,BI報(bào)表…淘寶搜索與推薦生意參謀減少運(yùn)維負(fù)擔(dān)優(yōu)化資源效率減少運(yùn)維負(fù)擔(dān)優(yōu)化資源效率奧運(yùn)會(huì)全球指定云服務(wù)商關(guān)系型Spark關(guān)系型Spark結(jié)構(gòu)化數(shù)據(jù)元數(shù)據(jù)運(yùn)行數(shù)據(jù)寬表型寬表型檢索分析檢索分析Search非結(jié)構(gòu)化數(shù)據(jù)(圖片/視頻/文件) 文件存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)元數(shù)據(jù)關(guān)系運(yùn)行數(shù)據(jù)!寬表非結(jié)構(gòu)化數(shù)據(jù)(圖片/視頻/文件)時(shí)序文件云原生多模數(shù)據(jù)庫(kù)云原生多模數(shù)據(jù)庫(kù)Lindorm ?zstd+字典采樣，最高15 ?zstd+字典采樣，最高15儲(chǔ)?支持歸檔存儲(chǔ)，歷史數(shù)據(jù)可永久保存?水平擴(kuò)展，無(wú)單點(diǎn)瓶頸?千萬(wàn)級(jí)吞吐，百PB規(guī)模?吞吐性能為HBase的3-?熱點(diǎn)自愈，自動(dòng)拆分和終一致可選延遲，最終一致 ??數(shù)據(jù)融合：寬表、時(shí)序、時(shí)空、搜索、文件?計(jì)算融合：查詢、檢索、批處理、流計(jì)算動(dòng)態(tài)列、行級(jí)TTL、行列轉(zhuǎn)存 奧運(yùn)會(huì)全球指定云服務(wù)商和豐富業(yè)務(wù)功能的持續(xù)擴(kuò)展需求。低成本低成本?按需在線彈性擴(kuò)容?低成本存儲(chǔ)介質(zhì)彈性擴(kuò)展彈性擴(kuò)展?按需在線擴(kuò)容?100PB水平擴(kuò)展?數(shù)據(jù)傾斜，分片自動(dòng)高性能高性能?千萬(wàn)級(jí)高并發(fā)下保證小于10ms?多維實(shí)時(shí)檢索?實(shí)時(shí)數(shù)據(jù)高并發(fā)寫(xiě)入?離線數(shù)據(jù)快速導(dǎo)入數(shù)據(jù)處理數(shù)據(jù)處理?交互式分析(規(guī)劃中)?離線計(jì)算(規(guī)劃中)?流計(jì)算(規(guī)劃中)金融級(jí)高可用金融級(jí)高可用/高可靠?跨機(jī)房容災(zāi)?數(shù)據(jù)多副本?硬盤(pán)/服務(wù)器故障不中?備份恢復(fù)讀寫(xiě)熱點(diǎn)保護(hù)讀寫(xiě)熱點(diǎn)保護(hù)?單機(jī)抗熱點(diǎn)緩存?分區(qū)級(jí)別在線動(dòng)態(tài)遷移?指定對(duì)象Quota限流多租戶多租戶數(shù)據(jù)生態(tài)數(shù)據(jù)生態(tài)?開(kāi)源生態(tài)兼容?豐富的數(shù)據(jù)同步通道LindormSparkLindormStreamLTS(TunnelService)易擴(kuò)展存算分離在線擴(kuò)容無(wú)限水平擴(kuò)展海量存儲(chǔ)低成本存儲(chǔ)介質(zhì)數(shù)據(jù)分層，多級(jí)存儲(chǔ)LindormSparkLindormStreamLTS(TunnelService)易擴(kuò)展存算分離在線擴(kuò)容無(wú)限水平擴(kuò)展海量存儲(chǔ)低成本存儲(chǔ)介質(zhì)數(shù)據(jù)分層，多級(jí)存儲(chǔ)診斷調(diào)優(yōu)數(shù)據(jù)透視系統(tǒng)管理每秒千萬(wàn)級(jí)寫(xiě)入百PB存儲(chǔ)規(guī)模HBase/Cassandra,OpenTSDB,Solr,HDFS,s3文件LindormSQL文檔索引對(duì)象寬表文件/對(duì)象Table寬表引擎TimeSeries搜索引擎文件引擎HadoopCompatibleFilesystemProtocol冷熱轉(zhuǎn)存容量型存儲(chǔ)數(shù)據(jù)歸檔歸檔型存儲(chǔ)性能型存儲(chǔ)標(biāo)準(zhǔn)型存儲(chǔ)數(shù)據(jù)歸檔奧運(yùn)會(huì)全球指定云服務(wù)商寬表引擎搜索引擎搜索引擎文件引擎文件引擎智能轉(zhuǎn)存云原生存儲(chǔ)LindormStore智能轉(zhuǎn)存容量型存儲(chǔ)30容量型存儲(chǔ)標(biāo)準(zhǔn)型存儲(chǔ)性能型存儲(chǔ)標(biāo)準(zhǔn)型存儲(chǔ)性能型存儲(chǔ)歸檔存儲(chǔ)(離線存儲(chǔ)，容量型存儲(chǔ)20%的價(jià)格，適合無(wú)需在線訪問(wèn)的歷史歸檔數(shù)據(jù))歸檔存儲(chǔ)(離線存儲(chǔ)，容量型存儲(chǔ)20%的價(jià)格，適合無(wú)需在線訪問(wèn)的歷史歸檔數(shù)據(jù))在線擴(kuò)容，無(wú)需搬遷數(shù)據(jù)，十分鐘完成加/減節(jié)點(diǎn)操作集群性能線性擴(kuò)展，無(wú)單點(diǎn)瓶頸，支持百PB存儲(chǔ)規(guī)模和千萬(wàn)級(jí)并發(fā)吞吐數(shù)據(jù)多級(jí)異構(gòu)存儲(chǔ)，兼顧性能和存儲(chǔ)成本，歷史數(shù)據(jù)歸檔永久存儲(chǔ)稀疏表行級(jí)TTLcolumn5column6column7……column499多維索引&全文檢索column500對(duì)象稀疏表行級(jí)TTLcolumn5column6column7……column499多維索引&全文檢索column500對(duì)象寬表搜索寬表+搜索+文檔+時(shí)空+對(duì)象一體化融合?upsertintotb(column1,column2,…,column499,column500)values(1,2,…,“010100001111111111110001001010101011111000101011101以寬表呈現(xiàn)的邏輯試圖以寬表呈現(xiàn)的邏輯試圖columncolumn1column2column3column4(空天引擎)LDFSLDFS共享存儲(chǔ)池動(dòng)態(tài)列&稀疏表車輛ID車型顏色動(dòng)力城市里程變速器000001新能源杭州無(wú)000002轎車黑色燃油88888000002藍(lán)色北京行級(jí)TTLValueCpu_userCpu_userLoad_oneLoad_oneLoad_one若TTL為一個(gè)月2019-6-116:00:00過(guò)期2019-6-116:10:00過(guò)期2019-6-215:00:00過(guò)期2019-6-316:00:00過(guò)期2019-6-316:10:00過(guò)期設(shè)備ID上次登陸時(shí)間上次登陸城市杭州北京杭州…… value數(shù)據(jù)點(diǎn) timestamp fields&values稀疏Tag特點(diǎn)APM適用場(chǎng)景多值型 value數(shù)據(jù)點(diǎn) timestamp fields&values稀疏Tag特點(diǎn)APM適用場(chǎng)景多值型單值型Metric:temperatureTags:Room=3302Building=7TimestampValue25.826.1temperaturetemperatureRoom:3302Building:7tagstagstemperaturetemperatureRoom:3302Building:7extern:ü時(shí)間線：由相同Metric、Tags組成的一系列數(shù)據(jù)點(diǎn)ü數(shù)據(jù)點(diǎn)：由Metric+Tags+Timestamp+Value組成的一條數(shù)據(jù)記錄ü度量（metric）：數(shù)據(jù)所表示的指標(biāo)ü標(biāo)簽（tags表明指標(biāo)項(xiàng)監(jiān)測(cè)針對(duì)的具體對(duì)象的屬性）：有多個(gè)字段值，表示指標(biāo)的不同方面奧運(yùn)會(huì)全球指定云服務(wù)商低成本?低成本?4u36盤(pán)位高密度存儲(chǔ)機(jī)型?支持EC，最高可做29+3p，出盤(pán)率可達(dá)90.6%，成本接近單副本?EC冗余技術(shù)，冗余度內(nèi)，磁盤(pán)和服務(wù)器故障，不丟失數(shù)據(jù)，不影響數(shù)據(jù)讀寫(xiě)?8+2p、9+2p、18+3p、29+3p等多種EC模式可選高性能&簡(jiǎn)運(yùn)維在線擴(kuò)容高性能&簡(jiǎn)運(yùn)維?單節(jié)點(diǎn)提供接近2GB/s吞吐??單節(jié)點(diǎn)提供接近2GB/s吞吐?集群性能隨節(jié)點(diǎn)數(shù)量線性增長(zhǎng)?集群水位均勻分布?在線擴(kuò)容，不影響數(shù)據(jù)讀寫(xiě)?靈活的標(biāo)簽組合查詢時(shí)空位置檢索-〕里云相似向量檢索??可查詢標(biāo)注內(nèi)容、元數(shù)據(jù)信息、場(chǎng)景標(biāo)簽等多類信息?支持AND/OR/NOT/數(shù)量等各種表達(dá)式類型與其的組合?支持分詞檢索?用于快速檢索各類已標(biāo)注的場(chǎng)景，例如“標(biāo)注中有四個(gè)以上的信號(hào)燈并且有一個(gè)卡車”千萬(wàn)級(jí)數(shù)據(jù)實(shí)現(xiàn)秒級(jí)檢索?支持點(diǎn)、線、面等空間幾何位置檢索?用于“卡口”查詢、電子圍欄預(yù)警、軌跡查詢和分析??二維圖片/3D點(diǎn)云根據(jù)已選擇或上傳的樣本中檢索相似樣本?用于人工發(fā)現(xiàn)的單個(gè)Case快速擴(kuò)展找到大量相似樣本第一階段第三階段?第一階段第三階段?建表時(shí)支持json類型的列?支持讀取json列，讀取json中的指定字段或者集合?在where條件中基于json中指定字段過(guò)濾?支持json列的原地更新，可更新json中指定字段或者集合奧運(yùn)會(huì)全球指定云服務(wù)商使用SQL訪問(wèn)，語(yǔ)法對(duì)齊MySQL8.0第二階段?支持使用json中的字段建立索引整存整取整存整取基于Lindorm多模能力，實(shí)現(xiàn)大json對(duì)象的存儲(chǔ)和高并發(fā)實(shí)時(shí)檢索?數(shù)據(jù)庫(kù)存儲(chǔ)大對(duì)象數(shù)據(jù)，容易引發(fā)OOM按需展開(kāi)按需展開(kāi)車輛ID時(shí)間戳車輛ID時(shí)間戳索引1column500多維索引&全文檢索以寬表呈現(xiàn)的邏輯試圖以寬表呈現(xiàn)的邏輯試圖奧運(yùn)會(huì)全球指定云服務(wù)商點(diǎn)線面歷史數(shù)據(jù)查詢?“卡口”場(chǎng)景：查詢?cè)谶^(guò)去某個(gè)時(shí)間段內(nèi)經(jīng)過(guò)某個(gè)區(qū)域的車輛實(shí)時(shí)數(shù)據(jù)查詢?查詢當(dāng)前正在某個(gè)區(qū)域的車輛?查詢最后一個(gè)軌跡點(diǎn)在某個(gè)區(qū)域的車輛地理圍欄告警?車隊(duì)管理場(chǎng)景：車輛是否在指定區(qū)域或者指定線路形式時(shí)空聚類軌跡相似性查詢&檢索&分析&計(jì)算的超融合處理簡(jiǎn)單易用ü產(chǎn)品特性，開(kāi)箱即用，無(wú)需額外開(kāi)發(fā)和維護(hù)在線業(yè)務(wù)統(tǒng)一SQL訪問(wèn)ü數(shù)據(jù)讀寫(xiě)、查詢等統(tǒng)一SQL接入，根據(jù)SQL類型自動(dòng)選擇合適的存儲(chǔ)引擎ü在線請(qǐng)求與分析請(qǐng)求自動(dòng)資源隔離，消除相互影響離線分析，行列轉(zhuǎn)存ü元數(shù)據(jù)互通，計(jì)算引擎可直接分析寬表中的數(shù)據(jù)ü支持行列轉(zhuǎn)存，基于log訂閱，將行存數(shù)據(jù)導(dǎo)出成列存，并提供元數(shù)據(jù)管理能力數(shù)據(jù)一致ü元數(shù)據(jù)自動(dòng)打通ü數(shù)據(jù)按需自動(dòng)同步，毫秒級(jí)低延遲低成本ü數(shù)據(jù)統(tǒng)一存儲(chǔ)在LDFS，大幅減少碎片高性能ü寬表引擎：使用行存格式，支持高并發(fā)在線服務(wù)ü搜索引擎：使用倒排+列存(自研PAX、開(kāi)源Parquet等多種格式支持高性能分析ü計(jì)算引擎：基于Spark引擎深度優(yōu)化，提供高性能融合分析，提供元數(shù)據(jù)管理，支持行列轉(zhuǎn)存分布式ü全分布式架構(gòu)，水平擴(kuò)展，自動(dòng)容錯(cuò)，滿足企業(yè)級(jí)高可靠需求索Lindorm寬表引擎TableServerTableServerTableServerLindorm搜索引擎SearchServerSearchServerSearchServerLindorm計(jì)算引擎SparkServerSparkServerLindormSQL引擎(DDL/DQL/DML等統(tǒng)一接入)在線高并發(fā)請(qǐng)求復(fù)雜分析行格式列格式標(biāo)準(zhǔn)數(shù)據(jù)格式計(jì)算集群一體機(jī)存儲(chǔ)集群標(biāo)準(zhǔn)數(shù)據(jù)格式計(jì)算集群一體機(jī)存儲(chǔ)集群?Signalflow用于從Python到高效可執(zhí)行文件的策?SignalflowJob允許用戶通過(guò)Python方便的定義批量計(jì)算任務(wù)?SignalflowJob任務(wù)會(huì)被編譯為底層計(jì)算引擎計(jì)算引擎存儲(chǔ)引擎?SignalflowTable提供了針對(duì)量化研究非常方便的數(shù)據(jù)格式的定義?底層基于Tair/Lindorm，阿里自研的高效數(shù)據(jù)庫(kù)引擎分布式計(jì)算集群之上奧運(yùn)會(huì)全球指定云服務(wù)商?方便的指定回測(cè)日期(dates)，股票池(univ)?自動(dòng)根據(jù)日期與股票池進(jìn)行并發(fā)回測(cè)?用戶無(wú)需關(guān)心底層并行執(zhí)行的細(xì)節(jié)?以task的形式組織Job中計(jì)算的先后順序?task之間可以是順序執(zhí)行或者并行執(zhí)行?task的前后計(jì)算順序構(gòu)成DAG，自動(dòng)按照?task的類型包括最基本的cmd，可以執(zhí)行任意命令?也具有帶有語(yǔ)意的task，如SFTask表示signalflow的腳本。此類task內(nèi)置了一些常用的設(shè)置可以省掉很多繁瑣的底層配置奧運(yùn)會(huì)全球指定云服務(wù)商?SignalflowTable以四維數(shù)組為組織數(shù)據(jù)的基本格式?底層存儲(chǔ)在Lindorm/Tair數(shù)據(jù)庫(kù)內(nèi)?向上屏蔽存儲(chǔ)細(xì)節(jié)，用戶不需要關(guān)注數(shù)據(jù)如何存儲(chǔ)?向上支持多個(gè)接口，方便signalflow程序訪問(wèn)?Python接口允許把數(shù)據(jù)讀入為Numpy或者Pandas?支持C++接口-〕里-〕里云?機(jī)器學(xué)習(xí)技術(shù)廣泛應(yīng)用，例如推薦、預(yù)測(cè)、反欺詐等場(chǎng)景?數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)處理、特征工程、模型訓(xùn)練、部署、服務(wù)等多個(gè)階段，門(mén)檻高?訓(xùn)練、推理需要頻繁訪問(wèn)/移動(dòng)數(shù)據(jù)?利用數(shù)據(jù)庫(kù)技術(shù)來(lái)優(yōu)化機(jī)器學(xué)習(xí)流程?通過(guò)SQL訓(xùn)練、管理、部署、預(yù)測(cè)模型?數(shù)據(jù)庫(kù)企業(yè)級(jí)優(yōu)勢(shì)，如高可用、加密、審計(jì)等datadatadata訓(xùn)練機(jī)器通過(guò)SQL……AIAI引擎機(jī)器學(xué)習(xí)算法：時(shí)序預(yù)測(cè)、異常檢測(cè)支持用戶自定義模型導(dǎo)入(開(kāi)發(fā)中)FROM(SELECTdate,site,ca)PROBLEM_TYPETIME_SERIES_FORECASTSELECTforecast_capacity(5)FROMcapacity_data;CONTENTCONTENT奧運(yùn)會(huì)全球指定云服務(wù)商400000002.9XXX2.8X0單行讀范圍讀單行寫(xiě)批量寫(xiě)Lindorm-2.1社區(qū)版HBase-2.0注：1.P99延遲指99%請(qǐng)求的響應(yīng)時(shí)間小于該值2.圖中數(shù)值供參考，具體以實(shí)際場(chǎng)景為準(zhǔn)3.測(cè)試環(huán)境請(qǐng)參考附錄0單行讀單行寫(xiě)批量寫(xiě)社區(qū)版單行讀單行寫(xiě)批量寫(xiě)社區(qū)版HBase-2.0Lindorm-2.1高性能吞吐(時(shí)序)奧運(yùn)會(huì)全球指定云服務(wù)商信通院時(shí)序數(shù)據(jù)庫(kù)性能評(píng)測(cè)第一讀數(shù)據(jù)點(diǎn)讀數(shù)據(jù)點(diǎn)/秒寫(xiě)數(shù)據(jù)點(diǎn)/秒AppleAppleXiaomiAppleAppleXiaomi-2XORXORLindorm跨機(jī)房部署，支持機(jī)房級(jí)故障的自動(dòng)恢復(fù)，并保證數(shù)據(jù)的強(qiáng)一致使用場(chǎng)景優(yōu)勢(shì)關(guān)鍵技術(shù)4.節(jié)點(diǎn)/機(jī)房故障后，自動(dòng)切換Leader資源利用率高率請(qǐng)求容錯(cuò)，去毛刺奧運(yùn)會(huì)全球指定云服務(wù)商機(jī)房A機(jī)房B機(jī)房CZoneZoneAZoneZoneB邏輯圖部署圖數(shù)據(jù)同步服務(wù)t數(shù)據(jù)同步服務(wù)t奧運(yùn)會(huì)全球指定云服務(wù)商優(yōu)勢(shì)以表為粒度，自由單雙向同步百毫秒數(shù)據(jù)延遲對(duì)lindorm集群無(wú)影響，由LTS做數(shù)據(jù)同步參與同步的集群數(shù)量、表數(shù)量無(wú)限制延遲可監(jiān)控報(bào)警、數(shù)據(jù)鏈路可API管理分布式、自容錯(cuò)、數(shù)據(jù)校驗(yàn)ü冷數(shù)據(jù)存儲(chǔ)成本減少80%，熱數(shù)據(jù)訪問(wèn)性能提升15%0WarmData…1不壓縮2…快速壓縮3ü冷數(shù)據(jù)存儲(chǔ)成本減少80%，熱數(shù)據(jù)訪問(wèn)性能提升15%0WarmData…1不壓縮2…快速壓縮3…ü即開(kāi)即用，按表開(kāi)啟ü應(yīng)用零改造ü冷熱分隔線，靈活調(diào)整ü自由設(shè)置冷熱的存儲(chǔ)介質(zhì)、壓縮算法深度壓縮性能型存儲(chǔ)標(biāo)準(zhǔn)型存儲(chǔ)容量型存儲(chǔ)冷熱分離冷熱分離 whereCol2>=?whereCol2=?andCol0>=？whereCol1>=?whereCol1=?andCol0>=？非主鍵查詢易用寫(xiě)后可讀 whereCol2>=?whereCol2=?andCol0>=？whereCol1>=?whereCol1=?andCol0>=？非主鍵查詢易用寫(xiě)后可讀排序鍵排序鍵排序鍵屬性鍵屬性鍵索引2按需冗余索引1whereCol0>=?屬性鍵ClientLindLindormServer主表索引列Col2冗余列Col3、Col4索引列Col1冗余列Col2、Col3異步增量索引 Schema轉(zhuǎn)換數(shù)據(jù)寫(xiě)入全量索引構(gòu)建TLogSegment 異步增量索引 Schema轉(zhuǎn)換數(shù)據(jù)寫(xiě)入全量索引構(gòu)建TLogSegment Query查詢編譯查詢編譯Lindorm寬表Lindorm寬表Schema轉(zhuǎn)換數(shù)據(jù)同步搜索引擎Lindorm多模引擎>查詢時(shí)基于編譯優(yōu)化(RBO)自動(dòng)路由到搜索引擎，并智能判斷是否需要回查寬表引擎豐富搜索能力>支持文本相關(guān)性查詢、多語(yǔ)言(中英文、繁簡(jiǎn)體)智能分詞>具備查詢補(bǔ)全、結(jié)果高亮顯示、聚合分析等全文搜索功能數(shù)據(jù)自動(dòng)同步到搜索引擎>異步增量索引，基于LTS提供可擴(kuò)展的同步通道，數(shù)據(jù)同步可視化技術(shù)挑戰(zhàn)技術(shù)挑戰(zhàn) 租戶 命名空間數(shù)據(jù)表 △租戶配額 租戶 命名空間數(shù)據(jù)表 △租戶配額 用戶ACL層智能診斷多模引擎多模引擎l……存儲(chǔ)引擎存儲(chǔ)引擎l……硬件硬件l……奧運(yùn)會(huì)全球指定云服務(wù)商停頓時(shí)間三大核心技術(shù)一.一.CCSMap：無(wú)鎖高并發(fā)無(wú)對(duì)象Skiplist核心設(shè)計(jì)?object-free?cacheline友好?slab復(fù)用?內(nèi)存按需申請(qǐng)?吞吐提升20%?內(nèi)存效率提升40%?YGC時(shí)間優(yōu)化4倍?兼容JDKConcurrentMap接口HBase3.0核心特性CompactorCompactor :等待內(nèi)存塊回收:等待引用釋放PutWriteAck85Ack8Ack8Ack8Ack8Ack6PutWriteAck85Ack8Ack8Ack8Ack8Ack6 ü壞盤(pán)，宕機(jī)故障恢復(fù)時(shí)間長(zhǎng)ü寫(xiě)3等2的Quorum機(jī)制，屏蔽壞、慢節(jié)點(diǎn)ü慢節(jié)點(diǎn)摘除，節(jié)點(diǎn)落后較多時(shí)重選QuorumGroup678WAL678WAL故障恢復(fù)，通過(guò)RecoverLease確定文件使用LLC替換Pipelineü抖動(dòng)、壞盤(pán)、宕機(jī)無(wú)感知奧運(yùn)會(huì)全球指定云服務(wù)商對(duì)一條時(shí)間線上的數(shù)據(jù)按指定時(shí)間間隔進(jìn)行聚合，從而數(shù)據(jù)按不同精度存儲(chǔ)，滿足不同時(shí)間范圍高效查詢需求t1t2t3t4t5t6奧運(yùn)會(huì)全球指定云服務(wù)商按指定條件對(duì)同一個(gè)Metric的多條時(shí)間線的數(shù)據(jù)按時(shí)間戳對(duì)齊后進(jìn)行數(shù)值聚合，Lindorm時(shí)序引擎內(nèi)置時(shí)序流式分析引擎，支持預(yù)聚合與插值t1t2t3t4t5t6邊云一體邊緣計(jì)算場(chǎng)景時(shí)序數(shù)據(jù)存儲(chǔ)解決方案高可用架構(gòu)，與Lindorm時(shí)序Cloud功能對(duì)齊數(shù)據(jù)自動(dòng)同步到遠(yuǎn)端Cloud實(shí)例集群奧運(yùn)會(huì)全球指定云服務(wù)商奧運(yùn)會(huì)全球指定云服務(wù)商3.時(shí)序異常檢測(cè)（算法由達(dá)摩院提供）尖峰、深谷均值變化方差變化更好的HBase奧運(yùn)會(huì)全球指定云服務(wù)商性能穩(wěn)定熱點(diǎn)region自動(dòng)均衡，熱點(diǎn)key自動(dòng)隔離跨機(jī)房容災(zāi)(強(qiáng)一致模型和最終一致模型可選)SLA99.9%，跨可用區(qū)集群SLA99.99%壓縮自適應(yīng)編碼算法+深度優(yōu)化的ZSTD壓縮，壓縮率高達(dá)5-10倍冷熱分離容量型存儲(chǔ)彈性支持ScaleUp：升配/磁盤(pán)擴(kuò)容支持ScaleOut：擴(kuò)縮節(jié)點(diǎn)/擴(kuò)縮計(jì)算節(jié)點(diǎn)支持Serverless：無(wú)需感知水位，完全自動(dòng)彈性功能支持SQL支持二級(jí)索引支持多維檢索和全文檢索內(nèi)置列存和Spark引擎數(shù)據(jù)輸出安全營(yíng)銷運(yùn)營(yíng)報(bào)表業(yè)務(wù)平臺(tái)資金平臺(tái)數(shù)據(jù)輸入數(shù)據(jù)輸出安全營(yíng)銷運(yùn)營(yíng)報(bào)表業(yè)務(wù)平臺(tái)資金平臺(tái)數(shù)據(jù)輸入外部用戶客服客服運(yùn)營(yíng)商家商家消費(fèi)者消費(fèi)者月賬單賬單備忘年賬單賬單地圖創(chuàng)新產(chǎn)品月賬單賬單備忘年賬單賬單地圖分類標(biāo)簽分類標(biāo)簽智能賬本智能賬本基礎(chǔ)產(chǎn)品賬單記錄賬單記錄資金記錄資金記錄賬單詳情賬單詳情支付助手支付助手清洗標(biāo)準(zhǔn)化數(shù)據(jù)流交易信息資金信息賬單訂單信息智能化清洗標(biāo)準(zhǔn)化數(shù)據(jù)流交易信息資金信息賬單訂單信息智能化分類分類標(biāo)簽標(biāo)簽高可用高可用彈性伸縮高性能高性能熱點(diǎn)保護(hù)低成本低成本數(shù)據(jù)生態(tài)高可靠高可靠多租戶百萬(wàn)+QPS平滑擴(kuò)容千萬(wàn)+TPS賬單查詢賬單寫(xiě)入百萬(wàn)+QPS平滑擴(kuò)容千萬(wàn)+TPS賬單查詢賬單寫(xiě)入生活繳費(fèi)生活繳費(fèi)金融服務(wù)金融服務(wù)信用信用………業(yè)務(wù)訴求：核心系統(tǒng)，非常高業(yè)務(wù)訴求：核心系統(tǒng)，非常高的可用性要求業(yè)務(wù)痛點(diǎn)：讀寫(xiě)熱點(diǎn)痛點(diǎn)：數(shù)據(jù)永久保存，增長(zhǎng)快，存儲(chǔ)成本壓力巨大痛點(diǎn)：大KV，寫(xiě)入性能要求高痛點(diǎn)：大促千萬(wàn)級(jí)讀寫(xiě)1.分區(qū)級(jí)別的動(dòng)態(tài)、快速遷移1.高吞吐寫(xiě)入能力1.無(wú)限水平擴(kuò)展1.多機(jī)房部署，分區(qū)級(jí)主從副1.ZSTD高壓縮2.大促?gòu)椥陨炜s本，強(qiáng)一致保證，可用率高于2.單機(jī)抗熱點(diǎn)緩存2.冷熱數(shù)據(jù)分離99.99%3.存儲(chǔ)計(jì)算分離百TB+數(shù)據(jù)千萬(wàn)+新增百TB+數(shù)據(jù)千萬(wàn)+新增千億千億+賬單支付網(wǎng)關(guān)支付網(wǎng)關(guān)write主DRDSreaddelete 數(shù)據(jù)備份服務(wù)賬本、報(bào)表等賬本、報(bào)表等只讀只讀DRDS6個(gè)月以內(nèi)數(shù)據(jù)歷史數(shù)據(jù)問(wèn)題:支付網(wǎng)關(guān)支付網(wǎng)關(guān)write主DRDSreaddelete 數(shù)據(jù)備份服務(wù)賬本、報(bào)表等賬本、報(bào)表等全量數(shù)據(jù)效果:?成本下降77.42%?千億數(shù)據(jù)支持15+維度的多維隨機(jī)組合實(shí)時(shí)查詢?毫秒級(jí)響應(yīng)時(shí)延統(tǒng)計(jì)窗口高頻交易數(shù)據(jù)計(jì)算結(jié)果統(tǒng)計(jì)窗口高頻交易數(shù)據(jù)計(jì)算結(jié)果計(jì)算結(jié)果高頻交易數(shù)據(jù)統(tǒng)計(jì)窗口高頻交易數(shù)據(jù)計(jì)算結(jié)果統(tǒng)計(jì)窗口高頻交易數(shù)據(jù)計(jì)算結(jié)果計(jì)算結(jié)果高頻交易數(shù)據(jù)成交量 ?分庫(kù)分表無(wú)法應(yīng)對(duì)業(yè)務(wù)持續(xù)增長(zhǎng)帶來(lái)的擴(kuò)容需求成交量 成交明細(xì)?在線彈性擴(kuò)容，支持海量數(shù)據(jù)存儲(chǔ)和處理?數(shù)據(jù)自動(dòng)均衡和成熟的數(shù)據(jù)熱點(diǎn)處理方案供數(shù)據(jù)分析能力存儲(chǔ)成本下降70%K線/指標(biāo)計(jì)算 索和數(shù)據(jù)統(tǒng)計(jì)功能核心存儲(chǔ)使用Lindorm核心存儲(chǔ)使用Lindorm存儲(chǔ)在線實(shí)時(shí)計(jì)算引擎在線實(shí)時(shí)計(jì)算引擎離線批量計(jì)算引擎風(fēng)險(xiǎn)數(shù)據(jù)處理平臺(tái)流式引擎Velocity會(huì)員信息交易信息設(shè)備指紋數(shù)據(jù)MaxCompute/Spark 簡(jiǎn)單數(shù)據(jù)映射云查詢系統(tǒng)Spark分析復(fù)雜數(shù)據(jù)映射數(shù)據(jù)在線保留N個(gè)月數(shù)據(jù)永久或指定周期保留價(jià)值:?大幅降低存儲(chǔ)成本?對(duì)應(yīng)不同業(yè)務(wù)在線庫(kù)(含分庫(kù)分表)，提供全局歷史庫(kù)入口簡(jiǎn)單數(shù)據(jù)映射云查詢系統(tǒng)Spark分析復(fù)雜數(shù)據(jù)映射數(shù)據(jù)在線保留N個(gè)月數(shù)據(jù)永久或指定周期保留價(jià)值:?大幅降低存儲(chǔ)成本?對(duì)應(yīng)不同業(yè)務(wù)在線庫(kù)(含分庫(kù)分表)，提供全局歷史庫(kù)入口?具備良好的擴(kuò)展能力?具備在線查詢&數(shù)據(jù)分析能力?具備多維查詢&分析能力一分鐘即可構(gòu)建RDS->Lindorm的實(shí)時(shí)通道:AppAppAppAppApp?多RDS可以同步到一個(gè)Lindorm集群?異步實(shí)時(shí)同步，平均延遲小于200ms?支持跨可用區(qū)、異地實(shí)時(shí)同步?指標(biāo)監(jiān)控、可視化?在線配置即可生效 海量數(shù)據(jù)?某直轄市新能源汽車公共數(shù)據(jù)平臺(tái)，70萬(wàn)輛車，1PB數(shù)據(jù)?某豪華汽車品牌，存量180TB，明年預(yù)計(jì)400TB?某國(guó)產(chǎn)汽車品牌，規(guī)劃未來(lái)3年數(shù)據(jù)量?不同圖片識(shí)別得到的標(biāo)簽不一樣，典型的稀疏表特征大對(duì)象數(shù)據(jù)?某自動(dòng)駕駛公司單條json數(shù)據(jù)>100MB?某造車新勢(shì)力單條json數(shù)據(jù)>10MB?多維度標(biāo)簽檢索：模型訓(xùn)練生成的標(biāo)注數(shù)據(jù)存儲(chǔ)，檢索維度20+，qps2萬(wàn)/s，未來(lái)規(guī)劃20萬(wàn)/s實(shí)時(shí)監(jiān)控歷史數(shù)據(jù)時(shí)間窗口計(jì)算容量空間水平擴(kuò)展，支持百PB存儲(chǔ)規(guī)模運(yùn)維存算分離，自助快速擴(kuò)容成本壓縮率，數(shù)據(jù)多級(jí)存儲(chǔ)檢索算法訓(xùn)練實(shí)時(shí)監(jiān)控歷史數(shù)據(jù)時(shí)間窗口計(jì)算容量空間水平擴(kuò)展，支持百PB存儲(chǔ)規(guī)模運(yùn)維存算分離，自助快速擴(kuò)容成本壓縮率，數(shù)據(jù)多級(jí)存儲(chǔ)檢索算法訓(xùn)練事故分析…實(shí)時(shí)監(jiān)控發(fā)動(dòng)機(jī)狀態(tài)性能性能秒千萬(wàn)級(jí)吞吐結(jié)構(gòu)化數(shù)據(jù)車機(jī)數(shù)據(jù)/位置數(shù)據(jù)/標(biāo)簽數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)視頻/圖片事件回溯事件回溯事件觸發(fā)事件觸發(fā)Stream(實(shí)時(shí)數(shù)據(jù)時(shí)間窗口計(jì)算)SparkSpark寬表搜索運(yùn)營(yíng)分析運(yùn)營(yíng)分析奧運(yùn)會(huì)全球指定云服務(wù)商奧運(yùn)會(huì)全球指定云服務(wù)商l低成本高可用彈性靈活自動(dòng)數(shù)據(jù)冷熱分離低延遲異常分析cornercase異常分析cornercase模型訓(xùn)練模型訓(xùn)練CONTENTCONTENT優(yōu)化資源成本提升訪問(wèn)效率優(yōu)化資源成本提升訪問(wèn)效率奧運(yùn)會(huì)全球指定云服務(wù)商元數(shù)據(jù)運(yùn)行數(shù)據(jù)Tracing寬表+搜索設(shè)備關(guān)系圖多模數(shù)據(jù)庫(kù)多模數(shù)據(jù)庫(kù)湖倉(cāng)計(jì)算平臺(tái)減少運(yùn)維負(fù)擔(dān)減少運(yùn)維負(fù)擔(dān)單可用區(qū)集群版多可用區(qū)集群版Serverless版專有云企業(yè)版專有云敏捷/ADP/DBstack特點(diǎn)公共云標(biāo)準(zhǔn)跨機(jī)房強(qiáng)一致容災(zāi)按需付費(fèi)，即時(shí)(以實(shí)際為準(zhǔn))適用場(chǎng)景任何規(guī)模企業(yè)生產(chǎn)任何規(guī)模企業(yè)生產(chǎn)培訓(xùn)學(xué)習(xí)、測(cè)試任何規(guī)模企業(yè)生產(chǎn)企業(yè)生產(chǎn)合作伙伴集成服務(wù)等級(jí)協(xié)議技術(shù)架構(gòu)標(biāo)準(zhǔn)SLA強(qiáng)分布式部署多副本、自動(dòng)容災(zāi)強(qiáng)雙可用區(qū)部署標(biāo)準(zhǔn)SLA中分布式部署多副本強(qiáng)強(qiáng)分布式部署多副本CONTENTCONTENT離散工業(yè)過(guò)程改進(jìn)流程工業(yè)生產(chǎn)監(jiān)控APM/NPM運(yùn)維離散工業(yè)過(guò)程改進(jìn)流程工業(yè)生產(chǎn)監(jiān)控APM/NPM運(yùn)維?邊緣部署單節(jié)點(diǎn)InfluxDB版本?邊緣部署單節(jié)點(diǎn)TSDBV3版本?邊緣、云端MQTT、HTTP/RESTAPI實(shí)時(shí)數(shù)據(jù)同步?開(kāi)放第三方邊緣硬件集成版Lindorm?高頻交易實(shí)時(shí)數(shù)據(jù)存儲(chǔ)計(jì)算?采集、計(jì)算、分析、可視化全鏈路監(jiān)控?cái)?shù)據(jù)解決方案?分布、異構(gòu)監(jiān)控?cái)?shù)據(jù)存儲(chǔ)一體化解決方案，低部署、運(yùn)維成本?開(kāi)放生態(tài)，支持插件、應(yīng)用擴(kuò)展，支持自定義數(shù)據(jù)存儲(chǔ)、分析能力。奧運(yùn)會(huì)全球指定云服務(wù)商金融高頻交易監(jiān)控金融高頻交易監(jiān)控Lindorm產(chǎn)品優(yōu)勢(shì)：適合監(jiān)控?cái)?shù)據(jù)存儲(chǔ)場(chǎng)景、高性價(jià)比、高性能快速融合對(duì)接大數(shù)據(jù)生態(tài)，實(shí)現(xiàn)IoT數(shù)據(jù)遍在可?支持TSDB、HbaseServer?支持LTS增強(qiáng)自主可控，專屬隔離：支持客戶監(jiān)控/業(yè)務(wù)系統(tǒng)無(wú)縫對(duì)接和安裝?邊端云一體化方案?高性價(jià)比監(jiān)控?cái)?shù)據(jù)全量存儲(chǔ)LindormStore：LindormStore：高性價(jià)比數(shù)據(jù)庫(kù)備份恢復(fù)存阿里云計(jì)算有限公司與華為技術(shù)有限公司阿里云計(jì)算有