云原生多模數(shù)據(jù)庫(kù)阿里云產(chǎn)品與技術(shù)專業(yè)知識(shí)認(rèn)證(APPC)葛雙博阿里云數(shù)據(jù)庫(kù)高級(jí)產(chǎn)品專家V|產(chǎn)品價(jià)值與場(chǎng)景產(chǎn)品選型與報(bào)價(jià)產(chǎn)品市場(chǎng)地位與榮譽(yù)獎(jiǎng)項(xiàng)競(jìng)爭(zhēng)分析碎片化成本高碎片化成本高面向萬物互聯(lián)時(shí)代的多模數(shù)據(jù)庫(kù)互聯(lián)網(wǎng)移動(dòng)互聯(lián)網(wǎng)支付萬物互聯(lián)關(guān)系數(shù)據(jù)庫(kù)多模數(shù)據(jù)庫(kù)?IdDateDayDay_of_WeekMonthMonth_NameQuarterQuarter_Name事務(wù)事務(wù)EeetSaletDate_IdStore_IdProduct_IdUnits_Sold關(guān)系模型關(guān)系模型?IdSkore_NumberState_ProvinceCountry維度表EAN_CodeProduct_NameBrandProduct_Category分庫(kù)分表靈活可擴(kuò)展OPENTSDBmongoDBhedoopSparkVE運(yùn)維難運(yùn)維難數(shù)據(jù)融合架構(gòu)收斂海量多模型數(shù)據(jù)海量多模型數(shù)據(jù)靈活+靈活+SQL在線服務(wù)在線服務(wù)非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)的自研內(nèi)核高度可控節(jié)點(diǎn)存儲(chǔ)8億+峰值請(qǐng)求的自研內(nèi)核高度可控節(jié)點(diǎn)存儲(chǔ)8億+峰值請(qǐng)求阿里集團(tuán)最佳實(shí)踐交易物流總資產(chǎn)賬戶安全險(xiǎn)保障中>余額余額寶藏花閣花友二群銀行卡周家后宮保險(xiǎn)服務(wù)螞蟻借唄網(wǎng)商銀行支付寶賬單布魯諾鋼琴現(xiàn)場(chǎng)選琴優(yōu)惠群20:53您的包裹已出庫(kù)√消息(13)芝麻信用通知互動(dòng)設(shè)備狀態(tài)..91217017615.91217017615整-88%雙/E班100分35秒，2015天描雙11全球狂"螞蟻智能風(fēng)控表…勤勤關(guān)系型云原生多模數(shù)據(jù)庫(kù)Lindorm關(guān)系型云原生多模數(shù)據(jù)庫(kù)Lindorm化繁為簡(jiǎn)化繁為簡(jiǎn)業(yè)務(wù)系統(tǒng)業(yè)務(wù)系統(tǒng)業(yè)務(wù)系統(tǒng)非結(jié)構(gòu)化數(shù)據(jù)運(yùn)行數(shù)據(jù)運(yùn)行數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)運(yùn)行數(shù)據(jù)運(yùn)行數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)元數(shù)據(jù)寬表關(guān)系寬表關(guān)系寬表型HBase檢索分析時(shí)序型降低開發(fā)成本優(yōu)化資源效率減少運(yùn)維負(fù)擔(dān)降低開發(fā)成本優(yōu)化資源效率?zstd+字典采樣，最高15?zstd+字典采樣，最高15儲(chǔ)?支持歸檔存儲(chǔ)，歷史數(shù)據(jù)可永久保存?水平擴(kuò)展，無單點(diǎn)瓶頸?千萬級(jí)吞吐，百PB規(guī)模?吞吐性能為HBase的3-?熱點(diǎn)自愈，自動(dòng)拆分和終一致可選延遲，最終一致??數(shù)據(jù)融合：寬表、時(shí)?計(jì)算融合：查詢、檢索、批處理、流計(jì)算動(dòng)態(tài)列、行級(jí)TTL、行列轉(zhuǎn)存Lindorm的核心優(yōu)勢(shì)和豐富業(yè)務(wù)功能的持續(xù)擴(kuò)展需求。低成本低成本·高壓縮率(最高10:1)·低成本存儲(chǔ)介質(zhì)彈性擴(kuò)展彈性擴(kuò)展高性能高性能·千萬級(jí)高并發(fā)下保證個(gè)位數(shù)毫秒時(shí)延，平均RT小于3ms,p99·多維實(shí)時(shí)檢索數(shù)據(jù)處理數(shù)據(jù)處理·二級(jí)索引·多維檢索·交互式分析(規(guī)劃中)·流計(jì)算(規(guī)劃中)金融級(jí)高可用/高可靠金融級(jí)高可用/高可靠L□l?U//讀寫熱點(diǎn)保護(hù)讀寫熱點(diǎn)保護(hù)·單機(jī)抗熱點(diǎn)緩存·分區(qū)級(jí)別在線動(dòng)態(tài)遷移·指定對(duì)象Quota限流多租戶多租戶·用戶認(rèn)證數(shù)據(jù)生態(tài)數(shù)據(jù)生態(tài)·開源生態(tài)兼容·阿里生態(tài)兼容·豐富的數(shù)據(jù)同步通道文檔對(duì)象文件文件/對(duì)象時(shí)序文檔對(duì)象文件文件/對(duì)象時(shí)序易擴(kuò)展存算分離在線擴(kuò)容海量存儲(chǔ)10倍壓縮高性能每秒千萬級(jí)寫入百PB存儲(chǔ)規(guī)模毫秒級(jí)響應(yīng)OSS時(shí)序時(shí)空寬表TimeSeriesGanosTimeSeriesGanosSearch時(shí)序引擎時(shí)空引擎搜索引擎文件引擎HadoopCompatibleFilesystemProtocol性能型存儲(chǔ)容量型存儲(chǔ)性能型存儲(chǔ)容量型存儲(chǔ)數(shù)據(jù)歸檔數(shù)據(jù)歸稻數(shù)據(jù)歸檔歸檔型存儲(chǔ)(TunnelService)數(shù)據(jù)透視系統(tǒng)管理存儲(chǔ)計(jì)算分離云原生存儲(chǔ)LindormStore智能轉(zhuǎn)存歸檔存儲(chǔ)(離線存儲(chǔ)，容量型存儲(chǔ)20%的價(jià)格，適合無需在線訪問的歷史歸檔數(shù)據(jù))80%成本節(jié)約口在線擴(kuò)容，無需搬遷數(shù)據(jù)，十分鐘完成加/減節(jié)點(diǎn)操作口集群性能線性擴(kuò)展，無單點(diǎn)瓶頸，支持百PB存儲(chǔ)規(guī)模和千萬級(jí)并發(fā)吞吐口數(shù)據(jù)多級(jí)異構(gòu)存儲(chǔ)，兼顧性能和存儲(chǔ)成本，歷史數(shù)據(jù)歸檔永久存儲(chǔ)多模歸一的融合寬表多模歸一的融合寬表寬表+搜索+文檔+時(shí)空+對(duì)象一體化融合動(dòng)態(tài)列稀疏表行級(jí)TTL多版本以寬表呈現(xiàn)的邏輯試圖column1column2column3column4column5column6column7column499column500l主鍵二級(jí)索引文檔(json)U時(shí)空向量多維索引&全文檢索blob對(duì)象(S3對(duì)象(S3兼容)寬表向量檢索寬表向量檢索LDFS共享存儲(chǔ)池靈活的Lindorm寬表口動(dòng)態(tài)列&稀疏表車輛ID車型顏色動(dòng)力里程變速器新能源無轎車黑色燃油藍(lán)色北京MetricNameDateValueCpu_user2019-5-116:00:00Cpuuser2019-5-116:10:002019-5-215:00:002019-5-316:00:00Load_one2019-5-316:10:00若TTL為一個(gè)月2019-6-116:00:00過期2019-6-116:10:00過期2019-6-215:00:00過期2019-6-316:00:00過期2019-6-316:10:00過期多版本設(shè)備ID上次登陸時(shí)間上次登陸城市2019-5-916:00杭州2019-5-111:00北京2019-4-912:00杭州時(shí)序模型〔-〕阿里云Metric:temperatureTags:Room=3302Building=7TimestampValue時(shí)間線時(shí)間線口基礎(chǔ)概念√時(shí)間線：由相同Metric、Tags組成的一系列數(shù)據(jù)點(diǎn)√數(shù)據(jù)點(diǎn)：由Metric+Tags+Timestamp+Value組成的一條數(shù)據(jù)記錄√標(biāo)簽(tags):表明指標(biāo)項(xiàng)監(jiān)測(cè)針對(duì)的具體對(duì)象的屬性單值型Room:3302BuildingRoom:3302Building:71492158910extern:temperatureRoom:3302Building:7extern:temperature多值型特點(diǎn)稀疏Tag動(dòng)態(tài)TagT監(jiān)控有多個(gè)字段值，表示指標(biāo)的不同方面低成本?低成本?4u36盤位高密度存儲(chǔ)機(jī)型?支持EC，最高可做29+3p，出盤率可達(dá)90.6%，成本接近單副本?EC冗余技術(shù)，冗余度內(nèi)，磁盤和服務(wù)器故障，不丟失數(shù)據(jù)，不影響數(shù)據(jù)讀寫?8+2p、9+2p、18+3p、29+3p等多種EC模式可選高性能&簡(jiǎn)運(yùn)維在線擴(kuò)容高性能&簡(jiǎn)運(yùn)維?單節(jié)點(diǎn)提供接近2GB/s吞吐??單節(jié)點(diǎn)提供接近2GB/s吞吐?集群性能隨節(jié)點(diǎn)數(shù)量線性增長(zhǎng)?集群水位均勻分布?在線擴(kuò)容，不影響數(shù)據(jù)讀寫?多模態(tài)檢索能力靈活的標(biāo)簽組合查詢時(shí)空位置檢索相似向量檢索景標(biāo)簽等多類信息·支持AND/OR/NOT/數(shù)量等各種且有一個(gè)卡車”干萬級(jí)數(shù)據(jù)實(shí)現(xiàn)秒級(jí)檢索索警、軌跡查詢和分析●二維圖片/3D點(diǎn)云根據(jù)已選擇或上傳的樣本中檢索相似樣本·利用向量檢索技術(shù)，干萬級(jí)數(shù)據(jù)檢索時(shí)間<3秒找到大量相似樣本支持json類型數(shù)據(jù)使用SQL訪問，語法對(duì)齊MySQL8.0第一階段第一階段●已發(fā)布的指定字段或者集合·在where條件中基于json中指定字段過濾支持使用json中的字段建立索新json中指定字段或者集合第二階段第三階段tabletb(p1int,c1varchar,c2json,primarykey(p1))intotb(p1,c1,c2)values(2,'2',json_object('k1',2,'k2','2'))intotb(p1,c1,c2)values(2,'2',[1,2,{"k1":3,"k2":"3"}])p1,c1,c2,json_extract(c2,'$.k1')jfromtbwherep1=1p1,c1,c2fromtbwherewherep1>=1andp1<4andjson_extract(c2,'$.k2')>'0帶標(biāo)簽檢索的大對(duì)象存儲(chǔ)〔-〕阿里云基于Lindorm多模能力，實(shí)現(xiàn)大json對(duì)象的存儲(chǔ)和高并發(fā)實(shí)時(shí)檢索·Json文件>100MB3{"batch_num":0,"file_name":"lane2d_anting/3W_1206/imgs/5f693016e5862189cec4df7aae6c5618.jpg","img_id"img_id":0,"y":0.0"hmwan":"hmw"ihc_highbeam_score":0.0,"ldw_on":0,"mcp_tid":0,"ncwan":Ω"reserve":U,'static_foe":{"ufcw_on":0"available":0"extra_info":{"available":0,按需展開主鍵多維索引&全文檢索以寬表呈現(xiàn)的邏輯試圖整存整取歷史數(shù)據(jù)查詢實(shí)時(shí)數(shù)據(jù)查詢地理圍欄告警·查詢當(dāng)前正在某個(gè)區(qū)域的車輛·查詢最后一個(gè)軌跡點(diǎn)在某個(gè)區(qū)域的車輛·車隊(duì)管理場(chǎng)景：車輛是否在指定區(qū)域或者指定線路形式時(shí)空聚類·分析：什么時(shí)間、什么地點(diǎn)容易發(fā)生告警(事故)軌跡相似性·挖掘歷史規(guī)矩?cái)?shù)據(jù)，找出相似軌跡，計(jì)算常用線路Lindorm聚合查詢方案查詢&檢索&分析&計(jì)算的超融合處理口簡(jiǎn)單易用√產(chǎn)品特性，開箱即用，無需額外開發(fā)和維護(hù)口在線業(yè)務(wù)統(tǒng)一SQL訪問√數(shù)據(jù)讀寫、查詢等統(tǒng)一SQL接入，根據(jù)SQL類型自動(dòng)選擇合適的存儲(chǔ)引擎√在線請(qǐng)求與分析請(qǐng)求自動(dòng)資源隔離，消除相互影響口離線分析，行列轉(zhuǎn)存√元數(shù)據(jù)互通，計(jì)算引擎可直接分析寬表中的數(shù)據(jù)√支持行列轉(zhuǎn)存，基于log訂閱，將行存數(shù)據(jù)導(dǎo)出成列存，并提供元數(shù)據(jù)管理能力口數(shù)據(jù)一致√數(shù)據(jù)按需自動(dòng)同步，毫秒級(jí)低延遲√支持強(qiáng)同步口低成本√數(shù)據(jù)統(tǒng)一存儲(chǔ)在LDFS,大幅減少碎片口高性能等多種格式),支持高性能分析√計(jì)算引擎：基于Spark引擎深度優(yōu)化，提供高性能融合分析，提供元數(shù)據(jù)管理，支持行列轉(zhuǎn)存口分布式√全分布式架構(gòu)，水平擴(kuò)展，自動(dòng)容錯(cuò)，滿足企業(yè)級(jí)高可靠需求Lindorm搜索引擎列存+倒排索引行列轉(zhuǎn)存復(fù)雜分析列格式行格式自動(dòng)數(shù)據(jù)同步元數(shù)據(jù)+行存索引標(biāo)準(zhǔn)數(shù)據(jù)格式計(jì)算集群一體機(jī)存儲(chǔ)集群標(biāo)準(zhǔn)數(shù)據(jù)格式計(jì)算集群一體機(jī)存儲(chǔ)集群?Signalflow用于從Python到高效可執(zhí)行文件的策?SignalflowJob允許用戶通過Python方便的定義批量計(jì)算任務(wù)?SignalflowJob任務(wù)會(huì)被編譯為底層計(jì)算引擎計(jì)算引擎存儲(chǔ)引擎?SignalflowTable提了針對(duì)量化研究非常方便的數(shù)據(jù)格式的定義?底層基于Tair/Lindorm，阿里自研的高效數(shù)據(jù)庫(kù)引擎分布式計(jì)算集群之上·自動(dòng)根據(jù)日期與股票池進(jìn)行并發(fā)回測(cè)·用戶無需關(guān)心底層并行執(zhí)行的細(xì)節(jié)·以task的形式組織Job中計(jì)算的先后順序·task之間可以是順序執(zhí)行或者并行執(zhí)行·task的前后計(jì)算順序構(gòu)成DAG,自動(dòng)按照DAG并行·task的類型包括最基本的cmd,可以執(zhí)行任意命令·也具有帶有語意的task,如SFTask表示signalflow的腳本。此類task內(nèi)置了一些常用的設(shè)置可以省掉很多繁瑣的底層配置20script='/path/to/your/code/script.py"21task2=job.SFTask(dates,univ,?SignalflowTable以四維數(shù)組為組織數(shù)據(jù)的基本格式?底層存儲(chǔ)在Lindorm/Tair數(shù)據(jù)庫(kù)內(nèi)?向上屏蔽存儲(chǔ)細(xì)節(jié)，用戶不需要關(guān)注數(shù)據(jù)如何存儲(chǔ)?向上支持多個(gè)接口，方便signalflow程序訪問?Python接口允許把數(shù)據(jù)讀入為Numpy或者Pandas?支持C++接口·機(jī)器學(xué)習(xí)技術(shù)廣泛應(yīng)用，例如推薦、預(yù)測(cè)、反欺詐等場(chǎng)景個(gè)階段，門檻高·訓(xùn)練、推理需要頻繁訪問/移動(dòng)數(shù)據(jù)·利用數(shù)據(jù)庫(kù)技術(shù)來優(yōu)化機(jī)器學(xué)習(xí)流程·通過SQL訓(xùn)練、管理、部署、預(yù)測(cè)模型fortrainingTrain,debug,Validate多模超融合文件引擎寬表引擎時(shí)序引擎訓(xùn)練機(jī)器通過SQL學(xué)習(xí)模型推理FROM(SELECTdate,site,capacityTARGETcapacitySETTINGS(FORECAST預(yù)測(cè)未來5個(gè)數(shù)據(jù)點(diǎn)forecast_forecast_capacity(5)FROMcapacity_data;案例(異常檢測(cè)到根因分析)多模數(shù)據(jù)分析日志挖掘根因概率：10.5%根因概率：10.5%圖關(guān)系追根溯源圖關(guān)系追根溯源支持用戶自定義模型導(dǎo)入(開發(fā)中)01產(chǎn)品技術(shù)領(lǐng)域知識(shí)02產(chǎn)品價(jià)值與場(chǎng)景03產(chǎn)品選型與報(bào)價(jià)04產(chǎn)品市場(chǎng)地位與榮譽(yù)獎(jiǎng)項(xiàng)05競(jìng)爭(zhēng)分析1.P991.P99延遲指99%請(qǐng)求的響應(yīng)時(shí)間小于該值2.圖中數(shù)值供參考，具體以實(shí)際場(chǎng)景為準(zhǔn)3.測(cè)試環(huán)境請(qǐng)參考附錄〔-〕阿里云Lindorm-2.10參與單位證書茲證明，貴單位為中國(guó)信息通信研究院牽頭的時(shí)序數(shù)據(jù)庫(kù)標(biāo)準(zhǔn)工作組成員，參與了中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)大數(shù)據(jù)技術(shù)與標(biāo)準(zhǔn)推進(jìn)委員會(huì)(CCSATC601)《大數(shù)據(jù)產(chǎn)品時(shí)序數(shù)據(jù)庫(kù)》系列標(biāo)準(zhǔn)的制定，特發(fā)此證。2018年8月信通院時(shí)序數(shù)據(jù)庫(kù)性能評(píng)測(cè)第一讀數(shù)據(jù)點(diǎn)/秒讀數(shù)據(jù)點(diǎn)/秒寫數(shù)據(jù)點(diǎn)/秒低成本：自適應(yīng)透明壓縮〔-〕阿里云自適應(yīng)編碼深度優(yōu)化的ZSTD壓縮采樣編碼壓縮類型信息字典信息字典編碼熵編碼數(shù)據(jù)文件大小LindormLindormHBaseMySQLMongoDBMongoDB訂單數(shù)據(jù)2.10GB車聯(lián)網(wǎng)數(shù)據(jù)2.51GB日志數(shù)據(jù)737MB3.99GB用戶行為數(shù)據(jù)同城跨機(jī)房高可用〔-〕阿里云介紹Lindorm跨機(jī)房部署，支持機(jī)房級(jí)故障的自動(dòng)恢復(fù)，并保證數(shù)據(jù)的強(qiáng)一致使用場(chǎng)景1.99.99%以上SLA優(yōu)勢(shì)1.存算分離+日志與表格數(shù)據(jù)分離RTO<1分鐘，業(yè)務(wù)受損時(shí)間減少10倍口可調(diào)一致性率√請(qǐng)求異常后，自動(dòng)訪問另一副本進(jìn)行重試ZoneZoneA日志日志邏輯圖部署圖〔-〕阿里云異地容災(zāi)異地容災(zāi)口以表為粒度，自由單雙向同步口百毫秒數(shù)據(jù)延遲口對(duì)lindorm集群無影響，由LTS做數(shù)據(jù)同步口參與同步的集群數(shù)量、表數(shù)量無限制口延遲可監(jiān)控報(bào)警、數(shù)據(jù)鏈路可API管理口分布式、自容錯(cuò)、數(shù)據(jù)校驗(yàn)數(shù)據(jù)同步服務(wù)新加坡應(yīng)用Lindorm集群應(yīng)用自動(dòng)冷熱分離〔-〕阿里云√數(shù)據(jù)按時(shí)間線寫入，近線訪問為主√冷數(shù)據(jù)存儲(chǔ)成本減少80%,熱數(shù)據(jù)訪問性能提升15%口優(yōu)勢(shì)：√即開即用，按表開啟√應(yīng)用零改造√冷熱分隔線，靈活調(diào)整√自由設(shè)置冷熱的存儲(chǔ)介質(zhì)、壓縮算法00冷熱分離WarmData深度壓縮性能型存儲(chǔ)標(biāo)準(zhǔn)型存儲(chǔ)容量型存儲(chǔ)全局二級(jí)索引場(chǎng)景口非主鍵查詢口寫后可讀whereCol2>=?whereCol2=?andColO>=?屬性鍵屬性鍵排序鍵一致口按需冗余whereColO>=?whereCol1=?andwhereColO>=?whereCol1=?andColO>=?排序鍵√查詢未冗余列，則自動(dòng)回查主表口高性能索引2主表索引列Col2冗余列Col3、Col4索引1索引列Col1冗余列Col2、Col3數(shù)據(jù)一致性統(tǒng)一訪問數(shù)據(jù)一致性統(tǒng)一訪問性能吞吐一體化搜索檢索統(tǒng)一訪問，簡(jiǎn)單易用>系統(tǒng)自動(dòng)維護(hù)索引，應(yīng)用開發(fā)不感知索引表>索引支持非冗余、冗余部分列、全冗余>查詢時(shí)基于編譯優(yōu)化(RBO)自動(dòng)路由到搜索引擎，并智能判斷是否需要回查寬表引擎豐富搜索能力>覆蓋所有數(shù)據(jù)類型，Number/String/Date等>支持文本相關(guān)性查詢、多語言(中英文、繁簡(jiǎn)體)智能分詞>具備查詢補(bǔ)全、結(jié)果高亮顯示、聚合分析等全文搜索功能數(shù)據(jù)自動(dòng)同步到搜索引擎>歷史數(shù)據(jù)自動(dòng)化構(gòu)建>異步增量索引，基于LTS提供可擴(kuò)展的同步通道，數(shù)據(jù)同步可視化>毫秒級(jí)同步延遲(HBase/Cassandra/Solr)查詢編譯搜索引擎異步增量索引SchemaSchema轉(zhuǎn)換數(shù)據(jù)寫入Segment數(shù)據(jù)同步全量索引構(gòu)建QLucene技術(shù)挑戰(zhàn)技術(shù)挑戰(zhàn)多租戶√多租戶共享使用同一物理集群，并保障命名空間、安全性、資源上的隔離租戶租戶數(shù)據(jù)表租戶配額自動(dòng)診斷自動(dòng)診斷云原生智能診斷云原生智能診斷多模引擎硬件存儲(chǔ)引擎多模引擎硬件●.●●●.10倍GC優(yōu)化三大核心技術(shù)停頓時(shí)間一.一.CCSMap:無鎖高并發(fā)無對(duì)象Skiplist核心設(shè)計(jì)多維能力·吞吐提升20%·內(nèi)存效率提升40%高度復(fù)用口技術(shù)領(lǐng)先HBase3.0核心特性無鎖高并發(fā)ScannerScannerCompactor內(nèi)存塊引用共享Scanner:空閑:等待內(nèi)存塊回收:等待引用釋放:內(nèi)存塊使用中Marked1MarkedMarked1Marked0FinalizableUnused(18bits)ObjectAddress(42bits,4TBaddressspace)64-bitObjectPointerLLC日志三副本協(xié)議〔-〕阿里云ttWrite√網(wǎng)絡(luò)、磁盤抖動(dòng)，Write√壞盤，宕機(jī)故障恢復(fù)時(shí)間長(zhǎng)口LLC核心設(shè)計(jì)√寫3等2的Quorum√慢節(jié)點(diǎn)摘除，節(jié)點(diǎn)落后較多時(shí)重選WALWAL88長(zhǎng)度√平均寫入RT減少50%√P99延遲下降至1/6→→時(shí)序的企業(yè)級(jí)特性特性介紹對(duì)一條時(shí)間線上的數(shù)據(jù)按指定時(shí)間間隔進(jìn)行聚合，從而數(shù)據(jù)按不同精度存儲(chǔ)，滿足不同時(shí)間范圍高效查詢需求〔-〕阿里云時(shí)序的企業(yè)級(jí)特性時(shí)間線聚合時(shí)序的企業(yè)級(jí)特性時(shí)間線聚合特性介紹按指定條件對(duì)同一個(gè)Metric的多條時(shí)間線的數(shù)據(jù)按時(shí)間戳對(duì)齊后進(jìn)行數(shù)值聚合，Lindorm時(shí)序引擎內(nèi)置時(shí)序流式分析引擎，支持預(yù)聚合與插值TS3時(shí)序的企業(yè)級(jí)特性邊云一體口邊緣計(jì)算場(chǎng)景時(shí)序數(shù)據(jù)存儲(chǔ)解決方案口Lindorm時(shí)序邊緣版輕量級(jí)輸出口高可用架構(gòu)，與Lindorm時(shí)序Cloud功能對(duì)齊口數(shù)據(jù)自動(dòng)同步到遠(yuǎn)端Cloud實(shí)例集群規(guī)則配置規(guī)則配置TSDBEdgeTSDBEdgeTSDBEdge時(shí)序的企業(yè)級(jí)特性時(shí)序分析1.時(shí)間序列數(shù)據(jù)聚合計(jì)算查詢項(xiàng)查詢項(xiàng)時(shí)序信息命4000均值變化2.時(shí)序預(yù)測(cè)方差變化更好的HBase性能穩(wěn)定熱點(diǎn)region自動(dòng)均衡，熱點(diǎn)key自動(dòng)隔離跨機(jī)房容災(zāi)(強(qiáng)一致模型和最終一致模型可選)SLA99.9%，跨可用區(qū)集群SLA99.99%壓縮自適應(yīng)編碼算法+深度優(yōu)化的ZSTD壓縮，壓縮率高達(dá)5-10倍冷熱分離容量型存儲(chǔ)彈性支持ScaleUp：升配/磁盤擴(kuò)容支持ScaleOut：擴(kuò)縮節(jié)點(diǎn)/擴(kuò)縮計(jì)算節(jié)點(diǎn)支持Serverless：無需感知水位，完全自動(dòng)彈性功能支持SQL支持二級(jí)索引支持多維檢索和全文檢索內(nèi)置列存和Spark引擎系統(tǒng)用戶基礎(chǔ)能力月賬單年賬單系統(tǒng)用戶基礎(chǔ)能力月賬單年賬單智能化分類標(biāo)簽多租戶數(shù)據(jù)輸出安全營(yíng)銷運(yùn)營(yíng)報(bào)表歷史數(shù)據(jù)平臺(tái)-賬單業(yè)務(wù)架構(gòu)歷史數(shù)據(jù)平臺(tái)-賬單業(yè)務(wù)架構(gòu)外部用戶內(nèi)部用戶審計(jì)商家消費(fèi)者客服運(yùn)營(yíng)審計(jì)基礎(chǔ)產(chǎn)品創(chuàng)新產(chǎn)品賬單記錄賬單詳情分類標(biāo)簽賬單備忘資金記錄支付助手智能賬本賬單地圖數(shù)據(jù)輸入業(yè)務(wù)平臺(tái)資金平臺(tái)UGC內(nèi)容數(shù)據(jù)流數(shù)據(jù)輸入業(yè)務(wù)平臺(tái)資金平臺(tái)UGC內(nèi)容交易信息資金信息賬單訂單信息高可用彈性伸縮高性能高可用彈性伸縮高性能熱點(diǎn)保護(hù)數(shù)據(jù)生態(tài)歷史數(shù)據(jù)平臺(tái)-支付寶賬單電商交易可靠消息隊(duì)列可靠消息隊(duì)列金融服務(wù)信用〔-〕阿里云賬單系統(tǒng)賬單查詢賬單寫入異地容災(zāi)快，存儲(chǔ)成本壓力巨大1.高吞吐寫入能力1.無限水平擴(kuò)展2.大促?gòu)椥陨炜s歷史數(shù)據(jù)平臺(tái)-收錢吧賬單系統(tǒng)千億+賬單百TB+數(shù)據(jù)支付網(wǎng)關(guān)賬本、報(bào)表等支付網(wǎng)關(guān)binlog同步32個(gè)32個(gè)RDS32個(gè)RDS6個(gè)月以內(nèi)數(shù)據(jù)導(dǎo)入數(shù)據(jù)備份服務(wù)數(shù)據(jù)備份服務(wù)歷史數(shù)據(jù)〔-〕阿里云千萬+新增新方案支付網(wǎng)關(guān)賬本、報(bào)表等32個(gè)RDS同步全量數(shù)據(jù)數(shù)據(jù)備份服務(wù)統(tǒng)計(jì)窗口高頻交易數(shù)據(jù)計(jì)算結(jié)果統(tǒng)計(jì)窗口高頻交易數(shù)據(jù)計(jì)算結(jié)果計(jì)算結(jié)果高頻交易數(shù)據(jù)統(tǒng)計(jì)窗口高頻交易數(shù)據(jù)計(jì)算結(jié)果統(tǒng)計(jì)窗口高頻交易數(shù)據(jù)計(jì)算結(jié)果計(jì)算結(jié)果高頻交易數(shù)據(jù)成交量 ?分庫(kù)分表無法應(yīng)對(duì)業(yè)務(wù)持續(xù)增長(zhǎng)帶來的擴(kuò)容需求成交量 成交明細(xì)?在線彈性擴(kuò)容，支持海量數(shù)據(jù)存儲(chǔ)和處理?數(shù)據(jù)自動(dòng)均衡和成熟的數(shù)據(jù)熱點(diǎn)處理方案供數(shù)據(jù)分析能力存儲(chǔ)成本下降70%K線/指標(biāo)計(jì)算 索和數(shù)據(jù)統(tǒng)計(jì)功能數(shù)倉(cāng)〔-〕阿里云數(shù)倉(cāng)某金融風(fēng)控某金融風(fēng)控會(huì)員信息數(shù)據(jù)數(shù)據(jù)處理平臺(tái)計(jì)算計(jì)算Spark阿里云阿里云存儲(chǔ)存儲(chǔ)MaxComputeMaxCompute/Spark簡(jiǎn)單數(shù)據(jù)映射云查詢/分析簡(jiǎn)單數(shù)據(jù)映射云查詢/分析數(shù)據(jù)在線保留N數(shù)據(jù)在線保留N個(gè)月?lián)成鋽?shù)據(jù)永久或指定周期保留(含N個(gè)月內(nèi)數(shù)據(jù))·對(duì)應(yīng)不同業(yè)務(wù)在線庫(kù)(含分庫(kù)分表),提供全局歷史庫(kù)入口·對(duì)應(yīng)不同業(yè)務(wù)在線庫(kù)(含分庫(kù)分表),提供全局歷史庫(kù)入口·具備在線查詢&數(shù)據(jù)分析能力·具備多維查詢&分析能力·異步實(shí)時(shí)同步，平均延遲小于200ms車聯(lián)網(wǎng)&自動(dòng)駕駛場(chǎng)景需求總結(jié)車聯(lián)網(wǎng)&自動(dòng)駕駛場(chǎng)景需求總結(jié)海量數(shù)據(jù)·某直轄市新能源汽車公共數(shù)據(jù)平臺(tái)，70萬輛車，1PB數(shù)據(jù)·某豪華汽車品牌，存量180TB,明年預(yù)計(jì)400TB·某國(guó)產(chǎn)汽車品牌，規(guī)劃未來3年數(shù)據(jù)量達(dá)到3PB靈活·訓(xùn)練模型多，模型穩(wěn)定前，字段會(huì)變更·不同圖片識(shí)別得到的標(biāo)簽不一樣，典型的稀疏表特征大對(duì)象數(shù)據(jù)·某自動(dòng)駕駛公司單條json數(shù)據(jù)>100MB·某造車新勢(shì)力單條json數(shù)據(jù)>10MB多模態(tài)檢索·多維度標(biāo)簽檢索：模型訓(xùn)練生成的標(biāo)注數(shù)據(jù)存儲(chǔ)，檢索維度20+,qps2萬/s,未來規(guī)劃20萬/s·時(shí)空檢索：某國(guó)產(chǎn)汽車品牌卡口查詢場(chǎng)景和電子圍欄報(bào)警場(chǎng)景。業(yè)務(wù)計(jì)算●狀態(tài)監(jiān)測(cè)，某控制的狀態(tài)從A集合跳變到B集合。SparkLindorm車聯(lián)網(wǎng)&自動(dòng)駕駛方案Spark容量空間水平擴(kuò)展，支持百容量空間水平擴(kuò)展，支持百PB存儲(chǔ)規(guī)模運(yùn)維性能吞吐水平擴(kuò)展，每秒千萬級(jí)吞吐壓縮率，數(shù)據(jù)多級(jí)存儲(chǔ)存算分離，自助快速擴(kuò)容算法訓(xùn)練BI看板實(shí)時(shí)監(jiān)控事件回溯實(shí)時(shí)監(jiān)控事件觸發(fā)明細(xì)查詢事故分析事件觸發(fā)明細(xì)查詢結(jié)構(gòu)化數(shù)據(jù)窗口計(jì)算)時(shí)空結(jié)構(gòu)化數(shù)據(jù)窗口計(jì)算)實(shí)時(shí)監(jiān)控電池狀態(tài)電池狀態(tài)時(shí)序非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)運(yùn)營(yíng)分析歷史數(shù)據(jù)運(yùn)營(yíng)分析某直轄市新能源汽車公共數(shù)據(jù)平臺(tái)簡(jiǎn)介〔-〕阿里云上海市新能源公共數(shù)據(jù)監(jiān)測(cè)系統(tǒng)總接入車輛數(shù)Totalaccessedvehicle在線車輛數(shù)Onlinevehicle14.8萬充電車輛數(shù)Totalchargingvehicle行駛中充電中Charging氫能源接入車輛累計(jì)運(yùn)行情況總行駛里程(公里)294.2億總行駛里程(公里)294.2億13.3億總耗電(度)總減排CO2(噸)總耗電(度)窗Totalpowercons窗42.9億460.2萬42.9億24小時(shí)接入量變化充電中Charging行駛中Driving在線中Online接入車企enterpriseQuD接入品牌接入車型市級(jí)新能源汽車公共服務(wù)平臺(tái)上海市經(jīng)濟(jì)和信息化委員會(huì)指導(dǎo)下成立第三方新能源汽車公共數(shù)據(jù)服務(wù)平臺(tái)，成立于2014年，實(shí)現(xiàn)在滬銷售新能源汽車數(shù)據(jù)全接入。根據(jù)《GB/T32960.1-2016電動(dòng)汽車遠(yuǎn)程服務(wù)與管理系統(tǒng)技術(shù)規(guī)范》采集124項(xiàng)數(shù)據(jù)字段。全國(guó)最大新能源汽車監(jiān)管平臺(tái)上海市唯一，全國(guó)接入量最大的地方新能源政府監(jiān)管平臺(tái)，目前已接入超過100家車企100個(gè)品牌，接近1000個(gè)車型，超過58萬量新能源汽車數(shù)據(jù)。占全國(guó)新能源汽車推廣量的10%左右。包含乘用車、商用車、物流、大巴等。某新能源汽車公共數(shù)據(jù)平臺(tái)系統(tǒng)架構(gòu)某新能源汽車公共數(shù)據(jù)平臺(tái)系統(tǒng)架構(gòu)電動(dòng)汽車多模數(shù)據(jù)存儲(chǔ)智能網(wǎng)聯(lián)汽車數(shù)據(jù)上傳數(shù)據(jù)上傳加氫站數(shù)據(jù)數(shù)據(jù)分析加氫站數(shù)據(jù)BI報(bào)表BI報(bào)表列存異常分析異常分析OSS/HDFS〔〕阿里云CopyrightbyAlibabaCloudAllrightsres優(yōu)化資源成本提升訪問效率優(yōu)化資源成本提升訪問效率元數(shù)據(jù)運(yùn)行數(shù)據(jù)Tracing設(shè)備關(guān)系圖多模數(shù)據(jù)庫(kù)多模數(shù)據(jù)庫(kù)湖倉(cāng)計(jì)算平臺(tái)減少運(yùn)維負(fù)擔(dān)減少運(yùn)維負(fù)擔(dān)單可用區(qū)集群版多可用區(qū)集群版Serverless版專有云企業(yè)版專有云敏捷/ADP/DBstack特點(diǎn)公共云標(biāo)準(zhǔn)跨機(jī)房強(qiáng)一致容災(zāi)按需付費(fèi)，即時(shí)適用場(chǎng)景任何規(guī)模企業(yè)生產(chǎn)任何規(guī)模企業(yè)生產(chǎn)培訓(xùn)學(xué)習(xí)、測(cè)試任何規(guī)模企業(yè)生產(chǎn)企業(yè)生產(chǎn)合作伙伴集成服務(wù)等級(jí)協(xié)議技術(shù)架構(gòu)標(biāo)準(zhǔn)SLA強(qiáng)分布式部署多副本、自動(dòng)容災(zāi)強(qiáng)雙可用區(qū)部署標(biāo)準(zhǔn)SLA中分布式部署多副本強(qiáng)強(qiáng)分布式部署多副本離散工業(yè)過程改進(jìn)流程工業(yè)生產(chǎn)監(jiān)控APM/NPM運(yùn)維離散工業(yè)過程改進(jìn)流程工業(yè)生產(chǎn)監(jiān)控APM/NPM運(yùn)維?邊緣部署單節(jié)點(diǎn)InfluxDB版本?邊緣部署單節(jié)點(diǎn)SDBV3版本實(shí)時(shí)數(shù)據(jù)同步?開放第三邊緣硬件集成版Lindorm?高頻交易實(shí)時(shí)數(shù)據(jù)存儲(chǔ)計(jì)算?采集、計(jì)算、分析、可視化全鏈路監(jiān)控?cái)?shù)據(jù)解決案?分布、異構(gòu)監(jiān)控?cái)?shù)據(jù)存儲(chǔ)一體化解決案，低部署、運(yùn)維成本?開放生態(tài)，支持插件、應(yīng)用擴(kuò)展，支持自定義數(shù)據(jù)存儲(chǔ)、分析能力。金融高頻交易監(jiān)控金融高頻交易監(jiān)控Lindorm產(chǎn)品優(yōu)勢(shì)：適合監(jiān)控?cái)?shù)據(jù)存儲(chǔ)場(chǎng)景、高性價(jià)比、高性能快速融合對(duì)接大數(shù)據(jù)生態(tài)，實(shí)現(xiàn)IoT數(shù)據(jù)遍在可支持客戶監(jiān)控/業(yè)務(wù)系統(tǒng)無縫對(duì)接和安裝?邊端云一體化案?高性價(jià)比監(jiān)控?cái)?shù)據(jù)全量存儲(chǔ)LindormStore：LindormStore：高性價(jià)比數(shù)據(jù)庫(kù)備份恢復(fù)存獎(jiǎng)項(xiàng)榮譽(yù)·大數(shù)據(jù)產(chǎn)品能力評(píng)測(cè)&泰爾實(shí)驗(yàn)室-時(shí)序數(shù)據(jù)庫(kù)性能專項(xiàng)評(píng)測(cè)證書·泰爾實(shí)驗(yàn)室-阿里云時(shí)序時(shí)空數(shù)據(jù)庫(kù)TSDB車聯(lián)網(wǎng)場(chǎng)景評(píng)測(cè)證書·泰爾實(shí)驗(yàn)室-阿里云時(shí)序時(shí)空數(shù)據(jù)庫(kù)TSDB電網(wǎng)場(chǎng)景評(píng)測(cè)證書·阿里云時(shí)序時(shí)空數(shù)據(jù)庫(kù)軟件著作權(quán)V0.5·國(guó)家電子政務(wù)系統(tǒng)質(zhì)量監(jiān)督檢驗(yàn)中心CMA、CNAS認(rèn)證GXPCRCSC-ZJM-2021-002/02-17GXPC-RC-SC-ZJM-2021-002/04-17ENASe-Ge-GGXPC-RC-SC-ZJM-2021-002/05-17項(xiàng)目名稱： 關(guān)健技術(shù)及系統(tǒng)大數(shù)據(jù)服務(wù)平合2021年GXPC-RC-SC-ZJM-2021-002/01-17國(guó)信軟件評(píng)測(cè)物聯(lián)網(wǎng)智能開放服務(wù)運(yùn)行支撐分布式海量數(shù)據(jù)存儲(chǔ)系統(tǒng)Lindorm驗(yàn)收淘寶(中國(guó)) 2021年09GXPC-RC-SC-ZJM-2021-002/06-17子政務(wù)系統(tǒng)質(zhì)量出國(guó)信軟件評(píng)測(cè)技GXPC-RC-SC-ZJM-2021-002/03-17淘寶(4國(guó)家電子政務(wù)系統(tǒng)北京新國(guó)信軟件評(píng)s項(xiàng)目名稱： 項(xiàng)目名稱： 分布式關(guān)系型數(shù)據(jù)庫(kù)中間件 國(guó)家電子政務(wù)系統(tǒng)質(zhì)量監(jiān)督檢驗(yàn)中心北京新國(guó)信軟件評(píng)測(cè)技術(shù)有限公司