超融合時序數(shù)據(jù)庫的方案與思考什么是時序數(shù)據(jù)？什么是時序數(shù)據(jù)？8580757065601:10:001:10:001:20:001:30:01?Tags：監(jiān)控指標(biāo)對應(yīng)的元數(shù)據(jù)，一般用于描述數(shù)據(jù)來源；?TimeSeries：一臺設(shè)備的一個監(jiān)控指標(biāo)項，隨時間產(chǎn)生的多?Append-only：基本是順序insert寫入；3時序數(shù)據(jù)的特點時序數(shù)據(jù)的特點不變性不變性寫多讀少寫多讀少數(shù)據(jù)穩(wěn)定數(shù)據(jù)穩(wěn)定數(shù)據(jù)都帶時間戳，且基本有序數(shù)據(jù)寫入后基本不會修改大量寫操作，少量讀操作設(shè)備以固定頻率上報數(shù)據(jù)，數(shù)據(jù)具有一定的可預(yù)測性數(shù)據(jù)量大數(shù)據(jù)量大聚合查詢聚合查詢保留期限保留期限操作集中在最近數(shù)據(jù)，老數(shù)據(jù)訪問頻率低大量設(shè)備產(chǎn)生的數(shù)據(jù)量巨大時序數(shù)據(jù)查詢以一段時間內(nèi)某種維度的聚合查詢?yōu)橹鲾?shù)據(jù)具有保留期限，過期數(shù)據(jù)可以刪除45時序數(shù)據(jù)的使用場景時序數(shù)據(jù)的使用場景5G和物聯(lián)網(wǎng)的發(fā)展使傳感器數(shù)據(jù)呈爆發(fā)式增長5G和物聯(lián)網(wǎng)的發(fā)展使傳感器數(shù)據(jù)呈爆發(fā)式增長隨著5G和物聯(lián)網(wǎng)的發(fā)展，傳感器數(shù)量及監(jiān)控數(shù)據(jù)量呈爆發(fā)式增長，數(shù)據(jù)管理的難度和成本越來越大。隨著可穿戴設(shè)備、智能家電、自動駕駛汽車等設(shè)備與應(yīng)用的發(fā)展，促使數(shù)以百億計的新設(shè)備接入網(wǎng)絡(luò)。預(yù)計到2025年，全球物聯(lián)網(wǎng)設(shè)備基數(shù)預(yù)計將達到754億臺，較2017年的200億臺左右，復(fù)合增長率達17%。在智能駕駛技術(shù)發(fā)展的驅(qū)動下，每一輛行駛的智能駕駛汽車都將成為移動的數(shù)據(jù)中心。預(yù)計到2025年，每輛汽車每天都將會產(chǎn)生5TB-20TB以上的數(shù)據(jù)。業(yè)務(wù)從數(shù)字化走向智能化，智能制造、能源管控、智慧交通、環(huán)境監(jiān)控、智能樓宇、智能運維等，催生對傳感器監(jiān)控數(shù)據(jù)的高價值使用需求。6時序數(shù)據(jù)庫在物聯(lián)網(wǎng)數(shù)據(jù)處理平臺中的位置時序數(shù)據(jù)庫在物聯(lián)網(wǎng)數(shù)據(jù)處理平臺中的位置 ?提升時序數(shù)據(jù)的寫入性能：是關(guān)系型數(shù)據(jù)庫的5倍以上；?提升時序數(shù)據(jù)的查詢分析的性能：是關(guān)系型數(shù)據(jù)庫的3倍以上；?有效降低時序數(shù)據(jù)的存儲成本：是關(guān)系型數(shù)據(jù)庫的20%以下；7物聯(lián)網(wǎng)需要管理多樣化數(shù)據(jù)源，單一數(shù)據(jù)庫不能滿足要求物聯(lián)網(wǎng)需要管理多樣化數(shù)據(jù)源，單一數(shù)據(jù)庫不能滿足要求典型物聯(lián)網(wǎng)平臺架構(gòu)型的數(shù)據(jù)。時使用多種數(shù)據(jù)庫系統(tǒng)。OLTP–存儲成本大–維護成本高–寫入吞吐低–查詢性能差OLAP–不能高效管理設(shè)備元數(shù)據(jù)–不能很好的處理亂序數(shù)據(jù)–缺乏時序分析算子–復(fù)雜的建模過程，必須進行預(yù)建模NoSQL時序數(shù)據(jù)庫–沒有標(biāo)準(zhǔn)化的語言–復(fù)雜查詢效率低下–數(shù)據(jù)檢索不一致–不能管理設(shè)備元數(shù)據(jù)8一款好的時序數(shù)據(jù)庫應(yīng)該具備哪些能力？一款好的時序數(shù)據(jù)庫應(yīng)該具備哪些能力？指標(biāo)寫內(nèi)存，分布式，追加寫...列存，壓縮，分級存儲...SQL語法，查詢算子...高可用架構(gòu)...schemaless修改表結(jié)構(gòu)，json，存儲引擎支持...9選型：基于選型：基于OpenGauss的超融合時序數(shù)據(jù)庫關(guān)鍵能力：時序Uqbar超融合時序數(shù)據(jù)庫能力，是物聯(lián)網(wǎng)場景的一站式數(shù)據(jù)處理平臺。34超融合時序數(shù)據(jù)庫關(guān)鍵能力34超融合時序數(shù)據(jù)庫關(guān)鍵能力超融合提供超融合一站式數(shù)據(jù)處理能力滿足物聯(lián)網(wǎng)場景的多模數(shù)據(jù)管理要求–同時支持關(guān)系模型和時序模型–支持跨關(guān)系表和時序表的關(guān)聯(lián)查詢極致性價比提供業(yè)界領(lǐng)先的性能及成本滿足物聯(lián)網(wǎng)場景的海量數(shù)據(jù)管理要求–海量數(shù)據(jù)高性能聚合查詢，毫秒級響應(yīng)–多維任意組合查詢，3倍性能提升–典型場景10倍以上數(shù)據(jù)壓縮率–單節(jié)點千萬級監(jiān)控指標(biāo)管理安全可靠–關(guān)系數(shù)據(jù)提供事務(wù)ACID保證，時序數(shù)據(jù)可定義一致性級別開放易用–支持標(biāo)準(zhǔn)SQL，近乎零學(xué)習(xí)成本–時序數(shù)據(jù)可視化洞察，對接Grafana–數(shù)據(jù)庫圖形化管理工具，簡化管理運維工作 標(biāo)準(zhǔn)SQL向量化查詢引擎并行查詢執(zhí)行主備復(fù)制 標(biāo)準(zhǔn)SQL向量化查詢引擎并行查詢執(zhí)行主備復(fù)制超融合時序數(shù)據(jù)庫整體架構(gòu)時序數(shù)據(jù)壓縮算法時序數(shù)據(jù)壓縮算法倒排索引時間序列索引超融合提供超融合一站式數(shù)據(jù)處理能力,-同時支持關(guān)系模型和時序模型-支持跨關(guān)系表和時序表的關(guān)聯(lián)查詢同時支持關(guān)系模型和時序模型同時支持關(guān)系模型和時序模型設(shè)備及傳感器的元數(shù)據(jù)?IP地址等唯一標(biāo)識?設(shè)備屬性?靜態(tài)位置信息管理要求：?事務(wù)ACID保證?有更新需求數(shù)據(jù)庫Uqbar數(shù)據(jù)庫Uqbar數(shù)據(jù)庫一套數(shù)據(jù)庫解決物聯(lián)網(wǎng)場景下的多樣化數(shù)據(jù)管理需求避免同時使用多套數(shù)據(jù)庫的一次購買及長期維護成本設(shè)備及傳感器的監(jiān)控數(shù)據(jù)?資源利用率、網(wǎng)絡(luò)流量?動態(tài)GPS位置信息管理要求：?持續(xù)大壓力寫入?存儲成本敏感AIoT分析平臺AIoT分析平臺(SELECT,r.driver,avg(r.velWHEREs.avg_vel>s.speed_threshold;支持跨關(guān)系表和時序表的關(guān)聯(lián)查詢支持跨關(guān)系表和時序表的關(guān)聯(lián)查詢，可以極大降低上層分析平臺的業(yè)務(wù)復(fù)雜度。舉例說明：分析過去10分鐘每輛卡車的平均速度，并檢查是否超過了它自己的最高限速。）；AIoTAIoT分析平臺?再通過業(yè)務(wù)代碼遍歷匹配兩邊數(shù)據(jù)，找到平均極致性價比滿足物聯(lián)網(wǎng)場景的海量數(shù)據(jù)管理要求。-海量數(shù)據(jù)高性能聚合查詢，毫秒級響應(yīng)-典型場景10倍以上數(shù)據(jù)壓縮率-單節(jié)點千萬級監(jiān)控指標(biāo)管理支持海量傳感器大壓力寫入，單節(jié)點寫入性能支持海量傳感器大壓力寫入，單節(jié)點寫入性能300萬點/秒。支持海量傳感器持續(xù)大壓力寫入，通過NUMA優(yōu)化、智能數(shù)據(jù)分區(qū)、數(shù)據(jù)頁快速擴展、執(zhí)行計劃復(fù)用、日志批量寫入等技術(shù)優(yōu)化，高并發(fā)場景下單節(jié)點寫入性能可達300萬點/秒，超行業(yè)標(biāo)桿30%以上。單節(jié)點寫入性能對比UqbarTimescaleDB300300萬點/秒36%提升220220萬點/秒測試環(huán)境：64Core,256GBRAM,SATASSD;測試工具：Uqbar_benchmark，60并發(fā)，batchsize:2000支持海量數(shù)據(jù)高性能聚合查詢，平均毫秒級響應(yīng)支持海量數(shù)據(jù)高性能聚合查詢，平均毫秒級響應(yīng)。通過列式存儲引擎、向量化查詢引擎、并行查詢，以及倒排索引等技術(shù)，優(yōu)化海量數(shù)據(jù)聚合查詢性能，平均毫秒級響應(yīng)時間，超行業(yè)標(biāo)桿30%以上，并提供3倍的多維聚合查詢性能。單節(jié)點查詢性能對比43%提升298ms260%倍提升500ms1000ms1500ms2000ms2500ms測試環(huán)境：8Core,32GBRAM,SATASSD;測試工具：Uqbar_benchmark，8并發(fā)10倍以上數(shù)據(jù)壓縮率，支持海量監(jiān)控數(shù)據(jù)的低成本存儲10倍以上數(shù)據(jù)壓縮率，支持海量監(jiān)控數(shù)據(jù)的低成本存儲。通過列式存儲、時序?qū)Ｓ脡嚎s算法，以及Tag/Field分離存儲的設(shè)計，典型場景下可以獲得10倍以上的數(shù)據(jù)壓縮率，顯著降低存儲成本，同時還有助于提升查詢效率。UqbarTimescaleDBPostgreSQL監(jiān)控運維場景存儲空間對比14.2倍壓縮率測試工具：Uqbar_benchmark20按Tagset做Hash分區(qū)…按Tagset做Hash分區(qū)……架構(gòu)關(guān)鍵優(yōu)化①：智能數(shù)據(jù)分區(qū)New按時間做Interval分區(qū)…-為了高效的對時序數(shù)據(jù)進行生命周期管理，-先按時間劃分為多個ChunkGroup，每個-ChunkGroup內(nèi)部由多個Chunk組成，按照時間序列的Tagset進行Hash打散，同一個指標(biāo)-時間序列索引隨分區(qū)一起拆分，以支持海量21架構(gòu)關(guān)鍵優(yōu)化②：行列混合存儲Uqbar存儲引擎層采用行列混合存儲的模式：?新寫入的數(shù)據(jù)采用行存表進行存儲，支持?jǐn)?shù)據(jù)亂序?qū)懭雴栴}；?后臺自動將行存表轉(zhuǎn)為列存表，降低海量歷史數(shù)據(jù)存儲成22架構(gòu)關(guān)鍵優(yōu)化③：時序數(shù)據(jù)專用壓縮算法架構(gòu)關(guān)鍵優(yōu)化③：時序數(shù)據(jù)專用壓縮算法Tag和Filed分離存儲不同數(shù)據(jù)類型使用不同壓縮算法23架構(gòu)關(guān)鍵優(yōu)化④：倒排索引，支持多維任意組合查詢。構(gòu)建了每個“TagKey=TagValue”到時間序列ID集合的倒排索引，可以高效率支持多維度任意組合查詢。舉例說明：時序數(shù)據(jù)中存在多個Tag屬性，例如：Tag1、Tag2、Tag?大部分時序數(shù)據(jù)庫只能支持全Tag查詢（同時指定所有Tag或者Tag前綴查詢（Tag1或者Tag1+Tag2其他的組合條件性能很citycity=“北京”locloc=“廣場”24架構(gòu)關(guān)鍵優(yōu)化⑤：向量化查詢引擎-支持行列混合查詢，一個查詢同時查詢-同時支持火山模型和向量化模型，并自-通過向量化查詢引擎，能大幅減少函數(shù)棧調(diào)用次數(shù)，并利用CPU的SIMD指令集做批量計算，提高大數(shù)據(jù)量下的查詢分-行存中的數(shù)據(jù)，讀取數(shù)據(jù)后先將其向量化，然后和列存中的數(shù)據(jù)一起執(zhí)行向量25AggAggAggAggAggAggAgg-以Chunk為粒度并行，Chunk間并行查FinalizeSort架構(gòu)關(guān)鍵優(yōu)化⑥：并行查詢AggAggAggAgg26安全可靠滿足物聯(lián)網(wǎng)場景的安全可靠及合規(guī)要求。-關(guān)系數(shù)據(jù)提供事務(wù)ACID保證，時序數(shù)CMServer(主節(jié)點)CMServer(備節(jié)點)UqbarServer(備節(jié)點CMServer(主節(jié)點)CMServer(備節(jié)點)UqbarServer(備節(jié)點)UqbarServer(主節(jié)點)主備高可用，自動故障檢測及倒換，保證業(yè)務(wù)連續(xù)性。CMServer(備節(jié)點)UqbarServer(備節(jié)點)-內(nèi)置集群管理及高可用組件ClusterManager，負(fù)責(zé)UqbarServer主備集群28事前防范?細粒度權(quán)限管控，越界操作“做不了”事前防范?細粒度權(quán)限管控，越界操作“做不了”?數(shù)據(jù)加密，敏感數(shù)據(jù)“拿不走”事中監(jiān)控，事件發(fā)生“能洞悉”事中恢復(fù)，關(guān)鍵數(shù)據(jù)“丟不了”事后審計?數(shù)據(jù)庫審計，運維操作“能審計”完善的數(shù)據(jù)安全防護體系，滿足安全合規(guī)要求。事前防范事前防范事后審計事中監(jiān)控事中恢復(fù)29開放易用滿足物聯(lián)網(wǎng)場景的簡單易用要求。––––數(shù)據(jù)庫圖形化管理工具，簡化管理運維工作-Kafka接入：通過KafkaConnector從-驅(qū)動程序接入-Kafka接入：通過KafkaConnector從-驅(qū)動程序接入：應(yīng)用程序通過使用Uqbar提供得客戶端驅(qū)動程序?qū)懭?標(biāo)準(zhǔn)SQL：Uqbar對外提供標(biāo)準(zhǔn)SQLAPP支持多種數(shù)據(jù)接入方式：各種語言Driver、Kafka。3132支持對接Grafana支持對接Grafana，進行時序數(shù)據(jù)可視化洞察。支持對接Grafana組件，通過Grafana對時序數(shù)據(jù)進行查詢，并進行可視化展示。數(shù)據(jù)庫圖形化管理工具，簡化管理運維工作數(shù)據(jù)庫圖形化管理工具，簡化管理運維工作。33演進路標(biāo)35?內(nèi)置時序AI分析算子?內(nèi)置時序AI分析算子時序異常檢測?云原生分布式架構(gòu)?開放文件格式?億級時間線支持?超融合：時序+關(guān)系?單節(jié)點寫入：300萬點/秒?毫秒級查詢性能?千萬級時間線?豐富時序分析算子?寫入性能提升2倍?查詢性能提升50%?支持邊云結(jié)合架構(gòu)?