(12)發(fā)明專利(10)授權(quán)公告號CN119377328B(65)同一申請的已公布的文獻號(73)專利權(quán)人中科星圖數(shù)字地球合肥有限公司地址230088安徽省合肥市高新區(qū)望江西路900號中安創(chuàng)谷科技園一期A1樓36層(72)發(fā)明人陳誠誠胡添杭盼盼孫曉輝閆芳丁穎王樂辛赟(74)專利代理機構(gòu)合肥市長遠專利代理事務所(普通合伙)34119專利代理師黃亞厚一種基于消息隊列的分布式時空數(shù)據(jù)庫數(shù)據(jù)同步系統(tǒng)及方法本發(fā)明公開了一種基于消息隊列的分布式時空數(shù)據(jù)庫數(shù)據(jù)同步系統(tǒng)及方法，涉及時空數(shù)據(jù)分布式管理技術領域，其中系統(tǒng)包括生產(chǎn)者、消息隊列、消費組和多節(jié)點分布式數(shù)據(jù)庫；生產(chǎn)者對時空數(shù)據(jù)消息空間范圍進行識別，將時空數(shù)據(jù)消息投送到指定的消息隊列的空間分區(qū)中；多個消費組拉取消息隊列中空間分區(qū)的消息，對時空數(shù)據(jù)消息進行時間分類，將時空數(shù)據(jù)消息以時空維度特征入庫到多節(jié)點分布式數(shù)據(jù)庫中保存。本發(fā)明基于消息隊列的多主題訂閱和廣播消費能力，提出了時空數(shù)據(jù)以時空維度分布式存儲及多節(jié)點同步備份的方法，基于時空維度生產(chǎn)消息投送到特定消息隊列主題，基于廣播消費向多節(jié)點時空數(shù)據(jù)空間分區(qū)1空間分區(qū)2空間分區(qū)3消費組2消費組2消費組2消息隊列消息組多節(jié)點分布式數(shù)據(jù)庫21.一種基于消息隊列的分布式時空數(shù)據(jù)庫數(shù)據(jù)同步系統(tǒng)，其特征在于，所述系統(tǒng)包括：生產(chǎn)者，對多源時空數(shù)據(jù)消息空間范圍進行識別，基于空間范圍分類將時空數(shù)據(jù)消息投送到指定的消息隊列的空間分區(qū)；消息隊列，基于空間范圍分類形成空間分區(qū)存儲時空數(shù)據(jù)消息；消費組，消費消息隊列空間分區(qū)的時空數(shù)據(jù)消息，對時空數(shù)據(jù)消息進行時間分類，按時空維度特征將時空數(shù)據(jù)消息投送到指定的多節(jié)點分布式數(shù)據(jù)庫；多節(jié)點分布式數(shù)據(jù)庫，多節(jié)點分布基于時空維度特征存儲時空數(shù)據(jù)；其中，多個消費組消費同一條時空數(shù)據(jù)消息，并按時空維度投送到不同節(jié)點的分布式時空數(shù)據(jù)庫進行保存。2.基于權(quán)利要求1所述系統(tǒng)的分布式時空數(shù)據(jù)庫數(shù)據(jù)同步方法，其特征在于，包括：獲取多源的時空數(shù)據(jù)消息，生產(chǎn)者對時空數(shù)據(jù)消息空間范圍進行識別，基于空間范圍分類將時空數(shù)據(jù)消息投送到指定的消息隊列的空間分區(qū)中；利用多個消費組拉取消息隊列中空間分區(qū)的時空數(shù)據(jù)消息，對時空數(shù)據(jù)消息進行時間分類，將時空數(shù)據(jù)消息以時空維度特征入庫到多節(jié)點分布式數(shù)據(jù)庫中保存。3.根據(jù)權(quán)利要求2所述的分布式時空數(shù)據(jù)庫數(shù)據(jù)同步方法，其特征在于，所述生產(chǎn)者對時空數(shù)據(jù)消息空間范圍進行識別時，對多源時空數(shù)據(jù)消息進行統(tǒng)一清洗，篩選出指定空間范圍的數(shù)據(jù)。4.根據(jù)權(quán)利要求2所述的分布式時空數(shù)據(jù)庫數(shù)據(jù)同步方法，其特征在于，所述消息隊列對空間分區(qū)存儲的時空數(shù)據(jù)消息進行高性能的自動化協(xié)調(diào)分配，以滿足消費組消費需求。5.根據(jù)權(quán)利要求2所述的分布式時空數(shù)據(jù)庫數(shù)據(jù)同步方法，其特征在于，所述消費組消費消息隊列時空數(shù)據(jù)消息時，處理消息消費過程中出現(xiàn)的問題。6.根據(jù)權(quán)利要求2所述的分布式時空數(shù)據(jù)庫數(shù)據(jù)同步方法，其特征在于，當一節(jié)點分布式時空數(shù)據(jù)庫宕機或故障修復后，存儲有同消息的其他節(jié)點數(shù)據(jù)庫重新續(xù)投消息到消費組，實現(xiàn)數(shù)據(jù)庫數(shù)據(jù)快速補充，實現(xiàn)故障節(jié)點數(shù)據(jù)庫和其它節(jié)點數(shù)據(jù)庫數(shù)據(jù)的同步低延遲7.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述程序時實現(xiàn)如權(quán)利要求2至6中任一項所述的分布式時空數(shù)據(jù)庫數(shù)據(jù)同步方法的步驟。8.一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求2至6中任一項所述的分布式時空數(shù)據(jù)庫數(shù)據(jù)同步方法的步驟。3一種基于消息隊列的分布式時空數(shù)據(jù)庫數(shù)據(jù)同步系統(tǒng)及方法技術領域[0001]本發(fā)明涉及時空數(shù)據(jù)分布式管理技術領域，尤其涉及一種基于消息隊列的分布式時空數(shù)據(jù)庫數(shù)據(jù)同步系統(tǒng)及方法。背景技術[0002]隨著國內(nèi)外衛(wèi)星發(fā)射頻逐年增加成像衛(wèi)星數(shù)量越來越多，獲取的衛(wèi)星影像數(shù)據(jù)每天以TB級增加，大量的時空數(shù)據(jù)源源不斷地入庫，為數(shù)據(jù)的多維度分布式存儲和多節(jié)點數(shù)據(jù)同步帶來挑戰(zhàn)。[0003]時空數(shù)據(jù)來源廣泛，往往涉及多個廠商和組織，數(shù)據(jù)信息差異顯著且數(shù)據(jù)量龐大，在管理這些海量數(shù)據(jù)的同時，還需要確保系統(tǒng)的穩(wěn)定性和高效性，保證數(shù)據(jù)的安全和可靠，能夠?qū)崿F(xiàn)數(shù)據(jù)的高效快速查詢，確保在高并發(fā)環(huán)境下的穩(wěn)定運行。[0004]當前的時空數(shù)據(jù)庫存儲時空數(shù)據(jù)難以做到實時的千萬級別和上億級別數(shù)據(jù)的時空維度的分布式存儲和多個節(jié)點的實時同步備份，在業(yè)務層面，對接收的數(shù)據(jù)定制化的存儲到指定到空間分區(qū)也較為困難。[0005]申請?zhí)枮?02010836505.7的發(fā)明申請公開一種時空網(wǎng)格化星載數(shù)據(jù)存儲方法及其系統(tǒng)，該申請方案提供的星載數(shù)據(jù)存儲方法，適用于多個衛(wèi)星同步存儲處理，衛(wèi)星間具備一致性的存儲模型，便于多星數(shù)據(jù)組網(wǎng)存儲與共享服務；另一方面能在單顆衛(wèi)星上直接快速地進行存儲處理，從而滿足遙感數(shù)據(jù)對地觀測的實時性要求。但其同時存在，其方法僅適用于星上存儲，無法應用大規(guī)模的時空數(shù)據(jù)庫管理，未采用消息隊列多節(jié)點存儲方式，數(shù)據(jù)庫宕機或故障時無法獲取可靠性的時空數(shù)據(jù)。[0006]基于以上原因，需要研發(fā)一種時空數(shù)據(jù)實時分布式存儲系統(tǒng)及方法，采取多節(jié)點同步方式，讓時空數(shù)據(jù)安全可靠的自動化存儲到分布式數(shù)據(jù)庫中，方便利用。發(fā)明內(nèi)容[0007]針對上述存在的問題，本發(fā)明的目的在于提供一種基于消息隊列的分布式時空數(shù)據(jù)庫數(shù)據(jù)同步系統(tǒng)及方法，實現(xiàn)時空數(shù)據(jù)以時空維度的分布式存儲和同步備份。[0008]本發(fā)明實施例提供一種基于消息隊列的分布式時空數(shù)據(jù)庫數(shù)據(jù)同步系統(tǒng)及方法。[0009]第一方面：一種基于消息隊列的分布式時空數(shù)據(jù)庫數(shù)據(jù)同步系統(tǒng)，所述系統(tǒng)包括：[0010]生產(chǎn)者，對多源時空數(shù)據(jù)消息空間范圍進行識別，基于空間范圍分類將時空數(shù)據(jù)消息投送到指定的消息隊列的空間分區(qū)；[0011]消息隊列，基于空間范圍分類形成空間分區(qū)存儲時空數(shù)據(jù)消息；[0012]消費組，消費消息隊列空間分區(qū)的時空數(shù)據(jù)消息，對時空數(shù)據(jù)消息進行時間分類，按時空維度特征將時空數(shù)據(jù)消息投送到指定的多節(jié)點分布式數(shù)據(jù)庫；[0013]多節(jié)點分布式數(shù)據(jù)庫，多節(jié)點分布基于時空維度特征存儲時空數(shù)據(jù)。[0015]基于上述系統(tǒng)的分布式時空數(shù)據(jù)庫數(shù)據(jù)同步方法，包括：4[0016]獲取多源的時空數(shù)據(jù)消息，生產(chǎn)者對時空數(shù)據(jù)消息空間范圍進行識別，基于空間范圍分類將時空數(shù)據(jù)消息投送到指定的消息隊列的空間分區(qū)中；[0017]利用多個消費組拉取消息隊列中空間分區(qū)的時空數(shù)據(jù)消息，對時空數(shù)據(jù)消息進行時間分類，將時空數(shù)據(jù)消息以時空維度特征入庫到多節(jié)點分布式數(shù)據(jù)庫中保存。[0018]可選地，所述生產(chǎn)者對時空數(shù)據(jù)消息空間范圍進行識別時，對多源時空數(shù)據(jù)消息進行統(tǒng)一清洗，篩選出指定空間范圍的數(shù)據(jù)。[0019]可選地，所述消息隊列對空間分區(qū)存儲的時空數(shù)據(jù)消息進行高性能的自動化協(xié)調(diào)[0020]可選地，所述消費組消費消息隊列時空數(shù)據(jù)消息時，處理消息消費過程中出現(xiàn)的問題。[0021]可選地，多個消費組消費同一條時空數(shù)據(jù)消息，并按時空維度投送到不同節(jié)點的分布式時空數(shù)據(jù)庫進行保存。[0022]可選地，當一節(jié)點分布式時空數(shù)據(jù)庫宕機或故障修復后，存儲有同消息的其他節(jié)點數(shù)據(jù)庫重新續(xù)投消息到消費組，實現(xiàn)數(shù)據(jù)庫數(shù)據(jù)快速補充，實現(xiàn)故障節(jié)點數(shù)據(jù)庫和其它節(jié)點數(shù)據(jù)庫數(shù)據(jù)的同步低延遲更新。[0023]第三方面：一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)如第二方面所提供的方法的步驟。[0024]第四方面：一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)如第二方面所提供的方法的步驟。[0025]本發(fā)明的有益效果：[0026]1、本發(fā)明基于消息隊列的多主題訂閱和廣播消費能力，提出了時空數(shù)據(jù)以時空維度分布式存儲及多節(jié)點同步備份的方法，基于時空維度生產(chǎn)消息投送到特定消息隊列主題，基于廣播消費向多節(jié)點推送數(shù)據(jù)，實現(xiàn)時空數(shù)據(jù)以時空維度的分布式存儲和同步備份。[0027]2、本發(fā)明分布式時空數(shù)據(jù)庫數(shù)據(jù)同步，部署多個消費組消費同一條消息存入不同節(jié)點的數(shù)據(jù)庫，保證在遇到數(shù)據(jù)庫宕機等問題時防止消息丟失，并且可以做到各個節(jié)點數(shù)據(jù)低延遲同步更新，為數(shù)據(jù)的負載查詢提供基礎的多節(jié)點支撐。附圖說明[0028]圖1為本發(fā)明分布式時空數(shù)據(jù)庫數(shù)據(jù)同步系統(tǒng)的結(jié)構(gòu)示意圖；[0029]圖2為本發(fā)明分布式時空數(shù)據(jù)庫數(shù)據(jù)同步方法的流程原理圖；[0030]圖3為本發(fā)明消息隊列時空分區(qū)示意圖；[0031]圖4為本發(fā)明消息組結(jié)構(gòu)示意圖；[0032]圖5為本發(fā)明分布式數(shù)據(jù)庫數(shù)據(jù)結(jié)構(gòu)示意圖；[0033]圖6為本發(fā)明電子設備的結(jié)構(gòu)示意圖。具體實施方式[0034]下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中表示，其中自始至終相同或類似的符號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。5[0035]當前時空數(shù)據(jù)庫存儲數(shù)據(jù)難以做到，實時的千萬級別和上億級別條數(shù)處理，及數(shù)據(jù)的時空維度分布式存儲和多個節(jié)點的實時同步備份，在業(yè)務層面，對接收的數(shù)據(jù)定制化的存儲到指定到空間分區(qū)也較為困難。[0036]針對上述問題，本發(fā)明提供一種基于消息隊列的分布式時空數(shù)據(jù)庫數(shù)據(jù)同步系統(tǒng)，圖1為本發(fā)明實施例提供的基于消息隊列的分布式時空數(shù)據(jù)庫數(shù)據(jù)同步系統(tǒng)的模塊結(jié)[0037]其中，生產(chǎn)者對獲取的多源時空數(shù)據(jù)消息空間范圍進行識別，并按照指定的清洗規(guī)則對時空數(shù)據(jù)統(tǒng)一清洗，得到格式統(tǒng)一的時空數(shù)據(jù)，然后基于空間范圍分類將時空數(shù)據(jù)投送到消息隊列指定的空間分區(qū)中。[0038]消息隊列基于空間范圍分類劃分形成空間分區(qū)，空間分區(qū)用于存儲不同空間范圍的時空數(shù)據(jù)消息。例如圖3所示，消息隊列空間分區(qū)分別為“dl_meta_topic”、“items_[0039]當消費組消費消息隊列中時空數(shù)據(jù)消息時，消息隊列可以對空間分區(qū)存儲的時空數(shù)據(jù)消息進行高性能的自動化協(xié)調(diào)分配，以滿足各消費組消費需求，提高消費組的消費性[0040]消費組是接收消息的程序，是通過多消費者組成的，消費組對消息進行快速消費，實現(xiàn)時空數(shù)據(jù)的高性能的實時處理。[0041]消費組劃分如圖4所示，例如：消費“test-group”等消費組，“meta-group”消費組又包括“-text-5”“1”“2”“3”“4”消費者共同對時空數(shù)據(jù)的高性能的實時消費處理。[0042]消費組消費消息隊列空間分區(qū)的時空數(shù)據(jù)消息，對時空數(shù)據(jù)消息進行時間分類，消費組增加消息處理過程中可能出現(xiàn)的各種問題的解決方法，例如當有新的需求，如時間分類細度變更，數(shù)據(jù)庫表字段增刪改，可以修改消費組程序來解決適應這些問題。提高消費的可靠性，按時空維度特征將時空數(shù)據(jù)消息投送到指定的多節(jié)點分布式數(shù)據(jù)庫。[0043]多節(jié)點分布式數(shù)據(jù)庫是基于多節(jié)點分布的數(shù)據(jù)庫，可以以時空維度特征存儲時空數(shù)據(jù)，基于消息隊列及生產(chǎn)者和消費者程序?qū)崿F(xiàn)時空數(shù)據(jù)的集群和分布式存儲效果。[0044]如圖5所示衛(wèi)星時空數(shù)據(jù)在分布式數(shù)據(jù)庫保存的樣式，包括衛(wèi)星類型、時間參數(shù)和空間坐標等數(shù)據(jù)。[0045]進一步地，采用多個消費組消費消息隊列空間分區(qū)的同一條時空數(shù)據(jù)消息，消費組按時空維度投送到不同節(jié)點的分布式時空數(shù)據(jù)庫進行保存，一條時空數(shù)據(jù)消息可以被保存到多個節(jié)點的分布式時空數(shù)據(jù)庫內(nèi)；當其中一節(jié)點分布式時空數(shù)據(jù)庫宕機或故障修復后，利用消息隊列消息的持久性保存特性，利用其它節(jié)點存儲有同消息的分布式時空數(shù)據(jù)庫，重新續(xù)投消息到消費組，實現(xiàn)數(shù)據(jù)庫數(shù)據(jù)快速補充，達到和其它節(jié)點數(shù)據(jù)庫數(shù)據(jù)的同步低延遲更新，為時空數(shù)據(jù)的負載查詢提供基礎的多節(jié)點支撐。[0046]如圖2所示，本發(fā)明通過獲取的多源時空數(shù)據(jù)消息，利用生產(chǎn)者對時空數(shù)據(jù)消息空間范圍進行識別，基于空間范圍分類將時空數(shù)據(jù)消息投送到指定的消息隊列的空間分區(qū)中；利用多個消費組拉取消息隊列中空間分區(qū)的時空數(shù)據(jù)消息，對時空數(shù)據(jù)消息進行時間分類，將時空數(shù)據(jù)消息以時空維度特征入庫到多節(jié)點分布式數(shù)據(jù)庫中保存；部署多個消費6組消費同一條消息存入不同節(jié)點的分布式數(shù)據(jù)庫中，分布式時空數(shù)據(jù)庫進行多節(jié)點時空數(shù)據(jù)同步，保證在遇到數(shù)據(jù)庫宕機等問題時防止消息的丟失，并且可以做到各個節(jié)點時空數(shù)據(jù)低延遲同步更新，為數(shù)據(jù)的負載查詢提供基礎的多節(jié)點支撐。[0047]本發(fā)明還提供一種電子設備，圖6為本發(fā)明實施例提供的電子設備的結(jié)構(gòu)示意圖，如圖6所示，該電子設備可以包括：處理器(processor)、通信接口器通過通信總線完成相互間的通信。處理器可以調(diào)用存儲器中的邏輯指令，例如以執(zhí)行如下方法：[0048]獲取多源的時空數(shù)據(jù)消息，生產(chǎn)者對時空數(shù)據(jù)消息空間范圍進行識別，基于空間范圍分類將時空數(shù)據(jù)消息投送到指定的消息隊列的空間分區(qū)中；利用多個消費組拉取消息隊列中空間分區(qū)的時空數(shù)據(jù)消息，對時空數(shù)據(jù)消息進行時間分類，將時空數(shù)據(jù)消息以時空維度特征入庫到多節(jié)點分布式數(shù)據(jù)庫中保存。[0049]此外，上述的存儲器中的邏輯指令可以通過軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時，可以存儲在一個計算機可讀取存儲介質(zhì)中?；谶@樣的理解，本發(fā)明的技術方案本質(zhì)上或者說對現(xiàn)有技術做出貢獻的部分或者該技術方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，服務器，或者網(wǎng)絡設備等)執(zhí)行本發(fā)明各個實施例所OnlyMemory)、隨機存取存儲器(RAM,RandomAccessMemory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。[0050]本發(fā)明實施例還提供一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)以執(zhí)行上述各實施例提供的方法，例如包括：[0051]獲取多源的時空數(shù)據(jù)消息，生產(chǎn)者對時空數(shù)據(jù)消息空間范圍進行識別，基于空間范圍分類將時空數(shù)據(jù)消息投送到指定的消息隊列的空間分區(qū)中；利用多個消費組拉取消息隊列中空間分區(qū)的時空數(shù)據(jù)消息，對時空數(shù)據(jù)消息進行時間分類，將時空數(shù)據(jù)消息以時空維度特征入庫到多節(jié)點分布式數(shù)據(jù)庫中保存。[0052]以上所描述的系統(tǒng)實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部模塊來實現(xiàn)本實施例方案的目的。本領域普通技術人員在不付出創(chuàng)造性的勞動的情況下，即可以理解并實施。[0053]通過以上的實施方式的描述，本領域的技術人員可以清楚地了解到各實施方式可借助軟件加必需的通用硬件平臺的方式來實現(xiàn)，當然也可以通過硬件?；谶@樣的理解，上述技術方案本質(zhì)上或者說對現(xiàn)有技術做出貢獻的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品可以存儲在計算機可讀存儲介質(zhì)中，如ROM/RAM、令用以使得一臺計算機設備(可以是個人計算機，服務器，或者網(wǎng)絡設備等)執(zhí)行各個實施例或者實施例的某些部分所述的方法。[0054]最后應說明的是：以上實施例僅用以說明本發(fā)明的技術方案，而非對其限制；盡管參照前述實施例對本發(fā)明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可7以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特征進行等同替換；而這些修改或者替換，并不使相應技術方案的本質(zhì)脫離本發(fā)明各實施例技術方案的精神和范圍。8多源時空數(shù)據(jù)多源時空數(shù)據(jù)生產(chǎn)者空間分區(qū)1時空數(shù)據(jù)消息分區(qū)投遞時空數(shù)據(jù)消息分區(qū)投遞空間分區(qū)2空間分區(qū)2空間分區(qū)3生產(chǎn)者生產(chǎn)者消息隊列消息組多節(jié)點分布式數(shù)據(jù)庫PartitionsReplicasAverageLogSi91meta-group-text-52meta-group13meta-group24151617test-group1