(19)國家知識產(chǎn)權局(12)發(fā)明專利地址100010北京市東城區(qū)青龍胡同甲1務所(普通合伙)11794審查員李若童本發(fā)明涉及一種分布式對象存儲空間整理間滿足空洞最小閾值的源對象插入到hash列表對象映射關系表將源對象上的小對象數(shù)據(jù)遷移數(shù)據(jù)對應的layout信息；執(zhí)行清理操作結束任獲取符合空洞率要求的聚合大對象作為源對象，將碎片空獲取符合空洞率要求的聚合大對象作為源對象，將碎片空間滿足空洞最小閾值的源對象插入到hash列表中從hash列表中選取碎片率最高的源對象進行空間整理，并根據(jù)需求創(chuàng)建目標聚合大對象作為目標對象分批遍歷源對象的對象表，獲取小對象在源對象上的偏移信息，并在排序后生成有序對象表，根據(jù)有序對象表獲取每個小對象在大對象上所處的區(qū)間信息，將區(qū)間信息添加到源對象的區(qū)間映射表，為源對象區(qū)間分配對應的目標對象區(qū)間，進而生成目標對象映射關系表根據(jù)目標對象映射關系表將源對象上的小對象數(shù)據(jù)遷移到目標對象上遷移成功后，批量讀取源對象中的小對象，根據(jù)目標對象上的小對象對應的區(qū)間信息，更新小對象自身元數(shù)據(jù)對應的區(qū)間信息執(zhí)行清理操作，結束任務CN117827100B權利要求書2S1,獲取符合空洞率要求的聚合大對象作為源對象，將碎片空間滿足空洞最小閾值的S2,從所述hash列表中選取碎片率最高的源對象進行空間整理，并根據(jù)需求創(chuàng)建目標目標對象映射關系表；S4,根據(jù)所述目標對象映射關系表將所述源對象上的小對象數(shù)據(jù)遷移到所述目標對象上，其中，然后執(zhí)行元數(shù)據(jù)和對象表遷移，包括：將小對象列表批量間layout信息，更新小對象自身元數(shù)據(jù)對應的區(qū)間layout信息；在更新所述小對象的在更新后對內存進行固化，以保證出現(xiàn)異常時能從失敗的offset開始繼續(xù)后續(xù)的整理任S6,執(zhí)行清理操作，結束任務。4.根據(jù)權利要求1所述的一種分布式對象存儲空間整理方法，其特征在于，在所述S25.根據(jù)權利要求1所述的一種分布式對象存儲空間整理方法，其特征在于，在所述S3象表和相關區(qū)間的內存。6.根據(jù)權利要求1所述的一種分布式對象存儲空間整理方法，其特征在于，在所述S3上的偏移信息，并從大到小排序，生成有序對象表。7.根據(jù)權利要求1所述的一種分布式對象存儲空間整理方法，其特征在于，在所述S33址，生成所述目標對象映射關系表。8.根據(jù)權利要求1所述的一種分布式對象存儲空間整理方法，其特征在于，在所述S5中，在更新所述小對象的layout信息之前，先檢查小對象是否還存在，如果不存在說明在空間整理期間被刪除，則無需更新layout信息。9.根據(jù)權利要求1所述的一種分布式對象存儲空間整理方法，其特征在于，在所述步驟S6中，清理源對象，清理空間整理固化的內存結構和清理固化的空間整理任務。4技術領域[0001]本發(fā)明屬于數(shù)據(jù)存儲領域，尤其涉及一種分布式對象存儲空間整理方法。背景技術[0002](1)現(xiàn)有的分布式對象存儲，對大對象和小對象的大小定義不一樣，同時對大對象和小對象的上傳處理方式也不一樣。[0003]針對小對象上傳，基本都支持小對象在SSD磁盤上聚合成一個大對象后存儲到后端HDD磁盤中，不僅可以提高磁盤空間利用率，同時提升小對象上傳的性能。但是，當執(zhí)行小對象刪除以后，聚合生成的大對象空間上會留下很多不連續(xù)的空洞空間，形成碎片化的數(shù)據(jù)塊，導致對未被刪除的對象進行隨機讀取時，時延開銷增加，給上層應用帶來不好的用戶體驗。刪除和釋放聚合小對象所占用的存儲空間，會導致存儲空間可能變得不連續(xù)，即出現(xiàn)了大量不相鄰的空閑空間，這可能導致存儲系統(tǒng)的碎片化，降低了數(shù)據(jù)讀寫的效率，影響系統(tǒng)可用性。為了解決這一問題，常用的優(yōu)化方式是讀取每個聚合大對象上的空洞空間和有效數(shù)據(jù)，然后將所有的有效數(shù)據(jù)集中遷移形成連續(xù)的數(shù)據(jù)塊進行讀取。[0004](2)現(xiàn)有的碎片空間優(yōu)化方式，雖然解決聚合大對象上有效數(shù)據(jù)連續(xù)性的問題，但是處理所有的聚合對象時會存在較大的內存開銷，而且在聚合對象的尾端仍然存儲空間浪費。在執(zhí)行空間整理時反而會與其他進程產(chǎn)生資源競爭。零散的空洞可能會增加元數(shù)據(jù)管理的復雜性，因為系統(tǒng)需要維護非空洞對象的元數(shù)據(jù)信息，以確保正確的對象定位和管理。[0005](3)針對視頻監(jiān)控類數(shù)據(jù)的存儲，產(chǎn)生的日志，文本，圖片等小于1M的小對象被刪除后，會在聚合后的大對象存儲空間中留下大小不等的空洞。這些空洞可能導致存儲空間的浪費，因為系統(tǒng)無法有效地重用這些空間，從而增加了存儲成本。發(fā)明內容[0006]鑒于以上現(xiàn)有技術的不足，發(fā)明的目的在于提供一種分布式對象存儲空間整理方法，通過將未被刪除的小對象從原始大對象上遷移到新的空大對象上，有效的減少了存儲空間的碎片化和浪費，更好的提升存儲空間利用率。[0008]S1,獲取符合空洞率要求的聚合大對象作為源對象，將碎片空間滿足空洞最小閾值的所述源對象插入到hash列表中；[0009]S2,從所述hash列表中選取碎片率最高的源對象進行空間整理，并根據(jù)需求創(chuàng)建目標聚合大對象作為目標對象；[0010]S3,分批遍歷所述源對象的對象表，獲取小對象在所述源對象上的偏移信息，并在排序后生成有序對象表，根據(jù)所述有序對象表獲取每個小對象在大對象上所處的區(qū)間信息，將區(qū)間信息添加到源對象的區(qū)間映射表，為源對象區(qū)間分配對應的目標對象區(qū)間，進而生成目標對象映射關系表；[0011]S4,根據(jù)所述目標對象映射關系表將所述源對象上的小對象數(shù)據(jù)遷移到所述目標5[0012]首先執(zhí)行數(shù)據(jù)遷移，包括：讀取所述源對象中小對象對應的區(qū)間數(shù)據(jù)，然后寫入到所述目標對象標記的新區(qū)間，在收到數(shù)據(jù)數(shù)據(jù)落盤返回寫成功后，表示數(shù)據(jù)遷移成功；[0013]然后執(zhí)行元數(shù)據(jù)和對象表遷移，包括：將小對象列表批量插入到所述目標對象對應的對象表LSM樹中，同時也將所述源對象經(jīng)過區(qū)間整理后的元數(shù)據(jù)插入到目標對象的元[0014]S5,遷移成功后，批量讀取所述源對象中的小對象，根據(jù)目標對象上的小對象對應的區(qū)間layout信息，更新小對象自身元數(shù)據(jù)對應的區(qū)間layout信息；[0016]進一步地，所述空洞最小閾值根據(jù)集群容量使用率動態(tài)調整。[0017]進一步地，每個所述源對象只能選擇一個所述目標對象，每個目標對象對應多個所述源對象。[0018]進一步地，在所述S2中，空間整理開始執(zhí)行，所述目標對象自動在存儲桶中創(chuàng)建，所述源對象和所目標對象狀態(tài)被設置為空間整理狀態(tài)，其中，所述源對象的有效容量之和不能超過所述目標對象的容量?？讷@取所述源對象上的對象表和相關區(qū)間的內存。[0020]進一步地，在所述S3中，獲取小對象在所述源對象上的偏移信息，根據(jù)對象名和段號獲取所述小對象在源對象上的偏移信息，并從大到小排序，生成有序對象表。[0021]進一步地，在所述S3中，在讀取源對象的區(qū)間映射表之后，修改小對象的偏移信息和區(qū)間layout形成連續(xù)的地址，生成所述目標對象映射關系表。[0022]進一步地，在所述S5中，在更新所述小信息對象的layout信息之前，先檢查小對象是否還存在，如果不存在說明在空間整理期間被刪除，則無需更新layout信息。[0023]進一步地，在所述S5中，在更新所述小信息對象的layout信息時，以小對象的偏移信息為序進行更新，并判斷更新過程是否正常，如果正常則在更新后對內存進行固化，以保證出現(xiàn)異常時能從失敗的offset開始繼續(xù)后續(xù)的整理任務；如果異常則表示部分對象的layout信息更新成功，將所述源對象和目標對象上均存在有效數(shù)據(jù)，作為下次的源對象進行空間整理。[0024]進一步地，在所述步驟S6中，清理源對象，清理空間整理固化的內存結構和清理固化的空間整理任務。[0025]本發(fā)明有益效果如下：[0026](1)小對象動態(tài)遷移策略：通過將有效空間和分配空間差距較大的大對象中的有效數(shù)據(jù)區(qū)段，連續(xù)地整合到新的空的大對象中，以達到消除空洞的目的，同時也可以降低在執(zhí)行空間整理時對系統(tǒng)負載的影響。該動態(tài)調整和遷移策略能夠根據(jù)集群容量使用情況和系統(tǒng)負載動態(tài)調整閾值，自動地開始后臺空間整理任務執(zhí)行。這種優(yōu)化策略可以使系統(tǒng)在不同負載下仍然保持高效率執(zhí)行，解決了海量小對象在反復地寫入和刪除，或者覆蓋寫情況下導致存儲空間碎片增加，導致的元數(shù)據(jù)管理的復雜性高和影響對象讀寫效率的問題。[0027](2)對象元數(shù)據(jù)維護方法：元數(shù)據(jù)和對象表的維護方法通過建立區(qū)間映射表的方式確保數(shù)據(jù)和元數(shù)據(jù)在遷移前后的一致性和完整性。通過建立區(qū)間映射表的方式執(zhí)行數(shù)據(jù)6的遷移，也同步遷移元數(shù)據(jù)和對象表，保證了數(shù)據(jù)的一致性和完整性。[0028](3)空間整理控制結構：依據(jù)集群容量使用率和負載進行自適應動態(tài)調整，包括任務并發(fā)數(shù)，最小空間閾值，任務執(zhí)行間隔等，使得空間整理效率提升，提高了數(shù)據(jù)存儲的連續(xù)性。通過將未被刪除的小對象從原始大對象上遷移到新的空大對象上，有效的減少了存儲空間的碎片化和浪費，更好的提升存儲空間利用率。[0029](4)存儲空間優(yōu)化：現(xiàn)有技術通過在原始大對象自身空間范圍內進行數(shù)據(jù)遷移來消除空洞，而本發(fā)明通過將未被刪除的小對象從原始大對象上遷移到新的空大對象上，有效的減少了存儲空間的碎片化和浪費，更好的提升存儲空間利用率。本發(fā)明可以幫助用戶和企業(yè)更有效地使用存儲空間，減少碎片化問題，降低存儲成本。[0030](5)自適應的空間整理控制結構：根據(jù)集群容量使用情況和系統(tǒng)負載，自適應的調[0031](6)數(shù)據(jù)連續(xù)性：優(yōu)化存儲空間有助于創(chuàng)建連續(xù)的數(shù)據(jù)存儲塊，從而減少隨機訪問[0032](7)簡化運維操作：支持隨時開啟和關閉后臺空間整理任務，開啟之后，自適應的根據(jù)集群當前情況調整各類參數(shù)，提高空洞消除效率。無需復雜的操作去監(jiān)控和管理任務，只需簡單的查詢命令查看中間過程和結果。附圖說明[0033]附圖僅用于示出具體實施例的目的，而并不認為是對本發(fā)明的限制，在整個附圖中，相同的參考符號表示相同的部件。顯而易見地，下面描述中的附圖僅僅是本發(fā)明實施例中記載的一些實施例，對于本領域普通技術人員來講，還可以根據(jù)這些附圖獲得其他的附[0034]圖1為本發(fā)明實施例的分布式對象存儲空間整理方法的流程圖；[0035]圖2為本發(fā)明實施例的分布式對象存儲空間整理方法的示意圖；[0036]圖3為本發(fā)明實施例的源對象空間整理結果示意圖；[0037]圖4為本發(fā)明實施例的區(qū)間整理工作流程圖；[0038]圖5為本發(fā)明實施例的對象遷移工作流程圖；[0039]圖6為本發(fā)明實施例的layout更新工作流程圖；[0040]圖7為本發(fā)明實施例的空間清理的工作流程圖。具體實施方式[0041]為了使本領域的人員更好地理解本發(fā)明實施例中的技術方案，下面將結合附圖對本發(fā)明的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例。應該理解，這些描述只是示例性的，并非用于限定本發(fā)明的范圍?；诒景l(fā)明的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都應當屬于本發(fā)明保護的范圍。[0042]此外，在以下說明中，省略了對公知結構和技術的描述，以避免不必要地混淆本發(fā)明公開的概念。[0043]在本發(fā)明的描述中，需要說明的是，除非另有明確的規(guī)定和限定，術語“中心”、7示的方位或位置關系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構造和操作，因此不能理解為對本發(fā)明的限介間接相連，可以是兩個元件內部的連通。對于本領域的普通技術人員而言，可以具體情況理解上述術語在本發(fā)明中的具體含義。[0044]這里將詳細地對示例性實施例進行說明，其示例表示在附圖中。下面的描述涉及附圖時，除非另有表示，不同附圖中的相同數(shù)字表示相同或相似的要素。以下示例性實施例中所描述的實施方式并不代表與本發(fā)明相一致的所有實施方式。相反，它們僅是與如所附權利要求書中所詳述的、本發(fā)明的一些方面相一致的方法和系統(tǒng)的例子。[0045]下面本發(fā)明實施例的分布式對象存儲空間整理方法涉及的技術術語進行說明：[0046]GC:垃圾回收(GarbageCollection,GC),在分布式對象存儲中，GC一般指一些異步的磁盤空間回收或者空間整理操作。當客戶端執(zhí)行刪除對象或者覆蓋寫對象操作，對應的對象所占用的磁盤空間不會被立即釋放，而是交給后臺GC模塊處理[0047]LSM樹：全稱為Log-StructuredMergeTree,是一種用于實現(xiàn)鍵值存儲系統(tǒng)的數(shù)據(jù)結構，被廣泛應用于分布式數(shù)據(jù)庫和分布式文件系統(tǒng)等領域。其核心思想是將鍵值對按照順序追加到磁盤上的多個不同層級的存儲文件中。[0049]S1,獲取符合空洞率要求的聚合大對象作為源對象，將碎片空間滿足空洞最小閾值的源對象插入到hash列表中。[0050]對于分布式對象存儲集群，客戶端上傳不同大小的對象到集群中，規(guī)定大小小于1M的對象稱為小對象，上對象上傳后在SSD磁盤組成的緩存空間中被聚合成大對象存儲到運行時間增加，上傳的小對象和生成的聚合大對象數(shù)量也在增加。當客戶端執(zhí)行了刪除對象操作后，相應地會在對應的大對象上生成一些不連續(xù)的空洞空間，而被刪除的對象空間則形成碎片空間?？臻g整理線程在后臺持續(xù)進行掃描，當聚合大對象上的空洞空間對比有效容量達到一定的閾值后，結合集群存儲池的使用容量比例，自動觸發(fā)空間整理執(zhí)行。[0051]為了避免空間整理在選擇源對象時，每次都要下盤讀取源對象的元數(shù)據(jù)信息，元數(shù)據(jù)管理模塊將狀態(tài)為已聚合，且碎片空間滿足空洞最小閾值的大對象插入到一個hash表中，選擇源對象時只需要遍歷hash表，選擇空洞率最高的一批對象進行整理。[0052]在本發(fā)明的實施例中，空洞最小閾值根據(jù)集群容量使用率動態(tài)調整。使用率越高，最小閾值越低，保證集群在空間可用狀態(tài)下，前端業(yè)務受后臺空間整理的影響最小。[0053]S2,從hash列表中選取碎片率最高的源對象進行空間整理，并根據(jù)需求創(chuàng)建目標聚合大對象作為目標對象。[0054]具體的，空間整理開始執(zhí)行，目標對象自動在存儲桶中創(chuàng)建，源對象和所目標對象狀態(tài)被設置為空間整理狀態(tài)，后臺線程保證源對象不接受其他的遷移操作，目標對象不接受新的對象聚合寫入。在空間整理期間，源對象可讀可刪不可寫。8[0055]如圖3所示，每個源對象只能選擇一個目標對象，每個目標對象對應多個源對象。即，多個源對象可以選擇同一個目標對象。多個源對象上的有效容量之和不能超過目標對象的容量。[0056]S3,分批遍歷源對象的對象表，獲取小對象在源對象上的偏移信息，并在排序后生成有序對象表，根據(jù)有序對象表獲取每個小對象在大對象上所處的區(qū)間(layout)信息，將區(qū)間信息添加到源對象的區(qū)間映射表，為源對象區(qū)間分配對應的目標對象區(qū)間，進而生成目標對象映射關系表。[0057]如圖4所示，首先源對象上對象表信息保存在LSM樹中，通過LSM列舉接口獲取源對象上的對象表以及相關區(qū)間的內存。具體來說，讀取源對象的元數(shù)據(jù)，以及對應的對象表，分批讀取對象表上記錄的對象元數(shù)據(jù)的layout信息，存到一張已經(jīng)定義的區(qū)間映射表中。由于對象表中的小對象個數(shù)可能會很多，為了避免內存不足，采用分批遍歷對象表的方式，每次最多列舉N個對象，然后根據(jù)對象名和段號獲取小對象在源對象上的偏移(offset)信息，并進行從大到小排序，生成有序對象表。[0058]然后根據(jù)有序對象表中的對象信息，獲取每個小對象在大對象上所處的區(qū)間信息。即，獲取每個小對象在大對象上所處的區(qū)間(layout)信息。[0060]本步驟通過分批遍歷選定源對象上的小對象，避免全部遍歷導致內存不足然后將區(qū)間信息添加到源對象的區(qū)間映射表中。[0061]最后，讀取源對象的區(qū)間映射表，修改對象的offset偏移信息和layout形成連續(xù)的地址，生成新的目標對象映射關系表。[0062]具體來說，修改小對象的偏移信息，也就是修改小對象在目標大對象上的offset信息，然后讀取小對象的layout信息，或者length信息。這樣就把多個小對象有序的在目標大對象上存放。[0063]S4,根據(jù)目標對象映射關系表將源對象上的小對象數(shù)據(jù)遷移到目標對象上。[0064]如圖5所示，經(jīng)過區(qū)間整理后，待遷移源對象的源區(qū)間和目標對象的目標區(qū)間映射表都已經(jīng)保存。按照生成的目標對象映射關系表，實現(xiàn)從源對象到目標對象對應區(qū)間的映射遷移。根據(jù)源對象的對象區(qū)間表遷移每個對象的數(shù)據(jù)到目標對象表中定義的連續(xù)地址空間上。[0065]目標區(qū)間映射表：指的是待遷移的小對象在目標大對象上對應的區(qū)間(layout),多個小對象的區(qū)間形成的一張有序列表。[0066]對象區(qū)間表：指的是源對象(聚合大對象)上的小對象在源對象上所處的區(qū)間，包括offset信息和length(layout)信息。[0067]目標對象表：指的是hash列表中記錄的多個目標對象，也是用一張key-value表管[0068]上述三類表的關系如下：對象區(qū)間表是小對象在大對象上對應的區(qū)間，目標對象表是記錄目標大對象的元數(shù)據(jù)相關信息，目標區(qū)間映射表指的是源對象上的小對象在目標大對象上的區(qū)間映射關系。9[0069]在遷移過程中如果失敗會進行重試操作，如果重試仍然失敗，會根據(jù)目標對象上是否已經(jīng)存在有效數(shù)據(jù)來判斷是否執(zhí)行銷毀還是僅更新目標對象的狀態(tài)。同時也要及時執(zhí)行后續(xù)的資源清理工作。[0072]首先，執(zhí)行數(shù)據(jù)遷移，將待遷移對象的源/目標區(qū)間轉換為對應的底層磁盤數(shù)據(jù)分[0073]具體來說，數(shù)據(jù)遷移任務由后臺遷移線程執(zhí)行，讀取源對象中小對象對應的區(qū)間數(shù)據(jù)，然后寫入到目標對象標記的新區(qū)間，在收到數(shù)據(jù)數(shù)據(jù)落盤返回寫成功后，表示數(shù)據(jù)遷移成功。[0074](2)元數(shù)據(jù)和對象表遷移[0075]然后，在數(shù)據(jù)遷移完成以后，執(zhí)行元數(shù)據(jù)和對象表遷移，目標大對象的元數(shù)據(jù)更新，小對象列表則分批插入到目標對象對應的對象表LSM樹中。[0076]具體來說，當源對象對應小對象數(shù)據(jù)遷移成功后，將小對象列表批量插入到目標對象對應的對象表LSM樹中，同時也將源對象經(jīng)過區(qū)間整理后的元數(shù)據(jù)插入到目標對象的[0077]S5,遷移成功后，批量讀取源對象中的小對象，根據(jù)目標對象上的小對象對應的layout信息，更新小對象自身元數(shù)據(jù)對應的layout信息。[0078]如圖6所示，數(shù)據(jù)和元數(shù)據(jù)遷移完成之后，需要同步更新小對象的layout信息。即讀取源對象中的小對象，根據(jù)目標對象上的小對象對應的layout信息，更新小對象自身元數(shù)據(jù)對應的layout信息，保證元數(shù)據(jù)的一致性。[0079]在更新小信息對象的layout信息之前，讀取源對象的對象表，先檢查小對象是否還存在，如果不存在說明在空間整理期間被刪除，則無需更新layout信息。[0080]讀取目標對象區(qū)間表，批量獲取對象進行更新。在更新小信息對象的layout信息時，以小對象的偏移信息為序進行更新，并判斷更新過程是否正常，如果正常則在更新后對內存進行固化，以保證出現(xiàn)異常時能從失敗的offset開始繼續(xù)后續(xù)的整理任務；如果異常則表示部分對象的layout信息更新成功，將源對象和目標對象上均存在有效數(shù)據(jù)，作為下次的源對象進行空間整理。這是由于當前被創(chuàng)建出來的目標大對象，在本次成功執(zhí)行完成或者失敗中斷后，會成為下一次空間整理的源對象，這是一個反復循環(huán)的過程。[0081]在元數(shù)據(jù)遷移和更新完成之后，說明空間整理任務成功，此時目標對象可以對外提供業(yè)務。[0083]在完成layout信息更新之后，目標對象可以提供對象讀寫刪服務，但是需要先做狀態(tài)上的更新。如果目標對象未寫滿，則可以繼續(xù)進行空間整理，如果已經(jīng)寫滿，則通知空間整理釋放，狀態(tài)恢復正常?？蛻舳丝梢詫δ繕藢ο筮M行讀寫刪操作。的狀態(tài)、清理源對象、清理空間整理固化的內存結構、清理固化的空間整理任務。然后開始新一輪的空間整理工作。[0088]經(jīng)過上述步驟后，一個或者多個源對象上的有效數(shù)據(jù)被集中遷移到一個或者多個目標大對象的連續(xù)空間上，同時有效數(shù)據(jù)對應的元數(shù)據(jù)也同步執(zhí)行更新，從而保證了數(shù)據(jù)的一致性和完整性。需要說明的是，目標大對象的實際容量也不一定是完整的96M,當最后一個對象的大小不能完全插入到大對象空間時，允許末尾有一定的空間預留。[0089]本發(fā)明實施例的分布式對象存儲空間整理方法可以應用于視頻監(jiān)控、流媒體數(shù)據(jù)處更新目標對象的狀態(tài)傳輸領域，不僅要傳輸大量的音頻、視頻等媒體數(shù)據(jù)，同時也需要記錄和分析海量的日志，文本，圖片等小對象。本發(fā)明實施例的分布式對象存儲空間整理方法對有大量刪除和覆蓋寫操作的媒體存儲，可以提高數(shù)據(jù)存儲和空間利用率。[0090]在云存儲環(huán)境中，同樣也存在海量的大小對象，本發(fā)明可以優(yōu)化云存儲系統(tǒng)中的[0091]本發(fā)明實施例的分布式對象存儲空間整理方法，具有以下有益效果：[0092](1)小對象動態(tài)遷移策略：通過將有效空間和分配空間差距較大的大對象中的有效數(shù)據(jù)區(qū)段，連續(xù)地整合到新的空的大對象中，以達到消除空洞的目的，同時也可以降低在執(zhí)行空間整理時對系統(tǒng)負載的影響。該動態(tài)調整和遷移策略能夠根據(jù)集群容量使用情況和系統(tǒng)負載動態(tài)調整閾值，自動地開始后臺空間整理任務執(zhí)行。這種優(yōu)化策略可以使系統(tǒng)在不同負載下仍然保持高效率執(zhí)行，解決了海量小對象在反復地寫入和刪除，或者覆蓋寫情況下導致存儲空間碎片增加，導致的元數(shù)據(jù)管理的復雜性高和影響對象讀寫效率的問題。[0093](2)對象元數(shù)據(jù)維護方法：元數(shù)據(jù)和對象表的維護方法通過建立區(qū)間映射表的方式確保數(shù)據(jù)和元數(shù)據(jù)在遷移前后的一致性和完整性。通過建立區(qū)間映射表的方式執(zhí)行數(shù)據(jù)的遷移，也同步遷移元數(shù)據(jù)和對象表，保證了數(shù)據(jù)的一致性和完整性。[0094](3)空間整理控制結構：依據(jù)集群容量使用率和負載進行自適應動態(tài)調整，包括任務并發(fā)數(shù)，最小空間閾值，任務執(zhí)行間隔等，使得空間整理效率提升，提高了數(shù)據(jù)存儲的連續(xù)性。通過將未被刪除的小對象從原始大對象上遷移到新的空大對象上，有效的減少了存儲空間的碎片化和浪費，更好的提升存儲空間利用率。[0095](4)存儲空間優(yōu)化：現(xiàn)有技術通過在原始大對象自身空間范圍內進行數(shù)據(jù)遷移來消除空洞，而本發(fā)明通過將未被刪除的小對象從原始大對象上遷移到新的空大對象上，有效的減少了存儲空間的碎片化和浪費，更好的提升存儲空間利用率。本發(fā)明可以幫助用戶和企業(yè)更有效地使用存儲空間，減少碎片化問題，降低存儲成本。[0096](5)自適應的空間整理控制結構：根據(jù)集群容量使用情況和系統(tǒng)負載，自適應的調[0097](6)數(shù)據(jù)連續(xù)性：優(yōu)化存儲空間有助于創(chuàng)建連續(xù)的數(shù)據(jù)存儲塊，從而減少隨機訪問[0098](7)簡化運維操作：支持隨時開啟和關閉后臺空間整理任務，開啟之后，自適應的根據(jù)集群當前情況調整各類參數(shù)，提高空洞