Ceph介紹2Ceph的現(xiàn)狀Ceph的目標(biāo)是提供一個general-purpose的并行文件系統(tǒng)，設(shè)計(jì)目標(biāo)是也是在廉價(jià)的存儲介質(zhì)上構(gòu)建具有highperformance，highscalibility,highavailable，其目標(biāo)是應(yīng)用在科學(xué)計(jì)算等HPC領(lǐng)域。目前其已經(jīng)被納入處于linux內(nèi)核之中，用c++開發(fā)。但是，無論從架構(gòu)和其工程實(shí)現(xiàn)來看，都很不成熟，難以在productionenvironment中使用，其更接近于一個原型系統(tǒng)的升級版。3特點(diǎn)Ceph最大的特點(diǎn)是分布式的元數(shù)據(jù)服務(wù)器通過CRUSH，一種擬算法來分配文件的locaiton，其核心是RADOS（resilientautomaticdistributedobjectstorage)，一個對象集群存儲，本身提供對象的高可用，錯誤檢測和修復(fù)功能。4特點(diǎn)-CRUSH算法第一，數(shù)據(jù)的定位是通過CRUSH算法來實(shí)現(xiàn)的。傳統(tǒng)的，或者通常的并行文件系統(tǒng)，數(shù)據(jù)的定位的信息是保存在文件的metadata中的，也就是inode結(jié)構(gòu)中，通過到metadataserver上去獲取數(shù)據(jù)分布的信息。而在Ceph中，是通過CRUSH這個算法來提供數(shù)據(jù)定位的。這和GlusterFS的思想是相同的，GlusterFS是通過ElasticHash，類似于DHT的算法實(shí)現(xiàn)的。這就有點(diǎn)像P2P存儲，所謂的完全對稱的存儲，這種設(shè)計(jì)架構(gòu)最大的優(yōu)點(diǎn)是，其理論上可以做到線性擴(kuò)展的能力（linescale）。在GlusterFS架構(gòu)中，是完全去掉了metadataserver，這就導(dǎo)致GlusterFS文件系統(tǒng)上的元數(shù)據(jù)操作，例如ls，stat操作非常慢，要去各個stripe的節(jié)點(diǎn)上收集相關(guān)的元數(shù)據(jù)信息后聚合后的結(jié)果。在Ceph中，為了消除完全的p2p設(shè)計(jì)，提供了metadataserver服務(wù)，提供文件級別的元數(shù)據(jù)服務(wù)，而元數(shù)據(jù)服務(wù)中的文件數(shù)據(jù)定位由CRUSH算法代替。5特點(diǎn)-元數(shù)據(jù)服務(wù)器第二，元數(shù)據(jù)服務(wù)器可以提供集群metadataserver服務(wù)。只要當(dāng)我們了解了其結(jié)構(gòu)后，感覺并沒有太大的特點(diǎn)。元數(shù)據(jù)服務(wù)器一般就用來存儲文件和目錄的信息，提供統(tǒng)一的命名服務(wù)。在Ceph中，元數(shù)據(jù)的存儲inode和dentry的，以及日志都是在對象存儲集群RADOS中存儲，這就使得metadata的持久化都是在遠(yuǎn)程的RADOS中完成，metadataserver不保存狀態(tài)，只是緩存最近的inode和dentry項(xiàng)，當(dāng)metadataserver失效后，其所所有信息都可以從RADOS中獲取，可以比較容易恢復(fù)。其實(shí)，也上兩點(diǎn)，并沒有什么特別的地方。我覺得，CEPH最核心的，就是RADOS就是RADOS（resilientautomaticdistributedobjectstorage).其resilient指的是可以輕松擴(kuò)展，automatic指的是其對象存儲集群可以處理failover，failurerecovery。RADOS對象集群其對外提供了一個高可用的，可擴(kuò)展的，對象集群，從客戶端的角度看，就是一個統(tǒng)一命名空間的對象存儲。6Ceph的核心系統(tǒng)Ceph的Monitor用來監(jiān)控集群中所有節(jié)點(diǎn)的狀態(tài)信息，完成類似配置服務(wù)的功能。在Ceph里，配置主要就是clustermap，其保存集群所有節(jié)點(diǎn)信息，并和所有的節(jié)點(diǎn)保持心跳，來監(jiān)控所有的節(jié)點(diǎn)狀態(tài)。其通過Paxos算法實(shí)現(xiàn)實(shí)現(xiàn)自身的高可用，也就是說，這個CephMonitor是不會有單點(diǎn)問題的。目前流行的zookeeper的功能，以及實(shí)現(xiàn)都類似。對象存儲Ceph文件系統(tǒng)中的數(shù)據(jù)和元數(shù)據(jù)都保存在對象中。對于對象存儲，通常的定義是：一個Object，由三部分組成（id，metadata，data），id是對象的標(biāo)識，這個不必多說。所謂的metadata，就是key/value的鍵值存儲，至于用來保存什么信息，由文件系統(tǒng)的語義定義。data就是實(shí)際存儲的數(shù)據(jù)。Ceph的對象，包括四個部分（id，metadata，attribute，data），在Ceph里，一個Object，實(shí)際就對應(yīng)本地文件系統(tǒng)的一個文件，一個對象的attribute，也是key/value的鍵值對，其保存在本地文件系統(tǒng)的文件的擴(kuò)展屬性中。對象的metadata就是key/value的鍵值對，目前Ceph保存在google開源的一個key/value存儲系統(tǒng)leveldb中，或者自己寫的一個key/value存儲系統(tǒng)中。數(shù)據(jù)就保存在對象的文件中。對于一個對象的更新，都需要寫日志中來保持一個Object數(shù)據(jù)的一致性（consistence），日志有一個單獨(dú)的設(shè)備或者文件來保存。7Ceph的核心系統(tǒng)副本存儲一個PG（placementgroup）由一個OSD列表組成，OSD的個數(shù)，就是對象的副本數(shù)，一個三副本的PG就是一個主，兩個副本的OSD列表組成。一個PG和OSD列表的映射關(guān)系，是通過CRUSH算法計(jì)算的，知道PG的id，和當(dāng)前的clustermap，就可以通過CRUSH算法，計(jì)算出OSD列表。特別強(qiáng)調(diào)的是，一個PG是邏輯層概念，也就是說，一個OSD，可能同時(shí)是一個或者多個PG的主，同時(shí)是另一個PG的從。一個OSD處于多個PG組中。一個PG就是復(fù)制和修復(fù)的基本單位。每個OSD本地保存其所在的PG列表就可以了，其它OSD可以通過輸入當(dāng)前的該OSD保存的clustermap和PG的id，通過CRUSH計(jì)算得出。Ceph的容錯處理對于Ceph文件系統(tǒng)，錯誤分兩類：一類是磁盤錯誤或者數(shù)據(jù)損壞（diskerrororcorruptteddata），這類錯誤OSD會自己報(bào)告和處理。（selfreport）；第二類是OSD失去網(wǎng)絡(luò)連接導(dǎo)致該OSD不可達(dá)（unreachableonthenetwork）這種情況下需要主動檢測（activemonitor），在同一個PG組中的其它OSD會發(fā)心跳信息互相檢測。這種檢測的一個優(yōu)化的方法就是，當(dāng)replication復(fù)制操作時(shí)，就可以順帶檢測，不用發(fā)單獨(dú)的消息來檢測，只有一段時(shí)間沒有replication操作時(shí)，才發(fā)ping消息里檢測。OSD的失效狀態(tài)有兩種：一種是down狀態(tài)，這種狀態(tài)下，被認(rèn)為是臨時(shí)錯誤。在這種情況下，如果是primay，其任務(wù)由下一個replicate接手。如果該OSD沒有迅速恢復(fù)（quicklyrecovery），那么就被標(biāo)記為out狀態(tài)，在這種狀態(tài)下，將有新的osd加入這個PG中。如何標(biāo)記一個OSD從down狀態(tài)標(biāo)記為out狀態(tài)？由于網(wǎng)絡(luò)分區(qū)的問題，需要通過CephMonitor來裁定。8Ceph的核心系統(tǒng)Ceph的寫流程客戶端先寫主副本，然后同步到兩個從副本。主副本等待從副本的ack消息和apply消息。當(dāng)主副本收到ack消息，說明寫操作已經(jīng)寫在內(nèi)存中完成，收到apply消息，說明已經(jīng)apply到磁盤上了。如果在寫的過程中，主副本失效，按順序下一個從副本接管主副本的工作，這個時(shí)候是否返回給客戶端寫正確？在這種情況下，客戶端只是判斷正常工作的（acting）的OSD的返回結(jié)果，只要所有正常工作的OSD返回即認(rèn)為成功，雖然這時(shí)候可能只有兩副本成功。同時(shí)該臨時(shí)primay必須保存所有操作的recovey隊(duì)列里，如果原primay恢復(fù)，可以replay所有recovery隊(duì)列里的操作，如果主副本從down到out狀態(tài)，也即是永久失效，臨時(shí)primay轉(zhuǎn)正，由臨時(shí)primay為正式primay，只是需要加入一個新的OSD到該P(yáng)G中。如果是從副本失效，就比較簡單。臨時(shí)失效，主replay所有寫操作，如過永久失效，新加入一個OSD到PG中就可以了?；謴?fù)當(dāng)有OSD失效，恢復(fù)或者增加一個新的OSD時(shí)，導(dǎo)致OSDclustermap的變換。Ceph處理以上三種情況的策略是一致的。為了恢復(fù)，ceph保存了兩類數(shù)據(jù)，一個是每個OSD的一個version，另一個是PG修改的log，這個log包括PG修改的object的名稱和version。當(dāng)一個OSD接收到clustermap的更新時(shí)：1）檢查該OSD的所屬的PG，對每個PG，通過CRUSH算法，計(jì)算出主副本的三個OSD2）如何該P(yáng)G里的OSD發(fā)生了改變，這時(shí)候，所有的replicate向主副本發(fā)送log，也就是每個對象最后的vers