Ceph

源代碼分析

2016年9月

王智民

修改歷史

版本日期修訂人說(shuō)明

1.02016-9-27王智民初稿

目錄

1弓?言1

1.1編寫目的1

1.2背景1

2基本概念1

2.1SDS1

2.2Disk2

2.2.1塊式與流式2

2.2.2磁盤2

2.2.3固態(tài)硬盤4

2.3塊存儲(chǔ)指令與協(xié)議6

2.3.1硬盤物理接口6

2.3.2SCSI指令體系6

2.3.3塊存儲(chǔ)指令通信協(xié)議7

2.4Raid8

2.4.1基本術(shù)語(yǔ)8

2.4.26種Raid模式9

2.4.3Raid卡結(jié)構(gòu)10

2.4.4Raid與LVM10

2.4.5Raid的缺點(diǎn)10

3存儲(chǔ)架構(gòu)11

3.1傳統(tǒng)存儲(chǔ)架構(gòu)11

3.2存儲(chǔ)架構(gòu)發(fā)展歷程13

3.3分布式存儲(chǔ)架構(gòu)16

3.3.1分布式存儲(chǔ)系統(tǒng)通用邏輯結(jié)構(gòu)16

3.3.2分布式存儲(chǔ)系統(tǒng)相關(guān)理論18

3.3.3HDFS分布式文件存儲(chǔ)架構(gòu)23

3.3.4Swift分布式對(duì)象存儲(chǔ)架構(gòu)24

3.3.5Ceph分布式統(tǒng)一存儲(chǔ)架構(gòu)26

3.3.6對(duì)比分析27

4ceph框架分析.28

4.1相關(guān)接口28

4.1.1bufferraw/bufferptr/bufferlist28

4.1.2序列化encode/友序列化decode31

4.2邏輯結(jié)構(gòu)36

4.2.10層分解36

4.2.21層分解39

4.3關(guān)鍵概念44

4.3.1Object對(duì)象45

4.3.2Pool池46

4.3.3PGMap48

4.3.4OSDMap50

4.3.5MonitorMap50

4.3.6CRUSHMap51

4.4主要流程57

4.4.1命令下發(fā)、解析流程57

4.4.2RBD客戶端寫入過(guò)程59

4.4.3PG數(shù)據(jù)恢復(fù)過(guò)程92

4.4.4PG數(shù)據(jù)清理過(guò)程106

4.5CRUSH算法107

4.5.1CRUSHMAP108

4.5.2數(shù)據(jù)映射規(guī)則(ruleset、replicaplacement)109

4.5.3CRUSHMAP改變與數(shù)據(jù)移動(dòng)128

5安裝與編譯129

5.1安裝129

5.2源碼編譯129

6調(diào)試與調(diào)優(yōu)130

7附錄130

7.1C++語(yǔ)言130

8參考資料142

1引言

1.1編寫目的

本文檔是規(guī)劃超融合產(chǎn)品的系列調(diào)研文檔之一。

1.2背景

http://ceph.com/

Cephisadistributedobjectstoreandfilesystemdesignedtoprovideexcellent

performance,reliabi1ityandscalability.

為什么官方上沒(méi)有提ceph也提供塊存儲(chǔ)服務(wù)呢？

下面這句摘抄自《Cephcookbook》:"CephiscurrentlythehottestSoftwareDefined

Storage（SDS）technologythatisshakinguptheentirestorageindustry.Itisan

opensourceprojectthatprovidesunifiedsoftwaredefinedsolutionsforBlock,File,

andObjectstorage.ThecoreideaofCephistoprovideadistributedstoragesystem

thatismassivelyscalableandhighperformingwithnosinglepointoffailure.From

theroots,ithasbeendesignedtobehigh!yscalable（uptotheexabyteleveland

beyond）whilerunningongeneral-purposecommodityhardware.

2基本概念

2.1SDS

SDSiswhatisneededtoreduceTCOforyourstorageinfrastructure.Inadditionto

reducedstoragecost,anSDScanoffercxibility（靈活性），scalability（擴(kuò)展性），

andreliability（可靠性）.

CloudStorage

CloudStorageisastoragesystemthatshouldbefullyintegratedwithcloudsystems

andcanprovidelowerTCOwithoutanycompromisetoreliabilityandseaIabiIity.The

cloudsystemsaresoftwaredefinedandarebuiltontopofcommodityhardware;

similarly,itneedsastoragesystemthatfollowsthesamemethodology,thatis,being

softwaredefinedontopofcommodityhardware,

UnifiedStorage

Astoragpsystpmthatsinpnrt.sblocks,files,andohjeetstoragefremasinglesystem.

2.2Disk

我們最好將Disk翻譯成“硬盤”，當(dāng)前來(lái)說(shuō)主要包括磁盤和固態(tài)硬盤（SSD）,前者主要是以

磁分子的兩個(gè)磁極來(lái)存儲(chǔ)數(shù)據(jù)，后者主要以電荷來(lái)存儲(chǔ)數(shù)據(jù)。

2.2.1塊式與流式

所謂塊式存儲(chǔ)，即數(shù)據(jù)以一塊一塊的方式存儲(chǔ)在介質(zhì)上，數(shù)據(jù)存儲(chǔ)位置的定位是以“塊”為單

位；流式存儲(chǔ)，即數(shù)據(jù)以bit方式連續(xù)的存儲(chǔ)在介質(zhì)上，數(shù)據(jù)存儲(chǔ)位置的定位是以“比特位”

為單位。最根本的區(qū)別還是在數(shù)據(jù)存儲(chǔ)位置的定位方式上，實(shí)際上數(shù)據(jù)在介質(zhì)上還不是以一個(gè)

bit一個(gè)bit的存儲(chǔ)的嗎?!

比如MP3播放器存儲(chǔ)歌曲只能從歌曲的開(kāi)頭播放，而磁音機(jī)則可以從任何位置開(kāi)始播放。

2.2.2磁盤

【磁盤物理結(jié)構(gòu)】

圖3-2磁盤結(jié)構(gòu)圖

【數(shù)據(jù)存儲(chǔ)】

-2-

開(kāi)It.AMMRBM

域電帆巾◎?借沏

?失作付杵

?磁盤一般存在多個(gè)盤片，每個(gè)盤片有兩個(gè)盤面，每個(gè)盤面會(huì)有一個(gè)磁頭，劃分為多個(gè)同

心磁道，每個(gè)磁道劃分為多個(gè)等長(zhǎng)的扇區(qū)

?扇區(qū)是磁盤存儲(chǔ)的最小單元，在扇區(qū)內(nèi)的數(shù)據(jù)存儲(chǔ)是流式的，但是對(duì)于磁盤來(lái)說(shuō)，存儲(chǔ)

是按照以扇區(qū)為最小單元來(lái)存儲(chǔ)的，即所謂的“塊”存儲(chǔ)

?CHS=柱面cylinder+破頭Header+扇區(qū)Sector,扇區(qū)的地址由這三個(gè)唯一確定

?LBA：LogicalBlockAddress,順序編址,這個(gè)其實(shí)是物理編址CHS的邏輯編址,即為

了硬盤控制器能夠識(shí)別的地址，LBA定義了邏輯地址與物理地址的映射關(guān)系

?每個(gè)扇區(qū)即一段弧線，所以一個(gè)扇區(qū)的長(zhǎng)度即弧線的長(zhǎng)度，一個(gè)扇區(qū)的寬度是多少？注

意比較容易誤解的認(rèn)為是兩個(gè)磁道之間的距離，實(shí)際是磁分子的寬度，也即磁頭的大小

?磁極N為1,S極為()，所以每個(gè)磁道上的磁分子非常密集，才能存儲(chǔ)大量數(shù)據(jù)

?磁盤的讀寫是先0號(hào)柱面，0號(hào)磁頭(盤面)，0號(hào)磁道開(kāi)始，當(dāng)0號(hào)磁道寫滿或讀完后，

1號(hào)盤面0號(hào)柱面,0號(hào)磁道進(jìn)行。當(dāng)0號(hào)柱面都寫滿或讀完后，再開(kāi)始從1號(hào)柱面開(kāi)始，

即換磁道

?硬盤的性能主要由磁道切換的速度來(lái)決定的，磁道切換由磁頭來(lái)進(jìn)行，速度比較慢，盤

面切換由電機(jī)來(lái)控制

?硬盤的電路部分實(shí)際是一個(gè)小型系統(tǒng)，有MCI；DSP、數(shù)字電路、BIOS,特別是軟件控制

系統(tǒng)存放在BIOS里面，比如磁盤的低級(jí)格式化等程序等，同時(shí)還可以存儲(chǔ)一些動(dòng)態(tài)的信

息，比如磁頭位置

【磁盤性能】

-3-

磁盤性能指標(biāo).主要有兩個(gè)：讀寫IOPS和讀寫吞吐量。

影響磁盤性能的因素主要有四個(gè)：

?轉(zhuǎn)速，磁盤吞吐量的最大影響因素

?尋道速度，磁盤隨機(jī)IOPS的最大影響因素

?容量

?接口

2.2.3固態(tài)硬盤

SSD：SolidStorageDisk,固態(tài)存儲(chǔ)硬盤，注意這時(shí)候就不能稱之為磁盤了，因?yàn)樗辉偈?/p>

以磁粉子的N和S極來(lái)存儲(chǔ)數(shù)據(jù)，而是以每個(gè)電子是否充電或電勢(shì)來(lái)存儲(chǔ)數(shù)據(jù)。

SSD有兩種,一種是用DRAM芯片來(lái)存儲(chǔ)數(shù)據(jù),又稱之為RAM-disk,當(dāng)外部電源斷開(kāi)后,需要

使用電池來(lái)維持DRAM的數(shù)據(jù)；一種是基于Flash介質(zhì)的SSD。

固態(tài)存儲(chǔ)的優(yōu)勢(shì)；沒(méi)有尋道的開(kāi)銷、任何地址的訪問(wèn)開(kāi)鐺是相等的，所以隨機(jī)10性能很好，

而且?guī)缀鯖](méi)有差別。

RAM：RandomAccess-Memory,送機(jī)訪問(wèn)存儲(chǔ)器，有DRA第、SRA'kSDRAM,DRAV需要靠不斷的刷新來(lái)存儲(chǔ)數(shù)據(jù),

SRAM則不需要刷新,但是比較昂貴,一般用于CPU的cache、CMOS芯片:SDRA'L即SynchronousDRA處靠

時(shí)鐘相同頻率去刷新。

ROM：Read-Only-Memory,只讀存儲(chǔ)器；PROM,ProgrammableROM；EPROM,ErasableProgrammableROM；EEPROM,

ElectricallyErasableProgrammableROM；FLASHROM則屬于真正的單電壓芯片,在使用上很類似EPROM,

但是與PR0V有些不同,PR0M在刪除時(shí)以Byte為最小單元,而FlashRom以Block為最小單元。

但是無(wú)論是哪種ROM，都是以“浮動(dòng)門場(chǎng)效應(yīng)晶體管”來(lái)存儲(chǔ)數(shù)據(jù)的,每個(gè)晶體管叫一個(gè)最小單元811,有

兩種Cell,-^I'SLC(SingleLevelCell),可以保持IB數(shù)據(jù),MLC(MultiLevelCell),可以保持

2B數(shù)據(jù).

【SSD硬盤邏輯結(jié)構(gòu)】

19-74SSD內(nèi)部典型框圖

【數(shù)據(jù)存儲(chǔ)與讀寫】

-4-

BlockArchitecture

MK?ai4)8Xl2SptfB

(IQK?2M)B

CUK?IM)BX￡04tMocks

.MMb

njMMb

圖3-34Cell陣列的有序率布圖圖3-35Flash芯片迎輯圖

Cell串,即上圖3-34縱向的每列,每列同一時(shí)間只能有一個(gè)Cell被充電:在同一水平線上

的cell構(gòu)成了所謂的page。

從邏輯上講，內(nèi)部的組織結(jié)構(gòu)則是page是Flash的最小10單元，一定數(shù)量的page構(gòu)成一個(gè)

block,多個(gè)block構(gòu)成plane,多個(gè)plane構(gòu)成設(shè)備。

Flash讀數(shù)據(jù)過(guò)程：

通過(guò)改變同一page的cell的電勢(shì)，并加碼成1或0,同時(shí)存儲(chǔ)在RAMBuffer中，即完成一

次讀的過(guò)程，所以Flash讀的最小單元是page；

Flash寫數(shù)據(jù)過(guò)程：

先將一個(gè)block里面的所有cell放電，狀態(tài)全部變?yōu)?,然后再寫數(shù)據(jù)，如果本身是1的，

則不作什么操作，如果要寫（），則需要將cell充電。

那么Flash寫為什么要先Erase,再寫呢？為什么一定要擦出一個(gè)block,而不是一個(gè)page

呢？先擦再寫主要是為了解決同一page內(nèi)的不同cell之間的干擾。要擦一個(gè)block主要出于

效率的考慮。

【SSD硬盤的頑疾】

頑疾?：先擦再寫，會(huì)帶來(lái)比較大的開(kāi)銷，形成較大的寫懲罰，所以通常需要較大的緩存；

頑疾二:反復(fù)充放電，二氧化硅絕緣能力會(huì)受到損耗,最終導(dǎo)致沒(méi)有足夠電荷而宣布硬盤失效，

即所謂的wearoff。

為了解決SSD硬盤的頑疾，常用方法如下：

藥方1:盡可能用FrnnSpaen,然后集中回收已經(jīng)被標(biāo)記為garhago的page：

藥方2：通過(guò)外部工具定期清理，比如Wiper；

藥方3：TRIM,即文件在刪除后，由文件系統(tǒng)通知SSD回收；

藥方4：10優(yōu)化，比如DelayWrite,即如果出現(xiàn)連續(xù)的對(duì)同一10地址的write操作，則合

并為一次；

藥方5：預(yù)留一部分空間給SSD控制器自己使用，防止空間被完全寫滿。

-5-

2.3塊存儲(chǔ)指令與協(xié)議

2.3.1硬盤物理接口

硬盤的指令體系主要有ATA和SCSI.

對(duì)應(yīng)ATA指令體系的物理接口有IDE和SATA,IDE是并行ATA接口，SATA是串行ATA接口；

對(duì)應(yīng)SCSI指令體系的物理接口有

?并行SCSI接口

?串行SCSI接口（SAS）

?IBM專用串行SCSI接口（SSA）

?采用SCSI指令體系并承載于FC協(xié)議的串行FC接口（FCP）

2.3.2SCSI指令體系

SCSI接口包括物理接口、指令體系、協(xié)議。

SCSI：SmallComputerSystemInterface,不僅僅是硬盤采用此接口,還有掃描儀、光驅(qū)、

打印機(jī)也大多采用此接口C

采用SCSI接口的硬盤必須要求在主機(jī)側(cè)有一個(gè)SCSI控制器，而這個(gè)SCSI控制器有自己的CPU,

這是與ATA控制器的一個(gè)重要區(qū)別，也正是這個(gè)原因，導(dǎo)致SCSI硬盤比較昂貴，多用于商業(yè)

系統(tǒng)。

-6-

SCSI總線ID

SCSI協(xié)議的物理層即前面介紹的SCSI物理接口。

SCSI協(xié)議的鏈路層負(fù)責(zé)將數(shù)據(jù)幀成功傳送到“線路”的對(duì)端，注意這里僅僅是線路（徒路）

的對(duì)端，如果通信兩端中間經(jīng)過(guò)多跳，則要將數(shù)據(jù)幀成功傳輸?shù)綄?duì)端，則是傳輸層的職責(zé)。

SCSI協(xié)議網(wǎng)絡(luò)層，主要是“編址”與“尋址”。

SCSI總線編址采用SCSIID,SCSI控制器會(huì)占用一個(gè)7號(hào)ID,優(yōu)先級(jí)最高，另外還可以有15

個(gè)ID供SCSI設(shè)備使用。

SCSI尋址采用“控制器-道道-SCSIID-LUNID”，一臺(tái)主機(jī)上可以通過(guò)PCI接口接多個(gè)SCSI

控制器，每個(gè)SCSI控制器可以有多個(gè)通道（多條SCSI總線），每個(gè)通道上可以掛最多15個(gè)

SCSI硬盤（或陣列），對(duì)于磁盤陣列還可以從邏輯上劃分為多個(gè)LUN。

SCSI總線通信采用仲裁機(jī)制。

2.3.3塊存儲(chǔ)指令通信協(xié)議

通信協(xié)議--遍都遵循OSI模型。

FQPtt>議

協(xié)議融合模式獨(dú)立模式MAP橫MAP橫式MAP模式Tunnel模式MAP模式MAP模式

式

Payload層數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)FC信息表示數(shù)據(jù)數(shù)據(jù)

層+數(shù)據(jù)

信息表示層SCSI自定義FC自定義類似FCTCP/IPTCP/IPTCP/IPTCP/IP

交互邏輯層SCSI自定義SCSISCS成SCSITCPFC文件系統(tǒng)

SATA

尋址層SCSI自定義FC自定義類似FCIPIPIP

協(xié)議融合模式一般有三種：利用關(guān)系、MAP關(guān)系、Tunnel關(guān)系。利用關(guān)系是指本身沒(méi)有這個(gè)功

能，利用別的協(xié)議來(lái)使得自己滿足，比如ITCP協(xié)議沒(méi)有IP的尋址功能，所以TCP和IP常常是

一起使用的;MAP關(guān)系即協(xié)議翻譯,除了payload外,其他7層內(nèi)容都從一種協(xié)議翻譯為另外

一種協(xié)議，iFCP就是將FC協(xié)議和以太網(wǎng)+TCP/IP之間做翻譯：Tunnel關(guān)系即隧道封裝，比如

FCIP就是將FC的數(shù)據(jù)包完整的封裝在以太網(wǎng)數(shù)據(jù)包之中。

網(wǎng)絡(luò)通信協(xié)議一般有四個(gè)層次，一個(gè)尋址層，一個(gè)交互邏輯層，也就是說(shuō)接收到對(duì)方的信息后

-7-

如何處理；一個(gè)是信息表示層，有點(diǎn)像信封即信封上的地址信息；一個(gè)是payload。

2.4Raid

Raid是為了防止硬盤損壞時(shí)恢復(fù)數(shù)據(jù)的一種技術(shù)。

2.4.1基本術(shù)語(yǔ)

?Disk、Strip。、SegmentsBlock、Sector；

?Slripe從上向下，從0開(kāi)始編號(hào)；

?Segment從左向右從。開(kāi)始編號(hào)：

?Block在同一個(gè)Stripe里面是從上向下，從左向右;

?Block是針對(duì)Raid全局編號(hào)。

-8-

2.4.26種Raid模式

Raid模式運(yùn)行原理優(yōu)點(diǎn)缺點(diǎn)

Raid0?一組邏輯上連續(xù)、物理上也連續(xù)的硬擴(kuò)大存儲(chǔ)空間，突如果其中一張硬盤壞

盤組成虛擬磁盤破單張硬盤的容量了，則整個(gè)陣列都崩

?運(yùn)行模式：條帶化和非條帶化.非條潰了，數(shù)據(jù)丟失

帶化即一塊硬盤寫滿后，接著寫第二

塊、第三塊

?對(duì)于條帶化模式，如果隨機(jī)小塊I。多

的適合，增加條帶深度可以提升性能；

如果連續(xù)大塊10多的時(shí)候，減小條帶

深度可以提升性能

Raid1相對(duì)于Raid0沒(méi)有數(shù)據(jù)保護(hù)，Raid1則針數(shù)據(jù)有備份保障寫10的性能要比

對(duì)每個(gè)block有一份備份數(shù)據(jù)存放在另外Raid0還要低，而且

一塊硬盤上，即數(shù)據(jù)有兩份由陣列中性能最小的

那塊決定整個(gè)陣列的

性能

Raid2?相對(duì)于Raid1,沒(méi)有數(shù)據(jù)校驗(yàn)，如果有容錯(cuò)機(jī)制多了校驗(yàn)盤，同時(shí)需

數(shù)據(jù)寫或讀出現(xiàn)某bi嘴誤，則無(wú)法恢要校驗(yàn)計(jì)算，芍來(lái)較

復(fù)大開(kāi)銷，性能提升存

?Raid2則采用校驗(yàn)算法，由數(shù)據(jù)盤和在瓶頸

校驗(yàn)盤組成陣列，如果某個(gè)數(shù)據(jù)盤上已經(jīng)被淘汰

的數(shù)據(jù)錯(cuò)誤，則可以通過(guò)校驗(yàn)算法恢

復(fù)數(shù)據(jù)

?數(shù)據(jù)以lbit為單位分散在各個(gè)數(shù)據(jù)盤

Raid橫式運(yùn)行原理優(yōu)點(diǎn)缺點(diǎn)

Raid3?將檢驗(yàn)盤減少到1塊，通過(guò)XOR算法可校驗(yàn)盤減少數(shù)據(jù)無(wú)糾錯(cuò)能力

以將丟失的數(shù)據(jù)恢復(fù)每次10都必須要求

?條帶深度設(shè)置為4k,提高并行寫入所有磁盤參與，所以

無(wú);耕發(fā)10

Raid4為了克服Raid3無(wú)法并發(fā)10的缺點(diǎn)，增在10寫的時(shí)候，相

加條帶深度對(duì)于Raid3仍然沒(méi)有

明顯提升

Raid5Raid4之所以并發(fā)10并沒(méi)有明顯提升，并發(fā)寫10性能連續(xù)讀I。性能沒(méi)有

是因?yàn)樾ｒ?yàn)盤在每次10都需要參與，所要比Raid4好很Raid4

以校驗(yàn)盤成為瓶頸多

將校驗(yàn)盤分割，和數(shù)據(jù)盤組合，不再有

單獨(dú)的校驗(yàn)盤

Raid5ERaid5壞一塊硬盤不影響，但是如果再

壞一塊硬盤，則整個(gè)陣列崩潰

增加一塊熱備盤，但某塊盤壞了后馬上

頂替上

Raid5EERaid5E浪費(fèi)了一塊熱備盤，將熱備盤分

割到數(shù)據(jù)盤里面去，則為Raid5EE

Raid6如果同時(shí)壞了2塊數(shù)據(jù)盤，則上面的模式寫性能更差了

都無(wú)能為力

2塊校驗(yàn)盤，存放兩個(gè)數(shù)據(jù)的校驗(yàn)

-9-

2.4.3Raid卡結(jié)構(gòu)

圖5-30RAID卡結(jié)構(gòu)不怠圖

2.4.4Raid與LVM

Raid和LVM都是通過(guò)軟件(Raid卡實(shí)質(zhì)也是軟件)將多張“磁盤”虛擬成一個(gè)邏輯磁盤，Raid

虛擬出來(lái)的邏輯磁盤通常稱之為L(zhǎng)UN,LVM虛擬出來(lái)的邏輯磁盤通常叫LV(LogicVolume)o

SCSI協(xié)議定義出三級(jí)單元：targetID-?SCSIIDfLUNID。

?LUN是Raid卡虛擬的邏輯磁盤,PV是邏輯卷管理軟件將LUN換了一個(gè)叫法PV(Physical

Volume)

?VG,VolumeGroup卷組，由多個(gè)PV組成

?PP,PhysicalPartition,物理區(qū)塊，每個(gè)PP由連續(xù)的多個(gè)扇區(qū)組成，VG被分成多

個(gè)pp

?LP,LogicalPartition,邏輯區(qū)塊，由多個(gè)PP組成，這多個(gè)PP之間可以按照類似

Raid0,1等模式來(lái)構(gòu)成LP

?LV,LogicalVolume,邏輯卷，這是卷管理軟件能夠以別的最小單元

2.4.5Raid的缺點(diǎn)

?RAIDrebuiIdsarepainful

?RAIDspare(備份)disksincreasesTCO

-10-

RAIDrequiresasetofidenticaldiskdriversinasingleRAIDgroup

RAID-basedsystemsoftenrequireexpensivehardwarecomponents,suchasRAID

controllers,whichsignificantlyincreasesthesystemcost

Afterapoint,youcannotgrowyourRAID-basedsystem

RAIDcannotensuredatareliabilityafteratwo-diskfailure.Thisisoneofthe

biggestdrawbackswithRAIDsystems

3存儲(chǔ)架構(gòu)

3.1傳統(tǒng)存儲(chǔ)架構(gòu)

從io路徑的角度看傳統(tǒng)存儲(chǔ)架構(gòu):

NAS

APP

存儲(chǔ)陣列

以太網(wǎng)接口

本地Disk

總線控制器

傳統(tǒng)存儲(chǔ)體系結(jié)構(gòu)大致有DAS、NAS、SA5I三種。

[DAS]

業(yè)

務(wù)

違

4U

-II-

追

強(qiáng)

佟

■

,

食

確

理

物

應(yīng)、

T

-

，

盤

磁

理

物

用、

僖

?

存

內(nèi)

僖

遢

存

葉內(nèi)

！

盤

磁

理

物

I

芹‘

盤1

端

理

物

、