1、什么是分布式文件系統(tǒng),數(shù)據(jù)/文件分散存儲(chǔ)到不同的物理設(shè)備 文件/數(shù)據(jù)被分塊 文件讀寫(xiě)并行處理 較低的單位成本,本資料由-大學(xué)生創(chuàng)業(yè)|創(chuàng)業(yè)|創(chuàng)業(yè)網(wǎng) 在線代理| 網(wǎng)頁(yè)代理| 代理網(wǎng)頁(yè)| 代理網(wǎng)站| 代理| 減肥藥排行榜| 淘寶最好的減肥藥| 什么減肥藥效果最好| 減肥藥什么好| 那種減肥藥好| 最有效的減肥| 有效果的減肥藥| 什么方法減肥最有效| 減肥產(chǎn)品| ,分布式文件系統(tǒng)的優(yōu)點(diǎn),高可用：存儲(chǔ)服務(wù)器down 掉一些，服務(wù)依然是可用的 讀寫(xiě)性能提高：文件分塊存儲(chǔ)在不同的物理設(shè)備，對(duì)單個(gè)設(shè)備來(lái)說(shuō)，其磁盤(pán)I/O得以降低 容量在線可擴(kuò)充：增加物理設(shè)備（服務(wù)器）就實(shí)現(xiàn)不停原服務(wù)而自動(dòng)擴(kuò)展了容量。相對(duì)于物

2、理的raid,沒(méi)有所謂的木桶效應(yīng),本資料由-大學(xué)生創(chuàng)業(yè)|創(chuàng)業(yè)|創(chuàng)業(yè)網(wǎng) 在線代理| 網(wǎng)頁(yè)代理| 代理網(wǎng)頁(yè)| 代理網(wǎng)站| 代理| 減肥藥排行榜| 淘寶最好的減肥藥| 什么減肥藥效果最好| 減肥藥什么好| 那種減肥藥好| 最有效的減肥| 有效果的減肥藥| 什么方法減肥最有效| 減肥產(chǎn)品| ,傳統(tǒng)共享文件系統(tǒng)的缺陷,無(wú)高可用性：共享文件系統(tǒng)在一個(gè)物理設(shè)備，一旦出現(xiàn)故障，服務(wù)完全不可用 讀寫(xiě)性能隨訪問(wèn)量的增加而降低：訪問(wèn)頻繁，磁盤(pán)I/O增大 不易實(shí)現(xiàn)在線擴(kuò)容：一般情況下需要停機(jī)停服務(wù),傳統(tǒng)共享文件系統(tǒng)的種類(lèi),NFS(network file system) Samba ftp 其他,分布式文件系統(tǒng)的種類(lèi)

3、,Hadoop FastDFS MooseFS PNFS（Parallel NFS ） PVFS，PVFS2 Lustre 其他,為什么選Moosefs,實(shí)施起來(lái)簡(jiǎn)單。MFS的安裝、部署、配置相對(duì)于其他幾種工具來(lái)說(shuō)，要簡(jiǎn)單和容易得多?？纯磍ustre 700多頁(yè)的pdf文檔，讓人頭昏吧 不停服務(wù)擴(kuò)容。MFS框架做好后，隨時(shí)增加服務(wù)器擴(kuò)充容量；擴(kuò)充和減少容量皆不會(huì)影響現(xiàn)有的服務(wù) 恢復(fù)服務(wù)容易。除了MFS本身具備高可用特性外，手動(dòng)恢復(fù)服務(wù)也是非?？旖莸?我在實(shí)驗(yàn)過(guò)程中得到作者的幫助，這讓我很是感激。,Moosefs體系結(jié)構(gòu)圖,MooseFS分布式文件系統(tǒng)的組成,元數(shù)據(jù)服務(wù)器（Master） 數(shù)據(jù)存

4、儲(chǔ)服務(wù)器（chunkservers） 客戶(hù)端（clients）,元數(shù)據(jù)服務(wù)器（master）,分布式文件系統(tǒng)MooseFS的主控端：控制個(gè)數(shù)據(jù)存儲(chǔ)服務(wù)器 目前只有一個(gè)master,存在單點(diǎn)故障 客戶(hù)端的訪問(wèn)接口就是master 支持各種linux/unix,數(shù)據(jù)存儲(chǔ)服務(wù)器（chunkserver）,數(shù)據(jù)實(shí)際存儲(chǔ)的地方 由多個(gè)物理服務(wù)器組成 在數(shù)據(jù)存儲(chǔ)目錄，看不見(jiàn)實(shí)際的數(shù)據(jù)（只有帶編號(hào)的目錄及文件） 建議使用2-3個(gè)副本 支持各種linux/unix,Moosefs客戶(hù)端,掛接分布式文件系統(tǒng) 一般是應(yīng)用服務(wù)器 客戶(hù)端可以是linux,freebsd等各種類(lèi)unix 數(shù)個(gè)客戶(hù)端 Freebsd的f

5、usefs_kmod可能會(huì)有性能問(wèn)題,安裝moosefs,元數(shù)據(jù)服務(wù)器(master)安裝：配置、編譯、安裝。 數(shù)據(jù)存儲(chǔ)服務(wù)器(chunkserver)安裝：與元數(shù)據(jù)服務(wù)器相同 客戶(hù)端安裝：根據(jù)客戶(hù)端的平臺(tái)不同，安裝稍有差異（個(gè)操作系統(tǒng)的fuse不同）,MooseFs客戶(hù)端是linux時(shí)的安裝,安裝FUSE 設(shè)置環(huán)境變量 export KG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH 配置 ./configure enable-mfsmount . 編譯安裝 make;make install,moosefs客戶(hù)端是freebsd

6、時(shí)的安裝,安裝內(nèi)核模塊 fusefs-kmod : SysinstallConfigurePackagesKldfusefs-kmod-0.3.9.p1_2 加載內(nèi)核模塊fusefs-kmod: kldload /usr/local/modules/fuse.ko 安裝pkg-config： 1、cd /usr/ports/devel/pkg-config 2、make install clean,moosefs客戶(hù)端是freebsd時(shí)的安裝（續(xù)）,安裝MFS客戶(hù)端 1、解包 tar zxvf mfs-1.5.12.tar.gz 2、切換目錄 cd mfs-1.5.12 3、創(chuàng)建用戶(hù) pw u

7、seradd mfs s /sbin/nologin 4、配置 ./configure -prefix=/usr/local/mfs -with-default-user=mfs -with-default-group=mfs -enable-mfsmount 5、編譯安裝 make ; make install,配置元數(shù)據(jù)服務(wù)器master,默認(rèn)配置文件mfsmaster.cfg(不需要修改即可使用) # WORKING_USER = mfs # WORKING_GROUP = mfs # LOCK_FILE = /var/run/mfs/mfsmaster.pid # DATA_PATH

8、= /usr/local/mfs/var/mfs # SYSLOG_IDENT = mfsmaster # BACK_LOGS = 50 # REPLICATIONS_DELAY_INIT = 300 # REPLICATIONS_DELAY_DISCONNECT = 3600 # MATOCS_LISTEN_HOST = * # MATOCS_LISTEN_PORT = 9420 # MATOCU_LISTEN_HOST = * # MATOCU_LISTEN_PORT = 9421 # CHUNKS_LOOP_TIME = 300 # CHUNKS_DEL_LIMIT = 100 # CH

9、UNKS_REP_LIMIT = 15,數(shù)據(jù)存儲(chǔ)服務(wù)器chunkserver配置,2個(gè)配置文件：主配置文件mfschunkserver.cfg及共享磁盤(pán)配置文件mfshdd.cfg,數(shù)據(jù)存儲(chǔ)服務(wù)器chunkserver配置(續(xù)),Mfschunkserver.cfg #WORKING_USER = mfs #WORKING_GROUP = mfs # DATA_PATH = /usr/local/mfs/var/mfs # LOCK_FILE = /var/run/mfs/mfschunkserver.pid # SYSLOG_IDENT = mfschunkserver # BACK_LOG

10、S = 50 # MASTER_RECONNECTION_DELAY = 30 MASTER_HOST = 9 MASTER_PORT = 9420 # MASTER_TIMEOUT = 60 # CSSERV_LISTEN_HOST = * # CSSERV_LISTEN_PORT = 9422 # CSSERV_TIMEOUT = 60 # CSTOCS_TIMEOUT = 60 # HDD_CONF_FILENAME = /usr/local/mfs/etc/mfshdd.cfg,數(shù)據(jù)存儲(chǔ)服務(wù)器chunkserver配置(續(xù)),共享磁盤(pán)配置文件mfshdd.cfg

11、/data1 /data2,Moosefs分布式文件系統(tǒng)啟/停,元數(shù)據(jù)服務(wù)器啟動(dòng)：mfsmaster start（mfsmaster -s） 數(shù)據(jù)存儲(chǔ)服務(wù)器啟動(dòng)：mfschunkserver start(mfschunkserver -s) 客戶(hù)端啟動(dòng)：mfsmount掛接moosefs的元數(shù)據(jù)服務(wù)器,掛接和使用moosefs,Mfsmount h ip (客戶(hù)機(jī)操作) 默認(rèn)的掛接點(diǎn)是/mnt/mfs.可以用選項(xiàng)-w 改變掛接點(diǎn) 在客戶(hù)端執(zhí)行l(wèi)s mkdir cp等操作測(cè)試,MooseFS客戶(hù)端常用工具,查看掛接情況,rootmysql-bk # df -h Filesystem Size U

12、sed Avail Capacity Mounted on /dev/ad4s1a 26G 570M 24G 2% / devfs 1.0K 1.0K 0B 100% /dev /dev/ad4s1g 356G 157G 170G 48% /data /dev/ad4s1f 17G 215M 15G 1% /home /dev/ad4s1d 28G 1.1G 25G 4% /usr /dev/ad4s1e 24G 362M 21G 2% /var /dev/fuse0 2.5T 256G 2.2T 11% /mnt/mfs,Moosefs分布是系統(tǒng)狀態(tài)查看,主要查看元數(shù)據(jù)服務(wù)器master系統(tǒng)日志,本資料由-大學(xué)生創(chuàng)業(yè)|創(chuàng)業(yè)|創(chuàng)業(yè)網(wǎng) 在線代理| 網(wǎng)頁(yè)代理| 代理網(wǎng)頁(yè)| 代理網(wǎng)站| 代理| 減肥藥排行榜| 淘寶最好的減肥藥| 什么減肥藥效果最好| 減肥藥什么好| 那種減肥藥好| 最有效的減肥| 有效果的減肥藥| 什么方法減肥最有效| 減肥產(chǎn)品| ,監(jiān)控,服務(wù)監(jiān)控：元數(shù)據(jù)服務(wù)器tcp端口9420，9421；數(shù)據(jù)存儲(chǔ)服務(wù)器tcp端口9422 服務(wù)器主機(jī)資源監(jiān)控：最主要的是磁盤(pán)空間監(jiān)控,本資料由-大學(xué)生創(chuàng)業(yè)|創(chuàng)業(yè)|創(chuàng)業(yè)網(wǎng) 在線代理| 網(wǎng)頁(yè)代理| 代理網(wǎng)頁(yè)| 代理網(wǎng)站| 代理| 減肥藥排行榜| 淘寶最好的減肥藥| 什么減肥藥效