使?ProxmoxVE搭建基于Ceph的?可?集作者：韌體就是聯(lián)系?式：hostloc@韌體就是我?.綜對(duì)于中?企業(yè)來(lái)說(shuō)，把基礎(chǔ)業(yè)務(wù)部署在虛擬化平臺(tái)上?疑是最好的選擇。當(dāng)前?便部署且完整度?較?的私有云虛擬化管理平臺(tái)有以下?種，?體可分為商業(yè)版的和開(kāi)源的。商業(yè)版的有：VMe公司的vCeer、Oce公司的OaceVMServer、Ctrx公司的enServer、紅帽公司的RHEV、公司的 e、云軸司的ack等。開(kāi)源的則基本都是基于VM虛擬技的有Oeack、PrxxVE、Vrt、Clock、OpenNebula、Eucalyptus等商業(yè)版的暫且不做考慮，費(fèi)?太?根本不是中?企業(yè)可以承受的。開(kāi)源的其中OpenStack功能最為強(qiáng)?，但是部署和?常太過(guò)復(fù)雜。OpenNebula、Eucalyptus技術(shù)已顯?舊社區(qū)也不活躍對(duì)于?后多有不便。oVirt和CloudStack則分別對(duì)標(biāo)vCenter和OpenStack但對(duì)于中?企業(yè)特別是計(jì)算節(jié)點(diǎn)在50以?xún)?nèi)的?企業(yè)來(lái)說(shuō)部署和?常使?仍顯繁瑣。綜合看來(lái)ProxmoxVE?疑是最好的選擇。ProxmoxVE是奧地利?家名為ProxmoxServerSolutions的公司于2008年發(fā)布的?款完全開(kāi)源的企業(yè)級(jí)虛擬化管理平臺(tái)，可以通過(guò)Web界??常?便的管理QEMU/KVM虛擬機(jī)和LXC容器。ProxmoxVE創(chuàng)新的采?了去中?化設(shè)計(jì)，不再需要獨(dú)?的管理節(jié)點(diǎn)。搭配上類(lèi)似Ceph這樣的分布式系統(tǒng)，可以實(shí)現(xiàn)最佳的?性能、?可?性、本?通過(guò)搭建?個(gè)簡(jiǎn)單的三機(jī)集群來(lái)演?和說(shuō)明ProxmoxVE集群的配置與使??.實(shí)驗(yàn)環(huán)基本想法是，3個(gè)物理節(jié)點(diǎn)的集群pve1(IP:1FQDN:xmox.sitepve2(IP:2FQDN:xmox.site)、pve3(IP:3FQDN:xmox.site)，組成HA，具體如下：?需要?jiǎng)?chuàng)建內(nèi)部集群管理?絡(luò)、業(yè)務(wù)?絡(luò)、Ceph?絡(luò)，3個(gè)?絡(luò)，在本?檔的實(shí)驗(yàn)環(huán)境中每臺(tái)機(jī)器的三塊?卡分別對(duì)應(yīng)/24為業(yè)務(wù)?絡(luò)，/24為內(nèi)部集群?絡(luò)，/24為Ceph?絡(luò)，具體詳?除了系統(tǒng)盤(pán)之外，每臺(tái)物理機(jī)使?2塊硬盤(pán)貢獻(xiàn)出來(lái)作為Ceph池使?，并建?CephFS作為鏡像和備份?錄使?，這樣可以?較靈活，需要實(shí)現(xiàn)HA功能的虛擬機(jī)可以放在Ceph池。其他硬可根據(jù)實(shí)際需要調(diào)整，但需要注意的是CPU必須?持虛擬化技術(shù)并需要在主板BIOS中開(kāi)啟虛擬化?持。如需實(shí)PCI須?持VT-d要加速?絡(luò)虛擬還需?持VT-c三.系統(tǒng)安 /en/downloadsProxmoxVE5.3ISOInstaller，使?rufus把來(lái)的iso?件寫(xiě)?U盤(pán)進(jìn)?安裝。安裝過(guò)程?較簡(jiǎn)單這?不再贅述，唯?需要注意的?點(diǎn)是Hostname必須設(shè)置為完整的FQDN格式。因?yàn)镻roxmoxVE相關(guān)業(yè)務(wù)需要依賴(lài)正確的解析，但是我們的實(shí)驗(yàn)環(huán)境中并沒(méi)有配置解析服務(wù)器，所以安裝結(jié)束后需?先通過(guò)SSH登錄三臺(tái)服務(wù)器分別配置。root@pve1:~root@pve1:~#cat>>/etc/hosts<<EOF2xmox.sitepve3root@pve2:~#cat>>/etc/hosts<<EOF1xmox.sitepve3root@pve3:~#cat>>/etc/hosts<<EOF1xmox.sitepve2下。設(shè)置社區(qū)rmrm-f/etc/apt/sources.list.d/pve-echo /debian/pvestretchpve-no->/etc/apt/sources.list.d/pve-install- /debian/proxmox-ve-release-5.x.gpg-aptupdate&&aptdist-upgrade設(shè)置時(shí)鐘同apt-getapt-getinstallntpdatentpdateecho"0****/usr/sbin/ntpdate1>/dev/null2>&1">>配置集群和Ceph?絡(luò)通過(guò)瀏覽器分別登錄三臺(tái)ProxmoxVE設(shè)置額外的兩個(gè)?橋，分別綁定其余兩張?卡，IP設(shè)置為/24??此系統(tǒng)安裝已算完成，接下來(lái)我們配置集群和Ceph四.集群配?先在pve1(1)上?創(chuàng)建集群，集群取名為OpenVMroot@pve1:~#root@pve1:~#pvecmcreatetest--ring0_addr--bindnet0_addr接下來(lái)，通過(guò)ssh登陸其他兩個(gè)pve節(jié)點(diǎn)，執(zhí)?pvecmadd加?集群root@pve2:~root@pve2:~#pvecmadd-ring0_addr-ring1_addrroot@pve3:~#root@pve3:~#pvecmadd-ring0_addr-ring1_addr我們可以在任意?個(gè)節(jié)點(diǎn)上root@pve1:~root@pve1:~#pvecm?此集群搭建完成，下?我們接著配置Ceph五.Ceph集群的安裝ProxmoxVE?持兩種磁盤(pán)，?種是服務(wù)器本地?帶磁盤(pán)，另?種是外部設(shè)備的磁盤(pán)。對(duì)于服務(wù)器本地磁盤(pán)，可以配置成本地?錄、ZFS、BRD、LVM?種形式。對(duì)于外部設(shè)備的磁盤(pán)，可以通過(guò)NFS，ISCSI或者FC協(xié)議掛載到ProxmoxVE上使?。其中NFS掛載上后，可以直接作為?件使?，通過(guò)ISCSI或者FC協(xié)議掛載后，ProxmoxVE會(huì)識(shí)別為磁盤(pán)設(shè)備，還需要進(jìn)?步配置后才可以使?。例如可以配置成LVM，作為卷使?，也可以配置成本地?錄，作為?件使?，但強(qiáng)烈建議不要配置為ZFS使?，因?yàn)閆SF的特點(diǎn)是要求能直接管理物理磁盤(pán)設(shè)備，如果中間有RAID卡等，會(huì)嚴(yán)重影響ZFS的正常運(yùn)?。當(dāng)然，??也可以配置外部的GlusterFS、Ceph等基于服務(wù)器的分布式前?多次提到了?件和卷兩個(gè)概念，?有什么區(qū)別呢？主要是ProxmoxVE對(duì)于使?是有多種需求的，例如對(duì)于虛擬磁盤(pán)，就有raw，qcow2，vmdk三種，另外還有iso鏡像?件、gz容器模版?件、虛擬機(jī)備份?件的保存需求，這些都需要?件才可以實(shí)現(xiàn)。當(dāng)然，??也可以直接??lvm邏輯卷或zvol邏輯卷或rbd卷的?式保存虛擬機(jī)的磁盤(pán)，相當(dāng)于raw格式的效果，這就可以使?卷來(lái)實(shí)現(xiàn)。安裝?先在每個(gè)節(jié)點(diǎn)上安裝ceph，詳? /pve-docs/chapter-pveceph.htmlroot@pve1:~#pvecephroot@pve1:~#pvecephinstall--versionluminousroot@pve2:~#pvecephinstall--versionluminousroot@pve3:~#pvecephinstall--versionluminous配置Ceph集 ?在任意節(jié)點(diǎn)配置Ceph集 root@pve1:~root@pve1:~#pvecephinit--network創(chuàng)建Ceph集 執(zhí)?這?步時(shí)會(huì)順帶安裝CephWebroot@pve1:~#root@pve1:~#pveceph現(xiàn)在可以登錄任Web理界?繼續(xù)Ceph。在管理界?的任意節(jié)點(diǎn)的Ceph到“監(jiān)視器”項(xiàng)，繼續(xù)創(chuàng)建其余兩個(gè)節(jié)點(diǎn)的Mon器。創(chuàng)建Ceph?先在節(jié)點(diǎn)pve1上創(chuàng)建兩個(gè)OSD接著是節(jié)點(diǎn)pve2pve3創(chuàng)建?先創(chuàng)建三個(gè)節(jié)點(diǎn)的MDS接著創(chuàng)建CephFS ”界?已經(jīng)出現(xiàn)了?個(gè)掛載好的cephfs類(lèi)別是CephFS內(nèi)容是VZ備份、ISO映像、容器模板。我們可以把需要?到的ISO?件上傳進(jìn)去，并且容器模板。創(chuàng)建集 資源在Ceph下的Pools界?分別創(chuàng)建資源池ceph-vm和ceph-lxc?來(lái)虛擬機(jī)資源和容器資源ID和密鑰到指定?件位置在任意節(jié)點(diǎn)執(zhí)?root@pve1:~root@pve1:~#cp/etc/ceph/ceph. .admin.keyring/etc/pve/priv/ceph.keyringroot@pve1:~#cp/etc/pve/priv/ceph. .admin.keyring/etc/pve/priv/ceph/ceph1.keyring添加RBD在“數(shù)據(jù)中?”的 ”?添加RBD六.簡(jiǎn)單測(cè)經(jīng)過(guò)上?五步我們的集群就配置好了。我們來(lái)做個(gè)簡(jiǎn)單的測(cè)試來(lái)測(cè)試?下集群內(nèi)虛擬機(jī)的熱遷移，?于HA以后有時(shí)間再配置。上傳 在Web管理?任選?個(gè)節(jié)點(diǎn)下的cephfs，在內(nèi)容?上傳?個(gè)iso格式的安裝鏡像上傳結(jié)束后會(huì)發(fā)現(xiàn)此鏡像?件會(huì)被分別到其他兩個(gè)節(jié)點(diǎn)的cephfs內(nèi)創(chuàng)建?個(gè)虛擬機(jī)并實(shí)施熱在“使?CD/DVD光盤(pán)