15/NUMPAGES15云平臺(tái)企業(yè)級(jí)部署方案(案例三：10臺(tái)服務(wù)器+本地存儲(chǔ))StarVCenterTeam2021年4月

目錄1 概述 1-31.1 目標(biāo) 1-31.2 方案優(yōu)缺點(diǎn) 1-31.3 名詞解釋 1-32 硬件設(shè)備清單 2-43 部署結(jié)構(gòu)規(guī)劃 3-43.1 標(biāo)配方案 3-43.2 增量選配方案 3-44 IP及主機(jī)名規(guī)劃 4-55 安裝部署 5-75.1 上架與布線(xiàn) 5-75.2 安裝StarVE操作系統(tǒng) 5-75.2.1 Bios設(shè)置 5-75.2.2 選擇安裝類(lèi)型 5-75.2.3 選擇磁盤(pán) 5-85.2.4 配置主機(jī)名、IP 5-86 添加節(jié)點(diǎn)到計(jì)算集群 6-106.1 添加節(jié)點(diǎn) 6-106.2 配置網(wǎng)卡用途 6-116.3 部署新增節(jié)點(diǎn) 6-126.4 加入計(jì)算集群 6-127 資源池初始化 7-137.1 添加存儲(chǔ) 7-137.2 初始化網(wǎng)絡(luò)與IP 7-137.2.1 添加端口組（子網(wǎng)） 7-137.2.2 添加IP地址池 7-148 創(chuàng)建虛擬機(jī) 8-15概述目標(biāo)很多想要搭建云平臺(tái)的小企業(yè)，沒(méi)有云平臺(tái)的建設(shè)經(jīng)驗(yàn)，不知道搭建云平臺(tái)需要哪些軟硬件資源，怎么規(guī)劃，具體怎么落地。本文將結(jié)合小企業(yè)的資源現(xiàn)狀，介紹一種最現(xiàn)實(shí)、最容易落地的云平臺(tái)搭建方案。小企業(yè)沒(méi)有存儲(chǔ)，沒(méi)有高配服務(wù)器，沒(méi)有高速網(wǎng)絡(luò)設(shè)備等硬件，怎么辦呢？本案例將以10臺(tái)物理服務(wù)器，采用本地硬盤(pán)做存儲(chǔ)，最簡(jiǎn)的單網(wǎng)絡(luò)結(jié)構(gòu)來(lái)構(gòu)建云平臺(tái)，在其滿(mǎn)負(fù)載時(shí)能運(yùn)行150臺(tái)虛擬機(jī)（4核、10GB內(nèi)存、150GB磁盤(pán)）這樣的規(guī)模展開(kāi)介紹。本文將選用StarVCenter軟件為例，來(lái)介紹私有云的具體部署實(shí)施過(guò)程。20臺(tái)服務(wù)器節(jié)點(diǎn)及以下，StarVcenter無(wú)需license授權(quán)，因此我們這樣的規(guī)?？梢苑判氖褂?。方案優(yōu)缺點(diǎn)優(yōu)點(diǎn)：硬件成本最低，最易實(shí)現(xiàn)，最易運(yùn)維管理。缺點(diǎn)：虛擬機(jī)存放在物理機(jī)本地磁盤(pán)，物理機(jī)故障將導(dǎo)致該機(jī)器上的所有虛擬機(jī)停運(yùn)。名詞解釋資源池：一套StarVCenter軟件管控下的所有軟硬件資源的集合。計(jì)算集群：一組配置相近、型號(hào)相同、物理位置相鄰的物理服務(wù)器的集合，一個(gè)資源池下可用劃分成多個(gè)計(jì)算集群。管理網(wǎng)：用于控制節(jié)點(diǎn)與計(jì)算節(jié)點(diǎn)之間的管理指令和消息傳輸。（例如：控制服務(wù)集群虛擬IP、數(shù)據(jù)庫(kù)雙主虛擬IP都應(yīng)該配置在管理網(wǎng)）。所有節(jié)點(diǎn)必須通過(guò)管理網(wǎng)互通。業(yè)務(wù)網(wǎng)：用于承載虛擬機(jī)之間及虛擬機(jī)與外界通信的網(wǎng)絡(luò)。存儲(chǔ)網(wǎng)：存儲(chǔ)網(wǎng)根據(jù)后端存儲(chǔ)類(lèi)型不同，可分為集中式存儲(chǔ)網(wǎng)絡(luò)和分布式存儲(chǔ)網(wǎng)絡(luò)。集中式存儲(chǔ)網(wǎng)絡(luò)主要基于傳統(tǒng)FC-SAN，需要在服務(wù)器中配備HBA卡，用于服務(wù)器與后端存儲(chǔ)陣列之間通信。分布式存儲(chǔ)網(wǎng)絡(luò)主要基于Ceph分布式存儲(chǔ)，建議服務(wù)器配備萬(wàn)兆網(wǎng)卡，以提供穩(wěn)定高效的性能。StarVE：StarVCenter定制虛擬化專(zhuān)用操作系統(tǒng)，StarVCenter所有軟件包，都集成在StarVE中。管控節(jié)點(diǎn)：整個(gè)資源池的控制中心，用于控制調(diào)度整個(gè)資源池的資源。計(jì)算節(jié)點(diǎn)：負(fù)責(zé)運(yùn)行虛擬機(jī)機(jī)的物理服務(wù)器，管控節(jié)點(diǎn)同時(shí)會(huì)用作計(jì)算節(jié)點(diǎn)。主存儲(chǔ)：用于存放虛擬機(jī)磁盤(pán)鏡像，同一集群的計(jì)算節(jié)點(diǎn)都將掛載共享存儲(chǔ)。輔助存儲(chǔ)：用于存放操作系統(tǒng)ISO、驅(qū)動(dòng)工具包等，供整個(gè)資源池共享。硬件設(shè)備清單序號(hào)類(lèi)型規(guī)格數(shù)量備注1服務(wù)器（以老舊為主）2CPU(10核,2.1Ghz，支持VT、超線(xiàn)程)；128GB內(nèi)存（8*16GDDR3）；1*600GBSAS硬盤(pán)；1*2.4TBSAS硬盤(pán)(10k轉(zhuǎn))；1塊千兆網(wǎng)卡101塊600GB的SAS硬盤(pán)用作系統(tǒng)盤(pán)，安裝StarVE系統(tǒng)。1塊2.4TBSAS硬盤(pán)做本地存儲(chǔ)。2千兆以太網(wǎng)交換機(jī)24口全千兆口1管理網(wǎng)、業(yè)務(wù)網(wǎng)都走同一網(wǎng)部署結(jié)構(gòu)規(guī)劃標(biāo)配方案本案例以最簡(jiǎn)單、最容易落地、最易維護(hù)為目的進(jìn)行搭建，如果有額外需求見(jiàn)下一節(jié)“增量選配方案”。按照上圖規(guī)劃，10臺(tái)服務(wù)器全部用作計(jì)算節(jié)點(diǎn)跑虛擬機(jī)。其中第1臺(tái)服務(wù)器同時(shí)又用作管控節(jié)點(diǎn)，管控相關(guān)服務(wù)都部署在第1臺(tái)節(jié)點(diǎn)上。增量選配方案如你有以下額外需求，可在標(biāo)配方案基礎(chǔ)上，增選配置來(lái)實(shí)現(xiàn)：增強(qiáng)網(wǎng)絡(luò)可靠性需求：對(duì)網(wǎng)絡(luò)可靠性要求較高，任意鏈路故障不影響業(yè)務(wù)運(yùn)行。增配方法：再增加一臺(tái)相同規(guī)格的交換機(jī)，服務(wù)器的網(wǎng)卡（>=2個(gè)網(wǎng)口），按以下方式接線(xiàn)：說(shuō)明：后續(xù)安裝過(guò)程中，在“選擇網(wǎng)卡用途”界面，需要先將兩個(gè)網(wǎng)口綁定（選擇主備即可），之后再勾選用途。增強(qiáng)網(wǎng)絡(luò)安全性需求：對(duì)網(wǎng)絡(luò)安全性要求較高，從虛擬機(jī)不能直接訪(fǎng)問(wèn)物理機(jī)。增配方法：將管理網(wǎng)與業(yè)務(wù)網(wǎng)分離，服務(wù)器的網(wǎng)卡（>=2個(gè)網(wǎng)口），按以下方式接線(xiàn)：說(shuō)明：后續(xù)安裝過(guò)程中，在“選擇網(wǎng)卡用途”界面，需要選擇每臺(tái)服務(wù)器的第1個(gè)網(wǎng)口作為“管理網(wǎng)”，選擇第二個(gè)網(wǎng)口作為“業(yè)務(wù)網(wǎng)”。IP及主機(jī)名規(guī)劃標(biāo)配方案10臺(tái)服務(wù)器的主機(jī)名與IP規(guī)劃如下表：序號(hào)主機(jī)名IP地址(192.168.50.0/24，網(wǎng)關(guān)：192.168.50.254)說(shuō)明：此處IP地址段選用企業(yè)平常使用的局域網(wǎng)網(wǎng)段即可，確保能與企業(yè)原有網(wǎng)絡(luò)環(huán)境相通。1starve001192.168.50.12starve002192.168.50.23starve003192.168.50.34starve004192.168.50.45starve005192.168.50.56starve006192.168.50.67starve007192.168.50.78starve008192.168.50.89starve009192.168.50.910starve010192.168.50.10選配網(wǎng)絡(luò)安全增強(qiáng)方案說(shuō)明：如果選擇了“部署結(jié)構(gòu)規(guī)劃”中的增量選配方案“增強(qiáng)網(wǎng)絡(luò)安全性”，則按以下方式規(guī)劃主機(jī)名與IP地址。10臺(tái)服務(wù)器的主機(jī)名配置為starve001、starve002…starve010。用途CIDR網(wǎng)關(guān)備注管理網(wǎng)172.18.1.0/24172.18.1.254說(shuō)明：此處IP地址段確保不能與企業(yè)現(xiàn)有網(wǎng)絡(luò)環(huán)境直通，可安裝一臺(tái)windows作為跳板機(jī)，企業(yè)現(xiàn)有環(huán)境通過(guò)跳板機(jī)訪(fǎng)問(wèn)云平臺(tái)管理界面。安裝系統(tǒng)時(shí)直接配置在服務(wù)器的第１個(gè)網(wǎng)口上。從starve001到starve010，對(duì)應(yīng)IP地址依次為172.18.1.1到172.18.1.10。業(yè)務(wù)網(wǎng)192.168.50.0/24192.168.50.254說(shuō)明：此處IP地址段選用企業(yè)日常使用的局域網(wǎng)網(wǎng)段即可，確保能與企業(yè)原有網(wǎng)絡(luò)環(huán)境相通。業(yè)務(wù)網(wǎng)IP無(wú)須在物理網(wǎng)卡上配置。StarVCenter安裝完成后，從管理界面錄入的IP地址池即可。192.168.51.0/24192.168.51.254192.168.52.0/24192.168.52.254……安裝部署上架與布線(xiàn)按照“部署結(jié)構(gòu)規(guī)劃”中的圖示，將服務(wù)器、交換機(jī)上架后，進(jìn)行布線(xiàn)連接。安裝StarVE操作系統(tǒng)從StarVCenter官網(wǎng)下載云平臺(tái)軟件安裝包，starve4-x86_64-StarVCenter-mini-4.2.8.iso，然刻錄安裝光盤(pán)或U盤(pán)。按以下步驟依次安裝10臺(tái)服務(wù)器：將光盤(pán)或U盤(pán)插入服務(wù)器，進(jìn)入BIOS設(shè)置。Bios設(shè)置在bios中開(kāi)啟虛擬化(VT)支持。設(shè)置為從光驅(qū)/U盤(pán)啟動(dòng)。在第一個(gè)畫(huà)面選擇“InstallStarVE4”，稍后進(jìn)入系統(tǒng)安裝圖形界面，如下圖：選擇安裝類(lèi)型點(diǎn)擊【SOFTWARESELECTION】進(jìn)入軟件選擇界面：注意：根據(jù)規(guī)劃，第１臺(tái)服務(wù)器用于（管控＋計(jì)算）節(jié)點(diǎn)，第２～第10臺(tái)服務(wù)器用于純計(jì)算節(jié)點(diǎn)。因此，此處選擇有差別。在安裝第１臺(tái)服務(wù)器時(shí)，須選擇【Allinone】，然后點(diǎn)擊【Done】，如下圖： 在安裝第２臺(tái)～第10臺(tái)服務(wù)器時(shí)，須選擇選擇【BasicInstall】，然后點(diǎn)擊【Done】，如下圖：選擇磁盤(pán)點(diǎn)擊【INSTALLATIONDESTINATION】選項(xiàng)，按照規(guī)劃，此處選擇第一塊磁盤(pán)做系統(tǒng)磁盤(pán)，點(diǎn)擊【Done】，然后選擇【AcceptChanges】。如下圖：注意：如果你選擇“Iwillconfigurepartitioning”進(jìn)行自定義分區(qū)，請(qǐng)勿修改任何默認(rèn)的類(lèi)型選項(xiàng)，先通過(guò)“自動(dòng)創(chuàng)建分區(qū)”方式創(chuàng)建，然后再調(diào)整分區(qū)容量。配置主機(jī)名、IP10臺(tái)服務(wù)器的主機(jī)名配置為starve001、starve002…starve010。IP地址將配置在服務(wù)器第一個(gè)網(wǎng)口（此處我們選擇第一個(gè)網(wǎng)絡(luò)設(shè)備即可）上，從starve001到starve010依次為192.168.50.1到192.168.50.10。說(shuō)明：如果選擇了“部署結(jié)構(gòu)規(guī)劃”中的增量選配方案“增強(qiáng)網(wǎng)絡(luò)安全性”，則按其規(guī)劃，從starve001到starve010依次為172.18.1.1到192.168.1.10。1．配置主機(jī)名點(diǎn)擊【NETWORK&HOSTNAME】，打開(kāi)配置界面，在“Hostname”欄輸入主機(jī)名。2.配置IP地址點(diǎn)擊【Configure】按鈕，選擇【IPv4Settings】，將“Method”設(shè)置為【Manual】。點(diǎn)擊【add】，輸入IP、掩碼、網(wǎng)關(guān)，點(diǎn)擊【Save】，如下圖：點(diǎn)擊【OFF】按鈕使其為【ON】狀態(tài)啟用網(wǎng)卡，然后點(diǎn)擊【Done】，如下圖：點(diǎn)擊【BeginInstallation】按鈕開(kāi)始部署。點(diǎn)擊【ROOTPASSWORD】設(shè)置root賬戶(hù)密碼。約需要10分鐘完成安裝，安裝完成后，點(diǎn)擊【reboot】重啟系統(tǒng)。按照上述方法完成所有服務(wù)器的操作系統(tǒng)安裝，并確保所有服務(wù)器之間IP互通。添加節(jié)點(diǎn)到計(jì)算集群通過(guò)瀏覽器(推薦GoogleChrome)打開(kāi)管理界面，訪(fǎng)問(wèn)地址為第1臺(tái)服務(wù)器的IP（這里是192.168.50.1）如下圖：采用默認(rèn)業(yè)務(wù)操作員賬號(hào)登錄：user/user。添加節(jié)點(diǎn)說(shuō)明：我們打開(kāi)StarVCenter管理界面后，需要將第2～第10臺(tái)服務(wù)器節(jié)點(diǎn)添加進(jìn)來(lái)。進(jìn)入“資源管理”>“添加部署主機(jī)”菜單作為模板，然后點(diǎn)擊“添加”按鈕，然后在起始ip和結(jié)束IP中分別輸入192.168.50.2和192.168.50.10，點(diǎn)擊“確定”按鈕開(kāi)始添加，如下圖：配置網(wǎng)卡用途所有節(jié)點(diǎn)都添加成功后，點(diǎn)擊“配置網(wǎng)卡用途”，打開(kāi)“配置網(wǎng)卡用途”頁(yè)面，先勾選第1臺(tái)節(jié)點(diǎn)，然后勾選表頭“選擇”，此時(shí)將以第1臺(tái)節(jié)點(diǎn)為基準(zhǔn)，批量配置所有節(jié)點(diǎn)，如下圖:點(diǎn)擊“配置”按鈕，打開(kāi)“選擇綁定模式與用途”頁(yè)面，如下圖：在標(biāo)配方案中，保持默認(rèn)選擇即可。說(shuō)明：如果選擇了“部署結(jié)構(gòu)規(guī)劃”中的增量選配方案“增強(qiáng)網(wǎng)絡(luò)可靠性”，則此需要先綁定兩個(gè)網(wǎng)卡（網(wǎng)口），綁定方法：點(diǎn)擊任意網(wǎng)卡名稱(chēng)后的小圖標(biāo)，打開(kāi)綁定頁(yè)面，選擇另一塊要綁定的網(wǎng)卡（網(wǎng)卡），點(diǎn)擊“確定”即可。在“選擇綁定模式及用途”界面，點(diǎn)擊“確定”按鈕，回到上一級(jí)“配置網(wǎng)卡用途”頁(yè)面再次點(diǎn)擊“確定”按鈕完成網(wǎng)卡用途配置。部署新增節(jié)點(diǎn)完成所有節(jié)點(diǎn)的網(wǎng)卡用途配置后，在“添加部署主機(jī)”頁(yè)面，勾選所有節(jié)點(diǎn)，點(diǎn)擊“一鍵部署”按鈕，開(kāi)始部署，如下圖：加入計(jì)算集群完成所有節(jié)點(diǎn)的部署后，可在“物理主機(jī)”菜單頁(yè)面中看到已部署完的物理主機(jī)。進(jìn)入“資源管理”>“集群”菜單，點(diǎn)擊“默認(rèn)集群”，點(diǎn)擊頂部操作按鈕，勾選所有節(jié)點(diǎn)，點(diǎn)擊“確定”按鈕，即可將所有物理主機(jī)加入默認(rèn)集群，如下圖：資源池初始化添加存儲(chǔ)說(shuō)明：使用云平臺(tái)之前，我們需要將所有服務(wù)器本地磁盤(pán)添加到存儲(chǔ)清單。操作方法如下：首先，登錄StarVCetner，進(jìn)入“資源管理”>“存儲(chǔ)”菜單，點(diǎn)擊【添加存儲(chǔ)】按鈕，彈出界面如下圖：為了便于后期識(shí)別，我們以“服務(wù)器名稱(chēng)_本地存儲(chǔ)_磁盤(pán)名”格式命名，依次選擇每臺(tái)服務(wù)器，存儲(chǔ)類(lèi)型選擇“LOCALBLOC-本地磁盤(pán)或分區(qū)”，磁盤(pán)設(shè)備選擇之前規(guī)劃的第二塊磁