1、操作系統(tǒng)安裝手冊(cè)V1.0鼎 信 信 息 科 技公 司2017 年 9 月目 錄1概述71.1編寫目的71.2. 7適用1.3內(nèi)容與范圍72系統(tǒng)架構(gòu)83服務(wù)器配置113.1服務(wù)器分類113.2服務(wù)器配置123.2.1部署節(jié)點(diǎn)123.2.2控制節(jié)點(diǎn)133.2.3計(jì)算節(jié)點(diǎn)143.2.4節(jié)點(diǎn)153.2.5計(jì)算融合節(jié)點(diǎn)163.3部署規(guī)模規(guī)劃174網(wǎng)絡(luò)配置與連線194.1網(wǎng)絡(luò)規(guī)劃194.2網(wǎng)段規(guī)劃195系統(tǒng)推送205.1服務(wù)器配置215.1.1 配置RAID215.1.2 配置BIOS215.2部署服務(wù)器安裝215.2.1安裝部署節(jié)點(diǎn)215.2.2配置部署節(jié)點(diǎn)285.2.3創(chuàng)建部署環(huán)境345.3部署云操作

2、系統(tǒng)375.3.1添加物理服務(wù)器角色385.3.2配置網(wǎng)絡(luò)環(huán)境405.3.3配置物理磁盤445.3.4驗(yàn)證網(wǎng)絡(luò)455.3.5部署云操作系統(tǒng)46系統(tǒng)更新4866.1. 48開啟控制節(jié)點(diǎn)6.2設(shè)置 NTP496.3移除rsyslog、nailgun、mcollection agent506.4CPU、RAM 超售比506.5計(jì)算節(jié)點(diǎn)宿主機(jī)內(nèi)存預(yù)留516.6設(shè)置mini_free，防止內(nèi)存溢出516.7SSD 調(diào)度算法516.8設(shè)置memcache 內(nèi)存cache526.9設(shè)置mongoDB 占用緩存大小526.10設(shè)置 DHCP 租期526.11計(jì)算融合節(jié)點(diǎn)CPU. 536.12備份roller5

3、46.13安裝hos. 546.14更新Horizon586.15更新系統(tǒng)596.15.1 Zabbix596.15.2 Kibana596.15.3 Grafana597容器環(huán)境安裝598系統(tǒng)測(cè)試598.1連通性測(cè)試598.2功能性測(cè)試601 概述1.1編寫目的撰寫此文的主要目的是為了指導(dǎo)“操作系統(tǒng)”的順利實(shí)施，根據(jù)數(shù)據(jù)中心的資源現(xiàn)場(chǎng)和發(fā)展需求，確定操作系統(tǒng)的實(shí)施方案，指導(dǎo)實(shí)施順利進(jìn)行系統(tǒng)部署。1.2適用本文檔主要面向負(fù)責(zé)“操作系統(tǒng)”的設(shè)計(jì)和實(shí)施的操作系統(tǒng)的網(wǎng)絡(luò)設(shè)計(jì)、 項(xiàng)目管理以及實(shí)施工程師，以便通過(guò)參考本文檔資料順利完成項(xiàng)目溝通和實(shí)施。1.3內(nèi)容與范圍本手冊(cè)主要就以下幾點(diǎn)進(jìn)行了細(xì)節(jié)的闡述：

4、系統(tǒng)架構(gòu)服務(wù)器配置網(wǎng)絡(luò)配置與連線系統(tǒng)推送系統(tǒng)更新容器環(huán)境安裝系統(tǒng)測(cè)試2系統(tǒng)架構(gòu)關(guān)于促進(jìn)云計(jì)算創(chuàng)新發(fā)展培養(yǎng)新型產(chǎn)業(yè)新業(yè)態(tài)的意見（國(guó)發(fā)【2015】5 號(hào)）提出云計(jì)算是信息化發(fā)展的和必然趨勢(shì)，國(guó)家“十三五”信息化規(guī)劃提出“云化、智能化”，“十三五”信息基礎(chǔ)設(shè)施建設(shè)及使用模式將發(fā)生根本性轉(zhuǎn)變。國(guó)內(nèi)外云計(jì)算服務(wù)已發(fā)展多年，技術(shù)較為成熟，應(yīng)用廣泛，包括政務(wù)、互聯(lián)網(wǎng)、金融、公共事業(yè)、教育行業(yè)等。隨著電力、能源、“互聯(lián)網(wǎng)+”等外部環(huán)境的變化，公司信息化建設(shè)將思維、管理、技術(shù)等方面的多重。隨著公司信息化建設(shè)的快速發(fā)展，信息系統(tǒng)規(guī)模的逐漸擴(kuò)大，各類硬件設(shè)施也逐年增加。當(dāng)前各擁有各類服務(wù)器、網(wǎng)絡(luò)等設(shè)備數(shù)量龐大，承載

5、各類業(yè)務(wù)應(yīng)用復(fù)雜，技術(shù)日見多樣化和復(fù)雜化。主要存在的有：（1）在技術(shù)架構(gòu)方面，缺少化管理，系統(tǒng)異構(gòu)，不的現(xiàn)象，增大了運(yùn)維復(fù)雜度及工作量。（2）計(jì)算資源池方面，虛擬化技術(shù)的靈活性不高，不能提供分布式應(yīng)用架構(gòu)。商業(yè)虛擬化采購(gòu)成本過(guò)高，不具備大規(guī)模擴(kuò)容的采購(gòu)。同時(shí)主要基于 VMware 的非國(guó)產(chǎn)軟件也不滿足可控的要求。（3）方面，設(shè)備種類繁多，性能差異大，缺少管理和池化管理，包括 FC SAN、NAS 等，對(duì)大數(shù)據(jù)等應(yīng)用要求的分布式支持不高。（4方面，故障定位和處置能力差，缺少資源使用趨勢(shì)變化分析和，及時(shí)性不夠高。各現(xiàn)有工具過(guò)多，且無(wú)法對(duì)設(shè)備和系統(tǒng)進(jìn)行關(guān)聯(lián)性及分析，結(jié)果可讀性差，不利于故障定位和處置

6、，難以在用戶前及時(shí)發(fā)現(xiàn)故障。在此背景下，鼎信科技公司成立云團(tuán)隊(duì)，開展云計(jì)算相關(guān)工作。目前云操作系統(tǒng)研發(fā)工作已取得初步進(jìn)展，并逐步對(duì)外提供、PaaS 云計(jì)算服務(wù)，分為企業(yè)管理云和公共服完成電動(dòng)汽車等若干 SaaS 軟件研發(fā)。務(wù)云兩個(gè)區(qū)域。整體架構(gòu)如圖 1 所示。操作系統(tǒng)位于平臺(tái)的底層，是提供云計(jì)算服務(wù)的基礎(chǔ)。云操作系統(tǒng)初期主要為公司提供計(jì)算、網(wǎng)絡(luò)等服務(wù)，未來(lái)通過(guò)持續(xù)建設(shè)，將為外部客戶、社會(huì)用戶等提供資源服務(wù)。圖 1整體架構(gòu)操作系統(tǒng)（DXCOS），是的基礎(chǔ)軟件，基于 OpenStack 提供對(duì)所有計(jì)算基礎(chǔ)設(shè)施的利用，包括 CPU、內(nèi)存、網(wǎng)絡(luò)和其它基本資源，用戶能夠部署和運(yùn)行任意軟件，包括操作系統(tǒng)和

7、應(yīng)用程序。消費(fèi)者不管理或控制任計(jì)算基礎(chǔ)設(shè)施，但能控制操作系統(tǒng)的選擇、空間、部署的應(yīng)用，也可獲得有限制的網(wǎng)絡(luò)組件（例如路由器、負(fù)載均衡器等）的控制。圖 2層操作系統(tǒng)（DXCOS）架構(gòu)圖操作系統(tǒng)管理了服務(wù)器和網(wǎng)絡(luò)設(shè)備，對(duì)外提供計(jì)算資源池、資源池（塊、對(duì)象、文件等）、容器資源池，為上層應(yīng)用系統(tǒng)、PaaS、SaaS、大數(shù)據(jù)處理等提供支撐。操作系統(tǒng)的功能組件包括：（1） 分布式基礎(chǔ)架構(gòu)；采用流行的分布式應(yīng)用架構(gòu)，構(gòu)建由多個(gè)獨(dú)立的服務(wù)組件組成的高可用服務(wù)系統(tǒng)。各組件之間使用消息隊(duì)列完成內(nèi)部通信，并在API 層實(shí)現(xiàn)標(biāo)準(zhǔn)化通口。（2） 分布式計(jì)算能力：抽象不同的虛擬化技術(shù)的服務(wù)，封裝為標(biāo)準(zhǔn)化的分布式計(jì)算服務(wù)。

8、（3） 分布式能力：抽象分布式的能力，封裝為標(biāo)準(zhǔn)化的分布式服務(wù)，為計(jì)算服務(wù)提供系統(tǒng)空間、數(shù)據(jù)空間與備份空間。（4） 集中式集成能力：在塊服務(wù)中，增加對(duì)集中式管理的兼容能力。（5） 分布式網(wǎng)絡(luò)能力：抽象軟件虛擬化網(wǎng)絡(luò)的網(wǎng)絡(luò)能力，封裝為標(biāo)準(zhǔn)化的分布式網(wǎng)絡(luò)服務(wù)。兼容 SDN 網(wǎng)絡(luò)設(shè)備和負(fù)載均衡網(wǎng)絡(luò)設(shè)備，提供兼容能力。（本期不包含 SDN 建設(shè)。）（6） 容器服務(wù)管理模塊：設(shè)計(jì)資源與應(yīng)用兩層調(diào)度機(jī)制，提供容器應(yīng)用的運(yùn)行環(huán)境。（7） 物理服務(wù)器管理能力：在計(jì)算服務(wù)中增加對(duì)物理金屬設(shè)備的管理能力。（8） VMware 資源池管理能力：在計(jì)算服務(wù)中增加對(duì) VMware 資源池管理的兼容能力。（9） 用戶認(rèn)證

9、和安全管理：為云提供多租戶、服務(wù)、基于角色的多級(jí)權(quán)限與資源管理能力。（10） 資源編排能力：實(shí)現(xiàn)資源與服務(wù)的批量部署、自動(dòng)化運(yùn)維、彈性伸縮能力。（11） 圖形化管理界面：實(shí)現(xiàn)圖形化 Web 管理門戶，用于簡(jiǎn)化用戶對(duì)服務(wù)的操作。（12） 高可用加固：設(shè)計(jì)云的資源、服務(wù)與應(yīng)用的高可用設(shè)計(jì)，避免系統(tǒng)部署架構(gòu)中的單一故障點(diǎn)。（13） 圖形化部署工具：實(shí)現(xiàn)系統(tǒng)部署工作的圖形化，使用無(wú)外部依賴的光盤鏡像實(shí)現(xiàn)云各類服務(wù)器節(jié)點(diǎn)的操作系統(tǒng)安裝、云服務(wù)部署和高可用配置等工作，顯著縮短云部署周期。（14） 運(yùn)維和能力：實(shí)現(xiàn)對(duì)云中各類物理服務(wù)器、系統(tǒng)服務(wù)與資源實(shí)例的實(shí)時(shí)與故障告警。3服務(wù)器配置3.1服務(wù)器分類操作系統(tǒng)

10、的服務(wù)器資源包括以下節(jié)點(diǎn)：部署節(jié)點(diǎn)、控制節(jié)點(diǎn)、計(jì)算節(jié)點(diǎn)、節(jié)點(diǎn)、計(jì)算融合節(jié)點(diǎn)。在部署前，需要根據(jù)需求準(zhǔn)備不同角色節(jié)點(diǎn)的服務(wù)器。節(jié)點(diǎn)角色說(shuō)明是否必須提供部署節(jié)點(diǎn)運(yùn)行云操作系統(tǒng)自動(dòng)化部署虛擬主機(jī)是控制節(jié)點(diǎn)用于運(yùn)行管理云操作系統(tǒng)環(huán)境中計(jì)算、網(wǎng)絡(luò)、 、計(jì)量、編排、容器調(diào)度等服務(wù)是計(jì)算節(jié)點(diǎn)運(yùn)行虛擬化層提供計(jì)算能力的載體，提計(jì)算節(jié)點(diǎn)和存3.2服務(wù)器配置3.2.1 部署節(jié)點(diǎn)部署節(jié)點(diǎn)的配置如下：備注：1） 部署虛擬機(jī)規(guī)格分類配置項(xiàng)部署節(jié)點(diǎn)物理服務(wù)器配置Roller 部署虛擬機(jī)規(guī)格Zabbix虛擬機(jī)規(guī)格標(biāo) 準(zhǔn)規(guī)格CPU2 路 8 核以上處理器8 vCPU8 vCPU內(nèi)存32G 以上內(nèi)存16G 內(nèi)存16G 內(nèi)存4*

11、300G SAS帶電池，RAID 卡80 G 硬盤300 G 硬盤網(wǎng)口2 個(gè)千兆以太網(wǎng)端口2 個(gè)虛擬網(wǎng)卡2 個(gè)虛擬網(wǎng)卡電源高效能節(jié)能冗余電源操作系統(tǒng)CentOS7.3 系統(tǒng)CentOS7.3 系統(tǒng)CentOS7.3 系統(tǒng)供計(jì)算服務(wù)儲(chǔ)節(jié)點(diǎn)各自提供服務(wù)器，或提供計(jì)算融合服務(wù)器節(jié)點(diǎn)提供服務(wù)計(jì)算融合節(jié)點(diǎn)同時(shí)提供計(jì)算服務(wù)和服務(wù)機(jī)節(jié)點(diǎn)提供物理機(jī)資源服務(wù)可選操作系統(tǒng)自動(dòng)化部署工具直接部署到虛擬機(jī)中，通過(guò)圖形化一鍵式快捷安裝方法完成云操作系統(tǒng)環(huán)境中控制節(jié)點(diǎn)、計(jì)算節(jié)點(diǎn)、節(jié)點(diǎn)、計(jì)算融合節(jié)點(diǎn)以及各關(guān)鍵組件的部署。2）虛擬機(jī)服務(wù)（Zabbix）實(shí)時(shí)整個(gè)操作系統(tǒng)環(huán)境中各項(xiàng)關(guān)鍵指標(biāo)，包括物理機(jī)的健康狀況和資源使用率、網(wǎng)絡(luò)

12、吞吐及磁盤 IO，以及云操作系統(tǒng)的核心服務(wù)。3.2.2 控制節(jié)點(diǎn)控制節(jié)點(diǎn)的配置如下：控制節(jié)點(diǎn)用于運(yùn)行管理云操作系統(tǒng)環(huán)境中計(jì)算、網(wǎng)絡(luò)、計(jì)量、編排、容器調(diào)度等服務(wù)，以及服務(wù)運(yùn)行所需的消息隊(duì)列組件 RabbitMQ、和MongoDB 數(shù)據(jù)庫(kù)，并提供各服務(wù)的高可用管理。數(shù)據(jù)庫(kù)云操作系統(tǒng)提供控制節(jié)點(diǎn)擴(kuò)展能力，為防止腦裂，至少支持 3 臺(tái)以上，可奇數(shù)臺(tái)控制節(jié)點(diǎn)擴(kuò)展。規(guī)格分類配置項(xiàng)配置備注控制節(jié)點(diǎn)標(biāo)準(zhǔn)規(guī)格CPU2 路 8 核及以上處理器內(nèi)存128GB 及以上硬盤6 塊 300GB SAS 硬盤1 塊 RAID 卡，帶電池在 100 臺(tái)物理節(jié)點(diǎn)以下和500 個(gè)虛擬主機(jī)以下環(huán)境中使用網(wǎng)口6 個(gè)千兆以太網(wǎng)端口1：

13、單臺(tái)物理上運(yùn)行的虛擬機(jī)之間的東西向流量總和1000Mb（private 網(wǎng)絡(luò)吞吐量）3.2.3 計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)的配置如下：規(guī)格分類配置項(xiàng)配置備注計(jì)算節(jié)點(diǎn)標(biāo)準(zhǔn)規(guī)格CPU2 顆 8 核及以上處理器內(nèi)存128GB 及以上硬盤2 塊 300GB SAS 硬盤1 塊 RAID 卡，帶電池網(wǎng)口4 個(gè)千兆以太網(wǎng)端口1：?jiǎn)闻_(tái)物理上運(yùn)行的虛擬機(jī)之間的東西向流量總合1000Mb（private網(wǎng)絡(luò)吞吐量）。2：?jiǎn)闻_(tái)物理上運(yùn)行的虛擬機(jī) IO 吞吐量總合100MB（800Mb）（管理網(wǎng)絡(luò)吞吐量）。3：網(wǎng)使用 10G2：?jiǎn)闻_(tái)控制節(jié)點(diǎn)業(yè)務(wù)網(wǎng)南北向流量 ifcfg-$1 echo BOOTPROTO=none ifcfg

14、-$1 echo MASTER=$3 ifcfg-$1echo SLAVE=yes ifcfg-$1 echo IPV6INIT=no ifcfg-$1 echo USERCTL=no ifcfg-$1 echo NAME=$1 ifcfg-$1 echo DEVICE=$1 ifcfg-$1 echo ONBOOT=yes ifcfg-$1#-configcoard1 -echo TYPE=Ethernet ifcfg-$2 echo BOOTPROTO=none ifcfg-$2 echo MASTER=$3 ifcfg-$2echo SLAVE=yes ifcfg-$2 echo IPV

15、6INIT=no ifcfg-$2 echo NAME=$2 ifcfg-$2echo DEVICE=$2 ifcfg-$2echo ONBOOT=yes ifcfg-$2#-configbond -echo TYPE=Bond ifcfg-$3echo BOOTPROTO=none ifcfg-$3 echo DEFROUTE=yes ifcfg-$3 echo PEERDNS=yes ifcfg-$3 echo PEERROUTES=yes ifcfg-$3 echo IPV6INIT=no ifcfg-$3 echo NAME=$3 ifcfg-$3echo DEVICE=$3 ifcf

16、g-$3 echo ONBOOT=yes ifcfg-$3 echo USERCTL=no ifcfg-$3echo BONDING_OPTS=mode=1 miimon=100 ifcfg-$3 echo NM_CONTROLLED=no ifcfg-$3echo BRIDGE=$4 ifcfg-$3#-configbridge -echo TYPE=Bridge ifcfg-$4 echo BOOTPROTO=none ifcfg-$4 echo NAME=$4 ifcfg-$4echo DEVICE=$4 ifcfg-$4echo ONBOOT=yes ifcfg-$4e)、配置vnc（

17、可選）掛在 centos 7.3 iso 到mnt 文件夾yum install tigervnc-server x-x11-fonts-Type1cp/lib/systemd/system/vncserver.service/etc/systemd/system/vncserver:1.servicevi /etc/systemd/system/vncserver:1.serviceUnitDescription=Remote desktop service (VNC) After=work.ServiceType=forking# Clean any existing files in /

18、tmp/.X11-unix environment ExecStartPre=/bin/sh -c /usr/bin/vncserver -kill %i /dev/null 2&1| :ExecStart=/sbin/runuser -l root -c /usr/bin/vncserver %i File=/root/.vnc/%H%i.echo IPADDR=$5 ifcfg-$4 echo NETMASK=$6 ifcfg-$4 echo USERCTL=no ifcfg-$4 echo IPV6INIT=no ifcfg-$4echo NM_CONTROLLED=no ifcfg-$

19、4systemctl daemon-reloadvncserverd)、上傳 roller 的 iso 到部署節(jié)點(diǎn)系統(tǒng)中，使用 virt-manager 創(chuàng)建一個(gè)Linux 虛擬機(jī),規(guī)格 16 vpuc-32G 內(nèi)存-80G 磁盤，設(shè)置從 iso 啟動(dòng)，網(wǎng)絡(luò)使用創(chuàng)建的網(wǎng)橋 br0.（virt-manager 的使用不在此描述，可以參考 redhat文檔或上網(wǎng)搜索）。5.2.2 配置部署節(jié)點(diǎn)（1）IP 修改如果需要修改部署服務(wù)器 IP 地址或者修改 PXE 網(wǎng)段，則需要在安裝過(guò)程中按照提示按任意鍵來(lái) setup。加載 ISO 后開始安裝操作系統(tǒng)，在第一次重啟之后，大概幾分鐘就會(huì)彈出如下界面，此時(shí)

20、點(diǎn)擊鍵盤任意鍵，進(jìn)入設(shè)置界面。ExecStop=/bin/sh -c /usr/bin/vncserver -kill %i /dev/null 2&1 | : InstallWantedBy=multi-user.圖 設(shè)置界面若鍵入成功，提示如下：圖 設(shè)置成功界面進(jìn)入設(shè)置界面，這里可以修改部署服務(wù)器的主機(jī)地址和網(wǎng)關(guān)，設(shè)置完成后建議檢查一遍。圖 設(shè)置檢查界面這里是修改 IP 地址分配池，先說(shuō)下面的 128-254 是節(jié)點(diǎn)第一次重啟后進(jìn)入到 bootstrap 系統(tǒng)所獲取到的IP 地址池，用于發(fā)現(xiàn)。上面這個(gè) 3-127 地址是在分配角色之后，第二次重啟，即安裝好 Centos系統(tǒng)之后正式的 IP

21、 地址。修改完成后建議檢查一遍。圖 8 設(shè)置再次檢查界面（2）修改部署服務(wù)器的主機(jī)名和 DNS 等信息。圖 部署服務(wù)器主機(jī)名和 DNS 修改界面（3）設(shè)置時(shí)鐘。圖 時(shí)鐘設(shè)置界面（4）設(shè)置部署服務(wù)器的 root，默認(rèn)是root/password。圖 部署服務(wù)器用戶名設(shè)置界面（5）修改部署服務(wù)器WEB 的登陸界面的用戶名和，默認(rèn) admin/admin。圖 部署服務(wù)器 Web 登錄界面用戶名設(shè)置界面（6） 保存并退出，繼續(xù)安裝部署服務(wù)器。圖 部署服務(wù)器保存退出界面看到下面已經(jīng)繼續(xù)安裝了，重點(diǎn)是下面的“no errors found”，如果提示報(bào)錯(cuò)，務(wù)必解決。其實(shí)只要主機(jī) IP 地址和兩個(gè)地址池都在

22、一個(gè)網(wǎng)段，地址不，不會(huì)報(bào)錯(cuò)。圖 部署服務(wù)器報(bào)錯(cuò)提示界面5.2.3 創(chuàng)建部署環(huán)境（1）安裝完成后使用“1.Roller 補(bǔ)丁”中的替換 Roller 中的相應(yīng)文件。/usr/share/nailgun/sic/bootstrap/img/logo.png/usr/share/nailgun/sic/dashboard/img/loginLogo_new.png修改下面HTML 文件中的Header/Title/usr/lib/2.7/site-packages/roller/dashboards/environment_/nodes/templates/nodes/index.html/usr/

23、lib/2.7/site-packages/roller/dashboards/environment/environment/templates/environment/index.html（ 2 ）打開瀏覽器（注：使用 Chrome/Firefox ），在 地址欄輸入： :8000，這是默認(rèn) IP，彈出部署服務(wù)器 UI 登陸界面，輸入默認(rèn)用戶名和：admin。（2）進(jìn)入到 Dashboard 界面，此時(shí)沒有任何可用資源。你可以點(diǎn)擊右上角“admin”的設(shè)置，來(lái)登出、修改或者設(shè)置字符集操作。圖 用戶設(shè)置界面（3）操作系統(tǒng)在安裝之初必須先導(dǎo)入 License。圖 導(dǎo)入 license 界面單擊

24、“選擇文件”按鈕 ，選擇本地已經(jīng)申請(qǐng)好的 license，然后單擊“導(dǎo)入 License 文件”完成導(dǎo)入。圖 選擇 License 文件界面遇到問(wèn)題：目前發(fā)現(xiàn)可能導(dǎo)入后，一直處于等待狀態(tài),稍幾分鐘;如果報(bào)gateway timeout timeout 錯(cuò)誤 ，只需要刷新一下瀏覽器就好了。（4）查看 license 詳情（5）設(shè)置云操作系統(tǒng)環(huán)境接下來(lái)創(chuàng)建云操作系統(tǒng)環(huán)境，選擇首頁(yè)中的“設(shè)置”開始創(chuàng)建云操作系統(tǒng)環(huán)境，在新的彈窗進(jìn)行需求設(shè)定：圖 創(chuàng)建云操作系統(tǒng)環(huán)境界面圖 配置部署功能界面1 名稱：環(huán)境名稱。2 Ceph 副本：Ceph 在測(cè)試環(huán)境中設(shè)置為 2，生產(chǎn)環(huán)境中修改為 3。5.3部署云操作系統(tǒng)

25、5.3.1添加物理服務(wù)器角色（1）依次開啟物理主機(jī)了，物理主機(jī)加電，以 PXE 形式啟動(dòng)（確定已設(shè) PXE為第一啟動(dòng)），然后主機(jī)會(huì)獲得 IP 地址并加載 bootstrap 系統(tǒng)，等大約十幾二十分鐘，刷新頁(yè)面，在 UI 的中間下方的空閑節(jié)點(diǎn)可以看到已經(jīng)加載到云環(huán)境的物理主機(jī)，諸如下圖顯示的 MAC 地址、CPU、MEM 以及 NIC 等相關(guān)信息，確定對(duì)應(yīng)的物理主機(jī)。圖 加載云環(huán)境物理主機(jī)列表（2）等所有主機(jī)都加載進(jìn)來(lái)之后，開始分配角色，在此環(huán)境中可以根據(jù)磁盤的大小或者 CPU、MEM、磁盤的大小來(lái)判斷是控制節(jié)點(diǎn)還是計(jì)算節(jié)點(diǎn)，比如環(huán)境控制節(jié)點(diǎn)只有 300G 硬盤，而計(jì)算節(jié)點(diǎn)有 1T 磁盤，勾選

26、300G 磁盤的三個(gè)節(jié)點(diǎn)，然后單擊上方的添加節(jié)點(diǎn)，在新的彈窗中選擇相應(yīng)的選項(xiàng)，示例環(huán)境選擇控制Controller + mongo；然后同樣的添加計(jì)算節(jié)點(diǎn)，選擇 Compute + Ceph-osd，單擊應(yīng)用變更。1“Controller”角色為該 server 為控制節(jié)點(diǎn)；2“Compute”角色為該 server 為計(jì)算節(jié)點(diǎn)；3“Cinder”角色為可以提供基于 LVM 的 Cinder，通常和計(jì)算節(jié)點(diǎn)一起選擇，支持 SAN 和 ISCSI；4“ceph-osd”角色為使用分布式ceph 來(lái)提供空間，可以提供cinder 和 glance空間，通常和計(jì)算節(jié)點(diǎn)在同一服務(wù)器，但是建議磁盤獨(dú)立使

27、用；5“mongo”角色為云操作系統(tǒng)使用 ceilometer模塊，其數(shù)據(jù)在mongo DB 中，通常和控制節(jié)點(diǎn)安裝在同一服務(wù)器。6“storage-node”暫時(shí)沒使用。7 “zabbix-server”將指定的物理機(jī)或者虛擬機(jī)添加為 zabbix-server。（3）添加完節(jié)點(diǎn)后，在“節(jié)點(diǎn)”列表中顯示已經(jīng)添加的服務(wù)器，包含名字、狀態(tài)、管理 IP、硬件信息、預(yù)處理狀態(tài)和狀態(tài)等信息。1“名字”，服務(wù)器的識(shí)別，可修改。2“當(dāng)前狀態(tài)”，表明此時(shí)服務(wù)器的當(dāng)前狀態(tài)；狀態(tài)包括：Discovery（已發(fā)現(xiàn)）、Previing（正在部署系統(tǒng)）、Previed（系統(tǒng)部署完成）、Deploying（正在部署云操

28、作系統(tǒng)組件）、Deployed（系統(tǒng)組件部署完成）、Ready（節(jié)點(diǎn)就緒）、Error（部署過(guò)程出現(xiàn)錯(cuò)誤）。3“角色”，顯示服務(wù)器的角色。由于此時(shí)是預(yù)處理階段，所以沒有顯示，等進(jìn)行部署時(shí)可看到相應(yīng)信息。4“管理 IP”，由部署服務(wù)器臨時(shí)分配的管理 IP 地址。5“”，表明該服務(wù)器是否可管理。6“IPMI”管理端口 IP，硬件管理端口，可以在服務(wù)器連接電源后進(jìn)行管理。7“硬件信息.”這里顯示了該服務(wù)器的 CPU、DISK、MEM、NIC 等信息。8 “批量配置網(wǎng)卡”，在服務(wù)器或同角色的網(wǎng)絡(luò)配置相同，可以通過(guò)批量來(lái)設(shè)定網(wǎng)絡(luò)角色。9 “批量配置磁盤”，批量配置磁盤。5.3.2配置網(wǎng)絡(luò)環(huán)境（1）設(shè)置云

29、操作系統(tǒng)網(wǎng)絡(luò)環(huán)境網(wǎng)絡(luò)角色定好，可以配置各網(wǎng)絡(luò)的 IP 和 VLAN 信息了。單擊左邊欄的“網(wǎng)絡(luò)”可以看到現(xiàn)行網(wǎng)絡(luò)的角色和 IP 地址信息，PXE 網(wǎng)絡(luò)無(wú)法更改。如需修改 IP 地址信息，點(diǎn)擊右邊的“更新”按鈕。在彈出窗口，可以修改對(duì)應(yīng)網(wǎng)絡(luò)角色的 IP 地址信息。VLAN tag 信息按照之前規(guī)劃劃定。注意如此處填寫了 vlan，則上行端口需要是 trunk，且放行改 VLAN；如果此處不填寫，則上行端口配置 vlan 即可。修改完成后，點(diǎn)擊“更新”即可。其他按照此處修改即可。圖 更新網(wǎng)絡(luò)界面更新完成之后的信息如下表所示：圖 網(wǎng)絡(luò)信息列表注意：(1)此處并沒有 private 網(wǎng)絡(luò)信息，可以單擊

30、上圖中的“設(shè)置網(wǎng)絡(luò)基本參數(shù)”，如下圖所示，默認(rèn) VLAN 是 1000-1030，此端口上行必須是 trunk，且放行 vlan1000-1030 網(wǎng)段。這個(gè)私網(wǎng)是專門給內(nèi)部虛擬主機(jī)通信使用的。(2)baremetal mgm 中設(shè)置的網(wǎng)關(guān)不是在交換機(jī)設(shè)置的，是系統(tǒng)自動(dòng)設(shè)置的一個(gè) vip。(3)在計(jì)算、計(jì)算融合節(jié)點(diǎn)上需要隨便找個(gè) up 的網(wǎng)卡指定baremetalipmi,baremetalmgmt 倆個(gè)網(wǎng)卡的角色(4)每個(gè)網(wǎng)絡(luò)需不需要打tag，取決于上聯(lián)端口是否是trunk 口：如果是trunk口，需要打 tag；如果是 acs 口則不需要。圖 設(shè)置網(wǎng)絡(luò)基本參數(shù)界面（2）、配置網(wǎng)卡的設(shè)置。點(diǎn)

31、擊上圖中上方的“批量配置網(wǎng)卡”，看到網(wǎng)卡的角色分配，然后單擊“分配網(wǎng)絡(luò)角色”來(lái)重新分配角色。如果是生產(chǎn)網(wǎng)絡(luò)為了增加冗余性，強(qiáng)烈建議使用“網(wǎng)絡(luò)”來(lái)做端口綁定，防止單點(diǎn)。默認(rèn) bond 為 active-standby，交換機(jī)不要任何配置?？蛇x配置lacp-slb：根據(jù) mac 和 vlan id 在網(wǎng)卡之間進(jìn)行負(fù)載（靜態(tài)）；可選配置 lacp-tcp:可以根據(jù) L2，L3，L4 信息進(jìn)行負(fù)載（動(dòng)態(tài)），需要交換機(jī)支持 lacp，否則退回lacp-slb；這 2 種方式都需要 2 臺(tái)交換機(jī)配置為堆疊模式。圖 網(wǎng)卡設(shè)置界面在新彈窗中，按照之前的規(guī)劃來(lái)分配網(wǎng)絡(luò)角色，其中部署服務(wù)器是固定的，其他任意分配，

32、要注意不同角色在不同網(wǎng)卡中的配置可能需要配置上行的交換機(jī)端口，private 端口的上行端口必須為 Trunk，allow 1000-1030，其他根據(jù)實(shí)際情況配置，本次環(huán)境按照之前規(guī)劃配置即可，然后單擊“應(yīng)用變更”。圖 分配網(wǎng)絡(luò)角面然后再次確認(rèn)分配好的網(wǎng)絡(luò)角色。圖 分配網(wǎng)絡(luò)角色列表5.3.3配置物理磁盤網(wǎng)絡(luò)設(shè)定完成后接下來(lái)配置磁盤，同樣單擊右上角的“批量配置磁盤”。圖 批量磁盤配置界面在新彈出窗口的磁盤是默認(rèn)動(dòng)調(diào)節(jié)，是否采用 SSD 日志盤，或者在全 SSD 環(huán)境中均有所調(diào)整，根據(jù)實(shí)際情況而定。圖 硬盤配置界面調(diào)整后的磁盤列表確認(rèn)。圖 磁盤信息列表5.3.4驗(yàn)證網(wǎng)絡(luò)在配置完網(wǎng)絡(luò)和磁盤，預(yù)配置

33、完成，下面一步是驗(yàn)證網(wǎng)絡(luò)。單擊左邊欄“應(yīng)用”下的“驗(yàn)證網(wǎng)絡(luò)”，開始驗(yàn)證網(wǎng)絡(luò)。然后單擊右下角的一個(gè)左向箭頭，在彈出框內(nèi)可以看到驗(yàn)證項(xiàng)目和進(jìn)度。1“check_dhcp”主要驗(yàn)證 DHCP 狀況，PXE 網(wǎng)絡(luò)確保沒有其他 DHCP。2“verify_networks”主要驗(yàn)證網(wǎng)絡(luò)環(huán)境的合規(guī)性，包含 VLAN 中繼等。圖 網(wǎng)絡(luò)驗(yàn)證過(guò)程界面如下則是通過(guò)驗(yàn)證，期間需要幾分鐘。圖 網(wǎng)絡(luò)驗(yàn)證結(jié)果界面5.3.5部署云操作系統(tǒng)（1）驗(yàn)證完成后可以開始部署，單擊左邊欄下面的“部署設(shè)置”，開始部署云操作系統(tǒng)：圖 部署菜單界面（2）如下圖，部署服務(wù)器會(huì)同步推送 CentOS 7，然后開始部署云操作系統(tǒng)服務(wù)，時(shí)間根據(jù)網(wǎng)

34、絡(luò)速率和節(jié)點(diǎn)數(shù)量評(píng)估，如 6 節(jié)點(diǎn)的 HA 環(huán)境大概需兩三個(gè)小時(shí)。1“deploy”是指部署云操作系統(tǒng)的整體進(jìn)度；2“provi”是指 Centos 推送及安裝的進(jìn)度，在此之后才開始推送云操作系統(tǒng)服務(wù)；3“deployment”是部署云操作系統(tǒng)的進(jìn)度。圖 部署過(guò)程界面如下是即將部署完成，注意此時(shí)不要停掉部署服務(wù)器，這時(shí)在做最后的校驗(yàn)圖 部署即將完成界面此時(shí)可以在左邊欄的“日志”內(nèi)，查看是否有錯(cuò)誤的日志要及時(shí)解決。如下圖代表著部署全部完成，可以關(guān)掉部署服務(wù)器了。在關(guān)閉 roller 之前，安裝: yum install bzip2 ; yum y instalzip圖 部署結(jié)果信息列表圖 部署完

35、成界面6系統(tǒng)更新6.1開啟控制節(jié)點(diǎn)通過(guò)部署服務(wù)器node-1，打開 ssh 登錄。修改 /etc/ssh/sshd_config,將認(rèn)證從 No 改為 Yes，然后重啟 ssh 服務(wù)。Servishd restart6.2設(shè)置 NTP云操作系統(tǒng)部署完成后，所有節(jié)點(diǎn)默認(rèn)將 Roller 作為 NTP server，但是Roller 是不聯(lián)網(wǎng)的，所以使用部署提供的 NTP Server。（1）連接省公司的 NTP Server，如 0如果所有節(jié)點(diǎn)可以連接 ntp，在所有節(jié)點(diǎn)上：vim /etc/ntp.conf將 server burst iburst prefer 改為 server 0 bur

36、stiburst prefer如果有兩個(gè) NTP Server 則如下：server 0 burst iburst preferserver 1 burst iburst如果 node-1，node-2，node-3 可以連接 ntp server，其余 server 不可以，那么以 node-1，node-2，node-3 做為 ntp server。修改 node-1，node-2，node-3 的/etc/ntp.conf 文件server fudge stratum 10server 0 burst iburst prefer其余節(jié)點(diǎn)修改 ntp server 指向 node-1，no

37、de-2，node-3。（2）如果部署沒有 NTP Server，或者無(wú)法連接到部署NTP Server則將 node-1 配成集群的 NTP Server，其他節(jié)點(diǎn)向 node-1 同步，但不建議。在控制節(jié)點(diǎn)上 Node-1：vim /etc/ntp.conf刪掉 server burst iburst prefer新增如下：server fudge stratum 10other node：server 0 burst iburst prefer配置完成需要重啟 NTP 服務(wù)：/etc/init.d/ntpd restart查看同步情況：ntpq -p如果是多控環(huán)境, 建議控制節(jié)點(diǎn)都與 n

38、ode-1 同步，計(jì)算節(jié)點(diǎn)最先與node-1 同步，往后以此與 node-2，node-3 同步。6.3移除 rsyslog、nailgun、mcollection agent如果沒有作此操作，roller 被移除或者網(wǎng)絡(luò)不通，syslog 長(zhǎng)時(shí)間不連通服務(wù)會(huì)夯死，引起 neutron 服務(wù)異常，其他 agent 則會(huì)占用過(guò)多的進(jìn)程，建議移除，但是移除后會(huì)導(dǎo)致在 roller dashboard 上 node 狀態(tài)為 offline，不影響使用。在所有節(jié)點(diǎn)上設(shè)置：mv /etc/rsyslog.d/00-remote.conf /rootservice rsyslog restartmv /e

39、tc/cron.d/nailgun-agent /rootservice crond restart/etc/init.d/mcollective stopchkconfig mcollective off6.4CPU、RAM 超售比內(nèi)存超售比默認(rèn)為 1:1，CPU 為 1:4。一般生產(chǎn)環(huán)境建議內(nèi)存超售比為 1:1，CPU 為 1:2 或者 1:4，不建議過(guò)大。在計(jì)算節(jié)點(diǎn)或計(jì)算融合節(jié)點(diǎn)上進(jìn)行設(shè)置：/usr/bin/openstack-config-set/etc/nova/nova.confDEFAULTram_allocation_ratio 1.0/usr/bin/openstack-co

40、nfig-set/etc/nova/nova.confDEFAULTcpu_allocation_ratio 2.0servicepute restart6.5計(jì)算節(jié)點(diǎn)宿主機(jī)內(nèi)存預(yù)留由于宿主機(jī)本身運(yùn)行著操作系統(tǒng)和一些必須的軟件，所以其本身也需要一部分資源，所以計(jì)算節(jié)點(diǎn)或計(jì)算節(jié)點(diǎn)建議預(yù)留 16G 左右如果還是節(jié)點(diǎn)的話，建議每 OSD 不少于 2G 內(nèi)存，每 1TB 大約 1GB，系統(tǒng)和 OSD 進(jìn)行合計(jì)后預(yù)留。/usr/bin/openstack-config-set/etc/nova/nova.confDEFAULT_host_memory_mb 16384servicepute restar

41、t6.6設(shè)置 mini_free，防止內(nèi)存溢出宿主機(jī)在內(nèi)存耗盡，而又無(wú)法的情況下會(huì)殺掉占用內(nèi)存最大的進(jìn)程，尤其是虛擬機(jī)或者 OSD 的檢查，為了防止內(nèi)存溢出發(fā)生，建議在計(jì)算節(jié)點(diǎn)或計(jì)算融合節(jié)點(diǎn)上設(shè)置 mini_free，比如 3Gecho3145728 /proc/sys/vm/min_free_kbytesechovm.min_free_kbytes=3145728 /etc/sysctl.conf6.7SSD 調(diào)度算法SSD 作為 journal 或者 OSD 都建議修改其算法為 noop，算法簡(jiǎn)單高效，在計(jì)算/節(jié)點(diǎn)上設(shè)置：echo noop /sys/block/sdueue/schedu

42、ler需要開機(jī)加載，寫入 rc.local 中vim /etc/rc.localecho noop /sys/block/sda/queue/schedulerod +x /etc/rc.d/rc.local6.8設(shè)置 memcache 內(nèi)存 cache環(huán)境部署出來(lái)的設(shè)置過(guò)大，需要調(diào)整控制節(jié)點(diǎn)上的 memcache 的內(nèi)存Memcache 沒有明確表示需要占用多大的 cache，可以設(shè)置 8Gvi /etc/sysconfig/memcachedCACHESIZE=8196service memcached restartsystemctl restart openstack-keystorv

43、iceservice httpd restart6.9設(shè)置 mongoDB 占用緩存大小同 memcache 一樣，的數(shù)據(jù)越多，mongoDB 占用的緩存越大，可以根據(jù)內(nèi)存適當(dāng)調(diào)大，在控制節(jié)點(diǎn)上通常設(shè)置 10Gvim /etc/mongod.confcacheSizeGB: 10service mongod restart6.10設(shè)置 DHCP 租期此為可選項(xiàng)，由于網(wǎng)絡(luò)或者 rabbitmq 有時(shí)候會(huì)出現(xiàn)問(wèn)題，如果租期過(guò)短，恰逢網(wǎng)絡(luò)或者 rabbitmq 出問(wèn)題則云主機(jī)可能無(wú)法正常獲取 IP 或者元數(shù)據(jù)，所以建議調(diào)大租期，特別是在 L2 環(huán)境中，避免控制節(jié)點(diǎn) down 機(jī)帶來(lái)對(duì)虛機(jī)的影響。在所

44、有控制節(jié)點(diǎn)上進(jìn)行如下設(shè)置：sed-is/dhcp_lease_duration= 86400/dhcp_lease_duration=321408000/g/etc/neutron/neutron.confkill ps-ef |grep dnsmasq |grep -v grep |awkpr$2在其中一個(gè)控制節(jié)點(diǎn)執(zhí)行：resource restartp_neutron-dhcp-agent6.11計(jì)算融合節(jié)點(diǎn) CPU在計(jì)算融合節(jié)點(diǎn)上，首先查看一下 NUMA# lscpu| grep NUMANUMAnode(s):2NUMAnode0 CPU(s):0-5,12-17NUMAnode1 C

45、PU(s):6-11,18-23這里可以預(yù)留 0 和 6 給操作系統(tǒng)，不占用在計(jì)算節(jié)點(diǎn)的 nova.conf 的 default 下進(jìn)行設(shè)置：vim /etc/nova/nova.confvcpu_pin_set=1-5,7-11（沒被 OSD 使用的 CPU 都寫進(jìn)去）比如：osd 使用 12-17，nova 使用 18-23M 版里的 ceph 是 10.x 版本，cpu 綁定要寫在ceph-osd.service 文件里vim /usr/lib/systemd/system/ceph-osd.service在Service里添加一行：Cffinity=12 13 14 15 16 17

46、18 19 20 21 22 23多個(gè) cpu 以空格分開修改后執(zhí)行 systemctl daemon-reload ，全部的 osd 共個(gè)范圍的 cpusystemctl restart ceph-osd2，重啟 osd.2 命令改成這個(gè)了taskset -pc 進(jìn)程 ID，確認(rèn)綁定的 cpu 生效6.12備份 roller將 roller 部署虛擬機(jī)的磁盤鏡像壓縮后上傳到三個(gè)控制節(jié)點(diǎn)中保存。6.13 安裝 hos修 改 每 個(gè) 計(jì) 算 節(jié) 點(diǎn) 的 /etc/nova/nova.confresize_confirm_window=600文 件 配 置項(xiàng)修 改 控 制 節(jié) 點(diǎn) 的 /etc/n

47、ova/nova.conf文 件 配 置項(xiàng)allow_resize_to_same_host=False, allow_migrate_to_same_host = False（1） 設(shè)置計(jì)算節(jié)點(diǎn)或計(jì)算管理網(wǎng)或業(yè)務(wù)網(wǎng) vlan 一致節(jié)點(diǎn)的 IPMI 的地址，根據(jù)前期規(guī)劃設(shè)定與ipmitool lan pr1ipmitool lan set 1 ipsrc sicsed-is/allow_resize_to_same_host=True/allow_resize_to_same_host=Falsenallow_ migrate_to_same_host = False/g /etc/nova/

48、nova.confsed-is/#resize_confirm_window=0/resize_confirm_window=300/g/etc/nova/nova.confipmitoollanset1ipaddr 5ipmitoollanset1netmask ipmitoollanset1defgw ipaddr 51ipmitoolmc reset coldipmitoollan set 1 acs on（2） 停掉運(yùn)行的 Hos.單控制結(jié)點(diǎn)： #service easystack-hagent stop多控制節(jié)點(diǎn)： #resourtop easystack-hagent（3）卸載之前

49、的舊版本 rpm 包.# rpm -e easystack-hagent-2.0-.noarch（4） 安裝最新版本（當(dāng)前為 2.0-1)rpm 包# rpm -ivh hagent-2.1.0-.noarch.rpm（5） 準(zhǔn) 備 配 置 文 件 ,_list.conf 可使用其 中IPMI.conf跟生成/etc/easystackhagent.conf/etc/easystackenable_ha.conf/etc/easystackIPMI.conf/etc/easystack_list.conf（6） 啟動(dòng) Hos單控制節(jié)點(diǎn): #service easystack-hagent st

50、art多控制節(jié)點(diǎn): #resourtart easystack-hagent（7） 配置文件 /etc/easystack/HAgent.confDEFAULTvere=Truelog_file=/var/log/nova/HAgent.logcheck_erval=10dry_run=Trueignore_hosts=#only_Hosts=node-3.tldmixed_hosts = node-2.tld, node-3.tld#non_mixed_hosts = node-4.tldon_sHAred_storage=Trueevacuate_hosts=fault_Hosts_number_threshold=2service_down_time=60product_bridge_name=br-prvphysical_nic_prefixes=eth,enusername=adminpassword=adminauth_url=Authproject_id=adminpacket_count=5packe