1、業(yè)務(wù)平臺(tái)云化流程及關(guān)鍵技術(shù)要求探討譚志遠(yuǎn)1 宮云平1（1. 中國(guó)電信股份有限公司廣州研究院 廣州 510630）摘要：本文在總結(jié)中國(guó)電信近兩年開展的云計(jì)算現(xiàn)場(chǎng)試驗(yàn)經(jīng)驗(yàn)基礎(chǔ)上，結(jié)合業(yè)務(wù)平臺(tái)的實(shí)際情況和現(xiàn)有業(yè)務(wù)平臺(tái)的運(yùn)維組織形式，歸納了一套比較通用的業(yè)務(wù)平臺(tái)云化流程，并從運(yùn)維的角度，針對(duì)業(yè)務(wù)平臺(tái)云化過程中需要重點(diǎn)關(guān)注的問題提出具體的技術(shù)要求或建議，希望能對(duì)現(xiàn)網(wǎng)業(yè)務(wù)平臺(tái)云化起到指導(dǎo)和推動(dòng)作用。關(guān)鍵詞：云計(jì)算 業(yè)務(wù)平臺(tái) 遷移 流程 技術(shù)要求1、 引言從云計(jì)算技術(shù)在業(yè)界商用情況和中國(guó)電信集團(tuán)在2010-2011年期間組織的六省云計(jì)算現(xiàn)場(chǎng)試驗(yàn)情況來看，云計(jì)算技術(shù)已經(jīng)具備大規(guī)模商用的條件。云計(jì)算虛擬化技術(shù)在

2、業(yè)務(wù)快速部署、整合資源、提高資源利用率、降低維護(hù)成本、增強(qiáng)業(yè)務(wù)平臺(tái)容災(zāi)能力等方面的優(yōu)勢(shì)，能給我們現(xiàn)階段業(yè)務(wù)平臺(tái)的運(yùn)營(yíng)維護(hù)帶來質(zhì)的變化。因此基于云計(jì)算虛擬化技術(shù)把現(xiàn)網(wǎng)設(shè)備老化、資源利用率低、生命周期短、業(yè)務(wù)突發(fā)性高且符合云化條件的業(yè)務(wù)平臺(tái)遷移到云平臺(tái)，實(shí)現(xiàn)業(yè)務(wù)平臺(tái)的資源整合，是大勢(shì)所趨。為指導(dǎo)全網(wǎng)安全、高效、有序的推進(jìn)業(yè)務(wù)平臺(tái)云化工作，在總結(jié)前期試點(diǎn)省在云計(jì)算平臺(tái)建設(shè)、運(yùn)營(yíng)過程中的經(jīng)驗(yàn)基礎(chǔ)上，提煉業(yè)務(wù)平臺(tái)云化的通用流程，并從維護(hù)的角度對(duì)業(yè)務(wù)平臺(tái)云化過程中的關(guān)鍵技術(shù)要求進(jìn)行探討，并給出相關(guān)建議。2、 業(yè)務(wù)平臺(tái)云化流程根據(jù)業(yè)務(wù)平臺(tái)云化的實(shí)施順序，可以把業(yè)務(wù)平臺(tái)云化劃分成三個(gè)階段，即業(yè)務(wù)平臺(tái)云化前的準(zhǔn)

3、備階段，業(yè)務(wù)平臺(tái)云化的實(shí)施階段，業(yè)務(wù)平臺(tái)云化后的維護(hù)管理階段。業(yè)務(wù)平臺(tái)云化準(zhǔn)備階段：該階段主要包括業(yè)務(wù)平臺(tái)云化評(píng)估、云計(jì)算資源選擇兩部分工作內(nèi)容。業(yè)務(wù)平臺(tái)云化評(píng)估主要是針對(duì)梳理出需要整合或遷移的業(yè)務(wù)平臺(tái)，對(duì)照業(yè)務(wù)平臺(tái)云化評(píng)估要求，最終確定哪些平臺(tái)可云化；云計(jì)算資源選擇主要考慮滿足網(wǎng)絡(luò)發(fā)展和業(yè)務(wù)部門需求的情況下，針對(duì)業(yè)務(wù)平臺(tái)遷移后的可維護(hù)性提出對(duì)云資源的相關(guān)技術(shù)要求或建議。業(yè)務(wù)平臺(tái)云化實(shí)施階段：該階段主要根據(jù)實(shí)際情況決策如何分配云平臺(tái)相關(guān)資源，選擇遷移方式，并組織平臺(tái)遷移實(shí)施等工作。業(yè)務(wù)平臺(tái)云化后的維護(hù)管理階段：業(yè)務(wù)平臺(tái)遷移后對(duì)云平臺(tái)及其所承載的業(yè)務(wù)平臺(tái)的運(yùn)維、監(jiān)控、安全、統(tǒng)計(jì)分析等管理與維護(hù)的

4、技術(shù)要求。3、 云化準(zhǔn)備階段技術(shù)要求3.1. 業(yè)務(wù)平臺(tái)云化評(píng)估業(yè)務(wù)平臺(tái)云化評(píng)估過程中，需要結(jié)合業(yè)務(wù)平臺(tái)的實(shí)際情況和云計(jì)算技術(shù)特點(diǎn)，綜合評(píng)估是否可通過云平臺(tái)承接，建議重點(diǎn)評(píng)估如下要素： 1）平臺(tái)架構(gòu)方面：優(yōu)先考慮純X86架構(gòu)的業(yè)務(wù)平臺(tái)遷移到云計(jì)算平臺(tái)，非X86架構(gòu)的業(yè)務(wù)平臺(tái)建議評(píng)估改造成X86架構(gòu)的難度、費(fèi)用、時(shí)間等因素再考慮是否遷移到云平臺(tái)，或者考慮采用小型機(jī)虛擬化技術(shù)承接；2）平臺(tái)類型方面：對(duì)于小業(yè)務(wù)平臺(tái)、短生命周期平臺(tái)、離線分析型平臺(tái)，優(yōu)先考慮遷移到云平臺(tái)；3）所承載業(yè)務(wù)特征方面：對(duì)于業(yè)務(wù)量突發(fā)性高和資源利用率低的平臺(tái)建議遷移到云計(jì)算平臺(tái)實(shí)現(xiàn)錯(cuò)峰填谷；而對(duì)于業(yè)務(wù)實(shí)時(shí)性要求高，或者I/O吞吐

5、量比較大，或者涉及財(cái)務(wù)、安全等敏感數(shù)據(jù)的業(yè)務(wù)平臺(tái)，暫不考慮遷移到云平臺(tái)；4）目前云計(jì)算技術(shù)限制方面：對(duì)于采用虛擬化軟件暫不支持的操作系統(tǒng)的業(yè)務(wù)平臺(tái)（虛擬化軟件是否支持客戶操作系統(tǒng)情況，可到各虛擬廠商網(wǎng)站查詢），或者虛擬化軟件暫不支持的有特殊外接設(shè)備（如語(yǔ)音板塊、加密卡等）的業(yè)務(wù)平臺(tái)，則暫不考慮遷移到云平臺(tái)；5）如果業(yè)務(wù)平臺(tái)廠商技術(shù)支撐有限，且現(xiàn)有系統(tǒng)無法通過P2V方式遷移的，建議慎重考慮是否遷移到云計(jì)算平臺(tái)。3.2. 云計(jì)算資源選擇方面技術(shù)要求在業(yè)務(wù)平臺(tái)遷移前，為了方便今后的云計(jì)算平臺(tái)的運(yùn)行維護(hù)及資源的動(dòng)態(tài)管理，在云計(jì)算平臺(tái)軟硬件資源的選擇上要充分考慮上線后的可維、可管、可控要求，選擇建議如下

6、：3.2.1. 服務(wù)器虛擬化軟件的選擇1）建議參考虛擬化軟件測(cè)試的情況，選擇成熟度較好、開放程度較高、成本適合的、非寄生架構(gòu)的虛擬化技術(shù)和軟件；2）虛擬化軟件要求支持在線遷移、模版自動(dòng)部署、資源彈性調(diào)整、高可用性、資源自動(dòng)調(diào)度等功能，虛擬化軟件盡量符合標(biāo)準(zhǔn)化的發(fā)展趨勢(shì)（如：支持標(biāo)準(zhǔn)的OVF格式等）；3）由于目前異構(gòu)云管理存在一些問題，建議在規(guī)?；瘧?yīng)用上盡量使用相同的虛擬化軟件，便于后續(xù)共同管理；4）由于目前各虛擬化產(chǎn)品廠家之間的管理軟件無法兼容，并且缺乏明確的行業(yè)規(guī)范，因此對(duì)于虛擬化管理軟件的選擇，建議選用服務(wù)器虛擬化廠家的專用管理軟件（如：VMware用VCenter，Citrix用XenC

7、enter進(jìn)行管理），待行業(yè)有統(tǒng)一的規(guī)范后，再考慮異構(gòu)虛擬化平臺(tái)之間的統(tǒng)一管理問題。3.2.2. 服務(wù)器的選擇服務(wù)器應(yīng)根據(jù)虛擬軟件的要求進(jìn)行選擇，以免出現(xiàn)兼容性問題，單服務(wù)器上能運(yùn)行的虛擬機(jī)數(shù)量和流暢程度取決于CPU和內(nèi)存，I/O設(shè)備最容易造成性能瓶頸，因此對(duì)服務(wù)器的選擇建議綜合考慮虛擬軟件兼容性、CPU、I/O等因素：1）兼容性方面：應(yīng)根據(jù)虛擬化軟件廠商所公布的硬件支持列表（HCL：Hardware Compatibility List）選擇服務(wù)器，以保證服務(wù)器和虛擬化產(chǎn)品的兼容性；2）CPU方面：建議選擇支持虛擬化指令的CPU（Intel-VT或AMD-V），讓系統(tǒng)以原生的方式操作虛擬機(jī)；

8、服務(wù)器CPU的類型應(yīng)一致，以保證組建集群后在線動(dòng)態(tài)遷移相關(guān)服務(wù)的正常使用，避免因指令不兼容，導(dǎo)致內(nèi)存復(fù)制后系統(tǒng)崩潰；3）I/O方面：新購(gòu)置的服務(wù)器至少配置2個(gè)GE端口并能進(jìn)行擴(kuò)展，可以適當(dāng)考慮引入10GE端口；如果云平臺(tái)使用FC SAN，應(yīng)至少配置2個(gè)HBA端口并能進(jìn)行擴(kuò)展，并考慮SAN交換機(jī)可用端口是否足夠；如果使用IP SAN，建議配置支ToE(TOE:TCP/IP Offloading Engine)功能的網(wǎng)卡；服務(wù)器應(yīng)支持遠(yuǎn)程管理功能，如IPMI接口。3.2.3. 存儲(chǔ)的選擇為更好的發(fā)揮云平臺(tái)的優(yōu)勢(shì)，建議選擇外接共享存儲(chǔ)設(shè)備作為云平臺(tái)的存儲(chǔ)，并且綜合評(píng)估業(yè)務(wù)系統(tǒng)的數(shù)量、并發(fā)I/O量和成

9、本等因素，選擇合適的外接存儲(chǔ)（建議使用FC SAN或iSCSI SAN）。對(duì)于通用非結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)和文件存儲(chǔ)類型，建議采用NAS架構(gòu)的網(wǎng)絡(luò)存儲(chǔ)；對(duì)一些結(jié)構(gòu)化、高性能要求的數(shù)據(jù)存儲(chǔ)，建議采用SAN架構(gòu)，如數(shù)據(jù)庫(kù)存儲(chǔ)等。4、 云化實(shí)施階段技術(shù)要求業(yè)務(wù)平臺(tái)遷移到云計(jì)算平臺(tái)，計(jì)算、內(nèi)存、存儲(chǔ)等資源可隨著業(yè)務(wù)的發(fā)展動(dòng)態(tài)調(diào)整，而網(wǎng)絡(luò)的調(diào)整可能會(huì)給業(yè)務(wù)的正常運(yùn)行帶來較大的影響，因此應(yīng)做好物理網(wǎng)絡(luò)和虛擬網(wǎng)絡(luò)的規(guī)劃及配置，然后才根據(jù)業(yè)務(wù)平臺(tái)的實(shí)際情況選擇遷移方式，制定切實(shí)可行的遷移方案。4.1. 云計(jì)算平臺(tái)配置云計(jì)算平臺(tái)的資源配置主要包括服務(wù)器資源、網(wǎng)絡(luò)資源和存儲(chǔ)資源三部分，其技術(shù)要求和建議如下：4.1.1.

10、 服務(wù)器資源服務(wù)器資源的配置重點(diǎn)考慮虛擬機(jī)模版的創(chuàng)建、模版封裝、虛擬資源申請(qǐng)、虛擬機(jī)的命名，以及對(duì)組建集群的要求等，具體如下：1）模板創(chuàng)建方面：應(yīng)以業(yè)務(wù)平臺(tái)常用的操作系統(tǒng)為主要考慮要素來設(shè)計(jì)虛擬機(jī)模版并進(jìn)行相關(guān)配置，可根據(jù)不同業(yè)務(wù)/應(yīng)用對(duì)資源的需求不同，作為設(shè)計(jì)模版類型的依據(jù)，如對(duì)計(jì)算要求高的可以設(shè)計(jì)計(jì)算型模版，其他的如對(duì)內(nèi)存、存儲(chǔ)要求比較高的也設(shè)計(jì)出相應(yīng)的模板；2）模板封裝方面：在VM模板制作中，先安裝好操作系統(tǒng)（包括補(bǔ)?。?，并設(shè)定好所有標(biāo)準(zhǔn)化選項(xiàng)。對(duì)于Windows操作系統(tǒng)還需要進(jìn)行系統(tǒng)封裝，以便通過模板部署的虛擬機(jī)在首次啟動(dòng)時(shí)可以自動(dòng)更新SID（如果沒有進(jìn)行封裝，則通過模板部署的所有虛擬

11、機(jī)SID號(hào)都一樣，可能會(huì)導(dǎo)致安全問題）；3）虛擬資源申請(qǐng)方面：在申請(qǐng)?zhí)摂M資源時(shí)，應(yīng)根據(jù)現(xiàn)有業(yè)務(wù)資源占用情況，并考慮近期業(yè)務(wù)發(fā)展需要，結(jié)合適當(dāng)寬裕的原則，綜合決定劃分虛擬資源的大小（包括CPU、內(nèi)存、存儲(chǔ)等）；可結(jié)合模板化自動(dòng)部署功能的優(yōu)勢(shì)和技巧，充分發(fā)揮資源彈性分配的特性。申請(qǐng)資源時(shí)應(yīng)說明具體的操作系統(tǒng)及位數(shù)，實(shí)際安裝的時(shí)候應(yīng)按照申請(qǐng)的信息安裝相應(yīng)的操作系統(tǒng)，否則會(huì)導(dǎo)致虛擬機(jī)定制的操作系統(tǒng)和實(shí)際的操作系統(tǒng)不一致，為后續(xù)虛擬機(jī)資源擴(kuò)容帶來不便；4）虛擬機(jī)命名：在創(chuàng)建虛擬機(jī)的時(shí)候，建議提前做好虛擬機(jī)名稱規(guī)劃，便于今后的規(guī)范管理；5）組建集群要求：集群中參與在線動(dòng)態(tài)遷移的物理服務(wù)器必須使用同一品牌，

12、同一型號(hào)配置的設(shè)備，特別是CPU（品牌、型號(hào)、核數(shù)、指令集等），并且必須使用同一個(gè)共享的外部存儲(chǔ)設(shè)備。同時(shí)為確保平臺(tái)的可靠性，建議預(yù)留適當(dāng)?shù)娜哂鄼C(jī)器資源。4.1.2. 網(wǎng)絡(luò)資源配置網(wǎng)絡(luò)規(guī)劃包括兩個(gè)層面的內(nèi)容，物理網(wǎng)絡(luò)和虛擬網(wǎng)絡(luò)，兩者必須有機(jī)結(jié)合、統(tǒng)一規(guī)劃才能確保網(wǎng)絡(luò)暢通及安全。1）物理網(wǎng)絡(luò)配置方面物理網(wǎng)絡(luò)的配置重點(diǎn)考慮系統(tǒng)冗余、負(fù)載均衡、服務(wù)器集群等因素，其中集群中參與動(dòng)態(tài)遷移相關(guān)功能（如：VMotion、HA、DRS等）的服務(wù)器各網(wǎng)卡必須在同一個(gè)實(shí)體網(wǎng)段，物理服務(wù)器的網(wǎng)卡使用相同的配置（網(wǎng)卡名稱、虛擬交換機(jī)的名稱、通訊端口組、Vlan等）。 2）虛擬網(wǎng)絡(luò)配置建議通過網(wǎng)絡(luò)劃分，實(shí)現(xiàn)計(jì)算、存儲(chǔ)、

13、接入等的隔離。建議虛擬網(wǎng)絡(luò)劃分為：虛擬機(jī)網(wǎng)絡(luò)（業(yè)務(wù)/應(yīng)用網(wǎng)絡(luò)）、動(dòng)態(tài)遷移網(wǎng)絡(luò)、管理網(wǎng)絡(luò)、監(jiān)控網(wǎng)絡(luò)等不同VLAN，以實(shí)現(xiàn)網(wǎng)絡(luò)流量的分隔。其中虛擬機(jī)網(wǎng)絡(luò)即業(yè)務(wù)網(wǎng)絡(luò)，可根據(jù)實(shí)際業(yè)務(wù)需要再劃分多個(gè)虛擬網(wǎng)絡(luò)。虛擬網(wǎng)絡(luò)配置應(yīng)保障實(shí)現(xiàn)故障冗余、多網(wǎng)卡負(fù)荷分擔(dān)等功能。同時(shí)建議根據(jù)實(shí)際業(yè)務(wù)帶寬需要，對(duì)每個(gè)虛擬機(jī)的端口進(jìn)行限速，避免異常時(shí)網(wǎng)絡(luò)風(fēng)暴擴(kuò)散到整個(gè)系統(tǒng)。4.1.3. 存儲(chǔ)資源配置建議按業(yè)務(wù)平臺(tái)對(duì)存儲(chǔ)性能及業(yè)務(wù)數(shù)據(jù)大小，把存儲(chǔ)需求分為高、中、低等幾檔類型，結(jié)合存儲(chǔ)所做的冗余情況來分配存儲(chǔ)；在實(shí)際分配存儲(chǔ)給虛擬機(jī)的時(shí)候建議按精簡(jiǎn)模式分配。同時(shí)為確保集群中各業(yè)務(wù)平臺(tái)的可靠性，建議預(yù)留適當(dāng)?shù)娜哂喙蚕泶鎯?chǔ)資源，例如

14、：在使用SAN的情況下，要注意當(dāng)前l(fā)un下的總虛機(jī)存儲(chǔ)上限不能超過lun的總空間，否則隨著業(yè)務(wù)增長(zhǎng)，總虛機(jī)存儲(chǔ)會(huì)超過lun的上限，將導(dǎo)致宕機(jī)故障。4.2. 遷移實(shí)施方式的選擇目前業(yè)務(wù)平臺(tái)從源主機(jī)遷移到云平臺(tái)虛擬機(jī)的方式主要有兩種：新建和P2V（Physical-to-Virtual）。新建方式即在分配的虛擬機(jī)上重新部署業(yè)務(wù)平臺(tái)的運(yùn)行環(huán)境（包括操作系統(tǒng)、數(shù)據(jù)庫(kù)、應(yīng)用程序等的安裝及配置），把業(yè)務(wù)數(shù)據(jù)遷移到虛擬機(jī)上。P2V方式即將實(shí)體機(jī)的磁盤數(shù)據(jù)轉(zhuǎn)換成虛擬機(jī)格式，導(dǎo)入到虛擬化目標(biāo)環(huán)境中。新建和P2V兩種方式的各有優(yōu)缺點(diǎn)，對(duì)比如下：對(duì)比項(xiàng)目新建方式P2V方式兼容性方面無兼容性問題遷移至虛擬機(jī)上的應(yīng)用程

15、序，有可能會(huì)因?yàn)橛布兏霈F(xiàn)兼容性問題。遷移速度業(yè)務(wù)環(huán)境重新部署需要花費(fèi)時(shí)間較長(zhǎng)系統(tǒng)快照式遷移，移植速度快費(fèi)用方面新建需要支付重新部署費(fèi)用，費(fèi)用較高有免費(fèi)P2V工具，費(fèi)用較低對(duì)業(yè)務(wù)廠家要求系統(tǒng)重新部署，需要業(yè)務(wù)廠家提供強(qiáng)力支持。對(duì)業(yè)務(wù)廠家要求較低支持操作系統(tǒng)方面支持所有操作系統(tǒng)僅轉(zhuǎn)換windows操作系統(tǒng)較成熟穩(wěn)定，不同P2V軟件支持操作系統(tǒng)不同選擇何種遷移方式，應(yīng)結(jié)合實(shí)際情況進(jìn)行綜合評(píng)估，建議對(duì)于重要的業(yè)務(wù)，在遷移時(shí)間、遷移費(fèi)用以及廠家支撐力度允許的情況下，優(yōu)先選擇新建方式。如果選擇P2V方式，應(yīng)仔細(xì)評(píng)估P2V方式下業(yè)務(wù)軟件的兼容性、遷移數(shù)據(jù)量的大小、以及原業(yè)務(wù)平臺(tái)對(duì)P2V工具的支持程度等

16、因素，積極穩(wěn)妥地推進(jìn)業(yè)務(wù)平臺(tái)遷移工作。5、 云化后維護(hù)管理階段要求業(yè)務(wù)平臺(tái)遷移到云計(jì)算平臺(tái)后，除了按照現(xiàn)有業(yè)務(wù)平臺(tái)維護(hù)管理制度及流程做好日常維護(hù)工作外，還必須結(jié)合云計(jì)算的特點(diǎn)，加強(qiáng)對(duì)虛擬資源的維護(hù)管理。建議根據(jù)云平臺(tái)所承載的業(yè)務(wù)重要性、故障處理時(shí)限要求，影響用戶規(guī)模等因素劃分所承載業(yè)務(wù)的容災(zāi)等級(jí)，對(duì)不同的容災(zāi)等級(jí)采用不同的容災(zāi)策略，充分利用虛擬化技術(shù)及集群架構(gòu)的優(yōu)勢(shì)（如：HA、DRS、FT等高級(jí)功能）。根據(jù)業(yè)務(wù)/應(yīng)用特征和虛擬機(jī)運(yùn)行情況及時(shí)調(diào)整、優(yōu)化虛擬機(jī)的資源配置，包括CPU、內(nèi)存、存儲(chǔ)等參數(shù)；根據(jù)運(yùn)行情況，及時(shí)優(yōu)化動(dòng)態(tài)遷移、高可靠性、動(dòng)態(tài)資源分配等策略，并建立云平臺(tái)運(yùn)維分析制度。在云平臺(tái)的監(jiān)控方面，應(yīng)加強(qiáng)云平臺(tái)監(jiān)控手段的建設(shè)和完善，豐富監(jiān)控的內(nèi)容，將物理機(jī)、云管理平臺(tái)、虛擬機(jī)管理軟件等納入監(jiān)控網(wǎng)管。虛擬機(jī)所承載的業(yè)務(wù)平臺(tái)應(yīng)參照現(xiàn)有業(yè)務(wù)平臺(tái)監(jiān)控模式納入業(yè)務(wù)平臺(tái)集中監(jiān)控系統(tǒng)進(jìn)行統(tǒng)一管理。6、 結(jié)束語(yǔ)本文總結(jié)中國(guó)電信近兩年在多省開展云計(jì)算現(xiàn)場(chǎng)試驗(yàn)的經(jīng)驗(yàn)基礎(chǔ)上，結(jié)合業(yè)務(wù)平臺(tái)的實(shí)際情況，根據(jù)現(xiàn)有業(yè)務(wù)平臺(tái)運(yùn)維的組織形式，歸納總結(jié)了一套比較通用的業(yè)務(wù)平臺(tái)云化流程，并針對(duì)業(yè)務(wù)平臺(tái)云化過程中碰到的各種主要問題，從運(yùn)維的角度，提出在云化過程中需要重點(diǎn)關(guān)注的幾個(gè)方面，并提出具體的技術(shù)要求及建議，希望能對(duì)現(xiàn)網(wǎng)業(yè)務(wù)平臺(tái)云化起到一定的指導(dǎo)和推動(dòng)作用。參考文獻(xiàn)1