中國移動私有云平臺體系架構分享123中國移動私有云現(xiàn)狀私有云管理面臨的挑戰(zhàn)和解決思路私有云管理平臺技術架構思考和展望4中國移動私有云現(xiàn)狀全網初步形成兩級資源池布局，現(xiàn)階段以提供IaaS基礎資源服務為主一級私有云l已建設3個私有云一級資源池，總規(guī)模為近萬臺PC服務器。在建資源池2個，規(guī)模6千余臺。ll一級資源池已承載約60多個應用，包括業(yè)務平臺、業(yè)務支撐、網絡管理、企業(yè)信息化等領域系統(tǒng)。各省公司私有云l全國已建設私有云資源池上百個，PC服務器總規(guī)模上萬臺，單資源池平均規(guī)模為百臺級ll全國31省均已建設私有云資源池，其中19個省已建1-3個資源池，12個省公司已建3個以上。中國移動私有云資源池建設的總體目標集中管理1產品資源資源共享按需分配23費用需求運營中國移動私有云發(fā)展策略“一級平臺、兩級管理”。l重點建設IaaS

能力，逐步發(fā)展

PaaS、SaaS。l依托開源社區(qū)，立足自主研發(fā)。l結合業(yè)務需求，深度定制，迭代開發(fā)。l積極參與開源社區(qū)并推動標準化工作?

積極參與云計算的行業(yè)協(xié)會、標準化和開源社區(qū)工作，是工信部主導的開源產業(yè)聯(lián)盟（OSCAR）和中國開源云聯(lián)盟（COSCL）兩個組織的副理事長單位，并主導千節(jié)點云平臺工作組；?

在Linux,Openstack，SheepDog等開源社區(qū)中的貢獻名列前茅，多次舉辦開源社區(qū)峰會，在開源社區(qū)中具有較強的影響力。?

在國家信標委的云計算標準工作組中牽頭制定多項國家標準，其中彈性計算和對象存儲的兩項標準已經發(fā)布，正在牽頭制定塊存儲和云運營等兩項國家標準。從OpenStack

Juno版本開始，中國移動成長為中國十大OpenStack公司之一；截止到目前，提交了513個patch，

251個bug和8個blue

prints。10月份Openstack峰會，中國移動正式成為黃金會員和超級用戶。123中國移動私有云現(xiàn)狀私有云管理面臨的挑戰(zhàn)和解決思路私有云管理平臺技術架構思考和展望4挑戰(zhàn)No1.

資源池分布廣、設備種類多資源池地域分布廣A業(yè)務CPU利用率設備型號多資源利用峰值長期低于7%平均值長期低于1%

不均衡挑戰(zhàn)No2.

承載業(yè)務需求多樣Storage

Compute

BandwidthMemory

BandwidthComputeCompute

Memory

Storage傳統(tǒng)業(yè)務云化和新增業(yè)務帶來多樣化需求。挑戰(zhàn)No3.

資源池規(guī)模大u

私有云資源池的規(guī)模不斷擴大現(xiàn)有資源池PC服務器規(guī)模超過3萬臺ppp未來規(guī)劃機架數量超過10萬架分布在全網多個數據中心資源管理資源管理資源管理資源管理u

云資源管理技術面臨挑戰(zhàn)u突破單個OpenStack管理規(guī)模的局限性pp0對分布在多個地點的資源池實現(xiàn)統(tǒng)一的資源管理私有云資源池管理平臺的實施步驟階段一

統(tǒng)一視圖、制定標準（2016-2017）階段二

平臺融合、省內整合（2017-2019）階段三

一級平臺、兩級管理（2019-2020）私有云資源池產品規(guī)格的統(tǒng)一定義制定統(tǒng)一產品規(guī)格計算產品規(guī)格（14）存儲產品規(guī)格（6）網絡產品規(guī)格?

預定義/自定義?

vCPU

核/內存容量/根分區(qū)磁盤容量產品規(guī)格定義資源池設計和實施的基本策略提高虛擬化比例提升整合比及資源利用率引入SDN技術簡化資源池的基礎硬件的規(guī)格型號123中國移動私有云現(xiàn)狀私有云管理面臨的挑戰(zhàn)和解決思路私有云管理平臺技術架構思考和展望4總體技術方案云資源管理平臺遠端資源管理模塊機架服務器SDN防火墻機架服務器磁盤陣列SDN防火墻OpenStack

組件的選擇和應用u總體架構中Openstack定位于資源調度運營和運維：一級私有云運營功能定制化程度高，運維對接設備復雜，Openstack現(xiàn)有組件無法滿足p要求，采用定制化開發(fā)方式實現(xiàn)資源調度：一級私有云資源模塊包括虛擬機、物理機、塊存儲、文件系統(tǒng)和SDN等，架構上結合屬地的資源模塊類型選擇NOVA、Ironic、Cinder、Manila和Neutron等組件pOpenStack

組件的選擇和應用u各個組件在社區(qū)版的基礎上依據呼哈私有云的業(yè)務需求進行了功能增強定制組件Keystone功能定制社區(qū)版GlanceNova增加異地備份功能SAN支持設備多路徑、支持本地虛擬機熱遷移、支持本地+共享存儲的混合存儲類型虛擬機熱遷移、支持存儲熱遷移、支持卷共享Cinder支持鏡像緩存、支持增量備份CeilometerNeutronIronic支持從虛擬串口采集虛擬機性能數據、支持使用時間序列數據庫保存數據SDN

Ironic深度定制，廠家、功能對接深度定制，增強存儲和網絡功能幾個關鍵的技術問題采用多region架構解決大規(guī)模資源的統(tǒng)一調度u引入混合SDN架構提供更加豐富靈活地網絡服務引入Ironic管理物理機集群資源uu關鍵技術問題解決–

多Regio

n?方案02面臨問題和挑戰(zhàn)01建設需求呼和浩特資源池管理1800臺虛擬化服務器和1200臺物理裸機。堵塞嚴重規(guī)模大瓶頸：數據庫、消息隊列03

解決方案比較和選擇單Region部署Nova

Cell部署多Region部署關鍵技術問題解決–

多Regio

n?方案盡量減少Region的數量多Region間組件盡量共享關鍵技術問題解決–

靈活的組網方案01業(yè)務需求0203

解決方案面臨問題和挑戰(zhàn)組網靈活性要求高網絡運維自動化原生態(tài)的Neutron組件擴展性不夠引入混合SDN解決方案關鍵技術問題解決–

安全域的劃分呼和浩特資源池Region1Region2Region3AZ1-DMZAZ1-DMZAZ1-DMZDMZ區(qū)AZ2-COREAZ2-COREAZ2-CORE核心生產區(qū)存儲區(qū)AZ3-STORE03

解決方案01

業(yè)務需求02

面臨問題和挑戰(zhàn)原生的OpenStack技術框架缺少對安全域的支持安全域劃分借用AZ實現(xiàn)安全域的隔離關鍵技術問題解決–

物理機的管理n物理機/虛擬機統(tǒng)一調度，集中監(jiān)控。n社區(qū)版本不成熟n推動

Ironic

組件的逐步完善123中國移動私有云現(xiàn)狀私有云管理面臨的挑戰(zhàn)和解決思路私有云管理平臺技術架構思考和展望4思考和展望云已經成為電信業(yè)務的主要組成部分傳統(tǒng)電信業(yè)務需要適應云化架構l

資源整合需要重構上層業(yè)務l

云化架構追求更加高效，更加敏捷l

NFV/SDN

網絡轉型基于基礎設施的云化l

運營商的云基礎設施運營要求更高DevOps

成為主要工作模式放、借鑒、引領l

發(fā)揮主導運營商作用l

積極參與開源社區(qū)工作l

合作、共贏ll改變傳統(tǒng)電信網絡設計實施方式快速迭代，持續(xù)優(yōu)化中國移動在云計算領域的積累啟動大云研

搭建大規(guī)模云計

發(fā)布大云私有云和移動云試點國家教育云上線移動云正式發(fā)布發(fā)布大云3.0呼哈一級私有云建設發(fā)項目算實驗室1.02007.72009.12管理域2010.52011.122012.82014.62014.12Openstack轉型2016.3云計算應用（公眾服務云,企業(yè)私有云，混合云）企業(yè)網盤流媒體容災備份云化CDN政務云集成中間件應用中間件大數據中間件

電信能力中間件運營管理數據中心操作系統(tǒng)BC-DCOS存儲資源池管理計算網絡彈性文件系統(tǒng)彈性計算虛擬網絡系統(tǒng)對象存儲彈性塊存儲S云計算安全BC-Linux

(Docker）“大云”系列產品通過多項國家評測和認證擁有自主知識產權?

“大云”產品累計申請專利182項?

“大云”

產品已獲得18項計算機軟件著作權通過多項國家級測評及認證?

移動云獲得工信部“可信云”認證，成為首批可信云服務。?

移動云云主機和云存儲IaaS服務、“大云”彈性計算（BC-EC）和對象存儲（BC-oNest）的IaaS解決方案，首批通過國家標準《信息技術、云計算、參考架構》

（等同采用ISO/IEC

17789）的標準符合性評估。?

大云彈性計算（BC-EC）產品，通過國家標準《信息技術

彈性計算

應用接口》基本功能的首批標準符合性測試；大云對象存儲（BC-oNest）產品，通過國家標準《信息技術

云存儲與管理

第2部分：基于對象的云存儲應用接口》基本功能的標準符合性測試。中移大云技術社區(qū)中國移動在云計算領域的自主研發(fā)實踐大云產品商用累計部署規(guī)模超過14000臺服務器，不僅支持中國移動私有云，而且提供公有云、政務云、教育云、金融云等行業(yè)解決方案?基于OpenStac