1、FusionCloud最佳實踐Region Type II技術(shù)創(chuàng)新，變革未來本章主要講述FusionCloud 6.x Region Type II的整體方案設(shè)計。從基礎(chǔ)資源池、云服務(wù)虛機、云管理層、運維等角度闡述方案的規(guī)劃設(shè)計思路。最佳實踐模塊引導學員思考，如何將FusionCloud方案在實際項目中落地。整體方案設(shè)計基礎(chǔ)設(shè)施設(shè)計云服務(wù)虛擬機規(guī)劃設(shè)計云管理層設(shè)計運維規(guī)劃設(shè)計最佳實踐研討設(shè)計流程邏輯架構(gòu)設(shè)計私有云整體架構(gòu)物理架構(gòu)、網(wǎng)絡(luò)架構(gòu)設(shè)計物理架構(gòu)設(shè)計主要為云平臺的物理拓撲分區(qū)設(shè)計,需按照客戶的實際業(yè)務(wù)情況劃分物理區(qū)域，同時需要滿足FusionCloud的標準部署場景。網(wǎng)絡(luò)架構(gòu)設(shè)計主要設(shè)計項

2、目的整體網(wǎng)絡(luò)拓撲設(shè)計，需按照實際項目情況設(shè)計，同時需滿足FusionCloud的標準組網(wǎng)場景。部署架構(gòu)推薦部署方案管理服務(wù)器型號管理業(yè)務(wù)網(wǎng)絡(luò)被級聯(lián)形態(tài) 管理存儲 鏡像存儲mongodb業(yè)務(wù)存儲 RH2288H V5推薦分離部署不涉及IPSANUDSSSD盤IPSAN 整體方案設(shè)計基礎(chǔ)設(shè)施設(shè)計網(wǎng)絡(luò)方案設(shè)計計算子系統(tǒng)設(shè)計存儲子系統(tǒng)設(shè)計云服務(wù)虛擬機規(guī)劃設(shè)計云管理層設(shè)計運維規(guī)劃設(shè)計最佳實踐研討網(wǎng)絡(luò)整體規(guī)劃設(shè)備類型設(shè)備名稱設(shè)備型號配套方式備注交換機(TypeII 硬件SDN)核心/匯聚交換機CloudEngine 12804sCloudEngine 12808sCloudEngine 12804Clou

3、dEngine 12808推薦配套支持網(wǎng)絡(luò)自動化，VXLAN網(wǎng)關(guān)接入交換機CloudEngine 6855-48S6Q-HICloudEngine 6870-48S6CQ-EI推薦配套支持網(wǎng)絡(luò)自動化，TOR防火墻(TypeII 硬件SDN)防火墻（運營商）Eduemon 8000E-X系列推薦配套支持網(wǎng)絡(luò)自動化，NGFW防火墻（企業(yè)）USG9500系列推薦配套支持網(wǎng)絡(luò)自動化，NGFW邊界防火墻防火墻（運營商）Eduemon 1000E-N7E推薦配套防火墻（企業(yè)）USG6680推薦配套帶外管理交換機BMC交換機CE5800系列推薦配套負載均衡器負載均衡器（F5）F5 BIG-IP 2000S/

4、4000S推薦配套設(shè)備型號、OS以及插件在中國區(qū)和海外的銷售方式，由F5公司提供負載均衡器（Radware）Radware Alteon5224推薦配套不支持網(wǎng)絡(luò)自動化，僅支持手動配置網(wǎng)絡(luò)設(shè)備選型網(wǎng)絡(luò)平面規(guī)劃 (1)類型網(wǎng)絡(luò)名稱描述網(wǎng)段示例VLAN示例網(wǎng)關(guān)所在VRF是否必選級聯(lián)層OpenStackCascading_OpenStackExternal OMFusionSphere OpenStack內(nèi)部OM管理平面，與外部網(wǎng)絡(luò)相連，通過該網(wǎng)絡(luò)可以從內(nèi)部網(wǎng)絡(luò)接入外部網(wǎng)絡(luò)。/2422Manage是External APIFusionSphere OpenStack的外部API管理平面，與外部網(wǎng)絡(luò)相

5、連，通過該網(wǎng)絡(luò)可以從外部網(wǎng)絡(luò)接入內(nèi)部虛擬機執(zhí)行操作。/2423Manage是Internal BaseFusionSphere OpenStack內(nèi)部管理網(wǎng)絡(luò)。物理組網(wǎng)時，需要在交換機上為其設(shè)置VLAN，主要作用為內(nèi)部管理網(wǎng)絡(luò)互通。-24N/A是Storage0使用KVM資源時的內(nèi)部存儲平面?？捎糜诮尤隖usionStorage網(wǎng)絡(luò)。/2426N/A是OMOM_Service運維相關(guān)的網(wǎng)絡(luò)。私有云所有管理節(jié)點、網(wǎng)絡(luò)設(shè)備、服務(wù)器等所在的網(wǎng)絡(luò)平面，要求該平面能夠與全部網(wǎng)絡(luò)平面互通（除租戶平面）。/2442Manage是Public ServicePublic_Service公共組件和云服務(wù)后端。/

6、2443Manage是Heart_BeatHeart_Beat內(nèi)部心跳通信平面。/2445N/A是網(wǎng)絡(luò)平面規(guī)劃 (2)類型網(wǎng)絡(luò)名稱描述網(wǎng)段示例VLAN示例網(wǎng)關(guān)所在VRF是否必選DMZDMZ_ServiceIAAS/PAAS/SAAS等服務(wù)的前端節(jié)點，以console等方式，對外提供服務(wù)。/2440Manage是DMZ_Tenant面向租戶的11.64/10網(wǎng)絡(luò)，屬于內(nèi)部網(wǎng)絡(luò)。APIGW、安全區(qū)漏掃、網(wǎng)頁防篡改，補丁服務(wù)等服務(wù)與虛機互通時需要此網(wǎng)絡(luò)的一個地址，此網(wǎng)絡(luò)與分配租戶內(nèi)部EIP的11.64/10網(wǎng)絡(luò)三層互通。/2444Manage是專項服務(wù)OBSOBS_OMOBS服務(wù)的運維平面。/241

7、08ManageOBS必選OBS_ServiceOBS服務(wù)的業(yè)務(wù)平面。/24109ManageOBS必選OBS_InterOBS后端網(wǎng)絡(luò)，連接FusionStorage Object的后端網(wǎng)口。/22只能使用VLAN29N/AOBS必選OBS_LVS_ECMPOBS存儲設(shè)備的等價路由平面。/24303ManageOBS必選BMSprovisionBMS PXE平面/2452N/ABMS必選網(wǎng)絡(luò)平面規(guī)劃 (3)類型網(wǎng)絡(luò)名稱描述網(wǎng)段示例VLAN示例網(wǎng)關(guān)所在VRF是否必選Internal_BCMInternal_BCMCSBS的內(nèi)部通信平面。/2446N/ACSBS必選ebackup_datamov

8、erStorage_OM管理平面網(wǎng)絡(luò)。/24117ManageCSBS必選Storage_Service生產(chǎn)存儲網(wǎng)絡(luò)。/24501N/ACSBS必選Storage_backup備份存儲網(wǎng)絡(luò)。/24502N/ACSBS必選Storage_Inner內(nèi)部互聯(lián)網(wǎng)絡(luò)。/24307N/ACSBS必選AC 控制器OM_ServiceAC北向管理網(wǎng)絡(luò)，與FusionSphere OpenStack對接，與管理節(jié)點運維平面共用。/2442Manage是Public_ServiceAC南向管理網(wǎng)絡(luò)，與設(shè)備管理面對接，與公共組件和云服務(wù)服務(wù)平面共用。/2443Manage是Heart_BeatAC內(nèi)部東西向通信網(wǎng)

9、絡(luò)，與內(nèi)部心跳通信平面共用。/2445Manage是網(wǎng)絡(luò)平面規(guī)劃注意事項注意事項4001、4002分別為storage_data0、storage_data1的系統(tǒng)默認VLAN，VLAN規(guī)劃時注意避免使用這兩個VLANOBS的OBS_Inter平面VLAN必須是2-9。推薦規(guī)劃為2，若規(guī)劃為其他值，需要在存儲節(jié)點中更改虛擬網(wǎng)口ID。internal_base平面為untaginternal_base默認的網(wǎng)段為：/20如果external_OM網(wǎng)絡(luò)與裸金屬服務(wù)器的BMC網(wǎng)絡(luò)平面不通時，需要規(guī)劃BMC Base網(wǎng)絡(luò)平面。管理區(qū) 存儲TOR管理區(qū) 管理/業(yè)務(wù)TOROpenstack_APIOpen

10、stack_OMOM_Service Public_ServiceDMZ_ServiceDMZ_tenantOpenstack_InternalBase（untagged）業(yè)務(wù)VxLAN（AC自動下發(fā)）Internal_Storage0主備模式Openstack控制節(jié)點eth0eth1eth2eth3管理區(qū) 管理/業(yè)務(wù)TOR管理區(qū) 存儲TOROpenstack_APIOpenstack_OMOM_Service Public_ServiceDMZ_ServiceDMZ_tenantOpenstack_InternalBase（untagged）業(yè)務(wù)VxLAN（AC自動下發(fā)）Internal_S

11、torage0詳見備注1存儲平面管理+業(yè)務(wù)平面堆疊控制節(jié)點服務(wù)器接入設(shè)計 (管理和業(yè)務(wù)平面網(wǎng)口合布)管理區(qū) 存儲TOR管理區(qū) 管理TOROpenstack_OMOpenstack_APIInternal_base（untagged）Openstack_APIOpenstack_OMOpenstack_InternalBaseOM_Service Public_ServiceDMZ_ServiceDMZ_tenant存儲平面業(yè)務(wù)平面管理平面Internal_Storage0主備模式云服務(wù)節(jié)點eth0eth1eth2eth3管理區(qū) 管理TOR管理區(qū) 存儲TORInternal_Storage0詳見

12、備注1堆疊Openstack_OMOpenstack_APIInternal_base（untagged）Openstack_APIOpenstack_OMOpenstack_InternalBaseOM_Service Public_ServiceDMZ_ServiceDMZ_tenant云服務(wù)節(jié)點服務(wù)器接入設(shè)計 (管理和業(yè)務(wù)平面網(wǎng)口合布)計算存儲區(qū) 存儲TOR計算存儲區(qū) 管理/業(yè)務(wù)TOROpenstack_OMOpenstack_InternalBase（untagged）業(yè)務(wù)VxLAN（AC自動下發(fā)）存儲平面管理+業(yè)務(wù)平面Internal_Storage0主備模式計算節(jié)點（KVM）eth

13、0eth1eth2eth3計算存儲區(qū) 管理/業(yè)務(wù)TOR計算存儲區(qū) 存儲TORInternal_Storage0詳見備注1堆疊Openstack_OMOpenstack_InternalBase（untagged）業(yè)務(wù)VxLAN（AC自動下發(fā)）計算節(jié)點（KVM）服務(wù)器接入設(shè)計 (管理和業(yè)務(wù)平面網(wǎng)口合布)管理區(qū) 存儲TOR管理區(qū) 管理TOROpenstack_APIOpenstack_OMOM_Service Public_ServiceDMZ_ServiceDMZ_tenantOpenstack_InternalBase（untagged）Internal_Storage0主備模式Opensta

14、ck控制節(jié)點eth0eth1eth2eth3管理區(qū) 管理TOR管理區(qū) 存儲TOROpenstack_APIOpenstack_OMOM_Service Public_ServiceDMZ_ServiceDMZ_tenantOpenstack_InternalBase（untagged）Internal_Storage0詳見備注1業(yè)務(wù)區(qū) 業(yè)務(wù)TOR業(yè)務(wù)VxLAN（AC自動下發(fā)）主備/負載分擔模式eth4eth5業(yè)務(wù)區(qū) 業(yè)務(wù)TOR業(yè)務(wù)VxLAN（AC自動下發(fā)）存儲平面業(yè)務(wù)平面管理平面堆疊控制節(jié)點服務(wù)器接入設(shè)計 (管理和業(yè)務(wù)平面網(wǎng)口分離部署)管理區(qū) 存儲TOR管理區(qū) 管理TOROpenstack_O

15、MOpenstack_APIInternal_base（untagged）Openstack_APIOpenstack_OMOpenstack_InternalBaseOM_Service Public_ServiceDMZ_ServiceDMZ_tenant存儲平面業(yè)務(wù)平面管理平面Internal_Storage0主備模式云服務(wù)節(jié)點eth0eth1eth2eth3管理區(qū) 管理TOR管理區(qū) 存儲TORInternal_Storage0詳見備注1堆疊Openstack_OMOpenstack_APIInternal_base（untagged）Openstack_APIOpenstack_OMO

16、penstack_InternalBaseOM_Service Public_ServiceDMZ_ServiceDMZ_tenant云服務(wù)節(jié)點服務(wù)器接入設(shè)計 (管理和業(yè)務(wù)平面網(wǎng)口分離部署)管理區(qū) 存儲TOR管理區(qū) 管理TOROpenstack_OMOpenstack_InternalBase（untagged）Internal_Storage0主備模式Openstack控制節(jié)點eth0eth1eth2eth3管理區(qū) 管理TOR管理區(qū) 存儲TOROpenstack_OMOpenstack_InternalBase（untagged）Internal_Storage0詳見備注1業(yè)務(wù)區(qū) 業(yè)務(wù)TOR

17、業(yè)務(wù)VxLAN（AC自動下發(fā)）主備/負載分擔模式eth4eth5業(yè)務(wù)區(qū) 業(yè)務(wù)TOR業(yè)務(wù)VxLAN（AC自動下發(fā)）存儲平面業(yè)務(wù)平面管理平面堆疊計算節(jié)點（KVM）服務(wù)器接入設(shè)計 (管理和業(yè)務(wù)平面網(wǎng)口分離部署)管理+業(yè)務(wù)平面管理平面計算存儲區(qū) 管理/業(yè)務(wù)TOR管理區(qū)_管理TORCascaded_Openstack_OMCascaded_Openstack_APIInternal_base（untag）provisionIronicexternal_relay_networktunnel_bearing主備模式BMGW網(wǎng)關(guān)節(jié)點eth0eth1eth2eth3管理區(qū)_管理TOR計算存儲區(qū) 管理/業(yè)務(wù)TO

18、RIronicexternal_relay_networktunnel_bearing負載均衡Cascaded_Openstack_OMCascaded_Openstack_APIInternal_base（untag）provision堆疊主備模式裸機節(jié)點eth0eth1管理/業(yè)務(wù)TORInternal_base（untag）Provision管理/業(yè)務(wù)TORInternal_base（untag）Provision存儲TORSD100智能網(wǎng)卡管理平面SD100智能網(wǎng)卡存儲平面存儲TORSD100智能網(wǎng)卡管理平面SD100智能網(wǎng)卡存儲平面主備模式sdi0sdi1備注： 1. 裸機節(jié)點接入端口

19、初始預配置網(wǎng)絡(luò)為Internal_base（untag）平面，provision網(wǎng)絡(luò)由AC自動下發(fā)，無需預配置。2. 裸機節(jié)點接入交換機上行口需預配置放通Internal_base和provision網(wǎng)絡(luò)。3. SD100智能網(wǎng)卡僅在對接FusionStorage存儲時配置。服務(wù)器接入設(shè)計 (裸金屬節(jié)點)存儲設(shè)備接入方案IPSAN存儲接入方案FCSAN存儲接入方案整體方案設(shè)計基礎(chǔ)設(shè)施設(shè)計網(wǎng)絡(luò)方案設(shè)計計算子系統(tǒng)設(shè)計存儲子系統(tǒng)設(shè)計云服務(wù)虛擬機規(guī)劃設(shè)計云管理層設(shè)計運維規(guī)劃設(shè)計最佳實踐研討必選云服務(wù)管理服務(wù)器/存儲計算方法資源池 - 虛擬化資源池選型云服務(wù)業(yè)務(wù)節(jié)點備注云服務(wù)業(yè)務(wù)節(jié)點備注XENKVMXE

20、NKVMECS vGPU flavor VRM才支持vGPUIMS WorkSpace VRM才支持: vGPU/鏈接克隆/Linux GuestOSEVS SAP HANA Flavor VRM經(jīng)過sap認證,KVM還未支持OBS RDS（Oracle） VPC RDS(Mysql/SQL) 當前僅支持KVMSEG ServiceStage ServiceStage主推KVMEIP AS ELB vApp VFW CES VPN CTS/SMN VBS 混合云 CSBS 兩級云 CSDR 云服務(wù)管理節(jié)點 FusionGuard 資源池 - KVM計算節(jié)點設(shè)計KVM計算節(jié)點主要用于支撐業(yè)務(wù)彈性

21、云服務(wù)器，所以項目中的實際彈性云服務(wù)器的規(guī)格要求，選擇相應的KVM計算服務(wù)器。KVM計算服務(wù)器分類如下：通用計算I、 通用計算II、高性能計算I、高性能計算II、GPU虛擬化計算節(jié)點、GPU直通計算節(jié)點、SAP HANA服務(wù)器、SAP HANA存儲。資源池 - 裸金屬資源區(qū)設(shè)計裸金屬資源池需要單獨一個POD，POD內(nèi)需要包含被級聯(lián)層Openstack和BMGW。裸機服務(wù)器支持RH2288H和RH5885H兩種服務(wù)器，CPU/內(nèi)存/硬盤可按用戶需求定制。裸機分為：通用型裸機，內(nèi)存優(yōu)化型裸機，本地磁盤密集型裸機，IO優(yōu)化型裸機。OpenStackKVMPOD1OpenStackVRMPOD2Ope

22、nStackBMSPOD3OpenStackKVMPOD9KVMOpenStackVRMPOD10VRMOpenStackVMwarePOD4OpenStackVMwarePOD11VMwareOpenStackKVMPOD8VRMBMSVMwareOpenStackHANA(VRM)POD5OpenStackvGPU(VRM)POD6KVMVRMBMSVMwareOpenStackWorkspace(VRM)POD7資源池 - 資源池接入方案AZ規(guī)劃設(shè)計設(shè)計原則不同的虛擬化類型劃分成不同的AZ同一虛擬化劃分成幾個AZ采用計算池和存儲池最小原則，即如果有2個計算池都連接同1套存儲池，劃分成1個

23、AZ；如果有1個計算池連接了3套存儲池，劃分成1個AZ主機組的劃分原則是同一虛擬化下具有某些相同特質(zhì)的主機的集合，例如，主機組中的主機都是KVM虛擬化和高性能CPU約束每個openstack只能有一個裸金屬資源池（AZ）裸金屬資源池內(nèi)只能使用一組存儲資源池，可以選擇FusionStorage或FCSAN主機組的劃分最終體現(xiàn)在創(chuàng)建云主機時規(guī)格的選擇。規(guī)格的標簽需要和主機組的標簽匹配上，選擇了某個規(guī)格，就相當于選擇了對應標簽的主機組當前版本支持的標簽有限，不支持自定義標簽，具體參考軟件安裝指南配置資源規(guī)格章節(jié)5500 V3FusionStorage BlockStoragePool1OpenSta

24、ckKVM AZ1POD2主機組1OpenStackKVM AZ1POD1主機組1StoragePool1FusionStorage BlockOpenStackKVM AZ1POD3主機組1主機組2StoragePool15500 V3OpenStackKVM AZ1POD4主機組1主機組2StoragePool1FusionStorage BlockOpenStackKVM AZ1POD6StoragePool1StoragePool25500 V3OpenStackKVM AZ1POD5StoragePool1StoragePool2主機組1主機組1FusionStorage Block

25、OpenStackKVM AZ1POD8StoragePool1StoragePool25500 V3OpenStackKVM AZ1POD7StoragePool1StoragePool2主機組1主機組2主機組1主機組2KVMAZ接入方案以多Region場景為例，Region相關(guān)規(guī)劃如下：地域Region idOpenStack備注級聯(lián)層AZRegion1(主region)cn-beijing-1Beijingmanage-azaz0.dc1此樣例中配置了2個Region，每個region有一個被級聯(lián)層，每個被級聯(lián)層有兩個AZ. Global區(qū)管理虛擬機部署在主region。Region2(

26、從region)cn-shanghai-1Shanghaimanage-azaz0.dc2Region規(guī)劃網(wǎng)絡(luò)平面規(guī)劃網(wǎng)絡(luò)平面規(guī)劃內(nèi)容關(guān)鍵IP地址備注external_api子網(wǎng)、網(wǎng)關(guān)、DHCP范圍、VLAN反向代理、正向代理、SC浮動IP、級聯(lián)層OM浮動IPOpenStack OM為雙平面部署，external_api和external_om均需要配置浮動IP；FSM單平面部署，僅需要external_om平面浮動IPexternal_om子網(wǎng)、網(wǎng)關(guān)、DHCP范圍、VLAN反向代理、FSM浮動IP、告警組件浮動IP、NTP客戶端IP、級聯(lián)層OM浮動IPinternal_baseVLANN/A

27、默認使用/16網(wǎng)段，如需修改，必須在安裝OpenStack前修改配置文件tunnel_bearing子網(wǎng)、網(wǎng)關(guān)、DHCP范圍、VLANN/Astorage_data0storage_data1子網(wǎng)、網(wǎng)關(guān)、DHCP范圍、VLANN/A用于跟管理FusionStorage存儲平面互通備注：關(guān)鍵IP地址必須在對應子網(wǎng)的DHCP范圍以外，如DHCP范圍是：000，反向代理只能規(guī)劃9和154范圍內(nèi)的IP。OpenStack規(guī)劃 (1)域名規(guī)劃域名規(guī)劃規(guī)劃舉例備注本地域名級聯(lián)層本地域名Keystone:443級聯(lián)層本地域名Glance:443級聯(lián)層本地域名OpenStack可用域az0.dc0DNS服務(wù)域

28、名IP地址備注級聯(lián)層0級聯(lián)層本地域名映射為級聯(lián)層反向代理級聯(lián)層OM5級聯(lián)層OM域名映射為級聯(lián)層OM external_api平面浮動IPOBS服務(wù)2全局OBS域名映射為全局OBS IP2OBS域名映射為OBS服務(wù)IPCCS服務(wù)12CCS域名映射為CCS服務(wù)浮動IPDNS規(guī)劃OpenStack規(guī)劃 (2)配置組件配置項配置值備注glance后端存儲類型swift：無需配置OBS：OBS服務(wù)相關(guān)參數(shù)“本地存儲”無冗余機制保障可靠性，僅用于PoCcinder存儲平面參考級聯(lián)層“網(wǎng)絡(luò)平面規(guī)劃”多路徑ultrapath（華為存儲）multipath（非華為存儲）關(guān)閉（不使用多路徑）neutron安全組開

29、關(guān)開啟為所有管理節(jié)點和云服務(wù)節(jié)點添加主機組并關(guān)閉安全組開關(guān)支持vxlan網(wǎng)絡(luò)開啟默認優(yōu)先選擇vxlan網(wǎng)絡(luò)開啟配置Tunnel Bearing網(wǎng)絡(luò)平面參考級聯(lián)層“網(wǎng)絡(luò)平面規(guī)劃”External API網(wǎng)絡(luò)參考級聯(lián)層“網(wǎng)絡(luò)平面規(guī)劃”MAC池配置舉例：fa:16:3e:00:00:00對應neutron-server的base_mac配置項最后兩個字段必須為00不同region建議規(guī)劃前四個字段規(guī)劃為不同字段dvr_base_mac舉例：fa:16:3f:00:00:00cps-web無配置入口，后臺cps命令配置最后兩個字段必須為00不同region建議規(guī)劃前四個字段規(guī)劃為不同字段OpenSta

30、ck參數(shù)和開關(guān)規(guī)劃OpenStack規(guī)劃 (3)配置組件配置項配置值備注Nova虛擬機中斷注入開關(guān)關(guān)閉CPU復用比舉例：3與CPU硬件配置相關(guān)，如配置2路E5-2699V4 CPU，復用比可設(shè)置3創(chuàng)建管理主機組開啟創(chuàng)建容災站點管理主機組開關(guān)關(guān)閉默認關(guān)閉，無容災需求可保持默認是否支持冷遷移開啟在“多網(wǎng)元管理”處，為所有管理節(jié)點和云服務(wù)節(jié)點添加主機組并關(guān)閉安全組開關(guān)nova服務(wù)支持HA模式關(guān)閉默認開啟，無特殊需求可保持默認多虛擬網(wǎng)卡歸屬同一網(wǎng)絡(luò)開關(guān)開啟默認開啟，無特殊需求可保持默認調(diào)度虛擬機時支持隨機選取的主機數(shù)舉例：1默認為1，可按需調(diào)整RabbitmqRabbitmq SSL協(xié)議模式建議值：T

31、LSv1.1,TLSv1.2配置網(wǎng)絡(luò)關(guān)閉Keystoneid_no_catalogTruecps-web無配置入口，后臺cps命令配置OpenStack參數(shù)和開關(guān)規(guī)劃OpenStack規(guī)劃 (4)分類特性描述OBSswift計算服務(wù)彈性云服務(wù)器/ECS支持VMWare虛擬化不支持鏡像服務(wù)/IMS支持虛擬機鏡像服務(wù)不支持從本地上傳私有鏡像安全服務(wù)主機漏洞檢測/HVD支持主機漏洞檢測服務(wù)不支持WEB應用防火墻/HWAF主機WAF不支持主機入侵檢測/HID支持主機入侵檢測不支持網(wǎng)頁防篡改/WTP不支持程序運行認證 /ARS不支持管理服務(wù)云審計服務(wù)/CTS只支持保存7天數(shù)據(jù)企業(yè)應用服務(wù)桌面云服務(wù)/Wo

32、rkspace不支持Glance規(guī)劃設(shè)計注意：FusionCloud不支持同時使用OBS和Swift作為鏡像后端存儲，且不支持OBS和Swift互相切換。OBS和swift作為Glance后端存儲的能力對比OpenStack規(guī)劃 (5)Cinder-volume下沉Cinder-Volume下沉主要的原因是業(yè)務(wù)數(shù)據(jù)存儲如果采用FC SAN或者FusionStorage。如果Cinder-Volume放在控制節(jié)點，那么需要在管理節(jié)點上安裝HBA卡。如果是FusionStorage那么會存在管理和業(yè)務(wù)兩套FusionStorage都在控制節(jié)點上。但是Cinder-Volume需要和FusionSt

33、orage的VBS的進程進行合部。但是一臺機器只能安裝一個VBS進程。軟件安裝過程中，cinder-volume角色自動下沉部署到計算節(jié)點。Cinder-volume部署原則Openstack管理每個存儲資源池需要部署3個Cinder-volume角色。Cinder-volume需要和存儲資源池的數(shù)據(jù)面通訊。所以被級聯(lián)層Openstack用于管理存儲資源池的Cinder-volume推薦部署在3臺計算服務(wù)器上，這個3臺計算服務(wù)器需要部署image-cache分區(qū)。ComputeOS/KVM/OVSCinder-volumn1業(yè)務(wù)面存儲池（FusionStorage1）AZ_1(計算)Compu

34、teOS/KVM/OVS業(yè)務(wù)面存儲池（FC-SAN3）AZ_3(裸機)BM管理面存儲池（FusionStorage0）ControllerOS/KVM/OVSFusionStorageOpenStackFSM0OM0ComputeOS/KVM/OVSFusionStorageAZ_0(管理AZ)ACCinder-volumn0ComputeOS/KVM/OVSCinder-volumn2業(yè)務(wù)面存儲池（FC-SAN2）AZ_2(計算)ComputeOS/KVM/OVSCinder-volumn3mongodbFSM1整體方案設(shè)計基礎(chǔ)設(shè)施設(shè)計網(wǎng)絡(luò)方案設(shè)計計算子系統(tǒng)設(shè)計存儲子系統(tǒng)設(shè)計云服務(wù)虛擬機規(guī)劃

35、設(shè)計云管理層設(shè)計運維規(guī)劃設(shè)計最佳實踐研討生產(chǎn)存儲需求計算在系統(tǒng)中的各種類型的虛擬機，在計算公式中，使用“類型i虛擬機”表示。生產(chǎn)存儲容量需求計算類型i虛擬機系統(tǒng)盤容量 = (類型i虛擬機的系統(tǒng)盤空間類型i虛擬機的內(nèi)存規(guī)格值1G) 類型i虛擬機的數(shù)量系統(tǒng)盤容量總需求 = (類型i虛擬機系統(tǒng)盤容量) 130%類型i虛擬機數(shù)據(jù)盤容量 = 類型i虛擬機的數(shù)據(jù)盤空間類型i虛擬機的數(shù)量數(shù)據(jù)盤容量總需求 = (類型i虛擬機數(shù)據(jù)盤容量) 130%生產(chǎn)存儲IOPS總需求計算類型i虛擬機系統(tǒng)盤IOPS = 類型i虛擬機的系統(tǒng)盤IOPS類型i虛擬機的數(shù)量；系統(tǒng)盤IOPS總需求 = 類型i虛擬機系統(tǒng)盤IOPS類型i虛

36、擬機數(shù)據(jù)盤IOPS = 類型i虛擬機的數(shù)據(jù)盤IOPS類型i虛擬機的數(shù)量；數(shù)據(jù)盤IOPS總需求 = 類型i虛擬機數(shù)據(jù)盤IOPSOpenStack云服務(wù)/公共服務(wù)/IAM/MO等管理Region1IPSANStoragePool1OpenStack云服務(wù)/公共服務(wù)/IAM/MO等管理Region2FusionStorage BlockStoragePool1OpenStack云服務(wù)/公共服務(wù)/IAM/MO等管理Region3FC SANStoragePool1第一個場景為主推場景。管理存儲使用IPSAN主要有兩點：a.節(jié)省商務(wù)開支（FusionStorage需要單獨的license）b.IPSAN

37、相較于FusionStorage容易配置，故障點少客戶如需要非主推場景請參考版本發(fā)布文檔確認是否支持管理存儲接入方案5500 V3FusionStorage BlockStoragePool1Dorado V3 - 015500V3 - 01OpenStackKVM AZ1POD2KVM AZ25500 V3OpenStackKVM AZ1POD3StoragePool1KVM AZ2StoragePool2FusionStorage BlockOpenStackKVM AZ1POD4StoragePool1KVM AZ2StoragePool2OpenStackKVM AZ1POD1Fusi

38、onStorage Block 01KVM AZ2FusionStorage Block 02FusionStorage BlockOpenStackKVM AZ1POD6StoragePool1StoragePool25500 V3OpenStackKVM AZ1POD5StoragePool1StoragePool2OpenStackKVM AZ1POD8OpenStackKVM AZ1POD7StoragePool1StoragePool1StoragePool1StoragePool1StoragePool15500V3 - 01BMS AZ3POD95500 V3VRM AZ1Sto

39、ragePool1VMware AZ2StoragePool2OpenStackKVM AZ1FusionStorage Block 01StoragePool1StoragePool1計算存儲區(qū)存儲接入方案整體方案設(shè)計基礎(chǔ)設(shè)施設(shè)計云服務(wù)虛擬機規(guī)劃設(shè)計云管理層設(shè)計運維規(guī)劃設(shè)計最佳實踐研討云服務(wù)部署方案設(shè)計 (1)控制節(jié)點+云服務(wù)節(jié)點Cascading OpenStack云服務(wù)及組件（VM）、MO（VM）級聯(lián)1級聯(lián)2級聯(lián)3云服務(wù)1云服務(wù)21、使用5臺服務(wù)器部署，前三臺采用物理部署Openstack控制節(jié)點2、云服務(wù)虛擬機和ManageOne相關(guān)虛擬機分布在5臺節(jié)點上云服務(wù)部署方案設(shè)計 (2)計算

40、節(jié)點1、業(yè)務(wù)虛擬機使用FusionStorage作為存儲的時候，計算節(jié)點需要部署VBS才能使用FusionStorage的存儲資源。計算節(jié)點01計算節(jié)點02計算節(jié)點NFusionStorage Block(VBS)業(yè)務(wù)虛擬機管理虛擬機部署原則ComputeOS/KVM/OVSCinder-volumn1業(yè)務(wù)面存儲池（FusionStorage1）AZ_1(計算)ComputeOS/KVM/OVS業(yè)務(wù)面存儲池（FC-SAN3）AZ_3(裸機)BM管理面存儲池（FusionStorage0）ControllerOS/KVM/OVSFusionStorageOpenStackFSM0OM0Compu

41、teOS/KVM/OVSFusionStorageAZ_0(管理AZ)ACCinder-volumn0ComputeOS/KVM/OVSCinder-volumn2業(yè)務(wù)面存儲池（FC-SAN2）AZ_2(計算)ComputeOS/KVM/OVSCinder-volumn3mongodbFSM1公共組件 (1)組件類型公共組件或云服務(wù)VM組件名稱部署模式部署區(qū)域虛機數(shù)量vCPU(1:3超分)MEMSYS-DiskDATA-Disk1公共組件(必選)HA-proxyHA-Proxy主備部署Region22240100NginxNginix集群部署Region22240100LVSLVS主備部署Re

42、gion22240100DNS-InternalDNS-Internal/OM-NTP合并部署集群部署Region22240100DNS-TenantDNS-Internal/OM-NTP合并部署集群部署Region22240100NTPNTP Server(合并到DNS)集群部署Region00000ConsoleFrameworkConsole-Static集群部署Global22440100Console-Memcached和Console-Silvan-DB合并集群部署Global23440100Console-Silvan-DB(合并到Console-Memcached)主備部署Gl

43、obal00000公共組件 (2)組件類型公共組件或云服務(wù)VM組件名稱部署模式部署區(qū)域虛機數(shù)量vCPU(1:3超分)MEMSYS-DiskDATA-Disk1公共組件(必選)SDRI-SDR-Agent和I-SDR-SFTP合并集群部署Region22440200I-SDR-Controller和I-SDR-DB合并集群部署Region23440200I-SDR-DB(被I-SDR-Controller合并)主備部署Region00000I-SDR-SFTP(被I-SDR-Agent合并)主備部署Region00000CESI-CES-APISVR集群部署Region2444080I-CES-

44、Alarm合并I-CES-blueflood集群部署Region28124080I-CES-ZKMQ合并I-CES-Cassandra集群部署Region381640340I-CES-blueflood被I-CES-Alarm合并集群部署Region00000I-CES-Cassandra被I-CES-ZKMQ合并集群部署Region00000I-CES-Console集群部署Global2244080公共組件 (3)組件類型公共組件或云服務(wù)VM組件名稱部署模式部署區(qū)域虛機數(shù)量vCPU(1:3超分)MEMSYS-DiskDATA-Disk1公共組件(必選)APIGatewayI-APIGW-D

45、B(MEM)主備部署Region2344080I-APIGW-KAFKA合并I-APIGW-ASGARD集群部署Region32440300I-APIGW-ASGARD被I-APIGW-KAFKA合并集群部署Region00000I-APIGW-LB主備部署Region2244080I-APIGW-PODLB主備部署Region2224080I-APIGW-ShuBao集群部署Region4224080I-APIGW-NGXS被公共HaProxy合并主備部署Region00000CTSI-CTS-API合并I-CTS-EP集群部署Region2244080I-CTS-EP被I-CTS-API合

46、并集群部署Region00000公共組件 (4)組件類型公共組件或云服務(wù)VM組件名稱部署模式部署區(qū)域虛機數(shù)量vCPU(1:3超分)MEMSYS-DiskDATA-Disk1公共組件(必選)CTSI-CTS-Cache主備部署Region0244080I-CTS-Cassandra集群部署Region34840360I-CTS-Console集群部署Global2244080SMN(Service)I-SMN-SVR集群部署Region22440100HelpcenterHelpCenter主備部署Global2484030CCSccs-service集群部署Region224400ccs-db

47、主備部署Region2341000TaskCenterDB合并Service主備部署Region23440300Service(被DB合并)集群部署Region00000LVS01Nginx01DMZ_ServiceLVSNginx瀏覽器PortalconsoleLVS：一級負載均衡，所有云服務(wù)console訪問的入口。主備部署，向下一級Nginx集群轉(zhuǎn)發(fā)請求。Nginx：二級負載均衡，對所有云服務(wù)console提供反向代理服務(wù)。集群部署。公共服務(wù)規(guī)劃注意事項：CES-Haproxy是在安裝haproxy組件時安裝的，并非在CES服務(wù)安裝時安裝。CES-Haproxy單獨部署是因為CES數(shù)據(jù)流

48、量較大，單獨架設(shè)才能滿足該服務(wù)負載要求。需要為Haproxy預留約20個IP為云服務(wù)提供浮動IP。Public_ServiceIaaS-HAproxy01CES-HAProxy01RegionAPI GatewayConsoleIaaS_HAProxyCES_HAProxyASCTSAPIComVPCSDRCES安裝依賴運行依賴HAPROXY作為公共組件，對各個云服務(wù)提供從前端到后端的負載均衡，采用主備部署方式。目前已經(jīng)對接的服務(wù)有：彈性伸縮（AS）、組合API、任務(wù)中心（TaskCenter）、虛擬私有云（VPC）、話單（SDR）、云審計（CTS）、鏡像（IMS）、云配置服務(wù)（CCS）等。公

49、共服務(wù)規(guī)劃邏輯圖（軟件安裝指南中，各云服務(wù)的“方案簡介”中包含，主要目的是展示和周邊其他組件的對接關(guān)系）DMZ_ServicePublic_ServiceConsole-Static01Console-Static01Console-Static01Console-Silvan01Console-Static01Console-Memcached01注意事項：節(jié)點配置文件，如DMK模板中Device_onframework=xvde參數(shù)沒有，請自行添加，格式參見memcached_host0 hostname=console-memcached01 memcached_local_ip=ip.

50、memcached0 ansible_ssh_host=ip.memcached0 Device_onframework=xvde（xvde根據(jù)實際情況修改，一般為vdb，可使用fdisk l查看數(shù)據(jù)盤盤符）控制臺框架（Console Framework）是一套為各個云服務(wù)的管理控制臺頁面公用的頁面框架，顯示當前提供的所有云服務(wù)列表，提供收藏云服務(wù)的功能，提供查詢配額和顯示云服務(wù)實例的功能。（可參考軟件安裝指南中，解決方案簡介章節(jié)）公共服務(wù)規(guī)劃DMZ_ServiceOM_ServiceOM_NTP*2OM_DMZ*2OM_DMZ*2DMZ_Tenant網(wǎng)絡(luò)時間協(xié)議（Network Time P

51、rotocol, NTP），它是用來同步網(wǎng)絡(luò)中各個計算機的時間的協(xié)議。 NTP服務(wù)器為私有云中的公共服務(wù)提供時間同步。公共服務(wù)規(guī)劃OM_ServiceDNS-Internal_1DNS-Internal_2DNS-Internal作為公共組件，是公有云內(nèi)部域名服務(wù)器，提供公有云內(nèi)部服務(wù)直接的域名解析服務(wù)。注意事項：1、域名與ip對應關(guān)系建議提前規(guī)劃做好表格，填錯直接影響后續(xù)服務(wù)可用性公共服務(wù)規(guī)劃Public_ServiceConsole-Static01TaskCenter-DB01Console-Static01TaskCenter-Service01TaskCenter ServerDB(

52、主）LB(HA Proxy)ECS/VBS/IMS等DB（備）浮動IPECS/VBS/IMS ConsoleTaskCenter ServerTaskCenter作為公共組件，對創(chuàng)建中的云服務(wù)資源進行臨時存儲，用于解決創(chuàng)建時間較長的云服務(wù)資源在創(chuàng)建后不能快速在頁面看到的問題，提升用戶體驗。目前已經(jīng)對接的服務(wù)有：彈性云服務(wù)器、云硬盤備份、彈性負載均衡、鏡像、VPC（創(chuàng)建EIP）、裸金屬服務(wù)器公共服務(wù)規(guī)劃注意事項：DMZ_Tenant網(wǎng)絡(luò)需要與DMK虛擬機所在網(wǎng)絡(luò)（Om_Service）互通DMZ_Tenant網(wǎng)絡(luò)需要與業(yè)務(wù)external relay network網(wǎng)絡(luò)互通API網(wǎng)關(guān)節(jié)點簡介Ng

53、inx負載均衡、接收&轉(zhuǎn)發(fā)請求Shubao透傳功能Kafka&Zookeeper處理流控消息的消息隊列Asgard統(tǒng)計流量節(jié)點Memcached流量計數(shù)緩存Silvan&DB數(shù)據(jù)庫，存儲透傳數(shù)據(jù)、流控數(shù)據(jù)DMZ_ServicePublic_ServiceSB01DMZ_TenantKfk01NGX01DB01Asg01LB01LB03表1：節(jié)點介紹DMZGlobalRegionPod公網(wǎng)HTTPSShubao（SB01、SB02、SB03、SB04）Kafka&Zookeeper(Kafka01、Kafaka02、kafka03)Asgard(Asgard01、Asgard02)Nginx(N

54、GX01、NGX02)Nginx(LB01、LB02)Silvan&DB(DB01、DB02)Nginx(LB03、LB04)Memcached(DB01、DB02)IAMPaaSIaaSOpenstack APIPOD區(qū)請求安裝依賴運行依賴API網(wǎng)關(guān)提供API的管理以及API的內(nèi)外網(wǎng)隔離。用戶訪問各服務(wù)的API時，不是通過直接調(diào)用各服務(wù)的API接口，而是各服務(wù)的API先在API網(wǎng)關(guān)上進行注冊，通過API網(wǎng)關(guān)將服務(wù)API暴露給用戶訪問。這樣可以屏蔽一些非法請求，并防止內(nèi)部的管理API暴露。公共服務(wù)規(guī)劃CES是一個包含多種分布式子集群、支持不同規(guī)格的系統(tǒng)。DMZ_ServicePublic_Se

55、rviceCES-ConsoleCES-APISERServiceBillingCES-KafkaCES-AlarmCES-HaproxyCES-BluefloodServiceBillingCES-Cassandra云監(jiān)控服務(wù)（Cloud Eye）是一個開放性的監(jiān)控平臺，可提供資源的監(jiān)控、告警、通知等服務(wù)。目前可以監(jiān)控彈性云服務(wù)器、云硬盤、虛擬私有云、關(guān)系型數(shù)據(jù)庫、彈性負載均衡、彈性伸縮服務(wù)和分布式緩存服務(wù)的相關(guān)指標，用戶可以為這些指標設(shè)置告警規(guī)則和通知策略，以便及時了解各服務(wù)的實例資源運行狀況和性能。公共服務(wù)規(guī)劃OracleOracleCTScassandra*3（集群部署）OracleO

56、racleDMZ_ServicePublic_ServiceCTS console*2（集群部署）CTS API*2（集群部署）CTS EP*2（集群部署）云資源操作云審計服務(wù)鏡像服務(wù) OBS桶創(chuàng)建鏡像查看事件事件上報存儲事件云審計服務(wù)（Cloud Trace Service，CTS），為您提供云服務(wù)資源的操作記錄，供您查詢、審計和回溯使用。公共服務(wù)規(guī)劃計量話單邏輯節(jié)點圖SDR-ControllerSDR-AgentPublic_ServiceSDR-AgentSDR-ControllerSDR-SFTPSDR-SFTPSDR-DBSDR-DB計量話單（Service Detail Recor

57、d，SDR）包括兩種類型節(jié)點：業(yè)務(wù)節(jié)點和數(shù)據(jù)庫節(jié)點。其中，業(yè)務(wù)節(jié)點包括三類：controller節(jié)點、agent節(jié)點和sftp節(jié)點。公共服務(wù)規(guī)劃DMZ_ServicePublic_ServiceSMN-Console02SMN-Console01SMN-NS-LB02SMN-NS-LB01SMN-PS02SMN-PS01SMN-KFK-ZK02SMN-KFK-ZK01SMN-KFK-ZK02SMN-KFK-ZK01SMN-KFK-ZK02SMN-KFK-ZK01消息通知服務(wù)（SMN：Simple Message Notification）是可靠，可擴展，海量的消息處理服務(wù)。它大大簡化系統(tǒng)的耦合

58、，能夠根據(jù)用戶的需求，向訂閱者主動推送消息，訂閱者可以是移動設(shè)備，電子郵件，短信，應用等等。公共服務(wù)規(guī)劃IaaS+服務(wù)組件類型公共組件或云服務(wù)VM組件名稱部署模式部署區(qū)域虛機數(shù)量vCPU(1:3超分)MEMSYS-DiskDATA-Disk1IAAS+服務(wù)(必選)ECS-Console(含ECS, EVS, BMS, IMS,前端)ECS-Console集群部署Global2244080VPCVPC服務(wù)集群集群部署Region32440100VPC的LVS集群部署Region02440100VPC流量采集模塊集群部署Region02440200VPC數(shù)據(jù)庫集群主備部署Region2444030

59、0console集群部署Global22440100APICom(含ECS, EVS, BMS后臺)組合API服務(wù)集群部署Region34840100組合API數(shù)據(jù)庫主備部署Region28840300IMSimcs主備部署Region224402000OracleCascading_external_apiService*2（集群部署）DB*2（主備部署）CCS云配置服務(wù)是基于私有云提供接入第三方云資源的云服務(wù)，該服務(wù)具有提供跨云統(tǒng)一管理和跨云部署的能力 。IaaS+服務(wù)規(guī)劃Public_ServiceConsole-Static01APICom-DB01Console-Static01AP

60、ICom-01組合API為彈性云服務(wù)器、云硬盤和鏡像等服務(wù)提供后臺服務(wù)，可以理解為Console的服務(wù)端。IaaS+服務(wù)規(guī)劃DMZ_ServicePublic_ServiceConsole-Static01I-ECM-Console01Console-Static01I-ECM-Console02ECS_UI是以云服務(wù)器為中心，對相關(guān)資源進行管理的Console控制臺。包含服務(wù)：彈性云服務(wù)器、裸金屬服務(wù)器、云硬盤、云硬盤備份、鏡像、彈性伸縮、彈性負載均衡、密鑰對、云服務(wù)器組。IaaS+服務(wù)規(guī)劃DMZ_ServicePublic_ServiceVPC consoleVPC serviceVPC