OpenStack之高級(jí)運(yùn)用（一OpenStack之高級(jí)運(yùn) 一、OpenStackmutil- 1、mutil-hypervirsor簡(jiǎn) 2、OpenStack支持哪些虛擬化平 3、OpenStack配置mutil- Prerequisitesand 配置openstackmutil- 二、擴(kuò)展云—Nova之Region,Cell,AvailabilityZone,HostAggregates 1、概念解 2、AvailabilityZone和HostAggregatesZone的使用方 AvailabilityZone使用方 HostAggregatesZone的使用方 三、Keystone高可靠性部署與性能測(cè) 1、概念解 2、部 3、配 4、基準(zhǔn)配置 5、結(jié) 四、OpenStack企業(yè)云平臺(tái)實(shí) 1 一、OpenStackmutil-OpenStack的最多的一個(gè)問(wèn)題是：同一個(gè)OpenStack集群能同時(shí)支持多種虛擬化技術(shù)么1、mutil-hypervirsor簡(jiǎn)2.某些虛擬化產(chǎn)品要求高額的License，無(wú)疑加重了用戶的財(cái)政開銷；3.單個(gè)虛擬化產(chǎn)品的功能不滿足用戶所有的需求。隨著虛擬化技術(shù)越來(lái)越成熟，mutil-hypervisor的需求場(chǎng)景變得越來(lái)越常見，但是往OpenStack集群增添其它虛擬化技術(shù)前，需要慎重全面的考慮它帶來(lái)的及更為復(fù)雜的架構(gòu)。OpenstackQemu-Kvm虛擬化平臺(tái)。但是大量的企業(yè)已經(jīng)采用了其它的虛擬化平臺(tái)，比如：Xen，ESXI等。并且企業(yè)不愿意去更改已有的IT架構(gòu)設(shè)施，因此OpenStack需要支持mutil-hypervirsor。2、OpenStack支持哪些虛擬化平 puteKVM-Qemu–Kernel-basedVirtualMachine.ThevirtualdiskformatsthatitsupportsisinheritedfromQEMUsinceitusesamodifiedQEMUprogramtolaunchthevirtualmachine.Thesupportedformatsincluderawimages,theqcow2,andVMwareformats.LXC–LinuxContainers(throughlibvirt),usetorunLinux-basedvirtualQEMU–QuickEMUlator,generallyonlyusefordevelopmentUML–UserModeLinux,generallyonlyusefordevelopmentVMwarevSphere4.1update1andnewer,runsVMware-basedLinuxandWindowsimagesthroughaconnectionwithavCenterserverordirectlywithanESXihost.Xen–XenServer,XenCloudtform(XCP),usedtorunLinuxorWindowsvirtualmachines.Youmustinstall puteserviceinHyper-V–Servervirtualizationwith ’sHyper-V,usetorunWindows,Linux,andBSDvirtualmachines.Runs putenativelyontheWindowsvirtualizationtform.Ironic–Notahypervisorinthetraditionalsense,thisdriverprovisionsphysicalhardwarethroughpluggablesub-drivers(forexample,PXEforimagedeployment,andIPMIforpowermanagement).Docker-usetomanage關(guān)于更多hypervisor詳情，請(qǐng)參見3、OpenStackmutil-我們以VMwareESXIhypervisor為例，闡述如何配置OpenStack使之在采用KVMhypervisor的場(chǎng)景下再支持VMwareESXIhypervisor。在配置mutil-hypervisor環(huán)境前，我們假定您已經(jīng)部署了一套采用KVM的OpenStack集群(Havana及以后版本)ESXIVcenter5.5集群。OpenStackVMwarevSphere系列產(chǎn)品，并且能夠使用它的一些高級(jí)功能，比如：vMotion,高可用，動(dòng)態(tài)資源調(diào)度。下為mutil-hypervisor的架構(gòu)圖：從上圖可知：VMwarevCentoropenstack集群中，我們需要新增一個(gè)compute-node節(jié)點(diǎn)，通過(guò)compute-node節(jié)點(diǎn)管理vCentor節(jié)點(diǎn)。一個(gè)pute只能管理一個(gè)vCentor集群，我們可以往單個(gè)vCentorESXIhostvCentor需要兩個(gè)pute節(jié)點(diǎn)，分別管理對(duì)于的vCentor集群。注KVM等這些基于Linux內(nèi)核的hypervisors不同，vSphere集成到OpenStackvCenterServerESXIhost，其管理的虛擬機(jī)運(yùn)行在ESXIhost上，而非pute節(jié)點(diǎn)上。OpenStackpute節(jié)點(diǎn)之能夠支持一種虛擬化平臺(tái)，因此mutil-hypervirsor需要多個(gè)putePrerequisitesandDRS(DynamicResourcescheduler:DRSSharedstoragevCentor集群必須支持共享Clustersanddatastores:vCenter下虛擬機(jī)的必須由vCenter管理的 VMware支持通過(guò)nova-network或者neutron管理vCenterrnova-networkThenova-networkservicewiththeFlatManagerorFlatDHCPManagerThenova-networkservicewiththeFlatManagerorFlatDHCPManager:Createaportgroupwiththesamenameastheflat_network_bridgevalueinthenova.conffile.Thedefaultvalueisbr100.Ifyouspecifyanothervalue,thenewvaluemustbeavalidlinuxbridgeidentifierthatadherestolinuxbridgenamingconventions.AllVMNICsareattachedtothisportgroup.Ensurethattheflatinterfaceofthenodethatrunsthenova-networkservicehasapathtothisnetwork.WhenconfiguringtheportbindingforthisportgroupinvCenter,specifyephemeralfortheportbindingtype.Formoreinformation,seeChoosingaportbindingtypeinESX/ESXiintheVMwareKnowledgeBase.Securitygroups.nova-network，securitygroupsneutronVNC.KVM默認(rèn)5900–6000端口用于虛擬機(jī)vnc。ESX則采用5900-6105SSHKeys:vCenterSSHkeysopenstackmutil- novavmwarenova.confsdl#(optional)nova.confvnc、AMQPnovavmware1安裝nova-network制作vmdk鏡像，并上傳至$qemu-imgconvert-fqcow2/Downloads/ubuntu.img-Ovmdk$glanceimage-create–nameubuntu–is-public=True–container-format=bare–disk-format=vmdk–propertyvmware-disktype=”sparse”–propertyvmware-adaptertype=”lsiLogic”–propertyhypervisor_type=”vmware”<至此，openstackmutil-hypervisor環(huán)境配件完畢，試試在ESXnode創(chuàng)建第二、擴(kuò)展云—NovaRegion,Cell,AvailabilityZone,Host1、概念解AWS的功能，openstack引Region，Cell，AvailabilityZone(AZ)HostAggregatesZone(HAZ)四個(gè)概念，其中Region和AZ是從公有云大哥AWS引入，Cell是為了擴(kuò)充一個(gè)Region下的集群的規(guī)模而引入的，HostAggregates個(gè)概念均和集群部署相關(guān)，某些地方含義有相近之處，對(duì)于初學(xué)openstack的童鞋來(lái)說(shuō)容易和模糊，本文將詳細(xì)分析這四個(gè)概念。Region>Cell>AvailabiliyZone>Host顧名思義，Region直譯過(guò)來(lái)就是區(qū)域，地域的概念，而事實(shí)上，AWS按地域(國(guó)家或者城市)設(shè)置一個(gè)Region，每個(gè)Region下有多個(gè)AvailabilityZone。Openstack同樣支持Region用戶可以選擇特定的Region來(lái)部署服務(wù)。各個(gè)Region之間的計(jì)算資源、網(wǎng)絡(luò)資源、資源都是獨(dú)立的，但所有Region共享賬戶用戶信息，因?yàn)镵eystoneopenstackKeystone全局唯一，所有Region共個(gè)Keystone，Keystoneendpoint中了各個(gè)Region的URL。，Cell概念的引入，是為了擴(kuò)充單個(gè)Region下的集群規(guī)模，主要解決AMQPDatabaseRegionopenstack集群都有自己的消息中間件和數(shù)據(jù)庫(kù)，當(dāng)計(jì)算節(jié)點(diǎn)達(dá)到一定規(guī)模(和IBM，easystack等交流的數(shù)據(jù)RegionRegionCellCell維護(hù)自己的數(shù)據(jù)庫(kù)和消息中間件，所有Cell共享本Region下的nova-api，共享全局唯一的Keystone。，官網(wǎng)手冊(cè)提到Cell不成熟（Consideredexperimental，巴黎也提到Cell的痛點(diǎn)，雖然現(xiàn)在已進(jìn)入K版本迭發(fā)中了，但是本人還未聽說(shuō)業(yè)界成熟使用Cell的案例。關(guān)于Cell更詳細(xì)的介紹，請(qǐng)參考以下 /cloud/library/1409zhaojianAvailabilityZone&HostAggregatesAZHAZAWSRegionAZ。OpenstackAZ的概念，我個(gè)人理AZAZ，把該AZdown戶創(chuàng)建虛擬機(jī)時(shí)，可以明確在哪個(gè)AZ，用戶可以通過(guò)在多個(gè)AZ創(chuàng)建虛擬HAZZone中，HAZ可以AZ進(jìn)一步細(xì)分，一個(gè)AZ可以有多個(gè)HAZHAZ下的機(jī)器都具有某種共同的屬性，比如高性能計(jì)算，高性能(SSD)，高性能網(wǎng)絡(luò)(支持SRIOV等)。HAZ和AZ另一個(gè)不同之處在于HAZ對(duì)用戶不是明確可見的，用戶在創(chuàng)AZHAZInstanceFlavor中設(shè)置相關(guān)屬性，由nova-scheduler調(diào)度根據(jù)該調(diào)度策略調(diào)度到滿足該屬性的的HostAggregatesZones中。2、AvailabilityZoneHostAggregatesZone的使AvailabilityZone使用方NovaHAZAPIAZHAZAZ$ | | |Availability | | |3||AZ-|||創(chuàng)建好AZ后，把計(jì)算節(jié)點(diǎn)加入到該HAZ，因?yàn)镠AZ屬于AZ，因此新增的計(jì)算節(jié)點(diǎn)也屬于該AZ$ +——+————+————————+————————+—————————————|Id |Name |AvailabilityZone |Hosts +——+————+————————+————————+—————————————| |HAZ- |AZ- |[u'compute- +——+————+————————+————————+—————————————?jiǎng)?chuàng)建虛擬機(jī)時(shí)，指定AZnovaboot–flavorm1.small–imagecirros–availability-zoneAZ-01HostAggregatesZone的使用方法配置nova.conf | | |Availability |Hosts| | |HAZ- | Metadata novaaggregate-set-metadata4 |4 |HAZ-SSD |None |[] |{u'ssd': 添加計(jì)算節(jié)點(diǎn)到 novaaggregate-add-host4|Id |Name |AvailabilityZone |Hosts |5 |HAZ-SSD |None |[u'compute02']|{u'ssd': novaflavor-createm1.ssdauto4096102–is-public+———+————+——————+———+—————+———+———+—————+————+——————| | |Memory_MB| |Ephemeral| ||RXTX_Factor|Is_Public| +———+————+——————+———+—————+———+———+—————+————+——————| |0||||||+———+————+——————+———+—————+———+———+—————+————+——————flavor novaflavor-keym1.ssdset novaflavor-show+———+————+——————+———+—————+———+———+—————+————+———————| | |Memory_MB| |Ephemeral| ||RXTX_Factor|Is_Public| +———+————+——————+———+—————+———+———+—————+————+——————— |2 |1.0 |True |{u'ssd':u'true'}|+———+————+——————+———+—————+———+———+—————+————+———————m1.ssdnovaboot–flavorm1.ssd–imagecirros三、Keystone高可靠性部署與性能測(cè)1、概念解KeystoneRegion為跨地域的Openstack集群提供了統(tǒng)一的認(rèn)證和用戶租戶OpenstackHavanaIcehousenova-network集群，又有Neutron集群，如下圖：為了集中管理，全局共個(gè)KeystoneServer,因此對(duì)KeystoneServer的安安全性通過(guò)SSL實(shí)現(xiàn)和防止DDOS實(shí)現(xiàn)，tempest測(cè)試表明Keystone具有很高的向后兼容性，可靠性通過(guò)Apache、Ha、mysqlcluster實(shí)現(xiàn)（關(guān)于openstack整體HA的實(shí)現(xiàn)，可以參 ，2、部物理主機(jī)信 2424說(shuō)明：若無(wú)注明，keystone01keystone02#-mysqlmysql-serverMySQL-#-#-#-#-#-#-#-3、配 NameVirtualHost*:5000NameVirtualHost*:5000<VirtualHost*:5000><VirtualHost*:5000>WSGIScriptAlias/main/var/www/cgi-bin/keystone/mainErrorLog/var/log/keystone/apache2-main-error.logLogLeveldebugNameVirtualHost*:35357<VirtualHost*:35357>WSGIScriptAlias/admin/var/www/cgi-bin/keystone/adminErrorLog/var/log/keystone/apache2-admin-error.logLogLeveldebuglog timeoutserver10stimeoutconnect10s modehttpoptionforwardforloggloballistenmodebindpublic_ip:8000statsenablestatsstatsauth/\statsadminiffrontendfrontendbindpublic_ip:443sslcrt/etc/ha reqaddX-Forwarded-Proto:\httpsacladmin_pathpath_beg/adminaclmain_pathpath_beg/mainuse_backendadmin_backendifadmin_pathuse_backendmain_backendifmain_pathbalanceroundrobinredirectschemehttpsif!{ssl_fcserverkeystone-server-01internal_ip01:35357checkinter10sserverkeystone-server-02internal_ip02:35357checkinterbalanceredirectschemehttpsif!{ssl_fcserverkeystone-server-01internal_ip01:5000checkinter10sserverkeystone-server-02internal_ip02:5000checkintervrrp_scriptvrrp_script-checkscript"killall-0 intervalweight}vrrp_instanceopenstack-vip{stateMASTERpriority102advert_int3virtual_ipaddress{}#keystone01為MASTER,keystone02 -}}# #cp # #servicehttpdstart#chkconfighttpdonkeystone-managessl_setup--keystone-userkeystone--keystone-group #cat/etc/keystone/ssl/certs/keystone.pem/etc/keystone/ssl/private/keystonekey.pem>/etc/ha/keystone_https.pem 時(shí)把keystone_https.pem拷貝至keystone02/etc/ha/ #(crontab-l-ukeystone2>&1|grep-qtoken_flush)||echo'@dayly/usr/bin/keystone-managetoken_flush>/var/log/keystone/keystone-tokenflush.log2>&1'>>#echo "net.ipv4.ip_nonlocal_bind=1" #sysctl #service hastart#chkconfig haon#service # 4、基準(zhǔn)配置關(guān)于 ，參見 性能測(cè)# # -# #rally #rally (rally)[root@controllerrally]#cat2."type":"auth_url":""admin":"username":"password":"tenant_name":10.}1. "args":"name_length": "runner":"type":"times": 14.5、結(jié)注：以創(chuàng)建用戶為例，一個(gè)并發(fā)數(shù)(Concurrency)，包含兩個(gè)HTTPS請(qǐng)求（一個(gè)token，另一個(gè)為創(chuàng)建用戶mysql(單點(diǎn)keystoneserver的并發(fā)性能。四、OpenStack企業(yè)云平臺(tái)實(shí)《OpenStackOpenStack的咨8章。性能對(duì)于OpenStack云平臺(tái)，主機(jī)、和網(wǎng)絡(luò)的需求和傳統(tǒng)IT環(huán)境是一樣的OpenStackGanglia。Ganglia需要在各個(gè)節(jié)點(diǎn)運(yùn)行客戶端程序，在中心節(jié)點(diǎn)部署服務(wù)器進(jìn)程，