云計(jì)算虛擬化技術(shù)解讀（1）胡經(jīng)國本文作者的話本文是根據(jù)有關(guān)文獻(xiàn)和資料編寫的《漫話云計(jì)算》系列文稿之一?，F(xiàn)作為云計(jì)算學(xué)習(xí)筆錄，奉獻(xiàn)給云計(jì)算業(yè)外讀者，作為進(jìn)一步學(xué)習(xí)和研究的參考。希望能夠得到大家的指教和喜歡！下面是正文本文主要內(nèi)容涉及虛擬化及其層次、虛擬化方式選擇、虛擬化管理、數(shù)據(jù)中心虛擬化。一、虛擬化及其層次虛擬化，是指在同一臺物理機(jī)器上模擬多臺虛擬機(jī)的能力。每臺虛擬機(jī)，在邏輯上擁有獨(dú)立的處理器、內(nèi)存、硬盤和網(wǎng)絡(luò)接口。使用虛擬化技術(shù)，能夠提高硬件資源的利用率，使得多個(gè)應(yīng)用能夠運(yùn)行在同一臺物理機(jī)上，各自擁有彼此隔離的運(yùn)行環(huán)境。虛擬化也有不同的層次。例如，硬件層面虛擬化和軟件層面虛擬化。（下圖中：Application:應(yīng)用（程序）OperatingSystem:操作系統(tǒng)VMwareVirtualizationLayer：VMware虛擬化層次IntelArchitecture:英特爾架構(gòu)CPU:中央處理器Memory:內(nèi)存NIC：網(wǎng)卡Disk:磁盤、硬盤）鏈接：VMwareVMware（中文名威睿，紐約證券交易所代碼VMW）是一家虛擬機(jī)軟件公司的英文名稱。該公司是全球桌面到數(shù)據(jù)中心虛擬化解決方案的領(lǐng)導(dǎo)廠商。全球不同規(guī)模的客戶依靠VMware來降低成本和運(yùn)營費(fèi)用、確保業(yè)務(wù)持續(xù)性、加強(qiáng)安全性并走向綠色。2008年，VMware年收入達(dá)到19億美元，擁有逾150000的用戶和接近22000多家合作伙伴，是增長最快的上市軟件公司之一。VMware總部設(shè)在加利福尼亞州的帕羅奧多市（PaloAlto）。1、硬件層面虛擬化硬件層面虛擬化，是指通過模擬硬件的方式，獲得一個(gè)類似于真實(shí)計(jì)算機(jī)的環(huán)境，可以運(yùn)行一個(gè)完整的操作系統(tǒng)。硬件層面虛擬化，又可分為不同的實(shí)現(xiàn)方式，例如：⑴、FullVirtualization（全虛擬化）幾乎是完整地模擬一套真實(shí)的硬件設(shè)備。大部分操作系統(tǒng)無須進(jìn)行任何修改即可直接運(yùn)行在全虛擬化環(huán)境中。⑵、PartialVirtualization（部分虛擬化）僅僅提供了對關(guān)鍵性計(jì)算組件或者指令集的模擬。操作系統(tǒng)可能需要做某些修改才能夠運(yùn)行在部分虛擬化環(huán)境中。⑶、Paravirtualization（半虛擬化）不對硬件設(shè)備進(jìn)行模擬，虛擬機(jī)擁有獨(dú)立的運(yùn)行環(huán)境，通過虛擬機(jī)管理程序共享底層的硬件資源。大部分操作系統(tǒng)需要進(jìn)行修改才能夠運(yùn)行在半虛擬化環(huán)境中。在硬件虛擬化層面，現(xiàn)代的虛擬化技術(shù)通常是全虛擬化和半虛擬化的混合體。常見的虛擬化技術(shù)，例如VMWare、Xen和KVM，都同時(shí)提供了對全虛擬化和半虛擬化的支持。以硬件虛擬化的方式所提供的虛擬機(jī)，通常都在運(yùn)行一個(gè)完整的操作系統(tǒng)，在同一臺宿主機(jī)上存在大量相同或者相似的進(jìn)程和內(nèi)存頁。從而，導(dǎo)致明顯的性能損耗。目前，通過KSM等技術(shù)，可以識別與合并含有相同內(nèi)容的內(nèi)存頁。但是，還沒有對大量相同或者相似的進(jìn)程進(jìn)行優(yōu)化處理的有效手段。因此，硬件虛擬化，也往往被稱為重量級虛擬化。在同一宿主機(jī)上，能夠同時(shí)運(yùn)行的虛擬機(jī)數(shù)量，是相當(dāng)有限的。鏈接：宿主機(jī)和目標(biāo)機(jī)宿主機(jī)，是指安裝虛擬機(jī)軟件的計(jì)算機(jī)。目標(biāo)機(jī)，是指除了宿主機(jī)、虛擬機(jī)以外的網(wǎng)絡(luò)上的第三方機(jī)器。鏈接：KSM技術(shù)KSM（KernelSharedMemory或KernelSamepageMerging，內(nèi)核共享內(nèi)存或內(nèi)核相同頁合并）技術(shù)。對于KVM虛擬化，有一個(gè)功能就是內(nèi)存合并。簡單說，就是把相同的內(nèi)存合并，這樣可以讓你的物理機(jī)運(yùn)行更多的虛擬機(jī)。KVM就是KeyboardVideoMouse（鍵盤、視頻、鼠標(biāo)）的縮寫。KVM交換機(jī)通過直接連接鍵盤、視頻和鼠標(biāo)端口，讓您能夠訪問和控制計(jì)算機(jī)。2、軟件層面虛擬化軟件層面虛擬化，往往是指在同一個(gè)操作系統(tǒng)實(shí)例的基礎(chǔ)上，提供多個(gè)隔離的虛擬運(yùn)行環(huán)境，也常常被稱為容器技術(shù)。在軟件虛擬化層面，同一宿主機(jī)上的所有虛擬機(jī)，共享同一個(gè)操作系統(tǒng)實(shí)例，不存在由于運(yùn)行多個(gè)操作系統(tǒng)實(shí)例所造成的性能損耗。因此，軟件虛擬化也往往被稱為輕量級虛擬化。在同一宿主機(jī)上，能夠同時(shí)運(yùn)行的虛擬運(yùn)行環(huán)境數(shù)量，是比較寬松的。以Solaris操作系統(tǒng)上的Container（容器）為例，一個(gè)Solaris操作系統(tǒng)的實(shí)例，理論上可以支持多達(dá)8000個(gè)Container（實(shí)際能夠運(yùn)行的Container數(shù)量取決于系統(tǒng)資源和負(fù)載）。與此類似，Linux操作系統(tǒng)上的LXC，可以輕松地在同一宿主機(jī)上同時(shí)支持?jǐn)?shù)量可觀的虛擬運(yùn)行環(huán)境。鏈接：容器技術(shù)由于hypervisor（虛擬機(jī)監(jiān)控程序）虛擬化技術(shù)仍然存在一些性能和資源使用效率方面的問題，因而出現(xiàn)了一種稱為容器技術(shù)（Container）的新型虛擬化技術(shù)來幫助解決這些問題。鏈接：LXCLXC（LinuxContainer,Linux容器），是一種內(nèi)核虛擬化技術(shù)，可以提供輕量級的虛擬化，以便隔離進(jìn)程和資源，而且不需要提供指令解釋機(jī)制以及全虛擬化的其他復(fù)雜性。二、虛擬化方式選擇在虛擬化這個(gè)領(lǐng)域，國內(nèi)的公司對硬件虛擬化的興趣較大。在研發(fā)和生產(chǎn)環(huán)境中，也大都采用硬件虛擬化技術(shù)。淘寶，是國內(nèi)較早地研究并應(yīng)用軟件虛擬化技術(shù)的。淘寶主站的實(shí)踐經(jīng)驗(yàn)表明，使用cgroup替代Xen，能夠提升資源利用率。鏈接：CgroupsCgroups（Controlgroups，對照組），是Linux內(nèi)核提供的一種可以限制、記錄、隔離進(jìn)程組（processgroups）所使用的物理資源（如：cup，memory，IO等等）的機(jī)制。最初由Google的工程師提出，后來被整合進(jìn)Linux內(nèi)核。Cgroups也是LXC為實(shí)現(xiàn)虛擬化所使用的資源管理手段，可以說沒有Cgroups就沒有LXC。鏈接：XenXen，是一個(gè)開放源代碼虛擬機(jī)監(jiān)視器，由劍橋大學(xué)開發(fā)。它打算在單個(gè)計(jì)算機(jī)上運(yùn)行多達(dá)100個(gè)滿特征的操作系統(tǒng)。操作系統(tǒng)必須進(jìn)行顯式地修改（移植），以便在Xen上運(yùn)行（但是提供對用戶應(yīng)用的兼容性）。這使得Xen無需特殊硬件支持，就能達(dá)到高性能的虛擬化。至于在一個(gè)實(shí)際的應(yīng)用場景中，到底應(yīng)該選擇硬件虛擬化還是軟件虛擬化，應(yīng)該重點(diǎn)考慮最終用戶是否需要對操作系統(tǒng)的完全控制權(quán)（例如升級內(nèi)核版本）。如果最終用戶僅僅需要對運(yùn)行環(huán)境的控制權(quán)（例如PaaS層面的各種AppEngine服務(wù)），軟件虛擬化可能性價(jià)比更高。對于為同一應(yīng)用提供橫向擴(kuò)展能力的應(yīng)用場景，軟件虛擬化也是比較好的選擇。對于需要深入了解虛擬化技術(shù)的技術(shù)人員來說，VMWare發(fā)表的白皮書《UnderstandingFullVirtualization,Paravirtualization,andHardwareAssist》是一份很好的參考資料。通常來講，能夠直接使用虛擬化技術(shù)的用戶數(shù)量是比較少的。以Linux操作系統(tǒng)為例，能夠進(jìn)行虛擬機(jī)生命周期管理的用戶，一般就是具有訪問libvirt權(quán)限的用戶。在一個(gè)公司或者其他實(shí)體中，這些用戶通常是系統(tǒng)管理員。鏈接：libvirtlibvirt是一套免費(fèi)、開源的支持Linux下主流虛擬化工具的C函數(shù)庫，其旨在為包括Xen在內(nèi)的各種虛擬化工具提供一套方便、可靠的編程接口。三、虛擬化管理1、兩種管理情況早期的虛擬化技術(shù)，解決的是在同一臺物理機(jī)上提供多個(gè)相互獨(dú)立的運(yùn)行環(huán)境的問題。當(dāng)需要管理的物理機(jī)數(shù)量較小時(shí)，系統(tǒng)管理員可以手動(dòng)登錄到不同的物理機(jī)上，進(jìn)行虛擬機(jī)生命周期管理（資源配置、啟動(dòng)、關(guān)閉等等）。當(dāng)需要管理的物理機(jī)數(shù)量較大時(shí)，就需要寫一些腳本/程序，來提高虛擬機(jī)生命周期管理的自動(dòng)化程度。2、虛擬化管理工具以管理和調(diào)度大量物理/虛擬計(jì)算資源為目的軟件，稱為虛擬化管理工具。虛擬化管理工具使得系統(tǒng)管理員可以從同一個(gè)位置執(zhí)行如下任務(wù)：⑴、對不同物理機(jī)上的虛擬機(jī)進(jìn)行生命周期管理；⑵、對所有的物理機(jī)和虛擬機(jī)進(jìn)行查詢甚至監(jiān)控；⑶、建立虛擬機(jī)命名與虛擬機(jī)實(shí)例直接的映射關(guān)系，使得虛擬機(jī)的識別和管理更加容易。鏈接：虛擬機(jī)生命周期使用虛擬機(jī)生命周期管理工具制定一個(gè)計(jì)劃，可以幫助你保持虛擬化環(huán)境平穩(wěn)運(yùn)行。雖然虛擬機(jī)可以永遠(yuǎn)運(yùn)行，但并不意味著應(yīng)該這樣使用。虛擬機(jī)生命周期管理幫助你判斷虛擬機(jī)應(yīng)該何時(shí)收回。虛擬機(jī)生命周期過程相對來講比較復(fù)雜，從虛擬機(jī)生命周期的四個(gè)階段開始：規(guī)劃、準(zhǔn)備、生產(chǎn)和收回。虛擬機(jī)生命周期管理的關(guān)鍵在于弄明白何時(shí)應(yīng)該更換虛擬機(jī)。Linux操作系統(tǒng)上的VirtManager，是一個(gè)簡單的虛擬化管理工具。在VMWare（VMW，虛擬機(jī)軟件，是全球桌面到數(shù)據(jù)中心虛擬化解決方案的領(lǐng)導(dǎo)廠商）產(chǎn)品家族中，VMWarevSphere，是一個(gè)功能強(qiáng)大的虛擬化管理工具。虛擬化管理工具，是虛擬化技術(shù)的自然延伸。簡單的虛擬化管理工具，解決的是由于物理機(jī)數(shù)量增多所導(dǎo)致的工作內(nèi)容繁雜問題。在這個(gè)層面，虛擬化管理通常和集群的概念同時(shí)出現(xiàn)。一個(gè)虛擬化管理工具，往往需要獲得各臺物理機(jī)上的虛擬機(jī)生命周期管理權(quán)限（例如具有訪問libvirt權(quán)限的用戶名和密碼）。在同一個(gè)集群當(dāng)中，為了方便起見，可能需要設(shè)定一個(gè)在整個(gè)集群層面通用的管理用戶?？梢哉J(rèn)為，虛擬化管理為系統(tǒng)管理員提供了便利；但是并沒有將虛擬機(jī)生命周期管理的權(quán)限下放給其他用戶。四、數(shù)據(jù)中心虛擬化1、數(shù)據(jù)中心虛擬化管理系統(tǒng)在數(shù)據(jù)中心層面，系統(tǒng)管理員需要面對大量不同類型的硬件和應(yīng)用。與小型集群相比較，數(shù)據(jù)中心的系統(tǒng)復(fù)雜度大大提高了。這時(shí)，簡單的虛擬化管理工具，已經(jīng)無法滿足系統(tǒng)管理員的要求。因此，在虛擬化管理工具的基礎(chǔ)上，又發(fā)展出各種數(shù)據(jù)中心虛擬化管理系統(tǒng)。在硬件層面，數(shù)據(jù)中心虛擬化管理系統(tǒng)，通過劃分資源池(一個(gè)資源池通常是一個(gè)集群)的方式，對硬件資源進(jìn)行重新組織；并以虛擬基礎(chǔ)構(gòu)架(VirtualInfrastructure)的方式將計(jì)算資源暴露給用戶。在軟件層面，數(shù)據(jù)中心虛擬化管理系統(tǒng)，引入系統(tǒng)管理員和普通用戶兩種不同的角色，甚至是基于應(yīng)用場景的需要設(shè)定顆粒度更細(xì)的基于角色的權(quán)限控制(RoleBasedAccessControl，RBAC)。系統(tǒng)管理員，對整個(gè)數(shù)據(jù)中心的物理機(jī)和虛擬機(jī)擁有管理權(quán)限；但是一般不對正常的虛擬機(jī)進(jìn)行干涉。普通用戶，只能在自己具有權(quán)限的資源池內(nèi)進(jìn)行虛擬機(jī)生命周期管理操作，不具有控制物理機(jī)的權(quán)限。在極端的情況下，普通用戶只能夠看到分配給自己的資源池，而不了解組成該資源池的物理機(jī)細(xì)節(jié)。在數(shù)據(jù)中心虛擬化之前，創(chuàng)建虛擬機(jī)的動(dòng)作，是需要系統(tǒng)管理員來完成的。在數(shù)據(jù)中心虛擬化管理系統(tǒng)中，通過基于角色的權(quán)限控制，虛擬機(jī)生命周期管理的權(quán)限被下放給所謂的“普通用戶”，在一定程度上可以減輕系統(tǒng)管理員的負(fù)擔(dān)。但是，出于系統(tǒng)安全的考慮，并不是公司里所有的員工都能夠擁有這樣的“普通用戶”賬號。一般來說，這種“普通賬號”只能夠分配給某個(gè)團(tuán)隊(duì)的負(fù)責(zé)人?？梢哉J(rèn)為，一直到數(shù)據(jù)中心虛擬化這個(gè)層面，虛擬機(jī)的生命周期還是集中式管理的。數(shù)據(jù)中心虛擬化管理系統(tǒng)，是虛擬化管理工具的進(jìn)一步延伸。它所解決的是由于硬件和應(yīng)用規(guī)模上升所帶來的系統(tǒng)復(fù)雜度問題。具體的物理設(shè)備被抽象成資源池之后，公司高管只需要了解各個(gè)資源池的規(guī)模、負(fù)載和健康狀況；最終用戶只需要了解分配給自己的資源池的規(guī)模、負(fù)載和健康狀況。只有系統(tǒng)管理員，還需要對每一臺物理設(shè)備的配置、負(fù)載和故障了如指掌。但是，資源池的概念也從邏輯上對所有的物理設(shè)備進(jìn)行了重新整理和分類，使得系統(tǒng)管理員的工作變得更加容易了。2、數(shù)據(jù)中心虛擬化管理系統(tǒng)提供的運(yùn)維自動(dòng)化功能現(xiàn)代的數(shù)據(jù)中心虛擬化管理系統(tǒng)，往往提供了大量有助于運(yùn)維自動(dòng)化的功能。這些功能包括：⑴、基于模板快速部署一系列相同或者是相似的運(yùn)行環(huán)境；⑵、監(jiān)控、報(bào)表、預(yù)警、會(huì)計(jì)功能；⑶、高可用性、動(dòng)態(tài)負(fù)載均衡、備份與恢復(fù)等等。一些相對開放的數(shù)據(jù)中心虛擬化管理系統(tǒng)，甚至以開放API的方式，使得系統(tǒng)管理員能夠根據(jù)自身的應(yīng)用場景和流程，開發(fā)額外的擴(kuò)展功能。3、值得推薦的數(shù)據(jù)中心虛擬化管理軟件在VMWare產(chǎn)品家族中，VMWarevCenter是一個(gè)數(shù)據(jù)中心虛擬化管理軟件。其他值得推薦的數(shù)據(jù)中心虛擬化管理軟件，包括： Convirt，XenServer，OracleVM，OpenQRM等等。五、云計(jì)算一一對數(shù)據(jù)中心虛擬化的進(jìn)一步封裝1、 云計(jì)算管理軟件云計(jì)算是對數(shù)據(jù)中心虛擬化的進(jìn)一步封裝。在云計(jì)算管理軟件中，同樣需要有云管理員和普通用戶兩種（甚至更多）不同的角色以及不同的權(quán)限。管理員，對整個(gè)數(shù)據(jù)中心的物理機(jī)和虛擬機(jī)擁有管理權(quán)限；但是一般不對正常的虛擬機(jī)進(jìn)行干涉。普通用戶，可以通過瀏覽器自助地進(jìn)行虛擬機(jī)生命周期管理，也可以編寫程序通過WebService（Web服務(wù)）自動(dòng)地進(jìn)行虛擬機(jī)生命周期管理。2、 云計(jì)算層面虛擬機(jī)生命周期管理在云計(jì)算這個(gè)層面，虛擬機(jī)生命周期管理的權(quán)限，被徹底下放給真正的普通用戶。但是，也將資源池和物理機(jī)等等概念，從普通用戶的視野中屏蔽了。普通用戶可以獲得計(jì)算資源，但是無需對其背后的物理資源有任何了解。從表面上看，云計(jì)算似乎就是以與AmazonEC2/S3相兼容的模式提供計(jì)算資源。而在實(shí)質(zhì)上，云計(jì)算使計(jì)算資源管理的模式發(fā)生了改變，最終用戶不再需要系統(tǒng)管理員的幫助即可自助地獲得和管理計(jì)算資源。3、 云計(jì)算管理軟件的數(shù)據(jù)中心虛擬化管理功能對于云管理員來說，將虛擬機(jī)生命周期管理權(quán)限下放到最終用戶，并沒有降低其工作壓力。相反，他有了更加令人頭疼的事情需要去處理。在傳統(tǒng)的IT架構(gòu)中，往往是一個(gè)應(yīng)用配備一套計(jì)算資源，應(yīng)用之間存在物理隔離，問題診斷也相對容易。在升級到云計(jì)算模式之后，多個(gè)應(yīng)用可能共享同一套計(jì)算資源；應(yīng)用之間存在資源競爭，問題診斷就相對困難。因此，云管理員往往希望選用的云計(jì)算管理軟件，能夠有相對全面的數(shù)據(jù)中心虛擬化管理功能。對于云管理員來說，至關(guān)重要的功能包括：⑴、監(jiān)控、報(bào)表、預(yù)警、會(huì)計(jì)功能；⑵、高可用性、動(dòng)態(tài)負(fù)載均衡、備份與恢復(fù)等等；⑶、動(dòng)態(tài)遷移，可以用于局部負(fù)載調(diào)整以及故障診斷。顯而易見，從虛擬化到云計(jì)算，