1、云計算架構(gòu),1,2020/7/4,Outline,3.1云計算的本質(zhì)3.2云計算的架構(gòu)3.3云棧和云體3.4軟件定義的數(shù)據(jù)中心3.5實踐：OpenStack,DataScience,Statistics,MachineLearning,Domainexpertise,Mathematics,Dataengineering,2,2020/7/4,3.1云計算的本質(zhì),3.1.1革命性概念：IT作為服務(wù)3.1.2云計算系統(tǒng)工程3.1.3云數(shù)據(jù)中心3.1.4云的工作負載模式3.1.5云計算的規(guī)模效應(yīng),3,2020/7/4,3.1.1革命性概念：IT作為服務(wù),云計算將所有IT資源包裝為服務(wù)予以銷售，也就

2、是所謂的“IT作為服務(wù)”。絕不可以輕看IT作為服務(wù)這個概念。盡管在主機時代就是如此，但IT作為服務(wù)這種理念仍然具有顛覆性的特點。因為我們大部分人已經(jīng)習(xí)慣擁有自己的IT資產(chǎn)，對IT資產(chǎn)由別人擁有這種模式抱有潛意識的抵觸情緒。不過，如果仔細分析這個問題，我們就會發(fā)現(xiàn)，IT作為服務(wù)是順理成章的一種自然演變。,4,2020/7/4,3.1.2云計算系統(tǒng)工程,好的組織需要優(yōu)秀的管理者，而云計算將大量計算資源組織在一起，共同工作，那么云計算需要給出一種針對大規(guī)模系統(tǒng)的科學(xué)管理辦法。這種方法能夠解決資源組織管理過程中的各種問題。例如：在增加節(jié)點、擴大系統(tǒng)規(guī)模的同時，還能保證系統(tǒng)性能的近線性提高。在系統(tǒng)可能出

3、問題的情況下，保證系統(tǒng)整體的穩(wěn)定運行。在面臨不同的業(yè)務(wù)需求時，快速重新組織資源，以新的架構(gòu)適應(yīng)變化。這些都要求云計算創(chuàng)新性地將各種技術(shù)組織起來，“調(diào)和”實現(xiàn)各種功能，即所謂的“系統(tǒng)工程”。,5,2020/7/4,3.1.3云數(shù)據(jù)中心,目前，云數(shù)據(jù)中心的構(gòu)造主要有兩種模式:一種是傳統(tǒng)模式，即建機房、布線、放置機器，然后連接起來。還有一種數(shù)據(jù)中心是基于集裝箱的數(shù)據(jù)中心。這種模式由谷歌公司首創(chuàng)，使用集裝箱作為機房，每個集裝箱里安置有上千臺服務(wù)器，最多可達2500臺，集裝箱可以疊起或并排放置，集裝箱之間通過線纜連接形成巨大的數(shù)據(jù)中心。,6,2020/7/4,圖3.1一個典型的數(shù)據(jù)中心,7,2020/7

4、/4,3.1.4云的工作負載模式,模式1：時開時停模式模式2：用量迅速增長模式模式3：瞬時暴漲模式模式4：周期性增減模式,8,2020/7/4,3.1.5云計算的規(guī)模效應(yīng),云計算的規(guī)模效應(yīng)讓用戶使用IT資源的門檻大為降低。用戶無須制定長期投資。如果有更多的客戶，則購買更多的處理能力和存儲容量，支付更多的費用；如果業(yè)務(wù)有所下降，則購買較少的處理能力和存儲容量，這樣支付的費用將降低。云計算平臺可以真正達到24小時/7天/365天運轉(zhuǎn)。,9,2020/7/4,3.2云計算的架構(gòu),3.2.1計算架構(gòu)的進化3.2.2一般云計算架構(gòu)的二維視角,10,2020/7/4,3.2.1計算架構(gòu)的進化,計算機出現(xiàn)后

5、，計算機的軟硬件都經(jīng)歷了長時間的演變，其中計算范式過從中央集權(quán)計算（主機計算）到客戶機服務(wù)器計算，再到瀏覽器服務(wù)器計算，再到混合計算模式。不同的計算范式對應(yīng)的是不同的計算架構(gòu)，而每一種計算架構(gòu)都與其所在的歷史時期相符合。,11,2020/7/4,1中央集權(quán)架構(gòu),中央集權(quán)架構(gòu)對應(yīng)的是中央集權(quán)計算范式。在這種架構(gòu)下，所有的計算及計算資源、業(yè)務(wù)邏輯都集中于一臺大型機或者主機，用戶使用一臺僅有輸入和輸出能力的顯示終端與主機連接來進行交互。,12,2020/7/4,2客戶機/服務(wù)器（C/S）架構(gòu),客戶機/服務(wù)器（C/S）架構(gòu)對應(yīng)的是同名計算范式。計算任務(wù)從單一主機部分遷移到客戶端?？蛻舳顺休d少量的計算任

6、務(wù)和所有的I/O任務(wù)，服務(wù)器承載主要的計算任務(wù)。客戶機在執(zhí)行任務(wù)前先與主機進行連接，并在活躍的整個期間內(nèi)保持與主機的持續(xù)連接。通常情況下，客戶機通過遠程過程調(diào)用來使用服務(wù)器上的功能和服務(wù)。,13,2020/7/4,3中間層架構(gòu),中間層架構(gòu)對應(yīng)的是多層客戶機/服務(wù)器計算范式。它是在對客戶機/服務(wù)器架構(gòu)改進而產(chǎn)生的，其目的是簡化和提升伸縮能力。所采用的方法是將業(yè)務(wù)邏輯和數(shù)據(jù)服務(wù)分別放在兩個服務(wù)器上，客戶機與中間服務(wù)器連接，中間層與數(shù)據(jù)服務(wù)層連接，客戶機對數(shù)據(jù)的訪問由中間層代理完成。圖3.10所示是中間層架構(gòu)的示意圖。,14,2020/7/4,圖3.10中間層計算架構(gòu),15,2020/7/4,4瀏覽

7、器/服務(wù)器（B/S）架構(gòu),瀏覽器/服務(wù)器架構(gòu)對應(yīng)的是瀏覽器/服務(wù)器計算范式。這種架構(gòu)是對客戶機和中間層的內(nèi)涵進行改動后的中間層計算架構(gòu)的擴展。對中間層的改動體現(xiàn)在中間層和客戶機之間增加了一層Web服務(wù)器層，Web服務(wù)器可以將中間件的各種差異屏蔽掉，提供一種通用的用戶訪問界面。對客戶機的改動則體現(xiàn)在負載的進一步縮減，從承載部分計算任務(wù)改變?yōu)橹伙@示和運行一些基于瀏覽器的腳本程序的狀態(tài)。,16,2020/7/4,圖3.11瀏覽器/服務(wù)器計算架構(gòu),17,2020/7/4,5C/S與B/S混合架構(gòu),C/S與B/S混合架構(gòu)對應(yīng)的是混合計算范式。在應(yīng)用的發(fā)展中，沒有一種計算范式適合所有的場景，沒有一種計算架

8、構(gòu)適合所有的應(yīng)用。故而衍生出了C/S與B/S混合架構(gòu)，即客戶機服務(wù)器和瀏覽器服務(wù)器兩種架構(gòu)并存的一種計算架構(gòu)。,18,2020/7/4,6面向服務(wù)的架構(gòu),在面向服務(wù)的計算架構(gòu)下，每個程序做本職任務(wù)，同時將服務(wù)暴露出來提供給其他程序使用，多個程序通過一個統(tǒng)一的（服務(wù)請求）界面協(xié)調(diào)工作。相對于單一系統(tǒng)來說，此種系統(tǒng)能夠?qū)?fù)雜性限制在可控范圍內(nèi)，從而讓整個系統(tǒng)的管理更加容易。,19,2020/7/4,3.2.2一般云計算架構(gòu)的二維視角,從不同的角度來看，云計算架構(gòu)的復(fù)雜性有一定的差異性。在最易于理解的二維視角下，云計算架構(gòu)由兩個部分組成：前端和后端。前端是呈現(xiàn)給客戶或計算機用戶的部分，包括客戶的計算

9、機網(wǎng)絡(luò)和用戶用來訪問云應(yīng)用程序的界面如Web瀏覽器；后端則是我們常說的“云”由各種組件（如服務(wù)器、數(shù)據(jù)存儲設(shè)備、云管理軟件等）構(gòu)成。,20,2020/7/4,圖3.14云計算架構(gòu)的二維示意圖,21,2020/7/4,圖3.15云基礎(chǔ)架構(gòu)的分層結(jié)構(gòu),1基礎(chǔ)架構(gòu)的分層結(jié)構(gòu),22,2020/7/4,2REST架構(gòu)：云計算的軟件架構(gòu),REST體現(xiàn)了Web架構(gòu)的特征：源服務(wù)、網(wǎng)關(guān)、代理和客戶。其最大的特點是除了參與者的行為規(guī)范，對其中的個體組件沒有任何限制。REST架構(gòu)的主要特點如下。組件交互的伸縮性：參與交互的組件數(shù)量可以無限擴展。界面的普遍性：IT界人士都熟悉REST的界面風(fēng)格。組件發(fā)布的獨立性：組

10、件可以獨立發(fā)布，無須與任何組件進行事先溝通?？蛻魴C/服務(wù)器模型：使用統(tǒng)一的界面來分離客戶機和服務(wù)器。無狀態(tài)連接：客戶機上下文不保存在服務(wù)器中，每次請求都需要提供完整的狀態(tài)。,23,2020/7/4,3云應(yīng)用程序的結(jié)構(gòu),圖3.16云應(yīng)用程序的軟件結(jié)構(gòu),圖3.18將云平臺看作應(yīng)用所展示出來的架構(gòu),24,2020/7/4,3.3云棧和云體,3.3.1云棧3.3.2云體3.3.3一切皆為服務(wù),25,2020/7/4,3.3.1云棧,云棧又稱云平臺，是在云上面建造的運行環(huán)境。它能夠支持應(yīng)用程序的發(fā)布、運行、監(jiān)控、調(diào)度、伸縮，并為應(yīng)用程序提供輔助服務(wù)的機制，如訪問控制和權(quán)限管理等。如微軟的WindowsA

11、zure、谷歌的AppEngine、VMWare的CloudFoundry都是云平臺。在云棧里，每一層都提供一種抽象。最下面的是物理硬件層，之后每往上一層，其離物理現(xiàn)實的距離就更遠一些，易用性就會增加一分。每一層用來實現(xiàn)抽象的手段都是某種或某幾種服務(wù)，也稱為功能。如果兩個服務(wù)處于等價的抽象層，則屬于云棧里的同一層。,26,2020/7/4,圖3.19云計算的縱向云棧架構(gòu)（左）和傳統(tǒng)計算機系統(tǒng)結(jié)構(gòu)（右）,27,2020/7/4,1三層云棧架構(gòu),在三層模式下，云計算可以很簡要地概括為IaaS、PaaS、SaaS，也就是基礎(chǔ)設(shè)施即服務(wù)、平臺服務(wù)、軟件服務(wù)。其中基礎(chǔ)設(shè)施即服務(wù)可以稱為效用計算（Util

12、ityComputing），平臺即服務(wù)可稱為彈性計算（ElasticComputing），軟件即服務(wù)可稱為隨需應(yīng)用（On-demandApplications）。,圖3.20云棧的三層模式,28,2020/7/4,三層模型里面的每一層的能力和特點,（1）基礎(chǔ)設(shè)施即服務(wù)層（2）平臺即服務(wù)層（3）軟件即服務(wù)層SaaS的主要特點有如下幾點：基于網(wǎng)絡(luò)（一般為Web模式）進行遠程訪問的商用軟件；集中式管理，而非分散在每個用戶站點；應(yīng)用交付一般接近一對多模型，即所謂的單個實例多個租戶架構(gòu)；按照用量計費（實際中一般按月或其他時間周期進行計費）。,29,2020/7/4,2四層云棧架構(gòu),四層云棧模式是三層云棧

13、模式的一個簡單變種。這種模式將三層模式里的基礎(chǔ)設(shè)施層進行了分解，將里面的硬件部分和虛擬化部分分離成為兩層：一層為硬件層，一層為虛擬資源層，如圖3.24所示。,圖3.24四層云棧模型,30,2020/7/4,3五層云棧模型,第一層：固件/硬件層第二層：軟件內(nèi)核層第三層：云基本資源層第四層：云軟件環(huán)境層第五層：云應(yīng)用程序?qū)?圖3.24四層云棧模型,31,2020/7/4,3.3.2云體,云體是云計算的物質(zhì)基礎(chǔ)，是云計算所用到的資源集合。它是構(gòu)成云計算的軟硬件環(huán)境，如網(wǎng)絡(luò)、服務(wù)器、存儲器、交換機等，通過網(wǎng)絡(luò)連接在一起。某些情況下，廣義的云體也可以包括數(shù)據(jù)中心及其輔助設(shè)施如電力、空調(diào)、機架、冷卻等系統(tǒng)

14、。鑒于當(dāng)前的云計算都是基于數(shù)據(jù)中心來進行，云體就是數(shù)據(jù)中心。,32,2020/7/4,圖3.27云平臺的計算環(huán)境,33,2020/7/4,3.3.3一切皆為服務(wù),無論是橫向云體架構(gòu)還是縱向云棧架構(gòu)；無論是三層結(jié)構(gòu)、四層結(jié)構(gòu)，還是五層結(jié)構(gòu)；無論是公有云、私有云，還是混合云或其他云；更無論是用量暴增、是周期性增減，還是用量穩(wěn)定增長，都不能改變云計算的本質(zhì)服務(wù)。如果用一個短語來描述云計算，那就是：IT即服務(wù)。云計算的本質(zhì)就是IT作為服務(wù)涵蓋了基礎(chǔ)設(shè)施即服務(wù)、平臺即服務(wù)、軟件即服務(wù)或任何X即服務(wù)。在這種情況下，用戶原來需要承擔(dān)的IT資產(chǎn)采購、配置、運維的責(zé)任幾乎全部轉(zhuǎn)移到了各種服務(wù)供應(yīng)商身上，從而可以

15、輕裝上陣，專注于自己的核心業(yè)務(wù)，不用為自己并不擅長的后勤花費巨大的人力和物力。,34,2020/7/4,3.4軟件定義的數(shù)據(jù)中心,3.4.1數(shù)據(jù)中心的歷史3.4.2繼續(xù)發(fā)展的推動力3.4.3軟件定義的必要性3.4.4軟件定義數(shù)據(jù)中心的架構(gòu)分析3.4.5軟件定義數(shù)據(jù)中心的發(fā)展,35,2020/7/4,3.4.1數(shù)據(jù)中心的歷史,數(shù)據(jù)中心（DataCenter）是數(shù)據(jù)集中存儲、計算、交換的中心。從硬件角度考慮，它給人最直觀的印象就是計算設(shè)備運作的環(huán)境。故而數(shù)據(jù)中心的發(fā)展是與計算機（包括分化出的存儲和網(wǎng)絡(luò)設(shè)備）的發(fā)展緊密聯(lián)系在一起的。,36,2020/7/4,3.4.1數(shù)據(jù)中心的歷史,20世紀(jì)60年代

16、，商用計算機得到大量應(yīng)用，其中最具代表性的是IBM的主機（Mainframe）系列。這些都是重達幾十噸、占地數(shù)百平方米的龐然大物，與之略顯不相稱的是這些機器緩慢的計算速度和較小的數(shù)據(jù)存儲規(guī)模。在當(dāng)時，擁有這樣一臺計算機代價很高，而一個機房同時部署幾臺就更是異想天開。20世紀(jì)80年代，隨著大規(guī)模集成電路的發(fā)展，出現(xiàn)了大量相對廉價的微型計算機。數(shù)據(jù)的存儲和計算呈現(xiàn)一種分散的趨勢，越來越多的微型計算機被部署在政府、公司、醫(yī)院、學(xué)校等。信息的交換依靠磁盤、磁帶等介質(zhì)。到了90年代，計算的操作變得越來越復(fù)雜，原有的微型計算機開始扮演客戶端的角色，而大型的任務(wù)如數(shù)據(jù)庫查詢被遷移到服務(wù)器端，著名的客戶端/服

17、務(wù)器模式開始大行其道，直接推動了數(shù)據(jù)中心的發(fā)展。,37,2020/7/4,圖3.28IBM主機機房（左）和現(xiàn)代數(shù)據(jù)中心（右）,38,2020/7/4,進入21世紀(jì)，互聯(lián)網(wǎng)成為社會發(fā)展的主角，數(shù)據(jù)中心從技術(shù)發(fā)展到運行規(guī)模，都經(jīng)歷了前所未有的發(fā)展高潮。幾乎所有的公司都需要高速的網(wǎng)絡(luò)與Internet相連，公司的運營對于IT。IDC（InternetDataCenter）就應(yīng)運而生了，這是第一次出現(xiàn)以運營數(shù)據(jù)中心為主要業(yè)務(wù)的公司。由于競爭的需要，IDC競相采用最新的計算機，采購最快速的網(wǎng)絡(luò)連接設(shè)備和存儲設(shè)備，應(yīng)用最新的IT管理軟件和管理流程，力圖使自己的數(shù)據(jù)中心能吸引更多的互聯(lián)網(wǎng)用戶。,3.4.1數(shù)

18、據(jù)中心的歷史,39,2020/7/4,圖3.29數(shù)據(jù)中心的發(fā)展,40,2020/7/4,3.4.2繼續(xù)發(fā)展的推動力,盡管數(shù)據(jù)中心發(fā)展完善，管理模式也很成熟，但對于數(shù)據(jù)中心系統(tǒng)管理員來說，傳統(tǒng)模式的數(shù)據(jù)中心仍然存在著許多問題。1過多的機器2機器的利用率過低3應(yīng)用遷移太困難4存儲需求增長得太快,41,2020/7/4,3.4.3軟件定義的必要性,由于上述所說的困難，數(shù)據(jù)中心的管理員、應(yīng)用系統(tǒng)的開發(fā)人員、最終用戶，都認識到將數(shù)據(jù)中心的各個組成部分從硬件中抽象出來、集中協(xié)調(diào)與管理、統(tǒng)一提供服務(wù)是一件很重要的事情。如圖3.30所示，在傳統(tǒng)的數(shù)據(jù)中心中，如果需要部署一套業(yè)務(wù)系統(tǒng)，例如文件及打印服務(wù)，就要為

19、該業(yè)務(wù)劃分存儲空間，分配運行文件及打印服務(wù)的服務(wù)器，配置好服務(wù)器與存儲的網(wǎng)絡(luò)。,42,2020/7/4,圖3.30傳統(tǒng)數(shù)據(jù)中心中的資源,43,2020/7/4,3.4.4軟件定義數(shù)據(jù)中心的架構(gòu)分析,需求推動著軟件定義數(shù)據(jù)中心的發(fā)展?；仡欀懊枋龅陌l(fā)展路徑，可以從系統(tǒng)分析的角度，描述出軟件定義數(shù)據(jù)中心包括哪些部分或?qū)哟?，以及實現(xiàn)這些組件需要的關(guān)鍵技術(shù)和整個系統(tǒng)提供的交互接口。,44,2020/7/4,1層次細分,圖3.31軟件定義數(shù)據(jù)中心的分層模型,45,2020/7/4,1層次細分,傳統(tǒng)的數(shù)據(jù)中心中系統(tǒng)軟件和應(yīng)用軟件處于硬件之上。但是在軟件定義數(shù)據(jù)中心里，硬件的能力需要被抽象成為能夠統(tǒng)一調(diào)度管

20、理的資源池，而且計算、存儲和網(wǎng)絡(luò)資源的抽象方式各不相同。（1）軟件定義計算（2）軟件定義存儲（3）軟件定義網(wǎng)絡(luò),46,2020/7/4,2接口與標(biāo)準(zhǔn),47,2020/7/4,3.4.5軟件定義數(shù)據(jù)中心的發(fā)展,1需求推動，先行者不斷2新技術(shù)不斷涌現(xiàn)，發(fā)展迅速3發(fā)展空間巨大，標(biāo)準(zhǔn)建立中,48,2020/7/4,3.5實踐：OpenStack,3.5.1初識OpenStack3.5.2OpenStack組件介紹3.5.3體驗使用OpenStack,49,2020/7/4,3.5.1初識OpenStack,OpenStack提供了一個通用的平臺來控制云計算里面的計算（服務(wù)器）、存儲和網(wǎng)絡(luò)，甚至應(yīng)用資源。OpenStack可以通過基于Web的界面、命令行工具（CLI）和應(yīng)用程序接口（API）來進行管理。這個管理平臺不僅能管理這些資源，而且它不需要用戶去選擇特定硬件或者軟件廠商。廠商特定組件可以方便地被替換成通用組件，OpenStack為IT業(yè)界各類從業(yè)人員創(chuàng)造了價值。,50,2020/7/4,圖3.32Openstack結(jié)構(gòu),51,2020/7/4,3.5.1初識OpenStack,在OpenStack云平臺上，用戶可以做到以下幾個方面。充分利用物理服務(wù)器、虛擬服務(wù)器、網(wǎng)絡(luò)和存儲系統(tǒng)資源；通過租戶、配額和用戶角色高效管理云資源；提供一個對底層實現(xiàn)透明的通用的資源控制接口。,52,2020/