1、云計(jì)算開發(fā)實(shí)踐報(bào)告 心 得 體 會(huì) 班級(jí)： 通 信 0803 姓名： 張潮 學(xué)號(hào)： 時(shí)間： 2011年3月29日 報(bào)告題目：云計(jì)算開發(fā)實(shí)踐 主講人：胡建強(qiáng)主要內(nèi)容：1）云計(jì)算現(xiàn)狀2）云計(jì)算技術(shù)：big table，map reduce，虛擬化3）典型云計(jì)算系統(tǒng)：阿里巴巴、盛大等4）云計(jì)算開發(fā)經(jīng)驗(yàn)5）云計(jì)算學(xué)習(xí)與開發(fā)建議時(shí)間：2011年3月25日上午9點(diǎn)地點(diǎn)：西南科技大學(xué)計(jì)算機(jī)學(xué)院學(xué)術(shù)廳（東6E座二樓）主講人簡(jiǎn)介:胡建強(qiáng),資深程序員。1996年獲得高級(jí)程序員水平證書,2005年在北京大學(xué)計(jì)算機(jī)系獲理學(xué)碩士學(xué)位。先后就職于Thomson寬帶研發(fā)（北京）有限公司、微軟亞洲工程院、阿里巴巴云計(jì)算有限公

2、司，任工程師、技術(shù)經(jīng)理、技術(shù)專家等。當(dāng)前，信息技術(shù)已經(jīng)深入到各行各業(yè)，并在提升人類管理地球智慧的過程中發(fā)揮著基礎(chǔ)性的作用。信息技術(shù)自身同樣需要變得更加智慧來應(yīng)對(duì)復(fù)雜的世界，“云計(jì)算”則代表了信息技術(shù)當(dāng)前發(fā)展的新階段。從宏觀的角度來看，這也是經(jīng)濟(jì)發(fā)展規(guī)律的必然結(jié)果。社會(huì)經(jīng)濟(jì)從最開始的自給自足狀態(tài)，漸漸發(fā)展到社會(huì)分工和標(biāo)準(zhǔn)化的出現(xiàn)；然后隨著規(guī)模的擴(kuò)大，產(chǎn)業(yè)鏈進(jìn)一步細(xì)分和重組，用戶可以獲得豐富多樣的、高度可定制的服務(wù)和產(chǎn)品。信息技術(shù)也是一樣，用戶將逐漸告別自己購(gòu)買設(shè)備，自主開發(fā)和管理的階段，轉(zhuǎn)而采用云計(jì)算技術(shù)來獲得更加高性價(jià)比和個(gè)性化的信息服務(wù)。21世紀(jì)初期，崛起的Web2.0讓網(wǎng)絡(luò)迎來了新的發(fā)展高

3、峰。網(wǎng)站或者業(yè)務(wù)系統(tǒng)所需要處理的業(yè)務(wù)量快速增長(zhǎng)，例如視頻在線 或者照片共享，這樣的網(wǎng)站需要為用戶儲(chǔ)存和處理大量的數(shù)據(jù)。這類系統(tǒng)所面臨的重要問題是如何在用戶數(shù)量快速增長(zhǎng)的 情況下快速擴(kuò)展原有系統(tǒng)，隨著移動(dòng)終端的智能化、移動(dòng)寬帶網(wǎng)絡(luò)的普及，將有越來越多的移動(dòng)設(shè)備進(jìn)入互聯(lián)網(wǎng)，意味著 與移動(dòng)終端相關(guān)的IT系統(tǒng)會(huì)承受更多的負(fù)載，而列于提供數(shù)據(jù)服務(wù)的企業(yè)來講，IT系統(tǒng)需要處理更多的業(yè)務(wù)量。由于資源 的有限性，電力成本、空間成本、各種設(shè)施的維護(hù)成本快速上上升，這就面臨著怎樣有效地 利用這些資源，以及如何利用更少的資源解決更多的問題。同時(shí)，隨著高速網(wǎng)絡(luò)連接的衍生，芯片和磁盤驅(qū)動(dòng)器產(chǎn)品在功能增強(qiáng)的同時(shí)，價(jià)格也在

4、變得甘益低廉，擁有成百上千臺(tái)計(jì) 算機(jī)的數(shù)掂中心也具備了快速為大量用戶處理復(fù)雜問題的能力。技術(shù)上，分布式計(jì)算的日益成熟和應(yīng)用，特別是網(wǎng)格計(jì)算 的發(fā)展通過Internet把分散在各處的硬件、軟件、信息資源連接成為一個(gè)巨大的整體，從而使得人們能夠利用地理上分散 于各處的資源，完成大規(guī)模的、復(fù)雜的計(jì)算和數(shù)據(jù)處理的任務(wù)oJ。數(shù)據(jù)存儲(chǔ)的快速增長(zhǎng)產(chǎn)生了以GFS(Google File System) 、SAN(Storage Area Network)為代表的高性能存儲(chǔ)技術(shù)。服務(wù)器整合需求的不斷升溫推動(dòng)了Xen等虛擬化技術(shù)的進(jìn)步還有 Web2 0的實(shí)現(xiàn)，SaaS(Software as a Service)

5、觀念方興未艾，多核技術(shù)的普及等，所有這些技術(shù)為產(chǎn)生更強(qiáng)大的計(jì)算能力和服務(wù)提供了可能。計(jì)算能力和資源利用效率的迫切需求，資源的集中化和技術(shù)的進(jìn)步，推動(dòng)云計(jì)算應(yīng)運(yùn)而生。什么是云計(jì)算？不同的人從不同的角度來看，說法不盡相同。胡建強(qiáng)老師認(rèn)為，就社會(huì)發(fā)展對(duì)信息技術(shù)的需求來看，云計(jì)算本質(zhì)上就是面向減少初期投資、降低運(yùn)營(yíng)成本、實(shí)現(xiàn)規(guī)模效益、產(chǎn)生新創(chuàng)價(jià)值等需求而在計(jì)算技術(shù)和商業(yè)模式上的創(chuàng)新發(fā)展。云計(jì)算契合了當(dāng)前信息系統(tǒng)發(fā)展的新需求，將成為大規(guī)模的智慧解決方案中的基礎(chǔ)性信息技術(shù)，并在支持信息系統(tǒng)基礎(chǔ)架構(gòu)、組建操作平臺(tái)、開發(fā)運(yùn)行新型應(yīng)用等方面提供集成的、便捷的、快速的手段。胡老師同時(shí)指出，近幾年來，云計(jì)算在我國(guó)可

6、謂風(fēng)生水起，熱鬧非凡。然而，云計(jì)算從概念到落地實(shí)際上只能從2010年算起。在此之前只能看成是云計(jì)算的市場(chǎng)引入階段。在云計(jì)算技術(shù)方面，胡老師給我們深入的講解了big table，map reduce，虛擬化等內(nèi)容。Mapreduce，bigtable，gfs是google的三大技術(shù)基石。 Bigtable和與之支撐的Mapreduce技術(shù)則是google高性能搜索的主要工具。而開源后的HADOOP架構(gòu)又為很多愛好者提供實(shí)踐及修改的平臺(tái)， BIGTABLE及HBase等半結(jié)構(gòu)化分布式數(shù)據(jù)庫(kù)為電信及大數(shù)據(jù)倉(cāng)庫(kù)及數(shù)據(jù)挖掘提供了很好的基礎(chǔ)，其具體的實(shí)現(xiàn)相信在發(fā)布不久的中移動(dòng)“大云” 上很快就可以看見，但

7、與傳統(tǒng)的數(shù)據(jù)庫(kù)相比是不是可以完全超越還是有不能替代的東西。MapReduce是什么？ MapReduce基礎(chǔ)出發(fā)點(diǎn)是很易懂的。它由稱為map和reduce的兩部分用戶程序組成，然后利用框架在計(jì)算機(jī)集群上面根據(jù)需求運(yùn)行多個(gè)程序?qū)嵗齺硖幚砀鱾€(gè)子任務(wù)，然后再對(duì)結(jié)果進(jìn)行歸并。 Map程序從輸入流中讀取一組“記錄”，然后對(duì)記錄進(jìn)行需要的過濾或者轉(zhuǎn)換，然后輸出一組記錄(key,data)。當(dāng)map程序生成輸出記錄時(shí)，一個(gè)分 割方法將記錄劃分為M個(gè)不相交的塊并賦予一個(gè)鍵值。這個(gè)分割方法一般是一個(gè)hash函數(shù)，只要這個(gè)決定性的函數(shù)能夠滿足就行。當(dāng)一個(gè)塊被填充后，它將寫入 磁盤，map程序結(jié)束的時(shí)候每個(gè)塊都將輸

8、出M個(gè)文件。 通常情況下，將有多個(gè)map的程序?qū)嵗\(yùn)行在計(jì)算機(jī)集群的不同的節(jié)點(diǎn)上。每個(gè)map實(shí)例都將由MapReduce調(diào)度程序分配一個(gè)不重復(fù)的輸入文件來獨(dú)立 執(zhí)行。如果有N個(gè)節(jié)點(diǎn)參與map程序執(zhí)行，那么N個(gè)節(jié)點(diǎn)中的每個(gè)節(jié)點(diǎn)都將有M個(gè)文件存儲(chǔ)在各自的磁盤上，也就是說，總共將有N*M個(gè)文件。Fi,j, 1 i N, 1 j M. 其中有個(gè)值得注意的關(guān)鍵點(diǎn)是每個(gè)map實(shí)例都必須使用一個(gè)相同的hash方法。這樣，所有的擁有相同hash值的輸出記錄才會(huì)寫入相應(yīng)的輸出文件。MapReduce的第二個(gè)階段就是執(zhí)行M個(gè)reduce的程序?qū)嵗?。Rj, 1 j M.每個(gè)reduce實(shí)例Rj的輸入文件由文件 Fi

9、,j組成,1 i N。還有一個(gè)值得注意的是：所有從map階段輸出的擁有相同hash值的記錄，無論是哪個(gè)map實(shí)例生成的，都將由一個(gè)相同的reduce實(shí)例處理。在 map-reduce框架收集整理之后，所有的輸入記錄都將根據(jù)它們的鍵值(key)編組然后提供給reduce程序。跟map程序一樣，reduce程 序也可以做任意的計(jì)算。所以，你可以對(duì)輸入的記錄做任何你想要的事情。舉例來說，可能會(huì)對(duì)記錄的別的字段進(jìn)行一些附加的計(jì)算。每個(gè)reduce實(shí)例都可以 將記錄寫入輸出文件，只要是MapReduce計(jì)算所需要的結(jié)果。 用SQL來做類比，map象聚合(aggregate)查詢中的group-by子句。

10、Reduce則類似計(jì)算group-by起來的行的聚合函數(shù)(例如求平均等)。分布式結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)BigtableBigtable是Google開發(fā)的基于GFS和Chubby的分布式存儲(chǔ)系統(tǒng)。Google的很多數(shù)據(jù)，包括Web索引、衛(wèi)星圖像數(shù)據(jù)等在內(nèi)的海量結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，都是存儲(chǔ)在Bigtable中的。從實(shí)現(xiàn)上來看，Bigtable并沒有什么全新的技術(shù)，但是如何選擇合適的技術(shù)并將這些技術(shù)高效、巧妙地結(jié)合在一起恰恰是最大的難點(diǎn)。Google的工程師通過研究以及大量的實(shí)踐，完美實(shí)現(xiàn)了相關(guān)技術(shù)的選擇及融合。Bigtable在很多方面和數(shù)據(jù)庫(kù)類似，但它并不是真正意義上的數(shù)據(jù)庫(kù)。胡建強(qiáng)老師還用盛大

11、和阿里巴巴的一些現(xiàn)狀和有趣的例子給我們分析了云計(jì)算近年來的走向。那么，云計(jì)算技術(shù)近幾年來的發(fā)展情況和規(guī)模如何，未來數(shù)年就會(huì)有哪些明顯的發(fā)展趨勢(shì)?胡老師列出的數(shù)據(jù)為我們梳理出了一些清晰的發(fā)展脈絡(luò)。2009年中國(guó)云計(jì)算市場(chǎng)規(guī)模達(dá)到403.5億元，較2008年同比增長(zhǎng)28.0%。2009年國(guó)內(nèi)云計(jì)算市場(chǎng)受各細(xì)分應(yīng)用的快速增長(zhǎng)，保持著穩(wěn)定的較高增速。2009年，SaaS占云計(jì)算市場(chǎng)規(guī)模的達(dá)87.8%，為354.2億;PaaS、IaaS分別占到云計(jì)算整體市場(chǎng)的11.8%和0.4%，分別為47.6億、1.7億。20112015年為市場(chǎng)成長(zhǎng)階段，這一階段的特點(diǎn)是應(yīng)用案例逐漸豐富，用戶對(duì)云計(jì)算已經(jīng)比較了解和認(rèn)

12、可，云計(jì)算商業(yè)應(yīng)用概念開始形成等，此外，用戶已經(jīng)開始比較主動(dòng)地考慮云計(jì)算與自身IT應(yīng)用的關(guān)系。同時(shí)，云計(jì)算的發(fā)展速度會(huì)在這五年間得到迅猛的提升。自2015年以后，市場(chǎng)進(jìn)入成熟階段，表現(xiàn)在云計(jì)算廠商競(jìng)爭(zhēng)格局基本形成，云計(jì)算的解決方案更加成熟，在軟件方面，SaaS的應(yīng)用模式成為主流，市場(chǎng)規(guī)模也保持在一個(gè)比較穩(wěn)固的水平。通過這次學(xué)術(shù)報(bào)告，我對(duì)云計(jì)算算是有了一個(gè)初步的了解，并對(duì)其未來走向深感興趣。目前，云計(jì)算還處于起步階段，毫無疑問云計(jì)算前景光明。它可能徹底改變用戶對(duì)計(jì)算資源的使用方式，使得用戶從以桌 面為核心轉(zhuǎn)向以Web為核心。在本文中，胡老師已經(jīng)討論了云計(jì)算的現(xiàn)有服務(wù)，對(duì)比分析了現(xiàn)有的云計(jì)算平臺(tái)、隨著云計(jì)算的發(fā)展，將會(huì)有更多的平臺(tái)和服務(wù)類型不斷涌現(xiàn)。云計(jì)算不僅僅是一個(gè)計(jì)算問題，它需要融合許多技術(shù)和成果。本次學(xué)術(shù)報(bào)告會(huì)只探討了云計(jì)