云計算關(guān)鍵技術(shù)

云計算關(guān)鍵技術(shù)相信你一定使用過至多種Google所提供的各類網(wǎng)絡(luò)服務(wù)，其中都隱含云計算技術(shù)。通過平行處理技術(shù)，將網(wǎng)絡(luò)用戶所下達的指令分派給成千上萬臺的計算機同時運行（Google從未透露它到底有多少臺計算機在其遍布全球的數(shù)據(jù)中心里運行），讓用戶即使是在大量計算或訪問高容量數(shù)據(jù)時，也能夠很有效率地回傳數(shù)據(jù)給用戶。例如，通過云計算技術(shù)，盡管同時有上百萬封的電子郵件在Gmail

系統(tǒng)中發(fā)出，Gmail

的任何一位用戶登錄系統(tǒng)后，都可以在幾秒鐘內(nèi)立即接收到對方所發(fā)出的郵件。你是否曾經(jīng)想過Google所使用的云計算技術(shù)到底是什么？Google的云計算，源于三項關(guān)鍵技術(shù)，它們依序是：GFS(GoogleFilesystem）分布式文檔系統(tǒng)、MapReduce

分布式計算以Bigtable

分布式數(shù)據(jù)庫。

GFS己應(yīng)用于Google內(nèi)部上千上萬臺的存儲系統(tǒng)上，可以在數(shù)千臺計算機間快速處理數(shù)據(jù)，以滿足Google龐大的數(shù)據(jù)處理需求。MapReduee:“將數(shù)據(jù)化簡處理”.所以MapReduce

分布式計算技術(shù)的內(nèi)涵就是先將數(shù)據(jù)進行比對分類，然后將相同的數(shù)據(jù)簡化處理的一種計算機程序模型，若程序設(shè)計時應(yīng)用此MapReduee

技術(shù)，即使是沒有大型分布式程序設(shè)計經(jīng)驗的工程師，也可以自動處理存在于龐大計算機服務(wù)器集群（Clusters）間高達Tetabytes(ITB=1000GB）等級的計算數(shù)據(jù)量，該論文宣稱MapReduee

技術(shù)己經(jīng)使用于Google的服務(wù)器集群中，每日進行龐大的搜索數(shù)據(jù)計算。Bigtable

是專門應(yīng)用于管理大型分布式存儲系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)庫，該分布式數(shù)據(jù)庫可以輕易伸縮到petabytes(lPB=1000TB）等級的結(jié)構(gòu)化數(shù)據(jù)大小。Bigtable

當前已應(yīng)用于Google的搜索數(shù)據(jù)需要存儲大量數(shù)據(jù)的網(wǎng)絡(luò)服務(wù)應(yīng)用上，以符合大型分布式系統(tǒng)所需的高性能數(shù)據(jù)處理與存儲需求。近年來，Google努力完備與強化發(fā)展大型分布式系統(tǒng)的關(guān)鍵技術(shù)后，終于在2007年與IBM及眾多美國大學(xué)開始進行云計算研究計劃。在美國麻省理工學(xué)院、史丹佛、柏克萊加大、卡內(nèi)基梅隆、馬里蘭和西雅圖華盛頓大學(xué)推廣云計算，從而引爆了對CloudComputing（云計算）一詞的熱烈討論，學(xué)生可以通過網(wǎng)絡(luò)開發(fā)各項以大規(guī)模計算為基礎(chǔ)的研究計劃。例如，華盛頓大學(xué)的學(xué)生甚至己經(jīng)編寫出可掃描內(nèi)容龐大的維基百科，以及辨識垃圾條目的程序，并根據(jù)真實的地理位置編排全球新聞標題。

因為Google開發(fā)的GFS、MapReduee

與Bigtable

三大關(guān)鍵技術(shù)作為大型分布式云計算的基石，使得云計算概念開始綿延不斷地發(fā)展下去，其中最重要的演進是，ApacheopenSourceProject開放源代碼的搜索引擎Nutch

創(chuàng)始人DougCutting，將Google提出的MapReduce程序模型運用到Nutch

搜索引擎上，隨后Nutch

衍生出專注于開發(fā)全文數(shù)據(jù)檢索的函數(shù)庫Lucene

項目。

隨著近年來云計算概念的快速散播，Hadoop

如今已成為切入云計算技術(shù)最重要的運作平臺，任何企業(yè)或機構(gòu)有批次處理海量數(shù)據(jù)的需求時，都可以自行利用Hadoop

建置一個云計算系統(tǒng)來分析數(shù)據(jù)。因為Nuteh

與Lucene

強大的搜索功能及開放源代碼特性，成立了Hadoop

項目延伸Nutch

與Lucene

搜索功能的開發(fā)。Yahoo利用Hadoop

項目所開發(fā)出來的云計算技術(shù)，在2千臺服務(wù)器上面，運行超過1萬個Hadoop

虛擬機器，來處理超過5Petabytes

的網(wǎng)頁內(nèi)容，分析超過1兆個網(wǎng)絡(luò)連接，創(chuàng)建全球網(wǎng)際網(wǎng)絡(luò)的Webindexing網(wǎng)頁索引數(shù)據(jù)超過300TB，這個數(shù)據(jù)今日還在爆炸性增長中。因為Hadoop

云技術(shù)以及Hadoop

同樣秉持開放源代碼的精神，隨著近年來云計