西安電子科技大學(xué)High-PerformanceCloudComputing:AViewofScientificApplications

高性能云計(jì)算：從科學(xué)應(yīng)用的角度西安電子科技大學(xué)High-PerformanceCloud目錄引言1云的發(fā)展2Aneka3案例分析4觀察與思考5結(jié)論和未來方向6目錄引言1云的發(fā)展2Aneka3案例分析4觀察與思考5結(jié)論和摘要傳統(tǒng)解決方法：高性能計(jì)算方法、安裝集群和超級(jí)計(jì)算機(jī)等基礎(chǔ)設(shè)施缺點(diǎn)：難以建立、維護(hù)和操作科學(xué)計(jì)算往往需要可用的數(shù)量龐大的計(jì)算機(jī)來執(zhí)行大規(guī)模實(shí)驗(yàn)。

云計(jì)算為科學(xué)家利用基礎(chǔ)設(shè)施進(jìn)行科學(xué)計(jì)算提供新的模式。

按用量付費(fèi)可動(dòng)態(tài)獲取計(jì)算資源、存儲(chǔ)資源和應(yīng)用（和現(xiàn)有基礎(chǔ)設(shè)施集成）資源在不需要時(shí)可被釋放這些服務(wù)可通過服務(wù)級(jí)別協(xié)議（SLA）保證理想的服務(wù)質(zhì)量（QoS）摘要傳統(tǒng)解決方法：高性能計(jì)算方法、安裝集群和超級(jí)計(jì)算機(jī)等基礎(chǔ)摘要Aneka，一個(gè)企業(yè)云計(jì)算解決方案，通過利用私有云和公有云的計(jì)算資源向用戶提供所需的服務(wù)質(zhì)量。

特點(diǎn)：靈活性、支持多種編程模式支持的領(lǐng)域：從財(cái)務(wù)應(yīng)用到科學(xué)計(jì)算本論文將給出兩個(gè)Aneka的科學(xué)計(jì)算案例?；虮磉_(dá)數(shù)據(jù)分類腦功能磁共振成像工作流程摘要Aneka，一個(gè)企業(yè)云計(jì)算解決方案，通過利用私有云和公有引言科學(xué)計(jì)算科學(xué)問題工程難題社會(huì)科學(xué)使用數(shù)學(xué)模型或數(shù)值求解技術(shù)解決以下問題引言科學(xué)計(jì)算科學(xué)問題工程難題社會(huì)科學(xué)使用數(shù)學(xué)模型或數(shù)值求解技引言這些模型需要大量的計(jì)算資源來進(jìn)行大規(guī)模實(shí)驗(yàn)并在一個(gè)合理的時(shí)間框架里減少計(jì)算復(fù)雜度。網(wǎng)格計(jì)算計(jì)算網(wǎng)格引入新的功能：動(dòng)態(tài)發(fā)現(xiàn)服務(wù)，依靠屬于不同管理域的大量資源，發(fā)現(xiàn)滿足應(yīng)用需求的最佳機(jī)器集。引言這些模型需要大量的計(jì)算資源來進(jìn)行大規(guī)模實(shí)驗(yàn)并在一個(gè)合理的科學(xué)網(wǎng)格計(jì)算EGEETeraGridTheOpenScienceGrid引言科學(xué)網(wǎng)格計(jì)算的例子：科學(xué)網(wǎng)格計(jì)算EGEETeraGridTheOpen引言科引言然而科學(xué)網(wǎng)格也有限制性：政治因素：研究團(tuán)體必須提交提案描述自己的研究方式以獲取在世界各地的分享，導(dǎo)致競爭使用科學(xué)網(wǎng)格，小型項(xiàng)目無法獲得使用權(quán)。技術(shù)因素：大多數(shù)情況下，科學(xué)網(wǎng)格支持一個(gè)預(yù)包裝的環(huán)境，而對(duì)一些特定的工具和API的使用會(huì)造成限制?？傊趯?shí)踐中，可供科學(xué)家們選擇的選項(xiàng)是有限的，在應(yīng)對(duì)需求上科學(xué)網(wǎng)格欠缺伸縮性。引言然而科學(xué)網(wǎng)格也有限制性：政治因素：研究團(tuán)體必須提交提案描引言解決技術(shù)問題PlanetLab基于虛擬技術(shù)用戶可以被賦予一個(gè)能被虛擬機(jī)在PlanetLab基礎(chǔ)設(shè)施上的一些節(jié)點(diǎn)上訪問的刀片機(jī)每個(gè)刀片機(jī)可完全按需要定制PlanetLab主要作為計(jì)算機(jī)網(wǎng)絡(luò)和分布式系統(tǒng)研究的試驗(yàn)臺(tái)。其基礎(chǔ)設(shè)施只能被隸屬于公司或高校的人群使用，造成計(jì)算資源的限制。由于政治因素可被忽略，技術(shù)問題成為主要難點(diǎn)引言解決技術(shù)問題PlanetLab基于虛擬技術(shù)用戶可以被賦予引言以上問題如何解決？？？云計(jì)算云計(jì)算，是目前提供IT服務(wù)的新趨勢，它可以解決上述一系列問題。引言以上問題如何解決？？？云計(jì)算云計(jì)算，是目前提供IT服務(wù)的虛擬化技術(shù)云計(jì)算通過虛擬化技術(shù)，為終端用戶提供一系列涵蓋整個(gè)計(jì)算堆棧的服務(wù)，從硬件級(jí)到應(yīng)用級(jí)，并按基礎(chǔ)使用量收取費(fèi)用?？缮炜s性可伸縮性科學(xué)家能夠根據(jù)應(yīng)用需求和用戶預(yù)算來自動(dòng)伸縮所使用計(jì)算基礎(chǔ)設(shè)施的規(guī)模大小，并從中獲益。可定制化科學(xué)家通過使用基于云技術(shù)可以很容易獲得大型分布式基礎(chǔ)設(shè)施并完全定制自己的執(zhí)行環(huán)境，從而實(shí)現(xiàn)實(shí)驗(yàn)中完美的設(shè)置。

自由使用通過按使用量支付方式來租用基礎(chǔ)設(shè)施，用戶不需要進(jìn)行準(zhǔn)備可立即立即獲得所需的資源，也可在不用時(shí)自由釋放資源

云計(jì)算特點(diǎn)引言虛擬化技術(shù)云計(jì)算通過虛擬化技術(shù)，為終端用戶提供一系列涵蓋整個(gè)引言云計(jì)算為提供IT服務(wù)的每級(jí)計(jì)算堆棧提供靈活的機(jī)制：從硬件級(jí)到應(yīng)用級(jí)。上述方案使得有非常多的選項(xiàng)可供科學(xué)家選擇，足以滿足他們的任何具體研究需要。硬件虛擬化軟件即服務(wù)硬件設(shè)備和應(yīng)用解決方案引言云計(jì)算為提供IT服務(wù)的每級(jí)計(jì)算堆棧提供靈活的機(jī)制：從硬件引言云計(jì)算解決方案的熱度正在快速增長，如社交網(wǎng)絡(luò)，商業(yè)應(yīng)用和信息傳遞網(wǎng)絡(luò)。目前，計(jì)算科學(xué)利用云計(jì)算仍然是有限，但實(shí)現(xiàn)這一目標(biāo)的第一步已經(jīng)完成了。

能源部(DOE)的國家實(shí)驗(yàn)室開始對(duì)科學(xué)計(jì)算的云服務(wù)的探索。2009年4月，雅虎公司宣布，他們已經(jīng)擴(kuò)展了在美國各大頂尖大學(xué)的合作關(guān)系，推動(dòng)云計(jì)算的研究，并進(jìn)行計(jì)算科學(xué)和工程的應(yīng)用。第一個(gè)用于計(jì)算科學(xué)并基于云計(jì)算的基礎(chǔ)設(shè)施之一，科學(xué)云，已經(jīng)由芝加哥大學(xué)，伊利諾伊大學(xué)，普渡大學(xué)和馬薩理科大學(xué)共同部署。從研究觀點(diǎn)，使用云計(jì)算進(jìn)行科學(xué)計(jì)算的可行性已經(jīng)被初步研究。一些研究通過分析使用的高性能計(jì)算科學(xué)應(yīng)用的表現(xiàn)或科學(xué)實(shí)驗(yàn)在亞馬遜云計(jì)算基礎(chǔ)設(shè)施的表現(xiàn)來調(diào)查使用云計(jì)算技術(shù)的好處。引言云計(jì)算解決方案的熱度正在快速增長，如社交網(wǎng)絡(luò)，商業(yè)應(yīng)用和引言不同的解決方案可從傳統(tǒng)的科學(xué)網(wǎng)格移動(dòng)到云計(jì)算模式中。1亞馬遜網(wǎng)絡(luò)服務(wù)和VMWare靠硬件級(jí)虛擬化和按需提供計(jì)算和存儲(chǔ)資源來提供服務(wù)

2谷歌AppEngine和微軟Azure更側(cè)重于通過實(shí)施一個(gè)具體的應(yīng)用模式來實(shí)現(xiàn)應(yīng)用程序級(jí)的虛擬化，充分利用其巨大的基礎(chǔ)設(shè)施和按需服務(wù)。

3其他的解決方案提供最終用戶一個(gè)云計(jì)算應(yīng)用程序的平臺(tái)，從而提供用戶一個(gè)更好的服務(wù)質(zhì)量。

引言不同的解決方案可從傳統(tǒng)的科學(xué)網(wǎng)格移動(dòng)到云計(jì)算模式中。1引言Aneka一個(gè)用于開發(fā)應(yīng)用程序的云計(jì)算平臺(tái)。特點(diǎn)1通過管理虛擬資源，桌面臺(tái)式機(jī)和集群的CPU周期而按需伸縮規(guī)模。特點(diǎn)2支持多種編程模式，為科學(xué)家表達(dá)程序邏輯提供不同選擇：任務(wù)包，分布式線程，數(shù)據(jù)流或MapReduce。特點(diǎn)3面向服務(wù)的架構(gòu)，為用戶提供了完全可定制化的基礎(chǔ)設(shè)施，以達(dá)到應(yīng)用所期望的QoS（服務(wù)質(zhì)量）。引言Aneka一個(gè)用于開發(fā)應(yīng)用程序的云計(jì)算平臺(tái)。特點(diǎn)1通過管云的發(fā)展云計(jì)算這個(gè)術(shù)語包括許多方面，范圍從最終用戶在使用這項(xiàng)技術(shù)帶來新機(jī)遇的經(jīng)驗(yàn)到系統(tǒng)實(shí)現(xiàn)使這些機(jī)遇變成現(xiàn)實(shí)。云的定義參考模型關(guān)鍵服務(wù)在本節(jié)中，我們將給出云計(jì)算的特征，引入云計(jì)算參考模型，并確定這項(xiàng)新技術(shù)提供的關(guān)鍵服務(wù)。云的發(fā)展云計(jì)算這個(gè)術(shù)語包括許多方面，范圍從最終用戶在使用這項(xiàng)云的發(fā)展-云的定義阿布魯斯特等認(rèn)為，

“云計(jì)算不僅指通過互聯(lián)網(wǎng)的應(yīng)用程序作為服務(wù)，而且是數(shù)據(jù)中心的硬件和軟件系統(tǒng)提供這些服務(wù)”

Buyya等給出一個(gè)更具結(jié)構(gòu)化的定義，定義為“并行和分布式的互聯(lián)和虛擬化的計(jì)算機(jī)的集合，是動(dòng)態(tài)供應(yīng)和作為一個(gè)或多個(gè)統(tǒng)一的計(jì)算資源提出了基于服務(wù)水平協(xié)議組成的系統(tǒng)類型”。

數(shù)據(jù)中心硬件軟件云的發(fā)展-云的定義阿布魯斯特等認(rèn)為，“云計(jì)算不僅指通過互聯(lián)云的發(fā)展-云的定義云計(jì)算的特征的主要特點(diǎn)之一是同時(shí)提供基礎(chǔ)設(shè)施和軟件作為服務(wù)的能力。更確切地說，它是一種技術(shù)，旨在提供隨需應(yīng)變的按使用量支付的IT資源先前趨勢僅限于特定的用戶類，或者特定種類的IT資源云計(jì)算的目標(biāo)是全球化：它提供了上述服務(wù)給各行各業(yè)，從在因特網(wǎng)上擁有個(gè)人文件的終端用戶到為了擴(kuò)展數(shù)據(jù)中心而外包其整個(gè)IT基礎(chǔ)設(shè)施的企業(yè)。云的發(fā)展-云的定義云計(jì)算的特征的主要特點(diǎn)之一是同時(shí)提供基礎(chǔ)設(shè)云的發(fā)展-云計(jì)算參考模型下圖給出了一個(gè)云計(jì)算設(shè)想的方案概述。它提出了一個(gè)分層視圖，由IT基礎(chǔ)設(shè)施、服務(wù)和應(yīng)用構(gòu)成云計(jì)算堆棧。云的發(fā)展-云計(jì)算參考模型下圖給出了一個(gè)云計(jì)算設(shè)想的方案概述。云的發(fā)展-云計(jì)算參考模型可供用戶使用的云應(yīng)用應(yīng)用程序接入點(diǎn)為應(yīng)用提供運(yùn)行環(huán)境最大限度利用物理資源為云計(jì)算提供“馬力”用戶層用戶級(jí)中間件層核心中間件層物理層云計(jì)算定義了四個(gè)不同的層次，從系統(tǒng)向最終用戶逐步過渡。云的發(fā)展-云計(jì)算參考模型可供用戶使用的云應(yīng)用應(yīng)用程序接入點(diǎn)為云的發(fā)展-云計(jì)算參考模型物理層物理層運(yùn)行在所部署的基礎(chǔ)設(shè)施之上的物理資源的集合。這些物理資源包括不同的種類：集群，數(shù)據(jù)中心和備用臺(tái)式機(jī)。支持商業(yè)云部署的基礎(chǔ)設(shè)施大多數(shù)由數(shù)據(jù)中心組成，這些數(shù)據(jù)中心集合了成千上百的機(jī)器。私有云提供了一個(gè)更異構(gòu)的環(huán)境，在這種環(huán)境中，備用臺(tái)式機(jī)的閑置CPU循環(huán)會(huì)被使用以平衡計(jì)算工作量。物理層在云中提供“馬力”。核心中間件層物理基礎(chǔ)設(shè)施由核心中間件管理，它的目的在于為應(yīng)用程序提供一個(gè)良好的運(yùn)行環(huán)境并最大限度的利用物理資源。云的發(fā)展-云計(jì)算參考模型物理層物理層運(yùn)行在所部署的基礎(chǔ)設(shè)施之云的發(fā)展-云計(jì)算參考模型為了提供更優(yōu)質(zhì)的服務(wù)，如應(yīng)用程序隔離、服務(wù)質(zhì)量和沙箱，核心中間件可依賴于虛擬化技術(shù)。在虛擬化技術(shù)的不同解決方案中，硬件級(jí)虛擬化和編程語言級(jí)虛擬化是最流行的。硬件及虛擬化使用虛擬機(jī)的方法保證了應(yīng)用程序的完全隔離和物理資源的良好分割，如內(nèi)存和CPU。編程語言級(jí)虛擬化提供了沙箱和應(yīng)用程序的托管執(zhí)行，這些應(yīng)用程序是由特定的技術(shù)或編程語言開發(fā)的（如Java，.NET和Python）。在此基礎(chǔ)上，核心中間件提供了一系列廣泛的服務(wù)，支持服務(wù)提供商為終端用戶提供專業(yè)的和商業(yè)的服務(wù)這些服務(wù)包括服務(wù)質(zhì)量的協(xié)商，接入控制，運(yùn)行管理和監(jiān)督、計(jì)費(fèi)和支付。核心中間件和物理基礎(chǔ)設(shè)施共同組成了一個(gè)平臺(tái)，使得部署在云中的應(yīng)用程序在其之上運(yùn)行。很少有用戶級(jí)程序直接訪問這一層。云的發(fā)展-云計(jì)算參考模型為了提供更優(yōu)質(zhì)的服務(wù)，如應(yīng)用程序隔離云的發(fā)展-云計(jì)算參考模型用戶級(jí)中間件層常見的是，核心中間件所提供的服務(wù)通常通過一個(gè)用戶級(jí)中間件來訪問。它提供了環(huán)境和工具來簡化云應(yīng)用程序的開發(fā)和部署。這些中間件是：Web2.0接口，命令行工具，庫和編程語言。用戶級(jí)中間件構(gòu)成了到云端的應(yīng)用程序接入點(diǎn)。用戶層云應(yīng)用程序：如社會(huì)計(jì)算，企業(yè)，ISV，科學(xué)，CDN云的發(fā)展-云計(jì)算參考模型用戶級(jí)中間件層常見的是，核心中間件所云的發(fā)展-云計(jì)算服務(wù)云計(jì)算提供給終端用戶，科學(xué)機(jī)構(gòu)和企業(yè)的服務(wù)可分為三大類：云計(jì)算服務(wù)SaaSIaaSPaaS云的發(fā)展-云計(jì)算服務(wù)云計(jì)算提供給終端用戶，科學(xué)機(jī)構(gòu)和企業(yè)的服云的發(fā)展-云計(jì)算服務(wù)云的發(fā)展-云計(jì)算服務(wù)云的發(fā)展-云計(jì)算服務(wù)IaaS基礎(chǔ)設(shè)施即服務(wù)1術(shù)語基礎(chǔ)設(shè)施即服務(wù)或硬件即服務(wù)（HaaS）指的是基于虛擬化或物理資源的基礎(chǔ)設(shè)施向商品一樣提供給消費(fèi)者。

這些資源滿足終端用戶對(duì)內(nèi)存，CPU類型和動(dòng)力，存儲(chǔ)和操作系統(tǒng)的要求。用戶使用按使用量收費(fèi)并在這些資源的基礎(chǔ)上啟動(dòng)自己的系統(tǒng)。而這些資源由供應(yīng)商所提供的數(shù)據(jù)中心托管。亞馬遜公司是一個(gè)提供IaaS服務(wù)的提供商之一，EC2提供了一個(gè)大的基礎(chǔ)設(shè)施和基于硬件虛擬化的服務(wù)。亞馬遜還通過亞馬遜簡單存儲(chǔ)服務(wù)（S3）提供存儲(chǔ)服務(wù)，用戶可以使用AmazonS3訪問來自任何地方接入的大量數(shù)據(jù)云的發(fā)展-云計(jì)算服務(wù)IaaS基礎(chǔ)設(shè)施即服務(wù)1術(shù)語基礎(chǔ)設(shè)施即服云的發(fā)展-云計(jì)算服務(wù)PaaS平臺(tái)即服務(wù)2平臺(tái)即服務(wù)解決方案提供一個(gè)應(yīng)用程序或開發(fā)平臺(tái)，用戶可以開發(fā)自己的應(yīng)用程序在云端運(yùn)行。

提供了一個(gè)應(yīng)用程序框架和一組API，可被開發(fā)人員用來編程或組成云端的應(yīng)用程序。PaaS解決方案通常作為一個(gè)綜合系統(tǒng)交付，同時(shí)提供一個(gè)開發(fā)平臺(tái)和應(yīng)用程序在其之上運(yùn)行的IT基礎(chǔ)設(shè)施。谷歌AppEngine，一個(gè)用于開發(fā)可伸縮的Web應(yīng)用平臺(tái)微軟Azure，一個(gè)云服務(wù)操作系統(tǒng)的平臺(tái)云的發(fā)展-云計(jì)算服務(wù)PaaS平臺(tái)即服務(wù)2平臺(tái)即服務(wù)解決方案提SaaS軟件即服務(wù)3云的發(fā)展-云計(jì)算服務(wù)軟件即服務(wù)解決方案在云計(jì)算堆棧的頂端，提供給終端用戶集成的服務(wù)，包括硬件，開發(fā)平臺(tái)和應(yīng)用程序。

用戶不能定制服務(wù)，但可以訪問云端特定的應(yīng)用程序。Aneka是Manjrasoft的產(chǎn)品，是一個(gè)純粹的軟件即服務(wù)，并提供終端用戶和開發(fā)者在云端使用.NET技術(shù)開發(fā)分布式應(yīng)用程序的一個(gè)平臺(tái)技術(shù)。軟件即服務(wù)實(shí)現(xiàn)的歷史是谷歌提供的辦公自動(dòng)化，如谷歌文檔和谷歌日歷，免費(fèi)提供給因特網(wǎng)用戶，而且是專業(yè)優(yōu)質(zhì)的服務(wù)。SaaS軟件即服務(wù)3云的發(fā)展-云計(jì)算服務(wù)軟件即服務(wù)解決方案在ANEKA1Aneka是一個(gè)軟件平臺(tái)和在云端開發(fā)分布式應(yīng)用程序的框架。按需利用計(jì)算資源提供豐富的API提供監(jiān)測和部署工具私有云訪問受限2靈活且面向服務(wù)設(shè)計(jì)的Aneka及其它完全可定制的體系結(jié)構(gòu)使Aneka云能夠支持不同的方案。3Aneka云可建立在不同的物理基礎(chǔ)設(shè)施之上，與其他云計(jì)算解決方案集成，如亞馬遜EC2，以按需擴(kuò)展它們的能力。ANEKA1Aneka是一個(gè)軟件平臺(tái)和在云端開發(fā)分布式應(yīng)用程ANEKA云計(jì)算結(jié)構(gòu)ANEKA云計(jì)算結(jié)構(gòu)ANEKA-架構(gòu)Fabric服務(wù)可以通過平臺(tái)抽象層（PAL）直接訪問某一節(jié)點(diǎn)，并且可以分析硬件性能和動(dòng)態(tài)配置資源?；A(chǔ)服務(wù)標(biāo)志著Aneka基礎(chǔ)設(shè)施的核心系統(tǒng)，它們提供了一系列基本特征集，在其之上每個(gè)Aneka容器可以執(zhí)行具體的任務(wù)集。執(zhí)行服務(wù)Aneka能夠通過不同的編程模型來實(shí)現(xiàn)多種分布式應(yīng)用程序，執(zhí)行服務(wù)主要提供實(shí)現(xiàn)這些模型的中間件。此外，還有持久性和安全性也被托管于容器ANEKA-架構(gòu)Fabric可以通過平臺(tái)抽象層（PAL）直接ANEKA-架構(gòu)容器的網(wǎng)絡(luò)可以使用不同的部署方案。整個(gè)Aneka云可以托管在公共云，如亞馬遜EC2或桉樹管理的私人數(shù)據(jù)中心完全由相同管理域的物理機(jī)（臺(tái)式機(jī)和集群）構(gòu)成的私有云當(dāng)?shù)氐幕A(chǔ)設(shè)施利用額外的虛擬資源擴(kuò)展，如下圖所示私有云公有云混合云ANEKA-架構(gòu)容器的網(wǎng)絡(luò)可以使用不同的部署方案。整個(gè)AneANEKA-架構(gòu)ANEKA-架構(gòu)ANEKA-架構(gòu)Fabric服務(wù)按需伸縮和提供其他節(jié)點(diǎn)或釋放時(shí)一些不再需要的節(jié)點(diǎn)，這些節(jié)點(diǎn)可以是虛擬或物理資源。物理節(jié)點(diǎn)：通過網(wǎng)絡(luò)只需關(guān)閉節(jié)點(diǎn)中的容器就能釋放。虛擬資源：還需要終止托管容器的虛擬機(jī)?；A(chǔ)服務(wù)會(huì)員服務(wù)：跟蹤云節(jié)點(diǎn)和提供注冊表?？捎糜谕ㄟ^特定配置和操作系統(tǒng)動(dòng)態(tài)發(fā)現(xiàn)網(wǎng)絡(luò)或節(jié)點(diǎn)服務(wù)。ANEKA-架構(gòu)Fabric服務(wù)按需伸縮和提供其他節(jié)點(diǎn)或釋放ANEKA-應(yīng)用模型TaskModelMPIThreadModelMapReduceModelWorkFlowPSM模型Aneka中的應(yīng)用程序由一系列執(zhí)行單元構(gòu)成，其性質(zhì)取決于具體所用的編程模型。單元調(diào)度和執(zhí)行的方法具體到它們屬于的編程模型。

ANEKA-應(yīng)用模型TaskModelMPIThreadANEKA-計(jì)費(fèi)、定價(jià)和整合公共云定價(jià)策略整合公共云計(jì)費(fèi)策略追蹤每個(gè)應(yīng)用程序每個(gè)執(zhí)行單元所花的時(shí)間，并保存各單位執(zhí)行歷史。

分配到每個(gè)資源的價(jià)格和確定每個(gè)應(yīng)用程序的產(chǎn)生的費(fèi)用。混