-.z.云計(jì)算原理課程期末實(shí)踐報(bào)告題目：Linu*集群、MapReduce和CloudSim實(shí)踐成績(jī)：**：161440119：羅滔登錄郵箱：750785185qq.任課教師：許娟2016年11月12日目錄實(shí)驗(yàn)一：AWS身份與訪問(wèn)管理〔P2~P11〕實(shí)驗(yàn)二：AmazonRelationalDatabaseService(P11~P20)實(shí)驗(yàn)三：Hadoop實(shí)驗(yàn)報(bào)告(P21~)AWS管理控制臺(tái)使用qwikLABS登錄AWS管理控制臺(tái)6.在AWS管理控制臺(tái)中，單擊【效勞/Services】，然后單擊【IAM或身份與訪問(wèn)管理/IAMorIdentity&AccessManagement】。7.在IAM控制臺(tái)的左側(cè)面板中，單擊【用戶/Users】。8.找到"userone〞，然后單擊其名稱以顯示有關(guān)該用戶的詳細(xì)信息。在用戶詳細(xì)信息中，找到有關(guān)該用戶的以下三方面的信息：a.已向該用戶分配了一個(gè)密碼b.該用戶不屬于任何組c.目前沒(méi)有任何策略與該用戶關(guān)聯(lián)〔"附加到〞該用戶〕9.現(xiàn)在，單擊左側(cè)導(dǎo)航窗格中的【組/Groups】。本實(shí)驗(yàn)的CloudFormation模板還創(chuàng)立了三個(gè)組。在IAM控制臺(tái)中的【用戶/Users】?jī)x表板中可以看到，自動(dòng)化CloudFormation腳本在創(chuàng)立這些組時(shí)為其提供了唯一的名稱。這些唯一名稱包含以下字符串："EC2support〞"EC2admin〞"S3admin〞完整組名的格式如下所示：arn:aws:iam::1:group/spl66/qlstack2--labinstance--47090--666286a4--f8c--EC2support--GA9LGREA7*4S從現(xiàn)在開場(chǎng)，我們?cè)诒緦?shí)驗(yàn)中將使用上面這些簡(jiǎn)寫名稱來(lái)指代這些組。您可以在【組/Groups】?jī)x表板中搜索子字符串，以便為后續(xù)實(shí)驗(yàn)操作確定正確的組。10.單擊"EC2support〞對(duì)應(yīng)的組名。其格式應(yīng)與上面的類似。11.向下滾動(dòng)至組詳細(xì)信息頁(yè)面中的【權(quán)限/Permissions】局部后，在【內(nèi)聯(lián)策略/InlinePolicies】局部，可以看到一個(gè)名稱為"EC2supportpolicy〞的策略與該組關(guān)聯(lián)。在策略中，您可以規(guī)定將允許或拒絕對(duì)特定AWS資源執(zhí)行哪些操作。您可以使用自定義策略，或通過(guò)選擇AWS托管策略來(lái)使用一組預(yù)定義的權(quán)限。12.雖然我們不會(huì)更改此策略，但請(qǐng)單擊【編輯策略/EditPolicy】，使其顯示在一個(gè)窗口中，以便您進(jìn)展查看和滾動(dòng)。請(qǐng)留意IAM策略中語(yǔ)句的根本構(gòu)造。"Action〞局部指定了該效勞內(nèi)的AWS效勞和功能。"Resource〞部分定義了該策略規(guī)則所涵蓋的實(shí)體范圍，而"Effect〞局部則定義了所需結(jié)果。更多有關(guān)定義IAM策略的信息，請(qǐng)?jiān)L問(wèn)"AWSIdentityandAccessManagement：權(quán)限和策略〞文檔頁(yè)面。13.單擊另外兩個(gè)組〔"EC2admin〞和"S3admin〞〕，查看附加到這兩個(gè)組的策略。您現(xiàn)在能否識(shí)別出附加到這些組的策略所允許的權(quán)限？18.完成后，再次單擊左側(cè)面板中的【組/Groups】。各組的【用戶/Users】列中應(yīng)顯示"1〞，表示各組中的用戶數(shù)。設(shè)置自定義密碼替換和設(shè)置自定義密碼為"userone〞設(shè)置一個(gè)密碼，然后在臨時(shí)的記事本文件中記下該密碼。重復(fù)上述步驟，為"usertwo〞和"userthree〞設(shè)置密碼。測(cè)試對(duì)S3的訪問(wèn)權(quán)限您在本實(shí)驗(yàn)中使用的"awsstudent〞用戶所擁有的權(quán)限寥寥無(wú)幾，例如，您可以訪問(wèn)S3儀表板，但無(wú)法查看其中的存儲(chǔ)桶。立即對(duì)此進(jìn)展測(cè)試：25.在主AWS控制臺(tái)上，單擊【效勞/Services】，然后單擊【S3】。26.您應(yīng)該會(huì)看到三個(gè)存儲(chǔ)桶。嘗試單擊存儲(chǔ)桶以查看其內(nèi)容–您將無(wú)法查看其內(nèi)容。28.在主IAM儀表板上，在【歡送使用身份識(shí)別和訪問(wèn)管理/WelcometoIdentityandAccessManagement】下方，您將看到IAM用戶登錄鏈接。復(fù)制此URL，然后將其粘貼到臨時(shí)記事本文件中?，F(xiàn)在，您的記事本文件中應(yīng)包含登錄URL、完整的"userthree〞登錄名和密碼。在新的瀏覽器中，使用這些信息以"userthree〞的身份登錄。31.您應(yīng)該會(huì)看到標(biāo)準(zhǔn)的AWS控制臺(tái)。但是，在右上角，您的用戶名不再是"awsstudent〞，而是"userthree〞。32.現(xiàn)在，訪問(wèn)S3效勞儀表板。您可以看到之前的三個(gè)存儲(chǔ)桶，但現(xiàn)在，作為"S3admin〞組的一局部，您可以查看這些存儲(chǔ)桶、復(fù)制文件、創(chuàng)立新的存儲(chǔ)桶和文件等。實(shí)驗(yàn)二：AmazonRelationalDatabaseService(P12~P21)1.登錄AWS管理控制臺(tái)登錄之后，返回qwikLAB??網(wǎng)2.創(chuàng)立RelationalDatabaseService(RDS)實(shí)例要開場(chǎng)創(chuàng)立第?一個(gè)AmazonRDS實(shí)例，您需要訪問(wèn)Amazon管理控制臺(tái)上的AmazonRDS圖標(biāo)，然后使?RelationalDatabaseService向?qū)?。單?首頁(yè)上的AmazonRDS圖標(biāo)并轉(zhuǎn)到該控制?面板。8.單擊"LaunchaDatabaseInstance／啟動(dòng)數(shù)據(jù)庫(kù)實(shí)例〞按鈕來(lái)啟動(dòng)RDS向?qū)А?.單擊MySQL數(shù)據(jù)庫(kù)引擎類型對(duì)?面的"Select／選擇〞按鈕。10.看到該數(shù)據(jù)庫(kù)是否?用于?生產(chǎn)?目的的詢問(wèn)時(shí)，選擇"開發(fā)測(cè)試〞單項(xiàng)選擇按鈕，然后單擊"Ne*tStep／下?一步〞。11.在接下來(lái)的"DBInstanceDetails／指定數(shù)據(jù)庫(kù)詳細(xì)信息〞屏幕上，按以下內(nèi)容進(jìn)?行設(shè)置：a.DBInstanceClass／數(shù)據(jù)庫(kù)實(shí)例類b.Multi--AZDeployment／多可?用區(qū)部署c.AllocatedStorage／分配的存儲(chǔ)空間:5d.DBInstanceIdentifier／數(shù)據(jù)庫(kù)實(shí)例標(biāo)識(shí)符:RDSLabe.MasterUsername:／主?用戶名AWSMasterf.MasterPassword／主密碼:AWS1234512.單擊"Ne*tStep／下?一步〞。13.在接下來(lái)的"AdditionalConfig／配置?高級(jí)設(shè)置〞屏幕上，按以下內(nèi)容進(jìn)?行設(shè)置：a.DatabaseName／數(shù)據(jù)庫(kù)名稱:RDSLabb.PublicallyAccessible／公開訪問(wèn):否c.VPCSecurityGroup／VPC平安組：選擇包含?文本"qlstack〞的平安組14.在備份中，選擇備份保存期為0天。15.單擊"LaunchDBInstance／啟動(dòng)數(shù)據(jù)庫(kù)實(shí)例〞。從亞馬遜系統(tǒng)映像(AMI)創(chuàng)立AmazonLinu*實(shí)例要開場(chǎng)創(chuàng)立第?一個(gè)Amazon實(shí)例，您需要訪問(wèn)Amazon管理控制臺(tái)上的AmazonEC2圖標(biāo)，然后使?用向?qū)А?6.返回AWS管理控制臺(tái)〔它在瀏覽器中仍是翻開的〕。17.單擊AWS管理控制臺(tái)?首頁(yè)上的EC2圖標(biāo)。18.單擊"Instances／實(shí)例〞鏈接來(lái)創(chuàng)立實(shí)例。19.單擊"LaunchInstance／啟動(dòng)實(shí)例〞按鈕來(lái)開場(chǎng)該過(guò)程。20.在第?一個(gè)對(duì)話窗?.口中，步驟1：選擇?一個(gè)Amazon系統(tǒng)映像，然后單擊該AMI旁邊的"Select／選.〞來(lái)選擇AmazonLinu*AMI實(shí)例。注意：確認(rèn)是64位的映像。21.步驟2：使實(shí)例類型保存默認(rèn)設(shè)置，即t2.micro。要繼續(xù)，則單擊"Ne*t:ConfigureInstanceDetails／下?一步：配置實(shí)例詳細(xì)信息〞。22.步驟3：ConfigureInstanceDetails／配置實(shí)例詳細(xì)信息，我們將保存所有默認(rèn)選項(xiàng)，并單擊"Ne*t:AddStorage／下?一步：添加存儲(chǔ)〞。23.步驟4：AddStorage／添加存儲(chǔ)，保存默認(rèn)虛擬擬硬。單擊"Ne*t:TagInstance／下?一步：標(biāo)簽實(shí)例〞。注意：您可以在此輕松增加更多虛擬硬盤或更改硬盤?大?小。24.步驟5：TagInstance／標(biāo).實(shí)例，使?標(biāo)簽實(shí)例界?面為實(shí)例命名。您將注意到左邊?文本框填充了標(biāo)簽的名字為Name，右邊.文本框?yàn)榭?。在?文，鍵?入名稱，例如"EC2FreeLab〞并單擊"Ne*t:ConfigureSecurityGroup／下?一步：配置平安組。步驟6：ConfigureSecurityGroup／配置平安組，承受默認(rèn)平安組，因?yàn)樗试S通過(guò)端??口22(SSH)從任意位置連接此Linu*實(shí)例，單擊"ReviewandLaunch／審核和啟.步驟7：通過(guò)"ReviewInstanceLaunch／審核和啟.動(dòng)〞，您可以獲取全部設(shè)置的概覽。。單擊"Launch／啟動(dòng)〞以繼續(xù)。QwikLab?自動(dòng).您?生成的密鑰.應(yīng).自動(dòng)填第?二個(gè)下拉框。單擊"acknowledgement／確認(rèn)〞復(fù)選框，聲明?，F(xiàn)在，單."LaunchInstance／啟.實(shí)例。單擊"ViewInstances／查看實(shí)例。40.將ec2--user鍵?入HostName字段，然后將您復(fù)制到剪貼板板的連接字符串粘貼到42.單擊單詞"Auth〞選擇"Auth〞類〔?而不是單詞"Auth〞旁邊的+符號(hào)〕。43.單擊"Browse〞。44.瀏覽到您稍早在本實(shí)驗(yàn)中保存.ppk?文件的位置。45.選擇您下載的.ppk?文件。46.單擊"Open〞。47.在PuTTY客戶端，單擊"Open〞。48.出現(xiàn)提?示時(shí)，單擊"Yes〞允許PuTTY緩存效勞器的主機(jī)鍵。您已成功登錄了Linu*主機(jī)！50.回到RDS頁(yè)?面，選中并展開之前創(chuàng)立的RDS實(shí)例。記錄下Endpoint／終端節(jié)點(diǎn)名字，?比方:51.回到Linu*EC2主機(jī)的終端，輸?入以下命令：$mysql–h<endpoint>--p–uAWSMaster52.在密碼的提?示符下輸?入AWS1234553.然后在mysql>提?示符下輸?入showdatabases;?并檢查結(jié)果。54.您現(xiàn)在已將MySQL客戶端連接到您新創(chuàng)立的RDS實(shí)例。恭喜您！Hadoop云計(jì)算實(shí)驗(yàn)報(bào)告(P21-)實(shí)驗(yàn)?zāi)康脑谔摂M機(jī)Ubuntu上安裝Hadoop單機(jī)模式和集群；編寫一個(gè)用Hadoop處理數(shù)據(jù)的程序，在單機(jī)和集群上運(yùn)行程序。2、實(shí)驗(yàn)環(huán)境虛擬機(jī)：VMware9操作系統(tǒng)：ubuntu-12.04-server-*64Hadoop和Jdk和EclipseHadoop集群：一臺(tái)namenode主機(jī)master，一臺(tái)datanode主機(jī)salve，master主機(jī)IP為，slave主機(jī)IP為。3、主要設(shè)計(jì)思路在ubuntu操作系統(tǒng)下，安裝必要軟件和環(huán)境搭建，使用eclipse編寫程序代碼。實(shí)現(xiàn)大數(shù)據(jù)的統(tǒng)計(jì)。本次實(shí)驗(yàn)是統(tǒng)計(jì)軟件代理系統(tǒng)操作人員處理的信息量，即每個(gè)操作人員出現(xiàn)的次數(shù)。4、算法設(shè)計(jì)該算法首先將輸入文件都包含進(jìn)來(lái)，然后交由map程序處理，map程序?qū)⑤斎胱x入后切出其中的用戶名，并標(biāo)記它的數(shù)目為1，形成<word,1>的形式，然后交由reduce處理，reduce將一樣key值(也就是word)的value值收集起來(lái)，形成<word,listof1>的形式，之后再將這些1值加起來(lái)，即為用戶名出現(xiàn)的個(gè)數(shù)，最后將這個(gè)<key,value>對(duì)以Te*tOutputFormat的形式輸出到HDFS中。5、安裝實(shí)驗(yàn)環(huán)境5.1安裝ubuntu操作系統(tǒng)翻開VMware,在Hometab中單擊"CreateaNewVirtualMachine〞，選擇custom，選擇虛擬硬件版本W(wǎng)orkstation9.0，選擇ios文件，ne*t，錄入目標(biāo)操作系統(tǒng)信息,包括Fullname、Uername和Password，ne*t，選擇默認(rèn)的選項(xiàng)，一般不做更改，最后確認(rèn)信息，F(xiàn)inish，安裝成功后，會(huì)看到如下畫面，5.2安裝配置Samba安裝samba主要為了實(shí)現(xiàn)與windows操作系統(tǒng)的通訊，由于server版本的ubuntu沒(méi)有自帶圖形操作界面，所以下載資料等操作不太方便，這也是安裝samba的目的之一。安裝samba，輸入如下命令：安裝vim創(chuàng)立共享目錄，并修改權(quán)限配置samba。修改samba的配置文件/etc/samba/smb.conf，將security=share，并在文件的末尾追加如下內(nèi)容，測(cè)試。在windows實(shí)機(jī)中，通過(guò)ip訪問(wèn)ubuntu虛擬機(jī)，可以見(jiàn)到share文件夾5.3安裝配置JDK首先，下載java開發(fā)工具包JDK。在本次試驗(yàn)中，我們下載的版本是jdk-7u80-linu*-*64.gz。解壓安裝到/usr/lib/jvm/目錄下，更名為java-7-sun。配置環(huán)境變量/etc/environment，使配置生效測(cè)試安裝配置結(jié)果5.4在單節(jié)點(diǎn)〔偽分布式〕環(huán)境下運(yùn)行HADOOP添加Hadoop用戶并賦予sudo權(quán)限安裝配置SSH切換至hadoop用戶，配置密鑰，使得hadoop用戶能夠無(wú)須輸入密碼，通過(guò)SSH訪問(wèn)localhost，測(cè)試結(jié)果：安裝配置Hadoop首先下載Hadoop,解壓縮到/opt/hadoop目錄下,本次試驗(yàn)中我們下載的版本是，更改目錄名稱為hadoop。修改與hadoop相關(guān)的配置文件〔在/opt/hadoop/conf目錄下〕，分別是core-site.*ml,hadoop-env.sh,hdsf-site.*ml,mapred-site.*ml。在此不一一列舉。運(yùn)行Hadoop首先格式化HDFS，啟動(dòng)單節(jié)點(diǎn)集群，通過(guò)jps查看，masterslave停頓單節(jié)點(diǎn)集群，5.5在多節(jié)點(diǎn)〔分布式〕環(huán)境下運(yùn)行HADOOP設(shè)置/etc/hosts文件實(shí)驗(yàn)中兩臺(tái)機(jī)器處于同一局域網(wǎng)中，其中一臺(tái)作為master，ip地址為，一臺(tái)作為slave，ip地址為，修改兩臺(tái)機(jī)器的/etc/hosts文件，設(shè)置節(jié)點(diǎn)之間無(wú)密碼SSH登陸驗(yàn)證配置SSH是否正確修改集群配置文件修改master的masters、slaves，修改所有節(jié)點(diǎn)的core-site.*ml,hdsf-site.*ml,mapred-site.*ml，在此不一一列出。在master上格式化HDFS啟動(dòng)和停頓集群?jiǎn)?dòng)集群，在master上啟動(dòng)HDFS后，jps結(jié)果如下：masterslave在master上啟動(dòng)mapreduce后，jps結(jié)果如下：masterslave停頓集群6、運(yùn)行程序1.在單機(jī)上運(yùn)行程序在Eclipse下，新建map/reduce工程新建一個(gè)java類UserNameCount，編寫代碼運(yùn)行程序，結(jié)果如下：在eclipse中編譯好源代碼后，導(dǎo)出程序的jar包，供在集群上使用。2.在集群上運(yùn)行程序啟動(dòng)集群，通過(guò)jps命令查看master，slave上啟動(dòng)的效勞列表，結(jié)果如下：在集群環(huán)境下運(yùn)行該程序jar包〔UserNameCount.jar〕，結(jié)果如下：查看集群環(huán)境下啟動(dòng)程序生成的結(jié)果，即output文件，結(jié)果如下：數(shù)據(jù)統(tǒng)計(jì)結(jié)果在part-r-00000中，具體內(nèi)容如下，7、源代碼：packagehadoop;importjava.io.IOE*ception;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.Te*t;importorg.apache.hadoop.mapreduce.Job;importorg.apache.hadoop.mapreduce.Mapper;importorg.apache.hadoop.mapreduce.Reducer;importorg.apache.hadoop.mapreduce.lib.input.FileInputFormat;importorg.apache.hadoop.mapreduce.lib.input.Te*tInputFormat;importorg.apache.hadoop.mapreduce.lib.output.FileOutputFormat;importorg.apache.hadoop.mapreduce.lib.output.Te*tOutputFormat;publicclassUserNameCount{publicstaticclassUserNameCountMape*tendsMapper<LongWritable,Te*t,Te*t,IntWritable>{privatefinalIntWritableone=newIntWritable(1);privateTe*tword=newTe*t();publicvoidmap(LongWritablekey,Te*tvalue,Conte*tconte*t)throwsIOE*ception,InterruptedE*ception{Stringline=value.toString();StringTokenizertoken=newStringTokenizer(line);while(token.hasMoreTokens()){word.set(token.ne*tToken());conte*t.write(word,one); } } }publicstaticclassUserNameCountReducee*tendsReducer<