資料資料實驗報告課程名稱虛擬化與云計算學(xué)院計算機(jī)學(xué)院專業(yè)班級11級網(wǎng)絡(luò)工程3班學(xué)號3211006414姓名李彩燕指導(dǎo)教師孫為軍2014年12月03日

EXSI5.1.0安裝安裝準(zhǔn)備安裝VSPHEREHYPERVISORSEVER（EXSI5.1.0）需要準(zhǔn)備：無操作系統(tǒng)的機(jī)器（如有系統(tǒng)，安裝過程中會格式化掉），需切換到光盤啟動模式BOIS中開啟虛擬化設(shè)置（virtuolizotion設(shè)置成enable）VMwarevSphereHypervisor自啟動盤安裝過程1.選擇keyboard類型，默認(rèn)USDEFAULT4.2.3.安裝VMwarevSphereHypervisor確保機(jī)器中無操作系統(tǒng)，并且設(shè)置BIOS到光盤啟動模式插入光盤，引導(dǎo)進(jìn)入安裝界面。選擇需要安裝在硬盤$11加711［出丁01■畤“血-四萌曲上vsphere-teat&13L51#（PJMEI①0.11cv.3■」」卜曠?＜（血診心護(hù)WwcESh|5a0O[rrstaIIcr8lowmIanSpmiishSuttdiiih5uiaa-FrenrfiiSuissCernan"盤環(huán)5.設(shè)置ROOT的密碼I總」SUJi^TlTE^TOI.Aegtin.-cn?M：aCAB上的^jplrieretejtI51#(PJMEI①O.ltcv.31BUOA辱賀?:（血妙辱砂6.安裝完畢后，請注意彈出光盤。然后重啟。7.F2進(jìn)入系統(tǒng)配置界面。8.選擇至ijConfiguremanagementnetwork去配置網(wǎng)絡(luò)。SIT占弓SIT占弓TltES丁CllL“腫衛(wèi)..卜的TJpher&tcat[■|□IX資料資料丈徉電」ME1①O.ltcv.3B參發(fā)窪的蛟孚砂活動連擅酋目已史改.比控電E目前有2傘泊進(jìn)連童K..IIIIIILUIFIIH-Hl.|FIIRIIIIIF>.III.H■*.ilelwjrk剛西ilelwjrk剛西pt"名VIftMtapiirasaI)IPConflguratSun]puG[onfiifjuirotIijnDNSConfigura-tianCustomDHSSuTfiKeaIP^dhdreaa：165-2M.0.]SdbfiHltek：2S5u2SS.ajDtefflij]t6fftCU3>|：HotIhi*3-hn^tcwinhtainanIPaddrea-s-ando-tticriiKtmrklogpar擊帕tdrs<sut￡uiBticaI.lyIfLjDiiirni^tMorkincaMtFscruer,IFmtaskyoLir-netucr-kadliiln■stratorFortheis^ropri-Hts!tiinqni.IPCwifigurotImUni■□-hoitsanaht-ainnctuork-^ettingsMtrnnfitJcaLLyif^nurmtmiorkiiK-ludesaDHCPserver.IfItdcrg-snot,theCoIJIcmIngsettIngsnusttespecIIH閒：()SetsttftIcIPodtiress?idwtiwkconfIgiir^tIon-TOC\o"1-5"\h\zIFMriress-[:JSiitNWllbask[25S.2SSJOuOJtefwiltGotcuay[B.O.O.B]9.CIJp/Daun>SeLcct<5fM匚巴>HkirkSelecledCEnter)OK<E-sc>ConcE19.配置完畢后，注意重啟網(wǎng)絡(luò)以使設(shè)置生效，點擊restartmanagementnetwork，測試網(wǎng)絡(luò)設(shè)置是否正確，點testmanagementnetwork。至此，sever端安裝完畢。配置添加機(jī)器名：在DNS服務(wù)器上添加相關(guān)正反解析設(shè)置。License設(shè)置：Vsphereclient登陸后，清單f配置f已獲許可的功能f編輯輸入license資料資料1資料1資料slwm.?3—*衍＞?1■亡Client_i?1X：：i^MAof■■1"i*：!■"W，..：H.★：：?.?：.;H?￥ri2L才pgigDi才郵psOI和爾UDVMte^r&ESX],5.n.Dl??^0bnh門轄cftR4rt序連対歸陸莊用尸和宙甲井枚錚:?MHE?■gs?-eisx弘拠日許可EE笑亞日□I另疔■許可;H?￥ri2L才pgigDi才郵psOI和爾UDVMte^r&ESX],5.n.Dl??^0bnh門轄cftR4rt序連対歸陸莊用尸和宙甲井枚錚:?MHE?■gs?-eisx弘拠日許可EE笑亞日□I另疔■許可｛ElJhun21:，〕.：.泡:.工邛.：.！叫聽煒：:'-L-J-V-C：t--■—~t--A'舟..||VThit-anSphu&5Hyj-urjnr歸亍C...無甩■?m無険亍mcnibflrfi吋用雖蟹ub從耒jtff.-r匚■'Ad■Tj~~——j^a：W.-mvSphwtGHsiMMMr它蝕遐￡RJ已菇祥可(誓平匚RJ曲內(nèi)梭「融不殖§帥'”]VIr*Jqpy_hT幵F”_話尸n□THOc無許可證遷ffiiVTKudith^ertSl-^pciihoi(5TCPU...0IXM-AZjCS-lSH^I^-nAZAG-ZDALIM叔內(nèi)再存時器存樣制畫電囂純W-虐也換帯左件世萱安主伍丈件主機(jī)處岡rcBW空燭奇可由噴逾一Ld,'-E-::'JM雋盅BS出目出臉iiEl辭3.加HWF落BfiDTi~Kra?THEffiTiffl|配萱吋同配儀施咖噸：！VMiflSff&ESM,5jn.n.i6?^?0izQ5h?Tra2L~國d"U￡￡￡0]醇才ajmO]出d-riSNtfl?3.加HWF落BfiDTi~Kra?THEffiTiffl|配萱吋同配儀施咖噸：！VMiflSff&ESM,5jn.n.i6?^?0izQ5h?Tra2L~國d"U￡￡￡0]醇才ajmO]出d-riSNtfl?琵審芷況處理爵內(nèi)再TrfiiififlBffi障SI即液電謂普耀己陛可S喚TL、?七電JT月出額E瞬安蚩記畫丈件±m(xù)?TffieH手戰(zhàn)遺匪施代pirffl切淨(jìng)D日RR和時冋np壽戶蒜MTP黒呂御JttSl2DJ2-7-26正芷怎廳ia72.I.L9日則HJ的間解■石prsirit的贏地哎閭設(shè)宣工聊目期和時閭.Nrpaes鴨側(cè)口?LZ3rfrw；WTF霧.口鈾己日用rt?r￡9i主馬趕理列.呻個眾番』創(chuàng)EySc血注rrt殊耳豐坦吋阿押惶主m?-時間與NTP服務(wù)設(shè)置：Vsphereclient登陸后，清單f配置f時間配置f屬性鉤選上NTP客戶端對伺；|lDXi'+7-5-日期；恤誼年了月昂日^|選項中，NTP設(shè)置設(shè)添加NTP服務(wù)器，然后在常規(guī)中開啟NTP服務(wù)確定后等待5-10MIN,時間會與NTP服務(wù)器同步。Hadoop安裝Hadoop是一個易于安裝易于使用的系統(tǒng)，他既適用于云計算的新人學(xué)習(xí)，也適用于對云計算已經(jīng)有一定研究的人深入學(xué)習(xí)（包括網(wǎng)格計算，并行計算等等）。Hadoop源于nutch,hadoop的兩位創(chuàng)始人想開發(fā)一款開源的網(wǎng)絡(luò)搜索引擎，但是在管理大量計算機(jī)時遇到了問題。后來google發(fā)表了關(guān)于GFS與MapReduce的論文，他們把論文中的思想應(yīng)用到了Nutch中。最初他們把系統(tǒng)應(yīng)用與20臺機(jī)器上，但是很快他們發(fā)現(xiàn)為了處理互聯(lián)網(wǎng)上的數(shù)據(jù)，他們需要上千臺機(jī)器，這個問題超出了兩個人能解決的程度。這是yahoo對hadoop產(chǎn)生了興趣并成立開發(fā)小組幫助他們將這部分內(nèi)容從nutch中分離出來，成為一個獨立的系統(tǒng)，取名hadoop。Nutch也是hadoop的頂級項目之一，hadoop源于nutch，也獨立于nutch。雖然兩者已經(jīng)互相獨立，但是還有很緊密的聯(lián)系。與此類似，hadoop也并不是一個單獨的項目，hadoop內(nèi)出了最基本的hadoopcommon夕卜，還有hdfs，mapreduce，zookeeper。同時也有一些相關(guān)項目，比如avro，chukwa，hbase，hive，mahout，pig（這些項目中很多都是從hadoop的子項目升級為apache的頂級項目的，由此可見hadoop的火熱）。對于新手，我們推薦按照默認(rèn)方式安裝hadoop，即同時安裝hadoopcommon，hadoophdfs，hadoopmapreduce。目前，Hadoop可以運(yùn)行在linux，unix，windows系統(tǒng)上。實際上hadoop是為在linux平臺上使用而開發(fā)出來的。但是hadoop在一些主流的unix版本（甚至包括MacOSX）也運(yùn)行良好。對于windows，這個問題有些復(fù)雜。如果你想在windows上運(yùn)行hadoop，那么你必須先安裝Cygwin以模擬linux環(huán)境，然后再安裝hadoop。安裝hadoop前，你需要先安裝java6與ssh，java6必須是sun公司的jdk，這是hadoop編譯運(yùn)行的需要，ssh推薦安裝openssh（免費(fèi)的?），安裝ssh是因為hadoop需要通過ssh協(xié)議來啟動各個節(jié)點上的守護(hù)進(jìn)程。Hadoop安裝過程安裝hadoop的過程很簡單，hadoop的使用也很簡單，同時也很靈活。首先，需要在每臺機(jī)器上安裝jdk1.6和openssh一■安裝jdkl.6.安裝JDK是一個很簡單的過程，以ubuntu為例。第一步.確?？梢赃B接到互聯(lián)網(wǎng)，輸入命令：sudoapt-getinstallsun-java6-jdk,輸入密碼。在接下來的三個確認(rèn)中輸入（或點擊）Yes（或ok）,你就可以安裝java了。這里先解釋一下sudo這個命令,sudo這個命令能夠允許普通用戶執(zhí)行某些或全部root權(quán)限命令,sudo命令提供了詳盡的日志，可以記錄下每個用戶使用它做了什么；同時sudo也提供了靈活的管理方式，可以限制用戶使用的命令；他的配置文件為/etc/sudoers。Apt全稱為theAdvancedPackagingTool,是ubuntu的軟件包管理軟件，通過它你可以無需考慮軟件依賴關(guān)系，直接安裝你所需要的軟件，而apt會自動下載有依賴關(guān)系的包，并按順序安裝，在ubuntu中安裝有他的一個圖形化界面程序synaptic（中文譯名為“新立得”）,有興趣的話也可以使用這個程序來安裝你所需要的軟件。（如果你想了解更多可以查看一下關(guān)于debian計劃的資料）第二步,配置環(huán)境變量：輸入命令：sudogedit/etc/profile，輸入密碼，打開profile文件。在最下面輸入如下內(nèi)容：#setJavaEnvironmentexportJAVA_HOME=（你的java安裝位置，一般為/usr/lib/jvm/java-6-sun）exportCLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"exportPATH="$JAVA_HOME/:$PATH"這一步的意義是配置環(huán)境變量，使你的系統(tǒng)可以找到j(luò)ava。第三步:驗證java是否安裝成功。新建文件Helloworld.java輸入如下內(nèi)容：publicclassHelloworld{publicstaticvoidmain（Stringargs[]）{System.out.println（“HelloWorld”）；}}輸入命令：javacHelloworld.java;（生成編譯文件）javaHelloworld如果出現(xiàn)“HelloWorld”說明java程序可以運(yùn)行，也即java已經(jīng)安裝成功。二?安裝openssh:同樣的，以ubuntu為例，用戶名為u:第一步，確認(rèn)已經(jīng)連接上互聯(lián)網(wǎng)，輸入命令：sudoapt-getinstallssh第二步，配置可以無密碼登陸本機(jī)：首先查看在u用戶下是否存在.ssh文件夾（注意ssh前面有“.”，這是一個隱藏文件夾），輸入命令:Is-a/home/u。一般來說，安裝ssh時會自動在當(dāng)前用戶下創(chuàng)建這個隱藏文件夾，如果沒有的，可以手動創(chuàng)建一個。接下來，輸入命令：ssh-keygen-tdsa-P''-f~/.ssh/id_dsa在ubuntu中,?代表當(dāng)前用戶文件夾，這里即/home/u。這個命令會在.ssh文件夾下創(chuàng)建兩個文件id_dsa及id_dsa.pub,這是ssh的一對私鑰和公鑰，類似于鑰匙及鎖，把id_da.pub（公鑰）追加到授權(quán)的key里面去，輸入命令:cat?/.ssh/id_dsa.pub>>?/.ssh/authorized_keys至此無密碼登陸本機(jī)以安裝完成。第三步，驗證ssh已安裝成功及無密碼登陸本機(jī)，輸入命令：sshlocalhost如果可以登錄，說明已經(jīng)安裝成功第四步，將authorized_keys拷貝到其他主機(jī)實際上，在hadoop的安裝過程中，是否無密碼登陸不是必須的，但是如果不配置無密碼登陸的話，每次啟動hadoop，都需要輸入密碼以登陸到每臺daotanode，考慮到一般的hadoop集群動輒數(shù)十?dāng)?shù)百臺機(jī)器，因此一般來說都會配置ssh的無密碼登陸。三?安裝hadoop.在安裝hadoop前，我們需要先修改主機(jī)的幾個配置文件：在下面這個文件，添加你的主機(jī)需要識別的主機(jī)名及其對應(yīng)的ip地址/etc/hosts:localhostmasterslave1slave2在下面這個文件修改你的主機(jī)名/etc/hostname:你的主機(jī)名（如master，slave1等）同時根據(jù)需要，我們要在/home/你的用戶名這個文件夾下創(chuàng)立tmp文件夾作為hdfs的存儲文件夾。在master上,下載hadoop-0.202tar.gz并將其解壓，這里將其解壓到用戶目錄下，—般為/home/［你的用戶名］/，這里假設(shè)用戶名為u，進(jìn)入conf文件夾，修改配置文件：conf/Hadoop-env.sh:exportJAVA_HOME=“你的java安裝地址”指定java位置conf/core-site.xml:<?xmlversion="1.0"?><?xml-stylesheettype="text/xsl"href="configuration.xsl"?>

<!--Putsite-specificpropertyoverridesinthisfile.--><configuration>vproperty><name></name〉<value>hdfs://master:9000</value></property>vproperty><name>hadoop.tmp.dir</name〉<value>/home/u/tmp</value></property></configuration>這是hadoop核心的配置文件，這里配置的是hdfs（hadoop的分布式文件系統(tǒng)）的地址及端口號，后一項配置為hdfs的存儲文件夾，這個文件夾需要你自己創(chuàng)建。conf/hdfs-site.xml:<?xmlversion="1.0"?><?xml-stylesheettype="text/xsl"href="configuration.xsl"?><!--Putsite-specificpropertyoverridesinthisfile.--><configuration>vproperty><name>dfs.replication</name><value>2</value></property>vproperty><name>.dirv/name〉<value>/home/u/hdfs/name</value>v/property>vproperty>vname>dfs.data.dirv/name〉vvalue>/home/u/hdfs/data</value>v/property>v/configuration>這是hadoop中hdfs的配置，配置的備份方式，默認(rèn)為3。conf/mapred-site.xml:v?xmlversion="1.0"?>v?xml-stylesheettype="text/xsl"href="configuration.xsl"?>

<!--Putsite-specificpropertyoverridesinthisfile.--><configuration><property><name>mapred.job.tracker</name〉<value>master:9001</value></property></configuration>這是hadoop中mapreduce的配置文件，配置的是jobtracker的地址及端口這個文件指明了誰是master，也可以填寫ip地址，填寫主機(jī)名是為了便于區(qū)分。conf/slaves:slavelslave2這個文件指明了誰是slave，同樣也可以填寫ip地址。需要注意的是，如果安裝的是0.20之前的版本，那么只有一個配置文件，即為hadoop-site.xml。另一個需要注意的是hadoop的配置不僅僅這幾項，hadoop在啟動時，會用這幾項的配置去修改默認(rèn)配置，也就是說，hadoop有完整的默認(rèn)配置，你在這里進(jìn)行配置只是相當(dāng)于修改hadoop的默認(rèn)配置，這種做法既可以保證程序的安全性，不易出錯，對于用戶來說，這種做法也很方便。如果你想查看hadoop的默認(rèn)配置，可以到docs中查看core-default.html,hdfs-default.html,和mapred-default.html這三個文件（0.20版本）.修改完這幾個文件之后，通過scp命令將hadoop文件夾發(fā)送到其他節(jié)點上（slavel，slave2），用戶名為uscp-r/home/u/hadoopslave1:/home/u/scp-r/home/u/hadoopslave2:/home/u/至此，hadoop就可以說是安裝完成了啟動hadoop前，需格式化hadoop的文件系統(tǒng)hdfs（這點與windows是一樣的，重新分區(qū)后的卷總是需要格式化的），在master上，進(jìn)入hadoop文件夾輸入命令：bin/hadoopnamenode-format格式化文件系統(tǒng)，接下來，啟動hadoop，輸入命令：bin/start-all.sh（全部啟動）最后，驗證hadoop是否安裝成功。打開瀏覽器，分別輸入網(wǎng)址h卄p://localhost:50030（mapreduce的web頁面）h卄p://localhost:50070（hdfs的web頁面）如果都能查看，說明hadoop已經(jīng)安裝成功。對于hadoop來說，mapreduce及hdfs都是必須的，但是如果有必要的話，你依然可以只啟動hdfs（start-dfs.sh）或mapreduce（start-mapred.sh）

如果你的hadoop并沒有正常工作，那你可查看log文件加下的日志內(nèi)容一查看哪里出現(xiàn)問題。五?向hadoop集群添加新的節(jié)點Hadoop的管理機(jī)制很靈活，你可以動態(tài)的添加節(jié)點，配置新添加的三個節(jié)點，我們先給他們分配ip地址slave,datanode,tasktracker—slave3(主機(jī)名)slave,datanode,tasktracker—slave4(主機(jī)名)slave,datanode,tasktracker—slave5(主機(jī)名)同樣的，在新添加的節(jié)點上安裝jdk1.6及openssh。同樣進(jìn)行hadoop的配置，當(dāng)然你也可以直接從master拷貝，修改masters及slaves文件(經(jīng)測試，如果不修改，也可以連接上，但是你下次啟動時需要再次手動連入集群)。輸入以下命令：bin/hadoop-daemon.sh--config./confstartdatanodebin/hadoop-daemon.sh--config./confstarttasktracker這樣就可以把新的節(jié)點聯(lián)入集群中。從上面這個你可以很明顯的看出，第一步是啟動datanode,第二步是啟動tasktracker。這里在介紹兩個命令，就是重啟壞死的節(jié)點，排除問題后，在壞死的節(jié)點上輸入命令：bin/hadoop-daemon.shstartdatanodebin/hadoop-daemon.shstartjobtracker其實，參照上例，你可以看出，這個命令就是重啟節(jié)點，也就是說，在重啟的節(jié)點上輸入啟動命令，就可以把節(jié)點重新聯(lián)入hadoop集群。以上就是我們配置hadoop及日常使用時遇到的一些小問題。同時我們搭建了一個用于mapreduce編程的網(wǎng)站，你可以在上面練習(xí)編寫mapreduce程序，網(wǎng)站的地址是。現(xiàn)在開放注冊。想要學(xué)習(xí)mapreduce編程的朋友可以你先到這對個網(wǎng)云站上計練習(xí)算一下的。感想以及認(rèn)識認(rèn)識：云計算(CloudComputing)是網(wǎng)格計算(GridComputing)、分布式計算(DistributedComputing)、并行計算(ParallelComputing)x效用計算(UtilityComputing)、網(wǎng)絡(luò)存儲(NetworkStorageTechnologies)、虛擬化(Virtualization)、負(fù)載均衡(LoadBalance)等傳統(tǒng)計算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。它旨在通過網(wǎng)絡(luò)把多個成本相對較低的計算實體整合成一個具有強(qiáng)大計算能力的完美系統(tǒng)，并借助SaaS、PaaS、IaaS、MSP等先進(jìn)的商業(yè)模式把這強(qiáng)大的計算能力分布到終端用戶手中。CloudComputing的一個核心理念就是通