1、1、VMware 安裝2.我們使用Vmware14 的版本，傻瓜式安裝即可。（只要） I *雙擊：'l C.pntOS&.S-prnpty.vrnK如過安裝xshell雙擊file id :z2009/3/1 i 2-13DIZ二件1 KBHy txt1G：33守不中相1 KB臼 te.nlo2009/獷13 23:13毛密信兄立仰10 KB除 XbeH5.tt7zjCMr extJ014/ia/11 11:55回用以37,224 KB3.安裝鏡像：解壓 centos6.5-empty 解壓雙擊才T開 CentOS6.5.vmx-根的計重機cHCentOS hadwc18門1門

2、抬* w<x>pa CpnlOSft.S-pmpty共享的再擬機 dsCentUb'hadoop開啟業(yè)虛M機 砥藐&粒 上半升鰥此虛拗機*設雷內(nèi)存如果打不開，在 cmd窗口中/U入：netsh winsock reset 然后重啟電腦。進入登錄界面，點擊other用戶名：root密碼：root然后右鍵 open in terminal輸入ifconfig 回車查看ip地址打開xshell點擊鏈接如果有提示，則接受輸入用戶名：root輸入密碼：root4 . xshell連接虛擬機打開虛擬機，通過ifconfig查看ip5 .安裝jkd1.解壓Linux 版本的JDK

3、壓縮包mkdir :創(chuàng)建目錄的命令rm -rf 目錄/文件 刪除目錄命令cd目錄進入指定目錄rz可以上傳本地文件到當前的 linux目錄中（也可以直接將安裝包拖到 xshell 窗口）ls可以查看當前目錄中的所有文件tar解壓壓縮包（Tab鍵可以自動補齊文件名）pwd可以查看當前路徑文檔編輯命令:vim 文件編輯命令1: 進入編輯狀態(tài)Esc （左上角）：退出編輯狀態(tài):wq保存并退出:q!不保存退出mkdir /home/software# 按習慣用戶自己安裝的軟件存放到/home/software 目錄下cd /home/software# 進入剛剛創(chuàng)建的目錄rz 上傳 jdk tar 包#

4、利用 xshell 的 rz 命令上傳文件（ 如果 rz 命令不能用，先執(zhí)行yum install lrzsz -y# 解壓壓縮包tar -xvf jdk-7u51-linux-x64.tar.gz2. 配置環(huán)境變量1 ) vim /etc/profile2 )在尾行添加#set java environmentJAVA_HOME=/home/software/jdk1.8.0_65JAVA_BIN=/home/software/jdk1.8.0_65/binPATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOM

5、E/lib/tools.jar export JAVA_HOME JAVA_BIN PATH CLASSPATHEsc 退出編輯狀態(tài):wq # 保存退出 注意 JAVA_HOME 要和自己系統(tǒng)中的 jdk 目錄保持一致，如果是使用的 rpm 包安裝的jdk，安裝完之后jdk 的根目錄為：/usr/java/jdk1.8.0_111通過命令：rpm -qal|grep jdk來查看目錄3) source /etc/profile使更改的配置立即生效4) java -version查看JDK版本信息。如顯示版本號則證明成功。(softwar# source /ete/profile rootloc

6、alhast software# java -versionJava(TM) SE Runtime Environment (build 1.3.665-bl7)Java HotSpct(TM) 64-Bit Server VH (build 25.65-bOl, mixe d mode)rootlocalhost software# |6.安裝 hadoop1 .安裝配置jdk、關閉防火墻service iptables stop執(zhí)行該命令可以關閉防火墻，但是如果虛擬機重啟的話，防火墻會重新開啟。chkconfig iptables off執(zhí)行該命令可以永久關閉防火墻。兩個命令配合使用2 .

7、修改主機名vim /etc/sysconfig/networkUETWORKING=yes HC&TNAPt=hadoop91以后的Hadoop會有多臺主機，因此需要根據(jù)主機名來區(qū)分這些系統(tǒng)注意：主機名里不能有下滑線，或者特殊字符 #$,不然會找不到主機，從而導致無法啟動。這種方式更改主機名需要重啟才能永久生效，因為主機名屬于內(nèi)核參數(shù)。如果不想重啟，可以執(zhí)行： hostname hadoop01 。但是這種更改是 臨時的，重啟后會恢復原主機名。所以可以結合使用。先修改配置文件，然后執(zhí)行 ：hostname hadoop01可以達到不重啟或重啟都是主機名都是同一個的目的3 .配置host

8、s 文件vim /etc/hosts0 localhost;1localhost192163.33.23 hadoopOl修改hosts文件，以后用到IP連接的地方就可以直接使用 hadoop01代替IP地址了。4 .配置免密碼登錄ssh-keygeninter file in which to save the key (/root/.ssh/id_rsa)： inter passphrase (empty for no passphrase):無需輸入。ssh-copy-id roothadoop01想從這臺機器免密登錄哪個機器,就把公鑰文件發(fā)送到哪個機器上。5 .安裝配置

9、jdk （省略）6 .上傳和解壓hadoop安裝包過程省略，解壓路徑為：到。roothadoopGl hadoop-2.7,1* pud/home/saftwa re/hadaop/hadaop-2.7*1要記著這個路徑，后面的配置要用rootehadaopOl hadaop-2.7.11#total 60 dirwxr-xr-x. 11002116G214096Jun283G15bifldlrwxr-jcr-x. 31002110621犧6Jun262015etcdirwxr-scr-x. 219621106214996Jun282G15intludedrwxRr* 31002110021期

10、6Jun282015lUbdlrwxr-xr-x* 21002110021期6Jun262015lilWXKr-r-. 1100211002115429Jun2S2015LICENSt.txtdrwr 乂rr. 1rootroot36May2414:18l叫4-rw-110021101Jun282615MffTICE.tXT-rw-r-r-. 11OG21wn1366Jun2S2015README, txtdrwxr-ir-x. 2100211602140962414:19sbindrwxr-xr-x* 4199211期1聊6Jun2&2615sharpdirwxr-xr-x. 3ro

11、otroot4日斯May2414:08tmpbin目錄：命令腳本etc/hadoop :存放hadoop 的配置文件lib 目錄：hadoop運行的依賴jar 包sbin目錄：啟動和關閉 hadoop 等命令都在這里libexec 目錄：存放的也是 hadoop命令，但一般不常用最常用的就是bin和etc目錄7 . 在 hadoop 根目 錄下倉建 tmp 目錄mkdir tmp存放Hadoop運行時產(chǎn)生的文件目錄8 .配置 hadoop-env.sh文件cd etc/hadoopvim hadoop-env.sh修改JAVA_HOME路徑和HADOOP_CONF_DIR路徑，注意路徑一定要寫

12、對，里面原始的獲取系統(tǒng)路徑的方式不起作用。（修改兩個地方）# The java implementation to use.export JAYA_HONE=/li5r/java/jdk 1. .0_L11# The jsvc implementation to use. Jsvc is required to run secure datanode 建 that bind to privileged ports to provide authentj.cati&n + data transfer 牡 protoeol. Jsuc is not requi red if SASL is

13、 configured for authenticatiorv of # data transfer protocol using non-privileged ports.# export JSK卬t=$JSVC_HC麟Export HADOOP_CONF_DIR=/hore/sottware/hadoop/hadoop . . /etc/hadoopexport JAVA_HOME=/home/software/jdk1.8.0_65# The jsvc implementation to use. Jsvc is required to run secure datanodes# dat

14、a transfer protocol using non-privileged ports.#export JSVC_HOME=$JSVC_HOMEexport HADOOP_CONF_DIR=/home/software/hadoop-2.7.1/etc/hadoop讓配置立即生效:wq退出source hadoop-env.sh9.修改 core-site.xmlvim core-site.xml<configuration></configuration>標簽中添力口如下代碼<configuration ><property ><n

15、ame >fs.defaultFS </ name><value >hdfs:/hadoop01:9000</ value ></ property ><property ><name > hadoop.tmp.dir </ name ><value >/home/software/hadoop-2.7.1/tmp</ value ></ property ></ configuration ><!- 第一個property 參數(shù)用來指定hdfs 的老

16、大，namenode的地址-><!-第二個property 參數(shù)用來指定hadoop運行時產(chǎn)生文件的存放目錄 ->10. 修改 hdfs-site .xmlvim hdfs-site.xml<configuration></configuration><configuration ><property ><name >dfs.replication<value >1 </ value ></ property ><property ><name >dfs.p

17、ermissions<value >false </ value</ property ></ configuration ><!-第一個property參數(shù)指定認值是3。如果是偽分布模式，此值是標簽中添加如下代碼</ name ></ name > >hdfs保存數(shù)據(jù)副本的數(shù)量，包括自己，默1 ->可以在 hdfs 上操作文件->11. 修改 mapred-site.xmlcp mapred-site.xml.template mapred-site.xml拷文件并重命名vim mapred-site.

18、xml在<configuration></configuration>標簽中添加如下代碼<configuration ><property ><name > </ name><value >yarn </ value ></ property ></ configuration ><!-property參數(shù)指定 mapreduce 運行在 yarn 上 ->yarn 是 Hadoop 的資源協(xié)調(diào)工具。12. 修改 y

19、arn-site.xmlvim yarn-site.xml在<configuration></configuration>標簽中添加如下代碼<configuration >< !- Site specific YARN configuration properties -><property ><name >yarn.resourcemanager.hostname</ name ><value >hadoop01 </ value >< / property ><pr

20、operty ><name >yarn.nodemanager.aux-services</ name ><value >mapreduce_shuffle </ value >< / property ></ configuration ><!- 第一個 property 參數(shù)用來指定 yarn 的老大 resoucemanager模板的地址 -><!- 第二個 property 參數(shù)用來指定 NodeManager 獲取數(shù)據(jù)的方式->13 .配置slaves 文件vim slaveshad

21、oop0114 .配置hadoop的環(huán)境變量vim /etc/profile修改配置文件，使hadoop命令可以在任何目錄下執(zhí)行，下面是修改后的代碼JAVA_HOME=/home/software/jdk1.8.0_111HADOOP_HOME=/home/software/hadoop-2.7.1JAVA_BIN=/home/software/jdk1.8.0_111/binPATH=$JAVA_HOME/bin: $HADOOP_HOME/bin:$HADOOP_HOME/s bin :$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/li

22、b/to ols.jarexport JAVA_HOME JAVA_BIN PATH CLASSPATH HADOOP_HOME 加粗的地方都是需要修改的地方，注意 PATH多個參數(shù)值之間用冒號隔開，所有的參數(shù)都在$PATH之前source /etc/profile使配置文件生效15 .格式化 namenodehadoop namenode -format中間如果提示是否需要重新格式化，則根據(jù)自己的需求輸入即可。16/09/01 69:42:27 INFO common.Storage: Storage directory /home/softw /tmp/dfs/name been succ

23、essfully formatted*16/09/01 69:42:27 INFO namenodc.NNStorageRetentionManagGr: Going to如果出現(xiàn)successfully formatted,則表示格式化成功。16 .啟動分布式文件系統(tǒng)cd /home/softwarecd hadoop-2.7.1/cd sbin進入Hadoop安裝目錄下的sbin 目錄，執(zhí)行：sh start-dfs.sh如果要停止,執(zhí)行sh stop-dfs.sh之后執(zhí)行jps ,如果出現(xiàn)下圖則表示執(zhí)行成功LroothadoapOl hadoop# jps27Q24 Jps25&

24、S1 NsmaUoda25%2 SecondsryNamNode25133 M場NWe17 . HDFS控制臺頁面通過瀏覽器訪問：ip:50070 來查看hdfs系統(tǒng)7、Windows 下 Eclipse 中安裝 hadoop插件1 .下載hadoop插件，注意：插件的版本要和用的 hadoop版本保持一致762 KB32.935 KB身 Jiddoopbin_for_hadoop2.7T1 .zip2016m 25 1 C:32SGOOia ZIP 文件hdoop-edipe-phigin-2 7.1 jar7：11 fij V. ':c- / ' :FvAriitah f

25、ar F I?2 .將插件jar 包放在eclipse 安裝目錄的plugins 目錄下3 .將hadoop安裝包放到指定的一個目錄（后面要用這個安裝目錄）七才 二百此電斌 > 教學(D:) > hadoop名稱喬憚改日期理*hadoop-2.7.1£016/9/4 16:24文件夾虛擬機2016/0/31 23:54文件夾4 hadoop 2.7,1 4b»t.tr.gz2015/9/月6:57M60壓布大小205,671 KB4 .重啟eclipse(配置jdk和compiler查看是否與jdk 一致)，window=>preferences下發(fā)現(xiàn)多出

26、Map/Reduce選項卡，點擊=»選擇hadoop的安裝目錄，然后點擊 apply ，點擊確定eclipse 中配置 jdk :2arch Project RunWindow I lelpNew WindowLditoiHide ToolbarShow ViewP?rsppctiveNavigationWeb BrowserPrefererxes然后next耀 F-tferenr.estype filter t&xt* HelpInstall/Upd4b * JavaAppears no Guild Path Code Style Compiler Debug tditor

27、> Installed JR JU nitPh fpcrtiei I JdvdEEJd ?d Pei s.isle'1 Ja?dScript MavenMylynOomph < >J RE system libraries:An outli點Add IRFJHE DelinitnnSpec ty altiibutei lor d JRE.IRE honrte：D:softwd re)avajdk1.7,0 07一更喀客更“JRE name:|dkL7,”了二Default VM arguments:Vdridble.O:5Oftwd d k L / ,0 0 /jre

28、J i bnou rcetja r * Add Exte門間 JARs.- D：Ysflftwa rp Pavaj d k 1.7.0 o/'jrpJibrt.jar JdUdoOC Lo<-dLion_ Octtwa rr lavajd 匕 1.7,0_07jrplibj«pJflr &5oftwflrcbvajdkl 7.0 07jrcJibjcc.jor' D:so ttwareJdvaJdk 17.0 07jrclIbcharseKjar' D：sciKwdreMvci|dk L/,OO/jrelibjfr Jar“：DrcttwarJawajdk 1.7,0 07jreIibeirltacce«-bridge川>« ftw3 reJavaj dk 1.7.0 OTreM ibeitd nq 下 Jare O5(iftwi!rr)aviijdkU.O 07jrrMib'yexcersjdr-&iottwd r t?JdVdi dk 1.7.0 07)t cJ ib(%tlccdlcddt djd r(>