Hadoop云平臺(tái)搭建指南

一?安裝ubuntu

安裝版本是ubuntu-13.10-desktop-amd64,安裝過程省略。。。

二.在Ubuntu下創(chuàng)建hadoop用戶組和用戶

打開命令終端：Ctrl+Alt+T.

1.創(chuàng)建hadoop用戶組；

sudoaddgrouphadoop

如圖：

?dubin^)dubin-ubuntu:~

dubtn@dubtn-ubuntusudoaddgrouphadoop

[sudo]passwordfordubin:

Addinggrouphadoop'(GID1002),??

Done.

dubin@dubin-ubuntu

2.創(chuàng)建hadoop用戶；

sudoadduser-ingrouphadoophadoop

如圖：

—dubln^xjubin-ubuntu:*?

dubtn^dubtn-ubuntu:-$sudoadduser-ingrouphadoophadoop

Addinguser'hadoop'...

Addingnewuser'hadoop'(1002)withgroup'hadoop'...

Creatinghomedirectory'/home/hadoop'...

；Copytngfilesfrom/etc/skel'...

EnternewUNIXpassword:

RetypenewUNIXpassword:

passwd:passwordupdatedsuccessfully

ChangingtheuserInformationforhadoop

Enterthenewvalue,orpressENTERforthedefault

FullName[]:

RoonNumber[]:

WorkPhone[]:

HonePhone[]:

Other[]:

IstheInformationcorrect?[Y/n]

dubtn@dubtn?ubuntu:

3.給hadoop用戶添加權(quán)限，打開/etc/sudoers文件;

sudogedit/etc/sudoers

按回車鍵后就會(huì)打開/etc/sudoers文件了，給hadoop用戶賦予root用戶同樣的

權(quán)限。在rootALL=(ALL:ALL)ALL下添hadoopALL=(ALL:ALL)ALL,

hadoopALL=(ALL:ALL)ALL

如圖:

FileEditViewSearchToolsDocumentsHelp

■科Open▼，Savefi?vUn

i二*sudoersX

nUserprivilegespecification

rootALL=（ALL：ALL）ALL

hadoopALL=（ALL：ALL）ALL

三.在Ubuntu下安裝JDK

1.使用如下命令執(zhí)行即可：

sudoapt-getinstallopenjdk-6-jre

如圖：

fdubinQ>dubln-ubuntu:*■

dubtn9dubtn*ubuntusudoapt-getinstallop?njdk-6-jre

Readingpackagelists...Done

Buildingdependencytree

Readingstatetnfornatton...Done

[hefollowingpackagewasautomaticallyinstalledandisnolongerrequired:

Ilbqt3-Rt

Use'apt-getautorenove,torenovethen.

ThefollowingextrapackageswillbeInstalled:

tcedtea-6-jre-cacaotcedtea-6*jre-janvnIcedtea-netxtcedtea?netx-comon

openjdk-6-jre-headlessopenjdk-6-jre-ltb

Suggestedpackages:

tcedteapluginsun-java6-fontsfonts?tpafont?gothicfonts?tpafont-ntncho

ttf-telugu-fontsttf-ortya-fontsttf-kannada-fontsttf-bengalt-fonts

ThefollowingNEWpackageswillbeinstalled:

tcedtea-6-jre-cacaotcedtea-6-jre-janvntcedtea-ne:xtcedtea-netx-cowon

openjdk-6-jreopenjdk-6-jre-headlessopenjdk-6-jreli.b

eupgraded,1newlyInstalled,etorenoveand11no:upgraded.

Needtoget35.2MBofarchives.

Afterthisoperation.93.8MBofadditionaldiskspacewillb?used.

jOoyouwa“l(fā)I。conllnw?[Y/n]?

輸入大寫的Y就在線安裝java運(yùn)行環(huán)境成功了。

2.配置JAVA環(huán)境變量：

sudogedit/etc/environment

在其中添加如下兩行：

JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-amd64

CLASSPATH=.:/usr/lib/jvm/java-1.6.0-openjdk-amd64//jre/lib

sudogedit/etc/profile

在末尾加上：

ExportJAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-amd64

ExportJRE_HOME=/usr/lib/jvm/java-1.6.0-openjdk-amd64/jre

exportCLASSPATH=.:/usr/lib/jvmZjava-1.6.0-openjdk-amd64//jre/lib

exportPATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

在配置環(huán)境變量時(shí)，特別要注意路徑的配置，安裝好JDK后，就查詢各個(gè)文件夾

在那個(gè)位置。

3.java-version查看不出錯(cuò)說明，成功。

四.修改機(jī)器名（這步驟可以省略）

每當(dāng)ubuntu安裝成功時(shí)，我們的機(jī)器名都默認(rèn)為：ubuntu,但為了以后集群中能

夠容易分辨各臺(tái)服務(wù)器，需要給每臺(tái)機(jī)器取個(gè)不同的名字。機(jī)器名由/etc/hostname

文件決定。

1.打開/etc/hostname文件；

sudogedit/etc/hostname

改成想要改的名字。

五.安裝ssh服務(wù)

安裝openssh-server

sudoapt-getinstallsshopenssh-server

六,建立ssh無密碼登錄本機(jī)

首先要轉(zhuǎn)換成hadoop用戶，執(zhí)行以下命令:

su-hadoop

如圖：

?，?hadoop@dubln-ubuntu:~

dubin@dubin-ubuntusu-hadoop

Password:

hadoop@dubin-ubuntu,

ssh生成密鑰有rsa和dsa兩種生成方式，默認(rèn)情況下采用rsa方式。

1.創(chuàng)建ssh-key,,這里我們采用rsa方式；

Ssh-kengen-trsa-P

如圖：

?QGhadoop9dubin-ubuntu:-

hadoop^dubtn-ubuntu:'$ssh-keygen-trsa-P

Generatingpubltc/prtvatersakeypair.

Enterfiletnwhichtosavethekey(/hor?e/hadoop/.ss"td_rsa):

Createddirectory'/home/hadoop/.ssh'.

YourIdentificationhasbeensavedtn/home/hadoop/.ssh/td_rsa.

Yourpublickeyhasbeensavedtn/hone/hadoop/.ssh/td_rsa.pub.

ThekeyfingerprintIs:

31:96:c6:a8:a4:61:67:61:18:O4:8S:f7:S5:bl:a4:17hadoop@dubtn-ubuntu

Thekey'srandonartInageis:

?RSA2648卜?…

I-*O...E.|

|o...??|

11.o.*.oX

I.?o

I..SI

hadoop^dubtn-ubuntu:"-$|

（注：回車后會(huì)在~/.ssh/下生成兩個(gè)文件：id_rsa和id_rsa.pub這兩個(gè)文件是成對(duì)

出現(xiàn)的）

2.進(jìn)入7.ssh/目錄下，將id_r，a.pub追加到authorized_keys授權(quán)文件中，JT

始是沒有authorized_keys文件的；

cd~/.ssh

catid-rsa.pub?authorized_keys

如圖：

hadoop$dubtn-ubuntu:-1.ssh$cattd_rsa.pub?authortzed_keys

hadoop@dubtn-ubuntu:~/.ssh$[

（完成后就可以無密碼登錄本機(jī)了。）

3.登錄localhost;

sshlocalhost

（注：當(dāng)ssh遠(yuǎn)程登錄到其它機(jī)器后，現(xiàn)在你控制的是遠(yuǎn)程的機(jī)器，需要執(zhí)行退

出命令才能重新控制本地主機(jī)。）

4.執(zhí)行退出命令；

exit

六.安裝hadoop

采用的hadoop版本是：hadoop-0.20.203

1.假設(shè)hadoop-0.20.203.tar.gz在桌面，將它復(fù)制至!J安裝目錄/usr/local/下；

sudocphadoop-rd.tar.gz/usr/local/

2.解壓hadoop-0.20.203.tar.gz；

cd/usr/local

sudotar-zxfhadoop-rd.tar.gz

3.將解壓出的文件夾改名為hadoop;

sudomvhadoop-hadoop

4.將該hadoop文件夾的屬主用戶設(shè)為hadoop

sudochown-Rhadoop:hadoophadoop

5.打開hadoop/conf/hadoop-env.sh文件；

sudogedithadoop/conf/hadoop-env.sh

6.配置conf/hadoop—nv.sh(找到#exportJAVA_HOME'去掉#,然后加上本機(jī)

jdk的路徑)；

exportJAVA_HOME=/usr/lib/jvmZjava-1.6.0-openjdk-amd64

7.打開conf/core-site.xml文件；

sudogedithadoop/conf/core-site.xml

編輯如下：property后面需要手工敲

<?xmlversion"

<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>

<!--Putsite-spe:ificpropertyoverridesinthisfile.-->

(configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://l^calhost:9000V/value>

〈/property)

〈/configuration)

8.打開conf/mapred-slte.xml文件；

sudogedithadoop/conf/mapred-site.xml

編輯如下property后面需要手工敲：

<?xmlversion?',1.3"?>

<?xml-stylesheettype='*text/xsl"href='*configuration.xsl"?>

<!--Putsite-specificpropertyoverridesinthisfile.-->

(configuration〉

<property>

<name>rapred.job.tracker</narre>

<value>localhost:9001</value>

〈/property)

〈/configuration〉

9.打開conf/hdfs-site.xml文件；

sudogedithadoop/conf/hdfs-site.xml

(configuration)

<property>

<name>.dir</name>

<value>/usr/local/hadoop/datalogl,/usr/local/hadoop/datalog2</value>

</property>

<property>

<name>dfs.data.dir</name>

<vdlue>/U5r/loGdl/hddoop/ddtal,/usr/loGal/hadoop/datci2</value>

</property>

<p-ope-'ty>

<name>dfs.replication</nafre>

<value>2</value>

</property>

〈/configuration)

10.打開conf/masters文件，添加作為master。

sudogedithadoop/conf/masters

11.打開conf/slaves文件，添加作為slave的主機(jī)名，一行一個(gè)。

sudogedithadoop/conf/slaves

七,在單機(jī)上運(yùn)行hadoop

1.進(jìn)入hadoop目錄下，格式化hdfs文件系統(tǒng)，初次運(yùn)行hadoop時(shí)一定要有該操

作

cd/usr/local/hadoop/

bin/hadoopnamenode-format

2.當(dāng)你看到下圖時(shí)，就說明你的hdfs文件系統(tǒng)格式化成功了。

12/66/0313:24:03INFOconwon.Storage：Storagedirectory/usr/local/hadoop/dat

n\og2hasbeensuccessfullyformatted.

12/66/G313:24:03INFOnanenode.NaneNode:SHUTDOWNMSG:

/…....................................................

SHUTDOWNMSG:ShuttingdownNaaeNodeatdubin-ubuntu/3

hadoop@dubin-ubuntu:/usr/local/hadoop$|

3.啟動(dòng)bin/start-all.sh

bin/start-all.sh

出現(xiàn)：

Startingnamenode…。

Startingdatanode。。。。

Startingsecondarynamenode…。

Startingjobtracker。。。。

Startingtasktracker?！?/p>

就說明hadoop啟動(dòng)成功。

4.登陸hadoop頁面

http://localhost:50030/

http://localhost:50070/

localhostHadoopMap/ReduceAdministrationQuKkUnto

SU19：RUNNING

Started:WedOct2609:52:18CST2011

Version:0.21.0,985326

Compiled:TueAug1701:02:28EDT2010bytomwhitefrombranches/brarKh-0.21

Idtntmtr:201110260952

ClusterSummary(HeapSizeis57MB/888.94MB)

Run