1、第 2章 搭建開發(fā)環(huán)境 我們的開發(fā)是在虛擬機(jī)下進(jìn)行的。在 windows 操作系統(tǒng)中安裝虛擬機(jī)軟件，在虛擬機(jī)中安裝 linux 操作系統(tǒng)，在 linux 中安裝 hadoop。在下面的內(nèi)容中，對于運(yùn)行虛擬機(jī)的 windows 操作系統(tǒng)，稱為“宿主機(jī)”，對運(yùn)行在虛擬機(jī)中的 linux 操作系統(tǒng)稱為“客戶機(jī)”。 我們使用的是 Oracle 公司的 VirtualBox 作為虛擬機(jī)，使用 RedHat 公司的 linux 版本。兩種軟件及用到的其他軟件均在本書提供的專門網(wǎng)站有下載。 2.1 虛擬機(jī)軟件的安裝2.1.1 VirtualBox 簡介 VirtualBox 號稱是免費(fèi)虛擬機(jī)軟件中最強(qiáng)的，擁

2、有豐富的特色和出色的性能，在虛擬機(jī)市場占用重要地位。 我們選擇它的理由是： 安裝程序體積小。相對于同類產(chǎn)品 VMWare 的四五百兆的體積，VirtualBox 只有幾十兆的安裝程序，安裝完成后也只有 120 多兆，太小巧了。 功能簡單實(shí)用。配置簡單、克隆系統(tǒng)、共享文件、虛擬化等一樣不缺 免費(fèi)。這是最大的誘惑。 2.1.2 VirtualBox 安裝 讀者根據(jù)自己的電腦情況下載適合自己操作系統(tǒng)的安裝程序，作者的系統(tǒng)是 WindowsXP 32 位，以下截圖是來自 Windows XP 的。 VirtualBox 的安裝非常簡單，只需要根據(jù)提示一步步選擇“Next”即可，遇到回答“Yes” 還是

3、“No”的地方，選擇“Yes”。在安裝過程中，會出現(xiàn)暫時的網(wǎng)絡(luò)中斷，不要驚慌，一會就會 恢復(fù)。 安裝完成后，在電腦的“網(wǎng)絡(luò)連接”中，會多出一個網(wǎng)絡(luò)連接，如圖 2-1 所示。 圖 2-1點(diǎn)擊桌面上的 VirtualBox 圖標(biāo)，就可以打開 VirtualBox 了，如圖 2-2 所示。 圖 2-2我們現(xiàn)在對虛擬機(jī)進(jìn)行一些優(yōu)化設(shè)置。點(diǎn)擊菜單欄中的“管理”菜單項(xiàng)，選擇“全局設(shè) 定” 命令，如圖 2-3 所示。 圖 2-3出現(xiàn)一個彈出窗口對話框，在“常規(guī)”設(shè)置中，可以修改“默認(rèn)虛擬電腦位置”，設(shè)定 一個磁盤空間較大的位置，如圖 2-4 所示。 圖 2-4選擇“熱鍵”選項(xiàng)，可以修改什么按鍵作為熱鍵。如圖

4、 2-5 所示，當(dāng)用鼠標(biāo)選中熱鍵的時候，可以接收鍵盤輸入。作者根據(jù)自己的習(xí)慣修改為組合鍵“Ctrl”+“Alt”。 圖 2-5選擇“擴(kuò)展”選項(xiàng)，點(diǎn)擊安裝符號，選擇一個擴(kuò)展包進(jìn)行安裝，如圖 2-6 所示。 圖 2-6至此，虛擬機(jī)安裝結(jié)束。 2.2 操作系統(tǒng)的安裝2.1.1 RedHat 簡介 RedHat 既是一個公司的名稱，也是一款linux 產(chǎn)品的名稱。RedHat 公司生產(chǎn)RedHat Linux。該公司發(fā)布的 Linux 是基于開源產(chǎn)品的，如果我們下載使用是免費(fèi)的，如果進(jìn)行升級或者接收技術(shù)支持，那就需要收費(fèi)了。RedHat 主要應(yīng)用于服務(wù)器領(lǐng)域，在服務(wù)器市場占有很大的市場份額。 2.1.

5、2 RedHat 安裝 我們使用虛擬機(jī)安裝 RedHat。 1. 新建虛擬機(jī)并配置參數(shù) 點(diǎn)擊工具欄中的“新建”按鈕，彈出窗口，設(shè)置以下內(nèi)容，如圖 2-7 所示，點(diǎn)擊“下一步”按鈕。 圖 2-7內(nèi)存大小默認(rèn)值是 512，修改為 1024，如圖 2-8 所示，點(diǎn)擊“下一步”按鈕。 圖 2-8內(nèi)存是安裝和運(yùn)行操作系統(tǒng)使用的。當(dāng)使用 512MB 內(nèi)存安裝 RedHat 時，會自動安裝服務(wù)器版本，即只有命令行，沒有圖形窗口。 設(shè)置是否創(chuàng)建虛擬硬盤，使用默認(rèn)值，如圖 2-9 所示，點(diǎn)擊“創(chuàng)建”按鈕。 圖 2-9選擇虛擬磁盤類型，我們使用默認(rèn)值，如圖 2-10 所示，點(diǎn)擊“下一步”按鈕。 圖 2-10設(shè)置是

6、否動態(tài)分配磁盤空間，使用默認(rèn)值，如圖 2-11 所示，點(diǎn)擊“下一步”按鈕。 圖 2-11設(shè)置磁盤文件大小和存放位置，使用默認(rèn)值，如圖 2-12 所示，點(diǎn)擊“創(chuàng)建”按鈕。 圖 2-12彈出窗口對話框關(guān)閉。，如圖 2-13 所示。 圖 2-13點(diǎn)擊工具欄的設(shè)置，會彈出一個針對本操作系統(tǒng)設(shè)置的窗口，如圖 2-14 所示。 圖 2-14選擇“常規(guī)”選項(xiàng)，修改允許雙向粘貼和拖放功能，如圖 2-15 所示。 圖 2-15選擇“存儲”選項(xiàng)，增加光驅(qū)，如圖 2-16 所示，點(diǎn)擊“選擇磁盤”，把我們的 RedHat 操作系統(tǒng)的 iso 文件選中。 圖 2-16這樣系統(tǒng)啟動的時候會從虛擬光驅(qū)引導(dǎo)，進(jìn)行安裝，這一步

7、很重要。 選擇“網(wǎng)絡(luò)”選項(xiàng)，將網(wǎng)絡(luò)連接方式修改為“僅主機(jī)適配器”，如圖 2-17 所示。 圖 2-17點(diǎn)擊彈出窗口對話框右下角的“確定”按鈕，關(guān)閉彈出窗口對話框，如圖 2-18 所示。 圖 2-18Host-Only 連接方式，使得宿主機(jī)和客戶機(jī)可以單獨(dú)構(gòu)造一個網(wǎng)絡(luò)，不同于宿主機(jī)所在的網(wǎng)絡(luò)。這樣，兩個網(wǎng)絡(luò)完全隔離。新搭建的網(wǎng)絡(luò)的網(wǎng)段是 192.168.56。 2. 操作系統(tǒng)的安裝 點(diǎn)擊虛擬機(jī)工具欄的“啟動”，就會彈出窗口，進(jìn)入操作系統(tǒng)的安裝界面，如圖 2-19 所 示。 圖 2-19用鼠標(biāo)點(diǎn)擊窗口，然后按回車鍵，就進(jìn)入了 RedHat 安裝的引導(dǎo)過程。 小提示：現(xiàn)在鼠標(biāo)已經(jīng)被虛擬機(jī)獨(dú)占。這時鍵

8、盤和鼠標(biāo)操作都是針對客戶機(jī)的，不能針對宿主機(jī)操作。如果要退出獨(dú)占，按組合鍵“Ctrl”+“Alt”。該按鍵在圖 2-5 中已經(jīng)設(shè)置。 如圖 2-20，詢問是否檢查磁盤，選擇“Skip”，然后按回車鍵。如圖 2-21，點(diǎn)擊“Next” 圖 2-20如圖 2-21 所示，選擇點(diǎn)擊“Next”按鈕。 圖 2-21選擇安裝語言，讀者可以根據(jù)自己的喜好選擇，建議使用英文，如圖 2-22 所示，點(diǎn)擊“Next”按鈕。 圖 2-22選擇鍵盤類型，這里使用默認(rèn)值，如圖 2-23 所示，點(diǎn)擊“Next”按鈕。 圖 2-23選擇設(shè)備類型，這里使用默認(rèn)值，如圖 2-24 所示，點(diǎn)擊“Next”按鈕。 圖 2-24詢

9、問是否格式化磁盤空間，選擇“Yes”，如圖 2-25 所示，點(diǎn)擊“Next”按鈕。 圖 2-25小提示：這里的格式化操作不會造成我們 windows 系統(tǒng)的空間數(shù)據(jù)丟失，只是對空間的空間進(jìn)行格式化處理，大家不要擔(dān)心。 修改主機(jī)名稱，我們使用“hadoop0”，如圖 2-26 所示，點(diǎn)擊“Next”按鈕。 圖 2-26注意：在以后的章節(jié)中，會使用這里設(shè)定的主機(jī)名，如果讀者不使用“hadoop0”，請 在以后的操作時注意修改。 選擇時區(qū)，我們修改為“Asia/Shanghai”，如圖 2-27 所示，點(diǎn)擊“Next”按鈕。 圖 2-27設(shè)置 root 賬戶的，我們使用“wuchao”作為 ，如圖

10、2-28 所示，點(diǎn)擊“Next” 按鈕。 圖 2-28注意：該是以后登錄 linux 系統(tǒng)時必須使用的，請讀者牢記。這里的設(shè)置過于簡單，是為了學(xué)習(xí)方便。在正式生產(chǎn)服務(wù)器中絕對不能這么設(shè)置 ，很容易被 攻破， 應(yīng)該設(shè)置為數(shù)字、大小寫字母、特殊符號的組合。 警告過于簡單，不用理會，點(diǎn)擊“Use Anyway”按鈕，如圖 2-29 所示。 圖 2-29選擇安裝類型，我們使用默認(rèn)值，如圖 2-30 所示，點(diǎn)擊“Next”按鈕。 圖 2-30出現(xiàn)確認(rèn)信息，詢問這樣做會造成磁盤數(shù)據(jù)丟失。由于是新的虛擬機(jī)磁盤，沒有數(shù)據(jù)， 我們同意，點(diǎn)擊“Write changes to disk”按鈕，如圖 2-31 所示

11、。 圖 2-31詢問安裝的 RedHat 類型，我們選擇“Desktop”，在最下面的軟件定制選項(xiàng)，我們選擇“Customize now”，如圖 2-32 所示，點(diǎn)擊“Next”按鈕。 圖 2-32在軟件定制部分，我們選擇安裝 MySQL 數(shù)據(jù)庫，如圖 2-33 所示，在我們以后學(xué)習(xí) Hive 時會用到，點(diǎn)擊“Next”按鈕。 圖 2-33然后進(jìn)入操作系統(tǒng)的安裝過程，如圖 2-34，會持續(xù)很長時間，讀者不要隨時操作虛擬機(jī)，防止安裝失敗，請耐心等待。 圖 2-34經(jīng)過漫長的等待，終于安裝完了，如圖 2-35 所示，點(diǎn)擊右下角的“Reboot”按鈕。 圖 2-353. 系統(tǒng)的初始配置 系統(tǒng)重啟后進(jìn)

12、入系統(tǒng)初始配置頁面，如圖 2-36 所示，點(diǎn)擊“Forward”按鈕。 圖 2-36這是關(guān)于操作系統(tǒng)的使用協(xié)議，我們當(dāng)然同意了，如圖 2-37 所示，點(diǎn)擊“Forward”按鈕。 圖 2-37進(jìn)行軟件的自動更新，我們沒有聯(lián)網(wǎng)，沒有注冊，不能更新，如圖 2-38 所示，點(diǎn)擊“Foward”按鈕。 圖 2-38詢問是否創(chuàng)建一個非管理員用戶，如圖 2-39 所示，我們不打算這里不創(chuàng)建，點(diǎn)擊“Foward”按鈕。 圖 2-39詢問是否修改系統(tǒng)時間，我們不做修改，如圖 2-40 所示，點(diǎn)擊“Foward”按鈕。 圖 2-40提示內(nèi)存不足，我們不用例會理會，如圖 2-41 所示，點(diǎn)擊“OK”按鈕。 圖 2

13、-41正是因?yàn)樯弦徊降膬?nèi)存不足，才造成下面的選項(xiàng)全是灰色，如圖 2-42 所示，點(diǎn)擊“Finish” 按鈕。 圖 2-42系統(tǒng)加載剛才的配置信息，終于進(jìn)入登錄頁面了，如圖 2-43 所示。 圖 2-43點(diǎn)擊“Other”，輸入用戶名 root，如圖 2-44 所示，點(diǎn)擊“Log in”按鈕。 圖 2-44輸入 wuchao，如圖 2-45 所示，點(diǎn)擊“Log in”按鈕。 圖 2-45注意：root 用戶具有最高權(quán)限，操作方便，本書所有操作都是以 root 用戶進(jìn)行的，實(shí)際工作中一般不會直接使用 root 用戶。讀者如果對 linux 權(quán)限不熟悉，請一定使用 root 用戶操作，免得出現(xiàn)無謂的

14、錯誤，自己搞不定。 這樣，就看到了 RedHat 的桌面，如圖 2-46 所示。 圖 2-46桌面最上面是菜單欄，右上角有個紅叉，這表明網(wǎng)絡(luò)沒有連通。在紅叉上點(diǎn)擊右鍵，出 現(xiàn)右鍵菜單，如圖 2-47 所示。， 圖 2-47點(diǎn)擊“Edit Connections”，彈出窗口對話框，如圖 2-48 所示。 圖 2-48選中連接，點(diǎn)擊右側(cè)“Edit”，出現(xiàn)彈出窗口對話框，如圖 2-49 所示。 圖 2-49左上角有個復(fù)選框，請選中，表示啟用自動連接，然后點(diǎn)擊右下角的“Apply”，然后 依次關(guān)閉彈出窗口。會發(fā)現(xiàn)桌面右上的紅叉消失了，這表明網(wǎng)絡(luò)已經(jīng)連通了。 在桌面上鼠標(biāo)右鍵，選擇“Open in te

15、rminal”，輸入命令 ifconfig，可以查看到網(wǎng)卡地址是 01，如圖 2-50 所示。 圖 2-50至此，RedHat 安裝完畢。 關(guān)于 RedHat 的 shell 操作的只是，可以查看本書的附錄部分。 2.3 遠(yuǎn)程連接工具的安裝PieTTY 是在 PuTTY 基礎(chǔ)上開發(fā)的，改進(jìn)了 Putty 的用戶界面，提供了多語種支持。Putty 作為遠(yuǎn)程連接 linux 的工具，支持 SSH 和 telnet。但是，我們使用的時候經(jīng)常出現(xiàn) 亂碼。PieTTY 可以很好地解決這個問題。 該軟件不需要安裝，直接打開使用即可，如圖 2-51 所示。 圖 2-51在 Host

16、Name 中輸入剛才安裝的 RedHat 的 ip 地址，其余設(shè)置使用默認(rèn)值，然后點(diǎn)擊最下面的 “Open”按鈕，就會提示輸入用戶名和，我們需要輸入 RedHat 的用戶名 root， wuchao 即可連接。本書中的操作就是使用 PieTTY 完成的。 2.4 文件傳輸工具的安裝2.1.1 WinSCP 簡介 WinSCP 是一個Windows 環(huán)境下使用SSH 的開源圖形化SFTP 客戶端，同時支持 SCP 協(xié)議。它的主要功能就是在本地與遠(yuǎn)程計算機(jī)間安全地復(fù)制文件。這是一個開源的軟件，被托管在全球最大開源軟件托管平臺 SourceForge。 2.1.2 WinSCP 安裝 安裝分成非常簡

17、單，按照提示一步步操作即可，中間沒有需要做出選擇、判斷的地方。 安裝完成后，打開軟件，點(diǎn)擊右上方的“新建”按鈕，如圖 2-52 所示，彈出新的窗口 對話框，如圖 2-53 所示。 圖 2-52圖 2-53在圖 2-53 中，輸入 RedHat 的主機(jī) ip、用戶名和，點(diǎn)擊最下方的“登錄”按鈕，工具就會連接遠(yuǎn)程的機(jī)器。如果成功，會看到如圖 2-54 所示。 圖 2-54在圖 2-54 中，左側(cè)顯示宿主機(jī) windows 的文件系統(tǒng)，右側(cè)顯示遠(yuǎn)程 RedHat 的文件系統(tǒng)?？梢允褂迷摴ぞ哌M(jìn)行宿主機(jī)和客戶機(jī)之間的文件傳輸，類似 FTP。 下面章節(jié)，在 RedHat 中使用的很多軟件就是通過 WinS

18、CP 從 Windows 傳輸過去的。 2.5 安裝 JDK我們使用的版本是 Oracle 的 jdk-6u24-linux-i586.bin。 首先，把 jdk 移動到/usr/local 目錄下。進(jìn)入到/usr/local 目錄下，通過“.”解壓文件， 如圖 2-55 所示。 圖 2-55解壓縮完成后，我們可以查看到新產(chǎn)生的目錄 jdk1.6.0_24，使用 mv 命令重命名為 jdk， 目的是方便以后引用，如圖 2-56 所示。 圖 2-56接下來把 jdk 的命令配置到環(huán)境變量中。 在 linux 下，有很多配置環(huán)境變量的地方，分為全局環(huán)境變量和局部環(huán)境變量。linux 加載的時候，會

19、先找全局環(huán)境變量，如果找不到，就找局部變量。本書中，我們只設(shè)置全局環(huán) 境變量。 使用 gedit 命令打開文件“/etc/profile”， 如圖 2-57 所示。 圖 2-57export JAVA_HOME=/usr/local/jdk export PATH=.:$PATH:$JAVA_HOME/bin在文件最后增加以下內(nèi)容，讀者可以復(fù)制粘貼我的內(nèi)容。 保存關(guān)閉后，需要在 shell 環(huán)境下執(zhí)行命令如下命令。 #source/etc/profile 我解釋一下上面的配置內(nèi)容： “export”是關(guān)鍵字，用于設(shè)置環(huán)境變量。我們設(shè)置了兩個環(huán)境變量，一個是 JAVA_HOME，一個是 PATH

20、。對于環(huán)境變量的引用，使用“$”，多個環(huán)境變量之間的連接，使用“:”。大家在設(shè)置環(huán)境變量的時候，一定與 windows 下的操作區(qū)分開，不要混淆。命令“source”是為了讓文件中的設(shè)置立刻生效。 現(xiàn)在使用“java-version”命令，如果看到如圖 2-58 的輸出，那就證明一切順利。 圖 2-582.6 關(guān)閉 RedHat 內(nèi)置一個文本行的管理工具，可以管理、ip 地址、各類服務(wù)等信息的設(shè)置。使用 setup 命令調(diào)出該工具，如圖 2-59 所示。 注意：該工具不支持鼠標(biāo)操作，以下所有操作都需要使用鍵盤。 圖 2-59選擇“Firewall configuration”，然后按回車，你會

21、看到如圖 2-60 所示。 圖 2-60會看到中間的方括號中有“*”，表示被選中，意味著 是被啟用的。我們現(xiàn)在想關(guān)閉，只需要按一下空格鍵，符號“*”就會消失。最后使用“tab”鍵移動到“OK”，回車， 一步步退出就行了。 那么， 是否真的被關(guān)閉了哪？使用如圖 2-61 中的命令驗(yàn)證： 圖 2-61作“ip在 linux 下稱tables”。該命令的含義是查看服務(wù) iptables 的狀態(tài)。如果提示信息如上圖所示，說明已經(jīng)被關(guān)閉。 注意： 的目的是關(guān)閉盡可能不用的端口，避免被惡意攻擊，保證服務(wù)器運(yùn)行安 全。我們這里是實(shí)驗(yàn)環(huán)境，為了避免無謂的錯誤，選擇關(guān)閉 。在實(shí)際工作中，盡可 能不這么做。 2.

22、7 設(shè)置 DNS 解析因?yàn)?hadoop 集群之間通過主機(jī)名互相訪問，所以必須設(shè)置 dns 解析。使用 gedit 編輯 dns 解析文件，如圖 2-62 所示。 圖 2-62在文本最后追加一行，“01hadoop0”，注意 ip 與主機(jī)名之間使用空格分開，如圖 2-63 所示 圖 2-63保存并關(guān)閉編輯器。 2.8 設(shè)置 SSH 免登錄如果我們需要遠(yuǎn)程管理其他機(jī)器的話，一般使用遠(yuǎn)程桌面或者 telnet。linxu 服務(wù)器幾乎都是命令行，所以只能使用 telnet 了。telnet 的缺點(diǎn)是通信不加密，非常不安全，只適合于內(nèi)網(wǎng)訪問。為解決這個問題，推出了加密的通信協(xié)議

23、，即 SSH。SSH 的全稱是 Secure Shell， 使用非對稱加密方式，傳輸內(nèi)容使用 rsa 或者 dsa 加密，可以有效避免網(wǎng)絡(luò)竊聽。 hadoop 的進(jìn)程之間通信使用 ssh 方式，需要每次都要輸入。為了實(shí)現(xiàn)自動化操作， 我們下面配置 SSH 的免登錄方式。 首先到用戶主目錄下，如圖 2-64 所示。 圖 2-64在“l(fā)s-a”命令顯示的文件中，最后一列中間一項(xiàng)是“.ssh”，該文件夾是存放密鑰的。注 意該文件夾是以“.”開頭的，是隱藏文件。待會我們生成的密鑰都會放到這個文件夾中。 現(xiàn)在執(zhí)行命令，生成密鑰，如圖 2-65 所示。 圖 2-65解釋一下： 命令“ssh-keygen -trsa”表示使用 rsa 加密方式生成密鑰， 回車后，會提示三次輸入信息，我們直接回車即可。