-.z.課程實(shí)驗(yàn)報(bào)告專業(yè)年級14級軟件工程課程名稱大數(shù)據(jù)技術(shù)原理與應(yīng)用指導(dǎo)教師李均濤學(xué)生姓名吳勇**026實(shí)驗(yàn)日期2017.05.04實(shí)驗(yàn)地點(diǎn)篤行樓B棟301實(shí)驗(yàn)成績教務(wù)處制2017年03月09日實(shí)驗(yàn)項(xiàng)目名稱Liun*基本操作實(shí)驗(yàn)?zāi)康募耙罅私釲iun*操作系統(tǒng)發(fā)展歷史。學(xué)習(xí)Liun*操作系統(tǒng)基本概念及操作。學(xué)習(xí)Liun*操作系統(tǒng)用戶及文件權(quán)限管理。Linu*目錄結(jié)構(gòu)及文件基本操作。實(shí)驗(yàn)內(nèi)容1.實(shí)驗(yàn)樓環(huán)境介紹，常用Shell命令及快捷鍵，Linu*使用小技巧。2.Linu*中創(chuàng)建、刪除用戶，及用戶組等操作。Linu*中的文件權(quán)限設(shè)置。3.Linu*的文件組織目錄結(jié)構(gòu)，相對路徑和絕對路徑，對文件的移動(dòng)、復(fù)制、重命名、編輯等操作。實(shí)驗(yàn)步驟Liun*輸入輸出命令。使用touch命令創(chuàng)建文件夾，后綴都為t*t。學(xué)會在命令行中獲取幫助。輸出圖形字符。查看用戶。創(chuàng)建新用戶。刪除用戶。查看文件權(quán)限。用ls–A/Al/dl/AsSh查看文件。變更文件所有者。修改文件權(quán)限。目錄路徑。

新建空白文件。文件的復(fù)制、刪除、移動(dòng)、重命名。實(shí)驗(yàn)環(huán)境Liun*操作系統(tǒng)實(shí)驗(yàn)結(jié)果與分析通過學(xué)習(xí)Liun*操作系統(tǒng)的發(fā)展歷史、基本操作、用戶及文件權(quán)限管理以及Linu*目錄結(jié)構(gòu)及文件基本操作。是得我大致了解Liun*操作系統(tǒng)的使用，并且能夠完成相應(yīng)的練習(xí)。教師評語注：可根據(jù)實(shí)際情況加頁課程實(shí)驗(yàn)報(bào)告專業(yè)年級14級軟件工程課程名稱大數(shù)據(jù)技術(shù)原理與應(yīng)用指導(dǎo)教師李均濤學(xué)生姓名吳勇**026實(shí)驗(yàn)日期2017.05.04實(shí)驗(yàn)地點(diǎn)篤行樓B棟301實(shí)驗(yàn)成績教務(wù)處制2017年03月09日實(shí)驗(yàn)項(xiàng)目名稱Hadoop的基本操作實(shí)驗(yàn)?zāi)康募耙驢adoop單機(jī)模式安裝.Hadoop偽分布模式配置部署.Hadoop介紹及1.*偽分布式安裝.adoop2.*64位編譯.Hadoop2.*64位環(huán)境搭建.實(shí)驗(yàn)內(nèi)容hadoop三種安裝模式介紹,hadoop單機(jī)模式安裝,測試安裝hadoop配置文件介紹及修改,hdfs格式化,啟動(dòng)hadoop進(jìn)程，驗(yàn)證安裝.Hadoop1.*偽分布安裝,Hadoop介紹,Hadoop變量配置.Hadoop2.*64位編譯,編譯Hadoop2.*64位,編譯Hadoop.搭建環(huán)境,部署Hadooop2.*,啟動(dòng)Hadoop.實(shí)驗(yàn)步驟用戶及用戶組,添加用戶及用戶組,添加sudo權(quán)限.安裝及配置依賴的軟件包,安裝openssh-server、java、rsync等,配置ssh免密碼登錄.下載并安裝Hadoop,下載Hadoop2.6.0,解壓并安裝,配置Hadoop.測試驗(yàn)證.相關(guān)配置文件修改:修改core-site.*ml:格式化HDFS文件系統(tǒng).Hadoop集群啟動(dòng).測試驗(yàn)證.設(shè)置Host映射文件.下載并解壓hadoop安裝包在目錄下創(chuàng)建子目錄.啟動(dòng)hadoop.13.編譯Hadoop2.*64位.14.使用yum安裝sun.15.部署Hadooop2.*.與Hadoop1.*類似。實(shí)驗(yàn)環(huán)境hadoop*fce終端實(shí)驗(yàn)結(jié)果與分析通過本次實(shí)驗(yàn)，讓我對Hadoop有所了解，但是在實(shí)驗(yàn)過程中出現(xiàn)許多問題。例如，不知道該如何下載javajdk，甚至如何創(chuàng)建文件夾目錄下的文件，以及Hadoop的環(huán)境配置原理以及編譯原理和方法。這些都是實(shí)驗(yàn)中出現(xiàn)的問題，但是通過自己查詢，問同學(xué)，部分問題已經(jīng)得到解決，但是還存在一部分就只能通過課后自學(xué)進(jìn)行解決?。?！通過上述的學(xué)習(xí)，讓我對Hadoop的基本操作有了基礎(chǔ)的掌握，包括Hadoop介紹及1.*偽分布式安裝，adoop2.*64位編譯，Hadoop2.*64位環(huán)境搭建等。教師評語注：可根據(jù)實(shí)際情況加頁課程實(shí)驗(yàn)報(bào)告專業(yè)年級14級軟件工程課程名稱大數(shù)據(jù)技術(shù)原理與應(yīng)用指導(dǎo)教師李均濤學(xué)生姓名吳勇**026實(shí)驗(yàn)日期2017.06.01實(shí)驗(yàn)地點(diǎn)篤行樓B棟301實(shí)驗(yàn)成績教務(wù)處制2017年03月09日實(shí)驗(yàn)項(xiàng)目名稱HDFS和MapReduce實(shí)驗(yàn)?zāi)康募耙驢DFS原理及操作。MapReduce原理及操作。實(shí)驗(yàn)內(nèi)容HDFS原理及操作。環(huán)境說明，HDFS原理，HDFS架構(gòu)，HDFS讀操作，HDFS寫操作，測試?yán)?．MapReduce原理及操作。環(huán)境說明，MapReduce原理，Map過程，Reduce過程，測試?yán)訉?shí)驗(yàn)步驟1.HDFS原理及操作。1.1環(huán)境說明。虛擬機(jī)操作系統(tǒng)：CentOS6.664位，單核，1G內(nèi)存JDK：1.7.0_5564位Hadoop：HDFS原理。HDFS（HadoopDistributedFileSystem）是一個(gè)分布式文件系統(tǒng)，是谷歌的GFS山寨版本。它具有高容錯(cuò)性并提供了高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用，它提供了一個(gè)高度容錯(cuò)性和高吞吐量的海量數(shù)據(jù)存儲解決方案。HDFS架構(gòu)。HDFS是Master和Slave的結(jié)構(gòu)，分為NameNode、SecondaryNameNode和DataNode三種角色。HDFS讀操作?？蛻舳送ㄟ^調(diào)用FileSystem對象的open()方法來打開希望讀取的文件。HDFS寫操作?？蛻舳送ㄟ^調(diào)用DistributedFileSystem的create()方法創(chuàng)建新文件。1.6測試?yán)?。1.創(chuàng)建代碼目錄2.建立例子文件上傳到HDFS中3.配置本地環(huán)境4.編寫代碼5.編譯代碼6.使用編譯代碼讀取HDFS文件2.MapReduce原理及操作。2.1環(huán)境說明。虛擬機(jī)操作系統(tǒng)：CentOS6.664位，單核，1G內(nèi)存JDK：1.7.0_5564位Hadoop：MapReduce原理。Map和Reduce。當(dāng)你向MapReduce框架提交一個(gè)計(jì)算作業(yè)時(shí)，它會首先把計(jì)算作業(yè)拆分成若干個(gè)Map任務(wù)，然后分配到不同的節(jié)點(diǎn)上去執(zhí)行，每一個(gè)Map任務(wù)處理輸入數(shù)據(jù)中的一部分，當(dāng)Map任務(wù)完成后，它會生成一些中間文件，這些中間文件將會作為Reduce任務(wù)的輸入數(shù)據(jù)。Reduce任務(wù)的主要目標(biāo)就是把前面若干個(gè)Map的輸出匯總到一起并輸出。Map過程。每個(gè)輸入分片會讓一個(gè)map任務(wù)來處理，默認(rèn)情況下，以HDFS的一個(gè)塊的大?。J(rèn)為64M）為一個(gè)分片，當(dāng)然我們也可以設(shè)置塊的大小。map輸出的結(jié)果會暫且放在一個(gè)環(huán)形內(nèi)存緩沖區(qū)中（該緩沖區(qū)的大小默認(rèn)為100M，由屬性控制），當(dāng)該緩沖區(qū)快要溢出時(shí)（默認(rèn)為緩沖區(qū)大小的80%，由屬性控制），會在本地文件系統(tǒng)中創(chuàng)建一個(gè)溢出文件，將該緩沖區(qū)中的數(shù)據(jù)寫入這個(gè)文件。Reduce過程。Reduce會接收到不同map任務(wù)傳來的數(shù)據(jù)，并且每個(gè)map傳來的數(shù)據(jù)都是有序的。如果reduce端接受的數(shù)據(jù)量相當(dāng)小，則直接存儲在內(nèi)存中（緩沖區(qū)大小由屬性控制，表示用作此用途的堆空間的百分比），如果數(shù)據(jù)量超過了該緩沖區(qū)大小的一定比例（由決定），則對數(shù)據(jù)合并后溢寫到磁盤中。2.5測試?yán)印＞帉懘a。2.編譯代碼。3.打包編譯文件。4.解壓氣象數(shù)據(jù)并上傳到HDFS中。5.運(yùn)行程序。6.查看結(jié)果。實(shí)驗(yàn)環(huán)境虛擬機(jī)操作系統(tǒng)：CentOS6.664位，單核，1G內(nèi)存JDK：1.7.0_5564位Had