Hadoop大數(shù)據(jù)開發(fā)基礎與案例實戰(zhàn)(微課版)課件 4.5HDFS API操作_第1頁
Hadoop大數(shù)據(jù)開發(fā)基礎與案例實戰(zhàn)(微課版)課件 4.5HDFS API操作_第2頁
Hadoop大數(shù)據(jù)開發(fā)基礎與案例實戰(zhàn)(微課版)課件 4.5HDFS API操作_第3頁
Hadoop大數(shù)據(jù)開發(fā)基礎與案例實戰(zhàn)(微課版)課件 4.5HDFS API操作_第4頁
Hadoop大數(shù)據(jù)開發(fā)基礎與案例實戰(zhàn)(微課版)課件 4.5HDFS API操作_第5頁
已閱讀5頁,還剩10頁未讀, 繼續(xù)免費閱讀

付費下載

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

Hadoop大數(shù)據(jù)項目開發(fā)——HDFSAPI操作05目錄content02刪除文件引入依賴06移動或重命名文件01搭建客戶端環(huán)境03上傳文件下載文件04搭建HDFS客戶端環(huán)境步驟1:將Windows操作系統(tǒng)下的Hadoop壓縮包解壓到E盤,文件夾名為hadoop。步驟2:配置HADOOP_HOME環(huán)境變量,如下所示:搭建HDFS客戶端環(huán)境步驟3:配置Path環(huán)境變量,如下所示:搭建HDFS客戶端環(huán)境步驟4:創(chuàng)建一個Maven工程,創(chuàng)建Maven工程過程如下所示,輸入所建Maven工程的名稱。搭建HDFS客戶端環(huán)境HDFSAPI準備環(huán)境完成之后,編寫Java代碼,實現(xiàn)HDFS功能。引入依賴在編寫代碼之前,需要引入開發(fā)HDFSAPI客戶端相應的依賴,如下所示:<dependencies><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>2.9.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>2.9.2</version></dependency></dependencies>HDFS文件上傳將Windows系統(tǒng)上本地E盤下面report.txt文件上傳到HDFS集群,源代碼如下所示:該參數(shù)為:副本數(shù)和文件塊大?。?默認副本數(shù)量為3,塊大小為128M)FileSystem.get構造一個訪問HDFS系統(tǒng)的客戶端對象:第一個參數(shù)為URI:名稱節(jié)點所在的節(jié)點;第二個參數(shù)為客戶端特別指定的:例如文件備份數(shù)量和塊大小等;第三個參數(shù)為客戶端的身份,該參數(shù)值為用戶名。copyFromLocalFile實現(xiàn)上傳一個文件到HDFS上,在該方法中指定待上傳的文件及其位置,以及將要上傳至HDFS上的位置。HDFS文件上傳參數(shù)既可以在代碼中設置,也可以在Hadoop集群中設置;那么參數(shù)優(yōu)先級是怎么樣的呢?優(yōu)先級排序:客戶端代碼>ClassPath>xxx-site.xml>xxx-default.xmlHDFS文件上傳將HDFS集群上的report.txt文件下載到Windows系統(tǒng)的E盤下面,源代碼編寫如下所示:HDFS下載文件HDFS下載文件連接HDFS的源碼與文件上傳的源碼一致;copyToLocalFile實現(xiàn)了將HDFS上的文件下載到本地Windows系統(tǒng):第一個參數(shù)指是否將原文件刪除;第二參數(shù)指要下載的文件路徑;第三個參數(shù)指將文件下載到的路徑;最后一個參數(shù)是否開啟文件校驗。刪除HDFS集群上的文件,源代碼編寫如下所示:HDFS文件刪除delete:刪除HDFS文件系統(tǒng)上指定文件的內容:第一個參數(shù)表示要刪除的文件名;第二參數(shù)表示是否遞歸刪除。將HDFS集群上文件名進行更改和移動,源代碼編寫如下所示:HDFS文件名更改和移動rename:文件移動和重命名:第一個參數(shù)為要移動或者重命名的文件;第二個參數(shù)為移動后或者重命名后的文件。本節(jié)介紹了HDFSAPI的編寫,包括Windows本地文件上傳,將HDFS上文件下載到Wi

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論