2023學年完整公開課版Pig項目實戰(zhàn)_第1頁
2023學年完整公開課版Pig項目實戰(zhàn)_第2頁
2023學年完整公開課版Pig項目實戰(zhàn)_第3頁
2023學年完整公開課版Pig項目實戰(zhàn)_第4頁
2023學年完整公開課版Pig項目實戰(zhàn)_第5頁
全文預覽已結束

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

Pig數(shù)據(jù)分析平臺

單元目錄1.了解pig的基本概念422.學習PigLantin3.掌握pig的部署及使用

4.了解pig的擴展知識

5.pig項目實戰(zhàn)

3

Pig項目實戰(zhàn)使用Pig分析最高氣溫Pig腳本：A=LOAD'/pig_example/max_temp_input'USINGPigStorage('')AS(year:int,temperature:int);B=GROUPABYyear;C=FOREACHBGENERATEgroup,MAX(A.temperature);STORECINTO'/pig_example/max_temp_output';在運行該腳本前，我們需要將天氣數(shù)據(jù)的原始數(shù)據(jù)文件max_temp_input存入HDFS的/pig_example/下，執(zhí)行后，我們可以在HDFS的/pig_example/max_temp_output目錄下得到每年最高氣溫的數(shù)據(jù)。了解Pig的擴展知識用戶定義函數(shù)（UDF）Pig同樣提供了用戶自定義函數(shù)的功能，如果內置函數(shù)無法實現(xiàn)需求時，我們就可以編寫自定義函數(shù)來實現(xiàn)功能。需要使用自定義函數(shù)時，我們首先需要在Java中對它進行編譯，并打包到Jar文件中。然后通過REGISTER操作告訴Pig相關Jar文件，通過本地路徑賦值給文件名：grunt>REGISTERpig.jarPig通過將函數(shù)名看作Java類名進行加載并實現(xiàn)函數(shù)調用。若包名過長，我們可以通過DEFINE操作來縮短函數(shù)名：grunt>DEFINEpass_studentcom.hadoop.pig.IsBestStudent();grunt>the_bset_student=FILTERscoresBYstudent_numberANDpass_student(grade) UDF適合多次使用某一功能

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間，僅對用戶上傳內容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論