1、實(shí)驗(yàn) 3 MapReduce 編程初級(jí)實(shí)踐1. 實(shí)驗(yàn)?zāi)康?、通過(guò)實(shí)驗(yàn)掌握基本得MapReduce編程方法 ;2、掌握用 MapReduce解決一些常見得數(shù)據(jù)處理問(wèn)題 , 包括數(shù)據(jù)去重、 數(shù)據(jù)排序與數(shù)據(jù)挖掘等。2. 實(shí)驗(yàn)平臺(tái)已經(jīng)配置完成得Ha o偽分布式環(huán)境。3. 實(shí)驗(yàn)內(nèi)容與要求、 編程實(shí)現(xiàn)文件合并與去重操作對(duì)于兩個(gè)輸入文件, 即文件與文件，請(qǐng)編寫 pRed c程序， 對(duì)兩個(gè)文件進(jìn)行合并 , 并剔除其中重復(fù)得內(nèi)容 , 得到一個(gè)新得輸出文件 C. 下面就是輸入文件與輸出文件得一個(gè)樣例供參考。實(shí)驗(yàn)最終結(jié)果 ( 合并得文件 ) ：代碼如下 : ackage 、M rge ；im o t ja a、 o

2、 、 IOEx eption ；imp rt or 、 ap che 、had op 、 nf、 Confi uration ； impor o g、 apache 、 ha op、 s、P th;impor rg 、 pache 、 hado 、 o 、 Tex ;import o g 、 pac e、 hado p、 ma reduce 、Jo ； imp rt rg 、apache 、 hadoop 、 mapreduce 、 Mapper;impo to、 apa he 、h do p 、 m predu e 、 e uc r；i o rg 、 a ache 、 hadoop 、 ap

3、 duce 、li、 inp 、； import o g 、ap che 、 ha oop 、 apre e、 li、 outpu 、 ; public cl erge i atic cl s M p e ten s Map r pri t static Tex text =publicv id ma (O jeew xt（ ); , Text va u ，Conte co t x )th ows IO xeptio , nte r pted xcepti ext =value;c n e t、 writ (text, newT xt(”)）;p bli tatic classR d ee t

4、e ds Reducer priva est tiIntWrita e data new IntW tab ();publicvoi map（ Obj t key,Teva ue， o t xt co tex )thro s I Exce ti n, Inte r pt dExc ptionS r n ne =v lue 、 t String() ； t、 set(In e r、 a s Int （ l） )；cont t 、 w te(d ta， new tWrit ble （ )） ;public st i la sRe uce te d R uc r v lue ,Context con

5、text） r ws IOE cp i , InterruptedExc pt on fo （ Int itable: value ）c ntext 、 w ite （ linenum ， ey ） ;li e um = n w In table(lin num 、 get （） 1 ）;public st ti void main （ Strin a s) t rows xcepti n C n guratio nf = new Config tion();conf 、set(fs 、d aultFS ”, hdfs:/ calh st: 000”)； tr ng e Args = new

6、St i ” input2， ” outp 2 ; * 直接設(shè)置輸入?yún)?shù) */( the rgs 、 gt !=2 ）S s em 、 er 、println( ag : me es rt i out ） ;S stem 、ex t(2） ;Jo job = Jo 、 g tInst nce （co f， ” mer eso t ” ); job 、 s Ja yClass(Mer eSo t、 lass) ； ob 、 etMapperCla （ Map 、 cl）； o 、 s Reduc rClass(Re ce 、cl ss);job 、setO tputKe C as (IntWri

7、tab e、 class) ；job 、se utp Vl e ss( Wr table 、 class ） ; （ jo , ew Pat (o herA gs 0）；（ j , w Pa h(other rgs ） )；Syst m、 ex t（ ob 、 ait opl tion （ u )？ 0: ） ;、對(duì)給定得表格進(jìn)行信息挖掘下面給出一個(gè) c ild a ent 得表格 , 要求挖掘其中得父子輩關(guān)系 , 給出祖孫輩關(guān)系得表格。實(shí)驗(yàn)最后結(jié)果截圖如下:代碼如下：package、 oin ；impor ja a、 io、 I xception;im ort java 、 u i、 ;im

8、p t rg 、 apa e、 d o 、 co f、 Conf gurati ; mp r or 、 apache 、hadoop 、 s、 Pat ;im t rg 、 a ache 、 hado p 、 o 、 ex ;im rt or 、 a ache 、 doop 、map ce 、 ob; m o org 、a a 、 hado 、 apred 、 apper ； m rt org 、 ap he 、ha op 、 map duce 、 Red ce ；imp t rg 、 pa e、 hadoop 、m p educ 、 i、 in 、； mp r o g 、apache 、 a

9、d op、 map e uc 、 lib 、 ou pu 、 ;publicclass STjoin publi li staticint t me = 0;sta ic class apextends Mapp O ject, T, Text,Te tpu lic v idm p(Ob ect ey, Te t val e,Contextonte t)t row xception，I te rup dEx eptionS r ngc il_na e =newSt ng();St i gpa ent_n e w tring( ）；String rela ion_ pe new Str ng(

10、）； tring lin = value 、 to tr ng( ）；in = 0; le (l ne 、ch rA (i) ！ = ）i+ ；St ing lues = ne、 substrin (0,） , lin 、subs g(i + 1) ; f（ value 0、 pa eTo(c il”） != )chil _na =val es0 ; a ent_ a e = alues1 ;re atio _type=” 1”;cont x、 write （ ew Text(va ues ),new Te （ re tio _type+ + ” child na e + ”+” + pare

11、ntame) ）;rlat on_ ype =2 ”;c n e t、 write(new ext(v lues0), new Te (re ati n_type + child nam + ” + + p r t_ e) ）；publ st ic cla s edu tends R u rx， e t, Tex ，ext public void reduc ( ext ey, e able Te values,Context cont x ) hrows IOExceti n， I e upte Ex eptionif (time = 0 ） cont t、 wri (n w e t( ”

12、grad ch ld ),new Text( ” rand_ a ent ” );t e+;in gran _child um;String gra _ch nw trin 0;ingran _parent um = 0 ；S ing gra d_parent = e St i g1 ;Iter to i e values 、it rat r（ );whil （ ite 、hasNext() Stringi trecord=ite 、nex （ )、 t Stringlen= r co d、 le t（） ;（） ;int i2;if(len = 0 ）con i ue; ha re atio

13、n typ reco d 、 char t（ 0) ； tring ch d_ me = ew S rng （ ); ring parent_nam = new Stri g( ）； il (re rd 、 ch t（i) != )ch ld ame= child_name + record、ar t(i);i；i = i+ 1 ；w le (i len) par t_nam = p ren name +ecord 、 cha At( );i+;if（ r lat on_ ype = 1) r nd_child ran _ hil _ m = c id_ me ；g nd_ h ld num

14、+ ； else g a d aren gra d_p r nt_ um =par nt_na e ；gr d parent_ um+; f ( an _parent_num！ = 0 & gr n c ild_ u != 0 ） for (i t m 0; ra d_ hi d nu ; m+ ) or(int = 0; n gran _parent_num; +)con xt、 rit (new Text(grand_ hild m），n T xt(gra d_p rent ） );p bli staticvoid ain(Stri g args ） thr ws Excepti onfi

15、 ur conf = ew Configuration() ；con 、 et( ”f、 de a lt ” , hdfs:/ oc host ：900）；S othe Args = w S ring ” inpu 3， utput ” ;i （ o h Args 、 l ng h != ）Sy tem 、er 、rintln（ ”U age:ingleTa Joini out ”)；Syst 、 exit(2);Job j b =J b、getI sta e(co f,” Single bl jo); o、 setJa yCla (STjoi 、 cl ss); ob 、 t apper l

16、ass （ a 、 c as );job 、 setRe ucerC a s( educe 、 clas );j b 、 et ut utKe Clas （ Te t、 cl ss) ；job 、 setOut utValueClass(T t、 cla s)；( b, e P th（ th rAr s );（ job, new h(other r s1 ） );S e 、ex ( b 、w i Fo p tion(tru ) ? 0： 1);4. 實(shí)驗(yàn)報(bào)告云計(jì)算題目：實(shí)驗(yàn)報(bào)告duce 編程初級(jí)姓名包生友日期 :216/12 0實(shí)踐實(shí)驗(yàn)環(huán)境 : 機(jī)房得虛擬機(jī)上配置好得環(huán)境解決問(wèn)題得思路：根據(jù)老師給得代碼進(jìn)行操作實(shí)驗(yàn)內(nèi)容與完成情況: 已完成，與同學(xué)商量后仍有部分代碼尚未知道其作用所在出現(xiàn)得問(wèn)題 : 執(zhí)