hadoop云計(jì)算實(shí)驗(yàn)報(bào)告數(shù)據(jù)去重實(shí)驗(yàn)名稱(chēng)：數(shù)據(jù)去重實(shí)驗(yàn)?zāi)康模?、基本了解一個(gè)Hadoop程序的結(jié)構(gòu)、編譯、封裝、運(yùn)行、查看結(jié)果等流程2、掌握并利用并行化編程思想對(duì)數(shù)據(jù)做有意義的篩選問(wèn)題描述：編寫(xiě)Mapreduce程序讀取文本文件，去掉所有數(shù)據(jù)中的重復(fù)數(shù)據(jù)后輸出結(jié)果。實(shí)驗(yàn)要求：1、完成Mapreduce程序，測(cè)試其對(duì)數(shù)據(jù)的篩選能力。輸入：輸入是一組文本文件，在每個(gè)輸入文件中每一行是一個(gè)數(shù)據(jù)。每一個(gè)元數(shù)據(jù)都是一個(gè)字符串輸出：輸出文件的每一行都是在輸入文件中出現(xiàn)過(guò)的一個(gè)數(shù)據(jù)，并且輸出文件中的每一行都不相同。【數(shù)據(jù)樣例】輸入：input1:2006-6-9a2006-6-10b2006-6-11c2006-6-12d2006-6-13a2006-6-14b2006-6-15c2006-6-11cinput2:2006-6-9b2006-6-10a2006-6-11b2006-6-12d2006-6-13a2006-6-14c2006-6-15d2006-6-11c輸出:2006-6-10a2006-6-10b2006-6-11b2006-6-11c2006-6-12d2006-6-13a2006-6-14b2006-6-14c2006-6-15c2006-6-15d2006-6-9a2006-6-9b算法分析：數(shù)據(jù)去重的最終目標(biāo)是讓原始數(shù)據(jù)中出現(xiàn)次數(shù)超過(guò)一次的數(shù)據(jù)在輸出文件中只出現(xiàn)一次。我們自然而然會(huì)想到將同一個(gè)數(shù)據(jù)的所有記錄都交給一臺(tái)reduce機(jī)器，無(wú)論這個(gè)數(shù)據(jù)出現(xiàn)多少次，只要在最終結(jié)果中輸出一次就可以了。

具體就是reduce的輸入應(yīng)該以數(shù)據(jù)作為key，而對(duì)value-list則沒(méi)有要求。當(dāng)reduce接收到一個(gè)<key，value-list>時(shí)就直接將key復(fù)制到輸出的key中，并將value設(shè)置成空值。

在MapReduce流程中，map的輸出<key，value>經(jīng)過(guò)shuffle過(guò)程聚集成<key，value-list>后會(huì)交給reduce。所以從設(shè)計(jì)好的reduce輸入可以反推出map的輸出key應(yīng)為數(shù)據(jù)，value任意。繼續(xù)反推，map輸出數(shù)據(jù)的

key為數(shù)據(jù)，而在這個(gè)實(shí)例中每個(gè)數(shù)據(jù)代表輸入文件中的一行內(nèi)容，所以map階段要完成的任務(wù)就是在采用Hadoop默認(rèn)的作業(yè)輸入方式之后，將value設(shè)置為key，并直接輸出（輸出中的value任意）。map中的結(jié)果經(jīng)過(guò)shuffle過(guò)

程之后交給reduce。reduce階段不會(huì)管每個(gè)key有多少個(gè)value，它直接將輸入的key復(fù)制為輸出的key，并輸出就可以了（輸出中的value被設(shè)置成空了）。實(shí)驗(yàn)內(nèi)容和過(guò)程：packageshiyan1_1;importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Job;importorg.apache.hadoop.mapreduce.Mapper;importorg.apache.hadoop.mapreduce.Reducer;importorg.apache.hadoop.mapreduce.lib.input.FileInputFormat;importorg.apache.hadoop.mapreduce.lib.output.FileOutputFormat;importorg.apache.hadoop.util.GenericOptionsParser;publicclassDedup{//map將輸入中的value復(fù)制到輸出數(shù)據(jù)的key上，并直接輸出publicstaticclassMapextendsMapper<Object,Text,Text,Text>{privatestaticTextline=newText();//每行數(shù)據(jù)//實(shí)現(xiàn)map函數(shù)publicvoidmap(Objectkey,Textvalue,Contextcontext)throwsIOException,InterruptedException{line=value;context.write(line,newText(""));}}//reduce將輸入中的key復(fù)制到輸出數(shù)據(jù)的key上，并直接輸出publicstaticclassReduceextendsReducer<Text,Text,Text,Text>{//實(shí)現(xiàn)reduce函數(shù)publicvoidreduce(Textkey,Iterable<Text>values,Contextcontext)throwsIOException,InterruptedException{context.write(key,newText(""));}}publicstaticvoidmain(String[]args)throwsException{Configurationconf=newConfiguration();String[]otherArgs=newGenericOptionsParser(conf,args).getRemainingArgs();if(otherArgs.length!=2){System.err.println("Usage:DataDeduplication<in><out>");System.exit(2);}Jobjob=newJob(conf,"DataDeduplication");job.setJarByClass(Dedup.class);//設(shè)置Map、Combine和Reduce處理類(lèi)job.setMapperClass(Map.class);job.setCombinerClass(Reduce.class);job.setReducerClass(Reduce.class);//設(shè)置輸出類(lèi)型job.setOutputKeyClass(Text.class);job.setOutputValueClass(Text.class);//設(shè)置輸入和輸出目錄FileInputFormat.addInputPath(job,newP