Hadoop大數(shù)據(jù)項目開發(fā)——單詞統(tǒng)計分析-mapper代碼實(shí)現(xiàn)目錄content02Reducer類的編寫01Mapper類的編寫03Driver類的編寫添加依賴：hadoop-commonhadoop-hdfshadoop-client實(shí)戰(zhàn)開發(fā)：WordCountMapperWordCountReducerWordCountMain/開發(fā)環(huán)境：mavenIDEA/Eclipse上傳運(yùn)行：hadoopjarwordcount-1.0-SNAPSHOT.jar

/input/data.txt/output/wc單詞統(tǒng)計功能開發(fā)流程引入依賴<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-mapreduce-client-common</artifactId><version>2.9.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-mapreduce-client-core</artifactId><version>2.9.2</version></dependency>本案例中的測試數(shù)據(jù)位于“G:/wordcount/input”的文件夾中。首先在新建項目中的pom.xml文件中引入依賴，如圖所示：Mapper類的編寫新建WordCountMapper類，該類繼承了org.apache.hadoop.mapreduce.Mapper類。WordCountMapper類是map()函數(shù)的執(zhí)行者，用戶需要根據(jù)數(shù)據(jù)處理需求重寫map()方法。創(chuàng)建WordCountMapper類Mapper類的編寫importjava.io.IOException;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Mapper;publicclassWordCountMapperextendsMapper<LongWritable,Text,Text,IntWritable>{ @Override protectedvoidmap(LongWritablekey,Textvalue,Contextcontext) throwsIOException,InterruptedException{ Stringline=value.toString();//將Text類型轉(zhuǎn)成字符型 String[]words=line.split("");//切割單詞 for(Stringword:words){//遍歷words context.write(newText(word),newIntWritable(1)); } }}WordCountMapper類的代碼如圖所示：Mapper類的編寫上述代碼中可知，WordCountMapper類使用extends關(guān)鍵字繼承了Mapper<KEYIN,VALUEIN,KEYOUT,VALUEOUT>類，其中：KEYIN：是MapTask讀取到key的數(shù)據(jù)類型，是一行的起始偏移量的數(shù)據(jù)類型，使用長整型，在MapReduce中使用LongWritable。VALUEIN：是MapTask讀取到的數(shù)據(jù)的value的類型，是一行的內(nèi)容的數(shù)據(jù)類型，本案例中一行內(nèi)容的數(shù)據(jù)類型為文本型，在MapReduce中使用Text。KEYOUT：是用戶的自定義map方法要返回的結(jié)果Key-Value中的key的數(shù)據(jù)類型，在WordCount邏輯中，需要輸出的單詞是字符型，在MapReduce中使用Text。VALUEOUT：是用戶的自定義map方法要返回的結(jié)果Key-Value中value的數(shù)據(jù)類型，在wordcount邏輯中，需要輸出的單詞數(shù)量是整數(shù)，在MapReduce中使用IntWritable。在mapreduce中，map產(chǎn)生的數(shù)據(jù)需要傳輸給reduce，需要進(jìn)行序列化和反序列化。而jdk中的原生序列化機(jī)制產(chǎn)生的數(shù)據(jù)量比較冗余，就會導(dǎo)致數(shù)據(jù)在mapreduce運(yùn)行過程中傳輸效率低下。所以，hadoop專門設(shè)計了自己的序列化機(jī)制，那么，mapreduce中傳輸?shù)臄?shù)據(jù)類型就必須實(shí)現(xiàn)hadoop自己的序列化接口。hadoop為jdk中的常用基本類型Long，String，Integer，F(xiàn)loat等數(shù)據(jù)類型封裝了自己的實(shí)現(xiàn)了hadoop序列化接口的類型：LongWritable，Text，IntWritable，F(xiàn)loatWritable。Mapper類的編寫Mapper類的編寫然后需要重寫map方法上述代碼中對map方法的重寫，可以通過快捷鍵實(shí)現(xiàn)，使用Alt+Insert組合鍵會出現(xiàn)提示，如圖所示：在生成類的各項基本方法界面中選擇OverrideMethods，出現(xiàn)可以重寫的方法，選擇重寫方法界面如圖所示：Mapper類的編寫選中要重寫的方法之后，會出現(xiàn)如圖代碼，將代碼中的super.map(key,value,context)；刪除，就可以在map()方法中編寫邏輯代碼，map()讀入進(jìn)來的數(shù)據(jù)為Text類型，要對單詞按空格進(jìn)行切分，需要將Text類型轉(zhuǎn)換為字符型，轉(zhuǎn)換代碼如下所示：Stringline=value.toString();//將Text類型轉(zhuǎn)成字符型刪除此行Mapper類的編寫其次，將讀入進(jìn)來的數(shù)據(jù)按照空格進(jìn)行切分，切分代碼如下所示：String[]words=line.split("");//切割單詞最后，需要將單詞轉(zhuǎn)換成為<單詞,1>的形式，遍歷切割完成后的單詞數(shù)組，將每個單詞都轉(zhuǎn)化成為<單詞,1>形式，代碼如下所示：for(Stringword:words){//遍歷