Map和Reduce函數(shù)2學(xué)習(xí)任務(wù)初步了解MapReduce框架初步探索Mapper和Reduce函數(shù)3知識(shí)目標(biāo)什么是MapReduce模型Mapper函數(shù)與Reduce函數(shù)的關(guān)系01能力目標(biāo)了解MapReduce模型了解Mapper函數(shù)與Reduce函數(shù)02學(xué)習(xí)目標(biāo)4目錄01MapReduce原理02Mapper函數(shù)介紹03Reduce函數(shù)介紹5MapReduce原理MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。概念"Map（映射）"和"Reduce（歸約）"，是它們的主要思想，都是從函數(shù)式編程語言里借來的，還有從矢量編程語言里借來的特性。它極大地方便了編程人員在不會(huì)分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)上。當(dāng)前的軟件實(shí)現(xiàn)是指定一個(gè)Map（映射）函數(shù)，用來把一組鍵值對(duì)映射成一組新的鍵值對(duì)，指定并發(fā)的Reduce（歸約）函數(shù)，用來保證所有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組。6MapReduce原理Map先從HDFS上讀取不同的文件，然后對(duì)其進(jìn)行map操作，生成一個(gè)個(gè)帶有標(biāo)簽的數(shù)據(jù)塊；帶有相同標(biāo)簽（key）的數(shù)據(jù)塊，會(huì)被分配到同一個(gè)Reduce上進(jìn)行操作，從而得到最終結(jié)果，并將最終結(jié)果寫回HDFS。7MapReduce原理輸入文件使一串字符串，是不自帶分區(qū)的文件，而是文本文件，所以多了一個(gè)拆分的步驟。隨后來對(duì)分割的文本進(jìn)行Map階段的操作，其分發(fā)的標(biāo)簽（key）是單詞本身，分發(fā)的內(nèi)容是每一段文本里出現(xiàn)該單詞的數(shù)量。接下來會(huì)進(jìn)行一個(gè)分發(fā)操作，即相同標(biāo)簽（key）的數(shù)據(jù)會(huì)被收集到一起。Reduce對(duì)收集之后分配過來的數(shù)據(jù)進(jìn)行處理，最終結(jié)果匯總，就是單詞計(jì)數(shù)的結(jié)果。Wordcount執(zhí)行流程8MapReduce原理Wordcount執(zhí)行流程9Mappper函數(shù)介紹Mapper在執(zhí)行的過程中需傳入的四個(gè)參數(shù)：輸入輸出類型為泛型。內(nèi)部實(shí)現(xiàn)首先聲明了類Context，傳遞了四個(gè)泛型，分別是輸入的key類型、輸入的value類型、輸出的key類型、輸出的value類型。Mapper函數(shù)定義了四個(gè)方法：setup：定義Map的啟動(dòng)工作，比如讀入一些配置、進(jìn)行一些變量的初始化等map：定義實(shí)際的mapper階段功能，比如數(shù)據(jù)讀入、處理、打標(biāo)簽、分發(fā)等cleanup：定義mapper階段之后收尾工作，比如多路輸出等。run：實(shí)際執(zhí)行程序的方法，先調(diào)用setup完成啟動(dòng)工作，然后調(diào)用map完成實(shí)際的mapper階段功能，在所有map工作都完成之后，調(diào)用cleanup完成收尾工作。Mapper函數(shù)的執(zhí)行流程10Mappper函數(shù)介紹Mapper函數(shù)的執(zhí)行流程publicclassMapper<KEYIN,VALUEIN,KEYOUT,VALUEOUT>{publicabstractclassContextimplementsMapContext<KEYIN,VALUEIN,KEYOUT,VALUEOUT>{}setup(Contextcontext){}map(KEYINkey,VALUEINvalue,Contextcontext) {context.write((KEYOUT)key,(VALUEOUT)value);}cleanup(Contextcontext){}run(Contextcontext){setup(context);try{

map(context.getCurrentKey(),context.getCurrentValue().context);}finally{cleanup(context); }}}11Mappper函數(shù)介紹導(dǎo)入依賴包，java自帶IO異常包，MapReduce中的IO包，MapReduce中的Mapper包。Mapper函數(shù)的實(shí)現(xiàn)過程定義類，需要繼承Mapper類，并指明4個(gè)10泛型（key-in,value-in,key-out,value-out)。importjava,io.IOException;importorg.apache.hadoop.io,Text;importorg,apache.hadoop,mapreduce.Mapper;publicclassMiniTestMapperextendsMapper<Text,Text,Text,Text>{}定義兩個(gè)out變量：key-out、value-out。publicTextwrite_key=newText();publicTextwrite_value=newText();12Mappper函數(shù)介紹覆寫基類的map函數(shù)，指明3個(gè)參數(shù)（key-in,value-in,context)。Mapper函數(shù)的實(shí)現(xiàn)過程設(shè)置map寫的（key,value)。@Overrideprotectedvoidmap(Textkey,Textvalue,Contextcontext) throwsIOException,InterruptedException{｝write_key.set(key);write_value.set(value);使用context.write方法將結(jié)果寫到本地。context_write(write_key,write_value);13Reduce函數(shù)介紹Reduce在執(zhí)行的過程中需傳入的四個(gè)參數(shù)：輸入輸出類型為泛型。內(nèi)部實(shí)現(xiàn)首先聲明了類Context，傳遞了四個(gè)泛型，分別是輸入的key類型、輸入的value類型、輸出的key類型、輸出的value類型。Reduce函數(shù)定義了四個(gè)方法：setup：定義Reduce的啟動(dòng)工作，比如讀入一些配置、進(jìn)行一些變量的初始化等reduce：定義實(shí)際的Reducer階段功能，比如數(shù)據(jù)讀入、處理、打標(biāo)簽、分發(fā)等cleanup：定義mapper階段之后收尾工作，比如多路輸出等。run：實(shí)際執(zhí)行程序的方法，先調(diào)用setup完成啟動(dòng)工作，然后調(diào)用reduce完成實(shí)際的Reducer階段功能，在所有reduce工作都完成之后，調(diào)用cleanup完成收尾工作。Reduce函數(shù)的執(zhí)行流程14Reduce函數(shù)介紹Reduce函數(shù)的執(zhí)行流程publicclassReduce{publicabstractclassContextimplementsReduceContext<KEYIN,VALUEIN,KEYOUT,VALUEOUT>{}setup(Contextcontext){}

reduce(KEYINkey,VALUEINvalue,Contextcontext) {context.write((KEYOUT)key,(VALUEOUT)value);}cleanup(Contextcontext){}run(Contextcontext){setup(context);try{reduce(context.getCurrentKey(),context.getCurrentValue().context);}finally{cleanup(context); }}}15Reduce函數(shù)介紹導(dǎo)入依賴包，java自帶IO異常包，MapReduce中的IO包，MapReduce中的Mapper包。Reduce函數(shù)的實(shí)現(xiàn)過程定義類，需要繼承Mapper類，并指明4個(gè)10泛型（key-in,value-in,key-out,value-out)。importjava,io.IOException;importorg.apache.hadoop.io,Text;importorg,apache.hadoop,mapreduce.Mapper;publicclassMiniTestMapperextendsMapper<Text,Text,Text,Text>{}定義兩個(gè)out變量：key-out、value-out。publicTextwrite_key=newText();publicTextwrite_value=newText();16Reduce函數(shù)介紹覆寫基類的reduce函數(shù)，指明3個(gè)參數(shù)（key-in,value-in,context)。Reduce函數(shù)的實(shí)現(xiàn)過程設(shè)置reduce寫的（key,value)。@Overrideprotectedvoidreduce(Textkey,Textvalue,Contextcontext) t