1、全國(guó)高校標(biāo)準(zhǔn)教材云計(jì)算姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實(shí)戰(zhàn)應(yīng)用大數(shù)據(jù)劉鵬主編張燕張重生張志立 副主編BIG DATA劉 鵬 教授，清華大學(xué)博士?，F(xiàn)任南京大數(shù)據(jù)研究院院長(zhǎng)、中國(guó)信息協(xié)會(huì)大數(shù)據(jù)分會(huì)副會(huì)長(zhǎng)、中國(guó)大數(shù)據(jù)技術(shù)與應(yīng)用聯(lián)盟副理事長(zhǎng)。 主持完成科研項(xiàng)目25項(xiàng)，發(fā)表論文80余篇，出版專業(yè)書籍15本。獲部級(jí)科技進(jìn)步二等獎(jiǎng)4項(xiàng)、三等獎(jiǎng)4項(xiàng)。主編的云計(jì)算被全國(guó)高校普遍采用，被引用量排名中國(guó)計(jì)算機(jī)圖書第一名。創(chuàng)辦了知名的中國(guó)云計(jì)算（）和中國(guó)大數(shù)據(jù)（）網(wǎng)站。 曾率隊(duì)奪得2002 PennySort國(guó)際計(jì)算機(jī)排序比賽冠軍，兩次奪得全國(guó)高校科技比賽最高獎(jiǎng)，并三次奪得清華大學(xué)科技比賽最高獎(jiǎng)。 榮獲“全軍十大學(xué)習(xí)成才

2、標(biāo)兵”（排名第一）、南京“十大杰出青年”、江蘇省中青年科學(xué)技術(shù)帶頭人、清華大學(xué)“學(xué)術(shù)新秀”等稱號(hào)。第二章數(shù)據(jù)采集與預(yù)處理2.12.2數(shù)據(jù)預(yù)處理原理2.3數(shù)據(jù)倉(cāng)庫(kù)與ETL工具習(xí)題全國(guó)高校校標(biāo)準(zhǔn)教教材云計(jì)算姊妹篇，剖析大大數(shù)據(jù)核核心技術(shù)術(shù)和實(shí)戰(zhàn)戰(zhàn)應(yīng)用大數(shù)據(jù)采采集架構(gòu)構(gòu)of4232.1大數(shù)據(jù)采集集架構(gòu)第二章數(shù)數(shù)據(jù)采采集與預(yù)預(yù)處理如今，社社會(huì)中各各個(gè)機(jī)構(gòu)構(gòu)、部門門、公司司、團(tuán)體體等正在在實(shí)時(shí)不不斷地產(chǎn)產(chǎn)生大量量的信息息，這些些信息需需要以簡(jiǎn)簡(jiǎn)單的方方式進(jìn)行行處理，同時(shí)又又要十分分準(zhǔn)確且且能迅速速滿足各各種類型型的數(shù)據(jù)據(jù)（信息息）需求求者。這這給我們們帶來(lái)了了許多挑挑戰(zhàn)，第第一個(gè)挑挑戰(zhàn)就是是在大量量的數(shù)

3、據(jù)據(jù)中收集集需要的的數(shù)據(jù)，下面介介紹常用用的大數(shù)數(shù)據(jù)采集集工具。of4242.1.1概述2.1大數(shù)據(jù)采集集架構(gòu)第二章數(shù)數(shù)據(jù)采采集與預(yù)預(yù)處理FlumeChukwaScribleKafka大數(shù)據(jù)采集工具of4252.1.2常用大數(shù)數(shù)據(jù)采集集工具數(shù)據(jù)采集集最傳統(tǒng)統(tǒng)的方式式是企業(yè)業(yè)自己的的生產(chǎn)系系統(tǒng)產(chǎn)生生的數(shù)據(jù)據(jù)，除上述生產(chǎn)產(chǎn)系統(tǒng)中中的數(shù)據(jù)據(jù)外，企企業(yè)的信信息系統(tǒng)統(tǒng)還充斥斥著大量量的用戶戶行為數(shù)數(shù)據(jù)、日日志式的的活動(dòng)數(shù)數(shù)據(jù)、事事件信息息等，越來(lái)越越多的企業(yè)業(yè)通過(guò)架架設(shè)日志志采集系系統(tǒng)來(lái)保保存這些些數(shù)據(jù)，希望通通過(guò)這些些數(shù)據(jù)獲獲取其商商業(yè)或社社會(huì)價(jià)值值。2.1大數(shù)據(jù)采集集架構(gòu)第二章數(shù)數(shù)據(jù)采采集與預(yù)預(yù)處理

4、of426在Flume中，外部部輸入稱稱為Source（源），系統(tǒng)輸輸出稱為為Sink（接收端端）。Channel（通道）把Source和Sink鏈接在一起。ApacheChukwa項(xiàng)目與Flume有些相類類似，Chukwa繼承了Hadoop的伸縮性性和魯棒棒性。也內(nèi)置一個(gè)個(gè)功能強(qiáng)強(qiáng)大的工工具箱，用于顯顯示系統(tǒng)統(tǒng)監(jiān)控和和分析結(jié)果?；ヂ?lián)網(wǎng)時(shí)時(shí)代，網(wǎng)絡(luò)爬蟲蟲也是許多多企業(yè)獲獲取數(shù)據(jù)據(jù)的一種種方式。Nutch就是網(wǎng)絡(luò)爬蟲蟲中的嬌嬌嬌者，Nutch是Apache旗下的開開源項(xiàng)目目，存在在已經(jīng)超超過(guò)10年，擁有有大量的的忠實(shí)用用戶。Flume體系架構(gòu)構(gòu)2.1大數(shù)據(jù)采集集架構(gòu)第二章數(shù)數(shù)據(jù)采采集與預(yù)預(yù)處理o

5、f4272.1.3ApacheKafka數(shù)據(jù)采集集ApacheKafka被設(shè)計(jì)成成能夠高高效地處處理大量量實(shí)時(shí)數(shù)數(shù)據(jù)，其其特點(diǎn)是是快速的的、可擴(kuò)擴(kuò)展的、分布式式的，分分區(qū)的和和可復(fù)制制的。Kafka是用Scala語(yǔ)言編寫寫的，雖雖然置身身于Java陣營(yíng)，但但其并不不遵循JMS規(guī)范。Topics（話題）：消息息的分類類名。Producers（消息發(fā)發(fā)布者）：能夠夠發(fā)布消消息到Topics的進(jìn)程。Consumers（消息接接收者）：可以以從Topics接收消息息的進(jìn)程程。Broker（代理）：組成成Kafka集群的單單個(gè)節(jié)點(diǎn)點(diǎn)?；綤afka集群的工工作流程程2.1大數(shù)據(jù)采集集架構(gòu)第二章數(shù)數(shù)據(jù)采采

6、集與預(yù)預(yù)處理of4281、TopicsTopics是消息的的分類名名（或Feed的名稱）。Kafka集群或Broker為每一個(gè)個(gè)Topic都會(huì)維護(hù)護(hù)一個(gè)分分區(qū)日志志。每一一個(gè)分區(qū)區(qū)日志是是有序的的消息序序列，消消息是連連續(xù)追加加到分區(qū)區(qū)日志上上，并且且這些消消息是不不可更改改的。2、日志區(qū)區(qū)分一個(gè)Topic可以有多多個(gè)分區(qū)區(qū)，這些些分區(qū)可可以作為為并行處處理的單單元，從從而使Kafka有能力高高效地處處理大量量數(shù)據(jù)。Topics與日志分分析2.1大數(shù)據(jù)采集集架構(gòu)第二章數(shù)數(shù)據(jù)采采集與預(yù)預(yù)處理of4293、ProducersProducers是向它們們選擇的的主題發(fā)發(fā)布數(shù)據(jù)據(jù)。生產(chǎn)產(chǎn)者可以以選擇分

7、分配某個(gè)個(gè)主題到到哪個(gè)分分區(qū)上。這可以以通過(guò)使使用循環(huán)環(huán)的方式式或通過(guò)過(guò)任何其其他的語(yǔ)語(yǔ)義分函函數(shù)來(lái)實(shí)實(shí)現(xiàn)。4、ConsumersKafka提供一種種單獨(dú)的的消費(fèi)者者抽象，此抽象象具有兩兩種模式式的特征征消費(fèi)組組：Queuing和Publish-Subscribe。5、ApacheKafka的安裝及及使用因?yàn)镵afka是處理網(wǎng)網(wǎng)絡(luò)上請(qǐng)請(qǐng)求，所所以，應(yīng)應(yīng)該為其其創(chuàng)建一一個(gè)專用用的用戶戶，這將將便于對(duì)對(duì)Kafka相關(guān)服務(wù)務(wù)的管理理，減少少對(duì)服務(wù)務(wù)器上其其他服務(wù)務(wù)的影響響。2.1大數(shù)據(jù)采集集架構(gòu)第二章數(shù)數(shù)據(jù)采采集與預(yù)預(yù)處理of4210使用useradd命令來(lái)創(chuàng)創(chuàng)建一個(gè)個(gè)Kafka用戶：$sudo u

8、seraddkafkam使用passwd命令來(lái)設(shè)設(shè)置其密密碼：$sudopasswdkafaka接下來(lái)把把kafaka用戶添加加到sudo管理組，以便kafaka用戶具有有安裝ApacheKafka依賴庫(kù)的的權(quán)限。這里使使用adduser命令來(lái)進(jìn)進(jìn)行添加加：$sudo adduserkafkasudo這時(shí)就可可以使用用kafka賬戶了。 切換換用戶可可以使用用su命令：$su- kafka在ApacheKafka安裝所依依賴的軟軟件包前前，最好好更新一一下apt管理程序序的軟件件列表：$sudoapt-get updateApacheKafka需要Java運(yùn)行環(huán)境境，這里里使用apt-get命

9、令安裝裝default-jre包，然后后安裝Java運(yùn)行環(huán)境境：$sudoapt-get installdefault-jre通過(guò)下面面的命令令測(cè)試一一下Java運(yùn)行環(huán)境境是否安安裝成功功，并查查看Java的版本信信息：$java-version2.1大數(shù)據(jù)采集集架構(gòu)第二章數(shù)數(shù)據(jù)采采集與預(yù)預(yù)處理of4211機(jī)器有如如下顯示示：2.1大數(shù)據(jù)采集集架構(gòu)第二章數(shù)數(shù)據(jù)采采集與預(yù)預(yù)處理of42122.1大數(shù)據(jù)采集集架構(gòu)第二章數(shù)數(shù)據(jù)采采集與預(yù)預(yù)處理of42132.1大數(shù)據(jù)采集集架構(gòu)第二章數(shù)數(shù)據(jù)采采集與預(yù)預(yù)處理of42142.1大數(shù)據(jù)采集集架構(gòu)第二章數(shù)數(shù)據(jù)采采集與預(yù)預(yù)處理of42156、使用Java來(lái)編寫K

10、afka的實(shí)例首先，編編寫KafkaPperties文件：zk.connect=localhost:2181broker.list=localhost:9092serializer.class=kafka.serializer.StringEncoderrequest.required.acks=1下面的代代碼是使使用Java編寫了一一個(gè)Kafka消息發(fā)布布者：importkafka.ducer.Producer;ducer.KeyedMessage;ducer.ProducerConfig;publicclassMyKafkaPro

11、ducer private Producerproducer;private final Stringtopic;publicMyKafkaProducer(Stringtopic)throws ExceptionInputStreamin= Properties.class.getResourceAsStream(KafkaPperties);Properties props =new Properties();props.load(in);ProducerConfigconfig=newProducerConfig(props);producer= newProducer(config);

12、publicvoidsendMessage(Stringmsg)KeyedMessage data=newKeyedMessage(topic, msg);producer.send(data);producer.close();publicstatic voidmain(Stringargs)throwsExceptionMyKafkaProducerproducer=newMyKafkaProducer(HelloTopic);Stringmsg =Hello Kafka!;producer.sendMessage(msg);2.1大數(shù)據(jù)采集集架構(gòu)第二章數(shù)數(shù)據(jù)采采集與預(yù)預(yù)處理of4216下

13、面創(chuàng)建建Comsumer，首先編編寫KafkaProperties文件：zk.connect=localhost:2181group.id=testgroupzookeeper.session.timeout.ms =500zookeeper.sync.time.ms=250erval.ms=1000上述參數(shù)數(shù)配置，十分容容易理解解，具體體的詳細(xì)細(xì)說(shuō)明，可以參參考Kafka的官方文文檔。下下面的代代碼是使使用Java編寫了一一個(gè)Kafka的Comsumer。importjava.io.InputStream;importjava.util.HashMap;importjava.util.Lis

14、t;importjava.util.Map;importjava.util.Properties;importkafka.consumer.ConsumerConfig;importkafka.consumer.ConsumerIterator;importkafka.consumer.KafkaStream;importkafka.javaapi.consumer.ConsumerConnector;importkafka.consumer.Consumer;publicclassMyKafkaConsumer private final ConsumerConnector consumer

15、;private final Stringtopic;publicMyKafkaConsumer(Stringtopic)throws ExceptionInputStreamin= Properties.class.getResourceAsStream(KafkaPperties);Properties props =new Properties();props.load(in);ConsumerConfigconfig=newConsumerConfig(props);consumer= Consumer.createJavaConsumerConnector(config);this.

16、topic =topic;publicvoidconsumeMessage() Map topicMap =new HashMap();topicMap.put(topic, newInteger(1);MapString,ListKafkaStream consumerStreamsMap=consumer.createMessageStreams(topicMap);ListKafkaStreamstreamList=consumerStreamsMap.get(topic);for(final KafkaStreamstream:streamList)ConsumerIteratorco

17、nsumerIte=stream.iterator();while(consumerIte.hasNext()System.out.println(message:+ newString(consumerIte.next().message();if(consumer!=null)consumer.shutdown();publicstatic voidmain(Stringargs)throwsExceptionStringgroupId= testgroup;Stringtopic=HelloTopic;MyKafkaConsumerconsumer=newMyKafkaConsumer(

18、topic);consumer.consumeMessage();第二章數(shù)據(jù)采集與預(yù)處理2.12.2數(shù)據(jù)預(yù)處理原理2.3數(shù)據(jù)倉(cāng)庫(kù)與ETL工具習(xí)題全國(guó)高校校標(biāo)準(zhǔn)教教材云計(jì)算姊妹篇，剖析大大數(shù)據(jù)核核心技術(shù)術(shù)和實(shí)戰(zhàn)戰(zhàn)應(yīng)用大數(shù)據(jù)采采集架構(gòu)構(gòu)of42172.2數(shù)據(jù)預(yù)處處理原理理第二章數(shù)數(shù)據(jù)采采集與預(yù)預(yù)處理通過(guò)數(shù)據(jù)據(jù)預(yù)處理理工作，可可以使殘殘缺的數(shù)數(shù)據(jù)完整整，并將將錯(cuò)誤的的數(shù)據(jù)糾糾正、多多余的數(shù)數(shù)據(jù)去除除，進(jìn)而而將所需需的數(shù)據(jù)據(jù)挑選出出來(lái)，并并且進(jìn)行行數(shù)據(jù)集集成。數(shù)數(shù)據(jù)預(yù)處處理的常常見方法法有數(shù)據(jù)據(jù)清洗、數(shù)據(jù)集集成與數(shù)數(shù)據(jù)變換換。of42182.2數(shù)據(jù)預(yù)處處理原理理第二章數(shù)數(shù)據(jù)采采集與預(yù)預(yù)處理填 充缺 失

19、值數(shù)據(jù)屬性性分為數(shù)數(shù)值屬性性和非數(shù)數(shù)值屬性性進(jìn)行處處理，通通過(guò)利用用已存數(shù)數(shù)據(jù)的多多數(shù)信息息來(lái)推測(cè)測(cè)缺失值值數(shù)據(jù)屬性分為為數(shù)值屬屬性和非非數(shù)值屬屬性進(jìn)行行處理，通過(guò)利利用已存存數(shù)據(jù)的的多數(shù)信信息來(lái)推推測(cè)缺失失值大量采用用同一屬屬性值，可能會(huì)誤導(dǎo)挖挖掘程序序得出有有偏差甚甚至錯(cuò)誤誤的結(jié)論論數(shù)據(jù)偏離的問(wèn)題小，但該方方法十分分費(fèi)時(shí),不具備實(shí)實(shí)際的可操作性性通常當(dāng)在缺少少類標(biāo)號(hào)號(hào)時(shí)，通通過(guò)這樣樣的方法法來(lái)填補(bǔ)補(bǔ)缺失值值利用均值值替換缺缺失值忽略元組人工填寫缺失值使用一個(gè)全局常量填充缺失值用屬性的均值填充缺失值用同類樣樣本的屬屬性均值值填充缺缺失值使用最可可能的值值填充缺缺失值of42192.2.1數(shù)據(jù)

20、清洗洗2.2數(shù)據(jù)預(yù)處處理原理理第二章數(shù)數(shù)據(jù)采采集與預(yù)預(yù)處理of4220分箱方法通過(guò)考察某一數(shù)據(jù)周圍數(shù)據(jù)的值，即“近鄰”來(lái)光滑有序數(shù)據(jù)的值。分箱01回歸02光滑數(shù)據(jù)可以通過(guò)一個(gè)函數(shù)擬合數(shù)據(jù)來(lái)實(shí)現(xiàn)。線性回歸的目標(biāo)就是查找擬合兩個(gè)屬性的“最佳”線，使得其中一個(gè)屬性可以用于預(yù)測(cè)出另一個(gè)屬性。聚類03離群點(diǎn)可通過(guò)聚類進(jìn)行檢測(cè)，將類似的值組織成群或簇，離群點(diǎn)即為落在簇集合之外的值。許多數(shù)據(jù)光滑的方法也是涉及離散化的數(shù)據(jù)歸約方法。噪聲是被被測(cè)量的的變量的的隨機(jī)誤誤差或方方差。給給定一個(gè)個(gè)數(shù)值屬屬性，如如何才能能使數(shù)據(jù)據(jù)“光滑滑”，去去掉噪聲聲？下面面給出數(shù)數(shù)據(jù)光滑滑技術(shù)的的具體內(nèi)內(nèi)容。2.2數(shù)據(jù)預(yù)處處理原理

21、理第二章數(shù)數(shù)據(jù)采采集與預(yù)預(yù)處理of4221數(shù)據(jù)清洗洗可以視視為一個(gè)個(gè)過(guò)程，包括檢檢測(cè)偏差差與糾正正偏差兩兩個(gè)步驟驟：2糾正偏差1檢查偏差可以使用用已有的的關(guān)于數(shù)數(shù)據(jù)性質(zhì)質(zhì)的知識(shí)識(shí)發(fā)現(xiàn)噪噪聲、離離群點(diǎn)和和需要考考察的不不尋常的的值。這這種知識(shí)識(shí)或“關(guān)關(guān)于數(shù)據(jù)據(jù)的數(shù)據(jù)據(jù)”稱為為元數(shù)據(jù)據(jù)。即一旦發(fā)發(fā)現(xiàn)偏差差，通常常需要定定義并使使用一系系列的變變換來(lái)糾糾正它們們。但這這些工具具只支持持有限的的變換，因此，常?？煽赡苄枰獮閿?shù)據(jù)據(jù)清洗過(guò)過(guò)程的這這一步編編寫定制制的程序序。2.2數(shù)據(jù)預(yù)處處理原理理第二章數(shù)數(shù)據(jù)采采集與預(yù)預(yù)處理（1）模式集集成和對(duì)對(duì)象匹配配問(wèn)題（2）冗余問(wèn)題（3）元組重復(fù)（4）數(shù)據(jù)值值沖突

22、的的檢測(cè)與與處理問(wèn)問(wèn)題數(shù)據(jù)挖掘掘經(jīng)常需需要數(shù)據(jù)據(jù)集成合合并來(lái)自自多個(gè)數(shù)數(shù)據(jù)存儲(chǔ)儲(chǔ)的數(shù)據(jù)據(jù)。數(shù)據(jù)據(jù)還可能能需要變變換成適適于挖掘掘的形式式。數(shù)據(jù)據(jù)分析任任務(wù)多半半涉及數(shù)數(shù)據(jù)集成成。問(wèn)題of42222.2.2數(shù)據(jù)集成成2.2數(shù)據(jù)預(yù)處處理原理理第二章數(shù)數(shù)據(jù)采采集與預(yù)預(yù)處理1、光滑。去除數(shù)數(shù)據(jù)中的的噪聲2、聚集。對(duì)數(shù)據(jù)據(jù)進(jìn)行匯匯總或聚聚集。3、數(shù)據(jù)泛化。使使用概念念分層，用高層層概念替替換低層層或“原始始”數(shù)據(jù)4、規(guī)范化。將屬性性數(shù)據(jù)按按比例縮縮放，使使之落入入一個(gè)小的特定區(qū)間間5、屬性構(gòu)造。可以構(gòu)造造新的屬屬性并添添加到屬屬性集中中，以幫幫助挖掘掘過(guò)程of42232.2.3數(shù)據(jù)變換換數(shù)據(jù)變換換的目的

23、的是將數(shù)數(shù)據(jù)變換換或統(tǒng)一一成適合合挖掘的的形式。數(shù)據(jù)變變換主要要涉及以以下內(nèi)容容：第二章數(shù)據(jù)采集與預(yù)處理2.12.2數(shù)據(jù)預(yù)處理原理2.3數(shù)據(jù)倉(cāng)庫(kù)與ETL工具習(xí)題全國(guó)高校校標(biāo)準(zhǔn)教教材云計(jì)算姊妹篇，剖析大大數(shù)據(jù)核核心技術(shù)術(shù)和實(shí)戰(zhàn)戰(zhàn)應(yīng)用大數(shù)據(jù)采采集架構(gòu)構(gòu)of42242.3數(shù)據(jù)倉(cāng)庫(kù)與ETL工具第二章數(shù)數(shù)據(jù)采采集與預(yù)預(yù)處理數(shù)據(jù)倉(cāng)庫(kù)中的的數(shù)據(jù)來(lái)來(lái)自于多多種業(yè)務(wù)務(wù)數(shù)據(jù)源源，這些些數(shù)據(jù)源源可能處處于不同同硬件平平臺(tái)上，使用不不同的操操作系統(tǒng)統(tǒng)，數(shù)據(jù)據(jù)模型也也相差很很遠(yuǎn)。如何獲取取并向數(shù)數(shù)據(jù)倉(cāng)庫(kù)庫(kù)加載這這些數(shù)據(jù)據(jù)量大、種類多多的數(shù)據(jù)據(jù)，已成成為建立立數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)所面面臨的一一個(gè)關(guān)鍵鍵問(wèn)題。of42252.3.1數(shù)

24、據(jù)倉(cāng)庫(kù)庫(kù)與ETL工具具數(shù)據(jù)倉(cāng)庫(kù)庫(kù)，是在在企業(yè)管管理和決決策中面面向主題題的、集集成的、隨時(shí)間間變化的的、非易易失性數(shù)數(shù)據(jù)的集集合。2.3數(shù)據(jù)倉(cāng)庫(kù)與ETL工具第二章數(shù)數(shù)據(jù)采采集與預(yù)預(yù)處理如何獲取取并向數(shù)數(shù)據(jù)倉(cāng)庫(kù)庫(kù)加載數(shù)數(shù)據(jù)量大大、種類類多的數(shù)數(shù)據(jù)，一一般要使使用專業(yè)業(yè)的數(shù)據(jù)據(jù)抽取、轉(zhuǎn)換和和裝載工工具，這這些工具具合并起起來(lái)被稱稱為ETL（Extract-Transform-Load）。Informatica PowerCenter常用ETL工具IBMDatastageWarehouse Builder（OWB）Oracle Data Integrator（ODI）Microsoft SQLServer In