1、大數(shù)據(jù)時(shí)代,班級(jí):電信111,大數(shù)據(jù)簡(jiǎn)介,數(shù)據(jù)正在迅速膨脹并變大，它決定著企業(yè)的未來(lái)發(fā)展，雖然很多企業(yè)可能并沒(méi)有意識(shí)到數(shù)據(jù)爆炸性增長(zhǎng)帶來(lái)問(wèn)題的隱患，但是隨著時(shí)間的推移，人們將越來(lái)越多的意識(shí)到數(shù)據(jù)對(duì)企業(yè)的重要性。 哈佛大學(xué)社會(huì)學(xué)教授加里金說(shuō)：“這是一場(chǎng)革命，龐大的數(shù)據(jù)資源使得各個(gè)領(lǐng)域開(kāi)始了量化進(jìn)程，無(wú)論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開(kāi)始這種進(jìn)程。”,大數(shù)據(jù)簡(jiǎn)介,隨著云時(shí)代的來(lái)臨，大數(shù)據(jù)（Big data）也吸引了越來(lái)越多的關(guān)注。大數(shù)據(jù)分析常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要像MapReduce（分布式計(jì)算）一樣的框架來(lái)向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。 大數(shù)據(jù)到底有多大？一

2、組名為“互聯(lián)網(wǎng)上一天”的數(shù)據(jù)告訴我們，一天之中，互聯(lián)網(wǎng)產(chǎn)生的全部?jī)?nèi)容可以刻滿1.68億張DVD；發(fā)出的郵件有2940億封之多（相當(dāng)于美國(guó)兩年的紙質(zhì)信件數(shù)量）；發(fā)出的社區(qū)帖子達(dá)200萬(wàn)個(gè)（相當(dāng)于時(shí)代雜志770年的文字量）；賣(mài)出的手機(jī)為37.8萬(wàn)臺(tái) 這樣的趨勢(shì)會(huì)持續(xù)下去。我們現(xiàn)在還處于所謂“物聯(lián)網(wǎng)”的最初級(jí)階段，而隨著技術(shù)成熟，我們的設(shè)備、交通工具和迅速發(fā)展的“可穿戴”科技將能互相連接與溝通?？萍嫉倪M(jìn)步已經(jīng)使創(chuàng)造、捕捉和管理信息的成本降至2005年的六分之一，而從2005年起，用在硬件、軟件、人才及服務(wù)之上的商業(yè)投資也增長(zhǎng)了整整50%，達(dá)到了4000億美元。,四個(gè)特征,數(shù)據(jù)量大（Volume） 第

3、一個(gè)特征是數(shù)據(jù)量大。大數(shù)據(jù)的起始計(jì)量單位至少是P（1000個(gè)T）、E（100萬(wàn)個(gè)T）或Z（10億個(gè)T）。 類型繁多（Variety） 第二個(gè)特征是數(shù)據(jù)類型繁多。包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等，多類型的數(shù)據(jù)對(duì)數(shù)據(jù)的處理能力提出了更高的要求。 價(jià)值密度低（Value） 第三個(gè)特征是數(shù)據(jù)價(jià)值密度相對(duì)較低。如隨著物聯(lián)網(wǎng)的廣泛應(yīng)用，信息感知無(wú)處不在，信息海量，但價(jià)值密度較低，如何通過(guò)強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”，是大數(shù)據(jù)時(shí)代亟待解決的難題。 速度快時(shí)效高（Velocity） 第四個(gè)特征是處理速度快，時(shí)效性要求高。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。,大數(shù)據(jù)分析與處

4、理方法介紹,眾所周知，大數(shù)據(jù)已經(jīng)不簡(jiǎn)簡(jiǎn)單單是數(shù)據(jù)大的事實(shí)了，而最重要的現(xiàn)實(shí)是對(duì)大數(shù)據(jù)進(jìn)行分析，只有通過(guò)分析才能獲取很多智能的，深入的，有價(jià)值的信息。那么越來(lái)越多的應(yīng)用涉及到大數(shù)據(jù)，而這些大數(shù)據(jù)的屬性，包括數(shù)量，速度，多樣性等等都是呈現(xiàn)了大數(shù)據(jù)不斷增長(zhǎng)的復(fù)雜性，所以大數(shù)據(jù)的分析方法在大數(shù)據(jù)領(lǐng)域就顯得尤為重要，可以說(shuō)是決定最終信息是否有價(jià)值的決定性因素。,大數(shù)據(jù)分析的五個(gè)基本方面,1. Analytic Visualizations（可視化分析） 不管是對(duì)數(shù)據(jù)分析專家還是普通用戶，數(shù)據(jù)可視化是數(shù)據(jù)分析工具最基本的要求?？梢暬梢灾庇^的展示數(shù)據(jù)，讓數(shù)據(jù)自己說(shuō)話，讓觀眾聽(tīng)到結(jié)果。 2. Data Mi

5、ning Algorithms（數(shù)據(jù)挖掘算法） 可視化是給人看的，數(shù)據(jù)挖掘就是給機(jī)器看的。集群、分割、孤立點(diǎn)分析還有其他的算法讓我們深入數(shù)據(jù)內(nèi)部，挖掘價(jià)值。這些算法不僅要處理大數(shù)據(jù)的量，也要處理大數(shù)據(jù)的速度。 3. Predictive Analytic Capabilities（預(yù)測(cè)性分析能力） 數(shù)據(jù)挖掘可以讓分析員更好的理解數(shù)據(jù)，而預(yù)測(cè)性分析可以讓分析員根據(jù)可視化分析和數(shù)據(jù)挖掘的結(jié)果做出一些預(yù)測(cè)性的判斷。,大數(shù)據(jù)分析的五個(gè)基本方面,4. Semantic Engines（語(yǔ)義引擎） 我們知道由于非結(jié)構(gòu)化數(shù)據(jù)的多樣性帶來(lái)了數(shù)據(jù)分析的新的挑戰(zhàn)，我們需要一系列的工具去解析，提取，分析數(shù)據(jù)。語(yǔ)義引

6、擎需要被設(shè)計(jì)成能夠從“文檔”中智能提取信息。 5. Data Quality and Master Data Management（數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理） 數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理是一些管理方面的最佳實(shí)踐。通過(guò)標(biāo)準(zhǔn)化的流程和工具對(duì)數(shù)據(jù)進(jìn)行處理，可以保證一個(gè)預(yù)先定義好的高質(zhì)量的分析結(jié)果。,大數(shù)據(jù)處理,周濤博士說(shuō)：大數(shù)據(jù)處理數(shù)據(jù)時(shí)代理念的三大轉(zhuǎn)變：要全體不要抽樣，要效率不要絕對(duì)精確，要相關(guān)不要因果。 具體的大數(shù)據(jù)處理方法其實(shí)有很多，但是根據(jù)長(zhǎng)時(shí)間的實(shí)踐，此處總結(jié)了一個(gè)基本的大數(shù)據(jù)處理流程。整個(gè)處理流程可以概括為四步，分別是采集、導(dǎo)入和預(yù)處理、統(tǒng)計(jì)和分析，以及挖掘。 采集： 大數(shù)據(jù)的采集是指利用多個(gè)數(shù)據(jù)庫(kù)來(lái)

7、接收發(fā)自客戶端（Web、App或者傳感器形式等）的數(shù)據(jù)，并且用戶可以通過(guò)這些數(shù)據(jù)庫(kù)來(lái)進(jìn)行簡(jiǎn)單的查詢和處理工作。比如，電商會(huì)使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)MySQL和Oracle等來(lái)存儲(chǔ)每一筆事務(wù)數(shù)據(jù)，除此之外，Redis和MongoDB這樣的NoSQL數(shù)據(jù)庫(kù)也常用于數(shù)據(jù)的采集。在大數(shù)據(jù)的采集過(guò)程中，其主要特點(diǎn)和挑戰(zhàn)是并發(fā)數(shù)高，因?yàn)橥瑫r(shí)有可能會(huì)有成千上萬(wàn)的用戶來(lái)進(jìn)行訪問(wèn)和操作，比如火車(chē)票售票網(wǎng)站和淘寶，它們并發(fā)的訪問(wèn)量在峰值時(shí)達(dá)到上百萬(wàn)，所以需要在采集端部署大量數(shù)據(jù)庫(kù)才能支撐。并且如何在這些數(shù)據(jù)庫(kù)之間進(jìn)行負(fù)載均衡和分片的確是需要深入的思考和設(shè)計(jì)。,大數(shù)據(jù)處理,導(dǎo)入/預(yù)處理： 雖然采集端本身會(huì)有很多數(shù)據(jù)庫(kù)

8、，但是如果要對(duì)這些海量數(shù)據(jù)進(jìn)行有效的分析，還是應(yīng)該將這些來(lái)自前端的數(shù)據(jù)導(dǎo)入到一個(gè)集中的大型分布式數(shù)據(jù)庫(kù)，或者分布式存儲(chǔ)集群，并且可以在導(dǎo)入基礎(chǔ)上做一些簡(jiǎn)單的清洗和預(yù)處理工作。導(dǎo)入與預(yù)處理過(guò)程的特點(diǎn)和挑戰(zhàn)主要是導(dǎo)入的數(shù)據(jù)量大，每秒鐘的導(dǎo)入量經(jīng)常會(huì)達(dá)到百兆，甚至千兆級(jí)別。 統(tǒng)計(jì)/分析： 統(tǒng)計(jì)與分析主要利用分布式數(shù)據(jù)庫(kù)，或者分布式計(jì)算集群來(lái)對(duì)存儲(chǔ)于其內(nèi)的海量數(shù)據(jù)進(jìn)行普通的分析和分類匯總等，以滿足大多數(shù)常見(jiàn)的分析需求，在這方面，一些實(shí)時(shí)性需求會(huì)用到EMC 的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存儲(chǔ)Infobright等，而一些批處理，或者基于半結(jié)構(gòu)化數(shù)據(jù)的需求可以

9、使用Hadoop。統(tǒng)計(jì)與分析這部分的主要特點(diǎn)和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對(duì)系統(tǒng)資源，特別是I/O會(huì)有極大的占用。,大數(shù)據(jù)處理,挖掘： 與前面統(tǒng)計(jì)和分析過(guò)程不同的是，數(shù)據(jù)挖掘一般沒(méi)有什么預(yù)先設(shè)定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進(jìn)行基于各種算法的計(jì)算，從而起到預(yù)測(cè)（Predict）的效果，從而實(shí)現(xiàn)一些高級(jí)別數(shù)據(jù)分析的需求。比較典型算法有用于聚類的K-Means、用于統(tǒng)計(jì)學(xué)習(xí)的SVM和用于分類的Naive Bayes，主要使用的工具有Hadoop的Mahout等。 該過(guò)程的特點(diǎn)和挑戰(zhàn)主要是用于挖掘的算法很復(fù)雜，并且計(jì)算涉及的數(shù)據(jù)量和計(jì)算量都很大，還有，常用數(shù)據(jù)挖掘算法都以單線程為主。,處理和分析工具

10、,用于分析大數(shù)據(jù)的工具主要有開(kāi)源與商用兩個(gè)生態(tài)圈。 開(kāi)源大數(shù)據(jù)生態(tài)圈： 1、Hadoop HDFS、HadoopMapReduce, HBase、Hive 漸次誕生，早期Hadoop生態(tài)圈逐步形成。 2、. Hypertable是另類。它存在于Hadoop生態(tài)圈之外，但也曾經(jīng)有一些用戶。 3、NoSQL，membase、MongoDB 商用大數(shù)據(jù)生態(tài)圈： 1、一體機(jī)數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù)：IBM PureData(Netezza), OracleExadata, SAP Hana等等。 2、數(shù)據(jù)倉(cāng)庫(kù)：TeradataAsterData, EMC GreenPlum, HPVertica 等等。 3、

11、數(shù)據(jù)集市：QlikView、 Tableau 、 以及國(guó)內(nèi)的Yonghong Data Mart 。,處理和分析工具Hadoop,據(jù)IDC的預(yù)測(cè)，全球大數(shù)據(jù)市場(chǎng)2015年將達(dá)170億美元規(guī)模，市場(chǎng)發(fā)展前景很大。而Hadoop作為新一代的架構(gòu)和技術(shù)，因?yàn)橛欣诓⑿蟹植继幚?“大數(shù)據(jù)”而備受重視。 Apache Hadoop 是一個(gè)用java語(yǔ)言實(shí)現(xiàn)的軟件框架，在由大量計(jì)算機(jī)組成的集群中運(yùn)行海量數(shù)據(jù)的分布式計(jì)算，它可以讓?xiě)?yīng)用程序支持上千個(gè)節(jié)點(diǎn)和PB級(jí)別的數(shù)據(jù)。 Hadoop是項(xiàng)目的總稱，主要是由分布式存儲(chǔ)（HDFS）、分布式計(jì)算（MapReduce）等組成 。 優(yōu)點(diǎn)： 可擴(kuò)展：不論是存儲(chǔ)的可擴(kuò)展還

12、是計(jì)算的可擴(kuò)展都是Hadoop的設(shè)計(jì)根本。 經(jīng)濟(jì)：框架可以運(yùn)行在任何普通的PC上。 可靠：分布式文件系統(tǒng)的備份恢復(fù)機(jī)制以及MapReduce的任務(wù)監(jiān)控保證了分布式處理的可靠性。 高效：分布式文件系統(tǒng)的高效數(shù)據(jù)交互實(shí)現(xiàn)以及MapReduce結(jié)合Local Data處理的模式，為高效處理海量的信息作了基礎(chǔ)準(zhǔn)備。,處理和分析工具Hadoop,Hadoop原本來(lái)自于谷歌一款名為MapReduce的編程模型包。谷歌的MapReduce框架可以把一個(gè)應(yīng)用程序分解為許多并行計(jì)算指令，跨大量的計(jì)算節(jié)點(diǎn)運(yùn)行非常巨大的數(shù)據(jù)集。使用該框架的一個(gè)典型例子就是在網(wǎng)絡(luò)數(shù)據(jù)上運(yùn)行的搜索算法。 Hadoop實(shí)現(xiàn)了一個(gè)分布式文

13、件系統(tǒng)（Hadoop Distributed File System），簡(jiǎn)稱HDFS。HDFS有高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問(wèn)（streaming access）文件系統(tǒng)中的數(shù)據(jù)。 Hadoop的框架最核心的設(shè)計(jì)就是：HDFS和MapReduce.HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，則MapReduce為海量的數(shù)據(jù)提供了計(jì)算。,MapReduce,HDFS,H

14、Base,Pig,ChuKwa,Hive,ZooKeeper,Hadoop體系架構(gòu),Pig是一個(gè)基于Hadoop的大規(guī)模數(shù)據(jù)分析平臺(tái)，Pig為復(fù)雜的海量數(shù)據(jù)并行計(jì)算提供了一個(gè)簡(jiǎn)易的操作和編程接口 Chukwa是基于Hadoop的集群監(jiān)控系統(tǒng)，由yahoo貢獻(xiàn) hive是基于Hadoop的一個(gè)工具，提供完整的sql查詢功能，可以將sql語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行 ZooKeeper：高效的，可擴(kuò)展的協(xié)調(diào)系統(tǒng),存儲(chǔ)和協(xié)調(diào)關(guān)鍵共享狀態(tài) HBase是一個(gè)開(kāi)源的，基于列存儲(chǔ)模型的分布式數(shù)據(jù)庫(kù) HDFS是一個(gè)分布式文件系統(tǒng)。有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的硬件上，適合那些有著超大

15、數(shù)據(jù)集的應(yīng)用程序 MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算,HDFS分布式文件系統(tǒng),NameNode 可以看作是分布式文件系統(tǒng)中的管理者，存儲(chǔ)文件系統(tǒng)的meta-data，主要負(fù)責(zé)管理文件系統(tǒng)的命名空間，集群配置信息，存儲(chǔ)塊的復(fù)制。 DataNode 是文件存儲(chǔ)的基本單元。它存儲(chǔ)文件塊在本地文件系統(tǒng)中，保存了文件塊的meta-data，同時(shí)周期性的發(fā)送所有存在的文件塊的報(bào)告給NameNode。 Client 就是需要獲取分布式文件系統(tǒng)文件的應(yīng)用程序。,HDFS是一個(gè)高度容錯(cuò)性的分布式文件系統(tǒng)，能提供高吞吐量的數(shù)據(jù)訪問(wèn)，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。,MapRe

16、duce Map：任務(wù)的分解 Reduce：結(jié)果的匯總,兩大核心設(shè)計(jì),HDFS NameNode：文件管理 DataNode：文件存儲(chǔ) Client：文件獲取,Hadoop核心設(shè)計(jì),HDFS具體操作,文件寫(xiě)入： 1. Client向NameNode發(fā)起文件寫(xiě)入的請(qǐng)求 2. NameNode根據(jù)文件大小和文件塊配置情況，返回給Client它所管理部分DataNode的信息。 3. Client將文件劃分為多個(gè)文件塊，根據(jù)DataNode的地址信息，按順序?qū)懭氲矫恳粋€(gè)DataNode塊中。 文件讀?。?1.Client向NameNode發(fā)起文件讀取的請(qǐng)求 2.NameNode返回文件存儲(chǔ)的Data

17、Node的信息。 3. Client讀取文件信息。,MapReduce映射、化簡(jiǎn)編程模型,1. 根據(jù)輸入數(shù)據(jù)的大小和參數(shù)的設(shè)置把數(shù)據(jù)分成splits, 每個(gè)split對(duì)于一個(gè)map線程。 2. Split中的數(shù)據(jù)作為Map的輸入， Map的輸出一定在Map端。 3. Map的輸出到Reduce的輸入的過(guò)程(shuffle過(guò)程)： 第一階段：在map端完成內(nèi)存-排序-寫(xiě)入磁盤(pán)-復(fù)制 第二階段：在reduce端完成映射到reduce端分區(qū)-合并-排序 4. Reduce的輸入到Reduce的輸出 最后排好序的key/value作為Reduce的輸入，輸出不一定是在reduce端。,MapReduc

18、e是一種編程模型，用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算。Map（映射）和Reduce（化簡(jiǎn)），采用分而治之思想，先把任務(wù)分發(fā)到集群多個(gè)節(jié)點(diǎn)上，并行計(jì)算，然后再把計(jì)算結(jié)果合并，從而得到最終計(jì)算結(jié)果。多節(jié)點(diǎn)計(jì)算，所涉及的任務(wù)調(diào)度、負(fù)載均衡、容錯(cuò)處理等，都由MapReduce框架完成，不需要編程人員關(guān)心這些內(nèi)容。,HBASE分布式數(shù)據(jù)存儲(chǔ),HBase Hadoop Database，是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)； HBase位于結(jié)構(gòu)化存儲(chǔ)層，HDFS為HBase提供了高可靠性的底層存儲(chǔ)支持,MapReduce為HBase提供了高性能的計(jì)算能力，Zookeeper為HBase提供了穩(wěn)定服務(wù)和failover機(jī)制； Pig和Hive還為HBase提供了高層語(yǔ)言支持，使得在HBase上進(jìn)行數(shù)據(jù)統(tǒng)計(jì)處理變的簡(jiǎn)單。,大數(shù)據(jù)行業(yè)應(yīng)用,金融行業(yè),互聯(lián)網(wǎng),醫(yī)療行業(yè),能源行業(yè),電信行業(yè),政府行業(yè),隨著互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)的發(fā)展，運(yùn)營(yíng)商的網(wǎng)絡(luò)將會(huì)更加繁忙，用于監(jiān)測(cè)網(wǎng)絡(luò)狀態(tài)的信令數(shù)據(jù)也會(huì)快速增長(zhǎng)。通過(guò)大數(shù)據(jù)的海量分布式存儲(chǔ)技術(shù)，可以更好地滿足存儲(chǔ)需求；通過(guò)智能分析技術(shù)，能夠提高網(wǎng)絡(luò)維護(hù)的實(shí)時(shí)性，預(yù)測(cè)網(wǎng)絡(luò)流量峰值，預(yù)警異常流量，有效防止網(wǎng)絡(luò)堵塞和宕機(jī)，為網(wǎng)絡(luò)改造、優(yōu)化提供參考，從而提高網(wǎng)絡(luò)服務(wù)質(zhì)量，提升用戶體驗(yàn)。,提升網(wǎng)絡(luò)服務(wù)質(zhì)量，增強(qiáng)管道智能化,客戶洞察是