項目一初識Spark技術延時符序言02延時符項目描述對采集到的數(shù)據(jù)進行分析處理，可以獲取有價值的信息。那么你知道數(shù)據(jù)分為哪些類型嗎？不同的數(shù)據(jù)采用什么技術進行分析處理呢？本書介紹Spark技術分析處理數(shù)據(jù)。項目分析近年來，大數(shù)據(jù)分析一詞成了IT行業(yè)的流行術語，大數(shù)據(jù)分析即將大量的的數(shù)據(jù)通過各種技術進行交叉分析，從而挖掘出數(shù)據(jù)背后的價值，甚至可以預見未來。要想通過大量的數(shù)據(jù)分析出數(shù)據(jù)的價值，關鍵在于收集數(shù)據(jù)、存儲數(shù)據(jù)及分析數(shù)據(jù)。0301OPTION02OPTION數(shù)據(jù)處理系統(tǒng)實時數(shù)據(jù)處理目錄頁延時符數(shù)據(jù)處理系統(tǒng)1.數(shù)據(jù)存儲技術2.數(shù)據(jù)分析技術3.批數(shù)據(jù)和實時數(shù)據(jù)4.數(shù)據(jù)價值挖掘04任務105早期的數(shù)據(jù)存儲技術

美國統(tǒng)計學家赫爾曼·霍爾瑞斯為了統(tǒng)計1890年的人口普查數(shù)據(jù),發(fā)明了一臺電動器來讀取卡片上的洞數(shù),這臺設備使美國用了1年時間就完成了原本需要耗時8年的人口普查工作。

最早的數(shù)據(jù)存儲技術就是利用穿孔卡片來完成的。06數(shù)據(jù)庫技術數(shù)據(jù)處理早期互聯(lián)網(wǎng)時代互聯(lián)網(wǎng)企業(yè)很少，主要采用關系型數(shù)據(jù)庫，當時全世界的數(shù)據(jù)庫市場幾乎被Oracle、IBM的DB2、Microsoft的SQLServer壟斷，其他數(shù)據(jù)庫廠商市場份額比較小。

互聯(lián)網(wǎng)時代的數(shù)據(jù)是通過設備、服務器、應用自動產(chǎn)生，目前數(shù)據(jù)呈現(xiàn)出以指數(shù)級別增長，數(shù)據(jù)涵蓋各行各業(yè)。促使了類似Hadoop大數(shù)據(jù)技術的誕生，如Hadoop生態(tài)圈中的HBaesNoSQL分布式數(shù)據(jù)庫、Hive數(shù)據(jù)倉庫。07大數(shù)據(jù)存儲技術共性01020304存儲技術共性硬件基于服務器

操作系統(tǒng)主要是Linux

存儲基于服務器自身的磁盤架構基于大規(guī)模分布式計算和極高的橫向擴展能力05提供故障容錯及數(shù)據(jù)高可用保證機制08大數(shù)據(jù)存儲技術路線3.基于Hadoop生態(tài)圈技術擴展和封裝1.大數(shù)據(jù)一體機2.采用MPP架構的數(shù)據(jù)庫集群基于Hadoop生態(tài)技術衍生出來的，主要應對傳統(tǒng)關系型數(shù)據(jù)庫較難處理的數(shù)據(jù)和場景。MPP(MassivelyParallelProcessing，大規(guī)模并行處理)數(shù)據(jù)庫集群重點面向行業(yè)大數(shù)據(jù)，具有高性能和可擴展的特點。軟硬件結合的產(chǎn)品，由一組集成的服務器、存儲設備、操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)組成。具有良好的穩(wěn)定性和縱向擴展能力。大數(shù)據(jù)處理技術進入了新的階段，目前大數(shù)據(jù)存儲技術路線最典型的有三種。09數(shù)據(jù)分析技術大數(shù)據(jù)分析技術：通過對規(guī)模巨大的數(shù)據(jù)進行分析，挖掘出大規(guī)模數(shù)據(jù)中隱藏的價值信息，為社會經(jīng)濟活動提供依據(jù)，提高各個領域的運行效率。經(jīng)典案例：谷歌與流感啤酒與尿布10數(shù)據(jù)分析技術區(qū)別于傳統(tǒng)的數(shù)據(jù)處理流程，大數(shù)據(jù)處理的是大量的、非結構化的數(shù)據(jù)。為保證數(shù)據(jù)處理速度，需要在并行的分布式系統(tǒng)中處理數(shù)據(jù)。目前，Hadoop、MapReduce和Spark等分布式處理方式是大數(shù)據(jù)處理過程中的普遍使用技術。11Hadoop生態(tài)圈HDFS分布式文件存儲系統(tǒng)是一個數(shù)據(jù)管理系統(tǒng)，是數(shù)據(jù)分析的源頭。MapReduce是一個大規(guī)模并行的數(shù)據(jù)計算框架，具有很強的分布式計算能力。用戶可以使用這些組件在Hadoop上開發(fā)和運行處理海量數(shù)據(jù)的應用程序，以滿足大數(shù)據(jù)處理中的各種場景需要。Hadoop生態(tài)圈中提供了很多解決大數(shù)據(jù)問題的組件，如圖所示，組件包括數(shù)據(jù)存儲、數(shù)據(jù)集成、數(shù)據(jù)處理和數(shù)據(jù)分析。Hadoop生態(tài)圈12

Hadoop特性：低成本、高可靠性、高擴展、高容錯。但MapReduce只適用于離線數(shù)據(jù)處理，在實時性處理需求出現(xiàn)時毫無用處。支持在線處理數(shù)據(jù)的Storm、CloudarImpala及支持迭代計算的Spark等，以及資源統(tǒng)一管理調度系統(tǒng)如ApacheMesos、Hadoop生態(tài)圈中的Apache

Yarn等。

基于性能、兼容性、數(shù)據(jù)類型等方面的原因，大數(shù)據(jù)分析技術不斷更新，除了上面提供到的各種數(shù)據(jù)處理工具之外，還有Phoenix、ApacheAccumulo、ApacheDirll等其他開源解決方案，預計未來相當長的一段時間內，主流的Hadoop平臺將與各種新的計算模式和系統(tǒng)共存，并相互兼容融合，形成新一代的大數(shù)據(jù)處理系統(tǒng)和平臺。實時處理技術13批數(shù)據(jù)和實時數(shù)據(jù)

批數(shù)據(jù)：又稱為歷史數(shù)據(jù)，是在集群中積累的數(shù)據(jù)。

流式數(shù)據(jù)：又稱為實時數(shù)據(jù)，是當前系統(tǒng)即時產(chǎn)生的數(shù)據(jù)。批數(shù)據(jù)和實時數(shù)據(jù)在處理延時方面還有很大差別:基于歷史數(shù)據(jù)的復雜的業(yè)務查詢時間一般允許在數(shù)十分鐘到數(shù)小時之間，基于歷史數(shù)據(jù)的交互式SQL查詢時間一般允許數(shù)十秒到數(shù)分鐘之間;基于實時數(shù)據(jù)流的數(shù)據(jù)處理延遲度要求在數(shù)百毫秒到數(shù)秒之間。無論是批數(shù)據(jù)處理還是流式數(shù)據(jù)處理，都依賴于前面提到的大數(shù)據(jù)處理技術。14數(shù)據(jù)挖掘價值目前，整個社會對數(shù)據(jù)達成的共識可以理解成:數(shù)據(jù)像石油、煤炭資源一樣寶貴，其內在的價值非常巨大，最直觀的數(shù)據(jù)價值體現(xiàn)就是互聯(lián)網(wǎng)企業(yè)對數(shù)據(jù)巧妙的使用和價值挖掘給人們生活帶來各種便利。大數(shù)據(jù)有如下四個特點：多樣化速度化價值密度低大量化15數(shù)據(jù)價值挖掘大數(shù)據(jù)的核心價值在使勁按中主要有如下三個方面：數(shù)據(jù)輔助決策通過對數(shù)據(jù)的分析，對企業(yè)提供基礎的數(shù)據(jù)統(tǒng)計報表分析查詢服務。分析師可以通過分析統(tǒng)計報表來指導產(chǎn)品生產(chǎn)和運營;產(chǎn)品經(jīng)理可以通過統(tǒng)計數(shù)據(jù)來完善產(chǎn)品的功能，提高用戶的體驗等。數(shù)據(jù)驅動業(yè)務通過數(shù)據(jù)分析，數(shù)據(jù)挖掘模型實現(xiàn)企業(yè)產(chǎn)品和運營的智能化，從而極大地提高企業(yè)的整體效能產(chǎn)出。最常見的領域有基于個性化的推薦服務和精準廣告營銷服務、基于模型算法的風控反欺詐服務等。數(shù)據(jù)對外變現(xiàn)通過對數(shù)據(jù)進行精心的包裝，對外提供數(shù)據(jù)服務，從而獲取現(xiàn)金收人。市面上比較常見的有各個大數(shù)據(jù)公司利用自己掌握的大數(shù)據(jù)技術，提供風控查詢驗證，提供導客、導流、精準營銷服務等。實時數(shù)據(jù)處理1.實時數(shù)據(jù)的價值2.實時數(shù)據(jù)處理技術3.Spark實時數(shù)據(jù)處理16任務217實時數(shù)據(jù)處理技術針對實時數(shù)據(jù)處理，目前主流的實時數(shù)據(jù)處理框架有Storm、Spark、Samza、Flink。下面簡單介紹這些技術的特點。Storm最開始是由Nathan

Marz和他的團隊于2010年在數(shù)據(jù)分析公司BackType開發(fā)的后來BackType公司被Twitter收購，接著Titter開源Storm并在2014年成為Apache頂級項目。毋庸置疑，Storm成為大規(guī)模流數(shù)據(jù)處理的先鋒，并逐漸成為工業(yè)標準。Storm是原生的流處理系統(tǒng)，提供low

-

level的API。Storm使用Thrift

來定義topology和支持多語言協(xié)議，使得人們可以使用大部分編程語言開發(fā)，Scala自然包括在內。Trident是對Storm的一個更高層次的抽象，Trident最大的特點是以batch的形式進行流處理。Trident簡化topology構建過程，增加了窗口操作、聚合操作或者狀態(tài)管理等高級操作，這些在Storm中并不支持。對應于Storm的At

most

once流傳輸機制，Trident提供了Exactly

once傳輸機制。Trident支持Java、Clojure和Scala語言開發(fā)。Strom18實時數(shù)據(jù)處理技術當前流式處理框架中，Spark是非常受歡迎的批處理框架，包含Spark

SQL、MLlib和Spark

Streaming。

Spark的運行是建立在批處理之上的，因此，后續(xù)加人的Spark

Streaming也依賴于批處理，實現(xiàn)了微批處理，接收器把輸人數(shù)據(jù)流分成短小批處理，并以類似Spark作業(yè)的方式處理微批處理?？梢酝ㄟ^控制SparkStreaming中微批處理的時間來控制數(shù)據(jù)接收速度，同時，也可以通過外部參數(shù)控制。SparkStreaming相對于Storm來說，吞吐量大，同時，可以在流批次中使用Spark的各種API擴展。Spark

Streaming提供高級聲明式API(支持

Scala、Java和Pvthon語言開發(fā))。Spark19實時數(shù)據(jù)處理技術最開始是專為LinkedIn公司開發(fā)的流處理解決方案，并和LinkedIn的Kafka一起貢獻給社區(qū)，現(xiàn)已成為基礎設施的關鍵部分。Samza的構建嚴重依賴于基于log的Kafka，兩者緊密耦合。Samza提供組合式API，當然，也支持Scala語言開發(fā)。Samza20實時數(shù)據(jù)處理技術Flink是個相當早的項目，開始于2008年。Flink是原生的流處理系統(tǒng)，提供high

level

的API。Flink也提供API來像Spark一樣進行批處理，但兩者處理的基礎是完全不同的。

Flink把批處理當作流處理中的一種特殊情況。在Flink中，所有的數(shù)據(jù)都看作流，是一種很好的抽象，因為這更接近于現(xiàn)實世界。Flink21Spark實時數(shù)據(jù)處理Spark提供強大的內存計算引擎，幾乎涵蓋了所有典型的大數(shù)據(jù)計算模式，包括迭代計算、批處理計算、內存計算、流式計算(Spark

Streaming)、數(shù)據(jù)查詢分析計算(Shark)及圖計算(GraphX)。Spark使用Scala作為應用框架，采用基于內存的分布式數(shù)據(jù)集，優(yōu)化了迭代式的工作負載及交互式查詢。與Hadoop不同的是，Spark和Scala緊密集成，Scala像管理本地collective

對象那樣管理分布式數(shù)據(jù)集。Spark支持分布式數(shù)據(jù)集上的迭代式任務，實際上也可以基于Hadoop生態(tài)圈中的Yarn資源調度框架運行。Spark中實時數(shù)據(jù)處理技術具體指的是SparkStreaming。

SparkStreaming是Spark核心的擴展，支持實時數(shù)據(jù)處理，提供了一種抽象的連續(xù)數(shù)據(jù)流，即Discretized

S