《大數(shù)據(jù)導(dǎo)論》課件-第2章 分布式計(jì)算與協(xié)調(diào)_第1頁(yè)
《大數(shù)據(jù)導(dǎo)論》課件-第2章 分布式計(jì)算與協(xié)調(diào)_第2頁(yè)
《大數(shù)據(jù)導(dǎo)論》課件-第2章 分布式計(jì)算與協(xié)調(diào)_第3頁(yè)
《大數(shù)據(jù)導(dǎo)論》課件-第2章 分布式計(jì)算與協(xié)調(diào)_第4頁(yè)
《大數(shù)據(jù)導(dǎo)論》課件-第2章 分布式計(jì)算與協(xié)調(diào)_第5頁(yè)
已閱讀5頁(yè)，還剩11頁(yè)未讀， 繼續(xù)免費(fèi)閱讀

付費(fèi)下載

下載本文檔

版權(quán)說(shuō)明：本文檔由用戶(hù)提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

大數(shù)據(jù)導(dǎo)論1.Spark基本介紹目錄01什么是Spark02Spark的特點(diǎn)03Spark的重要角色Spark是一種基于內(nèi)存的快速、通用、課擴(kuò)展的大數(shù)據(jù)分析引擎。定義：什么是Spark？什么是Spark？通用兼容性快易用Spark特色把用戶(hù)程序轉(zhuǎn)為作業(yè)(JOB)跟蹤Executor的運(yùn)行狀況為執(zhí)行器節(jié)點(diǎn)調(diào)度任務(wù)UI展示應(yīng)用運(yùn)行狀況。Driver(驅(qū)動(dòng)器)負(fù)責(zé)運(yùn)行組成Spark應(yīng)用的任務(wù),并將結(jié)果返回給驅(qū)動(dòng)器進(jìn)程通過(guò)自身的塊管理器(BlockManager)為用戶(hù)程序中要求緩存的RDD提供內(nèi)存式存儲(chǔ)。Executor(執(zhí)行器)Spark的重要角色下面我們進(jìn)入Spark部署步驟詳解平臺(tái)搭建操作大數(shù)據(jù)導(dǎo)論2.ZooKeeper基本介紹目錄01Zookeeper是什么02Zookeeper能提供什么03zookeeper能為我們做什么04zookeeper角色簡(jiǎn)介05zookeeper的特性是一個(gè)分布式協(xié)調(diào)服務(wù),就是為用戶(hù)的分布式應(yīng)用提供協(xié)調(diào)服務(wù)，是為其他的分布式程序服務(wù)本身也是一個(gè)分布式程序(只要有半數(shù)以上節(jié)點(diǎn)存活,zk就能正常對(duì)外提供服務(wù))一般奇數(shù)臺(tái)Zookeeper是什么Zookeeper提供什么文件系統(tǒng)通知機(jī)制Zookeeper能提供什么？命名服務(wù)配置管理分布式與數(shù)據(jù)復(fù)制列隊(duì)管理分布式鎖集群管理Zookeeper能為我們做什么？負(fù)責(zé)進(jìn)行投票的發(fā)起和決議,更新系統(tǒng)狀態(tài)。領(lǐng)導(dǎo)者①跟隨者：Follower用于接收客戶(hù)請(qǐng)求并向客戶(hù)端返回結(jié)果，在選中過(guò)程中參與投票。②觀(guān)察者：Observer可以接收客戶(hù)端連接，將寫(xiě)請(qǐng)求轉(zhuǎn)發(fā)給leader節(jié)點(diǎn)。但不參加投票過(guò)程,只同步leader狀態(tài)。學(xué)習(xí)者Zookeeper角色簡(jiǎn)介一致性可靠性實(shí)時(shí)性等待無(wú)關(guān)原子性順序性分布式讀寫(xiě)Zookee

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽，若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間，僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理，對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請(qǐng)與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論