Hadoop平臺搭建與應(yīng)用項目2Hive環(huán)境搭建與基本操作PAGE68PAGE69Zookeeper集群中有哪些角色？在一個集群中，最少需要3臺?；蛘弑ＷC2N+1臺，保證集群中有奇數(shù)臺的主要原因是為了選舉算法。Zookeeper集群是一個主從集群，它一般是由一個Leader(領(lǐng)導(dǎo)者)和多個Follower(跟隨者)組成。此外，針對訪問量比較大的Zookeeper集群，還可新增Observer(觀察者)。Zookeeper集群中的三種角色各司其職，共同完成分布式協(xié)調(diào)服務(wù)，如下圖所示。Zookeeper集群架構(gòu)圖（1）Leader它是Zookeeper集群工作的核心，也是事務(wù)性請求(寫操作)的唯一調(diào)度和處理者，它保證集群事務(wù)處理的順序性，同時負責(zé)進行投票的發(fā)起和決議，以及更新系統(tǒng)狀態(tài)。（2）Follower它負責(zé)處理客戶端的非事務(wù)(讀操作)請求，如果接收到客戶端發(fā)來的事務(wù)性請求，則會轉(zhuǎn)發(fā)給Leader，讓Leader進行處理，同時還負責(zé)在Leader選舉過程中參與投票。（3）Observer它負責(zé)觀察Zookeeper集群的最新狀態(tài)的變化，并且將這些狀態(tài)進行同步。對于非事務(wù)性請求可以進行獨立處理;對于事務(wù)性請求，則會轉(zhuǎn)發(fā)給Leader服務(wù)器進行處理。它不會參與任何形式的投票，只提供非事務(wù)性的服務(wù)，通常用于在不影響集群事務(wù)處理能力的前提下，提升集群的非事務(wù)處理能力(提高集群讀的能力，也降低了集群選主的復(fù)雜程度)。什么是Zookeeper中的腦裂？對于Zookeeper來說有一個重要問題，就是根據(jù)什么來判斷一個節(jié)點死亡(down掉)了？Zookeeper通過內(nèi)部心跳機制來確定leader的狀態(tài)，一旦leader出現(xiàn)意外Zookeeper能很快獲悉并且通知其他的follower，其他follower在之后作出相關(guān)反應(yīng)，這樣就完成了一個切換，這種模式也是比較通用的模式。但是這里面有個很嚴(yán)重的問題，因為心跳出現(xiàn)超時可能是leader掛了，也可能是zookeeper節(jié)點之間網(wǎng)絡(luò)出現(xiàn)了問題，導(dǎo)致leader假死的情況，leader其實并未死掉，但是由于假死會發(fā)起新的leader選舉，選舉出一個新的leader，但舊的leader網(wǎng)絡(luò)又通了，導(dǎo)致出現(xiàn)了兩個leader，有的客戶端連接到老的leader，而有的客戶端則連接到新的leader。這樣就會出現(xiàn)很嚴(yán)重問題。Zookeeper是如何解決腦裂問題的？要解決Split-Brain腦裂的問題，一般有下面幾種種方法：（1）Quorums(法定人數(shù))方式:比如3個節(jié)點的集群，Quorums=2,也就是說集群可以容忍1個節(jié)點失效，這時候還能選舉出1個leader，集群還可用。比如4個節(jié)點的集群，它的Quorums=3，Quorums要超過3，相當(dāng)于集群的容忍度還是1，如果2個節(jié)點失效，那么整個集群還是無效的。這是zookeeper防止"腦裂"默認(rèn)采用的方法。（2）Redundantcommunications(冗余通信)方式：集群中采用多種通信方式，防止一種通信方式失效導(dǎo)致集群中的節(jié)點無法通信。4.Zookeeper有哪幾種部署模式？Zookeeper有三種部署模式：（1）單機部署：一臺集群上運行；（2）偽集群部署：一臺集群啟動多個Zookeeper實例運行。（3）集群部署：多臺集群運行；5.Zookeeper的工作原理？Zookeeper的核心是原子廣播，這個機制保證了各個Server之間的同步。實現(xiàn)這個機制的協(xié)議叫做Zab協(xié)議。Zab協(xié)議有兩種模式，它們分別是恢復(fù)模式（選主）和廣播模式（同步）。Zab協(xié)議的全稱是ZookeeperAtomicBroadcast（Zookeeper原子廣播）。Zookeeper是通過Zab協(xié)議來保證分布式事務(wù)的最終一致性。Zab協(xié)議要求每個Leader都要經(jīng)歷三個階段：發(fā)現(xiàn)，同步，廣播。當(dāng)服務(wù)啟動或者在領(lǐng)導(dǎo)者崩潰后，Zab就進入了恢復(fù)模式，當(dāng)領(lǐng)導(dǎo)者被選舉出來，且大多數(shù)Server完成了和leader的狀態(tài)同步以后，恢復(fù)模式就結(jié)束了。狀態(tài)同步保證了leader和Server具有相同的系統(tǒng)狀態(tài)。為了保證事務(wù)的順序一致性，zookeeper采用了遞增的事務(wù)id號（zxid）來標(biāo)識事務(wù)。所有的提議（proposal）都在被提出的時候加上了zxid。實現(xiàn)中zxid是一個64位的數(shù)字，它高32位是epoch用來標(biāo)識leader關(guān)系是否改變，每次一個leader被選出來，它都會有一個新的epoch，標(biāo)識當(dāng)前屬于那個leader的時期。低32位用于遞增計數(shù)。每個Server在工作過程中有四種狀態(tài)：LOOKING：當(dāng)前Server不知道leader是誰，正在