1、 1,BlockManager 3,BlockManager層的數(shù)據(jù)傳輸服務的初始化過一，BlockManager 涉及的各個角BlockManager Master-slaves 結構。Driver BlockManagerMaster 會管理所有Executor 中的 BlockManager Executor 啟動時， 會啟動相應BlockManager 并 1,BlockManager 3,BlockManager層的數(shù)據(jù)傳輸服務的初始化過一，BlockManager 涉及的各個角BlockManager Master-slaves 結構。Driver BlockManagerMast

2、er 會管理所有Executor 中的 BlockManager Executor 啟動時， 會啟動相應BlockManager 并其次，BlockManager 提供和寫數(shù)據(jù)的接口，可以從本地讀寫數(shù)據(jù)，也可以 Tachyon）。1，在Application 啟動時會在SparkEnv 在內(nèi)存、磁盤以及 OffHeap（堆外空間，BlockManagerMaster 以及BlockManagerMaster：對整個集群所有Block 數(shù)據(jù)進行管理的；主要是管理方法的輸出的給去管理所有節(jié)點的BlockManager；block 信息的數(shù)3 ExecutorBackend BlockManager

3、 在給BlockManagerMaster；實質(zhì)上Executor 中的 BlockManager 在啟動的時給4，MemoryStore 是 BlockManager 中專門負責內(nèi)存數(shù)和讀寫的類5，DiskStoreBlockManager和讀寫的類； DiskBlockManagerLogicBlockDiskPhysicalBlock 7，OneForOneBlockFetcher 用來連接到相應BlockManager 去獲取數(shù)據(jù) 二，blockManager spark 1，sparkShuffle 過程數(shù)據(jù)會被BlockManager 管理。Reduce 端去發(fā)請求獲取2，spar

4、k broadcast 數(shù)3，Spark Streaming receiver 模式下接受到的數(shù)據(jù)都會被放到BlockManager，然后產(chǎn)生的時候去獲取4，rdd cache 操作，最終也是用BlockManager 進行數(shù)于管理運行結果，也BlockManager(resultSize=akkaFrameSize-第一層通訊框rpc -block 信 第二層文件傳輸-使BlockManager 進行數(shù)據(jù)傳 浪三，BlockManager 在RDD 層面了解到RDD 是由不同的partition 組成的action partition 上面進行的；而storage 模，RDD 又被視為由不R

5、DD 的存取是block 為的角度不同。在Sparkstorage 模塊進行的，本質(zhì)上partition 和block 是等價的，只是 浪三，BlockManager 在RDD 層面了解到RDD 是由不同的partition 組成的action partition 上面進行的；而storage 模，RDD 又被視為由不RDD 的存取是block 為的角度不同。在Sparkstorage 模塊進行的，本質(zhì)上partition 和block 是等價的，只是是block，所有的操作都是block BlockManager 對象被創(chuàng)建的時候會創(chuàng)建出 MemoryStore DiskStore 對象用以

6、存取blockspill 磁盤中， 通過 DiskStore 。四，BlockManager PUT GET GETPut 接口和Get 接口兩個中存在就直接返回， 從本地獲取一個 Block, 會先判斷如果是useMemory， 直接從內(nèi)存中取出， 如果是 useDisk， 會從磁盤中取出返回， useMemory 判斷是否在內(nèi)存中緩存一下，方便下次獲取， 如果 local 不存在， 上獲取， 當然元信息是存在 drive 上的，要根 PUT 操作 ，級別， 對應的是 memoryStore 還是 diskStore， 五，blockManager blockTransferService

7、spark rpc 傳輸使用的是 netty, netty, 這里的大文件傳輸其實走的是 netty, 動 blockManager 的時候會啟動一個 blockTransferService 服務， 這個服務就是用來傳輸大文件用的對應的具體類是 NettyBlockTransferService這個實例中也會有 BlocakManager的 啟動一個NettyBlockRpcServer的用， 用來提供服務， BlocakManager 根據(jù) ManagedBuffer 對象，nettyHandler, 也擁BlocakManager 的BlockId 獲取一個Block 然后包裝為一個當需

8、要從遠端獲取一個 Block 的時候，就需要 blockTransferService driver 上獲取到fetchBlocks 方法其他真正Block 的真 nt, fetchOneForOneBlockFetcherFetcher k fetch, k Block COpenBlocks BlockId, 其他節(jié)點服務BlockId blockManager 中拿到數(shù)據(jù)后用來傳輸用的是 如果是備份的時候同步上傳一個含 Block, 其他節(jié)點服務端會根據(jù)，uploadBlock 消息中BlockId, 浪 kFetch 也有一個類似 Stream 的概念， kFetch 的對象是“ 一個

9、內(nèi)存中IteratorManagedBuffer”，即一組Buffer，每一個Buffer 對應一個 kFetch 也有一個類似 Stream 的概念， kFetch 的對象是“ 一個內(nèi)存中IteratorManagedBuffer”，即一組Buffer，每一個Buffer 對應一個 kId，ServerkIdC ntStream kFetchServer StreamIDStreamManagerkopenStream口來分別響應 kFetch Stream 兩種操作，并且針對 Server kFetch registerStream 接口來BufferBlockManager BlockI

10、D 對應的StreamManager，從而支Block Fetch 六，rdd Block RDD 的運算是基于 partition， 每個 task 分區(qū)上一個 stage 那么是在哪里變task executorBlock 以 看看這個轉(zhuǎn)變過接七，RDDRDDuseDisk、useMemory、deserialized、replication 11 JVM 中. MEMORY_AND_DISK：以反序列化的JAVA 對象的方在JVM 中如果內(nèi)存不夠。的一些分區(qū)將將會緩存在磁盤上，再次需要的時候從磁 ). 反序列化的方式,這樣更高效的利用空間， 尤其是使用快速序列化時。但是 CPU 操put

11、eT(rd d: RDDT,context:storageLevel:StorageLevel):IteratorT=logDebug(sLookingfor partitionfinaldefiterator(split:Partition,context:TaskContext):IteratorT pute(this, split, context,else(split, MEMORY_AND_DISK_SERMEMORY_ONLY_SER相似, 在DISK_ONLY：RDD 在磁盤 OFF_HEAP (experimental) ： 將 MEMORY_AND_DISK_SERMEMORY_ONLY_SER相似, 在DISK_ONLY：RDD 在磁盤 OFF_HEAP (experimental) ：