云計算簡介 谷歌 GAE 三大云計算 亞馬遜 AWS 開源 Hadoop 理論研究熱點 總結與展望 一種在規(guī)模經(jīng)濟驅(qū)動下產(chǎn)生的大規(guī)模分布式計算。它是一個資源池，其中包含了抽象的、虛擬化的、可動態(tài)伸縮和管理的計算資源、存儲資源、平臺和服務，并通過因特網(wǎng)按需提供給用戶。 Google File System(GFS) BigTable MapReduce Client Client Replicas Masters GFS Master GFS Master C0 C1 C2. C5 Chunkserver 1 C0 C5 Chunkserver N C1 C3. C5 Chunkserver 2 Client Client Client 文件被分割成 chunks (典型大小為 64 MB) Master 管理元數(shù)據(jù) 數(shù)據(jù)傳輸直接在 clients/chunkservers之間進行 容錯技術 冗余備份 日志 校驗和 管理技術 大規(guī)模集群安裝升級 故障檢測 節(jié)點動態(tài)加入 節(jié)能技術 Google File System(GFS) BigTable MapReduce 為什么設計 BigTable？ 數(shù)據(jù)種類繁多 海量服務請求 設計目標： 適用性 可擴展性 高可用性 簡單性 數(shù)據(jù)模型 (row, column, timestamp) cell contents 基本架構 Google File System(GFS) BigTable MapReduce 數(shù)據(jù)處理的兩個階段 Map: (in_key, in_value) (keyj, valuej) | j = 1 k Reduce: (key, value1, valuem) (key, f_value) D a t a s t o r e 1 D a t a s t o r e nm a p( k e y 1 , v a l u e s . . . )( k e y 2 , v a l u e s . . . )( k e y 3 , v a l u e s . . . )m a p( k e y 1 , v a l u e s . . . )( k e y 2 , v a l u e s . . . )( k e y 3 , v a l u e s . . . )I n p u t k e y * v a l u e p a i r sI n p u t k e y * v a l u e p a i r s= = B a r r i e r = = : A g g r e g a t e s i n t e r m e d i a t e v a l u e s b y o u t p u t k e yr e d u c e r e d u c e r e d u c ek e y 1 , i n t e r m e d i a t e v a l u e sk e y 2 , i n t e r m e d i a t e v a l u e sk e y 3 , i n t e r m e d i a t e v a l u e sf i n a l k e y 1 v a l u e sf i n a l k e y 2 v a l u e sf i n a l k e y 3 v a l u e s. . . 為什么使用 Dynamo？ 半結構化數(shù)據(jù)：購物車、信息會話管理和推薦商品列表 數(shù)據(jù)處理方式：簡單的讀取、寫入，簡單的 鍵值 方式存儲 實現(xiàn)： 位 的形式存儲，處理所有的數(shù)據(jù)類型 應用： S3構建在 Dynamo之上， SimpleDB也極有可能 問題 相關技術 數(shù)據(jù)均衡分布 改進的一致性哈希算法 數(shù)據(jù)沖突處理 向量時鐘 臨時故障處理 數(shù)據(jù)回傳、弱 quorum機制 永久故障手的恢復 Merkle哈希樹 成員資格以及錯誤檢測 基于 gossip的成員資格協(xié)議和錯誤檢測 一致性哈希算法 臨時性故障處理機制 弱 quorum機制（ W,R,N）和數(shù)據(jù)回傳 永久性故障后的恢復 Merkle哈希樹 Gossip協(xié)議 錯誤檢測 失效停傳 定期檢測 新節(jié)點 A 種子節(jié)點 B C 新節(jié)點 亞馬遜機器映像（ AMI） 實例（ Instance） 彈性塊存儲塊（ EBS） 區(qū)域（ Zone） 通信機制 安全及容錯機制 三個概念： 對象、鍵、桶 基本操作： Get、 Put、 List、 Delete和 Head 操作對象 Get Put List Delete Head 桶 獲取桶中對象 創(chuàng)建或更新桶 列出桶中所有鍵 刪除桶 無 對象 獲取對象數(shù)據(jù)和元數(shù)據(jù) 創(chuàng)建或更新對象 無 刪除對象 獲取對象元數(shù)據(jù) 身份認證 基于 HMAC-SHA1的數(shù)字簽名方式 Access Key ID， Secret Access Key，服務請求字符串 訪問控制 三類用戶（ owner、 user、 group） 五類訪問權限（ Read， Write， Read_ACP, Write_ACP, FULL_CONTROL） 屬性 1 屬性 2 條目 1 值 值 條目 2 值 值 屬性 1 屬性 2 條目 1 值 值 條目 2 值 值 域 1 域 2 用戶賬戶 域 3 基本部分：系統(tǒng)組件、消息、隊列 內(nèi)容推送服務 CloudFront 電子商務服務 DevPay和 FPS 簡單支付服務 Simple Pay 土耳其機器人 Alexa Web服務 開源云計算系統(tǒng) 商用云計算系統(tǒng) Hadoop HDFS Google GFS Hadoop MapReduce Google MapReduce Hadoop Hbase Google Bigtable Hadoop ZooKeeper Google Chubby Hadoop Pig Google Sawzall Eucalyptus、 Nimbus Amazon EC2 Eucalyptus Amazon S3 Sector and Sphere 無 Abiquo 無 MongoDB 無 設計前提與目標 硬件錯誤是常態(tài)而不是異常 流式數(shù)據(jù)訪問 大規(guī)模數(shù)據(jù)集 簡單一致性模型 移動計算比移動數(shù)據(jù)更劃算 異構軟硬件平臺間的可移植性 冗余備份 副本存放 心跳檢測 安全模式 數(shù)據(jù)完整性檢測 空間回收 元數(shù)據(jù)磁盤失效 快照 副本選擇 負載均衡 客戶端緩存 流水線復制 邏輯模型：分治的策略 實現(xiàn)機制 分布式并行計算 本地計算 任務粒度 連接（ combine） 分區(qū)（ partition） 讀取中間結果 任務管道 邏輯模型 基本類型：行關鍵字、時間戳和列 行關鍵字 時間戳 列content 列 anchor 列mime “n.www” t9 anchor: CNN t8 anchor:my.look.ca t6 . text/html t5 . t3 . 物理模型：行分割，列存儲 行關鍵字 時間戳 列 contents n.www t6 . t5 . t3 . 行關鍵字 時間戳 列 anchor n.www t9 anchor: CNN t8 anchor:my.look.ca 行關鍵字 時間戳 列 mime n.www t6 text/html 子表服務器 Hmemcache,Hstore,Hlog 主服務器 子服務器連接超時 元數(shù)據(jù)表 映射關系 根子表（ ROOT Table） 開發(fā)目的 為研究人員提供一個云計算研究平臺 設計原則 可移植性 模塊化 體系結構 可擴展性 非侵入 工程目標：可擴展性和非入侵 GAE AWS Hadoop 提供服務類型 PaaS IaaS、 PaaS、SaaS PaaS 服務間的關聯(lián)度 耦合度高 耦合度低 耦合度低 虛擬化技術 未使用 Xen 未使用 運行環(huán)境 云端 云端 云端 支持編程