1、,云計(jì)算簡(jiǎn)介 谷歌GAE 三大云計(jì)算 亞馬遜AWS 開(kāi)源Hadoop 理論研究熱點(diǎn) 總結(jié)與展望,一種在規(guī)模經(jīng)濟(jì)驅(qū)動(dòng)下產(chǎn)生的大規(guī)模分布式計(jì)算。它是一個(gè)資源池，其中包含了抽象的、虛擬化的、可動(dòng)態(tài)伸縮和管理的計(jì)算資源、存儲(chǔ)資源、平臺(tái)和服務(wù)，并通過(guò)因特網(wǎng)按需提供給用戶。,Google File System(GFS) BigTable MapReduce,Client,Replicas,Masters,GFS Master,GFS Master,C0,C1,C2.,C5,Chunkserver 1,C0,C5,Chunkserver N,C1,C3.,C5,Chunkserver 2,文件被分割成ch

2、unks (典型大小為64 MB) Master 管理元數(shù)據(jù) 數(shù)據(jù)傳輸直接在clients/chunkservers之間進(jìn)行,容錯(cuò)技術(shù) 冗余備份 日志 校驗(yàn)和 管理技術(shù) 大規(guī)模集群安裝升級(jí) 故障檢測(cè) 節(jié)點(diǎn)動(dòng)態(tài)加入 節(jié)能技術(shù),Google File System(GFS) BigTable MapReduce,為什么設(shè)計(jì)BigTable？ 數(shù)據(jù)種類(lèi)繁多 海量服務(wù)請(qǐng)求 設(shè)計(jì)目標(biāo)： 適用性 可擴(kuò)展性 高可用性 簡(jiǎn)單性,數(shù)據(jù)模型 (row, column, timestamp) cell contents,基本架構(gòu),Google File System(GFS) BigTable MapReduce,

3、數(shù)據(jù)處理的兩個(gè)階段 Map: (in_key, in_value) (keyj, valuej) | j = 1k Reduce: (key, value1,valuem) (key, f_value), ,為什么使用Dynamo？ 半結(jié)構(gòu)化數(shù)據(jù)：購(gòu)物車(chē)、信息會(huì)話管理和推薦商品列表 數(shù)據(jù)處理方式：簡(jiǎn)單的讀取、寫(xiě)入，簡(jiǎn)單的鍵值方式存儲(chǔ) 實(shí)現(xiàn)：位的形式存儲(chǔ)，處理所有的數(shù)據(jù)類(lèi)型 應(yīng)用：S3構(gòu)建在Dynamo之上，SimpleDB也極有可能,一致性哈希算法,臨時(shí)性故障處理機(jī)制 弱quorum機(jī)制（W,R,N）和數(shù)據(jù)回傳 永久性故障后的恢復(fù) Merkle哈希樹(shù),Gossip協(xié)議 錯(cuò)誤檢測(cè) 失效停傳 定期

4、檢測(cè),新節(jié)點(diǎn),A,種子節(jié)點(diǎn),B,C,新節(jié)點(diǎn),亞馬遜機(jī)器映像（AMI） 實(shí)例（Instance） 彈性塊存儲(chǔ)塊（EBS） 區(qū)域（Zone） 通信機(jī)制 安全及容錯(cuò)機(jī)制,三個(gè)概念： 對(duì)象、鍵、桶 基本操作： Get、Put、List、Delete和Head,身份認(rèn)證 基于HMAC-SHA1的數(shù)字簽名方式 Access Key ID，Secret Access Key，服務(wù)請(qǐng)求字符串 訪問(wèn)控制 三類(lèi)用戶（owner、user、group） 五類(lèi)訪問(wèn)權(quán)限（Read，Write，Read_ACP, Write_ACP, FULL_CONTROL）,域1,域2,用戶賬戶,域3,基本部分：系統(tǒng)組件、消息、隊(duì)列

5、,內(nèi)容推送服務(wù)CloudFront 電子商務(wù)服務(wù)DevPay和FPS 簡(jiǎn)單支付服務(wù) Simple Pay 土耳其機(jī)器人 Alexa Web服務(wù),設(shè)計(jì)前提與目標(biāo) 硬件錯(cuò)誤是常態(tài)而不是異常 流式數(shù)據(jù)訪問(wèn) 大規(guī)模數(shù)據(jù)集 簡(jiǎn)單一致性模型 移動(dòng)計(jì)算比移動(dòng)數(shù)據(jù)更劃算 異構(gòu)軟硬件平臺(tái)間的可移植性,冗余備份 副本存放 心跳檢測(cè) 安全模式 數(shù)據(jù)完整性檢測(cè) 空間回收 元數(shù)據(jù)磁盤(pán)失效 快照,副本選擇 負(fù)載均衡 客戶端緩存 流水線復(fù)制,邏輯模型：分治的策略,實(shí)現(xiàn)機(jī)制 分布式并行計(jì)算 本地計(jì)算 任務(wù)粒度 連接（combine） 分區(qū)（partition） 讀取中間結(jié)果 任務(wù)管道,邏輯模型 基本類(lèi)型：行關(guān)鍵字、時(shí)間戳和列

6、,物理模型：行分割，列存儲(chǔ),子表服務(wù)器 Hmemcache,Hstore,Hlog 主服務(wù)器 子服務(wù)器連接超時(shí) 元數(shù)據(jù)表 映射關(guān)系 根子表（ROOT Table）,開(kāi)發(fā)目的 為研究人員提供一個(gè)云計(jì)算研究平臺(tái) 設(shè)計(jì)原則 可移植性 模塊化 體系結(jié)構(gòu) 可擴(kuò)展性 非侵入,工程目標(biāo)：可擴(kuò)展性和非入侵,Youseff劃分方法,Lenk 劃分 方法,基礎(chǔ)設(shè)施共享，信息動(dòng)態(tài)傳遞 設(shè)計(jì)原則 發(fā)送和存儲(chǔ)盡量少的個(gè)人信息 保護(hù)云中的個(gè)人信息 最大限度的實(shí)現(xiàn)用戶控制 明確和限制數(shù)據(jù)使用目的 提供反饋機(jī)制,Chukwa-Hadoop VM內(nèi)部監(jiān)測(cè),計(jì)算機(jī)能耗變化曲線,云計(jì)算環(huán)境的特點(diǎn) 可并行 不信任 遠(yuǎn)程復(fù)制 基于分析

7、的數(shù)據(jù)庫(kù)管理 效用 容錯(cuò) 能夠在異構(gòu)環(huán)境中運(yùn)行 能夠操作加密數(shù)據(jù) 能夠與商業(yè)化的智能產(chǎn)品交互,提高并行優(yōu)化性能-一個(gè)基于結(jié)構(gòu)化覆蓋的云系統(tǒng)索引框架,All-Pairs 挑戰(zhàn)： 調(diào)度延遲 節(jié)點(diǎn)失效和數(shù)量 數(shù)據(jù)分發(fā) 隱藏限制 步驟： 建立模型 分發(fā)數(shù)據(jù) 調(diào)度作業(yè) 收集結(jié)果和清理,GridBatch DFS： GFS的擴(kuò)展，支持固定塊大小和固定塊數(shù)目 作業(yè)調(diào)度 Map控制器 分發(fā)控制器 合并控制器 遞歸控制器 笛卡爾控制器 Neighbor控制器,Cumulus：數(shù)據(jù)中心科學(xué)云,CARMEN： e-Science云計(jì)算,Reservoir：云服務(wù)融合平臺(tái) 可擴(kuò)展、靈活性、可靠性的框架,語(yǔ)義分析應(yīng)用

8、Web技術(shù)如RDF、OWL是完成數(shù)據(jù)集成任務(wù)的首選 MapReduce處理大規(guī)模數(shù)據(jù)經(jīng)濟(jì)、實(shí)用 因此二者結(jié)合提供了一個(gè)針對(duì)大規(guī)模異構(gòu)數(shù)據(jù)集成、查詢和推理的完美解決辦法 生物學(xué)應(yīng)用 BLAST GSEA,數(shù)據(jù)庫(kù)應(yīng)用 部署安裝和性能優(yōu)化 商業(yè)應(yīng)用 企業(yè)文本分析平臺(tái) 地理信息應(yīng)用 高性能工作流,安全威脅： 垃圾郵件 新型病毒 用戶權(quán)限 隱私信息,反垃圾郵件網(wǎng)格 分布式統(tǒng)計(jì) 協(xié)同貝葉斯學(xué)習(xí)算法,CloudAV：終端惡意軟件檢測(cè) 滯后殺毒 自身漏洞 關(guān)鍵改進(jìn)： 云端檢測(cè) N-Version保護(hù)技術(shù),AMSDS：惡意軟件簽名自動(dòng)檢測(cè) 輕量級(jí)桌面引擎 去噪，保留可能插入惡意代碼的部分 云端檢測(cè)反病毒（靜態(tài)分析、動(dòng)態(tài)分析） 破壞惡意軟件的PE格式,云平臺(tái)上的數(shù)字簽名身份認(rèn)證 控制個(gè)人信息的公開(kāi)度和使用 IdM必