1、分布式系統(tǒng),主講：曹晟,教材,Distributed Systems Concepts and Design分布式系統(tǒng)概念與設(shè)計(jì) 中文版，原書第4版 機(jī)械工業(yè)出版社 金蓓弘 曹冬磊 等譯 Distributed systems principles and paradigms 中文版，原書第2版 清華大學(xué)出版社 辛春生 陳宗斌 等譯,成績構(gòu)成 10% 平時成績 20% 大作業(yè) 70% 期末測試 先行課: 計(jì)算機(jī)網(wǎng)絡(luò) 操作系統(tǒng) 面向?qū)ο缶幊?第1章 分布式系統(tǒng)的基本特征,引言 分布式系統(tǒng)的目標(biāo)、定義、特點(diǎn) 分布式系統(tǒng)舉例 挑戰(zhàn) 總結(jié),引言,分布式系統(tǒng)的目標(biāo) 資源共享(resource shari

2、ng) 一些計(jì)算機(jī)通過網(wǎng)絡(luò)連接起來，并在這個范圍內(nèi)有效地共享資源 硬件的共享，軟件的共享，數(shù)據(jù)的共享，服務(wù)的共享 媒體流的共享（動態(tài)的資源形式） 協(xié)同計(jì)算(collaborative computing) 并行計(jì)算，分布式計(jì)算,引言,什么是分布式系統(tǒng)？,A distributed system is defined as one in which components at networked computers communicate and coordinate their actions only by passing messages.,引言,分布式系統(tǒng)的問題源于下面三個特點(diǎn)： 并發(fā)性

3、（concurrence) 多個程序（進(jìn)程，線程）并發(fā)執(zhí)行，共享資源 沒有全局時鐘(global clock) 每個機(jī)器的有各自的時間，沒有辦法做到統(tǒng)一，程序間的協(xié)調(diào)靠交換消息 故障獨(dú)立性(independent failure) 一些進(jìn)程出現(xiàn)故障，并不能保證其它進(jìn)程都能知道,第1章 分布式系統(tǒng)的基本特征,引言 分布式系統(tǒng)舉例 Internet / Intranet / Mobile Computing Maze / Real Course / UpStore 挑戰(zhàn) 總結(jié),分布式系統(tǒng)舉例,典型的分布式系統(tǒng) The Internet Intranet 移動計(jì)算和普適計(jì)算 分布式系統(tǒng)的新應(yīng)用 P2

4、P computing Cloud computing CPS（Cyber-physical system）,分布式系統(tǒng)舉例,分布式系統(tǒng)舉例,分布式系統(tǒng)舉例,Internet & Intranet 難點(diǎn)： 可擴(kuò)展性(DNS, IP) 資源的定位 異構(gòu) 成就： TCP/IP協(xié)議是因特網(wǎng)最重要的技術(shù)成果。,分布式系統(tǒng)舉例,移動計(jì)算（mobile，nomadic computing） 移動設(shè)備 筆記本電腦 手持設(shè)備 PDA, 手機(jī), 攝像機(jī),數(shù)碼照相機(jī) 可穿戴設(shè)備 計(jì)算機(jī)手表,數(shù)字眼鏡 家電設(shè)備,分布式系統(tǒng)舉例,移動計(jì)算 在移動中執(zhí)行計(jì)算任務(wù)的能力，訪問因特 網(wǎng)的資源， 位置清楚的計(jì)算（locati

5、on aware computing)： 在移動環(huán)境中，能夠發(fā)現(xiàn)并附近的資源。 自組網(wǎng)絡(luò)(Ad Hoc) 要解決的問題 避免由于移動而需要重新配置的問題（DHCP） 無線帶寬有限，需要考慮QoS 私秘和安全問題的解決 Ad Hoc網(wǎng)絡(luò)的路由問題,分布式系統(tǒng)舉例,普適計(jì)算（Ubiquitous computing ，pervasive computing) 無處不在是指各種小型計(jì)算設(shè)備最終將普及到到現(xiàn)在的日常物品中，不被注意。 IP,IP,IPv6 移動計(jì)算和普適計(jì)算的區(qū)別 有些技術(shù)可能通用，例如，無處不在的計(jì)算環(huán)境可能是無線的。但是，兩種計(jì)算的應(yīng)用目標(biāo)是完全不同的。,分布式系統(tǒng)舉例,分布式系統(tǒng)

6、舉例,第1章 分布式系統(tǒng)的基本特征,引言 分布式系統(tǒng)舉例 挑戰(zhàn) 總結(jié),假設(shè),如果網(wǎng)絡(luò)能保證信息不丟失 如果所有發(fā)出去的消息都能在預(yù)期的時間內(nèi)到達(dá) 如果每個機(jī)器上的時鐘都是精準(zhǔn)的 如果機(jī)器不會宕機(jī)，進(jìn)程不會出故障 一個沒有實(shí)踐經(jīng)驗(yàn)的開發(fā)者，通常會在上述假設(shè)，很理想化一個系統(tǒng)的實(shí)現(xiàn)。只注重應(yīng)用需求，而忽略實(shí)際中會出現(xiàn)什么問題。 這樣的系統(tǒng)，在實(shí)際中根本不能用。,下列問題你想到了嗎？,什么樣的結(jié)構(gòu)合適？ 模型 兩個機(jī)器要進(jìn)行消息傳遞，我怎么知道對方是否收到了我的信息？我在等待一個回復(fù)，可是它遲遲不到，怎么辦？ 進(jìn)程間的通信 網(wǎng)絡(luò)上異構(gòu)的機(jī)器怎樣進(jìn)行互操作？ 分布對象（中間件） 我的文件能不能被別人訪

7、問了 分布式系統(tǒng)中的安全,下列問題你想到了嗎？,能像用資源管理器一樣管理遠(yuǎn)程文件嗎？ 文件服務(wù)器 如何分布資源，如何找到它們？在海量資源的情況下，服務(wù)器不堪重負(fù)怎么辦？ 名字服務(wù) 通知其它機(jī)器我上傳新的資源了，我怎么知道其它節(jié)點(diǎn)是不是收到了？我收到了一個信息，我怎么知道是真是假？ 協(xié)調(diào)和商定 上傳或下載文件操作執(zhí)行到中途，不想做了，能刪除影響嗎？ 分布式事務(wù)與一直性維護(hù),挑戰(zhàn)-異構(gòu)性(Heterogeneity),網(wǎng)絡(luò)協(xié)議 Ethernet, token ring, etc 硬件 big endian / little endian 操作系統(tǒng) different API of Unix and

8、 Windows 編程語言 different representations for data structures 開發(fā)者實(shí)現(xiàn)方式的不同 no application standards,中間件（Middleware） 應(yīng)用到軟件層，用來屏蔽底層的異構(gòu)性。例如Java的RMI, 提供遠(yuǎn)程調(diào)用的接口，可以在任何操作系統(tǒng)上運(yùn)行。 移動代碼（Mobile code） 移動代碼需要在不同的機(jī)器間移動并執(zhí)行，必須解決異構(gòu)的問題。 虛擬機(jī)運(yùn)行在不同的機(jī)器或系統(tǒng)上，代碼在虛擬機(jī)上運(yùn)行。,挑戰(zhàn)-異構(gòu)性(Heterogeneity),挑戰(zhàn)開放性（openness),計(jì)算機(jī)系統(tǒng)的開放性 一個系統(tǒng)是否可以擴(kuò)充以

9、不同的方式重新實(shí)現(xiàn)。例如：UNIX 分布式系統(tǒng)的開放性 在多大程度上新的資源共享服務(wù)可以加到系統(tǒng)中來。例如：WEB, plug-in RFC,挑戰(zhàn)開放性（openness),關(guān)鍵的接口是公開的 (API),挑戰(zhàn)開放性（openness),統(tǒng)一的通信機(jī)制 (例如 XML-RPC),挑戰(zhàn)安全性（security）,機(jī)密性（Confidentiality） 防止未經(jīng)授權(quán)的個人訪問資源 e.g. ACL in Unix File System 完整性(Integrity) 防止數(shù)據(jù)被篡改和破壞 e.g. checksum 可用性（Availability） 防止對所提供服務(wù)的干擾 e.g. Denia

10、l of service,挑戰(zhàn)可擴(kuò)展性（ Scalability）,即使系統(tǒng)規(guī)模有一定規(guī)模的擴(kuò)展，無論是資源還是用戶，系統(tǒng)的性能保持在一定的水平 E.g. the Internet 設(shè)計(jì)上的挑戰(zhàn) 控制物理資源的代價(jià)，e.g.,隨著用戶數(shù)的增長，服務(wù)器的增長代價(jià)不能超過 O(n) 控制性能損失, e.g., DNS no worse than O(logn) 控制軟件資源被耗盡，e.g., IP address 防止性能瓶頸, e.g., partitioning name table of DNS, cache and replication,挑戰(zhàn)可擴(kuò)展性（ Scalability）,挑戰(zhàn)故障

11、處理（ Failure handling ）,檢測故障 e.g. 用校驗(yàn)和檢測數(shù)據(jù) 但是在分布式系統(tǒng)中確切的知道遠(yuǎn)程服務(wù)器是否出現(xiàn)故障是很難做到的。 屏蔽故障 e.g. 重發(fā)沒有收到的消息, 備份服務(wù)器等 故障容錯 e.g. 無法做到屏蔽故障，至少讓用戶知道出現(xiàn)了問題，讓用戶自由選擇是否繼續(xù)請求服務(wù)。 故障恢復(fù) e.g. 操作日志，恢復(fù)。 冗余策略 e.g. IP route, replicated name table of DNS,挑戰(zhàn)并發(fā)（ Concurrency）,正確性 多個進(jìn)程并發(fā)訪問共享資源，要保證被訪問數(shù)據(jù)的正確性，不能出現(xiàn)不一致。 Performance 多個并發(fā)操作保證性能

12、 E.g. Maze 索引服務(wù)器，按UID，將任務(wù)分布給10個邏輯進(jìn)程來處理。,挑戰(zhàn)透明性（Transparency）,訪問透明（Access transparency） 使用同樣的操作去訪問本地資源和遠(yuǎn)程資源。E.g. NFS / Windows File Sharing 位置透明（Location transparency） 訪問資源的時候，不需要知道資源的位置。E.g. URL 并發(fā)透明（Concurrency transparency） 幾個進(jìn)程同時訪問資源，互不干擾,挑戰(zhàn)透明性（Transparency）,復(fù)制透明（Replication transparency） 使用多個資源的副

13、本來提高可靠性和性能，用戶或者應(yīng)用程序開發(fā)者并不需要了解副本技術(shù)。 故障透明（Failure transparency） 在存在故障的情況下，用戶和應(yīng)用仍可完成他們的任務(wù), e.g., email,挑戰(zhàn)透明性（Transparency）,移動透明（Mobility transparency） 資源或者客戶端的移動不影響用戶及程序的操作。E.g. mobile phone 性能透明（Performance transparency） 允許系統(tǒng)重新配置改善性能，例如改變負(fù)載。 擴(kuò)展透明（Scaling transparency） 允許系統(tǒng)和應(yīng)用擴(kuò)大規(guī)模無需改變系統(tǒng)的結(jié)構(gòu)和用算法。,第1章 分布式系統(tǒng)的基本特征,引言 分布式系統(tǒng)舉例 挑戰(zhàn) 總結(jié),總結(jié),分布式系統(tǒng)無