電王科撞盍堂亟堂僮詮塞 中文摘要 論文首先討論了以太網(wǎng)以及以太網(wǎng)交換機的國內(nèi)外發(fā)展概況，以太網(wǎng)交 換機的分類。在此基礎上，分析了常見的分布式以太網(wǎng)交換機的硬件基本架 構與主控板、接口板、背板的硬件組成。整個論文著重研究分布式以太網(wǎng)交 換機軟件系統(tǒng)的組成，特別是其中的關鍵模塊：帶外通道、板管理、熱插拔、 熱備份。 帶外通道模塊是按軟硬結合的方式實現(xiàn)的，底層是以太網(wǎng)交換芯片 8 2 5 5 9 ，上層是兩種協(xié)議。對于此模塊，詳細地討論了8 2 5 5 9 芯片的驅(qū)動程 序的構成。然后，又分析了兩種協(xié)議s r t p 和u t p ( 即簡單可靠傳輸協(xié)議和 不可靠傳輸協(xié)議) 。最后，介紹了s r t p 的同步調(diào)用機制及其使用方法。 板管理模塊包含主備選舉、接口板注冊、熱備份、熱插拔等子模塊。這 里主要分析了主備選舉過程和接口板注冊過程。分布式系統(tǒng)的一個重要組成 就是“選舉”，因此論文詳細討論了如何在給定的硬件架構上實現(xiàn)典型的選 舉算法。 論文用單獨的兩章研究了余下的兩個關鍵模塊：熱插拔和熱備份。熱插 拔模塊就是用于處理熱插拔事件的核心模塊，它提供了一個良好的機制使得 其他受到熱插拔事件影響的模塊可以及時處理好熱插拔事件，因此，它保證 了系統(tǒng)的可擴展性和可維護性，是一個重要的功能模塊。而熱備份模塊提供 了一個機制，使得需要備份數(shù)據(jù)的模塊可以及時備份數(shù)據(jù)，并且在發(fā)生主各 倒換的時候，備用主控板可以迅速接管活動主控板的工作，因此，它保證了 系統(tǒng)的容錯性和可維護性。 論文最后對工作內(nèi)容做出了總結，對以太網(wǎng)交換機的未來做出了展望。 關鍵詞：分布式以太網(wǎng)交換機，帶外通道，板管理，熱備份，熱插拔 蟲壬整拉太堂亟堂位論童 a b s t r a c t t h ep a p e ri n t r o d u c e st h eg e n e r a ls i t u a t i o no ft h ee t h e r n e ta n de t h e r n e t s w i t c hf i r s t l y , a n dt h ec l a s s e so fe t h e r n e ts w i t c h b a s e do nt h e s ec o n t e n t s ，i t g i v e st h eb a s i ca r c h i t e c t u r eo f t h es w i t c h ，a n dt h ef r a m eo fm a i nc o n t r o lb o a r d ， i n t e r f a c eb o a r da n dt h eb a c kb o a r d t h ee m p h a s i so ft h ep a p e ri st h es o f t w a r e s y s t e mo f t h es w i t c h ，e s p e c i a l l yt h ei m p o r t a n tm o d e l sn a m e do u t b a n dc h a n n e l ， b o a r dm a n a g e m e n t s y s t e m ，h o tp l u g h o tp u l la n d h o tb a c k u p t h eo u t b a n dc h a n n e li sam e c h a n i s mw h i c hc o m b i n es o f t w a r e a n d h a r d w a r e t h el o wl e v e lo fi ti s 8 2 5 5 9 ，w h i c hi s ae t h e r n e ts w i t c hc h i p ，t h e u p p e ro n ea r et w op r o t o c o l s t h ep a p e rd e m o n s t r a t e st h ed e v i c ed r i v e ro f8 2 5 5 9 i n d e t a i l ，t h e n i ti n t r o d u c e st h et w o p r o t o c o l s 一s r t p ( s i m p l e r e l i a b l e t r a n s p o r tp r o t o c 0 1 ) a n du t p ( u n r e l i a b l et r a n s p o r tp r o t o c 0 1 ) a tt h ee n do f t h i s p a r t ，t h ep a p e rt e l l su st h es y n c h r o n i z a t i o ni n v o k em e c h a n i s mo fs r t p a n dt h e u s a g e o f i t b o a r dm a n a g e m e n ts y s t e mi n c l u d e ss o m es u b m o d e l s ，t h e ya r ee l e c t i o n ， r e g i s t e r ，h o tp l u g h o tp u l l ，h o tb a c k u p i nt h i sp a r t ，t h ep a p e rm a i n l yd i s c u s s e s t h ee l e c t i o na n dt h er e g i s t e r e l e c t i o ni sa ni m p o r t a n tp r o c e s so fd i s t r i b u t e d s y s t e m ，a n d t h ep a p e rd i s c u s s e sh o wt oi m p l e m e n t e de l e c t i o na r i t h m e t i c t h ef o l l o w i n gt w oc h a p t e r sa r eh o tp l u g h o tp u l l ( h p h p ) a n dh o tb a c k u p ( h b ) t h ef i r s to n ei sag o o d m e c h a n i s mw h i c hc a nb eu s e db yt h eo t h e rm o d e l s t op r o c e s st h ep l u ga n d p u l le v e n t s ，i tg u a r a n t e em a i n t a i n a b i l i t ya n de x t e n s i b i l i t y o ft h es y s t e m h bm o d e li st h ec o r em o d e lo fd a t ab a c k u p ，j u s tl i k eh p h pm o d e l i ta l s oa f f o r d saw e l td e s i g n e dm e c h a n i s mw h i c hc a nb eu s e db yo t h e rm o d e l si n d a t ab a c k u pp r o c e s s ，a n di te n s u r et h es t a n d b yc o n t r o lb o a r dc a ns o o nt a k eo v e r t h e j o bo f t h eo r i g i n a la c t i v ec o n t r o lb o a r dw h e nt h ec h a r a c t e ro ft h et w oc o n t r o l b o a r d si se x c h a n g e d ，s oi te n s u r e st h er e d u n d a n c y i nt h ee n d ，t h ep a p e rm a k e sap r o s p e c ta b o u tt h ef u t u r eo ft h ee t h e r n e t s w i t c h k e yw o r d s ：d i s t r i b u t e dl a ns w i t c h ，o u t b a n dc h a n n e l ，b o a r dm a n a g e m e n t ， h o t p l u g h o tp u l l ，h o tb a c k u p u 獨創(chuàng)性聲明 本人聲明所呈交的學位論文是本人在導師指導下進行的研究工 作及取得的研究成果。據(jù)我所知，除了文中特別加以標注和致謝的地 方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含 為獲得電子科技大學或其它教育機構的學位或證書而使用過的材料。 與我一同工作的同志對本研究所做的任何貢獻均已在論文中作了明 確的說明并表示謝意。 簽名： ，丕量 日期：z 口d 年3 月t e l 關于論文使用授權的說明 本學位論文作者完全了解電子科技大學有關保留、使用學位論文 的規(guī)定，有權保留并向國家有關部門或機構送交論文的復印件和磁 盤，允許論文被查閱和借閱。本人授權電子科技大學可以將學位論文 的全部或部分內(nèi)容編入有關數(shù)據(jù)庫進行檢索，可以采用影印、縮印或 掃描等復制手段保存、匯編學位論文。 ( 保密的學位論文在解密后應遵守此規(guī)定) 日期：二。f 年3 月日 蟲王抖拉去掌砸坐焦途塞 第一章引文 1 1 課題來源和主要研究工作 本人在港灣網(wǎng)絡有限公司進行了一年的實習工作，本課題來源就是港灣 網(wǎng)絡有限公司交換產(chǎn)品線的智能多層交換機的研發(fā)項目。該項目力圖研發(fā)一 系列運用先進高速以太網(wǎng)交換芯片，能在校園網(wǎng)、企業(yè)網(wǎng)、電信接入網(wǎng)、骨 干網(wǎng)等多種環(huán)境使用的以太網(wǎng)交換機。本人主要參與了其中分布式交換機的 帶外通道設計、板管理系統(tǒng)設計、熱插拔模塊和熱備份模塊設計、啟動固件 設計，裝備測試程序設計等幾個部分的工作。這篇論文就是對其中幾個重要 工作的總結。 1 2 ， 論文安排 本論文分為如下幾個部分： 第一章：引言。主要介紹以太網(wǎng)和以太網(wǎng)交換技術的發(fā)展，以及以太網(wǎng) 交換機的分類等內(nèi)容。 第二章：分布式以太網(wǎng)交換機硬件結構簡介，主要描述分布式以太網(wǎng)交 換機的幾個關鍵部分( 背板、主控板、接口板) 的硬件組成。 第三章：主要介紹交換機的軟件系統(tǒng)的組成，以及每一部分的功能、特 點等。 第四章：詳細描述了帶外通道的各部分組成和各部分的設計，尤其對底 層硬件驅(qū)動的設計做了詳細介紹。 第五章：描述了板管理系統(tǒng)的組成，詳細講述了其中的主備選舉過程， 然后簡介了接口板注冊過程。 第六章：描述了熱插拔模塊的組成和其中關鍵地方的設計 第七章：詳細的描述了熱備份模塊的功能以及設計。 第八章是論文的總結以及以太網(wǎng)交換機技術的未來展望。 1 3 以太網(wǎng)和以太網(wǎng)交換的發(fā)展 眾所周知，互聯(lián)網(wǎng)是歷史上發(fā)展最快的一種技術，從商業(yè)化到擁有5 0 0 0 萬用戶只用了4 年，目前全球用戶已超過1 5 億。而以太網(wǎng)技術則是推動互 聯(lián)網(wǎng)發(fā)展的一個非常重要的技術。本節(jié)首先回顧以太網(wǎng)從l o m b p s 發(fā)展到 1 0 ，0 0 0 m b p s 的過程，闡述以太網(wǎng)所以流行的原因，然后展示以太網(wǎng)的交換 技術在計算機網(wǎng)絡中的發(fā)展和應用。 電王科技太堂亟堂僮詮塞 1 3 ，1 以太網(wǎng)發(fā)展狀況 1 9 7 3 年，位于加利福尼亞p a l oa 1 t o 的x e r o x 公司提出并實現(xiàn)了最初 的以太網(wǎng)。r o b e r tm e t c a l f e 博士被公認為以太網(wǎng)之父，他研制的實驗室原 型系統(tǒng)運行速度是2 9 4 兆字節(jié)每秒( 3 m b s ) 。這個實驗性以太網(wǎng)用在了xe rox 公司早期的一些產(chǎn)品中，包括世界上第一臺配備網(wǎng)絡功能、帶有圖形 用戶接口的個人工作站一x e r o xa 1 t o 。x e r o x 沒能成功地將a l t o 或3 m b s 以太網(wǎng)商品化。這兩項實驗性技術幾乎完全保留在x e r o x 公司內(nèi)部，沒有向 外部傳播。 1 9 7 9 年，x e r o x 與d e c 公司( d i g i t a e q u i p m e n tc o r p o r a t i o n ) 聯(lián)合起 來，致力于以太網(wǎng)技術的標準化和商品化，并促進該項技術在網(wǎng)絡產(chǎn)品中的 應用。這是一個很理想的組合：x e r o x 擁有專利和技術，而d e c 是當時最 大的網(wǎng)絡計算機供應商。為了能確保容易地將商品化以太網(wǎng)集成到廉價芯片 中，在x e r o x 的要求下，i n t e l 公司也加入了這個聯(lián)盟，負責提供這方面的 指導。 由它們組成的d e c i n t e l x e r o x 發(fā)布了l o m b s 版的以太網(wǎng)標準【l 】。 ( d i x ) 三駕馬車，1 9 8 0 年9 月丌發(fā)并 這個標準所支持的唯一的一種物理介 質(zhì)是粗同軸電纜。1 9 8 2 年，發(fā)布了該標準的第2 版。這一版以太網(wǎng)對信令 做了略微修改，并增加了網(wǎng)絡管理功能【2 】。 與d i x 工作同步的是，i e e e 成立了如今聞名的8 0 2 計劃，其目標是為 l a n 技術標準化提供廣泛的工業(yè)框架。8 0 2 的第一次會議于1 9 8 0 年2 月在加 利福尼亞的舊金山召開。當8 0 2 委員會意識到無法將所有l(wèi) a n 統(tǒng)一到一個標 準上時( 而這恰恰是8 0 2 的初衷) ，陔委員會被分成了幾個工作組( w g ) ，每個 工作組從事不同的l a n 技術研究。i e e e8 0 2 3 研究基于以太網(wǎng)技術的標準， i e e e8 0 2 4 和8 0 2 5 工作組分別研究令牌總線與令牌環(huán)技術?！? 】 第一個i e e e 以太網(wǎng)標準8 0 2 ，3 于1 9 8 3 年6 月由i e e e 標準委員會通過， 該標準和d i x 發(fā)布的以太網(wǎng)標準基本使用相同的技術，只是在些細微的地 方有所區(qū)別。隨著非屏蔽雙絞線結構化布線系統(tǒng)的廣泛使用，早期的使用同 軸電纜的物理總線拓撲結構不再適應新的布線模式。s y n o p t j c s c o m m u n i c a t i o n s 公司認識到這是一個機遇，便開發(fā)了在雙絞線上傳輸 l o m b s 以太網(wǎng)信號的技術。該公司的一些發(fā)起人來自于最初開發(fā)以太網(wǎng)的 x e r o xp a l oa l t o 研究中心。他們的產(chǎn)品l a t t i s n e t 在商業(yè)上獲得了成功， 使這項技術走向了標準化。i e e e 于1 9 9 0 年9 月通過了使用雙絞線介質(zhì)的以 太網(wǎng)( 1 0 b a s e t ) 標準，該標準很快成為辦公自動化應用中首選的以太網(wǎng)技 術?！? 】 2 電王科技叁堂亟堂焦論塞 1 9 8 3 年到1 9 9 7 年是以太網(wǎng)網(wǎng)橋和交換機出現(xiàn)及迅速發(fā)展的年代。d e c 在1 9 8 4 年發(fā)布了商業(yè)化的透明局域網(wǎng)網(wǎng)橋產(chǎn)品。由于l a n 網(wǎng)橋比起當時其 他的產(chǎn)品具有性價比高，容易安裝使用的特點，它成了多個以太網(wǎng)互聯(lián)的主 流設備。1 9 8 7 年，國際上丌始研究把不同供應商的局域網(wǎng)通過網(wǎng)橋連接在 一起的工業(yè)標準，結果便是1 9 9 0 年出現(xiàn)的i e e e8 0 2 1 d 標準。1 9 9 1 年， k a l p a n a 公司開發(fā)了一種新型的可以連接大量設備，所有端口可以全容量工 作的網(wǎng)橋，并作為“以太網(wǎng)交換機”出售。這種設備很快開始在局域網(wǎng)互聯(lián) 市場中流行，并吸引了大量廠商加入。由于交換機的使用，以太網(wǎng)從以前的 共享總線式過渡到了全雙工的交換式以太網(wǎng)。1 9 9 5 年，i e e e 8 0 2 3 委員會開 始研究全雙工操作的標準，并在1 9 9 7 年通過了一項標準i e e e 8 0 2 3 x ?！? 】 交換式的以太網(wǎng)使得每個用戶可以獨占大量帶寬，這使得對服務器的帶 寬需求變得越來越大。對于服務器來說，l o m b p s 的以太網(wǎng)越來越顯得不夠 用了。所以，很多組織都在想辦法提高以太網(wǎng)的速度。1 9 9 l 到1 9 9 2 年間， g r a n dj u n c t i o n 公司開發(fā)了一種高速以太網(wǎng)，它的基本特征，如幀格式、 軟件接口、訪問控制方法等，都和普通的以太網(wǎng)一致，但是運行的速度卻達 到了l o o m b p s 。這是一個巨大的成功。在此基礎上，i e e e 標準委員會提出了 另外一項關于以太網(wǎng)的標準：快速以太網(wǎng)?！? 】隨即也就產(chǎn)生了大量的高速、 高容量的以太網(wǎng)產(chǎn)品。 快速以太網(wǎng)標準提出后不到一年，對千兆以太網(wǎng)的研究工作就開始了。 這種網(wǎng)絡的速度可以達到1 0 0 0 m b s ?！? 】所以，1 9 9 6 年i e e e 8 0 2 3 成立的 標準開發(fā)任務組開始制定關于千兆以太網(wǎng)的標準，并于1 9 9 8 年完成并通過 了千兆以太網(wǎng)標準i e e e8 0 2 3 z ?！? 】隨即在1 9 9 9 年，i e e e 又發(fā)布了 1 0 0 0 8 a s e t 標準。人們對于計算速度以及通信速度的需求總是無窮無盡， 而計算速度的不斷提高又不斷迫使通信速度的不斷提高?？焖僖蕴W(wǎng)滿足了 1 5 年來人們對網(wǎng)絡容量不斷膨脹的需要，它以驚人的速度在新安裝和升級 的l a n 中得到廣泛的部署。然而交換技術與快速以太網(wǎng)的結合無疑對網(wǎng)絡服 務器和園區(qū)主干網(wǎng)施加了更大的壓力。下圖顯示了當時以太網(wǎng)數(shù)據(jù)率的增長 趨勢。由此可見，千兆以太網(wǎng)的出現(xiàn)是合乎當時人們的需求的。 圖1 1 以太網(wǎng)數(shù)據(jù)率增長趨勢【3 】 千兆以太網(wǎng)建立在以太網(wǎng)發(fā)展2 0 年左右的技術基礎上，它是一次溫和 的演進，是一次合乎邏輯的技術進步，而不是一次革命。它建立在如下的技 術基礎上： 從共享的介質(zhì)到專用介質(zhì)的轉(zhuǎn)變。以太網(wǎng)最初使用共享的同軸電纜，隨 著i o l 3 a s e t 的發(fā)展，采用星型結構、專用電纜連接每個按入設備具有 明顯的優(yōu)點。l o o m b s 和千兆以太網(wǎng)都使用完全專用的介質(zhì)，它們都不 支持共享的同軸電纜或其他電纜。 從傳統(tǒng)以太網(wǎng)到交換式以太網(wǎng)的轉(zhuǎn)變。隨著l a n 接入設備的計算能力與 通信能力的提高，能夠充分利用高速l a n 性能的應用也迅速發(fā)展，出現(xiàn) 了以專用帶寬方式使用l a n 的趨勢，特別是在服務器和高性能工作站方 面尤為明顯。雖然干兆以太網(wǎng)支持以傳統(tǒng)共享帶寬方式使用信道，但當 千兆以太網(wǎng)以網(wǎng)橋( 交換機) 或路由器為中心，部署成專用帶寬系統(tǒng)時， 能夠達到最佳的性能和最大的帶寬。 使用全雙工以太網(wǎng)連接。當通信通道不再被多個設備共享時，就不需要 傳統(tǒng)c s m a c d 訪問控制機制了。這樣站與站之間、站與hub 之間以全 雙工方式( 同時發(fā)送和接收) 工作，既可增加信道容量，又使網(wǎng)絡范圍突 破c s m a c d 控制系統(tǒng)的限制。千兆以太網(wǎng)的基本結構形式是采用全雙工 的、專用的鏈路。這使得鏈路長度足以支持建筑物內(nèi)部和園區(qū)主干的應 用。 以太網(wǎng)流量控制。在專用信道與全雙工操作的概念基礎上，人們進一步 提出一種允許設備顯式地控制全雙工鏈路中數(shù)據(jù)流的方法。該方法在千 兆阻太網(wǎng)之前產(chǎn)生，是全雙工以太網(wǎng)標準( i e e e9 7 ) 的一部分。它使交 換機和其他使用全雙工鏈路的設備可以防止由于緩沖區(qū)溢出而造成的 不必要的幀丟失，隨之便產(chǎn)生了需要較少緩沖區(qū)的低價位產(chǎn)品。當緩沖 區(qū)溢出問題隨著信道的數(shù)據(jù)速率呈線性增長時，使用顯式流量控制方法 4 蟲壬措技太堂亟主堂焦絲塞 可制造出性能價格比更好的千兆以太網(wǎng)產(chǎn)品。某些新類型的千兆以太網(wǎng) 產(chǎn)品為了實現(xiàn)正確的操作，顯式流量控制是必需的，而不僅僅是一種輔 助機制。 介質(zhì)無關的接口。以太網(wǎng)的歷史表明，它要支持不同類型的底層物理介 質(zhì)。沒人能澆清哪種介質(zhì)是“最好的”。即使使用1 0 l b s 速率，以太網(wǎng) 也要支持粗和細同軸電纜、非屏蔽雙絞線、屏蔽雙絞線以及光纖。根據(jù) 特定的應用環(huán)境，任何一種介質(zhì)都可能是最適用的。因此以太網(wǎng)一般提 供了某些與介質(zhì)無關的接口。千兆以太網(wǎng)也并不例外，它支持1 0 0 m b s 接口的增強版本。 自協(xié)商技術。由于設備的性能差別越來越大，因此需要保證相互連接設 備的正確配置。如果沒有某些自動方式來確定和配置設備的功能，那么 系統(tǒng)管理人員的負擔會變得很沉重。為解決這個問題，最早在開發(fā)雙絞 線1 0 0 m b s 以太網(wǎng)時就出現(xiàn)了自動協(xié)商系統(tǒng)。千兆以太網(wǎng)引入了這種自 動協(xié)商系統(tǒng)，并把它擴展到支持1 0 0 0 m b s 的銅電纜和光纖?！? 】 然而，正如上面所述，人們對通信速度的需求是無止境的，因此，1 0 g b s 的以太網(wǎng)出現(xiàn)也就不足為奇了。2 0 0 2 年發(fā)布的i e e e8 0 2 3 a e 標準就是用于 定義這樣的網(wǎng)絡的?！? 】盡管現(xiàn)在1 0 g b s 的以太網(wǎng)還沒有得到大規(guī)模的應 用，但是可以預計，它在最近幾年就會成為城域網(wǎng)、企業(yè)網(wǎng)、接入網(wǎng)的主流 技術。因此，已經(jīng)有很多廠商都在研發(fā)支持1 0 g b s 的以太網(wǎng)的設備了，這 樣的廠商包括華為公司和港灣網(wǎng)絡有限公司。 1 3 2 以太網(wǎng)交換技術的發(fā)展和應用 最初的以太網(wǎng)上，某個節(jié)點要發(fā)送數(shù)據(jù)包時是采用純a l o h a 算法，這 種算法是指節(jié)點可以在任何時候發(fā)送數(shù)據(jù)包，一旦發(fā)生沖突則停止發(fā)送，待 沖突結束后再發(fā)送。這顯然是一種低效率的算法。后來，發(fā)送算法改為了分 槽a l o h a ，節(jié)點只能在一個時隙的起始時刻發(fā)送包。雖然分槽a l o h a 大 大提高了效率，但是還是有很多問題。這樣，經(jīng)過改進分槽a l o h a ，以太 網(wǎng)的傳輸技術成了現(xiàn)在還在使用的c s m a i c d 技術，即“載波監(jiān)聽多路訪問 沖突檢測”技術。它可以判斷某個節(jié)點是否允許發(fā)送數(shù)據(jù)包，并在發(fā)生沖 突時最優(yōu)化繼續(xù)發(fā)送的間隔時間。 然而，c s m a c d 只能檢測沖突，卻不能從根本上避免沖突。在早期， 以太網(wǎng)大量采用拓撲結構的是共享總線式。如下圖所示： 蟲王抖拉太堂亟生焦監(jiān)塞 圖1 2 共享總線式以太網(wǎng) 共享總線式以太網(wǎng)有明顯的缺點，即容錯性很差。如果總線上某個地方 地方出了故障，則整個網(wǎng)絡就都被破壞了，節(jié)點也就不能再正常地收發(fā)數(shù)據(jù) 包了。而且，共享總線式以太網(wǎng)需要在總線的兩端加上t e r m i n a t o r ( 終結器) ， 如果忘了加上該器件，則網(wǎng)絡的電氣特性也就不正確了。 這時，集線器( h u b ) 出現(xiàn)了，共享總線式以太網(wǎng)也進化到了星型拓撲 以太網(wǎng)。每一個節(jié)點都通過集線器連接在一起，如下圖所示。 圖1 3 星型拓撲以太網(wǎng) 由圖可見，如果某個節(jié)點和h u b 之間的連接出現(xiàn)故障，那么只有該節(jié)點 受到影響，其他的節(jié)點不會受到影響。而且，這種以太網(wǎng)也不再需要在沒有 連接的線纜終端加上終結器，簡化了設計。 為了能夠?qū)蓚€或者多個以太網(wǎng)連接在一起，擴展以太網(wǎng)的范圍，人們 又發(fā)明了中繼器( r e p e a t e r ) 。這是一個工作在物理層的設備，它能將輸入 的電信號放大、整形，再傳輸給輸出端口。中繼器具有很小的時延，是一個 重要的發(fā)明。 雖然h u b 改進了以太網(wǎng)的結構，中繼器擴展了以太網(wǎng)的范圍，但是此時 的以太網(wǎng)還不能隨意擴展。這是因為h u b 和中繼器都不能隔離以太網(wǎng)的沖突 域。 為了說明沖突域的概念，請看下圖。 6 出王抖控盔堂亟堂位監(jiān)塞 硅：二甲掣? ? 煎 ( o 】( d ) 圖1 4 沖突域說明 節(jié)點a 在0 時刻發(fā)送一數(shù)據(jù)包，在即將到達節(jié)點b 的t 時刻，該數(shù)掘包 和b 發(fā)送的數(shù)據(jù)包發(fā)生沖突。由于c s m a c d 的特性，沖突產(chǎn)生的噪聲信號返 回給節(jié)點a ，所花的時間是t 。所以a 從開始發(fā)包到檢測到?jīng)_突花了2 t 時間。 由此可見，檢測到?jīng)_突的最大時間是信號從網(wǎng)絡的一端傳輸?shù)搅硗庖欢怂?時間的兩倍。 因此，沖突域是指以太網(wǎng)的最大大小。如果節(jié)點所在的以太網(wǎng)的大小小 于該大小，那么它發(fā)出最小的包( 5 1 2 b i t ) 所需的時間應該大于信號從網(wǎng)絡一 端傳輸?shù)搅硪欢怂钑r間的兩倍。 由于中繼器和h u b 都是工作在物理層的，他們僅僅是完成物理信號的轉(zhuǎn) 發(fā)，其作用與一段電纜沒有本質(zhì)上的區(qū)別。所以，他們不能隔離沖突域，也 就不能無限制地擴展以太網(wǎng)。 與此同時，此時的以太網(wǎng)的帶寬還是被各個節(jié)點共享的。實際上，l a n 的最初概念是提供一種方法，允許多臺設備共享一個公共通信信道。l a n 的 目的不僅僅是在每對站之間提供持續(xù)的高吞吐量，而且是在所有相連的設備 之間提供可共享的高聚集容量( a g g r e g a t ec a p a c i t y ) 。在特定數(shù)據(jù)交換期 間，吞吐量可以非常高( 接近信道的總容量) ，但可以認為站不會持續(xù)需要這 樣的容量。高容量信道是以分時共享的方式提供給所有希望通信的設備的。 【3 】 2 0 世紀9 0 年代，由于計算能力大大增加。聯(lián)入以太網(wǎng)的計算機也越來 越多，人們迫切需要增加增加l a n 的容量來改進性能，這就需要把一個大的 以太網(wǎng)分成獨立的幾段。 因此，網(wǎng)橋出現(xiàn)了，這也是以太網(wǎng)從共享式向交換式發(fā)展的第一步。 網(wǎng)橋工作在第二層，即m a c 層。它能連接多個不同速率的以太網(wǎng)，并隔 7 簽蘭旱塑 一 電壬抖撞杰堂亟堂焦絲毫 離沖突域。這可以大大地擴展以太網(wǎng)的范圍，并且由于共享帶寬的節(jié)點減少 了，每個節(jié)點也分到了更多的帶寬。早期的網(wǎng)橋很少有多于兩個的端口，這 樣的網(wǎng)橋性能受到當時的硬件軟件條件的限制，不可能具有很高的性能。 到了2 0 世紀9 0 年代，使用先進的應用專用集成電路 ( a p p l i c a t i o n s p e c i f i c i n t e g r a t e dc i r c u i t ，a s i c ) 、處理器和存儲技術 可以容易地建造高性能網(wǎng)橋，這種網(wǎng)橋的所有端口都能以線速轉(zhuǎn)發(fā)幀。以這 種方式建造的網(wǎng)橋在市場上稱為交換機( s w i t c h ) ?！? 】由此可見，此時的交 換機就是高性能網(wǎng)橋，它完成的功能和網(wǎng)橋沒有本質(zhì)上的區(qū)別。 隨著高性能網(wǎng)橋一一交換機的出現(xiàn)，出現(xiàn)了新型的l a n ：“交換式l a n ”， 對于以太網(wǎng)，則是“交換式以太網(wǎng)”。這種網(wǎng)絡的一個明顯特征是用交換機 取代了集線器。它具備以下幾個特點： 1 隔離沖突域 在共享式以太網(wǎng)中，使用c s m a c d 算法來仲裁信道的使用。同沖突域 的多個站點不能同時發(fā)送數(shù)據(jù)包。而在交換式以太網(wǎng)中，交換機端口就是陔 端口上的沖突域終點。如果一個端口連接一個共享式l a n ，那么在該端口的 所有站間將產(chǎn)生沖突，而該端口的站和交換機其他端口的站之間將不會產(chǎn)生 沖突。如果每個端口只有一個端站，那么在任何一對端站間都不會有沖突。 2 網(wǎng)絡分段 f 如前面所說，交換機可用于網(wǎng)絡分段。如果每一個端口只連接一個端 站，這樣的分段方式已經(jīng)達到最大程度，則稱為“微分段”。 3 擴展距離限制 交換機可以擴展lan 的距離。每個交換機端口就是不同的l a n ，因此 每個端口都可以達到不同l a n 技術所要求的最大距離。 4 增加總容量 交換機提供的數(shù)據(jù)傳輸容量比共享式l a n 大得多。由于交換機的每個端 口具有專用容量，因此l a n 總容量隨著交換機的端口數(shù)量而增加。實際上， 總體容量會受到交換機內(nèi)部容量的限制。如果交換機的所有端口能同時支持 全線速通信，而不會因為交換機的限制丟失幀，那么這樣的交換機就稱為無 阻塞的。 5 數(shù)據(jù)率靈活性。 連接到共享式l a n 的所有設備必須使用同樣的數(shù)據(jù)率，不同l a n 可采用 r 蟲王抖撞太堂亟堂僮逭童 不同數(shù)據(jù)率。由于交換機的每個端口是一個不同的l a n ，因此每個端口可以 使用不同的數(shù)據(jù)率。 由全雙工以太網(wǎng)以及交換機構成的全雙工交換式以太網(wǎng)，以及在企業(yè) 網(wǎng)、城域網(wǎng)主干等領域得到了廣泛的應用，也使得以太網(wǎng)不再局限于以前的 局域網(wǎng)的范圍。 1 3 3 以太網(wǎng)交換機的分類 以太網(wǎng)交換機可以從多種方面進行分類。 從接口速率來分，可以分為i o m 以太網(wǎng)交換機、1 0 0 m 以太網(wǎng)交換機、 1 0 0 0 m 以太網(wǎng)交換機，還有1 0 m 1 0 0 m 復用的以及i o m i o o m i o o o m 復用的以 太網(wǎng)交換機。 從硬件架構上分，有盒式的，也叫做集中式的以太網(wǎng)交換機，也有機架 式的，也叫做分布式的以太網(wǎng)交換機。 從是否可以管理來分，有可管理的和不可管理的兩種以太網(wǎng)交換機。 從所能提供的交換層次來分，有二層交換機，三層交換機，以及三層以 上的交換機。 從所處的位置來分，有骨干網(wǎng)的交換機，接入網(wǎng)的交換機等。 本文所討論的，就是可管理的分布式以太網(wǎng)交換機，一般來說，它提供 了多個1 0 m i o o m 復用接1 3 ，多個l o o m 1 0 0 0 m 復用接口，它一般用于網(wǎng)絡的 匯聚層，以及骨干網(wǎng)絡，提供三層甚至多層的交換能力。 9 血王型拉太堂砸堂位j 金塞 第二章分布式以太網(wǎng)交換機硬件結構簡介 正如第一章所說，分布式以太網(wǎng)交換機主要用于企業(yè)網(wǎng)或電信城域網(wǎng)的 核心和匯聚層，作為骨干匯聚結點，所以分布式以太網(wǎng)交換機必須具備大 容量、高速率、高穩(wěn)定性、高容錯性、高擴展性等等特點。而交換機硬件則 是軟件系統(tǒng)賴以生存的必要條件，更是整個系統(tǒng)高效、穩(wěn)定運行的基礎，所 以對各硬件器件的電器特性都有嚴格的要求。根據(jù)分布式交換機的特點，在 硬件上分布式以太網(wǎng)交換機一般分為機架和背板，多個主控板( c o n t r o l b o a r d ) ，多個接1 ：3 板o fb o a r d ) ，有的還有多個交換板。下面分別介紹每個板 的結構。 2 1機架和背板 機架是整個交換機的基礎，是各個廠商開發(fā)的交換機都具有的結構。機 架一般具有多個插槽，從兩個到十六個甚至二十個不等。主控板、接口板、 交換板等可以插入這些插槽里面。機架的底部是個背板，機架上的插槽實 際上是由背板提供的。插槽上的電路提供了各個板之問的通信鏈路，以及給 各個板供電。 需要注意的是，板與板之間傳遞的信息有兩類，一類是控制信息，一類 是要轉(zhuǎn)發(fā)的數(shù)據(jù)信息。相應的，背板上的通信鏈路也分為傳遞控制信息的控 制鏈路和傳遞數(shù)據(jù)信息的數(shù)據(jù)鏈路，它們是由不同的電路實現(xiàn)的。下圖是一 個典型的8 槽機架的背板的邏輯控制鏈路圖。 d (d d 工 工t 一 )i 上 省略了】feo a r d 3 i fb o a r d 5 的連接 圖2 1 典型的背板邏輯控制鏈路圖 由圖2 1 可見，該背板的前兩個槽用于插入主控板，后面六個槽用于插 入接口板。并且，接口板之間不會直接傳遞控制信息，而是只是和主控板傳 遞控制信息。 下圖是同一個背板的邏輯數(shù)據(jù)鏈路圖，可以明顯看出它和圖2 1 的不同 1 0 電王揖撞盔堂亟堂僮盈塞 之處。 t 上工t 。 上 一(d 省略了1 fb o a r c ? 1 fb o a r d s c o n t r o lb o a r d 2 i fb o a r d 6 圖2 2 典型的背板邏輯數(shù)據(jù)鏈路圖 可以看出，兩個主控板之間并沒有數(shù)據(jù)鏈路。這是因為正常轉(zhuǎn)發(fā)的時候， 要交換的數(shù)據(jù)是不會在兩個主控板之間傳遞的，只會在主控板和接口板之間 傳遞。 圖2 1 和圖2 2 中并沒有插入交換板的插槽，這是因為交換板是用于內(nèi) 部數(shù)據(jù)交換的。而很多交換機的主控板上已經(jīng)有硬件來完成該功能了。 2 2主控板 主控板是整個分布式以太網(wǎng)交換機的控制中心和數(shù)據(jù)跨板交換的必經(jīng) 之地，不僅如此，它還負責路由計算等上層的功能。所以主控板是系統(tǒng)的靈 魂，正如圖2 1 和圖2 2 所示，要求它和其他的板建立全連接。同時，為了 系統(tǒng)的可靠性，一般的分布式交換機提供了兩個插槽甚至多個插槽來插入主 控板，來實現(xiàn)系統(tǒng)級的冗余備份。在正常運行時，個主控板作為活動主控 板( a c t i v ec o n t r o lb o a r d ) ，另外一個作為備用主控板( s t a n d b yc o n t r o lb o a r d l 。 當活動主控板出現(xiàn)故障時，備用主控板自動升級為活動主控板，接管活動主 控板的一切工作。這一特性對于對網(wǎng)絡可靠性要求較高的企業(yè)網(wǎng)用戶和運營 商用戶來說是非常重要的。 下圖是一個通用的主控板硬件架構圖，展示了主控板上的主要器件。 生士抖攮杰坐殛堂焦絲塞 圖2 3 典型的主控板硬件架構圖 其中，c p u 是系統(tǒng)的中樞，它管理著主控扳上的其他器件。作為一個嵌 入式通信系統(tǒng)的c p u ，它必須具備高性能、低功耗的特點。而且相比起接口 板的c p u 來說，它應該具備更高的性能。例如作者所參與研發(fā)的港灣網(wǎng)絡有 限公司的分布式交換機b i g h a m m e r 6 5 0 8 系列交換機采用的主控板c p u 就是 m o t o r 0 1 a 公司的m p c 7 5 5 ，這是一個廣泛應用于網(wǎng)絡、通信和其他嵌入式環(huán) 境下的高端r i s c 處理器。 p c i 橋芯片負責連接c p u 和p c i 總線，同時還負責控制r a m 存儲器。 主控板和其他板的數(shù)據(jù)鏈路具體由c r o s s b a r 芯片來實現(xiàn)，該芯片連接 到p c i 總線上接受c p u 的管理。它一般提供了多個高帶寬的接口與背板相連， 而其內(nèi)部設計則保證了多個接口輸入的數(shù)據(jù)包能全速地發(fā)送至c p u 或其它 接口，同時可以高速率地接收c p u 發(fā)來的數(shù)據(jù)包并送往指定接口。 c i c c 是指c o n t r o li n f o r m a t i o nc o m m u n i c a t i o nc h i p ( 控制信息通信 芯片) ，它負責建立起各個板之間的控制鏈路。圖2 3 中，c l c c i 是直接和 背板相連接的，它通過背板和另一個主控板的c i c c i 相連，建立起兩個主控 板之間蛉控制鏈路。c i c c 2 則與一個復用器( m u x ) 相連接，多個接口叛的c i c c 通過背板和主控板的復用器m u x 連接在一起。在多數(shù)情況下，為了簡化軟件 系統(tǒng)的設計，c l c c 一般是采用以太網(wǎng)控制芯片，復用器則是用一個h u b 芯 片。則板與板之間傳遞的控制信息格式都是基于以太網(wǎng)的幀格式的。 c i c c 、c r o s s b a r 都是連接到p c i 總線上接受c p u 管理的。 除了圖中列出的部件，主控板上可能還有i d e 接口芯片、f l a s h 、e e p r o m 、 n v r a m 、c f c a r d ，i s a 總線，串口等等器件，為主控板提供更多的功能和更 靈活的管理配置方式。 1 2 電王抖攮鑫堂亟堂僮垃塞 2 3接口板 接口板主要提供了多個以太網(wǎng)端口與其他的交換機或者用戶設備相連 接。背板提供了多個接口板插槽，在這些插槽中可以選擇一個插入接口板， 也可以全部插上接口板。一個設計良好的分布式以太網(wǎng)交換機應該能夠保證 既便全部的接口板都插上，也能保證每一個端口都能實現(xiàn)線速轉(zhuǎn)發(fā)數(shù)據(jù)包。 下圖是一個典型的接口板的硬件架構圖，展示了該接口板的主要硬件構 成。 圖2 4 典型的接口板硬什架構圖 分布式以太網(wǎng)交換機之所以是分布式的，就是因為雖然主控板的c p u 其中中央控制的作用，但是還是有一部分工作要由接口板自己完成。所以 c p u 也是接口板必不可少的部件。接口板的c p u 相對于主控板的c p u ，可 以是性能較低的，同時也要滿足低功耗的條件。前面所說的b i g h a m m e r 6 5 0 8 交換機就采用了m p c 8 2 4 5 作為接口板的c p u 。 同樣的，p c i 橋芯片連接了c p u 同p c i 總線，還連接了c p u 和r a m 存儲器。 c i c c l 和c i c c 2 這兩個芯片分別同兩個主控板的m u x 器件連接，形成 一個控制信息傳輸鏈路。有時這個控制信息傳輸鏈路也被稱為帶外通道。 由于接口板要執(zhí)行具體的硬件交換業(yè)務，所以它需要采用一個專門的器 件。一般來說這是一個a s i c 器件，我稱之為包處理器( p a c k e tp r o c e s s e r ) ， 它在結構上的最底層是m a c 層，并通過物理接口芯片( p h y ) 和對外端口 相連接。 為了能與主控板連接形成數(shù)據(jù)鏈路，接口板上還有一個重要器件，即 a d a p t e r 。它與包處理器通過專門接口高速連接，并通過背板和主控板上的 c r o s s b a r 相連接，形成了接口板和主控板之間的高速數(shù)據(jù)鏈路。這個鏈路也 被稱為帶內(nèi)通道。 l3 曳王抖撼盔堂亟主堂焦論塞 一般來說，a d a p t e r 和p a c k e tp r o c e s s e r 都是p c i 器件，都可以連接到p c i 總線上接受c p u 的管理。 2 4，j 、結 本章描述了較為通用的分布式以太網(wǎng)交換機的硬件架構，事實上，像華 為公司、c i s c o 公司還有如港灣網(wǎng)絡有限公司這樣的通信設備制造商幾乎 都采用了本章所用的架構，只是在具體的細節(jié)部分有區(qū)別而已。本章并沒有 完全展示交換機上的所有硬件，因為除了所介紹的主要設備，其他還有一些 輔助性的芯片，如串口芯片、f l a s h 芯片、e e p r o m 芯片等，各廠家采用 的可能并不相同，既使對于同廠商的不同產(chǎn)品，這些輔助性的設備也可能 不相同。而交換機的核心芯片，如a d a p t e r 、c r o s s b a r 、p a c k e tp r o c e s s e r 等 大都是采用的國外的成熟產(chǎn)品，而且這些芯片的開發(fā)商同時還會提供硬件解 決方案。所以，要使交換機有自己的特色，能夠高效穩(wěn)定地運行，更重要的 是設計良好的軟件，這也是后續(xù)幾章將要討論的內(nèi)容。 1 4 血王疊掛叁堂亟堂僮迨童 第三章軟件系統(tǒng)架構和各部件簡介 軟件是整個系統(tǒng)的靈魂，是系統(tǒng)安全、可靠運行的重要保證之 必須把各個軟件模塊有機的組合在一起，共同完成對整個系統(tǒng)的控制， 也必須考慮軟件系統(tǒng)的可擴展性，以保證系統(tǒng)的可持續(xù)性開發(fā)與升級。 所以 同時 由第二章可知，整個分布式交換機分為三大部分：主控板、接口板、背 板。其中背板只是一個不需軟件干預的純硬件電路，只有主控板和接口板需 要軟件。所以，相應的，分布式交換機的軟件系統(tǒng)也分為兩大塊，一塊是運 行在主控板上的，稱為c c u ( c e n t r a lc o n t r o lu n i t ) ，一塊是運行在接口 板上的，稱為l m u ( l i n e c a r dm a n a g e m e n tu n i t ) 。以下分別介紹這兩部分的 基本結構。 3 1 主控板軟件c c u 作為主控板上的軟件，c c u 主要負責整個系統(tǒng)的控制，負責協(xié)議處理 等全局的事務，作為分布式交換機的核心軟件，c c u 還必須能夠擴展很多 對于現(xiàn)代網(wǎng)絡建設非常有用的功能，例如防火墻功能、反病毒功能等【8 】。 同時，c c u 還必須保障系統(tǒng)能有高穩(wěn)定性，高容錯性。所以，c c u 相對于 l m u 來說更加復雜。下圖是c c u 的結構圖。 圖3 1 主控板軟件c c u 結構圖 以下小節(jié)分別介紹c c u 軟件結構圖中各個部分。 3 1 1 實時操作系統(tǒng)( r t o sk e r n e l ) 實時操作系統(tǒng)是整個交換機軟件系統(tǒng)的內(nèi)核，它提供基本的操作系統(tǒng)服 務，例如任務管理、任務間通信、內(nèi)存管理、中斷管理、系統(tǒng)初始化等等基 本服務。 由于分布式交換機的應用范圍一般是企業(yè)網(wǎng)、電信骨干網(wǎng)，要求有很高 的交換容量，以及很快的反應速度，同時還支持多種協(xié)議和應用。所以其操 作系統(tǒng)的內(nèi)核也必須支持這些特點，而且，還必須有多任務的特點，般的 蟲王抖技杰堂亟堂位坌塞 通用操作系統(tǒng)是不能勝任的。目前，各大主流廠商，如c i s c o 、華為、港 灣網(wǎng)絡、j u n i p e r 等都選擇了w i n d r i v e r 公司的v x w o r k s 作為它們的產(chǎn)品的 操作系統(tǒng)內(nèi)核。 v x w o r k s 是一個高性能的強實時的操作系統(tǒng)，對于實時應用，它還是一 個有效的開發(fā)環(huán)境。v x w o r k s 系統(tǒng)提供多處理器間和任務間高效的信號燈、 消息隊列、管道、網(wǎng)絡透明的套接字。實時系統(tǒng)的另一關鍵特性是硬件中 斷處理。為了獲得最快速可靠的中斷響應，v x w o r k s 系統(tǒng)的中斷服務程序i s r 有自己的上下文。 v x w o r k s 提供了如下幾大類基本功能： 任務管理 事件和異步信號服務 信號量服務 消息隊列服務 內(nèi)存管理 中斷服務程序 時鐘管理和定時器服務 出錯處理 v x w o r k s 實時操作系統(tǒng)由4 0 0 多個相對獨立的、短小精煉的目標模塊組 成，用戶可根據(jù)需要選擇適當模塊來裁剪和配置系統(tǒng)，這有效地保證了系統(tǒng) 的安全性和可靠性。系統(tǒng)的鏈接器可按應用的需要自動鏈接一些目標模塊。 這樣，通過目標模塊之間的按需組合，可得到許多滿足功能需求的應用。 當然，要得到v x w o r k s 的優(yōu)秀功能，同時也必須付出高昂的代價。廠 商必須為每一件使用了v x w o r k s 系統(tǒng)的產(chǎn)品支付版權費用，除此之外，購 買開發(fā)環(huán)境也必須花一筆錢。 很顯然，這樣高昂的代價不是每個廠商都能承受和愿意承受的。所以， 目前國內(nèi)的中興通信、港灣網(wǎng)絡等通信設備制造商都在探尋將l i n u x 操作系 統(tǒng)用在交換機中的道路。 前面說過，對于分布式交換機這樣對實時性要求很高的應用，操作系統(tǒng) 內(nèi)核必須也支持高的實時性和很好的多任務特性。l i n u x 是一個內(nèi)核源代碼 開放、具備一整套工具鏈、有強大的網(wǎng)絡支持及成本低廉的操作系統(tǒng)，但是 作為一款非常優(yōu)秀的桌面操作系統(tǒng)，l i n u x 在實時性能方面有先天的缺陷。 所以，要在通信設備，尤其是分布式交換機中應用l i n u x ，就必須對l i n u x 進行實時性改造。 改造l i n u x 的實時性有多種途徑，例如： l對調(diào)度機制的改造。 1 6 皇王抖掛盔堂亟堂僮監(jiān)塞 被動調(diào)度中，l i n