本期專題MonthlyTopic面向時隙光交換網(wǎng)絡的納秒級時間同步技術面向時隙光交換網(wǎng)絡的納秒級時間同步技術NanosecondTimeSynchronizationTechnologyforTime-slotOpticalSwitchingNetworksDingRui，DangDaohang，GuoYuanzhi，XueXuwei，GuoBingli，HuangShanguo（BeijingUniversityofPostsandTelecommunica?tions，Beijing100876，China）隨著互聯(lián)網(wǎng)和通信服務的飛速發(fā)展，數(shù)據(jù)中心組網(wǎng)架構的研究重心由電交換轉向光交換。由于光交換網(wǎng)絡進行時隙交換之前需要同步時鐘信號，時間同步的精度和穩(wěn)定性是提升光網(wǎng)絡性能的重要參數(shù)。提出基于FPGA實現(xiàn)的時間同步方案，與現(xiàn)有方案相比，該方案在降低了同步復雜性的同時具有更高的精度和穩(wěn)定性。測試結果表明時間同步后的偏移量不超過2.56ns，在不同光纖長度、運行時長和環(huán)境溫度下的時鐘抖動為皮秒級。Abstract：關鍵詞：Keywords：1概述隨著互聯(lián)網(wǎng)的普及和通信服務的快速發(fā)展，流媒體、云計算等相關應用業(yè)務對數(shù)據(jù)流量的需求增加，數(shù)據(jù)中心組網(wǎng)的規(guī)模不斷擴大，高密度服務器之間的通信對帶寬提出更高的要求，而傳統(tǒng)的電交換架構受限于帶寬和能耗，逐漸難以滿足通信網(wǎng)絡對傳輸容量及速率的要求。由于對光交換技術的研究和需求逐收稿日期：2023-12-15漸增加，目前已有研究將光交換引入數(shù)據(jù)中心架構，與全電交換相比，全光交換在帶寬、時延等方面有更好的性能。為解決大規(guī)模數(shù)據(jù)中心的問題，滿足它對高帶寬、高效數(shù)據(jù)傳輸?shù)男枨?，同時兼顧通信系統(tǒng)的擴展成本，通常采用光電混合架構，兼顧光交換和電交換的優(yōu)勢，可以靈活地選擇傳輸方式。在數(shù)據(jù)中心換的前提是精確的時間同步，確保各個機架的時隙對222024/02/DTPT面向時隙光交換網(wǎng)絡的納秒級時間同步技術本期專題MonthlyTopic齊，同步的精度越高，劃分的時隙越短，控制器在分配帶寬時越靈活，可根據(jù)實際流量的需求實現(xiàn)動態(tài)分在已有的光網(wǎng)絡架構中，通常使用基于網(wǎng)絡傳輸時間戳的同步協(xié)議，其精度在毫秒級或微秒級，或者采用精度能達到納秒級甚至亞納秒級的高精度同步方案，但是該方案依賴于特定硬件對相關協(xié)議的支持。目前能長時間保持穩(wěn)定的時間同步模塊的最高精度為10ns。微軟提出一種快速光交換架構Sirius，并根據(jù)自身的調度特點設計了一種新的同步協(xié)議，能達到百皮秒級的時間同步，但是需要在每個時隙進行同步，挑選質量最佳的時鐘作為主時鐘。TDM技術在時域上復用多路信號，可在同一個信道上傳輸多路數(shù)據(jù)。為了保證分割時隙的準確性，需要提前對各端點進行時間同步。本文提出一種面向時隙光交換網(wǎng)絡的納秒級時間同步技術，基于FPGA（FieldProgrammableGateArray）用硬件描述語言實現(xiàn) IEEE1588v2協(xié)議。由于機架的主從端都通過FPGA實現(xiàn)該協(xié)議的同步邏輯，所以不需要額外的硬件支持就可以實現(xiàn)高精度的時間同步，只需要在數(shù)據(jù)鏈路層將時間同步報文插入數(shù)據(jù)包并通過以太網(wǎng)封裝傳輸即可。同時，與需要考慮網(wǎng)絡抖動而在每個時隙挑選最佳時鐘的方案相比，硬件開發(fā)板的晶振時鐘源質量較好，能長時間保持穩(wěn)定，不需要頻繁啟動同步進程。對交換模型進行了實驗測試，實驗結果證明了基于FPGA開發(fā)的時間同步模塊可以實現(xiàn)納秒級同步，單個同步周期的主從時鐘偏移量不超過2.56ns，即一個時鐘周期，且能保持長時間的穩(wěn)定，同步后的時鐘抖動不超過20ps。2架構實現(xiàn)思路2.1系統(tǒng)結構種無源光波導元件，可以實現(xiàn)多波長的路由和分配。為解決數(shù)據(jù)中心規(guī)模擴大帶來的帶寬、時延、能耗等問題，引入光交換器件AWGR和可調諧激光器來增加帶寬并降低能耗，基于FPGA的同步與調度可以滿足高速數(shù)據(jù)處理和不同規(guī)模網(wǎng)絡處理的需求。通過AWGR的多波長輸入輸出和周期性路由特性，提升帶寬利用率。各機架完成同步是基于FPGA的調度模塊負責集中調度的前提，因此采用IEEE1588v2協(xié)議實現(xiàn)納秒級硬件同步。每個機架包含架頂（TopofRack，ToR）交換機，負責機架內服務器之間的通信。光交換具有高帶寬、低時延的特點，而電交換具有更好的控制性能，為了更好地分配和利用帶寬，通過分流模塊將大象流和老鼠流分別轉發(fā)到光路和電路，減少網(wǎng)絡堵塞，降低延遲和丟包率，提升資源利用率。整體系統(tǒng)架構如圖1所示。SchedulerToR3ToR4Rack3Rack4ElectricalSwitchToR1ToR2HserversRack1Rack2圖1系統(tǒng)架構2.2時間同步模塊在光網(wǎng)絡架構中，每個ToR都包含時間同步模塊，在系統(tǒng)初始化完成后，調度器作為整體控制器和時間同步的主端，并以其時鐘為基準同步各從端ToR的時鐘?；贔PGA實現(xiàn)的控制器負責同步、流控等功能，配置并調用Xilinx官方IP核10G/25GHighSpeedEth?ernetSubsystem。使用AXI4_Lite協(xié)議控制FPGA計數(shù)器的初始化和修改，時間同步的主從端分別通過FPGA實現(xiàn)，用戶端同步模塊的數(shù)據(jù)通過AXI4_Stream發(fā)送到IP核，IP核封裝數(shù)據(jù)并通過光口發(fā)送。IP核的以太網(wǎng)接口包括PCS/PMA和MAC2個部分，用戶數(shù)據(jù)通過axi協(xié)議傳入10GMAC核并進行以太網(wǎng)協(xié)議的封裝，MAC核和PHY核之間通過xgmii接口相連，10GPHY將數(shù)據(jù)進行編/譯碼并轉換為串行通過GTY輸出，SFP經(jīng)過光電轉換將數(shù)據(jù)通過光纖發(fā)送到其他設備。具體的1588v2協(xié)議通過硬件編程語言實現(xiàn)，采用雙跳模式，即將事件報文和時間戳分開發(fā)送。先由主端向從端發(fā)送Sync報文并記錄時間戳t1，表明同步開郵電設計技術/2024/0223本期專題MonthlyTopic面向時隙光交換網(wǎng)絡的納秒級時間同步技術發(fā)送到從端記錄。從端發(fā)送Delay_Req報文并記錄時lay_Resp報文發(fā)送到從端。由此，t1與t2的差值就是鏈路延遲與時鐘偏移之和，t3與t4的差值為鏈路延遲與時鐘偏移之差，通過差值相加減并除以倍數(shù)即可分別計算出鏈路的延遲與時鐘偏移。由FPGA實現(xiàn)的同步模塊結構如圖2所示。選定控制器做Master，以該時鐘為標準送同步信號并交互時間戳，在一個同步周期結束后，從端根據(jù)接收的時間戳計算時延和偏移，修改本地計3實驗設置用實驗測試平臺搭建4×4的交換模型，使用4個FPGA模擬ToR1~4，另1個FPGA作為集中控制器負責整體的調度。每個ToR都有4個25Gbit/s的傳輸通道，其中2個連接到電交換機，一個端口通過可調諧光模塊走光纖鏈路與AWGR相連，SFP28收發(fā)器提供25Gbit/s的傳輸帶寬。選定控制器為主端，ToR1~4為從端，以控制器上的時鐘為主時鐘，通過時間戳的交互計算時鐘偏移量，同步其他4個ToR的時鐘。在正式傳輸數(shù)據(jù)前，同步各架頂交換機的時鐘，并通過示波器測量主從時鐘的偏差。同步完成后進行數(shù)據(jù)傳輸，使用以太網(wǎng)測試儀發(fā)包并監(jiān)測流量狀態(tài)。4實驗結果主從端FPGA內部均有一個基于390.625MHz時鐘的計數(shù)器，導出一個在計數(shù)值變化時會翻轉的電平線連接到示波器測量，采樣約20000個數(shù)據(jù)點并計算所示，其中綠色波形為主時鐘，黃色波形為從時鐘，采樣結果顯示時鐘偏移為2.0269ns。紅色波形為幾萬個數(shù)據(jù)點的分布圖，峰值范圍從1.9834ns到2.0685根據(jù)示波器的結果，以RMS值作為有效數(shù)據(jù)點繪圖，測量不同運行時長下的時鐘偏移，結果如圖4所示，偏移量維持在一個穩(wěn)定值。由于時間同步模塊可以在一個時鐘周期內完成同步，采用的時鐘頻率為390.625MHz，因此時鐘偏移量不超過2.56ns。為考察同步后時鐘的穩(wěn)定性，分別測量不同光纖長度、運行時長和環(huán)境溫度下的同步結果，數(shù)據(jù)點的采樣方式與圖4相同。1013m長度的光纖對時鐘偏移的影響，差值保持在皮秒級，雖然在1m到15m光纖長度下時鐘偏移由396ps增加到了800ps，但512m和1013m長度下的同步結果基本都在800ps左右。由圖6可看出，不同光纖長度下，時鐘抖動在10.086ps到10.630ps之間，穩(wěn)定性較好。實驗結果表明光纖長度對時間同步的結果沒有顯著影響，不影響納秒級光交換系統(tǒng)的性能。FPGA作為從端ToR1~4，對多節(jié)點同步的情況下各點的同步效果進行測試，結果如圖7所示。從圖7可以看出，時鐘抖動基本保持在一個穩(wěn)定值，最小值為10.689ps，最大值為11.155ps。對不同環(huán)境溫度下時鐘的穩(wěn)定性進行測試，將代表主從端的FPGA放在恒溫箱中運行，以5℃為一個梯度單位進行測量。實驗結果表明在20~50℃的溫度下，時鐘抖動均穩(wěn)定在135總結本文提出了納秒級時間同步光電混合架構，該架M 時鐘&控制信號計數(shù)器計數(shù)器狀態(tài)機狀態(tài)機1588狀態(tài)機clksystemtimer-intx-axis…1588IPclksystemtimer-inrx-axisclksystemtimer-inrx-axis…1588IPrx-axis…時鐘修正S時鐘修正 時鐘&控制信號計數(shù)器計數(shù)器狀態(tài)機狀態(tài)機1588狀態(tài)機24圖21588v2同步模塊結構2024/02/DTPT面向時隙光交換網(wǎng)絡的納秒級時間同步技術本期專題MonthlyTopic圖3示波器測量波形時鐘偏移/ns3.02.52.0304050607080運行時長/min圖4運行時長對時鐘偏移的影響構實現(xiàn)了基于硬件的納秒級時間同步，保證基于時隙的數(shù)據(jù)傳輸，減少了集中調度各架頂交換機所造成的時延。最終結果表明一個同步周期內主從時鐘的偏移為納秒級，時鐘偏移量不超過2.56ns且穩(wěn)定性較時鐘偏移/ps9008007006005004005125128111013820255002004006008001000光纖長度/m圖5光纖長度對時鐘偏移的影響參考文獻：［2］羅瑞琦.基于時分復用的FPGA互聯(lián)網(wǎng)絡優(yōu)化［D］.北京：中國科郵電設計技術/2024/0225本期專題MonthlyTopic面向時隙光交換網(wǎng)絡的納秒級時間同步技術時鐘抖動/ps02004006008001000光纖長度/m圖6光纖長度對時鐘抖動的影響時鐘抖動/psToR1ToR2ToR3ToR4304050607080運行時長/min圖7各節(jié)點的時鐘抖動情況時鐘抖動/ps20253035404550溫度/℃圖8溫度對時鐘抖動的影響worksandarchitecturesfordatacentercostandpowerefficiency［In?ahybridelectrical/opticalswitcharchitectureformodulardatacenters（4339-350.agilereconfigurabledatacenter