混合無線網(wǎng)絡(luò)負(fù)載均衡系統(tǒng)實(shí)現(xiàn)案例概述目錄TOC\o"1-3"\h\u27266混合無線網(wǎng)絡(luò)負(fù)載均衡系統(tǒng)實(shí)現(xiàn)案例概述 1313561.1引言 1284151.2系統(tǒng)所用平臺(tái)工具 162871.2.1開源空中接口 1269501.3LTE-SDN混合的DPI節(jié)點(diǎn)負(fù)載均衡網(wǎng)絡(luò)實(shí)現(xiàn) 399521.3.1基于OAI的LTE網(wǎng)絡(luò)實(shí)現(xiàn) 3222731.3.2基于SDN的DPI節(jié)點(diǎn)負(fù)載均衡網(wǎng)絡(luò)實(shí)現(xiàn) 5254071.4實(shí)時(shí)動(dòng)態(tài)的負(fù)載均衡算法實(shí)現(xiàn) 111.1引言本章將描述混合無線網(wǎng)絡(luò)負(fù)載均衡系統(tǒng)各部分的實(shí)現(xiàn)，首先介紹系統(tǒng)實(shí)現(xiàn)所需要的平臺(tái)與工具，然后說明LTE-SDN混合的DPI節(jié)點(diǎn)負(fù)載均衡網(wǎng)絡(luò)的實(shí)現(xiàn)方式，最后詳細(xì)介紹實(shí)時(shí)動(dòng)態(tài)負(fù)載均衡算法的實(shí)現(xiàn)過程。1.2系統(tǒng)所用平臺(tái)工具1.2.1開源空中接口OAI是由法國的歐洲電信學(xué)院（EURECOM）發(fā)起并維護(hù)的開源項(xiàng)目，項(xiàng)目的目的是通過使用SDR設(shè)備和通用Intelx86架構(gòu)的Linux計(jì)算機(jī)，對(duì)3GPPRelease10標(biāo)準(zhǔn)的LTE網(wǎng)絡(luò)進(jìn)行實(shí)現(xiàn)。該項(xiàng)目具有良好的兼容性、仿真性以及低廉的實(shí)現(xiàn)成本。該項(xiàng)目所構(gòu)建的LTE接入網(wǎng)與LTE核心網(wǎng)，不僅可以自身形成一套完整的LTE網(wǎng)絡(luò)系統(tǒng)，還可以兼容商用的LTE核心網(wǎng)或者接入網(wǎng)。另外該項(xiàng)目所需的SDR硬件價(jià)格也較為低廉，可以方便地在高校實(shí)驗(yàn)環(huán)境中搭建一套LTE網(wǎng)絡(luò)系統(tǒng)，有利于開展各項(xiàng)相關(guān)技術(shù)研究。OAI項(xiàng)目包含兩個(gè)主要部分：作為接入網(wǎng)的OpenAirInterface5g和作為核心網(wǎng)的OpenAir-CN。作為接入網(wǎng)的OpenAirInterface5g除了包含實(shí)現(xiàn)接入網(wǎng)功能的代碼外，還需要一個(gè)SDR設(shè)備，OAI官方支持的SDR設(shè)備列表中包含EttusResearch公司生產(chǎn)的USRP系列產(chǎn)品USRP-B210和USRP-X310、nuand公司生產(chǎn)的BladeRF產(chǎn)品等。而OpenAir-CN核心網(wǎng)需要的硬件則是一臺(tái)Intelx86架構(gòu)的計(jì)算機(jī)，需要的CPU型號(hào)為三代及以上的標(biāo)準(zhǔn)電壓酷睿i5/i7處理器，或者2代及以上的至強(qiáng)系列處理器。另外作為測試用的終端，還需要能讀寫數(shù)據(jù)的SIM卡一張，以及能裝載SIM卡的4G手機(jī)或者4G調(diào)制解調(diào)器。1.2.2軟件SDN網(wǎng)絡(luò)：mininet、ovs和ryu本研究中構(gòu)建的SDN網(wǎng)絡(luò)是軟件SDN網(wǎng)絡(luò)，由軟件模擬的終端節(jié)點(diǎn)和拓?fù)浣Y(jié)構(gòu)、軟件SDN交換機(jī)，以及SDN控制器組成。其中，模擬網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和終端的軟件為mininet，軟件SDN交換機(jī)為開源虛擬交換機(jī)（OpenvSwitch,OVS），SDN控制器為RYU開源SDN控制器。Mininet網(wǎng)絡(luò)模擬軟件。Mininet是一個(gè)運(yùn)行在普通計(jì)算機(jī)上的虛擬網(wǎng)絡(luò)軟件，以較為高效的內(nèi)核態(tài)運(yùn)行，可以與實(shí)際的物理設(shè)備相連接。Mininet提供了命令行交互方式和可供調(diào)用的Python函數(shù)庫，使用者既可以使用命令行快速地創(chuàng)建虛擬網(wǎng)絡(luò)，也可以調(diào)用函數(shù)庫按照自身需求實(shí)現(xiàn)較為復(fù)雜的模擬網(wǎng)絡(luò)。Mininet還有一個(gè)重要的特點(diǎn)是對(duì)SDN網(wǎng)絡(luò)支持程度很高，支持Openflow架構(gòu)和P4架構(gòu)的SDN網(wǎng)絡(luò)，便于SDN相關(guān)實(shí)驗(yàn)環(huán)境的搭建和驗(yàn)證。OVS軟件SDN交換機(jī)。OVS是一個(gè)高質(zhì)量、多層的虛擬交換機(jī)，它的目的是通過編程擴(kuò)展支持大規(guī)模網(wǎng)絡(luò)自動(dòng)化，同時(shí)支持標(biāo)準(zhǔn)的管理接口和協(xié)議。這些支持的協(xié)議里面，就包含OpenFlow協(xié)議。使用OVS發(fā)揮SDN交換機(jī)的作用時(shí)，既可以作為軟件交換機(jī)部署在虛擬網(wǎng)絡(luò)中，也可以部署到物理硬件上作為SDN交換機(jī)的控制層。作為軟件SDN交換機(jī)，相較于物理交換機(jī)，成本更低，工作效率也比較高，而且占用的系統(tǒng)資源也不多，具有良好的性能。RYU開源SDN控制器。RYU是一款基于組件定義的SDN控制器，使用Python語言編寫，其前身是POX控制器。相比起POX控制器，RYU控制器支持的協(xié)議更多，包括不同版本的OpenFlow協(xié)議、BGP協(xié)議和OSPF協(xié)議等。RYU控制器比起其他更富在的控制器，例如OpenDaylight，還具有代碼簡潔優(yōu)美、開發(fā)難度較小、開發(fā)效率較高的優(yōu)勢。1.2.3開源DPI程序ntopng本研究中使用了開源的DPI程序ntopng來對(duì)LTE網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行深度包檢測。ntopng是一個(gè)基于Web的深度包檢測與流量分析工具，是ntop的最新一代版本，發(fā)展自開源的DPI代碼庫OpenDPI。其在OpenDPI的基礎(chǔ)上新增了許多功能，并優(yōu)化了一些功能的實(shí)現(xiàn)方式，提高了深度包監(jiān)測的效率，增加了配置的靈活性。1.3LTE-SDN混合的DPI節(jié)點(diǎn)負(fù)載均衡網(wǎng)絡(luò)實(shí)現(xiàn)1.3.1基于OAI的LTE網(wǎng)絡(luò)實(shí)現(xiàn)本節(jié)將描述使用OAI實(shí)現(xiàn)LTE網(wǎng)絡(luò)的方案，從軟硬件環(huán)境配置、LTE組網(wǎng)拓?fù)浜蚅TE參數(shù)設(shè)置三個(gè)方面展開說明。首先是軟硬件參數(shù)配置的說明，本實(shí)現(xiàn)方案使用的軟硬件環(huán)境如下REF_Ref17710\h表2所示。表SEQ表\*ARABIC2軟硬件參數(shù)配置表環(huán)境類型環(huán)境內(nèi)容環(huán)境參數(shù)硬件計(jì)算機(jī)ThinkpadT430CPUi73630QMSDR硬件USRPB210軟件操作系統(tǒng)Ubuntu18.04SDR驅(qū)動(dòng)程序UHD1.0.0openair-cncommitedb74831dabf79686eb5a92fbf8fc06e6b267d35openairinterfacecommit724542d0b59797b010af8c5df15af7f669c1e838opencell-modsversion.20190923MySQLversion.11.14本實(shí)現(xiàn)方案使用的硬件配置為一臺(tái)ThinkpadT430計(jì)算機(jī)，內(nèi)含i73630QM四核八線程處理器，SDR硬件使用的型號(hào)為USRPB210。ThinkpadT430計(jì)算機(jī)默認(rèn)的CPU配置為i53320M雙核四線程處理器，而對(duì)于openairinterface要求的三代以上標(biāo)準(zhǔn)電壓i5/i7處理器來說，性能不足，因?yàn)閕53320M是筆記本的低電壓處理器，因此將CPU換成了i73630QM處理器以達(dá)到系統(tǒng)運(yùn)行的最低標(biāo)準(zhǔn)。本實(shí)現(xiàn)方案使用的軟件配置包括五個(gè)方面：操作系統(tǒng)、SDR驅(qū)動(dòng)程序、openair-cn、openairinterface和opencell-mods。操作系統(tǒng)選用的是Ubuntu18.04系統(tǒng)，SDR驅(qū)動(dòng)程序版本號(hào)為UHD1.0.0，openair-cn和openairinterface分別選用了最新的版本。需要說明的是，本實(shí)現(xiàn)方案中還使用了opencell-mods作為OAI的補(bǔ)丁。因?yàn)镺AI默認(rèn)的接入網(wǎng)和核心網(wǎng)是在兩臺(tái)單獨(dú)的計(jì)算機(jī)上實(shí)現(xiàn)的，為了使得接入網(wǎng)與核心網(wǎng)能在同一臺(tái)機(jī)器上實(shí)現(xiàn)，采用了opencell-mods的補(bǔ)丁，版本號(hào)為20190923。另外OAI中的HSS節(jié)點(diǎn)需要用到MySQL數(shù)據(jù)庫，使用的版本是11.14。本方案的LTE組網(wǎng)拓?fù)淙缦翿EF_Ref21387\h圖17所示。在OAI的實(shí)現(xiàn)中，主要包括的網(wǎng)絡(luò)節(jié)點(diǎn)為eNB、HSS、MME和SPGW。在LTE的標(biāo)準(zhǔn)實(shí)現(xiàn)中，SGW與PGW是分開的，而OAI的實(shí)現(xiàn)則把他們何為一個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)，稱為SPGW。OAI網(wǎng)絡(luò)就部署在計(jì)算機(jī)本地回環(huán)網(wǎng)絡(luò)所處的局域網(wǎng)中，HSS就部署在本機(jī)127.0.0.1/8的回環(huán)地址上，MME的IP地址為127.0.0.20/8，SPGW的IP地址為127.0.0.30/8，eNB的IP地址為127.0.0.10/8。圖SEQ圖\*ARABIC17LTE網(wǎng)絡(luò)實(shí)現(xiàn)拓?fù)鋱D本方案LTE參數(shù)設(shè)置的作用是配置這個(gè)網(wǎng)絡(luò)的全球唯一MME標(biāo)識(shí)符（GloballyUniqueMMEIdentifier，GUMMEI），讓SIM卡中參數(shù)與GUMMEI相符合的終端可以接入到LTE網(wǎng)絡(luò)中。GUMMEI包含的參數(shù)有4個(gè)：移動(dòng)國家碼（MobileCountryCode，MCC）、移動(dòng)網(wǎng)絡(luò)碼（MobileNationCode，MNC）、MME_GID和MME_CODE。其中MCC和MNC都是面向終端的屬性，終端SIM卡的用戶身份數(shù)據(jù)（InternationalMobileSubscriberIdentity，IMSI）中頁包含MCC和MNC，LTE網(wǎng)絡(luò)與SIM卡中的這兩個(gè)屬性相符合的時(shí)候，終端可以入網(wǎng)。本方案中配置的MCC值為208，MNC值為92，這是一個(gè)法國的測試用移動(dòng)網(wǎng)絡(luò)，可以避免與現(xiàn)實(shí)環(huán)境中的移動(dòng)網(wǎng)絡(luò)產(chǎn)生沖突。1.3.2基于SDN的DPI節(jié)點(diǎn)負(fù)載均衡網(wǎng)絡(luò)實(shí)現(xiàn)本節(jié)將描述基于SDN的DPI節(jié)點(diǎn)負(fù)載均衡網(wǎng)絡(luò)實(shí)現(xiàn)，按照REF_Ref23283\h圖7的系統(tǒng)架構(gòu)分層，自下而上依次介紹操作系統(tǒng)層、SDN網(wǎng)絡(luò)層和控制器應(yīng)用層的實(shí)現(xiàn)方式。其中控制器應(yīng)用層包含兩個(gè)應(yīng)用：DPI應(yīng)用和負(fù)載均衡應(yīng)用，本節(jié)會(huì)將兩個(gè)部分單獨(dú)說明。操作系統(tǒng)層包含兩個(gè)模塊：虛擬機(jī)網(wǎng)絡(luò)接口配置模塊和SDN網(wǎng)絡(luò)主控制模塊，首先說明虛擬機(jī)網(wǎng)絡(luò)接口配置模塊。該模塊首先需要在虛擬機(jī)的多個(gè)網(wǎng)卡中找到LTE數(shù)據(jù)檢測網(wǎng)卡，即橋接在宿主直接連接LTE網(wǎng)絡(luò)的那塊網(wǎng)卡。宿主機(jī)連接LTE網(wǎng)絡(luò)的網(wǎng)卡IP地址是已知的，而虛擬機(jī)的網(wǎng)卡的IP地址是虛擬機(jī)創(chuàng)建的時(shí)候自動(dòng)分配的?？梢酝ㄟ^檢查是否在同一網(wǎng)段的方式，找出LTE數(shù)據(jù)檢測網(wǎng)卡。如果找到了，那么記錄下網(wǎng)卡的名稱、IP地址等信息，然后清除該網(wǎng)卡的配置，為后續(xù)SDN網(wǎng)絡(luò)使用做準(zhǔn)備；如果沒找到，則說明虛擬機(jī)配置有誤，記錄錯(cuò)誤信息并退出程序。虛擬機(jī)網(wǎng)絡(luò)接口配置模塊的實(shí)現(xiàn)流程如REF_Ref8995\h圖18上半部分所示：圖SEQ圖\*ARABIC18操作系統(tǒng)層流程圖SDN網(wǎng)絡(luò)主控制模塊流程如REF_Ref8995\h圖18下半部分所示。SDN網(wǎng)絡(luò)主控制模塊，運(yùn)行時(shí)間貫穿系統(tǒng)的整個(gè)生命周期。在系統(tǒng)啟動(dòng)初期，SDN網(wǎng)絡(luò)主控制模塊首先啟動(dòng)OVS數(shù)據(jù)庫和OVS控制程序，然后再啟動(dòng)Mininet虛擬網(wǎng)絡(luò)和RYU控制器。OVS的啟動(dòng)時(shí)間必須在兩者之前，而Mininet虛擬網(wǎng)絡(luò)和RYU控制器的啟動(dòng)順序則無先后要求。這三個(gè)模塊是SDN網(wǎng)絡(luò)的主要組成部分，都啟動(dòng)后SDN網(wǎng)絡(luò)就會(huì)開始運(yùn)行。然后啟動(dòng)日志記錄模塊，記錄SDN網(wǎng)絡(luò)運(yùn)行期間的信息，并且進(jìn)入循環(huán)等待的模式，等待Mininet進(jìn)程的停止。本模塊的實(shí)現(xiàn)中，以Mininet的停止作為系統(tǒng)停止運(yùn)行的標(biāo)志，因?yàn)镸ininet具有一個(gè)命令行交互界面，對(duì)網(wǎng)絡(luò)的各類操控一般都是通過Minninet進(jìn)行，而OVS與RYU都是后臺(tái)運(yùn)行的，一般不會(huì)被手動(dòng)停止。如果發(fā)現(xiàn)Mininet進(jìn)程停止運(yùn)行了，說明系統(tǒng)運(yùn)行結(jié)束，那么把RYU和OVS進(jìn)程也停止運(yùn)行。對(duì)于系統(tǒng)運(yùn)行期間由日志記錄模塊記錄的信息，在程序結(jié)束前要保存下來，寫入到日志文件中。這些步驟都完成以后，程序退出。SDN網(wǎng)絡(luò)層包含三個(gè)模塊：SDN交換機(jī)網(wǎng)絡(luò)模塊、軟件SDN交換機(jī)模塊和SDN控制器模塊。其中軟件SDN交換機(jī)模塊實(shí)現(xiàn)較為簡單，負(fù)責(zé)啟動(dòng)和停止軟件SDN交換機(jī)，在收到查詢是反饋SDN交換機(jī)的狀態(tài)。因此著重說明另外兩個(gè)模塊的實(shí)現(xiàn)方式。SDN交換機(jī)網(wǎng)絡(luò)模塊。該模塊主要負(fù)責(zé)按照網(wǎng)絡(luò)配置，生成SDN交換機(jī)網(wǎng)絡(luò)并對(duì)其進(jìn)行配置，以及啟動(dòng)命令行界面供用戶交互。模塊啟動(dòng)時(shí)，先加載網(wǎng)絡(luò)配置信息。網(wǎng)絡(luò)配置信息包含兩種：網(wǎng)絡(luò)拓?fù)湫畔⒑蚅TE檢測網(wǎng)卡信息。網(wǎng)絡(luò)拓?fù)湫畔⒅饕菍懞迷谂渲梦募械墓?jié)點(diǎn)數(shù)量、交換機(jī)數(shù)量、網(wǎng)絡(luò)連接方式等信息；而LTE檢測網(wǎng)卡的信息由前面操作系統(tǒng)層的模塊獲得，包含了LTE檢測網(wǎng)卡的名稱，宿主機(jī)分配給LTE檢測網(wǎng)卡的IP地址和網(wǎng)段等。獲得了網(wǎng)絡(luò)配置信息后，該模塊生成網(wǎng)絡(luò)節(jié)點(diǎn)、按照網(wǎng)絡(luò)配置信息去連接，并設(shè)置SDN控制器。在網(wǎng)絡(luò)初步配置完成后，還需要將LTE檢測網(wǎng)卡放進(jìn)SDN網(wǎng)絡(luò)中，才能使SDN網(wǎng)絡(luò)收到LTE檢測網(wǎng)卡的數(shù)據(jù)。如果LTE檢測網(wǎng)卡被其他程序占用，則無法放進(jìn)SDN網(wǎng)絡(luò)，因此需要先檢查LTE數(shù)據(jù)檢測網(wǎng)卡是否空閑。如果處于空閑狀態(tài)，則按照網(wǎng)絡(luò)配置信息，將SDN網(wǎng)絡(luò)的各個(gè)結(jié)點(diǎn)設(shè)置在與LTE監(jiān)測網(wǎng)卡原本IP地址的同一個(gè)網(wǎng)段，這樣才能使SDN網(wǎng)絡(luò)的節(jié)點(diǎn)與外部互聯(lián)互通。設(shè)置完成后，啟動(dòng)SDN網(wǎng)絡(luò)，啟動(dòng)命令行交互界面，然后等待命令行交互界面退出作為系統(tǒng)運(yùn)行結(jié)束的標(biāo)志。SDN網(wǎng)絡(luò)交換機(jī)模塊的流程圖如REF_Ref6413\h圖19所示。圖SEQ圖\*ARABIC19SDN交換機(jī)網(wǎng)絡(luò)模塊流程圖SDN控制器模塊是SDN層的關(guān)鍵模塊，承擔(dān)下層SDN網(wǎng)絡(luò)與上層應(yīng)用的信息交互功能。模塊啟動(dòng)后，首先與SDN交換機(jī)建立連接，然后進(jìn)入事件等待狀態(tài)。分別有兩個(gè)事件觸發(fā)器，一個(gè)是接收到交換機(jī)Packet-in消息的觸發(fā)器，另一個(gè)是接收到上層應(yīng)用信息的觸發(fā)器。接收到交換機(jī)packet-in消息時(shí)，如果是網(wǎng)絡(luò)狀態(tài)有更新的packet-in消息，則更新網(wǎng)絡(luò)狀態(tài)模塊；如果是發(fā)現(xiàn)了新的流，那么要向應(yīng)用層的負(fù)載均衡模塊進(jìn)行反饋，因?yàn)殛P(guān)系到負(fù)載均衡算法的執(zhí)行，否則就按照基本的交換機(jī)方式進(jìn)行處理。接收到上層應(yīng)用信息時(shí)，對(duì)信息的類別進(jìn)行判斷。如果是要求更新交換機(jī)流表項(xiàng)，則按照要求想交換機(jī)發(fā)送流表項(xiàng)更新指令；如果是要求獲取網(wǎng)絡(luò)狀態(tài)，則讀取網(wǎng)絡(luò)狀態(tài)中的信息并反饋。SDN控制器模塊執(zhí)行流程如REF_Ref12859\h圖20所示。圖SEQ圖\*ARABIC20SDN控制器模塊流程圖控制器應(yīng)用層的DPI應(yīng)用。該模塊負(fù)責(zé)對(duì)接收到的LTE網(wǎng)絡(luò)流量進(jìn)行深度包檢測，統(tǒng)計(jì)數(shù)據(jù)，并作可視化展示。該模塊啟動(dòng)時(shí)首先會(huì)從下層的SDN控制器中獲取SDN網(wǎng)絡(luò)配置，以決定要檢測的端。然后根據(jù)這些信息，生成DPI應(yīng)用的配置文件，并啟動(dòng)DPI應(yīng)用。啟動(dòng)后，模塊主要有兩個(gè)進(jìn)程在活動(dòng)。一個(gè)是數(shù)據(jù)捕獲與分析的進(jìn)程，在接收到數(shù)據(jù)包時(shí)會(huì)解包分析IP地址和URL等數(shù)據(jù)，然后將結(jié)果保存起來。另一個(gè)是統(tǒng)計(jì)與展示的進(jìn)程，對(duì)數(shù)據(jù)捕獲和分析的結(jié)果進(jìn)行統(tǒng)計(jì)，生成可視化統(tǒng)計(jì)圖，并定時(shí)刷新可視化展示頁面。DPI應(yīng)用的運(yùn)行過程如下REF_Ref530\h圖21所示。圖SEQ圖\*ARABIC21DPI應(yīng)用流程圖圖SEQ圖\*ARABIC22負(fù)載均衡應(yīng)用流程圖控制器應(yīng)用層的負(fù)載均衡應(yīng)用的執(zhí)行流程如上REF_Ref3810\h圖22所示。該模塊在系統(tǒng)運(yùn)行過程中，保持循環(huán)執(zhí)行，不斷對(duì)各節(jié)點(diǎn)的負(fù)載進(jìn)行調(diào)整。循環(huán)的過程中，首先獲取個(gè)節(jié)點(diǎn)流的統(tǒng)計(jì)數(shù)據(jù)，然后通過計(jì)算判斷各節(jié)點(diǎn)當(dāng)前的負(fù)載狀態(tài)，接著由負(fù)載調(diào)整算法決定有沒有節(jié)點(diǎn)、哪些節(jié)點(diǎn)的負(fù)載需要調(diào)整。如果有節(jié)點(diǎn)的負(fù)載需要調(diào)整，則通過控制器向SDN交換機(jī)下發(fā)流表修改指令，否則不作改動(dòng)。1.4實(shí)時(shí)動(dòng)態(tài)的負(fù)載均衡算法實(shí)現(xiàn)本節(jié)將