5GMEC架構下面向聯邦學習模型的資源分配研究摘要：隨著5G移動通信技術的不斷發(fā)展，人們生活的數字化程度不斷加深，大量的數據借由機器學習技術應用于各行業(yè)的智能決策。然而，基于機器學習的數據應用，使得機器容易獲取個人敏感信息，于是用戶對于數據隱私和安全保護的需求也不斷增加。為此，聯邦學習技術應運而生，其以分布式算法處理數據，既保護了隱私又提升了處理效率。于是，在5G移動通信系統(tǒng)當中，引入聯邦學習，可以讓通信系統(tǒng)更加有效、安全地計算分析數據，這成為了當前的研究熱點。然而，聯邦學習往往需要客戶端消耗大量的能量用于本地模型訓練，而且在上傳模型參數時也面時無線信道條件變差時的數據傳輸受阻，從而導致學習模型的收斂效率降低。于是，本文基于5GMEC（）架構研究了面向聯邦學習的資源分配問題。首先，引入了MEC降低用戶設備的計算負擔。接著，構造了一個能耗最小化的優(yōu)化問題，通過聯合分配通信與計算資源，降低了全局模型訓練時的系統(tǒng)能耗和時延。通過證明，原能耗最小化問題需要求得一個滿足全局時間收斂約束條件的可行解。于是，轉而求解了一個時間最小化問題，并將該問題的最優(yōu)解作為了原能耗最小化問題的初始解，直接利用fmincon函數進行了問題求解。最后，仿真實驗證實，相比于一般FL方案，本文提出能耗優(yōu)化的聯邦學習方案在確保模型精度和收斂效率的同時，顯著降低了系統(tǒng)能量損耗。關鍵詞：5G通信系統(tǒng)聯邦學習移動邊緣計算資源分配最優(yōu)化問題

ResearchonResourceAllocationforFederatedLearningModelundertheArchitectureof5GMECABSTRACT:Withthecontinuousdevelopmentof5Gmobilecommunicationtechnology,thedigitizationofpeople'slivesisdeepening,generatingalargeamountofdata,andapplyingmachinelearningtechnologytointelligentdecision-makinginvariousindustries.However,theapplicationofdatabasedonmachinelearningmakesiteasyformachinestoobtainsensitivepersonalinformation,sothedemandfordataprivacyandsecurityprotectionisalsoincreasing.Therefore,federatedlearningtechnologycomesintobeingtoprocessdatawithdistributedalgorithm,whichnotonlyprotectsprivacybutalsoimprovesprocessingefficiency.Therefore,inthe5Gmobilecommunicationsystem,theintroductionoffederatedlearningcanmakethecommunicationsystemmoreeffectiveandsecurecalculationandanalysisofdata,whichhasbecomearesearchhotspot.However,federatedlearningoftenrequirestheclienttoconsumealotofenergyforlocalmodeltraining,andthedatatransmissionisblockedwhenthewirelesschannelconditionschange,whichleadstotheconvergenceefficiencyofthelearningmodel.Therefore,thispaperstudiestheresourceallocationproblemforfederatedlearningbasedon5GMECarchitecture.First,MECwasintroducedtoreducethecomputingburdenonuserdevices.Then,throughresourceallocation,thesystemenergyconsumptionandtimedelayduringglobalmodeltrainingarereduced,andanoptimizationproblemofenergyminimizationisconstructed.Itisprovedthattheoriginalenergyconsumptionminimizationproblemneedstoobtainagloballyconvergenttimefeasiblesolutionsatisfyingtheconstraintconditions.Therefore,atimeminimizationproblemissolvedinstead,andtheoptimalsolutionofthisproblemistakenastheinitialsolutionoftheoriginalenergyminimizationproblem,andtheproblemissolveddirectlybyusingfminconfunction.Finally,thesimulationresultsshowthatcomparedwiththegeneralFLscheme,theproposedfederallearningschemewithenergyconsumptionoptimizationcansignificantlyreducethesystemenergylosswhileensuringthemodelaccuracyandconvergenceefficiency.Keywords:5Gcommunicationsystem;Federatedlearning;mobileedgecomputing;resourceallocationoptimizationproblem;

目錄摘要 ⅡABSTRACT Ⅲ目錄TOC\o"2-3"\u\t"標題1,1"1緒論 GMEC架構下面向聯邦學習模型的資源分配研究1緒論1.1研究背景與意義近年來，無線網絡領域網絡數據的龐大，極有可能使移動承載網絡傳輸數據時發(fā)生擁塞，從而導致通信服務性能低，延遲高。移動邊緣計算REF_Ref5778\r\h[1]（MobileEdgeComputing，MEC）應對此類問題，將移動接入網與互聯網業(yè)務處理綜合在一起。尤其在5G架構下，MEC使得網絡對數據的分析和處理下沉到接近客戶端的邊緣，增強新興的資源密集型物聯網應用的能力，進一步提高了數據處理與傳輸效率。MEC脫離于云計算，靠近設備側，具備快速反應能力，但不能應付大量計算及存儲的場合。又由于私有數據的不可訪問性以及向中央機器學習處理器傳輸原始數據的所需的大通信開銷REF_Ref5879\r\h[2]，將數據保存在生成數據的地方的去中心化機器學習方法更具吸引力。5G時代背景下，由于其隱私保護性質，聯邦學習FederatedLearning，FL）對許多無線應用尤其重要。聯邦學習作為一種新的保護隱私的分布式學習策略為邊緣設備更加智能鋪平了道路。本課題擬開展5GMEC架構下面向聯邦學習模型的資源分配研究，進而實現實時和低開銷的資源分配。聯邦學習這一詞最早出現在2015年的一篇論文，提出聯邦學習的動機就是使用移動設備進行分布式訓練的基礎上保護用戶的數據隱私，在一個特定應用場景特定機構用戶的數據并不具有代表性，聯合多個機構的用戶數據才能夠訓練出較好的模型，但是機構之間不同用戶隱私不可泄漏，聯邦學習模型就是使用不泄露用戶隱私的方式訓練一個大的機器學習模型。2016年聯邦學習這項技術由谷歌首次提出，在海量數據以及隱私保護需求背景下，聯邦學習應時而生REF_Ref5974\r\h[3]。它能夠實現在不泄露隱私數據的情況下實現企業(yè)間的數據融合建模，成為了一項數字時代隱私保護的首選技術。2017年HughBrendanMcmahan提出聯邦學習基本框架來保護用戶隱私的前提下能夠讓用戶數據參加模型訓練。同時強調了本地訓練可以采用簡單的SGD更新模型參數，server可以通過FedAvg算法對客戶端模型進行匯集。2018年8月開始在國內快速發(fā)展和普及。而聯邦學習的前身機器學習、分布式、隱私保護已經在當代科技社會研究了幾十余年，目前三者結合產生的聯邦學習在通信技術領域正在蓬勃發(fā)展。楊強發(fā)布了開源社區(qū)FATE（federatedAItechnologyenabler），并提出“可信聯邦學習”。聯邦學習模型技術得到了進一步發(fā)展。Tianli為了解決統(tǒng)計異構性，提出了FedProx算法。由于MEC技術對大量數據的高效處理將數據集中的隱藏的信息和統(tǒng)計特征挖掘出來，對于資源規(guī)劃，分類有很大作用。對于聯邦學習，需要有一個中心服務器，還有若干個移動設備客戶端，保護用戶數據隱私的前提下，使用戶移動端下載模型本地訓練，也就是服務器提供的是模型參數而不是數據，讓客戶端根據模型參數進行訓練。訓練完向服務器傳輸模型參數，服務器對模型參數進行匯聚，更新服務器模型。在客戶端選擇協(xié)議方面，Nishio等人提出了一個FL客戶端選擇協(xié)議，即FedCS。FedCS為客戶端在FL協(xié)議中下載、更新和上傳機器學習模型設置了一個期限，以保證中央參數服務器在該期限內聚合盡可能多的客戶端更新，從而使整個訓練過程高效，減少了訓練所需要的時間。當前邊緣智能應用中，移動客戶段共享一個模型實現FL，為了提供更好的隱私保護，Zhang等人采用模型分割技術和差分隱私方法，提出了一種利用移動邊緣計算的FL框架（federatedlearningschemeinmobileedgecomputing,FedMEC），將神經網絡模型分為了邊緣服務器與客戶端各自的兩個部分，復雜的計算可以通過模型遷移轉移給邊緣服務器。5GMEC架構下，面向聯邦學習模型的資源分配研究具有重要的意義REF_Ref6065\r\h[4]。首先，這項研究可以提高模型訓練的效率，通過有效的資源分配優(yōu)化通信和計算資源的使用，允許多方數據源在保護數據隱私的前提下共同訓練出全局最優(yōu)模型。其次，它增強了數據處理能力，利用現代設備在存儲和計算能力方面的進步，使得數據處理和存儲過程本地化，有助于更高效地處理大數據，挖掘數據中的信息和統(tǒng)計特征。再者，該研究有助于應對異構性挑戰(zhàn)，例如不同設備的計算能力差異和網絡延遲等問題，提升整體學習效果。此外，它還優(yōu)化了模型參數聚合過程，確保每次全局聚合后產生的是最小全局損失的參數，提高模型的準確性和可靠性。同時，這項研究促進了5GMEC架構與聯邦學習的技術融合，為相關領域提供了新的研究思路和技術方案。它也支持實時應用的需求，保證聯邦學習在5GMEC架構下的實時性能，并在自動駕駛、物聯網等快速響應場景中發(fā)揮關鍵作用。最后，合理的資源分配加強了數據安全，防止?jié)撛诘陌踩{，保護用戶的數據隱私。綜上所述，5GMEC架構下面向聯邦學習模型的資源分配研究對于提升模型訓練效率、推動技術發(fā)展、保障數據安全及支持實時應用等方面都具有深遠的意義，對未來智能應用的發(fā)展起到了至關重要的作用。1.2研究現狀聯邦學習模型的資源分配研究是機器學習領域的一個活躍課題，目前的研究集中在設計高效和公平的資源分配策略上。在同構聯邦學習的范疇內，已有研究簡化了資源分配問題，假設參與方的數據分布是統(tǒng)一或相似的，便于制定統(tǒng)一的模型更新和資源分配策略。然而，這種簡化可能不適用于更多樣化和異構的實際場景。為了提高資源分配的公平性，一些研究提出了確保所有參與者能共享資源和收益的算法，如α-FedAvgREF_Ref5654\r\h[5]。此外，受到無線網絡中資源分配策略的啟發(fā)，q-FFL和q-FedAvg等方法被提出以優(yōu)化聯邦學習中的資源分配，旨在實現準確度的公平性和提升訓練過程的效率及可擴展性。盡管取得了這些進展，聯邦學習模型的資源分配仍然面臨許多挑戰(zhàn)，包括如何處理數據異構性、如何平衡效率與公平性、以及如何確保算法的可擴展性和魯棒性。隨著技術的不斷進步，將有更多創(chuàng)新性的算法和解決方案被開發(fā)出來，以應對這些挑戰(zhàn)，并推動聯邦學習在各種數據敏感領域的應用。在現有的的工作中，FL在無線網絡中面臨著很多的挑戰(zhàn)，有人研究了利用多址通道的波形疊加特性設計一種針對FL的帶寬模擬聚合多址方案實現延遲最小化REF_Ref6228\r\h[6]。還有人研究了無細胞大量多輸入多輸出（MIMO）系統(tǒng)的FL訓練最小化問題REF_Ref6310\r\h[7]。對于具有冗余數據的FL，Y.sun等人提出了一種能量感知用戶調度策略，以最大化調度的平均用戶數量REF_Ref6414\r\h[8]。Q.Zeng等人的工作引入了一種在學習性能約束下的節(jié)能帶寬分配策略REF_Ref6499\r\h[9]。李軍等人提出了一種基于創(chuàng)新的用戶調度和資源配置方案，專門針對基于時分波分復用（TDM-PON）的無源光網絡中的聯邦學習流量REF_Ref6584\r\h[10]。該方案在用戶更新本地模型之后，依據模型聚合在無源光網絡單元完成的確切時刻，分配專用的傳輸波長并設定了最大傳輸帶寬限制。通過這種方法，同時確保了系統(tǒng)的公平性，還加快了本地模型上傳速度，從而加速了聯邦學習的整體訓練進程。張海波等人為了有效減輕移動系統(tǒng)負擔，其研究引入了一種整合的任務外包及資源配置策略REF_Ref6676\r\h[11]。對基于移動邊緣計算（MEC）的車對車（V2X）通信進行模型構建，并提出了一種包括最佳任務外包決策在內的通信和計算資源的優(yōu)化分配方法。但是以上的工作主要關注無線傳輸過程中的延遲或者資源，忽略了模型訓練和傳輸之間的延遲和資源的權衡。最近的資源分配研究工作中，有的忽略的本地模型的延時；有的能夠達到總的計算和傳播資源消耗最小，但是并沒有考慮總模型的聚合分析。1.3研究內容即論文結構安排在本文中，針對5GMEC架構下的FL模型的資源分配問題，給出了一種新的無線通信網絡上的節(jié)能計算和傳輸資源分配方案。本文的工作可以總結如下：（1）研究了FL算法在無線通信網絡上的性能，其中每個用戶在給定的學習精度下局部計算其FL模型，并且BS向所有用戶廣播聚合的FL模型。對于所考慮的FL算法，我們首先推導出了其收斂速度。（2）提出了一個聯合計算和傳輸優(yōu)化問題，旨在最小化局部計算和無線傳輸的總能量消耗。為了解決這一問題，提出了一種低復雜度的迭代算法。在該算法的每一步，推導了時間分配、帶寬分配、功率控制、計算頻率和學習精度的新的封閉解。（3）為了得到總能量最小化問題的可行解，我們構造了FL補全時間最小化問題。我們從理論上證明了完成時間是學習精度的一個凸函數?；谶@一理論發(fā)現，我們提出了一種基于二分的算法來獲得FL完成時間最小化的最優(yōu)解。本文的內容安排如下:第一章為緒論，介紹了文章的研究背景、研究現狀以及內容工作。第二章是基礎理論部分，主要是描述了5G移動通信理論以及移動邊緣技術。第三章是5GMEC架構下的聯邦學習，構建了計算、傳輸、FL等模型。第四章是能耗最小化的資源分配方案，其講述如何了通過時間最小化求解能量最小化的初始可行解，從而利用fmincon函數通過這個初始可行解求解能量最小的優(yōu)化問題。第五章是仿真結果展示，將提出的方案同其他方案進行比較分析。第六章是總結和展望，總結本文章所提出方案的可行性并且展望未來聯邦學習的更多可能性。2研究基礎知識2.15G通信系統(tǒng)目前最先進的移動通信技術就是第五代移動通信技術即5G技術，其數據傳輸速度之高、延遲時間之短、網絡容量之大讓很多的智能設備以及互聯網應用有了更加蓬勃的發(fā)展。相比于前幾代通信技術而言，其優(yōu)勢主要來源于它所采用的OFDM結合MIMO的新型無線接入技術、毫米波和波束成形技術。5G工作場景有三大場景，包括了eMBB（增強移動帶寬）、mMTC(海量機器類通信)、uRLLC(超可靠低時延通信)。eMBB場景可以為用戶提供體驗感絕佳的高速業(yè)務體驗和極高的數據傳輸速率。mMTC場景主要是對大量的小容量設備的海量連接提供合理的連接方式，將其應用到智慧城市或者智慧農業(yè)中去進行傳感和信息采集等業(yè)務。uRLLC場景能夠滿足那些對于時延有著極高的要求的應用需求，比如無人駕駛、智慧醫(yī)療等應用。5G移動通信網絡架構主要是包括了四個部分，分別是核心網、接入網、傳輸網、承載網。核心網一般由高速路由器、交換機等設備組成，在整個系統(tǒng)中承擔著傳輸、路由和交換數據的責任，具有大容量、高可靠性和高安全性的優(yōu)點；接入網也稱無線接入網，是連接著用戶終端到移動通信系統(tǒng)的那一層，即系統(tǒng)的第一層，接入網的任務就是提供無線接入服務將移動設備和5G移動通信系統(tǒng)進行連接；傳輸網主要是提供基礎的物理層的支持，進行兩個不同的核心網之間的數據傳輸；承載網位置處于核心網和接入網之間，可想而知其具有匯聚和轉發(fā)的功能，主要是匯聚轉發(fā)多個接入網的流量。本文研究的主要是關于無線接入傳輸的那一部分，在無線接入網中有一個組成部分稱為基站，它是終端設備連接到互聯網中進行傳輸或處理數據的接口設備，同時也是無線接入網的核心組成部分。5G系統(tǒng)中統(tǒng)稱基站為gNodeB,4G系統(tǒng)中為eNodeB。其通過發(fā)送和接收無線電信號實現通信網絡和移動設備之間的通信連接。為了實現更加廣闊的可通信區(qū)域，基站放置的地理位置一般為高處。圖2.15G移動通信網絡架構2.2移動邊緣計算當5G網絡日漸成為了各行各業(yè)數字化轉型的必需設備時，能夠使得5G網絡轉型的一項關鍵技術應運而生--MEC。上一節(jié)中介紹了5G移動網絡架構，我們知道了數字信息一般是經過層層傳輸然后再進行處理的。但是這樣的信息化處理未免太過于浪費時間資源，MEC就是為解決時間資源的浪費而產生的為用戶提供就近服務的一項技術。MEC技術的基礎就是邊緣計算資源和邊緣網絡，能夠實現連接、能力、計算、應用的類似積木式的組合功能。該技術在5G網絡移動通信中應用過程中主要表現出了三大優(yōu)勢：首先就是網絡和業(yè)務協(xié)同，能夠實現靈活路由、低時延和高帶寬的更加智能的連接；再者就是能夠提供相互協(xié)調的云邊能力，云服務的邊界進一步延展，云服務的質量也得到了進一步的提高，讓云更加便捷、無處不在；最后就是能夠以連接為切入點以提供能力、計算、應用組合靈活的新型服務，此類服務是以計算和連接為基礎的能夠突破業(yè)務邊界的一項服務。為了實現服務業(yè)務的低時延性，MEC在5G網絡中的位置是靠近用戶這一側即無線接入和靠近用戶側，創(chuàng)造了高質量、低時延、高帶寬的良好的服務環(huán)境，在網絡中的各項業(yè)務的快速下載也是能夠輕而易舉實現的，能夠保證消費者高質量網絡體驗的不間斷。MEC是5G網絡移動通信去中心化的一項關鍵技術，而相比起前幾代移動網絡，5G最大的特點就是去中心化。MEC又能夠將云計算能力和IT服務環(huán)境融合在一起，在現在這個大容量、大連接的數字化時代MEC能夠應用的場景較多：在智能視頻加速的場景下能夠解決大容量數據帶來的網絡擁堵；解決大容量的視頻流分析；在AR/VR場景中能夠解決信息處理精度和實效性以保證該場景的低時延；在大連接的密集計算輔助場景下能夠提供密集計算能力；在企業(yè)網與運營商網絡協(xié)同的場景下實現運營商網絡和企業(yè)網絡的智能化選擇；在車輛網應用中能夠保證分析和決策的實效性來達到低時延的要求；在IoT網關的場景下實現海量數據的本地處理和存儲。本文研究的MEC的工作場景就是密集計算輔助，將大量數據進行密集計算再反饋給終端，從而能夠實現通信低時延。圖2.2移動邊緣計算環(huán)境35GMEC架構下的聯邦學習圖3.15GMEC架構下的聯邦學習整體框架圖3.1MEC通信網絡模型模型場景為由一個為個用戶提供服務的邊緣服務器組成的蜂窩網絡，每個用戶都有一個帶有個數據樣本的本地數據集。對于每個數據集，是用戶的輸入向量，是其對應的輸出。邊緣服務器和所有用戶在無線網絡上協(xié)同執(zhí)行一個FL算法，以進行數據分析和推理。以下，由每個用戶的數據集訓練的FL模型稱為本地FL模型，而由邊緣服務器使用來自所有用戶的本地FL模型輸入生成的FL模型稱為全局FL模型。圖3.2用戶與邊緣服務器之間的FL過程用戶與邊緣服務器之間的FL過程在每個迭代中包含三個步驟：每個用戶的局部計算（使用多個局部迭代），每個用戶的本地FL模型傳輸，以及在邊緣服務器上的結果聚合和廣播。局部計算步驟本質上是每個用戶通過使用其本地數據集和接收到的全局FL模型來計算其局部FL模型的階段。3.1.1局部計算模型設為用戶的計算能力，以每秒的CPU周期數來衡量。同時（周期/樣本）是在用戶處計算一個樣本數據所需的CPU周期數即單位處理能力，是在用戶處的局部迭代次數。且用戶的數據樣本大小為，則用戶局部迭代完成后處理數據所需的計算時間為(1)根據引理，設是取決于芯片架構的有效開關電容。從而在用戶處計算次CPU周期總數的能耗為 (2)為了計算局部FL模型，由于全局迭代一次時用戶需要進行次局部模型訓練，并且每次訓練需要運行次CPU周期，這意味著用戶處的總計算能量為 (3)3.1.2無線傳輸模型在本系統(tǒng)模型中，考慮的是用戶將本地訓練后得到的參數傳輸到邊緣服務器的過程中的能耗問題。經過本地計算后，所有用戶通過頻域多址訪問（FDMA）將其本地FL模型上傳到邊緣服務器。根據香農公式，用戶的可實現率為 （4）其中，為系統(tǒng)分配給用戶的帶寬，為用戶的平均發(fā)射功率，為用戶同邊緣服務器之間的信道增益，為高斯噪聲的功率譜密度。請注意，表示香農容量的公式(4)是傳輸速率的上限。因為系統(tǒng)帶寬有限，所以所有用戶累加帶寬必須小于等于總帶寬，即：（5）用戶需要將本地訓練模型上傳到邊緣服務器。由于所有用戶的本地FL模型的尺寸都是固定的，所以每個用戶需要上傳的數據大小是恒定的，可以用表示。要在傳輸時間內上傳大小為的數據，我們必須有：。用戶在一個持續(xù)時間內傳輸大小為的數據所需要消耗的無線傳輸能量將為：。3.1.3信息廣播模型在所有用戶將本地FL訓練模型上傳到邊緣服務器中后，邊緣服務器將聚合全局FL模型。全局FL模型聚合完成后邊緣服務器需要向下行鏈路中的所有用戶廣播傳輸全局FL模型。由于邊緣服務器具有用于數據廣播的高傳輸功率和高帶寬，所以同上行數據傳輸時間相比，下行時間可以被忽略。邊緣服務器沒有訪問本地數據，從而按照FL的要求保護了用戶的隱私。根據上述局部計算模型和無線傳輸模型可知，全局迭代一次時用戶的能耗包括本地計算能量和無線傳輸能量，用來表示全局迭代次數，則參與FL的所有用戶的總能耗將為 （6）在本文中我們將用戶執(zhí)行系統(tǒng)整體FL算法所需的總時間稱為完成時間。每個用戶的完成時間包括本地計算時間和傳輸時間。由此可知，用戶的完成時間可以公式化為 （7）定義為訓練整體FL模型所需要的最大完成時間，則每個用戶的完成時間必須小于。3.2聯邦學習模型關于聯邦學習模型的各類優(yōu)化問題，這里引入損失函數來衡量是否獲得損失最小化的最優(yōu)解。定義向量代表與全局FL模型相關聯的所有參數。此時具有一個數據樣本的用戶的損失函數的自變量包括本地模型的輸入向量、輸出以及，其損失函數可以定義為，該函數能夠直觀體現整體模型的表現。對于不同的訓練任務，損失函數也有所不同。用戶的數據集為，數據集的大小為，因此所有用戶的數據總和為，那么用戶對整個本地數據集的總損失函數可以為 （8）在下文中，用戶的總損失函數用表示。為了部署全局FL模型，需要邊緣服務器對所有用戶上傳的本地訓練模型進行聚合。該做法的目的是為了生成一個所有用戶統(tǒng)一而不共享任何數據集的FL模型，根據參考文獻REF_Ref8083\r\h[12]，所有用戶將所有數據進行模型訓練的全局FL訓練問題可以公式化為 （9）為了解決FL訓練問題，查閱資料中采用了分布式近似牛頓（DANE）算法，于是集合資料在算法1中進行了總結。請注意，算法1中的每個用戶都使用了梯度下降（GD）。我們可以使用隨機梯度下降（SGD）來降低在精度相對較低的情況下的計算復雜度。然而，如果需要高精度，梯度下降（GD）將是首選的REF_Ref7959\r\h[13]。此外，SGD的全局迭代次數高于GD。由于有限的無線資源，SGD可能不有效，因為SGD比GD需要更多的無線傳輸迭代。DANE算法是為了解決一個一般的局部優(yōu)化問題，然后對所有用戶的解進行平均。DANE算法依賴于局部目標的黑森人的相似性，將它們的迭代表示為不精確的牛頓步長的平均值。在算法一中，可以見得，在每次FL模型迭代中，每個用戶都會從邊緣服務器中下載全局FL模型來進行本地計算，同時，邊緣服務器也會也會周期性的匯聚所有用戶的本地FL模型并且將匯聚后更新的全局FL模型廣播傳輸給所有的用戶。根據算法1，由于局部優(yōu)化問題在每次全局迭代中都要通過多次局部迭代來解決，因此全梯度計算的次數將小于局部更新的次數。算法一如下。算法1:FL算法初始化全局模型以及全局迭代次數;repeat每個用戶在本地計算并且發(fā)送給邊緣服務器;邊緣服務器匯聚各用戶的損失函數梯度，并且把匯聚結果廣播傳送給用戶;for初始化本地迭代次數,并且設置為0;repeat更新,并且;until本地最優(yōu)化問題（9）中的精確度已經獲取到;將的值賦給，并且每個用戶將上傳至邊緣服務器;endfor邊緣服務器進行計算并且將其值廣播發(fā)送給用戶;設置;until問題（8）的全局精確度已經獲取到;我們將定義為在全局迭代次數在第次時的全局FL模型。本文所建立的模型中，每個用戶都需要解決局部優(yōu)化問題，則該局部優(yōu)化問題可以定義為 （10）在上述問題中，是一個常量。問題（10）的解表示用戶的局部FL模型同全局FL模型之間的差值，即為用戶在迭代第次時的局部FL模型。從公式中可以看出局部優(yōu)化問題只依賴于局部數據和全局損失函數的梯度。當局部優(yōu)化問題解決后，會將每個用戶的更新進行平均，形成新的迭代。這種方法允許使用任何算法來解決局部優(yōu)化問題。但是需要注意的是，算法1中上傳本地FL模型所需的迭代次數（即全局迭代次數）總是小于不考慮局部優(yōu)化問題（10）的傳統(tǒng)FL算法REF_Ref7959\r\h[13]，為了求解上述局部優(yōu)化問題，我們使用了梯度法 （11）上面的等式中，其中δ是步長，是在給定向量的第次局部迭代時的值，是函數在點處的梯度。對于小步長δ，根據方程（11），我們可以得到一組解，這一組解均滿足 （12）為了提供梯度法的收斂條件，本文引入了局部精度的定義，即當精確度為時局部優(yōu)化問題的解就意味著 （13）其中，為問題（10）的最優(yōu)解。假設每個用戶都用一個目標精度來解決局部優(yōu)化問題。接下來，根據文獻REF_Ref8263\r\h[14]，實現局部精度所需的局部迭代次數的下界有引理一得出。引理1:有，如果我們設置步長滿足條件，局部迭代的次數表示為，同時運行梯度理論我們就有 （14）在每個用戶的迭代，我們可以解決局部優(yōu)化問題（10）與精度，引理1導出的下界反映了局部迭代次數相對于精度的增長趨勢。在下面，我們使用這個下界來近似每個用戶進行本地計算所需的迭代次數。在算法1中，迭代方法涉及全局迭代的次數（即算法1中的值），來獲得全局FL模型的全局精度。換句話說，當全局模型精度為時FL局部優(yōu)化問題的解是滿足下式的一個點，其中，是局部優(yōu)化問題(10)的實際最優(yōu)解。 （15）為了分析算法1的收斂速度（即算法1收斂所需的迭代次數），我們對損失函數做出了以下兩個假設。假設一，函數是滿足L-Lipschitz條件，即利普希茨連續(xù)條件。其定義就是對于某一函數,在其定義域中的兩個不同的自變量之間的差的絕對值乘以一個常數L是不小于對應的因變量之間差的絕對值。也可以說是。假設二，函數是關于的強凸函數。強凸函數在其定義域內具有唯一的全局最小值，對于梯度下降算法具有較好的收斂性。也可以說。假設中γ和L的值由損失函數決定。這些假設可以很容易地滿足廣泛使用的損失函數，如線性或邏輯損失函數REF_Ref8518\r\h[15]。在假設一和假設二下，給出了算法1收斂速度的以下定理（即，算法1收斂所需的迭代次數），其中，每個用戶以給定的精度解決其局部優(yōu)化問題。定理一：如果我們在時運行算法一，變量的值為，全局迭代次數滿足下列公式 （16）此時就有，也就是FL訓練問題能夠得到一個最優(yōu)解。從定理1中，我們觀察到全局迭代次數以的速率隨著局部精度的增加而增加。由定理1，我們也可以看到FL的性能取決于參數，，，和這些參數。需要注意的是，之前查閱的工作只是研究了為0時的這種特殊情況下FL匯聚所需要的迭代次數REF_Ref8642\r\h[16]。定理一提供了一種在為任意值下FL普遍的匯聚率。由于FL算法涉及到了本地計算的精確度和聚合結果，很難計算出收斂所需要的確切的迭代次數。在下文中我們用近似為全局迭代次數的值。對于參數設置，有一個方法就是將設置為一個非常小的值，在任意的學習任務和損失函數下都有，并且滿足。然而，由定理一可知，的值太小會導致迭代時間非常長。故而，應首先選擇為一個大一點的值，但是，當在一定時間下損失沒有降低的時候將的值降低到之前的二分之一。在模型計算過程中，的值至少要改變三次。定理一適用于值固定的情況，即在算法1最多進行三次迭代之后。4能耗最小化的資源分配方案圖4.1獲取能耗最小化方案流程圖如上述流程圖所示，在制定能耗最小化的資源分配方案時，我們所做的工作如下：首先，我們明確定義了能耗最小化問題的目標和約束條件。接著，為了為fmincon優(yōu)化器提供初始可行解，我們構造了一個完成時間最小化問題，并通過求解該問題獲得了一組參數和時間最小值。然后，我們驗證這組參數是否滿足能耗問題中的時延約束，若滿足，則將其作為能耗最小化問題的初始解。最后，以這組參數為起點，fmincon優(yōu)化器進一步尋找能耗最小化問題的最優(yōu)解。整個過程結合了不同但相關的問題，有效利用了它們之間的信息，提高了求解的效率和準確性。下面我們來逐步尋找一個能耗最小化的資源分配方案。4.1能量最小化優(yōu)化問題的定義本文研究的是MEC架構下5G聯邦學習模型的資源分配問題，考慮到本地終端能量有限，故而有關資源分配的研究目的為能量消耗最小，并且通過上文的各種模型構建與分析，研究目標可以轉化為在延遲約束下最小化所有用戶的總能量消耗。所以本節(jié)內容是對于能量最小化優(yōu)化問題的定義，該問題關于非凸性獲取全局最優(yōu)解決方案，是比較難獲取解的。于是為解決能量最小化問題的低復雜度的隨機算法應運而生。問題制定的目的就是在一定延時限制下使所有用戶的總能量消耗最小，根據上文的聯邦學習模型假設推理與分析，已知近似為全局迭代次數的值，近似為每個用戶進行本地計算所需的迭代次數。再根據用戶能耗公式、完成時間公式換算可以得到的能量最小化問題展示如下 （17） （限制條件1） （限制條件2） （限制條件3） （限制條件4） （限制條件5） （限制條件6） （限制條件7）其中，，，，同時有為常數，和分別是用戶的最大本地計算能力和最大值的平均傳輸功率。這一系列約束條件是通過分析通信網絡模型和聯邦學習模型建立換算的。為了能量最小化問題的值能夠達到最小，那么要求各個參數能夠取到得到最優(yōu)解。根據上述公式，可以將能量最小化問題視為為多個約束條件下非線性多變量的最值問題，其中的多個自變量包括本地上傳時間、用戶頻分多址所占帶寬、用戶計算能力、用戶傳輸功率、和局部精確度。據此，可以通過在matlab中使用fmincon函數求解此問題的最值。fmincon函數是MATLAB中用于求解帶約束的非線性多變量函數優(yōu)化問題的函數。在運用fmincon進行優(yōu)化時，初始可行解的確定至關重要，因為它直接決定優(yōu)化算法的收斂性。因此，尋求合適的初始可行解是優(yōu)化過程中的必要環(huán)節(jié)，為后續(xù)順利推進和優(yōu)化結果的可靠性提供保障。4.2能量最小化問題的求解轉化由于解決能量最小化問題（17）的迭代算法需要一個初始可行解，因此我們在本節(jié)中提供了一個有效的算法來尋找能量最小化問題（17）的可行解。為了得到最小化問題（17）的可行解，這里構造了完成時間最小化問題。此時對于能量最小化問題的求解就轉化為時間最小化來求解，根據分析證明，時間最小化的解是可以滿足能量最小化問題的各種約束條件的可行解。我們所構造的完成時間最小化問題如下, 且該問題有與能量最小化問題相同的約束條件。 （18）我們將定義為完成時間最小化問題的最優(yōu)解，定義為所有用戶中的最大完成時間的最小值。其中若當時，則是能量最小化問題的可行解，其中是約束條件1中的最大延遲。否則，能量最小化問題就不可行了。雖然由于各項約束條件的約束，完成時間最小化問題（18）仍然是非凸的。4.3能耗最小化問題的求解盡管各項約束條件使得完成時間最小化問題（18）保持非凸性，但我們仍需積極尋找一種能夠得出最優(yōu)解的有效方法。這樣，我們才能求得能量最小化問題的初始可行解進而保證優(yōu)化過程的順利進行和結果的準確性。故而下面來尋找一個可以得到最優(yōu)解的方法。先假設有的時間最小化問題（18）是可行的，并且可行的解決方案是。然后，解決方案是可行的，則此時目標函數的值低于解決方案，這與是最優(yōu)解決方案相矛盾。因而對于使用的時間最小化問題（18），我們總是可以通過遍歷滿足所有約束的解來找出問題的的可行解。該假設可以總結為如下引理：引理2：的時間最小化問題（18）沒有可行解（即它是不可行的），而的時間最小化問題（18）總是有可行解（即它是可行的）通過以上引理，我們可以使用二分法得到問題（18）的最優(yōu)解。首先在一個固定的T條件下，我們仍然需要找出是否存在一個滿足所有約束條件的可行解。從約束條件1和3，我們可以看到，用戶的計算能力與其計算時間成倒數關系，故而利用最大計算能力總是能滿足條件的，即，。從約束條件2和4中，我們得到當，時完成時間最小值將會出現。由此可得，應將最大計算容量和最大傳輸功率代入到時間最小化問題（18）中，該問題可變換成： （19）（限制條件1’） （限制條件2’） （限制條件3’） （限制條件4’） （限制條件5’）觀察以上約束條件，將限制條件聯合進行分析，首先限制條件2’的右邊可以視為類似于函數自變量為的函數，經過求導分析，該函數在自變量大于零的定義域內是增函數，故而限制條件2’的右側是關于單調遞增的。同時所有用戶的總帶寬要小于B，所以要盡可能的小，那么限制條件2’右側的也是盡可能小，則左側就是更小的值了。由于數據大小是固定的，所以用戶時間應當取到滿足限制條件1’最大的值如下式 （20）該式是關于精確度的公式，同時數據大小s是常數，可以用來代替來滿足限制條件2’，通過以上推導可以得出如下總帶寬最小化問題 （21）我們可以觀察到，當這個總帶寬最小化問題的最優(yōu)目標值小于B時，限制條件1’到限制條件5’是非空的即相互不會造成矛盾。由于限制條件2’的右側是一個遞增函數，帶寬最小化問題與時間最小化問題（19）的解是相同的。此時有是限制條件2’右邊的逆函數。且有如下三式 （22） （23）（24）結合三式，帶寬最小化問題可變換為 （25）自此我們可以推出一個引理引理3：對于一個固定的T，只有帶寬滿足下列條件時，限制條件1’到限制條件5’是非空的 （26）此時我們可以對函數進行分析，發(fā)現該函數為凸函數，也就說明函數存在極值，并且可以通過二分法取得此極值，證明推導如下：（27）以上分析可以說明，有為函數的最值解，因此，通過二分法可以有效地求解，獲得最小完成時間的算法如下。最優(yōu)FL精度水平滿足復合函數一階導為0，即最優(yōu)的精度不應該太小或太大?？梢岳斫鉃槿缦虑闆r：對于較小的，局部計算時間（迭代次數）變得很高，如引理1所示。對于較大的，由于定理1中需要大量的全局迭代，因此傳輸時間較長。綜上所述，經過對時間最小化問題約束條件的分析，我們發(fā)現帶寬最小化問題與時間最小化問題的解是一致的。雖然時間最小化問題并非凸函數，但帶寬最小化問題被證實為隨精確度變化的凸函數，因此我們可以求得帶寬最小化問題的最值解，且該解為適中數值。這一特性恰好適用于二分法算法，以求解所有閉式解。當時間最小化問題的最值解得出后，我們可以將其作為初始解代入fmincon函數中，從而輔助解決能量最小化的決策問題。算法2:基于二分法的完成時間最小化算法初始化最小完成時間、最大完成時間以及容忍度;repeat設置;檢查是否滿足問題（26）;if滿足限制條件1’到限制條件5’有可行解，設置else設置;until滿足條件;5仿真實驗5.1參數設置本文中實驗仿真時的參數設置如下，噪聲功率譜密度為。參數Ck均勻分布在[1,3]×104個循環(huán)/樣本中。參數（周期/樣本）均勻分布在[1,3]×104個循環(huán)/樣本中。在算法1中，我們設置了、和。除非另有規(guī)定，我們選擇相等的最大平均發(fā)射功在本文研究的模型模擬中，將用戶統(tǒng)一部署在500m×500m的平方區(qū)域，邊緣服務器位于其中心。路徑損耗模型為（以km為單位），陰影衰落的標準差為8dB。用戶之間有相等的最大傳輸功率為10dB，相等的最大計算容量為2GHz,傳輸數據的大小，帶寬為。用戶的本地數據集有個數據樣本，以等概率從數據集中隨機選擇。所有統(tǒng)計結果的平均都超過1000次獨立運行。5.2實驗結果分析5.2.1時間最小化問題的最優(yōu)解存在性驗證在圖6中，顯示了s=100Kbits、s=200Kbits、s=300Kbits下函數隨本地精確度變化的趨勢圖。圖5.1函數的值與本地精確度之間的關系圖5.1中可以看出，對于不同數據大小，函數隨自變量本地精確度的值變化都呈現出了一種凸函數的變化趨勢，可以明確的說明，時間最小化問題的分析推導是正確的，有為函數的最值解，說明時間最小化問題的最優(yōu)解可以被獲取到，從而作為能量最小化問題的初始可行解，由此求出能耗最小化的資源分配方案。同時也可以看出此最值解的值并沒有過大和過小。正如上文所述，我們可以考慮兩種情況：第一，對于較小的精確度，局部計算時間（即迭代次數）增加。這是因為當較小時，算法需要更多的迭代步驟來收斂到最優(yōu)解。這可以由引理1支持，該引理已經指出隨著的減小，達到一定精度所需的迭代次數會增加。第二，對于較大的精確度，由于需要更多的全局迭代來滿足定理1的條件，因此傳輸時間變長。這意味著在大的精確度下，算法可能需要在全局模型和局部模型之間進行更多的信息交換，導致通信成本增加。所以，最優(yōu)解的精確度由于局部計算時間和通信傳輸時間的權衡過程必然是一個較為適中的數值。5.2.2能耗最小化的資源分配方案性能比較這里我們將所提出的FL方案（標記為“ProposedFDMA”）與具有等帶寬（標記為“EB-FDMA”）、具有固定局部精度的FLFDMA方案（標記為“FE-FDMA”）和根據參考文獻REF_Ref8870\r\h[17]中的FLTDMA方案（標記為“TDMA”）進行了比較。在圖5.2中展示了ProposedFDMA、EB-FDMA、FE-FDMA和TDMA方案進行迭代運算得到的完成時間隨最大平均傳輸功率變化的性能對比。圖5.2隨最大平均傳輸功率變化不同傳輸方式下的總能量在這個圖中，EXH-FDMA方案是一種窮舉搜索方法，它可以找到問題（17）的一個接近最優(yōu)的解。在窮舉的1000多個解里面找出最接近的解。從圖中，我們可以觀察到權重總能量隨著每個用戶最大平均發(fā)射功率的增加而減少。圖六還顯示，本文所提出的FL方案優(yōu)于EB-FDMA、FE-FDMA和TDMA方案。此外，EXH-FDMA方案取得了與所提出的FL方案幾乎相同的性能，這表明該方法達到了最優(yōu)解。圖5.3隨最大計算能力變化不同傳輸方式下總能量在圖5.3中展示了ProposedFDMA、EB-FDMA、FE-FDMA和TDMA方案進行迭代運算得到的加權完成時間隨最大計算能力變化的性能對比?？梢钥闯?，ProposedFDMA、EB-FDMA、FE-FDMA和TDMA這四種方案都是不隨最大計算任務的變化而變化。這個現象可以說明最大計算能力對于權重能量是沒有影響，但是能夠提供的最有效的信息就是本文所提出的FDMA方案下的用戶消耗的總能量在不同的最大計算能力始終都是最小的。在圖四中，顯示了所提出的FDMA、EB-FDMA、FE-FDMA和TDMA方法整體FL模型訓練完成時間在不同數據大小下的影響。圖5.4數據大小與FL訓練完成時間的關系從圖5.4可以看出，四種方法隨著數據大小增大，完成時間都呈現逐漸增高的趨勢，但是對于數據大小在同一個范圍內變化時，本文中所提出的FDMA方法的完成時間總是最低的。在數據大小較小的時候FE-FDMA的完成時間與本文所提出來的方法的完成時間是差不多的。圖5.5最大平均傳輸功率與FL訓練完成時間的關系圖5.5揭示了隨著用戶最大平均發(fā)射功率的變化，任務完成時間如何受到影響。從圖中可以觀察到，隨著用戶最大平均發(fā)射功率的提升，所有方案的任務完成時間均有所下降。這是因為較高的最大平均發(fā)射功率有助于縮短用戶與邊緣服務器間的傳輸時長。在眾多方案中，本文提出的聯邦學習(FL)方案表現尤為出色。其優(yōu)勢在于同時優(yōu)化了帶寬和局部模型精度，而在EB-FDMA方案中，帶寬是固定不變的；在FE-FDMA方案中，則未對進行優(yōu)化。與時分多址(TDMA)方案相比，本方法可將完成任務的時間大大縮減。這一顯著改進得益于兩個主要因素：首先，在FDMA方案中，用戶在本地計算完成后，能夠直接將結果數據傳送至基站，而TDMA方案要求所有用戶在本地計算后都必須通過無線傳輸，這無疑比FDMA耗費更多時間。其次，由于FDMA為用戶分配專用的部分帶寬，使得用戶承受的噪聲功率低于使用整個帶寬的TDMA用戶，因此，FDMA的傳輸效率更高，傳輸時間更短。6總結與展望本文研究了5GMEC架構下無線通信網絡上FL的節(jié)能計算和傳輸資源分配問題。我們根據收斂速度推導出了FL的時間和能耗模型。利用這些模型，制定了一個聯合學習和通信問題，以最小化網絡的總計算和傳輸能量。為了解決這一問題，我們提出了一種低復雜度的迭代算法，在每次迭代中，都推導出了計算和傳輸資源的封閉解。數值結果表明，該方案在總能耗方面優(yōu)于傳統(tǒng)方案，特別是在較小的最大平均發(fā)射功率下。根據對不同的FL模型仿真結果進行比較分析，可知本文所提出的FDMA的FL方案不僅能夠使得所有用戶消耗的總能量是最低的，并且在保證能量最低的前提下，系統(tǒng)模型訓練完成時間也比其他的一般模型所需要的完成時間短，從而進一步的說明本文提出的基于5GMEC架構下的聯邦學習模型的資源分配方案具有較好的性能。本文對于FL過程中的資源分配還有很多不足之處，包括沒有說明如何處理數據異構性、如何平衡效率與公平性、以及如何確保算法的可擴展性和魯棒性。但是隨著技術的不斷進步，堅信將有更多創(chuàng)新性的算法和解決方案被開發(fā)出來，以應對目前出現的各項挑戰(zhàn)，并推動聯邦學習在各種數據敏感的智能領域的應用。

參考文獻JiZ,LuX,YinR,etal.Unlicensedassistedtransmissioninvehicularedgecomputingnetworks[J].EURASIPJournalonAdvancesinSignalProcessing,2022,8(1):1-20.JereS,YiY.EdgeIntelligenceforBeyond-5GthroughFederatedLearning[C]//2021IEEE/ACMSymposiumonEdgeComputing(SEC).IEEE,2021:345-349.NiknamS,DhillonHS,ReedJH.Federatedlearningforwirelesscommunications:Motivation,opportunities,andchallenges[J].IEEECommunicationsMagazine,2020,58(6):46-51.YuS,ChenX,ZhouZ,etal.Whendeep