PAGEPAGE100/ 基于OFDM的語義通信波形優(yōu) 香農和韋弗指出，通信可分為語法層、語義層和語用層三個層次。依托于香農經典信并不考慮符號的含義，主要用于解決比特或符號正確傳輸的技術難題。語義通信專注于傳遞信息的含義和重要性，而非僅僅關注符號本身，主要用于解決如何精準傳遞發(fā)送符號的含義，以及接收方如何以期望的方式影響系統(tǒng)行為的問題。雖然語義通信與語法通信同步被提出，但一直以來由于技術水平和場景需求的限制，人們更注重于語法通信。然而，隨著通信技術的迅猛進步，傳統(tǒng)通信系統(tǒng)的容量已經逐漸接近香農理論的極限。另一方面，隨著人工6G網絡中對通信智能化需求的增長，語義通信再次成為熱門技術。1.12.1語義知識庫是語義基框架研究的一個方向，其是一種結構化的且具備記憶能力的知識2.1所示，面向語義通信的語義知識庫可分為信源知識庫、信道知識庫、任務知識庫，分別為信源數據（如文本、圖片、視頻等）、信道傳輸環(huán)境（如傳輸中障礙物位置與形狀信息、智能反射面位置信息等）、任務需求（如圖片分類、三維重建、語義分割等）提供多層級語義知識表征[1]。在端到端的語義通信中，發(fā)送端根據所具備的信源、信道、任務知識庫，可以高效獲取信源數據的多層級語義知識描述、傳輸環(huán)境的信道語義估計、下游任務的具體語義需求，然后對所要發(fā)送的信息進行語義信道聯(lián)合編碼；在接收端，則根據在接收端所具備的語義知識庫，對接收到的信息進行知識查詢與理解，完成語義信道聯(lián)合解碼。語義知識庫促進了語義通信的發(fā)展。例如，當前基于深度學習的信源-信道聯(lián)合編解碼方法需要針對其面向的特定任務，基于大規(guī)模的相關數據，進行大量的訓練，以獲得合適的通信模型。這種對于數據與時間資源的高消耗特性阻礙了深度信源-信道聯(lián)合編碼的推廣。而語義知識庫作為一種先驗知識，為語義通信提供了高效且規(guī)范的語義支撐，能夠有效加速信源信道-聯(lián)合編解碼網絡的訓練，減少為了各具體通信任務進行網絡訓練時對大規(guī)模數據的依賴。我們首先介紹語義知識庫的結構，包含語義知識庫的接口及內部的組織形式（所示）2.2輸入：語義知識類型（信源、任務、信道三種之一）以及數據源信息（如數字、字符、文本、圖像、語音、視頻、點云等）；第一類方法基于知識圖譜構建語義知識庫。針對文本傳輸，文獻2]使用描述語義信息的三元組（包含頭部實體、關系、尾部實體）構建語義知識圖譜，并且將此作為收發(fā)端語義知識庫用于指導文本傳輸中語義編解碼設計。針對語音傳輸，文獻3]提出了基于知識圖譜的多層級結構的語義知識庫基礎模型，以及包含語義表達和語義符號抽象兩個步驟的語義知識庫構建方法。針對圖數據傳輸，文獻[4]提出了由顯式語義、隱式語義以及與用戶相關的知識推理機制組成的多層級語義表征方法，并且基于模仿學習對接收端用戶的文獻[4]進一步針對語義知識庫使能的異構網絡，基于聯(lián)邦圖神經網絡方法提出了各移動邊緣服務器協(xié)同推理機制，從而使得各服務器可基于分布式語義信息樣本構建共享語義解析模型。的統(tǒng)計特性分布不同時，文獻[5]利用遷移學習中的領域自適應技術，降低了數據差異對模型泛化性能的影響，使得信道編解碼方案能夠更好的適應目標領域的所需傳輸的數據。第三類方法基于深度學習模型提取的特征向量作為語義知識庫。文獻[6]定義一組有第四類方法基于預訓練大模型作為語義知識庫。文獻8]提出了一種基于預訓練語言模型的語義重要性感知通信方案，基于量化的語義重要性，他們研究了語義重要性感知的功率分配。文獻[9]提出一個基于大模型的多模態(tài)語義通信框架。該方法提出基于多模態(tài)語言模型的多模態(tài)對齊，并提出了一個個性化的大語言模型語義知識庫，允許用戶通過大語言模型進行個性化的語義提取或恢復，解決了語義歧義問題。2.32.3所示，設計多層級特征編碼器。首先，為了彌合視覺與語義特征分布的差異公共低維特征。其次，在潛在公共低維特征監(jiān)督下，分別設計視覺/語義自編碼器，訓練得到將視覺/語義特征投影至潛在特征的視覺/語義編碼器，以及將潛在特征投影至視覺/義特征的視覺/語義解碼器。最后，基于所得的多層級語義編碼器，設計多層級圖像分類方法，分別在視覺特征空間、語義特征空間、潛在特征空間進行類別判決。判決的目的是為了確定與當前通信需求最匹配的傳輸層級。2.42.4所示，考慮語義知識庫使能的端到端收、發(fā)端的語義解碼器不一定基于相同的數據集經過訓練得到，故收、發(fā)端各自的多層級語義編碼器可能不同。因此，收、發(fā)端各自對圖像樣本的多層級語義信息的提取標準可能存在差異。收、發(fā)端知識庫大小的不同可能會對語義信息傳輸的結果以及所需要的傳輸層級造成影響。例如，當接收端知識庫包含所有類別語義信息時，發(fā)送端只需要傳輸相應類別迫提高。受到信源信道聯(lián)合編碼的啟發(fā)，語義-信道聯(lián)合編碼成為了語義通信系統(tǒng)中最為關鍵2.5所示，語義信道聯(lián)合編碼是由兩個深度神經網絡實現的。深度神經網絡相當于自動編碼/解碼器，它可以代表各種基于深度學習的神經網絡模型，例如：卷nsomer等。通過聯(lián)合訓練這兩個深度神經網絡，語義信道聯(lián)合編碼可以同時反映信號的語義特征以及傳輸信道的特征，因此能夠有噪環(huán)境中有方式能夠表現出更好的穩(wěn)定性。2.5小化語義誤差為優(yōu)化目標，基于循環(huán)神經網絡、Transformer等模型的語義信道聯(lián)合編碼語音信號更為復雜，因此也更難被處理和理解。信號失真比（S）和語音質量的感知評估（PSQ）是量化重建音頻信號質量的主要度量標準。以最大化感知評估質量和最小化失真比為優(yōu)化目標的編碼策略以及應用于音頻傳輸中。圖像/視頻在多媒體時代是數據流量的主要來源，面向圖像的語義信道聯(lián)合編碼策略也受到了大量學者的關注。在圖像傳輸系統(tǒng)中，通信任務可以是圖片識別或者圖像重建等，其中峰值信噪比（PSR）是衡量重建圖像與原始圖像相似性的主要指標。研究表明，語義信道聯(lián)合編碼在加性高斯白噪聲信道、瑞利衰落信道和萊斯衰落信道中均比傳統(tǒng)編碼方式有更好的表現。除了典型的單模態(tài)數據之外，用于語義通信的多模態(tài)數據傳輸框架也逐漸發(fā)展起來。例如，在與增強現實相關的應用中，不同類型的數據仍然是彼此相關的。通過考慮不同類型nsormr模型的多用戶多模態(tài)聯(lián)合編碼策略也開始應用到其他智能任務中，包括圖像檢索和機器翻譯等任務。綜上所述，與傳統(tǒng)的編碼方式相比，語義-信道聯(lián)合編碼展現了更好的、更穩(wěn)定的性能?？偟膩碚f，語義-信道聯(lián)合編碼的增益主要來自兩方面。一方面，基于深度神經網絡的語義編碼器能夠有效提取語義信息，實現了對原始數據的壓縮，進而提高了通信效率。魯棒性，為重要的語義信息傳輸提供了保護。無線通信環(huán)境中的衰落效應具有時變性，因此變化的衰落信道、不確定的信噪比隨著通信技術的發(fā)展，大規(guī)模MIMO場景中的基站擁有大量天線，可為多個用戶設備提供服務。MIMO技術為通信領域帶來了顯著的性能改進，然而，其實現卻需要占用大量存儲空間和計算資源。大規(guī)模MIMO系統(tǒng)涉及多個天線和信道，在接收和發(fā)送端需輸出通道的復雜矩陣運算需要更高的處理能力。在MIMO系統(tǒng)的設計和實施中，必須平5G6G的過程中，MIMO天線數量不斷增加，要最大程度地利用這些天CSI反饋機制涉及上行資源的數據傳輸，而傳統(tǒng)的方法存在一些問題，如基于碼本的方式CSI壓縮成為一種解決方案。在這方面，傳統(tǒng)通信采用分離信源信道編碼方式，而基于CSI壓縮假設信道編碼模塊和調制模塊能夠保證完美傳輸，即可以根據反饋CSI反饋存在明顯缺點，如“懸崖效應”和由信道條件不匹配引起的信道譯碼錯誤。相反，聯(lián)CSI對于基站的后續(xù)執(zhí)行過程仍然具有價值。2.6級聯(lián)信源信道編碼中的資源分配策略2.6級聯(lián)信源信道編碼資源分配策略在信道條件不佳時為信道編碼分配更多比特，而為信源編碼分配更少比特[12反之亦然。這種級聯(lián)信源信道編碼中的資源分配策略允許在恒定的信道碼率情況下接近最佳傳輸。然而，傳統(tǒng)的語法信息傳輸系統(tǒng)通常采用分離的信源信道編碼方法，導致信源的自然冗余與信道的統(tǒng)計特性難以匹配?；谏疃葘W習的語義信息傳輸系統(tǒng)可以使用注意力機制動態(tài)調整與信源編碼功能和信道編碼功能相關的相應子網的大小。神經網絡能夠從信源中提取特征組，特征組通道間的關系通過軟性注意力機制捕獲，并針對不同的通道生成不同的縮放因子，用以增強或減弱該通道的特征與下一層網絡的連接13]。語義信息傳輸與深度學習的高度組合性使其能夠根據信道的信噪比自適應調整信源編碼碼率和信道編碼碼率，以適應各種信道條件。2.7CSI樣本在角度時延域的可視化圖像在傳統(tǒng)通信中，采用分離信源信道編碼方式。因此，引入深度學習的CSI反饋方案2.7所示，該方式下使用的截斷二維離散余弦變換會導致一些有用的CSI信息被丟棄，并且在后續(xù)過程中無法非線性變換網絡替代基于信源編碼的CSI反饋方法中使用的截斷二維離散余弦變換，從CSI時的功率需求，緩解了“懸崖效應”和延時問題。與傳統(tǒng)的編解碼方式相比，導致在MIMO場景下多發(fā)送端占用存儲資源的現象，人導致傳統(tǒng)分離信源信道編碼的機制中的CSI反饋的方式和傳輸信息保護策略不適用于語的CSI進行后續(xù)處理，使多發(fā)送端占用存儲資源減少，使端到端信息傳輸系統(tǒng)具有更為語義通信可以大幅壓縮傳輸數據帶寬，保留數據的語義信息，在未來以“智能體”信，如何將人工智能（I）與經典通信系統(tǒng)融合，如何打破數據信息與語義信息之間的壁壘，還需要進一步研究。語義通信系統(tǒng)一般基于人工神經網絡（N）搭建，直接以圖片或文本作為輸入，N架構基于概率模型搭建，利用梯度回傳算法進行訓練，011所示，是一種數據編碼與語義編碼分離實現系統(tǒng)（SSC）SSC系統(tǒng)[17]。該系統(tǒng)在一般的語義編碼器前，添加了數據到語義的信源編碼轉化模塊，使得數據編碼可以作為語義編碼的輸入，語義編碼可以在分離框架下兼容經典信源編碼實現。2.8絡的輸入，在后續(xù)輸入語義編碼模塊時，可以將語義編碼模塊中的Embedding層替換為01代表信源編碼，這樣相當Transformer2.1所示。2.1SDSCANNSDSCHuffmanValuePositionTransformer128(8Power/∑SNR:-6~8Transformer128(8GreedSDSC2.9所示，藍線表示直接接收文本或圖片作為輸HuffmanSDSC系統(tǒng)通信性能。2.9采用不同數據訓練，語義通信系統(tǒng)的性能對比橫坐標代表加性白高斯噪聲（AWGN）BLEU1-4為評估指標的性能曲線。[17]HuffmanHuffman編碼需要Huffman2.10所示。Huffman9-12Huffman編碼長度截短912。此外，為了進一步說明語言建模信息對語義編碼的重要性，還選取了截短6Huffman編碼。需要注意的是，當碼字由于截短喪失了可譯性，其會被譯碼為2.10Huffman編碼，其碼字長度分布。橫坐標為碼字長度，縱坐標為2.11展示了有損信源編碼可能導致語義通信系統(tǒng)性能下降程度。藍線表示用無損umnSSC系統(tǒng)的傳輸性能，紅線代表用截短為12umanSSC9umnSC系6umnSSC系統(tǒng)的傳輸性能。當有umn12位的情況，雖然它可能在傳統(tǒng)通信系統(tǒng)中造成嚴重錯誤，如懸崖效應，但是語義通信系統(tǒng)的性能損失微不足道。這主要是因為語義編解碼器可以基于語義建模信息恢復無法解碼的編碼詞，然后將其推斷為合理的句子。然而，當有損編碼導致大部分語義建模信息丟失時，如圖中展示的霍6位的情況，它可能導致性能下降，甚至是語義通信系統(tǒng)的完全9位時，BLEU0.8以上，這代表即便傳輸數據被大2.11AWGN綜上所述，SDSC系統(tǒng)能夠接收二進制比特作為語義編碼的輸入，從而將經典信源編SDSC275%以上，而通信雙方仍然在一定程度上可以互相BLEU0.8以上。2.2HuffmanJSCC架構與整個2.12如圖2.12所示，為應用層兼容語義編譯碼方案。數據在應用發(fā)送端進行語義編碼，.1節(jié)中的實驗結果表明，應用層兼容語義編譯碼相對較好實現。但是，也需要空口傳JSCC（MC）架構部署在靠近無線接入網（RN）的位置，并通過網絡能力開放獲得對無線信道環(huán)境的感知。2.13如圖2.13所示，為核心網兼容語義編譯碼方案。在該方案中，由核心網進行語義編2.14RANJSCC語義通信系統(tǒng)。RAN能夠跟蹤和解讀用戶語義數據，RAN高層的復雜度。此外，數據經過多層加密，并針對原始發(fā)送順序進行RAN層進行語義特征提取，需要進一步研究。2.15RANRAN高層兼容方案類似的問題。近年來，深度神經網絡在自然語言處理，語音信號處理，和計算機視覺領域得到了廣泛應用。這些模型使用預訓練模型在大型通用語料庫上進行訓練，可以應用于分類任務、數據集成、聚類關聯(lián)等任務[1820]。一般來說，系統(tǒng)由一個發(fā)射器和一個接收器組成，發(fā)射器的數據是單模態(tài)的，這些模型只使用一種信息類型（文本、圖像、視頻、數據），在學習問題中被稱為單模態(tài)模型。單模態(tài)語義通信可以用于各種應用場景，包括自然語言處理、語音識別和圖像處理等。在單模態(tài)語義通信中，語義信息的傳達主要依賴于所選擇的模態(tài)。由于傳感硬件設備的普及程度較低，移動設備難以從多種信息源中采集相關數據，因此單模態(tài)語義通信仍然是目前的主要研究重點。目前，語義通信系統(tǒng)在提高單模態(tài)數據通信的傳輸效率和誤碼率方面取得了良好的效果。特別是在文本和圖像模態(tài)的數據處理方面。6G網絡，對通信效率高、計算成本低等智能通信的需求越來越大。這使得研究3.13.1聯(lián)合源信道語義通信系統(tǒng)框架自然語言處理使機器理解人類語言，其主要目標是理解語法和文本。語義通信系統(tǒng)利用發(fā)送方和接收方共享的背景知識對信息進行語義壓縮和理解。目前，語義通信技術被廣泛應用于各種通信任務中。在語義編碼優(yōu)化方面，對于文本傳輸，已經有一些初步研究涉及到文本的語義傳輸。ie等人[24]針對文本信息傳輸提出了基于深度學習的語義通信系統(tǒng)epSC，初步考慮了信源一信道聯(lián)合編碼，使接收端從語義角度恢復文本，旨在通過恢復句子的含義而不是傳統(tǒng)通信中的位或符號錯誤，來實現系統(tǒng)容量的最大化和語義錯誤的最小化。為了準確地驗證語義通信的性能，論文初始化了一個新的度量，即句子相似度。pSC-epSC[25]也用于文本傳輸，這里考慮了一個云/邊緣平臺執(zhí)行基于深度學習的語義通信模型訓練和更新的物聯(lián)網網絡，而物聯(lián)網設備執(zhí)行基于訓練模型的數據收集和傳輸，提出了一個基于深度學習的輕量級分布式語義通信系統(tǒng)用于低復雜性的文本-epSC訓練過程中衰落信道在前向傳播和后向傳播中的影響，該文獻提出一種利用信道狀態(tài)信息來輔助訓練處理的方法以減小衰落信道對傳輸的影響。隨著深度學習的發(fā)展，自然語言處理使人們能夠分析和理解大量的語言文本。為了更好地借助自然語言處理在信道上實現語義通信，文獻[22提出了一種基于通用變壓器的新型語義通信系統(tǒng)。與使用自然語言處理的固定轉換區(qū)相比，通用變壓器中引入了自適應循環(huán)機構，Yan等[26]DeepSC[27]語義相似性的基礎上，提出了一種稱為語義譜效率(S-SE)的效率對于具有不確定性的通信場景，hng等[28]提出了基于深度學習感知上下文的語義通信模型，以學習語義和上下文特征作為背景知識，通過背景知識可以應用于一些具有不確定性的非聯(lián)合設計的通信場景，并基于詞性與上下文設計編解碼策略，在減少信息傳輸比特數和提高傳輸信息與恢復信息之間的語義準確性方面是有效和可靠的。在此基礎上iu等[28]提出了一種擴展的基于上下文的語義通信系統(tǒng)。建立了一個提取和恢復句子語義特征的模型。該方法將段落的文本作為輸入，并在編碼器對當前句子進行編碼時考慮上下文含義以支持語義表示。在解碼過程中，使用先前解碼的信息和當前接收到的符號作為擴展解碼的輸入。Shindm[29]設計了一種自動編碼器，該編碼器僅傳輸提取的關鍵字，并使用接收到的關鍵字利用收發(fā)端共享背景知識進行數據恢復，采用該方法可以節(jié)省每句傳輸字數。u等[30]也基于語境關聯(lián)理論研究了語義通信，并提出了一個新框架hins2ec，他們利用圖來建模由事物交互產生的功能序列關系（稱為物聯(lián)網上下文圖并將該圖嵌入語義通信框架，通過圖嵌入技術從事物的交互中產生潛在的語義表示。在這種方法中，他們將語義關系映射到物聯(lián)網的上下文圖中，實現完整的語義信息獲取，從而hins2ecSC通信的可靠性。文獻[31]梯度更新的強化學習算法，該算法與注意力網絡相結合。在該框架中，基站從文本數據中提取了由語義三元組組成的語義信息，并將其傳輸給每個用戶；收到語義信息后，每個用戶使用圖形或文本生成模型恢復原始文本。在此基礎上，[32]與注意力策略梯度P)算法[31在這個框架中采用結合注意力網絡的基于近端策略優(yōu)化的強化學習R)算法，可以根據舊策略與更新策略的差異動態(tài)調整學習率，從而保證收斂到局部最優(yōu)解。其中語義信息由一G表示，接收方使用圖-文本生成模型恢復原始文本。Jing等[33]將G轉換成三元組，這些三元組被視為語率(WER)、雙語評價替代(BLEU)、基于共識的圖像描述評價(CIDEr)、語義相似度量Wng等人[35]基于深度學習提出了用于語音傳輸的語義通信系統(tǒng)epSCS)，其聯(lián)合設計了語義-信道編碼器用于從原始語音中提取后發(fā)送全局語義信息，并有效抑制無線信道所帶來的失真和衰減，從而在接收端恢復出于原始語音幾乎完全相同的語音序列。與傳統(tǒng)方法將輸入語音映射成比特序列不同，pSCS通過基于卷積神經網絡（CN）的通過信道編碼器轉換成可傳輸的符號序列。pSCS在整個信號傳輸過程中，不包括比特-符號之間的轉換，所以，為了衡量原始語音序列和恢復的語音序列之間的誤差，采用MSE作為損失函數訓練整個端到端語義通信系統(tǒng)的網絡參數。另外，為了進一步對語義信息進行分析，pSCS設計了基于一種注意力機制的語義編碼器SRst)，其核心是考慮語音序列中的靜音片段和說話片段所攜帶的信息量差異，通過神經網絡網絡學習得的語音序列的整體準確性。相比于傳統(tǒng)通信系統(tǒng)，DeepSC-S被證明在語音清晰度恢復上S也超越了采用基于深度學習的信源編碼級聯(lián)傳統(tǒng)信道編碼，以及基于深度的信源編碼級有效性，和語義-DeepSC-S的基礎上，Xiao等人在文獻之間的重要性,以此來實現更高效的語義壓縮從而降低傳輸所需的數據量。另外，DSST還DSSTCNNJSCC而在文獻[37]中，ZhouTransformer來構建端到端的語音語義傳輸系統(tǒng)(DeepSC-TS),CNNTransformer來學習相關語義特征，并在接收端設計了基于CNN和Transformer的特征重提取器來提取淺層語義特征和CNN來實現語音的有效重載。3.2DeepSC-S音合成。因此，為了彌補面向任務的語義通信在語音信源方面的空缺，Wng等人在文獻[38]中提出了用于語音識別和語音合成的語音語義傳輸系統(tǒng)pSCS)，其核心在于構建一個強大的語義編碼器來提取語音信號中的文字信息并轉換成相應的語義特征。pSCSTCRU網絡架構的語音編碼器，極大程度地對原始語音進行壓縮以過濾到與語音特征相關的信息，僅保留與文字相關的語義信息，從而降低傳輸所需語義-CC作為損失函數來衡量系統(tǒng)損失，并采用字錯率WR)和詞錯率CR)來衡量獲得的文字的性能。另外，為提升系統(tǒng)輸出的多樣性且為用戶提供清晰的語音序列，接收端獲得文字被送入到獨立的語音合成模塊來獲得完整的語音序列。因此，通過聯(lián)合語義-信道編碼提取和發(fā)送文字相關語義特征，pSCST實現了用于語音識別和語音合成的語義通信系統(tǒng)。另外，n等人[39pSCST的基礎率并提升了語音識別的準確率。在該方法中，作者采用BLSTM+全連接層的架構來構建語義編碼器，在接收端基于全連接層來設計語義解碼器，并且提出了基于Transfomer的合成方面，作者設計了基于Transformer的生成對抗網絡(GAN)的機制來訓練獲得一個強3.3用于語音識別和語音合成的語義傳輸系統(tǒng)(DeepSC-ST)[38]為了進一步拓展面向任務的語義通信系統(tǒng)在語音信源方面的應用。Wng等人[40]構建了用于語音到文字翻譯和語音到語音翻譯的語音傳輸系統(tǒng)SS)。在該方法中，作nsomr設計了語義-信道聯(lián)合編碼機制提取深層語義特征，并在接收端首次提出了語義到文字模塊。在語義到文字模塊中，作者利用nsormr編碼器和一個基于RN的檢測網絡構建了一個語義錯誤檢測器用于檢測恢復語音中的受損語義并返回一個nsomer解碼器和全連接層設計了一個語CE作為損失函數計nsormr構建了目標文字到目標語音的語音合成機制，為只懂目標語言的用戶提供清晰流暢的語音序列。因此，SST實現語音到文字的不同信源，以及多種語言之間的傳輸系統(tǒng)。另外，為了使語音語義通信更加適用于到實際的通信場景，Weng等人[41]設計了用MIMO信道傳輸的語音語義通信系統(tǒng)(SAC-ST)SVDMMOMMOSSO信道，且基于奇SSOMMOnsormr和全連接層構建了語義-信道聯(lián)合編碼機制實現語音到文字的傳輸范式。此外，文獻[41]中首次提出了針對語音信號的語義分析機制，其核心是將從預訓練的語義編碼器提取的語義特征送入到采用全連接層構建的語義覺知網絡進行語義分析，并返回一個重要性向量來衡量每一個語義特征的重要性，以此來識別出包含重要語義信息的特征向量。最后，結合MMO信道分解得到的多個不同信噪比SSO信道和訓練好的語義覺知網絡，作者巧妙地設計了一個根據語義重要性的來對語義特征進行分級傳輸的方法。具體來說，傳統(tǒng)的比特層傳輸中，不同的比特序列包含的信SSOSCST中，根據神經SSO信道傳SSO信道傳輸，這樣來保證接收端SCST的語義重要性分級傳輸機制，極大程度地提MMO語義通信系統(tǒng)中語音到文字傳輸的準確性。深度學習方法在圖像編碼和傳輸方面的潛力。針對圖像信源的語義提取，Gunduz與Kurka等人[42]基于卷積神經網絡提出了一種用于無線圖像傳輸的聯(lián)合源信道編碼(JSCC)聲信道輸出反饋納入傳輸系統(tǒng)[43]，引入了一種基于自編碼器的JSCC方案，利用信道輸助信息，并且通過在不同分辨率的測試圖像源中，SCC傳輸方法的性能總體上優(yōu)于使用標準深聯(lián)合源信道編碼的模擬傳輸和基于經典分離的數字傳輸。[45提出了一種基于生成對抗網絡s)的圖像語義編碼方法，其目標是語義交換而不是符號傳輸，使用多個感知度量來訓練和評估所提出的圖像語義編碼模型。為了解決傳輸數據的統(tǒng)計特征分布與訓練數據集的統(tǒng)計特征分布普遍不同這一難題，hang等人[46]利用生成式對抗網絡CR和信道編碼率，從而在有限的帶寬[5]SC-AIT并通過通信渠道傳輸，大大提高分類、檢測等圖像處理任務的執(zhí)行效率。Zhang等[49]開JSCC研究方面，[50]提出了一種基于視覺轉換器(ViT)的多輸入多輸出(MIMO)系統(tǒng)無線圖像傳輸的聯(lián)合源信道編碼(JSCC)方案，稱為ViT-MIMO。該高不同的信道條件下的傳輸質量。[51]jsccformer-f。文中考慮了一個塊反饋信道模型，其中發(fā)射器在每個塊后接收無噪聲/有噪聲信道輸出反饋。jsccformf的統(tǒng)一編碼器可以利用源圖像的語義信6G網絡和智能醫(yī)療等應用的關鍵推動因素。Kang等人[53]提出了一迄今為止，已經提出了許多用于圖像質量評估QA)的語義度量。常用的有圖像語義相似度、峰值信噪比PSR、圖像與圖語義相似度SS而對于次要信息則可以采用更為壓縮的方式傳輸，從而節(jié)約傳輸帶寬。此外，通過實時調整視頻編碼參數和優(yōu)化傳輸路徑，語義通信技術還能夠適應不同的網絡條件，提升視頻傳輸的穩(wěn)定性和效率。為了解決傳統(tǒng)視頻傳輸系統(tǒng)的問題，Wng等人[54]提出了一種基于聯(lián)合信源信道編碼（JSCC）的語義端到端視頻傳輸系統(tǒng)（ST），該系統(tǒng)利用非線性變換和條件編碼架構來自適應地跨視頻幀提取語義特征，并通過一組學習到的可變長度深度JSCCiang等人[55]針對視頻傳輸帶寬資源進行了優(yōu)化，提出了一種傳輸語義而不是視頻所有比特的視頻語義系統(tǒng)（SA），通過語義分割模塊對源視頻中動態(tài)和靜態(tài)片段分別進行分類和編碼，獲得動態(tài)和靜態(tài)片段的語義與位置信息。同時，通過適應不同信道條件的JSCC模塊對分割后的信息進行編碼、傳輸與解碼。最后通過幀內插值模塊在接收端恢復視頻。的信息可以提前發(fā)送，從而有效提升語義視頻會議的傳輸帶寬[56]。同時，Jiang等人[57]對于傳輸錯誤對SVC的影響進行了研究，并探究了評價視頻質量的方法，以確保語義系SVC3.4所示。3.4文獻[57]提出的語義視頻會議（SVC）利用生成器對傳輸的視頻進行重建。由于自動混合重傳請求（RQ）可以應對無線通信中的時變信道，并且在帶有確認（CK）反饋信號的時變信道下能夠進行重傳和發(fā)送增量比特來提高傳輸質量。3.5SVCSC3.5所示。關鍵點檢測器由的卷積神經網絡（CN）houglss網絡、卷積層、sotmx激活函數得到最終的關鍵點。在編碼器-解碼器結構中，全連接層完成關鍵點維度的變化，量化操作將神經網絡輸出的浮點數映射為比特數據，以及比特映射為浮點數，解量化操作則將接收的比特重新映射為浮點計算視頻中的動態(tài)部分，完成發(fā)送視頻幀的復原。（a）3.6傳統(tǒng)方法、SVCSVC-HARQBER下的性能3.6（a）展示了傳統(tǒng)的H264SVC使用基于VGG的檢測器在不同誤比特率（BER）下的接收幀的可接受比率。圖3.6（b）則展示了傳統(tǒng)方法、SVC以及不同配置SVC-HARQ（其中的SVC-HARQ(160,160bits)表示第一次傳輸和第二次傳輸都傳輸160比特信息）在不同誤比特率（BER）1.526M傳輸比特下接BER=0時，1.526M10000個由SVCBER的不斷增加，H264的BER0.20.953.6（b）中，可以看出傳統(tǒng)AV1+LDPC-HARQ（AV1視頻編碼、LDPCHARQ技術結合）只有較少的幀可以被接受，并且SVCBER的逐漸提高恢復視頻的能力下降明顯，而SVC-HARQ借助增量比特有效對抗了信道影響，從而確保了傳輸視頻的質量。DVSTVISTA，系統(tǒng)能夠提取SVC通過僅傳輸關鍵面部表情變化的關鍵點，并利用生成網絡對視頻幀進行復原，有效提4.1但是現有的文本語義通信,如DeepSC等，都假定輸入的文本信息是正確無誤的，因1所示，該系統(tǒng)可以對語義信息進行修正，消除語義噪聲，提高語義通信的語義保真度。4.2為了解決語音語義通信系統(tǒng)中的語義噪聲問題，Wng等人[61]在基于神經網絡構建的端到端語音到文字翻譯的傳輸范式中設計了針對受損語音的語音語義噪聲抑制機制。具體來說，首先基于清晰的語音序列，設計了深度語義編碼器來提取語音信號中的深度語義特征，從而實現準確的端到端語音到文字翻譯。此外，為了抑制受損語音信號中的語義噪聲，設計了深度語義補償器來估計受損的語義信息并同時提取與目標語言相關的語義特征。具體來說，提出了基于生成式網絡)的訓練策略，通過訓練判別器來區(qū)分準確的語義特征和通過深度語義補償器獲得的受損的語義特征，然后通過訓練深度語義補償器來最小化準確的語義特征和受損的語義特征之間的差異。通過判別器和深度語義補償器的交替訓練，使得判別器無法再分辨出深度語義補償器生成的語義特征和準確的語義特征，且深度語義補償器能夠獲得幾乎準確的語義特征，以此來抑制受損語音信號中的語義特征。4.3信道環(huán)境具有較強的魯棒性[62]6G場景中至關重要。4.4[7]首次對圖像在語義通信系統(tǒng)傳輸過程中的語義噪聲進行了建模，并設計了一種端到端魯棒語義通信系統(tǒng)來對抗這種噪聲，同時降低傳輸開銷。具體來說，針對不同場景，的語義噪聲，即針對每張圖像添加不同的語義噪聲。發(fā)送端語義噪聲一般在發(fā)送端編碼時4.4)所示。考慮如下場景：有一個惡意攻擊者攻擊網站，下載圖像數據集，將語義噪聲加在該數據集的每張圖片上，再將該修改過的數據集上傳至網站。語義噪聲對編碼過程有嚴重的影響，并且會誤導深度學習模型使其產生錯誤的結果，從而導致任務失敗CI和傳輸符號的場景，他們提出了一種在接收端產生的非樣本依賴的語義噪聲。這種噪聲對不同輸入樣本產生相同的語義噪聲，并添加到不同的傳輸信號中，導致大多數圖像無法成功解碼。該語義噪聲產生的原因有硬件非理想特性，由信道引起的傳輸信4.4)示。為了提高通信系統(tǒng)對語義噪聲的魯棒性，[7]提出了一種新的訓練方法：權重擾動的對抗訓練。這種方法的核心思想是將帶有語義噪聲的樣本納入訓練數據集，從而在訓練過通信環(huán)境的開放性和神經網絡的脆弱性，接收端的語義噪聲成為了一個嚴重的問題。[63]輸入無關和可操控性?；谶@些要求，[63利用神經網絡設計了一個接收端語義噪聲生成外，語義通信還面臨著一種“內源性風險”些挑戰(zhàn)，以確保通信的準確性和可靠性。5.1所示。5.1通信研究都圍繞上述幾種模態(tài)展開。如基于nsormr的聯(lián)合語義信道編碼方法[24]，聚焦于文本的數據類型，在考慮加性白高斯噪聲（WN）的影響下，能夠很大程度上去除信道噪聲及語義噪聲。除此之外，考慮到文本中某些詞句具有更強的語義模糊性，一種引入了自適應循環(huán)機制的nsormr被設計出來用于進一步增強系統(tǒng)的抗干擾能力[22]。對于圖像數據，基于注意力的聯(lián)合信源信道編碼（JSCC）系統(tǒng)以不同的信噪比基于自然語言處理的Wav2Vec[65]和引入了注意力機制的編解碼系統(tǒng)[66]數據類型，一種被稱為DeepWiVe的方案給出了使用強化學習（RL）的端到端聯(lián)合信源盡管目前的語義通信系統(tǒng)在很多場景中表現出了令人滿意的性能，但它們只能用單一的數據模態(tài)處理一項任務。一方面單模態(tài)的數據在本質上具有多義性，即一個源信號通?？梢员唤庾x為多種含義，如果沒有上下文或相關背景知識，通過語義編碼器得到的特征往往是不充分的，獲取其潛在的真實含義是較為困難的。同時另一方面，隨著當下數字多媒體業(yè)務迅猛發(fā)展，各類終端獲取的信息早已不再單一，與人類通過多種感官感知世界的方式類似，多模態(tài)的數據可以從多個方面提供全面的信息，現如今包括各種類型在內的多模態(tài)服務已經逐漸成為各類場景的主流。一般意義上，多模態(tài)語義通信將由來自兩種或兩種以上的不同模態(tài)的數據作為輸入，旨在聯(lián)合表示不同模態(tài)的數據或探尋其中的內在的語義特征。多模態(tài)學[68]和多模態(tài)情感分析[69]可以從音視頻等不同模態(tài)中提取多模態(tài)的特征表示，從而提高預測性能。因此，設計一個面向多模態(tài)數據的語義通信系統(tǒng)是很有必要的。任務（如分類、預測、回歸等）5.2所示，融合可以分為兩種方式，早期融合和后5.2早期融合與后期融合結構示意圖（以雙模態(tài)分類任務為例模態(tài)的輸入[70]。其在發(fā)送端將兩個模態(tài)的特征進行拼接后發(fā)送，采用了域適應模塊可以可以根據不同信道條件和任務動態(tài)調整需要傳輸的特征數量[71]。也有研究設計了一種去中心化的多模態(tài)學習策略[72]，并設計了知識蒸餾模塊（D）用于解決由于模態(tài)的異構性和非獨立同分布（D）數據導致本地訓練的生成器只能學習到本地分布的問題。有研究以執(zhí)行視覺問答（A）任務為例，即部分用戶發(fā)送圖像，而其他用戶發(fā)送Rst101作為圖片模態(tài)的編碼器，使用雙向長短期記憶（iSM）場景，在最后一層將兩個模態(tài)的特征進行融合送入記憶力、注意力和合成（MC）網絡得到輸出[73]。后有學者進一步考慮了多用戶的情況，使用基于nsormr的框架來統(tǒng)一不同任務的發(fā)射器結構，并在接收端根據實際任務選擇是否對不同模態(tài)進行融合[74。有學者[75]在分布式多模態(tài)的語義通信框架下，利用魯棒性驗證問題（RP）[76]來也有信道級的信息融合方案被提出來[77]，即讓不同模態(tài)的語義信息按信道增益作為權重低無線信道對多模態(tài)語義特征融合的隨機效應。了傳輸不同類型數據（如圖像、文本和語音）通信系統(tǒng)表現出了濃厚的興趣，主要側重于提升語義通信的傳輸性能，包括重構失真或準確度，并考慮了各種度量標準，如峰值信噪比（PSR）和分類準確率?，F有工作主要可以分為兩大類：數據重構和智能任務執(zhí)行。在數據重構方面，語義通信系統(tǒng)致力于從源數據中提取全局語義信息。一些代表性的工作包括經典的用于文本傳輸的pSC[24]和用JC[42。這些方法旨在減少數據的冗余，提高傳輸效率。這些方法的核心思想是通過自動編碼器將信源符號直接映射為信道符號進行傳輸，并通過端到端學習進行訓練。對于任務執(zhí)行的應用程序，語義通信系統(tǒng)僅在發(fā)送端提取和編碼與特定任務相關的語義信息[75比如分類和目標檢測。這種方法的優(yōu)點在于，它僅傳輸任務所需的關鍵信息，從而減少傳輸的數據量。JSCC框架專門設計用于處理單一任務。當執(zhí)行與模型設計不同的任務時，由于模型不匹配和/或不適當的訓練流程（例如，模型訓練時使用的損失函數），它將無法正常工作。為此，現有的模型可能需要重新訓練，這導的實際意義。5.3統(tǒng)一接收機：負責接收來自不同發(fā)射機的數據，并進行相應的解碼和處理，以實5.3所示的例子中，我們考慮一個任務T4，該任務同時包含了三種模態(tài)的數據。然后，發(fā)射端根U-DeepSC。這個模型不僅考慮了單模態(tài)任務，還涵蓋了多模態(tài)任務，從而更好地適應各種實際應用場景。U-DeepSC能夠同時處理圖像、文本和語音這三種不同模態(tài)的數據，展現了強大的多模態(tài)處如，[80]和[81]中研究了聯(lián)合速率最小化和失真最小化問題，并提出了一個新的端到端語5.3中MA通過多個用戶共享時間和頻率資源，解決了MA在用戶擴展上的困難，提升了頻譜效率，降低了傳輸時延，但其非正交特性使得系統(tǒng)的設計變得困難。一方面，由MA讓所有用戶的信息均在公共信道中傳輸，接收端需要使用干擾消除技術實現對應信息的分離，常見的手段有接收信號的重構[82、接收端多用戶檢測等。另一方面，多用戶語義通信的擴展性不高。為了解決這一問題，in等人[83MAWN信道到瑞利衰落信道的切換。相比于其他的技術手段，將MIMO與多用戶語義通信相結合，在提升頻譜效率的同時，還能夠增大通信的覆蓋范圍。但基于MIMO也會使得不同用戶之間存在干擾。由于限制了基于MIMO的多小區(qū)語義通信的實現與優(yōu)化。對于上述問題，在建立語義干擾消進行分離。相比于TDMA、FDMA等正交多址技術，在解碼端設置特征識別模塊，可有手段需要依次對單個用戶的模型進行訓練，消耗資源大、時間長。對于這一問題，Hu等5.4為了滿足不同場景下不同任務的需求，語義用戶和比特用戶往往需要共存，稱為異構語義準確性等指標不可能用統(tǒng)一的形式表達，因此，比特流和語義流需要分離。Mu等人[87]MAMAMA方案，有效促進了兩類用戶的語義通信。其次，語義和比特用戶的分配需要一定的準則。從用戶距離考慮，由于語義通信所需要傳輸的數據量遠遠小于比特用戶，一般將遠距離用戶作為語義用戶，近距離用戶為比特用戶。從傳輸條件考慮，由于語義通信在低信噪比條件下良好的性能，一般將傳輸條件差的用戶為語義用戶，傳輸條件好的用戶為比特用戶。5.5異構語義-5.6首先需要考慮的是進一步提高頻譜效率，降低消耗能量，減少傳輸時延等通信資源的配置。通過引入隊列、能量等模型，將提升語義頻譜效率、語義能量效率作為目標，設計I的引入，語義通信在提升性能的同時，存在著高能耗、高計算需求的現實情況。而用戶的計算資源是有限的，僅靠用戶無法實現語義通信模型以及語義知識庫持續(xù)的更新與優(yōu)化。因此，需要聯(lián)合考慮云端服務器和邊緣側服務器，在解決計算資源緊張的同時，滿足用戶的傳輸時延。另外，與單用戶點對點語義通信不同，多用戶的語義通信需要實現多個用戶資源的共同調配，以實現多用戶自適應語義通信[885.7多用戶語義通信通信-計算-同時，在實現這一目標的過程中，OFDM波形優(yōu)化作為關鍵技術之一，通過將信號分解隨著第五代（5G）無線通信系統(tǒng)、人工智能（I）和其他支持技術的發(fā)展，出現了各種關鍵任務的應用，如自動駕駛、智能工業(yè)和遠程醫(yī)療[13]。在當前的通信系統(tǒng)中，這I算輸和處理等。最近，語義通信引起了廣泛的研究興趣[24]，[25]，[35]，89]，[90]，[91]，[92]，它I技術，用于提取然后傳輸數據。在給定特定任務的情況下，原始數據的期望含義是完成諸如分類和目標檢測等任務。因此，語義通信也被稱為任務導向通信[25，[89，[90，91語義通信的主要目標是在語義領域內實現有用信息的可靠傳輸。因此，所需的帶寬可以顯著減少，使得語義通信成為關鍵任務應用的有前途的解決方案。但它對硬件、協(xié)議和加密提出了新的挑戰(zhàn)。數字通信在許多方面都優(yōu)于模擬通信，包括6.16.1所示。6.216.32絡，直接生成對應調制方式的星座點[94][95]，如圖6.2所示；另一種方式則通過量化編碼網絡將信號轉換為數字序列，結合數字調制將序列映射到相應的星座點[96][97]6.3所示。前者通過端到端的編碼網絡直接輸出星座點，有助于減少對硬件設備的依賴，具有更低的失真，更簡單的設計和計算，并消除了"懸崖效應"。OFDM是一種廣泛應用于JSCCOFDM結合，可以將端到端的語義通信系統(tǒng)用JSCCCNN層OFDM6.4DJSCCOFDM結合6.4IFFTFFTDJSCC系統(tǒng)模型然而，由于生成符號的隨機性，DJSCC在與正交頻分復用(OFDM)結合時存在嚴重的高峰均功率比(PAPR)問題。較高的PAPR會導致帶內失真和帶外輻射，這是由于無線電發(fā)射機的高功率放大器(HPA)的非線性造成的此外，OFDM接收機的檢測效率對數模轉換HPAPAPR會增加了硬件成本，嚴重時甚至會帶來6.5DJSCC模擬調制生成的星座點是散亂無章的，當OFDM與語義通信系統(tǒng)結合時，更有可能生成大峰值功率符號,PAPR值,造成更6.5DJSCC發(fā)送端調制圖PPRPPR降低技術根據PRPPR抑制技術包括預編碼、選擇性映射SM)、部分傳輸序列PS)、交織、音調保留、音調注入、主動星座擴展、星座重塑等。除了傳統(tǒng)方案外，一些基于LPPR降低技術最近被提出PPR作為懲罰損失函數加入決定參數更新方向的損失函數中；將限幅作為一個非線性函數加入到網絡的訓練過程中從而進一步提升限幅法的性能。6.6所示,PAPR抑制性能。并且,在失,PSNR性能,,在信0dB的情況下,PAPR!6.6PAPR抑制技術和傳統(tǒng)方案的性能對比綜上所述，本節(jié)研究了基于DJSCCOFDM系統(tǒng)的PAPR抑制技術，包括傳統(tǒng)的PAPRDLPAPRPAPR抑制技DJSCCDJSCCSSCC不同，例如，DJSCC/SSCC中的限幅性能優(yōu)于/PAPR抑制技術，帶再訓練的限幅技術SLMPTSDJSCCPAPR，而不影響信號的重構。6G技術?，F有的語輸，智能任務等方面表現出有效的性能。具體來說，通過聯(lián)合信源信道編碼JSC)機可以用神經網絡)表示，并根據已知的信道模型以端到端的方式進行學習，以適應當前的信道條件，并獲得比基于模塊的傳統(tǒng)通信系統(tǒng)更好和更魯棒的性能，特別是在低信噪比SR)條件下。然而，當離線訓練的信道狀態(tài)與當前情況不匹配的情況下，JSCC框10dB0dB下訓練得到，其關鍵指標峰值信噪比PSR)比在線訓練4dB。GAN6.7所示，本小節(jié)建立了一種新的全雙工語義通信系統(tǒng)框架WSC)，其中收發(fā)器和信道神經網絡被聯(lián)合設計以執(zhí)行雙向圖像傳輸。具體來說，我們使用條件生成對抗網絡C)對圖像傳輸的無線信道分布進行建模，其中接收到的語義特征(稱為語義導頻)CNSPCNAB的神經網AB的接收器具有相同的更新梯度，這有助于我們在本地完成發(fā)射器的訓練并且不需要節(jié)點間反饋，從而有效降低了通信開銷和延遲。通過AB的語義編碼權重可以在本地高效學習，而不需要實時的數據交換。6.76.8ThePSNRscoreversusSNRinAWGN6.8WNPSRSRWN信道，WSCNSR范圍內表現良好并接近最優(yōu)算法，驗證了雙向系統(tǒng)中NSC表現最差。我們還比較了瑞利通道下的WNWSC優(yōu)于在瑞利通道下訓練的SR2dBPSR性能，這與現有研究認為在衰落信道下訓練可以提高模型在各種信道類型上的魯棒性是一致的[100]?？傮w而言，在與測試通道不同的通道下訓練的模型會出現一些性能下降。另一方面，所有傳統(tǒng)方法都存在懸崖效應，其中使用4M2dB、16M10dB64M14dBPSR性能。因WSC算法在低信噪比下仍然優(yōu)于傳統(tǒng)算法。6.9ThelossandPSNRperformanceoftheproposedTWSCsystemduringchannelSNRdecay(Decayfrom21dBto9dBat3dBintervals)6.9TW-SC系統(tǒng)的性能，當發(fā)射機功率保持恒定時，SNR3dBSNR21dB降低9dB來模擬這種衰減。如圖所示，TW-SC的損失性能在訓練過程中逐漸下降，而PSNRepochSNR急劇下降時，TW-SCSNR衰落對TW-SC性能的影響波動較TW-SC算法的可靠性。[101]。信道取決于傳播環(huán)境，隨著動態(tài)環(huán)境變化信道呈現高動態(tài)復雜性。在傳統(tǒng)通信系統(tǒng)中，信源編碼及信道編碼技術通過提高信息傳輸的可靠性來對抗信道衰落。然而，在傳影響，限制了傳輸性能的上限。在感知場景中，智能應用中的具體任務與感知場景中的目標高度相關[102][103]。例如智能駕駛的駕駛決策的環(huán)境信息包括道路上的車輛以及道路基礎設施。智能監(jiān)控的治安針對圖像數據的語義通信方法帶來的信息壓縮效果更加顯著。方法（PC-SC）[104]。感知場景下面向感知圖像傳輸任務的PC-SC語義通信方法如圖6.10所示。對承載語義信息的完整語義目標信息進行提取并進行傳輸，將面向任務的語義6.10PC-SCRes-Net18為基礎網絡對基于語義目標圖像的波束預測方法以及基于完整感知圖像此外，ResNet-184個基本塊均包含4層，每層卷積大小分別設置為(64,128,256)(32,64,128,128)融研究并評估性能。即第一組為（4，1）和（64，128,256,256），第二組為（4，1）(32,64,128,128)，第三組為(10,8)(32,64,128,128)，第四組為(10,8)和256,256）6.11[104]top1、top2top3準確率。結果表明，基于環(huán)境語義目標圖像方法的網絡魯棒性更強，對于最大池化層參數以及卷積核大小敏感度更低。相比之下，基于完整環(huán)境圖像的方法對網絡配置更敏感，精度變化程度較大。這就說明完整圖像中除語義目標外的細節(jié)信息無法帶來精度上的增益，其中的冗余信息卻會隨著網絡捕捉細節(jié)信息能力的提升，導致精度以及魯棒性的下降。這是因為，傳播環(huán)境中不重要的環(huán)境變化信息可能會造成干擾，而對信道產生影響的動態(tài)目標數據已經包含了反映傳播環(huán)境變化的有效信息。同時，對兩種方法的預測時間進行了對比?；谕暾h(huán)境圖像的預測模型每個0.055s0.037s32%以上的預測時間。6.11top-1，top-2，top-3優(yōu)化目標，難以滿足語義通信智能任務下對語義理解的需求[105]。語義通信中的資源分配與目標智能任務和特定交互需求緊密相關，為了發(fā)揮語義通信的最大優(yōu)勢，有必要開發(fā)更高效、更合理的資源分配方案，將有限的資源分配給語義信息更豐富的數據。由于語義通信系統(tǒng)中不同的語義壓縮率決定了接收端的語義保真度，進而影響任務性能，同時語義壓縮率也影響用戶對無線資源的需求量，因此，語義壓縮率需與無線傳輸資源聯(lián)合優(yōu)化；需要強大的計算能力輔助，而計算資源與傳輸資源相互制約，共同決定網絡性能，因此計算資源優(yōu)化也應被考慮在內；智能傳輸環(huán)境（比如智能反射面等）對網絡傳輸性能有不可忽視的影響，應當結合語義壓縮、無線資源及計算資源的約束，對傳輸環(huán)境進行聯(lián)合優(yōu)化。7.1所示，在資源角度，優(yōu)化目標包括語義7.17.1所示的三類，在實際情況中，可根據參考文能得到精運算量大，復雜求解規(guī)模小，對遺傳算法、粒子可能停留在局部最優(yōu)解，無法保證得到全局最優(yōu)自適應性需要大量的計算資源和時間來訓決策優(yōu)化，高動7.1在語法通信中，存在于介質訪問控制層的混合自動重傳技術（R）[113結合了自動重傳請求（R）和前向糾錯C）兩種機制，允許在不引入過多延遲的情況下，盡可能地在傳輸過程中糾正錯誤。C為待發(fā)送碼字添加冗余信息，接收端利用冗余糾正C無法糾正的錯誤，接收端使用檢錯碼，通常為循環(huán)冗余校驗（CRC），來檢測接收到的數據包是否出錯。如果沒有出錯，則接收端發(fā)送確認信息（CK）CK后，會接著發(fā)送下一個數據包。如果出錯，則接收端會丟棄該數據包，并發(fā)送否定信息（C）CKCKRQ機制中，接收端收到的錯誤數據包雖然無法被正確解碼，但其中可能包含了有用信息，如果選擇全部丟棄，則系統(tǒng)整體傳輸效率降低。為提高系統(tǒng)效率，改進為帶軟合并的RQ機制，即RQ緩存中，并與后續(xù)接收到的重傳數據包進行合并，從而得到一個比單獨解碼更可靠的數據包，然后對合并的數據包進行解碼，如果還是失敗，則重復“請求重傳，再進行軟合并”的過程。根據重傳的比特信息與原始傳輸的比特信息與原始傳輸相同，后者不同。HARQ技術可以高效地補償由于采用鏈路適配6G移動通信的重點研究方向之一。語義通信根據信源信息、系列進展，如利用卷積神經網絡（CNN）Transformer的語義收發(fā)器DeepSC[24]等。在適應信道環(huán)境方面，現有的語義通信系統(tǒng)大多采用將信道環(huán)為了有效解決以上問題，考慮將語義通信與廣泛應用于現代移動通信系統(tǒng)的HARQ混合重傳請求（IR-HARQ）SCHARQ[114]。7.2SCHARQSCHARQ中需要根據接收端的錯誤檢測結果進行多次傳輸，每次傳輸過程如圖7.2RS發(fā)送端以時間先后依次對待傳輸句子進行語義編碼和RS編碼后得到待傳輸碼字，傳輸至接收端。接收端進行RS解碼和語義解碼后得到原始句子的估計。并行方式中，發(fā)送RSRS校驗比特，組合成待傳輸則在發(fā)送端和接收端分別添加CRC校驗比特的獲取和CRC校驗模塊，并在接收端通過CRCACKNACK至發(fā)送端，表示傳7.3多次傳輸的SCHARQ整體結構次傳輸時被編碼得到第iCRCCRC錯誤檢測。接收端聯(lián)合接收到的全超參數根據HARQ的傳輸目標設置。在第一次傳輸中，傳輸位用于良好的信道環(huán)境，需7.3右側所示，信源信道編解碼器分別由語義編碼器、量化器和語義解碼器、解Transformer網絡、全連接網絡等組成，實現對信源的7.4SCHARQ對比其他方案的誤句子率（左）、平均待傳比特數（右SCHARQ框架和傳統(tǒng)方式，在較高的誤比特率情況下，SCHARQ在SCHARQMACHARQ技術結合，充分發(fā)揮兩本和語義誤差，[115]提出了將基于脈沖神經網絡（SNN）HARQ結合，根據信道條件動態(tài)調整帶寬，而不會造成性能損失。因此，語義通信和HARQ的結合有很冗余校驗（CRC）是一種根據網絡數據包或計算機文件等數據產生簡短固定位數校驗碼的一種信道編碼技術，主要用來檢測或校驗數據傳輸或者保存后可能出現的錯誤。它是利用除法及余數的原理來作錯誤偵測的。圖7.5CRC32的句子傳輸方法。CRC32CRC32判定為正CKCK反饋開始，直到句子被正確接收或者達到最大發(fā)送次數。7.5CRC32CRC作為一種高效且簡單的差錯檢測方法，并被廣泛應用于各種通信系統(tǒng)中，CRC錯誤檢測在語義通信系統(tǒng)中的使用效率并不高。例如在基于語義通信的文本傳輸系統(tǒng)中，CRCLevenshtein距離[116]、雙語評估替角（BLEU）[117]等。Levenshtein距離是通過計算將一個字符串轉換成另一個字7.6VGG-19的分ii-1個接收7.67.7語義相似度的度量通常利用預訓練模型BERT將句子映射到高維特征空間，通過高維特征的余弦距離衡量它們的語義相似度。將語義相似度檢測引入SCHARQ，接收端需子語義信息，因此文獻[114]Sim32CRC7.7所示，Sim32SCHARQ的編碼器、編碼器類似，Sim32編碼器輸出CRCCRCSim32相似度檢測。7.8Sim32Sim32SCHARQ，在誤比特率分別為0.050.2情況下分別測試，得到Sim327.8Sim320.98，認為語義傳輸正確，否則錯誤，因此兩種誤比特率情況的Sim320.980.900.05，在句1時，Sim32CRC-Sim32校驗Sim32CRCCRC校驗，則不再進行Sim32Sim32校驗。7.9CRC、Sim32CRC-Sim327.9所示，CRC-Sim32錯CRCSim32。在低誤比特率時，CRCSim32CRCCRCHARQCRC校驗結合，形成CRC-Sim32校驗機制。CRC-Sim32錯誤檢測允許句子語義相似但誤比特率較高的句子在6G網絡的快速發(fā)展，多個物聯(lián)網智能設備之間的應用交互引起了廣泛的關注，8.18.1多模態(tài)語義中繼架構和邊緣智能輔助的分布式語義通信[118]。具體來說，在語義通信范式下,分布式語義通信可以通過研究多模態(tài)語義中繼架構和分布式訓練促進多模態(tài)信息傳8.28.2語義對齊和補充、多模態(tài)語義中繼方案、分布式自適應工作負載優(yōu)化和分布式聯(lián)邦學習推理。不同模態(tài)之間全局和局部的語義特征具有一定的相關性。因此，通過對多模態(tài)數據進行多模態(tài)特征提取和多模態(tài)知識聚合，用以對齊和補充缺失模態(tài)的語義信息。在實際通信場景中，在發(fā)射器和接收器之間共享語義背景知識往往使不同的。同時，在惡劣的通信環(huán)近年來，為了實現多模態(tài)數據的可靠傳輸，學者們已做出了許多研究，如U-8.38.3所示，在源節(jié)點，通過單模態(tài)語義編碼器提取單模態(tài)的語義特征（如圖像），并由時，將其與附加的其它模態(tài)（如文本）個多模態(tài)信道編碼器之后，將融合后的語義從多模態(tài)語義中繼器傳輸到目的節(jié)點，然后根RTiSM組成來提取文本特征。然后，基于注意力機制的多模態(tài)特征融合模塊將語義信息互補的文本特征與恢復的圖像特征進行融合，然后通過多模態(tài)信道編碼器得到多模態(tài)語義向量轉發(fā)給接收方。在目的節(jié)點，采用多模態(tài)信道解碼器將多模態(tài)語義向量恢復得到多模態(tài)特征，然后根據用戶特定的需求進行恢復以完成目標任務。8.3顯示了多模態(tài)語義中繼架構在抵抗語義噪聲的例子。用戶使用無人機拍攝運動型多用能將圖像發(fā)送到附近的邊緣服務器（即發(fā)射機），為了充分利用邊緣服務器和分布式設備的計算能力，節(jié)省通信開銷，保護用戶隱私，我們采用了基于聯(lián)邦學習（L）的參數共享機制實現分布式訓練，使用多個邊緣服務器或設備與全局服務器協(xié)同學習模型參數，來提高語義通信模型的訓練效率。如圖8.4當處理多個局部邊緣服務器從設備收集到的非獨立和同分布數據時，可以使用對偶方法和二次近似來獲得獨立和可學習的任務。然后，每個邊緣服務器或設備可以利用區(qū)域收集的數據訓練其局部模型，并將更新后的局部模型參數傳輸到全局服務器。多設備檢測模塊計算所有局部模型參數的加權平均參數作為全局模型參數，并將其廣播到所有邊緣服務器或設備。邊緣服務器和全局服務器交替地更新模型直到達到預定義的收斂閾值。8.4PMCood101數據集[120]。同時，我們與三種基線進行了比較，即單文本模態(tài)（JSCT）和單圖像模態(tài)（JSCI89]）和分布式信息瓶頸變分特征編碼（B-FI[121]），B-FEneptionv3PMCood101數據集的圖像進行預處理。多模態(tài)語義中繼架構假設模擬的信道是一個加性高斯白噪聲（WN）信道，并且在訓練和測試階段的信噪比（SR）狀態(tài)是相同的。8.5SNR≥0dB的情況下，多模態(tài)語義中繼架構相比于單模態(tài)JSCC-T、JSCC-IDIB-VFE-I表現更優(yōu)。在低信噪比條件下（SNR=-10dB），JSCC-T、JSCC-IDIB-VFE-I22.7%、13.27%1.57%態(tài)語義中繼架構仍能夠達到62.86%的分類準確率。值得注意的是，通過利用多模態(tài)語義SNR≥-5dBJSCC-I高同時，我們通過掩蔽50%的傳輸圖像模擬惡劣的通信環(huán)境來驗證所提出的多模態(tài)語8.5顯示，使用掩蔽圖像的多模態(tài)語義中繼架構只有輕微的性能JSCC-IDIB-VFE-ISNR=10dB62.06%和集中學習和基于聯(lián)邦學習（FL）FL的訓練過程中，我們認為10個邊緣服務器和一個語義中繼作為全局服務器。UPMCFood-101數據集平均分布到8.5FL中的2%JSCC-IFL16.7%。結果FL中具有較高的訓練效率和魯棒性。8.5AWGN信道下多模態(tài)語義中繼架構與基線實驗的分類精度對比圖面臨針對人工智能模型的攻擊。語義通信模型安全對整個語義通信系統(tǒng)安全至關重要9.1根據對模型和知識庫的了解程度，對抗性攻擊可以分為白盒攻擊和黑盒攻擊。白盒攻擊，攻擊者對語義編解碼器和知識庫完全了解，清楚語義編解碼器內部的結構和參數，了解，對知識庫和訓練算法不了解或了解很少，只能通過輸入輸出來“詢問。常見的黑盒整模型信息和知識庫信息的實際情況，是研究的重要方向。根據攻擊者的目標，對抗性攻擊可以分為定向攻擊和非定向攻擊。以對語義解碼器的攻擊為例，定向攻擊指攻擊者希望語義解碼器將語義特征錯誤解碼為某一指定內容，如將“ppl”解碼為“nana”。而非定向攻擊則不指定錯誤解碼的內容，只需要語義編碼器將語義特征錯誤解碼即可。與定向攻擊不同，非定向攻擊的一個重要目標是最大化錯誤概率。被動防御的核心思想是通過過濾器進行數據去噪。過濾器可以作用在輸入處或模型內部。當過濾器作用在輸入處時，過濾器的作用是部分或完全地消除信息源或物理信道中對于正常數據，整個語義通信系統(tǒng)的表現會下降。投毒攻擊現有的防御手段有基于數據的防御、基于梯度的防御、基于模型的防御。等方法降低被攻擊模型的中毒程度。型安全的難度和復雜度提升。未來，語義通信系統(tǒng)需要魯棒性更強、工作效率更高、泛化能力更好的模型安全策略。9.2所示。9.2加密：這是一種經典的保護通信的保密性的方案，通過引入僅合法通信方掌握的秘密信息和密碼算法來對通信內容進行保護。語義通信中采用的加密方案與傳統(tǒng)的加密方案有顯著不同，語義通信中采用深度神經網絡來實現對語義特征的加密，將語義編信道編/解碼器、加解密器聯(lián)合在一起，通過類似生成對抗網絡的架構來訓練出一個最好的加/解密器，使加密強度足以抵抗攻擊者。不過，與傳統(tǒng)加密方案相同的一點是，密鑰消息仍然需要單獨安全信道進行傳輸，這個安全信道可以借助傳統(tǒng)密鑰交換算法或其他任意方法實現。這種加密方案可以較好的保護語義通信過程的保密性，沒有密鑰的惡意用戶無法重建正確的語義信息。密鑰生成：如何快速、高效的產生高質量的密鑰一直是密碼學熱烈討論的問題，而如何產生高質量的隨機數又是其中的關鍵問題之一。語義通信過程中所涉及到的動態(tài)無線EU分數等都是天然的隨機數來源，經過合適的處理基本能保證在較長時間內產生穩(wěn)定的隨機數序列。因此，語義通信過程中可以綜合利用這EU加權分數實現的密鑰生成算法產生隨機密鑰流。聯(lián)邦學習是提升語義通信隱私保護能力的可行方案之一[124]。其在不共享原始私有數據的情況下進行協(xié)作機器學習訓練，減少了隱私泄露的風險。在聯(lián)邦學習中，各參與方先使用自身數據進行本地訓練，然后分享其模型參數進行聚合以獲得全局模型。在不斷的聚合過程中逐步提升全局模型的性能。整個過程不涉及原始數據的共享，因此可以減少隱私泄露和數據外泄的風險。然而，聯(lián)邦學習無法阻止攻擊者通過梯度重建出敏感的訓練數據。此類攻擊被稱為梯度泄露攻擊。為抵御此類攻擊，模型劃分方法[125]在參與方中引入私有模型，以避免攻擊者獲取參與方的完整模型信息，從而有效阻礙攻擊者的梯度分析。梯度泄露攻擊的復雜度隨著私有模型的增大而急劇上升，因為攻擊者必須推斷出私有模型的所有超參數，才能通過梯度重建出敏感的訓練數據。差分隱私是另一種重要的隱私保護手段，旨在通過引入噪聲的方式，保護數據隱私的同時仍然能夠提供有用的數據分析結果。差分隱私通常運用高斯噪聲或拉普拉斯噪聲，并且適用性廣泛，有望應用于語義通信的隱私保護場景。多方安全計算是一種隱私保護的多方協(xié)作計算方法，通過綜合運用多種密碼學技術和協(xié)議來實現計算結果的正確性和數據的私密性。多方安全計算各參與方無法獲知其他參下，實現數據共享的模型訓練和使用。9.1安全等領域的多功能性，已成為一種關鍵工具[126]。然而，當前數字水印技術仍面臨諸多挑戰(zhàn)，攻擊者往往能夠探測出數字水印算法[127]，從而識別并修改水印，實現破解或篡改。因此，數字水印的二次加密尤為重要。Tirkel1994年正式提出兩種空間域嵌入算法[128]，雖有較好的魯棒性，但透明性表現較差。為改善透明性，Bors等人提出在DCT嵌入數字水印[129]。之后相繼出現了DFT、DWT等變換算法，改善了數字水印的景。文[131]進一步改進了DCT-DWT-SVD水印算法在無線信道的魯棒性，并完成了實驗息交互。以此為借鑒,可以利用語義信息生成新的數字水印來輔助整個安全通信過程。由于語義水印作為二次加密的方案，需要讓輸入層與輸出層盡可能的接近，因此可以采用自比解析傳統(tǒng)水印嵌入提取算法要復雜得多，因而具有更高的安全保障。DCT-DWT-SVD數字水印算法[131]進行優(yōu)化，通過設計適應度函數DCT-DWT-SVD數字水印算法是在YCrCb顏色空間上進行處理，對Y分量進行DWTCADCT分塊處理。通過對分塊的9.39.2傳算法進行優(yōu)化，選取不同圖片的最佳水印嵌入因子。遺傳算法種群大小為25，迭代次1000.950.70.01。選擇算子為隨機競爭選擇算子，變異算子為基本位變異算子，交叉算子為單點交叉算子。將峰值信噪比PSR)和相關性C)PSRC，γC的權重9.2所示。隨著γ的增加，算法能夠在保持高水印提取準確度的同時，進一步提升水印的隱蔽性和圖像質量。在γ取487.8528 9.4基于語義的數字水?。ㄗ?/p>