(19)國家知識產(chǎn)權(quán)局(72)發(fā)明人侍偉敏姚勃昕有限公司11203專利代理師王兆波GO6N3一種跨尺度時空特征交互融合的交通流量本發(fā)明公開了一種跨尺度時空特征交互融局特征的表達(dá)能力，又兼顧局部細(xì)節(jié)信息的捕進(jìn)融合策略，將各層次的時空特征進(jìn)行逐步整2步驟1:獲取各個交通節(jié)點的歷史交通流量數(shù)據(jù)并步驟3:構(gòu)建多層次時空特征捕獲模塊，該模塊由特征步驟4:構(gòu)建跨尺度特征交互模塊，該模塊由卷積層、成，時空特征經(jīng)過該模塊實現(xiàn)不同時間尺度特征間的信息互補(bǔ)得到多維度的時空依賴關(guān)步驟5:構(gòu)建多尺度特征融合模塊，該模塊由時間注意力機(jī)制和節(jié)點注意力機(jī)制構(gòu)成，時空依賴關(guān)系經(jīng)過該模塊捕捉時間維度和節(jié)點間的關(guān)聯(lián)變化，從而優(yōu)化特征的重要性分步驟6:將采集到的交通流量數(shù)據(jù)集劃分為訓(xùn)練集、驗2.如權(quán)利要求1所述的一種跨尺度時空特征交互融合的交通流量預(yù)測方法，其特征在3.如權(quán)利要求2所述的一種跨尺度時空特征交互融合的交通流量預(yù)測方法，其特征在區(qū)域t時刻及以前的交通流量數(shù)據(jù)進(jìn)行分析和建模來得到未來時刻的交通流量數(shù)據(jù)；模型量數(shù)據(jù)采集時間間隔為τmin,1h內(nèi)采集的流量序列數(shù)為60/t,單步預(yù)測指預(yù)測未來tmin后4.如權(quán)利要求3所述一種跨尺度時空特征交互融合的交通流量預(yù)測方法，其特征在于，x?=W?(Concat[AvgPool(x?),Conv(x?=W?(Concat[AvgPool(x?),Conv(3其中x∈R×T是每層提取出的時序特征，R為實數(shù)集合，N表示交通路網(wǎng)中節(jié)點的個數(shù)，T表示給定歷史時間序列的長度，Concat為拼接操作，AvgPool為平均池化層，Conv為一維卷步驟3-2-1:多維自注意力圖卷積模塊由多維度動態(tài)注意力矩陣構(gòu)造模塊、GCN模塊和特征嵌入模塊組成，多維度動態(tài)注意力鄰接矩陣構(gòu)造模塊根據(jù)當(dāng)前時間段的數(shù)據(jù)模式結(jié)合時間步關(guān)系維度和節(jié)點關(guān)系維度動態(tài)的構(gòu)造符合當(dāng)前數(shù)據(jù)模式的特征矩陣，具體為：首先，對當(dāng)前層次特征的全局關(guān)系進(jìn)行特征提取，其提取公式表示為：其中X?∈R×T為原始輸入數(shù)據(jù)，X~∈R*1為對時間步維度特征進(jìn)行最大池化和平均池化再拼接然后卷積并使用sigmoid函數(shù)獲得的節(jié)點間全局關(guān)系權(quán)重，而X?∈R1則是對節(jié)點維度特征通過同樣操作提取的時間步間全局關(guān)系權(quán)重，R為實數(shù)集合，N表示交通路網(wǎng)中節(jié)點的個數(shù)，T表示給定歷史時間序列的長度，σ表示sigmo將原始數(shù)據(jù)通過一個帶有殘差連接的卷積層，用于提取數(shù)據(jù)的局部細(xì)節(jié)特征；將提取到的細(xì)節(jié)特征分別與兩個全局關(guān)系矩陣進(jìn)行點乘運算，從而得到節(jié)點間和時間步間的全局其中X?∈R×T為原始輸入數(shù)據(jù)，為提取的特征數(shù)據(jù)，為提取的局部細(xì)節(jié)特征，R為實數(shù)集合，N表示交通路網(wǎng)中節(jié)點的個數(shù)，T表示給定歷史時間序列的最后，將節(jié)點間的關(guān)系矩陣與轉(zhuǎn)置后的時間步關(guān)系矩陣進(jìn)行矩陣乘法，以綜合兩種關(guān)系的相互影響；通過ReLU函數(shù)過濾掉節(jié)點之間的弱連接，從而保留關(guān)鍵的關(guān)系結(jié)構(gòu)；利用softmax函數(shù)對生成的鄰接矩陣進(jìn)行歸一化處理，得到自適應(yīng)調(diào)整的動態(tài)注意力關(guān)系鄰接矩陣A;其中A∈R×為生成的動態(tài)注意力關(guān)系矩陣，提取得到的特征數(shù)據(jù)，使用圖卷積神經(jīng)網(wǎng)絡(luò)GCN來提取空間特征；采用單層圖卷積運算模型，輸入特征為當(dāng)前層XT?,鄰接矩陣為構(gòu)造的邏輯關(guān)系矩陣A×.X?=AXW其中A?∈R×為生成的動態(tài)注意力關(guān)系矩陣，X?∈R×T為當(dāng)前層提取的特征數(shù)據(jù)，W?∈R×為可學(xué)習(xí)參數(shù)，X為圖卷積網(wǎng)絡(luò)提取的空間特征數(shù)據(jù)；4步驟3-2-2:多時間模式捕獲模塊用來捕獲時間序列的全局模式和局部模式；模塊分為兩部分，捕獲長期全局模式的Bi-LSTM以及捕獲短期局部模式的前饋全連接層，最后將兩者輸出相加作為該模塊輸出結(jié)果；示多時間模式捕獲模塊的輸出；R為實數(shù)集合，N表示交通路網(wǎng)中節(jié)點的個數(shù)，T表示給定歷史時間序列的長度。5.如權(quán)利要求4所述一種跨尺度時空特征交互融合的交通流量預(yù)測方法，其特征在于，步驟4中，跨尺度特征交互模塊首先分別將X小時數(shù)據(jù)，X天數(shù)據(jù)和X,"周數(shù)據(jù)輸入到融合層中進(jìn)行拼接，拼接操作將不同尺度的特征結(jié)合成一個更為全面的特征向量，使得模型能夠從多個維度捕捉到豐富的時空信息，使用一維卷積運算和正則化層對拼接特征進(jìn)行特征提取和壓縮得到兩個關(guān)聯(lián)的時空聯(lián)合特征數(shù)據(jù),其次將天數(shù)據(jù)和X“周數(shù)據(jù)分別通過兩層卷積運算以及RELU激活函數(shù)進(jìn)行過去一天以及過去一周當(dāng)前時間步特征信息提取和壓縮得到關(guān)鍵天特征X和關(guān)鍵周特征X°,然后對Xe,X"°分別進(jìn)行重塑壓縮處理得到符合注意力計算所需的狀態(tài)K,接著分別在V"之間執(zhí)行注意力計算得到自注意力特征化后輸出特征,通過門控混合模塊動態(tài)篩選多尺度特征間信息重要性進(jìn)行融合，分別以Z調(diào)整X,以Z"調(diào)整XF得到輸出!最后將重塑后的進(jìn)行拼接；然后通過卷積運算進(jìn)行降維并建模時間通道間相關(guān)性得到輸出Y。6.如權(quán)利要求5所述一種跨尺度時空特征交互融合的交通流量預(yù)測方法，其特征在于，在步驟5的實施中，步驟5-1:時間注意力機(jī)制首先利用3×3卷積層、5×5卷積層和7×7卷積層進(jìn)行多尺度卷積運算操作，對輸入的小時、天和周窗口數(shù)據(jù)分別進(jìn)行特征提??；通過池化操作對卷積提取的特征進(jìn)行下采樣，降低特征維度，減少計算復(fù)雜度，進(jìn)一步保留關(guān)鍵的特征信息；時間注意力模塊采用全局平均池化生成時間特征，通過卷積運算和Sigmoid激活函數(shù)生成時間維度的權(quán)重分布，確保動態(tài)聚焦于不同時間點的重要特征；步驟5-2:節(jié)點注意力模塊則通過一維卷積運算和ReLU激活，對節(jié)點間的特征進(jìn)行非線性變換增強(qiáng)局部特征表達(dá)能力；模型將時間注意力和節(jié)點注意力調(diào)整后的特征進(jìn)行加權(quán)融合，生成全局特征表示；融合后的特征通過線性變換和歸一化處理去除冗余信息，得到標(biāo)準(zhǔn)7.如權(quán)利要求6所述一種跨尺度時空特征交互融合的交通流量預(yù)測方法，其特征在于，步驟6中，采用平均絕對誤差MAE、平均絕對百分比誤差MAPE和均方根誤差RMSE作為評價模塊預(yù)測性能的評價指標(biāo)，其計算如下：56技術(shù)領(lǐng)域[0001]本發(fā)明涉及交通流量預(yù)測領(lǐng)域，具體涉及一種跨尺度時空特征交互融合的交通流量預(yù)測方法。背景技術(shù)[0002]隨著智能交通系統(tǒng)的發(fā)展，人們對交通流量預(yù)測的精度要求也在不斷提高。傳統(tǒng)的預(yù)測方法在應(yīng)對復(fù)雜的時空數(shù)據(jù)特性時往往存在不足。近些年來，隨著深度學(xué)習(xí)技術(shù)在計算機(jī)視覺和自然語言處理領(lǐng)域展現(xiàn)出卓越的處理能力，交通行業(yè)的研究人員逐漸將深度學(xué)習(xí)方法引入到交通流量預(yù)測中，希望借助其強(qiáng)大的非線性建模能力和自動特征提取優(yōu)[0003]深度學(xué)習(xí)主要根據(jù)數(shù)據(jù)的時空相關(guān)性進(jìn)行建模預(yù)測，因此基于深度學(xué)習(xí)的模型通常分為兩部分：時間關(guān)系建模和空間關(guān)系建模，在交通流量預(yù)測中，時間關(guān)系建模旨在捕捉交通流量的時間依賴性，包括短期波動和長期趨勢；而空間關(guān)系建模則側(cè)重于刻畫不同交通區(qū)域或路段之間的空間交互特性。這兩部分的有效結(jié)合，是深度學(xué)習(xí)模型在交通流量預(yù)測中取得顯著成效的關(guān)鍵所在。為了更好地整合時間和空間特性，近年來提出了時空圖卷積網(wǎng)絡(luò)，將時間關(guān)系建模與空間關(guān)系建模有機(jī)結(jié)合，能夠同時捕捉時間和空間特征的交互模式，從而更全面地刻畫交通流量的動態(tài)變化。這種聯(lián)合建模方法顯著提升了對交通流量的預(yù)測能力，成為當(dāng)前智能交通領(lǐng)域的研究熱點。現(xiàn)有的研究中時空圖神經(jīng)網(wǎng)絡(luò)已被廣泛用于捕獲空間和時間相關(guān)性。例如，Yu等人分別使用圖卷積模塊和一維卷積模塊來捕獲空間和時間模式；Wu等人將堆疊的擴(kuò)張卷積和圖卷積與自適應(yīng)依賴矩陣相結(jié)合捕獲動態(tài)時空人通過生成動態(tài)鄰接矩陣并結(jié)合GNN和RNN使用的編碼器-解碼器架構(gòu)模型捕獲時空相關(guān)性；Bao等人將距離矩陣、數(shù)據(jù)相關(guān)矩陣和天氣矩陣融合為一個復(fù)雜的相關(guān)矩陣，然后使用GCN和LSTM捕獲時空相關(guān)性；Yan等人將事故因素融合進(jìn)鄰接矩陣，并設(shè)計了一個動態(tài)更新鄰接矩陣的模塊，然后使用基于GAT和Bi-LSTM的深度學(xué)習(xí)框架提取數(shù)據(jù)之間復(fù)雜的時空相關(guān)性；Fan等人使用基于CNN等數(shù)據(jù)調(diào)整權(quán)重的圖擴(kuò)散注意力模塊捕獲空間依賴關(guān)系，時間注意力模塊捕獲時間相關(guān)性。[0004]時序數(shù)據(jù)按照時間段劃分可歸納為日內(nèi)變化和星期變化兩類特征。日內(nèi)變化主要體現(xiàn)交通流量在一天內(nèi)不同時段的波動規(guī)律，例如早高峰和晚高峰時段交通流量通常顯著增加，而其他時間段的流量則較為平穩(wěn)或無明顯變化；星期變化則反映交通流量在工作日與休息日之間的差異性。通常情況下，工作日的交通流量顯著高于休息日，尤其是在早高峰和晚高峰期間，這種現(xiàn)象與日常通勤需求密切相關(guān)。而在休息日，交通流量整體趨于平穩(wěn)，但晚高峰流量可能因出行需求增加而顯著上升。值得注意的是，日內(nèi)變化和星期變化并非獨立存在，而是會相互疊加與影響。例如，工作日的早晚高峰流量特征與休息日的晚高峰流量特征存在顯著差異。這種復(fù)雜的交互特性使得流量數(shù)據(jù)在不同時間段之間展現(xiàn)出多維度的規(guī)律性和復(fù)雜性。因此，在分析和建模交通流量數(shù)據(jù)時，需要綜合考慮不同時間段的變化7模式，以更好地捕捉日內(nèi)和星期變化的特征。[0005]目前，大多數(shù)模型主要依賴日內(nèi)歷史數(shù)據(jù)特征來預(yù)測未來的流量數(shù)據(jù)。這種方法在特征趨勢較為平穩(wěn)或具有較強(qiáng)連續(xù)性的數(shù)據(jù)集上表現(xiàn)較好，但在趨勢波動較大或近期歷史特征與實際預(yù)測時間步趨勢不一致的情況下，模型的預(yù)測精度往往會顯著下降。發(fā)明內(nèi)容[0006]一種跨尺度時空特征交換融合的交通流量預(yù)測模型，如圖1所示，該模型通過擴(kuò)展輸入的歷史特征信息窗口和一種跨尺度交互的注意力機(jī)制增強(qiáng)對不同時間維度特征的捕捉能力。具體而言，數(shù)據(jù)的輸入窗口包括了過去h小時當(dāng)前時間步的特征、過去d天當(dāng)前時間步的特征，以及過去w周當(dāng)前時間步的特征。而跨尺度特征信息交換融合機(jī)制通過細(xì)粒度建模，將不同時間尺度的數(shù)據(jù)(如小時數(shù)據(jù)、天數(shù)據(jù)和周數(shù)據(jù))嵌入到統(tǒng)一的信息表示中，充分挖掘各時間維度的特征信息。該機(jī)制首先通過捕捉小時數(shù)據(jù)的短期波動、天數(shù)據(jù)的日內(nèi)變化趨勢以及周數(shù)據(jù)的長期周期性特征；然后通過通道和空間雙重注意力機(jī)制有效過濾無效信息；最后通過多尺度選擇性融合降低多維度特征融合中可能引入的干擾，增強(qiáng)特征表達(dá)的準(zhǔn)確性和魯棒性。通過對時間尺度特征的綜合建模，模型不僅可以捕捉局部模式，還能更好地刻畫全局趨勢，提升復(fù)雜時序數(shù)據(jù)預(yù)測的精度和泛化能力。為了驗證方法的有效性，我們在六個真實交通流量數(shù)據(jù)集上進(jìn)行了實驗。實驗結(jié)果表明，本文提出的模型在大部分?jǐn)?shù)據(jù)集上的預(yù)測精度顯著優(yōu)于原有模型，特別是在捕捉不同時間維度的復(fù)雜特征方面表現(xiàn)出了較強(qiáng)的魯棒性和泛化能力。[0007]為實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：一種時空交互式動態(tài)圖注意力網(wǎng)絡(luò)的交通預(yù)測方法，該方法包括以下步驟：[0008]步驟1:獲取各個交通節(jié)點的歷史交通流量數(shù)據(jù)并進(jìn)行預(yù)處理得到應(yīng)用數(shù)據(jù)；[0010]步驟3:構(gòu)建多層次時空特征捕獲模塊；[0011]步驟4:構(gòu)建跨尺度特征交互模塊；[0012]步驟5:構(gòu)建多尺度特征融合模塊[0013]步驟6:將采集到的交通流量數(shù)據(jù)集劃分為訓(xùn)練集、驗證集和測試集，使用平均絕對誤差、平均絕對百分比誤差和均方根誤差作為評價指標(biāo)對跨尺度時空特征交互融合的交通流量預(yù)測模型進(jìn)行評估。[0014]步驟1:將從傳感器獲取到的交通數(shù)據(jù)存在的異常值進(jìn)行處理，本發(fā)明采用Z-Score方法來避免異常值和極端值的影響，從而得到預(yù)處理后的應(yīng)用數(shù)據(jù)。[0015]步驟2:定義交通流量預(yù)測問題：交通流量預(yù)測是指根據(jù)某一路段或者某一區(qū)域t時刻及以前的交通流量數(shù)據(jù)進(jìn)行分析和建模來得到未來時刻的交通流量數(shù)據(jù)。其模型可以表示為式[0017]其中+是t+1時刻的流量預(yù)測值，X是t時刻的交通流量數(shù)據(jù)，t是輸入的流量數(shù)據(jù)的時間步長數(shù)。而交通流量預(yù)測分為單步預(yù)測和多步預(yù)測，詳細(xì)來說假設(shè)交通流量數(shù)據(jù)采集時間間隔為τmin,1h內(nèi)采集的流量序列數(shù)為60/t,單步預(yù)測指預(yù)測未來tmin后的交通8[0021]步驟4:跨尺度特征交互模塊如圖3所示，其通過跨尺度交換融合機(jī)制實現(xiàn)不同時通過池化操作對卷積提取的特征進(jìn)行下采樣保留關(guān)鍵的特征信息，最后通過卷積和Sigmoid激活函數(shù)生成時間維度的權(quán)重分布，確保模型能夠動態(tài)聚焦于不同時間點的重要[0024]步驟6:本發(fā)明采用平均絕對誤差MAE(表示實際值與預(yù)測值之間絕對誤差的平均均方根誤差RMSE(表示實際值與預(yù)測值之間的均方誤差的算術(shù)平方根)作為評價模塊預(yù)測附圖說明9[0029]圖3為本發(fā)明的跨尺度特征交互模塊結(jié)構(gòu)圖。[0030]圖4為本發(fā)明的多尺度特征融合模塊結(jié)構(gòu)圖。[0031]表1為本發(fā)明的交通流量預(yù)測結(jié)果對比的實體表。[0032]表2為本發(fā)明的另一個交通流量預(yù)測結(jié)果對比的實體表。具體實施方式[0033]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整的描述。顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。本發(fā)明從城市路網(wǎng)的傳感器中獲得大量的交通流量數(shù)據(jù)，并對其進(jìn)行了數(shù)據(jù)清理，整理過后得到了流量值屬性。[0034]步驟1:將從傳感器獲取到的交通數(shù)據(jù)存在的異常值進(jìn)行處理，本發(fā)明采用Z-Score方法來避免異常值和極端值的影響，從而得到預(yù)處理后的應(yīng)用數(shù)據(jù)。[0035]步驟2:定義交通流量預(yù)測問題：交通流量預(yù)測是指根據(jù)某一路段或者某一區(qū)域t時刻及以前的交通流量數(shù)據(jù)進(jìn)行分析和建模來得到未來時刻的交通流量數(shù)據(jù)。其模型可以表示為式(2-1)[0037]其中父+是t+1時刻的流量預(yù)測值，X,是t時刻的交通流量數(shù)據(jù)，t是輸入的流量數(shù)據(jù)的時間步長數(shù)。而交通流量預(yù)測分為單步預(yù)測和多步預(yù)測，詳細(xì)來說假設(shè)交通流量數(shù)據(jù)采集時間間隔為tmin,1h內(nèi)采集的流量序列數(shù)為60/t,單步預(yù)測指預(yù)測未來tmin后的交通流量；交通流量的多步預(yù)測指預(yù)測未來n步的交通流量，也就是預(yù)測未來(t×n)min后的交通流量。[0038]步驟3-1:本發(fā)明采用了三層金字塔結(jié)構(gòu)，每一層通過池化模塊捕獲數(shù)據(jù)的全局依賴。池化操作通過壓縮特征圖的方式聚焦全局信息，但在此過程中可能忽略數(shù)據(jù)的局部潛在特征依賴性。為彌補(bǔ)這一不足，我們在每層引入了并行的卷積模塊，用于提取數(shù)據(jù)的局部依賴特征。隨后，通過設(shè)計融合模塊，將卷積模塊提取的局部特征與池化模塊捕獲的全局特征進(jìn)行有效融合，為后續(xù)的時空特征捕獲模塊提供更加全面、細(xì)致的數(shù)據(jù)模式表達(dá)。該層的具體計算公式如下：[0040]x?=W?(Concat[AvgPool(x[0041]X?=W?(Concat[AvgPool(x?)[0042]步驟3-2-1:多維自注意力圖卷積模塊由多維度動態(tài)注意力矩陣構(gòu)造模塊、GCN模塊和特征嵌入模塊組成，多維度動態(tài)注意力鄰接矩陣構(gòu)造模塊根據(jù)當(dāng)前時間段的數(shù)據(jù)模式結(jié)合時間步關(guān)系維度和節(jié)點關(guān)系維度動態(tài)的構(gòu)造符合當(dāng)前數(shù)據(jù)模式的特征矩陣，具體為：首先，對當(dāng)前層次特征的全局關(guān)系進(jìn)行特征提取，其提取公式表示為：其中σ表示sigmoid激活函數(shù)，X為對時間步維度特征進(jìn)行最大池化和平均池化再拼接然后卷積并使用sigmoid函數(shù)獲得的節(jié)點間全局關(guān)系權(quán)重，而X則是對節(jié)點維度特征通過同樣操作提取的時間步間全局關(guān)系權(quán)重。[0045]然后，將原始數(shù)據(jù)通過一個帶有殘差連接的卷積層，用于提取數(shù)據(jù)的局部細(xì)節(jié)特征。隨后，將提取到的細(xì)節(jié)特征分別與兩個全局關(guān)系矩陣進(jìn)行點乘運算，從而得到節(jié)點間和時間步間的全局與局部總體關(guān)系。其計算公式如下所示：X1=X+Conv(X)[0047]最后，我們將節(jié)點間的關(guān)系矩陣與轉(zhuǎn)置后的時間步關(guān)系矩陣進(jìn)行矩陣乘法，以綜合兩種關(guān)系的相互影響。接著，通過ReLU函數(shù)過濾掉節(jié)點之間的弱連接，從而保留關(guān)系結(jié)構(gòu)。隨后，利用softmax函數(shù)對生成的鄰接矩陣進(jìn)行歸一化處理，得到自適應(yīng)調(diào)整的動態(tài)注意力關(guān)系鄰接矩陣A?。[0049]本文使用圖卷積神經(jīng)網(wǎng)絡(luò)(GCN)來提取空間特征。GCN是一種重要的圖神經(jīng)網(wǎng)絡(luò)，它可以處理圖結(jié)構(gòu)數(shù)據(jù)。GCN模型的輸入需要圖的鄰接矩陣和節(jié)點特征。本研究采用了單層圖卷積運算模型。輸入特征為當(dāng)前層,鄰接矩陣為構(gòu)造的邏輯關(guān)系矩陣A.[0051]其中W∈R×為可學(xué)習(xí)參數(shù)矩陣。[0052]步驟3-2-2:多時間模式捕獲模塊用來捕獲時間序列的全局模式和局部模式。模塊主要分為兩部分，捕獲長期全局模式的Bi-LSTM以及捕獲短期局部模式的前饋全連接層，最后將兩者輸出相加作為該模塊輸出結(jié)果。[0054]其中X,X{分別表示Bi-LSTM和前饋全連接層的輸出。X'∈R表示多時間模式捕獲模塊的輸出。[0055]步驟4:跨尺度特征交互模塊首先分別將,X“輸入到Fusion層中進(jìn)行拼接，拼接操作將不同尺度的特征結(jié)合成一個更為全面的特征向量，使得模型能夠從多個維度捕捉到豐富的時空信息，然后使用Conv卷積層和Norm正則化層對拼接特征進(jìn)行特征提取和壓縮得到XFa,xF,其次對左右兩側(cè)輸入的X,X"分別通過兩層Conv卷積以及RELU函數(shù)進(jìn)行過去一天以及過去一周當(dāng)前時間步特征信息提取和壓縮得到X,X,然后對X°,X分別進(jìn)行重塑壓縮處理得到符合注意力計算所需的狀態(tài)K,V?,K,,V",接著分別在XFa,K,v和XF,K",V"之間執(zhí)行注意力計算得到自注意力特征化后輸出特征Z,