(10)申請(qǐng)公布號(hào)CN120218911A(21)申請(qǐng)?zhí)?02510694395.8(22)申請(qǐng)日2025.05.28(71)申請(qǐng)人杭州市北京航空航天大學(xué)國(guó)際創(chuàng)新研究院(北京航空航天大學(xué)國(guó)際創(chuàng)新學(xué)院)雙紅橋街166號(hào)GO6N馬劍(74)專(zhuān)利代理機(jī)構(gòu)遼寧鴻文知識(shí)產(chǎn)權(quán)代理有限公司21102專(zhuān)利代理師王海波(54)發(fā)明名稱(chēng)一種基于剩余壽命預(yù)測(cè)及深度強(qiáng)化學(xué)習(xí)的飛機(jī)發(fā)動(dòng)機(jī)維修決策方法(57)摘要一種基于剩余壽命預(yù)測(cè)及深度強(qiáng)化學(xué)習(xí)的飛機(jī)發(fā)動(dòng)機(jī)維修決策方法，屬于故障預(yù)測(cè)與健康管理領(lǐng)域。首先，得到航空發(fā)動(dòng)機(jī)性能退化數(shù)據(jù)；其次，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)和位置編碼，搭建剩余壽命預(yù)測(cè)模型；再次，設(shè)計(jì)維修決策模型的維修決策環(huán)境，并引入折扣因子；最后，構(gòu)建基于深度強(qiáng)化學(xué)習(xí)的維修決策模型，依據(jù)策略選擇維修動(dòng)作并更新環(huán)境，返回下一個(gè)狀態(tài)和獎(jiǎng)勵(lì)，根據(jù)獎(jiǎng)勵(lì)對(duì)參數(shù)進(jìn)行更新，直到取得最佳收益的航空發(fā)動(dòng)機(jī)維修決策計(jì)劃。本發(fā)明將剩余壽命預(yù)測(cè)與航空發(fā)動(dòng)機(jī)維修決策相結(jié)合，降低故障發(fā)生概率，提高航空發(fā)動(dòng)機(jī)剩余壽命預(yù)測(cè)精度，能夠在高任務(wù)獎(jiǎng)勵(lì)狀態(tài)維修場(chǎng)景、高維修成本狀態(tài)維修場(chǎng)景上是香達(dá)到目標(biāo)?(收益和最大)是否21.一種基于剩余壽命預(yù)測(cè)及深度強(qiáng)化學(xué)習(xí)的飛機(jī)發(fā)動(dòng)機(jī)維修決策方法，其特征在于，所述的飛機(jī)發(fā)動(dòng)機(jī)維修決策方法包括以下步驟：步驟1,選擇性能參數(shù)作為剩余使用壽命預(yù)測(cè)模型的訓(xùn)練數(shù)據(jù)，對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)處理操作，得到航空發(fā)動(dòng)機(jī)性能退化數(shù)據(jù)；步驟2,針對(duì)步驟1得到的航空發(fā)動(dòng)機(jī)性能退化數(shù)據(jù)，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)和位置編碼，將原始時(shí)間序列信號(hào)轉(zhuǎn)換為用于位置嵌入融合的特征向量，完成航空發(fā)動(dòng)機(jī)剩余壽命預(yù)測(cè)模型的搭建；步驟3,設(shè)計(jì)航空發(fā)動(dòng)機(jī)維修決策模型的維修決策環(huán)境，為維修決策建立決策環(huán)境，包括狀態(tài)設(shè)計(jì)、動(dòng)作設(shè)計(jì)、收益及目標(biāo)函數(shù)設(shè)計(jì)，引入折扣因子考慮決策對(duì)發(fā)動(dòng)機(jī)的長(zhǎng)期影步驟4,基于步驟2中剩余使用壽命的預(yù)測(cè)和步驟3中維修決策環(huán)境的設(shè)計(jì)，構(gòu)建基于深度強(qiáng)化學(xué)習(xí)的航空發(fā)動(dòng)機(jī)維修決策模型，所述航空發(fā)動(dòng)機(jī)維修決策模型依據(jù)策略選擇維修動(dòng)作，并更新環(huán)境，返回下一個(gè)狀態(tài)和獎(jiǎng)勵(lì)，最后根據(jù)獎(jiǎng)勵(lì)對(duì)航空發(fā)動(dòng)機(jī)維修決策模型參數(shù)進(jìn)行更新，直到取得最佳收益的航空發(fā)動(dòng)機(jī)維修決策計(jì)劃。2.根據(jù)權(quán)利要求1所述的一種基于剩余壽命預(yù)測(cè)及深度強(qiáng)化學(xué)習(xí)的飛機(jī)發(fā)動(dòng)機(jī)維修決步驟1.1,采用數(shù)據(jù)標(biāo)準(zhǔn)化算法使數(shù)據(jù)處于同一數(shù)量級(jí)；步驟1.2,對(duì)步驟1.1處理后的數(shù)據(jù)引入滑動(dòng)窗口機(jī)制，將數(shù)據(jù)劃分為與窗口大小相等的數(shù)據(jù)段，通過(guò)調(diào)整窗口大小、滑動(dòng)步長(zhǎng)實(shí)現(xiàn)多尺度特征提取，經(jīng)過(guò)滑動(dòng)窗口處理后的數(shù)據(jù)表示為：動(dòng)窗口處理后的數(shù)據(jù)；步驟1.3,為航空發(fā)動(dòng)機(jī)的剩余使用壽命RUL設(shè)置多個(gè)時(shí)間窗口，實(shí)現(xiàn)剩余壽命分類(lèi)。3.根據(jù)權(quán)利要求2所述的一種基于剩余壽命預(yù)測(cè)及深度強(qiáng)化學(xué)習(xí)的飛機(jī)發(fā)動(dòng)機(jī)維修決素的一維數(shù)組，預(yù)測(cè)結(jié)果屬于某一類(lèi)的可能性越大，輸出概率越接近于1,否則為0;具體設(shè)置兩個(gè)不同的時(shí)間窗口@?和@1,其中w?<W?,剩余使用壽命RUL將被標(biāo)記為三個(gè)類(lèi)別：Deg0、Deg1和Deg2;其中Deg0表示航空發(fā)動(dòng)機(jī)剩余使用壽命大于時(shí)間窗W?的概率，RUL>@?;Deg1表示航空發(fā)動(dòng)機(jī)剩余使用壽命在[W%,W1]區(qū)間內(nèi)的概率，@?<RUL≤@?;Deg2表示航空發(fā)動(dòng)機(jī)剩余壽命不會(huì)超過(guò)時(shí)間窗口@?的概率，RUL≤@o。4.根據(jù)權(quán)利要求1所述的一種基于剩余壽命預(yù)測(cè)及深度強(qiáng)化學(xué)習(xí)的飛機(jī)發(fā)動(dòng)機(jī)維修決步驟2.1,基于步驟1預(yù)處理操作后的數(shù)據(jù)，采用位置編碼方案，使用兩個(gè)變換Φ(*)和Ψ(*),將編碼的位置信息和輸入信號(hào)轉(zhuǎn)換到同一個(gè)高維空間，將兩個(gè)轉(zhuǎn)換后的特征融合；步驟2.2,構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型；將步驟2.1融合后的特征作為卷積神經(jīng)網(wǎng)絡(luò)預(yù)3測(cè)模型的輸入，并添加批量歸一化層；使用步驟1得到的航空發(fā)動(dòng)機(jī)性能退化數(shù)據(jù)對(duì)卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型進(jìn)行訓(xùn)練，然后將待測(cè)數(shù)據(jù)輸入到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型進(jìn)行預(yù)測(cè)，最后輸出航空發(fā)動(dòng)機(jī)剩余使用壽命落入不同時(shí)間間隔的概率。5.根據(jù)權(quán)利要求4所述的一種基于剩余壽命預(yù)測(cè)及深度強(qiáng)化學(xué)習(xí)的飛機(jī)發(fā)動(dòng)機(jī)維修決首先，步驟1中預(yù)處理后的數(shù)據(jù)為時(shí)間序列信號(hào)，通過(guò)一種變換Ψ(*),自適應(yīng)地將原始時(shí)間序列信號(hào)轉(zhuǎn)換為用于位置嵌入融合的特征向量；然后，通過(guò)一種變換Φ(*),將位置向量投影到一個(gè)潛在的高維空間而不是直接將產(chǎn)生的位置特征向量添加到位置向量中；最后，使用一個(gè)融合模塊Ω(*),將兩個(gè)變換的特征向量拼接在一起；融合過(guò)程表述為：式中，F(xiàn)表示融合的特征向量，Ω為融合函數(shù)；通過(guò)將位置信息與輸入信號(hào)融合，此外，兩個(gè)卷積層作為Φ(*)和Ψ(*)兩個(gè)變換。6.根據(jù)權(quán)利要求1所述的一種基于剩余壽命預(yù)測(cè)及深度強(qiáng)化學(xué)習(xí)的飛機(jī)發(fā)動(dòng)機(jī)維修決步驟3.1,航空發(fā)動(dòng)機(jī)當(dāng)前時(shí)刻狀態(tài)數(shù)學(xué)模型為：其中，state,表示第i個(gè)決策周期航空發(fā)動(dòng)機(jī)當(dāng)前時(shí)刻狀態(tài)；rul?表示第一個(gè)組件的剩余使用壽命；rul?表示第二個(gè)組件剩余使用壽命；rul?表示第三個(gè)組件的剩余使用壽命；下標(biāo)i表示第i次飛行任務(wù)，mr表示每次順利結(jié)束飛行任務(wù)后的獎(jiǎng)勵(lì)；cn表示發(fā)動(dòng)機(jī)備件剩余數(shù)步驟3.2,航空發(fā)動(dòng)機(jī)維修決策環(huán)境建模過(guò)程的獎(jiǎng)勵(lì)包括飛行任務(wù)完成后的獎(jiǎng)勵(lì)ro(s,a,)、各類(lèi)維修成本ca(s,a,)和備件的儲(chǔ)存成本co(s,a,),則航空發(fā)動(dòng)機(jī)維修動(dòng)作收益等于獎(jiǎng)勵(lì)減去維修成本和備件儲(chǔ)存成本，計(jì)算公式如下：r(s,a)=ro(s,a)-ca(s,,a,)-co策并執(zhí)行動(dòng)作；步驟3.3,引入折扣因子Y,并計(jì)算執(zhí)行決策后未來(lái)的獎(jiǎng)勵(lì)R”;在每一個(gè)決策步驟t中，決策者通過(guò)當(dāng)前狀態(tài)和動(dòng)作來(lái)獲得獎(jiǎng)勵(lì)r(s,a,);將R”作為整個(gè)決策任務(wù)的優(yōu)化目標(biāo)函4式中，R”為根據(jù)維修策略π進(jìn)行決策t后未來(lái)一段時(shí)間的獎(jiǎng)勵(lì)；N為整個(gè)決策任務(wù)中7.根據(jù)權(quán)利要求6所述的一種基于剩余壽命預(yù)測(cè)及深度強(qiáng)化學(xué)習(xí)的飛機(jī)發(fā)動(dòng)機(jī)維修決策方法，其特征在于，所述折扣因子Y,如果γ=0,表示忽略未來(lái)的獎(jiǎng)勵(lì)，如果γ=1表示未來(lái)的獎(jiǎng)勵(lì)與當(dāng)前的獎(jiǎng)勵(lì)處于同等地位。8.根據(jù)權(quán)利要求1所述的一種基于剩余壽命預(yù)測(cè)及深度強(qiáng)化學(xué)習(xí)的飛機(jī)發(fā)動(dòng)機(jī)維修決步驟4.1,初始化航空發(fā)動(dòng)機(jī)維修決策模型的經(jīng)驗(yàn)池和Q網(wǎng)絡(luò)的權(quán)重參數(shù)，讀取步驟3中建立的決策環(huán)境；步驟4.2,根據(jù)環(huán)境輸入數(shù)據(jù)學(xué)習(xí)策略函數(shù)，根據(jù)航空發(fā)動(dòng)機(jī)維修決策模型計(jì)算6個(gè)維修動(dòng)作的價(jià)值函數(shù)，選擇航空發(fā)動(dòng)機(jī)維修決策環(huán)境中對(duì)應(yīng)Q值最大的動(dòng)作，執(zhí)行維修動(dòng)作，其中最大Q值對(duì)應(yīng)最高收益；步驟4.3,通過(guò)所執(zhí)行的維修動(dòng)作更新決策環(huán)境，獲得下一環(huán)境狀態(tài)和相應(yīng)的獎(jiǎng)勵(lì)，并利用獎(jiǎng)勵(lì)更新Q值；步驟4.4,將經(jīng)驗(yàn)存儲(chǔ)到經(jīng)驗(yàn)池中，隨機(jī)選擇一些經(jīng)驗(yàn)來(lái)更新Q值，利用新的Q值更新模型參數(shù)；步驟4.5,判斷總收益是否取得最大值，沒(méi)有則重復(fù)步驟4.2到步驟4.4,直到總收益取得最大值。5技術(shù)領(lǐng)域[0001]本發(fā)明屬于故障預(yù)測(cè)與健康管理(PrognosticsandHealthManagement,PHM)領(lǐng)域，涉及一種基于剩余壽命預(yù)測(cè)及深度強(qiáng)化學(xué)習(xí)的飛機(jī)發(fā)動(dòng)機(jī)維修決策方法。背景技術(shù)[0002]伴隨航空技術(shù)的進(jìn)步，航空發(fā)動(dòng)機(jī)的功能越來(lái)越完善，結(jié)構(gòu)也變得更為復(fù)雜。相關(guān)報(bào)告指出，每年都要投入13億美元購(gòu)買(mǎi)發(fā)動(dòng)機(jī)，但是發(fā)動(dòng)機(jī)維護(hù)費(fèi)用高達(dá)35億美元?；诖?，有必要對(duì)航空發(fā)動(dòng)機(jī)進(jìn)行高效的維護(hù)，這不僅有助于減少維護(hù)費(fèi)用、確保飛機(jī)正常出行，還能降低航空發(fā)動(dòng)機(jī)發(fā)生故障的概率。因此，如何通過(guò)制定科學(xué)的航空發(fā)動(dòng)機(jī)維修決策計(jì)劃來(lái)避免因發(fā)動(dòng)機(jī)故障而導(dǎo)致的航空事故，減少經(jīng)濟(jì)損失，成為研究熱點(diǎn)。[0003]隨著基于可靠性的維修理念的進(jìn)步，各種維修策略和方法，例如事后維修、定時(shí)維修等相繼得到發(fā)展。然而，采用事后維修、定時(shí)維修等維修手段，容易造成維護(hù)過(guò)度或維護(hù)不足等問(wèn)題，針對(duì)上述問(wèn)題，航空發(fā)動(dòng)機(jī)故障預(yù)測(cè)與健康管理(PrognosticsandHealthManagement,PHM)成為研究熱點(diǎn)。航空發(fā)動(dòng)機(jī)的PHM技術(shù)主要涵蓋兩大部分：故障預(yù)測(cè)和發(fā)動(dòng)機(jī)健康管理。經(jīng)過(guò)國(guó)內(nèi)外的廣泛應(yīng)用，PHM技術(shù)被證明能夠增強(qiáng)航空發(fā)動(dòng)機(jī)的穩(wěn)定性和可靠性，確保其在復(fù)雜設(shè)備如航空發(fā)動(dòng)機(jī)中的核心地位。在航空發(fā)動(dòng)機(jī)運(yùn)行過(guò)程中，PHM會(huì)定期對(duì)發(fā)動(dòng)機(jī)的關(guān)鍵部分進(jìn)行狀況檢查和故障診斷，評(píng)估設(shè)備的當(dāng)前狀態(tài)，并預(yù)測(cè)發(fā)動(dòng)機(jī)在未來(lái)可能的狀態(tài)變化。依據(jù)航空發(fā)動(dòng)機(jī)目前的工作狀況以及可能出現(xiàn)的故障類(lèi)型進(jìn)行判件剩余數(shù)量、剩余壽命等信息視角出發(fā)，優(yōu)化航空發(fā)動(dòng)機(jī)維修策略，提高維修決策的效率。[0004]現(xiàn)有的航空發(fā)動(dòng)機(jī)維修決策主要存在以下兩方面問(wèn)題：一方面，當(dāng)前許多研究考慮了航空發(fā)動(dòng)機(jī)系統(tǒng)的知識(shí)庫(kù)和實(shí)時(shí)傳感器數(shù)據(jù)，但依賴(lài)已有數(shù)據(jù)，缺乏對(duì)復(fù)雜動(dòng)態(tài)環(huán)境的適應(yīng)性，如中國(guó)發(fā)明專(zhuān)利基于專(zhuān)家系統(tǒng)的船用柴油機(jī)智能化故障診斷系統(tǒng)(中國(guó)發(fā)明專(zhuān)利CN112360625A)在實(shí)時(shí)監(jiān)測(cè)和故障診斷方面表現(xiàn)出色，但其依賴(lài)預(yù)定義規(guī)則的特性限制了其在動(dòng)態(tài)環(huán)境中的應(yīng)用；另一方面，在對(duì)發(fā)動(dòng)機(jī)展開(kāi)維修決策過(guò)程中，沒(méi)有將維修資源與實(shí)時(shí)監(jiān)測(cè)結(jié)合，如中國(guó)發(fā)明專(zhuān)利一種用于船舶發(fā)動(dòng)機(jī)供應(yīng)及后處理系統(tǒng)的在線監(jiān)測(cè)系統(tǒng)(中國(guó)發(fā)明專(zhuān)利CN119288672A)基于排隊(duì)理論的維修中心部署方法在優(yōu)化維修中心數(shù)量和配置方式方面具有一定的優(yōu)勢(shì)，但在個(gè)性化優(yōu)化和實(shí)時(shí)性方面存在明顯不足。發(fā)明內(nèi)容[0005]針對(duì)現(xiàn)有技術(shù)存在的問(wèn)題，本發(fā)明提供一種考慮剩余壽命預(yù)測(cè)的航空發(fā)動(dòng)機(jī)維修決策方法，將剩余壽命預(yù)測(cè)與航空發(fā)動(dòng)機(jī)維修決策相結(jié)合，從而降低故障發(fā)生概率，能夠有效地應(yīng)用于航空發(fā)動(dòng)機(jī)維修決策，在航空發(fā)動(dòng)機(jī)性能退化數(shù)據(jù)由于維度高、非線性等因素影響預(yù)測(cè)精度的情況下引入位置編碼提取特征值，同時(shí)考慮剩余壽命及其對(duì)維修決策的影6[0008]步驟1,選擇具有明顯退化趨勢(shì)的性能參數(shù)作為剩余使用壽命(RUL)預(yù)測(cè)模型的訓(xùn)[0009]步驟2,針對(duì)步驟1得到的航空發(fā)動(dòng)機(jī)性能退化數(shù)據(jù)，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)和位置編[0010]步驟3,設(shè)計(jì)航空發(fā)動(dòng)機(jī)維修決策模型的維修決策環(huán)境，為維修決策建立決策環(huán)[0016]步驟1.2,對(duì)步驟1.1處理后的數(shù)據(jù)引入滑動(dòng)窗口機(jī)制，將數(shù)據(jù)劃分為與窗口大小概率越接近于1,否則為0。本發(fā)明設(shè)置兩個(gè)不同的時(shí)間窗口@o和@?,其中の?<w?,那么剩余壽命大于時(shí)間窗@1的概率，即RUL>@?;Deg1表示航空發(fā)動(dòng)機(jī)剩余使用壽命在(@o,@1)區(qū)間7內(nèi)的概率，即@?<RUL≤@?;Deg2表示航空發(fā)動(dòng)機(jī)剩余壽命不會(huì)超過(guò)時(shí)間窗口@o的概率，即[0020]所述的步驟2具體如下：[0021]步驟2.1,基于步驟1預(yù)處理后的數(shù)據(jù)，采用一種新的位置編碼方案，使用兩個(gè)變換Φ(*)和Ψ(*),將編碼的位置信息和輸入信號(hào)轉(zhuǎn)換到同一個(gè)高維空間，然后將這兩個(gè)轉(zhuǎn)換后的特征融合在一起，最后將融合后的特征作為卷積神經(jīng)網(wǎng)絡(luò)的輸入。[0022]本發(fā)明的位置編碼方案具體設(shè)計(jì)為：首先，步驟1中預(yù)處理后的數(shù)據(jù)為時(shí)間序列信號(hào)，通過(guò)一種變換Ψ(*)能夠自適應(yīng)地將原始時(shí)間序列信號(hào)轉(zhuǎn)換為用于位置嵌入融合的特征向量。然后，通過(guò)一種變換Φ(*),將位置向量投影到一個(gè)潛在的高維空間而不是直接將產(chǎn)生的位置特征向量添加到位置向量中。最后，使用一個(gè)融合模塊Ω(*),將兩個(gè)變換的特征向量拼接在一起。融合過(guò)程表述為：外，兩個(gè)卷積層作為φ(*)和中(*)兩個(gè)[0025]步驟2.2,采用卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建預(yù)測(cè)模型。在融合操作之后，將融合后的特征作為卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的輸入，添加批量歸一化層以改善模型編碼輸出的泛化能力。本發(fā)明提出的基于位置編碼的卷積神經(jīng)網(wǎng)絡(luò)可以有效地捕獲時(shí)間序列信號(hào)中的序列信息。使用步驟1中經(jīng)過(guò)數(shù)據(jù)預(yù)處理之后的數(shù)據(jù)，對(duì)步驟2構(gòu)建的基于位置編碼的卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型開(kāi)展訓(xùn)練，然后將待測(cè)數(shù)據(jù)輸入到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型進(jìn)行預(yù)測(cè)，最后輸出航空發(fā)動(dòng)機(jī)剩余使用壽命落入不同時(shí)間間隔的概率，減少RUL的不確定性。[0026]所述的步驟3具體如下：[0027]步驟3在搭建航空發(fā)動(dòng)機(jī)維修決策環(huán)境時(shí)，需要充分考慮影響決策的內(nèi)部因素和[0028]步驟3.1,狀態(tài)設(shè)計(jì)中，航空發(fā)動(dòng)機(jī)狀態(tài)設(shè)計(jì)主要包括以下內(nèi)容：當(dāng)前航空發(fā)動(dòng)機(jī)剩余壽命rul={rul?,rul,rul?},每次順利結(jié)束飛行任務(wù)后的獎(jiǎng)勵(lì)mr,發(fā)動(dòng)機(jī)備件剩余數(shù)量cn,預(yù)測(cè)性維修費(fèi)用pr,事故后維修費(fèi)用cr,航空發(fā)動(dòng)機(jī)當(dāng)前時(shí)刻狀態(tài)數(shù)學(xué)模型為：[0030]其中，state,表示第i個(gè)決策周期航空發(fā)動(dòng)機(jī)當(dāng)前時(shí)刻狀態(tài)；rul?表示第一個(gè)組件的剩余使用壽命；rul表示第二個(gè)組件的剩余使用壽命；rul?表示第三個(gè)組件的剩余使用[0031]步驟3.2,根據(jù)航空發(fā)動(dòng)機(jī)狀態(tài)設(shè)計(jì)和維修動(dòng)作設(shè)計(jì)內(nèi)容可以將航空發(fā)動(dòng)機(jī)維修決策環(huán)境建模過(guò)程的獎(jiǎng)勵(lì)歸納為以下幾類(lèi)：飛行任務(wù)完成后的獎(jiǎng)勵(lì)ro(s,a,)、各類(lèi)維修成8本ca(s,a,)和備件的儲(chǔ)存成本co(s,a,)。由此計(jì)算出航空發(fā)動(dòng)機(jī)維修動(dòng)作收益等于獎(jiǎng)勵(lì)[0034]步驟3.3,引入折扣因子Y表示未來(lái)獎(jiǎng)勵(lì)對(duì)當(dāng)前的影響，并計(jì)算執(zhí)行決策后獎(jiǎng)勵(lì)R,”。在每一個(gè)決策步驟t中，決策者接受當(dāng)前狀態(tài)S,做出決策R,計(jì)算公式如下：[0036]式中，R,為根據(jù)維修策略π進(jìn)任務(wù)中的次數(shù)(表示完整的決策任務(wù)),d為當(dāng)前維修決策ID(表示當(dāng)前決策時(shí)刻在完整決[0039]步驟4.1,初始化航空發(fā)動(dòng)機(jī)[0040]步驟4.2,根據(jù)環(huán)境輸入數(shù)據(jù)學(xué)習(xí)策略函數(shù)，根據(jù)航空發(fā)動(dòng)機(jī)維修決策模型計(jì)算6[0041]步驟4.3,通過(guò)所執(zhí)行的維修動(dòng)作更新決策環(huán)境，獲得下一環(huán)境狀態(tài)和相應(yīng)的獎(jiǎng)新模型參數(shù)。[0043]步驟4.5,判斷總收益是否取得最大值，沒(méi)有則重復(fù)步驟4.2到步驟4.4,直到總收9高了預(yù)測(cè)模型對(duì)時(shí)間序列信號(hào)的感知能力，進(jìn)而能夠提高航空發(fā)動(dòng)機(jī)剩余壽命預(yù)測(cè)精度。[0046](2)本發(fā)明考慮了剩余壽命及其對(duì)維修決策的影響，通過(guò)設(shè)置時(shí)間窗口，提供航空發(fā)動(dòng)機(jī)落入不同時(shí)間間隔的概率，減少RUL的不確定性，并對(duì)航空發(fā)動(dòng)機(jī)維修決策環(huán)境進(jìn)行來(lái)進(jìn)行維修決策；[0047](3)相比于現(xiàn)有的事后維修策略、定時(shí)維修策略、基于PHM的維修策略的維修決策方法，本發(fā)明通過(guò)將深度強(qiáng)化學(xué)習(xí)與Q學(xué)習(xí)結(jié)合，能夠在高任務(wù)獎(jiǎng)勵(lì)狀態(tài)維修場(chǎng)景、高維修成本狀態(tài)維修場(chǎng)景和高儲(chǔ)存成本狀態(tài)維修場(chǎng)景下的平均收益均得到顯著提高。附圖說(shuō)明[0049]圖2為基于深度強(qiáng)化學(xué)習(xí)的航空發(fā)動(dòng)機(jī)維修決策過(guò)程最終收益；[0050]圖3為多策略維修決策收益評(píng)估結(jié)果。具體實(shí)施方式[0051]以下結(jié)合具體實(shí)施案例對(duì)本發(fā)明作進(jìn)一步說(shuō)明。[0052]一種基于剩余壽命預(yù)測(cè)及深度強(qiáng)化學(xué)習(xí)的飛機(jī)發(fā)動(dòng)機(jī)維修決策方法，所述的飛機(jī)發(fā)動(dòng)機(jī)維修決策方法包括以下步驟：[0053]步驟1,選擇具有明顯退化趨勢(shì)的性能參數(shù)作為剩余使用壽命(RUL)預(yù)測(cè)模型的訓(xùn)練數(shù)據(jù)，對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)處理操作，得到航空發(fā)動(dòng)機(jī)性能退化數(shù)據(jù)。[0054]本實(shí)施例使用NASA提供的C-MAPSS數(shù)據(jù)，也稱(chēng)為渦扇發(fā)動(dòng)機(jī)退化模擬數(shù)據(jù)集，根據(jù)工況和故障模式，該數(shù)據(jù)被劃分為四個(gè)子數(shù)據(jù)集，而每個(gè)子數(shù)據(jù)集進(jìn)一步被細(xì)分為訓(xùn)練集和測(cè)試集，數(shù)據(jù)集的具體信息如表1所示：數(shù)據(jù)子集訓(xùn)練集發(fā)動(dòng)機(jī)數(shù)量數(shù)量運(yùn)行工況故障工況測(cè)試數(shù)據(jù)長(zhǎng)度平均值11611262[0057]該數(shù)據(jù)集一共有4個(gè)數(shù)據(jù)子集(FD001、FD002、26列數(shù)據(jù)，其中包含發(fā)動(dòng)機(jī)ID、循環(huán)周期、環(huán)境參數(shù)和仿真模型輸出數(shù)據(jù)。部分傳感器參數(shù)如表2所示。在訓(xùn)練數(shù)據(jù)中，發(fā)動(dòng)機(jī)性能退化數(shù)據(jù)從0時(shí)刻開(kāi)始采集，直到發(fā)動(dòng)機(jī)故障在測(cè)試集中，發(fā)動(dòng)機(jī)性能退化數(shù)據(jù)從0時(shí)刻開(kāi)始采集，在故障前的某一時(shí)刻突然終止。預(yù)測(cè)的目標(biāo)是預(yù)測(cè)測(cè)試集中發(fā)動(dòng)機(jī)在對(duì)應(yīng)工況下正常運(yùn)行時(shí)的故障時(shí)間，并計(jì)算出發(fā)動(dòng)機(jī)剩余使用壽命。[0058]表2,傳感器對(duì)應(yīng)參數(shù)符號(hào)123高壓壓氣機(jī)出口總溫度…………準(zhǔn)化方法，對(duì)數(shù)據(jù)進(jìn)行線性變換，使得數(shù)據(jù)處于同一數(shù)量級(jí)，并在同一個(gè)范圍內(nèi)標(biāo)。本實(shí)施例的兩個(gè)時(shí)間窗口值設(shè)置為@?=10、@?=20,滑動(dòng)窗口大小設(shè)置為W=30,航空發(fā)[0067]步驟2,針對(duì)步驟1處理后的航空發(fā)動(dòng)機(jī)性能退化數(shù)據(jù)，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)預(yù)存模換Φ(*)和中(*),將編碼的位置信息和輸入信號(hào)轉(zhuǎn)換到同一個(gè)高維空間，然后將這兩個(gè)轉(zhuǎn)11將產(chǎn)生的位置特征向量添加到位置向量中。最后，使用一個(gè)融合模塊Ω(*),將兩個(gè)變換的特征向量拼接在一起。融合過(guò)程可以表述為：外，兩個(gè)卷積層作為Φ(*)和(*)兩個(gè)變換。[0072]步驟2.2,采用卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建預(yù)測(cè)模型。在融合操作之后，將融合后的特征作為卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的輸入，添加批量歸一化層以改善模型編碼輸出的泛化能力。本發(fā)明提出的基于位置編碼的卷積神經(jīng)網(wǎng)絡(luò)可以有效地捕獲時(shí)間序列信號(hào)中的序列信息。使用步驟一中經(jīng)過(guò)數(shù)據(jù)預(yù)處理之后的數(shù)據(jù)，對(duì)步驟二構(gòu)建的基于位置編碼的卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型開(kāi)展訓(xùn)練，然后將待測(cè)數(shù)據(jù)輸入到訓(xùn)練好的預(yù)測(cè)模型進(jìn)行預(yù)測(cè)，最后輸出航空發(fā)動(dòng)機(jī)剩余使用壽命落入不同時(shí)間間隔的概率，減少RUL的不確定性。[0073]在本發(fā)明所提出的卷積神經(jīng)網(wǎng)絡(luò)中，每個(gè)卷積層后面都有一個(gè)BN(BatchNormalizationLayer批量歸一化層)層和一個(gè)ReLU(激活函數(shù))層，CNN(卷積神經(jīng)網(wǎng)絡(luò))模型參數(shù)如表3所示：3x1,64,13x1,64,1[0076]在此基礎(chǔ)上引入位置編碼，將編碼后的位置信息和輸入信號(hào)轉(zhuǎn)換到同一個(gè)高維空間中，然后將這兩種轉(zhuǎn)換后的特征融合在一起，作為卷積神經(jīng)網(wǎng)絡(luò)模型的輸入，從而構(gòu)建基于位置編碼的航空發(fā)動(dòng)機(jī)剩余壽命預(yù)測(cè)模型。[0077]步驟3,對(duì)航空發(fā)動(dòng)機(jī)維修決策模型的維修決策環(huán)境進(jìn)行設(shè)計(jì)，為維修決策建立決策環(huán)境，包括狀態(tài)設(shè)計(jì)、動(dòng)作設(shè)計(jì)、收益及目標(biāo)函數(shù)設(shè)計(jì)，引入折扣因子考慮決策對(duì)發(fā)動(dòng)機(jī)的長(zhǎng)期影響。[0078]航空發(fā)動(dòng)機(jī)并不是始終都在運(yùn)行，在一次任務(wù)結(jié)束后，決策模型會(huì)根據(jù)當(dāng)前航空進(jìn)行維修決策之前需要搭建航空發(fā)動(dòng)機(jī)維修決策環(huán)境，根據(jù)當(dāng)前飛行參數(shù)建立發(fā)動(dòng)機(jī)RUL預(yù)測(cè)模型。[0079]步驟3.1,狀態(tài)設(shè)計(jì)中，航空發(fā)動(dòng)機(jī)狀態(tài)設(shè)計(jì)主要包括以下內(nèi)容：當(dāng)前航空發(fā)動(dòng)機(jī)剩余壽命rul={rul?,rul,rul?},每次順利結(jié)束飛行任務(wù)后的獎(jiǎng)勵(lì)mr,發(fā)動(dòng)機(jī)備件剩余數(shù)量cn,預(yù)測(cè)性維修費(fèi)用pr,事故后維修費(fèi)用cr,航空發(fā)動(dòng)機(jī)當(dāng)前時(shí)刻狀態(tài)數(shù)學(xué)模型為：的剩余使用壽命；rul?表示第二個(gè)組件的剩余使用壽命；rul?表示第三個(gè)組件的剩余使用[0082]步驟3.2,根據(jù)航空發(fā)動(dòng)機(jī)狀態(tài)設(shè)計(jì)和維修動(dòng)作設(shè)計(jì)內(nèi)容可以將航空發(fā)動(dòng)機(jī)維修決策環(huán)境建模過(guò)程的獎(jiǎng)勵(lì)歸納為以下幾類(lèi)：飛行任務(wù)完成后的獎(jiǎng)勵(lì)ro(s,a)、各類(lèi)維修成決策周期開(kāi)始時(shí)航空發(fā)動(dòng)機(jī)備件剩余數(shù)量為n,訂購(gòu)航空發(fā)動(dòng)機(jī)備件到達(dá)時(shí)間為L(zhǎng),則當(dāng)前[0086]步驟3.3,引入折扣因子Y來(lái)表示未來(lái)獎(jiǎng)勵(lì)對(duì)當(dāng)前的影響，并計(jì)算執(zhí)行決策后未來(lái)的獎(jiǎng)勵(lì)R”。在每一個(gè)決策步驟t中，決策者接受當(dāng)前狀態(tài)S,做出決策并執(zhí)行動(dòng)作at,并通R,”計(jì)算公式如下：[0088]式中，R”為根據(jù)維修策略π進(jìn)行決策t后未來(lái)一段時(shí)間的獎(jiǎng)勵(lì)，N為整個(gè)決策的正數(shù)，如果γ=0,表示忽略未來(lái)的獎(jiǎng)勵(lì)；如果γ=1表示未來(lái)的獎(jiǎng)勵(lì)與當(dāng)前的獎(jiǎng)勵(lì)處于同[0089]具體參數(shù)如表4所示：任務(wù)獎(jiǎng)勵(lì)預(yù)測(cè)性維修費(fèi)用備件到達(dá)時(shí)間事后維修費(fèi)用備件儲(chǔ)存成本率未來(lái)折扣因子[0092]步驟4,基于步驟2中RUL的預(yù)測(cè)和步驟3中決策環(huán)境的設(shè)計(jì)，構(gòu)建基于深度強(qiáng)化學(xué)習(xí)的航空發(fā)動(dòng)機(jī)維修決策模型，模型依據(jù)策略選擇維修動(dòng)作，并更新環(huán)境，返回下一個(gè)狀態(tài)和獎(jiǎng)勵(lì)，最后根據(jù)獎(jiǎng)勵(lì)對(duì)模型參數(shù)進(jìn)行更新，直到取得最佳收益的航空發(fā)動(dòng)機(jī)維修決策計(jì)[0093]步驟4.1,初始化模型的經(jīng)驗(yàn)池和Q網(wǎng)絡(luò)的權(quán)重參數(shù)，讀取步驟3中的航空發(fā)動(dòng)機(jī)狀態(tài)數(shù)據(jù)與環(huán)境數(shù)據(jù)。[0094]步驟4.2,根據(jù)環(huán)境輸入數(shù)據(jù)學(xué)習(xí)策略函數(shù)，根據(jù)航空發(fā)動(dòng)機(jī)維修決策模型計(jì)算6個(gè)維修動(dòng)作的價(jià)值函數(shù)，選擇航空發(fā)動(dòng)機(jī)維修決策環(huán)境中對(duì)應(yīng)Q值最大的動(dòng)作，執(zhí)行維修動(dòng)作，其中最大Q值對(duì)應(yīng)最高收益。[0095]步驟4.3,通過(guò)所執(zhí)行的維修動(dòng)作更新決策環(huán)境，獲得下一環(huán)境狀態(tài)和相應(yīng)的獎(jiǎng)[0096]步驟4.4,將經(jīng)驗(yàn)存儲(chǔ)到經(jīng)驗(yàn)池中，隨機(jī)選