(19)國家知識產權局(12)發(fā)明專利(10)授權公告號CN114065809B(21)申請?zhí)?02111293794.1(22)申請日2021.11.03(65)同一申請的已公布的文獻號申請公布號CN114065809A(43)申請公布日2022.02.18(73)專利權人浙江吉利控股集團有限公司1760號專利權人吉利汽車研究院(寧波)有限公司(74)專利代理機構北京博思佳知識產權代理有限公司11415專利代理師林祥(56)對比文件審查員袁鳴驍權利要求書2頁說明書7頁附圖4頁(54)發(fā)明名稱(57)摘要本發(fā)明涉及一種乘用車異響識別方法、裝置、電子設備以及存儲介質，該方法包括：步驟S1)針對有限的數據集，利用數據擴充技術完成數據集的增廣；步驟S2)利用并行深度學習網絡機制，完成對MFCC特征的空間及時序信息的提取，并完成訓練以及分類；步驟S3)利用訓練后的模型進行乘用車異響數據識別。與現(xiàn)有技術相(57)摘要2步驟S1)針對有限的乘用車各部位異常噪聲的數據集，利用數據擴充技術完成數據集步驟S3)在并行深度學習網絡機制中設置兩條用于提取空間信息的并行CNN線路CNN1和CNN2,以及一條用于提取時序信息的編碼器棧線路Transformer,以利用所述并行深度學習網絡機制，完成對所述增廣后數據集的MFCC特征的空間及時序信息的提取，并完成訓練以及分類；步驟S4)利用訓練后的模型進行乘用車異響數據識別。2.根據權利要求1所述的一種乘用車異響識別方法，其特征在于，所述的步驟S1)中有限的數據集為采集的各部位異常噪聲，包括齒輪嘯叫、減速器敲擊、齒輪沖擊、閥門系統(tǒng)異3.根據權利要求1或2所述的一種乘用車異響識別方法，其特征在于，所述的步驟S1)中的數據擴充包括音頻裁剪和數據增強。4.根據權利要求3所述的一種乘用車異響識別方法，其特征在于，所述的音頻裁剪具體為：將一段時長的音頻切分成若干小時間塊達到增加數量。5.根據權利要求3所述的一種乘用車異響識別方法，其特征在于，所述的數據增強包時間拉伸，在音高不變的前提下，改變音頻信號的速度，通過設置拉伸參數v改變原音頻的速度，當v∈(1,+∞)或v∈(0,1)理論上表示加快或減慢音頻速率為原音頻的v倍；時間平移，保持音高不變，在時域范圍平移設定距離，其中平移參數σ可設置為正值或負值，分別代表音頻數據向前或向后平移；增加噪聲，為原音頻數據增加背景噪聲；音高修正，在音速不變的前提下，改變原音頻的音高，通過設置修正參數p使音高向上或向下移動若干步。6.根據權利要求1所述的一種乘用車異響識別方法，其特征在于，對于輸入的2D特征，在CNN1中設置了三個卷積層，采用3×3微型卷積核；在CNN2中同樣設置三個卷積層，用3×1和1×3的非對稱卷積核取代了3×3卷積核；在所述Transformer中，首先對輸入的特征圖做了池化，然后采用由若干編碼器單元串聯(lián)而成的編碼器棧進行時序信息抓??；然后把三條并行線路提取到的空間時序信息合并串聯(lián)起來再通過線性變換到全連接層，最后通過softmax分類器輸出各噪聲類型的概率。數據集增廣模塊，用于針對有限的乘用車各部位異常噪聲的數據集，利用數據擴充技術完成數據集的增廣；識別模型構建模塊，用于在并行深度學習網絡機制中設置兩條用于提取空間信息的并行CNN線路CNN1和CNN2,以及一條用于提取時序信息的編碼器棧線路Transformer,以利用所述并行深度學習網絡機制，完成對所述增廣后數據集的MFCC特征的空間及時序信息的提3數據識別模塊，用于利用訓練后的模型進行乘用車異響數據識別。8.一種電子設備，包括存儲器和處理器，所述存儲器上存儲有計算機程序，其特征在于，所述處理器執(zhí)行所述程序時實現(xiàn)如權利要求1～6中任一項所述的方法。9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述程序被處理器執(zhí)行時實現(xiàn)如權利要求1～6中任一項所述的方法。4一種乘用車異響識別方法、裝置、電子設備以及存儲介質技術領域[0001]本發(fā)明涉及車輛異響診斷技術，尤其是涉及一種乘用車異響識別方法、裝置、電子設備以及存儲介質。背景技術[0002]在車輛系統(tǒng)中存在大量的旋轉機械部件和內飾部件。這些零部件由于加工誤差或者工作過程中的物理因素會導致部件的磨損、位移等現(xiàn)象，機器零部件在運行期間若出現(xiàn)上述原因導致的損壞將直接關系到財產甚至安全的損失。目前，憑借大量且有效的數據集，基于各種信號的故障診斷技術已廣泛的應用于工廠流水線、核工廠中。然而針對車輛系統(tǒng)中存在的異響問題，由于相關數據集的匱乏限制了本領域診斷技術的發(fā)展，大多數車輛企業(yè)和售后服務機構仍然利用在各種特定的實驗環(huán)境下結合人工聽診的方式。這種方式不僅效率低而且嚴重依賴檢測人員的專業(yè)知識和診斷經驗，最終的診斷結果可能也會因人而異。因此基于易獲信號的車輛異響診斷方法的開發(fā)也是很有必要的。[0003]經過檢索，中國專利公開號CN105841797A提出了一種基于MFCC和SVM的車窗電機異常噪聲檢測方法，其提取了采集而來的異響音頻的MFCC特征，以SVM作為分類器模型完成的漢寧窗，以及應用人工蜂群算法進行模型優(yōu)化，使得此方法具有實用性強，可靠性高等優(yōu)[0004]CN109949823A提供了一種基于DWPT-MFCC與GMM的車內異響聲音識別方法，其同樣具說明性，隨后結合高斯混合模型(GMM)完成訓練及分類任務。[0005]CN112149498A提出了一種面向汽車復雜部件異響在線智能識別系統(tǒng)和方法，其核心在于利用加入小波變換的FBank(WT-FBank)系數圖譜，并作為卷積神經網絡的輸入(用于獲得深層次異響特征),然后進行降維處理結合SVM分類器完成分類任務。此方法利用圖譜[0006]CN112735468A為一種基于MFCC的汽車座椅電機異常噪聲檢測方法，其具體細節(jié)為：提取座椅異常噪聲的MFCC特征(未做優(yōu)化處理),利用BP神經網絡完成訓練及分類任務。其在特征提取部分節(jié)省了計算成本，并利用了BP神經網絡在實際應用過程中可以更快的完成識別任務。附加了另外的信號處理知識，如，小波變換，二階自卷積漢寧窗等，這無疑需要更多的先驗知識，而且會增加計算機的計算成本，隨著數據量的提升，上述方法將很難應對。另外，CN(2)其是典型的二分類數學模型，若想完成多分類任務，需在所有分類的任意兩個樣本之間5層非線性特征變換；CN112735468A采用的BP神經網絡算法在訓練過程中有趨于局部最小化的風險，更多地，其以梯度下降法的形式進行訓練，使得訓練效率偏低，而且不能有目標性練樣本很難訓練出泛化能力強的分類模型，然而針對本領域并沒有一套科學且龐大的數據發(fā)明內容[0009]本發(fā)明的目的就是為了克服上述現(xiàn)有技術存在的缺陷而提供一種乘用車異響識[0010]本發(fā)明的目的可以通過以下技術方案來實現(xiàn)：[0012]步驟S1)針對有限的數據集，利用數據擴充技術完成數據集的增廣；[0013]步驟S2)利用并行深度學習網絡機制，完成對MFCC特征的空間及時序信息的提取，并完成訓練以及分類；[0014]步驟S3)利用訓練后的模型進行乘用車異響數據識別。[0015]作為優(yōu)選的技術方案，所述的步驟S1)中有限的數據集為采集的各部位異常噪聲，包括齒輪嘯叫、減速器敲擊、齒輪沖擊、閥門系統(tǒng)異響、手扶箱異響、手套箱異響和座椅異[0016]作為優(yōu)選的技術方案，所述的步驟S1)中的數據擴充包括音頻裁剪和數據增強。[0017]作為優(yōu)選的技術方案，所述的音頻裁剪具體為：將一段時長的音頻切分成若干小時間塊達到增加數量。[0018]作為優(yōu)選的技術方案，所述的數據增強包括：[0019]時間拉伸，在音高不變的前提下，改變音頻信號的速度，通過設置拉伸參數v改變原音頻的速度，當v∈(1,+∞)或v∈(0,1)理論上表示加快或減慢音頻速率為原音頻的v倍；[0020]時間平移，保持音高不變，在時域范圍平移設定距離，其中平移參數σ可設置為正值或負值，分別代表音頻數據向前或向后平移；[0022]音高修正，在音速不變的前提下，改變原音頻的音高，通過設置修正參數p使音高向上或向下移動若干步。[0023]作為優(yōu)選的技術方案，在所述的步驟S2)的并行深度學習網絡機制中設置兩條用于提取空間信息的并行CNN線路CNN1和CNN2,以及一條用于提取時序信息的編碼器棧線路[0024]作為優(yōu)選的技術方案，對于輸入的2D特征，在CNN1中設置了三個卷積層，采用3×3微型卷積核；在CNN2中同樣設置三個卷積層，用3×1和1×3的非對稱卷積核取代了3×3卷積核；[0025]在所述Tansformer中，首先對輸入的特征圖做了池化，然后采用由若干編碼器單元串聯(lián)而成的編碼器棧進行時序信息抓??；然后把三條并行線路提取到的空間時序信息合并串聯(lián)起來再通過線性變換到全連接層，最后通過softmax分類器輸出各噪聲類型的概率。[0026]根據本發(fā)明第二方面，提供了一種乘用車異響識別裝置，該裝置包括：6[0027]數據集增廣模塊，用于針對有限的數據集，利用數據擴充技術完成數據集的增廣；[0028]識別模型構建模塊，用于利用并行深度學習網絡機制，完成對MFCC特征的空間及時序信息的提取，并完成訓練以及分類；[0029]數據識別模塊，用于利用訓練后的模型進行乘用車異響數據識別。[0030]根據本發(fā)明第三方面，提供了一種電子設備，包括存儲器和處理器，所述存儲器上存儲有計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)所述的方法。[0031]根據本發(fā)明第四方面，提供了一種計算機可讀存儲介質，其上存儲有計算機程序，所述程序被處理器執(zhí)行時所述的方法。[0032]與現(xiàn)有技術相比，本發(fā)明具有以下優(yōu)點：[0033]1)本發(fā)明數據擴充方法很好的解決了車輛異響識別領域數據匱乏的現(xiàn)狀；[0034]2)針對時序信號的分類識別任務，本發(fā)明所采用的并行機制可以同時兼顧信號的空間及上下文信息，且緩解了更深網絡帶來的計算成本。附圖說明[0035]圖1為本發(fā)明方法的工作流程圖；[0036]圖2為本發(fā)明裝置的結構示意圖；[0037]圖3為本發(fā)明MFCC特征提取的流程圖；[0038]圖4為含有一個典型層和兩個全連接層的簡化CNN結構示意圖；[0039]圖5為編碼器棧的示意圖；[0040]圖6為并行深度學習網絡架構的示意圖；[0041]圖7為異響識別整體流程圖；[0042]圖8為訓練過程中的損失曲線圖；[0043]圖9為噪聲類型的混淆矩陣示意圖。具體實施方式[0044]下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明的一部分實施例，而不是全部實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他實施例，都應屬于本發(fā)明保護的范圍。[0045]如圖1所示，一種乘用車異響識別方法，該方法包括：[0046]步驟S1)針對有限的數據集，利用數據擴充技術完成數據集的增廣；[0047]步驟S2)利用并行深度學習網絡機制，完成對MFCC特征的空間及時序信息的提取，并完成訓練以及分類；[0048]步驟S3)利用訓練后的模型進行乘用車異響數據識別。[0049]本發(fā)明的具體過程如下：[0050](i)首先是對所采集的各部位異常噪聲(包括齒輪嘯叫、減速器敲擊、齒輪沖擊、閥門系統(tǒng)異響、手扶箱異響、手套箱異響、座椅異響)應用數據擴充方法：[0051]音頻裁剪：將一段時長的音頻切分成若干小時間塊達到增加數量的目的，我們分析了每個異常噪聲信號的波形圖，確定異常頻率之間的時間間隔，最終確定t=3s的小時間7原音頻的速度，當v∈(1,+∞)或v∈(平移參數σ=fs/2,其中fs代表采樣頻率(48KHz),本文取σ={-fs/2,fs向上或向下移動若干步(以半音為單位，p為正代表向上移，反之向下),本文取[0063]使用漢明窗將信號分為若干短的時間段，每個短時間段稱為分析幀，這樣的話可8[0084]卷積神經網絡目前仍然是計算機視覺主流思想。原因在編碼器由多頭注意力(Multi-Hea系信息，因此本文設置了深度卷積網絡和Transformer編碼器棧同時工作的架構來提高診9斷性能。[0091]圖6展示了擬議并行架構，在架構中，輸入為(ii)步驟中所提取的2維MFCC,其是一個40×282(MFCC特征階數×時間維度)的特征矩陣。特征設置了兩條用于提取空間信息的樣設置三個卷積層，與CNN1不同的是：用3×1和1×3的非對稱卷積核取代了3×3卷積核，這不僅極大的減少了計算參數，而且可以獲得更加額外的空間信息。另外每個卷積層最后均設有池化操作用于降低參數數量從而加快訓練速度。在Tansformer中，首先對輸入的特征圖做了池化(下采樣)然后采用由若干編碼器單元串聯(lián)而成的編碼器棧進行時序信息抓取。最終把三條并行線路提取到的空間時序信息融合再通過線性變換到全連接層，最后使用softmax函數輸出各噪聲類型的概率。并行線路可以實現(xiàn)CNN與Tansformer協(xié)同工作，避免了深層網絡帶來的計算負荷。網絡還加入了批量歸一化(BN)層，這對網絡訓練效率和優(yōu)化梯度問題有明顯的增益。對于反向傳播中的梯度問題，選取了隨機梯度下降(SGD)優(yōu)化技卷積層中，為了避免丟失特征圖中的邊緣信息，我們統(tǒng)一采用零填充卷積。而在每個卷積層[0092]的池化級之后，我們均采用了Dropout技術，這種技術通過隨機丟棄參數來避免模型由于過擬合帶來的泛化能力差的問題。另外，交叉熵損失函數用來計算網絡成本。[0093]本發(fā)明診斷流程：異響識別整體流程如圖7所示，為了網絡后期訓練的準確性，數據擴充方法設置在劃分數據集之后(避免來自同一原始音頻的擴充數據同時分布到訓練[0094]需要注意的是，為了驗證模型的分類性能，需可視化模型訓練的損失曲線，以及評價測試集在訓練模型的表現(xiàn)，通過混淆矩陣來體現(xiàn)，如圖8和9所示：圖8為訓練過程中的損失曲線，可以觀察到的是：模型損失開始可以快速收斂，但次后，訓練損失和驗證損失基本上都穩(wěn)定下來。為進一步說明架構對七種噪聲類型診斷性能，我們給出了噪聲類型的混淆矩陣，并進行了歸嘯叫異常異響之間以及汽車座椅異常振動異常噪聲與手套箱異常振動噪聲之間出現(xiàn)錯誤(Precision)=0.9760、召回率(Recall)=0.9824、F1score=0.9787。[0095]以上是關于方法實施例的介紹，以下通過裝置實施例，對本發(fā)明所述方案進行進一步說明。[0097]數據集增廣模塊1,用于針對有限的數據集，利用數據擴充技術完成數據集的增[0098]識別模型構建模塊2,用于利用并行深度學習網絡機制，完成對MFCC特征的空間及時序信息的提取，并完成訓練以及分類；[0099]數據識別模塊3,用于利用訓練后的模型進行乘用車異響數據識別。[0100]所屬領域的技術人員可以清楚地了解到，為描述的方便和簡潔，所述描述的模塊的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。[0101]本發(fā)明電子設備包括中央處理單元(CPU),其可以根據存儲在只讀存儲器(ROM)中的計算機程序指令或者從存儲單元加載到隨機訪問存儲器(RAM)中的計算機程序指令，來調制解調器、無線通信收發(fā)機等。通信單元允許設備通過諸如因特網的計算機網絡和/或各種電信網絡與其他設備交換信息/數據。[0103]處理單元執(zhí)行上文所描述的各個方法和處理，例如方法S1～S3。例如，在一些實施例中，方法S1～S3可被實現(xiàn)為計算機軟件程序，其被有形地包含于機器可讀介質，例如存儲單元。在一些實施例中，計算機程序的部分或者全部可以經由ROM和/或通信單元而被載入~S3的一個或多個步驟。備選地，在其他實施例中，CPU可以通過其他任何適當的方式(例[0104]本文中以上描述的功能可以至少部分地由一個或多個硬件邏輯部件來執(zhí)行。例如，非限制性地，可以使用的示范類型的硬件邏輯部件包括：場可編程門陣列(FPGA)、專用集成電路(ASIC)、專用標準產品(ASSP)、芯片上系統(tǒng)的系統(tǒng)(SOC)、負載可編程邏輯設備[0105]用于實施本發(fā)明的方法的程序代碼可以采用一個或多個編程語言的任何組合來編寫。這些程序代碼可以提供給通用計算機、專用計算機或其他可編程數據處理裝置的處理器或控制器，使得程序代碼當由處理器或控制器執(zhí)行時使流程圖