(19)國(guó)家知識(shí)產(chǎn)權(quán)局(12)發(fā)明專利(10)授權(quán)公告號(hào)CN112183740B(65)同一申請(qǐng)的已公布的文獻(xiàn)號(hào)(30)優(yōu)先權(quán)數(shù)據(jù)(73)專利權(quán)人羅伯特·博世有限公司地址德國(guó)斯圖加特GO6N3/0464(2023.01)審查員劉秀(74)專利代理機(jī)構(gòu)中國(guó)專利代理(香港)有限公司72001專利代理師孫云漢劉春元(54)發(fā)明名稱用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法。描述了一種用于使用大量訓(xùn)練行程來訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，其中所述神經(jīng)網(wǎng)絡(luò)具有至少一個(gè)卷積層，并且在至少一個(gè)訓(xùn)練行程中借助于所述卷積層執(zhí)行至少一個(gè)卷積，所述方法具有以下步驟：從所述神經(jīng)網(wǎng)絡(luò)的前一層的輸出提供多個(gè)輸入特征圖；借助于多個(gè)卷積核和所述多個(gè)輸入特征圖形成所述卷積層的至少一個(gè)輸出特征圖，其中向由所述輸入特征圖之一和所述至少一個(gè)輸出特征圖中的每一個(gè)輸出特征圖構(gòu)成的每種組合分配一個(gè)卷積核，并且所述卷積核中的每一個(gè)具有多個(gè)卷積權(quán)重；為由所述輸入特征圖和所述輸出特征圖構(gòu)成21.用于使用大量訓(xùn)練行程來訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，其中所述神經(jīng)網(wǎng)絡(luò)具有至少一個(gè)卷從所述神經(jīng)網(wǎng)絡(luò)的前一層的輸出提供多個(gè)輸入特征圖(S1);借助于多個(gè)卷積核和所述多個(gè)輸入特征圖形成所述卷積層的至少一個(gè)輸出特征圖(S2),其中向由所述輸入特征圖之一和所述至少一個(gè)輸出特征圖中的每一個(gè)輸出特征圖構(gòu)為由所述輸入特征圖和所述輸出特征圖構(gòu)成的所有組合確定多個(gè)卷積核范數(shù)(S3),其為所有輸出特征圖確定多個(gè)輸入范數(shù)(S4),其中根據(jù)所有輸入特征圖的卷積核范數(shù)形根據(jù)所有輸出特征圖的輸入范數(shù)來確定卷積范數(shù)(S5),以便確定用于其他訓(xùn)練行程的4.根據(jù)權(quán)利要求2或3所述的方法，其中，通過為所述神經(jīng)網(wǎng)絡(luò)的每一層確定卷積正則所述卷積正則化值應(yīng)用于成本函數(shù)的確定來適配所述神經(jīng)網(wǎng)絡(luò)的至少一些參數(shù)和/或權(quán)8.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的方法，其中，所述神經(jīng)網(wǎng)絡(luò)是經(jīng)網(wǎng)絡(luò)的二維輸入數(shù)據(jù)確定所述卷積正則化值|A||:其中所述卷積正則化值||A||的變量α?,α?說明了具有第一維和第二維的輸入圖的大3??；k,1是延伸到和1的核索引并且因此說明了該核在兩個(gè)維度上的大?。籭和j是輸出特征圖和輸入特征圖的索引，i和j延伸到γ和η,此外8ijk?是卷積核的權(quán)重，并且p和q表示不同10.神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)已經(jīng)對(duì)應(yīng)于根據(jù)前述權(quán)利要求1至9中任一項(xiàng)所述的方法11.神經(jīng)網(wǎng)絡(luò)的用途，所述神經(jīng)網(wǎng)絡(luò)已經(jīng)對(duì)應(yīng)于根據(jù)權(quán)利要求1至9中任一項(xiàng)所述的方法訓(xùn)練過。12.根據(jù)權(quán)利要求11所述的神經(jīng)網(wǎng)絡(luò)的用途，用于對(duì)輸入信號(hào)進(jìn)行分類，其中，根據(jù)所述分類的結(jié)果發(fā)送用于操控至少部分自動(dòng)化的車輛的操控信號(hào)和/或用于警告車輛乘員的警告信號(hào)。13.具有神經(jīng)網(wǎng)絡(luò)的設(shè)備，所述神經(jīng)網(wǎng)絡(luò)已經(jīng)對(duì)應(yīng)于根據(jù)權(quán)利要求1至9中任一項(xiàng)所述的方法訓(xùn)練過。14.計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品具有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括指令，所述指令在由計(jì)算機(jī)執(zhí)行計(jì)算機(jī)程序時(shí)促使所述計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求1至9中任一項(xiàng)所述的方法。15.機(jī)器可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括指令，所述指令在由計(jì)算機(jī)執(zhí)行計(jì)算機(jī)程序時(shí)促使所述計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求1至9中任一項(xiàng)所述的方4用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法技術(shù)領(lǐng)域[0001]本發(fā)明涉及一種用于訓(xùn)練具有卷積層的神經(jīng)網(wǎng)絡(luò)并確定卷積正則化值的方法。背景技術(shù)[0002]為了控制至少部分自動(dòng)化的系統(tǒng)，例如作為移動(dòng)平臺(tái)的示例的自駕駛車輛或機(jī)器人，開發(fā)了深度學(xué)習(xí)方法，在所述深度學(xué)習(xí)方法中經(jīng)常使用神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)已在諸如語(yǔ)中或在預(yù)測(cè)蛋白質(zhì)結(jié)合中表現(xiàn)出卓越的性能。這樣的至少部分自動(dòng)化的系統(tǒng)的重要組成部分是其感知與其環(huán)境相關(guān)的復(fù)雜狀況的能力，從而許多上述示例都可以適配于該任務(wù)。[0003]安全和有效地運(yùn)行這樣的至少部分自動(dòng)化的系統(tǒng)的前提是例如對(duì)移動(dòng)平臺(tái)的環(huán)境進(jìn)行解釋以用于例如決策過程，如所述移動(dòng)平臺(tái)的軌跡規(guī)劃和軌跡控制。越來越多地使用諸如神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)方法來解決這樣的任務(wù)。機(jī)器學(xué)習(xí)方法的任務(wù)是借助于訓(xùn)練數(shù)據(jù)來學(xué)習(xí)盡可能好地檢測(cè)所述訓(xùn)練數(shù)據(jù)的函數(shù)。在此使用成本函數(shù)來評(píng)估所學(xué)習(xí)的函數(shù)的質(zhì)量。在訓(xùn)練這樣的機(jī)器學(xué)習(xí)方法時(shí)已證明有利的是，對(duì)權(quán)重進(jìn)行正則化。這意味著將其他正則化項(xiàng)加性添加到所述成本函數(shù)中。發(fā)明內(nèi)容[0004]在分類問題的情況下，向所述成本函數(shù)添加其他正則化項(xiàng)導(dǎo)致必須在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)對(duì)損失函數(shù)和正則化項(xiàng)的總和進(jìn)行最小化。正則化項(xiàng)的示例是所謂的L1或L2正則化。典型的前饋神經(jīng)網(wǎng)絡(luò)可以理解為塊序列，所述塊分別由線性運(yùn)算和隨后的非線性組成?？梢杂镁仃噥砻枋鲞@樣的線性塊。在卷積網(wǎng)絡(luò)、即神經(jīng)卷積網(wǎng)絡(luò)的情況下，通過具有一定數(shù)量索引的權(quán)重來對(duì)這些線性映射進(jìn)行參數(shù)化。[0005]L1正則化將所述矩陣的元素的絕對(duì)數(shù)值相加，L2正則化在該求和之前對(duì)所述矩陣的元素的絕對(duì)數(shù)值平方。從而利用正則化項(xiàng)來控制函數(shù)類別的大小。在此，正則化因子平衡了用于解決神經(jīng)網(wǎng)絡(luò)的任務(wù)的可能函數(shù)的集合。[0006]在迄今為止已知的正則化項(xiàng)的情況下，沒有考慮所述神經(jīng)網(wǎng)絡(luò)的“卷積”(convolutional)結(jié)構(gòu)。典型地，對(duì)層的權(quán)重而不是對(duì)所述神經(jīng)卷積網(wǎng)絡(luò)的線性映射進(jìn)行正[0007]根據(jù)本發(fā)明，說明了用于使用大量訓(xùn)練行程來訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法、神經(jīng)網(wǎng)絡(luò)的用途、神經(jīng)網(wǎng)絡(luò)、設(shè)備以及計(jì)算機(jī)程序產(chǎn)品和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，這些特征至少部分地具有所提及的效果。有利的構(gòu)型是以下描述的主題。[0008]本發(fā)明基于以下知識(shí)，即正則化項(xiàng)應(yīng)當(dāng)考慮所述神經(jīng)網(wǎng)絡(luò)的卷積結(jié)構(gòu)，使得卷積層的線性映射被正則化。本發(fā)明引入了新的正則化項(xiàng)，所述新的正則化項(xiàng)考慮了所述神經(jīng)網(wǎng)絡(luò)的卷積結(jié)構(gòu)。[0009]根據(jù)本發(fā)明的一個(gè)方面，說明了一種用于使用大量訓(xùn)練行程來訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，其中所述神經(jīng)網(wǎng)絡(luò)具有至少一個(gè)卷積層，并且其中在至少一個(gè)訓(xùn)練行程中借助于所述5[0010]在所述方法的一個(gè)步驟中，從所述神經(jīng)網(wǎng)絡(luò)的前一層的輸出提供多個(gè)輸入特征個(gè)輸出特征圖構(gòu)成的每種組合分配一個(gè)卷積核，并且卷積核中的每一個(gè)具有多個(gè)卷積權(quán)征圖的卷積核范數(shù)形成輸入范數(shù)，并且所述卷積核范數(shù)的定義不同于所述輸入范數(shù)的定典型地具有隨著學(xué)習(xí)進(jìn)度而適配的權(quán)重。所述權(quán)重增加或減小所述信號(hào)在連接處的強(qiáng)度。[0018]作為對(duì)神經(jīng)網(wǎng)絡(luò)的講述的補(bǔ)充，人工的神經(jīng)卷積網(wǎng)絡(luò)(ConvolutionalNeuralNetwork)的結(jié)構(gòu)由一個(gè)或多個(gè)卷積層(convolutionallayer)構(gòu)成，必要時(shí)還跟隨有池化將所述特征數(shù)據(jù)聚集在所述神經(jīng)網(wǎng)絡(luò)的層內(nèi)的所謂特征圖(Fea[0021]最后的卷積層提取最復(fù)雜的特征，所述最復(fù)雜的特征布置在多個(gè)特征圖(Feature-Maps)中并在所述神經(jīng)網(wǎng)絡(luò)的輸入端處施加輸入圖像或輸入信號(hào)時(shí)生成輸出圖6像。此外，最后的卷積層保留在必要時(shí)隨后的全連接層中可能丟失的空間信息，其中所述全連接層用于分類。[0022]“自動(dòng)編碼器”應(yīng)當(dāng)理解為一種人工神經(jīng)網(wǎng)絡(luò)，其使得可以學(xué)習(xí)輸入數(shù)據(jù)中包含的特定模式。自動(dòng)編碼器用于通過相應(yīng)地從一般化的背景中提取重要特征(如特定類別)來生成所述輸入數(shù)據(jù)的壓縮的或無(wú)噪聲的表示。[0023]自動(dòng)編碼器使用三層或更多層：[0026]·輸出層，該輸出層的維度與所述輸入層的維度相對(duì)應(yīng)，即所述輸出層中的每個(gè)輸出參數(shù)具有與所述輸入層中的相應(yīng)參數(shù)相同的含義。自動(dòng)編碼器也可以具有卷積層，并且可以使用根據(jù)本發(fā)明的方法來訓(xùn)練自動(dòng)編碼器。[0027]反饋神經(jīng)網(wǎng)絡(luò)(英語(yǔ)：RecurrentNeuralNetwork,RNN,遞歸神經(jīng)網(wǎng)絡(luò))是這樣一種神經(jīng)網(wǎng)絡(luò)，其與前饋網(wǎng)絡(luò)相反還具有從一層的神經(jīng)元到同一層或前一層的神經(jīng)元的連接。在此，該結(jié)構(gòu)特別適合于發(fā)現(xiàn)數(shù)據(jù)中的時(shí)[0028]在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，典型地會(huì)在訓(xùn)練階段和測(cè)試階段之間進(jìn)行區(qū)分，所述測(cè)試階段也稱為傳播階段。在由大量訓(xùn)練行程組成的訓(xùn)練階段中，所述神經(jīng)網(wǎng)絡(luò)根據(jù)訓(xùn)練數(shù)據(jù)集進(jìn)行學(xué)習(xí)。因此，通常修改各個(gè)神經(jīng)元之間的權(quán)重。在此，學(xué)習(xí)規(guī)則說明了所述神經(jīng)網(wǎng)絡(luò)如何進(jìn)行這些更改的方式。在監(jiān)督式學(xué)習(xí)(受監(jiān)視的或受監(jiān)督的學(xué)習(xí))的情況下，將正確的輸出預(yù)給定為“教學(xué)向量”,基于所述教學(xué)向量?jī)?yōu)化所述神經(jīng)網(wǎng)絡(luò)的參數(shù)或諸如卷積核權(quán)重的權(quán)重。相反，在所述測(cè)試階段中不更改任何參數(shù)或權(quán)重。取而代之的是，這里基于來自所述訓(xùn)練階段的已修改的權(quán)重檢查所述網(wǎng)絡(luò)是否已正確學(xué)習(xí)。為此，將數(shù)據(jù)呈現(xiàn)在所述神經(jīng)網(wǎng)絡(luò)的輸入端處并檢查所述神經(jīng)網(wǎng)絡(luò)計(jì)算了哪些輸出。在此，利用已經(jīng)顯示給所述神經(jīng)網(wǎng)絡(luò)的輸出刺激來檢查所述神經(jīng)網(wǎng)絡(luò)是否已檢測(cè)了訓(xùn)練材料。通過呈現(xiàn)新的刺激，可以確定所述網(wǎng)絡(luò)是否泛化地解決了任務(wù)。[0029]由于在所述方法中在確定所述卷積正則化值時(shí)考慮了卷積層的結(jié)構(gòu)，因此可以在借助于作為所述成本函數(shù)(英語(yǔ)：loss-function(損失函數(shù)))的附加添加項(xiàng)的所述卷積正則化值進(jìn)行正則化的情況下，在訓(xùn)練所述神經(jīng)卷積網(wǎng)絡(luò)時(shí)實(shí)現(xiàn)改善的泛化。[0030]所述成本函數(shù)度量當(dāng)前存在的神經(jīng)網(wǎng)絡(luò)有多好地映射給定的數(shù)據(jù)集。在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，逐步更改所述權(quán)重，使得將所述成本函數(shù)變得最小并且由此將訓(xùn)練數(shù)據(jù)集(幾乎)完全由所述神經(jīng)網(wǎng)絡(luò)映射。正則化項(xiàng)的任務(wù)是控制以此方式確定的解的數(shù)量，這些解是通過最小化所述成本函數(shù)來計(jì)算的。所述正則化項(xiàng)越高，最小化任務(wù)的解就越少，這使得可以預(yù)期改善的泛化。本發(fā)明中建議的卷積正則化項(xiàng)以特別的方式考慮了神經(jīng)網(wǎng)絡(luò)的卷積結(jié)[0031]用這樣的方法訓(xùn)練的神經(jīng)卷積網(wǎng)絡(luò)可以在大量應(yīng)用中有助于改善的泛化。例如，可以訓(xùn)練這樣的神經(jīng)卷積網(wǎng)絡(luò)用于以下任務(wù)，在這些任務(wù)中將所述神經(jīng)網(wǎng)絡(luò)的輸入信號(hào)一維地例如用在包括語(yǔ)音或噪聲處理的音頻信號(hào)的情況下，二維地例如用于對(duì)圖像(包括激光雷達(dá)(LIDAR)系統(tǒng)或雷達(dá)(RADAR)系統(tǒng)的掃描)進(jìn)行評(píng)估、分類或處理，或在三維輸入信號(hào)的情況下例如用于磁共振斷層(MRT)掃描的分析和分類。對(duì)于所描述的方法的這些不同的應(yīng)用，可以相應(yīng)地適配用于使用卷積正則化值來訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，如下面將進(jìn)一步描7信號(hào)或輸入特征圖或輸出特征圖在用所述坐標(biāo)分量描述的空間位以具有例如從所述輸入特征圖的圖像中提取結(jié)構(gòu)的其他特征圖(Feature-Maps)。將所述卷積正則化值應(yīng)用于所述成本函數(shù)的確定是將所述卷積正則化值添加至正常成本此f(x;)應(yīng)該等于y使用損失函數(shù)V來計(jì)算f(x:)和y之間的差。在總和中將所有訓(xùn)練數(shù)據(jù)8并且這些范數(shù)中至少兩個(gè)范數(shù)的參數(shù)p具有不同的值。通過在選擇這些范數(shù)時(shí)使用不同的[0053]根據(jù)另一方面建議，通過公式1中描述的關(guān)系來為所述神經(jīng)網(wǎng)絡(luò)的二維輸入數(shù)據(jù)確定所述卷積正則化值：大小；k,1是延伸到k和1的核索引，并且因此說明了該核不同的范數(shù)。9[0072]該項(xiàng)是針對(duì)每一層的線性算子卷積正則化值||A||:[0077]如果在所述神經(jīng)網(wǎng)絡(luò)中使用更高的步幅(Stride)、膨脹(Dilation)或填充所描述的卷積正則化值考慮了特別是包含在神經(jīng)卷積網(wǎng)絡(luò)中的卷積層的結(jié)構(gòu)。[0081]說明了使用已經(jīng)對(duì)應(yīng)于前述方法之一訓(xùn)練的神經(jīng)網(wǎng)絡(luò)來分類或探測(cè)信號(hào)的用途。特別地，可以將以這種方式訓(xùn)練的神經(jīng)網(wǎng)絡(luò)用于表征車輛環(huán)境、用于斷層掃描成像或用于對(duì)象探測(cè)。[0082]對(duì)于這種使用卷積正則化值訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，存在大量不同的用途，所述方法必要時(shí)必須適配于這些用途。在此，所述方法必須以下述描述的方式適配于所述神經(jīng)網(wǎng)絡(luò)的應(yīng)用的不同維度。[0083]這里講述的所述方法的應(yīng)用和使用所述方法訓(xùn)練的神經(jīng)網(wǎng)絡(luò)可以單個(gè)地或組合地例如在表示至少部分自動(dòng)化的移動(dòng)平臺(tái)的環(huán)境時(shí)使用。[0084]在此，移動(dòng)平臺(tái)可以被理解為移動(dòng)的至少部分自動(dòng)化的系統(tǒng)和/或車輛的駕駛員輔助系統(tǒng)。一個(gè)示例可以是至少部分自動(dòng)化的車輛或具有駕駛員輔助系統(tǒng)的車輛。也就是說，在這種關(guān)聯(lián)下就至少部分自動(dòng)化的功能而言，至少部分自動(dòng)化的系統(tǒng)包括移動(dòng)平臺(tái)，但是移動(dòng)平臺(tái)還包括車輛和其他包括駕駛員輔助系統(tǒng)的移動(dòng)機(jī)器。移動(dòng)平臺(tái)的其他示例可以是具有多個(gè)傳感器的駕駛員輔助系統(tǒng)、移動(dòng)式多傳感器機(jī)器人(例如機(jī)器人吸塵器或割草機(jī))、多傳感器監(jiān)控系統(tǒng)、制造機(jī)器、個(gè)人助理或進(jìn)入控制系統(tǒng)。這些是完全或部分自動(dòng)化的系統(tǒng)。[0085]如果所述神經(jīng)網(wǎng)絡(luò)的應(yīng)用涉及一維信號(hào)，例如包括語(yǔ)音信號(hào)或馬達(dá)噪聲的音頻信號(hào)，則輸入信號(hào)的特征圖可以表示為向量。因此所述卷積核具有分量9ijk;并由下式確定了所述卷積正則化值[0087]其中參數(shù)的定義如上所示。通過這種方式，可以例如識(shí)別說了什么或誰(shuí)說了什么。[0088]對(duì)于二維信號(hào)，例如彩色圖像(RGB圖像)、X射線圖像、激光雷達(dá)(LIDAR)系統(tǒng)的掃描或雷達(dá)圖，所述輸入信號(hào)的特征圖是矩陣。因此，核具有分量9ijk?k?并由下式確定了所述卷積正則化值[0090]其中參數(shù)的定義如上所示。作為二維信號(hào)應(yīng)用的示例，可以探測(cè)圖像信號(hào)，例如交通標(biāo)志識(shí)別或?qū)ο笞R(shí)別(例如行人識(shí)別)。然后，所述神經(jīng)網(wǎng)絡(luò)的任務(wù)是確定是否可以在環(huán)境的圖像中探測(cè)到交通標(biāo)志或行人，并在必要時(shí)可以對(duì)交通標(biāo)志或行人進(jìn)行分類。[0091]對(duì)于諸如磁共振斷層造影(MRT)掃描的三維信號(hào)，可以以矩陣形式表示所述輸入信號(hào)的特征圖。由此，所述卷積核具有分量9ijk?kzk?,并且可以按以下形式計(jì)算所述卷積正11[0094]其中參數(shù)的定義如上所示。作為三維輸入信號(hào)的應(yīng)用，所述神經(jīng)網(wǎng)絡(luò)的任務(wù)可以示例性地包括從MRI拍攝中識(shí)別腫瘤和對(duì)腫瘤類型分類。[0095]根據(jù)另一方面建議，上述神經(jīng)網(wǎng)絡(luò)用于分類的用途涉及輸入信號(hào)，其中根據(jù)所述分類的結(jié)果發(fā)送用于操控至少部分自動(dòng)化的車輛的操控信號(hào)和/或用于警告車輛乘員的警告信號(hào)。這樣的輸入信號(hào)的示例可以是聲源，或者可以是圖像信號(hào)。因此，與所述方法一起使用的不同維數(shù)的一般性輸入信號(hào)可以如前面所述。[0096]說明了一種具有神經(jīng)網(wǎng)絡(luò)的設(shè)備，該神經(jīng)網(wǎng)絡(luò)已經(jīng)根據(jù)前述方法之一進(jìn)行了訓(xùn)[0097]建議了一種計(jì)算機(jī)程序，其包括指令，所述指令在由計(jì)算機(jī)執(zhí)行程序時(shí)促使所述計(jì)算機(jī)執(zhí)行上述方法之一。[0098]建議了一種機(jī)器可讀存儲(chǔ)介質(zhì)，在所述機(jī)器可讀存儲(chǔ)介質(zhì)上存儲(chǔ)了所描述的計(jì)算機(jī)程序。附圖說明[0099]本發(fā)明的實(shí)施例在圖1至3中示出并且在下面更詳細(xì)地解釋。[0100]圖1示出了借助于多個(gè)輸入特征圖形成輸出特征圖；[0101]圖2示出根據(jù)多個(gè)輸入特征圖各借助于多個(gè)卷積核形成卷積層的至少一個(gè)輸出特[0102]圖3示出了用于借助于卷積核確定卷積范數(shù)的方法步驟。具體實(shí)施方式[0103]在圖1中示例性概略地示出了如何根據(jù)從所述神經(jīng)網(wǎng)絡(luò)的前一層的輸出提供的多130計(jì)算第i個(gè)輸出特征圖150的每個(gè)像素155。[0104]在圖2中概略地示出如何在方法步驟S2中根據(jù)在方法步驟S1中由所述神經(jīng)網(wǎng)絡(luò)的126、136;或117、127、137和多個(gè)輸入特特征圖150,其中向由輸入特征圖110、120、130之一與至少一個(gè)輸出特征圖150中的每個(gè)輸[0105]此外，在圖2中指示了如何在示例性情況下可以確定用于計(jì)算輸出圖的所有卷積核的頻率。出發(fā)點(diǎn)是通過兩個(gè)空間坐標(biāo)、即通過輸入特征圖的坐標(biāo)分量——在該二維示例中通過輸入特征圖110的寬度170和輸入特征圖110的高度160——指示的輸入特征圖110、120、130的大小。在該示例中，卷積核1一輸入圖110中的相同卷積核的三個(gè)位置115、116、117所概略地示出的，在比較卷積核115的空間維度和輸入圖110的空間維度時(shí)得到將卷積核115可能應(yīng)用于所述輸入特征圖的定義的頻率，以便將卷積核115無(wú)重疊地應(yīng)用于整個(gè)輸入特征圖110。由此例如將該頻率計(jì)算[0106]