(12)發(fā)明專利地址518057廣東省深圳市南山區(qū)高新區(qū)務(wù)所(普通合伙)44285GO6V30/19(2022.GO6N3/0464(2023.01)GO6V20/62(2022.01)一種交通標(biāo)志牌的信息匹配方法及相關(guān)裝置本申請公開一種交通標(biāo)志牌的信息匹配方法及相關(guān)裝置，可應(yīng)用的領(lǐng)域包括但不限于地配模型對目標(biāo)圖像進行處理得到文本信息與交個神經(jīng)網(wǎng)絡(luò)的參數(shù)進行整體訓(xùn)練優(yōu)化得到的模目標(biāo)圖像(文本信目標(biāo)圖像(文本信息和交通標(biāo)志牌)信息匹配模型匹配結(jié)果交通標(biāo)志牌1附屬關(guān)系文本信息1交通標(biāo)志牌2附屬關(guān)系文本信息2交通標(biāo)志牌1文本信息1交通標(biāo)志牌2文本信息2目標(biāo)圖像21.一種交通標(biāo)志牌的信息匹配方法，其特征在于，所述方法包括：獲取采集得到的目標(biāo)圖像，所述目標(biāo)圖像中包括文本信息和交通標(biāo)志牌；通過信息匹配模型，對所述目標(biāo)圖像進行處理得到所述目標(biāo)圖像中文本信息與交通標(biāo)志牌之間的匹配結(jié)果，所述信息匹配模型為端到端的神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)以目標(biāo)圖像作為輸入，以文本信息與交通標(biāo)志牌之間的匹配結(jié)果作為輸出；所述信息匹配模型包括特征提取網(wǎng)絡(luò)、檢測網(wǎng)絡(luò)和關(guān)系匹配網(wǎng)絡(luò)；其中，所述特征提取網(wǎng)絡(luò)是以目標(biāo)圖像為輸入，以圖像語義特征為輸出的第一神經(jīng)網(wǎng)所述檢測網(wǎng)絡(luò)是以所述特征提取網(wǎng)絡(luò)的輸出為輸入，以文本檢測結(jié)果和交通標(biāo)志牌檢測結(jié)果為輸出的第二神經(jīng)網(wǎng)絡(luò)，所述文本檢測結(jié)果中包括指示文本信息在所述目標(biāo)圖像中位置的文本位置信息，所述交通標(biāo)志牌檢測結(jié)果中包括指示交通標(biāo)志牌在所述目標(biāo)圖像中位置的標(biāo)志牌位置信息；所述關(guān)系匹配網(wǎng)絡(luò)是以所述檢測網(wǎng)絡(luò)的輸出為輸入，以所述目標(biāo)圖像中文本信息與交通標(biāo)志牌之間的匹配結(jié)果為輸出的第三神經(jīng)網(wǎng)絡(luò)。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過信息匹配模型，對所述目標(biāo)圖像進行處理得到所述目標(biāo)圖像中文本信息與交通標(biāo)志牌之間的匹配結(jié)果，包括：通過所述特征提取網(wǎng)絡(luò)對所述目標(biāo)圖像進行特征提取得到圖像語義特征；根據(jù)所述文本檢測結(jié)果中的所述文本位置信息和所述交通標(biāo)志牌檢測結(jié)果中的所述標(biāo)志牌位置信息，通過所述關(guān)系匹配網(wǎng)絡(luò)確定所述目標(biāo)圖像中所述文本信息與所述交通標(biāo)志牌之間的匹配結(jié)果。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述文本檢測結(jié)果中的所述文本位置信息和所述交通標(biāo)志牌檢測結(jié)果中的所述標(biāo)志牌位置信息，通過所述關(guān)系匹配網(wǎng)絡(luò)確定所述目標(biāo)圖像中所述文本信息與所述交通標(biāo)志牌之間的匹配結(jié)果，包括：確定所述標(biāo)志牌位置信息對應(yīng)的標(biāo)志牌位置編碼和所述文本位置信息對應(yīng)的文本位置編碼；將所述標(biāo)志牌位置編碼、所述文本位置編碼和所述圖像語義特征進行融合，得到融合根據(jù)所述融合特征確定所述目標(biāo)圖像中所述文本信息與所述交通標(biāo)志牌之間的匹配4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述將所述標(biāo)志牌位置編碼、所述文本位根據(jù)所述標(biāo)志牌位置信息和所述文本位置信息確定感興趣區(qū)域；從所述圖像語義特征中裁剪得到所述感興趣區(qū)域?qū)?yīng)的感興趣語義特征；將所述感興趣語義特征與對應(yīng)的所述標(biāo)志牌位置編碼或所述文本位置編碼進行融合，得到所述融合特征。5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述檢測網(wǎng)絡(luò)包括文本信息檢測分支和交通標(biāo)志牌檢測分支；3其中，所述文本信息檢測分支是以所述特征提取網(wǎng)絡(luò)的輸出為輸入，以所述文本檢測結(jié)果為輸出的第四神經(jīng)網(wǎng)絡(luò)；所述交通標(biāo)志牌檢測分支是以所述特征提取網(wǎng)絡(luò)的輸出為輸入，以所述交通標(biāo)志牌檢測結(jié)果為輸出的第五神經(jīng)網(wǎng)絡(luò)。6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)所述圖像語義特征，通過所述檢測網(wǎng)絡(luò)確定文本檢測結(jié)果和交通標(biāo)志牌檢測結(jié)果，包括：通過所述文本信息檢測分支對所述圖像語義特征進行特征變換得到第一語義特征，所述第一語義特征中所述文本信息的特征的顯著性高于所述圖像語義特征中所述文本信息的特征的顯著性；根據(jù)所述第一語義特征，通過所述文本信息檢測分支得到所述文本檢測結(jié)果；通過所述交通標(biāo)志牌檢測分支對所述圖像語義特征進行特征變換得到第二語義特征，所述第二語義特征中所述交通標(biāo)志牌的特征的顯著性高于所述圖像語義特征中所述交通標(biāo)志牌的特征的顯著性；根據(jù)所述第二語義特征，通過所述交通標(biāo)志牌檢測分支得到所述交通標(biāo)志牌檢測結(jié)7.根據(jù)權(quán)利要求1-6任一項所述的方法，其特征在于，所述文本檢測結(jié)果通過所述目標(biāo)圖像中的第一檢測框表示，所述交通標(biāo)志牌檢測結(jié)果通過所述目標(biāo)圖像中的第二檢測框表8.根據(jù)權(quán)利要求2-6任一項所述的方法，其特征在于，所述文本檢測結(jié)果中還包括所述文本檢測結(jié)果對應(yīng)的第一置信度得分，所述交通標(biāo)志牌檢測結(jié)果中還包括所述交通標(biāo)志牌檢測結(jié)果對應(yīng)的第二置信度得分，所述根據(jù)所述文本檢測結(jié)果中的所述文本位置信息和所述交通標(biāo)志牌檢測結(jié)果中的所述標(biāo)志牌位置信息，通過所述關(guān)系匹配網(wǎng)絡(luò)確定所述目標(biāo)圖像中所述文本信息與所述交通標(biāo)志牌之間的匹配結(jié)果，包括：根據(jù)所述第一置信度得分選取M個文本檢測結(jié)果，以及根據(jù)所述第二置信度得分選取N個交通標(biāo)志牌檢測結(jié)果輸入所述關(guān)系匹配網(wǎng)絡(luò)；通過所述關(guān)系匹配網(wǎng)絡(luò)輸出附屬關(guān)系圖，所述附屬關(guān)系圖用于表示所述M個文本檢測結(jié)果對應(yīng)的文本信息與所述N個交通標(biāo)志牌檢測結(jié)果對應(yīng)的交通標(biāo)志牌之間的匹配結(jié)果。9.根據(jù)權(quán)利要求1-6任一項所述的方法，其特征在于，所述方法還包括：構(gòu)建信息初始匹配模型，其中，所述信息初始匹配模型包括初始特征提取網(wǎng)絡(luò)、初始檢測網(wǎng)絡(luò)和初始關(guān)系匹配網(wǎng)絡(luò)；獲取訓(xùn)練樣本集中的訓(xùn)練樣本，所述訓(xùn)練樣本包括訓(xùn)練圖像以及文本信息與交通標(biāo)志牌之間的真實匹配結(jié)果；將所述訓(xùn)練圖像輸入所述信息初始匹配模型中，依次經(jīng)過所述初始特征提取網(wǎng)絡(luò)、所述初始檢測網(wǎng)絡(luò)和所述初始關(guān)系匹配網(wǎng)絡(luò)的處理，獲得所述初始關(guān)系匹配網(wǎng)絡(luò)的輸出內(nèi)容，所述輸出內(nèi)容包括所述文本信息與所述交通標(biāo)志牌之間的預(yù)測匹配結(jié)果；根據(jù)所述預(yù)測匹配結(jié)果和所述真實匹配結(jié)果構(gòu)建損失函數(shù)；根據(jù)所述損失函數(shù)調(diào)整所述信息初始匹配模型的模型參數(shù)，根據(jù)滿足訓(xùn)練條件時所調(diào)整的模型參數(shù)和所述信息初始匹配模型的網(wǎng)絡(luò)結(jié)構(gòu)，確定所述信息匹配模型。10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述根據(jù)所述損失函數(shù)調(diào)整所述信息初4始匹配模型的模型參數(shù)，根據(jù)滿足訓(xùn)練條件時所調(diào)整的模型參數(shù)和所述信息初始匹配模型將所述損失函數(shù)所表示的損失在所述初始特征提取網(wǎng)絡(luò)、所述初始檢測網(wǎng)絡(luò)和所述初始關(guān)系匹配網(wǎng)絡(luò)中進行反向傳播，根據(jù)所述損失調(diào)整所述初始特征提取網(wǎng)絡(luò)、所述初始檢測網(wǎng)絡(luò)和所述初始關(guān)系匹配網(wǎng)絡(luò)的權(quán)重和模型參數(shù)，直至滿足所述訓(xùn)練條件為止，得到所述信息匹配模型。11.一種交通標(biāo)志牌的信息匹配裝置，其特征在于，所述裝置包括獲取單元和匹配單所述獲取單元，用于獲取采集得到的目標(biāo)圖像，所述目標(biāo)圖像中包括文本信息和交通標(biāo)志牌；所述匹配單元，用于通過信息匹配模型，對所述目標(biāo)圖像進行處理得到所述目標(biāo)圖像中文本信息與交通標(biāo)志牌之間的匹配結(jié)果，所述信息匹配模型為端到端的神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)以目標(biāo)圖像作為輸入，以文本信息與交通標(biāo)志牌之間的匹配結(jié)果作為輸出；所述信息匹配模型包括特征提取網(wǎng)絡(luò)、檢測網(wǎng)絡(luò)和關(guān)系匹配網(wǎng)絡(luò)；其中，所述特征提取網(wǎng)絡(luò)是以目標(biāo)圖像為輸入，以圖像語義特征為輸出的第一神經(jīng)網(wǎng)所述檢測網(wǎng)絡(luò)是以所述特征提取網(wǎng)絡(luò)的輸出為輸入，以文本檢測結(jié)果和交通標(biāo)志牌檢測結(jié)果為輸出的第二神經(jīng)網(wǎng)絡(luò)，所述文本檢測結(jié)果中包括指示文本信息在所述目標(biāo)圖像中位置的文本位置信息，所述交通標(biāo)志牌檢測結(jié)果中包括指示交通標(biāo)志牌在所述目標(biāo)圖像中位置的標(biāo)志牌位置信息；所述關(guān)系匹配網(wǎng)絡(luò)是以所述檢測網(wǎng)絡(luò)的輸出為輸入，以所述目標(biāo)圖像中文本信息與交通標(biāo)志牌之間的匹配結(jié)果為輸出的第三神經(jīng)網(wǎng)絡(luò)。通過所述特征提取網(wǎng)絡(luò)對所述目標(biāo)圖像進行特征提取得到圖像語義特征；根據(jù)所述圖像語義特征，通過所述檢測網(wǎng)絡(luò)確定文本檢測結(jié)果和交通標(biāo)志牌檢測結(jié)根據(jù)所述文本檢測結(jié)果中的所述文本位置信息和所述交通標(biāo)志牌檢測結(jié)果中的所述標(biāo)志牌位置信息，通過所述關(guān)系匹配網(wǎng)絡(luò)確定所述目標(biāo)圖像中所述文本信息與所述交通標(biāo)志牌之間的匹配結(jié)果。確定所述標(biāo)志牌位置信息對應(yīng)的標(biāo)志牌位置編碼和所述文本位置信息對應(yīng)的文本位置編碼；將所述標(biāo)志牌位置編碼、所述文本位置編碼和所述圖像語義特征進行融合，得到融合特征；根據(jù)所述融合特征確定所述目標(biāo)圖像中所述文本信息與所述交通標(biāo)志牌之間的匹配結(jié)果。根據(jù)所述標(biāo)志牌位置信息和所述文本位置信息確定感興趣區(qū)域；從所述圖像語義特征中裁剪得到所述感興趣區(qū)域?qū)?yīng)的感興趣語義特征；5將所述感興趣語義特征與對應(yīng)的所述標(biāo)志牌位置編碼或所述文本位置編碼進行融合，得到所述融合特征。15.根據(jù)權(quán)利要求12所述的裝置，其特征在于，所述檢測網(wǎng)絡(luò)包括文本信息檢測分支和交通標(biāo)志牌檢測分支；其中，所述文本信息檢測分支是以所述特征提取網(wǎng)絡(luò)的輸出為輸入，以所述文本檢測結(jié)果為輸出的第四神經(jīng)網(wǎng)絡(luò)；所述交通標(biāo)志牌檢測分支是以所述特征提取網(wǎng)絡(luò)的輸出為輸入，以所述交通標(biāo)志牌檢測結(jié)果為輸出的第五神經(jīng)網(wǎng)絡(luò)。通過所述文本信息檢測分支對所述圖像語義特征進行特征變換得到第一語義特征，所述第一語義特征中所述文本信息的特征的顯著性高于所述圖像語義特征中所述文本信息的特征的顯著性；根據(jù)所述第一語義特征，通過所述文本信息檢測分支得到所述文本檢測結(jié)果；通過所述交通標(biāo)志牌檢測分支對所述圖像語義特征進行特征變換得到第二語義特征，所述第二語義特征中所述交通標(biāo)志牌的特征的顯著性高于所述圖像語義特征中所述交通標(biāo)志牌的特征的顯著性；根據(jù)所述第二語義特征，通過所述交通標(biāo)志牌檢測分支得到所述交通標(biāo)志牌檢測結(jié)17.根據(jù)權(quán)利要求11-16任一項所述的裝置，其特征在于，所述文本檢測結(jié)果通過所述目標(biāo)圖像中的第一檢測框表示，所述交通標(biāo)志牌檢測結(jié)果通過所述目標(biāo)圖像中的第二檢測框表示。18.根據(jù)權(quán)利要求12-16任一項所述的裝置，其特征在于，所述文本檢測結(jié)果中還包括所述文本檢測結(jié)果對應(yīng)的第一置信度得分，所述交通標(biāo)志牌檢測結(jié)果中還包括所述交通標(biāo)志牌檢測結(jié)果對應(yīng)的第二置信度得分，所述匹配根據(jù)所述第一置信度得分選取M個文本檢測結(jié)果，以及根據(jù)所述第二置信度得分選取N個交通標(biāo)志牌檢測結(jié)果輸入所述關(guān)系匹配網(wǎng)絡(luò)；通過所述關(guān)系匹配網(wǎng)絡(luò)輸出附屬關(guān)系圖，所述附屬關(guān)系圖用于表示所述M個文本檢測結(jié)果對應(yīng)的文本信息與所述N個交通標(biāo)志牌檢測結(jié)果對應(yīng)的交通標(biāo)志牌之間的匹配結(jié)果。19.根據(jù)權(quán)利要求11-16任一項所述的裝置，其特征在于，所述裝置還包括：訓(xùn)練單元；構(gòu)建信息初始匹配模型，其中，所述信息初始匹配模型包括初始特征提取網(wǎng)絡(luò)、初始檢測網(wǎng)絡(luò)和初始關(guān)系匹配網(wǎng)絡(luò)；獲取訓(xùn)練樣本集中的訓(xùn)練樣本，所述訓(xùn)練樣本包括訓(xùn)練圖像以及文本信息與交通標(biāo)志牌之間的真實匹配結(jié)果；將所述訓(xùn)練圖像輸入所述信息初始匹配模型中，依次經(jīng)過所述初始特征提取網(wǎng)絡(luò)、所述初始檢測網(wǎng)絡(luò)和所述初始關(guān)系匹配網(wǎng)絡(luò)的處理，獲得所述初始關(guān)系匹配網(wǎng)絡(luò)的輸出內(nèi)容，所述輸出內(nèi)容包括所述文本信息與所述交通標(biāo)志牌之間的預(yù)測匹配結(jié)果；根據(jù)所述預(yù)測匹配結(jié)果和所述真實匹配結(jié)果構(gòu)建損失函數(shù)；根據(jù)所述損失函數(shù)調(diào)整所述信息初始匹配模型的模型參數(shù)，根據(jù)滿足訓(xùn)練條件時所調(diào)6整的模型參數(shù)和所述信息初始匹配模型的網(wǎng)絡(luò)結(jié)構(gòu)，確定所述信息匹配模型。將所述損失函數(shù)所表示的損失在所述初始特征提取網(wǎng)絡(luò)、所述初始檢測網(wǎng)絡(luò)和所述初始關(guān)系匹配網(wǎng)絡(luò)中進行反向傳播，根據(jù)所述損失調(diào)整所述初始特征提取網(wǎng)絡(luò)、所述初始檢測網(wǎng)絡(luò)和所述初始關(guān)系匹配網(wǎng)絡(luò)的權(quán)重和模型參數(shù)，直至滿足所述訓(xùn)練條件為止，得到所述信息匹配模型。21.一種用于交通標(biāo)志牌的信息匹配設(shè)備，其特征在于，所述設(shè)備包括處理器以及存儲所述存儲器用于存儲程序代碼，并將所述程序代碼傳輸給所述處理器；所述處理器用于根據(jù)所述程序代碼中的指令執(zhí)行權(quán)利要求1-10中任一項所述的方法。22.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)用于存儲程序代碼，所述程序代碼用于執(zhí)行權(quán)利要求1-10中任一項所述的方法。23.一種計算機程序產(chǎn)品，其特征在于，包括計算機指令，所述計算機指令存儲在計算機可讀存儲介質(zhì)中；計算機設(shè)備的處理器從所述計算機可讀存儲介質(zhì)讀取所述計算機指令，所述處理器執(zhí)行所述計算機指令，使得所述計算機設(shè)備執(zhí)行權(quán)利要求1-10中任一項所述的方法。7一種交通標(biāo)志牌的信息匹配方法及相關(guān)裝置技術(shù)領(lǐng)域[0001]本申請涉及計算機技術(shù)領(lǐng)域，特別是涉及一種交通標(biāo)志牌的信息匹配方法及相關(guān)背景技術(shù)[0002]在地圖應(yīng)用過程(包括不限于導(dǎo)航應(yīng)用、自動駕駛、智慧交通、地圖數(shù)據(jù)生產(chǎn)等場景)中，需要對交通標(biāo)志牌進行精準(zhǔn)識別。在一些情況下，交往會有多個交通標(biāo)志牌和多個文本信息，在此情況下，需要確定文本信息與交通標(biāo)志牌之間的匹配關(guān)系，例如：哪些文本信息附屬于哪些標(biāo)志牌，或者說哪些文本信息與哪些標(biāo)志牌[0003]如何準(zhǔn)確地確定文本信息與交通標(biāo)志牌之間的匹配關(guān)系是亟需解決的技術(shù)問題。發(fā)明內(nèi)容[0004]為了解決上述技術(shù)問題，本申請?zhí)峁┝艘环N交通標(biāo)志牌的信息匹配方法及相關(guān)裝[0005]第一方面，本申請實施例提供一種交通標(biāo)志牌的信[0006]獲取采集得到的目標(biāo)圖像，所述目標(biāo)圖像中包括文本信息和交通標(biāo)志牌；[0007]通過信息匹配模型，對所述目標(biāo)圖像進行處理得到所述目標(biāo)圖像中文本信息與交通標(biāo)志牌之間的匹配結(jié)果，所述信息匹配模型為端到端的神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)以目標(biāo)圖像作為輸入，以文本信息與交通標(biāo)志牌之間的匹配結(jié)果作為輸出。[0008]第二方面，本申請實施例提供一種交通標(biāo)志牌的信息匹配裝置，所述裝置包括獲取單元和匹配單元：[0009]所述獲取單元，用于獲取采集得到的目標(biāo)圖像，所述目標(biāo)圖像中包括文本信息和交通標(biāo)志牌；[0010]所述匹配單元，用于通過信息匹配模型，對所述目標(biāo)圖像進行處理得到所述目標(biāo)圖像中文本信息與交通標(biāo)志牌之間的匹配結(jié)果，所述信息匹配模型為端到端的神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)以目標(biāo)圖像作為輸入，以文本信息與交通標(biāo)志牌之間的匹配結(jié)果作為輸出。[0011]第三方面，本申請實施例提供一種用于交通標(biāo)志牌的信息匹配設(shè)備，所述設(shè)備包括處理器以及存儲器：[0012]所述存儲器用于存儲程序代碼，并將所述程序代碼傳輸給所述處理器；[0013]所述處理器用于根據(jù)所述程序代碼中的指令執(zhí)行第一方面所述的方法。[0014]第四方面，本申請實施例提供一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)用于存儲程序代碼，所述程序代碼用于執(zhí)行第一方面所述的方法。[0015]由上述技術(shù)方案可以看出，本申請實施例在進行交通標(biāo)志牌的信息匹配時，首先獲取采集得到的目標(biāo)圖像，該目標(biāo)圖像中包括文本信息和交通標(biāo)志牌。然后，將該目標(biāo)圖像8輸入至信息匹配模型，通過信息匹配模型，對該目標(biāo)圖像進行處理得到該目標(biāo)圖像中文本信息與交通標(biāo)志牌之間的匹配結(jié)果。其中，該信息匹配模型是以目標(biāo)圖像作為輸入，以文本信息與交通標(biāo)志牌之間的匹配結(jié)果作為輸出的端到端的神經(jīng)網(wǎng)絡(luò)，即該信息匹配模型是通過端到端的訓(xùn)練方式，對整個神經(jīng)網(wǎng)絡(luò)的參數(shù)進行整體訓(xùn)練優(yōu)化而得到的模型，該信息匹配模型其整體檢測性能更好，因此，本申請實施例利用該信息匹配模型進行交通標(biāo)志牌的信息匹配，能夠保證匹配結(jié)果的準(zhǔn)確性，提高信息匹配的效率。附圖說明[0016]為了更清楚地說明本申請實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的一些實施例，對于本領(lǐng)域普通技術(shù)成員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。[0017]圖1為本申請實施例提供的一種交通標(biāo)志牌示例圖；[0018]圖2為本申請實施例提供的一種交通標(biāo)志牌的信息匹配的架構(gòu)流程圖；[0019]圖3為本申請實施例提供一種交通標(biāo)志牌的信息匹配方法的場景架構(gòu)圖；[0020]圖4為本申請實施例提供的一種交通標(biāo)志牌的信息匹配方法的流程圖；[0021]圖5為本申請實施例提供的一種交通標(biāo)志牌和文本信息示例圖；[0022]圖6為本申請實施例提供的另一種交通標(biāo)志牌和文本信息示例圖；[0023]圖7為本申請實施例提供的一種根據(jù)目標(biāo)圖像得到附屬關(guān)系圖的示例圖；[0024]圖8為本申請實施例提供的一種信息匹配模型的架構(gòu)示意圖；[0025]圖9為本申請實施例提供的一種檢測網(wǎng)絡(luò)的架構(gòu)示意圖；[0026]圖10為本申請實施例提供的一種基于信息匹配模型進行信息匹配的流程圖；[0027]圖11a為本申請實施例提供的一種關(guān)系匹配網(wǎng)絡(luò)進行匹配的架構(gòu)流程圖；[0028]圖11b為本申請實施例提供的基于RoIAlign裁剪出2×2的特征圖的示例圖；[0029]圖12為本申請實施例提供的一種訓(xùn)練信息匹配模型的流程圖；[0030]圖13為本申請實施例提供的一種交通標(biāo)志牌的信息匹配裝置的結(jié)構(gòu)圖；[0031]圖14為本申請實施例提供的一種終端的結(jié)構(gòu)圖；[0032]圖15為本申請實施例提供的一種服務(wù)器的結(jié)構(gòu)圖。具體實施方式[0033]下面結(jié)合附圖，對本申請的實施例進行描述。[0034]首先，對本申請實施例涉及到的名詞進行解釋：[0035]交通標(biāo)志牌：道路場景中能夠獨立傳達某種道路指示信息的牌子，“交通標(biāo)志牌”的簡稱可以是“標(biāo)志牌”、“標(biāo)牌”等。如圖1所示，交通標(biāo)志牌1可以獨立表示當(dāng)前路段“限速110公里/小時”,交通標(biāo)志牌2可以獨立表示當(dāng)前路段“限速100公里/小時”。[0036]附屬信息：位于交通標(biāo)志牌附近、對交通標(biāo)志牌進行補充說明的文本信息，例如時間段、道路名、車輛類型等信息內(nèi)容。如圖1所示，文本信息1是交通標(biāo)志牌1的附屬信息，文本信息1進一步補充說明“限速110公里/小時”是僅僅針對于“7座及以下小客車”。文本信息2是交通標(biāo)志牌2的附屬信息，表明“其他車型”在該路段則是“限速100公里/小時”。9[0037]交通標(biāo)志牌的信息匹配：將目標(biāo)圖像中出現(xiàn)多個交通標(biāo)志牌和多個文本信息進行匹配組合。目標(biāo)圖像中往往會同時出現(xiàn)多個交通標(biāo)志牌和多個文本信息，交通標(biāo)志牌的信息匹配可以是確定每個文本信息是否是附屬信息以及每個文本信息屬于哪一個交通標(biāo)志牌的附屬信息。如圖1所示，該目標(biāo)圖像中同時存在兩個交通標(biāo)志牌和兩個文本信息，交通標(biāo)志牌的信息匹配需要能夠確定文本信息1是交通標(biāo)志牌1的附屬信息，文本信息2是交通標(biāo)志牌2的附屬信息。[0038]在一個或多個實施例中，為了實現(xiàn)信息匹配，通過兩種檢測器分別對目標(biāo)圖像中的文本和交通標(biāo)志牌進行檢測。然后再將分別得到的檢測結(jié)果(例如文本檢測結(jié)果和交通標(biāo)志牌檢測結(jié)果)和目標(biāo)圖像再次送入匹配模型確定某個文本是否為交通標(biāo)志牌的附屬信息。參見圖2所示，圖2中灰色方框、虛線方框、黑色方框分別對應(yīng)兩種檢測器和匹配模型這三種模型的方法流程。從圖2中可以看出，兩種檢測器和匹配模型是相互獨立訓(xùn)練得到的三種模型，三者分別是以不同訓(xùn)練目標(biāo)進行訓(xùn)練的，并非是以統(tǒng)一訓(xùn)練目標(biāo)優(yōu)化調(diào)整模型的每種模型都需要進行一次特征提取，存在處理效率低的缺陷。[0039]為了解決上述技術(shù)問題，在一個或多個實施例中，將文本信息檢測、交通標(biāo)志牌檢測和交通標(biāo)志牌與文本信息的匹配整合到一個模型(即信息匹配模型),采用端到端的信息匹配模型，不僅提升了算法的簡潔性、魯棒性，也使得檢測任務(wù)和匹配任務(wù)可以相互促進、相互提高，從而實現(xiàn)檢測與匹配部分的聯(lián)合優(yōu)化。本申請實施例利用該信息匹配模型進行交通標(biāo)志牌的信息匹配，能夠保證匹配結(jié)果的準(zhǔn)確性以及信息匹配的效率。[0040]本申請實施例提供的方法慧交通的領(lǐng)域。以地圖領(lǐng)域為例，可以用于地圖數(shù)據(jù)自動化生產(chǎn)，通過該方法得到文本信息和交通標(biāo)志牌之間的匹配結(jié)果，從而將該匹配結(jié)果提供給地圖數(shù)據(jù)自動化生產(chǎn)服務(wù)使用，以便自動化地生產(chǎn)出更準(zhǔn)確的道路數(shù)據(jù)，降低人工作業(yè)成本。[0041]需要說明的是，本申請實施例提供的方法可以涉及人工智能，人工智能(ArtificialIntelligence,AI)是利用數(shù)字計算機或者數(shù)字計算機控制的機器模擬、延伸和擴展人的智能，感知環(huán)境、獲取知識并使用知識獲得最佳結(jié)果的理論、方法、技術(shù)及應(yīng)用系統(tǒng)。換句話說，人工智能是計算機科學(xué)的一個綜合技術(shù)，它企圖了解智能的實質(zhì)，并生產(chǎn)出一種新的能以人類智能相似的方式做出反應(yīng)的智能機器。人工智能也就是研究各種智能機器的設(shè)計原理與實現(xiàn)方法，使機器具有感知、推理與決策的功能。[0042]人工智能技術(shù)是一門綜合學(xué)科，涉及領(lǐng)域廣泛，既有硬件層面的技術(shù)也有軟件層大數(shù)據(jù)處理技術(shù)、操作/交互系統(tǒng)、機電一體化等技術(shù)。人工智能軟件技術(shù)主要包括計算機視覺技術(shù)、語音處理技術(shù)、自然語言處理技術(shù)以及機器學(xué)習(xí)/深度學(xué)習(xí)等幾大方向。[0043]例如，涉及人工智能軟件技術(shù)中的計算機視覺技術(shù)，計算機視覺(ComputerVision,CV)是一門研究如何使機器“看”的科學(xué)，更進一步的說，就是指用攝影機和電腦代替人眼對目標(biāo)進行識別、蹤跡追溯和測量等機器視覺，并進一步做圖形處理，使電腦處理成為更適合人眼觀察或傳送給儀器檢測的圖像。計算機視覺技術(shù)通常包括圖像處理、圖像識指紋識別等生物特征識別技術(shù)。本申請主要涉及圖像語義理解技術(shù)，例如根據(jù)目標(biāo)圖像提取圖像語義特征。[0044]又如，涉及人工智能中的自然語言處理技術(shù)，自然語言處理(NatureLanguageProcessing,NLP)是計算機科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個重要方向。自然語言處理是人們?nèi)粘Ｊ褂玫恼Z言，所以它與語言學(xué)的研究有著密切的聯(lián)系。自然語言處理技術(shù)通常包語言處理中的語義理解，從而檢測出文本信息，得到文本檢測結(jié)果。[0045]又如，涉及人工智能中的機器學(xué)習(xí)，機器學(xué)習(xí)(MachineLearning,ML)是一門多領(lǐng)計算機怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能。機器學(xué)習(xí)是人工智能的核心，是使計算機具有智能的根本途徑，其應(yīng)用遍及人工智能的各個領(lǐng)域。機器學(xué)習(xí)和深度學(xué)習(xí)通常包括人工神經(jīng)網(wǎng)絡(luò)、置信網(wǎng)絡(luò)、強化學(xué)習(xí)、遷移學(xué)習(xí)、歸納學(xué)習(xí)、示教學(xué)習(xí)等技術(shù)。本申請主要訓(xùn)練信息匹配模型。[0046]參見圖3,圖3為本申請實施例提供的交通標(biāo)志牌的信息匹配方法的應(yīng)用場景示意圖。該應(yīng)用場景中包括終端301和服務(wù)器302。服務(wù)器302可以是獨立的物理服務(wù)器，也可以是多個物理服務(wù)器構(gòu)成的服務(wù)器集群或者分布式系統(tǒng)，還可以是提供云計算服務(wù)的云服務(wù)器。終端301可以是具有圖像采集功能的電子設(shè)備，例如行車記錄儀、車載攝像頭、車載電有線或無線通信方式進行直接或間接地連接，本申請在此不做限制。[0047]其中，終端301可以是作為采集目標(biāo)圖像的設(shè)備，終端301可以將采集得到的目標(biāo)圖像上傳至服務(wù)器302,以便服務(wù)器302執(zhí)行本申請實施例提供的交通標(biāo)志牌的信息匹配方法。其中，終端301采集目標(biāo)圖像可以通過目標(biāo)圖像眾包實現(xiàn)，即將目標(biāo)圖像的采集任務(wù)外包給社會各類公司或個人，讓他們通過終端301對特定地點的目標(biāo)圖像進行拍攝上傳。[0048]服務(wù)器302獲取到包括文本信息和交通標(biāo)志牌的目標(biāo)圖像后，可以通過信息匹配模型，對目標(biāo)圖像進行處理得到目標(biāo)圖像中文本信息與交通標(biāo)志牌之間的匹配結(jié)果。例如圖3所示，圖3所示的目標(biāo)圖像中的文本信息包括文本信息1和文本信息2,交通標(biāo)志牌包括交通標(biāo)志牌1和交通標(biāo)志牌2,通過該信息匹配模型可以實現(xiàn)交通標(biāo)志牌與文本信息的匹配，得到匹配結(jié)果，該匹配結(jié)果表明文本信息1與交通標(biāo)志牌1具有附屬關(guān)系，文本信息2與交通標(biāo)志牌2具有附屬關(guān)系，即文本信息1是交通標(biāo)志牌1的附屬信息，文本信息2是交通標(biāo)志牌2的附屬信息。[0049]由于該信息匹配模型為以目標(biāo)圖像作為輸入，以文本信息與交通標(biāo)志牌之間的匹配結(jié)果作為輸出的端到端的神經(jīng)網(wǎng)絡(luò)，即該信息匹配模型是通過端到端的訓(xùn)練方式，對整個神經(jīng)網(wǎng)絡(luò)的參數(shù)進行整體訓(xùn)練優(yōu)化而得到的模型，其整體檢測性能更好，可以實現(xiàn)檢測與匹配部分的聯(lián)合優(yōu)化，因此，本申請實施例利用該信息匹配模型進行交通標(biāo)志牌的信息匹配，能夠保證匹配結(jié)果的準(zhǔn)確性，提高信息匹配的效率。[0050]當(dāng)然，在本實施例中，也可以將采集得到的目標(biāo)圖像發(fā)送給特定終端，由終端執(zhí)行本申請實施例提供的方法，或者也可以由終端和服務(wù)器配合執(zhí)行本申請實施例提供的方11法，本實施例對此不做限定。[0051]接下來，將結(jié)合附圖以服務(wù)器是執(zhí)行主體為例，對本申請實施例提供的網(wǎng)絡(luò)地址轉(zhuǎn)換方法進行詳細(xì)介紹。[0052]參見圖4,圖4示出了交通標(biāo)志牌的信息匹配方法的流程圖，所述方法包括：[0054]其中，目標(biāo)圖像可以通過目標(biāo)圖像眾包實現(xiàn)，即將目標(biāo)圖像的采集任務(wù)外包給社會各類公司或個人，社會各類公司或個人可以通過具有圖像采集功能的終端對特定地點的道路進行拍攝得到目標(biāo)圖像，從而將采集得到的目標(biāo)圖像上傳至服務(wù)器。[0055]目標(biāo)圖像中包括文本信息和交通標(biāo)志牌，由于目標(biāo)圖像中可能包括多個交通標(biāo)志牌和多個文本信息，故需要確定哪個文本信息是哪個交通標(biāo)志牌的附屬信息，得到匹配結(jié)果，以便后續(xù)對匹配結(jié)果進行使用，例如應(yīng)用到地圖數(shù)據(jù)自動化生產(chǎn)中。[0056]通常情況下，交通標(biāo)志牌可以與其對應(yīng)的附屬信息一同出現(xiàn)，也可以不具有對應(yīng)的附屬信息(即該交通標(biāo)志牌無需文本信息對其進行補充說明),當(dāng)然也可以僅出現(xiàn)文本信息(即該文本信息不作為任何交通標(biāo)志牌的附屬信息)。另外，本實施例對文本信息與交通標(biāo)志牌的位置關(guān)系不做限定，文本信息可以在交通標(biāo)志牌的下方、左側(cè)、右側(cè)、上方等任意位置。[0057]參見圖5所示，文本信息“小客車”在交通標(biāo)志牌(該交通標(biāo)志牌可以參見圖5中虛線框501所示)的左側(cè)，文本信息“大型車”在交通標(biāo)志牌(該交通標(biāo)志牌可以參見圖5中虛線框502所示)的左側(cè)；而圖1中文本信息1在交通標(biāo)志牌1的下方，文本信息2在交通標(biāo)志牌2的屬信息。[0058]參見圖6所示，文本信息“1.5t以上貨車”的上所示)和“限速20”(參見圖6中實線框所示)兩個交通標(biāo)志牌，通過分析可知，該文本信息是交通標(biāo)志牌單獨存在，不具有附屬信息。[0059]S402、通過信息匹配模型，對所述目標(biāo)圖像進行處理得到所述目標(biāo)圖像中文本信息與交通標(biāo)志牌之間的匹配結(jié)果。[0060]服務(wù)器將所獲取到的目標(biāo)圖像輸入至預(yù)先訓(xùn)練得到的信息匹配模型，信息匹配模型對該目標(biāo)圖像進行處理得到該目標(biāo)圖像中文本信息與交通標(biāo)志牌之間的匹配結(jié)果。該匹配結(jié)果可以反映目標(biāo)圖像中哪個文本信息是哪個交通標(biāo)志牌的附屬信息。[0061]需要說明的是，本實施例所使用的信息匹配模型為端到端的神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)以目標(biāo)圖像作為輸入，以文本信息與交通標(biāo)志牌之間的匹配結(jié)果作為輸出。即服務(wù)器將獲取的目標(biāo)圖像輸入至該信息匹配模型后，該信息匹配模型即可相應(yīng)地輸出匹配結(jié)果。[0062]可以理解的是，匹配結(jié)果可以通過多種形式表示，一種方式可以是直接通過文字表示哪個文本信息是哪個交通標(biāo)志牌的附屬信息，例如“文本信息1是交通標(biāo)志牌1的附屬信息”,“文本信息2是交通標(biāo)志牌2的附屬信息”。另一種方式可以是配結(jié)果，參見圖7所示，圖7左側(cè)的圖中表示檢測得到了目標(biāo)圖像中的交通標(biāo)志牌包括交通標(biāo)志牌1、交通標(biāo)志牌2和交通標(biāo)志牌3,文本信息包括文本信息1、文本信息2和文本信息3,通過信息匹配模型得到的附屬關(guān)系圖如圖7中右圖所示。該附屬關(guān)系圖中第i行第j列表示文本信息i是否為交通標(biāo)志牌j的附屬信息，若是則用1表示，若否則用0表示。故根據(jù)該附屬關(guān)系圖可以確定文本信息1是交通標(biāo)志牌1的附屬信息，文本信息2是交通標(biāo)志牌2的附屬信息。但文本信息3不是任一個交通標(biāo)志牌的附屬信息，交通標(biāo)志牌3也不具有任何一個文本信息作為附屬信息，則文本信息3和交通標(biāo)志牌3可能出現(xiàn)誤檢的情況，但是由于該信息匹配模型沒有將這兩個可能是誤檢的檢測結(jié)果匹配在一起，從而避免了誤檢造成的信息匹配[0063]需要說明的是，在本實施中，參見圖7所示的例子，目標(biāo)圖像中包括多個交通標(biāo)志牌和多個文本信息，該多個交通標(biāo)志牌和多個文本信息構(gòu)成多對待判定是否具有附屬關(guān)系的交通標(biāo)志牌和文本信息。本申請實施例所使用的信息匹配模型可以一次性對目標(biāo)圖像中存在的所有可能的附屬關(guān)系進行推理判斷，可以大大提高信息匹配的效率。[0064]在本申請實施例中，在得到匹配結(jié)果后，可以將具有附屬關(guān)系的文本信息和交通標(biāo)志牌提供給地圖數(shù)據(jù)自動化生產(chǎn)服務(wù)使用，以便自動化地生產(chǎn)出更準(zhǔn)確的道路數(shù)據(jù)，降低人工作業(yè)成本。[0065]由上述技術(shù)方案可以看出，本申請實施例在進行交通標(biāo)志牌的信息匹配時，首先獲取采集得到的目標(biāo)圖像，該目標(biāo)圖像中包括文本信息和交通標(biāo)志牌。然后，將該目標(biāo)圖像輸入至信息匹配模型，通過信息匹配模型，對該目標(biāo)圖像進行處理得到該目標(biāo)圖像中文本信息與交通標(biāo)志牌之間的匹配結(jié)果。其中，該信息匹配模型是以目標(biāo)圖像作為輸入，以文本信息與交通標(biāo)志牌之間的匹配結(jié)果作為輸出的端到端的神經(jīng)網(wǎng)絡(luò)，即該信息匹配模型是通過端到端的訓(xùn)練方式，對整個神經(jīng)網(wǎng)絡(luò)的參數(shù)進行整體訓(xùn)練優(yōu)化而得到的模型，該信息匹配模型其整體檢測性能更好，因此，本申請實施例利用該信息匹配模型進行交通標(biāo)志牌的信息匹配，能夠保證匹配結(jié)果的準(zhǔn)確性，提高信息[0066]如上文所述，本申請實施例提供的交通標(biāo)志牌的信息匹配方法需要基于信息匹配模型，根據(jù)獲取的目標(biāo)圖像，確定出匹配結(jié)果。為了便于進一步理解本申請實施例提供的交通標(biāo)志牌的信息匹配方法的具體實現(xiàn)過程，下面結(jié)合附圖對上述信息匹配模型進行具體介[0067]參見圖8,圖8為本申請實施例提供的信息匹配模型的架構(gòu)示意圖。如圖8所示，該信息匹配模型包括特征提取網(wǎng)絡(luò)801、檢測網(wǎng)絡(luò)802和關(guān)系匹配網(wǎng)絡(luò)803。[0068]其中，特征提取網(wǎng)絡(luò)801是以目標(biāo)圖像為輸入，以圖像語義特征為輸出的第一神經(jīng)[0069]特征提取網(wǎng)絡(luò)801作為信息匹配模型中的第一神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)對輸入至信息匹配模型中的目標(biāo)圖像進行特征提取，得到圖像語義特征，并將提取的圖像語義特征輸出至信息匹配模型中的第二神經(jīng)網(wǎng)絡(luò)。[0070]特征提取網(wǎng)絡(luò)801使用深度卷積神經(jīng)網(wǎng)絡(luò)來提取目標(biāo)圖像不同尺度、不同語義維度上的豐富特征。特征提取網(wǎng)絡(luò)801可以包含卷積層、池化用不同尺寸的卷積核，例如3×3、5×5、7×7等尺寸，依次對目標(biāo)圖像中的各個位置進行計算，來提取到目標(biāo)圖像中基本的紋理特征。池化層能夠通過池化操作降低特征的分辨率，將低級語義特征映射為高級語義特征。歸一化層則是對每一個卷積層的輸出進行歸一化，從而使得每一層的輸出都能夠滿足正態(tài)分布，能夠同時加速模型收斂和提高模型準(zhǔn)確率。激活層則是對特征進行非線性映射，將簡單特征向更高維度空間上變化，提高模型的表達能力。目標(biāo)圖像依次經(jīng)過特征提取網(wǎng)絡(luò)801中的卷積層、池化層的圖像語義特征。[0071]特征提取網(wǎng)絡(luò)801最終輸出的圖像語義特征(如圖9中白色方塊所示)的維度為(N,C,W,H),其中N為每一批處理的目標(biāo)圖像的數(shù)目，C為特征通道數(shù)目，W和H分別為圖像語義特征對應(yīng)的特征圖的寬和高。[0072]可以理解的是，在本申請實施例中，還可以采用其他結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)提取圖像語義特征，上述特征提取網(wǎng)絡(luò)801的結(jié)構(gòu)僅是一種示例。在一些可能的實現(xiàn)方式中，為了提高信息匹配的準(zhǔn)確性，可以先提高特征提取的準(zhǔn)確性，故本申請實施例進一步對特征提取網(wǎng)絡(luò)801進行改進，為特征提取網(wǎng)絡(luò)801設(shè)計了更加復(fù)雜的主干網(wǎng)絡(luò)，例如設(shè)計了res2net、hrnet等更復(fù)雜的主干網(wǎng)絡(luò)，從而在利用特征提取網(wǎng)絡(luò)801提取圖像語義特征時，提高特征提取的準(zhǔn)確性，進而提高信息匹配的準(zhǔn)確性。[0073]在另一些可能的實現(xiàn)方式中，為了提高信息匹配的效率，可以先提高特征提取的效率，故本申請實施例進一步對特征提取網(wǎng)絡(luò)801進行改進，為特征提取網(wǎng)絡(luò)801設(shè)計了更加輕量級的主干網(wǎng)絡(luò)，以加快特征提取效率，進而提高信息匹配效率。例如設(shè)計了可以使用moblienet、sufflenet等輕量級的主干網(wǎng)絡(luò)來加快算法運行速度。在此不對作為特征提取網(wǎng)絡(luò)801的卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)做任何限定。[0074]檢測網(wǎng)絡(luò)802是以特征提取網(wǎng)絡(luò)801的輸出為輸入，以文本檢測結(jié)果和交通標(biāo)志牌檢測結(jié)果的第二神經(jīng)網(wǎng)絡(luò)。其中，文本檢測結(jié)果中包括指示文本信息在目標(biāo)圖像中位置的文本位置信息，交通標(biāo)志牌檢測結(jié)果中包括指示交通標(biāo)志牌在所述目標(biāo)圖像中位置的標(biāo)志牌位置信息。[0075]也就是說，檢測網(wǎng)絡(luò)802為信息匹配模型中的第二神經(jīng)網(wǎng)絡(luò)，負(fù)責(zé)根據(jù)特征提取網(wǎng)絡(luò)801輸出的圖像語義特征進行檢測，確定文本檢測結(jié)果和交通標(biāo)志牌檢測結(jié)果，即確定出目標(biāo)圖像中包括的交通標(biāo)志牌及對應(yīng)的位置，以及包括的文本信息及對應(yīng)的位置。[0076]在一些情況下，由于交通標(biāo)志牌和文本信息的外觀形態(tài)、語義信息相差較大，使用同一個檢測網(wǎng)絡(luò)同時對這兩類目標(biāo)進行檢測可能效果較差。因此，為了提高檢測準(zhǔn)確性，本申請實施例設(shè)計了兩個不同的分支來完成檢測任務(wù)。如圖9所示，此時檢測網(wǎng)絡(luò)802包括文本信息檢測分支8021和交通標(biāo)志牌檢測分支8022。[0077]其中，文本信息檢測分支8021是以特征提取網(wǎng)絡(luò)801的輸出為輸入，以文本檢測結(jié)果為輸出的第四神經(jīng)網(wǎng)絡(luò)。文本信息檢測分支8021為檢測網(wǎng)絡(luò)802中的第四神經(jīng)網(wǎng)絡(luò)，負(fù)責(zé)根據(jù)特征提取網(wǎng)絡(luò)801輸出的圖像語義特征確定文本檢測結(jié)果。[0078]交通標(biāo)志牌檢測分支8022是以特征提取網(wǎng)絡(luò)801的輸出為輸入，以交通標(biāo)志牌檢測結(jié)果為輸出的第五神經(jīng)網(wǎng)絡(luò)。交通標(biāo)志牌檢測分支8022為檢測網(wǎng)絡(luò)802中的第五神經(jīng)網(wǎng)絡(luò)，負(fù)責(zé)根據(jù)特征提取網(wǎng)絡(luò)801輸出的圖像語義特征確定文本交通標(biāo)志牌檢測結(jié)果。[0079]關(guān)系匹配網(wǎng)絡(luò)803是以檢測網(wǎng)絡(luò)802的輸出為輸入，以目標(biāo)圖像中文本信息與交通標(biāo)志牌之間的匹配結(jié)果為輸出的第三神經(jīng)網(wǎng)絡(luò)。[0080]關(guān)系匹配網(wǎng)絡(luò)803作為信息匹配模型中的第三神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)對檢測網(wǎng)絡(luò)802輸出的文本檢測結(jié)果和交通標(biāo)志牌檢測結(jié)果進行匹配，得到匹配結(jié)果，從而確定目標(biāo)圖像中哪個文本信息是哪個交通標(biāo)志牌的附屬信息。[0081]在一些情況下，關(guān)系匹配網(wǎng)絡(luò)803還以特征提取網(wǎng)絡(luò)801的輸出為輸入，即特征提取網(wǎng)絡(luò)801輸出的圖像語義特征可以輸入至關(guān)系匹配網(wǎng)絡(luò)803,以便關(guān)系匹配網(wǎng)絡(luò)803可以同時根據(jù)圖像語義特征、文本檢測結(jié)果和交通標(biāo)志牌檢測結(jié)果確定匹配結(jié)果。[0082]上述信息匹配模型包括特征提取網(wǎng)絡(luò)、檢測網(wǎng)絡(luò)和關(guān)系匹配網(wǎng)絡(luò)，相應(yīng)的，利用該信息匹配模型進行信息匹配時，根據(jù)輸入的目標(biāo)圖像，可以依次經(jīng)過信息匹配模型包括特征提取網(wǎng)絡(luò)、檢測網(wǎng)絡(luò)和關(guān)系匹配網(wǎng)絡(luò)一步到位地確定出匹配結(jié)果。[0083]基于圖8所示的信息匹配模型信息匹配時，圖4所示的交通標(biāo)志牌的信息匹配方法的具體實現(xiàn)可以參見圖10,圖10為基于圖8所示的信息匹配模型進行信息匹配的流程圖，所述方法包括：[0085]S1001與圖4對應(yīng)實施例中的S401的具體實現(xiàn)相類似，此處不再贅述，詳見S401的相關(guān)描述。[0086]S1002、通過所述特征提取網(wǎng)絡(luò)對所述目標(biāo)圖像進行特征提取得到圖像語義特征。[0087]獲取到目標(biāo)圖像后，將目標(biāo)圖像輸入至信息匹配模型的特征提取網(wǎng)絡(luò)中。特征提取網(wǎng)絡(luò)利用其中包括的卷積神經(jīng)網(wǎng)絡(luò)模型對目標(biāo)圖像進行特征提取得到圖像語義特征。進而，將得到的圖像語義特征輸入至信息匹配模型的檢測網(wǎng)絡(luò)。[0088]S1003、根據(jù)所述圖像語義特征，通過所述檢測網(wǎng)絡(luò)確定文本檢測結(jié)果和交通標(biāo)志牌檢測結(jié)果。[0089]檢測網(wǎng)絡(luò)根據(jù)輸入的圖像語義特征確定文本檢測結(jié)果和交通標(biāo)志牌檢測結(jié)果，進而將文本檢測結(jié)果和交通標(biāo)志牌檢測結(jié)果輸入至關(guān)系匹配網(wǎng)絡(luò)。[0090]需要說明的是，在一些情況下，為了實現(xiàn)文本檢測結(jié)果和交通標(biāo)志牌檢測結(jié)果的可視化，可以將檢測結(jié)果進一步解析為檢測框，例如可以將文本檢測結(jié)果通過目標(biāo)圖像中的第一檢測框表示，例如圖9中虛線矩形框所示；將交通標(biāo)志牌檢測結(jié)果通過目標(biāo)圖像中的第二檢測框表示，例如圖9中灰色實線矩形框所示。[0091]若檢測網(wǎng)絡(luò)如9所示，包括文本信息檢測分支和交通標(biāo)志牌檢測分支，由于圖9中兩個不同的分支分別用于檢測不同的目標(biāo)(文本信息或交通標(biāo)志牌),而這兩個不同目標(biāo)的外觀形態(tài)、語義信息相差較大，故為了準(zhǔn)確的檢測出哪些是文本信息哪些是交通標(biāo)志牌，可以使得所檢測目標(biāo)的特征更加顯著,即在檢測文本信息時使文本信息的特征更加顯著,在檢測交通標(biāo)志牌時使交通標(biāo)志牌的特征更加顯著。[0092]在一種可能的實現(xiàn)方式中，S1003的實現(xiàn)方式可以是通過文本信息檢測分支對圖像語義特征進行特征變換得到第一語義特征，第一語義特征中文本信息的特征的顯著性高于圖像語義特征中文本信息的特征的顯著性，從而使得文本信息的特征更加顯著。然后根據(jù)第一語義特征，通過文本信息檢測分支得到文本檢測結(jié)果，由于此時文本信息的特征更加顯著,則有利于文本信息的檢測，使得得到的文本檢測結(jié)果更加準(zhǔn)確。通過交通標(biāo)志牌檢測分支對圖像語義特征進行特征變換得到第二語義特征，第二語義特征中交通標(biāo)志牌的特征的顯著性高于圖像語義特征中交通標(biāo)志牌的特征的顯著性，從而使得交通標(biāo)志牌的特征更加顯著。然后，根據(jù)第二語義特征，通過交通標(biāo)志牌檢測分支得到交通標(biāo)志牌檢測結(jié)果。由于此時交通標(biāo)志牌的特征更加顯著,則有利于交通標(biāo)志牌的檢測，使得得到的交通標(biāo)志牌檢測結(jié)果更加準(zhǔn)確。[0093]參見圖9所示，圖9中白色方塊代表特征提取網(wǎng)絡(luò)輸出的圖像語義特征，該圖像語義特征為交通標(biāo)志牌檢測分支和文本信息檢測分支所共享。以交通標(biāo)志牌檢測分支8022為例，該交通標(biāo)志牌檢測分支會對圖像語義特征(白色立方體)進行進一步的特征提取與特征變換，使得交通標(biāo)志牌的特征更加顯著,從而得到更加有利于交通標(biāo)志牌檢測的第二語義特征(淺灰色立方體)。之后，使用1×1卷積對特征維度進行變換，輸出交通標(biāo)志牌檢測結(jié)果(右側(cè)上方的灰色實線矩形框),其中包括的標(biāo)志牌位置信息表示該點到上下左右四個邊界框的距離。同理，文本信息檢測分支8021根據(jù)圖像語義特征得到第一語義特征(深灰色立方體),使得文本信息的特征更加顯著,從而可以對目標(biāo)圖像中的文本信息的位置進行準(zhǔn)確預(yù)[0094]在一些情況下，為了表示檢測結(jié)果的可信程度，以便后續(xù)可以選擇可信程度較高的檢測結(jié)果進一步進行后續(xù)匹配，提高匹配效率，文本檢測結(jié)果中還包括文本檢測結(jié)果對應(yīng)的第一置信度得分，交通標(biāo)志牌檢測結(jié)果中還包括交通標(biāo)志牌檢測結(jié)果對應(yīng)的第二置信度得分。第一置信度得分用于表示文本檢測結(jié)果的可信程度，第二置信度得分用于表示交通標(biāo)志牌檢測結(jié)果的可信程度，以便在匹配之前排除一些不可信的檢測結(jié)果，提高匹配效[0095]此時，文本檢測結(jié)果對應(yīng)的通道數(shù)為5,分別表示該點到上下左右四個邊界框的距離以及第一置信度得分，交通標(biāo)志牌檢測結(jié)果對應(yīng)的通道數(shù)為5,分別表示該點到上下左右四個邊界框的距離以及第二置信度得分。[0096]下面結(jié)合文本信息檢測分支和交通標(biāo)志牌檢測分支的具體網(wǎng)絡(luò)結(jié)構(gòu)對檢測網(wǎng)絡(luò)的檢測過程進行介紹。其中交通標(biāo)志牌檢測分支的網(wǎng)絡(luò)結(jié)構(gòu)包括四個3×3卷積和一個1×1卷積構(gòu)成。4個3×3卷積對共享的圖像語義特征進行進一步的非線性變換，使得交通標(biāo)志牌的特征更加顯著和突出。1×1卷積作為輸出層，將通道維度降到5個通道，最終輸出的維度為(N,5,W,H)。這里的5個通道分別表示該點到上下左右四個邊界框的距離以及第二置信度得分。[0097]文本信息檢測分支的網(wǎng)絡(luò)結(jié)構(gòu)和交通標(biāo)志牌檢測分支的網(wǎng)絡(luò)結(jié)構(gòu)類似，包括進行文本特征增強的3×3卷積和用于維度變換的1×1卷積。另外，與可枚舉的交通標(biāo)志牌的樣式相比，文本信息的樣式變化各異。所以，在4個3×3普通4個3×3可形變卷積?？尚巫兙矸e能夠基于學(xué)習(xí)確定卷積的形變參數(shù)，擴大卷積的感受野(ReceptiveField),從而使得文本信息檢測分支的特征提取能力更加強大，從而保障文本信息檢測的效果。[0098]此外，由于交通標(biāo)志牌和文本信息的形狀分布不同，交通標(biāo)志牌的長寬大都比較達到最優(yōu)的檢測效果，可以在兩個檢測分支使用不同的先驗框(先驗框一般用于預(yù)先設(shè)定好目標(biāo)例如交通標(biāo)志牌或文本信息的長和高，以幫助預(yù)測),具體先驗框的形狀可在訓(xùn)練數(shù)據(jù)上進行聚類得到。通過這樣的設(shè)計，不僅能夠加速模型的收斂，還能夠讓兩個檢測分支都得到充分的訓(xùn)練，同時達到最優(yōu)的訓(xùn)練效果。[0099]S1004、根據(jù)所述文本檢測結(jié)果中的所述文本位置信息和所述交通標(biāo)志牌檢測結(jié)果中的所述標(biāo)志牌位置信息，通過所述關(guān)系匹配網(wǎng)絡(luò)確定所述目標(biāo)圖像中所述文本信息與所述交通標(biāo)志牌之間的匹配結(jié)果。[0100]在將文本檢測結(jié)果和交通標(biāo)志牌檢測結(jié)果輸入關(guān)系匹配網(wǎng)絡(luò)后，關(guān)系匹配網(wǎng)絡(luò)可以根據(jù)文本檢測結(jié)果中的文本位置信息和交通標(biāo)志牌檢測結(jié)果中的標(biāo)志牌位置信息確定目標(biāo)圖像中文本信息與交通標(biāo)志牌之間的匹配結(jié)果。[0101]在一些情況下，若關(guān)系匹配網(wǎng)絡(luò)還以特征提取網(wǎng)絡(luò)的輸出為輸入，則在確定匹配結(jié)果時，可以綜合運用位置信息和圖像語義特征作為附屬關(guān)系的推理判斷依據(jù)。具體地，確定匹配結(jié)果的一種可能實現(xiàn)方式可以是確定標(biāo)志牌位置信息對應(yīng)的標(biāo)志牌位置編碼和文本位置信息對應(yīng)的文本位置編碼，然后將標(biāo)志牌位置編碼、文本位置編碼和圖像語義特征進行融合，得到融合特征，從而根據(jù)融合特征確定目標(biāo)圖像中文本信息和與通標(biāo)志牌之間的匹配結(jié)果。[0102]參見圖11a所示，關(guān)系匹配網(wǎng)絡(luò)的輸入分為兩部分，一部分是檢測網(wǎng)絡(luò)輸出的文本檢測結(jié)果和交通標(biāo)志牌檢測結(jié)果，一部分是特征提取網(wǎng)絡(luò)輸出的圖像語義特征。關(guān)系匹配網(wǎng)絡(luò)首先是將標(biāo)志牌位置信息和文本位置信息進行PositionEmbedding,也就是位置編碼，從而更好地提取出不同檢測框之間的空間位置信息，同時也能夠更加方便地與圖像語義特征進行融合。其中，標(biāo)志牌位置信息和文本位置信息都可以采用[x1,y1,x2,y2]這種坐標(biāo)形式表示。[0103]具體位置編碼的方式如下：先生成一個和目標(biāo)圖像尺度一樣的二維數(shù)組，其初始值全為0。對于某個交通標(biāo)志牌對應(yīng)的標(biāo)志牌位置信息或者文本信息對應(yīng)的文本位置信息[x1,y1,x2,y2],將(x1,y1)到(x2,y2)這兩點所圍成的矩形區(qū)域內(nèi)的點的值全置為1。這樣就得到了一張可以表征這個交通標(biāo)志牌或者文本信息位置的0-1二值圖，作為標(biāo)志牌位置編碼或文本位置編碼。需要進行位置編碼的標(biāo)志牌位置信息和文本位置信息有多少個，則可以得到多少張這樣的二值圖，將得到的二值圖沿著通道維度堆疊起來。最后，將其通過雙線性差值縮放到特定尺度，以便和圖像語義特征進行融合。其中該特定尺度可以是與圖像語義特征的尺度相同，例如7×7的尺度。在本實施例中，位置編碼最終的輸出維度可以為K×1×7×7,K可以表示所需要進行匹配的檢測框(包括第一檢測框或第二檢測框)數(shù)目。[0104]本申請充分利用了位置信息和圖像語義特征，在進行信息匹配過程中綜合運用了空間約束和語義約束來有效提高信息匹配的準(zhǔn)確率。[0105]在一些情況下，由于特征提取網(wǎng)絡(luò)輸出的圖像語義特征是全圖的特征，該圖像語義特征可能包括很多無關(guān)的甚至可能造成干擾的背景特征。因此，本申請實施例基于檢測網(wǎng)絡(luò)輸出的文本檢測結(jié)果和交通標(biāo)志牌檢測結(jié)果，將感興趣區(qū)域(regionofinterest,RoI)的特征裁剪出來。為此，在本申請實施例中，得到融合特征的一種可能的實現(xiàn)方式可以是根據(jù)標(biāo)志牌位置信息和文本位置信息確定感興趣區(qū)域，從圖像語義特征中裁剪得到感興趣區(qū)域?qū)?yīng)的感興趣語義特征，進而將感興趣語義特征與對應(yīng)的標(biāo)志牌位置編碼或文本位置編碼進行融合，得到融合特征。該感興趣語義特征可以包括交通標(biāo)志牌對應(yīng)的感興趣語義特征和文本信息對應(yīng)的感興趣語義特征，也就是說，將根據(jù)標(biāo)志牌位置信息裁剪得到的感興趣語義特征(即交通標(biāo)志牌對應(yīng)的感興趣語義特征)與對應(yīng)的標(biāo)志牌位置編碼進行融合，將根據(jù)文本位置信息裁剪得到的感興趣語義特征(即文本信息對應(yīng)的感興趣語義特征)與對應(yīng)的文本位置編碼進行融合，從而得到融合特征。其中，若通過第一檢測框表示文本檢測結(jié)果，第二檢測框表示交通標(biāo)志牌檢測結(jié)果，則感興趣區(qū)域可以是第一檢測框和第二檢測框圍起來的區(qū)域。夠?qū)⒉煌笮〉奶卣鹘y(tǒng)一映射到一個固定的維度，例如7×7,以便進行后續(xù)的附屬關(guān)系推[0107]下面以使用RoIAlign裁剪出2×2的感興趣語義特征為例論述其具體操作：[0108]如圖11b所示，黑色實線矩形框表示目標(biāo)(例如交通標(biāo)志牌或文本信息)在圖像語義特征對應(yīng)的特征圖上的位置。若希望從圖像語義特征對應(yīng)的特征圖上將感興趣語義特征剪裁出來，得到2×2大小的感興趣語義特征對應(yīng)的特征圖，那么可以將黑色實線矩形框等分為1,2,3,4四個區(qū)域。然后針對每個區(qū)域分別計算出一個值來代表該區(qū)域，這四個值便組成了所需的2×2特征圖。其中，每個區(qū)域的值可以為該區(qū)域內(nèi)均勻分布的四個采樣點(如圖11b中的黑色點)的值的平均數(shù)。[0109]然后再將RoIAlign剪裁得到的感興趣語義特征與標(biāo)志牌位置特征或文本位置特征堆疊起來，將兩個不同維度的特征充分融合，得到融合特征。從而在后續(xù)可以基于大量數(shù)據(jù)自適應(yīng)地學(xué)習(xí)每個維度特征對于最終決策的貢獻度，最后輸出一個附屬關(guān)系圖。[0110]需要說明的是，為了得到融合特征，本申請實施例提供的關(guān)系匹配網(wǎng)絡(luò)可以包括[0111]具體的，進行融合的兩個特征可以是前述得到的K×1×7×7維的位置編碼和圖像語義特征(例如感興趣語義特征),圖像語義特征的維度可以是K×C×7×7維。由于位置編碼的通道數(shù)維度只有1維，相對于圖像語義特征的維度而言較小，容易使得位置編碼所表示的位置信息被圖像語義特征所淹沒。同時，先前的位置編碼只考慮目標(biāo)在目標(biāo)圖像中的絕對位置，沒有考慮目標(biāo)間的相對位置。因此，本申請實施例使用關(guān)系匹配網(wǎng)絡(luò)中的兩個1×1卷積將位置編碼的通道數(shù)從1維先提高到C/2維，再提高到C維，從而得到既編碼了絕對位置又編碼了相對位置的特征，維度也變?yōu)镵×C×7×7。[0112]然后分別使用兩個3×3卷積先對K×C×7×7維的位置編碼和K×C×7×7維的圖像語義特征的進一步變換，將變換后的兩個特征再堆疊到一塊，變?yōu)镵×2C×7×7維，之后交替使用3×3卷積和1×1卷積將堆疊在一起的特征繼續(xù)做非線性變換和信息融合。然后使用全局池化層，將K×2C×7×7特征變換位K×2C×1×1即K×2C維。之后使用兩個全連接層繼續(xù)融合圖像語義特征和位置編碼，最后輸出K×K維的融合特征。[0113]需要說明的是，若文本檢測結(jié)果中還包括文本檢測結(jié)果對應(yīng)的第一置信度得分，交通標(biāo)志牌檢測結(jié)果中還包括交通標(biāo)志牌檢測結(jié)果對應(yīng)的第二置信度得分，為了避免對一些誤檢測結(jié)果進行匹配，以減少計算量，提高匹配效率，則S1004的一種可能的實現(xiàn)方式可以是根據(jù)第一置信度得分選取M個文本檢測結(jié)果，以及根據(jù)第二置信度得分選取N個交通標(biāo)志牌檢測結(jié)果輸入附屬關(guān)系匹配網(wǎng)絡(luò)，通過關(guān)系匹配網(wǎng)絡(luò)輸出附屬關(guān)系圖，附屬關(guān)系圖用于表示M個文本檢測結(jié)果對應(yīng)的文本信息與N個交通標(biāo)志牌檢測結(jié)果對應(yīng)的交通標(biāo)志牌之為例進行介紹。[0114]其中，選取方式可以包括多種，一種方式可以是將第一置信度得分按照從大到小的順序排列，選擇前M個文本檢測結(jié)果，以及將第二置信度得分按照從大到小的順序排列，選擇前N個交通標(biāo)志牌檢測結(jié)果。另一種方式可以是，將第一置信度得分按照從小到大的順序排列，選擇后M個文本檢測結(jié)果，以及將第二置信度得分按照從小到大的順序排列，選擇后N個交通標(biāo)志牌檢測結(jié)果。在一些情況下，還可以是選取第一置信度得分大于第一閾值的M個文本檢測結(jié)果，選取第二置信度得分大于第二閾值的N個交通標(biāo)志牌檢測結(jié)果。本實施例對選取方式不做限定。[0115]本實施例從所有檢測結(jié)果中選取置信度得分較高的檢測結(jié)果繼續(xù)進行匹配，從而無需對每個檢測結(jié)果都進行計算，減少計算量，提高匹配效率。[0116]可以理解的是，上述信息匹配模型能否準(zhǔn)確地確定出匹配結(jié)果，依賴于該信息匹配模型的模型性能，而信息匹配模型的模型性能的好壞取決于對該信息匹配模型的訓(xùn)練過[0117]下面結(jié)合圖12對訓(xùn)練信息匹配模型的過程進行介紹，參見圖12,所述方法包括：[0118]S1201、構(gòu)建信息初始匹配模型，其中，所述信息初始匹配模型包括初始特征提取網(wǎng)絡(luò)、初始檢測網(wǎng)絡(luò)和初始關(guān)系匹配網(wǎng)絡(luò)。[0119]以構(gòu)建的信息初始匹配模型為訓(xùn)練基礎(chǔ)，對該信息初始匹配模型進行訓(xùn)練?？梢岳斫獾氖?，該信息初始匹配模型與信息匹配模型的結(jié)構(gòu)相類似，包括初始特征提取網(wǎng)絡(luò)、初始檢測網(wǎng)絡(luò)和初始關(guān)系匹配網(wǎng)絡(luò)。[0120]S1202、獲取訓(xùn)練樣本集中的訓(xùn)練樣本，所述訓(xùn)練樣本包括訓(xùn)練圖像以及文本信息與交通標(biāo)志牌之間的真實匹配結(jié)果。[0121]訓(xùn)練信息初始匹配模型時，需要獲取訓(xùn)練樣本集中的訓(xùn)練樣本，利用該訓(xùn)練樣本對已構(gòu)建的信息初始匹配模型進行訓(xùn)練。[0122]由于信息匹配模型的輸入為目標(biāo)圖像，輸出為匹配結(jié)果，因此，利用訓(xùn)練樣本對信息初始匹配模型進行訓(xùn)練時，需要獲取與信息匹配模型相同的輸入和輸出，即所獲取的訓(xùn)練樣本中需要包括訓(xùn)練圖像以及文本信息與交通標(biāo)志牌之間的真實匹配結(jié)果，由此保證利用該訓(xùn)練樣本訓(xùn)練得到的信息匹配模型，能夠滿足實際應(yīng)用中的信息匹配模型的輸入需求以及輸出需求。[0123]S1203、將所述訓(xùn)練圖像輸入所述信息初始匹配模型中，依次經(jīng)過所述初始特征提取網(wǎng)絡(luò)、所述初始檢測網(wǎng)絡(luò)和所述初始關(guān)系匹配網(wǎng)絡(luò)的處理，獲得所述初始關(guān)系匹配網(wǎng)絡(luò)的輸出內(nèi)容，所述輸出內(nèi)容包括所述文本信息與所述交通標(biāo)志牌之間的預(yù)測匹配結(jié)果。[0124]將訓(xùn)練圖像輸入至信息初始匹配模型中，利用信息初始匹配模型中初始特征提取網(wǎng)絡(luò)提取圖像語義特征，并將圖像語義特征輸入至初始檢測網(wǎng)絡(luò)。初始檢測網(wǎng)絡(luò)根據(jù)圖像語義特征預(yù)測文本檢測結(jié)果和交通標(biāo)志牌檢測結(jié)果，并將文本檢測結(jié)果和交通標(biāo)志牌檢測結(jié)果輸入至初始關(guān)系匹配網(wǎng)絡(luò)。初始關(guān)系匹配網(wǎng)絡(luò)根據(jù)文本檢測結(jié)果和交通標(biāo)志牌檢測結(jié)[0125]S1204、根據(jù)所述預(yù)測匹配結(jié)果和所述真實匹配結(jié)果構(gòu)建損失函數(shù)。[0126]S1205、根據(jù)所述損失函數(shù)調(diào)整所述信息初始匹配模型的模型參數(shù)，根據(jù)滿足訓(xùn)練條件時所調(diào)整的模型參數(shù)和所述信息初始匹配模型的網(wǎng)絡(luò)結(jié)構(gòu)，確定所述信息匹配模型。[0127]根據(jù)信息初始匹配模型輸出的預(yù)測匹配結(jié)果和真實匹配結(jié)果之間的誤差構(gòu)建損失函數(shù)，進而可以根據(jù)該損失函數(shù)，對信息初始匹配模型中的模型參數(shù)進行調(diào)整，從而實現(xiàn)對信息初始匹配模型的優(yōu)化。當(dāng)信息初始匹配模型滿足訓(xùn)練條件時，即可根據(jù)當(dāng)前信息初始匹配模型的模型參數(shù)以及信息初始匹配模型的網(wǎng)絡(luò)結(jié)構(gòu)，確定信息匹配模型。[0128]在調(diào)整模型參數(shù)時，可以將損失函數(shù)所表示的損失在初始特征提取網(wǎng)絡(luò)、初始檢測網(wǎng)絡(luò)和初始關(guān)系匹配網(wǎng)絡(luò)中進行反向傳播，根據(jù)損失調(diào)整初始特征提取網(wǎng)絡(luò)、初始檢測網(wǎng)絡(luò)和初始關(guān)系匹配網(wǎng)絡(luò)的權(quán)重和模型參數(shù)，直至滿足訓(xùn)練條件為止，實現(xiàn)得到信息匹配模型，從而實現(xiàn)初始檢測網(wǎng)絡(luò)和初始關(guān)系匹配網(wǎng)絡(luò)的聯(lián)合優(yōu)化。[0129]本申請將交通標(biāo)志牌-文本信息檢測和信息匹配兩個任務(wù)整合到一起，通過特征復(fù)用降低了算法的復(fù)雜度。并且通過聯(lián)合優(yōu)化，使交通標(biāo)志牌-文本信息的檢測、匹配效率與匹配準(zhǔn)確率得到大大提高，地圖自動化生產(chǎn)的成本能夠有效降低，生產(chǎn)質(zhì)量可以得到顯著提高。[0130]接下來，將結(jié)合實際應(yīng)用場景對本申請實施例提供的交通標(biāo)志牌的信息匹配方法進行介紹。在該場景中可以通過車輛的行車記錄儀采集目標(biāo)圖像，并將采集得到的目標(biāo)圖像上傳至服務(wù)器。服務(wù)器在獲取到目標(biāo)圖像后，可以將目標(biāo)圖像輸入至信息匹配模型，通過信息匹配模型中的特征提取網(wǎng)絡(luò)從目標(biāo)圖像中提取圖像語義特征，并將圖像語義特征輸入至檢測網(wǎng)絡(luò)。檢測網(wǎng)絡(luò)中的交通標(biāo)志牌檢測分支根據(jù)圖像語義特征確定交通標(biāo)志牌檢測結(jié)果，并將交通標(biāo)志牌檢測結(jié)果輸入至關(guān)系匹配網(wǎng)絡(luò)；檢測網(wǎng)絡(luò)中的文本信息檢測分支根據(jù)圖像語義特征確定文本檢測結(jié)果，并將文本檢測結(jié)果輸入至關(guān)系匹配網(wǎng)絡(luò)。同時，特征提取網(wǎng)絡(luò)將圖像語義特征輸入至關(guān)系匹配網(wǎng)絡(luò)，關(guān)系匹配網(wǎng)絡(luò)根據(jù)圖像語義特征、文本檢測結(jié)果中的文本位置信息和交通標(biāo)志牌檢測結(jié)果中的標(biāo)志牌位置信息確定匹配結(jié)果。該匹配結(jié)果可以反映出哪個文本信息是哪個交通標(biāo)志牌的附屬信息，進而將具有附屬關(guān)系的文本信息和交通標(biāo)志牌提供給地圖數(shù)據(jù)自動化生產(chǎn)服務(wù)使用。[0131]基于圖4對應(yīng)實施例提供的交通標(biāo)志牌的信息匹配方法，本申請實施例還提供一種交通標(biāo)志牌的信息匹配裝置，參見圖13,所述裝置1300包括獲取單元1301和匹配單元[0132]所述獲取單元1301,用于獲取采集得到的目標(biāo)圖像，所述目標(biāo)圖像中包括文本信息和交通標(biāo)志牌；[0133]所述匹配單元1302,用于通過信息匹配模型，對所述目標(biāo)圖像進行處理得到所述目標(biāo)圖像中文本信息與交通標(biāo)志牌之間的匹配結(jié)果，所述信息匹配模型為端到端的神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)以目標(biāo)圖像作為輸入，以文本信息與交通標(biāo)志牌之間的匹配結(jié)果作為輸[0134]在一種可能的實現(xiàn)方式中，所述信息匹配模型包括特征提取網(wǎng)絡(luò)、檢測網(wǎng)絡(luò)和關(guān)系匹配網(wǎng)絡(luò)；[0135]其中，所述特征提取網(wǎng)絡(luò)是以目標(biāo)圖像為輸入，以圖像語義特征為輸出的第一神經(jīng)網(wǎng)絡(luò)；[0136]所述檢測網(wǎng)絡(luò)是以所述特征提取網(wǎng)絡(luò)的輸出為輸入，以文本檢測結(jié)果和交通標(biāo)志牌檢測結(jié)果為輸出的第二神經(jīng)網(wǎng)絡(luò)，所述文本檢測結(jié)果中包括指示文本信息在所述目標(biāo)圖像中位置的文本位置信息，所述交通標(biāo)志牌檢測結(jié)果中包括指示交通標(biāo)志牌在所述目標(biāo)圖像中位置的標(biāo)志牌位置信息；[0137]所述關(guān)系匹配網(wǎng)絡(luò)是以所述檢測網(wǎng)絡(luò)的輸出為輸入，以目標(biāo)圖像中文本信息與交通標(biāo)志牌之間的匹配結(jié)果為輸出的第三神經(jīng)網(wǎng)絡(luò)。[0139]通過所述特征提取網(wǎng)絡(luò)對所述目標(biāo)圖像進行特征提取得到圖像語義特征；[0140]根據(jù)所述圖像語義特征，通過所述檢測網(wǎng)絡(luò)確定文本檢測結(jié)果和交通標(biāo)志牌檢測[0141]根據(jù)所述文本檢測結(jié)果中的所述文本位置信息和所述交通標(biāo)志牌檢測結(jié)果中的所述標(biāo)志牌位置信息，通過所述附屬關(guān)系匹配網(wǎng)絡(luò)確定所述目標(biāo)圖像中所述文本信息與所述交通標(biāo)志牌之間的匹配結(jié)果。[0142]在一種可能的實現(xiàn)方式中，若所述附屬關(guān)系匹配網(wǎng)絡(luò)還以所述特征提取網(wǎng)絡(luò)的輸[0143]確定所述標(biāo)志牌位置信息對應(yīng)的標(biāo)志牌位置編碼和所述文本位置信息對應(yīng)的文本位置編碼；[0144]將所述標(biāo)志牌位置編碼、所述文本位置編碼和所述圖像語義特征進行融合，得到融合特征；[0145]根據(jù)所述融合特征確定所述目標(biāo)圖像中文本信息與交通標(biāo)志牌之間的匹配結(jié)果。[0147]根據(jù)所述標(biāo)志牌位置信息和所述文本位置信息確定感興趣區(qū)域；[0148]從所述圖像語義特征中裁剪得到所述感興趣區(qū)域?qū)?yīng)的感興趣語義特征；[0149]將所述感興趣語義特征與對應(yīng)的所述標(biāo)志牌位置編碼或所述文本位置編碼進行[0150]在一種可能的實現(xiàn)方式中，所述檢測網(wǎng)絡(luò)包括文本信息檢測分支和交通標(biāo)志牌檢測分支；[0151]其中，所述文本信息檢測分支是以所述特征提取網(wǎng)絡(luò)的輸出為輸入，以所述文本檢測結(jié)果為輸出的第四神經(jīng)網(wǎng)絡(luò)；[0152]所述交通標(biāo)志牌檢測分支是以所述特征提取網(wǎng)絡(luò)的輸出為輸入，以所述交通標(biāo)志牌檢測結(jié)果為輸出的第五神經(jīng)網(wǎng)絡(luò)。[0154]通過所述文本信息檢測分支對所述圖像語義特征進行特征變換得到第一語義特征，所述第一語義特征中所述文本信息的特征的顯著性高于所述圖像語義特征中所述文本信息的特征的顯著性；[0155]根據(jù)所述第一語義特征，通過所述文本信息檢測分支得到所述文本檢測結(jié)果；[0156]通過所述交通標(biāo)志牌檢測分支對所述圖像語義特征進行特征變換得到第二語義特征，所述第二語義特征中所述交通標(biāo)志牌的特征的顯著性高于所述圖像語義特征中所述交通標(biāo)志牌的特征的顯著性；[0157]根據(jù)所述第二語義特征，通過所述交通標(biāo)志牌檢測分支得到所述交通標(biāo)志牌檢測[0158]在一種可能的實現(xiàn)方式中，所述文本檢測結(jié)果通過所述目標(biāo)圖像中的第一檢測框表示，所述交通標(biāo)志牌檢測結(jié)果通過所述目標(biāo)圖像中的第二檢測框表示。[0159]在一種可能的實現(xiàn)方式中，所述文本檢測結(jié)果中還包括所述文本檢測結(jié)果對應(yīng)的第一置信度得分，所述交通標(biāo)志牌檢測結(jié)果中還包括所述交通標(biāo)志牌檢測結(jié)果對應(yīng)的第二[0160]根據(jù)所述第一置信度得分選取M個文本檢測結(jié)果，以及根據(jù)所述第二置信度得分選取N個交通標(biāo)志牌檢測結(jié)果輸入所述關(guān)系匹配網(wǎng)絡(luò)；[0161]通過所述關(guān)系匹配網(wǎng)絡(luò)輸出附屬關(guān)系圖，所述附屬關(guān)系圖用于表示所述M個文本檢測結(jié)果對應(yīng)的文本信息與所述N個交通標(biāo)志牌檢測結(jié)果對應(yīng)的交通標(biāo)志牌之間的匹配結(jié)[0162]在一種可能的實現(xiàn)方式中，所述裝置還包括訓(xùn)練單元：[0164]構(gòu)建信息初始匹配模型，其中，所述信息初始匹配模型包括初始特征提取網(wǎng)絡(luò)、初始檢測網(wǎng)絡(luò)和初始關(guān)系匹配網(wǎng)絡(luò)；[0165]獲取訓(xùn)練樣本集中的訓(xùn)練樣本，所述訓(xùn)練樣本包括訓(xùn)練圖像以及文本信息與交通標(biāo)志牌之間的真實匹配結(jié)果；[0166]將所述訓(xùn)練圖像輸入所述信息初始匹配模型中，依次經(jīng)過所述初始特征提取網(wǎng)絡(luò)、所述初始檢測網(wǎng)絡(luò)和所述初始關(guān)系匹配網(wǎng)絡(luò)的處理，獲得所述初始關(guān)系匹配網(wǎng)絡(luò)的輸出內(nèi)容，所述輸出內(nèi)容包括所述文本信息與所述交通標(biāo)志牌之間的預(yù)測匹配結(jié)果；[0167]根據(jù)所述預(yù)測匹配結(jié)果和所述真實匹配結(jié)果構(gòu)建損失函數(shù)；[0168]根據(jù)所述損失函數(shù)調(diào)整所述信息初始匹配模型的模型參數(shù)，根據(jù)滿足訓(xùn)練條件時所調(diào)整的模型參數(shù)和所述信息初始匹配模型的網(wǎng)絡(luò)結(jié)構(gòu)，確定所述信息匹配模型。[0170]將所述損失函數(shù)所表示的損失在所述初始特征提取網(wǎng)絡(luò)、所述初始檢測網(wǎng)絡(luò)和所述初始關(guān)系匹配網(wǎng)絡(luò)中進行反向傳播，根據(jù)所述損失調(diào)整所述初始特征提取網(wǎng)絡(luò)、所述初始檢測網(wǎng)絡(luò)和所述初始關(guān)系匹配網(wǎng)絡(luò)的權(quán)重和模型參數(shù)，直至滿足所述訓(xùn)練條件為止，得到所述信息匹配模型。[0171]本申請實施例還提供了一種用于交通標(biāo)志牌的信息匹配設(shè)備，該設(shè)備可以是終[0172]圖14示出的是與本申請實施例提供的終端相關(guān)的智能手機的部分結(jié)構(gòu)的框圖。參1420、輸入單元1430、顯示單元1440、傳感器1450、音頻電路1460、無線保真(英文全稱：元1430可包括觸控面板1431以及其他輸入設(shè)備1432,顯示單元1440可包括顯示面板1441,音頻電路1460可以包括揚聲器1461和傳聲器1462。本領(lǐng)域技術(shù)人員可以理解，圖14中示出的智能手機結(jié)構(gòu)并不構(gòu)成對智能手機的限定，可以包括比圖示更多或更少的部件，或者組[0173]存儲器1420可用于存儲軟件程序以及模塊，處理器1480通過運行存儲在存儲器1420的軟件程序以及模塊，從而執(zhí)行智能手機的各種功能應(yīng)用以及數(shù)據(jù)處理。存儲器1420可主要包括存儲程序區(qū)和存儲數(shù)據(jù)區(qū)，其中，存儲程序區(qū)可存儲操作系統(tǒng)、至少一個功能所需的應(yīng)用程序(比如聲音播放功能、圖像播放功能等)等；存儲數(shù)據(jù)區(qū)可存儲根據(jù)智能手機的使用所創(chuàng)建的數(shù)據(jù)(比如音頻數(shù)據(jù)、電話本等)等。此外，存儲器1420可以包括高速隨機存取存儲器，還可以包括非易失性存儲器，例如至少一個磁盤存儲器件、閃存器件、或其他易失性固態(tài)存儲器件。[0174]處理器1480是智能手機的控制中心，利用各種接口和線路連接整個智能手機的各個部分，通過運行或執(zhí)行存儲在存儲器1420內(nèi)的軟件程序和/或模塊，以及調(diào)用存儲在存儲器1420內(nèi)的數(shù)據(jù)，執(zhí)行智能手機的各種功能和處理數(shù)據(jù)?？蛇x的，處理器1480可包括一個或多個