(12)發(fā)明專利地址518057廣東省深圳市南山區(qū)高新區(qū)務所(普通合伙)44285GO6V30/19(2022.GO6N3/0464(2023.01)GO6V20/62(2022.01)一種交通標志牌的信息匹配方法及相關裝置本申請公開一種交通標志牌的信息匹配方法及相關裝置，可應用的領域包括但不限于地配模型對目標圖像進行處理得到文本信息與交個神經(jīng)網(wǎng)絡的參數(shù)進行整體訓練優(yōu)化得到的模目標圖像(文本信目標圖像(文本信息和交通標志牌)信息匹配模型匹配結(jié)果交通標志牌1附屬關系文本信息1交通標志牌2附屬關系文本信息2交通標志牌1文本信息1交通標志牌2文本信息2目標圖像21.一種交通標志牌的信息匹配方法，其特征在于，所述方法包括：獲取采集得到的目標圖像，所述目標圖像中包括文本信息和交通標志牌；通過信息匹配模型，對所述目標圖像進行處理得到所述目標圖像中文本信息與交通標志牌之間的匹配結(jié)果，所述信息匹配模型為端到端的神經(jīng)網(wǎng)絡，所述神經(jīng)網(wǎng)絡以目標圖像作為輸入，以文本信息與交通標志牌之間的匹配結(jié)果作為輸出；所述信息匹配模型包括特征提取網(wǎng)絡、檢測網(wǎng)絡和關系匹配網(wǎng)絡；其中，所述特征提取網(wǎng)絡是以目標圖像為輸入，以圖像語義特征為輸出的第一神經(jīng)網(wǎng)所述檢測網(wǎng)絡是以所述特征提取網(wǎng)絡的輸出為輸入，以文本檢測結(jié)果和交通標志牌檢測結(jié)果為輸出的第二神經(jīng)網(wǎng)絡，所述文本檢測結(jié)果中包括指示文本信息在所述目標圖像中位置的文本位置信息，所述交通標志牌檢測結(jié)果中包括指示交通標志牌在所述目標圖像中位置的標志牌位置信息；所述關系匹配網(wǎng)絡是以所述檢測網(wǎng)絡的輸出為輸入，以所述目標圖像中文本信息與交通標志牌之間的匹配結(jié)果為輸出的第三神經(jīng)網(wǎng)絡。2.根據(jù)權利要求1所述的方法，其特征在于，所述通過信息匹配模型，對所述目標圖像進行處理得到所述目標圖像中文本信息與交通標志牌之間的匹配結(jié)果，包括：通過所述特征提取網(wǎng)絡對所述目標圖像進行特征提取得到圖像語義特征；根據(jù)所述文本檢測結(jié)果中的所述文本位置信息和所述交通標志牌檢測結(jié)果中的所述標志牌位置信息，通過所述關系匹配網(wǎng)絡確定所述目標圖像中所述文本信息與所述交通標志牌之間的匹配結(jié)果。3.根據(jù)權利要求2所述的方法，其特征在于，所述根據(jù)所述文本檢測結(jié)果中的所述文本位置信息和所述交通標志牌檢測結(jié)果中的所述標志牌位置信息，通過所述關系匹配網(wǎng)絡確定所述目標圖像中所述文本信息與所述交通標志牌之間的匹配結(jié)果，包括：確定所述標志牌位置信息對應的標志牌位置編碼和所述文本位置信息對應的文本位置編碼；將所述標志牌位置編碼、所述文本位置編碼和所述圖像語義特征進行融合，得到融合根據(jù)所述融合特征確定所述目標圖像中所述文本信息與所述交通標志牌之間的匹配4.根據(jù)權利要求3所述的方法，其特征在于，所述將所述標志牌位置編碼、所述文本位根據(jù)所述標志牌位置信息和所述文本位置信息確定感興趣區(qū)域；從所述圖像語義特征中裁剪得到所述感興趣區(qū)域?qū)母信d趣語義特征；將所述感興趣語義特征與對應的所述標志牌位置編碼或所述文本位置編碼進行融合，得到所述融合特征。5.根據(jù)權利要求2所述的方法，其特征在于，所述檢測網(wǎng)絡包括文本信息檢測分支和交通標志牌檢測分支；3其中，所述文本信息檢測分支是以所述特征提取網(wǎng)絡的輸出為輸入，以所述文本檢測結(jié)果為輸出的第四神經(jīng)網(wǎng)絡；所述交通標志牌檢測分支是以所述特征提取網(wǎng)絡的輸出為輸入，以所述交通標志牌檢測結(jié)果為輸出的第五神經(jīng)網(wǎng)絡。6.根據(jù)權利要求5所述的方法，其特征在于，所述根據(jù)所述圖像語義特征，通過所述檢測網(wǎng)絡確定文本檢測結(jié)果和交通標志牌檢測結(jié)果，包括：通過所述文本信息檢測分支對所述圖像語義特征進行特征變換得到第一語義特征，所述第一語義特征中所述文本信息的特征的顯著性高于所述圖像語義特征中所述文本信息的特征的顯著性；根據(jù)所述第一語義特征，通過所述文本信息檢測分支得到所述文本檢測結(jié)果；通過所述交通標志牌檢測分支對所述圖像語義特征進行特征變換得到第二語義特征，所述第二語義特征中所述交通標志牌的特征的顯著性高于所述圖像語義特征中所述交通標志牌的特征的顯著性；根據(jù)所述第二語義特征，通過所述交通標志牌檢測分支得到所述交通標志牌檢測結(jié)7.根據(jù)權利要求1-6任一項所述的方法，其特征在于，所述文本檢測結(jié)果通過所述目標圖像中的第一檢測框表示，所述交通標志牌檢測結(jié)果通過所述目標圖像中的第二檢測框表8.根據(jù)權利要求2-6任一項所述的方法，其特征在于，所述文本檢測結(jié)果中還包括所述文本檢測結(jié)果對應的第一置信度得分，所述交通標志牌檢測結(jié)果中還包括所述交通標志牌檢測結(jié)果對應的第二置信度得分，所述根據(jù)所述文本檢測結(jié)果中的所述文本位置信息和所述交通標志牌檢測結(jié)果中的所述標志牌位置信息，通過所述關系匹配網(wǎng)絡確定所述目標圖像中所述文本信息與所述交通標志牌之間的匹配結(jié)果，包括：根據(jù)所述第一置信度得分選取M個文本檢測結(jié)果，以及根據(jù)所述第二置信度得分選取N個交通標志牌檢測結(jié)果輸入所述關系匹配網(wǎng)絡；通過所述關系匹配網(wǎng)絡輸出附屬關系圖，所述附屬關系圖用于表示所述M個文本檢測結(jié)果對應的文本信息與所述N個交通標志牌檢測結(jié)果對應的交通標志牌之間的匹配結(jié)果。9.根據(jù)權利要求1-6任一項所述的方法，其特征在于，所述方法還包括：構(gòu)建信息初始匹配模型，其中，所述信息初始匹配模型包括初始特征提取網(wǎng)絡、初始檢測網(wǎng)絡和初始關系匹配網(wǎng)絡；獲取訓練樣本集中的訓練樣本，所述訓練樣本包括訓練圖像以及文本信息與交通標志牌之間的真實匹配結(jié)果；將所述訓練圖像輸入所述信息初始匹配模型中，依次經(jīng)過所述初始特征提取網(wǎng)絡、所述初始檢測網(wǎng)絡和所述初始關系匹配網(wǎng)絡的處理，獲得所述初始關系匹配網(wǎng)絡的輸出內(nèi)容，所述輸出內(nèi)容包括所述文本信息與所述交通標志牌之間的預測匹配結(jié)果；根據(jù)所述預測匹配結(jié)果和所述真實匹配結(jié)果構(gòu)建損失函數(shù)；根據(jù)所述損失函數(shù)調(diào)整所述信息初始匹配模型的模型參數(shù)，根據(jù)滿足訓練條件時所調(diào)整的模型參數(shù)和所述信息初始匹配模型的網(wǎng)絡結(jié)構(gòu)，確定所述信息匹配模型。10.根據(jù)權利要求9所述的方法，其特征在于，所述根據(jù)所述損失函數(shù)調(diào)整所述信息初4始匹配模型的模型參數(shù)，根據(jù)滿足訓練條件時所調(diào)整的模型參數(shù)和所述信息初始匹配模型將所述損失函數(shù)所表示的損失在所述初始特征提取網(wǎng)絡、所述初始檢測網(wǎng)絡和所述初始關系匹配網(wǎng)絡中進行反向傳播，根據(jù)所述損失調(diào)整所述初始特征提取網(wǎng)絡、所述初始檢測網(wǎng)絡和所述初始關系匹配網(wǎng)絡的權重和模型參數(shù)，直至滿足所述訓練條件為止，得到所述信息匹配模型。11.一種交通標志牌的信息匹配裝置，其特征在于，所述裝置包括獲取單元和匹配單所述獲取單元，用于獲取采集得到的目標圖像，所述目標圖像中包括文本信息和交通標志牌；所述匹配單元，用于通過信息匹配模型，對所述目標圖像進行處理得到所述目標圖像中文本信息與交通標志牌之間的匹配結(jié)果，所述信息匹配模型為端到端的神經(jīng)網(wǎng)絡，所述神經(jīng)網(wǎng)絡以目標圖像作為輸入，以文本信息與交通標志牌之間的匹配結(jié)果作為輸出；所述信息匹配模型包括特征提取網(wǎng)絡、檢測網(wǎng)絡和關系匹配網(wǎng)絡；其中，所述特征提取網(wǎng)絡是以目標圖像為輸入，以圖像語義特征為輸出的第一神經(jīng)網(wǎng)所述檢測網(wǎng)絡是以所述特征提取網(wǎng)絡的輸出為輸入，以文本檢測結(jié)果和交通標志牌檢測結(jié)果為輸出的第二神經(jīng)網(wǎng)絡，所述文本檢測結(jié)果中包括指示文本信息在所述目標圖像中位置的文本位置信息，所述交通標志牌檢測結(jié)果中包括指示交通標志牌在所述目標圖像中位置的標志牌位置信息；所述關系匹配網(wǎng)絡是以所述檢測網(wǎng)絡的輸出為輸入，以所述目標圖像中文本信息與交通標志牌之間的匹配結(jié)果為輸出的第三神經(jīng)網(wǎng)絡。通過所述特征提取網(wǎng)絡對所述目標圖像進行特征提取得到圖像語義特征；根據(jù)所述圖像語義特征，通過所述檢測網(wǎng)絡確定文本檢測結(jié)果和交通標志牌檢測結(jié)根據(jù)所述文本檢測結(jié)果中的所述文本位置信息和所述交通標志牌檢測結(jié)果中的所述標志牌位置信息，通過所述關系匹配網(wǎng)絡確定所述目標圖像中所述文本信息與所述交通標志牌之間的匹配結(jié)果。確定所述標志牌位置信息對應的標志牌位置編碼和所述文本位置信息對應的文本位置編碼；將所述標志牌位置編碼、所述文本位置編碼和所述圖像語義特征進行融合，得到融合特征；根據(jù)所述融合特征確定所述目標圖像中所述文本信息與所述交通標志牌之間的匹配結(jié)果。根據(jù)所述標志牌位置信息和所述文本位置信息確定感興趣區(qū)域；從所述圖像語義特征中裁剪得到所述感興趣區(qū)域?qū)母信d趣語義特征；5將所述感興趣語義特征與對應的所述標志牌位置編碼或所述文本位置編碼進行融合，得到所述融合特征。15.根據(jù)權利要求12所述的裝置，其特征在于，所述檢測網(wǎng)絡包括文本信息檢測分支和交通標志牌檢測分支；其中，所述文本信息檢測分支是以所述特征提取網(wǎng)絡的輸出為輸入，以所述文本檢測結(jié)果為輸出的第四神經(jīng)網(wǎng)絡；所述交通標志牌檢測分支是以所述特征提取網(wǎng)絡的輸出為輸入，以所述交通標志牌檢測結(jié)果為輸出的第五神經(jīng)網(wǎng)絡。通過所述文本信息檢測分支對所述圖像語義特征進行特征變換得到第一語義特征，所述第一語義特征中所述文本信息的特征的顯著性高于所述圖像語義特征中所述文本信息的特征的顯著性；根據(jù)所述第一語義特征，通過所述文本信息檢測分支得到所述文本檢測結(jié)果；通過所述交通標志牌檢測分支對所述圖像語義特征進行特征變換得到第二語義特征，所述第二語義特征中所述交通標志牌的特征的顯著性高于所述圖像語義特征中所述交通標志牌的特征的顯著性；根據(jù)所述第二語義特征，通過所述交通標志牌檢測分支得到所述交通標志牌檢測結(jié)17.根據(jù)權利要求11-16任一項所述的裝置，其特征在于，所述文本檢測結(jié)果通過所述目標圖像中的第一檢測框表示，所述交通標志牌檢測結(jié)果通過所述目標圖像中的第二檢測框表示。18.根據(jù)權利要求12-16任一項所述的裝置，其特征在于，所述文本檢測結(jié)果中還包括所述文本檢測結(jié)果對應的第一置信度得分，所述交通標志牌檢測結(jié)果中還包括所述交通標志牌檢測結(jié)果對應的第二置信度得分，所述匹配根據(jù)所述第一置信度得分選取M個文本檢測結(jié)果，以及根據(jù)所述第二置信度得分選取N個交通標志牌檢測結(jié)果輸入所述關系匹配網(wǎng)絡；通過所述關系匹配網(wǎng)絡輸出附屬關系圖，所述附屬關系圖用于表示所述M個文本檢測結(jié)果對應的文本信息與所述N個交通標志牌檢測結(jié)果對應的交通標志牌之間的匹配結(jié)果。19.根據(jù)權利要求11-16任一項所述的裝置，其特征在于，所述裝置還包括：訓練單元；構(gòu)建信息初始匹配模型，其中，所述信息初始匹配模型包括初始特征提取網(wǎng)絡、初始檢測網(wǎng)絡和初始關系匹配網(wǎng)絡；獲取訓練樣本集中的訓練樣本，所述訓練樣本包括訓練圖像以及文本信息與交通標志牌之間的真實匹配結(jié)果；將所述訓練圖像輸入所述信息初始匹配模型中，依次經(jīng)過所述初始特征提取網(wǎng)絡、所述初始檢測網(wǎng)絡和所述初始關系匹配網(wǎng)絡的處理，獲得所述初始關系匹配網(wǎng)絡的輸出內(nèi)容，所述輸出內(nèi)容包括所述文本信息與所述交通標志牌之間的預測匹配結(jié)果；根據(jù)所述預測匹配結(jié)果和所述真實匹配結(jié)果構(gòu)建損失函數(shù)；根據(jù)所述損失函數(shù)調(diào)整所述信息初始匹配模型的模型參數(shù)，根據(jù)滿足訓練條件時所調(diào)6整的模型參數(shù)和所述信息初始匹配模型的網(wǎng)絡結(jié)構(gòu)，確定所述信息匹配模型。將所述損失函數(shù)所表示的損失在所述初始特征提取網(wǎng)絡、所述初始檢測網(wǎng)絡和所述初始關系匹配網(wǎng)絡中進行反向傳播，根據(jù)所述損失調(diào)整所述初始特征提取網(wǎng)絡、所述初始檢測網(wǎng)絡和所述初始關系匹配網(wǎng)絡的權重和模型參數(shù)，直至滿足所述訓練條件為止，得到所述信息匹配模型。21.一種用于交通標志牌的信息匹配設備，其特征在于，所述設備包括處理器以及存儲所述存儲器用于存儲程序代碼，并將所述程序代碼傳輸給所述處理器；所述處理器用于根據(jù)所述程序代碼中的指令執(zhí)行權利要求1-10中任一項所述的方法。22.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)用于存儲程序代碼，所述程序代碼用于執(zhí)行權利要求1-10中任一項所述的方法。23.一種計算機程序產(chǎn)品，其特征在于，包括計算機指令，所述計算機指令存儲在計算機可讀存儲介質(zhì)中；計算機設備的處理器從所述計算機可讀存儲介質(zhì)讀取所述計算機指令，所述處理器執(zhí)行所述計算機指令，使得所述計算機設備執(zhí)行權利要求1-10中任一項所述的方法。7一種交通標志牌的信息匹配方法及相關裝置技術領域[0001]本申請涉及計算機技術領域，特別是涉及一種交通標志牌的信息匹配方法及相關背景技術[0002]在地圖應用過程(包括不限于導航應用、自動駕駛、智慧交通、地圖數(shù)據(jù)生產(chǎn)等場景)中，需要對交通標志牌進行精準識別。在一些情況下，交往會有多個交通標志牌和多個文本信息，在此情況下，需要確定文本信息與交通標志牌之間的匹配關系，例如：哪些文本信息附屬于哪些標志牌，或者說哪些文本信息與哪些標志牌[0003]如何準確地確定文本信息與交通標志牌之間的匹配關系是亟需解決的技術問題。發(fā)明內(nèi)容[0004]為了解決上述技術問題，本申請?zhí)峁┝艘环N交通標志牌的信息匹配方法及相關裝[0005]第一方面，本申請實施例提供一種交通標志牌的信[0006]獲取采集得到的目標圖像，所述目標圖像中包括文本信息和交通標志牌；[0007]通過信息匹配模型，對所述目標圖像進行處理得到所述目標圖像中文本信息與交通標志牌之間的匹配結(jié)果，所述信息匹配模型為端到端的神經(jīng)網(wǎng)絡，所述神經(jīng)網(wǎng)絡以目標圖像作為輸入，以文本信息與交通標志牌之間的匹配結(jié)果作為輸出。[0008]第二方面，本申請實施例提供一種交通標志牌的信息匹配裝置，所述裝置包括獲取單元和匹配單元：[0009]所述獲取單元，用于獲取采集得到的目標圖像，所述目標圖像中包括文本信息和交通標志牌；[0010]所述匹配單元，用于通過信息匹配模型，對所述目標圖像進行處理得到所述目標圖像中文本信息與交通標志牌之間的匹配結(jié)果，所述信息匹配模型為端到端的神經(jīng)網(wǎng)絡，所述神經(jīng)網(wǎng)絡以目標圖像作為輸入，以文本信息與交通標志牌之間的匹配結(jié)果作為輸出。[0011]第三方面，本申請實施例提供一種用于交通標志牌的信息匹配設備，所述設備包括處理器以及存儲器：[0012]所述存儲器用于存儲程序代碼，并將所述程序代碼傳輸給所述處理器；[0013]所述處理器用于根據(jù)所述程序代碼中的指令執(zhí)行第一方面所述的方法。[0014]第四方面，本申請實施例提供一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)用于存儲程序代碼，所述程序代碼用于執(zhí)行第一方面所述的方法。[0015]由上述技術方案可以看出，本申請實施例在進行交通標志牌的信息匹配時，首先獲取采集得到的目標圖像，該目標圖像中包括文本信息和交通標志牌。然后，將該目標圖像8輸入至信息匹配模型，通過信息匹配模型，對該目標圖像進行處理得到該目標圖像中文本信息與交通標志牌之間的匹配結(jié)果。其中，該信息匹配模型是以目標圖像作為輸入，以文本信息與交通標志牌之間的匹配結(jié)果作為輸出的端到端的神經(jīng)網(wǎng)絡，即該信息匹配模型是通過端到端的訓練方式，對整個神經(jīng)網(wǎng)絡的參數(shù)進行整體訓練優(yōu)化而得到的模型，該信息匹配模型其整體檢測性能更好，因此，本申請實施例利用該信息匹配模型進行交通標志牌的信息匹配，能夠保證匹配結(jié)果的準確性，提高信息匹配的效率。附圖說明[0016]為了更清楚地說明本申請實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的一些實施例，對于本領域普通技術成員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。[0017]圖1為本申請實施例提供的一種交通標志牌示例圖；[0018]圖2為本申請實施例提供的一種交通標志牌的信息匹配的架構(gòu)流程圖；[0019]圖3為本申請實施例提供一種交通標志牌的信息匹配方法的場景架構(gòu)圖；[0020]圖4為本申請實施例提供的一種交通標志牌的信息匹配方法的流程圖；[0021]圖5為本申請實施例提供的一種交通標志牌和文本信息示例圖；[0022]圖6為本申請實施例提供的另一種交通標志牌和文本信息示例圖；[0023]圖7為本申請實施例提供的一種根據(jù)目標圖像得到附屬關系圖的示例圖；[0024]圖8為本申請實施例提供的一種信息匹配模型的架構(gòu)示意圖；[0025]圖9為本申請實施例提供的一種檢測網(wǎng)絡的架構(gòu)示意圖；[0026]圖10為本申請實施例提供的一種基于信息匹配模型進行信息匹配的流程圖；[0027]圖11a為本申請實施例提供的一種關系匹配網(wǎng)絡進行匹配的架構(gòu)流程圖；[0028]圖11b為本申請實施例提供的基于RoIAlign裁剪出2×2的特征圖的示例圖；[0029]圖12為本申請實施例提供的一種訓練信息匹配模型的流程圖；[0030]圖13為本申請實施例提供的一種交通標志牌的信息匹配裝置的結(jié)構(gòu)圖；[0031]圖14為本申請實施例提供的一種終端的結(jié)構(gòu)圖；[0032]圖15為本申請實施例提供的一種服務器的結(jié)構(gòu)圖。具體實施方式[0033]下面結(jié)合附圖，對本申請的實施例進行描述。[0034]首先，對本申請實施例涉及到的名詞進行解釋：[0035]交通標志牌：道路場景中能夠獨立傳達某種道路指示信息的牌子，“交通標志牌”的簡稱可以是“標志牌”、“標牌”等。如圖1所示，交通標志牌1可以獨立表示當前路段“限速110公里/小時”,交通標志牌2可以獨立表示當前路段“限速100公里/小時”。[0036]附屬信息：位于交通標志牌附近、對交通標志牌進行補充說明的文本信息，例如時間段、道路名、車輛類型等信息內(nèi)容。如圖1所示，文本信息1是交通標志牌1的附屬信息，文本信息1進一步補充說明“限速110公里/小時”是僅僅針對于“7座及以下小客車”。文本信息2是交通標志牌2的附屬信息，表明“其他車型”在該路段則是“限速100公里/小時”。9[0037]交通標志牌的信息匹配：將目標圖像中出現(xiàn)多個交通標志牌和多個文本信息進行匹配組合。目標圖像中往往會同時出現(xiàn)多個交通標志牌和多個文本信息，交通標志牌的信息匹配可以是確定每個文本信息是否是附屬信息以及每個文本信息屬于哪一個交通標志牌的附屬信息。如圖1所示，該目標圖像中同時存在兩個交通標志牌和兩個文本信息，交通標志牌的信息匹配需要能夠確定文本信息1是交通標志牌1的附屬信息，文本信息2是交通標志牌2的附屬信息。[0038]在一個或多個實施例中，為了實現(xiàn)信息匹配，通過兩種檢測器分別對目標圖像中的文本和交通標志牌進行檢測。然后再將分別得到的檢測結(jié)果(例如文本檢測結(jié)果和交通標志牌檢測結(jié)果)和目標圖像再次送入匹配模型確定某個文本是否為交通標志牌的附屬信息。參見圖2所示，圖2中灰色方框、虛線方框、黑色方框分別對應兩種檢測器和匹配模型這三種模型的方法流程。從圖2中可以看出，兩種檢測器和匹配模型是相互獨立訓練得到的三種模型，三者分別是以不同訓練目標進行訓練的，并非是以統(tǒng)一訓練目標優(yōu)化調(diào)整模型的每種模型都需要進行一次特征提取，存在處理效率低的缺陷。[0039]為了解決上述技術問題，在一個或多個實施例中，將文本信息檢測、交通標志牌檢測和交通標志牌與文本信息的匹配整合到一個模型(即信息匹配模型),采用端到端的信息匹配模型，不僅提升了算法的簡潔性、魯棒性，也使得檢測任務和匹配任務可以相互促進、相互提高，從而實現(xiàn)檢測與匹配部分的聯(lián)合優(yōu)化。本申請實施例利用該信息匹配模型進行交通標志牌的信息匹配，能夠保證匹配結(jié)果的準確性以及信息匹配的效率。[0040]本申請實施例提供的方法慧交通的領域。以地圖領域為例，可以用于地圖數(shù)據(jù)自動化生產(chǎn)，通過該方法得到文本信息和交通標志牌之間的匹配結(jié)果，從而將該匹配結(jié)果提供給地圖數(shù)據(jù)自動化生產(chǎn)服務使用，以便自動化地生產(chǎn)出更準確的道路數(shù)據(jù)，降低人工作業(yè)成本。[0041]需要說明的是，本申請實施例提供的方法可以涉及人工智能，人工智能(ArtificialIntelligence,AI)是利用數(shù)字計算機或者數(shù)字計算機控制的機器模擬、延伸和擴展人的智能，感知環(huán)境、獲取知識并使用知識獲得最佳結(jié)果的理論、方法、技術及應用系統(tǒng)。換句話說，人工智能是計算機科學的一個綜合技術，它企圖了解智能的實質(zhì)，并生產(chǎn)出一種新的能以人類智能相似的方式做出反應的智能機器。人工智能也就是研究各種智能機器的設計原理與實現(xiàn)方法，使機器具有感知、推理與決策的功能。[0042]人工智能技術是一門綜合學科，涉及領域廣泛，既有硬件層面的技術也有軟件層大數(shù)據(jù)處理技術、操作/交互系統(tǒng)、機電一體化等技術。人工智能軟件技術主要包括計算機視覺技術、語音處理技術、自然語言處理技術以及機器學習/深度學習等幾大方向。[0043]例如，涉及人工智能軟件技術中的計算機視覺技術，計算機視覺(ComputerVision,CV)是一門研究如何使機器“看”的科學，更進一步的說，就是指用攝影機和電腦代替人眼對目標進行識別、蹤跡追溯和測量等機器視覺，并進一步做圖形處理，使電腦處理成為更適合人眼觀察或傳送給儀器檢測的圖像。計算機視覺技術通常包括圖像處理、圖像識指紋識別等生物特征識別技術。本申請主要涉及圖像語義理解技術，例如根據(jù)目標圖像提取圖像語義特征。[0044]又如，涉及人工智能中的自然語言處理技術，自然語言處理(NatureLanguageProcessing,NLP)是計算機科學領域與人工智能領域中的一個重要方向。自然語言處理是人們?nèi)粘Ｊ褂玫恼Z言，所以它與語言學的研究有著密切的聯(lián)系。自然語言處理技術通常包語言處理中的語義理解，從而檢測出文本信息，得到文本檢測結(jié)果。[0045]又如，涉及人工智能中的機器學習，機器學習(MachineLearning,ML)是一門多領計算機怎樣模擬或?qū)崿F(xiàn)人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能。機器學習是人工智能的核心，是使計算機具有智能的根本途徑，其應用遍及人工智能的各個領域。機器學習和深度學習通常包括人工神經(jīng)網(wǎng)絡、置信網(wǎng)絡、強化學習、遷移學習、歸納學習、示教學習等技術。本申請主要訓練信息匹配模型。[0046]參見圖3,圖3為本申請實施例提供的交通標志牌的信息匹配方法的應用場景示意圖。該應用場景中包括終端301和服務器302。服務器302可以是獨立的物理服務器，也可以是多個物理服務器構(gòu)成的服務器集群或者分布式系統(tǒng)，還可以是提供云計算服務的云服務器。終端301可以是具有圖像采集功能的電子設備，例如行車記錄儀、車載攝像頭、車載電有線或無線通信方式進行直接或間接地連接，本申請在此不做限制。[0047]其中，終端301可以是作為采集目標圖像的設備，終端301可以將采集得到的目標圖像上傳至服務器302,以便服務器302執(zhí)行本申請實施例提供的交通標志牌的信息匹配方法。其中，終端301采集目標圖像可以通過目標圖像眾包實現(xiàn)，即將目標圖像的采集任務外包給社會各類公司或個人，讓他們通過終端301對特定地點的目標圖像進行拍攝上傳。[0048]服務器302獲取到包括文本信息和交通標志牌的目標圖像后，可以通過信息匹配模型，對目標圖像進行處理得到目標圖像中文本信息與交通標志牌之間的匹配結(jié)果。例如圖3所示，圖3所示的目標圖像中的文本信息包括文本信息1和文本信息2,交通標志牌包括交通標志牌1和交通標志牌2,通過該信息匹配模型可以實現(xiàn)交通標志牌與文本信息的匹配，得到匹配結(jié)果，該匹配結(jié)果表明文本信息1與交通標志牌1具有附屬關系，文本信息2與交通標志牌2具有附屬關系，即文本信息1是交通標志牌1的附屬信息，文本信息2是交通標志牌2的附屬信息。[0049]由于該信息匹配模型為以目標圖像作為輸入，以文本信息與交通標志牌之間的匹配結(jié)果作為輸出的端到端的神經(jīng)網(wǎng)絡，即該信息匹配模型是通過端到端的訓練方式，對整個神經(jīng)網(wǎng)絡的參數(shù)進行整體訓練優(yōu)化而得到的模型，其整體檢測性能更好，可以實現(xiàn)檢測與匹配部分的聯(lián)合優(yōu)化，因此，本申請實施例利用該信息匹配模型進行交通標志牌的信息匹配，能夠保證匹配結(jié)果的準確性，提高信息匹配的效率。[0050]當然，在本實施例中，也可以將采集得到的目標圖像發(fā)送給特定終端，由終端執(zhí)行本申請實施例提供的方法，或者也可以由終端和服務器配合執(zhí)行本申請實施例提供的方11法，本實施例對此不做限定。[0051]接下來，將結(jié)合附圖以服務器是執(zhí)行主體為例，對本申請實施例提供的網(wǎng)絡地址轉(zhuǎn)換方法進行詳細介紹。[0052]參見圖4,圖4示出了交通標志牌的信息匹配方法的流程圖，所述方法包括：[0054]其中，目標圖像可以通過目標圖像眾包實現(xiàn)，即將目標圖像的采集任務外包給社會各類公司或個人，社會各類公司或個人可以通過具有圖像采集功能的終端對特定地點的道路進行拍攝得到目標圖像，從而將采集得到的目標圖像上傳至服務器。[0055]目標圖像中包括文本信息和交通標志牌，由于目標圖像中可能包括多個交通標志牌和多個文本信息，故需要確定哪個文本信息是哪個交通標志牌的附屬信息，得到匹配結(jié)果，以便后續(xù)對匹配結(jié)果進行使用，例如應用到地圖數(shù)據(jù)自動化生產(chǎn)中。[0056]通常情況下，交通標志牌可以與其對應的附屬信息一同出現(xiàn)，也可以不具有對應的附屬信息(即該交通標志牌無需文本信息對其進行補充說明),當然也可以僅出現(xiàn)文本信息(即該文本信息不作為任何交通標志牌的附屬信息)。另外，本實施例對文本信息與交通標志牌的位置關系不做限定，文本信息可以在交通標志牌的下方、左側(cè)、右側(cè)、上方等任意位置。[0057]參見圖5所示，文本信息“小客車”在交通標志牌(該交通標志牌可以參見圖5中虛線框501所示)的左側(cè)，文本信息“大型車”在交通標志牌(該交通標志牌可以參見圖5中虛線框502所示)的左側(cè)；而圖1中文本信息1在交通標志牌1的下方，文本信息2在交通標志牌2的屬信息。[0058]參見圖6所示，文本信息“1.5t以上貨車”的上所示)和“限速20”(參見圖6中實線框所示)兩個交通標志牌，通過分析可知，該文本信息是交通標志牌單獨存在，不具有附屬信息。[0059]S402、通過信息匹配模型，對所述目標圖像進行處理得到所述目標圖像中文本信息與交通標志牌之間的匹配結(jié)果。[0060]服務器將所獲取到的目標圖像輸入至預先訓練得到的信息匹配模型，信息匹配模型對該目標圖像進行處理得到該目標圖像中文本信息與交通標志牌之間的匹配結(jié)果。該匹配結(jié)果可以反映目標圖像中哪個文本信息是哪個交通標志牌的附屬信息。[0061]需要說明的是，本實施例所使用的信息匹配模型為端到端的神經(jīng)網(wǎng)絡，該神經(jīng)網(wǎng)絡以目標圖像作為輸入，以文本信息與交通標志牌之間的匹配結(jié)果作為輸出。即服務器將獲取的目標圖像輸入至該信息匹配模型后，該信息匹配模型即可相應地輸出匹配結(jié)果。[0062]可以理解的是，匹配結(jié)果可以通過多種形式表示，一種方式可以是直接通過文字表示哪個文本信息是哪個交通標志牌的附屬信息，例如“文本信息1是交通標志牌1的附屬信息”,“文本信息2是交通標志牌2的附屬信息”。另一種方式可以是配結(jié)果，參見圖7所示，圖7左側(cè)的圖中表示檢測得到了目標圖像中的交通標志牌包括交通標志牌1、交通標志牌2和交通標志牌3,文本信息包括文本信息1、文本信息2和文本信息3,通過信息匹配模型得到的附屬關系圖如圖7中右圖所示。該附屬關系圖中第i行第j列表示文本信息i是否為交通標志牌j的附屬信息，若是則用1表示，若否則用0表示。故根據(jù)該附屬關系圖可以確定文本信息1是交通標志牌1的附屬信息，文本信息2是交通標志牌2的附屬信息。但文本信息3不是任一個交通標志牌的附屬信息，交通標志牌3也不具有任何一個文本信息作為附屬信息，則文本信息3和交通標志牌3可能出現(xiàn)誤檢的情況，但是由于該信息匹配模型沒有將這兩個可能是誤檢的檢測結(jié)果匹配在一起，從而避免了誤檢造成的信息匹配[0063]需要說明的是，在本實施中，參見圖7所示的例子，目標圖像中包括多個交通標志牌和多個文本信息，該多個交通標志牌和多個文本信息構(gòu)成多對待判定是否具有附屬關系的交通標志牌和文本信息。本申請實施例所使用的信息匹配模型可以一次性對目標圖像中存在的所有可能的附屬關系進行推理判斷，可以大大提高信息匹配的效率。[0064]在本申請實施例中，在得到匹配結(jié)果后，可以將具有附屬關系的文本信息和交通標志牌提供給地圖數(shù)據(jù)自動化生產(chǎn)服務使用，以便自動化地生產(chǎn)出更準確的道路數(shù)據(jù)，降低人工作業(yè)成本。[0065]由上述技術方案可以看出，本申請實施例在進行交通標志牌的信息匹配時，首先獲取采集得到的目標圖像，該目標圖像中包括文本信息和交通標志牌。然后，將該目標圖像輸入至信息匹配模型，通過信息匹配模型，對該目標圖像進行處理得到該目標圖像中文本信息與交通標志牌之間的匹配結(jié)果。其中，該信息匹配模型是以目標圖像作為輸入，以文本信息與交通標志牌之間的匹配結(jié)果作為輸出的端到端的神經(jīng)網(wǎng)絡，即該信息匹配模型是通過端到端的訓練方式，對整個神經(jīng)網(wǎng)絡的參數(shù)進行整體訓練優(yōu)化而得到的模型，該信息匹配模型其整體檢測性能更好，因此，本申請實施例利用該信息匹配模型進行交通標志牌的信息匹配，能夠保證匹配結(jié)果的準確性，提高信息[0066]如上文所述，本申請實施例提供的交通標志牌的信息匹配方法需要基于信息匹配模型，根據(jù)獲取的目標圖像，確定出匹配結(jié)果。為了便于進一步理解本申請實施例提供的交通標志牌的信息匹配方法的具體實現(xiàn)過程，下面結(jié)合附圖對上述信息匹配模型進行具體介[0067]參見圖8,圖8為本申請實施例提供的信息匹配模型的架構(gòu)示意圖。如圖8所示，該信息匹配模型包括特征提取網(wǎng)絡801、檢測網(wǎng)絡802和關系匹配網(wǎng)絡803。[0068]其中，特征提取網(wǎng)絡801是以目標圖像為輸入，以圖像語義特征為輸出的第一神經(jīng)[0069]特征提取網(wǎng)絡801作為信息匹配模型中的第一神經(jīng)網(wǎng)絡負責對輸入至信息匹配模型中的目標圖像進行特征提取，得到圖像語義特征，并將提取的圖像語義特征輸出至信息匹配模型中的第二神經(jīng)網(wǎng)絡。[0070]特征提取網(wǎng)絡801使用深度卷積神經(jīng)網(wǎng)絡來提取目標圖像不同尺度、不同語義維度上的豐富特征。特征提取網(wǎng)絡801可以包含卷積層、池化用不同尺寸的卷積核，例如3×3、5×5、7×7等尺寸，依次對目標圖像中的各個位置進行計算，來提取到目標圖像中基本的紋理特征。池化層能夠通過池化操作降低特征的分辨率，將低級語義特征映射為高級語義特征。歸一化層則是對每一個卷積層的輸出進行歸一化，從而使得每一層的輸出都能夠滿足正態(tài)分布，能夠同時加速模型收斂和提高模型準確率。激活層則是對特征進行非線性映射，將簡單特征向更高維度空間上變化，提高模型的表達能力。目標圖像依次經(jīng)過特征提取網(wǎng)絡801中的卷積層、池化層的圖像語義特征。[0071]特征提取網(wǎng)絡801最終輸出的圖像語義特征(如圖9中白色方塊所示)的維度為(N,C,W,H),其中N為每一批處理的目標圖像的數(shù)目，C為特征通道數(shù)目，W和H分別為圖像語義特征對應的特征圖的寬和高。[0072]可以理解的是，在本申請實施例中，還可以采用其他結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡提取圖像語義特征，上述特征提取網(wǎng)絡801的結(jié)構(gòu)僅是一種示例。在一些可能的實現(xiàn)方式中，為了提高信息匹配的準確性，可以先提高特征提取的準確性，故本申請實施例進一步對特征提取網(wǎng)絡801進行改進，為特征提取網(wǎng)絡801設計了更加復雜的主干網(wǎng)絡，例如設計了res2net、hrnet等更復雜的主干網(wǎng)絡，從而在利用特征提取網(wǎng)絡801提取圖像語義特征時，提高特征提取的準確性，進而提高信息匹配的準確性。[0073]在另一些可能的實現(xiàn)方式中，為了提高信息匹配的效率，可以先提高特征提取的效率，故本申請實施例進一步對特征提取網(wǎng)絡801進行改進，為特征提取網(wǎng)絡801設計了更加輕量級的主干網(wǎng)絡，以加快特征提取效率，進而提高信息匹配效率。例如設計了可以使用moblienet、sufflenet等輕量級的主干網(wǎng)絡來加快算法運行速度。在此不對作為特征提取網(wǎng)絡801的卷積神經(jīng)網(wǎng)絡的結(jié)構(gòu)做任何限定。[0074]檢測網(wǎng)絡802是以特征提取網(wǎng)絡801的輸出為輸入，以文本檢測結(jié)果和交通標志牌檢測結(jié)果的第二神經(jīng)網(wǎng)絡。其中，文本檢測結(jié)果中包括指示文本信息在目標圖像中位置的文本位置信息，交通標志牌檢測結(jié)果中包括指示交通標志牌在所述目標圖像中位置的標志牌位置信息。[0075]也就是說，檢測網(wǎng)絡802為信息匹配模型中的第二神經(jīng)網(wǎng)絡，負責根據(jù)特征提取網(wǎng)絡801輸出的圖像語義特征進行檢測，確定文本檢測結(jié)果和交通標志牌檢測結(jié)果，即確定出目標圖像中包括的交通標志牌及對應的位置，以及包括的文本信息及對應的位置。[0076]在一些情況下，由于交通標志牌和文本信息的外觀形態(tài)、語義信息相差較大，使用同一個檢測網(wǎng)絡同時對這兩類目標進行檢測可能效果較差。因此，為了提高檢測準確性，本申請實施例設計了兩個不同的分支來完成檢測任務。如圖9所示，此時檢測網(wǎng)絡802包括文本信息檢測分支8021和交通標志牌檢測分支8022。[0077]其中，文本信息檢測分支8021是以特征提取網(wǎng)絡801的輸出為輸入，以文本檢測結(jié)果為輸出的第四神經(jīng)網(wǎng)絡。文本信息檢測分支8021為檢測網(wǎng)絡802中的第四神經(jīng)網(wǎng)絡，負責根據(jù)特征提取網(wǎng)絡801輸出的圖像語義特征確定文本檢測結(jié)果。[0078]交通標志牌檢測分支8022是以特征提取網(wǎng)絡801的輸出為輸入，以交通標志牌檢測結(jié)果為輸出的第五神經(jīng)網(wǎng)絡。交通標志牌檢測分支8022為檢測網(wǎng)絡802中的第五神經(jīng)網(wǎng)絡，負責根據(jù)特征提取網(wǎng)絡801輸出的圖像語義特征確定文本交通標志牌檢測結(jié)果。[0079]關系匹配網(wǎng)絡803是以檢測網(wǎng)絡802的輸出為輸入，以目標圖像中文本信息與交通標志牌之間的匹配結(jié)果為輸出的第三神經(jīng)網(wǎng)絡。[0080]關系匹配網(wǎng)絡803作為信息匹配模型中的第三神經(jīng)網(wǎng)絡負責對檢測網(wǎng)絡802輸出的文本檢測結(jié)果和交通標志牌檢測結(jié)果進行匹配，得到匹配結(jié)果，從而確定目標圖像中哪個文本信息是哪個交通標志牌的附屬信息。[0081]在一些情況下，關系匹配網(wǎng)絡803還以特征提取網(wǎng)絡801的輸出為輸入，即特征提取網(wǎng)絡801輸出的圖像語義特征可以輸入至關系匹配網(wǎng)絡803,以便關系匹配網(wǎng)絡803可以同時根據(jù)圖像語義特征、文本檢測結(jié)果和交通標志牌檢測結(jié)果確定匹配結(jié)果。[0082]上述信息匹配模型包括特征提取網(wǎng)絡、檢測網(wǎng)絡和關系匹配網(wǎng)絡，相應的，利用該信息匹配模型進行信息匹配時，根據(jù)輸入的目標圖像，可以依次經(jīng)過信息匹配模型包括特征提取網(wǎng)絡、檢測網(wǎng)絡和關系匹配網(wǎng)絡一步到位地確定出匹配結(jié)果。[0083]基于圖8所示的信息匹配模型信息匹配時，圖4所示的交通標志牌的信息匹配方法的具體實現(xiàn)可以參見圖10,圖10為基于圖8所示的信息匹配模型進行信息匹配的流程圖，所述方法包括：[0085]S1001與圖4對應實施例中的S401的具體實現(xiàn)相類似，此處不再贅述，詳見S401的相關描述。[0086]S1002、通過所述特征提取網(wǎng)絡對所述目標圖像進行特征提取得到圖像語義特征。[0087]獲取到目標圖像后，將目標圖像輸入至信息匹配模型的特征提取網(wǎng)絡中。特征提取網(wǎng)絡利用其中包括的卷積神經(jīng)網(wǎng)絡模型對目標圖像進行特征提取得到圖像語義特征。進而，將得到的圖像語義特征輸入至信息匹配模型的檢測網(wǎng)絡。[0088]S1003、根據(jù)所述圖像語義特征，通過所述檢測網(wǎng)絡確定文本檢測結(jié)果和交通標志牌檢測結(jié)果。[0089]檢測網(wǎng)絡根據(jù)輸入的圖像語義特征確定文本檢測結(jié)果和交通標志牌檢測結(jié)果，進而將文本檢測結(jié)果和交通標志牌檢測結(jié)果輸入至關系匹配網(wǎng)絡。[0090]需要說明的是，在一些情況下，為了實現(xiàn)文本檢測結(jié)果和交通標志牌檢測結(jié)果的可視化，可以將檢測結(jié)果進一步解析為檢測框，例如可以將文本檢測結(jié)果通過目標圖像中的第一檢測框表示，例如圖9中虛線矩形框所示；將交通標志牌檢測結(jié)果通過目標圖像中的第二檢測框表示，例如圖9中灰色實線矩形框所示。[0091]若檢測網(wǎng)絡如9所示，包括文本信息檢測分支和交通標志牌檢測分支，由于圖9中兩個不同的分支分別用于檢測不同的目標(文本信息或交通標志牌),而這兩個不同目標的外觀形態(tài)、語義信息相差較大，故為了準確的檢測出哪些是文本信息哪些是交通標志牌，可以使得所檢測目標的特征更加顯著,即在檢測文本信息時使文本信息的特征更加顯著,在檢測交通標志牌時使交通標志牌的特征更加顯著。[0092]在一種可能的實現(xiàn)方式中，S1003的實現(xiàn)方式可以是通過文本信息檢測分支對圖像語義特征進行特征變換得到第一語義特征，第一語義特征中文本信息的特征的顯著性高于圖像語義特征中文本信息的特征的顯著性，從而使得文本信息的特征更加顯著。然后根據(jù)第一語義特征，通過文本信息檢測分支得到文本檢測結(jié)果，由于此時文本信息的特征更加顯著,則有利于文本信息的檢測，使得得到的文本檢測結(jié)果更加準確。通過交通標志牌檢測分支對圖像語義特征進行特征變換得到第二語義特征，第二語義特征中交通標志牌的特征的顯著性高于圖像語義特征中交通標志牌的特征的顯著性，從而使得交通標志牌的特征更加顯著。然后，根據(jù)第二語義特征，通過交通標志牌檢測分支得到交通標志牌檢測結(jié)果。由于此時交通標志牌的特征更加顯著,則有利于交通標志牌的檢測，使得得到的交通標志牌檢測結(jié)果更加準確。[0093]參見圖9所示，圖9中白色方塊代表特征提取網(wǎng)絡輸出的圖像語義特征，該圖像語義特征為交通標志牌檢測分支和文本信息檢測分支所共享。以交通標志牌檢測分支8022為例，該交通標志牌檢測分支會對圖像語義特征(白色立方體)進行進一步的特征提取與特征變換，使得交通標志牌的特征更加顯著,從而得到更加有利于交通標志牌檢測的第二語義特征(淺灰色立方體)。之后，使用1×1卷積對特征維度進行變換，輸出交通標志牌檢測結(jié)果(右側(cè)上方的灰色實線矩形框),其中包括的標志牌位置信息表示該點到上下左右四個邊界框的距離。同理，文本信息檢測分支8021根據(jù)圖像語義特征得到第一語義特征(深灰色立方體),使得文本信息的特征更加顯著,從而可以對目標圖像中的文本信息的位置進行準確預[0094]在一些情況下，為了表示檢測結(jié)果的可信程度，以便后續(xù)可以選擇可信程度較高的檢測結(jié)果進一步進行后續(xù)匹配，提高匹配效率，文本檢測結(jié)果中還包括文本檢測結(jié)果對應的第一置信度得分，交通標志牌檢測結(jié)果中還包括交通標志牌檢測結(jié)果對應的第二置信度得分。第一置信度得分用于表示文本檢測結(jié)果的可信程度，第二置信度得分用于表示交通標志牌檢測結(jié)果的可信程度，以便在匹配之前排除一些不可信的檢測結(jié)果，提高匹配效[0095]此時，文本檢測結(jié)果對應的通道數(shù)為5,分別表示該點到上下左右四個邊界框的距離以及第一置信度得分，交通標志牌檢測結(jié)果對應的通道數(shù)為5,分別表示該點到上下左右四個邊界框的距離以及第二置信度得分。[0096]下面結(jié)合文本信息檢測分支和交通標志牌檢測分支的具體網(wǎng)絡結(jié)構(gòu)對檢測網(wǎng)絡的檢測過程進行介紹。其中交通標志牌檢測分支的網(wǎng)絡結(jié)構(gòu)包括四個3×3卷積和一個1×1卷積構(gòu)成。4個3×3卷積對共享的圖像語義特征進行進一步的非線性變換，使得交通標志牌的特征更加顯著和突出。1×1卷積作為輸出層，將通道維度降到5個通道，最終輸出的維度為(N,5,W,H)。這里的5個通道分別表示該點到上下左右四個邊界框的距離以及第二置信度得分。[0097]文本信息檢測分支的網(wǎng)絡結(jié)構(gòu)和交通標志牌檢測分支的網(wǎng)絡結(jié)構(gòu)類似，包括進行文本特征增強的3×3卷積和用于維度變換的1×1卷積。另外，與可枚舉的交通標志牌的樣式相比，文本信息的樣式變化各異。所以，在4個3×3普通4個3×3可形變卷積。可形變卷積能夠基于學習確定卷積的形變參數(shù)，擴大卷積的感受野(ReceptiveField),從而使得文本信息檢測分支的特征提取能力更加強大，從而保障文本信息檢測的效果。[0098]此外，由于交通標志牌和文本信息的形狀分布不同，交通標志牌的長寬大都比較達到最優(yōu)的檢測效果，可以在兩個檢測分支使用不同的先驗框(先驗框一般用于預先設定好目標例如交通標志牌或文本信息的長和高，以幫助預測),具體先驗框的形狀可在訓練數(shù)據(jù)上進行聚類得到。通過這樣的設計，不僅能夠加速模型的收斂，還能夠讓兩個檢測分支都得到充分的訓練，同時達到最優(yōu)的訓練效果。[0099]S1004、根據(jù)所述文本檢測結(jié)果中的所述文本位置信息和所述交通標志牌檢測結(jié)果中的所述標志牌位置信息，通過所述關系匹配網(wǎng)絡確定所述目標圖像中所述文本信息與所述交通標志牌之間的匹配結(jié)果。[0100]在將文本檢測結(jié)果和交通標志牌檢測結(jié)果輸入關系匹配網(wǎng)絡后，關系匹配網(wǎng)絡可以根據(jù)文本檢測結(jié)果中的文本位置信息和交通標志牌檢測結(jié)果中的標志牌位置信息確定目標圖像中文本信息與交通標志牌之間的匹配結(jié)果。[0101]在一些情況下，若關系匹配網(wǎng)絡還以特征提取網(wǎng)絡的輸出為輸入，則在確定匹配結(jié)果時，可以綜合運用位置信息和圖像語義特征作為附屬關系的推理判斷依據(jù)。具體地，確定匹配結(jié)果的一種可能實現(xiàn)方式可以是確定標志牌位置信息對應的標志牌位置編碼和文本位置信息對應的文本位置編碼，然后將標志牌位置編碼、文本位置編碼和圖像語義特征進行融合，得到融合特征，從而根據(jù)融合特征確定目標圖像中文本信息和與通標志牌之間的匹配結(jié)果。[0102]參見圖11a所示，關系匹配網(wǎng)絡的輸入分為兩部分，一部分是檢測網(wǎng)絡輸出的文本檢測結(jié)果和交通標志牌檢測結(jié)果，一部分是特征提取網(wǎng)絡輸出的圖像語義特征。關系匹配網(wǎng)絡首先是將標志牌位置信息和文本位置信息進行PositionEmbedding,也就是位置編碼，從而更好地提取出不同檢測框之間的空間位置信息，同時也能夠更加方便地與圖像語義特征進行融合。其中，標志牌位置信息和文本位置信息都可以采用[x1,y1,x2,y2]這種坐標形式表示。[0103]具體位置編碼的方式如下：先生成一個和目標圖像尺度一樣的二維數(shù)組，其初始值全為0。對于某個交通標志牌對應的標志牌位置信息或者文本信息對應的文本位置信息[x1,y1,x2,y2],將(x1,y1)到(x2,y2)這兩點所圍成的矩形區(qū)域內(nèi)的點的值全置為1。這樣就得到了一張可以表征這個交通標志牌或者文本信息位置的0-1二值圖，作為標志牌位置編碼或文本位置編碼。需要進行位置編碼的標志牌位置信息和文本位置信息有多少個，則可以得到多少張這樣的二值圖，將得到的二值圖沿著通道維度堆疊起來。最后，將其通過雙線性差值縮放到特定尺度，以便和圖像語義特征進行融合。其中該特定尺度可以是與圖像語義特征的尺度相同，例如7×7的尺度。在本實施例中，位置編碼最終的輸出維度可以為K×1×7×7,K可以表示所需要進行匹配的檢測框(包括第一檢測框或第二檢測框)數(shù)目。[0104]本申請充分利用了位置信息和圖像語義特征，在進行信息匹配過程中綜合運用了空間約束和語義約束來有效提高信息匹配的準確率。[0105]在一些情況下，由于特征提取網(wǎng)絡輸出的圖像語義特征是全圖的特征，該圖像語義特征可能包括很多無關的甚至可能造成干擾的背景特征。因此，本申請實施例基于檢測網(wǎng)絡輸出的文本檢測結(jié)果和交通標志牌檢測結(jié)果，將感興趣區(qū)域(regionofinterest,RoI)的特征裁剪出來。為此，在本申請實施例中，得到融合特征的一種可能的實現(xiàn)方式可以是根據(jù)標志牌位置信息和文本位置信息確定感興趣區(qū)域，從圖像語義特征中裁剪得到感興趣區(qū)域?qū)母信d趣語義特征，進而將感興趣語義特征與對應的標志牌位置編碼或文本位置編碼進行融合，得到融合特征。該感興趣語義特征可以包括交通標志牌對應的感興趣語義特征和文本信息對應的感興趣語義特征，也就是說，將根據(jù)標志牌位置信息裁剪得到的感興趣語義特征(即交通標志牌對應的感興趣語義特征)與對應的標志牌位置編碼進行融合，將根據(jù)文本位置信息裁剪得到的感興趣語義特征(即文本信息對應的感興趣語義特征)與對應的文本位置編碼進行融合，從而得到融合特征。其中，若通過第一檢測框表示文本檢測結(jié)果，第二檢測框表示交通標志牌檢測結(jié)果，則感興趣區(qū)域可以是第一檢測框和第二檢測框圍起來的區(qū)域。夠?qū)⒉煌笮〉奶卣鹘y(tǒng)一映射到一個固定的維度，例如7×7,以便進行后續(xù)的附屬關系推[0107]下面以使用RoIAlign裁剪出2×2的感興趣語義特征為例論述其具體操作：[0108]如圖11b所示，黑色實線矩形框表示目標(例如交通標志牌或文本信息)在圖像語義特征對應的特征圖上的位置。若希望從圖像語義特征對應的特征圖上將感興趣語義特征剪裁出來，得到2×2大小的感興趣語義特征對應的特征圖，那么可以將黑色實線矩形框等分為1,2,3,4四個區(qū)域。然后針對每個區(qū)域分別計算出一個值來代表該區(qū)域，這四個值便組成了所需的2×2特征圖。其中，每個區(qū)域的值可以為該區(qū)域內(nèi)均勻分布的四個采樣點(如圖11b中的黑色點)的值的平均數(shù)。[0109]然后再將RoIAlign剪裁得到的感興趣語義特征與標志牌位置特征或文本位置特征堆疊起來，將兩個不同維度的特征充分融合，得到融合特征。從而在后續(xù)可以基于大量數(shù)據(jù)自適應地學習每個維度特征對于最終決策的貢獻度，最后輸出一個附屬關系圖。[0110]需要說明的是，為了得到融合特征，本申請實施例提供的關系匹配網(wǎng)絡可以包括[0111]具體的，進行融合的兩個特征可以是前述得到的K×1×7×7維的位置編碼和圖像語義特征(例如感興趣語義特征),圖像語義特征的維度可以是K×C×7×7維。由于位置編碼的通道數(shù)維度只有1維，相對于圖像語義特征的維度而言較小，容易使得位置編碼所表示的位置信息被圖像語義特征所淹沒。同時，先前的位置編碼只考慮目標在目標圖像中的絕對位置，沒有考慮目標間的相對位置。因此，本申請實施例使用關系匹配網(wǎng)絡中的兩個1×1卷積將位置編碼的通道數(shù)從1維先提高到C/2維，再提高到C維，從而得到既編碼了絕對位置又編碼了相對位置的特征，維度也變?yōu)镵×C×7×7。[0112]然后分別使用兩個3×3卷積先對K×C×7×7維的位置編碼和K×C×7×7維的圖像語義特征的進一步變換，將變換后的兩個特征再堆疊到一塊，變?yōu)镵×2C×7×7維，之后交替使用3×3卷積和1×1卷積將堆疊在一起的特征繼續(xù)做非線性變換和信息融合。然后使用全局池化層，將K×2C×7×7特征變換位K×2C×1×1即K×2C維。之后使用兩個全連接層繼續(xù)融合圖像語義特征和位置編碼，最后輸出K×K維的融合特征。[0113]需要說明的是，若文本檢測結(jié)果中還包括文本檢測結(jié)果對應的第一置信度得分，交通標志牌檢測結(jié)果中還包括交通標志牌檢測結(jié)果對應的第二置信度得分，為了避免對一些誤檢測結(jié)果進行匹配，以減少計算量，提高匹配效率，則S1004的一種可能的實現(xiàn)方式可以是根據(jù)第一置信度得分選取M個文本檢測結(jié)果，以及根據(jù)第二置信度得分選取N個交通標志牌檢測結(jié)果輸入附屬關系匹配網(wǎng)絡，通過關系匹配網(wǎng)絡輸出附屬關系圖，附屬關系圖用于表示M個文本檢測結(jié)果對應的文本信息與N個交通標志牌檢測結(jié)果對應的交通標志牌之為例進行介紹。[0114]其中，選取方式可以包括多種，一種方式可以是將第一置信度得分按照從大到小的順序排列，選擇前M個文本檢測結(jié)果，以及將第二置信度得分按照從大到小的順序排列，選擇前N個交通標志牌檢測結(jié)果。另一種方式可以是，將第一置信度得分按照從小到大的順序排列，選擇后M個文本檢測結(jié)果，以及將第二置信度得分按照從小到大的順序排列，選擇后N個交通標志牌檢測結(jié)果。在一些情況下，還可以是選取第一置信度得分大于第一閾值的M個文本檢測結(jié)果，選取第二置信度得分大于第二閾值的N個交通標志牌檢測結(jié)果。本實施例對選取方式不做限定。[0115]本實施例從所有檢測結(jié)果中選取置信度得分較高的檢測結(jié)果繼續(xù)進行匹配，從而無需對每個檢測結(jié)果都進行計算，減少計算量，提高匹配效率。[0116]可以理解的是，上述信息匹配模型能否準確地確定出匹配結(jié)果，依賴于該信息匹配模型的模型性能，而信息匹配模型的模型性能的好壞取決于對該信息匹配模型的訓練過[0117]下面結(jié)合圖12對訓練信息匹配模型的過程進行介紹，參見圖12,所述方法包括：[0118]S1201、構(gòu)建信息初始匹配模型，其中，所述信息初始匹配模型包括初始特征提取網(wǎng)絡、初始檢測網(wǎng)絡和初始關系匹配網(wǎng)絡。[0119]以構(gòu)建的信息初始匹配模型為訓練基礎，對該信息初始匹配模型進行訓練?？梢岳斫獾氖?，該信息初始匹配模型與信息匹配模型的結(jié)構(gòu)相類似，包括初始特征提取網(wǎng)絡、初始檢測網(wǎng)絡和初始關系匹配網(wǎng)絡。[0120]S1202、獲取訓練樣本集中的訓練樣本，所述訓練樣本包括訓練圖像以及文本信息與交通標志牌之間的真實匹配結(jié)果。[0121]訓練信息初始匹配模型時，需要獲取訓練樣本集中的訓練樣本，利用該訓練樣本對已構(gòu)建的信息初始匹配模型進行訓練。[0122]由于信息匹配模型的輸入為目標圖像，輸出為匹配結(jié)果，因此，利用訓練樣本對信息初始匹配模型進行訓練時，需要獲取與信息匹配模型相同的輸入和輸出，即所獲取的訓練樣本中需要包括訓練圖像以及文本信息與交通標志牌之間的真實匹配結(jié)果，由此保證利用該訓練樣本訓練得到的信息匹配模型，能夠滿足實際應用中的信息匹配模型的輸入需求以及輸出需求。[0123]S1203、將所述訓練圖像輸入所述信息初始匹配模型中，依次經(jīng)過所述初始特征提取網(wǎng)絡、所述初始檢測網(wǎng)絡和所述初始關系匹配網(wǎng)絡的處理，獲得所述初始關系匹配網(wǎng)絡的輸出內(nèi)容，所述輸出內(nèi)容包括所述文本信息與所述交通標志牌之間的預測匹配結(jié)果。[0124]將訓練圖像輸入至信息初始匹配模型中，利用信息初始匹配模型中初始特征提取網(wǎng)絡提取圖像語義特征，并將圖像語義特征輸入至初始檢測網(wǎng)絡。初始檢測網(wǎng)絡根據(jù)圖像語義特征預測文本檢測結(jié)果和交通標志牌檢測結(jié)果，并將文本檢測結(jié)果和交通標志牌檢測結(jié)果輸入至初始關系匹配網(wǎng)絡。初始關系匹配網(wǎng)絡根據(jù)文本檢測結(jié)果和交通標志牌檢測結(jié)[0125]S1204、根據(jù)所述預測匹配結(jié)果和所述真實匹配結(jié)果構(gòu)建損失函數(shù)。[0126]S1205、根據(jù)所述損失函數(shù)調(diào)整所述信息初始匹配模型的模型參數(shù)，根據(jù)滿足訓練條件時所調(diào)整的模型參數(shù)和所述信息初始匹配模型的網(wǎng)絡結(jié)構(gòu)，確定所述信息匹配模型。[0127]根據(jù)信息初始匹配模型輸出的預測匹配結(jié)果和真實匹配結(jié)果之間的誤差構(gòu)建損失函數(shù)，進而可以根據(jù)該損失函數(shù)，對信息初始匹配模型中的模型參數(shù)進行調(diào)整，從而實現(xiàn)對信息初始匹配模型的優(yōu)化。當信息初始匹配模型滿足訓練條件時，即可根據(jù)當前信息初始匹配模型的模型參數(shù)以及信息初始匹配模型的網(wǎng)絡結(jié)構(gòu)，確定信息匹配模型。[0128]在調(diào)整模型參數(shù)時，可以將損失函數(shù)所表示的損失在初始特征提取網(wǎng)絡、初始檢測網(wǎng)絡和初始關系匹配網(wǎng)絡中進行反向傳播，根據(jù)損失調(diào)整初始特征提取網(wǎng)絡、初始檢測網(wǎng)絡和初始關系匹配網(wǎng)絡的權重和模型參數(shù)，直至滿足訓練條件為止，實現(xiàn)得到信息匹配模型，從而實現(xiàn)初始檢測網(wǎng)絡和初始關系匹配網(wǎng)絡的聯(lián)合優(yōu)化。[0129]本申請將交通標志牌-文本信息檢測和信息匹配兩個任務整合到一起，通過特征復用降低了算法的復雜度。并且通過聯(lián)合優(yōu)化，使交通標志牌-文本信息的檢測、匹配效率與匹配準確率得到大大提高，地圖自動化生產(chǎn)的成本能夠有效降低，生產(chǎn)質(zhì)量可以得到顯著提高。[0130]接下來，將結(jié)合實際應用場景對本申請實施例提供的交通標志牌的信息匹配方法進行介紹。在該場景中可以通過車輛的行車記錄儀采集目標圖像，并將采集得到的目標圖像上傳至服務器。服務器在獲取到目標圖像后，可以將目標圖像輸入至信息匹配模型，通過信息匹配模型中的特征提取網(wǎng)絡從目標圖像中提取圖像語義特征，并將圖像語義特征輸入至檢測網(wǎng)絡。檢測網(wǎng)絡中的交通標志牌檢測分支根據(jù)圖像語義特征確定交通標志牌檢測結(jié)果，并將交通標志牌檢測結(jié)果輸入至關系匹配網(wǎng)絡；檢測網(wǎng)絡中的文本信息檢測分支根據(jù)圖像語義特征確定文本檢測結(jié)果，并將文本檢測結(jié)果輸入至關系匹配網(wǎng)絡。同時，特征提取網(wǎng)絡將圖像語義特征輸入至關系匹配網(wǎng)絡，關系匹配網(wǎng)絡根據(jù)圖像語義特征、文本檢測結(jié)果中的文本位置信息和交通標志牌檢測結(jié)果中的標志牌位置信息確定匹配結(jié)果。該匹配結(jié)果可以反映出哪個文本信息是哪個交通標志牌的附屬信息，進而將具有附屬關系的文本信息和交通標志牌提供給地圖數(shù)據(jù)自動化生產(chǎn)服務使用。[0131]基于圖4對應實施例提供的交通標志牌的信息匹配方法，本申請實施例還提供一種交通標志牌的信息匹配裝置，參見圖13,所述裝置1300包括獲取單元1301和匹配單元[0132]所述獲取單元1301,用于獲取采集得到的目標圖像，所述目標圖像中包括文本信息和交通標志牌；[0133]所述匹配單元1302,用于通過信息匹配模型，對所述目標圖像進行處理得到所述目標圖像中文本信息與交通標志牌之間的匹配結(jié)果，所述信息匹配模型為端到端的神經(jīng)網(wǎng)絡，所述神經(jīng)網(wǎng)絡以目標圖像作為輸入，以文本信息與交通標志牌之間的匹配結(jié)果作為輸[0134]在一種可能的實現(xiàn)方式中，所述信息匹配模型包括特征提取網(wǎng)絡、檢測網(wǎng)絡和關系匹配網(wǎng)絡；[0135]其中，所述特征提取網(wǎng)絡是以目標圖像為輸入，以圖像語義特征為輸出的第一神經(jīng)網(wǎng)絡；[0136]所述檢測網(wǎng)絡是以所述特征提取網(wǎng)絡的輸出為輸入，以文本檢測結(jié)果和交通標志牌檢測結(jié)果為輸出的第二神經(jīng)網(wǎng)絡，所述文本檢測結(jié)果中包括指示文本信息在所述目標圖像中位置的文本位置信息，所述交通標志牌檢測結(jié)果中包括指示交通標志牌在所述目標圖像中位置的標志牌位置信息；[0137]所述關系匹配網(wǎng)絡是以所述檢測網(wǎng)絡的輸出為輸入，以目標圖像中文本信息與交通標志牌之間的匹配結(jié)果為輸出的第三神經(jīng)網(wǎng)絡。[0139]通過所述特征提取網(wǎng)絡對所述目標圖像進行特征提取得到圖像語義特征；[0140]根據(jù)所述圖像語義特征，通過所述檢測網(wǎng)絡確定文本檢測結(jié)果和交通標志牌檢測[0141]根據(jù)所述文本檢測結(jié)果中的所述文本位置信息和所述交通標志牌檢測結(jié)果中的所述標志牌位置信息，通過所述附屬關系匹配網(wǎng)絡確定所述目標圖像中所述文本信息與所述交通標志牌之間的匹配結(jié)果。[0142]在一種可能的實現(xiàn)方式中，若所述附屬關系匹配網(wǎng)絡還以所述特征提取網(wǎng)絡的輸[0143]確定所述標志牌位置信息對應的標志牌位置編碼和所述文本位置信息對應的文本位置編碼；[0144]將所述標志牌位置編碼、所述文本位置編碼和所述圖像語義特征進行融合，得到融合特征；[0145]根據(jù)所述融合特征確定所述目標圖像中文本信息與交通標志牌之間的匹配結(jié)果。[0147]根據(jù)所述標志牌位置信息和所述文本位置信息確定感興趣區(qū)域；[0148]從所述圖像語義特征中裁剪得到所述感興趣區(qū)域?qū)母信d趣語義特征；[0149]將所述感興趣語義特征與對應的所述標志牌位置編碼或所述文本位置編碼進行[0150]在一種可能的實現(xiàn)方式中，所述檢測網(wǎng)絡包括文本信息檢測分支和交通標志牌檢測分支；[0151]其中，所述文本信息檢測分支是以所述特征提取網(wǎng)絡的輸出為輸入，以所述文本檢測結(jié)果為輸出的第四神經(jīng)網(wǎng)絡；[0152]所述交通標志牌檢測分支是以所述特征提取網(wǎng)絡的輸出為輸入，以所述交通標志牌檢測結(jié)果為輸出的第五神經(jīng)網(wǎng)絡。[0154]通過所述文本信息檢測分支對所述圖像語義特征進行特征變換得到第一語義特征，所述第一語義特征中所述文本信息的特征的顯著性高于所述圖像語義特征中所述文本信息的特征的顯著性；[0155]根據(jù)所述第一語義特征，通過所述文本信息檢測分支得到所述文本檢測結(jié)果；[0156]通過所述交通標志牌檢測分支對所述圖像語義特征進行特征變換得到第二語義特征，所述第二語義特征中所述交通標志牌的特征的顯著性高于所述圖像語義特征中所述交通標志牌的特征的顯著性；[0157]根據(jù)所述第二語義特征，通過所述交通標志牌檢測分支得到所述交通標志牌檢測[0158]在一種可能的實現(xiàn)方式中，所述文本檢測結(jié)果通過所述目標圖像中的第一檢測框表示，所述交通標志牌檢測結(jié)果通過所述目標圖像中的第二檢測框表示。[0159]在一種可能的實現(xiàn)方式中，所述文本檢測結(jié)果中還包括所述文本檢測結(jié)果對應的第一置信度得分，所述交通標志牌檢測結(jié)果中還包括所述交通標志牌檢測結(jié)果對應的第二[0160]根據(jù)所述第一置信度得分選取M個文本檢測結(jié)果，以及根據(jù)所述第二置信度得分選取N個交通標志牌檢測結(jié)果輸入所述關系匹配網(wǎng)絡；[0161]通過所述關系匹配網(wǎng)絡輸出附屬關系圖，所述附屬關系圖用于表示所述M個文本檢測結(jié)果對應的文本信息與所述N個交通標志牌檢測結(jié)果對應的交通標志牌之間的匹配結(jié)[0162]在一種可能的實現(xiàn)方式中，所述裝置還包括訓練單元：[0164]構(gòu)建信息初始匹配模型，其中，所述信息初始匹配模型包括初始特征提取網(wǎng)絡、初始檢測網(wǎng)絡和初始關系匹配網(wǎng)絡；[0165]獲取訓練樣本集中的訓練樣本，所述訓練樣本包括訓練圖像以及文本信息與交通標志牌之間的真實匹配結(jié)果；[0166]將所述訓練圖像輸入所述信息初始匹配模型中，依次經(jīng)過所述初始特征提取網(wǎng)絡、所述初始檢測網(wǎng)絡和所述初始關系匹配網(wǎng)絡的處理，獲得所述初始關系匹配網(wǎng)絡的輸出內(nèi)容，所述輸出內(nèi)容包括所述文本信息與所述交通標志牌之間的預測匹配結(jié)果；[0167]根據(jù)所述預測匹配結(jié)果和所述真實匹配結(jié)果構(gòu)建損失函數(shù)；[0168]根據(jù)所述損失函數(shù)調(diào)整所述信息初始匹配模型的模型參數(shù)，根據(jù)滿足訓練條件時所調(diào)整的模型參數(shù)和所述信息初始匹配模型的網(wǎng)絡結(jié)構(gòu)，確定所述信息匹配模型。[0170]將所述損失函數(shù)所表示的損失在所述初始特征提取網(wǎng)絡、所述初始檢測網(wǎng)絡和所述初始關系匹配網(wǎng)絡中進行反向傳播，根據(jù)所述損失調(diào)整所述初始特征提取網(wǎng)絡、所述初始檢測網(wǎng)絡和所述初始關系匹配網(wǎng)絡的權重和模型參數(shù)，直至滿足所述訓練條件為止，得到所述信息匹配模型。[0171]本申請實施例還提供了一種用于交通標志牌的信息匹配設備，該設備可以是終[0172]圖14示出的是與本申請實施例提供的終端相關的智能手機的部分結(jié)構(gòu)的框圖。參1420、輸入單元1430、顯示單元1440、傳感器1450、音頻電路1460、無線保真(英文全稱：元1430可包括觸控面板1431以及其他輸入設備1432,顯示單元1440可包括顯示面板1441,音頻電路1460可以包括揚聲器1461和傳聲器1462。本領域技術人員可以理解，圖14中示出的智能手機結(jié)構(gòu)并不構(gòu)成對智能手機的限定，可以包括比圖示更多或更少的部件，或者組[0173]存儲器1420可用于存儲軟件程序以及模塊，處理器1480通過運行存儲在存儲器1420的軟件程序以及模塊，從而執(zhí)行智能手機的各種功能應用以及數(shù)據(jù)處理。存儲器1420可主要包括存儲程序區(qū)和存儲數(shù)據(jù)區(qū)，其中，存儲程序區(qū)可存儲操作系統(tǒng)、至少一個功能所需的應用程序(比如聲音播放功能、圖像播放功能等)等；存儲數(shù)據(jù)區(qū)可存儲根據(jù)智能手機的使用所創(chuàng)建的數(shù)據(jù)(比如音頻數(shù)據(jù)、電話本等)等。此外，存儲器1420可以包括高速隨機存取存儲器，還可以包括非易失性存儲器，例如至少一個磁盤存儲器件、閃存器件、或其他易失性固態(tài)存儲器件。[0174]處理器1480是智能手機的控制中心，利用各種接口和線路連接整個智能手機的各個部分，通過運行或執(zhí)行存儲在存儲器1420內(nèi)的軟件程序和/或模塊，以及調(diào)用存儲在存儲器1420內(nèi)的數(shù)據(jù)，執(zhí)行智能手機的各種功能和處理數(shù)據(jù)?？蛇x的，處理器1480可包括一個或多個