(19)國家知識產(chǎn)權局(12)發(fā)明專利(22)申請日2022.01.24(43)申請公布日2022.05.13地址310023浙江省杭州市西湖區(qū)西溪路556號8層B段801-11司31100(56)對比文件權利要求書3頁說明書18頁附圖10頁訓練實體識別模型的方法及系統(tǒng)和實體識公開了一種用于訓練實體識別模型的方法，句子的序列標注預測輸出和實體匹配預測輸出，基于該句子的序列標注預測輸出和該句子的序分地基于該句子的實體匹配預測輸出和該句子對應的實體識別方法以及相關系統(tǒng)、裝置和介構(gòu)造訓練集構(gòu)造訓練集將訓練集中的訓練樣本輸入到實體識別模型，得到序列標注預測輸出和實基于序列標注預測瑜出和序列標注標簽確定序列標注損失至少部分地基于該句子的實體四配預測輸出和隱喻實體標簽確定實體匹配損失確定所述實體識別模型的總損失迭代執(zhí)行訓練以最小化總損失從而得到經(jīng)訓練的實體識別模型2將所述訓練集中的訓練樣本輸入到實體識別模型，以得到該訓練樣本中的句子的序列基于該句子的序列標注預測輸出和該句子的序列標注標簽確定該句子的序列標注損失Loss_sequence;至少部分地基于該句子的實體匹配預測輸出和該句子的隱喻實體標簽確定該句子的確定所述實體識別模型的總損失Loss_total,所述總損失為所述序列標注損失和所述迭代執(zhí)行訓練以最小化所述實體識別模型的總損失，從而得到經(jīng)訓練的實體識別模2.如權利要求1所述的方法，其中與所述句子相關聯(lián)的知識圖譜也被輸入到所述實體確定該句子的實體匹配損失Loss_match,其中該句子的實體匹配損失Loss_match和該至少基于所述知識圖譜和該句子的隱喻實體標簽來確定該句子的隨機實體，其中所述至少部分地基于該句子的實體匹配預測輸出和該句子的隱喻實體標簽和隨機實體標簽確定該句子的實體匹配損失Loss_match,其中該句子的實體匹配損失Loss_match和該實至少基于所述知識圖譜和該句子的隱喻實體標簽來確定該句子的知識嵌入實體，該知識嵌入實體是基于所述知識圖譜嵌入到該句子中的不至少部分地基于該句子的實體匹配預測輸出和該句子的隱喻實體標簽和知識嵌入實體標簽確定該句子的實體匹配損失Loss_match,其中該句子的實體匹配損失Loss_match和3至少基于所述知識圖譜和該句子的隱喻實體標簽來確定該句子的知識嵌入實體和隨機實體，該知識嵌入實體是基于所述知識圖譜嵌入到該句子中的不同于該隱喻實體的實體，該隨機實體是隨機獲取的實體；使用所述圖神經(jīng)網(wǎng)絡來生成該句子的隨機實體向量和知識嵌入實體向量；至少部分地基于該句子的實體匹配預測輸出和該句子的隱喻實體、知識嵌入實體和隨機實體來確定該句子的實體匹配損失Loss_match,其中該句子的實體匹配損失Loss_match和該實體匹配預測輸出與該隱喻實體向量之間的向量距離成正比，和該實體匹配預測輸出與該知識嵌入實體向量之間的向量距離成反比，和該實體匹配預測輸出與該隨機實體向量之間的向量距離成反比，且和該知識嵌入實體向量與該隨機實體向量之間的向量距離成反7.如權利要求3-6中任一項所述的方法，其中所述圖神經(jīng)網(wǎng)絡為圖卷積網(wǎng)絡。8.如權利要求3-6中任一項所述的方法，其中在初始化所述圖神經(jīng)網(wǎng)絡時，使用所述實體識別模型的K-BERT模型的字嵌入來生成知識圖譜中的每個節(jié)點的初始嵌入表示。獲取待處理的句子；使用基于權利要求1-8中任一項的方法訓練的實體識別模型來對所述待處理句子進行處理，如果所述實體識別模型的序列標注預測輸出中得到實體，則輸出所得到的實體作為所識別的實體；如果所述實體識別模型沒有識別出實體，則輸出所述實體識別模型的實體匹配預測輸使用所述實體匹配預測輸出在實體向量庫中執(zhí)行檢索，以在所述實體向量庫中檢索出與所述實體匹配預測輸出相匹配的實體向量；以及將與所檢索出的實體向量相對應的實體作為所識別的實體。10.如權利要求9所述的方法，其中所述實體向量庫是通過對與輸入句子相關聯(lián)的知識圖譜執(zhí)行向量化得到的。11.如權利要求10所述的方法，其中所述實體向量庫是通過圖神經(jīng)模型對所述輸入句子執(zhí)行向量化得到的，所述圖神經(jīng)模型在訓練所述實體識別模型的同時被迭代更新。12.如權利要求9所述的方法，其中使用所述實體匹配預測輸出在實體向量庫中執(zhí)行檢索是通過FAISS庫實現(xiàn)的。13.一種用于訓練實體識別模型的系統(tǒng)，包括：訓練集構(gòu)造模塊，用于構(gòu)造訓練集，其中所述訓練集包括多個訓練樣本d={Sinput,XNER,隱喻實體標簽用于表示該句子的隱喻實體，其中隱喻實體是該句子實際指向、但未出現(xiàn)在實體識別模型訓練模塊，用于使用所述訓練集對所述實體識別模型執(zhí)行訓練，所述實體識別模型基于經(jīng)預訓練的K-BERT模型，其中所述實體識別模型訓練模塊包括：預測模塊，用于將所述訓練集中的訓練樣本輸入到實體識別模型，以得到該訓練樣本中的句子的序列標注預測輸出和實體匹配預測輸出，損失計算模塊，用于基于該句子的序列標注預測輸出和該句子的序列標注標簽確定該4句子的序列標注損失Loss_sequence;至少部分地基于該句子的實體匹配預測輸出和該句子的隱喻實體標簽確定該句子的實體匹配損失Loss_match;以及確定所述實體識別模型的總損失Loss_total,所述總損失為所述序列標注損失和所述實體匹配損失的加權和，即：迭代訓練模塊，用于迭代執(zhí)行訓練以最小化所述實體識別模型的總損失，從而得到經(jīng)訓練的實體識別模型。14.如權利要求13所述的系統(tǒng)，其中與所述句子相關聯(lián)的知識圖譜也被輸入到所述實體識別模型。15.如權利要求13所述的系統(tǒng)，其中所述損失計算模塊包括實體向量化模塊，所述實體向量化模塊用于使用圖神經(jīng)網(wǎng)絡將實體向量化為實體向量。16.如權利要求15所述的系統(tǒng)，其中在初始化所述圖神經(jīng)網(wǎng)絡時，使用所述實體識別模型的K-BERT模型的字嵌入來生成知識圖譜中的每個節(jié)點的初始嵌入表示。句子獲取模塊，用于獲取待處理的句子；實體識別模型，用于對所述待處理句子進行處理，所述實體識別模型是使用如權利要求1-8中任一項所述的方法訓練的，如果所述實體識別模型的序列標注預測輸出中得到實體，則輸出所得到的實體作為所識別的實體，而如果所述實體識別模型沒有識別出實體，則輸出所述實體識別模型的實體匹配預測輸出；檢索模塊，用于使用所述實體匹配預測輸出在實體向量庫中執(zhí)行檢索，以在所述實體向量庫中檢索出與所述實體匹配預測輸出相匹配的實體向量，以及將與所檢索出的實體向量相對應的實體作為所識別的實體。18.一種用于訓練實體識別模型的裝置，包括：處理器，所述處理器被配置成執(zhí)行如權利要求1-8中任一項所述的方法。19.一種用于執(zhí)行實體識別的裝置，包括：處理器，所述處理器被配置成執(zhí)行如權利要求9-12中任一項所述的方法。20.一種存儲指令的計算機可讀存儲介質(zhì)，所述指令當被計算機執(zhí)行時，使所述計算機執(zhí)行如權利要求1-12中任一項所述的方法。5技術領域[0001]本申請涉及句子中的實體識別，尤其涉及用于訓練實體識別模型的方法和實體識背景技術[0002]命名實體識別技術已經(jīng)得到廣泛應用。在命名實體識別技術中，機器學習模型已經(jīng)被用于識別文本(如句子)中的命名實體。命名實體識別技術又可稱為“專名識別”,可識飯配送超時太久了”這一句子，其所指向的實體可能是某網(wǎng)絡訂餐服務，然而該句子中本身并不包括該網(wǎng)絡訂餐服務的名稱。本領域現(xiàn)有的實體識別方案尚未能解決這一問題。實際上，現(xiàn)有技術中可能從未認識到這一問題的存在。[0004]因此，需要能夠準確識別更加全面地識別文本中的實體的方案。發(fā)明內(nèi)容[0005]為了克服現(xiàn)有技術的缺陷，本說明書的一個或多個實施例使用基于K-BERT的模型來執(zhí)行序列標注和實體匹配兩種任務，從而能夠全面、高效地識別出文本中的實體，包括顯式感興趣實體以及隱喻實體。[0006]本說明書的一個或多個實施例通過以下技術方案來實現(xiàn)其上述目的。于表示該句子的隱喻實體，其中隱喻實體是該句子實際指向、但未出現(xiàn)在該句子中的實體；[0009]使用所述訓練集對所述實體識別模型執(zhí)行訓練，所述實體識別模型基于經(jīng)預訓練[0010]將所述訓練集中的訓練樣本輸入到實體識別模型，以得到該訓練樣本中的句子的序列標注預測輸出和實體匹配預測輸出，[0011]基于該句子的序列標注預測輸出和該句子的序列標注標簽確定該句子的序列標注損失Loss_sequence;[0012]至少部分地基于該句子的實體匹配預測輸出和該句子的隱喻實體標簽確定該句子的實體匹配損失Loss_match;[0013]確定所述實體識別模型的總損失Loss_total,所述總損失為所述序列標注損失和所述實體匹配損失的加權和，即：Loss_total=Loss_sequence+a*Lo[0014]迭代執(zhí)行訓練以最小化所述實體識別模型的總損失，從而得到經(jīng)訓練的實體識別6模型。[0015]優(yōu)選地，與所述句子相關聯(lián)的知識圖譜也被輸入到所述實體識別模型。[0016]優(yōu)選地，確定該句子的實體匹配損失Loss_match包括：[0017]使用與所述知識圖譜相關聯(lián)的圖神經(jīng)網(wǎng)絡來生成該句子的隱喻實體向量；[0018]確定所述句子的實體匹配預測輸出與該隱喻實體向量之間的向量距離；以及[0019]確定該句子的實體匹配損失Loss_match,其中該句子的實體匹配損失Loss_match和該實體匹配預測輸出與該隱喻實體向量之間的向量距離成正比。[0020]優(yōu)選地，確定該句子的實體匹配損失Loss_match包括：[0021]至少基于所述知識圖譜和該句子的隱喻實體標簽來確定該句子的隨機實體，其中所述隨機實體是隨機獲取的實體；[0022]使用所述圖神經(jīng)網(wǎng)絡來生成該句子的隨機實體向量；以及[0023]至少部分地基于該句子的實體匹配預測輸出和該句子的隱喻實體標簽和隨機實體標簽確定該句子的實體匹配損失Loss_match,其中該句子的實體匹配損失Loss_match和該實體匹配預測輸出與該隨機實體向量之間的向量距離成反比。[0025]至少基于所述知識圖譜和該句子的隱喻實體標簽來確定該句子的知識嵌入實體，該知識嵌入實體是基于所述知識圖譜嵌入到該句子中的不同于該隱喻實體的實體；[0026]使用所述圖神經(jīng)網(wǎng)絡來生成該句子的知識嵌入實體向量；[0027]至少部分地基于該句子的實體匹配預測輸出和該句子的隱喻實體標簽和知識嵌入實體標簽確定該句子的實體匹配損失Loss_match,其中該句子的實體匹配損失Loss_match和該實體匹配預測輸出與該知識嵌入實體向量之間的向量距離成反比。[0028]優(yōu)選地，確定該句子的實體匹配損失Loss_match包括：[0029]至少基于所述知識圖譜和該句子的隱喻實體標簽來確定該句子的知識嵌入實體和隨機實體，該知識嵌入實體是基于所述知識圖譜嵌入到該句子中的不同于該隱喻實體的實體，該隨機實體是隨機獲取的實體；[0030]使用所述圖神經(jīng)網(wǎng)絡來生成該句子的隨機實體向量和知識嵌入實體向量；[0031]至少部分地基于該句子的實體匹配預測輸出和該句子的隱喻實體、知識嵌入實體和隨機實體來確定該句子的實體匹配損失Loss_match,其中該句子的實體匹配損失Loss_match和該實體匹配預測輸出與該隱喻實體向量之間的向量距離成正比，和該實體匹配預測輸出與該知識嵌入實體向量之間的向量距離成反比，和該實體匹配預測輸出與該隨機實體向量之間的向量距離成反比，且和該知識嵌入實體向量與該隨機實體向量之間的向量距離成反比。[0032]優(yōu)選地，所述圖神經(jīng)網(wǎng)絡為圖卷積網(wǎng)絡。[0033]優(yōu)選地，在初始化所述圖神經(jīng)網(wǎng)絡時，使用所述實體識別模型的K-BERT模型的字嵌入來生成知識圖譜中的每個節(jié)點的初始嵌入表示。[0035]獲取待處理的句子；[0036]使用基于如本文所述的方法訓練的實體識別模型來對所述待處理句子進行處理，如果所述實體識別模型的序列標注預測輸出中得到實體，則輸出所得到的實體作為所識別7的實體；[0037]如果所述實體識別模型沒有識別出實體，則輸出所述實體識別模型的實體匹配預測輸出；[0038]使用所述實體匹配預測輸出在實體向量庫中執(zhí)行檢索，以在所述實體向量庫中檢索出與所述實體匹配預測輸出相匹配的實體向量；以及[0039]將與所檢索出的實體向量相對應的實體作為所識別的實體。[0040]優(yōu)選地，所述實體向量庫是通過對與所述輸入句子相關聯(lián)的知識圖譜執(zhí)行向量化得到的。[0041]優(yōu)選地，所述實體向量庫是通過圖神經(jīng)模型對所述輸入句子執(zhí)行向量化得到的，所述圖神經(jīng)模型在訓練所述實體識別模型的同時被迭代更新。[0042]優(yōu)選地，使用所述實體匹配預測輸出在實體向量庫中執(zhí)行檢索是通過FAISS庫實現(xiàn)的。[0043]在另一方面，公開了一種用于訓練實體識別模型的系[0044]訓練集構(gòu)造模塊，用于構(gòu)造訓練集，其中所述訓練集包括多個訓練樣本d={Sinput’所述隱喻實體標簽用于表示該句子的隱喻實體，其中隱喻實體是該句子實際指向、但未出現(xiàn)在該句子中的實體；以及[0045]實體識別模型訓練模塊，用于使用所述訓練集對所述實體識別模型執(zhí)行訓練，所述實體識別模型基于經(jīng)預訓練的K-BERT模型，其中所述實體識別模型訓練模塊包括：[0046]預測模塊，用于將所述訓練集中的訓練樣本輸入到實體識別模型，以得到該訓練樣本中的句子的序列標注預測輸出和實體匹配預測輸出，[0047]損失計算模塊，用于基于該句子的序列標注預測輸出和該句子的序列標注標簽確定該句子的序列標注損失Loss_sequence;至少部分地基于該句子的實體匹配預測輸出和該句子的隱喻實體標簽確定該句子的實體匹配損失Loss_match;以及確定所述實體識別模型的總損失Loss_total,所述總損失為所述序列標注損失和所述實體匹配損失的加權和，[0048]迭代訓練模塊，用于迭代執(zhí)行訓練以最小化所述實體識別模型的總損失，從而得到經(jīng)訓練的實體識別模型。[0049]優(yōu)選地，與所述句子相關聯(lián)的知識圖譜也被輸入到所述實體識別模型。[0050]優(yōu)選地，所述損失計算模塊包括實體向量化模塊，所述實體向量化模塊用于使用圖神經(jīng)網(wǎng)絡將實體向量化為實體向量。[0051]優(yōu)選地，在初始化所述圖神經(jīng)網(wǎng)絡時，使用所述實體識別模型的K-BERT模型的字嵌入來生成知識圖譜中的每個節(jié)點的初始嵌入表示。[0054]實體識別模型，用于對所述待處理句子進行處理，如果所述實體識別模型的序列標注預測輸出中得到實體，則輸出所得到的實體作為所識別的實體，而如果所述實體識別模型沒有識別出實體，則輸出所述實體識別模型的實體匹配預測輸出；[0055]檢索模塊，用于使用所述實體匹配預測輸出在實體向量庫中執(zhí)行檢索，以在所述8實體向量庫中檢索出與所述實體匹配預測輸出相匹配的實體向量，以及將與所檢索出的實體向量相對應的實體作為所識別的實體。[0056]在又一方面，公開了一種用于訓練實體識別模型的裝置，包括：[0058]處理器，所述處理器被配置成執(zhí)行如上所述的用于訓練識別實體模型的方法。[0059]在又一方面，公開了一種用于執(zhí)行實體識別的裝置，包括：[0061]處理器，所述處理器被配置成執(zhí)行用于執(zhí)行實體識別的方法。[0062]在又另一方面中，提供了一種存儲指令的計算機可讀存儲介質(zhì)，該指令當被計算機執(zhí)行時，使所述計算機執(zhí)行上述方法。[0063]與現(xiàn)有技術相比，本說明書的一個或多個實施例能夠?qū)崿F(xiàn)以下技術效果中的一者或多者：[0064]不僅能夠識別顯式感興趣實體，還能夠識別出隱喻實體；[0065]能夠執(zhí)行端到端的訓練，在包含隱喻實體時，無需重新預測，而是可以直接使用所得到的匹配實體向量執(zhí)行向量檢索，從而大大提升了效率。附圖說明[0066]以上發(fā)明內(nèi)容以及下面的具體實施方式在結(jié)合附圖閱讀時會得到更好的理解。需要說明的是，附圖僅作為所請求保護的發(fā)明的示例。在附圖中，相同的附圖標記代表相同或類似的元素。[0067]圖1示出根據(jù)本說明書實施例的用于執(zhí)行實體識別模型的多任務學習的過程的非常概括性的示意框圖。[0068]圖2示出知識圖譜的具體示例的一部分。[0069]圖3示出根據(jù)本說明書實施例的使用知識圖譜來擴充句子的示例的示意圖。[0070]圖4示出根據(jù)本說明書實施例的序列標注任務的過程的示意圖。[0071]圖5示出根據(jù)本說明書實施例的實體匹配任務的過程的示意圖。[0072]圖6示出根據(jù)本說明書實施例的總模型的損失的示意圖。[0073]圖7示出根據(jù)本說明書實施例的用于訓練實體識別模型的示例方法的示意流程[0074]圖8示出根據(jù)本說明書實施例的利用該實體識別模型來識別實體的方法的流程[0075]圖9示出根據(jù)本說明書實施例的用于訓練實體識別模型的示例系統(tǒng)的示意圖。[0076]圖10示出根據(jù)本說明書實施例的用于實體識別的示例系統(tǒng)的示意圖。[0077]圖11示出用于實現(xiàn)根據(jù)本說明書一個或多個實施例的系統(tǒng)的裝置的示意框圖。具體實施方式[0078]以下具體實施方式的內(nèi)容足以使任何本領域技術人員了解本說明書的一個或多個實施例的技術內(nèi)容并據(jù)以實施，且根據(jù)本說明書所揭露的說明書、權利要求及附圖，本領域技術人員可輕易地理解本說明書的一個或多個實施例相關的目的及優(yōu)點。9[0079]如上文所述，命名實體識別技術已被應用于信息抽取、關系抽取、句法分析、信息檢索、問答系統(tǒng)、機器翻譯等等各種場景。然而，目前的命名實體識別技術通常僅能識別出文本中出現(xiàn)的實體(或其近義詞)。[0080]在實際應用中，在許多情況下，文本(如句子)中可能并不包括實體本身。例如，在智能客服、自動化問答等場景中，客戶的發(fā)言中可能沒有出現(xiàn)實體本身。例如在智能客服場景中，用戶可能沒有確切描述出具體出問題的服務/產(chǎn)品，而僅僅描述了出現(xiàn)的現(xiàn)象及問題，因此需要根據(jù)用戶的描述，推理識別出用戶反饋的具體功能/產(chǎn)品。[0081]一個具體的示例是某網(wǎng)絡訂餐服務，客戶可能在反饋中發(fā)表“我點的飯配送超時太久了”這一評論。該評論所指向的是該網(wǎng)絡訂餐服務，但該評論中并不存在該網(wǎng)絡訂餐服務的名稱，甚至不存在該網(wǎng)絡訂餐服務的近義詞。在這種情況下，使用傳統(tǒng)的命名實體識別技術可能難以準確識別出該評論所指向的實體。[0082]為便于描述，下面介紹本說明書實施例中可能用到的三種實體：隱喻實體、知識嵌入實體和隨機實體。[0083]顯式實體，是指句子中出現(xiàn)的實體。但應領會，句子中可能出現(xiàn)多個實體，其中一些可能是用戶感興趣的，而另一些實體可能是用戶不感興趣的；甚至在一些情況下，所有顯式實體可能都不是用戶感興趣的。在后文中，可將用戶感興趣的顯示實體稱為“顯式感興趣[0084]隱喻實體，是指句子實際指向、但未出現(xiàn)在該句子中的實體。在大多數(shù)情況下，隱喻實體存在于基于所述知識圖譜嵌入到句子的實體中。需要領會的是，此處的“句子實際指向的實體”是指與該句子有關的，用戶所感興趣的實體。其具體為哪個實體可由用戶根據(jù)實[0085]知識嵌入實體，是指基于知識圖譜嵌入到該句子中的、不同于該隱喻實體的實體。[0086]隨機實體，是指隨機獲取的實體。在多數(shù)情況下，隨機實體是指沒有嵌入到該句子中的實體，即在經(jīng)知識融入的句子中不存在的實體。在許多情況下，該隨機實體可以是從知識圖譜中隨機選擇的，除嵌入到句子中的實體外的實體。在另一些情況下，該隨機實體可獨立于知識圖譜而被生成。實體中的一個或多個可能是用戶感興趣的實體(即顯式感興趣實體),而另一些實體可能是用戶不感興趣的實體(即顯式其他實體),或者也可能都是用戶不感興趣的實體。在本說明書的示例應用中，這些顯式實體都不是顯式感興趣實體，而是顯式其他實體。[0088]通過知識融入來對該句子進行擴充并得到知識融入的句子之后，該句子變成“我點的飯配送超時餓了么快遞太久了，好在味道不錯餓了么口碑?！蓖ㄟ^擴充，有三個實體被實體。任何其它實體可以是隨機實體。[0089]本說明書提供了用于全面、高效地執(zhí)行實體識別的方案。具體而言，本方案通過以訓練融合序列匹配任務和實體匹配任務的多任務學習方式來訓練融入知識圖譜的K-BERT模型，并在必要時執(zhí)行向量檢索，能夠準確且高效地識別出感興趣實體，而且能夠識別出隱喻實體。[0090]參見圖1,其示出根據(jù)本說明書實施例的用于執(zhí)行實體識別模型的多任務學習的過程的非常概括性的示意框圖。[0091]如圖1所示，所輸入的句子102連同所使用的知識圖譜104一起，被輸入到K-BERT模料庫來對該K-BERT模型進行預訓練，以得到經(jīng)預訓練的K-BERT模型。這樣的大規(guī)模開放語[0093]此外，還可使用該K-BERT模型并使用相關聯(lián)的實體執(zhí)行實體匹配任務112。[0094]通過序列標注任務110得到的序列標注損失與通過實體匹配任務112得到的實體匹配損失組合起來(例如通過加權求和),得到實體識別模型的總損失。通過迭代序列，使得該總損失最小化，可以得到經(jīng)訓練(或稱經(jīng)微調(diào))的實體識別模型。[0095]應當領會，圖1僅僅是為了說明本說明書實施例的方案的大概框架，其示出了非常粗略甚至不太準確的框圖，其具體細節(jié)應參考下文的描述。[0096]圖1的具體細節(jié)將在下文參考圖4和圖5進一步詳細描述。[0097]圖1中的知識圖譜目前已被廣泛應用。圖2示出了知識圖譜(KnowledgeGraph)的具體示例的一部分。知識圖譜是一種使用圖形結(jié)構(gòu)化數(shù)據(jù)模型或拓撲結(jié)構(gòu)來將知識聚集起來的知識庫。如圖2所示，知識圖譜可包括節(jié)點和邊，其中節(jié)點代表代表這些實體或概念之間的關聯(lián)。在一些示例中(圖2未示出),邊可具有具體含義(例如可指示實體間的隸屬關系等等)。知識圖譜的示例可包括CN-DBpedia、MedicalKG、HowNet等。[0098]優(yōu)選地，可使用針對具體應用領域(applicationd了么網(wǎng)絡訂餐服務的應用場景中，知識圖譜可包括與該網(wǎng)絡訂餐服務相關聯(lián)的實體或概度調(diào)整可與花唄相關聯(lián)，而花唄可能造成頁面卡頓等等。[0099]下面首先簡單介紹一下本申請中所使用的K-BERT模型。K-BERT模型將知識圖譜融樹的形式向輸入句子中融入知識，并在預訓練模型的表示空間中獲取向量表示。K-BERT模型主要包括四個組件：知識層(Knowledgelayer)、嵌入層(Embeddinglayer)、查看層多細節(jié)可參看WeijieLiu等人所發(fā)表的論文《K-BERT:使用知識圖譜賦能語言表示(K-[0100]參見圖3,其示出了根據(jù)本說明書實施例的使用知識圖譜來擴充句子的示例的示意圖。如以上提及的K-BERT論文中所述，可在K-BERT模型的知識層中用知識圖譜來擴充輸入句子Sinput={so,s?,…Si,…,s}(其中s:為第i個字符),并最終得到經(jīng)知識融入的句子(即知識圖中與實體s;的節(jié)點連接的第k個節(jié)點),而rik表示實體si與實體s之間的關系(即知識圖中節(jié)點s;與節(jié)點sik之間的邊)。[0101]在圖3的示例中，假設正在處理輸入句子“我點的飯配送超時太久了，好在味道不輸入句子402,并生成序列標注預測輸出408,該序列標注預測輸出408為該輸入句子的所預LTSM層或CRF層等得到該輸入句子的序列標注表示，作為該輸入句子的序列標注預測輸出[0110]為了針對序列標注任務(在本實施例中具體為命名實體識別(NER)任務)來執(zhí)行訓的句子進行命名實體標注后的標簽{x?,x?,…x,,…,x,其中x;為第i個字符的命名實體標注標簽。[0111]例如，參見圖3中所示的示例，對于句子“在餓了么點了雞排飯”,其經(jīng)擴充并經(jīng)添加開始符號(token)“[CLS]”和結(jié)束符號“[SEP]”的序列為“[CLS]在餓了么點了雞排飯在此示例中采用BIO格式進行標注，但也可采用其它適用的標注格式。[0112]可使用本領域技術人員知曉的任何方式來針對命名實體識別對樣本中的句子進行序列標注，以標注出顯式感興趣實體。針對命名實體識別來對輸入句子的進行標注的具體細節(jié)是本領域所熟知的，在此不再贅述。注意，可不標注句子中的所有命名實體，而僅標方式，可僅識別出感興趣的實體。經(jīng)命名實體標注后的標簽XNER中的元素可均為0。例如，在“味道不錯?！钡氖纠校僭O該句子中沒有感興趣的實體(實際感興趣的為隱喻實體“餓了么”),則該句子的標簽可均為0,即XNER={000……}。[0114]隨后，可基于該序列標注預測輸出408與該輸入句子的序列標注標簽412,來確定該句子的序列標注損失410。該序列標注損失例如可被表示為Loss_sequence。在一個示例[0115]Loss_sequence=cross_entropy_loss(lab[0116]其中l(wèi)abel為序列標注標簽412,而target為該輸入句子的由BERT模型輸出的序列標注預測輸出408。其中cross_entropy_loss為交叉熵損失函數(shù)，交叉熵損失函數(shù)是本領域技術人員已知的，例如其可在多個公開庫(如Pytorch)中找到(CrossEntropyLoss()函數(shù))[0117]可以領會，上面的交叉熵損失函數(shù)僅是示例而非限制，可采用本領域技術人員可構(gòu)想的任何其它適用的損失函數(shù)來計算序列損失標注。[0118]在傳統(tǒng)的單任務訓練過程中，只需要將該序列標注損失Loss_sequence最小化，即可得到針對該序列標注任務的經(jīng)訓練的K-BERT模型。[0119]然而，在執(zhí)行多任務學習時，并非簡單地單獨將該序小化，而是要將多個任務的總損失最小化，其具體過程將在下文中描述。[0120]需要指出的是，上述對序列標注任務的描述僅僅是為了便于理解，而不是為了限制本發(fā)明的范圍，可采用與上述方式不同的任何適當方式來利用K-BERT模型執(zhí)行序列標注任務并生成相應的序列標注損失。[0121]參見圖5,其示出了根據(jù)本說明書實施例的實體匹配任務的過程的示意圖。該過程可與圖1中的右半部分結(jié)合起來看。[0122]在實體識別模型的訓練過程中，該序列標注任務用于得到序列標注任務損失，該序列標注任務損失構(gòu)成實體識別模型的總損失的一部分。在用實體識別模型執(zhí)行實體識別任務的過程中，該序列標注任務用于執(zhí)行命名實體識別，從而得到待處理的句子的顯式感興趣實體。[0125]輸入句子502和知識圖譜504被輸入到基于K-BERT的模型506中(例如輸入到K-是由K-BERT模型輸出的該句子的向量表示。在實際實現(xiàn)中，該句子的向量表示通常可以取員可構(gòu)想的任何方式來獲得輸入句子502的輸出向量，作為實體匹配預測輸出508。[0126]如圖5所示，為了針對實體識別任務來執(zhí)行訓練，可首先對訓練集中的樣本進行隱喻實體標注以獲得其隱喻實體標簽。[0127]對隱喻實體的標注可采用多種方式進行。[0128]在一種實現(xiàn)中，可人工對輸入句子進行隱喻實體標注。例如，可人工將隱喻實體嵌入到輸入句子中，并對所嵌入的隱喻實體進行標注。通常，該人工標注可由專門人員進行。通常，該專門人員知曉該隱喻實體與該輸入句子中的實體的知識圖譜關聯(lián)，因此在進行人工標注時，所確定的隱喻實體可以是知識圖譜中與該輸入句子中的實體相關的實體。例如，可使用對知識圖譜的參考(例如查詢知識圖譜)來協(xié)助進行標注。[0129]在另一實現(xiàn)中，可基于規(guī)則對輸入句子進行隱喻實體標注。例如，可基于知識圖譜[0130]通過對輸入句子進行隱喻實體標注，能夠得到隱喻實體512。[0131]通過這種方式可以得到經(jīng)隱喻實體標注的實體匹配樣本d={Sinput,XTER},其中[0132]隱喻實體標簽可采用任何適當?shù)男问健＠?，該隱喻實體標簽可以為該輸入句子的隱喻實體510的名稱。例如，參見圖3中所示的示例，對于句子“我點的飯配送超時太久了……",其經(jīng)擴充并經(jīng)添加開始符號(token)“[CLS]”和結(jié)束符號“[SEP]"(圖3中未示出)的句子為“[CLS]我點的飯配送超時餓了么快遞太久了……”,其經(jīng)隱喻實體標注后的隱喻[0133]隱喻實體標簽也可采用本領域技術人員可構(gòu)想的其它形式。例如，可采用與序列標注常用的標簽類似的形式，只是所標注的是經(jīng)知識融入的句子。例如，對于圖3中的“[CLS]我點的飯配送超時餓了么快遞太久了……”的示例，其隱喻實體標簽可以是“000000000B-TI-TI-T00000……",即將“餓了么”標注為感興趣實體的序列表[0134]可以領會，不論采用哪種標簽形式，通過隱喻實體標簽510,可以得到隱喻實體[0135]隨后，通過圖神經(jīng)網(wǎng)絡518來處理該隱喻實體512,以將該隱喻實體512向量化，從而獲得該隱喻實體標簽的隱喻實體向量520。利用知識圖譜GCN來對實體進行向量化的具體過程將在下文中詳細描述。[0136]應當領會，在通過基于K-BERT的模型506獲得該輸入句子502的實體匹配預測輸出508,并得到與該輸入句子502的隱喻實體512的隱喻實體向量520之后，可計算該實體匹配任務的實體匹配損失526,該實體匹配損失例如可被表示為Loss_match。在一個示例中，該實體匹配損失Loss_match可按以下方式計算：[0138]其中e_i為由K-BERT模型輸出的該句子的實體匹配預測輸出508(其為由K-BERT模型輸出的該句子的向量表示),而e_t為該句子的隱喻實體向量520。其中distance為向量距示例中，該句子的實體匹配損失Loss_match和該實體匹配預測輸出508與該隱喻實體向量之間的向量距離成正比。[0139]可采用各種方式來實現(xiàn)上述向量距離函數(shù)distance,例如可計算兩個向量間的余[0140]可以看出，上述損失函數(shù)的計算方式使得句子的實體匹配預測輸出與隱喻實體向量盡量相似，從而使得所預測的實體盡量與隱喻實體相似。[0142]在優(yōu)選示例中，在確定實體匹配損失時，除了隱喻實體512之外，還可引入知識嵌入實體516.知識嵌入實體是指是基于知識圖譜被嵌入到句子中的不同于隱喻實體的實體。[0143]與隱喻實體通過隱喻實體標簽來標注不同，無需針對知識嵌入實體進行標注，而是可由該實體識別模型基于算法自動確定知識嵌入實體。[0144]例如，在確定了嵌入句子中的實體之后，將嵌入句子中的實體中排除掉被標注的隱喻實體512,即可得到知識嵌入實體516。優(yōu)選地，可通過K-BERT模型的知識層來確定將哪些實體嵌入了句子，如在上文中已描述的。[0145]在確定了知識嵌入實體之后，可任選其中一個知識嵌入實體放入一樣本中作為知[0146]隨后，類似地，知識嵌入實體516同樣可通過圖神經(jīng)網(wǎng)絡518來處理，以將該知識嵌入實體516向量化，從而獲得該知識嵌入實體516的知識嵌入實體向量524。利用知識圖譜GCN來對實體進行向量化的具體過程將在下文中詳細描述。[0147]在此優(yōu)選示例中，該實體匹配損失Loss_match可按以下方式計算：[0149]其中e_s為知識嵌入實體向量524,β為權重參數(shù)。對于β的取值可使用本領域已知的任何方式來實現(xiàn)。[0150]可以看出，上述損失函數(shù)意在使得句子的實體匹配預測輸出與隱喻實體向量盡量相似，并使得實體匹配預測輸出與知識嵌入實體向量盡量不相似，從而使得所預測的實體盡量與隱喻實體相似，而與知識嵌入實體不相似。也就是說，在該第二示例中，該句子的實體匹配損失Loss_match和該實體匹配預測輸出508與該隱喻實體向量之間的向量距離成正比，而和該實體匹配預測輸出508與知識嵌入實體向量524之間的向量距離成反比。[0151]引入知識嵌入實體增大了信息量，使得訓練后的模型能夠區(qū)分知識圖譜中的隱喻實體和知識嵌入實體。[0153]在確定實體匹配損失時，除了隱喻實體516之外，還可引入隨機實體514。[0154]知識嵌入實體是指是根據(jù)知識圖譜被嵌入到句子中的除隱喻實體之外的實體。[0155]然而，無需針對知識嵌入實體進行標注，而是可由模型基于算法自動確定隨機實體514。[0156]顧名思義，隨機實體是隨機獲取的實體，例如，該隨機實體例如可以是該知識圖譜中除隱喻實體和知識嵌入實體之外的實體。例如，在圖2和圖3的示例中，已經(jīng)確定“餓了么”[0157]替代地，該隨機實體可以是用其它方式隨機構(gòu)造的實體，例如其可以是不包括在知識圖譜中的實體。例如，該隨機實體可以是從更廣泛的數(shù)據(jù)庫中隨機抽取的實體，或者可以是用任何方式隨機生成的實體。[0158]隨后，類似地，隨機實體514同樣可通過圖神經(jīng)網(wǎng)絡518來處理，以將該隨機實體514向量化，從而獲得該隨機實體514的隨機實體向量522。利用知識圖譜GCN來對實體進行向量化的具體過程將在下文中詳細描述。[0159]在此優(yōu)選示例中，該實體匹配損失Loss_match可按以下方式計算：[0162]可以看出，上述損失函數(shù)意在使得句子的實體匹配預測輸出與隱喻實體向量盡量相似，并使得實體匹配預測輸出與隨機實體向量盡量不相似，從而使得所預測的實體盡量與隱喻實體相似，而與隨機實體不相似。也就是說，在該第三示例中，該句子的實體匹配損失Loss_match和該實體匹配預測輸出508與該隱喻實體向量之間的向量距離成正比，而和該實體匹配預測輸出508與隨機實體向量522之間的向量距離成反比。[0163]引入知識嵌入實體增大了信息量，使得訓練后的模型能夠區(qū)分知識圖譜中的隱喻實體和隨機實體。也就是說，可使得訓練后的模型能夠知曉該隱喻實體為知識圖譜中出現(xiàn)[0165]在更優(yōu)選示例中，可同時考慮隱喻實體、知識嵌入實體和隨機實體。此時，實體匹配損失Loss_match可按以下方式計算：[0167]可以看出，上述損失函數(shù)意在使得句子的實體匹配預測輸出與隱喻實體向量盡量在該第四示例中，該句子的實體匹配損失Loss_match和該實體匹配預測輸出與該隱喻實體向量之間的向量距離成正比，和該實體匹配預測輸出與該知識嵌入實體向量之間的向量距離成反比，和該實體匹配預測輸出與該隨機實體向量之間的向量距離成反比，且和該知識嵌入實體向量與該隨機實體向量之間的向量距離成反比。[0168]可以領會，上面的公式4僅僅是一個特殊示例，可以采用滿足上述正反比關系的任e_s)+β3*distance(e_r,e_s)),(公式5)[0170]引入知識嵌入實體增大了信息量，使得訓練后的模型能夠區(qū)分隱喻實體、知識嵌入實體和隨機實體。[0171]如上文所述，在存在多個知識嵌入實體或多個隨機實體的情況下，可對隱喻實體、知識嵌入實體和隨機實體進行組合，使得每個樣本中包括一個隱喻實體、零個或一個知識嵌入實體、以及零個或一個隨機實體。通過這種方式，對于同一句子，可以得到多個輸入樣例，這些輸入樣例可包括不同的嵌入實體和/或隨機實體。[0172]如上文已提及的，需要對隱喻實體512、隨機實體514和知識嵌入實體516中的一者或多者向量化，以便得到相應的隱喻實體向量520、隨機實體向量522和知識嵌入實體向量524.可以理解，對上述實體的向量化應當在知識圖譜的背景中執(zhí)行。在本說明書實施例中，使用與知識圖譜相關聯(lián)的圖神經(jīng)網(wǎng)絡來將實體向量化。具體而言，使用圖神經(jīng)網(wǎng)絡來將該知識圖譜向量化，從而獲得知識圖譜中的實體的向量。[0173]在優(yōu)選示例中，可使用與知識圖譜相關聯(lián)的圖卷積網(wǎng)絡(簡稱“知識圖譜GCN”)來將實體向量化。的字嵌入來生成知識圖譜中的每個節(jié)點的初始嵌入表示。隨后，可通過知識圖譜GCN來每個節(jié)點的初始嵌入表示進行進一步處理(例如池化等),從而獲得每個節(jié)點的最終層嵌入表示。隨后，可在對實體識別模型的訓練過程中迭代更新知識圖譜GCN,以實現(xiàn)對知識圖譜中的節(jié)點的最佳向量化。圖卷積網(wǎng)絡的具體實現(xiàn)細節(jié)是本領域技術人員知曉的，在此不再贅述。[0175]應當領會，圖卷積網(wǎng)絡僅僅是圖神經(jīng)網(wǎng)絡的示例，可采用本領域技術人員可構(gòu)想的任何合適的圖神經(jīng)網(wǎng)絡。[0176]在分別計算出序列標注任務的損失和實體匹配任務的損失之后，可計算整個模型的總損失。參見圖6,其示出了根據(jù)本說明書實施例的總模型的損失的示意圖。[0177]通過將上面執(zhí)行兩個任務的訓練集組合起來，能夠得到根據(jù)本說明書實施例的實于實體匹配任務的訓練樣本{Sinput,XTER}相結(jié)合，可以得到用于訓練整體[0178]如圖6所示，通過將序列標注損失和實體匹配損失組合起來，就可得到該模型的總[0179]隨后，根據(jù)上文所述的方式進行訓練，并分別得到序列標注損實體匹配損失Loss_match。[0180]隨后，該模型的總損失Loss_total可通過以下公式計算：[0181]Loss_total=Loss_sequence+a*Loss_match[0182]其中α為超參數(shù)，其指示實體匹配損失的權重，可用于調(diào)節(jié)序列標注損失和實體匹配損失對總損失的影響程度?？筛鶕?jù)經(jīng)驗或者基于實驗數(shù)據(jù)來確定α值。[0183]根據(jù)上文參考圖1-圖6的描述，可以領會本申請的實體識別模型的組成及其訓練過程。[0184]在獲得總損失Loss_total的函數(shù)表示之后，可迭代地執(zhí)行訓練以最小化所述實體識別模型的總損失，從而得到經(jīng)訓練的實體識別模型。在已經(jīng)描述了樣本和損失函數(shù)的情況下，本領域技術人員知曉如何通過迭代訓練來獲得經(jīng)訓練的實體識別模型，在此不再贅述。[0185]綜合上面的描述，下面概括性地描述實體識別模型的訓練方法。參見圖7,其示出根據(jù)本說明書實施例的用于訓練實體識別模型的示例方法700的示意流程圖。該方法的操作的具體細節(jié)可參考上文的描述。[0186]如圖7所示，方法700可包括：在操作702,可構(gòu)造訓練集。如上文所述，該訓練集可句子的隱喻實體標簽。如上文所述，該序列標注標簽可標注了該句子中的顯式感興趣實體(如有)。該隱喻實體標簽可用于表示該句子的隱喻實體。如上文所述，隱喻實體是該句子實際指向、但未出現(xiàn)在該句子中的實體。[0187]在構(gòu)造訓練集之后，可使用所構(gòu)造的對實體識別模型進行訓練。如上文所述，該實體識別模型可基于經(jīng)預訓練的K-BERT模型。具體而言，該實體識別模型的底層可以是經(jīng)預訓練的K-BERT模型，且后續(xù)層可以是用于執(zhí)行具體任務的其它層。所述其他層的具體實現(xiàn)可由本領域技術人員根據(jù)其任務來進行選擇，本說明書實施例在此方面不受限制。可以理解，除了訓練樣本集之外，與所述句子相關聯(lián)的知識圖譜也被輸入到所述實體識別模型。該知識圖譜例如可以是用于特定應用領域的知識圖譜。[0188]具體而言，對實體識別模型的訓練可采用以下方式來執(zhí)行。[0189]如圖7所示，方法700可包括：在操作704,可將所述訓練集中的訓練樣本輸入到實體識別模型，以得到該訓練樣本中的句子的序列標注預測輸出和實體匹配預測輸出。如上文所述，該句子的序列標注預測輸出可以是該句子的序列標注表示，其可采用上文結(jié)合圖4描述的過程來實現(xiàn)。該句子的實體匹配預測輸出可以是該句子的向量表示，其可采用上文結(jié)合圖5描述的過程來實現(xiàn)。該向量表示例如可采用該句子的第一個字符(即“[CLS]”)的向量表示。[0190]方法700還可包括：在操作706,可基于該句子的序列標注預測輸出和該句子的序列標注標簽確定該句子的序列標注損失Loss_sequence。[0191]方法700還可包括：在操作708,可至少部分地基于該句子的實體匹配預測輸出和該句子的隱喻實體標簽確定該句子的實體匹配損失Loss_match。[0192]如上文中的第一示例所示，可僅基于該隱喻實體標簽來確定句子的實體匹配損失。[0194]首先，可使用與所述知識圖譜相關聯(lián)的圖神經(jīng)網(wǎng)絡來生成該句子的隱喻實體向量。該隱喻實體可從隱喻實體標簽來獲得，且使用與該知識圖譜相關聯(lián)的圖神經(jīng)網(wǎng)絡(例如知識譜圖GCN)可得到對應于該隱喻實體的隱喻實體向量。[0195]隨后，可確定所述句子的實體匹配預測輸出與該隱喻實體向量之間的向量距離。向量距離的計算可參考上文的描述。[0196]然后，可確定該句子的實體匹配損失Loss_match,其中該句子的實體匹配損失Loss_match和該實體匹配預測輸出與該隱喻實體向量之間的向量距離成正比?？蓞⒖忌衔牡墓?。[0197]如上文的第二示例所示，還可基于隱喻實體標簽以及所確定的知識嵌入實體來確定句子的實體匹配損失。[0199]首先，可至少基于所述知識圖譜和該句子的隱喻實體標簽來確定該句子的知識嵌入實體。如上文所述，知識嵌入實體可指基于所述知識圖譜嵌入到該句子中的不同于該隱喻實體的實體。通過隱喻實體標簽，可確定隱喻實體?；谥R圖譜(例如利用K-BERT的知識層)可獲得要嵌入到句子中的一個或多個實體，將隱喻實體從該一個或多個實體排除后，即可獲得該句子的知識嵌入實體。[0200]隨后，可使用所述圖神經(jīng)網(wǎng)絡來生成該句子的知識嵌入實體向量。[0201]然后，可確定該實體匹配預測輸出與該知識嵌入實體向量之間的向量距離。也可確定該實體匹配預測輸出與該隱喻實體向量之間的向量距離。[0202]然后，可至少部分地基于該句子的實體匹配預測輸出和該句子的隱喻實體標簽和知識嵌入實體標簽確定該句子的實體匹配損失Loss_match,其中該句子的實體匹配損失Loss_match和該實體匹配預測輸出與該知識嵌入實體向量之間的向量距離成反比。也就是說，實體匹配損失可和該實體匹配預測輸出與該隱喻實體向量之間的向量距離成正比，并和該實體匹配預測輸出與該知識嵌入實體向量之間的向量距離成反比?？蓞⒖忌衔牡墓絒0203]如上文的第三示例所示，還可基于隱喻實體標簽以及隨機實體來確定句子的實體匹配損失。[0205]首先，可至少基于所述知識圖譜和該句子的隱喻實體標簽來確定該句子的隨機實體，其中所述隨機實體是隨機獲取的實體。獲取隨機實體的過程可參考上文的描述。優(yōu)選地，該隨機實體不同于該隱喻實體和該知識嵌入實體，但不必如此。[0206]隨后，可使用所述圖神經(jīng)網(wǎng)絡來生成該句子的隨機實體向量。[0207]然后，可確定該實體匹配預測輸出與隨機實體向量之間的向量距離。同時，也可確定該實體匹配預測輸出與該隱喻實體向量之間的向量距離[0208]然后，可至少部分地基于該句子的實體匹配預測輸出和該句子的隱喻實體標簽和隨機實體標簽確定該句子的實體匹配損失Loss_match,其中該句子的實體匹配損失Loss_match和該實體匹配預測輸出與該隨機實體向量之間的向量距離成反比。也就是說，實體匹配損失可和該實體匹配預測輸出與該隱喻實體向量之間的向量距離成正比，并和該實體匹配預測輸出與該隨機實體向量之間的向量距離成反比。可參考上文的公式3。[0209]如上文的第四示例所示，還可基于隱喻實體標簽以及知識嵌入實體、隨機實體的組合來確定句子的實體匹配損失。[0210]首先，可至少基于所述知識圖譜和該句子的隱喻實體標簽來確定該句子的知識嵌入實體和隨機實體。[0211]隨后，可使用所述圖神經(jīng)網(wǎng)絡來生成該句子的隨機實體向量和知識嵌入實體向量。[0212]然后，可確定所述句子的實體匹配預測輸出與該隱喻實體向量之間的向量距離?？纱_定該句子的實體匹配預測輸出與該知識嵌入實體向量?？纱_定該句子的實體匹配預測輸出與該隨機實體向量之間的向量距離。還可確定該句子的實體匹配預測輸出與與該隨機實體向量之間的向量距離。[0213]然后，可至少部分地基于該句子的實體匹配預測輸出和該句子的隱喻實體、知識嵌入實體和隨機實體來確定該句子的實體匹配損失Loss_match,其中該句子的實體匹配損失Loss_match和該實體匹配預測輸出與該隱喻實體向量之間的向量距離成正比，和該實體匹配預測輸出與該知識嵌入實體向量之間的向量距離成反比，和該實體匹配預測輸出與該隨機實體向量之間的向量距離成反比，且和該知識嵌入實體向量與該隨機實體向量之間的向量距離成反比。可參見上文的公式4和公式5。[0214]在將隱喻實體、隨機實體或知識嵌入實體分別轉(zhuǎn)換為相應的隱喻實體向量、隨機實體向量或知識嵌入實體向量所使用的圖神經(jīng)網(wǎng)絡可采用各種適用的模型。優(yōu)選地，該圖神經(jīng)網(wǎng)絡為圖卷積網(wǎng)絡。在對該圖神經(jīng)網(wǎng)絡進行初始化時，優(yōu)選地，可使用所述實體識別模型的K-BERT模型的字嵌入來生成知識圖譜中的每個節(jié)點的初始嵌入表示。[0215]可以領會，雖然在圖7中操作708被示出在操作706之外，但這并非限制。在實際應用時，操作706和操作708可按照任何次序執(zhí)行，也[0216]方法700還可包括：在操作710,可確定所述實體識別模型的總損失Loss_total,所述總損失為所述序列標注損失和所述實體匹配損失的加權和，即：Loss_total=Loss_sequence+a*Loss_match。其中α[0217]方法700還可包括：在操作712,可迭代執(zhí)行訓練以最小化所述實體識別模型的總損失，從而得到經(jīng)訓練的實體識別模型。例如，可使用訓練集中的大量訓練樣本迭代地執(zhí)行[0218]可以領會，該總損失反應了兩個任務：其一方面能夠使得所輸出的序列標注預測輸出能夠與顯式感興趣實體盡量匹配，另一方面又使得所輸出的實體匹配預測輸出盡量與隱喻實體向量相似(和/或與知識嵌入實體及隨機實體不相似)。通過這樣的訓練，能夠?qū)崿F(xiàn)以下效果：或者能夠直接通過序列標注預測出顯式感興趣實體，或者能夠輸出與隱喻實體相似的實體的實體向量，該實體向量隨后能被用來在實體想良苦中執(zhí)行檢索。[0219]下面描述使用該實體識別模型來識別實體的具體過程。參見圖8,其示出根據(jù)本說明書實施例的利用該實體識別模型來識別實體的示例方法800的流程圖。[0220]如圖8所示，方法800可包括：在操作802,可獲取待處理的句子。該待處理的句子是指要對其執(zhí)行實體識別的句子。[0221]方法800還可包括：在操作804,可使用如上所述的經(jīng)訓練的實體識別模型來對待處理句子進行處理，如果所述實體識別模型的序列標注預測輸出中得到實體，則輸出所得到的實體作為所識別得到的實體。也就是說，如果該待處理句子中識別出顯式感興趣實體，則可在操作806直接輸出所識別得到的實體作為實體識別的結(jié)果。[0222]方法800還可包括：在操作808,如果所述實體識別模型沒有識別出實體，則可輸出所述實體識別模型的實體匹配預測輸出。該實體匹配預測輸出是與隱喻實體相似的實體向量，其可用于后續(xù)直接執(zhí)行實體向量檢索。[0223]方法800還可包括：在操作810,可使用所述實體匹配預測輸出在實體向量庫中執(zhí)行檢索，以在所述實體向量庫中檢索出與所述實體匹配預測輸出相匹配的實體向量。該實體向量庫例如可以是通過對與所述輸入句子相關聯(lián)的知識圖譜執(zhí)行向量化得到的。該向量化例如可以是通過圖神經(jīng)模型執(zhí)行的。該圖神經(jīng)模型優(yōu)選地可以是知識圖譜GCN模型。在執(zhí)行預測時所使用的圖神經(jīng)模型是與在對該實體識別模型執(zhí)行訓練時所使用的實體識別模型相同。如上文所述，該圖神經(jīng)模型在訓練所述實體識別模型的同時被迭代更新。優(yōu)選地，使用所述實體匹配預測輸出在實體向量庫中執(zhí)行檢索是通過FAISS庫實現(xiàn)的。FAISS庫是由Facebook公司開發(fā)的用于高效地執(zhí)行向量檢索的庫。使用FAISS庫執(zhí)行向量檢索的具體過程在此不再贅述。[0224]方法800還可包括：在操作812,可將與所檢索出的實體向量相對應的實體作為所識別的實體。例如，可通過該圖神經(jīng)網(wǎng)絡來獲得該實體向量的對應實體。[0225]參見圖9,其示出根據(jù)本說明書實施例的用于訓練實體識別模型的示例系統(tǒng)900的示意圖。該系統(tǒng)900可被用于執(zhí)行實體識別模型的訓練。[0226]如圖9所示，系統(tǒng)900可包括訓練集構(gòu)造模塊902,用于構(gòu)造訓練集，其中所述訓練集包括多個訓練樣本d={Sinput,XNER,XTER},其中Sinput為句子，XNER為該句子的序列標中隱喻實體是該句子實際指向、但未出現(xiàn)在該句子中的實體。[0227]系統(tǒng)900還可包括實體識別模型訓練模塊904,用于使用所述訓練集對所述實體識別模型執(zhí)行訓練，所述實體識別模型基于經(jīng)預訓練的K-BERT模型。其中該實體識別模型訓練模塊904進一步包括：[0228]預測模塊906,其用于將所述訓練集中的訓練樣本輸入到實體識別模型，以得到該訓練樣本中的句子的序列標注預測輸出和實體匹配預測輸出。具體而言，其可包括序列標注預測模塊和實體匹配預測模塊(圖中未示出)。[0229]損失計算模塊908,用于基于該句子的序列標注預測輸出和該句子的序列標注標簽確定該句子的序列標注損失Loss_sequence,以及至少部分地基于該句子的實體匹配預測輸出和該句子的隱喻實體標簽確定該句子的實體匹配損失Loss_match。具體而言，其可包括序列標注損失計算模塊和實體匹配損失計算模塊。[0230]損失計算模塊908還用于確定所述實體識別模型的總損失Loss_total,所述總損失為所述序列標注損失和所述實體匹配損失的加權和，即：Loss_total=Loss_sequence+α*Loss_match,其中α指示實體匹[0231]迭代訓練模塊910,用于迭代執(zhí)行訓練以最小化所述實體識別模型的總損失，從而得到經(jīng)訓練的實體識別模型。[0232]相關操作的具體細節(jié)可參考上文對方法700的具體描述。[0233]參見圖10,其示出根據(jù)本說明書實施例的用于實體識別