(19)國(guó)家知識(shí)產(chǎn)權(quán)局(12)發(fā)明專利(22)申請(qǐng)日2022.07.08(43)申請(qǐng)公布日2022.10.14普通合伙)21235(56)對(duì)比文件審查員袁冠群GO6N5/025(2023.01)權(quán)利要求書(shū)2頁(yè)說(shuō)明書(shū)5頁(yè)附圖3頁(yè)獲取知識(shí)圖語(yǔ)三元組數(shù)據(jù)并根據(jù)實(shí)體和關(guān)系的id獲取其文本說(shuō)明獲取知識(shí)圖語(yǔ)三元組數(shù)據(jù)并根據(jù)實(shí)體和關(guān)系的id獲取其文本說(shuō)明對(duì)正樣本進(jìn)行負(fù)采樣構(gòu)建相應(yīng)的負(fù)三元組并最得到應(yīng)用于知識(shí)圖譜補(bǔ)全的訓(xùn)練集、驗(yàn)證集和測(cè)試集將訓(xùn)練集中的三元組劃分為(頭實(shí)體，關(guān)系)、(尾實(shí)體)兩個(gè)部分，并最終構(gòu)造成BERT預(yù)訓(xùn)練語(yǔ)言模型的輸入形式對(duì)于構(gòu)途好的(頭實(shí)體，關(guān)系)、(尾實(shí)體)兩部分訓(xùn)練數(shù)據(jù)，分別榆入到兩個(gè)BERT預(yù)訓(xùn)練語(yǔ)言模型中獲取嵌入向量使用1D卷積將嵌入向量升雄，生成特征圖，并應(yīng)用ResNet殘差神經(jīng)同絡(luò)，將特征池化并送入到頂部是一個(gè)sofumax的全鏈接層中，計(jì)算正負(fù)樣本中每個(gè)三元組的相似度得分和橫失，并更新模型中的權(quán)重參數(shù)對(duì)模型進(jìn)行訓(xùn)練在測(cè)試集中分別測(cè)試鏈接預(yù)測(cè)和動(dòng)態(tài)知識(shí)圖譜補(bǔ)全結(jié)果。雙流嵌入和深度神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)知識(shí)圖譜補(bǔ)全應(yīng)用兩個(gè)相同的BERT預(yù)訓(xùn)練模型進(jìn)行知識(shí)的嵌段，使用了殘差神經(jīng)網(wǎng)絡(luò)，相比于傳統(tǒng)的CNN殘差神經(jīng)網(wǎng)絡(luò)擁有更良好的性能，擺脫了隨著網(wǎng)絡(luò)層21.一種基于雙流嵌入和深度神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)知識(shí)圖譜補(bǔ)全方法，其特征在于，步驟如步驟1:獲取數(shù)據(jù)中實(shí)體和關(guān)系的文本信息；步驟2:對(duì)數(shù)據(jù)進(jìn)行負(fù)采樣，獲取到負(fù)樣本；步驟3:將頭實(shí)體和關(guān)系進(jìn)行組合，同時(shí)，將頭實(shí)體和關(guān)系、尾實(shí)體構(gòu)造成BERT的輸入數(shù)據(jù)形式；步驟4:將頭實(shí)體和關(guān)系、尾實(shí)體的文本表示分別輸入到兩個(gè)BERT中，獲取兩部分的嵌入向量；步驟5:對(duì)兩部分嵌入向量按照原有維度進(jìn)行拼接；步驟6:使用一維卷積進(jìn)行矩陣升維并投影到二維平面中，生成特征圖；步驟7:將特征圖輸入到若干個(gè)殘差模塊中進(jìn)行特征提?。徊襟E8:對(duì)特征矩陣使用平均池化，再將其輸入到頂部是Softmax分類器的全連接層當(dāng)中獲取三元組得分；步驟9:通過(guò)模型計(jì)算訓(xùn)練集中所有三元組得分，并利用分?jǐn)?shù)進(jìn)一步對(duì)模型進(jìn)行訓(xùn)練；步驟10:在訓(xùn)練集上分別驗(yàn)證模型鏈接預(yù)測(cè)效果和對(duì)未在訓(xùn)練集中出現(xiàn)過(guò)的三元組補(bǔ)全的結(jié)果。2.如權(quán)利要求1所述的基于雙流嵌入和深度神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)知識(shí)圖譜補(bǔ)全方法，其特征在于，針對(duì)步驟1,當(dāng)實(shí)體或關(guān)系的描述存在時(shí)，使用描述代替其名稱；當(dāng)實(shí)體或關(guān)系的描述不存在時(shí)，直接使用名稱作為文本信息。3.如權(quán)利要求2所述的基于雙流嵌入和深度神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)知識(shí)圖譜補(bǔ)全方法，其特征在于，針對(duì)步驟2,采用隨機(jī)替換的負(fù)采樣策略，將給定三元組的頭實(shí)體或尾實(shí)體實(shí)去除并隨機(jī)使用其他實(shí)體進(jìn)行替換，當(dāng)重組的三元組在原始知識(shí)圖譜中不存在時(shí)，將其作為負(fù)樣本添加到負(fù)樣本列表中。4.如權(quán)利要求3所述的基于雙流嵌入和深度神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)知識(shí)圖譜補(bǔ)全方法，其特征在于，針對(duì)步驟3,使用BERT的tokenizer將實(shí)體和關(guān)系的描述或名稱，并根據(jù)提供的詞典將每個(gè)詞映射為id,再將頭實(shí)體、關(guān)系和尾實(shí)體構(gòu)造成BERT輸入的形式。5.如權(quán)利要求4所述的基于雙流嵌入和深度神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)知識(shí)圖譜補(bǔ)全方法，其特征在于，針對(duì)步驟4,將構(gòu)造好的頭實(shí)體、關(guān)系和尾實(shí)體的兩部分輸入內(nèi)容，分別輸入到兩個(gè)相同的BERT預(yù)訓(xùn)練模型中，并設(shè)置兩個(gè)BERT權(quán)值共享，獲取到兩部分的嵌入向量。6.如權(quán)利要求5所述的基于雙流嵌入和深度神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)知識(shí)圖譜補(bǔ)全方法，其特征在于，針對(duì)步驟5,將得到的兩部分嵌入向量，按照原有維度進(jìn)行堆疊，堆疊后得到長(zhǎng)度為768,通道數(shù)為2的一維嵌入向量。7.如權(quán)利要求6所述的基于雙流嵌入和深度神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)知識(shí)圖譜補(bǔ)全方法，其特征在于，針對(duì)步驟6,應(yīng)用一維卷積沿著步驟5得到的堆疊向量滑動(dòng)，并將卷積得到的特征投針對(duì)步驟7,對(duì)步驟6生成的特征圖使用ResNet殘差神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，產(chǎn)生新的特征矩陣。8.如權(quán)利要求7所述的基于雙流嵌入和深度神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)知識(shí)圖譜補(bǔ)全方法，其特征在于，針對(duì)步驟8,將生成的特征矩陣做平均池化，并送入到一個(gè)頂部是softmax分類器的3全連接層中，并計(jì)算三元組的得分，根據(jù)得分判斷實(shí)體之間是否存在關(guān)系，將鏈接預(yù)測(cè)問(wèn)題轉(zhuǎn)化為二分類問(wèn)題。9.如權(quán)利要求8所述的基于雙流嵌入和深度神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)知識(shí)圖譜補(bǔ)全方法，其特征在于，針對(duì)步驟9,訓(xùn)練數(shù)據(jù)中添加0,1標(biāo)簽，將訓(xùn)練數(shù)據(jù)送入模型中，并反向更新模型中權(quán)重參數(shù)對(duì)模型進(jìn)行訓(xùn)練。10.如權(quán)利要求9所述的基于雙流嵌入和深度神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)知識(shí)圖譜補(bǔ)全方法，其特征在于，針對(duì)步驟10,測(cè)試過(guò)程中不再使用類別標(biāo)簽，而是使用三元組計(jì)算得來(lái)的分?jǐn)?shù)進(jìn)行4技術(shù)領(lǐng)域[0001]本發(fā)明涉及知識(shí)圖譜補(bǔ)全領(lǐng)域，特別是動(dòng)態(tài)知識(shí)圖譜補(bǔ)全技術(shù)領(lǐng)域，涉及到?jīng)]有在知識(shí)圖譜中出現(xiàn)的關(guān)系和實(shí)體。背景技術(shù)[0002]知識(shí)圖譜是一種特殊的數(shù)據(jù)庫(kù)，通常以RDF三元組(頭實(shí)體、關(guān)系、尾實(shí)體)的形式陳述一條事實(shí)。目前，知識(shí)圖譜已經(jīng)被廣泛的應(yīng)用到智能問(wèn)答、機(jī)器翻譯、個(gè)性化推薦等諸多領(lǐng)域，但許多大型知識(shí)圖譜仍存在數(shù)據(jù)稀疏問(wèn)題，大量客觀存在的事實(shí)關(guān)系未被充分挖[0003]知識(shí)圖譜補(bǔ)全就是為了解決上述問(wèn)題，通過(guò)預(yù)測(cè)實(shí)體之間的缺失的關(guān)系，從而產(chǎn)生新的三元組對(duì)原有的知識(shí)庫(kù)進(jìn)行補(bǔ)充。知識(shí)圖譜補(bǔ)全技術(shù)在方法上分為兩大類，第一類是基于圖嵌入的方法，通過(guò)計(jì)算三元組的結(jié)構(gòu)信息判斷實(shí)體之前的關(guān)系，這類方法模型簡(jiǎn)單，但沒(méi)有結(jié)合知識(shí)庫(kù)中知識(shí)的文本信息，因此，這類方法只能做靜態(tài)知識(shí)補(bǔ)全，不能泛化到在訓(xùn)練過(guò)程中未見(jiàn)過(guò)的實(shí)體；第二類方法是通過(guò)三元組的文本說(shuō)明或其名稱的文本語(yǔ)義信息進(jìn)行鏈接預(yù)測(cè)，這類方法雖然正確率較高且可以預(yù)測(cè)知識(shí)圖譜中不存的實(shí)體和關(guān)系，但此類方法計(jì)算時(shí)間成本較高，容易出現(xiàn)組合爆炸的問(wèn)題，無(wú)法在大型知識(shí)圖譜中應(yīng)用。發(fā)明內(nèi)容[0004]發(fā)明目的：為了解決動(dòng)態(tài)知識(shí)圖譜補(bǔ)全問(wèn)題提供一種基于雙流嵌入和深度神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)知識(shí)圖譜補(bǔ)全方法，該方法在提高模型效果的同時(shí)減少了實(shí)體嵌入和推理的時(shí)[0005]本發(fā)明采用的技術(shù)方案為：一種基于雙流嵌入和深度神經(jīng)網(wǎng)絡(luò)的知識(shí)圖譜補(bǔ)全方[0006]步驟1:獲取數(shù)據(jù)中實(shí)體和關(guān)系的文本信息；[0007]步驟2:對(duì)數(shù)據(jù)進(jìn)行負(fù)采樣，獲取到負(fù)樣本；入數(shù)據(jù)形式；[0009]步驟4:將頭實(shí)體和關(guān)系、尾實(shí)體的文本表示分別輸入到兩個(gè)BERT中，獲取兩部分的嵌入向量；[0010]步驟5:對(duì)兩部分嵌入向量按照原有維度進(jìn)行拼接；[0011]步驟6:使用一維卷積進(jìn)行矩陣升維并投影到二維平面中，生成特征圖；[0012]步驟7:將特征圖輸入到多個(gè)殘差模塊中進(jìn)行特征提??；[0013]步驟8:對(duì)特征矩陣使用平均池化，再將其輸入到頂部是Softmax分類器的全連接層當(dāng)中獲取三元組得分；[0014]步驟9:通過(guò)模型計(jì)算訓(xùn)練集中所有三元組得分，并利用分?jǐn)?shù)進(jìn)一步對(duì)模型進(jìn)行訓(xùn)5[0015]步驟10:在訓(xùn)練集上分別驗(yàn)證模型鏈接預(yù)測(cè)效果和對(duì)未在訓(xùn)練集中出現(xiàn)過(guò)的三元組補(bǔ)全的結(jié)果。據(jù)集，和多關(guān)系數(shù)據(jù)集NELL-ONE,在數(shù)據(jù)集中存在一定的實(shí)體和關(guān)系的描述，當(dāng)實(shí)體或關(guān)系的描述存在時(shí)，使用描述代替其名稱，當(dāng)實(shí)體或關(guān)系的描述不存在時(shí)，直接使用名稱作為文本信息。[0017]進(jìn)一步的，針對(duì)步驟2,采用隨機(jī)替換的負(fù)采樣策略，將給定三元組的頭實(shí)體或尾實(shí)體實(shí)去除并隨機(jī)使用其他實(shí)體進(jìn)行替換，當(dāng)重組的三元組在原始知識(shí)圖譜中不存在時(shí)，將其作為負(fù)樣本添加到負(fù)樣本列表中。[0018]進(jìn)一步的，針對(duì)步驟3,首先，使用BERT的tokenizer將實(shí)體和關(guān)系的描述或名稱分詞后轉(zhuǎn)換為index的形式，再將頭實(shí)體、關(guān)系和尾實(shí)體分別添加[CLS]和[SEP]將其構(gòu)造成[0019]進(jìn)一步的，針對(duì)步驟4,為了減少嵌入和推理的時(shí)間避免組合爆炸問(wèn)題的產(chǎn)生，在嵌入部分采用兩分支的孿生網(wǎng)絡(luò)的結(jié)構(gòu)，將步驟3得到的兩部分輸入內(nèi)容，分別輸入到兩個(gè)相同的BERT預(yù)訓(xùn)練模型中，并設(shè)置兩個(gè)BERT權(quán)值共享，得到兩部分的嵌入向量。[0020]進(jìn)一步的，針對(duì)步驟5,將步驟4中得到的頭實(shí)體、關(guān)系和尾實(shí)體兩部分長(zhǎng)度為768通道數(shù)為1的一維嵌入向量，按照原有維度進(jìn)行堆疊，得到長(zhǎng)度為768通道數(shù)為2的一維嵌入向量。[0021]進(jìn)一步的，針對(duì)步驟6,應(yīng)用1個(gè)一維卷積核對(duì)步驟5得到的堆疊向量進(jìn)行卷積，并將得到的特征投影到一個(gè)二維平面中，生成特征圖。[0022]進(jìn)一步的，針對(duì)步驟7,在神經(jīng)網(wǎng)絡(luò)可以收斂的前提下，隨著網(wǎng)絡(luò)層數(shù)不斷增加，梯度的相關(guān)性會(huì)持續(xù)衰減，導(dǎo)致網(wǎng)絡(luò)表現(xiàn)逐漸變差，而殘差神經(jīng)網(wǎng)絡(luò)可以有效解決上述問(wèn)題，保證在堆疊網(wǎng)絡(luò)的過(guò)程中，網(wǎng)絡(luò)不會(huì)因?yàn)槔^續(xù)堆疊而產(chǎn)生退化。因此，對(duì)步驟6生成的特征圖使用ResNet殘差神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，產(chǎn)生新的特征矩陣。[0023]進(jìn)一步的，針對(duì)步驟8,將步驟7中生成的特征矩陣做平均池化，并送入到一個(gè)頂部是softmax分類器的全連接層中，并計(jì)算三元組的得分，根據(jù)得分判斷實(shí)體之間是否存在關(guān)系，將鏈接預(yù)測(cè)任務(wù)轉(zhuǎn)化為一個(gè)簡(jiǎn)單二分類任務(wù)。[0024]進(jìn)一步的，針對(duì)步驟9,在步驟2中按照1:3的比例分別取出正樣本和負(fù)樣本構(gòu)造訓(xùn)練樣本，同時(shí)，在步驟8中將鏈接預(yù)測(cè)問(wèn)題被轉(zhuǎn)換為頭尾實(shí)體是否存在關(guān)系的二分類問(wèn)題，因此，訓(xùn)練數(shù)據(jù)中添加的標(biāo)簽為0,1標(biāo)簽，將數(shù)據(jù)送入模型中，并反向更新模型中權(quán)重參數(shù)對(duì)模型進(jìn)行訓(xùn)練。[0025]進(jìn)一步的，針對(duì)步驟10,測(cè)試過(guò)程中不再使用類別標(biāo)簽，而是使用三元組計(jì)算得來(lái)?yè)?jù)集上的鏈接預(yù)測(cè)實(shí)驗(yàn)，二是在NELL-0NE數(shù)據(jù)集上測(cè)試動(dòng)態(tài)知識(shí)補(bǔ)全效果。[0026]有益效果：[0027]本發(fā)所述的基于雙流嵌入和深度神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)知識(shí)圖譜補(bǔ)全方法，將三元組分為不對(duì)稱的兩個(gè)部分，使用孿生網(wǎng)絡(luò)的結(jié)構(gòu)應(yīng)用兩個(gè)相同的BERT預(yù)訓(xùn)練模型進(jìn)行知識(shí)的嵌入，在引入了知識(shí)語(yǔ)意信息的同時(shí)節(jié)約了大量的時(shí)間成本，避免組合爆炸問(wèn)題的產(chǎn)生；在推理階段，使用了殘差神經(jīng)網(wǎng)絡(luò)，相比于傳統(tǒng)的CNN,殘差神經(jīng)網(wǎng)絡(luò)擁有更良好的性能，擺脫了6隨著網(wǎng)絡(luò)層數(shù)的增加出現(xiàn)的模型退化的問(wèn)題。本發(fā)明擁有良好的性能，兼具高效和精確兩方面的特性。附圖說(shuō)明[0028]圖1為本發(fā)明實(shí)施例所公開(kāi)的一種基于雙流嵌入和深度神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)知識(shí)圖譜補(bǔ)全的流程示意圖；[0029]圖2為本發(fā)明中特征提取ResNet網(wǎng)絡(luò)結(jié)構(gòu)圖；[0030]圖3為本發(fā)明中的雙流嵌入和深度神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)知識(shí)圖譜補(bǔ)全模型的核心框架具體實(shí)施方式[0031]下面將參照附圖更詳細(xì)地描述本發(fā)明一種基于雙流嵌入和深度神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)知識(shí)圖譜補(bǔ)全方法的具體操作步驟。進(jìn)一步闡明本發(fā)明，應(yīng)理解這些實(shí)例僅用于說(shuō)明本發(fā)明而不用于限制本發(fā)明的范圍，在閱讀了本發(fā)明之后，本領(lǐng)域技術(shù)人員對(duì)本發(fā)明的各種等價(jià)形式的修改均落于本申請(qǐng)所附權(quán)利要求所限定的范圍。[0032]一種基于雙流嵌入和深度神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)知識(shí)圖譜補(bǔ)全方法，如圖1所示，包括以[0033]步驟1:獲取數(shù)據(jù)中實(shí)體和關(guān)系的文本信息；[0034]本發(fā)明所使用的知識(shí)圖譜補(bǔ)全方法屬于基于表示學(xué)習(xí)類的知識(shí)補(bǔ)全方法，在訓(xùn)練和預(yù)測(cè)過(guò)程依賴于實(shí)體和關(guān)系的語(yǔ)義信息進(jìn)行實(shí)體之間關(guān)系的推理，所以，首先需要對(duì)三元組中實(shí)體和關(guān)系進(jìn)行文本信息替換。[0035]對(duì)于知識(shí)圖譜中的實(shí)體和關(guān)系，通過(guò)其index檢索到數(shù)據(jù)集中其對(duì)應(yīng)的文本說(shuō)明，并使用文本說(shuō)明對(duì)三元組中的知識(shí)進(jìn)行替換，當(dāng)某些知識(shí)的文本說(shuō)明不存在時(shí)，使用其名稱作為文本信息。[0036](h,r,t)=(Th,T,T)公式(1)[0037]其中h、r、t分別表示原始三元組中的頭實(shí)體、關(guān)系和尾實(shí)體；T.、T,、T表示使用知識(shí)的文本信息替換過(guò)的頭實(shí)體、關(guān)系和尾實(shí)體。[0038]步驟2:對(duì)數(shù)據(jù)進(jìn)行負(fù)采樣，獲取到負(fù)樣本；[0039]在知識(shí)圖譜補(bǔ)全任務(wù)的數(shù)據(jù)集中，所有的三元組均認(rèn)為是客觀存在的正樣本，為了滿足模型訓(xùn)練和性能測(cè)試的需求，需要對(duì)數(shù)據(jù)中的正樣本進(jìn)行負(fù)采樣，構(gòu)建對(duì)應(yīng)的負(fù)樣[0040]本發(fā)明采用元素替換的方式構(gòu)造負(fù)樣本，即將正樣本三元組中的實(shí)體隨機(jī)替換為其他實(shí)體，當(dāng)替換后的三元組不存于原始的知識(shí)圖譜當(dāng)中時(shí)，就將其作為負(fù)樣本，存儲(chǔ)到負(fù)樣本列表中。訓(xùn)練過(guò)程中為了加速模型收斂，同時(shí)防止過(guò)擬合問(wèn)題，需要根據(jù)模型設(shè)置正負(fù)樣本的比例，保證訓(xùn)練過(guò)程中，正負(fù)樣本平衡，經(jīng)測(cè)試本發(fā)明中正負(fù)樣本的比例為1:3時(shí)模型收斂速度最快。[0041]對(duì)正樣本tp進(jìn)行負(fù)采樣：tp'∈{(h,r,t')|t′∈Eへ{(h,r,t')?[0042]7入有一定的格式要求，先使用tokenizer進(jìn)行分詞，將實(shí)體和關(guān)系的句子描述轉(zhuǎn)化為和[SEP]標(biāo)志。的嵌入向量；[0051]使用兩個(gè)相同的BERT對(duì)步驟3中構(gòu)建的兩部分輸大池化來(lái)獲取固定長(zhǎng)度為768的向量作為知識(shí)的嵌入向量，該向量包含了知識(shí)的語(yǔ)義信息[0055]E、E分別表示頭實(shí)體、關(guān)系和尾實(shí)體的嵌入向量，在實(shí)驗(yàn)中設(shè)置公式(5)和公式元組。83卷積、1×1卷積組成，每個(gè)卷積層之前都需要對(duì)輸入特征進(jìn)行批量歸