公司16225專利代理師萬(wàn)歡歡GO6N5/022(GO6N5/04(2023.01)結(jié)合知識(shí)圖譜的光明大模型文化知識(shí)生成(57)摘要本申請(qǐng)涉及結(jié)合知識(shí)圖譜的光明大模型文元數(shù)據(jù)包括文本時(shí)空元數(shù)據(jù)和圖像時(shí)刻元數(shù)據(jù)；聯(lián)多模態(tài)內(nèi)容，提升了文化知識(shí)服務(wù)的精準(zhǔn)性與21.結(jié)合知識(shí)圖譜的光明大模型文化知識(shí)生成與檢索方法，其特征在于，所述方法包括：根據(jù)多模態(tài)文化數(shù)據(jù)進(jìn)行實(shí)體抽取、關(guān)系建模與動(dòng)態(tài)補(bǔ)全處理，并結(jié)合模糊時(shí)間推理算法與跨模態(tài)對(duì)齊機(jī)制，構(gòu)建文化知識(shí)圖譜，所述多模態(tài)文化數(shù)據(jù)包括非結(jié)構(gòu)化文化文本、圖像數(shù)據(jù)和時(shí)空元數(shù)據(jù)，所述時(shí)空元數(shù)據(jù)包括文本時(shí)空元數(shù)據(jù)和圖像時(shí)刻元數(shù)據(jù)；通過(guò)用戶查詢語(yǔ)句和所述文化知識(shí)圖譜，結(jié)合大模型進(jìn)行語(yǔ)義對(duì)齊處理，得到跨模態(tài)語(yǔ)義對(duì)齊的聯(lián)合表示；基于所述聯(lián)合表示進(jìn)行多模態(tài)檢索-生成聯(lián)合優(yōu)化，得到文化知識(shí)描述和關(guān)聯(lián)多模態(tài)2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)多模態(tài)文化數(shù)據(jù)進(jìn)行實(shí)體抽取、關(guān)系建模與動(dòng)態(tài)補(bǔ)全處理，并結(jié)合模糊時(shí)間推理算法與跨模態(tài)對(duì)齊機(jī)制，構(gòu)建文化知識(shí)圖根據(jù)所述非結(jié)構(gòu)化文化文本和所述圖像數(shù)據(jù)，通過(guò)跨模態(tài)聯(lián)合嵌入模型進(jìn)行實(shí)體與關(guān)系抽取處理，得到實(shí)體向量集合和關(guān)系集合，所述跨模態(tài)聯(lián)合嵌入模型由文本編碼器和圖像編碼器組成；通過(guò)所述時(shí)空元數(shù)據(jù)的時(shí)間模糊描述，采用高斯分布模型構(gòu)建時(shí)間概率密度函數(shù)，得到模糊時(shí)間標(biāo)簽；根據(jù)所述實(shí)體向量集合和所述關(guān)系集合，通過(guò)圖遍歷算法生成實(shí)體關(guān)聯(lián)路徑，并通過(guò)預(yù)設(shè)路徑數(shù)量閾值，篩選出稀疏實(shí)體路徑；根據(jù)所述稀疏實(shí)體路徑，通過(guò)強(qiáng)化學(xué)習(xí)策略進(jìn)行路徑補(bǔ)全處理，生成缺失的三元組，所述強(qiáng)化學(xué)習(xí)策略的獎(jiǎng)勵(lì)函數(shù)由文化領(lǐng)域一致性和用戶反饋置信度構(gòu)成，其中，所述文化領(lǐng)域一致性通過(guò)預(yù)訓(xùn)練的文化語(yǔ)義空間距離計(jì)算，所述用戶反饋置信度根據(jù)用戶對(duì)歷史生成結(jié)果的評(píng)分?jǐn)?shù)據(jù)統(tǒng)計(jì)得出；將所述實(shí)體向量集合、所述關(guān)系集合、所述模糊時(shí)間標(biāo)簽和所述缺失的三元組進(jìn)行整3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過(guò)用戶查詢語(yǔ)句和所述文化知識(shí)圖根據(jù)所述用戶查詢語(yǔ)句，通過(guò)大模型進(jìn)行文本隱層表示生成處理，得到文本隱層表示，所述大模型為基于Transformer架構(gòu)的預(yù)訓(xùn)練語(yǔ)言模型；基于所述用戶查詢語(yǔ)句，從所述文化知識(shí)圖譜中進(jìn)行子圖檢索處理，得到關(guān)聯(lián)子圖；基于跨模態(tài)注意力機(jī)制將所述文本隱層表示和所述關(guān)聯(lián)子圖進(jìn)行融合處理，得到初步融合表示；通過(guò)對(duì)比學(xué)習(xí)損失函數(shù)將所述初步融合表示的實(shí)體向量和所述文化知識(shí)圖譜的實(shí)體向量進(jìn)行語(yǔ)義對(duì)齊處理，得到所述聯(lián)合表示。4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述聯(lián)合表示進(jìn)行多模態(tài)檢索-生成聯(lián)合優(yōu)化，得到文化知識(shí)描述和關(guān)聯(lián)多模態(tài)根據(jù)用戶查詢語(yǔ)句中的模糊時(shí)間詞，通過(guò)概率時(shí)間區(qū)間映射進(jìn)行事件檢索處理，得到候選事件集合；將所述候選事件集合和所述聯(lián)合表示輸入所述大模型進(jìn)行上下文語(yǔ)義理解，得到初始文本描述；3根據(jù)用戶對(duì)所述初始文本描述的顯式反饋行為，通過(guò)強(qiáng)化學(xué)習(xí)算法進(jìn)行自適應(yīng)修正處理，得到更新后的用戶偏好，所述顯式反饋行包括用戶點(diǎn)擊、用戶評(píng)分或文本修正操作；根據(jù)所述初始文本描述和所述更新后的用戶偏好，通過(guò)多模態(tài)匹配算法生成所述文化知識(shí)描述，并對(duì)所述文化知識(shí)圖譜中進(jìn)行檢索，輸出所述關(guān)聯(lián)多模態(tài)內(nèi)容。5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：根據(jù)所述文化知識(shí)描述中的實(shí)體關(guān)鍵詞，從所述文化知識(shí)圖譜中檢索出所述關(guān)聯(lián)多模態(tài)內(nèi)容，所述關(guān)聯(lián)多模態(tài)內(nèi)容包括關(guān)聯(lián)文本數(shù)據(jù)和關(guān)聯(lián)圖像數(shù)據(jù)，并計(jì)算出所述關(guān)聯(lián)多模態(tài)內(nèi)容與所述文化知識(shí)描述的跨模態(tài)語(yǔ)義相似度；若所述跨模態(tài)語(yǔ)義相似度低于預(yù)設(shè)閾值，則通過(guò)所述大模型對(duì)所述文化知識(shí)描述進(jìn)行上下文語(yǔ)義修正處理，生成優(yōu)化后的文化知識(shí)描述，并從所述文化知識(shí)圖譜中重新檢索，得到優(yōu)化關(guān)聯(lián)多模態(tài)內(nèi)容；基于所述更新后的用戶偏好，對(duì)所述優(yōu)化后的文化知識(shí)描述與優(yōu)化關(guān)聯(lián)多模態(tài)內(nèi)容進(jìn)行加權(quán)融合處理，輸出最終文化知識(shí)描述和最終關(guān)聯(lián)多模態(tài)內(nèi)容。6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)比學(xué)習(xí)損失函數(shù)的計(jì)算公式為：所述大模型生成的文本隱層表示，t為溫度參數(shù)，用于調(diào)節(jié)語(yǔ)義對(duì)齊的嚴(yán)格程度，N為負(fù)樣本數(shù)量。7.結(jié)合知識(shí)圖譜的光明大模型文化知識(shí)生成與檢索系統(tǒng)，其特征在于，所述系統(tǒng)包括：知識(shí)圖譜構(gòu)建模塊，用于根據(jù)多模態(tài)文化數(shù)據(jù)進(jìn)行實(shí)體抽取、關(guān)系建模與動(dòng)態(tài)補(bǔ)全處理，并結(jié)合模糊時(shí)間推理算法與跨模態(tài)對(duì)齊機(jī)制，構(gòu)建文化知識(shí)圖譜，所述多模態(tài)文化數(shù)據(jù)包括非結(jié)構(gòu)化文化文本、圖像數(shù)據(jù)和時(shí)空元數(shù)據(jù)，所述時(shí)空元數(shù)據(jù)包括文本時(shí)空元數(shù)據(jù)和圖像時(shí)刻元數(shù)據(jù)；語(yǔ)義對(duì)齊處理模塊，用于通過(guò)用戶查詢語(yǔ)句和所述文化知識(shí)圖譜，結(jié)合大模型進(jìn)行語(yǔ)義對(duì)齊處理，得到跨模態(tài)語(yǔ)義對(duì)齊的聯(lián)合表示；聯(lián)合優(yōu)化處理模塊，用于基于所述聯(lián)合表示進(jìn)行多模態(tài)檢索-生成聯(lián)合優(yōu)化，得到文化知識(shí)描述和關(guān)聯(lián)多模態(tài)內(nèi)容。8.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1至6中任一項(xiàng)所述的方法的步驟。9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至6中任一項(xiàng)所述的方法的步驟。4技術(shù)領(lǐng)域[0001]本發(fā)明屬于人工智能技術(shù)領(lǐng)域，特別是涉及結(jié)合知識(shí)圖譜的光明大模型文化知識(shí)生成與檢索方法。背景技術(shù)[0002]隨著人工智能技術(shù)的快速發(fā)展，知識(shí)圖譜與自然語(yǔ)言處理技術(shù)的結(jié)合逐漸成為文化知識(shí)管理與智能檢索領(lǐng)域的研究熱點(diǎn)。然而，傳統(tǒng)文化知識(shí)處理方式往往依賴于結(jié)構(gòu)化數(shù)據(jù)庫(kù)或單一模態(tài)數(shù)據(jù)抽取，例如通過(guò)規(guī)則匹配從文本中提取實(shí)體關(guān)系，或基于圖像分類模型進(jìn)行視覺特征標(biāo)注。一方面，該方式中文本與圖像數(shù)據(jù)的語(yǔ)義關(guān)聯(lián)較弱，跨模態(tài)對(duì)齊主要依賴人工定義規(guī)則，難以應(yīng)對(duì)大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)。另一方面，文化事件的時(shí)間描述常具有模糊性，如“唐代中期”,但該方式采用精確時(shí)間點(diǎn)標(biāo)注，無(wú)法有外，現(xiàn)有文化檢索方法中通常基于關(guān)鍵詞匹配或簡(jiǎn)單語(yǔ)義檢索，缺乏跨模態(tài)聯(lián)合推理能力，導(dǎo)致檢索結(jié)果與用戶需求存在語(yǔ)義偏差。[0003]基于此，有必要針對(duì)上述技術(shù)問(wèn)題，本發(fā)明目的在于提供結(jié)合知識(shí)圖譜的光明大模型文化知識(shí)生成與檢索方法，以進(jìn)一步提高文化知識(shí)生成與檢索的準(zhǔn)確性和效率，增強(qiáng)用戶體驗(yàn)。[0004]第一方面，本申請(qǐng)?zhí)峁┝私Y(jié)合知識(shí)圖譜的光明大模型文化知識(shí)生成與檢索方法，該方法包括：[0005]根據(jù)多模態(tài)文化數(shù)據(jù)進(jìn)行實(shí)體抽取、關(guān)系建模與動(dòng)態(tài)補(bǔ)全處理，并結(jié)合模糊時(shí)間推理算法與跨模態(tài)對(duì)齊機(jī)制，構(gòu)建文化知識(shí)圖譜，多模態(tài)文化數(shù)據(jù)包括非結(jié)構(gòu)化文化文本、圖像數(shù)據(jù)和時(shí)空元數(shù)據(jù)，時(shí)空元數(shù)據(jù)包括文本時(shí)空元數(shù)據(jù)和圖像時(shí)刻元數(shù)據(jù)；[0006]通過(guò)用戶查詢語(yǔ)句和文化知識(shí)圖譜，結(jié)合大模型進(jìn)行語(yǔ)義對(duì)齊處理，得到跨模態(tài)語(yǔ)義對(duì)齊的聯(lián)合表示；[0007]基于聯(lián)合表示進(jìn)行多模態(tài)檢索-生成聯(lián)合優(yōu)化，得到文化知識(shí)描述和關(guān)聯(lián)多模態(tài)內(nèi)容。[0008]在其中一個(gè)實(shí)施例中，根據(jù)多模態(tài)文化數(shù)據(jù)進(jìn)行實(shí)體抽取、關(guān)系建模與動(dòng)態(tài)補(bǔ)全[0009]根據(jù)非結(jié)構(gòu)化文化文本和圖像數(shù)據(jù)，通過(guò)跨模態(tài)聯(lián)合嵌入模型進(jìn)行實(shí)體與關(guān)系抽取處理，得到實(shí)體向量集合和關(guān)系集合，跨模態(tài)聯(lián)合嵌入模型由文本編碼器和圖像編碼器組成；[0010]通過(guò)時(shí)空元數(shù)據(jù)的時(shí)間模糊描述，采用高斯分布模型構(gòu)建時(shí)間概率密度函數(shù)，得到模糊時(shí)間標(biāo)簽；[0011]根據(jù)實(shí)體向量集合和關(guān)系集合，通過(guò)圖遍歷算法生成實(shí)體關(guān)聯(lián)路徑，并通過(guò)預(yù)設(shè)5[0012]根據(jù)稀疏實(shí)體路徑，通過(guò)強(qiáng)化學(xué)習(xí)策略進(jìn)行路徑補(bǔ)全處理，生成缺失的三元組，強(qiáng)化學(xué)習(xí)策略的獎(jiǎng)勵(lì)函數(shù)由文化領(lǐng)域一致性和用戶反饋置信度構(gòu)成，其中，文化領(lǐng)域一致性通過(guò)預(yù)訓(xùn)練的文化語(yǔ)義空間距離計(jì)算，用戶反饋置信度根據(jù)用戶對(duì)歷史生成結(jié)果的評(píng)分?jǐn)?shù)據(jù)統(tǒng)計(jì)得出；[0013]將實(shí)體向量集合、關(guān)系集合、模糊時(shí)間標(biāo)簽和缺失的三元組進(jìn)行整合處理，得到文化知識(shí)圖譜。[0014]在其中一個(gè)實(shí)施例中，通過(guò)用戶查詢語(yǔ)句和文化知識(shí)圖譜，結(jié)合大模型進(jìn)行語(yǔ)義[0015]根據(jù)用戶查詢語(yǔ)句，通過(guò)大模型進(jìn)行文本隱層表示生成處理，得到文本隱層表示，大模型為基于Transformer架構(gòu)的預(yù)訓(xùn)練語(yǔ)言模型；[0017]基于跨模態(tài)注意力機(jī)制將文本隱層表示和關(guān)聯(lián)子圖進(jìn)行融合處理，得到初步融合[0018]通過(guò)對(duì)比學(xué)習(xí)損失函數(shù)將初步融合表示的實(shí)體向量和文化知識(shí)圖譜的實(shí)體向量[0019]在其中一個(gè)實(shí)施例中，基于聯(lián)合表示進(jìn)行多模態(tài)檢索-生成聯(lián)合優(yōu)化，得到文化知[0020]根據(jù)用戶查詢語(yǔ)句中的模糊時(shí)間詞，通過(guò)概率時(shí)間區(qū)間映射進(jìn)行事件檢索處理，得到候選事件集合；[0021]將候選事件集合和聯(lián)合表示輸入大模型進(jìn)行上下文語(yǔ)義理解，得到初始文本描[0022]根據(jù)用戶對(duì)初始文本描述的顯式反饋行為，通過(guò)強(qiáng)化學(xué)習(xí)算法進(jìn)行自適應(yīng)修正處[0023]根據(jù)初始文本描述和更新后的用戶偏好，通過(guò)多模態(tài)匹配算法生成文化知識(shí)描述，并對(duì)文化知識(shí)圖譜中進(jìn)行檢索，輸出關(guān)聯(lián)[0025]根據(jù)文化知識(shí)描述中的實(shí)體關(guān)鍵詞，從文化知識(shí)圖譜中檢索出關(guān)聯(lián)多模態(tài)內(nèi)容，關(guān)聯(lián)多模態(tài)內(nèi)容包括關(guān)聯(lián)文本數(shù)據(jù)和關(guān)聯(lián)圖像數(shù)據(jù)，并計(jì)算出關(guān)聯(lián)多模態(tài)內(nèi)容與文化知識(shí)描述的跨模態(tài)語(yǔ)義相似度；[0026]若跨模態(tài)語(yǔ)義相似度低于預(yù)設(shè)閾值，則通過(guò)大模型對(duì)文化知識(shí)描述進(jìn)行上下文語(yǔ)義修正處理，生成優(yōu)化后的文化知識(shí)描述，并從文化知識(shí)圖譜中重新檢索，得到優(yōu)化關(guān)聯(lián)多模態(tài)內(nèi)容；[0027]基于更新后的用戶偏好，對(duì)優(yōu)化后的文化知識(shí)描述與優(yōu)化關(guān)聯(lián)多模態(tài)內(nèi)容進(jìn)行加權(quán)融合處理，輸出最終文化知識(shí)描述和最終關(guān)聯(lián)多模態(tài)內(nèi)容。[0028]在其中一個(gè)實(shí)施例中，對(duì)比學(xué)習(xí)損失函數(shù)的計(jì)算公式為：[0030]其中，La?ign為對(duì)比損失函數(shù)的結(jié)6[0031]第二方面，本申請(qǐng)還提供了結(jié)合知識(shí)圖譜的光明大模型文化知識(shí)生成與檢索系[0032]知識(shí)圖譜構(gòu)建模塊，用于根據(jù)多模態(tài)文化數(shù)據(jù)進(jìn)行實(shí)體抽取、關(guān)系建模與動(dòng)態(tài)補(bǔ)全處理，并結(jié)合模糊時(shí)間推理算法與跨模態(tài)對(duì)齊機(jī)制，構(gòu)建文化知識(shí)圖譜，多模態(tài)文化數(shù)據(jù)包括非結(jié)構(gòu)化文化文本、圖像數(shù)據(jù)和時(shí)空元數(shù)據(jù)，時(shí)空元數(shù)據(jù)包括文本時(shí)空元數(shù)據(jù)和圖像時(shí)刻元數(shù)據(jù)；[0033]語(yǔ)義對(duì)齊處理模塊，用于通過(guò)用戶查詢語(yǔ)句和文化知識(shí)圖譜，結(jié)合大模型進(jìn)行語(yǔ)義對(duì)齊處理，得到跨模態(tài)語(yǔ)義對(duì)齊的聯(lián)合表示；[0034]聯(lián)合優(yōu)化處理模塊，用于基于聯(lián)合表示進(jìn)行多模態(tài)檢索-生成聯(lián)合優(yōu)化，得到文化知識(shí)描述和關(guān)聯(lián)多模態(tài)內(nèi)容。[0035]第三方面，本申請(qǐng)還提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)第一方面中的步驟。[0036]第四方面，本申請(qǐng)還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面中的步驟。[0037]上述結(jié)合知識(shí)圖譜的光明大模型文化知識(shí)生成與檢索方法，通過(guò)多模態(tài)文化數(shù)據(jù)進(jìn)行實(shí)體抽取、關(guān)系建模與動(dòng)態(tài)補(bǔ)全處理，有效彌補(bǔ)了傳統(tǒng)文化知識(shí)處理方法單一模態(tài)數(shù)據(jù)利用不充分的缺陷，能夠全面整合非結(jié)構(gòu)化文化文本、圖像數(shù)據(jù)和時(shí)空元數(shù)據(jù)，從而為后續(xù)的文化知識(shí)生成與檢索提供了豐富的數(shù)據(jù)基礎(chǔ)。并且通過(guò)利用模糊時(shí)間推理算法與跨模態(tài)對(duì)齊機(jī)制構(gòu)建文化知識(shí)圖譜，不僅能夠精準(zhǔn)地表示文化實(shí)體及其關(guān)系，還能實(shí)時(shí)動(dòng)態(tài)更新文化知識(shí)圖譜，避免了靜態(tài)知識(shí)圖譜無(wú)法適應(yīng)文化知識(shí)動(dòng)態(tài)變化的局限性。其次，該方法通過(guò)用戶查詢語(yǔ)句和文化知識(shí)圖譜結(jié)合大模型進(jìn)行語(yǔ)義對(duì)齊處理，能夠有效提升跨模態(tài)語(yǔ)義理解與融合能力，生成符合用戶需求的語(yǔ)義表示。最后，該方法基于聯(lián)合表示進(jìn)行多模態(tài)檢索-生成聯(lián)合優(yōu)化，得到文化知識(shí)描述和關(guān)聯(lián)多模態(tài)內(nèi)容，能夠?yàn)橛脩籼峁┤娴奈幕猍0038]與傳統(tǒng)方法相比，該方法通過(guò)多模態(tài)數(shù)據(jù)融合、動(dòng)態(tài)知識(shí)圖譜構(gòu)建和聯(lián)合優(yōu)化，提升了文化知識(shí)生成與檢索的效率和質(zhì)量，為文化知識(shí)的傳播與利用提供了有效的技術(shù)支附圖說(shuō)明[0039]為了更清楚地說(shuō)明本申請(qǐng)實(shí)施例或相關(guān)技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或相關(guān)技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請(qǐng)的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。[0040]圖1為本發(fā)明一個(gè)示例性實(shí)施例提供的結(jié)合知識(shí)圖譜的光明大模型文化知識(shí)生成與檢索方法流程圖；[0041]圖2為本發(fā)明一個(gè)示例性實(shí)施例提供的結(jié)合知識(shí)圖譜的光明大模型文化知識(shí)生成與檢索系統(tǒng)結(jié)構(gòu)示意圖。7具體實(shí)施方式[0042]為了使本申請(qǐng)的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本申請(qǐng)進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處描述的具體實(shí)施例僅僅用以解釋本申請(qǐng)，并不用于限定本申請(qǐng)。[0043]在一個(gè)實(shí)施例中，如圖1所示，提供了結(jié)合知識(shí)圖譜的光明大模型文化知識(shí)生成與檢索方法，本實(shí)施例以該方法應(yīng)用于終端進(jìn)行舉例說(shuō)明，可以理解的是，該方法也可以應(yīng)用于服務(wù)器，還可以應(yīng)用于包括終端和服務(wù)器的系統(tǒng)，并通過(guò)終端和服務(wù)器的交互實(shí)現(xiàn)。本實(shí)[0044]S101:根據(jù)多模態(tài)文化數(shù)據(jù)進(jìn)行實(shí)體抽取、關(guān)系建模與動(dòng)態(tài)補(bǔ)全處理，并結(jié)合模糊時(shí)間推理算法與跨模態(tài)對(duì)齊機(jī)制，構(gòu)建文化知識(shí)圖譜，多模態(tài)文化數(shù)據(jù)包括非結(jié)構(gòu)化文化文本、圖像數(shù)據(jù)和時(shí)空元數(shù)據(jù)，時(shí)空元數(shù)據(jù)包括文本時(shí)空元數(shù)據(jù)和圖像時(shí)刻元數(shù)據(jù)。[0045]具體的，可以利用自然語(yǔ)言處理技術(shù)中的命名實(shí)體識(shí)別算法對(duì)非結(jié)構(gòu)化文化文本于一篇介紹古代詩(shī)詞的文章，可以識(shí)別出詩(shī)人姓名、詩(shī)詞創(chuàng)作地點(diǎn)、詩(shī)詞所描繪的歷史事件等實(shí)體。并且可以運(yùn)用關(guān)系抽取算法，分析文本中實(shí)體間的語(yǔ)義關(guān)系，如詩(shī)人與詩(shī)詞之間的創(chuàng)作關(guān)系、詩(shī)詞與所描述事件的關(guān)聯(lián)關(guān)系等。對(duì)于圖像數(shù)據(jù)，可以通過(guò)計(jì)算機(jī)視覺技術(shù)使用目標(biāo)檢測(cè)算法識(shí)別圖像中的文化相關(guān)物體，如古代繪畫中的人物、建筑、文物等實(shí)體。再通過(guò)圖像語(yǔ)義分割技術(shù)，進(jìn)一步明確各實(shí)體在圖像中的位置和范圍，并結(jié)合通過(guò)圖像特征提取算法，獲取這些實(shí)體的視覺特征向量，以便于后續(xù)與文本實(shí)體進(jìn)行跨模態(tài)關(guān)聯(lián)。而文本時(shí)空元數(shù)據(jù)通常包含在非結(jié)構(gòu)化文化文本中，例如文本中提及的歷史事件發(fā)生時(shí)間、地點(diǎn)的相關(guān)描述，可以利用模糊時(shí)間推理算法處理具有模糊時(shí)間描述的文化事件，如“唐代中期”,并將其與具體的時(shí)間范圍進(jìn)行關(guān)聯(lián)。此外，可以通過(guò)圖像的拍攝時(shí)間信息、圖像中物體的時(shí)代特征等方式獲取圖像時(shí)刻元數(shù)據(jù)，以確定圖像所反映文化內(nèi)容的時(shí)間信息。通過(guò)跨模態(tài)對(duì)齊機(jī)制則可以確保不同模態(tài)的數(shù)據(jù)在知識(shí)圖譜中的一致性和關(guān)聯(lián)性，例如將文本中描述的事件與對(duì)應(yīng)的圖像內(nèi)容進(jìn)行對(duì)齊，構(gòu)建出相應(yīng)的文化知識(shí)圖譜。[0046]S102:通過(guò)用戶查詢語(yǔ)句和文化知識(shí)圖譜，結(jié)合大模型進(jìn)行語(yǔ)義對(duì)齊處理，得到跨模態(tài)語(yǔ)義對(duì)齊的聯(lián)合表示。其進(jìn)行語(yǔ)義分析，理解用戶的需求和意圖。其次，將用戶查詢語(yǔ)句與文化知識(shí)圖譜相結(jié)合，利用預(yù)訓(xùn)練語(yǔ)言模型等大模型進(jìn)行語(yǔ)義對(duì)齊處理。大模型能夠理解查詢語(yǔ)句中的語(yǔ)義信息，并與知識(shí)圖譜中的實(shí)體和關(guān)系進(jìn)行匹配，得到跨模態(tài)語(yǔ)義對(duì)齊的聯(lián)合表示，進(jìn)而能夠確保用戶查詢語(yǔ)句與文化知識(shí)圖譜中的信息在語(yǔ)義上能夠精準(zhǔn)匹配。示意性的，可以將查詢的關(guān)系。[0048]S103:基于聯(lián)合表示進(jìn)行多模態(tài)檢索-生成聯(lián)合優(yōu)化，得到文化知識(shí)描述和關(guān)聯(lián)多模態(tài)內(nèi)容。[0049]具體的，將得到的聯(lián)合表示為基礎(chǔ)，進(jìn)行多模態(tài)檢索和生成優(yōu)化。其中，多模態(tài)檢索能夠在知識(shí)圖譜中查找與用戶查詢相關(guān)的文化知識(shí)描述和關(guān)聯(lián)多模態(tài)內(nèi)容，如檢索出李白的代表作品文本信息以及相關(guān)的書法作品圖片。生成優(yōu)化則可以根據(jù)檢索結(jié)果和用戶需8求，生成高質(zhì)量的文化知識(shí)描述，如對(duì)李白代表作品的詳細(xì)介紹及其在文學(xué)史上的地位。最后可以將檢索到的多模態(tài)內(nèi)容和生成的文化知識(shí)描述進(jìn)行整合，以直觀、豐富的方式呈現(xiàn)給用戶。示意性的，可以通過(guò)圖文并茂的形式展示李白的生平、作品及其相關(guān)文化背景。[0050]上述結(jié)合知識(shí)圖譜的光明大模型文化知識(shí)生成與檢索方法中，通過(guò)對(duì)多模態(tài)文化數(shù)據(jù)進(jìn)行實(shí)體抽取、關(guān)系建模與動(dòng)態(tài)補(bǔ)全處理，并運(yùn)用模糊時(shí)間推理算法與跨模態(tài)對(duì)齊機(jī)制構(gòu)建文化知識(shí)圖譜，能夠突破傳統(tǒng)單一模態(tài)數(shù)據(jù)構(gòu)建知識(shí)圖譜的局限，深入挖掘文化知識(shí)間的復(fù)雜關(guān)聯(lián)，為后續(xù)知識(shí)檢索和生成奠定堅(jiān)實(shí)基礎(chǔ)，提高了文化知識(shí)表示的全面性與準(zhǔn)確性。其次，通過(guò)用戶查詢語(yǔ)句和文化知識(shí)圖譜結(jié)合大模型進(jìn)行語(yǔ)義對(duì)齊處理，有效解決了傳統(tǒng)檢索中用戶查詢與文化知識(shí)難以精準(zhǔn)匹配的問(wèn)題，進(jìn)一步提升語(yǔ)義理解的準(zhǔn)確性與全面性。最后，基于生成的聯(lián)合表示進(jìn)行多模態(tài)檢索-生成聯(lián)合優(yōu)化，可以得到文化知識(shí)描述和關(guān)聯(lián)多模態(tài)內(nèi)容，即不僅能輸出文字描述，還能關(guān)聯(lián)相關(guān)圖像、音頻等多模態(tài)內(nèi)容，可以為用戶帶來(lái)更豐富、直觀的知識(shí)體驗(yàn)。[0051]與傳統(tǒng)文化知識(shí)處理方法相比，該方法通過(guò)多模態(tài)融合、語(yǔ)義對(duì)齊以及多模態(tài)檢索-生成聯(lián)合優(yōu)化，顯著提升了文化知識(shí)獲取的效率和準(zhǔn)確等領(lǐng)域提供了有效的技術(shù)支持，推動(dòng)了文化知識(shí)的高效利用與傳承發(fā)展。[0052]在一個(gè)示例性的實(shí)施例中，根據(jù)多模態(tài)文化數(shù)據(jù)進(jìn)行實(shí)體抽取、關(guān)系建模與動(dòng)態(tài)[0053]根據(jù)非結(jié)構(gòu)化文化文本和圖像數(shù)據(jù)，通過(guò)跨模態(tài)聯(lián)合嵌入模型進(jìn)行實(shí)體與關(guān)系抽取處理，得到實(shí)體向量集合和關(guān)系集合，跨模態(tài)聯(lián)合嵌入模型由文本編碼器和圖像編碼器組成；[0054]通過(guò)時(shí)空元數(shù)據(jù)的時(shí)間模糊描述，采用高斯分布模型構(gòu)建時(shí)間概率密度函數(shù)，得到模糊時(shí)間標(biāo)簽；[0055]根據(jù)實(shí)體向量集合和關(guān)系集合，通過(guò)圖遍歷算法生成實(shí)體關(guān)聯(lián)路徑，并通過(guò)預(yù)設(shè)[0056]根據(jù)稀疏實(shí)體路徑，通過(guò)強(qiáng)化學(xué)習(xí)策略進(jìn)行路徑補(bǔ)全處理，生成缺失的三元組，強(qiáng)化學(xué)習(xí)策略的獎(jiǎng)勵(lì)函數(shù)由文化領(lǐng)域一致性和用戶反饋置信度構(gòu)成，其中，文化領(lǐng)域一致性通過(guò)預(yù)訓(xùn)練的文化語(yǔ)義空間距離計(jì)算，用戶反饋置信度根據(jù)用戶對(duì)歷史生成結(jié)果的評(píng)分?jǐn)?shù)據(jù)統(tǒng)計(jì)得出；[0057]將實(shí)體向量集合、關(guān)系集合、模糊時(shí)間標(biāo)簽和缺失的三元組進(jìn)行整合處理，得到文化知識(shí)圖譜。[0058]具體的，文本編碼器可以通過(guò)自然語(yǔ)言處理技術(shù)，例如采用基于Transformer架構(gòu)的預(yù)訓(xùn)練模型，對(duì)非結(jié)構(gòu)化文化文本進(jìn)行詞法分析、句法分析和語(yǔ)義理解等操作，進(jìn)而識(shí)別出如人物、地點(diǎn)、事件等各種實(shí)體，并將其轉(zhuǎn)換為相應(yīng)的向量表示，形成實(shí)體向量集合的一部分。并且文本編碼器還可以分析并提取出文本中實(shí)體之間的關(guān)系，例如如詩(shī)人與作品之采用圖像編碼器對(duì)圖像數(shù)據(jù)進(jìn)行處理。圖像編碼器可以基于計(jì)算機(jī)視覺技術(shù)，例如使用卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，對(duì)圖像進(jìn)行邊緣檢測(cè)、目標(biāo)識(shí)別等特征提取操作，識(shí)別出與各種文化相關(guān)并且圖像編碼器還可以分析并提取出圖像中實(shí)體之間的空間關(guān)系或語(yǔ)義關(guān)系，例如“包含”9從非結(jié)構(gòu)化文化文本和圖像數(shù)據(jù)中抽取實(shí)體與關(guān)系，得到對(duì)應(yīng)的實(shí)體向量集合和關(guān)系集合。[0059]具體的，時(shí)空元數(shù)據(jù)包含了文本時(shí)空元數(shù)據(jù)和圖像時(shí)刻元數(shù)據(jù)。但文本時(shí)空元數(shù)據(jù)可能是圖像拍攝的時(shí)間或所反映的時(shí)代背景等。則針對(duì)文本時(shí)空元數(shù)據(jù)中的時(shí)間模糊描述，可以采用高斯分布模型進(jìn)行處理。其中，高斯分布模型是一種常用的概率統(tǒng)計(jì)模型，可以描述數(shù)據(jù)的概率分布情況，進(jìn)而可以將時(shí)間模糊描述轉(zhuǎn)化為高斯分布的參數(shù)，例如均值和方差，并通過(guò)計(jì)算得到時(shí)間概率密度函數(shù)。該函數(shù)表示了在不同時(shí)間點(diǎn)上出現(xiàn)的概率。根代中期”為例，可以通過(guò)確定該時(shí)期的大致時(shí)間范圍如公元713年至766年，然后利用高斯分布模型將該模糊時(shí)間描述轉(zhuǎn)化為一個(gè)概率密度函數(shù)。該函數(shù)在時(shí)間范圍的中心位置如公元739年具有最高的概率密度值，并且隨著與中心位置的偏離，概率密度逐漸降低，即每個(gè)模糊時(shí)間描述皆可以轉(zhuǎn)化為一個(gè)連續(xù)的時(shí)間概率分布，即模糊時(shí)間標(biāo)簽。該標(biāo)簽?zāi)軌蚋`活地表示文化事件的時(shí)間信息，避免了傳統(tǒng)精確時(shí)間標(biāo)注的局限性，同時(shí)也為后續(xù)知識(shí)圖譜中時(shí)間信息的處理和推理提供了基礎(chǔ)。[0060]得到實(shí)體向量集合和關(guān)系集合后，可以將實(shí)體作為節(jié)點(diǎn)，關(guān)系作為邊，構(gòu)建一個(gè)初始文化知識(shí)圖譜。對(duì)于該圖譜，可以運(yùn)用如深度優(yōu)先搜索或廣度優(yōu)先搜索等圖遍歷算法，從徑“李白-生活在-唐代-同時(shí)期詩(shī)人-杜甫”。該圖遍歷算法能夠系統(tǒng)地探索知識(shí)圖譜中的實(shí)體關(guān)聯(lián)，生成大量的實(shí)體路徑。該實(shí)體路徑反映了文化知識(shí)中不同實(shí)體之間的復(fù)雜關(guān)系和語(yǔ)義聯(lián)系。但由于生成的實(shí)體關(guān)聯(lián)路徑數(shù)量可能較大，并且其中一些路徑可能對(duì)文化知識(shí)的理解和應(yīng)用貢獻(xiàn)較小，則可以通過(guò)設(shè)定一個(gè)預(yù)設(shè)路徑數(shù)量閾值，例如只保留出現(xiàn)頻率較高或具有重要文化意義的前K條路徑，將出現(xiàn)次數(shù)較少、關(guān)聯(lián)較弱或冗余的路徑剔除，從而得到稀疏實(shí)體路徑集合。該篩選過(guò)程有助于減少數(shù)據(jù)量，提高后續(xù)處理的效率和準(zhǔn)確性，并且保留了對(duì)文化知識(shí)圖譜構(gòu)建最有價(jià)值的實(shí)體關(guān)聯(lián)信息。[0061]對(duì)于稀疏實(shí)體路徑集合中存在的不完整路徑或缺失的三元組(即主體、關(guān)系、客體),可以采用強(qiáng)化學(xué)習(xí)策略進(jìn)行路徑補(bǔ)全處理。強(qiáng)化學(xué)習(xí)是一種機(jī)器學(xué)習(xí)方法，可以通過(guò)智能體與環(huán)境進(jìn)行交互，根據(jù)環(huán)境反饋的獎(jiǎng)勵(lì)信號(hào)來(lái)學(xué)習(xí)最優(yōu)策略，即通過(guò)設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)進(jìn)行不斷優(yōu)化。本實(shí)施例中，該獎(jiǎng)勵(lì)函數(shù)則由文化領(lǐng)域一致性和用戶反饋置信度兩部分構(gòu)成。文化領(lǐng)域一致性可以通過(guò)預(yù)訓(xùn)練的文化語(yǔ)義空間距離計(jì)算，即在文化語(yǔ)義空間中，補(bǔ)全的三元組與已有的文化知識(shí)之間的語(yǔ)義距離越近，則說(shuō)明其越符合文化領(lǐng)域的邏輯和規(guī)律，獎(jiǎng)勵(lì)值越高；用戶反饋置信度則可以根據(jù)用戶對(duì)歷史生成結(jié)果的評(píng)分?jǐn)?shù)據(jù)統(tǒng)計(jì)得出，若補(bǔ)全的三元組能夠得到用戶的高評(píng)分，說(shuō)明其符合用戶的期望和認(rèn)知，獎(jiǎng)勵(lì)值也會(huì)相應(yīng)增加。在強(qiáng)化學(xué)習(xí)框架下，智能體，即路徑補(bǔ)全算法可以根據(jù)當(dāng)前的稀疏實(shí)體路徑狀態(tài)，添加新的實(shí)體和關(guān)系來(lái)補(bǔ)全路徑，生成缺失三元組，并根據(jù)獎(jiǎng)勵(lì)函數(shù)計(jì)算該三元組的獎(jiǎng)勵(lì)值，不斷反饋調(diào)整，以最大化累計(jì)獎(jiǎng)勵(lì)，找到最優(yōu)的路徑補(bǔ)全策略，生成符合文化領(lǐng)域邏輯和用戶期望的缺失三元組，從而豐富和完善知識(shí)圖譜中的實(shí)體關(guān)聯(lián)信息，提高知識(shí)圖譜的完整性和準(zhǔn)確性。[0062]將實(shí)體向量集合、關(guān)系集合、模糊時(shí)間標(biāo)簽和通過(guò)路徑補(bǔ)全處理生成的缺失三元組進(jìn)行整合。具體來(lái)說(shuō)，可以將實(shí)體向量集合和關(guān)系集合作為知識(shí)圖譜的基本結(jié)構(gòu)，將模糊時(shí)間標(biāo)簽與相應(yīng)的實(shí)體或關(guān)系進(jìn)行關(guān)聯(lián)，為知識(shí)圖譜添加時(shí)間維度的信息。并且將補(bǔ)全的三元組融入到知識(shí)圖譜中，填補(bǔ)原有的空白和不足，則可以形成一個(gè)更加完整、豐富的文化知識(shí)圖譜。此外，在整合過(guò)程中，還可以對(duì)知識(shí)圖譜進(jìn)行進(jìn)一步的優(yōu)化，如去除重復(fù)或沖突的信息、調(diào)整實(shí)體和關(guān)系的表示方式以提高查詢效率等。最后，可以將整合后的文化知識(shí)圖譜通過(guò)RDF格式或圖數(shù)據(jù)庫(kù)格式等格式進(jìn)行存儲(chǔ)，以便后續(xù)的文化知識(shí)生成與檢索系統(tǒng)的調(diào)用和查詢。該文化知識(shí)圖譜不僅包含了多模態(tài)文化數(shù)據(jù)中的豐富信息，還通過(guò)模糊時(shí)間推理和路徑補(bǔ)全等處理，具有更強(qiáng)的動(dòng)態(tài)性和完整性，能夠?yàn)楹罄m(xù)文化知識(shí)的檢索、生成和分析提供堅(jiān)實(shí)的基礎(chǔ)。[0063]在一個(gè)示例性的實(shí)施例中，通過(guò)用戶查詢語(yǔ)句和文化知識(shí)圖譜，結(jié)合大模型進(jìn)行[0064]根據(jù)用戶查詢語(yǔ)句，通過(guò)大模型進(jìn)行文本隱層表示生成處理，得到文本隱層表示，大模型為基于Transformer架構(gòu)的預(yù)訓(xùn)練語(yǔ)言模型；[0065]基于用戶查詢語(yǔ)句，從文化知識(shí)圖譜中進(jìn)行子圖檢索處理，得到關(guān)聯(lián)子圖；[0066]基于跨模態(tài)注意力機(jī)制將文本隱層表示和關(guān)聯(lián)子圖進(jìn)行融合處理，得到初步融合表示；[0067]通過(guò)對(duì)比學(xué)習(xí)損失函數(shù)將初步融合表示的實(shí)體向量和文化知識(shí)圖譜的實(shí)體向量進(jìn)行語(yǔ)義對(duì)齊處理，得到聯(lián)合表示。[0068]具體的，用戶可以通過(guò)終端或服務(wù)器提交查詢語(yǔ)句，例如“請(qǐng)介紹唐代詩(shī)人李白的代表作品及其創(chuàng)作風(fēng)格”。接受查詢語(yǔ)句后，可以對(duì)其進(jìn)行預(yù)處理，如去除停用詞、詞干提取、詞形還原等操作，以進(jìn)一步簡(jiǎn)化文本并提高后續(xù)處理效率。隨后可以采用基于Transformer架構(gòu)的預(yù)訓(xùn)練語(yǔ)言模型對(duì)預(yù)處理后的查詢語(yǔ)句進(jìn)行編碼處理。其中，Transformer架構(gòu)可以通過(guò)多頭注意力機(jī)制，捕捉文本中詞語(yǔ)之間的長(zhǎng)距離依賴關(guān)系，生成及其在句子中的上下文信息，為后續(xù)的語(yǔ)義對(duì)齊處理提供了基礎(chǔ)。而在構(gòu)建文化知識(shí)圖譜時(shí)，可以基于實(shí)體名稱、關(guān)系類型、模糊時(shí)間標(biāo)簽等關(guān)鍵信息構(gòu)建出索引結(jié)構(gòu)，以便快速檢圖譜中的位置和相關(guān)關(guān)系。根據(jù)用戶查詢語(yǔ)句中的關(guān)鍵詞和語(yǔ)義信息，從該文化知識(shí)圖譜應(yīng)實(shí)體直接相關(guān)或通過(guò)一定關(guān)系路徑相連的子圖，從而為后續(xù)的語(yǔ)義融合提供更全面的結(jié)構(gòu)化信息。[0069]跨模態(tài)注意力機(jī)制能夠自動(dòng)學(xué)習(xí)文本和子圖中不同部分之間的相關(guān)性權(quán)重，將文本隱層表示和關(guān)聯(lián)子圖中的實(shí)體向量、關(guān)系向量等信息進(jìn)行加權(quán)融合，得到初步融合表示。例如，對(duì)于文本隱層表示中的“創(chuàng)作風(fēng)格”這一語(yǔ)義單元，該機(jī)制可以計(jì)算其與關(guān)聯(lián)子圖中各個(gè)節(jié)點(diǎn)之間的相關(guān)性分?jǐn)?shù)，并根據(jù)分?jǐn)?shù)分配不同的注意力權(quán)重，使得與“創(chuàng)作風(fēng)格”更相11關(guān)的子圖節(jié)點(diǎn)在融合過(guò)程中具有更大的影響力。最后將文本隱層表示向量與經(jīng)過(guò)注意力權(quán)重調(diào)整的子圖向量進(jìn)行拼接、加權(quán)求和等操作，可以得到初步融合表示。該初步融合表示既包含了用戶查詢語(yǔ)句的文本語(yǔ)義信息，又融合了文化知識(shí)圖譜中相關(guān)子圖的結(jié)構(gòu)化知識(shí)，為進(jìn)一步的語(yǔ)義對(duì)齊處理提供了綜合的語(yǔ)義表示。此外，對(duì)比學(xué)習(xí)是一種機(jī)器學(xué)習(xí)方法，可以通過(guò)比較不同樣本之間的相似性和差異性，來(lái)學(xué)習(xí)到更好的特征表示。因此，可以構(gòu)建對(duì)比學(xué)習(xí)損失函數(shù)將初步融合表示的實(shí)體向量和文化知識(shí)圖譜的實(shí)體向量進(jìn)行語(yǔ)義對(duì)齊處理。該損失函數(shù)旨在最小化初步融合表示的實(shí)體向量與文化知識(shí)圖譜中對(duì)應(yīng)實(shí)體向量之間的語(yǔ)義差異，同時(shí)最大化不同實(shí)體向量之間的語(yǔ)義距離。例如，可以采用基于余弦相似度的對(duì)比損失函數(shù)，并通過(guò)反向傳播算法不斷地調(diào)整初步融合表示中的實(shí)體向量，使得其實(shí)體向量在語(yǔ)義空間中與文化知識(shí)圖譜中的實(shí)體向量更加對(duì)齊，最終得到跨模態(tài)語(yǔ)義對(duì)齊的聯(lián)合表示。該聯(lián)合表示能夠準(zhǔn)確地反映用戶查詢語(yǔ)句與文化知識(shí)圖譜之間的語(yǔ)義關(guān)系，為后續(xù)的多模態(tài)檢索和生成提供了高質(zhì)量的語(yǔ)義基礎(chǔ)。[0070]在一個(gè)示例性的實(shí)施例中，基于聯(lián)合表示進(jìn)行多模態(tài)檢索-生成聯(lián)合優(yōu)化，得到文[0071]根據(jù)用戶查詢語(yǔ)句中的模糊時(shí)間詞，通過(guò)概率時(shí)間區(qū)間映射進(jìn)行事件檢索處理，得到候選事件集合；[0072]將候選事件集合和聯(lián)合表示輸入大模型進(jìn)行上下文語(yǔ)義理解，得到初始文本描[0073]根據(jù)用戶對(duì)初始文本描述的顯式反饋行為，通過(guò)強(qiáng)化學(xué)習(xí)算法進(jìn)行自適應(yīng)修正處理，得到更新后的用戶偏好，顯式反饋行包括用[0074]根據(jù)初始文本描述和更新后的用戶偏好，通過(guò)多模態(tài)匹配算法生成文化知識(shí)描述，并對(duì)文化知識(shí)圖譜中進(jìn)行檢索，輸出關(guān)聯(lián)世紀(jì)”等，并利用預(yù)定義的概率時(shí)間區(qū)間映射表，將該模糊時(shí)間詞映射到對(duì)應(yīng)的時(shí)間區(qū)間概間都有相應(yīng)的概率值，表示該模糊時(shí)間詞對(duì)應(yīng)區(qū)間的可能性大小。以映射得到的時(shí)間區(qū)間概率分布為依據(jù)，結(jié)合文化知識(shí)圖譜，檢索出與這些時(shí)間區(qū)間相關(guān)的文化事件，生成候選事件集合。將生成的候選事件集合與之前得到的聯(lián)合表示共同輸入到大模型中。而大模型基于其強(qiáng)大的語(yǔ)義理解和生成能力，對(duì)其信息進(jìn)行綜合處理，生成與用戶查詢相關(guān)的初始文本描述。例如，若用戶查詢的是關(guān)于“古代中國(guó)書法藝術(shù)的特點(diǎn)”,古代中國(guó)書法藝術(shù)特點(diǎn)的初始文本。該文本可以包括不同朝代書法的風(fēng)格特征、代表書法家及其作品等信息，為后續(xù)的文本優(yōu)化和多模態(tài)內(nèi)容檢索提供基礎(chǔ)文本素材。隨后可以監(jiān)測(cè)用戶對(duì)初始文本描述的顯式反饋行為。其中用戶點(diǎn)擊可以是點(diǎn)擊文本中的特定內(nèi)容以獲取更多信息，用戶評(píng)分可以是對(duì)生成文本的準(zhǔn)確性、完整性等進(jìn)行評(píng)分，文本修正操作可以是用戶直接修改文本中的錯(cuò)誤內(nèi)容等。通過(guò)該顯式反饋行為，可以運(yùn)用強(qiáng)化學(xué)習(xí)算法對(duì)用戶偏好進(jìn)行自適應(yīng)修正。示意性的，可以定義獎(jiǎng)勵(lì)函數(shù)，將用戶的正面反饋如高評(píng)分、無(wú)修改等作為正向獎(jiǎng)勵(lì)信號(hào)，負(fù)面反饋如低評(píng)分、頻繁修改等作為負(fù)向獎(jiǎng)勵(lì)信號(hào)，不斷調(diào)整策略，最終得到更新后的用戶偏好，從而可以實(shí)現(xiàn)用戶偏好的個(gè)性化適應(yīng)。[0076]具體的，將更新后的用戶偏好與初始文本描述相結(jié)合，可以通過(guò)多模態(tài)匹配算法生成最終的文化知識(shí)描述。其中，多模態(tài)匹配算法可以綜合考慮文本語(yǔ)義、圖像特征、時(shí)空信息等多種模態(tài)因素，確保生成的文化知識(shí)描述在內(nèi)容上既符合用戶偏好，又與文化知識(shí)圖譜中的多模態(tài)信息相匹配。以該文化知識(shí)描述為指導(dǎo)，可以對(duì)文化知識(shí)圖譜進(jìn)行檢索，獲取與之關(guān)聯(lián)的多模態(tài)內(nèi)容。該多模態(tài)內(nèi)容可以包括相關(guān)的文化圖像如歷史文物圖片、藝術(shù)作品圖像等、視頻資料、音頻資源等。將該關(guān)聯(lián)多模態(tài)內(nèi)容與文化知識(shí)描述輸出給用戶，可以為用戶提供豐富、全面的文化知識(shí)體驗(yàn)，滿足用戶對(duì)于文化知識(shí)多元化的需求。[0078]根據(jù)文化知識(shí)描述中的實(shí)體關(guān)鍵詞，從文化知識(shí)圖譜中檢索出關(guān)聯(lián)多模態(tài)內(nèi)容，關(guān)聯(lián)多模態(tài)內(nèi)容包括關(guān)聯(lián)文本數(shù)據(jù)和關(guān)聯(lián)圖像數(shù)據(jù)，并計(jì)算出關(guān)聯(lián)多模態(tài)內(nèi)容與文化知識(shí)描述的跨模態(tài)語(yǔ)義相似度；[0079]若跨模態(tài)語(yǔ)義相似度低于預(yù)設(shè)閾值，則通過(guò)大模型對(duì)文化知識(shí)描述進(jìn)行上下文語(yǔ)義修正處理，生成優(yōu)化后的文化知識(shí)描述，并從文化知識(shí)圖譜中重新檢索，得到優(yōu)化關(guān)聯(lián)多模態(tài)內(nèi)容；[0080]基于更新后的用戶偏好，對(duì)優(yōu)化后的文化知識(shí)描述與優(yōu)化關(guān)聯(lián)多模態(tài)內(nèi)容進(jìn)行加權(quán)融合處理，輸出最終文化知識(shí)描述和最終關(guān)聯(lián)多模態(tài)內(nèi)容。[0081]具體的，可以生成的文化知識(shí)描述中提取出關(guān)鍵的實(shí)體關(guān)鍵詞，并將其為依據(jù)，深入到文化知識(shí)圖譜中進(jìn)行檢索操作，得到對(duì)應(yīng)的關(guān)聯(lián)多模態(tài)內(nèi)容。其次，對(duì)于檢索到的關(guān)聯(lián)多模態(tài)內(nèi)容和原始的文化知識(shí)描述，分別提取對(duì)應(yīng)的語(yǔ)義特征。示意性的，在關(guān)聯(lián)多模態(tài)內(nèi)語(yǔ)義向量表示；對(duì)于圖像數(shù)據(jù)，可以通過(guò)圖像識(shí)別和特征提取算法，提取出圖像的視覺特征向量。并且對(duì)文化知識(shí)描述也進(jìn)行相應(yīng)的語(yǔ)義特征提取，將其轉(zhuǎn)化為可比較的語(yǔ)義向量形式。隨后可以采用如余弦相似度、歐氏距離等相似度計(jì)算方法，衡量關(guān)聯(lián)多模態(tài)內(nèi)容與文化知識(shí)描述之間的語(yǔ)義相似程度。將計(jì)算得到的跨模態(tài)語(yǔ)義相似度，與預(yù)設(shè)的相似度閾值進(jìn)行比較，可以判斷關(guān)聯(lián)多模態(tài)內(nèi)容與文化知識(shí)描述是否達(dá)到滿意的語(yǔ)義匹配程度。若相似度低于預(yù)設(shè)閾值，則意味著關(guān)聯(lián)多模態(tài)內(nèi)容與文化知識(shí)描述在語(yǔ)義上存在較大偏差，還需要進(jìn)行后續(xù)的優(yōu)化處理。[0082]示意性的，當(dāng)發(fā)現(xiàn)跨模態(tài)語(yǔ)義相似度低于預(yù)設(shè)閾值時(shí)，可以利用大模型對(duì)文化知識(shí)描述進(jìn)行上下文語(yǔ)義修正。大模型可以深入分析文化知識(shí)描述的上下文語(yǔ)境，識(shí)別其中語(yǔ)義表達(dá)不清晰、不準(zhǔn)確或與關(guān)聯(lián)多模態(tài)內(nèi)容不匹配的部分。例如，若文化知識(shí)描述中對(duì)某一歷史事件的時(shí)間表述模糊，而關(guān)聯(lián)圖像數(shù)據(jù)中包含有能體現(xiàn)該事件具體時(shí)間的元素，大模型則能夠根據(jù)上下文邏輯和關(guān)聯(lián)信息，對(duì)時(shí)間表述進(jìn)行精準(zhǔn)修正，生成優(yōu)化后的文化知識(shí)描述。該描述在語(yǔ)義上更加準(zhǔn)確、清晰，并且與關(guān)聯(lián)多模態(tài)內(nèi)容的語(yǔ)義一致性也得到顯著提升。[0083]基于優(yōu)化后的文化知識(shí)描述，再次從文化知識(shí)圖譜中進(jìn)行關(guān)聯(lián)多模態(tài)內(nèi)容的檢索，能夠更精準(zhǔn)地定位與之匹配的多模態(tài)內(nèi)容。用戶偏好反映了用戶在文化知識(shí)獲取過(guò)程中對(duì)不同信息類型的重視程度。根據(jù)更新后的用戶偏好，可以確定對(duì)文化知識(shí)描述和關(guān)聯(lián)多模態(tài)內(nèi)容的加權(quán)比例，即根據(jù)權(quán)重對(duì)不同類型的信息進(jìn)行有機(jī)整合，可以得到最終的文化知識(shí)描述和最終關(guān)聯(lián)多模態(tài)內(nèi)容。該過(guò)程能夠?qū)ξ幕R(shí)描述和關(guān)聯(lián)多模態(tài)內(nèi)容進(jìn)行持續(xù)優(yōu)化和精準(zhǔn)融合，確保輸出結(jié)果既符合用戶偏好，又具備高質(zhì)量的語(yǔ)義一致性和內(nèi)容豐富度，極大地提升了文化知識(shí)服務(wù)的水平和用戶體驗(yàn)。[0084]在一個(gè)示例性的實(shí)施例中，對(duì)比學(xué)習(xí)損失函數(shù)的計(jì)算公式為：[0086]其中，Lalign為對(duì)比損失函數(shù)的結(jié)果，e為文化知識(shí)圖譜中的實(shí)體向量，hM為大模[0087]具體的，上述公式通過(guò)計(jì)算目標(biāo)實(shí)體向量與文本隱層表示的相似度，并將其與所有候選實(shí)體即正樣本和負(fù)樣本的相似度進(jìn)行對(duì)比，來(lái)評(píng)估語(yǔ)義對(duì)齊的質(zhì)量。通過(guò)該公式可以使得文化知識(shí)圖譜中的實(shí)體向量與大模型生成的文本隱層表示在語(yǔ)義空間中更加精準(zhǔn)地對(duì)齊，從而提升跨模態(tài)語(yǔ)義理解與融合的效果，為后續(xù)的文化知識(shí)生成與檢索任務(wù)提供更可靠的語(yǔ)義基礎(chǔ)。[0088]基于同樣的發(fā)明構(gòu)思，如圖2所示，本申請(qǐng)實(shí)施例還提供了結(jié)合知識(shí)圖譜的光明大模型文化知識(shí)生成與檢索系統(tǒng)200,系統(tǒng)包括：[0089]知識(shí)圖譜構(gòu)建模塊201,用于根據(jù)多模態(tài)文化數(shù)據(jù)進(jìn)行實(shí)體抽取、關(guān)系建模與動(dòng)態(tài)補(bǔ)全處理，并結(jié)合模糊時(shí)間推理算法與跨模態(tài)對(duì)齊機(jī)制，構(gòu)建文化知識(shí)圖譜，多模態(tài)文化數(shù)據(jù)包括非結(jié)構(gòu)化文化文本、圖像數(shù)據(jù)和時(shí)空元數(shù)據(jù)，時(shí)空元數(shù)據(jù)包括文本時(shí)空元數(shù)據(jù)和圖像時(shí)刻元數(shù)據(jù)；[0090]語(yǔ)義對(duì)齊處理模塊202,用于通過(guò)用戶查詢語(yǔ)句和文化知識(shí)圖譜，結(jié)合大模型進(jìn)行語(yǔ)義對(duì)齊處理，得到跨模態(tài)語(yǔ)義對(duì)齊的聯(lián)合表示；[0091]聯(lián)合優(yōu)化處理模塊203,用于基于聯(lián)合表示進(jìn)行多模態(tài)檢索-生成聯(lián)合優(yōu)化，得到文化知識(shí)描述和關(guān)聯(lián)多模態(tài)內(nèi)容。[0092]上述結(jié)合知識(shí)圖譜的光明大模型文化知識(shí)生成與檢索系統(tǒng)200中，知識(shí)圖譜構(gòu)建模塊201通過(guò)對(duì)多模態(tài)文化數(shù)據(jù)進(jìn)行實(shí)體抽取、關(guān)系建模與動(dòng)態(tài)補(bǔ)全處理，并結(jié)合模糊時(shí)間推理算法與跨模態(tài)對(duì)齊機(jī)制，構(gòu)建文化知識(shí)圖譜。該模塊能夠全面整合非結(jié)構(gòu)化文化文本、圖像數(shù)據(jù)和時(shí)空元數(shù)據(jù)，能夠突破傳統(tǒng)單一數(shù)據(jù)源構(gòu)建知識(shí)圖譜的局限，從而為后續(xù)的文化知識(shí)生成與檢索提供更豐富的數(shù)據(jù)基礎(chǔ)。語(yǔ)義對(duì)齊處理模塊202則可以通過(guò)用戶查詢語(yǔ)句和文化知識(shí)圖譜結(jié)合大模型進(jìn)行語(yǔ)義對(duì)齊處理，得到跨模態(tài)語(yǔ)義對(duì)齊的聯(lián)合表示。該過(guò)程能夠有效提升跨模態(tài)語(yǔ)義理解與融合能力，生成更符合用戶需求的語(yǔ)義表示，從而為后續(xù)的檢索和生成任務(wù)提供精準(zhǔn)的語(yǔ)義基礎(chǔ)。而聯(lián)合優(yōu)化處理模塊203可以基于聯(lián)合表示進(jìn)行多模態(tài)檢索-生成聯(lián)合優(yōu)化，能夠同時(shí)實(shí)現(xiàn)精準(zhǔn)檢索和高質(zhì)量生成，得到對(duì)應(yīng)的文化知識(shí)描述和關(guān)聯(lián)多模態(tài)內(nèi)容，為用戶提供全面的文化知識(shí)服務(wù)，顯著提升了文化知識(shí)生成與檢索的效率和質(zhì)量，為文化知識(shí)的傳播與利用提供了有效的技術(shù)支撐。[0095]根據(jù)非結(jié)構(gòu)化文化文本和圖像數(shù)據(jù)，通過(guò)跨模態(tài)聯(lián)合嵌入模型進(jìn)行實(shí)體與關(guān)系抽取處理，得到實(shí)體向量集合和關(guān)系集合，跨模態(tài)聯(lián)合嵌入模型由文本編碼器和圖像編碼器[0096]通過(guò)時(shí)空元數(shù)據(jù)的時(shí)間模糊描述，采用高斯分布模型構(gòu)建時(shí)間概率密度函數(shù)，得到模糊時(shí)間標(biāo)簽；[0097]跨模態(tài)對(duì)齊子單元，用于：[0098]根據(jù)實(shí)體向量集合和關(guān)系集合，通過(guò)圖遍歷算法生成實(shí)體關(guān)聯(lián)路徑，并通過(guò)預(yù)設(shè)路徑數(shù)量閾值，篩選出稀疏實(shí)體路徑；[0099]根據(jù)稀疏實(shí)體路徑，通過(guò)強(qiáng)化學(xué)習(xí)策略進(jìn)行路徑補(bǔ)全處理，生成缺失的三元組，強(qiáng)化學(xué)習(xí)策略的獎(jiǎng)勵(lì)函數(shù)由文化領(lǐng)域一致性和用戶反饋置信度構(gòu)成，其中，文化領(lǐng)域一致性通過(guò)預(yù)訓(xùn)練的文化語(yǔ)義空間距離計(jì)算，用戶反饋置信度根據(jù)用戶對(duì)歷史生成結(jié)果的評(píng)分?jǐn)?shù)據(jù)統(tǒng)計(jì)得出；[0100]將實(shí)體向量集合、關(guān)系集合、模糊時(shí)間標(biāo)簽和缺失的三元組進(jìn)行整合處理，得到文化知識(shí)圖譜。[0101]進(jìn)一步的，語(yǔ)義對(duì)齊處理模塊202包括：[0102]數(shù)據(jù)處理子單元，用于：[0103]根據(jù)用戶查詢語(yǔ)句，通過(guò)大模型進(jìn)行文本隱層表示生成處理，得到文本隱層表示，大模型為基于Transformer架構(gòu)的預(yù)訓(xùn)練語(yǔ)言模型；[0104]基于用戶查詢語(yǔ)句，從文化