哈爾濱工業(yè)大學(xué)社會計算與信息檢索研究中心友愛力行樂學(xué)日新RESEARCH

CENTER

FOR

SOCIALPUTING

AND

INFORMATION

RETRIEVAL多模態(tài)知識圖譜構(gòu)建初探匯報人：非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)單模態(tài)數(shù)據(jù)多模態(tài)數(shù)據(jù)知識單模態(tài)知識圖譜到多模態(tài)知識圖譜CEO庫克蘋果公司關(guān)系頭實(shí)體尾實(shí)體intel芯片屬于產(chǎn)品CEO庫克人公司蘋果公司知名人士機(jī)構(gòu)物品電腦蘋果電腦芯片文本圖像封閉域信息抽取VS開放域信息抽取“蒂姆·庫克擔(dān)任蘋果公司的首席執(zhí)行官”（“蒂姆·庫克”，“首席執(zhí)行官”，“蘋果公司抽取路線1:封閉信息抽?。–lose

IE）抽取路線2:開放信息抽取（OpenIE）蒂姆·庫克人機(jī)構(gòu)雇傭關(guān)系擁有關(guān)系學(xué)習(xí)關(guān)系蘋果公司事先給定實(shí)體類別和關(guān)系類型標(biāo)簽（“蒂姆·庫克”，雇傭關(guān)系，“蘋果公司”）知識圖譜中容納的事實(shí)知識intel芯片蘋果電腦屬于產(chǎn)品CEO蘋果公司庫克發(fā)熱量產(chǎn)品英特爾公司總部圣克克拉總部屬于加利福尼亞庫比蒂諾市上位詞實(shí)體屬性關(guān)系城市洲/省電子產(chǎn)品產(chǎn)品地點(diǎn)蘋果公司和英特爾公司產(chǎn)品間的聯(lián)系公司組織知識圖譜中的矛盾事實(shí)？objsubj強(qiáng)于objsubj無法媲美ARM處理器的性能

Intel處理器的性能不限制功耗，ARM處理器的性能暫時無法媲美

Intel處理器的性能ARM處理器的性能

Intel處理器的性能消耗相同的電能，ARM處理器的性能強(qiáng)于

Intel處理器的性能知識圖譜中的矛盾事實(shí)消耗相同的電能，ARM處理器的性能強(qiáng)于Intel處理器的性能。不限制功耗，ARM 處理器的性能暫時無法媲美Intel處理器的性能Intel處理器的性能objsubjARM處理器的性能強(qiáng)于消耗obj相同的電能條件Intel處理器的性能objsubjARM處理器的性能無法媲美不限制obj條件條件性知識圖譜2014年烏克蘭發(fā)生橙色革命，2022年初烏克蘭民間武裝與烏克蘭政府軍爆發(fā)沖突，

2022年2月24日俄羅斯在烏克蘭進(jìn)行特別軍事行動，烏克蘭宣布與俄羅斯斷交。時間沖突時間烏克蘭民間組織橙色革命特別軍事行動斷交2022初實(shí)體層關(guān)系層發(fā)生條件層次序?qū)?014政府軍歸屬K3.俄羅斯時間進(jìn)行前

序后

序事

實(shí)條

件頭實(shí)體尾實(shí)體T1.T2.2022年2月24日K1.K2.<CCKS

2023

best

paper>開放域事實(shí)和條件聯(lián)合抽取數(shù)據(jù)集構(gòu)建Sentences:MacwilabandonIntelprocessorsanduseARMprocessorsinstead.Withoutlimitationonpowerconsumption,theperformanceofARMprocessorscannotbparedwiththatofIntelprocessors.ButtheperformanceofARMprocessorsisbeterthanthatofIntelprocessorsinthecaseofconsumingthesamepower.tuple-1:(Mac,wilabandon,Intelprocessors)tuple-2:(Mac,use,ARMprocessors)tuple-3:({ARMprocessors:performance},cannotbparedwith,{Intelprocessors:performance})tuple-4:({ARMprocessors:performance},isbeterthan,{Intelprocessors:performance})tuple-5:(nul,withoutlimitingon,powerconsumption)tuple-6:(nul,inthecaseofconsuming,samepower)Relation=tuple-3|tuple-5,

tuple-4|tuple-6元組：是事實(shí)和條件中最小的知識單位，組成結(jié)構(gòu)為：[實(shí)體1：屬性1--關(guān)系--實(shí)體2：屬性2]事實(shí)知識和條件知識均表示為一系列元組，條件知識也是一種事實(shí)，用于對事實(shí)的補(bǔ)充和說明分階段的事實(shí)和條件知識抽取代表元組中的關(guān)系謂詞識別??代表元組中的實(shí)體、屬性識別??代表元組間事實(shí)和條件對應(yīng)關(guān)系識別??方案：采用分階段抽取方式，先抽取元組，再確定元組間的事實(shí)和條件對應(yīng)關(guān)系多輸入多輸出的事實(shí)和條件知識聯(lián)合抽取支持1954

年克里米亞加入Sentence自從CONDITIONFACTCONDITIONFACT獨(dú)立obj.obj.subj.subj.obj.烏克蘭俄羅斯事實(shí)：[俄羅斯，敵對，烏克蘭]條件：[烏克蘭，打擊，親俄勢力]條件：[烏克蘭，加入，北約]條件：[俄羅斯，部署，戰(zhàn)略導(dǎo)彈]事實(shí)：[克里米亞，屬于，烏克蘭]條件：[自從，1954年]半監(jiān)督方案的引入人工數(shù)據(jù)標(biāo)注模型訓(xùn)練人工規(guī)則糾錯將條件知識注入到模型中iCK-BERT(Transformer)1

×…11

×[Tim

Cook,

??,

?

]PredictorPredictiveDistributionPredictiveDistribution11

entity/

Attribute

layer11tuple

layer11knowledge

layerTransformer

encoder

LayerTransformer

encoder

LayerTransformer

encoder

LayerTransformeroCK-BERT(Transformer)[烏克蘭,總統(tǒng),?]事實(shí)知識[會談,時間,?]條件知識階段3:事實(shí)知識和條件知識的深度融合階段2:條件知識利用表示學(xué)習(xí)注入now3123456456670[CLS]

Tim

Cook+

+

+Job+holds

Apple

[mask]

is+

+

+

+visiting+[MASK]+capital+China+++A+A+A+A+A+A+A+A+A+A+A+A+A階段1:事實(shí)知識在預(yù)訓(xùn)練模型中注入0

1

2

3

4

5

6

7

8

9101112Visible

Matrix0

1

2

3

4

5

6

7

8

9

101112visibleinvisible0

1

2

7

8

1Cookis

visiting[CLS]0Tim蒂姆

1Apple蘋果公司52

49Beijing北京5no2

w現(xiàn)在6庫克 正在 拜訪356CEO首席執(zhí)行官61capi0tal首都611China中國

7Job

3職位34holds擔(dān)任

4多模態(tài)結(jié)構(gòu)化信息提取目標(biāo)：讓計算機(jī)自動生成一種語義化的圖結(jié)構(gòu)（稱為

scene graph，場景圖）圖像場景圖提取視頻場景圖提取多模態(tài)知識圖譜構(gòu)建姜糖水可以治療由風(fēng)寒導(dǎo)致的感冒。中美科研團(tuán)隊(duì)在最新一期《細(xì)胞》雜志撰文稱,他們制造出首個由人類細(xì)胞和猴子細(xì)胞共同組成的胚胎,這些嵌合體有助科學(xué)家進(jìn)一步在其它物種體內(nèi)（如豬）培育出人體組織,但最新研究也引發(fā)了一些倫理爭議。犯罪嫌疑人程某指認(rèn)涉案自行車青浦區(qū)檢察院供圖

“早知道這么貴我就不偷了?！?2歲的被告人程某因貪小便宜，偷走了一輛折疊自行車。9月24日，澎湃新聞記者從上海市青浦區(qū)檢察院獲悉，經(jīng)該院以盜竊罪提起公訴，程某于9月17日被判處有期徒刑十個月，并處罰金人民幣三千元。程某稱，自己退休后在青浦區(qū)一郊野公園養(yǎng)護(hù)水草，手底下管著十個人，每月工資4500元，外加退休金和補(bǔ)貼，生活條件還算不錯。模態(tài)代表數(shù)據(jù)的分布，不同來源的分布不一致的數(shù)據(jù)代表不同模態(tài)的數(shù)據(jù)模態(tài)表示是多模態(tài)深度學(xué)習(xí)的基礎(chǔ)，分為單模態(tài)表示和多模態(tài)表示單模態(tài)表示：對單個模態(tài)信息進(jìn)行線性或非線性映射，產(chǎn)生單個模態(tài)信 息的高階語義特征表示。語句、圖像、視頻、聲音等模態(tài)為單模態(tài)表示 中的主要處理對象，且不同的模態(tài)有不同的適用的神經(jīng)網(wǎng)絡(luò)模型多模態(tài)表示：指采用模態(tài)共作用語義表示或者模態(tài)約束語義表示的方法，對各模態(tài)信息進(jìn)行處理，使得包含相同或相近語義的模態(tài)信息也具有相同或相近的表示多模態(tài)聯(lián)合表示模態(tài)共作用語義表示：融合各單模態(tài)的特征表示，以獲得包含各模態(tài) 語義信息的多模態(tài)表示模態(tài)約束語義表示：用一個模態(tài)的單模態(tài)表示結(jié)果去約束其他模態(tài)的 表示，以使其他模態(tài)的表示能夠包含該模態(tài)的語義信息模態(tài)共作用語義表示模態(tài)約束語義表示多模態(tài)命名實(shí)體識別多模態(tài)命名實(shí)體識別，文本和圖像聯(lián)合確定實(shí)體位置和類型dogpersonobject？多模態(tài)實(shí)體關(guān)系抽取出席大會的有：XXX、XXX、XXX、XXX輸入實(shí)體對，聯(lián)合文本和圖像確定實(shí)體對之間的關(guān)系類型多模態(tài)實(shí)體關(guān)系抽取，圖片細(xì)粒度特征輔助識別實(shí)體關(guān)系上級反派，隸屬于敵方勢力多模態(tài)實(shí)體提取結(jié)構(gòu)：采用多任務(wù)學(xué)習(xí)方式聯(lián)合優(yōu)化3

個損失函數(shù)：L_crf

是利用條件隨機(jī)場模型抽取實(shí)體時的損失函數(shù)L_task1

是建模圖文粗粒度相關(guān)性的損失函數(shù)L_task2

是建模圖文細(xì)粒度相關(guān)性的損失函數(shù)多模態(tài)實(shí)體抽取-groundinggrounded橋接的多模態(tài)實(shí)體關(guān)系抽取圖構(gòu)建：輸入句子和圖片分別使用句法分析工具以及場景圖生成工具得到模態(tài)內(nèi)的圖，然后兩者全連接得到多模態(tài)圖圖交互：以構(gòu)建得到的圖為交互橋梁，進(jìn)行多層跨模態(tài)交互關(guān)系分類：基于多方面門控信息整合的多模態(tài)信息整合及交互以多模態(tài)關(guān)系圖作為橋習(xí)跨模態(tài)交互<ICASSP

2024>特點(diǎn)：多粒度圖文相關(guān)計算，通過全局節(jié)點(diǎn)和局部節(jié)點(diǎn)分別建模整體和局部的模態(tài)交互基于細(xì)粒度匹配的多模態(tài)實(shí)體關(guān)系抽取表示層：文本編碼器BERT，圖片編碼器ResNet

、多模態(tài)交互層多模態(tài)交互層建模圖文之間的細(xì)粒度元素對齊利用目標(biāo)檢測算法抽取得到節(jié)點(diǎn)和節(jié)點(diǎn)間關(guān)系對句子進(jìn)行句法分析得到句法樹分類層：基于提示模板關(guān)系抽取，將關(guān)系分類建模為掩碼預(yù)測任務(wù)選取三元組級別乃至路徑級別的細(xì)粒度對齊迭代的多模態(tài)實(shí)體關(guān)系抽取迭代框架：使用diffusion的框架將多模態(tài)實(shí)體抽取定義為迭代過程動態(tài)模態(tài)融合：在迭代過程中，按照階段以及樣本動態(tài)融合多種模態(tài)表示多粒度模態(tài)對齊：

不同粒度的模態(tài)對齊損失捕捉全局以及局部的模態(tài)對齊<COLING

2024>特點(diǎn)：迭代的多模態(tài)實(shí)體抽取框架來動態(tài)融合多模態(tài)的特征，從而充分利用多種模態(tài)特征視頻場景圖生成STTran空間關(guān)系抽取(視頻中的每幀圖像)時間關(guān)系抽取(幀與幀之間的時間依賴)結(jié)構(gòu)：STTran包含兩個部分，spatialencoder和temporaldecoder。spatialencoder負(fù)責(zé)處理單個幀中的空間關(guān)系，而在temporal

decoder中不同幀之間的關(guān)系可以共享信息并獲取時間上的依賴性優(yōu)勢：利用時間上下文更準(zhǔn)確地推測出幀與幀的關(guān)系，即更準(zhǔn)確的連貫動作關(guān)系<Spatial-Temporal

Transformerfor

Dynamic

Scene

Graph

Generation

ICCV>基于生成+篩選機(jī)制的視頻場景圖生成分階段解碼框架：模型采用pipeline架 構(gòu)，分為兩個階段：第一階段嫁接靜態(tài) 場景圖模型獲取幀 內(nèi)的靜態(tài)結(jié)構(gòu)信息第二階段根據(jù)幀之 間的時序相關(guān)性將 上一階段生成的靜 態(tài)信息重構(gòu)為動態(tài) 場景圖FCSimilarity

calculation…FeatureExtractorBounding

BoxCategory1

1,11

1,21

2,11

3,12

1,12

1,2…

(),+1?1Classi