從知識(shí)圖譜到認(rèn)知智能復(fù)旦大學(xué)知識(shí)工場實(shí)驗(yàn)室shawyh@知識(shí)圖譜富含實(shí)體、概念、屬性、關(guān)系等信息，使得機(jī)器理解與解釋成為可能知識(shí)圖譜使能認(rèn)知智能領(lǐng)域/通用知識(shí)的積累與沉淀是智能化的必經(jīng)路徑大數(shù)據(jù)時(shí)代人工智能時(shí)代需要知識(shí)引擎:釋放大數(shù)據(jù)價(jià)值需要機(jī)器智腦:實(shí)現(xiàn)知識(shí)工作自動(dòng)化nnnnnn已經(jīng)成為各行各業(yè)的普遍訴求從信息化走向智能化是必然趨勢AI+成為AI賦能傳統(tǒng)行業(yè)的基本模式戰(zhàn)略意義各個(gè)環(huán)節(jié)至社會(huì)形態(tài)3技術(shù)生態(tài)變化?深度學(xué)習(xí)、大規(guī)模預(yù)訓(xùn)練模型的一大規(guī)模應(yīng)用，對(duì)基于知識(shí)的應(yīng)用形成替代Petroni,Fabio,etal.LanguagemodelsasknowlePetroni,Fabio,etal.Languagemodelsasknowlejustifiedtruebeliefjustifiedtruebelief人類視角呈現(xiàn)在數(shù)據(jù)中的能夠有效求解問題呈現(xiàn)在數(shù)據(jù)中的能夠有效求解問題的“輸入-輸出”數(shù)據(jù)模式機(jī)器視角?深度學(xué)習(xí)發(fā)展迅速，機(jī)器隱形知識(shí)興起?大規(guī)模訓(xùn)練模型可以視作是一類新型的統(tǒng)計(jì)驅(qū)動(dòng)的知識(shí)庫成本與效用矛盾突出n隨著知識(shí)圖譜應(yīng)用的深化，其成本與效用之間的矛盾日益突出成本成本場景不明哪些應(yīng)用場景能技術(shù)風(fēng)險(xiǎn)景上添花圖譜應(yīng)用大都屬于景上添花，而非雪中送炭效用運(yùn)維成本圖譜建設(shè)不是一次性投入，需要持續(xù)運(yùn)維6知識(shí)圖譜面臨全新挑戰(zhàn)認(rèn)知認(rèn)知智能知識(shí)智能知識(shí)8什么是智能 ?Intelligenceistheabilitytolearnfrom experience,solveproblemsanduseourknowledgetoadapttonewsituations.Intelligenceknowledge9什么是知識(shí) ?Knowledge=JustifiedTrueBelief ?Wemusthavesomejustificationforbelievingit?數(shù)據(jù)：對(duì)客觀世界的符號(hào)化記錄?信息：被賦予意義的數(shù)據(jù)?知識(shí)：信息之間有意義的關(guān)聯(lián)體溫達(dá)到39攝氏度，可能發(fā)燒了體溫39攝氏度 智能機(jī)器將成為“認(rèn)知”世界的新主體10認(rèn)知智能認(rèn)知智能是以知識(shí)的發(fā)現(xiàn)和應(yīng)用為核心內(nèi)容的智能形式認(rèn)知智能：讓機(jī)器具備?高階認(rèn)知(人類特有的認(rèn)知)人類的認(rèn)知低階認(rèn)知(人類和動(dòng)物共有的認(rèn)知)人類認(rèn)知層次解釋規(guī)劃理解推理歸納演繹認(rèn)知的目的是獲取知識(shí)?知識(shí)是認(rèn)知的結(jié)果，認(rèn)知是獲取知識(shí)的手段?認(rèn)知智能以知識(shí)智能為核心現(xiàn)實(shí)世界認(rèn)知知識(shí)視角機(jī)器機(jī)器視角justifiedtruebelief呈現(xiàn)在數(shù)據(jù)中的能夠有效求解問題的“輸入-輸出”數(shù)據(jù)模式認(rèn)知與感知之間的關(guān)系?認(rèn)知智能不僅是感知智能升級(jí)的一個(gè)全新階段?認(rèn)知智能與感知智能是雙向互動(dòng)關(guān)系外：身體感知與運(yùn)動(dòng)視覺：鴨兔錯(cuò)覺Itwasfoundthatthe*eelwasontheaxle聽覺：音位恢復(fù)n人類獨(dú)特的腦補(bǔ)效應(yīng)本質(zhì)上是認(rèn)知對(duì)于感知的有益引導(dǎo)與補(bǔ)充n機(jī)器感知智能的瓶頸的突破需要認(rèn)知牽引認(rèn)知智能的思想支撐?認(rèn)知智能的實(shí)現(xiàn)需要AI三大流派的合流，形成合力n實(shí)現(xiàn)人類的物理交互：運(yùn)動(dòng)n實(shí)現(xiàn)人類的社會(huì)認(rèn)知“快思考”“慢思考”面向認(rèn)知的進(jìn)化主義?有效的、合理的反饋是進(jìn)化主義解決問題的關(guān)鍵?文本/圖像/語音理解等為代表的認(rèn)知任務(wù)需要從知識(shí)庫（人類認(rèn)知世界的邏輯結(jié)果）尋求有效的反饋機(jī)制面向運(yùn)動(dòng)與感知的強(qiáng)化學(xué)習(xí)面向認(rèn)知的強(qiáng)化學(xué)習(xí)KnowledgeKnowledge從物理世界的尋求反饋從邏輯世界尋求反饋理解與解釋是認(rèn)知智能的核心體現(xiàn)認(rèn)知智能的核心能力是“理解”和“解釋”，體現(xiàn)在機(jī)器能夠理解數(shù)據(jù)、理解語言進(jìn)而理解現(xiàn)實(shí)世界的能力，體現(xiàn)在機(jī)器能夠解釋數(shù)據(jù)、解釋過程進(jìn)而解釋現(xiàn)象的能力，體現(xiàn)在推理、規(guī)劃等等一系列人類所獨(dú)有的認(rèn)知能力上。——《知識(shí)圖譜與認(rèn)知智能》，肖仰華解釋解釋認(rèn)識(shí)認(rèn)知智能的技術(shù)內(nèi)涵多模態(tài)理解常識(shí)理常識(shí)理解●類比與元認(rèn)知知CognitiveMachine解語言理解演繹高階認(rèn)知價(jià)值認(rèn)知多模態(tài)理解?大規(guī)模符號(hào)接地是賦予符號(hào)以體驗(yàn)與意義的過程大規(guī)模KG多模態(tài)的應(yīng)用嬰?車過斑馬線，嬰?車過斑馬線，車中嬰?被機(jī)器識(shí)別為違章構(gòu)建機(jī)器智腦行業(yè)智能化發(fā)展感知智能發(fā)展常識(shí)知識(shí)缺失、常識(shí)理解有限，難以支撐人工智能應(yīng)用需求?“人類認(rèn)識(shí)世界的過程是基于人們對(duì)某種因果關(guān)系的猜測n從統(tǒng)計(jì)相關(guān)到事理因果是機(jī)器感知智能（深度學(xué)習(xí)）語言理解克羅地亞（克羅地亞足球國家隊(duì)）淺層理解淺層理解國家足球隊(duì)、足球隊(duì)、冠軍球隊(duì)場景：國際足聯(lián)世界杯獲得第一名的國家足球隊(duì)深層理解深層理解語言認(rèn)知語言認(rèn)知?智能體現(xiàn)在沿著概念層級(jí)進(jìn)行歸納與演繹的能力?歸納與演繹是人類認(rèn)知的重要形式n大規(guī)模概念圖譜是實(shí)現(xiàn)機(jī)器歸納與演繹的基礎(chǔ)類比與隱喻“真是病來“真是病來如山倒，祛病如抽絲哇”CasebasedReasoningn機(jī)器在大規(guī)模開放環(huán)境下的類比推理能力仍然十分有限情況7343+4=7元認(rèn)知?領(lǐng)域（行業(yè)）有哪些核心概念？概念的層級(jí)體系如何？“元知識(shí)（Meta-knowledge）是有關(guān)知識(shí)的知識(shí)”?概念存在哪些核心屬性？概念之間存在哪些核心關(guān)系？?機(jī)器能否以及如何自動(dòng)化建立領(lǐng)域的認(rèn)知體系？完善schemaAS2wascreatedin2002OpenIE+聚類+人工評(píng)估IRCcanbeconnectedtoviaIPv4,theoldversionofOpenIE+聚類+人工評(píng)估直接匹配開放信息抽取專家定義Scheman機(jī)器輔助人類建立知識(shí)體系日益必要，也初具可能高階認(rèn)知?我知道你知道/需要/想什么?我知道你知道他知道什么機(jī)器機(jī)器n人機(jī)協(xié)作需要機(jī)器具備高階認(rèn)知能力，實(shí)現(xiàn)主動(dòng)協(xié)作n當(dāng)前交互類應(yīng)用“智障”的集中呈現(xiàn)在于缺乏高階認(rèn)知?人：我渴了，給我一杯喝的?機(jī)器：您要飲料還是茶水?人：水吧?機(jī)器：有糖還是無糖?人：無糖吧?機(jī)器：有氣泡還是無氣泡?人：無氣泡吧?機(jī)器：熱水還是冷水?人：冷水吧?機(jī)器：要加冰塊么?人：不加吧?機(jī)器：水是要礦泉水還是普通水呢?人：我只是想要一杯水喝n實(shí)現(xiàn)自省認(rèn)知的關(guān)鍵是評(píng)價(jià)與評(píng)估n實(shí)際應(yīng)用的兜底方案需要自省認(rèn)知不合理問題的拒絕不能答問題的提醒4-不確信問答的提示善意的抗辯與提醒 “除了上帝不合理問題的拒絕不能答問題的提醒4-不確信問答的提示善意的抗辯與提醒人類：魯迅老公是誰？機(jī)器：這個(gè)問題不合理，魯迅是男的人類：**藥物的禁忌癥是什么？回答不了，請尋求人類幫助人類：***發(fā)動(dòng)機(jī)不均勻度范圍多少機(jī)器：1%。請進(jìn)一步參考**指南獲取確信信息人類：給我降壓藥機(jī)器：您今天已經(jīng)吃過了，不建議再吃了價(jià)值認(rèn)知美與丑是與非對(duì)與錯(cuò)善與惡時(shí)長比3年前減少了10分鐘，系統(tǒng)百度百科：網(wǎng)絡(luò)群體極化；社會(huì)粘性喪失。在社群內(nèi)的交流更加不見得一定會(huì)比信息匱乏的時(shí)代北京日報(bào)客戶端時(shí)長比3年前減少了10分鐘，系統(tǒng)百度百科：網(wǎng)絡(luò)群體極化；社會(huì)粘性喪失。在社群內(nèi)的交流更加不見得一定會(huì)比信息匱乏的時(shí)代北京日報(bào)客戶端：呼吁有關(guān)部任情況加強(qiáng)監(jiān)管。社會(huì)各界共——黑格爾面向（工業(yè)）領(lǐng)域的認(rèn)知智能認(rèn)知智能應(yīng)用場景轉(zhuǎn)變n認(rèn)知智能逐漸由消費(fèi)互聯(lián)網(wǎng)向工業(yè)互聯(lián)網(wǎng)轉(zhuǎn)變大規(guī)模簡單應(yīng)用場景智慧美食智慧出行智慧美食智能搜索智能購物智能搜索小規(guī)模復(fù)雜應(yīng)用場景認(rèn)知對(duì)象逐漸多元化n認(rèn)知智能從以“人”為中心逐步發(fā)展到“人機(jī)物”并重物人y物?業(yè)務(wù)數(shù)據(jù)部門間貫通??業(yè)務(wù)數(shù)據(jù)部門間貫通?物料倉儲(chǔ)及資源智能管理?模擬實(shí)驗(yàn)促進(jìn)研發(fā)進(jìn)程?企業(yè)圖譜傳承企業(yè)經(jīng)驗(yàn)積累?政策文件智能解讀?市場環(huán)境輔助分析、風(fēng)險(xiǎn)預(yù)測?智能物流路線規(guī)劃??政策文件智能解讀?市場環(huán)境輔助分析、風(fēng)險(xiǎn)預(yù)測?智能物流路線規(guī)劃?自然災(zāi)害影響分析預(yù)測傳統(tǒng)工業(yè)技術(shù)?設(shè)備故障根因定位?實(shí)時(shí)統(tǒng)計(jì)業(yè)務(wù)影響?設(shè)備健康管理系統(tǒng)助力工業(yè)發(fā)展認(rèn)知智能助力工業(yè)發(fā)展工業(yè)認(rèn)知的本質(zhì)文檔數(shù)據(jù)專家n知識(shí)如何獲取？認(rèn)知如何實(shí)現(xiàn)？專家工業(yè)認(rèn)知智能的主要困難智能應(yīng)用場景復(fù)雜知識(shí)專家知識(shí)隱性，難外化知識(shí)體系龐雜知識(shí)專家知識(shí)隱性，難外化知識(shí)體系龐雜，難表示受眾小、難獲取數(shù)據(jù)來源多樣形態(tài)復(fù)雜治理困難實(shí)現(xiàn)工業(yè)認(rèn)知的基本思路?工業(yè)模擬器是人類知識(shí)的主要體現(xiàn)n數(shù)據(jù)驅(qū)動(dòng)與知識(shí)引領(lǐng)相融合是解決工業(yè)認(rèn)知的基本路徑n以純數(shù)據(jù)驅(qū)動(dòng)為特色的消費(fèi)互聯(lián)網(wǎng)的技術(shù)體系難以在工業(yè)互聯(lián)網(wǎng)取得良好效果工業(yè)機(jī)理與統(tǒng)計(jì)模型的深度融合在最終結(jié)果中融合:利用知識(shí)評(píng)價(jià)、驗(yàn)證、修正在最終結(jié)果中融合:利用知識(shí)評(píng)價(jià)、驗(yàn)證、修正、改善已建立好的模型在模型選擇融合:在模型構(gòu)造中融合:在機(jī)器學(xué)習(xí)的損失函數(shù)等中融入知識(shí)在輸入數(shù)據(jù)中融合在輸入數(shù)據(jù)中融合:在原始數(shù)據(jù)集外,融入獨(dú)立的先驗(yàn)知識(shí)領(lǐng)域知識(shí)：物理定律（在同一時(shí)刻，湖水深度越深，密度越大）利用領(lǐng)域知識(shí)：在神經(jīng)網(wǎng)絡(luò)的損失函數(shù)中，額外加入一個(gè)正則化項(xiàng)，用于量化模型與物理定律的不一致程度。Human-in-the-loop仍是基本模式?人機(jī)協(xié)作是關(guān)鍵，隨著機(jī)器認(rèn)知能力的提升，人的認(rèn)知需求將會(huì)降低人類的知識(shí)機(jī)器的知識(shí)n機(jī)器的隱性知識(shí)將是人類知識(shí)體系的顯著補(bǔ)充n機(jī)器的認(rèn)知能力將顯著拓展人類的認(rèn)知能力認(rèn)知智能解決問題問題的一般框架?面向領(lǐng)域的認(rèn)知智能框架日益成熟文本/多模態(tài)任務(wù)LMRLLMRLKG多模態(tài)表示文本圖像視頻認(rèn)知智能的技術(shù)架構(gòu)知識(shí)應(yīng)用知識(shí)應(yīng)用Taxonomy抽取Taxonomy抽取百科圖譜corpora二語言模型corpora二語言模型概率圖模型schema理解schema理解LanguagemodelLanguagemodel知識(shí)獲取大規(guī)模知識(shí)網(wǎng)絡(luò)知識(shí)獲取 知識(shí)表示認(rèn)知引擎語言模型（LM）成為知識(shí)蓄水池萃取 萃?。浚╊A(yù)訓(xùn)練語言模型?Feature-based?改進(jìn)型及領(lǐng)域定制型常識(shí)知識(shí)知識(shí)圖譜事實(shí)知識(shí)知識(shí)圖譜增強(qiáng)語言知識(shí)……增強(qiáng)DecisiontreeLogicrulesOntology,FrameDecisiontreeLogicrulesOntology,FrameKnowledgeGraphLanguageModelMultimodalModeln認(rèn)知需要多元、異構(gòu)、混合的知識(shí)表示，相互交織組成大規(guī)模知識(shí)網(wǎng)絡(luò)無表征也是一種知識(shí)表示?專家真的是按照指南與規(guī)章在解決問題么？?否，只有新手才如此?專家從來是根據(jù)經(jīng)驗(yàn)在解決問題?人類的專家?工匠：富有經(jīng)驗(yàn)解決問題but很少能明確表達(dá)?大師：富有經(jīng)驗(yàn)解決問題and能明確清晰表達(dá)自?知識(shí)指引下的RLAgent經(jīng)過較多案例的演化學(xué)習(xí)有可能再現(xiàn)有經(jīng)驗(yàn)的工匠技能n機(jī)器智能的首要任務(wù)在于再現(xiàn)人類工匠的技能設(shè)計(jì)了behaviour-basedrobotics（基于行為的機(jī)?自上而下的研究方法，基于知識(shí)的方法?無表征AI：“需求-行動(dòng)”框架?自下而上的研究方法，基于行動(dòng)的方法素器createanyintelligence?人類知識(shí)的重要意義在于加速機(jī)器智能進(jìn)化的進(jìn)程、降低機(jī)器進(jìn)化的起點(diǎn)基于分布式表示的Policy可視作一類知識(shí)表示?基于分布式表示的Policy是人類解題技能與經(jīng)驗(yàn)的最佳表示方式之一RewardState0CalculateRewardbyEq.(12)BornIn(x,CalculateRewardbyEq.(12)BornIn(x,y)ΛCountry(y,z)Nationality(x,z)Nationality(x,z)BornIn(x,Nationality(x,z)分布式表示概念的分布式表示—基于結(jié)構(gòu)l詞匯概念知識(shí)圖譜JingpingLiu,XiaoYanghua,etal.LearningTermEmbeddingsforLexicalTaxonomies,AAAI2021.概念的分布式表示—基于原型原型：提出機(jī)器的分布式的概念原型表示PrototypicalRepresentationofConceptsonLarge-scaleTaxonomy,TechniqueReportofK人機(jī)知識(shí)的定量化實(shí)證分析?人工構(gòu)建的知識(shí)庫與機(jī)器自動(dòng)構(gòu)建的知識(shí)庫存在怎樣的差異？?從復(fù)雜網(wǎng)絡(luò)視角展開實(shí)證分析，探索機(jī)器“認(rèn)知”與人類認(rèn)知的異同?結(jié)論?知識(shí)圖譜總體上是稀疏、異配的，其度分布符合（指數(shù)截尾的）冪律分布?相對(duì)于手工構(gòu)建，自動(dòng)化構(gòu)建的知識(shí)圖譜不同領(lǐng)域間的語義豐富度更不均衡?自動(dòng)化構(gòu)建知識(shí)圖譜的K-Core部分或許是常識(shí)部分?知識(shí)圖譜中粗粒度概念語義更加豐富Analysisoverlarge-scaleknowledgegraphs：From?知識(shí)圖譜的冗余性（同質(zhì)性）評(píng)估TheBigger,TheBetter?TheCompressiblityofKnowledgeGraphs，TechniqueReportofKW,2021知識(shí)獲取的四種范式Q:美國的現(xiàn)任總統(tǒng)是誰?corpora知識(shí)抽取模型or規(guī)則庫 > >抽生生成模型生成模型取三元組成A:特朗普“中國的首都是[“中國的首都是[MASK]。”預(yù)訓(xùn)練語言模型萃取眾包TaskSe|ectionAnswerCo||ection北京待標(biāo)注文本知識(shí)庫基于模版的抽取-知識(shí)指引 ?Semanticdriftbecomesthebiggestprobleminbootstrapping-basedIE ?Thegoodnessofapatterndependsonitsexecutingcontext!?TheNormandylandingswerethelandingoperationsoftheinvasionofNormandy=>(NormandyLandings,Place,Normandy)√?amassiveconventionalNVAinvasionofSouthVietnam=>(VietnamWar,Place,?InvasionoftheDinosaursis...televisionseriesDoctorWho=>(InvasionoftheDinosaurs,Place,theDinosaurs)x端到端抽取—基底模型andisrecognizedastheworl GoogleisaUnitedStatesmultinational為每個(gè)實(shí)體新增一個(gè)概念（一個(gè)isa關(guān)系）?準(zhǔn)確率達(dá)到93%使用閱讀理解模型實(shí)現(xiàn)文本概念片段抽取之后借助隨機(jī)森林和規(guī)則匹配進(jìn)行篩選和過濾端到端抽取—抽取策略方法：優(yōu)點(diǎn)：1）問題建模使得負(fù)樣本比例大大減少，2）關(guān)系層面的標(biāo)Xie,etal.“RevisitingtheNegativeDataofDistantlySupervisedRelationE端到端抽取—持續(xù)學(xué)習(xí)關(guān)系原型-—廠關(guān)系原型-—廠模塊RefiningSampleEmbeddingswithRelationPrototype知識(shí)萃取是重要的知識(shí)獲取方式之一太陽有幾只眼睛？2只?Out太陽有幾只眼睛？2只?語言智能將走上KG+LM識(shí)識(shí)LM的局限Petroni,Fabio,etal.Languagemodelsn語言模型在常識(shí)理解、邏輯推理、常尾知識(shí)、元知識(shí)理解等方面仍然存在局限生成也是知識(shí)獲取的有益手段之一細(xì)粒度概念香港男演員細(xì)粒度概念香港男演員著名流行男歌手實(shí)體的更細(xì)節(jié)描述粗粒度概念劉德華劉德華屬性歌曲風(fēng)格細(xì)粒度概念生成根據(jù)結(jié)構(gòu)化信息生成細(xì)粒度概念的框架這一方案為CN-Dbpedia增加了130多萬的細(xì)粒度概念，準(zhǔn)確率91%基于生成模型的概念獲取LouisaMayAlcottwasanAmericannovelist,shortLouisaMayAlcottwasanAmericannovelist,shortstorywriterandpoetbestknownastheitsauthorofthenovelauthorofthenovelLittleWomenandsequelsLittleMenandJo'sBoys.ExtractionGeneration?具有一定的推理能力GenerationpoetshortstorywriterAmericannovelistwriterAmericanpoetshortstorywriterAmericannovelistwriterAmericannovelAmericannovelist?比如，關(guān)于小說描述，容易生成主題相近的錯(cuò)誤概念“作家” Americanfemalewriter topic=FigureandconceptgenerationfromthedescriptivetextofaFinalgeneratedtopic=FigureandconceptgenerationfromthedescriptivetextofaFinalgeneratedconceptwriterAmericannovelistAmericanfemalewritersiftopictext=topicconceptText-topicclassifierTable3:Pre-trainedtextgenerationmodels’conceptinferencebasedondescriptivetexts.LouisaMayAlcottLouisaMayAlcottwasanAmericannovelist,shortstorywriterandpoetbestknownastheauthorofthenovelLittleWomenanditssequelsLittleMenandJo'sBoys.EntityTextModelGeneratedconcepttopicconcepte egenerationmodelBeam