工業(yè)大數(shù)據(jù)與人工智能HFUT1主講人：徐娟

副教授教材簡(jiǎn)介2自然語(yǔ)言處理知識(shí)圖譜第五章

工業(yè)中的認(rèn)知智能

知識(shí)推理與決策生成式人工智能概念

3自然語(yǔ)言處理自然語(yǔ)言處理主要研究用計(jì)算機(jī)理解和生成自然語(yǔ)言的各種理論和方法，是一種強(qiáng)大的技術(shù)，它結(jié)合了計(jì)算機(jī)科學(xué)、人工智能、統(tǒng)計(jì)學(xué)和語(yǔ)言學(xué)等多個(gè)領(lǐng)域的知識(shí)，使得計(jì)算機(jī)系統(tǒng)對(duì)人類日常使用的自然語(yǔ)言進(jìn)行有效的分析、理解和生成。工業(yè)文本數(shù)據(jù)獲取4自然語(yǔ)言處理獲取渠道網(wǎng)頁(yè)聊天對(duì)話書籍日志文件文本預(yù)處理5自然語(yǔ)言處理文本預(yù)處理是自然語(yǔ)言處理中的一個(gè)重要步驟，它是指在將原始文本數(shù)據(jù)應(yīng)用到機(jī)器學(xué)習(xí)或深度學(xué)習(xí)模型之前，對(duì)其進(jìn)行清洗、標(biāo)準(zhǔn)化、轉(zhuǎn)換等一系列操作，目的是最大程度地保留有用的信息，同時(shí)去除噪聲和不必要的元素并增強(qiáng)特征的有效性以便讓文本數(shù)據(jù)更適合模型處理。特征提取6自然語(yǔ)言處理特征提取是指從文本數(shù)據(jù)中抽取出有意義的特征，以便用于機(jī)器學(xué)習(xí)或深度學(xué)習(xí)模型的訓(xùn)練和預(yù)測(cè)。特征提取分為以下幾種方法：詞嵌入、詞袋模型、TF-IDF（TermFrequency-InverseDocumentFrequency）、循環(huán)神經(jīng)網(wǎng)絡(luò)、長(zhǎng)短時(shí)間序列以及Transformer模型等。7自然語(yǔ)言處理自然語(yǔ)言處理的主要任務(wù)以及應(yīng)用主要任務(wù)：文本分類；信息抽??；問答系統(tǒng)；機(jī)器翻譯；文本情感分析。應(yīng)用：NLP輔助自動(dòng)駕駛8知識(shí)圖譜知識(shí)圖譜的定義概念:知識(shí)圖譜是一種用圖模型來(lái)描述知識(shí)和建模世界萬(wàn)物之間的關(guān)聯(lián)關(guān)系的技術(shù)方法。發(fā)展:起源階段（1950年代至1970年代）：語(yǔ)義網(wǎng)絡(luò)概念的提出，逐漸發(fā)展為將知識(shí)以網(wǎng)絡(luò)形式表示，為知識(shí)圖譜的雛形奠定基礎(chǔ)。發(fā)展階段（1970年代至2012年）：知識(shí)工程領(lǐng)域的發(fā)展，特別是在1977年知識(shí)工程概念的提出，促進(jìn)了基于規(guī)則的專家系統(tǒng)的研究和應(yīng)用。繁榮階段（2012年至今）：2012年，谷歌推出GoogleKnowledgeGraph，標(biāo)志著知識(shí)圖譜技術(shù)進(jìn)入了公眾視野，并在搜索引擎中得以廣泛應(yīng)用，顯著提升了搜索結(jié)果的相關(guān)性和實(shí)用性。9知識(shí)圖譜知識(shí)圖譜的定義類型:通用知識(shí)圖譜與領(lǐng)域知識(shí)圖譜按照構(gòu)建和維護(hù)方式劃分按照可訪問性劃分按照數(shù)據(jù)類型劃分按照應(yīng)用場(chǎng)景劃分作用：1.促進(jìn)生產(chǎn)效率和效果2.加強(qiáng)決策支持系統(tǒng)3.改善設(shè)備維護(hù)和故障診斷4.促進(jìn)產(chǎn)品創(chuàng)新和設(shè)計(jì)5.加強(qiáng)供應(yīng)鏈管理：10知識(shí)圖譜知識(shí)表示知識(shí)表示方法：(1)基于符號(hào)的知識(shí)表示方法(2)基于表示學(xué)習(xí)的知識(shí)表示方法11知識(shí)圖譜知識(shí)表示知識(shí)建模方法：(1)自頂向下(2)自頂向上12知識(shí)圖譜知識(shí)表示知識(shí)建模方法：手工建模方法13知識(shí)圖譜知識(shí)抽取實(shí)體抽取關(guān)系抽取事件抽取事件抽取14知識(shí)圖譜知識(shí)圖譜構(gòu)建與知識(shí)圖譜可視化15知識(shí)推理與決策知識(shí)推理的定義定義：知識(shí)推理是指根據(jù)知識(shí)圖譜中已有的知識(shí)，采用某些方法，推理出新的知識(shí)或識(shí)別知識(shí)圖譜中錯(cuò)誤的知識(shí)。主要可劃分為事前可解釋性的推理和事后可解釋性的推理。16知識(shí)推理與決策事前可解釋性的推理事前解釋模型，是指那些在設(shè)計(jì)之初即融入了內(nèi)在可解釋性要素，或?qū)⒖山忉屇K無(wú)縫嵌入其結(jié)構(gòu)中的模型體系。全局可解釋基于本體推理基于規(guī)則推理局部可解釋基于隨機(jī)游走的推理技術(shù) 基于案例推理基于注意力機(jī)制推理基于強(qiáng)化學(xué)習(xí)推理17知識(shí)推理與決策貝葉斯網(wǎng)絡(luò)決策推理的不確定性：已知事實(shí)與推理所依賴的知識(shí)為明確無(wú)誤的，由此產(chǎn)生的結(jié)論或被驗(yàn)證的假設(shè)也是精確無(wú)誤的。然而，現(xiàn)實(shí)生活中的萬(wàn)物及其相互聯(lián)系充滿了復(fù)雜性，由于客觀存在的隨機(jī)變量、模糊界限以及某些事物或現(xiàn)象的揭示不完整性，導(dǎo)致人們對(duì)它們的認(rèn)知往往會(huì)存在某種程度的模糊和不完善，從而帶有一定的不確定性。在處理知識(shí)圖譜中的不確定性時(shí)，不確定性推理方法一般沿著以下兩條路線發(fā)展，基于控制方法和基于模型發(fā)展。18知識(shí)推理與決策貝葉斯網(wǎng)絡(luò)19知識(shí)推理與決策多智能體系統(tǒng)與協(xié)同決策多智能體協(xié)同決策涉及到多個(gè)智能體之間的合作、協(xié)調(diào)和競(jìng)爭(zhēng)，以達(dá)成共同的目標(biāo)或優(yōu)化整體性能。這種協(xié)同決策可以應(yīng)用于各種領(lǐng)域，如機(jī)器人協(xié)作任務(wù)、無(wú)人系統(tǒng)的編隊(duì)控制、多智能體游戲中的合作與對(duì)抗等。在這些應(yīng)用中，智能體需要通過(guò)有效的信息交換、協(xié)調(diào)行動(dòng)和決策制定來(lái)實(shí)現(xiàn)協(xié)同工作。20生成式人工智能生成式人工智能基本概念生成式人工智能（ArtificialIntelligenceGeneratedContent，AIGC）是一種可用于創(chuàng)建新的內(nèi)容和想法（包括對(duì)話、故事、圖像、視頻和音樂）的人工智能。21生成式人工智能生成式人工智能基本概念發(fā)展早期探索階段：生成式人工智能的概念起源于上世紀(jì)五十年代的人工智能研究，初期主要體現(xiàn)在基于規(guī)則的系統(tǒng)設(shè)計(jì)上，例如簡(jiǎn)單語(yǔ)言模型和圖案生成算法。然而，受限于當(dāng)時(shí)的計(jì)算能力和理論基礎(chǔ)，實(shí)際效果較為有限。深度學(xué)習(xí)時(shí)代的發(fā)展：隨著深度學(xué)習(xí)技術(shù)在21世紀(jì)初的興起，生成式人工智能取得了重大突破。從最早的受限玻爾茲曼機(jī)（RestrictedBoltzmannMachines,RBMs），到后來(lái)的深度信念網(wǎng)絡(luò)（DeepBeliefNetworks,DBNs），再到生成對(duì)抗網(wǎng)絡(luò)（GenerativeAdversarialNetworks,GANs）的提出，標(biāo)志著生成式AI進(jìn)入了全新的發(fā)展階段。強(qiáng)化學(xué)習(xí)與變分自編碼器：強(qiáng)化學(xué)習(xí)與變分自編碼器（VariationalAutoencoders,VAEs）也被廣泛應(yīng)用到生成式AI中，通過(guò)自我學(xué)習(xí)和反饋機(jī)制，使得模型能夠更準(zhǔn)確地捕捉數(shù)據(jù)分布特征，并在此基礎(chǔ)上生成高質(zhì)量的新樣本。22生成式人工智能生成式人工智能應(yīng)用圖像修復(fù)和增強(qiáng)23生成式人工智能生成式人工智能應(yīng)用藝術(shù)創(chuàng)作和風(fēng)格轉(zhuǎn)換24生成式人工智能生成式人工智能應(yīng)用圖像編輯和轉(zhuǎn)換25生成式人工智能Transformer模型模型結(jié)構(gòu)編碼器-解碼器注意力模塊26生成式人工智能BETR模型全局構(gòu)造輸入表示基本預(yù)訓(xùn)練任務(wù)27生成式人工智能大語(yǔ)言模型大語(yǔ)言模型的構(gòu)建1.數(shù)據(jù)收集與預(yù)處理2.模型架構(gòu)設(shè)計(jì)3.模型預(yù)訓(xùn)練4.微調(diào)與對(duì)齊5.模型評(píng)估6推理與部署28生成式人工智能大語(yǔ)言模型ChatGPT系列模型模型發(fā)布時(shí)間層數(shù)頭數(shù)詞向量長(zhǎng)度參數(shù)量預(yù)訓(xùn)練數(shù)據(jù)量GPT-12018年6月12127681.17億約5GBGPT-22019年2月48-160015億40GBGPT-32020年5月9696128881750億45TB29生成式人工智能大語(yǔ)言模型ChatGPT模型30生