智能建造技術與管理6.1語言模型的發(fā)展6.語言模型知識增強6.2自然語言處理與語言模型6.3知識庫與知識增強6.4大語言模型知識增強工程應用3學習目標：把握相關知識發(fā)展脈絡，理解從統(tǒng)計NLP到Transformer與LLM的演進，明確各階段方法的優(yōu)勢與局限。掌握基本的語言表示與推理概念，熟悉分詞/子詞、詞向量與上下文表示；理解注意力機制、提示與鏈式思維等推理增強思路。理解知識增強方法與架構，掌握RAG、微調(diào)/指令調(diào)優(yōu)、工具調(diào)用等方法及其適用場景；認識數(shù)據(jù)層—檢索層—模型層—應用層的系統(tǒng)架構。面向工程應用落地，理解知識表示與數(shù)據(jù)治理概念，能夠設計典型工程管理場景的應用方案。6語言模型知識增強6.1語言模型的發(fā)展人工智能是什么？倏忽至三日，公端坐旅舍，靜以覘之，終日無恙。至夜，闔戶挑燈，倚劍危坐。一漏向盡，更無死法，意欲就枕，忽聞窗隙窣窣有聲。急視之，一小人荷戈入；及地，則高如人。公捉劍起，急擊之，飄忽未中。遂遽小，復尋窗隙，意欲遁去。公疾斫之，應手而倒。燭之，則紙人，已腰斷矣。 --《聊齋志異.妖術》6.1語言模型的發(fā)展圖靈機–判定問題：有沒有一種萬能的方法（或步驟），可以用來判斷某個給定的數(shù)學命題（或者數(shù)學描述）是真是假1+1是否等于2--很顯然這個數(shù)學描述是可以判定的1234是否是一個質(zhì)數(shù)–是否可判定？是否所有偶數(shù)都可以表示為兩個質(zhì)數(shù)之和？是否是可以判定的？6.1語言模型的發(fā)展圖靈機–組成：一個無限長的紙帶，分為小方格，每個方格可以記錄一個符號（比如0或1）。一個讀/寫頭，可以讀取紙帶上的符號，并根據(jù)預先定義的規(guī)則寫入新符號或移動紙帶。一個有限狀態(tài)機，即根據(jù)當前的狀態(tài)和讀取的符號決定下一步操作的規(guī)則集合。6.1語言模型的發(fā)展圖靈機–停機算法：假設存在一個停機算法：

算法H能判斷任意程序是否會在給定輸入下停機。構造一個悖論程序：

使用這個算法H，設想我們構造一個新程序P，這個新程序的邏輯：

如果H判斷程序P會停機，那么程序P進入一個無限循環(huán)，不會停機。

如果H判斷程序P不會停機，那么程序P直接終止。形成悖論：

用H判斷P本身是否會停機：

如果H認為P會停機，根據(jù)P的定義，它卻不會停機。

如果H認為P不會停機，P卻會立即停止。6.1語言模型的發(fā)展圖靈測試：參與者：測試包括三方，評估者（人類）、被測試者（機器或人類），以及可以是人類或機器的另一方（通常是人類）。交互方式：評估者通過文本界面與被測試者進行交互。這樣可以避免評估者受對方外表或其他物理特征的影響。交互通常在每個參與者的身份保密的情況下進行。評估過程：評估者通過提問，可以是開放式問題或封閉式問題，反饋被測試者的回答。在測試過程中，評估者的任務是判斷哪個是人類，哪個是機器。判斷標準：如果評估者無法可靠地區(qū)分機器和人類（即機器表現(xiàn)得像人類），則可以認為機器通過了圖靈測試，顯示其具備人工智能。6.1語言模型的發(fā)展1956年達特茅斯會議6.1語言模型的發(fā)展1960年代：ELIZA6.1語言模型的發(fā)展1970年代：SHRDLU6.1語言模型的發(fā)展1980年代：基于統(tǒng)計方法的技術開始發(fā)展N-gram隱馬爾可夫模型最大熵模型條件隨機場……6.1語言模型的發(fā)展2013年：Word2Vec6.1語言模型的發(fā)展Transformer:

Attention

is

all

you

need6.1語言模型的發(fā)展GPT6.1語言模型的發(fā)展編碼與解碼6.1語言模型的發(fā)展工程管理應用點思考與探索自動化處理項目相關文檔，如合同、招標書和變更通知，提取關鍵信息和條款；通過自然語言查詢，幫助管理人員快速找到所需的文檔和信息；在合規(guī)性檢查方面，語言模型可以分析項目文檔，確保所有的建設規(guī)范和法規(guī)得以遵守，自動識別潛在的不合規(guī)內(nèi)容；自動分析法律文本，為項目團隊提供簡明扼要的解讀和建議；語言模型也有潛力自動分析和審查工程合同，識別風險點和不合規(guī)條款。以上應用點有哪些可以落地和擴展？還有哪些應用點可以進行探索？6.2自然語言處理與語言模型BagofWords(BoW):6.2.1自然語言的表示句子1："Iloveswimming"句子2："Ilovereading"句子3："Swimmingisfun"構建詞匯表：[I,love,swimming,reading,is,fun]句子1句子2句子3I：1I：1I：0love：1love：1love：0swimming：1swimming：0swimming：1reading：0reading：1reading：0is：0is：0is：1fun：0fun：0fun：1統(tǒng)計詞頻：形成矩陣：[1,1,1,0,0,0][1,1,0,1,0,0][0,0,1,0,1,1]6.2自然語言處理與語言模型6.2.1自然語言的表示練習：構建BoWWincashnowMeetingscheduleattachedWinamillionnowCongratulationstowinaprizeCashiswaitingforyouProjectdeadlinereminder6.2自然語言處理與語言模型6.2.1自然語言的表示n-gram定義：連續(xù)出現(xiàn)的n個項（詞/字符）序列應用：文本分類、語言建模、信息檢索、拼寫糾錯說明：n表示項數(shù)；gram表示連續(xù)元素類型與示例（句子："Ilovenaturallanguageprocessing"）Unigram：單個詞Bigram：["Ilove","lovenatural","naturallanguage","languageprocessing"]n-gram優(yōu)缺點優(yōu)點：易理解與實現(xiàn)；保留相鄰詞的部分語義關系缺點：上下文有限、無法處理長距離依賴；n增大導致稀疏性嚴重6.2自然語言處理與語言模型6.2.1自然語言的表示W(wǎng)ord2VecSkip-Gram:根據(jù)中心詞，預測其上下文的詞。CBOW(ContinuousBagofWords):根據(jù)上下文的詞，預測中心詞。類型與示例（句子："Ilovenaturallanguageprocessing"）Unigram：單個詞Bigram：["Ilove","lovenatural","naturallanguage","languageprocessing"]Thequickbrownfoxjumpsoverthelazydog

6.2自然語言處理與語言模型6.2.1自然語言的表示W(wǎng)ord2Vec使用的是skip-gram或CBOW，GloVe的原理是什么？它關注的是有限數(shù)目詞匯的共現(xiàn)數(shù)據(jù)，還是全局共現(xiàn)數(shù)據(jù)？GloVe的目標函數(shù)是什么？GloVe的共現(xiàn)矩陣是如何計算的？GloveELMoBERT6.2自然語言處理與語言模型6.2.2語言模型與知識推理為什么知識推理很重要？支持高級應用：開放領域問答、專業(yè)領域問答、個性化推薦、摘要生成、情緒理解、情感推理。實現(xiàn)智能決策：利用已有知識，通過邏輯推導，得出新的、非顯式的結論或推斷。定義：利用已有的知識和信息，通過邏輯推理、規(guī)則應用或其它推理機制，得出新的結論或推斷的過程。示例(三段論)：已知事實1：所有的鳥都會飛。已知事實2：麻雀是一種鳥。推導結論：麻雀會飛。這也是人工智能中如何有效表示、管理和利用知識的關鍵。6.2自然語言處理與語言模型6.2.2語言模型與知識推理符號主義與一階邏輯核心思想符號模擬智能定義：將人類的思維和知識過程，通過符號（如語言、邏輯表達式）進行編碼、表示和操作，從而模擬智能行為。觀點：智能行為是基于對符號的形式化操作和邏輯推理。符號主義的知識表示目標：將知識編碼成計算機可理解和操作的精確形式。常用方法：邏輯表達式：使用數(shù)理邏輯（如一階邏輯）表達事實和規(guī)則。語義網(wǎng)(SemanticNets)：用節(jié)點（概念）和邊（關系）來表示知識結構?？蚣?Frames)：用于描述復雜概念的結構化表示方法。6.2自然語言處理與語言模型6.2.2語言模型與知識推理一階邏輯（First-OrderLogic,FOL）

一種典型的符號主義方法，用于表達和推理關于對象和它們之間關系的知識。在一階邏輯中，知識由謂詞、常量、變量、函數(shù)和量詞組成，可以用來描述復雜的事實和規(guī)則。實例化（Instantiation）：如果知道John是一個人，那么?x(Human(x)→Mortal(x))可以推導出Human(John)→Mortal(John)。歸納（Generalization）：如果知道Likes(John,Pizza)是真，可能會推斷?y:Likes(John,y)。演繹推理（DeductiveReasoning）：如果我們已知Human(Socrates)為真，而?x(Human(x)→Mortal(x))也為真，那么我們可以推導出Mortal(Socrates)為真。歸結（Resolution）：比如我們知道前提：?Parent(x,y)∨Ancestor(x,y)以及前提：Parent(John,Mary)，便可以歸結出：Ancestor(John,Mary)。6.2自然語言處理與語言模型6.2.2語言模型與知識推理專家系統(tǒng)

6.2自然語言處理與語言模型6.2.2語言模型與知識推理語義網(wǎng)（SemanticNetwork）

6.2自然語言處理與語言模型6.2.2語言模型與知識推理練習節(jié)點：節(jié)點A表示“動物”。節(jié)點B表示“哺乳動物”。節(jié)點C表示“鯨魚”。節(jié)點D表示“魚”。關系描述：B節(jié)點“哺乳動物”是A節(jié)點“動物”的一種（is-a關系）。C節(jié)點“鯨魚”是B節(jié)點“哺乳動物”的一種（is-a關系）。D節(jié)點“魚”是A節(jié)點“動物”的一種（is-a關系）。B節(jié)點“哺乳動物”具有“呼吸空氣”的特征。D節(jié)點“魚”具有“用鰓呼吸”的特征。6.2自然語言處理與語言模型6.2.2語言模型與知識推理資源描述框架(RDF)：語義網(wǎng)的基礎構件

6.2自然語言處理與語言模型6.2.2語言模型與知識推理知識圖譜

6.2自然語言處理與語言模型6.2.2語言模型與知識推理本體（Ontology）

6.2自然語言處理與語言模型6.2.2語言模型與知識推理“特征”通常指的是可以用來描述、表示或區(qū)分不同文本數(shù)據(jù)的屬性或變量。比如在我們前文中的垃圾郵件分類練習中，“Cash”一詞出現(xiàn)的頻率就可以算一個特征。6.2自然語言處理與語言模型6.2.2語言模型與知識推理Transformer6.2自然語言處理與語言模型6.2.2語言模型與知識推理未來發(fā)展與思考潛在方向自監(jiān)督學習可解釋性跨領域推理多模態(tài)推理6.2自然語言處理與語言模型6.2.3通用人工智能一種能夠理解、學習、適應和運用智能以解決各種復雜任務的人工智能系統(tǒng)。6.2自然語言處理與語言模型6.2.3通用人工智能6.2自然語言處理與語言模型6.2.3通用人工智能6.2自然語言處理與語言模型6.2.3通用人工智能羅德尼·布魯克斯：基于行為的人工智能(Behavior-BasedAI)在人工智能領域，“涌現(xiàn)”（Emergence）指的是通過簡單的個體行為和規(guī)則的相互作用而產(chǎn)生出復雜的全局行為或特性。這意味著復雜行為并不是通過單一的控制或計劃實現(xiàn)的，而是通過個體之間簡單的互動和規(guī)則產(chǎn)生的。6.2自然語言處理與語言模型6.2.3通用人工智能請同學們思考基于行為的人工智能的原則，基于包容式體系結構，設計一個工程建設領域的機器人。清晰地描述該機器人的整體結構、功能模塊、層次架構，并畫出設計圖紙或模型。6.2自然語言處理與語言模型6.2.3通用人工智能基于行為的人工智能：難以應對需要長遠規(guī)劃或復雜推理的情況缺乏對復雜環(huán)境和信息的深度理解模塊協(xié)調(diào)也是難題6.2自然語言處理與語言模型6.2.3通用人工智能大語言模型（LLM）6.3知識庫與知識增強6.3.1專家知識系統(tǒng)的發(fā)展MYCIN6.3知識庫與知識增強6.3.1專家知識系統(tǒng)的發(fā)展Cyc6.3知識庫與知識增強6.3.1專家知識系統(tǒng)的發(fā)展思考與討論：第一個問題：現(xiàn)階段知識圖譜的主要應用場景有哪些？第二個問題：知識圖譜與大語言模型應該怎樣結合？第三個問題：與大語言模型結合后，知識圖譜的結構應如何改進？6.3知識庫與知識增強6.3.2知識增強的方法6.3知識庫與知識增強6.3.2知識增強的方法

核心優(yōu)勢與易用性

靈活性與適應性:實時信息更新能力:大幅降低應用難度(殺手級優(yōu)勢):經(jīng)濟高效:6.3知識庫與知識增強6.3.3知識增強系統(tǒng)架構調(diào)用外部工具：6.3知識庫與知識增強6.3.3知識增強系統(tǒng)架構任務統(tǒng)籌與分解：6.3知識庫與知識增強6.3.3知識增強系統(tǒng)架構任務統(tǒng)籌與分解：6.3知識庫與知識增強6.3.3知識增強系統(tǒng)架構智能體記憶管理與決策：6.3知識庫與知識增強6.3.3知識增強系統(tǒng)架構智能體記憶管理與決策：6.3知識庫與知識增強6.3.3知識增強系統(tǒng)架構思考與討論：每個案例使用的知識增強采用的是什么樣的架構，畫出其結構圖（包含哪些模塊）和工作流程圖（如何進行知識增強），總結這些架構各有什么優(yōu)勢，能夠解決什么樣的現(xiàn)實問題智能建造與管理領域有哪些問題適合利用知識增強方法解決？可以如何利用現(xiàn)有的架構，以滿足我們的需求？拓展閱讀，比如去了解思維提示鏈（Chain-of-thought）和思維提示樹（Tree-of-thought）。本領域的文獻更新速度極快，大家在了解了基本知識后要帶著自己的判斷和選擇去閱讀文獻針對一個你感興趣的領域內(nèi)問題，設計一個知識增強模型，并嘗試去實現(xiàn)它6.4大語言模型知識增強工程應用6.4.1知識表示6.4大語言模型知識增強工程應用6.4.1知識表示6.4大語言模型知識增強工程應用6.4.1知識表示取前兩個主成分還原后的矩陣為6.4大語言模型知識增強工程應用6.4.2工程合同知識增強工程合同審查缺乏信息化、自動化的手段合同管理的方式傳統(tǒng)風險管理合同審查需求識別依賴人工專家合同審查是工程合同管理的重要過程。高效、合理的合同審查是降低項目風險，減少機會主義行為的有效手段，研發(fā)準確的、自動化的合同審查手段引起了人們的關注。依賴人工專家存在一些無法避免的問題：1）審查方式低效；2）審核過程倉促；3）受人員主觀因素影響較大，存在認知偏見。6.4大語言模型知識增強工程應用6.4.2工程合同知識增強“CommencementDate”meansthedateonwhichtheContractorreceivestheNoticetoProceedfromtheProjectCompanyinstructingittocommenceperformanceoftheWorksandconfirmingthatallconditionssetoutinSchedule4(ConditionsPrecedenttoNoticetoProceed)havebeensatisfiedor(ifapplicable)waivedbytheProjectCompany.Schedule1ConditionsPrecedenttoNoticetoProceedItshallbeaconditionprecedenttotheissuanceoftheNoticetoProceedthateachofthefollowinghasoccurred,unlessanysuchconditionprecedentiswaivedinwritingbyProjectCompany(initssolediscretion,providedthatProjectCompanyshallnotbepermittedtowaivetheconditionprecedentinparagraph1.1belowwithouttheContractor’spriorconsent).這是一條合同中關于開工日期（CommencementDate）的解釋，這樣一段條款是否有風險呢？6.4大語言模型知識增強工程應用6.4.2工程合同知識增強單邊決定權：項目公司擁有單方面決定權來放棄附表1中除第1.1條之外