大語言模型通識微課

智能體和環(huán)境智能體是人工智能領域中的一個很重要的概念，它指的是一個能自主活動的軟件或者硬件實體。任何獨立的能夠思考并可以與環(huán)境交互的實體都可以抽象為智能體。大模型在人工智能應用領域的重大突破，讓人們看到了智能體新的發(fā)展機會。像ChatGPT和GPT-4這樣的基于Transformer架構的大模型，成為了為智能體裝備的擁有廣泛任務能力的“大腦”，從推理、規(guī)劃和決策到行動都使智能體展現(xiàn)出前所未有的能力?；诖竽Ｐ偷闹悄荏w將廣泛深刻地影響人們生活工作的方式。微課10.1智能體和環(huán)境智能體通過傳感器感知環(huán)境并通過執(zhí)行器作用于該環(huán)境的事物。我們從檢查智能體、環(huán)境以及它們之間的耦合，觀察到某些智能體比其他智能體表現(xiàn)得更好，可以自然而然地引出理性智能體的概念，即行為盡可能好。智能體的行為取決于環(huán)境的性質(zhì)。

圖10-1智能體通過傳感器和執(zhí)行器與環(huán)境交互微課10.1智能體和環(huán)境一個人類智能體以眼睛、耳朵和其他器官作為傳感器，以手、腿、聲道等作為執(zhí)行器。而機器人智能體可能以攝像頭和紅外測距儀作為傳感器，各種電動機作為執(zhí)行器。軟件智能體接收文件內(nèi)容、網(wǎng)絡數(shù)據(jù)包和人工輸入（鍵盤/鼠標/觸摸屏/語音）作為傳感輸入，并通過寫入文件、發(fā)送網(wǎng)絡數(shù)據(jù)包、顯示信息或生成聲音對環(huán)境進行操作。環(huán)境可以是一切，甚至是整個宇宙。實際上，我們在設計智能體時關心的只是宇宙中某一部分的狀態(tài)，即影響智能體感知以及受智能體動作影響的部分。微課10.1智能體和環(huán)境智能體這一概念主要作為分析系統(tǒng)的工具。理性智能體是做正確事情的事物。人工智能通常通過結果來評估智能體的行為。當智能體進入環(huán)境時，它會根據(jù)接受的感知產(chǎn)生一個動作序列，這會導致環(huán)境經(jīng)歷一系列的狀態(tài)。如果序列是理想的，則智能體表現(xiàn)良好，這個概念由性能度量描述，評估任何給定環(huán)境狀態(tài)的序列。10.1.1關于智能體人類有適用于自身的理性概念，它與成功選擇產(chǎn)生環(huán)境狀態(tài)序列的行動有關，而這些環(huán)境狀態(tài)序列從人類的角度來看是可取的。但是，機器沒有自己的欲望和偏好，至少在最初，性能度量是在機器設計者或者機器受眾的頭腦中。一些智能體設計具有性能度量的顯式表示，而在其他設計中，性能度量完全是隱式的，智能體可能會做正確的事情，但它不知道為什么。應該確保“施以機器的目的是我們真正想要的”，但是正確地制定性能度量可能非常困難。例如，考慮真空吸塵器智能體，我們可能會用單個8小時班次中清理的灰塵量來度量其性能。然而，一個理性的智能體可以通過清理灰塵，然后將其全部傾倒在地板上，然后再次清理，如此反復，從而最大化這一性能度量值。更合適的性能度量是獎勵擁有干凈地板的智能體。例如，在每個時間步中，每個干凈方格可以獲得1分（可能會對耗電和產(chǎn)生的噪聲進行懲罰）。作為一般規(guī)則，更好的做法是根據(jù)一個人在環(huán)境中真正想要實現(xiàn)的目標，而不是根據(jù)一個人認為智能體應該如何表現(xiàn)來設計性能度量。10.1.2性能度量在任何時候，理性取決于以下4方面：（1）定義成功標準的性能度量；（2）智能體對環(huán)境的先驗知識；（3）智能體可以執(zhí)行的動作；（4）智能體到目前為止的感知序列。于是，對理性智能體的定義是：對于每個可能的感知序列，給定感知序列提供的證據(jù)和智能體所擁有的任何先驗知識，理性智能體應該選擇一個期望最大化其性能度量的動作。10.1.3理性需要區(qū)分理性和全知。全知的智能體能預知其行動的實際結果，并據(jù)此采取行動，但現(xiàn)實中這是不可能的，理性不等同于完美。理性使期望性能最大化，而完美使實際性能最大化。因此，對理性的定義并不需要全知，因為理性決策只取決于迄今為止的感知序列。首先，考慮到這種缺乏信息的感知序列，過馬路是不理性的：不觀察路況就過馬路發(fā)生事故的風險太大。其次，理性智能體在上街之前應該選擇“觀察”動作，因為觀察有助于最大化期望性能。采取行動來改變未來的感知，有時被稱為信息收集，這是理性的一個重要組成部分。10.1.4全知、學習和自主理性智能體不僅要收集信息，還要盡可能多地從它所感知到的東西中學習。智能體的初始配置反映對環(huán)境的一些先驗知識，隨著智能體獲得經(jīng)驗，這可能會被修改和增強。在一些極端情況下，環(huán)境完全是先驗已知和完全可預測的，這種情況下智能體只需要感知或?qū)W習，但這樣的智能體是脆弱的。一個理性的智能體應該學習如何彌補部分或不正確的先驗知識。實際上，很少從一開始就要求智能體完全自主，除非設計者提供幫助，否則它將不得不隨機行動。10.1.4全知、學習和自主構建理性智能體還必須考慮任務環(huán)境，它本質(zhì)上是“問題”，而理性智能體是其“解決方案”。首先指定任務環(huán)境，然后展示任務環(huán)境的多種形式。任務環(huán)境的性質(zhì)直接影響到智能體程序的恰當設計。例如在討論簡單真空吸塵器智能體的理性時，必須為其指定性能度量、環(huán)境以及智能體的執(zhí)行器和傳感器（PEAS）描述，這些都在任務環(huán)境的范疇下。設計智能體時，第一步始終是盡可能完整地指定任務環(huán)境。10.1.5指定任務環(huán)境人工智能中可能出現(xiàn)的任務環(huán)境范圍非常廣泛。然而，我們可以確定少量的維度，并根據(jù)這些維度對任務環(huán)境進行分類。完全可觀測與部分可觀測：如果智能體的傳感器能讓它在每個時間點都能訪問環(huán)境的完整狀態(tài)，那么就說任務環(huán)境是完全可觀測的。單智能體與多智能體：多智能體環(huán)境中的智能體設計問題通常與單智能體環(huán)境下有較大差異。確定性與非確定性：如果環(huán)境的下一個狀態(tài)完全由當前狀態(tài)和智能體執(zhí)行的動作決定，那么就說環(huán)境是確定性的，否則是非確定性的。10.1.6任務環(huán)境的屬性回合式與序貫：在回合式任務中，智能體的經(jīng)驗被劃分為原子式回合，每接收一個感知執(zhí)行單個動作。下一回合不依賴于前幾回合采取的動作。回合式環(huán)境下的智能體不需要提前思考，所以要比序貫環(huán)境簡單很多。靜態(tài)與動態(tài)：如果環(huán)境在智能體思考時發(fā)生了變化，就說該智能體的環(huán)境是動態(tài)的，否則是靜態(tài)的。離散與連續(xù)：這之間的區(qū)別適用于環(huán)境的狀態(tài)、處理時間的方式以及智能體的感知和動作。例如駕駛出租車是一個連續(xù)狀態(tài)和連續(xù)時間的問題。10.1.6任務環(huán)境的屬性已知與未知：這種區(qū)別是指智能體（或設計者）對環(huán)境“物理定律”的認知狀態(tài)。在已知環(huán)境中，所有行動的結果（如