第六章習(xí)題答案6-1給出強化學(xué)習(xí)中策略的定義，并給出3種探索和利用平衡的策略。答案：強化學(xué)習(xí)中策略定義如下：給定狀態(tài)s時，動作空間上的分布。3種探索和利用平衡的策略包括：策略，UCB策略和玻爾茲曼策略。6-2簡述強化學(xué)習(xí)算法與監(jiān)督學(xué)習(xí)以及非監(jiān)督學(xué)習(xí)的聯(lián)系。答案：三種方法都是學(xué)習(xí)算法，隨著技術(shù)的發(fā)展，強化學(xué)習(xí)跟監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)的關(guān)系越來越緊密，具體表現(xiàn)在如下幾個方面：（1）深度強化學(xué)習(xí)中的策略網(wǎng)絡(luò)和值函數(shù)網(wǎng)絡(luò)需要更有效的模型，而這些表示學(xué)習(xí)是監(jiān)督學(xué)習(xí)領(lǐng)域中關(guān)注的重點。例如，深度強化學(xué)習(xí)智能體AlphaGo的策略由上百層的殘差網(wǎng)絡(luò)表示，AlphaStar的策略網(wǎng)絡(luò)包含了殘差網(wǎng)絡(luò)、Transformer網(wǎng)絡(luò)、注意力機(jī)制網(wǎng)絡(luò)等，這些網(wǎng)絡(luò)都是在研究監(jiān)督學(xué)習(xí)模型表示時發(fā)展出來的。（2）大型決策任務(wù)往往需要先利用監(jiān)督學(xué)習(xí)（模仿學(xué)習(xí)）對策略網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練來模仿人類專家策略，然后在通過預(yù)訓(xùn)練所得到的結(jié)果的基礎(chǔ)上進(jìn)行強化學(xué)習(xí)訓(xùn)練。（3）強化學(xué)習(xí)中的回報模型、狀態(tài)模型、環(huán)境模型可以建模為監(jiān)督學(xué)習(xí)問題，在強化學(xué)習(xí)過程中可調(diào)用監(jiān)督學(xué)習(xí)，對上述元素進(jìn)行預(yù)測。（4）強化學(xué)習(xí)與非監(jiān)督學(xué)習(xí)之間存在重要聯(lián)系。強化學(xué)習(xí)智能體需要不斷探索環(huán)境，為了加快探索效率，可以使用無監(jiān)督學(xué)習(xí)方法對狀態(tài)空間進(jìn)行劃分，即將狀態(tài)空間中的數(shù)據(jù)劃分為探索過的區(qū)域和未探索的區(qū)域，因此強化學(xué)習(xí)過程中也可以使用非監(jiān)督學(xué)習(xí)技術(shù)。6-3比較值函數(shù)與行為值函數(shù)的異同點。答案：值函數(shù)和行為值函數(shù)都是通過折扣累積回報的期望進(jìn)行定義，不同的是值函數(shù)是狀態(tài)的函數(shù)，而行為值函數(shù)是狀態(tài)動作對的函數(shù)。值函數(shù)是行為值函數(shù)在當(dāng)前策略下的期望值。6-4給出兩種基于值函數(shù)的強化學(xué)習(xí)算法。答案：兩種基于值函數(shù)的強化學(xué)習(xí)算法包括：蒙特卡洛強化學(xué)習(xí)算法，時間差分強化學(xué)習(xí)算法如SARSA算法和Qlearning算法。6-5基于直接策略搜索算法包括哪些算法，并簡述近端策略優(yōu)化算法的基本原理。答案：直接策略搜索算法包括策略梯度算法、近端策略優(yōu)化算法（PPO算法）、深度確定性策略梯度算法（DDPG算法）和Actor-Critic算法等。其中近端策略優(yōu)化算法通過尋找新的替代回報函數(shù)，并在優(yōu)化過程中將參數(shù)的更新量限定在一定的區(qū)間范圍內(nèi)。該算法為同策略（on-policy）強化學(xué)習(xí)算法，且優(yōu)化過程中只使用到了梯度，因此該算法更新過程穩(wěn)定且容易應(yīng)用到大規(guī)模問題中，已在實際應(yīng)用過程中得到廣泛應(yīng)用，比如ChatGPT模型最終的優(yōu)化方法便是使用近端策略優(yōu)化（PPO算法）進(jìn)行的微調(diào)。6-6使用似然率方法推導(dǎo)策略梯度公式。答案：?θUθ=所以：?同時：?所以：?6-7分析星際爭霸大師AlphaStar使用到的多智能體強化學(xué)習(xí)方法。答案：智能體首先利用人類數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí)訓(xùn)練，使得智能體模仿人類專業(yè)玩家的策略。后轉(zhuǎn)入強化學(xué)習(xí)訓(xùn)練階段：在強化學(xué)習(xí)階段，使用來訓(xùn)練值函數(shù)；使用人類數(shù)據(jù)輔助探索；使用V-Trace和UPGO計算策略梯度更新策略；使用聯(lián)盟訓(xùn)練的方法產(chǎn)生對抗樣本，具體方式為自對抗或者優(yōu)先虛擬對抗。6-8簡述ChatGPT算法的基本原理。答案：ChatGPT在訓(xùn)練過程中使用到了監(jiān)督學(xué)習(xí)和強化學(xué)習(xí)，該過程分為三步:第1步：收集示例數(shù)據(jù)，得到由監(jiān)督微調(diào)的策略SFT第2步：收集人工標(biāo)注的對比數(shù)據(jù)，并訓(xùn)練回報函數(shù)模型第3步：利用PPO算法和學(xué)到的回報模型優(yōu)化SFT.經(jīng)