工業(yè)大數(shù)據(jù)與人工智能HFUT123.3.1.強化學習基本概念3.3.2.馬爾科夫決策過程3.3.3.價值函數(shù)與策略3.3.4.動態(tài)規(guī)劃與蒙特卡洛方法3.3.5.Q-learning與策略梯度3.3.強化學習策略迭代價值迭代蒙特卡羅Q-Learning策略梯度第三章

機器學習基礎33.3.6.深度強化學習3.3.7.多智能體強化學習3.3.強化學習深度強化學習簡介深度強化學習算法分類常見深度強化學習算法多智能體強化學習簡介多智能體強化學習算法分類常見多智能體強化學習算法第三章

機器學習基礎4強化學習基本概念

強化學習（ReinforcementLearning）是一種機器學習方法，強化學習的基本思想是通過智能體與環(huán)境的交互來學習如何做出決策以達到最大化累積獎勵的目標。智能體學習玩掃雷游戲就是一個典型的強化學習案例，迷你掃雷游戲是一個經典的單人游戲，玩家需要根據(jù)已知的雷區(qū)信息推斷雷的位置并標記，同時避免揭開雷區(qū)。5強化學習基本概念獎勵函數(shù)是強化學習中的重要組成部分，它根據(jù)智能體的動作和環(huán)境的狀態(tài)給出獎勵或懲罰。軌跡（Trajectory）是智能體與環(huán)境交互的歷史記錄，包括狀態(tài)、動作和獎勵的序列。這個序列記錄了從初始狀態(tài)到最終狀態(tài)的過程，有時也稱為片段（Episode）或者回合。6馬爾科夫決策過程

7馬爾科夫決策過程

8馬爾科夫決策過程

9馬爾科夫決策過程

10馬爾科夫決策過程

解決馬爾可夫決策過程的關鍵是利用貝爾曼方程來更新和優(yōu)化價值函數(shù)，進而得到最優(yōu)策略。為了計算價值函數(shù)和動作價值函數(shù)，有兩種簡單方法：窮舉法，即計算所有可能軌跡的概率并根據(jù)計算出的概率和回報來估計價值函數(shù)。利用蒙特卡羅方法通過采樣大量的軌跡來估計價值函數(shù)。這兩種方法都有各自的優(yōu)缺點，實際應用中需要根據(jù)具體情況選擇合適的方法。11價值函數(shù)與策略

價值函數(shù)預測智能體進入某個狀態(tài)后未來可能獲得的獎勵，并且用這個預測來評估當前狀態(tài)的好壞。價值函數(shù)的值越大，說明智能體進入這個狀態(tài)越有利。在強化學習中有兩種重要的價值函數(shù)：V函數(shù)和Q函數(shù)。V函數(shù)考慮的是在某個狀態(tài)下采取某個動作，從當前時間開始未來可以獲得的期望獎勵。12價值函數(shù)與策略

而Q函數(shù)則考慮的是在某個狀態(tài)下采取某個動作后，從當前時間開始未來可以獲得的期望獎勵。13價值函數(shù)與策略

14動態(tài)規(guī)劃與蒙特卡洛方法：策略迭代

15動態(tài)規(guī)劃與蒙特卡洛方法：策略迭代

16動態(tài)規(guī)劃與蒙特卡洛方法：價值迭代

17動態(tài)規(guī)劃與蒙特卡洛方法：蒙特卡洛

18Q-learning與策略梯度：Q-Learning

19Q-learning與策略梯度：策略梯度

策略梯度方法通過針對期望回報進行梯度下降直接優(yōu)化策略參數(shù)的方式來提升智能體的表現(xiàn)。

在策略梯度方法的演變過程中，最初的REINFORCE算法通過計算策略梯度并沿梯度方向更新參數(shù)來改進策略。20深度強化學習簡介

深度強化學習（DeepReinforcementLearning，DRL）是深度學習與強化學習融合的成果，它巧妙結合了深度神經網絡的強大特征表達力和強化學習在序列決策上的優(yōu)勢，使智能體能夠自我學習，在與環(huán)境的持續(xù)互動中不斷優(yōu)化其決策策略。深度強化學習結合了深度學習和強化學習的優(yōu)勢，利用深度神經網絡強大的表征能力去擬合值函數(shù)、策略等，實現(xiàn)了端到端的學習。這種方法在解決高維狀態(tài)動作空間任務方面效果顯著，并且在現(xiàn)實場景中取得了廣泛應用。其中，DQN算法通過端到端學習，在Atari視頻游戲中取得了超越人類的成績，標志著深度強化學習的蓬勃發(fā)展。21深度強化學習算法分類

深度強化學習方法可以按照研究目標分為四類：解決高維狀態(tài)動作空間任務上的算法收斂問題。解決復雜應用場景下的算法樣本效率提高問題。解決獎勵函數(shù)稀疏或難以定義情況下的算法探索問題。解決多任務場景下的算法泛化性能增強問題。22常見深度強化學習算法值函數(shù)算法

值函數(shù)算法通過神經網絡輸出所有可能動作的價值，然后根據(jù)最高價值來選擇動作。這種算法偏向于基于最高價值的決策，即選擇具有最高價值的動作，這樣的決策更為準確和可靠。傳統(tǒng)的值函數(shù)算法在處理高維狀態(tài)動作空間任務時學習效果不佳，因為它使用表格法進行價值函數(shù)評估。而深度強化學習（DRL）中的值函數(shù)算法，尤其是像DQN這樣的代表性算法，通過深度學習模型（比如深度卷積神經網絡）直接從高維感官輸入中學習控制策略，從而極大地提高了對復雜任務的價值函數(shù)估計精度和穩(wěn)定性。23常見深度強化學習算法

24多智能體強化學習簡介

多智能體強化學習（MARL）算法的設計和優(yōu)化需充分考慮智能體間的交互效應，包括但不限于合作學習、聯(lián)盟形成、對手預測、以及環(huán)境和其他智能體策略的不確定性，傳統(tǒng)的強化學習方法在多智能體決策中表現(xiàn)一般。在實踐中，深度多智能體強化學習（DeepMARL）采用深度神經網絡來表征復雜的策略和價值函數(shù)，以應對大規(guī)模、高維度的狀態(tài)和動作空間?，F(xiàn)有工作主要關注的五個研究方向：學習框架，環(huán)境非平穩(wěn)問題，獎勵設計，通信學習，可擴展性。25多智能體強化學習算法分類基于價值分解的方法基于Actor－Critic的方法基于經驗回放的方法26常見多智能體強化學習算法1.VDNVDN（Value-DecompositionNetworks）是一種基于價值分解的方法的算法，它采用了價值分解的方法，