2025年人工智能工程師《強(qiáng)化學(xué)習(xí)》沖刺模擬卷考試時(shí)間：______分鐘總分：______分姓名：______一、填空題（每空2分，共20分）1.在馬爾可夫決策過程中，一個(gè)完整的決策策略是指從任何狀態(tài)開始，對(duì)于該狀態(tài)下的每個(gè)可能動(dòng)作，指定一個(gè)相應(yīng)的行動(dòng)。2.貝爾曼最優(yōu)方程表明，在狀態(tài)s下采用最優(yōu)策略時(shí)的最優(yōu)價(jià)值函數(shù)V*（s）等于執(zhí)行動(dòng)作a*（s）后轉(zhuǎn)移到的狀態(tài)s'下，獲得即時(shí)獎(jiǎng)勵(lì)r（s,a,s'）加上狀態(tài)s'下的最優(yōu)價(jià)值V*（s'）的乘以折扣因子γ的。3.Q-Learning算法是一種基于模型的強(qiáng)化學(xué)習(xí)算法，其核心更新規(guī)則是Q(s,a)←Q(s,a)+α[r(s,a,s')+γmax_a'Q(s',a')-Q(s,a)]。4.策略梯度方法通過直接優(yōu)化策略函數(shù)π來最大化累積獎(jiǎng)勵(lì)，其基本定理表明策略梯度?_πJ(π)=E_π[Σ_t?_πl(wèi)ogπ(a_t|s_t)*δ_t]，其中δ_t是時(shí)序差分。5.在深度Q網(wǎng)絡(luò)（DQN）中，為了緩解目標(biāo)網(wǎng)絡(luò)參數(shù)不及時(shí)更新的問題，通常會(huì)采用一個(gè)固定參數(shù)的目標(biāo)網(wǎng)絡(luò)，并使用Q_target(s',a')=r(s,a,s')+γ*max_a'Q_target(s',a')來計(jì)算目標(biāo)值。6.Actor-Critic方法結(jié)合了值函數(shù)和策略函數(shù)，其中Actor負(fù)責(zé)根據(jù)當(dāng)前狀態(tài)選擇動(dòng)作，而Critic負(fù)責(zé)評(píng)估當(dāng)前狀態(tài)的價(jià)值或優(yōu)勢(shì)，常用的Critic包括Q-Critic和V-Critic。7.在多智能體強(qiáng)化學(xué)習(xí)（MARL）中，智能體之間可能存在合作或競(jìng)爭(zhēng)的關(guān)系，當(dāng)智能體的目標(biāo)一致時(shí)，稱為；當(dāng)智能體的目標(biāo)相互沖突時(shí)，稱為。8.離線強(qiáng)化學(xué)習(xí)（OfflineRL）是指智能體在固定的、不可改變的軌跡上進(jìn)行學(xué)習(xí)，無法與環(huán)境進(jìn)行交互，其核心挑戰(zhàn)在于如何利用有限的、有偏的樣本進(jìn)行有效學(xué)習(xí)。9.對(duì)于連續(xù)動(dòng)作空間，常用的強(qiáng)化學(xué)習(xí)算法包括深度確定性策略梯度（DDPG）和近端策略優(yōu)化（PPO）。10.強(qiáng)化學(xué)習(xí)中的折扣因子γ取值范圍是[0,1]，較小的γ值意味著更關(guān)注。二、簡(jiǎn)答題（每題5分，共30分）1.簡(jiǎn)述馬爾可夫決策過程（MDP）的四個(gè)基本要素。2.與Q-Learning相比，SARSA算法的主要區(qū)別是什么？它屬于何種類型的算法（基于模型或模型-Free）？3.簡(jiǎn)述策略梯度定理的基本思想，并解釋其中優(yōu)勢(shì)函數(shù)（AdvantageFunction）的作用。4.DQN算法為了解決采樣效率低的問題，采用了哪些關(guān)鍵技術(shù)？5.簡(jiǎn)述Actor-Critic方法相比于策略梯度方法（如REINFORCE）的主要優(yōu)勢(shì)。6.什么是離線強(qiáng)化學(xué)習(xí)？與在線強(qiáng)化學(xué)習(xí)相比，它面臨的主要挑戰(zhàn)有哪些？三、計(jì)算題（每題10分，共20分）1.假設(shè)有一個(gè)簡(jiǎn)單的MDP，狀態(tài)空間S={s0,s1}，動(dòng)作空間A={a0,a1}。給定如下轉(zhuǎn)移概率和獎(jiǎng)勵(lì)函數(shù)：*P(s0,a0,s0)=0.8,P(s0,a0,s1)=0.2,R(s0,a0,s0)=1,R(s0,a0,s1)=-1*P(s1,a1,s0)=0.5,P(s1,a1,s1)=0.5,R(s1,a1,s0)=0,R(s1,a1,s1)=2*折扣因子γ=0.9。*使用價(jià)值迭代方法，計(jì)算狀態(tài)s0的最優(yōu)價(jià)值V*(s0)（要求寫出貝爾曼方程并展示計(jì)算過程，迭代至收斂或達(dá)到一定精度）。2.假設(shè)在一個(gè)任務(wù)中，智能體在狀態(tài)s采用動(dòng)作a后，轉(zhuǎn)移到狀態(tài)s'的概率為0.7，轉(zhuǎn)移到狀態(tài)s''的概率為0.3。獲得的即時(shí)獎(jiǎng)勵(lì)為r(s,a,s')=5，r(s,a,s'')=1。已知狀態(tài)s的最優(yōu)價(jià)值V*(s)=10，狀態(tài)s''的最優(yōu)價(jià)值V*(s'')=3。如果使用Q-Learning算法（α=0.1），智能體在狀態(tài)s執(zhí)行動(dòng)作a后的Q值更新是多少？（要求寫出Q-Learning更新公式并代入數(shù)值計(jì)算）。四、綜合應(yīng)用題（每題15分，共30分）1.比較深度Q網(wǎng)絡(luò)（DQN）和深度確定性策略梯度（DDPG）兩種算法在處理連續(xù)動(dòng)作空間時(shí)的主要區(qū)別。請(qǐng)分別說明它們各自采用的關(guān)鍵技術(shù)來解決連續(xù)動(dòng)作空間的問題，并指出各自可能存在的局限性。2.假設(shè)你需要設(shè)計(jì)一個(gè)用于機(jī)器人導(dǎo)航的強(qiáng)化學(xué)習(xí)算法。該機(jī)器人需要在二維環(huán)境中從一個(gè)起點(diǎn)移動(dòng)到終點(diǎn)。環(huán)境比較復(fù)雜，存在障礙物。請(qǐng)簡(jiǎn)要說明你會(huì)考慮使用哪種類型的強(qiáng)化學(xué)習(xí)算法（基于模型或模型-Free？策略梯度或值函數(shù)方法？），并闡述理由。同時(shí)，提及至少三種你在設(shè)計(jì)算法時(shí)需要考慮的關(guān)鍵技術(shù)和挑戰(zhàn)。試卷答案一、填空題1.終極狀態(tài)2.無偏估計(jì)3.Model-Free4.狀態(tài)-動(dòng)作對(duì)(s,a)5.軟更新（SoftTargetUpdate）6.時(shí)序差分（TemporalDifference）7.合作（Cooperative）；競(jìng)爭(zhēng)（Competitive）8.數(shù)據(jù)有偏（DataBias）/樣本選擇偏差（SampleSelectionBias）9.SoftActor-Critic(SAC)10.短期回報(bào)二、簡(jiǎn)答題1.馬爾可夫決策過程（MDP）的四個(gè)基本要素：*狀態(tài)集（StateSpace）：系統(tǒng)可能處于的所有不同狀態(tài)構(gòu)成的集合。*動(dòng)作集（ActionSpace）：在給定狀態(tài)下，智能體可以執(zhí)行的所有可能動(dòng)作構(gòu)成的集合。*轉(zhuǎn)移概率（TransitionProbability）：在狀態(tài)s執(zhí)行動(dòng)作a后，轉(zhuǎn)移到狀態(tài)s'的概率P(s'|s,a)。*獎(jiǎng)勵(lì)函數(shù)（RewardFunction）：在狀態(tài)s執(zhí)行動(dòng)作a后，轉(zhuǎn)移到狀態(tài)s'時(shí)所獲得的即時(shí)獎(jiǎng)勵(lì)R(s,a,s')。2.與Q-Learning相比，SARSA算法的主要區(qū)別是什么？它屬于何種類型的算法（基于模型或模型-Free）？*主要區(qū)別：SARSA是同步（synchronous）算法，其目標(biāo)值Q(s',a')是基于當(dāng)前策略π下在狀態(tài)s'會(huì)選擇動(dòng)作a'來計(jì)算的，即Q(s',a')=max_a'Q(s',a')。而Q-Learning是異步（asynchronous）算法，其目標(biāo)值Q(s',a')是基于目標(biāo)策略（通常是貪婪策略π*）下在狀態(tài)s'會(huì)選擇動(dòng)作a'來計(jì)算的，即Q(s',a')=max_a'Q*(s',a')。此外，SARSA在計(jì)算時(shí)序差分δ_t=r(s,a,s')+γ*Q(s_{t+1},a_{t+1})-Q(s_t,a_t)時(shí)，使用的是下一個(gè)時(shí)刻的實(shí)際觀測(cè)狀態(tài)s_{t+1}和實(shí)際執(zhí)行的下一個(gè)動(dòng)作a_{t+1}。*類型：SARSA屬于模型-Free強(qiáng)化學(xué)習(xí)算法。3.簡(jiǎn)述策略梯度定理的基本思想，并解釋其中優(yōu)勢(shì)函數(shù)（AdvantageFunction）的作用。*基本思想：策略梯度定理提供了一種直接通過優(yōu)化策略函數(shù)π來最大化期望回報(bào)J(π)的方法。它表明，策略的梯度?_πJ(π)與策略π在狀態(tài)s下選擇動(dòng)作a的概率密度比logπ(a|s)與策略梯度的乘積的期望值成正比。即?_πJ(π)∝E_π[Σ_t?_πl(wèi)ogπ(a_t|s_t)*δ_t]，其中δ_t是時(shí)序差分。*優(yōu)勢(shì)函數(shù)作用：優(yōu)勢(shì)函數(shù)A(s,a)=Q(s,a)-V(s)（或A(s,a)=Q(s,a)-E_π[Σ_{t'=s}^∞γ^tr(s_{t+1})|s_t=s,a_t=a]）衡量了在狀態(tài)s執(zhí)行動(dòng)作a相對(duì)于在狀態(tài)s執(zhí)行按當(dāng)前策略π貪婪選擇的最優(yōu)動(dòng)作所帶來的“額外”價(jià)值或回報(bào)。它消除了策略梯度定理中策略梯度計(jì)算中V(s)項(xiàng)的偏置，使得策略優(yōu)化更加穩(wěn)定和高效。4.DQN算法為了解決采樣效率低的問題，采用了哪些關(guān)鍵技術(shù)？*經(jīng)驗(yàn)回放（ExperienceReplay）：將智能體與環(huán)境交互產(chǎn)生的軌跡（狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)、下一狀態(tài)）存儲(chǔ)在一個(gè)回放緩沖區(qū)中，學(xué)習(xí)時(shí)從緩沖區(qū)中隨機(jī)采樣小批量數(shù)據(jù)進(jìn)行訓(xùn)練，這可以打破數(shù)據(jù)序列的依賴性，提高數(shù)據(jù)利用率和樣本效率。*目標(biāo)網(wǎng)絡(luò)（TargetNetwork）：使用一個(gè)與主Q網(wǎng)絡(luò)結(jié)構(gòu)相同但參數(shù)固定的目標(biāo)網(wǎng)絡(luò)來計(jì)算目標(biāo)Q值Q_target(s',a')=r(s,a,s')+γ*max_a'Q_target(s',a')。目標(biāo)網(wǎng)絡(luò)的參數(shù)定期（如每幾步或每幾百步）從主Q網(wǎng)絡(luò)更新一次（使用軟更新），這有助于穩(wěn)定目標(biāo)值，減少訓(xùn)練過程中的振蕩。*貪婪策略引導(dǎo)/雙Q學(xué)習(xí)（GreedyStrategyGuidance/DoubleQ-Learning）：在計(jì)算目標(biāo)Q值時(shí)，使用一個(gè)“目標(biāo)策略”（通常是貪婪策略）來選擇動(dòng)作a'，即max_a'Q_target(s',a')。雙Q學(xué)習(xí)進(jìn)一步改進(jìn)，用兩個(gè)Q網(wǎng)絡(luò)（Q_net和Q_target_net）分別選擇動(dòng)作和評(píng)估動(dòng)作價(jià)值，以緩解雙Q學(xué)習(xí)中可能出現(xiàn)的過高估計(jì)問題。5.簡(jiǎn)述Actor-Critic方法相比于策略梯度方法（如REINFORCE）的主要優(yōu)勢(shì)。*信號(hào)更直接/更易估計(jì)：Actor-Critic方法將策略優(yōu)化分解為Actor（策略網(wǎng)絡(luò)）和Critic（值函數(shù)網(wǎng)絡(luò)）兩個(gè)部分。Actor負(fù)責(zé)輸出策略，Critic則直接估計(jì)狀態(tài)價(jià)值V(s)或狀態(tài)-動(dòng)作價(jià)值Q(s,a)。相比于策略梯度方法（如REINFORCE），REINFORCE需要通過采樣整個(gè)軌跡來估計(jì)策略梯度（或其分量），而Actor-Critic中的Critic可以在每一步就提供價(jià)值估計(jì)，其梯度信號(hào)通常更清晰、噪聲更小。*更穩(wěn)定的訓(xùn)練：由于Critic提供了更穩(wěn)定、更低方差的價(jià)值估計(jì)，Actor的更新不再依賴于對(duì)策略梯度的直接估計(jì)，從而使得整個(gè)Actor-Critic算法的訓(xùn)練過程通常比REINFORCE更穩(wěn)定，收斂速度也可能更快。*可以使用函數(shù)近似：Critic部分可以使用神經(jīng)網(wǎng)絡(luò)等函數(shù)近似方法來估計(jì)連續(xù)狀態(tài)空間或高維狀態(tài)空間的價(jià)值函數(shù)，這是純策略梯度方法難以有效處理的。6.什么是離線強(qiáng)化學(xué)習(xí)？與在線強(qiáng)化學(xué)習(xí)相比，它面臨的主要挑戰(zhàn)有哪些？*定義：離線強(qiáng)化學(xué)習(xí)（OfflineRL）是指智能體在一個(gè)預(yù)先存在的、靜態(tài)的、不可交互的環(huán)境數(shù)據(jù)集（軌跡）上進(jìn)行學(xué)習(xí)。智能體只能觀察這個(gè)數(shù)據(jù)集，不能進(jìn)行任何新的與環(huán)境交互來獲取更多數(shù)據(jù)。*主要挑戰(zhàn)：*數(shù)據(jù)有偏（DataBias）：數(shù)據(jù)集是按某個(gè)歷史策略（可能是次優(yōu)策略）采集的，其中包含的樣本分布與按最優(yōu)策略采集的樣本分布不同，直接使用這樣的有偏數(shù)據(jù)學(xué)習(xí)最優(yōu)策略會(huì)導(dǎo)致性能下降。*樣本選擇偏差（SampleSelectionBias）：由于數(shù)據(jù)是有偏的，學(xué)習(xí)過程中對(duì)某些狀態(tài)-動(dòng)作對(duì)的估計(jì)可能會(huì)基于大量來自次優(yōu)策略的樣本，而對(duì)其他狀態(tài)-動(dòng)作對(duì)的估計(jì)則樣本很少，導(dǎo)致學(xué)習(xí)不均衡。*探索與利用的平衡：在離線環(huán)境中，無法通過交互進(jìn)行探索以發(fā)現(xiàn)新的有效策略，學(xué)習(xí)完全依賴于已有數(shù)據(jù)中的信息，如何從有限的有偏數(shù)據(jù)中充分利用信息是一個(gè)挑戰(zhàn)。三、計(jì)算題1.價(jià)值迭代計(jì)算V*(s0)：*貝爾曼方程：*V*(s0)=max_a[Q*(s0,a)]*Q*(s0,a)=Σ_s'P(s0,a,s')*[R(s0,a,s')+γ*V*(s')]*其中，V*(s1)=max_a'[Q*(s1,a')]=max_a'[Σ_s''P(s1,a',s'')*[R(s1,a',s'')+γ*V*(s'')]]*對(duì)于a'=a1:Q*(s1,a1)=P(s1,a1,s0)*[R(s1,a1,s0)+γ*V*(s0)]+P(s1,a1,s'')*[R(s1,a1,s'')+γ*V*(s'')]*=0.5*(0+0.9*V*(s0))+0.5*(2+0.9*V*(s''))*=0.45*V*(s0)+1+0.9*V*(s'')*代入V*(s1)的定義：V*(s1)=max_a'[0.45*V*(s0)+1+0.9*V*(s'')]*需要計(jì)算V*(s'')：V*(s'')=max_a''[Q*(s'',a'')]=max_a''[Σ_s'''P(s'',a'',s''')*[R(s'',a'',s''')+γ*V*(s''')]]*假設(shè)s''之后轉(zhuǎn)移到某個(gè)終止?fàn)顟B(tài)s_term，獎(jiǎng)勵(lì)為0：V*(s''')=0*Q*(s'',a'')=Σ_s'''P(s'',a'',s''')*[R(s'',a'',s''')+γ*0]=0(因?yàn)閟''是終止?fàn)顟B(tài)或假設(shè)為終止?fàn)顟B(tài))*所以，V*(s'')=max_a''[0]=0*代回V*(s1)的計(jì)算：V*(s1)=max_a'[0.45*V*(s0)+1+0.9*0]=0.45*V*(s0)+1*代回V*(s0)的計(jì)算：V*(s0)=max_a[Q*(s0,a)]*對(duì)于a0:Q*(s0,a0)=P(s0,a0,s0)*[R(s0,a0,s0)+γ*V*(s0)]+P(s0,a0,s1)*[R(s0,a0,s1)+γ*V*(s1)]=0.8*(1+0.9*V*(s0))+0.2*(-1+0.9*(0.45*V*(s0)+1))=0.8+0.72*V*(s0)-0.2+0.18*V*(s0)+0.18=0.78+0.9*V*(s0)*對(duì)于a1:Q*(s0,a1)=P(s0,a1,s0)*[R(s0,a1,s0)+γ*V*(s0)]+P(s0,a1,s1)*[R(s0,a1,s1)+γ*V*(s1)]=0*(1+0.9*V*(s0))+1*(0+0.9*(0.45*V*(s0)+1))=0+0.405*V*(s0)+0.9=0.9+0.405*V*(s0)*V*(s0)=max[0.78+0.9*V*(s0),0.9+0.405*V*(s0)]*令x=V*(s0)，則方程變?yōu)椋簒=max[0.78+0.9x,0.9+0.405x]*解不等式：0.78+0.9x≤0.9+0.405x*0.495x≤0.12*x≤0.2424...(約等于0.242)*解不等式：0.78+0.9x≥0.9+0.405x*0.495x≥0.12*x≥0.2424...(約等于0.242)*因此，x=V*(s0)≈0.242。經(jīng)過多次迭代（此處未展示迭代過程），價(jià)值迭代會(huì)收斂到該值。2.Q-Learning更新計(jì)算：*Q-Learning更新公式：Q(s,a)←Q(s,a)+α[r(s,a,s')+γ*max_a'Q(s',a')-Q(s,a)]*代入已知數(shù)值：*s=s0,a=a,s'=s',r(s,a,s')=5*γ=0.9*max_a'Q(s',a')=max_a'[Q(s',a')]（在s'狀態(tài)下，假設(shè)選擇動(dòng)作a'，則Q(s',a')=10+3=13）*Q(s,a)=?（初始值未知，設(shè)為Q_0(s,a)）*α=0.1*計(jì)算：Q(s,a)←Q(s,a)+0.1[5+0.9*13-Q(s,a)]*Q(s,a)←Q(s,a)+0.1[5+11.7-Q(s,a)]*Q(s,a)←Q(s,a)+0.1*16.7-0.1*Q(s,a)*Q(s,a)←Q(s,a)+1.67-0.1*Q(s,a)*1.1*Q(s,a)←1.67*Q(s,a)←1.67/1.1*Q(s,a)←1.518181...(約等于1.52)四、綜合應(yīng)用題1.DQNvsDDPG主要區(qū)別及關(guān)鍵技術(shù)、局限性：*處理動(dòng)作空間：DQN設(shè)計(jì)用于離散動(dòng)作空間，通過將動(dòng)作編碼為獨(dú)熱向量（one-hotvector）輸入到Q網(wǎng)絡(luò)，并使用離散的Softmax層輸出動(dòng)作概率。DDPG則設(shè)計(jì)用于連續(xù)動(dòng)作空間，使用連續(xù)值函數(shù)（如全連接層）直接輸出動(dòng)作向量（如方向和力度）。*關(guān)鍵技術(shù)DQN：經(jīng)驗(yàn)回放、目標(biāo)網(wǎng)絡(luò)、（可選）雙Q學(xué)習(xí)。目標(biāo)網(wǎng)絡(luò)有助于穩(wěn)定訓(xùn)練。*關(guān)鍵技術(shù)DDPG：經(jīng)驗(yàn)回放、SoftActor-Critic（用于確定性策略梯度）、Actor-Critic框架（Actor輸出動(dòng)作，Critic輸出狀態(tài)-動(dòng)作價(jià)值）、雙Q學(xué)習(xí)（用于確定性策略梯度）、軟更新（用于目標(biāo)網(wǎng)絡(luò)）、值函數(shù)歸一化。*局限性DQN：對(duì)于連續(xù)動(dòng)作空間不直接適用（需要編碼），對(duì)超參數(shù)敏感，訓(xùn)練不穩(wěn)定，高維動(dòng)作空間下效率低。*局限性DDPG：穩(wěn)定性要求高（對(duì)超參數(shù)如學(xué)習(xí)率、折扣因子、經(jīng)驗(yàn)回放緩沖區(qū)大小等更敏感），容易陷入局部最優(yōu)，在非高斯噪聲環(huán)境中性能可能下降，對(duì)目標(biāo)網(wǎng)絡(luò)更新頻率等也有要求。2.機(jī)器人導(dǎo)航強(qiáng)化學(xué)習(xí)算法設(shè)計(jì)：*選擇算法類型：*基于模型vs模型-Free：機(jī)器人導(dǎo)航環(huán)境通常狀態(tài)空間和動(dòng)作空間都很大且連續(xù)，構(gòu)建精確的模型非常困難。因此，更傾向于選擇模型-Free方法。*策略梯度vs值函數(shù)方法：對(duì)于連續(xù)動(dòng)作空間，策略梯度方法（如REINFORCE及其變種，或Actor-Critic）通常比值函數(shù)方法（如DQN，需要?jiǎng)幼麟x散化）更自