1.元強(qiáng)化學(xué)習(xí)學(xué)習(xí)多個(gè)任務(wù)的經(jīng)驗(yàn)，提高在新任務(wù)上的學(xué)習(xí)效率。元學(xué)習(xí)的核心思想是RL)的一種新興方法。它旨在通過(guò)學(xué)習(xí)如何學(xué)習(xí)，提高智能體在新任務(wù)?stepstep4:聚合階段一、元強(qiáng)化學(xué)習(xí)二、傳統(tǒng)智能配電網(wǎng)調(diào)壓技術(shù)三、基于強(qiáng)化學(xué)習(xí)的自適應(yīng)電壓控制風(fēng)/光/氫等多類(lèi)型風(fēng)/光/氫等多類(lèi)型2.傳統(tǒng)智能配電網(wǎng)調(diào)壓技術(shù)2.傳統(tǒng)智能配電網(wǎng)調(diào)壓技術(shù)2233較大等2.傳統(tǒng)智能配電網(wǎng)調(diào)壓技術(shù)2.傳統(tǒng)智能配電網(wǎng)調(diào)壓技術(shù)根據(jù)電網(wǎng)狀態(tài)對(duì)分布式光伏并網(wǎng)功率進(jìn)行控制是調(diào)節(jié)配網(wǎng)電壓的重要手段，結(jié)合不同的通信控制方式，電壓控制策略可以分為以下三種分布式控制分布式控制2.傳統(tǒng)智能配電網(wǎng)調(diào)壓技術(shù)時(shí)間/s配電系統(tǒng)資源群1資源利用效率低資源利用效率低效率二、傳統(tǒng)智能配電網(wǎng)調(diào)壓技術(shù)三、基于強(qiáng)化學(xué)習(xí)的自適應(yīng)電壓控制天津大學(xué)3.天津大學(xué)3.1現(xiàn)有電壓控制方法的不足可再生能源和負(fù)荷羈個(gè)立簡(jiǎn)化羈個(gè)立交互配電網(wǎng)模型交互配電網(wǎng)模型控制動(dòng)作輸出輸出誤差大分布式柴油機(jī)3.基于強(qiáng)化學(xué)習(xí)的電壓自適應(yīng)控制天津大學(xué)3.23.2強(qiáng)化學(xué)習(xí)的優(yōu)勢(shì)無(wú)模型的實(shí)時(shí)在線(xiàn)控制：強(qiáng)化學(xué)習(xí)具有遞歸神經(jīng)網(wǎng)絡(luò)等其他神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)具有記憶性和非線(xiàn)性擬合擬合能力。在控制階段不需要考慮配電網(wǎng)模型就環(huán)境智能體Wa?-環(huán)境a?-環(huán)境獎(jiǎng)勵(lì)獎(jiǎng)勵(lì)控制動(dòng)作a。變成智能體的輸入；智能體接下來(lái)輸轉(zhuǎn)移到s?。這個(gè)過(guò)程中智能體會(huì)得到經(jīng)驗(yàn)儲(chǔ)存起來(lái)。然后智能體根據(jù)這些經(jīng)驗(yàn)更新神經(jīng)網(wǎng)絡(luò)參數(shù)得到控制經(jīng)驗(yàn)天津大學(xué)3.33.3基于強(qiáng)化學(xué)習(xí)的電壓自適應(yīng)控制數(shù)據(jù)控制數(shù)據(jù)控制P,=P?S+P"+P?-pod嘴=+(%27+2)里化學(xué)習(xí)數(shù)據(jù)輸入交互√使用電壓值建立獎(jiǎng)勵(lì)函數(shù)求獎(jiǎng)勵(lì)值3.4基于強(qiáng)化學(xué)習(xí)的電壓自適應(yīng)控制案例分析n時(shí)間連續(xù)動(dòng)作空間天津大學(xué)NetworkMLPNewok13.基于強(qiáng)化學(xué)習(xí)的電壓自適應(yīng)控制強(qiáng)化學(xué)習(xí)訓(xùn)練過(guò)程的收斂曲線(xiàn)獎(jiǎng)勵(lì)值收斂曲線(xiàn)獎(jiǎng)勵(lì)值收斂曲線(xiàn)所提算法有最優(yōu)收斂效果!—PA-DDPG3.基于強(qiáng)化學(xué)習(xí)的電壓自適應(yīng)控制化學(xué)習(xí)輸入Vi∈N,Vt∈T輸出控制數(shù)據(jù)輸入輸出控制數(shù)據(jù)輸入控制策略數(shù)據(jù)輸入一、元強(qiáng)化學(xué)習(xí)二、傳統(tǒng)智能配電網(wǎng)調(diào)壓技術(shù)天津大學(xué)天津大學(xué)4.1深度強(qiáng)化學(xué)習(xí)存在的問(wèn)題ChainofTransition圖1環(huán)境狀態(tài)轉(zhuǎn)移示意圖√非穩(wěn)態(tài)性源于打破了制約大多數(shù)單代理強(qiáng)化學(xué)習(xí)算法的一圖2多智能體強(qiáng)化學(xué)習(xí)√學(xué)習(xí)程度不均勻源于為合作關(guān)系的各個(gè)智天津大學(xué)天津大學(xué)4.2提升方案——元強(qiáng)化學(xué)習(xí)反映其自身的行為貢獻(xiàn)，而不是簡(jiǎn)單地使用聯(lián)合獎(jiǎng)勵(lì)。評(píng)論家網(wǎng)絡(luò)中應(yīng)用Withprobablityp天津大學(xué)圖133總線(xiàn)網(wǎng)絡(luò)圖4.3元強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)的自適應(yīng)電壓控制-案例分析圖133總線(xiàn)網(wǎng)絡(luò)圖4.3元強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)的自適應(yīng)電壓控制-案例分析天津大學(xué)天津大學(xué)4.3元強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)的自適應(yīng)電壓控制-案例分析圖1141總線(xiàn)網(wǎng)絡(luò)圖圖1141總線(xiàn)網(wǎng)絡(luò)圖電壓失控比電壓失控比可u00天津大學(xué)天津大學(xué)4.34.3元強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)的自適應(yīng)電壓控制-案例分析aθ,o,r電壓平均值電壓平均值a