(19)國家知識產(chǎn)權(quán)局(12)發(fā)明專利(10)授權(quán)公告號CN1186911(65)同一申請的已公布的文獻號度的深度強化學習綜述.計算機學報.2018,(06),第1406-1438頁.(72)發(fā)明人潘學萍丁仁山何勝明周潔煬謝洲審查員劉鑫(74)專利代理機構(gòu)北京錦信誠泰知識產(chǎn)權(quán)代理有限公司11813(54)發(fā)明名稱梯級水電站長期調(diào)度決策方法、系統(tǒng)、設備及存儲介質(zhì)本發(fā)明涉及水電站調(diào)度技術(shù)領(lǐng)域，尤其涉及一種梯級水電站長期調(diào)度決策方法、系統(tǒng)、設備及存儲介質(zhì)，方法包括：獲取梯級水電站的基礎數(shù)據(jù)和運行情況，構(gòu)建梯級水電站的長期優(yōu)化調(diào)度模型；將梯級水電站的長期優(yōu)化調(diào)度問題轉(zhuǎn)化為馬爾科夫算法決策過程；利用深度確定性策略梯度DDPG深度強化學習算法對馬爾科夫決策過程進行求解，得到梯級水電站中各電站的長期調(diào)度決策方案；基于實際梯級水電站，輸出長期調(diào)度決策結(jié)果。本發(fā)明中，可有效解決現(xiàn)有基于數(shù)學模型方法存在的建模困難、易陷入局部最優(yōu)解以及策略靈活差的問題；同時與現(xiàn)有深度強化學獲取梯級水電站的基礎數(shù)據(jù)和運行情況，構(gòu)建梯級水獲取梯級水電站的基礎數(shù)據(jù)和運行情況，構(gòu)建梯級水電站的長期優(yōu)化調(diào)度模型；將梯級水電站的長期優(yōu)化調(diào)度問題轉(zhuǎn)化為馬爾科夫算法決策過程；利用深度確定性策略梯度DDPG深度強化學習算法對所述馬爾科夫決策過程進行求解，得到梯級水電站中各電站的長期調(diào)度決策方案；基于實際梯級水電站，輸出長期調(diào)度決策結(jié)果。2利用深度確定性策略梯度DDPG深度強化學習算法對所述馬爾科夫決策過程進行求解，所述將梯級水電站的長期優(yōu)化調(diào)度問題轉(zhuǎn)化為馬爾科夫算法決策過程，包括如下步s,=(t,Q,V,H)狀態(tài)轉(zhuǎn)移函數(shù)：當本時刻上游來水確定的情況下，通過控制該時刻發(fā)電流量則可確定獎勵函數(shù)r(s+,at):在梯級水電站長期優(yōu)化調(diào)度中，利用獎勵值反映某時間段的目標函數(shù)值，進一步利用調(diào)度周期內(nèi)所有獎勵值總和來表示梯級水電站調(diào)度周期內(nèi)目標函數(shù)，kW;k;為水電站i的出力系數(shù)；梯級水電站在調(diào)度過程中，所述利用深度確定性策略梯度DDPG深度強化學習算法對所述馬爾科夫決策過程進行步驟2:利用預測網(wǎng)絡參數(shù)w和θ來初始化目標預測網(wǎng)絡和目標價值網(wǎng)絡的權(quán)重參數(shù)w'3步驟3:初始化經(jīng)驗池容量D;步驟4:初始化環(huán)境中梯級水電站的初始時刻狀態(tài)步驟8:當數(shù)據(jù)組達到設定數(shù)量后，從經(jīng)驗池中隨機采步驟9:利用最小化損失函數(shù)來更新預測價值網(wǎng)絡參數(shù)w:L(w)=MSE[Q(s,a),r+yQw,步驟11:軟更新目標策略網(wǎng)絡和目標價值網(wǎng)絡參數(shù)：其中是一個遠小于1的超參數(shù)；步驟12:利用更新后的網(wǎng)絡參數(shù)繼續(xù)循環(huán)步驟5和步驟6,步驟13:利用更新的經(jīng)驗池數(shù)據(jù)繼續(xù)采取步驟8到11更新網(wǎng)絡參庫容-水位曲線；所述梯級水電站的長期優(yōu)化調(diào)度模型中，以梯級水電站調(diào)度4式中，V;,和V;,t+1分別為水電站i在t時段的初始和末期庫容，單位為m3;2和Q分別為水電站i在t時段的平均入庫流量和平均出庫流量，單位為m3/s;兩水電站之間的水量平衡約束為：式中，上一級水電站在t時段的出庫流量，單水電站i和上一級水電站i-1之間在t時段的自然徑流；水庫庫容約束：式中，分別為水電站i在t時段水庫庫容的最小值和最大值，單位為m3;出庫流量約束：式中，分別為水電站i在t時段出庫流量的最小值和最大值，單位為m3/發(fā)電流量約束：式中，分別為水電站i在t時段發(fā)電引用流量的最小值和最大值，單位為m3/s;機組出力約束：水位限制約束：式中，分別為水電站i在t時段發(fā)電凈水頭的最低和最高值，單位為m;水庫庫容水位關(guān)系約束：庫容水位曲線反映了水電站i在t時段中水庫庫容與水頭之間的函數(shù)對應關(guān)系；初始水位約束：H?=Hpezi2.一種梯級水電站長期調(diào)度決策系統(tǒng)，其特征在于，使用如權(quán)利要求1中所述的方法，建模模塊，用于獲取梯級水電站的基礎數(shù)據(jù)和運行情況，構(gòu)建梯級水電站的長期優(yōu)化調(diào)度模型；決策模塊，用于將梯級水電站的長期優(yōu)化調(diào)度問題轉(zhuǎn)化為馬爾科夫算法決策過程；5求解模塊，用于利用深度確定性策略梯度DDPG深度強化學習算法對所述馬爾科夫決策3.一種計算機設備，包括存儲器、處理器及存儲在6梯級水電站長期調(diào)度決策方法、系統(tǒng)、設備及存儲介質(zhì)技術(shù)領(lǐng)域[0001]本發(fā)明涉及水電站調(diào)度技術(shù)領(lǐng)域，尤其涉及一種梯級水電站長期調(diào)度決策方法、背景技術(shù)[0002]水電站調(diào)度是充分利用水力資源、提高發(fā)電效率的重要保證，近年來，隨著我國西南地區(qū)水電基地的流域梯級滾動開發(fā)和集中投產(chǎn)，水電調(diào)度規(guī)模急劇擴大，電網(wǎng)對水電的精細化要求日益提高，水電調(diào)度的時效性和結(jié)果可用性面臨極大挑戰(zhàn)。[0003]流域梯級水電站優(yōu)化調(diào)度是典型的離散、多維、非線性、大規(guī)模、多時空決策優(yōu)化問題，其建模求解十分困難?，F(xiàn)有方法在建立數(shù)學模型時，難以考慮所有的影響因素，應對變化的環(huán)境適應性差。在優(yōu)化求解方面，主要包括傳統(tǒng)數(shù)學規(guī)劃方法和傳統(tǒng)機器學習方法。數(shù)學規(guī)劃方法存在計算耗時、內(nèi)存占用偏多、計算效率低等問題；而傳統(tǒng)機器學習算法存在易局限于局部最優(yōu)，且結(jié)果的可重現(xiàn)性差等問題。[0004]當前，隨著大數(shù)據(jù)以及人工智能算法的快速發(fā)展，強化學習甚至深度強化學習算法在梯級水電站優(yōu)化調(diào)度中得到了初步的應用。然而目前大都采用深度Q網(wǎng)絡(DeepQ-Network,DQN)的深度強化學習方法構(gòu)建梯級水電站優(yōu)化調(diào)度模型，由于該方法輸出的是離散動作值，影響調(diào)度策略的精細化程度，進而影響梯級水電站運行的經(jīng)濟性。在此背景下，為進一步精細化梯級水電站智能調(diào)度決策，提升梯級水電站運行的經(jīng)濟性，需研究新的深度強化學習方法。[0005]公開于該背景技術(shù)部分的信息僅僅旨在加深對本發(fā)明的總體背景技術(shù)的理解，而不應當被視為承認或以任何形式暗示該信息構(gòu)成已為本領(lǐng)域技術(shù)人員所公知的現(xiàn)有技術(shù)。發(fā)明內(nèi)容[0006]本發(fā)明提供了一種梯級水電站長期調(diào)度決策方法、系統(tǒng)、設備及存儲介質(zhì)，從而有效解決背景技術(shù)中的問題。[0007]為了達到上述目的，本發(fā)明所采用的技術(shù)方案是：一種梯級水電站長期調(diào)度決策[0008]獲取梯級水電站的基礎數(shù)據(jù)和運行情況，構(gòu)建梯級水電站的長期優(yōu)化調(diào)度模型；[0009]將梯級水電站的長期優(yōu)化調(diào)度問題轉(zhuǎn)化為馬爾科夫算法決策過程；[0010]利用深度確定性策略梯度DDPG深度強化學習算法對所述馬爾科夫決策過程進行求解，得到梯級水電站中各電站的長期調(diào)度決策方案；[0012]進一步地，所述獲取梯級水電站的基礎數(shù)據(jù)和運行情況，包括：各水電站的最高、最低水位，最大、最小庫容，最大發(fā)電流量以及最大出力；利用各個時刻的庫容和水位數(shù)據(jù)擬合各水電站的庫容-水位曲線。[0013]進一步地，所述梯級水電站的長期優(yōu)化調(diào)度模型中，以梯級水電站調(diào)度周期內(nèi)的7[0020]式中，V.和+1分別為水電站i在t時段的初始和末期庫容，單位為m3;8[0038]式中，H“”和Hm×分別為水電站i在t時段發(fā)電[0041]庫容水位曲線反映了水電站i在t時段中水庫庫容與水頭之間的函數(shù)對應關(guān)系；[0045]進一步地，所述將梯級水電站的長期優(yōu)化調(diào)度問題轉(zhuǎn)化為馬爾科夫算法決策過[0046]根據(jù)梯級水電站的長期調(diào)度問題特征，定義強化學習中的狀態(tài)、動作、狀態(tài)轉(zhuǎn)移函[0049]式中，S為t時刻的狀態(tài)量，其中包含時刻t,以及該時刻水電站i的入庫流量、庫容以及水位高度；[0052]狀態(tài)轉(zhuǎn)移函數(shù)：當本時刻上游來水確定的情況下，通過控制該時刻發(fā)電流量則可確定下一時刻的庫容和水位，因此梯級水電站運行環(huán)境也是確定的，馬爾科夫過程的狀態(tài)轉(zhuǎn)移概率為1,即：[0054]式中，智能體在狀態(tài)s下執(zhí)行動作a后，可以得到一個確定的下一時刻環(huán)境狀態(tài)s',且該狀態(tài)轉(zhuǎn)移過程滿足設定的各種約束條件；[0055]獎勵函數(shù)r(s,,a):在梯級水電站長期優(yōu)化調(diào)度中，利用獎勵值反映某時間段的目標函數(shù)值，進一步利用調(diào)度周期內(nèi)所有獎勵值總和來表示梯級水電站調(diào)度周期內(nèi)目標函[0057]式中，梯級水電站在調(diào)度過程中，每一時間段的獎勵值為各個水電站在這一時間段的發(fā)電量之和，當確定梯級水電站的環(huán)境狀態(tài)H,以及動作值Q后，就能夠產(chǎn)生相應的9[0060]步驟2:利用預測網(wǎng)絡參數(shù)W和θ來初始化目標預測網(wǎng)絡和目標價值網(wǎng)絡的權(quán)重[0065]步驟7:利用下一時刻的狀態(tài)量，循環(huán)步驟5和步驟6,產(chǎn)生一系列數(shù)據(jù)組保存于經(jīng)調(diào)度動作產(chǎn)生的獎勵值，在梯級水電站優(yōu)化調(diào)度中代表一個時刻梯級水電站的發(fā)電量大[0069]步驟11:軟更新目標策略網(wǎng)絡和目標價值網(wǎng)絡參數(shù)：[0072]步驟14:循環(huán)步驟12和步驟13,直到網(wǎng)絡參數(shù)滿足要求，能夠達到最終調(diào)度決策要[0075]決策模塊，用于將梯級水電站的長期優(yōu)化調(diào)度問題轉(zhuǎn)化為馬爾科夫算法決策過[0077]應用模塊，用于基于實際梯級水電站，輸出長期調(diào)度決策結(jié)果。[0078]本發(fā)明還包括一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時，實現(xiàn)如上述的方法。[0079]本發(fā)明還包括一種存儲介質(zhì)，其上存儲有計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)如上述的方法。[0080]本發(fā)明的有益效果為：本發(fā)明基于數(shù)據(jù)驅(qū)動方法進行調(diào)度決策，可有效解決現(xiàn)有基于數(shù)學模型方法存在的建模困難、易陷入局部最優(yōu)解以及策略靈活差的問題；同時與現(xiàn)有基于DeepQ-Learning深度強化學習算法相比，其連續(xù)動作策略可使得調(diào)度策略更加精細化，可有效提升梯級水電站的發(fā)電效益。附圖說明[0081]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明中記載的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。[0082]圖1為本發(fā)明方法的流程圖；[0083]圖2為本發(fā)明系統(tǒng)的結(jié)構(gòu)示意圖；[0084]圖3為基于深度確定性策略梯度算法的梯級水電站長期調(diào)度智能決策方法的流程[0085]圖4為錦屏一級和二灘水電站的庫容-水位曲線；[0087]圖6為經(jīng)過智能調(diào)度后的錦屏一級水位；[0088]圖7為經(jīng)過智能調(diào)度后的錦屏一級發(fā)電流量；[0089]圖8為經(jīng)過智能調(diào)度后的錦屏一級發(fā)電功率；[0090]圖9為經(jīng)過智能調(diào)度后的二灘水位；[0091]圖10為經(jīng)過智能調(diào)度后的二灘發(fā)電流量；[0092]圖11為經(jīng)過智能調(diào)度后的二灘發(fā)電功率；[0093]圖12為計算機設備的結(jié)構(gòu)示意圖。具體實施方式[0094]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。[0095]實施例1[0096]如圖1所示：一種梯級水電站長期調(diào)度決策方法，包括：[0097]獲取梯級水電站的基礎數(shù)據(jù)和運行情況，構(gòu)建梯級水電站的長期優(yōu)化調(diào)度模型；[0098]將梯級水電站的長期優(yōu)化調(diào)度問題轉(zhuǎn)化為馬爾科夫算法決策過程；[0099]利用DDPG(DeepDeterministicPolicyGradient,深度確定性策略梯度算法)深度強化學習算法對馬爾科夫決策過程進行求解，得到梯級水電站中各電站的長期調(diào)度決策方案；[0102]基于深度確定性策略梯度(DDPG)的深度強化學習算法是一種在連續(xù)動作空間中為kW;k;為水電站i的出力系數(shù)，這里取值為8.5;Q為水電站i在t時段的平均發(fā)電引用流[0114]式中，為上一級水電站在1時段的出庫流量，單位為m3/s;qi,t為水電站i和上;[0136]在本實施例中，將梯級水電站的長期優(yōu)化調(diào)度問題轉(zhuǎn)化為馬爾科夫算法決策過標函數(shù)值，進一步利用調(diào)度周期內(nèi)所有獎勵值總和來表示梯級水電站調(diào)度周期內(nèi)目標函[0151]步驟2:利用預測網(wǎng)絡參數(shù)w和θ來初始化目標預測網(wǎng)絡和目標價值網(wǎng)絡的權(quán)重[0156]步驟7:利用下一時刻的狀態(tài)量，循環(huán)步驟5和步驟6,產(chǎn)生一系列數(shù)據(jù)組保存于經(jīng)調(diào)度動作產(chǎn)生的獎勵值，在梯級水電站優(yōu)化調(diào)度中代表一個時刻梯級水電站的發(fā)電量大[0160]步驟11:軟更新目標策略網(wǎng)絡和目標價值網(wǎng)絡參數(shù)：,其中t是一個遠小于1的超參數(shù)；[0161]步驟12:利用更新后的網(wǎng)絡參數(shù)繼續(xù)循環(huán)步驟5和步驟6,更新經(jīng)驗池中的數(shù)據(jù)組；[0162]步驟13:利用更新的經(jīng)驗池數(shù)據(jù)繼續(xù)采取步驟8到11更新網(wǎng)絡參數(shù)；[0163]步驟14:循環(huán)步驟12和步驟13,直到網(wǎng)絡參數(shù)滿足要求，能夠達到最終調(diào)度決策要[0164]如圖2所示，本實施例中還包括一種梯級水電站長期調(diào)度決策系統(tǒng)，使用如上述的[0165]建模模塊，用于獲取梯級水電站的基礎數(shù)據(jù)和運行情況，構(gòu)建梯級水電站的長期優(yōu)化調(diào)度模型；[0166]決策模塊，用于將梯級水電站的長期優(yōu)化調(diào)度問題轉(zhuǎn)化為馬爾科夫算法決策過[0167]求解模塊，用于利用深度確定性策略梯度DDPG深度強化學習算法對馬爾科夫決策過程進行求解，得到梯級水電站中各電站的長期調(diào)度決策方案；[0168]應用模塊，用于基于實際梯級水電站，輸出長期調(diào)度決策結(jié)果。[0169]實施例2[0170]如圖3所示，該基于深度確定性策略梯度算法的梯級水電站長期調(diào)度智能決策方[0171]S1,調(diào)研梯級水電站的基礎數(shù)據(jù)和運行情況，構(gòu)建梯級水電站的長期優(yōu)化調(diào)度模[0172]研究對象為雅礱江流域下游梯級水電站，主要包括錦屏一級、錦屏二級、官地、二灘、桐子林5座水電站。其中錦屏一級水電站為年調(diào)度，二灘水庫為季調(diào)節(jié)，錦屏二級水庫、官地水庫、桐子林水庫均為日調(diào)節(jié)。因此，在長期調(diào)度過程中，對錦屏一級水電站和二灘水電站進行長期優(yōu)化調(diào)度。優(yōu)化調(diào)度時間為2020年6月1日至2021年5月31日一整年，時間尺度定為一天。[0173]錦屏一級和二灘水電站的基礎數(shù)據(jù)包括最高、最低水位，最大、最小庫容，最大發(fā)電流量以及最大出力，具體見表1。兩水電站的庫容-水位曲線見圖4。[0174]表1錦屏一級和二灘水電站基礎數(shù)據(jù)電站錦屏一級水電站二灘水電站最高水位(m)最低水位(m)最大庫容(億m3)最小庫容(億m3)最大發(fā)電流量(m3/s)最大出力(MW)[0176]構(gòu)建梯級水電站的長期優(yōu)化調(diào)度[0178]式中，E為梯級水電站調(diào)度周期內(nèi)的總發(fā)電量，kWh;N為梯級流域中水電站的數(shù)量；T為一個調(diào)度周期內(nèi)的時段數(shù)，這里為一年共3為水電站編號；t為時間段編號；P?,為水電站i在t時段的平均發(fā)電功率，kW;k;為水電站i的出力系數(shù)，這里取值為8.5;9為水電站i在t時段的平均發(fā)電引用流量，m3/s;H,為水電站i[0182]式中，V.,和V,x+1分別為水電站i在t時段的初始和末期庫容，m3;Q和Q"分別為水電站i在1時段的平均入庫流量和平均出庫流量，m3/s。[0183]兩水電站之間的水量平衡約束為：[0185]式中，0為上一級水電站在時段的出庫流量，m3/s。[0188]式中，V:2和Vmx分別為水電站i在時段水庫庫容的最小值和最大值，m3。[0189](3)出庫流量約束[0191]式中，Qum和Qumx分別為水電站i在時段出庫流量的最小值和最大值，m3/s。[0192](4)發(fā)電流量約束[0194]式中，Q-n和Qm分別為水電站i在1時段發(fā)電引用流量的最小值和最大值，[0195](5)機組出力約束[0200]式中，H;"和分別為水電站i在時段發(fā)電凈水頭的[0203]庫容水位曲線反映了水電站i在1時段中水庫庫容與水頭之間的函數(shù)對應關(guān)系。[0208]馬爾科夫決策過程根據(jù)梯級水電站的長期調(diào)度問題特征，定義強化學習中的狀[0209]狀態(tài)S:用來描述當前時刻梯級水電站的狀態(tài)信息[0217]獎勵函數(shù)r;(s,a?):在梯級水電站長期優(yōu)化調(diào)度中，利用獎勵值反映某時間段的目標函數(shù)值，進一步利用調(diào)度周期內(nèi)所有獎勵值總和來表示梯級水電站調(diào)度周期內(nèi)目標函段的發(fā)電量之和，當確定梯級水電站的環(huán)境狀態(tài)H以及動作值Q[0219]S3,利用DDPG深度強化學習算法對馬爾科夫決策過程進行求解，得到梯級水電站[0221]步驟1:隨機初始化預測策略網(wǎng)絡和預測價值網(wǎng)絡的網(wǎng)絡參數(shù)W和θ;[0222]步驟2:利用預測網(wǎng)絡參數(shù)和來初始化目標預測網(wǎng)絡W和θ目標價值網(wǎng)絡的權(quán)重對應的動作a?=μ(S。)+N;[0227]步驟7:利用下一時刻的狀態(tài)量，循環(huán)步驟5和步驟6,產(chǎn)生一系列數(shù)據(jù)組保存于經(jīng)驗池；[0235]S4,利用DDPG進行長期調(diào)度智能決策對雅礱江錦屏一級和二灘水電站在2020年6超參數(shù)設置見表2。序列取值具體描述1總時間循環(huán)次數(shù)2學習率34經(jīng)驗池規(guī)模56目標網(wǎng)絡更新速率7折扣系數(shù)8N(0,0.1)探索噪聲[0238]雅礱江錦屏一級和二灘水電站在2020年6月1日至2021年5月31日一整年的調(diào)度決策結(jié)果分別見圖6和圖11。[0239]由圖6至圖8可知，在調(diào)度初期，錦屏一級水電站在DDPG調(diào)度下的發(fā)電流量遠大于實際發(fā)電流量，處于最大發(fā)電流量工作狀態(tài)，同時相對應的庫水位上升速度也比實際庫水發(fā)電流量小于實際發(fā)電流量，其調(diào)度庫水位相比實際水位保持在較高水平；在調(diào)度末期，錦屏一級水電站在DDPG調(diào)度下的發(fā)電流量開始增加且大于實際發(fā)電流量，相對應的水位也從高水位開始下降，從而充分利用庫容進行發(fā)電。從發(fā)電功率來看，在調(diào)度初期，錦屏一級水電站在DDPG調(diào)度下的發(fā)電功率大于實際發(fā)電功率，隨后發(fā)電功率都開始下降，這與汛期結(jié)最大化利用水位優(yōu)勢發(fā)電；在調(diào)度末期，DDPG調(diào)度下發(fā)電功率迅速增加，遠遠超過實際發(fā)電[0240]由圖9至圖11可知，在調(diào)度初期，二灘水電站在DDPG調(diào)度下的發(fā)電流量大于實際發(fā)電流量，因此其調(diào)度水位上升速度相比實際庫水位更為緩慢；在調(diào)度中期，二灘水電站在DDPG調(diào)度下的發(fā)電流量相比實際發(fā)電流量開始減少，從而讓水位保持在更高位置；在調(diào)度末期，二灘水電站在DDPG調(diào)度下的發(fā)電流量開始迅速增加且大于實際發(fā)電流量，從而能夠充分利用庫容水量進行發(fā)電。從發(fā)電功率來看，在調(diào)度初期，二灘發(fā)電功率曲線在調(diào)度初期調(diào)度發(fā)電功率更低；在調(diào)度末期，DDPG調(diào)度增加了發(fā)電功率，并持續(xù)維持在較高水平運行，增加了最終的發(fā)電值。[0241]進一步采用DQN方法進行雅礱江梯級水電站的長期調(diào)度智能決策，各方法下梯級水電站的發(fā)電量見表3。[0243]電站實際調(diào)度DQN調(diào)度DDPG調(diào)度錦屏一級188.85190.05195.23二灘158.20192.08193.62梯級總和347.05382.13388.85發(fā)電總量分別為388.85kWh,相比歷史實際調(diào)度決策年發(fā)電量提升了41.8億kWh,相比于DQN調(diào)度決策年發(fā)電量提升了6.72億kWh。與實際調(diào)度決策相比，本發(fā)明方法可顯著提升梯級水電站的發(fā)電效益；同時與現(xiàn)有DQN深度強化學習調(diào)度決策相比，本發(fā)明由于采用連續(xù)動作[0245]請參見圖12示出的本申請實施例提供的計算機設備的結(jié)構(gòu)示意圖。本申請實施例提供的一種計算機設備400,包括：處理器410和存儲器420,存儲器420存儲有處理器410可執(zhí)行的計算機程序，計算機程序被處理器410執(zhí)行時執(zhí)行如上的方法。[0246]本申請實施例還提供了一種存儲介質(zhì)430,該存儲介質(zhì)430上存儲有計算機程序，該計算機程序被處理器410運行時執(zhí)行如上的方法。[0247]其中，存儲介質(zhì)430可以由任何類型的易失性或非易失性存儲設備或者它們的組合實現(xiàn)，如靜態(tài)隨機存取存儲器(StaticRandomAccessMemory,簡稱SRAM),電可擦除可編程只讀存儲器(ElectricallyErasableProgrammableRead-OnlyMemory,簡稱EEPROM),可擦除可編程只讀存儲器(ErasableProgrammableReadOnlyMemory,簡稱EPROM),可編程只讀存儲器(ProgrammableRed-OnlyMemory,簡稱PROM),只讀存儲器可以明示或者隱含地包括一個或者更多個該特征?！岸鄠€”的含義是兩個或兩個以上，除非另有明確具體的限定。接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個元件內(nèi)部的連通或兩個元件的相互作用關(guān)系。對于本領(lǐng)域的普通技術(shù)人員而言，可以根據(jù)具體情況理解上述術(shù)語在本發(fā)明中的具體含義。點包含于本發(fā)明的至少一個實施例或示例中。在本說明書中，對上述術(shù)語的示意性表述不必針對相同的實施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點可以在任一個或多個實施例或示例中以合適的方式結(jié)合。此外，在不相互矛盾的情況下，本領(lǐng)域的技術(shù)人員可以將本說明書中描述的不同實施例或示例以及不同實施例或示例的特征進行結(jié)合和組合。[0251]流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解為，表示包括一個或更多個用于實現(xiàn)特定邏輯功能或過程的步驟的可執(zhí)行指令的代碼的模塊、片段或部分，并且本發(fā)明的優(yōu)選實施方式的范圍包括另外的實現(xiàn)，其中可以不按所示出或討論的順序，包括根據(jù)所涉及的功能按基本同時的方式或按相反的順序，來執(zhí)行功能，這應被本發(fā)明的實施例所屬技術(shù)領(lǐng)域的技術(shù)人員所理解。[0252]在流程圖中表示或在此以其他方式描述的邏輯和/或步驟，例如，可以被認為是用于實現(xiàn)邏輯功能的可執(zhí)行指令的定序列表，可以具體實現(xiàn)在任何計算機可讀介質(zhì)中，以供指令執(zhí)行系統(tǒng)、裝置或設備(如基于計算機的系統(tǒng)、包括處理器的系統(tǒng)或其他可以從指令執(zhí)行系統(tǒng)、裝置或設備取指令并執(zhí)行指令的系統(tǒng))使用，或結(jié)合這些指令執(zhí)行系統(tǒng)、裝置或設輸程序以供指令執(zhí)行系統(tǒng)、裝置或設備或結(jié)合這些指令執(zhí)行系統(tǒng)、裝置或設備而使用的裝置。計算機可讀介質(zhì)的更具體的示例(非窮盡性列表)包括以下：具有一個或多個布線的電連接部(電子裝置),便攜式計算機盤盒(磁裝置),隨機存取存儲器(RAM),只讀存儲器(ROM),可擦除可編輯只讀存儲器(EPROM或閃速存儲器),光纖裝置，以及便攜式光盤只讀存儲器(CDROM)。另外，計算機可讀介質(zhì)甚至可以是可在其上打印所述程序的紙或其他合適的介質(zhì)，因為可以例如通過對紙或其他介質(zhì)進行光學掃描，接著