版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
華北電力大學(xué)電氣與電子工程學(xué)院NORTHCHINAELECTRICPOWERUNIVERSITY大模型技術(shù)在新能源功率預(yù)測(cè)中應(yīng)用初探華北電力大學(xué)2025年10月26日一二一二三四五新能源預(yù)測(cè)的需求和挑戰(zhàn)大模型技術(shù)應(yīng)用思路路線一大模型主導(dǎo)的預(yù)測(cè)新范式路線二融合大模型思想的混合建??蚣芙Y(jié)論和展望223口大氣系統(tǒng)在短期和長(zhǎng)期的變化呈現(xiàn)不確定性,其復(fù)雜非線性特征以及數(shù)值模式誤差等使得氣象預(yù)報(bào)存在不確定性,新能源功率預(yù)測(cè)需計(jì)及NWP不確定性并服務(wù)多樣化預(yù)測(cè)需求。天氣系統(tǒng)的短期不確定性氣象預(yù)報(bào)的不確定性新能源功率預(yù)測(cè)的需求氣旋鋒面活動(dòng)低冷鋒暖鋒ESNO循環(huán)ESNO循環(huán)拉尼娜-冷事件厄爾尼諾-暖事件資料觀測(cè)系統(tǒng)初始誤差模式并行計(jì)算計(jì)算機(jī)系統(tǒng)預(yù)報(bào)預(yù)報(bào)評(píng)分不確定性來(lái)源數(shù)值誤差不可預(yù)測(cè)混沌現(xiàn)象期望功率區(qū)間功率場(chǎng)景功率iii11iii11i111!60460口新能源預(yù)測(cè)面臨復(fù)雜數(shù)據(jù)形式和不同的預(yù)測(cè)任務(wù)需求,如何以需求為導(dǎo)向,賦能精確預(yù)測(cè)是新能源功率預(yù)測(cè)所面臨的重要挑戰(zhàn),其核心就在于人工智能模型·NWP預(yù)測(cè)誤差·NWP數(shù)據(jù)缺乏·歷史量測(cè)數(shù)據(jù)不足ms~m信息不確定性幾V人工模型?個(gè)需求不確定性新能源預(yù)測(cè)的需求和挑戰(zhàn)大模型技術(shù)應(yīng)用思路路線一大模型主導(dǎo)的預(yù)測(cè)新范式路線二融合大模型思想的混合建??蚣芙Y(jié)論和展望552大模型技術(shù)發(fā)展(2017-2017-TransformerIsAllYouNeed》中提出的Transformer架構(gòu)是大語(yǔ)言模型基礎(chǔ),標(biāo)志了自然語(yǔ)言處理領(lǐng)域的一個(gè)分水嶺時(shí)刻。2025-DeepSeek-R12022-ChatGPT2023-2025多模態(tài)技術(shù)跨模態(tài)注意力機(jī)制、混合專家各行各業(yè)的深度融合。2020-GPT-32021-2022模型智能化技術(shù)監(jiān)督微調(diào)技術(shù)、人類反饋強(qiáng)化學(xué)習(xí)技術(shù)等突破,正逐步校準(zhǔn)大模型生成內(nèi)容。2018-2020預(yù)訓(xùn)練模型技術(shù)BERT和GPT的版本迭代展示了大規(guī)模預(yù)訓(xùn)練及微調(diào)范式的強(qiáng)大力量。單中中品6672大模型技術(shù)應(yīng)用思路大模型技術(shù)的快速發(fā)展給新能源功率預(yù)測(cè)提供了新的思路□路線一:大模型主導(dǎo)的預(yù)測(cè)新范式口路線二:融合大模型思想的混合建??蚣苄履茉垂π履茉垂Υ竽P椭鲗?dǎo)的(TimeSeriesFoundationModels,TSFM)(LLM-BasedModelsforTimeSeries,LBM4TS)基于TimeGPT-1的零樣本新能源預(yù)測(cè)嘗試(Prompted-Based) (Tokenized-Based)(Prompted-Based) (Tokenized-Based)本新能源預(yù)測(cè)嘗試率預(yù)測(cè)率預(yù)測(cè)融合大模型思想的混合建模框架基于Token注意力機(jī)制的多模態(tài)數(shù)據(jù)融合基于對(duì)比學(xué)習(xí)的多模態(tài)數(shù)據(jù)融合基于可控?cái)U(kuò)散模型的多尺度極端場(chǎng)景生成一二一二三四五新能源預(yù)測(cè)的需求和挑戰(zhàn)大模型技術(shù)應(yīng)用思路路線一大模型主導(dǎo)的預(yù)測(cè)新范式路線二融合大模型思想的混合建??蚣芙Y(jié)論和展望883大模型主導(dǎo)的預(yù)測(cè)新范式口大模型作為預(yù)測(cè)主體的方法大致可分為兩類,第一類是時(shí)間序列基座大模型TSFM,如TimeGPT-1,第二類是基于大語(yǔ)1時(shí)間序列基座大模型②基于大語(yǔ)言模型的時(shí)序大模型訓(xùn)練數(shù)據(jù)270億數(shù)據(jù)、時(shí)序數(shù)據(jù)處理訓(xùn)練數(shù)據(jù)270億數(shù)據(jù)、9個(gè)主要領(lǐng)域③Pachraprase③PachPrefix修飾GPT等TimeGPT-1模型結(jié)構(gòu)公開(kāi)數(shù)據(jù)集、TSMix混合真實(shí)序列、LLaMA、KernelSynth變量離散化BERT等支持大量協(xié)變量Transformer架構(gòu)生成合成數(shù)據(jù)LLaMA93.1基于TSFM的零樣本新能源預(yù)測(cè)嘗試口選用時(shí)間序列基座大模型(TSFM)中的TimeGPT-1模型,使用零樣本預(yù)測(cè)方法,通過(guò)API實(shí)驗(yàn)對(duì)比預(yù)測(cè)準(zhǔn)確率(1-rmse實(shí)驗(yàn)對(duì)比預(yù)測(cè)準(zhǔn)確率(1-rmse)*100%風(fēng)光集群1風(fēng)光集群2Res-TCN92.04%92.50%STDDPM92.38%92.96%TCN+Attention92.50%93.26%SMTN92.61%93.36%TimeGPT-192.58%92.70%風(fēng)電:90.27%光伏:95.00%風(fēng)電:90.31%光伏:94.18%歷史功率、溫度、輻照度、風(fēng)速、..API調(diào)用TimeGPT-1返回預(yù)測(cè)結(jié)果TimeGPT-1Zero-ShotInferenceFineTuning基于TimeGPT-1的功率預(yù)測(cè)方法Transformer框架tbenay使用TimeGPT進(jìn)行日前風(fēng)電和光伏預(yù)測(cè)(分辨率:15min)在預(yù)測(cè)精度上相較于小參數(shù)模型未體現(xiàn)出明顯優(yōu)勢(shì)3.2基于LBM4TS的預(yù)測(cè)方法口基于大語(yǔ)言模型的時(shí)序大模型(LBM4TS)在新能源功率預(yù)測(cè)中的技術(shù)路線主要分為基于提示工程的模型和基于詞化工程的模型,無(wú)需進(jìn)行大模型的重訓(xùn)練,只需微調(diào)甚至不調(diào)。①基于提示工程的模型文本數(shù)據(jù)(Chain-of-Thought,CoT)(Physics-informedPrompt)時(shí)間序列數(shù)據(jù)適用于多模態(tài)數(shù)據(jù)②輸入時(shí)間序列數(shù)據(jù)將時(shí)間序列值映射到有限的量依賴大基于詞化工程的模型適用于純數(shù)值數(shù)據(jù)高泛化性模型高泛化性模型輸出時(shí)間序列數(shù)據(jù)連續(xù)集合數(shù)據(jù)稀缺場(chǎng)景下零樣本預(yù)測(cè)解決方案下游模型預(yù)測(cè)結(jié)果3.2基于LBM4TS的零樣本新能源預(yù)測(cè)嘗試口基于詞化工程的模型能夠保留時(shí)間序列的特征維度,建模方法主要分為三個(gè)階段:連續(xù)數(shù)據(jù)離散化(詞化)、大模型推演(BERT,GPT,T5)、離散分段連續(xù)化(反詞化)。連續(xù)數(shù)據(jù)離散化大語(yǔ)言模型推演大語(yǔ)言模型T5BERTGPT無(wú)需修改架構(gòu)和其原始訓(xùn)練目標(biāo)和它們提供的現(xiàn)成工具詞化連續(xù)數(shù)據(jù)離散化大語(yǔ)言模型推演大語(yǔ)言模型T5BERTGPT無(wú)需修改架構(gòu)和其原始訓(xùn)練目標(biāo)和它們提供的現(xiàn)成工具詞化InstructionDiscretization用數(shù)據(jù)集訓(xùn)練3離散連續(xù)化隱空間點(diǎn)預(yù)測(cè)概率預(yù)測(cè)偽詞向量模型深度學(xué)習(xí)是否使是否使模型直接處理時(shí)序數(shù)據(jù)的解決方案Carco311913603568159244292017T5BERTGPTT5BERTGPT歷史衛(wèi)星云圖WRF數(shù)值預(yù)報(bào)歷史氣象數(shù)據(jù)歷史功率數(shù)據(jù)提示詞詞元提示詞詞元基于LLM的TSFM“黑箱”,其做出文本信息時(shí)序基座大模型TSFM歸時(shí)序基座大模型TSFM歸因信任危機(jī)調(diào)試障礙難以歸因哪個(gè)氣象因素(如風(fēng)速突變、云層覆蓋)對(duì)某模型可解釋性問(wèn)題時(shí)序功率信息技術(shù)技術(shù)注意力機(jī)制特征技術(shù)一二一二三四五新能源預(yù)測(cè)的需求和挑戰(zhàn)大模型技術(shù)應(yīng)用思路路線一大模型主導(dǎo)的預(yù)測(cè)新范式路線二融合大模型思想的混合建模框架結(jié)論和展望4融合大模型思想的混合建??蚣芸诖竽P偷膬?yōu)勢(shì)可用于解決新能源預(yù)測(cè)方法中存在的量測(cè)數(shù)據(jù)不足、多模態(tài)數(shù)據(jù)特征對(duì)齊和極端場(chǎng)景生成問(wèn)題。征完特不整定估確評(píng)真征完特不整定估確評(píng)真不性失圖數(shù)值天氣預(yù)報(bào)氣候預(yù)報(bào)數(shù)據(jù)氣象量測(cè)數(shù)據(jù)功率量測(cè)數(shù)據(jù)出力約束備用指令檢修狀態(tài)故障記錄極端場(chǎng)景生成問(wèn)題極端天氣事件場(chǎng)景領(lǐng)域知識(shí)融合多任務(wù)數(shù)數(shù)據(jù)量參數(shù)量..參數(shù)結(jié)構(gòu)重組參數(shù)結(jié)構(gòu)重組信息拓?fù)滠S遷“當(dāng)一個(gè)復(fù)雜系統(tǒng)由很多微小個(gè)體構(gòu)成,這些微小個(gè)體湊到一起,相互作用,當(dāng)數(shù)量足夠多時(shí),在宏觀層面上展現(xiàn)出微觀個(gè)體無(wú)法解釋的特殊現(xiàn)象?!毖a(bǔ)充多模態(tài)對(duì)齊方法可控生成方法4.1大模型與多模態(tài)融合技術(shù)口多模態(tài)融合的方式從基于神經(jīng)網(wǎng)絡(luò)提取各類數(shù)據(jù)特征的前端融合模型,逐步發(fā)展為以大模型中多模態(tài)融合方法為主的中端融合模型和末端融合模型。XX*owST8℃桔和ETME暴潮要溫題顯衛(wèi)星云圖測(cè)風(fēng)圖預(yù)警信息維度縮放映射到同一隱空間道1的封Rete8對(duì)對(duì)比學(xué)習(xí)伊eu神經(jīng)網(wǎng)絡(luò)模塊時(shí)空卷積基于制的互補(bǔ)信息推演結(jié)果滿足多任務(wù)預(yù)測(cè)需求編碼但不終結(jié)、易于交互考慮Token片段間相關(guān)性訓(xùn)練高效全局特征分類明顯4.1大模型與多模態(tài)融合技術(shù)口多模態(tài)數(shù)據(jù)特征的中期融合模型,考慮大語(yǔ)言模型以Token為單位的處理特征,采用LLM中以注意力機(jī)制為基礎(chǔ)的深度跨模態(tài)推理網(wǎng)絡(luò),挖掘Token中隱含的多時(shí)間尺度特征和空間域特征,幫助深度學(xué)習(xí)算法實(shí)現(xiàn)時(shí)空概率預(yù)測(cè)。歷史衛(wèi)建模思路歷史衛(wèi)d4星云圖d4星云圖WRF數(shù)值預(yù)報(bào)歷史氣象數(shù)據(jù)":-2(PuX詞化編碼統(tǒng)一表示時(shí)間相關(guān)性融合時(shí)間相關(guān)性融合詞化+5詞化+59TCNC歷史功率數(shù)據(jù)TCNCTCNTCN空間相關(guān)性融合多模態(tài)數(shù)據(jù)空間相關(guān)性融合時(shí)空概率預(yù)測(cè)[2]融合模型推演模型時(shí)空概率預(yù)測(cè)[2]多模態(tài)數(shù)據(jù)融合及推演時(shí)空卷積概率預(yù)測(cè)需求解碼器[2]Spatio-temporalconvolutionalnetworkbasedpowerforecastingofmultiplewindfarms[J].JournalofModernPowerSystemsandCleanEnergy,2021,10(2):388-398.174.1大模型與多模態(tài)融合技術(shù)口多模態(tài)數(shù)據(jù)特征的末期融合模型,通過(guò)對(duì)比學(xué)習(xí)解決氣象、地理等數(shù)據(jù)異質(zhì)性問(wèn)題,在預(yù)測(cè)前對(duì)多源數(shù)據(jù)在隱空間進(jìn)行聯(lián)合分類,為深度神經(jīng)網(wǎng)絡(luò)預(yù)處理和標(biāo)準(zhǔn)化所有輸入,能夠提高深度學(xué)習(xí)算法可解釋性。氣象FF,FwWwWW回氣象數(shù)據(jù)隱特征歷史數(shù)據(jù)氣象數(shù)據(jù)隱特征預(yù)測(cè)結(jié)果預(yù)測(cè)結(jié)果Softmax多時(shí)空尺度推演模型融合特征線性回歸層多模態(tài)數(shù)據(jù)融合及推演[3]Cross-Modal多模態(tài)數(shù)據(jù)融合及推演[3]Cross-ModalContrastiveLearningforNetLoadPredictionBasedonPublicWeatherForecastsJ].IEEETransactionsonSmartGrid,2025.PredictionBased建模思路多模態(tài)歷史數(shù)據(jù):對(duì)比學(xué)習(xí)隱空間編碼分類深度學(xué)習(xí)解碼器功率預(yù)測(cè)[3]4.2大模型與極端場(chǎng)景生成技術(shù)口目前針對(duì)極端場(chǎng)景在短期和中長(zhǎng)期兩類尺度下,有不同的控制指標(biāo)及模型設(shè)計(jì)?;跅l件擴(kuò)散模型的基于條件擴(kuò)散模型的可再生能源多尺度極端場(chǎng)景生成極端數(shù)值控制常規(guī)數(shù)值控制unm極端數(shù)值控制常規(guī)數(shù)值控制unm證可控特征控制日可控生成短期序列模型結(jié)構(gòu)三極爬場(chǎng)三極爬場(chǎng)端坡景端日風(fēng)力景可控特征極端指標(biāo)可控特征極端指標(biāo)Z2特征值的分布可控生成中期序列模型結(jié)構(gòu)4.2大模型與極端場(chǎng)景生成技術(shù)口極端場(chǎng)景生成問(wèn)題主要存在以下問(wèn)題:極端場(chǎng)景樣本少深度學(xué)習(xí)模型訓(xùn)練欠擬合、極端天樣本層面問(wèn)題·數(shù)據(jù)稀缺→模型過(guò)擬合→泛化能力差解決方法P(5LPH)≤α復(fù)雜簡(jiǎn)單復(fù)雜簡(jiǎn)單正常利用大模型zero-shot/one-shot/few-樣本量少?gòu)?fù)雜過(guò)擬合正常shot生成能力,實(shí)現(xiàn)小樣本或無(wú)樣本場(chǎng)景生成。特征層面問(wèn)題·極端天氣形態(tài)復(fù)雜→特征維度多樣化·定義模糊→訓(xùn)練目標(biāo)有差異訓(xùn)練數(shù)據(jù)1利用大模型多模態(tài)數(shù)據(jù)與先驗(yàn)信息融合能力,增強(qiáng)模型泛化能力。訓(xùn)練模型1訓(xùn)練模型2訓(xùn)練數(shù)據(jù)2訓(xùn)練模型1訓(xùn)練模型2訓(xùn)練數(shù)據(jù)2極端場(chǎng)票2要求模型有:多任務(wù)學(xué)習(xí)能力遷移學(xué)習(xí)能力利用條件生成式模型(Diffusion,GAN等)定義層面問(wèn)題訓(xùn)練目綜1訓(xùn)練目標(biāo)2訓(xùn)練模型Z極端場(chǎng)景Z小樣本學(xué)習(xí)能力高泛化能力對(duì)已有定義的極端場(chǎng)景進(jìn)行樣本生成,增強(qiáng)極端場(chǎng)景樣本數(shù)據(jù)量。4.2大模型與極端場(chǎng)景生成技術(shù)口基于大模型的極端場(chǎng)景生成方法技術(shù)路線,基于大模型的zero-shot/one-shot/few-shot生成能力和多模態(tài)數(shù)據(jù)的處理能力,添加極端場(chǎng)景生成任務(wù)的提示詞,指導(dǎo)極端場(chǎng)景生成。缺失實(shí)際樣本的極端場(chǎng)景該極端樣本類別中有少量樣本(2~幾十個(gè))缺失實(shí)際樣本的極端場(chǎng)景該極端樣本類別中有少量樣本(2~幾十個(gè))one-shotzero-shotfew-shotone-shot提示詞方法模板型提示提示詞方法模板型提示物理約束提示Prompt)思維鏈提示CoT)方法描述通過(guò)格式化字符串生成提示詞,將變量格式化到提示詞模板中限定邊界條件將一個(gè)復(fù)雜問(wèn)題分解為一步一步的子問(wèn)題,讓大模型逐步參與并依次進(jìn)行求解提示詞設(shè)計(jì)“請(qǐng)生成一個(gè)多日極端低風(fēng)場(chǎng)景:時(shí)間范圍:X
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2026年閩侯縣曇石山中學(xué)第一期臨聘教師招聘?jìng)淇碱}庫(kù)及參考答案詳解1套
- 2025年中職歷史學(xué)(中國(guó)古代史綱要)試題及答案
- 2025年中職智慧健康養(yǎng)老服務(wù)(養(yǎng)老常識(shí)基礎(chǔ))試題及答案
- 2026年倉(cāng)儲(chǔ)管理(貨物防護(hù))試題及答案
- 2025年大學(xué)第二學(xué)年(精密儀器制造)技術(shù)應(yīng)用階段測(cè)試題及答案
- 2025年高職(電子信息工程技術(shù))單片機(jī)原理及應(yīng)用專項(xiàng)測(cè)試試題及答案
- 2025年大學(xué)生態(tài)工程(生態(tài)工程)試題及答案
- 2025年中職(會(huì)計(jì)電算化)電子報(bào)稅綜合技能測(cè)試試題及答案
- 2025年中職(會(huì)計(jì)信息化)財(cái)務(wù)軟件操作試題及答案
- 2025年大學(xué)農(nóng)業(yè)機(jī)械化及其自動(dòng)化(農(nóng)機(jī)智能化技術(shù))試題及答案
- 2026屆濰坊市重點(diǎn)中學(xué)高一化學(xué)第一學(xué)期期末教學(xué)質(zhì)量檢測(cè)試題含解析
- 超皮秒祛斑課件
- 2025年高爾基《童年》閱讀測(cè)試+答案
- 跟單轉(zhuǎn)正述職報(bào)告
- 移民管理警察職業(yè)精神
- 棋牌室消防安全應(yīng)急預(yù)案
- 罐體環(huán)形噴淋施工方案
- 2025年江蘇(統(tǒng)招專升本)高等數(shù)學(xué)考試試題及答案
- 保安公司安全培訓(xùn)教材課件
- 通信涉電作業(yè)安全培訓(xùn)課件
- 口腔醫(yī)護(hù)管理辦法
評(píng)論
0/150
提交評(píng)論