欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

基于A3C的微網(wǎng)優(yōu)化調(diào)度:深度強(qiáng)化學(xué)習(xí)實(shí)戰(zhàn)解析

基于A3C的微網(wǎng)優(yōu)化調(diào)度:深度強(qiáng)化學(xué)習(xí)實(shí)戰(zhàn)解析 1. 項(xiàng)目概述為什么微網(wǎng)調(diào)度開始擁抱深度強(qiáng)化學(xué)習(xí)微網(wǎng)優(yōu)化調(diào)度這個(gè)話題在電力系統(tǒng)圈子里討論了好多年。以前大家做微網(wǎng)調(diào)度基本就是建立混合整數(shù)規(guī)劃模型丟給求解器跑或者用遺傳算法、粒子群這類啟發(fā)式算法去逼近最優(yōu)解。但做著做著就發(fā)現(xiàn)一個(gè)問題真實(shí)微網(wǎng)里的光伏出力、負(fù)荷需求、電價(jià)信號(hào)全是隨機(jī)波動(dòng)的傳統(tǒng)方法要么依賴精確預(yù)測(cè)要么計(jì)算時(shí)間太長(zhǎng)跟不上實(shí)時(shí)控制的需求。尤其是當(dāng)需求響應(yīng)機(jī)制加入之后調(diào)度問題從“單目標(biāo)尋優(yōu)”變成了“多主體博弈不確定性決策”數(shù)學(xué)規(guī)劃的框架開始顯得力不從心。深度強(qiáng)化學(xué)習(xí)Deep Reinforcement Learning, DRL這幾年之所以被引入微網(wǎng)調(diào)度核心邏輯其實(shí)很簡(jiǎn)單調(diào)度本質(zhì)上是一個(gè)序貫決策問題而DRL正好是處理序貫決策的天然工具。你不需要精確建模光伏出力和負(fù)荷的概率分布只需要讓智能體在仿真環(huán)境里反復(fù)試錯(cuò)自己去學(xué)“什么狀態(tài)下該做什么動(dòng)作”的策略。這種“無(wú)模型”的特性讓微網(wǎng)調(diào)度擺脫了對(duì)預(yù)測(cè)精度的過度依賴。A3CAsynchronous Advantage Actor-Critic這個(gè)算法在微網(wǎng)調(diào)度場(chǎng)景里是個(gè)很有意思的選擇。它不是像DQN那樣只輸出動(dòng)作價(jià)值而是同時(shí)學(xué)習(xí)策略和值函數(shù)加上多線程異步采樣的設(shè)計(jì)訓(xùn)練速度比傳統(tǒng)的單線程Actor-Critic快不少。更關(guān)鍵的是A3C天然適合微網(wǎng)這種多設(shè)備并行決策的場(chǎng)景——光伏、儲(chǔ)能、可調(diào)負(fù)荷、與大電網(wǎng)交互的功率這些控制變量本身就有一定的并行性A3C的異步架構(gòu)和這種物理結(jié)構(gòu)有契合點(diǎn)。這個(gè)項(xiàng)目適合誰(shuí)參考如果你的研究方向是微網(wǎng)能量管理、需求響應(yīng)策略優(yōu)化、或者想嘗試把DRL落地到實(shí)際的調(diào)度場(chǎng)景這篇文章里拆解的建模思路、A3C實(shí)現(xiàn)細(xì)節(jié)和調(diào)試經(jīng)驗(yàn)可以直接拿過去用。我不會(huì)只講一堆原理會(huì)把我實(shí)際踩過的坑、調(diào)參過程中的教訓(xùn)一并寫出來(lái)這些才是文檔里找不到的東西。2. 調(diào)度問題這樣定義狀態(tài)空間、動(dòng)作空間與獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)邏輯2.1 從傳統(tǒng)優(yōu)化到強(qiáng)化學(xué)習(xí)問題表述的轉(zhuǎn)變先明確一下微網(wǎng)調(diào)度在干什么。一個(gè)典型微網(wǎng)包含光伏PV、儲(chǔ)能系統(tǒng)BESS、固定負(fù)荷和可調(diào)負(fù)荷通過公共連接點(diǎn)PCC與大電網(wǎng)相連。調(diào)度的目標(biāo)是在滿足負(fù)荷平衡、儲(chǔ)能SOC約束、聯(lián)絡(luò)線功率約束的前提下最小化運(yùn)行成本。傳統(tǒng)做法是把一天24小時(shí)分成96個(gè)時(shí)段15分鐘一個(gè)斷面建立優(yōu)化模型求解每個(gè)時(shí)段的設(shè)備出力。傳統(tǒng)模型寫出來(lái)大概長(zhǎng)這樣[ \min \sum_{t1}^{T} \left[ C_{grid}(P_{buy}^t) - R_{sell}(P_{sell}^t) C_{bess}(P_{dis}^t) C_{dr}(P_{shift}^t) \right] ]約束包括功率平衡、儲(chǔ)能充放電功率上下限、SOC遞推方程、聯(lián)絡(luò)線功率限制、需求響應(yīng)容量限制。這個(gè)問題本身不復(fù)雜復(fù)雜在于光伏出力預(yù)測(cè)不準(zhǔn)怎么辦電價(jià)波動(dòng)怎么應(yīng)對(duì)需求響應(yīng)用戶的行為不確定怎么辦把這個(gè)問題轉(zhuǎn)化為強(qiáng)化學(xué)習(xí)表述核心變化在于優(yōu)化變量從“每個(gè)時(shí)段的決策量”變成“策略函數(shù)”——輸入當(dāng)前狀態(tài)輸出應(yīng)該執(zhí)行的調(diào)度動(dòng)作約束條件要么嵌入動(dòng)作空間的限制用tanh或clip限制動(dòng)作范圍要么作為懲罰項(xiàng)加入獎(jiǎng)勵(lì)函數(shù)目標(biāo)函數(shù)從“最小化總成本”變成“最大化累計(jì)獎(jiǎng)勵(lì)”——把成本取負(fù)號(hào)變成獎(jiǎng)勵(lì)即可這一步轉(zhuǎn)化看起來(lái)簡(jiǎn)單實(shí)際做的時(shí)候問題很多。比如儲(chǔ)能SOC的約束如果你單純?cè)趧?dòng)作空間里限制充放電功率不考慮SOC不能越界的約束智能體很容易學(xué)會(huì)一個(gè)“先過度充電后面再猛放”的粗暴策略。2.2 狀態(tài)空間哪些信息必須進(jìn)網(wǎng)絡(luò)狀態(tài)空間的設(shè)計(jì)直接決定智能體能不能學(xué)到有效策略。我建議按照“可觀測(cè)性”來(lái)分類考慮第一類是環(huán)境狀態(tài)包括當(dāng)前時(shí)刻的光伏實(shí)際出力、負(fù)荷功率、電價(jià)。光伏出力和負(fù)荷是外部變量微網(wǎng)本身控制不了只能被動(dòng)適應(yīng)。電價(jià)如果是分時(shí)電價(jià)或者實(shí)時(shí)電價(jià)直接作為狀態(tài)輸入就行。第二類是系統(tǒng)狀態(tài)包括儲(chǔ)能SOC、聯(lián)絡(luò)線當(dāng)前交換功率、上一時(shí)刻的動(dòng)作量。儲(chǔ)能SOC是調(diào)度決策最重要的狀態(tài)變量因?yàn)樗苯蛹s束了當(dāng)前的調(diào)節(jié)能力。上一時(shí)刻的動(dòng)作量也很重要A3C這類算法需要知道“目前處于什么運(yùn)行狀態(tài)”才能做出平滑的決策——頻繁大范圍調(diào)整充放電功率對(duì)儲(chǔ)能壽命傷害很大。第三類是時(shí)間狀態(tài)包括當(dāng)前時(shí)段、星期幾、是否峰時(shí)。加這一維度的原因很簡(jiǎn)單光伏出力和負(fù)荷有很強(qiáng)的時(shí)序模式白天光伏強(qiáng)、晚上負(fù)荷高智能體需要感知“現(xiàn)在處于一天中的哪個(gè)階段”才能做出合理決策。很多初學(xué)者忽略這一維結(jié)果訓(xùn)練出來(lái)的策略在深夜還在拼命充電場(chǎng)面很滑稽。我的做法是把狀態(tài)向量組織成如下形式96時(shí)段切分每個(gè)狀態(tài)向量維度約15~20[t_week, t_hour, t_minute, PV_predict, PV_actual, load_base, load_shiftable, price, soc, pcc_power_prev, pv_actual_prev, load_actual_prev, ...]這里有個(gè)重要經(jīng)驗(yàn)環(huán)境變量做歸一化的時(shí)候一定要分類型處理。SOC本來(lái)就是0~1的不用動(dòng)功率變量按照微網(wǎng)容量基準(zhǔn)值歸一化時(shí)間變量用sin/cos編碼或者直接歸一化到0~1。如果統(tǒng)一用MinMaxScaler可能出現(xiàn)這樣的情況——電價(jià)在某些時(shí)段突然飆升歸一化后這個(gè)值變成1而其他時(shí)間都是0.2左右智能體會(huì)過度關(guān)注這一維特征學(xué)出來(lái)的策略在非尖峰時(shí)段動(dòng)作會(huì)變得很奇怪。2.3 動(dòng)作空間連續(xù)動(dòng)作比離散動(dòng)作更貼近實(shí)際微網(wǎng)調(diào)度的動(dòng)作怎么定義是一個(gè)值得認(rèn)真思考的問題。早期很多論文用的是離散動(dòng)作——把儲(chǔ)能充放電功率離散成幾個(gè)檔位比如[-50kW, -25kW, 0, 25kW, 50kW]然后用DQN類算法去做。這種方式實(shí)現(xiàn)簡(jiǎn)單但和實(shí)際調(diào)度需求有差距。實(shí)際調(diào)度中儲(chǔ)能充放電功率是一個(gè)連續(xù)變量PCC交換功率也是連續(xù)變量。你不可能真的讓儲(chǔ)能要么滿功率充電要么完全停掉。所以這個(gè)項(xiàng)目我堅(jiān)持用連續(xù)動(dòng)作空間A3C天然支持連續(xù)動(dòng)作——Actor網(wǎng)絡(luò)的輸出層用tanh激活函數(shù)把動(dòng)作限制在[-1, 1]區(qū)間再乘上動(dòng)作幅值映射到實(shí)際物理功率。動(dòng)作向量的定義# 動(dòng)作向量[儲(chǔ)能充電功率(負(fù)值/正值), 儲(chǔ)能放電功率, 與電網(wǎng)交互功率(正買負(fù)賣), 需求響應(yīng)可調(diào)負(fù)荷縮減比例] # 經(jīng)過tanh映射到[-1,1]再乘以對(duì)應(yīng)容量 action_bess action[0] * P_bess_max # 儲(chǔ)能功率 action_pcc action[1] * P_pcc_max # 聯(lián)絡(luò)線功率 action_dr (action[2] 1) / 2 # 需求響應(yīng)比例映射到[0,1]這個(gè)設(shè)計(jì)好在哪它把儲(chǔ)能、聯(lián)絡(luò)線、需求響應(yīng)三個(gè)決策通道解耦了——每個(gè)通道有獨(dú)立的控制權(quán)限智能體可以單獨(dú)調(diào)節(jié)。實(shí)際工程中微網(wǎng)控制器也是這樣分層設(shè)計(jì)的EMS層下發(fā)每個(gè)設(shè)備的功率指令設(shè)備層執(zhí)行。這種解耦方式讓A3C的訓(xùn)練更穩(wěn)定因?yàn)椴煌ǖ赖膭?dòng)作對(duì)獎(jiǎng)勵(lì)的影響尺度差異很大電價(jià)成本是萬(wàn)元級(jí)別的SOC約束懲罰可能是千元級(jí)別混在一起學(xué)容易互相干擾。2.4 需求響應(yīng)怎么建模價(jià)格型與激勵(lì)型的取舍需求響應(yīng)Demand Response, DR在微網(wǎng)調(diào)度里不是可選項(xiàng)而是重要的調(diào)節(jié)資源。我在項(xiàng)目里做了兩種建模方式的對(duì)比價(jià)格型需求響應(yīng)Price-based DR——用戶根據(jù)電價(jià)變化自動(dòng)調(diào)整用電行為。你在微網(wǎng)里不直接控制用戶負(fù)荷只是通過分時(shí)電價(jià)引導(dǎo)用戶削峰填谷。這種DR在強(qiáng)化學(xué)習(xí)框架里不需要額外的動(dòng)作變量電價(jià)本身就是狀態(tài)輸入的一部分智能體通過感知電價(jià)來(lái)自動(dòng)優(yōu)化儲(chǔ)能策略間接實(shí)現(xiàn)DR效果。激勵(lì)型需求響應(yīng)Incentive-based DR——微網(wǎng)運(yùn)營(yíng)商和用戶簽訂合同在特定條件下直接削減或轉(zhuǎn)移負(fù)荷。這種DR需要額外的動(dòng)作變量——可調(diào)負(fù)荷的削減比例。項(xiàng)目里我采用了這種方式因?yàn)樗男Ч苯右哺菀讓戇M(jìn)獎(jiǎng)勵(lì)函數(shù)里。需求響應(yīng)建模的具體做法定義可調(diào)負(fù)荷集合比如空調(diào)、熱水器、部分工業(yè)負(fù)荷每個(gè)時(shí)段智能體決定削減比例( r_{dr} \in [0, 1] )。削減負(fù)荷需要支付補(bǔ)償費(fèi)用合同約定的單位補(bǔ)償價(jià)格同時(shí)會(huì)帶來(lái)用戶舒適度損失。獎(jiǎng)勵(lì)函數(shù)里這兩項(xiàng)都要體現(xiàn)否則智能體會(huì)發(fā)現(xiàn)“削減負(fù)荷能省錢”就瘋狂削減完全不考慮用戶體驗(yàn)。我強(qiáng)烈建議在DR建模時(shí)加入補(bǔ)償成本系數(shù)并且把它設(shè)置在“比從電網(wǎng)買電便宜、但比光伏發(fā)電成本高”的區(qū)間。這樣智能體才會(huì)在合理的時(shí)機(jī)使用DR而不是濫用它。2.5 獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)直接成本與懲罰項(xiàng)的平衡藝術(shù)獎(jiǎng)勵(lì)函數(shù)是強(qiáng)化學(xué)習(xí)里最影響訓(xùn)練效果的部分。我的設(shè)計(jì)思路是主獎(jiǎng)勵(lì)項(xiàng)用真實(shí)物理量懲罰項(xiàng)用軟約束替代硬約束。主獎(jiǎng)勵(lì)項(xiàng)很好理解就是運(yùn)行成本的負(fù)值[ R_{cost} - \left[ \text{購(gòu)電費(fèi)用} - \text{售電收入} \text{DR補(bǔ)償} \text{儲(chǔ)能老化成本} \right] ]儲(chǔ)能老化成本很多人忽略但它對(duì)策略學(xué)習(xí)非常關(guān)鍵。如果你在獎(jiǎng)勵(lì)函數(shù)里不加電池老化懲罰智能體學(xué)到的策略一定是高頻次深度充放電——因?yàn)閺某杀咀钚』慕嵌瓤瓷疃确烹娔軠p少購(gòu)電但會(huì)嚴(yán)重縮短電池壽命。我在項(xiàng)目里用一個(gè)二次函數(shù)近似老化成本# 簡(jiǎn)化老化模型充放電深度越大、變化率越大老化越快 aging_cost alpha * (abs(soc_new - soc_old) / dt) beta * (soc_new - soc_mid) ** 2懲罰項(xiàng)處理的是約束違約。儲(chǔ)能SOC越界、聯(lián)絡(luò)線功率越限、功率不平衡這些情況如果直接做硬約束——即動(dòng)作采樣時(shí)強(qiáng)制clip——會(huì)導(dǎo)致梯度信息斷裂智能體不知道“為什么這個(gè)動(dòng)作不行”。更好的方式是把約束違約定義為平滑的懲罰項(xiàng)# SOC越界懲罰距離邊界越遠(yuǎn)懲罰越大 soc_penalty lambda_1 * max(0, soc_min - soc_new) ** 2 lambda_1 * max(0, soc_new - soc_max) ** 2 # 功率平衡懲罰 balance_penalty lambda_2 * (pv_power pcc_power bess_power - load_total) ** 2注意懲罰系數(shù)不要設(shè)得太大。我一開始把懲罰系數(shù)設(shè)成10000結(jié)果智能體完全不敢靠近約束邊界行動(dòng)儲(chǔ)能的調(diào)節(jié)能力被浪費(fèi)了。后面把系數(shù)調(diào)到100左右效果反而更好——智能體在邊界附近小幅試探學(xué)會(huì)了“貼著約束跑”的激進(jìn)策略。這個(gè)調(diào)參過程建議自己多做幾次實(shí)驗(yàn)對(duì)比不同的微網(wǎng)拓?fù)洹⒉煌脑O(shè)備容量最優(yōu)懲罰系數(shù)差異會(huì)很大。3. A3C算法在微網(wǎng)調(diào)度場(chǎng)景中的適配與實(shí)現(xiàn)細(xì)節(jié)3.1 為什么選A3C多線程異步帶來(lái)的探索效率提升先說結(jié)論A3C不是微網(wǎng)調(diào)度里唯一的DRL選擇DQN、DDPG、PPO都有論文做過相關(guān)實(shí)驗(yàn)。但A3C在某些維度上確實(shí)更適合微網(wǎng)調(diào)度這個(gè)場(chǎng)景。第一點(diǎn)探索效率。微網(wǎng)調(diào)度環(huán)境的狀態(tài)條件是連續(xù)變化的——光伏出力是一個(gè)隨時(shí)間平滑變化的曲線不是跳變的。這意味著相鄰時(shí)段的調(diào)度決策有很強(qiáng)的相關(guān)性探索空間是“連通”的。A3C的異步架構(gòu)讓多個(gè)worker從不同的初始狀態(tài)開始并行探索每個(gè)worker的探索軌跡相當(dāng)于給主網(wǎng)絡(luò)提供了多樣化的經(jīng)驗(yàn)。這個(gè)特性在微網(wǎng)場(chǎng)景里特別有用——不同worker可能分別遇到“光伏滿發(fā)”“負(fù)荷尖峰”“電價(jià)飆升”等不同運(yùn)行狀態(tài)主網(wǎng)絡(luò)能更快覆蓋到整個(gè)狀態(tài)空間。第二點(diǎn)穩(wěn)定性和可擴(kuò)展性。A3C的Actor-Critic結(jié)構(gòu)自帶方差削減機(jī)制優(yōu)勢(shì)函數(shù)配合N步回報(bào)n-step return做偏差方差均衡在連續(xù)控制問題上比DQN類方法穩(wěn)定得多。而且A3C的多worker設(shè)計(jì)天然適合分布式部署——如果你有多臺(tái)機(jī)器可以把worker分不到不同機(jī)器上各自模擬不同的微網(wǎng)場(chǎng)景比如一個(gè)模擬夏季工況、一個(gè)模擬冬季工況然后統(tǒng)一把梯度匯總到全局參數(shù)服務(wù)器。這種擴(kuò)展方式在微網(wǎng)研究中很有價(jià)值因?yàn)槲⒕W(wǎng)工況隨季節(jié)和氣候差異很大單一訓(xùn)練環(huán)境容易過擬合。當(dāng)然A3C也不是沒有短板。它的訓(xùn)練穩(wěn)定性比PPO差一些異步更新容易導(dǎo)致策略波動(dòng)對(duì)超參數(shù)也更敏感。如果你時(shí)間充裕建議把PPO也跑一遍做對(duì)比報(bào)告里寫上兩種算法的收斂曲線對(duì)比工作量不大但效果很好。3.2 算法核心機(jī)制拆解Actor、Critic與優(yōu)勢(shì)函數(shù)A3C是Actor-Critic家族的典型代表包含兩個(gè)網(wǎng)絡(luò)Actor網(wǎng)絡(luò)策略網(wǎng)絡(luò)——輸入狀態(tài)輸出動(dòng)作的分布參數(shù)。連續(xù)動(dòng)作空間下通常假設(shè)動(dòng)作服從正態(tài)分布Actor輸出均值和方差。方差可以固定訓(xùn)練初期大、后期減小也可以讓網(wǎng)絡(luò)自己學(xué)習(xí)方差的大小——后者更靈活但更容易出現(xiàn)訓(xùn)練震蕩。Critic網(wǎng)絡(luò)值函數(shù)網(wǎng)絡(luò)——輸入狀態(tài)輸出狀態(tài)價(jià)值估計(jì)。Critic的任務(wù)是評(píng)估“在當(dāng)前狀態(tài)下按當(dāng)前策略走能獲得多少期望回報(bào)”。兩個(gè)網(wǎng)絡(luò)共享前幾層特征提取層比如兩層128維的全連接層然后分叉為兩個(gè)輸出頭。共享特征的好處是減少參數(shù)、提升特征利用率壞處是兩個(gè)任務(wù)的梯度會(huì)互相干擾。微網(wǎng)調(diào)度這個(gè)場(chǎng)景狀態(tài)維度不高幾十維特征提取不難共享網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)勢(shì)大于劣勢(shì)。訓(xùn)練公式核心就兩個(gè)優(yōu)勢(shì)函數(shù)Advantage[ A(s_t, a_t) \sum_{i0}^{n-1} \gamma^i r_{ti} \gamma^n V(s_{tn}) - V(s_t) ]Actor損失[ L_{actor} - \log \pi(a_t|s_t) \cdot A(s_t, a_t) - \beta \cdot H(\pi(\cdot|s_t)) ]Critic損失MSE[ L_{critic} (R_t - V(s_t))^2 ]第一項(xiàng)是策略梯度第二項(xiàng)是熵正則項(xiàng)作用是鼓勵(lì)探索——如果熵太小策略會(huì)過早收斂到一個(gè)局部最優(yōu)動(dòng)作后續(xù)探索不足。微網(wǎng)調(diào)度場(chǎng)景里熵系數(shù)beta一般設(shè)0.01~0.1太大策略太隨機(jī)太小策略太貪婪。3.3 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)與關(guān)鍵代碼實(shí)現(xiàn)我用的是三層結(jié)構(gòu)兩層全連接ReLU層128神經(jīng)元 輸出層。Actor輸出層是兩個(gè)頭——?jiǎng)幼骶祎anh激活和動(dòng)作方差softplus激活。Critic輸出層是單神經(jīng)元線性激活。學(xué)習(xí)率設(shè)1e-4Actor和2e-4CriticRMSProp優(yōu)化器微網(wǎng)調(diào)度任務(wù)不需要Adam那種自適應(yīng)矩估計(jì)那么強(qiáng)的調(diào)整能力RMSProp足夠還很穩(wěn)定。下面是核心代碼骨架我盡量精簡(jiǎn)但保持完整邏輯import torch import torch.nn as nn import torch.nn.functional as F import numpy as np class ActorCritic(nn.Module): def __init__(self, state_dim, action_dim, hidden128): super().__init__() # 共享特征層 self.fc1 nn.Linear(state_dim, hidden) self.fc2 nn.Linear(hidden, hidden) # Actor輸出頭 self.actor_mean nn.Linear(hidden, action_dim) self.actor_logstd nn.Parameter(torch.zeros(action_dim)) # Critic輸出頭 self.critic nn.Linear(hidden, 1) def forward(self, x): x F.relu(self.fc1(x)) x F.relu(self.fc2(x)) return x def act(self, state): x self.forward(state) mean torch.tanh(self.actor_mean(x)) std torch.exp(self.actor_logstd) dist torch.distributions.Normal(mean, std) action dist.sample() log_prob dist.log_prob(action).sum(dim-1) return action, log_prob def evaluate(self, state, action): x self.forward(state) mean torch.tanh(self.actor_mean(x)) std torch.exp(self.actor_logstd) dist torch.distributions.Normal(mean, std) log_prob dist.log_prob(action).sum(dim-1) entropy dist.entropy().sum(dim-1) value self.critic(x).squeeze(-1) return log_prob, entropy, value這里有個(gè)細(xì)節(jié)值得提一下我把Actor的logstd設(shè)成了可訓(xùn)練參數(shù)而不是固定值。這樣做的原因是微網(wǎng)調(diào)度不同通道的動(dòng)作儲(chǔ)能功率、聯(lián)絡(luò)線功率、DR比例量綱和合理波動(dòng)范圍差異很大固定方差不合適。儲(chǔ)能功率的合理波動(dòng)可能是幾十千瓦的量級(jí)DR比例波動(dòng)是0.05左右的量級(jí)方差如果共享訓(xùn)練會(huì)很別扭??捎?xùn)練的方差參數(shù)讓每個(gè)通道自己學(xué)一個(gè)合適的探索強(qiáng)度。3.4 Worker設(shè)計(jì)與全局參數(shù)同步機(jī)制A3C的靈魂在“異步”。每個(gè)Worker獨(dú)立運(yùn)行一個(gè)微網(wǎng)仿真環(huán)境獨(dú)立采樣和計(jì)算梯度然后把梯度推送到全局模型。我用Python的multiprocessing實(shí)現(xiàn)多進(jìn)程而不是多線程——因?yàn)槲⒕W(wǎng)仿真環(huán)境里有大量數(shù)值計(jì)算多線程在GIL下發(fā)揮不出多核優(yōu)勢(shì)。def worker_process(worker_id, global_model, optimizer, env_config, max_episodes): # 每個(gè)worker創(chuàng)建自己的本地模型副本 local_model ActorCritic(env_config[state_dim], env_config[action_dim]) local_model.share_memory() # 共享內(nèi)存允許高效參數(shù)同步 env MicroGridEnv(env_config) for episode in range(max_episodes): state env.reset() done False episode_reward 0 # 軌跡緩存 states, actions, rewards, next_states, dones [], [], [], [], [] while not done: action, log_prob local_model.act(torch.FloatTensor(state).unsqueeze(0)) next_state, reward, done, info env.step(action.numpy().squeeze()) states.append(state); actions.append(action) rewards.append(reward); next_states.append(next_state); dones.append(done) state next_state episode_reward reward # 累積到T_max步或終止時(shí)計(jì)算梯度和更新 if len(states) T_max or done: update_global_model(local_model, global_model, optimizer, states, actions, rewards, next_states, dones) # 更新后同步參數(shù)到本地 local_model.load_state_dict(global_model.state_dict()) states, actions, rewards, next_states, dones [], [], [], [], []關(guān)鍵點(diǎn)是Worker不是每一步都更新全局參數(shù)而是攢夠一定步數(shù)T_max才推一次梯度。T_max我設(shè)的是20相當(dāng)于5小時(shí)15分鐘一個(gè)斷面。這個(gè)值太大策略更新滯后太小通信開銷大。20在實(shí)際運(yùn)行中效果不錯(cuò)你可以試試16~32的范圍。3.5 微網(wǎng)仿真環(huán)境搭建Gym接口與物理約束處理仿真環(huán)境是整個(gè)項(xiàng)目的地基。我基于OpenAI Gym的接口規(guī)范寫了一個(gè)MicroGridEnv類之所以用Gym標(biāo)準(zhǔn)接口是為了后續(xù)可以無(wú)縫對(duì)接其他DRL框架Stable-Baselines3等也方便在多個(gè)算法之間做對(duì)比實(shí)驗(yàn)。class MicroGridEnv(gym.Env): def __init__(self, config): super().__init__() self.dt 0.25 # 15分鐘一個(gè)調(diào)度斷面 self.horizon 96 # 一天96個(gè)時(shí)段 self.pv_capacity config[pv_capacity] # 光伏裝機(jī)容量 self.bess_capacity config[bess_capacity] # 儲(chǔ)能容量kWh self.bess_power config[bess_power] # 儲(chǔ)能最大充放電功率kW self.pcc_max config[pcc_max] # 聯(lián)絡(luò)線最大功率 # 狀態(tài)空間維度 20 self.observation_space spaces.Box(low-np.inf, highnp.inf, shape(20,)) # 動(dòng)作空間 3維連續(xù) self.action_space spaces.Box(low-1, high1, shape(3,)) self.reset() def step(self, action): # 解析動(dòng)作 bess_power action[0] * self.bess_power pcc_power action[1] * self.pcc_max dr_ratio (action[2] 1) / 2 # [0, 1] # 應(yīng)用需求響應(yīng)可調(diào)負(fù)荷按比例削減 self.load_actual self.load_base self.load_shiftable * (1 - dr_ratio) # 功率平衡計(jì)算 balance self.pv_power pcc_power bess_power - self.load_actual # 更新儲(chǔ)能SOC if bess_power 0: # 放電 soc_new self.soc - bess_power * self.dt / self.bess_capacity * eff_dis else: # 充電 soc_new self.soc - bess_power * self.dt / self.bess_capacity / eff_chg # 計(jì)算成本 cost self.compute_cost(pcc_power, dr_ratio, soc_new) reward -cost # 更新狀態(tài) self.soc np.clip(soc_new, self.soc_min, self.soc_max) self.t 1 done self.t self.horizon return self._get_state(), reward, done, {cost: cost}環(huán)境搭建要注意的細(xì)節(jié)很多我挑重要的說第一功率平衡約束。我在step里計(jì)算了balance這個(gè)變量但沒有直接用它來(lái)強(qiáng)制約束動(dòng)作——而是把它加入懲罰項(xiàng)。為什么強(qiáng)約束會(huì)切斷智能體的學(xué)習(xí)信號(hào)如果pcc功率稍微越界就直接clip成邊界值智能體學(xué)不到“為什么越界”只會(huì)盲目調(diào)節(jié)。軟懲罰讓智能體自己權(quán)衡“越界多少懲罰多大、其他收益多大”學(xué)出來(lái)的策略更有彈性。第二儲(chǔ)能SOC初始值。我做了隨機(jī)初始化——SOC初始值在[0.3, 0.7]之間均勻隨機(jī)采樣。這樣做的好處是讓智能體經(jīng)歷不同的儲(chǔ)能狀態(tài)起點(diǎn)避免總是從滿電狀態(tài)開始訓(xùn)練導(dǎo)致策略對(duì)SOC不敏感。實(shí)際運(yùn)行中也確實(shí)發(fā)現(xiàn)隨機(jī)初始化后訓(xùn)練出的策略對(duì)SOC的感知能力更強(qiáng)——光伏大發(fā)時(shí)會(huì)主動(dòng)多充電、電價(jià)尖峰時(shí)會(huì)主動(dòng)放電而不是只依賴當(dāng)前時(shí)段的電價(jià)做決策。第三負(fù)荷數(shù)據(jù)的處理方式。真實(shí)負(fù)荷和光伏數(shù)據(jù)是帶有明顯周期性和季節(jié)性的如果只用一段固定數(shù)據(jù)訓(xùn)練策略會(huì)過擬合到這段數(shù)據(jù)上。我用3~5年的歷史數(shù)據(jù)切片每個(gè)episode隨機(jī)抽取一天開始訓(xùn)練。這個(gè)方法在強(qiáng)化學(xué)習(xí)里叫“domain randomization”在微網(wǎng)場(chǎng)景里非常有效。4. 實(shí)操過程訓(xùn)練、評(píng)測(cè)與參數(shù)調(diào)優(yōu)全流程4.1 數(shù)據(jù)準(zhǔn)備與場(chǎng)景設(shè)計(jì)項(xiàng)目用的是某園區(qū)微網(wǎng)的歷史運(yùn)行數(shù)據(jù)包含一年8760小時(shí)的負(fù)荷和光伏數(shù)據(jù)。數(shù)據(jù)切片成15分鐘粒度即每天96個(gè)斷面。數(shù)據(jù)預(yù)處理三個(gè)階段第一階段是清洗。負(fù)荷和光伏數(shù)據(jù)有缺失值和異常值采集設(shè)備故障、通信中斷——用前后時(shí)段插值異常值超過設(shè)備容量2倍以上的數(shù)據(jù)點(diǎn)、負(fù)值負(fù)荷等直接剔除后插值。第二階段是縮放。負(fù)荷和光伏數(shù)據(jù)按照微網(wǎng)容量基準(zhǔn)值歸一化到[-1, 1]或[0, 1]區(qū)間。歸一化基準(zhǔn)要統(tǒng)一——都用微網(wǎng)額定容量做基準(zhǔn)不要分別用負(fù)荷最大值和光伏最大值做歸一化否則狀態(tài)向量各維度的尺度不一致網(wǎng)絡(luò)訓(xùn)練會(huì)很吃力。第三階段是構(gòu)建不同的運(yùn)行場(chǎng)景。我把數(shù)據(jù)分成三類訓(xùn)練場(chǎng)景春夏秋冬各取若干天、測(cè)試場(chǎng)景與訓(xùn)練場(chǎng)景完全不同月份的若干天、壓力測(cè)試場(chǎng)景極端天氣日比如連續(xù)陰雨天、極端高溫日。這樣的設(shè)計(jì)是必要的——訓(xùn)練集用來(lái)學(xué)策略測(cè)試集用來(lái)驗(yàn)證泛化能力壓力測(cè)試看看策略在極端工況下會(huì)不會(huì)崩。4.2 訓(xùn)練過程記錄與收斂性分析訓(xùn)練跑了大約5000個(gè)episode每個(gè)worker 1000個(gè)episode5個(gè)worker并行單機(jī)8核CPU跑了大約3個(gè)小時(shí)。以下是訓(xùn)練過程中的關(guān)鍵觀察記錄第1~500個(gè)episode獎(jiǎng)勵(lì)非常低且震蕩劇烈。智能體在探索階段經(jīng)常出現(xiàn)“亂充亂放”的行為——連著幾個(gè)時(shí)段大功率充電光伏出力又不足只能高價(jià)從電網(wǎng)買電成本極高。這個(gè)階段是正常的不要過早判斷策略好壞也不要在這個(gè)階段調(diào)參。第500~2000個(gè)episode獎(jiǎng)勵(lì)逐步上升震蕩幅度收窄。智能體開始學(xué)會(huì)一些基本的規(guī)則光伏大發(fā)時(shí)充電、電價(jià)低時(shí)購(gòu)電充電、電價(jià)高時(shí)放電。儲(chǔ)能SOC曲線開始變得合理。第2000~5000個(gè)episode獎(jiǎng)勵(lì)趨于平穩(wěn)震蕩幅度進(jìn)一步收窄。策略基本穩(wěn)定儲(chǔ)能SOC曲線基本遵循“白天光伏充電、傍晚高峰放電、夜間低價(jià)充電”的合理模式。DR削減率在電尖峰時(shí)段提高在平時(shí)時(shí)段基本接近零。在論文寫作或報(bào)告匯報(bào)時(shí)建議不要只畫一條Reward曲線。更好的做法是匯總?cè)齻€(gè)指標(biāo)累計(jì)成本、儲(chǔ)能SOC的均值和方差、DR削減率隨電價(jià)的變化關(guān)系。這三個(gè)指標(biāo)分別對(duì)應(yīng)經(jīng)濟(jì)性、安全性、需求響應(yīng)效果評(píng)審專家看到這些才覺得你的工作扎實(shí)。4.3 關(guān)鍵超參數(shù)effect一覽一份可以直接抄的調(diào)參表A3C的超參數(shù)對(duì)訓(xùn)練效果影響很大而且不同環(huán)境最優(yōu)值差異很大。我把自己實(shí)驗(yàn)過的參數(shù)整理成表格注意這只是一個(gè)合理的起點(diǎn)不是最優(yōu)解。超參數(shù)推薦值對(duì)訓(xùn)練的影響我的調(diào)試經(jīng)驗(yàn)學(xué)習(xí)率Actor1e-4過大策略震蕩過小收斂慢Actor和Critic學(xué)習(xí)率分開設(shè)Critic可以稍大學(xué)習(xí)率Critic2e-4同上分開設(shè)比共用一個(gè)值穩(wěn)定T_max更新步數(shù)20太短更新頻繁太長(zhǎng)延遲大對(duì)應(yīng)5小時(shí)調(diào)度周期物理語(yǔ)義合理熵系數(shù)0.02太大策略太隨機(jī)太小過早收斂可以訓(xùn)練后期逐步減小折扣因子γ0.99影響遠(yuǎn)期回報(bào)的權(quán)重0.99適合天級(jí)調(diào)度如果做小時(shí)級(jí)可以設(shè)0.95懲罰系數(shù)λ100約束違約懲罰力度需要根據(jù)儲(chǔ)能容量、電價(jià)水平動(dòng)態(tài)調(diào)整Worker數(shù)量4~8探索多樣性過多會(huì)導(dǎo)致梯度更新競(jìng)爭(zhēng)加劇不一定更快收斂歸一化方法分通道歸一化防止不同量綱干擾SOC用原始值功率按容量歸一電價(jià)按峰值歸一學(xué)習(xí)率這一列重點(diǎn)說說。A3C的異步機(jī)制對(duì)學(xué)習(xí)率特別敏感——如果學(xué)習(xí)率太大某個(gè)worker推上來(lái)的梯度可能大幅更新全局參數(shù)導(dǎo)致其他worker還在用舊策略采樣出現(xiàn)“策略滯后”的惡性循環(huán)。我一開始用5e-4訓(xùn)練到2000個(gè)episode時(shí)發(fā)現(xiàn)損失函數(shù)震蕩得像心電圖一樣調(diào)低到1e-4才穩(wěn)定下來(lái)。這個(gè)經(jīng)驗(yàn)在換個(gè)場(chǎng)景、換組數(shù)據(jù)時(shí)大概率還會(huì)遇到先調(diào)學(xué)習(xí)率再做別的調(diào)參動(dòng)作。4.4 訓(xùn)練過程中的“觀察指標(biāo)法”怎么判斷策略在變好強(qiáng)化學(xué)習(xí)調(diào)試最難受的地方是Reward曲線看著在上升但你不知道策略是否真的合理。畢竟在微網(wǎng)調(diào)度里Reward是成本的負(fù)值如果環(huán)境里電價(jià)普遍上漲了Reward下降不代表策略變差了。我總結(jié)了一套“觀察指標(biāo)法”來(lái)輔助判斷策略質(zhì)量第一看SOC曲線走勢(shì)。訓(xùn)練到后期每一輪episode的SOC曲線應(yīng)該是平滑的“扣碗形”——白天充電SOC升高、傍晚SOC在高位、夜間放電SOC降低。如果SOC曲線還在上躥下跳說明策略還不穩(wěn)定。第二看PCC交互功率的頻次。合理策略下PCC功率變化不該太頻繁因?yàn)轭l繁改變購(gòu)售電狀態(tài)會(huì)帶來(lái)額外的交易成本。如果PCC功率在相鄰時(shí)段來(lái)回翻轉(zhuǎn)一會(huì)兒買電一會(huì)兒賣電說明策略在“抖”——通常是因?yàn)楠?jiǎng)勵(lì)函數(shù)里的成本項(xiàng)權(quán)重不夠策略對(duì)微小的電價(jià)差異過度敏感。第三看DR削減率與電價(jià)的相關(guān)性。好的策略應(yīng)該是“電價(jià)越高削減越多”而且峰值時(shí)段的削減比例與平谷時(shí)段之間有明顯差異。如果DR削減率在全天都差不多說明智能體沒學(xué)會(huì)“看價(jià)格行事”。這三個(gè)指標(biāo)配合Reward曲線判斷比只看Reward可靠得多。我建議把這些指標(biāo)可視化出來(lái)——畫在一張多子圖的圖里訓(xùn)練過程實(shí)時(shí)刷新一跑就停不下來(lái)。5. 常見問題與排查技巧實(shí)錄5.1 訓(xùn)練不收斂原因和解決方案訓(xùn)練不收斂是DRL項(xiàng)目最常遇到的問題你們跑來(lái)問我的十有八九是這個(gè)。微網(wǎng)調(diào)度場(chǎng)景里不收斂的原因最大的嫌疑就是以下幾個(gè)方面第一個(gè)原因是獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)不合理。比如成本量級(jí)和懲罰量級(jí)差距過大——購(gòu)電成本幾萬(wàn)元SOC越界懲罰只有幾十——智能體根本感知不到約束懲罰的存在自然學(xué)不出安全的策略。解法把懲罰項(xiàng)系數(shù)調(diào)大或者把成本也歸一化到合理量級(jí)。第二個(gè)原因探索噪聲過大。A3C的動(dòng)作采樣自帶噪聲正態(tài)分布的方差如果方差參數(shù)初始值設(shè)得太大智能體在一個(gè)已經(jīng)很經(jīng)濟(jì)的動(dòng)作附近反復(fù)大幅波動(dòng)導(dǎo)致訓(xùn)練震蕩。解法把Actor的logstd初始值從0改為-2相當(dāng)于初始標(biāo)準(zhǔn)差約0.13探索溫和一些。第三個(gè)原因是狀態(tài)特征沒有被充分觀測(cè)。比如你忘了把“是否工作日”這個(gè)特征放進(jìn)狀態(tài)里智能體就無(wú)法區(qū)分工作日和周末的負(fù)荷模式差異策略只能在兩種模式之間取一個(gè)“折中方案”。解法審視狀態(tài)空間把所有影響調(diào)度決策的已知變量都放進(jìn)去哪怕你覺得“這個(gè)變量大概率沒用”——有它沒它做個(gè)消融實(shí)驗(yàn)再下結(jié)論。5.2 策略學(xué)出壞習(xí)慣過早收斂到局部最優(yōu)有一種情況是訓(xùn)練指標(biāo)看起來(lái)挺好的Reward在穩(wěn)步上升但在仿真測(cè)試?yán)锉憩F(xiàn)很差——常見原因是策略過早收斂到了局部最優(yōu)。微網(wǎng)調(diào)度里的典型局部最優(yōu)是“在所有時(shí)段都用最小購(gòu)電量的策略”。這個(gè)策略在電價(jià)平穩(wěn)或者光伏充足時(shí)很有效但遇到極端天氣連續(xù)陰雨、負(fù)荷尖峰就完全不行。為什么因?yàn)橛?xùn)練數(shù)據(jù)里極端工況出現(xiàn)次數(shù)少智能體過早把大量權(quán)重放在了優(yōu)化常規(guī)工況上極端工況的樣本還沒來(lái)得及影響策略就“來(lái)不及了”。解法有兩個(gè)方向。方向一是修改訓(xùn)練數(shù)據(jù)的采樣方式——不要純隨機(jī)抽取歷史天而是按比例人工“過采樣”極端工況的樣本比如把陰雨天、極熱天的數(shù)據(jù)占比從天然比例約10%提升到30%。方向二是調(diào)整熵系數(shù)——訓(xùn)練前半段用較大的熵系數(shù)0.05鼓勵(lì)充分探索后半段逐步降到0.005讓策略收斂。這種“探索-利用”退火策略雖然簡(jiǎn)單但非常有效。5.3 多工人訓(xùn)練效率低瓶頸往往是環(huán)境交互另一個(gè)常見問題是多worker訓(xùn)練提速不明顯。加了8個(gè)worker訓(xùn)練時(shí)間只快了1.5倍U盤被黃瓜卡位了排查后發(fā)現(xiàn)瓶頸往往不在網(wǎng)絡(luò)更新而在環(huán)境交互——MicroGridEnv.step()函數(shù)里如果有大量Python循環(huán)或非向量化的計(jì)算每個(gè)worker都慢吞吞地跑并行度再高也白搭。優(yōu)化方法有幾個(gè)層次第一層把環(huán)境交互中重復(fù)計(jì)算的部分提取出來(lái)——比如負(fù)荷插值、太陽(yáng)能代入模型這些操作可以在環(huán)境初始化時(shí)預(yù)計(jì)算好step里直接用查表的方式取數(shù)據(jù)。這一步就能把環(huán)境交互耗時(shí)降低50%以上。第二層用numpy批量向量化替代Python循環(huán)。比如計(jì)算成本函數(shù)時(shí)不要一個(gè)時(shí)段一個(gè)時(shí)段地循環(huán)用numpy數(shù)組一次性算完——代碼長(zhǎng)一點(diǎn)但速度差距巨大。第三層如果環(huán)境本身很復(fù)雜比如調(diào)用了外部潮流計(jì)算工具考慮簡(jiǎn)化模型——用線性化的潮流近似替代完整潮流計(jì)算。微網(wǎng)調(diào)度的核心收益函數(shù)并不需要非常精確的潮流結(jié)果用近似模型訓(xùn)練策略再用完整模型做驗(yàn)證這是工業(yè)界很常見也推薦的思路。5.4 測(cè)試集上表現(xiàn)差泛化能力提升三板斧訓(xùn)練時(shí)Reward收斂很好一換測(cè)試集不同的月份、不同的天氣條件效果大幅下降——這是典型的泛化問題。微網(wǎng)調(diào)度場(chǎng)景里泛化能力差的核心原因往往是環(huán)境數(shù)據(jù)分布與訓(xùn)練數(shù)據(jù)分布不一致。解決方案三板斧第一板斧是數(shù)據(jù)擴(kuò)充。除了歷史數(shù)據(jù)用統(tǒng)計(jì)模型生成更多合成場(chǎng)景——比如基于歷史數(shù)據(jù)擬合分布用蒙特卡洛采樣生成大量“看似真實(shí)但未發(fā)生過”的光伏出力和負(fù)荷序列。這些合成數(shù)據(jù)可以極大擴(kuò)充訓(xùn)練集的分布覆蓋范圍。第二板斧是域隨機(jī)化。在訓(xùn)練過程中隨機(jī)調(diào)整環(huán)境參數(shù)——比如光伏出力在原始數(shù)據(jù)的±10%范圍內(nèi)隨機(jī)擾動(dòng)、負(fù)荷在±5%范圍內(nèi)隨機(jī)擾動(dòng)、電價(jià)在±5%內(nèi)擾動(dòng)。這樣一來(lái)智能體學(xué)到的是對(duì)參數(shù)變化不敏感的策略而不是對(duì)特定參數(shù)值“過擬合”的策略。第三板斧是離線評(píng)估法。不要只用一個(gè)測(cè)試集而是構(gòu)建多個(gè)不同分布的測(cè)試集——光照充足的夏季數(shù)據(jù)集、光照不足的冬季數(shù)據(jù)集、高負(fù)荷的過渡季數(shù)據(jù)集——分別評(píng)估策略在各數(shù)據(jù)集上的表現(xiàn)。只有通過多個(gè)不同工況的考核你的策略才算“真的學(xué)會(huì)”了微網(wǎng)調(diào)度。6. 項(xiàng)目延伸與改進(jìn)方向6.1 從單微網(wǎng)走向多微網(wǎng)協(xié)同單微網(wǎng)的調(diào)度策略解決了下一個(gè)順理成章的方向是多微網(wǎng)協(xié)同調(diào)度。多個(gè)微網(wǎng)通過配電網(wǎng)相連時(shí)每個(gè)微網(wǎng)既有本地優(yōu)化目標(biāo)最小化自身運(yùn)行成本又需要和鄰居微網(wǎng)協(xié)調(diào)功率互濟(jì)、共享備用容量。用A3C可以做一個(gè)分布式架構(gòu)每個(gè)微網(wǎng)部署一個(gè)Actor網(wǎng)絡(luò)各自做本地決策通過共享網(wǎng)絡(luò)參數(shù)或通信機(jī)制實(shí)現(xiàn)協(xié)調(diào)。這個(gè)方向我試驗(yàn)過初步版本效果比單獨(dú)優(yōu)化然后“各管各的”好——儲(chǔ)能和DR的調(diào)節(jié)資源可以在不同微網(wǎng)之間動(dòng)態(tài)調(diào)配整體效率提升10%~15%。但從單微網(wǎng)到多微網(wǎng)的跳躍要處理的問題從“算法問題”變成“系統(tǒng)協(xié)調(diào)問題”復(fù)雜度不是一個(gè)量級(jí)的。6.2 從純仿真走向硬件在環(huán)第二個(gè)順延方向是硬件在環(huán)驗(yàn)證。純仿真環(huán)境下訓(xùn)練的策略放到真實(shí)微網(wǎng)控制器上部署會(huì)發(fā)生很多問題——通信延遲、傳感器噪聲、執(zhí)行器誤差、設(shè)備故障等等。硬件在環(huán)思路是把訓(xùn)練好的策略部署到控制器硬件上用真實(shí)的通信協(xié)議和I/O引腳與環(huán)境仿真器連接驗(yàn)證策略的實(shí)時(shí)性和魯棒性。這個(gè)方向的代碼改動(dòng)不大但要處理的問題非常磨人——比如仿真環(huán)境的時(shí)間和物理時(shí)間步不一致、控制器啟動(dòng)初始化時(shí)序、異常值保護(hù)邏輯等。我從純仿真切到硬件在環(huán)大概花了兩周時(shí)間而真正燒錢的地方是你得有真實(shí)硬件。如果你們實(shí)驗(yàn)室有條件值得嘗試條件不夠做純仿真驗(yàn)證強(qiáng)化學(xué)習(xí)策略魯棒性分析也足夠發(fā)表。6.3 從單目標(biāo)到多目標(biāo)經(jīng)濟(jì)性與碳排放聯(lián)合優(yōu)化現(xiàn)在“雙碳”目標(biāo)下微網(wǎng)調(diào)度不能只盯著經(jīng)濟(jì)成本了——碳排放約束和社會(huì)效益也要納入調(diào)度決策。一種做法是給碳排放定價(jià)把它變成成本項(xiàng)加進(jìn)去另一種做法是真正的多目標(biāo)優(yōu)化——用帶約束的DRL比如Lagrangian方法加約束或者多目標(biāo)獎(jiǎng)勵(lì)工程設(shè)計(jì)帕累托前沿搜索把經(jīng)濟(jì)目標(biāo)和碳排放目標(biāo)同時(shí)考慮。我用第一種方式簡(jiǎn)單做過驗(yàn)證——把碳排放價(jià)格設(shè)為50元/噸策略會(huì)顯著減少聯(lián)絡(luò)線購(gòu)電量更多依賴光伏和儲(chǔ)能。但真正的多目標(biāo)優(yōu)化需要?jiǎng)铀惴蚣茈y度上了一個(gè)臺(tái)階。建議等單目標(biāo)的坑全部踩順了再來(lái)碰多目標(biāo)這塊。7. 寫在最后的個(gè)人經(jīng)驗(yàn)這個(gè)項(xiàng)目做下來(lái)我最深的體會(huì)是深度強(qiáng)化學(xué)習(xí)在微網(wǎng)調(diào)度里能不能落地根本不取決于你用A3C還是PPO還是DDPG而取決于你把調(diào)度問題本身想得多清楚。狀態(tài)空間里該放什么變量、獎(jiǎng)勵(lì)函數(shù)里成本項(xiàng)和懲罰項(xiàng)怎么配比、動(dòng)作空間怎么設(shè)計(jì)才能貼合物理約束——這些問題想清楚了選什么算法只是“最后一公里”的事。反過來(lái)如果環(huán)境建模一塌糊涂獎(jiǎng)勵(lì)函數(shù)亂寫一氣再好的DRL算法也救不回來(lái)。我見過不少同學(xué)拿著現(xiàn)成的代碼跑Reward曲線確實(shí)在收斂但把策略拿出來(lái)一分析完全是“撞大運(yùn)”式的調(diào)度——儲(chǔ)能亂充亂放、PCC功率來(lái)回亂跳、DR濫用。這種“掛羊頭賣狗肉”的成果放到真實(shí)微網(wǎng)現(xiàn)場(chǎng)一秒就會(huì)露餡。最后分享一個(gè)小技巧訓(xùn)練好的策略要拿去部署或者做項(xiàng)目匯報(bào)時(shí)不要只展示Reward曲線——這是自?shī)首詷?。學(xué)著把策略的可視化做完整——儲(chǔ)能SOC曲線、PCC功率曲線、DR削減率曲線、成本構(gòu)成堆疊圖——讓不懂強(qiáng)化學(xué)習(xí)的人也能一眼看出你的策略好在哪、和傳統(tǒng)優(yōu)化方法差在哪。這一步看起來(lái)是“錦上添花”實(shí)際上很多時(shí)候是“雪中送炭”。如果后續(xù)你想在這個(gè)方向繼續(xù)深入建議按這個(gè)順序推進(jìn)先搞定單微網(wǎng)經(jīng)濟(jì)調(diào)度再擴(kuò)展到多微網(wǎng)協(xié)同然后考慮多目標(biāo)優(yōu)化最后做硬件在環(huán)驗(yàn)證。每一步都走扎實(shí)了你手里積累的經(jīng)驗(yàn)和代碼就是最值錢的東西。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天爽在线视频| 丁香五月ⅤA久久久| 色综合中文色综合网| 五月丁香色婷婷基地| 婷五月天| 狠狠色色| 蜜臀嫩草| 久久9视频| 91色久| 天天日天天插| 色九九丁香九月色九九色| 九九婷婷综合| 91日综合欧美| 色婷婷综合网站| 99人这里只有精品| 99热色无码| 欧美丁香婷婷五月| 欧美日韩成人一区二区| 北京熟妇搡BBBB搡BBBB| 久久38视频| 蜜桃婷婷狠狠久久| 人妻在线中文字幕久久| 激情五月丁香社区| 超碰人妻公开在线| 婷婷五月综合在线| 99热在线精品观看| 91啪啪视频| 97luluse| 激情五月丁香婷婷夜夜操| 伊人婷婷五月 | 大香蕉五月天婷婷| 色综合99无码| 思思热在线视频99| 亚洲第一综合| 狼人狠狠操| 五月丁香婷婷老司机| 五月在线| 婷婷射图五月天| 96精品久久久久久久久| 99ri国产| 夜夜做夜夜愛| 思思热闹这里只有精品| 婷婷五月色影视先锋| 成人在线不卡| 色九月婷婷丁香| 亚洲行行色色| 亚洲欧洲中文日韩久久AV乱码| 熟惀91九色在线| 五月天激情综合网站| 影音先锋四区| 97丁香五月| 99啪啪视频| 2025神马午夜福利| 97亚洲色 torrent magnet| 丁香五月天在线| www.五月丁香| 九伊人网| 逼里香不卡| 欧美色五月| 九九re视频在线视频| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 婷婷亚洲五月丁香综合在线| 五月天伊人久久久久| 国产精产国品一二三在观看| 久久婷婷五月综合伊人| 99久久久免费| 人人干av| 国内9l视频自拍老熟女九色| 亚洲色婷婷激情| 天天插天天插| 六月丁香成人| 婷婷亚洲欧美丁香五月| 色婷婷伊人激情在线观看| 丁香五月区| 夜夜撸天天操| 久久性都花花世界成人免费视频| 色激情综合狠狠婷婷| 色五月av伊人| 激情五月丁香五月| 九九久久五月天综合伊人| 久99热| 五月婷婷激情在线| 久久丁香五月婷婷| 亚洲午夜在线视频| 99热这里只有精品23| 99re8在这里只有精品| 碰碰碰91| 五月天开心婷婷激情网站 | 这里只有在线精品| 99热这里只有精品5| 日本道久久91| 五月婷婷在线播放| 丁香五月成人自拍| 色婷视频| 欧美婷婷综合网| 亚洲人人艹| 久久久五月激| 无码少妇高潮喷水A片免费| 夜色爱爱亚洲| 夜夜爽天天干| 色五月,婷婷大香蕉| 五月天欧美激情| 无码人妻少妇色欲AV一区二区| 免费黄色片子| 亚州操人在线视频| 久热超碰| 超碰爱爱爱| 五月婷婷六月天| 99视频精品全部免费观看| 99热自拍| 午夜 外网 精品 在线| 成人va在线播放| 九九99免费视频| 五月天综合激情网| 丁香五月婷婷啪啪| 婷婷久久综合| 亚州激情网站无码| 亚洲亚洲人成综合网络| 婷婷开心综合人妻小说网址| 99综合色色色| 婷婷va| 色婷婷亚洲综合av| 看片视频在线免费日产在线看| 97操男人的天堂| 91精品啪| 婷婷在线免费| 色五月xxx| 五月天婷婷无码| 婷婷五月色播网| 久99热在线观看| 色五月色五天色情网| 丁香婷婷91在线观看视频| 福利视频在线播放| 91人妻视频| 欧洲亚洲精品| 婷婷五月永远18免费久久久| 婷婷五月综合色拍| 五月丁香六月婷婷成人| 大香蕉av在线| 五月丁香六月婷婷免费| 97干资源在线观看| 激情性爱五月| www.91.com处女在线直播| 六月婷婷五月天| 丁香六月婷婷缴情欧美| 波多野结衣不卡AV| 五月天丁香| 免费黄色AV| 五月激情啪啪啪| 丁香五月婷婷啪啪| 国产成人精品一区二三区熟女在线 | 色综合久久天天综合网| www.91在线观看| 九月影院義母在线播放| 被男人添B超爽视频| 久久这里只有精品无码| 两性婷婷丁香五月| 九热免费视频| 五月激情丁香五月| 五月婷婷影视| 丁香五月成人婷婷| 五月色婷婷综合色| 中文AV网站| 天天天天干| 夜夜久久综合网| 婷婷黄色| 内射爽无广熟女亚洲| 国产日产亚系列精品版优势| 亚洲国产精品二二三三区| 亚洲六月色婷婷| 亚洲成人九九九| 亚洲日比视频| www.91在线观看| 99久热在线精品99re6热| 欧美天天草人人草| 午夜天堂一区人妻| 欧美日本另类| 色婷婷五月影视| 中文字幕欧美日韩VA免费视频| 五月婷婷六月爱| 日本熟女啪啪| 久月婷婷| 色啦啦视频| 天天干,天天舔| 成人国产欧美大片一区| 99操无码视频观看| 丁香婷五月| 99久热在线精品99re6热| 激情伊人| 五月婷婷丁香色播网| 色婷成人狠干| 婷婷久久五月天| 思思国产99| 五月婷婷99热| 99久久综合网| 激情综合五月| 6080av| 91人久| 天天骑天天操| 六月婷婷视频| 亚洲有码在线视频| 亚洲五月婷婷| 五月停停999| 丁香五月花婷婷开心| ai97re99一本| 97色色色色色| 亚洲激情综合| 五月永久激情| 人妻综合网| 亚洲精品一区中文字幕乱码| 日韩在线视频中文字幕| 五月涩涩网| 午夜成人天堂久久无码日韩久久| 99人妻碰碰碰久久久久视| 婷婷色婷婷| 久久3级片| 婷婷社区五月天| 99热这里只有精品国产首页| 中文久久久人妻| 国产又粗又大又爽又黄| 五六月丁香激情视频| 久久九九综合| 日韩欧洲亚洲| 五月婷婷在线视频观看| 婷婷激情网五月天| 六月色婷婷欧美| 久久九九国产| 97性高潮久久久| 久久婷婷热| 蜜臀99精品| 五月丁香六月婷婷不卡免费无码| 天天色丁香| 丰满少妇乱A片无码| www夜夜操wwwcon| 日韩色色色99| 五月天婷婷影院| 情涩婷婷五月天| 99热99在线| 1024婷婷综合久久五月天| 免费播放片大片| 热的无码综合视频| 激情综合激情五月| 久久六月天| 狠狠爱婷婷| 26UUU精品一区二区Com| 婷婷八月激情| 久9热在线视频| 成人婷婷色综合| 天天爽天天日| 91欧美| 狠狠色狠狠操| 这里只有精品在线视频在线观看| 久8色色| 99综合视频在线| 色情婷| 99综合99| 五月久久丁香| 欧美性爱专区| 婷婷五月久久| 天天草女人| 色五月av| 九九色逼| 天天日夜夜| 永久精品| 五月天激情综合| 亚州操操| 色婷婷丁香五月| 岛国av电影网站| 五月天婷婷开心| 人妻乱码久久久| 婷婷91| 99热爱爱干干日| 玖玖午夜视频| 夜夜躁婷婷AV| 亚洲99在线| 丁香六月综合激情| 久久久性爱视频| 五月天另类视频| 五月婷丁香| 色综合激情| 久久与婷婷| 99久热精品在线| 天天色凹凸| 丁香五月熟女| 婷婷丁香www视频日本韩国| 人妻激情久久| 99热99日天天干| 五月停视频天堂| 九九九激情网| 婷婷综合色色| 激情婷婷22月间| 九一牛视频探花| 97成人操| 九热视频精品| 操97| www.99热日韩.com| 五月婷精品| 99综合| 大香蕉99| 99久久66| 天天日夜夜操五月| 久 久9 9 热 视 频| 五月丁香AV在线| 婷婷五月天激情五月天网站| 婷婷五月天激情诱惑| 综合网亚洲| 亚洲六月婷婷| 生活片五区| 色99视频| 可以看的AV网站| 色婷婷六月丁香综合欲精品| 精品久热69| 婷婷五月成人| 综合色、色综合| 99热传媒| 97人人操人| 五月天伊人综合| 婷婷伊人綜合中文字幕| 深爱激情网噜噜色| 九九色热| 另类图片五月天| 精品无码久久久久久久久| 日韩专区五月天婷婷丁香| 丁香六月成人| 日韩色色一区| WWW.夜夜操.com| 丁香五月网| 中文字幕乱轮| 99热这| 成人中文网| 婷婷九月丁香中文| 青青草原亚洲天堂| 国产在线另类五月婷婷| 99热无码首页| 99热在线观看免费精品| 丁香色婷婷色手机免费在线| 五月婷婷啪啪啪| 六月99天天婷婷激情综合| 五月婷丁香在线视频在线| 密桃激情五月天综合网| 九色视频91疯狂| 日本久久精品| 婷婷久久天堂网| 射满了还射免费在线观看 -午夜版全集-新视觉影院 | 色青五月天| 欧美激情丁香五月| Www.激情| www.婷婷六月天| 久久大香蕉丁香| 婷婷久久丁香五月| 天天日夜夜夜操操操操| 日本天天色| 99热伊人| 五月婷婷官网色| 深爱激情五月天| 婷婷丁香五月天之开心少妇| 婷婷的99视频网站| 99亚洲色| 五月丁香色婷婷| 中文字幕操比影片| se99高清无码| 色99在线观看| 51精品国自产在线| 综合激情婷婷| 激情五月四色| 婷婷色网| 五月婷婷丁香综合| 99热这里只有精品官网| 开心婷婷五月天激情网| 97久久视频| 月色色综合婷婷网| 人人干天天操五月丁香| www.五月婷婷| 亚洲天堂有码| 夜夜天天久久婷婷| 影音先锋色婷婷| 久久激情中文| 欧美大奶熟女噜噜噜噜| 人人九色| 嫩草视频。| 婷婷久久婷婷色五月| 激情亚洲婷婷| 97超级免费无码| 97久久精品| 激情综合六月| 日韩丰满少妇无码内射| 色欲人妻综合aaaaaaaa网| 激情综合网激情五月网| 26UUU精品一区二区| 亚洲av无码精品色午夜| .comwww在线观看免费操| 丁香五月另类小说在线阅读| 色播五月丁香| 超碰免费大香蕉| 婷婷成人小说综合| 性做爰1一7伦| 精品思思久久| 超碰爱爱爱| AV在线不卡播放| 91久久婷婷| 五月天婷婷成人| 97在线观视频免费观看| 久久久精品99亚洲综合| 婷婷伊人| 色99在线观看| 五月天婷婷小说| 色色五月婷婷久久| 91五月天| 大香蕉久久| 97婷婷久久丁香| 亚洲色欲AAAAAA| 91精品综合久久久久久五月丁香| 色色色婷婷五月天| 激情爱爱网站| 99热热这里只精品996小说| 999热在线视频| 免费看欧美成人A片无码| 97碰碰人人| 六月婷婷色综合| 婷婷婷婷婷婷婷婷婷婷丁香| 成人五月天在线视频在线观看| 欧美人妻一区二区| 日本三级日本三级99| 久久人人妻| 色噜婷婷| 婷婷五月天久久久| www。五月,com| 亚洲婷婷六月天| www五月| 日日噜人人人做人| 丁香色婷婷五月天| 久久女婷| 久久免费操| 丁香五月天狠狠操| 婷婷六月五月| 99热一本久道| 婷婷激情综合| 91丨九色丨老农村| 色欲久久久久久综合网综合网| 久久99草五月婷婷| 久久爱婷婷| 日本色超碰| 深爱激情网五月天| 九九中文色色| A久久| 91九色中文| 岛国av网站| 无码 av电影| 婷婷深爱网| 久99999热视频在线观看免费| 99区视频| 五月丁香久久久久| 97碰在线视频| 国产67194| 26uuu视频欧美| 91狠狠色丁香婷婷综合久久精品| 亚洲成人网无码| 久久丁香五月天| 思思色播| 99国产精品久久久久久久久久久| www.五月激情红色| 91av色色乱视频| 日日操夜夜撸| 欧洲综合视频| 色婷婷成人| 婷婷五月丁香成人| 超碰啪啪网| 色色综合色| 第四色五月婷婷| 激情综合无码| 国产精品24r| 婷婷日| 七七婷婷综合| 天天爱综合网| 大香蕉网站,大香蕉综合| 五月天开心网| 日本欧美国产| 婷婷大乡焦噜噜| 久综合色| 亚洲开心激情网| 男人的天堂av俄罗斯热| 91久久综合亚洲鲁鲁五月天| 五月婷婷成人网首页| 一二线视频 另类| 色五月婷婷激情| 丁香五月婷婷激情蜜桃| 久久人人看| 5月婷婷6月丁香aV| 人妻五月天激情开心网| 久久女婷| 精品无码99| 丁香六月| 五月激情六月综合| 亚洲成人AV电影网| 久久久久久久久久8888| 五月婷婷免费| 99色日本| 97人人超| 99久久玖玖| 夜夜资源站| 天天爽天天干| 综合网啪| 内射丰满人妻| 精品99在线| 99riAV国产精品视频| 亚洲美女婷婷五月天| 人妻无码视频网| 激情综合激情五月一起草| 久久丁香五月天| 婷婷大香焦| 婷婷六月色开 | 岛囯综合激情网| 九九激情综合| 欧美这里只有精品| 99r这里只有精品哦| 免费看成人AA片无码视频吃奶| 五月丁香五月综合欧美| 九九视频这里是精品五月| 国内9l视频自拍老熟女九色| 九九精品亚洲| 青青福利网| 99福利导航| 91操碰| 激情五月天视频| 五月久久噜噜| 人妻视频在线| 久热超碰| www,色婷婷| 日日肏夜夜干| 亚洲人成网亚洲欧洲无码久久| 伊人成综合五月婷婷| 97 A I色色| 俺也去在线视频| 99免费热在线精品| 东京热免费视频网站| 精品亚洲国产成人A片在线鸭王| 五月婷丁香| 96丁香六月婷婷蜜桃综合久久| 五月伊人91| 色~性~乱~伦~噜| 思思久久青草热| 婷婷第六色| 婷婷99狠狠躁天天躁中文| 久久久国产精品黄毛片| 99视频35精品视频在线观看| 中文在线视频久1| 日操| 久久99精品视频| 五月丁香花成人社区| 99色在线| AVDV久久| 日日舔夜夜操| 思思热在线视频99| 五月婷免费视频久久久| 插逼综合网| 精品夜夜澡人妻无码AV| 91久久久久久| 噜噜狠狠色综合久| 天天爽天天做| 婷婷五月综合视频| www.久久66| a色色色色色| www.99久| 狠狠色婷| 九九成人电影婷婷| 日日爽夜夜爽| 性爱视频久久| 色综合网址| XX色综合| 天天色官网| 色五月婷婷少妇人妻| 99色干| 桃色五月婷婷| 色婷婷在线电影| 8区视频在线| 中文av网| 亚洲婷婷五月天| 色婷婷丁香| 色五月婷婷啪啪五月| 天堂婷婷五月在线| 99色啊| 激情网五夜婷婷| 五月天社区| 久久综合性| 婷婷射图| 亚洲在线综合| 五月丁香色| 96精品久久久久久久久| 久久婷婷五月综合激情国产| 激情五月婷婷视频一区二区三区| 97超喷视频在线观看| 久久婷婷午夜| 久久人人添人人爽添人人片αV | 思思re视频在线| 秋霞三级色戒| 婷婷丁香五月天欧美| 丁香婷婷免费| 丁香五月激情性色郤| 99re66热这里只有精品| 都市激情蜜桃婷婷五月天| 丁香色六月| 色区久久| 婷婷丁香五月视频| 欧爱综合视频| 国语精品探花| 五月天精品视频| 99热这里只有精品2| 五月天激情网址| 丁香五月天婷婷久久| 色久五月| 婷婷色av| 五月天综合视频| 深爱激情AV| 九九一综合精品| 99.色| 一级二级香港秋霞欧美欧美秋霞| 五月婷婷开心五月| 人人视频人人干人人做| 色播五月综合网| 欧美性爱五月天| 亚洲无码99| 五月婷婷色| 五月天婷婷爱| 五月天综合久久| 色九月婷婷| 激情婷婷丁香| 99热在线极品极品| 五月天伊人久久| 五月丁香自拍| 五月丁香六月婷婷成人| www.99久| 天天舔天天摸天天射| 综合亚洲六月婷婷在线| 99综合99| 成功精品影院| 日韩成人综合网| 99这里只有精品| 狠狠色综合五月人人| 91传媒无码人妻精| 久久曰曰| 亚洲激情区| 日韩色五月| 超碰操网| 久九男女天堂| 麻豆精品| 婷婷五月欧美| 色五月网址| 亚洲综合五月天综合| 操射国产日本| 色综合激情| 婷婷色播婷婷| 丁香五月很很肏| 六月丁香婷| 思思综合热| 五月亚洲| 婷婷基地爱| www.色欲丁香婷婷| 97AV在线视频| 天天添天天摸天天天天做| 26uuu精品一区二区| 久久婷婷五月| 超碰2021| 丁香六月激情综合| 69五月天视频| 天天色99| 天天草女人| 色婷婷免费视频| 黄色99网| 日日干天天| 婷婷丁香六月天| 国产色香蕉精品五夜婷| 天堂资源欧日浪女在线播放| 亚洲综合婷婷| 色停停香蕉视频| 年轻的妺妺伦理HD中文| 五月天另类小说久久小说网| 丁香五月自拍| 久 久9 9 热 视 频| 婷婷五月天av| 婷婷五月天网| 九九爱激情| 中文字幕操比影片| 久青青久| 色婷婷在线影院| 婷婷五月天激情综合婷婷五月天激情综合| 五月丁香综合影院| 久久激情中文| 天天摸天天肏| 丁香五月综合在线观看| 亚洲色另类| 99视频在线观看网址| 色五月开心开心五月激情五月| 日本啪啪网| 婷婷丁香五月社区亚洲| 成人超碰AV| 婷婷久月| 国内久久婷婷| 欧美精品久久久久久视频观看| 激情五月天综合婷婷网| 久久色大香蕉| 日本91在线| 99热这里只有精品国产首页| 粉嫩AV久久一区二区三区| 级情九色| 丁香五月婷婷在线观看| 超碰成人免费| 丁香六月婷婷色XXXXX| 开心婷婷五月天综合| 五月天最新网| 久热re视频在线观看网站| 六月婷婷五月丁香首页| 9l视频自拍9l视频自拍九色学生| 亚洲区1| 激情婷婷丁香五月| 五月婷综合| 开心五月婷婷婷美女| 人人人va亚洲视频在线| 婷婷操逼| 99热只有精品在线播放| 久久99精品九九久久久婷婷| 99久久精品亚洲综合| 久久精品亚洲热| 青草青草视频2免费观看| 伊人久久99| 99热最新网址| 少妇做爰免费视看片| 婷婷久久网| 视色综合| 黄色片久久| 亚洲人人操| 六月丁香婷婷六月激情综合| 综合久久十三| 开心五月色婷婷综合开心网| 中文字幕免费高清电视剧| 久久香蕉网| 久久婷婷五月综合色奶水99啪| 亚洲乱码日产精品BD| 亚洲天堂亚洲色色色| 99精品网| 久久久这里都是精品| 影音先锋91| 亚洲色综久久五月| 五月综合色| 六月婷婷视频| 第四色五月婷婷| 九九视频在线观看视频在线播放69| 亚洲激情精品| 久久久国产精品黄毛片| 日韩综合网络男女香蕉a片| 外国碰视频网站97| 9999三级片| 91免费看片| 中文色婷婷| 91se在线视频| 99 re视频一区| 狠狠色色| 综合五月草| 精品人妻伦一二三区久久| 无码九九| 六月丁香啪啪啪| 人人操Av| 性生生活大片又黄又| 五月丁香婷中文字幕| 香蕉97碰碰碰欧美| 免费观看欧美成人AA片爱我多深| 97操碰免费视频| 亚洲色情网站| 射区导航| 亚洲中文乱字字幕在线永久| 91网站黄| 99热这| 色五月婷婷激情综合网| 另类图片五月天| 天天插天天草人人玩| 少妇被下春药玩弄A片| 99啪视频在线观看| 9热精品| 午夜成人天堂久久无码日韩久久| 欧美色色网| 九色无码| 色五月婷婷久久| 久久丁香综合精品综合| 激情亭亭五月| 九九色99| 开心五月丁香婷婷| 超级久久久| 色在线99| 九九日本视频| 日本色婷婷| 五月五丁香婷婷| 香蕉中文在线| 色你久久| 色婷亚洲五月丁香| 99精品在线| 轮奸综合网| 91婷婷搞| 欧美欧盟性爱网| 影音先锋91在线资源站| 超碰亚洲天堂| 超pen个人视频97| 色婷婷综合视频| 九九伊人网| www开心激情网| g00d人体西西| 久久久久9| 色一情一乱一乱一区91Av| 性爱久久| 五月丁香啪啪网| 91人妻人人做人碰人人爽九色| 久久伊人五月天| 丁香欧美| 日韩在线观看亚洲| 99人碰碰碰| 色婷婷AV五月天| 第四色五月婷婷| 久久婷婷啪啪视频| 深爱激情四射| 九九久久精品國產| 99亚洲大片精品永久在线观看| 丁香狠狠操| 天天色色天天| 偷偷操99| 草草夜夜操| 玖玖婷婷色五月| 久久九九爽| 婷婷丁香午夜综合影视| 91久久网站| 九九这里只有精品| 丁香五月天人体| 热久69| 狠狠综合网| 婷婷六月丁香欧美视频在线| 综合天天综合| 丁香五月五月婷婷欧美大香蕉| 亚洲五月天婷婷| 色色色777| yellow视频在线观看91| 丁香久久五月天视频在线观看| 大伊香蕉玖玖爱| 婷婷久久综合久色| 婷婷五月天改成什么了| 日本99婷婷| 亚洲丁香五月天视频| 婷婷久久欧美| 婷婷色色综合| 五月丁香六月婷婷网| 天天色综合图片| 五月六月播婷婷| 操操操91| 玖玖资源站蜜臀| 成人 在线 日韩| Av中文在线| 婷婷五月av| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 丁香九月激情在线视频| 国产激情久久| 亚洲激情综合免费| 丁香五月天激情五月天激情五月天激情网| 7777久久亚洲中文字幕| 丁香五月av| 婷婷天堂综合| 深爱五月日韩| 青青草蜜臀| 欧美99热| 丁香五月中文字幕| 五月婷婷六月婷| 国产亚洲色婷婷99精品| 超碰av在线| 婷婷久久99| 婷婷久久综合久色| 久久人妻情侣| 天天操夜夜啊| 91尤物九色在线| 亚洲av网址| 激情操逼婷婷| 激情综合五| 五月天精品综合在线| 开心久久xxx色| 亚洲爱婷婷| 人妻熟人中文字幕一区二区 | 天天天天天日| 婷婷激情五月天激情| 九九 激情 网| 97爱综合| 久久99免费视频网站| av网址在线| 五月天婷婷激情| 天天做天天爱天天做| 丁香网五月网| 深爱激情四射| 天天日天天添| 99九九精品| 91九色视频在线观看| 狠狠干婷婷| 人人人操| 激情五月天com| 色婷婷丁香五月综合| 色色色99| 中文字幕,综合,91| 久久婷婷激情四射五月天| 五月成人丁香av91| 色五月婷婷色| 日日噜噜夜夜狠狠久久丁香六月| 五月丁香花婷婷玉莉AV| 色婷婷91激情小说| 好好干Av| 韩日在线熟女| 激情丁香婷婷| 九九热这里只有精品23| 丁香五月综合激情久久潮喷| 性爱激情久久| 亚洲精品婷婷| 五月婷婷激情网| 成人五月天丁香婷| 婷婷少妇激情| 婷婷婷久久久| w婷婷五月婷婷w| 99乱视频| 久99视频在线观看| 色五月激情综合网| 香蕉综合网| 婷婷欧美| 天天弄天天操| xx久久| 影音先锋四区| 97丁香五月| 久久丁香五月| 色婷婷综合影院| 天天做综合| 丁香五月婷婷激情网| 久9视频| 婷婷天堂综合| 九九黄色网| 久久久久久18| 丁香五月婷婷综合精品素人| 超碰高清在线| 五月丁香婷婷综合久久| 婷婷中文字暮| 色综啪啪网| 色播色丁香五月| 五月婷色丁香| 五月婷婷综合社区| 激情AV在线| 日本熟妇精品99| eeuus五月婷| 婷婷在线播放av| 激情涩涩网| 成人狠狠成人狠狠成人狠狠成人狠狠 | 色色网站在线| 五月天激情黄色小说在线观看| 亚洲激情综合色站| 丁香激情五月综合网| 色婷婷五月网| 婷婷五月花西瓜| 天天爽曰日爽| 日日爽天天| 天天爽天天摸天天爱| 人人天堂操| 五月丁香色婷婷色| 五月丁香六月情亚洲| 激情丁香久久| 大伊香蕉精品视频在线| 亚洲天堂热| 五月丁香啪啪啪| 麻豆AV一区二区三区| 伊人五月婷婷| www,婷婷| 五月天色婷婷av| 欧美性二区| 狠色狠色狠狠色综合网| 九月丁香亭亭| 99精品久久久久久久久| 色热久| 色深爱五月| 亚洲色五月婷婷| 最近免费中文字幕大全高清大全1| 亚洲激情婷婷| va亚洲中文在线| 啪啪色激情五月天| 影音先锋91| 五月婷婷欧洲| 人人干av| 9+1视频网址| 九九AV| www.久操| 99热99干| 天天综合图片| 5月婷婷6月六月丁香| 综合色影院| 99网| 1024欧美日韩精品久久久| 婷婷五月综合丁香久久| 色狠狠色| 国产淫熟妇| 亚洲成人AV在线观看| 人妻丰满精品一区二区A片| 九九伦子片| 97操在线视频| 99在线看片| 99久久网站| 九九热9| 丁香五月www| 日日夜夜狠狠婷婷色| 午夜激情五月| 婷婷在线免费| 国产激情综合五月久久| 人人干AV| 九九综合伊人| 亚洲最大成人综合网720P| 久久总和99| 婷婷丁香五月天亚洲| 亚洲综合激情五月久久| 久久黄色片| 九九干视频| 六月婷婷国产| 综合大香蕉| 色爱综合五月| 精热在线综合网| 99er精品视频| 综合网亚洲| 91/九色黑人| 日本色频| 天天摸色吧天天摸色吧| 色色a| 中文字幕 码精品视频网站| 日本精品干| 亚洲欧美成人在线| 夜夜夜夜夜骑撸| 99操视频| 香蕉乱插| 久久99热精品a片在线观看| 久久精品9| 变态 另类 在线| 日韩啪| 亚洲热久久| 九九热精品| 色综合激情| 五月丁香婷婷俺| 日日噜狠狠| 一本久久婷婷| 大香蕉婷婷| 国产精品视频| 热99热久| 婷婷综合六| 五月丁香六月情| 超热久碰.com| 丁香六月爱综合| 婷婷激情九月| 91操在线| 另类小说五月天综合| 丁香五月色情| 中文网婷婷字幕婷| 久久婷婷成人视频| 亚洲操逼片| 97在线天堂| 天天狠狠色综合| 能看的av| 亚洲婷婷在线播放十月| WWW.99视频| 欧美啪啪五月天| 久久五月婷婷开心网| 在线播放中文字幕| 影音先锋天天日| 7月婷婷六月丁香| Av九九| 69精品无码一区二区三区| 五月天俺去也| 成人国产欧美大片一区| 日本精品在线噜噜噜| 婷婷色操| 九九精彩久久| 激情丁香五月天图片| 三级三久久线久久99久目本WW| 超碰99久久| 婷婷五月天综合在线| Av免费网站在线| 成人 在线观看国产| 夜夜躁狠狠 | 五月天婷婷三级黄| 丁香五月六月婷婷殴美综合| 久久桃花网色婷婷| 五月婷婷,六月激情| 欧美精品中文字幕亚洲专区| 久久xx| 深夜男女福利刺激影院一区| 美欧成人视频| 色婷婷a三区麻| 一级操逼大片| 天天操天天曰天天射| 六月丁香五月婷婷| .comwww在线观看免费操| 五月婷婷五月天在线| 国产精品A片在线| 伊人五月丁香| 熟妇高潮一区av| 色丁香在线视频| 八戒青柠影视剧在线观看| 9久久久久| 日本三级韩三级99久久| 成人版视频在线观看| 亚洲成人影视在线观看| 色综合中文色综合网| 亚洲激情婷婷| 婷婷五月综合网| 97久久久久| 色综合天堂| 操人91| 狠狠搞五月天| www.99色| a69在线视频| 久久六月综合| 婷婷天天五月天| 色呦呦免费观看| 99热思思| 天天日天天狠狠操| 久久精品99国产精品日本| 一本久久亚洲五月婷婷 | 婷婷在线播放| 天天性视频| 亚洲人妻av伦理| 天天草天天爱| 国产干逼片| 婷婷六月色播| 99视频在线啪| 99热| 人妻射精AV| 午夜精品久久久久久久爽| 丁香美女主播视频在线观看| 香蕉久久五月| 韩国久久少妇视屏| 亚洲精品九九| 丁香五月激情婷婷| 色99婷婷五月天| 久9无码视频| 五月丁了香蕉综合| 久久资源网五月婷| 五月婷婷六月丁香激情深爱| 激情五月色婷婷| 丁香五月激情六月综合| 亚洲超碰青涩| 曰曰久久| 手机旧版看人妻1025| 五月丁香激情综合| 天天色天天干天天插| 日韩成人电泉AV| 色综合伊人网| 伊人春天av| 国产毛片欧美毛片久久久| 天天操狠狠操| 天天干,天天操,天天射| 97香蕉碰碰人妻国产欧美| 亚洲看av的网站| 热99免费在线| 婷婷午夜天| 欧美熟女乱又伦| WWW久久99久久99久久| AAA久久| 婷婷五六月丁香| 天天综合网色欲香| 操逼六区| 五月丁香久久久日婷婷久久婷婷日| 五月丁香六月激情网站| 热99精品视频五月| 久久只有这里精品免费| 日韩AC在线免费观看| www.狠狠操| 婷婷五月激情丁香激情| 蜜桃婷婷狠狠久久综合| 九九碰九九爱97超碰| 婷婷六月久久| 99爱99操| 色墦五月丁香| 日韩1区2区| 天天综合色| 激情婷婷五月天| 噜噜色天天开心| AV片在线观看| 99色热视频| 26uuu亚洲欧美| 国产精品久久..4399| 秋霞九九无码| 成人五月天丁香| 六月婷婷狠狠| AV在线不卡网站| 久久久久人妻| 五月丁香在线综合| 久久永久网址| 五月丁香久久激情综合| 夜夜撸日日操| 五月的色婷婷高潮| 婷婷狠狠久久| yazhochengrenavwang| 成人美女网| 天天干一干| 婷婷综合激情五月综合| 9久热在线精品| 996er热| 五月天婷婷丁香六月| 伊人五月天日日夜夜久久久天天| 另类小说五月天| 99色爱| 91碰碰碰久久久久| 色青青视频| 国产精品久久久久久亚洲毛片| 色五月婷婷色五月| 婷婷五月天视| 欧美熟妇一区二区三区| 丁香五月激情久久麻豆| 思思热视频| 草AV9999| 亚洲成人在线在线| 婷婷丁香五月天激情| 99精品爱| 人人操Av| 国内一级片| 色噜噜婷婷| 婷婷五月色網站| 激情五月深爱五月观看| 久久全色| 五月天婷婷色| 欧美噜一噜| 久热精品9999| 欧美日韩成人| 99热这里只有精品首页| 九九99香蕉在线视频播放| 无码免费人妻A片AAA毛片西瓜| 婷婷噜噜| 成人操呦av| 中文字幕不卡视频| 婷婷97碰碰| 丁香五月在线观看完整版| 51精品国内探花| 色婷婷久久| 97碰碰视频| 丁香六月天婷婷开心综合| 国在线激情网| 婷婷五月激情黄色| 色色射| 5月婷婷6月六月丁香| VA国产在线综合网站| 精品久久99| 精品动漫 无码av| AV在线不卡播放| 五月丁香亭亭| 久久久精品AV| 丁香激情五月| 密乳视频| 欧美日韩AAAAA| 色噜久| 大香蕉AV电影在线| 午夜天天精品视频| 色婷婷99| 99爱精品| 五月天色图| 午夜五月天| 色色五月天网站| 月婷婷婷婷五月| 无套内射极品大美女| 丁香五月亚洲天堂| 97韩国久久电影院| 丁香五月色色| 亚洲欧美综合7777色婷婷| 综合久久综合久久| 色婷婷色综合激情91| 狠狠爱五月婷婷| 五月天婷婷婷|