欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

深度強(qiáng)化學(xué)習(xí)能源調(diào)度框架:從原理到工程落地的完整指南

深度強(qiáng)化學(xué)習(xí)能源調(diào)度框架:從原理到工程落地的完整指南 1. 為什么能源調(diào)度需要深度強(qiáng)化學(xué)習(xí)傳統(tǒng)方法的邊界先聊聊我這幾年的切身感受。做能源系統(tǒng)調(diào)度的人應(yīng)該都有一個(gè)共識(shí)現(xiàn)在的調(diào)度問題越來越不像一個(gè)經(jīng)典的優(yōu)化問題。分布式光伏、儲(chǔ)能、可調(diào)負(fù)荷、電動(dòng)車充電樁五花八門的設(shè)備都接進(jìn)來了電價(jià)還在實(shí)時(shí)波動(dòng)新能源出力又受天氣影響負(fù)荷預(yù)測也做不到精準(zhǔn)。前幾年我參與某園區(qū)微網(wǎng)調(diào)度項(xiàng)目的改造時(shí)甲方給的訴求很直接現(xiàn)有的調(diào)度策略只能跟著計(jì)劃走一遇到天氣突變、電價(jià)波動(dòng)就抓瞎能不能做一個(gè)能實(shí)時(shí)應(yīng)對(duì)的調(diào)度系統(tǒng)這個(gè)訴求背后就是傳統(tǒng)方法解決不了的痛點(diǎn)。1.1 能源調(diào)度問題的本質(zhì)難點(diǎn)能源調(diào)度本質(zhì)上是一個(gè)帶約束的在線決策問題。說它難主要體現(xiàn)在四個(gè)層面高維度。一個(gè)中等規(guī)模的園區(qū)微網(wǎng)可能有幾十臺(tái)設(shè)備、多類儲(chǔ)能單元、幾十個(gè)可調(diào)負(fù)荷節(jié)點(diǎn)每個(gè)節(jié)點(diǎn)都有各自的運(yùn)行約束和狀態(tài)變量。把所有狀態(tài)拼起來動(dòng)輒上百維再加上時(shí)間維度上的耦合決策空間的規(guī)模非常龐大。強(qiáng)隨機(jī)性。光伏出力受云層遮擋影響分鐘級(jí)波動(dòng)很常見負(fù)荷曲線受生產(chǎn)計(jì)劃、天氣、節(jié)假日影響現(xiàn)貨市場的電價(jià)更是分鐘級(jí)變化。這些外部因素都無法精確預(yù)知調(diào)度策略必須在不確定性中做決策。強(qiáng)耦合性。儲(chǔ)能電池的SOC荷電狀態(tài)把過去、現(xiàn)在和未來的決策串在一起——今天多充一度電明天可能就少充一度可調(diào)負(fù)荷的調(diào)節(jié)空間又取決于當(dāng)前生產(chǎn)狀態(tài)變壓器的容量約束同時(shí)限制著所有設(shè)備的功率總和。這是典型的時(shí)序耦合和功率耦合疊加的問題。多時(shí)間尺度。設(shè)備啟停是分鐘級(jí)到小時(shí)級(jí)決策儲(chǔ)能充放電是秒級(jí)到分鐘級(jí)決策需求響應(yīng)是小時(shí)級(jí)到日前級(jí)決策。調(diào)度系統(tǒng)必須同時(shí)處理不同時(shí)間尺度的協(xié)調(diào)。傳統(tǒng)做法不是沒有嘗試過?;旌险麛?shù)線性規(guī)劃MILP能把大部分約束建進(jìn)去但求解速度在大規(guī)模場景下堪憂模型預(yù)測控制MPC擅長滾動(dòng)優(yōu)化但性能過度依賴預(yù)測精度和模型保真度模型稍有偏差優(yōu)化結(jié)果就跟著跑偏。我在實(shí)際項(xiàng)目中見過不止一次這樣的場景預(yù)測模型說下午三點(diǎn)光伏出力800kW實(shí)際云層一擋直接掉到200kWMPC給出的充放電計(jì)劃立刻失效調(diào)度員只能手動(dòng)干預(yù)。1.2 從建模求解到學(xué)習(xí)決策的范式轉(zhuǎn)變深度強(qiáng)化學(xué)習(xí)DRL給能源調(diào)度帶來了一個(gè)完全不同的思路不去精確建模所有隨機(jī)過程而是把調(diào)度問題建模為馬爾可夫決策過程MDP讓智能體在與環(huán)境的交互中學(xué)習(xí)一套從狀態(tài)到動(dòng)作的映射策略。具體來說MDP的要素是這樣對(duì)應(yīng)的狀態(tài)當(dāng)前時(shí)刻的系統(tǒng)運(yùn)行狀態(tài)包括各設(shè)備實(shí)時(shí)功率、儲(chǔ)能SOC、電價(jià)信號(hào)、天氣預(yù)報(bào)、負(fù)荷水平等動(dòng)作調(diào)度指令比如儲(chǔ)能充放電功率、可調(diào)負(fù)荷的調(diào)節(jié)量、機(jī)組出力設(shè)定值獎(jiǎng)勵(lì)每步?jīng)Q策后的反饋通常綜合了運(yùn)行成本、約束滿足情況、設(shè)備損耗等多項(xiàng)目標(biāo)狀態(tài)轉(zhuǎn)移當(dāng)前狀態(tài)和動(dòng)作共同作用產(chǎn)生下一個(gè)狀態(tài)這個(gè)轉(zhuǎn)移由物理系統(tǒng)本身決定。訓(xùn)練完成后DRL智能體的決策過程就是一次神經(jīng)網(wǎng)絡(luò)前向推理毫秒級(jí)就能給出動(dòng)作。這跟MPC每步都要重新求解一個(gè)優(yōu)化問題完全不同。我在實(shí)戰(zhàn)中測試過相同規(guī)模的調(diào)度場景下DRL單步?jīng)Q策時(shí)延約在10~30msMPC單步求解則在幾百毫秒到幾秒之間浮動(dòng)而且求解時(shí)間還隨問題規(guī)模增長。當(dāng)然這不是說DRL要完全取代傳統(tǒng)優(yōu)化。更準(zhǔn)確的說法是DRL把在線反復(fù)求解優(yōu)化問題變成了離線學(xué)習(xí)、在線查表把計(jì)算壓力從運(yùn)行階段轉(zhuǎn)移到了訓(xùn)練階段。這是它適合做實(shí)時(shí)調(diào)度的根本原因。2. 框架的模塊化架構(gòu)與數(shù)據(jù)流設(shè)計(jì)聊完動(dòng)機(jī)進(jìn)入正題。這個(gè)深度強(qiáng)化學(xué)習(xí)調(diào)度框架的設(shè)計(jì)目標(biāo)很明確既能用于離線訓(xùn)練算法、評(píng)估策略又能連接真實(shí)系統(tǒng)做在線調(diào)度。因此架構(gòu)上天然分成了多層每層職責(zé)清晰、可獨(dú)立替換。2.1 分層架構(gòu)總覽整個(gè)框架從下往上分成五層我用一張表把每層的職責(zé)和關(guān)鍵模塊列出來層級(jí)職責(zé)核心組成數(shù)據(jù)接入層對(duì)接歷史數(shù)據(jù)庫、實(shí)時(shí)數(shù)據(jù)平臺(tái)、預(yù)測服務(wù)數(shù)據(jù)管道、清洗校驗(yàn)、特征對(duì)齊環(huán)境模擬層構(gòu)建可交互的調(diào)度環(huán)境支持仿真與回放設(shè)備模型、負(fù)荷/新能源模型、電價(jià)生成器智能體層訓(xùn)練和推理調(diào)度策略算法庫、網(wǎng)絡(luò)結(jié)構(gòu)、經(jīng)驗(yàn)回放、策略評(píng)估調(diào)度決策層把智能體輸出轉(zhuǎn)換為可執(zhí)行調(diào)度指令動(dòng)作映射、安全約束校驗(yàn)、指令格式化應(yīng)用交互層提供可視化和人工接口監(jiān)控面板、人工接管、日志審計(jì)各層之間通過統(tǒng)一的數(shù)據(jù)契約通信。比如說環(huán)境層輸出的是標(biāo)準(zhǔn)化觀測向量智能體層輸出的是標(biāo)準(zhǔn)化動(dòng)作向量調(diào)度決策層負(fù)責(zé)把標(biāo)準(zhǔn)化動(dòng)作翻譯成具體設(shè)備的物理指令。這樣分層的好處是算法研究員只關(guān)心智能體層不用管設(shè)備通信系統(tǒng)集成人員只關(guān)心數(shù)據(jù)接入和指令下發(fā)不用碰算法細(xì)節(jié)。我見過很多失敗的調(diào)度項(xiàng)目問題都出在層與層之間職責(zé)不清。有的團(tuán)隊(duì)把業(yè)務(wù)規(guī)則寫死在訓(xùn)練代碼里換場景就得改算法有的團(tuán)隊(duì)把設(shè)備通信協(xié)議寫在獎(jiǎng)勵(lì)函數(shù)里仿真環(huán)境換個(gè)接口就崩。這個(gè)框架的模塊化設(shè)計(jì)就是為了避免這種牽一發(fā)動(dòng)全身的尷尬。2.2 數(shù)據(jù)契約與狀態(tài)-動(dòng)作-獎(jiǎng)勵(lì)三要素狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)是DRL框架的數(shù)據(jù)契約也是整個(gè)框架的骨架。在設(shè)計(jì)之初就要把這三樣定死后續(xù)所有模塊都圍繞它們展開。狀態(tài)空間定義系統(tǒng)看到什么。通常包括儲(chǔ)能SOC、各設(shè)備功率、實(shí)時(shí)電價(jià)、日前預(yù)測曲線、溫度/輻照度等外部因素、時(shí)間特征小時(shí)、星期、節(jié)假日標(biāo)志。動(dòng)作空間定義系統(tǒng)能做什么。在能源調(diào)度里動(dòng)作往往是混合型的儲(chǔ)能充放電功率是連續(xù)變量設(shè)備啟停是離散變量可調(diào)負(fù)荷是連續(xù)或離散的檔位調(diào)節(jié)。獎(jiǎng)勵(lì)函數(shù)定義系統(tǒng)追求什么?;颈P是運(yùn)行成本的負(fù)值再加上約束滿足的懲罰項(xiàng)。框架對(duì)此的設(shè)計(jì)是狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)分別定義成獨(dú)立的類每個(gè)類有自己的schema格式規(guī)范并有對(duì)應(yīng)的序列化方法。所有算法模塊看到的都是同一份schema無論底層跑的是哪種算法數(shù)據(jù)格式完全一致。這個(gè)約束非常重要后面講算法庫選型時(shí)會(huì)看到它帶來的實(shí)際好處。2.3 數(shù)據(jù)流從離線到在線的一條完整鏈路調(diào)度框架的數(shù)據(jù)流可以用一條鏈路概括清楚歷史數(shù)據(jù) → 離線訓(xùn)練環(huán)境 → 策略網(wǎng)絡(luò) → 仿真評(píng)估 → 策略上線 → 在線調(diào)度 → 運(yùn)行數(shù)據(jù)回流 → 持續(xù)迭代訓(xùn)練這條鏈路里最關(guān)鍵的設(shè)計(jì)是離線訓(xùn)練環(huán)境與在線調(diào)度的銜接。離線訓(xùn)練時(shí)環(huán)境模擬器基于歷史數(shù)據(jù)構(gòu)建場景某一周的電價(jià)曲線、某一天的光照數(shù)據(jù)、某幾條負(fù)荷曲線把它們拼接成訓(xùn)練片段。智能體在這些歷史場景里反復(fù)試錯(cuò)學(xué)習(xí)應(yīng)對(duì)不同工況的策略。訓(xùn)練結(jié)束、策略評(píng)估通過后模型部署到在線調(diào)度模塊。在線運(yùn)行時(shí)環(huán)境被真實(shí)系統(tǒng)替代真實(shí)狀態(tài)進(jìn)來策略網(wǎng)絡(luò)前向推理輸出動(dòng)作經(jīng)過安全校驗(yàn)后下發(fā)給設(shè)備執(zhí)行。每執(zhí)行一步真實(shí)反饋數(shù)據(jù)又會(huì)被記錄下來進(jìn)入經(jīng)驗(yàn)池作為下一次增量訓(xùn)練的原料。我在實(shí)際項(xiàng)目里踩過一個(gè)教訓(xùn)如果離線訓(xùn)練環(huán)境和在線系統(tǒng)之間的狀態(tài)定義不一致哪怕只是某個(gè)特征值的歸一化方式不同部署后策略性能也會(huì)明顯下滑。所以框架設(shè)計(jì)時(shí)我強(qiáng)烈建議把狀態(tài)/動(dòng)作的編碼解碼函數(shù)做成同一套代碼離線和在線都調(diào)用它而不是各寫一套。3. 核心功能模塊解析現(xiàn)在深入到框架內(nèi)部把幾個(gè)核心功能模塊逐一拆開。這些模塊是整個(gè)調(diào)度系統(tǒng)的發(fā)動(dòng)機(jī)也是對(duì)項(xiàng)目成敗影響最大的部分。3.1 狀態(tài)編碼與特征工程狀態(tài)編碼這件事看起來簡單做起來到處都是細(xì)節(jié)。能源調(diào)度場景里的狀態(tài)特征大致分幾類連續(xù)數(shù)值型功率、SOC、電價(jià)、周期時(shí)序型小時(shí)、星期、外部條件型溫度、輻照、事件型節(jié)假日、檢修標(biāo)志。不同類型的特征處理方式差異很大。數(shù)值型特征必須做歸一化。儲(chǔ)能SOC范圍是0~1功率可能從-500kW到500kW電價(jià)的區(qū)間更不穩(wěn)定直接拼在一起喂給神經(jīng)網(wǎng)絡(luò)數(shù)值大的特征會(huì)主導(dǎo)梯度更新。實(shí)際使用的方案是對(duì)每個(gè)特征記錄其正常運(yùn)行區(qū)間的上下限用min-max歸一化映射到[-1, 1]區(qū)間。對(duì)電價(jià)這種可能突變的量還要做clip處理防止個(gè)別極端值把歸一化結(jié)果壓扁。時(shí)序型特征不能直接用原始值。比如小時(shí)這個(gè)特征直接編碼成0~23的整數(shù)會(huì)讓模型誤以為1點(diǎn)和23點(diǎn)差距很大。我通常用正弦余弦編碼import numpy as np def encode_hour(hour): hour hour / 24.0 return [np.sin(2 * np.pi * hour), np.cos(2 * np.pi * hour)]這樣1點(diǎn)和23點(diǎn)在特征空間里是相鄰的符合時(shí)間的自然語義。預(yù)測信息怎么進(jìn)狀態(tài)是個(gè)值得細(xì)想的點(diǎn)。如果直接把未來24h的光伏預(yù)測曲線拼進(jìn)狀態(tài)狀態(tài)維度會(huì)膨脹訓(xùn)練難度增加。更穩(wěn)妥的做法是取幾個(gè)關(guān)鍵統(tǒng)計(jì)量未來1h均值、未來4h均值、未來24h均值或者把預(yù)測曲線做降維嵌入。我做過對(duì)比實(shí)驗(yàn)在容量約束緊張的場景下加入未來4h的累計(jì)預(yù)測信息約能降低3%~5%的調(diào)度成本但再往上加更長時(shí)間的預(yù)測收益就很有限了。3.2 動(dòng)作空間的連續(xù)化設(shè)計(jì)與約束映射能源調(diào)度設(shè)備的物理特性決定了動(dòng)作空間必須處理邊界和擋位問題。儲(chǔ)能充放電功率是一個(gè)連續(xù)區(qū)間啟停信號(hào)是離散的可調(diào)負(fù)荷可能有多個(gè)檔位。框架里對(duì)動(dòng)作空間的統(tǒng)一處理方式是所有動(dòng)作在智能體內(nèi)部表示為連續(xù)值通過約束映射層翻譯為物理量。具體做法是智能體的輸出層使用tanh激活函數(shù)輸出范圍[-1, 1]然后由映射層把它變換到設(shè)備允許的物理范圍。比如儲(chǔ)能額定功率500kW動(dòng)作值0.6就映射為300kW充電功率。這樣神經(jīng)網(wǎng)絡(luò)永遠(yuǎn)不需要學(xué)習(xí)輸出合法范圍內(nèi)的值——它只需要輸出一個(gè)原始信號(hào)合法性由外層保證。對(duì)啟停這類離散動(dòng)作使用Gumbel-Softmax或簡單的argmax采樣。訓(xùn)練時(shí)用Gumbel-Softmax保持梯度可傳導(dǎo)推理時(shí)直接argmax。這在小規(guī)模離散動(dòng)作場景下效果穩(wěn)定實(shí)現(xiàn)也簡單。框架還要處理設(shè)備之間聯(lián)合動(dòng)作的約束關(guān)系最典型的是變壓器容量約束儲(chǔ)能功率 光伏出力 - 負(fù)荷功率 ≤ 變壓器容量這類約束的常用處理方式有二一是把約束轉(zhuǎn)換成動(dòng)作修正由調(diào)度決策層在指令下發(fā)前做裁剪二是把約束違反量放進(jìn)獎(jiǎng)勵(lì)函數(shù)做軟懲罰。我傾向于兩招一起用后面第四節(jié)會(huì)專門展開講。3.3 獎(jiǎng)勵(lì)塑形與安全懲罰獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)是整個(gè)DRL調(diào)度框架里最關(guān)鍵、也最考驗(yàn)經(jīng)驗(yàn)的部分。一個(gè)合理的獎(jiǎng)勵(lì)函數(shù)要同時(shí)讓智能體學(xué)會(huì)省錢和守規(guī)矩?;惊?jiǎng)勵(lì)項(xiàng)是運(yùn)行成本的負(fù)值r_cost -(購電成本 售電收益 設(shè)備運(yùn)行維護(hù)成本)其中購電成本按當(dāng)前電價(jià)和從電網(wǎng)取電的功率計(jì)算售電收益是本地光伏多發(fā)時(shí)向電網(wǎng)賣電的收入。這里有個(gè)細(xì)節(jié)電價(jià)信號(hào)可能只在整點(diǎn)更新但調(diào)度決策是分鐘級(jí)的獎(jiǎng)勵(lì)計(jì)算要用當(dāng)前生效的電價(jià)不能想當(dāng)然地認(rèn)為每個(gè)時(shí)間步都有新的電價(jià)。安全懲罰項(xiàng)包括SOC越界、功率越限、變壓器過載、啟停次數(shù)過多等。以SOC為例def soc_penalty(soc, soc_min, soc_max): penalty 0.0 if soc soc_min: penalty (soc_min - soc) ** 2 * 10.0 elif soc soc_max: penalty (soc - soc_max) ** 2 * 10.0 return penalty懲罰系數(shù)怎么定我習(xí)慣的調(diào)法是從小到大試探系數(shù)太小時(shí)智能體會(huì)頻繁越界因?yàn)樗l(fā)現(xiàn)越界的便利大于懲罰系數(shù)太大時(shí)智能體變得過度保守比如干脆不敢讓SOC接近邊界導(dǎo)致儲(chǔ)能利用率下降。一個(gè)比較實(shí)用的經(jīng)驗(yàn)是先設(shè)定足夠大的懲罰讓策略絕對(duì)不越界再逐步降低找到成本與安全的平衡點(diǎn)。另外我強(qiáng)烈建議在獎(jiǎng)勵(lì)里加一個(gè)動(dòng)作平滑性懲罰項(xiàng)懲罰相鄰兩步動(dòng)作的變化幅值。原因很實(shí)際儲(chǔ)能設(shè)備頻繁改變充放電功率會(huì)縮短壽命調(diào)度員也不愿意看到指令忽上忽下。加上這個(gè)懲罰后策略輸出的動(dòng)作曲線會(huì)明顯平滑對(duì)真實(shí)設(shè)備也更友好。3.4 算法庫選型與離線訓(xùn)練流程框架里的算法庫不是只裝一個(gè)算法而是提供多個(gè)主流DRL算法的統(tǒng)一實(shí)現(xiàn)方便不同場景下選擇和對(duì)比。我常備的幾個(gè)算法及其適用場景算法動(dòng)作類型優(yōu)勢注意事項(xiàng)DDPG連續(xù)實(shí)現(xiàn)簡單適合純連續(xù)動(dòng)作對(duì)超參數(shù)敏感易不穩(wěn)定TD3連續(xù)DDPG改進(jìn)版更穩(wěn)定兩套Critic顯存占用稍高SAC連續(xù)探索性強(qiáng)樣本效率高溫度系數(shù)需調(diào)節(jié)PPO連續(xù)/離散穩(wěn)定、通用性最好對(duì)獎(jiǎng)勵(lì)尺度敏感混合動(dòng)作方案連續(xù)離散貼近實(shí)際業(yè)務(wù)需求實(shí)現(xiàn)復(fù)雜需定制網(wǎng)絡(luò)結(jié)構(gòu)選型建議如果動(dòng)作空間是純連續(xù)且規(guī)模不大從TD3或SAC起步如果動(dòng)作空間是混合型優(yōu)先考慮PPO或?qū)W(wǎng)絡(luò)輸出做離散分支連續(xù)分支拆分后再用TD3。我們框架里的通用策略網(wǎng)絡(luò)就支持這種拆分class ActorNet(nn.Module): def __init__(self): super().__init__() self.feature nn.Sequential( nn.Linear(state_dim, 256), nn.ReLU(), nn.Linear(256, 256), nn.ReLU(), ) self.continuous_head nn.Linear(256, num_continuous_actions) self.discrete_head nn.Linear(256, num_discrete_options) ...離線訓(xùn)練流程大致是初始化環(huán)境與智能體 → 收集隨機(jī)探索數(shù)據(jù) → 進(jìn)入train/eval循環(huán) → 定期保存策略并做評(píng)估 → 訓(xùn)練結(jié)束后在完整測試集上跑評(píng)估報(bào)告。訓(xùn)練時(shí)我習(xí)慣保留多個(gè)checkpoint不僅保存最優(yōu)模型也保存訓(xùn)練后期表現(xiàn)尚可的模型因?yàn)樵诰€部署時(shí)你往往寧可用一個(gè)穩(wěn)定性更好的模型而不是某個(gè)測試集上分?jǐn)?shù)最高但對(duì)異常數(shù)據(jù)敏感的模型。4. 工程落地中繞不開的坑模型訓(xùn)練是一回事真正把系統(tǒng)裝進(jìn)真實(shí)的能源項(xiàng)目里是另一回事。這一節(jié)我想專門講講框架從實(shí)驗(yàn)室走向生產(chǎn)環(huán)境時(shí)我反復(fù)踩過的那些坑。4.1 訓(xùn)練階段的不穩(wěn)定問題DRL訓(xùn)練不穩(wěn)定是行業(yè)公認(rèn)的痛在能源調(diào)度場景里表現(xiàn)得更突出。最典型的癥狀是訓(xùn)練曲線上下劇烈震蕩明明loss在下降評(píng)估時(shí)性能卻突然崩掉。我排查過的最常見原因有三個(gè)。第一獎(jiǎng)勵(lì)尺度不一致。購電成本動(dòng)輒幾千元SOC懲罰可能只有個(gè)位數(shù)兩個(gè)數(shù)值加在一起小項(xiàng)完全被大項(xiàng)淹沒智能體根本學(xué)不到避免越界的信號(hào)。解決方法是把獎(jiǎng)勵(lì)各項(xiàng)做歸一化或加權(quán)平衡。我通常把總獎(jiǎng)勵(lì)期望scale到0附近例如除以一個(gè)基準(zhǔn)成本值讓獎(jiǎng)勵(lì)的絕對(duì)值量級(jí)控制在個(gè)位數(shù)。第二隨機(jī)種子敏感。同一個(gè)超參數(shù)配置換一個(gè)隨機(jī)種子可能從很好變成完全學(xué)不到。這既有網(wǎng)絡(luò)初始化的問題也有環(huán)境采樣隨機(jī)性的問題。我不能接受碰運(yùn)氣所以訓(xùn)練腳本強(qiáng)制要求跑多個(gè)種子報(bào)告里必須給均值和方差不允許只貼一條最好的曲線。第三replay buffer采樣不均。能源場景里面有大量相似的平滑工況如果buffer里全是晴天中午的樣本遇到極端天氣就會(huì)表現(xiàn)得很差??蚣芾镒隽藘?yōu)先經(jīng)驗(yàn)回放對(duì)獎(jiǎng)勵(lì)絕對(duì)值大或TD誤差大的樣本提高采樣權(quán)重效果立竿見影。另外梯度裁剪是標(biāo)配。不加上這個(gè)遇到電價(jià)突變或SOC跳躍的大誤差樣本一次更新就可能讓策略網(wǎng)絡(luò)參數(shù)崩掉整個(gè)訓(xùn)練前功盡棄。4.2 部署階段的實(shí)時(shí)性與回退機(jī)制在線調(diào)度對(duì)時(shí)延的要求是硬指標(biāo)。調(diào)度指令通常要求秒級(jí)輸出但一次完整的決策鏈路包括數(shù)據(jù)讀取、狀態(tài)拼接、模型推理、指令轉(zhuǎn)換每一步都可能產(chǎn)生延遲??蚣懿渴饡r(shí)做過一次性能檔案分析得出的大致耗時(shí)分布環(huán)節(jié)耗時(shí)數(shù)據(jù)讀取與清洗20~50ms狀態(tài)編碼5~15ms模型推理10~30ms指令轉(zhuǎn)換與日志10~20ms合計(jì)45~115ms這個(gè)量級(jí)對(duì)分鐘級(jí)調(diào)度完全夠用。如果將來要支撐秒級(jí)甚至更快的控制可以用ONNX或TensorRT做模型加速推理耗時(shí)壓到5ms以內(nèi)沒有問題。但我更想強(qiáng)調(diào)的是回退機(jī)制。DRL策略本質(zhì)上是數(shù)據(jù)驅(qū)動(dòng)的模型訓(xùn)練數(shù)據(jù)再豐富也覆蓋不了所有真實(shí)世界的邊界情況??蚣茉谠O(shè)計(jì)時(shí)加入了安全校驗(yàn)層策略輸出動(dòng)作后先做硬約束檢查比如功率是否超設(shè)備極限、變壓器是否過載、SOC是否在安全區(qū)間內(nèi)。如果校驗(yàn)不過該動(dòng)作會(huì)被攔截系統(tǒng)自動(dòng)切換到預(yù)設(shè)的規(guī)則策略比如SOC過低時(shí)禁止放電。這個(gè)回退機(jī)制在多次真實(shí)項(xiàng)目里救了場。有一次智能體在極端天氣場景輸出了異常動(dòng)作安全校驗(yàn)層直接攔截并切換到保守策略避免了設(shè)備過載。事后分析發(fā)現(xiàn)是訓(xùn)練數(shù)據(jù)里缺乏類似的極端樣本。所以我的建議是上線初期一定要保留規(guī)則兜底等策略在真實(shí)工況上跑穩(wěn)了再逐步放開控制權(quán)限。4.3 安全約束與可解釋性調(diào)度系統(tǒng)的用戶是調(diào)度員和運(yùn)維人員他們天然信任看得懂的決策。神經(jīng)網(wǎng)絡(luò)給出的動(dòng)作即使最優(yōu)如果沒有解釋也很難說服人。這是很多DRL項(xiàng)目試點(diǎn)失敗的原因——不是技術(shù)不行是業(yè)務(wù)側(cè)不買賬。我們的做法分兩層。第一層在框架里預(yù)置規(guī)則校驗(yàn)邏輯調(diào)度決策層能輸出動(dòng)作通過/被攔截/被修正的狀態(tài)標(biāo)記第二層要做影子對(duì)比。具體操作是策略模型上線后先不直接控制設(shè)備而是與現(xiàn)有規(guī)則策略并列運(yùn)行一段時(shí)間。策略給出建議動(dòng)作規(guī)則策略執(zhí)行實(shí)際動(dòng)作系統(tǒng)記錄兩者的差異和預(yù)期收益。這樣調(diào)度員可以直觀地看到如果用了DRL建議今天能省多少錢信任感就是這么一點(diǎn)一點(diǎn)建立起來的。此外框架還配置了人工接管入口。調(diào)度員可以一鍵切換為手動(dòng)模式也可以對(duì)某一條指令打回修改。這個(gè)功能看似簡單但對(duì)項(xiàng)目推進(jìn)的價(jià)值極大——它讓業(yè)務(wù)側(cè)覺得系統(tǒng)是可控的、可干預(yù)的而不是一個(gè)黑盒說了算。5. 指標(biāo)評(píng)估與調(diào)優(yōu)實(shí)踐訓(xùn)練完模型、部署上系統(tǒng)還遠(yuǎn)沒有結(jié)束。怎么科學(xué)地評(píng)估調(diào)度策略的優(yōu)劣怎么持續(xù)調(diào)優(yōu)是框架能否長期運(yùn)行的關(guān)鍵。5.1 關(guān)鍵指標(biāo)體系評(píng)價(jià)一個(gè)能源調(diào)度策略不能只看一個(gè)成本數(shù)字。我用的指標(biāo)體系分成四類經(jīng)濟(jì)性指標(biāo)調(diào)度周期內(nèi)的總運(yùn)行成本、購電量、售電量、單位電量成本。這是最核心的指標(biāo)也是業(yè)務(wù)方最關(guān)心的。安全性指標(biāo)約束違反率、越界次數(shù)、設(shè)備過載時(shí)長。安全性指標(biāo)必須為0或無限接近0任何一項(xiàng)非零都意味著策略還沒有資格上線。響應(yīng)性能指標(biāo)單次決策時(shí)延、數(shù)據(jù)鏈路完整率、故障切換時(shí)間。這些指標(biāo)衡量系統(tǒng)本身是否可靠可用。運(yùn)行質(zhì)量指標(biāo)儲(chǔ)能SOC分布合理性、動(dòng)作平滑度、啟停次數(shù)。這些指標(biāo)影響設(shè)備壽命和長期運(yùn)行穩(wěn)定性。建議每個(gè)指標(biāo)都做成周期報(bào)告至少每周評(píng)估一次。不要只在訓(xùn)練結(jié)束時(shí)看一眼因?yàn)檎鎸?shí)運(yùn)行數(shù)據(jù)會(huì)持續(xù)累積策略性能可能隨時(shí)間漂移。5.2 從仿真到線下的驗(yàn)證流程模型從訓(xùn)練完成到真正接管調(diào)度中間必須經(jīng)過多層驗(yàn)證。我們框架里的標(biāo)準(zhǔn)流程是第一步離線回放評(píng)估。用歷史數(shù)據(jù)運(yùn)行策略對(duì)比策略動(dòng)作與歷史實(shí)際動(dòng)作計(jì)算如果采用策略動(dòng)作事后復(fù)盤成本能降低多少。這一步能快速發(fā)現(xiàn)明顯問題。第二步多場景壓力測試。統(tǒng)計(jì)歷史數(shù)據(jù)里的極端場景連續(xù)高溫、寒潮、暴雨、電價(jià)尖峰單獨(dú)切出來測試策略表現(xiàn)。如果策略在這些場景下出現(xiàn)頻繁越界說明訓(xùn)練數(shù)據(jù)覆蓋不足需要針對(duì)性補(bǔ)充或做數(shù)據(jù)增強(qiáng)。第三步影子模式試點(diǎn)。如前面所說與現(xiàn)網(wǎng)規(guī)則策略并列運(yùn)行收集實(shí)際對(duì)比數(shù)據(jù)。建議至少跑2到4周覆蓋不同的天氣和負(fù)荷模式。第四步有限權(quán)限接管。先讓策略控制一小部分設(shè)備比如只控制儲(chǔ)能其他設(shè)備仍走原規(guī)則。逐步驗(yàn)證沒問題后再放開可調(diào)負(fù)荷、機(jī)組等更多控制對(duì)象。這套流程雖然走得慢但每一步都有數(shù)據(jù)和業(yè)務(wù)側(cè)的確認(rèn)最終上線時(shí)基本不會(huì)出大問題。反過來說我見過一些項(xiàng)目跳過了影子模式直接從仿真上線結(jié)果第一個(gè)月就遭遇極端天氣策略頻繁被回退邏輯接管業(yè)務(wù)側(cè)對(duì)DRL的印象一落千丈。5.3 參數(shù)調(diào)優(yōu)的經(jīng)驗(yàn)DRL調(diào)度系統(tǒng)的調(diào)參我的建議是按順序來不要一上來就去調(diào)學(xué)習(xí)率。第一步確認(rèn)環(huán)境邏輯正確。包括設(shè)備模型、約束判斷、獎(jiǎng)勵(lì)計(jì)算是否和物理規(guī)則一致。環(huán)境錯(cuò)了后面全是無用功。第二步確認(rèn)獎(jiǎng)勵(lì)函數(shù)合理。把各項(xiàng)獎(jiǎng)勵(lì)單獨(dú)打印出來看看每個(gè)時(shí)間步的構(gòu)成是什么有沒有某一項(xiàng)長期為0或長期占據(jù)主導(dǎo)。我還見過獎(jiǎng)勵(lì)寫錯(cuò)符號(hào)的情況——把成本和收益加反了策略反而學(xué)會(huì)了最大化購電成本這種錯(cuò)誤在純看訓(xùn)練曲線時(shí)很難發(fā)現(xiàn)。第三步才是算法超參數(shù)。常用區(qū)間我整理了一份參考超參數(shù)常用區(qū)間備注學(xué)習(xí)率1e-4 ~ 3e-4Adam優(yōu)化器下常用batch size128 ~ 512過大容易不穩(wěn)定replay buffer1e5 ~ 1e6按采樣頻率調(diào)整折扣因子γ0.95 ~ 0.99調(diào)度周期越長γ越接近1目標(biāo)網(wǎng)絡(luò)軟更新系數(shù)τ0.005 ~ 0.01過大會(huì)抖動(dòng)還需要注意調(diào)度問題的時(shí)間尺度會(huì)影響γ的選擇。如果是分鐘級(jí)調(diào)度、關(guān)注全天成本γ就應(yīng)接近1讓智能體學(xué)會(huì)為長遠(yuǎn)利益做規(guī)劃如果只需應(yīng)對(duì)未來1小時(shí)γ可以適當(dāng)降低減少梯度傳播步數(shù)訓(xùn)練更穩(wěn)定。6. 框架設(shè)計(jì)之外我積累的實(shí)操體會(huì)最后聊點(diǎn)框架文檔里不會(huì)寫的東西。第一個(gè)體會(huì)是環(huán)境模擬器的保真度決定了整個(gè)項(xiàng)目的天花板。我在前幾個(gè)項(xiàng)目里犯過同樣的錯(cuò)誤——花大量精力調(diào)算法卻忽視了環(huán)境模型的細(xì)節(jié)。結(jié)果是在仿真里表現(xiàn)優(yōu)異的策略到了真實(shí)系統(tǒng)上因?yàn)楦鞣N沒建模的物理約束表現(xiàn)平平。后來我把一半以上的時(shí)間投入到環(huán)境細(xì)節(jié)上電池的充放電效率曲線、溫度對(duì)出力影響、通信延遲帶來的指令滯后這些才是在真實(shí)系統(tǒng)里拉開差距的地方。第二個(gè)體會(huì)獎(jiǎng)勵(lì)函數(shù)要花最多的時(shí)間去打磨而且一定要讓業(yè)務(wù)方參與設(shè)計(jì)。業(yè)務(wù)方對(duì)什么行為是好行為的直覺往往比算法工程師自己琢磨更準(zhǔn)確。比如他們可能會(huì)告訴你儲(chǔ)能SOC盡量別低于30%雖然理論上10%也能用但真到10%我們心里發(fā)慌。這類需求不寫進(jìn)獎(jiǎng)勵(lì)函數(shù)策略永遠(yuǎn)不會(huì)自己學(xué)會(huì)。第三個(gè)體會(huì)永遠(yuǎn)保留人工接管和規(guī)則兜底的能力。這不是對(duì)DRL沒信心而是工程系統(tǒng)的基本素養(yǎng)。再好的模型也有盲區(qū)再聰明的智能體也有可能遇到?jīng)]見過的場景。規(guī)則兜底不是失敗而是系統(tǒng)設(shè)計(jì)的一部分。把它做得好、做得流暢這個(gè)項(xiàng)目的壽命才夠長。第四個(gè)體會(huì)從規(guī)則出發(fā)做漸進(jìn)式替換是DRL調(diào)度項(xiàng)目落地的最優(yōu)路徑。最開始時(shí)用規(guī)則策略控制一切DRL只做影子建議積累足夠數(shù)據(jù)后讓DRL先控制單一設(shè)備穩(wěn)定后再擴(kuò)大范圍。這樣的節(jié)奏對(duì)技術(shù)、對(duì)團(tuán)隊(duì)信心、對(duì)業(yè)務(wù)接受度都更友好。我之前帶過的項(xiàng)目里采用漸進(jìn)路徑的反而比一步到位的更早實(shí)現(xiàn)了全自動(dòng)化調(diào)度。面向能源系統(tǒng)的深度強(qiáng)化學(xué)習(xí)調(diào)度框架本質(zhì)上是一套把數(shù)據(jù)—環(huán)境—算法—工程串起來的系統(tǒng)方法。它的價(jià)值不在于用了多先進(jìn)的算法而在于能不能把每個(gè)環(huán)節(jié)做扎實(shí)讓策略在真實(shí)世界里穩(wěn)定地省錢、守規(guī)矩、可解釋。如果你的項(xiàng)目正在從傳統(tǒng)優(yōu)化往智能決策轉(zhuǎn)型建議從一個(gè)小場景、一個(gè)單設(shè)備控制開始跑通上述鏈路再逐步擴(kuò)大邊界。這條路走通之后你會(huì)看到DRL在能源調(diào)度場景里真正可落地的力量。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
狠狠噪| 丁香五月影院| 日日操夜夜爽白洁| 丁香五月激情综合婷综| 2018国产大陆天天弄| 久热这里只有精品99re| 激情五月亚洲综合网| 99热超| 性爱视频久久| 超碰在线人妻| 婷婷涩涩五月天| 天天拍久久| 色天堂97| 丁香五婷| 婷婷五月色花丁香社区| 第九色区av天堂| 久久丁香久久| 综合在线丁香五月| 亚洲欧洲99| 97人人操人人拍| 9色在线| 丁香六月亚洲综合| 国产日韩欧美性生活| 99久久高清视频| 久久视频在线视频| 久久综合中文| 99视频35精品视频在线观看| 激情五月天开心| 情情五月天色| 亚洲人妻一区二区| 五月婷婷视频ab| 夜夜骑日日操| 三区激情四射av| 大香蕉五月婷婷| 91se视频| 婷婷伊人综合| 91seAV| 777米奇影视第四色| av中文在线| 久草五月天| 色婷婷婷综合五月天| 丁香五月网| 97五月婷| 91尤物九色在线| 五月婷婷色色| 99热官网| 国产精品久久久爽爽爽麻豆色哟哟 | 丁香女人五月天| www.maotanji.com| 色婷婷AAA| 99久在线精品99re5热视频| 九九九九精品精| 婷婷伊人网| 五月丁香婷婷欧美| 久久亚洲婷婷| 欧美性做爰大片免费看办公室 | 激情五月天小说视频| 天天操夜夜爽天天操| 99黄色在线视频精品熟女| 91猫咪国产在线播放| 国产精产国品一二三在观看| 91在线日| 激情综合久久| 丁香六月婷婷操逼网| 青青草国产亚洲精品久久| 国产精品久久欧美久久一区| 91制片厂久久久国产电影| 操大屄五月天视频| 五月天婷婷社区久久综合| .comwww在线观看免费操| 免费碰碰视频久| 99精品视频在线观看| 激情五月丁香五月| 色操综合| 日本99在线| 欧美成人AAA片一区国产精品| 婷婷成人视频| av中文字幕免费观看| 精国产品一区二区三区A片| 91丨九色丨43老版熟女| 91人碰| 懂色av粉嫩av蜜臀av| 亚洲V国产V欧美V久久久久久| 97色干在线观看| 操碰色一区就去操| 人人操97| 久久久精久人妻| 五月婷六月婷婷| 99亚州综合精品成人网| 色五月婷婷基地| 九九热在线99| 美女要搞搞天天搞搞搞网站| 色综合伊人网| 人妻少妇色综合| 少妇AB又爽又紧无码网站| 丁香五月播播| 一本大道伊人AV久久综合| 色色欧美色色色| 亚洲欧美成人在线观看| 色欲九区| 久久欧洲综合网| 伊人五月综合网| 开心激情网五月天| 狠狠久综合| 99色6爱9热| 五月婷婷九| 婷婷五月精品中文字幕| 色图亚洲91| 久久电影4399| 五月婷婷网站| 色婷婷丁香五月| 色色图五月天| 天堂五月婷婷| 人妻熟妇国产精品| 六月丁香天堂| 99成人无码| 亚洲成人av在线播放| 色噜噜婷婷| 99在线一区| 国产色丁香| 思思热精品在线观看| 五月色网| 久久五月天色婷婷| 激情五月影院| 老师高潮流白浆喷水的A片| 情色婷婷五月天| 婷丁香五月天| 色色色9| www.九月婷婷丁香.com| 久久婷婷五月综合激情国产| 伊人在线视频| 日本色道视频网站| 综合激情五月婷婷| www亚洲无码| 天天插天天插天天日| 激情婷婷六月天| 久久99综合| 天天插天天射天天干| 五月综合亚洲| 97高清国语自产拍| 天天爽成人综合网站| 五月丁香婷婷免费视频| www.夜夜爱.com| 久久99激情| 婷婷五月色综合| 抽插特写| av性爱网站| 中文字幕丰满孑伦无码专区| 五月婷婷六月丁香激情综合网| 人妻久热| 91婷色| 久色欧美| 九九久久精品國產| 五月亭亭直播| 欧美亚洲成人在线| 伊人色综合网| 五月天天综合| 综合久久综合久久| 丁香五月激情棕合| 99在线精品观看99| 玖玖国产视频一区| 另类天堂| 日本特黄aaaaa| 五月丁香久久| 天天爽—爽| 久草五月天| 丁香六月激情四射| 五月天色社区| 思思热久在线观看视频| 久草热8精品视频在线观看| 狠狠色五月激情| 久久综合婷婷| 日本婷婷综合精品| ..真实国产乱子伦毛片| 操人妻视频91| 色色色婷| 婷婷色影院| 五月天婷婷xxx| 99久视频| 丁香五月激情六月综合| www.婷婷久久五月天| 天天爽综合| 青青草婷婷五月天| 五月丁花六月丁香综合| 久久久性爱网| 99热超碰| 玖玖资源网站最新站| 国产真实乱了老女人视频| 久久视频婷婷视频| 色五月激情网| 久久久精品人妻录| 99热99操| 五月综合久久| 丁香五月,激情五月,深爱五月| 国产成人AV不卡| 韩国久久少妇视屏| 91人操| 久热九九| 秋霞影音91人妻久久| 99精品丁香五月| 丁香婷婷成人在线播放| AV在线免费播放| 色五月激情婷婷| 888精品福利地址| 亚洲中文字幕在线观看| 丁香五月电影| 丁香五月在线伊人| 六月婷婷操逼| 六月丁香啪啪啪| 激情婷婷人妻| 伊人婷婷色| Av大香蕉| 丁香六月天堂| 五月天婷婷激情网| 成片免费观看大全| 99精品在线观看| 五月丁香六月欧美| 国产成人网站在线观看| 熟妇高潮一区av| 丁香六月婷婷色播| 这里只有精品99www| 一级性爱大片| 亚洲亚洲人成综合网络| 夜夜大香蕉婷婷丁香| 五月婷婷中字在线| 日本精品干| 色五月丁香五月| 内射激情在线| 91九色国产| 亚洲精品国产A久久久久久| 五月丁香六月婷婷亚洲综合| 人人色性网| 婷婷五月天AV在| 五月开心久久| 操逼巨乳91| www.精品99| 五月天婷婷丁香人人操91| 色婷五月天| 婷婷四色成人综合色视| 六月激情久久婷婷| 国产精品人妻欲求不满| 色综合色综合色综合| av中文在线| 这里只有精品视频一区| 亚洲精品乱码久久久久久综合| 五月婷久草| 国产激情综合五月久久| 婷婷六月天天| 激情五月六月婷婷| 五月婷婷欲色| 六月伊人婷婷| 亚洲国产精品五月天| 婷婷久久在线| www.夜夜爱.com| 99精品网| 五月激情婷婷丁香| 久久总和99| 婷婷五月天六月| 人妻性操逼中文字幕 国产| 免费超碰在线| 亚洲成人网址在线观看| 中文字幕乱码亚洲精品一区| 五月婷婷五月| 丁香婷婷色五月| 丁香五月成人社区| 日本玖玖在线| 乱精品一区字幕二区| 成人短视频在线| 日本色视| 激情www| 婷婷之六月丁香| 久热久色| 丁香五月婷婷深爱综合激情| 婷婷丁香五月综合| 国产激情AV| 九伊人网| 99人人操人人操人人精| 色婷婷91| 狼人婷婷综合| 天天插天天射天天干| 就爱日五月天| 另类婷婷五月天啪帕帕| 欧美黄色一级| 五月婷av| 狠狠色九月| 九九色黄色| site:ornaments52.com| 久久av电影| 色婷婷久久综合久色| 婷婷久久五月| 99激| 亚洲人妻一区二区| 色噜噜婷婷| 色色色色色色色色色999| 26uuu美女三级视频| 六月丁香久久| 五月天婷婷午夜丁香| 日韩婷婷| 天天草人人摸| 激情五月婷婷综合视频| 色丁香五月婷婷在线| 久热这里只有精品66| 亚洲 激情 中文| 国产99精品免费视频| bbwcuckold精品熟妇| 开心婷婷五月激情网小说 | 九九色中文| 99碰碰碰| 丁香五月婷婷亚洲色图| 91啪啪视频| 五月丁香婷草| 五月婷婷xxx| 人人色人人摸人人看| 综合亚洲六月婷婷在线| www.99热国产| 激情小说之五月| 午夜精品777| 欧美激情2025| 夜夜干 夜夜操| 99热这里精品| 碰97久久| 97人人射| 色九月综合网| 久久综合中文| 五月婷久久| 五月婷深深爱激情网| 亚洲丁香五月在线观看| 国产精品电影网| 六月婷婷综合| 中文字幕按摩做爰| 中文字幕综合色| 人妻激情视频| 99热这里在线精品| 伊人色综在线| 五月丁香操婷逼| 丁香五月欧美| 久热精彩视频98| 色色色色色五月| 久久性操| 五月丁香欧美综合免费视频| 99综合自拍| 五月丁香啪啪| 欧美一级a| 69色婷婷| 色综合播放| 狠狠五月激情丁香六月| 91精品久久久久久久| 久草五月| 狠狠情色| 天天插夜夜爽| 色偷偷色婷婷| 六月成人网| 日本网站久久| 亚洲精品乱码久久久久久综合| 久久久久久久久久人妻| 色五月激情综合网| 亚洲精品九九| 亚洲色网络| 综合色七七| 干一干xxxx| 天天综合色丁香| 99亚洲无码| 色99在线视频| 99艹精品在线观看| 成人精品一区二区三区四区五区| 97热这里只有精品| 中文字幕日产A片在线看| 亚洲韩国日产综合AV| 五月激情网站| 日日插日日干| 国自产拍偷拍精品啪啪一区二区| 99在线视频免费| 婷婷九月激情网| 99久精品视频| 日韩AV在线免费| 97色色色色色色色| 久久人妻伊人| 亚洲精品国产熟女久久久| www热久久yy9| 色五月婷婷内射| 日本人妻A片成人免费看片| 99热人人艹| 激情五月婷黄版| 婷婷网五月天| 99国产97在线,| 久久这里只有精彩| 碰97久久| 九九色中文| 天天色·欧美| 欧美日韩99| se婷97| 天天做天天爰天天爽天天无遮挡| 婷婷五月丁香五月| 日韩色五月| 婷婷五月天激情五月天| 丁香五月日本| 五月丁香婷婷色| 91九九精品| 丁香六月中文| 伊人色综合网| www,五月天com| 五月丁香好婷婷A片网| 婷婷热色| 五月婷婷啪啪网| 精品一二三区久久AAA片| 99热这里只有精品1025| 婷婷色操| 婷婷五月日本| 婷婷丁香激情综合色情| 色久影院| 国产九九一区二区三区| 婷婷六月天激情| 婷婷五月天 丁香五月天 裸体| 99热99在线| 青草五月天| 综合激情在线视频| 婷综合| 91精品综合久久婷婷九色| 天天五月天综合网址| 久久六月婷婷| 激情九九综合网| 午夜天堂一区人妻| 激情婷婷五月基地| 久9热插入| 九色色| 99免费超碰在线| 婷婷五月天xxx| 九九在线视频| 99re热久久| 风流少妇A片一区二区蜜桃| 日日干五月天婷婷| 99人妻碰碰久久久禁片| 深爱激情网综合| 九月丁香网婷婷| 激情五月婷婷综合视频| 91操黄| 五月丁香在线婷婷美女| 99玖玖人人| 色综合五月| 婷婷 伊人 久久| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 婷婷六月久久| 综久久久| 影音先锋一区二区三区| 六月色日韩| 丁香五月婷婷亚洲综合精品| 伊人五月天综合网| 亚洲亚洲人成综合网络| 丁香五月亚综合图片| 激情综合网婷婷五夜| 热思思| 综合激情专区| 99热在线只有精品| 五月婷婷色丁香| 色婷婷网大全在线| 五月天激情网图片| 99精品激情| 高清一区二区三区日本久| 99久久精品网| 五月婷婷深深爱| 996er热| 亚洲综合丁香婷婷六月天| 激情综合文学| 亚洲综合色色| 亚洲色情一区二区三区四区| 大香蕉太香蕉视频97| 中文字幕AV网址| 久久五月婷婷电影| 色九月综合| 91操在线视频| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | www.射伊蕉婷婷| 婷婷丁香五月亚洲17cao| 5月婷婷六月丁香| 欧美婷婷综合网| 九九综合九九| 人妻操在线看| 九九热超碰| j五月香在线| 99re这里只有| 91精品电影18T| 五月天婷婷色色首页| 日本啪啪网| 色婷婷五月天天天做| 91久草五月天婷婷| 色色婷婷综合| 日韩色色视频| 六月丁香五月婷婷| 欧美婷婷五月天综合| 黄色片区子| 婷婷五月天天| 色色激情| 噜噜视频| 色综合日日| 久热大香蕉| 激情影院69| 激情五月天小说网| 丁香婷婷五月六月久久| 人妻精品久久久久久久| 五月婷婷激情四季| 国产精品久久..4399| 婷婷五月天av小说| 91狠狠综合久久| 六月婷婷激情| 丁香婷婷婷五月| 婷婷综合激情五月中文字幕| 九九色色网| 99热每日| 丁香五月婷婷免费视频| 色综合久| 九色PORNY9l原创自拍| 日日噜狠狠色| 五月天婷婷永久免费视频| 色婷婷电影网| 玖玖爱综合网| 色情五月天丁香社区| 久99在线| 91精品激情9| 五月丁香六月婷婷啪啪| 婷婷五月天久久久| 五月丁香婷婷色色| 超碰人人99| 欧美成人精品老美女噜噜噜| 色操b| 五月丁香亭亭成人电影| 久久综合九九| 中文字幕婷婷| 91欧美| 五月丁香综合激情网| 日韩成人电影av| 激情色情五月天| 久爱综合| WwW色婷婷| 婷婷综合视频| 亚洲av| 国产乱人偷精品人妻A片| 丁香五月婷婷啪啪| 五月丁香激情啪啪| 99热免费精品| 丁香六月婷婷综合| a在线观看| 九九热在线视频| 五月婷婷五月| 丁香五月天啪啪| 色噜噜综合网| 性av| 日韩av在线播放综合网| 婷婷五月综合社区在线| .青娱乐天天操B| 91干婷婷| 国产女人十八水真多1| 99久久婷婷精品视频| www.seqingwuyuetian| 影音先锋自拍网| 久久久久亚洲AV综合| 中文字幕免费高清电视剧| 国产SUV精品一区二区6| 五月婷婷 婷婷五月 一区二区 久久久 | 99色在线视频| 色哟哟精品| 99热e| 99热主页日本| 婷婷丁香十月| 五月色情| 极品五月天| 一区二区三区四区牛| 中文字幕无码成人电影| 婷婷人人操| 丁香婷婷五月激情| 日本综合久| 五月丁香综合网色欲| 亚洲中文字幕网| 99热色无码| 99热在线免费观看精品| 欧美综合五月丁香六月婷| 男人的天堂五月丁香| 久久久精品色色色| www.maotanji.com| 日韩啪啪视频| 亚洲国产精品VA在线看黑人| Av在线不卡一区| 成人电影在线免费试看| 天天操天天日天天爱| 玖玖在线资源视频| 中文字幕色色| 99热在线中文字幕| 无码少妇高潮喷水A片免费| 色婷婷网大全在线| 91狠狠色色丁香婷婷综合久久| www.激情五月天。com| 91精品国产综合久久密臀| AV性爱网| 五月综合视频| 1234操逼网| 久久九九综合| 久久久久人妻中文| 日韩另类| 天堂在线观看视频| 51XX午夜影福利| 五月天色婷婷小说| 9久久久久| 亚洲乱码日产精品BD| 日韩无码性爱| 综合久色五月| 久久精彩视频| 中文字幕日本最新乱码视频| 婷婷五月综激情| 678五月丁香亚洲综合| 超碰AAAAAAV| 五月婷婷成人| 五月婷婷影视| 操操操www.com| 亚洲激情婷婷| 欧美成人精品A片免费一区99 | AV在线收看| 五月天第四色开心色播| 亚洲狠狠干| 99热9| 一起草av在线观看| 天天做天天要天天爱| 色五月激情婷婷| www.色婷婷.com| 成人丁香五月婷| 五月婷高清视频| 婷婷五月天亚洲综合| 97色婷婷| 狼人狠狠操| 婷婷射婷婷舔| 欧美性做爰大片免费看办公室| 2021日韩无码| 婷婷综合五月色播| 色999五月色| 五月婷婷导航| 婷婷五月伦理网站| 99精品成人无码A片观看金桔| www91在线| 国精产品一区二区三区| 思思热在线| 色婷婷综合久久久久| 五月色天情| 99热久久这里只有精品| 超碰91在线| 丁香五月婷婷香| 国产精产国品一二三在观看| 激情五月天在线观看色婷婷| 色色狼人综合| 丁香婷婷色九月| 亚洲最大五月天成人网| 少妇高潮呻吟A片免费看软件 | 做爰丰满少妇1313| 伊人青草成人| 五月天综合久久| 六月丁香综合| 日熟女| 激情综合五月色丁香婷婷 | 任你日视频| 日本色婷婷| 开心五月婷婷伊人| 第四色首页| 狠狠婷婷日韩| 人人视频色| 婷婷9月天| 五月综合激情综合久| 性做久久久久久久免费看| 五月婷婷在线丁香| 五月天综合视频| 色五月丁香五月| 婷婷激情性爱| 欧美日韩成人| 婷婷六月色| 99久久精彩视频。| 色噜噜狠狠色综无码久久合欧美| 啪啪综合网| 性色五月天| a色色色色色| 五月婷婷片| 人人草成人视频| 人人草人人舔| 五月深爱婷婷| 综合色在线| 久久午夜理论| 婷婷丁香无码专区| 婷婷六月丁香欧美视频在线| 2015超碰| 婷婷综合网| 深爱婷婷基地| 国产日韩精品SUV| 另类五月婷婷| 午夜精品久久久久久久爽| 色婷婷五月婷婷五月婷婷五月| 五月天丁香婷婷网| 操日挥操日日| 男人視頻站| 99精品视频偷拍| 婷婷五月天av| 久久久天堂国产精品女人| 婷婷五月天深爱| 国产av天天插天天操天天爽| 99热色精品| 中文字幕成人| 江苏少妇性BBB搡BBB爽爽爽| 激情五月天免费视频| 欧洲区自拍| 婷婷五月综合社区| 操操操av| 亚洲色频| 日本人妻A片成人免费看片| 九九色精品| 蜜桃人妻无码AV天堂三区 | 91丨人妻丨国产丨丝袜| 婷婷五月天激情小说| 开心婷婷五月激情网小说 | 丁香五月婷婷呀| 99九九热播在线免费视频| www.色九月| 婷婷丁香色五月天久久88| www久久久久久久久久久久久久久久久| 丁香五月手机在线| 天天日天天插天天操| 中文字幕按摩做爰| 五月天久久网站| 日本综合久| 超91热| 91碰| 亚洲婷婷乱乱丁香| 五月丁香久久呀| 久久激情视频| 色五月婷婷内射| 色色激情网| 校园春色亚洲色| 97人人操人人爽| 色婷婷丁香五月丁香| 色婷婷色综合激情91| 91精品综合久久久久久五月丁香| 婷婷深爱五月丁香| 亚洲色色在线| 五月天激情啪啪| 噼里啪啦完整版中文在线观看| 激情五月天在线免费美女视频| av婷婷丁香 六月| 3p久久| 欧美色男人网站| 婷婷成人综合| 五月综合无码| 国产欧美日韩一区二区三区| 色婷婷9| 色综合99无码| 综合色99| 激情综合网五月丁香| 久久婷婷一级片| 丁香五月,开心五月,成人婷婷| 久久天堂女人| 欧美顶级少妇做爰HD| 五月停停999| www激情| 超碰AAAAAAV| 亚洲无码另类| www.精品久9| 五月婷婷久久大片| 99热精品在线播放| 婷婷五月天影院| 天天操婷婷| 成人网丁香五月| 中文人妻主播久久| 99色婷婷视频| 91久久1118| 9999热在线免费观看| 婷婷干| 少妇人妻人伦A片| 五月天成人小说| 欧美大道不卡| 五月激情站| 天天干天天爽天天操| 天天做综合| 天天射夜夜爽| 五月婷亚洲精品AV天堂| 久久多色| 五月婷婷激情| 色色五月天丁香婷婷| 99ri视频在线观看| 久久ri精品视频| 日韩久久成人| 毛片九九九九九九九九18| 国产精品激情AV久久久青桔| 综合久久99| 久99久视频| 久久久网站| 色婷婷久久| 色5月婷婷色| 色五月天丁香婷婷| 丁香五月婷婷偷拍| 色婷婷偷拍| 天天日日夜夜| 六月婷婷啪啪| 婷婷欧美综合| 丁香五月色网| 伊人婷婷大香蕉| 五月婷婷之美女图片| 色婷婷五月天不卡| 久久婷婷操| 婷婷开心激情五月激情网| 激情九九综合网| 丁香五月欧美婷婷综合| 99网| 艹B高清无码| 婷婷酒色网| 五月婷婷,狠狠操| 香蕉久久六月| 五月丁香日本在线视频观看| 激情五月天在线观看色婷婷| 五月婷婷综合激情| 五月花婷婷最新| 五月婷婷丁香色播网| 激情五月婷婷综合网| 思思热精品在线观看| 亚洲va在线∨a天堂va欧美va| 天天插天天很| 婷婷综合网站| 99热免费在线| 色色操| 国产精品久久久久久久久久| 狠狠干天天日| 国产肥白大熟妇BBBB视频| 一本狠婷婷综合| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 99re26视频| 成人丁香婷婷五月天| 婷婷久久丁香| 超碰chaompinm| 91久久久久久| 91久久网站| 五月丁香六月激情综合| 六月丁香婷婷视频综合在线观看| 婷婷色五月亚洲| 丁香五月激情无码视频| 国产亚洲精品久久一区二区三区| 99热综合| 激情综合网激情五月婷婷| 色约约视频一区二区三区四区五区| 色伊人婷婷| 六月丁香婷婷网| 操人妻视频91| 国产亚洲99久久精品| 色播五月网| 最新无码专区| Www99热| 美女天天艹人人爽| 五月婷婷丁香狠狠撸久久| 五月丁香久人妻中文| 国自产拍偷拍精品啪啪一区二区| 久草网大香视频| 梁铮版《蜘蛛女侠》在线| 99爱精品视频| 午夜大香蕉| www.金莲av| 色一情一乱一乱一区91| 六月丁香婷婷色69| 五月婷婷五月天| 国产麻豆视频| 激情婷婷| 久热只有精品| 日韩一级一片内射视频4K| 超碰a女人的天堂| 九九视频这里只有精品在线播放 | 国产精品久久久丁香五月八戒视频| 无码髙清| 97激情五月天| 91久久五月天| 九九9久九9国产视频| 超碰精品在线| 俺去也五月天婷婷| 国产成人一区二区三区在线观看| 婷婷五月色情| 色婷婷亚洲婷婷| 17.c黄色| 嫩BBB槡BBBB搡BBBB| 天天综合久久| 日日操,夜夜撸| 99啪啪| 色婷婷AV在线| 日韩av网址大全| 99热在线观看| 日韩成人无码人妻| 99热这里只有在线| 五月婷婷综合网| 日韩欧美老妇性视频91久久久| 日韩成人精品中文字幕| 五月天婷婷丁香社区| 久久婷婷五月综合| 另类图片天天影视在线观看| 综合色五月| 亚洲第一成人AV| 色七色九九| 99热只有这里有精品| 婷婷综合日本| 欧美爆乳一区二区三区| 极品少妇XXXX精品少妇偷拍| 大香蕉五月天婷婷| 狠狠色成人影片| 久久丁香婷| 天天日日人| 91一起艹| h亚洲| 婷婷五月天久久久| 99久久国产宗和精品1上映| 91偷拍视频| 新激情五月天天在线网| 日本色超碰| 久热这里只有精品66| 99热个人在线| 婷婷她六月天| 99热这里全是精品| 九九综合网色全集| 久久五月丁香| 婷婷五月天AV在线| 五月婷婷六月丁香五月| 九九精彩久久| 亚洲综合色色| 激情文学综合婷婷五月天丁香花| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 99热| 六月激情婷婷色| 色色无码| 丁香五月自拍| 九九热AV| 五月丁香激情综合啪| 色五月婷婷网| 婷婷 激情 五月| 成人婷婷色综合| 狠狠五月天婷婷激情网。| 欧美性爱专区| 激情婷婷五月社区| 超碰爱爱爱| 玖玖99免费视频| 丁香婷婷超碰| 99精品在线播放| 无码se| 亚洲乱码日产精品BD| 色五月丁香激情视频| 亚洲狠狠色丁香婷婷综合久久| 久久这里只有精品16| 超碰在线资源| 综合网啪| 久久精品性爱视频,| 色999亚洲人成色| 97干婷婷五月天| 伊人大香蕉毛片| 五月天成人综合| 五月天色色网站| 九九热九九| 婷婷五月天色综合| 真实熟女-91九色| 天天肏在线观看| 五月婷丁香| 99热热热99精品婷婷| www久热com| 丁香五月天激情四射网| 五月丁香啪| 欧洲激情五月天婷婷| 成人国产网| 婷婷六月综合基地| 国产伊人五月天| 国产亚洲精品AAAAAAA片| 夜夜骑天天玩天天日| 天天综合久久| www.五月天| Va另类视频| 99热在线观看99| 超碰99在线| 99这里只有精品视频在线| 成人五月天。COM| 婷婷五月图片小说视频| 免费婷婷| 99ER热精品视频| 舔色婷婷| 久久久人妻不卡| 天天日天天肏天天奸| 天天日天天舔| 五月丁香婷婷在线综合蜜桃| 色五月色开心开心五月| 色丁香五月婷婷| 色婷婷色久综| 九九99精品视频| 欧美交换配乱吟粗大25P| 五月婷婷免费在线视频| 开心六月婷| 丁香五月天大香蕉啪啪| 91超级碰| 丁香五月天的网址。| 天天性视频| 玖玖综合色区在线观看| 丁香五月婷久久| 色5月婷婷| 婷婷丁香69精华| 久久亭亭电影| 天天肏夜夜肏| 另类激情首页| 色婷婷在线视频久| 91色吧网| 乱精品一区字幕二区| 久99久在线观看| 欧美爆乳一区二区三区| 色婷婷综合网| 91疯狂操操操操| 亚洲精品久久久无码| 丁香婷婷五月激情综合| 九月丁香八月婷婷久久综合久97| 日日日日日| 欧美Va日本Va| 久久久8| 欧在线一区| 淫视馆aV二区一区| Www,五月天| 激情深爱婷婷网| 国精产品一区二区三区| 国产真实乱对白精彩| 免费亚洲婷婷中文字幕| 色婷婷丁香五月丁香| 欧美色99| 亚洲国产精品二二三三区| 色啪网| 99色免费观看全部| 婷婷五月天性| 99热免费精品热久久66| 成人AV中文字幕| 两性婷婷丁香五月| 午夜一区| 色婷婷超碰| 五月婷婷亚洲色视频| 五月天激情国产综合AV| 激情宗合哪里能看| 九九干视频| 一区二区你懂的| 九九精品免费| 丁香五月在线自慰| 五月激情久久| 亚洲综合色丁香五月天| 亚州激情网站无码| 婷色五月天| 国产97色在线| 亚洲黄3级片网站欧美| 婷婷丁香五月视频| 五月婷婷激情| 激情图片五月天| 天天综合网站| 五月开心久久| 五月色丁香激情| 成人婷婷五月| 国产日批视频| 天天干夜夜操A片| 久久亚洲婷婷综合色五月| 人人操AV| 九九热九九| 美女网黄| 色九九综合| 玖玖99免费视频| 夜夜骑天天操| 四月婷婷丁香五月| 亚洲成人婷婷| 五月婷婷香| 五月丁香激情综合网| 热99这就是精品视频| 国产这里只有精品| 五月天婷婷综合| 久久九九色| 五月婷婷激情五月| 五月天综合视频| 天天干天天干天天操| 婷婷五月色播| 91丨九色丨熟女丰满| www.99热视频| 香蕉操亚洲| 99精品在线播放| 在线另类| 成熟妇人A片免费看网站 | 九月婷婷| 欧美丁香婷婷天天操| 色在线免费观看| 人妻肉射免费观看| 99热在线观看免费中文| 久久久99视频| 丁香五月婷婷影院| 色婷婷亚洲六月婷婷中文字幕| AV在线免费播放| 久久看九九90| 伊人婷婷五月天| 色婷婷五月天激情在线观看| 久久久久久久人妻| 九九这里是免费的视频5| 丁香五月天五码婷婷| 成人视频一区| 久久久久久久久久久jjjj| 激情五月天噢美| 97色色综合| 开心五月深爱五月| 91日韩美女被插视频| 久热这里只有精品66| 另类专区在线观看| 九九超碰人人| 五月丁香花婷婷玉莉AV| 久久大香蕉| 五月婷啪| 久草热在线视频| 国产精产国品一二三在观看| 九九综合伊人| 麻豆雪千夏| 在线播放成人| 日日日影院| 国产乱人偷精品人妻A片| 99热99在线| 五月天婷婷基地综合网| 91亚洲视频| 婷婷色五月亚洲| 91久久婷婷| 色五月激情综合网站| 伊人六月丁香婷婷| 欧美成人精品A片免费一区99| 亚洲区视频| 任你日视频| 婷婷五月欧美| 26uuu91| 五月网站| 婷五月天在线草| 激情综合网五月| 久久精典| 超碰爱爱爱| 日本在线wwww| 丁香六月伊人| 99在线精品免费视频| 五月婷婷色播视频| 五月天综合网| 久操大香蕉| 九月丁香| 99综合久久| caop在线| 婷婷视频网| 超碰免费人人| 久热一本| 五月激情婷婷综合| 91超碰在线观看| 五月天成人综合| 国产91视频| 第四色五月天| 丁香五月婷婷啪啪| 97 A I色色| 六月丁香啪啪| 91操操| 丁香五月天啪啪| 亚洲免费看片| 人人操Av| 久久AAAA片一区二区| 亚洲AAA| 亚洲色无码A片一区二区麻豆| 提提热五月天婷婷| 丰满人妻妇伦又伦精品国产| 日日婷婷不卡| 色欲五月丁香| 开心五月深爱五月丁香五月激情五月| www.色色色com| 这里只有精彩视| 五月丁香婷婷视频| 婷婷色五月婷| 青草青草视频2免费观看| AV天堂淫乩| 日日影院 | 最新精品视频99| 91无码一区人妻A片蜜| 狠狠插狠狠| 久久婷婷东京热大香樵| 久久五月丁香| 久久色五月| 狠狠操综合| 五月激情精品视频| 婷婷久综合| 天天综合中文| 丁香五婷婷| 色婷婷丁香五月| 五月色婷婷综合丁香精品无遮挡| 亚洲春色奇米影视| 亚洲综合干| 久久爱综合| 丁香婷婷性久久| 欧美日朝成人| 内射干少妇亚洲69XXX| 天天干天天操天天干天天操天天干天天操| 五月激情婷婷偷拍| 99久超碰| 996er在线观看| 琪琪色五月婷婷老师| 五月丁香欧美在线| 婷婷六月综合基地| 五月天综合久久| renre人人操国产超碰在线| 丁香五月色情av| 97干在线播放| 五月天天丁香婷婷在线中| 国产99久| 六月婷婷综合激情| 99re这里只有精品免费| 黄色AAAAAAA| 大香蕉五月婷婷| 亚洲丁香五月美女| 在线观看视频1区| 婷婷五月成人| 久热2025无码| 91热在线观看视频| 五月婷婷六月情| 91精品婷婷国产综合久久| 国产XXXX搡XXXXX搡麻豆| 激情六月日韩| 97中文在线| aaaa久久| 婷婷色色五月| 人妻操在线看| 色五月天堂| 日日操夜夜擼| 五月激情综合美女久久| 天天综合网、天天综合色| 伊人久久丁香狠狠婷婷综合香蕉| 久婷婷婷| 五月丁香婷婷激情| AV动漫不卡无码免费| 丰满少妇猛烈A片免费看观看 | 98毛片| 婷婷日本在线| 99色综合| 99热在线免费| 丁香婷婷综合精品六月初| 狠狠色综合图片| 色吧五月婷婷| 久久久久人妻网址| site:wpjngj.com| 丁香五月婷婷色偷偷| 无码激情AAAAA片-区区| www久久久久久久97| www·五月天| 二色av| 91 九色大美女| 伊人99热| 九九精品视频在线观看| 久久五月丁香婷婷| www久久久久| 天天干天天拍| 26uuu国产| 综合久久五月| 九九99在线观看视频| 超碰色人妾| 综合av在线| 日韩狠狠色| 六月丁香婷婷在线波多| 九九久久综合| 激情五月天情色| 色色欧美。| 色色色色色色色色综合网| 婷婷丁香色五月| 亚洲春色奇米影视| 大香蕉五月丁香| 五月天俺去也| ji'qing'luan'ren'lun| 欧美激情综合| 色婷婷久久7777| 综合激情婷婷| www超碰| 亚洲综合五月天| 五月激情网综合| 婷婷成人五月天一区|