欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

強(qiáng)化學(xué)習(xí)破解多能源調(diào)度難題:建模、算法與工程實(shí)踐

強(qiáng)化學(xué)習(xí)破解多能源調(diào)度難題:建模、算法與工程實(shí)踐 1. 多能源調(diào)度問題的本質(zhì)為什么傳統(tǒng)方法開始吃力1.1 多能源調(diào)度到底在調(diào)度什么先說個背景。多能源調(diào)度不是單純的“電多了就少發(fā)點(diǎn)”而是把電力、熱力、燃?xì)狻δ?、新能源等不同能源形式放在一個系統(tǒng)里統(tǒng)籌安排。以典型園區(qū)為例來源包括光伏、風(fēng)電這類不穩(wěn)定的可再生電源還會有燃?xì)廨啓C(jī)、電鍋爐、儲電、儲熱甚至電轉(zhuǎn)氣負(fù)荷側(cè)則同時有電負(fù)荷和熱負(fù)荷。目標(biāo)是滿足這些負(fù)荷需求的前提下把運(yùn)行成本壓到最低同時兼顧碳排放約束和設(shè)備壽命本質(zhì)上是一個帶復(fù)雜約束的動態(tài)優(yōu)化問題。傳統(tǒng)方法做這件事靠的是建模加求解最常見的組合是混合整數(shù)線性規(guī)劃加滾動優(yōu)化。這個路線的問題很直接光伏出力隨機(jī)波動、電價隨市場變化、負(fù)荷預(yù)測有誤差再加上設(shè)備啟停狀態(tài)的離散變量模型稍微一復(fù)雜求解器就會非常吃力。即使勉強(qiáng)算出來往往也需要簡化約束而簡化之后得到的方案在工程上又不一定好用。強(qiáng)化學(xué)習(xí)切入的角度完全不同。它不依賴精確的未來預(yù)測也不要求把整個問題的數(shù)學(xué)模型寫得清清楚楚而是讓智能體在運(yùn)行過程中通過與環(huán)境的交互不斷學(xué)習(xí)策略。這就意味著面對光伏波動、電價突變這些不確定性智能體學(xué)到的是“應(yīng)對方式”而不是“擬合結(jié)果”。打個比方傳統(tǒng)方法像用地圖規(guī)劃一條最優(yōu)路線強(qiáng)化學(xué)習(xí)更像讓司機(jī)在實(shí)際道路上反復(fù)開車最終憑經(jīng)驗(yàn)知道什么時段走哪條路更穩(wěn)。1.2 傳統(tǒng)優(yōu)化方法的三座大山第一座是不確定性處理能力有限。光伏出力預(yù)測再準(zhǔn)也有誤差而基于預(yù)測的調(diào)度方案在誤差大的時候?qū)嶋H效果會顯著偏離預(yù)期。傳統(tǒng)方法常見的做法是魯棒優(yōu)化或隨機(jī)規(guī)劃但它們要么過于保守要么需要大量場景抽樣計算負(fù)擔(dān)很大。第二座是非線性約束難以處理。設(shè)備效率隨負(fù)載率變化、儲能充放電效率與功率水平非線性相關(guān)這些細(xì)節(jié)在傳統(tǒng)模型里要么線性化近似要么干脆忽略。我在做一個熱電聯(lián)產(chǎn)項(xiàng)目時就遇到過設(shè)備效率曲線帶明顯彎曲的情況線性近似之后算出的分配方案和實(shí)際能效差了不少最后只能換成分段線性建模求解時間也上去了。第三座是在線計算時間不足。調(diào)度周期越短對求解速度的要求越高。日內(nèi)滾動優(yōu)化往往只有幾分鐘的窗口一旦模型規(guī)模上去混合整數(shù)線性規(guī)劃求解器不一定能在這個時間內(nèi)給出可行解更不用提全局最優(yōu)了。強(qiáng)化學(xué)習(xí)階段性的優(yōu)勢恰好體現(xiàn)在這幾處訓(xùn)練時可以忍受大量試錯和離線計算訓(xùn)練完成后策略生成的速度非??觳恍枰诰€求解優(yōu)化問題對模型精度的依賴低策略直接來自數(shù)據(jù)交互非線性關(guān)系也能通過神經(jīng)網(wǎng)絡(luò)自動擬合。1.3 強(qiáng)化學(xué)習(xí)切入的方式把調(diào)度問題交給強(qiáng)化學(xué)習(xí)核心思路是把運(yùn)行過程抽象為馬爾可夫決策過程。智能體在每個調(diào)度周期觀察當(dāng)前狀態(tài)比如實(shí)時負(fù)荷、天氣預(yù)測、設(shè)備運(yùn)行狀態(tài)、電價、儲能荷電狀態(tài)然后根據(jù)當(dāng)前策略選擇一個動作比如各機(jī)組的出力、儲能是否充放電環(huán)境執(zhí)行動作后給出獎勵信號同時轉(zhuǎn)移到下一個狀態(tài)如此循環(huán)往復(fù)。這個過程中智能體唯一的目標(biāo)就是最大化累計獎勵把經(jīng)濟(jì)成本、碳排放、設(shè)備損耗這些目標(biāo)都折算進(jìn)獎勵里。最終學(xué)到的策略本質(zhì)上是一個從狀態(tài)到動作的映射運(yùn)行的時候直接查這個映射就能決策從“在線求解”變成“在線查表”從“建模優(yōu)化”變成“經(jīng)驗(yàn)決策”。下面我按自己做項(xiàng)目時踩過的坑從建模、算法選型、仿真訓(xùn)練三個層面把實(shí)操經(jīng)驗(yàn)展開講。2. 建模把能源調(diào)度問題喂給強(qiáng)化學(xué)習(xí)之前先做對這幾件事2.1 MDP建模的核心要素狀態(tài)、動作、獎勵模型設(shè)計在所有步驟里最重要也最容易出錯。狀態(tài)空間、動作空間和獎勵函數(shù)這三個要素定義得好不好直接決定訓(xùn)練能不能收斂以及最終策略是否實(shí)用。狀態(tài)空間需要包含三個維度的信息系統(tǒng)外部環(huán)境、系統(tǒng)內(nèi)部狀態(tài)、歷史或預(yù)測信息。簡單說外部環(huán)境包括電價、光照強(qiáng)度、風(fēng)速、室外溫度、負(fù)荷需求其中負(fù)荷和新能源出力如果無法直接觀測可以加入短期預(yù)測值作為輔助信息內(nèi)部狀態(tài)包括各個設(shè)備的啟停狀態(tài)、儲能的荷電狀態(tài)、儲熱罐的溫度、機(jī)組當(dāng)前出力等歷史信息則包含上一時段的實(shí)際出力、前幾個時段的負(fù)荷偏差等。我見過一個常見錯誤是狀態(tài)設(shè)置得過于精簡比如只用當(dāng)前負(fù)荷和光伏出力做輸入結(jié)果訓(xùn)練出來的策略明顯出現(xiàn)短視行為看到當(dāng)前負(fù)荷低就完全不蓄能等到下個時段負(fù)荷高了才匆匆忙忙啟動機(jī)組運(yùn)行成本高了很多。后來在狀態(tài)里加了未來6小時的負(fù)荷預(yù)測曲線和儲能荷電狀態(tài)策略立刻合理了很多。動作空間的定義方式有兩種思路。離散化動作用整數(shù)表示機(jī)組出力檔位適合燃?xì)廨啓C(jī)這類本身就有明確工作檔位的設(shè)備連續(xù)動作直接輸出功率目標(biāo)值適合儲能、電鍋爐這類調(diào)節(jié)靈活的功率型設(shè)備。實(shí)際項(xiàng)目中更多用混合動作空間但很多強(qiáng)化學(xué)習(xí)框架對混合動作支持不友好所以常見做法是把連續(xù)量離散化或者把動作分層上層用離散動作選擇運(yùn)行模式下層用連續(xù)動作輸出具體功率。動作空間一定要考慮可行性約束也就是動作必須落在設(shè)備允許的范圍內(nèi)。儲能充電功率不能超過額定值機(jī)組爬坡速率不能太大這些物理限制在環(huán)境里就應(yīng)該直接處理掉否則訓(xùn)練過程中大量動作是“無效動作”相當(dāng)于讓智能體在一個大部分區(qū)域不可達(dá)的地圖里亂走學(xué)習(xí)效率極低。獎勵函數(shù)的設(shè)計是整個建模過程的靈魂也是最容易出問題的地方。典型的形式是$$r -\left(C_{op} \lambda_1 C_{carbon} \lambda_2 P_{penalty}\right)$$其中 (C_{op}) 是運(yùn)行成本(C_{carbon}) 是碳排放成本或折算后的數(shù)值(P_{penalty}) 是各種約束違反的懲罰項(xiàng)(\lambda_1)、(\lambda_2) 是權(quán)重系數(shù)。負(fù)號表示我們希望最小化成本。這里有個權(quán)重調(diào)參的經(jīng)驗(yàn)懲罰項(xiàng)的權(quán)重如果設(shè)得過大訓(xùn)練的時候智能體會變得極度保守寧可犧牲經(jīng)濟(jì)性也要避開懲罰導(dǎo)致策略僵化設(shè)得過小約束又形同虛設(shè)。我一般先把這個權(quán)重設(shè)在正常成本量級的3到5倍確保約束優(yōu)先滿足然后再慢慢調(diào)低觀察策略是否在安全前提下優(yōu)化了經(jīng)濟(jì)性。懲罰項(xiàng)還有個技巧是使用平滑的二次懲罰而不是線性懲罰。線性懲罰在邊界處梯度不變智能體可能學(xué)會“貼著邊界操作”二次懲罰在接近邊界時會給出更強(qiáng)的梯度信號策略會被自然推向遠(yuǎn)離邊界的安全區(qū)域。2.2 狀態(tài)設(shè)計的實(shí)操經(jīng)驗(yàn)狀態(tài)的特征工程直接決定模型的表達(dá)能力。我常用的幾個關(guān)鍵特征包括歸一化后的數(shù)據(jù)避免不同量綱的數(shù)據(jù)混在一起。電價可能是一百多儲能SOC在0到1如果不歸一化神經(jīng)網(wǎng)絡(luò)訓(xùn)練時低數(shù)值特征會被淹沒。負(fù)荷和新能源出力的短期預(yù)測值這部分信息相當(dāng)于給了一個“未來視角”很多時候比當(dāng)前值還有用。時間特征比如小時編號、星期幾用正弦余弦編碼效果比直接用數(shù)值好因?yàn)榭梢员磉_(dá)周期性。上一時段的動作結(jié)果比如實(shí)際執(zhí)行后的功率偏差這能幫助智能體感知執(zhí)行誤差并做校正。我踩過一個比較深的坑把開關(guān)機(jī)狀態(tài)這種二值變量直接和連續(xù)變量一起拼進(jìn)狀態(tài)向量網(wǎng)絡(luò)前期訓(xùn)練不穩(wěn)定后來把二值變量做成一熱編碼并在網(wǎng)絡(luò)輸入層單獨(dú)處理離散特征穩(wěn)定了很多。2.3 動作空間怎么定義最合理定義動作空間前先回答三個問題這個設(shè)備是離散控制還是連續(xù)控制它的調(diào)節(jié)周期是多長動作執(zhí)行有沒有延遲回答完這三個問題動作空間的框架基本就定了。以某典型園區(qū)的調(diào)度為例設(shè)備包括1臺燃?xì)廨啓C(jī)、1臺電鍋爐、1個儲能電池、1個儲熱罐動作設(shè)計如下設(shè)備動作類型動作空間說明燃?xì)廨啓C(jī)離散30%-100%連續(xù)出力按5%間隔離散化電鍋爐連續(xù)0%-100%負(fù)載率可直接連續(xù)控制儲能電池連續(xù)-1到1歸一化負(fù)值放電、正值充電儲熱罐連續(xù)-1到1歸一化負(fù)值放熱、正值儲熱這里有個細(xì)節(jié)儲能動作用正負(fù)號統(tǒng)一編碼會比分開兩個動作維度好很多因?yàn)槌浞殴灿靡惶自O(shè)備天然存在互斥關(guān)系用單個變量可以從結(jié)構(gòu)上避免“同時充放電”這種物理上不合理但數(shù)值上卻可能出現(xiàn)的情況。2.4 獎勵函數(shù)設(shè)計的陷阱獎勵稀疏會讓訓(xùn)練幾乎無法進(jìn)行。能源調(diào)度問題還好每個時間步都有成本信號不算稀疏。但真正的問題是獎勵信號的“時延性”很難體現(xiàn)比如今天多充點(diǎn)電明天光伏多發(fā)時就能少買高價電這個好處要過好幾個時間步才體現(xiàn)出來。獎勵設(shè)計如果不考慮這種時延智能體很可能只盯著眼前的小便宜形成短視策略。解決辦法之一是給儲能行為一個“未來價值估計”的輔助獎勵也就是讓獎勵函數(shù)中隱式包含電池余電的價值而不是只懲罰當(dāng)下的購電成本。更常見的做法是依靠強(qiáng)化學(xué)習(xí)算法本身的折扣回報機(jī)制用合適的折扣因子讓智能體學(xué)會權(quán)衡短期與長期收益。獎勵函數(shù)還要注意量綱和尺度。成本和碳排放的量級可能差很多倍如果直接把兩個量相加數(shù)值大的那個會主導(dǎo)梯度方向訓(xùn)練出來的策略只關(guān)心碳排放成本完全失控或者反過來。我每次都會先做獎勵分項(xiàng)的可視化分析畫出成本部分和碳排部分在每個episode的分解曲線看清楚各自量級后再定權(quán)重。3. 主流強(qiáng)化學(xué)習(xí)算法在多能源場景的選型與實(shí)戰(zhàn)3.1 DQN適合小規(guī)模離散動作Deep Q-Network把Q表格替換成神經(jīng)網(wǎng)絡(luò)配合經(jīng)驗(yàn)回放和目標(biāo)網(wǎng)絡(luò)一度是離散動作領(lǐng)域最常用的算法。對多能源調(diào)度來說如果系統(tǒng)規(guī)模不大機(jī)組數(shù)量和儲能不能太多動作空間離散化之后還能控制在幾千以內(nèi)的量級DQN確實(shí)是個可行的起點(diǎn)。我在一開始做仿真驗(yàn)證時就用過DQN優(yōu)點(diǎn)是想明白網(wǎng)絡(luò)結(jié)構(gòu)就能跑通調(diào)參門檻低。缺點(diǎn)是面對稍復(fù)雜一點(diǎn)的場景動作空間稍微爆炸就學(xué)不動了而且對環(huán)境噪聲敏感訓(xùn)練還容易高估Q值導(dǎo)致策略不夠穩(wěn)定。如果你打算用DQN起步記得優(yōu)先處理動作空間規(guī)模問題別一上來就追求超大規(guī)模調(diào)度。3.2 PPO目前最穩(wěn)的在線策略選擇Proximal Policy Optimization是目前多能源調(diào)度里使用最廣泛的深度強(qiáng)化學(xué)習(xí)算法之一。它的核心機(jī)制是限制策略更新的幅度讓每一步更新都在一個可信域內(nèi)保證舊策略到新策略的過渡不發(fā)生過激變化訓(xùn)練穩(wěn)定性明顯比傳統(tǒng)策略梯度算法好。PPO用的是Actor-Critic架構(gòu)Actor網(wǎng)絡(luò)直接輸出連續(xù)動作的概率分布或離散動作的概率Critic網(wǎng)絡(luò)估計狀態(tài)價值。在多能源調(diào)度場景中PPO的優(yōu)勢體現(xiàn)在策略平滑性上由于有裁剪約束更新幅度被限制策略輸出的變化不會太劇烈這對于設(shè)備啟停、出力調(diào)節(jié)這類需要平穩(wěn)運(yùn)行控制的場景非常重要。我在給燃?xì)廨啓C(jī)儲能系統(tǒng)做調(diào)度策略時試過幾種算法PPO在訓(xùn)練穩(wěn)定性和最終策略成本上的綜合表現(xiàn)是最穩(wěn)的。但PPO也有自己的問題最明顯的是超參數(shù)敏感尤其是裁剪系數(shù)、學(xué)習(xí)率、GAE參數(shù)這些一個沒調(diào)好就可能不收斂。后面我在實(shí)操部分會列出我的參考配置。3.3 TD3和SAC連續(xù)動作空間的備選方案TD3和SAC都把連續(xù)動作控制往前推了一步。TD3的核心思路是雙Q網(wǎng)絡(luò)加延遲更新加目標(biāo)策略平滑專門針對連續(xù)控制中常見的過估計問題做了修改。SAC則引入熵正則項(xiàng)讓策略在積累獎勵的同時保持足夠探索。對于含大規(guī)模連續(xù)儲能設(shè)備和多臺連續(xù)調(diào)節(jié)機(jī)組的調(diào)度系統(tǒng)TD3和SAC往往比PPO的上限更高但訓(xùn)練難度也更高。我在一個包含電鍋爐、儲熱罐、電儲能和少量光伏的小型園區(qū)試過SAC訓(xùn)練曲線很不穩(wěn)定階段性效果很好下一階段又突然崩潰超參數(shù)調(diào)起來比PPO辛苦得多。如果你項(xiàng)目的時間緊我建議多能源調(diào)度場景優(yōu)先用PPO穩(wěn)定跑通基線如果效果不夠再考慮TD3和SAC的方案。3.4 離線強(qiáng)化學(xué)習(xí)與因果強(qiáng)化學(xué)習(xí)的新應(yīng)用IQL離線強(qiáng)化學(xué)習(xí)解決的是數(shù)據(jù)效率與安全性的問題。多能源調(diào)度系統(tǒng)開發(fā)過程中歷史運(yùn)行數(shù)據(jù)大量存在但這些數(shù)據(jù)來自過去的運(yùn)行策略很多邊緣情況沒有被覆蓋到。IQL這類離線強(qiáng)化學(xué)習(xí)算法可以直接在歷史數(shù)據(jù)集上學(xué)習(xí)策略而無需和真實(shí)環(huán)境交互也不需要完整重放所有交互過程。對于那些不允許過度試錯的生產(chǎn)系統(tǒng)離線強(qiáng)化學(xué)習(xí)把歷史數(shù)據(jù)變成了訓(xùn)練素材。具體來說IQL通過約束策略不偏離行為策略太遠(yuǎn)避免探索過程中遇到分布外狀態(tài)從而保證學(xué)習(xí)的策略在真實(shí)環(huán)境中能夠穩(wěn)定執(zhí)行。我在一個從仿真向?qū)嶋H遷移的儲能調(diào)度項(xiàng)目里嘗試過IQL效果比想象中好關(guān)鍵是歷史數(shù)據(jù)的質(zhì)量和覆蓋度要過關(guān)策略才不會嚴(yán)重退化。因果強(qiáng)化學(xué)習(xí)的核心機(jī)制比較特別它將因果推斷工具嵌入強(qiáng)化學(xué)習(xí)流程關(guān)鍵能力包括識別狀態(tài)變量之間的因果結(jié)構(gòu)、區(qū)分哪些信息是真正的決策依據(jù)、哪些只是相關(guān)性噪音以及提供策略干預(yù)的反事實(shí)推理能力。這對多能源調(diào)度非常有啟發(fā)。傳統(tǒng)強(qiáng)化學(xué)習(xí)容易學(xué)到一種“虛假相關(guān)”比如某個時段電價和某個設(shè)備狀態(tài)總是同時出現(xiàn)模型可能把設(shè)備狀態(tài)當(dāng)成決定因素實(shí)際上驅(qū)動電價的完全是另一套邏輯。因果強(qiáng)化學(xué)習(xí)嘗試通過因果圖先解出變量間的因果方向再讓策略去參考真正的因果因素這樣不僅提升泛化能力也給調(diào)度策略帶來更強(qiáng)的可解釋性也是我目前比較看好的方向。4. 仿真環(huán)境搭建與訓(xùn)練流程4.1 環(huán)境建模工具從Gym自定義環(huán)境開始動手做強(qiáng)化學(xué)習(xí)項(xiàng)目第一步是先把環(huán)境定義清楚。我習(xí)慣用Gym風(fēng)格的自定義環(huán)境接口規(guī)范簡單和主流的強(qiáng)化學(xué)習(xí)庫都能直接對接。環(huán)境的核心接口包括狀態(tài)觀測空間、動作空間、步進(jìn)函數(shù)、獎勵計算、重置函數(shù)和約束處理。一個最小可用的多能源調(diào)度環(huán)境基本輪廓如下class MultiEnergyEnv(gym.Env): def __init__(self, config): super().__init__() self.action_space spaces.Box(low-1, high1, shape(n_actions,)) self.observation_space spaces.Box(low-np.inf, highnp.inf, shape(n_states,)) self.load_profile config[load_profile] self.pv_profile config[pv_profile] self.price_profile config[price_profile] self.storage_soc 0.5 self.time_step 0 def step(self, action): action self._map_action(action) violation self._check_constraints(action) cost self._calculate_cost(action) reward -cost - violation self.time_step 1 done self.time_step self.episode_length return self._get_state(), reward, done, {} def reset(self): self.time_step 0 self.storage_soc 0.5 return self._get_state()這里有個很關(guān)鍵的細(xì)節(jié)動作空間用歸一化區(qū)間把真實(shí)動作的映射放進(jìn)_map_action里這樣做的好處是讓策略網(wǎng)絡(luò)始終輸出一個限定范圍的數(shù)值避免不同設(shè)備物理范圍差異過大對訓(xùn)練造成干擾。4.2 訓(xùn)練流程的關(guān)鍵步驟完整訓(xùn)練流程我一般分成六步生成或?qū)攵嗄茉聪到y(tǒng)的運(yùn)行數(shù)據(jù)包括負(fù)荷曲線、光伏出力曲線、電價序列、設(shè)備參數(shù)注意把訓(xùn)練集和驗(yàn)證集的數(shù)據(jù)時段分開避免被評估時用到訓(xùn)練過的數(shù)據(jù)。定義環(huán)境和獎勵函數(shù)先用簡單情況驗(yàn)證環(huán)境邏輯正確比如儲能只有充放電時獎勵值是否和手工計算一致。選定強(qiáng)化學(xué)習(xí)算法并構(gòu)建網(wǎng)絡(luò)Actor網(wǎng)絡(luò)結(jié)構(gòu)不必太復(fù)雜兩層64節(jié)點(diǎn)加激活函數(shù)對大部分調(diào)度場景已經(jīng)夠用。配置超參數(shù)包括學(xué)習(xí)率、折扣因子、batch size、GAE lambda、更新頻率。訓(xùn)練并實(shí)時監(jiān)控每個episode的累計獎勵和平均獎勵保存訓(xùn)練過程中性能最好的模型而不是只保存最后一個因?yàn)橛?xùn)練后期可能會出現(xiàn)性能回退。在測試集上評估對比傳統(tǒng)方法的效果檢驗(yàn)策略的合理性。訓(xùn)練的時候我有一個習(xí)慣每周固定跑幾個隨機(jī)種子做對比。強(qiáng)化學(xué)習(xí)訓(xùn)練受隨機(jī)性影響非常大單次訓(xùn)練的結(jié)果不能代表策略的真實(shí)水平我一般跑5到10個隨機(jī)種子取平均和標(biāo)準(zhǔn)差來對比這個方法在做算法選型時特別有用。4.3 參數(shù)調(diào)整與收斂性判斷在多能源調(diào)度項(xiàng)目中我常用的PPO參數(shù)配置如下參數(shù)推薦值說明actor學(xué)習(xí)率3e-4初始值觀察loss下降慢就適當(dāng)調(diào)大critic學(xué)習(xí)率1e-3通常比actor稍大保持價值估計穩(wěn)定折扣因子0.99調(diào)度周期短可以設(shè)更高0.995GAE lambda0.95平衡偏差和方差的關(guān)鍵參數(shù)裁剪系數(shù)0.2訓(xùn)練不穩(wěn)定可以降到0.1batch size256數(shù)據(jù)量小的場景可以降低每幕最大步數(shù)24或96對應(yīng)小時級或15分鐘級調(diào)度周期怎么判斷訓(xùn)練是否收斂我的經(jīng)驗(yàn)是不要只看累計獎勵曲線因?yàn)楠剟钋€波動大肉眼看著容易誤判。我會同時關(guān)注三個信號actor的loss是否基本平穩(wěn)、critic的loss是否下降并趨于穩(wěn)定、策略輸出是否有合理的變化規(guī)律。還有一個更實(shí)用的判斷辦法在驗(yàn)證集上跑訓(xùn)練好的模型看生成的調(diào)度方案在人工審視下是否合理。比如儲能是否在電價低的時候充電、電價高的時候放電機(jī)組是否在負(fù)荷高峰前提前升出力。如果策略在驗(yàn)證集上的表現(xiàn)符合這些基本邏輯說明學(xué)到的東西真的可用。4.4 幾種常見的不收斂現(xiàn)象我歸納了四種最容易碰到的訓(xùn)練問題震蕩型不收斂訓(xùn)練曲線一直在很大范圍內(nèi)波動沒有下降趨勢。多數(shù)情況是學(xué)習(xí)率太高或batch太小策略在每次更新時都跳過頭先降到原來的四分之一試試。過早收斂到局部最優(yōu)訓(xùn)練很早就不動了但獎勵值不高。通常是探索太少PPO的話可以調(diào)大熵系數(shù)給探索更多空間或者把裁剪系數(shù)調(diào)大。后期崩潰訓(xùn)練到后半段突然性能大降。常見原因是價值函數(shù)估計偏差累積導(dǎo)致策略更新方向錯誤??梢越档蛯W(xué)習(xí)率或者檢查是否由于歸一化沒做好導(dǎo)致數(shù)值不穩(wěn)定。獎勵尺度問題獎勵值數(shù)量級極大或極小loss出現(xiàn)NaN。這種情況先把獎勵做標(biāo)準(zhǔn)化處理確保在一個合理區(qū)間再檢查輸入數(shù)據(jù)是否含NaN。5. 常見問題與排查技巧實(shí)錄5.1 獎勵設(shè)計不合理導(dǎo)致訓(xùn)練不收斂這個問題遇到最多。表現(xiàn)是訓(xùn)練過程中獎勵曲線不降反升或者非常劇烈地震蕩。有一個項(xiàng)目里我把碳排放懲罰設(shè)得過大智能體發(fā)現(xiàn)任何發(fā)電行為都會帶來高懲罰于是傾向于把所有設(shè)備都關(guān)掉系統(tǒng)就無法滿足負(fù)荷需求獎勵反而越來越差。排查獎勵問題需要用追蹤手段。我會在訓(xùn)練代碼里記錄每個episode的獎勵拆分項(xiàng)輸出成分項(xiàng)分解曲線。有時候會發(fā)現(xiàn)懲罰項(xiàng)始終是0或始終是最大值說明約束根本沒有被有效感知。還有一個技巧是做“獎勵 sanity check”比如讓智能體執(zhí)行一個明顯合理的策略比如“低電價充電、高電價放電”看這個策略計算出來的獎勵是多少如果算出來的獎勵比訓(xùn)練后期得到的還低說明獎勵函數(shù)本身有問題。5.2 狀態(tài)空間過大導(dǎo)致采樣效率問題多能源系統(tǒng)狀態(tài)量很多直接全塞進(jìn)去會導(dǎo)致采樣效率非常低。一個典型的案例我朋友做某工廠綜合能源調(diào)度狀態(tài)包括設(shè)備詳細(xì)級狀態(tài)變量、環(huán)境變量、預(yù)測數(shù)據(jù)總共六十多個維度訓(xùn)練了一個月策略還是不理想。從這個案例學(xué)到的排查方法是先做狀態(tài)量分析和相關(guān)性分析把明顯與調(diào)度效果無關(guān)的狀態(tài)剔除比如某些外部預(yù)測數(shù)據(jù)幾乎不波動對策略沒有貢獻(xiàn)。還要注意狀態(tài)頻率與調(diào)度頻率的匹配電網(wǎng)頻率很快但調(diào)度周期是按小時算頻率信號不足以支持每小時決策遠(yuǎn)高于決策粒度的數(shù)據(jù)要先做聚合。5.3 模型過擬合到訓(xùn)練集強(qiáng)化學(xué)習(xí)也會有類似監(jiān)督學(xué)習(xí)的過擬合問題。我把訓(xùn)練集數(shù)據(jù)畫出來看如果模型在訓(xùn)練集上表現(xiàn)很好一到測試集就崩就要懷疑過擬合了。解決思路有三個數(shù)據(jù)層面的做法是增加不同季節(jié)、不同天氣類型的數(shù)據(jù)覆蓋算法層面是不要訓(xùn)練太多個epoch早期停止可以在訓(xùn)練曲線在驗(yàn)證集上開始變差時觸發(fā)策略層面則是限制策略復(fù)雜度比如使用更小的網(wǎng)絡(luò)容量、增加熵正則項(xiàng)等。5.4 實(shí)測數(shù)據(jù)下的調(diào)參經(jīng)驗(yàn)有一次項(xiàng)目從仿真環(huán)境切換到真實(shí)歷史的實(shí)測場景原來的訓(xùn)練模型在仿真環(huán)境表現(xiàn)很好但遷移到真實(shí)數(shù)據(jù)后性能明顯下降。原因主要是仿真環(huán)境對新能源出力做了平滑處理而真實(shí)數(shù)據(jù)有大量突發(fā)波動。我的處理方法是先確認(rèn)真實(shí)數(shù)據(jù)的波動程度在狀態(tài)空間中加入多步歷史差分特征來增強(qiáng)對突變的感知能力。接著把訓(xùn)練數(shù)據(jù)的采樣周期從原來的一小時細(xì)化為十五分鐘提高對環(huán)境變化的響應(yīng)頻率再補(bǔ)充了一些極端天氣場景的數(shù)據(jù)然后重訓(xùn)。這套組合下來效果提升明顯。核心思路是讓智能體通過輸入特征感知到環(huán)境的不確定性而不是依賴環(huán)境本身做出精確的未來預(yù)測。6. 從Demo到落地強(qiáng)化學(xué)習(xí)調(diào)度策略的工程化思考6.1 仿真到實(shí)際的差距仿真環(huán)境永遠(yuǎn)無法完全模擬真實(shí)運(yùn)行。真實(shí)系統(tǒng)有通訊延遲、設(shè)備故障、數(shù)據(jù)質(zhì)量問題、人機(jī)交互不確定性這些在仿真里都沒有。我在一個現(xiàn)場項(xiàng)目中測試過訓(xùn)練好的策略發(fā)現(xiàn)第一個現(xiàn)實(shí)問題就是數(shù)據(jù)質(zhì)量——某些實(shí)時數(shù)據(jù)在短時間內(nèi)反復(fù)跳變導(dǎo)致狀態(tài)觀測結(jié)果異常策略被干擾得很明顯。這個問題的解決辦法是在狀態(tài)輸入里加一套數(shù)據(jù)合理性檢查邏輯對異常值做平滑或插值處理保證進(jìn)入策略網(wǎng)絡(luò)的觀測數(shù)據(jù)是健康的。第二個差距是執(zhí)行誤差。仿真中策略給出的動作會精確執(zhí)行但真實(shí)設(shè)備存在響應(yīng)延遲、控制死區(qū)和機(jī)械磨損實(shí)際出力和指令值往往有偏差。如果環(huán)境建模時沒有考慮執(zhí)行誤差策略訓(xùn)練出來后在實(shí)際系統(tǒng)上會碰到性能損失。一個務(wù)實(shí)的做法是在仿真環(huán)境里注入一定比例的執(zhí)行噪聲比如功率指令和實(shí)際出力之間有5%左右的隨機(jī)偏差讓智能體學(xué)會在這種不確定性下做決策。6.2 可解釋性的問題調(diào)度系統(tǒng)牽扯到運(yùn)行安全、設(shè)備責(zé)任、操作規(guī)程不能接受“黑箱”決策。如果調(diào)度員不了解當(dāng)前策略為什么選擇這個方案就不會信任它。強(qiáng)化學(xué)習(xí)的可解釋性處理可以從三個層面入手。第一層是簡單的行為可視化把策略生成的控制方案、狀態(tài)觀測量和獎勵構(gòu)成畫出來讓調(diào)度員看到在不同場景下策略如何響應(yīng)。第二層是使用注意力機(jī)制或重要性分析找出哪些狀態(tài)量對最終決策貢獻(xiàn)最大比如電價和儲能SOC往往在多數(shù)時刻占據(jù)主導(dǎo)地位。第三層就是前面提到的因果強(qiáng)化學(xué)習(xí)通過因果結(jié)構(gòu)解釋“為什么這個狀態(tài)下策略會這樣決策”。我在項(xiàng)目里還喜歡做一件事把訓(xùn)練好的策略和傳統(tǒng)優(yōu)化方法做每日成本對比按周匯總分析得出“本周策略在哪些場景下比傳統(tǒng)方法更優(yōu)、哪些場景下更差”的結(jié)論。這些具體案例是最直接的信任建立材料比任何理論分析都好用。6.3 我對這個方向的個人體會做了多個多能源調(diào)度的強(qiáng)化學(xué)習(xí)項(xiàng)目之后總體體會是強(qiáng)化學(xué)習(xí)確實(shí)能解決傳統(tǒng)優(yōu)化方法在不確定性和計算時間上的核心痛點(diǎn)但不是銀彈。適合強(qiáng)化學(xué)習(xí)的場景有幾個共同特點(diǎn)有足夠的訓(xùn)練數(shù)據(jù)或高保真仿真環(huán)境決策周期比較短且決策頻率高存在明顯的時序依賴和不確定性以及目標(biāo)函數(shù)和約束可以被清晰地量化為獎勵。反過來如果系統(tǒng)非常小傳統(tǒng)優(yōu)化幾秒鐘就能算出最優(yōu)解那就沒必要用強(qiáng)化學(xué)習(xí)。如果安全約束極其嚴(yán)格根本沒有試錯空間直接上強(qiáng)化學(xué)習(xí)風(fēng)險也很大這時候可以考慮離線強(qiáng)化學(xué)習(xí)先做預(yù)訓(xùn)練再配合保守策略部署。多能源調(diào)度這個領(lǐng)域最有價值的地方是它會不斷出現(xiàn)新的約束和新類型的不確定性。電價越來越市場化新能源滲透率越來越高碳交易機(jī)制逐漸落地這些變化都會讓調(diào)度問題更加復(fù)雜強(qiáng)化學(xué)習(xí)的適應(yīng)能力正好派上用場。但整個過程必須保持深度設(shè)計和工程思維從建模、算法、訓(xùn)練、評估到部署每一步都值得認(rèn)真規(guī)劃和驗(yàn)證。最后再分享一個實(shí)操習(xí)慣。我在訓(xùn)練多能源調(diào)度策略時一定會把基線模型一直保留到最后。每訓(xùn)練一個新版本都先在驗(yàn)證集上對比舊版本只有新版本在成本、約束滿足率、魯棒性上全面領(lǐng)先才切換。有很多次訓(xùn)練過程中看起來新版本獎勵更高但在驗(yàn)證集上一跑約束違反率比舊版本高了不少果斷回退舊版本。這個習(xí)慣幫我避免過不少次調(diào)度事故發(fā)生越到項(xiàng)目后期越覺得落地交付最終比拼的不是某個算法的新穎程度而是能不能讓一個決策模型長期運(yùn)行穩(wěn)定不“翻車”。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久丁香| 久久成人综合五月天| 欧美日韩国产一二区| 一区二区三区视频| 激情四射五月天| 国产另类综合| 色999五月色| 婷婷色播婷婷| 婷丁香五月天| 婷婷五月天性爱视频| 被强行糟蹋的女人A片| 91凹凸在线| 五月天久久丁香| 六月婷婷视频| 久久狠狠高潮亚洲精品 天天摸夜夜摸夜夜狠狠摸 | 久久婷婷欧美| 7777久久亚洲中文字幕| 一起操 91N.com| 啪啪东京热| 六月色色综合| 爱久综合| 亚洲午夜在线视频| 99视频综合| 亚洲AV永久无码影院黑人| 夜色.cnm| 爆乳熟妇一区二区三区爆乳| 色婷婷丁香花五月天| 久久丁香五月天| 啪啪婷婷五月天激情| 九九视频这里只有精品| 狠狠操狠狠干综合| 五月激情基地| 激情婷婷丁香色五月| 精品久久二6| 色吧婷婷| 91九色小视频| 99热销国产这里有精品| 成人短视频免费观看| 超碰免费人人肏| 亚洲第一成人无码A片| 超碰在线91| 中文字幕丰满人妻无码专区| 五月天播播中文字幕| 俺去也在线视频| site:jszngf.com| 丁香久久| 桃色五月婷婷| 国产成人av在线| 久久综合婷婷五月| 色天使色婷婷| 久久最新色| 国产亚洲色婷婷久久99精品9j| 婷婷综合九色伊人| 1024操逼| 天天干天天日蜜臀av| 国精产品一区一区三区免费视频| 久久久99精品免费观看| 第四色在线观看| 婷婷五月成人| 国产精品扒开腿做爽爽爽A片唱戏 亚洲爆乳无码精品AAA片蜜桃 | 五月婷婷丁香狠狠撸久久| 婷婷五月天激情综合深爱| 成年AAAA色情| 99热国产在| Av大香蕉| 五月婷婷干干干| 亚洲1区| 99在线免费观看| 啪啪91| 九九亚洲| 色五月亚洲| 亚洲色网址| 婷婷网五月天| 婷婷综合五月天| 99久久久| 久久婷婷五月天激情新地址| 九九精品大香蕉| 色色五月婷婷狠狠| 97人人操人人拍| 真实熟女-91九色| 人碰人人人玩91| 久久涩视频| 国模九区| 久久区区一二三av| 久婷婷色| 丁香色五月 97干| 色婷五月天| 婷婷的99视频网站| 天天做天天爱天天日| 欧美激情五月综合| 79亚洲精品少妇| 嫩草综合网| 色爱99| 日本ww亚洲| 狠狠色无码| 色欲香综合网| 久热这里只有精品在线| 婷婷六月天激情| 婷婷综合五月| 人妻啪啪啪| 大香网伊人久久综合| 夜夜穞天天穞狠狠穞AV美女按摩| 久久色大香蕉| 七七久久婷婷| 亚洲天堂啪啪| 伊人丁香六月婷婷| 99热这里只有精品23| 丁香婷停五月激情综合深爱| 日日夜夜天天综合| 婷婷五月天激情综合| 91超碰人人操| 粉嫩AV久久一区二区三区| 日韩国产在线精品| 久久曰9| 91久草五月天婷婷| 久久综合干| 激情五月天黄色小说| 99亚洲综合| 婷婷中文字幕版| www一区二区三区| 丁香五月激情啪啪| 五月婷婷色| 欧美影院婷婷| 99亚洲天堂| 日日影院 | 日本三级第一页| aaaa.黄| 99精品久久久久久久| 变态另类9| 青青草a在线| www.五月天。com| 丁香激情综合| 五月综合激情| 亚洲乱码日产精品BD在线观看| 久久久一级AAA| 丁香社92视频| 99久久久久| 99无码免费视频| 激情美女五月天激情在线| www.99成人视频| 成人综合视频在线| 国产精品涩涩涩视频网站| 久久婷婷丁香花综合网| 99九九视频| 五月天色色激情综合| 五月花成人网| 婷婷五月天色| 玖玖婷婷色五月| 五月丁香综合啪啪| 九色PORNY9l原创自拍| 男人大jjc女人免费视频| 美欧成人视频| 噜噜综合网| 色久五月天| 久热一本| 丁香网站| 东北黄色一级| 伊人大香五月天| 激情婷婷五月天日本系列| 人妻内射视频| 五月丁香婷婷色| 五月婷婷丁香91| 久久九九精彩| 天堂婷婷五月色| 天天爽天天爽视频| 天天干 夜夜爽| 开心色色五月天综合| 日本操片| www.五月天性.com| 五月天色色婷婷| 思思热在线视频精品| 清纯唯美 激情四射| 久9精品| 开心六月丁香五月婷婷| 丁香五月婷婷在线观看| 五月天成人综合| 超碰69天堂| av在线免费播放| 婷婷综合网伊人| 超碰在线中文字幕| 一本色综合色| 亚洲色人妻| 色情·com| 久久99激情丁香婷婷小说网| 天天日天天干天天操| 婷婷丁香六月天| 91九色国产熟女| 色婷婷成人影片| 五月婷亚洲精品| 婷婷五月激情图片| 六月丁香成人| 深爱激情九九五月天 | 色99在线| 国产综合网在线| 97碰在线视频| 九热av| 日韩欧美颜射| 99亚州综合精品成人网| 强壮公让我夜夜高潮A片视频| 超碰激情五月| 美女丁香五月天| 狠狠做婷婷| 日本片日本片祼观看网站在线看中文版网页在线看 | 思思精品久久艹| 九九成人视频| 嫩BBB槡BBBB搡BBBB| 九月久久婷婷| 婷婷爱婷婷| 91爱啪啪| 丁香五月很很肏| 激情六月丁香综合| 美女精品一级不卡视频| 91婷婷丁香五月亚洲| 噜噜噜噜噜在线| 五月激情六月综合| 最近中文字幕2019视频1| 欧美在线视频免费播放| 夜夜爽日日躁| av大香蕉| 2015超碰| 激情综合婷婷| 欧美这里只有精品| 99人妻碰碰碰久久久久视| 色五月婷婷久久爱| www.97碰碰com| 久久婷婷五月综合色区| xxxx五月| 51XX午夜影福利| 琪琪色网址| 中文字幕丰满乱孑伦无码专区| 丁五月激情视频免费| 婷婷色播婷婷| 五月丁香激情四射综合| 综合一本道| 99热这里是精品| 99热第一页| 99aese| 丁香五月91| 亚洲韩国日产综合AV| 色情五月丁香婷婷网| 亚洲啪啪网| 123日本不卡在线| 深爱五月婷婷开心中文字幕| 欧美精产国品一二三区| 五月天激情黄色网址| 激情五月综合色| 五月天婷久精视频| 久久久久久五月天| 五月丁香六月婷婷中合网| 丁香九月婷| 婷婷五月欧美| 五月天婷婷青青草| 99在线精品免费视频| 色情综合| 色六月婷婷| 婷色综合| 婷婷色五月情| 99国产精品久久久久久久久久久| 久久久精品99亚洲综合| www.五月天婷婷| 中文字幕精品推荐免费在线观| 丁香婷婷久久激情| 久久婷婷五月天| 色婷网| 色偷偷五月天| 欧美六月婷婷| 天天爽日日爽夜夜爽| 欧美黑人巨大性生话| 99综合久久| 色综合五月| 五月综合激情啪啪啪啪啪| 五月天婷婷自拍图片在线观看| 天天肏夜夜肏| 亚洲无码成人| 婷婷婷久久久| 99视频啪啪| 五月综合激情综合久| 超碰AV在线| 国产免费AV在线| 婷婷五月综合体验看| 另类国产欧美视频| 激情五月天色婷婷| 91色性感五月婷婷丁香| 天天操天天谢| 人人色人人弄人人操| 天天舔天天插天天爱| 久久综合性| 久久五月天色婷婷| 五月天操逼网| 久久久99日本大片| 丁香五月天电影| 野外99热| 久久爱婷婷| 97成人视频| 人人操人av| 久久久一级AAA| 五月熟妇婷婷久久| 欧美大片| 天天日,夜夜爽| 亚洲欧洲中文日韩久久AV乱码| 婷婷五月天伊人在线| 六月婷婷中文字幕| 99精品视频免费在线播放| 夜夜干夜夜操| 中文网AV| 色婷婷基地| 5月激情天| 色色色色色综合| 人妻中文在线| 99精品热| aaaaaa片| 青草视频在线观看视频| 狠狠色婷婷丁香六月| 图片区 小说区 区 亚洲五月| 天天插天天插天天日| 激情婷婷丁香| jiujiu无码五区| 五月天另类激情在线| 日韩九区| 五月天婷婷色| 包操45分钟网站| 色色色综合色| 婷婷五月激情综合| 久久久网站| 久久久久婷婷五月热综合| 青青草五月天| 五月天婷五月天综合网在线观| 色噜噜狠狠色综无码久久合欧美| 五月天婷婷五月| 欧美大香蕉视频| 久久一热| 日本毛片内射| 日本五月天网站| 婷婷九月在线| 久99视频在线观看| 99热r| 五月婷婷六月丁香综合在线| 五月婷婷激情四季| 国外亚洲成AV人片在线观看| anquye五月| 亚洲综合色婷婷文学| 99综合一区| Caoporn公开| 婷婷五月天伊人| 国产老熟妇亲子乱对白| 久久久久er热| 五月天婷婷在看| 欧美大片免费播放器| 99aese| 丁香五月婷婷香| 久久久这里有精品| 久久 婷婷 五月天| 热久久这里只有精品| 九九热在视频| 免费碰碰视频久| 日本五月婷| 日本九九九九九九| 色欲丁香| 久热爱大香蕉在线蜜臀悦色 | 婷婷五月天欧美| 少妇出轨做爰高潮A片| 六月丁香婷婷色69| 久久婷婷五月综合色天| 久久伦乱| WWW.激情| 影音先锋男人AV资源站| 激情九色| 人人爽人人射-美女久久久久久久久久-成人AV| 国产成人AV| 婷婷色狠狠| 91打屁股视频网站| 五月丁香狠狠爱| 99综合婷婷五月| 在线综合亚洲欧美65| 九九热精品视频| 91色综合| 精品香蕉99久久久久网站| 婷婷精品综合| 午夜成人天堂久久无码日韩久久| 最近中文字幕大全免费版在线| 精品免费99| 超级碰碰碰碰视频| 色五月综合网| 噜噜噜噜噜色| 激情床戏| 国产露脸150部国语对白| 婷婷五月18永久免费视频| 波多野结衣AV无码Porn| 亚洲国产99| 色婷婷六月开心中文字| 欧美在线视频9| 色婷婷www| 99热这里精| 久久182| 97久久精品| 久久久久婷婷五月热综合| 91精选国| 97人人超| 婷婷之六月丁香| 玖玖色资源| 99热免费观看| 五月婷婷丁香色吧网| 亚洲中文字幕AV在线| 婷婷五月丁香六月| 婷婷综合网站| 曰韩五月丁香色婷婷无码| 激情五月天视频| 五月天色导航婷婷资源婷婷| 日韩人人操| 婷婷五月花| 26uuu欧美亚洲日韩| a在线免费v| 久久女婷| 99精品久久久久久久久| 成人五月天丁香| 狠狠va| 久人人操| 免费精品99| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 视频在线免费观看欧洲乱码| 99免费在线视频| 五月丁香婷婷俺| 久久婷五月婷| 性爱111111| 中文字幕av久久爽一区| 激情久久综合网| 五月丁香激情四射综合| 九九婷婷激情综合网| 99热综合在线| 久久久精久人妻| 91精品婷婷国产综合| 福利视频在线播放| 玖玖五月| 亚洲精品久久久久久久久久吃药| 精品人人操| 青草视频在线播放| 91精品久久久久久77777| 欧美婷婷五月天综合| 婷婷99热| 五月久久丁香| 狠狠做婷婷| 五月五婷婷| 九九综合视频在线观看| 五月婷婷色色网址| 曰韩少妇内射免费播放| 亚洲综合无码| 激情综合五月色丁香婷婷| 99日本黄站| 国产干逼片| 久久九九热视频| 激情五月天激情综合网| 狠狠狠婷婷五月综合| 七月激情六月婷婷综合在线播放| 伊人在线视频| 99久久网站| 五月丁香激情六月| 国产乱码久久| 爆乳熟女一区二区三区爆乳| 久久婷婷六月综合国际| 亚洲激情婷婷| 日本天天操| 久久这里只有精品无码| 91精品综合久久久久久五月丁香| 亚洲综合成人网站| 色噜噜丁香| 99色亚洲| 五月婷婷激情| 久久久久人妻精选| site:picc-up.com| 91久久久久久久久18| AV中文字幕夜夜操b天天摸bb | 亭亭玉月丁香| 午夜九九九九九九九九九九九九九| 日逼免费视频| 激情综合青草| 婷婷久久久久| 日本欧特黄色刺激一区影视久精品无码| 99ER热精品视频| 9l视频自拍9l九色成人| 丁香婷婷啪啪| 99无码视频| 色婷婷丁香中文在线播放| 五月天婷婷久久| 色情五月| 婷婷天堂伊人| 九九综合久久| 久热伊人| 操逼巨乳91| 婷婷色爱| 99免费视频精品| 激情五月天激情网| 色九网| 四色永久成人网站| 亚洲色情久久| 婷婷五月色色| 婷婷五月综合免费在线| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 日本色超碰| 三十熟女| 91超级碰碰| 91欧美日韩综合| 天天做天天摸| 久久婷婷一级片| 电影《战争与艾拉》免费观看| 五月婷婷啪啪啪| 淫荡A片| 超碰九热| 超碰免费人| 五月丁香综合网| 久9热| 99九九视频精彩在线| 五月丁香婷婷激情视频| www.俺去也com| 丁香五月大片| 色播五月婷婷综合| 婷婷色婷婷亚洲成人| 日本在线视频播放91| 超碰色人妾| 亚洲天堂色| 91肏肏肏| 精品亚洲国产成AV人片传媒| 噜噜在线| 26UUU精品一区二区| 日本久热| 九色91视频| 中文久久婷婷| www,超碰| 久久a热| 婷婷激情社区| 亚洲第79页| 五月婷婷婷婷婷| 色综合爱综合| 丁香月五月天婷婷久久| 久久人妻乱子伦| 五月婷婷六月丁香| 色五月综合网| 91狠狠综合久久| 成人五月丁香社区| 综合色情网| 五月婷婷色影院| www.99日本| 伊人9在线| 丁香五月综合久久综合| 开心五月婷婷综合在线精品素人| 婷婷色六月| 97人人操com| 人操91在线| 超碰高清在线| www狠狠| 久久 婷婷 五月天| 91人妻人人做人碰人人爽九色| 久久色五月天| 九九热啪啪| 久久艹99| 九九九热精品| 婷香五月| 五月天婷婷在线AN| 99热在线观看免费精品| 天天日天天色| 五月天婷婷基地| 国产亚洲精品久久久久久豆腐| 五月天激情四射| 精品久久99| www.色婷婷.com| 五月婷婷综合网| www.婷婷六月天| 天天爽天天操| 亚洲亚洲人成综合网络| 亚洲无码激情| 一级黄色操B| 久久婷婷资源| 五月婷婷|欧美| 婷婷五月大香蕉| 99re久久| 深爱五月婷婷开心中文字幕| 美女100%露全身无挡网站| VA国产在线综合网站| 99这里的视频都是精品| 狠狠干在线视频| 天堂婷婷丁香六月网| 色综合久久久久久久久五月| 亚洲va欧洲va国产va不卡| 青青草五月天| 五月婷婷丁香大陆免费| www.91色| 五月色综合| 天堂成人A片永久免费网站| 久久婷婷综合五月| 丁香五月婷婷高清| 久草五月天| 久久多色| 色色色色欧洲| 丁香五月婷婷成人色区| 五月天基地| 婷婷五月六月丁香| 婷婷的99视频网站| 丁香五月激情婷婷| 99干日日干| 日本wwww在线| 成人在线综合| 五月婷五月婷伊人伊人五月婷| xx色综合| 五月天另类图片| 天天噜| 丁香五月综合| 最近中文字幕在线中文视频| 一级视频网址| 婷婷五月天网址| 婷婷伊人| 国产26uuu视频| 五月情色天| 日韩淑女人妻luan伦激情精品一区二| 99九九精品| 婷婷五月天伊人| 婷婷六月激情综合| 丁香五月激情综合婷综| 五月婷婷xxx| 激情亚洲色图片丁香综合| Www.激情| 婷婷性爱影院| 青青久在线视频免费观看| 五月丁香婷婷伊人| 超碰国产AV| 九九热精品| 亚洲女婷婷五月基地综合久久久 | 色九月| 婷婷丁香五月天激情四射| 99热99| 激情黄色小说色五月| 99久热这里有精品| 欧美激情-区二区三区| 人人草人人舔| 天天日天天色| 97操资源婷婷| 色噜噜狠狠色综合成人网| 99热日韩这里只有精品| 少妇人妻综合色6699| 色婷婷88| 大香蕉九九| 中文字幕91,综合| 色五月婷婷av| 能看的AV网站| 色色色色色色网| 99免费热视频在线| 高清a片基地| 另类亚洲2| 5月丁香六月情| 狼人婷婷久久| 成人.在线日韩| 五月久久婷婷天堂视频| 这里只精品| 在线观看中文字幕| 色五月婷婷五月| 国产亚洲99久久精品熟| 久久精品婷婷| 亚洲久久婷婷| 99re视频在线播放| 婷婷色色亚洲| www.jiujiujiu| 提提热五月天婷婷| 黄色一级影片| 少妇大叫太大太粗太爽了A片| 色色色五月天激情资源| 欧美大肥婆大肥BBBBB| 九九九九九九九九九九九九九国产精品| 一级黄色影片| 国产综合网在线| 久久九九国产精品怡红院| 国产超碰av| 天天狠天天狠| 天天爽夜夜操| 欧美三级巜人妻互换| 久久丁香五月| 天天操,夜夜骑| 久色网| 日韩啪啪自拍| 五月丁香综合啪啪啪啪啪| 久久性爱视频网站| 国产欧美日韩综合精品一区二区| 婷婷月综合| 色五月婷婷啪啪五月| 午夜色婷婷| 色综合中文综合网| 欧美日韩AAAAA| 久久九九国产精品怡红院| 一本道在线电影| 大香蕉天堂| 婷婷射婷婷舔| 大香蕉啪啪网| 久久综合无| 激情小说 五月天| 天天爽天天日| 97色图片中文字幕视频在线观看| 啪啪啪五月天| 九九色综合九九色| 成人在线视频一区| 青青草视频福利| 五月开心激情| 97五月婷婷| 色五月天视频| 久久久久久久久久8888| www.五月天婷婷| 五月天色裸体视频| 涩五月婷婷| 综激情网| 丁香色五月天| 欧美婷婷色| 五月天日日操夜夜操 | 五月天啪啪| 九草性爱| 色综合久久久久久久久五月| 99热99色| 丁香五月中文字幕| 噜噜视频| 久久五月婷综合| 婷婷五月天视| 色噜噜综合网| 久久玖玖综合| 色婷婷综合网站| 婷婷在线视频| 五月激情啪啪| A1片久久久| 中文字幕成人日韩| 热热久久久久久久久| 99精品视频免费观看| 色爽九九| 色五月天综合网| 丁香五月婷婷欧美性爱| 久一这里有精品国产| 亚洲AV成人精品日韩在线播放| 久久精品五月| 色色 9| 国精产品一区一区三区免费视频| 人人干人人干骚美女| 棕合影院色色| 人妖色AV色综合| 99久久免费精品| 午夜69成人做爰视频| 婷婷丁香射射| 九九色影院| 踪合专区啪啪| 狠狠高潮精品亚洲1| 婷婷激情六月中文| 极品人妻videosss人妻| 狠狠五月天| 丁香五月激情婷婷视频| 亚洲国产成人在线| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 丁香婷婷黄网站| 少妇人妻人伦A片| 婷婷五月天天激情| 激情五月婷婷在线| 变态 另类 在线 | 五月天婷婷影院影院观看| 五月婷婷 婷婷五月 一区二区 久久久| 99er免费在线观看| 婷婷综合网站| 婷婷五月丁香av网站| www.久久久久| 丁香六月啪啪啪| 色在线99| 狠狠情色| 天天色视频| 丁香五月97视频| 五月天综合影院| www.lchjjc.com| 丁香五月婷婷激情123| 一点色成人网| 99综合婷婷五月| 99精品热| 熟女婷婷网站一婷婷五月一丁香婷婷一婷婷激情网 | 五月天色裸体视频| 在线综合亚洲欧美65| 99热这里只有精品50| 中文字幕一色哟哟哟哟| www.伊人天堂偷偷婷婷| 中文字幕日产A片在线看| 九九热在视频| 夜夜穞天天穞狠狠穞AV美女按摩| 久久黄色免费视频| 人人摸人人干| 久久久久综合激动五月天| 色情成人五月天| 久久精品国产色| 成人看片网站| 日韩抽插操逼| 777影视理论片大全在线观看| 五月天婷五月天综合网在线观| 亚洲AV免费在线| 国产五月丁香在线| 开心婷婷五月| 五月丁香啪啪激情| 国产SUV精品一区二区883| 婷婷精品在线| 五月综合激情啪啪啪啪啪| 婷婷激情五月综合丁| 五月四色激情| 久久丁香久久| 操操熟女| 色婷婷色99国产综合精品| 一二区成人电影| 啪啪色区| 婷婷欧美综合| 色999亚洲人成色| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 91热视频色网站| 五月婷婷人人人操| 九热视频| 色婷五月婷婷| 嫩草AV久久伊人妇女超级A| 先锋男人99资源| 成人综合视频网址| 婷婷中文字暮| 大香蕉丁香| 五月天婷婷丁香导航| 26.uuu丁香五月婷婷| 国产 亚洲 在线| 99,色| 五月婷婷综合激情| www.十八禁不禁AV.com| 97碰碰久久| 婷婷射丁香| 色一情一乱一乱91Av| 亚洲激情婷婷| 天天骑日日爽| 亚洲成av人影院| 五月婷在线| www激情| 97色色综合| 五月天婷婷av| 天天操夜夜啊| 久久久天堂国产精品女人| 婷婷五月综合视频| 欧美啪啪五月天| 五月婷婷激情性爱| 色热久资源| 超碰v| 久久激情五月网| 丁香五月综合| 五月婷深深爱激情网| 色婷小说| 啪啪色区| 99免费综合网| 久久久国产精品黄毛片| 99热这里只有精品一区| 婷五月天丁香婷五月| 免费亚洲婷婷中文字幕| 丁香五月天偷拍| 乱精品一区字幕二区| 十月丁香九月婷婷综合| 亚州操逼网| 综合网五月| 色五月五月天| 人人超碰99| www,黄色在线,con| 五月婷婷av| 激情五月综合网最新| 亚洲成人网站在线观看| 激情综合亚洲色婷婷五月| 婷婷亚洲久久| 色色色综合网| 99精品在| 激情婷婷综合网| 伊人干综合| 五月婷婷亚洲综合网| 99久久久精品| 婷婷激情性爱| 婷婷丁香五月天综合网| 99热碰碰| 日韩一级网站| 色色色9| 狠狠色丁香婷婷基地| 一区操| 五月婷婷与六月丁香图片激情| 激情五月伊人婷婷| av不卡网站| 激情综合国产| 色色永久| 丁香色情五月综合激情| 国产 亚洲 在线| 五月www| 欧美色色日韩| 婷婷五月色播放| 俺去也在线官网| 哇嘎成人久久| 激情99| 六月久久狠狠| ww久久| 亚洲精品久久久久久久久久飞鱼| 26uuu欧美日韩| 91男同视频| www.婷婷六月天| 丁香六月婷婷综合色| 91碰免费视频| 婷婷五月天综合网| 亚洲女婷婷五月基地综合久久久 | 九九热经典视频在线观看| 婷婷五月天激情综合| 免费无码毛片一区二区A片| 婷婷五月天天天| 久青青久| 丁香婷婷啪啪| 九九精品99| 26uuu亚洲欧美另类| 天天综合网~91| 大香蕉五月天| 91精品久久久久久综合五月天| 色色色色色色色色五月先| 97在线观视频免费观看| 婷婷五月丁香五月| 亚洲第一色色色色| 成年视频免费观看| 婷婷久久五月天| 丁香五月天激情视频| 综合久久婷婷五月丁香| WWW、日本色丁香、co m| 99这里只有精品|v| 青青草原福利在线| 久久久这里都是精品| 超碰无码老师| 亚洲激情网| 九九九九这里只有精品| 思恩热国产视频右线观看| 色婷婷91激情小说| 欧美这里只有精品| 激情五月开心五月丁香五月| 中文字幕婷婷五月天| 婷婷久久色| 五月婷婷啪啪| 丁香五月天堂网| 日韩五月天婷婷| 六月婷欧美| 久久艹 五月天| 色五月成人| 九九精品在线网| www.婷婷| 99热官网精品在线| 婷婷丁香六月| 91成人看片| 九九热在这里只有精品| 99在线播放视频| 丁香色色五月| 欧美日韩99| 婷婷综合成人| 另类激情五月| 色5月婷婷| 婷婷丁香五月天色色| 欧美激情综合| www,色婷婷| 特级片神马电影| 丁香婷婷激情综合五月激情| 午夜色丁香| 久久在线视频免费观看| 91碰| 婷婷丁香五月综合网上| 99久99热| 182TV亚洲| 91九九九色在| 天天色播| 99视频九九热| 日本激情综合| 亚洲激情淫网| 久久总和99| 欧美人人草草| 欧美性猛交 XXXX 乱大交| 九热...av| 啪到高潮激情丁香五月| 国产日批视频| 超碰在线免费| 精品视频网| 丁香五月色| 久久婷婷国产| 狠狠狠夜夜夜| 色五月激情五月丁香五月婷婷啪啪综合| 色色五月天丁香婷婷| 国产女18毛片多18精品| 天天爱天天操| 97九色| 天天操比比| 亚洲成人乱码av网站| 新久久五月天激情| 亚洲综合草草| 五月丁香亚州综合网| 婷婷中文字幕| www.婷婷六月天| 天天草天天摸| 午夜无码精品色综合久久| 欧美成性色| 九洲一级A片| 五月天大香蕉AV| 亚洲激情四谢| 99亚洲精品| 国产成人网址| 色爱99| 五月激情久久| 九九久久五月天综合伊人| 综合五月草| 91九色国产在线| 99色久| 久久3级片| 国外亚洲成AV人片在线观看| 激情五月婷| 色综合久久88色综合天天99| 婷婷婷婷婷婷婷婷| 色丁香六月| 26UUU在线观看| 99热这里只有精品21| 99热超碰在线| 91色噜噜狠狠狠狠色综合| 色婷婷香蕉丁丁网| 婷婷五月天国产性感美女演员久久久久| 免费看欧美成人A片无码| 色播五月婷婷| 日韩无码专区| 久久五月天视频| 天天色噜| av操一操| AV79| 99热精品综合| 五月亚洲激情| 激情综合五月激情XXXX| 色五月首页| 伊人狠狠丁香婷婷综合尤物| 色色色婷婷| 久久日曰| 九九九AAA热视频| www五月婷婷| 99热网精品| 欧美成人精品A片免费一区99 | 97人人干| 五月丁香婷婷中文| 亚洲激情婷婷| 色噜噜狠狠色综合网| 婷婷七月丁香色色| 色一情一乱一乱一区9| 爱狠射| 丁香五月婷婷激情蜜桃| 20253AV| 爱穴久久| 丁香五月天大香蕉啪啪| 日韩成人精品中文字幕电影| 欧美性猛交99久久久久99按摩| 99热精品在线| 成人电影一区| 九九aV| 丁香五月婷婷基地| 色情五月综合婷婷| 伊人五月综合网| 天天狠狠夜夜狠狠2023| 五月天激情小说| 久色网| 久99热| 日本综合久久| 天天色播| 9久热| 久久ab| 丁香六月婷婷色XXXXX| 91丨九色丨大屁股| 色五月六月| 九九热视频这里只有精品| 五月激情小说网| 激情五月综合婷婷| 99久久这里只有精品| 五月天激情丁香| 久久精彩视频| AV九九| 最近中文字幕2019视频1| JAPANRCEP老熟妇乱子伦视频 | 色吧99| 五月天激情黄色网址| 操婷婷基地| 97碰碰电影| 色欲婷婷五月天丁香| 黄色片精品| 综合久久影院| WWW久久久| 久热精品视频在线观| 五月天婷婷六月激情网| 亚洲综合色网站| www。五月天。com| 丁香五月在线视频黑人| 天天夜夜操| 夜夜躁爽日| 性色天| 91大神操美女| 在线另类| 久久婷综合| 中文幕无线码中文字蜜桃| 偷拍丁香九月激情| 99视频综合网| 激情丁香五月AV| 97热这里精品在线视频| 久久人人看| 成人片在线播放| 色综合久久88色综合天天99| 欧美色五月| YJLZZJLZZ亚洲乱熟无码| 超碰久热| 99视频内射三四| 成人国产欧美大片一区| 在线看AV| 热热色色五月天婷婷| av国产精品| 女同在线9| 亚洲精品成人片在线播| 97色热| 天天日天天做天天舔| 翔田千里aV中文字幕| www.热99热| 五月激情六月宗合| 久久婷网| 婷婷五月丁香六月| 嫩BBB搡BBBB榛BBBB| 精品热九九| 色五月婷婷伊人| 中文字幕视频在线播放| 丁香五月婷婷五月天在线| 亚洲AAA| 99热这里只有精品搜| 丁香五月婷婷基地| 99ri视频| 99成人| 婷婷五月天国产性感美女演员久久久久| 久久婷婷东京热大香樵| 伊久久婷婷| 台湾综合丁香五月蜜桃| 这里只有免费的精品| 色播五月| 五月丁香香蕉| 成AV人片一区二区三区久久| 97午夜一区二区| 人人插9| 九九热这里只有精品23| 秋霞网在线观看理论91| 久久黄色片| 九九热自拍| 91啪啪| 五月天婷婷Av| 久热69| 婷婷激情丁香五月天综合| 五月丁香欧美综合免费视频| 深爱激情五月网| 九色PORNY9l原创自拍| 亚洲亚洲人成综合网络| 狠狠色婷婷色| 97色片| 丁香五月婷婷亚洲综合精品在线| 色色色色色色色色综合网| 五月丁香婷中文| 男女啪啪做爰高潮无遮挡| 91熟妇大香蕉| 在线成人网址| 色综合色欲综合天天免费 | 亚洲色啪| 日韩成人精品一区久久久久| 婷婷色无码| 久久综合热17c| 中文字幕婷婷五月天在线观看| 五月婷婷六月丁香玖玖玫瑰91| 天天做天天爱| 一本婷婷丁香久久 | 97干综合网| 色一情一乱一乱一区91Av| 狠狠色综合久久久久| 97干视频| 丁香五月婷婷精品视频| 99热这里只有精品8| 久久人妻视频| 婷婷五月丁香综合瑟瑟| 五月丁香啪啪激情| w婷婷五月婷婷w| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 99ri国产在线| 亚洲亚洲人成综合网络| 久久思思99| 成人精品一区二区三区四区五区 | 欧美在线干| 日木WWW视频| 91网站黄| 丁香五月98| 香蕉人在线香蕉人在线 | 色婷婷激情| 99视频在线观看视频| 五月天丁香六月综合| 五月天激情视频五月天| 91一起操| 超碰天堂网| 中文字幕av久久爽一区| 激情婷婷五月天在线观看| 综合激情在线视频| 丰满少妇乱A片无码| 影音先锋91| 亚洲射激情| www,色婷婷| 思思re最新视频| 91碰超| 亚洲 无码 中文字幕 中出| 狼人婷婷久久| 午夜不卡久久精品无码免费| 91综合在线视频| 色五月婷婷、老熟女| 丁香五月开心亚洲| 国产69精品久久久久999小说| 久久综合影院| 激情丁香网| 国产综合色婷婷精品久久| 苗黎美女四级成人版一级二级毛片| 激情综合色图| 欧洲高清免费久久| 天天肏视频| 丁香五月激情综合久久| 一级片sese片.COM| 成人开心五月天| 日本三级大片| 久婷婷五月天影院| 九九视频精品在线免费| 99热在线精品观看| 热99视频精品在线| 丁香五月婷婷啪啪| 五月激情久久| 婷婷伊人綜合中文字幕| 色婷婷五月影院| 日韩无码人妻一区二区三区综合| 久久激情五月天| 国产99久| 丁香五月香蕉在线| 五月婷婷中文字幕AV| 国产成人精品一区二三区熟女在线| 婷婷色啪| 夜夜操天天爽| 色99视频| 91综合在线视频| 99久久99热这里只有精品| 亚洲色啪| 碰超在线九色| 综合xx网| 一起草Av| 婷婷情色五月| 天天操夜夜夜夜爽| 日本狠狠干| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 国产在线中文字幕| 日美三级| 天天婷婷天天| 久久五月网| 色婷婷aV四虎| 亚洲激情五月婷婷日日| 九九综合| 偷拍九九热| 色色网站免费在线视频| 极品另类| 精品热九九| 色播五月婷婷综合| 超碰色综合| 婷婷六月久久| 五月丁香六月婷婷不卡免费无码 | 嫩草视频观看| 午夜电影网VA内射| 日本久久精品| 色情五月天丁香社区| 久久精品亚洲一级牲爱综合 | 婷婷精品视频| 人人搡人人| 久草xx性爱视频| 五月激情综合网| 黄网在线播放|