欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

電力市場多智能體DDPG報(bào)價(jià)策略復(fù)現(xiàn):從環(huán)境搭建到訓(xùn)練實(shí)戰(zhàn)

電力市場多智能體DDPG報(bào)價(jià)策略復(fù)現(xiàn):從環(huán)境搭建到訓(xùn)練實(shí)戰(zhàn) 拿到這篇論文的時(shí)候我先把摘要翻來覆去讀了三遍。電力市場投標(biāo)策略 多智能體 深度強(qiáng)化學(xué)習(xí)這套組合在業(yè)內(nèi)不算冷門但真正動(dòng)手復(fù)現(xiàn)過的人都知道最大的坎從來不是把 DDPG 跑起來而是怎么把市場規(guī)則、出清機(jī)制、博弈對(duì)手建模成一個(gè)既貼近真實(shí)、又不會(huì)讓算法一上來就崩潰的 Python 環(huán)境。我這次復(fù)現(xiàn)的目標(biāo)是基于 Agent 的電力市場決策梯度算法建?!獦?biāo)題里的“深度決策梯度”就是 Deep Deterministic Policy Gradient業(yè)內(nèi)一般直接叫 DDPG深度確定性策略梯度。核心邏輯是讓每個(gè)發(fā)電商作為一個(gè)獨(dú)立智能體在日前市場環(huán)境中學(xué)習(xí)報(bào)價(jià)策略動(dòng)作是次日各時(shí)段的報(bào)價(jià)系數(shù)獎(jiǎng)勵(lì)是該時(shí)段的凈利潤環(huán)境則是按統(tǒng)一出清規(guī)則搭建的市場引擎。整套代碼用 Python 和 PyTorch 實(shí)現(xiàn)從市場環(huán)境搭建到訓(xùn)練閉環(huán)共計(jì)兩千行左右。這篇博文我會(huì)把復(fù)現(xiàn)過程中真正有價(jià)值的東西捋出來為什么選 DDPG 而不是別的算法、市場環(huán)境怎么抽象才不會(huì)丟失核心機(jī)制、狀態(tài)動(dòng)作獎(jiǎng)勵(lì)空間怎么設(shè)計(jì)、多 Agent 訓(xùn)練時(shí)最隱蔽的非平穩(wěn)問題在哪、以及我在調(diào)試時(shí)踩過的那些坑。如果你想復(fù)現(xiàn)一篇 Trans 級(jí)別的電力市場強(qiáng)化學(xué)習(xí)論文或者只是想把多智能體強(qiáng)化學(xué)習(xí)用在帶經(jīng)濟(jì)機(jī)制的仿真環(huán)境里這篇文章應(yīng)該能幫你省下不少試錯(cuò)時(shí)間。1. 為什么電力市場要引入多智能體強(qiáng)化學(xué)習(xí)1.1 電力市場競爭決策的難點(diǎn)電力市場和普通商品市場最大的區(qū)別在于電力本身難以大規(guī)模儲(chǔ)存供需需要實(shí)時(shí)平衡所以日前市場的報(bào)價(jià)決策本質(zhì)上是面向未來 24 小時(shí)或 96 個(gè)時(shí)段的序貫決策。發(fā)電商要在不知道競爭對(duì)手報(bào)價(jià)的情況下決定自己每個(gè)時(shí)段的申報(bào)價(jià)格和申報(bào)電量。報(bào)高了可能被擠出市場機(jī)組在高峰時(shí)段空轉(zhuǎn)報(bào)低了雖然能保證出清但利潤空間被嚴(yán)重壓縮甚至可能在低谷時(shí)段虧本發(fā)電。如果只是單時(shí)段決策這個(gè)問題可以用一階最優(yōu)條件求解。但放到多時(shí)段、多機(jī)組、帶爬坡約束和啟停成本的場景里策略空間立刻變得極其復(fù)雜。更麻煩的是競爭對(duì)手的策略會(huì)隨著市場環(huán)境變化而調(diào)整需求曲線受到天氣、節(jié)假日、新能源出力等多種因素影響這使得環(huán)境本身是非平穩(wěn)的。傳統(tǒng)做法里發(fā)電商報(bào)價(jià)主要依賴三種思路一是簡單的邊際成本加成比如在短期邊際成本基礎(chǔ)上固定加價(jià) 3%、5%二是基于歷史數(shù)據(jù)統(tǒng)計(jì)出對(duì)手報(bào)價(jià)分布然后做一個(gè)概率意義上的最優(yōu)響應(yīng)三是用博弈論算供給函數(shù)均衡SFE作為理論參考。這三種思路各有硬傷固定加價(jià)太機(jī)械市場條件一變就失效歷史統(tǒng)計(jì)法假設(shè)對(duì)手策略分布是穩(wěn)定的但現(xiàn)實(shí)中對(duì)手也在學(xué)習(xí)SFE 理論上很漂亮但對(duì)市場結(jié)構(gòu)、成本函數(shù)和需求彈性有很強(qiáng)的假設(shè)實(shí)際報(bào)價(jià)很難直接套用。深度強(qiáng)化學(xué)習(xí)恰好補(bǔ)上了這個(gè)空缺。它不依賴顯式的市場模型而是讓智能體通過與環(huán)境的反復(fù)交互自己發(fā)現(xiàn)報(bào)價(jià)規(guī)律。這一點(diǎn)對(duì)高維度、連續(xù)動(dòng)作、多主體博弈的電力市場來說幾乎是量身定做的。1.2 為什么選 DDPG 而不是 DQN 或 PPO確定了用強(qiáng)化學(xué)習(xí)之后下一個(gè)問題是選哪個(gè)算法。DQN 是很多人的第一反應(yīng)但它處理不了連續(xù)動(dòng)作。電力市場的報(bào)價(jià)動(dòng)作如果用離散檔位表示動(dòng)作空間會(huì)爆炸24 個(gè)時(shí)段乘以每個(gè)時(shí)段 5 到 10 個(gè)檔位再乘以多個(gè)發(fā)電商枚舉組合的數(shù)量級(jí)根本不是經(jīng)驗(yàn)回放能扛住的。如果強(qiáng)行做離散化還會(huì)丟失報(bào)價(jià)精度——多報(bào) 1% 和 2% 之間的利潤差在市場出清價(jià)附近可能就被完全抹掉了。PPO 能處理連續(xù)動(dòng)作也有不少人用但我復(fù)現(xiàn)時(shí)沒有優(yōu)先選它。DDPG 的核心優(yōu)勢在于確定性策略可以直接輸出一個(gè)連續(xù)動(dòng)作向量一次前向傳播就能得到全天 24 個(gè)時(shí)段的報(bào)價(jià)系數(shù)訓(xùn)練效率高超參也不像 PPO 那樣敏感。SAC 雖然更穩(wěn)定但它引入熵系數(shù)和雙重 Q 網(wǎng)絡(luò)需要調(diào)的參數(shù)更多。在論文復(fù)現(xiàn)的情境下先選擇一個(gè)實(shí)現(xiàn)簡單、算法原理清晰的基線把電力市場環(huán)境本身的問題debug干凈遠(yuǎn)比一上來就用復(fù)雜算法更靠譜。所以我最后把方案鎖定在 DDPG 上整個(gè)訓(xùn)練鏈路是Actor 網(wǎng)絡(luò)輸出報(bào)價(jià)系數(shù)環(huán)境按報(bào)價(jià)出清計(jì)算利潤作為獎(jiǎng)勵(lì)Critic 網(wǎng)絡(luò)評(píng)估狀態(tài)動(dòng)作價(jià)值然后用策略梯度更新 Actor。1.3 這篇論文復(fù)現(xiàn)的定位這篇論文嚴(yán)格來說不是發(fā)明新算法而是把電力市場的運(yùn)行機(jī)制和 DRL 的建??蚣茏隽艘粋€(gè)系統(tǒng)的映射。它的價(jià)值在于告訴你狀態(tài)向量里該放什么、獎(jiǎng)勵(lì)函數(shù)怎么設(shè)計(jì)才能避免智能體鉆空子、出清機(jī)制如何抽象成可微或可采樣的計(jì)算模塊、多 Agent 環(huán)境下訓(xùn)練穩(wěn)定性怎么保證。這些設(shè)計(jì)決策在算法論文里往往一筆帶過但恰恰是復(fù)現(xiàn)時(shí)最花時(shí)間的部分。我的定位很明確不追求在算法層面做創(chuàng)新而是把這個(gè)框架完整跑通理解每個(gè)組件為什么這么設(shè)計(jì)然后把這個(gè)過程變成一套可復(fù)用的代碼。2. 把市場規(guī)則寫成環(huán)境報(bào)價(jià)、出清與狀態(tài)獎(jiǎng)勵(lì)設(shè)計(jì)2.1 市場機(jī)制與參與主體抽象我復(fù)現(xiàn)時(shí)采用的日前市場模型時(shí)間粒度是 24 個(gè)時(shí)段也就是每小時(shí)一個(gè)決策點(diǎn)參與主體是 3 個(gè)發(fā)電商 Agent加上一個(gè)負(fù)責(zé)出清的市場運(yùn)營方。每個(gè)發(fā)電商擁有不同的二次成本函數(shù)形式是 C_i(q) a_i * q^2 b_i * q c_i其中 a_i 和 b_i 決定了邊際成本曲線的斜率與截距。由于機(jī)組類型不同——有的偏基荷、有的偏峰荷——成本參數(shù)差異很大這樣市場才有真實(shí)感。每個(gè) Agent 在日前階段需要提交次日每個(gè)時(shí)段的報(bào)價(jià)曲線。論文里常見的做法不是直接報(bào)絕對(duì)價(jià)格而是報(bào)一個(gè)“報(bào)價(jià)乘子”bid multiplier也就是把邊際成本乘以一個(gè)系數(shù)。Agent 輸出的動(dòng)作向量經(jīng)過映射后落在 [0.2, 2.0] 區(qū)間1.0 代表按真實(shí)邊際成本報(bào)價(jià)大于 1.0 代表加價(jià)小于 1.0 代表低價(jià)搶量。為什么不直接讓網(wǎng)絡(luò)輸出絕對(duì)價(jià)格我試過效果非常差。絕對(duì)價(jià)格的范圍可能從幾十到幾百數(shù)值尺度差異大神經(jīng)網(wǎng)絡(luò)在這么大的區(qū)間里探索效率極低而報(bào)價(jià)系數(shù)的范圍小、語義明確智能體很容易理解“我要比成本高一點(diǎn)還是低一點(diǎn)”這件事收斂速度快很多。這也是做強(qiáng)化學(xué)習(xí)環(huán)境設(shè)計(jì)時(shí)一個(gè)非常重要的原則動(dòng)作空間的定義方式?jīng)Q定了智能體學(xué)習(xí)這個(gè)任務(wù)的難度。2.2 出清機(jī)制簡化與實(shí)現(xiàn)出清機(jī)制是市場環(huán)境的心臟。完整的日前市場出清需要求解一個(gè)帶系統(tǒng)平衡約束、網(wǎng)絡(luò)安全約束、機(jī)組啟停狀態(tài)的混合整數(shù)規(guī)劃問題計(jì)算復(fù)雜且每次需要幾十秒。論文復(fù)現(xiàn)中如果直接把真實(shí)出清模型搬進(jìn)訓(xùn)練循環(huán)時(shí)間和內(nèi)存都吃不消智能體跑一天也交互不了幾個(gè)回合。我采用的做法是分層抽象先實(shí)現(xiàn)一個(gè)基于“按報(bào)價(jià)從低到高排序、依次中標(biāo)直至負(fù)荷滿足”的簡化出清引擎用于驗(yàn)證整個(gè)訓(xùn)練閉環(huán)再在它的接口上擴(kuò)展成線性規(guī)劃版本用于最終實(shí)驗(yàn)對(duì)比。簡化版出清的核心邏輯只有十幾行代碼def market_clearing(bids, load): bids: list of (price, capacity) 每個(gè)發(fā)電商的報(bào)價(jià)與最大可出力 load: 當(dāng)前時(shí)段的負(fù)荷需求 返回: 總出清電量、邊際出清價(jià)、成交記錄 sorted_bids sorted(bids, keylambda x: x[0]) total_q 0.0 cleared_price 0.0 accepted [] for price, cap in sorted_bids: if total_q load: break q min(cap, load - total_q) accepted.append((price, q)) total_q q cleared_price price return total_q, cleared_price, accepted如果追求論文級(jí)精度可以用線性規(guī)劃求解購電成本最小化或社會(huì)福利最大化問題。把每個(gè)發(fā)電商的報(bào)價(jià)曲線線性化后目標(biāo)函數(shù)是購電成本之和最小約束是各時(shí)段功率平衡、機(jī)組上下限、爬坡約束然后用 scipy.optimize.linprog 或開源求解器求解。出清模塊、報(bào)價(jià)模塊、結(jié)算模塊三者的接口要提前設(shè)計(jì)好因?yàn)楹罄m(xù)一旦要改成 96 時(shí)段或者加入新能源出力隨機(jī)性只有接口穩(wěn)定代碼才能平滑擴(kuò)展。我在復(fù)現(xiàn)時(shí)一開始就把這三個(gè)模塊分開后面換機(jī)制幾乎沒有動(dòng)過 Agent 代碼。2.3 狀態(tài)空間與獎(jiǎng)勵(lì)函數(shù)的“坑”狀態(tài)空間的設(shè)計(jì)直接決定算法能不能學(xué)到東西。我在復(fù)現(xiàn)時(shí)給每個(gè)智能體三塊信息第一塊是自身私有信息包括成本參數(shù)、最大最小出力、上一時(shí)段的出清量和收益第二塊是市場公共信息包括未來 24 小時(shí)的負(fù)荷預(yù)測曲線、歷史出清價(jià)格、自身報(bào)價(jià)被市場接受的比率第三塊是對(duì)手策略的估計(jì)特征比如過去 K 個(gè)時(shí)段市場出清價(jià)的統(tǒng)計(jì)量。這里有一個(gè)非常隱蔽的坑很多人在狀態(tài)里直接塞入“競爭對(duì)手的真實(shí)報(bào)價(jià)”。這在真實(shí)市場里是看不到的如果訓(xùn)練環(huán)境里給了智能體學(xué)到的策略在真實(shí)部署時(shí)立刻失效這叫信息泄漏。復(fù)現(xiàn)論文時(shí)尤其要小心論文如果不是故意做完全信息假設(shè)狀態(tài)里就不要出現(xiàn)當(dāng)前回合內(nèi)其他 Agent 的動(dòng)作或真實(shí)成本。我處理的方式是只提供歷史出清結(jié)果——這是所有市場參與者都能公開觀察到的信息既能反映對(duì)手行為特征又不會(huì)讓智能體開天眼。獎(jiǎng)勵(lì)函數(shù)方面核心只有一條r_it p_t * q_it - C_i(q_it)也就是收入減成本。這個(gè)公式看著簡單但獎(jiǎng)勵(lì)的數(shù)值尺度很容易坑人。如果單位電價(jià)在 50 到 100 的量級(jí)發(fā)電量在上百 MW 量級(jí)單個(gè)時(shí)段的利潤就是幾千甚至上萬訓(xùn)練出來的 Q 值會(huì)非常大梯度動(dòng)不動(dòng)就爆炸。我試過直接拿原始利潤做獎(jiǎng)勵(lì)訓(xùn)練中 Q loss 一路飆到 10 的 8 次方完全不可用。最后用的是獎(jiǎng)勵(lì)縮放把每個(gè) Agent 的利潤除以它的平均可變成本基準(zhǔn)值讓獎(jiǎng)勵(lì)落在 [-0.5, 0.5] 區(qū)間附近。縮放不改變相對(duì)優(yōu)劣關(guān)系但能讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)穩(wěn)定得多。如果環(huán)境里加入了機(jī)組啟停成本和爬坡約束還需要額外把啟停懲罰加進(jìn)獎(jiǎng)勵(lì)不然智能體會(huì)學(xué)會(huì)在低谷時(shí)段也保持開機(jī)導(dǎo)致成本虛高。3. DDPG 算法建模從 Actor-Critic 到核心超參3.1 Actor-Critic 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)DDPG 是深度 Q 學(xué)習(xí)在連續(xù)動(dòng)作空間的自然延伸。它維護(hù)兩個(gè)網(wǎng)絡(luò)Actor 是策略網(wǎng)絡(luò)輸入狀態(tài)輸出動(dòng)作在本項(xiàng)目里就是 24 個(gè)時(shí)段的報(bào)價(jià)系數(shù)Critic 是價(jià)值網(wǎng)絡(luò)輸入狀態(tài)和動(dòng)作拼接后的向量輸出一個(gè) Q 值用來估計(jì)“在這個(gè)狀態(tài)下采取這個(gè)動(dòng)作有多好”。兩個(gè)網(wǎng)絡(luò)訓(xùn)練時(shí)形成一種動(dòng)態(tài)博弈Actor 努力提高動(dòng)作對(duì)應(yīng)的 Q 值Critic 努力把 Q 值估得更準(zhǔn)。網(wǎng)絡(luò)結(jié)構(gòu)上我沒有做太復(fù)雜的特殊設(shè)計(jì)就是基礎(chǔ)的全連接網(wǎng)絡(luò)加兩層 256 個(gè)神經(jīng)元的隱藏層。外層用 Sigmoid 把輸出映射到 [0,1]再乘以 2.0 得到 [0,2.0] 的報(bào)價(jià)系數(shù)區(qū)間。這里有個(gè)經(jīng)驗(yàn)隱藏層寬度從 128 開始往往不夠報(bào)價(jià)系數(shù)是 24 維連續(xù)向量維度之間還有時(shí)序相關(guān)性網(wǎng)絡(luò)容量太小時(shí) Actor 只是機(jī)械地學(xué)習(xí)每個(gè)時(shí)段的獨(dú)立映射學(xué)不到“晚高峰應(yīng)該報(bào)高、低谷應(yīng)該報(bào)低”這類跨時(shí)段規(guī)律。我最后調(diào)到 256 才穩(wěn)定。激活函數(shù)用 ReLU 就夠了不需要更花哨的東西因?yàn)檫@個(gè)問題本身沒有復(fù)雜的梯度路徑。Actor 和 Critic 的代碼可以用很干凈的方式實(shí)現(xiàn)import torch import torch.nn as nn class Actor(nn.Module): def __init__(self, state_dim, action_dim, hidden256): super().__init__() self.fc1 nn.Linear(state_dim, hidden) self.fc2 nn.Linear(hidden, hidden) self.out nn.Linear(hidden, action_dim) self.sigmoid nn.Sigmoid() def forward(self, state): x torch.relu(self.fc1(state)) x torch.relu(self.fc2(x)) return 2.0 * self.sigmoid(self.out(x)) class Critic(nn.Module): def __init__(self, state_dim, action_dim, hidden256): super().__init__() self.fc1 nn.Linear(state_dim action_dim, hidden) self.fc2 nn.Linear(hidden, hidden) self.out nn.Linear(hidden, 1) def forward(self, state, action): x torch.cat([state, action], dim-1) x torch.relu(self.fc1(x)) x torch.relu(self.fc2(x)) return self.out(x)3.2 目標(biāo)網(wǎng)絡(luò)與軟更新機(jī)制DDPG 里有一個(gè)人盡皆知但新手經(jīng)常踩坑的機(jī)制目標(biāo)網(wǎng)絡(luò)。Q 學(xué)習(xí)的更新目標(biāo)里包含 Q(s, a) 的估計(jì)如果用同一個(gè)網(wǎng)絡(luò)同時(shí)生成估計(jì)值和目標(biāo)值那就有個(gè)正反饋噪聲問題——網(wǎng)絡(luò)每次更新都會(huì)把誤差傳播到目標(biāo)里訓(xùn)練不穩(wěn)定。DDPG 的解決方案是復(fù)制一套 Actor 和 Critic 作為目標(biāo)網(wǎng)絡(luò)它們不參與梯度更新只用來計(jì)算 TD 目標(biāo)。目標(biāo)網(wǎng)絡(luò)和在線網(wǎng)絡(luò)之間也不是周期性硬拷貝而是軟更新每次迭代都朝著在線網(wǎng)絡(luò)的方向挪一小步。軟更新的公式是 θ_target τ * θ_current (1 - τ) * θ_targetτ 取 0.005 是我復(fù)現(xiàn)時(shí)試出來最穩(wěn)的參數(shù)。τ 太大會(huì)導(dǎo)致目標(biāo)網(wǎng)絡(luò)抖動(dòng)目標(biāo)是模型崩潰τ 太小又會(huì)讓目標(biāo)網(wǎng)絡(luò)更新太慢早期學(xué)習(xí)效率低。我建議第一次跑的時(shí)候不要調(diào) τ固定 0.005把精力放在環(huán)境設(shè)計(jì)和獎(jiǎng)勵(lì)縮放上。所有讓訓(xùn)練不穩(wěn)定的鍋至少在我復(fù)現(xiàn)的過程中有一半以上其實(shí)不在 τ 上。3.3 探索策略與動(dòng)作噪聲DDPG 的 Actor 輸出的是確定性策略這意味著如果不加噪聲智能體一旦學(xué)會(huì)一個(gè)動(dòng)作就永遠(yuǎn)做同一個(gè)動(dòng)作完全沒有探索能力。標(biāo)準(zhǔn)做法是在動(dòng)作上疊加隨機(jī)噪聲。論文里很多用 OU 噪聲也就是奧恩斯坦-烏倫貝克過程它能產(chǎn)生時(shí)序相關(guān)的探索信號(hào)適合連續(xù)控制問題。但我實(shí)際復(fù)現(xiàn)時(shí)發(fā)現(xiàn)高斯噪聲配合線性退火也能達(dá)到同樣效果而且調(diào)參簡單得多。我的具體做法是訓(xùn)練前 500 個(gè) episode 使用高斯噪聲標(biāo)準(zhǔn)差 0.1之后每 1000 個(gè) episode 線性衰減到 0.02最終保底 0.02 的固定噪聲保證持續(xù)探索。衰減速度非常關(guān)鍵。衰減太快智能體容易被鎖死在早期發(fā)現(xiàn)的局部策略里比如一直低價(jià)搶量跑好幾千個(gè) episode 也找不到高價(jià)策略衰減太慢訓(xùn)練后期動(dòng)作噪聲太大策略在小范圍里反復(fù)震蕩收益曲線看起來像心電圖。如果你想復(fù)現(xiàn)論文里那條平滑的收益上升曲線噪聲調(diào)度至少要像學(xué)習(xí)率一樣用心去調(diào)。4. 多 Agent 訓(xùn)練架構(gòu)集中訓(xùn)練與分散執(zhí)行的落地4.1 從單 Agent 擴(kuò)展到多 Agent 的核心矛盾單個(gè) Agent 學(xué)習(xí)報(bào)價(jià)策略環(huán)境是靜態(tài)的訓(xùn)練相對(duì)簡單。但電力市場里所有發(fā)電商同時(shí)在學(xué)問題性質(zhì)就變了。我作為發(fā)電商報(bào)價(jià)高了可能會(huì)被擠出市場但如果其他發(fā)電商也跟著報(bào)價(jià)提高市場價(jià)格整體上漲我的高價(jià)策略反而更賺錢。市場環(huán)境因?yàn)槠渌悄荏w的策略變化而不斷改變對(duì)單個(gè)智能體來說環(huán)境是非平穩(wěn)的。這是電力市場 DRL 復(fù)現(xiàn)中最難解決的一個(gè)點(diǎn)比 DDPG 本身的訓(xùn)練難得多。如果 N 個(gè) Agent 各自獨(dú)立訓(xùn)練每個(gè)都有自己的 Actor、Critic 和回放池樣本之間的時(shí)序關(guān)聯(lián)會(huì)帶來額外的震蕩。A 智能體上一回合的對(duì)手策略分布和這一回合的已經(jīng)完全不同回放池里的舊樣本就變成了錯(cuò)誤的地圖用它更新當(dāng)前策略可能適得其反。我剛開始就是這么寫的結(jié)果三個(gè) Agent 的收益曲線像麻花一樣糾纏沒有一個(gè)收斂。4.2 以 CTDE 為基礎(chǔ)的多 Agent DDPG 實(shí)現(xiàn)我的解決方案是業(yè)界標(biāo)準(zhǔn)的集中訓(xùn)練、分散執(zhí)行CTDECentralized Training with Decentralized Execution。思想很簡單每個(gè) Agent 在執(zhí)行時(shí)只能看到自己的局部觀測所以 Actor 網(wǎng)絡(luò)只輸入自己的狀態(tài)但訓(xùn)練時(shí) Critic 可以看全局信息——所有 Agent 的狀態(tài)拼起來所有 Agent 的動(dòng)作也拼起來這樣 Critic 在評(píng)估當(dāng)前動(dòng)作價(jià)值時(shí)擁有全局視角能夠理解對(duì)手動(dòng)作帶來的影響。執(zhí)行階段不需要全局信息網(wǎng)絡(luò)架構(gòu)天然符合真實(shí)電力市場“發(fā)電商只能看到自己的私有信息市場公開信息”的信息約束。工程實(shí)現(xiàn)上每個(gè) Agent 擁有自己獨(dú)立的 Actor、Critic 和回放池但 Critic 網(wǎng)絡(luò)中加了一個(gè)“全局信息融合”分支。更新時(shí)統(tǒng)一從所有回放池中按相同種子采樣保證訓(xùn)練批次里各個(gè) Agent 的經(jīng)驗(yàn)在時(shí)間上是對(duì)齊的然后各自計(jì)算 Critic loss 和 Actor loss。這種同步更新的方式比異步更新穩(wěn)定得多因?yàn)樗?Agent 共享同一步訓(xùn)練進(jìn)度不會(huì)出現(xiàn)一個(gè)人已經(jīng)學(xué)會(huì)抬價(jià)、另一個(gè)人還在低價(jià)搶量的極端失衡狀態(tài)。4.3 訓(xùn)練過程中的博弈動(dòng)態(tài)觀察我把訓(xùn)練過程完整跑下來之后觀察到幾個(gè)非常明顯的階段。前期探索階段所有 Agent 報(bào)出來的動(dòng)作都很隨機(jī)市場出清價(jià)被壓得很低利潤普遍為負(fù)。中期競爭階段有 Agent 先學(xué)會(huì)了“壓低報(bào)價(jià)多拿電量”這時(shí)候它的利潤上升很快市場均價(jià)維持低位。后期策略分化階段一些 Agent 發(fā)現(xiàn)簡單的低價(jià)策略收益上不去了開始嘗試在部分時(shí)段提升報(bào)價(jià)如果其他 Agent 沒有同步提價(jià)這個(gè) Agent 就會(huì)被擠出市場收益立刻下降但如果多個(gè) Agent 默契地同步提價(jià)市場出清價(jià)整體上移大家利潤都漲。這個(gè)動(dòng)態(tài)過程特別像真實(shí)市場里的價(jià)格同盟只不過在算法層面是純自發(fā)涌現(xiàn)的。復(fù)現(xiàn)論文時(shí)觀察這個(gè)演化過程比盯著最終收益曲線有意思得多也更能理解論文里描述的“市場力”現(xiàn)象是怎么在算法層面浮出水面的。5. Python 代碼實(shí)現(xiàn)核心模塊與訓(xùn)練閉環(huán)拆解5.1 工程目錄與整體流程代碼結(jié)構(gòu)是我在復(fù)現(xiàn)過程中反復(fù)調(diào)整后定下來的。一開始我把環(huán)境、Agent、訓(xùn)練循環(huán)全部寫在一個(gè)文件里結(jié)果改一個(gè)出清參數(shù)要全局搜索調(diào)試效率極低。后來拆成模塊化結(jié)構(gòu)整個(gè)項(xiàng)目變得清爽很多power_market_ddpg/ ├── envs/ │ ├── market_env.py # 電力市場環(huán)境主類 │ └── clearing.py # 出清引擎簡化版 LP版 ├── agents/ │ ├── ddpg.py # DDPG智能體 │ └── networks.py # Actor / Critic 網(wǎng)絡(luò)定義 ├── utils/ │ ├── replay_buffer.py # 經(jīng)驗(yàn)回放池 │ └── logger.py # 日志與指標(biāo)記錄 ├── config.py # 全局超參數(shù) └── train.py # 訓(xùn)練主循環(huán)模塊拆分的收益在后期實(shí)驗(yàn)對(duì)比時(shí)特別明顯。我要換出清規(guī)則只需要改 clearing.py要換網(wǎng)絡(luò)結(jié)構(gòu)只動(dòng) networks.py要調(diào)探索噪聲調(diào)度直接改 config.py 里的參數(shù)。實(shí)驗(yàn)跑多了以后每次實(shí)驗(yàn)的輸出都按時(shí)間戳存進(jìn)獨(dú)立目錄包含完整超參快照和指標(biāo) CSV這樣后來想復(fù)現(xiàn)某次結(jié)果時(shí)不用靠腦子回憶當(dāng)時(shí)改了什么東西。5.2 環(huán)境與出清模塊實(shí)現(xiàn)環(huán)境類負(fù)責(zé)維護(hù)市場狀態(tài)、調(diào)用出清引擎、計(jì)算獎(jiǎng)勵(lì)。核心接口是 reset 和 step跟 Gym 風(fēng)格保持一致這樣后續(xù)如果想接入其他強(qiáng)化學(xué)習(xí)框架會(huì)很方便。step 的輸入是 actions 數(shù)組形狀是 (num_agents, n_periods)里面是每個(gè) Agent 在 24 個(gè)時(shí)段上的報(bào)價(jià)系數(shù)。環(huán)境內(nèi)部根據(jù)報(bào)價(jià)系數(shù)結(jié)合成本參數(shù)生成具體報(bào)價(jià)單送進(jìn)出清引擎得到每個(gè)時(shí)段的出清價(jià)和各 Agent 的出清量再根據(jù)成本函數(shù)計(jì)算獎(jiǎng)勵(lì)。報(bào)價(jià)單生成有個(gè)細(xì)節(jié)值得說一下報(bào)價(jià)系數(shù)不能直接當(dāng)作邊際成本用它是作用在成本函數(shù)的一次項(xiàng)系數(shù) b 上的也就是 bid_price b_i * multiplier。二次項(xiàng) a 不參與報(bào)價(jià)因?yàn)楝F(xiàn)實(shí)中發(fā)電商不太可能把自己的非線性成本結(jié)構(gòu)完全暴露給市場運(yùn)營方。這個(gè)細(xì)節(jié)如果忽略把整個(gè)邊際成本曲線都乘以乘子出清結(jié)果會(huì)失真。代碼里我用了一個(gè)單獨(dú)的方法來生成報(bào)價(jià)單這樣后續(xù)要改成線性報(bào)價(jià)曲線或者分段報(bào)價(jià)曲線都能在不破壞環(huán)境主體的前提下擴(kuò)展。class PowerMarketEnv: def __init__(self, num_agents3, n_periods24, load_profileNone): self.num_agents num_agents self.n_periods n_periods self.load_profile load_profile self.cost_coeffs [ {a: 0.002, b: 0.4}, {a: 0.005, b: 0.3}, {a: 0.003, b: 0.5}, ] def reset(self): # 加隨機(jī)擾動(dòng)模擬需求不確定性 noise 1 0.05 * np.random.randn(self.n_periods) self.load self.load_profile * noise return self._get_state() def step(self, actions): bid_curves self._build_bid_curves(actions) prices, quantities [], [] for t in range(self.n_periods): bids_t [(bid_curves[i][t], self._get_capacity(i)) for i in range(self.num_agents)] p, q clearing.market_clearing(bids_t, self.load[t]) prices.append(p) quantities.append(q) rewards self._compute_rewards(quantities, prices) return self._get_state(), rewards def _build_bid_curves(self, actions): bid np.zeros((self.num_agents, self.n_periods)) for i in range(self.num_agents): b self.cost_coeffs[i][b] bid[i] b * actions[i] return bid5.3 DDPG 智能體與回放池實(shí)現(xiàn)DDPG 智能體的核心方法就兩個(gè)select_action 負(fù)責(zé)根據(jù)當(dāng)前狀態(tài)輸出探索擾動(dòng)后的動(dòng)作update 負(fù)責(zé)從回放池采樣并更新網(wǎng)絡(luò)。select_action 里注意必須把 PyTorch Tensor 轉(zhuǎn)成 numpy 數(shù)組再返回否則后面環(huán)境計(jì)算和記錄都會(huì)帶著自動(dòng)求導(dǎo)的圖內(nèi)存越積越多跑幾百個(gè) episode 就會(huì) OOM。update 里分三步走更新 Critic、更新 Actor、軟更新目標(biāo)網(wǎng)絡(luò)。Critic 的 loss 是預(yù)測 Q 值和目標(biāo) Q 值的均方誤差A(yù)ctor 的 loss 是負(fù)的 Q 值均值——本質(zhì)上就是在最大化 Critic 對(duì)當(dāng)前動(dòng)作的打分。經(jīng)驗(yàn)回放池我用的標(biāo)準(zhǔn)固定容量 deque容量設(shè) 20000。這里有個(gè)權(quán)衡容量太小導(dǎo)致樣本相關(guān)性高訓(xùn)練震蕩容量太大會(huì)讓回放池里的數(shù)據(jù)太舊尤其在多 Agent 場景下舊數(shù)據(jù)對(duì)應(yīng)的對(duì)手策略分布已經(jīng)變化更新反而拖慢學(xué)習(xí)。20000 在 3 Agent 的環(huán)境里夠用。每次隨機(jī)采樣 batch size 是 128用 numpy 的隨機(jī)索引實(shí)現(xiàn)不需要額外復(fù)雜設(shè)計(jì)。class DDPGAgent: def __init__(self, state_dim, action_dim, lr1e-4, gamma0.99, tau0.005): self.actor Actor(state_dim, action_dim) self.critic Critic(state_dim, action_dim) self.target_actor Actor(state_dim, action_dim) self.target_critic Critic(state_dim, action_dim) self.target_actor.load_state_dict(self.actor.state_dict()) self.target_critic.load_state_dict(self.critic.state_dict()) self.actor_opt torch.optim.Adam(self.actor.parameters(), lrlr) self.critic_opt torch.optim.Adam(self.critic.parameters(), lrlr) self.gamma gamma self.tau tau def select_action(self, state, noise_std0.1): state torch.FloatTensor(state).unsqueeze(0) action self.actor(state).detach().numpy().squeeze() action np.random.normal(0, noise_std, sizeaction.shape) return np.clip(action, 0.2, 2.0) def update(self, states, actions, rewards, next_states, dones, global_allies): # 計(jì)算目標(biāo)Q值 next_actions self.target_actor(next_states) target_q self.target_critic(next_states, next_actions) y rewards self.gamma * target_q * (1 - dones) current_q self.critic(states, actions) critic_loss nn.MSELoss()(current_q, y.detach()) self.critic_opt.zero_grad() critic_loss.backward() self.critic_opt.step() # 更新Actor actor_loss -self.critic(states, self.actor(states)).mean() self.actor_opt.zero_grad() actor_loss.backward() self.actor_opt.step() # 軟更新目標(biāo)網(wǎng)絡(luò) for target_param, param in zip(self.target_actor.parameters(), self.actor.parameters()): target_param.data.copy_(self.tau * param.data (1 - self.tau) * target_param.data) for target_param, param in zip(self.target_critic.parameters(), self.critic.parameters()): target_param.data.copy_(self.tau * param.data (1 - self.tau) * target_param.data)5.4 訓(xùn)練主循環(huán)與日志記錄訓(xùn)練主循環(huán)的邏輯不復(fù)雜每個(gè) episode 開始時(shí)環(huán)境重置每個(gè) episode 內(nèi)讓所有 Agent 各自選動(dòng)作、環(huán)境 step、把經(jīng)驗(yàn)存進(jìn)各自回放池、結(jié)束后統(tǒng)一更新一次。如果追求細(xì)粒度可以做多步更新但我復(fù)現(xiàn)時(shí)發(fā)現(xiàn)一個(gè) episode 結(jié)束后更新一次已經(jīng)足夠因?yàn)殡娏κ袌鲞\(yùn)行的天然單位就是一天。日志記錄這件事千萬別偷懶。我記錄了每個(gè) episode 的平均出清價(jià)、每個(gè) Agent 的累計(jì)利潤、報(bào)價(jià)均值與方差、市場集中度指標(biāo)HHI全部落到 CSV 文件。事后分析訓(xùn)練過程時(shí)這些市場層面的統(tǒng)計(jì)量比單個(gè) Agent 的收益曲線更有診斷價(jià)值如果平均出清價(jià)長期低于所有 Agent 的成本中位數(shù)說明訓(xùn)練卡在了低價(jià)策略如果某個(gè) Agent 報(bào)價(jià)方差突然變大說明它的探索噪聲沒退火到位。這些指標(biāo)能幫你快速定位問題省下大量盲調(diào)時(shí)間。6. 復(fù)現(xiàn)結(jié)果分析收斂性、對(duì)比實(shí)驗(yàn)與參數(shù)敏感性6.1 收斂曲線觀察到的現(xiàn)象我用 3 個(gè) Agent 跑了 3000 個(gè) episode。前 500 個(gè) episode市場出清價(jià)震蕩劇烈所有 Agent 的利潤在零附近波動(dòng)這是探索噪聲主導(dǎo)的階段。500 到 1500 個(gè) episode個(gè)別 Agent 開始穩(wěn)定地壓低報(bào)價(jià)搶量它的利潤曲線率先抬頭但市場價(jià)格整體仍在低位。1500 到 2500 個(gè) episode多個(gè) Agent 進(jìn)入策略分化期利潤曲線開始出現(xiàn)明顯的非同步波動(dòng)——一個(gè) Agent 漲價(jià)導(dǎo)致被擠出市場利潤下滑然后它再降價(jià)利潤回升。真正穩(wěn)定的局面在 2500 個(gè) episode 之后才出現(xiàn)此時(shí)市場均價(jià)穩(wěn)定在完全競爭均衡價(jià)格之上的某個(gè)位置三個(gè) Agent 的利潤曲線不再互相糾纏各自保持在穩(wěn)定的水平線上。作為對(duì)比單 Agent 環(huán)境下 800 個(gè) episode 左右就能收斂這個(gè)差距提醒我多 Agent 博弈的收斂不能用單 Agent 的經(jīng)驗(yàn)去預(yù)估要給它足夠的耐心。6.2 與基準(zhǔn)方法的對(duì)比復(fù)現(xiàn)論文總要有一個(gè)基準(zhǔn)對(duì)照才能看出算法的真實(shí)價(jià)值。我做了三組對(duì)比第一組是所有發(fā)電商嚴(yán)格按照邊際成本報(bào)價(jià)這是完全競爭市場的理論基準(zhǔn)第二組是在邊際成本基礎(chǔ)上固定加價(jià) 5%這是很多電力市場經(jīng)典報(bào)價(jià)策略的代表第三組是用 DQN 做離散報(bào)價(jià)每個(gè)時(shí)段從三檔報(bào)價(jià)系數(shù) {0.8, 1.0, 1.2} 里選作為對(duì)比 DDPG 連續(xù)動(dòng)作優(yōu)勢的參照。結(jié)果是DDPG 訓(xùn)練的 Agent 在最終 500 個(gè) episode 的平均利潤比固定加價(jià)策略高出約 18%比邊際成本報(bào)價(jià)高出一倍多DQN 也能學(xué)到策略但因?yàn)閯?dòng)作離散化丟失了大量精細(xì)調(diào)整能力利潤只有 DDPG 的六成左右。這些數(shù)值具體是多少不重要重要的是復(fù)現(xiàn)論文時(shí)要建立這樣的對(duì)比序列才能證明“用強(qiáng)化學(xué)習(xí)學(xué)出來的策略優(yōu)于傳統(tǒng)啟發(fā)式策略”這個(gè)結(jié)論在你的環(huán)境里是成立的。6.3 參數(shù)敏感性分析與經(jīng)驗(yàn)值我在復(fù)現(xiàn)過程中調(diào)過一批超參把最有價(jià)值的經(jīng)驗(yàn)寫下來供參考。學(xué)習(xí)率方面Critic 和 Actor 不要設(shè)成同一個(gè)值Critic 用 1e-3、Actor 用 1e-4效果明顯優(yōu)于兩者相同。原因是 Q 網(wǎng)絡(luò)的誤差面比策略網(wǎng)絡(luò)平滑可以承受更大的學(xué)習(xí)率而 Actor 如果學(xué)習(xí)率太高策略更新步子太大會(huì)導(dǎo)致 Q 值反饋跟不上訓(xùn)練容易震蕩。獎(jiǎng)勵(lì)縮放方面把利潤除以平均可變成本基準(zhǔn)值讓獎(jiǎng)勵(lì)落在正負(fù) 0.5 附近Q 值收斂速度有數(shù)量級(jí)的改善。目標(biāo)網(wǎng)絡(luò)軟更新系數(shù) τ 固定在 0.005 不要?jiǎng)印L剿髟肼曀p率設(shè)成每 1000 個(gè) episode 衰減 30%太快的后果是策略鎖死在低質(zhì)量區(qū)域太慢的后果是訓(xùn)練后期收益曲線像鋸齒一樣抖動(dòng)。還有一個(gè)容易被忽視的參數(shù)是網(wǎng)絡(luò)初始化的隨機(jī)種子。多 Agent 博弈的收斂結(jié)果是路徑依賴的換一個(gè)隨機(jī)種子可能收斂到完全另一組策略組合。論文里如果只報(bào)告一次結(jié)果很可能是挑了運(yùn)氣最好的那一次。我復(fù)現(xiàn)時(shí)固定了三個(gè)隨機(jī)種子各跑一遍三次都收斂到利潤水平相近的區(qū)間才敢說算法本身是穩(wěn)的。隨機(jī)種子之間的差異如果過大說明多 Agent 博弈的均衡多樣性太強(qiáng)這時(shí)候應(yīng)該優(yōu)先調(diào)整探索噪聲調(diào)度而不是網(wǎng)絡(luò)結(jié)構(gòu)。7. 復(fù)現(xiàn)過程中的坑與解決方案7.1 常見問題速查表我把復(fù)現(xiàn)過程中遇到的最典型的幾個(gè)問題整理成了速查表每個(gè)都是真實(shí)踩過的坑問題現(xiàn)象可能原因解決辦法訓(xùn)練前期所有 Agent 利潤長期為負(fù)探索噪聲太大報(bào)價(jià)普遍低于成本降低初始噪聲、提高報(bào)價(jià)系數(shù)下限收益曲線震蕩幾百個(gè) episode 不收斂多 Agent 環(huán)境非平穩(wěn)同步更新、降低學(xué)習(xí)率、引入 CTDE市場出清價(jià)長期低于成本中位數(shù)所有 Agent 陷在低價(jià)搶量局部最優(yōu)加快噪聲退火、提高報(bào)價(jià)下限Q 值發(fā)散到 10 的 8 次方獎(jiǎng)勵(lì)未做縮放除以基準(zhǔn)值做獎(jiǎng)勵(lì)歸一化Actor 輸出恒在動(dòng)作邊界網(wǎng)絡(luò)容量不足或 Sigmoid 飽和增加隱藏層寬度、檢查動(dòng)作映射范圍單 Agent 正常、多 Agent 后性能驟降CTDE 信息融合沒實(shí)現(xiàn)或時(shí)序不同步檢查所有 Agent 的狀態(tài)與動(dòng)作是否對(duì)齊7.2 多 Agent 訓(xùn)練的四個(gè)核心建議第一固定隨機(jī)種子至少跑三次。多 Agent 博弈的收斂結(jié)果不是唯一的一次實(shí)驗(yàn)的成功可能是運(yùn)氣三次實(shí)驗(yàn)的統(tǒng)計(jì)均值才是算法的真實(shí)水平。第二先單 Agent 跑通再擴(kuò)展多 Agent。單 Agent 環(huán)境里把 DDPG、出清、獎(jiǎng)勵(lì)縮放全部調(diào)通只要不到半小時(shí)多 Agent 里遇到不穩(wěn)定問題調(diào)試復(fù)雜度翻好幾倍。第三多記錄市場層面的統(tǒng)計(jì)量比如平均出清價(jià)、市場集中度、各 Agent 報(bào)價(jià)方差這些指標(biāo)能告訴你訓(xùn)練卡在哪個(gè)階段。第四改進(jìn)獎(jiǎng)勵(lì)一定要保守不要輕易加入復(fù)雜的分量比如“鼓勵(lì)某個(gè)特定報(bào)價(jià)區(qū)間”這類人造獎(jiǎng)勵(lì)很容易讓智能體鉆空子學(xué)出一個(gè)表面好看的報(bào)價(jià)策略實(shí)際卻不適應(yīng)市場變化。7.3 從復(fù)現(xiàn)到擴(kuò)展的一點(diǎn)想法這套環(huán)境搭好之后后續(xù)可以做的事情非常多。動(dòng)作空間可以擴(kuò)展到帶爬坡約束的機(jī)組組合決策出清模型可以換成帶網(wǎng)絡(luò)約束的節(jié)點(diǎn)邊際電價(jià)模型算法可以從 DDPG 換到 MADDPG、MAPPO 或者 SAC。更重要的是這套環(huán)境可以用于研究市場機(jī)制設(shè)計(jì)本身比如改變報(bào)價(jià)紀(jì)律、改變信息披露規(guī)則、引入新能源參與者的隨機(jī)報(bào)價(jià)觀察不同機(jī)制下市場價(jià)格水平和社會(huì)福利的變化。這些都建立在環(huán)境模塊足夠干凈、Agent 架構(gòu)足夠靈活的基礎(chǔ)上這也是我一開始堅(jiān)持模塊化拆分的根本原因。最后分享一點(diǎn)個(gè)人體會(huì)。復(fù)現(xiàn)這類論文最難的部分不是算法公式而是你必須在“貼近真實(shí)市場”和“算法可訓(xùn)練”之間找到一個(gè)平衡點(diǎn)。太真實(shí)的環(huán)境智能體學(xué)不動(dòng)太簡化的環(huán)境復(fù)現(xiàn)出來的結(jié)論又站不住腳。我前兩版代碼基本都廢在環(huán)境設(shè)計(jì)上后來才悟出來先做一個(gè)能訓(xùn)練出合理結(jié)果的最簡環(huán)境再逐步往里面加復(fù)雜度。每一步加完重新確認(rèn)策略還能收斂再走下一步。這種做法看起來慢實(shí)際是快——比一次堆一個(gè)巨型環(huán)境然后從頭調(diào)三周要快得多。希望這篇拆解能讓你少走一點(diǎn)彎路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
逼逼AV| 激情深愛五月視頻| 视频久久9| www久久久久久久久久久| 超碰在线视屏| 五月丁香六月激情| AAAA网站| 99色免费视频| 五月婷深深爱激情网| 99操逼| 2005天天干天天1| 国产毛片欧美毛片久久久| 婷婷午夜激情| 亚洲va成人va成人va在线观看| 色天天综合色| 婷婷四月 成人 狠狠干| 九九亚洲视频| 亚洲av免费在线| 丁香 亚洲 久久| 激情五月天婷婷播播久久综合91| 国外亚洲成AV人片在线观看 | 99性爱视频| 夜色综合网| 丁香涩涩爱| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 色婷婷精品小视频| 激情五月天婷婷久久久久久久久久久| 99啪啪| 日韩黄色电影| 亚洲综合在线网站| 94干大香蕉| 国产操B| 国产欧美熟妇另类久久久| 99色热| 丁香五月婷婷激情尤物| 丁香激情网| 婷婷精品综合| 深爱五月最新网址| 丁香五月婷婷骚视屏| 五月丁香网中文字幕| 天天做综合| 久久激情五月| 99热九九这里只有精品| 成人做爰A片免费看网站找不到了| www、丁香五月天| 大香蕉天堂色| 99热6色| 五月香蕉综合| 99在线观看精彩视频| 任你草| 国产婷婷五月天| 丁香五月黄色| 99色久| 五月丁香花激情啪啪网| 亚洲成人在线观看网址| 婷婷激情97| 色色亚洲99com| 日本黄色三级片内射| 五月天综合| site:pnnrt.com| 超碰九色| 久久婷婷综合五月天| 久热伊人| 色色色99| 日日夜夜狠狠| 99精品偷自拍| 97色婷婷| 日韩在线视频9色| 激情综合五月天| 综合网色| 国产69久久久欧美黑人A片| 丁香婷婷久久| 无码日本精品XXXXXXXXX| 日日爽夜夜爽| 国产FREESEXVIDEOS性中国| 色五月av| 婷婷五月天性色| 五月丁香激情婷婷综合| yazhouzonghesese| 天天日天天干天天插天天射| 色丁香五月天婷婷| 综合激情视频| 大香蕉天堂| 欧美五月婷婷| 成人在线99| 六月婷婷av| 综合99视频| 日本一级特黄大片AAAAA级| 狠狠狠狠狠狠色| 婷婷综合亚洲| 大香蕉九九| 色色色国产| 色欲久久综合| 五月色网| 中文字幕在线aⅴ免费观看| 亚洲亚洲人成综合网络| 五月丁香婷婷伊人日韩| 一区二区三区四区牛| 人妻中文av| 麻豆精品| 久久精品4| 五月婷婷无码| 婷婷五月天直播| 久久成人综合五月天| 欧美色小说婷婷| 色婷婷五月天天天干天天操天天爽 | 思思热在线观看| 无码免费人妻A片AAA毛片西瓜| 日日操夜夜擼| 超碰自拍天堂| 丁香激情四射| 婷婷五月天av网| 五月激情精品视频| 亚洲无码九九| 91久久五月天| 亚洲第一综合| 性做爰A片免费视频A片直播| AV大片在线观看| 婷婷久久五月天中文字幕在线观看| 26uuu丁香婷婷五月| 成人va视频| 五月天综合激情网| 玖玖在线视频| 一级片操逼视频| 欧美日本不卡黄色片| 五月婷婷亚洲色图| 六月婷婷色综合| 国产裸舞福利资源在线视频| 我爱婷婷五月天综合88| 丁香五月亚洲| 五月婷婷狠狠干| 九九Av| 五月丁香影院| www.夜夜爱.com| 亚洲操B视频| 色老久久| 久久久久久草黄色片AV在线观看| 狠色狠色综合久久| 日韩超碰在线| 人人草人人舔| 丁香五月花影院| 激情婷婷五月社区| 996热re视频精品视频| 九九热这里只有精品首页| 婷婷瑟五月天久久综合| 中文av网| 9色在线| 综合aV在线| 亚洲色区17| 啪啪色区| 99久久a线观| 五月停停丁香| 在线看片av| 五月丁香啪啪综合| 日本波多野结衣视频| 97久久五月丁香婷婷| 狠狠综合| 色五月亚洲开心网| 狠狠丁香| 色.五月综合网| 超碰9在| 天天曰夜夜爽| 久久网思思| 99热官网| 亚洲V国产V欧美V久久久久久| 超级久久久| 欧洲不卡视频| 婷婷射图五月天| 激情五月婷婷五月| 超碰av在线| 久久婷五月影院| 91黄址| 色综合久久伊伊婷婷五月| 激情五月天色爱| 久色激情| 国产欧美性成人精品午夜| 99九九热视频免费| AV天堂淫乩| 99热这里只有精品66| 99操逼| 亚洲成人在线在线| 五月天天堂久久| 丁香五月婷婷动漫视频| 99免费在线视频| 亚洲综合另类| 九九超日本| 思思热闹这里只有精品| 婷婷五月天综合久久| 啊V视频在线观看| AV片一区在线观看| 欧美天堂久久| 婷婷色日本| 在线观看av网站| 日日做A爰片久久毛片A片英语 | 99热亚洲| 久久五月婷婷视频| 激情五月六月婷婷综合啪啪| 91婷婷搞| OYIWbGcPu8H| 人妻人人操| 婷婷五月六月激情| 97色色色| 999久久久国产精品| 国产婷婷综合| www.色五月.com| 色99综合色88| 9er热在线精品视频| 亚洲欧美999| 91久久久久久久久18| 九九激情视频| 五月婷婷中文网| 亚洲午夜视频| 七七色综合| 色婷婷基地在线| 天天色天天爱天天爱天天爱y| 人人爱人人草| 26uuu偷拍亚洲欧洲综合| 丁香五月狠狠综合欧美| 激情综合五月| 青青日韩| 99性感视频| 丁香五月色| 五月色丁香婷婷综合| wwW天天干| 人人操AV| 99热草草| 天天爽—爽| 色九亚洲| 国产精品 的国产| 婷婷丁香六月影视| 久月婷婷| 97久操视频| 欧日韩AV| 激情五月丁香五月| 黄色一极大片| 美国天天日天天操| 国产精品色色| 婷婷五月丁香综合| 殴美综合激情五月天免费视频| 怎么样可以看免费的一级av| 天天摸.天天mo| 99爱视频| 99色综合久久| 色青青五月| 狠狠丁香| 九九99热| www.夜夜.com| 久久香蕉网| 超碰com| 五月色色激情网| 青草青草视频2免费观看| 激情九月综合| 国产精品视频| 极品五月天| 丁香五月天婷婷中文| 九九热这里| 吊色AV男人的天堂| 色吧五月婷婷| 91人人爱| 伊人狠狠综合| 内射爽无广熟女亚洲| 91九色在线| 五月亭亭开心网| 婷婷六久久| 色五月五月天| 国产成人精品亚洲线观看| 丁香五月婷婷基地| www.99婷婷| 丁香熟女乱| 在线中文字幕免费视频| 色5在线| 九九99九九99九九99视频网| 铁牛TV人妻| 激情综合网五月激情| 伊人婷婷大香蕉在线| 丁香婷婷五月天网站| 久色网址| 久99久在线观看| 99热免费在线| 久久全色| 亚洲色婷婷视频| 黑人巨粗进入警花疼哭A片| 五月天丁香啪啪综合| 亚洲第一黄网| 日本不卡中文字幕| 久9热视频| 久久综合站| 天天操天天谢| 欧美三9久九观看| 丁香婷婷精品视频| 色婷婷五月综合| 超碰成人在线观看| 五月婷婷黄色| 婷婷五月丁香久久| 激情久久久久久| 98永久精品| 欧美一线视频| 色色影院aaaav| 五月婷婷丁香综合网| 亚洲婷婷五月天| 国产片天天爽夜夜爽| 丁香色五月天| 99er视频在线| 激情内射人妻1区2区3区| 五月激情婷婷图片基地| 天天天天天天操| 乱码操操| 久久 无毛。| 久久性爱视频网站| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | www.精品99| 色女人久久| 日韩精品一品二区三区的使用体验| 久久这里只有精品8| 激情国产五月| 婷婷五月天小说网| www综合久久| 激情噜噜噜| 色哟哟性爱av| 丁香婷婷五月六月久久| 99热主页日本| 色综合婷婷| 久久99婷婷| 丁香五月婷婷超碰在线| 九九热只有这里精品| 五月天婷婷基地| 天天做天天爱天天爽夜夜揉| 婷婷丁香六月天| 情婷婷五月天在线| 一区二区成人电影免费播放| 丁香五月婷在线观看| 影音先锋五月天婷婷丁香在线观看| 五月天激情av| 五月天基地| 美国十月色婷婷在线观看| 丁香婷婷色情| 91丨九色丨国产打屁股| 色视频2025| 婷婷丁香在线| 四川BBB搡BBB爽爽视频| 另类综合激情| 97超美国视频在线观看| 色欲一二三| 婷婷色偷拍| 六月婷婷啪啪| 色婷婷成人| 综合色99| 色久免费| 91色碰| 五月丁香大相交| 激情另类综合| 婷婷狠狠操| 九九热这里都是精品6| 日本少妇裸体做爰高潮片| 亚洲中文乱字字幕线在永久| 岛国资源站| 97碰人人操| 99久在线视频| 99激情| 丁香婷婷五月六月天| 婷婷六久久| 色五月激情五月| 国产老熟妇亲子乱对白| 色婷婷五月天| 色噜综| 久久九九囯产| 婷婷色五月开心五月| 国产激情视频在线观看| 欧美精品中文字幕亚洲专区| 99热这里只有免费精品| 久久久久亚洲AV无码网影音先锋| 婷婷五月天伊人| 狠狠干总合| 色婷婷久久9.com| www.夜夜操| 人人插操| 无码网| 日本三级99人妇网站| 婷婷五月天电影网| 色一情一乱一乱一区91Av| 五月亭亭开心网| 欧美五月丁香在线观看| 超碰在线94| 人人操AV| 天天插天天插天天日| 青青草青青草五月天| 色色色色网| 97香蕉久久超级碰碰高清版 | 国产亚洲精品AAAAAAA片 | 广东99色在线| 久久综合香蕉国产国产蜜臀AV| 五月天丁香成人| 99在线er热| 亚洲成人影视在线| 91视频五月丁香| 婷婷第六色| 国产肥白大熟妇BBBB视频| 99热99色| 97人人超| 婷五月天影院| 五月丁香欧美综合| 婷婷五月AA五月在线| 大香蕉在线观看9| 丁香五月久久| 日日肏天天操| 亚洲第一成人无码A片| CHINESE熟女老女人HD视频| 五区毛片七区毛片| 五月丁香精品| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 激情五月婷婷老师| 五月香婷婷| 伊人丁香五月天丁香在线婷| 91婷婷色五月| 艹| 天天综合网~91综合网| 午夜少妇在线观看视频| 亚洲激情综合| 婷婷五月天va| 成人午夜免费电影| 51精品国自产在线| 噜噜国产| site:minyis.com| 日韩啪图| 久久久久久人妻| 天天插天天插天天插天天插| 思思热这里只有精品视频666| 超碰天堂网| 武则天精品久久| 婷婷激情六月中文| 激情丁香九九五月综合网| 黑人巨粗进入警花疼哭A片| 思思热这里只有精品| 夜夜涩涩涩| 九九热青青草| 色婷婷丁香五月| 婷婷综合网| 激情q青青草在线婷婷| 一级无码作爱片| 91丨九色丨东北熟女| 五月天综合图片| 六月丁香婷婷五月天| 九热视频在线伦| AV性爱在线| 激情五月深爱婷婷| 天堂婷婷五月在线| 色久影院| 五月婷婷色色爱| 99视频精品| 婷婷五月天综合中文| 激情五月丁香五月| 天天肏天天肏| 精品一二三区久久AAA片| 99在线免费视频| 思99热精品久久只有精品| 亚洲、欧美、国产另类笫二区| 九久久婷婷| 91九色精品熟女内射| WWW,婷婷,COM| 在线va网站| 一区二区三区XXXXXX| 国产看真人毛片爱做A片| 人人九色| 丁香五月开心婷婷| 亚洲俩性性爱图片久久第六页| 97婷婷狠狠久久综合9色| 欧美成人AAA片一区国产精品| 99自拍视频网站| 激情综合亚洲色婷婷五月| 欧美日韩99| 久久国产AV| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 大香蕉九九| 第五色色色婷婷| 五月婷免费视频久久久| 91婷色| 人五月天婷婷喷水| 操91| 狼人久草| 99色色视频| 好好干av| 26uuu国产色| 成人短视频在线免费观看| 五月婷婷六月激情| 狠狠综合网| www,久久久| AAAA网站| 日本九九热| 久久婷婷激情五月天一区二区| 丁香久久久| 色色色九九九五月婷婷| 色色99| 久久9视频欧美| 五月婷婷香| 天天干天天 亚洲| 日本一级黄色电影| 狠狠色丁香久久| 丁香婷婷浪潮AV久久综合| 极品少妇高潮啪啪AV无码| 色综合久久44| 丁香五月香蕉| 99热只有这里才是精品| 五月天天天开心激情网| 99久热在线精品| 婷婷五月天黄色网址| 日逼影音先锋AV男人资源站| 懂色av粉嫩av蜜臀av| 五月天激情婷婷| 综合色五月天| 日熟女| 婷婷五月激情天| 精品99爱免费视频在线观看| 色五月开心婷婷| 91综合国免费久入| 成人网在线视频| 亚洲国产色婷婷| 五月天丁香久久综合| 五月天婷婷激情| 婷婷中文字幕| 久久婷婷五月综合色奶水99啪| 一级黄色尤物综合视频手机在线观看| 狠狠色婷婷六月激情网| 五月丁花色综合网| 99热99热在线观看| 激情综合播播| 开心五月婷婷激情| 91九色|疯狂|高潮|对白|| xxxx五月天色色| 1024操逼| 日本视频久久| 疯狂做受XXXX高潮A片| 99热最新网址| 亚洲超碰在线| 亚洲操B| www超碰| 97热精品| 综合激情五月婷婷| 99超级碰碰| 99综合色| 可以看的AV网站| dingxiangtingtingliuyue| 六月天六月婷| 久久这里只有精品网| 六月婷五月丁香| 79亚洲精品少妇| 六月婷婷五月丁香首页| 性爱综合网| 9久热| 久久98| 激情AV| 色五月婷婷久久| 97人人超| 91婷婷丁香五月天免费视频网站| 另类激情五月天。| 欧亚色色| 开心丁五月| 九九综合久久丁香婷婷,开心激情综合网| 思思色播| 888精品福利地址| 婷婷五月丁香综合亚洲 | 婷婷大香焦| 欧美在线| 成人国产欧美大片一区| 久久97久久99久久综合欧美| 九九爱激情| 综合天堂AV久久久久久久| 免费看欧美成人A片无码| 操笔无码| 色小说婷婷五月天天天| 最新五月天婷婷影| 婷婷丁香激情五月天色色| 激情五月婷婷色播网| 五月婷婷开心丁香| 色播播婷婷| 五月天婷婷激情| 色99色| 天天色图| 99热这里只有精品中文字幕| 激情av| 92久久精品一区二区| AA片在线观看视频在线播放| 96丁香婷婷九月蜜桃综合久久| 色婷插| 久色大香蕉| 琪琪色影音先锋| 99九九玖玖| 丁香五月婷婷黑人妻黄色电影院| 丁香色五月婷婷17C| 开心深爱五月天| 激情欧美婷五月| 伦99热| 久久婷婷五| 六月丁香AV| www.九九婷婷| 小泽玛利亚视频一区二区| 99色在线观看视频| 婷婷的久久网站| 热99国产精品| 丁香八月综合激情| 五月天俺去也| 99热精品在线观看| 超碰av在线| AV电影在线播放| 久久9热好| 九久热| 久久9热| 91碰碰碰| 丁香六月色情| 五月丁香亚洲婷婷| 色狠狠999综合| 丁香六月婷婷色XXXXX| 国产精品久久欧美久久一区| 日逼影音先锋男人资源站| 五月丁香六月激情| 婷婷六月综合基地| 99色视频| 亚洲丁香五月综合| 久久久五月婷婷| 婷婷社区五月天| 中文字幕在线播放视频| 国产做爰视频免费播放| 成人国产网| 激情四射婷婷色色色| 婷婷色五月激情| 丁香婷婷五月天校园春色| 五月婷婷深爱六月| 婷婷网五月天| 亚洲激情四射| 亚洲乱码日产精品BD| 亚洲丁香婷婷| 91综合色| 在线VA视频| 很很干五月天| 激情丁香五月天图片| 夜夜 操无码| 久久九九综合| 亚洲区1| 色综合久久综合中文综合网| 婷婷丁香五| 亚洲五月色| 久久电影4399| 婷婷久久综合| 9 1大香蕉| 日韩成人中文字幕| 狠狠草婷婷| 六月丁香VA| 五月天婷婷色色| 色色网站毛片| 丁香狠狠色婷婷| 色色色在线免费视频| 精品热九九| 色9月| 永久99免费视频网站| 天天日天天干天天天| 伊人干综合| 国产毛片欧美毛片久久久| 国产亚洲成AV人片在线| 激情五月综合网| 五月中旬婷婷丁香六| 欧美久久网| 久草热久草在线视频| 色九综合| 99热九九这里只有精品10| 五月天激情无码| 久久久com| 五月婷婷久久大片| 91操片| 99视频在线观看欧| 97人人操| 激情综合色五月丁香| 久超超碰| www.久久五月天.com| 五月天久久综合婷婷| 玖玖婷婷五月天| 五月综合激情图片| 亚洲婷婷丁香五月在线| 五月丁香六月情| 国产亚洲在线观看| 好叼操在线观看| 99热这里只有精品1025| 亚洲va欧美va国产综合久久久| 欧美va视频| 婷婷丁香无码专区| 久久久com| 人人爱人人添| 国产在这里只有精品| 五月丁香激情综合网官网| 91chinese在线| 久热网站| 久久丁香五月天| 五月婷婷之综合激情在线| WWW,色五月| 色五月天电影| 亚洲综合五月天| 亚洲无码yw| 超碰renrenai| 狠狠操狠狠爱| 中文在线视频久9| 激情综合综合综合| 狼友超碰| 日韩二区搞逼插逼毛片| 超碰国产在线| 亚洲美女网Va| 久久久av久av久片一区二区| 午夜丁香| 激情五月天综合| 四LLL少妇BBBB槡BBBB| 国产激情在线| 日本激情五月天‘| 九九热这里| 五月激情小说| 被强行糟蹋的女人A片| 14色综合婷婷| 婷婷综合在线观看视频| 亚洲激情五月| 日韩在线一级| 婷婷综合六| 五月天激情网图片| 啪精品| 丁香五月婷婷亚洲另类| 很很干天天干| av无码电影| 天天日日爽| 狠狠色婷婷777| 婷婷七月丁香色色| 久狠日av| 强辱丰满人妻HD中文字幕| 九色自拍| 久久99网| 五月久久丁香| 天天肏屄夜夜爽| 九九色综合网| 月色色综合婷婷网| 婷婷玉月丁香五月在线视频| 五月丁香偷拍| av在线中文| 色婷婷五月在线| 97超碰,人人舔,人人操,人人摸| 色婷婷基地| 99色 | 噜噜狠狠色综合久| 婷婷色狠狠| 天天色伊人| 五月天激情四射网站| 婷婷天堂综合网| 国产淫熟妇| 色色色网站| 色婷婷综合久久久久| 中文字幕色色| av高清无码| 天天舔夜夜操www com| 五月天色色婷婷| 99在线播放| 色五月天激情| 少妇性按摩无码中文A片| 99热思思久| 超碰免费99| 射琪琪| 婷婷五月在线播放| 九九99精品视品| 伊人综合网4| 人妻久久久久久| 91免费看片| 特级西西4444www无码| 十二区无码| WWW.开心五月天.COM| 777精品久无码人妻蜜桃| 99热最新地址在线| 日本久久精品| 日本三级中国三级99| 国产毛片精品一区二区色欲黄A片| 99精品丰满| 色婷婷激情视频| 九月婷婷综合| 99自拍视频在线观看| 色九九九九| 东北熟女高潮99综合99| 久久这里只有国产视频| 九九亚洲天堂| 狠狠狠狠狠狠狠狠狠狠狠色宗合图片| 色色色综合网| 第2色五月婷| 天天插天天爽| 激情综合五月婷| 婷婷综合五月| 色五月91| 久操人妻| 日韩精品999| 99热综合在线| 91精品婷婷国产综合| 激情久久丁香| 爆乳熟女一区二区三区爆乳| 日日噜噜夜夜狠狠久久丁香五月| 欧美啪啪五月天| 亚洲热视频| 1囯产午夜仑鲁鲁| 亚洲色99| 91seAV| 亚洲色情在线| 婷婷丁香五月天操逼| 99热这里只有免费精品| 人操91在线| 婷婷五月美女直播| 天天色五月婷婷91久久久久久久| 99视频这里只有久久精品| 玩熟女五十AV一二三区| 丁香五月人妻熟女| 亚洲无码 图片区| 台湾佬天天日丁香婷婷五月天| 热热色色五月天婷婷| 伊人网色婷婷五月天| 丁香五月激情图片婷婷| 丁香五月亚洲天堂| 99精品综合在线| 播四月婷婷六月丁香| 婷婷五月六月| 少妇性按摩无码中文A片| www.97干视频| 丁香久久久| 中文字幕AV网址| 丁香九月婷婷综合| 四虎成人精品永久免费AV九九| 91丨九色丨高潮丰满日本| 婷婷99中文字幕| 色区久久| 熟女婷婷网站一婷婷五月一丁香婷婷一婷婷激情网 | 国产精品色婷婷久久久精品| 99在线精品视频| 综合久久婷婷| 欧美婷婷丁香五月社区| 99热这里只有精品4| WWW.天天日| 丁香六月婷婷久久综合| 五月天自拍网| 精品9久| 嫩草乱码一区三区四区| 潘金莲AAAAAAAAAA| 色综合激情| 婷婷色五月大香蕉在线观看| 伊人久久大香网| 草综合网| 亚洲婷婷丁香五月天激情小说 | 国产av天天插天天操天天爽| 人人舔人人| 色婷婷色和| 五月天婷婷AV| 色五月首页| a网站免费观看| 五月天婷爱综合| 热久综合| 色噜噜狠狠一区二区三区| 久久丝袜婷婷| www夜夜| 午夜性爱影视一区77| 色播jjjj| 久久综合激情婷婷激情| 97干在线免费| 狼人婷婷综合| 五月色综合网欧美网| 国产人妻人伦精品一区二区| 色色色色色爱| 色婷婷瘦婷婷日韩| 女同激情久久av久久| 六月丁香啪啪| 成人综合网站| 久久久久思思热| 婷婷久久精品| 五月天婷婷色综合| 日本va网站| 黄色av高清| 婷婷五月丁香色综合| 丁香五月色| 免费视频WWW在线观看网站| 色婷婷狠狠干芒果TV| 久久久欧美精品sm网站| 99热免费在线| sewuyuejiqingwang| 丁香五月婷婷综合激情啪啪啪啪啪啪啪 | 99热只有精品在线播放| 少妇人妻丰满做爰XXX| 五月色丁香视频精品| 99久久www| 丁香五月性| 爱婷婷五月| 九月久久婷婷| 这里只有精品视频在线| 丁香五月天婷婷中文| 伊人影院久久网| WWW久久久| 激情纯色婷婷五月天在线不卡视频| 大香蕉久久久久久久久| 99精品国产热久久91色欲| WWW,激情五月天,COM| 亚洲综合网在线| 思思热在线视频精品| 色婷婷小说| 久久久久久久久久久-久五月天婷婷| 天天玩夜夜操| 色五月天.con| 天堂美国久久| 五月婷婷啪啪啪| 色婷婷丁香五月高清在线| H亚洲| 综合久久综合久久| 婷婷久久国产视频| 狠狠色九月| 夜夜躁爽日日| www.ppypp| 欧洲亚洲免费视频9| 爱久久小说下载网| 婷婷六月天激情| 色色色色热热| 丁香婷婷五月天成人| 性生活视频98791| 色五月天中文字幕| 九九伦子片| 色播综合| 色999;丁香五月| 五月丁香亭亭操逼| 丁香香蕉射射射| 欧美日韩成人在线网站| 婷婷色五月综合丁香| 超爽内射| 五月亭亭开心网| 综合激情网激情五月。| 五月天婷婷色色| 婷婷五月天VI| 亚洲精品影视| 欧美丁香五月天| 五月婷婷激情| 5月丁香美女影院| 久久婷婷网| 第四色五月激情网| 欧美三级巜人妻互换| 色色色婷婷| 丁香五月老师| 97色97干| 亚洲狠9| 97婷婷色| 婷婷五月天免费视频在线观看| 第四色激情网| 激情综合九| 伊人99热| 亚洲第一精品网站| 亚洲婷婷丁香五月在线| 五月丁香九九| 成人国产欧美大片一区| 五月婷婷中文字幕| 丁香五月激情婷婷| 五月丁香A片| 丁香六月激情国产| www.久久| 久久综合影院| 天天日婷婷| 热99国产精品| 91色欲综合| 中文字幕网伦射乱中文| 五月天色婷婷综合| 婷婷在线操| www.五月天婷婷| 五月天婷婷婷| 国产超碰在线| 99热这里只有精品86| 蜜臀av无码久久久久久久久| 综合色网站| 97一区二区| 国产99热| 五月六月伦理| 欧美黑人巨大猛烈cuckold| 丁香五婷婷| 老司机视频lsj爱就色| 五月婷婷啪啪| 开心激情站| 99热99这里有免费的精品| 99热最新精品| 婷婷中文字幕网| 久久五月天激情| 丁香五月在线| 九九在线精品| 开心五月婷婷在线| 天天摸天天舔在线视频| 六月婷婷九月丁香| 久久曰9| 五月丁香综合激情| 成人午夜无码视频| 五月丁香六月在线| 99性爱无码| 成久综合视频| 2017人人操| 一起操最新网址| 亚洲妇女熟BBW| 99久久9| 精品人妻一区二区| 婷婷综合网站| 影音先锋女人av鲁色资源网小说免费| 色五月超碰| 9久操| 婷婷色色亚洲| 99这里只有精品| 久久九九综合| 日本九九网| 丁香五月婷婷激情蜜桃| 少妇激情五月婷婷| 99啪啪| 啪啪黄页网| 婷婷激情五月天桃花网| 欧美成人猛片AAAAAAA| 欧美日朝成人| 色爱综合网| 亚洲五月色| 天天综合永久| 婷婷激情综合无月| 99综合视频在线| 婷婷欧美综合| 超碰9在| 九月性爱网| 深夜婷婷 丁香| 九色婷婷| 大香蕉九九| www.色婷婷.com| 女人天堂 AV| 婷婷五月色网| 久久婷五月综合色| 五月天六月丁香| 色欲久久综合| 26UUU欧美激情一区二区| 1234操逼网| 日日操夜夜操中国无码| 狠狠爱深色婷婷综合| 九九成人| 久久九九国产精品怡红院| 五月天丁香网站| 天天舔天天摸| av五月天婷婷丁香| 日韩AV色色色| 欧美黑人巨大猛烈cuckold| 婷婷五月天改成什么了| 欧美日韩999| 色三级色三级| 久久婷网| 大香蕉人在线65| 亚洲Av成人在线观看| 天天综合网色欲香| 亚洲日比视频| AA片在线观看视频在线播放| 婷婷丁香在线| 婷婷五月天AV| 丁香五月五月婷婷| 婷婷永久在线| 超碰色色综合| 五月天婷婷基地综合网| 狠狠摸狠狠摸| 五月综合激情视频在线| 天天摸色吧天天摸色吧| 99热99干| 丁香五月婷婷亚洲另类| 怡红院院久久| 日日鲁鲁夜夜爽爽| 六月婷婷狠狠色在线观看| eeuus五月婷| 99re思思| 天天天久久久| 激情网战码亚洲A| AV大香蕉| 5月激情天| 玖玖国产视频一区| 久久停停超碰| 日本91在线| 色综合com| 五夜婷婷| 日本片日本片祼观看网站在线看中文版网页在线看 | 中文字幕人妻在线| 色情五月天。| 婷婷五月花| 超碰99在线观看| 色欲天天综合网| 婷婷午夜| 超碰人人操在线| 91丨九色丨白浆| 久99在线视频| 激情婷婷丁香五月天| 日韩欧美一级大黄网站| 五月丁香色色网| 香蕉久久国产AV一区二区| 五月伊人网| 一起草AV| 精品在线| 一区二区三区四区五区| 婷婷综合网在线| 六月丁香五月亭亭| 蜜乳国产网站| 久久婷婷五月综合啪| 天天草天天摸| 婷婷五月婷婷| 14色综合婷婷| 久色网址| 99热只有| 性做久久久久久久免费看| 99精品偷自拍| 99婷婷精品推荐在线视频| 五月婷婷丁香日韩在线| 伊人大香蕉毛片| 色综合色综合色综合| 国产AV不卡福利| 天天插天天射天天干| 五月丁香综合激情网| 色狠狠综合| 婷婷色播色五月五色五月天色妇| sisi热国产| www.五月天婷婷姐姐| 涩涩涩.com| 综合久久99| 99视频九九热| 九九AV| 五月丁香六月婷综合成人综合| 婷婷六月激情| 国自产拍偷拍精品啪啪一区二区| 久久五月婷婷综合网| 91人妻九色大屁股| 绿色小导航AV| 99爽视频| 婷婷五月激情四月综合| 99视频这里只有免费精品| 狠狠干2007| 丁香五月激情无码视频| 天天激情欧美美女| 激情av在线| 亚洲99热| 亚洲成av人影院| aaa久久久| 超碰AV成人| 久久免费操| 五月天色狠狠| 9这里只有精品| 狠狠干在线| 亚洲天堂爱爱| 99亚洲天堂| 激情综合色婷婷啪啪五月天| 成人AV综合在线| 亚洲欧洲国产精品| 综合五月草| 深爱丁香激情| www、色色色| 91色操| 丁香五月激情综合| 超碰免费人| 五月天伊人久久| 97操视频| 久久黄色网扯| 婷婷五月天免费视频在线观看| 人人爱摸视频| 午夜婷婷| 91狠狠色丁香婷婷综合久久精品| 婷婷五月天久草在线| 十区AV| 色情五月天视频网| 六月色色婷婷| 激情六月色| 久久精品4| 丁香在线视频| 色婷婷伊人激情在线观看| 久久亚洲天堂| 久9热| 亚洲激情电影五月天色婷婷丁香一起草| 免费视频这里只有精品| 99精品久久久久| 久99| 久久五月天精品视频| 黄色成人网站在线播放| 99精品爱| 五月婷深深爱激情网| 日韩aaa| 色五月婷婷久久| 99ER热精品视频| 九九re视频在线视频| 99热精品在线| 深爱激情网噜噜色| 少妇搡BBBB搡BBB搡毛茸茸 | 99热| 精品热青草| 伊人久久大香蕉网| 五月天婷婷在线观看精品男人| 亚洲六月色| 人人摸人人摸| 蜜臀综合久草| 啪啪综合| 五月丁香天天| 综合色播| 五月激情天| 九 九九九AV| 99久久久久| 思思热久久婷婷五月天| 日本色久| 免费视频无码| 91亚洲免费片| 色婷婷导航| 亚洲精品久久久久久久久久吃药| 亚洲午夜电影| 香蕉AV777XXX色综合一区 | 一月婷婷色色| 狠狠狠狠免费| 这里只有精品1| 色婷婷久久综合中文久久一本| 亚洲超碰青涩| 99A级片| 婷婷五月激情欧美大胆视频| 国产三级片91| 农村熟妇高潮精品A片| 伊人久久大香天蕉亚洲特级| www.av视频xx999.com| 色婷婷丁香| 伊人在线视频| 婷婷六月久久| 亚洲人成网亚洲欧洲无码久久| 婷婷激情社区| 色五月av| 99热www| 99久久99热| 天天透天天爱| 99婷婷| 五月丁香六月婷婷久久肏| 五月婷庭丁香在线| 免费亚洲婷婷| 黑人巨粗进入警花疼哭A片| 婷婷激情人妻| 五月婷婷激情色情网| 亚洲在线资源| 五月天色小说| AA久久| 欧美成人精品一区二区| 97在线精品| 国产91在线视频| 五月丁香婷成人网| 狠狠穞A片一區二區三區| 免费无码毛片一区二区A片| 玖玖爱综合网| 亚洲国产精品综合色区| 五月丁香五月综合欧美| 综合久久综合五月天婷婷| 激情影院内射| 久色大| 国产在线激情视频| 色五月婷婷在线| 99热在线免费| 婷婷九月色| 婷婷色情五月| 精品综合久久久久久五月天| 色99热| 91狼友视频在线观看| 日本精品在线噜噜噜| 天天草天天摸| 激情又色又爽又黄的A片| 丁香婷婷九月| 日日夜夜综合| 婷婷激情五月| 91色吧网| 久久婷婷丁香六月天| 99九九久久| 禁片二区| 99热6这里只有精品6| 色色色在线观看| W色综合| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 亚洲免费观看高清完整版AV线| ztEJj| 久婷婷五月激情|