欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Actor-Critic實(shí)戰(zhàn):優(yōu)勢(shì)函數(shù)、GAE與A2C訓(xùn)練循環(huán)拆解

Actor-Critic實(shí)戰(zhàn):優(yōu)勢(shì)函數(shù)、GAE與A2C訓(xùn)練循環(huán)拆解 強(qiáng)化學(xué)習(xí)學(xué)到 Actor-Critic 這一節(jié)基本算是從會(huì)跑 demo跨到能理解現(xiàn)代 RL 工程的分水嶺。前面講策略梯度時(shí)REINFORCE 用一整條軌跡的回報(bào)去估計(jì)梯度方差大到需要幾十次采樣才能勉強(qiáng)收斂講到值函數(shù)近似時(shí)又發(fā)現(xiàn)只學(xué) Q 值沒(méi)法直接輸出策略。Actor-Critic 把這兩條線擰在一起一個(gè)網(wǎng)絡(luò)負(fù)責(zé)決定動(dòng)作一個(gè)網(wǎng)絡(luò)負(fù)責(zé)評(píng)價(jià)動(dòng)作好不好用評(píng)價(jià)網(wǎng)絡(luò)的輸出給決策網(wǎng)絡(luò)的梯度降方差。A2C、A3C、PPO、DDPG、TD3、SAC 這一整串現(xiàn)在還在被廣泛使用的算法骨架都是它。這篇文章是2026 新版強(qiáng)化學(xué)習(xí)從入門(mén)到精通系列的第 42 篇重點(diǎn)不再停留在概念解釋上而是把 Actor-Critic 的網(wǎng)絡(luò)結(jié)構(gòu)、優(yōu)勢(shì)函數(shù)、GAE、損失函數(shù)組合、訓(xùn)練循環(huán)這些真正影響能不能跑通的部分拆開(kāi)講。文中的每段代碼都可以直接復(fù)制運(yùn)行環(huán)境用 PyTorch GymnasiumCartPole 這類(lèi)任務(wù)在純 CPU 上幾分鐘就能看到曲線抬起來(lái)不需要顯卡。讀者對(duì)象很明確已經(jīng)寫(xiě)過(guò) REINFORCE 或 DQN、知道策略梯度和貝爾曼方程大概在講什么、但自己動(dòng)手寫(xiě) Actor-Critic 時(shí)總是卡在為什么 loss 是這三項(xiàng)加在一起優(yōu)勢(shì)函數(shù)到底怎么算critic 學(xué)崩了怎么辦這幾個(gè)問(wèn)題上的人。看完之后應(yīng)該能獨(dú)立寫(xiě)出一個(gè)可訓(xùn)練的 A2C并且知道把它換成 PPO 需要?jiǎng)幽膸仔小?. Actor-Critic 核心能力速覽先把這套架構(gòu)的關(guān)鍵信息壓縮成一張表后面所有內(nèi)容都是圍繞這張表展開(kāi)的細(xì)節(jié)。需要注意Actor-Critic 不是某一個(gè)算法而是一類(lèi)架構(gòu)范式表里列的是這個(gè)范式的共性以及它在主流算法上的具體投影。能力項(xiàng)說(shuō)明架構(gòu)組成Actor 策略網(wǎng)絡(luò)輸出動(dòng)作分布Critic 價(jià)值網(wǎng)絡(luò)輸出狀態(tài)價(jià)值或動(dòng)作價(jià)值解決的核心問(wèn)題策略梯度方差過(guò)大、單步更新效率低、無(wú)法在線學(xué)習(xí)梯度估計(jì)方式用 Critic 給出的價(jià)值作為基線或優(yōu)勢(shì)替代蒙特卡洛回報(bào)支持的動(dòng)作空間離散動(dòng)作Categorical與連續(xù)動(dòng)作Gaussian / Tanh-Gaussian均可典型代表算法A2C、A3C、PPO、TRPO、DDPG、TD3、SAC網(wǎng)絡(luò)結(jié)構(gòu)可共享主干shared trunk也可完全分離separate networks更新方式同策略A2C/PPO或異策略DDPG/TD3/SAC需要經(jīng)驗(yàn)回放采樣效率同策略版本中等異策略版本較高訓(xùn)練穩(wěn)定性依賴(lài)優(yōu)勢(shì)歸一化、梯度裁剪、價(jià)值損失系數(shù)等工程手段硬件門(mén)檻小型任務(wù)純 CPU 可跑Atari 級(jí)別建議單卡 GPU并行環(huán)境吃 CPU 核數(shù)依賴(lài)環(huán)境Python 3.10、PyTorch 2.x、Gymnasium 1.x版本以實(shí)際安裝為準(zhǔn)典型調(diào)試周期CartPole 級(jí)別分鐘級(jí)MuJoCo 級(jí)別小時(shí)級(jí)適合場(chǎng)景連續(xù)控制、機(jī)器人仿真、游戲 AI、推薦策略?xún)?yōu)化、對(duì)話(huà)策略學(xué)習(xí)這里要提前說(shuō)清楚一個(gè)容易混淆的點(diǎn)很多教程把 Actor-Critic 當(dāng)成一個(gè)具體算法講實(shí)際上它更像一個(gè)模板。你在模板里換掉優(yōu)勢(shì)估計(jì)方式就得到 A2C換掉更新約束就得到 PPO把 Critic 從狀態(tài)價(jià)值換成動(dòng)作價(jià)值并加經(jīng)驗(yàn)回放就得到 DDPG。理解模板比背算法名有用得多因?yàn)檎鎸?shí)項(xiàng)目里你幾乎總要改一點(diǎn)東西。2. 從策略梯度到 Actor-Critic為什么必須有一個(gè) Critic先把動(dòng)機(jī)講透否則后面看到三項(xiàng) loss 相加會(huì)覺(jué)得是拍腦袋湊出來(lái)的。最原始的策略梯度定理給出的是這樣一個(gè)式子梯度等于策略對(duì)數(shù)概率乘以回報(bào)的期望。用采樣估計(jì)時(shí)我們用一整條軌跡的累計(jì)回報(bào) G_t 去乘 log π(a|s)。問(wèn)題在于 G_t 是一個(gè)隨機(jī)變量同一狀態(tài)下采樣十次可能得到十個(gè)差別很大的回報(bào)梯度方向跟著劇烈抖動(dòng)。為了讓這個(gè)估計(jì)穩(wěn)定下來(lái)一個(gè)很自然的想法是減去一個(gè)與動(dòng)作無(wú)關(guān)的基線 b(s)因?yàn)闇p去它不會(huì)改變期望只會(huì)改變方差。數(shù)學(xué)上可以證明E[?log π(a|s) · b(s)] 0所以基線是免費(fèi)的降方差工具。那么最優(yōu)的基線是什么理論上是狀態(tài)價(jià)值函數(shù) V(s)。把 G_t 換成 G_t - V(s)方差會(huì)顯著下降。而這個(gè) G_t - V(s) 恰好就是優(yōu)勢(shì)函數(shù) A(s,a) 的一個(gè)無(wú)偏估計(jì)它衡量的是在狀態(tài) s 下采取動(dòng)作 a比平均水平的動(dòng)作好多少。到這里Actor 的更新方向就變成了往優(yōu)勢(shì)為正的動(dòng)作上加概率往優(yōu)勢(shì)為負(fù)的動(dòng)作上減概率。接下來(lái)的問(wèn)題是怎么拿到 V(s)。用蒙特卡洛方式統(tǒng)計(jì)回報(bào)當(dāng)然可以但那樣必須等回合結(jié)束學(xué)習(xí)是離線的、慢的。Critic 網(wǎng)絡(luò)的作用就是用函數(shù)近似的方式直接學(xué) V(s)而且可以只依賴(lài)單步的 TD 誤差來(lái)更新實(shí)現(xiàn)真正的在線學(xué)習(xí)。這就是 Actor-Critic 的核心交換用 Critic 引入偏差bias換來(lái)方差的大幅下降和在線更新能力。用一句話(huà)概括兩者分工Actor 負(fù)責(zé)試Critic 負(fù)責(zé)評(píng)。Critic 的評(píng)價(jià)越準(zhǔn)Actor 的更新方向越穩(wěn)Actor 的策略越好Critic 面對(duì)的數(shù)據(jù)分布越集中學(xué)起來(lái)也越容易。這種互相依賴(lài)也帶來(lái)了這套架構(gòu)最典型的失敗模式——兩個(gè)網(wǎng)絡(luò)一起崩后面第 9 章會(huì)專(zhuān)門(mén)講怎么拆解。關(guān)于偏差和方差的取舍還有一個(gè)重要的工程變量用 TD(0) 的單步誤差偏差大但方差小用蒙特卡洛回報(bào)方差大但無(wú)偏中間的 n-step 回報(bào)和 GAE 就是在兩者之間滑動(dòng)。這個(gè)滑動(dòng)的旋鈕直接決定了訓(xùn)練曲線是平滑爬升還是劇烈震蕩是 Actor-Critic 調(diào)參里性?xún)r(jià)比最高的一個(gè)參數(shù)。3. 環(huán)境準(zhǔn)備與最小可運(yùn)行工程骨架Actor-Critic 對(duì)環(huán)境的依賴(lài)其實(shí)很輕它不需要 CUDA 編譯、不需要下載大模型權(quán)重甚至不需要顯卡。真正容易出問(wèn)題的地方在于包版本不匹配導(dǎo)致的 API 變更尤其是 Gymnasium 從 Gym 分叉出來(lái)之后step 的返回值從四項(xiàng)變成五項(xiàng)很多老教程直接復(fù)制過(guò)來(lái)就會(huì)報(bào)解包錯(cuò)誤?;A(chǔ)依賴(lài)如下。版本號(hào)這里不寫(xiě)死因?yàn)椴煌瑱C(jī)器上的 CUDA 與 PyTorch 對(duì)應(yīng)關(guān)系不同寫(xiě)死反而容易踩坑原則是 PyTorch 官方安裝向?qū)Ыo出的組合優(yōu)先。# 創(chuàng)建獨(dú)立環(huán)境避免和已有項(xiàng)目沖突 conda create -n actor_critic python3.10 -y conda activate actor_critic # 安裝核心依賴(lài)具體版本以本機(jī)可用的 CUDA 組合為準(zhǔn) pip install torch --index-url https://download.pytorch.org/whl/cpu pip install gymnasium numpy matplotlib tensorboard如果機(jī)器上有顯卡并且想跑圖像輸入的任務(wù)把第一行的 CPU 源換成官方對(duì)應(yīng)的 CUDA 源即可。對(duì)于 CartPole、Pendulum、MountainCarContinuous 這類(lèi)低維狀態(tài)任務(wù)CPU 訓(xùn)練速度快過(guò) GPU因?yàn)閿?shù)據(jù)傳輸開(kāi)銷(xiāo)會(huì)蓋過(guò)并行計(jì)算收益這一點(diǎn)在后面的資源占用章節(jié)還會(huì)提到。建議的工程目錄結(jié)構(gòu)如下把網(wǎng)絡(luò)定義、算法實(shí)現(xiàn)、訓(xùn)練腳本、配置分離后面要換成 PPO 或者換環(huán)境時(shí)改動(dòng)量會(huì)小很多actor_critic_demo/ ├── configs/ │ └── a2c_cartpole.yaml ├── models/ │ └── networks.py # Actor / Critic 定義 ├── algos/ │ ├── a2c.py # A2C 更新邏輯 │ └── gae.py # 優(yōu)勢(shì)估計(jì) ├── train.py # 訓(xùn)練主循環(huán) ├── evaluate.py # 評(píng)估與可視化 └── requirements.txt驗(yàn)證環(huán)境是否裝好跑一段最小檢查腳本就夠了。這段腳本同時(shí)能確認(rèn) Gymnasium 的 API 版本因?yàn)閞eset返回(obs, info)、step返回五項(xiàng)這個(gè)約定是從 Gymnasium 開(kāi)始統(tǒng)一的如果你的環(huán)境返回四項(xiàng)說(shuō)明裝的是老版本 Gym后面的代碼需要相應(yīng)調(diào)整。import gymnasium as gym import torch print(torch:, torch.__version__) print(cuda available:, torch.cuda.is_available()) env gym.make(CartPole-v1) obs, info env.reset(seed42) print(obs shape:, obs.shape) print(action space:, env.action_space) obs, reward, terminated, truncated, info env.step(env.action_space.sample()) print(step 返回項(xiàng)數(shù)正確reward , reward) env.close()運(yùn)行結(jié)果里如果打印出step 返回項(xiàng)數(shù)正確環(huán)境就沒(méi)問(wèn)題了。如果這里報(bào)too many values to unpack說(shuō)明裝的是老版 Gym最簡(jiǎn)單的處理是統(tǒng)一升級(jí)到 Gymnasium而不是在代碼里寫(xiě)兼容分支后者會(huì)讓后面所有邏輯都變臟。4. Actor 與 Critic 的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)是 Actor-Critic 里最容易被輕視的部分。很多人直接把別人的 MLP 抄過(guò)來(lái)層數(shù)、激活函數(shù)、初始化全都不動(dòng)結(jié)果在某個(gè)任務(wù)上怎么調(diào)都學(xué)不動(dòng)。實(shí)際上 Actor 和 Critic 對(duì)輸出的要求完全不同一個(gè)是概率分布參數(shù)一個(gè)是標(biāo)量?jī)r(jià)值兩者的輸出層設(shè)計(jì)必須分開(kāi)考慮。4.1 離散動(dòng)作空間的 Actor離散動(dòng)作下Actor 輸出的是每個(gè)動(dòng)作的 logit經(jīng)過(guò) softmax 得到概率再用Categorical分布采樣。輸出層不要加 softmax因?yàn)?PyTorch 的Categorical內(nèi)部會(huì)做 log_softmax提前做一次會(huì)導(dǎo)致數(shù)值不穩(wěn)定這是新手最常犯的錯(cuò)誤之一。import torch import torch.nn as nn class DiscreteActor(nn.Module): def __init__(self, obs_dim: int, action_dim: int, hidden: int 128): super().__init__() self.body nn.Sequential( nn.Linear(obs_dim, hidden), nn.Tanh(), nn.Linear(hidden, hidden), nn.Tanh(), ) self.head nn.Linear(hidden, action_dim) def forward(self, obs: torch.Tensor): logits self.head(self.body(obs)) return logits激活函數(shù)這里選 Tanh 而不是 ReLU原因是 ReLU 在狀態(tài)輸入歸一化不理想時(shí)容易產(chǎn)生大片死區(qū)而策略網(wǎng)絡(luò)對(duì)梯度方向很敏感死區(qū)會(huì)導(dǎo)致某些動(dòng)作永遠(yuǎn)采不到探索直接退化。這不是絕對(duì)規(guī)則但在連續(xù)控制和低維狀態(tài)任務(wù)上Tanh 的魯棒性明顯更好代價(jià)是訓(xùn)練稍慢一點(diǎn)。4.2 連續(xù)動(dòng)作空間的 Actor連續(xù)動(dòng)作要輸出一個(gè)高斯分布的均值和對(duì)數(shù)標(biāo)準(zhǔn)差。均值通常經(jīng)過(guò) tanh 壓到 [-1, 1]再按動(dòng)作上下限縮放對(duì)數(shù)標(biāo)準(zhǔn)差用可學(xué)習(xí)參數(shù)并且要 clamp 到一個(gè)合理區(qū)間否則訓(xùn)練中期可能出現(xiàn)標(biāo)準(zhǔn)差指數(shù)爆炸采樣出來(lái)的動(dòng)作全是邊界值。class ContinuousActor(nn.Module): def __init__(self, obs_dim: int, action_dim: int, hidden: int 256): super().__init__() self.body nn.Sequential( nn.Linear(obs_dim, hidden), nn.Tanh(), nn.Linear(hidden, hidden), nn.Tanh(), ) self.mean_head nn.Linear(hidden, action_dim) self.log_std nn.Parameter(torch.zeros(action_dim)) def forward(self, obs: torch.Tensor): mean torch.tanh(self.mean_head(self.body(obs))) log_std torch.clamp(self.log_std, min-20, max2) std log_std.exp() return mean, stdlog_std用獨(dú)立參數(shù)而不是網(wǎng)絡(luò)輸出是因?yàn)樵诖蟛糠诌B續(xù)控制任務(wù)里探索噪聲的水平與具體狀態(tài)關(guān)系不大獨(dú)立參數(shù)收斂更穩(wěn)。如果你做的是狀態(tài)相關(guān)性很強(qiáng)的任務(wù)比如機(jī)械臂在接近目標(biāo)時(shí)需要精細(xì)動(dòng)作可以讓網(wǎng)絡(luò)輸出 log_std但要額外做 clamp。4.3 Critic 的輸出與價(jià)值尺度Critic 輸出一個(gè)標(biāo)量 V(s)結(jié)構(gòu)比 Actor 簡(jiǎn)單但初始化很關(guān)鍵。如果 Critic 初始輸出偏離真實(shí)回報(bào)的量級(jí)太遠(yuǎn)第一批優(yōu)勢(shì)估計(jì)會(huì)全是噪聲Actor 會(huì)朝錯(cuò)誤方向更新一大步之后再想糾正就很困難。class Critic(nn.Module): def __init__(self, obs_dim: int, hidden: int 128): super().__init__() self.body nn.Sequential( nn.Linear(obs_dim, hidden), nn.Tanh(), nn.Linear(hidden, hidden), nn.Tanh(), ) self.head nn.Linear(hidden, 1) # 輸出層用小初始化讓初始 V(s) 接近 0 nn.init.orthogonal_(self.head.weight, gain1.0) nn.init.zeros_(self.head.bias) def forward(self, obs: torch.Tensor): return self.head(self.body(obs)).squeeze(-1)這里的squeeze(-1)很重要不寫(xiě)的話(huà)價(jià)值張量是[batch, 1]后面和回報(bào)張量相減會(huì)發(fā)生廣播形狀悄悄變成[batch, batch]損失看起來(lái)在下降但學(xué)的是完全錯(cuò)誤的東西。這類(lèi)形狀 bug 不會(huì)報(bào)錯(cuò)只會(huì)讓訓(xùn)練莫名其妙地不收斂排查成本極高。4.4 共享主干還是分離主干經(jīng)典實(shí)現(xiàn)里常見(jiàn)兩種寫(xiě)法一種讓 Actor 和 Critic 共享前面的特征提取層只分開(kāi)輸出頭另一種完全獨(dú)立。共享主干的優(yōu)勢(shì)是參數(shù)少、特征復(fù)用、在小任務(wù)上收斂快缺點(diǎn)是梯度會(huì)互相干擾如果兩個(gè)損失量級(jí)差異大容易一方主導(dǎo)把另一方的特征壓掉。完全分離則沒(méi)有干擾但參數(shù)量翻倍。我的建議是CartPole、Acrobot 這種幾十維狀態(tài)的任務(wù)可以共享圖像輸入或高維連續(xù)控制一律分離。判斷標(biāo)準(zhǔn)很簡(jiǎn)單如果訓(xùn)練曲線出現(xiàn)策略熵快速塌縮但回報(bào)不漲很可能是共享主干被價(jià)值損失帶偏了改成分離往往立刻好轉(zhuǎn)。5. 優(yōu)勢(shì)函數(shù)與 GAE 實(shí)現(xiàn)優(yōu)勢(shì)函數(shù)的估計(jì)質(zhì)量直接決定 Actor-Critic 的表現(xiàn)上限。這一節(jié)從最簡(jiǎn)單的單步 TD 誤差一路推到 GAE每一步都給出可運(yùn)行的代碼。5.1 TD 誤差與 n-step 回報(bào)最基礎(chǔ)的優(yōu)勢(shì)估計(jì)就是 TD 誤差A(yù) r γV(s) - V(s)。它的偏差來(lái)自 Critic 本身不準(zhǔn)但因?yàn)橹挥靡徊秸鎸?shí)獎(jiǎng)勵(lì)方差極小。另一個(gè)極端是蒙特卡洛A G_t - V(s)無(wú)偏但方差大。中間的 n-step 回報(bào)用 n 步真實(shí)獎(jiǎng)勵(lì)加上第 n 步的價(jià)值估計(jì)def compute_nstep_returns(rewards, values, dones, gamma0.99, n5): rewards/values/dones 均為長(zhǎng)度 T 的列表values 多一個(gè) bootstrap 項(xiàng) T len(rewards) returns [] for t in range(T): R 0.0 for k in range(n): if t k T: break R (gamma ** k) * rewards[t k] if dones[t k]: break else: # 未終止則加上第 n 步的價(jià)值估計(jì)作為 bootstrap idx min(t n, T) R (gamma ** n) * values[idx] returns.append(R) return returns這段代碼里有個(gè)細(xì)節(jié)值得注意for...else結(jié)構(gòu)只有在循環(huán)正常走完沒(méi)有被break時(shí)才執(zhí)行 bootstrap。如果軌跡中途終止就不該再加 bootstrap 項(xiàng)否則會(huì)把下一回合的價(jià)值錯(cuò)誤地算進(jìn)來(lái)。這類(lèi)終止處理錯(cuò)誤在外行看來(lái)只是曲線抖一點(diǎn)實(shí)際上是系統(tǒng)性偏差。5.2 GAE 的遞推實(shí)現(xiàn)GAE 的做法是把所有 n-step 優(yōu)勢(shì)做指數(shù)加權(quán)平均用一個(gè)參數(shù) λ 控制偏差方差權(quán)衡。λ0 退化成單步 TDλ1 退化成蒙特卡洛。工程上最常用的是 0.95 左右。遞推公式是A_t δ_t γλ(1-done_t)A_{t1}其中 δ_t 就是單步 TD 誤差。從后往前算一遍即可復(fù)雜度 O(T)。def compute_gae(rewards, values, dones, gamma0.99, lam0.95): rewards: [T] values: [T1]最后一項(xiàng)是 bootstrap 價(jià)值 dones: [T]float終止為 1 返回 advantages [T] 和 returns [T] T len(rewards) advantages [0.0] * T last_adv 0.0 for t in reversed(range(T)): if t T - 1: next_value values[T] else: next_value values[t 1] delta rewards[t] gamma * next_value * (1 - dones[t]) - values[t] last_adv delta gamma * lam * (1 - dones[t]) * last_adv advantages[t] last_adv returns [advantages[t] values[t] for t in range(T)] return advantages, returns兩個(gè)輸出都要用advantages拿去算策略損失returns拿去算價(jià)值損失。有些人圖省事直接用 advantages 當(dāng)價(jià)值目標(biāo)這是錯(cuò)的因?yàn)閮r(jià)值網(wǎng)絡(luò)學(xué)的是 V(s) 而不是優(yōu)勢(shì)兩者差了一個(gè)基線。5.3 優(yōu)勢(shì)歸一化拿到優(yōu)勢(shì)后必須做一步歸一化這是 A2C/PPO 里最廉價(jià)也最有效的穩(wěn)定手段import torch def normalize_advantages(adv: torch.Tensor, eps: float 1e-8): return (adv - adv.mean()) / (adv.std() eps)歸一化的作用是把梯度步長(zhǎng)控制在合理范圍。不做這一步時(shí)如果某批次優(yōu)勢(shì)全是正數(shù)且數(shù)值很大一次更新就能把策略推得很遠(yuǎn)直接破壞探索歸一化之后優(yōu)勢(shì)的均值是 0、方差是 1更新量級(jí)與回報(bào)絕對(duì)大小解耦換環(huán)境時(shí)不用重新調(diào)學(xué)習(xí)率。這個(gè)技巧在 reward 尺度差異大的任務(wù)上幾乎是必須的。6. 完整 A2C 訓(xùn)練實(shí)現(xiàn)把前面的模塊拼起來(lái)就是一段可以直接跑的 A2C。選擇 A2C 而不是 PPO 作為第一個(gè)完整實(shí)現(xiàn)是因?yàn)樗鼪](méi)有重要性采樣比率和 clip邏輯干凈出錯(cuò)時(shí)定位容易。import gymnasium as gym import numpy as np import torch import torch.nn as nn import torch.optim as optim from torch.distributions import Categorical class ActorCritic(nn.Module): def __init__(self, obs_dim, action_dim, hidden128): super().__init__() self.shared nn.Sequential( nn.Linear(obs_dim, hidden), nn.Tanh(), nn.Linear(hidden, hidden), nn.Tanh(), ) self.actor nn.Linear(hidden, action_dim) self.critic nn.Linear(hidden, 1) nn.init.orthogonal_(self.actor.weight, gain0.01) nn.init.zeros_(self.actor.bias) nn.init.orthogonal_(self.critic.weight, gain1.0) nn.init.zeros_(self.critic.bias) def forward(self, x): h self.shared(x) return self.actor(h), self.critic(h).squeeze(-1) def act(self, obs): logits, value self.forward(obs) dist Categorical(logitslogits) action dist.sample() return action, dist.log_prob(action), value, dist.entropy() def collect_rollout(env, model, rollout_steps20): obs_list, act_list, logp_list [], [], [] rew_list, done_list, val_list [], [], [] obs, _ env.reset() ep_return, ep_returns 0.0, [] for _ in range(rollout_steps): obs_t torch.as_tensor(obs, dtypetorch.float32) with torch.no_grad(): action, logp, value, _ model.act(obs_t) next_obs, reward, terminated, truncated, _ env.step(action.item()) done terminated or truncated obs_list.append(obs_t) act_list.append(action) logp_list.append(logp) rew_list.append(reward) done_list.append(float(done)) val_list.append(value.item()) ep_return reward obs next_obs if done: ep_returns.append(ep_return) ep_return 0.0 obs, _ env.reset() with torch.no_grad(): _, last_value model(torch.as_tensor(obs, dtypetorch.float32)) return (obs_list, act_list, logp_list, rew_list, done_list, val_list, last_value.item(), ep_returns) def train(): env gym.make(CartPole-v1) obs_dim env.observation_space.shape[0] action_dim env.action_space.n model ActorCritic(obs_dim, action_dim) optimizer optim.Adam(model.parameters(), lr3e-3) gamma, lam 0.99, 0.95 value_coef, entropy_coef 0.5, 0.01 returns_history [] for update in range(200): (obs_list, act_list, logp_list, rew_list, done_list, val_list, last_val, ep_returns) collect_rollout(env, model) returns_history.extend(ep_returns) values val_list [last_val] advs, rets [], [] last_adv 0.0 for t in reversed(range(len(rew_list))): delta rew_list[t] gamma * values[t 1] * (1 - done_list[t]) - values[t] last_adv delta gamma * lam * (1 - done_list[t]) * last_adv advs.append(last_adv) advs.reverse() rets [advs[i] values[i] for i in range(len(advs))] adv_t torch.tensor(advs, dtypetorch.float32) adv_t (adv_t - adv_t.mean()) / (adv_t.std() 1e-8) ret_t torch.tensor(rets, dtypetorch.float32) logp_t torch.stack(logp_list) obs_t torch.stack(obs_list) logits, values_pred model(obs_t) dist Categorical(logitslogits) entropy dist.entropy().mean() policy_loss -(logp_t * adv_t.detach()).mean() value_loss nn.functional.mse_loss(values_pred, ret_t) loss policy_loss value_coef * value_loss - entropy_coef * entropy optimizer.zero_grad() loss.backward() nn.utils.clip_grad_norm_(model.parameters(), 0.5) optimizer.step() if (update 1) % 10 0 and returns_history: avg np.mean(returns_history[-20:]) print(fupdate {update1:03d} | avg return {avg:.1f} | fentropy {entropy.item():.3f} | value loss {value_loss.item():.3f}) env.close() if __name__ __main__: train()這段代碼里有幾個(gè)設(shè)計(jì)選擇值得單獨(dú)說(shuō)。策略損失用采樣時(shí)記錄的logp_list而不是重新前向計(jì)算這是同策略算法的標(biāo)準(zhǔn)做法但要記得 detach 優(yōu)勢(shì)否則梯度會(huì)流進(jìn)價(jià)值網(wǎng)絡(luò)導(dǎo)致雙重反傳。價(jià)值損失用 MSE如果獎(jiǎng)勵(lì)尺度很大可以換成 Huber避免離群回報(bào)把 Critic 拉飛。熵獎(jiǎng)勵(lì)的符號(hào)是減去因?yàn)槲覀兿M畲蠡匾簿褪亲寭p失里包含負(fù)的熵項(xiàng)。梯度裁剪的 0.5 是個(gè)經(jīng)驗(yàn)值。A2C 在 CartPole 上即使不裁剪一般也能跑但在連續(xù)控制任務(wù)里一次異常大的優(yōu)勢(shì)就能讓策略參數(shù)跳變裁剪是最省事的保險(xiǎn)。裁剪閾值不要設(shè)得太小0.1 以下會(huì)讓學(xué)習(xí)明顯變慢因?yàn)榇蟛糠终L荻纫矔?huì)被削。在普通筆記本 CPU 上這段代碼大概 100 到 200 次 update 就能讓平均回報(bào)爬到 400 以上200 次全滿(mǎn)。如果跑到 500 次還在 20 左右徘徊基本可以判定是環(huán)境 API 或優(yōu)勢(shì)計(jì)算出了問(wèn)題直接跳到第 9 章排查。7. 算法族對(duì)比與選型Actor-Critic 這個(gè)模板衍生出的算法很多實(shí)際項(xiàng)目里選型的關(guān)鍵不是哪個(gè)最新而是樣本從哪來(lái)、動(dòng)作空間是什么、允許的調(diào)參時(shí)間有多少。下面這張表把常用的幾個(gè)放在一起對(duì)比。算法策略類(lèi)型采樣方式動(dòng)作空間經(jīng)驗(yàn)回放主要特點(diǎn)典型用途A2C隨機(jī)策略同策略同步多環(huán)境離散/連續(xù)否結(jié)構(gòu)簡(jiǎn)單易于調(diào)試教學(xué)、基線對(duì)比A3C隨機(jī)策略同策略異步多線程離散/連續(xù)否異步更新現(xiàn)已較少使用歷史參考PPO隨機(jī)策略同策略多輪復(fù)用離散/連續(xù)否clip 約束穩(wěn)定工業(yè)界主力大模型 RLHF、游戲 AIDDPG確定性策略異策略?xún)H連續(xù)是確定性策略加目標(biāo)網(wǎng)絡(luò)連續(xù)控制基線TD3確定性策略異策略?xún)H連續(xù)是雙 Critic、延遲更新、目標(biāo)平滑連續(xù)控制常用SAC隨機(jī)策略異策略?xún)H連續(xù)是最大熵框架探索充分機(jī)器人、樣本昂貴場(chǎng)景選型的實(shí)操判斷可以這樣走如果你能拿到大量并行仿真環(huán)境同策略的 PPO 是最省心的選擇它的調(diào)參空間相對(duì)寬容社區(qū)實(shí)現(xiàn)也最多如果真實(shí)環(huán)境采樣代價(jià)高、一步要花幾秒那就得走異策略路線用經(jīng)驗(yàn)回放提高樣本利用率連續(xù)動(dòng)作優(yōu)先考慮 SAC 或 TD3如果動(dòng)作是離散的且環(huán)境便宜A2C 足夠作為第一版基線。從 A2C 遷移到 PPO 的改動(dòng)量其實(shí)很小核心是把采一批數(shù)據(jù)更新一次改成采一批數(shù)據(jù)分多個(gè) epoch 更新同時(shí)加上重要性采樣比率和 clip。下面這段是 PPO 的策略損失核心可以對(duì)照第 6 章的 A2C 看差異def ppo_policy_loss(new_logp, old_logp, advantages, clip_ratio0.2): ratio torch.exp(new_logp - old_logp) surr1 ratio * advantages surr2 torch.clamp(ratio, 1.0 - clip_ratio, 1.0 clip_ratio) * advantages return -torch.min(surr1, surr2).mean()這里old_logp必須是采樣時(shí)記錄的、并且在多個(gè) epoch 內(nèi)保持不變。很多人把它每個(gè) epoch 重新算一遍clip 就失效了算法退化成沒(méi)有約束的策略梯度訓(xùn)練曲線會(huì)突然崩掉。這個(gè)坑在復(fù)現(xiàn) PPO 時(shí)出現(xiàn)頻率極高。8. 訓(xùn)練監(jiān)控、資源占用與常見(jiàn)問(wèn)題排查Actor-Critic 的調(diào)試核心是分而治之先把 Critic 單獨(dú)看好再看 Actor。因?yàn)?Actor 的更新方向完全依賴(lài) Critic 給出的優(yōu)勢(shì)如果價(jià)值估計(jì)本身在亂飄后面所有調(diào)參都是在錯(cuò)誤的地基上做微調(diào)。8.1 必須監(jiān)控的四個(gè)指標(biāo)第一是平均回合回報(bào)看趨勢(shì)不看單點(diǎn)用最近 20 到 100 回合的滑動(dòng)平均。第二是策略熵它反映探索程度CartPole 上健康的曲線是從 0.69 左右緩慢下降到 0.3 附近如果十幾輪就掉到 0.05說(shuō)明策略過(guò)早確定通常需要加大熵系數(shù)或降低學(xué)習(xí)率。第三是價(jià)值損失它應(yīng)該整體下降但允許波動(dòng)如果持續(xù)上升說(shuō)明價(jià)值目標(biāo)尺度有問(wèn)題。第四是梯度范數(shù)裁剪前的梯度范數(shù)突然放大到幾十上百往往是某批次優(yōu)勢(shì)異常或出現(xiàn)了數(shù)值問(wèn)題。把這幾項(xiàng)寫(xiě)進(jìn)日志接 TensorBoard 是最省事的做法from torch.utils.tensorboard import SummaryWriter writer SummaryWriter(runs/a2c_cartpole) # 在每個(gè) update 結(jié)束時(shí)記錄 writer.add_scalar(train/avg_return, avg_return, update) writer.add_scalar(train/entropy, entropy.item(), update) writer.add_scalar(train/value_loss, value_loss.item(), update) writer.add_scalar(train/grad_norm, grad_norm, update) writer.close()8.2 資源占用怎么觀察低維狀態(tài)任務(wù)上瓶頸幾乎全在環(huán)境交互而不在網(wǎng)絡(luò)計(jì)算。一個(gè) 128×128 的 MLP 單次前向在 CPU 上是微秒級(jí)而env.step往往要幾十微秒到毫秒級(jí)。所以在 CartPole 上把模型搬到 GPU 反而更慢因?yàn)槊看味家鲆淮沃鳈C(jī)到設(shè)備的拷貝。判斷標(biāo)準(zhǔn)很直接用time.perf_counter()把采樣耗時(shí)和更新耗時(shí)分別打出來(lái)如果采樣占 80% 以上優(yōu)化方向就是并行環(huán)境而不是換硬件。import time t0 time.perf_counter() rollout collect_rollout(env, model) t1 time.perf_counter() # ... 更新邏輯 ... t2 time.perf_counter() print(fsample: {t1-t0:.3f}s | update: {t2-t1:.3f}s)當(dāng)任務(wù)換成圖像輸入情況就反過(guò)來(lái)了。Atari 的 84×84×4 幀堆疊輸入特征提取網(wǎng)絡(luò)的前向和反向會(huì)成為主要開(kāi)銷(xiāo)這時(shí)候 GPU 才有意義同時(shí)顯存占用主要取決于批量大小和網(wǎng)絡(luò)寬度。觀測(cè)這一點(diǎn)最方便的方式是torch.cuda.max_memory_allocated()在訓(xùn)練循環(huán)里定期打印比看任務(wù)管理器準(zhǔn)確得多。并行環(huán)境是另一個(gè)資源維度。A2C 原本就設(shè)計(jì)成多環(huán)境同步采樣用gymnasium.vector.SyncVectorEnv起 8 個(gè)環(huán)境采樣吞吐能提升數(shù)倍但 CPU 占用也會(huì)同步上升。這里要注意并行環(huán)境的數(shù)量不是越多越好超過(guò)物理核心數(shù)之后上下文切換開(kāi)銷(xiāo)會(huì)吃掉收益一般取物理核心數(shù)的一半到全部之間。8.3 常見(jiàn)問(wèn)題與排查表問(wèn)題現(xiàn)象可能原因排查方式解決方案回報(bào)長(zhǎng)期停在隨機(jī)水平優(yōu)勢(shì)符號(hào)寫(xiě)反或未 detach打印單批次優(yōu)勢(shì)均值檢查是否恒正或恒負(fù)修正優(yōu)勢(shì)計(jì)算確保adv.detach()策略熵幾輪內(nèi)塌到接近 0學(xué)習(xí)率過(guò)大或熵系數(shù)過(guò)小觀察 entropy 曲線下降速度降 lr 到 1e-3 以下熵系數(shù)提到 0.01 以上價(jià)值損失不降反升回報(bào)尺度與初始化不匹配打印values_pred.mean()與ret_t.mean()輸出層小初始化或?qū)貓?bào)做縮放張量形狀報(bào)錯(cuò)或結(jié)果異常Critic 輸出未 squeeze檢查values_pred.shape加.squeeze(-1)訓(xùn)練前期正常后期突然崩潰梯度爆炸記錄裁剪前梯度范數(shù)開(kāi)啟梯度裁剪閾值 0.5 左右換環(huán)境后完全不學(xué)觀測(cè)未歸一化檢查 obs 數(shù)值范圍加 running mean/std 歸一化多環(huán)境并行后變慢環(huán)境數(shù)超過(guò)物理核數(shù)對(duì)比不同 env 數(shù)的采樣耗時(shí)降到物理核心數(shù)以?xún)?nèi)PPO 復(fù)現(xiàn)后曲線不如 A2Cold_logp 每個(gè) epoch 重算檢查 old_logp 是否在 epoch 內(nèi)固定采樣時(shí)記錄一次全程復(fù)用連續(xù)動(dòng)作全落在邊界log_std 無(wú)約束打印 std 數(shù)值clamp log_std 到 [-20, 2]這張表里最值得展開(kāi)的是觀測(cè)未歸一化這一條。CartPole 的觀測(cè)數(shù)值都在個(gè)位數(shù)不歸一化也能跑所以很多人養(yǎng)成了不歸一化的習(xí)慣。一旦換到 Pendulum 或者 MuJoCo觀測(cè)里同時(shí)存在 0.01 量級(jí)和 10 量級(jí)的維度網(wǎng)絡(luò)會(huì)幾乎只對(duì)大量級(jí)維度敏感小量級(jí)維度相當(dāng)于被屏蔽表現(xiàn)為怎么調(diào)都不學(xué)。加一層 running 均值方差歸一化通常一次就解決。9. 最佳實(shí)踐與下一步Actor-Critic 這一套東西寫(xiě)對(duì)一次之后復(fù)用價(jià)值很高。下面是幾條從實(shí)際調(diào)試?yán)锟偨Y(jié)出來(lái)的、能明顯減少踩坑時(shí)間的做法。第一條永遠(yuǎn)先在 CartPole 上跑通再換環(huán)境。這不是偷懶而是建立一條已知正確的基線。當(dāng)你在 MuJoCo 上調(diào)了兩天沒(méi)結(jié)果時(shí)把同一份代碼切回 CartPole 跑 50 輪如果也不學(xué)問(wèn)題在算法實(shí)現(xiàn)如果正常問(wèn)題在超參或環(huán)境適配。這個(gè)二分能把排查范圍瞬間砍掉一半。第二條把 Critic 的學(xué)習(xí)率和 Actor 分開(kāi)設(shè)置。共享一個(gè)優(yōu)化器看似簡(jiǎn)潔但兩者對(duì)步長(zhǎng)的敏感度不同Critic 通常需要更快地跟上回報(bào)變化Actor 則需要更保守。實(shí)踐里 Critic 學(xué)習(xí)率取 Actor 的 2 到 3 倍是常見(jiàn)起點(diǎn)尤其在價(jià)值損失下降明顯滯后于策略改進(jìn)的時(shí)候。第三條保留一套最小可運(yùn)行配置。把能跑通的那組超參寫(xiě)進(jìn)configs/目錄并加注釋說(shuō)明適用環(huán)境之后每次實(shí)驗(yàn)都從它 fork 出來(lái)而不是在當(dāng)前腳本上反復(fù)改數(shù)字。Actor-Critic 調(diào)參很容易陷入改了 A 又影響 B的循環(huán)有基線配置才能判斷某次改動(dòng)是真的有效還是隨機(jī)波動(dòng)。第四條批量任務(wù)和長(zhǎng)訓(xùn)練要加斷點(diǎn)保存。訓(xùn)練腳本里定期保存模型參數(shù)、優(yōu)化器狀態(tài)和當(dāng)前 update 序號(hào)配合日志落盤(pán)。強(qiáng)化學(xué)習(xí)的訓(xùn)練曲線經(jīng)常在某個(gè)階段突然變好或變差如果沒(méi)保存中間狀態(tài)想回到那個(gè)點(diǎn)重新實(shí)驗(yàn)就只能從頭再來(lái)這在需要跑幾小時(shí)的任務(wù)上代價(jià)很大。def save_checkpoint(path, model, optimizer, update, best_return): torch.save({ model: model.state_dict(), optimizer: optimizer.state_dict(), update: update, best_return: best_return, }, path) def load_checkpoint(path, model, optimizer): ckpt torch.load(path, map_locationcpu) model.load_state_dict(ckpt[model]) optimizer.load_state_dict(ckpt[optimizer]) return ckpt[update], ckpt[best_return]第五條評(píng)估階段一定要關(guān)掉探索。訓(xùn)練時(shí)用隨機(jī)策略采樣是為了探索評(píng)估時(shí)應(yīng)該用分布的均值或 argmax并且固定隨機(jī)種子跑多個(gè)回合取平均。用帶噪聲的策略去評(píng)估得到的回報(bào)會(huì)明顯偏低且波動(dòng)很大容易誤判模型沒(méi)學(xué)好。關(guān)于下一步的擴(kuò)展方向比較自然的路徑有兩條。一條是往 PPO 走把第 6 章的采樣和更新拆成兩段加上重要性采樣比率和 clip這套代碼幾乎可以直接用在語(yǔ)言模型的 RLHF 微調(diào)流程里那邊的 reward model 扮演的就是 Critic 的角色只是評(píng)價(jià)對(duì)象從狀態(tài)變成了整段回復(fù)。另一條是往異策略走引入經(jīng)驗(yàn)回放緩沖區(qū)、目標(biāo)網(wǎng)絡(luò)和雙 Critic去處理真實(shí)采樣代價(jià)高的連續(xù)控制問(wèn)題。如果要在這兩條路上做選擇判斷依據(jù)就一句話(huà)你的環(huán)境能不能便宜地并行采樣。能就走同策略不能就走異策略。這個(gè)判斷比看任何算法排行榜都可靠。Actor-Critic 的骨架在這兩條路上是共通的先把它吃透后面換算法只是替換幾個(gè)模塊的事。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
69激情小说| 精品婷婷| 丁香五月 综合| 97在线观视频免费观看| 色九月婷婷综合| 五月天婷婷色在线视频免费观看| 91九九热| 五月婷婷涩涩爱| 激情五月天小说网| 婷婷十月丁香| va中文资源在线观看| 91狼友视频网页更新| 色婷婷色情| 精品99在线| 婷婷丁香18| 九九婷婷综合| AV六月丁香| 丁香五月影视| 天天天天干| 五月丁了香蕉综合| 九九综合网色全集 | 日日爽日日爽| 人人色AV| 色综合色欲综合天天免费| 婷婷 伊人 久久| 欧美69久成人做爰视频| 99热免费| 99人妻碰碰碰久久久久禁片| 偷偷操99| 天天操天天操天天操天天操天天操| 丁香婷婷六月婷婷六月婷婷六月婷婷| 殴美激情综合网| 色天使色综合| 色五月婷婷丁香凹凸| 色偷偷五月天| 开心激情网在线| 99色亚洲| 丁香五月激情婷婷激情| 精品成人无码A片观看香草视频| 大香蕉久久久久| 婷婷丁香五月天操逼| WWW.国产| 在线理论片| 久久99婷婷| 丁香婷婷情色五月天| 天天爽天天爽夜夜爽| 国产五月丁香在线| 操碰97| 超碰97色| av无码电影| 色五月丁香91| 丁香五月天堂网| 色色色9| 丁香五月五月婷婷| www.色婷婷.com| 这里只有精品网站| 天天影院色| 五月色天情| 亚洲精品乱码久久久久99| 精品久热| 第四色五月激情网| 亚洲XX日本| 精品九九在线观看| 99热这里只有精品69| 91人妻色色网| www.色婷婷| 婷婷五月天网| 日本色色色| 婷婷久久综| 97影院一级片| 99ER热精品视频| 99欧美| 狠狠操综合| 可以免费观看的AV| 九九九激情网| 色九九九九| 开心五月婷婷综合在线精品素人| 久久久久婷 | 婷婷五月天成人小说| 日日夜夜爽| 夜夜做夜夜愛| 99啪啪网| 91欧美| 欧美电影在线播放| 综合激情在线观看| 欧美丁香婷婷天天操| 超碰久热| 欧美性爱5月天天天看| 色情久久久| 婷婷色五月情| 99啪99| 婷婷五月色色| 蜜桃成语时李时珍 免费| 色色色九九九五月婷婷| 亚洲AV网站在线观看| 激情五月天色色网| 五月丁香六月情婷婷久久| 99热碰碰热| 五月天婷婷影院| 六月色婷婷色| 五月婷婷五月天激情网| 大香网伊人久久综合| 天天日天天插| 婷婷大乡焦噜噜| 久久综合爱| 开心四月婷婷在线色播播| 五月丁综合在线观看| 色五月丁香五月天| 99综合免费视频| 丁香五月激情图片婷婷| www.综合久久| wwwxxx五月婷婷小说| 丁香六月婷婷姐网| 99视频在线精品免费观看2| 国产做爰视频免费播放| 国产精品日日躁夜夜躁| 九九婷婷五月天影视| 熟女激情五月天 | 久碰视频| 综合久久六月| 99超级碰免费视频| 玖玖婷婷色| 亭亭玉月丁香| 正宗黄色毛片| 五月婷婷免费| 亚洲色久| 超碰99热精品| 99这里只有精彩视频| 黄色成人网站在线播放| 在线免费观看激情视频| 爱草视频在线观看| 色婷婷基地| 五月伊人91| 久9久9久9久9久9久9| 久久五月丁香综合17C| 婷婷五月在线视频| 91精品久久久久久久久久| 六月久久婷婷| 五月天亭亭俺也| 色情综合| 色综合久久天天综合网| 五月婷六月| 午夜丁香婷婷| 五月色综合网欧美网| 婷婷五月天激情综合深爱激情| 丁香五月影院| 色欲av伊人久久大香线蕉影院| 五月婷综合网| 97干干干丁香| 五月激情另类| 五月婷婷六月色| 欧美WW在线网| 色婷婷精品视频| 综合久久狠狠| 色五月天网| 中文AV网站| 91人碰| 这里只精品热在线18| 91 九色 熟女| 亚洲Va成人| 97性视频| 婷婷五月天亚洲综合| 互月天综合| 日日操日日撸| 五月丁香婷婷爱激情综合网| 色色综合网站| 亚洲AV人人操| 色五月激情五月天| 久久久久久久综合狠狠综合| 五月丁香婷婷色| 4438国产免费看| 激情婷婷五月基地| 久久精品小视频| h在线看免费版在线看| 在线天堂9| 激情五月婷婷丁香综合网| 99这里有精品| 黄涩毛片| 这里只有精品96| 九九视频这里是精品五月| 久久ww| 天堂久久婷婷| 泰州成人视频| 婷婷六月丁香激情综合| 亚洲婷婷性爱| 伊人五月综合网| 9久热在线精品| 91久久婷婷人人澡草| 久久久天堂国产精品女人| 99热欧| 国产精品18久久久| 大陆肏屄视频| 欧美超碰人人| 色色色999| 五月婷婷性爱| 51精品国自产在线| 精品三区影院| 超碰97久久| 99视频在线精品| 热99热久| 99色热| 在线五月婷婷小电影| a网站免费观看| 无码se| 五月天婷婷综合网| 国语精品探花| 九洲一级A片| 婷婷六月啪啪| 五月丁香色婷婷综合| 婷婷六月成人| 五月丁香大相交| 色三级色三级| 狠狠精品干练久久久无码中文字幕 | 开心五月综合| 一本久道综合99| 五月婷婷AV| 日韩成人精品中文字幕| 成人久碰| 婷婷丁香在线| 极品五月天| 九九热99在线视频| 超碰在线国产| 综合一本道| 99热丁香| 国产亚洲精品久久久久久牛牛| 丁香激情婷婷网| 久久精品噜噜噜成人A∨色欲 | 九九热内射| 大香蕉久久久久| 婷婷五月丁香影院| 免费看无码视频A级| 激情九月婷婷| 五月天色婷婷成人| 丁香五月自拍| 六月丁香停| 免费观看的av| 激情五月天综合网| 丁香六月毛片| 成人 在线 日韩| 午夜精品人妻无码一区二区三区| 99这里热| 久久久人人人妻丝丝丝| 性爱综合网| 亚洲精品V天堂中文字幕| 欧美成人A片AAA片在线播放| 婷婷丁香77777| 狠狠色婷| 国产FREESEXVIDEOS性中国| 天天摸天天日天天舔| 超碰91人人操| 色护士综合| 久久久免费精彩视频| 婷婷丁香五月高清| 久一这里有精品国产| 婷婷色五月天色色| 婷婷丁香九色| 国产精品成人在线| 99ri国产| www.天天干| 丁香婷婷丁香五月欧美人| 丁香五月 无码| 99精品久久| 激情深爱五月天| 色五月天综合| 婷婷五月成人色综合| 色噜久| 极品少妇XXXX精品少妇偷拍| 天天干天天干天天干天天干天| 综合五月天完整| ri电影在线| 丁香五月天黄色片| 99热精品10| 国产一二区爆乳_1国产日韩一区二区三-成人AV | 色婷婷六月| 婷婷综合成人五月天| 91色九| 四虎99热在线观看网站| 色情终和网| 色色性爱视频| 亚洲欧美成人在线| 激情六月丁香| 97干97色| 六月婷婷激情图片| 日本久热| 丁香 亚洲 久久| 国产一二三四五六七八视频| 五月婷婷啪啪网| 五月激情精品视频| 这里只有精品热| 欧美va视频| 婷婷五月18永久免费网站| 在线播放人妻| 日本WwW色偷偷丁香花久久久京东热| 五月天婷婷激情| 六月婷婷av| 色婷婷狠狠18| 9热在线观看| 亚洲99热| 亚亚州久久高潮| 精品久久久久久久人妻| 五月天色视频| 婷婷色五月天在线| 色婷婷国产精品综合在线观看| 激情五月婷婷网| 丁香网五月天激情| 丁香综合网| 激情都市五月天| 精品无码人妻一区| 欧美英丁香开心快乐六月天网| 天天撸夜夜爽| 国产资源91在线| 天天爽综合网| 欧美色性色好| 五月丁香啪啪综合| 婷婷六月综合激情| AA片在线观看视频在线播放| 大香蕉视频99| 2022人人操人人看| 五月丁香啪啪啪综合网| 丁香五月网络网络| 色五月综合网| 亚洲综合色网| 五月天激情婷婷| 欧洲色区| 色色丁香五月| 国产日批视频免费播放| 色青青视频| 亚洲国产精品综合色区| 丁香五月婷婷AV在线| 色五月色图| 五月婷婷六月丁香| 人人人操 超碰| 久久婷婷五月丁香蜜桃网| 六月丁香婷婷爱| 欧美成综合在线观看| 九九偷拍网| 婷婷丁香激情综合色情| 激情五月丁香色婷婷| 99只有这里是精品| 婷婷激情人妻| 在线观看国产高清视频免费网站| 嫩草哈哈操| 伊人网碰碰| 99色这里| 天天操夜夜肏| www.久热| 人人综合色| 26uuu丁香婷婷五月| 丁香五月天婷婷在线视频| 五月色婷婷影视在线电影| 五月天激情开心网| www.超碰在线| 亚洲无码影片| 色五月天.con| 色婷婷丁香| 久久伊人五月天| 麻豆WWWCOM内射软件| 国产人人操| 久久性视频| 丁香激情六月天婷婷| 日本婷婷五月天| 亚洲人妻av| 天天操天天国产三级片处女学生妹| 五月婷六月| 亚洲第一色色色色| 九九精品自拍| 91精品刘玥| 丁香五月1页| 色了色综合| 玖玖99免费视频| 亚洲12p| 天天综合 99久久婷婷| 亚洲国产精品成人免费一区久久久在线观看AAAA | 中文成人在线| 超碰在线国产| 五月成人网站| 五月天丁香婷婷视频网址| 婷香五月| 天天干天天操天天拍| 久久九九99| 日本 色综合| 亚洲一色色色色色色色色| 五月激情六月综合| 亚洲中文字幕在线电影| 一本道综合网| 日本欧美成人片AAAA| 亚洲激情Av| 亚洲五月丁香综合网| 99视频久久| 少妇2做爰HD韩国电影| 中文字幕欧美久久| 色婷婷亚洲精品天天综| 婷婷五月天99综合网站| 777久久综合视频| 日日干天天爽| 丁香五月天激情四射网络不好| AV天堂淫乩| 成人一级片| 97se在线视频| 夜夜撸日日骑| 性爱网五月婷婷| 婷婷五月丁香av网站| 久色| 九热电影av| 五月噜噜| 538在线精品| 婷婷五月天av| 综合激情婷婷| 日韩999| 婷婷婷婷婷婷婷婷| 婷婷久久婷婷| 婷婷五月天成人综合网| 91精选国| 亚洲情a| 国产成人精品一区二区三区视频| 开心 五月 综合| 深爱激情五月网| 色噜噜综合网| 激情五月丁香五月| 九九色色| 99色色网| 色爱99| 99色视频| 丁香激情合作五月| av在线资源| 伊人大香五月天| 亚洲色99| 日本精品。999| 婷婷五月天色| 日韩六十路91性交电影| 91色性感五月婷婷丁香| 五月丁香淫淫婷婷婷| 九月停停| 久re热视频| a色婷婷| 色五月婷婷基地| 久久九九囯产| 97视频久久| 亚洲旡码| 久操大香蕉| 欧美黑人大吊| 中国丰满熟女A片免费观| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 另类专区在线| 九热在线这里有精品6| 91人妻PORNY九色大屁股| 人人玩人人橾| 免费视频无码| 五月丁香六月激情啪| 禁片二区| 97超碰综合| 国产欧美婷婷| 中文AV网站| 亚洲操b| 激情四射婷婷色色色| 九九精品综合| 青青操avbb| 一本大道伊人AV久久综合| 欧美激情综合色综合色| 色五月婷婷91| 久久久人妻| 永久AⅤ1| 99久久久久久| 日韩丰满少妇无码内射| 日韩aaa| 91九色国产| 五月丁香婷婷基地| 97丁香五月天| 丁香六月激情毛片| 91日韩在线| 乱精品一区字幕二区| 日夜夜天天| 99久久五月丁香野外| 婷婷的99视频网站| 丁香亭亭久久| 丁香亚洲色综合| 五月婷婷在线视频| 婷婷五月激情四月综合 | 欧洲色| 色情一区二区播放| 97色婷婷五月天| 国产美女无遮挡裸体毛片A片 | 亚洲婷婷成人五月天| 亚洲色色五月天| 久久免费精彩视频| 亚洲激情久久| www.五月天婷婷姐姐| 99免费偷拍视频| 色色色欧美| 天天色综网| 丁香五月婷婷婷婷欧美综合| 激情五月丁香六月综合AVXXXX| 中文字幕在线日亚州9| 黄色激情五月天| 狠狠操综合| 成人五月天。COM| 色99在线视频| WWW.桔色成人.COM| 五月婷在线视频免费播放| 丁香五月婷婷AV| 婷婷综合性爱网| 五月天综合久久| 丁香婷婷色五月合集| 日韩亚洲视频| 丁香五月黄色| 伊人大香蕉爱聚| 婷婷香蕉| 日本三级大片| 可以免费观看的av| 久草xx性爱视频| 在线资源av-超碰中文在线-成人AV| 激情深爱五月天| 啪啪99| www激情五月天| 日韩成人五月天| 99ri精品视频在线观看| 婷婷色五月天色| 国产精品激情AV久久久青桔| 丁香六月激情综合| 色婷婷免费观看| 可以看的AV网站| 丁香五月狠狠综合欧美| 婷婷丁香人妻天久久| 中文字幕网站在线观看| 91亚洲视频| 国产性av| 无码激情AAAAA片-区区| 日韩婷婷| 人人播| 99A级片| 五月丁香六月婷婷国产视频| 天天五月情| 丁香五月成人论坛| 天天干狠狠操| 久热这里这里有精品| 99色婷婷视频| 六月丁香av| 永久免费一区二区三区| 超碰97色| 亚洲色婷婷五月天| 婷婷中文网站| 婷婷久久影院| 97超级碰碰碰| 伊人三级激情| 9 99免费视频| 色五月色图| 婷婷丁香五月综合免费视频百花| 一级操逼内射在线视频| 五月天综合影院| 成人视频婷婷| 新激情五月天天在线网| 天天噜| 99性视频| 五月丁香亭亭| 99九九玖玖| 婷婷六月综合基地| 色色色国产| 九九激情综合| 久久99网| 欧美交换配乱吟粗大25P| 国产成人片| 青青草视频免费观看| 青青草原伊人网| 密乳Va| 天天插天天干| 五月婷婷激情网| 丁香五月自拍| 色狠狠色综合久久久绯色aⅴ影视| 久草婷婷| 久久5 9视频免费观看| 亚洲精品无码A片一区二区| 欧美日韩一区二区三区四区| 狠狠草网| 欧美婷婷日本| 99玖玖人人| 婷婷黄色| 狠狠人人| 深情五月天| 狠狠色丁香婷婷久久综合| 五月丁香激情综合啪啪| 欧美韩国日本| 青青草蜜臀| 婷婷五月天小说| 天天操夜夜橾| 欧美色播综合在线观看| 久久久久久xxxxx| 婷婷大乡焦噜噜| 国产色色小草视频| 五月丁香中文| 五月婷婷免费在线| 色六月 婷婷| 五月激情婷婷女| 操日本三片99| 婷婷丁香综合成人| 久久久久亚洲AV无码网影音先锋| 色久女| 天天日天天狠狠操| 天天爽天天摸人妻综合网| 综合99久久天天综合| 九九热99热| 1024国产在线| 五月丁香亭亭操逼| 亚洲综合视频天天精品| 情婷婷五月天| 欧美日综合| 五月丁香婷婷AV天堂| 五月丁香基地| 79精品视频在线观看,| 播丁香五月婷婷欧美| 精品女人九九九| 九九人人操| 五月丁香激情六月| 丁香婷婷色五月| 久久您您综合网| 青青草色在线视频观看| 91小黄书网址在线观看| 亚洲AV网站| 在线不卡AC| 五月丁香婷婷色| 337午夜福利| 色欲一区二区三区精品A片| 1024成人免费看| 婷婷五月天Av| 欧美成人A片AAA片在线播放| 国产性爱亚洲是图| 99日本视频| 第四色婷婷日本| 日本五月婷| 日本高清久久| 婷婷爱爱蜜臀天天操| 亚州日本欧州韩美高青高潮一| 色五月婷婷91| 久久性综合| 影音先锋噜一噜| 亚洲色激情| 蜜臀AV在线观看| www.91九色| 五月激情偷拍| 最近免费中文字幕大全高清大全1 色狠狠色噜噜AV天堂五区 | 超碰女人天堂| 另类激情首页| 果冻传媒A片一二三区| 狠狠五月激情在线| 丁香五月欧美激情| 丁香五月天堂网AV| 天天综合网亚洲网站| www.色五月| 久久五月天精品视频| 精品一二三区视频立| 97五月久久丁香婷婷| 91 久热| 婷婷五月天综合蜜桃| 五月丁香六月欧美综合网站| 成人丁香色| 激情五月影院| 九九综合网色全集| 久久久五月天婷婷成人网| 成人做爰A片免费看视频| 九九热在线视频观看| 96精品久久久久久久久| 成人做爰A片免费看视频 | 大香久久综合网| 欧美五月丁香在线| 五月天六月色| 成人在线网址| 综合激情婷婷| 婷婷五月丁香基地在线视频官网| 成人av播放| 激情视频91| 99爱视频| 99九精品| 亚洲人妻Av| 人人性久久| 国产成人高清| 91成人视频| 五月丁香无码| 九九色逼| 一本色道久久综合狠狠躁小说| 丝袜大香蕉| 丁香五月偷拍| 丁香婷婷丁香五月欧美人| 99综合视频一体| 亚洲激情 久久| 婷婷激情五月| 五月婷婷乱| 五月丁香久久综合91| 国产精品成人av在线观看春天| 最新激情五月天| 综合激情五月丁香| 婷婷丁香五月天综合网| 丁香婷婷九月在线| 亚洲综合激情五月| 丁香六月婷婷综合欧美| 日本色色网| 狠狠操.com| 性按摩玩人妻HD中文字幕| 久久色在线视频| 成人无码髙潮喷水A片| 婷婷五月丁香五月天| 8050一级网| 深爱激情五月婷婷| 婷婷丁香花五月天| 91九九| 爱爱色五月天| 99久久婷婷国产综合精品| 婷婷五月天欧美| 国产亚洲99久久| 久热这里只有精品99re| 五月婷人妻| 天天色五月婷婷91久久久久久久| 五月丁香婷婷三级| 免费AV在线| 国产精品美女| 久久久五月四色| 九九九九大香蕉| 26uuu成人网| 婷婷免费无视频| 伊人热婷婷| 久久九九免费视频| 五月天激情Av| 啪色综合| 777精品久无码人妻蜜桃| 五月丁香婷婷潮喷中文字幕| 日本黄色在线观看| 国产69久久久欧美黑人A片| 91色情播放| 九九99热| 99re6在线视频精品免费| 婷婷五月天中文字幕| 激情五月丁香五月| 青吴乐视频| 噜噜噜狠狠色综合| 99热这里只有精品 搜| 久久看婷婷| 99久久户外勾搭| EEUSS鲁片一区二区三区| 伍月婷婷免费视频| 五月丁香激情综合网官网| 五月天丁香网| 直接看的AV网站| 秋霞三级色戒| 人人操碰| 天天干天天拍| 激情另类综合| www.日韩艹| 中文字幕不卡+婷婷五月| 久久AV无码精品人妻系列试探| 婷婷六月情| 日韩免费乱轮网站| 五月天天综合| 国产乱妇无乱码大黄AA片| 人妻激情在线| 日韩在线五月天婷婷| 久久综合这里只有精品1 | 亚洲综合婷婷| 色色五月丁香婷婷综合| 激情五月婷婷老师| 开心激情综合| 99热在线观看| 五月丁香激情综合网| 婷激情五月| 99 频99热国里只有精品| 97久久久| 日韩AV在线免费观看| 中文字幕高清av| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 97碰精品| 久久精品99国产精品日本| 成人av播放| 日本丁香五月| 国产五月天激情小说| 激情九月婷婷| 26uuu精品一区二区| Av免费网站在线| Blackedraw视频一区二区| 开心激情五月天网| 亚洲成人网在线观看| 综合图片色色| 婷婷丁香五月综合激情视频| 99er6| 人妻久久婷婷| 99啪在线| 狠狠色噜噜色狠狠狠综合色| 九色在线五月婷婷网址| 久久久久久久久久久-久五月天婷婷| 亚洲五月色| 精久久色| 丁香激情婷婷网| 欧美噜一噜| 色欲丁香久久| 六月丁香五月亭亭| w婷婷五月婷婷w| 五月丁香网中文字幕| 欧美天天干五月丁香| 五月丁香拍拍激情综合| 99精品视频在线免费观看| 色综合夜夜| 色色色.COM| 婷婷综合精品| 色情综合网| 热99国产精品| 十月丁香婷婷| 九九综合| 99热乎| 成人欧美一区二区三区在线观看| 青青操avbb| 五月综合六月丁| 99久久婷婷五月天| 超碰1999| 色色99| 日本超碰在线| 在线观看中文字幕| 久久久人妻| 亚洲深喉aV| 久热re视频在线观看网站| 五月丁香婷婷老司机| 亚洲精品字幕| 91操在线| 日本色天堂| 99色视| 99精品7| 天堂草在线观看| www,色婷婷| 婷婷五月丁香基地| 在线看片h站| 九 九九九AV| 综合久久综合久久| 婷香五月网在线| 五月婷六月丁| 丁香五月婷婷五月天| 精品久久99| www.色婷婷.com| 影音先锋91视频| 国产avapp 网| 欧美99热| 五月天婷婷影院影院观看| 99操久久| 99网| 99九九中文字幕视频| 婷婷五月天成人| 久热只有这里精品| 亚洲最大激情无码| 九九色色| 青青草Avb在线| 婷婷大香蕉| 亚洲色无码| 婷婷五月丁香久久| 久爱综合| 超碰免费大香蕉| WWW激情五月天| 色综合色| 中字幕视频在线永久在线观看免费| 超碰免费人人肏| 久久98| 久久久五月婷婷| 久热婷婷| yjzz亚洲国产| 六月丁香婷婷五月天| 亚洲欧州色情在线观看| 美日韩成人| 91丨九色丨老熟女激情| 99热国产| 天天草天天摸| 免费精品99| 一起草无码| 思思99热这里只有精品6| 97视频久久| 久9精品视频在线| 九九99在线观看视频| 色五月亚洲开心网| 久久久久婷婷五月热综合| www.婷婷.com| 久久99网站| 五月丁香久| www.夜夜.com| 色婷婷电影网| 狼人婷婷综合| 99久久久| 五月婷婷丁香| a网站免费观看| 99综合一区| 国产精品18久久久| 操碰91| 婷婷五月天国产在线播放| 色噜噜丁香| 丁香五月天无码AV| 婷婷午夜丁香| 91刘玥视频在线观看| 九九婷婷五月天影视| 人妻人人操| 无码A片一区二区免费| 91精品国产综合久久密臀| 五月婷婷激情五月| 91精品婷婷国产综合久久| 五月亚洲| 91伦| 99色热视频| 五月激情综合网| 99久久www| 五月天国产| se婷97| 丁香婷婷十月| 伊人网色婷婷五月天| 亚洲欧洲色色| 色婷婷影视| 大香蕉九九| 久久婷婷网站| 色呦呦美女| 日本丁香五月| 婷婷色六月| 亚洲另类噜噜| 性爱111111| 精品色色网| 少妇人妻人伦A片| 激情六月丁香综合| 欧美一级色| 99ri在线视频| 丁香五月成人婷婷| 热九九九九| 亚洲欧美999| 婷婷丁香六月天激情四射网| 99热骚货| 人妻丰满精品一区二区A片| 亚洲美女高潮久久久久久69| 丁香九月婷婷综合| 久久五月天视频| 9l视频自拍9l九色9l成人| 91岛国片| 婷婷成人视频| 日韩在线视频网站| 色综合丁香婷婷| 91热久久| 欧美精产国品一二三区| 五月天婷婷色色网| 黄色AV日韩| 99re久久| 婷婷97| 婷婷月五天在线在线看| 无码99| 九九性视频| 六月激情综合| 久久成人性爱| 99精品成人无码A片观看金桔| 亚洲99手机免费看视频| 亚洲欧洲中文日韩久久AV乱码| 亚洲综合视频一下| 久热精品免费视频4| 99热这里只有精品 搜| 一级黄色操B| 婷婷中文字幕| 狠狠做五月| 激情综合网五月婷婷| 五月天婷婷久久日| 伊人爱爱日本| 色噜噜五月天| 色综合区| 色色色综合| 热99re| 色婷婷情片| 亚洲av成人在线| 欧美日韩大黄| 一本久久婷婷| 久久久无码精品成人A片小说| 亚洲综合1024| 色婷五月天| www.五月天社区| 日本色色网站| 色婷婷婷婷| 婷婷成人五月天一区| 欧美精品狠狠色丁香婷婷| 超碰在线中文字幕| 久久这里这里有精品免费视频| 国产又色又爽又黄又免费| 婷婷五月深爱五月| 99人妻碰碰碰久久久久视| 亚洲天堂99| 久色五月婷婷综合| 美国不卡视频| 久久婷婷五月| 久久成人人妻| av大香蕉| 日本nghangse中文字幕| 91激情五月开心| 狠狠操狠狠操AV| 99热中文字幕久久| 五月色网| 大香蕉视频婷| 一本色道久久综合狠狠躁小说| 日韩综合大黄| 97碰免费视频在线| 久热这里只有| 五月亭亭性| 亚洲视频色色| 超碰人人操| 黄桃AV无码免费一区二区三区| 五月天久久婷婷| 丁香婷婷六月婷婷六月婷婷六月婷婷| 日本久碰| 9+1视频网址| 99青青草| 婷婷五月小说色综合| 婷婷久久爱| 色噜噜婷婷| 99视频在线观看网址| 情婷婷五月天在线| 一操久久| 婷婷色色网站| 99啪啪视频| 婷婷.com| 一起草av| 婷婷日本色| 国产精品A成V人在线播放| 久草大| 婷婷激情五月天7| 亚洲一区二区无遮挡A片| 青草视频在线观看视频| 91精品久久久久久77777| 26uuu欧美日本| 玖玖在线资源视频| 婷婷天堂综合| 六月婷基地| 亚洲深喉aV| 天天天天干| 99热在线观看免费精品| 国产精品久久久久久五月天加勒比| 亚洲色情久久| www色婷婷com| 婷婷不卡基地| 婷婷97狠狠成人网站| 九九热10| 天天爱天天秀天天做| 欧美英丁香开心快乐六月天网| 性日本激情| 超碰免费成人| 7777久久亚洲中文字幕| 激情五月婷婷| 九九色色网| 大陆肏屄视频| 五月丁香天堂网婷婷| 天天舔夜夜操www com| 97婷婷丁香| 91精品丝袜久久久久久久久粉嫩| 亚洲无码性爱| 亚洲亚洲人成综合网络| 亚洲中文乱字字幕在线永久| 久9视频| 久久人妻视频| 99综合| 人人干人人看| 五月天色婷婷网| 五月深爱激情网| 99国产性感视频| 五月丁香天堂网婷婷| 婷丁香五月天| 99热20| 涩涩五月天综合| 久婷婷五月丁香在线观看| 日本99久久| 五月久久婷婷| 中文字幕在线不卡| 97在线/亚洲| 久久精品91视频| 青青日韩| 婷婷五月丁香激情图片 | 99色一| 操熟女成人网| 99er6热在线观看精品6| 九九婷婷五月天影视| 涩五月丁香| 五月婷深深爱激情网| 成人久久天天x资源站| 五月人妻婷婷| 色狠狠伊人久久五月丁香| 五月婷婷综合色拍| 夜夜爽天操| 天天综合中文| 99狠狠| 久久99久久99精品免视看婷婷| 97干视频| 色99在线视频| 99精品偷自拍| 久久精品国产精品| 色爱爱综合网| 久久色五月天| 91超碰在线播放| 99亚色色色| 啪啪五月天啪啪| 久噜久噜| 高清无码入口| 丁香五月婷婷色| 五月天激情视频| 色婷婷成人做爰A片免费看网站| AA丁香综合激情| 大地9中文在线观看免费高清 | 色婷亚洲| 六月丁香婷婷综合在线| 亚洲在线操| 天天干天天拍| 日韩在线视频9色| 日韩婷久| 影音先锋毛片网站| 在线视频色五月| 丁香六月婷婷色XXXX| 色五月婷婷久久| 97干在线视频| 丰满人妻一区二区三区| 9视频在线成人网站| 涩九九九九| 丁香婷婷六月激情文学| 欧洲激情五月天婷婷| 五月亭亭六月天| 色婷婷大香蕉| 禁欲电影完整版在线播放| wwww.9免费视频| 色色色在线观看| 色五月婷婷婷婷婷婷婷婷婷婷 | 九九伊人网| 欧美,日韩成人在线| 超碰91av| 伊人午夜综合色啪| 成人丁香五月天Av| 黑人糟蹋人妻HD中文字幕 | 亚洲一个色| 五月天婷婷婷| 婷婷 伊人 久久| 婷婷四月 成人 狠狠干| 狠狠色丁香久久婷婷综合五月| 五月婷婷啪啪网| 亚洲日本韩国| 国产小网站| 婷婷综合网在线| 激情五月综合婷婷| 夜夜操天天干| 三日本无码| 91狠狠综合久久久| 五月天婷婷婷| 色色色色色色网| 色爆五月| 久久婷婷五月综合色奶水99啪| 色狠狠六月| 五月丁香91| 新激情婷婷| 超碰在线99| 婷婷婷婷婷婷婷五月丁香| 激情五月丁香五月| 精品一区二区三区三区| 天搞天天天天天| 婷婷五月亚洲一本在线丁香| 天天天天天天操| 超级碰碰视频无码| 婷婷五月天伊人在线| 另类 在线| 五月日韩中文字幕| 99操久久| 5月丁香婷婷激情网| 日韩艹比| 狠狠操综合| 激情五月天婷婷在线网址发给我 | 第四色五月婷婷| 五月婷在线色视频| 婷婷五月丁香六月| 操97免费超级视频| 五月天伊人手机在线播放AV| 狠狠干五月天| 婷婷综合精品| 天天做好综合色| 六月色丁香婷婷| 激情综合综合综合| 99热久草| 久热精品9999| 久久这里99| 精品一区二区三区免费毛片爱| wWW九九在线播放| 99成人精品视频| 色五月 婷婷, 大香蕉| 激情五月深爱五月| 婷婷丁香色情| 五月丁香九九| 欧美精品熟女一区二区| 综合av在线| 色之综合网| 色99视频| 婷婷综合亚洲| 九九大香蕉黄色影院| 超级碰 久久9| 九九婷婷五月天影视| 激情五月天婷婷| 超碰亚洲天堂| 激情丁香五月天| 综合 蜜月 婷婷| 五月婷婷激情视频| 免费91久久精品| 色色色色热| 久久97久久99久久综合欧美| 色婷婷先锋| www.99热这里只有精品| 任我肏视频精品| 日本激情综合| 激情五月丁香五月色| 天天婷婷天天| 少妇AB又爽又紧无码网站| 亚洲综合在线伊人婷| 五月天伊人| 综合99在线| 丁香五月婷婷视频| 青草青草久9视频在线视频| 婷婷五月图片小说视频| 日本在线观看aaa 99| 俺去也在线视频| 激情玖玖综合网| 丁香六月五月婷婷| 碰超在线九色| 五月叮香啪| 91打屁股视频网站| 啪啪操超碰| 91视频一起草| 26uuu精品一区二区| 五月丁香怕啪啪| 色色色色综合网| 五月婷六月综合在线观看| 五月激情天| 欧美97p| 一起草av| 丁香五月狠狠综合欧美| 色综合综合综合| 色五月激情婷婷| 婷色视频| 综合久| 五月丁香久久综合| 1024操逼| 五月开行婷婷色五月| CAOBIBI| 97久久久久| wwW天天干| 亚洲深喉aV| 亚洲成人婷婷| 黄色成人网站在线播放| 99这里都是精品6| 很很操96| 在线观看日韩12345区| 五月综合激情视频在线| 成人在线不卡| 色综合久久综合中文综合网| 大香蕉手机视频| 久久综合久色欧美综合狠狠| 狠狠撸激情综合丁香五月天俺来啦| 国产伊人大香蕉| 夜色综合网| 99热这里只有精品国产免费| 少妇高潮呻吟A片免费看软件 | AV五月丁香| 日韩一级| 97碰超级人人看| 五月天婷a在线| 色色六月| 久热9| 丁香五月婷婷成人综合| 色婷婷精| 欧美操人| 日日操天天爽| 人人综合久| 99爱爱| 五月丁香六月情| 天堂婷婷五月在线| 五月丁香婷婷激情四射迷人| 97丁香婷婷|