欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

OpenClaw-RL實(shí)戰(zhàn):基于OPD教師模型的強(qiáng)化學(xué)習(xí)策略優(yōu)化

OpenClaw-RL實(shí)戰(zhàn):基于OPD教師模型的強(qiáng)化學(xué)習(xí)策略優(yōu)化 1. 項(xiàng)目概述從“后悔”到“聰明”的AI進(jìn)化之路最近在搞強(qiáng)化學(xué)習(xí)項(xiàng)目特別是基于OpenClaw-RL框架的探索發(fā)現(xiàn)一個(gè)特別有意思的課題如何讓AI學(xué)會(huì)“聰明”地做決策而不是像個(gè)莽夫一樣亂撞。這聽(tīng)起來(lái)有點(diǎn)玄乎但核心其實(shí)就一個(gè)詞——“后悔”。我們?nèi)祟愖鲥e(cuò)事會(huì)后悔然后下次就知道怎么做了AI能不能也這樣當(dāng)然能這就是OPDOptimal Policy Distillation最優(yōu)策略蒸餾教師模型訓(xùn)練的核心思想。簡(jiǎn)單來(lái)說(shuō)它不是讓AI從零開(kāi)始瞎摸索而是先給它看一個(gè)“笨老師”是怎么做的然后讓AI去分析這個(gè)“笨老師”哪里做錯(cuò)了、哪里可以做得更好最后自己總結(jié)出一套更“聰明”的策略。這個(gè)過(guò)程本質(zhì)上就是讓AI學(xué)會(huì)從“后悔”對(duì)次優(yōu)行為的反思中學(xué)習(xí)。這個(gè)項(xiàng)目標(biāo)題“OpenClaw-RL 實(shí)戰(zhàn) 09OPD教師模型訓(xùn)練”點(diǎn)明了幾個(gè)關(guān)鍵信息首先它是一個(gè)實(shí)戰(zhàn)系列的一部分意味著我們要?jiǎng)邮肿霾皇强照劺碚撈浯嗡贠penClaw-RL這個(gè)框架這是一個(gè)用于機(jī)器人操作或復(fù)雜決策任務(wù)的強(qiáng)化學(xué)習(xí)庫(kù)最后核心是OPD教師模型訓(xùn)練。這里的“教師模型”不是指一個(gè)已經(jīng)完美無(wú)缺的專家而更像是一個(gè)“先行者”或“示范者”它可能策略不完美但它的經(jīng)驗(yàn)包括成功和失敗是學(xué)生模型學(xué)習(xí)的寶貴素材。我們最終的目標(biāo)是訓(xùn)練出一個(gè)能超越這位“教師”的、更“聰明”的學(xué)生模型。那么這適合誰(shuí)呢如果你正在研究強(qiáng)化學(xué)習(xí)特別是模仿學(xué)習(xí)、離線強(qiáng)化學(xué)習(xí)或者策略蒸餾想提升智能體在稀疏獎(jiǎng)勵(lì)或復(fù)雜環(huán)境下的表現(xiàn)那這個(gè)內(nèi)容就是為你準(zhǔn)備的。即使你對(duì)OpenClaw-RL不熟但理解OPD的思想和實(shí)現(xiàn)流程也能輕松遷移到其他RL框架中。接下來(lái)我們就拆開(kāi)揉碎了看看怎么一步步讓AI學(xué)會(huì)“吃一塹長(zhǎng)一智”。2. OPD核心思想與為什么需要“后悔”在深入代碼之前我們必須先搞清楚OPD到底在解決什么問(wèn)題以及“后悔”這個(gè)概念是如何被量化和利用的。傳統(tǒng)的強(qiáng)化學(xué)習(xí)比如DQN、PPO是讓智能體通過(guò)與環(huán)境交互根據(jù)獲得的獎(jiǎng)勵(lì)或懲罰來(lái)調(diào)整自己的行為。這就像教小孩走路摔一跤負(fù)獎(jiǎng)勵(lì)就知道下次要小心。但在很多現(xiàn)實(shí)任務(wù)中比如機(jī)器人抓取、游戲?qū)墨@取高質(zhì)量、稠密的獎(jiǎng)勵(lì)信號(hào)非常困難或者交互成本極高。智能體很容易陷入局部最優(yōu)或者探索效率極低。模仿學(xué)習(xí)Imitation Learning是一種思路直接給智能體看專家演示專家軌跡讓它照著學(xué)。但這要求專家數(shù)據(jù)必須高質(zhì)量且充足成本很高。而且如果專家也不是完美的呢學(xué)生最多只能達(dá)到老師的水平無(wú)法青出于藍(lán)。OPD提供了一條中間道路。它不要求教師模型是最優(yōu)策略甚至允許教師策略是次優(yōu)的。它的核心是利用教師模型產(chǎn)生的軌跡狀態(tài)-動(dòng)作序列通過(guò)離線策略評(píng)估的方法比如重要性采樣、Fitted Q Evaluation來(lái)估計(jì)這些軌跡中每個(gè)決策的“優(yōu)勢(shì)”Advantage或“后悔值”Regret。這個(gè)“后悔值”衡量的是在某個(gè)狀態(tài)下教師采取的動(dòng)作相比于可能的最佳動(dòng)作差了多少。2.1 “后悔”的數(shù)學(xué)化優(yōu)勢(shì)函數(shù)與Q值怎么計(jì)算這個(gè)“后悔”呢這里就需要引入強(qiáng)化學(xué)習(xí)里的兩個(gè)核心函數(shù)狀態(tài)價(jià)值函數(shù)V(s)和動(dòng)作價(jià)值函數(shù)Q(s, a)。V(s)表示從狀態(tài)s開(kāi)始遵循當(dāng)前策略能獲得的期望累積回報(bào)。它評(píng)價(jià)一個(gè)狀態(tài)“好不好”。Q(s, a)表示在狀態(tài)s下采取動(dòng)作a然后遵循當(dāng)前策略能獲得的期望累積回報(bào)。它評(píng)價(jià)一個(gè)狀態(tài)-動(dòng)作對(duì)“好不好”。那么優(yōu)勢(shì)函數(shù)A(s, a) Q(s, a) - V(s)。它的含義非常直觀在狀態(tài)s下采取動(dòng)作a比遵循當(dāng)前策略的平均水平好或差多少。如果A(s, a) 0說(shuō)明這個(gè)動(dòng)作比“平常表現(xiàn)”要好是值得鼓勵(lì)的如果A(s, a) 0說(shuō)明這個(gè)動(dòng)作拖了后腿相當(dāng)于一次“后悔”。在OPD中我們使用教師策略π_teacher與環(huán)境交互收集到一批軌跡數(shù)據(jù)D {(s_t, a_t, s_{t1}, r_t)}。然后我們利用這批數(shù)據(jù)通過(guò)離線評(píng)估算法例如訓(xùn)練一個(gè)Q網(wǎng)絡(luò)來(lái)擬合教師數(shù)據(jù)中的回報(bào)估算出教師軌跡中每個(gè)(s_t, a_t)對(duì)應(yīng)的Q_teacher(s_t, a_t)。同時(shí)我們也能估算出V_teacher(s_t)例如通過(guò)對(duì)所有可能動(dòng)作的Q值按教師策略概率加權(quán)平均或者直接用另一個(gè)網(wǎng)絡(luò)擬合狀態(tài)價(jià)值。這樣一來(lái)我們就能計(jì)算出每個(gè)教師動(dòng)作的優(yōu)勢(shì)值A(chǔ)_teacher(s_t, a_t) Q_teacher(s_t, a_t) - V_teacher(s_t)。這個(gè)A_teacher(s_t, a_t)就是我們量化后的“后悔”當(dāng)它為負(fù)時(shí)或“驚喜”當(dāng)它為正時(shí)。學(xué)生模型的學(xué)習(xí)目標(biāo)就是要去模仿那些優(yōu)勢(shì)值為正表現(xiàn)好的動(dòng)作同時(shí)避免或糾正那些優(yōu)勢(shì)值為負(fù)表現(xiàn)差即令人“后悔”的動(dòng)作。它不僅僅模仿行為更模仿行為背后的“價(jià)值判斷”。2.2 OPD與行為克隆、DQN的區(qū)別為了更清楚理解OPD的定位我們把它和常見(jiàn)方法做個(gè)對(duì)比方法數(shù)據(jù)來(lái)源學(xué)習(xí)目標(biāo)優(yōu)點(diǎn)缺點(diǎn)行為克隆專家軌跡 (s, a)最小化動(dòng)作預(yù)測(cè)誤差簡(jiǎn)單直接樣本效率高需要完美專家復(fù)合誤差累積無(wú)法超越專家DQN在線交互 (s, a, r, s)最小化時(shí)序差分誤差能發(fā)現(xiàn)新策略理論上有最優(yōu)解探索成本高需要稠密獎(jiǎng)勵(lì)訓(xùn)練不穩(wěn)定OPD教師軌跡 (s, a, r, s)最大化期望優(yōu)勢(shì)值能利用次優(yōu)數(shù)據(jù)可超越教師樣本效率較高依賴離線評(píng)估的準(zhǔn)確性計(jì)算復(fù)雜度稍高注意OPD中的“教師”不一定是一個(gè)人也可以是一個(gè)訓(xùn)練到一半的RL策略、一個(gè)基于規(guī)則的控制器甚至是多個(gè)不同策略的混合。這大大拓寬了可用數(shù)據(jù)的來(lái)源。所以O(shè)PD的精妙之處在于它把“模仿”升級(jí)成了“批判性模仿”。學(xué)生模型不再盲目照搬老師的每一個(gè)動(dòng)作而是學(xué)會(huì)了評(píng)價(jià)“老師在這個(gè)地方這么干其實(shí)挺蠢的優(yōu)勢(shì)為負(fù)我下次得換個(gè)法子?!?或者“老師這手操作真妙優(yōu)勢(shì)為正我得好好學(xué)?!?這個(gè)過(guò)程就是AI從“后悔”中學(xué)會(huì)“聰明”的本質(zhì)。3. OpenClaw-RL框架下的OPD實(shí)戰(zhàn)設(shè)計(jì)理解了理論我們就要在OpenClaw-RL這個(gè)具體框架里把它實(shí)現(xiàn)。OpenClaw-RL通常用于機(jī)器人靈巧操作任務(wù)比如抓取、擺放、旋擰等。這些任務(wù)狀態(tài)空間圖像、關(guān)節(jié)角度和動(dòng)作空間連續(xù)電機(jī)控制都非常復(fù)雜獎(jiǎng)勵(lì)函數(shù)難以設(shè)計(jì)因此OPD這類方法特別有吸引力。我們的實(shí)戰(zhàn)目標(biāo)可以設(shè)定為訓(xùn)練一個(gè)機(jī)械爪Claw完成將某個(gè)物體從A點(diǎn)抓取并放到B點(diǎn)的任務(wù)。我們有一個(gè)基于傳統(tǒng)控制器或者簡(jiǎn)單RL訓(xùn)練出來(lái)的“教師策略”這個(gè)策略成功率可能只有60%且動(dòng)作有時(shí)冗余、不流暢。我們要用OPD訓(xùn)練一個(gè)“學(xué)生策略”目標(biāo)是超越教師達(dá)到85%以上的成功率并且動(dòng)作更優(yōu)化。3.1 系統(tǒng)整體架構(gòu)設(shè)計(jì)整個(gè)OPD訓(xùn)練流程可以分解為四個(gè)核心模塊它們形成一個(gè)閉環(huán)數(shù)據(jù)收集模塊運(yùn)行教師策略π_teacher在環(huán)境中采集大量軌跡數(shù)據(jù)存儲(chǔ)為經(jīng)驗(yàn)回放緩沖區(qū)D_teacher。每條數(shù)據(jù)包括狀態(tài)s_t動(dòng)作a_t獎(jiǎng)勵(lì)r_t下一狀態(tài)s_{t1}回合結(jié)束標(biāo)志done。實(shí)操要點(diǎn)采集的數(shù)據(jù)量要足夠大以覆蓋任務(wù)的各種狀態(tài)。教師策略可以是隨機(jī)噪聲稍小的策略以增加數(shù)據(jù)的多樣性。離線評(píng)估模塊這是OPD的核心。使用D_teacher中的數(shù)據(jù)訓(xùn)練一個(gè)Q值網(wǎng)絡(luò)Q_phi(s, a)和一個(gè)狀態(tài)價(jià)值網(wǎng)絡(luò)V_psi(s)。目標(biāo)是讓Q_phi能準(zhǔn)確預(yù)測(cè)教師數(shù)據(jù)中累積回報(bào)的期望。常用方法Fitted Q Evaluation (FQE)。通過(guò)最小化時(shí)序差分TD誤差來(lái)訓(xùn)練Q網(wǎng)絡(luò)L E[(r γ * Q_phi(s, a) - Q_phi(s, a))^2]其中a是根據(jù)教師策略在s下采樣的動(dòng)作。V網(wǎng)絡(luò)可以從Q網(wǎng)絡(luò)推導(dǎo)也可以獨(dú)立訓(xùn)練。優(yōu)勢(shì)計(jì)算與數(shù)據(jù)過(guò)濾模塊對(duì)于D_teacher中的每一個(gè)數(shù)據(jù)點(diǎn)(s, a)利用訓(xùn)練好的Q_phi和V_psi計(jì)算優(yōu)勢(shì)值A(chǔ)(s, a) Q_phi(s, a) - V_psi(s)。我們可以根據(jù)優(yōu)勢(shì)值對(duì)數(shù)據(jù)進(jìn)行過(guò)濾或加權(quán)。常見(jiàn)技巧只保留優(yōu)勢(shì)值為正的數(shù)據(jù)即教師做得好的部分給學(xué)生學(xué)習(xí)?;蛘呓o每條數(shù)據(jù)分配一個(gè)權(quán)重例如weight exp(A(s, a) / temperature)優(yōu)勢(shì)越高的數(shù)據(jù)權(quán)重越大。學(xué)生策略訓(xùn)練模塊學(xué)生策略π_theta是一個(gè)神經(jīng)網(wǎng)絡(luò)如高斯策略。它的訓(xùn)練目標(biāo)不再是簡(jiǎn)單的行為克隆模仿動(dòng)作a而是最大化它所采取的動(dòng)作的預(yù)期優(yōu)勢(shì)值。損失函數(shù)可以設(shè)計(jì)為L(zhǎng)(θ) - E_{s~D} [ A(s, π_θ(s)) ] 同時(shí)可以加上一個(gè)與教師動(dòng)作分布KL散度的約束防止策略偏離太遠(yuǎn)導(dǎo)致不穩(wěn)定。實(shí)現(xiàn)方式這類似于策略梯度。我們可以用重參數(shù)化技巧采樣學(xué)生動(dòng)作然后用計(jì)算出的優(yōu)勢(shì)值作為權(quán)重來(lái)更新策略網(wǎng)絡(luò)。這四個(gè)模塊構(gòu)成了迭代優(yōu)化的基礎(chǔ)。學(xué)生策略提升后甚至可以將其作為新的“教師”收集數(shù)據(jù)重新進(jìn)行離線評(píng)估和訓(xùn)練實(shí)現(xiàn)自我進(jìn)化。3.2 關(guān)鍵超參數(shù)與設(shè)計(jì)選擇在動(dòng)手寫代碼前有幾個(gè)關(guān)鍵設(shè)計(jì)需要想清楚網(wǎng)絡(luò)結(jié)構(gòu)Q_phi和π_theta的輸入是狀態(tài)s可能是圖像和向量狀態(tài)的融合輸出分別是標(biāo)量Q值和動(dòng)作分布參數(shù)。網(wǎng)絡(luò)深度和寬度需要根據(jù)任務(wù)復(fù)雜度調(diào)整。對(duì)于機(jī)械爪視覺(jué)任務(wù)通常使用CNN提取圖像特征再與向量狀態(tài)拼接后輸入全連接層。優(yōu)勢(shì)估計(jì)的準(zhǔn)確性這是OPD成敗的關(guān)鍵。FQE的訓(xùn)練穩(wěn)定性需要關(guān)注。技巧包括使用雙Q網(wǎng)絡(luò)減少過(guò)估計(jì)、使用目標(biāo)網(wǎng)絡(luò)穩(wěn)定訓(xùn)練、對(duì)Q值進(jìn)行歸一化等。數(shù)據(jù)過(guò)濾閾值優(yōu)勢(shì)值多大才算“好”這需要一個(gè)閾值??梢詮?開(kāi)始逐步調(diào)整。也可以使用百分位例如只保留優(yōu)勢(shì)值排名前50%的數(shù)據(jù)。策略約束強(qiáng)度在優(yōu)化學(xué)生策略時(shí)完全放開(kāi)可能會(huì)導(dǎo)致在優(yōu)勢(shì)估計(jì)不準(zhǔn)的區(qū)域做出極端行為。因此需要加入與教師策略的KL散度約束系數(shù)β需要調(diào)優(yōu)L_total -E[A(s, π_θ(s))] β * KL(π_θ(·|s) || π_teacher(·|s))。溫度系數(shù)τ在基于權(quán)重的數(shù)據(jù)采樣中溫度τ控制了對(duì)高優(yōu)勢(shì)數(shù)據(jù)的偏好程度。τ越小越傾向于只學(xué)習(xí)最好的那些片段。4. 實(shí)操步驟一教師數(shù)據(jù)收集與環(huán)境搭建我們假設(shè)已經(jīng)有一個(gè)在OpenClaw-RL環(huán)境中能基本運(yùn)行但表現(xiàn)不完美的教師策略。這個(gè)策略可能是一個(gè)訓(xùn)練了100萬(wàn)步的PPO模型成功率飽和在65%。4.1 準(zhǔn)備教師策略與環(huán)境首先確保你的OpenClaw-RL環(huán)境例如一個(gè)模擬的機(jī)器人抓取環(huán)境可以正常導(dǎo)入和運(yùn)行。教師策略通常保存為一個(gè)PyTorch的.pt文件。import torch import gym # 假設(shè)你的環(huán)境是自定義的需要注冊(cè)或直接導(dǎo)入 from openclaw_env import OpenClawGraspEnv # 初始化環(huán)境 env OpenClawGraspEnv(render_modergb_array) state_dim env.observation_space.shape action_dim env.action_space.shape[0] # 加載教師策略模型 class TeacherPolicy(torch.nn.Module): def __init__(self, state_dim, action_dim): super().__init__() # 定義網(wǎng)絡(luò)結(jié)構(gòu)需與保存時(shí)一致 self.fc torch.nn.Sequential( torch.nn.Linear(state_dim[0], 256), torch.nn.ReLU(), torch.nn.Linear(256, 256), torch.nn.ReLU(), torch.nn.Linear(256, action_dim * 2) # 輸出均值和對(duì)數(shù)標(biāo)準(zhǔn)差 ) def forward(self, state): return self.fc(state) teacher_model TeacherPolicy(state_dim, action_dim) teacher_model.load_state_dict(torch.load(./teacher_model_1M.pt)) teacher_model.eval()4.2 收集并存儲(chǔ)軌跡數(shù)據(jù)接下來(lái)運(yùn)行教師策略與環(huán)境交互收集數(shù)據(jù)。我們不僅存儲(chǔ)(s, a, r, s, done)為了后續(xù)方便最好也存儲(chǔ)每個(gè)回合的累計(jì)回報(bào)return和優(yōu)勢(shì)值先占位。import numpy as np from collections import deque import pickle def collect_teacher_data(env, model, num_episodes1000, max_steps500): 收集教師策略的軌跡數(shù)據(jù) buffer { states: [], actions: [], rewards: [], next_states: [], dones: [], returns: [], # 用于后續(xù)驗(yàn)證 advantages: [] # 先占位填0 } for ep in range(num_episodes): state, _ env.reset() episode_states, episode_actions, episode_rewards [], [], [] done False steps 0 while not done and steps max_steps: with torch.no_grad(): state_tensor torch.FloatTensor(state).unsqueeze(0) # 教師策略輸出動(dòng)作分布參數(shù)這里假設(shè)是高斯分布 output model(state_tensor) mean, log_std output.chunk(2, dim-1) std torch.exp(log_std) dist torch.distributions.Normal(mean, std) action dist.sample().numpy().flatten() # 也可以直接取均值但采樣能保留一定的探索性 # action mean.numpy().flatten() next_state, reward, terminated, truncated, _ env.step(action) done terminated or truncated buffer[states].append(state.copy()) buffer[actions].append(action.copy()) buffer[rewards].append(reward) buffer[next_states].append(next_state.copy()) buffer[dones].append(done) buffer[advantages].append(0.0) # 占位 episode_states.append(state) episode_actions.append(action) episode_rewards.append(reward) state next_state steps 1 # 計(jì)算本回合的回報(bào)Monte Carlo Return returns [] G 0 for r in reversed(episode_rewards): G r 0.99 * G # 折扣因子γ0.99 returns.insert(0, G) buffer[returns].extend(returns) if (ep 1) % 100 0: print(fEpisode {ep1}, Total Steps: {len(buffer[states])}, Avg Return: {np.mean(returns):.2f}) # 轉(zhuǎn)換為numpy數(shù)組節(jié)省空間 for key in buffer: buffer[key] np.array(buffer[key]) # 保存數(shù)據(jù) with open(./teacher_data.pkl, wb) as f: pickle.dump(buffer, f) print(f數(shù)據(jù)收集完成共 {len(buffer[states])} 條數(shù)據(jù)。) return buffer # 開(kāi)始收集 teacher_buffer collect_teacher_data(env, teacher_model, num_episodes500)實(shí)操心得收集數(shù)據(jù)時(shí)建議讓教師策略帶有一定的隨機(jī)性如高斯采樣而不是完全確定性輸出。這能增加數(shù)據(jù)的覆蓋度避免學(xué)生只學(xué)到一種僵化的模式。數(shù)據(jù)量建議在10萬(wàn)條以上對(duì)于復(fù)雜任務(wù)可能需要更多。5. 實(shí)操步驟二離線評(píng)估與優(yōu)勢(shì)值計(jì)算有了數(shù)據(jù)我們就可以開(kāi)始最關(guān)鍵的步驟評(píng)估教師策略在每個(gè)決策點(diǎn)上的價(jià)值即計(jì)算Q值和優(yōu)勢(shì)值。5.1 實(shí)現(xiàn)Fitted Q Evaluation (FQE)我們將實(shí)現(xiàn)一個(gè)相對(duì)標(biāo)準(zhǔn)的FQE來(lái)訓(xùn)練Q網(wǎng)絡(luò)。為了穩(wěn)定我們使用目標(biāo)網(wǎng)絡(luò)和雙Q網(wǎng)絡(luò)。import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader, TensorDataset class QNetwork(nn.Module): Q(s, a) 網(wǎng)絡(luò) def __init__(self, state_dim, action_dim, hidden_dim256): super().__init__() # 假設(shè)狀態(tài)和動(dòng)作先拼接 self.net nn.Sequential( nn.Linear(state_dim action_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, 1) # 輸出標(biāo)量Q值 ) def forward(self, state, action): x torch.cat([state, action], dim1) return self.net(x) def train_fqe(buffer, state_dim, action_dim, epochs50, batch_size256, lr1e-3): 訓(xùn)練FQE Q網(wǎng)絡(luò) # 準(zhǔn)備數(shù)據(jù) states torch.FloatTensor(buffer[states]) actions torch.FloatTensor(buffer[actions]) rewards torch.FloatTensor(buffer[rewards]) next_states torch.FloatTensor(buffer[next_states]) dones torch.FloatTensor(buffer[dones]) # 初始化兩個(gè)Q網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)減少過(guò)估計(jì) q_net1 QNetwork(state_dim, action_dim) q_net2 QNetwork(state_dim, action_dim) target_q_net1 QNetwork(state_dim, action_dim) target_q_net2 QNetwork(state_dim, action_dim) target_q_net1.load_state_dict(q_net1.state_dict()) target_q_net2.load_state_dict(q_net2.state_dict()) optimizer1 optim.Adam(q_net1.parameters(), lrlr) optimizer2 optim.Adam(q_net2.parameters(), lrlr) dataset TensorDataset(states, actions, rewards, next_states, dones) dataloader DataLoader(dataset, batch_sizebatch_size, shuffleTrue) for epoch in range(epochs): total_loss 0 for batch_states, batch_actions, batch_rewards, batch_next_states, batch_dones in dataloader: # 計(jì)算目標(biāo)Q值r γ * min(Q1_target, Q2_target) with torch.no_grad(): # 教師策略在下一狀態(tài)的動(dòng)作這里需要教師策略模型我們近似使用數(shù)據(jù)中的下一個(gè)動(dòng)作 # 注意嚴(yán)格FQE需要教師策略π_teacher。這里我們使用一個(gè)簡(jiǎn)化假設(shè)數(shù)據(jù)中的下一個(gè)動(dòng)作就是教師策略給出的。 # 更好的做法是用教師策略模型對(duì)batch_next_states重新采樣動(dòng)作。 next_actions torch.FloatTensor(buffer[actions][...]) # 這里需要索引對(duì)應(yīng)簡(jiǎn)化處理 # 實(shí)際應(yīng)調(diào)用 teacher_model(batch_next_states) 采樣動(dòng)作此處為示例簡(jiǎn)化。 # 我們假設(shè)next_actions已準(zhǔn)備好。 target_q1 target_q_net1(batch_next_states, next_actions) target_q2 target_q_net2(batch_next_states, next_actions) target_q torch.min(target_q1, target_q2) # 雙Q學(xué)習(xí)取最小 target batch_rewards.unsqueeze(1) 0.99 * (1 - batch_dones.unsqueeze(1)) * target_q # 計(jì)算當(dāng)前Q值 current_q1 q_net1(batch_states, batch_actions) current_q2 q_net2(batch_states, batch_actions) # 計(jì)算損失 loss1 nn.MSELoss()(current_q1, target) loss2 nn.MSELoss()(current_q2, target) # 反向傳播 optimizer1.zero_grad() loss1.backward() optimizer1.step() optimizer2.zero_grad() loss2.backward() optimizer2.step() total_loss (loss1.item() loss2.item()) / 2 # 軟更新目標(biāo)網(wǎng)絡(luò) tau 0.005 for target_param, param in zip(target_q_net1.parameters(), q_net1.parameters()): target_param.data.copy_(tau * param.data (1.0 - tau) * target_param.data) for target_param, param in zip(target_q_net2.parameters(), q_net2.parameters()): target_param.data.copy_(tau * param.data (1.0 - tau) * target_param.data) if (epoch 1) % 10 0: print(fFQE Epoch {epoch1}, Avg Loss: {total_loss/len(dataloader):.4f}) # 我們使用q_net1作為最終的Q評(píng)估器 return q_net1 # 訓(xùn)練Q網(wǎng)絡(luò) print(開(kāi)始訓(xùn)練FQE Q網(wǎng)絡(luò)...) q_net train_fqe(teacher_buffer, state_dim[0], action_dim) torch.save(q_net.state_dict(), ./fqe_q_net.pt)5.2 計(jì)算優(yōu)勢(shì)值并過(guò)濾數(shù)據(jù)有了訓(xùn)練好的Q網(wǎng)絡(luò)我們可以為緩沖區(qū)里的每條數(shù)據(jù)計(jì)算Q值。要計(jì)算優(yōu)勢(shì)A(s,a)我們還需要V(s)。一個(gè)實(shí)用的近似是V(s) ≈ E_{a~π_teacher}[Q(s, a)]。我們可以用蒙特卡洛估計(jì)從教師策略中采樣多個(gè)動(dòng)作計(jì)算Q值的平均。def compute_advantages(buffer, q_net, teacher_model, num_samples10): 計(jì)算緩沖區(qū)中所有數(shù)據(jù)的優(yōu)勢(shì)值 states torch.FloatTensor(buffer[states]) actions torch.FloatTensor(buffer[actions]) advantages [] q_net.eval() teacher_model.eval() with torch.no_grad(): # 計(jì)算 Q(s, a) for the taken action q_values q_net(states, actions).squeeze().numpy() # 估計(jì) V(s) E[Q(s, a)] under teacher policy v_values [] for i, state in enumerate(states): state_repeated state.repeat(num_samples, 1) # 從教師策略采樣動(dòng)作 output teacher_model(state_repeated) mean, log_std output.chunk(2, dim-1) std torch.exp(log_std) dist torch.distributions.Normal(mean, std) sampled_actions dist.sample() # 計(jì)算采樣動(dòng)作的Q值并取平均 q_samples q_net(state_repeated, sampled_actions) v q_samples.mean().item() v_values.append(v) v_values np.array(v_values) # 優(yōu)勢(shì) A(s,a) Q(s,a) - V(s) adv q_values - v_values advantages adv.tolist() buffer[advantages] np.array(advantages) print(f優(yōu)勢(shì)值計(jì)算完成。范圍[{np.min(adv):.3f}, {np.max(adv):.3f}], 均值{np.mean(adv):.3f}) return buffer, adv # 計(jì)算優(yōu)勢(shì) teacher_buffer, all_advantages compute_advantages(teacher_buffer, q_net, teacher_model) # 數(shù)據(jù)過(guò)濾只保留優(yōu)勢(shì)值為正的數(shù)據(jù)教師做得好的部分 positive_mask all_advantages 0 filtered_states teacher_buffer[states][positive_mask] filtered_actions teacher_buffer[actions][positive_mask] filtered_advantages teacher_buffer[advantages][positive_mask] print(f原始數(shù)據(jù)量{len(teacher_buffer[states])}, 過(guò)濾后優(yōu)勢(shì)0數(shù)據(jù)量{len(filtered_states)}) print(f正優(yōu)勢(shì)比例{len(filtered_states)/len(teacher_buffer[states])*100:.1f}%)注意事項(xiàng)計(jì)算V(s)時(shí)采樣動(dòng)作的數(shù)量num_samples會(huì)影響估計(jì)的準(zhǔn)確性。數(shù)量太少估計(jì)方差大數(shù)量太多計(jì)算成本高。一般取10-20是一個(gè)折中的選擇。另外如果教師策略是確定性的比如直接輸出均值那么V(s)就等于Q(s, π_teacher(s))計(jì)算更簡(jiǎn)單。6. 實(shí)操步驟三學(xué)生策略訓(xùn)練與優(yōu)化現(xiàn)在我們有了“精華”數(shù)據(jù)——教師表現(xiàn)好的那些狀態(tài)-動(dòng)作對(duì)以及它們對(duì)應(yīng)的優(yōu)勢(shì)值可以看作是一種加權(quán)的重要性。接下來(lái)我們訓(xùn)練學(xué)生策略π_θ讓它學(xué)會(huì)采取具有高優(yōu)勢(shì)值的動(dòng)作。6.1 定義學(xué)生策略網(wǎng)絡(luò)與損失函數(shù)學(xué)生策略網(wǎng)絡(luò)結(jié)構(gòu)可以和教師類似但參數(shù)獨(dú)立。class StudentPolicy(nn.Module): def __init__(self, state_dim, action_dim, hidden_dim256): super().__init__() self.fc nn.Sequential( nn.Linear(state_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), ) self.mean_layer nn.Linear(hidden_dim, action_dim) self.log_std_layer nn.Linear(hidden_dim, action_dim) # 可訓(xùn)練的對(duì)數(shù)標(biāo)準(zhǔn)差參數(shù) self.log_std nn.Parameter(torch.zeros(1, action_dim)) def forward(self, state): x self.fc(state) mean self.mean_layer(x) # 使用可訓(xùn)練的參數(shù)而非網(wǎng)絡(luò)輸出更穩(wěn)定 log_std self.log_std.expand_as(mean) std torch.exp(log_std) return mean, std def train_student_policy(filtered_states, filtered_actions, filtered_advantages, teacher_model, epochs100, batch_size64, lr1e-4, kl_coef0.1): 訓(xùn)練學(xué)生策略最大化優(yōu)勢(shì)同時(shí)約束與教師策略的KL散度 states torch.FloatTensor(filtered_states) actions torch.FloatTensor(filtered_actions) advantages torch.FloatTensor(filtered_advantages).unsqueeze(1) # 保持維度 student_model StudentPolicy(state_dim[0], action_dim) optimizer optim.Adam(student_model.parameters(), lrlr) # 我們還需要教師模型來(lái)計(jì)算KL散度 teacher_model.eval() dataset TensorDataset(states, actions, advantages) dataloader DataLoader(dataset, batch_sizebatch_size, shuffleTrue) for epoch in range(epochs): total_policy_loss 0 total_kl_loss 0 for batch_states, batch_actions, batch_advantages in dataloader: # 學(xué)生策略輸出 student_mean, student_std student_model(batch_states) student_dist torch.distributions.Normal(student_mean, student_std) # 教師策略輸出用于KL計(jì)算 with torch.no_grad(): teacher_output teacher_model(batch_states) teacher_mean, teacher_log_std teacher_output.chunk(2, dim-1) teacher_std torch.exp(teacher_log_std) teacher_dist torch.distributions.Normal(teacher_mean, teacher_std) # 策略梯度損失 -E[ A * log π_θ(a|s) ] # 注意這里我們使用重參數(shù)化技巧但對(duì)于已采樣的動(dòng)作我們計(jì)算其對(duì)數(shù)概率 log_prob student_dist.log_prob(batch_actions).sum(dim-1, keepdimTrue) policy_loss - (batch_advantages * log_prob).mean() # KL散度損失 E[ KL( π_θ || π_teacher ) ] kl_div torch.distributions.kl.kl_divergence(student_dist, teacher_dist).sum(dim-1, keepdimTrue) kl_loss kl_div.mean() # 總損失 loss policy_loss kl_coef * kl_loss optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(student_model.parameters(), max_norm0.5) # 梯度裁剪 optimizer.step() total_policy_loss policy_loss.item() total_kl_loss kl_loss.item() if (epoch 1) % 20 0: avg_pl total_policy_loss / len(dataloader) avg_kl total_kl_loss / len(dataloader) print(fEpoch {epoch1}: Policy Loss{avg_pl:.4f}, KL Loss{avg_kl:.4f}) print(學(xué)生策略訓(xùn)練完成。) return student_model print(開(kāi)始訓(xùn)練學(xué)生策略...) student_model train_student_policy(filtered_states, filtered_actions, filtered_advantages, teacher_model) torch.save(student_model.state_dict(), ./student_model_opd.pt)6.2 訓(xùn)練技巧與迭代優(yōu)化上面的訓(xùn)練循環(huán)是一個(gè)基礎(chǔ)版本。在實(shí)際操作中你可能需要加入以下技巧來(lái)提升效果優(yōu)勢(shì)歸一化在計(jì)算策略損失前對(duì)batch_advantages進(jìn)行歸一化減去均值除以標(biāo)準(zhǔn)差可以穩(wěn)定訓(xùn)練。batch_advantages (batch_advantages - batch_advantages.mean()) / (batch_advantages.std() 1e-8)自適應(yīng)KL系數(shù)固定KL系數(shù)可能難以調(diào)優(yōu)。可以設(shè)計(jì)一個(gè)自適應(yīng)機(jī)制例如當(dāng)KL散度超過(guò)目標(biāo)值時(shí)增大系數(shù)低于時(shí)減小系數(shù)。多次迭代與數(shù)據(jù)重估訓(xùn)練完一代學(xué)生策略后可以用它作為新的“教師”去收集數(shù)據(jù)或與舊數(shù)據(jù)混合然后用FQE重新評(píng)估新數(shù)據(jù)計(jì)算新的優(yōu)勢(shì)值再訓(xùn)練下一代學(xué)生。這個(gè)過(guò)程可以迭代數(shù)次讓策略不斷進(jìn)化。集成與平滑訓(xùn)練多個(gè)Q網(wǎng)絡(luò)進(jìn)行集成用其輸出的最小值或平均值作為更穩(wěn)健的優(yōu)勢(shì)估計(jì)可以減少離線評(píng)估的誤差。7. 效果評(píng)估與問(wèn)題排查訓(xùn)練完成后我們必須在獨(dú)立的環(huán)境中對(duì)學(xué)生策略進(jìn)行測(cè)試并與原始教師策略對(duì)比。7.1 性能對(duì)比測(cè)試編寫一個(gè)測(cè)試函數(shù)在環(huán)境中運(yùn)行策略若干回合統(tǒng)計(jì)成功率、平均回報(bào)等指標(biāo)。def evaluate_policy(env, model, num_episodes50, max_steps500, deterministicTrue): 評(píng)估策略性能 total_rewards [] success_count 0 model.eval() for ep in range(num_episodes): state, _ env.reset() episode_reward 0 done False steps 0 while not done and steps max_steps: with torch.no_grad(): state_tensor torch.FloatTensor(state).unsqueeze(0) mean, std model(state_tensor) if deterministic: action mean.numpy().flatten() # 測(cè)試時(shí)用確定性動(dòng)作 else: dist torch.distributions.Normal(mean, std) action dist.sample().numpy().flatten() next_state, reward, terminated, truncated, info env.step(action) done terminated or truncated episode_reward reward state next_state steps 1 # 假設(shè)環(huán)境在info中提供success標(biāo)志 if done and info.get(success, False): success_count 1 total_rewards.append(episode_reward) avg_reward np.mean(total_rewards) success_rate success_count / num_episodes * 100 print(f評(píng)估結(jié)果 ({num_episodes}回合):) print(f 平均回報(bào): {avg_reward:.2f}) print(f 成功率: {success_rate:.1f}%) return avg_reward, success_rate print(評(píng)估教師策略...) teacher_avg_reward, teacher_success evaluate_policy(env, teacher_model, num_episodes20) print(\n評(píng)估學(xué)生策略...) student_avg_reward, student_success evaluate_policy(env, student_model, num_episodes20)7.2 常見(jiàn)問(wèn)題與排查技巧在實(shí)際操作中你可能會(huì)遇到以下典型問(wèn)題問(wèn)題現(xiàn)象可能原因排查與解決思路學(xué)生策略性能毫無(wú)提升甚至下降1. 優(yōu)勢(shì)估計(jì)不準(zhǔn)FQE訓(xùn)練失敗。2. 數(shù)據(jù)過(guò)濾太激進(jìn)正樣本太少。3. KL約束太強(qiáng)學(xué)生無(wú)法偏離教師。1.檢查FQE繪制Q值預(yù)測(cè)與真實(shí)回報(bào)蒙特卡洛的散點(diǎn)圖看相關(guān)性。確保FQE訓(xùn)練充分損失收斂。2.調(diào)整過(guò)濾閾值嘗試保留優(yōu)勢(shì)值前70%的數(shù)據(jù)而不是僅大于0的數(shù)據(jù)?;蛘呤褂眉訖?quán)采樣。3.調(diào)整KL系數(shù)逐步減小kl_coef如從0.1到0.01給學(xué)生更多探索空間。訓(xùn)練不穩(wěn)定損失劇烈波動(dòng)1. 優(yōu)勢(shì)值方差過(guò)大。2. 梯度爆炸。3. 批量大小不合適。1.優(yōu)勢(shì)歸一化強(qiáng)制對(duì)每批數(shù)據(jù)的優(yōu)勢(shì)進(jìn)行歸一化。2.梯度裁剪已在上文代碼中加入檢查裁剪閾值max_norm。3.增大批量嘗試增大batch_size如256。學(xué)生策略很快收斂到單一模式失去多樣性1. 過(guò)濾后數(shù)據(jù)多樣性不足。2. 策略網(wǎng)絡(luò)表達(dá)能力不夠或探索不足。1.數(shù)據(jù)增強(qiáng)對(duì)過(guò)濾后的狀態(tài)進(jìn)行輕微擾動(dòng)如添加噪聲增加泛化性。2.探索鼓勵(lì)在損失函數(shù)中加入策略熵的獎(jiǎng)勵(lì)項(xiàng)-β * H(π_θ)鼓勵(lì)探索。離線評(píng)估的Q值普遍過(guò)于樂(lè)觀或悲觀1. 分布偏移問(wèn)題。FQE在教師數(shù)據(jù)分布上訓(xùn)練但學(xué)生策略可能訪問(wèn)到不同的狀態(tài)。1.保守Q學(xué)習(xí)在FQE目標(biāo)中引入懲罰項(xiàng)對(duì)OOD分布外動(dòng)作給予較低Q值。2.迭代更新采用迭代式OPD用學(xué)生策略收集新數(shù)據(jù)混合訓(xùn)練讓Q網(wǎng)絡(luò)適應(yīng)新分布。計(jì)算資源消耗大訓(xùn)練慢1. FQE需要訓(xùn)練額外的Q網(wǎng)絡(luò)。2. 計(jì)算優(yōu)勢(shì)時(shí)需多次采樣。1.簡(jiǎn)化網(wǎng)絡(luò)使用更小的Q網(wǎng)絡(luò)。2.減少采樣數(shù)計(jì)算V(s)時(shí)采樣數(shù)num_samples可減至5。3.批次計(jì)算對(duì)整批狀態(tài)一次性采樣多個(gè)動(dòng)作利用GPU并行計(jì)算。一個(gè)關(guān)鍵的實(shí)操心得OPD的成功非常依賴于離線評(píng)估的質(zhì)量。在正式訓(xùn)練學(xué)生策略前務(wù)必花時(shí)間驗(yàn)證你的FQE Q網(wǎng)絡(luò)是可靠的。一個(gè)簡(jiǎn)單的檢查方法是從經(jīng)驗(yàn)緩沖區(qū)中隨機(jī)選取一些完整的軌跡用訓(xùn)練好的Q網(wǎng)絡(luò)估算軌跡起點(diǎn)狀態(tài)的Q值并與該軌跡的實(shí)際折扣回報(bào)Monte Carlo Return進(jìn)行比較。如果兩者趨勢(shì)一致不一定完全相等說(shuō)明Q網(wǎng)絡(luò)學(xué)習(xí)到了合理的價(jià)值函數(shù)。如果相差甚遠(yuǎn)你需要回頭檢查FQE的訓(xùn)練過(guò)程學(xué)習(xí)率、網(wǎng)絡(luò)結(jié)構(gòu)、目標(biāo)網(wǎng)絡(luò)更新頻率等。8. 進(jìn)階思考與擴(kuò)展方向當(dāng)你跑通了基礎(chǔ)的OPD流程后可以思考以下幾個(gè)方向來(lái)進(jìn)一步提升性能或適應(yīng)更復(fù)雜的場(chǎng)景混合策略教師教師不一定是一個(gè)單一策略。你可以收集來(lái)自多個(gè)不同策略甚至包括一些隨機(jī)策略的數(shù)據(jù)混合成一個(gè)大的經(jīng)驗(yàn)池。OPD的優(yōu)勢(shì)計(jì)算機(jī)制會(huì)自動(dòng)從中挑出“好”的行為學(xué)生可以博采眾長(zhǎng)。結(jié)合在線微調(diào)OPD可以作為一個(gè)強(qiáng)大的預(yù)訓(xùn)練或初始化方法。先用OPD從歷史數(shù)據(jù)中學(xué)到一個(gè)不錯(cuò)的策略然后再放到真實(shí)環(huán)境中進(jìn)行在線強(qiáng)化學(xué)習(xí)如PPO微調(diào)這樣可以大大減少在線交互的樣本消耗并提升訓(xùn)練安全性。處理高維視覺(jué)輸入如果狀態(tài)是圖像上述流程中的Q網(wǎng)絡(luò)和策略網(wǎng)絡(luò)都需要引入CNN編碼器。需要確保圖像編碼器在離線評(píng)估和策略訓(xùn)練中共享或分別訓(xùn)練得當(dāng)避免表征不一致。應(yīng)用于多任務(wù)學(xué)習(xí)OPD的思想可以擴(kuò)展到多任務(wù)。收集不同任務(wù)上的教師數(shù)據(jù)為每個(gè)任務(wù)分別計(jì)算優(yōu)勢(shì)。學(xué)生策略網(wǎng)絡(luò)可以共享主干但通過(guò)任務(wù)標(biāo)識(shí)來(lái)區(qū)分學(xué)習(xí)在不同任務(wù)下選擇高優(yōu)勢(shì)的動(dòng)作。讓AI從“后悔”中學(xué)習(xí)本質(zhì)上是將人類反思和歸納的能力賦予了算法。OPD教師模型訓(xùn)練提供了一條切實(shí)可行的路徑讓我們能夠利用那些不完美、但富含信息的數(shù)據(jù)培育出更“聰明”的智能體。這個(gè)過(guò)程里最耗時(shí)的往往不是寫代碼而是調(diào)參、診斷和迭代。耐心地分析優(yōu)勢(shì)值的分布、檢查Q網(wǎng)絡(luò)的預(yù)測(cè)質(zhì)量、觀察學(xué)生策略的行為變化這些細(xì)致的工作才是最終成功的關(guān)鍵。我自己的體會(huì)是當(dāng)看到學(xué)生策略第一次做出一個(gè)教師從未展示過(guò)的、更優(yōu)雅的解決方案時(shí)那種感覺(jué)就像看到學(xué)生真正理解了問(wèn)題的本質(zhì)而不是機(jī)械地模仿這大概就是強(qiáng)化學(xué)習(xí)讓人著迷的地方吧。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99国产精品久久久久久久久久久| 狠狠狠色激情综合适合| 香蕉久久av一区二区三区| 丁香五月天堂婷婷| 激情欧美婷五月| 国产无套精品一区二区| 色五月天激情| 亚洲操操操| 五月天亚洲图片婷婷| 99干日本| 久热中文字幕| 婷婷大香蕉| 激情婷婷丁香五月天| 思思热在线| 99伊人性爱在线影院| 永久精品| 欧美人久久| 啪啪 综合网| 五月天丁香欧美激情| 99热这| 国产毛片精品一区二区色欲黄A片| 五月丁香六月婷婷啪啪综合| 中文字幕按摩做爰| 亚洲五月丁| 亚洲精品国产A久久久久久| 五月天婷婷色播| 天天综合精品| 婷婷色五月天综合网| 亚洲午夜在线视频| 丁香婷婷五月| 欧美在线97| 四色五月婷婷| 天天干夜夜b| 五月天婷婷婷| 色婷婷九月| 丁香婷婷婷婷十二月在线观看视频| 婷婷五月天在线观看第二页| 五月天婷婷社区久久综合| 久久久噜噜噜久久人妻| 粉嫩av蜜桃av蜜臀av| 99精品网| 日韩三及成人AV片| 超碰99热精品| 激情五月激情综合俺也去婷婷小说| 久99| 五月丁香激情六月| 中文字幕五月久久婷| 婷婷午夜精品久久久| 日本欧美国产| 一本道在线电影| AV 3P| 亚洲黄色操逼| 91成人电影| 色噜噜狠狠色综合AV兰草影视| 天天插天天插| 人人爽欧美婷婷久久久五月丁香| 丁香五月婷婷亚洲综合精品| 日本片日本片祼观看网站在线看中文版网页在线看 | 26uuu精品一区二区| 色五月天丁香婷婷| 粉嫩AV久久一区二区三区| 狠狠色婷婷777| 久久9热| 免费观看的av| 五月天激情亚洲| 五月天久久综合| 性做久久久久久久免费看| 国产欧美日韩一区二区三区| 久久婷婷丁香| 亚洲欧洲另类图片| 久久在这里99| 思思热99在线视频| 天天综合情| 婷婷色五月91啪啪| 久久性爱视频| 日韩无码人妻一区二区三区综合| 色五月婷婷91| 婷婷97色| 婷婷五月丁香综合| 久久久五月四色| 天天操天天日天天爱| 超碰色碰碰| 黄网在线免费观看| 夜夜综合色| 久久久激情视频| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 色五月琪琪| 中文字幕日本最新乱码视频| 69色婷婷| 五月丁香在线婷婷蜜桃| 天天综合五月| 日日夜夜九九| 99综合| 狠狠做深爱婷婷久久综合一区| 五月天社区| 1024AV视频| 五月综合色| 五月丁香成人日| 青青草Avb在线| 少妇水多A片太爽了| 五月丁香花视频| 亚洲久热无码| 五月天播播综合| 色~性~乱~伦~噜| 999热在线观看视频| 99热只有| 黄网在线播放| 在线成人视频免费| 激情内射p| 日本噜噜色网| 那里有AV网址| 玖玖综合色| 国产亚洲99久久精品熟女| 99这里有精品| 大香蕉啪啪网| 婷婷久久免费看| 99ri精品视频在线观看| 久久九九玖玖| 综合九九久久| 久久天堂女人| 一级视频网址| 久久久宗合视频88| 性生生活大片又黄又| 激情婷婷六月天| 五月婷婷丁香| 色域五月婷婷丁香| 五月天激情综合| 五月丁香淫淫婷婷婷| 五月丁香六月婷婷中文版| 天天色图| 大香蕉狼人久久| 99热伊人综合| 久婷婷久草| 玖玖色综合色| 丰满少妇猛烈A片免费看观看| 欧美精品99久久久| 日韩一级片| 伊人激情啪啪| 久久久ww| 色情五月综合婷婷| 超碰99热| 97 A I色色| 99在线小视频| 91操人视频| 亚洲五月婷| 天天日天天爽| 一点色成人网| 男同91| 五月综合色| www婷婷| 99热66| 色999亚洲人成色| 九色视频91| 精品一二三区久久AAA片| site:pnnrt.com| 色99在线视频| 精品五月天| 日本va欧美va欧美va| 亭亭五月色男人| 无月播播激情在线观看视频| 婷婷五月成人系列| 五月天激情婷婷| 五月激情综合网| 日韩中文欧美| 久久九九综合| 99在线精品免费视频| 国产免费性爱| 亚洲色图啪啪| 五月丁香激| 日本三级中国三级99| 精品视频这里只有精品| 天天粽合合合合| 色五月亚洲开心网| 丁香五月婷婷大香蕉| 播五月开心婷婷欧美综合| 精品久久久999| 99综合久久| 99久久九九| 国产AV一区二区三区日韩| 亚洲人操亚洲人| 超级碰碰碰久久网站| 91视频久久久| 91精品久久久久久久| www.xtbsty.cn.com蜜乳AV| 丁香婷婷精品视频| 六月婷婷狠狠| 久久久这里有精品| 五月丁香六月色| 日韩成人中文| 99热天堂| 这里只有精9| 亚洲丁香五月| 激情爱爱网站| 国产毛片欧美毛片久久久| 182无码| 久久99网址| 天天综合色丁香| 毛片新网地| 99这里有精品视频视频| 桔色成人在线| 六月色婷婷| 国产首页在线| 国产亚洲色婷婷久久99精品91| 日韩一66精品| 99热在线播放| 99操碰| 色色色丁香| 九九色图| 直接看的AV网站| 国内外色色色色色成人视频| 亚洲色区17| 噜噜噜噜噜在线| 玖玖资源站中文| 久久大香蕉| 无码字幕中文| 激情五月婷婷丁香六月| 亚洲婷婷欧美婷婷| 国产又色又爽又黄又免费| www.久久婷婷| 五月五丁香婷婷| www.激情| 日日操天堂| 99热99精品| 丁香激惜男女| 欧美日韩成人高清在线| 久久密臀婷婷| av在线超清中文| 婷婷六月天激情| 99这里只有精品| www.9797国产| 婷婷涩五月天综合| 婷婷色婷婷| 激情爱爱网站超大免费| 凹凸操Av| 99精品免费| 综合色网站| 台湾佬天天日丁香婷婷五月天| 超碰在线人人| 殴美日韩成人| 婷婷激情五月综合| 北条麻妃九九九国产精品视频| 日韩九区| 思思99热| 黄色91在线观看| 五月丁香啪啪啪啪| 天天天干夜夜夜操| 久久总和99| 五月婷亚洲精品| 亚洲日本韩国| 天天摸,天天爽| 欧美日韩99| 婷婷丁香黄色| 亚洲九九在线| 亚洲亚洲人成综合网络| 青草网在线观看| www.91在线观看| 久久码久久无清| 五月天自拍视频| 亚洲欧美成人在线| 97人人干人人操| 久草大| 亚洲区在线| 五月婷丁香在线视频在线| 成人片在线播放| 激情丁香九九五月综合网| 五月婷婷之综合激情| www.婷婷com| 九九热在视频| 久久久久久久人妻| 激情综合五月丁香| 丁香婷婷色色| 久久9热| 日日干日日| 久久婷婷色综合老司机| 丁香五月激情婷婷婷婷在线观看| www.一区二区三区| 性日本精品| 婷婷丁香红五月91C| 综合色色婷婷| 黑人巨粗进入警花疼哭A片| www.夜夜操.con| 成人在线视频网| Av九九| 射区导航| 碰碰人人漕| 第五色色色婷婷| 久久婷婷五| 中文乱子伦视频| 色综合久久8| 国产精品五月天婷婷| 99操不停| 色色亚洲| 色欲av伊人久久大香线蕉影院| 丁香六月激情| 欧美日韩99| 激情六月婷婷| 亚洲久久视频| 激情婷婷丁香五月| 丁香五月天成人| 99情色五月天| 欧洲色色| 五月婷婷五月天| 亚洲第一黄网| 五月停停直播| 天天爽夜爽| 色五月婷婷在线视频| 成人做爰A片免费看网站找不到了 国产露脸150部国语对白 | 六月丁香婷婷色69| 99re免费视频| 91爱啪啪| 日韩无码人妻一区二区三区综合 | 久久 中文 日本| 爽天天天天天天天| www.99婷婷| 婷婷五月天综合网| 色狠狠色狠狠| 人人操人人干AV| 色欲一区二区三区精品A片| 色婷久| 操逼视频一区| 丁香婷五月| 国产亚洲成人综合| 婷色五月| 亭亭社区五月天| 成人啪啪色婷婷久| 五月丁香婷婷基地| 色五月天视频| 99视频九九热| 202丰满熟女妇大| 国产精品色婷婷AV综合色色| www.91.com黄| 国产午夜成人免费看片无遮挡| 天天日日综合| 五月丁香久人妻中文| 欧美成人AAA片一区国产精品| www激情五月天| 成人网址在线观看| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 五月Huangsewang| 荷兰av一级| 成人做爰A片免费看网站找不到了| 丰满少妇猛烈A片免费看观看| 日本五月天婷婷丁香| 色99网| 激情内射人妻1区2区3区| 天天婷婷| 深爱激情四射| 99久久婷婷五月综合| 国产精品人人做人人爽人人添| 五月婷婷之婷婷| caopeng超碰| 超碰在线资源| 欧美日韩91| 久久99热久久99精品| 五月婷婷六月丁香| 任你干线上免费视频有3吗| 色色A| 精品久久99码| 狠狠 婷婷| 激情图片婷婷丁香五月| 五月丁香花成人社区| 九九热自拍| 97深爱伊人综合| 97色片| www。五月,com| 色五月天在线观看| 殴美日韩成人| 亚洲另类婷婷五月综合| 婷婷欧美偷拍综合| 丁香五月婷婷Av| 超碰成人黄色网| 亚洲这里只有精品| 日韩99视频| 五月丁香六月综合激情网| 久久亚洲婷婷综合色五月| www.久久久久久久久久.com| 色婷婷成人做爰A片免费看网站 | av五月丁香婷婷网| 国产偷人爽久久久久久老妇APP| 99热资源在线| 婷婷五月天香蕉| a69在线视频| 无码人妻电影| 97偷拍在线视频| 色哟哟精品| 黄色一极大片| 成人无码精品1区2区3区免费看 | 丁香桃色网| 五月丁香六月婷婷综合网| 亚洲综合字幕色色| 久综合色| 人妻激情视频| 青青艹b| 午夜微拍福利| 激情九月婷婷九月| 中文字幕无码人妻少妇免费视频| 能看的av网站| 婷婷五月激情综合| 婷婷五月av| 五月天另类小说久久小说网| 激情婷婷五月黑人| 国产日韩欧美性生活| 99久久综合网| 丁香五月综合激情性爱| www.99精品视频| 99久久五月婷婷| 亚洲六月综合激情久久下卡| 伊人久久丁香五月91| 少妇大叫太大太粗太爽了A片 | 操B无码视频国语| 亚洲A片成人无码久久精品青桔 | 精品久热| 色噜噜婷婷| 久9精品视频| 人人草人人爱| 婷婷五月天电影网| 婷婷五月丁香五月| 婷婷综合一二三| 婷婷五月天伊人网| 亚洲国产色色| 色五月婷婷色五月婷婷色五月婷婷| 丁香美女主播视频在线观看| 色综合色综合网| 五月婷婷六月基地| 26uuu欧美宗合| 婷婷六月五月| 人妻久久久久久久 | 爆乳熟妇一区二区三区爆乳照片| 丁香五月欧美激情| 青青草激情网| 日本天天操| 久久婷色| 婷婷五月天成人网| 久久久国产精品黄毛片| 丁香五月天堂婷婷| 色噜婷婷| 久久天堂女人| 一级二级色大片| 五月婷婷基地| 亚州精品色情在线观看| 手机AVAV天堂看网| 日韩色情亚洲五月天婷婷| 色综合五月婷婷狠狠干| 丁香五月激情综合在线观看| 五月丁香狠狠爱婷婷综合| 五月丁香花激情综合网| 丁香五月综合激情性爱| 99热九九热| 欧美成人精品A片免费一区99| 被强行糟蹋的女人A片| 激情久久伊人| 久久婷婷电影| 色丁香婷婷| 午夜大香蕉| 五月综合视频在线| 这里只有精品在线免费视频| 人人草人人看| 天天做夜夜爽| 新激情婷婷| 99九九中文字幕视频| www.91色| 日日色五月天| 国产精品A片| 女人被男人吃奶到高潮| 婷婷亚洲天堂| 夜夜爽77777妓女免费下载| 9久热在线精品| 久婷自拍视频| 99热情这里只有精品在线播放| 亚洲男人的天堂婷婷色五月| 婷婷丁香五月网| 99免费在线| 亚洲成AV人片在线观看| 9久久精品视频| 丁香六月婷婷五月天| www夜夜操comwww| 五月丁香香蕉| 久久婷婷青青| 婷婷丁香激情综合色情| 97丁香五月天| 色99色| 丁香五月婷婷色| 丁香婷婷九月在线| 婷婷的99视频网站| www.思思99热| 五月天婷婷免费视频| 超碰99在线观看| 精品热九九| 丁香 久久| 成人欧美一区二区三区在线观看| 天天日夜夜拍| 丰满少妇猛烈A片免费看观看| 99热最新地址在线| 色婷婷视频| 五月丁香婷婷网在线在线| 91午夜婷婷狠狠久久综合9色| 99操| 丁香色五月天| 五月婷婷基地| 综合精品99| 丁香五月天在线观看视频| 久久99性爱| 日本猛少妇色XXXXX猛叫| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 伊人久久五月天综合| 久热99| 婷婷伊人视婷婷婷| 日日噜狠狠色综合久久| 120分钟婬片免费看| 久久嘟嘟丁香| 欧美婷婷五月激情| 九九人人精品| 亚洲精品V天堂中文字幕| 日韩超碰在线| 日日日天天干| 日本三级日本三级99| 五月丁香色婷基地综合久久| 婷婷激情五月综合基地| 久/久精品99看9| 激情综合在线播放| 婷婷丁香五另类网站| 9999久久久久| 影音先锋男人资源站一区二区| 亚洲九九九九| 99热成人| 啪啪综合网| 九九这里有精品| 91蝌蚪窝视频在线| 国产综合激情五月久久| 婷婷在线精品| 精品久热| 久久久五月五丁香| 96色婷婷| 夜夜爽天操| 婷婷五月天小说| www.ywav| 五月天婷婷久久日| 99热超碰| 国产精品99久久久久久猫咪| 天天射影院| 色综啪啪啪啪啪啪| 九九视频这里只有精品| www网站在线观看| 五月婷六月天| 久久人妻熟女一区二区| 中文久久婷婷| 丁香五月天激情视频| 97碰碰久久| 伊人狠狠操| 精品一二三区久久AAA片| 婷婷六月丁香开心深深爱| 亚洲网站999| 人妻激情视频| 九九大香视频| 日本专区久久| 婷婷五月天视频亚洲| www狠狠爱com| 丁香色婷婷五月天| 免费AV在线网址| 五月天偷拍| 久久99久久久| 天天爽天天爽| 欧美日韩99| 狠狠色成人影片| 欧洲亚洲最新精品| 99婷婷精品推荐在线视频| 天天天天做夜夜夜夜做| 婷婷五月天丁香综合网| www夜夜操wwwcon| 九九九AAA热视频| 噜噜噜噜综合在线| 九九99热久久精品66中文字幕| 99热免费精品| 久久丝丝热| 开心激情婷婷| 影音先锋人妻出差| 日噜噜色| 色5月丁香婷婷| 97视频.干com| 五月天婷婷在线视频| 五月天婷婷色播| 久久激情四射| 开心婷婷中文字幕| 少妇高潮一区二区三区99欧美| 97人人草| SESE无码AV| www.99精品视频| 久久九九热视频| 色欲日日躁| 亚洲成人中文字幕| 丁香五月电影| 能看的av片| 一级韩国产精品毛| 99热老司机| 九九家庭影院| 九九久99免费视频| 五月婷婷影| 99色一| 月色色综合婷婷网| 综合久久狠狠| 99re热视频这里只精品| 99精品在线播放| 色婷婷很很丝袜| 碰碰女| 囯产精品一品二区三区| 日本美女上人| 欧美叉叉叉BBB网站| 色播五月婷婷| 久久99最新| 伊人超碰在线| 4399成人黄A片| 天天综合影院| 久久精彩综合视频| 婷婷狠狠操| 婷婷五月天激情五月天深爱五月天| 丁香大香蕉| 激情综合网激情五月丁香五月俺也去| 久久看婷婷| 99精品7| www久| 九九精品re免费视频| 性一交一乱一交A片久久四色| 五月激情六月综合| 激情五月综亚网| 另类激情五月| 亲子乱AV-区二区三区| 99色综合| 色五月婷婷操逼| 日本欧美国产| 玖玖伦理电影| www.色综合.com| 99热每日| 欧美色五月| 91超级碰在线视频| 99色色色色| 婷婷五月AA五月在线| 丁香五月日韩| 色色97丁香婷婷五月天| 99精品免费| 久久婷婷五月丁香网| 色久五月天| 日韩六十路91性交电影| 婷婷丁香色五月亚洲| 色婷婷情片| 97成人丁香| 国产欧美熟妇另类久久久| 操人91| 国产这里只有精品| 五月天色裸体视频| 中文字幕丁香五月| 九九久久五月天综合伊人| 亚洲小视频免费看| 99色在线| 夜夜爱爱亚洲| 91丨九色丨国产打屁股| 思思热在线播放| 91九九| 国产午夜精品一区二区三区嫩草| 综合99综合久久久久久久| 五月婷婷成人w| 成人视频在线免费播放| 五月Huangsewang| 婷婷色五月激情| 99爱在线视频观看| 婷婷五月天播| 久久大香蕉同僚| 色五月婷婷777| 婷婷五月激情综合| 久狠狠| 婷婷综合成人五月天| 99九九在线| 中文在线视频久9| 538在线精品| 99色热| 五月丁香色婷婷久久| 婷婷激情综合网| 久久99综合| 9月色婷婷| 97碰人人操| 婷婷色色丁香五月天| 久久久九九九 99| 国产欧美精品AAAAAA片| 夜夜爽天天爽| 97资源碰碰| 五月天综合在线观看| 婷婷五月色亚洲| 深夜婷婷五月丁香| 色婷婷99| 精品亚洲国产成AV人片传媒| 丁香六月综合| 老师高潮流白浆喷水的A片| 五月天伊人| 五月婷婷丁香五月 | 六月丁香啪啪啪| 久久久噜噜噜久久人妻| 六月激情网| 亚洲天堂有码| 香蕉影院色| 中文字幕丰满孑伦无码专区| 大香蕉综合网| 噜噜吧天天爱| 五月丁香六月婷婷视频| www.俺去也com| 婷婷五月天另类网站| 91艹人| 色综久久AV| 激情图片亚洲| 久久丝丝热| 青青草色在线视频观看| 怡红院成人AV| 色久一| 六月丁香婷婷大香蕉| www.91热久久| 久久久国产精品黄毛片| 五月天色五月| 久久久com| 五月婷婷啪| 国产超碰在线| 亚洲第一第二网站| 久热91| 六月丁香婷| 狠狠搞狠狠操| 婷婷五月成人| 色播五月天激情| 夜夜爱网站| 99国产精品白浆在线观看免费 | 五月停停色色丁香| 欧洲一区二区| 天天AV导航网| 这里只有精品视频看看| 久久婷婷丁香五月一二三| 五月婷婷久久激情| 五月激情视频网| 色婷婷丁香五月色综合网| 久久色五月天综合网| 激情五月影院| 99色热视频| 99色亚洲| 久久九色| 免费观看欧美成人AA片爱我多深| 中文字幕精品无码一区二区| 色亭亭丁香五月天| 伊人玖玖精品| 久久久久久久综合狠狠综合| 丁香色啪综合| 色狠狠色综合| 天堂久久婷婷| 久久久久人妻精品| 99热在线观看| 综合 蜜月 婷婷| 久久丁香五月| 5月色婷婷| 天天操夜夜夜拍拍拍| www.五月天社区| 人。妻久久| 日韩成人综合网| 婷婷亚洲综合| 9 1大香蕉| 日本人妻伦在线中文字幕 | 婷婷久久亚洲| 亚洲色婷婷五月天| 亚洲av| 91婷婷在线观看| 激情五月第四色| 天天爱夜夜爽| 五月婷婷大香蕉| 99精品国产在热久久| 婷婷色偷拍| 九九热自拍| 密乳视频| 99热精品在线在线| 亚洲乱码日产精品BD| 亚洲色图在线视频| 96人人操人人操人人| 婷婷五月花丁香| 人人爽天天爽| 人人操超碰| 久久色情| 久热这里精品免费| 国产精品色| 99热这里是精品| 九九www| VA日本视频| 五月婷婷激情综合视频| 综合色色婷婷| 51精品国内探花| 久久激情网| 2w在线视频| 中文字幕av久久爽一区| 婷婷六月丁| 日日撸夜夜操| 亚洲成人日韩无码精品| 久久大香蕉同僚| 停停色综合伊人| 久久99久久99精品免观看粉嫩| 性生生活大片又黄又| 午夜九九九九九九九九九九九九九| 欧美亚洲操逼| site:pnnrt.com| 91丨九色丨老农村| 五月亭亭激情综合| 婷婷五月色天| 成年视频免费观看| 久久久久久丁香五月| 婷婷97碰碰| 五月色亭丁香| 久久在这里有精品| EEUSS鲁片一区二区三区| 河北真实伦对白精彩脏话| 精品牛仔裤超碰| 可以直接看的AV网站| 亚洲中文字幕av| 久久九九中文字幕| 99色性爰网络| 91|疯狂丨高潮丨对白| 五月婷中文字幕| 色婷婷五月天天天干天天操天天爽 | 5月丁香婷婷激情网| 伊人综合网站| 波多野结衣AV无码Porn| 99精品在线下载| 国产精产国品一二三在观看| 九九久久综合| 五月天婷婷綜合院| www99精品亚| 99热在线播放| 久草热在线视频| 免费观看日韩成人av| 色婷婷五月婷婷五月婷婷五月| 99精品在这里| 婷婷丁香亚洲色综合91| 99性爱视频| 思思干精品| 亚洲一区先锋影音| 激情五月天影院| 久久香蕉丁香| 天天爽天天日| 久久桃花网色婷婷| www.25五月婷婷| 色五月婷婷老师| 五月天另类小说久久小说网| 狠狠色婷婷7| 国产成人av在线| 另类 在线| 久久人妻久久| 三级av在线| 综合激情五月综合激情五月激情1| 婷婷欧美综合| www91久久| 久久黄色片| 在线观看日韩12345区| 日夜操B| 97人人操| 久久伦乱| 殴美日韩成人| 日本97久久久精品| 99热精品中文字幕| 国产色色小草视频| 五月天涩涩| 草榴视频黄色网| 激情婷婷六月| 亚洲激情四谢| 婷婷亚洲在线| 婷婷天堂综合网| 色欲五月婷婷| 日本nghangse中文字幕| 色五月影视| 色婷婷小视频| 狠狠操性爱av| 大陆极品少妇内射AAAAAA| 成人视频九九| 青草青草视频2免费观看| 婷婷五月天综合蜜桃| 69超碰在线| 综合五月激情| 丁香五月性爱爱五月| 五月丁香婷婷视频| 色色色地址| 亭亭色色五月天| 婷婷欧美激情综合| 精品一二三区久久AAA片| 婷婷五月深爱五月| 9热在线视频精品| 婷婷五月情| 五月丁香激情片| 精品人妻在线免费观看| 五月丁香激情婷婷| 久热亚洲| 亚洲综合成人网| 五月天激情在线视频| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 综合激情深爱| 高清国产AV| 日本丁香五月| 色婷婷狠狠色| 99热精品网| 久久丁香| 激情网第四色| 五月婷婷丁香综合,亚洲天堂| 激情丁香五月天| www.henhenl| 99在线精品观看99| 色小说婷婷五月天天天| 9色天堂| 日本久久婷婷| 99小精品| 九九性爱网| 五月天色色网站| 色综合xx| 婷婷久久欧美| 婷婷在线免费| 五月的丁香六月的婷婷| 婷婷丁香综合| 婷婷伊人| 九九亚洲视频| 婷婷久久伊人| 国产精品美女久久久久AV超清| 99色性爰网络| 丁香色情五月综合激情| 一级性感毛片| 五月丁香综合激情| 五月综合激情视频在线| 开心久久xxx色| 五月丁香婷婷狠狠操| 九九久久综合| 色六月视频| WWW.久久久久久久| 96精品成人无码A片观看金桔| 婷婷五月色情| 狠狠999| www婷婷| 国产特黄色精品一区二区三区精品无广告 | 伍月婷丁香花全集| 天天看A片| www久视频com| 九九在线精品| 色五月丁香一区在线| 婷婷五月丁香花综合| 亚洲亚洲人成综合网络| 日本婷久久| 天天舔天天操| 欧美性丁香色色五月天综合爱爱| 婷婷五月天亚洲综合| 无码视频国内精品久久久| 日本片日本片祼观看网站在线看中文版网页在线看 | 激情黄色小说色五月| 亚洲美女裸体被操在线观看| 久久婷五月天| 婷婷成人五月天成人文学| 五月丁香六月婷婷中文版| 玖玖综合色| 99碰碰碰| 国产精产国品一二三在观看| 99人妻碰碰碰久久久久禁片| 五月丁花六月丁香综合| 69午夜成人影片| 99亚洲精品视频| 国产黄大片在线观看画质优化| 五月综合视频| 九九热手机在线视频| 久色大香蕉| 99视频这里有精品| 日韩亚洲视频| Www.激情| 婷婷黄色五月天在线视频| 天天色综合天天| www.婷婷,com| 五月色婷丁香| 成 人片 黄 色 大 片| 五月婷婷久久综合| 丁香五月六月婷婷综合| 激情五月婷婷色| 女婷久久| 久久丁香婷婷五月| 久草热8精品视频在线观看| 99视频久久| 啊v视频在线观看| 超碰色综合| 丁香婷婷成人网| 亚洲色综久久五月| 色狠狠综合| 日本精品99网站| av久热| 久久香蕉丁香| 97日在线视频| 日本视频欧美观看免费| 9 7总站超级碰免费视频| 男男野外做爰全过程69| www99热| 中文字幕,综合,91| 婷婷在线视频| 日日干日日| 狠狠五月激情婷婷直播片| 爱婷婷久久视频| 五月激情婷婷色| 激情开心五月婷婷| 久久AAAA片一区二区| 99精品热| 性爱动图国产麻豆一区二区三区| 婷婷激情九月| 三级三久久线久久99久目本WW| 偷偷与邻居做爰完整视频| 狠狠操狠狠| 99ER热精品视频| 一级AV片| 激情玖玖综合网| 禁片二区| 黄色激情网站在线观看| 日本性视频| 色色色色色日韩午夜激情| 視频福利乱色| 99亚洲精品视频| 婷婷无码视频| 五月天婷婷黄色视频| aaaaaa片| 干亚洲天堂| 六月婷婷狠狠色在线观看| 色综合色欲综合天天免费 | 99久久99九九99九九九| 色久婷婷五月| 日日干夜夜撸夜夜骑| 婷婷激情啪啪| 俺也去在线视频| 五月天婷婷免费视频| 综合网色| 九九av| 天天色2017| 狠狠色婷婷综合开心影视| www99xxxx五月丁| 五月丁香另类图片| 精品无码av丁香五月激情| 丁香色六月婷婷| www.色窝| 少妇激情五月天| 女人天堂AV| 丁香婷婷九月在线| 婷婷激情四射五月天| 丁香色五月 97干| 色婷婷五月基地在线| 79色色色色| 91久久| 国产精产国品一二三在观看| 99啪视频在线观看| 91九色精品熟女内射| 69五月天视频| 久久 视频这里只有精总| 色99在线| AA丁香综合激情| 抽插特写| 在线你懂的亚洲欧| 夜夜骑日日夜夜| 天天干天天干天天操| 任你日视频| 成人亚洲精品久久久久| 性爱五月婷| 五月丁香久人妻中文| 开心综合激情综合| 久99视频在线观看| 免费看欧美成人A片无码| 红桃91人妻爽人妻爽| 97人人干| 丁香五月婷婷色偷偷| 99热精品在线| 99精品网址| 热的国产99热| 亚洲成人黄色网| 亚洲激情五月丁香久久久久| 亚洲激情综合免费| 大香蕉手机视频| 久99精品视频| 国产夫妻操逼内射视频| 五月天激情小说网| 久热免费| 婷婷五月丁香综合桃花色网| 天天日天天做天天舔| 视频色色色色色色| 99这里只有精品| 五月婷婷亚洲色图| 亚洲 激情 中文| 婷婷六月天| 久久婷婷七月丁香| 91九色精品| 五月婷婷精品视频| 天堂在线9| 天天射天天插天天干| 丁香五月婷婷激情尤物| 激情婷婷六月| 综合色播| 99热 在线播放| 五月婷久久| 狠狠色综合网| 久久久天堂国产精品女人| 久热AA| 操人妻视频91| 激情五月天视频| 超碰伊人碰婷婷五月| 五月天免费色| 91超级碰在线视频| 97碰 在线视频观看| 久er免费视频| 五月天桃色深爱网| 色综久久久| 久久人妻久久久久| 99精品视频偷拍| 国产色香蕉精品五夜婷| 天天爱天天做天天爽| 五月亭亭开心网| 久久综合五月天| 俺去也综合| 婷婷黄色网| 丁香六月天色婷婷| 五月天成人免费视频| 庭庭久久内射| www.五月丁香| 久久精99| www.26uuu.com亚洲电影| 中文字幕欧美日韩VA免费视频| 9热精品| 色五月成人| 色月丁| 天天色,天天日,天天做| 韩国三级五月天婷婷。| 99热综合网| 五月天三级久久| 亚洲另类噜噜| 大香焦A∨| 欧美另类五月激情| 极品人妻VIDEOSSS人妻| 同性gv国产精品一区二区| 青青草原亚洲天堂| 超碰色色综合| 九九色色网| 九九色综合网| 99综合| 色五月大香蕉婷婷| 激情综合激情综合| 婷婷色基地在线看 | 99网| 丁香六月 人妻| 国产全是老熟女太爽了| 国产欧美婷婷五月| 亚洲亚洲人成综合网络| 五月天激情图片网| 亚洲综合狠狠艹| 开心色色五月天综合| 五月婷婷色丁香| 99噜噜噜在线播放| 人人色AV| 99精品成人无码A片观看金桔| xxxx五月| 色色色999| 婷婷亚洲激情在线观看视频| 色情五月综合婷婷| 五月天另类图片区99| 99热这里都是精品| 99热青青草| www.五月丁香| jiujiu无码五区| 大地9中文在线观看免费高清| 六月色五月天天婷婷| 亚洲精品V天堂中文字幕| 手机激情网| 人人操婷婷| 这里只有精品免费视频| 国产亚洲99久久| 国产.亚洲.欧洲视频在线| 五月激情综合网| 婷婷社区五月天| 97色五月天| 六月丁香婷婷爱| 永久免费一区二区三区| 97碰碰人人| 双性美人被调教到喷水A片| 五月色精品| 色婷婷香蕉丁丁网| 激情久久久久久久久| 激情综合无码| 丁香五月成人| 天天成人综合视频| 久久ri精品视频| 婷婷六月色开 | 97在线天堂| 五月丁香综合网| 玖玖在线视| 大地9中文在线观看免费高清| 久久性爱网站| 无码动漫AV| 色99网| www.五月天性.com| 亚洲热久| 亚洲色婷婷五月天| 99爱视频免费看| 中文av在线观看| 99热大香蕉| 九九这里精品| 嫩草视频观看| 婷婷五月天av| 狠狠操狠狠干综合| 日本在线视频播放91| 99在线精品观看99| 激情五月天在线视频| 丁香六月久久| 99热国品| 色XX综合网| 五月婷婷综合激情| 337久久| 在线99热| 激情婷婷网| 20253AV| 五月天激情小说| 天天色伊人| 亚洲蜜乳AV| 99久热| 色色色色色色色色色色色色色97| 久久aaa| 婷婷综合在线播放| 中国丰满熟女A片免费观| 久久狠狠干| 在线视频另类| a级毛片一区二区免费视频| 五月丁香亭亭操逼| 操逼123网| 五月久熟女| 丁香五月婷婷激情97| 91九色熟女| 天天爽夜夜爽天天爽夜夜爽| 黄网免费观看| ZpRSw| 操91| 五月婷婷AV| 六月天丁婷婷| 久久久久亚洲AV成人无码电影| 99热在线观看| 99精品在线播放| 亚州色色色| 99视频在线观看视频| 久久99综合| 成人无码中文| 99色在线视频| 五月天婷婷视频小说| 亚洲小说欧美激情| 婷婷她六月天| 香蕉婷婷色五月| 9精品国产在热久久| 欧美日韩欧美| 天天色色天天| 日本九九视频| 丁香五月婷中字幕| 色婷婷影院| 中文字幕日韩成人| 亚洲成人无码片| 9视频在线成人网站| 99精品在线播放| 久久精品4| 色五月涩涩婷婷| 玖玖资源天天无码| 色99亚洲| 六月丁香综合| 久久图色4| 肏日网在线看| 国精产品一区一区三区免费视频 | 色噜噜婷婷| 激情宗合网激情五月天| 亚洲激情四射| 五月婷婷综合久久| 激情中文在线|