欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

強(qiáng)化學(xué)習(xí)中的HER:用事后經(jīng)驗(yàn)回放破解稀疏獎勵難題

強(qiáng)化學(xué)習(xí)中的HER:用事后經(jīng)驗(yàn)回放破解稀疏獎勵難題 先聊一個很微妙的心理現(xiàn)象事情明明搞砸了過一會兒回過頭看你總覺得“我早就知道會這樣”。心理學(xué)管這叫hindsight bias后見之明偏差放在日常里就是事后諸葛亮。但在我接觸過的強(qiáng)化學(xué)習(xí)項(xiàng)目里有一種做法把“事后之明”變成了實(shí)打?qū)嵉膶W(xué)習(xí)信號那就是Hindsight Experience Replay中文常譯作“事后經(jīng)驗(yàn)回放”縮寫HER。我第一次看OpenAI的機(jī)械臂抓取demo時被這個思路驚艷到——原來讓智能體從失敗里學(xué)到東西不需要給它更精細(xì)的獎勵函數(shù)只需要在經(jīng)驗(yàn)回放時偷偷換一個“事后目標(biāo)”。這篇文章我把HER從原理到實(shí)現(xiàn)、再到調(diào)參踩坑從頭到尾講一遍。適合正在跟稀疏獎勵較勁、跑過DQN或DDPG但效果不理想、或者想搞目標(biāo)導(dǎo)向機(jī)器人策略的朋友。不需要太深的數(shù)學(xué)基礎(chǔ)但最好知道強(qiáng)化學(xué)習(xí)里的狀態(tài)、動作、獎勵和Q函數(shù)是怎么回事。1. 為什么需要Hindsight稀疏獎勵下的學(xué)習(xí)困境1.1 稀疏獎勵到底“難”在哪先從一個幾乎所有RL項(xiàng)目都會撞上的問題說起稀疏獎勵。拿機(jī)械臂推方塊到指定位置來說如果機(jī)械臂末端和目標(biāo)的距離小于一個閾值比如0.05米就獎勵0距離超了就獎勵-1。這樣的話一個episode里絕大多數(shù)動作得到的獎勵都是-1。也就是說智能體在絕大部分時間里根本不知道自己在靠近目標(biāo)因?yàn)樵讵剟顢?shù)值上“沒差”。這叫沒有梯度信號不是沒獎勵是獎勵就像一面白墻你撞上去不會被彈開也不會被引導(dǎo)。我見過不少人在這種環(huán)境里直接上PPO或DDPG結(jié)果訓(xùn)練幾千個episode成功率仍然是0。原因不復(fù)雜隨機(jī)探索時機(jī)械臂恰好碰到目標(biāo)的概率極低而且即使偶爾碰上了到目標(biāo)的距離誤差也可能大得離譜或者由于隨機(jī)目標(biāo)千變?nèi)f化同一個經(jīng)驗(yàn)在下一次采樣里又變成無效樣本。說白了智能體連“成功長什么樣”都沒見過自然學(xué)不到通向成功的動作序列。很多人第一反應(yīng)是設(shè)計(jì)reward shaping比如讓獎勵與“到目標(biāo)的距離”連續(xù)相關(guān)。這樣做確實(shí)能讓訓(xùn)練提速但代價也明顯手工設(shè)計(jì)的獎勵會注入人類偏見有可能誘導(dǎo)策略走捷徑、鉆漏洞。而且換一個環(huán)境距離函數(shù)又要重新設(shè)計(jì)維護(hù)成本很高。我希望找到一個更通用的辦法讓算法自己從“看似失敗”的經(jīng)驗(yàn)里挖掘價值。HER就是為了這個目的出現(xiàn)的。1.2 經(jīng)驗(yàn)回放為什么救不了場再說說經(jīng)驗(yàn)回放Experience Replay。DQN和DDPG這類off-policy算法會把(狀態(tài), 動作, 獎勵, 下一狀態(tài))存進(jìn)一個很大的buffer訓(xùn)練時隨機(jī)采樣小批量打亂相關(guān)性。經(jīng)驗(yàn)回放本身解決的是數(shù)據(jù)利用率和訓(xùn)練穩(wěn)定性問題但請注意它只是“存儲和讀取經(jīng)驗(yàn)”的機(jī)制并不會改變獎勵信號本身。在稀疏獎勵環(huán)境里buffer里塞滿了失敗經(jīng)驗(yàn)獎勵全是-1。你采樣一萬條正樣本還是零。Q函數(shù)無法從全負(fù)樣本中學(xué)到一個有區(qū)分度的價值面。有人會說既然全負(fù)至少能讓網(wǎng)絡(luò)學(xué)會“別亂動”但問題在于目標(biāo)環(huán)境里每個狀態(tài)s的價值并不相同如果所有狀態(tài)對應(yīng)的目標(biāo)g都被固定為原始目標(biāo)而原始目標(biāo)從未達(dá)成過那么Q網(wǎng)絡(luò)只能絕望地把所有狀態(tài)價值都壓向-1。這等于把目標(biāo)當(dāng)成了“海市蜃樓”看得見但永遠(yuǎn)觸不到。HER的思路很直接既然原始目標(biāo)達(dá)不成那我不要求你在當(dāng)前軌跡中一定達(dá)成它。我可以把這條軌跡“重寫”成朝另一個目標(biāo)成功的樣本。比如機(jī)械臂本來想去左上角結(jié)果跑到右上角那我就把“飛到右上角”當(dāng)作這個樣本的目標(biāo)重新算一遍獎勵這時候這條原本失敗的經(jīng)驗(yàn)就成了一條漂亮的正樣本。聽起來有點(diǎn)像自欺欺人但實(shí)際效果驚人。這個“換目標(biāo)”的操作就是HER的核心。1.3 HER的核心直覺換個目標(biāo)就是成功用一個生活化比喻來解釋一個新手投籃目標(biāo)是籃筐球沒進(jìn)砸到了籃板左側(cè)。如果他只會按“籃筐”這個目標(biāo)來訓(xùn)練這次投球就是發(fā)球失誤沒任何收獲。但如果他換一個目標(biāo)“下次爭取砸到籃板左側(cè)那個點(diǎn)”那么剛才那次投籃在“籃板左側(cè)”這個目標(biāo)下其實(shí)是完美命中的。他可以把這個“命中了籃板左側(cè)”的經(jīng)驗(yàn)記下來下次遇到“把球打到籃板左側(cè)”的新任務(wù)時就知道該用什么樣的力度和角度。強(qiáng)化學(xué)習(xí)里的HER正是這個流程每一條transition除了保留原始目標(biāo)g下的樣本還會額外用episode中后續(xù)某個狀態(tài)的achieved_goal事后再看真正到達(dá)的位置作為新目標(biāo)g把這條經(jīng)驗(yàn)重新計(jì)算獎勵后也存進(jìn)buffer。訓(xùn)練過程中網(wǎng)絡(luò)會同時面對大量不同目標(biāo)下的經(jīng)驗(yàn)它的Q函數(shù)可以逐漸學(xué)會“給定任意目標(biāo)我大概知道哪些動作值錢”。等到真正布置一個全新目標(biāo)時它已經(jīng)具備了泛化能力不需要從頭再學(xué)。這種泛化依賴一個老概念通用價值函數(shù)近似器UVFA。意思很簡單價值函數(shù)不再只是Q(s, a)而是Q(s, a, g)把目標(biāo)也當(dāng)作輸入的一部分。HER大量生成“目標(biāo)-狀態(tài)-轉(zhuǎn)移”三元組本質(zhì)上就是在用數(shù)據(jù)迫使Q函數(shù)對目標(biāo)維度泛化。1.4 為什么必須是off-policy算法有一個必須強(qiáng)調(diào)的點(diǎn)HER不能直接套在on-policy算法上使用。原因是重標(biāo)注后的樣本其轉(zhuǎn)移是在“試圖達(dá)成原始目標(biāo)”的行為策略下產(chǎn)生的。如果我們把經(jīng)驗(yàn)里的目標(biāo)換成g那么這條經(jīng)驗(yàn)就不再符合當(dāng)前策略對目標(biāo)g的行為分布。換成Q學(xué)習(xí)和actor-critic這類off-policy算法它們用Q函數(shù)去估計(jì)價值經(jīng)驗(yàn)來自不同策略也沒關(guān)系只要狀態(tài)、動作、獎勵、下一狀態(tài)對換目標(biāo)后依然自洽即可。我在實(shí)際嘗試中踩過這個坑一開始圖省事想在某on-policy的policy gradient框架里硬加HER結(jié)果訓(xùn)練完全飄掉loss亂跳。后來想明白policy gradient算法需要計(jì)算的是“當(dāng)前策略路徑下的梯度”重標(biāo)注目標(biāo)后路徑和目標(biāo)不匹配重要性采樣也救不回來。所以要玩HER安心選擇DQN、DDPG、TD3、SAC這類off-policy方法。2. Hindsight Experience Replay原理拆解2.1 數(shù)學(xué)描述與目標(biāo)重標(biāo)注先把符號理清楚。設(shè)在goal-conditioned MDP里狀態(tài)是由三部分構(gòu)成的observation機(jī)器人的關(guān)節(jié)角、速度等原始觀測achieved_goal當(dāng)前已到達(dá)的目標(biāo)相關(guān)狀態(tài)desired_goal想要到達(dá)的目標(biāo)。在Gym的Fetch系列環(huán)境里observation通常是一個15到25維向量achieved_goal是3維坐標(biāo)desired_goal也是3維坐標(biāo)。獎勵函數(shù)可以寫成r(s, a, g) 1 if ||achieved_goal(s) - g|| epsilon else 0或者是稀疏負(fù)獎勵r(s, a, g) 0 if ||achieved_goal(s) - g|| epsilon else -1其中s是動作執(zhí)行后的下一狀態(tài)achieved_goal(s)表示轉(zhuǎn)移后真正到達(dá)的位置。這一點(diǎn)非常重要判決是要看動作執(zhí)行之后的狀態(tài)離目標(biāo)有多近而不是動作執(zhí)行之前。存儲一條經(jīng)驗(yàn)時標(biāo)準(zhǔn)做法是保存(s_t, a_t, r_t, s_{t1}, g_t)其中s_t (obs_t, ag_t, g_t)。HER重標(biāo)注時從同一個episode中挑一個未來時間點(diǎn)tk取s_{tk}的achieved_goal作為新的目標(biāo)g然后代入獎勵函數(shù)重新計(jì)算r_t于是得到一條新經(jīng)驗(yàn)(s_t, a_t, r_t, s_{t1}, g)注意動作a_t和轉(zhuǎn)移(s_t, s_{t1})都沒變變的只是目標(biāo)和獎勵。正因?yàn)樵紕幼髟凇叭ネ硞€新目標(biāo)”這個語境下被重新評估原本是無用的失敗樣本才有了正樣本的價值。實(shí)際代碼中我習(xí)慣直接保存obs_t、act_t、rew_t、next_obs_t、ag_t、next_ag_t和g_t做重標(biāo)注時再用next_ag_t和新目標(biāo)計(jì)算獎勵。2.2 采樣策略怎么選final / future / episode / randomHER論文里給出了四種從episode中選擇新目標(biāo)的策略實(shí)際效果差異很大這里逐個講清楚。final策略直接用該episode最后一個狀態(tài)作為所有transition的新目標(biāo)。比如這一輪機(jī)械臂最終停在坐標(biāo)(1.2, 0.3, 0.8)那就把整條軌跡的目標(biāo)全部替換成(1.2, 0.3, 0.8)。優(yōu)點(diǎn)是實(shí)現(xiàn)最簡單一條episode只生成一個額外目標(biāo)計(jì)算量小。缺點(diǎn)是如果episode很長前面很多步驟距離最終位置很遠(yuǎn)對價值函數(shù)來說是很大的挑戰(zhàn)學(xué)習(xí)起來可能不平穩(wěn)。future策略對第t步的transition從第t1步到episode結(jié)束的所有狀態(tài)中隨機(jī)挑未來狀態(tài)作為新目標(biāo)。這是論文最推薦、也是我實(shí)測最穩(wěn)的策略。因?yàn)槟繕?biāo)在時間上位于當(dāng)前transition之后給網(wǎng)絡(luò)提供的信號具有天然因果性“我現(xiàn)在做的動作接下來會把我?guī)У竭@個位置所以這個位置應(yīng)該成為我的目標(biāo)”。正是這種順序關(guān)系讓Q函數(shù)更容易學(xué)到動作到結(jié)果的映射。episode策略從整個episode中任意狀態(tài)里隨機(jī)挑目標(biāo)不要求未來。這樣做增加了目標(biāo)多樣性但可能引入“先到A再到B但目標(biāo)可以是B”這類混亂信號。如果episode比較長還是建議保留一些episode采樣的目標(biāo)因?yàn)樗芨采w到“達(dá)到過去某個狀態(tài)”的能力。random策略從buffer里所有episode中隨機(jī)挑狀態(tài)當(dāng)目標(biāo)。多樣性最大但和目標(biāo)任務(wù)的關(guān)聯(lián)度也最弱。如果目標(biāo)分布跨度很大random很容易把智能體往莫名其妙的地方帶。我在實(shí)際任務(wù)里基本不單獨(dú)用random頂多摻一小點(diǎn)作為正則化。論文中的標(biāo)準(zhǔn)做法是每條原始transition額外生成k個future目標(biāo)k通常取4并把原始目標(biāo)經(jīng)驗(yàn)也保留下來。也就是說一條經(jīng)驗(yàn)最終可能會有1原始k條目標(biāo)變體進(jìn)入buffer。k不小算力和存儲都會上漲后面我們專門說優(yōu)化。2.3 與DDPG等off-policy算法的融合HER不是一個獨(dú)立算法它更像經(jīng)驗(yàn)回放模塊的一種增強(qiáng)插件。它需要一個基礎(chǔ)的off-policy強(qiáng)化學(xué)習(xí)算法最經(jīng)典的是DDPG。在DDPG里actor網(wǎng)絡(luò)μ(s, g)輸入狀態(tài)和目標(biāo)輸出動作critic網(wǎng)絡(luò)Q(s, a, g)輸入狀態(tài)、動作和目標(biāo)輸出估計(jì)的價值。訓(xùn)練時的TD目標(biāo)長這樣y r γ * Q_target(s, μ_target(s, g), g)注意公式里有兩個g一個是重標(biāo)注后的新目標(biāo)用于計(jì)算目標(biāo)Q值另一個是critic輸入時要傳的目標(biāo)。在實(shí)現(xiàn)里采集batch時我除了取obs和act還要把重標(biāo)注后的g也作為target_goal保存起來否則直接在經(jīng)驗(yàn)里改目標(biāo)會污染原始樣本。在DDPG的actor更新中梯度通過Q(s, μ(s, g), g)對μ(s, g)的參數(shù)求導(dǎo)。因?yàn)镼函數(shù)學(xué)會了對任意目標(biāo)g的價值評估actor才能學(xué)到“針對不同目標(biāo)給出不同動作”的行為模式。如果Q只在一個目標(biāo)上做過預(yù)測那actor也只能在一個目標(biāo)上動作。HER生成了大量不同目標(biāo)下的樣本恰好幫助Q面變得更光滑。2.4 數(shù)據(jù)流與存儲細(xì)節(jié)HER需要存儲episode結(jié)構(gòu)不能只存一條條獨(dú)立的transition。因?yàn)橹貥?biāo)注需要知道“這條transition之后同一episode里有哪些狀態(tài)”。所以我的buffer設(shè)計(jì)往往是兩層第一層是一個episodic臨時區(qū)記錄當(dāng)前episode里每一步的obs、act、next_obs、ag、next_ag、g、done第二層是真正的經(jīng)驗(yàn)池當(dāng)episode結(jié)束時對整個episode做重標(biāo)注產(chǎn)生額外transition再寫入經(jīng)驗(yàn)池。這樣做有一個額外好處避免在每步step時都判斷“現(xiàn)在這條transition是否多采樣幾個未來目標(biāo)”邏輯更清晰也方便批量向量化。缺點(diǎn)是該episodic臨時區(qū)的內(nèi)存占用和一次episode長度成正比但通常幾百步以內(nèi)完全可以接受。2.5 歸一化與動作范圍HER對歸一化很敏感。因?yàn)閟tate和goal往往不在同一個尺度比如關(guān)節(jié)角度范圍可能是[-3, 3]物體坐標(biāo)范圍可能是[0, 1]直接拼接后作為網(wǎng)絡(luò)輸入actor的探索噪聲如果按幅度加容易讓某些維度被噪聲淹沒。建議把每個維度做running mean/variance歸一化或者至少縮放到[-1, 1]。動作范圍同樣要注意。Fetch環(huán)境的action維度是2到4維范圍是[-1, 1]但物理模型要求機(jī)械臂位置變化很小。如果噪聲標(biāo)準(zhǔn)差設(shè)成0.3以上可能整個episode都是高頻抖動目標(biāo)永遠(yuǎn)靠不近。我一般初始設(shè)置標(biāo)準(zhǔn)差0.1并隨訓(xùn)練衰減。這不是論文參數(shù)但實(shí)測下來穩(wěn)定得多。3. 從零實(shí)現(xiàn)在FetchReach上跑通HER3.1 環(huán)境與工具選型為了直觀驗(yàn)證HER效果我推薦用Gym的FetchReach-v1。機(jī)械臂需要從初始位置把末端移動到三維空間中的隨機(jī)目標(biāo)點(diǎn)episode長度50距離閾值0.05獎勵是稀疏的。環(huán)境里沒有物體抓取、沒有避障純粹看算法是否能學(xué)習(xí)目標(biāo)導(dǎo)向的到達(dá)能力。對HER來說這是最容易診斷的起步環(huán)境。工具方面直接用PyTorch。OpenAI Baselines里雖然有HER的參考實(shí)現(xiàn)但基于TensorFlow 1.x舊接口太多復(fù)現(xiàn)成本高。我提供的版本會簡化掉一些和圖網(wǎng)絡(luò)相關(guān)的trick只保留DDPGHER核心讓改造成自己的任務(wù)更容易。GPU可有可無這種小環(huán)境CPU也能跑出結(jié)果。3.2 網(wǎng)絡(luò)與超參數(shù)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)不需要花哨。我給出的配置Actor輸入維度原始o(jì)bs維度FetchReach是10維有效狀態(tài)實(shí)際observation有25維其中包含噪聲關(guān)節(jié)信息goal維度3輸出維度等于action維度2。中間兩層全連接256激活ReLU輸出層用tanh再乘以動作上限。Critic輸入維度原始o(jì)bs goal action中間層同樣256最終輸出一個標(biāo)量Q值。超參數(shù)學(xué)習(xí)率actor和critic都取1e-3gamma0.98polyak滑動平均系數(shù)tau0.05batch_size256buffer_size1e5每輪episode結(jié)束后訓(xùn)練50步探索噪聲標(biāo)準(zhǔn)差0.1。Actor噪聲在高斯基礎(chǔ)上可以加一個很小的帶通濾波但我直接用純高斯也很好。這里說下tau的選擇DDPG目標(biāo)網(wǎng)絡(luò)更新公式是target - tau * target (1 - tau) * source如果你的tau寫成0.95那幾乎不更新嚴(yán)重拖慢訓(xùn)練。常見框架里默認(rèn)tau都是0.005或0.001用0.05已經(jīng)算很大了。3.3 核心代碼與注釋下面給出一個簡版但能跑的HERBuffer實(shí)現(xiàn)重點(diǎn)在重標(biāo)注邏輯import numpy as np class HERBuffer: def __init__(self, buffer_size100000, k4): self.buffer_size buffer_size self.k k self.episodes [] # 每個元素是list of transition self.data { obs: [], act: [], rew: [], next_obs: [], ag: [], next_ag: [], g: [], g_her: [] } def push_episode(self, episode_transitions, env): # episode_transitions: list of dict # 先存原始樣本 for t_idx, trans in enumerate(episode_transitions): self._store( trans[obs], trans[act], trans[rew], trans[next_obs], trans[ag], trans[g], trans[g] ) # 再生成HER樣本 horizon len(episode_transitions) for t_idx, trans in enumerate(episode_transitions): # future策略從t_idx之后所有狀態(tài)中隨機(jī)選k個 if horizon - t_idx - 1 0: continue for _ in range(self.k): future_idx t_idx 1 np.random.randint(horizon - t_idx - 1) new_goal episode_transitions[future_idx][ag].copy() # 注意獎勵要基于 next_ag 而不是 ag new_rew env.compute_reward( trans[next_ag], new_goal, None ) self._store( trans[obs], trans[act], new_rew, trans[next_obs], trans[ag], new_goal, new_goal ) def _store(self, obs, act, rew, next_obs, ag, g, g_her): if len(self.data[obs]) self.buffer_size: # 簡單實(shí)現(xiàn)清空最老的10% drop int(self.buffer_size * 0.1) for key in self.data: self.data[key] self.data[key][drop:] self.data[obs].append(obs) self.data[act].append(act) self.data[rew].append(rew) self.data[next_obs].append(next_obs) self.data[ag].append(ag) self.data[g].append(g) self.data[g_her].append(g_her) def sample(self, batch_size): idx np.random.choice(len(self.data[obs]), batch_size, replaceFalse) batch {} for key in self.data: arr np.array(self.data[key], dtypenp.float32) batch[key] arr[idx] return batch注意代碼里env.compute_reward(trans[next_ag], new_goal, None)這里的第三個參數(shù)info在Gym某些版本里需要傳dict否則報(bào)錯。更穩(wěn)妥的做法是直接從環(huán)境定義里取出閾值自己算距離reward -1.0 if np.linalg.norm(next_ag - new_goal) 0.05 else 0.0。接下來是DDPG訓(xùn)練主循環(huán)的關(guān)鍵部分env gym.make(FetchReach-v1) def select_action(actor, obs, goal, noise0.1): obs_t torch.FloatTensor(obs).unsqueeze(0) goal_t torch.FloatTensor(goal).unsqueeze(0) action actor.act(torch.cat([obs_t, goal_t], dim1)) action np.clip(action noise * np.random.randn(*action.shape), -1, 1) return action for episode in range(200): obs env.reset() ep_transitions [] done False score 0 while not done: action select_action(actor, obs[observation], obs[desired_goal]) next_obs, reward, done, info env.step(action) ep_transitions.append({ obs: obs[observation], act: action, rew: reward, next_obs: next_obs[observation], ag: obs[achieved_goal], next_ag: next_obs[achieved_goal], g: obs[desired_goal] }) obs next_obs score reward her_buffer.push_episode(ep_transitions, env) # 從buffer采樣訓(xùn)練 for _ in range(50): batch her_buffer.sample(256) # 這里用batch[g_her]作為critic的目標(biāo)goal而不是batch[g] # actor的監(jiān)督信號是Q(s, actor(s, g_her), g_her) # 具體更新代碼省略就是標(biāo)準(zhǔn)DDPG if episode % 20 0: print(fEpisode {episode}, avg_reward: {score})我在實(shí)際調(diào)試時把sample函數(shù)的batch[g_her]單獨(dú)挑出來確保critic在計(jì)算TD target時使用的是重標(biāo)注后的目標(biāo)。很多初學(xué)者容易在這里犯錯直接用batch里的原始goal那等于HER白做了。3.4 訓(xùn)練觀察與效果分析在FetchReach上跑我的觀察是只用DDPG不加HER成功率幾乎在0到1%之間波動跑500個episode都不動。加上HER后通常100到150個episode之內(nèi)rollout成功率就能漲到90%以上。訓(xùn)練曲線不是平滑上升的而是一段平臺后突然跳變。原因是前期buffer里攢到了足夠數(shù)量的正樣本“候選”一旦Q函數(shù)開始對目標(biāo)維度做出正確梯度策略會突然學(xué)會一項(xiàng)簡單技能比如“往某個坐標(biāo)多推一點(diǎn)”。我建議同時畫兩條曲線一條是online success rate另一條是“平均達(dá)到距離”的變化。平均達(dá)到距離比成功率更平滑能幫你判斷是否在緩慢進(jìn)步。如果平均距離在下降但成功率因?yàn)殚撝档脑蛞恢笔?這說明方向是對了繼續(xù)訓(xùn)練就行。如果平均距離紋絲不動那大概率HER沒生效回去檢查buffer里有沒有非-1的獎勵以及采樣時是否用了新的目標(biāo)。4. 常見問題與排查技巧實(shí)錄4.1 不收斂的排查清單在實(shí)際跑HER時我遇到過的失敗模式整理成一個速查表癥狀可能原因排查動作成功率長時間為0平均距離也不降HER重標(biāo)注邏輯沒生效buffer里仍全是-1打印一批buffer樣本檢查有沒有新目標(biāo)下獎勵為0的transition訓(xùn)練loss震蕩劇烈甚至出現(xiàn)NAN輸入和goal沒有歸一化數(shù)值爆炸對obs和goal做running normalization或用固定scale縮放到[-1,1]actor直接學(xué)到不動成功率某段突然掉探索噪聲太大動作一直飽和在邊界降低噪聲標(biāo)準(zhǔn)差檢查action是否在[-1,1]內(nèi)critic的TD target不穩(wěn)定獎勵用舊achieved_goal計(jì)算了確保重標(biāo)注時使用next_ag而不是ag收斂變慢后期上不去future策略采樣到太近的future狀態(tài)目標(biāo)過于重復(fù)提高k值比如k8或混合episode策略增加多樣性4.2 目標(biāo)采樣策略容易踩的坑future策略雖然好但有一個隱藏問題當(dāng)episode長度很短比如FetchReach只有50步如果當(dāng)前transition接近episode末尾剩余可選狀態(tài)很少重標(biāo)注目標(biāo)可能總是落在一個小范圍。目標(biāo)是取自achieved_goal也就是機(jī)械臂實(shí)際經(jīng)過的位置。如果機(jī)械臂只在起點(diǎn)附近徘徊那么這些新目標(biāo)都集中在起點(diǎn)附近網(wǎng)絡(luò)沒機(jī)會看到離起點(diǎn)遠(yuǎn)的目標(biāo)泛化就會差。解決方式是調(diào)整episode長度或增加動作噪聲讓機(jī)械臂多探索。如果任務(wù)確實(shí)很短可以用futureepisode混合一部分目標(biāo)取自當(dāng)前episode未來狀態(tài)一部分取自整個episode的任意狀態(tài)。注意不要全部用episode策略否則因果性過弱訓(xùn)練穩(wěn)定性反而下降。我在機(jī)器人抓取任務(wù)里通常設(shè)置k4的future外加每個episode額外生成2條episode目標(biāo)效果會比純future好一些。4.3 與PER、優(yōu)先回放的配合優(yōu)先經(jīng)驗(yàn)回放PER和HER經(jīng)常被一起討論因?yàn)槎寄芴嵘龜?shù)據(jù)效率。我的建議是在HER剛開始投入時慎用PER。HER生成的額外樣本里有一類是“把當(dāng)前狀態(tài)作為目標(biāo)”的高獎勵樣本這類樣本TD誤差可能很大PER選中它的概率極高導(dǎo)致更新時被大量“這步本來就接近目標(biāo)”的樣本刷屏反而壓制了對困難目標(biāo)的探索。如果非要加PER可以把優(yōu)先級計(jì)算公式改溫和一點(diǎn)比如p abs(td_error) 1e-3采樣權(quán)重不要按論文那樣嚴(yán)格最好設(shè)置一個最小概率防止完全丟棄低TD誤差的樣本。說到底HER已經(jīng)把稀疏獎勵變得更密了PER的邊際收益不如在獎勵密集環(huán)境里那么高。4.4 資源與效率優(yōu)化實(shí)戰(zhàn)HER會放大經(jīng)驗(yàn)量k4意味著buffer里的樣本數(shù)大約是原始樣本的5倍訓(xùn)練一次需要sample的transition也變多了。內(nèi)存還好但訓(xùn)練吞吐量下降明顯。我常用的優(yōu)化手段有三個第一不要每步都往主buffer里寫重標(biāo)注樣本。先緩存整個episode等episode結(jié)束后批量生成這樣能利用numpy向量化計(jì)算新目標(biāo)和新獎勵。第二buffer容量不是越大越好。HER需要?dú)v史episode足夠多來提供多樣的狀態(tài)目標(biāo)但太大了也會讓訓(xùn)練收斂慢因?yàn)闃颖痉植紲笥诋?dāng)前策略。我一般設(shè)成1e5到1e6之間具體看狀態(tài)維度。第三多進(jìn)程采樣時讓每個worker持有自己的episodic buffer訓(xùn)練主線程只負(fù)責(zé)采樣和更新能大幅提高數(shù)據(jù)吞吐。4.5 從仿真到真實(shí)機(jī)器人落地要記的筆記如果是把HER拿到真實(shí)機(jī)器人上有幾個細(xì)節(jié)跟仿真相差很大。真實(shí)機(jī)器人的末端坐標(biāo)通常來自動捕或視覺估計(jì)achieved_goal本身帶噪聲而你還要把噪聲后的位置當(dāng)新目標(biāo)寫進(jìn)buffer。這會讓策略學(xué)到“去一個不存在的點(diǎn)”或者“重復(fù)抖動”。建議在傳感器層先做濾波和標(biāo)定讓achieved_goal的精度至少高于環(huán)境閾值一個量級。另外真實(shí)環(huán)境探索成本高一定要做domain randomization讓仿真里機(jī)械臂初始狀態(tài)、物體位置、摩擦系數(shù)都在一個區(qū)間里變化。HER重標(biāo)注出的目標(biāo)只是在仿真軌跡上“事后達(dá)到過”的位置如果仿真和真實(shí)之間的狀態(tài)分布偏移太大這些目標(biāo)對真實(shí)環(huán)境的指導(dǎo)意義有限。安全方面真實(shí)機(jī)器人初始探索階段可以加一個夾爪保護(hù)和限位速度避免機(jī)械臂超出關(guān)節(jié)極限。5. 經(jīng)驗(yàn)與擴(kuò)展思考最后再說一個我在多個任務(wù)里反復(fù)驗(yàn)證的經(jīng)驗(yàn)HER特別適合“目標(biāo)從狀態(tài)中直接提取”的任務(wù)尤其是機(jī)器人運(yùn)動控制、路徑規(guī)劃、操作任務(wù)。但如果目標(biāo)是從圖像之類的高維傳感器里提取挑戰(zhàn)就會大很多因?yàn)橹貥?biāo)注出的新目標(biāo)必須對應(yīng)一個具體的像素塊或者潛在表征單純改標(biāo)簽可能引入語義錯誤?,F(xiàn)在很多研究在做“表示空間里的HER”比如先學(xué)一個狀態(tài)編碼器然后在編碼空間里做目標(biāo)重標(biāo)注思路是一樣的。我自己在跑通HER后最大的體會是強(qiáng)化學(xué)習(xí)里“失敗”不是最可怕的“沒有替代目標(biāo)”才是最可怕的。HER把失敗經(jīng)驗(yàn)重新解釋成其他目標(biāo)下的成功等于給智能體鋪了一條從探索到利用的緩坡。這種“事后聰明”式學(xué)習(xí)也讓我反思自己平時做項(xiàng)目復(fù)盤時的態(tài)度——與其盯著沒達(dá)成的原始目標(biāo)懊悔不如把做出來的東西當(dāng)作新的參照坐標(biāo)提煉出它對其他問題有沒有價值。這可能就是hindsight這個詞給我的最大禮物。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99久久这里只有精品| 色婷婷国产精品综合在线观看| 丁香五月婷婷综合精品素人| va婷婷| 伊人婷婷五月天| 东北黄色一级| 五月激情综合网| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 五月天色五月| 思思99精品视频| 丁香五月六月综合激情| 天干干夜夜操| 亚洲中文字幕翔田千里| 色五月婷婷五月| wwww.色婷婷| 天天 青草 丝袜制服 在线| 99国产在线| 激情宗合哪里能看| 日本三级第一页| 色宗合久久五月婷婷| 中文字幕视频色婷婷| 婷婷香五月综合激情| 欧美性爱五月天| 五月天婷婷基地丁香| 激情五月天色网站| 97干婷婷五月天| 亚洲V国产V欧美V久久久久久| 亚洲 精品 综合 精品| 成人 在线 日韩| 国产免费AV网站| 亚洲综合在线播放| 涩涩五月天综合| 久久a热| 色色网站免费在线视频| 狠狠婷婷色综合| 婷婷综合六| 墨西哥毛片内射精| 亚洲性爱电影| 天天做天天干天天综合网| 91中文在线| 亚洲五月天综合| 99热这里只有精品22| 狠狠狠狠青草| 99精品久久| 在线视频色五月| 五月婷六月| www,欧美干干干干干干| 色黄啪啪| 另类小说五月天| 五月综合亚洲| 99在线看视频| 丁香美女五月天婷婷| 97碰碰在线观看视频| 婷婷综合五月| 婷婷五月永远18免费久久久| 色婷六月| 九九九九九九九九九九九九九九九九九九九在线视频 | 超PEN精品在线| 日韩AV色色色| 婷婷六月久久| 亚洲色久| 伊人五月综合网| 九热视频在线精品15| 色婷五月天| 婷婷五月天干干| 久久久久久99精品无码| 99热每日| 色五月婷婷久久| 这里只有精彩视| 九色激情网| 99热6精品| 久热网站| 色婷婷五月天天天做| 婷五月天六| 久久婷婷久久| 成人精品99| 97碰碰视频在线观看免费| www.婷婷五月| 超碰人人干| renrencaoni| 91高潮喷水久久久久久久久| 婷婷97| 五月天色影院| 五月天精品综合| 热九九精品| 成人丁香五月| 五月天激情Av| 激情九月婷婷| 九月激情综合婷婷| 丁香社92视频| 粉嫩AV久久一区二区三区| 99九九视频| 99在线观看视频蜜臀| 色噜噜五月天| 五月亭大香蕉| 久操大屁股女人av| 91九九九九九九| 91久久久久久久久18| 人妻VideOssS人妻高清| 五月天婷婷成人资源站| 婷婷五月天色综合翘| 色婷婷色综合| 日韩人人操| 婷婷啪啪| 天天干天天爽| 在线另类| 婷婷丁香十月| 天天操天天曰| 色五月婷婷久久| 久久久噜噜噜久久人妻| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 激情五月婷婷丁香综合网| av无码电影| 亚洲精品第一国产综合亚AV | 日都一级A片| 色无婷婷| 狠狠色婷婷综合开心影视| 日日色综合| 五月天五月天激情网| 密乳视频| 人人摸人人干人人做| 天天在线久久综合 | 色 噜噜 九月 婷婷| 亚洲色另类| 丁香六月激情国产| 婷婷五月综合激情免费| 九九亚洲视频| 天天插天天射| 9久热免费视频99| 狠狠狠夜夜夜| 狠狠色九月| 激情5月婷婷| XX色综合| CHINESE熟女老女人HD视频| 天天肏夜夜肏| 天天做天天爽| 八戒青柠影视剧在线观看| 色婷婷综合网站| 天天操婷婷| 26UUU精品一区二区| 丁香婷婷五月| 天天干在线播放| 婷婷五月综合中文字幕| 99精品久久久久| 丝袜激情网| 久久作爱| 婷婷一本和五月丁香| 97色色色色色色色色色色色色色| 激情五月丁香六月| 五月丁香久久网| 五月天六月色| 91男人资源站| 在线网黄| 色五月婷婷开心| 色婷婷a三区麻| 五月天天天色| 婷婷丁香成人| 男人先锋久久| 九热久| 日本片日本片祼观看网站在线看中文版网页在线看 | 99操免费视频| 天堂成人A片永久免费网站| Blackedraw视频一区二区| httpwww色com日本| www.精品99| 99色这里| 婷婷五月六月| 色五月激情综合网| 欧美久久久久久久久中文字幕| 久久久五月五丁香| 色五月开心开心五月激情五月| 丁香六月在线| 婷婷五月天综合网| 六月丁香天堂| 久久99激情| 婷婷夜夜操| 婷婷五月丁香91| 99色| 综合九九久久| 久久婷婷丁香花综合网| 人妻九九九九| 99热这里只有精品最新| 色五月五月婷婷| 色婷婷很很丝袜| 亚洲婷婷久久综合| 六月婷婷国产| 日日干夜夜干| 色娸娸综合网| 五月丁香六月婷婷久久久综合| 波多野结衣AV无码Porn| 99热8在线| 超碰成人在线观看| 99九九精品| 久久五月丁香| 五月婷婷丁香网| 色五月婷婷五月丁香五月激情五月视频| 九月丁香五月婷婷| 色播五月丁香| 99自拍网| 99re6久热只有精品6在线直播| 91日本在线观看| 变天就操逼婷婷五月| 99久热在线精品| 天天干天天叉| 强辱丰满人妻HD中文字幕| www综合久久| 777久久综合视频| 色久丁香五| 五月激情在线| AV九九| 97色色色色色| 婷婷五月天性色| 激情久久五月天| 色婷婷五月中文字幕在线dvd| 99re这里| 久久9精品| 开心激情网五月| 开心五月天激情网| 激情丁香五月天综合| 五月天天爽| 亚洲欧洲中文日韩久久AV乱码| 超碰在线国产9| 区区欧美你爱| 久久综合久色欧美综合狠狠| 亚洲国产精品五月天| 网站免费一站二站| 操比激情五月| 色婷婷色人人射| 亚洲欧洲另类| 五月婷婷高清| 狠狠做婷婷| 五月 激情视频| 色五月丁香六月婷婷| 色色丁香| 激情五月图| 久热黄色| 久综合| 欧美美美女性色视频| 艳妇野外情欲放荡HD| 依人大香蕉| 欧美色色色色色色色色色色| 色五月婷婷AV| 欧美影院| 国产性爱一级| 色婷婷国产精品综合在线观看| 激情综合另类| 五月丁香婷婷成人网| 亚洲乱码日产精品BD| 婷婷五月天最新综合你懂的 | 香蕉综合在线| 久久六月综合| 丁香六月婷婷久久综合八月| 思思视频这里是精品| 久99久视频| 欧美日韩国产一区| 成人在线网址| 国产片天天爽夜夜爽| 草一草avb| 丁香伊人网| 色色色在线观看| 亚洲AV免费国产电影| 五月丁香婷婷成人网| 淫视馆av三区| 婷婷狠狠操| 97干在线免费| 男女免费视频999| 99热加勒比| 丁香婷婷色九月| 色色色婷| 99在线精品观看99| 99久久综合精品五月天| 新男人天堂人妻| 九九久久网| 99丝袜精品视频网站| 色婷婷社区| 人人操碰| 久久五月天视频| 婷婷综合亚洲| 91九色在线| 久er7久热| 久草热久草在线视频| 五月亭亭六月激情| 91窝窝| 日本色婷婷| 日韩精品超碰在线观看| 另类图片五月天| 婷婷欧美色| 欧美搡BBBBB摔BBBBB| 桔色成人官方网站| 九九久久精品國產| 五月花激情| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 艹天天射| 开心婷婷五月| 丁香五月激情综合啪啪| 九九色色色| 五月婷婷丁香综合| 五月综合在线婷婷图片| 玖色色综合| 丁香婷婷色情| 久久这里在精品视频| 激情婷婷狠狠干综合| 五月天国产婷婷精品视频在线| 伊人五月天97| 99国产精品久久久久久久久久久 | 欧美婷婷成人| 丁香5月激情网| 操B视频在线播放| 国产资源91在线| 99色在线观看视频| 国产精品久久久久9999小说| 婷婷五月天网| 婷婷区日本| 香蕉99网| 99爱在线视频| 日韩aaaaa| av九九| 婷婷五月丁香五月基地| 伊人狠狠丁香婷婷综合尤物| 丁香六月婷婷色XXXX| 五月丁香888| 99这里有精品视频| 国产成人亚洲综合A∨婷婷| 超碰在线精品| 五月做爱| 激情综合五月婷婷| 色五月婷婷一二| 97人人操人人爽| 超碰婷婷色| 成人五月天丁香| 色五月婷婷五月久久| 亚洲天堂无码| 欧美黄色一级录像| 五月丁香人妻| 亚洲va综合va国产va中文| 26uuu美女三级视频| 91人人妻人人操| 丁香五月性爱| 久久久91| 色色射| 色五月激情问网站| 超碰97干| 婷婷激情五月天激情小说| 色五月激情五月| 深爱激情五月婷婷| 色和综合网| 五月婷婷色情| 91日视频| 99在线免费视频播放| 色综合久久天天综合网| 久久这里有精品| 情欲综合网| 超碰9| 欧洲综合一区| 97高清国语自产拍| 五月天成人综合| 天天摸天天透天天舔| 激情WWW| www.婷婷五月天.com| 丁香五月色激情| 欧美性做爰大片免费看办公室 | 欧美 色婷婷| 五月花免费视频| 五月天伊人网| 婷婷五月丁香网| 亚洲婷婷五月天综合| 五月丁香自拍| 影音先锋 一区| 爱穴久久| 激情小说色五月| 六月婷婷激情| 五月丁香六月欧美综合网站| 亚洲欧洲国产精品| 婷婷内射视频在线| 色色国产| 五月婷婷综合在线| 深爱五月激情五月| 99色免费观看全部| 99r这里只有精品在线观看| 色婷婷丁香五月天在线视频| 99热免费精品热久久66| 天天干,天天舔| 热久国产| 91大神操美女| AV在线观看网站| 91九色欧美| 99久久.www| 婷婷五月色花丁香社区| 亚洲天堂有码| 99日在线观看视频| 射琪琪| 91九色无码内射| www.99精品日操伊人乱碰在线| 欧美大片免费播放器| 久久丁香五月| 丁香婷婷大香蕉| 日本狠狠色| 色婷婷狠狠| 欧美精品99久久久| 激情综合亚洲| 无码激情AAAAA片-区区| 日韩精品无码一区二区| 色综啪啪网| 日99网站| 九热av| 热久免费视频9| 婷婷激情五月天桃花网| 色99免费视频中文| 激情亚洲婷婷| 九九综合久久| 玖玖在线资源视频| 思思99re这里只有| 丁香五月冃欧美| 色99热| 婷婷 月 丁香| 婷婷五月激情网| 日韩精品一区二区亚洲AV观看 | 天天干天天干天天干| www.色婷婷.com| 日日干夜夜干| 日韩AV免费电影在线播放| 久久AAAA片一区二区| 欧美黄色一级录像| 伊人久久大香线蕉AV最新午夜| 成人色图情色成人网 www.5b5b5bcom 五月天 | 激情五月综合| 国产一级视频a| 影音先锋AV资源男人站| 激情五月婷黄版| 五月丁香啪啪综合| 六月婷婷深深爱| 高清无码 一区 二区 三区| 国产26uuu视频| 婷婷伊人五月| 亚洲六月色婷婷| 日韩成人精品中文字幕| 国外亚洲成AV人片在线观看| 婷婷免费视频| 五月婷婷av| 久久老码第一| 九九热这里只有精品在线观看| 99久久这里只有精品| 九色PORNY自拍成人精彩视频| 色五月婷婷久久| 亚洲国产精品SUV| 就爱日五月天| 欧洲综合视频| 色色色欧美色色| 天天爽夜夜爽夜夜爽精品视频 | 五月丁香色色网| 亚洲乱码日产精品BD| 色婷婷精| 久久狠狠欧美| 婷婷五月美女直播| 精品久热| 任你爽在线视频| 超级碰碰碰97免费| 久久婷婷五月天激情| 狠狠摸狠狠摸| 婷婷久草| 中日韩狠狠色| 婷婷六月网| 久久这里都是精品| 丁香五月天啪啪| 九九视频在线观看视频在线播放69| 久青操| 婷婷五月天少妇| 99免费在线视频| 激情深爱五月天| 婷婷自拍| 日操五月婷| 五月丁香六月激情综合| 国产精品天天狠天天看| 92国产福利| 激情五月天之六月婷婷| 大香蕉啪啪| 丁香五月婷婷啪啪视频| 亚洲婷婷视频| 色五月婷婷五月天| 成人免费黄色短视频| 99在线视频播放| 一区二区三区四区无码| 六月婷婷色综合| 激情五月天福利| 六月色日韩| 丁香六月久久| 伊久大香蕉| 秋霞性爱AV| 丁香六月婷婷综合欧美| 99精彩视频网站在线| 超碰九九热| 久久婷婷五月综合色丁香| 亚洲男女激情| 亚洲婷婷91丁香| 激情五月综合网最新| 中文字幕在线免费观看视频| 91人人网| 99re这里只有| 国模九区| 婷婷丁香五月激情图片| 九九無妻| 9色在线视频| 直接看的AV| 亚洲 在线 另类| 99色在线观看| 特黄三级片| 四射综合网| 婷婷六月天亚州| 精品人妻伦九区久久AAA片| 丁香五月影视| 中文资源在线a | 日本九九九九九九| 99热这里只有精品在线播放| 人妻丰满精品一区二区A片| 久久99热这里只有精品首| 另类视在线| 激情婷婷22月间| 五月综合在线婷婷图片| 婷婷久久综合久| 久久人操| 婷色五月| 久久98| 91大屁股精品| 丁香 亚洲 久久| AV五月婷婷露脸| 久久久全国免费视频| 色欲丁香久久| 性按摩玩人妻HD中文字幕| 婷婷日在线观看| 欧美久热| 99re熱| 99热6精品| 超碰精品在线| 色色色色热| 久久人操| 99视频在线| 99综合| 五月婷婷中文字幕| 婷婷五月69| 日韩视频99| 久久黄A片| 婷婷精品| 激情五月天啪啪视频| 婷婷五月天综合网| 另类综合激情| 色色欧美。| 麻豆五月丁香婷婷| 婷婷五月娱乐在线| 天天人人人人人人人人人人人| 欧美亚洲成人在线| 五月丁香激情四射| 婷婷久久婷婷色五月| 国内外色色色色色成人视频| 最新午夜理论片| 六月色狠狠色| 97人碰人操| 色婷婷狠狠干芒果TV| 91美女啪啪| 婷婷社区五月天| 婷婷五月丁香超碰| 淫视馆aV二区一区| 夜夜骑操AV| wwwss在线观看| 99这里只有精品在线| 五月丁香久久综合91| 婷婷六月五月| 色五月色图| 深爱开心激情| 婷婷夜夜夜夜| 9热在线视频精品| 99干日本| 狠狠88综合久久久久噜噜噜| 超碰操日| 9热精品| 亚洲婷婷视频| 五月婷A V在线| 99这里只有| 久久99久久99精品免观看粉| 婷婷九月| 激情综合色播| 成人片在线播放| 免费视频无码| 九九99一区| 玖玖在线| 国产3p露脸普通话对白| 99性色| 99热最新网址| 人人爽网| 91视频一起草| www.91有码.com| 婷婷狠狠狠爱| 激情深爱五月天| 五月婷六月天| 五月天综合激情网| 亚洲V国产V欧美V久久久久久| 狠狠干综合网| 天天爽在线视频| 97色五月婷婷在线| 婷婷五月香蕉| 六月色国内综合| 天堂中文国产| 久热精品免费视频4| 久9精品视频| 丁香五月激情欧欧美| 色涩影院六月丁香| 国产69久久久欧美黑人A片| 人人干av| 丁香五月色播中文在线播放| 婷婷 伊人 久久| 欧亚成人A片一区二区| 五月丁香婷婷AV| 色婷婷六月性| 免费人人操| 精品夜夜澡人妻无码AV| 少妇人妻人伦A片| AV 3P| 欧美激情综合色综合啪啪五月| 美国少妇性做爰| 人人操插| 婷婷亚洲欧美丁香五月| 熟女乱论网| 六月色激情| 免费无码毛片一区二区A片 | 国产avapp 网| 婷婷五月天欧美图片在线播放电驴| AAA久久| 1024在线视频| 国产美女无遮挡裸体毛片A片| 狠狠狠狠狠狠色| 欧美日本一区二区三区| 婷婷五月天激情文学小说| 婷婷激情五月视频| 久操乱| 九九热AV| 久久亚洲婷婷| 婷婷五月在线观看| 欧美成人精品一区二区| 九九sese| 久久婷五月| 9久久AV| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | 九九综合影音先锋| 久99| 超碰在线99| 天天综合精品| 99色色色色| 婷婷五月开心中文字幕色| 91久久久久久| 久久人人九九| 国产视频福利| 丁香五月手机视频| 五月丁香亭亭A片| 亚洲乱码日产精品BD| 九九無妻| www.狠狠| 久久98| 激情综合国产| 99精品国产在热久久婷婷| 欧美日韩AAAA| 婷婷激情社区| 日本va欧美va欧美va| www.com操| 第四色五月激情网| 《诡秘之主》在线观看| 亚洲精品无码久久| 黄色三级日本| 91精品久久久久久久| 99色在线观看视频| 97欧美在线| www.com.色色| 香蕉伊人综合| 99热网址| 开心五月婷婷婷美女| 色色婷婷丁香五月天| 亚洲在线成人| 久激情| 艹天天射| 久久99精品久久久久久噜噜| 99久久玖玖| 丁香五月激情网| 日韩精品超碰在线观看| 久久精品五月天| 久久婷婷五月综合色奶水99啪| 色婷婷AV在线| 人妻精品在线| 91操碰| 亚洲小视频免费播放| 99热九九这里只有精品| 久久机热这里只有精品免费视频 | 亚洲亚洲人成综合网络| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品| 婷婷成人基地| 日本三级99人妇网站| 久久婷婷五月综合色和| 六月综合婷婷开心伊人| 黑人熟妇一区二区三区| 欧美久久婷婷| 伊人五月天男人的天堂在线| 天天做天天爱天天爽在| 狠狠久综合| 五月天五月天激情网| 丁香婷婷影院| 成人一级片| 伊人五月天在线| 九九热精品| 天天久综合网永久入口18| 色婷婷狠狠久久综合五月| 色综合av超碰| www.激情| 丁香久久五月天视频在线观看 | 丁香五月播播| 亚洲V国产V欧美V久久久久久| 五月伊人91| 色综合久久88色综合天天看| 五月婷精品| 亚洲色另类| 国产精品18久久久| 五月丁香888| 欧美综合五月丁香六月婷| 五月天婷婷激情网| 激情五月五月五月婷婷| 亚洲五月停停| 色偷偷综合| 97日韩无套内| 99九九在线视频| 天天狠天天狠| 日日狠狠久久偷偷四色综合免费| 97热精品| 国产熟妇的荡欲午夜视频| 久久丁香综合精品综合| 亚洲综合婷婷五月| 婷婷五月精品在线| 97碰碰视频| 久久精彩视频| 久久9RE热视频精品98| 婷婷丁香人妻天久久| 激情婷婷五月色| 五月婷婷六月情| 丁香五月天啪啪| 9久操| 五月婷俺去也| 人人爽欧美婷婷久久久五月丁香| 色情五月婷婷| 九月婷婷综合色干| 婷婷丁香社区网| 激情网综合| 九九RE视频在线精品| se色婷婷视频| 亚洲AV人人操| 97韩国久久电影院| 97 A I色色| 99干在线视频| 婷婷欧美偷拍综合| 久久丁香五月天| 亚洲亚洲人成综合网络| 91色在线| 狠色狠色综合久久| 五月激情六月丁香| 婷婷国产欧美97| 天天色综合色| 91人妻人人做人碰人人爽九色| 天天干在线播放| 婷婷五月天丁香花| 亚洲中文乱字字幕在线永久| 成人综合网站| 色色免费网站| 丁香六月无码播放| 蜜桃人妻无码AV天堂三区| 黄色精品五月婷婷| 五月激情五月婷婷五月天在线| 亚洲色99| 日韩欧美老妇性视频91久久久| 91操黄| 婷婷爱在线观看| 国产va视频| 久久婷婷五月天激情新地址| 性日本激情| 日韩黄色电影| 五六月婷婷久久| 婷婷五月天777| AAA久久| 97成人在线视频精品| 五月四色婷婷| 亚洲第一综合| 五月天婷婷久久| 激情网五月天| 操比激情五月| 日日撸日日操| 青草青草视频2免费观看| 国产一级片| 色五月欧美| 97超级免费无码| 色五月婷婷视频| 91丨九色丨43老版熟女| 伊九九三级区| 欧美日韩成人免费在线| 99er热精品视频| 五月婷婷亞洲中文| 日韩ww| 色插综合网| 色玖玖| 精品婷婷五| 五月丁香综合啪啪| 99九九99九九九视频精彩| 激情六月色| 国产探花一片区| 天天干天天射综合网| 51精品国自产在线| 天天激情夜夜干| 激情五月丁香五月| 久久99热这里只有| 99精品性爱| 五月丁香狠狠爱| www超碰| 大香蕉综合| 亚洲成人影视在线观看| 五月婷婷啪啪网| 在线成人网址| 九色自拍| 1024日韩| 入口五月婷婷六月香| 五月丁香六月婷婷网| 91一起操| 99热只有这里有精品| 操操操操操操婷婷五月天| www.婷婷五月| 婷婷久久午夜网| 久久98| 五月婷久久| 97 天堂| 婷婷五月六月丁香综合| 五月做爱| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 人人操av| www.久久久久久久| 爱射综合| 电影《战争与艾拉》免费观看| 婷婷大香蕉| 婷婷久久六月天| 91色五月在线观看| 久久爱婷婷| 操日本三片99| 色五月丁香五月| 久久人妻久久久久| 天天日天天插| 亚洲人人操BD| 丁香综合久久| 色99在线视频| 久久99这里只有精品| 可以免费观看的AV| 国产熟女日日骚五月丁香爱| 草榴视频黄色网| 色狠狠婷婷| 久久婷婷色情7777网站| 人妻少妇色综合| 开心婷婷五月花| 蒲京久久无码视频| 婷婷六月综合基地| 99欧美| 少妇人妻偷人精品无码视频新浪| 涩涩涩.com| 密乳Va| 六月激情婷婷| 日韩按摩二区| 超碰人人操人人9| 五月丁香婷婷在线| 丁香五月亭亭六月综合激情网| 天天爱天天天射AV| 超碰99资源站| 五月丁香在线视频观看| 久久R激情| 丁香婷婷色情| 日本本土色网第一区| 67194中文在线| 超碰三级片| 亚洲天堂亚洲色色色| 色五月色开心开心五月| 一级精品999WWW| 欧美日韩AAAAA| 六月婷婷日| 啪啪综合网| 婷婷六月天激情影院| 五月婷婷丁香啪啪| 九九色色| 丁香六月综合| 亚洲亚洲激情| 久久99久久久久久久噜噜| 天天婷婷综合亚洲亚洲| 欧美激情-区二区三区| 成人av在线网站| AA片在线观看视频在线播放| 婷婷成人五月天成人文学| 婷婷激情丁香五月婷婷激情丁香五月婷婷 | 67194中文字幕| 亚洲五月天狠狠| 超碰99热精品| 国产人妻人伦精品一区二区| 五月天成人综合| 亚洲天天免费| 噜噜色五月| 亚洲愉拍99热成人精品| 久热黄色| 可以直接看的AV网站| 丝袜人妻| av不卡网站| 99re思思久久| 丁香狠狠色婷婷久久无码视频| 五月开心婷婷极品激情| 久久日曰| 色偷偷AV亚洲男人的天堂| 久久香蕉丁香| 日日肏夜夜干| 五月丁香六月色婷| 欧美婷婷九月| 亚洲精品久久久无码| 综合99综合久久久久久久| 国产熟女日日骚五月丁香爱| 自拍偷窥99热| 激情婷婷22月间| 99无码视频| 九九热视频99| 五月丁香婷婷潮喷中文字幕| 色欲婷婷夜夜| 亚洲综合无码| 欧美三级大片AA在线看| 开心五月色婷婷综合开心网| www.色五月.com| www、色色色| 亚洲婷婷五月草久| 久久xxxx| 婷婷玖玖五月天| 香蕉久久五月| 国产乱人偷精品人妻A片| 丁香六月婷婷综合激情欧美| 亚洲色色香蕉| 九九热在线观看视频网站| 六月丁香啪啪| www.综合久久.com| 久久久色情| 日韩欧美成人一区二区三区| 26uuu欧美| 99精品久久| 任你搞网站| 日本成人噜噜噜| 思思热久久久在线| 呦呦AV| 国内婷婷丁香社区在线播放| 五月丁香啪啪啪| 大香蕉99热| 东京热免费视频网站| 真实熟女-91九色| 狠狠爱深色婷婷综合| 天天日天天色| 精品婷婷| 99在线观看精品视频| 婷婷四色五月| 91久久精品无码一区二区三区| 亚洲热热视频| 99热在线这里| 涩五月色婷婷| 亚洲 五月 婷婷 成人| 99秘 在线| 丁香婷婷人妻综合网| 无码网| 五月天婷婷午夜丁香| 欧亚洲在线高清视频| 久久久激情视频| 琪琪色热色色| 亚洲xx网| 五月天社区婷婷丁香社区| 亚洲AV成人无码电影| 久久全色| 欧美激情伊人| 婷婷五月综合啪| 九9九9无码| 成人短视频在线免费观看| 六月婷婷最新网址| 亚洲第二AV| 婷婷久久图片| 五月天婷综合| 五月久熟女| 乱码操操| 国产精品久久久久久久久久久久 | 91九色在线| www.99视频| 九九热这里只有精品23| 丁香色六月| 六月婷婷深深爱| 亚洲丁香婷婷五月天综合色| 玖玖色资源站| 五月婷婷综合色拍| 中文国产五月天| 婷婷五月天免费视频| 五月天婷婷影院影院观看| 丁香婷婷成人网站| 98永久精品| 涩五月婷婷| 91精品久久久久久综合五月天| 被男人添B超爽视频| .青娱乐天天操B| 亚洲天堂青草| 亚洲成人另类| 天天爽人人综合免费7799| 五月丁香美女| 久久成人综合五月天| 看久久性爱视频| 大天天伊人| 99热亚洲精品| 被男人添B超爽视频| 99九九这里有免费视频| 超碰国产AV| 亚洲激情在线| AV 3P| 人人草人| 综合久| 最近中文字幕大全免费版在线| 久久se 综合网 | 天天插天天射| 乱乱av| 熟美女麻豆| 综合五月婷婷| 国产一区男女| 天天色天天日天天舔| 婷婷色五月天在线| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 中文字幕人妻一区二区| 丁香五月婷婷Av| 丁香五月天欧美成人| 五月丁香六月婷婷亚洲| 五月婷婷啪啪| 激情小说视频图片| 天天射影院| 免费无码毛片一区二区A片| 9色免费网| 婷婷五月色播网| 人人干AV| 老司机日日夜夜青草| 丁香五月天堂网| 婷婷六月激情综合| 超碰国产在线观看| 琪琪理论片| 久久综合激情婷婷激情| 超碰不卡在线| 国产精产国品一二三在观看| 九月av在线| 婷婷久久五月| 视色综合| 99色婷婷| 在线视频区| 99九九综合久久九九| 日韩六六久久电影| 国产成人亚洲综合A∨婷婷| 婷婷五月在线视频| 亚洲成人中文字幕| AV色五月婷婷| 亚洲五月花| 99亚洲精品| 五月婷婷官网色| 日本99久久| www.AV在线| 色。 日日日| 日本天天色| 国产日韩精品SUV| 丁乡久久| 欧美激情五月天在线观看| 丁香婷婷月| 国产欧美日韩综合精品一区二区| 影音先锋91男人资源在线播放| 久久只有这里精品免费| 久久久久人妻网址| 欧美成人va| 五月99久久| 五月丁六月婷| 丁香婷婷网| 亚洲视频另类| 狠狠 婷婷| 日韩综合久| 激情AV综合| 激情五月丁香婷婷夜夜操| 伊人AV五月婷| 成人精品视频99在线观看免费 | 亚洲国产色色| 五月丁香六月婷综合成人综合| 人妻激情视频| 色五月开心开心五月激情五月| 丁香六月婷婷综合| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | www,8050,午夜三级| 日本五月天网站| 九月丁香很很色| 婷婷亚洲天堂| 天天天天干| 丁香花大香蕉婷婷综合| www久久久| 亚洲综合另类| 大香蕉视频婷| www 五月天 com| 伊人五月天在线| 婷婷五月激情的图片| 深情五月天| 强壮的公次次弄得我高潮A片日本 | 久99视频在线观看| 五月天婷婷小说| 国产一区二区av免费| 久热这里只有精品在线观看| 另类A片| 天天操夜夜玩!| 五月丁香激情综合网| 五月激情小说| 91av无码| 九九无码AV| 五月婷久久在线| 激情五月婷婷视频一区二区三区| 日韩久热| 99爱视频在线观看这里只有精品| 亚洲中文字幕在线观看| 亚洲操逼片| 丁香五婷婷| 亚洲精品另类| 国产精品激情五月天色婷婷| 久久久99精品免费观看| 66精品国产成人| 婷婷五月综合在线| 婷婷九月综合| 综合色播| 久久全色| 综合久久五月天| 九月婷婷在线观看| 五月WWW| 狠狠五月婷婷| 色情免费视频播放| 国产精产国品一二三在观看| 丁香五月婷婷啪| 亚洲色婷婷五月天| 思思热久久阴99| 久久9视频欧美| 玖玖爱资源站| www激情| 97人人搞| 久9视频| 日韩成人网址| 色婷五月| 欧美久久婷婷| 九九精品热| 可以看的av| 成人色站,在线视频,看片-SS1AV| 热久久99热欧美国产亚洲| 久久99综合| 99操逼| 婷婷五月综合婷婷| 天天天天干| 丁香久久五月天视频在线观看 | 亚洲欧美成人在线| 亚州精品色情无码A片| 婷婷激情啪啪| 激情文学久久| 欧美在线视频99| 五月丁香福利| 91视频一起草| 色五月六月| 人妻操逼| 亚洲乱码精品久久久久..| 五月丁香六月婷婷综合网| 久99久视频精品| 99热99热在线| 亚洲成人精品三区| 五月丁香综合| 99综合久久| 久久在这里99| 久久er这里只有精品| 成人国产欧美大片一区| 丁香激情婷婷网| 色婷婷影视99| 日本99在线视频| 欧亚色色| 国产五月视频| 欧美综合五月丁香五月天| www.一起草av| 色色色色色色色色五月先| 狠狠夜夜五月丁香| 精品无码久久久久久久久| 国产VA亚洲VA96| 色呦呦美女| 丁香五月婷婷色| 先锋男人99资源| 丁香五月婷婷激情蜜桃| 日韩av在线免费观看| 激情网战码亚洲A| 乱岳熟女50岁| 舔色婷婷| 色噜噜狠狠色综合无码久久欧美| 狠狠狠狠狠狠狠狠| 色综合久久88色综合中文字幕| 性色综合网| 亚洲色99| 五月婷婷成人w| 伊人9草在线观看| 天天插天天爱| 99愛国产| 婷婷色五月天色| 激情五月婷婷五月| 天天干天天色天天干| 极品色丁香| 能看的av| 天天爱夜夜爽| 婷婷五月av| 婷婷丁香18| 日本五月天婷婷丁香| 天天色综和网| 五六月婷婷久久| 91精品久久久久久77777| 伊人五月网| 色综合香蕉视频| 精品久热| XX色综合| 99久久黄色顶级视频| 丁香婷婷激情四射五月| 97福利视频| 五月婷婷综合潮喷| 另类专区在线观看| 中国女人内射6XXXXX| 久久五月婷婷丁香| 婷婷久久六月天| 性欧美日本| 少妇人妻丰满做爰XXX| 五月丁香激情综合啪啪| hd五月婷婷在线| 五月婷婷深深爱| 黑人糟蹋人妻HD中文字幕| 亚洲秘 无码一区二区三区妃光/1| 日本婷婷综合精品| 影音先锋91| 99热这里有精品| 庭庭久久内射| 久久aaaa片一区二区| 激情开心五月天| 久久久久人妻网址| 五月色婷婷在线观看| 激情骚五月| 国产毛片欧美毛片久久久| 亚洲综合草草| 久久人妻系列| www.久久| 五月丁香综合影院| 婷婷香蕉精品| 啪啪操超碰| wwwwww.色| 亚洲第一色色色| 91操在线视频| 在线亚洲综合网| 99激情| 欧美色色色色色色色色色色| 免费视频这里只有精品| 五月天激情综合网站| 9久热在线精品| 任你躁XXXXX麻豆精品| AV中文在线| 六月婷婷色综合| 久久性爰视频这里只有精品| 婷婷五月天成人网| 人人插9| 五月天小说激情| 久久怡红院| 久久92| 亚洲色色色| 天天天天天日|