欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

強(qiáng)化學(xué)習(xí)稀疏獎(jiǎng)勵(lì)難題:Hindsight Relabeling核心原理與實(shí)戰(zhàn)指南

強(qiáng)化學(xué)習(xí)稀疏獎(jiǎng)勵(lì)難題:Hindsight Relabeling核心原理與實(shí)戰(zhàn)指南 1. 項(xiàng)目概述別讓“事后諸葛亮”背鍋它其實(shí)是強(qiáng)化學(xué)習(xí)的救星很多人看到 hindsight 這個(gè)詞第一反應(yīng)是“后見之明”、“馬后炮”常帶點(diǎn)貶義。但在強(qiáng)化學(xué)習(xí)這塊hindsight 恰恰是個(gè)寶貝——它對(duì)應(yīng)的技術(shù)叫hindsight relabeling后見之明經(jīng)驗(yàn)回放專門用來(lái)治稀疏獎(jiǎng)勵(lì)問(wèn)題。我最早接觸它是在做機(jī)器人抓取任務(wù)時(shí)智能體試了大半天成功率還是零整個(gè)訓(xùn)練基本就是“瞎子摸象”。后來(lái)把 hindsight relabeling 接進(jìn)去訓(xùn)練曲線才開始有了像樣的上升趨勢(shì)??梢哉f(shuō)這個(gè)思路幫我省下了至少一個(gè)月的調(diào)參時(shí)間。這篇內(nèi)容適合誰(shuí)看正在做goal-conditioned RL目標(biāo)條件強(qiáng)化學(xué)習(xí)、被稀疏獎(jiǎng)勵(lì)坑得滿頭包的人或者你只是想搞清楚 HERHindsight Experience Replay到底怎么work、怎么復(fù)現(xiàn)都可以參考。我會(huì)從最核心的思路講到可落地的實(shí)現(xiàn)細(xì)節(jié)再到我實(shí)際踩過(guò)的坑盡量把每個(gè)“為什么”都講清楚。hindsight relabeling 解決的核心問(wèn)題一句話就能概括在目標(biāo)任務(wù)上失敗的經(jīng)驗(yàn)放到另一個(gè)更簡(jiǎn)單的目標(biāo)上其實(shí)是一次完美的成功。這個(gè)“另一個(gè)目標(biāo)”就是我們事后看到的真實(shí)終點(diǎn)。好比學(xué)生考完試對(duì)著答案發(fā)現(xiàn)自己做錯(cuò)了但這道題本身也是知識(shí)點(diǎn)的訓(xùn)練——你重新調(diào)整目標(biāo)把“考高分”換成“把這道題搞懂”那剛才的失敗就變成了寶貴的學(xué)習(xí)樣本。強(qiáng)化學(xué)習(xí)也一樣拿失敗經(jīng)驗(yàn)換個(gè)目標(biāo)重新學(xué)習(xí)往往比硬剛原目標(biāo)高效得多。2. 核心思路拆解為什么稀疏獎(jiǎng)勵(lì)會(huì)讓強(qiáng)化學(xué)習(xí)寸步難行2.1 先從問(wèn)題本身說(shuō)起稀疏獎(jiǎng)勵(lì)到底難在哪做強(qiáng)化學(xué)習(xí)的人都清楚reward 設(shè)計(jì)是個(gè)玄學(xué)。幸運(yùn)的是很多任務(wù)能設(shè)計(jì)出稠密獎(jiǎng)勵(lì)比如跑步有速度獎(jiǎng)勵(lì)、機(jī)械臂有距離獎(jiǎng)勵(lì)。但現(xiàn)實(shí)里大量任務(wù)沒(méi)法這么做——拿“把方塊推到目標(biāo)位置”來(lái)說(shuō)你可以設(shè)計(jì)“離目標(biāo)越近獎(jiǎng)勵(lì)越高”可一旦目標(biāo)換成一幅復(fù)雜裝配圖距離函數(shù)根本寫不出來(lái)。這時(shí)候只能用稀疏獎(jiǎng)勵(lì)成功給 1失敗給 0。稀疏獎(jiǎng)勵(lì)帶來(lái)的問(wèn)題是探索極其低效。智能體隨機(jī)探索時(shí)要碰巧做出一個(gè)能獲得正獎(jiǎng)勵(lì)的動(dòng)作概率低到離譜。沒(méi)有正獎(jiǎng)勵(lì)policy 就得不到任何有意義的梯度最終策略會(huì)退化到隨機(jī)游走。形象點(diǎn)說(shuō)你在大草原上找一枚丟了的戒指找對(duì)了方向沒(méi)有任何反饋只有踩到戒指才算成功——你大概率永遠(yuǎn)找不到。常見解決辦法有三類。第一類是reward shaping人工構(gòu)造稠密獎(jiǎng)勵(lì)但任務(wù)復(fù)雜時(shí)根本構(gòu)造不出來(lái)而且設(shè)計(jì)不好會(huì)引入局部最優(yōu)。第二類是curriculum learning從簡(jiǎn)單任務(wù)開始逐漸變難但需要人為設(shè)計(jì)課程且課程進(jìn)度不易控制。第三類是curiosity-driven exploration讓智能體因?yàn)椤昂闷嫘摹比ヌ剿餍聽顟B(tài)但在目標(biāo)條件任務(wù)里容易分心——到處亂逛就是不干正事。hindsight relabeling 走的是另一條路不改變環(huán)境不改變獎(jiǎng)勵(lì)直接改造 replay buffer 里的數(shù)據(jù)。它認(rèn)為“失敗的經(jīng)驗(yàn)不是沒(méi)用而是目標(biāo)定錯(cuò)了”。這讓我當(dāng)時(shí)眼前一亮因?yàn)樗褑?wèn)題從“如何探索得更聰明”變成了“如何利用已有數(shù)據(jù)更聰明”后者顯然更可控。2.2 Hindsight 的核心假設(shè)從失敗里提取“隱式成功”hindsight relabeling 的關(guān)鍵動(dòng)作是當(dāng)一條經(jīng)驗(yàn)transition在原始目標(biāo) g 上失敗時(shí)把它重新標(biāo)注成在另一個(gè)目標(biāo) g 上的成功經(jīng)驗(yàn)。這個(gè) g 通常是這條經(jīng)驗(yàn)結(jié)束后智能體實(shí)際到達(dá)的狀態(tài)。這樣一來(lái)同一段軌跡就有了雙重身份對(duì)原目標(biāo)是失敗對(duì)新目標(biāo)是成功。policy 能從新目標(biāo)里學(xué)到“這個(gè)動(dòng)作序列能夠完成 g”這是實(shí)打?qū)嵉恼龢颖?。它的核心假設(shè)是目標(biāo)空間存在某種連續(xù)性或可遷移性學(xué)會(huì)把物體推到位置 A會(huì)幫助你學(xué)會(huì)推到位置 B學(xué)會(huì)抓取某個(gè)杯子會(huì)幫助你學(xué)習(xí)抓取另一個(gè)杯子。很多操作任務(wù)天然滿足這個(gè)性質(zhì)所以效果出奇地好。但如果目標(biāo)任務(wù)之間毫無(wú)相似性比如“開門”和“倒水”這種完全不同的操作HER 的收益就很有限。還有一個(gè)非常重要的點(diǎn)hindsight 必須配合 off-policy 算法使用。因?yàn)?relabeling 本質(zhì)上是改了 reward 和 goal生成這條經(jīng)驗(yàn)時(shí)的行為和現(xiàn)在的 policy 已經(jīng)不是同一個(gè)分布了只能用 off-policy 算法從 replay buffer 里反復(fù)學(xué)習(xí)。我當(dāng)時(shí)用的是DDPG HER的組合也有人用 SAC HER都可以。on-policy 算法如 PPO基本與 HER 無(wú)緣道理就在這里。2.3 為什么選擇 hindsight 而不是別的方案單看思路有人會(huì)問(wèn)這不會(huì)讓目標(biāo)變得太簡(jiǎn)單嗎會(huì)不會(huì)學(xué)偏我也糾結(jié)過(guò)這個(gè)問(wèn)題。實(shí)際用下來(lái)發(fā)現(xiàn)只要控制好“重標(biāo)注的比例”和“新目標(biāo)的選擇策略”偏不偏其實(shí)是可控的。對(duì)比 reward shapingHER 的顯著優(yōu)勢(shì)是不需要任何環(huán)境先驗(yàn)知識(shí)不需要你手動(dòng)設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)省掉一大塊人工成本。對(duì)比 curriculum learningHER 是“自動(dòng)生成課程”——從簡(jiǎn)單目標(biāo)開始離終點(diǎn)近的狀態(tài)逐步逼近真實(shí)目標(biāo)原本想完成的目標(biāo)省去了人為編排課程的麻煩。對(duì)比 curiosityHER 直接利用真實(shí)經(jīng)驗(yàn)不引入額外探索噪聲訓(xùn)練更穩(wěn)定。但 HER 也不是銀彈。我后面做機(jī)械臂任務(wù)時(shí)發(fā)現(xiàn)如果目標(biāo)空間維度特別高比如圖像級(jí)目標(biāo)或者目標(biāo)超出智能體當(dāng)前能力范圍太多HER 的重標(biāo)注目標(biāo)會(huì)嚴(yán)重偏離原始任務(wù)分布訓(xùn)練反而會(huì)變得不穩(wěn)定。所以實(shí)戰(zhàn)中我一般把 HER 作為基礎(chǔ)框架再疊加其他策略比如輔助獎(jiǎng)勵(lì)、狀態(tài)歸一化來(lái)穩(wěn)住訓(xùn)練。3. 核心實(shí)現(xiàn)細(xì)節(jié)與實(shí)操要點(diǎn)手把手拆解 HER 的每個(gè)環(huán)節(jié)3.1 完整算法流程從采樣到重標(biāo)注的七步走一個(gè)標(biāo)準(zhǔn)的 HER 訓(xùn)練循環(huán)大概是這個(gè)樣子。我以 DDPG 結(jié)構(gòu)為例換 SAC 也一樣核心思想不變從環(huán)境中采樣一批經(jīng)驗(yàn)每條經(jīng)驗(yàn)包括狀態(tài) obs、動(dòng)作 act、獎(jiǎng)勵(lì) reward、下一狀態(tài) next_obs、完成標(biāo)志 done、原始目標(biāo) goal g。把原始經(jīng)驗(yàn)存入 replay buffer同時(shí)記錄這條軌跡的序號(hào)。訓(xùn)練更新時(shí)從 replay buffer 里隨機(jī)抽出一個(gè) batch但每條經(jīng)驗(yàn)不是直接用來(lái)計(jì)算 loss而是有概率被“重標(biāo)注”。對(duì)選中的經(jīng)驗(yàn)設(shè)定一個(gè)新目標(biāo) g。常用策略是從這條軌跡后續(xù)的未來(lái)狀態(tài)中隨機(jī)選一個(gè)狀態(tài)future strategy或者用軌跡最終狀態(tài)final state甚至直接隨機(jī)采一個(gè)已經(jīng)達(dá)到過(guò)的狀態(tài)。根據(jù)新目標(biāo) g重新計(jì)算這條經(jīng)驗(yàn)的獎(jiǎng)勵(lì) reward R(s, a, s, g) 和 done 標(biāo)志obs 和 action 不變。把重標(biāo)注后的目標(biāo) g 也拼進(jìn) observation 里形成新的輸入向量交給 actor 和 critic 計(jì)算梯度。更新 critic 時(shí)用重標(biāo)注后的目標(biāo)去算 TD 誤差更新 actor 時(shí)用當(dāng)前目標(biāo)下的 Q 值梯度回傳。核心點(diǎn)在于obs 里通常拼接了 goal所以重標(biāo)注不光是改 reward還要同步換掉 obs 和 next_obs 里的 goal 部分。這一步容易被忽略一旦忘了模型看到的還是舊目標(biāo)獎(jiǎng)勵(lì)又是新目標(biāo)整個(gè)訓(xùn)練就會(huì)邏輯錯(cuò)亂。3.2 目標(biāo)重標(biāo)注的四種策略我用下來(lái)哪種最穩(wěn)看論文和源碼時(shí)會(huì)發(fā)現(xiàn)目標(biāo)重標(biāo)注有四種常見策略官方叫法一般叫final、episode、random、future策略做法特點(diǎn)我的評(píng)價(jià)final直接用整條軌跡的最終狀態(tài)作為新目標(biāo)最簡(jiǎn)單成功概率高適合短軌跡任務(wù)軌跡長(zhǎng)了會(huì)丟中間信息episode從當(dāng)前時(shí)刻所在的整個(gè) episode 狀態(tài)里隨機(jī)挑一個(gè)簡(jiǎn)單覆蓋范圍廣中等任務(wù)可用但可能選到太早的狀態(tài)目標(biāo)太簡(jiǎn)單random從已經(jīng)見過(guò)的所有狀態(tài)里隨機(jī)挑一個(gè)覆蓋歷史分布不太推薦容易選到和目標(biāo)空間無(wú)關(guān)的狀態(tài)future從當(dāng)前時(shí)刻之后的未來(lái)狀態(tài)里隨機(jī)挑 k 個(gè)之一目標(biāo)難度自然遞進(jìn)課程學(xué)習(xí)效果最穩(wěn)尤其配合未來(lái)狀態(tài)集合采樣我用下來(lái)最順手的是future 策略尤其配合一個(gè)參數(shù)future_k。做法是這條軌跡從當(dāng)前時(shí)間步往后數(shù)收集接下來(lái)的 k 個(gè)狀態(tài)在這 k 個(gè)狀態(tài)里隨機(jī)選一個(gè)重新作為當(dāng)前經(jīng)驗(yàn)的目標(biāo)。k 通常取 4也可以根據(jù)軌跡長(zhǎng)度調(diào)整。之所以效果最好是因?yàn)樗选昂?jiǎn)單目標(biāo)”和“原始目標(biāo)”自然過(guò)渡起來(lái)——?jiǎng)傞_局時(shí)目標(biāo)容易后段逐步逼近真實(shí)目標(biāo)天然形成課程。另一個(gè)隱蔽但重要的點(diǎn)是不是每條經(jīng)驗(yàn)都要重標(biāo)注。代碼里一般用一個(gè)概率值控制比如每條經(jīng)驗(yàn)有 80% 的概率執(zhí)行重標(biāo)注剩下 20% 保留原始目標(biāo)。這么做可以確保 agent 不忘記真實(shí)任務(wù)也避免重標(biāo)注目標(biāo)分布和真實(shí)目標(biāo)分布偏差太大。3.3 獎(jiǎng)勵(lì)函數(shù)怎么設(shè)計(jì)稀疏還是稠密的取舍HER 最純正的用法是配合稀疏獎(jiǎng)勵(lì)這也是論文里強(qiáng)調(diào)的。但我在實(shí)際項(xiàng)目里發(fā)現(xiàn)如果你的任務(wù)能寫出“半稠密”獎(jiǎng)勵(lì)混著用反而更好。這里說(shuō)的“半稠密”指的是主獎(jiǎng)勵(lì)還是稀疏的成功/失敗但額外給一個(gè)距離或進(jìn)展的小信號(hào)。比如抓取任務(wù)成功給 1失敗給 0但如果手爪離物體近了額外加一個(gè)0.1 * max(0, old_dist - new_dist)這樣的小獎(jiǎng)勵(lì)。這個(gè)信號(hào)不是為了給 agent 詳細(xì)指導(dǎo)而是讓訓(xùn)練早期更容易有梯度。不過(guò)要小心如果這個(gè)“進(jìn)展獎(jiǎng)勵(lì)”設(shè)計(jì)得不好agent 可能會(huì)鉆空子比如故意把手靠近再遠(yuǎn)離反復(fù)刷距離差。我的經(jīng)驗(yàn)是進(jìn)展獎(jiǎng)勵(lì)的系數(shù)要遠(yuǎn)小于主獎(jiǎng)勵(lì)確保最終目標(biāo)還是“完成任務(wù)”而不是“刷進(jìn)度條”。另外在某些任務(wù)里HER 和稠密獎(jiǎng)勵(lì)其實(shí)是沖突的——因?yàn)橹貥?biāo)注后新目標(biāo)不同稠密獎(jiǎng)勵(lì)函數(shù)在不同目標(biāo)之間可能不可比較導(dǎo)致 Q 值估計(jì)不穩(wěn)定。所以如果你用 HER我建議初始版本老老實(shí)實(shí)做稀疏獎(jiǎng)勵(lì)等穩(wěn)定了再考慮加輔助獎(jiǎng)勵(lì)。3.4 網(wǎng)絡(luò)輸入和狀態(tài)處理Goal 怎么拼進(jìn)去效果最好目標(biāo)條件 RL 里policy 和 Q 函數(shù)通常輸入的是“觀測(cè) 目標(biāo)”的拼接向量。以機(jī)械臂為例observation 是機(jī)械臂關(guān)節(jié)角度、末端位置、物體位置等goal 是目標(biāo)位置直接把兩者 concat 起來(lái)喂給網(wǎng)絡(luò)是最常見的做法。但這里有一個(gè)我踩過(guò)的坑observation 里可能已經(jīng)包含了當(dāng)前物體位置而 goal 又是目標(biāo)物體位置兩者數(shù)值范圍可能差異很大。比如關(guān)節(jié)角是弧度制范圍在 -3 到 3 之間而目標(biāo)位置是米范圍在 -0.5 到 0.5 之間直接 concat 會(huì)讓網(wǎng)絡(luò)訓(xùn)練時(shí)尺度失衡早期梯度全被大數(shù)值特征主導(dǎo)。解決辦法很簡(jiǎn)單分別對(duì) obs 和 goal 做歸一化或者至少統(tǒng)一量綱。我習(xí)慣把 obs 和 goal 都用 running mean/std 歸一化效果很顯著。還有一點(diǎn)如果你的任務(wù)里用了圖像觀測(cè)HER 的實(shí)現(xiàn)會(huì)復(fù)雜很多因?yàn)椤澳繕?biāo)”本身就是一張圖。這種情況下不能簡(jiǎn)單 concat通常要引入目標(biāo)編碼器把圖像編碼成向量再拼到 policy 輸入里。這類任務(wù)里 HER 依然有效但工程復(fù)雜度會(huì)翻倍我建議新手先別碰圖片輸入從向量狀態(tài)的仿真環(huán)境開始練手。3.5 一個(gè)可直接參考的 HER 核心偽代碼下面這段偽代碼是我在項(xiàng)目里服役過(guò)很久的版本經(jīng)過(guò)刪減只留主干方便大家對(duì)照理解# 假設(shè)采用 DDPG HER(future) replay_buffer ReplayBuffer(capacity1_000_000) future_k 4 relabel_prob 0.8 for episode in range(total_episodes): trajectory [] # 記錄本回合所有 transition obs env.reset() goal env.goal # 原始目標(biāo) for t in range(max_steps): goal_input concat(obs, goal) action actor(goal_input) noise next_obs, reward, done, info env.step(action) # 原始經(jīng)驗(yàn)先存一份后面可能被重標(biāo)注 trajectory.append({ obs: obs, next_obs: next_obs, action: action, reward: reward, done: done, goal: goal }) obs next_obs if done: break # 把原始軌跡放入 buffer for transition in trajectory: replay_buffer.push(transition) # 重標(biāo)注對(duì)軌跡中的每條 transition 都可能做一次 for t, transition in enumerate(trajectory): if random.random() relabel_prob: continue # 采集 future 狀態(tài)池從 t1 到回合末尾的 next_obs 里隨機(jī)抽 future_states [trajectory[i][next_obs][:goal_dim] for i in range(t, len(trajectory))] if len(future_states) 0: continue # 隨機(jī)抽 future_k 個(gè)候選再隨機(jī)選一個(gè) candidates random.sample(future_states, min(future_k, len(future_states))) new_goal random.choice(candidates) # 重算獎(jiǎng)勵(lì)和 done new_reward compute_sparse_reward(transition[next_obs], new_goal) new_done 1.0 if new_reward success_reward else 0.0 # 替換目標(biāo)后壓入 replay buffer replay_buffer.push({ obs: concat(transition[obs], new_goal), next_obs: concat(transition[next_obs], new_goal), action: transition[action], reward: new_reward, done: new_done, goal: new_goal }) # 正常 off-policy 更新 if replay_buffer.size() batch_size: for step in range(updates_per_episode): batch replay_buffer.sample(batch_size) update_actor_critic(batch)這段代碼有幾個(gè)細(xì)節(jié)值得說(shuō)明。一是future_states里我只抽了next_obs中的 goal 維度的部分因?yàn)楹芏喹h(huán)境里 goal 只是狀態(tài)的一個(gè)子集。二是random.sample里用min(future_k, len(...))防止越界這個(gè)邊界問(wèn)題我后面還會(huì)提到。三是重標(biāo)注后的 experience 也正常參與訓(xùn)練和原始 experience 混在一起不需要區(qū)分優(yōu)先級(jí)。3.6 環(huán)境選擇建議從一個(gè)簡(jiǎn)單到你能盯住每個(gè)環(huán)節(jié)的任務(wù)開始我第一次在gym里嘗試 HER 時(shí)為了快速驗(yàn)證沒(méi)有直接用 FetchReach而是先用了一個(gè)手寫的bit-flip 環(huán)境狀態(tài)是一個(gè) n 位的 0/1 向量目標(biāo)是把這個(gè)向量變成另一個(gè)目標(biāo)向量每一步只能翻轉(zhuǎn)一位。這個(gè)環(huán)境極度稀疏——只有完全匹配才給獎(jiǎng)勵(lì)但目標(biāo)空間有限隨機(jī)探索也能偶爾碰到成功非常適合驗(yàn)證 HER 實(shí)現(xiàn)是否真的有效。如果你連 bit-flip 都嫌麻煩直接在gymnasium里用FetchReach-v4這類環(huán)境也行它已經(jīng)是 mujoco 移植版本狀態(tài)觀測(cè)比較干凈。但我仍然建議先從簡(jiǎn)單環(huán)境過(guò)一遍全流程確認(rèn)重標(biāo)注、獎(jiǎng)勵(lì)計(jì)算、done 邏輯都正確再上機(jī)器人環(huán)境。否則一旦訓(xùn)練不收斂你根本分不清是 HER 實(shí)現(xiàn)問(wèn)題還是環(huán)境本身太難。4. 實(shí)操過(guò)程與核心環(huán)節(jié)實(shí)現(xiàn)一次完整的 HER 訓(xùn)練復(fù)現(xiàn)記錄4.1 從零到一準(zhǔn)備環(huán)境和模型用 DDPG 還是 SAC我在實(shí)際項(xiàng)目中綜合下來(lái)SAC HER 的組合通常比 DDPG HER 更穩(wěn)數(shù)據(jù)利用率也很高但代碼復(fù)雜度稍高。如果只是驗(yàn)證思路DDPG HER 足夠如果要上復(fù)雜任務(wù)建議直接上 SAC HER。原因很簡(jiǎn)單SAC 自帶熵正則探索更充分配合 HER 的“經(jīng)驗(yàn)發(fā)掘”能讓成功率天花板更高。模型結(jié)構(gòu)方面我一般用一個(gè)三層的 MLP第一層concat(obs, goal)作為輸入維度是 obs_dim goal_dim隱藏層(256, 256, 256)激活函數(shù)用 ReLU輸出層actor 輸出動(dòng)作連續(xù)任務(wù)用 tanhcritic 輸出 Q 值critic 更新時(shí)我的 loss 是標(biāo)準(zhǔn)的 TD lossL ( Q(s, g, a) - (r gamma * (1 - done) * Q(s, g, a) ) )^2注意這里r是重標(biāo)注后的獎(jiǎng)勵(lì)g是重標(biāo)注后的目標(biāo)。actor 更新時(shí)最大化Q(s, g, a)其中輸入動(dòng)作由 actor 輸出輸入目標(biāo)用當(dāng)前 batch 里的 goal可能是原始目標(biāo)也可能是重標(biāo)注目標(biāo)取決于我們采樣到哪條經(jīng)驗(yàn)。4.2 訓(xùn)練參數(shù)與超參數(shù)設(shè)置貼一份我常用的配置超參數(shù)我貼一份自己跑通的配置環(huán)境是FetchReach-v4機(jī)械臂末端到達(dá)目標(biāo)位置。這個(gè)環(huán)境目標(biāo)維度是 3狀態(tài)維度大概 10 左右動(dòng)作維度 4非常適合先跑通流程超參數(shù)數(shù)值說(shuō)明replay buffer 容量1_000_000要足夠大HER 對(duì) buffer 需求很高batch size256我用 256穩(wěn)定性和顯存占用平衡gamma0.98目標(biāo)條件任務(wù)不需要太大太大容易震蕩actor / critic 學(xué)習(xí)率1e-3 / 1e-3用 Adam同步衰減tau軟更新0.05不同于默認(rèn)的 0.005我調(diào)大了一些更新更快每回合更新次數(shù)40一個(gè) episode 結(jié)束后更新 40 次梯度f(wàn)uture_k4future 策略采樣范圍relabel_prob0.8重標(biāo)注概率探索噪聲OU Noise 或 Gaussian 0.1早期大噪聲后期衰減強(qiáng)調(diào)一下 tau 這個(gè)參數(shù)。很多人直接抄 DDPG 默認(rèn)的 0.005目標(biāo)網(wǎng)絡(luò)更新太慢配合 HER 這種數(shù)據(jù)效率極高的方法會(huì)顯得訓(xùn)練特別慢。我調(diào)到 0.05 之后訓(xùn)練明顯更跟手了。當(dāng)然調(diào)太大也會(huì)不穩(wěn)定建議在 0.01 到 0.1 之間做個(gè)小掃描。4.3 訓(xùn)練效果對(duì)比HER 到底能把成功率拉到多高我在相同環(huán)境、相同預(yù)算下跑過(guò)一組對(duì)比純 DDPG 稀疏獎(jiǎng)勵(lì)跑了 80 個(gè) epoch成功率幾乎為 0只能靠運(yùn)氣偶爾碰到目標(biāo)然后馬上又忘掉。DDPG HERfinal 策略成功率能到 50% 左右但波動(dòng)很大有時(shí)一個(gè) epoch 能到 70%下一個(gè) epoch 又掉回 20%。DDPG HERfuture 策略成功率穩(wěn)步上升80 個(gè) epoch 時(shí)能達(dá)到 85% 以上波動(dòng)也小很多。SAC HERfuture 策略同樣的 epoch 數(shù)成功率能到 90% 以上而且樣本效率略高。表里的“成功率”不是測(cè)試時(shí)的貪心成功率而是訓(xùn)練過(guò)程中的評(píng)估成功率評(píng)估時(shí)不加噪聲。我見過(guò)很多人測(cè)試時(shí)用隨機(jī)動(dòng)作去模擬訓(xùn)練過(guò)程這是錯(cuò)的——評(píng)估一定要用確定性動(dòng)作否則噪聲會(huì)影響你的判斷。另外我強(qiáng)烈建議在訓(xùn)練過(guò)程中定期保存 checkpoint每 5 個(gè) epoch 存一次。HER 訓(xùn)練極容易在后期出現(xiàn)“震蕩性遺忘”就是明明已經(jīng)學(xué)會(huì) 80% 成功率突然某個(gè) epoch 又跌回 30%。如果有 checkpoint可以回溯到之前好的權(quán)重而不是從頭再來(lái)。4.4 一個(gè)容易被忽略的實(shí)現(xiàn)細(xì)節(jié)狀態(tài)歸一化與目標(biāo)縮放的先后順序前面提到要?dú)w一化 obs 和 goal這里再細(xì)化一下。我的做法是先收集一些隨機(jī)探索數(shù)據(jù)算出各維度的 mean 和 std然后對(duì) obs 和 goal 分別歸一化。但是有個(gè)先后順序的問(wèn)題如果你要把 goal 從狀態(tài)空間里拆出來(lái)歸一化一定要保證 obs 里沒(méi)有被歸一化后的 goal 混著。否則同樣是“目標(biāo)位置”這個(gè)信息一處歸一化一處不歸一化模型會(huì)學(xué)到混亂的特征。在gymnasium的 Fetch 類環(huán)境里observation是完整狀態(tài)achieved_goal和desired_goal是單獨(dú)字段。我的處理方法是只拼obs不包含 goal 部分和desired_goal的歸一化向量。當(dāng)重標(biāo)注時(shí)新的desired_goal是從achieved_goal里采樣得到的也要走同一套歸一化參數(shù)。這個(gè)細(xì)節(jié)看起來(lái)小但直接影響收斂速度。我試過(guò)不歸一化直接拼訓(xùn)練曲線跟心電圖一樣歸一化之后曲線才變成正常的上坡形態(tài)。如果你的環(huán)境狀態(tài)本身就是 0 到 1 的連續(xù)值歸一化可以省掉但只要現(xiàn)實(shí)到機(jī)器人任務(wù)幾乎必須做。4.5 延伸一步從 HER 到 HIRhindsight 思想在上游指令數(shù)據(jù)清洗中的應(yīng)用既然是“hindsight”標(biāo)題我順便擴(kuò)展一個(gè)方向Hindsight Instruction RelabelingHIR很多人也叫 LLM 版的 hindsight。它把 HER 的思想搬到了指令微調(diào)數(shù)據(jù)上。傳統(tǒng)指令微調(diào)需要人工寫“輸入-輸出”對(duì)但自動(dòng)生成數(shù)據(jù)時(shí)經(jīng)常出現(xiàn)模型答非所問(wèn)、輸出和指令不匹配的情況。HIR 的思路是既然模型給了這個(gè)輸出那就根據(jù)輸出反推一個(gè)指令再把“指令 輸出”作為新樣本喂給模型。具體操作上拿一個(gè) LLM比如 GPT-4 或開源模型給定原始錯(cuò)誤樣本的輸入輸出讓它用幾句話分析“這段輸出實(shí)際上回答了什么問(wèn)題”再生成一條符合該輸出的新指令然后組合成新的訓(xùn)練對(duì)。這和 HER 的 relabeling 完全同構(gòu)失敗樣本被改寫成成功樣本目標(biāo)空間從“原始指令”重標(biāo)到“模型實(shí)際完成的問(wèn)題”。在清洗帶噪自動(dòng)標(biāo)注數(shù)據(jù)時(shí)這個(gè)思路很有用相當(dāng)于自動(dòng)把低質(zhì)量樣本“救活”。不過(guò)要提醒的是HIR 會(huì)引入“模型擅長(zhǎng)什么就說(shuō)什么”的自證偏差如果全部重標(biāo)注可能讓模型只學(xué)會(huì)自己偏好的輸出模式。所以我一般控制重標(biāo)注比例只對(duì)一小部分樣本做改寫當(dāng)作數(shù)據(jù)增強(qiáng)手段而不是主數(shù)據(jù)來(lái)源。這和 HER 里relabel_prob不能設(shè)成 1 是一個(gè)道理。5. 常見問(wèn)題與排查技巧實(shí)錄我在 HER 項(xiàng)目里踩過(guò)的坑5.1 訓(xùn)練不上升先別急著加網(wǎng)絡(luò)復(fù)雜度去查這三個(gè)地方我在多個(gè)項(xiàng)目里碰到過(guò) HER 訓(xùn)練曲線長(zhǎng)時(shí)間不動(dòng)的現(xiàn)象排到最后大多不是算法問(wèn)題而是三個(gè)低級(jí)錯(cuò)誤reward 計(jì)算里用的是 obs 而不是 next_obs。后來(lái)才發(fā)現(xiàn)“到達(dá)目標(biāo)”這個(gè)判斷應(yīng)該用動(dòng)作執(zhí)行后的下一狀態(tài)而不是動(dòng)作執(zhí)行前的狀態(tài)。寫成reward(s, a, s, g)而不是reward(s, g)這個(gè)是最典型的 ER 錯(cuò)誤。done 標(biāo)志和 reward 沒(méi)對(duì)齊。有的版本稀疏獎(jiǎng)勵(lì)成功給 1但 done 仍為 0或者反過(guò)來(lái)。需要保證“成功即終止”否則 Q 值的 bootstrapping 會(huì)污染。goal 沒(méi)有在新經(jīng)驗(yàn)里同步替換。正如前面說(shuō)的只換了 reward沒(méi)換 obs/goal等于教模型對(duì)著舊目標(biāo)學(xué)新答案。排查方法也很直接在訓(xùn)練前寫一個(gè) check 腳本手動(dòng)構(gòu)造一條已知 transition跑一遍 relabel 邏輯打印新舊 goal、reward、done 是否正常。這個(gè) 10 分鐘就能寫完的腳本能幫你省下一整天的 debug 時(shí)間。5.2 訓(xùn)練后期震蕩和遺忘HER 不是一錘子買賣要配好“保鮮”機(jī)制HER 訓(xùn)練到中后期我經(jīng)常遇到“成功率上去了又掉下來(lái)”的情況。一開始以為是學(xué)習(xí)率太大后來(lái)發(fā)現(xiàn)更核心的問(wèn)題是重標(biāo)注目標(biāo)分布和真實(shí)目標(biāo)分布偏差變大。前期 agent 啥也不會(huì)重標(biāo)注目標(biāo)大多離真實(shí)目標(biāo)很遠(yuǎn)訓(xùn)練還算穩(wěn)后期 agent 學(xué)得不錯(cuò)重標(biāo)注目標(biāo)開始集中于真實(shí)目標(biāo)附近但真實(shí)目標(biāo)本身仍有一定比例隨機(jī)探索失敗樣本兩批數(shù)據(jù)在分布上打架導(dǎo)致策略頻繁震蕩。我的應(yīng)對(duì)方案有三個(gè)降低relabel_prob到 0.50.6讓更多原始目標(biāo)樣本占主導(dǎo)。降低后期學(xué)習(xí)率比如用 cosine schedule讓策略不要?jiǎng)×腋?。定期凍結(jié)目標(biāo)網(wǎng)絡(luò)更新比例讓 critic 的估計(jì)穩(wěn)住了actor 再跟著變。這三個(gè)手段疊加起來(lái)“震蕩遺忘”基本可以被壓制住。但說(shuō)句實(shí)在話HER 并不是為了徹底解決穩(wěn)定性而生的它更像“樣本效率加速器”。如果任務(wù)本身難到超出容量再穩(wěn)也沒(méi)用。5.3 索引越界和維度不匹配最容易被模糊錯(cuò)誤掩蓋的 bugHER 實(shí)現(xiàn)里字符串比較多的代碼在“從未來(lái)狀態(tài)中采樣”這里極易出現(xiàn)索引越界。比如軌跡長(zhǎng)度為 T你遍歷到 t T-1 時(shí)未來(lái)狀態(tài)集合只有當(dāng)前狀態(tài)本身random.sample的 k 可能會(huì)超過(guò)集合長(zhǎng)度。代碼里我習(xí)慣用min(future_k, len(future_states))但這只是第一層保險(xiǎn)第二層保險(xiǎn)是if len(future_states) 0: continue防止某些環(huán)境終止?fàn)顟B(tài)突然截?cái)鄬?dǎo)致空集合。維度不匹配是個(gè)隱性 bug通常報(bào)錯(cuò)發(fā)生在concat(obs, goal)時(shí)但有時(shí)候兩個(gè)維度剛好相同程序不報(bào)錯(cuò)只是語(yǔ)義錯(cuò)亂。比如 obs 可能是 10 維goal 也是 10 維obs 里已經(jīng)包含了當(dāng)前物體位置goal 是目標(biāo)位置如果你不小心把 obs 整體當(dāng)作新目標(biāo)來(lái)替換網(wǎng)絡(luò)的輸入維度沒(méi)變但語(yǔ)義完全錯(cuò)位。訓(xùn)練曲線會(huì)表現(xiàn)為“有點(diǎn)學(xué)習(xí)跡象但永遠(yuǎn)接近不了真實(shí)目標(biāo)”。排查時(shí)我建議打印一段樣本肉眼檢查 obs 和 goal 是否對(duì)得上號(hào)。5.4 收益不明顯可能是任務(wù)本身不適合 HER不是你實(shí)現(xiàn)錯(cuò)了最后說(shuō)一點(diǎn)經(jīng)驗(yàn)之談。HER 不是萬(wàn)能的它適用的任務(wù)有一個(gè)共同特點(diǎn)任務(wù)的目標(biāo)是可擴(kuò)展、可達(dá)或部分可排序的。比如“推物體到任意位置”任意位置都是潛在目標(biāo)“學(xué)到把物體推到 A”確實(shí)有助于推到 B。但如果任務(wù)是“擰開瓶蓋”目標(biāo)狀態(tài)只有兩種——擰開和沒(méi)擰開中間不存在“把瓶蓋擰到 30 度”這種目標(biāo)連續(xù)性HER 的重標(biāo)注收益就很弱。另外我也試過(guò)在多智能體協(xié)作任務(wù)里用 HER效果一般。原因是重標(biāo)注會(huì)干擾其他智能體的觀察導(dǎo)致訓(xùn)練不穩(wěn)定。所以先判斷任務(wù)是否具備目標(biāo)空間的可復(fù)用性再?zèng)Q定要不要用 HER。怎么判斷簡(jiǎn)單粗暴的實(shí)驗(yàn)方法是用一個(gè)隨機(jī)的 state 作為目標(biāo)試跑幾次看模型能不能快速學(xué)到“到達(dá)隨機(jī)狀態(tài)”的能力。如果能HER 大概率會(huì)有效如果連隨機(jī)目標(biāo)都學(xué)不會(huì)HER 也很難救場(chǎng)。5.5 常見問(wèn)題速查表癥狀可能原因解決方案訓(xùn)練曲線完全不動(dòng)reward 用錯(cuò)狀態(tài)done 邏輯錯(cuò)goal 未同步替換寫 relabel 單測(cè)逐字段打印檢查訓(xùn)練后期成功率暴跌目標(biāo)分布沖突學(xué)習(xí)率過(guò)大調(diào)低 relabel_prob學(xué)習(xí)率 schedule軟更新減慢目標(biāo)明明很近但學(xué)不會(huì)維度未歸一化obs 和 goal 尺度差異大分別歸一化統(tǒng)一量綱采樣時(shí)報(bào)索引錯(cuò)誤future 集合為空或長(zhǎng)度不足用 min(k, len) 空集合跳過(guò)成功率有時(shí)高有時(shí)低replay buffer 太小經(jīng)驗(yàn)被覆蓋太快增大 buffer 容量使用 on-policy 算法配合 HER理論不兼容切換 DDPG / SAC 等 off-policy 算法5.6 調(diào)參優(yōu)先級(jí)參考我總結(jié)一下調(diào)參的先后順序新手照著做能少走彎路先確認(rèn)代碼邏輯正確尤其 relabel 后的 reward、done、goal 是否一致。再調(diào) reward 的稀疏/稠密設(shè)計(jì)不要一上來(lái)就加一堆輔助獎(jiǎng)勵(lì)。然后調(diào)relabel_prob和future_k這兩個(gè)參數(shù)決定重標(biāo)注分布。最后調(diào)學(xué)習(xí)率、tau、batch size這些是錦上添花。如果訓(xùn)練還上不去檢查歸一化和網(wǎng)絡(luò)容量。如果前面的邏輯全對(duì)relabel_prob調(diào)到 0.8、future_k調(diào)到 4訓(xùn)練曲線還不上漲那大概率不是 HER 的問(wèn)題而是任務(wù)本身不夠適合這個(gè)方法。5.7 我的經(jīng)驗(yàn)總結(jié)與一個(gè)小技巧hindsight 這個(gè)思想除了強(qiáng)化學(xué)習(xí)我后來(lái)也應(yīng)用在了數(shù)據(jù)分析、模型評(píng)估里——很多“失敗”的模型輸出換個(gè)評(píng)價(jià)口徑其實(shí)就是高價(jià)值樣本?;剡^(guò)頭看它教會(huì)我最重要的一件事不要輕易丟棄看起來(lái)失敗的數(shù)據(jù)換個(gè)目標(biāo)重新看它們往往是寶藏。做實(shí)驗(yàn)遇到瓶頸時(shí)我總會(huì)提醒自己先別質(zhì)疑模型先看看是不是“目標(biāo)定義”出了問(wèn)題。最后分享一個(gè)小技巧如果你想快速驗(yàn)證 HER 的收益不要一上來(lái)就對(duì)比最終成功率而是先對(duì)比首次正獎(jiǎng)勵(lì)出現(xiàn)的時(shí)間。HER 顯著的優(yōu)勢(shì)就是讓第一次獎(jiǎng)勵(lì)提前出現(xiàn)這個(gè)信號(hào)比“最終成功率”更直觀也能幫你迅速判斷實(shí)現(xiàn)是否正確。只要第一次正獎(jiǎng)勵(lì)出現(xiàn)在合理時(shí)間內(nèi)后面穩(wěn)住訓(xùn)練參數(shù)成功率通常只是時(shí)間和算力的問(wèn)題。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色人五月婷婷| 中文字幕欧美日韩VA免费视频| 激情四射五月天| 五月天婷婷小说| 五月天天视频| 91九色熟女| 久久婷婷网| 日韩综合久久| 热99久久这里只有精品| 色情开心五月| 丁香婷婷婷| 99热九九热| 丁香成人视频| site:jszngf.com| 一区三区视频有限公司| 图片区 小说区 区 亚洲五月 | 99亚洲视频| 亚洲激情97五月天| 九九热这里只有精品首页| 综合激情五月丁香| 五月丁香六月婷婷啪啪| 色五月丁香网| 五月婷六月天| 婷婷丁香五月激情图片| 婷婷丁香五月天影院| 婷婷六月色| 五月天婷婷影院影院观看| WWW色综合| 久草五月丁香婷婷综合| 亚洲黄色影视| 俺去也综合| 日本天堂免费99| 天天肏屄夜夜爽| 五月丁香综合在线| 久婷久婷| 人妻22p| 性一交一乱一交A片久| 成年人99热| 久久99这里只有精品| 欧美日韩成人在线免费| 夜夜大香蕉婷婷丁香| 99在线免费视频| 色五月色五天色情网| 甈吧vv| 婷婷久久图片| 免费在线观看AV网站| 五月天伊人综合| 草综合14| 性爱网六月丁香| av操B网站| 欧美69久成人做爰视频| 五月婷婷色播| 99色在线| 丁香五月天堂网| 亚洲情色一区| 91无码高清| 亚洲成人噜噜| 色色色五月婷| 欧美日韩成人在线网站| 91超级碰| 熟女少妇内射日韩亚洲| 欧美大肥婆大肥BBBBB| 极品人妻VideOssS人妻| 丁香婷婷91在线观看视频| 欧美熟女99| AV网站免费在线| 久久性操| 一本久道综合99| 丁香五月婷婷偷拍| 五月天婷婷xxx| 久久网址99热| 五月丁香婷婷啪啪| 青青.com| 人人草公开操| 亚洲麻豆乱码国产2028| 综合五月激情网| 精品国产va久久久久久久| 久热这里只有精品在线观看| 五月婷婷婷婷婷| 天天爽综合网| 激情婷婷丁香| 精品色色| 亚洲国产成人AV在线| 五月丁香婷婷综合| 亚洲天堂玖玖| 色99在线| 五月天六月婷| 久久少妇视频| 大香蕉五月天| 亚洲无码另类| ztEJj| 婷婷玖玖丁香| 五月婷婷色| 大香蕉婷婷五月天| 五月花亭亭| 久久人人人人妻| 26uuu精品国产| 91avse| 天天爱天天爽| 中文网婷婷字幕婷| 五月花综合网| 丁香五月天婷婷中文字幕| 激情综合网激情五月丁香| 26uuu日韩| 色情婷婷五月天| 久久色天堂| 五月丁香激情啪啪| 色综合视频在线| 亚洲色婷婷网站| 激情九九这里只有精品| 在线观看中文字幕| 欧美日韩精品人妻狠狠躁免费视频| 97婷婷五月| 久久草中文日韩欧美| 久色视频首页| 激情综合色婷婷六月天| 开心激情站| 国产精品久久欧美久久一区| 亚洲殴洲精品Av在线| 色五月激情问网站| 久九色| 天天爽曰日爽| 婷婷99狠狠| 久久免费高| 九九综合| 影音先锋91| 99热爱爱干干日| 日本超碰在线| 综合久久激情久久| 99色看这里只有精品| 亚洲婷婷免费| 泰州成人视频| 操人妻AV| 九九久久五月天| 婷婷五月天777| 天天天天干| 亚洲色色色色色色色色色| 99久热在线精品| 国产六月婷婷| 大香蕉啪啪啪| 91久久九久久九久久九久久九久久| 六月丁香啪啪| 噜噜色婷婷| 久久在线视频免费观看| 国产99精品免费视频| www.天天干| 九九在线精点品| 九九丁香社区欧美激情| www,久久久| 亚洲视色| 9伊人网| 色综合色色| www激情com| 国产亚洲精品AAAA片APP| 99热免费精品| 99狠狠色| 久久天堂色| 天天爽曰日爽| 91se视频| renrencaoni| 午夜爱爱网站| 日本色99| 天天做天天爽| 97日在线视频| 五月婷婷激情综合网 | 婷婷色色综合激情| 欧美黑人巨大性生话| 久久精彩免费视频精彩免费视频| 五月亭亭直播| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 天天搞天天色综合| 激情五月综合网| 婷香五月| 播五月开心婷婷欧美综合| 五月开心啪啪| 色啪影院| 色99网| 五月婷婷欧洲| 丁香五月香蕉| 日韩人妻在线观看| 99色在线| 丁香 亚洲 久久| www婷婷色情网| 国产成人片| 97干在线观看视频| 激情欧美五月丁香| www超碰| 婷婷综合网| 亚洲有码在线视频| www婷婷| 久九色| 天天干电影| 2014天天爽| 久久婷狠狠色| 九月丁香婷婷综合激情| 亚洲综合五月天婷婷| 伊人网欧美在线男人天堂五月丁香| 69精品人人人人| 夜夜人妻五月天| 影音先锋一区二区三区| www.99热视频| 欧美电影在线观看| 人人干人人看| 操操操91| 色5月丁香婷婷| 欧美日韩国产一二区| 激情综合丁香五月| 天天日日夜夜爽| 网色99| 狠狠搞五月天| 欧美顶级少妇做爰HD| 色一情一乱一乱一区91Av| 色播五月天激情| 五月天.com| 天天色伊人| 婷婷5月久久综合网站| 激情五月图| 精品一二三区久久AAA片| 这里只有精品视频国产| 超碰精品国产首页| 五月丁香婷婷啪啪| 99综合激情久久精品久久| 久久色大香蕉| 91精品久久久久久| 狠狠色综合五月| 99久久久久久www| 婷婷五月天成人网| 丁香五月综合激情性爱| 99热综合| 无码橾| 97干视频在线| 99性感视频| 免费AV在线| 综合网色| 五月丁香六月婷婷久久肏| 性爱在线播放av| 九九色热| 男女99免费视频| 色婷婷狠狠久久综合五月| 91精品综合久久婷婷九色| 91色五月| 天天天天天天天干| 任你搞免费视频观看| 狠狠丁香| 综合久久99| 五月欧美色播| 丝袜人妻| 激情小说视频图片网| 超碰人人操在线| 久热成人| 夜夜资源站| 五月丁香久久激情网| 婷婷操无码| 激情五月天婷婷丁香 | 99视频| 六月激情婷婷综合| 91人人操人人看| 亚洲精品V天堂中文字幕| 狠狠操狠狠| 色婷婷激情视频| 五月婷婷六月丁香免费| 亚洲在线资源| 婷婷狠狠操| 爱操天堂| 99精品色| 日韩九区| 色综合综合色| 激情六月天婷婷| 久久99免费视频| 超碰超碰在线| 亚洲在线资源| 99在线精品视频| 最近中文字幕在线中文视频| 99久久综合网| 色综合中文| 五月色婷婷影视在线电影| 午夜爱插插| 久草五月婷| 99热精品在这里| 色婷婷综合影院| 天天色综合网1| 99热 在线观看| 欧美碰碰碰| 丁香五月影院| 激情婷婷五月天| 色丁香五月婷婷| 日日夜夜爽| 99热这里只有精品2024| 五月天激情综合网俺也去| 日本高清不卡免费一区二区三区| 二区成人视频| 超碰在线免费观看日韩| 久久久国产精品黄毛片| 性爱激情五月| 亚洲人妻av| 天堂综合久久| 伊人久久艹| 亚洲第一黄网| 亚洲一区二区无遮挡A片| 成人精品99| 婷婷五月综合婷婷| 丁香伊人激情| 久热久色| 情婷婷五月天在线| 亚洲综合色棒| 六月丁香好婷婷| 99热这里只有精品热| 5月婷婷激情6月| 99re这里只有精品视频6| 99色视频| 欧美猛片| 91人人爽久久涩噜噜噜| 天天夜夜爽| 欧美成人网99网| 亚洲第79页| 久久性爱视频网站| 精品无吗va视频免费观看| 天天操天天操| 夜夜撸天天操| 婷婷色5月激情网| 开心婷婷五月天激情网| 99九九在线| 丁香五月天啪啪| 99亚洲视频| 精品成人久久久久久久_一二三四视| 99操视频| 人人播| 精品影院| 色婷婷影院| 成人网址在线观看| 免费观看欧美成人AA片爱我多深| 婷婷丁香精品视频在线观看| 9久国产精品| 五月丁香综合啪啪| 五月婷婷激情综合视频| 色婷婷伊人| 色99色| 4399啪啪视频| 久久大香蕉同僚| 综合激情开心五月| 26UUU亚洲欧美| 综合色激情| 婷综合| 日本人妻伦在线中文字幕| 日本三级日本三级99| 99久热| 色五月,com| 久久91久久精品久久| 亚洲五月天色色| 五月天婷婷激情网| 日韩综合网络男女香蕉a片| 狠狠婷婷爱| 久久一热| 久久香蕉网| 五月丁香日逼| 国产色色网址网站| 91久久五月天| 五月天激情婷婷| 久777| 日本久久视频| 亚洲综合婷婷六月丁香五月| 婷婷色综合| 色五月婷婷在线| 欧美精品久| VA五月激情在线| 婷婷色色综合激情| 天天碰夜夜爽| 大伊香蕉精品视频在线| 色综合激情| 婷婷成人综合| 色爱综合网| 国产精品涩涩涩视频网站| 伊人大香蕉在线视频| 五月激情射| 舔色婷婷| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 婷婷五点亚洲| 香蕉97碰碰碰超视精品| 99日本精品视频热| 另类图片五月天婷婷| 五月天激情网站| 9视频1在线| 免费精品99| 97热久久五月婷婷| 五月丁香黄色视频| 色女人久久| 久久五月综合| 情欲综合网| 丁香激情五月天| tingtingzonghewang| 午夜成人av在线| 韩国天天婷婷| 久久女婷| 任你草| 操日视频| 九九热精品| 天天爽天天透天天爱| 天天天干夜夜夜操| 婷婷综合六月| 婷婷情色五月| 99在线观看视频| 九九亚洲综合| 婷婷丁香综合网| 2025色婷婷| 99ri精品视频在线观看| 色色色五月婷婷| 人妻videos人妻高清| 2050人人操免费工开爱| 超碰人人操在线| 99riAV国产精品视频| 亚洲操b| 激情AV| 69午夜成人影片| 丁香操逼| 丁香激情五月天| 97操碰人人| 搡BBBB搡BBB搡18| 婷婷丁香五月亚洲| 久久99最新| 激情婷| 天天干夜夜想| 五月丁香久久久日婷婷久久婷婷日| 九九热视频在线观看| 性色99| 99婷婷| 久久小视频| 婷婷婷婷婷开心无码播放| 日本A片一区| 99精在线| 开心五月天激情| 中文字幕永久免费| 丁香五月开心亚洲| 五月婷婷啪啪| 一级性爱视频| 午夜婷婷| 人妻AV在线观看| 99精品综合视频| 人人爱人人草| 老司机伊人| 国产Va视频| 五月丁香激情怕怕| 少妇人妻丰满做爰XXX| 色情丁香五月婷婷精品| 天天做天天双| 久久综合播放| se色综合网| 色色色图| www狠狠| 狠狠色狠狠鲁| 婷婷丁香六月激情综合| 中文久久久人妻| 夜夜 操无码| 亚洲色综合色网| 五月天色婷婷综合| 另类综合色| 丁香婷婷色五月天| 天天爽天天摸| 人人噜天天上| 華人性愛AV在線| 99视频日韩| 亚洲黄网AV| 久久激情五月婷婷| 丁香美女主播视频在线观看| 亚洲99视频| ′久久99一| 六月激情网| 人人摸人人| 久久婷婷影院| 人人干99| 大香蕉久久| 婷婷娱乐丁香综合网| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 成人精品在线| 色五月涩涩婷婷| 伊人五月久久| WWW,色五月| 69色婷婷| 婷婷中文网站| 91久久综合亚洲噜噜成人在线| 热91久| 人人操五月天| 婷婷在线播放| 精品人妻伦一二三区久久| 丁香五月天亚洲视频| 亚洲avjiujiur91| 色婷婷久久天天性爱| 人人干99| 人人性久久| 狠狠色狠狠| 日韩黄色AV无码| 97碰碰在线观看视频| 波多野结衣AV无码Porn| 婷婷丁香五月天操逼| 久久曰曰| 欧美日韩国产伦精品日韩人妻一| 一区操| 99碰视频| 激情中文在线| 色色色精品无码区| www色中色综合| 99精品在这里| 天天精品视频免费观看| 开心五月婷婷激情| 婷婷中文字幕网站| 人妻激情久久| 婷婷五月欧美| 老妇操B| a色色色色色| www。五月天。com| 六月天六月婷| site:publishdd.com| 天天上天天爽| 九九婷婷网五月天| 99热这里只有精品9| 丁香婷婷激情网站| 亚洲综合99| 99精品热视频| site:feetmall.com| 五月婷婷视频ab| 五月综合激情综合久| 五月天婷婷久久视频| 五月天婷网| 色婷婷最爱五月| 欧美国产一区二区三区| 伊人在线视频| 日本精品人妻无码77777| 日韩AV中文字幕在线| 九九热在线观看6| 欧美成人精品老美女噜噜噜| 五月天婷久精视频| 日韩无码专区| 天天激情5月天亚洲| 婷婷丁香五月天婷婷| 五月丁香六月婷婷综合网缴情| 999婷婷综合| 男女99免费视频| 色色com| 中文成人在线| 丁香五月激情啪啪啪| 6月丁香婷婷| 天天日夜夜曹| 狠狠插狠狠插| 99网| 人妻久久久久久久 | 天天干天天做| 五月丁香久久综合91| 免费操超碰| 蜜臀av无码久久久久久久久| 激情六月丁香| 都市激情亚洲| 日本特黄aaaaa| 爱射综合| 久久资源网五月婷| 色 五月婷婷基地| 丁香九月激情| 久久精品五月| 五月天六月婷婷| 婷婷五月在线影院| 涩涩涩婷婷| 超碰在线看| 久久婷婷五月丁香网| 激情亚洲网| 丁香五月大香蕉在线99| 亭亭社区五月天| 国产精品a无线| 婷婷久久欧美| 99久热| 五月天怕怕| 丁香五月综合久久八| 亚洲超碰在线| 人妻中文av| 五月天婷a在线| 四色99久久| 婷婷丁香在线| 97久久视频| 婷婷永久在线| www.婷婷五月天| 欧美日韩一a.无| 深爱五月婷婷| 六月伊人婷婷| 精品AV无码超碰| 婷婷香香五月| 欧美成人精品三区综合A片| 色婷婷婷av| 九九色综合| 人人干99| 天天日天天草| 日比视频91| 情久久综合五月天| 99riAV国产精品视频| 五月婷婷影院| 九九热婷婷| 五月丁香91| 啪啪啪大香蕉| 色播综合| 五月丁香婷婷五月色| 亚洲成人综合在线| 色婷婷丁香五月观看| 91爱操| 激情五月天在线观看色婷婷| 少妇人妻人伦A片| 99热国产在线| WWW99热| 天天天天天天操| 国产avapp 网| 婷婷娌伦网| 超碰伊人碰婷婷五月| 丁香六月无码播放| 丁香婷婷五月色成人网站| 日本色五月| 99综合在线| 婷婷激情六月综合| 五月婷婷久久激情| 99综合熟女| 久久精品99| 女人露出p毛视频www网站| 91精品婷婷国产综合久久| 中文人妻主播久久| 97干婷婷| 九九99久久| 亚洲a色| 狠狠操狠狠爱| 五月丁香综合网| WWW.夜夜操.com| 丁香六月婷婷久久综合| 五月天色社区| 99九九热视频| 五月丁香六月片| 色婷婷综合网站| 91熟妇大香蕉| 婷婷涩五月| 国产67194| 九九丁香社区欧美激情| 99久久99九九九99九他书对| 99r这里| 99热999| 99热综合| 操一操| 99这里有精品视频3| 香蕉99网| 欧美成人精品A片免费一区99| www.yw色| 九九热这里只有精品5| 丁香五月激情啪啪啪| 亚洲成人综合在线| 六月婷久久| 伊人五月丁香| 九九婷婷五月天影视| 色九月丁香婷婷蜜桃在线观看| 色欲一区二区三区精品A片| 九九热思思| 色射影院| 丁香五月婷婷欧美激情-中文天堂最新版在线观看 | 99热精品在线播放观看| 丁香色综合| 亚洲精品V天堂中文字幕| 99人人操人人摸| 天天曰夜夜爽| 色丁香五月婷婷| 青青草原伊人网| 97碰碰草| 日日爽日日| 五月婷在线视频免费播放| 色一情一乱一乱91Av| 久久99网| 精品乱码久久久久| 婷婷丁香成人在线视频| AV激情五月| 丁香五月亚洲综合| 婷婷丁香五月天综合在线日韩| 六月 丁香 视频| 亚洲综人色综网| 五月丁香狠狠爱婷婷综合| 情色婷婷五月天| 日本色五月| 五月婷在线观看| 久久奄也去色色网站| 五月天伊人av| 性小说五月天| 91ncm视频| 九色综合网| 五月婷婷啪啪啪啪| 婷婷五月综合性爱| 免费播放AV| 久久精品日| 亚洲黄色av网站| 韩国真做片在线观看| 另类在线| 丁香综合日产精品久久| 成人在线99| EEUSS鲁片一区二区三区| 色婷婷丁香五月天在线观看| 天堂网啪啪| 欧洲不卡视频| 五月激情天| 国产AV熟妇人震精品一品二区 | 婷久久| 嫩草视频。| 九九99男女视频在线观看| 91九色欧美| 极品五月天| 超碰人人91| 亚洲一个色| 亚洲射激情| 亚洲日日操| 91凹凸在线| 色噜噜狠狠色综合日日| 精品成人久久久久久久_一二三四视| 丁香五月大香蕉| 亚洲日本韩国| 久久九九re热| 狠狠久综合| 亚洲激情av| 色小说五月婷婷| 日本婷婷| 六月婷婷色综合| 欧美xx激情视频在线观看| 无码 色| 激情五月少妇| 99视频在线精品免费观看2| 99热只有这里才是精品| 天天舔天天摸视频| 色吧五月婷婷| 天天做天天爱| 9热视频在线观看| 国产综合婷婷| 91久热| 亚洲爆乳无码精品AAA片蜜桃| 九九99视频精品| 丁香九色不卡aaa| 亚洲AV永久无码影院黑人| 丁香色影院| 久久久jd| 99热这里只有精品268| 一级黄色影片| 五月天伊人日日噜影片AV| 婷婷五月色影视先锋| 美国十月色婷婷在线观看| 五月丁香自拍| 99免费在线视频| 无码人妻少妇色欲AV一区二区| 国产精品久久久爽爽爽麻豆色哟哟| 天堂成人A片永久免费网站| 色欲婷婷五月天丁香| 色婷婷9| 欧美A级网站| 九九99久久| 99免费超碰在线| 涩五月婷婷| 激情综合网亚洲色图| 中文字幕av久久爽一区| 欧美25p| 性爱网五月婷婷| 色婷婷婷av| www..999热久| 九月丁香| 一级黄色操B| 色五月婷婷开心| 五月婷婷丁香婷婷| 波多野结衣不卡AV| 在线观看亚洲视频影院| 激情五月视频在线婷婷| 大香蕉综合| 黄色片久久| aaaaaa片| 五月激情在线| 免费成人中文字幕| 久热这里只有精品在线| 婷婷久久网| 五月婷婷av在线| 午夜青草资源| xx久久| 亚洲视频一区| 色玖玖综合网| 丁香五月婷婷色播艳门照| 色色色婷婷五月天| 超碰97在线观看免费| 99在线播放视频| www.狠狠操| 天天干天天日蜜臀av| 五月婷丁香在线视频在线| 99热精品在线观看| 婷婷丁香高潮了| 久久久国产精品黄毛片| 五月婷婷色播| 九九精品综合| 久久婷婷七月丁香| 免费AV在线网址| 深爱激情综合网| 免费无码毛片一区二区A片| 亚洲欧洲午夜成人精品av| 久久激情网| 琪琪色影音先锋| 天天做天天爱天天玩| 欧美搡BBBBB摔BBBBB| 丁香五色月婷婷网| 五月天激情色色| 欧美激情五月| 婷婷五月乱交换| 天天色天天日天天舔| 婷婷色吧| 久久久久9| 久久色五月| 色色色婷婷五月| 九月丁香婷婷网| 这里只有精品在线视频在线观看| 热热99爱爱| 久久婷婷五月丁香网| 大香蕉伊然在亚洲90| 五月天另类激情在线| 五月婷婷AV| 狠狠综合网| www.天天色综合| 办公室少妇激情呻吟A片在线观看 白人荫道BBWBBB大荫道 | www,超碰| 五月色综合网欧美网| 三男玩一女三A片| 中文字幕永久在线| 97超碰婷婷五月天| 色屌丝中文字幕| 丁香婷婷激情网站| 天天综合精品| 激情五月深爱五月观看| 精品久热| 婷婷九月色| 在线播放中文字幕| 9久久精品| 色级停停| 九九热在线视频,| 无码人妻丰满熟妇奶水区码| 九九性视频| 成人网址在线观看| 五月丁香色停停啪啪啪| 婷婷色啪| 婷婷亚洲在线| 99热 日韩| 伊人激情啪啪| 五月天婷婷导航| www.五月天色色.com| 国产精品18久久久| 亚洲丁香五月| 婷婷五月天成人导航| 色五月婷婷五月天| 丁香月五月天婷婷久久| 人妻熟女一区二区AV| 香蕉人在线香蕉人在线 | 欧美亚洲999| 九九热在线99| 92久久| 欧美性二区| 婷婷五月娱乐在线| 极品少妇高潮啪啪AV无码| 99色| 久久激情五月网| VA婷婷| 亚洲V国产V欧美V久久久久久| 3p日韩网站视频| 91操片| 久热在线观看视频9| 久热这里| 婷婷六月天亚州| 99激情网| 色欲久久99精品久久久久久| 五月天开心激情综合网| 五月激情综合婷婷| 婷婷五月,综合伊人| 欧美激情综合五月色丁香| 婷婷涩五月| 色综合久| 综合色五月| 99视频在线观看视频| 金桔一区二区ab地址| 五月天婷婷激情在线色图| 日韩人妻AV在线| 色五月激情五月丁香五月婷婷啪啪综合| 色婷婷色人人射| 欧美乱码国产一级A片| 九九99精品免费播放| 噜噜在线| 《蜘蛛女》梁铮1995| 777丁香六月青青草婷婷综合久月| 五月丁香久久婷| 婷婷狠狠操| 中美日韩成人在线| 色丁香在线视频| 婷婷五月丁香综合亚洲| 婷婷欧美综合| 吊色AV男人的天堂| 久热丁香| 秋霞AV美国| 69精品人妻不卡视频| 狠狠操天天干| 99热99美国在线观看| 婷婷五月天日逼| 久久99这里| 五月色婷婷亚洲| 九九色中文| 97偷拍在线视频| 99综合入口| 无码人妻一区二区一牛影视| 亚洲av综合在线| 5Www色5夜| 五月丁香A片| 婷婷成人五月天| 久久久天堂国产精品女人| 超碰成人免费| 午夜不卡久久精品无码免费| 蜜桃人妻无码AV天堂三区| 99精品一二三四视频| 五月天婷婷高清无码| 婷婷六月激情在线视频| 人人爱人人添| 99综合网| 五月婷婷色情| 天天干天天拍| 99毛片| www99热| 色五月婷婷五月天| 丁香五月婷婷色综合| 九九综合| 性做爰A片免费视频A片直播| httpwww色com日本| 麻豆精品| 成人av免费观看| 天天更新天天亚洲| 久热这里这里有精品| 免费试看小视频 99| 婷婷五月花西瓜| 九九大香蕉黄色影院| 久久久网站| 粉嫩AV久久一区二区三区| 色五月激情网| 国产欧美精品AAAAAA片| 六月婷婷色综合| 五月丁香综合在线| 青草视频在线播放| 疯狂做受XXXX高潮A片动画| 婷婷激情五月呦呦| 逼特逼在线免费播放| 国产精产国品一二三在观看 | 99热精国产这里只有精品| 青青操avbb| 婷婷五月骚厕所| 欧美在线视频免费播放| 丁香五月天婷婷中文字幕| 婷婷丁香人妻天天爽| 久久综合五月天激情小说网站 | 色五月综合激情| 日韩欧美颜射| 综合久久五| 碰人人97| 第四色婷婷日本| 思思热久久久在线| 色九九综合| 久热99视频在线观看| 久草性爱| 丁香蜜臀黄色婷婷五月天| 在线视频99| 影音先锋色婷婷| 五月婷网| 激情小说之五月| 五月激情站| 亚洲综合草草| AV人人操| 熟女人妻视频| 五月丁香91| 色五月丁香五月婷婷五月成人网| 婷婷5月九九| 天天日夜夜爽| 伊人在线视频| 九九色逼| 五月天激情图片| 免费视频WWW在线观看网站| 日韩在线观看亚洲| 久色视频在线| 99热这里都是精品| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 婷婷五月天VI| 婷婷五月a| 综合99久久| 中文乱子伦视频| 成人精品视频99在线观看免费| 婷婷福利影院| 开心久久爱五月天| 五月丁香久久| 色婷婷综合综合网| 影音先锋777xfplay色资源网站| 操逼三区| 丁香9月婷婷| 久热最新视频| 色噜噜狠狠色综合日日| 九九艹女| 天天日夜夜夜操操操操| 9l视频自拍9l九色成人| 视频1区2区| 色情五月丁香婷婷网| 91久久| 狠狠精品干练久久久无码中文字幕 | 丁香 婷婷五月| 婷婷激情五月综合| 大香蕉色婷婷伊人在线| 激情亚洲婷婷| 五月天成人免费视频| 涩玖玖免费视频| 丁香五月婷在线观看| 色婷婷狠狠爱| 色久女| 激情丁香九九五月综合网| 伊人久久综合| 六月丁香五月天| 五月激情久久| 桔色成人在线| 伊人综合网站| 凹凸7777操操操| 91超碰人人操| 五月丁香色色综合| 99热免费| 成人在线日韩欧美| 五月中旬婷婷丁香六| 狠狠色色| 婷婷五月天色色| 91日韩在线| 思思99热热热99| 玖玖婷婷色五月| 91免费看片| 天天干天干| 国产AV一区二区三区最新精品| 婷婷五月天777| 性按摩玩人妻HD中文字幕| 亚洲综合色丁香五月天| 日韩1区2区| 影音先锋女人av鲁色资源网小说免费| 婷婷五月天色播| 丁香五月综合狠狠| 99免费热视频| 日本熟妇乱妇熟色A片蜜桃| 99碰在线视频| 色五月涩涩婷婷| 啪啪激情综合| 狠狠干狠狠干| 五月天激情网页| 久久精彩视频| 国色天香伊人狠狠色| 99国产精品久久久久久久久久久 | 丁香色五月天| 久久精品国产色| 性爱久久| 久久香蕉网| 国产肥白大熟妇BBBB视频| 五月天电影网| 亚洲网站观看视频| 天天草比天天爽| 99热精品观看| 五月天色五月| 六月丁香社区| 91干99| 欧美在线97| 婷婷久久久久久久| 久久激情四射| 天天插天天| 人人操女人| 国产精产国品一二三在观看| 五月花婷婷在线精品视频| 99re久久| 五月天天天色| 91欧美| 婷婷性爱五月天丁香网| 色情丁香五月婷婷精品| 欧美性丁香色色五月天综合爱爱| se婷97| 五月婷婷啪啪| 五月婷婷久久开心网| 性爱久久| 婷婷五月免费视频| 日韩无码系列| 久久综合五月天| 另类激情中文| 性小说五月天| 任你操精品免费| 精品亚洲国产成AV人片传媒| 碰97久久| 97人妻碰碰碰久| 狠狠色综合图片| 日婷婷久久开心| 99男人的天堂| 91妻人人爽人人看片| 色狠狠999综合| 亚洲精品性色| www.激情| 无码动漫AV| 亚洲欧美在线观看| 色九网| va中文资源在线观看| 婷婷5月久久综合网站| 日日综合网| 丁香五月网在线观看| av在线不卡播放| 激情操逼婷婷| 26uuu日韩| 久热黄色| www.国产色| 日日射天天射| 久久九九视频网站| 日韩黄色网络| 99色免费在线观看| 97精品综合久久| 色婷婷亚洲婷婷在线观看| 九九碰九九爱97超碰| 日本色色影片| 久超超碰| 婷婷五月丁香在线视频| 俺去也在线官网| 免费AV黄在线播放| 丁香五月激情啪啪啪| 精品久久99码| 色婷婷精品视频| 26uuu| 99热这里只有精品最新| 狠狠久久婷五月综合色| 五月丁香六月婷婷精品| avh片在线观看| 色色吧综合| 黄色成人网站在线播放| 人妻精品一区二区三区| 婷婷色五月激情| WWW色色色COM| 精品人妻伦一二三区久久| 五月停停色色丁香| 99热综合色图| 久久99热这里只频精品6学生| 色狠狠综合入口| 婷婷亚洲色| 丁香五月在线伊人| 婷五月丁香俺| se.久久视频在线观看| 五月丁香六月婷| 99热免费精品| 99热成人在线观看| oumeisesewang| 色情五月丁香婷婷网| 色婷婷色九月| 久久99大| 伊人综合网站| 丁香五月影院| 丁香五月天激情视频| 婷婷色五天| 五月激情婷婷综合| 性爱网五月天| 五月天播播中文字幕 | 一本到不卡高清DVD| 丁香六月婷婷久久综合| 国产色网站| 五月婷婷在线视频| 在线中文亚洲| 五月婷婷六月丁香综合| 色亚洲欧洲| 日本3级片一区2区| 欧美国产一区二区三区| 99热九九在线| 婷婷综合色五月天| 亚洲无码99| 亚洲综合九九| 六月撸婷婷| 思思热视频| 婷婷久久网| 内射爽无广熟女亚洲| 狠狠五月天| 操操操97| 97爱艹婷婷开心丁香激情综合| 天天操综合网| 色婷婷播放| 最新久久网址| 91婷婷在线| 五月色婷婷影院| 色综合久久88色综合天天看| 精品乱码视频| 五月天激情综合10p| 99热这里都是精品| 婷婷色婷婷| 五月天婷婷小说| 嫩草AV久久伊人妇女超级A| 五月丁香A片| 成人VAV视频在线观看| 色婷丁香| 亚洲性爱日韩无码| 6080av| 亚洲99视频| 99热精品一| 伊人www22综合色| 精品国产AV色一区二区深夜久久| 色五月在线综合| 人妻人人操| 五月丁香六月婷婷手机无线| 丁香五月婷婷激情尤物| 色噜噜狠狠色综合网| 97操在线视频| 日韩AAAAA| www.色婷婷| 激情六月婷婷啪啪| 99久在线精品| 五月丁香五月天现场视频| www,色婷婷| 九九这里都是精品| 色婷婷精品视频在线播放| 99性爱| 五月丁香六月婷婷中文版| 五月亭亭性| 五月综合视频| 狠狠一日| 天天干天天曰天天射| 五月情四婷婷| 一月婷婷色色| 99爱爱| 超喷97免费在线视频| Av免费网站在线| 综合五月草| 五月丁香花免费视频| 婷婷五月综合视频免费播放| 五月婷婷偷拍| 在线看AV| 婷婷天天舔| 狼人久草| 中国操逼99| 久久九九怡红院| 91啪啪网| 丁香亚洲色综合| WWW五月天| 婷婷精品性视频| 天天爽人人综合免费7799| 中文字幕婷婷在线| 久久曰曰| 九九综合久久| 婷婷丁香久久| 九九精品热播| 天堂草在线观| 丁香五月婷婷色情综合| 少妇被躁爽到高潮无码文| 狠干综合| 99视频精品视频| 26uuu国产| 天堂二区| 天天干天天干天天干天天干天天| 日日日日日| 丁香五月花| 五月丁香婷成人网| 色爱亚洲| 婷婷色播婷婷| 99热国内精品| 五月丁香色婷婷色| 婷婷色五月亚洲| 久狠狠| 天堂久久大香蕉| 亚洲综合色色色| 九九Y精品热播| 欧美成性色| www.天天干| 99久操| 五月婷AV| 99这里只有精品| 国产亚洲精品人人| 五月婷婷五月| 无码一区二区三区四区五区| 久久这里只有精品热在99| 99热99ai| 激情五月天色色| 2020久久婷婷五月|