欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

模仿學(xué)習(xí)算法包實戰(zhàn):BC、DAgger與GAIL訓(xùn)練調(diào)參與排錯

模仿學(xué)習(xí)算法包實戰(zhàn):BC、DAgger與GAIL訓(xùn)練調(diào)參與排錯 簡介面向深度強化學(xué)習(xí)與模仿學(xué)習(xí)方向的學(xué)習(xí)者這份代碼包圍繞從專家軌跡中學(xué)習(xí)策略這一主題覆蓋 PPO、AIRL、BC、DRIL、FAIRL、GAIL、GMMIL、PUGAIL、RED 等算法并提供僅狀態(tài)模仿、吸收狀態(tài)指示器與 R1 梯度正則化等實驗選項適合算法復(fù)現(xiàn)、課程項目與基線對比。壓縮包共 27 個文件、約 999KB其中 6 個 Python 腳本承擔(dān)訓(xùn)練、評估與環(huán)境交互邏輯17 張 PNG 匯總各算法訓(xùn)練與測試回報曲線2 個 Markdown 文檔說明使用方法另附專家軌跡數(shù)據(jù)文件目錄緊湊、模塊邊界清楚。已有 1068 人學(xué)習(xí)讀者可從中獲得可運行的模仿學(xué)習(xí)實驗框架、專家軌跡加載與策略優(yōu)化示例、不同算法的結(jié)果對照圖以及排查訓(xùn)練不穩(wěn)定與回報波動的參考思路并據(jù)此理解生成對抗式模仿與行為克隆的差異。1. 獎勵函數(shù)寫不出來時imitation-learning 模仿學(xué)習(xí)算法包能接住哪類任務(wù)控制類項目最常見的卡點不在模型大小而在獎勵函數(shù)機械臂要的是平滑軌跡寫個距離懲罰訓(xùn)練出來全是抖動策略梯度在稀疏獎勵下幾乎不更新調(diào)兩周不如人遙操作十分鐘。imitation-learning 這套 Python 實現(xiàn)的模仿學(xué)習(xí)算法包走的是另一條路——把專家演示當(dāng)監(jiān)督信號先用行為克隆BC把策略立起來再用 DAgger 補上分布偏移最后用 GAIL 在環(huán)境里做對抗式精調(diào)。它面向的是已經(jīng)有腳本專家或遙操作數(shù)據(jù)、但獎勵寫不出來或?qū)懖粶?zhǔn)的 deep-reinforcement-learning 場景判斷自己適不適合標(biāo)準(zhǔn)很樸素你能把一條條軌跡存成(obs, action, next_obs, done)的數(shù)組并且能讓策略真正跑進環(huán)境里這套東西就能用。2. 三種范式的代碼骨架BC 打底、DAgger 補偏移、GAIL 做對抗精調(diào)模仿學(xué)習(xí)算法包最容易讓人誤判的地方是把三個算法當(dāng)成三選一的替代品。實際工程里它們是階梯BC 決定你有沒有一個能跑的策略DAgger 決定這個策略在離線和在線之間能不能接住GAIL 決定最終性能能不能逼近專家。這一章按數(shù)據(jù)流順序把三塊骨架拆開代碼用最常見的組織方式寫倉庫里的類名函數(shù)名可能不一樣但張量形狀和損失形式是對得上的。2.1 軌跡容器與數(shù)據(jù)協(xié)議先把專家數(shù)據(jù)對齊成 (obs, action, next_obs, done)新手翻車十有八九不在算法在數(shù)據(jù)協(xié)議。專家數(shù)據(jù)是離線采的策略數(shù)據(jù)是在線采的如果兩邊字段順序、dtype、done的表示方式不一致后面所有 loss 曲線都沒有參考價值。我一般先寫一個兩種數(shù)據(jù)源共用的環(huán)形緩沖把協(xié)議釘死。import numpy as np class TrajectoryBuffer: 環(huán)形緩沖專家軌跡和策略 rollout 共用同一套字段協(xié)議 def __init__(self, obs_dim, act_dim, capacity200_000): self.capacity capacity self.obs np.zeros((capacity, obs_dim), dtypenp.float32) self.act np.zeros((capacity, act_dim), dtypenp.float32) self.rew np.zeros((capacity, 1), dtypenp.float32) self.next_obs np.zeros((capacity, obs_dim), dtypenp.float32) self.done np.zeros((capacity, 1), dtypenp.float32) # 用 0/1不用 bool self.ptr, self.size 0, 0 def add(self, obs, act, rew, next_obs, done): i self.ptr self.obs[i], self.act[i] obs, act self.rew[i], self.next_obs[i], self.done[i] rew, next_obs, float(done) self.ptr (self.ptr 1) % self.capacity self.size min(self.size 1, self.capacity) def sample(self, batch_size, rngNone): rng rng or np.random idx rng.randint(0, self.size, sizebatch_size) # 有放回采樣夠用且實現(xiàn)簡單 return (self.obs[idx], self.act[idx], self.rew[idx], self.next_obs[idx], self.done[idx]) def save(self, path): # 鍵名固定成這五個評估腳本和可視化腳本都按這套鍵讀 np.savez_compressed(path, obsself.obs[:self.size], actself.act[:self.size], rewself.rew[:self.size], next_obsself.next_obs[:self.size], doneself.done[:self.size])幾個參數(shù)值得說清。dtypenp.float32不是隨手寫的PyTorch 默認(rèn)張量就是 float32用 float64 存一遍再轉(zhuǎn)一遍幾十萬條樣本會白白多占一倍內(nèi)存而且轉(zhuǎn)換發(fā)生在DataLoader的 worker 里很容易變成隱性瓶頸。done存成 0/1 浮點而不是布爾是為了和rew一起拼成(N, 5)的數(shù)組做批量處理時類型不打架。capacity給 20 萬條是經(jīng)驗值連續(xù)動作任務(wù)單條軌跡通常幾百到幾千步20 萬條大致相當(dāng)于幾百條軌跡覆蓋 GAIL 一輪訓(xùn)練足夠再大就只是拖慢采樣。圖像觀測要額外注意一點如果環(huán)境返回的是(H, W, C)的 uint8 幀在add之前就要定好是展平還是保留三維。展平省事但卷積策略網(wǎng)絡(luò)就用不上了保留三維則要在obs_dim上寫(C, H, W)并做通道前置。這個決定一旦寫進 npz后面改起來要重采數(shù)據(jù)屬于典型的后悔藥沒處買。2.2 行為克隆三層 MLP 加 MSE 就夠但輸出頭決定成敗BC 本質(zhì)是監(jiān)督學(xué)習(xí)obs → action的回歸或分類。網(wǎng)絡(luò)不需要深兩層 256 的 tanh MLP 在絕大多數(shù)連續(xù)控制任務(wù)上已經(jīng)夠用真正決定成敗的是輸出頭跟動作空間的匹配方式。import torch import torch.nn as nn class PolicyNet(nn.Module): def __init__(self, obs_dim, act_dim, hidden256): super().__init__() self.body nn.Sequential( nn.Linear(obs_dim, hidden), nn.Tanh(), nn.Linear(hidden, hidden), nn.Tanh(), ) self.head nn.Linear(hidden, act_dim) # 確定性策略直接回歸動作均值 def forward(self, obs): return self.head(self.body(obs)) def bc_loss(policy, obs, act, discreteFalse): out policy(obs) if discrete: # 離散動作交叉熵act 是 long 型類別索引 return nn.functional.cross_entropy(out, act.long()) # 連續(xù)動作MSE 回歸act 需與 out 同量綱 return nn.functional.mse_loss(out, act)nn.Tanh()而不是 ReLU是因為連續(xù)控制的觀測和動作經(jīng)常帶負(fù)值tanh 的對稱性讓初始階段的梯度分布更均勻如果觀測是圖像把body換成幾層 stride2 的卷積再接展平即可輸出頭不動。連續(xù)動作用 MSE 意味著你在擬合條件均值這在高斯策略假設(shè)下等價于只學(xué)均值不學(xué)方差好處是穩(wěn)定壞處是遇到多峰專家數(shù)據(jù)同一個狀態(tài)專家有時左拐有時右拐會學(xué)出一個誰都不像的中間動作。常見做法是改成高斯頭多輸出一維log_std并用-log_prob當(dāng)損失代價是訓(xùn)練更容易發(fā)散方差要 clamp 到[-5, 2]這種范圍。動作量綱是另一個高頻坑。環(huán)境action_space是[-1, 1]的話專家數(shù)據(jù)如果來自力矩控制比如[-20, 20]直接回歸出來的策略一進環(huán)境就會被 clip 成常量現(xiàn)象是 BC loss 掉得很快但 rollout 一動不動。落數(shù)據(jù)前統(tǒng)一按(a - low) / (high - low) * 2 - 1歸一化到[-1, 1]評估時再反歸一化這一步寫在采集腳本里比寫在訓(xùn)練腳本里安全。2.3 DAgger 的在線聚合把「策略會走到哪」交給專家重新打標(biāo)BC 的理論誤差隨軌跡長度平方增長直覺解釋就是策略在專家沒去過的狀態(tài)上沒學(xué)過一旦偏離就再也回不來。DAgger 的思路很直接——讓當(dāng)前策略自己去跑跑到哪些狀態(tài)就請專家對這些狀態(tài)重新打標(biāo)簽把新樣本并進數(shù)據(jù)集重訓(xùn)。代碼骨架不長但循環(huán)里三個順序不能亂。def dagger_loop(env, expert, policy, dataset, iters10, beta00.5, steps_per_iter2000): for it in range(iters): # 1) 用當(dāng)前策略在環(huán)境里采樣收集它真實訪問到的狀態(tài) states [] obs, _ env.reset() for _ in range(steps_per_iter): beta beta0 ** it # 專家介入概率指數(shù)衰減 if np.random.rand() beta: act expert.act(obs) # 專家接管把軌跡拉回可行域 else: with torch.no_grad(): act policy(torch.as_tensor(obs, dtypetorch.float32)).numpy() states.append(obs) obs, _, term, trunc, _ env.step(act) if term or trunc: obs, _ env.reset() # 2) 請專家對這些“策略自己走出來的狀態(tài)”打標(biāo)簽 states np.asarray(states, dtypenp.float32) labels expert.label(states) # 支持批量查詢的實現(xiàn)比逐幀快一個量級 # 3) 聚合后重訓(xùn)注意是在全量數(shù)據(jù)集上重訓(xùn)而不是只訓(xùn)新樣本 dataset.extend(states, labels) train_bc(policy, dataset, epochs5)beta0控制專家介入強度0.5意味著第一輪一半動作由專家給之后每輪減半。有人直接取beta max(0, 1 - it / iters)線性衰減差別不大但指數(shù)衰減在前期更依賴專家適合專家本身很貴的場景。steps_per_iter2000是每輪新采的步數(shù)太小聚合效果不明顯太大則單輪訓(xùn)練時間壓不住2000 到 5000 之間比較常見。這里有個實現(xiàn)細(xì)節(jié)容易被忽略expert.label(states)必須支持批量查詢。如果專家是規(guī)則函數(shù)逐幀調(diào)用兩百次和一次批量調(diào)用在 Python 里的開銷差幾十倍如果專家是人那 DAgger 就不適合跑十輪得改成兩三輪加大量增廣。另外train_bc每輪只訓(xùn) 5 個 epoch 是有意的——DAgger 靠的是數(shù)據(jù)分布持續(xù)擴張不是單輪把 loss 壓到最低訓(xùn)太多輪會讓策略過早過擬合到舊狀態(tài)分布上。2.4 GAIL 的判別器與獎勵整形獎勵從哪來GAIL 解決的是 BC 誤差累積的另一種思路不學(xué)動作學(xué)一個「像專家」的判別器用判別器輸出反向構(gòu)造獎勵再拿這個獎勵跑標(biāo)準(zhǔn)策略梯度。判別器輸入是(obs, action)拼接輸出一個 logit專家樣本標(biāo) 1、策略樣本標(biāo) 0。class Discriminator(nn.Module): def __init__(self, obs_dim, act_dim, hidden128): super().__init__() self.net nn.Sequential( nn.Linear(obs_dim act_dim, hidden), nn.Tanh(), nn.Linear(hidden, hidden), nn.Tanh(), nn.Linear(hidden, 1), ) def forward(self, obs, act): return self.net(torch.cat([obs, act], dim-1)).squeeze(-1) # 輸出 logit def disc_loss(disc, expert_obs, expert_act, policy_obs, policy_act): # 標(biāo)準(zhǔn)二分類交叉熵專家 1策略 0 pos disc(expert_obs, expert_act) neg disc(policy_obs, policy_act) return (nn.functional.binary_cross_entropy_with_logits(pos, torch.ones_like(pos)) nn.functional.binary_cross_entropy_with_logits(neg, torch.zeros_like(neg))) def gail_reward(disc, obs, act, clip10.0): # r -log(1 - D(s,a))D 是判別器給出的“像專家”概率 prob torch.sigmoid(disc(obs, act)) r -torch.log(1.0 - prob 1e-8) return torch.clamp(r, -clip, clip)判別器網(wǎng)絡(luò)刻意比策略網(wǎng)絡(luò)小128 vs 256且只有兩層是為了不讓它太快把策略和專家完全分開。獎勵取-log(1 - D)而不是直接用D是因為前者在D接近 0 時給的正獎勵更平滑策略在早期不至于所有樣本獎勵都是 0.001 這個量級梯度全被吞掉。clip10.0是給獎勵設(shè)上限防止個別樣本把優(yōu)勢函數(shù)撐爆。判別器的訓(xùn)練和策略的訓(xùn)練是交替的每一輪先用當(dāng)前策略采一批 rollout更新判別器若干次再用更新后的判別器算獎勵、更新策略。這個「若干次」就是下一章要單獨說的判別器步頻是 GAIL 里最敏感的超參之一。3. 從零跑通一次訓(xùn)練依賴、專家數(shù)據(jù)、配置和日志的四段命令鏈拿到一個算法包第一件事不是讀完全部源碼是把它跑出第一條非零獎勵曲線。這一步跑通了后面所有調(diào)參才有意義跑不通讀源碼也讀不出所以然。下面這條鏈路按「裝環(huán)境 → 采數(shù)據(jù) → 訓(xùn) BC → 訓(xùn) GAIL → 評估」的順序排腳本名以倉庫里的實際文件為準(zhǔn)我按常見命名寫對不上就按功能找對應(yīng)入口。3.1 依賴裝完之后先驗環(huán)境接口對不對# 1) 建獨立解釋器環(huán)境避免和系統(tǒng)里的 torch 版本打架 python -m venv .venv source .venv/bin/activate # Windows 下?lián)Q成 .venv\Scripts\activate # 2) 裝依賴requirements.txt 里通常鎖 numpy / torch / 環(huán)境接口庫 / pyyaml / tensorboard pip install -r requirements.txt # 3) 自檢把算法注冊表和已安裝的環(huán)境列出來確認(rèn) BC/DAgger/GAIL 三個入口都在 python -m pkg.registry --list第三步別省。算法包的入口常掛在注冊表或getattr動態(tài)導(dǎo)入上包名寫錯、模塊沒被__init__.py導(dǎo)出報錯會出現(xiàn)在訓(xùn)練中段而不是啟動時排查成本翻倍。如果注冊表能列出三個算法名且環(huán)境接口庫能make出你的環(huán)境依賴這一關(guān)就算過了。提示環(huán)境接口庫的版本差異主要體現(xiàn)在reset和step的返回值上。老接口reset()只返回obsstep()返回四元組新接口返回(obs, info)和五元組。包里的 rollout 代碼只認(rèn)其中一種版本不對會報「too many values to unpack」這類看似莫名其妙的錯。改法很簡單在采集腳本里加一層適配或者在環(huán)境外面包一個 wrapper不要在算法內(nèi)部到處打補丁。3.2 采集專家軌跡腳本參數(shù)與落盤格式# 采集專家軌跡。--env 換成自己的環(huán)境 id--episodes 決定演示條數(shù) python scripts/collect_demos.py \ --env YourEnv-v0 \ --episodes 60 \ --policy expert_rule_based \ --noise 0.02 \ --out data/expert_60ep.npz--episodes 60不是拍腦袋的數(shù)下一章會講怎么估第一次跑通先給 20 到 30 條確認(rèn)文件能存下來、字段對得上再補量。--noise 0.02是給專家動作加的小幅高斯噪聲目的是讓專家數(shù)據(jù)覆蓋一點狀態(tài)鄰域BC 學(xué)出來的策略不會在專家軌跡兩側(cè)立刻崩掉。噪聲太大等于污染標(biāo)簽0.01 到 0.05 之間按動作量綱調(diào)動作在[-1, 1]的話 0.02 合適。落盤之后先做個形狀檢查比直接開訓(xùn)省事得多import numpy as np d np.load(data/expert_60ep.npz) print({k: (d[k].shape, d[k].dtype) for k in d.files}) # 期望看到 obs (N, obs_dim) float32, act (N, act_dim) float32, done 里 1 的個數(shù)等于軌跡條數(shù)done為 1 的樣本數(shù)應(yīng)該正好等于--episodes多一個少一個都說明采集循環(huán)里對terminated和truncated的處理有問題。超時截斷算不算done在不同算法里處理不一樣BC 不在意GAIL 在意——超時被當(dāng)成終止會讓價值函數(shù)學(xué)到「到時間就沒價值」正確做法是用truncated做 bootstrap 而不是當(dāng)終止。3.3 配置文件一次訓(xùn)練里真正要動的十幾個鍵algo: gail seed: 0 env_id: YourEnv-v0 demo_path: data/expert_60ep.npz policy: hidden: [256, 256] activation: tanh train: total_steps: 1_000_000 batch_size: 256 lr_policy: 3.0e-4 lr_disc: 1.0e-3 disc_updates: 3 # 每輪策略更新前判別器更新幾次 gamma: 0.99 gae_lambda: 0.95 ent_coef: 0.01 gail: reward_clip: 10.0 disc_hidden: 128total_steps: 1_000_000是環(huán)境交互步數(shù)而不是梯度步數(shù)這個口徑一定要跟日志對上否則你會以為訓(xùn)了很久其實只采了幾萬步。ent_coef: 0.01是熵正則GAIL 里不建議設(shè)太大——獎勵本身是從判別器來的熵太高會讓策略主動往判別器沒見過的區(qū)域跑判別器給的獎勵全是噪聲訓(xùn)練曲線表現(xiàn)為先漲后崩。3.4 訓(xùn)練與評估日志里該盯哪幾條曲線# 訓(xùn) BC 先確認(rèn)數(shù)據(jù)管線沒問題 python scripts/train_bc.py --config configs/bc.yaml --demo data/expert_60ep.npz # 訓(xùn) GAIL從 BC 權(quán)重?zé)釂?python scripts/train_gail.py --config configs/gail.yaml --init runs/bc/policy.pt # 評估20 條 episode同時看均值和最差分位數(shù) python scripts/evaluate.py --ckpt runs/gail/policy.pt --episodes 20 --percentile 25日志里至少四條曲線要看episode_return、disc_accuracy、policy_entropy、value_loss。disc_accuracy穩(wěn)定在 0.5 到 0.75 之間是健康區(qū)間說明判別器還分不太清一旦沖到 0.95 以上并橫住策略這邊基本拿不到有效梯度獎勵曲線會變成一條緩慢下滑的直線。policy_entropy應(yīng)該緩慢下降而不是斷崖式掉到 0掉太快說明策略過早確定化GAIL 階段就廢了。評估只看均值是自欺欺人。模仿學(xué)習(xí)的失敗是尾部事件——20 條里 18 條接近專家、2 條完全崩均值可能還不錯但上線就是那 2 條在出問題。所以評估腳本里同時打 25 分位數(shù)--percentile 25就是干這個的。4. 超參不是玄學(xué)專家軌跡量、判別器步頻與折扣因子的聯(lián)動關(guān)系模仿學(xué)習(xí)算法的超參比普通監(jiān)督學(xué)習(xí)少但相互耦合更強。改一個數(shù)往往要連帶改另一個不然就是從「不收斂」跳到「過擬合」再跳回來。這一章把三個最影響結(jié)果的量單獨拎出來給的都是范圍和判斷依據(jù)不是絕對最優(yōu)值。4.1 專家軌跡數(shù)量與狀態(tài)維度先算清覆蓋度再談算法BC 的誤差上界大致是O(T2ε)T是軌跡長度ε是單步監(jiān)督誤差。這個式子說明兩件事軌跡越長同樣的單步誤差放大得越厲害想降低誤差要么減小ε更好的網(wǎng)絡(luò)/更多數(shù)據(jù)要么打斷誤差累積DAgger。實操里的估算方式是按狀態(tài)空間覆蓋率不是按條數(shù)。經(jīng)驗區(qū)間任務(wù)類型狀態(tài)維度建議專家軌跡條數(shù)備注低維連續(xù)控制10 以內(nèi)20 到 50每條幾百步夠 BC 出可用策略中維帶關(guān)節(jié)角、速度10 到 5050 到 200建議配 DAgger純 BC 容易偏圖像輸入高維200 以上必須做數(shù)據(jù)增廣否則過擬合背景多模態(tài)專家人遙操作任意200 以上高斯頭或多峰建模MSE 會學(xué)出平均動作表里的數(shù)字是起點不是終點。判斷數(shù)據(jù)夠不夠看 BC 的驗證集 loss 和 rollout 表現(xiàn)是否背離驗證 loss 很低但 rollout 一開始就偏說明數(shù)據(jù)覆蓋不夠加數(shù)據(jù)或者上 DAgger驗證 loss 本身就高說明網(wǎng)絡(luò)容量或者輸入特征有問題加數(shù)據(jù)沒用。4.2 判別器步頻與學(xué)習(xí)率GAIL 最容易失衡的地方disc_updates和lr_disc是一對聯(lián)動參數(shù)。判別器更新太頻繁或?qū)W習(xí)率太高會迅速把策略和專家分開獎勵飽和策略梯度消失更新太少判別器跟不上策略變化獎勵信號滯后訓(xùn)練表現(xiàn)為獎勵曲線劇烈震蕩。我一般這樣起手lr_disc 1e-3、lr_policy 3e-4判別器學(xué)習(xí)率比策略高 3 倍左右disc_updates 1先跑 20 萬步看disc_accuracy。如果它一直在 0.5 附近上不去說明判別器太弱把disc_updates提到 3 或者把disc_hidden從 128 加到 256如果它三步之內(nèi)沖到 0.9 以上反過來做lr_disc降到 3e-4或者給判別器加梯度懲罰。另一個常被忽略的旋鈕是reward_clip。判別器輸出經(jīng)過-log(1-D)之后理論上無界D → 1時獎勵會沖到幾十甚至上百優(yōu)勢估計直接被個別樣本主導(dǎo)。reward_clip: 10.0相當(dāng)于給獎勵設(shè)了個硬上限代價是損失一部分區(qū)分度但換來的穩(wěn)定性在調(diào)試階段更值錢。4.3 折扣因子與 GAE把信用分配對上專家軌跡長度gamma 0.99意味著有效視野大約 100 步0.995大約 200 步0.999大約 1000 步。這個數(shù)要和專家軌跡的實際長度匹配如果專家軌跡平均 300 步收斂到目標(biāo)gamma給 0.99 會讓價值函數(shù)看不到后半段策略學(xué)到的是「快速動一下」而不是「完整完成任務(wù)」。gae_lambda控制偏差和方差的折中0.95 是通用起點。GAIL 的獎勵來自判別器噪聲比環(huán)境原生獎勵大這種情況下把lambda降到 0.9 甚至 0.85 能明顯減小優(yōu)勢估計的方差代價是偏差變大、收斂變慢。判斷依據(jù)是value_loss的波動幅度如果它在兩個數(shù)量級之間來回跳先降lambda再考慮降學(xué)習(xí)率。注意gamma改大之后total_steps也要跟著加。視野從 100 步拉到 300 步同樣學(xué)到「完整任務(wù)」需要的數(shù)據(jù)量大致按比例增加只改gamma不改步數(shù)最常見的現(xiàn)象是訓(xùn)練到一半曲線開始緩慢下滑看起來像過擬合其實是步數(shù)不夠。4.4 參數(shù)速查表參數(shù)作用起步值什么時候改lr_policy策略網(wǎng)絡(luò)步長3e-4曲線震蕩就減半20 萬步不動就翻倍lr_disc判別器步長1e-3判別器準(zhǔn)確率過高就降過低就升disc_updates每輪判別器更新次數(shù)1 到 3先動這個再動學(xué)習(xí)率影響更平滑gamma折扣因子0.99按專家軌跡長度的 1/3 到 1/2 反推gae_lambda優(yōu)勢估計折中0.95value_loss抖動大就降到 0.9ent_coef熵正則0.01策略過早確定化就加大探索過頭就減小reward_clip判別器獎勵上限10.0獎勵方差爆炸時降到 5.0batch_size批量大小256顯存夠就加到 512梯度更穩(wěn)5. 五類翻車現(xiàn)場排查現(xiàn)象、成因和能直接改的那一行算法包的 issue 區(qū)里重復(fù)率最高的不是「怎么實現(xiàn)」而是「我訓(xùn)出來不對」。下面五條按出現(xiàn)頻率排每條都按現(xiàn)象、成因、解決三層寫能直接對應(yīng)到代碼里改哪一行。5.1 BC 訓(xùn)練 loss 很低rollout 三步就飄現(xiàn)象訓(xùn)練集 MSE 降到 1e-3 量級進環(huán)境跑前三步還行第五步動作開始抖第十步直接撞墻。成因典型的分布偏移。專家數(shù)據(jù)只覆蓋專家走過的狀態(tài)策略在專家狀態(tài)上學(xué)得很準(zhǔn)一旦偏出去幾厘米進入沒見過的狀態(tài)輸出就是網(wǎng)絡(luò)外推的隨機值誤差按T2放大。解決上 DAgger哪怕只跑兩三輪也有效暫時不想引入在線專家的話退一步做狀態(tài)增廣——對專家觀測加小幅高斯噪聲、對圖像做隨機裁剪和亮度擾動讓策略在專家軌跡鄰域內(nèi)有定義。噪聲幅度按觀測標(biāo)準(zhǔn)差的 5% 到 10% 給給大了等于教策略在錯誤狀態(tài)上輸出正確動作反而更糟。5.2 GAIL 判別器準(zhǔn)確率三步?jīng)_到 0.98獎勵曲線變平現(xiàn)象訓(xùn)練前幾千步disc_accuracy迅速逼近 1.0gail_reward均值掉到接近 0 并橫住策略性能不再變化。成因判別器容量或?qū)W習(xí)率相對策略太強幾乎瞬間就把兩類樣本線性分開。獎勵函數(shù)變成「策略樣本恒為 -10專家樣本恒為 10」策略拿到的梯度全是常數(shù)等于沒有獎勵。解決先把disc_updates從 3 降到 1再把lr_disc降到 3e-4還不夠就給判別器加梯度懲罰WGAN-GP 那一套或者把disc_hidden從 256 砍到 128。判別器網(wǎng)絡(luò)比策略網(wǎng)絡(luò)小一到兩檔是 GAIL 里比較穩(wěn)的配置習(xí)慣。5.3 觀測歸一化統(tǒng)計量隨訓(xùn)練漂移訓(xùn)練中期突然崩現(xiàn)象前 30 萬步曲線正常上漲之后突然掉下去再也不回來重啟同 seed 也不一定復(fù)現(xiàn)。成因觀測歸一化用了滑動統(tǒng)計量而策略探索到的狀態(tài)分布隨訓(xùn)練不斷擴張mean/std跟著漂導(dǎo)致同一個觀測在不同時刻被歸一化成不同值。價值網(wǎng)絡(luò)學(xué)的是舊分布輸入一變就全亂。解決歸一化統(tǒng)計量只用專家數(shù)據(jù)算一次然后凍結(jié)寫進 checkpoint 一起保存。評估和訓(xùn)練必須用同一份mean/std這一點在加載模型時最容易漏——只加載了權(quán)重沒加載統(tǒng)計量現(xiàn)象是「訓(xùn)練好好的模型評估時表現(xiàn)極差」。5.4 專家動作和環(huán)境動作空間量綱不一致現(xiàn)象BC loss 正常下降但 rollout 里動作像是被截斷永遠(yuǎn)貼著[-1, 1]的邊界走機器人只朝一個方向緩慢移動。成因?qū)<覕?shù)據(jù)來自力矩控制動作范圍是[-20, 20]環(huán)境action_space是[-1, 1]回歸出來的策略輸出被環(huán)境 clip等于把 95% 的信息丟了。解決采集階段就把專家動作按(a - low) / (high - low) * 2 - 1歸一化落盤的 npz 里存歸一化后的值同時在文件里存一份action_low/action_high。評估腳本反歸一化后再env.step。這條建議寫進采集腳本的注釋里不然下一個人接手還要再踩一次。5.5 固定 seed 但兩次訓(xùn)練結(jié)果差很多現(xiàn)象seed: 0寫死在配置里同樣的數(shù)據(jù)同樣的超參兩次跑出來的最終回報差 30% 以上。成因三處非確定性沒關(guān)掉——環(huán)境內(nèi)部的隨機數(shù)生成器沒設(shè)種子、PyTorch 的 cuDNN 自動調(diào)優(yōu)、DataLoader 多 worker 的采樣順序。少關(guān)一處復(fù)現(xiàn)性就沒了。解決環(huán)境reset(seedcfg.seed)、torch.backends.cudnn.deterministic True、torch.backends.cudnn.benchmark False、DataLoader(..., worker_init_fn...)里給每個 worker 派生種子。調(diào)試階段干脆num_workers0慢一點但結(jié)果可比。這套開關(guān)關(guān)掉之后性能可能降幾個點屬于為了可復(fù)現(xiàn)付的必要成本。6. 再往前一步BC 預(yù)訓(xùn)練接 GAIL 微調(diào)加一個誤差分箱的驗證習(xí)慣從零訓(xùn) GAIL 的探索成本很高尤其是動作維度大于 10 的時候判別器早期的獎勵幾乎全是噪聲。更省事的做法是先用 BC 把策略熱啟動到一個「能跑但不精細(xì)」的水平再切 GAIL 微調(diào)。切換時有兩個細(xì)節(jié)要改策略學(xué)習(xí)率降到原來的三分之一到五分之一BC 權(quán)重已經(jīng)很接近解大步長會把它們打散判別器從零開始訓(xùn)、學(xué)習(xí)率保持原值因為判別器面對的是一個已經(jīng)比較像專家的策略需要足夠強的區(qū)分能力才能提供有效梯度。驗證環(huán)節(jié)我習(xí)慣加一個誤差分箱比只看總回報有用得多。思路是拿一批專家觀測喂給策略算每個樣本的動作誤差再按專家動作模長或者狀態(tài)某個關(guān)鍵維度分箱看誤差集中在哪一段。import numpy as np import torch torch.no_grad() def divergence_by_bin(policy, expert_obs, expert_act, n_bins5): 按專家動作模長分箱統(tǒng)計策略與專家的動作 MSE定位誤差集中區(qū) obs_t torch.as_tensor(expert_obs, dtypetorch.float32) pred policy(obs_t).numpy() err ((pred - expert_act) ** 2).mean(axis1) # 每個樣本一個標(biāo)量誤差 key np.linalg.norm(expert_act, axis1) # 用動作模長當(dāng)分箱依據(jù) edges np.quantile(key, np.linspace(0, 1, n_bins 1)) idx np.clip(np.digitize(key, edges[1:-1]), 0, n_bins - 1) return {i: round(float(err[idx i].mean()), 5) for i in range(n_bins) if (idx i).any()}n_bins5按分位數(shù)切保證每箱樣本量接近避免某一箱只有幾個樣本讓均值失真。輸出里如果誤差集中在最高的那一箱說明策略在「大幅度動作」上學(xué)得差多半是專家數(shù)據(jù)里大幅動作樣本少補采時要有意識地多采這類片段如果集中在最低那一箱通常是噪聲問題——小幅動作的信噪比低專家自己抖一下就被當(dāng)成標(biāo)簽學(xué)走了這時候該做的是對專家動作做一點平滑再訓(xùn)。配合評估腳本的 25 分位數(shù)一起看基本能定位八成問題分箱誤差均勻但最差分位數(shù)很差是分布偏移分箱誤差本身就偏某一箱是數(shù)據(jù)覆蓋問題兩者都正常但環(huán)境回報上不去那要回頭看獎勵整形而不是繼續(xù)調(diào)策略。從那以后我每次跑 GAIL 之前都會強制先跑一遍 BC 的分箱誤差確認(rèn)失敗狀態(tài)集中在哪一段再決定是補數(shù)據(jù)還是直接上對抗訓(xùn)練——省下的不是訓(xùn)練時間是那種「訓(xùn)了兩天不知道錯在哪」的消耗。希望幫到你。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
热99热9| 人人人va亚洲视频在线| 91久久久久久久| 色婷婷狠狠爱| 五月天综合| 99综合| 日韩在线观看亚洲| 久久综合综合久久| 激情99| 五月色色色| 婷婷色色欧美| 五月天偷拍| 九九伦子片| 欧美日韩aaaa| 色五月婷婷影视| 激情五月丁香亭亭| 色播综合| 无码激情AAAAA片-区区| 久久这里只有精品22| 91 影音先锋| AⅤ色区| 俺去也综合| 欧韩性爱| 伊人狼人干| 《蜘蛛女》梁铮1995| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 99热这里只有免费| 色婷婷免费视频| 亚洲欧美婷婷五月色综合| 超碰在线国产9| 婷婷射丁香| 五月婷婷新网站| 伊人激情| 婷婷色导航| 激情婷婷九月| 97人人操人人干| 五月丁香六月婷婷中文版| 免费看欧美成人A片无码| 亚洲 综合中文| 亚洲精品V天堂中文字幕| 丁香五月第四色88| www.超碰在线| 99热热热天天人人人超超碰| 婷婷激情四射| 激情婷婷网| 日韩一级网站| 色999;丁香五月| 婷婷五月丁香五月天| 丁香五月狠狠在线观看| 超碰激情网| 色婷九九九| yellow视频在线观看91| 伊人久久五月天| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 五月天婷婷激情网| 天天干天天日天天操| 丁香 婷婷五月| 风流少妇A片一区二区蜜桃| 依人大香蕉| 色播五月婷婷| 91狠狠综合久久| 久久久久久婷| 五月婷婷激情中文字幕| 天天操天天国产三级片处女学生妹| 激情五月丁香五月综合| 爱射综合| 日日舔夜夜操| 91精品无码| 午夜成人在线免费视频| www.99视频| 国产成人av在线| 五月天开心网| 色综合大香蕉| 激情小说视频图片网| 综合久| av高清无码| 激情爱爱网站超大免费| 五月婷婷丁香色吧网| 激情丁香六月| 一区二区传媒视频| 国产免费性爱| 来吧亚洲综合网| 深爱五月日韩| 深爱五月亚洲| 丁香六月啪啪啪| 午夜成人av在线| 久久丁香五月天| 思思re99视频在线观看| 婷婷五月精品在线| www.av视频xx999.com| 六月激情网| 成功精品影院| www夜夜操| 婷婷五月天综合在线| 多精窝99在线视频| 日本妈妈乱| 日日噜噜久久婷婷五月天| 五月丁香六月| 丁香午夜天| 啪啪小说五月天| 亚洲五月丁| 丁香六月色婷婷| 丁香五月97视频| 深爱五月亚洲| 99精品视频免费观看| 99久久99九九九99九他书对| 日本97久久久精品| 五月久久| 色婷婷最新域名| 99热国品| 国产精自产拍久久久久久蜜| 99婷婷| 日韩成人AV在线播放 | 色五月大香蕉| 九九成人| 色五月婷激情| 激情丰满熟妇五月| 成人欧美Va| 亚州精品色情在线观看| 十月丁香婷婷| 一个色的综合| 五月婷婷和六月| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 沈娜娜av| 五月天丁香久久综合 | 怡红院院久久| 牛牛碰免费| 色噜噜狠狠色综| 棕合影院色色| 91chinese在线| www.五月婷婷.com| 五月丁香综合啪啪| 91九色小视频| 五月天堂色| 色婷婷久久久| 99热综合| 狠狠干总合| 婷婷国产日本欧美| 久99久热只有精品国产99| 国产夫妻操逼内射视频| 天天摸日日舔狠狠添婷婷婷| 免费视频这里只有精品| 婷婷五月天视频亚洲| 五月丁香青草综合啪啪| www夜夜操wwwcon| 能看的AV网站| 五月天久久婷婷| 丁香五月婷婷在线观看| 婷婷久久免费| 热99精品视频五月| 九月丁香婷婷| 国自产拍偷拍精品啪啪一区二区 | 欧美综合激情五月| 热99这就是精品视频| 五月婷婷丁香俺日污视频| 丁香涩涩爱| 五月天亭亭俺也| 青青草原伊人网| 九九干视频| 激情五月丁香社区| 亚洲五月婷婷| 91 影音先锋| 91pornav在线| 99热这是里只有精品| 婷婷五月色網站| www色色色com| 久久久国产精品黄毛片| 热五月婷婷| 婷婷干| 97久久视频| 天天射天天射一道本日本社区 | 婷婷五月亚洲一本在线丁香| 五月综合丁香婷婷| 疯狂做受XXXX高潮A片| 影音先锋91在线资源站| a色婷婷| 久热AA| 1024日韩| 战争与艾拉电影免费观看| www五月天com| 久9热| 白人荫道BBWBBB大荫道| 婷婷爱五月| 久久精典| 激情五月天色婷婷综合| 91九色视频| 亚洲午夜AV| 五月天久久婷| 天堂A∨在线| 99视频地址| www.开心激情| 丁香五月婷婷基地| 9999热精品| 日本啪啪天堂| 五月开心深爱激情网| 91超级碰在线视频| 婷婷香草网| 丁香香蕉婷婷| 色播五月丁香综合| 六月天婷婷| 99亚洲天堂| 色婷婷电影网| 综合日本婷婷| 色亭亭五月天网扯| www.婷婷五月天| 色色色色综合网| av电影在线播放| 97色在线视频| 天天爽日日爽夜夜爽| 欧美日本国产欧美日本韩国99| 专区无日本视频高清8| 国产免费av网站| 亚洲激情婷婷| 艾小青av| 99无码精品| 成人在线免费网址| 六月婷伊人| 狠狠五月激情丁香六月| 五月天婷婷激情六月久久| 铁牛TV人妻| 五月婷婷就去色| 超碰不卡在线| 人妻Av在线| 婷婷五月成人色综合| 狠狠狠狠狠狠狠狠| 91精品久久久久久久久久| 丁香婷婷五月综合影院| 色五月激情五月天| 色色五月婷婷网| 色五月网址| 日韩精品色| 日韩无码专区| 久久电影4399| 亚洲六月色| 99精品在线| 我去色色网五雨天| 开心激情播播五月天| 五月婷婷婷婷| 久热爱大香蕉在线蜜臀悦色 | 综合激情站| 丁香五月激情啪啪啪啪| 日日狠夜夜狠| 久久性爱网| 婷婷色婷婷| 99热这里有精品24| 极品人妻XXXXOOOO| 五月丁香WWW| 五月婷婷五月天| Av在线不卡一区| 丁香婷婷九月| 亚欧州精品视频| 在线播放成人| 婷婷香五月| 精品国产乱码久久久久夜深人妻 | 五月天啪啪视频| 99热欲| 激情五月婷婷伊人| 欧美大片免费观看| 国产热精品| 99色在线视频| 情五月亚洲婷婷| 五月天色影院| 激情五月婷婷免费视频| 色五月婷婷久久| 五月丁香啪啪啪综合网| 色色色999| 久久综合五月情| 黄色99网| 一二线视频 另类| 四色 爱 婷婷 精品 亚洲 五月天| 日本人妻A片成人免费看片| 久久99精品久久久久久噜噜| 日韩综合久久| 97人人射| 天天干,天天日| 美女五月天婷婷| 激情小说婷婷| 久久国产性爱A V| 超碰人人在线| 五月色婷婷亚洲| 五月激情综合网| 丁香色婷婷| 丁香六月啪啪啪| AV性爱在线| 深爱五月日韩| 色综合久久8| 99热九九热| 亚洲成人在线观看网址| 天天日夜夜| 哇嘎成人久久| 99亚洲天堂| 欧美噜噜噜草| 久久国产一区二区三区| 色欲AV导航| 91VIP在线观看| 五月婷婷香| 视频1区2区| 亭亭玉月丁香| 人人操91| 欧美大片免费播放器| 国产99视频永久免费| 五月丁香亭亭电影久久| nvrentiantang av| 这里只有精彩小视频视频网站| 99热这里只有精品免费| 日日噜狠狠色综合久久| 看逼中文字幕| 午夜婷婷| 五月丁香激情六月| 欧美色99| 年轻的妺妺伦理HD中文| 人人干av| 久久最新色色色| 日本人妻伦在线中文字幕| 精品人妻久久久久久久| 波多婷婷久久| 色伊人婷婷| 大香蕉精品视频| 2018国产大陆天天弄| 综合深爱五月| 色婷婷19| 97久久人人人干| 婷婷婷婷婷婷婷五月丁香| 婷婷丁香五月91| 五月激情婷婷丁香| 超碰熟女拍拍| 丁香六月婷婷一区| 另类国产欧美视频| 国産精品| 亚洲综合在线丁香五月| 天堂爱啪啪| 欧美色婷婷| 99色色网| 久热这里只有精品视频免费观看| 色吧五月| 亚洲av电影网站| 91色逼| 五月综合视频在线| 一起草aV| 四虎国产精品永久在线国在线| 国精产品一区二区三区| 国产67194| 天天干在线播放| 99九色视频在线观看| 久久精品爱爱| 99操99| 久久色情综合免费网站| 亚州激情网| 亚洲欧美国产A片免费观看| 久久婷婷六月综合| 中文av网| tingtingzonghewang| 91久草五月天婷婷| 国自产拍偷拍精品啪啪一区二区| 99九九玖玖| 97热久久| 丁香六月激情综合| 久久Xx| 亚洲五月婷天天操| 色色色色色热| 九九色播五月丁香| 清纯唯美 激情四射| 天堂综合久久 | 日操夜操天天操不卡| 中文字幕av在线播放| 亚洲Av入口| 五月色丁香婷婷综合| 这里只有精品视频在线| 99超级碰碰| 亚洲激情综合五月婷婷啪啪| 亚洲五月天第一综合干| 婷婷伊人久久| 婷婷久久伊人| 99精品综合在线| 国产SUV精品一区二区6| 99爱视频在线观看这里只有精品| 五月丁香网站在线播放| 亚洲国产婷婷色五月| 久久九九激情五月天 | 色综合99| 六月激情婷婷| 五月丁香色婷婷色| www.深爱激情| 丁香五月中文字幕久色| 26uu| 五月婷婷香蕉| 99久久精| 欧美在线干| 欧美色色干| 99青青草99| 久久er99热精品一区二区 | 婷婷综合激情| 97操操操| 丁香六月激情综合网| 日本超碰在线| 婷婷六月综合激情| 几激情五月婷婷色五月色天堂| 99精品这里只有免费视频| 另类专区在线| 91主播在线| 欧美色激情四射| 男人操女人高潮91视频| 国产精品久久久久久久久久久久| 国产这里只有精品| 午夜天堂一区人妻| 嫩BBB搡BBBB榛BBBB| 天天干天天操天天爽| 婷婷五月电影| 免费AV播放| www.91久久| 激情床戏| 亚洲综合九九| 91狠狠综合久久久| 泰州成人视频| 久久久久久久人妻| 少妇性按摩无码中文A片| 99热这里只有精品2| 五月丁香久人妻中文| 亚洲激情免费视频| www.minyis.com【JT】实力收量可预付QQ2101460746| 天天操夜夜爽| 五月丁香淫淫婷婷婷| 激情五月综合网最新 | 亚洲人人操| 久久丁香五月天| 九色PORNY9l原创自拍| 婷婷久久综合久| 97五月久久丁香婷婷| 久久婷婷丁香| 99热.com| 久久久99精品免费观看| 婷婷大香焦| 精品国婬伦V无码久久久| 97成人操| 久久综合首页| 秋霞免费三级片| 欧美婷婷六月丁香综合色连续高潮抽搐| 久久最新色色色| 久久一热免费视频| 欧美激情-区二区三区| 色婷婷亚洲在线| 色婷婷五月婷婷五月婷婷五月| 天天噪夜夜爽| 第四色首页| 五月丁香六月婷| 天天爽天天透天天爱| 亚洲国产成人裸舞| 激情五月天开心| 大香蕉婷婷丁香视频在线| 亚洲免费99| 色一情一乱一乱一区91Av| 99ER热精品视频| 久在线综合69| 久久香蕉福利| 91操人视频| 亚洲99激情| 天天日日爽| 激情九九六月激情免费视频| 东京热免费视频| 夜精品无码A片一区二区蜜桃| 成人做爰高潮A片免费视频| 热99视频精品在线| 色女人久久| 色六月天天激情综合网| 亚洲第一第二网站| www.maotanji.com| 国产伦亲子伦亲子视频观看| 欧美色色色色色色| 色五月aV| 狼人婷婷久久| 怡红院AV亚洲一区二区三区H| 丁香五月 无码| 九九婷婷综合| 色狠狠六月| 亚洲天天操| 九九这里有精品| 三日本无码| 任我肏| 天天操天天操综合| 色99色| 午夜成人片400| 伊人玖玖综合| 蜜桃婷婷五月| 久久色这里只有精品| 综合久久9| 五月丁香啪啪| 丁香五月婷婷Av| 激情五月,色五月| 狠狠五月综合在线| 天天干天天爽| 久久婷婷原创视频| 日韩色色小视频| 思思国产99| 色99视频| 一起草无码| 这里只有视频精品| 啪啪综合| 成人AV在线中文版| 五月婷婷六月色| 五月天基地| 五月丁香999| 五月婷啪| 91 欧美| 久久婷五月婷| 99看片| 性生生活大片又黄又| 五月婷婷久久大香蕉| 99热精国产这里只有精品| 九九色影视| 99在线视频喷水| 日本狠狠爽| www.五月丁香| 五月丁香婷色| 99愛国产| 色哟呦av| 色五月久久成人婷婷| 内射综合网| 婷婷丁香五月天色色| 天堂AV三级| 男人的天堂五月丁香| 99ri精品在线观看| 久久久精久人妻| 婷婷六月综合激情| 激情五月开心五月在线视频| 思思热天天看| 日日射天天射| 丁香婷婷激情网站| 综激情网| 99色在线视频| 91视频人人做97| 9999热这里只有精品| 月婷婷婷婷五月| 婷婷狠狠干| 久久女婷| 91操人视频| 婷婷丁香五月激情密臀av| 五月丁香六月婷婷综合网缴情| 99热8| 丁香九九九九| 婷婷伊人久久| 青996青| 丁香六月婷婷综合缴| 欧美日本国产| 伊人狠狠干| 91超级碰碰碰| 99在线免费视| 婷婷香蕉| 六月香五月婷| 久久久国产精品黄毛片| 先锋男人99资源| 亚洲精品又粗又大又爽A片| 99综合在线| 中文在线成人| a九九热www| 国产偷人妻精品一区| www.久久99精品| 极品人妻videosss人妻| WW婷婷五月天com| 五月丁香婷婷啪啪综合网| 五月色网| 综合激情综合啪啪| www天堂99| 激情五月婷婷综合网| 97精品人人A片免费看| 狠狠干在线视频| www.夜夜操| 天天五月丁香五月| 五月天国产| 激情综合五月激情XXXX| 婷婷在线视频| 五月丁香六月婷婷玖玖| 九九中文色色| 色五月欧美| 青青草tp| 免费视频无码| 草做免费在线观看| 五月天怕怕| 久热黄色| 九九色热| 久久怕怕视频| 五月丁香啪啪激情| 欧美激情五月天| 天天干肏夜夜| www:99热视频| 99热偷拍| 久久午夜理论| 亚洲无码九九九| 特级西西4444www无码| 久热超碰91| 五月天色区| 激情五月综合色婷婷| 粉嫩AV久久一区二区三区| 99久久精品网| 99爱99操| 亚洲激情网| 激情九九综合网| 色婷亚洲| 日韩欧美成人片| 人人干天天舔| 五月丁香狠狠爱婷婷综合| 色五月超碰| 99日本黄站| 色色色综合色| WWW,激情五月天,COM| 无码成人AAAAA毛片AI换脸| 婷婷五月图片小说网| 91精品无码久久久久久五月天| 婷婷社区五月天| 五月社区丁香| www,超碰| 久久婷婷五月综合色丁香| 中文网AV| 狠狠色丁香久久综合婷婷亚洲成人福利| 亚洲天堂色色| 激情丁香淫荡婷婷| 久久的爱大香蕉| 五月天综合色| 无码激情精品色婷婷久久久久| www网站在线观看| 久久综合激情| 99色1| 婷婷欧美激情综合| 99燥99日| 五月天婷婷AV| 嫩BBB槡BBBB搡BBBB视频| 婷婷少妇激情| 超碰在线日夜| 国产激情AV| 五月天激情久色| 99精品久久久久久久| 人妻丰满精品一区二区A片| 五月丁香综合影院| 五月天婷婷伊人| 亚洲AV综合网| 久久爱综合| 日日噜狠狠| 色婷婷六月天在线| 色狠狠999综合网| 六月婷婷最新网址| 亚洲精品色| 五月天另类小说| 丁香五月视频在线观看| 久久久久8888| 五月婷婷色在线| 大香蕉久久| 色色色com| 69午夜成人影片| 玖玖婷婷五月天| 激情综合视频| 无码激情AAAAA片-区区| 香蕉人在线香蕉人在线 | 九九热视频免费的| 国产在线6| 久久九九99桃花视频| 日木WWW视频| 欧美色色色| 9久国产| 色丁香影院| 欧洲亚洲免费视频9| 最新久久网址| 97碰成超视频免费视频| 无码人妻少妇色欲AV一区二区| 激情五月天激情综合网| 色狠狠六月| 久久婷婷五月国产色综合激情| 色婷婷女优有码五月亭| 四川BBB搡BBB爽爽视频| 激情综合五月婷婷| 色情综合| 9l视频自拍九色9l视频在线观看| 五月婷婷啪啪啪啪| Va另类视频| 99久久国产成人精品| 五月色综合| 丁香天堂夜| 91精品久| 丁香五月婷综合| 九九热视频精品999| 玖玖婷婷色五月| 99热免| 天天添天天摸天天天天做| 婷婷九月激情| 婷婷五六日| 色七色九九| 婷婷五月丁香av网站| 丁香婷婷五月六月久久| 婷婷爱爱蜜臀天天操| CAOBIBI| 一本大道熟女人妻中文字幕在线 | 亚洲六月色婷婷| 婷婷丁香六月| 丁香婷婷色九月| 色爱99| 五月综合激情视频在线| 99热精品中文字幕| 九九成人视频| 色99在线观看| 大香蕉中文| 六月婷婷综合激情| 五月天激情影院| 男人天堂99| 日韩中文欧美| 天天操综合网| 亚洲高清在线| 天堂成人A片永久免费网站| 99色视频| 国产美女无遮挡裸体毛片A片| 97人人干| 五月丁香六月激情网站| 色综合99色| 热99.com婷婷| 综合久久久婷| 96丁香婷婷九月蜜桃综合久久| 99福利视频导航| 精品导航在线x不卡| 久久99久久久| 久久九九99| 青青热久久综合| 99.色| 色中色综合| 激情五月丁香亭亭| 超碰操网| 五月婷在线观看| 思思热在线视频精品| 日日夜夜婷婷| 夜夜干夜夜操| 97碰碰人人| 五月天婷婷激情| 亚洲情综合五月天| 五月丁香激情综合网官网| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 婷婷免费视频| 亭亭五月基地在线| 激情五月天啪啪| 欧美精产国品一二三区| 99er这里只有精品| 亚洲九九在线| 丁香 久久| 天天弄天天操| 乱精品一区字幕二区| 久草 tingting| 99热草草| 中文字幕欧美精品久久| 九九RE视频在线精品| 高清无码.com| 婷婷综合色播网| 精品九九在线观看| 色婷婷成人五月| 色欲久久综合| 丁香五月激情五月| 激情五月天.色网| 久久99久久99精品免观看粉| 五月总合激情网| 久久婷婷五月丁香| 亚洲综合五月天| 午夜丁香婷婷| 精品二区| 五月天开心色情网| RenRenSe在线视频网站| 色综合久久中文| 久久久亚洲精品一区二区三区浴池 | 一本婷婷丁香久久| 色婷婷超碰| 久久久8| 五月丁香色婷婷综合| 激情第四色| 国产成人精品一区二三区熟女在线 | 色欲香综合网| 99热99久久| 婷婷成人五月天| 91九色超碰正在播放| 丁香六月天婷婷在线| 玖玖热视频| 国自产拍偷拍精品啪啪一区二区| 操逼巨乳91| 精品福利911| 日本久久婷| 天海翼中文字幕高| 1024人妻| 天天爱天天操| 久久久久久久久久久-久五月天婷婷| 五月婷婷人人人操| 99er精品视频| 成人精品视频99在线观看免费| 亚洲一级色电影| 久久丁香久久| 乱精品一区字幕二区| 99视频久久| 婷婷五月天激情电影小说| 国产人妻人伦精品一区二区| 综合色五月| 久久六月综合| 欧美黄色一级录像| www.狠狠操.co m| 91丨九色丨熟女丰满| 七七色综合| 激情亚洲五月| 天天综合色| 99啪| 色色国产| 国产精品成人网站| 激情综合六月| 夫妇交换刺激做爰| 丁香六月天AV| 六月 丁香 视频| 9999综合99综合人| 色五月亚洲开心网| 日本视频不卡123区| 久久婷婷成人视频| 婷婷色九月| 九九综合网| 综合网网欲色| 丁香五月六月激情久久| 天天肏在线| 国产精品噜噜在线视频| 五月丁香综合在线| 99久久综合| 丁香五月天堂| 婷婷久草| 亚洲综合色色色| 亚洲AV人人操| 99自拍视频网站| 第四色五月婷婷| www五月天com| 欧美日韩精品一区二区三区钱| 丁香五月23111| 人人操9| 欧美天天干天天草| 久久大大香| 色情久久久| 九九九激情综合| 六月丁香五月亭亭| 三十熟女| 影音先锋 91工厂| 亚洲无AV在线中文字幕| 五月丁香少妇网| 思思久久99热只有频精品66| 夜夜躁狠狠 | 天天爽夜夜爽夜夜爽精品| 丁香六月激情综合| 欧美天天草人人草| 天天日天天操心| 在线va网站| 五月丁香综合激情| 26UUU欧美激情一区二区| www.maotanji.com| 91人妻人人做人碰人人爽九色| 开心激情五月天网| 9 1在线视频| 99操免费视频| 精品久久9| 五月激情婷婷在线| av 一区三区四区| 丁香六月婷婷久久综合| renrencaoav| 色99久草在线| 人人摸人人搞| 五月婷婷久久大香蕉| 伊人五月综合网| 天天综合色丁香| 四虎成人精品永久免费AV九九| 任你草| 婷婷五月天成人网| 3p日韩网站视频| WWW.五月com| 色色色热| 色碰碰视频| 婷婷五月天AV| 俺去也在线www色官网| 男人的天堂五月丁香| 亚洲欧美婷婷五月色综合| 婷婷亚洲综合| 色婷婷五月天综合网| 九月婷婷在线观看| 4399亚洲视频| 激情五月天在线观看色婷婷| 久久人人做人人妻人人玩精品va| 丁香六月激情网C0W| 五月婷婷九| 97精品欧美91久久久久久久| 五月天啪啪| 丁香五月花| 99无码黄色视频| 色狠狠999综合| 99热66| 中文字幕色色| 五月婷婷色播| 99无码视频| 激情丁香图片| 成人片在线播放| 午夜色婷婷| 五月网在线| 亚洲综合久| 五月婷婷综合在线| 开心激情网五月| 婷婷九月激情| 丰满少妇猛烈A片免费看观看| 五月丁香六月婷婷在线| 午夜丁香婷婷| 开心婷婷五月综合| 国产激情AV| 日逼免费视频| 激情五月九九九| 97色色视频| 婷婷五月天欧美| 丁香五月在线观看| 久久精品亚洲热| 成人版视频在线观看| 色婷婷基地 | 色婷婷在线视频| 亚洲激情五月婷婷日日| 色玖玖玖| 色在线99| 区区欧美你爱| 色婷婷导航| 国产干逼片| 狠狠干无码| 怡红院视频| 人妻性爱| AV成人在线播放| 9色91视频| 久久激情五月婷婷| 激情五月婷在线精品| 新97人人上人人| 97婷婷五月丁香| 91九色在线| 丁香五月激情综合| 五月婷婷伊人久久| 人人操人人操919999| 欧美三级巜人妻互换| 激情九月综合| 色色色色色色色色综合网| 99噜噜噜在线播放| 五月丁香婷婷成人版| 香蕉久久国产AV一区二区 | 日本视频欧美观看免费| 丰满老熟妇BBBBB搡BBB| 在线另类视频| 五月天婷婷丁香| 激情五月com| 五月天久久婷婷| 六月婷婷AV| 亚洲第一成人无码A片| 91精品国产91久久久久青草| 小视频久久久aaa| 91操片| 99在线视频喷水| 五月丁香婷婷基地| 综合久久久| 天天天久久人人人合| 午夜九九电影| 久久婷婷五月| …亚洲黄色在线播放日韩、av中文a…| 日韩无码AV电影网站| 97精品自拍视频| 婷婷激情欧美| 五月天婷婷六月激情网| 丁香伊人网| 色五月综合97| 玖久久网站| 农村熟妇高潮精品A片| 婷婷六月啪啪| 午夜成人网站在线观看| 激情五月天在线视频| 色 五月婷婷基地| 精品色情一区二区三区四区| 久久精品4| 天天操天天插天天射| 夜夜嗨一区二区三区直播内容| 欧美日韩中文国产一区发布| 1024人妻| 亚洲六月色婷婷| 99色免费| 囯产精品一品二区三区| 国产av一区二区三区| 久久综合影院| 99综合一区| 色碰碰| 99自拍网| 色情五月婷婷| 狠狠草狠狠草| 五月激情日本在线| 五月丁香综合在线| 五月五月婷婷| 婷婷五月激情丁香| 99热| 丁香六月开心| 久久这里有精品视频| 国产99久久久国产精品免费看| 超碰97久久| 五月婷激情影院| 激情六月天婷婷| 色墦五月丁香| 亚洲婷婷视频| 97婷婷狠狠| 97人人看| 丁香婷婷激情综合五月激情| 色婷婷成人做爰A片免费看网站| 狠狠色综合网站久久久久| 丁香花五月天| 丁香九月激情在线视频| 色五月大| 亚洲人成网亚洲欧洲无码久久| www.久久久久久久久久.com| 亚洲操逼网| 337午夜福利| 人人97操| 99视频网址| 激情99| 91日韩在线| 99热这里只有精品在线| 婷婷丁香成人| 桃色成人网| 综合色、色综合| 欧美一级a| www色综合亚洲92| 天天色99| 久久婷色| 国产精品久久99| 五月香蕉婷婷| www激情网| 五月婷婷激清网| 五月丁香六月婷婷综合网站 | 丁香六月AV| 色久免费| site:feetmall.com| 激情五婷网| 婷婷玖玖五月天| 色婷| 开心婷婷五月| 一本大道熟女人妻中文字幕在线| AV成人在线网站| 婷婷丁香五月天操逼| 色婷婷激情| 婷婷五月天天天日日夜夜| 色青青视频| 丁香六月婷婷色XXXXX| 日婷婷| 久操操| 91色色五月天| 玖玖婷婷五月天毛片| www.97干视频| 这里只有精品视频一区| 另类专区在线观看| 91九九精品| 久久AV无码精品人妻系列试探| 操骚货在线| 99热思思在线观看| 五月色亚洲| WWW.桔色成人.COM| 99热碰碰热| 色玖玖导航| 五月天综合在线| 五月丁香六月婷婷网| 狠狠xx| 色综合中文| 免费无码毛片一区二区A片| 91九九热| 天天日天天做天天舔| 色99综合视频| 少妇性按摩无码中文A片| 99爱在线视频| 五月婷狠狠| 9色在线| 色五月在线| 婷婷丁香小说| 黄网在线播放| 91操在线| 婷婷激情丁香五月婷婷激情丁香五月婷婷| 五月丁香色婷婷综合| 色玖玖爱| 99热国产在线| 色碰干| 天天做天天爱综合| 岛国AV网| 香蕉五月婷婷| 成人av中文字幕| www国产亚洲色婷婷com| 五月婷六月丁| 亚洲成人在线综合| 丁香五月天啪啪| 99ri在线| 99热这里只有精品青草| 五月婷在线观看| 色五月婷婷亚洲最大| 色播五月婷婷五月| 色色亚卅| xx综合网| 丁香五月天在线直播观看| 69热在线| 九九伊人网| 色婷五月| 丁香六月婷月91婷月| 亚洲尤物在线| 五月婷婷深爱六月| www.色擼擼.com| 五月婷婷激情综合视频| 这里只有精品免费视频在线观看| 五月天自拍视频| 热热久久久久久久久| 99热免| 五月天综合久久| 日日夜夜天天综合| 人妻无码视频网| 丁香五婷婷| 99爱免费在线观看| 日日日天天干| 99热最新| se99视频| 9999热在线| 午夜不卡成人一区二区| 色色国产| 国产1区2区3区| 超碰成人av| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 精品无吗va视频免费观看| 色五月天成人| 亚洲成人人人操| www.婷婷五月天.com| 丁香六月天| 久久WW| 亚洲五月六月婷婷| 四季8848精品成人免费网站| 乱岳熟女50岁| 色.五月综合网| 黄网网站在线播放| 色色丁香婷婷综合| 久久视频在线| 99热这里只有精彩| 青草视频在线观看视频| 综合九九日本| 99资源在线视频| 26uuu国产激情视频| 天堂成人A片永久免费网站| 狠狠干在线| 五月丁香六月在线| 性爱网五月婷婷| www久久99com| 9久热在线视频精品| 第四色色色色色丁香五月天| 天天操天天操| 91九色国产在线| www.久操| 日韩一66精品| av在线免费网站 | 五月天sesese| 乱女乱妇熟女熟妇综合网站| 天天做 天天爱| 无月播播激情在线观看视频| 亚洲免费看片| 婷婷色六月| 九九综合色综合| 一起草av| 插插网爽妇五月丁香| 色婷婷狠狠久久综合五月 | 久久这里只有精品无码| 久热 91| 丁香五月激情综合久久| 五月天色婷婷基地| 97啪在线观看视频| 婷婷五月天激情电影| 午夜婷婷久久| 91狠狠综合久久| 婷婷五月色| 综合99视频| 久久婷婷五月| 玖玖婷婷色五月| 婷婷丁香六月| 色婷婷另类| 婷婷五月天高清无码| www.激情五月天.con| 九九色视频| 久久五月天网| 天天日夜夜曹| 一区二区三区四区牛| 天天插综合| 久久性爱视频免费| 99精品在线观看视频| 凹凸7777操操操| 亚洲亚洲人成综合网络| 色婷婷丁香AV综合| 亚洲五月花| 五月婷婷深深爱爱| 97色婷| 五月天婷婷影院影院| 色综合五月| 天色综合网站| 中文在线视频久9| 这里只有精品在线观看视频| 亚洲99综合| 激情六月天婷婷| av大片在线| 青青操avbb| 日本一级淫| 狠狠狠夜夜夜| 99热碰碰| 99爽视频| 亚洲中文丁香| www.91av.com| 久久偷拍综合五月天| 久久免费操| 97福利视频| 99视频地址| 国产毛片精品一区二区色欲黄A片| 五月香六月婷| 五月婷婷,狠狠操| 五月婷婷av| 色婷婷九月综合| 久久综合网桃花| 色婷婷丁香五月| 亚洲五月六丁香激情| cao视频,现在观看| 久久久久久综合88| 日韩一66精品| 自拍视频在线观看9| 色婷婷香蕉| 九九成人精品| 伊久大香蕉| 五月天婷婷AV| peg 2区三区四区的| av婷婷丁香| 色婷婷狠| 插插插色综合网| 在线看黄色| 日韩操人| 婷婷色五月丁香六月欧美啪| 超碰成人免费| 日本色啪| 色婷婷综合网站| www.热99热| 97色热| 欧美私人家庭影院| 色婷婷久久| 欧美情月伍月天| 熟惀91九色在线| 五月丁香六月婷婷姐| 亚洲另类婷婷综合| 丁香五月激情久久麻豆| 亚韩在线视频| 午夜理论片最新午夜理论剧| 九九美女视频| 五月婷婷激情网| 五月天亚洲色| 夜夜骑日日操| AV中文字幕夜夜操b天天摸bb| 99热精品在这里| 激情婷婷五月社区| 五月激情六月| 久久加勒比| 五月天激情小说网| 99热这里只要精品免费| 六月丁香五月激情亚洲AV| 99精品视频推荐| 国产真实乱了老女人视频 | 九九久久五月天| 婷婷5月天激情综合| 五月丁香少妇| 亚洲中字AV电影在线网站| 欧美99热| 亚州操人在线视频| 中美月韩免费A片| 免费日本aⅴ中文字幕| 五月婷婷欧美| www.五月婷婷久久.com| 婷婷 久综合| 婷色视频|