欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實戰(zhàn)洞察。

MADDPG多智能體博弈對抗實戰(zhàn):從DDPG到中心化訓(xùn)練去中心化執(zhí)行

MADDPG多智能體博弈對抗實戰(zhàn):從DDPG到中心化訓(xùn)練去中心化執(zhí)行 簡介面向希望系統(tǒng)學(xué)習(xí)多智能體強(qiáng)化學(xué)習(xí)的高校學(xué)生與開發(fā)者這份基于Python與MADDPG的多智能體博弈對抗算法資源完整覆蓋算法搭建、訓(xùn)練與測試流程可直接用于畢業(yè)設(shè)計、課程設(shè)計、工程實訓(xùn)或初期項目立項。壓縮包共含14個文件其中10個Python腳本構(gòu)成核心代碼分別實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)定義、DDPG與MADDPG智能體構(gòu)建、經(jīng)驗回放緩沖區(qū)、訓(xùn)練主循環(huán)、測試環(huán)境交互等模塊同時附帶README說明文檔、配置文件及虛擬環(huán)境配置信息方便快速還原運(yùn)行環(huán)境。整個壓縮包僅19KB代碼量不大但結(jié)構(gòu)完整便于逐行閱讀與二次開發(fā)。目前已有266人學(xué)習(xí)適合希望從零理解多智能體博弈機(jī)制的入門者或中高級學(xué)習(xí)者。讀者可通過這些腳本搭建自己的對抗實驗觀察智能體在競爭與合作環(huán)境中的策略演化并在此基礎(chǔ)上修改獎勵函數(shù)或環(huán)境邏輯擴(kuò)展出更強(qiáng)的自定義博弈算法。1. 多智能體博弈對抗為什么簡單復(fù)制單智能體策略會全線翻車設(shè)一個場景三架無人機(jī)圍堵一架入侵機(jī)。你把單智能體的 DDPG 復(fù)制成三個獨(dú)立進(jìn)程去跑結(jié)果經(jīng)常是——三架無人機(jī)先亂撞一氣然后集體躺平在原地轉(zhuǎn)圈。原因不復(fù)雜多智能體強(qiáng)化學(xué)習(xí)里每個智能體面對的“環(huán)境”都包含其他智能體的策略而別人的策略一直在變單智能體那套“環(huán)境穩(wěn)定”假設(shè)被直接打破。MADDPG 算法就是沖這個痛點(diǎn)來的。它保留 DDPG 在連續(xù)控制上的優(yōu)勢用“中心化訓(xùn)練、去中心化執(zhí)行”的思路讓訓(xùn)練階段每個智能體能看到他人的狀態(tài)和動作部署時卻只依賴自身局部觀測。這篇文章會從算法原理、環(huán)境搭建、PyTorch 落地到訓(xùn)練踩坑把一條可復(fù)現(xiàn)的博弈對抗訓(xùn)練路線完整走一遍。適合剛開始做多智能體強(qiáng)化學(xué)習(xí)的同學(xué)也適合想把現(xiàn)有單智能體代碼升級改造的工程師。2. 讀懂 MADDPG 的核心思想中心化訓(xùn)練、去中心化執(zhí)行改的是什么2.1 先理解 DDPG再看 MADDPG 改了什么DDPG 是單智能體連續(xù)控制的經(jīng)典方案actor 網(wǎng)絡(luò)根據(jù)狀態(tài)輸出動作critic 網(wǎng)絡(luò)評估“狀態(tài) 動作”的價值。訓(xùn)練時 critic 給 actor 提供梯度方向actor 負(fù)責(zé)實際決策。它在機(jī)械臂、自動駕駛等單智能體連續(xù)控制任務(wù)上表現(xiàn)穩(wěn)定到了多智能體對抗場景卻會出問題。根本原因是每個智能體的 reward 不只取決于自己的動作還取決于對手和隊友的當(dāng)前策略當(dāng)隊友的策略隨訓(xùn)練不斷更新“環(huán)境”對任意單個智能體都是非平穩(wěn)的。非平穩(wěn)性對經(jīng)驗回放的傷害尤其明顯。DDPG 依賴經(jīng)驗回放假設(shè)過去采樣的經(jīng)驗仍然能代表當(dāng)前環(huán)境分布但多智能體對抗中對手策略一變舊經(jīng)驗的獎勵含義就過時了直接拿去更新會讓價值估計左右搖擺。MADDPG 的解法很直接每個智能體訓(xùn)練時把環(huán)境中所有智能體的觀測和動作都喂給自己的 critic讓價值函數(shù)在“看得見全局”的前提下做評估從而把其他智能體策略變化帶來的非平穩(wěn)性部分轉(zhuǎn)化成了可觀測的輸入變量。這就是它和 DDPG 最本質(zhì)的區(qū)別。2.2 critic 看全局、actor 看局部為什么這是對抗場景下的正確折衷先明確一點(diǎn)MADDPG 并不是一個全局策略算法而是一組“每個智能體一套 actor-critic”的結(jié)構(gòu)。訓(xùn)練階段第 i 個智能體的 critic 輸入是環(huán)境中所有智能體的觀測拼接、所有智能體的動作拼接而它的 actor 輸入只有自己的觀測。兩者結(jié)構(gòu)差異可以這樣對比結(jié)構(gòu)項單智能體 DDPGMADDPGactor 輸入自身觀測 o自身觀測 o_icritic 輸入自身觀測 自身動作全部觀測 [o_1,...,o_N] 全部動作 [a_1,...,a_N]目標(biāo)網(wǎng)絡(luò)數(shù)量actor、critic 各 1 個每智能體 actor、critic 各 1 個目標(biāo)網(wǎng)絡(luò)部署時actor 可用只部署 actorcritic 留在訓(xùn)練端critic 看全局能帶來兩個實際好處。第一在對抗中對手動作被顯式作為輸入Q 值擬合時不用再去“猜測”對手下一步會干什么對手策略更新造成的影響被納入了輸入維度經(jīng)驗回放的失效問題大幅緩解。第二在協(xié)作對抗混合場景里隊友動作也在 critic 輸入里價值評估能正確反映“配合”帶來的增益而不是把隊友造成的獎勵變化誤判成環(huán)境噪聲。actor 保持局部觀測則是一個工程折衷。在真實對抗系統(tǒng)里部署時往往沒有全局通信條件鏈路可能丟包、帶寬有限、某些觀測天然不可共享。如果策略依賴全局狀態(tài)部署時就會因為信息缺失而直接失靈。MADDPG 把“全局信息”只留在訓(xùn)練端部署時每個智能體靠自己的局部觀測獨(dú)立決策這符合絕大多數(shù)實際系統(tǒng)的約束。很多初學(xué)著看到 CTDE 就以為算法能集中決策這是最常見的誤解——它只是集中地“學(xué)”并不要集中地“做”。2.3 目標(biāo)網(wǎng)絡(luò)與軟更新參數(shù)怎么設(shè)才不激進(jìn)MADDPG 的更新邏輯沿襲 DDPG每個智能體都有主網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)兩組參數(shù)。計算 TD 目標(biāo)時下一時刻的 Q 值用目標(biāo)網(wǎng)絡(luò)算避免自舉式更新導(dǎo)致的價值發(fā)散。目標(biāo)值的表達(dá)式是y r γ × Q_target(全部下一觀測, 全部目標(biāo)動作)這里的“目標(biāo)動作”不是主網(wǎng)絡(luò)輸出的動作而是每個智能體各自目標(biāo) actor 網(wǎng)絡(luò)輸出的動作。我見過不少實現(xiàn)圖省事直接用當(dāng)前 actor 輸出算下一時刻動作這樣會讓目標(biāo)值里同時包含兩份在更新的參數(shù)梯度被持續(xù)注入偏置收斂會慢很多。正確做法是目標(biāo) actor 輸出后接 detach切斷梯度回傳。軟更新參數(shù) tau 是第二個容易踩的坑。常見做法是每訓(xùn)練一步就把目標(biāo)網(wǎng)絡(luò)參數(shù)向主網(wǎng)絡(luò)滑動一點(diǎn)tau 取 0.01 起步。在多智能體對抗里我一般取 tau0.01同時把更新頻率從“每步”改成“每 100 步同步一次”相當(dāng)于兼顧平滑和穩(wěn)定。如果 Q 值曲線像鋸齒一樣劇烈抖動把 tau 降到 0.005并把同步間隔拉大到 200 步。注意目標(biāo)網(wǎng)絡(luò)參數(shù)不是復(fù)制越勤越好。多智能體場景里每個 critic 都耦合了所有智能體的策略某個智能體策略突變會被同步放大到其他人的目標(biāo)值里表現(xiàn)為集體振蕩。軟更新參數(shù)寧可保守。另外要強(qiáng)調(diào)的是MADDPG 并沒有修改 DDPG 的另一個基礎(chǔ)組件——探索。訓(xùn)練時 actor 輸出的動作要疊加噪聲常見做法是高斯噪聲或 Ornstein-Uhlenbeck 噪聲。對抗環(huán)境下 OU 噪聲的時序相關(guān)性有助于維持探索的連貫性但參數(shù)不好調(diào)我實際用下來簡單的高斯噪聲配合噪聲方差衰減在大多數(shù)仿真環(huán)境里已經(jīng)夠用也更少出現(xiàn)調(diào)參玄學(xué)。3. 環(huán)境與博弈配置用 MPE 搭一個可訓(xùn)練的對抗環(huán)境3.1 選哪個環(huán)境simple_tag 里天然帶對抗與追逐博弈算法學(xué)習(xí)不能只在 gym 的連續(xù)控制環(huán)境里跑那里壓根沒有第二個對手。做 MADDPG 博弈對抗入門最常用的是 OpenAI 早期開源的 multiagent-particle-envs簡稱 MPE。它是一組 2D 粒子世界環(huán)境雖然物理精度不高但動作連續(xù)、觀測可控、訓(xùn)練速度快非常適合先驗證多智能體算法邏輯再遷移到重仿真場景。MPE 里有幾個環(huán)境選型時要分清楚simple_spread 是純協(xié)作多個智能體分散覆蓋地標(biāo)里面沒有對手不適合驗證對抗simple_adversary 是“1 個追蹤者 vs 2 個被追者”的不對稱博弈適合練手simple_tag 則是最經(jīng)典的追逐對抗追捕方若干、獵物若干還有一塊障礙區(qū)域每個 agent 都能施加連續(xù)加速度。做 2v2 或 3v3 對稱對抗我通常從 simple_tag 改起。選這個環(huán)境的理由很實際。一是它足夠小一次完整訓(xùn)練幾分鐘到十幾分鐘就能看出策略有沒有分化迭代速度快。二是它的觀測是“相對位置 相對速度 自身信息”這種低維向量便于排查 Q 值、獎勵曲線等訓(xùn)練指標(biāo)比一上來就上 AirSim、Isaac 這類重型仿真器好定位問題。等算法在 MPE 上真的學(xué)出追逐和逃跑策略再遷移到高保真環(huán)境是效率最高的技術(shù)路線。3.2 多智能體如何配置最小安裝與依賴版本MPE 的安裝不算復(fù)雜但版本兼容問題容易卡住新手。這個環(huán)境包依賴較早版本的 gym 接口直接用最新 gym 運(yùn)行常會報 API 不匹配。常見的做法是 clone 源碼后在虛擬環(huán)境里以可編輯模式安裝之后如果跑出 gym 相關(guān)報錯就說明依賴版本偏新需要把 gym 降到老版本。我第一次跑的時候問題就出在 gym 新老接口的差異上折騰了一個多小時才定位到所以這步值得提前注意。一個更省事的配置做法是先把環(huán)境目錄放到項目文件夾里直接在代碼里 import避免全局安裝帶來依賴污染。下面的命令是最小配置路徑# 創(chuàng)建虛擬環(huán)境避免污染系統(tǒng) Python python3 -m venv maddpg_env source maddpg_env/bin/activate # 安裝 torch 和基本依賴 pip install torch numpy # 從源碼安裝 MPE在項目目錄下執(zhí)行 git clone https://github.com/openai/multiagent-particle-envs.git cd multiagent-particle-envs pip install -e .參數(shù)說明虛擬環(huán)境是這里最重要的一步多智能體項目后續(xù)會頻繁改依賴版本沒有虛擬環(huán)境隔離系統(tǒng)級 Python 會被搞得一團(tuán)糟。-e表示可編輯安裝環(huán)境包源碼在 project 目錄中改動后立即生效方便臨時修改環(huán)境邏輯比如改獎勵函數(shù)。安裝完成后用一段腳本確認(rèn)環(huán)境能正常加載# test_env.py from multiagent.environment import MultiAgentEnv import multiagent.scenarios as scenarios # 加載 simple_tag 場景 scenario scenarios.load(simple_tag.py).Scenario() world scenario.make_world() env MultiAgentEnv( world, scenario.reset_world, scenario.reward, scenario.observation, info_callbackscenario.info, ) obs_n env.reset() print(智能體數(shù)量:, env.n) print(觀測維度:, [o.shape[0] for o in obs_n]) print(動作空間:, env.action_space[0])這段代碼只做一件事確認(rèn)環(huán)境對象能不能正常創(chuàng)建。環(huán)境數(shù)量env.n打印出來應(yīng)該是場景中的智能體總數(shù)觀測維度每個智能體可能不同這取決于場景各自的觀測函數(shù)定義。動作空間打印出的類型決定了后續(xù)網(wǎng)絡(luò)輸出層怎么設(shè)計。如果這段腳本直接報錯先檢查 gym 版本再看 Python 版本是否過新而不是去懷疑算法代碼。3.3 觀測空間與動作空間寫 reward 前先把坐標(biāo)算明白MPE 的動作空間默認(rèn)是離散的 5 個動作上下左右不動。但 MADDPG 的 actor 輸出層通常接 Tanh輸出連續(xù)值在 [-1, 1]。兩個對不上時常見的做法是寫一個動作映射層把連續(xù)動作映射到離散動作區(qū)間。例如 [-1, -0.5) 映射為向左、[-0.5, 0.5) 映射為不動、(0.5, 1] 映射為向右。更順手的做法是直接改場景把動作空間改成連續(xù)力控制這樣 MADDPG 原生的連續(xù)動作輸出就能直接用。我建議走連續(xù)動作這條路原因有兩個。一是省掉映射層的精度損失離散映射會讓細(xì)小的策略差異被抹平二是后續(xù)遷移到真實機(jī)器人或無人機(jī)仿真時控制量本來就是連續(xù)的提前用連續(xù)動作訓(xùn)練策略遷移性更好。改法不復(fù)雜在場景的make_world里把 mover agent 的action_space從離散改成連續(xù)即可。觀測空間則要看場景的observation函數(shù)。simple_tag 里每個智能體的觀測大致包括自己的相對位置、相對速度、標(biāo)記以及與其他實體的相對坐標(biāo)。訓(xùn)練前一定要打印一份實際觀測向量逐段搞明白每個維度是什么。我踩過最典型的坑是reward 里用了“距離差”做目標(biāo)但觀測里給的是相對坐標(biāo)網(wǎng)絡(luò)要自己學(xué)習(xí)“距離 坐標(biāo)差的范數(shù)”這個映射。這個映射不是學(xué)不會而是會拖慢收斂。不如直接在 reward 和觀測里都用距離讓網(wǎng)絡(luò)把精力放在策略上而不是解算術(shù)。一個穩(wěn)定的 reward 設(shè)計方案是分層給追逐方設(shè)置“接近獵物給正獎勵 持續(xù)貼近保持不動給正獎勵 出界懲罰”給獵物設(shè)置“遠(yuǎn)離追捕者給正獎勵 被抓住給大懲罰”。注意獎勵幅度不要跨數(shù)量級距離獎勵量級在 0.1 左右、捕獲懲罰在 -5 左右這樣一個量級內(nèi)的獎勵設(shè)計Q 值不會因為方差過大而爆炸。4. PyTorch 落地MADDPG 訓(xùn)練主循環(huán)的四個關(guān)鍵代碼步驟4.1 網(wǎng)絡(luò)結(jié)構(gòu)兩層 MLP 起步先別上復(fù)雜結(jié)構(gòu)很多初學(xué)者一上來就給 actor 加注意力機(jī)制、給 critic 加圖神經(jīng)網(wǎng)絡(luò)結(jié)果收斂更差。做 MADDPG 博弈對抗我的經(jīng)驗是最穩(wěn)的結(jié)構(gòu)就是兩層 MLPactor 中間層 128critic 中間層 128。先把這條基線跑通再根據(jù)任務(wù)復(fù)雜度逐步加深。下面是最小可用的網(wǎng)絡(luò)定義import torch import torch.nn as nn class Actor(nn.Module): 每個智能體一套輸入只看自己的觀測 def __init__(self, obs_dim, act_dim, hidden128): super().__init__() self.net nn.Sequential( nn.Linear(obs_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, act_dim), nn.Tanh(), # 輸出限制在 [-1, 1]匹配連續(xù)動作范圍 ) def forward(self, obs): return self.net(obs) class Critic(nn.Module): 訓(xùn)練階段用輸入所有智能體的觀測和動作 def __init__(self, n_agents, obs_dim, act_dim, hidden128): super().__init__() input_dim (obs_dim act_dim) * n_agents self.net nn.Sequential( nn.Linear(input_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, 1), ) def forward(self, obs_all, act_all): x torch.cat([obs_all, act_all], dim-1) return self.net(x)邏輯說明actor 輸出層用 Tanh 把動作限制在 [-1, 1]這正好匹配 MPE 連續(xù)動作空間的邊界。如果動作空間范圍不是 [-1, 1]可以在環(huán)境側(cè)做 scale而不是改網(wǎng)絡(luò)的激活函數(shù)。critic 把“所有觀測”和“所有動作”拼成一個大向量這個拼接發(fā)生在特征維度上所以每個智能體的 obs 和 act 都要先展平再拼接。參數(shù)說明hidden128是起步值對絕大多數(shù) MPE 級別的任務(wù)足夠如果任務(wù)狀態(tài)維度特別高可以先翻倍到 256而不是直接加網(wǎng)絡(luò)層數(shù)。激活函數(shù)用 ReLU 即可不需要 Gelu 這類花活多智能體訓(xùn)練穩(wěn)定性瓶頸通常不在激活函數(shù)。4.2 經(jīng)驗回放多智能體數(shù)據(jù)的結(jié)構(gòu)比容量更重要多智能體的經(jīng)驗回放和單智能體有一個關(guān)鍵區(qū)別一條經(jīng)驗必須同時保存所有智能體的觀測、動作、獎勵否則更新時 critic 拿不齊全局輸入。很多直接把單智能體經(jīng)驗回放搬過來的實現(xiàn)只存了當(dāng)前智能體的數(shù)據(jù)訓(xùn)練時其他智能體的歷史數(shù)據(jù)全是亂的導(dǎo)致 critic 輸入格式對不上。import numpy as np from collections import deque class ReplayBuffer: def __init__(self, capacity100000): self.buffer deque(maxlencapacity) def push(self, obs_n, act_n, rew_n, next_obs_n, done_n): # 一次性存入所有智能體的數(shù)據(jù) self.buffer.append((obs_n, act_n, rew_n, next_obs_n, done_n)) def sample(self, batch_size): batch np.random.choice(len(self.buffer), batch_size, replaceFalse) # 按智能體維度拆開每個智能體拿到自己的一批數(shù)據(jù) obs_n [[] for _ in range(len(self.buffer[0][0]))] act_n [[] for _ in range(len(self.buffer[0][1]))] rew_n [[] for _ in range(len(self.buffer[0][2]))] next_obs_n [[] for _ in range(len(self.buffer[0][3]))] done_n [[] for _ in range(len(self.buffer[0][4]))] for i in batch: o, a, r, no, d self.buffer[i] for j in range(len(o)): obs_n[j].append(o[j]) act_n[j].append(a[j]) rew_n[j].append(r[j]) next_obs_n[j].append(no[j]) done_n[j].append(d[j]) return ([np.array(x) for x in obs_n], [np.array(x) for x in act_n], [np.array(x) for x in rew_n], [np.array(x) for x in next_obs_n], [np.array(x) for x in done_n])邏輯說明push這次把整條多智能體經(jīng)驗存進(jìn)去而不是只存某個智能體的sample返回的是按智能體索引拆分后的列表每個元素形狀為(batch_size, obs_dim)。更新時訪問obs_n[i]就拿到第 i 個智能體的一批觀測。參數(shù)說明capacity100000是中小型對抗任務(wù)的起步值太小會讓經(jīng)驗分布頻繁被新策略覆蓋失去回放的意義太大則老樣本占比過高策略更新后舊經(jīng)驗價值失真。跑一次訓(xùn)練如果發(fā)現(xiàn)前中期 Q 值擺動劇烈優(yōu)先檢查 buffer 容量是不是設(shè)太小。batch_size我建議取 512 或 1024比單智能體常用的 64 大一個量級因為 critic 的輸入維度更高小 batch 的梯度方差更大。4.3 更新公式的代碼化actor 的梯度到底從哪來這一節(jié)是整個實現(xiàn)里最容易寫錯的部分。MADDPG 更新分兩步先更新 critic再更新 actor。critic 的 loss 是 TD 誤差actor 的 loss 則不是常見的策略梯度形式而是“最大化當(dāng)前狀態(tài)下被 critic 打分的 Q 值”。換句話說actor 的梯度來自 critic 對自己輸出動作的評分def update(agent_id, replay_buffer, batch_size, actors, critics, target_actors, target_critics, optimizers_actor, optimizers_critic, gamma0.95, tau0.01): obs_n, act_n, rew_n, next_obs_n, done_n replay_buffer.sample(batch_size) # 當(dāng)前智能體自己的數(shù)據(jù) obs torch.FloatTensor(obs_n[agent_id]) act torch.FloatTensor(act_n[agent_id]) rew torch.FloatTensor(rew_n[agent_id]).unsqueeze(-1) next_obs torch.FloatTensor(next_obs_n[agent_id]) done torch.FloatTensor(done_n[agent_id]).unsqueeze(-1) # 用目標(biāo) actor 生成所有智能體的下一個動作 next_act_n [] for j in range(len(actors)): next_act_j target_actors[j](torch.FloatTensor(next_obs_n[j])).detach() next_act_n.append(next_act_j) obs_all [torch.FloatTensor(o) for o in obs_n] act_all [torch.FloatTensor(a) for a in act_n] next_obs_all [torch.FloatTensor(o) for o in next_obs_n] # 更新 critic target_q target_critics[agent_id](next_obs_all, next_act_n).detach() y rew gamma * (1 - done) * target_q q_current critics[agent_id](obs_all, act_all) critic_loss ((q_current - y) ** 2).mean() optimizers_critic[agent_id].zero_grad() critic_loss.backward() optimizers_critic[agent_id].step() # 更新 actor # 用當(dāng)前 actor 替換掉自己原來的動作 act_all[agent_id] actors[agent_id](obs) q_actor critics[agent_id](obs_all, act_all) actor_loss -q_actor.mean() optimizers_actor[agent_id].zero_grad() actor_loss.backward() optimizers_actor[agent_id].step() return critic_loss.item(), actor_loss.item()邏輯說明更新 critic 時y里的 target Q 值完全用目標(biāo)網(wǎng)絡(luò)計算并 detach防止梯度穿回目標(biāo)網(wǎng)絡(luò)。更新 actor 時act_all[agent_id]被替換成當(dāng)前 actor 的輸出然后整體送給 critic 打分對actor_loss反向傳播時梯度會流經(jīng) critic 網(wǎng)絡(luò)再回到 actor這就是“critic 指導(dǎo) actor”的含義。其他智能體的動作在這次更新里保持采樣值不變這體現(xiàn)的是 MADDPG“站在別人真實動作上評估自己動作價值”的思想。參數(shù)說明gamma0.95適合步數(shù)較短、回合結(jié)束快的對抗博弈如果任務(wù)是長程圍捕可以提到 0.99。但不要在高 gamma 下配合稀疏獎勵直接訓(xùn)前期的 Q 值會因為遠(yuǎn)期回報方差過大而飄。我一般把 gamma 和回合長度掛鉤回合長度越長gamma 越接近 1。4.4 目標(biāo)網(wǎng)絡(luò)軟更新一條命令的事別省略目標(biāo)網(wǎng)絡(luò)更新有兩種寫法硬復(fù)制每 N 步直接賦值和軟更新每步滑動混合。多智能體對抗里我堅持用軟更新因為多個智能體的目標(biāo)網(wǎng)絡(luò)同時硬復(fù)制會造成目標(biāo)值跳躍式變化這種跳躍在多智能體相互耦合的情況下會被放大成集體振蕩def soft_update(target_net, net, tau): for target_param, param in zip(target_net.parameters(), net.parameters()): target_param.data.copy_( tau * param.data (1.0 - tau) * target_param.data ) # 每個智能體更新后調(diào)用一次 for agent_id in range(n_agents): soft_update(target_actors[agent_id], actors[agent_id], tau0.01) soft_update(target_critics[agent_id], critics[agent_id], tau0.01)參數(shù)說明tau0.01意味著每步只把主網(wǎng)絡(luò)參數(shù)向目標(biāo)網(wǎng)絡(luò)移動 1%目標(biāo)網(wǎng)絡(luò)的變化足夠平滑。實際項目中我常用另一個版本每 100 步把上面這段soft_update循環(huán)執(zhí)行一次每次 tau 取 0.05。這樣既控制了更新頻率又保持了平滑度比每步都軟更新省計算資源效果反而更穩(wěn)。訓(xùn)練結(jié)束時還有一個容易被忽略的細(xì)節(jié)actor 網(wǎng)絡(luò)保存時要把訓(xùn)練時疊加的噪聲去掉后再保存一輪“干凈版本”。如果直接保存正在帶噪聲探索的 actor評估時會發(fā)現(xiàn)策略表現(xiàn)明顯偏差因為噪聲已經(jīng)把動作污染了。保存前先eval()模式跑一遍推理再存權(quán)重文件。torch.save(actors[0].state_dict(), actor_0.pt) torch.save(actors[1].state_dict(), actor_1.pt) # 加載時同樣先建網(wǎng)絡(luò)再 load_state_dict加載模型時注意和保存時保持相同的網(wǎng)絡(luò)結(jié)構(gòu)隱藏層數(shù)、激活函數(shù)都對齊否則state_dict會直接報 key 不匹配。多智能體項目里每個智能體一套權(quán)重文件是最清晰的做法比混合在一個文件里省去不少定位時間。5. 訓(xùn)練避坑收斂慢、策略崩潰、Q 值爆炸的六個典型問題5.1 現(xiàn)象所有智能體 reward 一起歸零策略集體“擺爛”訓(xùn)練到中期曲線突然斷崖式下跌所有智能體的回合獎勵都在零附近無論調(diào)學(xué)習(xí)率還是 batch size 都拉不回來。原因是 reward 設(shè)計給對抗雙方設(shè)了絕對值相反的導(dǎo)向而某一方策略先崩了另一方跟著失去訓(xùn)練信號。比如追逐方的獎勵是“接近獵物 1”獵物是“被接近 -1”追逐方一旦找到“站住不動也能拿 0 分”的局部最優(yōu)獵物就再沒有逃跑壓力雙方策略同時固化。解決的做法是在 reward 里加一個“過程導(dǎo)向”的持續(xù)激勵而不是只給相對量。追逐方除了“接近”加分還要在持續(xù)追出距離時給額外獎勵讓“行動”而不是“不動作”成為收益來源。同時給雙方訓(xùn)練曲線分開記錄不要只看平均 reward——對抗場景下平均獎勵被兩個相反方向的曲線抵消看起來像歸零實際是雙方在對抗。5.2 現(xiàn)象Q 值起步正常幾千步后直接上千萬訓(xùn)練日志里 critic loss 從個位數(shù)跳到百萬級Q 值輸出數(shù)值爆炸。原因是 reward 量級跨度過大或者 target Q 的更新里用了沒 detach 的目標(biāo)網(wǎng)絡(luò)輸出。MADDPG 的 critic 輸入是所有智能體拼接向量維度高、數(shù)值量級差異大比如速度在 0.1 量級、距離在 10 量級未經(jīng)歸一化直接進(jìn)全連接層梯度會不穩(wěn)定。解決的順序先確認(rèn)更新代碼里next_act_n和target_q都加了.detach()再檢查 reward 量級是否控制在 0.1 到 5 之間最后給 critic 輸入做標(biāo)準(zhǔn)化。我常寫一個簡單的觀測歸一化層把 reward 和觀測都縮放到 [-1, 1] 區(qū)間Q 值爆炸基本會在前一萬步內(nèi)暴露并解決。5.3 現(xiàn)象訓(xùn)練曲線反復(fù)橫跳甚至出現(xiàn)間歇性瘋狂尖峰同一份代碼同一份超參數(shù)訓(xùn)練曲線每次跑出來長得很不一樣有幾條 run 的曲線會突然出現(xiàn)尖峰后回彈。原因是多智能體環(huán)境初始狀態(tài)是隨機(jī)的智能體出生位置分布差異大某些初始配置下回合特別長或獎勵特別高被存進(jìn)經(jīng)驗回放后干擾了價值估計。這在博弈對抗里是常態(tài)因為對抗雙方的初始位形直接決定了一整局的難度。解決的關(guān)鍵是固定初始分布的隨機(jī)種子并做“混合采 樣”。我在環(huán)境 reset 時固定隨機(jī)種子讓每局初始條件覆蓋到主要位形但不必完全確定。更有效的辦法是經(jīng)驗回放里按回合分段抽樣讓每局的經(jīng)驗被均勻抽到避免某一局極端經(jīng)驗獨(dú)占 batch。實現(xiàn)的代價不大但對曲線穩(wěn)定性的改善非常明顯。5.4 現(xiàn)象訓(xùn)練完成后策略變成“高頻抖動機(jī)”actor 輸出的動作序列在很小的時間尺度上劇烈跳動仿真里表現(xiàn)為智能體原地高頻抖動幾乎沒有有效位移。原因是追求平滑的策略梯度下actor 被訓(xùn)練得對輸入中的噪聲高度敏感而輸入觀測本身就有 1e-3 量級的數(shù)值噪聲。策略在噪聲方向放大了微小差異反映出動作的高頻分量。解決的思路是在 replay buffer 保存時對觀測做輕量低通濾波或者更直接的做法是訓(xùn)練時給 actor 輸出加動作平滑懲罰將相鄰兩步動作差值的平方加入 loss。我一般會同時做兩件事訓(xùn)練開始時把噪聲方差的衰減調(diào)慢一些讓探索噪聲在最早期保證動作充分多樣性訓(xùn)練后期則對動作加平滑項讓策略只保留低頻控制分量。5.5 現(xiàn)象target 網(wǎng)絡(luò)每步都在更新前期正常后期震蕩加劇目標(biāo)網(wǎng)絡(luò)跟隨主網(wǎng)絡(luò)太緊訓(xùn)練后期主網(wǎng)絡(luò)參數(shù)在局部區(qū)域輕微來回移動目標(biāo)網(wǎng)絡(luò)也跟著在每個時間步追最新值導(dǎo)致 target Q 持續(xù)小幅跳變critic 永遠(yuǎn)追不上會動的標(biāo)靶震蕩越到后期越明顯。原因是 tau 設(shè)成較大固定值加上目標(biāo)網(wǎng)絡(luò)更新頻率和主網(wǎng)絡(luò)訓(xùn)練頻率完全一致。在多智能體場景這種“跟得太緊”的問題尤其突出因為每個智能體的目標(biāo)網(wǎng)絡(luò)耦合了所有人的策略變化。解決的要點(diǎn)是把軟更新變成“低頻大幅”模式每 100 到 200 步做一次完整軟更新tau 取 0.05比每步 0.01 的版本更穩(wěn)。運(yùn)行完第一萬步后如果震蕩仍明顯把同步間隔繼續(xù)加大到 300 步。這個操作不對實驗曲線造成顯著副作用卻能把后期策略崩潰的概率降一個量級。5.6 現(xiàn)象reward 曲線一路向上但實際對抗還是一碰就碎訓(xùn)練日志里 reward 穩(wěn)步上升你覺得快成功了拿訓(xùn)練好的 actor 去做實際對抗測試卻發(fā)現(xiàn)策略莽撞、經(jīng)常被簡單戰(zhàn)術(shù)克制。原因是 reward 曲線只能衡量“在當(dāng)前對手策略下的收益”不能衡量策略的真實強(qiáng)度。對抗訓(xùn)練中對手是自己所以 reward 上升可能只是雙方同時變笨后的“和平相處”而不是真的更強(qiáng)。repo 里訓(xùn)練日志展示的 reward 上升往往沒法和實際對抗能力畫等號。解決的唯一可靠手段是定期評估對抗勝率。訓(xùn)練過程每 N 局保存一組候選模型訓(xùn)練結(jié)束后把不同 checkpoints 兩兩對戰(zhàn)繪制固定種子的勝率熱力圖。只有勝率矩陣能告訴你哪個 checkpoint 真正更強(qiáng)而不是看誰 reward 曲線更高。這個習(xí)慣應(yīng)該從第一天就建立不要等技術(shù)方案全跑完了才去補(bǔ)評估腳本。6. 從“能跑”到“能打”自對弈、優(yōu)先經(jīng)驗回放與勝率評估多智能體博弈對抗訓(xùn)練里最難的不是讓 reward 上升而是讓策略“真的變強(qiáng)”。要驗證和固化成 果我常用的三招是自對弈蓄水、優(yōu)先經(jīng)驗回放、勝率矩陣選模型。自對弈的思路是維護(hù)一個“歷史策略池”每隔一段訓(xùn)練輪數(shù)就把當(dāng)前模型復(fù)制一份放進(jìn)去然后讓在線智能體和歷史版本隨機(jī)對戰(zhàn)。這樣做的目的很樸素如果只和“現(xiàn)在的自己”練雙方會同時進(jìn)化但可能一起走向某個局部最優(yōu)和歷史版本打相當(dāng)于逼策略去適應(yīng)更多變體而不是只記住當(dāng)前對手的弱點(diǎn)。在 MPE 這類輕環(huán)境里策略池每個階段就存一份池子容量 10 個左右每次對戰(zhàn)隨機(jī)抽一個對手效果比單純和當(dāng)前版本對練好很多。優(yōu)先經(jīng)驗回放是另一個收益明顯的改動。博弈對抗中大部分經(jīng)驗是平淡的雙方距離遠(yuǎn)、沒接觸、獎勵接近零這些樣本對網(wǎng)絡(luò)價值不大。反而是那些發(fā)生捕獲、發(fā)生劇烈機(jī)動、獎勵差異大的稀有經(jīng)驗攜帶了更多策略信息。給每條經(jīng)驗按 TD 誤差大小記一個優(yōu)先級采樣時按優(yōu)先級加權(quán)能讓網(wǎng)絡(luò)更頻繁地“復(fù)習(xí)”關(guān)鍵時刻。實現(xiàn)時注意兩點(diǎn)優(yōu)先級指數(shù) alpha 取 0.6 左右不要設(shè)過高否則采樣分布太偏剛存進(jìn)去的經(jīng)驗給一個中等偏上的初始優(yōu)先級避免完全不被采到。勝率評估是最終裁決手段。訓(xùn)練過程中每幾個訓(xùn)練輪次固定保存一組 actor全部訓(xùn)練結(jié)束后把所有 checkpoint 兩兩對陣用相同隨機(jī)種子跑足夠多局統(tǒng)計勝率。為什么必須這樣因為對抗訓(xùn)練里 reward 的絕對數(shù)值沒有意義只有相對某個固定對手的勝率才反映真實強(qiáng)度。我看過太多 reward 曲線很好看、實際對戰(zhàn)一碰就碎的項目都是因為跳過了這一步。評估用的對手必須是“凍結(jié)策略”不能在評估時打開探索噪聲否則勝率數(shù)據(jù)會混入噪聲變量無法反映策略本身水平。這三步做完一個 MADDPG 博弈對抗項目才算真正閉環(huán)自對弈保證訓(xùn)練動力優(yōu)先回放提高樣本效率勝率矩陣給出可信的模型選擇依據(jù)。做項目時我養(yǎng)成的習(xí)慣是評估腳本和訓(xùn)練腳本同步開發(fā)第一次啟動訓(xùn)練前評估代碼就已經(jīng)能跑通了而不是訓(xùn)練跑了幾天之后才補(bǔ)評估。這個習(xí)慣省下過無數(shù)次返工希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷欧美偷拍综合| 天天日夜夜爽| 久久婷婷五| 激情综合色婷婷啪啪六月天| 六月丁香开心婷婷欧美| 天天爽夜夜操| 五月天婷婷激情网| 亚洲亚洲人成综合网络| 丁香六月天婷婷开心综合| 91se精品国产| 九九九九这里只有精品| 九九热中文| 五月天国产成人| www激情| 噜噜噜噜噜久| 香蕉久久国产AV一区二区| 天天撸夜夜爽| 九月丁香八月婷婷久久综合久97| 婷婷91| 综合天天综合| 日韩AV在线影片| 99精品久久久久久久婷婷久久| 天堂在线观看视频| 婷婷五月婷婷| 色五月激情视频在线综合| 色色亚洲五月天| 婷婷丁香六月五月天| 丁香五月久久| 婷婷五月天激情开心网| 久热这里只有精品性色AV| 丰满老熟妇BBBBB搡BBB| 久久人妻乱| 婷婷五月综激情| 色网站99| 31色区视频免费看| 大香蕉久| 新精品99| 99re热视频这里只有综合亚洲| 色五月婷婷五月天| 99爱视频免费| 五月激情精品视频| 久久99看免费| 国产成人精品一区二三区熟女在线| 九玖欧洲亚洲| 五月天激情影院| 色色综合网站| 久久色五月| 丁香五月天在线视频| 在线观看国产高清视频免费网站| 六月丁香啪啪啪| www,五月天com| 国产婷婷色综合AV蜜臀AV| 五月婷婷亞洲中文| 婷婷不干网| 五月婷婷六月丁香在线| 婷婷丁香五| 人人草碰| chaopengdaxiangjiao| 日婷婷久久开心| 九九色婷婷| 久久精品国产AV一区二区三区 | 欧美va视频| 热久久77777| 任我肏视频精品| 日韩久久视频| www.狠狠艹| 人人草公开操| 在线观看av网站| 天天综合精品| 久久资源网五月婷| 国产密乳av一区二区三区四区| 九九色中文| 国产精品成人网址| 国产精产国品一二三在观看| 亚洲区视频| 丁香色啪综合| www.黄色片-久久成人国产精品在线播放-999AV| 精品人妻一区二区| 久久久.COM| 丁香五月综合图片在线观看| 99伊人性爱在线影院| av九九| 操操自拍| 久久99网| 日韩AV大全| 丁香婷婷黄网站| 国产99热| 五月丁香六月婷婷网| 色婷婷久久| 五月婷婷 婷婷五月 一区二区 久久久 | 丁香五月之久操视频| 99性视频| 一起草Av| 亚洲成人AV在线播放| 五月丁香欧美在线| 亚洲无码影音| 婷婷五月成人| 99久re热视频精品98| 色五月色五天免费视频| 久久机热这里只有精品| 五月色婷婷激情| 丁香婷婷人妻| 久久婷婷五月天懂色| 97在线/日本| 国产精品18久久久| 亚洲精品又粗又大又爽A片| www.操.com| www.五月婷婷.com| 99精品视频网| 狠狠综合网| 久久99这里只有精品视频| 婷婷综合另类小说| 五月丁香综合啪啪啪啪啪| www.综合久久.com| 丁香五月在线自慰| 大香蕉AV在线| 色色色色丁香| 老师高潮流白浆喷水的A片| 天天操天天干天天日| 99.N在线视频| 91精品婷婷国产综合久久| 久久六月综合| 五月丁香激| 五月婷婷丁香五月 | 婷婷成人综合五月| 五月开心激情网| 色情丁香五月天| 777.色色| 五月婷婷狠狠干| 亚洲第精品| 思思热思在线精品视频| 国产欧美日韩一区二区三区| 婷婷五月天熟妇| 五月丁香久久久日婷婷久久婷婷日| 久久五月天婷婷视频| 99re6热在线精品视频播放速度 | 日韩久热| 天天综合久久| 伊人激情综合| 色婷婷五月天偷拍| 五月婷婷天堂| 婷婷五月激情网| 99九九在线观看免费| 色色激情五月| 色色色视频免费无码| 国产中文亚洲欧美日韩性交| 五月婷在线色视频| 十月色综合| 五月婷婷激情综合网 | 综合五月婷婷| 婷婷区日本| 亚洲婷婷开心五月| 深爱激情五月天婷婷网| 色欲色香综合网| 深爱激清网| 五月丁香六月婷婷操操操| 久久婷婷六月综合综合色| 丁香五月在线观看| www超碰| 五月四色色| 久色中文| 操操自拍| 亚洲乱码日产精品BD| 午夜不卡久久精品无码免费| www.色色com| 七七九色| 思思久久99热| 黄涩毛片| 五月天婷婷AV| 北京熟妇搡BBBB搡BBBB| 国产AV网页| 超碰高清在线| 色久婷婷网| 26UUU精品一区二区Com| 91人人操人人爱| 另类小说色婷婷| 天天躁日日躁狠狠躁日日躁2022年5月9日| 青青草Avb在线| 色玖玖导航| 欧美黑人大吊| 99re这里只有精品视频了| 少妇人妻人伦A片| a在线观看| 久久网思思| 亚洲精品激情| 五月大香蕉| 丁香五月天AV在线 | 日本色综合| 99九九精品视频| 思思热视频| 日本激情综合| 亚洲婷婷91丁香| 亚洲人成网亚洲欧洲无码久久| 密臀久久| 色婷婷亚洲| 激情五月天综合网| 99热全是精品| 久久婷婷五月综合激情国产| www.婷婷亚洲基地| 久久日本wwww色| 天天se在线视频| 五月婷婷偷| 丁香五月激情综合啪啪| 久久久久久欧美精品se一二三四| 久热爱大香蕉在线蜜臀悦色| 妻久久久久| 丁香六月婷婷综合欧美| 1010日日无码| 色五月激情综合网| 七七九色| 高清无码视频网址| 99婷婷精品推荐在线视频| 99在线视频免费| 天天做天天爰天天爽天天无遮挡| 人人97碰| 2013AV天堂| 国产伊人五月天| 久久五月丁香| 综合色七七| 五月天色色激情综合| 色婷婷丁香| 综合婷婷| 99啪啪| 久久精品视频在这里有| 亚洲综合色婷| 五月丁香色婷婷婷基地| 97碰碰在线看视频免费| www.色色com| 色色色在线免费视频| 日本色五月婷婷| 99热中文字幕久久| 色婷婷狠狠| 美女91一起草| 五月天色婷婷网| 婷婷五月天激情四射| 成人AV中文字幕| www.ppypp| 五月婷婷六月天| 香蕉伊人综合| 人妻无码精品一区| 日日操夜夜操中国无码| 婷婷五月天激情在线观看| 操九色| 精品操逼一区二区| 婷婷色网站| 99热亚洲| 青青草护士中出内射-欧美电影在线天堂新版 | wwwss在线观看| 天天干,天天操,天天射| 开心深爱激情网| 五月精品99综合| 再次出发二| 国产67194| 久久久性爱视频| 97香蕉人人在线观看| 色五月婷婷久久大| 91女人18毛片水多国产| 欧美VA在线观看| 情欲禁地| 99只有这里是精品| 亚洲AV久久久久久久久久久久久久久久 | 成 久久| 三男玩一女三A片| 天天摸.天天mo| 夜夜干夜夜操| 99热资源在线| 久久久香| 无码四色色色| 久久九九国产精品怡红院| 九九热99免费视频| 综合色播| 五月天婷婷一起草| 99在线精品免费视频| 亚洲综合激| 丁香五月综合| 一本道综合网| 久久久久久9热不雅视频| 色欲色香,www,com| 五月婷婷欧美激情| 91jiuseshunv| 九九大香视频| 国产三级片91| 亚洲成人AV在线观看| .comwww在线观看免费操| 婷婷情色激情| 极品九九九九九九| www.henhenl| 五月天综合激情网| 99热这里只有精品在线观看| 综合激情伊人影视在线| 四LLL少妇BBBB槡BBBB| 狠狠干五月丁香| 无码人妻丰满熟妇奶水区码| www.亭亭五月天| 婷婷丁香五月天大香蕉| 国产操碰| 五月婷婷丁香五月亚洲色| 中国丰满熟女A片免费观| 亚洲色色色色| www.久久婷婷| 99精品热| 热99热9| 精品久久99码| 丁香激情合作五月| 丁香五月九九| 五月丁香| 99九九精品视频| 久久99精品久久久久久青青AR| 日韩综合久| 色综合激情| 成人做爰A片免费看视频| 婷婷六月久久| 亚洲色图45p| www.婷婷五月| 开心五月婷| 一区二区三区XXXXXX| 大香蕉伊人99| 色五月久久成人婷婷| 99热 日韩| 激情深爱五月天| 激情综合网五月在线播放| 丁香六月婷婷久久综合| 色婷婷久久综合中文久久一本| 丁香五月人妻| 亚洲精品白浆高清久久久久久| 久久久精品色| 天天做天天视天天谢| 狠狠干婷婷| 99自拍视频网站| 久热超碰| 丁香久久久| 九九国产精视频| 伊人网色婷婷五月天| 国产精品久久久海的味道| 婷婷六月色| 婷婷五月激情基地| 深爱激情五月网| 亚洲综合婷婷六月丁香五月| www.激情| 热久久婷婷| 婷婷综合久久| 婷婷激情图片| 26UUU在线观看| av激情在线| 欧洲第一无人区观看| 中文av网| 婷婷五月综合在线视频| 亚洲精品国产成人AV在线| 亚洲蜜桃精久久久久久久久久久久| 人妻久久人妻久久第一区| 美女五月激情| 久久婷婷色综合| 日本va欧美va国产激情| 久久网站免费亚洲| 婷婷五月无码| 中文成人在线| 99精品在这里| www.91婷婷| 五月婷婷之激情五月| 97人人操人人| 黄色91在线观看| 五月天偷拍| 久久伦乱| 日本色视| 婷婷狠狠久久| 午夜大香蕉| 国产44页| 啪啪啪丁香五月| www.色99| 99国产在线| 丁香六月激情综合| site:ornaments52.com| 欧美婷婷六月丁香综合色| CAOBIBI| 国产在线aaa片一区二区99| 亚洲色综合| 色噜婷婷| 婷婷五月婷婷| 可以免费看的av网站| 怕怕視頻| 亭亭五月丁香综合欧美| 色玖玖爱| 大香蕉婷婷丁香| 秋霞少妇毛片| 久久亭亭电影| 91在线精品一区二区| 九九视频这里只有精品| www.91婷婷| 开心色五月天久久久久久久| 五月婷AV| 亚洲国产成人裸舞| 另类激情五月| 天天综合天天玩夜夜玩天天玩夜夜玩| 婷婷大香蕉| 曰曰久久| 在线看片av| 久碰综合| 小色小蛇伊人婷婷色香五月| 日韩美女羞羞网站在线观看| 婷婷五月天天激情| 色综合久久无码| www.婷婷com| 中文成人在线| 全部老头和老太XXXXX| 天天爱天天做天天操| 人妻AV在线观看| 国产成人高清| 亚洲综合久| 亚洲av成人在线| 夜色综合网| 91九色欧美| 婷婷五月综合体验看| 国产裸舞表演WWWW| 六月丁香激情网| 婷婷 月 丁香| 婷婷激情小说| 丁香婷婷五月色成人网站| 激情AV在线| 91黄操| 亚洲午夜av| 超碰人人在线| 97人人射| 五月丁香婷婷钟和色图| 婷婷激情综合色五月久久91| 久久亚洲天堂| 超碰人人操在线| 91久久九久久九久久九久久九久久| 视频久久9| 成人毛片在线免费观看| 久久久久9999| 丁香五月婷婷动漫| 99热只有精| 天天做天天爱天天要| 色五月婷婷久久| 夜夜骑夜夜操| 婷婷五月色惰| 亚洲色五月| 人妻丰满精品一区二区A片| 五月天婷婷婷| 日韩淑女人妻luan伦激情精品一区二| 久久婷婷91| 超碰狠狠操| 精品国产va久久久久久久| 99精品无码网站| 噜噜色com| 五月天婷婷社区| 日本一道久久| 最近中文字幕2019视频1| 男同91 | 超碰人人干| 可以免费观看的av网址| 夜夜天天天天天干天天爽| 丁香六月激情综合啪啪| 东京热伊人| 丁香九月婷婷| 亚洲视频在线观看区| 色色五月天丁香婷婷| 亚洲小视频免费看| 5月丁香六月婷婷| 亚洲色五月婷婷| 五夜婷婷| 九九草草逼| 第四色网婷婷| 五月婷婷色播视频| 色婷婷社区| 九九99在线免费在线观看视频| 丁香六月啪| 国产免费性爱| 色综合中文色综合网| 色综久久AV| 六月久久狠狠| 99亚州综合精品成人网| 婷婷天堂伊人| 久er免费视频| 五月六月伦理| www.99热| 99狠狠| 就爱干 在线| 人人摸人人干| 91操人| 色呦呦在线| 97人妻碰碰碰久| 丁香五月天啪啪激情综合网| 五月激情视频| 26uuu成人网| 激情五月天噢美| 人人干人人操人人摸| 色五月婷婷五月天| 五月婷婷婷综合网| 久热精品视频| 亚洲操逼网| www91在线| 亚洲性爱99在线| 日本久热| 六月丁香婷婷大香蕉| 六月婷婷六月天天在线免费| 日本狠狠干| 综合色色五月| 亚洲日韩人妻操逼| 欧美影院婷婷| 99精品高潮| 蜜乳国产网站| 99色在线视频| av在线观看免费| 丁香六月色婷婷| 五月天激情婷婷| 91色色色18| 欧美爆乳一区二区三区| 免费无码毛片一区二区A片| 99re在线精品视频| 丁香婷婷情色五月天| 日日影院 | 91久久久久久| 超碰97干| 九九亚洲无码| 天天狠狠夜夜狠狠2023| 琪琪色五月婷婷老师| 亚洲色五月| 婷婷六月天天| 2022人人操人人看| 丁香五月亚综合图片| 日韩成人中文| 久久奄也去色色网站| 五月丁香| 婷婷伊人中文字幕| 97人人做| 亚洲不卡欧洲| 夜夜大香蕉婷婷丁香| 综合激情在线观看| 熟女激情五月天 | 99精品无码| 大香蕉婷婷色| 伊人久久99| 久久久久久99精品无码| 五月天婷婷爱| 激情丁香久久久久久| 婷婷五月激情天| 精品国婬伦V无码久久久| 五月天久久成人| 五月丁香六月激情| 色婷婷婷婷成人网| 国产午夜成人AV在线播放| 五月色婷婷在线观看| www九九热| 日本久热| 五月丁香啪啪| 99色综合网| 伊人啪啪网| 五月婷婷综合激情网| 婷婷五月天综合网| 色综合丁香| 色婷婷久久久| 婷婷香香五月| 国产乱妇无乱码大黄AA片| 激情婷婷五月女| 超碰99在线观看| 九九热视频首页/这里只有精品| 激情综合五月婷婷| 激情婷婷五月天伊人在线观看| 97色色视频| 日本人妻丁香婷婷久久寝取熟女五月| 国产FREESEXVIDEOS性中国| 狠狠另类视频| 九月激情婷婷丁香| 五月天婷婷视频| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 天天做天天爽| 超碰免费人妻| 久热99| 欧美操人| 色色五月天婷婷| 九九视频精品视频精品| 丁香五月 激情文学| 婷婷激情六月| 精品人人操| 狠狠干狠狠干| 五月婷婷乱| 人人草碰| 色五月激情婷婷| WWW五月婷婷| 婷婷五月天国产传媒| 五月丁香六月婷婷的女人| 99碰在线视频| 色播五月婷婷| 五月丁香久| 九九视频在线观看视频6| 久久性爱视频久久性爱视频| 色色色色色综合| 亚洲天堂aaa| 丁香五月婷婷精品视频| 9999热这里只有精品| www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | 久久大香蕉伊人| 五月婷婷黄色毛片| 久热伊人9| 日本99视频精品免费播放| 久久思思99| 色婷婷丁香九月| 五月丁香久人妻中文| 97干免费视频| 26UUU一区二区| 夜夜骑操AV| 色婷婷五月基地在线| 伊人在线婷婷草| 五月丁香成人版| 五月婷在线视频免费播放| 色色五月婷婷丁香| 亚洲激情综合| 9久精品视频| 99热地址| 爱久久小说下载网| 99久久偷拍视频| 超碰人人99| 色婷婷免费观看| 五月丁香美女视频| 六月五月久久丁香| 天天做天天爱天天玩夜夜爽| 五月天婷婷小说| 色色狼人综合| 色色激情| 色色色宗合网| 丁香五月最新地址| 天堂婷婷五月在线| 99热在线观看这里只有精品| 五月丁香啪啪| 婷婷丁香色五月| 欧美 日韩 人妻 高清 中文 | 超碰九色| 国产精品日本一区二区在线播放| 九色1区视频在线| 久久99精品久久久久久噜噜| 丁香五月六月久久综合| 久久五月婷天天干| 激情综合99| 99综合视频一体| 日比视频91| 14色综合婷婷| 五月丁香va| 99精品视频网站| 色播六月| 欧美综合五月天婷婷tin| 国产99久9在线| 婷婷色婷婷| www色中色综合| 久久99激情| 99久久婷婷| www.久操| 色婷五月婷婷| 激情五月天激情五月天| 六月婷婷中文字幕| 婷婷成人av| 丁香五月综合婷婷| 色天天综合成人网| 丁香婷婷基地| 91操黄| 91尤物九色在线| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 六月丁香婷婷色综合| 久久久久丁香婷婷五月天| 丁香五月在线| 99热在线网站| 色色色色色色色综合| 国产午夜一区二区三区| 五月丁香综合激情| 五月丁香人妻| caopeng97日韩| 殴美激情综合网| 色噜噜丁香| 碰碰91| 狠狠色噜噜狠狠| 色色五月天婷婷| 色五月色情| 激情综合青草| 先锋资源婷婷| 五月激香蕉网| VA婷婷| 色五月天电影| 色哟呦av| 丁香五月香蕉在线| 六月丁香五月婷婷| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 五月丁香直播| 亚洲天堂热| 精品国产a| 99高级会所久久| 成人网在线视频| 色一色综合| 丁香五月天导航| www夜夜操| 激情五月丁香五月色| 激情综合色| 99热这里只有精品5| 三十熟女| 欧美丁香婷婷天天操| 五月天婷婷AV| 日本天堂网站99| 激情婷婷五六月天| 中文激情网| 99日在线观看视频| 激情综合五月色丁香婷婷| 五月天激情国产综合婷婷婷| 日本啪啪网| 激情综合网五月天| 99热爆在线| 婷婷五月天成人动漫| 五月天激情图片| 成年视频免费观看| 四色AVwww| 成人国产网站在线免费看| 99久久免费性爱视频`| 激情综合国产| 毛v一区二区视频| 精品色色色| 亚洲视频一区| 久色姿源| 色情婷婷| 凹凸7777操操操| 丁香六月五月天| www.日本91| 激情五月婷婷综合色播小说| 国产乱子轮XXX农村| 久久久精品AV| 成人综合视频在线| 色婷婷性爱| 成人色色视频| 成人无码精品1区2区3区免费看| 色欲色天天香综合| 性生活视频98791| 蜜桃婷婷狠狠久久综合| 五月天激情视频网站| 碰97 久| 婷婷五月俺要去| 丁香六月激情综合| 五月综合激情久久| 欧美日韩99| 青草网在线观看| 色色色9| 九九色逼| 婷婷五月丁香啪啪| 99热99极品观看| 五月丁香六月婷婷网| ww超碰在线| 日本色色色| www.激情五月天.com| www夜夜操com| 丁香五月九九| 欧美激情五月天| 激情图片99| 超碰国产AV| 久久婷婷五月综合激情国产| 久久资源网五月婷| 日本欧美在线| 丁香五月成人| 激情综合网络插| 久久精品一区二区三区四区| 五月婷婷插一插| 丰滿爆乳一区二区三区| 亚洲99精品欧美一区| 91操屁股| 99热这里都是精品| 九九色中文| 国产一级片| 亚洲射激情| 九久久九精品视频| 五月丁香婷婷成人网| 色 五月 天 婷婷 丁香 九月| 噜噜在线| 色区久久| 国产成人一区二区三区在线观看 | 激情综合网色播五月| 成人丁香色| 欧美在线视频99| 深爱五月综合网| 综合AV网| 久久九九色| 67194成I人在线观看线路1| 狠狠干在线| 天天天天天色| 亚洲123区高清入口| 青青草原伊人网| 久热九九| 少妇搡BBBB搡BBB搡毛茸茸| 亚洲人妻五月丁香婷婷| www.97干视频| 天天操天天操天天操天天操天天操| 六月综和久久| 狠狠色综合无线观看| 久久丁香五月综合六月激情红杏视频| 婷婷五月天综合网| 五月丁香婷婷中文网| 久久精品噜噜噜成人A∨色欲 | 3p日韩网站视频| 久久九九亚洲| 亚洲综合九九| 丁香婷婷六月天| 亚洲在线成人| 久久婷婷五月天| 婷婷激情区| 天堂网色婷婷| 色噜噜狠狠一区二区三区| 狠狠操狠狠狠| 久久最新色| 99热伊人| 激情五月六月婷婷| 天天激情5月天亚洲| 丁香五月天天久久综合小说| 五月激情在线| 99re这里只有精品国产99| 精品五月花| 五月丁香婷婷基地| 丁香五月天无码| 五月天三级久久| www.99色| 夜夜爽天天爽| 国产永久一二一起草| 曰本aaaaaa丈片| 九色91国产| 丁香婷婷六月激情| 99人人干人人操| 九九碰九九爱97| 色婷婷丁香六月| 丁香五月婷婷综合激情哟哟哟| 五月色亚洲| 中文字幕婷婷五月天| 99精品丰满| 色情综合网| 丁香色五月婷婷91桃色| 婷婷五月天激情小说| ..真实国产乱子伦毛片| 日韩久热| 精品色色色| 入口五月婷婷六月香| 婷婷国产五月天17c| 91久久久久久久久18| 久久婷婷五月免费视频| 综合综合色色| 伊人色综合久久久| 性欧美大战久久久久久久83| 久热综合| www.丁香黄色五月天人与| 久草 天堂| 7EzOBIhNq85TO| 91精品久久久久久| 五月丁香淫淫婷婷婷| 思思热在线视频观看精品| 亚洲无码www| 91无码色色| 99自拍视频在线| jiqingliuyuetian| 色五月婷婷少妇人妻| 操97免费超级视频| 操逼电影免费看| www.夜夜| 9久久久久久久久久久| 激情小说五月天中文字幕| 九九99免费视频| 青青草Avb在线| 国产成人AV不卡| 99视频久久| 开心激情站| 婷婷激情丁香六月| 91艹人| 日韩成人av在线| 欧美婷婷丁香五月| 99精品视频免费观看近期发布| 日韩1区2区| 亚洲人成色A777777在线观看| 亚洲国产成人裸舞| 色A网| 日韩黄黄| 欧洲亚洲午夜| 91九色成人原创视频| 五月天久久色| 拍真实国产伦偷精品| 久久婷婷激情| 狠狠色噜噜狠狠| 噜噜精品| 激情综合色婷婷啪啪六月天| 婷婷爱综合| 激情图片亚洲| 亚洲av网站| 欧美超级视频97| 秋霞少妇毛片| 人妻在线观看视频| 国产麻豆视频| 99精品国产乱码久久久人妻| 99热欧美| 桃色五月天| 久久99网站| 99综合一区| 五月丁香六月激情综合| 99久热这里只有精品| 五月综合色播播丁香婷婷 | www五月天激情com| 日逼免费视频 | 婷婷国产综合| 婷婷六月激情小说网| 日韩一级片| 九九久久99精品免费观看www| 狠狠色狠狠爱| 久久影视婷婷五月| 人妻中文av| 99久久色| 激情综合婷婷久久| 激情五月天婷婷色色色色色色色色色色色| 好叼操在线观看| 老师高潮流白浆喷水的A片| 免费在线观看AV网站| 成人亚洲精品久久久久| 青草视频在线播放| 99ree6| 四川女人毛多水多A片| 久久婷婷影院| 疯狂做受XXXX高潮A片| 这里只有精品久久| 久9视频| 九九无码| 国产毛片欧美毛片久久久| 性做爰1一7伦| 国产午夜精品一区二区三区四区| 黄桃AV无码免费一区二区三区| 51精品国自产在线| 丁香情色五月| 欧美在线ee日韩| 91久久九九| 日韩av网站在线观看| 久久综合伊人77777蜜臀| 狠狠爱婷婷| 婷婷亚洲影院| 五月综合激情久久| 天天婷婷操| 久色国产| 色婷婷五月天激情在线观看| 国产性爱一级| 99精品久久久久久久婷婷| 六月丁香啪啪| 色噜噜狠狠色综无码久久合欧美| 国产精品18久久久| 丁香婷婷久| 99爱爱网| 99碰超| 激情五月图| 丁香五月天激情AV| 国产色色色色| 九九热re99re6在线精品| 91啪啪视频| www.狠狠| 婷婷五月色播天| 五月天婷婷涩涩| 97资源欧美日韩大香蕉超碰一区| 色情五月天视频网| 九九视频精品在线免费| www夜夜操com| 久久婷狠狠色| 色情五月婷婷| 久月久在线视频| 综合久久久婷| 婷婷激情四射| 国产热精品| 99精品热| 欧美日韩一区二区三区四区| 蜜臀AV在线观看| 色综合女人99| 猫咪伊人久久| 欧美日韩大黄| 嫩草乱码一区三区四区| 久久久www| 全部老头和老太XXXXX| 五月婷中文娱乐综合| 久久五月丁香婷婷| 丁香五月综合久久八| SESE无码AV| 色色色综合| www色色色com| 成人网在线观看视频| 97干在线免费| 日韩欧洲亚洲| 青青草深爱激情网| 五月丁香六月激情在线| 激情六月婷婷| 亚洲最大视频网站| 久久五月综合| www.26uuu.com亚洲电影| 91ncm视频| 校花娇喘呻吟校长陈若雪视频 | 久久久99久久| 六月五月天婷婷涩播在线| 久色五月天| 色五月亚洲五月天| 五月天婷婷在线视频| 天天日天天干天天操| 丁香五月激情综合久久| 婷婷在线精品| 天天噪夜夜爽| 性热视频99精品| 亚洲精品又粗又大又爽A片| av第一二区| 丁香五月另类小说在线阅读| 婷婷五月婷婷| 欧美搡BBBBB摔BBBBB| 99久在线精品99re5热视频| 成人色色综合| 六月丁香激情| 国外亚洲成AV人片在线观看| 色噜噜狠狠色综合网| 色婷婷六月精品| 伊人激情啪啪| 婷婷色综合网日韩国产| 热中文字幕| 五月丁香色| 亚洲无AV在线中文字幕| 日韩成人电影Av| 亚洲一色色色色色色色色| 婷婷五月天色播| 国产精品久久久久久久久久免费 | 99久久偷拍视频| 综合激情网五月激情| 99久久这里只有精品| 激情五月婷婷| 久久三级视频| 五月激情六月宗合| 青草青草视频2免费观看| 激情五月丁香社区| 婷婷五月激情视频| 天天干一干| www热久久yy9| 丁香五月综合亚洲| 99成人| 久久人人九| 精品,99| 成人做爰A片免费看网站找不到了| 九色七七| 亚洲aV写真天天综合网久久| 久操热| 99久久五月丁香野外| 亚洲另类婷婷五月综合| 桃色五月天| 69久久99精品久久久久| 26uuu欧美宗合| 熟妇无码乱子成人精品| 人妻激情综合| 五月丁香九九九综合| 久热大香蕉| 狠狠色狠狠| 日本色爽| 九九色网| 五月丁香六月情婷婷久久| 婷婷视频网| 欧洲毛片基地c区| 狠狠色噜噜狠狠狠狠综合| www.com久久久久久久久久久久久久久久久| 思思热久久阴99| 五月天婷婷成人网| 996黄色片| 日本性激情色播| 欧美经典片免费观看大全| 天天性视频| 99热播放| 色婷婷先锋| 丁香五月六月综合欧美| 色婷婷91激情小说| 色情一区二区播放| 亚洲精品国产熟女久久久| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | www.91色| 99热新网址| 久久九精品| 操人视频91| 亚洲精品大片| 亭亭丁香97| 天天日天天干天天插天天射| 五月天社区| 五月伊人综合| 久热只有精品| 无码色色色色色| 开心五月婷婷激情| 欧美久久网| 97极品在线| 久久综合影院| 在线中文亚洲| 开心五月婷婷婷美女| 97碰人人操| 午夜九九九九九九九九九九九九九| 婷婷成人视频| 色婷婷文字幕| 五月婷婷五月色| enecarbon-materials.com污K127封锁请涟系@wip1688 | 偷拍视频五月天| 亚洲天堂婷婷丁香| 亚洲综合婷婷| 牛牛澡牛牛爽| 天天爽天天摸| 丁香深五月婷婷| 色情五月停停丁香| 色色六月| 3www激情| 亚州欧美黄色电影| 大伊久久| 精品久9| 色婷五月| 亚洲综合色婷| 五月天婷婷爱丁香中文字幕| 啪啪啪综合网| 五月天天天开心激情网| 国产乱人偷精品人妻A片| 午夜青草资源| 国产暴力强伦轩1区二区小说 | 久久的爱大香蕉| 99综合| 五月天丁香欧美激情| 超碰网站在线观看| av色婷婷| 婷婷伊人网| 狠狠色情婷婷| 大香蕉伊人丁香五月| va亚洲中文在线| 色五月综合97| 91色噜噜狠狠狠狠色综合| 任你日视频| 思思热视频在线| 这里只有精品视频在线观看免费| 色www久视频| 色综合com| 色情五月综合婷婷| 六月婷婷狠狠色在线观看| 狠狠婷婷色| 强伦轩人妻一区二区电影| 六月婷欧美| 这里只有精品1| 久久婷婷六月| 欧美交换配乱吟粗大25P| 99.色| 苗黎美女四级成人版一级二级毛片| 亚洲人妻五月丁香婷婷| 97自拍99| 五月天色社区| 天天舔天天| 另类丁香综合| 久操热| 九九九午夜影院成人| 五月天另类小说久久小说网| 国产精品色色| 99国产er热视频| 婷婷五月天VI| 五月丁香六月婷| 26UUU一区二区| 久爱综合| 免费AV在线| 色欲丁香| 开心激情站| 丁香婷婷色五月| 女同激情久久av久久| 激情五月天丁香| 亚洲欧美另类在线23p| 欧美色99| 深爱激清网| 色综合激情| 极品少妇XXXX精品少妇偷拍| 五月丁查人人| 五月丁香激情综合| av一级棒av| 日本九九视频| 激情五月无码| 超碰国产AV| 狠狠色婷婷| 丁香六月欧美| 丁香五月天激情婷婷丁香六月| 婷婷丁香五月天之开心少妇| 变态另类9| 天天草狠狠擦| 色播激情婷婷| 五月天丁香综合久久国产| 六月亚洲婷婷6月中文字幕| 国产原创视频91九色| 伊人久久五月天| 色婷婷九月综合| 五月天堂婷婷| 狠狠干五月| 亚洲AV成人片无码网站| 99色播| 丁香五月激情棕合| 怎么样可以看免费的一级av| 91色在线 | 日韩| 五月丁香六月激情狠狠| 亚洲国产网站| 五月天激情网站| 丁香婷婷激情| 亚洲国产精品综合色区| 99久久99九九99九九九| 超爽内射| 免费看欧美成人A片无码| 成人视屏在线观看| 人人操人人爱丁香五月| 人人色婷婷五月天| 婷婷六月综合| 激情6月| 激情综合五月丁香| WWW99热| 天天干天天干天天干天天干天| 激情五月天在线观看婷婷| 九伊人网| 九九久久9 9在线观看| 九九色热| 人人操AV| 天天干天天 亚洲| 五月婷婷六月丁香综合| 亚洲啪| 激情婷婷丁香| 五月丁香久人妻中文| 成人九九视频| 伊人五月天日日夜夜久久久天天| 丁香玖玖| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 再綫Av免费視品| 激情綜合網址| 色色色色色九九九九九| 欧美日韩成人| 91人碰| 久久成人天| 日日日,com| 97干在线播放| 五月激情久久| 国产免费性爱| 九九無妻| 亚洲AV网址| 综合久久五月天| 五月婷婷影视| 激情深爱婷婷网| 狠狠色色综合| 少妇AB又爽又紧无码网站| 最新av在线观看| 精品久久久人妻| 6080av| 九九热这里只有精品5| 久久丝袜婷婷| 99ri国产精品| 91丨九色丨首页| 国产精品99久久久久久久女警| 五月丁香黄色视频| pom538精品视频| 色色网站在线| www.夜夜騎夜夜狠| 五月婷婷狠天天色综合| 欧美激情丁香五月| 999久久久国产精品| 伊人成综合五月婷婷| www.色色色com| 99噜噜噜在线播放| 日日爽日日| 五月婷婷六月天| 9l视频自拍9l视频自拍九色学生| 日本色婷婷| 这里只有精品1| 这里只有精品在线视频在线观看| 五月婷婷无码| 久久婷婷综合五月趴| 丁香六月天色婷婷| 六月婷婷狠狠色在线观看| 久久婷婷丁香五月一二三| 99热这里只有精品268| 深夜男女福利刺激影院一区| 六月99天天婷婷激情综合| 97久久草草超级碰碰碰| 亚洲啪视频| 久婷五月| 丁香六月婷婷久久综合八月|