欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

基于DDQN的多無人機物聯(lián)網(wǎng)數(shù)據(jù)采集調(diào)度實戰(zhàn)

基于DDQN的多無人機物聯(lián)網(wǎng)數(shù)據(jù)采集調(diào)度實戰(zhàn) 簡介基于Python實現(xiàn)的DDQN多無人機物聯(lián)網(wǎng)數(shù)據(jù)采集項目源碼面向強化學(xué)習(xí)研究者、無人機系統(tǒng)開發(fā)者及物聯(lián)網(wǎng)方向?qū)W習(xí)者既服務(wù)科研驗證也可用作畢業(yè)設(shè)計與工程原型直接回應(yīng)多機協(xié)同路徑規(guī)劃與數(shù)據(jù)采集的智能控制問題。壓縮包共34個文件以29個Python腳本為主體覆蓋算法核心模型、訓(xùn)練入口、環(huán)境模擬、物聯(lián)網(wǎng)設(shè)備管理、狀態(tài)計算與獎勵函數(shù)等模塊另含2個JSON運行配置用于切換城區(qū)與曼哈頓場景、2張對應(yīng)地圖PNG及1份README文檔包體僅39KB輕量精煉且便于快速啟動和二次開發(fā)。項目將雙深度Q網(wǎng)絡(luò)對Q值過估計的改進機制與物聯(lián)網(wǎng)采集任務(wù)結(jié)合給出從仿真環(huán)境到訓(xùn)練評測的完整代碼路徑模塊劃分清晰適合作為深度學(xué)習(xí)落地的實戰(zhàn)案例。當(dāng)前已有276人學(xué)習(xí)瀏覽對理解DDQN算法原理、多智能體協(xié)作及無人機仿真設(shè)計具有直接參考價值。1. 用 DDQN 做多無人機物聯(lián)網(wǎng)數(shù)據(jù)采集為什么固定航線必輸一片區(qū)域里散落著幾十個低功耗傳感器節(jié)點數(shù)據(jù)先在本地緩存等著無人機飛過去采集。這類物聯(lián)網(wǎng)數(shù)據(jù)采集場景對應(yīng)到三層架構(gòu)里傳輸層與感知層之間的銜接段瓶頸往往不在設(shè)備端而在調(diào)度無人機數(shù)量有限、電量有限、節(jié)點數(shù)據(jù)持續(xù)增長固定航線總會顧此失彼要么漏掉高負載節(jié)點要么飛到地方發(fā)現(xiàn)數(shù)據(jù)沒滿白耗一輪電。把“下一架無人機飛往哪個節(jié)點、懸停多久、采多少”建模成強化學(xué)習(xí)問題用 DDQN 訓(xùn)練多無人機協(xié)同決策是目前這類場景里可復(fù)現(xiàn)、也容易改造成真實鏈路調(diào)度策略的落地路徑。這個方向適合兩種人一是正在做物聯(lián)網(wǎng)或無人機方向畢業(yè)設(shè)計、需要一套能復(fù)現(xiàn)的源碼作為起點的學(xué)生二是做數(shù)據(jù)采集調(diào)度、想用強化學(xué)習(xí)替換靜態(tài)航線的工程師。讀完你手里會有一套從環(huán)境建模到智能體訓(xùn)練、從參數(shù)調(diào)整到結(jié)果驗證的東西而不是停留在概念上。下面按“建模 → 環(huán)境 → 算法 → 調(diào)試 → 進階”的順序把整條鏈路講透。2. 把采集任務(wù)寫成 MDP狀態(tài)、動作與獎勵的三處關(guān)鍵取舍強化學(xué)習(xí)落地第一步不是寫網(wǎng)絡(luò)而是把業(yè)務(wù)寫成一個可迭代的馬爾可夫決策過程。多無人機數(shù)據(jù)采集比單機麻煩在于每個無人機是獨立決策個體但它們共享同一個環(huán)境和同一個數(shù)據(jù)采集目標(biāo)狀態(tài)、動作、獎勵任何一處設(shè)計不合理后面所有訓(xùn)練都白做。2.1 狀態(tài)向量怎么拼位置、電量與節(jié)點緩沖區(qū)一個都不能少狀態(tài)向量決定了模型“看得見什么”。以 3 架無人機、20 個節(jié)點為例我一般讓每架無人機各自構(gòu)造自己的觀測而不是把全局狀態(tài)一次性塞給所有智能體。單個智能體的觀測包含四塊自身位置、剩余電量比例、當(dāng)前已緩存數(shù)據(jù)量、是否處于采集狀態(tài)再加上每個節(jié)點的位置、緩沖區(qū)占用率、數(shù)據(jù)產(chǎn)生速率、相對距離。import numpy as np def build_observation(agent, nodes, env): 構(gòu)造單個無人機的觀測向量。 agent: 包含 pos(2,), battery_ratio(標(biāo)量), carried_data(標(biāo)量), is_collecting(0/1) nodes: 每個節(jié)點含 pos(2,), buffer, rate, buffer_max, rate_max 返回形狀為 (6 * n_nodes 5,) 的 float32 數(shù)組 obs_parts [ agent.pos, # 自身坐標(biāo) [agent.battery_ratio], # 電量歸一化范圍 0~1 [agent.carried_data], # 當(dāng)前機載數(shù)據(jù)量 [1.0 if agent.is_collecting else 0.0], ] for node in nodes: dist np.linalg.norm(agent.pos - node.pos) # 相對坐標(biāo)比絕對坐標(biāo)更容易泛化換地圖時不用重新訓(xùn)練 obs_parts.append([ node.pos[0] - agent.pos[0], node.pos[1] - agent.pos[1], node.buffer / node.buffer_max, # 緩沖占用率越高越該去采 node.rate / node.rate_max, # 數(shù)據(jù)增速也歸一化 dist / env.model_range, # 距離歸一到 0~1 ]) return np.concatenate(obs_parts).astype(np.float32)這里有兩個容易被忽略的細節(jié)。第一所有量都必須歸一化。節(jié)點絕對位置動輒是幾百米量級而電量是 0~1直接拼接會讓網(wǎng)絡(luò)認為坐標(biāo)的數(shù)值更重要訓(xùn)練極慢。第二我把節(jié)點坐標(biāo)改成相對于無人機的坐標(biāo)這樣模型學(xué)的是“距離感”而不是“死記坐標(biāo)”。否則訓(xùn)練時節(jié)點位置一旦變化策略立刻崩掉這一點在后面的泛化問題上還會再踩一次。2.2 動作只有三類飛往節(jié)點、懸停采集、返航動作空間設(shè)計我推薦離散動作而不是連續(xù)控制。常見做法是動作 0 到 n_nodes-1 對應(yīng)“飛往某個節(jié)點”動作 n_nodes 對應(yīng)“在當(dāng)前節(jié)點懸停采集”動作 n_nodes1 對應(yīng)“返回起點/充電樁”。多無人機場景里連續(xù)動作會讓每個智能體的探索空間爆炸訓(xùn)練周期長到?jīng)]法迭代離散動作雖然粗粒度但對數(shù)據(jù)采集這種任務(wù)足夠用也容易觀察策略是否合理。獎勵函數(shù)是這門手藝里最像“玄學(xué)”的部分但核心原則只有一條讓無人機為一個明確目標(biāo)做權(quán)衡。我常用的構(gòu)成分四段def compute_reward(before_buffer, after_buffer, action, agent, env): # 采集到數(shù)據(jù)是正收益數(shù)據(jù)量單位是 KB collected after_buffer - before_buffer reward collected * env.alpha_collect # 飛行和懸停都有能耗成本用系數(shù)壓住“亂飛” reward - agent.energy_cost * env.alpha_energy # 懸停采集若沒采到東西給一個小懲罰防止原地摸魚 if action env.action_hover and collected 1e-6: reward - env.alpha_penalty # 出界或撞到其他無人機重罰 if agent.out_of_bounds or agent.collision: reward - env.collision_penalty return reward我一般在項目里把 alpha_collect 設(shè)為 1.0alpha_energy 設(shè)為 0.05alpha_penalty 設(shè)為 1.0collision_penalty 設(shè)為 10.0。注意采集獎勵是正的、能耗懲罰是持續(xù)的兩者之間的相對大小決定策略風(fēng)格能耗懲罰太大無人機會趨向于不動loss 降得漂亮但累計獎勵一直是負的太小則會滿圖亂飛。怎么找平衡沒有公式只能跑一輪短訓(xùn)練看飛行軌跡再調(diào)系數(shù)這也是每個強化學(xué)習(xí)項目都要經(jīng)歷的“獎勵調(diào)參循環(huán)”。2.3 從 DQN 到 DDQN多智能體環(huán)境下的過估計問題單機 DQN 在大部分靜態(tài)環(huán)境里夠用但多無人機組隊時有個繞不開的問題環(huán)境是動態(tài)的其他無人機的策略也在變導(dǎo)致 Q 值的估計噪聲很大。原始 DQN 在計算目標(biāo)值時直接用max_a Q(s, a)取最大值這個操作在高噪聲環(huán)境下會系統(tǒng)性地高估動作價值高估一旦累積訓(xùn)練就會發(fā)散。DDQN 的改動很小但非常關(guān)鍵選擇動作用在線網(wǎng)絡(luò)評估該動作的價值用目標(biāo)網(wǎng)絡(luò)。也就是拆掉了“選擇”和“評估”的耦合把max的高估源頭去掉。# DDQN 的 TD target 核心三行 online_next online_net(next_states) # (batch_size, n_actions) best_actions online_next.argmax(dim1, keepdimTrue) # 選擇交給 online target_next target_net(next_states).gather(1, best_actions).squeeze(1) td_target rewards gamma * target_next * (1 - dones)注意第三行的target_net參數(shù)是滯后更新的它拿到的動作編號來自online_net的 argmax但價值數(shù)值用的是目標(biāo)網(wǎng)絡(luò)的輸出。這相當(dāng)于說“在線網(wǎng)絡(luò)負責(zé)判斷哪個動作最好目標(biāo)網(wǎng)絡(luò)負責(zé)打分”兩套網(wǎng)絡(luò)互相制約。多無人機場景里我強烈建議直接用 DDQN 而不是 DQN因為非平穩(wěn)環(huán)境下高估問題會比單機嚴重得多這算是一份低成本后悔藥。3. 用 Python 搭一個最小可跑的多無人機采集仿真環(huán)境算法要落地得先有一個能反復(fù)重置、能返回觀測和獎勵的仿真環(huán)境。不需要物理引擎也不要求空氣動力學(xué)仿真核心是把“節(jié)點數(shù)據(jù)增長、無人機移動、采集動作、電量消耗”這四個邏輯寫清楚。下面這套環(huán)境是我常用的最小實現(xiàn)擴展性足夠。3.1 環(huán)境類的最小骨架reset 與 step 怎么實現(xiàn)多機邏輯多無人機環(huán)境與單機最大的區(qū)別在 step環(huán)境接收的是一個動作列表長度等于無人機數(shù)量返回的也是一個觀測列表。共享同一張地圖和同一組節(jié)點所以節(jié)點數(shù)據(jù)是全局狀態(tài)但每個無人機的觀測是獨立構(gòu)造的。class MultiUAVDataCollectionEnv: def __init__(self, n_uavs3, n_nodes20, area_size1000.0, seed42): self.n_uavs n_uavs self.n_nodes n_nodes self.area_size area_size self.rng np.random.default_rng(seed) self.model_range area_size self.max_steps 300 self.dt 1.0 # 每個決策步對應(yīng)仿真 1 秒 self.collect_range 50.0 # 無人機與節(jié)點距離小于該值才能采集 self.collect_rate 20.0 # 每秒可采集的數(shù)據(jù)量單位 KB/s self.uav_speed 20.0 # 飛行速度 m/s self.nodes [] self.uavs [] self.reset() def reset(self): # 每回合重新隨機生成節(jié)點位置強制模型學(xué)相對關(guān)系而非死記坐標(biāo) self.nodes [self._random_node() for _ in range(self.n_nodes)] self.uavs [self._random_uav() for _ in range(self.n_uavs)] self.step_count 0 obs [build_observation(uav, self.nodes, self) for uav in self.uavs] return obs3.2 模擬節(jié)點數(shù)據(jù)累積泊松過程與采集速率的權(quán)衡節(jié)點數(shù)據(jù)的產(chǎn)生方式我見過兩種模擬手段固定速率線性累積或者泊松過程隨機到達。線性累積穩(wěn)定、容易 debug但策略容易鉆空子——模型只要記住哪個節(jié)點固定漲得快就行。泊松過程更接近真實傳感器上報節(jié)奏而且每回合隨機性會迫使模型盯住緩沖區(qū)占用率而不是背板。def step(self, actions): self.step_count 1 # 第一步節(jié)點數(shù)據(jù)按泊松過程累積 for node in self.nodes: node.buffer self.rng.poisson(node.rate * self.dt) node.buffer min(node.buffer, node.buffer_max) # 第二步無人機執(zhí)行動作 rewards [] for i, uav in enumerate(self.uavs): action actions[i] before_buffer self._buffer_under_uav(uav) if action self.n_nodes: # 飛往目標(biāo)節(jié)點 target self.nodes[action].pos move_vec target - uav.pos dist np.linalg.norm(move_vec) step_dist min(dist, self.uav_speed * self.dt) uav.pos uav.pos move_vec / (dist 1e-6) * step_dist uav.energy_cost step_dist * 0.02 elif action self.n_nodes: # 懸停采集 after_buffer self._collect(uav) uav.energy_cost 1.5 else: # 返航 home np.array([self.area_size / 2, self.area_size / 2]) move_vec home - uav.pos dist np.linalg.norm(move_vec) step_dist min(dist, self.uav_speed * self.dt) uav.pos uav.pos move_vec / (dist 1e-6) * step_dist uav.energy_cost step_dist * 0.02 reward compute_reward(before_buffer, self._buffer_under_uav(uav), action, uav, self) rewards.append(reward) obs_next [build_observation(uav, self.nodes, self) for uav in self.uavs] done self._check_done() return obs_next, rewards, done這里有幾個關(guān)鍵參數(shù)。dt1.0意味著每個決策步模擬 1 秒300 步就是 5 分鐘飛行任務(wù)節(jié)奏剛好collect_rate20.0表示每秒采集 20KB如果節(jié)點 buffer_max 設(shè)成 100KB懸停 5 秒才能清空一個節(jié)點這給了策略“要不要采完”的權(quán)衡空間。采集速率的取值要和節(jié)點增長率匹配如果節(jié)點每秒漲 30KB、采集只有 20KB那無論如何都采不完訓(xùn)練必然失敗。3.3 回合終止條件電量耗盡、任務(wù)完成還是時間超限回合終止條件直接影響訓(xùn)練效率。我只用三個條件所有無人機電量低于某個閾值、達到最大步數(shù)、節(jié)點總待采集數(shù)據(jù)量低于某個比例。注意不建議在單個無人機電量耗盡時立即終止整回合因為多智能體任務(wù)里其他無人機還能繼續(xù)工作強行終止會引入不真實的截斷。def _check_done(self): # 條件 1所有無人機電量都低于 20% all_low all(uav.battery_ratio 0.2 for uav in self.uavs) # 條件 2達到最大步數(shù) time_up self.step_count self.max_steps # 條件 3總待采集數(shù)據(jù)量低于總量的 5%視為任務(wù)完成 total_buffer sum(n.buffer for n in self.nodes) total_cap sum(n.buffer_max for n in self.nodes) completed total_buffer total_cap * 0.05 return all_low or time_up or completed任務(wù)完成條件建議保留否則模型沒有“盡快收工”的壓力。把完成線設(shè)成 5% 而不是 0%是為了避免最后一點數(shù)據(jù)讓無人機繞一大圈反而拖慢訓(xùn)練。真實系統(tǒng)里那 5% 通??康孛嫒藛T補采不值得消耗無人機電量。4. 寫好 DDQN 智能體網(wǎng)絡(luò)結(jié)構(gòu)、回放緩沖區(qū)與訓(xùn)練循環(huán)環(huán)境只是棋盤智能體才是下棋的人。DDQN 的實現(xiàn)分三塊雙 Q 網(wǎng)絡(luò)、經(jīng)驗回放、訓(xùn)練循環(huán)。每一塊的參數(shù)都直接影響收斂速度下面給出我調(diào)得比較順的一套配置。4.1 雙 Q 網(wǎng)絡(luò)與目標(biāo)網(wǎng)絡(luò)軟更新代碼里怎么實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)不需要深兩到三層全連接足夠處理這個規(guī)模的狀態(tài)空間。輸入維度是6 * n_nodes 520 個節(jié)點就是 125 維輸出維度是n_nodes 2。隱藏層 256 足夠再多只會增加過擬合風(fēng)險。import torch import torch.nn as nn import torch.optim as optim class MLP(nn.Module): def __init__(self, state_dim, action_dim, hidden256): super().__init__() self.net nn.Sequential( nn.Linear(state_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, action_dim) ) def forward(self, x): return self.net(x) class DDQNAgent: def __init__(self, state_dim, action_dim, lr1e-4, gamma0.99, tau0.005, devicecpu): self.online_net MLP(state_dim, action_dim).to(device) self.target_net MLP(state_dim, action_dim).to(device) self.target_net.load_state_dict(self.online_net.state_dict()) self.optimizer optim.Adam(self.online_net.parameters(), lrlr) self.gamma gamma self.tau tau self.device device self.action_dim action_dim def soft_update_target(self): # 目標(biāo)網(wǎng)絡(luò)參數(shù) tau * 在線網(wǎng)絡(luò)參數(shù) (1 - tau) * 目標(biāo)網(wǎng)絡(luò)參數(shù) for tp, op in zip(self.target_net.parameters(), self.online_net.parameters()): tp.data.copy_(self.tau * op.data (1.0 - self.tau) * tp.data)soft_update_target是 DDQN 的“慢跟上”機制。tau 設(shè) 0.005 意味著每次更新目標(biāo)網(wǎng)絡(luò)只向在線網(wǎng)絡(luò)靠近 0.5%這樣目標(biāo)網(wǎng)絡(luò)的變化足夠平緩TD target 不會劇烈跳動。有的實現(xiàn)會用硬拷貝每 N 步直接復(fù)制一次那也行但軟更新在非平穩(wěn)環(huán)境下更穩(wěn)。4.2 經(jīng)驗回放緩沖區(qū)容量、采樣方式與預(yù)熱步數(shù)經(jīng)驗回放的作用是打掉樣本之間的時間相關(guān)性。多無人機環(huán)境里同一時刻采集到的 3 條 transition 其實來自同一個環(huán)境狀態(tài)如果直接連續(xù)喂給網(wǎng)絡(luò)梯度方向會高度相關(guān)訓(xùn)練震蕩。緩沖區(qū)隨機采樣就是要把這些相關(guān)性打散。from collections import deque import random class ReplayBuffer: def __init__(self, capacity50000): self.buffer deque(maxlencapacity) def push(self, state, action, reward, next_state, done): self.buffer.append((state, action, reward, next_state, done)) def sample(self, batch_size): batch random.sample(self.buffer, batch_size) states, actions, rewards, next_states, dones zip(*batch) return (np.array(states), np.array(actions, dtypenp.int64), np.array(rewards, dtypenp.float32), np.array(next_states), np.array(dones, dtypenp.float32)) def __len__(self): return len(self.buffer)容量 50000 對我來說是經(jīng)驗值太小則回放樣本單一訓(xùn)練不穩(wěn)太大則老樣本占多數(shù)在多智能體環(huán)境里這些老樣本對應(yīng)的“其他智能體策略”早已過時反而干擾更新。如果你發(fā)現(xiàn)訓(xùn)練后期獎勵曲線反復(fù)震蕩優(yōu)先把容量從 50000 降到 20000 試試這個反直覺的操作經(jīng)常有效。4.3 訓(xùn)練循環(huán)與超參數(shù)從 epsilon 衰減到學(xué)習(xí)率配比訓(xùn)練主循環(huán)的邏輯是每個決策步每架無人機各自用當(dāng)前網(wǎng)絡(luò)選動作環(huán)境推進一步把每條 transition 推進共享回放緩沖區(qū)攢夠預(yù)熱樣本后開始更新。def train_one_episode(env, agent, replay_buffer, epsilon, batch_size128, warmup2000): obs env.reset() done False episode_loss 0.0 update_count 0 while not done: # 每架無人機獨立決策epsilon-greedy 探索 actions [] for o in obs: if random.random() epsilon: actions.append(random.randrange(env.n_nodes 2)) else: o_t torch.FloatTensor(o).unsqueeze(0) with torch.no_grad(): q agent.online_net(o_t) actions.append(q.argmax(dim1).item()) next_obs, rewards, done env.step(actions) # 共享回放緩沖區(qū)存所有無人機的經(jīng)驗 for i in range(env.n_uavs): replay_buffer.push(obs[i], actions[i], rewards[i], next_obs[i], done) obs next_obs # 足夠樣本后開始更新網(wǎng)絡(luò) if len(replay_buffer) warmup: states, actions, rewards_, next_states, dones \ replay_buffer.sample(batch_size) loss agent.update(states, actions, rewards_, next_states, dones) episode_loss loss update_count 1 agent.soft_update_target() avg_loss episode_loss / max(update_count, 1) return avg_lossupdate方法里用的就是前面 DDQN 核心公式損失函數(shù)我推薦 smooth L1 而不是 MSE它對離群 TD error 的梯度更溫和前期不容易被個別極端樣本帶崩。完整的update實現(xiàn)def update(self, states, actions, rewards, next_states, dones): states torch.FloatTensor(states) actions torch.LongTensor(actions).unsqueeze(1) rewards torch.FloatTensor(rewards) next_states torch.FloatTensor(next_states) dones torch.FloatTensor(dones) # 在線網(wǎng)絡(luò)計算當(dāng)前 Q 值 q_values self.online_net(states).gather(1, actions).squeeze(1) # DDQN: 在線網(wǎng)絡(luò)選動作目標(biāo)網(wǎng)絡(luò)估值 with torch.no_grad(): next_actions self.online_net(next_states).argmax(dim1, keepdimTrue) next_q self.target_net(next_states).gather(1, next_actions).squeeze(1) td_target rewards self.gamma * next_q * (1 - dones) loss nn.functional.smooth_l1_loss(q_values, td_target) self.optimizer.zero_grad() loss.backward() # 梯度裁剪防止 TD error 爆炸導(dǎo)致網(wǎng)絡(luò)權(quán)重一步崩壞 nn.utils.clip_grad_norm_(self.online_net.parameters(), 10.0) self.optimizer.step() return loss.item()這套超參數(shù)是我在多無人機采集任務(wù)上反復(fù)調(diào)整后的起點學(xué)習(xí)率 1e-4 不貪快gamma 0.99 看重長期收益batch_size 128 在穩(wěn)定性和速度之間平衡epsilon 從 1.0 開始每個 episode 乘 0.995 衰減到 0.05 為止warmup 2000 步保證緩沖區(qū)里不是一鍋亂燉。不要直接照抄拿這個配置跑 200 個 episode 看曲線形態(tài)再動。5. 訓(xùn)練避坑與排查DDQN 收斂慢、震蕩、不收斂的 5 類問題訓(xùn)練強化學(xué)習(xí)最大的成本是時間前面所有設(shè)計都要服務(wù)于“一次能跑出有效信號”。這一章把我見過的高頻問題列成排查清單每個都按“現(xiàn)象 → 原因 → 解決”拆開。5.1 loss 在降但累計獎勵不動稀疏獎勵讓梯度失去方向現(xiàn)象是 TD loss 從 0.4 一路降到 0.05曲線看著很健康但累計獎勵紋絲不動始終在負值附近徘徊。這類問題最迷惑人因為“網(wǎng)絡(luò)在學(xué)”和“策略在變好”是兩回事。原因通常是獎勵太稀疏或負獎勵占比過高。無人機大部分時間在飛行持續(xù)承受能耗懲罰真正的采集正獎勵只在懸停采集成功那一兩步出現(xiàn)。模型最省事的做法就是“少動少虧”學(xué)成一個原地待機的策略。解決思路是拆解獎勵日志。我在訓(xùn)練時會把collected_reward和energy_penalty分開記錄到兩個列表先看哪個在主導(dǎo)。如果是負獎勵主導(dǎo)把 alpha_energy 從 0.05 降到 0.01同時給“飛向高緩沖節(jié)點”的過程加一個中間獎勵比如每步如果與最近高緩沖節(jié)點的距離縮短就給 0.1 的小獎勵。這是典型的獎勵塑形能讓梯度在每個步都“有話可說”。5.2 前期 Q 值快速發(fā)散雙重網(wǎng)絡(luò)也沒完全解決高估現(xiàn)象是前 300 個 episode 里 Q 值預(yù)測沖到數(shù)千然后又崩到負數(shù)訓(xùn)練曲線像過山車。很多人在這一步開始懷疑 DDQN 是不是寫錯了但代碼通常沒錯。原因在于經(jīng)驗回放初期緩沖區(qū)里全是隨機策略的數(shù)據(jù)噪聲大TD target 本身就被高估加上自舉用估值更新估值高估會逐級放大。DDQN 緩解了 max 操作的系統(tǒng)性高估但擋不住噪聲驅(qū)動的隨機高估。解決手段按順序排查。第一確認 online 網(wǎng)絡(luò)的最后一個線性層沒有大的初始化——就用 PyTorch 默認初始化不要手工放大。第二梯度裁剪從 10.0 改成 5.0讓單步更新權(quán)重變化更小。第三把學(xué)習(xí)率降到 5e-5 跑 100 個 episode 試試穩(wěn)定后再加回去。最后如果還在發(fā)散把 gamma 從 0.99 降到 0.95縮短價值傳播鏈。5.3 多無人機互相干擾非平穩(wěn)性讓經(jīng)驗回放失真現(xiàn)象是單無人機訓(xùn)練時曲線平穩(wěn)加到 3 架無人機后同一套代碼 reward 波動明顯放大甚至完全學(xué)不出來。原因要從多智能體強化學(xué)習(xí)的底層邏輯看經(jīng)驗回放假設(shè)環(huán)境轉(zhuǎn)移是固定的但多無人機環(huán)境下每個智能體的策略都在變其他無人機的行為對某個智能體來說就是環(huán)境的一部分這個“環(huán)境”是動態(tài)的。緩沖區(qū)里的老樣本可能對應(yīng)其他無人機完全不同的行為模式把它們當(dāng)作當(dāng)前環(huán)境的真實經(jīng)驗去更新梯度方向自然會互相打架。解決手段有三個按成本從低到高排列。最省事的是把回放緩沖區(qū)容量從 50000 砍到 15000讓樣本“保鮮期”變短模型學(xué)到的是最近期的行為模式。第二種做法是共享網(wǎng)絡(luò)參數(shù)所有無人機用同一個 online 網(wǎng)絡(luò)做前向和反向本質(zhì)是減小訓(xùn)練方差。第三種是放緩更新頻率從每個決策步更新一次改成每 4 個決策步更新一次給環(huán)境一段穩(wěn)定時間。5.4 換一張地圖就失效節(jié)點分布過擬合與泛化訓(xùn)練現(xiàn)象是節(jié)點位置固定時訓(xùn)練結(jié)果很好累計獎勵曲線漂亮但把節(jié)點位置換一批重新隨機后獎勵斷崖式下跌策略幾乎癱瘓。原因在于狀態(tài)里如果用了絕對坐標(biāo)網(wǎng)絡(luò)會退化成查表——記住“坐標(biāo) x 有高數(shù)據(jù)去那”。這不是策略是背誦。換個坐標(biāo)系網(wǎng)絡(luò)就懵了。解決方法是雙管齊下。狀態(tài)里已經(jīng)改成相對坐標(biāo)的檢查是否真的把所有絕對量都去掉了包括獎勵計算里不要用絕對位置做判斷。另一個手段是 domain randomization也就是環(huán)境 reset 時每個 episode 的節(jié)點位置、節(jié)點速率、無人機起始位置都重新隨機強迫模型學(xué)“距離近、緩沖高就先去”的規(guī)律。我還會把面積大小也 800 到 1200 米之間隨機防止模型把尺度作為特征。5.5 訓(xùn)練慢到?jīng)]法迭代步長、更新頻率與仿真加速現(xiàn)象是 500 個 episode 要跑一晚上還沒看到有效信號整個調(diào)參循環(huán)卡死在時間上。原因通常是三個疊加環(huán)境步長太細dt 設(shè) 0.1 秒導(dǎo)致每個 episode 幾千步、網(wǎng)絡(luò)每步都更新、節(jié)點對象用純 Python 類和 list 做大量距離重復(fù)計算。解決順序很明確。第一步把決策步長 dt 設(shè)成 1 秒限制每個 episode 最長 300 步犧牲時間精度換迭代速度策略驗證階段完全夠用。第二步把更新頻率改成每 4 步更新一次batch_size 從 128 提到 256吞吐量明顯上升。第三步如果環(huán)境還是慢把節(jié)點表示從類對象改成 numpy 結(jié)構(gòu)化數(shù)組所有距離計算向量化經(jīng)驗上能再快 3 到 5 倍。訓(xùn)練不慢調(diào)試才有意義。6. 進階技巧讓 DDQN 更快收斂的 3 個實用做法當(dāng)訓(xùn)練曲線開始正常下降先別急著慶祝把下面三件事做了策略質(zhì)量還能再上一個臺階。優(yōu)先經(jīng)驗回放是收益最明顯的改進。均勻采樣把每條經(jīng)驗一視同仁但實際里 TD error 大的樣本恰恰是最需要學(xué)習(xí)的。做法是給每條經(jīng)驗記一個優(yōu)先級采樣概率按 TD error 加權(quán)alpha 0.6 # 優(yōu)先級強度0 表示均勻采樣1 表示完全按優(yōu)先級 prob td_error ** alpha / sum(td_errors ** alpha)注意用了加權(quán)采樣原本均勻采樣的期望就會有偏差所以要在更新時用重要性權(quán)重修正beta 從 0.4 線性升到 1.0。這個技巧在稀疏獎勵場景下收益極大但代碼量會多一些適合基礎(chǔ)版本已經(jīng)跑通的階段。獎勵移動平均歸一化是第二件該做的事。強化學(xué)習(xí)的獎勵尺度一旦變化學(xué)習(xí)率就要跟著重新調(diào)這是最磨人的黑匣子問題。一個簡單辦法是記錄最近 1000 步獎勵的均值和標(biāo)準(zhǔn)差然后讓輸出獎勵除以標(biāo)準(zhǔn)差reward_norm rewards / (running_std 1e-6)這不會改變策略最優(yōu)解只是讓 TD error 保持在一個穩(wěn)定尺度內(nèi)學(xué)習(xí)率不用頻繁調(diào)整。注意要在訓(xùn)練中動態(tài)更新這個均值和方差別用全量統(tǒng)計。最后是可視化驗證。訓(xùn)練結(jié)束時別只看 loss 曲線用 matplotlib 畫一局軌跡圖把無人機路徑、節(jié)點位置、采集完成的節(jié)點標(biāo)出來就能一眼看出策略是不是在“繞圈白飛”。配合 python 數(shù)據(jù)分析與可視化里常用的熱力圖把節(jié)點緩沖區(qū)隨時間的變化鋪成一整張圖縱向是節(jié)點編號橫向是時間步顏色越亮表示緩沖區(qū)越高能直接確認重點節(jié)點是否被及時采集。我自己的習(xí)慣是每改一次參數(shù)就跑一個 200 episode 的快速實驗然后截一局軌跡熱力圖存檔。訓(xùn)練狀態(tài)好不好看圖比看數(shù)據(jù)方便得多這個習(xí)慣幫我避開了至少三次“看起來收斂實際在鉆空子”的陷阱。多無人機強化學(xué)習(xí)項目調(diào)試本身就像一個旋鈕很多的儀器每動一個參數(shù)都值得記錄別憑感覺調(diào)否則下次翻車時連后悔藥都沒得找。希望這篇整理能幫你在數(shù)據(jù)采集調(diào)度這條路上少走幾個來回。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
97精品人人A片免费看| 久久99免费视频网站| 婷婷色丁香五月| 五月综合无码| 五月婷婷深深爱| 五月婷婷激情综合| 婷婷五月中文字幕| 丁香大香蕉| 九色91国产| 99自拍视频在线观看| 在线观看av网站| www.jiujiujiu| 精品99在线看| 色噜噜狠狠色综合日日| 五月丁香六月婷婷综合网| 久久性视频| 五月天激情小说| 色久综合| 操一操插一插| 色婷婷激情四射视频| 久草热在线视频| 亚洲人妻电影| 五月婷久久| 日日干夜夜撸夜夜骑| 欧美肉大捧一进一出免费视频| 丁香 婷婷五月| 色婷婷网大全在线| 欧美α√| 99色色热热| 色偷偷五月天| 深爱五月日韩| 五月婷婷99热| 99久久超级| 色五月婷婷很很操| 欧美色狠婷久| 淫视馆av三区| 99激情网| 中文国产五月天| 91传媒无码人妻精| 久热这里只有| 人人摸人人摸| 免费AV黄在线播放| 96精品国产综合久久久久久| 啪啪91| 色七色九九| 曰韩五月丁香色婷婷无码| 丁香五月天激情免费在线观看AV777 | 日韩激情网站| 可以免费观看的av| 五月天激情.com| www.激情五月天.com| 97色色综合| 六月丁香啪啪| 婷五月天| 99国产精品白浆在线观看免费| 色丁香五月婷婷在线| 婷婷综合另类| 深爱五月婷婷| 夜夜久久综合网| 色情五月天小说| 无码激情AAAAA片-区区| 欧美在线操| 色五月aV| 丁香花五月天激情| 91色色色视频| 99网| 99色热视频| 丁香五月激情欧欧美| 婷婷色色丁香| av高清无码| 国产偷人妻精品一区| 九月婷婷久久| 日亚二欧美| 99激情视频| 亚洲视频99| 五月婷婷伦理| 激情伊人| 激情性爱网站| 伊人免费视频9| 欧美日韩99| 亚洲欧美国产高清vA在线播放| 伊人久久婷婷| 九九99热| 丁香花社区av| 激情婷婷六月天| 日韩爱操视频| 九九爱看亚洲| 婷婷五月激情六月丁香| 丁香婷婷色| a性生活久久无| 亚洲天堂久久| 99狠狠操一| 97涩涩丁香五月天| 激情五月激情综合俺也去婷婷小说| 一区二区传媒视频| 操97在线观看| 538在线精品| 99热9999| 欧美 日韩 成人 在线| 色色婷婷综合网| 色婷婷AⅤ| 国产成人精品一区二三区熟女在线| 婷婷五月天AV在线| 狠狠色狠狠操| 夜夜躁爽日日| 五月天婷婷丁香社区| 99热99日…..| 夜夜涩涩涩| 九九精品综合| 中文精品在| 亚洲综合五月天婷婷| 激情五月综合网| 色婷另类| 久久多色| 丁香六月啪啪| www五月| 婷婷操久久| 欧美成人性爱网| 色五月婷婷激情五月| 丁香六月啪啪| 欧美日本VA| AV在线观看网站| 久草婷婷视频| 五月丁香久久色| 久久密臀婷婷| 狠狠色婷婷综合开心影视| 色欲一区二区三区精品A片 | 日韩AV片| 亚洲免费看片| 激情第四色| 97干在线视频| 久草婷婷网 | 极品五月天| 影音先锋91在线资源站| 天天射天天操天天干| 91蝌蚪窝视频在线| 久久38视频| 天天日中文| 免费视频WWW在线观看网站| 丁香六月综合激情| 色级停停| 久久婷婷草| 涩 五月 婷婷 狠狠| 色色丁香色五月| www.99久久久久99| 欧美久久婷婷| 同性gv国产精品一区二区| 亚州精品色情无码A片| 亭亭色色五月天| 99久久99九九九99九他书对| sS丁香五月婷婷| 五月丁香婷婷AV天堂| 99热久久这里只有精品| 操逼棍操逼| 天天谢天天操| 六月丁香综合| 欧美韩国日本| 99国产欧美视频| 久久综合香蕉国产国产蜜臀AV| 婷婷六月香| 大香蕉久久久久久久久| 久久精品9| 久久er免费视频| 97久久草草超级碰碰碰| 插插插色综合网| 美妞av| 五月总合激情网| 欧美婷婷六月丁香综合色| 天堂AV三级| 五月天久久色| 婷婷激情性爱| 五月天婷婷在线播放免费| 日本婷婷五月天| 久热精彩视频98| 五月婷婷六月丁香免费| 五月天综合在线观看视频| AV网站免费在线| 99九九中文字幕视频| 亚洲六月色| 久热AA| 五月婷婷之综合激情| 五月天激情综合| 伊人在线视频| 亚洲啪啪网| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 婷婷五月天视| 亚洲婷婷五月天激情| 夜夜干天天干| 久久久婷婷婷| 丁香影院五月综合| 99热色无码| 婷婷五月丁综合| 久久免费操| 久久婷婷视频| 欧美久久久久久久久中文字幕| 亚洲av日韩无码| 五月婷婷色综图片| 色五月婷婷在线| 中文字幕无码人妻少妇免费视频| 九月丁香八月婷婷久久综合久97| 天天肏天天插| 久操人妻| 91嫩草国产线观看亚洲一区二区| 国产亚洲在线| 天天爽夜爽| 丁香五月婷婷影院| 97自拍99| 伊人婷婷五月天av| 婷婷六月天| 色色色色色色色色色色色色色色,网站| 免费看成人747474九号视频在线观看| www.婷婷com| 久久九九婷婷| 九九热这里只有国产精品| www.夜夜| 4438全国最大视频成人网站在线观看| 九九五月天| 国产成人va在线| 久久亚洲激情五码| 九月激情综合| 婷婷五月综合激情免费| 五月婷婷之综合激情| 丰满少妇乱A片无码| 久9免费视频| 亚洲综合婷婷五月| 色色亚洲视频| 五月丁香啪综合| 97五月天婷婷| 粉嫩AV久久一区二区三区| 91精品综合久久婷婷九色| caopeng97日韩| 99精品热| 超碰大香蕉网| 日本色图综合| 丁香六月婷婷社区| 丁香五月在线看| 播播网色播播| 丁香婷最新动态| 亚洲VA口| 97婷婷丁香五月天激情图片| 三十路磁力链接| 99自拍视频| 久久亚洲无码| 五月天婷婷丁香导航| www五月婷婷88导航| 丁香五月综合| 婷婷色婷婷亚洲成人| 五月婷婷啪啪| 激情五月婷婷视频一区二区三区| 五月婷婷六月丁香在线| 天啪色| 97色婷婷五月天| 九九99久久| 丁香婷婷五月综合色情| 久久曰曰| 激情综合5| 亚洲综合视频网| 丁香五月婷婷亚洲激情四射| 五月丁香久久综合精品| 激情五月婷婷| 丁香欧美| 国产毛片操B| 色播五月天天| 激情五月黄色| 欧美综合激情五月| 激情精品久久| 久久九九色| 91精品久| 综合五月天| 五月天怕怕| 怡红院视频| 人操91在线| 五月天综合影院| 性爱技巧五月| www激情| 亚洲最大视频网站| 五月丁香综合影院| 婷婷综合精品| 超碰91在线| 香蕉AV777XXX色综合一区 | 丁香六月婷婷色XXXX| 婷婷激情图片| 国产探花AV在线| 色www久视频| 爱婷婷五月| 久久久久久久久久久久久久久久一道本| 丁香五月婷婷激情123| 激情又色又爽又黄的A片| 人人摸人人射| 一区中文字幕电影| 久操大| 婷婷五月激情网| 日日色综合| 色欲人妻综合aaaaaaaa网| 99热99在线| 99爱在线| 在线播放 精品| 色五月综合在线| 97久久五月丁香婷婷| 国产精品视频免费看| 婷婷激情九月| 97人人干| 亚洲五月情| 五月丁香六月停停停| 狠狠干五码| 丁香六月成人网| 五月色婷婷影院| 欧美A级网站| 五月天大香蕉| 色五月六月| 六月婷婷综合久久| 婷婷五月天社区| 五月丁香成人| 97色啪| 丁香五月婷婷影院| 色五月婷婷激情五月| 玖玖玖婷婷婷| 狼人久草| 偷拍九九五月丁香婷婷| 五月天伊人| 婷婷激情五月天小说| 69人妻人人澡人人爽久久| 日本欧美在线| 99爱免费视频| 九月色婷婷| 国产在线aaa片一区二区99| 九色视频这里只有精品| 六月丁香婷婷大香蕉| 久久伊人大香蕉| 影音先锋激情网| 丁香五月天堂网AV| 国产成人一区二区三区在线观看| 丁香六月婷婷综合| 美女婷婷六月色| 亚洲av成人一区二区电影在线| 91爱操| 亚洲 在线 性爱| 激情综合婷婷久久| 天天色情站| 天天色天天日天天舔| 六月婷基地| 天天久综合网永久入口18| 日本激情综合| 综合网色| 青青草护士中出内射-欧美电影在线天堂新版 | 婷婷九九视频| 婷婷丁香社区网| 婷婷成人基地| 婷婷丁香五月激情| 丁香五月性| 色五月婷婷伊人| 国产偷人爽久久久久久老妇APP| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 九九热再线九九视频免费在线观看| 日本三级第一页| 六月色色| 97色色色| 日日夜夜噜噜爽爽| 思思99热在线| 五月婷婷啪啪啪| 色图亚洲91| 婷婷黄色| 丁香五月成人婷婷| 激情五月丁香六月婷婷| 亚州欧美国产久精国产99综合视频| 99 福利 导航| 日本婷婷色| 丁香五月激情五月| 97色婷婷成人综合在线观看| 日韩啪啪网| www.久久爱.c n| 99热20| 国产97色在线 | 日韩| 亚洲AV成人精品网站在线播放| 超碰免费大香蕉| 色婷婷先锋| 91啪啪| 婷婷五月精品中文| 五月天天丁香婷婷| 精品国产一区二区三区四区阿崩| 色婷婷激情| 色色无码| 天天插综合| 天天干天天 亚洲| 噜噜色五月| 天天综合五月天| 91啦丨九色丨刺激中文| 日本久久色| 久操热| 五月丁香久久| 婷婷五月天av| 久99久精品| 婷婷伊人綜合| 丁香五月婷婷激情完整版| 91 影音先锋| 开心激情站| 婷婷欧美激情综合| 97碰久久| 久久九九爽| 熟女网站久久| 操人久久| 亚洲成人网在线观看| 这里只有精品视频在线| 天天在线XXX| 五月丁香777| 天天综合网网欲色| 色亚洲欧洲| 五月香六月婷| 婷婷五月草| 九九精品在线观看视频6| 综合在线丁香五月| 五月婷AV| 五月激情小说网| 狠狠爱婷婷五月天| 人人爱操| 最近中文字幕2019视频1| 九九热精品| 9色在线| 99熟女| 亚洲色久| 成人草榴视频| 日本操B片| 九月大香蕉| www.com任你艹| 激情五月综合亚洲另类| 五月丁香啪啪网| 东京热免费视频| 色综合色综合婷婷热| 久久精品99国产精品日本| 99热这里只有精品 搜| 一起草av在线观看| 亚洲秘 无码一区二区三区妃光/1| 大香人妻| 亚洲成人综合网在线免费观看| 97干网站| 激情综合五月| 亚洲综合在线伊人婷| 国产精品A成V人在线播放| 思思99热| 色色97丁香婷婷五月天| 五月天婷婷爱| 深爱激情网五月| 五月婷婷中文网| www.亭亭五月天| 欧美色男人网站| 任你爽在线视频| 久久五月天激情婷婷| 狠狠色丁香婷婷久久综合| av在线播放网址| 国产 码在线成人网站| 久久激情综合| 五月六月婷| 大香蕉久久久久| 五月色网| 亚洲中文AV网站| 91免费看片| 色婷婷XXXXX| 99精品在| 激情综合网激情五月天| 开心五月深爱五月| 在线日本www| 夜夜爱伊人| 婷婷丁香五月天婷婷| 噜噜噜噜在线| 亚洲AV网址| 国产一区二区三区影院| 伊人久久综合| 99这里的视频都是精品| 色丁香五月| 99热这里只有精品16| 亚洲精品V天堂中文字幕| 丁香六月欧美| 九九99视频精品| 婷婷五月色播放| 色色色热| 99精品女人天堂| 丁香五月婷婷无码AV| 婷婷丁香五月综合激情视频| 色五月在线播放| 日本三级第一页| 久久99婷婷| 婷婷涩五月天综合| 丁香五月在线| 国产精品视频网| 电影《战争与艾拉》免费观看| 激情小说婷婷五月| 俺去也五月天| 饮料下药迷倒漂亮女同事强干| h在线看免费版在线看| Av免费网站在线| 国产色丁香| 五月丁香六月激情在线| 丁香五月五月婷婷欧美大香蕉| 国产性爱一级| www.91有码.com| 97碰碰视频| 色综合久久之分久久| 激情爱爱网站超大免费| 五月婷婷我| 天天操综合网| 久9热视频在线观看| 色播丁香五月婷婷操:屄| 91人人操人人爱| 日本在线播放97| 异能之下短剧免费观看全集| 欧洲色| 婷婷色影音天| 久婷婷五月激情| 九九大香视频| 婷婷久久色| 五月婷丁香在线视频在线| 在线色色| 九九干视频| 午夜色丁香| 国产又爽又猛又粗的视频A片| 九九自拍网| 五月婷婷丁香瑟瑟视频| 国产日产亚系列精品版优势| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 99热99re6国产在线播放| 开心激情婷婷| 人人摸人人操人人爽| 五月天婷婷激情小说电影| 亚洲精品无AMM毛片| 久热99热| 色婷婷五月天| 亚洲av成人电影在线观看| 五月丁香六月花| 天天操天天操天天操天天操天天操| 98色丁香五月婷婷综合网| 亚洲噜色| 91综合视频丁香| 丁香五月激情站| 九九色精品| 色爱综合网| 色婷婷亚洲在线观看| 婷婷五月色亚洲| 95精品区一区二| 成人五月天在线视频在线观看| 99A片| 男女99免费视频| 99热免费精品| 另类综合激情| 日韩成人电影AV| AV在线免费网站| 91大神操美女| 五月丁香婷婷综合久久| 丁香激情网| 色5月婷婷色| 色偷偷色婷婷| 久久婷中文字幕| 婷婷亚洲五月| 4399伦理午夜| 久超超碰| 超碰9| 大香蕉啪啪| 天天久久狠狠色综合| 丁香六月狠狠干| 97婷婷狠狠| 美女网黄| 日韩色色网| 婷婷视频网| 国产阿姨日皮艹逼内射视频| 国产乱子轮XXX农村| 五月天综合区| 碰碰碰97国产| 婷婷五月天激情开心网| 色噜噜97视频在线观看| 色色五月天婷婷| 婷婷丁香五月天哟啪| 高清视频一区| 欧美日韩成人在线| 亚洲成av人影院| 丁香五月宝贝激情网| 超碰免费人| 这里只精品热在线18| 99视频极品在线香蕉| 第四色大香蕉| 九九热视频精品2| 九九热视频在线观看| 五月噜噜| 五月天久久综合| 97资源碰碰| 97人人干人人操| 五月婷婷就去色| 亚洲 在线 另类| 色婷婷基地| 狠狠色五月| 色噜噜婷婷| 人人色人人弄人人操| 亭亭色网| 91狠狠综合网| 超碰色婷婷| 婷婷情色五月天| 91热网址| 五月丁香亭亭操逼| 五月天激情网址| 激情综合网,婷婷五月天| 小视频一区| 国语对白性爱视频播放| 丁香婷婷五月激情| 婷婷综合精品视频97| 99在线免费观看| 色色色色色九九九九九| 婷婷,五月天,丁香,第一| 成人中文网| 六月婷色六月| 9久久婷婷国产综合精品性色| 五月婷婷啪啪| 丁香五月激情啪啪| 九九热精品| 九九九激情网| 婷婷天堂站| 激情WWW| 百度4399有码精品V在线观看| 狠狠干婷婷| 综合激情开心五月| 丁香色五月AV在线| www.丁香五月| 99re8这里只有精品99re8热视频| 天堂综合久久| 人妻熟人中文字幕一区二区| 色五月婷婷五月天| 国产丁香五月天婷婷| av一区二区电影免费在线观看| 超碰在线成人| 色婷婷成人五月| 婷婷中文在线| 六月丁香开心婷婷欧美| 五月丁香成人网| 五月婷婷激情综合| 婷婷之六月丁香| 91九色精品女同系列| 99干免费视频| 日本狠狠干| 激情五月天视频| 六月五月久久丁香| 殴美日比视频| 日日操夜夜操中国无码| 99无码| 婷婷丁香九月| 亚洲狠狠干| 超碰碰碰碰| 亚洲另类AV| 无码少妇高潮喷水A片免费| 淫视馆AV在线| 九九色插| 人妻熟女一区二区AV| 天堂久久精品| 五月婷婷综合丁香视频| 色五月视频,小说| 久热这里这里有精品| 色综合中文色综合网| 丁香影院五月综合| 高潮毛片又色又爽免费| 色五月色五天色情网| 五月色综合网| 亚洲bt丁香五月天婷婷激情小说| 99这里只有免费的精品| 91精品久久久久久77777| 日本在线视频看se99| 婷婷丁香五月天综合激情| 激情婷婷六月天| 4399人妻无码久久久| 欧美日韩AAAA| 日日夜夜小色哥| 五月丁香直播| 99热6这里之有精品| 中文字幕永久在线| 婷婷综合精品| 久久草中文日韩欧美| 久草丁香婷婷五月天婷| 99热在线播放精品| 丰满老熟妇BBBBB搡BBB| 任你草| 亲子乱AV一区二区三区下载| www,26uuu,c0m,色情| 亚洲色情激情丁香五月| 就爱操www com| 第四色色六月色综合| 99久久婷婷| 色婷婷婷婷| AV色婷婷| 武则天精品久久| 久9热视频在线观看| 永久免费一区二区三区| 中文成人在线| Www.狠狠| 五月天婷婷激情网| 婷婷五月另类网站| 亚洲天堂制| 色婷婷AV在线观看| 久久九九99视频| 日本大人久久| 五月婷婷亚洲综合在线| 免费操超碰| 婷婷五月天毛片| 99热久97| aaa久久| 伊人玖玖网| 97人人干。| 久久99激情| 99热这里只有精品99| 丁香五月婷婷视频| 五月天丁香成人| 在线中文字幕视频| 九九热免费视频| 五月丁香六月婷| 三人荫蒂添的好舒服A片 | 九九免费精品| 久久这里只有精品8| 久人操| 九九精品热| 伊人久久婷婷| 久久您您综合网| 六月丁香啪| 狠狠第四色| 婷婷五月天色| 日本va欧美va精品发布视频 | 五月色婷婷影院| 色婷五月| 99热这里只有精品13| 性生活久久朋友人妻| 五月丁香香蕉| 欧美成人A片AAA片在线播放| 这里只有精品久久| 亚洲日韩乱码一区二区三区四区| 欧美性生交A片免费看| 99碰碰碰| 色碰碰| 青青操avbb| 丁香综合网| 丁香 久久| 天天做天天爱天天爽| 国产乱人偷精品人妻A片| 人人综合色| 人人操插| www.com操| 激情五月久久| 五月婷视频| 逼特逼在线免费播放| 五月婷婷电影院| 亚洲激情五月| 五月丁香婷婷综合在线| 五月天久久网站| 色婷婷免费观看| 99国产精品久久久久久久久久久| 狠狠 久久| 91超碰人人操| 激情综合色婷婷啪啪六月天| 激情综合网五月丁香| 婷婷在线精品| 韩国真做片在线观看| 五月丁香六月婷婷激情四射| 久久只有精| 五月婷婷天天色| 天天干天天叉| 天天综合精品| 68热超碰在线| 性做爰A片免费视频A片直播| 狠狠色狠狠爱| 色久在| 五月婷婷在线免费观看| 91碰碰碰| 婷婷天堂视频| 5月婷婷性视频| www.久久爱.com| 免费看欧美成人A片无码| 97碰人人操| 思思久久96热在精品国产,| 久久9热| xfplayav在线| 97色婷婷五月天| 无码任你操| 亚洲啪啪精品| 天天日狠狠| 2017人人操| 婷婷丁香红五月91C| 在线99热| 99热国产免费| 97色干在线观看| 无码激情| 另类激情中文| 丁香婷婷欧美综合| 九九蜜臀精品| 综合网亚洲| 五月天大香蕉av| 婷婷丁香五月天哟啪| 五月四色色| 日本人妻A片成人免费看片| 无码人妻AV久久久一区二区三区 | 九九视频精品在线免费| 99欧美| 噜噜狠狠色综合久| 色狠狠色综合| 欧美日韩成人免费在线| 色五月色情| 久久只这里有精品| 婷婷五月丁香五月| 婷婷天堂综合| 婷婷色操| 中文在线视频久9| 婷婷五月天人妻| 激情综合五月丁香| 中文字幕在线播放视频| 天天色天天| 国产99久| 五月丁香伊人网| 任你草| 久久丝丝热| 五月丁香啪啪婷婷| 九九av在线| 激情五月天www| 九九热视频在线观看| 激情亚洲婷婷| 婷婷五月天免费视频| 五月天福利影院导航| 婷婷免费成人视频| 天天干天天插| 久久视网36| 激情婷婷色色| 人人操97| 婷婷五月天综合网| 综合激情肏逼网| 丁香五月天资源网| 婷婷五月天丁香久久| 久久九九蜜| 五月婷A V在线| 人人天堂操| 被强行糟蹋的女人A片| 天天爱天天做天天舔| 欧洲色| 久久只有精| 色色色热热热| 婷婷综合五月| 六月 丁香 视频| 任你草| 五月丁香在线观看| 久久99热这里只有| 99热最新| 五月天激情网图片 - 百度| 九九热视频在线观看| 五月丁香久人妻中文| 在线看片av| 日韩人妻在线观看| 色综合久| 天天天久久久| 无码免费人妻A片AAA毛片西瓜 | 99国产精品白浆在线观看免费 | 六月丁香婷婷综合在线| 日韩二区搞逼插逼毛片| 五月天成人在线播放丁香| 激情人妻蜜夜系列区| 99热精国产这里只有精品| 丁香六月婷婷操逼网| 婷婷激情五月天视频在线| 五月婷婷色在线| 婷婷激情五月天在线| 婷婷久久婷婷色五月| 色婷婷88| 丁香五月婷婷亚洲人| 强伦轩人妻一区二区电影| 色99网| 九九成人| 99福利视频| 大香蕉娱乐| 亚洲操精品| 九九视频免费| 欧美69久成人做爰视频| 六月婷婷狠狠色在线观看| 99色免费观看全部| 五月婷婷六月丁香在线| 久99久在线| 久热这里| 99热精品一| 77777亚洲午夜久久| 五月丁香色| 亚洲激情淫网| 丁香花狠狠婷婷亚洲中文字幕| 五月丁香激情综合久久| 色啪网| www.97视频| 这里只有精彩视频| 色999亚洲人成色| 国产午夜精品一区二区三区四区| 99久久6| 超碰99热| 欧美黄色一级录像| 婷婷五月天狠狠色| 精品99这里有| 婷婷综合在线网| 碰碰女| 就爱啪啪婷婷| 91久久免费| www.日日夜夜.com| 丁香五月在线观看完整版| 欧美色色色色色色色色色色| 99热这里只有精品99| 狠狠色噜噜| 在线中文av| 狠狠五月婷婷| AV在线免费播放| 色婷五月丁香久亚洲| 成片免费观看大全| 一本久道综合色婷婷五月| 99热久久这里只有精品| 一级性爱大片| 综合婷婷| 婷婷五月天社区| 综合xx网| 色综合视频| 国精产品一区一区三区免费视频| 99性爱精品| 9福利性视频欧美| 一本色道久久88综合日韩精品| 狠狠干综合| 五月丁香 久久久| 色欲影香| 热热色色五月天婷婷| 996热re视频精品视频| 婷婷五月天日日日干干干| 九九性爱网| 中文字幕日本最新乱码视频| 99啪| 秋霞簧片| 婷婷操超碰| 日本欧美成人片AAAA| 丁香五月激情网| 色青五月天| 91色综合网| 五月天色软件| 丁香激情五月天| www.夜夜| 久久性爰视频这里只有精品| 激情五月婷黄版| 日本色色网站| 91呦呦呦| 伊人色综合网| 丁香五月婷婷AV| 久久机热这里只有精品| 天搞天天天天天| 视频久久9| 99综合97| 天天日日夜夜| 精品久久99| 能看的av网站| 操熟女成人网| 天天 日综合| 日本色色网| 天堂亚洲 在线| 久久综合五月天激情小说网站 | AA久久| 五月婷婷激清网| 亚洲精品乱码久久久久久综合| 任我鲁这里有精品视频| 五月刺激丁香月综合| 狠狠干婷婷| 色999亚洲人成色| 青青草原伊人网| 五月天婷婷在看| 婷婷五月天成人在线视频| 97色在线观看视频| 月色色综合婷婷网| 国内精品免费一区二区2009| 99九九精品| 日本人妻A片成人免费看片| 丁香五月婷婷基地| 亚洲色99| 五月婷婷激情视频| 日日夜夜天天爽| 亚洲99视频| 欧洲综合视频在线观看。欧洲,亚洲综合食品在线观看。 | 日本婷久久| 日韩啪啪自拍| 亚洲精品第一国产综合亚AV | 婷婷伊人五月天| 99.色| tingtingzonghewang| 欧洲激情网站| 大香蕉久久婷婷精品综合| 一级片无码| 97人人干视频| 九色成人AV在线| 色色色九九九五月婷婷| 激情操逼婷婷| 三级黄色大片视频| 操操操97| tingtingseav| 伦乱人妻| 色婷婷文字幕| 婷婷五月色综合香五月| 色色色色色色综合网| 黄色片久久| 2018夜夜草| A片天天| 丁香五月停停av| 亚洲情欲久久| 久久久久久久久久久久63| 久草婷| 婷婷激情啪啪| 欧美月久久| 91日韩美女被插视频| www.99.色| 婷婷性爱五月天丁香网| 99啪视频在线观看| 色综合香蕉| 人人97碰| 六月丁香婷婷视频综合在线观看| 都市激情久久| 天天激情夜夜干| 色综合综合色| 热思思| 99热在线观看| 色婷五月天| 伊人婷婷五月天| 亚洲天堂热| 熟惀91九色在线| 久久久久久久久久久久久久久久久精典| 婷婷性爱综合| 激情久久久久久久久久久| 九九热色视频| 国产综合激情五月久久| 99色在线观看视频| 久久这里都是精品| 丁香五月手机在线| 五月丁香五月综合欧美| 五月丁香婷婷成人网| 清纯唯美 激情四射| 丁香青青五月天| 97色永久免费视频| 婷婷综合激情| 人人操A| 色五月婷婷九月| 九九婷婷综合| 99成人| 丁香婷婷久久综合在线| 久热一本| www.婷婷,com| 丁香五月天婷婷中文字幕| www.超碰| 天天肏在线| www久久久久| 在线观看中文字幕亚洲| 激情六月下句是什么| 色五月色五天色情网| 99视频在线观看网址| 久久婷婷精品| 国产精品色情AAAAA片软件| 久久丁香九| 欧美性爱中文字幕| 五月激情四射婷婷丁香| 国产日日操夜夜操的肉棒视频| 九九亚洲| 五月丁香五月综合欧美| 思思热99er| 91人操人人人操人| 思思热精品免费视频| 开心五月丁香啪| 色欲久久久久久综合网综合网| 丁香五月性| 婷婷丁香五月社区亚洲| 99激情在线| 人妻肉射免费观看| 丁香婷婷色九月| 国产精产国品一二三在观看| 婷婷色中文| www。五月天。com| 五月婷婷六月丁香| 少妇性按摩无码中文A片| 五月丁香综合中文| sisi热国产| 婷婷丁香五月综合免费视频百花| 九九色热| 嫩草视频观看| 偷拍视频五月天| 操操国产| 91干99| 91人人爽狠狠狠| 五月色网| 亚洲黄色影视| 丁香五月婷婷天堂大香蕉| 婷婷五月色花丁香社区| 玖玖婷婷五月天| 激情色播| 91操片| 五月天色欧美| 99爽视频| 俺也高清无码高清视频| 黄桃AV无码免费一区二区三区| 久久丁香婷婷色情综合| 日韩人妻无码一区二区| 999久久久国产精品| 亚洲国产精品二二三三区| 97干免费视频| 五月丁香六月婷婷网| 久久九九@| 久久桃花网色婷婷| 可以免费观看的av网址| 国产三级秋霞| 天天日,天天干,天天操| 天天干,夜夜爽| 天天肏在线视频| 天堂va久久久噜噜噜久久Va| 亚洲免费av在线| 国产亚洲99久久精品| 伊人五月婷婷| 日本熟女三区| 国产色色色色| 久久免费操| 欧美大肥婆大肥BBBBB| 久777| 99热99操| 色情性爱视频网址| 婷婷五月天手机版视频| 思思热AV| 欧美六月| 丁香五月色色色色| 久久五月综合| 欧美人人操| 五月婷婷综合久久| 狠狠草在线观看| 9色婷婷| 伊人久久大香线蕉AV最新午夜| 久草五月婷| 久久这里这里有精品免费视频| 色色色色色网站| 丁香婷婷久| 五月丁香婷婷伊人| 五月婷婷久久激情 | 天天干天天插| 天天日天天添| 91久久久久久久久| www.爱婷婷.com| 俺去也在线官网| 国产婷伊人| 丁香六月婷婷综合麻豆| 嫩草AV久久伊人妇女超级A| 99久精品视频| 亚洲精品色色| 成人AV中文字幕| 五月天婷婷丁香视频| 性一交一乱一交A片久| 人人舔人人色人人高潮| 久久婷婷六月综合| 97久久精品| 99操无码视频观看| 亚洲色图81p| 九九在线视频| av在线免费网站| 九九成人| 久草五月天| 六月婷婷av| 久操人妻| 91爱操| 亚洲五月婷婷| 婷婷久久99| 婷婷五月综合社区| 日韩久久视频| 九九操操| 九九色综合| 色五月婷婷色| 国产精品美女| 在线va网站| 久久思思热| 色情一区二区播放| 五月婷婷久久爱| 五月激情婷婷在线| 婷婷五月丁香香蕉| 婷婷丁香五月天操逼| 婷婷五月色播网| 亚洲精品色| 五月婷婷网久久| 欧美成人猛片AAAAAAA| www开心激情网| 在线综合啪| 五月丁香啪啪| 91色噜噜狠狠狠狠色综合| 人妻精品一区二区三区| 色激情综合狠狠婷婷| 99热这里都是精品| 无码毛片992367| 四川BBB搡BBB爽爽视频| 久久人妻在线| 日韩精品电影| 97人妻碰碰碰久久香蕉| 九九这里是免费的视频5| 日日干天天射| 五月久久五月激情| 性av| 播五月丁香六月| 九九综合网色全集 | 五月婷婷与六月丁香图片激情| 婷婷六月天天| 婷婷丁香射射| 精品九九九久| 色色色婷婷| 五月丁香婷婷爱激情综合网| 五月婷婷六月丁香| 五月丁香黄色| 亚洲成人中文字幕| www.五月婷婷久久.com| 第二色AⅤ| 啪啪九九色| 天天干天天做| 欧美欧盟性爱网| 中文字幕av久久爽| 天天干天天爽| 人人色人人摸人人看| 97人人操人人拍| 丁香蜜臀黄色婷婷五月天| 99在线爽| 99碰碰中文| 久久久久久人妻| 色色色色色色色色综合网| 原琪琪色影院| 亚洲精品又粗又大又爽A片 | 99色视频| 五月天无码视屏播放| 国产三级在线播放| 大香蕉九九| 亚洲AV无码久久精品色欲| 久草九一| 二色AV| 亚洲综合在线丁香五月| 久久久久8888| 人与禽A片啪啪| 日韩精品一品二区三区的使用体验| 五月丁香美女| 日本天堂免费99| av国产精品| 国产婷婷综合在线免费视频| 激情五月婷婷综合网| 99热精品99| 九九99九九精品免费| 五月丁香六月婷婷欧美综合| 欧美在线视频99| 丁香五月手机视频| 六月激情婷婷| 色噜噜五月天| 五月视频日本免费观看| www.第四色99| 深爱婷婷网| 五月婷婷在线免费| 9999热精品在线免费播放| 深夜婷婷 丁香| 这里只有精彩视频| 婷婷五月中文在线视频| 激情无码五月天| 九97免费视频| 日本色婷婷| 人妻aV在线| 26UUU欧美| 伦乱美欧| 色婷婷色情| 牛牛色av| 国产做爰视频免费播放| 色综合色色| 激情五月婷婷五月丁香五月开心五月| 精品视频99看在线视频| 久婷婷| 五月天大香蕉AV| 精品人妻午夜一区二区三区四区| 99爱在线精品视频免费观看| 婷婷五月天激情电影小说| 婷婷五月天色网久| 日本va欧美va欧美va精品|