欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

蜂窩網(wǎng)資源分配與深度強化學(xué)習(xí):從MDP建模到工程避坑

蜂窩網(wǎng)資源分配與深度強化學(xué)習(xí):從MDP建模到工程避坑 簡介這是一份來自《通信學(xué)報》2019年2月第40卷第2期的學(xué)術(shù)論文PDF適合無線通信、深度學(xué)習(xí)及智能資源管理方向的科研人員和研究生研讀。論文針對蜂窩網(wǎng)資源分配中的多目標優(yōu)化問題提出了一種基于深度強化學(xué)習(xí)的完整算法框架一方面構(gòu)建深度神經(jīng)網(wǎng)絡(luò)DNN優(yōu)化蜂窩系統(tǒng)傳輸速率實現(xiàn)前向傳輸另一方面將能量效率作為獎懲值引入Q-learning機制構(gòu)造誤差函數(shù)并通過梯度下降法迭代更新DNN權(quán)值形成閉環(huán)訓(xùn)練流程。仿真實驗表明該算法可自主設(shè)定資源分配方案的偏重程度收斂快速在傳輸速率和系統(tǒng)能耗方面均優(yōu)于傳統(tǒng)博弈論、圖論著色等方案。資源共1個PDF文件大小1.09MB內(nèi)含完整摘要、正文、數(shù)學(xué)公式、仿真圖表及參考文獻可幫助讀者系統(tǒng)掌握深度強化學(xué)習(xí)在蜂窩網(wǎng)絡(luò)資源分配中的建模思路、實現(xiàn)細節(jié)與性能評估方法也可作為相關(guān)課題的參考文獻。目前該資源已有315人學(xué)習(xí)適合需要快速深入了解該算法或用于論文寫作參考的研究者。1. 蜂窩網(wǎng)資源分配遇上深度強化學(xué)習(xí)先想清楚再動手無線接入網(wǎng)里的資源分配過去靠比例公平、注水算法這類顯式優(yōu)化場景一變就要重新推導(dǎo)目標函數(shù)和約束。深度強化學(xué)習(xí)的思路是把它當成序貫決策問題讓智能體通過和仿真環(huán)境大量交互自己學(xué)出一套功率和頻譜分配策略。這篇筆記不推公式講怎么把深度強化學(xué)習(xí)落到蜂窩網(wǎng)資源分配這個具體場景問題建模、平臺搭建、參數(shù)調(diào)優(yōu)以及在真實部署前最容易踩的坑。適合做接入網(wǎng)算法預(yù)研的工程師也適合想從單智能體往多小區(qū)擴展的研究生。先給結(jié)論跑通 demo 不難難在獎勵設(shè)計和環(huán)境仿真這兩件事占掉一個項目至少一半時間。2. 把蜂窩網(wǎng)資源分配寫成 MDP狀態(tài)、動作與獎勵設(shè)計的三個決定深度強化學(xué)習(xí)在蜂窩網(wǎng)里落地第一個攔路虎不是模型而是問題建模。資源分配在無線網(wǎng)絡(luò)里天然是序貫決策問題信道隨時間變化用戶隊列長度和業(yè)務(wù)到達也隨時間變化上一時刻的功率分配還會影響下一時刻的干擾水平。把這段交互過程抽象成馬爾可夫決策過程是整個方向從論文走向代碼的第一道工序。很多實現(xiàn)跑不動、學(xué)不會回看根因往往不是神經(jīng)網(wǎng)絡(luò)寫錯了而是 MDP 元素定義得含糊。2.1 從優(yōu)化問題到 MDP為什么時序決策是更好的描述傳統(tǒng)資源分配算法的套路是給定當前信道矩陣、用戶速率需求和功率上限建模成一個帶約束的優(yōu)化問題用凸優(yōu)化或啟發(fā)式算法求解。這個思路在靜態(tài)場景下很有效但蜂窩網(wǎng)是動態(tài)的——用戶移動、業(yè)務(wù)突發(fā)、干擾耦合每一時刻的決策都會影響后續(xù)時隙的信道狀態(tài)和隊列積壓。深度強化學(xué)習(xí)的優(yōu)勢在于它不需要顯式建模狀態(tài)轉(zhuǎn)移概率而是用仿真環(huán)境充當轉(zhuǎn)移概率讓智能體在試錯中逼近最優(yōu)策略。MDP 四元組在蜂窩網(wǎng)資源分配問題里可以這樣映射MDP 元素蜂窩網(wǎng)資源分配中的對應(yīng)物狀態(tài) s信道狀態(tài)信息CSI、用戶隊列長度、歷史平均吞吐、干擾測量值動作 a功率分配矢量、物理資源塊PRB調(diào)度結(jié)果、用戶配對方式轉(zhuǎn)移概率 P信道衰落演進、用戶移動軌跡、業(yè)務(wù)到達過程獎勵 r系統(tǒng)效用加權(quán)吞吐、時延懲罰、能效指標、公平性指標這里最容易被忽略的一點是轉(zhuǎn)移概率不需要寫成解析式。環(huán)境仿真就是轉(zhuǎn)移概率的實現(xiàn)智能體的每一次 step 都在環(huán)境里往前走一個時隙拿到新的觀測。這也意味著環(huán)境仿真的逼真程度直接決定了訓(xùn)練出來的策略在真實系統(tǒng)里是否可用——這一點后面講仿真平臺時還會展開。2.2 狀態(tài)空間和動作空間怎么切離散與連續(xù)的選擇狀態(tài)空間的設(shè)計決定了智能體“看得到什么”。常見做法是把三個向量拼進狀態(tài)歸一化信道增益、歸一化隊列長度、歷史平均吞吐。全量 CSI 矩陣維度太大訓(xùn)練時容易過擬合到特定信道布局所以一般會對信道增益做降采樣或者只保留每個用戶在自己占用 PRB 上的信道增益。動作空間的選擇更容易翻車。PRB 調(diào)度是組合問題天然是離散動作功率分配是連續(xù)值習(xí)慣用連續(xù)動作。兩者混在一起時不要直接枚舉聯(lián)合動作因為用戶數(shù)和 PRB 數(shù)稍漲動作空間就會爆炸。我一般會采用分層決策上層用決策網(wǎng)絡(luò)輸出功率控制系數(shù)下層用一個獨立規(guī)則模塊做 PRB 指派或者反過來。下面是最小環(huán)境接口的示例class CellularResourceAllocEnv: def __init__(self, n_ues8, n_prbs10, max_steps200): self.n_ues n_ues self.n_prbs n_prbs self.max_steps max_steps self.time_slot 0 self.channel None self.queue None self.history_throughput None def reset(self): self.time_slot 0 self.channel generate_fading_channel(self.n_ues, self.n_prbs) self.queue np.random.randint(0, 100, sizeself.n_ues) self.history_throughput np.ones(self.n_ues) return self._build_obs() def step(self, action): power_vector, prb_assignment action rate compute_rate(self.channel, power_vector, prb_assignment) reward self._compute_reward(rate, power_vector) self.time_slot 1 self.channel evolve_channel(self.channel) self.queue update_queue(self.queue, rate) done self.time_slot self.max_steps return self._build_obs(), reward, done, {} def _build_obs(self): return np.concatenate([ normalize(self.channel), self.queue / 100.0, self.history_throughput / np.max(self.history_throughput 1e-6) ])這個接口遵守 reset 和 step 協(xié)議可以和 DQN、PPO、MADDPG 任意一種算法對接。_build_obs里把隊列長度除以 100、歷史吞吐做最大值歸一化是為了讓各維度的量級一致否則神經(jīng)網(wǎng)絡(luò)前向計算時數(shù)值會被某一維特征主導(dǎo)。generate_fading_channel和evolve_channel是信道模型函數(shù)后面仿真平臺部分會給出具體實現(xiàn)。2.3 獎勵函數(shù)是第一行代碼先讓智能體知道什么是“好”獎勵函數(shù)是整個方案里最值得先寫、也最值得反復(fù)改的地方。蜂窩網(wǎng)資源分配最常見的獎勵是系統(tǒng)效用的加權(quán)組合比如吞吐、公平性和時延。直接用和速率做獎勵訓(xùn)練出來的策略會偏向信道條件好的用戶犧牲邊緣用戶體驗只用時延做懲罰又可能讓智能體通過降低功率來逃避切換開銷。因此我習(xí)慣用對數(shù)速率作為公平性項再疊加隊列懲罰和功率懲罰def _compute_reward(self, rate, power_vector): fairness np.sum(np.log(rate 1e-6)) / self.n_ues queue_penalty -0.05 * np.mean(self.queue) power_penalty -0.02 * np.mean(np.square(power_vector)) return fairness queue_penalty power_penalty對數(shù)速率來自于比例公平調(diào)度的經(jīng)典結(jié)論最大化所有用戶對數(shù)吞吐之和能夠同時兼顧系統(tǒng)吞吐和公平性。加1e-6是為了避免速率為 0 時對數(shù)取無窮。隊列懲罰項讓智能體主動規(guī)避積壓過重的用戶功率懲罰項防止它毫無節(jié)制地加大發(fā)射功率。三個系數(shù)的量級很關(guān)鍵如果獎勵絕對值動輒幾十Q 值估計會很難收斂一般先讓主項對數(shù)速率的量級在 1 左右其他項作為微調(diào)系數(shù)訓(xùn)練過程中再逐步調(diào)整。3. DQN、PPO 還是 MADDPG算法選型與仿真平臺搭建MDP 定義清楚之后緊接著就是選算法和搭環(huán)境。很多教程上來直接給你一段 DQN 代碼容易造成錯覺好像任何場景都能套同一個算法。實際上算法選型要看動作空間和智能體數(shù)量平臺搭建要看仿真速度和可復(fù)現(xiàn)性。這三件事沒想明白后面調(diào)參全是血淚。3.1 三種算法怎么分工按狀態(tài)維度和動作類型選DQN 系列包括 Double DQN、Dueling DQN適合動作空間離散且有限的場景典型應(yīng)用是 PRB 調(diào)度。動作是選哪幾個資源塊分給哪些用戶動作空間不大時效果穩(wěn)定實現(xiàn)也簡單。PPO 適合連續(xù)動作空間比如功率分配它通過截斷的代理目標函數(shù)限制每次更新的步長訓(xùn)練穩(wěn)定性和樣本效率在資源分配任務(wù)里表現(xiàn)都不錯。MADDPG 適合多小區(qū)多智能體場景每個小區(qū)獨立決策但通過中心化評論家共享全局信息收斂難度更高實現(xiàn)也更復(fù)雜。經(jīng)常有人問多小區(qū)場景是不是直接用 MAPPO多智能體 PPO 的思路確實在不少論文里跑出了比 MADDPG 更好的穩(wěn)定性但代價是智能體之間需要通信或全局狀態(tài)做價值評估工程復(fù)雜度和訓(xùn)練開銷都會上一個臺階。我的選型經(jīng)驗是這樣算法動作類型適用規(guī)模訓(xùn)練穩(wěn)定性實現(xiàn)難度DQN 系列離散單小區(qū)、動作空間有限中等低PPO連續(xù)單小區(qū)或多小區(qū)集中式?jīng)Q策高中MADDPG連續(xù)/離散多小區(qū)分布式?jīng)Q策低高這里給一個非常主觀但實用的判斷標準如果你的環(huán)境單步交互時間超過 1 毫秒先別想著上 MADDPG優(yōu)先把 DQN 或 PPO 跑通。多智能體算法的調(diào)試成本是單智能體的幾倍問題疊加時很難定位到底是哪路梯度在崩。3.2 用 Python 搭一個最小蜂窩網(wǎng)仿真環(huán)境信道與速率計算仿真環(huán)境是深度強化學(xué)習(xí)里最被低估的部分。訓(xùn)練過程中 90% 的時間花在智能體和環(huán)境的交互上環(huán)境計算一次觀測和獎勵如果耗時太高GPU 再好也等你不動。常見的做法是用 Python 加 NumPy 做一個輕量級仿真環(huán)境把信道生成和速率計算向量化不要用 Python 循環(huán)去逐用戶、逐 PRB 計算。def generate_fading_channel(n_ues, n_prbs, seed42): rng np.random.default_rng(seed) path_loss 128.1 37.6 * rng.uniform(0.1, 0.5, size(n_ues, 1)) shadow rng.normal(0, 8, size(n_ues, n_prbs)) return 10 ** (-(path_loss shadow) / 10) def compute_rate(channel, power_vector, prb_assignment): snr channel * power_vector.reshape(-1, 1) snr snr / (1e-9 1.0) # 簡化噪聲功率單位線性 rate np.log2(1 snr) return rate * prb_assignment這個信道模型把路徑損耗和陰影衰落都折算成線性增益compute_rate用香農(nóng)公式近似估算每用戶在每個 PRB 上的可達速率。prb_assignment如果是 0/1 掩碼矩陣點乘之后只會保留被分配到的資源塊。注意隨機數(shù)生成要用default_rng并傳入 seed這是可復(fù)現(xiàn)實驗的第一步。如果你想要更貼近真實系統(tǒng)可以在evolve_channel里加入快衰落系數(shù)例如做一階 AR 模型模擬時變信道但初始版本建議先跑靜態(tài)信道把問題鏈路確認好再增加復(fù)雜度。3.3 最小訓(xùn)練回路DQN 主循環(huán)加經(jīng)驗回放環(huán)境搭好之后訓(xùn)練回路可以寫得很短。下面是一段 DQN 主循環(huán)的骨架它完成四件事與環(huán)境交互采樣、往經(jīng)驗回放緩沖區(qū)寫數(shù)據(jù)、隨機采樣小批量更新 Q 網(wǎng)絡(luò)、周期性同步目標網(wǎng)絡(luò)。from collections import deque buffer deque(maxlen50000) q_net build_dqn(env) target_net build_dqn(env) target_net.load_state_dict(q_net.state_dict()) optimizer torch.optim.Adam(q_net.parameters(), lr3e-4) epsilon 1.0 for episode in range(2000): obs env.reset() total_reward 0.0 for step in range(env.max_steps): if np.random.random() epsilon: action random_action() else: action q_net.select_action(obs) next_obs, reward, done, _ env.step(action) buffer.append((obs, action, reward, next_obs, done)) obs next_obs total_reward reward if len(buffer) 256: batch random.sample(buffer, 256) loss update_q_net(batch, q_net, target_net, optimizer) if step % 200 0: target_net.load_state_dict(q_net.state_dict()) epsilon max(0.02, epsilon * 0.995)代碼里的關(guān)鍵點在update_q_net它對每個樣本計算target reward gamma * max_target(next_obs)再用當前 Q 網(wǎng)絡(luò)的預(yù)測值和 target 做 MSE 損失。經(jīng)驗回放的deque(maxlen50000)限制了緩沖區(qū)上限避免舊經(jīng)驗過多污染新策略的學(xué)習(xí)目標網(wǎng)絡(luò)每 200 步同步一次是為了減少自舉帶來的震蕩。epsilon從 1.0 衰減到 0.02前期的隨機探索讓智能體有機會發(fā)現(xiàn)有效動作后期更多依賴學(xué)到的策略。這個主循環(huán)可以直接跑也適合替換成 PPO 的 rollout 邏輯——換算法時環(huán)境接口完全不用改。4. 訓(xùn)練參數(shù)怎么設(shè)六個必調(diào)參數(shù)與訓(xùn)練曲線判讀算法代碼寫通之后調(diào)參才是真正花時間的地方。深度強化學(xué)習(xí)算法的超參數(shù)不像普通監(jiān)督學(xué)習(xí)那樣有成熟的自動搜索方案很多時候得靠經(jīng)驗和運氣。下面六個參數(shù)是我在蜂窩網(wǎng)資源分配任務(wù)里最先調(diào)的也是影響訓(xùn)練結(jié)果最明顯的變量。每次只改一個參數(shù)記錄曲線再動下一個這是最合理的調(diào)參節(jié)奏。4.1 六個必調(diào)參數(shù)從學(xué)習(xí)率到目標網(wǎng)絡(luò)更新間隔學(xué)習(xí)率是最敏感、最玄學(xué)的一個參數(shù)。DQN 和 PPO 都盡量從3e-4起步過大會導(dǎo)致?lián)p失震蕩過小則收斂慢到讓人懷疑代碼寫錯了。折扣因子gamma在資源分配任務(wù)里要格外小心信道和業(yè)務(wù)都是緩變的gamma0.99代表智能體會考慮未來約 100 步的收益如果業(yè)務(wù)時延要求高gamma0.9可能更合適但代價是策略會變得短視。探索率衰減速度影響最終性能衰減太快會收斂到次優(yōu)策略太慢會浪費大量訓(xùn)練時間。參數(shù)常見取值范圍調(diào)整方向learning_rate3e-4 ~ 1e-3損失震蕩則減半gamma0.9 ~ 0.99時延敏感場景調(diào)低epsilon_decay0.99 ~ 0.999收斂慢則調(diào)小buffer_size2萬 ~ 10萬環(huán)境隨機性強則調(diào)大batch_size32 ~ 256顯存允許則調(diào)大target_update_interval100 ~ 1000 步訓(xùn)練不穩(wěn)則調(diào)小批大小和回放緩沖區(qū)大小是硬件約束最強的兩個參數(shù)。緩沖區(qū)大能提供更獨立的樣本但也會讓策略更新反映的是很久之前的狀態(tài)分布新舊策略差異過大時訓(xùn)練不穩(wěn)定批大小大能降低梯度方差但每步更新更慢。我在單小區(qū)場景從256起步多小區(qū)場景會降到128。這些經(jīng)驗值不是鐵律但適合作為第一組嘗試的組合。4.2 通過損失、獎勵和動作熵判斷訓(xùn)練狀態(tài)訓(xùn)練曲線要學(xué)會分開看。損失下降不代表策略變好因為 Q 網(wǎng)絡(luò)的損失是向著不斷更新的 target 回歸的target 本身也在變化。我更關(guān)注三個量每個 episode 的平均獎勵、Q 值的量級、動作熵如果用 PPO。平均獎勵上升說明策略效果在改善Q 值量級和實際獎勵量級偏離過大說明獎勵尺度過大或?qū)W習(xí)率異常動作熵在不收斂時往往先飆升再塌縮這是策略陷入局部最優(yōu)的常見信號。遇到曲線鋸齒非常劇烈時先別急著改網(wǎng)絡(luò)結(jié)構(gòu)。檢查獎勵函數(shù)是不是出現(xiàn)了極端值比如某用戶速率為 0 導(dǎo)致對數(shù)項爆炸檢查compute_rate是不是產(chǎn)生了 NaN 或無窮大。多數(shù)“莫名其妙不收斂”的問題最后都能在環(huán)境代碼里找到根源而不是算法層。4.3 GPU 計算資源分配在這類任務(wù)里為什么不是第一瓶頸訓(xùn)練深度強化學(xué)習(xí)跑蜂窩網(wǎng)資源分配你會很快發(fā)現(xiàn) GPU 利用率上不去。原因在于訓(xùn)練是串行交互的環(huán)境必須等待智能體給出動作智能體必須等待環(huán)境返回下一個狀態(tài)GPU 在大部分時間里處于等待狀態(tài)。所以這類任務(wù)的瓶頸不是 GPU 計算資源不夠而是環(huán)境交互太慢。常見的加速手段有三種開多個環(huán)境進程并行采樣提高 GPU 利用率把信道生成和速率計算向量化成矩陣運算避免 Python 循環(huán)預(yù)先離線生成一批信道軌跡訓(xùn)練時直接回放。這些都是工程上被驗證過的做法比換一塊顯卡有效得多。5. 蜂窩網(wǎng)資源分配訓(xùn)練避坑五個親眼見過的翻車現(xiàn)場這一章寫的是訓(xùn)練過程中最常遇到的五個問題。每一條都是我親眼在項目里見過的翻車現(xiàn)場現(xiàn)象、原因、解決方式都按實際排查順序記錄。排錯時建議按順序逐條對照能少走很多彎路。5.1 收斂很好但效果不如最大信噪比獎勵信號指錯了方向現(xiàn)象獎勵曲線穩(wěn)定上升Loss 曲線也收斂了但把學(xué)到的策略拿去和最大信噪比調(diào)度做對比系統(tǒng)吞吐反而更低。原因獎勵函數(shù)把“模型認為的好”和“系統(tǒng)真正的好”搞混了。比如只將瞬時吞吐作為獎勵智能體學(xué)會的是把所有資源押給信道最好的用戶犧牲了所有邊緣用戶和速率反而因為缺乏用戶分集增益而下降。解決改用對數(shù)速率作為獎勵主項并在評估指標里同時記錄系統(tǒng)吞吐和 Jain’s fairness index確保策略沒有在原問題上跑偏。這是一個非常容易犯的錯因為訓(xùn)練過程“看起來正?!鼻∏∽钗kU。5.2 損失值像心電圖獎勵尺度與回放數(shù)據(jù)在搗亂現(xiàn)象Q 網(wǎng)絡(luò)損失在幾百到幾萬之間劇烈跳動每 10 步一個尖峰平均獎勵曲線也是上躥下跳。原因最常見的是獎勵尺度過大Q 值目標高達幾千網(wǎng)絡(luò)每次更新都在追趕一個劇烈變化的目標其次是回放緩沖區(qū)中混入了大量探索早期生成的糟糕樣本它們在后期仍然被反復(fù)采樣拖慢策略更新。解決先把獎勵壓縮到[-1, 1]左右量級觀察 Loss 是否穩(wěn)定再把緩沖區(qū)里早期低獎勵樣本的采樣權(quán)重降低或者干脆縮小緩沖區(qū)容量。實測中 70% 的震蕩問題出在獎勵尺度而不是網(wǎng)絡(luò)結(jié)構(gòu)。5.3 換一個用戶數(shù)性能立刻崩狀態(tài)歸一化沒做好現(xiàn)象訓(xùn)練時用 8 個用戶遷移到 12 個用戶場景策略表現(xiàn)還不如隨機調(diào)度。原因神經(jīng)網(wǎng)絡(luò)輸入層的特征分布發(fā)生了偏移。8 用戶時的歸一化參數(shù)是在 8 用戶的數(shù)據(jù)上統(tǒng)計的換到 12 用戶后隊列長度、信道增益的取值分布全變了網(wǎng)絡(luò)的隱層輸出也跟著失真。解決狀態(tài)歸一化不要用訓(xùn)練集的離線統(tǒng)計量而是使用逐時刻的在線歸一化比如隊列長度除以當前時隙的最大隊列長度信道增益做按行的最大值歸一化。這樣用戶數(shù)變化時輸入特征的數(shù)值范圍基本保持一致。5.4 動作空間枚舉爆炸把聯(lián)合動作拆成分層決策現(xiàn)象動作定義為“哪些用戶占用哪些 PRB”的聯(lián)合枚舉用戶數(shù)超過 10、PRB 數(shù)超過 10 后動作空間達到幾十萬維DQN 的 Q 網(wǎng)絡(luò)輸出層大到無法訓(xùn)練訓(xùn)練時間成倍增長。原因聯(lián)合動作的排列組合是組合爆炸的DQN 這類基于價值的方法要求每個動作有一個輸出頭動作越多輸出維度越大探索效率也越低。解決改成兩層策略第一層用策略網(wǎng)絡(luò)輸出每個用戶的優(yōu)先級權(quán)值第二層用傳統(tǒng)的貪心算法按權(quán)值把 PRB 逐個分配給用戶。這樣既保留了學(xué)習(xí)能力又把動作空間壓縮到用戶數(shù)規(guī)模。PPO 這類基于策略梯度的算法對連續(xù)動作空間更友好但分層決策的結(jié)構(gòu)仍然值得保留。5.5 換了隨機種子結(jié)果天差地別固定種子是工程紀律現(xiàn)象代碼完全一樣只改了隨機種子訓(xùn)練之后性能從 Top 10% 掉到 Bottom 20%。原因深度強化學(xué)習(xí)對環(huán)境初始化、網(wǎng)絡(luò)初始化和經(jīng)驗采樣順序都高度敏感。蜂窩網(wǎng)場景里信道生成的隨機性尤其大一個極端信道布局可能讓整輪訓(xùn)練報廢。解決固定每一個可能影響隨機性的入口——環(huán)境生成器的 seed、網(wǎng)絡(luò)初始化的 seed、PyTorch 和 NumPy 的全局 seed、動作探索的 seed。訓(xùn)練評估時跑 5 到 10 個不同種子取均值不要拿單次結(jié)果當結(jié)論。隨機種子結(jié)果是玄學(xué)但固定種子是工程紀律兩者不矛盾。6. 進階驗證從單小區(qū)收斂到多小區(qū)分布式單小區(qū)訓(xùn)練穩(wěn)定之后下一步大多是把方案擴展到多小區(qū)場景。注意不要直接拿單小區(qū)的策略網(wǎng)絡(luò)去跑多小區(qū)因為小區(qū)間的干擾耦合會讓狀態(tài)分布完全不同。常見的路徑是集中式訓(xùn)練、分布式執(zhí)行訓(xùn)練時用一個中心化評論家查看所有小區(qū)的全局狀態(tài)執(zhí)行時每個小區(qū)只用自己的局部觀測做決策。這個思路在 MADDPG 和 MAPPO 里都有成熟實現(xiàn)核心手段是讓執(zhí)行網(wǎng)絡(luò)只接收局部觀測評估網(wǎng)絡(luò)把所有小區(qū)信息拼接起來。驗證一個資源分配算法是否值得投入不能只看平均吞吐。我每次實驗會同時記錄三個指標小區(qū)平均吞吐、Jain’s fairness index、時延 P95/P99 尾部分位數(shù)。公平性不足時平均吞吐再高也不可信時延尾部則直接反映業(yè)務(wù)體驗。這三個指標固定后在相同隨機種子下對比 DRL 策略和最大信噪比調(diào)度、比例公平調(diào)度的差距比單看一條 reward 曲線可靠得多。如果 DRL 策略只在和速率上領(lǐng)先但公平性明顯劣化說明獎勵設(shè)計還需要回頭調(diào)。我現(xiàn)在的習(xí)慣是先寫?yīng)剟詈瘮?shù)再寫環(huán)境最后才寫智能體先跑固定信道確認梯度通路再跑時變信道驗證泛化能力每次改參數(shù)只動一項所有實驗結(jié)果按 seed 存檔。這套流程救過我很多次希望幫到你。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 日本天天综合| 色偷偷色婷婷| 淫视馆av三区| 五月婷婷之综合激情| 精品少妇蜜臀91| 五月丁香黄色| 国产精品视频网| 超碰99热| 五月天成人在线视频网站| 五月丁香美女视频| 97操碰视频| 色和综合网| 91精品婷婷国产综合久久| 美臀自射自家人妻| 99色6爱9热| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 热热久久99| 日本的α片xxxwww| 久久99久久久久久| 五月婷在线影院| 免费观看全黄做爰的视频| 亚洲人人操| 亚洲欧洲自拍图片专区五月天| 狠狠色五月| 曰本久久女| 天天操夜夜操| 久久精品99| 五月婷婷免费在线观看视频| www.日日日.com| 91操片| 成人国产网| 日韩无码专区| 欧美色五月| 婷婷五月天影院| 天天噜噜| 天天色天天操天天射| 狠狠干狠狠干狠狠干狠狠干| 久久久月丁香| 五月丁香 久久久| 久久久婷婷五月亚洲97号色| 91成人电影| 9l视频自拍九色9l黑人| 大香蕉丁香婷婷| 亚洲中文字幕在线观看| 51精品国自产在线| 五月丁香色停停啪啪啪| 嫩模草| 亚洲精品久久久久久久久久飞鱼 | A久网| 99热欧美| 久久99精品视频| 色99热| 97色操| 人人操婷婷| 国产午夜精品一区二区三区四区| 666555。COm毛片| 国产这里只有精品| 欧洲电影在线观看免费版英语版| 日本综合九九| 丁香狠狠操| 色综合网址| 亚洲久久婷婷| 99精品小视频| 五月天丁香综合久久国产| 99热这里全是精品| 久色激情| 久久婷婷五月| 91好好热日本在线| 91日本在线观看| 超碰久热| 青草青草久9视频在线视频| 久久加勤综合| 99碰碰中文| 丁香五月婷婷婷桃花影院| 9久热在线视频精品| 久久亚洲色导航| 91狠狠色丁香婷婷综合久久| 综合性视频99| 婷婷成人五月天成人文学| 五月天综合在线观看| 最新丁香六月婷婷| 欧美婷婷综合| 久久久性爱视频| 亚洲色综久久五月| 超碰在线成人| 亚洲色色色色| 久久超级碰碰| 涩五月婷婷| 五月丁香六月色| 婷婷色播婷婷| 色色综合院| 五月天婷婷綜合院| 日本va网站| 婷婷五月天亚洲综合网| www.久久久久久久| XX色综合| 日本三级中国三级99| 免费亚洲婷婷中文字幕| 九热视频| 丁香六月亚洲| AV在线资源| 九月丁香| 五月丁香龟婷婷| 亚洲成人人人操| 97色色综合| 五月天啪啪视频| 亚洲熟妇无码乱子AV电影| 久久婷五月| 99精品视频在线观看| 五月激情综合婷婷| site:hcxsz888.com| 狠狠色婷婷丁香六月| 天堂AV在线看| 五月婷婷激情网| 超碰人人插| 丁香六月婷| 嫩草AV久久伊人妇女超级A| 国产精品久久久60086| 色中色综合| 久久久婷| 五月丁了香蕉综合| 玖玖九九99| 五月天婷婷丁香导航| 婷婷五月天亚洲丁香| 日本色色色| 在线播放成人网站| 久久天堂精品| 色色COm| 五月天激情久久| 日韩在线观看网址| 91丨熟女丨首页| 丁香六月婷婷色XXXXX| 婷婷六月久久综合导航| 91疯狂操操操操| 开心五激情网| 99久久99九九99九九九| 五月天丁香网站| 天天日天天操天天干| 五月天社区婷婷丁香社区| 激情五月综合| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 色欲久久久久久综合网综合网| 成人网在线视频| 亚洲最大成人综合网720P| 蜜桃婷婷狠狠久久| 色五月激情| 99在线视频播放| 欧美人与性动交CCOO| 五月天久草| 99久久a线观| 久久婷婷视频| 婷婷丁香www视频日本韩国| 激情婷婷亚洲五月| 五月丁香激情综合网| 色天使久久综合| 天天做天天爱天天摸| 五月天激情综合| 一本色道久久88加勒比| 久久五月激情网| 99亚州综合精品成人网| 五月丁香婷婷久久| 激情av| 九九久久免费视频44| 精品一区二区三区木瓜| 日韩在线看AV| 激情综合亚洲色婷婷五月| 久99久热| 六月丁香av| 狠狠草在线观看| 婷婷丁香红五月91C| wuyuedingxiang99| 少妇性BBB搡BBB爽爽爽电影| 深爱网深爱综合网| 国产亚洲精品久久久久久久久动漫| 九九这里只有精品在线视频| 国产成人网址| 六月丁香综合999| 色婷婷综合网| 99热精品一区| 午夜69成人做爰视频| 多精窝99在线视频| 午夜无码熟熟妇丰满人妻 | 91a片爽| www.日日夜夜| 国产欧美大香蕉一区| 激情综合亚洲色婷婷五月| 专区无日本视频高清8| 久久激情综合| 五月综合激情图片| 啪啪婷婷五月天激情| 日韩天堂久久| 99这里有精品视频| 五月天婷婷六月激情网| 午夜少妇在线观看视频| 这里只有精品免费视频在线观看| 第1影院之五月婷婷| 色色网站免费| 91视频精品99| 麻豆WWWCOM内射软件| 婷婷性爱无码视频| 久久丁香婷婷五月| 欧美狠狠草| 久久这里只有精彩| 五月综合视频| 婷婷五月天激情五月天网站| 九九九九中文字幕| jizzdr| 99色免费| 久久久人妻| 亚洲操逼网| 五月丁香综合| www激情网| www.ywav| 精品激情| 婷婷 伊人 久久| 亚洲激情综合免费| 在线超碰91| 九九色婷婷| 久久这里99| 六月婷婷成人| 久久您您综合网| 日本乱论99| 高清无码视频网址| 六月色激情| 看逼中文字幕| 热久久这里只有精品| 深爱激情综合| 日韩精品无码AV| 丁香婷婷五月激情| 思思久久精品视频| 激情婷婷丁香五月| 九月丁香欧美综合| 婷婷丁香五月视频| 婷婷五月亚洲一本在线丁香| 91大神操美女| 亚洲岛国电影| 伊人91| 五月色丁香国产在线视频| 色色热日| 99国产精品久久久久久久久久久| 五月婷婷五月色| 激情综合5月| 亚洲无码九九九| 久久婷婷伊人| 天天爽天天爽视频| 色青青五月| 色五月婷婷激情基地| 婷婷五月丁香五月| 大香蕉五月天| 怡红院一二三| α久久| 成人版视频在线观看| 亚洲亚洲人成综合网络 | 可以直接看的av网站| 婷婷综合偷拍| 玖玖爱伊人网| 99精品视频网| 欧美精品99| 开心色播色五月婷婷| 天天综合网91| 婷婷丁香社区| 俺也去在线视频| 91热99| 激情五月最新网址| 热热色色五月天婷婷| 色色婷婷丁香| 国产免费AV网站| 99成人免费视频| 亭亭五月丁香综合欧美| 婷婷免费无马| 婷婷月综合| 天天干在线播放| 91九色丨国产丨爆乳| 思思热国产| 激情涩涩网| 91婷婷色 | 六月丁香啪啪啪| 色婷婷色五月丁香| 婷婷大美在线| 99亚洲视频| 91视频综合网| 伊人色综合网| 色色无码| 五月天激情图片| 五月天婷婷激情春色小说| 婷婷久久午夜网| 亚洲AV成人片无码网站| 天天久久狠狠色综合| 92久操视频| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 精品亚洲国产成AV人片传媒 | 99综合色色色| 久久99激情五月天| AV变态另类一区二区| 国产又色又爽又黄又免费| 色五月婷婷五月| 欧美大香蕉视频| 天天综合精品| 九九色影视| 国产婷婷五月天| 日韩aaaaa| 草五月| 吉澤明步Av一區二區| 久久久精品人妻录| 色五月视频,小说| 色情播放| 久久激情五月天| 五月婷婷丁香av| 六月丁香视频网站| 婷婷五月天亚洲五码| 人妻无码精品一区| 91啪啪网| 99re免费精品视频| 操一区| 久久激情网| 亚洲99综合| 91久久久久久久久| 六月婷婷综合| 婷婷丁香红五月91C| 亚洲中文字幕AV在线| 嫩模草| 久久婷婷网址| 99久久久久久| 色七色九九| VA国产在线综合网站| 激情合网婷婷| 久色资源| 99热这里只有精品在线观看| 乱精品一区字幕二区| 五月丁香日本在线视频观看| 热九九精品| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 久久久久久久人妻| 人妻少妇色综合| 国产婷婷色综合AV蜜臀AV| 色无婷婷| 欧日韩成人| 五月丁香久久综合色| 女操碰| 婷婷五月天最新综合你懂的| 色婷婷五月综合网| 久久精典| 精品视频二级九九| 丁香五月天黄色片| 无码人妻一区二区三区免费九色| 操碰97| 五月丁香手机在线| 色人久久| 婷婷九月丁香中文| 久久综合九九| av性爱在线| 天天综合精品| 欧美交换配乱吟粗大25P| 天天日天天肏天天奸| 国产一级黄色影片,| 99热亚洲精品| 丁香色五月婷婷91桃色| 99亚州综合精品成人网| 婷婷五月丁香国产| 思思视频久久| 色色哒五月婷婷六月丁香| er99免费视频在线| 久久婷婷五月天蜜桃| 久久99精品久久久久子伦| 久久无码激情视频| 五月天激情小说| 免费AV播放| 久久婷婷五月天丁香| 最新久久网址| 九九热视| 久操欧美在线观看97| 日韩色五月| 色色亚卅| 五月天激情国产综合婷婷婷| 91久久18| 九九视频这里是精品五月| 99热99热在线| 97色婷婷| 思思色播| 91超碰在线观看| 99亚洲精品综合在线| 色婷婷综合久久久久| 五月丁香黄色| 中字幕视频在线永久在线观看免费| 91嫩草久久| 俺五月| 亚洲啪啪视频| 婷婷五月丁香激情图片| 精品99爱免费视频在线观看| 九九激情| 丁香婷婷六月天| 天天婷婷色六月| 婷婷五月天成人网| 成人色五月天婷婷| 色色日本| 99精品视频偷拍| 婷婷五月天成人小说| 色色色热| 丁香五月中文字幕| 色在线99| 夜夜躁爽日日| 亚洲天堂色| 五月天自拍网| 中文字幕在线日亚洲9| 久热在线观看视频9| 欧美综合婷婷网| 五月天偷拍| 欧美天堂久久| 九九99九九99九九99视频网| 久久超视频| 日韩1区2区| 婷婷五月天桃花网| 五月天黄色激情小说| 欧美性色A片免费免费观看的| 欧美日韩成人在线观看| 天天日天天草| 视频1区2区| 色综合久久88色综合天天| 精品欧美一区二区三区久久久| 日韩色色色色色| 色婷婷香蕉| 五月天综合激情网| 99色干| 偷拍91九色| 久久精彩视频| 色婷婷狠| 精品久久人妻| 一起草Av| 国产成人网站在线观看| 丁香五月色播中文在线播放| 狠狠CAO日日穞夜夜穞AV| 丁香五月六月婷婷自拍| 99精品丁香五月| 亚洲色色精品| 久久婷婷丁香花综合网| 婷婷五月天在线一区| 色吊丝av中文字幕| 久久思思精品| 中文字幕欧美久久| 婷婷社区五月天| 欧美五月丁香啪啪响视频| 大香蕉五月天婷婷| 婷婷色五月色妇| 97一区二区| 色色色欧美色色| 色九月综合| 九九婷婷五月天| 五月婷婷综合社区| 五月亭亭开心网| 婷婷五月激情丁香激情| av一区二区电影免费在线观看| 婷婷丁香成人五月天| 五月亭久久无码视频| 超碰人人干| 99 r热| 国产做爰视频免费播放| 久久精品视频在这里有| 丁香伊人五月色婷婷五十路| 色九月婷婷丁香| 婷婷色情网| 色婷婷综合网| 国产婷婷五月色情综合| 那里有AV网址| 中文字幕丰满乱孑伦无码专区| 97操碰98| 九月av| 九九久久免费视频44| 五月婷婷草| 99啪啪| 国产视频色色色色色色色| 天天干狠狠艹| 97操操操| 97色五月丁香婷婷| 婷丁香五月天| 丁香五月深爱五月婷婷| 午夜五月天| 婷婷激情综合| 欧美在线ee日韩| 婷婷狠狠干| 综合久久影院| 中文字幕婷婷9月天| 99色| 亚洲五月天伊人| 精品99这里有| 亚洲色图五月丁香| EEUSS鲁片一区二区三区| 亚洲色模骚货| 97丁香花五月天激情小说| 国产操B| 91狠狠综合网| 激情开心五月天婷婷基地丁香社区| 人人操AV| 老司机伊人| 狠狠色综合网| 婷婷六月丁香激情综合| 久久精彩免费视频精彩免费视频| 激情九月婷婷九月| 丁香婷婷色五月激情综合| 九九99一区| 97操碰| 色五月婷婷91在线| 亭亭玉月丁香| 99超级碰碰| 色综合爱综合| 色婷婷伊人| 91人人看| 亚洲成人在线观看av| 大香蕉婷婷色| 婷婷五月激情图片| 毛片毛片毛片毛片| 天天cha成人综合网| 激情综合婷婷| www.婷婷,com| AAAA网站| 99热骚货| va婷婷在线| 91精品婷婷国产综合久久| 在线日韩av| 国产欧美精品AAAAAA片| 五月香婷婷| 日本一级特黄大片AAAAA级| 五月丁香激情欧洲啪啪| 五月天小说激情| 国产亚洲99久久精品| www91精品| avh片在线观看| 99久久国产宗和精品1上映| 超碰九色| 婷婷五月丁香六月| 综合久久影院| 丁香九九九九| 99热这里都是精品| 久热网在线视频| 99在线视频精品| 九九九九九无码| 天天色综| 丁香六月婷婷色播| 久久加勒比| 黄色五月婷| 97搞在线| 色色射| av在线免费播放| 久久精品99久久久久久| 91丨九色丨熟女丰满| 国产精品蜜臀99| 99热首页在线30| 六月婷婷日| 婷婷五月综合婷婷| WWW夜夜| 婷婷五月深深的爱| 久鲁鲁色网 | 999久久久国产精品| 久热久re| 国产日韩av片| 91综合在线视频| 丁香久月婷| 91丁香五月| 激情综合网站| 超碰资源在线| 超碰在线人妻| 五月婷婷婷丁香播| 亚洲av日韩无码| 大香蕉婷婷丁香天堂AV| 深爱激情五月天| 丁香五月婷婷基地| 天天色中文字幕女优AV| 色五月激情综合网站| 丁香五月久久社区| 99热亚洲精品| 伊人久久激情图区五月| 五月天婷婷五月| 婷婷亚洲欧美丁香五月| 综合色五月| 粉嫩av懂色av蜜臀av熟妇| 伊人91| 丁香六月婷婷综合| 丁香五月瑟瑟| 五月婷婷啪啪网| 开心婷婷五月天综合| 婷婷丁香人妻天久久| 色很很96| 麻豆五月丁香婷婷| 色婷婷综合影院| 丁香五月色| 色欲一区二区三区精品A片| 超碰国产一区| 超碰人人艹| 4399在线观看免费高清电视剧| 婷婷五月天com| 99热在线只有精品| 久久伊人五月天| 伊人激情| 欧美日韩五月婷婷| 精品成人久久久久久久_一二三四视| 九九蜜臀精品| 99爱视频在线播放| 99无码精品| 免费色婷婷| 猫咪伊人久久| 天天做天天爱天天爽在| 天天透天天爱| 日本乱子人伦在线视频| 五月婷婷亚洲色图| henhencao国产在线| 五月丁香六月婷婷开心网| 四月婷婷五月丁香| 香蕉AV777XXX色综合一区| 一区二区你懂的| www.99视频| 2025天天操| 婷婷色操| 操逼五月婷婷| 玖玖色资源| 天天插天天玩天天干| 99热这里只有的精品视| 99精品综合视频| 婷婷五月天性爱视频| 久久五月视频| 97操碰在线视频| 99re热视频这里只精品| 久久狼人天堂| 精品久久久人妻| 日本猛少妇色XXXXX猛叫| 久久久噜噜噜操操操| 婷婷激情小说网| 五月开心久久| 五月天天丁香婷婷| 蜜桃婷婷五月| 五月激情综合网| 色婷综合| 欧美日本一区二区三区| 婷婷香蕉| 色99在线看| 夜夜撸天天日| 婷婷五月成人| 色五月91| 色综合另类| www婷婷色| wwW天天干| 婷婷色播婷婷| 激情久久丁香| 26uuu欧美日本| 精品夜夜澡人妻无码AV| 97干在线观看视频| 五六月丁香激情视频| 亚洲精品色| 色射影院| 97香蕉久久超级碰碰高清版 | 激情五月丁香社区| 六月大香蕉| 天天爽天天摸人妻综合网| 99精品在线播放| 久久综合色五月| 强伦轩人妻一区二区电影| 狠狠久久婷五月综合色| 人人色AV| 国产一区二区av免费| 5月色亭亭视频| www.夜夜操.com| 色区久久| 久久久这里有精品| 色婷婷av在线观看| 五月婷婷丁香啪啪| 婷婷五月天综合久久| 五月天天丁香婷婷| 99热九九这里只有精品10| 亚洲啪啪啪啪| 亚州操操| 五月天伊人久久久久| 超碰在线94| 操日挥操日日| www。五月,com| 久久思思热视频| 秋霞av吧| 五月婷婷第四色| 国产亚洲99久久精品熟| 深爱五月婷| 好大好粗嗯啊-一级黄色大片免费观看-成人AV| 久草xx性爱视频| 久久R激情| 97婷婷五月| 日逼影音先锋男人资源站| 婷婷夜夜夜夜| 精品少妇人妻AV无码专区偷人| 婷婷丁香五月天在线视频| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 夜夜干天天干| 日韩无码系列| www,超碰| 91久久日日| 六月丁香激情最新更新| 午夜天堂一区人妻| 五月婷婷中文网| 九久久九精品视频| 久久婷婷五月天蜜桃| 狠狠精品干练久久久无码中文字幕| 综合激情五月综合激情五月激情1 天天爱天天做天天舔 | 丁香五月AV| 99热精品在线播放| 99色在线视频| 蜜桃成语时李时珍 免费| 五月天激情综合首页| 五月天久久久| 79色色色色| 都市激情亚洲| 久久精彩视频| 日本在线噜噜| www九月婷婷| 猫咪伊人久久| 婷婷另类开心| 涩玖玖免费视频| 色婷婷丁香网| 六月丁香婷婷网| 超碰97在线观看免费| 第四色五月天| 日韩在线视频中文字幕| 无遮挡国产高潮视频免费观看| 99热久草| 亚洲人妻av| 久热一区| 日韩欧美成人片| 婷婷97狠狠干| 色综久久久| 97碰碰人人| 日本人妻丁香婷婷久久寝取熟女五月| 午夜AV网| 欧美日韩一区二区三区四区| 久久性爰视频这里只有精品| 婷婷伊人久久| 99热最新国内| 色综合激情| 久8色色| 大香蕉久艹| 琪琪色五月婷婷老师| 五月激情在线| 狠狠色无码| 日韩在线视频中文字幕| 亚洲中文AV| 综合色五月| 清色五月天| 国产精品色婷婷99久久精品| 九九一区| 91操操| 九九热免费| 九九热视频首页/这里只有精品| 丁香香蕉婷婷| ..真实国产乱子伦对白在线_欧| 久热超碰91| 婷婷丁香视频| 99热综合在线| 婷婷五月婷| 人妻熟妇国产精品| 18久久| 国产免费性爱| 九九久久精品| 极品另类| 另类综合网| 99r这里只有精品哦| 秋霞日本免费毛片A片| 欧美色激情四射| 99这里都是精品| 五月婷婷丁香五月| 人妻久久久久久久久久| 五月婷六月综合在线观看| 超级碰碰碰97免费| 91窝窝| 99视频免费播放| 99爱在线视频| 99re6久热只有精品6在线直播| 能看的av| 久久99热在线观看| 亚洲五月天狠狠| 蜜臀丁香黄色婷婷五月天| 成人网在线视频| 婷婷国产五月天17c| 国产成人片| 婷婷深爱五月| 久久九⑨| 182.t午在线观看| 成片免费播放| 直接看的AV| 97碰碰视频在线观看| 婷婷五月六月丁香| 色五月婷婷五月天激情综合| 六月丁香激情综合| 精品怡红九九九| 色之综合网| 久久丁香五月天| 日韩成人AV在线| 91丁香婷婷综合资源| 婷婷九九色| 91美女艹逼网站| 玖玖@三月天天丁香婷婷| 成人五月丁香花| 中国操逼99| 欧美色图片88| 色五月婷婷777| 丁香五月欧美婷婷综合| 四LLL少妇BBBB槡BBBB| 狠狠干狠狠干| 亚洲国产精品VA在线看黑人| 亭亭玉月丁香| 91操操| 日本精品久久久久中文字幕| 五月丁香在线| 婷婷综合五月| 丁香婷婷五月六月久久| 色五月婷婷丁香凹凸| AV色色天堂中文| 超碰日韩人妻在线| 成人αV视频免费观看| 亚洲狠狠色丁香婷婷综合久久| 三十熟女| 99热热热99精品丁香| 亚洲超碰青涩| 九九偷拍网| 天天操,天天插| 婷五月天六| 任你操精品免费| 91丁香五月| 亚洲综合激情五月久久| 婷婷五月在线综合| 五月色婷婷AV| 婷婷激情五月色综合| site:pnnrt.com| 伊人碰碰碰| 超碰国产在线| 国产SUV精品一区二区6| 男女激情久久| 色综合天堂| 五月天天天综合| 丁香五月在线观看综合| 五月天婷婷色色首页| 欧美性久| 大香蕉伊人99| 丁香婷婷免费| 日日夜夜爽爽| 婷婷婷婷婷开心无码播放| 亚洲av日韩无码| 丁香五月天堂网| 99国产在线精品视频| 大香蕉久久伊人网| 91精品国产99久久久久久天美| 97在线视频人妻九色| 丁香六月亚洲| 五月丁香啪啪| 啪啪综合网| 天天操天天国产三级片处女学生妹| 99啪啪网| 婷婷六月丁香激情综合| 欧美日本va| 久久性爱视频网站| 东北熟女高潮99综合99| 五月丁香综合影院| 六月婷婷在线视频| 操人无码| 在线观看日韩12345区| 日韩av网站在线观看| 99久久久国产大片| 色情五月停停丁香| 婷婷97| 26uuu成人网| 亚洲综合九九| 欧美激情-区二区三区| 婷婷涩五月| 五月丁香六月激情网站| 婷婷五月丁香久久| 五月丁香婷中文字幕| 欧美视频五区| 亚洲成av人影院| 国产免费av在线| 日日操日日干| 日日夜夜天天| 九久久婷婷| 婷婷综合| 激情综合五| 91久久久久久久久久18| 五月天婷婷綜合院| 99热在线免费| 被强行糟蹋的女人A片| 日韩日比视频| 操啊操av| 亚洲亚洲人成综合网络| 9操在线| 另类综合婷婷五月天欧美视频| 91丨九色丨43老版熟女| 青青草婷婷久久| 久久人妻情侣| 婷婷综合网站| 五月丁香无码| 九九久久综合网站| 五月天成人免费视频| 五月丁香成年黄色| 综合激情网激情五月。| 中文字幕丰满孑伦无码专区| 五月丁香婷婷色| 97色色综合| 国产精品激情AV久久久青桔| 99热欧美| 区欧美日韩成人| 99热官网| 久99热| 九九爱激情| 亚洲精品久久久久久久久久飞鱼| 色色色色色色色色五月先| 欧美97p| 拍真实国产伦偷精品| 99日本在线| 日本爆乳片手机在线播放| 无语停婷丁香网| 好好干av| 人人色性网| 色色色综合网| 激情五婷网| 婷婷色啪| 97人人搞| 五月丁香激情婷婷| 人橾人| 99综合| 日本在线观看aaa 99| 去干网最新版本亚洲版| 草草夜夜操| 另类激情五月| 午夜激情婷婷| av色婷婷| 亚洲午夜av| 色9999日韩国产| 日本色色视频| 成人片在线免费看| 婷婷激情5月| 五月丁香本色在线观看| 天天做天天爱天天爽夜夜揉| 超碰人人色| 99re热视频这里只有综合亚洲| 伊人久久99| 成片免费播放| 激情五月天电影| 激情小说五月天社区丁香| www.色综合| 丁香五月天无码AV| 99热亚洲| 五月婷婷之激情五月| 久久综合五月天激情小说网站| 插插干干干色| 五月天天丁香婷婷| 久久这里有精品视频| 日本wwww在线| 五月天综合在线| 97超碰在线免费观看| 思思热精品在线| 亚洲免费av在线| 免费AV播放| 色综合色综合婷婷热| 极品少妇高潮啪啪AV无码| 26uuu亚洲欧美另类| 爱操天堂| 常久最新免费的色吊丝| 色激情网| 超碰93在线观看| 丁香色色网| 99色综合| 蜜乳中文字| 久久九九@| 可以看的av网站| 91婷婷五月天综合视频| av一区二区电影免费在线观看| 丁香六月婷婷综合在线| 成人无码中文| 九月丁香婷婷综合| 天天肏屄夜夜爽| 亚洲激情四射色| 婷婷五月成人| 午夜大香蕉| 亚洲黄色影视| 天天干天天爽天天操| 亚州精品成人片| 激情久久久| 天天舔天天| 亚洲视频无| 97碰| 狠狠干2007| 九月大香蕉| 思思热99热| 丁香婷婷人妻综合网| 99精品偷拍视频| 亚洲热视频在线| 一级二级香港秋霞欧美欧美秋霞| 五月丁香婷婷老司机| 97超碰综合| 亚洲色vA| 亚洲V国产V欧美V久久久久久| 可以免费看的AV网站| 大香蕉久久伊人婷婷五月丁香| 五月婷婷三级| 欧美va| 超碰在线观看9| 国产美女无遮挡裸体毛片A片| 久久六月综合| www.天天干.com| AV在线不卡网站| 色婷婷五月综合| 久久亚洲激情五码| 日韩色色网| 激情综合网激情五月丁香五月俺也去| 亚洲av日韩无码| 狠狠狠五月婷婷六月丁香| 婷婷六月激情| 一起操最新网址| 五月激情综合美女久久| 色五月琪琪| 天天上天天爽| 99色在线观看视频| 久久久天堂国产精品女人| 综合久久影院| 久久99色色| 91精品久久久久久综合五月天| 久久婷婷青青| 色婷婷久久| 日日夜夜小色哥| 99视频精品| 四川操逼站| 国产欧美精品AAAAAA片| 欧美精品999| 99A片| 99热这里只有精品23| 五月婷网| 人人综合91网| 精品欧美一区二区三区久久久| 九九色图| 涩涩五月天| 国语精品探花| 日日日,com| 九九色色网| 性爱五月婷婷| 4399无码视频二区| 亚洲爆乳无码精品AAA片蜜桃| 亚洲99综合| 丁香五月天婷婷中文字幕| 色五月五月丁香| 狠色狠色狠狠色综合网| 99操逼| 日本婷婷色| 九九九九操逼| 可以看的av| 日本五月婷婷| 色婷婷五月综合| 丁香五月综合在线观看| 日韩小视频在线99| 亚洲精品五十一区| www.91久久| 狼人狠狠操| www热久久yy9| 国产精品大香蕉| 亚洲成人在线播放| 91黄址| 99综合自拍| 天天日,天天干,天天操| 丁香五月综合在线观看| 热99re| 五月丁香激| 久人操| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 久久五月天激情美女| 99人妻碰碰碰久久久久禁片| 在线超碰91| 《久久综合九色综合97婷婷| 久久超级碰视频| 另类图片五月激情| 五月天婷婷丁香人人操91| 久久久潮喷-久久久九九-成人AV| 1级欧美日韩| 免费色婷婷| 玖玖伊人网| 色综合久久无码| 七七婷婷综合| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 1024久婷| 色色综合院| 五月停停99| 日韩久久日| 丁香五月激情综合久久| 色色色色丁香| 丁香五月婷婷五月基地| 97成人视频| 9视频1在线| 五月婷婷与六月丁香图片激情| 开心五月婷婷婷美女| 六月婷婷香蕉| 精品成人在线观看| 无码se| 婷婷日| 色青青视频| 婷婷色情六月| 五月天欧美 另类小说| 青草热视频这里只有精品| 久草五月天电影网| 五月婷婷综合网在线播放| 日韩AV色色色| 婷婷色色亚洲| a免费在线| 精典久久| 激情深爱婷婷网| 狠狠插狠狠| 丁香五月欧美| 欧美25p| 爱99干99| 五月天堂六月丁香亚州中文字幕久久| OUMEIRIHANCHENGREN| 9久久久久久久久久久| AV色五月婷婷| 深情五月天| 久久停停超碰| 国产精品久久久久久久久久| 色欧美日| 久草天堂| 久久与婷婷| 色色色色综合| www.99热这里只有精品| 精品夜夜澡人妻无码AV| 六月婷婷最新网址| 99综合视频一体| 99热这里只有精品热| 天天综合精品| 五月天婷婷久久| 国产精品成av人在线视午夜片| 色五月婷婷五月天激情综合| 婷婷五月综合色中文字幕| 激情综合网激情五月丁香| 婷婷玖玖五月天| 狠狠CAO日日穞夜夜穞AV| 婷婷色五月天色| 六月丁香婷婷拍拍| 五月婷婷激情久久| 五月丁香婷婷爱| 97自拍视频在线| 婷婷五月激情五月丁香五月| 九九婷婷五月天影视| 激情五月综合第一页| 无码四色色色| 成人视频婷婷| 九月婷婷综合| aaa9区免费在线观看| 丁香婷婷五月天校园春色| 色色色色av色色色色| 亭亭玉月丁香| 大香蕉人人网| 五月情四婷婷| 色亭亭五月天丁香综合AV - 百度 - 百度| 涩涩五月天| 欧美槡BBBB槡BBB少妇| 99.N在线视频| 激情欧美婷五月| 97se视频在线| 日本97人人| 九九这里只这里只有精品| 天天做夜夜爽| 99综合五月免费视频色婷婷| 色情五月综合婷婷| 99热这里只有精品13| 97AV在线视频| 色五月色情| 人妻系列久久久久久久久久久 | 99综合| 色玖玖综合| 五月激情综合深爱| 99精品国产乱码久久久人妻| 日韩 中文 欧美| 可以免费看av网站| 久草大| 久久婷婷综合色丁香| 这里只有精品在线免费视频| 五月天激情小说| 色吧五月婷婷| 色婷婷五月天激情在线观看| 色色欧美色色| 中文不卡一二三区| 欧洲亚洲精品| 一本久道综合99| 亚洲色激情| 国产成人AV| 激情五月开心五月在线视频| 9热视频在线观看| 人人干人人操外国| 操你av| 亚洲色久| 色婷婷99| 国产操碰| 激情久久五月天| 狠狠干天天日| 久草热久草在线视频| 99成人网一区| 五月婷婷熟女| 婷婷成人在线| 五月婷婷婷婷网| 天天干天天av天天射| 婷婷色系婷色| 中文字幕,综合,91| 婷婷激情六月综合| 婷婷五月天成人网| 91九色无码内射| 激情五月色在线播放| 丁香五月花影院| 国产一级婬片毛片| 婷婷狠狠干| 99综合网| 天天干夜晚夜操| 香蕉婷婷色五月| 91久久久久久久| 97激情五月天| 人妻体体内射精一区二区| 欧美综合婷婷欧美综| 色婷婷五月天| 久久色在线视频| 色婷婷综合视频| peg 2区三区四区的| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 另类激情网| 九久热| 久久六月天| 久9热视频在线观看| 五月婷婷丁香五月 | 人妻乱码久久久| 99久re热视频精品98| 小视频aaa久久久| 天天操天天插| 激情q青青草在线婷婷| 色色色色色色色色网站| 天天性视频| 久久五月婷婷丁香| 丁香婷婷网| 五月婷婷激情| www.狠狠操.com| 亚洲狠狠丁香婷婷香蕉| 五月天久久91| 九九99热| 丁香五月六月| 伊人六月丁香婷婷| 97婷婷五月丁香| 五月天婷婷丁香基地在线观看| 色一情一乱一乱一区91| 五月丁香六月色| 好好干Av| 五月久久丁香| 天天爽天天爽视频| 97干欧美| 97色色色| 五月丁香色| 99久久婷| 99婷婷精品推荐在线视频| 久久人妻www| 日韩 中文 欧美| 青青草成人网| 男人的天堂在线婷婷| 五月丁香偷拍| 久久婷色| 亚洲乱码日产精品BD| 夜夜干夜夜操| 99色热视频| 国产免费一区二区三州老师F1F1……| 性高潮久久久久久-九九九九九九九九九九热-成人AV | www.五月天色色.com| 天天干天天爽天天操| 婷婷6月综合网| 色婷婷久久综| 色婷九九九|