欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

基于DQN的室內(nèi)無線資源分配:Matlab仿真實現(xiàn)與調(diào)參實踐

基于DQN的室內(nèi)無線資源分配:Matlab仿真實現(xiàn)與調(diào)參實踐 上一周我做室內(nèi)無線網(wǎng)絡(luò)的資源分配仿真時遇到一個很典型的困惑在靜態(tài)拓撲下傳統(tǒng)注水算法和輪詢方案表現(xiàn)都還可以可一旦把用戶終端位置變化、突發(fā)業(yè)務(wù)和信道波動放進去固定策略的效果就會迅速劣化。折騰了一陣子后我徹底轉(zhuǎn)向了深度Qlearning強化學習方案——把功率分配看作一個序貫決策問題讓智能體在仿真環(huán)境里反復試錯學出一套“狀態(tài)到動作”的映射策略。這篇文章就把我踩過的坑和最終跑通的Matlab仿真實現(xiàn)完整記錄下來內(nèi)容包括室內(nèi)無線資源分配問題的建模思路、深度Q網(wǎng)絡(luò)DQN各核心組件的落地細節(jié)、Matlab環(huán)境搭建到訓練主循環(huán)的完整鏈路以及收斂性分析和調(diào)參心得。適合通信工程相關(guān)專業(yè)的研究生、剛接觸強化學習但想盡快上手仿真驗證的工程師以及所有準備在無線網(wǎng)絡(luò)領(lǐng)域引入智能決策方案的朋友參考。1. 問題建模把室內(nèi)無線資源分配寫成一個強化學習能理解的決策過程任何強化學習項目的第一步都不是敲代碼而是想清楚“智能體到底在做什么決策”。這一步?jīng)]有處理好后面網(wǎng)絡(luò)結(jié)構(gòu)再漂亮、調(diào)參再努力訓練出來的策略也大概率是廢的。我自己的習慣是先花大量時間定義狀態(tài)、動作、獎勵并且用最樸素的語言把問題描述一遍確認這個MDP馬爾可夫決策過程閉環(huán)是合理的再開始寫Matlab代碼。1.1 為什么室內(nèi)場景比室外場景更需要動態(tài)分配策略室內(nèi)無線網(wǎng)絡(luò)和室外宏基站覆蓋有一個很大的不同點信道狀態(tài)受環(huán)境結(jié)構(gòu)影響極其顯著。穿墻損耗、人員走動遮擋、家具擺設(shè)反射、多徑衰落混疊在一起信號強度的空間變化非常劇烈。加上用戶終端往往是手機或筆記本電腦移動性雖然不如車載場景那么夸張但在辦公室、商場、實驗室這樣的環(huán)境里用戶隨時可能在幾個AP的覆蓋范圍內(nèi)切換。在這種條件下如果使用固定資源分配策略最直觀的問題就是信道質(zhì)量好的用戶可能被分配了過高的功率造成對相鄰信道用戶的額外干擾而信道質(zhì)量差的邊緣用戶又沒有得到足夠資源吞吐量被壓得很低。傳統(tǒng)做法一般有兩種思路應(yīng)對一種是通過信道狀態(tài)信息CSI的實時測量做集中式調(diào)度另一種是采用自適應(yīng)功率控制。集中式調(diào)度在用戶數(shù)少、拓撲穩(wěn)定時算力開銷還能接受但一旦用戶規(guī)模上來每時隙的優(yōu)化問題復雜度會快速提升現(xiàn)實場景中很難做到毫秒級響應(yīng)。強化學習的思路則完全不同。它把資源分配策略隱含在一個神經(jīng)網(wǎng)絡(luò)里通過智能體與仿真環(huán)境的持續(xù)交互逐步逼近最優(yōu)策略。每次決策只需要一次前向傳播推理速度非常快而且它不需要精確知道信道模型的數(shù)學表達式是典型的“數(shù)據(jù)驅(qū)動”方法。這正是它在室內(nèi)動態(tài)場景下的核心價值所在。1.2 馬爾可夫決策過程的四項要素如何落到無線資源分配上將一個物理問題轉(zhuǎn)化為MDP最常見的困惑就是“我的狀態(tài)空間到底要包含哪些信息”。我的經(jīng)驗是遵循一個原則只放那些對當前決策有直接影響、且智能體能夠觀測到的信息。在室內(nèi)無線資源分配這個場景中我的狀態(tài)設(shè)計如下信道狀態(tài)信息所有用戶到各接入點的信道增益矩陣。因為室內(nèi)信道有快衰落分量實際仿真中一般取瞬時CSI或者經(jīng)過平滑后的有效SNR。用戶業(yè)務(wù)需求每個用戶當前時隙的需求速率或緩存隊列長度。這決定了資源分配的優(yōu)先級。歷史資源分配結(jié)果上一時隙各用戶獲得的功率或資源塊數(shù)量。加入這個狀態(tài)可以讓智能體感知到“上一輪我給了誰多少資源”有利于策略的平穩(wěn)性。干擾水平各接收端當前受到的鄰區(qū)干擾功率。在室內(nèi)多AP場景中這個量對吞吐量影響很大。動作空間是強化學習建模中最需要謹慎設(shè)計的部分。連續(xù)功率分配可以用連續(xù)動作空間的DDPG等算法來做但Matlab仿真調(diào)試成本相對較高。我的做法是做離散化處理將每個用戶的發(fā)射功率劃分為若干等級。假設(shè)一個AP給它的關(guān)聯(lián)用戶分配下行功率功率范圍為0到20dBm以2dBm為步長就是11個等級有N個關(guān)聯(lián)用戶時聯(lián)合動作空間就是11的N次方這個復雜度顯然不可接受。所以更合理的做法是每次只為某個特定的用戶分配功率或者將用戶按優(yōu)先級排序后逐個決策。我在仿真中采用了“逐用戶決策”的方式每次智能體選擇一個用戶的功率等級然后環(huán)境返回對應(yīng)的瞬時吞吐量反饋更新狀態(tài)后繼續(xù)為下一個用戶決策。這樣動作空間就是11個離散等級網(wǎng)絡(luò)輸出維度完全可控。獎勵函數(shù)的設(shè)計直接決定了算法最終學出來的策略長什么樣。我的獎勵項拆成三部分吞吐量獎勵當前用戶獲得的吞吐量這是核心目標公平性懲罰用Jain公平性指數(shù)作為正則項如果某一輪資源分配導致用戶間速率差距過大就給予懲罰功率代價發(fā)射功率本身有能耗代價同時過大的發(fā)射功率會加劇干擾所以對高功率等級施加輕微懲罰。將三者按權(quán)重相加得到最終的獎勵值。這里有一個關(guān)鍵經(jīng)驗獎勵的數(shù)值尺度要保持在合理范圍如果獎勵值動輒上千神經(jīng)網(wǎng)絡(luò)訓練的穩(wěn)定性會非常差。我通常將吞吐量歸一化處理讓單位時隙獎勵落在0到5之間。生活化一點去理解這個建模過程智能體就像一位外賣調(diào)度員不能只知道哪個餐館訂單多就往哪里安排騎手還要知道每個騎手的位置、路況、訂單時效要求和超時懲罰才能做出合理派單。強化學習要做的就是讓調(diào)度員在大量派單-反饋循環(huán)中逐漸積累經(jīng)驗。1.3 狀態(tài)空間維度與動作離散化粒度的權(quán)衡在定義MDP時很多人會犯一個錯誤把能觀測到的信息統(tǒng)統(tǒng)塞進狀態(tài)向量。我剛開始做的時候也是這樣結(jié)果網(wǎng)絡(luò)參數(shù)量驟增樣本效率急劇下降訓練幾百輪都不見收斂。一個比較穩(wěn)妥的做法是控制狀態(tài)向量維度在幾十以下。在8個用戶、4個AP的室內(nèi)場景中狀態(tài)向量可以設(shè)計成狀態(tài)項維度說明用戶信道增益8×432展平為向量歸一化業(yè)務(wù)需求8每個用戶需求速率上一輪功率等級8上一時隙各用戶功率當前干擾水平8各接收端的干擾功率合計56維屬于全連接網(wǎng)絡(luò)能夠處理的范疇。如果用戶數(shù)量繼續(xù)增加比如到32個用戶就需要考慮用降維處理比如只取Top K個干擾源的信息或者對CSI做特征提取否則網(wǎng)絡(luò)訓練難度會顯著上升。動作離散化粒度方面2dBm步長通常是一個不錯的起點。如果步長太細動作數(shù)量增多每個動作被探索到的概率下降訓練時間增加如果太粗功率控制精度不夠算法的性能上限會受影響。實際仿真中可以先粗后細先用較大步長驗證整體框架能收斂再逐步細化功率等級。2. 深度Q網(wǎng)絡(luò)與表格Q學習的本質(zhì)差異為什么無線資源分配必須上神經(jīng)網(wǎng)絡(luò)這一節(jié)我想重點聊一聊DQN這個方法本身因為很多初學者把DQN當成一個通用黑盒工具直接調(diào)用不理解它內(nèi)部三個關(guān)鍵機制的設(shè)計動機一旦仿真不收斂就完全不知道從哪里排查。2.1 表格Q-Learning在連續(xù)狀態(tài)空間下的致命缺陷Q-Learning的核心是維護一張Q值表 (Q(s,a))記錄每個狀態(tài)-動作對的價值估計。算法每次與環(huán)境交互后根據(jù)獲得的獎勵和下一狀態(tài)的最大Q值來更新當前Q值[ Q(s,a) \leftarrow Q(s,a) \alpha [r \gamma \max_{a} Q(s, a) - Q(s,a)] ]這個公式理解起來并不困難真正的問題在于表格的規(guī)模。如果狀態(tài)向量是56維就算每個維度只做二值化處理狀態(tài)總數(shù)也有 (2^{56})這個數(shù)量的Q值表不要說存儲就是遍歷一遍都不可想象。更何況信道增益、業(yè)務(wù)需求這些變量本質(zhì)上都是連續(xù)值簡單量化會丟失信息。更關(guān)鍵的一點是泛化能力完全喪失。無線信道狀態(tài)幾乎不會和歷史狀態(tài)完全一致表格方法遇到一個沒見過的狀態(tài)就無從決策只能重新隨機探索。這使得表格Q-Learning在真正意義上的無線資源分配場景里完全不可行。而DQN用神經(jīng)網(wǎng)絡(luò)擬合Q函數(shù)輸入是連續(xù)狀態(tài)向量輸出是每個動作的Q值估計天然具備泛化能力相似的輸入會得到相似的決策輸出。2.2 經(jīng)驗回放與目標網(wǎng)絡(luò)讓神經(jīng)網(wǎng)絡(luò)訓練穩(wěn)定下來的兩個關(guān)鍵機制神經(jīng)網(wǎng)絡(luò)訓練的基本前提是樣本獨立同分布。但在強化學習中數(shù)據(jù)是智能體與環(huán)境交互產(chǎn)生的時序數(shù)據(jù)相鄰時隙的狀態(tài)、動作、獎勵高度相關(guān)直接用這些時序數(shù)據(jù)做梯度下降訓練過程會劇烈震蕩甚至發(fā)散。經(jīng)驗回放機制就是針對這個問題設(shè)計的。實現(xiàn)上很簡單在Matlab中維護一個經(jīng)驗緩沖區(qū)每輪交互產(chǎn)生的四元組狀態(tài)、動作、獎勵、下一狀態(tài)存入緩沖區(qū)訓練時隨機從緩沖區(qū)中采樣一個小批量進行網(wǎng)絡(luò)更新。隨機采樣打破了樣本之間的時間相關(guān)性同時多條歷史經(jīng)驗可以被反復使用提高了數(shù)據(jù)利用效率。我的經(jīng)驗是緩沖區(qū)容量不要設(shè)得太小至少2萬條起步否則隨機采樣的效果不明顯。目標網(wǎng)絡(luò)機制解決的是另一個問題自舉偏差。Q值更新的目標中包含當前網(wǎng)絡(luò)本身的輸出 ( \max_{a} Q(s,a) )這意味著網(wǎng)絡(luò)在更新時是在“用自己當前的價值判斷去指導自己更新”。如果當前估計已經(jīng)偏差很大更新方向也會被帶偏形成惡性循環(huán)。DQN的做法是維護一份延遲更新的目標網(wǎng)絡(luò)每隔固定步數(shù)才從在線網(wǎng)絡(luò)復制參數(shù)。更新目標網(wǎng)絡(luò)時使用目標網(wǎng)絡(luò)輸出的是Q值而不是當前正在訓練的網(wǎng)絡(luò)輸出[ y_i r_i \gamma \max_{a} Q_{\text{target}}(s_i, a) ]再結(jié)合經(jīng)驗回放訓練穩(wěn)定性會有質(zhì)的提升。我從實測中的感受是目標網(wǎng)絡(luò)更新周期設(shè)置在400到1000步之間效果較好更新太頻繁目標網(wǎng)絡(luò)和在線網(wǎng)絡(luò)過于接近容易恢復震蕩更新太慢價值估計收斂變慢。2.3 網(wǎng)絡(luò)結(jié)構(gòu)選擇與Double DQN的必要性對于室內(nèi)無線資源分配這種規(guī)模的問題網(wǎng)絡(luò)結(jié)構(gòu)不需要太復雜。我在Matlab中使用的網(wǎng)絡(luò)結(jié)構(gòu)如下% 狀態(tài)維度56維動作數(shù)量11個 % 使用Deep Learning Toolbox構(gòu)建網(wǎng)絡(luò) statePath [ featureInputLayer(56, Normalization, none, Name, state) fullyConnectedLayer(128, Name, fc1) reluLayer(Name, relu1) fullyConnectedLayer(128, Name, fc2) reluLayer(Name, relu2) ]; qNetwork [ statePath fullyConnectedLayer(11, Name, output) ];兩個隱藏層、每層128個單元這個規(guī)模對56維輸入、11個動作的輸出空間已經(jīng)完全夠用。更深的網(wǎng)絡(luò)結(jié)構(gòu)在復雜視覺任務(wù)中有效但在無線資源分配這類狀態(tài)維度并不太高的場景中過度加深網(wǎng)絡(luò)只會增加過擬合風險和訓練時間。Double DQN是針對Q值過估計問題的改進。傳統(tǒng)的DQN在計算目標值時要取 ( \max_{a} Q(s,a) )由于函數(shù)逼近存在誤差取最大值操作會系統(tǒng)性高估動作價值而且這種高估在訓練后期會越來越明顯導致策略變得過于激進。Double DQN的思路很簡單用在線網(wǎng)絡(luò)選擇最優(yōu)動作用目標網(wǎng)絡(luò)評估該動作的Q值[ a^* \arg\max_{a} Q_{\text{online}}(s, a) ] [ y_i r_i \gamma Q_{\text{target}}(s_i, a^*) ]在Matlab中實現(xiàn)這個邏輯時最關(guān)鍵的技術(shù)點在于如何在不打斷自動微分鏈路的情況下只使用在線網(wǎng)絡(luò)做動作選擇。具體做法是先用predict(onlineNet, nextState)得到在線網(wǎng)絡(luò)的所有動作Q值找到最大值對應(yīng)的動作索引然后用predict(targetNet, nextState)取出該索引對應(yīng)的值作為目標Q值。這兩個操作都只做前向傳播不參與梯度計算。我的實際經(jīng)驗是Double DQN幾乎不會比原始DQN差在多數(shù)情況下能明顯改善訓練的穩(wěn)定性屬于性價比極高的改進。如果你已經(jīng)決定做這個仿真項目建議直接從Double DQN起步不要先用標準DQN跑通了再改省掉一次重復調(diào)試的時間。3. Matlab仿真實現(xiàn)全流程從場景參數(shù)配置到訓練主循環(huán)Matlab做強化學習仿真有兩個路線一是使用自帶的Reinforcement Learning Toolbox它提供了rlQAgent等現(xiàn)成接口缺點是自定義環(huán)境相對繁瑣而且工具箱版本差異較大二是完全手寫訓練流程靈活度高適合做研究驗證。我個人傾向后者因為要觀察每一步的中間結(jié)果、修改獎勵函數(shù)、打印調(diào)試信息手寫代碼更直觀可控。3.1 室內(nèi)場景參數(shù)配置與信道模型選擇仿真場景我設(shè)置為一個20米×30米的室內(nèi)空間部署4個接入點用戶數(shù)量根據(jù)實驗需求調(diào)整默認8個用戶。AP位置固定在四個角落附近用戶在場景內(nèi)隨機分布并關(guān)聯(lián)到距離最近且信號強度最佳的AP。核心參數(shù)如下參數(shù)數(shù)值說明場景尺寸20m × 30m模擬中型辦公環(huán)境AP數(shù)量4位于固定位置用戶數(shù)量8可在4到20之間調(diào)整載波頻率2.4 GHz室內(nèi)WiFi典型頻段發(fā)射功率范圍0 ~ 20 dBm按2dBm步長離散化噪聲功率-90 dBm接收機底噪路徑損耗指數(shù)2.8室內(nèi)視距與非視距混合穿墻損耗8 dB/堵墻隔斷墻體損耗陰影衰落標準差4 dB對數(shù)正態(tài)陰影業(yè)務(wù)需求速率1 ~ 10 Mbps按均勻分布生成信道模型方面我采用的是經(jīng)典的路徑損耗加陰影衰落模型再加上一階自回歸模型模擬時間相關(guān)性。這樣做比每時隙完全獨立生成信道要更貼近真實場景。Matlab中可以用如下方式生成% 生成室內(nèi)路徑損耗 function pl pathLoss(d, fc, n) % d: 距離(m), fc: 載波頻率(Hz), n: 路徑損耗指數(shù) pl 20*log10(4*pi*d*fc/3e8) 10*n*log10(d); end % 加入陰影衰落和穿墻損耗 shadowStd 4; wallLoss 8; pl_total pathLoss(distance, 2.4e9, 2.8) ... shadowStd*randn wallLoss * numWalls;需要特別提醒的是穿墻損耗的加入對算法性能影響非常大。如果沒有穿墻損耗用戶只需選擇最近的AP就能獲得不錯性能問題過于簡單體現(xiàn)不出智能算法的優(yōu)勢加入墻體阻隔后用戶可能距離某個AP很近但隔了兩堵墻此時選擇另一個AP反而更好這種非直觀關(guān)聯(lián)正是強化學習能夠?qū)W習的價值所在。3.2 經(jīng)驗回放緩沖區(qū)與目標網(wǎng)絡(luò)更新實現(xiàn)經(jīng)驗回放緩沖區(qū)在Matlab中可以用簡單的結(jié)構(gòu)體數(shù)組實現(xiàn)。為了效率我預先分配了固定大小的矩陣并用環(huán)形緩沖的方式覆蓋舊經(jīng)驗。這一點非常重要——很多人在Matlab仿真中發(fā)現(xiàn)越跑越慢問題就出在反復動態(tài)擴容數(shù)組上。% 經(jīng)驗回放緩沖區(qū)初始化 bufferSize 50000; stateBuffer zeros(56, bufferSize); actionBuffer zeros(1, bufferSize); rewardBuffer zeros(1, bufferSize); nextStateBuffer zeros(56, bufferSize); doneBuffer zeros(1, bufferSize); bufferPtr 1; bufferCount 0; % 存儲一條經(jīng)驗 function storeExperience(state, action, reward, nextState, done) stateBuffer(:, bufferPtr) state; actionBuffer(bufferPtr) action; rewardBuffer(bufferPtr) reward; nextStateBuffer(:, bufferPtr) nextState; doneBuffer(bufferPtr) done; bufferPtr mod(bufferPtr, bufferSize) 1; bufferCount min(bufferCount 1, bufferSize); end % 隨機采樣一個小批量 batchSize 64; idx randi(bufferCount, batchSize, 1); batchStates stateBuffer(:, idx); batchActions actionBuffer(:, idx); batchRewards rewardBuffer(:, idx); batchNextStates nextStateBuffer(:, idx); batchDones doneBuffer(:, idx);目標網(wǎng)絡(luò)的更新不采用軟更新而是硬復制每訓練500步將在線網(wǎng)絡(luò)參數(shù)整體賦值給目標網(wǎng)絡(luò)。在Matlab中可以用dlupdate配合自定義函數(shù)實現(xiàn)更簡單的方式是直接保存網(wǎng)絡(luò)結(jié)構(gòu)體再載入% 每500步更新一次目標網(wǎng)絡(luò) if mod(totalStep, 500) 0 targetNet onlineNet; % 直接賦值 end這里有一個性能優(yōu)化的細節(jié)在線網(wǎng)絡(luò)和目標網(wǎng)絡(luò)都使用dlnetwork類型訓練時要把輸入狀態(tài)轉(zhuǎn)換為dlarray指定數(shù)據(jù)格式。建議把整個訓練過程用“白箱”方式編寫每100步輸出一次當前損失和平均獎勵方便實時觀察訓練狀態(tài)。3.3 主訓練循環(huán)中容易出錯的關(guān)鍵代碼段訓練主循環(huán)是DQN的核心邏輯本身不復雜但有幾個細節(jié)容易出錯我逐個說明。第一個細節(jié)是狀態(tài)歸一化。信道增益數(shù)值范圍可能在1e-8到1e-4之間跳躍業(yè)務(wù)需求在1到10Mbps之間量綱不同會導致網(wǎng)絡(luò)輸入分布差異過大。我在生成狀態(tài)向量時將信道增益除以參考值業(yè)務(wù)需求除以最大需求功率等級減去平均值再除以標準差讓所有輸入落在相對一致的數(shù)值范圍內(nèi)。這一步對收斂速度的影響是決定性的。第二個細節(jié)是ε-greedy探索策略的設(shè)計。探索率從1.0線性衰減到0.05衰減步數(shù)一般是總訓練步數(shù)的一半epsilon max(1.0 - totalStep / decaySteps, 0.05); if rand epsilon action randi(numActions); else qValues predict(onlineNet, dlarray(state, CB)); [~, actionIdx] max(extractdata(qValues)); action actionIdx; end第三個細節(jié)是在計算目標Q值時對終止狀態(tài)的處理。如果下一狀態(tài)是終止狀態(tài)那么目標Q值就等于獎勵本身不再加折扣的未來價值for i 1:batchSize if batchDones(i) targetQ(i) batchRewards(i); else % Double DQN: 在線網(wǎng)絡(luò)選動作目標網(wǎng)絡(luò)給價值 nextQOnline predict(onlineNet, dlarray(batchNextStates(:,i), CB)); [~, aBest] max(extractdata(nextQOnline)); nextQTarget predict(targetNet, dlarray(batchNextStates(:,i), CB)); targetQ(i) batchRewards(i) gamma * extractdata(nextQTarget(aBest)); end end很多初學者在Matlab代碼里會遺漏extractdata導致數(shù)值類型錯誤或者無法計算梯度這個坑我在調(diào)試時踩了不止一次。確認清楚當前數(shù)據(jù)是dlarray還是普通數(shù)值數(shù)組訓練過程的絕大多數(shù)報錯都能避掉。訓練主循環(huán)整體流程如下先隨機重置一次室內(nèi)場景智能體在當前狀態(tài)下對每個用戶依次執(zhí)行功率決策環(huán)境根據(jù)決策計算吞吐量、干擾和滿意度得到獎勵并轉(zhuǎn)移到下一狀態(tài)。當一個時隙內(nèi)所有用戶的決策都完成后為一個完整回合episode然后重新隨機生成用戶位置和業(yè)務(wù)需求開始下一回合。4. 收斂性分析、傳統(tǒng)方案對比與常見異常排查訓練完成后最關(guān)心的就是策略是否真正提升了資源分配性能。這一部分我拿實際仿真結(jié)果說話同時給出調(diào)試中經(jīng)常遇見的異常情況及對應(yīng)的排查思路。4.1 訓練收斂曲線如何解讀獎勵曲線與損失曲線的配合判斷一個常見的誤區(qū)是只盯著獎勵曲線看不下降就認為算法有問題。獎勵曲線本身噪聲很大尤其在前幾百回合波動甚至可能看起來是負優(yōu)化。真正可靠的判斷指標是滑動平均獎勵曲線以及損失曲線的整體趨勢。我在8用戶場景下用如下參數(shù)訓練了2000個回合每個回合執(zhí)行8次決策對應(yīng)8個用戶的功率分配超參數(shù)數(shù)值學習率1e-4折扣因子gamma0.95經(jīng)驗池容量50000批量大小64探索衰減步數(shù)30000目標網(wǎng)絡(luò)更新頻率500步訓練回合數(shù)2000訓練結(jié)果呈現(xiàn)典型的三個階段第一階段前200回合獎勵值在1.0到2.0之間波動基本沒有上升趨勢此時智能體主要靠隨機探索積累經(jīng)驗第二階段200到1000回合獎勵穩(wěn)步上升從2.0附近逐漸攀升到3.5左右說明網(wǎng)絡(luò)已經(jīng)開始學到有效的功率分配策略損失曲線同步下降第三階段1000回合之后獎勵曲線增幅放緩在3.5附近波動并趨于平穩(wěn)損失趨近于小范圍內(nèi)震蕩此時可以認為策略基本收斂。值得注意的是損失曲線并不一定完全平滑下降偶爾出現(xiàn)突然上升的尖峰是正常的。如果尖峰頻率過高且獎勵曲線同步驟降大概率是學習率過大可以把學習率從1e-4降到5e-5重新訓練。4.2 與輪詢分配和最大信噪比分配的性能對比單看DQN自己的訓練曲線無法說明算法好在哪里。我在相同場景下對比了三種方案輪詢RR平均分配、最大信噪比Max-SNR分配和DQN學習到的分配策略。每個方案運行100個獨立仿真時隙取平均結(jié)果方案平均系統(tǒng)吞吐量(Mbps)公平性指數(shù)平均功率(dBm)輪詢分配41.60.8410.0最大信噪比分配46.20.6212.4DQN策略52.80.8710.8從這個結(jié)果可以明顯看出DQN在系統(tǒng)總吞吐量上比傳統(tǒng)方案提升約14%到27%同時維持了較好的公平性。有意思的是Max-SNR方案雖然用更大的平均發(fā)射功率換來一定的吞吐量但用戶間速率差距被拉大公平性跌到0.62這種結(jié)果在真實業(yè)務(wù)中其實是不可接受的——邊緣用戶可能長期得不到服務(wù)用戶體驗非常差。從我個人實驗的角度來看DQN策略最大的價值不是簡簡單單提高吞吐量而是學會了“看人下菜碟”的分配邏輯對信道質(zhì)量好、業(yè)務(wù)需求大的用戶多給功率對信道質(zhì)量差、本身也沒有太多業(yè)務(wù)需求的用戶少給功率甚至不給功率。這種分配方式既保證了總體收益又兼顧了用戶間的平衡。4.3 訓練不收斂與訓練崩潰的排查路徑訓練過程出現(xiàn)異常時不要盲目改參數(shù)先按下面幾個維度逐步排查。獎勵函數(shù)尺度問題如果獎勵值的絕對數(shù)值過大比如幾十上百神經(jīng)網(wǎng)絡(luò)梯度會異常大更新一步就足以讓參數(shù)面目全非。解決辦法是把獎勵值壓縮到一個合適的尺度我的做法是除以一個參考吞吐量常量把獎勵控制在0到5之間。鄰居信道的干擾建模出錯仿真中最隱蔽的錯誤是把所有用戶的信道增益統(tǒng)一用同一隨機種子生成導致用戶間的信道狀態(tài)高度相關(guān)算法學不到有效區(qū)分用戶差異的模式。檢查方法是輸出幾個用戶狀態(tài)向量看看數(shù)值分布是否明顯不同。梯度爆炸導致的NaN崩潰訓練到一半損失突然出現(xiàn)NaN最常見的原因是梯度累積過大。此時需要檢查網(wǎng)絡(luò)層是否使用了合適的初始化或者在損失計算后添加梯度裁剪。在Matlab中可以手動裁剪梯度gradients dlgradient(loss, dlnet.Learnables); % 梯度裁剪閾值設(shè)為1 gradients dlupdate((g) max(min(g, 1), -1), gradients);“損失不降但獎勵在升”這類情況往往不是bug而是因為ε在衰減策略逐漸從隨機探索轉(zhuǎn)向利用已學知識Q值的估計誤差在合理范圍??梢圆榭匆幌掠柧毜幕瑒悠骄剟钍欠癯掷m(xù)走高如果是就繼續(xù)訓練觀察不用擔心損失不降。5. 從單時隙決策到實際場景落地我實踐中的幾個心得體會與可擴展方向完成基礎(chǔ)DQN仿真之后如果想往深水區(qū)走有幾個方向值得繼續(xù)探索。第一階段可以先從算法改進入手——在同一個仿真框架上嘗試Dueling DQN或優(yōu)先經(jīng)驗回放。Dueling DQN將Q值拆分為狀態(tài)價值和動作優(yōu)勢兩部分在有大量相似狀態(tài)但不同動作的無線場景中這種結(jié)構(gòu)能讓網(wǎng)絡(luò)更快學習狀態(tài)價值函數(shù)從而提升收斂速度。優(yōu)先經(jīng)驗回放則重點關(guān)注那些TD誤差較大的歷史樣本讓網(wǎng)絡(luò)優(yōu)先學習“難樣本”在非平穩(wěn)信道場景下效果很明顯。第二階段是向多智能體方向拓展。單智能體DQN在做多AP協(xié)同資源分配時本質(zhì)上把全局觀測都集中到一個智能體上做決策。這種集中式做法在小區(qū)數(shù)量增大后狀態(tài)維度會迅速膨脹。更合理的思路是為每個AP部署一個智能體采用集中式訓練、分布式執(zhí)行的架構(gòu)訓練時每個智能體共享全局Q值信息執(zhí)行時只依賴局部觀測。以VDN或QMIX為代表的合作多智能體強化學習算法值得在室內(nèi)多AP場景中試一把。這里還想分享一個很實用的工程經(jīng)驗Matlab內(nèi)手寫的DQN代碼調(diào)通之后如果追求更快的訓練速度可以用Matlab的Parallel Computing Toolbox并行跑多個環(huán)境的采樣。因為經(jīng)驗回放機制本來就能容忍不同環(huán)境產(chǎn)生的混合數(shù)據(jù)并行采樣可以有效打散樣本間的時序相關(guān)性一舉兩得。我在實驗里用4個并行工作器采樣訓練時間大致縮短了50%以上收斂性能還略有改善。最后做一個邊界問題的提醒仿真環(huán)境畢竟是真實世界的近似DQN策略在仿真中訓練到收斂并不等于部署到現(xiàn)網(wǎng)就能直接照搬。真實環(huán)境中存在信道估計誤差、反饋時延、信令開銷等問題這些都是仿真很難完美復現(xiàn)的。如果你的目標是學術(shù)驗證或算法對比當前這套仿真框架已經(jīng)足夠扎實如果你希望走向?qū)嶋H部署更穩(wěn)妥的思路是首先在仿真中加入一個CSI估計誤差模型觀察策略的魯棒性變化再逐步引入更多非理想因素。這一步做扎實了算法從仿真到真實場景的距離才會真正縮小。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日本高清不卡免费一区二区三区| 人人操超碰| 日韩淑女人妻luan伦激情精品一区二 | 日韩AAAAA| 久热婷婷在线视频| 国产午夜精品AV一区二区麻豆| 亚州精品色情无码A片| 五月天天天色| 性天天中文网| 久久狠色噜噜狠狠狠狠97| 色婷婷色99国产综合精品| 色色色色色级无码| 91要啪| 亚洲精品视频在线播放| 久久性爰视频这里只有精品| 久久久婷| 91色吧网| 国产婷婷久久| 国产成人AV| 婷婷五月天影视首页| 婷婷大香蕉| 丁香综合| 免费观看全黄做爰的视频| ji'qi'luan'ren'lun| 亚洲成人AV在线| 婷婷五月天伊人| 激情五月深爱婷婷| 99亚洲综合| 久久九九九九| 久久综合五月天激情小说网站 | 日韩啪啪网| 九九色热| 激情五月天综合婷婷网| 九九性视频| 九九九九国产| 色九月婷婷综合| 日韩久久成人| 日韩成人无码| 91狠狠综合久久久| 久久这里只有精品99| 五月婷婷伊人在线| 人人舔天天| 天天爽成人综合网站| 丁香狠狠色婷婷久久无码视频| 天天狠天天叉| 亭亭五月丁香五月天激情| 丁香五月六月婷婷综合| 日韩九九| 开心激情五月天网| 久久久.COM| 五月天激情无码| 五月丁香激情综合六月涩涩爱| www.henhenl| 3DAV亚洲香蕉久久 一区二区| 久久婷五月| 婷婷伊人网| 人人操av| 色久女| 看久久性爱视频| 激情婷婷丁香五月| 九九热视频免费| 九九视频这里只有精品在线播放 | 草榴成人影片| 亚洲激情六月| 日本毛片内射| 超碰人人干| 人人干99| 亚洲VA欧美VA| 夜夜操夜夜姧| 丁香五月婷婷激情蜜桃| 婷婷九月在线| 九九热最新地址| 91色逼| 久久五月丁香| 99热6精品| 久久这里都是精品| 五月天综合在线网| 五月天丁香欧美激情| 成人AV播放| 色.五月综合网| 成人做爰黄A片免费看直播室男男| a网站免费观看| 欧美大肥婆大肥BBBBB| 青青草五月天| 婷婷五月综合国产精品| 亚洲爱婷婷| 五月天婷婷色色网| 激情综合网婷婷久久| 91狠狠综合久久久久久| 99国产性感视频| 99久久精彩视频。| 婷婷丁香五月综合激情小说| 久草性爱| 九九婷婷五月天| av在线婷婷| 91伦| 秋霞黄色一级久久| 开心色五月天久久久久久久| 丁香五月Av| 五月天伊人| 婷婷五月天在线观看| 白人荫道BBWBBB大荫道| 伊人综合色干| 天天婷婷操| 天天日天天干天天插天天射| 亚洲AV成人在线| 99噜噜噜在线播放| 九九99精品视频| 五月天婷婷一起草| 中文字幕综合| 丁香六月婷婷激情| 欧美色色色色色色| 婷婷五月伦理| 丁香色婷婷| 日逼影音先锋男人AV资源站| 五月丁香综合啪啪| 丁香五月Av| 天天日日夜夜| 影音先锋五月婷婷| 99这里只有免费的小视频在线观看| 五月激情婷婷播播网| 婷婷五月天日日日干干干| 五月人妻婷婷视频| 国产AV一区二区三区日韩| αV电影| 中文字幕永久免费| 综合网亚洲| 91色婷婷综合久久中文字幕二区| 色婷婷国产精品综合在线观看| www.xtbsty.cn.com蜜乳AV| 久久aaaa片一区二区| 婷婷色五月激情强奸四射| 亚洲综合五月天婷婷| 九九婷婷激情综合网| 99内射视频| 色色综合无码| 午夜丁香婷婷| 亚洲不卡| 乱码操操| 国产精品成人AV在线| 99热99网| 亚洲色视频| 岛国资源站| www狠狠| 亚洲欧美国产高清vA在线播放| 色色色色色色色色综合网| 婷婷五月丁香四射| 综合五月激情网| 26uuu在线观看| 五月天激情日色在线| 丁香五月宝贝激情网| 五月天成人综合| 搡BBBB搡BBB搡五十| 久久婷婷国产| 久久九色| 玖玖视频福利| 99综合| 九九青青草成人| 夜夜撸日日操| 超碰在线观看9| 亚洲激情婷婷| 亚洲mm免费| 久久综合激情五月天| 成人网站免费在线播放| 色五月婷婷中文字幕| 丁香五月婷婷香| 26uuu精品国产| se色综合网| 这里只有精品在线免费视频| 狠狠爱丁香婷| 开心五月天激情网| 色综合久久44| 性一交一乱一交A片久久四色| 婷婷五月丁香综合| 丁香五月综合| 婷婷五月伦理网站| 五月婷婷亚洲色图| 香蕉国产2013| 天天爽成人综合网站| 丁香五月色情| 色色免费网战视频| 日本97人人| 99视频精品8 | 九九九九九九九九九九九九九国产精品 | 1024国产| 六月婷婷激情| 五月婷婷丁香在线视频| 九九九九中文字幕| 色婷婷视频| 午夜天堂啪啪| 九月丁香久久网| 亚洲五月天婷婷综合| 教师性爱毛片| 色色热| 国产成人综合在线| 久久精品A片777777| 秋霞免费三级片| 五月丁香六月激情在线| 色婷五月| 9 9热这里有精品| 欧美25p| 五月天丁香久久| 久久看婷婷| 日韩无码成人电影| 婷婷中文字幕欧美| 久久99久久99久久99人受| 婷婷激情五月吧| 成人中文网| 激情五月色播五月| 色婷婷五月开心六月综合| 久久人人看| 青青草护士中出内射-欧美电影在线天堂新版| 国外亚洲成AV人片在线观看| 日本97人人| 六月丁香社区| 天天草人人摸| 婷婷综合在线播放| WWW.桔色成人.COM| 国产成人在线精品| 伊人婷婷五月天av| 激情五月天黄色小说| 99噜噜噜在线播放| 9久精品视频| 最新亚洲色色网| 婷婷丁香五月天影院 | 欧美成人va| 99操逼| 开心五月婷婷在线| 大香蕉啪啪啪| 91九色欧美| www99热| 丁香六月色婷婷| 五月天婷婷基地| 91人妻九色大屁股| 无码99| 激情五月婷婷中文字幕| 久久五月天色婷婷| 婷婷五月综合免费在线| 少妇熟女视频一区二区三区| 九九香蕉网| 五月丁香六月婷综合成人综合| 日本熟妇精品99| 色婷婷成人色网| 亚洲午夜av| 五月婷婷AV| 丁香五月综合色婷婷| 九九九九大香蕉| 日本V在线观看不卡视频网站| 九九色婷婷| 九九热只有精品| 国产婷婷五月中文字幕高清| 开心丁五月| 丁香五月黄色| 激情五月天情色| 国产毛片精品一区二区色欲黄A片| 9l视频自拍九色9l视频在线观看| 九九99久久| 天天爽人人综合免费7799| 成人片在线免费看| 九九热99精品| 婷婷五月综合啪| 亚洲va欧美va国产综合久久久| 久久在线人妻| 五月天性色| 开心久久xxx色| 美日韩成人| 91九色欧美| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 婷婷五月综合欧美在线播放| 国产精品久久久99视频| 99re熱| 中文字幕成人影视| 99久re热| 婷婷天堂站| 国产成人在线精品| 欧美色宗和激情| 国产视频福利| 性色人人爽| 狼人狠狠操| 激情av在线| 日本久久99久久| 婷婷五月激情综合| 五月丁香六月婷婷在线小说视频| 天天综合插插| 日本五月视频| 第2色五月婷| 思思热久在线观看视频| 久久99热 这里有精品| 亚洲人成网亚洲欧洲无码久久| 久久99综合| 激情五月丁香婷婷夜夜操| 六月99天天婷婷激情综合| 婷婷综合五月| 99视频久久免费视频| 亚洲婷婷丁香五月天激情小说| 在线五月色播| 久热A| 久久这里都是精品| 开心五月深爱五月| 亚洲精品久久久无码| 99热在线观看| 六月婷婷操逼| 九九色逼| 日韩在线五月天婷婷| 丁香五月六月综合欧美| 九九视频这里只有精品| 五月丁香婷婷伊人| 色九月婷婷丁香| 九九99精品视频在线观看| 只有精品在线观看| www五月天com| 我爱大香蕉| 夫妇交换刺激做爰| 综合激情在线| 天天操夜夜爽天天操| 五月婷婷天天色| 丁香六月婷婷综合在线| 操操碰| 久久九九爽| 中文字幕丰满乱孑伦无码专区| 另类婷婷丁香| WWW五月| 91蜜桃婷婷狠狠久久综合9色| 99精品无码| 亚洲精品无码99热| 亚洲天堂久久| 夜夜爱网站| 成人看片网站| 亚洲啪啪精品| 日日日,com| www婷婷亚洲| 99视频只有精品| 婷婷五月天成人网| 婷婷欧美综合| 五月叮香啪| 亚洲1区| www综合久久| 丁香六月av| 色香欲综合| 五月婷色| 五月婷婷与六月丁香图片激情| 啪啪激情网站| 婷婷五月影院| 久久久久久久丁香五月天婷婷| 夜夜夜夜操| 亚洲高清在线| 亚洲精品另类| 婷婷五月天第四色| 青草视频在线播放| 婷婷六月丁香在线| 久久丁香五月| av无码电影| 97色伦另类图片小说视频 | 欧美超碰亚洲| 婷婷五月视频| 六六久久黄色| 人人操Av| 91九色首页| 碰超99| 亚洲欧美丁香五月天亚洲欧美| 日比网免费国产| 五月丁香婷婷色色色| 久久视频婷婷视频| 四LLL少妇BBBB槡BBBB| 无码人妻激情| 影音先锋天天日| 综合久久十| 色色婷婷综合网| 狠狠色五月天| 91色在线 | 日韩| 久久99性爱| 久久五月天激情| 色色色999| 久久婷婷热| 9久9久| 99热精品在线免费观看| 亚洲爱婷婷| 五月天综合影院| 综合久久十三| 99色视频在线| 久操大香蕉| 99热这里只有精品首页| 在线观看五月婷婷网| 婷婷九月色| 色婷婷狠狠18禁| 影音先锋四区| 五月丁香久久网| 久久99久久久久久| 激情五月天社区| 人妻久久久久久久久妻久久久久久久久 | 高清不卡一区| 五月丁香六月婷| 成人va在线观看视频| 婷婷五月天开心网| 狠狠狠人妻| 99ER热精品视频| 激情综合网激情五月网| 色婷婷丁香AV综合| 日韩成人AV在线播放| 国产精典视频在线观看| 色色无码| 色五月第四色| 婷婷97碰碰| 婷婷操超碰| 婷婷久久网| 无码99| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 亚州色婷婷| 狠狠va| 婷婷五月丁香激情图片 | 色色色色色色色色综合网| 婷婷开心青青草| 67194中文在线| www.婷婷五月天| 久久久久妻| yazhoujiqingav| 狠狠色噜噜狠狠狠狠综合| 亚洲成人AV在线播放| 99激情| 狠狠干五月天| 久久久精品人妻录| 五月天婷婷久久日| 天色综合网| 99这里只有精品|v| 色婷婷五月天视频在线| 天天在线天天综合网色| 99男人天堂| 中文字幕按摩做爰| 亚洲免费99| 婷婷五月天首页| 婷婷九月亚洲| 91嫩草国产线观看亚洲一区二区| 操一区| 天天爽夜夜操| 一级A片天天操夜夜操| 91大屁股精品| 丁香色色五月| 熟妇人妻中文字幕无码老熟妇| 五月激情小说| 色色婷五月天| 快乐激情五月色婷婷| 热日韩欧美| 久久只有18视频| 99视频在线观看网址| 婷婷成人网五月天| 99黄色在线视频精品熟女| 五月婷婷视频| 中国丰满熟女A片免费观| 大香蕉久热| 五月婷婷深爱六月| 高潮毛片遮挡费高一百度| 色色网91| 五月婷婷婷色| www.婷婷激情网.com| 久操婷婷| 99热这里有精品| 天天操婷婷| 五月天开心网| 国产密乳av一区二区三区四区| 激情九九综合网| 欧美日本综合网| 射区导航| 99ri视频| 色色五月丁香婷婷| 五月丁香网站| 99在线播放| 色婷婷yy久| 极品人妻VIDEOSSS人妻| 成人丁香| 男女啪啪做爰高潮无遮挡| 91在线日| 亚洲综合成人网| 超碰99热精品| 婷婷综合97| 97碰成超视频免费视频| 9|在线观看视频| 香蕉视频性爱BB做爱| 亚洲无AV在线中文字幕| 在线看的免费网站| 色色999三级片| 精品久久久中文字幕大豆网推荐理由| 年轻的妺妺伦理HD中文| 久久99网| 97色干在线观看| 精品香蕉99久久久久网站| 婷婷丁香在线| 淫视馆av三区| 欧美婷婷九月| 日本久久视频| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 丁香97综合| 91啪啪网| 色爱99| 99热久久这里只有精品| 色播五月丁香综合| 九九激情| 久久久久久综合88| 八戒青柠影视剧在线观看| 中国丰满熟女A片免费观| 果冻传媒A片一二三区| 大香久久伊人网| 91视频一起草| 五月天色婷婷激情综合| 五月天婷婷五月| 五月天色丁香| 丁香五月播播| A片试看120分钟做受图片| 亚洲视频码| 操人视频91| 热久久91| 99热色精品| 五月婷婷色色色| 色五月天婷婷| 2015在线中文字幕| 六月五月丁香五月欧美| 日韩在线五月天婷婷| 色五月天电影| 久久久久久综合88| 国产精品涩涩涩视频网站| 内射 无码 伊人| 五月色丁香| 99爱免费在线观看| 婷婷久久色| 99色在线视频| 婷婷五月激情黄色| 激情综合网五月丁香| 影音先锋女人av鲁色资源网小说免费| 五月天四色房丁香亭亭| 操碰97| 亚洲精品九九| 桃色伊人在线| 99激情在线| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 91碰碰视频| 丁香六月婷婷综合麻豆| 大香蕉婷婷五月| 天天肏视奸| 在线中文av| 人妻肉射免费观看| 婷婷中文字幕| 国产三级片91| 狠狠干综合网| 亚州美女| 久久草人妻| 深爱激清网| 丁香五月天激情综合| 淫荡A片| 五月天堂婷婷| 九九99久久| 日韩超碰在线| Www.激情| 亚洲成AV人片在线观看| 五月丁香视频在线观看| 日日天天干| 97香蕉人人在线观看| WWW.桔色成人.COM| 日日影院 | 亚洲成人AV在线观看| 丁香六月久久| 91免费试看| 欧美丁香六月激情视频| 免费做A爰片77777| 中文网AV| 激情五月丁香婷婷| 婷婷成人AV| 色丁香五月婷婷在线| 另类少妇人与禽zOZZ0性伦| 激情六月丁香| 97碰| 乱码操操| 欧美视频五区| 丁香六月婷婷综合缴| av一区二区电影免费在线观看| 激情5月婷婷狠狠干| 激情综合五| 丁香五月综合高清在线| 九九九热精品| 成人AV网站在线| 亚洲激情无码久久| 激情六月天| www.天天干.com| 五月天另类小说| 97操碰视频| 啊V视频在线观看| 色伊人啪| 综合啪啪| 五月婷婷伦理| 中文字幕丰满孑伦无码专区| 久久奄也去色色网站| 在线看片h站| www.sezonghe| 亚洲av成人一区二区电影在线| 色婷婷婷婷五月天| 超级碰碰碰97免费| 亚洲中文字幕AV| 任你草| 丁香成人五月天| 婷婷精品| 一本到不卡高清DVD| 六月丁香婷婷五月| 婷婷娌伦网| 五月婷婷基地| 婷婷丁香久久五月综合| 日日做A爰片久久毛片A片英语 | 激情综合网 激情五月天| 黄色片avv| 五月婷婷六月基地| 国产av影片| 婷婷丁香色五月| 激情五月激情综合网一级丸片| 夜夜穞天天穞狠狠穞AV美女按摩| 五月天玖玖狠狠色色| BlACKEDRAW视频一区二区| www.婷婷六月天| 99re热99| 欧美顶级少妇做爰HD| 99精品免费欧美小视频| 色三级色三级| 国外亚洲成AV人片在线观看| 色色a| 色婷婷丁香网| 日韩99无码| 92久久| 欧美激情五月天在线观看| 五月天久久婷| 五月天大香蕉| 九九色99| 亚洲操人| 五月婷婷综合在线视频| 99久久综合网| 五月花综合视频| 久综合网| 五月婷婷丁香综合,亚洲天堂| 婷婷丁香六月| 久久66成人网站| 97在线/亚洲| 五月丁香六月激情| 九九色逼| 丁香五月婷婷综合网| 婷婷射综合| 亚洲精品视频在线播放| 五月天啪啪啪| 天天成人综合| 如何安全看伊人婷婷| 青青草99re| 玖玖在线视频| 色五月婷婷亚洲最大| 激情五月天婷婷久久久久久久久久久 | 五月天狠狠| 日韩狠狠色婷婷| 丁香激情网| 国产精品男人AV不卡| 五月婷六月| 狠狠干,狠狠操| 综合热无码| 婷婷激情五月吧| 久碰久操| 日韩欧美老妇性视频91久久久| 少妇水多A片太爽了| 天天弄天天操| 日日色综合| 超碰高清在线| 久久九精品| 色综合久久88色综合天天| 激情纯色婷婷五月天在线不卡视频| 色色五月天网站| 亚洲天堂制| 欧美A片在线视频免费观看| 大香蕉久| 亚洲中文字幕在线观看| 欧洲亚洲精品| 饮料下药迷倒漂亮女同事强干| 久久婷婷视频| 色五月亚洲| 激情VA视频| 婷婷色五月天在线| 婷婷亚洲欧美丁香五月| 五月婷婷六月丁香激情| 五月开心深爱激情网| 天天综合色综合| 三级大香蕉网| 五月涩涩网| 激情九九这里只有精品| 99热精品一| 五月激情另类| 久噜久噜| 久久久精品人妻录| 五月丁香六月欧美综合网站| 婷婷爱五月天人人爱| 丰满人妻一区三区三区| 字幕网AV中文字幕| 黑人无码一区| 色综合香蕉| 婷婷五月天最新综合你懂的 | 青青草tp| 婷婷五月综合网| 九九这里是免费的视频5| 婷婷无码视频| 色五月美女| 99久视频| 婷婷丁香五月天色播网站| 91爱操| 欧美成人精品一区二区| 91av视频在线观看最新网址| 激情综合网色播五月| 亚洲AV日韩AV永久无码网站| 婷婷五月天男人影院色色网| 丁香五月婷婷啪| 91一起操| 色九四色| 亚洲欧洲一二| 丁香五月天婷婷大香蕉| 婷婷色啪| www.粉嫩av.com| 天天干天天干天天干天天干天天干天天| 日本在线免费中文com.| 婷婷色av| 久久婷婷国产| 久草热久草在线视频| 黄色视频网站在线播放| 精品99在线| 伦乱美欧| 97超碰婷婷五月天| 丁香五月婷婷在线| 激情四射五月天| 激情综合五月婷婷六月丁香| 日本三级中国三级99人妇网站| 婷婷五月丁香五月| 亚洲乱码日产精品BD| 五月丁香久人妻中文| WWW久久99久久99久久| 天天操天天插天天射| 激情五月天网站| 天天拍天天做视频| 99色视| 亚洲电影中文字幕| 操逼棍操逼| 九九99精品视频在线观看| 97操碰日本女人| 婷婷色五月激情强奸四射| 激情五月婷婷| 另类视频丁香五月| 婷婷色香六月综合激情| 高清不卡一区| 99热综合网| 国产女18毛片多18精品| 5月婷婷视频网站综合| 免费播放99性爱视频| 五月婷婷 激情五月| 久操操| 婷婷五月天精品| 久久九九热re6这里有精品| 婷婷五月激情四月综合 | 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 五月丁香六月婷| 欧美精品中文字幕亚洲专区| 五月天激情影院| 狠狠草在线观看| 一级黄色影片| 在线中文字幕视频| 噜噜久| 激情涩播| 久久996re热这里只有精品无码| 色婷婷888| 在线91日韩| 天天摸夜夜爽天天做| 欧洲色| 五月天婷婷免费| 久久人妻人人| 色综合五月| 99精品这里只有免费视频 | 久婷久婷| 免费观看大片视频 丁香婷婷 六月欧美| 97碰碰碰免费公开在线视频| 99网址在线看| 激情综合激情综合| 性色九九| 五月花亭亭| 国产伦亲子伦亲子视频观看| 欧美va亚洲va| 色色色色色色色色综合网| 国产伊人大香蕉| 俺也去在线视频| 婷婷97色| 狠狠色噜噜狠狠| 欧美亚洲色色色色| 中文不卡一二区| 精品夜夜澡人妻无码AV| 婷婷九月色| 泰州成人视频| 久热这里只有精品6官网亚洲| 色色五月婷| 97资源碰碰| 成人看片网站| 伊人婷婷五月天| 强伦轩人妻一区二区电影| 激情黄色小说色五月| 五月天伊人综合| 久操热线| 六月婷婷五月天| sS丁香五月婷婷| 久久五月综合| 天天透天天摸天天舔| 男人的天堂婷婷色五月| 亚洲99视频| 久久久精品婷婷五月天| 综合图区激情| 婷婷国产欧美97| 激情综合网激情五月天| 五月色在线| 五月婷婷性爱| 婷婷色欧美激情| 午夜av网| 精品人妻伦一二三区久久| 色三级色三级| 色婷婷六月| 婷婷操逼| 国外亚洲成AV人片在线观看| 69婷婷丁香午夜| 玖玖综合色区在线观看| 丁香五月综合激情性爱| 99热欧美在线观看| 免费无码毛片一区二区A片| 婷婷五月色网| 激情综合国产| 成人午夜无码视频| 色综合久久88色综合天天| 碰人人操| 91久热| 天天日天天做天天操| www.综合久久.com| 九九热视频在线观看| 五月香蕉综合| 丁香六月综合激| 超碰chaompinm| 五月婷婷中文网| 亚洲色婷婷久久99精品91| 婷婷激情图片| 色婷婷色人人射| 婷婷五月天久久久| 超碰国产在线播放| 亚洲成人在线免费| 艹| 丁香花五月天社区| 欧美精品999| 婷婷五月色亚洲| 婷婷激情四射| 六月婷婷综合网2| 99re思思热久久| 天天爽日日爽夜夜爽| 大香蕉久久伊人婷婷五月丁香| 免费无码毛片一区二区A片| 亚洲激情另类| 五月丁香六月婷婷啪啪综合| 午夜福利成人AV91| 一本大道嫩草AV无码专区| 九九色色| 深爱激情网五月天| 天天五月香欧美| 亚洲熟女乱色综合亚洲网站| 欧美大肥婆大肥BBBBB| 丁香五月区| av在线色五月丁香婷区久| www一起操在线观看| 亚洲AV在线免费看| 色99网| 五月激情在线| 婷婷成人小说综合| 色婷婷色五月另类综合| 伊人五月婷婷国产视频| 久婷婷视平| 天天干天天干天天| 婷婷情色五月天| 深爱1激情网| 九九精品片一| 超碰人人操在线| 久热爱大香蕉在线蜜臀悦色 | 思思精品视频| 久久婷婷五月综合激情国产| 91丨九色丨东北熟女| 久久香蕉婷婷| 999九九九久久久99HD| 99国产精品白浆在线观看免费| 国产成人网站在线观看| 婷婷九月丁香| 欧美人妻一区二区| 五月天五月色| 玖久精品视频9| 五月丁香怕啪啪| 天天艹天天综合网| 99ri国产在线| 91人人爽狠狠狠| 玖玖99精品视频| 久人操| 91趴趴| 国产在线视频1234| 日韩啪啪自拍| 五月丁香六月婷婷激情四射| 五月伊人91| 丁香六月丁香婷婷激情| 丰满少妇猛烈A片免费看观看| 日韩欧美一级大黄网站| 婷婷狠狠18禁久久| 成人一级片| 殴美综合激情五月天免费视频| 激情五月婷婷五月| 激情文学五月丁香六月婷婷| 五月丁香六月婷婷的女人| 六月婷婷国产| 五月婷婷综合激情| 五月婷婷视频ab| 97色五月天| 六月丁香婷婷在线波多| 丁香婷婷免费| 亚洲综合在线丁香五月| 五月伊人视频在线看| 五月婷婷狠狠干| 国产精品视频久久99| 婷婷六月丁香欧美视频在线| 免费观看的婷婷五月视频在线| 天天干天天日天天操| 99久久五月婷婷| 九九五月天| 丁香五月天之婷婷影院| 做爰丰满少妇1313| 五月停视频天堂| 天天操五月天| 日本美女上人| 国产Va视频| 深爱丁香激情| 日日干夜夜干| 久热9| 久久在线视频免费观看| 专区无日本视频高清8| 久久九九99视频| 国产黄大片在线观看画质优化| 五月婷婷综合在线视频| 国产视频福利| 国产伦理精品高清在线观看网站一区二区 | 97操男人的天堂| 人妻激情视频| 伦乱美欧| 久狠日av| 97人人操人人干| 国外亚洲成AV人片在线观看| 激情久久月| 五月丁香婷婷综合网| 欧美成人网婷婷综合在线| 婷婷综合精品视频97| 日本三级黄色大片| 全部老头和老太XXXXX| 91九色无码内射| 五月天啪啪视频| 色婷婷激情五月天在线观看| 婷婷五月天AV| 女人高潮内射99精品| 97超级碰碰碰久久久| 五月丁香亚洲校园欧美| 成人色色视频| 激情五月综合亚洲另类| 五月天小说激情| 五月婷婷开心亚洲无| 人人做天天爱| 99碰碰| 新激情五月天| 天天色综合天天| 九九视频在线| 国产FREESEXVIDEOS性中国| 七七色色综合| 五月丁香亚洲五月| 色99视频| 香蕉久久五月| 人人色性网| 思思热在线| 在线超碰免费| www.激情.com.| 五月天婷婷乱论小说| 九九伊人网| 久久99婷婷| 色婷婷丁香五月综合| 欧美韩国日本| 99久久新视频| 五月丁香六月香综合激情| 婷婷色网| 在线观看av网站| 五月亚洲| 成人国产欧美大片一区| 欧美成人Va| 激情亭亭五月| 99在线爽| 99视频精品8 | 五月丁香狠狠爱婷婷综合| 亚洲久久视频| 九九精品综合| WWW·色色色·COM| 丁香五月亚洲婷婷| 曰韩少妇内射免费播放| 亚洲啪啪啪啪| 玖玖爱综合网| 五月停停999| 婷婷五月花西瓜| 国产精品电| 99久久99热| 99热| 天天情天天狠天天透| 综合伊人久久| 青青草原爱爱网| 九一99| 日韩不卡123| 色五月婷婷啪啪五月| 少妇伦子伦精品无吗| 色婷婷五月影视| 婷婷五月天影院| 97操碰碰无码视频| 日本狠狠干| 99亚洲精品视频| 婷婷六月综合激情| 二级黄色毛片| 五月天六月色| 99热插| 激情综合另类| 亚洲综合色婷婷文学| 五月婷婷我| 天天干人人奸97| 国产精品久久7777777精品无码| 国产精品日本一区二区在线播放| 另类丁香五月天区图| 久久久天堂国产精品女人| 久久久久久草黄色片AV在线观看| 九九AV| 九月婷婷综合八月丁香在线观看| 8090在线影视少妇| 丁香五月视频在线观看| 9精品久久999| 五月天激情无码高清 | 久婷婷婷| 九九热这里只有精品6| 天天舔天天摸天天射| 婷婷六月色| 五月天激情.com| 五月婷婷欧洲| 欧美性爱一区| 99热这里都是精品| 天天干天天爽| 九九热这里只有精品31| 91伦| 久操大香蕉| 亚洲色碰| 四川女人毛多水多A片| 天天爽综合网| 操逼巨乳91| 天天综合色| 五月天无码视屏播放| www.cao.com久久| 九九99九九99九九99视频网| 日本熟妇精品99| 天天色情站| 亚洲激情97五月天| 51成人| 2020日日干| 丁香六月婷婷色XXXXX| 日本成人噜噜噜噜噜| 亚洲正能量欧美| 91精品无码| 99在线观看视频免费| 91大操| 色爱综合网| 国产精品噜噜在线视频| 欧美激情久| 久久久五月天| 五月综合色播播丁香婷婷| 婷婷五月色影视先锋| 国产FREESEXVIDEOS性中国| 激情五月色婷婷| 天天色月| 丁香花五月天社区| 色婷五月| 这里精品| 六月丁香成人| 黄色aa观看aaguochan| 99视频精品在线| 婷婷丁香五月亚洲综合网在线视频观看 | 91久久1118| 色婷婷狠狠18yy| 激情五月天网站| 亚洲免费在线观看岛国| 色综合99| 丁香五月天在线观看| 五月丁香激情五月天| 色五月婷婷综合在线| 夜夜爽77777妓女免费下载| 激情五月婷黄版| 综合激情五月丁香| 啊v视频在线观看| 91大神在线免费看视频全集男男一起操| 丁香婷婷基地| 激情五月天综合| 艹| 丁香五月情色| 热婷婷在线视频| 国产又爽又猛又粗的视频A片| 在线观看的av| 亚洲最大五月六月丁香婷婷| 久久一热免费视频| 久久99jiu9| 激情五月婷婷综合网| 婷婷五月天激情小说| 97人妻碰碰碰久久香蕉| 综合五月激情网| 久久奄也去色色网站| 草一草avb| 精品久热69| 成人 九九九九| 青草青草视频2免费观看| 日本五月婷| 97碰久久| 欧美99视频| 日日干天天| 少妇激情五月天| 第二色AⅤ| 欧美色婷婷| 五月天堂色| 色婷久| 久久久久久久久久久月丁| av一区免费看| 91精品国产综合久久久不卡电影| 最近中文字幕大全免费版在线| 可以看的av| 丁香五月另类色婷婷麻豆| 五月天婷婷成人网| 亚洲激情综合免费| www.亭亭五月天| 欧美日韩aaaa| 俺去也在线官网| 婷婷成人小说综合| 亚洲综合婷婷六月丁香五月| 激情五月丁香色婷婷| 伊人久久婷婷五月天激情四射| 深爱激情四射| 开心深爱五月天| 欧美日韓成人亚洲精品另类| 五月色情婷婷开心五月色情| 天天射影| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 99热在线观看| 99爽视频| 欧美丁香五月| 色婷婷大香蕉| 可以看的av| 天天干天天插| 99精品偷自拍| 国产67194| 五月色综合| 国产精品久久久久久喷浆| 婷婷色婷婷| 丁香深五月婷婷| 99er热精品视频| 综合亚洲AV| 美女网黄| 日韩人妻无码一区二区| 九九热再线九九视频免费在线观看 | 99色综合网| 可以免费观看的av网址| www.夜夜夜| 一级操逼内射在线视频| 婷婷久久草| 色玖玖综合网| 五月天色色色| 男女啪啪做爰高潮无遮挡| 99久久偷拍视频| 9久久久久久久久久久| 色九网| 午夜精品777| 亚洲激情97五月天| 97人妻碰碰碰久久香蕉| 九九色精品| 国产五月视频| enecarbon-materials.com污K127封锁请涟系@wip1688 | 蜜桃五月天| 天天综合天综合久久网| 久re热视频| 五月天国产成人| 人人人va亚洲视频在线| 婷婷五月综合网| 日韩一级片| 日韩欧美性爱| 99热最新精品| 91dy.av| 五月婷婷在线免费观看 | 五月婷婷在线短视频| 五月丁香婷婷婷婷综合网| 亚洲天堂色色| 五月香婷婷| 日本nghangse中文字幕| 久久黄A片| 99视频只有这里精品| 久久免费操| 亚洲网综合在线| 99热综合网| 婷婷激情五月天亚洲综合| 五月综合丁香婷婷| 色爆五月| 在线观看996精品| 亚洲婷婷丁香五月视频| 另类激情五月| 最近免费中文字幕大全高清大全1 色狠狠色噜噜AV天堂五区 | 非洲一级AV| 色性日本| 亚洲中文字幕av| 亚洲图色五月天| 五月视频日本免费观看| 色哟哟www| 日韩成人中文| 五月婷婷另类| 五月婷婷丁香五月 | 激情玖玖综合网| www.天天干.com| 丁香六月情| 亚洲成av人影院| 欧美va视频| 久久婷婷色五月| 色播五月丁香| 97色婷婷成人综合在线观看| 日日夜夜天天综合| 久热婷婷| 婷婷永久在线| 六月激情综合| 爱99干99| 精品婷婷五| 久久网日本| 日本偷拍九九九| WWW、日本色丁香、co m| 日本色色色| 日韩无码性爱| 婷婷五月激情在线| 国产欧美日韩综合精品一区二区| 五月婷婷偷拍| 久久这里只有精品8| 久久您您综合网| 内射综合网| 亚洲婷婷五月天| 日本A片一区| 丁香五月第四色88| 丁香六月婷婷久久综合| 五月婷婷六月天| 色欲婷婷五月天丁香| 激情综合网激情五月丁香五月俺也去| 99久热这里有精品| 天天色视频| 99视频在线播放大全| 五月色亚洲| 五月丁香亭亭AV女优| 99色在线观看免费| 五月天色丁香| 性色欲情 网站| 婷婷五月色天| 91人人网| 99久久综合网| 99啪啪视频| 丁香五月婷婷激情尤物| 97人人爱人人操| 婷婷丁香亚洲色综合91| 97色热| 久久久久亚洲AV无码网影音先锋| 91精品婷婷国产综合| 色丁香婷婷|