欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

基于DQN的交通信號(hào)燈相位時(shí)間優(yōu)化:從SUMO仿真到實(shí)戰(zhàn)調(diào)參

基于DQN的交通信號(hào)燈相位時(shí)間優(yōu)化:從SUMO仿真到實(shí)戰(zhàn)調(diào)參 簡介面向畢業(yè)設(shè)計(jì)與課程設(shè)計(jì)場景資源提供了一套基于開源SUMO交通仿真平臺(tái)和深度強(qiáng)化學(xué)習(xí)DQN算法的信號(hào)燈相位時(shí)間優(yōu)化項(xiàng)目。整套代碼采用Python編寫覆蓋路網(wǎng)構(gòu)建、仿真交互、模型訓(xùn)練與結(jié)果分析等關(guān)鍵環(huán)節(jié)適合對智能交通和強(qiáng)化學(xué)習(xí)感興趣的開發(fā)者快速上手。項(xiàng)目共32個(gè)文件包含路網(wǎng)配置、地圖數(shù)據(jù)、算法腳本、實(shí)驗(yàn)結(jié)果表格及說明文檔其中XML和OSM文件用于構(gòu)建仿真環(huán)境PY文件為核心控制邏輯壓縮包僅533KB部署輕量。目前已有545人學(xué)習(xí)使用。通過閱讀源碼可以理解狀態(tài)特征選取、動(dòng)作輸出方式和獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)并掌握將DQN應(yīng)用于交通信號(hào)控制的完整流程理解從路網(wǎng)搭建、仿真交互到模型訓(xùn)練與收斂評(píng)估的整個(gè)鏈路便于在此基礎(chǔ)上擴(kuò)展優(yōu)先級(jí)決策或遷移至其他路網(wǎng)場景。 大概半年前我準(zhǔn)備一個(gè)交通仿真的課程項(xiàng)目時(shí)盯著SUMO仿真界面里的紅綠燈發(fā)呆東西方向已經(jīng)堵成一片南北方向卻一輛車都沒有可信號(hào)燈依然按著固定配時(shí)在傻傻地放行。那一刻我意識(shí)到交通信號(hào)燈控制遠(yuǎn)比看起來復(fù)雜它本質(zhì)上是一個(gè)動(dòng)態(tài)環(huán)境下的序列決策問題而這類問題恰好是強(qiáng)化學(xué)習(xí)的看家本領(lǐng)。于是我基于Python SUMO仿真平臺(tái)用DQN做了一套能根據(jù)實(shí)時(shí)車流調(diào)整交通信號(hào)燈相位時(shí)間的方案整套源碼也整理成了一個(gè)開源項(xiàng)目。這篇文章就把這套方案從環(huán)境搭建、算法設(shè)計(jì)到訓(xùn)練調(diào)參的完整過程拆給你看適合正在做畢設(shè)、參加競賽或者想入門強(qiáng)化學(xué)習(xí)在交通領(lǐng)域應(yīng)用的同學(xué)參考。1. 信號(hào)燈控制的痛點(diǎn)為什么固定配時(shí)總是差一口氣1.1 交通流本身就是非平穩(wěn)的傳統(tǒng)路口信號(hào)機(jī)用的都是固定配時(shí)方案也就是預(yù)先算好每個(gè)相位的紅綠燈時(shí)長然后按周期循環(huán)執(zhí)行。這種方式在車流比較穩(wěn)定的時(shí)候勉強(qiáng)夠用但一旦遇到早晚高峰、學(xué)校放假、突發(fā)事故、旁邊路口修路車流特征就會(huì)完全變化。固定配時(shí)沒有任何感知能力只能按部就班地放行結(jié)果就是綠燈方向沒車紅燈方向排隊(duì)幾百米整個(gè)路口通行效率大幅下降。很多同學(xué)可能會(huì)覺得那我用多時(shí)段配時(shí)方案不就行了高峰一套、平峰一套。這確實(shí)比固定配時(shí)強(qiáng)但本質(zhì)上還是開環(huán)控制交通流一旦出現(xiàn)計(jì)劃之外的波動(dòng)多時(shí)段方案照樣失靈。交通仿真里我們經(jīng)常說一句話交通流本身是非平穩(wěn)的每分鐘的車流量都在變所以真正有效的策略必須是閉環(huán)的、能根據(jù)實(shí)時(shí)狀態(tài)做出反應(yīng)的。1.2 DQN在信號(hào)燈場景里到底做什么用DQN解決信號(hào)燈問題其實(shí)是把信號(hào)燈控制器當(dāng)成一個(gè)智能體讓它通過與環(huán)境不斷試錯(cuò)來學(xué)習(xí)一套控制策略。每個(gè)決策時(shí)刻智能體觀察當(dāng)前路口的狀態(tài)比如各個(gè)方向的車隊(duì)有多長、車輛等了多久然后決定當(dāng)前綠燈相位應(yīng)該繼續(xù)延長還是切換到下一個(gè)相位。切換之后環(huán)境發(fā)生改變智能體會(huì)得到一個(gè)獎(jiǎng)勵(lì)信號(hào)比如等待車輛減少了多少。經(jīng)過成千上萬次試探DQN會(huì)逐漸學(xué)會(huì)什么情況下該延長、什么情況下該切換。用一個(gè)生活化類比固定配時(shí)相當(dāng)于一臺(tái)自動(dòng)售貨機(jī)投幣后永遠(yuǎn)出同一瓶飲料DQN相當(dāng)于一個(gè)有經(jīng)驗(yàn)的老交警他會(huì)看一眼各個(gè)方向的車流再?zèng)Q定先放誰、放多久而且隨著經(jīng)驗(yàn)積累判斷越來越準(zhǔn)。1.3 這個(gè)項(xiàng)目適合誰、能學(xué)到什么如果你正在做智慧交通方向的畢設(shè)或競賽項(xiàng)目這個(gè)題目幾乎是標(biāo)配如果你想入門強(qiáng)化學(xué)習(xí)但不想跑那種玩具環(huán)境交通信號(hào)燈也是一個(gè)很合適的實(shí)戰(zhàn)場景。跑通這個(gè)項(xiàng)目你至少能收獲四樣?xùn)|西SUMO這個(gè)專業(yè)交通仿真器的基本使用包括路網(wǎng)生成、車流配置、TraCI接口調(diào)用強(qiáng)化學(xué)習(xí)三要素——狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)函數(shù)——如何映射到真實(shí)工程問題里DQN的完整訓(xùn)練鏈路包括經(jīng)驗(yàn)回放、目標(biāo)網(wǎng)絡(luò)、epsilon-greedy探索一套可以擴(kuò)展的多路口信號(hào)燈控制源碼框架后續(xù)換算法比如DQN換PPO只需要改agent部分。2. SUMO環(huán)境搭建與TraCI通信先說環(huán)境再談算法2.1 SUMO安裝與環(huán)境變量配置SUMO全稱Simulation of Urban MObility是一款開源的微觀交通仿真平臺(tái)。所謂微觀就是每輛車都有獨(dú)立的加速度、最大速度、換道行為能夠比較真實(shí)地模擬交通流。安裝方式取決于操作系統(tǒng)。Windows用戶可以直接去官網(wǎng)下載安裝包也可以用包管理器安裝Ubuntu等Linux系統(tǒng)推薦命令安裝macOS用brew也能裝。安裝完成后需要確認(rèn)SUMO_HOME環(huán)境變量指向安裝目錄并且把sumo和netconvert這些可執(zhí)行文件所在目錄加入PATH否則后續(xù)Python調(diào)用會(huì)找不到命令。驗(yàn)證安裝可以打開終端執(zhí)行一句命令sumo --version如果能看到版本號(hào)說明安裝成功。要注意的是SUMO更新迭代很快不同大版本的TraCI接口函數(shù)會(huì)有差異我這邊用的是1.15.0版本如果你用的版本比較新個(gè)別接口名可能需要微調(diào)。2.2 搭建一個(gè)十字路口仿真場景訓(xùn)練信號(hào)燈控制先得有一個(gè)能反復(fù)實(shí)驗(yàn)的路口場景。最經(jīng)典的就是單十字路口兩個(gè)方向交叉每條進(jìn)口道雙向各兩車道中間路口設(shè)置信號(hào)燈。SUMO里搭建場景有兩種方式一是用自帶的netedit圖形化編輯器畫二是用XML文件定義節(jié)點(diǎn)和邊然后通過netconvert命令生成路網(wǎng)。圖形化適合微調(diào)命令行適合自動(dòng)化生成我項(xiàng)目中用的是后者的思路。路網(wǎng)的基本結(jié)構(gòu)是nodes.xml里定義節(jié)點(diǎn)坐標(biāo)edges.xml里定義連接的邊。一個(gè)簡單十字路口可以這樣描述nodes node idN x0 y300/ node idS x0 y0/ node idE x300 y150/ node idW x0 y150/ /nodes定義好節(jié)點(diǎn)后用netconvert生成路網(wǎng)時(shí)給中間節(jié)點(diǎn)加一個(gè)typetraffic_light屬性系統(tǒng)就會(huì)自動(dòng)為該路口分配一套兩相位信號(hào)燈方案。車流文件rou.xml則定義了車輛什么時(shí)候出現(xiàn)、從哪個(gè)進(jìn)口道到哪個(gè)出口道可以通過flow標(biāo)簽靈活設(shè)置每小時(shí)車流量。最后用sumo.sumocfg把這些文件匯總起來。訓(xùn)練時(shí)只需要在Python里用一行命令啟動(dòng)仿真import traci traci.start([sumo, -c, config.sumocfg])訓(xùn)練階段我強(qiáng)烈建議不用sumo-gui因?yàn)閳D形界面會(huì)拖慢仿真速度。要看可視化效果時(shí)再換回sumo-gui即可。2.3 TraCI接口讓Python成為交通指揮官TraCITraffic Control Interface是SUMO提供的通信接口基于TCP協(xié)議。Python通過import traci連接上仿真進(jìn)程后就能實(shí)時(shí)讀取路網(wǎng)狀態(tài)、控制車輛和信號(hào)燈相當(dāng)于給仿真環(huán)境開了一個(gè)后門。日常用得最多的TraCI方法大概是這幾個(gè)功能方法說明獲取當(dāng)前仿真時(shí)間traci.simulation.getTime()單位秒獲取車道排隊(duì)車輛數(shù)traci.lane.getLastStepVehicleNumber(laneID)通過具體車道ID查詢獲取路段等待時(shí)間traci.edge.getWaitingTime(edgeID)返回所有車輛等待總秒數(shù)獲取當(dāng)前信號(hào)燈相位traci.trafficlight.getPhase(tlsID)返回相位序號(hào)設(shè)置當(dāng)前相位剩余時(shí)間traci.trafficlight.setPhaseDuration(tlsID, dur)控制綠燈延長/縮短切換相位序號(hào)traci.trafficlight.setPhase(tlsID, idx)直接跳轉(zhuǎn)到指定相位項(xiàng)目里為了統(tǒng)一獲取當(dāng)前路口的綜合狀態(tài)我會(huì)封裝一個(gè)StateExtractor類把所有TraCI查詢集中在一起這樣訓(xùn)練主程序看起來更干凈后面加特征也好維護(hù)。3. DQN建模三件套狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)邏輯3.1 狀態(tài)空間給智能體一雙能看路況的眼睛狀態(tài)空間的設(shè)計(jì)直接決定智能體能不能學(xué)會(huì)策略。如果只給一個(gè)當(dāng)前時(shí)間DQN什么都學(xué)不會(huì)如果給全路網(wǎng)幾百輛車的坐標(biāo)輸入維度太大訓(xùn)練難度又會(huì)爆炸。需要找到一組既能描述路況、又足夠精簡的特征。我最終使用的狀態(tài)向量由一個(gè)路口的關(guān)鍵信息拼裝而成四個(gè)進(jìn)口道方向的排隊(duì)車輛數(shù)單位輛四個(gè)方向的平均等待時(shí)間單位秒當(dāng)前相位編號(hào)和當(dāng)前相位已經(jīng)持續(xù)的秒數(shù)路口總等待時(shí)間單位秒。之所以要把當(dāng)前相位編號(hào)和相位已持續(xù)時(shí)長放進(jìn)去是因?yàn)镈QN的動(dòng)作決策跟當(dāng)前信號(hào)燈在哪個(gè)狀態(tài)密切相關(guān)。同時(shí)排隊(duì)長度和等待時(shí)間這兩類特征一個(gè)體現(xiàn)空間擁堵一個(gè)體現(xiàn)時(shí)間延誤組合起來能幫助智能體平衡放行效率和公平性。有一點(diǎn)必須提醒喂給網(wǎng)絡(luò)的輸入一定要做歸一化。排隊(duì)長度可能到幾十輛等待時(shí)間可能到幾百秒這些數(shù)值直接放在一起會(huì)讓神經(jīng)網(wǎng)絡(luò)初期的梯度被大數(shù)值維度主導(dǎo)導(dǎo)致訓(xùn)練很不穩(wěn)定。我的做法比較簡單排隊(duì)車輛數(shù)除以路口最大車道容量等待時(shí)間除以一個(gè)經(jīng)驗(yàn)上限比如180秒把大部分特征壓到0到1范圍內(nèi)。3.2 動(dòng)作空間把相位時(shí)間調(diào)整變成DQN的輸出標(biāo)題里的相位時(shí)間調(diào)整在代碼上其實(shí)可以抽象成兩類動(dòng)作設(shè)計(jì)方式。第一種是把綠燈時(shí)間離散成幾個(gè)固定檔位比如動(dòng)作0表示延長5秒動(dòng)作1表示延長10秒動(dòng)作2表示延長15秒動(dòng)作3表示立即切換相位。這種方式動(dòng)作空間更細(xì)但會(huì)讓訓(xùn)練收斂變慢因?yàn)閹讉€(gè)延長時(shí)間選項(xiàng)產(chǎn)生的狀態(tài)差異很小Q值難分高下。第二種是把動(dòng)作簡化為二分類繼續(xù)延長當(dāng)前綠燈相位或者結(jié)束當(dāng)前相位、進(jìn)入下一相位。我最終選擇的是這個(gè)方案。原因很簡單單路口信號(hào)燈控制的本質(zhì)決策就是切換還是不切換至于延長多久可以通過決策頻率來間接控制。我的決策間隔設(shè)為10秒也就是說每10秒智能體評(píng)估一次如果選擇保持綠燈自動(dòng)加10秒如果選擇切換信號(hào)燈就會(huì)在下一個(gè)仿真步進(jìn)入黃燈過渡再進(jìn)入下一相位。這個(gè)設(shè)計(jì)還有一個(gè)好處它完全符合真實(shí)信號(hào)機(jī)的工作邏輯?,F(xiàn)實(shí)中信號(hào)燈并不可能每秒鐘都在調(diào)整決策頻率過低或過高都不合理。決策間隔太短會(huì)導(dǎo)致頻繁切換形成綠燈剛亮就滅的抖動(dòng)現(xiàn)象間隔太長又會(huì)讓智能體反應(yīng)遲鈍。10秒是我在試驗(yàn)中覺得平衡性最好的值。3.3 獎(jiǎng)勵(lì)函數(shù)排隊(duì)長度變化量怎么量化獎(jiǎng)勵(lì)函數(shù)是強(qiáng)化學(xué)習(xí)最容易被忽略、但也最決定成敗的部分。信號(hào)燈控制最常見的優(yōu)化目標(biāo)是減小車輛平均等待時(shí)間、減少排隊(duì)、提高通行量但這些目標(biāo)直接作為獎(jiǎng)勵(lì)并不好優(yōu)化因?yàn)樗鼈兌际情L期累積量反饋稀疏且延遲嚴(yán)重。我采用的獎(jiǎng)勵(lì)公式是R - (L_t - L_{t-1})其中L_t是當(dāng)前時(shí)刻路口所有進(jìn)口道的排隊(duì)車輛總數(shù)L_{t-1}是上一決策時(shí)刻的排隊(duì)車輛總數(shù)。這個(gè)公式的含義非常直觀如果這次決策讓排隊(duì)車輛減少了獎(jiǎng)勵(lì)為正讓排隊(duì)增加了獎(jiǎng)勵(lì)為負(fù)。智能體最大化累積獎(jiǎng)勵(lì)本質(zhì)上就是在最小化整個(gè)仿真時(shí)段內(nèi)的排隊(duì)增量。為什么不用平均等待時(shí)間作為直接獎(jiǎng)勵(lì)因?yàn)榈却龝r(shí)間的變化到?jīng)Q策之間有時(shí)序滯后而且受偶發(fā)車流波動(dòng)影響大方差很高。排隊(duì)長度變化量則是一個(gè)相對平滑、立竿見影的指標(biāo)SRStability也更好。如果你想進(jìn)一步優(yōu)化可以在獎(jiǎng)勵(lì)里加一個(gè)切換懲罰項(xiàng)比如每次切換相位時(shí)額外減一個(gè)固定值防止智能體頻繁抖動(dòng)。我試驗(yàn)后發(fā)現(xiàn)加了切換懲罰反而會(huì)導(dǎo)致智能體過于保守該切換時(shí)不切換所以最終版本里沒加。3.4 三件套的整體聯(lián)動(dòng)狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)這三者不是孤立的它們共同定義了馬爾可夫決策過程。具體到運(yùn)行流程每個(gè)決策時(shí)刻智能體根據(jù)狀態(tài)選擇動(dòng)作動(dòng)作改變信號(hào)燈相位時(shí)間相位時(shí)間影響車流運(yùn)行車流運(yùn)行產(chǎn)生新的狀態(tài)和獎(jiǎng)勵(lì)然后進(jìn)入下一個(gè)決策循環(huán)。只有三者都合理DQN才能真正學(xué)到東西。我見過不少同學(xué)跑不出效果第一反應(yīng)是改網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)率其實(shí)問題往往出在狀態(tài)特征不夠或獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)不當(dāng)上。4. 訓(xùn)練流程與源碼拆解從經(jīng)驗(yàn)回放到目標(biāo)網(wǎng)絡(luò)4.1 網(wǎng)絡(luò)結(jié)構(gòu)與超參數(shù)設(shè)置DQN的核心是用深度神經(jīng)網(wǎng)絡(luò)來逼近Q函數(shù)也就是在當(dāng)前狀態(tài)下每個(gè)動(dòng)作能帶來的未來累計(jì)獎(jiǎng)勵(lì)期望。我的網(wǎng)絡(luò)結(jié)構(gòu)非常簡單三層全連接import torch.nn as nn import torch.nn.functional as F class DQN(nn.Module): def __init__(self, state_dim, action_dim): super().__init__() self.fc1 nn.Linear(state_dim, 128) self.fc2 nn.Linear(128, 128) self.fc3 nn.Linear(128, action_dim) def forward(self, x): x F.relu(self.fc1(x)) x F.relu(self.fc2(x)) return self.fc3(x)信號(hào)燈控制的狀態(tài)維度本就不高一兩百維以內(nèi)沒必要上CNN、Transformer這類復(fù)雜的結(jié)構(gòu)。全連接網(wǎng)絡(luò)加兩到三層隱藏層就完全夠用隱藏層寬度設(shè)為128或256即可參數(shù)太多反而容易過擬合。經(jīng)驗(yàn)里比較關(guān)鍵的超參數(shù)我整理成了表格方便直接抄作業(yè)參數(shù)推薦值說明學(xué)習(xí)率1e-4調(diào)大容易出現(xiàn)Q值發(fā)散折扣因子gamma0.95兼顧短期排隊(duì)和長期效果經(jīng)驗(yàn)池容量20000太大舊樣本占比過高batch size64常用值32偏慢128偏抖目標(biāo)網(wǎng)絡(luò)同步步數(shù)500太頻繁等于沒有目標(biāo)網(wǎng)絡(luò)epsilon初始值1.0早期充分探索epsilon最小值0.05保留一定隨機(jī)性epsilon衰減步數(shù)5000線性衰減4.2 訓(xùn)練主循環(huán)的流程拆解訓(xùn)練主循環(huán)的代碼骨架并不復(fù)雜關(guān)鍵是理解每個(gè)步驟為什么存在。最核心的邏輯如下for episode in range(EPISODES): traci.start(sumoCmd) state get_state() total_reward 0 while traci.simulation.getMinExpectedNumber() 0: action epsilon_greedy(state, epsilon) reward, next_state execute_action(action) replay_buffer.push((state, action, reward, next_state, False)) if len(replay_buffer) BATCH_SIZE: train_step() state next_state total_reward reward traci.close()每個(gè)episode相當(dāng)于一次完整的仿真比如模擬3600秒的早高峰交通。仿真開始后循環(huán)不斷讀取狀態(tài)、選動(dòng)作、執(zhí)行動(dòng)作、攢經(jīng)驗(yàn)、更新網(wǎng)絡(luò)直到所有車輛都離開路網(wǎng)一個(gè)episode結(jié)束。execute_action這個(gè)函數(shù)是關(guān)鍵。當(dāng)智能體選擇保持當(dāng)前相位時(shí)我會(huì)調(diào)用traci.trafficlight.setPhaseDuration(tlsID, currentRemain 10)讓當(dāng)前綠燈相位繼續(xù)延長10秒當(dāng)選擇切換時(shí)就把當(dāng)前相位的剩余時(shí)間設(shè)為1秒讓SUMO自然進(jìn)入黃燈過渡相位再切換到下一相位。這樣做的目的是把相位切換的過渡處理交給SUMO內(nèi)部機(jī)制避免手動(dòng)跳相位導(dǎo)致車輛沖突。4.3 經(jīng)驗(yàn)回放和目標(biāo)網(wǎng)絡(luò)到底解決了什么DQN相比傳統(tǒng)Q-learning最大的改進(jìn)就是引入了經(jīng)驗(yàn)回放和目標(biāo)網(wǎng)絡(luò)這兩個(gè)機(jī)制都是在解決訓(xùn)練穩(wěn)定性的問題。經(jīng)驗(yàn)回放是把智能體探索過的所有(state, action, reward, next_state)存進(jìn)一個(gè)緩沖區(qū)訓(xùn)練時(shí)按batch隨機(jī)采樣。為什么要隨機(jī)采樣因?yàn)閺?qiáng)化學(xué)習(xí)的樣本之間存在高度時(shí)間相關(guān)性——車輛排隊(duì)、放行這個(gè)過程中相鄰幾步的狀態(tài)幾乎差不多如果直接用連續(xù)樣本訓(xùn)練網(wǎng)絡(luò)會(huì)在這段局部模式上來回震蕩學(xué)不到全局規(guī)律。隨機(jī)采樣打破了這個(gè)相關(guān)性讓每次梯度更新盡量來自于多樣的、獨(dú)立分布的經(jīng)驗(yàn)。目標(biāo)網(wǎng)絡(luò)是另一個(gè)穩(wěn)定器。DQN的損失函數(shù)是Loss (r gamma * max_a Q_target(s, a) - Q_online(s, a))^2注意這里計(jì)算目標(biāo)值時(shí)用的是Q_target網(wǎng)絡(luò)而不是正在更新的Q_online網(wǎng)絡(luò)。因?yàn)槿绻猛粋€(gè)網(wǎng)絡(luò)同時(shí)計(jì)算預(yù)測值和目標(biāo)值每一輪更新都會(huì)讓目標(biāo)和預(yù)測一起動(dòng)優(yōu)化過程就會(huì)變成追一個(gè)不斷移動(dòng)的靶子很容易震蕩甚至發(fā)散。目標(biāo)網(wǎng)絡(luò)的做法是定期比如每500步把在線網(wǎng)絡(luò)的參數(shù)復(fù)制過來固定一段時(shí)間讓目標(biāo)值相對穩(wěn)定訓(xùn)練才能收斂。4.4 源碼目錄結(jié)構(gòu)項(xiàng)目源碼的組織方式盡可能清晰核心目錄如下project/ ├── env/ │ ├── config.sumocfg # SUMO仿真配置 │ ├── net.net.xml # 路網(wǎng)文件 │ └── rou.xml # 車流文件 ├── agent/ │ ├── dqn.py # DQN網(wǎng)絡(luò)定義 │ ├── replay_buffer.py # 經(jīng)驗(yàn)回放緩沖區(qū) │ └── train.py # 訓(xùn)練主循環(huán) ├── utils/ │ ├── state_extractor.py # 從TraCI獲取狀態(tài)與獎(jiǎng)勵(lì) │ └── config.py # 超參數(shù)配置 └── evaluate.py # 訓(xùn)練后評(píng)測腳本源碼本身并不復(fù)雜但把它拆成環(huán)境、算法、工具三個(gè)模塊會(huì)讓你后續(xù)擴(kuò)展起來非常舒服。比如想換成PPO算法只需要替換agent目錄里的文件想換成多路口場景只需要在utils里增加一個(gè)狀態(tài)聚合器。5. 實(shí)驗(yàn)結(jié)果對比與參數(shù)調(diào)優(yōu)DQN比固定配時(shí)強(qiáng)在哪5.1 評(píng)價(jià)指標(biāo)與固定配時(shí)基線訓(xùn)練完成后需要用一套客觀指標(biāo)來評(píng)估DQN到底有沒有用。我做了兩輪實(shí)驗(yàn)第一輪把DQN和固定60秒周期配時(shí)做了對比第二輪嘗試了不同的車流強(qiáng)度。評(píng)測用的核心指標(biāo)有三個(gè)平均等待時(shí)間所有車輛在路口前停車的平均總時(shí)長平均排隊(duì)長度每個(gè)決策時(shí)刻各進(jìn)口道排隊(duì)的車輛數(shù)均值路網(wǎng)吞吐量仿真時(shí)段內(nèi)通過路口的車輛總數(shù)。固定配時(shí)的基線直接用SUMO默認(rèn)信號(hào)機(jī)方案不做任何優(yōu)化。評(píng)測時(shí)把DQN的信號(hào)燈控制程序接到同一套路網(wǎng)和車流文件上其他條件完全一致只讓信號(hào)燈決策邏輯不同。5.2 訓(xùn)練曲線怎么解讀DQN訓(xùn)練初期通常會(huì)有一段表現(xiàn)很差的階段。我的經(jīng)驗(yàn)里前20個(gè)episode獎(jiǎng)勵(lì)值甚至明顯低于固定配時(shí)的對照值因?yàn)閑psilon很大智能體在瘋狂探索經(jīng)常做出不合常理的切換動(dòng)作導(dǎo)致路口頻繁出現(xiàn)放行空車道、堵住車流量大的方向這種尷尬局面。這其實(shí)是正?,F(xiàn)象不要慌。隨著訓(xùn)練進(jìn)行epsilon逐漸衰減經(jīng)驗(yàn)池里累積了足夠的有效樣本網(wǎng)絡(luò)開始學(xué)到排隊(duì)長的方向優(yōu)先放行這類規(guī)律獎(jiǎng)勵(lì)曲線會(huì)逐步上升并超過基線。大概訓(xùn)練到150個(gè)episode左右獎(jiǎng)勵(lì)曲線變得平穩(wěn)這時(shí)再跑評(píng)測DQN的每個(gè)指標(biāo)都會(huì)有可觀提升。我在一次典型的對比實(shí)驗(yàn)里得到的數(shù)字大概是在中等流量下DQN比固定配時(shí)降低了約18%的平均等待時(shí)間和22%的平均排隊(duì)長度在輕流量場景下兩者差別不大因?yàn)檐嚤緛砭筒欢略谥亓髁炕蛄髁客蛔儓鼍跋翫QN的優(yōu)勢會(huì)進(jìn)一步拉開有時(shí)等待時(shí)間能降低30%以上。這說明DQN強(qiáng)項(xiàng)在于應(yīng)對不均衡、不穩(wěn)定的車流而不是替代所有配時(shí)方案。5.3 影響收斂的關(guān)鍵參數(shù)訓(xùn)練過程中有幾處參數(shù)是真正決定成敗的我單獨(dú)拿出來說。第一個(gè)是獎(jiǎng)勵(lì)的尺度。如果獎(jiǎng)勵(lì)數(shù)值波動(dòng)太大比如排隊(duì)長度變化從-30到30網(wǎng)絡(luò)會(huì)對梯度方向非常敏感必須把獎(jiǎng)勵(lì)除一個(gè)縮放因子我這里除以了最大排隊(duì)長度讓獎(jiǎng)勵(lì)落在[-1,1]區(qū)間訓(xùn)練穩(wěn)定很多。第二個(gè)是決策間隔。10秒是我最后選定的值但建議你做一次敏感性分析。間隔太短信號(hào)燈頻繁變動(dòng)車流根本來不及響應(yīng)間隔太長智能體在兩次決策之間會(huì)錯(cuò)失很多優(yōu)化機(jī)會(huì)。用不同流量腳本做幾組對照你會(huì)找到最適合自己場景的數(shù)字。第三個(gè)是目標(biāo)網(wǎng)絡(luò)同步步數(shù)。設(shè)成太小比如每100步同步一次目標(biāo)網(wǎng)絡(luò)幾乎等于在線網(wǎng)絡(luò)失去意義設(shè)成太大比如每5000步目標(biāo)值和當(dāng)前預(yù)測偏離過大訓(xùn)練早期容易不穩(wěn)定。500到1000步是一個(gè)經(jīng)驗(yàn)合理區(qū)間。6. 踩坑記錄與個(gè)人心得十幾個(gè)小時(shí)仿真換來的經(jīng)驗(yàn)6.1 相位切換導(dǎo)致的處處紅燈問題我第一次把切換動(dòng)作設(shè)為直接調(diào)用traci.trafficlight.setPhase跳轉(zhuǎn)到下一個(gè)綠燈相位訓(xùn)練出來的效果慘不忍睹路口經(jīng)常出現(xiàn)四個(gè)方向全是紅燈的狀態(tài)車輛全部停擺。原因是SUMO信號(hào)燈內(nèi)部是有相位順序的直接跳轉(zhuǎn)跳過了黃燈過渡階段破壞了信號(hào)燈狀態(tài)機(jī)的內(nèi)部一致性。后來我把切換邏輯改成設(shè)置當(dāng)前相位剩余時(shí)長為極短值1秒讓信號(hào)燈按SUMO自己的規(guī)則進(jìn)入黃燈過渡相位再進(jìn)入下一個(gè)相位問題就消失了。這里的一個(gè)經(jīng)驗(yàn)是不要跟仿真器內(nèi)置的狀態(tài)機(jī)對抗盡量順著它的機(jī)制去做控制否則你會(huì)在很多莫名其妙的仿真異常上浪費(fèi)時(shí)間。6.2 獎(jiǎng)勵(lì)函數(shù)方差過大導(dǎo)致訓(xùn)練崩潰還有一個(gè)坑出現(xiàn)在換用平均等待時(shí)間變化量作為獎(jiǎng)勵(lì)時(shí)。等待時(shí)間受單輛車極端值影響很大偶爾一輛車等了3分鐘這個(gè)變量的變動(dòng)會(huì)讓獎(jiǎng)勵(lì)瞬間產(chǎn)生很大波動(dòng)DQN的損失函數(shù)跟著震蕩訓(xùn)練曲線一路發(fā)散。后來我把獎(jiǎng)勵(lì)改成排隊(duì)長度變化量再乘一個(gè)縮放系數(shù)訓(xùn)練曲線立刻穩(wěn)定下來了。如果你的任務(wù)必須用等待時(shí)間做獎(jiǎng)勵(lì)我建議對單值進(jìn)行截?cái)嗵幚肀热缱畲蟮却龝r(shí)間封頂180秒或者對獎(jiǎng)勵(lì)做clip到[-1,1]總之不要讓極端值主導(dǎo)梯度方向。6.3 如果打算擴(kuò)展到多路口該怎么做單路口跑通之后很多人會(huì)想擴(kuò)展到多路口協(xié)調(diào)控制。我的建議是不要簡單粗暴地把每個(gè)路口都放一個(gè)獨(dú)立DQN那樣多個(gè)智能體在共同環(huán)境中各自優(yōu)化容易出現(xiàn)震蕩。更穩(wěn)妥的方式是先做一個(gè)多路口共享參數(shù)的單智能體方案把所有路口的狀態(tài)拼接成一個(gè)大向量輸入同一個(gè)網(wǎng)絡(luò)輸出所有路口的動(dòng)作這樣訓(xùn)練穩(wěn)定且代碼改動(dòng)不大。再往上的圖神經(jīng)網(wǎng)絡(luò)或多智能體強(qiáng)化學(xué)習(xí)屬于進(jìn)階方向建議先把單路口基本功打扎實(shí)再碰。最后再分享一個(gè)小技巧訓(xùn)練時(shí)每隔幾個(gè)episode就把當(dāng)前模型保存一份同時(shí)跑一次固定配時(shí)基線作為對照。這樣你能在訓(xùn)練過程中實(shí)時(shí)觀察智能體是否真的超過了基線也能在崩潰時(shí)回滾到之前效果最好的模型。我在這個(gè)項(xiàng)目里前前后后跑了十幾個(gè)小時(shí)的仿真大部分時(shí)間都花在調(diào)參和修bug上只有把環(huán)境、建模、訓(xùn)練鏈路都理順了強(qiáng)化學(xué)習(xí)在信號(hào)燈上的效果才真正凸顯出來。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷综合色五月天| 热99在线| A1片久久久| 狠狠综合久久| 俺去也在线www色官网| 日韩操啪| 丰满少妇猛烈A片免费看观看| 这里只有精品网站| 日韩无码成人电影| 另类激情中文| 五月丁香六月婷婷玖玖| 亚洲无码成人网| 琪琪布丁香社区激情五月天| 深爱激情综合网| 五月丁香六月婷婷a v| 久久婷婷的综合色丁香五月| 国产乱妇无乱码大黄AA片| 国产精品久久久60086| 在线不卡的视频| 天天爽夜爽| 天天射影视综合网| 色情·com| 久热爱大香蕉在线蜜臀悦色 | 色五月婷婷五月天激情综合| 婷婷亚洲激情在线观看视频| 丁香九月综合| 色色激情五月天| 婷婷六久久| 日本一级黄色电影| 五月婷婷婷丁香播| 久久久久思思热| 五月色综合| 另类图片五月天婷婷| 久久婷婷五月综合| 亚洲精品无码久久| 五月婷婷六月丁香首页| 色五月色五天色情网址| 婷婷丁香五月视频| 极品嫩草| 色色丁香婷婷五月天| 五月婷婷丁香六月| 亚洲九区| 99热精品在线观看| 国色天香成人网| 婷婷99视频精品| 狠狠色精品综合| 国产五月丁香在线| 久久综合网免费视频| 91 原创 在线 九色| 亚洲精品第一国产综合亚AV | 韩国真做片在线观看| 9九色首页| 欧美天天性| 888精品福利地址| 51XX午夜影福利| 久热9热| 亚洲精品白浆高清久久久久久| 91视频精品99| 五月婷婷激情综合网| 日本色五月婷婷| 色约约视频一区二区三区四区五区 | 亚洲AV成人无码精品| 无码色| 婷婷成人综合| 五月天丁香| 深爱激情六月天| 色久九| 成人在线视频一区| 婷婷色五月丁香六月欧美啪| 99只有精品| 成人性爱无码| 日本一毛片| 大香蕉中文| 婷婷六月色开| 天天操无码| 丁香五月在线自慰| 五月丁香久久网| 91大屁股精品| www五月| 婷婷久久五月| 五月婷性爱| 秋霞av吧| 黑人熟妇一区二区三区| 婷婷五月天免费小说| 五月开心婷婷中文字幕| 日韩av一区二区在线/日产精品久久久 | 99热在线观看| 欧美日韩日韩成人| 激情婷婷五月亚洲| 五月天com| 热99在线精品| 婷婷久久综合| 亚洲成人九九九| 国内在线99视频| 丁香综合久久| www.国产亚洲69ty.久久久久久久久久久久| 亚洲精品乱码久久久久久按摩观| 狠狠色 综合色区| 深爱婷婷丁香五月激情| 亚洲人人操| 色婷婷狠狠18禁| 亚洲精品久久久无码| 97luluse| 天天肏在线观看| 毛片网站谁有| 丁香五月天综合| 天天插天天插天天日| 成人婷婷深爱综合网| 婷婷五月婷婷五月| 日本三级日本三级99| www.wuyuetian啪啪| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 丁香五月婷婷啪啪啪| 亚洲激情AV| 超碰免费观看| 婷婷久久夜| 久久久性爱视频| 五月综合无码| 久久在线92| 五月天婷综合网站| 色丁香久久| 亚洲久久天堂| 日本在线免费中文com.| 五月激情小说网| 免费V片在线| 久久久婷婷| 婷婷深爱五月丁香| 伊人激情AV一区二区三区| 五月婷婷丁香综合,亚洲天堂| 国产av基地| 婷婷五月开心中文字幕在线| 久热99| 一区二区传媒视频| 天堂草在线观| 日本不卡高字幕在线2019| 大香蕉220| 色婷婷操逼| 色狠狠色噜噜噜a天堂一区| 国产成人网站在线观看| 中美日韩成人在线| 任你日视频| 影音先锋一区二区资源站| 91互操| 韩国久久少妇视屏| 丁香花狠狠婷婷亚洲中文字幕| 天天色月| 婷婷五月天AV在线| 六月婷色| 99精品视频偷拍| 九月丁香八月婷婷加勒比| 亚洲综合色色| 五月天综合网| 影音先锋91| 久色五月| 免费超碰在线| 99在线免费视频| 五月天婷a在线| 伊人影音无码一区二区三区| 六月丁香婷| 99资源在线视频| 婷五月天在线草| 六月丁香啪啪| 丁香五月婷婷无码AV| 天天干天天做| 婷婷五月av| 丁香六月婷婷色XXXXX| 九九99精品视品| 国产色婷婷亚洲| 五月天综合在线| 91性高潮久久久久久久久| 色偷偷五月天| 欧美在线操| 182TV大香蕉| 日韩情色在线观看| 婷婷五月天av| 色天天狠狠干| 狠狠爱五月婷婷综合六月| 欧美噜一噜| 国产午夜精品AV一区二区麻豆| 五月丁香综合网色欲| 97在线精品| 日日婷婷不卡| 在线成人视频免费| 成人av免费观看| 亚洲精品国产成人AV在线| 五月婷婷啪啪| 丁香婷婷伊人| 人伦30P| 久婷婷| 国产亚洲99久久精品| 婷色五月| 久久婷婷五月激情网站| 岛囯综合激情网| 丁香婷婷色五月天| 亚洲综合无码| 99免费超碰在线| 国产成人+亚洲+欧洲| 亚洲中文字幕在线电影| 九九色热| 99热99热不卡| 五月丁香六月色婷婷综合五月天| 综合色、色综合| 天天干-天天日| 久久月天堂| 操日视频| 26uuu亚洲色| 婷婷丁香黄色| 色吧五月婷婷| 婷婷免费视频| 伊人婷婷五月 | 久久婷婷电影| 成人看片网站| 五月丁香好婷婷A片网| 色综合久久44| 超级碰碰99| 99在线69| 国产综合网在线| 中文字幕在线播放视频| 亚洲黄色av网站| 91性高潮久久久久久久久| 狠狠狠狠狠狠狠狠草| 青青草伊人婷婷| 激情五月天社区| 国产乱码久久| 精品在线网站| 激情国产综合| 97成人丁香| 午夜免费试看| 丁香伊人网| 中国AV性爱观看| 激情綜合網址| 五月丁香婷婷激情四射迷人| 97 天堂| 色婷婷成人网| 五月久久婷婷成人网| 五月丁香爱婷婷深深| 色级婷婷| 久久视频在线视频| 色五月综合在线| www.五月.com| 五月天激情综合网站| 9在线9在线婷婷在线国产| 亚洲九九视频| 色吧五月婷婷| 狠狠五月激情丁香六月| 人妻少妇色综合| 色五月婷婷大| 69午夜成人影片| 开心婷婷中文字慕| 六月丁香啪啪| 九九热欧美| www.久久9| 韩国97天堂| 五月婷婷在线免费观看| 午夜丁香| 婷婷91| 婷婷五月综合激情免费视频| 深爱激情网噜噜色| 欧美性色五月天| 久久婷婷丁香五月一二三| 天天综合五月| 久热久操久热久草国产91| 久久国产一区二区三区| 婷婷五月天在线观看| 九月av| www.成人婷婷综合| 538在线精品| 九月婷婷综合网| 欧美成人AAA片一区国产精品 | 久久综合婷婷| 婷婷丁香在线| 中文字幕乱码亚洲精品一区| 夫妇交换刺激做爰| 丁香亭亭激情四射| 亚洲99在线| 99热国产在线| 停停综合色色| 99福利导航| 中文字幕五月久久婷婷| 天天操加勒比| 亚洲精品乱码久久久久久综合| 五月婷婷开心亚洲无| 五月天久久久| 欧美综合婷婷欧美综| 亚洲激情网| 中文字幕永久在线| 丁香五月天婷婷久久| 激情五月综合六月丁香婷婷狠狠干| 婷婷五六月丁香| 色婷婷丁香五月高清在线| 99惹在线精品免费观看| 青青热久久综合| 99在线观看| 久热视频A.| 99区视频| 激情小说在线视频| 99热在线精品观看| 色婷婷丁香女女| 五月丁香久久婷| 91视频五月丁香| 亚洲视频操| 日本综合色色| 伊人久久丁香婷婷六月五月综合| 综合爱久久| 色一情一乱一乱一区9| www.99婷婷| 99色色网站| 停停五月天激情网| 欧美日韩成人在线网| 五月天丁香久久| 亚洲精品午夜国产va久久成人| 色啪影院| 狠狠爱婷婷五月天| 久久视频66| 丁香五月婷婷天| 99这里只有精品| 五月丁香综合激情| 色色色色色九九九九九| 99久久精彩视频。| 五月婷婷五月丁香| 少妇水多A片太爽了| 久99精品视频| 色 五月婷婷基地| 狠狠色大香蕉| 中文字幕无码人妻少妇免费视频| 国产在线黄色| 天天狠狠干| 激情综合网五月激情| 伊人喵咪a V| 亚洲啪啪网| 丁香久色| 久久激情天堂| 自拍视频99| 国庆精品久久| 91超级碰| 久操干| 日日鲁鲁夜夜爽爽| 丁香六月婷| www.一起草av| 五月激情基地| 国产偷人爽久久久久久老妇APP| 激情五月色综合网| 久久伊人五月天| 亚洲精品无码一区二区| 狠狠干婷婷| 久久久天天啊| 9l视频自拍九色9l黑人| 亚洲十月婷婷综合| 噼里啪啦在线观看免费完整版视频| 国产肏屄大片| 一级性爱视频| www.亚洲激情.com| 久久五月婷天天干| 午夜69成人做爰视频| 婷婷色丁香五月| 天天天综合网| 嫩草视频。| 激情丰满熟妇五月| 九九视频在线观看视频6 | 五月婷婷av| 激情五月天网| 青青草99热久久精品国| 伊人色综合久久久| 久久六月综合| 色五婷婷| 婷婷无五月无码视频| 激情五月图| 精品激情| 亚洲成人免费在线| 五月丁香久久精品在线观看| 激情五月综合婷婷| 4399在线观看免费高清电视剧| 男女99免费视频| 色播五月综合网| 五月激情婷婷丁香天堂| 亚洲AVwwwwwww| 日本激情综合| 久久久久9久无码视频| 思思99re这里只有| 丁香五月婷婷综合激情哟哟哟| 五月丁香六月合| 伊人在线视频| 天天做天天爱天天综合| 9久9久| 九九热在线观看视频| 9热在线视频精品| 九九色视频| 婷婷伊人欧美| 婷婷五月天小说| 99热这里有精品首页10| 91热视频色网站| 色综合久久99色| 97啪啪| 婷五月丁香俺| 五月丁香婷婷激情图片| 五月天狠狠色| 色情五月丁香婷婷网| 少妇大叫太大太粗太爽了A片| 激情婷婷丁香色五月综合| 99热这里有精品| 天天干天天色天天干| 996黄色片| 综合网啪| 五月天丁香啪啪综合| 国产精品18久久久| 婷丁香五月天| 99激情| va婷婷在线免费观看| 五月丁香综合久久夜夜| 国产精品久久..4399| 色色色视频免费无码 | 五月丁香色婷婷基地| 久久网婷婷| 99激情网| 伊人午夜综合色啪| 婷婷伊人中文字幕| 日本无码专区| 成人网在线视频| 丁香色六月| 综合 激情 婷婷| 99视频这里只有久久精品| 五月丁香综合网| 综合久久影院| 婷婷五月丁香成人| 丁香九月婷| 另类图片天天影视在线观看| 伊人婷婷五月天av| 变态另类9| 久操欧美在线观看97| 丁香婷婷色五月激情综合| 婷婷五月天AV| 爱狠射| 五月天激情婷婷| 96五月丁香熟女| 成人在线不卡| 五月丁香婷婷色播无码| www夜夜| 噜噜噜噜综合在线| 这里只有精品视频看看| www.婷婷| 久久久.COM| 91婷婷视频| 狠狠综合| www.五月婷婷.com| 婷婷99狠狠躁| 2w在线视频| 99热久| 亚洲啪啪精品| 99aese| 91热视频色网站| 久久精品凹凸分类| 另类少妇人与禽zOZZ0性伦| 久久五月天综合| 国产美女精品| 六月色色综合| 午夜色色色极品视频| 久久新| 99综合入口| 可以免费观看的AV| 91啪啪| 久久99精品久久久久久噜噜| 久久久天天啊| 无人精品在线视频| 狠狠色综合精品视频在线| 天天色天天干天天插| 任你爽精品免费视频6| 色99综合色88| 91 影音先锋| 婷婷综合| 久草热8精品视频在线观看| 亚洲黄色影视| 99a级片| 免费视频无码| 丁香五月色五月| 色五月亚洲| 五月婷婷开心亚州在线| 国产精品久久7777777精品无码| 天天插夜夜爽| 五月丁香六月婷婷亚洲| 五月婷婷激情中心| 五月天激情网开心网| 天天草天天日| 五月天天天色| 五月天伊人综合| 五月天婷婷深深爱| 亚洲色99| 五月婷婷色影院| 99热国内精品| 五月天激情综合| 天天做天天爱天天爽| 五月婷婷丁香在线| 26uuu欧美| 国产成人精品亚洲线观看| 久久思思热| 亚洲成人综合在线| 97人人操人人插| 大香久久综合网| 久热精彩视频98| 激情婷婷视频在线| 五月丁香婷婷啪啪| 天天日人人| 五月丁香婷婷国产精品综合| 五月激情久久综合网| 综合网视频| 日韩成人AV在线播放| 天天综合在线网| 亚洲视频一区| 噜噜五月天综合| 伊人在线大香蕉网| 色婷婷伊人| 超碰超碰在线| 五月婷婷m| 激情六月天婷婷| 97中文在线| 成人电影一区| 伊人久热91网| 五月天婷婷综合久久| 久久激情综合| 婷婷丁香在线播放| 97精品综合| 国产毛片精品一区二区色欲黄A片| 色播色丁香五月| 国产精品国产| 五月天婷婷色播| 五月天久久婷婷| 五月天色婷婷综合| 97色婷婷| 女婷久久| 激情五月六月婷婷| 亚洲欧洲中文日韩久久AV乱码| 亚洲视频码| 九九精品在线视频观看| 可以直接看的AV| 大香蕉AV在线| 色黄啪啪| 插少妇综合网| 亚洲成人网站在线观看| 久久99草五月婷婷| 一级黄色影片| 九九热最新视频| 五月激情在线| 另类伊人婷婷| 丁香五月综合在线观看| 久热91| 综合久久六月| 996热re视频精品视频这里| 五月婷婷色色色| 七七色综合| 色色爽爽天天| 这里只有精品9| 久久激情网| se.久久视频在线观看| 婷婷激情综合网| 洗浴中心操B视频| 五月花婷婷| 五月天天堂久久| 国产精品久久7777777精品无码| 婷婷爱五月天| 久9热| 五月丁香影视| 99久热在线精品99re6热| 婷婷久久久久久久| 99热这里只有精品青草| 久久精品天| 狠狠五月天婷婷激情网。| 99热超碰在线| 99熟女| 十一月婷婷激情四射| 97日本在线播放| 成人色五月天| 成人做爰A片免费看视频| 91久热| 日本熟妇精品99| 嫩草视频观看| 99亚洲日韩| 成人国产欧美大片一区| 99在线视频免费| 五月丁香激情综合网| 亚洲AV免费在线| 另类图片色五月| 婷婷久久五月天丁香| 六月丁香啪啪啪| 婷婷五月天你懂的| 91久久九久久九久久九久久九久久| 99啪在线视频| 99亚州综合精品成人网| 色欧美日| 92久久| 内射综合网| 丁香五月手机在线| 日本欧美在线| 俺去也五月天婷婷| 婷婷亚洲五| 五月丁香婷婷啪啪| 热久久思思热思思| 人人人操 超碰| 色婷婷丁香中文在线播放| 亚洲精品V天堂中文字幕 | 婷婷五月天堂| 综合激情五月四射婷婷| 91久久99久久91熟女精品| 99热久只有| 四川BBB搡BBB爽爽视频| 六月丁香六月婷婷欧美| 欧美在线97| 五月天综合| 嫩草视频在线观看| 嫩草AV久久伊人妇女超级A| 婷婷娱乐丁香综合网| 丁香婷婷浪潮AV久久综合| 五月久视频| 影音先锋噜一噜| 激情99| 欧美色色色| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 九九热免费视频| 天天综合天天玩夜夜玩天天玩夜夜玩 | 三人荫蒂添的好舒服A片 | 99久久极情精品一区| 99碰网站| 丰满少妇猛烈A片免费看观看| 国产资源91在线| 97婷婷在线| 五月激情婷婷在线| 五月婷婷自拍| 色10月婷婷视频| 中文字幕 中文字幕明步| 激情亚洲网| 丁香五月中文字幕| 午夜伊人大香蕉| 五月丁香婷婷婷激情爱爱| 五月婷婷激情性爱| 9色91视频| av在线免费网站| 丁香六月婷婷缴情欧美| 久久久潮喷-久久久九九-成人AV| 婷婷伊人綜合中文字幕| 婷婷丁香色无五月| 欧美狠狠草| 婷婷在线网| 色婷婷大香蕉| 国产午夜精品久久久观看| 五月婷网| 婷婷五月娱乐在线| 欧美经典片免费观看大全| 夜夜骑夜夜操| 狠狠干婷婷| 伊人激情网| 亚洲无AV在线中文字幕| 婷婷五月六月丁香| 婷婷99狠狠躁天天| 亚洲激情五月| 在线免费视频caop| 国产亚洲色婷婷久久99精品91| 男女久久婷婷五月天| 99热都是精品| 182TV大香蕉| www.婷婷五月天| 日本色婷婷| 天天天天天操| 久久中文人妻系列| 91avse| 免费看片在线观看| 99视频免费播放 | 国产AV一区二区三区最新精品| 91狠狠综合网| 一级二级色大片| 天天撸天天干天天插| 婷婷六月激情啪啪| 日韩免费乱轮网站| 丁香五月婷婷久久综合激情网 | 国产JK精品白丝AV在线观看| 五月婷综合| 丁香婷婷色色| 婷婷内射视频在线| 亚洲成人无码网站| 成人va视频| 天天插天天插天天插天天插| 79色色色色| 射久久丁香五月| 六月丁香婷婷亚洲中文玖玖| 久久婷婷成人视频| 九九美女视频| 激情啪啪五月天| 色欲色香综合网站| 青青草婷婷久久| 丁香五夜激情四射夜夜夜| 任你搞免费视频观看| 五月婷婷色欲| 大香蕉五月婷婷丁香| 精品欧美一区二区三区久久久 | 97欧美在线| 婷婷大乡焦噜噜| 色五月欧美| 九久久精品视频99| 久久婷.com| 久色激情| 在线五月婷婷小电影| 狠狠色婷婷7777久| 色狠狠激情五月| 九九视频这里是精品五月| 九热在线这里有精品6| 秋霞学生妹一二级| 99爱免费在线视频| 日本色色色| 99热亚洲| 国产成人+综合亚洲+天堂| 看国产探花操逼三级片| 人妻性爱av网站| 丁香婷婷少妇| 丁香五月激情视频| 日本色色网站| 激情五月综合| 婷婷五月丁香五月基地| 操大屄五月天视频| 99五月婷| 久久九九视频网站| 国产Va视频| 99热只有这里才是精品| 丁香六月无码| 9久久婷婷国产综合精品性色| 激情五月丁香五月| 91精品综合久久久久久五月丁香| 99se丁香| 亚洲天堂爱爱| 玖玖国产视频一区| 战争与艾拉电影免费观看| 五月婷婷亚洲色视频| 99色综合网| 少妇性BBB搡BBB爽爽爽视頻| 婷婷伊人五月丁香天堂网| 婷婷丁香九月| 久久五月天激情视频| 五月婷婷官网色| 五月婷丁香| 激情AV综合| 任你日视频| 欧洲激情五月天| 五月丁香激情综合| 99精品偷自拍| 人人叉久| 婷婷久久综合| 婷婷狠狠香蕉综合| 午夜九九九九九九九九九九九九九| 草草视频91| 天天插,天天射| 久久久久激情网| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 婷婷综合一二三| 91日韩在线| 婷婷五月天精品| 婷婷色导航| 久久WW| 五月婷婷这里都是精品| 久超超碰| 91男人操女人视频| 久热99| 人人人va亚洲视频在线| 天天日天天操心| AV中文字幕夜夜操b天天摸bb| 激情五月综合色| 五月激情综| 亚洲愉拍99热成人精品| 婷婷伊人| 丁香婷婷五月六月久久| 五月天婷婷激情四射综合| 婷婷激情五月天在线视频| 婷婷射综合| 97久操| 狠狠久综合| 99热免费| 国产99美少妇| 久久女婷| 亚洲另类婷婷综合| 99只有这里是精品| 欧美日本日韩| 九九热只有精品6| 五月激情婷婷丁香| 嫩草视频观看| 激情影院丁香五月| 五月久久| 欧美天天干五月丁香| 婷婷五月天电影网| 91性高潮久久久久久久久| 97色啪| 99热精品10| 丁香五月天啪啪激情综和网| 午夜精品人妻无码一区二区三区| 高清视频一区| 97碰免费视频在线| 乱码操操| 国产激情综合五月久久| 久久看婷婷| 欧美丁香五月| 玖色色综合| 久草五月天| 操大屄五月天视频| 2025年最新亚洲在线欧美| 美女久久婷婷| 99热这里只有免费| 色婷婷人人| 五月综合婷婷五月| 欧美乱码国产一级A片| 思思久久精品| 伊人热婷婷| 天天影院色| 久久久久8888| 丁XX 成人| 色婷婷激情| 五月婷婷香| 五月婷六月综合在线观看| 欧美色婷婷| 天天日夜夜夜操操操操| 久久婷婷一级片| 五月婷婷中文| 超碰无码老师| 五月丁香激情综合啪啪| 日本久热| 久久婷婷精品| 婷婷色Av| 97自拍99| 激情六月婷婷| 丁香五月天天日| 999热这里只有美国精品| 夜夜夜叫天天天做| 韩日AV片| 99精品自拍| 人妻系列久久久久久久久久久 | 五月婷婷丁香网| 9久热在线精品| 99这里有精品视频| 婷婷色色综合激情| 9久热视频| 久久这里只有精品热在99| 五月婷婷色情| AV在线不卡播放| 亚洲va国产va天堂va综合va| 久热中文字幕| 乱精品一区字幕二区| 五月天婷婷在线AN| 天天性视频| 91呦呦呦| 丁香六月婷婷综合| www激情网| 色色色97| 色色亚洲视频| 五月婷婷在线综合| 成人在线日韩| 香蕉99网| 婷婷色在线观看| 开心五月婷婷激情网| AV成人在线播放| 亚洲乱码日产精品BD| 婷婷五月天伊人| 激情五月天久久丁香| 日本久碰| 另类图片五月天| 青草五月天| 日韩激情婷婷五月天| 99热全是精品| 国产肥白大熟妇BBBB视频| 天天摸色吧天天摸色吧| 五月花综合网| 五月天丁香久久| 极品人妻VIDEOSSS人妻| 色色热| 大香蕉人妻| 色色网站| .操區COm| 激情五月综合网最新| 97色碰| 日本久久性| 69五月天视频| 六月婷婷视频| 无码字幕中文| 色婷婷久久| 99热色精品| 五月婷婷六月奇米网丁香| 九月婷婷| 九九热啪啪| 九月色婷婷综合亚洲| 色一情一乱一乱一区91Av| 另类小说激情五月天| 五月婷婷综合影院| 国内精品免费一区二区2009| 五月天精品| 99A片| 五月婷婷六月基地| 五月婷婷色丁香| 久久综合激情| 涩综合网| 九九re精品视频在线观看| 大香蕉丁香| 日本道久久91| 亚州美女| 欧美色五月| 婷婷久久五月天| 中文字幕 码精品视频网站| 九九99一区| 五月天婷婷激情春色小说| www.狠狠操.com| 99爱欧美| 26uuu国产精品| 婷婷五六日| 婷婷丁香六月激情综合| 日日夜夜青青草| 五月天天天开心激情网| 五月丁香婷婷综合在线| 丁香六月天AV| 激情五月综合视频| 亚洲性爱干干| 婷婷综合五月激情| 激情av| 天天情天天狠天天透| 天天色月| 激情的五月婷婷蜜桃| 91精品熟女| 99在这里有精品| 天天日天天干天天天| 亚洲va综合va国产va中文| 婷婷九月亚洲| 婷婷五月花| 欧美激情综合色综合啪啪五月| 99ER热精品视频| 在线sebiav精品视频| 免费看无码视频A级| 天堂成人久久| 91久女| 久久免费试看120秒| 91人人超碰在线| 热99精品视频| 亚洲另类在线观看| 五月婷婷影院| 五月丁香久久综合| 婷婷五月天激情五月天网站| 五月天桃色深爱网| 五月丁香自拍| 五月激情啪啪| 九九热这里只有精品9| 色婷婷激情五月天| 五月综合久久| 五月综合激情综合久| 丁香久久| 大天天伊人| 99精品热| 色色色色色色色五月| 丁香五月婷婷Av| 成人AV在线电影| 婷婷六月网| 这里只有精品视频免费在线观看| 开心激情婷婷| 天天综合网在线| 国产婷伊人| 五月婷婷|欧美| 欧美噜噜免费观看| 夜夜骑日日夜夜| 亚洲天堂色色| 91色久| 99婷婷综合| 欧美日本综合网| 国产无套精品一区二区| 六月婷婷中文字幕| 婷婷五月天AV在| www,com,五月色色| 99视频精品全部免费 在线| 日本一级| 天天草女人| 五月婷婷综合网| 另类激情首页| 欧美大片免费播放器| www.色婷婷.com| 五月色丁香国产在线视频| 婷婷丁香五另类网站| 五月丁香A∨在线| 五月丁色AV| 猫咪伊人久久| 天天操,夜夜骑| 日本色色色| 99伊人性爱在线影院| 激情 婷婷 插| 99色综合| 久久总和99| 五月天激情视频网站| 国产av天堂| 精品久久99码| 97色色视频| 九九色插| 欧美美女国产日韩一区二区久 | 欧美日朝成人| 深爱激情五月网| 亚洲丁香婷婷| 色五月成人网| 五月丁香久久| 婷婷成人综合| Www.狠狠| 日韩av高清| 色小说五月婷婷| 五月丁香六月婷综合成人综合| 日本色色图| 99热e| 超碰在线观看成人视| 丁香六月久| 久久五月天婷婷| 97在线视频观看| 九九久久网| 97色色婷婷五月天| 超碰com| 生活片五区| 热99在线精品| 91要啪| 中文字幕成人| 一起草无码| 91碰| 综合色播| 久/久精品99看9| 熟女色专区| 成人精品一区日本无码网| 婷五月丁香俺| 专区无日本视频高清8| 婷婷99狠狠躁天天| site:pnnrt.com| 国产精品在线视频| 99色综合| 天天操天天谢| 欧美成综合在线观看| Www.激情| 久Se视频在线观看| 99色热| 天天干,天天舔| 亚洲乱码精品久久久久..| 玖玖九九99| 亚洲六月综合激情久久下卡| 婷婷干五月综合在线播放| 婷婷自拍| 色婷婷88| www.主妇. com| 国产一二区爆乳_1国产日韩一区二区三-成人AV | 色婷婷五月天久久| 丁香蜜臀黄色婷婷五月天| 久热免费| 密臀久久| 六月丁香啪| 中文字幕av久久爽一区| 五月综合色| 思思re最新视频| 婷婷深爱五月| 99九九玖玖| 激情色播| 五月婷婷免费在线观看视频| 99碰在线视频| 婷婷激情五月| 色色色色色色97| 激情五月天色色色| 欧美日韩91| 天天橾日日橾夜夜橾17| 4438全国最大视频成人网站在线观看| 久久草中文日韩欧美| 丁香五月网络网络| 99热爆在线| 色欲丁香| 狠狠插狠狠| 中文字幕成| 丁香五月天堂网| 激情五月天婷婷丁香 | 98永久精品| 久久人妻视频| 婷婷丁香五月天在线| www.婷婷五月天| 91se视频| 亚洲精品视频在线| 日韩按摩二区| 99这里有精品视频| 国产操B| 中文字幕,综合,91| 色大综合| 91天天操天天干天天射| 开心五月激情| 丁香五月综合首页| 成人无码精品1区2区3区免费看 | 亚洲成人免费电影| 狠狠色丁香久久婷婷综合五月| 五月综合丁香婷婷| 亲子乱AV-区二区三区| 色啪网| 丁香婷婷成人在线播放| 久久久WWW| 久久99日本精品视频免费观看| 天天综合网站| 婷婷va| 九九视频热| 成人五月天在线观看| 9 1大香蕉| 久久精品国产AV一区二区三区 | 91人妻人人做人碰人人爽九色| 操逼123网| 人妻久久久久久久久妻久久久久久久久| www色综合亚洲92| 狠狠穞A片一區二區三區| 欧美日本黄色| 五月丁香天堂网| 九九热九九| 人人爱操| 丁香五月激情网| 91日本在线免费| 激情丁香五月婷婷| 狠狠色综合网| 色香久久| 久热精品视频| 五月天影院婷婷在线观看| 欧美丁香婷婷天天操| 91久久久久久久久久| www.亚洲激情.com| 五月天久久色| 日韩999| 亚洲婷婷欧美婷婷| 丁香色婷婷| 欧美成人网99网| 色婷婷伦理| 丁香五月天天日| 蜜臀A∨在线水帘洞| 色婷婷中文在线| 97久人人| 久久最新色| 91在线操| 天天碰夜夜操| 色吧五月婷婷| 综合激情在线| 久热中文字幕| 日韩啪| 噜一噜在线| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 黄网在线免费播放| av在线观看网址| 亚洲AV免费国产电影| 丁香久久九九99| 色999;丁香五月| 五月婷婷丁香伦理网| 小视频aaa久久久| 婷婷五月丁香狠狠| 国产噜一噜天天噜| 久热这里只有精品在线观看 | 国产婷婷久久| 五月天婷婷狠狠| 色色色色色五月| 婷婷五月综合啪| 综合色视频| 开心五月婷婷婷美女| 日本啪啪天堂| 天天摸天天肏| 狠狠操.com| 欧美成人网婷婷综合在线| 日日夜夜天天爽| 丁香网五月天激情| 26uuu日韩| 成人 在线 日韩| 97人人射| 国产乱妇无乱码大黄AA片| 青青草伊人婷婷| 亚洲av成人一区二区电影在线| 涩丁香91| 99九九玖玖| 66精品国产成人| 丁香五月激情综合婷综| 丁香五月欧美激情| 九热在线这里有精品6| 亚洲五月天狠狠| 丁香社区婷婷五月| 超碰人人99| 99热只有| av五月天婷婷丁香| 99热99在线精品| 99热18| 国产片色| 99爱免费视频在线观看| 丁香婷婷激情六月五月开心| www.日日夜夜.com| 天天肏在线| 婷婷五月精品中文| 久久精彩综合视频| 欧美3AaAa大片| 色综合视频| 五月久久婷婷丁香| 思思色综合网站| 99爱在线视频| 天天日夜夜爽| 婷婷成人av| 日韩九九视频| 色噜噜狠狠狠综合曰曰曰| 五月婷婷六月开心| 少妇激情五月天| 9久9久9久女女女九九九一九| 久久网日本| 五月天开心婷婷久久| 婷婷八月丁香激情综合| 少妇高潮A片无套内谢麻豆传| 69人人操人人爽| 午夜免费试看| 战争与艾拉电影免费观看| 超碰人人在线| 亚洲视频码| 婷婷在线精品| 黄色AAAAA| 人妻av在线| 婷婷五月天久久综合88| 色A网| 51XX午夜影福利| 色播jjjj| 六月婷婷五月丁香首页| 五月第四色| 538在线精品| 五月婷精品| 激情六月综合| 五月天婷婷久久| 天天综合久久| 激情六月一二| 亚洲熟妇AV乱码在线观看| 伊人玖玖婷婷| wwwC0maV五月花| 综合激情婷婷| 91碰在线| 91久久婷婷人人澡草 | 久re在线| 五月天五月色| 天天日天天色| 超碰成人影视| 色欲香综合网| 人人草人人舔| 色婷婷大香蕉| 日韩五月丁香| 成人国产欧美大片一区| 五月丁香婷婷爱激情综合网| 五月丁香大相交| 日韩精品VIP| 婷婷五月天日逼| 99视频| 91精品无码| 激情图片婷婷| 色婷婷AV在线观看| 99只有这里是精品| 乱精品一区字幕二区| 思恩热国产视频右线观看| 五月激情婷婷播播开心| 1024久婷| 婷婷五月天男人影院色色网| 青草视频在线播放| 91人妻人人操人人爽| 五月婷婷视频| 欧美日韩国产一区二区| jizzdr| sewuyuetingtingiii| 俺去也在线视频| 丁香婷婷五月色综合| 丁香五月亚洲综合| 岛国在线观看91| 丁香香五月激情免费视频| 99热精品在线观看| 五月婷婷中字在线| 激情综合五月| 激情五月婷婷丁香六月| 亚洲精品大片| 亚洲精品va| 久久99久久99精品免视看婷婷| 第四色五月激情网| 色五月av| 色狠狠综合网| 午夜在线成人网站免费观看|