欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

分層式強化學(xué)習(xí)重構(gòu)混動能量管理:從原理到工程落地

分層式強化學(xué)習(xí)重構(gòu)混動能量管理:從原理到工程落地 混動能量管理這塊我見過太多文章把“分層式強化學(xué)習(xí)HRL”掛在嘴上卻始終沒把一件事講透為什么普通強化學(xué)習(xí)不夠用分層之后高層和低層到底各自在優(yōu)化什么我自己在模擬項目X里用分層式強化學(xué)習(xí)做過一整套混合動力汽車能量管理策略從原理到訓(xùn)練再到落地踩了不少坑這篇文章就把整個思路拆開講清楚。適合兩類人看一是剛接觸強化學(xué)習(xí)、想搞懂HRL到底怎么用的學(xué)生二是做整車控制策略的工程師想評估這條路能不能替代傳統(tǒng)規(guī)則策略。讀完至少你能回答三個問題分層分的是什么層、兩層分別學(xué)什么、以及訓(xùn)練時最容易在哪兒翻車。1. 為什么混合動力能量管理需要“分層”而不是“堆料”1.1 單一強化學(xué)習(xí)在車速變化場景下的三個痛點混合動力汽車的能量管理本質(zhì)上是在每一個控制時刻決定發(fā)動機、電機、電池之間怎么分配功率。這個問題的標(biāo)準(zhǔn)建模是馬爾可夫決策過程MDP理論上有現(xiàn)成的強化學(xué)習(xí)算法可以求解。但真的把一個完整工況跑下來你會發(fā)現(xiàn)直接用單一策略網(wǎng)絡(luò)處理會碰到三道坎。第一道坎是時間尺度不一致。模式切換比如純電還是混動屬于慢決策通常以秒到幾十秒為單位而扭矩分配屬于快決策需要在100毫秒級別完成。把兩種尺度塞進一個固定步長的策略網(wǎng)絡(luò)里高層的“戰(zhàn)略意圖”會被低層的瞬時噪聲淹沒。我實際測試過用一個統(tǒng)一步長的DDPG網(wǎng)絡(luò)直接學(xué)訓(xùn)練曲線震蕩得像心電圖模式切換頻率高到?jīng)]法用。第二道坎是維度災(zāi)難與稀疏獎勵。狀態(tài)里往往有車速、加速度、SOC、電池溫度、坡度、擋位等十多個變量動作空間又混合了連續(xù)扭矩和離散模式。動作空間維度一高探索效率斷崖式下降。更麻煩的是一個回合動輒幾百上千步只有跑到最后才能看到累計油耗結(jié)果中間沒有天然的短時獎勵信號策略很難知道哪一步做對了。第三道坎是可解釋性與穩(wěn)定性。單一大網(wǎng)絡(luò)把所有決策邏輯混在一起出了問題很難定位是“模式選錯了”還是“扭矩給錯了”。訓(xùn)練時超參數(shù)稍微動一點結(jié)果就差很遠復(fù)現(xiàn)成本極高。我在調(diào)一個單層SAC算法時同一個代碼換個隨機種子有時候油耗能差8%這種不確定性在工程上根本沒法上線。1.2 分層式強化學(xué)習(xí)的核心思想Options與子目標(biāo)分層式強化學(xué)習(xí)的核心思路很簡單把一個大任務(wù)拆成多個層級高層負(fù)責(zé)制定宏觀計劃低層負(fù)責(zé)執(zhí)行微觀動作。最常見的數(shù)學(xué)框架叫Options也叫半馬爾可夫決策過程SMDP。打個比方你要從市區(qū)去機場。高層決策是選“開車”還是“坐地鐵”這個決策不會每秒鐘都變一旦選定“開車”接下來的每一秒鐘低層才需要管油門踩多重、方向怎么修。高層動作在一段時間內(nèi)保持有效低層在這段時間內(nèi)持續(xù)執(zhí)行子策略直到高層再次決策。這就是Options框架里“選項”的概念。落到能量管理上天然的Option就是“工作模式”。高層策略決定接下來一段時間是純電驅(qū)動、混合驅(qū)動還是強制充電低層策略在給定模式下決定發(fā)動機和電機的具體轉(zhuǎn)矩。這樣高層不再關(guān)心每一毫秒的扭矩細節(jié)低層也不需要考慮“要不要換模式”這種宏觀問題兩層各司其職探索效率大幅提升。還有一個容易被忽視的好處子目標(biāo)sub-goal的引入讓獎勵不再稀疏。低層只管“把當(dāng)前模式下發(fā)動機工作點逼近最優(yōu)效率區(qū)”這個目標(biāo)在每個控制步都是可判定的高層只需要在模式切換點獲得反饋。這樣一來低層收到的是稠密獎勵高層收到的是稀疏但結(jié)構(gòu)清晰的獎勵強化學(xué)習(xí)的兩難問題被自然化解。1.3 分層架構(gòu)到底怎么切才能讓“高層的眼光”和“低層的手速”各司其職很多初學(xué)者一聽說分層就興奮恨不得把問題切成五層六層。我的經(jīng)驗是分層不是越多越好而是要看問題本身是否存在“天然的層級結(jié)構(gòu)”。盲目的分層只會讓訓(xùn)練難度指數(shù)級上升因為每一層都引入了額外的狀態(tài)和決策變量。在混動能量管理里我采用的切法是“慢變量與快變量分離”。模式切換、擋位選擇是典型的離散慢變量決策頻率低影響時間長扭矩分配、SOC微調(diào)是連續(xù)快變量決策頻率高影響時間短。這兩類變量天然適合分到不同層級。具體實現(xiàn)上我給兩層設(shè)定了不同的控制周期。高層每5秒做一次模式?jīng)Q策低層每200毫秒做一次扭矩分配。這個時間比例不是拍腦袋定的而是根據(jù)工況特征來的——低速城市工況中SOC變化率大約每分鐘2%~3%模式切換不需要很頻繁而瞬態(tài)扭矩需求變化卻很快低層必須高速響應(yīng)。我這里再強調(diào)一句后來才想明白的道理高層決策的“獎勵”不應(yīng)該只看當(dāng)前時刻的油耗而要看“這個模式在接下來一段時間內(nèi)帶來的累計價值”。這正是SMDP里的價值函數(shù)定義。如果你把高層也寫成普通MDP的每步獎勵兩層的時間尺度差異就被磨平了分層也就失去意義。2. 混合動力汽車能量管理問題的建模視角2.1 動力總成架構(gòu)與可調(diào)自由度在做能量管理建模之前得先搞清楚你面對的動力總成是什么構(gòu)型。不同構(gòu)型的可調(diào)自由度差異極大。串聯(lián)混動的發(fā)動機只帶發(fā)電機車輪完全由電機驅(qū)動自由度主要在“發(fā)電機發(fā)多少電”并聯(lián)混動的發(fā)動機和電機都能直接驅(qū)動車輪自由度多了“扭矩分配比”混聯(lián)功率分流則還多一個“行星排速比分配”。我在模擬項目X里用的是一種典型的并聯(lián)ISG電機構(gòu)型發(fā)動機通過離合器與ISG電機相連ISG通過減速齒輪連接到變速箱輸入端。這套構(gòu)型的核心自由度有兩個發(fā)動機輸出扭矩、ISG輸出扭矩。由于兩者在變速箱輸入端耦合實際需要決策的是“在滿足駕駛員需求功率的前提下發(fā)動機和電機各自承擔(dān)多少百分比”。如果你用的是插電式混動自由度還會多一個“電量消耗模式與電量維持模式的切換點”但基本建模思路一致。重要的是不要把底層機械模型寫得太復(fù)雜——能量管理策略關(guān)心的是功率流分配不是發(fā)動機內(nèi)部燃燒過程。用效率Map表和動態(tài)約束來抽象就夠了。2.2 能量管理問題的MDP表達狀態(tài)、動作、獎勵把能量管理問題寫成MDP是后面一切訓(xùn)練的基礎(chǔ)。狀態(tài)設(shè)計的準(zhǔn)則是既要讓策略能區(qū)分不同的駕駛場景又不能信息冗余到讓網(wǎng)絡(luò)學(xué)不動。我常用的狀態(tài)向量是車速當(dāng)前值前2秒滑動均值加速度當(dāng)前值平滑濾波值電池SOC及其偏差駕駛員需求功率由車速和踏板開度換算發(fā)動機當(dāng)前工作狀態(tài)轉(zhuǎn)速、是否啟動電池溫度用于保護性約束行駛環(huán)境特征坡度、當(dāng)前工況片段ID可選動作空間分成兩層。高層動作是離散的純電模式EV、混合驅(qū)動模式HEV、強制充電模式CHARGE。低層動作是連續(xù)的發(fā)動機扭矩目標(biāo)值、ISG電機扭矩目標(biāo)值。擋位我把它放進低層里作為第三個動作維度但在早期版本里固定擋位、只優(yōu)化扭矩分配會讓問題簡單很多。獎勵函數(shù)設(shè)計是能量管理里最講究的部分后面第4章會展開細說這里先給一個框架公式它同時考慮了油耗、SOC維持和模式切換懲罰def compute_reward(fuel_rate, soc, battery_current, mode_changed): soc_ref 0.60 # 目標(biāo)SOC soc_penalty 3.0 * (soc - soc_ref) ** 2 fuel_cost 250.0 * fuel_rate # 燃油消耗單位/kg/s mode_penalty 1.5 if mode_changed else 0.0 battery_penalty 0.05 * abs(battery_current) ** 2 return -(fuel_cost soc_penalty mode_penalty battery_penalty)這里每個權(quán)重數(shù)字都要結(jié)合仿真環(huán)境的量綱來調(diào)不能照抄。一個可以借鑒的方法是先統(tǒng)計一個隨機策略下各獎勵項的量級再按“SOC偏差懲罰與油耗懲罰在典型偏差下量級可比”的原則來設(shè)定權(quán)重而不是憑感覺給個整數(shù)。2.3 為什么工況序列是時間相關(guān)的駕駛循環(huán)與馬爾可夫假設(shè)的邊界標(biāo)準(zhǔn)MDP要求狀態(tài)轉(zhuǎn)移滿足馬爾可夫性質(zhì)——下一時刻狀態(tài)只和當(dāng)前狀態(tài)和動作有關(guān)。但真實駕駛工況是強時間相關(guān)的一段擁堵之后大概率接的是低速蠕行高速巡航之后可能是急加速這些時序特征根本不在單步狀態(tài)里。我踩過的坑是直接用原始單幀狀態(tài)訓(xùn)練單層RL油耗結(jié)果在同一個工況上能收斂換一個工況立刻崩掉。原因就是策略學(xué)會了“針對當(dāng)前工況的過擬合”而沒有學(xué)到對工況演變的適應(yīng)性。這也是HRL的一個深層優(yōu)勢高層策略天然以更粗的時間粒度觀察環(huán)境相當(dāng)于在慢時間尺度上做了狀態(tài)聚合能捕捉到“接下來一段時間駕駛趨勢是擁堵還是暢通”這類時序語義。如果你覺得還不夠可以在狀態(tài)里額外拼接一個由歷史車速序列編碼的特征向量——我試過用短窗LSTM提取但發(fā)現(xiàn)一旦加上HRL這個LSTM帶來的增益并不明顯必要性不大。3. 分層式強化學(xué)習(xí)在能量管理中的整體設(shè)計3.1 方案選型Option框架還是兩層DDPG確定要分層之后下一個問題是用哪種HRL實現(xiàn)范式。目前常見的路徑有三條Option框架下的分層DQN、雙層獨立RL各自訓(xùn)練自己的策略、以及基于子技能庫的層次化策略。我實際比較后推薦工程上優(yōu)先考慮Option框架下的分層DQNSAC組合。原因在于能量管理模式切換天然是離散且數(shù)量有限的3~5個模式用DQN來學(xué)高層非常合適低層扭矩分配是連續(xù)控制問題用SAC或TD3這類連續(xù)動作算法更高效。兩層各自使用最擅長的算法效果和調(diào)試友好度都優(yōu)于“強行統(tǒng)一用一個算法”。相比之下雙層獨立RL的問題在于難以協(xié)調(diào)訓(xùn)練節(jié)奏兩個網(wǎng)絡(luò)都在變梯度信號互相干擾。子技能庫方式更適合機器人控制里的底層技能復(fù)用場景對混動能量管理來說有點大材小用且需要額外設(shè)計技能發(fā)現(xiàn)機制調(diào)試成本高。3.2 高層策略模式切換與SOC協(xié)調(diào)高層策略的輸入我并不是直接把原始傳感數(shù)據(jù)全塞給它而是先做了一層“信息摘要”車速滑動平均值、加速度方差、SOC、駕駛員功率需求的分位數(shù)。這個摘要相當(dāng)于給高層一雙“遠視眼”讓它忽略低層控制產(chǎn)生的瞬時抖動只關(guān)注宏觀狀態(tài)。輸出是一個離散模式。初始版本里我只有三個模式后面增加了第四個“滑行回收”模式——松開油門時優(yōu)先回收制動能量。這一個模式對城市工況的油耗改善非常明顯因為它把低頻的啟停場景單獨識別出來了。高層訓(xùn)練的獎勵是一個SMDP風(fēng)格的累計收益。具體做法是在模式切換發(fā)生時計算從上一個模式開始到現(xiàn)在的累計獎勵并把這條transition以“臨時衰減后的折扣累計”形式放進經(jīng)驗回放池。需要注意標(biāo)準(zhǔn)DQN的transition是四元組在HRL里要擴展成五元組狀態(tài)、高層動作、累計獎勵、新狀態(tài)、選項是否終止訓(xùn)練時對終止選項做特殊處理。3.3 低層策略轉(zhuǎn)矩分配的具體實現(xiàn)低層策略在高層給定的模式約束下工作。每個控制步低層讀取當(dāng)前車速、SOC、發(fā)動機轉(zhuǎn)速、駕駛員需求功率輸出發(fā)動機目標(biāo)扭矩和ISG電機目標(biāo)扭矩。一個工程上的關(guān)鍵細節(jié)是不能把扭矩輸出直接作為“最終指令”。真實車輛里還有大量安全約束——發(fā)動機最小穩(wěn)定扭矩、電機最大功率限制、電池峰值放電電流限制。我的做法是加一層“動作屏蔽層”先根據(jù)當(dāng)前狀態(tài)計算每個動作的可行區(qū)間再把策略網(wǎng)絡(luò)輸出的原始動作投影到可行區(qū)間內(nèi)。這個投影操作保證了探索階段也不會產(chǎn)生物理不可行的行為讓訓(xùn)練過程安全得多。低層的獎勵在高層的子目標(biāo)框架下也變得很簡單在EV模式下低層的目標(biāo)就是讓電機工作在高效區(qū)并把SOC消耗控制住在CHARGE模式下目標(biāo)則是讓發(fā)動機在最優(yōu)油耗點附近運行同時給電池充電。子目標(biāo)不同低層學(xué)到的行為自然不同這種“隨上下文變化的獎勵”是分層結(jié)構(gòu)帶來的最大紅利。3.4 訓(xùn)練流程與數(shù)據(jù)流設(shè)計兩層聯(lián)合訓(xùn)練如果同時開跑幾乎必炸。我摸索出來的可行流程是“三步走”。第一步先凍結(jié)高層策略用隨機策略或者規(guī)則策略只訓(xùn)練低層。讓低層在多個基礎(chǔ)工況下學(xué)會“在給定模式下如何分配扭矩”。第二步凍結(jié)低層訓(xùn)練高層。由于低層行為已經(jīng)穩(wěn)定高層看到的轉(zhuǎn)移規(guī)律是明確的學(xué)習(xí)模式切換就容易得多。第三步兩層聯(lián)合微調(diào)但注意把兩層的學(xué)習(xí)率都調(diào)低用小學(xué)習(xí)率慢慢優(yōu)化。偽代碼大致長這樣# 第一階段訓(xùn)練低層策略高層固定為隨機模式 for epoch in range(100): for each episode: state env.reset() mode random_mode() # 高層暫時隨機 while not done: action low_level_actor(state, mode) next_state, reward env.step(mode, action) update_low_level(reward) # 第二階段訓(xùn)練高層策略低層固定 for epoch in range(50): for each episode: mode high_level_actor(state) episode_buffer [] for step in range(high_level_interval): action low_level_actor(state, mode) next_state, reward env.step(mode, action) episode_buffer.append((state, mode, reward, next_state)) update_high_level_with_option_buffer(episode_buffer) # 第三階段聯(lián)合微調(diào) for epoch in range(30): # 兩個網(wǎng)絡(luò)交替更新低學(xué)習(xí)率 ...訓(xùn)練數(shù)據(jù)流還有一個容易被忽略的點經(jīng)驗回放池要分兩套。低層的transition以200毫秒為單位存儲高層的transition以5秒為單位存儲。不要混用否則高層的transition會被低層的海量數(shù)據(jù)淹沒采樣權(quán)重完全失衡。4. 關(guān)鍵實操細節(jié)與參數(shù)設(shè)計經(jīng)驗4.1 獎勵函數(shù)設(shè)計油耗、SOC維持與電池壽命的博弈獎勵函數(shù)是整個項目里最折磨人的部分。很多人以為多加幾項就行結(jié)果各項權(quán)重互相打架訓(xùn)練出來的策略行為詭異。先說SOC維持的經(jīng)典坑如果SOC偏差懲罰太弱策略會把電池當(dāng)成“免費能源”SOC一路消耗到下限油耗看似很低但實際是作弊。如果懲罰太強策略又縮手縮腳一點電量都不敢用等效油耗反而升高。我的解法是兩級SOC懲罰。第一級是圍繞目標(biāo)SOC的二次懲罰控制穩(wěn)態(tài)偏差第二級是SOC邊界硬約束——當(dāng)SOC低于20%時低層被強制切換到CHARGE模式且獎勵中加一個較大的懲罰項。這樣策略可以在SOC偏高時自由用電又不敢跌破下限行為模式符合實際工程邏輯。模式切換懲罰也需要小心。初始我不加懲罰訓(xùn)練出來的策略每5秒就在EV和HEV之間跳來跳去仿真里沒問題但真實機械系統(tǒng)根本扛不住這種高頻沖擊。加懲罰之后模式切換次數(shù)從平均每百公里280次降到了70次油耗只增加不到1%這個交換比非常劃算。電池老化懲罰我放在最后一個版本才加入給電池電流加一個平方項懲罰。這樣做的好處是策略會主動避免極端大倍率充放電雖然對短期油耗有一點負(fù)面影響但對電池壽命的延長效應(yīng)明顯。工程上一定不要只盯著油耗單一指標(biāo)。4.2 狀態(tài)與動作的歸一化、離散化技巧狀態(tài)歸一化的一個重要原則是每個輸入特征都要被壓縮到大致相同的數(shù)值范圍但不能簡單地做0-1歸一化就完事。車速的范圍可以標(biāo)定到0~30 m/sSOC直接用實際值0~1加速度范圍是-3~3 m/s2。我的經(jīng)驗是用對稱歸一化到[-1,1]讓輸入均值接近0這樣網(wǎng)絡(luò)參數(shù)更新更穩(wěn)定。還有一個細節(jié)SOC的波動范圍很小一般在0.4~0.9之間如果直接把SOC作為輸入它的大幅變化其實主要集中在第二層小數(shù)位上。我用的是( SOC - SOC_ref ) / 0.1這類縮放讓網(wǎng)絡(luò)更容易感知到SOC微小的偏移訓(xùn)練收斂速度會快很多。離散化動作時我建議給高層模式列表里加一個“保持當(dāng)前模式”的選項。因為模式切換有懲罰如果動作空間里沒有“保持不變”選項策略就只能被迫每步切換既不合理也沒法收斂。我一開始漏了這個訓(xùn)練出來的高層每步都在切換和再切換之間掙扎后來加上了這個占位動作問題立刻消失。4.3 網(wǎng)絡(luò)結(jié)構(gòu)與超參數(shù)的常見配置網(wǎng)絡(luò)結(jié)構(gòu)在HRL里并不是越深越好。我的默認(rèn)配置是層級算法網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)率目標(biāo)網(wǎng)絡(luò)更新系數(shù)高層DQNMLP(64,64)3e-40.005低層SACActor(256,256) Critic(256,256)3e-4Actor/ 1e-3Critic0.005低層用SAC而不是DDPG是因為SAC自帶熵正則化探索更穩(wěn)健對獎勵尺度的敏感度也低一些。我在DDPG上經(jīng)常遇到Q值過估計導(dǎo)致的崩潰換到SAC之后訓(xùn)練的穩(wěn)定性明顯改善。經(jīng)驗回放池的容量高層的設(shè)10萬條低層的設(shè)100萬條。因為低層的transition數(shù)量太多如果容量太小早期的經(jīng)驗很快被覆蓋策略會遺忘早期學(xué)到的穩(wěn)定行為。這個比例也要和兩層決策頻率的比例對應(yīng)上。另外低層網(wǎng)絡(luò)輸入我額外拼接了一個“當(dāng)前模式”的one-hot向量讓同一個低層網(wǎng)絡(luò)可以服務(wù)所有模式而不是每種模式訓(xùn)練一個獨立網(wǎng)絡(luò)。參數(shù)共享顯著提高了樣本效率在聯(lián)合微調(diào)階段效果尤其明顯。5. 工程落地與常見問題排查5.1 仿真環(huán)境搭建與虛實差距做HRL訓(xùn)練沒有仿真環(huán)境寸步難行。但仿真環(huán)境的“保真度”選擇直接影響訓(xùn)練效率。我強烈建議先用低保真準(zhǔn)靜態(tài)模型訓(xùn)練策略跑通后再往高保真環(huán)境遷移。低保真模型里發(fā)動機Map表是靜態(tài)的沒有熱管理、沒有動態(tài)響應(yīng)延遲訓(xùn)練速度極快高保真模型加入瞬態(tài)響應(yīng)、熱效應(yīng)、電池內(nèi)阻變化用來做最終驗證。千萬別一上來就用高保真模型否則一個回合仿真幾十秒訓(xùn)練幾千回合你得等幾個星期。我一開始犯過這個錯誤后來改成低保真主線訓(xùn)練、高保真定期驗證的模式時間成本一下子降了一個數(shù)量級。工況數(shù)據(jù)方面我建立了四類基礎(chǔ)工況庫市區(qū)緩行、城郊混合、高速巡航、連續(xù)爬坡。訓(xùn)練時隨機抽取工況組合驗證時用完全獨立的冷門工況。建議至少留出一個訓(xùn)練期間從未見過的工況用來評估泛化能力。5.2 訓(xùn)練不收斂怎么辦獎勵尺度與梯度問題HRL訓(xùn)練不收斂八成以上是獎勵尺度和梯度的問題。這里我整理了幾個高頻現(xiàn)象和排查思路現(xiàn)象可能原因排查動作損失持續(xù)振蕩油耗下不來獎勵項量級差異過大統(tǒng)計各獎勵項數(shù)值范圍重新縮放權(quán)重高層模式切換頻繁Q值亂跳SOC懲罰太弱或切換懲罰缺失加入切換懲罰提高SOC懲罰低層動作始終貼著邊界動作空間投影邏輯有誤檢查可行區(qū)間計算輸出正?;?lián)合微調(diào)階段開始崩兩層學(xué)習(xí)率疊加過大學(xué)習(xí)率降到原來的1/5交替凍結(jié)訓(xùn)練不同種子結(jié)果差異巨大探索噪聲過大、網(wǎng)絡(luò)結(jié)構(gòu)太窄增大網(wǎng)絡(luò)寬度調(diào)整SAC熵系數(shù)還有一個我自己摸索出來的診斷技巧把訓(xùn)練過程中高層選模式的行為可視化出來按時間軸和SOC畫在一起。如果高層行為完全無規(guī)律說明狀態(tài)特征沒有提供足夠信息優(yōu)先檢查高層狀態(tài)摘要是否包含了關(guān)鍵信息。如果高層行為符合直覺SOC低時傾向充電速度高時傾向混動說明訓(xùn)練方向?qū)α耸O轮皇钦{(diào)參問題。5.3 泛化能力評估與遷移用例設(shè)計評估HRL策略不能只看訓(xùn)練工況上的油耗。我自定義了一套評估維度等效百公里油耗、SOC維持誤差、模式切換次數(shù)、發(fā)動機啟停次數(shù)、電池峰值放電倍率。每個指標(biāo)都要和基于規(guī)則的基線對比用多個隨機種子取平均值避免單次運行噪聲。泛化評估的關(guān)鍵是設(shè)計“遷移用例”。比如訓(xùn)練時用的是市區(qū)加高速測試時就專門用連續(xù)爬坡加擁堵的工況。我實際跑下來策略在訓(xùn)練工況上的油耗比規(guī)則策略低12%左右但在完全未見過的高負(fù)載工況下這個優(yōu)勢會縮水到6%左右說明策略仍在泛化但優(yōu)勢會衰減。如果衰減超過一半說明過擬合嚴(yán)重需要增加訓(xùn)練工況覆蓋面。對應(yīng)還有一個經(jīng)驗如果在測試工況上SOC維持誤差過大超出±3%不要急著調(diào)獎勵先檢查是不是高層的“強制充電”觸發(fā)邏輯被低頻工況誤導(dǎo)了。往往高層的狀態(tài)摘要沒有包含足夠長時間尺度的信息導(dǎo)致它無法提前預(yù)判大功率需求。最后提一個非常實用的小技巧訓(xùn)練完成的模型可以再做一層“規(guī)則兜底”。HRL策略在99%的時間里都很好但在極端邊界條件下比如電池超溫、電機過流必須套一層傳統(tǒng)邏輯保證絕對安全。我是用了一個優(yōu)先級邏輯傳統(tǒng)安全約束 高層的模式約束 低層的扭矩優(yōu)化。這套架構(gòu)在實車驗證前的仿真測試?yán)锉憩F(xiàn)出色也讓團隊成員對黑盒模型放心了很多。說回我自己的體會分層式強化學(xué)習(xí)用在混動能量管理上真正麻煩的地方從來不是原理而是訓(xùn)練節(jié)奏的設(shè)計。先固定一方訓(xùn)練另一方、再聯(lián)合微調(diào)這個看似樸素的三步流程是解決兩層互相干擾的唯一實用辦法。另外高層模式的語義一定要跟物理部件對齊寧可模式少而精不要為了炫技拆一堆語義模糊的選項——模式和扭矩分配之間沒有清晰的對應(yīng)關(guān)系時低層學(xué)到的行為會和物理常識相沖突。這套框架做完之后我再去看那些單純堆網(wǎng)絡(luò)結(jié)構(gòu)的方案心態(tài)完全不一樣了分層不是把網(wǎng)絡(luò)變復(fù)雜而是把問題變簡單。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 丁香五月综合激情久久潮喷| 亚洲色无码A片一区二区麻豆| 五月天停婷基地| 天天日夜夜操五月| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 激情开心五月亚洲| 日日干综合| 婷婷中文在线| 色噜噜夜夜夜综合网| WWW、日本色丁香、co m| 被强行糟蹋的女人A片| 亚洲精品电影| 五月天婷婷免费| 婷婷五月天激情在线| 婷婷婷色五月| 7月婷婷六月丁香| 26uuu偷拍亚洲欧洲综合| 亚洲欧美综合7777色亭亭| www.成人婷婷综合| 婷婷五月天com| 丁香五月天激情婷婷丁香六月| 五月丁香成人| 久久综合中文字幕| 中文字幕激情综合| 综合色吧| 99热欧美精品| 五月天大香蕉AV| 国产操B| 激情六月天| 五月天色社区| 五月婷婷色| 色五月婷婷五月天| 天天综合色| 天天摸天天日天天舔| 激情五月综合色婷婷| 国产日批视频免费播放| 思思99热热热99| 91丨九色丨高潮丰满日本| 夜夜爱爱亚洲| 99色.com| 久久丁香婷婷五月| 日韩av网站在线观看| 久久久久视剧HD| 99色在线观看视频者| 欧美激情综合五月色丁香| 欧美99| 久久久精品人妻| 五月丁香影院| 久久99久久99精品免视看婷婷| 九九热再线九九视频免费在线观看 | 97超级碰碰碰| 天天激情综合| 色五月丁香婷婷久草| 91精品无码| 国产成人综合在线| 婷婷性色| 九九综合| 深夜婷婷 丁香| 秋霞AV美国| 久热精品在看| 日本三级99人妇网站| 7超碰自拍| 色综合色综合色综合| 去干网av| 六月丁婷婷| 97五月天婷婷午夜| 婷婷五月丁香影院| 五月天国产成人| 香蕉狠狠爱视频| 丁香五月婷婷亚洲色图| 日韩一区二区A片免费观看| 丁香婷婷大香蕉| 26UUU欧美| 成人在线日韩| 97色干| 91久久婷婷| 丁香色婷婷| 色婷婷香蕉| 久久精彩免费视频| 婷婷天堂站| 天天色播| 黑人糟蹋人妻HD中文字幕| 国产成人精品一区二三区熟女在线| 99精品免费| 丁香五月综合| 亚洲综合五月天婷婷| 日日噜噜夜夜狠狠久久丁香五月| 国模九区| 亚洲人人操| 在线成人国产| 色综合久久88色综合天天看| 五月天婷婷色在线视频免费观看| 男人天堂亚洲综合| 五月丁香六月婷婷手机无线| 六月婷婷在线视频| 99久在线精品| 91操操| 日本人妻伦在线中文字幕| 久久一级AV| 狠狠干.com| 五月停视频天堂| 色色草97| 疯狂做受XXXX高潮A片| 青草视频在线观看视频| 亚洲丁香五月| 丁香五月天婷婷激情| 国产亚洲精品久久一区二区三区| 五夜婷婷| 少妇人妻偷人精品无码视频新浪| 久久久久久久久18久久| www网站在线观看| www.AV在线| 婷婷中文字幕| 一起草无码视频| 亚洲午夜视频| 69综合在线| AV天堂婷婷五月天| 欧美,日韩成人在线| 99久久精品色老| 五月天婷婷基地综合网| 青青草搞屄视频网站| 综合色99| 97色婷| 午夜少妇在线观看视频| 久久玖玖99| 亚洲成人av在线播放| 日本美女上人| 狠狠操天天操综合| 开心激情播播五月天| 久热这里只有| 天天肏视频| www.夜夜操.com| 亚洲中文字幕在线观看| 青青艹b| 9999三级片| 噜一噜免费视频| 亚洲婷婷五月草久| 国产婷婷色综合AV蜜臀AV| 色婷婷激情四射视频| 婷婷伊人五月天| 天天干天天做| 一级性感毛片| 五月丁香六月婷综合成人综合| 久久这里只有精品07 | 色情久久久| 日日干夜夜干| 丁香五月欧美婷婷| 免费黄色视频网址| www夜夜操wwwcon| 色色国产| 婷婷五月天丁香| 五月天色色色网| 99精品人人| 天天日综合网射| 99思思热只有在这里看| 91成人品| 国产av天天插天天操天天爽| 欧美 日韩 成人 在线| 九九这里有精品视频| 婷婷情色激情| 天天色色天天| 丁香婷婷五月色综合| 影音先锋偷偷色男人站| 99re在线观看视频| 新激情五月天天在线网| 久久精品国产一区二区三区四区 | 深爱五月激情五月| www.91AV.com| 婷婷免费精品视频| 色播播五月| 五月婷婷六月丁香| 伊综合蕉| 婷婷五月天国产精品| 婷婷涩五月天综合| 91超级碰| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 丁香激情四射| 九九九九操逼| 亚洲精品在线视频| 伊人丁香五月| 91碰超| 欧美韩国日本| 91精品无码久久久久久五月天| 九九sese| 久久精彩免费视频| 国产肥白大熟妇BBBB视频| 99久久新视频| 色色色精品无码区| 久久99热在线观看| 国产成人精品123区免费视频| 色噜噜五月丁香婷婷| ww亚洲ww在线观看| 天天色视频| 超碰99在线观看| 五月丁香婷婷综合网色欲| 99热99网| 激情六月婷婷| 国产毛片精品一区二区色欲黄A片 99国产在线精品视频 | 3pAV| 天天噜| 风流少妇A片一区二区蜜桃| 成人丁香五月婷| 久er7久热| 五月丁香综合网| 少妇高潮A片无套内谢麻豆传| 停停五月色宗合| 性爱在线播放av| 色色色99| 中文字幕一色哟哟哟哟| 婷婷激情四射| 91人人爽久久涩噜噜噜| 色五月播五月| 99在线视频免费| 提提热五月天婷婷| 97人人草| 九九偷拍网| 99热国产这里只有| 91碰| ...婷婷五月综合不卡,国产在线手机| 爱的综合网| 婷婷五月天黄色| 婷久久高清| 丁香五月婷婷深爱综合激情| 丁香五月天婷婷中文字幕| 婷婷色五月91啪啪| 激情综合5月| 日本天天色| 色五月婷婷在线| 91九色欧美| 丁香五月激情性色郤| 久久99热这里只有精品| 激情图片婷婷| 丁香婷婷成人网| 色婷婷成人做爰A片免费看网站 | 色八月婷婷| 激情综合五月婷婷| 亚洲AV久久久久久久久久久久久久久久| 99re熱| 狠狠干综合| 蜜乳久AV| 青青热久精品视频在线观看| 色色色色综合网| 五月婷婷色白丝| 5月婷婷六月丁香| 老司机日日夜夜青草| 伊人九九热| 蜜乳国产网站| 国产精品色色| www.粉嫩av.com| 97色97干| 久久99精品久久久久久青青AR| 久久这里99| 婷婷五月天成人| 亚洲 视频 导航 一区| 五月天激情视频网站| 思思99热| 婷婷激情五月天激情在线| 成人在线网| 涩涩婷婷五月| 99在这里有精品| 俺去也婷婷| 亚洲午夜av| 99.N在线视频| 97爱综合| 九九九九这里只有精品| 婷婷五月天综合亚洲| 六月婷婷六月天天在线免费| 丁香五月婷婷色情综合| 九九精品亚洲| 99色视频在线| 九九精品re免费视频| 色色亚卅| 免费观看18视频网站| 综合99久久| 色99色| 激情综合丁香| 五月婷婷激情四月| 教师性爱毛片| 九九热短视频在线观看| 色哟呦av| 西瓜美女a片| 99视频内射三四| 激情婷婷| 欧美人妻一区二区| 婷婷色导航| 九九九九综合| AV网站免费在线| 男女免费视频999| Caoub青青超碰 | 这里精品| 丁香啪啪中文字幕| 五月激情网站| 丁香色色五月| 天天爽天天摸人妻综合网| 婷婷丁香成人色综合| 色色色综合视频| 99热国产免费| 色五月丁香五月激情五月激情| 婷婷五月色| 五月婷婷偷拍| 欧美丁香五月97色| 伦乱天堂| 99热免| Av九九| 久操无码| 91爱啪啪| 婷婷五月天基地| 婷婷放心五日爱| 五月丁香啪啪激情| 五月综合婷婷五月| 婷婷五月无码| 五月天社区| 免费AV在线| 五月婷婷激情| 99re热99| 色播五月婷婷| 激情婷婷五月亚洲| 97色吧| 伊人久久激情图区五月| 99精品偷自拍| 婷婷丁香激情五月| 韩国不卡AC视频| 色播婷婷五月天| 大香蕉在线99热| 五月停停丁香| 激情五月狠狠喔| 亚洲免费婷婷| 久久丝袜婷婷| 综合色99| 99久久99热| 亚洲乱码精品久久久久..| 五月丁香啪啪激情| 97luluse| 五月婷婷官网色| 久久的爱大香蕉| 天天干天天拍| 色婷网| 这里只有精彩视频| 成人色情五月天婷婷丁香| 欧美日韩精品人妻狠狠躁免费视频| 伊人超碰| 久久五月热| 色色综合色| 人人操人人看97干| 久久停停超碰| 99这里有精品免费| 五月婷婷香蕉| 天天日本夜夜谢| 91九色中文字幕女在线观看| 综合色久| 成人欧美一区二区三区在线观看| 99热午夜精品| 天天干天天干天天| 国产1区2区3区| 夜夜骑夜夜撸| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 亚洲色色在线| 国精产品一区一区三区免费视频| A网在线欧洲| 丁香五月婷婷影院| 天天操天天插| 99er日韩| 超碰成人公开| 综合网亚洲| 国产精品成人AV在线| www.国产色| 六月色婷婷欧美| 级人人91| 久艹大香蕉| 日韩婷婷五月| 久久大大香| 五月丁香婷婷激激激综合网色播| 五月天婷婷激情在线色图| 97欧美在线| 日本五月婷| 五月天播播综合| 热99re| 99国产在线精品视频| 国产VA亚洲VA96| www久久艹| 夜夜撸夜夜骑| 天天操夜夜爽| 五月婷婷深深爱| 色色色99| 色综合色色色色色| 久久婷婷色综合| 色综合天天| 亚洲五月天狠狠| 成人网页在线观看| 婷婷深爱五月| 天天肏天天爽夜夜爽| 殴美97色| 99热精品在线播放| 亚洲中文乱字字幕线在永久| 五月天激情网址| 天天日天天色| 夜丁香五月婷婷| 99综合视频一体| 色五月婷婷DVD| 91久久电影| 欧美激情综合色综合啪啪五月| 午夜婷婷五月天在线| 五月婷婷草| www.夜夜操.com| 国产高清精品色| 九九热99免费视频| 人妻熟人中文字幕一区二区| 5月婷婷激情在线| 色播婷婷大香蕉| 免费视频WWW在线观看网站| 婷婷五月天久久久| 开心五月婷婷五月| 色色六月| 五月天久久婷婷| 天天干天天操天天爱| 丁香五月综合激情性爱| 激情丁香五月| 26UUU欧美| 另类视频一区| 色噜噜狠狠狠狠色综合久欧美| 九九热最新| 思思久久99热| 丁香综合久久| 大香蕉啪啪啪| 丁香六月婷婷| 五月永久激情| 国产综合色婷婷精品久久| 极品人妻VIDEOSSS人妻| 超碰在线观看9| 激情五月婷婷色综合| 成人短视频在线免费观看| 国产精品色色| 玖玖五月| 天天影视色综合网| 97色干| 91色综合久久| 天天干天天色综合| 五月婷婷影| 激情五婷精品网在线观看网址| 丁香五月综合激情久久潮喷| 丁香五月综合| 五月婷婷成人| 99热只有精品在线观看| 婷婷久草| 99九九热视频免费| AA片在线观看视频在线播放| 色综合激情| www.sezonghe| 婷婷六月激情小说网| 综合精品啪啪| 国产AV一区二区三区最新精品 | av婷婷丁香| 亚洲精品午夜国产va久久成人| 久狠日av| 99热免费网站| 四月婷婷五月丁香| 97luluse| 超碰在线成人| 五月丁香无码| 亚洲五月色| 六月综和久久| 夜夜大香蕉婷婷丁香| 色婷婷基地 | 狠狠爱激情网| 日屌日日操日日色| 五月熟妇婷婷久久| 九九综合精品| 91疯狂操操操操| 超碰亚洲欧美| 国产成人+综合亚洲+天堂| 激情九九六月激情免费视频| 色五月色五天色情网| 国在线激情网| 欧洲亚洲午夜| 亚洲情欲久久| 亚洲乱码日产精品BD| 婷婷91| 99久久性爱| 日本熟女三区| 久久久www| 综合久久8| 嫩草AV久久伊人妇女超级A| 九月激情网| 直接看的AV| 九九操综合网| www.狠狠操.co m| 热五月婷婷| 久久九九99.www| 国产XXXX搡XXXXX搡麻豆| 99热99在线| 99这里| 欧美综合五月丁香五月天| 国产乱码久久| 成人在线视频网| 99日在线观看视频| 亚洲日本三级片| 综合五月天| 五月天综合在线| 另类图片五月天| 久久久人妻系列| 狠狠狠狠狠狠草| 免费九九热| 五月丁香六月成人| 综合九色| 人人操人人妻| 婷婷不干网| 国产精品电影| 天天干夜夜谢| 九九热欧美| 99热只有| 日婷婷久久开心| 中文字幕性爱丰满| 热99久久这里只有精品| 国产裸舞福利资源在线视频| www.激情.com.| 色五月婷婷在线| 日本人妻久久| 婷婷五月天大香蕉在线视频观看| 五月久久综合| 北条麻妃九九九国产精品视频| 婷婷综合| 9l视频自拍9l九色成人| 久久婷婷五月| 深爱激情五月婷婷| 爱射综合| 亚洲精品视频在线播放| 黄色成人网站在线播放| 超碰国产AV| 五月婷婷五月天在线| 五月六月婷婷| 久久思思精品| 亚洲国产va| 九九热短视频在线观看 | 噜噜色五月| 4438全国最大视频成人网站在线观看| av婷婷六月丁香社区在线观看| 噼里啪啦在线观看免费完整版视频| 99热手机在线精品| 五月天国产| 色婷婷小说| 色综合久久888| 五月天婷婷伊人| 99无码精品| 草五月| 婷婷 色 丁香 夜| 久久美女五月天| 五月婷综合| 激情文学五月丁香六月婷婷| 亚洲精品大片| 激情图片五月天| 色五月AV| 七七色色综合| 狼友超碰| 五月婷婷六月天| 五月婷婷色| 五月天综合网| 97在线刺激| 九九热啪啪| 丁香伊人网| 婷久久| 一区二区成人电影| 欧美在线视频99| 五月激情六月综合| 丁香五月性爱| 99国产精品久久久久久久久久久 | 草做免费在线观看| 狠狠干综合网| 99视频只有精品| 天天干天天操天天射| 色婷婷天堂| 六月99天天婷婷激情综合| 99re免费精品视频| 五月婷婷在线免费观看| 色婷婷电影网| 免费无码毛片一区二区A片| 国产午夜精品AV一区二区麻豆| 日本视频不卡123区| 五月婷婷综合激情小说| 久久99网| 操人视频91| 久99久精品| 五月丁香香蕉| 天天色综合色色色色色。| 天天插天天日天天爽| 婷婷五月丁香成人| www,26uuu,c0m,色情| 五月婷婷69| 日日干日日| PORNY九色9l自拍视频成人| 国产激情视频在线观看| AV电影在线播放| 国产成人精品一区二三区熟女在线 | 色色色色综合网| 欧美精品中文字幕亚洲专区| 老师高潮流白浆喷水的A片| 九九Y精品热播| 久久91久久91色欲精品| 超碰成人电影| 亚洲天天免费| 婷婷五月丁香综合人妻| 日本色婷婷| 婷婷伊人网| 五月激情小说| 成人免费黄色短视频| 亚洲最大视频网站| 人伦30P| 婷婷五月天激情四射五月天激情| 婷婷五月天激情视频| AV五月婷婷露脸| 偷偷操99| 色婷婷丁香五月| 五月丁香综合激情| 综合久久婷婷| 五月香婷婷| www五月婷婷| 午夜日日| 99re免费精品视频| 欧美天天综合网站上去吧| 婷婷六月色播| 99热亚洲精品| www.色五月| www免费在线视频| 五月香蕉网| 久久九色| 天天做天天爱天天爽在| 亚洲色色香蕉| 在线色色| 色伦专区97中文字幕| 91九九热| 九九碰九九爱97超| 婷婷六月天精品| 国产精品香蕉| 超碰人人艹| 国产AV一区二区三区最新精品| 热99.com婷婷| 日本91在线| 国产又黄又爽又激情不遮挡视频在线观看| 六月丁香婷婷五月| 粉嫩av懂色av蜜臀av熟妇| 五月婷婷影院| 九一牛视频探花| PORNY九色9l自拍视频成人| 色婷婷在线视频久| 色色性爱视频| 色播五月天激情| 亚洲狠9| 婷婷五月综激情| 4438成人电影| 亚洲国产精品成人免费一区久久久在线观看AAAA | 婷婷五月激情四射手| 小色小蛇伊人婷婷色香五月| 可以免费观看的av网址| 天天五月情| 99热日韩| 韩国中文字幕91| 综合网啪| 狠狠狠狠免费| 五月丁香六月婷婷色情| 五月天婷婷影院| 最新久久99视频网站| 99re66热这里只有精品| 人人摸人人干人人做| 丁香激情久久| 91热视频| 97综合在线| 五月丁香成人| 日本天堂爱爱| 97操操网| 久久免费9| 天天成人综合视频| 亚洲五月婷| 婷婷五月天免费99| 五月婷精品| 婷婷六月天激情影院| 91九色欧美| 亚洲字幕AV一区二区三区四区| 色色色婷婷| 狠狠干2007| 99色在线观看视频| 国产看真人毛片爱做A片| 国产色网站| 婷婷五月天人妻| 欧洲不卡视频| 日B日潘金莲BB| 欧美日朝成人| 五月婷婷激情视频| 国产毛片精品一区二区色欲黄A片| 国产精品岛国片在线观看免费| 国产裸舞福利资源在线视频| 伊人五月综合网| 99免费超碰在线| 欧美三级欧美一级| 色情综合网| 激情婷婷五月天| 很很色丁香久久停停| 五月天婷婷在线啪啪视频| 天天影院色| 精品香蕉99久久久久网站| 97操碰视频| 91色情播放| 天天综合精品| 97干网站| 丁香六月伊人| 99re在线播放| 99热亚洲| 激情亚洲网| 最近中文字幕2019视频1| 色婷婷a v| 婷婷五月色亚洲| 五月天综合| 午夜免费高清AV片| 五月婷婷免费视频| 婷婷激情图片| 玖玖五月| 日日插日日干| 婷婷丁香六月| 亚洲综合另类| 丁香婷婷视频一区二区| 精品久热| AV在线免费播放| 色五月丁香伊人五月| 国产FREESEXVIDEOS性中国| 99热综合网| 天天做天天爱天天做| 极品少妇高潮啪啪AV无码| 97人人看| 日日噜狠狠色综合久| 99精彩视频网站在线| 91啪啪视频| 丁香五月天婷婷中文字幕| 99se丁香| 五月丁香日本一抹本| 激情性爱五月| 97碰操| 黄页大全十八禁| 26uuu国产| 欧美人久久| 激情五月天在线视频| 日韩AV中文在线观看| 婷婷99| 婷婷激情人妻| 国产亚洲成AV人片在线| 99视频精品8 | 色欲AVV| 亚洲丁香五月天在线视频| 激情综合久久| 91精品人妻少妇无码影院| 国产婷婷色综合AV蜜臀AV| 另类少妇人与禽zOZZ0性伦| 99在线观看| 色在线99| 亚洲av网址| 夜夜爽天操| 一本色道久久88加勒比| 永久99免费视频网站| 99色视频| 久久婷狠狠色| 99色在线| 91丨九色丨国产在线| 四月婷婷丁香| 久久久久久五月天| 六月婷婷狠狠色在线观看| 人人操AV| 婷婷久久五月丁香| 97干综合网| 午夜福利8055| 狠狠色婷婷777| 新激情五月天| 日本色婷婷五月天成人电影| 日日日日日| 婷婷五月天丁香| 欧美日韩123| 五月婷久久久| 六九色综合婷婷五月天| OUMEIRIHANCHENGREN| 天天干狠狠艹| 十二区无码| 亚洲一区二区无码蜜乳av| 丰满少妇猛烈A片免费看观看 | 国产操逼网站| 久久成人人妻| 99久久超级| 天天射天天射一道本日本社区 | 大陆极品少妇内射AAAAAA| 五月色情婷婷开心五月天| 久久五月天婷婷| 丁香五月自拍| 丁香五月婷婷啪啪啪| 99精品国产在热久久婷婷| 久久丁香五月| 丁香婷婷婷五月综合色情| 伊人五月天在线| 97久操| 夜夜骑夜夜撸| 岛国资源站| 五月婷婷在线综合| 天堂网操| 噜噜网免费视频| 婷婷激情五月天激情小说| 这里只有精彩亚洲视频推荐| 视频一区二区在线| 五月天基地| 99九九精品视频推荐| 天天操天天日天天操| 91精品刘玥| 色噜噜婷婷| 亚洲啪啪自拍| 五月丁香免费看| 五月婷九九草| 五月天综合在线观看| 五月情涩综合婷婷| 99网99热| 天天肏天天肏天天肏| 激情五月色婷婷| 日韩欧美老妇性视频91久久久| 丁香五月成人| 婷婷五月综合社区| 99九九久久| 热中文字幕| www.色婷婷| 久久国产性爱A V| 国产精品大香蕉| 婷婷色播六月无码| 亚洲午夜在线视频| anquye五月| 夜色爱爱亚洲| 色色亚洲视频| 五月婷婷深深爱| 五夜婷婷| 日日天天天| 久久视频在线视频| 精久久色| 天花AV无码| 午夜婷婷久久 | 国产人妻777人伦精品HD| 99精品视频在线| 91碰碰视频在线观看| 欧美丁香婷婷五月天| 久人操| 色婷婷在线播放| 国产一级片| 婷婷色色网| 久色中文| 久综合4| 五月丁香六月婷婷操操操| 日本久久99久久| 亚洲无码播放| 丁香五月综合激情久久潮喷| 亚洲 在线 另类| 五月天激情www| 五月五月婷婷| 成人短视频在线| 久久66er久久| 亚洲午夜在线视频| 色中色综合| 99视频35精品视频在线观看| 伊人在线视频| 婷婷色日本| 超碰99成人在线| 欧美日比视频| 激情网战码亚洲A| 青草视频在线播放| 九九精品视频在线观看| 五月间天堂综合| 久99热| 狠狠操天天操天天操| 操日本99| 久re热视频| 色婷丁香| 丁香五月成人| 婷婷精品性性性性性性性| 99精品高潮| 色色色色网| 99色视频在线观看| www.91AV.com| 欧美久久婷婷| 五月丁香婷色| 婷婷狠狠爱| 色停停香蕉视频| 99热欧| 亚洲精品第一国产综合亚AV | YW无码| www.99婷婷| 亚洲视频丁香网va| 淫视馆av三区| 国产激情av| 丁香婷婷五月天亚洲| 久久成人亚洲欧美电影| 久久电影4399| 五月婷婷综合色啪| 最熟少妇乱码| 色五月婷婷av| 夜夜天天久久婷婷| 五月天大香蕉AV| 五月花激情| 婷婷五月久久| 日韩av在线免费观看| 人人爱操| 另类小说激情五月天| 色综合久久888| 免费观看18视频网站| 婷婷五月天激情免费在线观看| 超碰人人射| 九九热青草| 噜噜噜久久| 久久综合婷婷| 波多野结衣不卡AV| 在线网黄| 26uuuavcom| 国产免费av在线| 97在线视频观看| 婷婷五月天综合久久| 色六月丁香婷婷啪啪啪| 999热这里只有美国精品| 免费婷婷| 玖操97| 97人妻碰碰碰久久香蕉| 中国丰满熟女A片免费观| 天天日天天干天天爽| 成人日韩欧美| 九九无毛| 91五月天| 亚洲婷婷激情五月天| www.91色| 久久免费少妇高潮99精品| 天天操B| 天天爽天天爽夜夜爽| 久久色五月| 久久久国产精品黄毛片| 激情五月色婷婷| 日日干夜夜撸夜夜骑| 国产免费av在线| 亚洲中文字幕在线观看| 丁香六月婷婷综合缴| 夜夜涩涩涩| 中文字幕黄色电影网址| 天天综合精品| 亚洲综合五月天婷婷丁香| 天天色伊人| 中文字幕丰满人妻无码专区| 91男人操女人视频| 天天色图| 丁香五月婷婷手机| 欧美婷婷六月丁香综合色| 殴美97色| 日日夜夜狠狠| 五月亭亭狠狠| 亚洲色婷婷99一9|| 99热精品观看| 婷婷五月丁香综合亚洲| 婷婷色导航| 五月六月婷婷| 九月丁香婷婷综合激情| 久热精彩视频98| 色综合久久久久| 另类激情五月在线视频欧美| 丁香六月天婷婷色| 中文AV在线播放| 久久婷婷艹| 色五月播五月| 96丁香六月婷婷蜜桃综合久久| 五月婷伊人| 99在线视频播放| ai97re99一本| 一区二区三区视频| 婷婷狠狠97| 亚洲激情综合五月婷婷啪啪| 草草视频91| 亚洲精品成人片在线播| 四川女人毛多水多A片| 97碰碰人人| 色色色免费视频| 久久婷婷五月草视频在线播放| 久9久成人精品视频| 九九99精品免费播放| 激情六月婷婷| 超碰在线中文字幕| 五月婷婷六月婷| 天堂婷婷五月在线| 五月天操逼网| 免费在线观看av网站| 色色五月婷婷| 爆乳熟妇一区二区三区爆乳照片| 中国激情网| 亚洲激情高潮| 99热最新| 亚洲无码www| 国产毛片操B| 精品久热| 成人版视频在线观看| 79色色| 中文无码精品一区二区三区| www.zbzhongsen.com| 另类图片五月天激情| 99视频| 99热在这里只有精品| 日本欧美成人片AAAA| 丁香婷婷色五月合集| www.25五月婷婷| 成人一级片| 五月丁香亭亭AV女优| 97人妻超级碰碰碰碰碰| 人人爱人人草| 99九九热在线观看| 思思热在线精品视频| 欧美性丁香色色五月天| 婷婷五月激情热播| 五月色丁香| 久久婷婷五| 97人碰人操| 久久精品99国产精品日本| 日日夜夜婷婷| 91狠狠色丁香| 91成人性爱视频| 青青福利网| 性婷婷| 九九热99re8热免费观看 | 色色啊| 亚洲综合在线视频| 大香蕉五月天婷婷丁香91| 五月婷婷精品| 日韩AC在线免费观看| 免费看欧美成人A片无码| 色五月综合网| 久99久在线观看| 99热久久这里只有精品2010| 婷婷六月中文字幕| 《诡秘之主》在线观看 | 婷婷丁香色五月亚洲| 婷婷午夜丁香| 熟女91九色| 亚洲婷婷丁香五月| 婷婷六月偷拍| 五月天丁香婷婷网| 欧美成人精品A片免费一区99| 日日综合网| 久99久在线| 色色色热| 熟女激情五月天| 色婷婷激情五月天| 婷婷综合六| 热久久66| 综合色天天| 热99精品视频观看| 丁香五月激情天AV无码| 久久五月天激情美女| 久久激情综合| 中文激情网| 久久久久久久97| 日本熟妇精品99| 99操久久| 九九色欲网| 玖玖无码中文| 亚洲AV日韩无码| 五月丁香婷婷综合久久| 欧美图片丁香五月天| 97干在线观看| 丁香婷婷性久久| 成人在线观看一区| 在线超碰精品| 色色97丁香婷婷五月天| 色色图五月天| 极品五月天| 婷婷五月性感| 激情综合色婷婷啪啪五月天| 男人先锋久久| 婷婷五月天国产传媒| 亚洲精品V天堂中文字幕| 另类小说五月天| 激情小说五月天| 欧美激情五月天| 粉嫩AV久久一区二区三区| 欧美韩国日本| 国产真实乱了老女人视频| 九九热在线精品视频| 丰满人妻一区二区三区| 色色亚洲| 免费看欧美成人A片无码| 婷婷丁香五月综合| 无码免费人妻A片AAA毛片西瓜 | 99视频这里只有免费精品| www99热| 欧美内射AA| 亚洲丁香花色| 99久热这里只有精品视频删减版| 99精品热视频只有精品10| 开心六月丁香五月婷婷| 久er7久热| 激情婷婷五月天网址| 狠狠色狠狠鲁| 呦呦v线| 丁香五月激情婷婷激情| 小视频一区| 这里只精品热在线18| 岛国AV网站| 人人草开心五月天| 99色 | 涩涩激情五月婷婷| 99久久婷婷五月| 欧美日韩五月婷婷| 啪啪丁香五月| 色爽九九| 日韩亚洲视频| 99久久99视频只有精品| 狠狠色五月激情| 插插插色综合网| 五月天婷婷深深爱| 91精品综合久久久久久五月丁香 | 国产精品久久欧美久久一区| 国产精品美女久久久久AV超清 | 91日婷婷在线| 五月亭大香蕉| 丁香五月人妻| 久久五月综合| eeuus五月婷| 五月色情网| 六月婷婷久久大全| 高清无码网址| 亚洲AV成人在线| 五月天精品| www,黄色在线,con| 日本性视频| 久久新地此| www狠狠| 色综合色综合色综合高潮| 久久人人人人妻| 久久99热在线观看| 亚洲无码另类| 婷婷视频网| 丁香久久在线| 一区二区传媒视频| 开心五月综合激情网| 天天人人综合| 思思热精品免费视频| 五月丁香淫淫婷婷婷| 99热天堂| 51国精产品自偷自偷综合| 久九男女天堂| 狠狠色噜噜狠狠亚洲A∨| 色色色地址| 偷偷狠狠久久婷婷五月天| 操日本人妻视频| 五月天天爱| 丁香五月婷婷AV| 亚洲成人免费电影| 婷婷六月天国产综合| 激情性爱网站| 一级黄色影片| 五月丁激情| 六月婷婷在线| 91热在线| 无码人妻AV久久久一区二区三区| 91伦| 91婷婷搞| 婷婷舔| 天天日天天干天天天| 婷婷五月天黄色| 99热久久这里只有精品| 开心五月婷婷伊人| 黄色五月婷婷| wwW天天干| 丁香五月婷综合网| 久久久宗合视频88| 先锋影音男人的天堂AV| 伊人九九热| 五月丁香激情片| 婷婷综合色五月天| 日本色99| 亚洲日韩一页精品发布| 综合激情四射一theav| 狠狠久久婷五月| 成人网丁香五月| 99视频这里有精品| 色色色综合| 怡春院天天干| 久碰婷婷视频| 丁香婷婷激情五月| 性色99| 日韩狠狠色| 99在线精品免费视频| 99久高清视频| 偷偷狠狠久久婷婷五月天| 五月丁香六月激情啪| 色婷婷成人网| 亚洲色无码A片一区二区麻豆| 亚洲午夜一区二区| 无码一区二区日韩| 成年人看Va免费视频| 六月激情婷婷| 色婷婷伊人激情在线观看| 大香蕉久久久| 五月综合777| 玖玖婷婷色五月| 国产AV国片偷人妻麻豆| 成人网页在线观看| 高潮毛片遮挡费高一百度| 丁香五月激情无码视频| 综合色图区| 99色综合久久| 色狠狠综合网| 午夜婷婷五月天在线| 久久永久视频| 日韩国产在线精品| AV无码免费| 五月色导航| 色五月欧美| 欧美性生交XXXXX无码小说| av操一操| 五月色 亚洲| 五月 成人 婷婷| 极品人妻VIDEOSSS人妻| 青青草原伊人网| 激情小说五月丁香在线视频观看视频| 色五月婷婷色五月| 久久五月天婷婷| 亚洲啪啪精品| 五月婷婷伦理| 五月丁香六月婷婷激情视频在线观看免费| 九热视频| 色九九一二| 综合激情开心五月| 丁香激情网| 色欧美一级| 爆乳熟妇一区二区三区爆乳| 五月婷婷狠狠干| 六月丁香五月天| 波多野结衣成人作品在线| 五月婷丁香花| 日日.c| 狼人久草| 久久综合婷婷五月| 五月天婷五月天综合网在线观| 婷婷婷久久久| 激情五月婷婷综合网| 伊人色综合影院视频| 亭亭五月天黑人2014| 婷婷天天色| 一区二区aV电影免费看| 深爱激情四射| 色99热| 日本色色色色色色色色一色二色| 色婷婷久久久| 26uuu最新地址| 成人在线视频网| 丁香九月激情久久| 五月丁香六月色婷婷| 四色永久成人网站| 久久五月天丁香花| 玖玖在线资源视频| 97干在线播放| 天天肏视奸| 99热国产国产| 五月婷婷六月丁香五月| 激情九月婷婷九月| 五月丁香六月婷婷精品| 久色欧美| 色婷婷五月综合| 久久色五月| www,五月天激情| 99热精品免费| 超碰93在线观看| 丁香五月激情鲁| 可以免费观看的av| 九九热99视频| 狠狠摸狠狠摸|