欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

強化學習驅動數(shù)據(jù)中心節(jié)能:DQN三維協(xié)同調度實踐

強化學習驅動數(shù)據(jù)中心節(jié)能:DQN三維協(xié)同調度實踐 做數(shù)據(jù)中心調度的人大概都有過這種困擾手里掌握著幾十上百臺服務器的運行數(shù)據(jù)CPU利用率、機柜溫度、空調功率、實時電價全都擺在屏幕上可到了做決策時卻不知道該先調誰、調多少才算最優(yōu)。早年間我還在用閾值規(guī)則硬懟設定溫度超過32度就加大制冷CPU超過80%就遷移任務結果往往是冷熱不均、電費翻倍調度員忙成救火隊員。后來把問題換成電力-熱力-算力三維協(xié)同的視角再引入深度強化學習里的DQN算法用Matlab搭出一套智能調度原型才算摸到了門道。這篇博文就是把我從問題建模、馬爾可夫決策過程設計、DQN訓練到Matlab代碼落地的完整思路捋一遍也會把踩過的坑和調參經驗一并分享適合正在做數(shù)據(jù)中心節(jié)能調度、剛入門強化學習或者想把算法從論文搬到工程實驗里的讀者。1. 先理解三維協(xié)同在調度里到底指什么1.1 數(shù)據(jù)中心能耗的真實分布很多人一提數(shù)據(jù)中心節(jié)能第一反應就是把服務器功耗降下來。但真正拆開電表看IT設備的耗電只占一部分空調制冷和供配電損耗加起來通常占整個數(shù)據(jù)中心總能耗的三到四成。也就是說就算服務器不動冷卻系統(tǒng)照樣在燒電。更麻煩的是兩套系統(tǒng)互相耦合任務跑得多服務器發(fā)熱大空調負載就得跟著加電價高峰時段還可能撞在一起。以前我把IT調度和制冷調度分開優(yōu)化測出來的省電數(shù)據(jù)很漂亮一聯(lián)動就露餡成本反而上升。所以在三維協(xié)同框架里電力、熱力、算力不是三個平行的話題而是一條因果鏈算力負載決定了服務器功耗和產熱產熱決定了冷卻需求冷卻功率和IT功耗疊加成總用電成本電價信號又反過來決定哪些時間段該多算、哪些時間段該少算。調度算法必須能感知這條鏈上的每一個環(huán)節(jié)才能做出全局最優(yōu)的決策。1.2 三維協(xié)同的數(shù)學化表達我把這個系統(tǒng)建模成一個離散時間、帶約束的馬爾可夫決策過程(MDP)。時間片設為15分鐘每個時隙內觀察系統(tǒng)狀態(tài)選擇一個動作然后獲得成本和狀態(tài)轉移。這里有幾個關鍵設計決策電力側采用分時電價模型目前國內多數(shù)工商業(yè)場景都執(zhí)行峰谷分時電價峰段電價通常是谷段的2到3倍。把電價作為環(huán)境狀態(tài)的一部分調度策略就要學會在電價低時把任務提前算完在電價高時減少新任務進入。熱力側用簡化的傳熱模型描述機柜溫度變化溫度不僅受本機柜IT負載影響還受相鄰機柜和環(huán)境溫度影響??照{系統(tǒng)有最大供冷功率限制溫度超過安全閾值會產生懲罰。算力側任務以隊列形式到達每個時隙可以選擇將任務分配到某個服務器并執(zhí)行也可以暫時留在隊列。任務有最大可容忍延遲排隊時間超過期限就算違約。這三個子系統(tǒng)的模型在Matlab里不要做得太精細先線性化、先抓住主要耦合關系夠用就行。我見過不少項目一開始就把流體力學細節(jié)和芯片級功耗都塞進去結果模型本身比調度問題還復雜強化學習根本訓不動。工程上合理的做法是從帶通解的簡化模型開始驗證算法有效后再逐步加復雜度。1.3 為什么選擇DQN而不是直接上優(yōu)化器這類調度問題如果寫成混合整數(shù)規(guī)劃理論上可以用求解器跑出最優(yōu)解。但實際場景里狀態(tài)量有十幾個維動作組合又是離散的任務分配、冷卻擋位、服務器開關機求解器在幾十個時間片規(guī)模下還能跑拉到全天96個時隙、上百臺服務器就變成天文數(shù)字。傳統(tǒng)的啟發(fā)式算法如最早截止期優(yōu)先調度加閾值制冷控制速度快但不會主動利用電價低峰特性對非線性耦合也缺乏全局視角。DQN恰好填補這個空白它不需要環(huán)境模型模型我們只是用來做仿真器能接受高維度狀態(tài)輸入輸出的是離散動作的Q值天然適配每15分鐘做一次開關機決策、冷卻擋位切換這類場景。而且Matlab的仿真環(huán)境和可視化做得直觀適合先驗證算法邏輯再遷移到真實平臺。當然DQN不是萬能的如果動作空間包含連續(xù)變量比如冷卻水流量連續(xù)調節(jié)那就得換DDPG或TD3這個后面再展開。2. 狀態(tài)空間、動作空間和獎勵函數(shù)的設計2.1 狀態(tài)空間怎么定義才不冗余狀態(tài)設計的原則是夠用且不冗余不是說變量越多越好。我最初把每臺服務器的歷史利用率也塞進狀態(tài)維度一下子沖到30多網(wǎng)絡訓練時間翻倍性能還變差。后來重新梳理因果鏈最終保留了10個狀態(tài)量狀態(tài)變量物理含義備注任務隊列長度Q當前等待調度的任務數(shù)相對值方便歸一化隊列平均等待時長W反映延遲壓力用于違約懲罰判斷各服務器CPU利用率 U_i每臺服務器負載水平一維向量維度等于服務器數(shù)機柜溫度 T_i對應機柜出風溫度與熱力模型耦合空調總制冷功率 P_c當前冷卻系統(tǒng)用電可觀測實時電價 price當前時隙電價來自分時電價曲線外部環(huán)境溫度 T_out影響制冷效率可設為常量或隨時間變化狀態(tài)歸一化非常重要。我踩過的最大的坑就是原始狀態(tài)直接喂網(wǎng)絡結果大量利用率的數(shù)值都在0.5~0.8電價卻在0.3~1.5之間波動溫度又是30~40網(wǎng)絡梯度被大數(shù)值變量主導收斂特別慢。Matlab里有normalize函數(shù)但要注意不能一次性歸一化后直接用于在線推理得記錄訓練集的min和max推理時用同樣的映射。2.2 動作空間與離散化策略DQN要求動作空間是離散的而調度問題天然包含連續(xù)量比如任務分配比例、冷卻功率所以需要人為離散化。我最終把動作設計成三種子動作的笛卡爾積任務分配策略任務分配給哪臺服務器每臺服務器一個離散選項。冷卻擋位調節(jié)制冷功率設定為低/中/高三擋避免連續(xù)功率帶來的動作爆炸。服務器開關機每臺服務器可以選擇關機或開機。這樣動作數(shù) 服務器數(shù) × 3 × 2如果服務器是5臺動作空間就是30。我實際實驗里用5臺服務器和30個離散動作DQN訓練還比較穩(wěn)定。如果動作空間超過100建議考慮動作分支架構dueling DQN 分支輸出否則全連接網(wǎng)絡輸出層太大訓練效率和穩(wěn)定性都扛不住。有一點要特別提醒服務器開關機動作會讓狀態(tài)轉移變成非完全馬爾可夫的因為服務器從關機到開機存在啟動時間理論上需要把正在啟動的服務器也納入狀態(tài)。為了簡化我在環(huán)境里規(guī)定關機動作后至少間隔兩個時間片才能重新開機并把服務器狀態(tài)作為記憶的一部分體現(xiàn)在仿真器里這樣MDP假設依然近似成立。2.3 獎勵函數(shù)成本的負數(shù)加上懲罰DQN訓練的目標是最大化累計獎勵調度場景下自然應該把負成本作為獎勵。但單純負成本太稀疏需要加入懲罰項加速學習。我的獎勵函數(shù)構造如下reward - (c_elec c_switch c_sla c_temp) c_elec price * (sum(P_idle P_dynamic*u_i) P_cool) * dt c_switch beta * sum(激活開關機動作的服務器數(shù)量) c_sla gamma * max(0, 任務等待時間 - 最大容忍時間) c_temp lambda * sum(max(0, T_i - T_max))各項的含義c_elec當前時隙總電費包含IT設備空載功耗、動態(tài)功耗和冷卻功耗。c_switch對頻繁開關機動作的懲罰避免策略抖動β一般取0.1~0.3。c_sla任務違約懲罰γ較大比如1.0讓算法優(yōu)先滿足服務約束。c_temp溫度超限懲罰λ也要設得比較重因為過熱會損壞設備。這個獎勵函數(shù)看起來簡單但細想是有講究的。如果把電價項權重設得太高算法會傾向于讓所有服務器都關機來省電然后任務瘋狂違約訓練出來一個看起來很省電、實際完全不能用的策略。為了平衡我實驗時會記錄純省電策略和純履約策略下的單步獎勵范圍然后反推權重讓兩個方向的最壞情況都不至于壓過對方。2.4 仿真環(huán)境的狀態(tài)轉移邏輯Matlab實現(xiàn)里環(huán)境仿真器其實就是一個函數(shù)輸入是當前狀態(tài)和動作輸出是下一狀態(tài)和獎勵。我習慣寫成[next_state, reward, done] env_step(state, action, params)。內部邏輯根據(jù)動作更新服務器開關狀態(tài)和冷卻擋位。任務隊列并入新到達任務將部分任務分配給指定服務器執(zhí)行更新各服務器利用率。調用熱力模型更新機柜溫度。計算各項成本與懲罰得到獎勵。檢查是否達到仿真終點例如96個時隙跑完。熱力模型我用的是一階熱平衡方程某一時刻溫度變化率等于產熱功率減去散熱功率再乘以熱容倒數(shù)。Matlab里用歐拉前向差分更新就行時間步長15分鐘穩(wěn)定性沒問題。真正要小心的是不能讓溫度狀態(tài)出現(xiàn)負值或者超出物理范圍否則后期仿真的數(shù)值會崩掉。3. DQN算法的核心機制與Matlab代碼實現(xiàn)3.1 DQN為什么能穩(wěn)定訓練兩個關鍵機制如果只用一個普通神經網(wǎng)絡做Q值擬合訓練震蕩會非常嚴重。原因很簡單網(wǎng)絡在更新時目標值也是同一個網(wǎng)絡算出來的參數(shù)一變目標就跟著變模型在追一個移動靶子。DQN的兩個核心機制就是為了解決這個移動靶問題。第一個是經驗回放Experience Replay。把每一步的(state, action, reward, next_state, done)存進經驗池訓練時隨機采樣一個小批量打破數(shù)據(jù)的時間相關性避免網(wǎng)絡對近期經驗過擬合。第二個是目標網(wǎng)絡Target Network。維護一個參數(shù)更新比較滯后的目標網(wǎng)絡每隔C步才從當前網(wǎng)絡同步權重用它來計算TD目標讓訓練目標在一段時間內保持穩(wěn)定。在Matlab里實現(xiàn)經驗池我直接用一個結構體數(shù)組加頭尾指針簡單不花哨。經驗池容量設成20000~50000采樣批量64目標網(wǎng)絡同步周期C設為200步這些是我試過比較穩(wěn)的參數(shù)。容量設太大比如100萬會導致早期經驗占太多學習效率低容量設太小則回放樣本高度相關效果還不如在線學習。3.2 神經網(wǎng)絡結構與Matlab代碼網(wǎng)絡結構我用的三層全連接輸入層10個節(jié)點對應10維狀態(tài)隱藏層分別64和32激活函數(shù)ReLU輸出層30個節(jié)點對應30個離散動作。Matlab里有現(xiàn)成的強化學習工具箱可以構造DQN智能體但我更推薦手寫訓練循環(huán)因為后面要調獎勵權重、觀察中間值手寫控制力更強。% 定義Q網(wǎng)絡 state_dim 10; action_dim 30; hidden 64; % 使用Deep Learning Toolbox的函數(shù)構建網(wǎng)絡 lgraph layerGraph([ imageInputLayer([state_dim 1 1], Normalization, none, Name, state_in) fullyConnectedLayer(hidden, Name, fc1) reluLayer(Name, relu1) fullyConnectedLayer(hidden/2, Name, fc2) reluLayer(Name, relu2) fullyConnectedLayer(action_dim, Name, fc_out) ]); % 注imageInputLayer要求輸入為[w h 1]格式這里把狀態(tài)向量當1xN的圖像注意Matlab的imageInputLayer對單通道輸入有自己的尺寸要求習慣上把狀態(tài)向量當做一個寬為N、高為1、通道為1的圖像來定義。也可以用featureInputLayer但我在R2021a下測試過featureInputLayer與rlVectorQValueFunction結合更順滑不過手寫訓練時不必執(zhí)著于某個API能完成前向計算和梯度反向傳播就行。前向Q值計算和反向傳播我優(yōu)先用dlnetwork對象方便dlgradient自動求導% 將layerGraph轉為dlnetwork net dlnetwork(lgraph); targetNet dlnetwork(lgraph); % 目標網(wǎng)絡初始相同 % 前向計算 Q(s) state dlarray(single(s_state), CB); Q_vals forward(net, state, Outputs, fc_out); Q_max_next max(forward(targetNet, state_next, Outputs, fc_out));3.3 訓練主循環(huán)訓練主循環(huán)結構非常傳統(tǒng)每個時間步在仿真器里采一個經驗存進經驗池每4步做一次小批量訓練每200步同步一次目標網(wǎng)絡。我自己寫的訓練主循環(huán)核心代碼如下for ep 1:maxEps state env_reset(); done false; while ~done % epsilon-greedy動作選擇 if rand() epsilon action randi(action_dim); else Q_all predict_Q(net, state); [~, action] max(Q_all); end % 執(zhí)行動作獲得轉移 [next_state, reward, done] env_step(state, action, env_params); % 存入經驗池 buffer_add(buffer, state, action, reward, next_state, done); state next_state; % 每4步訓練一次 if mod(t, 4) 0 buffer.size batchSize [s_b, a_b, r_b, s_next_b, done_b] buffer_sample(buffer, batchSize); train_dqn(net, targetNet, s_b, a_b, r_b, s_next_b, done_b, gamma, lr); end % 每200步同步目標網(wǎng)絡 if mod(t, 200) 0 targetNet net; end % epsilon線性衰減 epsilon max(epsilon_min, epsilon * epsilon_decay); t t 1; end end這里有個細節(jié)Matlab的forward和predict用法在深度學習工具箱里很靈活但每次前向都要構造dlarray訓練速度遠不如Python的PyTorch。想要加速可以利用Matlab的并行計算工具箱把環(huán)境仿真和網(wǎng)絡訓練分別放到不同的worker上或者減少批量訓練的頻率。我在實驗中把每4步訓練一次改成每8步訓練一次損失下降曲線穩(wěn)定很多電費優(yōu)化率還稍微提升了這說明訓練頻率過高也會導致策略在局部振蕩。3.4 超參數(shù)參考表超參數(shù)推薦范圍我的最終取值調參心得學習率1e-4~1e-35e-4過大會震蕩過小收斂慢也回不到最優(yōu)折扣因子γ0.9~0.990.95太大則算法短視太小則只看眼前ε初值0.5~1.00.8先充分探索再逐步利用ε最小值0.01~0.10.01保證后期仍有一點探索經驗池容量20000~5000030000容量不夠會讓目標網(wǎng)絡失去意義批量大小32~12864大批量訓練更穩(wěn)定但更慢目標網(wǎng)絡同步周期100~500200太頻繁等于沒有目標網(wǎng)絡隱藏層節(jié)點數(shù)64~12864狀態(tài)量不多時不需太寬這些參數(shù)不是死數(shù)關鍵是理解每個參數(shù)調節(jié)背后的物理直覺。比如折扣因子γ如果調大意味著策略更看重長期成本這跟電價峰谷周期長度有關電價周期是一天24小時96個時隙那γ0.99可能比0.95更合適因為未來20個時隙的影響都不能忽視。我最終在γ0.95和0.99之間選擇的依據(jù)是累計獎勵的方差γ越大方差越大訓練初期越不穩(wěn)定。4. 實驗設計、對比基線與結果解讀4.1 實驗場景與數(shù)據(jù)集生成實驗的場景參數(shù)必須貼近實際否則驗證結果沒有說服力。我用5臺規(guī)格相近的服務器每臺服務器空閑功耗150W滿負載功耗400W最高算力容量按單位任務計算。任務到達率用泊松過程模擬平均每小時到達16~24個任務每個任務需要1到3個單位的CPU資源。電價曲線采用典型的分時三段制峰時1.2元/度、平時0.7元/度、谷時0.3元/度峰值時段為上午10點到下午14點和傍晚18點到22點。外部環(huán)境溫度設置為25~35攝氏度的日變化曲線模擬夏季工況。每5次仿真使用相同隨機種子生成同一套任務到達序列確保不同策略對比的公平性。Matlab里用rng(seed)控制隨機數(shù)這個是實驗復現(xiàn)的底線。4.2 對比基線的選擇做實驗最忌諱只跟隨機策略比較說服力太弱。我選了三個有實際參考意義的基線隨機策略每個時隙隨機選動作。這個基線一般主要用來驗證環(huán)境仿真器沒有bug。閾值啟發(fā)式策略當隊列長度超過閾值時把任務分配給利用率最低的服務器機柜溫度超過35度時冷卻調高擋位。這是很多現(xiàn)場還在用的傳統(tǒng)做法。貪心策略每個時隙選擇當前Q值最高的動作即DQN去掉了探索環(huán)節(jié)直接利用。這個對比能看出離線訓練出的策略到底好不好用。此外如果環(huán)境允許還可以加一個理想化求解策略即用混合整數(shù)規(guī)劃求解器在小規(guī)模問題上求最優(yōu)解作為性能上界。我這里只有5臺服務器動作空間30用求解器算96個時隙的最優(yōu)解可行于是我也加了這個參照。4.3 結果分析與深層機制剖析實驗結果顯示DQN策略在總電費上比閾值啟發(fā)式策略節(jié)省了17%左右比隨機策略節(jié)省40%以上跟理想最優(yōu)解的差距縮小到6%以內。最有意思的是電費節(jié)約的構成我原本以為主要省在制冷功率的調節(jié)結果拆解后發(fā)現(xiàn)最大一部分來自任務轉移——DQN學會了在電價低的夜間把能推遲的任務安排給服務器白天高峰時段只處理緊急任務服務器關機數(shù)量白天明顯多于夜間。這個現(xiàn)象背后是DQN通過獎勵函數(shù)逐步學到了電價差這個時間維度的特征這恰恰是傳統(tǒng)閾值策略做不到的。閾值策略只關心當前隊列長度和溫度完全沒有對電價會在未來幾個時隙上漲的預判能力。溫度表現(xiàn)同樣滿足預期。DQN策略把機柜溫度控制在35度以下的概率約為98.7%略低于理想最優(yōu)策略的99.2%但遠高于貪心策略的91.3%。貪心策略的問題在于訓練結束后我把探索完全關掉網(wǎng)絡對某些狀態(tài)下Q值的變化很敏感偶發(fā)情況下會做出極端動作比如氣溫較高時關機過多導致剩余服務器超載可見探索噪聲在訓練中的正則化作用對策略魯棒性也有貢獻。收斂性上DQN在3000個episode左右開始穩(wěn)定累計獎勵曲線波動幅度從±40%收窄到±8%。有趣的是我最初設置的訓練episode是一萬但測試發(fā)現(xiàn)2500~4000個episode之間策略性能基本不再提升過早停止會差一些訓練過頭也不見得更好有些子優(yōu)動作會慢慢占據(jù)上風所以實踐里我建議訓練中保存多個checkpoint最后用驗證集上的表現(xiàn)挑選最優(yōu)模型而不是簡單取最后一個episode的結果。5. 工程實現(xiàn)中的常見問題與調試手記5.1 獎勵函數(shù)的稀疏與數(shù)值爆炸第一個常見問題是獎勵數(shù)值范圍跨度太大。電費一檔可能是幾十塊錢溫度懲罰一算出來就是上百萬神經網(wǎng)絡損失直接爆表。這個問題的解法不是簡單歸一化而是讓獎勵項量級盡量一致。我重新設計權重后把各項單步獎勵控制在[-10, 0]區(qū)間訓練穩(wěn)定性立竿見影。這里有個實操技巧寫完獎勵函數(shù)先跑一次不訓練的隨機策略把每項獎勵的分布打印出來看數(shù)量級用這個分布去定權重比憑感覺靠譜得多。5.2 Q值過估計問題DQN的Q值天然存在高估傾向因為max操作符會累積噪聲。我在實驗初期也觀察到訓練后期網(wǎng)絡輸出的Q值比實際累計獎勵大好幾倍但最優(yōu)動作仍然正確所以這個問題沒有立刻影響策略。但如果Q值高估到一定程度次優(yōu)動作也可能被誤選尤其當兩個動作的真實Q值非常接近時。緩解手段有兩個一個是把目標網(wǎng)絡換成Double DQN用當前網(wǎng)絡選擇最佳動作、目標網(wǎng)絡計算該動作的Q值另一個是我實際用的——降低目標網(wǎng)絡的同步頻率給目標值一個冷卻期。如果項目時間充裕建議直接上Double DQN改動量只有3~5行代碼性價比很高。5.3 Matlab訓練效率低下的應對思路Matlab訓練深度網(wǎng)絡的速度確實比C或Python慢我在入門階段也為此困擾過。但仔細分析后發(fā)現(xiàn)大部分時間花在dlarray創(chuàng)建和環(huán)境仿真的串行執(zhí)行上。三個優(yōu)化立竿見影第一狀態(tài)和獎勵盡量用MATLAB原生數(shù)組操作不要在循環(huán)里反復調用zeros和dlarray第二把env_step改成向量化計算一次仿真所有服務器溫度同步更新避免逐臺服務器for循環(huán)第三嘗試用MATLAB Coder把環(huán)境仿真轉成MEX如果項目周期允許這一步能帶來接近5倍的加速。另一個思路是用并行工具箱做多智能體并行訓練——既然算法是獨立環(huán)境的可以開8個worker并行采樣再集中訓練效果類似Ape-X架構的簡化版。這個方案我實驗過收斂速度大約提升3倍代價是實現(xiàn)復雜度增加不少。5.4 訓練不收斂時先檢查環(huán)境還是先檢查算法我給初學者的建議是如果損失值完全不下降90%的問題在環(huán)境仿真器。比如獎勵函數(shù)寫錯符號、狀態(tài)轉移邏輯存在bug、狀態(tài)歸一化用了全局統(tǒng)計量導致分布偏移這些錯誤會讓算法覺得同一個狀態(tài)同一動作一會兒好一會兒壞網(wǎng)絡很難學會任何東西。一個快速診斷方法固定一個狀態(tài)和動作重復執(zhí)行1000次打印輸出的獎勵和下一狀態(tài)人工校驗是否與物理直覺一致。我自己的仿真器曾經在熱力模型更新時用錯了一層括號位置導致溫度永遠不變當時查了兩天才發(fā)現(xiàn)就是因為沒有做這個單步檢測。還有一個更隱蔽的問題是動作不可逆。如果在同一狀態(tài)多次執(zhí)行同一動作得到完全不同的結果而狀態(tài)里又沒有記錄引起差異的隱藏變量那MDP假設就不成立DQN會怎么訓都收斂不了。我在環(huán)境里加入服務器啟動延遲的隱藏狀態(tài)來處理這個問題不過這相當于變相把動作的效果延遲了同時也會影響Q值的信用分配。在實際項目中遇到這類情況最簡單的緩解手段是把動作執(zhí)行后N個時隙內的觀測直接拼接到狀態(tài)里讓網(wǎng)絡能夠看到動作的滯后效應。6. 從仿真到落地的幾條實在建議寫到這里我的核心經驗已經基本講完最后補充幾條從仿真原型往實際調度平臺遷移時的個人體會。在真實數(shù)據(jù)中心不要指望訓練出來的DQN策略直接接管控制權。我見過太多項目在仿真里跑得飛快一上線就翻車原因是仿真模型跟物理世界存在誤差服務器實際功耗非線性的部分比線性模型復雜得多冷卻系統(tǒng)還有惰性和延遲。穩(wěn)妥的落地路徑是把強化學習策略當成一個優(yōu)化建議器它輸出每個時隙的傾向性動作再由人工或者規(guī)則層做安全校驗只有落在安全區(qū)間內的動作才被采納。等到累計足夠多的真實數(shù)據(jù)后再微調仿真器參數(shù)縮小sim-to-real gap。模型泛化也是要注意的。在單一電價曲線、單一任務分布下訓練好的DQN換一個場景大概率性能驟降。我在測試中發(fā)現(xiàn)如果把電價曲線改成節(jié)假日/工作日的規(guī)律性波動原先訓練好的網(wǎng)絡前幾個episode表現(xiàn)很差但通過遷移學習用小學習率在少量新數(shù)據(jù)上微調很快就能恢復性能。這說明DQN學到的是調度規(guī)律而不是死板動作表只是規(guī)律會依賴電價波動的具體形態(tài)。落地時建議保留在線微調通道每周用真實運行數(shù)據(jù)做一次增量訓練。最后如果你在做的場景動作空間含連續(xù)變量比如水泵頻率、冷凍水溫度設定DQN就不合適了可以考慮DDPG或TD3這類actor-critic連續(xù)控制算法。但從我這個項目的經驗看很多看似連續(xù)的控制量其實可以按擋位離散化只要擋位分得夠細DQN的性能損失并不大而實現(xiàn)和調試的代價卻低了一個數(shù)量級。調度這件事從來不是算法越復雜越好而是越貼合物理約束越好希望這篇分享能幫你少走幾步彎路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久99久99精品免| 色婷婷影院| 久久九精品| 丁香五月电影| www狠狠爱com| 国产精自产拍久久久久久蜜| 人人干99| 99小视频网站| 婷婷五月成人有| 伊人久久丁香五月91| 思思99久久| 亚洲综合色网站| 中国女人内射6XXXXX| 开心激情播播五月天| 婷婷爱爱蜜臀天天操| 六月婷婷五月天| 色婷婷狠狠色| 五月天激情网图片 - 百度| 亚洲第一av| 五月婷婷五月天| 五月天婷婷激情在线色图| 丁香五月婷婷色| 99综合97| 丁香五月天综合| 俺去啦综合网| 五月天伊人日日噜影片AV| 婷婷少妇激情| 激情五月天色婷婷综合| 婷婷色综合网日韩国产| 婷婷五月花| 久久人妻人人| 九九这里都是精品| 天堂AV在线看| 秋霞电影理论| 婷婷五月天激情在线观看| 婷婷亚洲久久| 五月婷视频在线观看| 六月丁香激情网| 激情小说五月欧美亚洲丁香| 琪琪理论片| 超碰猛烈的性猛交| 伊人玖玖精品| 久久艹99| www.99精品在线| 久99久视频精品| 婷婷五月天开心网| 五月丁香狠狠爱| 五月六月婷| 激情影院免费视频婷婷五月天| 97干欧美| 久超超碰| 亚洲婷婷免费| 五月婷婷六月丁香在线| 天天干天天色综合| 婷婷色五月婷| 久久丝袜婷婷| 久狠狠狠| 亚洲无码成人| 久久丁香| 九九AV| 毛片色五月| 丁香六月婷婷综合激情欧美 | 色综合综合色| 国产日韩av片| 色色婷婷丁香| 熟女激情网| 99久久九九| 久99久精品| 97成人在线视频精品| 亚洲成av人影院| 婷婷五月天综合网| 欧美激情综合色综合啪啪五月| 国产免费AV在线| 婷婷综合视频| 天天插天天射| 久婷婷| 欧美色九| 激情丁香婷婷| 久久小说| 五月丁香另类网| 色域五月丁香| 久久精品女人天堂AAA| 九色1区视频在线| 无码碰碰| 久久新| 五月丁香六月激情综合| 婷婷日在线观看| 久/久精品99看9| 日本老女人黄页在线播放| www。五月天激情| WWW.天天日| 激情婷婷五六月天| 婷婷六月丁香欧美视频在线| 操人91| 久久怕怕视频| 欧美综合激情| 91亚洲视频| 九九精品99久久久| 五月丁香六月婷婷啪啪| 深爱激情九九五月天 | 亚洲综合网激情小说| 99久久a线观| WWW、日本色丁香、co m| 久久A热| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 情色五月天网站| 亭亭玉立国色天香| 婷婷五月丁香伊人网| 狠狠狠狠狠狠狠狠| 激情五月综合亚洲另类| 色婷婷影视99| A一级操| 色婷婷五月综合在线| 激情五月,婷婷五月,丁香五月| 六月婷婷视频| 精国产品一区二区三区A片| 六月婷综合| 亚洲人人艹| 日本久久综合| 五月丁香六月激情欧美综合| 久热只有精品| 五月丿香啪啪| 五月丁香六月婷婷在线小说视频| 五月丁香六月婷婷姐| 超碰91在线| 日日躁夜夜躁狠狠久久AV| 婷色视频| 五月婷婷婷婷婷婷艺术| 91精品在线看| 伊人久热91| 色5月婷婷| 婷婷五月天激情影片| 欧美视频五区| 色五月,婷婷大香蕉| 九九精品视频免费在线| 五月激情天| 亚洲五月天激情| 丁香五月天色综合| 97亚洲婷婷| 亚洲亚洲人成综合网络| 久久免费精品小视频| 欧美婷婷六月丁香综合色连续高潮抽搐| 伊人狠狠操| 99热e| 国产性爱在线| 99久久精彩视频。| 久久久91| 五月丁香六月婷婷成人| 久久综合五月| 国产女生爱爱AA| 91久久婷婷| 色 色 色综合com| 日韩成人电影AV| 亚洲AV无码成人精品电影| 色色影院aaaav| 激情综合在线观看| 丁香五月最新网址| 雪千夏麻豆| 亚洲不卡| 色欲久久久久久综合网综合网| 久久性爱网| 丁香五月久久| 99久久性爱| txt五月激情四射网综合俺也来了 五月天婷婷丁香人人操91 | 天天日本夜夜谢| 深爱激情五月天| 亚洲在线操| 黄色激情五月天| 四川女人毛多水多A片| 69精品人人人人| 亚洲色婷婷五月天| 婷久久久| 色色哒五月婷婷六月丁香| 色999五月色| 婷婷的99视频网站| 亚洲综合色色色| 色婷婷丁香| 天天噜噜| 五月噜噜噜色综合| 婷婷色综合| 99啪啪视频| 97五月天| 日韩人妻无码专区| 婷婷金品综合视频| 久久精品国产色| 国产 亚洲 在线| 日日操夜夜操中国无码| 亚洲视色| 色天使色婷婷| 日韩精品超碰在线观看| av在线免费网站 | 可以免费观看的AV| site:wpjngj.com| 五月天综合婷婷| 欧美色色色色色色色色色色| 综合久久99| 人人操91| 熟女人妻一区二区三区免费看| 99久久99热| 久久激情网| 激情综合网之激情五月| 疯狂做受XXXX高潮A片| 激情婷婷人妻| 荡乳尤物3HP1V5| 伊人六月丁香婷婷| 欧美日韩色色| 亚洲九九夜夜| 爱的综合网| 狠狠插.com| 色五狠狠| 色~性~乱~伦~噜| 五月丁香婷婷色| 久久人妻久久久久| 婷婷9月天| 激情性五月天免费小说视频| www.久久久久久| 色色丁香婷婷| 日日操日日干| 韩国19 主播内部福利vip免费播放| 丁香久久久| 色五月婷婷av| 色五月久久成人婷婷| 久久久天堂国产精品女人| 婷婷激情五月天亚洲综合| 人妻激情久久| 婷婷五月天黄色| 精热在线综合网| 亚洲色就是色色色| 97碰| 久久久五月激| 成人网站免费在线播放| 色狠狠色噜噜AV天堂五区| 丁香5月婷婷| www.yw色| 日韩黄在免| 婷婷日日夜夜| 六月婷婷无码| 久七香蕉| 色噜噜狠狠色综无码久久合欧美| 五月天六月色| 六月丁香深深爱| 色婷婷四虎| 色噜噜狠狠色综合网| 日本人妻丁香婷婷久久寝取熟女五月| 九九人人看| 色色激情| 婷婷五月综激情| 妻久久久久| 久热99久热| 丁香婷婷影院| 人人摸人人摸| 激情五月激情综合网一级丸片| 五六月婷婷久久| 婷色五月| 五月天色区| 级情九色| 九九99久久| 婷婷五月天改成什么了| 久久总和99| 男人的天堂婷婷色五月| 九九香蕉网| 激情婷婷狠狠干| 婷婷五月丁香花综合| 99在线精品免费视频| 丁香六月婷婷综合缴| 国内婷婷丁香社区在线播放| 婷婷99中文字幕| 狠狠操狠狠色| 免费观看全黄做爰的视频| 天天综合网91| 影音先锋偷偷色男人站| 色五月丁香五月天| 青青草原福利在线| 色青青视频| 九九热黄色| 黄色毛片精品| 91人人看| 色婷婷激情五月天丁香| 久久人妻熟女一区二区| 色色婷婷丁香| 五月天社区| 色五月超碰| 国产成人+亚洲+欧洲| 色色99色色| 成年人夜夜喷水| 五月天激情综合网| 国内在线99视频| 久久综合婷婷激情| 色综合五月| 丁香婷婷综合激情五月色| 免费看欧美成人A片无码| 久久久性爱视频| 99热无码| 99精品热| 色噜噜狠狠色综合网| 亚洲六月色| 天天情色五月天| 丁香午月AV中文字幕| 超碰人人99| 91n啪啪| 亚洲深喉aV| 另类小说五月天| 伊人久久婷| 国产精品色婷婷久久久精品| 丁香婷婷视频在线| 婷婷色在线播放| 日本色爽| 日韩久久色| 狠狠色噜噜狠狠| 九九精品免费| AV在线大香蕉| 婷婷五月天激情文学| www.婷婷五月天| 五月天激情啪啪| 五月婷久久在线| 欧美婷| 狠狠人妻久久久久久综合丁香| 色婷婷黄色网络| 久色网| 伊人99热| 五月丁香六月婷婷,婷| 激情六月下句是什么| 久久五月视频| 激情 婷婷 插| 日本全黄一级999| 97热超碰| 国产激情久久久| 无码九九| 激情婷婷五月天在线观看| 五月天婷婷久久综合| 九九草热在线观看| 这里只有精品免费视频| 人妻综合网| 99亚洲精品视频| 狠狠干综合| 日韩艹比| 九九精彩久久| 欧洲亚洲最新精品| 五月激情婷婷在线| 久久丁香| 丁香色婷婷色手机免费在线| 亚洲超级碰| 久久99久久99精品免视看婷婷| 婷五月天天| 五月四色色| 日韩精品二三区| 五月婷婷,狠狠操| 亚洲色网址| 欧美成人AAA片一区国产精品| 被强行糟蹋的女人A片| 日本色色视频| 色情综合| 丁香美女主播视频在线观看| 六月激情婷婷| yw国产AV| 丁香五月婷婷久久综合激情网 | 五月婷啪啪| 日韩啪啪网| 久久五月热| 综合图片色色| 激情五月丁香婷婷| 99久久久精品| 亚洲色9| 天天做 天天爱| 超碰三级片| www.超碰| 丁香婷婷五月综合影院| 久久婷婷婷婷伊人| 91色久| 久久五月婷天天干| 91蜜桃婷婷狠狠久久综合9色| 久久只这里有精品| 9l视频自拍9l九色成人| 久久一操| www.五月天婷婷姐姐| 五月婷在线观看| 伊人久久艹| 五月色婷丁香| 伦99热| 婷婷激情人妻| WWW色色色COM| www天天干| 操操国产| 99久久五月天| 激情合网婷婷| 色婷婷丁香五月| 五月天伊人久久| 多精窝99在线视频| 99热在线精品观看| 婷婷五月在线| 日日噜狠狠色综合久久| 99精品视频在线观看| 色444综合网| 丁香月五月天婷婷久久| 99精品在这里| 精品成人在线观看| 五月婷婷开心五月| 操射国产日本| 国产AV一区二区三区最新精品| 日本九九视频| 5月丁香婷婷激情网| 日本熟妇乱妇熟色A片蜜桃| 全高清无码视頻| 丁香五月天在线| 99国产精品久久久久久久久久久| 五月婷婷无码| 超碰av在线| 亚洲成人网站在线| 欧美Va日本Va| 久久艹网| 色情婷婷五月天| 强辱丰满人妻HD中文字幕| 久久综合激情| 五月丁香影院| www.色婷婷| 丁香九月综合| 91操片| 色五月婷婷老师| 国产亚洲成人综合| 丁香五月天中文字幕| 三级毛片视频| av人人操| 肏日网在线看| 五月婷婷在线免费观看| 最新日韩久热免费视频看看| 婷婷亚洲综合| 婷婷五月综合社区| 婷婷激情综合网| 亚洲乱码w在线观看| 亚洲VA口| 超碰色色综合| 五月丁香色色网| 97久久精品| 91九色欧美| 久久九九国产| 激情五月天色色网| 五月激情六月丁香| 婷婷五月天激情在线观看| 丁香五月色| 性小说五月天| 久操香蕉| 久久久久久人妻| 日熟女| 色婷婷19| 视频综合网| 欧美色色色色色色色色色色| 丁香六月婷婷| 国产偷人爽久久久久久老妇APP| 青青操avbb| 99国产精品白浆在线观看免费| 夜夜操少妇| 97色精品视频 | 99热福利| 91色色五月天| 婷婷五月18永久免费视频| 欧美A级成人婬片免费看理论| 六月婷婷国产| 伊人碰碰婷婷| 激情五月天婷婷| 久久婷出差欧美色两性综合网| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 婷婷色婷婷| 丁香婷婷五月天网站| 免费视频WWW在线观看网站| 操操操操操电影网| 99视频网址| 丁香五月电影| 免费视频这里只有精品| 大香蕉婷婷久久| 五月丁香色色网| 五月天电影网| www.99久久久| 一起草AV入口| 欧美三级欧美一级| 天天色综网| 五月天啪啪啪| 日日干日日色| 2022人人操人人看| 午夜丁香婷婷| 婷婷五月丁香网| 亚洲综合视频网| 熟妇无码乱子成人精品| 五月婷婷激情综合网| 色五月天激情| 国产超碰av| 久久综合婷婷| 欧美激情2025| 色5在线| av一级棒av| 色婷婷狠狠18| 思思视频精品| 丁香蜜臀黄色婷婷五月天| 久超超碰| 天色综合网站| 午夜色丁香| 激情五月天综合网| 激情综合网激情五月天| 天色综合网站| 97人人干人人操| 五月婷婷丁香日韩在线| 五月天综合| 99热97| 六月丁香婷婷拍拍| 丁香五月网| 久热伊人| 久久婷婷综| 99爱免费视频| 激情五月综合免费| 亚洲操逼网| av人人操| 99在线精品免费视频| 婷婷的色色五月天| 99国产这里只有精品| 五月丁香综合网色欲| 精品爆操| 五月丁香婷婷钟和色图| 五月丁香色色网| 色色综合激情| 色在线视频网2025| 欧美Va在线| 九九热只有这里精品| 91日韩美女被插视频| 伊人网色婷婷五月天| 婷婷综合久久| 碰碰女| 婷婷丁香五月激情| 六月婷婷久久大全| 丁香五月冃欧美| 综合激情五月综合激情五月激情1| 久久婷婷五月天激情四射| 色五月美女| 乱精品一区字幕二区| 五月色婷婷综合| 丁香五月婷婷激情尤物| 五月婷婷九九热| 99热这里只有精品2| 天天日,夜夜爽| 日日噜狠狠色综| 亚洲无码另类| 激情五月综合网| 九月婷婷色色| 夜夜爱影院| 超碰京东热av男人的天堂| 色涩视频久久| 日韩不卡123| 春色激情| 高清av在线国产| 日本色99网站| 久久综合九色综合88i| 亚洲精品第一色色色色色色| 一本大道嫩草AV无码专区| 激情六月婷婷| 97色碰| 色情综合| 国产熟妇乱子伦hd| 999热这里只有美国精品| 天天色中文字幕女优AV| 九九色情网五月天| 91porn一起草| 另类激情综合| 伍月婷丁香婷| 婷婷开心综合人妻小说网址| 色噜综| 天海翼中文字幕高| 人妻激情久久| 天啪色| 激情五月,激情综合网| 欧美123区免| 极品九九九九九九| 97碰久久| 婷婷欧美色| www.色婷婷。com| 天天日婷婷| 六月久久狠狠| 亚洲一区二区无遮挡A片| www.五月婷婷.com| 久久伊人大香蕉| 国产无遮挡又黄又爽免费网站| 鲁鲁色五月| 热婷婷av| 99自拍网| 人人色人人摸人人看| 五月天婷婷色播综合在线| 婷婷五月天com| 五月婷在线播放| 久久婷五月综合| 五月综合色| 日韩一级一片内射视频4K| 久久33视频| 色综合久久中文| 丁香五月婷婷亚洲综合精品| 五月天婷婷在线啪啪视频| 成人电影丁香六月天| 九九亚洲| 国产欧美日韩综合精品一区二区| 草久私拍| 色婷婷影视| WWW.婷婷五月天.COM| 伊人五月天日日夜夜久久久天天| 国产毛多水多女人A片| Av狠狠色丁香婷| 亚洲自拍天堂| 国产阿姨日皮艹逼内射视频| 天天日本夜夜谢| 深爱五月激情| www久久久久久久| WWW.久久久久久久| 思思综合热| 九九热青青草| 六月亚洲婷婷6月中文字幕| 天天操夜夜夜拍拍拍| 丁香五月婷婷视频| 野战J办公桌椅H| 天天se在线视频| 五月丁香婷婷无码中文| 丁香五月香蕉| 国产3p露脸普通话对白| 女操碰| 日逼免费视频| 丁香五月手机在线| 日韩在线一级| 日韩砖区| 日本在线视频播放91| 日韩少妇内射免费播放| 久草A片| 婷婷五月天开心激情网| 丁香六月综合激情| 91丨九色丨熟女|新版| 开心五月丁香啪| 亚洲天堂啪啪| 婷婷中文综合网| 六月婷婷六月天天在线免费| 欧美色九| 综合久久综合五月天婷婷| 无码网| 色综合久久99色| 九九Y精品热播| 人人舔人人色人人高潮| 大香蕉久久| 99在线综合视频| 九九草热在线观看| 人妻内射视频| www,超碰| 99热无码| 另类丁香五月天区图| 激情丁香婷婷六月天| 激情99| 人妻Av在线| 天天综合五月| 激情丁香五月婷婷| 99在线er热| 五月丁香婷婷中文| 日本女人久久| 婷婷五月色情| 色欲久久久久久综合网综合网| 亚洲国产色色| 婷婷丁香成人色综合| 激情网五月天| VA五月激情在线| 欧美日韩99| 丁香五月六月综合激情| 99色色| 丁香九月激情久久| 五月天色婷婷综合| 91久久久久久久久久| 狠狠色狠狠色综合日日91| 狠狠精品干练久久久无码中文字幕| 欧美日韩99| 亚洲成人AV在线观看| 婷婷九月在线| 日本99在线| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 日韩无码专区| 日本91在线| 超碰精品在线| 亚洲综合五月天婷婷丁香| 天天综合 99久久婷婷| www.com亚洲网站在线免费| 综合网视频| 人妻中文字幕精品| 亚洲综合激情五月| 玖玖@三月天天丁香婷婷| 另类图片婷婷五月天| 婷婷五月丁香青青草在线| 怡红院精品视频久久久久久久久| 亚洲九九99精品视频在线播放| 久久这里99| 99热热热99精品丁香| 99热这里有精品24| 91丨九色丨国产打屁股网站| 99热97| 日本久久精品18| 日本色99| 九九AV| 五月丁香综合激情| 婷婷丁香五月噜噜噜| 五月做爱| 色噜噜五月天| 六月婷婷天天操夜夜爽视频| 久久久国产精品黄毛片| 色婷婷社区| www.婷婷五月| 久久最新色| 丁香五月婷婷网| 综合色五月天| 97爱综合| 五月激情小说| 热99热9| 婷婷九月在线| 人妻熟妇国产精品| 人妻五月天激情开心网| 97性高潮久久久| 九九99免费视频| 欧美成人无码一区二区三区| 影音先锋男人AV资源站| 91ncm视频| 五月激情五月丁香| 99久久婷婷综合| 情色婷婷五月天| 熟女重口味αV| 69久久久| 五月天丁香婷婷社区| 九九热色视频| 亚洲a片免费观看| 婷婷射综合| www。五月天。com| 97色色综合| 开心五月婷婷| 久久激情五月| 很很操很很操| 久久婷婷综合国产| 青草视频在线播放| 五月天精品视频| 精品思思久久| 色婷大香蕉| 另类专区在线观看| 天天干,夜夜爽| 密黄站| av在线观看网址| 超碰99在线观看| 激情五月天小说网| 99热这里只有精品23| 插逼综合网| 综合久久狠狠| wwwss在线观看| 亚洲成人噜噜| 婷婷婷色五月| 久草狼人| 婷婷丁香五月天之开心少妇| 91九色在线| 狠狠操狠狠插| 婷婷五月天男人影院色色网| 丁香五月婷婷久久综合激情网| 日韩熟女啪啪视频| 99ri精品| 碰碰碰91| 五月天网址在线刘玥| 殴美日比视频| 99精品小视频| 91大屁股| 天天AV导航网| www色色com| 影音先锋91资源站| 婷婷久久爱| 天堂成人A片永久免费网站| 久久婷婷网站| 五月色天情| 五月丁香婷婷久久| 99热大全在线观看| 丁香九月久久| 人人操女人| 青青操日本摸摸看看| 亚洲春色奇米影视| 狠狠操狠狠| 色婷婷激情| 激情综合五月婷婷六月丁香| Www.婷婷五月| 久色中文| 色婷婷色五月丁香| 日韩无码一区二区三区四区| 在线99热| 五月天婷婷影院| 色99视| 色久一| WWW、日本色丁香、co m| 天天日天天久久青青| 色婷婷基地| 免费黄色视频网址| 久久久久激情网| 成人va在线播放| 色99在线视频| 天天激情站| www.五月天社区| 综合深爱五月| 性99网站| 女人天堂 AV| 久色资源网| 免费观看欧美成人AA片爱我多深 | 激情五月激情综合网| 色色色99| 裸睡玩奶头(高H)| 色色无码| 国产精品一区在线观看你懂的| 亚洲无码99| 99视频内射三四| 亚洲精品一区中文字幕乱码| www.五月天| 婷婷97狠狠成人网站| 亚洲乱码日产精品BD| 图片区 小说区 区 亚洲五月| 婷婷伊人网| 亚洲激情网站无码| 色六月丁香婷婷狠狠干| www天天干| 色色综合视频| 99爱视频免费| 婷婷丁香激情综合色情| 日本片日本片祼观看网站在线看中文版网页在线看 | 色宗合久久五月婷婷| 欧美色欲色欲天天天www| 少妇人妻综合色6699| 免费在线观看欧美激情xx小视频| 丁香激情五月天| 日韩成人AV在线| 天天色天天操天天射| 禁欲电影完整版在线播放| www,婷婷,com| 色操综合| 波多野结衣AV无码Porn| 久热一本| 婷婷五月成人有| 凹凸探花电影| 婷婷开心久久| 天天操婷婷| 亚洲午夜AV| 五月丁香久久久| 在线不卡中文字幕| 好好干Av| 人人综合五月人人婷婷| 婷婷五月天开心网| 久草视频一,二三四| 久久婷婷亚洲| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 亚洲六月综合激情久久下卡| 综合久久伊人| 四色永久成人网站| 69激情小说| 久热网在线视频| 91精品久久久久久久| 亚洲欧洲中文日韩久久AV乱码| 99热人人艹| av在线中文| 天天插天天日天天爽| www.99热这里只有精品| 人人干人人看| 狼人伊人干| 色五月婷婷婷婷婷婷婷婷婷婷| Va另类视频| 婷婷性福五月天| 九九精品热| 97人碰人操| 亚洲综合99| 99热这里只有精品官网| 99热这里是精品| 天天综合天综合久久网| 国产精品人妻在线网址| 激情99| 久99久视频精品| 成人av在线电影| 爱婷婷五月| 97超碰在线免费观看| 超碰AV在线| 日本久久九| 六月丁香停| 狠狠va| 婷婷色操| 色综合77777| 日韩成人精品中文字幕| 26UUU欧美| 思思热精品在线| 色五月婷婷青娱乐| 婷婷五月丁香五月天| 婷婷伊人五月天| 极品人妻VIDEOSSS人妻| 久久网日本| 99热费观看| 粉嫩AV久久一区二区三区| 日本三级中国三级99| 欧美色五月天| 少妇人妻丰满做爰XXX| 色射影院| 日日夜夜狠狠干| 女人高潮内射99精品| 99婷婷国产最新视频| 色婷婷九月| 玖玖资源在线视频| 九九热在线99| 五月激情丁香| 五月丁香六月| 9+1视频网址| 婷婷五月天亚洲综合| 99热亚洲只有色| www,8050,午夜三级| 丁香五月欧美午夜视频| 色综合婷婷99| 色综合久久伊伊婷婷五月| 9色在线视频| 色一情一乱一乱一区9| 色综合爱综合| 色婷婷五月天在线观看| 色一情一乱一乱一区91| 天天爱综合网| 欧美碰碰碰| 99热这里只有的精品视| 国产XXXX搡XXXXX搡麻豆| WWW.激情| 狠狠操综合| 另类图片天天影视在线观看| www.久久99热地址发布| 婷婷五月综合色拍| 九九热在线视频| 成人免费视频一区| 夜夜夜夜夜操| 丁香视频| 欧美性色视频| 婷婷婷五月香蕉| 色色色色色网站| 不卡成人免费| 五月天色婷婷成人| 91人人人人人人人| 激情婷婷网| 99精品手机在线视频| 中文字幕色色| www网站在线观看| 色五月开心五月激情五月| 亚洲操操| 手机看片日日做夜夜| 精品一二三区久久AAA片| 狠狠擼综合| 久久婷婷视频| 综合激情五月丁香| 亚洲狠狠色丁香婷婷综合久久| 久草久青福利| 久久久天堂国产精品女人| 欧美日韓成人亚洲精品另类| 免费视频WWW在线观看网站| 日本a片网址| 人人爱操| 开心五月综合激情综合五月| 国产午夜成人免费看片无遮挡| 久久er这里只有精品| 婷婷五月天小说| 九九九成人在线视频| 婷婷色五月大香蕉在线| 五月丁香色狠狠干大屄| 亚洲AV成人一区二区在线观看| 91大屁股| 99国产欧美视频| 人人摸人人摸| 色婷婷av在线| 亚洲成人免费电影| www.丁香黄色五月天人与| 日韩成人电影Av| 日本色天堂| 996er在线观看| 97超碰婷婷五月天| 日日操日日撸| 99精品久久久久久久婷婷| 色优久久| 丁香5月婷婷| 亚洲 视频 导航 一区| 婷婷五月天网| 日韩色情亚洲五月天婷婷| 婷婷五月丁香基| 日本九九视频| 小视频aaa久久久| 日本婷婷色| 激情文学久久| 激情影院免费视频婷婷五月天| 97久久精品视频| 婷婷午夜精品久久久| 色欲香综合网| 日韩综合久| 九九热精品视频在线观看| 久久五月天激情视频| 色五月,婷婷大香蕉| 99久在线精品99re8| 五月丁香欧美| 丁香婷婷性爱| 国内自拍97在线| 国产成人在线精品| 狠狠色激情综合| 五月丁香激情综合啪啪| 538在线精品| 激情五月丁香婷婷| 久久五月丁香激情综合| 大香AV| a网站免费观看| 偷偷操99| 九九久久五月天综合伊人| 日本欧美国产| 极品少妇XXXX精品少妇偷拍| 综合网啪| 婷婷五月免费在线| 丁香伊人网| 丁香五月天激情四射网络不好 | 欧美色97| 五月花婷婷最新| 亚洲AV网站| 日本eVa一区=区视频| 婷婷五月天网址| 日韩AAA| 五月婷婷激情网| 色五月丁香91| 这里只有精品在线观看视频| 99色精品| 色婷五月丁香久亚洲| 激情文学久久| 青青草婷婷久久| 日本熟妇乱妇熟色A片蜜桃| 激情av| 久久精品性爱| 求可以看的AV网址| 五月丁香A片| 色情开心五月| www婷婷色| 成人电影在线免费试看| 开心五月天激情网站| 婷婷大美在线| 九九激情网| 久久婷婷夜| 热99玖玖99玖玖99九九| 五月丁香啪啪| 婷婷五月天AV| 五月天激情网图片| 日本颜色视频人人爱| 婷婷九月激情网| 久久精品99| 超碰99久久| 人人操 色| #NAME?| 婷婷五月激情基地| 欧美性猛交XXXX乱大交极品| 天天干天天色综合| 九月丁香| 99热爱爱干干日| 亚洲五月婷婷| www.婷婷五月| 五月婷婷六月少妇激情| 久久精品永久免费| 九热视频这里只有精品| 青草久久五月婷伊人| 99视频这里只有免费精品| 热99国产精品| 99热国产| 九九热九九| 成人网址在线观看| 丁香婷婷六月天| 91九色中文字幕女在线观看| 探花搜索结果 - 黄上黄| 性爱五月婷| 亚洲AV成人无码精品| 夜精品无码A片一区二区蜜桃| 激情综合亚洲| 五月婷色| 日本天天操| 免费观看全黄做爰的视频 | 日韩成人免费电影| 久热9| 久久婷婷五月综合| 日韩欧美一区二区三区四区| 丁香五月综合高清在线| 91久久婷婷| 婷婷伊人綜合中文字幕| 久久五月婷| 久久五月天精品视频| 香蕉久久国产AV一区二区| 99热婷婷| 久久婷婷成人视频| 色婷婷影音| 五月丁香六月香综合激情| 久热A| 五月天色区| www.婷婷,com| 色五月琪琪| 人妻少妇色综合| 成人做爰黄A片免费看直播室男男| 最近中文字幕2019视频1| 97超级碰| 婷婷色情五月| 五月色婷婷影院| 五月久久五月激情| 色国产五月| 99热这里只有在线| 偷拍91九色| 丁香六月在线| 色婷婷成人做爰A片免费看网站 | 九热视频精品| 91超碰九色| 爱射综合| 婷婷六月久久| 99热精国产这里只有精品| 岛国AV网站| 深爱五月网| 亚洲天堂99| 熟女人妻一区二区三区免费看| 久久九九激情五月天| 青青草Avb在线| 欧美激情综合色综合啪啪五月| 亚洲五月天第一综合干| 人人摸人人射| 日日操日日撸| 日本丁香五月| 五月激情丁香啪啪| 东北黄色一级| 99精品无码视频| 亚洲99视频| 久久丁香五月| 99熟女| 四色五月婷婷| 六月婷婷七月丁香| 色综久久AV| 久久这里有| www.久热| 午夜在线成人网站免费观看| 激情五月婷| 日逼免费视频| 干一干xxxx| 99色色视频| 久久精品噜噜噜成人A∨色欲| 97香蕉碰碰人妻国产欧美| 色狠狠色噜噜噜a天堂一区| 日熟女| 国产亚洲精品久久久久久郑州| 99re视频在线| 琪琪秋霞| 精品久久人妻| 久久久国产精品黄毛片| 久久宗合影| 色婷婷色久综| 国产性爱一级| 97夫妻超碰| 九九99精品| va婷婷| 婷婷五月花| 婷婷婷久久久| 五月丁香伊人网| 久久九九色| 亚洲四色五月| 啪啪婷婷五月天激情| 色婷| 情色五月天 网站| 五月丁香激情五月天| 婷婷成人视频| 久久97久久99久久综合欧美| 丁香六月综合激情| www激情婷婷com| 色婷婷五月天| 在线观看免费狠狠色丁香香综合| 五月丁激情| 五月亭亭直播| www.99热这里精品 | 成人无码髙潮喷水A片| 欧美久久婷婷| 99操逼| 婷婷激情五月视频| 成人网站免费sxj| 人妻av在线| 超碰人人99| 婷婷五月天综合色| www.婷婷六月天| 玖玖综合玖玖| 丁香五月丁香伊人| 九九在线精品| 五月丁香啪啪激情| 五月婷婷在线视频| 91丁香色五月| 中文无码精品一区二区三区| 丁香五月电影| 开心五月婷婷婷美女| 色婷婷丁香五月综合| 一级片操逼视频| 五月丁色AV| 丁香五月天激情视频| 精品99在线看| 99热精品无码| 日韩精品无码AV| 久久99成人性爱高清视频| 久热一区| 久er7久热| 中文字幕av在线| 99玖玖在线视频| 日本色视| 91亚洲免费片| 夜夜爽天操| 超碰99热精品在线| 另类小说五月天综合网| 天天做天天爱| 影音先锋女人av鲁色资源网小说免费 | 99riAV成人在线视频| 久热这里只有精品视频6| 极品少妇XXXX精品少妇偷拍| 丁香九月综合| www.丁香五月| 激情五月天黄色小说| 99re6久热只有精品6在线直播| 91九色熟女| 99热资源在线| 五月婷婷啪啪网| 久碰婷婷视频| 伊人五月婷婷| 色婷婷免费视频| 日韩综合网络男女香蕉a片| 97性视频| 久久婷婷国产| 依人大香蕉| 六月丁香婷婷视频综合在线观看| 激情五月婷婷视频一区二区三区| 日韩啪啪视频| 天天做夜夜爽| 性爱动图国产麻豆一区二区三区 | 婷婷久久精品| 99热热这里只精品996小说| 91超碰在线播放| 五月丁香婷婷色色| 美女黄频aⅴ视频| www.夜夜操.com| 婷婷丁香77777| 日逼AV影音先锋男人资源站| 亚洲婷婷五月天综合| 思思热在线| 开心五月婷婷激情网| 久热精彩视频98| 精品久久99码| 狼人婷婷综合| 99综合| 色播五月丁香综合| 久久您您综合网| 五月婷亚洲精品| 极品色丁香| 五月天亭亭俺也| 九九在线免费观看| 婷婷五月天综合久久日美女| 婷婷九月在线| 996热| 丁香五月色情| 思思热在线视频99| ou洲色吧| 激情六月丁香| 天天综合色丁香| 色噜噜狠狠狠狠色综合久欧美| 日韩1区2区| 成人在线精品| 亚洲亚洲人成综合网络| 深爱激情丁香五月| 肏屄色播伊人97婷婷| 色婷婷丁香五月| 亚洲色A| 色婷在线视频| 五月丁香久久| 婷婷五月天色丁香| 人人操操97| 久久色情| 五月婷婷欧美激情| 国产精品色婷婷99久久精品| 激情开心五月天|