欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

基于強(qiáng)化學(xué)習(xí)超啟發(fā)式的復(fù)雜約束云工作流調(diào)度

基于強(qiáng)化學(xué)習(xí)超啟發(fā)式的復(fù)雜約束云工作流調(diào)度 做云工作流調(diào)度的同學(xué)應(yīng)該都體會(huì)過那種感覺論文里的實(shí)驗(yàn)環(huán)境干凈得像一張白紙任務(wù)依賴簡單、資源類型固定、約束條件就一個(gè)“別超預(yù)算”??梢坏┗氐秸鎸?shí)場(chǎng)景一個(gè)工作流里幾十上百個(gè)任務(wù)依賴關(guān)系繞成一團(tuán)再加上截止時(shí)間、成本預(yù)算、可靠性要求、資源競(jìng)爭(zhēng)這些復(fù)雜約束一股腦涌上來傳統(tǒng)調(diào)度算法基本上就是原地崩潰。我見過不少同學(xué)在“基于強(qiáng)化學(xué)習(xí)超啟發(fā)式算法的帶復(fù)雜約束云工作流調(diào)度”這個(gè)題目上轉(zhuǎn)了很久不是因?yàn)楦拍疃嗌願(yuàn)W而是不知道該從哪里下手搭體系。這篇內(nèi)容就圍繞這個(gè)題目把超啟發(fā)式算法和強(qiáng)化學(xué)習(xí)的結(jié)合邏輯、狀態(tài)動(dòng)作獎(jiǎng)勵(lì)設(shè)計(jì)、可復(fù)現(xiàn)的實(shí)驗(yàn)框架以及我在實(shí)際調(diào)試中踩過的坑掰開了講清楚。這個(gè)方向適合兩類人一類是要做相關(guān)課題開題和實(shí)驗(yàn)的研究生一類是有一定調(diào)度經(jīng)驗(yàn)、想引入強(qiáng)化學(xué)習(xí)做策略自動(dòng)生成的工程師。前置知識(shí)不需要太多懂一點(diǎn)工作流基本概念知道DAG是什么再了解一點(diǎn)深度強(qiáng)化學(xué)習(xí)的皮毛就能跟著這套思路往下走。1. 首先弄明白這個(gè)題目到底在解決什么問題1.1 云工作流調(diào)度從DAG說起云工作流調(diào)度本質(zhì)上就是在一批異構(gòu)的計(jì)算資源比如不同規(guī)格的虛擬機(jī)、容器實(shí)例上安排一組有依賴關(guān)系的任務(wù)決定它們什么時(shí)候執(zhí)行、放在哪個(gè)資源上執(zhí)行最終讓整個(gè)工作流在滿足各種硬性條件的前提下盡可能高效地跑完。工作流通常用DAG有向無環(huán)圖描述節(jié)點(diǎn)是任務(wù)邊是數(shù)據(jù)或控制依賴。一個(gè)任務(wù)必須等它的所有前驅(qū)任務(wù)完成后才能開始。下面是一個(gè)很典型的結(jié)構(gòu)任務(wù)A和任務(wù)B可以并行執(zhí)行因?yàn)樗鼈儧]有依賴關(guān)系任務(wù)C必須等A、B都完成后才能啟動(dòng)任務(wù)D依賴C而且D本身需要較大的內(nèi)存所以它對(duì)資源類型有要求。聽起來不復(fù)雜但一旦任務(wù)數(shù)量從十個(gè)漲到幾百個(gè)資源類型從一類變成四類再加上不同的用戶對(duì)完成時(shí)間、費(fèi)用、可靠性有不同的要求調(diào)度決策空間就會(huì)爆炸式增長。這也是為什么調(diào)度問題被歸為NP難問題——它沒有多項(xiàng)式時(shí)間的精確最優(yōu)解只能用近似策略去逼近。1.2 復(fù)雜約束是什么為什么讓經(jīng)典調(diào)度算法失靈做調(diào)度方向的研究繞不開HEFTHeterogeneous Earliest Finish Time這類經(jīng)典啟發(fā)式算法。HEFT的做法是給每個(gè)任務(wù)算一個(gè)向上排序值然后按優(yōu)先級(jí)從高到低逐個(gè)調(diào)度每次把任務(wù)放到預(yù)計(jì)完工時(shí)間最早的資源上。這種策略在“只追求總完成時(shí)間最短”的簡單場(chǎng)景下效果確實(shí)不錯(cuò)而且實(shí)現(xiàn)簡單、速度快。但一旦引入復(fù)雜約束事情就變了。我列一下在實(shí)際項(xiàng)目中經(jīng)常會(huì)碰到的約束類型截止時(shí)間約束整個(gè)工作流或其中某些關(guān)鍵任務(wù)必須在某個(gè)時(shí)間點(diǎn)前完成預(yù)算約束所有資源使用費(fèi)用總和不能超過某個(gè)上限可靠性約束關(guān)鍵任務(wù)需要運(yùn)行在可靠性評(píng)級(jí)較高的資源上甚至需要副本機(jī)制資源競(jìng)爭(zhēng)約束多個(gè)任務(wù)共享有限的CPU、內(nèi)存、帶寬不能同時(shí)超量占用數(shù)據(jù)本地性約束某些任務(wù)最好調(diào)度到離數(shù)據(jù)源更近的資源上否則傳輸時(shí)間會(huì)拖慢整體進(jìn)度。經(jīng)典啟發(fā)式算法在處理這些約束時(shí)各有短板。HEFT只優(yōu)化完工時(shí)間完全不管成本預(yù)算約束一加它可能把所有任務(wù)丟到最貴的快資源上直接超支。Min-Min這類方法偏向處理短任務(wù)任務(wù)規(guī)模一大或依賴變復(fù)雜就失靈。更麻煩的是約束之間還會(huì)互相打架追求更短的完工時(shí)間往往意味著用更快更貴的資源追求省錢就得犧牲速度。真實(shí)場(chǎng)景里這些目標(biāo)只會(huì)同時(shí)出現(xiàn)不存在一個(gè)固定的優(yōu)先級(jí)排序調(diào)度策略必須能根據(jù)工作流的當(dāng)前狀態(tài)靈活調(diào)整。1.3 這個(gè)方向適合誰、需要什么前置知識(shí)說到底這個(gè)題目要解決的是“策略動(dòng)態(tài)選擇”的問題面對(duì)一個(gè)新工作流應(yīng)該采用哪條調(diào)度策略或者這些策略怎么組合著用才能在滿足約束的同時(shí)把性能拉上去。經(jīng)典做法里這個(gè)選擇是由人拍腦袋定的或者用遺傳算法這類元啟發(fā)式離線搜一大堆規(guī)則。而“強(qiáng)化學(xué)習(xí)超啟發(fā)式算法”這套思路是想訓(xùn)練一個(gè)智能體實(shí)時(shí)觀察工作流狀態(tài)和資源狀態(tài)動(dòng)態(tài)決策“這一輪該用哪個(gè)低層啟發(fā)式策略”從而讓整個(gè)調(diào)度過程具備自適應(yīng)能力。前置知識(shí)方面如果你已經(jīng)理解DAG調(diào)度、了解HEFT的優(yōu)先級(jí)計(jì)算過程并且用過Python、看過一點(diǎn)PyTorch的深度Q網(wǎng)絡(luò)那基本可以直接上手。如果里面還有薄弱環(huán)節(jié)建議先補(bǔ)一下經(jīng)典工作流調(diào)度中“列表調(diào)度list scheduling”的核心思路再回來看后面的內(nèi)容。2. 超啟發(fā)式算法的分層邏輯把“調(diào)度策略”本身當(dāng)成決策對(duì)象2.1 低層啟發(fā)式集合怎么選、怎么設(shè)計(jì)超啟發(fā)式算法的核心思想是“不只是直接調(diào)度任務(wù)而是調(diào)度策略本身”。它把問題拆成兩層低層一組現(xiàn)成的調(diào)度啟發(fā)式比如HEFT、Min-Min、Max-Min、輪轉(zhuǎn)調(diào)度、隨機(jī)調(diào)度等它們負(fù)責(zé)真正產(chǎn)生任務(wù)到資源的映射高層一個(gè)策略選擇器它決定在當(dāng)前狀態(tài)下調(diào)用哪個(gè)低層啟發(fā)式或者以什么順序組合調(diào)用幾個(gè)低層啟發(fā)式。這樣一個(gè)分層結(jié)構(gòu)帶來的直接好處是你不需要親自發(fā)明新的調(diào)度規(guī)則只需要把幾個(gè)經(jīng)過驗(yàn)證的規(guī)則組合起來并根據(jù)場(chǎng)景動(dòng)態(tài)選擇。低層啟發(fā)式的集合設(shè)計(jì)很關(guān)鍵。我見過一些同學(xué)隨便選了兩三個(gè)策略就開跑最后發(fā)現(xiàn)智能體的表達(dá)能力根本不夠——就好比你手上只有錘子和剪刀再聰明的工匠也做不出精細(xì)的榫卯。一般建議低層集合至少包含三類互補(bǔ)策略低層策略核心特征強(qiáng)項(xiàng)場(chǎng)景HEFT按關(guān)鍵路徑優(yōu)先級(jí)排序插空調(diào)度依賴復(fù)雜、追求低完工時(shí)間Min-Min優(yōu)先調(diào)度預(yù)估執(zhí)行時(shí)間最短的任務(wù)任務(wù)規(guī)模小、異構(gòu)性明顯Max-Min優(yōu)先調(diào)度預(yù)估執(zhí)行時(shí)間最長的任務(wù)有長尾任務(wù)、防止大任務(wù)后置輪轉(zhuǎn)調(diào)度逐個(gè)任務(wù)循環(huán)分配到不同資源資源負(fù)載均衡、成本控制隨機(jī)調(diào)度隨機(jī)生成可行映射提供探索性、避免陷入局部解這里要注意低層策略的輸入輸出格式必須統(tǒng)一都接收“當(dāng)前工作流狀態(tài) 資源狀態(tài)”輸出“一批任務(wù)的調(diào)度決策”否則高層策略沒法統(tǒng)一操作。我在實(shí)際項(xiàng)目里會(huì)把每個(gè)低層策略封裝成統(tǒng)一的接口入?yún)⑹且粋€(gè)工作流快照對(duì)象出參是一組“任務(wù)-資源-預(yù)計(jì)開始時(shí)間”的映射關(guān)系。2.2 高層策略為什么用強(qiáng)化學(xué)習(xí)而不是傳統(tǒng)搜索確定了低層集合之后剩下的問題就是高層策略怎么選。經(jīng)典的超啟發(fā)式算法多用遺傳算法、模擬退火這類元啟發(fā)式在高層的策略空間里離線搜索一個(gè)固定規(guī)則。這種做法的局限在于搜索出來的規(guī)則是靜態(tài)的——它雖然是從大量訓(xùn)練樣本中歸納出來的但一旦遇到訓(xùn)練集里沒出現(xiàn)過的新工作流形態(tài)或者資源環(huán)境發(fā)生了變化這個(gè)規(guī)則不會(huì)自我調(diào)整。強(qiáng)化學(xué)習(xí)的不同之處在于它做的是“在線序貫決策”。智能體每完成一部分調(diào)度就能觀察狀態(tài)回報(bào)不斷調(diào)整后續(xù)的動(dòng)作選擇。這跟調(diào)度過程的天然結(jié)構(gòu)是吻合的調(diào)度不是一個(gè)一步到位的動(dòng)作而是分階段不斷做決策的過程。第一階段選了某個(gè)低層策略后可以看到它實(shí)際產(chǎn)生的效果然后再?zèng)Q定第二階段要不要換成另一個(gè)低層策略。這種試錯(cuò)-反饋-調(diào)整的動(dòng)態(tài)閉環(huán)正是靜態(tài)搜索方法難以具備的。再說得直白一點(diǎn)強(qiáng)化學(xué)習(xí)是“邊看邊決策”遺傳算法是“先搜好再用”。在離線批量調(diào)度這類靜態(tài)問題上后者也許夠用但云工作流調(diào)度往往有很強(qiáng)的時(shí)效性——新工作流不斷到達(dá)資源狀態(tài)隨時(shí)在變一個(gè)能根據(jù)上下文不斷調(diào)整策略的智能體明顯更貼合真實(shí)場(chǎng)景。2.3 RL超啟發(fā)式的核心鏈路我習(xí)慣把整個(gè)鏈路畫成這樣的循環(huán)觀察當(dāng)前工作流圖的剩余任務(wù)結(jié)構(gòu)以及每個(gè)資源的負(fù)載情況把觀察到的信息編碼成狀態(tài)向量智能體輸出一個(gè)動(dòng)作即選擇一個(gè)低層策略或策略序列環(huán)境執(zhí)行這個(gè)低層策略調(diào)度掉一批任務(wù)計(jì)算這一步帶來的收益比如完工時(shí)間縮短了多少、有沒有違反約束把收益作為獎(jiǎng)勵(lì)反饋給智能體更新策略。這個(gè)鏈路里最關(guān)鍵的設(shè)計(jì)決策在于第3步“動(dòng)作”的定義。目前主流做法有兩種一種是每次只選一個(gè)低層策略調(diào)度一批任務(wù)后重新觀察狀態(tài)再選下一個(gè)另一種是把低層策略當(dāng)成固定組件讓智能體在任務(wù)層面直接選“當(dāng)前任務(wù)派給哪個(gè)資源”。前者更接近超啟發(fā)式的原意保持了低層策略的模塊化后者更像端到端強(qiáng)化學(xué)習(xí)調(diào)度缺點(diǎn)是動(dòng)作空間巨大。我自己的經(jīng)驗(yàn)是先做第一種把問題拆小了后面再考慮細(xì)化。用代碼來表達(dá)這個(gè)循環(huán)大概是這樣的while not env.all_tasks_scheduled(): state env.get_state() # 包括工作流DAG剩余結(jié)構(gòu)、資源負(fù)載等 llh_id agent.select_llh(state) # 智能體從低層策略集合中選一個(gè) decisions llh_set[llh_id].schedule(state) reward env.apply_decisions(decisions) agent.learn(state, llh_id, reward)3. 強(qiáng)化學(xué)習(xí)建模狀態(tài)空間、動(dòng)作空間與獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)細(xì)節(jié)3.1 狀態(tài)讓模型“看得到”工作流和資源狀態(tài)空間的設(shè)計(jì)直接決定智能體能不能學(xué)到有意義的規(guī)律這也是整個(gè)題目里最考驗(yàn)功力的地方。我的建議是狀態(tài)至少包含以下幾類信息工作流結(jié)構(gòu)信息剩余任務(wù)總數(shù)、當(dāng)前可直接執(zhí)行的任務(wù)數(shù)入度為零的任務(wù)、關(guān)鍵路徑長度、任務(wù)執(zhí)行時(shí)間分布資源狀態(tài)信息每類資源的CPU和內(nèi)存容量、已用負(fù)載、剩余可用量、當(dāng)前隊(duì)列長度約束預(yù)算信息剩余可用預(yù)算、距離截止時(shí)間的余量。這些信息有的可以直接用數(shù)值有的需要做一些聚合。比如任務(wù)之間復(fù)雜的依賴關(guān)系如果硬編碼進(jìn)一個(gè)固定長度的向量任務(wù)數(shù)量一多就裝不下。更穩(wěn)妥的做法是用圖神經(jīng)網(wǎng)絡(luò)GNN對(duì)DAG做嵌入把每個(gè)任務(wù)的狀態(tài)編碼成固定維度的向量然后做全局平均池化得到整個(gè)工作流的狀態(tài)表示。我在實(shí)際實(shí)驗(yàn)里用了一個(gè)兩層的圖卷積網(wǎng)絡(luò)嵌入維度設(shè)為32效果比手工拼特征向量好不少。要注意歸一化。任務(wù)執(zhí)行時(shí)間的量級(jí)可能是幾十秒剩余預(yù)算可能是幾千塊錢如果不歸一化強(qiáng)化學(xué)習(xí)的訓(xùn)練會(huì)極不穩(wěn)定。我的習(xí)慣是把開工時(shí)間除以整個(gè)工作流的截止時(shí)間預(yù)算消耗除以總預(yù)算資源負(fù)載除以資源總?cè)萘孔屗刑卣鞅M量落在0到1區(qū)間。3.2 動(dòng)作選任務(wù)、選LLH還是選資源動(dòng)作空間的設(shè)計(jì)可以分成三個(gè)層次來看待。第一層是“選資源”——直接在任務(wù)上決定放到哪臺(tái)機(jī)器上執(zhí)行。這個(gè)方式最直接但當(dāng)任務(wù)和資源數(shù)量都很大時(shí)動(dòng)作空間的維度就是任務(wù)數(shù)乘資源數(shù)訓(xùn)練難度很高。比如100個(gè)任務(wù)、20類資源那就是2000個(gè)動(dòng)作還不是一步就完每一步都要做一次選擇累計(jì)下來整個(gè)序列非常長。第二層是“選低層策略”也就是超啟發(fā)式思路的核心。智能體每次從5到10個(gè)低層策略里選一個(gè)然后這個(gè)策略負(fù)責(zé)調(diào)度一批任務(wù)。這種方式大幅壓縮了動(dòng)作空間訓(xùn)練效率高而且可解釋性更強(qiáng)——至少你能看出來在什么狀態(tài)下智能體偏好用HEFT、什么時(shí)候偏好用Min-Min。第三層是“選策略序列”相當(dāng)于智能體一次性輸出一個(gè)長度為N的策略序列比如“先HEFT調(diào)度前20個(gè)任務(wù)再切換到Min-Min調(diào)度剩下的”。這個(gè)實(shí)現(xiàn)難度更高但在任務(wù)結(jié)構(gòu)有明顯階段劃分時(shí)效果可能會(huì)更好。我建議先從第二層開始。先把強(qiáng)化學(xué)習(xí)超啟發(fā)式這條鏈路跑通驗(yàn)證了可行性之后再考慮序列化或更細(xì)粒度的動(dòng)作定義。一上來就沖最復(fù)雜的方案通常是訓(xùn)練半天不收斂最后連調(diào)試的切入口都找不到。3.3 獎(jiǎng)勵(lì)目標(biāo)與約束如何換算成數(shù)字獎(jiǎng)勵(lì)函數(shù)是整個(gè)建模過程中最容易被低估的部分。它設(shè)計(jì)得好不好直接決定智能體是穩(wěn)步提升還是原地抽風(fēng)。對(duì)于多目標(biāo)優(yōu)化問題一個(gè)常用的做法是單步獎(jiǎng)勵(lì)加權(quán)組合step_reward alpha * time_improvement beta * budget_savings gamma * penalty其中time_improvement當(dāng)前一步調(diào)度完成后預(yù)計(jì)完工時(shí)間比上一步減少的幅度歸一化到0到1budget_savings當(dāng)前一步實(shí)際費(fèi)用相比平均費(fèi)用水平的節(jié)省比例penalty如果當(dāng)前調(diào)度決策違反了某個(gè)硬約束給出一個(gè)較大的負(fù)值懲罰。這個(gè)公式里最關(guān)鍵的教訓(xùn)是penalty的數(shù)值量級(jí)一定要比正獎(jiǎng)勵(lì)大一個(gè)數(shù)量級(jí)。我曾經(jīng)在一次實(shí)驗(yàn)里把約束違反懲罰設(shè)為0.5正獎(jiǎng)勵(lì)設(shè)為主項(xiàng)的一半結(jié)果智能體學(xué)到的策略是“偶爾違反約束也沒關(guān)系”因?yàn)樵谒磥硪淮芜`反換來的時(shí)間收益是劃算的。后來我把懲罰系數(shù)調(diào)到了3以上約束滿足率才明顯回升。另一個(gè)需要留意的問題是獎(jiǎng)勵(lì)稀疏。如果一次調(diào)度動(dòng)作要等幾十步之后才能看到整體的完工時(shí)間變化中間步驟的獎(jiǎng)勵(lì)全是0智能體就很難學(xué)會(huì)東西。解決辦法是把最終目標(biāo)拆解成中間過程的密集獎(jiǎng)勵(lì)比如用“每調(diào)度一個(gè)任務(wù)距離關(guān)鍵路徑終點(diǎn)的時(shí)間余量變化”作為即時(shí)獎(jiǎng)勵(lì)。這種方法在實(shí)驗(yàn)里顯著加速了收斂我的經(jīng)驗(yàn)是訓(xùn)練收斂所需的回合數(shù)能減少30%以上。4. 從零搭建可復(fù)現(xiàn)的實(shí)驗(yàn)管線4.1 模擬環(huán)境與工作流數(shù)據(jù)生成做這個(gè)方向的實(shí)驗(yàn)第一步是搭一個(gè)自己能完全控制的模擬環(huán)境。真實(shí)云端資源是沒法用來做強(qiáng)化學(xué)習(xí)訓(xùn)練的成本高不說狀態(tài)爆炸和并發(fā)沖突問題也會(huì)讓調(diào)試變成災(zāi)難。模擬環(huán)境要包含三個(gè)模塊工作流生成器、異構(gòu)資源模型、調(diào)度執(zhí)行器。工作流生成器負(fù)責(zé)生成DAG。建議用參數(shù)化的隨機(jī)生成方式讓任務(wù)數(shù)量、依賴密度、每個(gè)任務(wù)的計(jì)算量分布都可通過參數(shù)調(diào)整。例如可以生成1000個(gè)工作流其中一半任務(wù)數(shù)在20到50之間另一半在50到120之間任務(wù)的執(zhí)行時(shí)間服從均勻分布依賴稠密度設(shè)置為中等等。這樣訓(xùn)練集和測(cè)試集可以分開測(cè)試工作流不參加訓(xùn)練用來檢驗(yàn)泛化能力。資源模型里我一般定義三到四類虛擬機(jī)規(guī)格比如“高算力型”CPU強(qiáng)、內(nèi)存大、單價(jià)高、“均衡型”、“低成本型”CPU弱、內(nèi)存小、單價(jià)低。每類資源的執(zhí)行速度倍率和費(fèi)用單價(jià)不同這直接對(duì)應(yīng)了調(diào)度中“快與貴”的權(quán)衡。調(diào)度執(zhí)行器負(fù)責(zé)根據(jù)低層策略的決策模擬任務(wù)在對(duì)應(yīng)資源上的執(zhí)行并更新任務(wù)狀態(tài)、資源負(fù)載和剩余預(yù)算。這個(gè)模塊的實(shí)現(xiàn)要注意任務(wù)之間的依賴關(guān)系必須保證“一個(gè)任務(wù)的所有前驅(qū)都完成后才能開始執(zhí)行”這一前提這也是調(diào)度可行性的硬底線。4.2 算法主體一個(gè)可落地的Double DQN方案算法主體我推薦從Double Deep Q-Network開始不是因?yàn)樗露且驗(yàn)樗€(wěn)定、實(shí)現(xiàn)難度適中、適合作為基線。用三層全連接網(wǎng)絡(luò)作為Q函數(shù)近似器輸入是狀態(tài)向量輸出是每個(gè)低層策略的Q值。經(jīng)驗(yàn)回放緩沖區(qū)存最近的10000條轉(zhuǎn)移數(shù)據(jù)每次訓(xùn)練隨機(jī)采樣200條。目標(biāo)網(wǎng)絡(luò)每200步同步一次。探索策略使用epsilon貪心初始為0.9隨著訓(xùn)練逐步衰減到0.05保證訓(xùn)練早期有足夠探索、后期逐漸收斂。訓(xùn)練流程大致如下env WorkflowSchedulingEnv(dag_generator..., resource_model...) agent DoubleDQN(state_dim64, action_dimlen(llh_set), hidden_size128) for episode in range(3000): env.reset() state env.observe() while not env.terminal(): action agent.epsilon_greedy(state) reward, next_state, done env.step(action) agent.replay_buffer.add(state, action, reward, next_state, done) agent.train_step() state next_state我建議先跑100到200個(gè)回合做冒煙測(cè)試確認(rèn)獎(jiǎng)勵(lì)曲線在上升、約束違反率在下降再拉長訓(xùn)練量。不要一上來就3000個(gè)回合跑通宵發(fā)現(xiàn)問題時(shí)回頭調(diào)試代價(jià)很高。4.3 實(shí)驗(yàn)評(píng)估指標(biāo)、基線與對(duì)比方法評(píng)估階段最怕的是“只報(bào)一個(gè)數(shù)字”。強(qiáng)化學(xué)習(xí)調(diào)度器的表現(xiàn)受隨機(jī)性影響很大同一套訓(xùn)練配置換一個(gè)隨機(jī)種子結(jié)果可能差10%以上。所以我的習(xí)慣是用至少5個(gè)不同隨機(jī)種子訓(xùn)練取平均值和標(biāo)準(zhǔn)差。核心評(píng)估指標(biāo)建議同時(shí)關(guān)注四個(gè)維度指標(biāo)說明平均makespan整個(gè)工作流從開始到全部完成的時(shí)間越低越好約束滿足率所有測(cè)試工作流中滿足截止時(shí)間和預(yù)算約束的比例資源利用率平均每個(gè)資源的有效工作時(shí)間占比平均綜合成本所有工作流調(diào)度消耗的資源費(fèi)用基線上至少要對(duì)比單個(gè)低層策略比如純HEFT、隨機(jī)策略選擇每次隨機(jī)挑低層策略、以及一個(gè)傳統(tǒng)的離線搜索方案比如遺傳算法搜索策略序列。這樣對(duì)比出來能清楚看出強(qiáng)化學(xué)習(xí)超啟發(fā)式的優(yōu)勢(shì)到底來自“動(dòng)態(tài)切換策略”這一點(diǎn)而不是純靠運(yùn)氣或疊加了某個(gè)特別強(qiáng)的低層策略。看結(jié)果時(shí)我特別推薦做一次“同場(chǎng)景對(duì)比”把某個(gè)具體工作流的狀態(tài)追蹤圖拿出來看看智能體在關(guān)鍵決策點(diǎn)選了哪個(gè)低層策略為什么選它。這不是發(fā)論文必須的但能幫你理解智能體到底學(xué)到了什么也能避免“指標(biāo)好看但策略完全不合理”的假象。5. 調(diào)試與踩坑跑訓(xùn)練時(shí)最常遇到的幾個(gè)問題5.1 獎(jiǎng)勵(lì)稀疏與收斂緩慢我在這個(gè)方向上的第一個(gè)實(shí)驗(yàn)就栽在獎(jiǎng)勵(lì)稀疏上。那時(shí)獎(jiǎng)勵(lì)設(shè)計(jì)成“整個(gè)工作流跑完后計(jì)算完工時(shí)間與未違反約束的獎(jiǎng)勵(lì)”結(jié)果前500個(gè)回合里智能體收到的幾乎全是零偶爾有一兩個(gè)正獎(jiǎng)勵(lì)Q值更新基本是靠運(yùn)氣。訓(xùn)練曲線看起來就像一條水平直線完全沒有學(xué)習(xí)跡象。后來我把獎(jiǎng)勵(lì)改成單步密集形式每一步調(diào)度完成后計(jì)算這一步選擇的時(shí)間收益和成本收益配合約束懲罰。這樣智能體每走一步都能收到反饋。另外我給每個(gè)回合加了一個(gè)“漸進(jìn)式獎(jiǎng)勵(lì)”每成功調(diào)度一個(gè)任務(wù)給一個(gè)小正數(shù)獎(jiǎng)勵(lì)否則不給。這樣即使是失敗回合智能體也能在路徑上獲得部分正反饋訓(xùn)練信號(hào)密度明顯提高。5.2 狀態(tài)維度不定與圖編碼問題工作流的任務(wù)數(shù)量每次實(shí)驗(yàn)里都不一樣DAG結(jié)構(gòu)也不同但如果我的狀態(tài)輸入是全連接網(wǎng)絡(luò)的固定維度向量就繞不開“怎么把不同長度的信息塞進(jìn)固定維度”的問題。一開始我用的是手工特征聚合例如統(tǒng)計(jì)剩余任務(wù)數(shù)、關(guān)鍵路徑長度占比、資源平均負(fù)載、預(yù)算消耗比例等把所有信息壓縮成十幾個(gè)數(shù)值。這個(gè)方案跑是能跑但信息丟失嚴(yán)重任務(wù)之間的依賴結(jié)構(gòu)基本被抹平了智能體看不出哪些任務(wù)是關(guān)鍵路徑上必須優(yōu)先保障的。后來我換成了圖神經(jīng)網(wǎng)絡(luò)編碼。先對(duì)每個(gè)任務(wù)節(jié)點(diǎn)做嵌入得到每個(gè)任務(wù)的向量表示再用注意力池化把整個(gè)圖的表示壓縮成一個(gè)固定維度的全局向量。這個(gè)向量再和資源狀態(tài)向量拼接進(jìn)入全連接網(wǎng)絡(luò)。換了這個(gè)方案后收斂速度有可感知的提升。實(shí)現(xiàn)上不需要自己寫GNN用一個(gè)兩三層的消息傳遞層就行代碼量并不夸張。5.3 約束懲罰系數(shù)怎么標(biāo)定獎(jiǎng)懲參數(shù)的標(biāo)定是所有強(qiáng)化學(xué)習(xí)項(xiàng)目中最需要手感的環(huán)節(jié)。懲罰系數(shù)太小智能體會(huì)無視約束太大智能體會(huì)變得極度保守什么動(dòng)作都不敢做導(dǎo)致整體性能斷崖式下降。我調(diào)試時(shí)用過一個(gè)相對(duì)系統(tǒng)的辦法先固定其他參數(shù)把懲罰系數(shù)從0開始逐步增大每換一個(gè)值做一輪短訓(xùn)練觀察約束違反率和平均性能的折線圖。經(jīng)驗(yàn)上當(dāng)懲罰系數(shù)增大到違反率降到個(gè)位數(shù)百分比時(shí)繼續(xù)加大就沒有意義了。另一個(gè)技巧是讓懲罰系數(shù)跟著訓(xùn)練進(jìn)度動(dòng)態(tài)變化訓(xùn)練初期把系數(shù)設(shè)小讓智能體先探索策略空間訓(xùn)練后期把系數(shù)調(diào)大引導(dǎo)它專注于滿足約束。這種課程式訓(xùn)練思路在實(shí)踐中效果不錯(cuò)。5.4 訓(xùn)練不穩(wěn)定與隨機(jī)性控制深度強(qiáng)化學(xué)習(xí)的訓(xùn)練曲線劇烈震蕩是常態(tài)但震蕩到完全看不出趨勢(shì)就有問題了。我踩過的一個(gè)典型坑是目標(biāo)網(wǎng)絡(luò)更新頻率設(shè)得太頻繁導(dǎo)致當(dāng)前網(wǎng)絡(luò)總是追著目標(biāo)網(wǎng)絡(luò)跑兩者一起共振Loss值像過山車一樣上下顛簸。后來把同步頻率從50步改成200步并配合梯度裁剪訓(xùn)練明顯穩(wěn)定了很多。工作流生成器的隨機(jī)性也會(huì)放大訓(xùn)練波動(dòng)。如果每回合生成的工作流差異過大智能體在同一狀態(tài)下看到的回報(bào)方差會(huì)很高。我建議訓(xùn)練時(shí)把工作流生成參數(shù)固定下來比如任務(wù)數(shù)量范圍、依賴密度分布都固定只改變具體結(jié)構(gòu)測(cè)試階段再用另一組更分散的工作流檢驗(yàn)泛化能力。這樣能保證訓(xùn)練過程可控測(cè)試結(jié)果可信。6. 一些擴(kuò)展思路和實(shí)操建議6.1 從離線訓(xùn)練到在線調(diào)度訓(xùn)練好模型之后一個(gè)很自然的擴(kuò)展是把它嵌入真實(shí)的調(diào)度系統(tǒng)做在線調(diào)度。但這里要注意離線訓(xùn)練時(shí)的環(huán)境模型總會(huì)和真實(shí)情況有偏差。比如真實(shí)任務(wù)的實(shí)際執(zhí)行時(shí)間不是事先確定的它會(huì)受資源爭(zhēng)搶、網(wǎng)絡(luò)抖動(dòng)影響。一個(gè)穩(wěn)妥的落地方式是采用“人類留一手”的混合模式智能體每步給出推薦的低層策略但系統(tǒng)會(huì)加一道約束校驗(yàn)器凡是違反硬約束的推薦直接拒絕退回最近的可行策略。這道保險(xiǎn)絲能大幅提升系統(tǒng)的安全性避免因?yàn)槟P褪д`把整個(gè)工作流搞出約束邊界。6.2 遷移性與泛化的進(jìn)一步探索如果已經(jīng)跑通了固定場(chǎng)景下的調(diào)度接下來可以思考泛化問題。訓(xùn)練時(shí)只見過一種資源類型配置測(cè)試時(shí)換一批資源類型是不是還能表現(xiàn)良好工作流結(jié)構(gòu)從密集依賴變成稀疏依賴模型能不能適應(yīng)圍繞這些問題的探索思路包括訓(xùn)練時(shí)用域隨機(jī)化讓工作流生成器和資源模型都在一定范圍內(nèi)隨機(jī)變動(dòng)強(qiáng)制智能體學(xué)習(xí)更泛化的策略或者引入元學(xué)習(xí)的思路在不同調(diào)度場(chǎng)景之間訓(xùn)練一個(gè)“學(xué)會(huì)學(xué)習(xí)”的高層策略使它在新場(chǎng)景下能快速適應(yīng)。這個(gè)方向做起來工作量會(huì)大不少但也是這個(gè)題目最有科研增量空間的地方。6.3 給正在做課題的同學(xué)的幾點(diǎn)建議最后聊幾句實(shí)在的。如果你正在準(zhǔn)備這個(gè)方向的課題我建議先從復(fù)現(xiàn)經(jīng)典超啟發(fā)式調(diào)度開始跑通HEFT和Min-Min的基線再逐步加入強(qiáng)化學(xué)習(xí)模塊。別試圖一步到位實(shí)現(xiàn)“最強(qiáng)算法”。寫論文或做項(xiàng)目匯報(bào)時(shí)也不要只給一組最終數(shù)據(jù)。把訓(xùn)練曲線、約束違反率變化、不同低層策略的使用頻率分布都整理出來這些過程性觀察往往比最終指標(biāo)更能說明問題。評(píng)審人最關(guān)心的其實(shí)是兩個(gè)問題為什么這樣做有效以及在哪些條件下會(huì)失效。這些信息需要你在實(shí)驗(yàn)里不斷觀察和記錄。我在實(shí)際操作中的一個(gè)體會(huì)是強(qiáng)化學(xué)習(xí)超啟發(fā)式的價(jià)值不在于每一步都選到最優(yōu)調(diào)度策略而在于它能在不同場(chǎng)景之間靈活切換避免了固定策略在復(fù)雜約束下“一招鮮吃遍天”的尷尬。哪怕最終只是因?yàn)閯?dòng)態(tài)切換帶來了10%的性能提升這套思路在調(diào)度這個(gè)具體問題里也足以證明自己的價(jià)值了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
可以免费观看的av| 99视频在线观看视频| 日日噜噜夜夜狠狠久久丁香六月| 日日夜夜小色哥| 欧美99热| 在线资源av-超碰中文在线-成人AV| 成人.在线日韩| 婷婷丁香人妻天天爽| 99热在线播放| 婷婷欧美激情| 婷婷五月天激情综合网| 激情婷婷五月天伊人在线观看| 91丨九色丨高潮丰满日本| 特黄三级又爽又粗又大| 婷婷在线网| 亚洲免费看片| 色色射| 999久久久国产精品| 国产高清精品色| 夜夜涩涩涩| 一级性感黄色内射视频| 九九人人自拍| 射久久丁香五月| 日本不卡高字幕在线2019| 丁香色五月天| 天天干天天爽| 日日操日日撸| 激情5月婷婷| 婷婷五月丁香激情色情| 综合激情网五月激情| 人妻视频在线| 日本三级网址| 欧美婷婷丁香五月| 39视频第二区| 久久综合香蕉国产国产蜜臀AV| 中文字幕 中文字幕明步 | 久久伊人日日夜夜| 欧美精品久久久久久视频观看| 91人妻人人做人碰人人爽九色| 婷婷第一页| 亚洲黄网在线| 99热最新国内| 草榴视频黄色网| 日韩AV无码影片| 99综合免费视频| 影音先锋四区| AV在线中文| 五月丁香六月综合激情| 26uuu亚洲| 人人人操97| 色插综合网| 五月色亭丁香| 亚洲精品五十一区| 国产成人AV人人爽人人澡Va| 婷婷丁香六月影视| 五月丁六月香av| 成人深爱丁香五月| 精品视频99看在线视频| 婷婷五月天 偷拍| 成人精品一区二区三区四区五区| 亚州激情网| 玖玖视频福利| 综合丁香婷婷五月天| 超碰成人电影| 激情深爱五月婷婷| 成人婷婷色五月天| 色播五月丁香综合| 婷婷五月天色综合| 亚洲欧美999| 久久视频这里99| av人人操| 婷婷婷婷婷开心无码播放| 五月婷婷之美女图片| 午夜电影网VA内射| 久久这里只| 久久久五月四色| 婷婷香五月| 操熟女成人网| www激情婷婷com| 天天综合在线网| 99精品在这里| 激情图片久久| 色综合色综合网| 我爱大香蕉| 大香蕉综合在线| 婷婷丁香久久| 91操碰| 天天综合网站| 中文毛片无遮挡高潮免费| 婷婷五月丁香五月| 五月婷婷香蕉视频| 超级碰碰视频无码| 激情人妻综合| 天天射影| 色五月激情五月丁香五月婷婷啪啪综合| 99热欧| 天堂五月婷婷| www,av好吊操| 日本爆乳片手机在线播放| 色色色网站| 91久久九久久九久久九久久九久久| 97亚洲婷婷| 九热精品| 99精品网| 日韩AV免费看| 琪琪狠狠干| 久久艹网| 亚洲视频二区| 亚洲五月丁香综合网| 色色色综合网| 色综合五月在线| 婷婷色五月色妇| 日日操天天爽| 色色热| 五月丁香婷婷综合久久| 丁香九月激情| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 五丁香激情综合| 日逼免费视频| 亚洲综合激情五月久久| 97啪啪| 五月天婷婷色综合| 国产亚洲成AV人片在线观黄桃| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 亚洲无码九九| 天天爱天天爽| 91操碰| www.婷婷六月天| 丁香情色五月| 色五月婷婷五月天激情综合| 婷婷伊人| 99re思思热这里| www.五月天激情| 日亚二欧美| 欧美色图天堂网| 日本欧美成人片AAAA| av免费在线看不卡无毒| 91se在线观看| 性爱动图国产麻豆一区二区三区| 久色五月婷婷综合| 激情五月六月| 色5月婷婷| www.激情| 中字幕视频在线永久在线观看免费| 99婷五月| 综合久久高清| 亚洲精品欧洲精品| 色婷婷婷婷五月天| 亚洲操操| 亚洲狠9| www.综合久久| 五月天婷婷色五月天| 丁香伊人激情| 俺去也五月| 久久性操| 日日干四虎| 超91在线视频| 婷婷色影院| 日本色婷婷久久99精品91| 亚洲精久久| 色另类五月天| 日本色婷婷| 婷婷色在线| 三级片AAA久久久AAA久久久AAA| 婷婷狠狠爱| 五月婷婷狠狠干| xx综合网| 五月婷婷丁香啪啪| 被强行糟蹋的女人A片| WWW、日本色丁香、co m| 激情黄色小说色五月| 2025最新亚洲激情在线| 色婷婷丁香五月在线观看| 日韩九区| 狠狠色噜噜狠狠狠狠狠色综合久久| 久久WW| 亚色网站小视频| 26uuu欧美日本| 三级黄网站| 蜜乳久AV| 综合色五月天| 天天操天爱综合| 9月色婷婷| 337p大胆噜噜噜噜噜91Av| 色99久草在线| 久久99视频| 五月天黄色激情小说| 日本欧美国产| 97五月婷| 五月天综合网| 華人性愛AV在線| 在线,国产,色,热视频| 97婷婷五月天| 日本色狠狠| 五月婷婷激情综合网| 老妇六区| 免费黄色片子| 99热这里只有精品66| 婷婷丁香人妻天天爽| 无语停婷丁香网| 91 九色 熟女| 五月天啪啪| 久热这里| 98永久精品| 五月丁香视频在线观看| 99超级碰碰| 在线看九一V图片| www999日韩精品| 操逼在线视频| 色欲色香综合网| 五月丁香婷婷激情爱爱| 99re这里只有精品视频6| 日本丁香五月| 五月婷婷六月激情| 一区二区免费看| 九九婷婷五月天影视| 成人五月丁香社区| 肏日网在线看| 熟女五月天久久综合| 日韩色五月| chaopengdaxiangjiao| 日本三级日本三级三级人妇四虎| 可以免费看AV网站| 五月丁香影视| 免费亚洲婷婷中文字幕| 五月在线| 日本无码专区| 久久久久久久综合狠狠综合| 手机旧版看人妻1025| 丁香五月天操B| 婷婷亚洲天堂| 九九精品亚洲| 人操91在线| 亚洲久久视频| 久久98| 婷婷色基地在线看 | 青草视频在线播放| 综合色久| 色婷婷AV在线| www.九月婷婷丁香.com| 日在线V视频在线播放| 久久XX| 日韩成人电影Av| 久久99久久99精品免视看婷婷| www.色综合| 五月天久草| 婷婷狠狠五月综合| 婷色五月天| 超碰人人艹| 亚洲天天操| 深夜婷婷 丁香| 五月天国产成人| 婷婷五月天激情开心网| 亚洲AV影片在线观看| 五月天婷婷免费| 亚洲狠狠干| 草草女人亚洲| 亚洲欧洲色色| 色综合色色| 91九色 婷婷| 色狠久| 第九色区av天堂| 五月天婷婷av| 色婷婷www| 亚洲成人在线观看网址| 激情综合色婷婷啪啪六月天| www.9操| 欧美噜噜免费观看| 依人大香蕉| 无码橾| se99视频| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 啪啪综合网| 五月丁香av中文| 婷婷99狠狠| 超碰成人在线免费观看| 久久色五月天综合网| 国产精品天天狠天天看| 亚洲色色图片| 五月丁香六月欧美综合网站| 黄色AV日韩| 99热精品观看| 天天肏高清在线| 婷婷五月丁香综合激情| 在线观看欧美3区| 国产精品久久久丁香五月八戒视频| 久久人妻视频| 亚洲激情无码久久| 国产67194| 欧美操人| 天天操天天操天天操天天操天天操| 美女黄频aⅴ视频| 色色色热热热| 久久久五月天网站| 激情五月婷婷在线观看| 天天综合网色欲香| 26uuu欧美日本| 九月色婷婷婷| 天天日天天干天天天| 依人大香蕉在钱1| 丁香五月激情视频在线| 天天爱夜夜爽| 99久久欧美| 婷婷成人综合五月| 内射爽无广熟女亚洲| 天天肏屄夜夜爽| 精品久久久人妻| 亚洲精品国产成人AV在线| 超碰国产AV| 午夜丁香六月婷| 色五月综合资源推荐| 5五月综合网亚洲| 丁香激情综合| 丁香六月婷婷社区| 囯产精品久久欠久久久久久九大| 激情亭亭五月| 亚洲免费99| 欧美三日本三级少妇三99| 91九色国产熟女| 色综合色色色色| 少妇综合网| 97人妻碰碰碰碰碰久久久久久| 丁香六月婷婷综合欧美| 久久国产高清| 99热精品观看| 中文字幕视频在线播放| 思思久久精品| 五月婷婷狠天天色综合| AA片在线观看视频在线播放| 色婷五月| 亚洲欧美日韩另类| 另类综合色| 伊人网啪啪| 九九热在线精品视频| 国产色视频网站2| 五月综合色| 色欲影香| 五月婷婷六月丁香综合在线| ...婷婷国产成人亚洲日韩| 少妇大叫太大太粗太爽了A片| 久久久久综合激动五月天| 成人做爰A片免费看网站找不到了| 日本五月丁香| 9热在线| 六月丁香婷婷六月激情综合| 91av视频在线观看最新网址| 中文AV在线播放| 99在线精品观看99| 狠狠干狠狠干| 婷婷五月天综合色| 99九九中文字幕视频| 天天综合网91| 激情网五夜婷婷| 国产欧美精品AAAAAA片| 丁香五月婷婷综合网| 9一精品视频观看| 日本色久| 久久精品性爱视频,| 极品少妇高潮啪啪AV无码| 伊人婷婷五月 | 亚州第一A片| 停停五月色宗合| 九九婷婷综合| 亚洲超碰在线| 色五月五月天| 丁香五月天堂网AV| 综合久| 久久久久久久久久久久久久人妻视频| 少妇高潮呻吟A片免费看软件| 五月天婷婷青青草| 欧美伊人9| 婷色五月| 久久久五月激| 中文字幕亚洲-区久久99婷婷| 婷婷九月亚洲| 色必久悠悠影院| 丁香激情综合| 99超级碰碰| 丁香婷婷六月激情文学| 久久人人超| 国产99久久久| 最近免费中文字幕大全高清大全1| 日日爱699| 国产亚洲网站在线| 99精品在线播放| 五月婷婷视频28| 综合激情在线观看| 97人妻碰碰中文无码久热丝袜| 青青草搞屄视频网站| 五月天丁香婷婷久久九| 久久婷婷久久| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 99热综合| 亚洲99在线视频| 欧美月久久| 婷婷伊人| WWW.99热| 久久久99久久| 美女久久婷婷| 97影院一级片| 春色激情第四色| 91九色无码内射| 日韩操逼小电影| 香蕉伊人综合| 99热免费| 囯产精品久久欠久久久久久九大| 日日夜夜狠狠婷婷色| 抽插特写| 99狠狠| 久久婷婷丁香五月一二三| 亚洲av另类在线观看| 无码髙清| 婷婷婷色五月| 99热资源在线| 久久在线视频免费观看| 996er热| 亚洲另类婷婷五月丁香在线播放| 久久婷婷五月综合网| 久草A片| 丁香花五月天| 久久狠狠干| 最近中文字幕2019视频1| 五月丁香影视| 色五月丁香激情视频| 成人在线视频一区| 欧美交换配乱吟粗大25P| 色色网站| 五月丁香婷婷激情在线视频| 天堂久久性| 久久人人看| 五月天天爽| www.99在线| 亚洲欧洲美女在线观| 色婷婷导航| 久久五月激情| 婷婷丁香射射| 婷婷五月综合基地| 色狠狠综合| 日本va欧美va欧美精品88| 天天色月| 牛牛色av| 九九在线精品| 六月 丁香 视频| 久久这里只精品66| 五月婷婷日本| 免费黄网不卡AV| 99日本黄站| 国产乱妇乱子伦| 91人人操.COM| 微拍92| 五月丁香激情综合网| 亚洲五月花| 亚洲色色爱| 色99在线看| 久久精品一区二区三区四区| 综合久久婷婷| 色色射| 高清激情av在线观看| 色婷婷啪啪啪啪啪啪| 91丁香色| www.狠狠| 成人电影在线免费试看| 婷婷综合网站| www.激情五月天.com| 色综合视频| 丁香五月天久久| 婷婷六月激情| 久婷婷色| 伊人五月丁香| 综合色天天| 91色综合| 操人精品| 99爱在线| 91丨九色丨大屁股| AV在线免费播放| 亚洲成人黄色网| 天天日日人| 婷婷色啪| 91在线观看www| 五月丁香成人网| 综合久久高清| 激情深爱综合网| 中文无码精品一区二区三区| 激情网战码亚洲A| 99色在线观看视频| 艹色18p| 日本熟妇乱妇熟色A片蜜桃| 激情伊人五月天| 狠狠操天天干| 性生活久久朋友人妻| 激情五月天婷婷久久久久久久久久久 | 99激情视频| 中文字幕在线不卡| 五月综合久久| 婷婷五月天开心激情网| 第四色婷婷色五月| 久这里只有精品| 无码人妻电影| 夜夜爱伊人| 亚洲正能量欧美| 久久三级视频| 久久婷婷综合国产| 婷婷五月天久久久| 99爱免费视频在线观看| AV天堂淫乩| 99色在线观看| www99精品| 中文字幕激情综合| 9 9热这里有精品| 丁香五月亚洲综合丝袜| 国产XXXX搡XXXXX搡麻豆| 91热爆在线| a在线观看| 日日夜夜天天| 天天日天天草| 99色免费观看全部| 丁香五月综合网亚洲综合欧美狠狠| 色娸娸综合网| www.韩日视频| 国产毛片操B| 极品人妻VIDEOSSS人妻| 狠狠色丁香| 五月激情六月宗合| 综合色99| 9久视频| 婷婷97碰碰| 五月天久久91| 永久精品| AV人人操| 综合网视频| 丁香五月精品| 亚洲 六月 综合| 亚洲六月婷| 好吊丝aV| 六月婷婷色五月| 五月丁香婷婷在线综合蜜桃| 九九人妻福利| 丁香六月婷婷五月天| 99色色爰| 综合五月婷婷| 丁香五月性| 久久综合伊人77777蜜臀| 久久9RE热视频精品98| 碰人人97| 亚洲国产成人AV在线| 亚洲岛国电影| 色九月丁香婷婷蜜桃在线观看| 九色99视频| 色色色九九九五月婷婷| 丁香六月婷婷操逼网| 免费超碰在线观看| seuuu婷婷| 日韩青青| 99惹 精品在线| Aaa久久| 美女被操一区二区| 色播激情婷婷| 99热一本| 婷婷色色欧美| 久9热视频| 五月婷婷婷综合网| 粉嫩av蜜桃av蜜臀av| 影音先锋一区| 性色人人爽| 婷婷激情五月吧| 天天日天天干天天爱| 电影《战争与艾拉》免费观看| 梁铮版蜘蛛女在线观看| 五月丁香六月婷婷综合免| 美女要搞搞天天搞搞搞网站| 五月色天五月色| 五月天玖玖狠狠色色| 色五月婷婷啪啪五月| 久久66成人网站| 婷婷金品综合视频| 日本爆乳片手机在线播放| 狼友超碰| 99热国产精品| 精品人妻伦一二三区久久| 9久精品| 六月丁香婷| 亚洲经典三级| 日日操天堂| 影院久久久| 一区中文字幕电影| 99九九在线视频| 激情综合网五月丁香| 国产99热| 婷婷综合五月天激情| 天天爽曰日爽| 激情小说视频图片| 夜夜爱伊人| 超碰成人免费| 99精品偷自拍| www.一区二区三区| 99热欧美精品| 级情九色| 婷婷区日本| www.俺去也com| 天天精品视频免费观看| 人妻九九九九| 亚洲综合成人网| 亚洲天堂婷婷丁香| 丁香狠狠操| 久久久大香蕉| 九九视频精品这里只有| 婷婷五月天免费| 开心五月婷婷婷美女| 激情床戏| 五月婷网| 中文字幕按摩做爰| 超碰2021| 99操无码视频观看| 激情综合播播| 天天成人丁香美女AV| 五月丁香婷婷AV| 中文字幕婷婷| 国产毛片精品一区二区色欲黄A片| 爱操天堂| 嫩草视频观看| 国产伦理精品高清在线观看网站一区二区| 五月永久激情| 999热这里只有精品| 99玖玖免费视频| 久久久激情| 97伦乱| 99热线观看9| 99久久久国产大片| 色婷婷色五月综合| 99视频这里有精品| 丁香五月性| 亚洲精品无码一区二区| 国产高清视频91九九九久久久| 五月丁香激情综合六月涩涩爱| 五六月婷婷| 欧美综合五月丁香六月婷| www.色五月| 99热这里只有精品9| 激情五月成年| av在线免费网站| 午夜婷婷丁香| 99热这里只有在线| 91婷婷在线| 99精品国产乱码久久久人妻| 丁香久久九九99| 狠狠舔| 69午夜成人影片| 欧美五月婷婷| 欧美精品999| 中文字幕操比影片| 久久刺激网| 激情五月天开心网丁香无码| 色综合久久88色综合天天99| 五月综合视频| 久久免费干| 六月婷婷av| 五月开心婷婷| 伊人婷婷大香蕉| 国产肥白大熟妇BBBB视频| 激情久久网| 五月天丁香啪啪综合| 婷婷五月天激情网站| 99在线精品观看99| 五月天综合在线网| 另类激情五月| 亚洲看av的网站| 亚洲综合另类| 老美AA片| 色狠狠综合网| 五月天激情婷婷小说| 99热老司机| 99精品偷自拍| 丁香五月网| 色五月丁香激情视频| 极品人妻VideOssS人妻| 亚洲精品又粗又大又爽A片 | 五月天激情国产综合婷婷婷| 中文成人在线| 99re在线观看视频| www.久久综合| 国产亚洲精品AAAA片APP| 激情视频综合| 婷婷成人综合五月| 伊人久久婷婷| 3DAV亚洲香蕉久久 一区二区| 开心六月婷| 婷婷婷婷婷开心无码播放| 久久亚洲婷婷| 青996青| 色久五月| 操久久网| 亚洲人成网站999综合| 亚洲精品va| 久久 天天| 亚洲情综合五月天| 婷婷五月丁香久久| www.色五月.com| www.超碰| 99热在线观看精品| AAA亚洲AV| 日韩色色视频| 亚洲在线播放| 26uuu激情五月天| 五月天婷婷綜合院| 北条麻妃伊人| 色噜噜伊人| 亚洲网站999| 久久成人亚洲欧美电影| 天天拍夜夜撸| 91视频一起草| 色婷婷影视99| 777久久综合视频| 国产精品爽爽久久久久久| 婷婷色五月综合| 如何安全看伊人婷婷| 五月婷婷色播| 玖玖婷婷免费| 99热99日…..| 激情丁香社区| 影音先锋综合网| 天天拍夜夜撸| 久久综合干| 欧洲区自拍| 丁香五月天激情小说| 九九热这里| 男女免费视频999| 婷婷五月六月丁香综合| 99这里只有精品| 色婷婷欧美| 亚洲美女网Va| 五月四色激情| 色婷婷视频| 五月婷婷啪啪啪| 激情五月天第四色| 婷婷五月天激情五月天网站| 黄桃AV无码免费一区二区三区| 另类图片激情五月| 日本色狠狠| 丁香五月-激情综合| 开心 五月 综合| 日本精品99| 久久99精品久久久久久三级| 久久久18| 亚洲婷婷五月| 99资源人人| 亚洲综合婷婷| 欧美交换配乱吟粗大25P| 操一区| 天天操综合网| Av在线不卡一区| 26UUU精品一区二区Com| 婷婷五月天成人| 欧美99热| 亚洲综合另类| 操操日韩| 精品五月天| 久久婷婷五月综合色区| 五月丁香综合伦理片| 99热最新| 丁香色六月婷婷| 狠狠色噜噜狠狠| 日本丰满久久| 丁香社区婷婷五月| 日韩黄在免| www。狠狠干。com| 五月天另类视频| 五月丁香福利| 欧美在线操| 色婷婷国产精品综合在线观看| 五月天激情小说欧美激情| 日韩AC在线免费观看| 亚洲第一色色色色| av在线资源| 夜夜夜天天操| 深爱激情六月| 五月婷A V在线| 五月婷婷丁香大陆免费| 北京熟妇搡BBBB搡BBBB| 99热 免费| 五月天婷婷色| 精热在线综合网| 99热精品在这里| 激情文学久久| 成人av免费观看| Av九九| 五月丁香成人| 亚韩在线视频| 色丁香五月天| 99热这里| 五月婷婷六月天| 国产中文字幕在线视频免费观看| www.狠狠艹| 色色色丁香| 久久视频在线| 九色1区视频在线| av操一操| 婷婷五月天丁香久久| 九九热视频精品| 婷婷国产五月天17c| 国产色色色色| 日韩性爱无码| 五月婷婷啪啪| 婷婷五月丁香欧洲| 这里只有精品视频| AV成人在线播放| 五月丁香六月成人| 九九色色色| 亚洲综合另类| 操人久久| 99爽视频| 亚洲av免费在线| 九九色图| 久久多色| 99色免费观看全部| 99久久免费性爱视频`| 综合网亚洲| 五月综合激情久久| 搡BBBB搡BBB搡18| 婷婷五月天激情在线观看| 51精品国自产在线| 亚洲综合在线丁香五月| 国产精品91抖高| 99思思热只有在这里看| 色色色五月天激情资源| 激情六月婷婷| 玖玖午夜视频| 中文激情网| 久久久精品99亚洲综合| 狠狠精品干练久久久无码中文字幕| 婷婷激情五月天色| 久久婷婷五月天丁香| 五月丁香六月婷婷亚洲综合| 五月丁香久久色| 五月婷婷丁香啪啪| 成人视频一区| 超碰在线人妻| 五月色欧美| 精品9久| 综合五月丁香六月婷婷| www.97干视频| 五月色网| 综合五月天亚洲婷婷| 99精品成人无码A片观看金桔| 丁香六月爱综合| 97伦色婷婷| 丁香 亚洲 久久| 91成人品| 色婷婷电影网| 久99久热只有精品国产99| 男人的天堂99| 天天综合五月| 五月天日日操夜夜操 | 常久最新免费的色吊丝| 五月婷无码| 99操逼| 婷婷五月综合色拍| 色色com| 五月丁香 久久久| 成人精品免费在线观看| 丁香五月婷婷基地| 欧美一级色| 日产精品久久久久久久蜜臀| 丁香六月婷婷姐网| 亚洲碰碰碰| 九九热在线精品| 99 这里只有精品| 99热九九九九| 色色99| 国产激情AV| 成人在线99| 精品综合久久久久久五月天| 免费观看高清无码| 六月婷婷色色色| 色色热99| 婷婷亚洲在线| www.五月丁香| 五月丁香激情片| 久久久精品免费啪啪国| 播播网色播播| 99激情网| 色色五月天 亚洲| 色婷婷a| 99这里有精品久久97| AA片在线观看视频在线播放| 天天天天天天噜| 欧洲一区二区| 五月丁香六月激情综合| 色婷婷先锋| 激情文学第四色婷婷丁香五月| 色婷婷综合网| 色五月丁香六月婷婷| AV动漫不卡无码免费| 色综合色色| 国产裸舞表演WWWW| 国产精品日日躁夜夜躁| 久9视频| 六月丁香激情综合| 一区二区乱码视频| 图片区 小说区 区 亚洲五月| 综合五月丁香六月婷婷| 大香蕉99热| 俺也去色| 久久精品性爱| 另类的婷婷| www91色网站| 久久久.COM| 欧洲亚洲免费视频9| 真实熟女-91九色| 亚洲AV成人精品日韩在线播放| 丁香伊人综合| 久色五月天| 天天日日夜夜| 五月婷婷成人| 丁香六月婷婷一区| 一区二区你懂的| 免费黄色片子| 五月丁香六月婷婷手机无线| 性生活视频98791| 超碰免费在线| 色婷婷五月天不卡| 婷婷射图| 天天草女人| 国産精品| 日韩综合大黄| 91vip在线观看| 成人国产网站在线免费看| 婷婷五月天激情电影| 亚洲AAA| 26uuu精品一区二区| 丰满少妇猛烈A片免费看观看| 五月丁香六月婷婷国产视频| 久热精品视频在线观| 欧美日韩色色| 婷婷免费视频| 五月丁香中文字幕| 99re66热这里只有精品| 欧美人人草草| 五月开心久久| 五月丁香另类图片| 怡红院99| 停停五月色宗合| h在线看免费版在线看| 激情五月丁香亭亭| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 91精品久久久久久77777| 第四色26uuu| 婷婷五月天激情网| 欧美偷偷操| 99日韩| 天天干天天干天天| 丁香五月1页| 肏日网在线看| 五月丁香| 超碰93在线观看| 色五月婷婷啪啪五月| 秋霞A V毛片| 色婷婷yy久| 丁香婷婷激情| 丁香五月天亚洲视频| 五月丁婷婷| 五月丁香久人妻中文| 色欲五月丁香| 99啪啪| 激情五月天激情综合网| 99rewww| 色色五月婷婷久久| 91精品91久久久久77777| 99无码黄色视频| 色五月婷婷一二| sewuyue第四色| 成人欧美日韩| 日韩成人电泉AV| 精品一二三区久久AAA片| 影音先锋一区| 久色资源网| 五月天综合缴情网网站0| 婷婷六月综合| 超碰2021| 五月丁香啪啪网| 色婷婷久久| 综合图区激情| 激情六月下句是什么| 亚洲99在线| 九月丁香很很色| 丁香五月性| 亚洲情色一区| 天天干-天天日| 桃色五月婷婷| 亚洲精品一区无码A片| 五月婷婷久久久| 开心网五月色婷婷| 狠狠色激情综合| 九九热在线亚洲免费视频| 超级碰碰碰碰视频| 色噜噜狠狠狠狠色综合久欧美| 婷婷五月成人| 9久精品视频| 色婷婷AV久久久久久久| 四虎婷婷五月天| 亚洲成人在线播放| 久久综合五月婷婷| 五月激情四射网站| 亚洲激情综合| 超碰久热| 亚洲熟妇无码乱子AV电影| 这里只有精彩视| 五月婷婷天天色| 久久综合爱| 丁香五月电影院在线观看| 粉嫩AV久久一区二区三区| 婷婷丁香六月| 成人在线综合| 色爱亚洲| 九色色| 深爱开心激情网| 免费成人va| 日韩超碰在线| 99婷婷五月天激情| 久久涩视频| 精品一二三区久久AAA片| 久热无码| 色色狼人综合| 日本婷婷| 婷婷五月天六点丁香五月| 久久草婷婷丁香网站| 99热精品在线播放观看| 五月婷婷色| 五月婷婷黄色毛片| 久久久五月天婷婷| 亚洲六月色| 怡红院AV亚洲一区二区三区H| 人妻内射视频| 色五月婷婷av| 超碰93在线观看| 婷婷五月六月丁香| 操操操AV| 综合狠狠五月婷婷| 激情五月丁香综合蜜桃| 亚洲欧美婷婷五月色综合| 91视频一起草| 91日日日| 另类亚洲视频| 婷婷国产五月天17c| 色综合久久久综合久久网| 免费无码毛片一区二区A片| 九九亚洲| 五月天综合在线| 五月天色不卡| 亚洲99热| WWW.99热| 9l视频自拍九色9l视频自拍九色9l社区| 综合网五月| 99热在线观看精品| 五月婷婷免费视频| 99热首页在线30| 狠狠色情婷婷| 婷婷五月天,影院| 再綫Av免费視品| 欧美丁香婷婷天天操| 97色色色色| wWwCom夜操wwW| 99五月丁香丁| 五月婷婷深深的爱| 久热精品视频在线观| 快乐激情五月色婷婷| 丝袜大香蕉| 伊人干综合| 婷婷五月激情欧美| 99热在线中文字幕| 色色五月天丁香| 99热国内精品| 9精品视频在线观看| 久久精品91视频| www.sebowuyue| 国产午夜精品一区二区| 骚五月婷婷| 99a级片| 久热re在线视频| 天堂网色婷婷| 97干在线看| 国产超碰人人| 久久婷五月综合| 色狠狠婷婷| 五月丁香综合色婷婷| 91久久网站| 久草免费福利视频| 九 九九九AV| 亚洲啪啪精品| 国产一区18| 日本女人久久| 五月婷婷啪啪网| 丁香婷婷啪啪| 综合色情网| 丁香五月婷婷狠狠色| 久久婷婷五月国产激情综合片| 色播五月婷婷综合| 99视频地址| 6080av| 国产日日操夜夜操的肉棒视频| 丁香五月婷在线观看| 这里只有精品网站| 五月天婷婷激情综合| 婷婷成人五月天| 成人av在线网站| 深爱激情五月婷婷| 色色激情五月天| 裸体做A爰片毛片A片免费| AAA级久久久精品| 潘金莲AAAAAAAAAA| 婷婷五月超碰| 国产免费一区二区三州老师F1F1……| pom538精品视频| 香蕉综合在线| 激情深爱综合| 26uuu欧美亚洲日韩| 五月激情五月婷婷五月天在线| 婷婷亚洲五月| 伊人狠狠丁香婷婷综合尤物| 色欲色香综合网| 天天爽天天爽| 色色色com| 开心五月婷婷伊人| 五月婷婷六月综合| 伊人狠狠丁香婷婷综合尤物| 久久久人妻人伦| 五月天激情在线视频| 婷婷伊人久久综合| 人人草人| 九九这里只有精品| 丁香五月首页| 久久久com| 超碰在线观看三级片| 伊人大香久久| 久大香蕉| 久久99婷婷| 月月AV| 婷婷香五月综合激情| 91色情播放| 日本色久| 五月天精品| 国产精品涩涩涩视频网站| 五月久久丁香| 高清成人综合| 国产激情久久久| 五月视频日本免费观看| 色久综合天天做视频| 欧美狠狠色| 丁香五月婷久久| 四川BBB搡BBB搡多人乱亂| 日本高清不卡免费一区二区三区| 六月丁香激情| 综合网色| 婷婷五月天视频小说| 丁香五月婷中字幕| 午夜成人天堂久久无码日韩久久| 99色在线| 成人在线观看国产| 96色婷婷| 色玖玖爱| 色五月激情五月丁香五月婷婷啪啪综合| 99综合免费视频| 中文久久婷婷| 三级三久久线久久99久目本WW| 九九综合影音先锋| 99人人操| 婷香五月网在线| 亚洲99激情| 天天日天天干天天插天天射| 殴美日韩成人| 色情成人五月天| www,99视频| WWW.久久久久久久| 少妇人妻丰满做爰XXX| 黄页免费一级视频懂色| 激情av| 丁香五月成人论坛| 婷婷六月五月天综合| 日韩在线视频网站| 91九色国产| 久久丁香五月天| 丰满人妻妇伦又伦精品国产| 亚洲在线成人| www.日本久久videos| 亚洲久久婷婷丁香五月天| 激情五月开心五月丁香五月| www色色com| 性天堂久久| 精品亚洲国产成人A片在线鸭王| 丁香五月天社区婷婷| 中文字幕在线日亚洲9| 五月天激情国产综合AV| 五月天丁香婷婷社区| 欧美在线视频99| 亚洲xx在线| 丁香五月婷婷色偷偷| 性爱动图国产麻豆一区二区三区| 亚洲国产色色| 91超级碰碰碰| 激情色五月天| 激情四射网| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | VA五月激情在线| 婷婷成人五月天成人文学小说| 色五月网址| 色情网综合| 亚洲色久| 激情五月狠狠| 久久怡红院| 9 1大香蕉| 五月婷婷色播视频| 五月激情六月婷婷| 99热这里只有精品5| 欧美成综合在线观看| 黄色99视频| 狠狠色综合精品视频在线| 狠狠干夜夜干| 大香伊人婷婷| 五月婷婷新网站| www激情com| AA丁香综合激情| 婷婷国产欧美97| www.99热国产| 欧洲色| 免费看欧美成人A片无码| 丁香五月情| 丁香欧美| 久久只有18视频| 久久久久久9热不雅视频| 《诡秘之主》在线观看| 亚洲日韩欧美综合VA| 色五月首页| 伊人玖玖网| 丁香五月六月婷婷自拍| 996热re视频精品视频| 伊久大香蕉| 美女网黄| 婷婷五月天偷拍| 色五月成人| 99色精品| 99精品视频免费观看,| 久久99久久99精品免视看婷| 二区成人视频| 熟女乱论网| 久久人人超| 久操乱| ay2区| 六月婷婷色色色| 色五月婷婷在线观看第一页舔| 激情综合网五月丁香| 亚洲狠狠狠| 久久激情综合| 99热亚洲精品| 天天爽夜夜爽天天爽夜夜爽| 日本色婷婷| 任你擦免费视频| 五月婷婷精品无在线| www色色com| 色色网91| 丁香五月激情站| 五月丁香狠狠爱| 超碰成人在线免费观看| 中文字幕丰满乱孑伦无码专区| 激情小说婷婷| 亚洲狠狠色丁香婷婷综合久久| 丁香五月天在线观看视频| 色色色在线观看|