欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

ARISE框架:分層強(qiáng)化學(xué)習(xí)中技能演化與推理的協(xié)同進(jìn)化

ARISE框架:分層強(qiáng)化學(xué)習(xí)中技能演化與推理的協(xié)同進(jìn)化 1. 從“打工人”到“管理者”為什么我們需要ARISE最近在跟幾個(gè)做強(qiáng)化學(xué)習(xí)的朋友聊天大家普遍有個(gè)感覺(jué)現(xiàn)在的智能體Agent越來(lái)越像“996的打工人”。你給它一個(gè)任務(wù)比如“把箱子推到指定位置”它吭哧吭哧學(xué)半天最后確實(shí)能推過(guò)去。但問(wèn)題是它只會(huì)推這個(gè)箱子換個(gè)形狀的箱子、或者把目標(biāo)位置挪一下它可能就懵了又得從頭開始學(xué)。這種“一個(gè)任務(wù)一個(gè)模型”的模式效率低、成本高而且智能體學(xué)到的知識(shí)非?!按嗳酢比狈εe一反三的能力。這背后反映的其實(shí)是傳統(tǒng)強(qiáng)化學(xué)習(xí)的一個(gè)核心瓶頸技能復(fù)用與組合能力差。智能體在單一任務(wù)中學(xué)到的策略很難遷移到新任務(wù)上。這就好比一個(gè)只會(huì)擰螺絲的工人你讓他去組裝一臺(tái)機(jī)器他完全無(wú)從下手。為了解決這個(gè)問(wèn)題學(xué)術(shù)界和工業(yè)界把目光投向了分層強(qiáng)化學(xué)習(xí)。它的核心思想很直觀把復(fù)雜的任務(wù)分解成多個(gè)簡(jiǎn)單的子任務(wù)讓智能體先學(xué)會(huì)一些基礎(chǔ)的“技能”比如“移動(dòng)”、“抓取”、“旋轉(zhuǎn)”然后再學(xué)習(xí)如何將這些技能組合起來(lái)完成更高級(jí)的目標(biāo)。這就像培養(yǎng)一個(gè)管理者先讓他精通各個(gè)業(yè)務(wù)模塊技能再學(xué)習(xí)如何協(xié)調(diào)這些模塊高層策略來(lái)完成公司戰(zhàn)略。然而理想很豐滿現(xiàn)實(shí)很骨感?,F(xiàn)有的分層強(qiáng)化學(xué)習(xí)方法尤其是基于內(nèi)在技能演化的路徑面臨兩大“攔路虎”技能“死記硬背”智能體學(xué)到的技能往往是針對(duì)訓(xùn)練環(huán)境“定制”的換個(gè)環(huán)境就失效了。技能本身缺乏泛化性和魯棒性。高層“瞎指揮”高層策略管理者在選擇使用哪個(gè)技能時(shí)往往基于短期的、局部的獎(jiǎng)勵(lì)缺乏對(duì)任務(wù)整體的“理解”和“規(guī)劃”容易做出短視的決策。而ARISE這個(gè)框架全稱是“Agent Reasoning with Intrinsic Skill Evolution in Hierarchical Reinforcement Learning”直譯過(guò)來(lái)就是“基于內(nèi)在技能演化的智能體推理分層強(qiáng)化學(xué)習(xí)”。它瞄準(zhǔn)的正是上述兩個(gè)痛點(diǎn)。ARISE試圖賦予智能體兩樣?xùn)|西一是能自我進(jìn)化、適應(yīng)新環(huán)境的“基本功”技能二是能像人類一樣進(jìn)行“思考”和“規(guī)劃”從而合理調(diào)度這些基本功的“大腦”高層推理。簡(jiǎn)單說(shuō)ARISE的目標(biāo)是培養(yǎng)一個(gè)不僅“手藝”好而且“腦子”活能應(yīng)對(duì)各種未知挑戰(zhàn)的“全能型智能體”。這對(duì)于需要高適應(yīng)性、高自主性的場(chǎng)景如家庭服務(wù)機(jī)器人、復(fù)雜游戲AI、工業(yè)柔性自動(dòng)化等有著巨大的價(jià)值。接下來(lái)我們就深入拆解ARISE是如何一步步實(shí)現(xiàn)這個(gè)目標(biāo)的。2. ARISE的核心架構(gòu)三層設(shè)計(jì)如何實(shí)現(xiàn)“思考”與“進(jìn)化”要理解ARISE我們不能把它看成一個(gè)黑箱而是要從它的架構(gòu)設(shè)計(jì)入手。ARISE的整體框架是一個(gè)經(jīng)典的三層結(jié)構(gòu)但它在每一層都做了關(guān)鍵的創(chuàng)新使得“推理”和“進(jìn)化”得以貫穿始終。2.1 底層技能執(zhí)行層——從“固定招式”到“可進(jìn)化技能庫(kù)”在傳統(tǒng)的分層強(qiáng)化學(xué)習(xí)中底層通常是一組預(yù)定義或?qū)W得的固定技能。比如在機(jī)器人領(lǐng)域技能可能是“向前移動(dòng)0.5米”、“順時(shí)針旋轉(zhuǎn)30度”等原子動(dòng)作的序列。這些技能一旦學(xué)成在測(cè)試階段就是不變的。ARISE的底層則是一個(gè)可進(jìn)化的技能庫(kù)。它不僅僅存儲(chǔ)技能更重要的是為每個(gè)技能賦予了一個(gè)“進(jìn)化潛力”。具體是如何實(shí)現(xiàn)的呢核心機(jī)制技能參數(shù)化與內(nèi)在獎(jiǎng)勵(lì)驅(qū)動(dòng)每個(gè)技能不再是一個(gè)固定的動(dòng)作序列而是一個(gè)由參數(shù)控制的策略子模塊。例如一個(gè)“抓取”技能其參數(shù)可能包括抓取力度、手爪張開角度、接近速度等。在訓(xùn)練初期這些技能是粗糙和通用的。ARISE為技能學(xué)習(xí)引入了一個(gè)關(guān)鍵的內(nèi)在獎(jiǎng)勵(lì)。這個(gè)獎(jiǎng)勵(lì)不是環(huán)境給予的如“抓到物體10分”而是技能自己“覺(jué)得”有沒(méi)有進(jìn)步。比如新穎性探索獎(jiǎng)勵(lì)鼓勵(lì)技能去嘗試它之前很少執(zhí)行的動(dòng)作參數(shù)組合。技能覆蓋度獎(jiǎng)勵(lì)鼓勵(lì)技能庫(kù)中的不同技能能夠覆蓋盡可能多樣化的狀態(tài)-動(dòng)作空間避免技能同質(zhì)化。學(xué)習(xí)進(jìn)度獎(jiǎng)勵(lì)如果某個(gè)技能在近期通過(guò)微調(diào)其參數(shù)顯著提升了完成某個(gè)子目標(biāo)的成功率那么它就會(huì)獲得獎(jiǎng)勵(lì)。注意這里的內(nèi)在獎(jiǎng)勵(lì)設(shè)計(jì)是ARISE的一個(gè)精髓。它讓技能的學(xué)習(xí)不再完全依賴于外部任務(wù)的成敗而是有了“自我提升”的內(nèi)在驅(qū)動(dòng)力。這就好比一個(gè)工匠不僅為了完成訂單外部獎(jiǎng)勵(lì)而工作也會(huì)為了提升自己的手藝內(nèi)在獎(jiǎng)勵(lì)去主動(dòng)練習(xí)新的技法。通過(guò)這種內(nèi)在獎(jiǎng)勵(lì)的驅(qū)動(dòng)底層技能會(huì)在與環(huán)境的交互中不斷微調(diào)自己的參數(shù)逐漸從“粗糙通用”進(jìn)化到“精細(xì)適配”甚至能針對(duì)新環(huán)境的特點(diǎn)進(jìn)行快速調(diào)整。這就是“技能演化”的體現(xiàn)。2.2 中層技能推理與選擇層——從“條件反射”到“基于模型的規(guī)劃”這是ARISE最具創(chuàng)新性的一層也是“Reasoning”一詞的集中體現(xiàn)。傳統(tǒng)方法中高層策略往往是一個(gè)簡(jiǎn)單的策略網(wǎng)絡(luò)輸入當(dāng)前狀態(tài)輸出應(yīng)該激活哪個(gè)技能。這更像是一種“條件反射”看到某種情況就下意識(shí)地選用某個(gè)技能。ARISE在這一層引入了一個(gè)輕量級(jí)的世界模型和規(guī)劃器。工作流程解析狀態(tài)編碼與技能效果預(yù)測(cè)智能體首先將當(dāng)前的環(huán)境狀態(tài)如機(jī)器人攝像頭圖像、關(guān)節(jié)角度編碼成一個(gè)抽象的表示。然后對(duì)于技能庫(kù)中的每一個(gè)候選技能智能體利用其內(nèi)置的世界模型快速“想象”一下如果我現(xiàn)在執(zhí)行這個(gè)技能接下來(lái)幾秒鐘環(huán)境可能會(huì)變成什么樣子這個(gè)預(yù)測(cè)的狀態(tài)我們稱之為該技能的“預(yù)期效果”。基于價(jià)值的技能評(píng)估智能體有一個(gè)高層價(jià)值函數(shù)用于評(píng)估某個(gè)狀態(tài)對(duì)于完成最終任務(wù)的“好壞”程度。它用這個(gè)價(jià)值函數(shù)去評(píng)估每個(gè)技能產(chǎn)生的“預(yù)期效果”狀態(tài)的價(jià)值。規(guī)劃與選擇智能體不會(huì)只看一步。它會(huì)進(jìn)行一個(gè)淺層的搜索例如向前看3-5步模擬連續(xù)使用不同技能組合后可能到達(dá)的狀態(tài)并計(jì)算這些狀態(tài)序列的累積價(jià)值。最終它選擇那個(gè)能引導(dǎo)至最高價(jià)值狀態(tài)的技能或技能序列作為當(dāng)前決策。舉個(gè)例子假設(shè)一個(gè)倉(cāng)儲(chǔ)機(jī)器人智能體的任務(wù)是把A區(qū)的貨箱搬到B區(qū)。它當(dāng)前在A區(qū)面前有貨箱狀態(tài)。傳統(tǒng)方法策略網(wǎng)絡(luò)直接輸出“執(zhí)行抓取技能”。ARISE方法推理層會(huì)“思考”我現(xiàn)在有“移動(dòng)”、“抓取”、“抬起”等技能。它用世界模型預(yù)測(cè)如果執(zhí)行“抓取”我能抓住箱子但位置沒(méi)變。它評(píng)估抓住箱子后的狀態(tài)距離“貨箱在B區(qū)”這個(gè)目標(biāo)還有距離價(jià)值不高。它進(jìn)一步規(guī)劃也許先“移動(dòng)”到箱子側(cè)面再“抓取”這樣抓取后更容易轉(zhuǎn)向“移動(dòng)”去B區(qū)。經(jīng)過(guò)模擬這個(gè)“移動(dòng)-抓取”的序列被認(rèn)為能更快接近高價(jià)值狀態(tài)。最終決策先執(zhí)行“移動(dòng)”技能調(diào)整位姿。這個(gè)過(guò)程模擬了人類的“在心中預(yù)演”能力使得技能的選擇不再是盲目的而是有目的的、前瞻性的。2.3 高層任務(wù)目標(biāo)與元認(rèn)知層——監(jiān)督與協(xié)調(diào)最高層負(fù)責(zé)接收最終的任務(wù)目標(biāo)如“把紅色方塊放到藍(lán)色區(qū)域”并將其分解成一系列子目標(biāo)傳遞給中層的推理層。同時(shí)這一層還扮演著“元認(rèn)知”的角色即對(duì)自身學(xué)習(xí)過(guò)程的監(jiān)控和調(diào)整。子目標(biāo)生成根據(jù)最終任務(wù)和當(dāng)前環(huán)境動(dòng)態(tài)生成合適的子目標(biāo)。例如任務(wù)初期子目標(biāo)可能是“接近紅色方塊”中期是“抓取紅色方塊”后期是“將紅色方塊移動(dòng)到藍(lán)色區(qū)域上方”。技能庫(kù)管理監(jiān)控底層技能的學(xué)習(xí)效率和使用頻率。如果發(fā)現(xiàn)某個(gè)技能長(zhǎng)期表現(xiàn)不佳或從未被使用高層可以發(fā)出指令要求底層調(diào)整該技能的內(nèi)在獎(jiǎng)勵(lì)權(quán)重甚至將其“回爐重造”。推理層調(diào)整如果中層的規(guī)劃頻繁失敗預(yù)測(cè)與現(xiàn)實(shí)嚴(yán)重不符高層可以判斷是世界模型不準(zhǔn)還是規(guī)劃深度不夠并觸發(fā)相應(yīng)的模型更新或參數(shù)調(diào)整機(jī)制。這三層結(jié)構(gòu)形成了一個(gè)完整的閉環(huán)底層技能通過(guò)內(nèi)在獎(jiǎng)勵(lì)不斷進(jìn)化變得更強(qiáng)、更通用中層利用世界模型和規(guī)劃智能地選擇和組合技能高層則統(tǒng)籌全局確保整個(gè)系統(tǒng)朝著最終目標(biāo)高效前進(jìn)。接下來(lái)我們看看這套架構(gòu)是如何被訓(xùn)練出來(lái)的。3. ARISE的訓(xùn)練機(jī)制如何讓“推理”和“進(jìn)化”協(xié)同工作訓(xùn)練一個(gè)分層系統(tǒng)遠(yuǎn)比訓(xùn)練單一策略復(fù)雜因?yàn)槟阈枰瑫r(shí)優(yōu)化多個(gè)相互關(guān)聯(lián)的模塊。ARISE采用了一種交替優(yōu)化、分層遞進(jìn)的訓(xùn)練策略其核心是解耦不同層次的學(xué)習(xí)目標(biāo)并讓它們通過(guò)特定的信號(hào)進(jìn)行協(xié)同。3.1 底層技能的訓(xùn)練內(nèi)在獎(jiǎng)勵(lì)與環(huán)境獎(jiǎng)勵(lì)的平衡底層技能的策略網(wǎng)絡(luò)其目標(biāo)是最大化一個(gè)混合獎(jiǎng)勵(lì)總獎(jiǎng)勵(lì) 環(huán)境獎(jiǎng)勵(lì) β * 內(nèi)在獎(jiǎng)勵(lì)其中β是一個(gè)超參數(shù)用于調(diào)節(jié)內(nèi)在獎(jiǎng)勵(lì)的權(quán)重。環(huán)境獎(jiǎng)勵(lì)當(dāng)技能執(zhí)行后如果有助于完成高層下達(dá)的當(dāng)前子目標(biāo)如“抓取到物體”就會(huì)獲得正的環(huán)境獎(jiǎng)勵(lì)。這確保了技能的學(xué)習(xí)不會(huì)脫離實(shí)際任務(wù)避免演化出一些“花哨但無(wú)用”的動(dòng)作。內(nèi)在獎(jiǎng)勵(lì)如前所述包括新穎性、覆蓋度、學(xué)習(xí)進(jìn)度等。這部分獎(jiǎng)勵(lì)驅(qū)動(dòng)技能去探索和提升自身。訓(xùn)練時(shí)每個(gè)技能都有自己獨(dú)立的策略網(wǎng)絡(luò)和批評(píng)家網(wǎng)絡(luò)。數(shù)據(jù)來(lái)源于智能體與環(huán)境的所有交互。但這里有個(gè)關(guān)鍵需要為每條交互數(shù)據(jù)打上“技能標(biāo)簽”即這條數(shù)據(jù)是由哪個(gè)技能生成的。這通常通過(guò)在高層的技能選擇指令中附帶技能ID來(lái)實(shí)現(xiàn)。一個(gè)實(shí)操中的難點(diǎn)是技能間數(shù)據(jù)分配不平衡。某些技能如“移動(dòng)”可能被頻繁調(diào)用產(chǎn)生大量數(shù)據(jù)而另一些技能如“精細(xì)操作”數(shù)據(jù)很少。ARISE通常采用經(jīng)驗(yàn)回放緩沖區(qū)優(yōu)先級(jí)采樣來(lái)解決對(duì)于數(shù)據(jù)量少的技能其產(chǎn)生的數(shù)據(jù)會(huì)被賦予更高的采樣優(yōu)先級(jí)確保其策略網(wǎng)絡(luò)也能獲得足夠的訓(xùn)練。3.2 中層推理層的訓(xùn)練世界模型與規(guī)劃器的學(xué)習(xí)中層的學(xué)習(xí)是整個(gè)框架中最具挑戰(zhàn)性的部分因?yàn)樗蕾囉谝粋€(gè)能夠準(zhǔn)確預(yù)測(cè)技能執(zhí)行效果的世界模型。世界模型的訓(xùn)練 世界模型通常是一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)或Transformer輸入是當(dāng)前狀態(tài)和要執(zhí)行的技能ID輸出是預(yù)測(cè)的下一個(gè)狀態(tài)以及可能的環(huán)境獎(jiǎng)勵(lì)。它的訓(xùn)練數(shù)據(jù)直接來(lái)源于智能體與環(huán)境的真實(shí)交互記錄狀態(tài) 技能 下一狀態(tài)。訓(xùn)練目標(biāo)是最小化預(yù)測(cè)狀態(tài)與真實(shí)狀態(tài)之間的誤差如均方誤差。注意世界模型的準(zhǔn)確性至關(guān)重要。如果預(yù)測(cè)誤差太大中層的規(guī)劃就成了“瞎規(guī)劃”。在實(shí)踐中我們通常會(huì)在訓(xùn)練初期用一段時(shí)間的隨機(jī)探索數(shù)據(jù)先預(yù)訓(xùn)練一個(gè)基礎(chǔ)的世界模型然后再與整個(gè)系統(tǒng)一起進(jìn)行微調(diào)。同時(shí)需要定期用最新的交互數(shù)據(jù)來(lái)更新世界模型以適應(yīng)環(huán)境或技能本身的變化。高層價(jià)值函數(shù)的訓(xùn)練 高層價(jià)值函數(shù)用于評(píng)估狀態(tài)的好壞。它的訓(xùn)練基于時(shí)序差分誤差。具體來(lái)說(shuō)當(dāng)智能體執(zhí)行一個(gè)技能序列并到達(dá)一個(gè)新狀態(tài)后它會(huì)根據(jù)環(huán)境反饋和后續(xù)狀態(tài)的預(yù)測(cè)價(jià)值來(lái)計(jì)算當(dāng)前狀態(tài)的價(jià)值目標(biāo)然后通過(guò)梯度下降來(lái)更新價(jià)值網(wǎng)絡(luò)使其預(yù)測(cè)更準(zhǔn)確。規(guī)劃器的“訓(xùn)練” 規(guī)劃器本身如蒙特卡洛樹搜索的 rollout 策略通常不涉及神經(jīng)網(wǎng)絡(luò)的訓(xùn)練其“性能”完全依賴于世界模型和高層價(jià)值函數(shù)的準(zhǔn)確性。因此對(duì)規(guī)劃器的優(yōu)化主要體現(xiàn)在搜索深度、寬度和計(jì)算效率的權(quán)衡上。在訓(xùn)練初期由于模型不準(zhǔn)確可能采用較淺的搜索隨著模型越來(lái)越準(zhǔn)可以逐步增加搜索深度以獲得更優(yōu)的規(guī)劃。3.3 高層元認(rèn)知層的訓(xùn)練基于長(zhǎng)期效用的策略高層策略子目標(biāo)生成和技能庫(kù)管理的訓(xùn)練周期通常更長(zhǎng)因?yàn)樗u(píng)估的是更長(zhǎng)期的效用。其獎(jiǎng)勵(lì)信號(hào)主要來(lái)自于任務(wù)的最終完成情況以及整體學(xué)習(xí)效率如平均完成時(shí)間、技能使用均衡度等。這部分訓(xùn)練往往采用策略梯度類方法。由于決策頻率低每完成一個(gè)子目標(biāo)或每隔一段時(shí)間才決策一次需要收集大量完整的任務(wù)軌跡來(lái)進(jìn)行訓(xùn)練。在實(shí)踐中為了穩(wěn)定訓(xùn)練常會(huì)使用近端策略優(yōu)化等算法。三層訓(xùn)練的協(xié)同 ARISE的訓(xùn)練不是孤立的。它通常以“輪”為單位進(jìn)行收集數(shù)據(jù)輪固定當(dāng)前所有網(wǎng)絡(luò)參數(shù)讓智能體在環(huán)境中運(yùn)行一段時(shí)間收集大量的交互數(shù)據(jù)并存儲(chǔ)到對(duì)應(yīng)的經(jīng)驗(yàn)回放緩沖區(qū)中。技能更新輪用收集到的數(shù)據(jù)更新底層各個(gè)技能的策略網(wǎng)絡(luò)和批評(píng)家網(wǎng)絡(luò)。模型更新輪用數(shù)據(jù)更新中層的世界模型和高層價(jià)值函數(shù)。高層更新輪每隔多個(gè)輪次用長(zhǎng)期累積的任務(wù)完成數(shù)據(jù)更新高層策略。評(píng)估與調(diào)整輪在測(cè)試環(huán)境中評(píng)估性能根據(jù)結(jié)果調(diào)整內(nèi)在獎(jiǎng)勵(lì)權(quán)重β、規(guī)劃深度等超參數(shù)。這種交替訓(xùn)練的方式使得三層模塊能夠逐步對(duì)齊共同優(yōu)化。下面我們通過(guò)一個(gè)具體案例來(lái)看看ARISE的實(shí)際表現(xiàn)。4. 實(shí)戰(zhàn)剖析ARISE在機(jī)器人復(fù)雜操作任務(wù)中的表現(xiàn)為了直觀理解ARISE的優(yōu)勢(shì)我們以一個(gè)經(jīng)典的機(jī)器人模擬任務(wù)“Pick-Place with Obstacles”有障礙物的抓取放置為例對(duì)比ARISE與兩種主流基線方法HIRO一種經(jīng)典的分層強(qiáng)化學(xué)習(xí)算法和SAC一種優(yōu)秀的非分層強(qiáng)化學(xué)習(xí)算法。任務(wù)描述一個(gè)機(jī)械臂需要從桌面上抓取一個(gè)積木塊并將其放入一個(gè)指定顏色的盒子里。桌面上會(huì)有其他顏色、形狀的障礙物。任務(wù)難點(diǎn)在于1需要精確的抓取和放置2需要規(guī)劃移動(dòng)路徑以避開障礙物3目標(biāo)盒子的位置每次試驗(yàn)都可能變化。4.1 實(shí)驗(yàn)設(shè)置與基線對(duì)比ARISE我們?yōu)槠湓O(shè)計(jì)了一個(gè)包含5個(gè)底層技能的技能庫(kù)Approach接近物體、Grasp抓取、Lift抬起、Move水平移動(dòng)、Place放置。內(nèi)在獎(jiǎng)勵(lì)結(jié)合了技能覆蓋度和學(xué)習(xí)進(jìn)度。HIRO同樣使用分層結(jié)構(gòu)但其底層技能是固定目標(biāo)如移動(dòng)到某個(gè)坐標(biāo)的策略高層通過(guò)設(shè)定坐標(biāo)目標(biāo)來(lái)指導(dǎo)底層。技能本身不會(huì)演化。SAC一個(gè)扁平的、非分層的強(qiáng)化學(xué)習(xí)算法直接學(xué)習(xí)從狀態(tài)到關(guān)節(jié)扭矩的映射。我們?cè)赑yBullet仿真環(huán)境中進(jìn)行訓(xùn)練評(píng)估指標(biāo)是任務(wù)成功率和平均完成步數(shù)。4.2 性能結(jié)果與分析經(jīng)過(guò)相同環(huán)境交互步數(shù)的訓(xùn)練后我們得到以下結(jié)果方法任務(wù)成功率平均完成步數(shù)技能泛化能力新障礙物SAC (扁平)45%350極差 (10%)HIRO (分層固定技能)78%220一般 (~40%)ARISE (分層技能演化推理)92%180良好 (~75%)結(jié)果解讀SAC表現(xiàn)最差這印證了扁平策略在處理復(fù)雜、長(zhǎng)周期任務(wù)時(shí)的無(wú)力。它很難直接學(xué)會(huì)“抓取-移動(dòng)-放置”這一系列動(dòng)作的協(xié)調(diào)經(jīng)常在抓取后碰撞障礙物或者放置不準(zhǔn)。HIRO優(yōu)于SAC分層結(jié)構(gòu)帶來(lái)了顯著提升。HIRO的高層學(xué)會(huì)了先設(shè)定“接近物體”的目標(biāo)再設(shè)定“抓取”的目標(biāo)等等。但由于其底層技能是固定的“移動(dòng)到某點(diǎn)”當(dāng)遇到新的障礙物時(shí)它設(shè)定的坐標(biāo)點(diǎn)可能正好在障礙物上導(dǎo)致底層無(wú)法完成從而失敗。其技能缺乏適應(yīng)性。ARISE全面領(lǐng)先更高的成功率與效率ARISE的成功率最高且用時(shí)最短。這是因?yàn)槠渫评韺幽軌蛱崆耙?guī)劃避開障礙物的路徑例如選擇Move技能繞行而不是像HIRO那樣可能給出一個(gè)會(huì)導(dǎo)致碰撞的中間坐標(biāo)。強(qiáng)大的泛化能力當(dāng)我們?cè)跍y(cè)試中引入訓(xùn)練時(shí)未見過(guò)的障礙物形狀時(shí)ARISE的表現(xiàn)下降最少。其底層技能特別是Move和Approach在內(nèi)在獎(jiǎng)勵(lì)驅(qū)動(dòng)下已經(jīng)演化出一定的避障和適應(yīng)能力。同時(shí)推理層基于世界模型的規(guī)劃能夠快速評(píng)估新障礙物對(duì)技能執(zhí)行的影響并調(diào)整技能選擇和組合方式。4.3 關(guān)鍵過(guò)程可視化ARISE的“思考”過(guò)程通過(guò)記錄ARISE在單次任務(wù)中的內(nèi)部狀態(tài)我們可以清晰地看到其推理過(guò)程初始狀態(tài)機(jī)械臂在初始位置目標(biāo)積木在前方中間有一個(gè)新形狀的障礙物。高層下達(dá)子目標(biāo)“抓取目標(biāo)積木”。中層推理候選技能Approach,Grasp直接抓取距離不夠被價(jià)值網(wǎng)絡(luò)否決。世界模型模擬如果直接Approach預(yù)測(cè)路徑會(huì)碰撞障礙物導(dǎo)致失敗。規(guī)劃搜索模擬Move向左 -Approach-Grasp的序列。預(yù)測(cè)顯示這個(gè)序列能安全接近并抓取。決策執(zhí)行Move向左技能。底層執(zhí)行Move技能根據(jù)當(dāng)前障礙物情況自動(dòng)演化出了略微上抬的軌跡安全繞過(guò)。后續(xù)步驟成功抓取后高層下達(dá)新子目標(biāo)“放置到藍(lán)色盒子”中層同理規(guī)劃出避開障礙物的放置路徑。這個(gè)案例生動(dòng)展示了ARISE如何將“技能演化”帶來(lái)的底層適應(yīng)力與“基于模型的推理”帶來(lái)的高層規(guī)劃力相結(jié)合從而解決復(fù)雜、動(dòng)態(tài)的任務(wù)。5. 實(shí)現(xiàn)ARISE關(guān)鍵模塊的代碼級(jí)解析與避坑指南理解了原理我們來(lái)看看如何動(dòng)手實(shí)現(xiàn)一個(gè)ARISE的簡(jiǎn)化版本。這里我們使用PyTorch框架并聚焦于最核心的三個(gè)模塊可進(jìn)化技能、世界模型和規(guī)劃器。請(qǐng)注意這是一個(gè)高度簡(jiǎn)化的示意代碼旨在闡明核心邏輯。5.1 可進(jìn)化技能模塊的實(shí)現(xiàn)每個(gè)技能本質(zhì)上是一個(gè)策略網(wǎng)絡(luò)但它的輸入除了狀態(tài)還有技能自身的“演化參數(shù)”θ。import torch import torch.nn as nn import torch.optim as optim class EvolvableSkill(nn.Module): def __init__(self, state_dim, action_dim, skill_id): super(EvolvableSkill, self).__init__() self.skill_id skill_id # 策略網(wǎng)絡(luò) self.policy_net nn.Sequential( nn.Linear(state_dim, 128), nn.ReLU(), nn.Linear(128, 128), nn.ReLU(), nn.Linear(128, action_dim), nn.Tanh() # 假設(shè)動(dòng)作范圍在[-1,1] ) # 價(jià)值網(wǎng)絡(luò)用于計(jì)算優(yōu)勢(shì)函數(shù) self.value_net nn.Sequential( nn.Linear(state_dim, 128), nn.ReLU(), nn.Linear(128, 128), nn.ReLU(), nn.Linear(128, 1) ) # 技能特有的演化參數(shù)可被內(nèi)在獎(jiǎng)勵(lì)優(yōu)化 self.intrinsic_params nn.Parameter(torch.randn(1, requires_gradTrue)) def forward(self, state): # 策略網(wǎng)絡(luò)生成動(dòng)作均值可加入?yún)?shù)化噪聲探索 action_mean self.policy_net(state) return action_mean def compute_intrinsic_reward(self, state, action, next_state): 計(jì)算內(nèi)在獎(jiǎng)勵(lì)。這里以‘技能特異性’為例 鼓勵(lì)技能訪問(wèn)與其他技能不同的狀態(tài)-動(dòng)作區(qū)域。 需要維護(hù)一個(gè)技能級(jí)別的經(jīng)驗(yàn)緩沖區(qū)來(lái)計(jì)算。 # 簡(jiǎn)化示例使用技能參數(shù)作為獎(jiǎng)勵(lì)的一部分 # 實(shí)際中會(huì)更復(fù)雜可能涉及基于計(jì)數(shù)的新穎性或預(yù)測(cè)誤差 intrinsic_r self.intrinsic_params.item() * 0.1 # 只是一個(gè)示意 return intrinsic_r def update(self, states, actions, advantages, extrinsic_rewards, intrinsic_weights): 更新技能策略。使用PPO等策略梯度算法。 intrinsic_weights 用于平衡外在和內(nèi)在獎(jiǎng)勵(lì)。 # 計(jì)算總獎(jiǎng)勵(lì) total_rewards extrinsic_rewards intrinsic_weights * self.compute_intrinsic_reward(...) # 需要實(shí)際狀態(tài)數(shù)據(jù) # ... 這里是PPO的損失計(jì)算和更新步驟 (省略細(xì)節(jié)) # 同時(shí)也會(huì)更新 self.intrinsic_params pass避坑指南1技能間干擾與數(shù)據(jù)歸屬最大的坑在于經(jīng)驗(yàn)數(shù)據(jù)的歸屬。必須確保每條(s, a, s, r)經(jīng)驗(yàn)數(shù)據(jù)被準(zhǔn)確地標(biāo)記是由哪個(gè)技能產(chǎn)生的。一個(gè)常見的做法是在中層調(diào)用技能時(shí)除了執(zhí)行動(dòng)作還返回一個(gè)skill_id標(biāo)簽并隨經(jīng)驗(yàn)一起存儲(chǔ)。更新技能時(shí)只使用該技能自己的數(shù)據(jù)。如果數(shù)據(jù)標(biāo)記錯(cuò)誤會(huì)導(dǎo)致技能學(xué)習(xí)目標(biāo)混亂互相干擾。5.2 世界模型模塊的實(shí)現(xiàn)世界模型負(fù)責(zé)預(yù)測(cè)給定狀態(tài)和技能下的下一個(gè)狀態(tài)。class WorldModel(nn.Module): def __init__(self, state_dim, skill_embedding_dim): super(WorldModel, self).__init__() # 技能ID通過(guò)嵌入層轉(zhuǎn)化為向量 self.skill_embedding nn.Embedding(num_skills, skill_embedding_dim) self.transition_net nn.Sequential( nn.Linear(state_dim skill_embedding_dim, 256), nn.ReLU(), nn.Linear(256, 256), nn.ReLU(), nn.Linear(256, state_dim) # 預(yù)測(cè)狀態(tài)差值 Δs 通常更穩(wěn)定 ) def forward(self, state, skill_id): skill_emb self.skill_embedding(skill_id) combined_input torch.cat([state, skill_emb], dim-1) delta_state_pred self.transition_net(combined_input) next_state_pred state delta_state_pred # 預(yù)測(cè)下一狀態(tài) return next_state_pred def train_step(self, state_batch, skill_id_batch, next_state_batch): pred_next_state self.forward(state_batch, skill_id_batch) loss nn.MSELoss()(pred_next_state, next_state_batch) return loss避坑指南2世界模型的過(guò)擬合與滯后世界模型很容易在訓(xùn)練初期過(guò)擬合到有限的早期數(shù)據(jù)上導(dǎo)致其預(yù)測(cè)在后期失去準(zhǔn)確性。務(wù)必使用一個(gè)足夠大的、先進(jìn)先出的經(jīng)驗(yàn)回放緩沖區(qū)并定期用最新的數(shù)據(jù)對(duì)其進(jìn)行微調(diào)。另一個(gè)常見問(wèn)題是模型滯后當(dāng)技能自身在快速演化時(shí)世界模型基于舊技能數(shù)據(jù)做出的預(yù)測(cè)會(huì)不準(zhǔn)。可以考慮使用一個(gè)“目標(biāo)世界模型”其參數(shù)定期從訓(xùn)練中的世界模型同步以穩(wěn)定規(guī)劃過(guò)程。5.3 規(guī)劃器模塊的實(shí)現(xiàn)規(guī)劃器使用世界模型進(jìn)行前向搜索。class Planner: def __init__(self, world_model, value_net, skill_list): self.world_model world_model self.value_net value_net # 高層價(jià)值網(wǎng)絡(luò) self.skill_list skill_list self.planning_depth 3 self.num_candidates 5 # 每層擴(kuò)展的候選技能數(shù) def plan(self, current_state, goal_info): best_skill_seq None best_value -float(inf) # 簡(jiǎn)單的蒙特卡洛樹搜索MCTS思路的簡(jiǎn)化版深度優(yōu)先搜索 def dfs(state, depth, skill_seq, current_value): nonlocal best_value, best_skill_seq if depth self.planning_depth: if current_value best_value: best_value current_value best_skill_seq skill_seq.copy() return # 評(píng)估當(dāng)前狀態(tài)的價(jià)值 state_val self.value_net(state).item() # 啟發(fā)式優(yōu)先考慮價(jià)值高的技能簡(jiǎn)化實(shí)際可能基于模型預(yù)測(cè) # 這里隨機(jī)選幾個(gè)技能進(jìn)行模擬 candidate_skills random.sample(self.skill_list, min(self.num_candidates, len(self.skill_list))) for skill in candidate_skills: # 使用世界模型預(yù)測(cè)執(zhí)行該技能后的狀態(tài) with torch.no_grad(): next_state_pred self.world_model(state.unsqueeze(0), torch.tensor([skill.id])).squeeze(0) # 遞歸搜索 dfs(next_state_pred, depth1, skill_seq [skill], current_value state_val) dfs(current_state, 0, [], 0) # 返回最優(yōu)序列的第一個(gè)技能 return best_skill_seq[0] if best_skill_seq else random.choice(self.skill_list)避坑指南3規(guī)劃的計(jì)算開銷在線的深度規(guī)劃即使是3-5步計(jì)算成本也很高尤其是當(dāng)技能數(shù)量多、狀態(tài)維度高時(shí)。在實(shí)際應(yīng)用中有幾種優(yōu)化策略分層規(guī)劃高層先規(guī)劃子目標(biāo)序列中層再為每個(gè)子目標(biāo)規(guī)劃技能序列。模型蒸餾訓(xùn)練一個(gè)輕量級(jí)的“策略網(wǎng)絡(luò)”來(lái)模仿規(guī)劃器的輸出在線時(shí)直接使用策略網(wǎng)絡(luò)離線時(shí)再用規(guī)劃器生成數(shù)據(jù)來(lái)訓(xùn)練它。限制搜索空間不是評(píng)估所有技能而是用價(jià)值網(wǎng)絡(luò)或另一個(gè)“技能篩選網(wǎng)絡(luò)”預(yù)先篩選出幾個(gè)最有可能的候選技能。6. 超越仿真ARISE面臨的現(xiàn)實(shí)挑戰(zhàn)與未來(lái)方向盡管ARISE在仿真環(huán)境中展現(xiàn)出了巨大潛力但要將其應(yīng)用到真實(shí)的物理系統(tǒng)如機(jī)器人、自動(dòng)駕駛中還面臨著諸多嚴(yán)峻挑戰(zhàn)。6.1 從仿真到現(xiàn)實(shí)的“現(xiàn)實(shí)差距”這是所有基于學(xué)習(xí)的機(jī)器人方法的核心挑戰(zhàn)。仿真器中的物理引擎如PyBullet, MuJoCo與真實(shí)世界存在差異包括摩擦系數(shù)、物體形變、傳感器噪聲、延遲等。對(duì)ARISE的影響ARISE嚴(yán)重依賴準(zhǔn)確的世界模型進(jìn)行規(guī)劃。在仿真中訓(xùn)練的世界模型其預(yù)測(cè)規(guī)律與真實(shí)世界不符導(dǎo)致規(guī)劃失效。技能在仿真中演化出的特性如特定的抓取力度在現(xiàn)實(shí)中可能完全無(wú)效。應(yīng)對(duì)思路域隨機(jī)化在仿真訓(xùn)練時(shí)廣泛隨機(jī)化物理參數(shù)質(zhì)量、摩擦、視覺(jué)外觀等讓技能和世界模型學(xué)習(xí)到一個(gè)更“寬泛”的動(dòng)力學(xué)模型提高泛化能力。系統(tǒng)辨識(shí)與模型適配在真實(shí)機(jī)器人上收集少量數(shù)據(jù)用于快速微調(diào)世界模型的關(guān)鍵參數(shù)使其貼近真實(shí)動(dòng)力學(xué)。在線適應(yīng)讓ARISE系統(tǒng)具備在線學(xué)習(xí)能力。在真實(shí)環(huán)境中執(zhí)行時(shí)持續(xù)用真實(shí)數(shù)據(jù)更新世界模型和技能策略。但這需要極其高效和安全的學(xué)習(xí)算法。6.2 技能演化的安全性與穩(wěn)定性在仿真中智能體可以隨意“折騰”探索各種奇怪的動(dòng)作。在現(xiàn)實(shí)中一個(gè)錯(cuò)誤的動(dòng)作可能導(dǎo)致機(jī)械臂撞毀或傷及人類。對(duì)ARISE的影響內(nèi)在獎(jiǎng)勵(lì)驅(qū)動(dòng)的探索可能引導(dǎo)技能演化出危險(xiǎn)的動(dòng)作。例如為了獲得“新穎性”技能可能嘗試以極高速度運(yùn)動(dòng)。應(yīng)對(duì)思路安全約束注入在技能策略網(wǎng)絡(luò)的輸出層加入硬約束如關(guān)節(jié)角度限位、速度上限或軟約束在獎(jiǎng)勵(lì)函數(shù)中加入對(duì)危險(xiǎn)狀態(tài)的巨大懲罰。模擬先行安全驗(yàn)證所有新演化出的技能參數(shù)必須在高保真仿真中經(jīng)過(guò)嚴(yán)格的安全性和穩(wěn)定性測(cè)試后才能部署到真實(shí)系統(tǒng)。人類在環(huán)引入人類監(jiān)督當(dāng)智能體試圖探索可能不安全的區(qū)域時(shí)需要人工批準(zhǔn)或提供示范。6.3 長(zhǎng)期規(guī)劃與信用分配ARISE的中層規(guī)劃目前還是短視的通常只看幾步。對(duì)于需要數(shù)十甚至上百步才能完成的超長(zhǎng)程任務(wù)如“整理整個(gè)房間”如何有效規(guī)劃是一個(gè)難題。挑戰(zhàn)規(guī)劃深度增加會(huì)帶來(lái)計(jì)算量的指數(shù)級(jí)增長(zhǎng)。更關(guān)鍵的是如何將最終任務(wù)成功的獎(jiǎng)勵(lì)合理地分配給早期一個(gè)看似無(wú)關(guān)的技能選擇信用分配問(wèn)題。未來(lái)方向抽象化與分層加深在現(xiàn)有三層之上引入更多抽象層次。例如底層是肌肉控制技能中層是物體操作技能高層是任務(wù)規(guī)劃技能如“取飲料-倒水-清洗杯子”?;谡Z(yǔ)言的子目標(biāo)生成結(jié)合大語(yǔ)言模型將高層任務(wù)的自然語(yǔ)言描述如“請(qǐng)幫我準(zhǔn)備早餐”自動(dòng)分解為一系列邏輯子目標(biāo)和約束然后由ARISE系統(tǒng)執(zhí)行。課程學(xué)習(xí)設(shè)計(jì)從易到難的任務(wù)課程讓智能體先學(xué)會(huì)簡(jiǎn)單的技能和規(guī)劃再逐步挑戰(zhàn)復(fù)雜任務(wù)緩解長(zhǎng)期信用分配的壓力。ARISE代表了一條通向更通用、更智能的自主智能體的重要路徑。它將分層強(qiáng)化學(xué)習(xí)的結(jié)構(gòu)優(yōu)勢(shì)、內(nèi)在動(dòng)機(jī)的探索能力以及基于模型的推理能力相結(jié)合為解決復(fù)雜決策問(wèn)題提供了強(qiáng)大的框架。雖然前路仍有諸多挑戰(zhàn)但它在仿真中展現(xiàn)出的強(qiáng)大學(xué)習(xí)和泛化能力讓我們有理由相信隨著仿真技術(shù)、安全學(xué)習(xí)和計(jì)算能力的進(jìn)步ARISE所代表的“會(huì)思考、能進(jìn)化”的智能體終將從虛擬世界走進(jìn)現(xiàn)實(shí)成為我們得力的助手。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99亚州综合精品成人网| 欧日韩成人| 久久久99视频| 永久AⅤ1| 久久这里面只有精品视频| 大香蕉在线99热| 91ncom.色| 影音先锋人妻出差| 色五月丁香一区在线| 超碰在线超碰| 99内射视频| 色婷婷影视| 丁香激情网| 五月丁香婷婷无码A∨| 1024成人在线观看| 久碰久| 久久久这里有精品| 色综合久久99色| 五月丁香六月香综合激情| 成人天天爽| 9999三级片| 91国产精品视频播放| 五月丁香综合啪啪| 五月丁香色色网| 97极品在线| 婷婷五月天综合小说网| 啪啪激情网站| 色五月成人网| 99精品久久久久久久婷婷久久| 久久HD| se.久久视频在线观看| 人人艹艹艹| 天天色综网| 狠狠干狠狠干| 91狠狠色丁香| 97香蕉碰碰人妻国产欧美| 色情五月综合婷婷| 色婷婷操逼| 99久久激情视频| 欧洲激情五月天| 久久五月视频| 激情五月天之六月婷婷| 六月天六月婷| 99视频| 91久热| www.色色五月天.com| 79精品视频| 久香草视频在线观看| ss五月天激情| 天天狠狠色| 丁香五月天婷婷久久| 五月香蕉综合| 色青五月天| 日日干综合| 婷婷另类开心| 狠狠操性爱av| 天天综合色丁香| 开心五月网| 九九热在线99| 日本99久久| 天天搡日日搡aaaaⅩ| 强伦轩人妻一区二区电影| 丁香六月婷婷色XXXXX| 天天插,天天射| 九九热视频精品| 五月丁香六月综合激情无码软件亮点| 丁香六月综合| 婷婷五月婷婷| 日逼影音先锋男人资源站| Www.sesese丁香| 影音先锋日本三级资源| 伊人丁香五月婷婷潮吹| 婷婷99中文字幕| 色五月综合| 99精品在线播放| 九九热这里只有精品556| 色婷婷六月性| 婷婷五月天成人网站| 99精品福利视频| 日本婷婷| 欧美精品XXXXBBBB| 五月婷免费视频| 97视频久久| 综合亚洲五月天| 久久综合99综合| 99超超碰| 9l视频自拍九色9l视频自拍九色9l社区| 色五月天堂| 丁香五月天在线视频| 久色视频首页| 天天日日夜夜| 国产SUV精品一区二区6| 影音先锋天天日| 色婷五月天| 六月综和久久| 五月综合丁香婷婷| 婷婷色色综合| 五月天色色色| 99re这里| 亚洲日韩一页精品发布| 日本久久视频| 久久激情五月天| 丁香五月手机在线| 9色资源在线| 人人插9| 99久久精彩视频。| 伊人婷婷色| 大学生高潮无套内谢视频| 激情六月婷婷啪啪| 亚洲五月丁香综合网| 亚洲激情综合五月婷婷啪啪| 激情五月天婷婷丁香| 美女久久婷婷| 99精品热视频只有精品10| 日韩色色视频www| 色婷婷欧美| 江苏少妇性BBB搡BBB爽爽爽| 日韩黄黄| 久久人人九| 天天日夜夜爽| 思思热这里只有精品视频666| 亚洲另类婷婷五月综合| 综合色色色| 色爱爱综合网| 99re思思热这里| 久99热在线观看| 国产毛片欧美毛片久久久| 男女免费视频999| 激情婷婷五月天伊人在线观看| www婷婷| 香蕉AV福利精品导航| 婷五月天六| 三区激情四射av| 丁香五月手机在线| 91操在线观看| 99乱视频| 五月久久| 天天综合网亚洲网站| 丁香五月天堂| 五月丁香久人妻中文| 五月开心激情| 亚洲人人艹| 99视频精品全部免费 在线| 97操碰视频| 婷婷综合干| 丁香六月婷婷高清| 国产精产国品一二三在观看| 99热久久这里只有精品| 日本片日本片祼观看网站在线看中文版网页在线看 | 99小视频在线| 中文字幕AV网址| 91色呦哟| 天插天啪天啪天啪| 亚洲AV影片在线观看| 九九热中文| 五月婷婷六月丁香色| 色偷偷AV亚洲男人的天堂| 日韩 中文 欧美| 另类五月激情| 色综合播放| 天天干,噜噜色,狠狠色| 乱岳熟女50岁| 色婷婷4| 99re8这里只有精品99re8热视频| 91一起艹| WWW.婷婷| 天天曰夜夜爽| 五月开心网| 色色色婷婷五月天| 成人在线综合| 色婷视频| 丁香五月天在线观看视频| 日韩人妻在线观看| 性爱综合网| 久久色天堂| 加勒比日本一区二区三区| 丁香五月欧美色综合| 九九色热| 五月丁香777| 久久色天堂| 久久久久97| 蜜桃婷婷丁香| 六月色 亚洲| 日本五月天一页| 97碰碰草| 67194中文字幕| 五月天婷婷激情在线色图| 色五月丁香伊人五月| www.婷婷久久五月天| 六月丁香激情综合| 久久丝袜婷婷| 九九在线精点品| 五月婷婷免费在线| 久久在线视频免费观看| 五月天黄色激情小说| 丁香激情综合| 欧美影院| 99久久久国产大片| 五月天天丁香婷婷| 精品99在线观看| 亚洲综合一区二区| 激情婷婷五月天| 久久这有这里精品| www.丁香黄色五月天人与| 五月婷婷狠狠干| 日韩一级淫乱片一区二区三区| 日日夜夜天天爽| 玖玖九九9999在线观看视频精品| 婷婷丁香宗合888| 久久人人九九| 97在线精品| 亚洲婷婷丁香| 2025色婷婷| 五月天激日本色情在线| 激情人妻综合| 九九精品丁香花| 大香蕉五月丁香| www夜夜操comwww| 婷婷丁香五月综合| 婷婷九月在线| 五月婷六月| 色婷婷激情| av无码电影| 狠狠插狠狠| 五月天播播| 久青草大香蕉| 操操操操操电影网| 丁香六月婷婷| 玖玖婷婷五月天| 天天舔天天操| 五月天另类小说久久小说网| 婷婷色色播五月天| 精品人妻伦一二三区久久| 人妻AV在线观看| 99re思思热久久| 国产又色又爽又黄又免费| 成人在线网| 激情五月婷婷开心网| 专区无日本视频高清8| www.精品99| 五月天色丁香| 久久资源综合| 色丁香影院| 国产又爽又猛又粗的视频A片| 九九日本视频| 色色国产| 国产色色网站网址| www.夜夜操| 就是色婷婷五月亚洲色| 丁香啪啪| 亚洲高清在线| 79精品视频在线观看,| 免费97碰碰| 婷婷色狠狠| 无码激情AAAAA片-区区| 久久五月丁香六月婷| 99热免费| 99热国产这里只有| 女人高潮内射99精品| 九色PORNY9l原创自拍| 色婷婷六月天| 99操碰| 99操免费视频| 91无码视频| 国产三级片91| 99热9| 99综合久久| 99综合| 色婷婷人人| 色色综合视频| 99免费偷拍视频| 精品人妻一区二区三区四区不卡在| 91人人人人人人人| 99综合网| 超碰人人操在线| 99无码超碰| 大香蕉久久久| 99色在线| 久久草婷婷丁香网站| 九九九激情综合| 五月丁香婷婷中文网| 色五天综合| 狠狠狠狠操| 国产99久| 色五月激情五月开心五月| 丁香五月 性爱| 五月天婷婷在线AN| 色五月综合在线| 婷婷色导航| 97人人干| av中文网| 亚洲操B| 激情九月天天天天婷婷| 久热大香蕉| bbwcuckold精品熟妇| 亚洲日韩一页精品发布| 五月天婷婷综合免费| 91久久综合亚洲噜噜成人在线 | 欧美成人A片AAA片在线播放| 久久婷婷人人| 免费亚洲婷婷| 思思久久青草热| 欧美A A A A A| 久草大| 91九色在线视频| 在线另类| 婷婷五月天激情AV影院| 91婷婷伊人牛牛| 国产成人网| 五月丁香婷婷福利| 丁香五月婷婷综合激情啪啪啪| 天天爽天天干| 日日日,com| 国产毛片精品一区二区色欲黄A片| 操熟女成人网| 久久人人超| 日本无va视频| 超碰2021| 天天干夜夜谢| 婷婷五月天性| 亚洲区视频| 亚洲国产无线乱码在线观看| 九九婷婷网五月天| 五月婷婷在线视频免费观看| 91女人18毛片水多国产| 五月天婷婷色色| 婷婷五月天.com| 久久综合综合综合| 天天操夜夜操| 欧美色性色好| 婷婷色5月天在线。| 日韩有码一区| 99热国产免费| 亚洲五月花| 伊人久久婷| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 大香蕉Av在线| 国产黄大片在线观看画质优化| 婷婷激情五月天激情| 九九国产视频| 综合色吧| 91se精品国产| 97人人草| 97色色网| 欧美激情综合色综合色| 丁香五月激情宗合| 99色在线观看视频| 超碰色碰碰| 色婷视频| 5月婷婷6月六月丁香| 思思久ren热| 丁香五月电影院在线观看| 国产夫妻操逼内射视频| 欧美日韩国产一区| 人人肏逼视频在线一区二区| 99视频内射三四| 深爱激情五月天| 激情五月网站| 九九综合久久丁香婷婷,开心激情综合网| 99ri视频在线观看| 九九婷婷热| 大香蕉伊人久久| 久久这里都是精品| 色婷婷综合网站| 99久久久国产大片| 欧美三级欧美一级| 日本激情91| 蜜臀av 粉嫩av 懂色av| 精品夜夜澡人妻无码AV| 婷婷综合网| 波多野结衣AV无码Porn| 亭亭五月色男人| 天天插夜夜爽| 都市激情五月婷婷综合| 色波激情五月天| 91碰碰视频| 99在线一区| 免费观看全黄做爰的视频| 日本一道久久| 99久久久久久| 丁香久久久| 九九亚洲视频| 狠狠激情五月天| 日日夜夜青青草| 婷婷中文字幕| 亚洲激情网| 五月丁香久久呀| 色综合色色色色色色综合| 精品亚洲国产成AV人片传媒| www超碰| 天天插天天插天天插天天插| 国产操碰| www.激情在线| 久久综合五月天| 色99婷婷五月天| 嫩草视频| av一区免费看| 久热A片| 婷婷无五月无码视频| 天天干一干| 99久久综合| 九九热精品99| 五月婷婷99热| www.久久爱| 丁香花五月天激情| 中文字幕婷婷| 超碰99热| 嫩草AV久久伊人妇女超级A| 激情五月综合网| 99久久网站| 四色99久久| 丁香婷婷大香蕉| 久久婷婷网| 91综合色| 99精品视频网| 精品亚洲国产成人A片在线鸭王| 激情婷婷五月天| 99热97| 五月综合视频| 伊人在线视频| 青吴乐视频| 狠狠色婷婷丁香五月| 9999综合99综合人| 99久精品视频| 日木狠狠干| 国产伦理精品高清在线观看网站一区二区| 婷婷六月丁香在线| 天天摸夜夜爽天天做| 婷婷五月天亚洲丁香| 婷婷五月天资源| 欧美美美女性色视频| Www.狠狠| 大香蕉天堂| 婷婷六月丁| 九月丁香婷婷| 99久久終合| 婷婷久久五月天中文字幕在线观看| www久久久久| 日本三级中文字幕| 亚洲色情免费网| 五月婷婷婷婷婷婷艺术| 人人播| 97色婷| 无码网| 五月婷婷婷婷婷婷艺术| 色播播五月| 影视av久久久噜噜噜噜噜三级| 99综合视频一体| 五月婷婷影院| 超碰国产AV| 色情综合网| 夜夜骑日日夜夜| 久久五月天激情| 久久久久久9| 五月婷婷基地| 丁香婷婷婷| 天堂综合久久| 婷婷五月天另类视频| 色婷婷九月| 中文资源在线a| 成人精品在线观看| 97操| 99热无码精品| 激情99| 99亚洲视频| 操大屄五月天视频| 久久综合中文| 五月天影院| 超碰在线免费9| 99热这里只有精品8| 色五月综合97| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 天天搞天天色综合| 这里只有精品视频一区| 国产99久久久| 色五月色五天色情网址| 91精品综合久久久久久五月丁香| 五月 婷婷 成人| 综激情网| 超碰日韩人妻在线| 婷婷五月天综合网| www夜夜操com| 亚洲精品视频在线| 天堂网色色| 丁香五月婷婷姐| 九色啦蜜臀| 久久AAAA片一区二区| 碰人人操| 国产一区男女| 婷婷五月激情小说| 婷婷五月色综合| 人妻操在线看| 色色无码| 狠狠做深爱婷婷久久综合一区| 亚洲国产精品VA在线看黑人| 九九色人| 天天操屄网| 婷婷成人五月天| 久久一级片| 涩涩婷婷五月| 色优久久| 久操婷婷| 五月丁香六月婷| 婷婷五月丁香亚洲| 日本美女天天日天天爽| www.zbzhongsen.com| 99热久久日本| 日韩十国产极品久久| 99热这里只有精| 99噜噜| 97色色色色色| 伊人激情综合| 操一操插一插| 97caop| 丁香五月婷婷亚洲人| 96精品久久久久久久久| 9999热在线观看| 人人草人人爱手机视频看看 | 日本天天综合| 激情婷婷五月天| 激情综合网五月丁香| 色五月婷婷小说亚洲中文字幕组| 伊人久久丁香五月91| 岛国av网| 人妻丰满精品一区二区A片| 婷婷五月播| 超碰a女人的天堂| 五月天丁香看婷婷| 久久久久思思热| 久久99热这里只频精品6学生| 婷婷五月天AV| 99爱这里只有精品免费视频| 久久性爱视频| 午夜丁香| 国产成人网| 97色欧美| 在线天堂9| www.婷婷五月天| 热婷婷久| 美欧成人视频| 五月丁香六月婷婷啪啪| 另类精品视频在线观看| 五月丁香无码| 九九碰九九爱97| 操逼六区| 中文字幕综合网| 五月丁香啪综合| 人妻视频在线| 99视频自拍| 久久久久久综合88| 色色a| 久久久婷| 久热大香蕉| 欧美婷婷六月丁香综合色连续高潮抽搐| 97人人草| 六月婷婷六月天天在线免费| 青青草国产亚洲精品久久| 激情的五月| 亚洲欧洲另类图片| 欧美国产一区二区三区| WWW·色色色·COM| 91色在线/日韩| 国产亚洲99| 色婷婷影院| 色狠狠六月| 日韩黄在免| 婷婷五月天首页| 欧美黄色一级录像| 色五月婷婷九月| 香蕉久久六月| 操骚货在线| 色五月av伊人| 一区二区你懂的| 丁香激情五月| 这里只有精彩小视频视频网站| 伊人久久婷婷| 婷婷丁香五月,狠狠综合| 一区无码| 欧美婷婷日本| 99色丁香婷婷综合网| 亚洲岛国电影| 丁香 久久| 激情深爱五月婷婷| 99丁香五月| 色色COm| 97久操| 99热99色| 丁香五月激情六月综合| 婷婷久久五月天中文字幕在线观看| 五月天丁香成人社| 性爱在线播放av| 婷婷丁香五月在线观看91| 九九无码| 九九sese| 色99www.| 五月天色色网站| 激情六月婷| 超碰成人在线观看| 四季8848精品成人免费网站| 色婷婷色99国产综合精品| 欧美色图天堂网| 久爱综合| 久久久香| 色六月天| 9久久婷婷国产综合精品性色| av九九| www开心激情网| 色色色色色五月丁香| 婷婷综合| 久碰综合| 丁香五月天激情综合| 丁香五月网在线观看| 五月丁香另类图片| 狠狠色噜噜狠| 97碰在线| 热思思| 丁香五月婷婷亚洲综合精品| 久久成人亚洲欧美电影| 伊人五月天在线| 亚洲国产色色| 激情色中文| 五月婷婷亚洲天堂97色婷婷| 婷婷五月天小说网| 欧美丁香婷婷五月天| aaaaa黄色| 九九综合五月欧美| 五月丁香婷婷色| 丁香五月天天高清在线| 欧美婷婷六月丁香综合色| 99热免费18| www.狠狠| 91要啪| 五月天婷婷青青草| 在线va网站| 99精品97| 国内久久婷婷| 农村熟妇高潮精品A片| 色九月婷婷丁香| 久色网五月| 人妻久久久久久久久妻久久久久久久久| 97日日碰碰| 丰满少妇猛烈A片免费看观看| 99热精品99| 国产精品日韩十五区| 久久丁香五月婷婷激情综合网| 日本操片| 大香伊人婷婷影院| 色婷婷性爱网| 色婷婷久久| 天堂中文国产| 欧美一级操逼视频| 五月丁香直播| 性婷婷| 丝袜大香蕉| 毛v一区二区视频| 精品成人在线| 日日夜夜狠狠| 直接看的av| 99九九玖玖| 色99网站| 色婷婷狠狠干芒果TV| 天天干,噜噜色,狠狠色| 99r这里只有精品哦| 色综合色五月| 婷婷五月天综合久久| 五月婷婷亚洲色图| 极品少妇婷婷五月| 激情五月影院| 激情小说五月欧美亚洲丁香| 久久在线人妻| 亚洲综合婷婷| 婷婷五月天伊人在线| 99热只有精品综合| 97资源碰碰| 欧美五月婷婷| 狠狠五月激情丁香六月| AA久久| 久久精品99久久久久久| 久99精品视频| 美女伊人久久| 色情开心五月| WWW色色色COm| 五月丁香啪啪激情| 91精品丝袜久久久久久| www.婷婷五月| 久久九九婷婷| 五月婷婷日| 五月亭亭欧美女人| 狠狠爱夜夜| 金品在线视频99| 午夜爱爱网站| 99日本精品视频热| 99热福利| 丁香五月网络网络| 精品乱码视频| 天天爱天天做天天舔| 婷婷成人综合免费视频| 五月丁综合在线观看| 六月婷伊人| 五月丁香六月婷婷中文版| 99综合婷婷五月| 色婷婷色五月丁香| site:ornaments52.com| 婷婷五月天激情基地| 婷婷社区五月天| 五月天激情综合| 97亚洲婷婷| 日本色99| 婷婷六月久久综合导航| 五月丁香亭亭| 9|人妻人人操| 久久人操-久草婷婷-成人AV| 伊人网碰碰| 噜噜色五月| 天天艹夜夜爽| 日日操天天| 天天操婷婷| 99人妻碰碰碰久久久久视| aa久久| 五月香蕉综合| 99精品7| 狠狠干五月丁香综合网| 亚州操人在线视频| 色婷| 少妇被躁爽到高潮无码文| 97搞在线| 在线观看欧美| www.婷婷网| 国产另类综合| 婷婷五月天视频免费在线观看| 日本婷久久| 天天干天天拍| 亚洲a片免费观看| 色婷婷69| 色播播之激情五月婷婷| 婷婷五月天播播| 色色色图| 五月婷护士| 五月天综合激情网| 丁香女人五月天| 狠狠色丁香婷婷综合久久97AV| 色导航色婷婷五月天在线观看| www99精品| 怡红院AV亚洲一区二区三区H| 久久五月婷婷视频| 午夜色色色极品视频| 日日操天天| 婷婷久久五月| 日本玖玖在线| 亚洲色精彩| 99亚洲色色| 五月婷婷色| 九月婷婷人人操人人舔人人爱| 色色丁香五月天| 婷婷五月丁香成人| 丁香五月婷婷激情网| 丁香婷婷大香蕉| 色五月婷婷影视| 天天插综合在线| 天天插天天插天天插天天插| 99热99久久| 丁香五月激情图片婷婷| 九九99久久| 婷婷欧美激情| 激情五月婷婷综合| 亚洲色图啪啪| 五月天成人在线视频丁香| 天天综合网站| 五月婷婷中文| 亚洲超级碰| 深爱丁香激情| 天天狠天天叉| 久久精品五月| 五月开心婷婷| 丁香五月婷婷六月婷| 九色啦蜜臀| 丁香,开心成人,久久| 超碰在线成人| 欧美综合激情丁香五月六月婷| 欧美成人精品A片免费一区99| 性热视频99精品| 天天干天天射综合网| 色婷婷色99国产综合精品| 伊人五月天97| 热成人网| 国自产拍偷拍精品啪啪一区二区| 久久久久久9| 久久人妻高清中文| 人妻丰满精品一区二区A片| 亚洲永久免费| 日本狠狠干| 五月天色色色网| 26UUU亚洲欧美| 99热这里只有精品在线| 狠狠爱婷婷| 五月综合影院| Blackedraw视频一区二区| 色噜噜狠狠色综合日日| 色色五月天婷婷丁香| 电影91久久久| 色情丁香五月天| 操操自拍| www.色欲丁香婷婷| 色五月五月天| 婷婷五月天伊人| 久久婷婷成人| 五月天婷婷AV| 99内射视频| 五月天综合婷婷| 五月婷婷很很色| 精品婷婷五| 天天精品视频免费观看| 丁香婷色| 久婷久婷| 色99超碰| 五月天国产婷婷精品视频在线| 丁香综合| 人妻操在线看| 色五月婷婷91在线| 五月婷精品| 欧美丰满熟妇BBB久久久| 色婷婷大香蕉| 五月婷婷色影院| 丁香五月色网| 国产亚洲色婷婷久久99精品91| 婷婷六久久| 成人性爱精品视频| 丁香五月激情久久麻豆| 森林影视大全,最好看的2019年视频 | 色五月五月婷婷| 久久精品9| 久久丁香五月| 91操网| 丁香婷婷网| 色999亚洲人成色| 自拍偷窥99热| 一起草性爱不卡视频| 99色视频| 俺去也五月天| 亚州激情网站无码| 亚洲V国产V欧美V久久久久久| 丁香五月瑟瑟| 五月天激情色色| 六月婷婷亚洲| 日韩成人不卡| 色婷婷五月婷婷五月婷婷五月| 国产精品第一国产精品| 婷婷开心青青草| 2018国产大陆天天弄| 26uuu激情五月天| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 丁香五月天堂网| 五月婷婷涩涩爱| 久久婷婷色五月| 色五月开心久久网| WWW.桔色成人.COM| 色碰碰视频| 成人av免费观看| se99在线| 99草在线免费观看视频| 色播五月| 激情久久五月天| 婷婷大香蕉| 色五月色五天色情网| 五月天婷婷色综合| 天天日天天插| 久久久妻人人人| 爱爱网址9| 五月婷婷六月丁香在线视频| 五月婷婷七月丁香| 丁香成人五月天| 六月婷伊人| 天天久久婷婷| 超碰人人艹| 草操AV在线| 中文字幕 中文字幕明步 | 狠狠九九婷婷韩| 亚洲精品国产成人AV在线| 狠狠婷婷爱| www.久久色.com| 亚洲天堂啪啪| 婷婷色色综合激情| 中文字幕不卡视频| a在线观看| 五月丁香婷婷激情| 色婷婷最新域名| 香蕉久久国产AV一区二区| 情欲综合网| 野外99热| 激情五月天色色| 五月婷婷天| 色情综合| 五月婷婷先锋| 91操操| 无码人妻一区二区三区免费九色| 欧美成人日韩| 1000部毛片A片免费观看| 色狠久| 99色激| 激情综合文学| 久久9久| 综合网激情五月天| 久久五月婷婷丁香| 粉嫩AV久久一区二区三区| 色色网站免费| 美女天天艹人人爽| 自拍视频在线观看9| 久久久性爱视频| 丁香五月婷综合网| 九九视频这里只有精品在线播放 | 色在线免费观看| 日韩性视频| 激情五月色综合国产精品| www.99热在线观看| 九九成人电影婷婷| 婷婷操逼| 色狠狠色噜噜AV天堂五区消防| 日本色频| 婷婷色五月天色| 中文字幕日产A片在线看| 丁香五月激情网| 欧日韩AV| 99爱99操| 91婷婷丁香五月亚洲| 97操操操| 五月丁香色| 五月激情综合五月| 久久HD| 欧美日本97| 无码激情AAAAA片-区区| 免费黄色片子| 欧美色色色色色| 最新五月天婷婷影| 丁香六月激| 26.uuu丁香五月婷婷| 激情五月天。| 91碰碰| 九九色人| 丁香五月伊人| 婷婷五月天亚洲精品| 一起草无码视频| 婷婷五月天网址| 99re资源在线视频导航| 丁香五月天色婷婷| 伊人玖玖网| 色综合天天天天做夜夜| 99热热九九| 婷婷99狠狠躁天天| 9久9久| 婷婷成人av| 久久性爱网| 婷婷综合| 777色色色| 九九人人精品| 特级西西4444www无码| 五月涩涩网| 丁香婷婷人妻综合网| 超碰99在线观看| 色吧婷婷| 大香蕉免费9| 综合网网欲色| 青青草99re| 猫咪伊人AV| 欧美日韩成卜| 少妇性BBB搡BBB爽爽爽视頻| 五月激情六月丁香| 99热欧美| 丁香五月综合婷婷| 丁香大香蕉| 色女人久久| 激情五月综合| 激情五月丁香六月综合AVXXXX| site:ornaments52.com| 深爱开心激情网| 久热这里只有精品在线观看 | 91久久久久久久久18| 色欧美影院| 久久婷婷夜| 77777亚洲午夜久久| 久久婷婷青青| 超碰成人影视| 99ri6在线视频| 五月丁香亭亭电影久久| 91妻人人爽人人看片| 青草视频在线播放| 一级黄色影片| 国产精产国品一二三在观看| 成熟妇人A片免费看网站| 亚洲成人免费电影| 极品人妻VIDEOSSS人妻 | 久久婷婷五月丁香网| 日本美女上人| WWW久久久| 九九亚洲视频| 这里只有精彩小视频视频网站| 思思热国产视频| 天天爽夜夜爽夜夜爽精品| 亚洲无码成人网| 九九视频这里是精品五月| 久久久久久草黄色片AV在线观看| 色综合天天网| 深爱五月天 开心网| 天天草天天日| 无码任你操| 久久久久久人妻| 激情丁香六月| 99精品在线观看| 99热免费| www.9操| 性爱技巧五月| 9热久久| 五月丁香亭亭操逼| 天天做天天爱高潮片| 九九视频这里只有精品在线播放| 色。 日日日| 成人性爱无码| 日本色五月婷婷| 五月丁香婷婷久久| 欧美99| 99丁香五月| 激情文学 综合 九月| 9热在线观看| 狼人久草| 久久这里只有精品无码| 亚洲另类噜噜| 激情久久丁香| 高清无码网址| 欧美情色一区| 丁香花操逼| 丁香五月欧美成人| 婷婷久久国产视频| 99热这里只有精品搜| 成年人丁香五月| 99热18| 丁香五月花| 99热www| 久久婷婷五月综合精品蜜芽| 亚洲综合久| 狠狠色五月| 99精品视频网| 97人人操人人干| 人人肏逼视频在线一区二区| 国产视频福利| 五月色婷婷影视在线电影| 干婷婷五月天| 思思热精品在线| 亚洲中文乱字字幕在线永久| 激情综合网激情五月婷婷| 97婷婷狠狠久久综合9色| 5月婷婷综合| 怡红院视频| 午夜丁香| 夜色五月天| 日韩色久| 色五月婷婷久久大| 日韩 中文 欧美| 五月婷在线| 天堂爱啪啪| 天天激情视频| 狠狠爱五月婷婷| 中文字幕在线免费看线人| yazhochengrenavwang| 久久久er热| 久久99网| 欧美日韩91| 天堂网亚洲色图| 丁香五月综合高清在线| 99热a片免| 欧美一级色| 4399欧美另类视频| 99色视频在线观看| 9久久久久久久久久久| 成熟妇人A片免费看网站| 久大香蕉| 亚洲综合在线丁香五月| 99精品色| 五月婷婷亚洲色图| 五月色丁香成人| 色综合色五月| 中文字幕综合色| 日韩黄黄| 99综合自拍| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 99热99热在线| 五月婷婷五月天| 狠狠色婷婷7777久综合| www.五月天性.com| 99久久久免费| 五月婷婷丁香综合,亚洲天堂| 丁香五月色播中文在线播放| 久99热在线观看| 热久久999| 久久9视频欧美| 噜噜色噜噜网| 婷婷五月丁香五月| 熟女网站久久| 17.c黄色| 婷婷色情 | 亚洲色婷婷| 亚洲综合五月天| 91在线人| ...婷婷国产成人亚洲日韩| 超碰在线观看99| 99热第一页| 五月天婷婷青青草| 国产又爽又猛又粗的视频A片| yellow视频在线观看91| 婷婷五月天堂| 五月天丁香婷婷视频网址| 综合激情网五月激情| 五月丁香色色网| 午夜婷婷久久| 五月婷天天搞视频| 另类五月激情| 欧美激情五月天在线观看| 99视频精品在线| 激情五婷网| 91狠狠色色丁香婷婷综合久久| 亚洲AV电影av| 日日操夜夜操狠狠操| 婷婷综合网站| 久99热在线观看| 99免费视频网| 97超碰,人人舔,人人操,人人摸 | ZpRSw| 操逼123网| 搡BBBB搡BBB搡18 | 99热九九这里只有精品10| 五月天激情国产综合婷婷| 久久婷婷丁香| 亚洲国产va| 九九九九九九热| 激情五月五月五月婷婷| 亚洲视频一区| 欧美丁香六月在线观看视频| 亚洲中文乱字字幕在线永久| 99玖玖免费视频| 成人精品人妻| 91色在线| 综合色影| 五月丁香无码| www.精品99| 六月婷婷综合| 99热18| 色色五月天网站| 婷香五月| 91性高潮久久久久久久久| 六月婷婷激情| 91九色国产| 亚洲操B| 婷婷色色狠狠| 亚洲激情婷婷| 金桔一区二区ab地址| 噜噜五月天综合| 琪琪理论片| 五月婷婷丁香六月| 开心五月婷婷六月丁香| 亚洲亚洲人成综合网络| 五月婷婷九| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 国产精品国产成人国产三级 | 五月天婷婷激情网| 婷婷免费视频| 久久久宗合| 五月天丁香网| 丁香五月AV综合| 嫩草AV久久伊人妇女超级A| 婷婷激情五月天色| 新激情五月天| 激情综合网五月| 色色色在线观看| 九九色播五月丁香| 99操碰| 另类天堂| 丁香五月天啪啪激情综和网| 天天操天天插天天射| 97超碰在线免费观看| 日韩欧洲亚洲| 无码人妻少妇色欲AV一区二区| 99热骚货| 91怕怕网| 大香线蕉伊人| 99色热| 国产亚洲精品久久久久久郑州| 欧美婷| 久久综合播放| 情色婷婷五月天| 伊人五月天日日夜夜久久久天天| 国产69久久久欧美黑人A片| 五月婷婷无码| 久久色五月| wwwss在线观看| 天天粽合合合合| 色在线免费观看| 久久精品五月天| 深爱激情网五月| 久99久视频精品| 殴美综合激情五月天免费视频| 人妻久久久久| 麻豆AV一区二区三区| 91人人爽久久涩噜噜噜| 亚洲日比视频| 丁香五月成人在线| 色日本综合| 五月丁香影院| 狠狠色综合网站| 中文字幕,综合,91| 五月婷婷基地| 婷婷五月深爱五月| 香蕉婷婷色五月| ..真实国产乱子伦对白在线_欧| 丁香五月婷婷在线视频| 色播五月综合网| 婷婷伊人綜合中文字幕| 五月婷婷免费视频| 日韩淑女人妻luan伦激情精品一区二| 99无码黄色视频| 丁香涩涩爱| 久热无码| 超碰永久在线| 五月天com| 丁香婷婷视频| AV伊人青草丁香六月| 久久一伦| 开心五月婷婷激情| 99爱视频在线观看| 激情小说婷婷小说| 99亚洲精品视频| 欧美大片| 狼人婷婷久久| 亚洲看av的网站| 99在线热| 五月丁香色停停啪啪啪| 久久婷婷五月丁香网| 五月婷婷精品视频| 丁香五月天堂网| 久久全意婷婷| 日韩AAAAA| 激情VA视频| 深爱激情AV| 9久热在线视频精品| 久777| 99自拍视频在线观看| 夜夜夜夜夜骑撸| 国产在线6| 99热在线精品观看| 91午夜婷婷狠狠久久综合9色| 日日夜夜天天综合| 色五月丁香婷婷| 99热www.| 五月丁香琪琪| 影音先锋综合网| 中文字幕日产A片在线看| 久色激情| 99亚洲色| 久久久久综合激动五月天| 五月婷婷久久大香蕉| 抽插特写| 婷婷色色五月天| 91色色色| 激情综合网五月天| 九九免费在线视频| 99久久精彩视频。| 久久人人超| 亚洲av网址| www.ywav|