欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

WM、WAM、VLA:機(jī)器人從看到做的三種模型路線解析

WM、WAM、VLA:機(jī)器人從看到做的三種模型路線解析 開(kāi)了很多次項(xiàng)目會(huì)我聽(tīng)到最多的一句話是視覺(jué)識(shí)別都這么準(zhǔn)了為什么機(jī)器人一上手干活還是翻車說(shuō)真的目標(biāo)檢測(cè)跑到95%以上的mAP6D姿態(tài)估計(jì)也算得挺準(zhǔn)機(jī)械臂就是抓不住、推不倒、放不穩(wěn)。以前我以為是手眼標(biāo)定不夠精細(xì)后來(lái)才意識(shí)到真正的問(wèn)題根本不是看得不夠清楚而是從「看」到「做」之間缺了一整層?xùn)|西。最近行業(yè)內(nèi)高頻出現(xiàn)的三個(gè)詞——WMWorld Model、WAMWorld Action Model和VLAVision-Language-Action Model本質(zhì)上都在補(bǔ)這個(gè)東西。只是它們的補(bǔ)法完全不同一個(gè)側(cè)重想一個(gè)側(cè)重想完再做還有一個(gè)干脆把看和做直接縫在一起。這篇文章我會(huì)圍繞這三種機(jī)器人模型把原理、網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練方式、評(píng)測(cè)方法和落地選型全部拉通講一遍。不管你是剛進(jìn)具身智能方向的研究生還是已經(jīng)在做機(jī)器人系統(tǒng)集成、準(zhǔn)備從經(jīng)典方案切向端到端模型的工程師這篇文章應(yīng)該都能幫你把路線理清楚。1. 從「看」到「做」的最后一公里為什么卡了這么多年1.1 傳統(tǒng)機(jī)器人技術(shù)棧的三層割裂經(jīng)典機(jī)器人系統(tǒng)的路線非常清晰感知模塊負(fù)責(zé)看規(guī)劃模塊負(fù)責(zé)想路線控制模塊負(fù)責(zé)動(dòng)手。拿最簡(jiǎn)單的抓取桌上的紅色杯子這個(gè)任務(wù)來(lái)說(shuō)感知模塊輸出杯子的類別和6D位姿規(guī)劃模塊根據(jù)當(dāng)前機(jī)械臂位姿和杯子位姿算出一條無(wú)碰撞軌跡控制模塊用PID或者M(jìn)PC去跟蹤這條軌跡。聽(tīng)起來(lái)嚴(yán)絲合縫真正跑起來(lái)問(wèn)題一個(gè)接一個(gè)。我見(jiàn)過(guò)最多的翻車現(xiàn)場(chǎng)是這樣的感知模塊說(shuō)杯子在某個(gè)坐標(biāo)但那個(gè)坐標(biāo)本身帶3毫米誤差、1度左右的姿態(tài)誤差規(guī)劃模塊拿著這個(gè)坐標(biāo)按剛體假設(shè)規(guī)劃軌跡底層控制再因?yàn)槟Σ?、重力補(bǔ)償不準(zhǔn)產(chǎn)生一點(diǎn)跟蹤殘差。三者誤差沒(méi)有互相抵消而是層層疊加。最后機(jī)械臂到地方一看夾爪開(kāi)口尺寸就比杯子寬一兩厘米直接撞過(guò)去把杯子懟飛。這種問(wèn)題的根源是模塊之間用非常窄的接口傳遞信息。感知模塊不知道下一步是抓取還是推開(kāi)規(guī)劃模塊不知道杯子是玻璃的還是塑料的控制模塊更不知道任務(wù)目標(biāo)是穩(wěn)穩(wěn)端起來(lái)還是把水倒掉。信息在每一層都發(fā)生了丟失。這是傳統(tǒng)系統(tǒng)架構(gòu)的天花板不是調(diào)參能解決的。1.2 感知-規(guī)劃-控制之間到底丟掉了什么往深了說(shuō)傳統(tǒng)三層架構(gòu)丟掉的是三類關(guān)鍵信息。第一類是物理常識(shí)。杯子放在桌子邊緣旁邊就是垃圾桶機(jī)器人能不能判斷我這一推可能導(dǎo)致杯子掉下去傳統(tǒng)感知模塊給不了這個(gè)信息規(guī)劃模塊也不會(huì)主動(dòng)去模擬這個(gè)后果。第二類是上下文意圖。同樣的視覺(jué)畫(huà)面把杯子遞給我和把杯子放回柜子對(duì)應(yīng)的動(dòng)作軌跡完全不同。傳統(tǒng)架構(gòu)里任務(wù)指令只被當(dāng)成一個(gè)字符串傳給任務(wù)調(diào)度器視覺(jué)模塊和規(guī)劃模塊都不真正理解它語(yǔ)言和動(dòng)作之間沒(méi)有形成共享表征。第三類是時(shí)序一致性。真實(shí)世界是連續(xù)的物體不是靜止不動(dòng)的。傳統(tǒng)感知模塊通常做單幀檢測(cè)規(guī)劃模塊輸出開(kāi)環(huán)軌跡一旦環(huán)境發(fā)生變化整個(gè)鏈路就斷掉了。缺少一個(gè)未來(lái)的世界會(huì)怎樣演化的內(nèi)部預(yù)測(cè)能力機(jī)器人就只能在問(wèn)題發(fā)生以后作反應(yīng)沒(méi)辦法提前預(yù)判。1.3 三個(gè)縮寫詞三種解題思路WM、WAM、VLA這三類模型分別對(duì)應(yīng)了三條不同的解題路線。WMWorld Model世界模型解決的核心問(wèn)題是給定當(dāng)前狀態(tài)和動(dòng)作模型能否預(yù)測(cè)未來(lái)狀態(tài)它讓機(jī)器人具備想象能力能在內(nèi)部模擬環(huán)境的動(dòng)態(tài)變化。它的輸出不是動(dòng)作而是世界下一步會(huì)怎樣。WAMWorld Action Model世界動(dòng)作模型是在世界模型基礎(chǔ)上往前走了一步不僅預(yù)測(cè)環(huán)境狀態(tài)的變化還把智能體自身的動(dòng)作也納入顯式建模。你可以把它理解成世界動(dòng)力學(xué)模型策略模型的合體模型內(nèi)部同時(shí)處理環(huán)境會(huì)怎樣變和我該怎么做。VLAVision-Language-Action Model視覺(jué)-語(yǔ)言-動(dòng)作模型則走了另一條路用自然語(yǔ)言作為中間變量把視覺(jué)觀測(cè)直接映射到動(dòng)作輸出。語(yǔ)言在這里不僅是任務(wù)指令更是連接視覺(jué)特征和動(dòng)作語(yǔ)義的橋梁。它不再受限于感知模塊輸出什么結(jié)構(gòu)給規(guī)劃模塊而是端到端地學(xué)習(xí)看到什么、接到什么指令、輸出什么動(dòng)作。這三者不是互相競(jìng)爭(zhēng)的關(guān)系而是對(duì)應(yīng)機(jī)器人內(nèi)部不同的抽象層次。能把它們徹底搞清楚再去讀具身智能方向的論文、選型落地思路會(huì)清晰很多。2. WM世界模型與其說(shuō)預(yù)測(cè)下一幀不如說(shuō)在學(xué)物理直覺(jué)2.1 世界模型回答的本質(zhì)問(wèn)題世界模型的本質(zhì)就是狀態(tài)轉(zhuǎn)移模型給定當(dāng)前系統(tǒng)狀態(tài)、智能體動(dòng)作預(yù)測(cè)下一個(gè)時(shí)間步的狀態(tài)。放到機(jī)器人場(chǎng)景里狀態(tài)可能是關(guān)節(jié)角度、末端位姿、物體的坐標(biāo)也可能是從視覺(jué)觀測(cè)里編碼出來(lái)的隱變量動(dòng)作可能是機(jī)械臂的關(guān)節(jié)力矩也有可能是夾爪的開(kāi)合指令。很多入門者會(huì)把世界模型理解成視頻預(yù)測(cè)模型認(rèn)為只要學(xué)會(huì)了預(yù)測(cè)下一幀畫(huà)面就算建好了世界模型。這是一個(gè)常見(jiàn)的誤區(qū)。像素級(jí)預(yù)測(cè)只是世界模型的一種監(jiān)督信號(hào)不是目的本身。我們真正想要的是模型能夠把握環(huán)境內(nèi)部的因果規(guī)律比如手推杯子杯子會(huì)沿推動(dòng)方向滑行、杯子到桌子邊緣以后繼續(xù)推會(huì)先產(chǎn)生傾斜然后掉下去。我在實(shí)際項(xiàng)目里更傾向于把世界模型拆成三個(gè)能力來(lái)看狀態(tài)預(yù)測(cè)能力給定當(dāng)前狀態(tài)和動(dòng)作序列預(yù)測(cè)未來(lái)狀態(tài)軌跡。代價(jià)/獎(jiǎng)勵(lì)預(yù)測(cè)能力預(yù)測(cè)某個(gè)動(dòng)作序列會(huì)帶來(lái)什么樣的后果、獲得多少獎(jiǎng)勵(lì)、產(chǎn)生多大碰撞風(fēng)險(xiǎn)。反事實(shí)想象能力在腦海里推演如果我不抓這個(gè)杯子而是推開(kāi)它會(huì)發(fā)生什么。2.2 內(nèi)部表征從像素到隱空間中的物理規(guī)律早年間做世界模型大家特別喜歡直接預(yù)測(cè)視頻幀。但像素級(jí)預(yù)測(cè)的問(wèn)題很明顯第一是計(jì)算量巨大一張256乘256的RGB圖像已經(jīng)夠訓(xùn)練吃力的了更別說(shuō)連續(xù)預(yù)測(cè)幾十幀第二是像素里大量細(xì)節(jié)根本不影響下游決策比如背景紋理、物體表面的花紋預(yù)測(cè)得再準(zhǔn)也沒(méi)有意義。現(xiàn)在主流做法是在**隱空間latent space**里做預(yù)測(cè)。視覺(jué)編碼器把高維圖像壓縮成一個(gè)緊湊的隱狀態(tài)世界模型在這個(gè)隱空間里學(xué)習(xí)狀態(tài)轉(zhuǎn)移最后用解碼器把預(yù)測(cè)結(jié)果映射回像素或者狀態(tài)空間。這個(gè)思路很大程度上來(lái)自強(qiáng)化學(xué)習(xí)領(lǐng)域的Dreamer系列模型。Dreamer的訓(xùn)練方式非常典型先用一個(gè)編碼器把歷史觀測(cè)編碼成隱狀態(tài)再用一個(gè)序列模型去預(yù)測(cè)未來(lái)隱狀態(tài)同時(shí)訓(xùn)練動(dòng)作模型去最大化想象中的獎(jiǎng)勵(lì)。整個(gè)過(guò)程中模型真正學(xué)到的不是下一幀畫(huà)面長(zhǎng)什么樣而是在什么狀態(tài)下采取什么動(dòng)作會(huì)導(dǎo)致什么樣的狀態(tài)變化。這就是一種物理直覺(jué)的雛形。打個(gè)比方你閉上眼睛把手機(jī)拋起來(lái)再接住你能完成這個(gè)動(dòng)作不是因?yàn)槟銓?shí)時(shí)看到了手機(jī)在哪而是大腦里有一個(gè)簡(jiǎn)化的物理模型在高速推演拋物線。機(jī)器人有了世界模型就相當(dāng)于擁有了這種閉眼推演的能力。2.3 世界模型在機(jī)器人里的三個(gè)常見(jiàn)用法第一個(gè)用法是模型預(yù)測(cè)控制MPC。模型預(yù)測(cè)控制本身不依賴學(xué)習(xí)得到的模型也可以做比如可以基于解析動(dòng)力學(xué)方程來(lái)做但真實(shí)機(jī)器人往往存在摩擦、間隙、柔性變形等難以建模的部分。學(xué)習(xí)型世界模型的價(jià)值在于它能從數(shù)據(jù)里補(bǔ)償這些動(dòng)力學(xué)偏差滾動(dòng)預(yù)測(cè)未來(lái)狀態(tài)軌跡再選擇一條代價(jià)最小的軌跡執(zhí)行。第二個(gè)用法是離線強(qiáng)化學(xué)習(xí)的數(shù)據(jù)增強(qiáng)。強(qiáng)化學(xué)習(xí)樣本效率低很大一部分原因是在真實(shí)環(huán)境里試錯(cuò)成本太高。有了世界模型智能體可以在想象的軌跡里做策略更新在同一個(gè)批次數(shù)據(jù)上反復(fù)腦補(bǔ)各種可能。Dreamer系列就是用這種方式在多個(gè)連續(xù)控制任務(wù)上大幅提升樣本效率的。第三個(gè)用法是Sim2Real遷移的誤差補(bǔ)償。仿真環(huán)境里訓(xùn)練好的策略搬到真實(shí)機(jī)器人上往往會(huì)因?yàn)閯?dòng)力學(xué)差異而表現(xiàn)下降。一個(gè)常見(jiàn)做法是用真實(shí)機(jī)器人上采集到的少量軌跡數(shù)據(jù)微調(diào)世界模型再基于微調(diào)后的世界模型做進(jìn)一步規(guī)劃或策略學(xué)習(xí)相當(dāng)于把仿真模型校準(zhǔn)到真實(shí)世界。部署世界模型時(shí)有一個(gè)經(jīng)驗(yàn)訓(xùn)練數(shù)據(jù)里一定要包含足夠的非典型狀態(tài)。我見(jiàn)過(guò)很多團(tuán)隊(duì)只讓世界模型學(xué)成功軌跡上的數(shù)據(jù)結(jié)果模型對(duì)手碰到杯子邊緣導(dǎo)致杯子歪了這類意外場(chǎng)景完全沒(méi)有預(yù)測(cè)能力。用得好的世界模型必須見(jiàn)過(guò)足夠多的失敗樣例才能真正理解物理邊界在哪。3. WAM世界動(dòng)作模型從環(huán)境會(huì)怎樣變到我該怎么做3.1 WAM對(duì)WM的擴(kuò)展WAM這個(gè)縮寫不像WM和VLA那么普及但它的思路在最近一年里出現(xiàn)得越來(lái)越頻繁。世界動(dòng)作模型的核心主張是純粹的世界模型只負(fù)責(zé)預(yù)測(cè)環(huán)境演化不負(fù)責(zé)做決策這在很多場(chǎng)景下不夠用。真實(shí)機(jī)器人任務(wù)里環(huán)境和智能體是耦合在一起的機(jī)械臂推杯子杯子動(dòng)了這個(gè)動(dòng)既包含環(huán)境狀態(tài)變化也包含了智能體動(dòng)作施加的效果。把二者割裂開(kāi)建模信息和效率都會(huì)打折扣。WAM把世界模型和動(dòng)作策略放在同一個(gè)模型里聯(lián)合建?!容敵鰧?duì)下一狀態(tài)的預(yù)測(cè)也輸出當(dāng)前策略推薦的動(dòng)作。你可以理解成世界模型負(fù)責(zé)提供想象空間動(dòng)作預(yù)測(cè)頭負(fù)責(zé)在這個(gè)想象空間里尋找最優(yōu)應(yīng)對(duì)方式。3.2 顯式動(dòng)作建模與閉環(huán)WAM和WM最核心的差別在顯式動(dòng)作建模這個(gè)點(diǎn)上。世界模型內(nèi)部通常不關(guān)心智能體動(dòng)作的語(yǔ)義動(dòng)作對(duì)于它只是一個(gè)輸入變量WAM則把動(dòng)作當(dāng)作模型需要生成的核心目標(biāo)和狀態(tài)預(yù)測(cè)目標(biāo)一起聯(lián)合訓(xùn)練。這樣一來(lái)模型內(nèi)部天然形成了一個(gè)閉環(huán)輸入歷史狀態(tài)序列模型預(yù)測(cè)未來(lái)狀態(tài)分布和動(dòng)作概率執(zhí)行機(jī)構(gòu)按動(dòng)作執(zhí)行后新的觀測(cè)再反饋進(jìn)模型。這種設(shè)計(jì)帶來(lái)的直接好處是響應(yīng)速度。VLA這類端到端模型如果做得不夠輕量推理頻率可能只有10赫茲、20赫茲這對(duì)高速動(dòng)態(tài)任務(wù)來(lái)說(shuō)遠(yuǎn)遠(yuǎn)不夠。WAM因?yàn)榘循h(huán)境動(dòng)態(tài)和策略耦合得很緊在許多連續(xù)控制任務(wù)上可以做到更高頻率的動(dòng)作輸出同時(shí)用世界模型部分做短時(shí)預(yù)測(cè)來(lái)填補(bǔ)控制間隙。不過(guò)要潑一盆冷水目前在公開(kāi)論文里WAM并沒(méi)有一個(gè)像VLA里RT-2或者OpenVLA那樣公認(rèn)的標(biāo)準(zhǔn)實(shí)現(xiàn)。它更多是一種架構(gòu)思想不同工作里會(huì)演化出世界模型策略頭世界動(dòng)作聯(lián)合預(yù)測(cè)器等多種變形。讀文獻(xiàn)的時(shí)候看到World Action Model這個(gè)詞一定要去確認(rèn)它內(nèi)部到底預(yù)測(cè)什么、怎么訓(xùn)練不要默認(rèn)所有WAM都是同一種結(jié)構(gòu)。3.3 WAM的典型網(wǎng)絡(luò)結(jié)構(gòu)我結(jié)合自己做過(guò)的原型項(xiàng)目說(shuō)一下比較典型的WAM結(jié)構(gòu)長(zhǎng)什么樣大致可以拆成四個(gè)部分觀測(cè)編碼器把RGB圖像、深度圖、本體關(guān)節(jié)角度編碼為一個(gè)緊湊的觀測(cè)特征。世界動(dòng)力學(xué)模塊接收當(dāng)前隱狀態(tài)和動(dòng)作預(yù)測(cè)下一個(gè)隱狀態(tài)設(shè)計(jì)上比較接近WM里的序列模型。動(dòng)作預(yù)測(cè)頭根據(jù)當(dāng)前的隱狀態(tài)和目標(biāo)輸出動(dòng)作分布。動(dòng)作空間是連續(xù)關(guān)節(jié)坐標(biāo)或力矩一般用高斯分布或混合高斯分布建模。狀態(tài)預(yù)測(cè)輔助頭額外預(yù)測(cè)未來(lái)的關(guān)鍵狀態(tài)比如目標(biāo)物體的6D位姿用來(lái)在訓(xùn)練時(shí)給模型提供更強(qiáng)的狀態(tài)監(jiān)督。訓(xùn)練時(shí)損失函數(shù)一般有三項(xiàng)第一項(xiàng)是狀態(tài)重建損失要求模型生成的未來(lái)隱狀態(tài)能被解碼回接近真實(shí)的狀態(tài)第二項(xiàng)是動(dòng)作模仿?lián)p失讓動(dòng)作預(yù)測(cè)頭對(duì)齊專家軌跡里的動(dòng)作標(biāo)簽第三項(xiàng)是一致性損失確保同一個(gè)狀態(tài)的不同觀測(cè)視角編碼得到的隱狀態(tài)一致。我在訓(xùn)練WAM時(shí)踩過(guò)一個(gè)大坑如果狀態(tài)重建損失權(quán)重設(shè)得太低模型會(huì)快速塌縮成一個(gè)純行為克隆模型完全忽略對(duì)世界動(dòng)態(tài)的建模但如果權(quán)重設(shè)得太高動(dòng)作預(yù)測(cè)頭又學(xué)不到東西策略表現(xiàn)很差。我最后是用課程學(xué)習(xí)的方式先讓世界動(dòng)力學(xué)模塊單獨(dú)學(xué)幾百個(gè)epoch再把動(dòng)作預(yù)測(cè)頭打開(kāi)聯(lián)合訓(xùn)練效果比一開(kāi)始就端到端硬訓(xùn)穩(wěn)定很多。4. VLA視覺(jué)-語(yǔ)言-動(dòng)作模型一句話讓機(jī)器人上手干活4.1 VLA的核心思想語(yǔ)言作為中間變量VLA是當(dāng)前具身智能領(lǐng)域最出圈的一個(gè)方向原因是它把多模態(tài)大模型的成熟技術(shù)直接搬到了機(jī)器人控制上。一個(gè)典型的VLA網(wǎng)絡(luò)由三個(gè)部分構(gòu)成視覺(jué)編碼器負(fù)責(zé)把圖像變成視覺(jué)token大語(yǔ)言模型負(fù)責(zé)理解指令并融合視覺(jué)信息動(dòng)作頭負(fù)責(zé)把推理結(jié)果映射成動(dòng)作輸出。語(yǔ)言在VLA里承擔(dān)的作用非常特殊。它不只是指令輸入更是一種共享語(yǔ)義空間。舉個(gè)例子把紅色杯子放到托盤上這句話里紅色杯子讓模型把視覺(jué)注意力放到目標(biāo)物體上放到托盤上讓模型激活過(guò)去在類似指令下學(xué)到的動(dòng)作模式。哪怕模型沒(méi)有見(jiàn)過(guò)當(dāng)前這張桌子的具體布局只要語(yǔ)言指令里的語(yǔ)義與訓(xùn)練數(shù)據(jù)里的任務(wù)有重合它就能做一定程度的遷移。這也是VLA相比傳統(tǒng)機(jī)器人系統(tǒng)的最大優(yōu)勢(shì)指令泛化和跨任務(wù)復(fù)用。傳統(tǒng)系統(tǒng)每加一個(gè)新任務(wù)基本要重寫任務(wù)邏輯和約束VLA只需要換一句自然語(yǔ)言指令模型就能嘗試在已有經(jīng)驗(yàn)里組合出對(duì)應(yīng)的行為。4.2 從RT-2到OpenVLA再到π0VLA在怎么演進(jìn)如果只看2023年之后的VLA發(fā)展可以拉一條很清晰的線。RT-2是Google的經(jīng)典工作做法是把機(jī)器人動(dòng)作離散成token和圖像token一起送入視覺(jué)語(yǔ)言模型把下一動(dòng)作token當(dāng)作下一句詞來(lái)生成。RT-2證明了用大規(guī)模互聯(lián)網(wǎng)圖文數(shù)據(jù)預(yù)訓(xùn)練的模型可以直接遷移到機(jī)器人控制上但離散化動(dòng)作空間帶來(lái)的問(wèn)題也很明顯動(dòng)作精度不足高頻執(zhí)行時(shí)會(huì)抖動(dòng)。OpenVLA是開(kāi)源社區(qū)最重要的里程碑之一7B參數(shù)規(guī)模視覺(jué)部分用預(yù)訓(xùn)練的視覺(jué)編碼器語(yǔ)言部分用LLaMA-2在Open X-Embodiment等大規(guī)??缇呱頂?shù)據(jù)集上訓(xùn)練。它的最大價(jià)值不是性能而是把VLA訓(xùn)練的門檻從大公司專屬拉到了普通實(shí)驗(yàn)室也能跑的水平。很多個(gè)人開(kāi)發(fā)者就是靠OpenVLA進(jìn)入這個(gè)領(lǐng)域的。π0也就是業(yè)界常說(shuō)的Pi系列由Physical Intelligence提出動(dòng)作頭不再走離散token而是引入了Flow Matching技術(shù)直接生成連續(xù)的動(dòng)作分布。這個(gè)改動(dòng)的意義很實(shí)際連續(xù)動(dòng)作生成的頻率更高、控制更平穩(wěn)更適合真實(shí)機(jī)械臂高頻控制。π0同時(shí)也在模型架構(gòu)上吸收了更多機(jī)器人狀態(tài)的輸入比如關(guān)節(jié)角度、夾爪開(kāi)度實(shí)用性比第一代VLA強(qiáng)不少。另外值得提一句的是VLA已經(jīng)不局限于機(jī)械臂操作。最近NVIDIA開(kāi)源的Alpamayo就是面向輔助駕駛場(chǎng)景的VLA推理模型把視覺(jué)語(yǔ)言動(dòng)作的框架用到了車輛控制上。這說(shuō)明VLA作為一種通用范式正在從桌面操作走向更廣闊的物理世界交互場(chǎng)景。4.3 訓(xùn)練VLA離不開(kāi)的真實(shí)步驟與Libero測(cè)試很多朋友拿到一個(gè)VLA模型以后第一反應(yīng)是趕緊部署到真機(jī)。我強(qiáng)烈建議先別這么干先在仿真環(huán)境里把模型跑熟、把評(píng)測(cè)流程建立起來(lái)再上真機(jī)。在LiBero上做VLA測(cè)試是目前比較標(biāo)準(zhǔn)的一條路徑。LiBero是一個(gè)基于MuJoCo物理引擎的桌面操作benchmark包含了多個(gè)長(zhǎng)程任務(wù)比如把黑色碗放進(jìn)柜子把左邊盤子放到洗碗架上。它特別適合用來(lái)衡量VLA在長(zhǎng)期任務(wù)上的表現(xiàn)因?yàn)槿蝿?wù)里往往有多個(gè)物體、多步操作模型光學(xué)會(huì)單步動(dòng)作是不夠的。具體操作步驟大致如下下載LiBero數(shù)據(jù)集和對(duì)應(yīng)的benchmark代碼倉(cāng)庫(kù)里面包含HDF5格式的軌跡數(shù)據(jù)字段主要有觀測(cè)圖像、關(guān)節(jié)狀態(tài)、語(yǔ)言指令和動(dòng)作真值。創(chuàng)建conda環(huán)境安裝依賴重點(diǎn)確認(rèn)PyTorch版本和MuJoCo版本的兼容性。加載一個(gè)預(yù)訓(xùn)練好的VLA模型先用LiBero自帶的評(píng)估腳本跑一遍確認(rèn)模型能正常加載和推理。針對(duì)某一個(gè)大類任務(wù)做微調(diào)把訓(xùn)練集換成LiBero對(duì)應(yīng)子任務(wù)的軌跡數(shù)據(jù)訓(xùn)練幾個(gè)epoch后再回到評(píng)測(cè)腳本上測(cè)成功率。評(píng)測(cè)時(shí)不要只盯著一個(gè)指標(biāo)。LiBero的官方評(píng)估腳本里除了任務(wù)成功率還有平均完成步數(shù)、單步動(dòng)作誤差、不同初始位姿下的穩(wěn)定性等維度。我自己測(cè)試的時(shí)候發(fā)現(xiàn)一個(gè)模型可能在固定初始位姿下成功率接近滿分但把物體初始位置稍微挪一下成功率立刻掉一半。這說(shuō)明模型過(guò)擬合了初始布局并沒(méi)有真正學(xué)會(huì)任務(wù)的語(yǔ)義目標(biāo)。訓(xùn)練VLA的數(shù)據(jù)組裝也是個(gè)關(guān)鍵活。一份可用的VLA訓(xùn)練樣本通常包括當(dāng)前視覺(jué)觀測(cè)、語(yǔ)言指令、機(jī)器人狀態(tài)和動(dòng)作標(biāo)簽。訓(xùn)練流程一般分兩段先在圖文數(shù)據(jù)和視頻數(shù)據(jù)上做視覺(jué)語(yǔ)言預(yù)訓(xùn)練讓模型具備視覺(jué)理解和語(yǔ)言對(duì)齊能力再在大規(guī)模機(jī)器人軌跡數(shù)據(jù)上做微調(diào)讓模型學(xué)會(huì)把語(yǔ)義理解映射成動(dòng)作。開(kāi)源數(shù)據(jù)集里Open X-Embodiment是目前覆蓋面最廣的跨機(jī)器人數(shù)據(jù)集幾乎所有開(kāi)源VLA都會(huì)在它上面訓(xùn)練。但要注意跨數(shù)據(jù)集的機(jī)器人構(gòu)型差異很大如果不做統(tǒng)一的動(dòng)作空間歸一化訓(xùn)練會(huì)非常不穩(wěn)定。5. WM/WAM/VLA橫向?qū)Ρ炔皇峭毁惖朗擎湕l的三段5.1 核心維度對(duì)比表很多人在選模型時(shí)容易把WM、WAM、VLA放在一個(gè)擂臺(tái)上比誰(shuí)強(qiáng)誰(shuí)弱這個(gè)視角本身就是錯(cuò)的。它們解決的不是同一個(gè)問(wèn)題更像是從看到想再到做這條鏈條上的三段。我用一張表把核心維度拉通對(duì)比維度WM世界模型WAM世界動(dòng)作模型VLA視覺(jué)-語(yǔ)言-動(dòng)作模型核心問(wèn)題世界下一步會(huì)怎樣基于世界變化我該怎么做接到這條指令我該執(zhí)行什么動(dòng)作主要輸入歷史狀態(tài)序列、動(dòng)作序列歷史狀態(tài)序列、動(dòng)作、任務(wù)目標(biāo)視覺(jué)觀測(cè)、語(yǔ)言指令、機(jī)器人狀態(tài)主要輸出未來(lái)狀態(tài)預(yù)測(cè)/隱表征未來(lái)狀態(tài)預(yù)測(cè)動(dòng)作分布動(dòng)作序列離散token或連續(xù)動(dòng)作訓(xùn)練數(shù)據(jù)視頻、傳感器流、部分狀態(tài)數(shù)據(jù)視頻動(dòng)作軌跡狀態(tài)標(biāo)簽跨具身機(jī)器人數(shù)據(jù)圖文語(yǔ)料語(yǔ)言能力一般沒(méi)有視具體設(shè)計(jì)而定核心能力必不可少推理頻率高隱空間預(yù)測(cè)很快較高動(dòng)作輸出可與狀態(tài)預(yù)測(cè)耦合通常偏低大模型推理開(kāi)銷大典型代表Dreamer系列、各類latent world model文獻(xiàn)中暫無(wú)統(tǒng)一頭部實(shí)現(xiàn)多為架構(gòu)模塊RT-2、OpenVLA、π0、Alpamayo最擅長(zhǎng)場(chǎng)景規(guī)劃、想象、模型預(yù)測(cè)控制動(dòng)態(tài)環(huán)境下閉環(huán)決策跨任務(wù)語(yǔ)義泛化、指令操作這張表里最值得關(guān)注的是推理頻率這一行。很多人只看成功率忽略了控制頻率結(jié)果模型推一次動(dòng)作要100毫秒機(jī)械臂已經(jīng)走出一大截了。VLA里面的7B大模型版本不做量化推理速度很難上去WM一般只要跑一個(gè)小型序列模型推理開(kāi)銷低很多WAM介于兩者之間。5.2 典型適用場(chǎng)景與選型建議選型判斷在我看來(lái)可以按三條路徑走。如果你主要做運(yùn)動(dòng)規(guī)劃、軌跡優(yōu)化、Sim2Real遷移這類任務(wù)你更需要的是環(huán)境動(dòng)態(tài)的精確描述這時(shí)候應(yīng)該選WM。它能幫你做MPC的前向預(yù)測(cè)也能在離線強(qiáng)化學(xué)習(xí)里當(dāng)數(shù)據(jù)增強(qiáng)器用世界模型來(lái)擴(kuò)充經(jīng)驗(yàn)池。如果你做的是動(dòng)態(tài)環(huán)境里的實(shí)時(shí)決策比如機(jī)械臂要避開(kāi)移動(dòng)的障礙物、抓取緩慢運(yùn)動(dòng)的目標(biāo)那WAM這種世界動(dòng)態(tài)動(dòng)作預(yù)測(cè)聯(lián)合建模的思路會(huì)更匹配。它比純WM多了動(dòng)作生成能力比VLA更容易做到實(shí)時(shí)閉環(huán)。如果你做的是多任務(wù)、多指令的泛化操作例如把抽屜里的螺絲刀拿出來(lái)把綠色杯子放到柜子第二層那不要糾結(jié)直接上VLA。語(yǔ)言指令帶來(lái)的泛化能力是前兩類模型沒(méi)法比的。但前提是你得接受它的數(shù)據(jù)量需求和控制頻率限制。5.3 三種模型能否組合使用可能有人會(huì)問(wèn)能不能把三種模型組合到同一個(gè)系統(tǒng)里我的答案是可以而且這可能是工程上最現(xiàn)實(shí)的方案。一個(gè)實(shí)際可行的組合方式是用VLA作為高層任務(wù)規(guī)劃器它根據(jù)自然語(yǔ)言指令輸出一系列高層動(dòng)作意圖比如先接近杯子再抓取然后移動(dòng)到托盤上方同時(shí)用WM作為環(huán)境預(yù)測(cè)器在VLA每個(gè)動(dòng)作意圖執(zhí)行之前推演這個(gè)動(dòng)作可能會(huì)導(dǎo)致什么后果提前規(guī)避碰撞風(fēng)險(xiǎn)底層控制器用MPC或傳統(tǒng)控制方法去執(zhí)行具體軌跡。如果系統(tǒng)控制頻率還滿足不了動(dòng)態(tài)環(huán)境下修正要求再加上一層輕量WAM做短時(shí)閉環(huán)糾偏。我有一個(gè)親測(cè)有效的經(jīng)驗(yàn)VLA模型的輸出不要直接作為底層目標(biāo)位置而是先經(jīng)過(guò)一個(gè)安全過(guò)濾層。安全過(guò)濾層可以用規(guī)則實(shí)現(xiàn)也可以用輕量WM實(shí)現(xiàn)目標(biāo)是判斷VLA輸出的動(dòng)作是否會(huì)導(dǎo)致碰撞、超出關(guān)節(jié)限位等危險(xiǎn)情況。這樣既能保住VLA的泛化能力又能避免端到端模型偶爾犯低級(jí)錯(cuò)誤帶來(lái)的安全問(wèn)題。6. 落地上手之前先避開(kāi)這些坑6.1 數(shù)據(jù)閉環(huán)是最大瓶頸很多團(tuán)隊(duì)買來(lái)機(jī)械臂以后第一反應(yīng)是找開(kāi)源模型下載一個(gè)OpenVLA拿真機(jī)跑跑完發(fā)現(xiàn)效果遠(yuǎn)不如論文里展示的那么好。原因很簡(jiǎn)單開(kāi)源VLA訓(xùn)練時(shí)所用的機(jī)器人構(gòu)型和你的不一定一致數(shù)據(jù)分布也不一樣。想讓模型在你的機(jī)器人上表現(xiàn)好幾乎必然要在自有數(shù)據(jù)上做微調(diào)。數(shù)據(jù)閉環(huán)難在哪里首先是采集成本。真實(shí)機(jī)器人遙操作采集軌跡一個(gè)人熟練操作一天可能只能采幾百條有效軌跡對(duì)于需要上萬(wàn)乃至幾十萬(wàn)條樣本的VLA微調(diào)來(lái)說(shuō)遠(yuǎn)遠(yuǎn)不夠。其次是數(shù)據(jù)一致性。不同操作員操作習(xí)慣不同動(dòng)作分布差異很大模型學(xué)到的策略會(huì)被操作員風(fēng)格帶偏。我的建議是先用開(kāi)源數(shù)據(jù)把模型跑起來(lái)確認(rèn)基礎(chǔ)設(shè)施沒(méi)有問(wèn)題再開(kāi)始采集自有數(shù)據(jù)。采集時(shí)盡量固定操作員、固定場(chǎng)景光照、固定目標(biāo)物體等到模型能穩(wěn)定復(fù)現(xiàn)基本任務(wù)以后再逐步增加場(chǎng)景多樣性。不要一上來(lái)就追求多樣化數(shù)據(jù)和環(huán)境噪聲太大后期排查問(wèn)題會(huì)非常痛苦。6.2 評(píng)測(cè)指標(biāo)別只看任務(wù)成功率評(píng)測(cè)VLA模型時(shí)只報(bào)一個(gè)任務(wù)成功率是最常見(jiàn)的誤區(qū)。我在LiBero上一開(kāi)始也是這么干的后面發(fā)現(xiàn)成功率波動(dòng)極大換一個(gè)隨機(jī)種子、把物體初始位置平移幾厘米成功率能差十幾個(gè)百分點(diǎn)。后來(lái)我形成了一套固定的評(píng)測(cè)習(xí)慣每個(gè)任務(wù)至少跑50個(gè)episode覆蓋5組以上的隨機(jī)初始位姿不能只跑固定初始條件。除了成功率額外記錄平均完成步數(shù)、干預(yù)率人類需要介入糾正模型的頻率和單步動(dòng)作誤差。分階段統(tǒng)計(jì)而不是只報(bào)最終成功率。比如一個(gè)長(zhǎng)程任務(wù)里模型到底是第一步拿物體就失敗還是最后放置階段失敗這決定了后續(xù)優(yōu)化方向完全不一樣。評(píng)測(cè)這一塊真的值得多花時(shí)間。我在不止一個(gè)項(xiàng)目里見(jiàn)過(guò)大家為了趕節(jié)點(diǎn)只測(cè)了十幾個(gè)episode看著成功率挺高一上真機(jī)或者換場(chǎng)景就露餡。評(píng)測(cè)流程本身也是項(xiàng)目資產(chǎn)可以沉淀成一套腳本每次模型迭代后自動(dòng)跑回歸這是一筆非常劃算的投資。6.3 個(gè)人/小團(tuán)隊(duì)從哪個(gè)模型入門給想入門的個(gè)人開(kāi)發(fā)者或者小團(tuán)隊(duì)一個(gè)直接的建議第一個(gè)接觸的模型優(yōu)先選OpenVLA。原因很現(xiàn)實(shí)它開(kāi)源徹底、社區(qū)活躍、資料齊全而且7B參數(shù)正好是個(gè)人GPU服務(wù)器能扛住的量級(jí)。你可以先跑通LiBero上的評(píng)測(cè)再采集少量自有數(shù)據(jù)微調(diào)完整走一遍數(shù)據(jù)處理-微調(diào)-評(píng)測(cè)-部署的流程。這個(gè)流程的價(jià)值比模型本身更大。如果你對(duì)強(qiáng)化學(xué)習(xí)和連續(xù)控制更感興趣可以考慮從DreamerV3這類世界模型入手。它不需要語(yǔ)言數(shù)據(jù)在仿真環(huán)境里就能跑適合理解世界模型隱空間預(yù)測(cè)這套核心機(jī)制。項(xiàng)目周期短實(shí)驗(yàn)反饋快對(duì)建立直覺(jué)非常有幫助。WAM目前不建議作為第一個(gè)項(xiàng)目原因我說(shuō)過(guò)它沒(méi)有標(biāo)準(zhǔn)實(shí)現(xiàn)不同論文里結(jié)構(gòu)差異很大需要具備足夠的模型設(shè)計(jì)和調(diào)試能力才能駕馭。等你把WM和VLA都跑熟了再去看WAM相關(guān)的文獻(xiàn)會(huì)輕松很多。我自己的體會(huì)是模型選型永遠(yuǎn)服務(wù)于你真正要解決的問(wèn)題。如果你的機(jī)器人大部分時(shí)間在一個(gè)相對(duì)固定的環(huán)境里做重復(fù)任務(wù)傳統(tǒng)方案加一個(gè)輕量WM做預(yù)測(cè)補(bǔ)償性價(jià)比可能比上VLA要高得多如果你的目標(biāo)是讓機(jī)器人能聽(tīng)懂人話、應(yīng)對(duì)各種口味的任務(wù)那VLA這一條路是繞不開(kāi)的只是要做好吃數(shù)據(jù)、調(diào)模型的長(zhǎng)期準(zhǔn)備。最后再分享一個(gè)實(shí)操小技巧不管用哪種模型第一版上線前先給機(jī)器人加一個(gè)急停邏輯和動(dòng)作范圍的硬約束VLA這種端到端模型偶爾會(huì)給你“驚喜”沒(méi)有兜底的系統(tǒng)再好的模型也不敢放手用。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99爱在线| 五月色丁香婷婷中文字幕| 七七九色| 五月丁香婷婷在线综合蜜桃| 九九婷婷五月天| 色五月成人在线| 婷婷碰碰| 久久久久久久97| 996热re视频精品视频| 五月天激情久久| 综激情网| www久久久久久久久久久| 狠狠狠狠狠狠狠狠草| 色www久视频| 天堂婷婷丁香六月网| 99热免| 欧美成人AAA片一区国产精品| 婷婷舔| 碰99在线| 婷婷色情网| 久色网| 激情四射五月天| 这里只有精品视频国产| 午夜福利成人AV91| www.超碰| 99热色在线精品| 日本三日本三级少妇三级66| 激情五月婷婷网| 免费日韩99| 中国女人做爰A片| www.色五月.com| 射久久丁香五月| 天天射综合网站| 久久免费精品小视频| 91色色色| 天天日天天摸| 青青草搞屄视频网站| 成人国产网| 99色色| 久久草大香蕉| 婷婷94s| 激情综合五月| 日本激情综合| 婷婷色五月天在线观看| 影音先锋777xfplay色资源网站| 任你操精品免费| 97人人超| 丁香五月天婷婷中文字幕| 变态另类9| 超碰免费人人| 先锋资源91| 亚洲激情亚洲激情 | 国产片天天爽夜夜爽| 777影视理论片大全在线观看| 婷婷五月天啪啪| 97人妻碰碰中文无码久热丝袜| 国产欧美日韩综合精品一区二区| 九九热10| 91精品综合久久久久久五月丁香| 五月激情另类| 97色在线视频| 婷婷久久婷婷色五月| 婷婷九月丁香| 五月丁香六月婷婷亚洲综合| 丁香五月日啪| 五月丁香婷婷激情四射迷人| 99视频内射三四| 91色五月| www.com在线操视频免费观看| 玖玖无码中文| 亚洲精品国产精品乱码视99| 婷婷五月永远18免费久久久| 丁香婷婷六月激情文学| 99热新网址| 无码91中文字幕| 丁香五月影院| 五月天久久网站| 伊人春天av| 91干在线视频| 级人人91| 国产全是老熟女太爽了| 五月婷婷啪啪| 97超碰人人操| 久99热在线观看| sewuyuejiqingwang| 丁香五月婷婷亚洲综合精品| 激情综合网色五月| 超碰在线观看成人视| 午夜天堂一区人妻| 国产精品涩涩涩视频网站| 五月天综合在线观看视频| 色婷婷综合五月| 色色色国产| 日日操夜夜操中国无码| 五月婷婷六月天| 婷婷 激情 五月| 超碰在线免费| 九九99九九99| 玖玖爱综合网| 丁香五月天.com| 日本韩国视频在线观看社区免费的9| 一本色道久久综合狠狠躁小说| 激情五月婷| 天天综合亚洲综合| 天天操天天操| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 日韩激情婷婷五月天| 久久九九中文字幕| 超碰99热精品| 精品人妻在线| 国产成人在线不卡AV| 日本97人人| 99色色网| 成人做爰高潮A片免费视频| 67194中文字幕| 5月丁香啪啪啪| 26uuu国产精品| 性色欲情 网站| 婷婷六月综合基地| 免费在线观看av网站| 天天夜夜六月丁香五月婷婷老师| 亚洲色婷婷激情| 伊人久久大香线蕉av最新| 激情骚五月| 久久婷婷免费| 人妻中文字幕精品| 9福利性视频欧美| 野外99热| 欧美性爱中文字幕| 碰碰女| 精品综合爱| 久久中国毛毛片爱久久| 91色在线| 婷婷丁香射射| 五月色欧洲| 大波美女VA网站| 丁香五月亭亭六月综合激情网| 九九热这里只有精品7| 在线成人网址| WWW.激情| 综合五月天婷婷色| 婷婷综合五月天| 亚洲热视频| 婷婷五月天狠狠色| 99激情在线| 超碰人人干| 久99久视频| 九九av| 亚洲va欧美| 99啪啪| 大香蕉AV在线| 激情五月婷婷伊人| 天天狠狠夜夜狠狠2023| 日本一道久久| 国自产拍偷拍精品啪啪一区二区| 婷婷婷婷婷婷婷婷婷婷丁香| 久久超级碰视频| 4438激情网| 久久婷婷精品| 偷拍视频五月天| 丁香五月六月激情久久| www,26uuu,c0m,色情| 99热色精品| 日韩在线视频中文字幕| 狠狠色狠狠干| 97超碰免费超级在线观看| 日本乱子人伦在线视频| 五月婷婷综合网在线播放| 国产 亚洲 在线| 丁香九色不卡aaa| 久久精品小视频| 精品人妻久久久久久| 影音先锋毛片网站| 六月激情婷婷| 九九無妻| 色色色图| 99久久婷婷国产综合精品| 成人色站,在线视频,看片-SS1AV| 久久综合伊人综合在线| 粉嫩AV久久一区二区三区| 色愛综合网| 日日夜夜狠狠| 天天在线天天综合网色| 在线成人va| 日本婷婷网| 91啪啪| 无人区码一码二码三码医生系列| 一婬一伦一区二区三区| 99热精品网| 九九热经典视频在线观看| 超碰com| 任你日视频| 很很干天天干| 99在线观看亚洲| 亚洲美女婷婷五月天| 五月婷婷我| 久久久性爱视频| CHINESE熟女老女人HD视频| 婷婷五月天狠狠| 青青草免费公开视频| 性爱在线播放av| 国产亚洲精品久久久久久郑州| 亚洲色域网| AA片在线观看视频在线播放| 天堂草在线看www| 五月天堂色色| 五月天婷婷午夜丁香| 久久免费婷婷视频| 久草热8精品视频在线观看| 丁香五月婷婷啪| 日韩在线看AV| 五月婷婷深深爱| 99色这里| 一本狠婷婷综合| 狠狠干在线| 日本色色网站| 久久丁香| 五月激情婷婷丁香天堂| 丁香五月激情综合婷综| 啪啪91| 婷婷丁香五另类网站| 欧美日本国产| 亚洲激情综合| 亚洲操b| 大香蕉婷婷久久| 久热这里| 五月激情婷婷播播开心| 国产精品人妻在线网址| 天天舔天天摸天天射| 五月天激情小说网| 极品五月天| 99热国产这里只有| 激情综合网五月天| 天天干,噜噜色,狠狠色| 99精品人人| 日本狠狠干| 性生活久久人妻| www.婷婷.com| 日韩精品呦呦va| 久久这里精彩免费在线观看| Av中文在线| 香蕉国产2013| 久久激情综合| 色情久久久| 深爱五月天| 婷婷五月天视频亚洲| 五月花综合| 亚洲传媒在线观看| 亚洲激情AV| va亚洲中文在线| 超碰99在线观看| 丁香五月婷婷天堂大香蕉| 日本操逼九九九九58日本操逼| 人妻丰满精品一区二区A片| 欧美 日韩 成人 在线| 色久播播| 欧美精品狠狠色丁香婷婷| 色五月婷婷91| 久久五月情| 丁香五月婷婷色播艳门照| 国产精品久久久久久久久久 | www.婷婷五月| 大香蕉五月婷婷| 另类视频五月天| 五月色激情综合网| 99网99热| 99精品久久久久久久| 思思久热6| 日韩AV中文在线观看| 色婷婷精品小视频| 国产在线另类五月婷婷| 综合网精品99| 成人免费va| www色哟哟| 婷婷五月激情在线| 婷婷丁香六月天激情四射网| 婷婷五月色播放| 久久综合站| 丁香五月五月婷婷五月天激情四射| 丁香五月AV| 五月婷婷中文| 色五月涩涩婷婷| 色五月婷婷少妇人妻| 九九色播五月丁香| 2017人人操| 久久99久久99久久99| 婷婷六月综合在线| 婷色综合| 激情婷婷久久| 五月丁香六月婷婷精品| 国精产品一区一区三区免费视频| 伊人玖玖精品| 97色色综合| 色色综合色| 亚洲十月婷婷综合| 毛片新网地| 99热99成人| 玖玖综合色| 日韩视频女神99| 久久综合55| 青吴乐视频| 天堂二区| 九九综合图片网| 9色天堂| 色婷婷丁香五月综合| 丁香六月av| 久久五月天合网| 日韩抽插操逼| 日本啪啪天堂| 综合久久婷婷五月丁香| 国产九月婷婷| 色欲天天综合网| 伊人青草成人| 婷婷丁香激情五月| 五月天成人伊人| 千人斩操逼| 99re久热只有精品6在线直播| 六月五月丁香五月欧美| 成年人99热| 婷婷涩五月天综合| 激情五月天 婷婷| 日本色狠狠| 久久99网| 99热在线精品观看| 国产人妻人伦精品一区二区| 97碰碰免费.视频| 啪啪五月婷婷| 狼人狠狠操| 日韩在线视频网站| 天天噜天天爱| 99这里只有精品99| 五月丁香福利| 五月刺激丁香月综合| 丁香六月婷婷综合啪啪| 夜夜爱伊人| 欧洲色区| EEUSS鲁片一区二区三区| 亚洲五月天狠狠| 99色在线观看视频| 欧美色99| 可以免费观看的AV| 97操| 五月丁香婷婷在线综合蜜桃| 色婷婷九月| 久久激情五月婷婷| 来吧亚洲综合网| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 一本狠婷婷综合| 色色五月婷婷| 99re6久热只有精品6在线直播| 天天爽天天| 亚洲国产99| 在线中文字幕视频| 五月天婷婷偷拍| 超碰不卡在线| 99热国内| 182TV大香蕉| 婷婷久久综合| 色婷婷色| 婷婷中文字幕版| 99九九视频| 秋霞午夜理论| 日本99在线视频| 超碰国产在线| 婷婷网影院| 久久久久综合激动五月天| 丁香五月五月婷婷五月天激情四射| 97超碰在线免费观看| 色人久久| 日本色色色| 性婷婷| 婷婷亚洲色| 久99精品视频| 五月婷婷先锋| 激情婷婷| 亚洲九九在线| 欧美25p| 婷婷五月综合丁香久久| 三区激情四射av| 婷婷五月天激情电影小说| 色婷婷六月| 久草网大香视频| 夜夜躁爽日| 五月天婷婷自拍图片在线观看| 色噜噜狠狠色综合网| 欧美123区免| 三十熟女| 精品夜夜澡人妻无码AV| 天天日天天色| 亚洲成av人影院| 99热在线精品观看| 99热这里只有精品3| 婷婷五月综激情| 婷婷色色婷婷| 伊人久久婷| 99在线免费视频播放| 久草五月天电影网| 99在线免费视频| ww久久| 99久久免费精品| 久久婷婷五月综合| 99热官网| 激情五月,色五月| 99热精品99| 九九久久偷拍| www色综合| 精品一二三区久久AAA片| 精品网站:999WWW| 99亚洲无码| 内射干少妇亚洲69XXX| 丁香五月电影| 久久人妻久久| 热99国产精品| 另类小说色婷婷| 欧洲毛片基地c区| 久色激情| 久久大香蕉视频| 99操逼| 91大神操美女| 婷婷中文字幕| 婷婷五月俺要去| 久久与婷婷| 亚洲五月天天| 婷婷视频在线| 丁香婷婷人妻综合网| 九九综合伊人| 午夜大香蕉| 99ri国产| 色噜噜狠狠色综合AV兰草影视| 丁香五月婷婷影院| 色丁香五月婷婷婷| 五月综合视频| 色婷五月丁香久亚洲| 激情第四色| 天天摸,天天爽| 久久久久久人妻| 成年AAAA色情| 99免费热视频在线| AⅤ在线播放网| 99亚洲无码| 99国产97在线,| 色五月婷婷丁香五月| 五月天婷婷激情四射综合| 五月丁香六月香香蕉| 操骚货在线| 一本大道嫩草AV无码专区| 超碰cap| 五月天婷婷Av| 另类激情五月| 欧美成人精品三区综合A片| 大香蕉婷婷丁香天堂AV| 婷婷五月成人| 99日韩网站| 色很久综合| 超碰资源在线| 日本色噜| 亚洲成人丁香花| 五月激情小说| 色九月| 三人荫蒂添的好舒服A片| 丁香色情五月综合网站| 97操碰人人| 色人久久| 久久婷婷丁香六月天| 五月天堂色色| 色婷婷亚洲精品天天综| 丁香五月激情六月| 久久人操-久草婷婷-成人AV| 精品女人九九九| 九九Av| 亚洲国产精品成人午夜| 久久免费9| 偷拍视频五月天| 婷婷开心五月| 五月丁香六月婷婷久久| 久久久激情视频| 一本久久亚洲五月婷婷| 久久日九九| site:pnnrt.com| 操啊操av| 欧美情月伍月天| 国产精女同一区二区三区久 | 亚洲黄色网址| 丁香综合网| 五月丁香婷婷五月色| 亚洲成人无码片| 久久久性爱视频| 亚洲综合婷婷五月| 色五月综合网| 嘿嘿视频免费看9| 久久这里都是精品| 五月天婷婷在线播放| 大香蕉啪啪啪| 毛v一区二区视频| 激情婷婷五月丁香啪啪啪| 激情久久月| 天天做天天爰天天爽天天无遮挡| 国产成人av在线| 国外亚洲成AV人片在线观看| 五月激情啪啪| 婷婷的色色五月天| 五月丁香影视| 大香蕉五月天| 久久久天天啊| 久久99热 这里有精品| 久久电影4399| 欧美超碰亚洲| 中国女人做爰A片| 日韩操人| 91干在线| 99视频在线| 大香蕉久久综合网| 伊人久久婷婷| 日本久久婷| 天天草比天天爽| 丁香婷婷偷拍| 91久操| 综合超碰熟| 丁香婷婷成年| 99热在线观看| 99久久综合网| 丁香六月丁香婷婷激情| 亚洲综合激情五月天婷婷| 亚洲乱码w在线观看| www.韩日视频| 国色天香伊人狠狠色| 丁香五月天啪啪| 色色热| 五月婷婷六月丁香在线视频| 婷婷综合网站| 精品无码av丁香五月激情| 婷婷综合五月天| 午夜婷婷久久| 婷五月天六| 99热99日天天干| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 黄色AAAAAAA| 国外亚洲成AV人片在线观看| AV大香蕉| 影音先锋女人AA鲁色资源| 极品人妻VIDEOSSS人妻| 超碰超碰在线| 成人av中文字幕| 欧美三级黄色片久久| 激情第四色| 色久九| 五月婷婷丁香网| 蜘蛛女免费观看完整版高清电影| 久月丁香爱婷婷综合| 久久综合九九| 久久九九视频网站| 99热 免费| 春色激情第四色| 国精产品一区一区三区免费视频 | 热99一二三| 狠狠干综合网| 五月丁香啪。| 六月婷婷激情| 99色色热| 最近中文字幕2019视频1| 小视频aaa久久久| 激情五月天婷婷| 色婷婷婷综合五月天| 少妇被下春药玩弄A片| 99视频色在线观看| 精品香蕉99久久久久网站| 能看的av片| 五月停停大香蕉| 五月天色婷婷伊人网| av一区免费看| 久久久性爱视频| 亚洲国产精品VA在线看黑人| 丁香六月在线| 免费黄色片子| 久/久精品99看9| 天天色天天爱天天爽| 欧美性爱特黄一级aaaassss| 夜夜躁爽日| 丁香五月婷婷AV| 婷婷五月情| 五月天精品| 免费黄网不卡AV| 国产高清视频91九九九久久久| 伊人久久中文网| 色欲久久久久久综合网综合网| 超碰在线观看99| 久久这里只有精品07 | 婷婷五月丁香基| 噜噜视频| 色婷婷五月影视| www.99热国产| 狠狠狠狠狠狠狠狠| 亚洲精品国产成人AV在线| 99热在线精品观看| 久久久亚洲精品一区二区三区浴池| 日本婷婷色| 9999热在线观看| 99色激| 久久这里只有精品视频1| 综合色色婷婷| 99精品视频在线观看| 国产婷婷五月| 五月天激情在线视频| www.99成人视频| 久久色情| 91热在线观看视频| 亚洲午夜精品久久久久久人妖| 天天做天天爱天天爽综合网| WWW.久久久久久久| 成人国产欧美大片一区| 99热丁香| 思思久久96热在精品国产,| 日韩精品电影| 天天日天天舔| 日日干夜夜干| 四虎婷婷五月天| 91在线视频综合| 99色在线| 五月天婷婷色色网| 五月天婷婷久久综合| 色色色色色色色色色色色色色97| 五月丁香在线| 另类视在线| 九九热只有这里是精品| 婷婷五月色图| av高清无码| 超碰资源在线| 99久久综合| 日日夜夜天天爽| 婷婷色综合网日韩国产| 性色av大香综合| 丁香九月婷婷| 激情五月天电影| 99精品免费| 日韩ww| 激情五月狠狠| 99er国产| 97操在线视频| 婷婷五月欧美| 欧美性猛交XXXX乱大交极品| 丁香九月久久| 丁香六月色婷婷| 2025最新亚洲激情在线| 久久婷婷综合网| 国产精品24r| 激情六月丁香| 综合五月草 | 婷婷色五月天在线观看| 久草丁香婷婷五月天婷| 五月丁香婷婷开心| 色色欧美色色色| 另类五月婷婷| 五月天婷婷丁香| 国产操B视频| 狠狠干,狠狠操| 色婷婷丁香AV综合| 五月婷婷激清网| 丁香六月婷婷| 99在线精品观看99| 六月天婷婷| 欧美大肥婆大肥BBBBB| 成人短视频在线观看| 婷婷爱综合| 天堂综合久久| 涩婷婷视频快播人妻| 天堂AV三级| 超级碰碰91| 婷婷五月中文字幕| 日本激情五月天‘| 999九九九久久久99HD| 久久婷婷五月综合| 99九九精品| 九九大香蕉黄色影院| 终合激情网| 99热这里只有精品最新网址| 玖久精品视频9| 久久av电影| 色婷婷婷av| www.色五月| 久久停停超碰| 丁香五月中文字幕| 九九久久五月天| 99热国内精品| 久久婷婷激情四射五月天| 五月色情精品| 日本欧美999久久久三级片| 超碰色热| av网站免费在线| 中文字幕成人版| 日本在线观看99| 亚洲免费综合一区| 91无码一起草| 激情五月亚洲综合网| 色五月综合| 午夜丁香六月婷| 米奇影视资源777狠狠色婷婷五月天激情网 | 日韩精品二三区| 91综合在线观看| 激情图片婷婷丁香五月| 六月婷婷综合| JAPANRCEP老熟妇乱子伦视频| AV在线资源| 天天干天天爽| 99热这里只有精品23| 激情五月最新网址| 婷婷五月天综合AV| 色激情综合狠狠婷婷| 亚洲精品久久久久AV无码| 2w在线视频| 激情五月婷婷啪啪| 人妻操逼视频| 九九机热| 久草 天堂| 五月丁香| 综合婷婷都市激情| 99热精品在线观看| 五月丁香花成人社区| 丁香五月天中文字幕| 99久久www| 五月丁香激情综合| 亚洲五月色| 女同激情久久av久久| 狠狠操天天干| 五月天久久91| 秋霞黄色一级久久| 五六月婷婷久久| 色偷偷五月天| 九九热re99re6在线精品| 色色吧综合| 激情六月婷婷| 这里只有精品96| 综合亚洲AV| 午夜亚洲国产精品av一区二区| 丁香色五月婷婷17C| 五月丁香在线婷婷蜜桃| 婷婷六月丁香五月| 美欧日韩国产成人在战| 丁香色综合| 久久aaa| 黄桃AV无码免费一区二区三区| 人人草人人视| 九九色人| 九九激情| 婷婷在线视频| 婷婷五月天激情网| 五月丁香美女视频| 丁香婷婷五月人体| 777米奇影视第四色| 六月丁香中文字幕| 99re最新地址| 婷婷精品| www.sebowuyue| 五月婷婷色在线| 亚洲天天| 婷婷五月丁香超碰| 严洲天天插| 天天干,天天舔| 97婷婷在线视频| 久久九区| 激情綜合網址| 99视频在线| 婷婷婷婷婷婷婷婷| 五月天婷婷成人网| 成人免费视频一区| 青青草搞屄视频网站| 99这里只有精品视频| 大香蕉啪啪啪| 九九热av| 巴基斯坦粉嫩无码视频| 五月婷婷丁香五月亚洲色| 婷婷中文在线| 久久婷婷六月综合国际| 日本熟妇精品99| 亚洲激情综合| 91精品综合久久久久久五月丁香 | 665566 无码| 热九九精品| 天天干 夜夜爽| 亚洲激情四射| 久久综合无| 天天天天天天天操| 女人天堂AV| 久久99看免费| 天天爽夜夜爽天天爽夜夜爽| 97色婷婷成人综合在线观看| 亚洲成人在线观看网址| 91丨熟女丨首页| 超碰国产在线观看| 开心激情站| 色婷婷婷婷| 色欲一二三| 国产人妻777人伦精品HD| 久操干| 看国产探花操逼三级片| 国产精品VIDEOSSEX久久发布| 久久99久久99精品免观看粉| 婷婷久久亚洲| 亚洲精品V天堂中文字幕| 九九热精品| 天天插AV丝袜中| 国产肥白大熟妇BBBB视频| 伊人干综合| 婷婷五月天亚洲五码| 风流少妇A片一区二区蜜桃| 色狠狠综合| 九九干视频| 欧美123区免| 夜夜操狠狠操天天操| 人人人操| 国产免费av网站| 操日本人妻视频| 99操逼| 热99这里只是精品| 99在线视频资源| 婷婷五月精品| 伊人色综在线| 俺去也综合| 婷婷狠狠综合网入口| 99热这里只有精品手机在线观看| 色情综合网| 99re热在线视频观看| 日日.c| 99精品综合在线| 日日操,夜夜撸| 日韩一区二区A片免费观看| 婷婷精品在线| 久超超碰| 99热 在线播放| 色情五月停停丁香| 五月天久久小说| 五月情丁香色| 色久综合| 婷婷五月天六月综合| 成人一级片| 久久久久8888| 97在线刺激| 国产成人av在线| 精品激情| 狠狠搞五月天| 91一起操| 成人超碰AV| 99精品免费| 婷婷深爱五月天在线| 国产精品久久久久久妇女6080| 五月丁香综合网色欲| 色播五月丁香| 79亚洲精品少妇| 伊人久久婷婷| 99久久免费性爱视频`| 久久五月天婷婷| 婷婷激情五月天网站| 91精品91久久久中77777| 密臀久久| 综合久久十三| 天天插插天天| 五月丁香婷婷综合视频| 91九色中文字幕女在线观看| 天堂成人A片永久免费网站 | 婷婷五月丁香综合激情| 国产亚洲精品AAAA片APP| 9热久久在线| 91免费看片| 五月天性色| 视频一二区| 久久久网站| 婷婷久久图片| 91色久| 大香蕉丁香五月| 青青草色在线视频观看| 色狠狠综合网| 超碰在线超碰| 六月色婷婷| 玖玖精品婷婷| 人人看人人草人人摸| 成人丁香婷婷| 五月婷婷无码| 久久久高清| 久久女人天堂| 欧美日本va| 大学生高潮无套内谢视频| 伊人玖玖婷婷| 日本成人小说婷婷六月| 秋霞A V毛片| 色婷小说| 综合网激情五月天| av九九| 国产小网站| 五月丁香人人婷婷在线观看| 久久久中文| 一操久久| 天天干天天操天天上| 色色综合网站| 另类视屏| 色在线视频网2025| 国产毛片精品一区二区色欲黄A片| 欧美性爱中文字幕| 99久久亚洲精品视频| 夜丁香综合| 婷婷婷狠狠| 激情六月丁香| 婷婷综合网站| 99热在这里只有精品| 99综合| 九久九精品| 婷婷社区五月天| 怕怕av| 亚洲爱婷婷| www.狠狠| 久色激情| 综合在线丁香五月| 午夜爱爱网站| 精品成人久久久久久久_一二三四视| 伊人高清无码| 日韩草草草草草草草草草草草草| 激情丁香婷婷| 免费超碰在线观看| 精品人妻久久久久久| 久久五月视频| 亚洲成人在线观看网址| 婷婷色综合| 久久机热思思热| 久久五月婷婷电影| 色综合久久8| 五月天激情婷婷| 色色色com| 欧洲日韩一区二区三区| 五月婷啪| 亚洲无码猫咪| 99热只有| 久久小视频| 婷婷激情五月天综合| 97婷婷在线视频| 欧美性猛交XXXX乱大交极品| 成人免费在线电影| 五月婷六月综合在线观看| 久久婷婷综合色丁香| 嫩草AV久久伊人妇女超级A| 99热在线观看免费精品| 五月天中文字幕在线婷婷| 久久精品婷婷| 99视频在线啪| 五月丁香六月综合激情| 婷婷不卡基地| 五月婷婷视频啪啪美女| 日日爽夜夜爽| 色色色99韩| 国产精自产拍久久久久久蜜 | 一本色道久久综合狠狠躁小说| 俺去也综合| 婷婷五月天亚洲图片| 成人五月天综合网| 五月天婷综合| 九九久久玖玖爱| 成人无码髙潮喷水A片| 色色色.COM| 五月婷婷五月天天| 五月天另类小说亚洲| 久久婷婷五月综合色奶水99啪| 操操操B| 五月六月伦理| 亚洲第一成人无码A片| av操B网站| 久草热久草在线视频| 天天插综合| 99热6精品| 性天天中文网| 国产五月婷| 五月色丁香综合| 久久久宗合| www.99在线| 94干大香蕉| 狠狠干婷婷| 婷婷亚洲五月丁香综合在线 | 五月天激情婷婷小说| 天天操天天国产三级片处女学生妹| 五月综合激情视频在线| 久久激情五月天| 天天色99| 蜜乳人妻一区二区三区| 涩涩激情五月婷婷| 人人肏逼视频在线一区二区| 日本人人超碰| 激情内射人妻1区2区3区| 婷婷六月色| www.五月.com| 99热6精品| 日日爱678| 色色色热| 婷婷五月六| 九九热这里只有精品7| www.91五月| 精品99在线| 五月丁香 久久久| 激情婷婷黄色五月| 51XX午夜影福利| 日日干日日s| 久久999久久999久久999久久| 亚洲成人一区| 淫荡工a| 久婷婷婷| 香蕉影院色| 日本99色| 99热综合| 97成人在线视频| 免费啪啪亚州视频| 婷婷九月激情| 国产综合婷婷| 成人做爰黄A片免费看直播室男男| www,超碰| 五月婷婷久久激情| 97色色综合| 亚洲综合另类| 五月丁香啪啪| 四虎婷婷五月天| 丁香六月色婷婷| 五月婷婷综合在线视频| 337p大胆噜噜噜噜噜91Av| 色五XX| 色黑鬼导航| Caop在线| CHINESE熟女老女人HD视频| 色五月丁香婷婷久草| 五月天色婷婷视频| www.色99| 深夜婷婷 丁香| 婷婷五月天色| 久久婷婷六月综合国际| 久久青草国| 综合视频久久| 国产激情综合五月| 五月婷婷视频ab| 五月婷婷丁香综合网| 久久婷婷亚洲| 99热这里只有精品22| 99热91| 国产人妻人伦精品一区二区| 成人在线二区| 中文av网站| 婷婷爱五月天人人爱| 青青操avbb| 94干大香蕉| 秋霞av吧| 天天爽天天操| 五月天激情四射| 99国产精品久久久久久久久久久| 五月丁香无码| 日日婷婷不卡| 79亚洲精品少妇| 五月婷久久| 婷婷丁香激情综合色情| 欧美69久成人做爰视频| 欧美久久网| 婷婷五月中文在线视频| 开心五月激情五月丁香五月婷婷| 青青操绿aaa一区日v| 日韩一级网站| 91综合色噜噜| www。五月,com| 婷婷欠久少妇| 97干干干丁香| 任你躁XXXXX麻豆精品| 欧美性做爰大片免费看办公室| 婷婷久久五月天| 日日噜噜夜夜狠狠久久丁香六月| 青草热视频这里只有精品| 超碰九色| 性爱七区| 人橾人| 欧美婷婷丁香五月| 99视频免费播放 | 99热在线精品播放| 久久人人九| 久久99看免费| 激情图片婷婷丁香五月| av操一操| 91精产品自偷自偷综合| 新99色色色色色色| 五月天婷婷成人网| 婷婷天堂站| 天天综合色99| 色综合色综合网| 久久色五月天激情小说| 久久久久久久人妻| 综合玖玖偷拍| 俺五月| 热九九精品| 另类婷婷五月天啪帕帕| 思思久久99热| 亚洲精品成人片在线播| 久久五月热| 五月J香蕉婷婷| 久久免费干| 亚洲成人网址在线观看| 天天干人人奸97| 国产色色小草视频| 婷婷五月丁香综合亚洲| 亚洲综合欧美色丁香婷婷888月图片| 婷婷五月激情综合啪啪| 黄色片avv| 超碰免费电影| 丁香婷婷色色| 久久66er久久| 亚洲人妻一区二区| 色J香五月天| 亚洲网站999| 久久9视频欧美| 五月天精品| 婷婷丁香六月天| 九九视屏| 丁香六月婷婷激情综合| 色五月视频无码播放| 玖久精品视频9| 综合网五月| 91九九| 99热这里只有精| 色综合色香蕉网| 亚洲99在线| 婷婷亚洲综合| 99热日韩这里只有精品| tingtingzonghewang| 丁香五月婷婷香| 婷婷丁香五月天激情| 五月天sesese| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 丁香五月丐人妻| 深爱激情五月婷婷| www.91久久| 久久无码成人| 2017狠狠干| 婷婷色香六月综合激情| 婷婷无码五月天| 色~性~乱~伦~噜| 亚洲网站观看视频| 婷婷五月天99综合网站| 这里只有精品免费在线视频| 婷婷精品在线| 久久99大| 婷婷五月久久| 激情四射亚洲| 久久99这里只有精品视频| 五月丁香色综合| 婷婷激情五月天网站| 日韩色色视频| 久久婷婷五月天蜜桃| 99噜噜| 久久总和99| 色婷婷小说网| 79精品视频在线观看,| 欧美叉叉叉BBB网站| 99久久天堂婷婷| 婷婷久久网| 天天摸人人摸| 五月婷婷中文字幕| 久久精品日| 99色看这里只有精品| 亚洲五月停停| 99热网精品| 日本老女人黄页在线播放| 激情www| 五月天激情国产综合婷婷| av免费在线看不卡无毒| 久久大香蕉同僚| 亚洲十月婷婷综合| 丁香五月激情啪| 九九精品免费视频99| www.激情.com.| 日日噜噜夜夜狠狠久久丁香五月| 成人做爰A片免费看视频| 久9热视频| wwwwww.色| 99热这里有精品| 婷婷五月电影院| 色色A| 国产精品扒开腿做爽爽爽A片唱戏| 婷婷五月天情色| eeuus五月婷| 婷婷射丁香| 波多婷婷久久| 色爱综合网| 精品久久这里热66| 亚洲乱码日产精品BD| 99热伊人| 久久视频婷婷| 日日夜夜九九| 丁香婷婷人妻综合网| 99这里只有精品视频| 久久新地此| 思思热久久久久思思热| 国产日韩欧美性爱| 久久曰曰| 色综合五月天| 99热超| 婷婷五月激情在线视频| 99热一区| 五月色婷| 色欲午夜无码久久久久久张津瑜| 超碰成人在线免费观看| 少妇人妻凹凸视频| 97久久久| 97丁香婷婷| 色五月视频,小说| 五月婷A V在线| 六月丁香婷婷综合在线| 99热这里有精品| 97影院一级片| 六月丁香婷婷综合狠狠爱夜夜爱| 色停停影院五月天| 欧美va欧美va差| 久久久久久五月天| 丁香五月第四色88| 丁香五月婷婷超碰在线| 91色综合| 婷婷金品综合视频| 久草婷妨| 五月丁香六月| site:wpjngj.com| BlACKEDRAW视频一区二区| 久久天堂| 五月伊人综合| 色婷婷丁香| 五月激情丁香| 中文字幕,综合,91| 天天干天天操天天拍| 色波激情五月天| 色婷婷无吗| 九九热最新视频| 国产资源91在线| 久久婷婷精品| www.超碰在线| 九九九九这里只有精品| 婷婷丁香五月综合| 丰满老熟妇BBBBB搡BBB| 夜夜干天天操| 亚洲婷婷在线播放十月| 青青草原亚洲久| 玖玖在线视| 天天婷婷天天| 色婷婷五月综合色婷婷| 色无码| 欧美色色色色色色色| www.久久99热地址发布| av国产精品| 综合性爱网| 婷婷激情五月综合丁| 婷婷综合一二三| 婷婷5月久久综合网站| 综合色情网| 婷婷五月伦理| 99re6热在线精品视频播放速度| 97超碰婷婷五月天| 久久综合干| 欧美日韓成人亚洲精品另类| 熟女网站久久| 碰99在线| 成年人丁香五月| 亚洲操操操| 色热久资源| 大香蕉五月| 日逼影音先锋男人AV资源站| 婷婷四色五月| WWW,五月| 深爱激情四射| 色综合网址| 中文字幕av网站| 性爱久久| 欧美日韩成人免费在线|