欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

從零訓(xùn)練世界動(dòng)作模型:IDM、CoAE與GE-Act實(shí)戰(zhàn)指南

從零訓(xùn)練世界動(dòng)作模型:IDM、CoAE與GE-Act實(shí)戰(zhàn)指南 1. 從零訓(xùn)練世界動(dòng)作模型的動(dòng)機(jī)與整體思路1.1 為什么我決定繞開視頻大模型先說(shuō)結(jié)論我這次做的項(xiàng)目是在不依賴任何視頻生成大模型的前提下從零訓(xùn)練一個(gè)世界動(dòng)作模型World Action Model簡(jiǎn)稱 WAM。核心目標(biāo)很直接——讓模型學(xué)會(huì)在給定當(dāng)前觀測(cè)和一段動(dòng)作序列的情況下預(yù)測(cè)世界接下來(lái)會(huì)變成什么樣而不是去生成一段好看的視頻。很多人第一反應(yīng)是現(xiàn)在視頻生成模型這么強(qiáng)直接拿來(lái)做世界模型不就行了我一開始也這么想但實(shí)際跑下來(lái)發(fā)現(xiàn)幾個(gè)繞不過(guò)去的坎。第一視頻大模型的參數(shù)量和推理成本擺在那里做閉環(huán)控制時(shí)延遲根本壓不下來(lái)機(jī)器人或者游戲智能體需要的是毫秒級(jí)的反饋不是幾秒鐘出一段視頻。第二視頻大模型的訓(xùn)練目標(biāo)是看起來(lái)真實(shí)而世界模型要的是物理上可預(yù)測(cè)這兩者的優(yōu)化方向并不一致前者會(huì)花大量容量去建模紋理、光照這些對(duì)決策毫無(wú)意義的細(xì)節(jié)。第三也是最關(guān)鍵的視頻大模型通常是開環(huán)的你沒(méi)法方便地把動(dòng)作作為條件注入進(jìn)去而 WAM 的核心恰恰是動(dòng)作條件化。所以我的整體思路是用一個(gè)相對(duì)輕量的架構(gòu)把觀測(cè)編碼 動(dòng)作編碼 時(shí)序動(dòng)力學(xué)三塊拆開設(shè)計(jì)從頭訓(xùn)練。這里涉及幾個(gè)關(guān)鍵組件我在標(biāo)題和熱詞里都點(diǎn)到了——GE-Act、CoAE、IDM。下面我會(huì)逐個(gè)拆解它們各自解決什么問(wèn)題以及為什么這么選。1.2 整體架構(gòu)三塊拼圖怎么咬合我把整個(gè) WAM 拆成三個(gè)模塊用一句話概括它們的分工IDMInverse Dynamics Model逆動(dòng)力學(xué)模型看前后兩幀觀測(cè)和中間發(fā)生了什么反推出動(dòng)作。它的作用是給無(wú)動(dòng)作標(biāo)注的數(shù)據(jù)打上偽動(dòng)作標(biāo)簽。CoAEConditional Action Encoder條件動(dòng)作編碼器把動(dòng)作序列壓成一個(gè)緊湊的隱向量作為動(dòng)力學(xué)模型的輸入條件。GE-ActGoal-Embedded Action Transformer目標(biāo)嵌入動(dòng)作 Transformer真正做預(yù)測(cè)的主干輸入歷史觀測(cè)和動(dòng)作輸出未來(lái)觀測(cè)的隱表示。這三者的關(guān)系不是簡(jiǎn)單的串聯(lián)而是一個(gè)聯(lián)合訓(xùn)練 分階段預(yù)熱的流程。IDM 負(fù)責(zé)解決動(dòng)作標(biāo)簽從哪來(lái)的問(wèn)題CoAE 負(fù)責(zé)解決動(dòng)作怎么喂進(jìn)去的問(wèn)題GE-Act 負(fù)責(zé)解決未來(lái)怎么預(yù)測(cè)的問(wèn)題。我踩過(guò)的最大坑就是一開始想端到端一把梭結(jié)果 IDM 的偽標(biāo)簽噪聲直接把主干的訓(xùn)練帶偏了后來(lái)改成先單獨(dú)把 IDM 訓(xùn)到收斂、凍結(jié)再聯(lián)合訓(xùn)練才穩(wěn)定下來(lái)。提示如果你的數(shù)據(jù)本身就有精確的動(dòng)作標(biāo)注比如機(jī)器人遙操作數(shù)據(jù)IDM 這一步可以跳過(guò)直接進(jìn) CoAE GE-Act 的聯(lián)合訓(xùn)練。但絕大多數(shù)互聯(lián)網(wǎng)視頻、游戲錄屏是沒(méi)有動(dòng)作標(biāo)簽的IDM 就是剛需。1.3 和視頻大模型路線的對(duì)比我把兩條路線的差異整理成一張表方便你判斷自己該走哪條維度視頻大模型路線從零訓(xùn)練 WAM 路線參數(shù)量十億到百億級(jí)千萬(wàn)到億級(jí)推理延遲秒級(jí)毫秒到十毫秒級(jí)動(dòng)作條件注入困難需額外適配原生支持訓(xùn)練數(shù)據(jù)需求海量視頻中等規(guī)模帶時(shí)序數(shù)據(jù)物理一致性弱易出現(xiàn)穿模強(qiáng)可顯式約束閉環(huán)控制適配差好訓(xùn)練成本極高可控這張表不是要否定視頻大模型而是說(shuō)清楚如果你的目標(biāo)是做決策、做控制、做閉環(huán)交互從零訓(xùn)練 WAM 是更務(wù)實(shí)的選擇。視頻大模型更適合做內(nèi)容生成、做演示兩者定位不同。2. 核心組件拆解與關(guān)鍵細(xì)節(jié)2.1 IDM沒(méi)有動(dòng)作標(biāo)簽怎么辦IDM 是整個(gè)流程里最容易被低估的一環(huán)。它的任務(wù)定義很清晰給定時(shí)刻 t 的觀測(cè) o_t 和時(shí)刻 tk 的觀測(cè) o_{tk}預(yù)測(cè)中間這段動(dòng)作 a_{t:tk}。聽起來(lái)像是個(gè)回歸問(wèn)題但實(shí)際做起來(lái)有幾個(gè)細(xì)節(jié)決定成敗。第一個(gè)細(xì)節(jié)是時(shí)間跨度 k 的選擇。k 太小動(dòng)作信息量不足模型學(xué)不到有意義的動(dòng)力學(xué)k 太大動(dòng)作和觀測(cè)變化之間的對(duì)應(yīng)關(guān)系變得模糊偽標(biāo)簽噪聲急劇上升。我實(shí)測(cè)下來(lái)k 取 4 到 8 幀按 10Hz 采樣算大約 0.4 到 0.8 秒比較合適。這個(gè)區(qū)間既能捕捉到明顯的狀態(tài)變化又不至于讓動(dòng)作和結(jié)果脫節(jié)。第二個(gè)細(xì)節(jié)是動(dòng)作空間的離散化 vs 連續(xù)化。如果你的下游任務(wù)動(dòng)作是連續(xù)的比如機(jī)械臂關(guān)節(jié)角IDM 直接回歸連續(xù)值就行用 L1 或者 Huber loss。如果動(dòng)作是離散的比如游戲里的按鍵那 IDM 其實(shí)是個(gè)分類問(wèn)題用交叉熵。我兩種都試過(guò)連續(xù)動(dòng)作的偽標(biāo)簽質(zhì)量普遍更好因?yàn)榛貧w的平滑性天然抑制了噪聲。第三個(gè)細(xì)節(jié)是IDM 的容量控制。這里有個(gè)反直覺的經(jīng)驗(yàn)IDM 不要訓(xùn)得太強(qiáng)。如果 IDM 容量過(guò)大它會(huì)把觀測(cè)變化里所有信息都編碼進(jìn)去包括那些和動(dòng)作無(wú)關(guān)的比如光照變化、鏡頭抖動(dòng)導(dǎo)致偽動(dòng)作標(biāo)簽里混入大量噪聲。我的做法是把 IDM 的隱層寬度控制在主干的 1/4 左右并且加一個(gè)信息瓶頸比如把中間表示維度壓到動(dòng)作維度的 2 倍強(qiáng)迫它只保留和動(dòng)作相關(guān)的信息。# IDM 的簡(jiǎn)化結(jié)構(gòu)示意 class InverseDynamicsModel(nn.Module): def __init__(self, obs_dim, act_dim, hidden256, bottleneck64): super().__init__() self.encoder nn.Sequential( nn.Linear(obs_dim * 2, hidden), nn.GELU(), nn.Linear(hidden, bottleneck), # 信息瓶頸 ) self.head nn.Sequential( nn.Linear(bottleneck, hidden), nn.GELU(), nn.Linear(hidden, act_dim), ) def forward(self, obs_t, obs_tk): x torch.cat([obs_t, obs_tk], dim-1) z self.encoder(x) return self.head(z)2.2 CoAE動(dòng)作怎么喂進(jìn)去才不浪費(fèi)CoAE 要解決的問(wèn)題是動(dòng)作序列是變長(zhǎng)的、時(shí)序的怎么把它壓成一個(gè)固定長(zhǎng)度的條件向量讓主干能高效利用。這里我對(duì)比過(guò)三種方案。方案一是直接拼接把動(dòng)作序列展平后和觀測(cè)拼在一起。簡(jiǎn)單粗暴但動(dòng)作序列一長(zhǎng)輸入維度爆炸而且主干很難學(xué)到動(dòng)作之間的時(shí)序關(guān)系。方案二是RNN/GRU 編碼用循環(huán)網(wǎng)絡(luò)把動(dòng)作序列編碼成隱狀態(tài)。效果不錯(cuò)但訓(xùn)練慢而且長(zhǎng)序列有梯度問(wèn)題。方案三是CoAE 的 Transformer 編碼 條件池化用幾層輕量 Transformer 編碼動(dòng)作序列然后用一個(gè)可學(xué)習(xí)的 query 向量做注意力池化得到固定長(zhǎng)度的條件向量。這是我最終選的方案原因是它對(duì)變長(zhǎng)序列友好并行度高而且注意力池化能自適應(yīng)地關(guān)注動(dòng)作序列里最關(guān)鍵的部分。CoAE 有個(gè)容易被忽略的設(shè)計(jì)點(diǎn)動(dòng)作的位置編碼。動(dòng)作序列的時(shí)間順序很重要但普通的正弦位置編碼在動(dòng)作空間里不一定合適因?yàn)閯?dòng)作的語(yǔ)義和位置不是簡(jiǎn)單對(duì)應(yīng)。我的做法是同時(shí)加兩種編碼——絕對(duì)時(shí)間步編碼和相對(duì)時(shí)間差編碼讓模型既能知道這是第幾步也能知道這兩步之間隔了多久。注意CoAE 輸出的條件向量維度不要設(shè)太大我試過(guò) 256 和 512最后發(fā)現(xiàn) 128 維就夠用了。維度太大反而會(huì)讓主干過(guò)度依賴動(dòng)作條件忽略觀測(cè)本身的信息導(dǎo)致泛化變差。2.3 GE-Act主干網(wǎng)絡(luò)的設(shè)計(jì)取舍GE-Act 是整個(gè) WAM 的核心它的名字里Goal-Embedded和Action Transformer兩個(gè)詞分別對(duì)應(yīng)兩個(gè)設(shè)計(jì)決策。Goal-Embedded指的是我在主干里顯式地嵌入了一個(gè)目標(biāo)表示。這個(gè)目標(biāo)不是外部給定的而是從歷史觀測(cè)里推斷出來(lái)的——模型需要自己判斷當(dāng)前正在朝什么狀態(tài)演化。具體做法是在 Transformer 的每一層里除了標(biāo)準(zhǔn)的自注意力還加了一路目標(biāo)交叉注意力讓當(dāng)前表示去查詢一個(gè)可學(xué)習(xí)的目標(biāo)記憶庫(kù)。這個(gè)設(shè)計(jì)讓模型在長(zhǎng)時(shí)序預(yù)測(cè)時(shí)不容易跑偏因?yàn)樗冀K有一個(gè)隱式的目標(biāo)在牽引。Action Transformer指的是主干用的是 Transformer 結(jié)構(gòu)而不是 RNN 或者 CNN。Transformer 的優(yōu)勢(shì)是長(zhǎng)程依賴建模能力強(qiáng)而且訓(xùn)練時(shí)可以并行。但直接套標(biāo)準(zhǔn) Transformer 有幾個(gè)問(wèn)題一是計(jì)算量隨序列長(zhǎng)度平方增長(zhǎng)二是對(duì)局部時(shí)序模式不敏感。我的改進(jìn)是用了局部窗口注意力 全局稀疏注意力的混合結(jié)構(gòu)局部窗口負(fù)責(zé)捕捉短時(shí)動(dòng)力學(xué)全局稀疏注意力負(fù)責(zé)長(zhǎng)程一致性。GE-Act 的損失函數(shù)也值得說(shuō)。我用了三項(xiàng)加權(quán)預(yù)測(cè)損失預(yù)測(cè)未來(lái)觀測(cè)的隱表示、一致性損失預(yù)測(cè)的隱表示和真實(shí)未來(lái)觀測(cè)的隱表示要對(duì)齊、以及動(dòng)力學(xué)平滑損失相鄰時(shí)間步的預(yù)測(cè)變化要平滑。三項(xiàng)的權(quán)重我調(diào)了很久最后定在 1.0 : 0.5 : 0.1這個(gè)比例在多個(gè)數(shù)據(jù)集上都比較穩(wěn)。3. 完整實(shí)操流程與關(guān)鍵環(huán)節(jié)3.1 數(shù)據(jù)準(zhǔn)備與預(yù)處理數(shù)據(jù)這塊我踩的坑最多單獨(dú)拎出來(lái)講。整個(gè)流程對(duì)數(shù)據(jù)的要求可以概括為時(shí)序連續(xù)、觀測(cè)對(duì)齊、動(dòng)作可推斷。時(shí)序連續(xù)指的是數(shù)據(jù)不能有太多斷幀。如果原始數(shù)據(jù)是視頻先做幀率統(tǒng)一我一般統(tǒng)一到 10Hz因?yàn)榇蠖鄶?shù)控制任務(wù)這個(gè)頻率夠用而且能大幅降低計(jì)算量。斷幀超過(guò) 3 幀的片段直接切掉不要試圖插值補(bǔ)插出來(lái)的幀會(huì)污染 IDM 的偽標(biāo)簽。觀測(cè)對(duì)齊指的是多模態(tài)觀測(cè)比如圖像 本體感覺要在時(shí)間上對(duì)齊。圖像通常有編碼延遲本體感覺是實(shí)時(shí)的如果不對(duì)齊IDM 學(xué)出來(lái)的動(dòng)作會(huì)系統(tǒng)性偏移。我的做法是以本體感覺的時(shí)間戳為基準(zhǔn)圖像做最近鄰對(duì)齊誤差超過(guò)半個(gè)采樣周期的樣本丟棄。動(dòng)作可推斷指的是你要保證 IDM 有足夠的信息反推動(dòng)作。如果觀測(cè)里根本看不出動(dòng)作的影響比如動(dòng)作幅度太小、被噪聲淹沒(méi)那這段數(shù)據(jù)對(duì) IDM 就是無(wú)效的。我加了一個(gè)簡(jiǎn)單的過(guò)濾計(jì)算相鄰幀觀測(cè)的差異范數(shù)低于閾值的片段直接跳過(guò)。預(yù)處理流程我整理成了一張清單統(tǒng)一幀率到 10Hz切掉斷幀片段多模態(tài)觀測(cè)時(shí)間對(duì)齊丟棄對(duì)齊誤差大的樣本歸一化觀測(cè)和動(dòng)作到 [-1, 1] 區(qū)間計(jì)算幀間差異過(guò)濾低信息量片段按 8:1:1 劃分訓(xùn)練/驗(yàn)證/測(cè)試集注意按時(shí)間劃分而非隨機(jī)劃分提示第 5 步一定要按時(shí)間劃分。隨機(jī)劃分會(huì)導(dǎo)致訓(xùn)練集和驗(yàn)證集有重疊的時(shí)間片段驗(yàn)證指標(biāo)虛高實(shí)際部署時(shí)性能掉得厲害。這個(gè)坑我踩過(guò)一次調(diào)了兩天才發(fā)現(xiàn)是劃分方式的問(wèn)題。3.2 IDM 的單獨(dú)訓(xùn)練與偽標(biāo)簽生成IDM 的訓(xùn)練是獨(dú)立的第一階段。我用的配置是AdamW 優(yōu)化器學(xué)習(xí)率 3e-4余弦退火batch size 256訓(xùn)練 50 個(gè) epoch 左右收斂。損失用 Huber lossdelta 設(shè) 0.1對(duì)異常值更魯棒。訓(xùn)練完之后用 IDM 對(duì)全量數(shù)據(jù)生成偽動(dòng)作標(biāo)簽。這里有個(gè)技巧不要只用一次前向的結(jié)果而是做多次前向取平均。具體做法是對(duì)同一對(duì)觀測(cè)加不同的 dropout mask 跑 5 次取平均作為偽標(biāo)簽。這樣能顯著降低偽標(biāo)簽的方差我實(shí)測(cè)下來(lái)下游任務(wù)的性能提升了大概 8%。偽標(biāo)簽生成后我還會(huì)做一個(gè)置信度過(guò)濾計(jì)算多次前向結(jié)果的標(biāo)準(zhǔn)差標(biāo)準(zhǔn)差超過(guò)閾值的樣本標(biāo)記為低置信度在后續(xù)訓(xùn)練中降低權(quán)重或者直接丟棄。這一步能過(guò)濾掉大約 10% 到 15% 的噪聲樣本對(duì)最終效果幫助很大。# 偽標(biāo)簽生成與置信度過(guò)濾 def generate_pseudo_labels(idm, obs_t, obs_tk, n_samples5): idm.train() # 保持 dropout 開啟 preds [] for _ in range(n_samples): with torch.no_grad(): preds.append(idm(obs_t, obs_tk)) preds torch.stack(preds, dim0) # [n_samples, B, act_dim] mean preds.mean(dim0) std preds.std(dim0).mean(dim-1) # [B] confidence torch.exp(-std) # 標(biāo)準(zhǔn)差越小置信度越高 return mean, confidence3.3 CoAE GE-Act 的聯(lián)合訓(xùn)練第二階段是把 IDM 凍結(jié)訓(xùn)練 CoAE 和 GE-Act。這里的學(xué)習(xí)率策略很關(guān)鍵CoAE 用較大的學(xué)習(xí)率1e-3GE-Act 用較小的學(xué)習(xí)率1e-4因?yàn)?CoAE 是從頭訓(xùn)GE-Act 的注意力結(jié)構(gòu)對(duì)學(xué)習(xí)率更敏感。訓(xùn)練時(shí)的序列長(zhǎng)度我設(shè)的是 32也就是看 32 步歷史預(yù)測(cè)接下來(lái) 8 步。這個(gè)比例是試出來(lái)的歷史太短模型沒(méi)有足夠上下文歷史太長(zhǎng)計(jì)算量上去了但收益遞減。32 步歷史在 10Hz 下是 3.2 秒對(duì)大多數(shù)任務(wù)夠用了。batch size 我用了 128顯存占用大概 18GB單卡 A100。如果你顯存小可以用梯度累積累積 4 步等效 batch size 512效果差不多但訓(xùn)練慢一些。訓(xùn)練過(guò)程中我監(jiān)控三個(gè)指標(biāo)預(yù)測(cè)損失的下降曲線、驗(yàn)證集上的一致性損失、以及一個(gè)下游任務(wù)的代理指標(biāo)比如用預(yù)測(cè)的隱表示做簡(jiǎn)單分類或回歸的準(zhǔn)確率。第三個(gè)指標(biāo)最重要因?yàn)樗苯臃从硨W(xué)到的表示有沒(méi)有用。我見過(guò)預(yù)測(cè)損失降得很好但下游指標(biāo)不動(dòng)的模型那種就是過(guò)擬合到觀測(cè)的表面特征了。3.4 關(guān)鍵參數(shù)的選擇與計(jì)算過(guò)程這里我把幾個(gè)核心參數(shù)的選擇邏輯寫清楚方便你復(fù)現(xiàn)時(shí)調(diào)整。隱表示維度我最終用的是 256。計(jì)算依據(jù)是觀測(cè)編碼后的維度是 512動(dòng)作條件維度是 128兩者融合后的表示維度取 256 能在表達(dá)能力和計(jì)算量之間取得平衡。我試過(guò) 128 和 512128 欠擬合512 過(guò)擬合且慢一倍。注意力頭數(shù)8 頭每頭 32 維。這個(gè)配置在 256 維隱表示下比較標(biāo)準(zhǔn)頭數(shù)太少4 頭表達(dá)能力不足太多16 頭每頭維度太小注意力分布不穩(wěn)定。局部窗口大小8。也就是每個(gè)時(shí)間步只和前后各 4 步做局部注意力。這個(gè)值對(duì)應(yīng) 0.8 秒的窗口覆蓋了大多數(shù)短時(shí)動(dòng)力學(xué)過(guò)程。全局稀疏注意力的采樣率每 4 步采樣一個(gè)全局 token。這樣全局注意力的計(jì)算量降到原來(lái)的 1/4但長(zhǎng)程信息基本保留。訓(xùn)練輪數(shù)聯(lián)合訓(xùn)練 100 個(gè) epoch前 10 個(gè) epoch 做 warmup學(xué)習(xí)率從 0 線性升到設(shè)定值。warmup 對(duì) Transformer 類模型很重要能避免早期訓(xùn)練不穩(wěn)定。4. 常見問(wèn)題與排查技巧實(shí)錄4.1 訓(xùn)練不收斂或損失震蕩這是最常見的問(wèn)題我遇到過(guò)好幾次原因和排查方法整理成表現(xiàn)象可能原因排查方法解決損失一開始就 NaN學(xué)習(xí)率太大或數(shù)據(jù)有 NaN檢查數(shù)據(jù)歸一化打印梯度范數(shù)降學(xué)習(xí)率加梯度裁剪損失震蕩不下降batch size 太小或?qū)W習(xí)率偏高看損失曲線周期增大 batch 或降學(xué)習(xí)率損失下降后突然反彈過(guò)擬合或數(shù)據(jù)分布突變對(duì)比訓(xùn)練/驗(yàn)證損失加正則檢查數(shù)據(jù)劃分損失降但下游指標(biāo)不動(dòng)過(guò)擬合表面特征看隱表示的可視化加一致性損失權(quán)重我印象最深的一次是損失震蕩調(diào)了三天學(xué)習(xí)率都沒(méi)用最后發(fā)現(xiàn)是數(shù)據(jù)里混了一批幀率不一致的片段導(dǎo)致 IDM 的偽標(biāo)簽在某些片段上系統(tǒng)性偏移。所以數(shù)據(jù)質(zhì)量永遠(yuǎn)優(yōu)先于超參調(diào)優(yōu)這個(gè)順序不能反。4.2 偽標(biāo)簽噪聲過(guò)大偽標(biāo)簽噪聲是 WAM 訓(xùn)練的核心難點(diǎn)。除了前面說(shuō)的置信度過(guò)濾我還有幾個(gè)實(shí)用技巧。第一個(gè)是動(dòng)作平滑先驗(yàn)真實(shí)動(dòng)作通常是平滑的不會(huì)劇烈跳變。我在 IDM 的損失里加了一項(xiàng)動(dòng)作平滑正則懲罰相鄰時(shí)間步偽標(biāo)簽的差異。這一項(xiàng)讓偽標(biāo)簽的噪聲明顯降低。第二個(gè)是多尺度 IDM 集成訓(xùn)多個(gè)不同時(shí)間跨度 k 的 IDM把它們的預(yù)測(cè)做加權(quán)平均。不同 k 的 IDM 關(guān)注不同尺度的動(dòng)力學(xué)集成后能互相糾錯(cuò)。我用 k4 和 k8 兩個(gè) IDM 集成效果比單個(gè)好不少。第三個(gè)是人工抽檢隨機(jī)抽 100 個(gè)樣本人工看偽標(biāo)簽是否合理。這一步聽起來(lái)原始但非常有效。我抽檢時(shí)發(fā)現(xiàn)過(guò) IDM 把鏡頭運(yùn)動(dòng)誤判成動(dòng)作的情況及時(shí)加了鏡頭運(yùn)動(dòng)補(bǔ)償才解決。4.3 長(zhǎng)時(shí)序預(yù)測(cè)發(fā)散WAM 做長(zhǎng)時(shí)序預(yù)測(cè)時(shí)容易發(fā)散預(yù)測(cè)越往后越離譜。這是自回歸預(yù)測(cè)的通病。我的解決方法有三個(gè)層次。第一層是訓(xùn)練時(shí)用 scheduled sampling訓(xùn)練早期用真實(shí)歷史后期逐漸混入模型自己的預(yù)測(cè)讓模型適應(yīng)自己的誤差。這個(gè)技巧能把長(zhǎng)時(shí)序預(yù)測(cè)的穩(wěn)定性提升一大截。第二層是預(yù)測(cè)時(shí)用滑動(dòng)窗口 重錨定每預(yù)測(cè)幾步就用最新的真實(shí)觀測(cè)重新錨定一次避免誤差累積。具體是預(yù)測(cè) 8 步后用真實(shí)觀測(cè)替換前 4 步再繼續(xù)預(yù)測(cè)。第三層是加動(dòng)力學(xué)約束在損失里加一項(xiàng)物理約束比如預(yù)測(cè)的狀態(tài)變化要滿足某種守恒或平滑條件。這一項(xiàng)因任務(wù)而異需要根據(jù)你的具體場(chǎng)景設(shè)計(jì)。4.4 部署時(shí)的延遲優(yōu)化訓(xùn)練完只是第一步部署時(shí)的延遲才是決定能不能用的關(guān)鍵。我做了幾項(xiàng)優(yōu)化。模型量化把 FP32 量化到 FP16延遲降了約 40%精度損失不到 1%。INT8 量化我也試過(guò)延遲降更多但精度損失明顯對(duì)控制任務(wù)不太能接受。算子融合把 CoAE 和 GE-Act 里的一些連續(xù)線性層和激活函數(shù)融合減少 kernel launch 開銷。這一項(xiàng)在 GPU 上能降 15% 左右延遲。緩存機(jī)制動(dòng)作條件向量在動(dòng)作不變時(shí)可以復(fù)用不用每幀重算。這個(gè)優(yōu)化在動(dòng)作變化慢的場(chǎng)景下效果顯著。批處理如果同時(shí)控制多個(gè)智能體把它們的觀測(cè)拼成一個(gè) batch 一起推理吞吐量能提升好幾倍。注意量化后的模型一定要重新做一遍驗(yàn)證我遇到過(guò)量化后某些輸入分布下輸出異常的情況雖然概率低但后果嚴(yán)重。驗(yàn)證時(shí)要用覆蓋各種邊界情況的測(cè)試集不能只用隨機(jī)樣本。5. 我踩過(guò)的坑和幾條實(shí)在的經(jīng)驗(yàn)5.1 關(guān)于 IDM 的幾個(gè)反直覺結(jié)論第一個(gè)反直覺結(jié)論IDM 不是越準(zhǔn)越好。前面提過(guò)IDM 太強(qiáng)會(huì)編碼無(wú)關(guān)信息。我后來(lái)甚至故意給 IDM 加了一點(diǎn)噪聲讓偽標(biāo)簽不那么精確下游反而更穩(wěn)。這背后的邏輯是偽標(biāo)簽的作用是提供動(dòng)作的大致方向不是精確值過(guò)度精確反而引入了觀測(cè)噪聲。第二個(gè)反直覺結(jié)論IDM 的時(shí)間跨度要隨機(jī)化。固定 k 會(huì)讓 IDM 只學(xué)會(huì)特定尺度的動(dòng)力學(xué)隨機(jī)化 k比如在 3 到 10 之間隨機(jī)采樣能讓 IDM 學(xué)到多尺度信息偽標(biāo)簽質(zhì)量更高。第三個(gè)反直覺結(jié)論IDM 的輸入不一定要用原始觀測(cè)。用觀測(cè)的差分幀間差作為 IDM 輸入有時(shí)比原始觀測(cè)更好因?yàn)椴罘痔烊蝗サ袅遂o態(tài)背景讓 IDM 更關(guān)注變化部分。這個(gè)技巧在背景復(fù)雜的場(chǎng)景下特別有效。5.2 關(guān)于 CoAE 的實(shí)操心得CoAE 最容易出問(wèn)題的地方是動(dòng)作歸一化。不同維度的動(dòng)作量綱差異很大如果不做歸一化某些維度會(huì)主導(dǎo)條件向量。我的做法是每個(gè)動(dòng)作維度獨(dú)立做 z-score 歸一化并且保存歸一化參數(shù)用于推理時(shí)反歸一化。另一個(gè)心得是動(dòng)作條件的 dropout。訓(xùn)練時(shí)以一定概率我用的 0.1把動(dòng)作條件置零強(qiáng)迫主干在缺少動(dòng)作信息時(shí)也能做出合理預(yù)測(cè)。這個(gè)技巧提升了模型對(duì)動(dòng)作噪聲的魯棒性實(shí)際部署時(shí)動(dòng)作有延遲或抖動(dòng)也不容易崩。5.3 關(guān)于 GE-Act 的調(diào)參經(jīng)驗(yàn)GE-Act 的調(diào)參我總結(jié)成一句話先調(diào)注意力結(jié)構(gòu)再調(diào)損失權(quán)重最后調(diào)學(xué)習(xí)率。順序不能亂因?yàn)樽⒁饬Y(jié)構(gòu)決定了模型的能力上限損失權(quán)重決定了優(yōu)化方向?qū)W習(xí)率只是優(yōu)化速度。我見過(guò)有人一上來(lái)就調(diào)學(xué)習(xí)率調(diào)了半天發(fā)現(xiàn)是注意力窗口設(shè)小了白費(fèi)功夫。注意力結(jié)構(gòu)里最關(guān)鍵的是局部窗口和全局采樣的比例。我的經(jīng)驗(yàn)是局部窗口覆蓋的時(shí)間跨度應(yīng)該和你的任務(wù)的最短動(dòng)力學(xué)周期匹配。比如你的任務(wù)里最快的動(dòng)作周期是 0.5 秒那局部窗口至少要覆蓋 0.5 秒也就是 5 步10Hz 下。全局采樣率則根據(jù)任務(wù)的最長(zhǎng)依賴周期定一般取最短周期的 4 到 8 倍。5.4 一個(gè)完整的復(fù)現(xiàn)清單最后給你一份可以直接抄的復(fù)現(xiàn)清單按順序執(zhí)行數(shù)據(jù)預(yù)處理統(tǒng)一 10Hz對(duì)齊多模態(tài)歸一化按時(shí)間劃分訓(xùn)練 IDMHuber lossk 隨機(jī)化 3-10信息瓶頸50 epoch生成偽標(biāo)簽5 次前向取平均置信度過(guò)濾動(dòng)作平滑正則訓(xùn)練 CoAETransformer 編碼 注意力池化動(dòng)作 dropout 0.1聯(lián)合訓(xùn)練凍結(jié) IDMCoAE 1e-3GE-Act 1e-4warmup 10 epoch監(jiān)控下游代理指標(biāo)不只看預(yù)測(cè)損失部署優(yōu)化FP16 量化算子融合條件緩存批處理量化后重新驗(yàn)證覆蓋邊界情況這套流程我在三個(gè)不同場(chǎng)景機(jī)械臂操作、游戲智能體、導(dǎo)航任務(wù)上都跑通過(guò)調(diào)整的主要是觀測(cè)編碼器和動(dòng)作空間的定義核心流程不變。如果你要上手建議先從最小的場(chǎng)景開始把流程跑通再擴(kuò)展不要一上來(lái)就上大規(guī)模數(shù)據(jù)那樣出問(wèn)題很難定位。我個(gè)人在實(shí)際操作中的體會(huì)是WAM 這個(gè)方向最大的價(jià)值不在于某個(gè)單點(diǎn)技術(shù)而在于它把預(yù)測(cè)和決策打通了。你訓(xùn)出來(lái)的隱表示可以直接拿去做規(guī)劃、做控制不需要額外的適配層。這一點(diǎn)是視頻大模型路線很難做到的。后續(xù)如果你想擴(kuò)展可以考慮把 WAM 和強(qiáng)化學(xué)習(xí)結(jié)合用 WAM 做想象環(huán)境在隱空間里做規(guī)劃這樣樣本效率會(huì)高很多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷五月天熟妇| 亚洲无码影音| 66精品成人免费网站在线观看| 久久久久久婷| 婷婷97碰碰| 色色色777| 99精品成人无码A片观看金桔| 人妻操在线看| 插逼综合网| 天天综合在线网| 五月久久噜噜| 日本黄色精品| 成人在线日韩| 99爱这里只有精品免费视频| 99欧美| 香蕉久久av一区二区三区| 五月天激情视频网站| 看全色黄大色大片| 激情六月天| 99视频一区| 成人资源在线| 国产av天堂| 99精品免费欧美小视频| 欧美情月伍月天| 激情五月天电影| 亚洲色欲欧美一区二区三区| 久Se视频在线观看| av亚洲国产小电影| 婷婷日欧美在线观看| 一级黄色影片| 狠狠干狠狠操狠狠爱| 97视频91| 99热这里只有精品无码| 激情文学久久| 热婷婷久| 性做久久久久久久免费看| 99热精这里只有精品| 亚洲免费av观看| AV操操操| 丁香婷婷五月天在线视频| 九月激情网| 免费视频WWW在线观看网站| 丁香桃色网| 久热精品视频在线观| 亚洲六月综合激情久久下卡| 久青操| 色婷婷丁香五月天在线视频 | 婷婷亚洲影院| 色欲天天综合| tingtingjiqingwuyue| 丁香五月亚洲综合| 夜夜爱网站| 婷婷激情六月天视频| 91精品国产99久久久久久天美| 九久9精品| 99热免费看| 久久婷婷五月| 1024日韩| 夜夜爽天天干| www色婷婷久久综合久色| 美女久久天堂| 免费视频WWW在线观看网站| 思思热在线观看| 99热日韩这里只有精品| 91色噜噜狠狠狠狠色综合| 成人美女网| 久久92| 亚洲五月婷婷在线| 日韩影院三级| 亚洲成人中文字幕| 成人综合视频网址| 99综合视频一体| 欧美成人精品A片免费一区99| 五月天激情小说电影| 九九婷婷综合| 午夜av网| 91女人18毛片水多国产| 激情久久久| 99久久www| 五月丁香狠狠| 激情综合女人网五月播播| 丁香五月天婷婷91| 碰久久精品w| 日本猛少妇色XXXXX猛叫| 99热日韩| 蜜桃五月天色| 免费观看的av| 婷婷激情综合网| 第四色大香蕉| CAOBIBI| 在线中文亚洲| 久久综合五月天| 五月丁香婷婷伊人日韩| 4399亚洲视频| 欧在线一区| 亚洲日韩一页精品发布| 日日日日日| 激情五月六月| 五月天婷婷青青| 国产亚洲色婷婷久久99精品91| 大香蕉人人网| 色综合色香蕉网| 丁香五月天啪啪| 色欲天天综合网| 99re这里只有精品视频了| 深爱五月激情网| 99ri久久| 人妻九九九九| 亚洲乱码在线观看| 日韩在线99| www网站在线观看| 日韩一级一片内射视频4K| 五月婷婷六月丁香| 五月激情天| 婷婷婷婷色| 欧美大香蕉视频| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 大香蕉婷婷久久| 99啪啪网| 综合在线色婷婷| 夜夜骑福利资源| 狠狠999| 激情五月,色五月| 五月丁香久久综合色| 大香蕉 婷婷| 激情五月综合| 天天干天天拍| 成人精品视频99在线观看免费| 五月丁香色婷婷| 国产无套精品一区二区| 色五月婷婷老师| 亚洲成人免费在线| 91九色网| 五月天偷拍| 久久婷婷亚洲| 777米奇影视第四色| 日本一级一级一级一级| 亚洲色热| 国产精品激情AV久久久青桔| 日韩丁香涩| 爆乳熟妇一区二区三区四区| 久久久宗合视频88| 1024在线视频| 久热视频97AV在线观看| 97人人干。| 9久操| 99热一本| 综合视频久久| 色很很96| 九九婷婷五月天影视| 国产美女精品| 五月丁香黄色视频| 毛片新网地| 九热免费视频| 狠狠色噜噜狠狠狠狠综合| 精品国产va久久久久| av一级棒av| 久久99网| 97色片| 91精品国产综合久久密臀| 五月天中文网| 久久婷婷五月天蜜桃| Www.狠狠| 色99视频| 大香蕉啪啪| 久re热视频| 人人草开心五月天| 啪啪啪综合网| 婷婷在线午夜| 婷婷六月色| 亚洲欧洲午夜成人精品av| 97干网站| 8090在线影视少妇| 激情av网| 五月丁香六月色婷| 五月永久激情| 久久ab| 亚洲婷婷五月天| 五月丁香福利| 丰满老熟妇BBBBB搡BBB| 丁香亚洲色综合| 第四色网婷婷| 日韩抽插操逼| 久久婷婷五月| AVDV久久| 9久热在线视频| 大香蕉狼人久久| WWW,色五月| 99热99精品在线观看| 天天爽免费视频| 久久五月丁香| 色色国产| 色九九九综合| 色婷婷五月开心六月综合| 精品无码人妻一区| 99这里只有精品|v| 天天天天操| 色.五月综合网| 九色地址91视频| 久思思热视频在线观看| 五月丁香激情婷婷| 久热A片| 婷婷五月天av| 日韩操啪| 《蜘蛛女》梁铮1995| 丁香网五月天激情| 婷婷天堂综合| 色五月 激情婷婷 综合五月天| 九九热青草| 精品无码久久久久久久久| 久久婷婷综合五月| 亚洲天堂有码| 777精品久无码人妻蜜桃| 国产欧美婷婷五月| 综合激情五月四射婷婷| 99精品偷自拍| 丁香五月天激情AV| 777色婷婷爱五月| 婷婷狠狠爱| 婷婷激情五月| 第四色激情网| 日亚二欧美| www.五月天婷婷.com| 欧美精品久| 午夜精品人妻无码一区二区三区| 色色色综合网| 久久伦乱| 五月婷在线视频免费看| 色色色色av777| 久久九九网| 婷婷丁香六月天激情四射网| 精品亚洲国产成AV人片传媒| 99在线精品观看99| 婷婷五月天开心网| 成人欧美日韩| 色噜噜狠狠色综无码久久合欧美| 老司机伊人| 色欲日日躁| 亭亭玉立国色天香| 激情丁香五月天综合| 激情五月天com| www.五月天。com| 色噜噜婷婷| 婷婷色吧| 久久99看免费| 狠狠爱婷婷丁香| 好叼操在线观看| 国产全是老熟女太爽了| 亚洲精品无码一区二区| av九九| 丁香六月激情| 另类图片激情五月| 日韩人妻无码精品| 五月婷婷欧美| 日韩欧美颜射| 久久婷婷伊人| 丁香五月成人社区| 综合色五月| 激情五月婷| 99小视频网站| 丁香五月天的网址。| 久久激情综合| 五月天婷婷青青| 久热这里只有精品在线观看 | 热热久久99| 激情五月五月五月婷婷| 99热成人在线| 女高怪谈在线观看| 激情五月影院| 欧美综合五月丁香六月婷| 色婷婷日本| 婷婷九月丁香| 午夜成人综合| 五月婷婷中文字幕| 操91| 五月婷婷片| 啪啪啪大香蕉| 天天干天天 亚洲| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 九色PORNY9l原创自拍| 色五月超碰| 91人人网| 思恩热国产视频右线观看| 九九碰九九爱97超碰| 久久XX| 久久这里只有精品久久| 91免费在线视频6| 成人必爱视| 色婷婷深爱五月| 激情婷婷五月久久| 五月天亚洲最大成人| 天天草天天爱| 亚洲无码九九| 97色天堂| 色色a| 精品99在线| 人人九色| 91久久久久久| 最新婷婷五月丁香| 中文字幕欧美久久| 欧美日韩成人在线| 色色色视频免费无码| 日韩色色小视频| 亚洲人人96@| 婷婷色日本| 欧洲第一久色| 亚洲在线综合| 国产乱妇乱子在线播视频播放网站 | AV 3P| 另类五月激情| 五月婷婷狠狠干| 激情深爱五月天| 日本人妻伦在线中文字幕| 一区二区无码视频| 日本色婷婷| 久久er99热精品一区二区| 婷婷黄色网| 婷婷五月天中文字幕| 亚洲六月婷婷| 五月综合777| 亚洲视频图片婷婷五月| 一级二级色大片| 婷婷激情小说| 婷婷不卡基地| 天堂资源欧日浪女在线播放| 99热20| ss视频xx91| 日本一毛片| 大香蕉啪啪啪| 日本玖玖在线| 激情黄色小说色五月| 久久久久久天天日天天爱| 狠狠久综合| 婷婷色五月婷| 久久婷婷五月天| 噢美99| 婷婷网影院| 天天天天天天天干| 色无码| 五月丁香婷婷综合网| 色五月婷婷丁香凹凸| 99乱视频| 亭亭五月天黑人2014| 久久精品99久久久久久| 久久久国产精品黄毛片| 操B五月天| 亚洲久久婷婷| 国产激情久久久| 婷婷五月天淫荡| 激情综合五| 久久婷婷五月综合色天| 欧美性二区| 五月激情久久综合网| 亚洲色五月| 黄色高清无码| 色五月婷色彩免播放器| 激情欧美丁香五月| 久久精品一区二区三区四区| 97极品在线| 六月伊人婷婷| 欧美性丁香色色五月天干干| 91九色视频在线观看| 天天日夜夜夜操操操操| 激情五月天婷婷丁香| 欧美色色日韩| 大伊久久| 丁香六月婷婷综合| 中文字幕视频在线播放| 天天干天干| 五月丁香综合网| 色色婷婷色色| 天天爽夜夜爽天天爽夜夜爽| 99热这里只有精| 亚洲免费av在线| 天天干天天干天天干天天干天天| 五月激情六月综合| 色婷婷超碰| 色婷婷丁香五月色综合网| 91丨九色丨大屁股| 丁香六月婷| 五月天社区狠狠| 操碰97| 国产操碰| 亚洲欧洲午夜成人精品av| 人妻日日日| 日韩不卡DvD| 五月天婷婷在线AN| 91狼友视频在线观看| 99在线视频观看| 超碰碰碰碰| 99热这里| 激情性爱网站| 激情五月天伊人影院| 蜜桃人妻无码AV天堂三区| 人人操插| 婷婷激情人妻| 色九月国产| 婷婷亚洲在线| www久久久久久久久久久| 只有精品在线观看| 91操在线视频| 久久丝袜婷婷| 五月丁香在线观看| 高清av在线国产| 成人视频九九| 丁香五月天之婷婷影院| 丁香五月天AV在线| 综合色五月| 97香蕉久久超级碰碰高清版| 91狠狠色色丁香婷婷综合久久| 婷婷五月天淫荡| 色。 日日日| 婷婷丁香成人| 精品婷婷五| 91久久久久久久久18| 操逼巨乳91| 婷婷五月天干干| 欧美一级色| 成人午夜无码视频| 婷婷六月啪啪| 五月色情婷婷| 97操碰| 九九视频精品这里只有| 国精产品一区一区三区免费视频| 日韩精品色| 亚洲久久天堂| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 日韩精品色| 精品9久| 婷婷五月天精品| 日韩欧美婷婷丁| 激情欧美丁香五月| www.久久爱.com| 久久多色| 九九免费精品在线视频| 日本一级淫| 婷婷五月色亚洲| 亚洲精品另类| 婷婷色五月激情强奸四射| 伊人五月婷婷| 91欧美| 五月丁香欧美综合免费视频| 欧美色色日韩| 91色久| 激情另类综合| 青青草大香| 天天插天天操| 五月婷网| 国产在线激情视频| 五月丁香综合激情| 思思99热热热99| 日产精品久久久久久久蜜臀| 五月婷婷性| 五月婷婷婷| 婷婷综合色色| 一二三区视频韩国| 色色五月天com| 亚洲99综合| 狠狠草天天草| 97碰91| 色私五月婷婷| 亚洲 精品 综合 精品| 婷婷丁香五月综合网| 婷婷六月天激情| 丁香五月首页| 国产偷人爽久久久久久老妇APP| 狠狠久综合| 综激情网| 开心五月色婷| 色五月婷婷操逼| 五月丁香色情| 丁香婷婷月| 色一情一乱一乱一区91Av| EEUSS鲁片一区二区三区| 夜夜爽天天日| 大香蕉九九| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 97碰 在线视频观看| 六月婷婷综合激情| 亚洲色小说在线综合| 亚洲色图日韩网址| 五月天开心网| 性热视频99精品| 梁铮版《蜘蛛女侠》在线| 丁香影院五月综合| 激情丁香五月天| 五月天激情子轮| 激情九月综合| 99在线看视频| 人人摸人人| 蜜桃五月天| 人妻操逼视频。| 五月婷婷久久爱| 五月天综合婷婷| 九九无码视屏| 丁香五月天激情网址| 91怕怕网| 婷婷综合视频| 色热久| 久久66精品| 91ncom.色| 亚洲第一成人AV| 婷婷六月插屄激情| 天天综合五月| 婷婷桃色网| 性色五月天| 天天激情站| 国产裸舞福利资源在线视频| 九九色之九九色88| 熟妇天天综合| 内射在线CHINESE| 26uuu精品一区二区| 丁香五月综合在线播放| 天天日天天狠狠操| 99在线观看精品| 91在线视频观看午夜福利| 综合激情视频| 五月激情网站| 26UUU欧美| 中文不卡一二三区| 天天色天天搡| 人人操女人| www五月婷婷88导航| 色色色9| 婷婷色婷婷| 五月激情基地| 五月夜丁香| 天天开心天天色| 99热丁香五月| 久久九九经典| 超碰cap| 色婷婷成人做爰A片免费看网站| 99精品久久久久久久婷婷| 51avj视频大全| 手机激情网| 激情婷婷丁香五月天小说| 欧美色色干| 日本A片一区| 美国少妇性做爰| 色丁香久久| 日本啪啪天堂| 啪啪婷婷五月天激情| 色五月激情婷婷| 国产美女最新VA在线免费观看| 欧美va亚洲va| 草了bav视频在线观看| 国产午夜一区二区三区| 久九色| 99色精品| 激情综合色婷婷啪啪六月天| 人妻内射视频| 五月天激情国产综合婷婷| 久色五月| anquye五月| 亚洲Av入口| 婷婷五月丁香综合激情小说| 激情综合婷婷五月| 天堂AV三级| 久/久精品99看9| 丁香花五月天激情| 夜夜 操无码| 日本天堂爱爱| 五月丁香啪啪综合网| 99热丁香五月| 在线观看欧美| 99热在线精品播放| 日韩久热| 色色色色五月天| 激情综合九月| 国产67194| 婷婷激情综合| 久热这里只精品| 26uuu青青| 精品久久二6| wWwCom夜操wwW| 永久的网站AAAA| 丁香五月天天哦| 成人深爱丁香五月| 日日色五月天| 欧美色色色| 天天操天天日天天操| 天天精品视频在线观看视频| 另类激情五月天| 天天做天天爱天天要| 六月综合在线| 国产综合婷婷| 亚洲六月色| 成人在线99| 欧美色五月| 成人国产欧美大片一区| 337久久| 操操操91| 殴美激情综合网| 色狠狠色噜噜AV天堂五区| 国产肥白大熟妇BBBB视频| 国产精产国品一二三在观看| 91丁香色五月| 天天综合 99久久婷婷| 色综合天堂| 久久99久久99精品免视看婷婷| 丁香五月天偷拍| 亚洲综合网激情小说| 四色女婷婷| 亚洲视频伍月婷婷| 欧美在线97| 色屌丝中文字幕| 欧美成人精品A片免费一区99| 影音先锋男人女人| 日本久久9| 婷婷久久综| 五月丁香爱婷婷深深| 伊人综合网4| 这里只有精品视频99| 激情五月婷黄版| 丁香五月天啪啪| 中文毛片无遮挡高潮免费| 精品日本视频444| 九九十99视频| 久久狠狠高潮亚洲精品 天天摸夜夜摸夜夜狠狠摸| 综合久色五月| 欧美成人色婷婷| 99久久久免费| 国产亚洲精品久久久久久久久动漫| 久久月天堂| 精品久久久999| 99在线免费视| 99re思思热久久| 中文字幕不卡+婷婷五月| 五月婷婷激情综合| av超碰在线| 欧美精品999| 深爱五月天 开心网| 亚洲情欲| 六月丁香久久| 五月天婷婷丁香人人操91| 91九色精品女同系列| 夜夜操夜夜姧| XX久久| 97在线观看| 伊人狠狠色婷婷综合丁香一区| 精品久久二6| 乱色色色| 亚洲综合99| 久婷婷色| 99re热视频这里只精品| 67194中文字幕| 日韩抽插操逼| 狠狠干综合| 精品夜夜澡人妻无码AV| 99色在线观看视频| 五月婷婷综合色啪首页| 色婷婷www| 五月婷婷香蕉| 99久久精| 五月婷婷在线视频观看| 亚洲国产精品SUV| 婷婷久久精品| 五月丁香亭亭天天舔| AV在线观看网站| 六月婷婷综合网2| 成人五月丁香社区| 亚洲欧美国产高清vA在线播放| 丁香午夜天| 97超碰在线观看免费| 色五月婷婷五月丁香五月激情五月视频| 欧美日韩AAAA| 最近中文字幕在线中文视频| 超碰com| 久久66成人网站| 丁香激情五月| 九九狠狠干| 五月天深爱激情网| 丁香激情五月天| 猫咪伊人久久| 五月丁香亚洲综合| 任你躁XXXXX麻豆精品| 91ncom.色| 狠狠干无码| www,999日本色| 丁香婷婷六月激情文学 | 日本久久婷| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 五月天激情久久| 99热6色| 国产AV一区二区三区最新精品 | 五月丁香六月综合图| 九九sese| 情五月亚洲婷婷| 伊人久久大香线蕉av最新| 亚洲啪| 激情丁香网| 五月丁香六月综合激情| 五月玖玖| 午夜丁香综合婷婷| 九九九九中文字幕| 五月天夜夜爱夜夜操| 色婷婷av在线观看| 激情五月天婷婷直播| 另类 在线| 久久人视频| 久久久99精品| 精品久久久久成人码免费动漫 | 九月婷婷综合在线| 丁香婷婷成人在线播放| 国产成人AV| 99精品视频在线免费观看| 久久五月婷| 狠狠色丁香久久| 五月丁香色六月激情干大屄| 91干网站| 丁香婷婷十月| 97人人操人人插| www,色中色| 国产小精品| 久久ER视频com| 九九aV| 激情久久四色| 婷婷综合网站| 成人精品一区二区三区四区五区| 开心激情网五月天| 99er这里只有精品| 激情五月天影院| 色婷婷色99国产综合精品| 97干免费视频| 超碰99热| 婷婷五月天久久| 热99这里只是精品| 来吧亚洲综合网| 色综合夜夜| 色播五月| aaaaaa片| 99国产精品久久久久久久久久久| 亚洲欧洲自拍图片专区五月天| 99久热| 丁香桃色综合网| 中文中文在线| 亚洲男人的天堂婷婷色五月| 不卡在线视频| 色播婷婷五月天| 99久久久精品| 色色com| 99在线视频观看| 182TV大香蕉| 青草视频在线观看视频| 婷婷精品综合| 天天碰天天插天天操| 久久人人九| 国产精品18久久久| 五月丁香好婷婷A片网| 九九热99精品| 97人人看| 91人人人人人人人| 色五月婷婷天天干| 99热这里有精品| 狠狠精品干练久久久无码中文字幕| 第五婷婷伊人丁香| 99在线看片| 激情五月综合| www.com色播五月天| 六月丁香深深爱| 九九99久久| 狠狠干2007| 狠狠干最新地址| 婷婷五月丁香基地| 日本三久久| 九九色色| 六月丁香好婷婷| 日韩av网站在线观看| 色五月91| 免費观看aV在线网址| 久久婷婷综合基地| 99在线精品视频在线观看| 99热这里只有精品8| 五月丁香自拍| 婷婷五月激情天| 国产精品99久久久久久久女警| 婷婷午夜丁香| 五月激情婷婷国产精品久久久久久| 99国产精品白浆在线观看免费| 超碰超碰在线| 五月天久久综合婷婷| www婷婷色| eeuus五月婷| 亚洲网视屏| 综合网狠狠| 日本五月视频| 九九日伊人| 五月丁了香蕉综合| 亚洲精品国产成人AV在线| 亚洲无码激情| Www.激情| 123日本不卡在线| AV 3P| 九九黄色网| 色丁香久久久| PORNY九色9l自拍视频成人| 国产精品人成A片一区二区| 久久亚洲激情五码| 婷婷丁香人妻天久久| 婷婷狠狠综合网入口| 久久综合丁香| 丁香婷婷啪啪啪| 成人版视频在线观看| 丁香伊人五月色婷婷五十路| 另类综合国产| 日韩黄色中文字幕| 最新精品视频99| 色婷婷伊人| 26uuu.| 激情亭亭五月| 粉嫩AV久久一区二区三区| 五月丁香六月激情| 婷婷五月天伦理| 欧美久久网| 婷婷99视频在线| 五月丁香色综合| 99秘 在线| caop在线| 色婷婷四虎| 亚洲天堂热| 99视频在线观看网址| 欧美色色色色色色色色色色影视| 在线超碰91| 无码激情AAAAA片-区区| 五月丁香综合激情网| 小视频一区| 99热网站| 日韩美女羞羞网站在线观看| 中文字幕精品无码一区二区| 欧美 日韩 成人 在线| 99久久久国产精品免费蜜乳tv| 五月天丁香网| 久久婷婷资源| 日韩在线观看网址| 婷婷99狠狠| 五月婷婷中文字幕AV| 婷婷丁香一月| 99色色网| 99久久.www| 亚洲激情四谢| 直接看的AV| 婷婷五月精品| 99热思思| 狠狠九九婷婷韩| 天天插天天射| 91久久久久久| 五月婷婷日| 99久久九九| 午夜激情久久| 天天久| 五月丁香啪啪综合| 色色色99| 一级A片天天操夜夜操| 99热色综合| 日韩另类在线观看| 色婷婷WWW| 日本人妻伦在线中文字幕| 久久欧洲综合网| 五月婷婷九九久久| 五月丁香黄色视频| 久婷婷久草| 97sese婷婷| 超碰在线视屏| 丁香五月天人体| 色吊操色妞| 在线观看的av| 婷婷区日本| 六月婷在线| 97色色色色色| 婷婷丁香五月,狠狠综合| 九九久久高清| 亚洲婷婷五月天| 日本五月视频| 另类A片| 专区无日本视频高清8| 色婷婷狠狠18| 香蕉综合网| 97人人干视频| 人人操97| 99热精这里只有精品| 九九www| 欧洲色色| 任你日视频| 日日夜夜天天| 婷婷丁香五月亚洲17cao| 婷婷五月色情天| A在线观看| 看全色黄大色大片| 色色99| 超碰国产在线观看| 99这里有精品视频| 婷婷无码五月天| 激情六月天婷婷| 五月丁香六月成人| 99在线观看精品视频| 99爱在线免费视频| 婷婷狠狠操| 色婷婷免费观看| 亚洲五月天激情| 六月激情综合| 五月色情网| 影音先锋四区| 中文字幕成人版| 精品人妻久久久久久| 天天插天天插天天插天天插| 激情五月伊人婷婷| 久婷婷五月天影院| 久久中文网| 99婷婷| 天天干天天干天天干天天干天| 欧美丁香婷婷天天操| 艹天天射| 色吧婷婷五月亚洲| 99热激情| 五月天激情综合网| 五月婷婷激情中心| 国产日批视频免费播放| 六月丁香激情| 五月丁香婷婷五月色| 97人人射| 91九色视频在线观看| 五月婷婷欲色| 天堂婷婷五月在线| 91九色熟女| 香蕉色色网| 欧美电影在线播放| 这里只有精品在线观看视频| 天天日夜夜曹| 激情宗合网激情五月天| 综合五月丁香久久| 91久久综合亚洲鲁鲁五月天| 色色色五月天激情资源| 丁香五月花| 思思热视频在线| 99毛片| 99re8在这里只有精品| 97婷婷丁香五月天激情图片| 日韩色色色色色| 蜜桃婷婷狠狠久久| 99热日本精品| 色呦呦在线| 久久精品国产AV一区二区三区 | 五月天五月色婷婷综合| 日本啪啪网| 日韩美女羞羞网站在线观看| 26uuu成人网| 99国产在线精品视频| 久久婷婷影院| 亚洲欧洲另类| 久久东京热婷婷五月| 色五月婷婷在线| 色狠狠综合入口| 色综合久久88色综合中文字幕| 婷婷五月天激情偷拍| 这里只有精品日韩| 久久久婷婷婷| 久久久久久久97| 日本97在线| 大香蕉人人人| 婷婷五月激情五月丁香五月| 色婷婷aV四虎| 超碰人人摸AV| 色99最新网址| 亚洲激情四谢| 五月婷婷很很色| 丁香激情综合| 人妻有码乱操| 丁香五月伊人| 色综合网页| 无毒黄色网址| 1024久婷| 免费成人中文字幕| 99热九九在线| 亚洲综合在线网站| 视频1区2区| 超碰猛烈的性猛交| AV无码免费| 一起草Av| 亚洲丁香花色| 人人爱干人人爱草| 五月天激情网图片 - 百度| 精品婷婷五月视| 五月色情婷婷开心五月色情| 先锋男人99资源| 伊人婷婷色激情丁香| 久久这里只有国产视频| 丁香久色| 国产精品久久久海的味道| 日本九九九九| 日本久草福利| 五月激情婷婷播播网| 久久久大香蕉| 亞洲自怕| 《诡秘之主》在线观看| 丁香久久| 少妇人妻人伦A片| 六月丁香停| 99精品网站| 激情小说视频图片| 五月婷综合激情| 婷婷五月天日逼| 影音先锋一区| 97涩婷婷婷婷基地| WWW五月婷婷| 97色操| 天天日天天肏天天奸| 丁香六月婷婷综合| 伊人五月综合网| 国产无遮挡又黄又爽免费网站| 91碰| 99乱视频| 97超碰婷婷五月天| 色五月婷婷婷婷婷婷婷婷婷婷| 亚洲这里只有精品| 一起草AV入口| 色婷婷五月影视| 天天爱天天操| 97人人妻人人艹| 久久6这里只有精品| 激情综合网址| 大香蕉娱乐| 思思re视频在线| www.天天日| 91要啪| 亚洲日日日| 婷婷色色综合| www.国产亚洲69ty.久久久久久久久久久久 | AV中文字幕夜夜操b天天摸bb | 90色免费视频| 亚洲综合激情五月久久| 激情五月天色播| 日韩99无码| 六月婷伊人| 五月天婷婷久久| 婷婷午夜| 亚洲情综合五月天| 99视频久久久| 丁香无五月网| 五月天综合在线观看| 婷婷色中文字幕| 韩国中文字幕91| 色婷婷激情| 六月丁香深深爱| 五月婷婷六月丁香五月| 狠狠色综合网| 99热九九在线| 天天爽天天日人人爱| 99久热这里只有精品| 色婷婷丁香| 日本少妇AA一级特黄大片| 色人久久| 日日插日日干| 丁香五月天激情综合| 另类亚洲电影| 亚洲综合网区| 婷婷色色婷婷| 99激情视频| 久久九九99桃花视频| 激情综合网,五月| 五月婷激情影院| 五月丁香六月片| 另类视频综合| www.五月天激情| 色五月五月婷婷| 久草五月婷| 五月天婷婷丁香蜜桃91| 97丁香婷婷| 亚洲人成播放网站| 综合亚洲六月婷婷在线| 婷婷五月激情五月激情| 99啪啪| 91干视频| 夜夜综合色| 国产一区二区三区影院| www,色婷婷| 婷婷激情五月天小说校园| 99综合视频| 停停六月 综合| 婷婷成人五月天一区| 色婷久久| www.精品久9| 爱婷婷五月| 色婷婷综合网| 一起草Av| 天天操天天操天天操天天操天天操 | 操91| 色吊丝永久访问网址| 国产色五月| 韩国真做片在线观看| 玖玖综合网| 极品人妻VideOssS人妻| 狠狠婷婷色综合| 色婷婷丁香六月| 99ri国产在线| 97超级碰碰碰| 99热99热不卡| 五月丁香婷婷成人网| 九九日本视频| 超碰人人艹| www激情网站| 九九精品视频在线观看| 99精品国产乱码久久久人妻| 五月丁香六月在线欧美| 超碰成人av| 国产操逼网站| 婷婷五月天激情丁香| 99原创自拍视频在线观看| 激情深愛五月視頻| 色婷网| 伊人网碰碰| 日本狠狠干| 婷婷丁香www视频日本韩国| 天堂AV在线看| 婷婷大香焦| 婷婷激情综合网| 99国产精品久久久久久久久久久| 青青热视频| 五月丁香啪| 三级三久久线久久99久目本WW| 91久久精品无码一区二区三区| 丁香五月性爱爱五月| 这里精品| 色综合久久8| 日日噜狠狠色| 激情国产五月| 99色在线观看视频| 婷婷在线日韩综合| 天天干天天爽天天爽| 七月丁香五月婷婷在线| 婷婷色色综合| 国精产品久久| 91免费啪视频| 婷婷六月五月天综合| 大香蕉视频99| 婷婷五月天开心激情网| 6 9式性爱视频在线播放| 欧美爆乳一区二区三区| 97涩婷婷| 天天爽天天摸人妻综合网| 五月天婷婷网站| 激情综合丁香五月| 五月天婷婷色色首页| 精品人妻一区二区三区四区不卡在| 五月天婷婷无码| 婷婷六月五月天综合| 欧美日韩国产成人在线| 玖玖热视频| 国产精品人妻在线网址| aaa久久| 99久久久免费| 日本五月婷婷| 亚洲 日韩色色| 亚洲色无码A片一区二区麻豆| 日在线V视频在线播放| 五月婷A V在线| 亚洲欧美另类在线23p| 青青草Avb在线| 色婷另类| 91九色在线| 婷婷色播婷婷| 狠狠操天天日| 91/九色黑人| 狠狠狠色激情综合适合| 日韩成人电影在线播放| 欧美精品99久久久| 色婷久久| 色色色激情网| 91狠狠色| 天天爽天天摸| 热的五码久久精品| 久久久噜噜噜www成人| 婷婷丁香熟妇综合网| 99这里| 婷婷开心青青草| 玖玖爱伊人| 婷婷五月丁香性爱| 亚洲超碰在线| 丁香六月婷婷久久综合| 免费试看小视频 99| 亚洲AV人人操| 九九99视频精品| 99精品在线| 婷婷五月色情| 99热最新网址| 久热精品视频在线观| 丁香五月www| 搡BBBB搡BBB搡18 | 色999五月色| 五月亭亭性| 国产美女精品| 99热超碰在线| 99热99| 天天日天天久久青青| 色婷婷成人| 色五月中文网| 国产精品久久久60086| 亚洲婷婷视频| 狠狠久久婷婷| 久久婷婷五月天大香蕉| 五月天激情视频| 久久WW| 日日夜夜爽| 奸逼视频| 色五月丁香六月资源站| 欧美日韩成人在线网站| www.ywav| 成人视频网| 五月天社区| 狠狠狠色激情综合适合| 五月天激情开心网| 五月噜噜噜色综合| 色欲九区| 操逼综合网| 久操香蕉| 欧美丰满熟妇BBB久久久| 丁香九月婷婷| 91要啪| 丁香五月天综合| 五月丁香六月综合激情网| 九热在线这里有精品6| www.色综合| 五月天婷婷基地综合网| 久久一操| 九九九干精品| 日韩欧美老妇性视频91久久久| 婷综合| 成人精品一区二区三区四区五区 | 久久99久久99精品免视看婷| 伊人婷婷99热精品| 色综合色综合网| 婷婷五月激情视频| 天天日天天插天天操| 97超碰欧美中文字幕| 农村熟妇高潮精品A片| 色丁香五月| 五月丁香六月婷婷久久久综合| 久久五月综合| 日本三级片片| 国产又爽又猛又粗的视频A片| 97影院一级片| 天天爽天天草| 久久6这里只有精品| 91超碰人人操| 色五月在线观看| 最新激情五月天| 99色干| www亚洲无码| 一起草AV入口| 激情第四色| 婷婷五月色激情欧美激情| 这里只有九九精品| 欧美色狠婷久| 91干视频| 99玖玖视频| 免费三级黄色| 五月婷婷丁香| 91婷色| 色婷婷五月天视频网站| 婷婷之六月丁香| site:wpjngj.com| 操久久网| 91日日日| 日本毛片内射| 国产高清视频91九九九久久久| 亚洲视频一区| 五月综合久久|