欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

32個(gè)Token長(zhǎng)期記憶:3D單目標(biāo)跟蹤新SOTA方案解析

32個(gè)Token長(zhǎng)期記憶:3D單目標(biāo)跟蹤新SOTA方案解析 3D單目標(biāo)跟蹤這個(gè)方向這兩年被Transformer架構(gòu)攪動(dòng)得挺厲害。從早期的點(diǎn)云匹配到后來引入跨模態(tài)線索再到現(xiàn)在大家拼命往“記憶”上做文章路子是越來越野。最近我又看到一個(gè)很有意思的思路——用32個(gè)token來承載長(zhǎng)期記憶直接把3D單目標(biāo)跟蹤的精度又往上推了一截刷成了新的SOTA。這個(gè)想法第一眼看上去有點(diǎn)反直覺畢竟單目標(biāo)跟蹤能用的信息有限一個(gè)目標(biāo)的特征在幾十幀里變化不小靠32個(gè)token能記住啥但仔細(xì)看完實(shí)現(xiàn)細(xì)節(jié)才發(fā)現(xiàn)這個(gè)“長(zhǎng)期記憶”的設(shè)計(jì)妙得很它解決的是跟蹤里最頭疼的“外觀漂移”和“暫時(shí)遮擋”兩個(gè)老大難問題。這篇文章就從我的視角把這套方法的來龍去脈、實(shí)現(xiàn)要點(diǎn)和踩坑心得完整拆一遍希望能給做點(diǎn)云跟蹤、多模態(tài)感知或者對(duì)Transformer記憶機(jī)制感興趣的朋友一點(diǎn)參考。1. 從外觀漂移說起3D單目標(biāo)跟蹤為什么需要記憶機(jī)制1.1 單幀匹配的極限為什么只看當(dāng)前幀和第一幀不夠3D單目標(biāo)跟蹤3D Single Object Tracking這個(gè)任務(wù)說白了就是在第一幀給定一個(gè)目標(biāo)的三維包圍盒然后在整個(gè)序列中持續(xù)鎖定這個(gè)目標(biāo)。聽起來簡(jiǎn)單可真實(shí)場(chǎng)景里全是坑目標(biāo)會(huì)旋轉(zhuǎn)、會(huì)變形、會(huì)被遮擋激光雷達(dá)點(diǎn)云本身又稀疏又嘈雜反射強(qiáng)度也在變。早期的很多工作比如P2P、PTTR這類本質(zhì)上都在做一件事——把第一幀的模板特征跟當(dāng)前幀的特征做匹配。問題在于第一幀的模板是個(gè)“死”的參考。一輛車開著開著拐了個(gè)彎側(cè)面看到的點(diǎn)云分布和第一幀正后方看到的完全不是一回事這時(shí)候硬拿第一幀去匹配特征距離自然越拉越大bounding box就會(huì)開始飄。這就是典型的“外觀漂移”問題。有些方法想了個(gè)補(bǔ)救辦法用短期記憶取最近幾幀的預(yù)測(cè)結(jié)果作為參考。短期記憶確實(shí)能緩解一部分漂移因?yàn)樗玫氖亲钚碌哪繕?biāo)外觀但一遇到遮擋就白搭。目標(biāo)被貨車或者路牌擋住兩三秒短期記憶里存的全是遮擋物或者目標(biāo)殘缺的樣子恢復(fù)出來之后tracker照樣找不到目標(biāo)甚至可能把遮擋物當(dāng)成目標(biāo)跟丟。這就是為什么我開始關(guān)注“長(zhǎng)期記憶”這個(gè)方向真正的魯棒性是既要能跟上目標(biāo)外觀的連續(xù)變化又要在目標(biāo)“消失”一段時(shí)間后還能想起來它原來長(zhǎng)什么樣。而標(biāo)題里提到的32個(gè)token長(zhǎng)期記憶就是沖著這個(gè)目標(biāo)去的。1.2 長(zhǎng)期記憶的設(shè)計(jì)空間存什么、怎么讀、寫在哪做長(zhǎng)期記憶的方案不止一種但我自己梳理下來大概有三條技術(shù)路線。第一條是把歷史幀的點(diǎn)云特征全部堆起來搞一個(gè)特征池做匹配的時(shí)候挨個(gè)比對(duì)這個(gè)思路最直接但顯存開銷大推理速度也慢畢竟每一幀的檢索成本都在漲。第二條是維護(hù)一個(gè)“模板庫(kù)”給目標(biāo)存若干個(gè)典型視角的模板更新策略類似隊(duì)列新的進(jìn)來舊的出去思路傳統(tǒng)但對(duì)于視角變化劇烈的情況容易模板冗余。第三條就是最近比較流行的可學(xué)習(xí)記憶Token方案——用一個(gè)固定長(zhǎng)度的可訓(xùn)練參數(shù)向量把目標(biāo)的歷史外觀信息“壓縮”進(jìn)去每次更新時(shí)通過注意力機(jī)制把新信息融入這個(gè)向量。32個(gè)token屬于第三條路線的一次具體實(shí)踐。設(shè)計(jì)者沒有把目標(biāo)歷史特征堆成一個(gè)超大向量而是拆成32個(gè)固定維度的token這背后其實(shí)藏著對(duì)信息容量的一個(gè)折中token太少表達(dá)不了復(fù)雜外觀變化token太多注意力計(jì)算的負(fù)擔(dān)上去了而且相鄰token之間很可能高度冗余白白浪費(fèi)算力。我測(cè)下來這個(gè)數(shù)量級(jí)正好能讓多數(shù)目標(biāo)類別在多個(gè)視角下的特征都有地方安放。在這里我想岔開一句。agent的短期記憶和長(zhǎng)期記憶其實(shí)和3D跟蹤里的短期、長(zhǎng)期記憶本質(zhì)上是同一回事。短期記憶是當(dāng)前上下文的緩存長(zhǎng)期記憶是沉淀下來的核心知識(shí)。跟蹤任務(wù)里的記憶不能像大模型那樣做“無限長(zhǎng)”的上下文窗口點(diǎn)云數(shù)據(jù)每一幀都在高速產(chǎn)生實(shí)時(shí)性要求又卡在那里所以把長(zhǎng)期記憶壓縮成固定token本質(zhì)上就是用有限容量去換無限時(shí)域的覆蓋能力。2. 32個(gè)token長(zhǎng)期記憶的核心設(shè)計(jì)思路拆解2.1 記憶token的形態(tài)與初始化為什么是32個(gè)而不是64個(gè)這套方法的核心模塊可以理解為在tracker backbone的基礎(chǔ)上額外加了一條“記憶通路”。整個(gè)流水線是這樣的當(dāng)前幀點(diǎn)云經(jīng)過編碼器提取特征第一幀的ground-truth box會(huì)單獨(dú)生成一個(gè)初始模板特征而記憶模塊則維護(hù)著一組可學(xué)習(xí)的token這組token在訓(xùn)練開始時(shí)用一個(gè)正態(tài)分布初始化隨著訓(xùn)練過程不斷調(diào)整。先解釋為什么是32個(gè)token。這個(gè)數(shù)字跟所用的點(diǎn)云特征分辨率有關(guān)。當(dāng)前主流做法是把點(diǎn)云劃分成體素或者柱面網(wǎng)格比如一個(gè)典型的BEV特征圖是128×128或者256×256。記憶token要跟這個(gè)特征圖交互就必須通過注意力機(jī)制做信息聚合。如果token數(shù)量太少比如只有8個(gè)那每個(gè)token代表的是一個(gè)非常粗糙的全局信息塊丟失了空間局部性反過來如果用128個(gè)token雖然信息更精細(xì)但每次更新和查詢都要做一次多頭注意力計(jì)算量直接翻倍而且實(shí)驗(yàn)做下來跟蹤精度的提升非常有限基本進(jìn)入飽和區(qū)。32個(gè)token更妙的一點(diǎn)是它能自然地表達(dá)“多視角原型”的概念。你把32個(gè)token想象成目標(biāo)外觀的32個(gè)聚類中心每個(gè)token對(duì)應(yīng)某種外觀模式——正面車頭、側(cè)面車身、帶點(diǎn)遮擋的車尾、雨后反光的地面噪點(diǎn)等等。當(dāng)一個(gè)新幀來的時(shí)候當(dāng)前幀特征只跟這32個(gè)原型做交互而不是跟過去100幀的原始點(diǎn)云做匹配這樣既低成本又高信息密度。2.2 記憶的讀寫機(jī)制更新與查詢?cè)趺磪f(xié)同這套方法最值得細(xì)品的是記憶的“寫”和“讀”兩條路徑是分開設(shè)計(jì)的。寫路徑更新機(jī)制是這樣的每一幀做完預(yù)測(cè)之后當(dāng)前幀的預(yù)測(cè)框內(nèi)的點(diǎn)云特征會(huì)被編碼成一個(gè)“即時(shí)觀察向量”。這個(gè)向量不會(huì)直接替換掉舊的token而是通過一個(gè)門控機(jī)制和舊記憶做融合。融合權(quán)重由一個(gè)輕量級(jí)網(wǎng)絡(luò)學(xué)習(xí)得到相當(dāng)于模型自己學(xué)會(huì)“現(xiàn)在這個(gè)觀察有多大價(jià)值值不值得記下來”。這個(gè)設(shè)計(jì)非常關(guān)鍵因?yàn)椴皇敲恳粠贾档酶掠洃浀?。比如目?biāo)被完全遮擋的那幾幀觀察向量全是噪聲如果強(qiáng)行更新等于往記憶里灌臟數(shù)據(jù)反而會(huì)污染之前存好的干凈特征。門控機(jī)制的做法我在實(shí)驗(yàn)里復(fù)現(xiàn)過一版公式上可以理解為對(duì)每個(gè)記憶token做一次特征更新更新的比例受到當(dāng)前幀置信度的影響。置信度低的時(shí)候門控輸出趨近于0記憶保持原樣置信度高的時(shí)候門控放量更新把新觀察寫進(jìn)去。這個(gè)門控分支訓(xùn)練起來也不難直接靠跟蹤loss的梯度反傳就能學(xué)會(huì)不需要額外的標(biāo)注信息。讀路徑查詢機(jī)制則更常規(guī)一些當(dāng)前幀特征圖作為Query記憶token作為Key和Value做一次cross-attention。這個(gè)注意力輸出會(huì)和當(dāng)前幀特征拼接在一起送入后續(xù)的box refinement模塊。這樣得到的效果就是當(dāng)前幀特征從“我只看到現(xiàn)在的樣子”升級(jí)成了“我既看到現(xiàn)在的樣子又知道它過去長(zhǎng)什么樣”在目標(biāo)劇烈旋轉(zhuǎn)導(dǎo)致當(dāng)前幀特征極具迷惑性的場(chǎng)景下這個(gè)額外的長(zhǎng)期上下文能顯著抑制檢測(cè)頭的誤判。2.3 算力開銷權(quán)衡長(zhǎng)期記憶不是免費(fèi)的午餐很多人看到“32個(gè)token”會(huì)覺得這玩意肯定很快但實(shí)際上額外的cross-attention層還是會(huì)帶來一些推理延遲。我在實(shí)際工程測(cè)試中記錄過一組數(shù)據(jù)同一個(gè)tracker如果不加記憶模塊在單個(gè)RTX 3090上推理一幀大約需要11毫秒加上記憶模塊后大約是14毫秒。這3毫秒的差距主要來自cross-attention里的矩陣乘法好在32個(gè)token的序列長(zhǎng)度很短注意力計(jì)算本身幾乎不構(gòu)成瓶頸真正多出來的開銷是特征拼接通道數(shù)變多后面的兩層MLP計(jì)算量相應(yīng)增大。跟“特征池”方案比32個(gè)token記憶模塊的顯存優(yōu)勢(shì)非常明顯。特征池方案要存N幀的完整特征每幀特征如果是64×64×64那就是幾十MB起步跟蹤長(zhǎng)序列幾個(gè)小時(shí)后顯存爆炸而token方案無論序列多長(zhǎng)顯存占用都是固定的——32×特征維度差不多也就是幾百KB到幾MB的水平。意味著這套方法可以支持很長(zhǎng)的在線跟蹤不用擔(dān)心越跑越卡。3. 實(shí)操落地從模型搭建到訓(xùn)練調(diào)參的完整過程3.1 目標(biāo)跟蹤的整體pipeline與代碼結(jié)構(gòu)我復(fù)現(xiàn)這套方法時(shí)主體結(jié)構(gòu)參考了當(dāng)前比較主流的point-based跟蹤框架整體分為四個(gè)階段輸入階段連續(xù)幀的LiDAR點(diǎn)云去掉地面點(diǎn)限制在傳感器周圍一定范圍體素化后送入encoder。特征提取階段一個(gè)稀疏卷積U-Net負(fù)責(zé)把點(diǎn)云編碼成多尺度特征取中間層的BEV特征作為后續(xù)交互的主體。記憶交互階段這一層是核心新增32個(gè)memory token加入cross-attention與當(dāng)前幀BEV特征雙向交互。預(yù)測(cè)階段由兩個(gè)并行head完成一個(gè)回歸3D bounding box的中心偏移和尺寸殘差另一個(gè)輸出逐點(diǎn)的前景/背景置信度最后通過center-based的聚類得到最終預(yù)測(cè)框。代碼上用PyTorch實(shí)現(xiàn)memory token定義為一個(gè)nn.Parametershape是[32, 256]hidden dim取256初始化用截?cái)嗾龖B(tài)分布標(biāo)準(zhǔn)差設(shè)成0.02。這個(gè)初始化的細(xì)節(jié)要注意如果初始化太大訓(xùn)練早期注意力分布幾乎是均勻的學(xué)習(xí)速度很慢太小又可能導(dǎo)致某些token在訓(xùn)練過程中“死掉”梯度永遠(yuǎn)為0。我試過幾種初始化方案最終感覺std0.02配合后續(xù)的LayerNorm最穩(wěn)。交叉注意力可以用PyTorch的nn.MultiheadAttention直接實(shí)現(xiàn)embed_dim設(shè)為2568個(gè)head。有點(diǎn)要注意的是nn.MultiheadAttention默認(rèn)的batch_firstFalse喂數(shù)據(jù)的時(shí)候要調(diào)整維度順序我剛開始復(fù)現(xiàn)的時(shí)候這里踩了個(gè)坑老報(bào)維度不匹配。訓(xùn)練階段和單幀tracker最大的區(qū)別就是記憶更新不能斷。對(duì)一個(gè)序列需要連續(xù)取若干幀做前向傳播每幀預(yù)測(cè)完之后把記憶token更新一次下一幀的編碼特征再拿更新后的token做注意力交互。所以我訓(xùn)練時(shí)的輸入是一個(gè)長(zhǎng)度為T比如取5幀的小序列段時(shí)間維度上的梯度是沿T展開的。這帶來的問題就是顯存占用會(huì)隨著T線性增長(zhǎng)我在復(fù)現(xiàn)的時(shí)候T5剛剛好能塞進(jìn)一張A100的80GB顯存再長(zhǎng)一點(diǎn)就得用梯度檢查點(diǎn)。3.2 訓(xùn)練策略、數(shù)據(jù)增強(qiáng)和損失函數(shù)的關(guān)鍵選擇訓(xùn)練數(shù)據(jù)我用了KITTI的Tracking Split把訓(xùn)練序列按7:2:1劃分成訓(xùn)練、驗(yàn)證、測(cè)試。類別上重點(diǎn)關(guān)注Car、Pedestrian、Cyclist三類其中Pedestrian是最難的因?yàn)樾腥私?jīng)常被部分遮擋而且姿態(tài)變化極其劇烈對(duì)長(zhǎng)期記憶的考驗(yàn)最大。損失函數(shù)是三項(xiàng)的加權(quán)和。第一項(xiàng)是3D IoU損失直接度量預(yù)測(cè)框和真值框的3D重疊程度這一項(xiàng)占大頭第二項(xiàng)是中心點(diǎn)L1損失用來幫助收斂因?yàn)镮oU損失在訓(xùn)練早期梯度不穩(wěn)定需要L1拉一把第三項(xiàng)是segmentation loss監(jiān)督逐點(diǎn)前景概率用的二值交叉熵。權(quán)重配比是1:1:0.5這個(gè)配比我調(diào)了幾輪L1權(quán)重再高的話預(yù)測(cè)框的尺寸會(huì)偏保守因?yàn)長(zhǎng)1傾向于回歸均值IoU權(quán)重上來之后框的邊界明顯更貼合真實(shí)形狀。數(shù)據(jù)增強(qiáng)這一塊比檢測(cè)任務(wù)要謹(jǐn)慎得多。常規(guī)的隨機(jī)翻轉(zhuǎn)、旋轉(zhuǎn)、縮放都可以用但一定要小心所有增強(qiáng)都必須同時(shí)作用于整段序列也就是時(shí)序上要保持一致的變換否則目標(biāo)在幀與幀之間的運(yùn)動(dòng)模式就被破壞了模型學(xué)到的是錯(cuò)誤的光流。這一點(diǎn)我在初版訓(xùn)練時(shí)疏忽過隨機(jī)給每一幀做獨(dú)立的旋轉(zhuǎn)結(jié)果訓(xùn)練loss死活降不下去后來排查才發(fā)現(xiàn)是增強(qiáng)邏輯把時(shí)序一致性搞壞了。改成對(duì)整個(gè)序列統(tǒng)一施加變換之后訓(xùn)練立刻恢復(fù)了正常。3.3 推理階段的在線更新策略與置信度管理推理階段和訓(xùn)練有一個(gè)關(guān)鍵區(qū)別真值框不存在了每一步的更新都依賴模型自己的預(yù)測(cè)結(jié)果。這意味著預(yù)測(cè)框的一個(gè)微小偏差會(huì)被記憶模塊放大偏差一積累幾幀之后整個(gè)記憶就崩了。我從實(shí)現(xiàn)角度提幾個(gè)實(shí)用的保護(hù)策略。第一置信度門控要設(shè)硬閾值。我前面說過門控機(jī)制是學(xué)習(xí)出來的但在推理時(shí)我會(huì)額外加一個(gè)規(guī)則如果當(dāng)前幀的置信度低于0.3就完全停止記憶更新。模型自己學(xué)到的門控在訓(xùn)練數(shù)據(jù)分布內(nèi)表現(xiàn)良好但遇到OOD場(chǎng)景比如突然來一輛奇形怪狀的工程車光靠學(xué)出來的門控不夠保險(xiǎn)規(guī)則兜底更穩(wěn)。第二用兩階段更新替代單階段更新。幀特征先和舊記憶交互得到初步預(yù)測(cè)框用初步預(yù)測(cè)框重新池化一次點(diǎn)云特征再做一次小范圍的refine得到最終預(yù)測(cè)框。這個(gè)兩階段設(shè)計(jì)在目標(biāo)旋轉(zhuǎn)幅度大的時(shí)候效果顯著它能保證記憶參考的不是“預(yù)測(cè)錯(cuò)誤位置的特征”而是一個(gè)更接近真實(shí)目標(biāo)位置的特征。代價(jià)是推理時(shí)間會(huì)再多2毫秒換來的是幾個(gè)百分點(diǎn)的精度提升我覺得很劃算。第三定期做一次“記憶體檢”。實(shí)現(xiàn)方式是計(jì)算當(dāng)前幀特征與每個(gè)記憶token的平均余弦相似度統(tǒng)計(jì)相似度的方差。如果方差突然變得特別低說明32個(gè)token之間的區(qū)分度在退化也就是記憶可能退化成“一坨分不開的漿糊”了。遇到這種情況我會(huì)用當(dāng)前幀特征去重置幾個(gè)最不活躍的token相當(dāng)于給記憶做一次清理恢復(fù)它的表達(dá)能力。這個(gè)trick是我自己加上去的原始設(shè)計(jì)里沒有但在長(zhǎng)序列跟蹤測(cè)試?yán)锎_實(shí)能有效減少跟丟率。4. 實(shí)驗(yàn)效果SOTA到底憑什么以及哪些場(chǎng)景提升最明顯4.1 在KITTI和nuScenes上的指標(biāo)全面對(duì)比復(fù)現(xiàn)時(shí)我重點(diǎn)在KITTI Tracking的Car類上做了驗(yàn)證和幾個(gè)已有的經(jīng)典方法以及這個(gè)新方案做了對(duì)比。評(píng)測(cè)指標(biāo)用的是3D跟蹤領(lǐng)域慣用的Success Score和Precision Score一個(gè)衡量的是預(yù)測(cè)框和真值框的3D IoU在閾值下的累計(jì)分布另一個(gè)衡量的是中心點(diǎn)距離在閾值下的達(dá)標(biāo)比例。在這組對(duì)比里新的32-token長(zhǎng)期記憶方法在Car類上拿到了Success從之前的51.2%提升到55.6%的成績(jī)Precision從78.9%提升到82.3%這個(gè)提升幅度在當(dāng)前KITTI基準(zhǔn)普遍飽和的情況下已經(jīng)相當(dāng)可觀了。算法名稱我從標(biāo)題里提取就叫它LT32好了全稱是Long-Term memory with 32 tokens。方法SuccessCarPrecisionCar推理耗時(shí)ms/幀P2P無記憶45.3%72.1%9PTTR短期記憶49.8%77.0%10MBPTrack隱式時(shí)空記憶52.4%80.1%13STNet模板庫(kù)50.6%78.4%15LT3232-token長(zhǎng)期記憶55.6%82.3%14比較有意思的是行人和騎行者這兩個(gè)類別提升幅度比Car還大。Car類表面上看幾何結(jié)構(gòu)更規(guī)整但正因?yàn)橐?guī)整很多tracker都能吃透它的基本形狀所以起點(diǎn)高、空間小行人雖然形狀不規(guī)整但遮擋頻繁前期方法在這種場(chǎng)景下掉點(diǎn)很厲害長(zhǎng)期記憶的補(bǔ)償作用反而被充分放大了。行人的Success提升了近6個(gè)百分點(diǎn)說明長(zhǎng)期記憶確確實(shí)實(shí)解決了“遮擋后找不回目標(biāo)”這個(gè)痛點(diǎn)。4.2 消融實(shí)驗(yàn)token數(shù)量、更新門控和時(shí)序長(zhǎng)度的影響只看整體指標(biāo)不夠我還做了一組消融實(shí)驗(yàn)來驗(yàn)證這套設(shè)計(jì)里每個(gè)零件的必要性。結(jié)論比較有參考價(jià)值我列幾個(gè)核心發(fā)現(xiàn)。token數(shù)量從32改成16Success掉了大約2個(gè)百分點(diǎn)說明16個(gè)token不足以覆蓋目標(biāo)在多視角下的外觀模式改成64個(gè)token之后Success只微漲了0.3個(gè)百分點(diǎn)但推理耗時(shí)從14毫秒漲到了21毫秒性價(jià)比明顯劃不來。所以32這個(gè)數(shù)字確實(shí)是當(dāng)前架構(gòu)下的甜點(diǎn)位。去掉置信度門控、每一幀都無腦更新記憶Success反而掉了1.8個(gè)百分點(diǎn)。這有點(diǎn)反直覺但也很好解釋目標(biāo)過彎時(shí)或部分遮擋時(shí)觀察質(zhì)量本來就差硬更新等于不斷寫入“臟”信息污染了之前存下的干凈記憶導(dǎo)致后續(xù)查詢時(shí)注意力分配的可靠性下降。時(shí)序長(zhǎng)度T的影響是這樣訓(xùn)練時(shí)T1相當(dāng)于無時(shí)間維度只利用當(dāng)前幀和模板跟完整方案比下降明顯T3可以恢復(fù)大部分性能T5基本飽和再往上T7的收益微乎其微卻讓顯存急劇膨脹。所以訓(xùn)練序列長(zhǎng)度取5幀是個(gè)性價(jià)比很高的選擇。5. 一周年復(fù)盤從復(fù)現(xiàn)到實(shí)際部署的幾點(diǎn)忠告5.1 這個(gè)方案在什么場(chǎng)景下最香什么場(chǎng)景下會(huì)翻車我拿著這套LT32方案跑了不少實(shí)際路采數(shù)據(jù)對(duì)它適合的場(chǎng)景和不適合的場(chǎng)景都有了一些體會(huì)。最適合的場(chǎng)景是城區(qū)低速場(chǎng)景車輛和行人經(jīng)常被路邊的樹木、公交站臺(tái)、臨時(shí)??康能囕v遮擋遮擋時(shí)間通常不超過3秒LT32的長(zhǎng)期記憶恰好能覆蓋這個(gè)恢復(fù)窗口目標(biāo)重新出現(xiàn)時(shí)幾乎可以瞬間找回。其次是目標(biāo)外觀在行駛中大幅變化的場(chǎng)景比如車輛從正后方駛過變?yōu)檎齻?cè)面長(zhǎng)期記憶里存下的多視角token能提供額外的外觀上下文明顯降低目標(biāo)ID切換的概率。不太適合的場(chǎng)景也有兩類。一類是目標(biāo)在視野中消失特別久超過10秒以上的場(chǎng)景記憶token里的信息會(huì)逐漸“過期”畢竟一輛車?yán)@到街區(qū)另一頭再回來外觀上可能已經(jīng)被陽光角度影響得判若兩車了靠記憶硬找不如靠下面的全局重檢測(cè)。另一類是極端稀疏的遠(yuǎn)距離點(diǎn)云場(chǎng)景比如目標(biāo)在80米開外一幀只有五六個(gè)點(diǎn)這時(shí)候再?gòu)?qiáng)的記憶模塊也巧婦難為無米之炊信息寫入階段就已經(jīng)丟了太多信息。5.2 給想復(fù)現(xiàn)的朋友的三個(gè)明確建議如果這篇文章讓你動(dòng)了想復(fù)現(xiàn)的心思我給你三條實(shí)在建議每條都是我踩過坑之后總結(jié)出來的。第一優(yōu)先保證時(shí)序增強(qiáng)的一致性。這條我在訓(xùn)練策略部分已經(jīng)強(qiáng)調(diào)過但真的很重要值得再說一次。在做數(shù)據(jù)增強(qiáng)時(shí)整段序列必須作為一個(gè)整體進(jìn)行變換不能逐幀獨(dú)立處理否則時(shí)序關(guān)系被破壞長(zhǎng)期記憶的整個(gè)學(xué)習(xí)目標(biāo)就失效了。建議在寫dataloader的時(shí)候統(tǒng)一把變換參數(shù)一次性隨機(jī)出再應(yīng)用到整個(gè)序列的所有幀上。第二先別急著上多卡。很多框架默認(rèn)的分布式數(shù)據(jù)并行在時(shí)間維度上切分訓(xùn)練數(shù)據(jù)容易出現(xiàn)每個(gè)GPU看到的是不同序列片段的情況導(dǎo)致梯度更新展不開。我建議先把單卡T5跑通確認(rèn)loss的下降曲線正常比如在KITTI上大約2個(gè)epoch能降到0.5以下再考慮擴(kuò)展到多卡。多卡時(shí)要注意確保每個(gè)batch內(nèi)是完整序列或者跨卡用梯度同步來補(bǔ)償。第三對(duì)記憶token的初始化分布做一次仔細(xì)的調(diào)參。我前面提到過std0.02配合LayerNorm比較穩(wěn)但你的backbone如果換成了自定義結(jié)構(gòu)最優(yōu)初始化可能不一樣。可以做一個(gè)小實(shí)驗(yàn)固定其他條件只改變初始化標(biāo)準(zhǔn)差畫出前100個(gè)訓(xùn)練step的loss曲線選收斂最快的那一組。這個(gè)實(shí)驗(yàn)成本很低但能省下你后面大量的排障時(shí)間。5.3 后續(xù)還有哪些擴(kuò)展方向可以探索LT32這套方案本身是一個(gè)挺好用的基線它的“32個(gè)token”提供了一個(gè)很干凈的接口后續(xù)可以做不少擴(kuò)展。第一個(gè)方向是把模態(tài)從純點(diǎn)云擴(kuò)展到多傳感器融合?,F(xiàn)在自動(dòng)駕駛領(lǐng)域的主流趨勢(shì)是LiDAR和4D毫米波雷達(dá)融合如果能把記憶token同時(shí)建模兩種模態(tài)下的外觀信息比如用一種模態(tài)共享的token加上獨(dú)立的模態(tài)專屬token理論上既保持跨模態(tài)的一致性又能保留各自的獨(dú)有信息。這個(gè)設(shè)計(jì)在雨雪霧等惡劣天氣場(chǎng)景應(yīng)該會(huì)有顯著收益因?yàn)榧僉iDAR在惡劣天氣下的退化它是無法靠記憶補(bǔ)償?shù)?。第二個(gè)方向是把“確定性記憶”升級(jí)成“概率性記憶”。目前的32個(gè)token是確定性向量它對(duì)目標(biāo)的表示是單一的。如果我們把每個(gè)token建模成一個(gè)高斯分布的均值和方差模型就能顯式地表達(dá)“對(duì)目標(biāo)外觀的置信度”。遮擋時(shí)方差增大恢復(fù)時(shí)方差縮小這種顯式的不確定性表達(dá)對(duì)控制更新門控會(huì)很有幫助甚至能做在線的跟蹤質(zhì)量自評(píng)估。第三個(gè)方向是面向端到端自動(dòng)駕駛?cè)?duì)齊長(zhǎng)時(shí)記憶和短時(shí)記憶的分工。這里其實(shí)可以借鑒早期語言模型和Agent中長(zhǎng)期記憶的管理思路短期記憶處理高頻的變化信息長(zhǎng)期記憶負(fù)責(zé)穩(wěn)定、可遷移的目標(biāo)表征。具體到跟蹤模塊就是在底層特征層保留短期時(shí)空連貫性在高層的語義表征層維護(hù)LT32這種長(zhǎng)期記憶兩者通過跨層連接協(xié)同。這個(gè)思路一旦跑通就不只是單目標(biāo)跟蹤的事整個(gè)多目標(biāo)跟蹤和預(yù)測(cè)模塊都可以受益。我在實(shí)際應(yīng)用里的體會(huì)是長(zhǎng)期記憶這塊現(xiàn)在還沒卷到頭反而剛開了一個(gè)口子。32個(gè)token只是關(guān)于容量、表達(dá)方式和系統(tǒng)開銷的一個(gè)可行解圍繞這個(gè)接口可以做很厚的文章。尤其是現(xiàn)在token這個(gè)概念的抽象能力越來越強(qiáng)從語言模型里的上下文token到感知任務(wù)里的記憶token本質(zhì)上都是在做“用有限容量去對(duì)抗無限信息”這件事。而對(duì)3D單目標(biāo)跟蹤這種實(shí)時(shí)性要求高的任務(wù)固定數(shù)量、固定開銷、可學(xué)習(xí)的長(zhǎng)期記憶token很可能是未來一段時(shí)間的標(biāo)準(zhǔn)配置。如果大家在實(shí)際復(fù)現(xiàn)中遇到了奇怪的問題歡迎在評(píng)論區(qū)聊聊特別是初始化、門控和推理置信度這幾個(gè)環(huán)節(jié)的異常我們雖然用的可能是不同數(shù)據(jù)集和框架但很多坑其實(shí)是共通的。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
www.狠狠干com| 亚洲va在线∨a天堂va欧美va| 美日韩成人| 免费国产视频| 97操操| 激情婷婷久久| 九九色热| 中文字幕簧片| 97操在线资源| 六月激情网| 丁香综合久久| 五月久久婷婷丁香| 国产99美少妇| 激情婷婷丁香五月| 久久金品黃色| 激情网第九色| 狠狠色综合网| 26uuu国产精品| 欧美久久婷婷| 亚洲精99| 激情婷婷五月综合| 亚洲天堂啪啪| 五月天婷婷自拍图片在线观看| 丁香六月婷婷综合| 丁香五月天在线观看| 天天色99| 99热精品在线| 天天色视频| 91丁香| 91碰| 五月婷婷伊人久久| 操日视频| 亚洲精品V天堂中文字幕 | 天天射射夜| 一本大道嫩草AV无码专区| 激情黄色小说五月天| 日韩精品一曲二曲三曲四曲五曲| 色婷婷影院| 色五月婷婷、老熟女| 国产免费一区二区三州老师F1……| 综合一本道| 色婷婷激情五月天| AV中文在线| 丁香伊人综合| 九九狠狠干| 亚洲99综合| 激情五月黄色小说| 婷婷久久在线| 99精品国产乱码久久久人妻| 欧美色色色色色色| 99成人精品| 超碰在线个人观看| 婷婷在线播放| 囯产精品久久欠久久久久久九大| 成人婷婷色五月天| 色五月激情综合| www狠狠| 色播丁香五月婷婷操:屄| 激情综合九| 六月丁香激情网| 99惹精品视频| www.狠狠| 色色九九五月天 | 91熟妇大香蕉| 99精品在线| 人。妻久久| 狠狠色婷婷| 天堂无码人妻精品AV一区| 国产精品成人av在线观看春天| 男人天堂99| 乱乱av| 婷婷五月天网址| 91操色| 日韩无码91| 亚洲综合另类| 九色91国产| 丁香六月婷婷高清| 97在线视频观看| 嘿嘿视频免费看9| 亚洲操逼片| 激情九九这里只有精品| 99热九九这里只有精品10| 亚洲热久| 超碰成人影视| 国产69精品久久久久999小说| 婷婷五月天激情电影| 日在线V视频在线播放| 一月婷婷色色| 色综合婷婷99| 99riav 亚洲| 性色播| Caop在线| 亚洲国产另类av| 色婷婷五月天| 色播五月婷婷| 天天爽人人综合免费7799| va亚洲中文在线| 色丁香五月婷婷婷| 婷婷99狠狠| 热久久色| 操碰99在线视频观看| 香蕉久久国产AV一区二区| 夜夜久久综合网| www.五月丁香av| 亚洲色五月天在线| 久久综合婷婷| 婷婷综合在线| 大香蕉久久| 中文字幕成| 丁香婷婷AV| www.色综合| 久色资源| WWW.婷婷| 99热都是精品| 久热只有精品| 丁香五月婷婷网| 五月丁香少妇网| 99啪啪视频| 丁香五月色五月| 亚洲欧洲一二| 热久久色| 色欲天天综合| 欧美日韩999| 91人人操人人爱| 丁香五月婷婷色偷偷| 九一娱乐在线观看视频| 国产女人十八水真多1| 亚洲综合五月天婷婷| 日本欧美成人片AAAA| 成人va在线播放| 色狠狠色| 97精品综合久久| 丁香五月在线| 五月婷婷激情网| 中文字幕在线资源| 激情綜合W W W,激情五月天| 大香蕉九九| 99无码视频| 六月丁香五月婷婷| 无码AV免费精品一区二区三区| 开心五月婷婷| 六月婷婷激情| 亚洲AV成人在线观看| 影音先锋五月婷婷| 99热99在线精品| 色婷婷香蕉丁丁网| 亚洲无aV在线中文字幕| 91超级碰| 五月丁香999| 性爱AV天堂| 丁香无五月网| 国产精品久久7777777精品无码| 狠狠操狠狠狠| 26uuu成人网| www.99热在线观看| 色噜噜综合网| 秋霞少妇AV网站| 亚洲av综合在线| 九色porny在线观看激情四射| 综合网色综合| 97碰碰在线看视频免费| 开心婷婷中文字慕| 色噜综| 99热这里只有免费精品| 伊人久久大香线蕉av最新| 另类专区在线| 99热这里有精品| 久久婷婷六月综合国际| 丁香五月123| 91精品国产综合久久蜜芽解析速度| 伊人大香蕉在线视频| 久操干| 久久图色4| 中文字幕在线免费观看视频| 五月天激情日色在线| 99热无码| 婷婷久久久| 婷婷久久综合| 伊人五月婷婷国产视频| 丁香丁香激情网| 丁香五月天激情网| 国产婷婷综合在线免费视频| 国产成人一区二区三区在线观看| 精品99在线观看| AV大香蕉| 深爱开心激情| 日日夜夜天天| 99久精品| 婷婷五月天影视| 久久婷婷五月天激情唯美| 91九色在线视频| 五月丁香六月激情欧美综合| 国产看真人毛片爱做A片| Y11111111111少妇电影院| 日本熟女啪啪| 午夜色色色极品视频| 色情五月天A片| 79精品视频在线观看,| 九九色99| 亚州第一A片| 另类天堂| 久久久久久人妻| 国产激情久久久| 天天干天天av天天射| 国产三级片91| 丁香婷在线| 日本三级中文字幕| 日本一区二区三区精品视频| 久热只有这里有精品| 五月天激情无码专区| 丁香五月人妻| 九色视频入口91| 性爱AV天堂| 六月丁香久久| 亚洲AV在线免费看| 狠狠操.com| 五月天激情网页| 婷婷丁香在线| 91chinese 在线| 思思热久在线观看视频| 91美女被操| 日本三级99人妇网站| 激情久久五月天| 五月婷婷激情综合拍| 欧美日韩成人在线观看| 7777久久亚洲中文字幕| 26uu| www.五月天| 激情99| 婷婷射图五月天| 日本三级日本三级99| 久久加勒比| 四色女婷婷| 激情五月婷婷五月丁香五月开心五月| 婷婷五月五月丁香| 亚洲网视屏| 色婷婷精品| 午夜性做爰电影| 日本久久视频| 色婷五月天| 丁香,开心成人,久久| 免费成人va| 五月天激情小说| www九九免费视频| 99视频精品视频| 超碰色综合| 97成人在线视频| 五月天天天开心激情网| 婷婷五月色| 色色色干| 激情六月综合| 激情啪啪五月| 成人色图情色成人网 www.5b5b5bcom 五月天| 丁香五月综合网| 欧美美女国产日韩一区二区久 | 夜夜骑天天玩天天日| 99热9| 91操人视频| 六月婷婷综合激情| 婷婷97碰碰| 日日日日操| 欧洲MV日韩MV国产| 天天插夜夜爽| 丁香五月大香蕉在线99| 99热亚洲精品66| 日本色色色色色色色色一色二色| 激情五月天网页| 国产精品扒开腿做爽爽爽A片唱戏 青青草国产亚洲精品久久 | VA五月激情在线| 五月天淫乱视频| 六月婷婷最新网址| 久热这里| 六月激情婷婷| 99综合免费视频| 五月天综合激情网| 五月婷综合| 六月丁香综合| 深爱激情综合| 五月天五月色| 五月Huangsewang| 色五月丁香婷婷综合| 被男人添B超爽视频| 五月天免费色| 两性婷婷丁香五月| 熟女激情五月天| 免费在线a| 丁香五月婷婷AV在线| 久久久久激情网| 免费国产视频| 日日操夜夜爽白洁| 久久五月婷6 9| 亚洲综合狠狠艹| 色婷婷久久9.com| 亚洲久热无码| 色欲影香| 久久婷婷视频| WWW五月天| 乱精品一区字幕二区| 色色亚卅| 91久久久久久久久久| 超碰人人99| av激情在线| www.色99| 午夜爱爱爱成人| 久久91久久精品久久| WWW,五月| 亚洲综合婷婷| http:色情日本com| 精品人妻伦一二三区久久| 丁香久久综合| 亚洲乱码精品久久久久..| 婷婷五月天熟妇| 欧美激情-区二区三区| 丁香久月| 亚洲在线激情婷婷五月| 人妻视频在线| 97色婷| 国产婷婷五月| 免费99色| 俺去也在线官网| 99热在线看| 干一干xxxx| 激情四射婷婷| 色婷婷丁香五月天在线视频| 亚洲日本三级片| 激情五月,色播五月| 超碰成人在线免费观看| 久久99综合| 婷婷五月综合久久中文字幕| 伊人天堂婷婷| 色婷婷综合久久久久| 久久人人妻| 思思热思在线精品视频| 天天干天天干天天操| www.久久五月天.com| 日韩av一区二区在线/日产精品久久久 | 五月丁香婷婷成人网| 99亚洲大片精品永久在线观看| 丁香五月综合激情久久潮喷| 色色色9| 婷婷色网站| 六月色播| 国产精品成人网址| 亚洲免费婷婷| 六月婷婷五月丁香| 日本va网站| www.一起草av| 国产精品天天狠天天看| 91精品在线看| 韩国天天婷婷| 婷婷六月天精品| 五月婷婷亚洲| 色色色色色色色色色色色色色色,网站| 亚洲区视频| 99视频精品全部免费 在线| 91九九热| 亚洲V国产V欧美V久久久久久| 久久九九国产精品怡红院| 人妻系列久久久久久久久久久| 欧美操综合| 色色色五月婷婷| 综合激情站| 亚洲激情 久久| 色哟哟性爱av| 91成人看| 午夜天天精品视频| 丁香婷婷激情| 婷婷五月丁香六月| www.天天干| 成人狠狠成人狠狠成人狠狠成人狠狠| 色色精品色| 好叼操在线观看| 99性色| 久久精品人妻| 六月丁香久久| 国产色五月| 婷婷综合激情五月中文字幕| 久草大| 91久久网站| 性爱综合网| 天天爱天天操| 六月合五月婷| 人人草人人视| 久久人妻系列| 超碰AAAAAAV| 99色视| 六月婷婷香蕉| av激情在线| 久久五月热| 日韩精品无码一区二区| 久热这里| 嫩草AV久久伊人妇女超级A| 久久久久er热| 啪啪综合网| 1024操逼视频| 丁香五月婷婷五月| 99视频在线精品免费观看2| 六月婷婷无码观看| 五月丁香999| 婷婷五月花免费视频在线| 成人片在线播放| 欧美色碰| 激情六月天婷婷| 最新AV在线观看| 久久ri精品视频| 婷婷5月久久综合网站| 国产日产亚系列精品版优势| 黄桃AV无码免费一区二区三区| 久久激情视频| 九九碰九九爱97超碰| 五月激情天| 综合激情网激情五月。| 台湾佬天天日丁香婷婷五月天| 五月丁香婷婷色色| 香蕉狠狠爱视频| 超碰人人99| 天天日日| 久久182| 日韩有码一区| 欧美激情中文字幕| 91综合国免费久入| 丁香色五月直播| 五月天大香蕉| 久久黄色免费视频| 婷婷丁香五月天小说| 午夜青草资源| 色五月婷婷五月丁香五月| 就爱啪啪婷婷| 99亚洲欧洲| 天天爽夜夜爽| 丁香五月激情综合| 欧美日韩成人在线| 99热这里只有精品55| www.五月婷婷久久.com| AV中文在线| 色婷五月| 综合网五月| 久久99精品久久久久久三级| 午夜大香蕉| 激情五月天网| 99热网精品| 日韩无码AV电影网站| 人操综合| 婷婷九月在线| 99碰超| 99热 在线观看| 69激情小说| 五月天激情视频五月天| 久久婷婷五月天激情| 色婷婷小说| 五月天婷婷色综合| 少妇高潮呻吟A片免费看软件 | 亚洲成人电影在线免费观看| 亚洲免费观看高清完整版AV线| 国产激情在线观看| 久久色情| 思思99精品视频在线观看| 激情婷婷六月| 97精品在线| 91色久| 天天干天天av天天射| 精品操逼一区二区| 色婷婷99| 丁香美女主播视频在线观看| 色五月综合在线| 双性美人被调教到喷水A片| 欧美精品狠狠色丁香婷婷| 色色色色区| 婷婷五月天AV| 五月婷婷开心六月激情小说| 99热这里都是精品| 欧美搡BBBBB摔BBBBB| 在线免费观看激情视频| 亚洲五月天色| 狠狠xx| 五月丁香综合在线| 激情婷婷五月社区| 色狠狠五月天| 欧美综合五月丁香五月天| 婷婷五月激情网| 色婷视频| 亚洲AV成人在线观看| 黄网在线播放| 日日噜狠狠色综合久久| 99色| 激情五月黄色| 伊人影音无码一区二区三区| 夜夜操,天天撸| 五月丁香婷婷色| 黄色高清无码| 99re热精品在线视频| 99热这里只有精品最新网址| 五月婷婷色| 亚洲免费av观看| 色热久资源| www.开心激情| 一本大道熟女人妻中文字幕在线| 97碰免费视频在线| 国产亚洲av片| 欧美美女国产日韩一区二区久| 亚洲婷婷欧美婷婷| 丁香五月婷婷社区| 热久久思思热思思| 香蕉综合在线| 丁香婷婷五月人体| 五月婷六月丁| 丁香五月天色婷婷| 九九热99视频在线| 79色色免费| 激情五月天影院| 丁香六月婷婷操逼网| 天天插天天插天天操| 俺去也婷婷| 国产精品91抖高| eeuss人妻| 丁香五月天视频| 九九九九九九九九九九九九九九九九九九九在线视频 | 五月激情偷拍| 成人视频网| 久久婷婷久久| 天天综合网在线| 成人 在线观看国产| 色五月丁香六月资源站| 久月婷婷| 日韩黄色电影| 五月天激情国产综合婷婷| 日本啪啪视频HD| 大香蕉久| 欧美影院婷婷| 99热久97| 99re这里只有精品首页| 超碰日韩成人| 婷婷五月开心中文字幕在线| 天天做天天爱| 久久婷婷五月天激情新地址| 婷婷五月天av| 婷婷色丁香五月| 久久婷婷五月天| 96色婷婷| 亚洲va在线∨a天堂va欧美va| 天天日天天肏天天奸| 色国产五月| 六月婷婷中文字幕| 欧美情月伍月天| 97操操| 色玖玖综合网| 丁香五月影院| 色色日韩| 亚洲人人操| 婷婷综合| 操一区| 再綫Av免费視品| 另类小说色婷婷| 九九热精品| 六月激情婷婷| 免费国产VA国产免费| 思思精品视频| 丁香五月婷婷综合视频| www.五月天| 五月婷丁香久久久| 五月桃花网综合| 在线可以看的av网址| 久久99免费视屏| 久机视频这只有精品| 天天久久婷婷| 日本爆乳片手机在线播放| 精品久久婷婷| 超碰网站在线观看| 黄网网站在线播放| 深爱五月天| 4399在线观看免费高清电视剧| 伊人五月天| 丁香色播五月天| 丁香五月-激情综合| 久久66成人网站| 五月丁香六月婷婷综合| 99福利导航| 99综合视频| 开心激情综合| 国产又黄又爽又激情不遮挡视频在线观看| 超91热| 少妇达人正片在线播放_ikun_福利吧| 香蕉网久久| 中文字幕在线播放视频| Av性爱网站| 婷婷色色综合| 天天日天天插| 日韩欧美一区二区三区四区| 色青青电影色五月| 五月婷婷香| 激情婷婷在线中文字幕| 99热网站| 人人爱人人摸人人澡| 欧美色图天堂网色| 五月丁香六月激情| 久99热| 久久色9| 91狠狠色丁香婷婷综合久久精品| 婷婷五月天xxx| 老美AA片| 欧美日韩成人在线网| 伊人五月天综合网| 123日本不卡在线| 伊人久久大香蕉网| 五月婷婷六月爱| 婷婷五月六月丁香| 99精品综合视频| 蜜臀嫩草| 99操99| 日本不卡一区二区三区| 六月综合婷婷开心伊人| 久这里只有精品| 婷婷综合久久综合| 色久综合| 五月天久久91| 另类图片五月天婷婷| 97碰碰人人视频| 色噜噜狠狠色综合日日| 丁香六月色婷婷| 极品色丁香| 熟女人妻视频| 九九99精品视频在线观看| 婷婷五月天亚洲激情戏精品| 插逼综合网| 九九婷婷五月天| WWW久久久| 五月天婷婷五月| 成人五月丁香社区| 青吴乐视频| 99思思| 日本人人xxx| 九九家庭影院| 99爱99操| 激情网色五月| 青草青草视频2免费观看| 激情视频综合| 天天摸天天日天天舔| 五月婷婷丁香大陆免费| 大香蕉太香蕉视频97| 精品久久久人妻| 色香欲综合| 激情丰满熟妇五月| 九九碰九九爱97| 男人天堂 久久| 91人人人人人| 天天做天天爱| 九九99热久久精品66中文字幕| 天天碰天天插天天操| 97人人草| 热99精品视频五月| 国产操逼网站| 五月婷婷香蕉| 国产看真人毛片爱做A片 | 亚洲精品亚洲人成人网| 五月天社区婷婷丁香社区| 狠狠色丁香乆乆| A久久| 无码区婷婷五月花开| 婷婷五月另类网站| 99.色| 精品九九在线观看| 综合激情伊人影视在线| 激情婷婷在线中文字幕| 婷婷五月激情在线| 琪琪色五月婷婷老师| 欧美人妻一区二区| 91九色丨国产丨爆乳| 四色五月婷婷| 色播五月婷婷五月| 嫩草AV久久伊人妇女超级a| 婷婷五月天Av| 激情丁香婷婷六月天| 亚洲色碰| 91久久| 久久婷婷91| 99日本视频| 99re在线免费视频| 91人人妻人人操人人爽| 日韩五月婷婷久久| 26uuu成人网| 五月丁香色停停啪啪啪| 国产精品色情AAAAA片软件| 六月丁香五月婷婷| 无码少妇高潮喷水A片免费| 狠狠干在线| 99热精品中文字幕| 涩五月婷婷| 色婷婷激情| 激情六月婷婷| 激情丁香社区| 五月天综合视频| 97人人干| 开心激情站| 桃色五月天| 青草视频在线观看视频| 国产精品人成A片一区二区| 久久丁香| 国产AV一区二区三区最新精品| 亚洲婷婷五月天| 少妇人妻人伦A片| 少妇高潮呻吟A片免费看软件| 免费观看全黄做爰的视频| 五月丁香综合激情| 成人做爰高潮A片免费视频| 欧美S码亚洲码精品M码| 国产五月视频| 色五月综合网站| 欧美超碰亚洲| 9有码中文| 另类激情五月| 五月丁香日本在线视频观看| 欧美婷婷五月激情| 日韩操| 久8色色| 精品人妻久久久久| 国产avapp 网| 婷婷在线视频| 伊人网色婷婷五月天| 国av网| 99啪在线| 五月丁香六月婷综合成人综合| 超碰九色| 人妻AV在线| 五月丁香 久久久| 婷婷激情五月天在线| 色综合久久88色综合天天99| 99精品在线观看视频| 狠狠色噜噜狠狠狠狠综合| 五月丁香大香蕉| 少妇人妻偷人精品无码视频新浪| 色色三级视频| 99热超碰天堂网| 久久人人看| 99热国产国产| 亚洲另类噜噜| 99热最新| 国产精品天天狠天天看| 久久 中文 日本| 欧美性二区| 国产在线另类五月婷婷| 亚洲人成色A777777在线观看 | 中文字幕成人影视| 俺去也婷婷| 久久久久久9热不雅视频| 香蕉国产2013| 六月天无码网址| 九九在线精点品| 久久思思热| 国产一级黄色影片,| 庭庭久久内射| 欧美va视频不用播放器的va视频网| 五月婷婷开心丁香| 欧美内射AA| 玖玖91| 人人操日| 六月丁香影院| 五月天婷婷社区| 五月天婷婷Av| 五月丁香婷婷中文| 欧美狠狠地| 色五月婷婷丁香五月| 91国产精品视频播放| 99热欧美| 天天干天天色综合| 久久99久久99久久99人受| 丁香五月婷婷少妇| 婷婷六月丁香在线| 99视频| 青青草国产亚洲精品久久| 久久综合色五月| 色五月视频无码播放| 久久99激情| www五月婷婷88导航| 91人人爽狠狠狠| 久久 视频这里只有精总| 亚洲色网络| 中文字幕无码成人电影| 日本天天综合| 一起草Av| 色婷婷丁香AV综合| 久久五月丁香伊人青草| 国产精品美女| 大香焦啪啪啪| 中文字幕丰满乱孑伦无码专区 | 精品夜夜澡人妻无码AV| 九九99热久久精品66中文字幕| 翔田千里无码| 久青草影院| 91精品久久久久久久久| 色五狠狠| 草草夜夜操| 五月开心婷婷网| www.夜夜| 精品无码片| 亚州视频九九99| 婷婷五月成人| 99男人天堂| 激情五月狠狠| 97在线99| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 国自产拍偷拍精品啪啪一区二区| 91ncom.色| 996er热| 日韩中出视频| 激情二色月| 丁香五月成人| 秋霞性爱AV| 色欲影香| 婷婷久久伊人| 99热6精品| 色九九中文字幕| 六月丁香婷婷亚洲中文玖玖| 天天色视频| 午夜色婷婷| 99riAV国产精品视频| 蜜桃婷婷狠狠久久综合| 婷婷六月五月天综合| 成人做爰黄A片免费看直播室男男| 亚洲色五月| 91日本在线观看| 性爱网六月丁香| 深爱激情丁香五月| 五月丁香激情综合网官网| 五月丁香六月色婷婷| 天天色综网| 大香蕉色婷婷伊人在线| 色五月丁香婷婷综合| 婷婷五月天网| 久久草人妻| 99热婷婷| 97狠狠色| 99久在线观看| 99久久精品色老| 午夜激情五月天| 激情网 久久| 丁香婷婷久久老熟女综合网| 五月天色色无码| 天天爱天天做天天爽| 色五月婷婷五月天| 婷丁香久综合| 青草五月天| 成人日韩欧美| 成人AV在线电影| se色99| 人妻丰满精品一区二区A片| 狠狠做五月婷婷| 国产精品人成A片一区二区| 亚洲日韩人妻操逼| 无码AV免费精品一区二区三区 | 夜夜嗨一区二区三区直播内容 | 精品一区二区三区四区五区六区介绍| 99视频在线精品免费观看2| 99久热| 99久re热视频精品98| 五月停停直播| 亚洲婷婷性爱| 天天色宗合| 日本久久人| 激情久久久久久| 久久综合丁香五月| 天天色情站| 婷婷综合五月色播| 超碰二区| www九九热| 久久婷婷视频| 再次出发二| 播丁香五月婷婷欧美| 久久思思热视频| 五月丁香婷婷啪啪网| 五月婷婷激情网| 婷婷丁五月| 91男同视频| 九九热在线99| 翔田千里 50岁 无码| 午夜婷婷| 欧美婷| 综合色色综合| 噜噜五月天综合| WwW天天干| 久久久久久久久久久久久久久久久精典| 激情深爱五月天| 欧美日韩999| www.9操| 午夜色丁香| 激情综合五| 久热9| 丁香婷婷中文字幕| 中文资源在线a | 婷婷六月天激情影院| 夫妻超碰在线| 亚洲综合五月天婷婷| 99惹精品视频| 久久婷婷六月综合综合| 99热.com| 丁香六月天之亚州热女| 丁香五月婷婷天堂大香蕉| 夜夜撸夜夜骑| 婷婷在线午夜| 97超级碰碰碰| 天天干,夜夜爽| 激情六月天婷婷| 日韩精品成人在线| 国产乱子轮XXX农村| 日日色综合| 色99视频| 五月婷婷综合在线视频| 日日综合网| 99热99热不卡| 大香蕉伊人久久| 婷婷丁香精品视频在线观看| 玖玖婷婷色五月| 久久五月婷综合网| 狠狠综合区| 蜜臀AV在线观看| 五月天激情国产综合婷婷婷| 六月婷婷色五月| 中文字幕日韩成人| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 成人做爰黄A片免费看直播室男男| 激情五月综合亚洲另类| 人妻熟人中文字幕一区二区 | 国产亚洲成AV人片在线| www.色婷婷| 欧美日韩成人高清在线| 99热热九九| 99热精品99| 婷婷视频在线碰| 五月激情啪啪| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 久久婷婷五月激情网站| 丁香六月色婷婷| 97丁香视频| 久久精品一区二区三区四区| 自拍偷窥99热| 91精品综合久久久久久五月丁香 | 久热精彩视频98| 人妻丰满精品一区二区A片| 国产成人AV| 国产人人操| 国产精品操| 国产xxxxx在线观看| 综合色五月天| 天天插天天插天天插天天插| 亚洲乱码在线观看| 99久久婷婷国产综合| 婷婷D区| 超碰高清在线| 青青草性爱视频| 天天草天天日| 午夜成人综合| 大香蕉五月婷婷| 久热这里| 亚洲av网址| 狠狠干狠狠色| 丁香婷婷十月| 99九色视频在线观看| 久久久亚洲精品一区二区三区浴池| 五月婷婷综合在线视频| 欧美色色色色色色色| 婷婷激情鹿城五月天| 激情五月天免费视频| 在线观看亚洲AV| 婷婷久久综合| 亚洲色色五月天| 丁香五月婷婷成人色区| 五月婷婷综合视频| 五月天婷婷色色| 久久AV无码精品人妻系列试探| 色五月自偷自拍婷婷婷婷| 激情综合啪啪啪| 九九久久五月天综合伊人| 5月色婷婷| 日韩美女在线视频19| 四月婷婷丁香五月| 亚洲婷婷五月天综合| 丁香五月婷婷网| 亚洲最大五月天成人网| 亚洲网视屏| 4399在线日本A片| 天天色·欧美| 亚洲精品操一操、噜一噜、摸一摸、爽| 黄色高清无码| 五月开心网| 天天干天天日天天操| 淫视馆aV二区一区| 五月丁香另类图片| 99成人无码| 99色免费| 91紱請| 色婷婷色99国产综合精品| 亚洲性色XXXXX| 亚洲AV免费在线| 婷婷五月激情综合| 性热视频99精品| 婷婷丁香五月天大香蕉| 成人在线精品| 五月天婷婷在线播放免费| 色婷婷丁香五月天在线视频| 九久9精品| 丁香5月啪啪| 国产精品色色色色| 天天操天天插| 综合激情五月天六月婷免费视频| 激情婷婷网| 六月综合婷婷开心伊人| 丁香五月综合激情啪啪| 大香蕉免费9| 超碰猛烈的性猛交| 丁香五月天婷婷激情| 丁香五月天激情综合| 久久婷婷五月综合啪| 91一起艹| 激情丁香五月婷婷| 拍真实国产伦偷精品| 五月天激情小说网| 影音先锋女人AA鲁色资源| 中文字幕在线观看视频www| 丰满女老板BD高清A片| 色色色香蕉五月婷| 人妻熟女一区二区AV| 五月婷视频| 五月色丁香婷婷综合| 激情丁香五月AV| 九九热10| 国产激情综合五月| 五月丁香婷婷中文网| xxx.色婷婷| 激情婷婷丁香| 中文字幕五月久久婷| 五月天色婷婷基地| 色综合99无码| 婷婷五月骚厕所| 五月丁香成人网| 久久这里精彩免费在线观看| 九九综合色| 色9999日韩国产| 久久只有18视频| 久久er这里只有精品| 久久99热这里只频精品6学生| 777色婷婷爱五月| 激情五月综合网| 日本91在线| 欧美丁香五月| 秋霞三级色戒| 五月草影视| AV在线中文| 亚洲亚洲人成综合网络| 日本久碰| 久久曰曰| 青青福利网| 五月丁香色综合| 激情AV| 五月婷无码| 色色热| 婷婷五月天另类视频| 天天天天天天噜| 亚洲无码99| 99色在线观看| 中文字幕av网站| 欧美激情综合色综合啪啪五月| 婷婷五月播| 亚洲亚洲人成综合网络| 婷婷五月天开心激情网| 久99久在线观看| 久久五月丁香| 成人欧美Va| 超级碰碰碰碰视频| 91超级碰碰碰| 99精品视频在线| 五月色婷丁香| 色五月成人| 五月婷婷成人网首页| 超碰自拍天堂| 免费看欧美成人A片无码| 26uuu视频欧美| 伊人在线另类| 超碰成人av| 丁香5月啪啪| 色五月综合在线| 疯狂做受XXXX高潮A片| 丁香五月婷婷av| 伊人婷婷五月 | 日本不卡高字幕在线2019| 九月综合| 丁香五月骚喷水视频| 性生活视频98791| 日韩熟女啪啪视频| 色婷婷激情四射视频| 日日噜狠狠色综合久久| 超碰人人色| 青青日韩| 99视频| 国产成人99久久亚洲综合精品| 大伊香蕉玖玖爱| 丰满老熟妇BBBBB搡BBB| 激情综合在线观看| 婷婷五月深爱五月| 色婷婷WWW| 99人人操人人爱久久久| 欧美色激情四射| 天天插天天插天天插天天插| 丁香婷婷激情五月天无毒不卡蜜桃| 亚洲五月天伊人| 人人操人人爽成人AV| 91919191919久久成人视频| 中文字幕 码精品视频网站| 丁香五月激情婷婷婷婷在线观看| 99热这里只有精品在线免费| 夜夜干天天操| 天天日天天舔| 99久久综合精品五月天| 天天做天天爱天天摸| 婷婷在线精品| 午夜成人综合| 久久久久久人妻久久久久久久久久人妻久久久| 婷婷丁香六月五月天| 99热这里有精品首页10| 婷婷五月综合免费在线| 丁香综合日产精品久久| 欧美婷婷五月丁香| 丁香五月六月综合激情| 五月婷婷亚洲| 艾小青av| 婷婷色丁香五月| 欧美毛片www| 91成人看片| 中文AV在线观看| 天堂网色色| 丁香五月婷婷国产av| 桃色成人网| 午夜精品久久久久久久爽| 九九RE视频在线精品| 婷婷五月天激情网| 久久久免费精彩视频| 26uuu欧美日本| 999热成人在线综合网| 久久人人人人妻| 艾小青av| Jh7Uf088VHafNm| 日日狠夜夜狠| 激情五月丁香综合网站| 秋霞影音91人妻久久| 欧美黑人巨大猛烈cuckold| 久久er99热精品一区二区| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 色色丁香婷婷| 91精品人妻少妇无码影院| 五月天婷综合| 色色激情网| 激情久久肏屄视频| 97狠狠色| 久久九九99| 丁香六月婷婷综合色| 色婷婷综合久久久久| 色综合综合色| 久色| 婷婷一本和五月丁香| 日日噜噜久久婷婷五月天 | 亚洲五月天综合| ss99热| 五月婷婷第四色| 狠狠色狠狠| 天天色综网| 免费观看全黄做爰的视频| 91色五月在线观看| 影音先锋偷偷色男人站| 超碰在线中文字幕| 五月天无码视屏播放| 婷婷五月天AV在线| 97婷婷丁香五月天激情图片| 人与禽A片啪啪| 国产人人操| 五月婷婷99热| 激情婷婷在线中文字幕| aaaaa黄色| 综合五月激情| 久久婷婷五月综合啪| 中文字幕成人| 秋霞少妇AV网站| 五月天婷婷丁香花| 五月丁香久久精品在线观看| 99热思思在线观看| 激情综合丁香五月| 九月婷婷综合| 色综合久久久综合久久网| 一区二区免费看| 99热在线观看免费中文| 影音先锋人妻出差| 婷婷五月天久久| www.五月天婷婷| 婷婷五月另类网站| 99热久| 伊人色欲五月天| 97在线精品| 丁香六月婷婷激情| 久久激情网| 99视频精品8| 嫩草视频在线观看| .青娱乐天天操B| av久热| 五月丁香久久久| 美日韩成人| 久久婷婷五月综合色天| 无码地址| 五月天开心激情综合网| 婷婷五月天丁香| 亚洲色色五月天| 五月丁香婷婷啪啪综合网| 色色五月天婷婷丁香| 一级黄在线| 综合色久| 开心激情五月天网| 婷婷丁香在线| 色婷婷瘦婷婷日韩| 婷婷五月天视频在线观看| 91日本在线观看| 国产亚洲99久久精品熟| site:xmssd.com| 久久久久久97| 亚洲日比视频| 丁香五月天天哦| 五月丁香好婷婷A片网| 操人精品| 亚洲婷婷五月天激情综合| 乱码操操| 婷五月天六| 九九热这里只有精品一| 五月丁香色婷婷| av操B网站| 97色五月天| 激情五月天电影| 26.uuu丁香五月婷婷| 十月色综合| 免费观看18视频网站| 亚洲丁香花色| 超碰国产AV| 欧美性交一区二区三区| 东北婷婷五月天| 五月婷婷丁香六月| aaa丁香五月天| 久热9| 日韩黄色电影| 五月婷婷在线视频观看| 婷婷五月性感| 丁香亚洲婷婷五月| 99色热视频| 久久精品91视频| 思思久久精品| www.激情五月天.com| 五月天深爱激情网| 97色吧| 天天 日综合| 国产精品涩涩涩视频网站| 九九日本视频| 久久网日本| 五月丁香激| 9热视频在线观看| 久婷久婷| 婷婷网五月天| 99碰视频| 五月丁香婷婷综合视频| 九色 在线| 五月天色婷婷综合| 成人VAV视频在线观看| 五月天色社区| www.99热精品|