欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

Multimodal Pathway:多模態(tài)融合通路設(shè)計(jì)與調(diào)優(yōu)

Multimodal Pathway:多模態(tài)融合通路設(shè)計(jì)與調(diào)優(yōu) 去年下半年我接手了一個(gè)內(nèi)部系統(tǒng)的改造需求要把圖像、文本和一小段語(yǔ)音信號(hào)塞進(jìn)同一個(gè)模型里做聯(lián)合判斷。數(shù)據(jù)量不小標(biāo)注質(zhì)量也還行單模態(tài)的指標(biāo)都挺漂亮可一旦拼到一起整體效果反而比只用文本還差一截。排查了兩周最后發(fā)現(xiàn)問(wèn)題不在數(shù)據(jù)也不在模型大小而在“通路”上——模態(tài)信息從各自的編碼器出來(lái)之后走哪條路、在哪一層匯合、匯合之后還剩多少信息這條路徑的設(shè)計(jì)直接決定了模型能不能真正“看懂”多模態(tài)輸入。這篇要聊的Multimodal Pathway說(shuō)的就是這條路徑本身從各模態(tài)編碼、投影對(duì)齊、交互融合到最終任務(wù)頭的整條信息通道設(shè)計(jì)。它不是某個(gè)具體模型的名字而是一類(lèi)架構(gòu)決策的統(tǒng)稱(chēng)。你在做圖像問(wèn)答、跨模態(tài)檢索、視頻內(nèi)容理解、工業(yè)質(zhì)檢里的圖文核對(duì)甚至多傳感器融合都會(huì)撞上它。適合兩類(lèi)人看一類(lèi)是剛要把第二個(gè)模態(tài)接進(jìn)現(xiàn)有模型的工程師另一類(lèi)是發(fā)現(xiàn)“融合了但沒(méi)變好”的算法同學(xué)。下面我按自己踩坑的順序把設(shè)計(jì)思路、參數(shù)取舍、代碼骨架和排查經(jīng)驗(yàn)完整攤開(kāi)講。1. 先把“通路”這兩個(gè)字拆開(kāi)看1.1 一條通路要經(jīng)過(guò)的四個(gè)關(guān)口很多人一上來(lái)就糾結(jié)“用什么融合模塊”其實(shí)通路是分段的每一段的失敗模式完全不同混在一起討論永遠(yuǎn)吵不出結(jié)論。我習(xí)慣把它拆成四個(gè)關(guān)口每個(gè)關(guān)口有自己的輸入輸出和驗(yàn)收標(biāo)準(zhǔn)。第一個(gè)關(guān)口是模態(tài)內(nèi)編碼。圖像走視覺(jué)編碼器文本走詞嵌入加編碼器語(yǔ)音走聲學(xué)前端。這一段的目標(biāo)是把原始信號(hào)變成一串定長(zhǎng)的向量序列。注意這里的“定長(zhǎng)”不是指數(shù)值定長(zhǎng)而是指 token 數(shù)量和維度要穩(wěn)定否則后面拼接時(shí)形狀對(duì)不上。視覺(jué)側(cè)通常是切 patch224×224 的圖按 14×14 切得到 16×16256 個(gè) token文本側(cè)按分詞后長(zhǎng)度算一般在幾十到幾百之間浮動(dòng)。第二個(gè)關(guān)口是投影對(duì)齊。不同編碼器輸出的維度往往不一樣視覺(jué)可能是 1024 維文本可能是 768 維投影層負(fù)責(zé)把它們映射到同一個(gè)寬度。這一步看著簡(jiǎn)單其實(shí)是整個(gè)通路里最容易偷懶也最容易出問(wèn)題的地方后面單獨(dú)展開(kāi)。第三個(gè)關(guān)口是交互融合。這是模態(tài)真正“見(jiàn)面”的地方??梢允呛?jiǎn)單拼接后一起過(guò) Transformer也可以是用交叉注意力讓文本去查圖像還可以是到最后一層才做分?jǐn)?shù)加權(quán)。位置選錯(cuò)后面怎么調(diào)都補(bǔ)不回來(lái)。第四個(gè)關(guān)口是任務(wù)頭輸出。分類(lèi)頭、生成頭、檢索用的對(duì)比頭都算。這一段的問(wèn)題通常是“信息壓縮過(guò)頭”尤其是做生成任務(wù)時(shí)如果融合后的序列長(zhǎng)度被壓得太狠解碼端會(huì)明顯感覺(jué)到“細(xì)節(jié)沒(méi)了”。把這四段分開(kāi)看你會(huì)發(fā)現(xiàn)很多“融合效果不好”的案例其實(shí)是第一段就有問(wèn)題——比如視覺(jué) token 里混進(jìn)了大量背景 patch投影層再好也救不回來(lái)。1.2 三種融合位置的取舍別憑感覺(jué)選融合位置的選擇是通路設(shè)計(jì)里第一個(gè)大決策。我做過(guò)一個(gè)對(duì)比表是我們內(nèi)部實(shí)測(cè)之后整理的參數(shù)量和顯存是按單卡 80G、混合精度估算的融合方式交互發(fā)生位置顯存增幅訓(xùn)練難度適合的場(chǎng)景早期融合編碼后立即拼接低約 1.2 倍低模態(tài)對(duì)齊良好、序列都短中期融合中間若干層交叉注意力高約 2.5 到 3 倍中高需要細(xì)粒度對(duì)應(yīng)如圖文問(wèn)答晚期融合各模態(tài)獨(dú)立出分?jǐn)?shù)再合并極低低模態(tài)獨(dú)立性強(qiáng)、要求可解釋混合融合主路中期 旁路晚期中高高線(xiàn)上要降級(jí)兜底的生產(chǎn)系統(tǒng)早期融合最省事把視覺(jué) token 和文本 token 拼成一條長(zhǎng)序列直接喂給 Transformer。問(wèn)題在于圖像 token 動(dòng)輒兩三百個(gè)文本才幾十個(gè)拼完之后序列被視覺(jué)主導(dǎo)模型容易“看著圖忘了話(huà)”。我們最早那版就是早期融合圖文匹配任務(wù)還行一到需要精確讀文字的場(chǎng)合就崩因?yàn)槲谋?token 在注意力里被稀釋了。中期融合是我現(xiàn)在的主力方案。核心是保留兩條獨(dú)立的主干在中間某幾層插入交叉注意力讓文本 token 作為 query 去查視覺(jué) token 的 key/value。好處是文本序列長(zhǎng)度不變不會(huì)被稀釋代價(jià)是顯存漲得厲害交叉注意力的矩陣規(guī)模是文本長(zhǎng)度乘以視覺(jué)長(zhǎng)度雖然比全序列自注意力省但層數(shù)一多也頂不住。晚期融合最穩(wěn)各模態(tài)各自算分再加權(quán)線(xiàn)上降級(jí)特別方便——視覺(jué)服務(wù)掛了就只走文本。但它學(xué)不到細(xì)粒度對(duì)應(yīng)關(guān)系做“圖里第三行文字寫(xiě)了什么”這種任務(wù)基本沒(méi)戲。我們現(xiàn)在線(xiàn)上跑的是混合結(jié)構(gòu)主路用中期融合保證效果旁路保留一個(gè)晚期融合的輕量分支主路超時(shí)或異常時(shí)切旁路。這個(gè)設(shè)計(jì)不是一開(kāi)始就想好的是被線(xiàn)上事故逼出來(lái)的。2. 核心設(shè)計(jì)里最容易被低估的三件事2.1 投影層不是“降維那一下”它決定信息損失上限投影層最常見(jiàn)的寫(xiě)法就是一個(gè)線(xiàn)性層把視覺(jué)特征從 1024 維映射到 4096 維。參數(shù)量算下來(lái)是 1024×40964096大概 420 萬(wàn)占整體模型的比例很小所以很多人隨手就定了。但我實(shí)測(cè)下來(lái)這一層的設(shè)計(jì)對(duì)最終指標(biāo)的影響遠(yuǎn)超它的參數(shù)量占比。問(wèn)題出在 token 數(shù)量上。視覺(jué)編碼器輸出 256 個(gè) token如果全部保留并投到 4096 維光視覺(jué)部分就要占 256×4096 的激活空間再乘以 batch 和層數(shù)顯存很快就見(jiàn)底。于是有兩種常見(jiàn)處理一種是直接線(xiàn)性投影全保留另一種是先用查詢(xún)式重采樣把 256 個(gè) token 壓到 32 或 64 個(gè)再投影。我兩種都試過(guò)結(jié)論是看任務(wù)性質(zhì)分。如果任務(wù)需要定位細(xì)節(jié)比如“圖中左上角的儀表讀數(shù)是多少”壓縮 token 會(huì)直接丟掉空間分辨率指標(biāo)掉得很明顯如果任務(wù)是整體語(yǔ)義判斷比如“這張圖是不是戶(hù)外場(chǎng)景”壓縮到 64 個(gè) token 幾乎無(wú)損還能省下一大截顯存。重采樣器的寫(xiě)法不復(fù)雜核心是一組可學(xué)習(xí)的查詢(xún)向量去對(duì)視覺(jué) token 做注意力import torch import torch.nn as nn class QueryResampler(nn.Module): 把變長(zhǎng)的視覺(jué) token 壓縮成固定數(shù)量的語(yǔ)義 token def __init__(self, vis_dim, out_dim, num_query64, num_heads8, depth2): super().__init__() self.query nn.Parameter(torch.randn(1, num_query, out_dim) * 0.02) self.kv_proj nn.Linear(vis_dim, out_dim) self.layers nn.ModuleList([ nn.ModuleDict({ q_norm: nn.LayerNorm(out_dim), kv_norm: nn.LayerNorm(out_dim), attn: nn.MultiheadAttention(out_dim, num_heads, batch_firstTrue), ffn: nn.Sequential( nn.Linear(out_dim, out_dim * 4), nn.GELU(), nn.Linear(out_dim * 4, out_dim), ), ffn_norm: nn.LayerNorm(out_dim), }) for _ in range(depth) ]) def forward(self, vis_tokens, vis_maskNone): # vis_tokens: [B, N_vis, vis_dim] kv self.kv_proj(vis_tokens) # [B, N_vis, out_dim] q self.query.expand(kv.size(0), -1, -1) # [B, num_query, out_dim] key_padding None if vis_mask is None else ~vis_mask for layer in self.layers: q2 layer[q_norm](q) kv2 layer[kv_norm](kv) attn_out, _ layer[attn]( q2, kv2, kv2, key_padding_maskkey_padding, need_weightsFalse, ) q q attn_out q q layer[ffn](layer[ffn_norm](q)) return q # [B, num_query, out_dim]這段代碼有兩個(gè)細(xì)節(jié)值得說(shuō)。一是self.query的初始化標(biāo)準(zhǔn)差我用 0.02試過(guò) 0.5 那種大初始化訓(xùn)練前期梯度爆炸過(guò)一次loss 直接變 NaN。二是key_padding_mask的處理視覺(jué)側(cè)如果有 padding 的 token比如不同分辨率圖片拼成一個(gè) batch不做 mask 的話(huà)重采樣會(huì)去關(guān)注無(wú)意義的填充位訓(xùn)出來(lái)的 token 語(yǔ)義是臟的。這個(gè)坑我在第二批數(shù)據(jù)上才踩到因?yàn)榈谝慌鷪D片全是統(tǒng)一尺寸根本沒(méi)有 padding。2.2 路由與門(mén)控讓信息自己選擇走哪條道當(dāng)模態(tài)數(shù)量超過(guò)兩個(gè)或者同一模態(tài)內(nèi)部有不同來(lái)源比如攝像頭圖像和雷達(dá)圖像簡(jiǎn)單拼接就不夠用了。這時(shí)候可以做模態(tài)級(jí)路由給每個(gè) token 算一個(gè)權(quán)重決定它更多地流向哪個(gè)專(zhuān)家分支。思路參考混合專(zhuān)家的做法但不要照搬到模態(tài)上。我最初的實(shí)現(xiàn)是給每個(gè)模態(tài)一個(gè)標(biāo)量門(mén)控結(jié)果訓(xùn)完之后門(mén)控全塌縮到某一個(gè)模態(tài)上等于白做。后來(lái)改成 token 級(jí)路由才正常class ModalRouter(nn.Module): token 級(jí)門(mén)控為每個(gè) token 分配專(zhuān)家權(quán)重 def __init__(self, dim, num_experts4, top_k2, temperature1.0): super().__init__() self.gate nn.Linear(dim, num_experts, biasFalse) self.num_experts num_experts self.top_k top_k self.temperature temperature def forward(self, x, modality_ids): # x: [B, L, dim]; modality_ids: [B, L] 每個(gè) token 屬于哪個(gè)模態(tài) logits self.gate(x) / self.temperature # [B, L, E] # 重要路由權(quán)重按模態(tài)做歸一化防止某個(gè)模態(tài) token 多就占優(yōu) mask torch.zeros_like(logits) for m in modality_ids.unique(): sel (modality_ids m) mask[sel] 1.0 logits logits.masked_fill(mask 0, float(-inf)) weights torch.softmax(logits, dim-1) topv, topi weights.topk(self.top_k, dim-1) topv topv / topv.sum(dim-1, keepdimTrue) return topv, topimodality_ids這個(gè)參數(shù)看著多余其實(shí)是我踩坑之后加的。第一版沒(méi)有它路由權(quán)重的歸一化是在整個(gè) batch 的所有 token 上做的結(jié)果視覺(jué) token 數(shù)量是文本的五六倍softmax 之后視覺(jué)專(zhuān)家被分到的權(quán)重天然就高路由形同虛設(shè)。加上模態(tài)掩碼之后每個(gè)模態(tài)內(nèi)部獨(dú)立競(jìng)爭(zhēng)負(fù)載才均衡。另外必須配一個(gè)負(fù)載均衡損失否則專(zhuān)家利用率會(huì)嚴(yán)重傾斜。我用的形式是各專(zhuān)家被選中概率的平方和乘以專(zhuān)家數(shù)$$ L_{bal} E \cdot \sum_{i1}^{E} f_i^2 $$其中f_i是第 i 個(gè)專(zhuān)家在當(dāng)前 batch 里被選中的頻率。這個(gè)損失權(quán)重我設(shè)在 0.01 量級(jí)太大了會(huì)影響主任務(wù)收斂太小了沒(méi)效果。調(diào)這個(gè)系數(shù)的那幾天日志里專(zhuān)家命中率的曲線(xiàn)一會(huì)兒接近均勻一會(huì)兒全打到一個(gè)專(zhuān)家上來(lái)回試了七八個(gè)值才穩(wěn)定下來(lái)。2.3 訓(xùn)練階段怎么切分決定通路能不能學(xué)起來(lái)通路結(jié)構(gòu)搭好之后訓(xùn)練策略比結(jié)構(gòu)本身更影響結(jié)果。我的做法是分三段每段的凍結(jié)范圍不同階段編碼器投影層融合層任務(wù)頭典型步數(shù)對(duì)齊預(yù)熱凍結(jié)訓(xùn)練凍結(jié)訓(xùn)練2k 到 5k通路放開(kāi)凍結(jié)訓(xùn)練訓(xùn)練訓(xùn)練10k 到 20k聯(lián)合微調(diào)部分解凍訓(xùn)練訓(xùn)練訓(xùn)練5k 到 10k第一階段只訓(xùn)投影層和任務(wù)頭目的是讓兩個(gè)模態(tài)的表示先落到一個(gè)大致兼容的空間里。這一步學(xué)習(xí)率可以給大一點(diǎn)我用 1e-3因?yàn)橥队皩邮请S機(jī)初始化的太小的學(xué)習(xí)率根本挪不動(dòng)。如果跳過(guò)這一步直接聯(lián)合訓(xùn)練我遇到過(guò)投影層梯度被編碼器傳來(lái)的大梯度沖垮的情況loss 前兩千步劇烈震蕩。第二階段放開(kāi)融合層學(xué)習(xí)率降到 1e-4編碼器繼續(xù)凍結(jié)。這一步是真正學(xué)“跨模態(tài)對(duì)應(yīng)關(guān)系”的階段耗時(shí)最長(zhǎng)。有個(gè)細(xì)節(jié)融合層里的交叉注意力key/value 側(cè)的權(quán)重可以給更小的學(xué)習(xí)率因?yàn)樗薪拥氖且呀?jīng)訓(xùn)好的視覺(jué)表示動(dòng)太快會(huì)破壞原有語(yǔ)義。第三階段才解凍編碼器的高層學(xué)習(xí)率壓到 1e-5 到 2e-5。這一步收益不大但風(fēng)險(xiǎn)不小我的經(jīng)驗(yàn)是只在數(shù)據(jù)量足夠十萬(wàn)級(jí)以上的時(shí)候做小數(shù)據(jù)集上解凍編碼器幾乎必然過(guò)擬合驗(yàn)證集指標(biāo)第二 epoch 就開(kāi)始往下走。3. 一條完整通路的具體實(shí)現(xiàn)與參數(shù)核算3.1 先把張量形狀和序列布局約定死寫(xiě)代碼之前我強(qiáng)制自己做了一件事把所有張量的形狀、含義、mask 約定寫(xiě)在一張表里貼在旁邊。這個(gè)習(xí)慣是被一次 debug 折磨出來(lái)的——某次訓(xùn)練一切正常但推理時(shí)結(jié)果全亂查了一晚上發(fā)現(xiàn)是訓(xùn)練時(shí)視覺(jué) token 在前文本在后推理腳本里順序反了因?yàn)槟P蜎](méi)報(bào)錯(cuò)形狀完全兼容。我們的約定是這樣的張量形狀含義vis_tokens[B, Nv, Dv]視覺(jué)編碼器輸出Nv 一般 256 或 576vis_mask[B, Nv]True 表示有效 tokentxt_ids[B, Lt]文本 token idLt 為 padding 后長(zhǎng)度txt_tokens[B, Lt, Dt]文本編碼器輸出modality_ids[B, NvLt]拼接后每個(gè)位置屬于哪個(gè)模態(tài)0 視覺(jué) 1 文本fused[B, NvLt, D]融合后序列D 為統(tǒng)一寬度序列拼接順序我固定成“視覺(jué)在前、文本在后”并且在融合層之后加一個(gè)可學(xué)習(xí)的位置偏置讓模型知道兩段的分界在哪。這個(gè)偏置聽(tīng)起來(lái)可有可無(wú)但實(shí)測(cè)去掉之后做需要精確定位的任務(wù)會(huì)掉一到兩個(gè)點(diǎn)因?yàn)榧兾恢镁幋a區(qū)分不出“這里是模態(tài)邊界”這件事。3.2 融合塊的代碼骨架融合塊我寫(xiě)成了一個(gè)獨(dú)立模塊方便按需插入到主干的不同層。核心是雙向的交叉注意力加上殘差class FusionBlock(nn.Module): def __init__(self, dim, num_heads16, dropout0.1, use_gateTrue): super().__init__() self.txt2vis nn.MultiheadAttention(dim, num_heads, dropoutdropout, batch_firstTrue) self.vis2txt nn.MultiheadAttention(dim, num_heads, dropoutdropout, batch_firstTrue) self.norm1 nn.LayerNorm(dim) self.norm2 nn.LayerNorm(dim) self.ffn nn.Sequential( nn.Linear(dim, dim * 4), nn.GELU(), nn.Dropout(dropout), nn.Linear(dim * 4, dim), ) self.norm3 nn.LayerNorm(dim) self.use_gate use_gate if use_gate: # 門(mén)控初值偏小讓訓(xùn)練初期以恒等映射為主避免破壞預(yù)訓(xùn)練表示 self.gate nn.Parameter(torch.full((dim,), -2.0)) def forward(self, vis, txt, vis_maskNone, txt_maskNone): kv_pad None if vis_mask is None else ~vis_mask q_pad None if txt_mask is None else ~txt_mask t2v, _ self.txt2vis(self.norm1(txt), vis, vis, key_padding_maskkv_pad, need_weightsFalse) v2t, _ self.vis2txt(self.norm2(vis), txt, txt, key_padding_maskq_pad, need_weightsFalse) if self.use_gate: g torch.sigmoid(self.gate) txt txt g * t2v vis vis g * v2t else: txt txt t2v vis vis v2t txt txt self.ffn(self.norm3(txt)) return vis, txt門(mén)控的初值我設(shè)成 -2.0sigmoid 之后大約 0.12意思是訓(xùn)練剛開(kāi)始時(shí)融合分支只貢獻(xiàn)一成多的信息主體還是各模態(tài)自己的表示。這個(gè)技巧是從殘差連接的思想里變通過(guò)來(lái)的融合層是隨機(jī)初始化的如果一開(kāi)始就全量注入會(huì)把編碼器辛苦學(xué)到的表示沖散。實(shí)測(cè)帶門(mén)控的版本第一階段 loss 下降明顯更平滑。3.3 顯存和吞吐的核算別等 OOM 才想?yún)?shù)量的賬好算激活的賬不好算但必須算。以 batch8、視覺(jué) token 256、文本 token 512、融合寬度 4096、主干 32 層為例我按混合精度粗算一遍單樣本單層的 token 激活大約是 768×4096×2 字節(jié)約 6.3MB。32 層乘 8 個(gè)樣本光這一項(xiàng)就是 1.6GB 左右還不算 FFN 里的 4 倍擴(kuò)展實(shí)際要乘 4 到 5就是 6 到 8GB。真正吃顯存的是注意力矩陣。768 個(gè) token 的自注意力矩陣規(guī)模 768×76816 個(gè)頭混合精度下是 768×768×16×2 字節(jié)約 18.9MB 每樣本每層。乘 32 層乘 8 個(gè)樣本差不多 4.8GB如果頭數(shù)翻倍或者序列變長(zhǎng)這塊會(huì)迅速失控。我實(shí)際跑下來(lái)單卡 80G 上這個(gè)配置能跑 batch 6 左右。想上到 batch 16 就得開(kāi)梯度檢查點(diǎn)代價(jià)是訓(xùn)練速度慢四成左右。這個(gè)取舍我的做法是預(yù)訓(xùn)練階段不開(kāi)檢查點(diǎn)用大 batch 保證梯度穩(wěn)定微調(diào)階段開(kāi)檢查點(diǎn)用更大 batch 換更少的步數(shù)因?yàn)槲⒄{(diào)階段本來(lái)就步數(shù)少。還有個(gè)容易被忽略的點(diǎn)交叉注意力的顯存要看兩邊長(zhǎng)度的乘積。文本 512、視覺(jué) 256交叉注意力的矩陣是 256×512比 768×768 的自注意力小三倍多所以中期融合的顯存開(kāi)銷(xiāo)其實(shí)主要來(lái)自主干自注意力不是融合本身。這個(gè)認(rèn)知幫我在優(yōu)化時(shí)找對(duì)了方向——一開(kāi)始我以為是融合層太重去砍融合層數(shù)結(jié)果指標(biāo)掉了顯存沒(méi)省多少。3.4 訓(xùn)練日志里必須盯的四個(gè)指標(biāo)跑起來(lái)之后光看總 loss 是不夠的。我固定盯四個(gè)數(shù)第一個(gè)是各模態(tài) token 的梯度范數(shù)。如果文本側(cè)梯度范數(shù)是視覺(jué)側(cè)的十分之一說(shuō)明通路嚴(yán)重偏向視覺(jué)后面調(diào)多久都沒(méi)用得回去查投影層的初始化尺度。第二個(gè)是專(zhuān)家或門(mén)控的命中分布。上面提過(guò)塌縮是最常見(jiàn)的問(wèn)題我一開(kāi)始每 200 步打一次直方圖現(xiàn)在設(shè)成自動(dòng)告警某個(gè)專(zhuān)家占比超過(guò) 60% 就打印警告。第三個(gè)是驗(yàn)證集上單模態(tài)和融合的差值。理想情況融合明顯更好如果融合反而不如最好的單模態(tài)說(shuō)明通路上有信息被破壞了通常是融合層過(guò)早注入或者門(mén)控沒(méi)起作用。第四個(gè)是投影層輸出的數(shù)值范圍。這一項(xiàng)很少有人看但我吃過(guò)虧某次投影層輸出均值偏移越來(lái)越大訓(xùn)到一半激活值到了幾千的量級(jí)后面接的 LayerNorm 直接被撐爆。加上輸出端的歸一化和權(quán)重衰減之后穩(wěn)住了。4. 實(shí)際跑下來(lái)遇到的坑和排查方法4.1 故障速查表這些問(wèn)題我基本都親自遇到過(guò)按癥狀整理出來(lái)方便對(duì)照癥狀最可能的原因排查動(dòng)作處理方式融合后指標(biāo)不如單模態(tài)融合層注入過(guò)早破壞預(yù)訓(xùn)練表示看融合層門(mén)控值分布門(mén)控初值調(diào)小或延后融合層插入位置loss 前期劇烈震蕩投影層隨機(jī)初始化 學(xué)習(xí)率過(guò)大打印投影層梯度范數(shù)先凍結(jié)主干單訓(xùn)投影層學(xué)習(xí)率 1e-3 起訓(xùn)練正常推理全亂序列拼接順序或 mask 約定不一致對(duì)齊訓(xùn)練與推理的張量布局把約定寫(xiě)成文檔并加斷言檢查門(mén)控全塌縮到一個(gè)分支缺少負(fù)載均衡或歸一化范圍錯(cuò)誤打印路由權(quán)重直方圖加模態(tài)掩碼 均衡損失權(quán)重 0.01生成任務(wù)細(xì)節(jié)丟失視覺(jué) token 壓縮過(guò)度對(duì)比壓縮前后定位類(lèi)指標(biāo)提高查詢(xún)數(shù)量或關(guān)鍵任務(wù)不壓縮顯存 OOM 但參數(shù)量不大注意力矩陣隨序列平方增長(zhǎng)按公式手算矩陣顯存開(kāi)梯度檢查點(diǎn)或降 token 數(shù)驗(yàn)證指標(biāo)第二 epoch 就下降解凍范圍過(guò)大數(shù)據(jù)量不夠看訓(xùn)練/驗(yàn)證 loss 分叉點(diǎn)回退到只訓(xùn)融合層表格里第一行那個(gè)問(wèn)題最隱蔽。我們有一版結(jié)構(gòu)融合層從第一層就開(kāi)始插入結(jié)果模型在圖文匹配上還行一到需要語(yǔ)言理解的子任務(wù)就崩。后來(lái)把融合層挪到主干的后三分之一同樣的數(shù)據(jù)同樣的超參語(yǔ)言類(lèi)子任務(wù)直接漲了四個(gè)點(diǎn)。原因不難理解淺層的表示還很“局部”視覺(jué) token 和文本 token 在這個(gè)階段語(yǔ)義空間差得遠(yuǎn)強(qiáng)行交互等于讓兩個(gè)說(shuō)不同語(yǔ)言的人在還沒(méi)學(xué)會(huì)共同詞匯時(shí)就對(duì)話(huà)只會(huì)互相干擾。4.2 幾條我認(rèn)為最值錢(qián)的避坑經(jīng)驗(yàn)第一條永遠(yuǎn)先跑一個(gè)“只拼不融”的基線(xiàn)。就是把兩個(gè)模態(tài)的表示直接拼接或者相加不做任何交叉注意力跑一遍看指標(biāo)。這個(gè)基線(xiàn)看起來(lái)簡(jiǎn)陋但它告訴你數(shù)據(jù)本身能撐到什么程度。我后來(lái)所有的融合改進(jìn)都是跟這個(gè)基線(xiàn)比而不是跟單模態(tài)比。跟單模態(tài)比容易得出“融合有效”的錯(cuò)覺(jué)其實(shí)可能只是多參數(shù)帶來(lái)的收益。第二條mask 一定要在最早的地方處理。我見(jiàn)過(guò)太多實(shí)現(xiàn)是在融合之后才處理 padding那時(shí)候無(wú)效 token 已經(jīng)參與了注意力計(jì)算污染已經(jīng)發(fā)生了。正確做法是編碼器輸出后立刻 mask重采樣和交叉注意力全程帶著 mask。這個(gè)改動(dòng)沒(méi)有任何性能代價(jià)但對(duì)小 batch、變長(zhǎng)輸入的場(chǎng)景影響巨大我們的短文本樣本指標(biāo)因此漲了將近三個(gè)點(diǎn)。第三條別迷信“層數(shù)越多融合越充分”。我試過(guò)在 24 層主干里插 12 個(gè)融合塊結(jié)果訓(xùn)練時(shí)間翻倍指標(biāo)反而比插 4 個(gè)差。原因是每次融合都會(huì)引入一次信息重排插得太密各模態(tài)自己的表示還沒(méi)來(lái)得及在層內(nèi)充分演化就被反復(fù)混合最終學(xué)到的是一種“糊在一起”的表示區(qū)分度下降。我現(xiàn)在的經(jīng)驗(yàn)值是融合塊占主干層數(shù)的 15% 到 25%插在中后段。第四條模態(tài)不平衡要在損失層面處理不要在數(shù)據(jù)層面硬湊。視覺(jué) token 遠(yuǎn)多于文本 token 是常態(tài)有人靠復(fù)制文本 token 來(lái)平衡這是錯(cuò)的復(fù)制出來(lái)的 token 梯度會(huì)疊加等于給文本加了額外權(quán)重。正確做法是在注意力 mask 和路由歸一化里按模態(tài)處理讓每個(gè)模態(tài)內(nèi)部獨(dú)立競(jìng)爭(zhēng)這樣數(shù)量差異不影響權(quán)重分配。第五條推理鏈路上留一條旁路。這個(gè)不是算法問(wèn)題是工程問(wèn)題。多模態(tài)通路意味著多個(gè)服務(wù)串聯(lián)任何一個(gè)環(huán)節(jié)超時(shí)都會(huì)拖垮整體。我們現(xiàn)在的主路走中期融合旁路保留一個(gè)只用文本的輕量分支主路響應(yīng)超過(guò)閾值就切旁路雖然精度降一些但可用性保住了。這個(gè)設(shè)計(jì)上線(xiàn)后P99 延遲從原來(lái)的接近兩秒降到了六百毫秒以?xún)?nèi)。第六條把投影層的輸出范圍當(dāng)成一個(gè)監(jiān)控指標(biāo)。前面提過(guò)這個(gè)數(shù)不看會(huì)出事。我的做法是在訓(xùn)練腳本里每 500 步統(tǒng)計(jì)一次投影層輸出的均值和 99 分位數(shù)均值偏移超過(guò)初始值的三倍就告警。這個(gè)小監(jiān)控幫我在一次結(jié)構(gòu)調(diào)整中提前發(fā)現(xiàn)了初始化尺度的問(wèn)題省了至少兩天的排查時(shí)間。5. 關(guān)于通路設(shè)計(jì)的一點(diǎn)個(gè)人體會(huì)做這類(lèi)結(jié)構(gòu)改造做久了我越來(lái)越覺(jué)得“多模態(tài)通路”這個(gè)說(shuō)法其實(shí)挺準(zhǔn)確的——它強(qiáng)調(diào)的是路徑不是模塊。很多人包括最早的我習(xí)慣去找一個(gè)“更好的融合模塊”仿佛換個(gè)注意力變體就能解決問(wèn)題。但實(shí)際調(diào)試下來(lái)絕大部分收益來(lái)自路徑上的位置選擇和訓(xùn)練階段的切分模塊本身用的是最標(biāo)準(zhǔn)的交叉注意力沒(méi)什么花哨的。還有一個(gè)感受是多模態(tài)的調(diào)試比單模態(tài)難難在問(wèn)題不報(bào)錯(cuò)。形狀對(duì)得上、loss 在下降、指標(biāo)不算難看但就是沒(méi)達(dá)到預(yù)期你得靠一堆中間統(tǒng)計(jì)去定位到底是哪一段通路在漏信息。我現(xiàn)在養(yǎng)成了一個(gè)習(xí)慣每加一個(gè)新模態(tài)或者改一次通路結(jié)構(gòu)先把四個(gè)關(guān)口的中間輸出各存一份小樣本人眼看一遍。視覺(jué) token 里是不是全是背景、投影后有沒(méi)有數(shù)值異常、融合后的表示和融合前差多少這些看一眼就有感覺(jué)比盲調(diào)超參高效得多。最后分享一個(gè)我最近在試的擴(kuò)展方向把通路的“寬度”也做成可學(xué)習(xí)的?,F(xiàn)在的做法是每個(gè)模態(tài)固定走一條路徑我在想能不能讓模型自己決定某個(gè)樣本要不要走完整的融合鏈路簡(jiǎn)單的樣本走淺通路復(fù)雜的走深通路。初步試驗(yàn)里用路由權(quán)重做樣本難度估計(jì)把三成左右的簡(jiǎn)單樣本分流到淺通路整體吞吐提升了四成精度只掉了零點(diǎn)幾。這條線(xiàn)還在跑等數(shù)據(jù)穩(wěn)定了再細(xì)聊。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99人碰碰碰| 精品51XX| www.婷婷五月天| 99热www| 久久精品永久免费| 日本狠狠色| 26uuu成人网| 很操日本7| 九色在线五月婷婷网址| 天天夜天天色天天| 久久精品五月| 丁香五月影院| 久久婷婷五月综合色播| 九九视频在线观看视频在线播放69| 五月丁香六月婷婷玖玖| 5Www色5夜| 天天操夜夜橾| 成人国产欧美大片一区| 激情综合5月| 亚洲乱码日产精品BD| 五月 婷婷 成人| 97AV人人插人人操| 五月天婷婷成人网| 亚洲色色图片| 开心五月激情网| 97影院一级片| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 婷婷五月在线视频| 思思久久99热只有频精品66| 青996青| 国产精品美女| 综合九九中文字幕| 久久小说网| 婷婷五月天福利| www.色99| 久久se 综合网| 99热中文字幕久久| 日操| 琪琪色影音先锋| 久久免费精彩视频| 九九热99精品| 国产日韩av片| 天堂二区| 色色婷| 丁香六月婷婷综合麻豆| 中文字幕综合色| 亚洲成人影视在线观看| 91婷婷五月天综合视频| 亚洲激情高潮| 色婷婷激情| 五月天综合在线| 久久五月情| 99热欧美在线观看| 99精品视频在线观看| 中文字幕成人| 91美女被操| 久久婷婷亚洲五月天| 14色综合婷婷| 久久久噜噜噜操操操| 99热福利| 玖玖99免费视频| 少妇搡BBBB搡BBB搡毛茸茸| 婷婷五月天AV在| 五月亚洲激情| 日狠狠| 日韩啪啪自拍| 六月色五月天天婷婷| 亚洲婷婷五月天| 国产精品久久久久9999小说| 色五月天堂| 五月亭亭六月色| 久热免费| 97日本在线播放| 大香蕉综合网| 大鸡巴伊人网| 9999热在线免费观看| 日操五月婷| 97视频久久| www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | 色婷婷六月天| 天天干天天操天天射| 激情都市另类| 99热在线里有精品| 天天草天天爽| 热99精品视频在线观看| 婷婷五月天激情网| 亚洲综合久| 亚洲操b| 97在线观看| 久久东京热婷婷五月| 色五月在线视频观看| 蜜臀AV在线观看| 337p大胆噜噜噜噜噜91Av| 香蕉久久国产AV一区二区| 91亚洲视频| 欧美天天性| 五月天激情四射| 91在线日| 俺去也五月天婷婷| 欧美日综合| 欧美色频| 伊人婷婷91| 人人人人人人人草| www久久久久久久久久久久久久久久久| www.99热最新视频8| 99精品久久久久久久婷婷| 99资源在线| 五月天艹天天| 婷婷丁香大香蕉| 99精品在| 亚洲第一成人AV| 亚色网站小视频| 深爱婷婷网| 香蕉久久国产av一区二区| 日日日天天干| 操草草草| 丁香五月综合在线视频| www.金莲av| 丁香五月瑟瑟| 婷婷丁香熟女| 一级操逼内射在线视频| 激情五月九九九| 五月色无码| 深爱五月天| 激情综合婷婷五月| 久久精品国产精品| 中文字幕色色| 六月丁香停| 综合啪啪| 亚洲精品视频在线| 狠狠操狠狠爱| 色婷婷a三区麻| 极品人妻VIDEOSSS人妻| 日日舔夜夜操| 色色五月天婷婷丁香| 色综合五月天| 99视频精品全部免费看| 99热91| 日本综合久久| 成人综合网站| 激情五婷网| 91超级碰人人操| 99色网站| 欧美色五月| 亚洲AV成人在线| 五月婷婷综合激情| 97操碰日本女人| 丁香婷婷六月男男| 97久久超碰| 26uuu精品一区二区| 久久99热只有精品| 嫩草极品| 丁香婷婷五月| 99久久综合| 超碰免费人人| 丁香5月婷婷| 中文字幕无码成人电影| 99性视频| 色五月av伊人| 婷婷丁香五月天熟女丝袜| 成人在线综合| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 97资源碰碰| 色综合99| 九九久久视频| 五月丁香啪啪综合| 亚洲12p| 国产精品热搜丁香五月婷婷| 人人操91| 日韩av变天就操逼不卡区| 夜夜夜夜撸夜夜操| 18av天堂| 97久久精品视频| 色色色综合网| 亚洲性爱干干| 99ri视频在线播放| 99精品在线观看| 欧美久久婷婷| av网址在线| 韩国真做片在线观看| 天天夜夜爽| 国产成人高清| 婷婷色五月大香蕉在线| 淫视馆AV在线| 激情五月天婷婷视频| 婷婷的色色五月天| 九九九九精品精| 天天骑天天操| 深情六月婷婷综合久久| 99热精品网| www.天天日| 五月色俺婷婷| 永久的网站AAAA | 俺去也婷婷| 7月婷婷六月丁香| 韩国中文字幕91| 9999三级片| 激情五月无码| 五月天婷综合| 日本91在线播放| 色七七九九| 美女要搞搞天天搞搞搞网站| 97色片| 五月婷婷亚洲天堂97色婷婷| 天天色视频| 夜夜夜夜撸夜夜操| 中文aV网| 嫩草AV久久伊人妇女超级A| 97人人操人| 婷婷九月色| 亚洲美女网Va| 婷婷五月激情在线| 无码一区二区日韩| 五月婷婷色综图片| OUMEIRIHANCHENGREN| 欧美性爱五月天| 五月婷婷丁香五月 | 日日夜夜噜噜爽爽| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 91超级碰人人操| 六月婷伊人| 26uuu成人网| 亚洲九九视频| 99热一本久道| 97深爱伊人综合| 五月情色天| 日本久久精品| 自拍视频99| 99在线看视频| 天堂久久丁香| 色狠狠色噜噜AV天堂五区| 狠狠xx| 天天肏高清在线| 天天干,天天日| 天天日天天干天天插天天射| 色色色色综合网| av婷婷丁香 六月| 涩五月色婷婷| www,超碰| 伊人大香蕉爱聚| 婷婷久久综合| 欧美人妻一区二区| 亚洲无线视频| 九九这里有精品| 亚洲丁香五月美女| 五月天激日本色情在线| 丁香花色色网| 欧洲亚洲免费视频9| 五月婷免费视频| 超碰在线免费观看3 9| 久久女婷| 五月丁香综合啪啪| 五月丁香久久综合| 狠狠色婷婷7777久| 激情婷婷色色| 五月丁香综合啪啪| 99精在线| www.夜夜| 国产又粗又大又爽又黄| 六月丁香久久| 亚洲日韩一页精品发布| 五月花婷婷| 99亚洲视频| 五月丁香亚洲综合| 五月婷婷五月天| 狠狠丁香| 人人摸人人| 丁香九月激情| 九九色逼| 免费无码毛片一区二区A片| 色噜噜狠狠色综合日日| 国产一区二区三区影院| 99久久国产宗和精品1上映| 婷婷五月综合网| 99欧美| 欧美日韩99| 色播婷婷五月天| 99热网址| 国产成人综合网| 五月丁香性爱| 99久在线| 婷婷色综合| 这里有精品| 99精品在线观看| 日本猛少妇色XXXXX猛叫| 国产日比| 国产高清av黄色看片| 黄色中文字目| 91在线观看www| 久久六月综合| 99re在线精品视频| 亭亭玉立国色天香| 五月婷婷播| 丁香六月视频| 色噜噜婷婷| 五月丁香在线综合| 亚州操操| www九九热| 搡BBBB搡BBB搡18| 成人αV视频免费观看| 97操碰人免费| 2016日日夜夜操| 九九热自拍| 99热大香蕉| 俺来也综合网精品一区| 欧美综合激情五月| xxx.色婷婷| 五月婷婷五月天| 欧美97色| 艳妇野外情欲放荡HD| 99re欧美精品| 香蕉伊人综合| 婷婷激情五月吧| 五月丁香六月情婷婷久久| 天天爽日日爽夜夜爽| 丁香五月天狠狠| 久久婷婷综| 性一交一乱一交A片久久四色| 亚洲乱码日产精品BD| www.99色在线| AV在线免费网站| 天天摸天天舔在线视频| 综合激情深爱| 五月婷婷激情| 激情内射人妻1区2区3区| 人人操9| 久久婷婷丁香视频网| 丁香五月婷婷深爱综合激情 | 中文字幕乱码亚洲精品一区 | 婷婷91| 国产精品第一国产精品| 操人视频91| 色婷婷久久| 噜噜噜噜在线| 亚洲熟女色| 天天操天天插| 99久久.www| 草综合网| www五月天com| 五月综合久久| 久久精品日| 五月丁香琪琪| 丁香婷在线| 99热免费精品| 色青青电影色五月| 久色网| 五月丁香花开综合网| 日本婷久久| 免费视频WWW在线观看网站| 9婷婷内射| 亚洲午夜AV| 夜夜撸天天日| 亚洲视频99| 超碰69天堂| 色婷婷视频| 丁香五月婷婷激情中文| 婷婷社区五月天| 99热亚州综合| 久鲁鲁色网 | 99精品在线观看| 亚洲精品性色| 色五月婷婷丁香五月| 久久婷婷一级片| 国产 亚洲 在线| 五月丁香色狠狠干大屄| 久99| 99精品视频推荐| 天天人人天天爽| 狠狠色噜噜狠狠狠888| 丁香五月偷拍| 久久婷丁香五月| 5月丁香六月情| 超碰在线人人| 大香蕉娱乐| 婷婷五月天伊人在线| 五月欧美丁香在线观看| 99热10在线高清播放| 99久热| 色五月激情网| av婷婷丁香| 五月丁香怕啪啪| 五月婷婷视频在线观看| 99欧美热| 免费AV黄在线播放| 狼人久草| 99精品久久久久| 99热精品免费在线观看| 国产黄大片在线观看画质优化| 欧美久久婷婷| 五月丁香婷婷深深爱| 久久色大香蕉| 成人久久天天x资源站| 成人网在线视频| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 成人免费在线电影| 狠狠色丁香久久综合婷婷亚洲成人福利 | 久久婷婷五月综合伊人| 婷婷五月婷婷| 久久天堂女人| 五月综合缴情网| 婷婷六月色| 九九热婷婷| 五月丁香基地| 成人国产欧美大片一区| 丁香五月天导航| 丁香五月婷婷五月| 激情婷| 日本婷婷丁香五月| 人妻久久久久久久 | 久久这有这里精品| 亚洲第一第二网站| 91久久婷婷| 91色逼| 午夜免费高清AV片| 综合激情站| 久草九一| 久久综合热17c| 久久久五月天| 色一情一乱一乱一区91Av| 天天干天天干天天干天天干天天干| 综合色图婷婷| 人妻肉射免费观看| 九九婷婷五月天| 99热日本| 婷婷五月综合国产精品| 丁香五月成人在线| 婷婷5月久久综合网站| 亚洲综合干| 性无码专区无码| 六月色伊人婷婷| 99综合免费视频| 异能之下短剧免费观看全集| 狠狠操狠狠操| 久久久久久久久久久久久久人妻视频| 五月婷丁香| 激情五月综合网| 欧美va在线| 色综合99| 中文人妻AV久久人妻18| 色大综合| 激情综合五月丁香六月婷婷| 五月丁香六月婷婷在线观看| av在线免费网站 | 日韩无码专区| 这里只有精品视频在线| 无码天天操| 国产五月视频| 免费五月婷婷网| 欧美激情 日韩无码 婷婷 五月天| 六月丁香久久| 天天操天天曰天天射| 激情啪啪五月| 99热综合| 国产 码在线成人网站| 思思热思在线精品视频| 九九爱激情| 天天久综合| www.yw色| 天天天天天日| 日日操夜夜爽天天天| 国产真实乱了老女人视频| 婷婷激情丁五月| 色婷婷91激情小说| www.色综合.com| 久热黄色| 激情久久久| 国产精品色一哟哟| 国产44页| 亚洲精品国产成人AV在线| www.激情.com.| 疯狂做受XXXX高潮A片动画| 五月综合六月婷婷| 久青操| 99爱视频在线| 婷婷丁香色五月久久88| 91色涩| 久久婷婷六月综合| 艹| 久艹伊| 91操片| 色婷婷五月天激情在线播放| 综合久久综合五月天婷婷| 国产.亚洲.欧洲视频在线| 五月丁香久人妻中文| 高清资源站日A美A欧亚…| 五月激情婷婷在线| 婷婷99| 香蕉AV777XXX色综合一区| 亚艹艹| 日本精品干| 五月婷婷啪啪| 久久亚洲婷婷| 欧美日朝成人| 午夜AV网| 六月婷婷色综合| 这里只有免费的精品| 亚洲无码黄色| 亚洲免费看片| 婷婷五月激情五月激情| 久久久网站| 丁香五月天成人| 九九大香蕉黄色影院| 婷婷色五月偷拍| 久久九九一區| 色婷久久| 久久综合五月天| 性爱动图国产麻豆一区二区三区| AV片在线观看| 九九热精品视频| 日韩欧美一级大黄网站| 99激情网| 日韩色色一区| 大香焦啪啪啪| 日本激情综合| 久久久久久久久人妻| 色婷婷狠狠18禁| 69热91天堂| 色玖玖| 99热这里有精力| 开心婷婷五月激情网小说| 国产亚洲色婷婷久久99精品9j| 九九热九九| 亚洲情a| ss五月天激情| WWW.99热| 六月丁香深深爱综合网| 九九热中文| 涩 五月 婷婷 狠狠| 日本精品在线噜噜噜| 开心五月激情网| 久久精品一区二区三区四区| 九月色婷婷婷| 人人综合久| 99视频超级精品| 五月丁香六月色情网欧美| 五月天六月婷婷电影| 九九热在线精品视频| 久久99久久99精品免视看婷| 欧美槡BBBB槡BBB少妇| 亚洲美女裸体被操在线观看| 26uuu丁香婷婷五月| 在线国产精品色| 99色播| Www.激情| 91黄操| 五月综合色| 97碰在线视频| 欧美三级大片AA在线看| 五月婷婷激情综合| 俺去也在线视频| 超碰在线免费9| 国产精品成人在线| 激情色情五月天| 婷婷五月av| 五月婷婷,六月激情| 婷婷狠狠操| 人人摸人人干| 99综合成人视频在线观看| 五月丁香婷婷色| 丁香五月天BBw| 九月综合| 在线中文AV| 91色综合网| 日日射天天射| 欧美99热| 久久99草五月婷婷| 五月天日日操夜夜操| 热99热9| 久久九色| 超级碰碰碰久久网站视频| 色婷婷狠狠爱| 五月婷婷之美女图片| 五月天色图| 99视频热99| 色墦五月丁香| 人人人操97| 120分钟婬片免费看| 人人操9| 91精品综合久久久久久五月丁香| 久久色情综合免费网站| 久久怡红院| 色噜久| 婷婷丁香五月激情中文字幕版| 婷婷五月综合啪| 男女啪啪做爰高潮无遮挡| 久久婷婷五月综合色奶水99啪| 天天 日综合| 激情视频综合| 玖玖99婷婷| 婷婷精品| 色99在线| 久99在线| 中文久久久人妻| 日本九九视频| 伊人大香蕉毛片| 99er这里只有精品| 久婷五月| 91九色偷拍| 都市激情久久| 五月天久久综合| 精品国婬伦V无码久久久| 轮奸综合网| 天天人人人人人人人人人人人| 国产欧美日韩综合精品一区二区| 婷婷五月综合社区| 婷婷五月天免费视频| 中文字幕人妻熟女在线| 丁香五月自拍| 99热这里只有精品9| 在线看片h站| 视频这里只有精品| 9精品在线| 人妻Av在线| 狠狠干天天内射| av色婷婷| 888久久久| 第一区久久网站| 99精品视频免费观看| 亚洲无码yw| 九九视频这里有精品| 午夜天堂一区人妻| 婷婷第六色| 色99热| 婷婷五月激情基地| 色亚洲视频| 久久婷婷精品| 丁香五月欧美色综合| 亚洲成人噜噜| 婷婷丁香91综合| 丁香五月婷婷动漫| 狠狠干,狠狠操| AV在线中文| 亚洲五月天另类小说图片| 五月丁香亚州综合网| 久香草视频在线观看| www.五月天| 婷婷五月天色色| 国产精品色| 毛v一区二区视频| 五月丁香久久激情网| 婷婷六月天| 久久色婷婷| www.maotanji.com| 欧美色偷拍| 99性色| 丁香五月婷婷av影院| 99久久思思| 亚洲色婷婷| 亚洲人妻av| 激情五月综合婷婷| 欧美亚洲成人在线| 色综合色| 五月天另类图片区99| 国产精品VA在线| 丁香六月欧美| 狠狠操狠狠操AV| 婷婷综合另类| 亚洲男女激情| 色五月婷婷91| 久久激情五月婷婷| 六月丁香婷婷色狠狠久久| 久久九九色| 97日本在线| 色婷婷视频在线| 98热精品| 激情久久丁香| 丁香五月日韩| 久久xx| 影音先锋按摩| www五月| 五月婷丁香在线视频在线| 亚洲国产精品VA在线看黑人| www.五月激情红色| 久久综合55| 久久99热这里只有精品| 91日韩美女被插视频| 五月天激情网图片| 2020日日干| 成人AV中文字幕| 琪琪色五月天| 开心五月婷婷| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 日韩丁香涩| 激情网综合| 久久99免费视频| 97色操| 大香蕉综合在线| 五月丁香啪啪网| 日韩六六久久电影| 香蕉色色网| 中文成人在线| 五月丁香婷婷综合| 色婷婷成人做爰A片免费看网站| 人人干人人操人人摸人人做| 国产九月婷婷| 色噜噜五月天| 狠狠舔| 少妇AB又爽又紧无码网站| 色婷婷五月亚洲| 97国产精品女人碰碰| 综合一区二区三区| 操碰99| 色99视频| 五月激情基地| 国产资源在线视频| 婷婷激情图片| 六月婷婷亚洲| 久久婷婷人人| 日本色婷婷| 乱轮A片| 色色色区| 九九热最新| 涩五月色婷婷| 91精品婷婷国产综合久久| 亚洲操操操| 久久五月天色| 婷婷五月激情综合| 婷婷五月天国产传媒| 五月天激情综合| 久久色五月天| 日韩精品VIP| 中文字幕在线播放视频| 五月色婷婷综合丁香精品无遮挡| 亲子乱av一区二区三区的| 91精品婷婷国产综合久久| 深爱婷婷色| 婷婷五月色惰| AAA久久| 五月婷精品| 激情av在线| 亚洲午夜电影| 天天日天天爽夜夜爽| www.久久爱| 狠狠操狠狠色| 996er热| 怡红院院久久| 日本婷久久| 51精品国自产在线| 九九大香视频| 很很干在线视频| 久草狼人| 日本一级黄色片。| 外国碰视频网站97| 天天狠狠色噜噜| 五月婷婷偷拍| 久久婷婷青青草| 欧美丁香五月97色| 色综色五月天婷婷| 久久免费精品小视频| 99精品九九| 色婷婷婷婷| 婷婷成人五月天成人文学小说| 久久99免费视屏| 97涩婷婷婷婷基地| 99色色网| 91色吧网| 色5月婷婷| 免费九九热| 99九九免费精品| 丰满人妻一区二区三区| 综合图片色色| 欧美丁香六月激情视频| 婷婷人人操| 99在线资源视频| 深爱婷婷网| 五月成人天| 91碰| 天天色凹凸| 日本色婷婷| 日本在线视频播放91| 97好吊操| 美女丁香五月天| 成人在线综合| 激情五月婷婷丁香综合网| 久久9视频| www.色9| 久久久精品人妻录| 欧美色色色色色色色色色色影视| 9l视频自拍九色9l视频在线观看| 色色色九九九五月婷婷| 91一起操| 玖玖综合色| 婷婷五月天天天| 五月丁香人人婷婷在线观看| 色婷婷操逼| 色婷九九九| www五月婷婷88导航| 婷婷五月天视频| 91超级碰在线视频| 色婷婷丁香五月天在线观看| 亚洲久久婷婷| 欧美激情丁香五月天久久婷婷一区| 97色片| 99久久.www| 激情玖玖综合网| 日本少妇裸体做爰高潮片| 99热.com| 亚洲欧洲中文日韩久久AV乱码| www.婷婷网| 婷婷99中文字幕| 97爱综合| 大香蕉AV电影在线| 丁香五月花| 午夜丁香| 色人久久| 久久婷丁香五月| 婷婷五月天小说网| 99热日韩| 五月婷婷久久网| 亚洲天堂亚洲色色色| 99热只有精品综合| 久九色| 九九热99视频在线| 综合色色综合| 丁香激情五月少妇| 丁香五月 激情文学| 色婷婷激情视频| 99热超碰人| 婷婷丁香五月综合网| 激情内射人妻1区2区3区| 99热久久这里只有精品| 这里只有精品视频| 婷婷五月丁香六月| 五月激情六月综合| 欧美人妻一区二区| 天干夜夜操| 成人 视频免费观看网站| 丁香六月婷婷色XXXXX| 另类激情五月| 五月丁香在线精品| 激情综合自拍五月婷婷色五月| 99小视频在线| www,五月天com| 五月天综合在线| 国产白丝在线一区| 丁香五月综合婷婷| AAA久久| 五月天综合网| 五月丁香婷婷爱激情综合网| 狠狠大香婷婷爱| 婷婷激情五月天综合| 天天做天天爱天天摸| 亚洲综合网区| 草操AV在线| 深爱激情五月天色婷婷| 东北婷婷五月天| 日本va视频| 五月婷婷激情四月| 久久九九热视频| 99爱视频| 97在线综合| 色区久久| 超碰碰碰碰| 婷婷丁香社区| 97色射| 激情婷婷22月间| 婷婷 丁香 久久| 4399在线观看免费毛片| 婷婷射丁香| 色播丁香| 日本色婷婷五月天成人电影| 26UUU亚洲欧美| 一级二级香港秋霞欧美欧美秋霞| 久久色这里只有精品| 五月婷婷六月开心| 婷婷丁香人妻天天| 亚洲色网络| 婷婷五月天综合久久| 97精品综合久久| 99色色网| 人人播| 无遮挡国产高潮视频免费观看| 丁香婷婷成年| 人碰人人人玩91| 婷婷综合九月| 五月丁香啪啪综合| 婷婷丁香熟妇综合网| 五月丁香久久| 五月夜丁香| www天天爽| XX久久| 久久人妻精品| 在线看片h站| 超碰人人操人人9| 天天操中文字幕| 色婷婷基地在线| 日夜夜天天| 精品久久艹| 香蕉综合在线| 免费视频WWW在线观看网站| 97超碰,人人舔,人人操,人人摸| 国产欧美大香蕉一区| 爆乳熟女一区二区三区爆乳| 99re在线观看| 五月婷婷免费视频| 99热这里只有精| 99热这里是精品| 另类丁香五月天区图| 91久久电影| 天天射夜夜爽| 久久亚洲婷婷| 91色逼| 色婷婷成人做爰A片免费看网站 | 国产精品久久99| 怡红院99| www.狠狠艹| 丁香五月性| 亚洲欧美日韩VIP| 五月丁香综合成人社区| 视频综合网| 日韩在线五月天婷婷| 九九AV在线| 丰满少妇乱A片无码| 久久久久久久久久久44| 久久久18| site:feetmall.com| 五月丁香婷婷综合久久| 青草青草视频2免费观看| 色综合久久8| 五月天久久www| 另类图片激情五月天| 色婷婷久久综合久色综| 久久小视频| 日本人妻久久| 亚洲va日| 日日夜夜狠狠干| 九九av| 六月丁花香啪啪激情欧美| 亚洲无aV在线中文字幕| 色综合播放| 可以免费观看的av| 日本欧美成人片AAAA| 色色影院黄大片| 99高级会所久久| 五月婷婷五月天| 中文幕无线码中文字蜜桃| 国产AV不卡福利| 色综合爱综合| 99爽视频| 婷婷干| 五月停亭六月,六月停亭的英语 | 九九激情网| 综合久久久婷| 色婷五月天亚洲| 97欧美在线| se色婷婷视频| 五月婷婷深深的爱| 六月丁香激情网| 超碰免费在线| 99碰网站| 亚洲五月天婷婷在线| site:pnnrt.com| 99资源在线| 婷婷深爱五月亚洲综合| 亚洲AV成人精品日韩在线播放| 伊人久久丁香五月91| 色综合夜夜| 5五月综合网亚洲| 99热网精品| 91成人品| 99热日韩| 五月天婷婷色| 成人av中文字幕| 色婷婷色五月天| 久久精品国产一区二区三区四区| 99久久精品色老| 午夜做爱影院| 中文字幕精品无码一区二区| 国产婷婷五月天| 五月激情天天干| 农村熟妇高潮精品A片| 色播六月| 另类视频五月天| 婷婷六月天国产综合| 天天做天天视天天谢| 99riAv1国产在线观看| 色色色色色日韩午夜激情 | 一起草AV| 婷婷色在线播放| 激情综合丁| 99热.com| 99riAv1国产在线观看| 亚洲99精品欧美一区| 九八Av| 深情六月婷婷综合久久| 97碰碰视频在线观看| 婷婷综合干| 欧美操人| 婷婷午夜精品久久久| 激情五月天婷婷色色色色色色色色色色色| 色综合久久88色综合中文字幕| 婷婷久久大香蕉| 欧美影院婷婷| 丁香五月激情五月开心五月| 亚洲无AV在线中文字幕| 五月丁香在线视频观看| 99久re热视频精品98| 婷婷激情人妻| 五月天天天色| 五月停停99| 婷婷五月天性| 五月天伊人| 《诡秘之主》在线观看| 武则天精品久久| 踪合专区啪啪| 99热这里只有精品4| 奇米色大香蕉| 色久综合天天做视频| 国产伦亲子伦亲子视频观看| 日韩砖区| 天天插天天干| 激情五月综合网| 91狠狠色| 日韩99视频| av人人干| 在线色婷婷| 亚洲色情一区二区三区四区| 综合婷婷| 五月天激情站| 国产成人+综合亚洲+天堂| 天天色综合天天| 久久六月综合| 九九热这里只有精品7| 国产成人+综合亚洲+天堂| 91碰| 91丨九色丨丰满人妖| 99re在线视频| 97干欧美| 久久作爱| 97人人射| 丁香无月在线观看| 久久婷婷视频| 五月色婷婷在线观看| 亚洲综合色色色| 另类视频综合| 免费AV播放| 丁香婷婷色五月| www.夜夜操.com| 色狠狠999综合网| 天天日天天舔| 婷婷五月 丁香六月| AA片在线观看视频在线播放| 人人干天天操五月丁香| 精品亚洲国产成AV人片传媒| 婷婷四色五月| 日韩欧美成人网| 久久婷婷六月综合| 久热伊人9| 婷婷涩涩五月天| 大香蕉啪啪| 99热97| 五月婷婷久久激情 | 98色丁香五月婷婷综合网| 另类小说五月天| 9操在线| 天天狠狠夜夜狠狠2023| av 一区三区四区| 亚洲爆乳无码精品AAA片蜜桃| 亚洲天堂AAA| 1024欧美看片| 高清无码入口| 日韩在线视频中文字幕| 五月在线| 啪啪五月天啪啪| 91在线97视频| 丁香婷婷社区| 原琪琪色影院| 国产精品色| 综合性视频99| 九月婷婷激情久久| 久久五月天视频| 亚洲婷婷五月天在线激情综合网| 婷婷五月天在线观看| anquye五月| 操碰99在线视频观看| 开心五月深爱婷婷| 成人综合视频在线| 久久这里都是精品| 人妻内射麻豆视频| 老师高潮流白浆喷水的A片| 五月婷婷网五月在线| 成人AV网站在线| 久久五月视频| 日 日干 日日做| 午夜激情四射影院| 免费黄色AV| 五月天婷亚洲天综合网综合| 一起草AV入口| 夜夜综合色| 99热在线观看精品| 狠狠操狠狠插| 五月婷婷五月天亚洲无码| 国产综合81p| 来吧亚洲综合网| 五月丁香婷中文字幕| 欧美久人人| 久久总和99| 成人色站,在线视频,看片-SS1AV| 伊人在线另类| 91视频一起草| 狠狠色丁香99| 久久日九九| 香蕉婷婷| 97久久香草精品视频| 丁香五月九九| 婷婷五月六月丁香| 婷婷亚洲在线| 99九九精品视频| 日本99热| 婷婷五月噜噜| www.91操| 综合六月久久| 久久 婷婷 五月天| 色噜噜狠狠色综合日日免费| 看逼中文字幕| 思思热视频在线观看| 色 丁香婷婷| 欧美天天搞| 日本一级一级一级一级| 久狠日av| 99精品久久| 性爱111111| 九色PORNY自拍成人精彩视频| 六月香五月婷| 黄色91在线观看| 99热91| 99精品综合视频| 婷婷月五天在线在线看| 婷婷五月综合丁香久久| 丁香六月婷婷色播| 久久久精品视频79| 日本在线观看aaa 99| 色五月婷婷中文字幕| 天天爽天天干天天| 丁香五月综合高清在线| 丁香五月天激情四射网络不好| 99视频内射三四| 99福利视频| 亚洲AV综合网| 日本精品人妻无码77777| 色偷偷五月天| 26uuu美女三级视频| 性爱五月婷婷| 国外亚洲成AV人片在线观看| 99热免费| 精品成人无码A片观看香草视频| 97人妻碰碰碰久久| 任你躁XXXXX麻豆精品| 久久久久久激情| 这里只有精彩视| 久热只有这里有精品| 美女伊人久久| 欧美电影在线观看| 五月婷婷激情| 成年人看Va免费视频| 777久久综合视频| 欧洲亚洲午夜| 碰碰人人人| 婷婷狠狠操| 极品人妻VideOssS人妻| 天天爽天天弄| caop在线视频| www.99免费视频| 91人人人人人| 婷婷五月丁香六月| 思思热在线| 婷婷五月六月激情| 99,色| 亚洲无码yw| 任你搞免费视频观看| 婷婷五月激情综合| 大香蕉久热| 噜噜色com| 午夜 外网 精品 在线| 日本三级日本三级99| 最新日韩久热免费视频看看| 伊人香大香蕉视频| 91日韩在线| 99久超碰| 69er小视频| 五月丁香婷婷综合在线| AV在线大香蕉| 久久九九re热| 天天肏在线| 亚洲综合激情五月久久| 操操自拍| 激情五月天伊人影院| 色情五月天首页| 人妻22p| 97人操| 亚洲色频| www.91av.com| 丰满老熟妇BBBBB搡BBB| 五月丁香综合| 国产激情av| 五月婷婷天天| 婷婷情色激情| 99久久99热这里只有精品| 亚洲中文无码成人| 国产综合色婷婷精品久久| 视频1区2区| 亚洲欧美日韩另类| 五月综合人妻| 91蝌蚪窝视频在线| 99久久99综合| 日本欧美成人片AAAA| 婷婷综合网| 99爱爱| 五月开心网| 人妻操逼视频| 99日本精品视频热| 久久综合性| 婷婷91| 五月色婷| 黄色片区子| 超碰人人干| 9久精品视频| 欧美熟女99| www.99热视频| 久久久婷婷婷| 99在线小视频| 国产亚洲色婷婷久久99精品91| www.久久爱.com| 久久思思热| 人妻少妇色综合| 日韩三级高清无码| 色五月丁香五| 五月婷婷中文字幕| 婷婷丁香五月天色区| 五月婷婷少妇之| 欧美婷婷五月无砖| 久热2025无码| 日本狠狠爽| 久久天天天| 狠狠色婷婷在线| 激情五月天色色| 色九区| 色五月成人| 人妻22p| 久久精彩综合视频| 亚洲色色色色色色色色色| 五月天激情小说| a色色色色色| 色视频2025| 久久久久久草黄色片AV在线观看| 激情六月下句是什么| 国产在线6| 婷婷丁香五月视频| 六月五月久久丁香| 国产一级婬片毛片| 五月色俺婷婷| 天天日,天天插| 五月丁香777| 五月天天天天天天天天天天天天天天天婷婷婷| 亚洲操操操| 黄色五月婷婷| 久久丁香五月天| 国产精产国品一二三在观看| 六月丁香五月婷婷| 日本操天堂| 久久五月婷综合网| 射久久丁香五月| 亚洲操操| 婷婷五月天 偷拍| 这里只有精品网站| 激情久久久久久久久|