欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

從CLIP到SigLIP再到VLM:視覺特征如何對(duì)齊到語言模型

從CLIP到SigLIP再到VLM:視覺特征如何對(duì)齊到語言模型 視覺大模型這幾年迭代得非??鞆淖钤绨褕D像和文本拉到同一個(gè)語義空間的 CLIP到用 Sigmoid 損失把對(duì)比學(xué)習(xí)做得更干凈的 SigLIP再到現(xiàn)在動(dòng)輒能看圖說話的 VLM視覺大語言模型這條演進(jìn)線其實(shí)回答了一個(gè)很樸素的問題一張圖到底是怎么被塞進(jìn)一個(gè)只會(huì)處理文字的大語言模型里的很多人第一次接觸 VLM 的時(shí)候腦子里會(huì)冒出一堆問號(hào)——圖像明明是像素矩陣語言模型吃的是 token 序列這兩者中間到底發(fā)生了什么視覺特征是怎么翻譯成模型能理解的東西的為什么有的方案要凍結(jié)視覺編碼器有的又要聯(lián)合訓(xùn)練我前后折騰過幾套本地部署的視覺問答流程也踩過不少坑這篇就把 CLIP、SigLIP 到 VLM 這條鏈路拆開講清楚從對(duì)比學(xué)習(xí)的原理到視覺特征如何對(duì)齊到文本空間再到它怎么接進(jìn)大語言模型盡量把每一步的為什么都說明白。不管你是剛聽說 CLIP 想搞懂它到底在干嘛還是已經(jīng)在做 VLM 微調(diào)想理清底層邏輯應(yīng)該都能從里面找到點(diǎn)有用的東西。1. 先把 CLIP 這件事講透它到底對(duì)齊了什么1.1 對(duì)比學(xué)習(xí)不是分類而是配對(duì)打分很多人第一次看 CLIP會(huì)下意識(shí)把它當(dāng)成一個(gè)圖像分類器覺得它輸出的就是這是貓還是狗。這個(gè)理解偏了。CLIP 的核心不是分類而是判斷一張圖和一段文字是不是一對(duì)。它的訓(xùn)練數(shù)據(jù)是海量的圖像文本配對(duì)比如一張狗的照片配上一只在草地上奔跑的金毛。訓(xùn)練目標(biāo)很簡(jiǎn)單讓真正配對(duì)的圖文對(duì)在特征空間里靠得近讓不配對(duì)的離得遠(yuǎn)。具體怎么做的一個(gè) batch 里假設(shè)有 N 個(gè)圖文對(duì)CLIP 會(huì)分別用圖像編碼器和文本編碼器把它們編碼成 N 個(gè)圖像向量和 N 個(gè)文本向量然后算一個(gè) N×N 的相似度矩陣。對(duì)角線上的 N 個(gè)是真實(shí)配對(duì)正樣本其余 N2-N 個(gè)是錯(cuò)配負(fù)樣本。訓(xùn)練就是讓對(duì)角線上的相似度盡量高非對(duì)角線盡量低。這就是所謂的InfoNCE 對(duì)比損失。這個(gè)設(shè)計(jì)的關(guān)鍵在于CLIP 從來不需要人工標(biāo)注這張圖是貓它只需要這張圖和這句話是一起的?;ヂ?lián)網(wǎng)上天然存在大量圖文共現(xiàn)的數(shù)據(jù)這讓 CLIP 能吃到幾乎無限規(guī)模的訓(xùn)練信號(hào)。這也是它泛化能力強(qiáng)的根本原因——它學(xué)到的不是某個(gè)固定類別的判別邊界而是一個(gè)圖文共享的語義空間。1.2 雙塔結(jié)構(gòu)圖像和文本各走各的路CLIP 是典型的雙塔dual-encoder結(jié)構(gòu)。圖像塔通常用 ViT 或者 ResNet文本塔用 Transformer。兩塔在訓(xùn)練時(shí)各自獨(dú)立編碼最后只在算相似度的時(shí)候才碰面。這個(gè)設(shè)計(jì)帶來一個(gè)非常實(shí)用的好處圖像特征可以預(yù)先算好緩存起來。做檢索的時(shí)候你不需要每次把圖片重新過一遍編碼器只要把文本編碼后去和緩存的圖像向量做點(diǎn)積就行速度極快。但雙塔也有代價(jià)。因?yàn)閳D像和文本在編碼階段完全沒有交互模型沒法做細(xì)粒度的跨模態(tài)推理。比如你問圖中左邊那只貓是什么顏色CLIP 就很難精確回答因?yàn)樗鼔焊鶝]有左邊這種空間關(guān)系的建模能力它只知道整張圖和整句話的全局相似度。這個(gè)局限恰恰是后來 VLM 要解決的問題。1.3 溫度系數(shù)與 logit 縮放一個(gè)容易被忽略的細(xì)節(jié)CLIP 的相似度計(jì)算里有個(gè)可學(xué)習(xí)的溫度系數(shù)temperature通常記作 τ。它作用在 softmax 之前控制相似度分布的尖銳程度。溫度低分布尖銳模型對(duì)正樣本的置信度要求高溫度高分布平緩梯度更柔和。CLIP 把這個(gè)溫度設(shè)成可學(xué)習(xí)參數(shù)讓模型自己在訓(xùn)練中找合適的尺度。這個(gè)細(xì)節(jié)在實(shí)際微調(diào)時(shí)很重要。我見過不少人微調(diào) CLIP 時(shí)直接固定溫度結(jié)果模型收斂得很別扭。原因是不同數(shù)據(jù)集的相似度數(shù)值范圍差別很大固定溫度會(huì)讓 softmax 要么飽和要么過于平坦。建議微調(diào)時(shí)保留溫度可學(xué)習(xí)或者至少根據(jù)你的數(shù)據(jù)規(guī)模重新初始化一個(gè)合理的值。2. SigLIP 改了什么從 softmax 到 sigmoid 的那一步2.1 softmax 對(duì)比損失的全局歸一化之痛CLIP 用的 softmax 對(duì)比損失有個(gè)隱含要求它需要在整個(gè) batch 內(nèi)做歸一化。也就是說每個(gè)樣本的損失都依賴于 batch 里其他所有樣本。這帶來兩個(gè)實(shí)際問題。第一batch 必須足夠大。batch 小的時(shí)候負(fù)樣本太少對(duì)比信號(hào)弱模型學(xué)不好。CLIP 當(dāng)年用了三萬多的 batch size這個(gè)規(guī)模對(duì)絕大多數(shù)團(tuán)隊(duì)來說根本玩不起。第二多卡訓(xùn)練時(shí)通信開銷大。因?yàn)橐缈ㄗ鋈謿w一化梯度同步和 all-gather 操作很重?cái)U(kuò)展性受限。2.2 sigmoid 損失把多分類拆成多個(gè)二分類SigLIP 的思路很直接既然 softmax 需要全局歸一化那我干脆不用 softmax改用sigmoid。具體來說它不再把 N×N 的相似度矩陣當(dāng)成一個(gè)多分類問題每行選一個(gè)正確列而是把每個(gè)格子當(dāng)成一個(gè)獨(dú)立的二分類問題——這個(gè)圖文對(duì)是真配對(duì)還是假配對(duì)正樣本標(biāo)簽為 1負(fù)樣本標(biāo)簽為 0各自算 binary cross-entropy最后求和。這個(gè)改動(dòng)看似小影響卻很大。因?yàn)槊總€(gè)格子的損失只依賴它自己不再需要跨樣本的全局歸一化。這意味著 batch 可以小很多多卡訓(xùn)練時(shí)也不用做昂貴的全局同步。SigLIP 論文里明確說了在小 batch 下它的表現(xiàn)明顯優(yōu)于 CLIP而且訓(xùn)練更穩(wěn)定。2.3 實(shí)際選型什么時(shí)候用 CLIP什么時(shí)候用 SigLIP從我自己的使用經(jīng)驗(yàn)看選型主要看兩個(gè)維度算力規(guī)模和下游任務(wù)。維度CLIPSigLIP訓(xùn)練 batch 需求大數(shù)萬級(jí)小數(shù)千級(jí)即可多卡擴(kuò)展性一般需全局歸一化好無全局依賴小數(shù)據(jù)微調(diào)容易過擬合相對(duì)更穩(wěn)零樣本分類成熟生態(tài)全表現(xiàn)相當(dāng)或更好生態(tài)與工具鏈極豐富逐步完善如果你是要做零樣本分類、圖文檢索而且手頭有現(xiàn)成的 CLIP 權(quán)重和工具鏈直接用 CLIP 系列完全沒問題生態(tài)成熟省事。如果你要自己從頭訓(xùn)或者在小規(guī)模數(shù)據(jù)上微調(diào)SigLIP 的 sigmoid 損失會(huì)讓你省心很多尤其是 batch 上不去的時(shí)候?,F(xiàn)在不少開源 VLM 的視覺塔已經(jīng)默認(rèn)換成 SigLIP 了比如一些主流的開源多模態(tài)模型視覺編碼器用的就是 SigLIP 的變體。提示SigLIP 的 sigmoid 損失在實(shí)現(xiàn)時(shí)要注意正負(fù)樣本的平衡。如果負(fù)樣本遠(yuǎn)多于正樣本N×N 矩陣?yán)镞@是必然的直接求和會(huì)讓負(fù)樣本主導(dǎo)梯度。常見做法是對(duì)正負(fù)樣本的損失做加權(quán)或者用 focal 式的調(diào)制。3. 視覺特征怎么翻譯成語言模型能吃的 token3.1 投影層一座必須存在的橋CLIP 和 SigLIP 輸出的圖像特征是固定維度的向量序列比如 ViT-L/14 輸出的是 768 維。而大語言模型的輸入是詞嵌入維度可能是 4096。這兩者維度不一樣語義空間也不一樣。所以中間必須有一個(gè)投影層projection layer把視覺特征映射到語言模型的嵌入空間。這個(gè)投影層的形式有好幾種。最簡(jiǎn)單的是一個(gè)線性層Linear直接把視覺維度映射到語言維度。稍微復(fù)雜點(diǎn)的是 MLP比如兩層帶 GELU 激活的全連接。還有用Q-Former的比如 BLIP-2 那套用一組可學(xué)習(xí)的 query 向量去查詢視覺特征壓縮成固定數(shù)量的視覺 token。不同方案各有取舍線性層參數(shù)少、訓(xùn)練快但表達(dá)能力有限Q-Former 表達(dá)能力強(qiáng)能把變長(zhǎng)的視覺特征壓成固定長(zhǎng)度但訓(xùn)練更復(fù)雜需要額外的預(yù)訓(xùn)練階段。3.2 視覺 token 的數(shù)量一個(gè)被低估的工程問題一張圖經(jīng)過 ViT 編碼后會(huì)產(chǎn)生多少個(gè)視覺 token以 ViT-L/14 為例輸入 224×224 的圖patch size 是 14那么 patch 數(shù)量是 (224/14)2 256 個(gè)加上一個(gè) cls token 就是 257 個(gè)。如果輸入分辨率提高到 336×336patch 數(shù)就變成 576 個(gè)。這些 token 全都要送進(jìn)語言模型會(huì)占用大量上下文長(zhǎng)度。這是個(gè)很現(xiàn)實(shí)的工程問題。語言模型的上下文窗口是有限的如果一張圖就吃掉幾百個(gè) token那多圖輸入或者長(zhǎng)對(duì)話就很容易爆。所以實(shí)際系統(tǒng)里通常要做視覺 token 壓縮。常見手段包括用 Q-Former 壓到固定的 32 或 64 個(gè) token用池化pooling對(duì)相鄰 patch 特征做聚合或者用 perceiver 式的交叉注意力做重采樣。我實(shí)測(cè)下來把視覺 token 從 576 壓到 64在多數(shù)問答任務(wù)上性能損失很小但顯存和延遲改善非常明顯。3.3 拼接方式視覺 token 放在哪影響很大視覺 token 投影完之后怎么和文本 token 拼在一起送進(jìn)語言模型這也有講究。最常見的是前綴拼接把視覺 token 放在文本 token 前面形成 [視覺token][文本token] 的序列。語言模型的自注意力機(jī)制會(huì)讓后面的文本 token 去 attend 前面的視覺 token從而實(shí)現(xiàn)看圖。但前綴拼接有個(gè)問題視覺 token 和文本 token 在語義上是有斷層的模型需要額外的訓(xùn)練才能學(xué)會(huì)跨越這個(gè)斷層。有些方案會(huì)在視覺和文本之間插入特殊的分隔 token或者用特殊的 attention mask 來控制可見性。還有的方案比如一些早期工作用交叉注意力層讓文本 token 通過 cross-attention 去查詢視覺特征而不是簡(jiǎn)單拼接。這兩種路線各有擁躉前綴拼接實(shí)現(xiàn)簡(jiǎn)單、易于擴(kuò)展交叉注意力則更接近原生多模態(tài)的設(shè)計(jì)。4. VLM 的訓(xùn)練范式凍結(jié)、對(duì)齊、聯(lián)合到底怎么選4.1 三階段訓(xùn)練為什么不能一步到位現(xiàn)在主流的 VLM 訓(xùn)練基本遵循一個(gè)多階段范式雖然具體劃分各家不同但核心邏輯類似。第一階段是視覺-語言對(duì)齊。這時(shí)候通常凍結(jié)視覺編碼器和語言模型只訓(xùn)練中間的投影層。目的是讓投影層學(xué)會(huì)把視覺特征映射到語言模型能理解的語義空間。這個(gè)階段數(shù)據(jù)量可以很大但訓(xùn)練目標(biāo)相對(duì)簡(jiǎn)單就是圖文對(duì)或者簡(jiǎn)單的描述生成。第二階段是指令微調(diào)。這時(shí)候會(huì)解凍語言模型有時(shí)也解凍視覺塔的高層用圖文指令數(shù)據(jù)訓(xùn)練讓模型學(xué)會(huì)按照人類指令去描述圖像、回答問題。這個(gè)階段的數(shù)據(jù)質(zhì)量比數(shù)量更重要需要精心構(gòu)造的問答對(duì)。第三階段是偏好對(duì)齊可選。用人類反饋或者 AI 反饋來進(jìn)一步優(yōu)化模型的輸出風(fēng)格和有用性類似語言模型里的 RLHF/DPO。為什么要分階段因?yàn)槿绻簧蟻砭吐?lián)合訓(xùn)練所有參數(shù)視覺塔的梯度會(huì)非常嘈雜容易把預(yù)訓(xùn)練好的視覺表征破壞掉。分階段訓(xùn)練相當(dāng)于先搭好橋再讓兩岸的交通順暢起來。4.2 凍結(jié)視覺塔 vs 解凍一個(gè)反復(fù)被討論的取舍視覺塔到底該不該解凍這個(gè)問題在社區(qū)里爭(zhēng)論了很久。我的經(jīng)驗(yàn)是看你的數(shù)據(jù)規(guī)模和任務(wù)類型。如果你的下游任務(wù)和預(yù)訓(xùn)練視覺塔的領(lǐng)域差異很大比如醫(yī)學(xué)影像、遙感圖像那解凍視覺塔至少解凍高層是必要的否則視覺特征根本不適配你的領(lǐng)域。但解凍的代價(jià)是顯存占用上升、訓(xùn)練不穩(wěn)定、容易過擬合。這時(shí)候通常用較小的學(xué)習(xí)率配合 layer-wise learning rate decay。如果下游任務(wù)是通用的圖文問答而且數(shù)據(jù)量不大那凍結(jié)視覺塔、只訓(xùn)投影層和語言模型往往性價(jià)比最高。我做過對(duì)比實(shí)驗(yàn)在幾萬條通用 VQA 數(shù)據(jù)上凍結(jié)視覺塔的方案和全解凍方案性能差距在 1-2 個(gè)點(diǎn)以內(nèi)但訓(xùn)練成本差了好幾倍。4.3 數(shù)據(jù)配比視覺指令數(shù)據(jù)的隱形陷阱做 VLM 微調(diào)數(shù)據(jù)配比是個(gè)大坑。很多人把大量純文本指令數(shù)據(jù)和圖文指令數(shù)據(jù)混在一起訓(xùn)結(jié)果發(fā)現(xiàn)模型的語言能力沒退化但視覺能力提升很慢。原因在于圖文數(shù)據(jù)的比例被稀釋了。我的建議是在視覺指令微調(diào)階段圖文數(shù)據(jù)應(yīng)該占主導(dǎo)純文本數(shù)據(jù)只保留一小部分用來防止語言能力災(zāi)難性遺忘。具體比例沒有定論但圖文:純文本在 4:1 到 10:1 之間是比較常見的區(qū)間。另外圖文數(shù)據(jù)的任務(wù)多樣性比單一任務(wù)的數(shù)據(jù)量更重要。描述、問答、推理、定位這幾類任務(wù)都要有否則模型容易偏科。5. 本地部署 VLM 時(shí)踩過的那些坑5.1 顯存不夠視覺塔和語言模型誰更吃顯存本地部署 VLM第一個(gè)攔路虎就是顯存。很多人以為語言模型是大頭其實(shí)視覺塔在高分辨率下也很吃顯存。ViT 的注意力是 patch 數(shù)量的平方復(fù)雜度分辨率翻倍patch 數(shù)翻四倍注意力矩陣就翻十六倍。所以如果你要處理高分辨率圖像視覺塔的顯存占用可能超出預(yù)期。實(shí)操上幾個(gè)有效的省顯存手段降低輸入分辨率但會(huì)損失細(xì)節(jié)、用梯度檢查點(diǎn)gradient checkpointing、把視覺塔量化到 FP16 或 INT8。我實(shí)測(cè)下來把視覺塔單獨(dú)量化到 INT8精度損失很小但顯存能省下不少。5.2 圖像預(yù)處理被忽視的對(duì)齊問題CLIP 和 SigLIP 在訓(xùn)練時(shí)對(duì)圖像做了特定的預(yù)處理resize 到固定尺寸、歸一化用的均值和方差也是固定的。如果你部署時(shí)預(yù)處理不一致視覺特征就會(huì)偏移下游表現(xiàn)會(huì)明顯下降。這個(gè)坑我踩過——當(dāng)時(shí)用了默認(rèn)的圖像加載庫(kù)歸一化參數(shù)和訓(xùn)練時(shí)不一致結(jié)果模型回答質(zhì)量肉眼可見地變差。后來統(tǒng)一了預(yù)處理流程問題就消失了。注意不同視覺塔的預(yù)處理參數(shù)不一樣。CLIP 用的是 OpenAI 那套均值和方差SigLIP 用的是另一套。部署前一定要查清楚你用的權(quán)重對(duì)應(yīng)哪套預(yù)處理別想當(dāng)然。5.3 視覺 token 與上下文長(zhǎng)度的博弈前面提過視覺 token 會(huì)占用上下文。本地部署時(shí)如果你的推理框架對(duì)上下文長(zhǎng)度有限制多圖輸入或者高分辨率輸入很容易觸發(fā)截?cái)?。這時(shí)候要么壓縮視覺 token要么增大上下文窗口但顯存會(huì)漲。我的做法是根據(jù)任務(wù)動(dòng)態(tài)調(diào)整單圖問答用較高分辨率多圖對(duì)比用較低分辨率加 token 壓縮在效果和資源之間找平衡。5.4 配置文件格式Y(jié)AML 還是別的現(xiàn)在不少本地部署工具用 YAML 來管理配置參數(shù)模型路徑、量化方式、上下文長(zhǎng)度、采樣參數(shù)都寫在里面。YAML 的好處是可讀性好、層級(jí)清晰改起來直觀。但要注意 YAML 對(duì)縮進(jìn)極其敏感一個(gè)空格錯(cuò)了整個(gè)配置就廢了。我建議改配置時(shí)用帶 YAML 校驗(yàn)的編輯器改完先跑一遍語法檢查再啟動(dòng)能省不少排查時(shí)間。6. 從特征對(duì)齊到真正看懂還差什么6.1 對(duì)比學(xué)習(xí)學(xué)到的是全局相似不是細(xì)粒度理解回到最開始的問題CLIP 和 SigLIP 把視覺特征對(duì)齊到了文本空間但這個(gè)對(duì)齊是全局的、粗粒度的。它們擅長(zhǎng)判斷這張圖整體上是不是關(guān)于這個(gè)主題但不擅長(zhǎng)回答圖中第三個(gè)物體是什么顏色這種需要空間和關(guān)系推理的問題。VLM 通過把視覺特征接進(jìn)語言模型借助語言模型的推理能力在一定程度上彌補(bǔ)了這個(gè)短板。但要注意視覺塔本身的能力上限決定了 VLM 的視覺理解上限。如果視覺塔壓根沒編碼某個(gè)細(xì)節(jié)語言模型再?gòu)?qiáng)也推理不出來。6.2 視覺特征增強(qiáng)幾個(gè)實(shí)用的方向如果你想讓 VLM 的視覺理解更強(qiáng)除了換更大的視覺塔還有幾個(gè)方向可以試。一是多尺度特征融合把不同分辨率的視覺特征拼起來兼顧全局和細(xì)節(jié)。二是區(qū)域級(jí)特征先用檢測(cè)或分割模型框出感興趣區(qū)域再對(duì)每個(gè)區(qū)域單獨(dú)編碼喂給語言模型。三是視覺 token 的層次化組織讓語言模型能按需關(guān)注不同粒度的視覺信息。這幾個(gè)方向在近期的研究里都有不少探索實(shí)際效果因任務(wù)而異。6.3 一個(gè)常被問的問題VLM 能替代專用視覺模型嗎經(jīng)常有人問有了 VLM是不是就不用單獨(dú)訓(xùn)練檢測(cè)、分割模型了。我的看法是短期內(nèi)不能替代但能互補(bǔ)。VLM 強(qiáng)在開放域的問答和推理弱在精確定位和密集預(yù)測(cè)。檢測(cè)和分割任務(wù)需要像素級(jí)的輸出VLM 的輸出是文本 token天然不適合。但 VLM 可以作為調(diào)度器理解用戶意圖后調(diào)用專用的視覺模型這種組合在實(shí)際系統(tǒng)里越來越常見。7. 一些實(shí)操層面的經(jīng)驗(yàn)補(bǔ)充7.1 微調(diào) CLIP 時(shí)學(xué)習(xí)率怎么設(shè)微調(diào) CLIP 的視覺塔學(xué)習(xí)率通常要比從頭訓(xùn)練小一到兩個(gè)數(shù)量級(jí)。我一般從 1e-5 到 5e-6 起步配合 warmup。文本塔的學(xué)習(xí)率可以稍大一點(diǎn)因?yàn)槲谋舅念A(yù)訓(xùn)練表征相對(duì)更通用微調(diào)空間更大。如果只訓(xùn)投影層學(xué)習(xí)率可以到 1e-4 甚至更高因?yàn)橥队皩邮请S機(jī)初始化的需要快速收斂。7.2 評(píng)估 VLM 不能只看 lossVLM 的訓(xùn)練 loss 和實(shí)際生成質(zhì)量的相關(guān)性沒那么強(qiáng)。loss 降了生成的可能還是胡言亂語。所以評(píng)估一定要用生成式指標(biāo)比如人工評(píng)估、GPT 打分、或者任務(wù)特定的準(zhǔn)確率。我習(xí)慣在訓(xùn)練過程中定期抽樣生成人眼看幾條比盯著 loss 曲線有用得多。7.3 視覺塔的選擇不是越大越好ViT-L 比 ViT-B 大但不一定在你的任務(wù)上更好。大視覺塔需要更多數(shù)據(jù)才能訓(xùn)好小數(shù)據(jù)下反而容易過擬合。而且大視覺塔的推理延遲高本地部署時(shí)體驗(yàn)會(huì)打折。我的建議是先用中等規(guī)模的視覺塔跑通流程確認(rèn)任務(wù)可行后再考慮升級(jí)。7.4 關(guān)于視覺特征增強(qiáng)的一個(gè)誤區(qū)有人覺得視覺特征增強(qiáng)就是簡(jiǎn)單地把特征維度堆高、把 token 數(shù)加多。其實(shí)不然。特征的質(zhì)量比數(shù)量重要。一個(gè)經(jīng)過良好對(duì)齊的 64 維視覺 token可能比一堆沒對(duì)齊的高維特征更有用。增強(qiáng)的核心是讓視覺特征攜帶更多對(duì)下游任務(wù)有用的信息而不是單純?cè)黾有畔⒘俊?. 寫在折騰之后從 CLIP 到 SigLIP 再到 VLM這條線走下來我最大的體會(huì)是視覺進(jìn)入語言模型這件事本質(zhì)上是一個(gè)翻譯問題。CLIP 和 SigLIP 解決的是把圖像翻譯成文本語義空間里的向量投影層解決的是把這個(gè)向量翻譯成語言模型能吃的 token而 VLM 的訓(xùn)練范式解決的是讓語言模型學(xué)會(huì)理解這種翻譯后的輸入。每一層翻譯都會(huì)損失信息也會(huì)引入偏差理解這些損失和偏差在哪比記住某個(gè)模型的參數(shù)量更有用。實(shí)際做項(xiàng)目的時(shí)候我越來越傾向于夠用就好的原則。不是每個(gè)任務(wù)都需要最大的視覺塔、最多的視覺 token、最復(fù)雜的訓(xùn)練范式。先跑通最小可行流程測(cè)出瓶頸在哪再針對(duì)性優(yōu)化往往比一上來就堆配置更高效。視覺大語言模型這個(gè)方向還在快速演進(jìn)今天的最佳實(shí)踐明天可能就被推翻但底層的對(duì)齊邏輯和工程取舍短期內(nèi)不會(huì)變。把這些搞明白換什么模型都能快速上手。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
www五月| 色丁香五月婷婷| 九月色婷婷综合亚洲| 六月丁香六月婷婷欧美| 亚洲激情在线| 超91在线视频| 中文幕无线码中文字蜜桃| 激情 婷婷 丁香五月天| 五月天婷婷黄色视频| 国产XXXX搡XXXXX搡麻豆| 丁香六月色婷婷综合| 99re免费在线视频| 超碰色热| 激情玖玖sh| 丁香五月六月综合激情| 色情久久久| 久久性刺激| 欧美在线干| 婷婷开心激情五月激情网| 激情久久久久久久久| 久久精彩视频| 婷婷五月在线观看| 91九色中文字幕女在线观看| 婷婷五月色天| 亚洲a色| 五月丁香六月久久| 亚洲激情亚洲激情 | 精品一二三区久久AAA片| 色婷婷久久| 青青草蜜臀| 99热在线看| 开心五月色婷婷综合开心网| 大香蕉综合在线| 亚洲小视频| 久久久精品99亚洲综合| www.婷婷| 亚洲色综合| 免费看片操逼| 任你擦免费视频| 中文字幕人妻一区二区| 影音先锋自拍网| 99视频久久| 丁香五月天激情免费在线观看AV777| 26uuu.| 超碰男人色| 五月婷婷六月激情| 久久精品99国产精品日本| 超碰成人电影| 久久a热| 丁香五月区| 婷婷网五月天| 丁香婷婷色色| 天天操人人干| 日本少妇裸体做爰高潮片| 婷婷久草| 五月丁香婷婷综合| 久久精品A片777777| 97干婷婷| 九九热这里| 丁香色婷婷| 大香蕉综合在线| 五月综合丁香婷婷| 日日杆天天| 另类激情五月| 26uuu成人网| 91久久久久久| 伦乱天堂| 色色色色热热| 婷婷五月综合啪| www天天干| WWW五月天| 色五月婷婷成人视频| 五月婷免费视频久久久| 日本va欧美va欧美va| 色婷婷色婷婷五月| 99精品视频偷拍| 亚洲成人高清在线| 中文幕无线码中文字蜜桃| 免费看欧美成人A片无码| 99热播放| 六月丁香婷| 婷婷六月色| 一本大道嫩草AV无码专区| 婷婷五月天成人| 久久99久久99精品免视看婷婷| 婷婷五月天丁香花| 久久精品五月| 国产五月丁香在线| 黄色AAAAA| 日本色爽| 无码人妻少妇色欲AV一区二区| 亚洲乱码日产精品BD| 婷婷五月天av小说| 久99热| 十月丁香婷婷| 99热在线网站| 欧美色图天堂网| 色五月无码| 色色丁香五月婷婷| 亚洲精品在线视频| 超碰在线网站9| 久久久久久9热不雅视频| 色色色色色五月丁香| 99热在线精品播放| 五月婷婷亞洲中文| 五月天开心网| 激情五月婷婷视频一区二区三区| 九九热免费观看视频| 能直接看的AV网站| 久久久性爱视频| 极品少妇XXXX精品少妇偷拍| 黄久久久| 久久婷婷五月天综合| 婷婷少妇激情| 午夜在线成人网站免费观看| 亚洲精99| 婷婷五月天亚洲| 婷婷.com| 激情婷婷五月天伊人在线观看| 噜噜色com| 激情四射网| 中字幕视频在线永久在线观看免费 | 激情小说 五月天| 丁香影院五月综合| 婷婷五月丁香六月伊人网| 99热无码首页| 韩日另类| 久热最新视频| 久久婷婷五月| 九九热av| 成人丁香色| 91se视频| 五月婷深深爱激情网| 26uuu欧美| 国产精品久久久久久久久久免费| 99热无码精品| 色九月婷婷丁香| 色婷婷丁香五月丁香| 丁香六月婷婷综合网| 亚洲综合草草| 99男人天堂| AV国产有码| AV性爱在线| 97在线视频 欧美| 九月婷婷综合八月丁香在线观看| 天天弄天天操| 婷婷国产综合| 91AV婷婷| 婷婷丁香成人| 五月婷婷激情综合| 婷婷99狠狠| 丁XX 成人| 精品五月花| 99热99在线| 黄色高清无码| 色色a| 七七久久综合| 亚洲激情五月| 久久婷婷国产| 婷婷色五月天在线观看| 婷婷在线观看五月天在线视频| 97色久| 色狠狠综合入口| 五月丁香五月婷婷在线观看| www.99热在线| 婷婷激情综合| 熟女乱论网| 99九九视频| 婷婷五月色综合| 日撸夜撸日操| xxxx五月天色色| 亚洲国产色色| 五月天另类图片区99| 久久人妻伦理| 7777久久亚洲中文字幕| 99精品视频网| 曰曰久久| 国产SUV精品一区二区6| 99er6热在线观看精品6| 五月婷婷日本| 夜夜操夜夜操| 婷婷的五月天另类视频| 亚洲成人在线电影网站| 4399在线日本A片| 日婷婷久久开心| 婷婷六久久| 激情五月天无人视频在线| 亚洲精品一区无码A片| 先锋资源996| 五月天久久小说| 五月天综合视频网| 99热永久在线观看| 亚洲天堂AV综合网| 色99网| 激情文学天天| 色月丁| 色婷婷免费视频| www.99热视频| 日韩熟女啪啪视频| 婷婷丁香五月综合| 色婷婷五月天激情综合| 国产五月天婷婷| 丁香五月天啪啪| 99热精在线九九久久保| 538任你爽视频不一样的| 玖玖爱综合网| 可以免费看AV网站| 影音先锋xfplay资源男人网| 久久婷婷草| 久久综合99| 婷婷五月天在线综合导航| 色婷婷性爱网| 亚洲国产99| 综合热无码| 色色五月丁香婷婷综合| Av性爱网| 久久伊人婷| 欧美成人A片AAA片在线播放| 丁香六月综合| 欧洲高清免费久久| 五月天色婷婷激情综合| 影音先锋一区| 国产亚洲av片| 激情久久伊人| 天天色播| 99热免| 夜丁香五月婷婷| 538午夜激情| 91窝窝| 狠狠干综合| 婷婷深爱五月| 99热这里只有精品国产精品| 婷婷丁香高潮了| 九九99在线视频| 天天操夜夜操| 99操| 日韩色色视频| 成人AV免费观看| 五月婷婷性| 亚洲色婷婷色| 亚洲综合激情五月久久| 久久五月激情| 大香蕉婷婷丁香| 五月综合激情啪啪啪啪啪| 天天日,天天干,天天操| 操97| 亚韩在线视频| 91亚洲视频| 亚洲激情久久| 超碰国产在线| 黄网在线播放| 五月天激情小说网| 成人精品视频99在线观看免费| 天天操天天插| 色噜噜狠狠色综合成人网| 午夜美女人啪最红院| 欧美啪啪9| 五月婷天堂视频| 五月天激情四射| 色婷婷成人网| 五月丁香大香蕉| 99.N在线视频| 亚洲热久久| 亚州色婷婷| 玖玖综合网| 99热亚洲精品| 五月丁香六月婷婷姐| 丁香五月婷婷综合网| 人妻肉射免费观看| www.五月天。com| 五月永久激情| 久久机热这里只有精品| 国产精品久久7777777精品无码| 99视频精品8 | 9999热在线观看| 亚洲电影中文字幕| 人人综合久| 综合五月婷婷| 激情五月婷婷综合| 青草青草视频2免费观看| 激情婷婷五月天| 国产人妻777人伦精品HD| 少妇高潮呻吟A片免费看软件| 国产欧美性成人精品午夜| 国产99久久久国产精品免费看 | www.91.com黄| 丁香五月婷婷六月婷| 内射激情在线| 九九无码| 少妇做爰免费视看片| 天天躁日日躁狠狠躁日日躁2022年5月9日| 久久五月天丁香| 99色日本| 久草五月天电影网| 97色欧美| chaopengdaxiangjiao| 色站9/| 色综合大香蕉| 人人干AV| 色婷婷电影网| 超碰色碰碰| 九九热99免费视频| 九九久久视频| 久久九九色| 六月婷婷综合网2| 在线伦子99热| 深爱开心激情网| 色色色99| 婷婷五月丁香综合亚洲| 91丨九色丨大屁股| 五月天久久综合婷婷| 婷婷射图五月天| 精品久热| 影音先锋天天日| 色999五月色| 久久玖玖99| 91色婷婷综合久久中文字幕二区| 少妇人妻综合色6699| 久久大香蕉| 99热色综合| 99re这里只有精品99| 五月丁香狠狠| 艳妇野外情欲放荡HD| 五月丁香五月丁香五月丁香五月丁香91| 五月天婷婷黄色视频| 五月婷婷基地| 丁香五月色激情| 色婷婷五月天中文字幕| 噜噜色五月| 91919191919久久成人视频| 国产免费一区二区三区三州老师F1F1.CC| 婷婷丁香高潮了| 99热免费精品| 久久电影4399| 成人网在线视频| 超碰人人摸AV| 精品成人无码A片观看香草视频| 丁香综合网| 色99免费视频中文| 五月天婷婷激情综合| 国产全是老熟女太爽了| 婷婷5月色| AV在线免费播放| 日本nghangse中文字幕| 综合婷婷五月丁香在线观看| 婷婷综合在线网| 九九热最新| www.com任你艹| 五月丁香久久呀| 久久综合九九| 五月天激情小说电影| 精品久久99码| 欧美激情综合| 婷婷综合网站| 婷婷五月天日逼| 99热国产免费| 婷婷丁香77777| 深夜男女福利刺激影院一区| 亚洲av综合网| 五月丁香综合网| 激情丁香社区| 99综合免费视频| 久久这里都是精品免费| 色婷婷九月| 激情五月婷黄版| 色五月婷婷中文字幕| 婷婷五月天AV在线| 五月婷婷性爱| ,99视频久久| 日日做A爰片久久毛片A片英语| 5月婷婷视频网站综合| 超碰在线人妻| 婷婷五月偷拍| 色色日本欧美| 狠狠色婷婷777| 五月天婷婷色在线视频免费观看| 大学生高潮无套内谢视频| 就要爱综合| 极品少妇高潮啪啪AV无码| 99高级会所久久| 婷婷丁香六月| 天天高潮夜夜爽| 色五月婷婷青娱乐| 日日爽日日| 秋霞三级色戒| 久久受www免费人成| 99色免费观看全部| 黄色三级日本| 91九色超碰| 激情内射p| 亚洲色色五月天| 久久久WWW| 亭亭玉立国色天香| 婷婷六月成人| 激情另类综合| 欧美熟女乱又伦| 亚洲成人av在线观看| 欧美色色色色色色| 天天日狠狠| 无码人妻一区二区一牛影视| 久久激情视频| 五月丁香婷婷三级| 五月天色图| 黄色国久久| 综合婷婷五月天| 色色色999| 久久中文网| 九九热这里只有精品6| 婷婷五月激情综合| 午夜激情久久| 无码少妇高潮喷水A片免费| 桔色成人在线| 色婷婷五月天天天做| 欧美色色日韩| 久久久国产精品黄毛片| 婷婷色综合| 婷婷五月天综合色| 99 频99热国里只有精品| 日韩啪图| 天久综合91综合首页| 99热综合网| 五月天激情图| 激情婷婷内射| 色婷婷欧美| 在线不卡的视频| 五月激情综合网| 五月丁香性| 色婷婷欧美在线| 久久久久网站| OUMEIRIHANCHENGREN| 超碰99在线| 丁香五月区| 九九综合久久| 婷婷色五月色妇| 99操碰| 婷婷色基地在线看 | 五月丁香久久| 99无码视频| 五月丁香六月婷婷综合网站| 天天插天天| 国产色色网址网站| 激情五月,色五月| 超碰高清在线| 成人免费网站免费看| 亚洲精品字幕在线观看| 色爱综合网| 色999五月色| 99热免费观看| 久久婷婷综合国产| 婷丁香五月天| 亭亭色网| 婷婷五月综合在线| 亚洲精品视频在线播放| 久久九区| 亚洲另类电影| 天天狠狠夜夜狠狠2023| 日韩中文欧美| www.99热| 99热这里只有精品8| 我爱大香蕉| 九九热婷婷| 婷婷五月天国产在线播放| 五月激情久久| 99热这里只有精| 婷婷丁香五月在线播放| 可以看的AV| 五月丁香黄色视频| 可以免费观看的AV| 99超级碰碰| 国产成人高清| 色99在线视频| 伊人综合网站| 男女av免费看| 婷婷婷久久久| 亚洲一个色| 久热这里只有精品6官网亚洲| 99久久99久久综合| 亚洲婷婷五月草久| 色色色色色色色色综合网| 久久人妻www| 开心婷婷丁香五月| 99热老网站| 色婷婷电影网| 激情6月| 丁香婷婷综合喷| 丁香六月青青草| 国产.亚洲.欧洲视频在线| 天天肏在线观看| 婷婷五月天AV网| 婷婷五月天成人娱乐| 久久婷婷五月草视频在线播放| 天天日夜夜高潮| 成人AV在线网站| 丁香五月精品| 亚洲av免费在线| 久久a热| 无码少妇高潮喷水A片免费| 五月天丁香婷婷久久九| 日韩另类在线观看| 亚州激情网站无码| 涩综合婷婷| 91九色国产| 天天射影院| 五月天婷婷色综合| 九九热av| 99免费视频在线观看爱| 91美女被操| 婷婷五月天av| 123草逼网| 婷婷五月激情热播| 亚洲va在线∨a天堂va欧美va| 9191avse| 99在这里有精品| 人人干99| 91碰碰视频在线观看| 97色色婷婷五月天| 五月综合婷婷久久在线| 五月丁香av中文| 国产精品久久久爽爽爽麻豆色哟哟| 日本色色影院| 亚洲五月丁| 丁香五月六月婷婷综合| 免看黄大片AA | 涩综合网| 综合激情五月天六月婷免费视频| 婷婷丁香成人| 久久刺激网| 淫视馆aV二区一区| 五月亭亭直播| 久久人妻熟女一区二区| 色色婷婷五月| 久久免费精彩视频| 啪啪日本欧美| ,99视频久久| 五月婷婷六月情| 欧美内射AAAAAAXXXXX| 婷婷99狠狠躁天天躁中文| 九九视频精品在线免费| www夜夜操| 欧美在线视频免费播放| 久久只有18视频| 久久国产一区二区三区| 婷婷激情肏屄网| 色99色| 亚洲国产成人AV在线| 婷婷激情综合无月| 丁香五月天社区| 五月天丁香成人社| 99精品无码| 99热最新国内| 五月丁香六月婷婷婷婷| 日日影院 | 国产精品第一国产精品| 色五月91| 伊人玖玖精品| 久久98热re| 无码任你操| 婷婷丁香成人色综合| 亚洲色五月天是什么| 九九九九这里只有精品| 好好干Av| 久久婷婷伊人| 激情伍月 欧美| 99久视频| 激情婷婷五月天伊人在线观看| 另类在线| 激情综合五月激情17| AV九九| 大香蕉手机视频| 99热99干| 影音先锋按摩| 伊人激情| 欧美噜一噜| 日逼影音先锋男人AV资源站| 久久在线人妻| 久久成人综合五月天| 久久婷婷热| 欧美日本综合网| 五月丁香色婷婷| 思思热闹这里只有精品 | 这里只有精彩视频| av在线超清中文| 精品亚洲国产成AV人片传媒| 开心五月婷婷在线| 大胆伊人久久| 综合婷婷久久| 亚洲精品欧洲精品| 精品九九九久| 五月丁香久久| 热的五码久久精品| 九月激情婷婷丁香| 五月色影院| 色色狼人综合| 性一交一乱一交A片久| 久久99久久99精品免视看婷婷| 精品亚洲国产成AV人片传媒| 婷婷五月天精品| 婷婷五月色综合| 五月婷婷成人| 99色最新在线视频网站| 99精品97| 五月天婷婷基地| 色播丁香婷婷五月激情| 123草逼网| 99热这里是精品| 99热这里只有精品 搜| 国产色视频网站2| 欧美色五月| 五月丁香久久激情网| 日本全黄一级999| 97人人干人人操| 五五月五月| 青青久久大香蕉| 99热精品中文字幕| 五月丁香六月婷婷综合网缴情| 免费97碰碰| 97在线视频观看| 五月丁香综合激情网| 99久久久久| 免费碰碰视频久| 成人网址在线观看| 天天做 天天爱| 日本熟妇精品99| WW婷婷五月天com| 婷婷刺激综合| 五月丁香六月婷婷免费视频| 综激情网| 另类国产欧美视频| 久久久中文| www.yw色| 日日狠狠久久偷偷四色综合免费| 蜜臀AV在线成人| 99视频日韩| 久久久噜噜噜久久人妻| 99久在线精品99re8热| 五月婷六月综合在线观看| 婷婷五月激情视频网| 六月婷婷综合| 久久久五月天| 九九热精品视频| 99 这里只有精品| 九九99精品| 手机在线视频观看9| 少妇被躁爽到高潮无码文| 九九大香视频| 天天草天天摸| 丁香五月天啪啪激情综和网| 色婷婷久久综合久色| WWW色色色COm| 五月天伊人久久久久| 91久久久久久久久久18| 欧美在线视频99| 色综合综合色| 色婷婷888| 久久九九热视频| 激情网开心网| 99aese| 青青操绿aaa一区日v| 久久婷婷色| 综合伊人久久| 91在线日本| www.一起草av| 黄色AAAAAAA| 亚洲网综合在线| 国产人妻人伦精品一区二区| 99久热| 综合色播| 思思热在线视频精品| 亚洲日日日| 五月天婷婷在线AN| 亭亭玉月丁香| 九九热最新| 五月婷色| 青青草视频免费观看| 八戒青柠影视剧在线观看| 婷婷色中文字幕| 丁香五月天视频| 久久五月视频| 99国产精品久久久久久久久久久| 亚洲爆乳无码精品AAA片蜜桃 | 99色日本| 大香蕉网站,大香蕉综合| 天天操婷婷| 超碰成人在线观看| 丁香六月婷婷久久综合八月| 天天激情综合| 婷婷五月天性| 丁香五月婷婷六月| 中文AV在线观看| 久久婷色| 99国产精品白浆在线观看免费 | 玖玖资源天天无码| 一丁香五月天月AV| 99热9999| 夜夜穞天天穞狠狠穞AV美女按摩| 青青草伊人婷婷| 99热黄| 日本操片| 久久视屏这里只有久久| 天天日,夜夜爽| 婷婷五月色情天| AV网站免费在线| 五月激情小说| 91热久88| 色五月天堂| 欧洲亚洲免费视频区| 六月婷婷国产| 玖玖99免费视频| 天天色天天| seav天堂| 狼人婷婷久久| 丁香婷婷人妻综合网| 这里只有精品网站| 婷婷97| 激情五月天婷婷播播久久综合91| 淫荡A片| 亚洲综合网区| 天天综合亚洲| 超碰在线国产| 色婷婷五月综合色婷婷| 看婷婷五月天网| 99热这里只有精品最新| 亚洲不卡| 激情五月天.色网| 久久婷婷色| 国产另类综合| 久久这里只有精品热在99| av操B网站| 久99热| 丁香五月婷婷激情蜜桃| 色五月AV| 9热在线观看| 婷婷五月AA五月在线| 天天摸天天透天天舔| 九九RE视频在线精品| 色婷婷综合电影| 狠狠狠狠狠狠草| 午夜爱爱网站| 婷婷香蕉香| 99热成人永久免费| 天堂综合久| 97人人干视频| 99在线免费视| 91viP在线看| 色久一| 人妻在线中文字幕久久| 色五月婷婷久久| 丁香五月天天| 79色色色色| 国产肥白大熟妇BBBB视频| 大香蕉婷婷久久| 五月天最新网| 99惹 精品在线| renrencaoni| 色五月婷婷色| 亚洲一区国产传媒| 99视频精品在线| 成人丁香婷婷| 五月婷婷成人网首页| 色吧五月婷婷| 变态另类9| 五月婷婷九| 五月婷婷色色网址| 思思热精品在线观看| 亚洲电影在线观看| 久色成人| 天天日天天爽| 五月综合视频在线| 五月婷激情| 婷婷五月天影院| 香蕉婷婷色五月| 99re热在线视频观看| 色五月丁香伊人五月| 日逼免费视频| 欧美S码亚洲码精品M码| 玖玖资源部在线播放| 狠狠操狠狠操| 丁香婷婷精品视频| 9l视频自拍9l九色成人| 亚洲成人网无码| 五月婷丁香| 色色色999| 99热这里只| 五月丁香久人妻中文| 欧美久热| 婷婷五月四狠狠| 色优久久| 色黑鬼导航| 国产偷人爽久久久久久老妇APP| 狠狠 婷婷| 国产精产国品一二三在观看| 九玖欧洲亚洲| 9l视频自拍九色9l黑人| 五月婷婷片| 丁香五月婷婷99| 久久99精品久久久久久噜噜| 久久婷婷网| 一级性爱视频| 久久与婷婷| 五月天色小说| 人人舔人人| 婷婷五月天网址| 日本99久久| 久热这里只有精品在线观看 | 亚洲六月婷婷| 五月天婷婷激情网| 少妇性BBB搡BBB爽爽爽电影| 久久综合天天综合| 九草性爱| 精品久久艹| 欧美日韩大黄| 日本偷拍九九九| 97九色视频| 亚洲色精彩| 国产一级片色色| 色香欲综合| 99色色网| 亚洲AV在线免费看| 99综合网| 五月情四婷婷| 九色porny在线观看激情四射| 玖玖婷婷色五月| 色八月婷婷| 热久综合| 亚洲综合久| 26uuu激情五月天| 久久99久久久久久久噜噜| 色婷婷基地| site:feetmall.com| 国产AV不卡福利| 99在线精品观看99| 五月婷婷中文| 婷婷色五月婷婷姐妹| 久久婷婷六月综合国际| 婷婷五月激情图片| 五月天精品综合在线| 综合久久五月天| 欧美色一级色| av久热| 互月天综合| 婷婷久久五月丁香| 热99视频精品在线| 久久五月视频| 99热6这里只有精品| 婷婷欧美偷拍综合| www狠狠com| 少妇被下春药玩弄A片| 久久精品夜色噜噜亚洲a∨| 呦呦v线| 激情综合五月天| 色情成人五月天| www99热| 91九色中文字幕女在线观看| 伊人色欲五月天| 思思热闹这里只有精品| 日韩一级网站| 丁香花社区av| 亚洲综合色婷婷| 久久9热| 99精品久久久久久久婷婷久久| 7777激情基地| 色五月婷婷激情基地| 操人妻AV| 五月婷婷色| 婷婷的99视频网站| 激情综合网五月婷婷| 涩涩网五月天| 五月香蕉婷婷| 久久婷婷六月天| 手机在线日韩视频中文字幕| 1024在线视频| 天天干人人奸97| 婷婷五月影院| 五月天综合视频| 五月婷婷中文字幕| 超碰婷婷色| 丁香六月婷婷久久综合| 99色视频| 五月婷婷六月丁香在线视频免费在线观看| 艹| 色五月开心五月激情五月| 婷婷五月69| 婷婷操逼| 99九九久久| 国产成人av在线| 九九亚洲综合| 91超碰在线播放| 成人丁香色| 中文字幕97超级碰| 五月婷啪啪| www999日韩精品| 中文字幕,综合,91| 91porn一起草| 大香蕉久久久| 亚洲区视频| 99日本黄站| 婷婷五月天影院| 色啪影院| 五月丁香六月色婷婷综合五月天| 少妇高潮一区二区三区99欧美| 激情五月婷| 色综合久久天天综合网| 日本视频99| 色五月琪琪| 五月丁香综合啪啪| 丁香六月天婷婷在线| 99这里只有免费的小视频在线观看| 五月天丁香啪啪综合| 凹凸探花电影| 欧美另类五月激情| 亚洲人成人五月天| 草五月| 欧美99视频| 五月丁香综合激情网| 国产成人网址| 99丁香婷婷综合网| 色婷婷色和| 色九月婷婷丁香| 亚洲精品亚洲人成人网| 亚洲婷婷丁香五月在线| 91dy.av| 26uuu国产激情视频| 久久婷婷成人综合色怡春院| 亚洲人妻Av| 99精品在这里| 97在线观视频免费观看| 大香蕉久久久久久久久| Www99热| 狠狠色丁香五月婷巨| 五月婷婷久久爱| 婷婷五月丁香伊人| 久久五月网| 日日爽夜夜爽| 日韩欧美成人网| 五月婷婷七月丁香| 五月天激情黄色小说在线观看| 人人舔人人色人人高潮| 中文在线视频久1| 日本色99| 国产精品久久久久久亚洲毛片| 狠狠爱丁香婷| 久久久香| 五月婷婷色吧!| pom538精品视频| 九九热精品在线| 青草青草久9视频在线视频| 久久综合五月天| 九色视频这里只有精品| www.色五月| 五月天婷婷基地| 99热在线看| www久久99com| 色综合色综合色综合色综合| 久久久久久人妻| 婷婷丁香黄色| 五月丁香 六月婷婷a| 亚洲无AV在线中文字幕| 狠狠情色| 五月丁香在线国产 | 久久久久久9| 97日韩无套内| 色欲天天综合网| 婷婷五月天六点丁香五月| 天天综合网在线| 九九精品婷| 综合激情五月综合激情五月激情1| 亚洲日日日| 蜜桃五月天| 日本人人干| 五月丁香久久丝袜啪啪| 婷婷综合五月| 婷婷伊人视婷婷婷| 思思久久96热在精品国产,| 玖玖五月| 91九色偷拍| 亚洲激情免费久久| 激情四射网| 久久久久五月丁香| 五月的婷婷六月丁香| 精品久久99| 黄色一极大片| 丁香社区婷婷五月| 亚洲综合在线视频| 亚洲网视屏| 色99在线| 伊人影院久久网| 国产一级婬片毛片| 99久久9| 亚洲区视频| 五月天激情综合网| 婷婷五月娱乐在线| 色久免费| 亚洲无AV在线中文字幕| 丁香无月在线观看| 特黄三级片| 五月天婷婷伊人| 99热这里只有精品在线观看| 五月婷婷很很色| 亚洲天天免费| 99在线观看| 日本a片网址| 超碰成人电影| 丁香五月激情啪| 丁香婷婷色九月| 91一道本| www.狠狠操| 中文字幕黄色电影网址| 色婷婷丁香五月在线观看| 玖久久网站| 99九九精品视频| 久久久精品婷婷五月天| 色婷婷五月天成人网| 强壮公让我夜夜高潮A片视频| 五月综合亚洲色| 久草热在线视频| 激情五月深爱五月| 六月丁丁香| 久色成人| 久久A极片| 婷婷亚洲在线| 以及AA大片看看| 五月婷婷自拍视频| 婷婷福利影院| 婷婷五月亚洲一本在线丁香| 激情碰碰碰| 五月激情天| 亚洲婷婷91丁香| 99热这里是精品| 精品国产va久久久久| 九九av| 色五月婷婷丁香婷婷| 爆乳熟妇一区二区三区四区| 亚洲色综久久五月| av在线观看网址| 久久总和99| 操一区| 成人做爰高潮A片免费视频| 五月婷色丁香| 97操碰日本女人| 99色热视频在线| 51成人| 777精品久无码人妻蜜桃| 激情综合网亚洲色图| 91伦| 欧美 日韩 成人 在线| 91操人| 久久综合九色综合97婷婷| 五月天俺去也| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 影音先锋91| 玖玖资源站国产| 蜜桃婷婷丁香综合久久开心亚洲| 久久久久思思热| www.五月天色色.com| 色婷婷电影网| 五月丁香六月婷婷综合| www99精品| 亚洲网在线观看| 99九九视频精彩在线| WWW,五月天| 亚洲精品无码A片一区二区| 第四色五月婷婷| 丁香激情五月综合网| 97超喷视频在线观看| 黄色三级日本| 色婷婷六月开心中文字| 色色色五月婷| 国产精品涩涩涩视频网站| 5五月综合网亚洲| 99久久a线观| 日日射天天射| 五月婷婷婷综合网| 成人中文网| 五月天久久婷婷| 思思久热6| 久久三级视频| 五月丁香综合网| 日日夜夜干| 婷婷五月丁香六月综合网| 国产乱码久久| 久草丁香婷婷五月天婷| 亚洲视频在线观看| 91九色熟女| 开心五月色婷婷综合开心网| 欧美激情综合| 五月伊人婷婷999| 亚洲精品无码一区二区| 五月综合激情| 五月天另类图片| 5月婷婷综合| www、丁香五月天| www。五月,com| 婷婷五月天成人网| 久久婷婷五月天激情四射| 这里只有九九精品| 五月婷婷丁香啪啪| 操日视频| 67194线路二在线观看| 天天日日夜夜| 97人人操在线| 99热6这里只有精品| 99热这里只有精品13| 亚洲另类在线观看| 天堂成人久久| 99精品丰满| 99燥99日| 大香蕉手机视频| 久色网| 丁香五月激情网| 五月天另类小说| 五月情涩综合婷婷| 天天天天天操| ss五月天激情| 亚洲婷婷在线播放十月| 午夜爱插插| 9婷婷内射| 婷婷丁香先锋资源网站| 人人操超碰| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 人妻体体内射精一区二区| 99爱这里只有精品免费视频| 台湾无码A片一区二区| 五月婷激情| 婷婷五月视屏| 欧美人人草| 久热播这里只有精品| 色婷婷色五月综合| 色了色综合| 婷婷色色网| 能直接看的AV网站| 五月天婷婷深深爱| 思思热在线视频99| 国产精品久久久60086| 婷婷综合网伊人| 色综合五月婷婷狠狠干| www.色窝| 色婷婷丁香五月天激情综合网| 婷婷五月激情基地| 亚洲激情五月婷婷日日| 操逼福利视频| 欧美色色色| 日日日影院| 99九九精品| 色婷婷亚洲五月天| 亚洲欧美丁香五月天亚洲欧美| 激情综合激情综合| 丁香五月综合激情啪啪| 久久婷婷激情| 婷婷伊人中文字幕| 久久久久久久人妻| 性一交一乱一交A片久| AV成人在线网站| 丁香五月天大香蕉啪啪| 九九中文色色| 狠狠色婷婷7777久综合| 色天使色婷婷| 99re6热在线精品视频播放速度| 久久99热只有精品| 欧美丁香六月激情视频| 丁香六月婷婷姐网| www99热| 日本久久婷婷| 欧美六月| 丁香六月婷| 8090在线影视少妇| 操操操B| 婷婷中文字幕在线| 久热黄色| 久热这里只有精品在线观看 | 少妇被下春药玩弄A片| 国产精品久久久久久久久久免费| 99五月香婷婷丁香在线视频| 亚洲婷婷综合视频| 色五月婷婷自拍| 开心五月六月婷婷| 人人干Av| 九九99热| 五月天综合在线| 伊人香大香蕉视频| 91网站黄| 另类婷婷丁香| 日日狠狠久久偷偷四色综合免费| 色色色五月婷| 99热精品在线在线| 五月色激情综合网| 91ncm视频| 五月夜丁香| www,超碰| 天天插天天射| 亚洲美女裸体被操在线观看| 91视频精品99| 欧美毛片www| 日本九九网| 99久在线精品99re8热| 九九热视频精品999| 97资源碰碰| 人人人人人人人草| 久久久精品AV| 激情98色婷婷五| 色五月婷婷操逼| 婷婷综合激情五月综合| 五月综合激情视频在线| 综合网色| 伊人网啪啪| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 蜜乳人妻一区二区三区| AⅤ网站在线看| www.9色色色| 色婷婷综合影院| 人妻熟妇国产精品| 丁香婷婷人妻综合网| 开心五月深爱激情| 91综合色| 在线观看免费视频| 久久在线大香蕉| 久鲁鲁色网| 五月丁香另类图片| 成人在线视频网| 日本女人久久| 久婷五月| 亚洲激情AV| 丁香五月天激情四射网络不好| 久久激情五月| 26UUU欧美| 影音先锋91在线资源站| 国产av影片| 亚洲五月色| www99热| 五月天婷婷綜合院| 五月婷婷欧美激情| 色五月婷婷网| 性生活视频98791| 婷婷久久亚洲| 国产人妻人伦精品一区二区| 久久五月婷婷视频| 99热国内| 泰州成人视频| 色婷婷综合视频| 久婷| 热久久91| 99热.com| 丁香五月中文字幕| 另类激情五月在线视频欧美| 玖玖婷婷免费| 五月天色婷婷基地| 五月天大香蕉av| 九玖欧洲亚洲| 天天日色情| 五月婷婷丁香五月| www.ywav| 人人爱人人摸人人澡| 9|在线观看视频| 深爱五月激情| 玖玖99精品视频| 91精品久久久久久久久| 色婷婷免费视频| 婷婷性爱| 婷婷五月天xxx| 久久婷婷五月综合色丁香花| 九九热视频免费观看| 亚洲av综合在线| 色婷婷综合视频| 秋霞成人毛片一级A片| 9久热| 思思热久热| 成人在线不卡|