欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

ReCLIP原理與復(fù)現(xiàn):組合式零樣本學(xué)習(xí)如何讓CLIP識(shí)別‘紅色蘋果’

ReCLIP原理與復(fù)現(xiàn):組合式零樣本學(xué)習(xí)如何讓CLIP識(shí)別‘紅色蘋果’ 當(dāng)業(yè)務(wù)場(chǎng)景從“給一張圖打上類別標(biāo)簽”升級(jí)為“判斷一個(gè)物體的顏色、材質(zhì)、形狀等組合屬性”時(shí)常規(guī)分類模型往往力不從心。ReCLIP 這類基于 CLIP 的項(xiàng)目之所以受到關(guān)注是因?yàn)樗蜒芯恐匦姆诺搅恕敖M合式零樣本學(xué)習(xí)”上也就是在訓(xùn)練階段沒有見過的屬性-物體組合上做分類。這篇文章會(huì)圍繞 ReCLIP 的原理分析與上手復(fù)現(xiàn)展開先從組合式零樣本學(xué)習(xí)的定義說起再拆解負(fù)傳播和區(qū)域注釋這兩項(xiàng)關(guān)鍵技術(shù)最后給出可參考的代碼框架和調(diào)參建議。如果讀者已經(jīng)接觸過 OpenAI CLIP但一直不太清楚什么叫“組合稀疏性”或者希望了解怎么讓 CLIP 從“能認(rèn)出蘋果”進(jìn)階到“能認(rèn)出紅色的蘋果與綠色的蘋果”這篇文章會(huì)很合適。整篇不會(huì)只停留在名詞解釋層面而是盡量把數(shù)據(jù)準(zhǔn)備、候選構(gòu)造、推理打分、注意力圖獲取和常見異常都串起來。1. 組合式零樣本學(xué)習(xí)ReCLIP 要解決的問題1.1 從“紅色番茄”這個(gè)組合說起傳統(tǒng)圖像分類面臨一個(gè)常見的困境訓(xùn)練集里有“紅色番茄”圖片里也出現(xiàn)“紅色番茄”時(shí)模型可以做得很好但是當(dāng)測(cè)試集出現(xiàn)“黃色番茄”時(shí)模型如果沒有見過這種顏色組合就很難做出正確判斷。這類問題被稱為組合式零樣本學(xué)習(xí)英文全稱是 Compositional Zero-Shot Learning簡(jiǎn)稱 CZSL。它把視覺概念拆成兩個(gè)維度來理解一個(gè)是屬性例如“紅色”“金屬”“木質(zhì)”另一個(gè)是物體例如“蘋果”“杯子”“汽車”。一個(gè)組合標(biāo)簽可以寫成“屬性 物體”的形式。在訓(xùn)練階段模型只能看到部分屬性-物體組合。在測(cè)試階段模型需要泛化到未出現(xiàn)過的屬性-物體對(duì)。比如訓(xùn)練集可能有“紅色蘋果”和“綠色葉子”但沒有“綠色蘋果”。如果模型真的學(xué)會(huì)了“綠色”這個(gè)屬性那么面對(duì)一張綠色蘋果的圖就應(yīng)該能夠推測(cè)出它屬于“綠色蘋果”而不是簡(jiǎn)單粗暴地把它分類成“葉子”。1.2 為什么普通分類模型很難做好 CZSL普通分類模型通常會(huì)給“紅色蘋果”一個(gè)獨(dú)立類別。如果訓(xùn)練集只有一百個(gè)屬性、一千個(gè)物體理論上組合空間就有十萬種。絕大部分組合在訓(xùn)練階段根本不會(huì)出現(xiàn)所以“給每個(gè)組合分配一個(gè)類別編號(hào)”的做法幾乎不可行。更關(guān)鍵的一點(diǎn)是屬性本身是跨物體共享的?!凹t色”可以出現(xiàn)在紅色汽車、紅色番茄、紅色杯子上物體本身又承載了多種屬性?!凹t色”和“番茄”之間不是獨(dú)立互斥的關(guān)系而是存在一種可組合結(jié)構(gòu)。因此單純用視覺特征映射到一個(gè)固定分類向量很難把屬性從物體特征中分離出來。ReCLIP 項(xiàng)目所關(guān)心的問題就是這個(gè)組合空間訓(xùn)練樣本稀疏、難以窮舉的問題。它的核心思路不是重新設(shè)計(jì)一個(gè)復(fù)雜的分類頭而是利用 CLIP 文本分支里蘊(yùn)含的豐富語義把“屬性”和“物體”之間的組合規(guī)則顯式引入推理過程。1.3 CZSL 的兩個(gè)評(píng)估設(shè)置要理解 ReCLIP 的產(chǎn)出還需要區(qū)分兩個(gè)高頻出現(xiàn)的評(píng)估場(chǎng)景。第一個(gè)叫 closed-world 設(shè)置測(cè)試時(shí)只考慮那些屬于未見組合的標(biāo)簽換句話說已知候選集合里不會(huì)混入大量無關(guān)組合。第二個(gè)叫 open-world 設(shè)置測(cè)試時(shí)要考慮全部屬性-物體組合包括很多在訓(xùn)練階段沒出現(xiàn)過的組合甚至可能包含不符合物理常識(shí)的組合例如“方形橘子”難度明顯更高。在實(shí)際論文和開源倉庫中MIT-States、UT-Zappos、C-GQA 是三個(gè)最常用的數(shù)據(jù)集。MIT-States 數(shù)據(jù)量適中屬性與物體類別豐富UT-Zappos 以鞋子圖像為主屬性更多是顏色、材質(zhì)、樣式C-GQA 是一個(gè)規(guī)模較大的組合數(shù)據(jù)集組合空間更大也更接近真實(shí)開放場(chǎng)景。2. 從 CLIP 到 ReCLIP為什么直接使用 CLIP 還不夠2.1 CLIP 零樣本分類的核心邏輯CLIP 由圖像編碼器和文本編碼器組成。訓(xùn)練時(shí)模型在海量圖文對(duì)上學(xué)習(xí)對(duì)比學(xué)習(xí)目標(biāo)讓匹配的圖片和文本在共享嵌入空間中距離更近不匹配的圖片和文本距離更遠(yuǎn)。做零樣本分類時(shí)CLIP 會(huì)把所有候選類別名稱轉(zhuǎn)成句子再用文本編碼器編碼。例如候選類別是“dog”和“cat”可以構(gòu)造“a photo of a dog”和“a photo of a cat”。同時(shí)圖片經(jīng)過圖像編碼器得到特征。最后計(jì)算圖片特征和所有文本特征的余弦相似度相似度最高的類別就是預(yù)測(cè)結(jié)果。用一段常見的代碼來表示就是下面的樣子import torch import clip from PIL import Image device cuda if torch.cuda.is_available() else cpu model, preprocess clip.load(ViT-B/32, devicedevice) image preprocess(Image.open(test.jpg)).unsqueeze(0).to(device) texts clip.tokenize([ a photo of a dog, a photo of a cat, a photo of a bird ]).to(device) with torch.no_grad(): image_features model.encode_image(image) text_features model.encode_text(texts) image_features image_features / image_features.norm(dim-1, keepdimTrue) text_features text_features / text_features.norm(dim-1, keepdimTrue) logit_scale model.logit_scale.exp() logits logit_scale * image_features text_features.t() probs logits.softmax(dim-1) print(probs)CLIP 的優(yōu)勢(shì)是文本分支可以直接描述一個(gè)由多個(gè)單詞組合成的概念。比如“a photo of a red apple”文本編碼器并不是簡(jiǎn)單地把“red”和“apple”的特征向量相加而是能夠?qū)⒄湓捑幋a成一個(gè)具有組合語義的向量。2.2 直接遷移到 CZSL 的問題既然 CLIP 能理解“red apple”那把“red”“apple”兩兩組合成文本再與圖像特征比對(duì)是不是就足夠解決組合式零樣本分類了實(shí)驗(yàn)結(jié)果表明并非如此。原因是 CLIP 的圖像編碼器和文本編碼器之間存在一定偏差。文本分支對(duì)組合語義的理解更充分但圖像分支往往把主要注意力放在“這是什么物體”上對(duì)顏色、材質(zhì)、形狀等細(xì)粒度屬性不夠敏感。舉個(gè)例子圖里有一個(gè)紅色番茄。CLIP 的圖像編碼器很擅長(zhǎng)抓住“番茄”這個(gè)主體但紅色所占的像素區(qū)域可能被全局池化過程稀釋。直接計(jì)算圖像特征與“a photo of a red tomato”的文本特征相似度很可能得到中等分?jǐn)?shù)甚至?xí)陀谀P皖A(yù)測(cè)出的“a photo of a tomato”。也就是說組合信息雖然存在于文本空間中但在圖像特征中沒有得到充分激活。這就為 ReCLIP 留下了優(yōu)化空間。ReCLIP 的核心假設(shè)是CLIP 的文本空間已經(jīng)具備組合知識(shí)不需要重新訓(xùn)練大規(guī)模分類器只需要在推理階段設(shè)計(jì)更好的組合打分方式并且對(duì)圖像特征做輕量修正。2.3 ReCLIP 的兩大改進(jìn)方向ReCLIP 的改進(jìn)可以概括為兩條線索。第一條是負(fù)傳播主要解決圖像特征中“屬性信息被物體信息遮蓋”的問題。第二條是區(qū)域注釋主要解決全局圖像特征無法體現(xiàn)局部屬性細(xì)節(jié)的問題。這兩個(gè)方向并不是脫離 CLIP 結(jié)構(gòu)重新發(fā)明輪子而是盡量以最小成本把 CLIP 變成更強(qiáng)的組合式零樣本分類器。正因如此ReCLIP 即使在零樣本、無訓(xùn)練微調(diào)的情況下也能得到不錯(cuò)的基線效果這也是它在社區(qū)里受到關(guān)注的重要原因。3. ReCLIP 方法拆解負(fù)傳播與區(qū)域注釋3.1 基本打分思路把候選組合變成提示句在實(shí)現(xiàn) ReCLIP 時(shí)最基礎(chǔ)的工作是把屬性集合和物體集合做笛卡爾積生成候選組合。比如有 100 個(gè)屬性、200 個(gè)物體就會(huì)生成 2 萬個(gè)候選組合。如果直接構(gòu)造 2 萬條文本再分別和一張圖片求相似度在 CLIP 文本編碼器上仍然可行但需要注意內(nèi)存管理。ReCLIP 在設(shè)計(jì)提示語時(shí)不會(huì)只使用單一模板。因?yàn)?CLIP 的性能高度依賴提示語格式單一模板在不同數(shù)據(jù)集上可能有偏。常見的做法是同時(shí)使用多個(gè)模板并對(duì)多個(gè)模板的輸出做平均或加權(quán)。比如a photo of a {attr} {obj}a {attr} {obj} in a photoan {attr} {obj}{attr} {obj} with a clean background每一條模板都對(duì)應(yīng)一個(gè)文本嵌入。得到多個(gè)候選分?jǐn)?shù)后再通過聚合函數(shù)得到最終分?jǐn)?shù)。這里有一個(gè)容易理解偏差的地方CLIP 的文本編碼器不是把所有單詞的 embedding 簡(jiǎn)單求平均而是通過 Transformer 對(duì)整句話建模。因此“a red tomato”和單獨(dú)編碼“red”與“tomato”后相加結(jié)果并不一樣。ReCLIP 實(shí)際使用中通常以整句文本為主屬性單詞和物體單詞只作為輔助特征。3.2 負(fù)傳播讓組合評(píng)分學(xué)習(xí)“拒絕錯(cuò)誤組合”負(fù)傳播是 ReCLIP 方法名字里最吸引人的部分也是理解門檻最高的部分。直接看圖分類時(shí)模型只需要回答“這是什么物體”但在 CZSL 中模型需要同時(shí)回答“屬性是什么”和“物體是什么”。如果模型只能識(shí)別物體但完全忽略屬性它就會(huì)把紅色番茄和黃色番茄看作同一個(gè)類別。負(fù)傳播的核心思路是在推理階段除了給正樣本組合高分?jǐn)?shù)之外還要主動(dòng)讓圖像特征在某些負(fù)樣本組合上降低分?jǐn)?shù)。比如模型識(shí)別出圖片中的物體很可能是“番茄”那么對(duì)“紅色番茄”的分?jǐn)?shù)應(yīng)該高于“綠色番茄”。如果 CLIP 默認(rèn)把綠色和番茄關(guān)聯(lián)得更強(qiáng)那么負(fù)傳播就會(huì)利用屬性與物體之間的不匹配關(guān)系給出一個(gè)梯度更新信號(hào)。這個(gè)操作不是對(duì)模型權(quán)重做梯度更新而是像一個(gè)“測(cè)試時(shí)優(yōu)化模塊”。在推理時(shí)通過候選組合的文本特征和當(dāng)前圖片特征計(jì)算損失然后讓圖片的輸入特征或中間特征沿?fù)p失下降的方向做少量修正讓后續(xù)打分對(duì)屬性更加敏感。如果只用一句話總結(jié)負(fù)傳播就是不是讓模型死記“紅色番茄”這個(gè)組合而是讓圖像特征在“番茄”這一物體條件下關(guān)注屬性和物體之間的一致性。這比強(qiáng)制模型記住更多組合標(biāo)簽要靈活得多。3.3 區(qū)域注釋局部特征解決全局信息的屬性丟失負(fù)傳播解決的是屬性權(quán)重偏低的問題而區(qū)域注釋解決的是屬性可能只出現(xiàn)在局部區(qū)域的問題。如果模型只看整張圖片的全局特征那么一個(gè)小區(qū)域的“銀色”或“破損”很可能被大面積背景淹沒。ReCLIP 的區(qū)域注釋會(huì)借助視覺 Transformer 內(nèi)部的注意力信息找到圖片中真正承載屬性判別的若干局部區(qū)域。常見做法是從 CLIP 視覺編碼器的某一層或多層提取注意力圖然后根據(jù)注意力圖對(duì) patch token 做加權(quán)得到一組區(qū)域特征。屬性分類打分時(shí)候選屬性文本可以與這些區(qū)域特征計(jì)算相似度物體分類打分時(shí)仍然可以使用全局特征。這樣一來圖片特征不再只有一個(gè)全局向量而是由“全局特征 區(qū)域特征”共同組成。屬性文本匹配區(qū)域特征物體文本匹配全局特征分工明確。需要說明的是不同開源倉庫在實(shí)現(xiàn)區(qū)域注釋時(shí)細(xì)節(jié)并不完全相同。有的直接使用最后一層多頭注意力的均值有的會(huì)綜合多層注意力有的還會(huì)加入一定空間平滑。實(shí)際使用時(shí)需要根據(jù)項(xiàng)目代碼和 CLIP 的骨干網(wǎng)絡(luò)進(jìn)行調(diào)整。3.4 推理流程整體串聯(lián)把前面幾個(gè)模塊串起來ReCLIP 的一次完整推理大致是下面這樣的流程讀取一張圖像使用 CLIP 預(yù)處理器轉(zhuǎn)為模型輸入。提取圖像全局特征并額外提取注意力圖或區(qū)域特征。使用多個(gè)文本模板構(gòu)造屬性-物體候選文本集。對(duì)候選文本集編碼得到文本特征。結(jié)合全局特征和區(qū)域特征計(jì)算每個(gè)候選組合的初始分?jǐn)?shù)。進(jìn)入負(fù)傳播優(yōu)化階段用正負(fù)組合差異構(gòu)造損失對(duì)圖片相關(guān)特征做少量更新。重新計(jì)算所有候選組合分?jǐn)?shù)輸出 Top-K 結(jié)果。這樣做的好處是整個(gè)過程不需要重新訓(xùn)練 CLIP不會(huì)引入大量額外參數(shù)。即使沒有大規(guī)模 GPU 集群也能在單卡環(huán)境下完成測(cè)試。這也是 ReCLIP 在生產(chǎn)或研究項(xiàng)目中受歡迎的原因。4. 環(huán)境準(zhǔn)備與數(shù)據(jù)說明4.1 基礎(chǔ)環(huán)境依賴ReCLIP 是基于 PyTorch 和 OpenAI CLIP 的視覺語言項(xiàng)目。環(huán)境準(zhǔn)備可以按下面的依賴關(guān)系來理解。運(yùn)行環(huán)境推薦使用 Linux 或 Windows 的 Python 環(huán)境Python 3.8 以上通常問題不大。深度學(xué)習(xí)框架方面PyTorch 是核心版本需要與 CUDA 驅(qū)動(dòng)匹配。由于 CLIP 是一個(gè)比較輕量的模型常見顯卡例如 1080Ti、2080Ti、3090、A100 都可以運(yùn)行只是測(cè)試速度差異較大。模型依賴方面至少需要安裝 OpenAI 開源的 CLIP 庫并配合 torchvision、Pillow、numpy 等常用庫。安裝命令可以參考如下pip install ftfy regex tqdm torch torchvision pip install githttps://github.com/openai/CLIP.git如果用戶只需要快速體驗(yàn) CLIP 本身也可以直接使用 Hugging Face Transformers 版本。但 ReCLIP 項(xiàng)目的很多代碼細(xì)節(jié)與 OpenAI CLIP 的原始實(shí)現(xiàn)有關(guān)特別是注意力圖獲取方式因此建議先按照 OpenAI CLIP 庫來復(fù)現(xiàn)。4.2 數(shù)據(jù)集如何選不同數(shù)據(jù)集對(duì)屬性、物體的定義差異很大準(zhǔn)備方式也不同。這里不打算給出一個(gè)統(tǒng)一的下載命令因?yàn)轫?xiàng)目版本變化很快更推薦先閱讀倉庫 README 中關(guān)于數(shù)據(jù)集的說明。MIT-States 是一個(gè)比較經(jīng)典的 CZSL 數(shù)據(jù)集包含大量日常屬性和物體圖像多為現(xiàn)實(shí)照片。數(shù)據(jù)集中需要重點(diǎn)關(guān)注訓(xùn)練、驗(yàn)證、測(cè)試劃分方式尤其是哪些組合屬于 seen哪些屬于 unseen。如果數(shù)據(jù)集劃分不統(tǒng)一復(fù)現(xiàn)結(jié)果會(huì)產(chǎn)生明顯偏差。UT-Zappos 主要由鞋子圖像構(gòu)成類別比 MIT-States 少但屬性更細(xì)膩適合調(diào)試屬性識(shí)別邏輯。C-GQA 規(guī)模較大組合標(biāo)簽覆蓋很廣對(duì) baseline 有更高要求也更適合評(píng)估模型的真實(shí)開放世界表現(xiàn)。下載數(shù)據(jù)集時(shí)需要注意版權(quán)和學(xué)術(shù)引用規(guī)范。不少視覺數(shù)據(jù)集只允許用于研究不能直接用于商業(yè)項(xiàng)目。在復(fù)現(xiàn)倉庫時(shí)最好保留原始數(shù)據(jù)文件的目錄結(jié)構(gòu)避免因?yàn)槁窂讲灰恢聦?dǎo)致數(shù)據(jù)加載失敗。4.3 CLIP 權(quán)重離線加載有些實(shí)驗(yàn)環(huán)境無法直接訪問外網(wǎng)下載 CLIP 預(yù)訓(xùn)練權(quán)重。OpenAI 提供的 CLIP 權(quán)重默認(rèn)會(huì)緩存在本地目錄。常見的緩存路徑是用戶的~/.cache/clip文件夾。如果離線環(huán)境已經(jīng)拿到了權(quán)重文件可以手動(dòng)把權(quán)重放到該目錄再執(zhí)行clip.load(ViT-B/32)。代碼里通常不需要修改模型名只需要保證緩存文件存在。如果離線環(huán)境沒有緩存目錄CLIP 庫會(huì)自動(dòng)創(chuàng)建目錄并嘗試下載。若下載失敗可以檢查路徑權(quán)限、磁盤空間和網(wǎng)絡(luò)連通性。# 查看權(quán)重緩存目錄的一般位置 ls -la ~/.cache/clip不同版本 CLIP 可能使用不同緩存策略。最穩(wěn)妥的做法是讓項(xiàng)目依賴固定版本的 OpenAI CLIP以保證推理結(jié)果可復(fù)現(xiàn)。5. 一個(gè)可運(yùn)行的 ReCLIP 推理框架5.1 構(gòu)造屬性與物體候選集為了讓文章不只停留在原理層面下面給出一個(gè)可以運(yùn)行的代碼示例。示例并不會(huì)完全復(fù)刻 ReCLIP 論文里的全部數(shù)學(xué)細(xì)節(jié)而是把推理鏈路中最關(guān)鍵的部分提取出來方便讀者理解每一步的輸入輸出。首先是定義候選標(biāo)簽和文本模板。假定屬性集合是[red, green, wooden]物體集合是[apple, tomato, bowl]。我們需要把它們兩兩組合。attributes [red, green, wooden] objects [apple, tomato, bowl] templates [ a photo of a {attr} {obj}, a {attr} {obj} in a photo, an {attr} {obj} ] labels [] texts [] for a in attributes: for o in objects: labels.append((a, o)) pair_texts [t.format(attra, objo) for t in templates] texts.extend(pair_texts) print(labels) print(texts)這段代碼會(huì)產(chǎn)生 9 個(gè)候選組合每個(gè)組合對(duì)應(yīng) 3 條文本提示。后面計(jì)算相似度時(shí)一種簡(jiǎn)單的做法是先求 3 條文本嵌入的平均再用平均嵌入與圖片特征比較。5.2 加載模型和圖片接下來加載 CLIP 模型和圖片。為了讓示例可以執(zhí)行需要準(zhǔn)備一張測(cè)試圖片比如一張番茄照片。import torch import clip from PIL import Image device cuda if torch.cuda.is_available() else cpu model, preprocess clip.load(ViT-B/32, devicedevice) image_path example_tomato.jpg image preprocess(Image.open(image_path)).unsqueeze(0).to(device) with torch.no_grad(): image_features model.encode_image(image) image_features image_features / image_features.norm(dim-1, keepdimTrue)這里使用ViT-B/32是因?yàn)樗陲@存占用和效果之間比較均衡。如果顯存有限可以換RN50如果追求更強(qiáng)的效果可以使用ViT-L/14。5.3 組合文本編碼與打分對(duì)候選文本編碼時(shí)需要注意 batch size。當(dāng)屬性和物體數(shù)量很大時(shí)候選文本可能達(dá)到幾十萬條一次性編碼容易導(dǎo)致顯存溢出。這里先演示批量編碼并打分的基本思路。def encode_prompts(prompts, batch_size256): features [] for i in range(0, len(prompts), batch_size): batch prompts[i: i batch_size] tokens clip.tokenize(batch).to(device) with torch.no_grad(): batch_feat model.encode_text(tokens) batch_feat batch_feat / batch_feat.norm(dim-1, keepdimTrue) features.append(batch_feat) return torch.cat(features, dim0) text_features encode_prompts(texts) text_features text_features.view(len(labels), len(templates), -1) # 簡(jiǎn)單起見先對(duì)同一組合的多模板特征取平均 text_features text_features.mean(dim1) text_features text_features / text_features.norm(dim-1, keepdimTrue) logit_scale model.logit_scale.exp() logits logit_scale * image_features text_features.t() probs logits.softmax(dim-1).cpu().squeeze(0) rank sorted(zip(labels, probs.tolist()), keylambda x: x[1], reverseTrue) for label, prob in rank[:5]: print(label, round(prob, 4))注意這里先對(duì)多模板取平均是一種簡(jiǎn)化策略。實(shí)際 ReCLIP 項(xiàng)目中可能使用更復(fù)雜的文本特征融合方式例如把屬性文本、物體文本和組合文本分別編碼后再做插值。但整體思想是一致的從不同提示角度打分再綜合排序。5.4 如何引入?yún)^(qū)域注釋在官方 CLIP 實(shí)現(xiàn)中如果想獲取注意力圖通常需要對(duì)模型代碼做少量修改。最直接的方式是給視覺 Transformer 的注意力層掛上一個(gè) hook 或修改 forward 函數(shù)把計(jì)算得到的注意力權(quán)重保存下來。下面是思路層面的示例并不保證在最新版 CLIP 中直接通過默認(rèn) API 運(yùn)行因?yàn)椴煌姹緦?duì)注意力層的封裝有所差異。attention_maps [] def save_attention(module, input, output): # 通常需要從 Attention 模塊內(nèi)部拿到注意力矩陣 # 在不同 CLIP 版本中實(shí)現(xiàn)位置不同 if hasattr(module, attn_weights): attention_maps.append(module.attn_weights.detach())實(shí)際運(yùn)行時(shí)更穩(wěn)妥的方法是修改 OpenAI CLIP 源碼中Attention.forward在_attn計(jì)算完成后把注意力權(quán)重保存下來。得到注意力圖后就可以對(duì) patch token 做加權(quán)池化。舉例來說如果最后一層注意力圖顯示圖的右下角與物體區(qū)域重合那么模型在識(shí)別“紅色”屬性時(shí)可以重點(diǎn)關(guān)注右下角對(duì)應(yīng)的 patch 特征而不是平均所有 patch 特征。區(qū)域注釋的具體權(quán)重計(jì)算在不同實(shí)現(xiàn)中存在差異。有的方法會(huì)把注意力圖 resize 到原圖大小再做空間加權(quán)有的方法直接對(duì) patch token 做 top-k 選擇。讀者在復(fù)現(xiàn)時(shí)應(yīng)該優(yōu)先閱讀倉庫源碼中的model_utils.py或clip_utils.py這類文件。5.5 負(fù)傳播的工程表達(dá)負(fù)傳播在工程實(shí)現(xiàn)上更像一個(gè)小型的可優(yōu)化模塊。它不是端到端訓(xùn)練而是在測(cè)試階段對(duì)某張圖像的特征進(jìn)行迭代更新。假設(shè)當(dāng)前圖片的全局特征為image_features候選組合文本特征為text_features。模型先計(jì)算出所有組合分?jǐn)?shù)。負(fù)傳播階段要構(gòu)造一個(gè)優(yōu)化目標(biāo)讓正樣本組合的分?jǐn)?shù)盡量高讓負(fù)樣本組合的分?jǐn)?shù)盡量低。這里的“正負(fù)”取決于某張圖片的候選物體。一個(gè)簡(jiǎn)化后的偽代碼如下target_text text_features[target_index].unsqueeze(0) negative_text text_features[negative_index].unsqueeze(0) # 用正負(fù)樣本差異約束當(dāng)前圖像特征 loss -torch.cosine_similarity(image_feature, target_text, dim-1).mean() loss loss torch.cosine_similarity(image_feature, negative_text, dim-1).mean() # 僅更新圖像特征不更新模型 optimizer torch.optim.SGD([image_feature], lr0.01) for _ in range(10): optimizer.zero_grad() loss.backward() optimizer.step() # 每次更新后重新歸一化可以保持?jǐn)?shù)值穩(wěn)定 image_feature.data image_feature.data / image_feature.data.norm(dim-1, keepdimTrue)這段代碼只用于表達(dá)負(fù)傳播的大致思想不能直接作為最終可運(yùn)行方案。因?yàn)檎鎸?shí)場(chǎng)景中負(fù)樣本的選擇、損失函數(shù)的具體形式、梯度更新層的位置都需要根據(jù)論文和倉庫實(shí)現(xiàn)調(diào)整。但它可以解釋為什么 ReCLIP 雖被稱為零樣本方法卻能做到比普通 CLIP 更強(qiáng)的組合區(qū)分能力它使用一小步測(cè)試時(shí)優(yōu)化把模型對(duì)物體顯著性的偏好推回到更均衡的狀態(tài)。5.6 輸出結(jié)果與可視化ReCLIP 項(xiàng)目最終通常會(huì)輸出一個(gè) JSON 或 CSV 文件記錄每張圖片的預(yù)測(cè)標(biāo)簽和置信度。除了標(biāo)準(zhǔn) Top-1 準(zhǔn)確率外還可以做錯(cuò)誤案例可視化。比如把預(yù)測(cè)錯(cuò)誤但置信度很高的圖片單獨(dú)保存可以幫助判斷是屬性識(shí)別錯(cuò)誤還是物體識(shí)別錯(cuò)誤。一個(gè)常見現(xiàn)象是模型識(shí)別物體的準(zhǔn)確率遠(yuǎn)高于屬性。遇到這種情況不必急著修改整個(gè)模型可以先檢查文本模板中屬性詞的語義是否容易被 CLIP 理解。例如有些屬性本身是“相對(duì)屬性”像“大”和“小”它們必須依賴物體尺寸才能判斷這類屬性在零樣本設(shè)置下會(huì)比顏色屬性更難識(shí)別。6. 評(píng)測(cè)指標(biāo)與實(shí)驗(yàn)配置建議6.1 評(píng)估指標(biāo)ReCLIP 這類 CZSL 項(xiàng)目中最常見的評(píng)估指標(biāo)是 Top-1 準(zhǔn)確率。在 closed-world 設(shè)置下候選集合已經(jīng)提前限制因此 Top-1 可以直接反映模型在受限組合空間的分類能力。在 open-world 設(shè)置下候選集合包含全部組合除 Top-1 外還會(huì)關(guān)注 Top-5、Top-10 等排序指標(biāo)。更嚴(yán)格地說CZSL 論文中通常還要求模型同時(shí)輸出準(zhǔn)確的屬性標(biāo)簽和物體標(biāo)簽。即使屬性識(shí)別錯(cuò)誤只要物體識(shí)別正確也會(huì)被算作整體失敗。因此看指標(biāo)時(shí)要把屬性準(zhǔn)確率和物體準(zhǔn)確率分開分析這對(duì)改進(jìn)模型很有幫助。6.2 對(duì)比實(shí)驗(yàn)怎么設(shè)計(jì)如果想做對(duì)比實(shí)驗(yàn)建議至少設(shè)置下面幾條基線原始 CLIP 提示分類直接把每個(gè)屬性-物體組合構(gòu)造成文本不做負(fù)傳播不做區(qū)域注釋。CLIP zero-shot 模板集成使用多條文本模板并集成觀察提示工程帶來的提升。ReCLIP 全局特征版本只使用負(fù)傳播不加入?yún)^(qū)域注釋。ReCLIP 完整版本同時(shí)使用負(fù)傳播和區(qū)域注釋。這樣拆分以后能夠更清楚地看到每個(gè)模塊帶來的增益。如果只看完整模型和原始 CLIP 的差異很難判斷到底是負(fù)傳播起了作用還是區(qū)域注釋起了作用。有一個(gè)容易被忽略
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99 re视频一区| 日本九九热| 成人 在线观看国产| 五月天亭亭俺也| 99热伊人| 色婷婷综合综合网| 亚洲av综合在线| 香蕉久久国产AV一区二区| 久久九九99字幕| 午夜成人综合| 91 九色 入口| 色 噜噜 九月 婷婷| 人妻操逼视频| 色婷| 五月婷婷在线观看黄| 思思视频这里是精品| 另类图片五月天婷婷| 婷婷五月婷婷| 五月天久久婷婷| 丁香色五月婷婷| 欧美一区二区三区不卡影视| 色黑鬼导航| www一起操| 日本波多野结衣视频| 人人操av| 婷婷伊人綜合中文字幕| 久热超碰| 色婷婷基地 | 久9久9久9久9久9久9| 99re这里| 人人爽天天爽| 九九热精品在线| 久久综合天天综合| 欧美成人精品老美女噜噜噜| 色播婷婷五月天| 激情五月天综合图片小说网站| 综合色情网| 久久婷婷东京热| 婷婷五月欧美AA片免费| 丁香五婷| 99久.| 色激情五月| 中文av在线观看| 亚洲激情四射色| 深爱激情五月天| 操骚货在线| 九九热欧美| 9热在线观看| 五月丁香中文字幕| 综合网啪啪| 夜夜躁婷婷AV| 精品久久人妻| 91肏肏肏| 婷婷色偷拍| 超级碰碰99| 色婷婷综合久久| 欧美性爱丁香五月| 久8色色| 日日肏天天操| 日日干日日| 天天操天天曰| 狠狠操综合| 激情五月婷| 9热视频在线观看| 大香蕉99热| 色婷婷888| 91精品在线看| 午夜精品久久久久久久爽| 久久小说| 伊人婷婷五月天av| 五月天合网 | 五月天婷婷视频| 丁香婷婷色| 国产午夜一区二区三区| 日本色色色| 婷婷丁香六月天| 91人妻视频| 五月丁香啪综合| 国产九九一区二区三区| 中文字幕在线日亚州9| 婷婷五月天基地| 五月香婷婷| 超碰狠狠干99| 991精品在线视频| 丁香五月婷婷黑人妻黄色电影院| 精品一区二区三区四区五区六区介绍 | 亚洲五月天激情| 精品国产乱码久久久久夜深人妻| 色婷婷无吗| 亚洲AV网站在线观看| 噜噜色天天开心| 99热香港| 五月天婷婷在线AN| 亚洲中文字幕av| 日本操B视频| 伊人三级激情| 激情狠狠丁香月| 天天摸天天舔天天天天爽| 无码髙清| 97大香蕉五月天| 99热精品一| 五月人妻婷婷视频| 99精品国产在热久久| 婷婷婷狠狠| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 天天色天天操天天射| 婷婷狠狠爱| 伊人色综合影院视频| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 亚洲色爱综合| 婷婷在线播放| 五月色婷婷中文字幕| 婷婷基地成人五月天| 激情五月天婷婷丁香| 九九人人操| 七月婷婷色香综合网| 97婷婷在线| 丁香五月在线伊人| 狠狠色97| 人人叉久| 欧美狠狠地| 五月丁香婷婷基地| 黄色成人网站在线播放| 五月花激情| 99色精品| 超碰97干| 婷婷丁香六月天| 中文幕无线码中文字蜜桃| 婷婷丁香综合| 亚洲色情网站| WWW、99热| 婷婷丁香色五月亚洲| 四色五月婷婷在线观看| 免费试看小视频 99| 色爱综合网| 欧美日本免费一道免费视频 | 亚洲熟妇无码乱子AV电影| 无码少妇高潮喷水A片免费| 99热欧美偷拍| 久久人妻久久| 亚洲欧美日韩另类| 第四色首页| 亚洲人妻av伦理| 婷婷月综合| 91wwmm导航| 欧美 日韩 人妻 高清 中文| 婷婷五月天另类视频| 九九色欲网| 婷综合六月| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 天天爽天天透天天爱| 中文字幕在线观看视频www| 九九精品re免费视频| 久久视频这里都是精品| 99这里都是精品| 婷婷丁香亚洲色综合91| 国产97色在线 | 日韩| 97超级免费无码| 亚洲婷婷丁香五月天激情小说| 亚洲av网站| 久久亚洲天堂| 色天堂在线| 丁香婷婷婷五月综合色情| 日日爽夜夜爽| 激情丁香婷婷五月天| 丁香婷婷性爱| 久久色在线视频| 色综合久久88色综合天天99| 色噜噜婷婷| 玖玖色综合网| 99re在线精品视频| 日本va欧美va国产激情| 天天草天天爱| 久99久视频精品| 婷婷五月天激情影片| 白人荫道BBWBBB大荫道| 久热a| 五月婷婷影视| 色综合色色| 九九色天堂| 涩婷婷五月天在线精品视频 | www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | 亚洲一个色| 婷婷视频网| 99re热精品在线视频| 99操碰| 久热九九| 狠狠精品干练久久久无码中文字幕 | xxxx五月激情| 五月婷婷久久大片| 久久99热在线观看| 激情六月丁香| 婷婷五月天无码视频| 男女啪啪做爰高潮无遮挡| 婷婷区日本| 99久久国产宗和精品1上映| 午夜电影网VA内射| 五月激情婷婷综合| 亚洲精品V天堂中文字幕| 人人干AV| 五月天综合激情网| 强辱丰满人妻HD中文字幕| 婷婷深爱五月亚洲综合| 亚洲色夜| 久久精品国产一区二区三区四区| 色深爱五月| 五月天丁香久久| 亚洲激情婷婷| 五月激情婷婷在线| 婷婷五月激情网站| 丁香婷婷婷| 超碰人人99| 五月丁香六月婷综合成人综合 | 五月天丁香网| 五月婷婷啪啪| 五月婷婷这里都是精品| 五月天婷婷激情在线色图| 国产精品成人AV在线| 激情 五月 婷婷 丁香| 五月天久久色| 久久9视频| 婷婷丁香激情五月天色色色| 天堂中文国产| 五月天在线视频尤物视频在线看| 影视av久久久噜噜噜噜噜三级| 99亚洲视频| 玖玖福利视频资源| 天天射影| 婷婷 伊人 久久| 亚洲精品色| 开心激情网五月| 婷婷五月综合社区| 欧美超碰亚洲| 综合AV网| 操人91| 六月综合婷婷开心伊人| 337p午夜影院| 丁香五月香蕉在线| 狼人婷婷久久| 色综合久久无码| 久久综合人妻| 天天色粽合合合合合合合| 九九精品这里只有| 五月婷婷免费在线| 丁香六月婷婷久久高清| 亚洲成人精品三区| 99干日日干| YJLZZJLZZ亚洲乱熟无码| 俺去也在线www色官网| 五月婷婷啪啪啪| www.lchjjc.com| 精品久久99码| 久久五月网| 天天夜天天色天天| 免费试看小视频 99| 久久久久8888| 色婷婷四色| 欧美性猛交AAAA片黑人 | 欧美97色| 中文无码婷婷| 亚洲综合视频网| 亚洲热久久| 色婷婷最爱五月| 久久免费丁香| 成人啪啪色婷婷久| 五月婷婷五月天在线| caopeng97日韩| 国产操碰| 国产成人网| 97久操视频| 综合五月激情| 国产精女同一区二区三区久 | 日本久久性| 激情婷婷激情在线不卡| 超碰免费成人网站| 色色色香蕉五月婷| 逼特逼在线免费播放| 青青草成人网| 激情视频网址| 狠狠综合| 国产免费性爱| 影音先锋男人AV资源站| 5Www色5夜| 熟妇人妻中文字幕无码老熟妇| 欧美色色色色色| w婷婷五月婷婷w| 思思热在线| 色五月在线播放| 成人精品99| 久久婷婷五月草视频| 深爱激情AV| 天天噜天天爱| 五月丁婷婷| 三十路磁力链接| 二人电影免费版在线观看| 婷婷月五天在线在线看| 538在线| 丁香五月婷婷亚洲色图| 婷婷五月天AV激情| 婷婷五月天激情综合深爱激情| 色播丁香婷婷五月激情| 久热这里只有精品99re| 久青操| 久久激情五月天| 99ri国产在线| 五月丁香影院| 国产精品视频久久99| 亚洲五月综合色播| 俺去也五月天婷婷| 超碰93在线观看| 一级二级色大片| 99视频在线播放大全| A1片久久久| 婷婷天堂综合| 青草青草视频2免费观看| 91.www综合| 五月丁香激情综合网官网| Av在线不卡一区| 伊人玖玖婷婷| www。狠狠干。com| 97好吊操| 色婷婷激情| 热99在线| 日韩99无码| 色色婷婷婷丁香五月天| 丁香五月激情宗合| 久8色色| 激情五月激情综合网| 欧美日韩成人一区二区| 精品一二三区久久AAA片| 婷婷在线中文字幕| 婷婷色丁香五月| 99在线免费视| 亚洲日日日| 91在线日| 丁香狠狠色婷婷久久无码视频| 蜜臀99久久精品久久久久| 五月婷婷久久大香蕉| 色五月激情视频在线综合| 爱草视频在线观看| 香蕉97碰碰碰欧美| 青青草99re| 99久超碰| 久久婷婷操| 开心五月婷婷婷美女| 天天噜日日噜综合无码| 丁香五月婷婷免费视频| 另类国产区| 激情五月天婷婷免费观看| 天天做天天干天天综合网 | 五月色综合| 毛片九九九九九九九九18| www狠狠爱com| 青草性爱视频| 久超超碰| 激情五月天。| 丁香五月性| 开心五月婷婷在线| 色五月天综合网| 99热精品在线播放| 啪啪操操| 久久婷婷丁香六月天| 狠狠色丁香婷婷久久综合| 91色婷婷综合久久中文字幕二区| 亚洲免费观看高清完整版AV线| 久热久色| 99九九视频| 99这里只有精品| 五月天婷婷AV| 久热a| 婷婷色网站| 青青草青青草五月天| 色婷婷AV在线| 夜夜爽天天干| 97大香蕉五月天| 五月丁香成人| 九九热视| 丁香五月天堂婷婷| 久久黄色免费视频| 五月婷中文字幕| 欧美午夜乱妇午夜福利| 67194国产| 亚洲乱啪| 99热99这里有免费的精品| 影视av久久久噜噜噜噜噜三级| 五月成人丁香av91| 婷婷丁香午夜综合影视| 99色性爰网络| 久热AA| 亚洲综合色棒| 五月婷婷视频| 激情网 五月天| PORNY九色9l自拍视频成人| 成人国产欧美大片一区| 开心丁五月| av网址在线| 欧美婷婷综合| 婷婷六月久久综合导航| 色9999综合久久| 日日干夜夜撸夜夜骑| 97久久人人操| 婷婷的99视频网站| 久婷婷婷| 久久婷丁香五月| 精品A√| 丰满人妻妇伦又伦精品国产| 五月天婷婷激情干干| 九九香蕉网| 欧洲精品爱爱| 91人人网| 午夜丁香| 久热婷婷| 伊人久久大香网| 激情婷婷五月天| 久久青青日本视频| 欧美激情综合五月色丁香| 婷婷综合仓库中文| 色99视| 五月天五月天激情网| 三级毛片视频| 五月停停丁香| 色色色色色日韩午夜激情 | 久 久9 9 热 视 频| 日本在线观看99| 激情性五月天免费小说视频| 久久丁香网| 天天射综合网夜夜操| 色伊人91在线视频| 色婷婷五月在线| 丁香五月婷婷久久久| 婷婷五月另类网站| 97极品在线| 丁香六月婷婷综合激情欧美| 97色色色色色色色| 最近中文字幕大全免费版在线| 婷婷丁香五月天综合网| a免费在线| 婷婷五月丁综合| 操逼视频网址| 伊人婷婷大香蕉| 97人人草| 99亚洲精品| 夜夜天天久久婷婷| 激情五月婷婷色综合| 五月丁香六月婷婷网| 91嫩草久久| 偷拍91九色| 91日韩在线| 国产看真人毛片爱做A片| 婷婷六月开心网| 夜夜嗨一区二区三区直播内容 | 日日爽天天| 淫荡工a| 综合www色| 色综合色五月| sewuyuejiqingwang| 91聚色综合网| 婷婷色片| 情婷婷五月天在线| 操操熟女| 激情网五月天| 婷婷久久免费看| 人人摸人人干| 激情丁香社区| 五月天激情综合10p| 婷婷五月天大香蕉| 涩五月婷婷| 日日操,天天操| 激情婷婷五月少妇| 99ER热精品视频| 丁香六月婷婷色XXXXX| 久久婷婷五月天蜜桃| 丁香婷婷激情| 狠狠狠狠狠干| 婷婷五月天成人动漫 | 深夜男女福利刺激影院一区| 五月天四色房丁香| 天堂中文国产| 26uuu欧美| 99热这里只有精品8| 亚洲激情视频在线观看| 日本色色视频| 91大神操美女| 五月天激情无码| 欧美内射AA| www日本熟妇99在线视频| 91天天操天天干天天射| 丁香五月六月婷婷殴美综合| 色色五月婷婷| 激情网婷婷五月天| 天天 青草 丝袜制服 在线| 欧美大道不卡| 色婷婷呢狠禁久禁| 九九这里有精品| 久色婷婷200| 狠狠狠婷婷五月综合| AV在线二十六页| 99免费| 五月婷婷六月丁香综合| 色婷婷色五月丁香| 伊人婷婷青青cao| WWW嗯嗯啊啊啊啊| 色婷婷丁香五月在线| 六月色色婷婷| 色色色视频免费无码 | 亚洲在线视频321| 五月婷婷色情| 色五月婷婷在线| 涩综合网| 国产精品色婷婷AV综合色色| 专区无日本视频高清8| 久久丁香五月天| 婷婷色导航| 青青草99re| 婷婷色播六月无码| 夜夜躁爽日日| 日韩欧洲亚洲| 婷婷成人综合| www99久久| 美女天天爽| 91九九热| 亚洲人人操BD| 国产成人综合亚洲| 天天色天天爱天天舔| 狠狠狠狠狠干| www.日本久久videos| 亚洲无码yw| 九九久久网| 久九男女天堂| 91dy.av| 婷婷激情综合网| 丁香六月激情综合| 日韩操人| 婷香五月| 99性视频| 六月丁香婷婷综合色播| 色综合五月| 国产片天天爽夜夜爽| 色五月婷婷亚洲| 六月婷婷激情| 色屌丝中文字幕| 亚洲色婷婷| 99热99色| 亚洲婷婷在线播放十月| 五月丁香婷婷基地| 丁香五月婷婷综合视频| 乱精品一区字幕二区| oumeisesewang| 操操啪| 爱之国产色情综合| 99亚洲精品| 色婷婷欧美在线| 嫩草AV久久伊人妇女超级A| 婷婷五月天激情在线观看| 狠狠干综合| 色色日韩| 香蕉久久av一区二区三区 | 欧美精品在线观看| 俺去也在线www色官网| 五月婷婷av在线| 色婷婷社区| 97干在线看| www.99热精品| 99热新网址| 99re免费精品视频| 综合亚洲色色| 91人人人人人| 亚洲久久激情| 夜夜夜夜夜操| 综合99在线| 久久久久久五月天| 丁香五月在线观看| 精品成人在线观看| 秋霞免费视频| 亚洲成人乱码av网站| 日本一区二区三区精品视频| 欧美色色色色色色| 色就是色婷婷五月亚洲激情| 极品精品一区二区三区在线| 99久久五月婷婷| 黄色激情久久| 噼里啪啦完整版中文在线观看| 丁香五月天五码婷婷| 婷婷中文综合网| jizzdr| 玖玖爱综合网| 午夜精品人妻无码一区二区三区| 天天插天天操| 99久久亚洲精品视频| 国产日韩精品SUV| 综合久久人妻| 99操视频| 六月五月天婷婷涩播在线| 五月婷婷综合丁香视频| 99热这里只有精品21| 99国产99| 色色吧综合| 狠狠色狠狠鲁| 国产精品色婷婷久久久精品| 思思热在线视频精品| 1995年关宝慧版蜘蛛女| 久操无码| 亚洲综合网在线| 五月天婷婷AV| 五月天色五月天| 99热欧美精品| 精品一二三区久久AAA片| 无套内射极品大美女| 婷婷开心深爱五月天| 久婷狼色诱惑在线| 色情婷婷五月天| 五月丁香综合网| 九色视频91| 思思热热久久| 五月婷成人| 91精品久| 久久久18| 超碰93在线观看| 婷婷五月色影视先锋| 婷婷的色色五月天| 9|人妻人人操| 思思热在线视频精品| 婷婷丁香五月综合网上| 婷婷综合五月天激情| 久久色五月天| 毛片九九九九九九九九18| 综合色播| 九九在线精点品| 六月婷婷无码观看| 丁香综合婷婷开心激情网| 好大好粗嗯啊-一级黄色大片免费观看-成人AV| 99精在线| 日韩高清成人| 五月丁香777| 色婷五月天亚洲| 大香蕉九九| 9 1 A v久久久| 成人视频网| www.yw色| 天天操狠狠操| 六月综和久久| 性爱先锋AV| 9l视频自拍九色9l视频在线观看| 久久久久久久91| 国产日韩精品SUV| 丁香五月天激情| 天天影院色| 国产一区男女| 综合激情网五月激情| 91网站黄| 碰碰人人漕| 欧美日韩色色| 五月天福利影院导航| 久青草影院| 97色色色色色| 亚洲综合五月天婷婷丁香| 色色色97| 亚洲国产成人AV在线| 久久小说网| 国产超碰在线| 可以免费观看的AV| 久久99综合| 久久 婷婷 五月天| 啪啪操超碰| 婷婷综合激情| 夜夜谢天天干| 五月婷婷免费在线视频| ss视频xx91| 五月丁香六月色婷婷| 精品视频99看在线视频| 狠狠五月激情在线| 亚州精品色情在线观看| 9.1综合网| 91久久1118| 成人在线综合| 在线观看欧美| 视频一二区| 欧美超级视频97| 激情五月天第四色| 五月停停大香蕉| 成人五月天综合网| 丁香花大香蕉婷婷综合| 婷婷五月五月丁香| 亚洲成人网址在线观看| www91色网站| 99ri6在线视频| 五月天激情日色在线| 色色无码| 丁香五月电影| 狠狠综合网| 久久激情综合| 99久久国产宗和精品1上映| 人妻丰满精品一区二区A片| 少妇2做爰HD韩国电影| 成人无码精品1区2区3区免费看| 久99热| 亚洲激情在线| 日韩综合成人| 碰碰碰碰碰99| 色婷婷精| 久久婷婷草| 色婷婷先锋| 亚卅毛片| 91久热| 99精品在线观看| 另类在线| 影音先锋秋秋五月婷婷| 99视频啪啪| www、丁香五月天| 伊人久久99| 99久热这里只有精品视频删减版| 99这里只有免费的精品| 激情 婷婷 插| 天天透天天爱| 中文字幕AV在线播放| 免费精品99| 婷婷色网| 九九精品碰| 99爽视频| 日日想日日夜日日操| 丁香五月激情综合啪啪| 天天日夜夜| 性爱综合网| 99精品国产在热久久| 性做爰1一7伦| 色逼综合网| 六月丁香婷婷大香蕉| 男人天堂99| 国语对白性爱视频播放| 丁香五月婷婷激情中文| 人妻久热| 丁香五月激情网| 99久久婷婷综合| 影音先锋色婷婷| 五月天另类综合网| 开心激情五月天网| 狠狠色狠狠操| 91精选国| AV动漫不卡无码免费| 大香蕉久久| 亚洲综合在线丁香五月| 大香线蕉伊人| 亚洲无AV在线中文字幕| www久久久久| 99热久久这里只有精品| 久色婷婷200| 99国产在线| 天天婬色综合| 五月婷婷干干干| 激情五月少妇| 色婷婷狠狠| 婷婷五月天丁香综合网| 成久综合视频| 婷婷激情视频欧美视频自拍视频欧美剧| 色噜噜五月天| 色国产五月| 五月天婷婷激情| 五月丁香久久| 日韩欧美成人片| 天天成人综合| 99久久综合网| 婷婷五月天成人视频| 全高清无码视頻| 人妻尝试久久久久久久久久久久| 婷婷五月色播| 无码 av电影| 97黑人精品区| 婷婷天天综合| 超碰免费在线| 色开心五月丁香| 丁香月五月天婷婷久久| 久久总和99| www五月婷婷88导航| 丁香五月色| 激情五月婷婷五月丁香五月开心五月| 色色亚洲| 久婷| 99综合| av网址在线播放| www.久久久久| 俺去也五月| 热热色色五月天婷婷| 久久婷婷视频| 婷婷五月丁香五月| 97色射| 青青草a在线| 五月婷婷综合久久| 99ri国产精品| 亚洲俩性性爱图片久久第六页| 狠狠99| 婷婷五月天渟渟| 美女激情婷婷| 激情五月天网站| 99超级碰碰| 天堂草在线看www| 免费看欧美成人A片无码| 99久久9| 丁香五月天亚洲视频| 五月婷婷影视| 久久午夜理论| 另类小说五月天| 久久久久久xxxxx| 久久久久9| 婷婷五月天中文字幕| 五月丁香在线看| 久久五月婷婷综合网| 再次出发二| 丁香婷婷深情五月亚洲| 成人av播放| 天天射综合网站| 精品色色| 超碰不卡在线| 久久人人妻| 久久免费干| 色六月视频| 乱乱av| 色国产五月| 99性爱视频| 黄网免费观看| 五月丁香香蕉| 国产精品成人AV在线| 超碰国产在线观看| 婷婷五月天丁香成人社区| 丁香婷婷色五月| 亚洲无码性爱| 狠狠干思思热| 丁香色色五月| 另类五月激情| 婷婷伊人视婷婷婷| 五月天久久婷婷| 99在线综合视频| 欧美激情综合五月色丁香| 91猫咪国产在线播放| 久久久久久久合一狠狠做深爱| 婷婷五月色综合香五月| 99思思热只有在这里看| 丁香五月婷婷亚洲天堂| 天天干天干| 丁香六月婷| 激情床戏| 久久丁香五月天| www婷婷| 五月伊人综合| 韩国真做片在线观看| 婷婷五月天影视| 婷婷99视频在线| 99综合激情久久精品久久| 99热在线极品极品| 五月草视频| 先锋资源91| 新97人人上人人| 亚洲色婷婷色| 97在线观视频免费观看| 永久地址 色| 亚洲成人无码片| 99re这里只有| 国产9色在线/日韩| 亚洲五月婷婷| 五月丁香久久久| 丁香婷婷婷| 人人摸人人干| 亚洲综合激情五月久久| 成人精品视频99在线观看免费| 婷婷六月激情丁香| 久久免费干| 五月婷婷丁香| 俺来也综合网精品一区| 99热这里只有国产精品| 伊人超碰在线| 婷婷色九月| 操操操www.com| 婷婷色五月91啪啪| 激情五月婷婷综合| 中文字幕av久久爽一区| 亚洲精品又粗又大又爽A片 | 开心激情网五月| 久久久.COM| 国内外色色色色色成人视频| 婷婷丁香五月六月激情| 久久精品99久久久久久久久| 激情婷婷丁香五月天| 99婷婷五月天| 婷婷热色| 99精品性爱| 色性五月天| 成人五月天丁香| 粉嫩AV久久一区二区三区| 久色国产| 久久激情五月婷婷| 九九视频在线观看视频6| 五月综合婷婷五月| 亚洲成人网站在线观看| 色伦专区97中文字幕| 热99在线| 五月天·www·com| 91精品视频男人的天堂| 另类图片五月天| 婷婷五月天偷拍| 亚洲1区| 久热A片| 79精品视频在线观看,| 婷婷日日天天| 大香蕉综合| 九九aV| 婷婷色正月| 色色亚洲无码| 久久久久久久五月| 欧美韩国日本| 五月天激情啪啪| 中文字幕簧片| 色私五月婷婷| 97操碰人免费| 91天天操天天干天天射| 亚洲 五月 婷婷 成人| 国产激情综合| 五月天婷婷狂暴白浆| 日本久久99| 婷婷色5月激情网| 青青草a在线| www91久久| 丁香五月天天久久综合小说| 亚洲av免费在线| 日本va欧美va欧美| 99日本精品视频热| 超碰在线资源| 日日夜夜干| 一级精品999WWW| 色播丁香婷婷五月激情| 五月天丁香成人社| 亚洲九九99精品视频在线播放| 日韩无码成人电影| 老司机伊人| 开心五激情网| 日本超碰在线| 超碰爱爱爱| 成人龟情网丁香五月| 涩涩五月天| 殴美综合激情五月天免费视频| 成人AV在线网站| 久久五月婷| 人人操操| 色色9 9| 久9视频| 国产精品社区| 五月天自拍网| 天天色月| 久久综合色五月| 99久久国产综合精品五月天喷水\| 日日爽日日| 五月天丁香婷婷社区| 国模淫穴色图| 五月色婷婷AV| 色婷婷成人丁香| 涩五月婷婷| 久婷久婷| 五月天社区婷婷丁香社区| 91大操| 九九色情网站| 天久综合91综合首页| 思思久久精品| 91狠狠综合久久久| 色婷婷激情四射视频| 日日夜夜婷婷| 欧美日韩AAAA| 天天免费日日夜夜夜夜| 丁香六月成人网| 思思热99er在线视频| 五月丁香在线视频观看| 久久久久久99精品无码| 99性爱| 99在线观看| 五月丁香久久网| 色狠狠色| 日熟女| 九色91国产| 综合久久五月天| 啪啪亚洲综合| 久久久久久久久人妻| 激情九九这里只有精品| 精品一区二区三区木瓜| 五月五丁香婷婷| 亚洲第精品| 综合五月天天天天天五月| 六月婷五月丁香| 色婷婷五月婷婷五月婷婷五月| 九九国产精视频| 六月激情婷婷色| 亚洲激情 久久| 天天插天天插天天日| 69堂午夜视频最新地址| 开心五月激情| 激情综合五月色在线| 玖玖精品视频99| 第四色婷婷色五月| 99热这里只有精品无码| 日本激情综合| 久久思思热| 中文资源在线a| 色婷婷久久综合| 久久综合丁香激情五月| 色99网站| 人妻久久久久久| 激情网 久久| 久久久高清| 青青草Avb在线| 亚洲色图81p| 欧美色99| 九九九九国产| 秋霞免费三级片| 久热这里只有精品在线观看 | 91婷婷五月天嫩女| 日韩高清成人| 99热婷婷| 国产亚洲精品久久久久久牛牛| seav天堂| 激情五月天婷婷丁香| 99日精品视频| 亚洲旡码| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 日韩人妻无码精品| 综合激情站| www.久久| 久99久视频精品| 五月天大香蕉AV| 婷婷色九月| 五月激情婷婷六月丁香| 婷婷五月天亚洲综合| 综合色影院| 久久综合爱| 亚洲中文字幕在线观看| 久久大香蕉伊人| 国产91视频| 丁香五月花婷婷开心| 激情综合网亚洲色图| 色五月婷婷亚洲| 天堂久久精品| 丰满少妇猛烈A片免费看观看| 天天久久婷婷| 五月丁香婷婷综合| 欧美婷婷五月无砖| 亚洲第79页| 欧美日韩aaa| 九九99精品免费播放| 久久九九玖玖| 天天插天天很| 婷婷伊人网| 97色色色色色| 婷婷天堂综合网| 在线看片av| 五月丁香六月婷婷综合伊人| 这里精品| 99热国产这里只有精品| 婷婷在线中文字幕| 99碰网站| 九九热思思热| 色噜噜五月天| 久久精品99国产精品日本| 天天操五月天| 丁香亚洲婷婷五月| 激情综合色图| 热久久视频99| 操操自拍| 日本久久色| 成人片在线播放| 亚洲久热无码| 婷婷五月天综合网| a级毛片一区二区免费视频| 久久婷婷五月天蜜桃| 99视频在线观看欧| 国产99久久久| 婷婷丁香五月视频| 亚洲 日韩色色| 欧洲色| 搡BBBB搡BBB搡18| 99超级碰碰| 五月婷婷六月丁香激情综合网| 婷婷五点亚洲| 少妇人妻人伦A片| av在线免费网站 | 中文字幕在线视频播放| 久热只有这里有精品| ji'qi'luan'ren'lun| 五月丁香六月婷综合成人综合| 午夜成人片400| 国内一级精品| 激情五月视频在线婷婷| 五月丁香成人网| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 人人妻久久妻| 香蕉AV福利精品导航| 亚洲网视屏| 亚洲精品大片| 五月天丁香啪啪网| 天天摸.天天mo| 激情婷婷丁香| 丁香五月婷婷色综合| 天天搞夜夜六| 亚洲综合1024| www.99免费视频| 日日夜夜天天爽| 玖玖婷婷五月天| 99久re热视频精品98| 九九久久网| 久久久久久久11111111111| 就要去操亚洲成人精品五月天丁香婷婷| www色五月| 丁香婷婷五月色综合| 天天日日人| 激情四射婷婷| 精品操逼一区二区| 婷婷五月偷拍| 国产99久久久国产精品免费看| 99 re视频一区| 婷婷五月色| 大香蕉久久伊人网| 久久婷婷丁香六月天| 国产五月视频| 老司机午夜福利视频金瓶梅| 久久五月丁香| 五月丁香自拍| 丁香五月婷在线观看| 亚洲精品久久久久久久久久吃药 | 亚州操操| 色色五月婷婷久久| 吊色AV男人的天堂| 婷婷色五月丁香六月欧美啪| 激情五月婷婷丁香综合网| 五月丁花色综合网| 婷婷五月色| 九九热视频网站| 色情五月综合婷婷| 丁香综合网| 婷婷五月激情图片| 色五月婷婷综合| 色情成人五月天| 97操男人的天堂| 99亚州综合精品成人网| 欧美槡BBBB槡BBB少妇| 色综合色综合色综合高潮| 欧洲色| 五月丁香无码| 日本欧美在线| 丁香五月综合| 97色色视频| 性色人人爽| 99激情视频| 五月丁香亚洲五月| 成人中文网| 丁香婷婷十月| 亚洲成人av中文| 色婷婷狠狠干芒果TV| 亚洲第二AV| 久久精品性爱| 东京热人妻一区二区三区在线| 色综合色综合色综合| se色综合网| 久久综合丁香| 亚洲综合视频在线| 五月丁香综合激情| 熟女激情网| 黑人糟蹋人妻HD中文字幕| 九月婷婷丁香| 日日夜夜九九| 五月激情婷婷丁香天堂| 欧美超碰亚洲| 五月婷婷六月丁香五月| 五月丁香婷婷婷激情爱爱| 中文成人在线| www99热| 欧美精品中文字幕亚洲专区| www.五月婷婷久久.com| 色婷婷av综合网| 丁香婷婷深情五月亚洲| 天天干,天天操,天天射| 伊人99热| 五月久久噜噜| 最近中文字幕2019视频1| xfplayav在线| 婷婷五月丁香激情图片| 丁香五月婷婷激情123| 99色在线| 激情婷婷五月天伊人在线观看| 丁香五月手机在线| www.五月激情.com| 97人碰人操| 日日夜夜天天| 97操在线视频| 婷婷香蕉| 色五月丁香六月欧美综合| www.日本91| 色五月婷婷影院| 互月天综合| 婷婷丁香黄色| 99热在线播放| 婷婷开心激情综合五月天| 99ri视频在线观看| 久色网址| 玖玖精品资源| 午夜日韩久久久网站| 婷婷射图| 婷婷伊人综合中文字幕| 人妻内射一区二区在线视频| 涩涩涩五月天| 日韩啪啪视频| 97色 五月天丁香| 色狠狠综合网| 五月天播播综合| 97超碰欧美中文字幕| 五月婷婷久久综合| 伊人网色婷婷五月天| 在线视频99| 久久激情综合| 亚洲激情综合五月婷婷啪啪| 97婷婷五月丁香| 五月丁香婷婷在线| 亚洲狠狠操| 91啪啪视频| 久久色情| se99视频| 丁香六月狠狠| 久久玖玖综合| 97人人射| 丁香五月综合| 六月婷婷七月丁香| 五月激情综合性爱| 嫩BBB槡BBBB搡BBBB| 大香蕉久久婷婷精品综合| 九九sese| 亚洲视频无| 免费无码毛片一区二区A片| 久久久无码精品成人A片小说 | 成人片在线播放| 久久这里只有欧美| 九九日本视频| 久xxxx| 俺也去色| 日本色99| 国产日韩亚洲欧美在线观看| 99噜噜噜在线播放| 国产亚洲av片| 极品人妻VIDEOSSS人妻| 婷婷五月天影院| 五月婷婷激情四季| 久9精品| 久久久精品免费啪啪国| 国产成人亚洲综合A∨婷婷| www.激情五月天| 综合亚洲五月天| 9精品在线| 五月天激情亚洲| 99热九九热| 停停五月色宗合| 欧美综合丁香网| 激情五月天婷婷图| 人人操人| 天天干天天插| 1024人妻| 97五月久久丁香婷婷| 三级大香蕉网| 桃色五月婷婷| 色日本综合| 国产av一区二区三区| 色狠狠色| 91九九| 超碰国产在线观看| 99亚州综合精品成人网|