欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

ViT圖像分類(lèi)實(shí)戰(zhàn):PyTorch預(yù)訓(xùn)練模型微調(diào)與避坑指南

ViT圖像分類(lèi)實(shí)戰(zhàn):PyTorch預(yù)訓(xùn)練模型微調(diào)與避坑指南 簡(jiǎn)介這是一份基于 PyTorch 的 Vision TransformerViT實(shí)現(xiàn)面向深度學(xué)習(xí)研究者與工程師提供從原始 JAX/Flax 權(quán)重轉(zhuǎn)換而來(lái)的預(yù)訓(xùn)練模型可直接用于圖像分類(lèi)、特征提取以及下游任務(wù)微調(diào)。壓縮包約 173KB共 35 個(gè)文件其中以 22 個(gè) Python 源碼為主涵蓋模型定義、訓(xùn)練、評(píng)估、數(shù)據(jù)加載與配置管理另有 README、Markdown 說(shuō)明、requirements 環(huán)境文件、YAML 配置及 Notebook 示例等目錄結(jié)構(gòu)清晰便于二次開(kāi)發(fā)。資源描述了與原始模型相當(dāng)?shù)慕Y(jié)果支持 ImageNet2012 等數(shù)據(jù)集并附帶微調(diào)與評(píng)估腳本適合有一定 PyTorch 基礎(chǔ)、希望快速?gòu)?fù)現(xiàn) ViT 論文或?qū)⑵鋺?yīng)用于自身視覺(jué)任務(wù)的開(kāi)發(fā)者。已有 7800 余人瀏覽學(xué)習(xí)是入門(mén) Vision Transformer 并獲取可用預(yù)訓(xùn)練權(quán)重的實(shí)用參考。 我做視覺(jué)這兩年最常用的框架就是PyTorch而ViT相關(guān)的項(xiàng)目里vision-transformer-pytorch這個(gè)庫(kù)我?guī)缀跏欠磸?fù)在用。很多朋友第一次接觸Vision TransformerViT時(shí)被論文里一堆概念唬住總覺(jué)得這是個(gè)很復(fù)雜的模型。但如果你上手跑一遍這個(gè)庫(kù)會(huì)發(fā)現(xiàn)ViT的思路其實(shí)非常直接把圖像切成小塊當(dāng)成一串“視覺(jué)單詞”送給Transformer去處理。而且這個(gè)項(xiàng)目坐標(biāo)很明確——Pytorch 預(yù)訓(xùn)練模型正好是現(xiàn)在視覺(jué)任務(wù)落地最常用的一套組合。這個(gè)項(xiàng)目解決的核心問(wèn)題就是讓大家不用重復(fù)造輪子。它提供了完整的ViT模型實(shí)現(xiàn)結(jié)構(gòu)清晰、參數(shù)可調(diào)并且可以配合預(yù)訓(xùn)練權(quán)重直接使用。對(duì)我個(gè)人來(lái)說(shuō)它最大的價(jià)值在于既能幫新手理解ViT內(nèi)部到底發(fā)生了什么也能讓有經(jīng)驗(yàn)的工程師在幾行代碼內(nèi)完成模型搭建和遷移學(xué)習(xí)。無(wú)論你是打算做圖像分類(lèi)還是把ViT當(dāng)作骨干網(wǎng)絡(luò)接進(jìn)檢測(cè)分割框架這篇文章都適用。1. ViT模型為什么值得關(guān)注從CNN到Transformer的范式轉(zhuǎn)移1.1 圖像能否直接當(dāng)序列處理在ViT出現(xiàn)之前視覺(jué)模型幾乎被卷積神經(jīng)網(wǎng)絡(luò)CNN統(tǒng)治。CNN的核心假設(shè)是局部性和平移不變性相鄰像素關(guān)系更密切同一個(gè)卷積核在整張圖上滑動(dòng)。這個(gè)假設(shè)在ImageNet這類(lèi)中大規(guī)模數(shù)據(jù)集上非常好用因?yàn)榫矸e天然帶有先驗(yàn)不需要太多數(shù)據(jù)就能學(xué)會(huì)。但Transformer的想法完全不同。它最初在NLP里證明了一件事只要數(shù)據(jù)足夠多你不給模型任何結(jié)構(gòu)先驗(yàn)讓注意力機(jī)制自己去找全局關(guān)系效果反而可能更好。于是就有了一個(gè)自然的問(wèn)題圖像能不能也當(dāng)成一個(gè)token序列來(lái)處理ViT回答這個(gè)問(wèn)題的方式很直接——把圖像切成固定大小的patch每個(gè)patch線性映射成一個(gè)向量再按順序拼起來(lái)當(dāng)作一個(gè)“句子”來(lái)處理。我最早看到這個(gè)思路的時(shí)候也挺驚訝整個(gè)ViT居然沒(méi)有一個(gè)卷積層全靠自注意力在建模。也正是這種極簡(jiǎn)讓它在超大數(shù)據(jù)集上表現(xiàn)驚人。論文里用JFT-300M這種量級(jí)的數(shù)據(jù)集做完預(yù)訓(xùn)練之后ViT在ImageNet上的精度能超過(guò)同等規(guī)模的ResNet和EfficientNet。所以它不是換了個(gè)結(jié)構(gòu)而是換了一種視覺(jué)建模的范式。1.2 vision-transformer-pytorch解決的三個(gè)實(shí)際問(wèn)題用這個(gè)庫(kù)一年多我感受到的突出價(jià)值有三點(diǎn)。第一實(shí)現(xiàn)與論文高度對(duì)齊可讀性強(qiáng)。它不是把ViT封裝成黑盒而是把patch embedding、transformer encoder、分類(lèi)頭拆成模塊改哪里都一目了然。我在對(duì)比不同層數(shù)、不同head數(shù)量對(duì)精度影響的時(shí)候基本就是改幾個(gè)參數(shù)的事。第二原生PyTorch生態(tài)無(wú)縫銜接。庫(kù)本身不依賴(lài)timm或者更上層的框架直接就能和你自己的訓(xùn)練管線集成。我經(jīng)常需要把ViT輸出的特征接給檢測(cè)頭或者分割頭這個(gè)庫(kù)的數(shù)據(jù)流非常透明改起來(lái)很順手。第三社區(qū)認(rèn)可度高坑少。這個(gè)項(xiàng)目在GitHub上star量很大用的人多意味著踩坑經(jīng)驗(yàn)多。比如位置編碼的維度問(wèn)題、patch size選擇問(wèn)題網(wǎng)上一搜就有很多討論遇到bug不至于孤立無(wú)援。對(duì)做工程和做研究的人來(lái)說(shuō)這種成熟度很重要。2. 核心架構(gòu)拆解ViT到底在做什么2.1 Patch Embedding圖像是如何變成Token序列的ViT最核心的一個(gè)操作就是Patch Embedding。以最常見(jiàn)的ViT-B/16為例輸入是224x224的RGB圖像patch_size設(shè)為16那么圖像會(huì)被劃分成(224/16)(224/16)1414196個(gè)patch。每個(gè)patch大小為16x16x3把它展平成長(zhǎng)度為768的向量再經(jīng)過(guò)一個(gè)線性投影層映射到768維的embedding空間。很多人第一次看會(huì)疑惑為什么不直接展平再用全連接其實(shí)這里的線性投影本質(zhì)就是一個(gè)1x1卷積或者一個(gè)reshape加Linear它的作用是讓每個(gè)patch的原始像素映射到更適合Transformer處理的語(yǔ)義空間。實(shí)際操作中很多實(shí)現(xiàn)直接用nn.Conv2d(in_channels3, out_channelsdim, kernel_sizepatch_size, stridepatch_size)來(lái)一步完成切patch和投影效率更高。這也是為什么你會(huì)看到有些代碼里Patch Embedding層長(zhǎng)得像卷積層但它做的事情其實(shí)就是“切塊線性變換”。這里我想強(qiáng)調(diào)一個(gè)點(diǎn)patch size的選擇直接影響序列長(zhǎng)度。patch越小序列越長(zhǎng)計(jì)算量越大但細(xì)節(jié)保留越多。ViT-B/32用32的patch序列長(zhǎng)度只有491個(gè)token速度快很多但精度略降。實(shí)際工程里如果顯存有限又不想掉太多精度可以考慮用大patch或者保持patch不變減少層數(shù)。2.2 位置編碼、CLS Token與Transformer Encoderpatch被映射成token之后接下來(lái)的問(wèn)題很關(guān)鍵Transformer本身是順序無(wú)關(guān)的它不知道哪個(gè)token在圖像的哪個(gè)位置。ViT的做法是加一個(gè)1D可學(xué)習(xí)的位置編碼向量直接加到所有token的embedding上。這里沒(méi)有用NLP里常見(jiàn)的2D位置編碼因?yàn)檎撐膶?shí)驗(yàn)發(fā)現(xiàn)1D可學(xué)習(xí)編碼對(duì)效果影響不大但實(shí)現(xiàn)更簡(jiǎn)單。ViT還在序列最前面插入了一個(gè)特殊的CLS token它的作用和BERT里的CLS一樣用于匯聚全局信息。在Transformer編碼若干層之后模型拿出CLS token對(duì)應(yīng)的輸出向量接一個(gè)分類(lèi)頭完成最終分類(lèi)。我實(shí)際中還見(jiàn)過(guò)一些改造方案比如直接對(duì)所有token做全局平均池化再分類(lèi)效果有時(shí)也不差但標(biāo)準(zhǔn)ViT用的是CLS token方案。接下來(lái)是Transformer Encoder。以ViT-Base為例包含12層Encoder每層由多頭自注意力12個(gè)head、MLPhidden size從768擴(kuò)展到3072再降回來(lái)、LayerNorm和殘差連接組成。值得注意的是ViT用的是Pre-LayerNorm結(jié)構(gòu)也就是每個(gè)子層注意力或MLP之前先做歸一化。這個(gè)細(xì)節(jié)影響穩(wěn)定性訓(xùn)練大模型時(shí)尤其明顯。我自己的經(jīng)驗(yàn)是這種設(shè)計(jì)配合較大的學(xué)習(xí)率也能保持穩(wěn)定微調(diào)時(shí)不容易崩。2.3 模型規(guī)格怎么選Base、Large與HugeViT官方發(fā)布了幾個(gè)規(guī)格Base86M參數(shù)、Large307M參數(shù)、Huge632M參數(shù)。視覺(jué)任務(wù)里用最多的就是Base它和ResNet50規(guī)模差不多但效果更好。如果資源充足、任務(wù)復(fù)雜Large往往能帶來(lái)明顯提升Huge則適合在超大數(shù)據(jù)集上從頭訓(xùn)練一般做遷移學(xué)習(xí)的用不起。我選型時(shí)通常會(huì)先想清楚數(shù)據(jù)集規(guī)模。數(shù)據(jù)集只有幾千張圖直接用Base甚至Small版本配合在ImageNet上預(yù)訓(xùn)練的權(quán)重效果往往比從零訓(xùn)練要穩(wěn)得多。所以這里就引出了下一部分的重點(diǎn)預(yù)訓(xùn)練模型到底怎么選、怎么用。3. 預(yù)訓(xùn)練模型的選擇與微調(diào)實(shí)戰(zhàn)思路3.1 三種獲取預(yù)訓(xùn)練權(quán)重的方式對(duì)比標(biāo)題里特別提到了“帶有預(yù)訓(xùn)練模型”這一點(diǎn)其實(shí)是很多人最關(guān)心的。vision-transformer-pytorch庫(kù)本身側(cè)重于提供模型結(jié)構(gòu)而預(yù)訓(xùn)練權(quán)重通常可以從下面三個(gè)渠道獲取獲取渠道是否攜帶官方預(yù)訓(xùn)練權(quán)重適用場(chǎng)景vit-pytorch庫(kù)否只提供模型結(jié)構(gòu)學(xué)習(xí)結(jié)構(gòu)、自定義改造timm是ImageNet預(yù)訓(xùn)練權(quán)重日常分類(lèi)、工程落地HuggingFace transformers是Google官方權(quán)重研究復(fù)現(xiàn)、需要官方預(yù)處理我個(gè)人的建議是追求簡(jiǎn)單就直接用timm一行代碼搞定下載和加載追求跟原論文對(duì)齊就去HuggingFace。用timm加載預(yù)訓(xùn)練權(quán)重的方法非常直接import timm model timm.create_model(vit_base_patch16_224, pretrainedTrue, num_classes1000) model.eval()如果你要做的分類(lèi)任務(wù)類(lèi)別數(shù)不是1000可以直接在create_model時(shí)指定num_classestimm會(huì)自動(dòng)把最后的分類(lèi)頭替換成對(duì)應(yīng)數(shù)量微調(diào)時(shí)非常省事。另外timm還提供了豐富的數(shù)據(jù)增強(qiáng)策略、EMA等訓(xùn)練工具對(duì)訓(xùn)練精度的提升很友好。如果你更希望復(fù)現(xiàn)原論文的預(yù)處理流程可以用HuggingFace的transformersfrom transformers import ViTForImageClassification, ViTImageProcessor model ViTForImageClassification.from_pretrained(google/vit-base-patch16-224) processor ViTImageProcessor.from_pretrained(google/vit-base-patch16-224)這里的processor封裝了標(biāo)準(zhǔn)化和尺寸調(diào)整邏輯拿過(guò)來(lái)就能用不用自己糾結(jié)normalize參數(shù)。不過(guò)要注意transformers加載這種大權(quán)重時(shí)會(huì)從HuggingFace服務(wù)器下載雖然大部分時(shí)候沒(méi)問(wèn)題但偶爾會(huì)卡住這時(shí)候可以設(shè)置環(huán)境變量HF_ENDPOINThttps://hf-mirror.com用國(guó)內(nèi)鏡像加速下載。注意預(yù)訓(xùn)練權(quán)重的下載只是第一步真正決定模型效果的是后續(xù)微調(diào)策略。3.2 微調(diào)策略?xún)鼋Y(jié)層、學(xué)習(xí)率與數(shù)據(jù)規(guī)模拿到預(yù)訓(xùn)練模型后第一個(gè)選擇就是凍結(jié)還是不凍結(jié)。如果數(shù)據(jù)集比較小、只有幾千張我建議凍結(jié)前11層Encoder只微調(diào)最后一層和分類(lèi)頭。實(shí)操中Encoder底層學(xué)習(xí)到的都是一些基礎(chǔ)紋理、邊緣特征這些對(duì)于任何視覺(jué)任務(wù)都是通用的不需要重新學(xué)。凍結(jié)之后可以大幅減少顯存占用和訓(xùn)練時(shí)間加快收斂。如果數(shù)據(jù)集中等幾萬(wàn)張或者目標(biāo)域和ImageNet差異很大比如醫(yī)學(xué)影像、衛(wèi)星圖我建議全部微調(diào)但把學(xué)習(xí)率調(diào)低一些。常規(guī)的做法是整體學(xué)習(xí)率設(shè)0.0001左右分類(lèi)頭學(xué)習(xí)率可以稍微放大到0.001。ViT對(duì)學(xué)習(xí)率比較敏感一開(kāi)始就用太大學(xué)習(xí)率很容易出現(xiàn)loss震蕩甚至不收斂。另外一個(gè)小技巧是如果顯存允許可以先把模型在較大分辨率如384x384上微調(diào)幾輪效果通常會(huì)比224更好。因?yàn)閂iT沒(méi)有卷積的局部先驗(yàn)更大分辨率意味著更多patch更多細(xì)節(jié)。代價(jià)就是序列長(zhǎng)度變長(zhǎng)顯存和速度都翻幾倍。我自己做細(xì)粒度分類(lèi)時(shí)這個(gè)技巧帶來(lái)的精度提升很明顯。4. 實(shí)操記錄從安裝到自定義數(shù)據(jù)集微調(diào)4.1 環(huán)境準(zhǔn)備和安裝先說(shuō)我實(shí)測(cè)過(guò)的環(huán)境組合Python 3.10PyTorch 2.1以上CUDA 11.8顯卡是RTX 3090。PyTorch的安裝直接用官方命令就行如果下載慢可以把pip源換成清華源或者阿里源。裝完之后裝依賴(lài)pip install torch torchvision timm pip install vit-pytorch后面這個(gè)vit_pytorch就是lucidrains的版本也是很多博客里提到的vision-transformer-pytorch的PyTorch實(shí)現(xiàn)。不過(guò)我想特別提醒一句vit_pytorch這個(gè)包默認(rèn)不攜帶預(yù)訓(xùn)練權(quán)重它的作用是快速構(gòu)建模型結(jié)構(gòu)你想直接跑預(yù)訓(xùn)練推理還是要配合timm或者transformers。很多人一開(kāi)始沒(méi)搞清楚這點(diǎn)裝了個(gè)vit-pytorch然后發(fā)現(xiàn)模型是隨機(jī)初始化的以為庫(kù)有問(wèn)題。4.2 快速推理用預(yù)訓(xùn)練權(quán)重分類(lèi)一張圖下面這段代碼是我在項(xiàng)目里驗(yàn)證一張新圖時(shí)常用的模板基于timm實(shí)現(xiàn)簡(jiǎn)單可靠import torch import timm from PIL import Image from torchvision import transforms device torch.device(cuda if torch.cuda.is_available() else cpu) model timm.create_model(vit_base_patch16_224, pretrainedTrue) model model.to(device) model.eval() transform transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) img Image.open(test.jpg).convert(RGB) x transform(img).unsqueeze(0).to(device) with torch.no_grad(): out model(x) prob torch.softmax(out, dim1) top5 torch.topk(prob, 5)輸出top5之后去查一下ImageNet的類(lèi)別索引表就能知道模型預(yù)測(cè)的是什么類(lèi)。這里最常踩的坑有兩個(gè)一是忘了convert(RGB)導(dǎo)致灰度圖或RGBA圖報(bào)錯(cuò)二是忘了加batch維度unsqueeze(0)少寫(xiě)就報(bào)維度錯(cuò)誤。我剛開(kāi)始跑的時(shí)候就在這兩處浪費(fèi)過(guò)時(shí)間。4.3 自定義數(shù)據(jù)集微調(diào)假設(shè)現(xiàn)在你有一個(gè)10類(lèi)的自定義數(shù)據(jù)集目錄結(jié)構(gòu)大概是train/class1、train/class2這樣。用torchvision的ImageFolder讀進(jìn)來(lái)然后替換最后的分類(lèi)頭就可以開(kāi)始微調(diào)import torch import torch.nn as nn import timm from torchvision import datasets, transforms from torch.utils.data import DataLoader model timm.create_model(vit_base_patch16_224, pretrainedTrue, num_classes10) model.to(device) train_transform transforms.Compose([ transforms.RandomResizedCrop(224), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) train_ds datasets.ImageFolder(train, transformtrain_transform) train_loader DataLoader(train_ds, batch_size32, shuffleTrue, num_workers4) optimizer torch.optim.AdamW(model.parameters(), lr1e-4, weight_decay0.05) criterion nn.CrossEntropyLoss() for epoch in range(10): model.train() for x, y in train_loader: x, y x.to(device), y.to(device) loss criterion(model(x), y) optimizer.zero_grad() loss.backward() optimizer.step() print(fepoch {epoch}, loss {loss.item():.4f})這段代碼只是最基礎(chǔ)的訓(xùn)練循環(huán)。實(shí)際項(xiàng)目里我還會(huì)加warmup、余弦退火、Mixup和數(shù)據(jù)增強(qiáng)。ViT在中小數(shù)據(jù)集上容易過(guò)擬合所以增強(qiáng)策略比CNN時(shí)代更講究。還有一個(gè)細(xì)節(jié)AdamW的weight_decay我習(xí)慣設(shè)0.05這是從DeiT論文里來(lái)的經(jīng)驗(yàn)值實(shí)測(cè)比0.01穩(wěn)定。5. 避坑指南使用ViT時(shí)最容易踩的坑5.1 輸入尺寸和歸一化必須匹配ViT模型對(duì)輸入尺寸非常敏感這一點(diǎn)比CNN嚴(yán)格得多。timm里的vit_base_patch16_224要求輸入224x224如果你給它喂512x512的圖patch數(shù)量就變了位置編碼的維度對(duì)不上通常運(yùn)行到模型內(nèi)部就會(huì)直接報(bào)維度不匹配的錯(cuò)誤。我的建議是把預(yù)處理統(tǒng)一封裝成一個(gè)函數(shù)Resize到224歸一化參數(shù)就用ImageNet默認(rèn)的mean和std不要自己隨便改。另外一旦換了數(shù)據(jù)集別忘了重新檢查normalize參數(shù)是否匹配——尤其是醫(yī)學(xué)圖像或者紅外圖像它們的像素分布和自然圖像差別很大。5.2 預(yù)訓(xùn)練權(quán)重下載失敗怎么辦這個(gè)問(wèn)題在HuggingFace的權(quán)重上尤其常見(jiàn)。下載到一半斷掉、網(wǎng)絡(luò)超時(shí)、緩存損壞都會(huì)導(dǎo)致無(wú)法加載。我遇到這種情況一般分兩步排查先看報(bào)錯(cuò)是不是SSL或者超時(shí)如果是就說(shuō)明是網(wǎng)絡(luò)問(wèn)題可以設(shè)置HF_ENDPOINThttps://hf-mirror.com再重新拉取如果報(bào)錯(cuò)是鍵名不匹配那大概率是模型結(jié)構(gòu)定義和權(quán)重來(lái)源版本不一致比如用了patch16的定義去加載patch32的權(quán)重。權(quán)重和模型結(jié)構(gòu)的匹配相當(dāng)重要。提示HuggingFace的緩存目錄通常在~/.cache/huggingface刪掉對(duì)應(yīng)模型的緩存再重新下載可以解決很多奇怪的加載問(wèn)題。下載慢但沒(méi)報(bào)錯(cuò)時(shí)多試幾次或者手動(dòng)下載后放到緩存目錄也行。5.3 顯存不夠用先別急著換顯卡ViT雖然參數(shù)不算特別多但自注意力的計(jì)算復(fù)雜度是序列長(zhǎng)度的平方。224分辨率下197個(gè)token還好一旦輸入到448x448token數(shù)變成(448/16)^21785計(jì)算量增長(zhǎng)非常明顯。如果顯存爆了最直接的思路是減小batch size或者把patch_size從16改成32。還有一個(gè)實(shí)用技巧是開(kāi)啟梯度累積用多個(gè)小batch累加梯度模擬大batch效果能接近但省顯存。訓(xùn)練速度慢的話優(yōu)先檢查是不是數(shù)據(jù)加載瓶頸。num_workers調(diào)大或者用pin_memoryTrue經(jīng)常能把GPU利用率拉滿。我見(jiàn)過(guò)很多新人把num_workers默認(rèn)0跑GPU利用率低得可憐改到4或8之后速度立竿見(jiàn)影。相比一上來(lái)就換卡這招劃算得多。5.4 位置編碼與輸入分辨率不匹配如果你想在384x384或更大的分辨率上微調(diào)直接用vit_base_patch16_224的權(quán)重會(huì)報(bào)位置編碼維度不匹配。因?yàn)轭A(yù)訓(xùn)練權(quán)重的position embedding是1x197x768而384x384對(duì)應(yīng)的是1x577x768。解決辦法是插值調(diào)整位置編碼的尺寸。timm里有些版本支持img_size參數(shù)或者在create_model時(shí)指定img_size384但不是所有實(shí)現(xiàn)都自動(dòng)處理。如果要手動(dòng)插值可以這樣import torch from vit_pytorch import ViT model ViT(...) pos_embed model.pos_embedding # 形狀 [1, 197, 768] new_pos_embed torch.nn.functional.interpolate( pos_embed.permute(0, 2, 1).unsqueeze(0), size(577,), modelinear, align_cornersFalse, ).squeeze(0).permute(0, 2, 1) model.pos_embedding torch.nn.Parameter(new_pos_embed)不過(guò)說(shuō)實(shí)話如果只是做普通分類(lèi)任務(wù)我不建議手動(dòng)插值直接用timm里帶384后綴的模型比如vit_base_patch16_384會(huì)省心很多位置編碼部分timm已經(jīng)處理好了。把上面這些坑都踩過(guò)一遍之后我對(duì)ViT的理解反而更深了。說(shuō)實(shí)話ViT的門(mén)檻并不在模型本身而在于各種細(xì)節(jié)patch怎么切、位置編碼怎么處理、預(yù)訓(xùn)練權(quán)重怎么融合、微調(diào)參數(shù)怎么調(diào)。把這些細(xì)節(jié)弄明白它就是非常趁手的視覺(jué)骨干網(wǎng)絡(luò)。如果你剛開(kāi)始接觸ViT我的建議是先按著代碼把模型結(jié)構(gòu)打印出來(lái)一個(gè)個(gè)模塊核對(duì)再跑通預(yù)訓(xùn)練推理最后再上自己的數(shù)據(jù)。這個(gè)過(guò)程走一遍比干啃論文有用得多。最后分享一個(gè)我自己的習(xí)慣任何新項(xiàng)目要采用ViT我都會(huì)先用Base模型加ImageNet預(yù)訓(xùn)練跑一個(gè)baseline確認(rèn)任務(wù)可行之后再根據(jù)顯存和精度需求決定要不要換Large或者調(diào)分辨率。不要一開(kāi)始就上大模型否則調(diào)參和排錯(cuò)的成本會(huì)高到讓你懷疑人生。希望這篇內(nèi)容對(duì)你有幫助有問(wèn)題歡迎留言交流。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷伊人久久无码色五月| 丁香狠狠干| 天天日天天添| 91人人爽人人操| 性天堂久久| 婷婷在线五月天观看| 青青久久五月天丁香婷婷| 九九热在线视频| 狠狠艹狠狠艹| 久热 91| 欧美性猛交AAAA片黑人 | 亚洲五月色| 色婷婷色99国产综合精品| 色色欧美色色| 97碰在线视频| 色情婷婷五月天| 九九在线这里只有精品视频| 六月天无码网址| 五月综合丁香婷婷| 激情久久久久久久久久久| 久久性爱视频| 99热色精品| 色综合99| 久久丁香五月天| 综合激情综合啪啪| 99这里只有精品视频在线| 91熟妇大香蕉| 97超喷视频在线观看| 思思热视频在线| 99热在线观看免费精品| 婷婷五月六月| 99热一区| 亚洲综合视频网| 婷婷5月九九| 这里只有精品偷拍| 色婷婷丁香五月天| 婷婷五月天堂网| 色月丁| 亚洲精品一区中文字幕乱码| 99久久99久久综合| 一级黄色影片| 精品夜夜澡人妻无码AV| 五月激香蕉网| 综合99在线| 青青草婷婷五月天| 99ri6在线视频| 伊人无码高清| 三日本无码| 国产AV一区二区三区日韩| 99人妻碰碰碰久久久久视| 久久综合99| 天天综合精品| 久久精品99国产精品日本| 欧美精品99久久久| 能看的AV| 任我干视频在线观看| 国产成人片| 色屌丝中文字幕| 91超碰在线观看| 婷婷成人视频| 九九色精品| 欧美熟女99| 91啪啪网| 婷婷午夜| 久久色吧| WWW.天天日| 这里只有精品视频视频在线观看| WWW五月天| 五月婷婷色吧!| 五月婷婷在线网站| 五月丁香婷婷欧美| 99热激情| 人人操超碰| 97碰 在线视频观看| 婷婷五月丁香成人网| 婷婷情色五月| 91欧美日韩综合| 91九色视频| 色婷婷视频| xxxx五月| 99久热| 国产99久久久| av在线婷婷| 4399在线观看免费高清毛片| 色婷婷亚洲婷婷| 国产精品色色666| 玖玖九九99| 丁香五月激情综合啪啪| 亚洲av综合网| www五月婷婷| 天堂网操| 无码中文一区二区三区| 伊人婷婷综合| 九热视频在线伦| 久久久99视频| 99九九精品| 激情四射网| 九九RE视频在线精品| 亚洲在线激情婷婷五月| 国产精品色婷婷AV综合色色| 操一区| 久99久视频精品| 九月久久婷婷| 这里只有免费的精品| 精品人妻久久久久| 91肏肏肏| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 婷婷性爱| 9有码中文| 婷婷成人基地| 丁香五月天导航| 夜夜撸天天日| 免费观看欧美成人AA片爱我多深| 九九热a| 五月丁香激情六月| 熟妇无码乱子成人精品| www.射伊蕉婷婷| 黄色AAAAA| 婷婷五月天丁香| 青青草青青草五月天| 69久久99精品久久久久| 五月婷婷六月丁香综合| 久久黄色片| 婷婷午夜激情| www.91操| 午夜爱爱网站| 五月色综合| 成人国产欧美大片一区| 久久久er热| 五月婷婷激情性爱| 色久影院| 久久综合干| 青青999| 成人婷婷五月天| 超碰亚洲天堂| 99久久99九九九99九他书对| 三级黄网站| 69综合在线| 亚洲第一精品成人999久久精品| 久热99| 日本三级中文字幕| 五月婷婷大香蕉| 激情熟女网| 婷婷五月偷拍| 丁香五月婷婷老师网站| 五月丁香天堂网| 亚洲精品无码99热| 思思热国产| 欧美日本日韩| 另类视频丁香五月| 99re青青草| 色香欲综合| 五月婷久久久久综合| 综合亚洲五月天| 日韩操人| 丁香五月日啪| 婷婷色色综合| 色五月女| 97碰| 99国产精品久久久久久久久久久| 色婷婷九月综合| 熟妇人妻中文字幕无码老熟妇 | 激情综合色网| 成人综合网站| 丁香婷婷基地| 狠狠综合网| 婷婷丁香九月| 五月天国产成人| 天天干天天拍| 色噜噜狠狠狠综合曰曰曰| 色噜噜丁香| 婷婷伊人五月| 另类亚洲视频| 五月激情天| 五月丁香婷婷成人伊人网| 夫妇交换刺激做爰| 色播播五月| 久久九精品| 狠狠色婷婷7777久| 五月丁香六月婷婷久久久综合| 久久99大| 五月天社区| 天天爽夜夜爽夜夜爽精品| 色播丁香| 99色色视频| 色欲丁香| 久久中文网| 丁香色综合| 老妇操B| 成人av在线电影| 丁香六月婷婷缴情欧美| 狠狠色九月| 98色花堂98t.R| 一逼色综合| 国产精品久久久久久久久久| 66色在线日韩| 五月丁香 啪啪啪| 老师把我爽高潮了免费A片| 欧美三级欧美一级| 就爱射中文字幕资源网| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 91色噜噜狠狠狠狠色综合| 丁香五月婷婷久久综合激情网| 影音先锋女人AA鲁色资源| 日本激情五月天‘| 这里只有精品视频国产| 日韩无码人妻一区二区| 欧美成人在线观看| 丁香六月婷婷久久综合| 91肏| 婷婷五月天AV| 五月激情婷婷女| 久久久网站| www.ywav| 国产成人精品123区免费视频| 欧州色色| 亚洲无码九九| 玖玖九九99| www99热| 丁香深五月婷婷| 色久天| 天天爽天天做| 亚洲精品小视频| 婷婷五月电影院| 中文AV网站| www.婷婷六月天| 99热免费观看| 五月天com| 九九热只有精品6| 999婷婷综合| 五月久久丁香| 亚洲综合五月天婷婷| 狠狠综合久久| 天天日天天插| 1区2区视频| 日韩操逼小电影| 色噜噜狠狠色综合日日免费| 韩国情人在线电视剧免费观看高清版全集| 91丨九色丨熟女|新版| 大香蕉视频婷婷| 婷婷成人视频| 狠狠干,狠狠操| 久碰婷婷视频| 九九自拍网| 丁香五月在线观看完整版| 天堂婷婷五月在线| 日韩五月婷婷| 深爱激情四射| 亚洲精品性色| 午夜激情五月天| 精品人妻久久久久久久| 这里只有精彩亚洲视频推荐| 超碰熟女拍拍| 99热精品在线| 色九网| 五月天激情啪啪| 丁香五月天中文字幕| 五月综合婷婷久久在线| 六月丁香激情网| 五月丁香六月激情啪| 思思re视频在线| 六月香五月婷| 思思热国产在线| 99视频热| 五月天综合网| 91精品91久久久中77777| 亚洲另类婷婷综合| 99啪啪视频| 大香蕉人妻| 五月天色五月| 九月性爱网| 高清av在线国产| 玖玖九九超碰| 九色 在线| 青青草轻轻操| 五月天婷婷久色| 亚洲 在线 性爱 | 99热最新国内| 国产精品人妻在线网址| 久草婷婷| www.五月瑟| 手机免费福利视频| 久久XX| 亚洲五月天婷婷| 337p大胆噜噜噜噜噜91Av| 丁香激情网| 欧美槡BBBB槡BBB少妇| 另类丁香五月天区图| 超碰啪啪网| 久久色9| 激情综合网五月婷婷| 丁香五月天色综合| xx人人xx| 成人做爰A片免费看视频| 色色婷婷综合| 五月婷婷色影院| 蜜臀A∨在线水帘洞| 欧美综合在线五月天色婷婷| 91综合色| 婷婷五月丁香五月基地| 99久久网站| 玖玖伦理电影| 这里只有精品视频| 欧美婷婷色| 五月天伊人久久久久| 五月天婷婷激情网| 久久久久久人妻| 婷婷色六月| 天天干天天日蜜臀av| 丁香五月婷婷综合精品素人| 五月天婷婷久久综合| 思思久久精品| 色婷丁香91| 五月丁香六月综合基地| 久久久久人妻精选| 婷婷五月成人| 99操逼视频| 天天狠狠色综合| 亚洲精品视频在线播放| 日本大逼91| 婷婷五月天日本国产| 色五月激情五月| 99色色网| av九九| 欧美25p| www.夜夜| 狠狠艹狠狠艹| 天天婷婷综合亚洲亚洲| 色伊人啪| www.婷婷,com| 丁香六月av| 啪啪啪五月天| 777精品久无码人妻蜜桃| 免费AV在线网址| 6080av| 婷婷午夜| 中文字幕在线播放视频| 亲子乱AV一区二区三区下载| 激情久久 婷婷| 深爱丁香激情| 久久五月天激情| 六月婷婷网| 九九re精品视频在线观看| 日本丰满久久| 亚洲五月色| 亚洲三A| 久鲁鲁色网| 九热...av| 婷婷五月色花丁香社区| 婷婷丁香成人五月天| 无遮羞AV| 天天情色综合网| 五月天婷婷婷| 俺去啦综合网| 丁香激情五月少妇| 色五月偷偷| 丁香五月www| www.俺去也com| 日日鲁鲁鲁夜夜爽爽狠狠视频97 | 久久五月天色婷婷| 五月丁香福利| 久久九九网| 日本高清久久| 天天日天天爽| 色五月成人在线| 性生生活大片又黄又| 色在线五月天免费| 五月丁香综缴情性爱| 思思热精品免费视频| 国产国产乱老熟女视频网站97| 婷婷丁香视频在线观看免费| 成人精品视频99在线观看免费| 99小精品| 婷婷色网址| 99热日韩| 日本一毛片| 99激情在线| 中文字幕在线观看视频www| 色5月婷婷| 国产亚洲在线观看| 少妇伦子伦精品无吗| 青青草深爱激情网| 伊人热婷婷| 99操无码视频观看| 另类图片五月天婷婷| 国产AV一区二区三区最新精品| 99精彩视频在线观看| 色色色九九九五月婷婷| 亚洲碰碰碰| 丁香五月久久| www.金莲av| 精品人妻久久久久久| 综合视频久久| 国自产拍偷拍精品啪啪一区二区| 人草人人| 国产VA播放| 日韩性爱AV| 激情综合网五月天| 天天日日人| 九九操屄| 色情婷婷| 婷婷五月天激情免费在线观看| 五月天丁香成人社| 9色91视频| 五月天伊人网| 久er7久热| 五月天婷婷激情四射综合| 9久热在线视频精品| 韩日在线熟女| 色色日本欧美| 99热久久这里只有精品| 97人人操人人| 五月丁香色婷婷综合| 久久9热| 午夜69成人做爰视频| 久久精品视频在这里有| 色播丁香五月婷婷操:屄| bukadeavzaixian| 色五月激情网| 狼人久草| 五月激情婷婷国产精品久久久久久| 99精品久久| 91/九色黑人| 九九热精品| 97热这里只有精品| 丁香欧美| 成人小说 五月天 婷婷| 九九aV| 欧美日韩国产一二区| av中文在线| 婷婷亚洲五月| 天天色综合网1| 激情综合青草| 97久久人人操| 久久综合中文字幕| 久久婷婷五| 少妇性按摩无码中文A片| 婷婷五月天亚洲综合| 色色色欧美色色| 久青青久| 婷婷五月成人色综合| www.精品久9| 精品人妻在线免费观看| 99热思思| 激情五月天丁香| 久久精品婷婷| 五月婷婷综合久久| 毛片新网地| 夜丁香综合| 天堂婷婷五月色| 久久五月天激情美女| 国产婷婷综合| 九九色院| 国产免费一区二区三区三州老师F1F1.CC | 天天爱天天做天天操| 色色日韩无码| 五月婷婷丁香五月婷婷| 丁香五月天激情综合网| 怡红院精品视频久久久久久久久| 婷婷五月综合在线视频| 26uuu91| 丁香五月天精品| 婷婷丁香77777| 亚洲小视频免费播放| 4399在线日本A片| 91porn一起草| 五月婷婷影院| 色色无码日韩| 五月色导航| 丁香五月综合在线播放| 久久思思热视频| 丁香5月婷婷| 五月六月激情| 五月天成人在线播放| 丁香五月天激情免费在线观看AV777| 999热成人在线综合网| 婷婷五月天激情小说网站| 五月天婷婷六月| 99热这里只有精品69| 婷婷综合网伊人| 亚洲婷婷婷| 色偷偷狠狠| 色五月天在线观看| 超碰九色| 任你躁XXXXX麻豆精品| 日本视频不卡123区| 一本色道久久88加勒比| 99热欧美精品| 五月丁欧美| 91精品熟女| 26UUU精品一区二区c〇m| 天天色天天舔天天爱天天爽| 日本色爽| 久久五月丁香| 另类婷婷五月天啪帕帕| 91九色丨国产丨爆乳| 五月丁香爱婷婷深深| 五月婷婷少妇之| 五月婷婷开心综合| 久久ww| 国产美女无遮挡裸体毛片A片 | 中文字幕成人日韩| 综合色色婷婷| 五月丁香久人妻中文| 黄网在线免费| 97碰碰视频在线观看| 婷婷九月激情| 色偷偷五月天| 天堂无码人妻精品AV一区| 人人肏逼视频在线一区二区| 东京热伊人| 5月婷婷六月丁香| 久久人妻精品| 亚洲乱码日产精品BD| 男人視頻站| 亚洲综合激情五月天婷婷| 色婷婷丁香五月色综合网| 99热精品在线观看| 尤物一区二区| 九九av| www色综合| 五月香婷婷| 久久R激情| 国产精品人妻欲求不满| 婷婷天天综合| 伊人在线视频| 色在线99| 啪到高潮激情丁香五月| 精品国产乱码久久久久夜深人妻| 综合狠狠干| 天天干天天 亚洲| 99热99干| 婷婷久久图片| 色丁香久久久| 久久视频在线视频| 成片免费播放| 久久五月天色婷婷| av五月丁香婷婷网| 色情激情五月| 天天插天天插| 伊人久久婷婷| 九九成人| 激情婷婷99| 色视频2025| 丁香五月婷婷综合精品素人| 无毒黄色网址| 天天日天天操天天干| 婷婷五月情| 色色色五月婷| 天天干,夜夜爽| 丁香婷婷狠狠97| sisi热国产| 色色婷| 久久宗合影| 久热网在线视频| 欧类av怡春院| 丁香五月婷婷色五月| 99操逼| 色色色区| 丁香五月婷婷av| 1024你懂的欧美曰韩| 五月激情综合深爱| 日本色99网站| se99视频| 九九人人看| 99热这里是精品| 2021日韩无码| www.91婷婷| 任你擦免费视频| 五月综合视频| 亚洲在线综合| 99性视频| 丁香五月天色综合| 国产成人精品一区二区三区视频| 亚洲婷婷月丁香五月| 亚洲人人操| 久久这里只有精彩| 免费看欧美成人A片无码| 成人深爱丁香五月| 亚洲亚洲人成综合网络| 色婷婷九月| 日本三级片片| 性爱网五月天| 安息电影在线观看完整版| 久久精彩视频| 1010日日无码| 美女91一起草| AAA久久| 开心五月婷婷激情| 国产精品久久久久久久久久免费| 激情九九综合网| 色五月美女| 亚洲丁香婷婷丁香五月天激情| 七月激情六月婷婷综合在线播放| 91色在线/日韩| 日本精品在线噜噜噜| 九九黄色网| 激情综合网 激情五月天| 丁香五月激情啪啪啪啪| 激情图片99| 丁香社区婷婷五月| 丁香五月123| 久久大香蕉同僚| 九九热这里只有精品556| 丁香六月啪| 亚洲综合五月天综合| 久久久久久9热不雅视频| 色五婷婷开心缴| 亚洲欧美婷婷五月色综合| 国产毛片精品一区二区色欲黄A片| 久热这里这里有精品| 97碰碰久久| 激情五月天综合婷婷网| 9热超碰| 中文字幕,综合,91| 日本一道久久| 丁香婷婷九月在线| 可以免费观看的AV| 亚洲中文字幕av| 激情九月婷婷九月| 五月天丁香成人| 狠狠色情婷婷| 色综合香蕉| 国产毛片欧美毛片久久久| 激情深爱五月| 日韩色色小视频| 碰超在线九色| 亚洲欧美婷婷五月色综合| 五月天婷婷丁香视频| 丁香五月www| 99精品视频在线观看| 激情综合五月婷婷六月丁香| 婷婷色网| 亚洲视频国产一区| 成人无码精品1区2区3区免费看| 99综合| xx综合网| 天天搡日日搡aaaaⅩ| 九九色网专区| 久99| 婷婷在线播放| 婷婷 月 丁香| 超碰chaompinm| 日韩AV在线免费| 丁香六月天| 激情婷婷五月天| 婷婷色五月情| 爱之国产色情综合| 超碰在线观看9| 色色亚卅| 婷婷六月丁香1| 99啪| 丁香五月黄色| 丁香,开心成人,久久| 五月天综合| 色婷婷激情四射视频| 99热这里只有精品50| 爱射综合| 超碰91人人操| 九九婷婷综合| 成人资源在线| 久人操| 九九色情网五月天| 久久久久9久无码视频| 九九Av| 丁香九月激情| 久久综合中文| 久久总和99| 久操97| 色婷婷丁香五月在线观看| 国产99视频永久免费| 激情九月婷婷| 色六月丁香婷婷啪啪啪| 六月婷婷综合| 色情性爱视频网址| 五月天婷婷黄色视频| 99色激| 国产精品大香蕉| www.婷婷| 色狠狠狠干| 影音先锋一区| 可以免费观看的av网址| 国产1区2区3区在线观| 婷婷丁香六月五月天| 久久五月视频| tingting五月天亚洲| 青草性爱视频| 欧美va国产va| 婷婷五月图片小说视频| 色色综合网络| 91大神操美女| 九热视频| 亚洲经典三级| 天天干天天av天天射| 97人人操com| 丁香 亚洲 久久| 91九色小视频| 精品久久婷婷五月天| 色色色在线免费视频| 色欲丁香久久| 亚洲激情综合免费| 五月天久久婷婷| 日日杆天天| 色婷婷很很丝袜| 91av无码| 亚洲AV人人操| 激情婷婷五月天伊人在线观看| 青青草护士中出内射-欧美电影在线天堂新版 | 欧美日本97| 狠狠综合区| 久久伊人大香蕉| 免费精品66| 99在线小视频| 激情综合五月| 五月停停大香蕉| 色色五月天com| 五月天日日操夜夜操 | 综合久久五| 精品99在线观看| 国产激情综合五月| 婷婷五月天激情在线| 婷婷五月天福利| 五月天婷婷小说| 影音先锋AV男人站| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 婷婷激情五月天小说| 96丁香六月婷婷蜜桃综合久久| 精品福利911| 婷婷天天婷婷天天澡| 九九色逼| 99热九九在线| 这里只有免费的精品| 五月狠狠| 婷婷丁香五月麻豆| 丁香五夜激情四射夜夜夜| 日本色道视频网站| 综合网亚洲| 91操人| 五月停停999| 天天日天天日天天搞| 五月丁香色| 亚洲成人在线观看av| 日本一级黄色电影| 色丁香婷婷| 天天综合精品| 99亚洲视频| 日本五月婷婷久久久六月丁香| 无人精品在线视频| 91av传媒高清在线视频网| 五月婷婷深深爱| 天天操,天天插| 99亚洲天堂| 久草婷婷视频| 丁香五月综合图片在线观看| 99热国产精品| 四川BBB搡BBB搡多人乱亂| AAA久久久AAA久久久AAA| 日日夜夜青青草| 色五月婷婷色| 久久人妻精品| 亚洲成人丁香花| 就要爱综合| av在线免费播放| www.九九婷婷| 久久五月综合| 男人大jjc女人免费视频| 丁香五月图片| 色色日本| 五月天激情小说| 色五月婷婷操逼| 香蕉97碰碰碰超视精品| 成人性爱精品视频| 色婷婷激情Av久久久| 色五月婷婷狠狠撸| 97福利视频| 99热老网站| 成人婷99最新| 金品在线视频99| 日本狠狠色| 1024在线视频| 久久丁香五月天| 91久久精品国产91性色TV| 桃色激情婷婷伊人网| 97精品综合久久| 深爱五月月天| 99久久99九九99九九九| 91操操| 99精品热视频| 婷婷射丁香| 亚洲欧洲国产精品| 日韩一级A片黄色| 亚洲网站999| 色婷婷五月天无码视频| 天天干天天干天天| 色欲婷婷五月天丁香| 狼人婷婷久久| 超碰人人操在线| 精品久久艹| 五月天婷婷综合久久| 伊人婷婷五月天| 第四色五月激情网| 少妇AB又爽又紧无码网站| 五月丁香综合伦理片| 中国女人内射6XXXXX| 激情久久五月网| 亚洲无码 图片区| 五月色婷婷激情| 亚洲天堂制| 99热精品免费| 色色色国产| 欧美va在线| 麻豆科斗777| 五月丁香网站| 天天摸夜夜爽天天做| 丁香五月婷婷久久久| 亚洲美女网Va| 五月花综合| 亚洲乱码日产精品BD| 五月天婷婷婷| 狠狠人妻色综合| 欧美激情性做爰免费视频| 国产丁香五月天婷婷| 天天综合网色欲香| 99欧州偷拍视频| 久久这有这里精品| 午夜成人av在线| 婷婷综合精品| 久久这有这里精品| 91热手机在线| 五月丁香久人妻中文| 99视频超级精品| 97大香蕉五月天| 婷婷五月影院| 再次出发二| 9|在线观看视频| 在线视频你懂得| 亚洲XX日本| av在线免费网站 | 夜夜骑天天玩天天日| 中文字幕97超级碰| 日本不卡高字幕在线2019| 婷婷五月天香蕉| 婷婷久久99| 久久一级AV| 成人色图情色成人网 www.5b5b5bcom 五月天| 91婷婷丁香| www.seqingwuyuetian| 人人操AV| 开心深爱五月天| 9一精品视频观看| 国产乱子轮XXX农村| 开心婷婷丁香五月| 久久性爱网站| 亚洲午夜av| 高清国产一级婬片a免费| 婷色五月| 五月丁香婷婷在线| 婷婷情色激情| 26uuu亚洲色| 美女黄频aⅴ视频| 高清免费在线视频| www.yw尤物| 超碰99资源站| 日本性激情色播| 五月五婷婷网| 金品在线视频99| 中文字幕成人网站| 五月婷婷激情网| 少妇人妻人伦A片| 色综合色综合色综合| 狠狠色五月激情| 色女人久久| 狠狠色综合无线观看| av中文在线| 91热在线| 99只有这里有精品在线视频| 六月伊人婷婷| 国产精品久久99| 六月婷婷视频| 五月天堂六月丁香亚州中文字幕久久| 丁香五月天堂网| 久久九九99| 91九色视频在线观看| 青草五月天| 五月婷久久在线| 色综合网综合| 亚洲激情五月婷婷日日| 99在线观看免费精品视频| 99久热精品在线| 丁香五月激情五月| 婷婷六月香| 婷婷五月综合国产精品| 久久中文网| 粉嫩AV久久一区二区三区| 99无码| 色99色| 99色综合| 中文字幕 码精品视频网站| www九九热| 91丨九色丨丰满人妖| 中文av网| 成人视频在线免费播放| 丁香五月天堂| 狠狠操狠狠| 色五月大| 猫咪伊人久久| 96精品久久久久久久久| 26uuu丁香婷婷五月| 天天日天天插| 亚洲婷婷激情综合激情999精品| 丁香婷婷视频在线| 超碰色综合| 九九99九九99| 色婷婷基地| 色色五月婷| 欧美成人A片AAA片在线播放 | 亚洲区1| 六月婷婷最新网址| 亚洲午夜电影| AV在线中文| 色噜噜伊人| 夜夜夜叫天天天做| 国产精品色婷婷AV综合色色| 天天摸天天做天天爱天天爽| 久久婷婷五月综合色奶水99啪| 九九热av| 婷婷五月婷婷| 蜜臀综合久草| 狠狠五月婷婷| 日韩无码亚欧无码| 激情綜合網址| 青青热久久综合| 春色激情第四色| 婷婷五月天色播| 99热免费在线| 亚洲九区| 免费三级黄色| 伊人超碰在线| 九九香蕉网| 色青青五月| 激情五月婷婷五月丁香五月开心五月| 大香蕉九九| 中文字幕乱码亚洲精品一区| 久久婷婷资源| 天天摸.天天mo| 欧美日韩AAAA| 色五月色五天色情网| www.狠狠| 在线观看欧美3区| 久热91精品| 婷婷开心青青草| 色爱亚洲| 欧美人与性动交CCOO| 丁香五月婷婷影视先锋| 思思99久久| 2020久久婷婷五月| 色五月人妻| A片试看50分钟做受视频| 99热大| 91狠狠色丁香婷婷综合久久| 婷婷综合伊人丁香| w婷婷五月婷婷w| 免费无码毛片一区二区A片| 九九精品亚洲| 日韩操逼大片| 99热在线免费| 婷婷激情五月综合| 婷婷丁香五月社区亚洲| www.婷婷亚洲基地| 五月丁香亚洲综合网| a网站免费观看| 激情婷婷在线| 亚洲 综合中文| 丁香五月影院| 9色91视频| 看婷婷五月天网| 五月婷婷亚洲| 潘金莲AAAAAAAAAA| 婷婷九月激情| 六月婷久久| 色99免费视频中文| 午夜青草资源| 欧美精品18| 91丨九色丨丰满人妖| 丁香六月婷婷姐网| 亚洲深喉AV| 欧亚洲在线高清视频| 97碰碰在线观看视频| 欧美成人AAA片一区国产精品| 97干视频在线| 99热97| 色色五月婷婷狠狠| 婷婷激情综合无月| 久九色| 狠狠情色| 欧美五月婷婷| 午夜少妇在线观看视频| 九九99免费视频| 99久久五月婷婷| 丁香五月婷中字在线| 很操日本7| 99视频只有精品| 免费黄色视频网址| AV在线免费播放| 欧美人人超级碰| 色色综合视频| http://www.com久久久精品一区| 97色干| 色婷婷888| 超碰免费99| 五月婷婷婷婷婷婷艺术| 乱乱av| 99热这里只有精品10| 思思热精品在线| 欧美在线视频99| 8区视频在线| 好看的国产精品| 久操婷婷| 9|无码久久久久久| 人人摸人人摸| 天堂爱啪啪| 五月丁香婷婷深深爱| 欧美VA视频| 九九精品亚洲| 丁香激情网| 99热99久久| 久久香蕉福利| 日日操夜夜撸| 色婷婷狠狠干| 无码少妇高潮喷水A片免费| 99精品在线下载| 婷婷色色亚洲| 99热官网精品在线| 久久婷婷网址| 六月色播| 高清视频一区| 亚洲欧美成人在线| 91啪啪| 色伦专区97中文字幕| 九九热在线观看视频网站| 激情五月天。| 日日夜夜狠狠操| 丁香五月婷婷大香蕉| 亚洲超碰在线| 五月天天丁香婷婷在线中| 欧美激情综合| 婷婷激情五月综合丁| 婷婷五月天影院| 欧美精品熟女一区二区| 99精品偷拍视频| 91九色熟女| 欧美、日韩、中文、制服、人妻| 久久九九网| 热久久77777| 玖玖婷婷色欲| 天堂色婷婷| 久久婷婷五月国产色综合激情| 天天综合精品| 天天日天天爽夜夜爽| 五月丁香综合成人社区| 五月婷婷综合在线| 偷拍视频五月天| www,色综合| 丁香婷婷大香蕉| 亭亭五月激情亚洲在线| 久久综合五月| 开心激情综合| 婷婷 激情 五月| 996热re视频在线观看视频| 少妇高潮一区二区三区99欧美| 五月激情精品视频| 久久大香蕉伊人| 色婷婷基地| 色婷婷丁香| 久热这里这里有精品| 99色久| 激情五月婷婷| 偷拍91九色| 超碰狠狠色| 色99日韩| 婷婷六月丁综合| 色99网| 五月天六月婷婷电影| 婷婷丁香97| 婷婷五月天VI| 色播五月婷婷| 五月婷婷免费看| 亚洲另类婷婷五月丁香在线播放| 久热伊人在91| 五月婷婷激情网| 久久久这里有精品| 99热骚货| 人人干99| 婷婷六月天| 9国产在线视频| 9精品在线| 五月婷亚洲精品| 激情丰满熟妇五月| 欧美色宗和激情| 伊人超碰在线| 日韩黄在免| 亚洲中文字幕AV| 九九热在线视频| 夜夜做夜夜愛| 可以免费看av网站| 亚洲欧洲另类| 香蕉久久六月| 亚洲精品白浆高清久久久久久| 991国产精选视频在线播放下载| jiqingliuyuetian| 日韩99色| 色五月综合网| 激情五月天啪啪| 亚洲成人AV一区在线观看| 色婷婷小说| 狠狠狠狠狠狠色| 激情五月色婷婷| 天天色综合网吨吧| 婷婷区日本| 99re久热只有精品6在线直播| 久9精品视频| 99在线播放| 超碰无码老师| AA片在线观看视频在线播放| 久久九九热视频| 欧美va在线| 97性视频| 五月天婷婷久久| 99精品热| 亚洲成人黄色网| 婷婷五月天视频在线观看| 色丁香在线视频| 五月婷婷开心亚洲无| 婷婷操久久| 色色激情网| 伊人9草在线观看| 奇米色大香蕉| 中文av在线观看| 日本黄色在线观看| 免费在线a| 国产超碰人人| 色婷婷av在线| 久久五月天色婷婷| 玖玖色综合网| 五月丁香美女视频| 99操逼| 国产五月丁香在线| 五月天婷婷色播综合在线| 五月丁香婷婷福利| 99热只有精品在线播放| 色五月久久成人婷婷| 色日本丁香婷婷| 99热99思午夜精品| 中文字幕簧片| 婷婷五月天人妻| 丁香五月欧美色综合| 五月天综合在线观看| 色香欲综合| 天天综合色丁香| 色色色色色色色色综合网| www.天天日| 国产视频色色色色色色色 | 天天操夜夜夜拍拍拍| 色爱综合网| 丁香五月婷婷六月婷| 久草九九| 日韩成人影片网站| 色激情综合| 五月天成人综合| 亚洲综合色婷婷文学| 99热这里只有精品268| 亚洲99在线| 狠干综合| 亚洲五月综合色播| 亚洲色频| 99ri视频| AAA久久| 超碰在线资源| 五月婷六月天| 国产毛片精品一区二区色欲黄A片| 久久婷婷色| 婷婷色在线视频| 五月婷婷色啪| 色五月中文网| 久久激丁香| 性爱电影科技贸易有限公司| 色婷婷九月| 天天 青草 制服丝袜 在线| 久久99久久99精品免观看粉嫩| se99热久久一本| 婷婷六月天激情| 色婷婷播放| 99热久久这里只有精品2010| 欧美日本国产| 亚洲综合婷婷六月丁香五月| 免费无码毛片一区二区A片| 色婷婷丁香五月观看| www狠狠| 99热在这里只有免费精品| 五月天婷婷在线播放| 99色激| 成片免费观看视频大全| 五月天社区婷婷丁香社区| 婷婷五月天网| 狼人婷婷综合| 婷婷五月天黄色| 国产精典视频在线观看| 97久久久久| 337p大胆噜噜噜噜噜91Av| 五月天婷婷综合网| 99热国产婷婷| 中文字幕人妻在线| 五月天久久久| 91丨九色丨东北熟女| 色热久资源| 欧美成人精品A片免费一区99| 亚洲sesesese| 色综合伊人网| 日本ww亚洲| 91fuliwang| 激情五月天激情小说| 激情丁香五月天图片| 国产欧美熟妇另类久久久 | 九月婷婷激情| 成功精品影院| 国产精品久久久久久白浆色欲| 久久色亭亭五月天| 久久久久婷婷| 九九热在线99| 99综合婷婷五月| 91人人人人人| 2025色婷婷| 97操碰人人| 九九干视频| 思思热这里只有精品视频666| 丁香九九九九| 久久这里在精品视频| 五月婷婷av在线| 国产九九一区二区三区| 激情AV在线| 国产精品18久久久| 久热网在线视频| 人人妻人人澡| 婷婷99狠狠| 婷婷六月伊人| 性色婷婷| 无码日本精品XXXXXXXXX| 综合色综合| 色丁香五月| 婷婷五月天av| 开心激情网在线| 噜噜色五月| 开心五月深爱五月| 激情五月,色播五月| PORNY九色9l自拍视频成人| 丁香五月欧美| 色J香五月天| 超碰碰碰碰| 午夜成人片400| 亚洲色A| 久久婷婷五月综合色奶水99啪| 九九在线视频| 婷婷五月骚厕所| 91丨九色|PRNY熟妇| 国产毛片欧美毛片久久久| 婷婷综合五月|