欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

SimCLR自監(jiān)督學習實戰(zhàn):在TinyImageNet上復現(xiàn)對比學習與表征評估

SimCLR自監(jiān)督學習實戰(zhàn):在TinyImageNet上復現(xiàn)對比學習與表征評估 簡介基于SimCLR自監(jiān)督學習與監(jiān)督學習的對比研究項目完整代碼包面向計算機視覺方向的研究者與學習者重點演示在TinyImageNet數(shù)據(jù)集上通過對比學習預訓練ResNet18再遷移至圖像分類任務的完整流程適用于無標注或弱標注場景下的特征學習實驗。包內(nèi)含35個文件以10個Python腳本為核心覆蓋數(shù)據(jù)目錄重組、自定義DataLoader含CutMix增強、模型定義、訓練與測試、超參數(shù)調(diào)優(yōu)等環(huán)節(jié)另配有15個SVG可視化圖表便于理解網(wǎng)絡結(jié)構(gòu)與訓練曲線輔以說明文本和Markdown文檔整體約580KB。已有57人學習可作為復現(xiàn)SimCLR實驗、對比自監(jiān)督與監(jiān)督學習性能差異的入門參考。借助代碼與注釋可快速搭建實驗環(huán)境觀察預訓練特征在下游分類任務中的表現(xiàn)并參考參數(shù)調(diào)整思路優(yōu)化模型效果。1. 自監(jiān)督學習的復現(xiàn)價值SimCLR 在 TinyImageNet 上先于監(jiān)督學習跑出可用的表征先說一個反直覺的結(jié)論在 TinyImageNet 這種 200 類、每類只有 500 張訓練圖的小規(guī)模數(shù)據(jù)集上SimCLR 自監(jiān)督預訓練出來的 ResNet18 特征經(jīng)過線性評估后能逼近甚至打平端到端監(jiān)督訓練的結(jié)果但它完全不需要任何標簽。這個項目就是干這件事的實現(xiàn) SimCLR 對比學習算法在 TinyImageNet 上預訓練 ResNet18再和監(jiān)督學習做公平對比。它適合兩類人一類是做圖像分類但標注數(shù)據(jù)不夠的從業(yè)者想看看自監(jiān)督能不能緩解標注壓力另一類是剛開始接觸對比學習、想從零跑通一個自監(jiān)督實驗的學生。這篇筆記我會把 SimCLR 的關(guān)鍵機制、完整可復現(xiàn)代碼、監(jiān)督對照組的設計、以及我在復現(xiàn)過程中踩過的坑一次講透讀完你不僅能跑通還能自己改參數(shù)做實驗。2. SimCLR 的三個關(guān)鍵旋鈕數(shù)據(jù)增強、投影頭與溫度系數(shù)改一個都會翻車SimCLR 的原理表面看很簡單把一張圖做兩次隨機增強得到正樣本對然后讓模型學會把同一張圖的兩個增強版本在特征空間里拉近把其他圖的增強版本推遠。但真正決定實驗成敗的是三個看起來很小、實際影響巨大的設計決策。這一章我先講清楚這三個決策為什么這么重要再給出在 TinyImageNet 場景下的推薦配置。2.1 為什么選 TinyImageNet 而不是 CIFAR 或完整 ImageNetTinyImageNet 是 ImageNet 的一個小型鏡像200 個類別每類 500 張訓練圖、50 張驗證圖分辨率統(tǒng)一縮到 64×64。這個規(guī)模對自監(jiān)督實驗來說是性價比最高的選擇完整 ImageNet 上 ResNet50 的 SimCLR 預訓練需要幾百張 GPU 卡跑幾天CIFAR-10 類別太少、圖像太簡單自監(jiān)督相對監(jiān)督學習的優(yōu)勢體現(xiàn)不出來。TinyImageNet 則能在 1-2 張 GPU 上完成預訓練同時因為類別多、圖像內(nèi)容復雜能真實反映表征質(zhì)量的好壞。我一般會先跑 TinyImageNet 而不是直接上 ImageNet原因很實際SimCLR 的感受野、增強強度、溫度系數(shù)這些超參數(shù)在 64×64 分辨率下的最優(yōu)配置跟 224×224 完全不同用 TinyImageNet 做 warmup能在兩小時內(nèi)驗證整套代碼邏輯是否正確再遷移到大分辨率數(shù)據(jù)集時就只需要調(diào)增強參數(shù)不用重新排查代碼 bug。2.2 增強組合隨機裁剪是主心骨顏色失真是勝負手SimCLR 論文里最反直覺的發(fā)現(xiàn)是在 ImageNet 上用隨機裁剪效果一般但隨機裁剪 顏色失真色彩抖動、灰度化的組合效果暴漲。原因是單看顏色直方圖模型很容易找到捷徑——兩張增強后的圖只要顏色分布相似就直接拉近根本不需要學習形狀和語義特征。顏色失真打掉了這條捷徑逼著模型去學結(jié)構(gòu)信息。在 TinyImageNet 上這個規(guī)律同樣成立而且由于 64×64 分辨率更低隨機裁剪的尺度范圍需要專門調(diào)整。import torchvision.transforms as T simclr_augment T.Compose([ T.RandomResizedCrop(64, scale(0.2, 1.0)), T.RandomHorizontalFlip(p0.5), T.ColorJitter(0.4, 0.4, 0.4, 0.1, p0.8), T.RandomGrayscale(p0.2), T.GaussianBlur(kernel_size(3, 3), sigma(0.1, 2.0)), T.ToTensor(), T.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ])RandomResizedCrop的scale(0.2, 1.0)表示裁剪區(qū)域占原圖的 20% 到 100%這是 SimCLR 原論文的推薦值但對于 64×64 的輸入要小心如果裁到 20% 再 resize 回 64有效分辨率只剩約 28×28語義信息會損失嚴重。GaussianBlur的核大小我通常會設成 3×3 而不是 ImageNet 上常用的 9×9因為 64×64 圖像本身細節(jié)就少過大的模糊核會把所有紋理都抹掉。顏色失真強度0.4是一個比較穩(wěn)妥的起點太強會讓圖像顏色失真到影響人類判讀太弱則無法有效防止捷徑學習。2.3 投影頭和 NT-Xent 損失表征在哪里被拉近SimCLR 的另一個關(guān)鍵設計是在 backbone 的 512 維特征后面接一個投影頭Projection Head把特征映射到 128 維空間后再計算對比損失。訓練完成后丟掉投影頭只用 backbone 的特征做下游任務。為什么要多此一舉因為 512 維特征里有太多和實例區(qū)分無關(guān)的信息比如背景、紋理、光照方向這些信息在對比損失里會成為噪聲干擾拉近推遠的梯度。128 維的投影空間相當于一個瓶頸把無關(guān)信息過濾掉讓對比損失只作用于真正有用的語義特征。import torch import torch.nn as nn import torch.nn.functional as F class ProjectionHead(nn.Module): def __init__(self, in_dim512, hidden_dim2048, out_dim128): super().__init__() self.fc1 nn.Linear(in_dim, hidden_dim) self.fc2 nn.Linear(hidden_dim, out_dim) def forward(self, x): x F.relu(self.fc1(x)) return self.fc2(x) class NTXentLoss(nn.Module): def __init__(self, temperature0.5): super().__init__() self.temperature temperature def forward(self, z1, z2): batch_size z1.shape[0] z torch.cat([z1, z2], dim0) # 2N x D z F.normalize(z, dim1) sim z z.T / self.temperature # 2N x 2N mask torch.eye(2 * batch_size, devicez.device).bool() sim.masked_fill_(mask, -1e9) # 正樣本對i 與 iN互為增強對 positive torch.cat([ torch.diag(sim[batch_size:, :batch_size]), torch.diag(sim[:batch_size, batch_size:]) ]) negative sim.masked_fill( torch.eye(2 * batch_size, devicez.device).bool(), -1e9 ).sum(dim1) return (-torch.log(positive.exp() / negative.exp())).mean()投影頭的結(jié)構(gòu)我用兩層 MLP中間維度 2048、輸出 128這個配置來自 SimCLR 原論文在小規(guī)模數(shù)據(jù)集上同樣適用。NT-Xent 損失的核心是溫度系數(shù)temperature它控制對困難負樣本的懲罰強度。溫度越低模型越關(guān)注與當前樣本相似度最高的負樣本訓練越激進溫度越高所有負樣本的懲罰趨于均勻訓練越平穩(wěn)。我常用的起點是temperature0.5這是 SimCLR 原文在 ImageNet 上的最優(yōu)值。損失函數(shù)里positive.exp() / negative.exp()實際上是 InfoNCE 的變體用 softmax 的形式計算正樣本對在 batch 內(nèi)所有樣本對中的占比。這里有一個新手常犯的錯把masked_fill的位置寫錯導致對角線上的自身與自身的相似度沒有被屏蔽損失會被嚴重低估。我習慣在實現(xiàn)后做一次單元測試輸入隨機 tensor檢查 loss 是否為正數(shù)、是否隨 batch 大小單調(diào)變化。這個檢查只需要十秒鐘能省掉后面兩小時的排錯時間。3. 復現(xiàn)細節(jié)從 TinyImageNet 原始目錄到 NT-Xent 損失完整跑通預訓練與線性評估這一章直接給可復現(xiàn)的完整流程。我默認你已經(jīng)有 PyTorch 環(huán)境我使用 PyTorch 2.x CUDA 11.8 單張 RTX 3090代碼里會標注每部分的作用和可調(diào)參數(shù)。整個流程分四步準備數(shù)據(jù)、搭建增強與模型、預訓練、線性評估。3.1 數(shù)據(jù)加載TinyImageNet 的目錄結(jié)構(gòu)與標簽映射TinyImageNet 的官方 zip 包解壓后train/文件夾下是 200 個類別的子文件夾每個子文件夾名是一個像n01443537這樣的 WordNet ID里面放著對應類別的圖片val/文件夾下是 10000 張驗證圖圖片名是val_100.JPEG這種格式類別信息在val_annotations.txt文件里。這里的第一個坑是train/下的類別子文件夾順序是按 WordNet ID 排序的但val_annotations.txt里的類別順序是按圖片名排序的如果不建立從 WordNet ID 到整數(shù)標簽的映射訓練集的 0-199 標簽和驗證集的對不上線性評估時會有接近 180 個類別的標簽完全錯位。import os import zipfile from urllib.request import urlretrieve # 下載并解壓 TinyImageNet if not os.path.exists(tiny-imagenet-200): urlretrieve(http://cs231n.stanford.edu/tiny-imagenet-200.zip, tiny-imagenet-200.zip) with zipfile.ZipFile(tiny-imagenet-200.zip) as zf: zf.extractall(.) # 構(gòu)建 train 數(shù)據(jù)集 class TinyImageNetTrain(torch.utils.data.Dataset): def __init__(self, root, transform): self.transform transform self.images, self.labels [], [] class_dirs sorted(os.listdir(os.path.join(root, train))) self.class_to_idx {c: i for i, c in enumerate(class_dirs)} # 關(guān)鍵先排序再映射 for cls in class_dirs: cls_dir os.path.join(root, train, cls) for img_name in os.listdir(cls_dir): self.images.append(os.path.join(cls_dir, img_name)) self.labels.append(self.class_to_idx[cls]) def __len__(self): return len(self.images) def __getitem__(self, idx): img Image.open(self.images[idx]).convert(RGB) return self.transform(img), self.labels[idx]注意class_to_idx的構(gòu)造順序我先把class_dirs排序再按排序后的順序建立映射保證訓練集和驗證集的標簽空間一致。如果直接用os.listdir返回的順序建映射Linux 和 macOS 的文件系統(tǒng)遍歷順序可能不同同一份代碼在兩個環(huán)境下跑出完全不同的標簽含義。訓練時我用DataLoader加載這個數(shù)據(jù)集每個 batch 里會一次性取出 2N 張圖N 張原圖N 張增強圖所以batch_size參數(shù)我習慣寫的是原圖的數(shù)量實際 GPU 顯存占用按 2 倍計算。3.2 增強 pipeline 與 backbone 改造backbone 直接用 torchvision 的 ResNet18去掉最后的全連接分類器把avgpool的輸出512 維特征作為投影頭的輸入。注意使用torchvision.models時要設置weightsNone不要加載 ImageNet 預訓練權(quán)重——自監(jiān)督實驗的干凈基線要求模型從頭訓練如果加載了預訓練權(quán)重對比學習的從零學習假設就不成立了監(jiān)督對照組的比較也會失去意義。import torchvision.models as models class SimCLRBackbone(nn.Module): def __init__(self): super().__init__() resnet models.resnet18(weightsNone) self.backbone nn.Sequential(*list(resnet.children())[:-2]) # 去掉 avgpool 和 fc self.projection ProjectionHead(in_dim512, hidden_dim2048, out_dim128) def forward(self, x, return_featureFalse): feat self.backbone(x) # B x 512 x 2 x 2 feat feat.mean(dim[2, 3]) # 全局平均池化 - B x 512 if return_feature: return feat return self.projection(feat)list(resnet.children())[:-2]去掉了avgpool和fc兩層backbone 輸出的張量形狀是B x 512 x 2 x 2因為在 64×64 輸入下 ResNet18 經(jīng)過四次下采樣特征圖縮小到 2×2。我用mean(dim[2, 3])做全局平均池化這比nn.AdaptiveAvgPool2d(1)更直觀效果完全等價。return_featureTrue時返回 backbone 特征而不是投影特征這個開關(guān)在后續(xù)線性評估和相似度檢索時會用到。3.3 對比損失與訓練循環(huán)預訓練的訓練循環(huán)主要工作是把同一 batch 的圖像做兩次獨立增強然后分別過模型得到兩個投影特征再計算 NT-Xent 損失。優(yōu)化器我使用 AdamW學習率按 batch 大小線性縮放lr base_lr * batch_size / 256base_lr 取 3e-4。有 LARS 優(yōu)化器的話更好但 AdamW 在小模型和中等 batch 下也能收斂差別大約在 1-2 個點以內(nèi)。from torch.optim import AdamW from torch.optim.lr_scheduler import CosineAnnealingLR model SimCLRBackbone().cuda() optimizer AdamW(model.parameters(), lr3e-4 * batch_size / 256, weight_decay1e-6) scheduler CosineAnnealingLR(optimizer, T_max120) for epoch in range(120): model.train() total_loss 0 for x, _ in train_loader: # x: B x 3 x 64 x 64 x1, x2 simclr_augment(x), simclr_augment(x) # 兩次獨立增強 z1 model(x1.cuda()) z2 model(x2.cuda()) loss NTXentLoss(temperature0.5)(z1, z2) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() scheduler.step() if epoch % 10 0: torch.save(model.state_dict(), fcheckpoints/simclr_epoch{epoch}.pth)x1, x2 simclr_augment(x), simclr_augment(x)這行要特別注意simclr_augment是一個torchvision.transforms.Compose對象對同一 batch 調(diào)用兩次會產(chǎn)生不同的隨機增強結(jié)果這正是 SimCLR 需要的正樣本對。每次迭代要手動zero_grad()并loss.backward()這個順序?qū)懛磿е绿荻壤鄯e。CosineAnnealingLR的周期設為 120和總 epoch 數(shù)一致學習率會在最后收斂到一個極小值。如果顯存不足優(yōu)先檢查batch_size然后在optimizer.step()前添加torch.cuda.empty_cache()不解決根本問題但能緩解碎片化。3.4 線性評估協(xié)議凍結(jié)表征的監(jiān)督訓練預訓練之后真正驗證表征質(zhì)量的方式是線性評估把 backbone 的權(quán)重凍結(jié)只在 512 維特征后面接一個線性分類器在 TinyImageNet 訓練集上監(jiān)督訓練這個分類器。因為 backbone 不參與梯度更新這個實驗的訓練成本很低幾分鐘就能完成。這個評估協(xié)議之所以被稱為公平對比是因為它去掉了微調(diào)過程中 backbone 對任務適配的優(yōu)勢只考察預訓練特征本身的可分性。from sklearn.linear_model import LogisticRegression from sklearn.preprocessing import StandardScaler def extract_features(model, loader): model.eval() feats, labels [], [] with torch.no_grad(): for x, y in loader: feat model(x.cuda(), return_featureTrue).cpu().numpy() feats.append(feat) labels.append(y.numpy()) return np.concatenate(feats), np.concatenate(labels) train_feats, train_labels extract_features(model, train_loader) val_feats, val_labels extract_features(model, val_loader) scaler StandardScaler().fit(train_feats) clf LogisticRegression(C0.1, max_iter1000) clf.fit(scaler.transform(train_feats), train_labels) acc clf.score(scaler.transform(val_feats), val_labels)用 LogisticRegression 做線性評估有兩個好處一是代碼量最少不需要自己寫分類頭訓練循環(huán)二是 scikit-learn 的 C 參數(shù)正則化強度可以快速做網(wǎng)格搜索找到最優(yōu)配置。C0.1是我在 TinyImageNet 上的經(jīng)驗值你也可以按[0.01, 0.1, 1.0, 10.0]的順序掃一遍正常來說 C 在 0.1-1.0 之間取到最高驗證準確率。StandardScaler對特征做標準化是必要的因為 ResNet18 的特征經(jīng)過 BN 層后雖然均值接近 0但方差不均勻LogisticRegression 對特征尺度敏感。這一整套流程跑下來在單張 RTX 3090 上預訓練 120 epoch 大約需要 4-6 小時取決于 batch 大小線性評估在 CPU 上 5 分鐘就能完成。如果你只有 8GB 顯存的顯卡把 batch_size 降到 256temperature不需要改但梯度累積可以緩解 batch 過小帶來的不穩(wěn)定具體見第 5 章。4. 監(jiān)督對照組的設計公平對比的關(guān)鍵在訓練配置而不是數(shù)據(jù)集自監(jiān)督實驗的對比結(jié)論是否可信很大程度上取決于監(jiān)督對照組是否夠努力。如果你的監(jiān)督學習只訓練了 50 epoch而自監(jiān)督預訓練跑了 120 epoch那么自監(jiān)督輸?shù)舯荣惒⒉荒苷f明什么問題——因為訓練預算不同。這一章講清楚監(jiān)督對照組的標準配置以及最終的對比口徑。4.1 端到端監(jiān)督訓練的參照配置監(jiān)督基線我用同樣的 ResNet18 結(jié)構(gòu)去掉投影頭直接在 TinyImageNet 上端到端訓練。優(yōu)化器用 SGD momentum 0.9 weight decay 5e-4學習率 0.1 配合 cosine 退火訓練 120 epochbatch_size 128。這個配置是圖像分類任務上非常成熟的配方基本能壓出 ResNet18 在這個數(shù)據(jù)集上的真實上限。注意監(jiān)督學習和自監(jiān)督學習在 weight decay 上的差別自監(jiān)督預訓練時我用了1e-6這樣極小的 weight decay因為對比損失本身已經(jīng)有很強的正則化作用過大的 weight decay 會把特征范數(shù)壓得太小影響對比損失的梯度信號。監(jiān)督訓練則用5e-4的標準配置這是 ImageNet 分類任務的最佳實踐。這個不對等不是疏漏而是兩個任務的最優(yōu)配置本來就不同比較的是各自最優(yōu)配置下的結(jié)果。4.2 訓練過程與結(jié)果對比口徑我習慣在表格里記錄三個指標linear probe 準確率自監(jiān)督特征、端到端準確率監(jiān)督模型、以及泛化差距。泛化差距 訓練集準確率 - 驗證集準確率這個指標比單一準確率更能說明問題。自監(jiān)督預訓練 線性評估的模型經(jīng)常表現(xiàn)出更小的泛化差距因為預訓練階段見過大量增強版本backbone 對輕微分布偏移不敏感。方法驗證集準確率訓練集準確率泛化差距備注監(jiān)督 ResNet18端到端~51%~86%~35%120 epoch, SGD, weight decay 5e-4SimCLR 線性評估~47%~82%~35%120 epoch, AdamW, temperature0.5SimCLR kNN (k200)~42%--無需訓練分類頭的高效評估以我復現(xiàn)的數(shù)據(jù)來看SimCLR 線性評估能達到監(jiān)督端到端結(jié)果的 90% 以上在 TinyImageNet 這種規(guī)模的數(shù)據(jù)集上這個結(jié)果非常有意義。如果你在 ImageNet 上做同樣的對比這個比例會略低一些因為 ImageNet 類別間的視覺差異更細微自監(jiān)督預訓練要學到那樣精細的特征需要更大的模型和更長的訓練時間。注意表格里的 kNN 評估它用余弦相似度直接找特征空間中最近的 200 個訓練樣本對它們的標簽投票得出結(jié)果不需要訓練任何分類頭是驗證表征質(zhì)量的另一個高效指標。4.3 實際應用場景下的考慮只有兩個類別的二分類任務自監(jiān)督預訓練 線性評估跟監(jiān)督學習差距很小200 類的細分類任務自監(jiān)督容易在相似類別之間混淆比如不同品種的狗。如果你的業(yè)務場景是標注數(shù)據(jù)極少的長尾分布SimCLR 的價值會更明顯——它在無標注數(shù)據(jù)上預訓練再用 10% 的標注數(shù)據(jù)做線性或者少量微調(diào)效果往往好過直接在 10% 標注數(shù)據(jù)上端到端訓練。這也是這個項目對比實驗結(jié)論遷移到工程實踐的核心價值。5. 踩坑排查五條讓自監(jiān)督實驗白做的典型失誤自監(jiān)督實驗比監(jiān)督實驗更容易翻車因為損失曲線的下降趨勢不能直觀反映表征質(zhì)量。我復現(xiàn)這個項目時踩過不少坑整理了五條最有代表性的每一條都是現(xiàn)象→原因→解決的結(jié)構(gòu)。希望你看完能繞開這些不用花兩周時間在同樣的地方打轉(zhuǎn)。5.1 訓練集和驗證集的標簽映射錯位現(xiàn)象預訓練過程一切正常NT-Xent 損失穩(wěn)步下降但線性評估的準確率只有 1-2%和隨機猜測差不多。原因訓練集的class_to_idx映射按文件夾遍歷順序構(gòu)造驗證集的標簽按val_annotations.txt讀取兩者的類別順序不一致導致標簽錯位。在 TinyImageNet 里train/下的類別文件夾名是 WordNet IDval_annotations.txt也是按 WordNet ID 記錄的如果訓練集直接用sorted(os.listdir())建立映射而驗證集按文件順序讀恰好訓練集的排序和驗證集文件中出現(xiàn)的排序不一樣就會錯。解決統(tǒng)一以 WordNet ID 為基準先排序再映射且訓練集和驗證集共用同一個class_to_idx映射。我在代碼里用上面第 3.1 節(jié)的方式class_dirs sorted(os.listdir(...))然后self.class_to_idx {c: i for i, c in enumerate(class_dirs)}驗證集讀取時查出每個樣本的 WordNet ID再用class_to_idx[wnid]得到整數(shù)標簽。5.2 batch size 被顯卡限制時NT-Xent 損失發(fā)飄甚至坍縮現(xiàn)象batch_size 從 512 降到 128 以后損失函數(shù)在訓練初期呈下降趨勢但過了幾十個 epoch 后損失開始上升線性評估準確率一直上不去。原因SimCLR 是一個高度依賴 batch size 的算法batch 內(nèi)的其他樣本就是負樣本batch 越小負樣本種類越少正樣本對拉近的參照系越弱。batch_size128 時一個 batch 里只有 127 個負樣本且其中還包含很多相似樣本對比損失給出的梯度信號不夠穩(wěn)定模型就開始走捷徑——把所有樣本的表征都映射到同一個方向損失看似下降但表征完全坍縮。解決我一般會用梯度累積來模擬更大的 batch每 4 個 step 累積一次梯度再更新一次效果接近 batch_size 直接乘以 4。另外同一個 batch 里的樣本應該是獨立均勻采樣的避免同一個類別的樣本大量聚集比如按文件夾順序取樣本否則對比損失會被同類樣本互相拉近的表象欺騙。把 DataLoader 的shuffleTrue打開且drop_lastTrue丟棄最后一個不完整的 batch避免 batch 大小波動影響損失計算。5.3 溫度系數(shù)沿用 MoCo 的 0.07訓練極不穩(wěn)定現(xiàn)象NT-Xent 損失在訓練初期就降不下去一直在 5.5 附近震蕩對應ln(2N)量級后續(xù)線性評估也遠低于預期。原因MoCo 使用 0.07 作為溫度系數(shù)很多新手會把兩個工作混用。但 SimCLR 原論文在 ImageNet 上掃描過溫度系數(shù)最優(yōu)值是 0.5 左右。0.07 在 SimCLR 這種每個 batch 在線生成負樣本的框架里會導致梯度過于尖銳模型在極小的特征空間里劇烈震蕩收斂變得非常困難。MoCo 的負樣本來自動量隊列分布更穩(wěn)定0.07 才能工作。解決直接設temperature0.5如果發(fā)現(xiàn)損失仍然不穩(wěn)可以嘗試 0.7-1.0 之間更大的值但不要低于 0.2。溫度系數(shù)的掃描可以在少量 epoch20-30 個內(nèi)完成損失曲線的平穩(wěn)程度比絕對數(shù)值更有參考意義。我一般會同時記錄相似度矩陣的均值如果相似度分布集中在 0 附近說明表征空間還沒有被拉開此時應該考慮降低溫度、增大 batch 或增強顏色失真強度。5.4 數(shù)據(jù)增強太強64×64 小圖信息被破壞現(xiàn)象預訓練損失收斂正常但線性評估準確率比監(jiān)督基線低了十幾個點且增加預訓練時長沒有明顯改善。原因我把 ImageNet 的增強配置直接搬到 TinyImageNetRandomResizedCrop的最小裁剪尺度設成了原始圖像的 8%SimCLR 原論文在 ImageNet 上使用 8%-100%但這個尺度在 64×64 輸入下相當于只保留 18×18 的內(nèi)容語義信息幾乎被剪沒了。增強過頭讓自監(jiān)督任務變得過于困難學習到的特征對下游任務沒有幫助。解決把scale從(0.08, 1.0)改成(0.2, 1.0)GaussianBlur的 kernel 從 9×9 減小到 3×3。調(diào)整原則是增強后的人類可識別程度保持在明顯能看出是哪個類別的水平。一個判斷技巧——把增強后的圖片單獨可視化如果連你都認不出原圖類別那這個增強強度就是在逼模型盲人摸象。在 TinyImageNet 上訓練時我應該更早意識到這個問題而不是等到最后評估階段才回頭改配置這也讓我后來每次換數(shù)據(jù)集都先把增強圖像可視化一遍再開始訓練。5.5 BN 在 eval 模式下的統(tǒng)計行為差異讓線性評估結(jié)果失真現(xiàn)象預訓練完跑線性評估每次運行的結(jié)果波動很大±3% 以上檢查代碼也沒發(fā)現(xiàn)數(shù)據(jù)泄露。原因model.eval()切換后BatchNorm 層使用累積的 running statistics 而不是當前 batch 的統(tǒng)計量。如果預訓練時的 BN 統(tǒng)計量沒有正確累積比如混合精度訓練累積梯度時 step 數(shù)對不上eval 模式下提取的特征分布就會偏移。另外如果 DataLoader 的最后一個 batch 被drop_lastTrue丟棄BN 的 running stats 的累積均值可能偏向訓練早期。解決提取特征前顯式調(diào)用model.eval()并且用torch.no_grad()包裹如果用了混合精度要確保torch.cuda.amp.GradScaler的step()和update()順序正確不影響 BN 的 forward 次數(shù)統(tǒng)計。更穩(wěn)妥的做法是在所有 epoch 結(jié)束后額外跑一個 epoch 的數(shù)據(jù)來校準 BN 的 running statistics但這會引入微小的數(shù)據(jù)泄露我一般不用這個技巧而是保證訓練過程中 BN 統(tǒng)計量的累積不被打斷。6. 進階驗證的三個手工動作從相似度檢索到超參數(shù)敏感性讓你的實驗結(jié)論更可信實驗跑完拿到對比準確率只是第一步真正讓結(jié)論站得住的是三個手動驗證動作。第一個是表征相似度檢索取任意一張驗證圖在訓練集特征庫中檢索余弦相似度最高的 10 張圖看看檢索結(jié)果和原圖是否屬于同一類。這個驗證不依賴任何分類器直覺性最強。我通常在訓練完成后從 10 個不同類別里抽樣本做檢索如果同一類別的圖片大部分出現(xiàn)在 Top-10 里說明表征確實學到了語義信息而不是靠紋理或顏色匹配。第二是超參數(shù)敏感性掃描固定其他配置不變分別嘗試溫度系數(shù) 0.2、0.5、1.0以及增強強度 0.2、0.4、0.6 的組合。好的自監(jiān)督算法應該在合理范圍內(nèi)對超參數(shù)不敏感如果某個參數(shù)從 0.5 改成 0.6 導致準確率暴跌超過 3%說明模型處于過擬合邊界這個配置不能用于生產(chǎn)。第三是可視化表征分布的置信度對線性評估的輸出做 softmax統(tǒng)計各類別的置信度分布自監(jiān)督特征得到的分類器置信度通常比監(jiān)督訓練的更分散這是因為它沒見過端到端的分類頭訓練信號屬于正常現(xiàn)象但如果你發(fā)現(xiàn)某個類別的置信度普遍低于 0.3可以參考第 5.4 節(jié)檢查增強配置。這三個動作加起來大概需要一小時做的事情不多但能讓你的實驗結(jié)論從數(shù)字上看得過去變成邏輯上站得住。從那以后我每次跑完自監(jiān)督預訓練都會強制走一遍這三步先做 20 張圖的相似度檢索看一眼結(jié)果再掃兩組關(guān)鍵超參確認穩(wěn)定性最后記錄置信度分布當作實驗報告的固定附件。如果哪一步的結(jié)果異常我不會繼續(xù)往下做實驗而是先排查對應的環(huán)節(jié)。希望這個習慣能幫你少走一些彎路讓每次實驗都有實實在在的產(chǎn)出。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香五月婷婷国产av| 婷婷五月天涩涩| www.99视频| 开心婷婷五月天激情网| 久久这里只有精品无码| 琪琪理论片| 日本色99| 久操干| 超碰国产在线播放| 激情第四色| 99啪| 日韩一级网站| 天天做天天爱天天爽综合网| 五月开心啪啪| 婷婷五月天.com| 成人在线视频网| 超91在线视频| 欧美日韩色色| 婷婷五月天免费99| 国产午夜成人AV在线播放| 久久婷色| 97香蕉久久超级碰碰高清版 | 丁香六月天婷婷在线| 大香蕉人在线65| 色婷婷五月综合激情中文字幕| 国产精品美女| 亚洲第一第二网站| 六月丁香啪啪| 成人丁香五月| 超碰成人电影| 99激情在线| 婷婷五月天电影区小说区| 久久在这里有精品| 亚洲中文无码成人| 99热热九九| 婷婷久热| 操人无码| 9色在线| www.久久99热地址发布| 色在线99| 天天操中文字幕| 91性人人| 美女久久天堂| 黄色av网站在线免费播放| 午夜成人片400| 婷婷久久五月| 午夜丁香婷婷| 天天综合色| 亚洲综合五月| 这里有精品| 五月叮香啪| 日本啪啪天堂| 97福利视频| 色综合中文| 噜啊噜在线| 狠狠高潮精品亚洲1| 久久黄色片| www.91有码.com| site:wpjngj.com| 丁香五月亚洲激情婷婷射| 丁香五月综合婷婷| 91人妻色色网| 综合久久婷婷五月丁香| 丁香婷婷综合精品六月初| 午夜成人AV在线| 婷婷97碰碰| 婷婷丁香五月天影院| 98永久精品| 激情丁香久久| 国产精品色婷婷久久久精品| 免费啪啪亚州视频| 91热爆在线| 日韩不卡DvD| 碰碰女| 亚洲一级色电影| 夜夜大香蕉婷婷丁香| 色婷婷国产精品综合在线观看| av操一操| 性欧美日本| 婷婷色丁香五月| 九色视频91疯狂| 91丁香五月| 久久九九@| 大香蕉99| 丁香六月婷婷激情综合| 丁香婷婷免费| 第四色婷婷五月| 丁香色播五月天| 久久人妻系列| 婷婷五月色情天| 美女天天爽| 成年人丁香五月| 久热只有精品| 九九99免费视频| 五月丁香啪啪网| 日日撸夜夜操| 欧类av怡春院| 丁香婷婷浪潮AV久久综合| 欧美色偷偷大香| 色青五月天| 亚洲AV第二区国产精品| 黄色五月婷婷| 久热久色| 森林影视大全,最好看的2019年视频| caopeng97日韩| 婷婷五月天首页| 99视频这里有精品免费观看| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 极品少妇XXXX精品少妇偷拍| 性爱激情五月| 9热久久| 第四色五月婷婷| 国产av基地| 婷婷五月丁香五月| 激情婷婷丁香色五月综合| 热这里| 色色色色色色色色色色色色色色,网站| 四色99久久| 五月天激情小说| 久久婷婷五月丁香网| 操人无码| 欧美色男人网站| 无码AV大香线蕉伊人| www.AV在线| WWW.婷婷五月天.COM| 综合婷婷| 五五月五月| 婷婷综合爱| 色久丁香五| 成人国产综合| 国精产品一区一区三区免费视频| 超碰人人操在线| 丁香六月啪| 91精品久久久久久综合五月天| 国产成人AV不卡| 超碰五月婷婷五月天| 丁香五月婷婷偷拍| 亚州激情在线视频| 激情综合色婷婷六月天| 九九色综合| 丰满老熟妇BBBBB搡BBB| 91碰操| 六月丁香婷婷综合狠狠爱夜夜爱| 丁香五月天天| http://www.sd-xiangsu.com/| 色欧美影院| 色五月婷婷久久| 老师的粉嫩小又紧水又多A片视频| 中文字幕操比影片| 最新色色五月天| 色色色视频| 99热在线免费| 色婷婷小说| 国产又爽又猛又粗的视频A片| 激情五月天.色网| 熟女91九色| 性爱动图国产麻豆一区二区三区| 久久久精品色色色| 操操自拍| 亚洲国产精品VA在线看黑人| 五月婷婷九九久久| 他改变了拜占庭| 思思热久久久久思思热| 综合伊人久久| 成人做爰高潮A片免费视频| 久久精品日| 99热在线观看| 天天综合网网欲色| 五月丁香777| 五婷婷综合网| AV在线免费网站| 五月丁香 久久久| 色婷婷久久综合中文久久一本| 久久久中文| 免费观看全黄做爰的视频| 亚洲第二AV| 九九香蕉网| 九九九九九九九热| www.久久久久| 丁香五月色激情| 手机在线日韩视频中文字幕| 天天日夜夜草进麻麻的子宫| 日韩高清成人| 色色五月婷婷网| 成人网丁香五月| 丁香六月婷婷综合色| 青草激情综合| 婷婷五月天AV| 久久久久久久久久久月丁| 天天 青草 制服丝袜 在线| 这里只有精品网| 欧美成人A片AAA片在线播放 | 九九XX视频| 中美日韩成人在线| 久8色色| 超碰人人干| 激情五月丁香五月综合| 99热国产| 激情五月色播五月| 公的粗大挺进了我的密道| 狠狠色狠狠爱| 丁香五月天婷婷中文| 丁香九月综合激情| 日木WWW视频| 99热免费精品| 色五开心五月五月深深爱| 深爱婷婷网| 欧美成综合在线观看| 久久只有精| 五月天婷婷亚洲| 亚洲六月婷婷| 中文字幕日韩成人| 亚洲色 视频| 五月丁香色婷婷| 色婷亚洲| 激情5月天天天| 91狠狠综合久久| 99视频日韩| 婷婷五月天视| 国产熟女一区二区三区五月婷| 色综色网| 九九爱这里只有精品| 婷婷五月丁香超碰| 亚洲乱码日产精品BD| 五月丁香999| http://www.sd-xiangsu.com/| 亚洲天堂99| 第四色五月婷婷| 色情久久久| 婷婷激情五月综合| 欧美乱码国产一级A片| 美女要搞搞天天搞搞搞网站| 婷婷五月丁香基地| av线电影| 五月开心深深爱激情综合 | 日韩操逼大片| 五月丁香成人视频| 日本美女97在线视频| 久热九九| 久久精品性爱| 1024成人免费看| 91丨熟女丨首页| 激情久久久久久久久| 久热精品免费视频4| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 狠狠操狠狠| 激情5月婷婷| 激情网站五月| 九九综合伊人| WWW·色色色·COM| 婷婷综合五月天亚洲综合| 日日干夜夜干| 色久播播| 激情丁香婷婷| 9精品视频在线观看| 99愛国产| 久久色六月| 性色欲情 网站| 一起草无码| 另类亚洲电影| 色情五月天A片| 五月丁香啪啪| 99热99在线| 五月丁香啪啪综合| 色综合偷拍| 婷婷五月天成人网站| 大战熟女丰满人妻AV| 久热伊人| 99久久久免费| av在线激情| www.99视频| 丁香婷婷欧美综合| 成人欧美Va| 中文字幕成人| 欧美成性色| 97干视频| 超碰色色综合| 日本久久精品18| 碰超在线九色| 综合网视频| 99热国产在线| 狠狠狠狠狠操| 五月婷婷黄色网址| 婷婷丁香五月欧美人| 97色在线视频| 99久.| 夜夜操狠狠操| 91se在线观看| 女人被男人吃奶到高潮| 久久久27操| 色亚洲激情| 狠狠婷婷日韩| 国产裸舞表演WWWW| 黄色aa观看aaguochan| 亚洲综合婷婷五月天| 大地9中文在线观看免费高清| 久久九九99| 天天射综合网站| 99玖玖在线视频| 天天综合色| 五月婷婷国产| 久久久久久人妻| 欧美毛卡| 99在线免费观看| 东北黄色一级| 久久99精品久久久久久三级| 婷婷丁香成人五月天| 婷婷五月色天| 大香蕉婷婷丁香天堂AV| 日本啪啪网| 97在线/亚洲| 日本久久人| 激情五月六月| 婷婷五月丁香91| 亚洲综合在线播放| 91超碰在线观看| www.精品99| 99免费在线视频| 婷婷五月天基地| 2022人人操人人看| 五月婷激情影院| 日韩色久| www久久久| www.zbzhongsen.com| 五月丁香| 99这里精品| 精品人妻伦九区久久AAA片| 丁香五月成人论坛| 5月丁香综合图区| 五月天狠狠干| 五月丁香婷婷色播无码| 天天日天天舔| 丁香五月情| 综合色五月| 久久9久| 亚洲免费婷婷| 怡红院院在线导航网| 四LLL少妇BBBB槡BBBB| 亚洲综合婷婷| 丁香六月亚洲| 蜜桃人妻无码AV天堂三区| 久久新| 九九大香蕉黄色影院| 亚洲激情综| 91久久1118| 婷婷大香蕉| 99久久久久| 天天干天天日天天插 | 久久98热re| av在线免费播放| 五月婷婷婷婷| 欧洲日韩一区二区三区| 31色区视频免费看| 色欲婷婷五月天丁香| 欧美97色| 狠狠精品干练久久久无码中文字幕| 久久6这里只有精品| www。久久久久一b。Cc| 国产日韩欧美| 91大神操美女| 97人人射| 欧美婷婷五月| 丁香五月777| 婷婷五月天久久久| 噜色精品| 五月综合激情图片| 99在线精品视频| 综合激情伊人影视在线| 熟女人妻视频| 夜夜操天天干| 久久综合爱| 激情五月天丁香| 久热a| 久久99三级在线视频| 伊人狠狠丁香婷婷综合尤物| 桃色五月婷婷| 日韩ww| 色爱五月天| 久久总和99| 亚洲第一综合| 五月婷婷综合潮喷| 五月婷婷天堂| 99re6在线视频精品免费| www国产亚洲色婷婷com| 婷婷丁香五月色偷偷| 五月天综合视频| 激情丰满熟妇五月| 九九人人看| 99热这里只有精品2| 欧洲激情五月天| 久久99日本精品视频免费观看| 婷婷丁香九月| 另类小说五月天综合| 9精品国产在热久久| 激情六月天婷婷| 99热免费精品热久久66| AV在线免费观看不卡| 激情综合网,五月| 大香蕉婷婷婷| 无码激情| 麻豆123区| 色九月综合网| 日日干夜夜干| 五月丁香六月婷婷在线观看| 天天日天天做天天舔| 亚洲第一成人无码A片| 色中色综合| 五月婷婷大香蕉| 色婷插| 激情亚洲婷婷| 五月天a婷婷伊人| 99啪啪骑| 丁香五月综合| 五月天另类视频| www.色五月| 五月天丁香婷婷视频网址| 婷婷 伊人 久久| 天天爽天天弄| 91久久久久久久久久| 九九色逼| 亚洲天天操| 天天射夜夜爽| 久久婷婷资源| 亚洲综合五月天婷婷丁香| 六月婷婷五月天| 五月天激情播播网| 天天网曰日曰夜夜综合永久免费| 久久激情综合| 婷婷狠狠操| 五月婷婷六月丁| 99久久久精品| 99色视频| 久久婷婷视频| 天天激情夜夜干| 激情婷婷九月| 欧美大片免费观看| 激情综合五月天| 色五月激情基地| 1024操逼视频| 人妻激情久久| 丁香六月啪啪| www激情婷婷com| 天天干夜夜操A片| 无码一级片| 日本综合色图| 人人摸人人干| 插插插色综合网| 开心五月婷婷婷美女| 98国产精品综合一区二区三区| 在线中文亚洲| 九色视频这里只有精品| 丁香五月自拍| 天堂在线婷婷| 日日影院 | 91操在线视频| 久色资源网| 久久九九视频网站| 亚洲视频国产一区| 丁香五月综合网| 色色亚洲视频| 婷婷丁香五月网| 五月丁香婷婷激情在线| 色综合色色| 五月丁香婷婷综合网色欲| 另类少妇人与禽zOZZ0性伦| 99热精品在线观看| 99爱免费视频| 婷婷五月天改成什么了| 丁香五月网址| 国产三级在线播放| 成人国产欧美大片一区| 久久久99久久| 激情伊人五月天| 人妻videos人妻高清| 婷婷丁香成人| 日韩美女羞羞网站在线观看| 久久精品一区二区三区四区| 激情五月天电影| jiZZdr| 影音先锋 婷婷| 亚洲激情四射| 欧美在线视频免费播放| 亚洲天堂AV综合网| 99ER热精品视频| 91九色国产| 婷婷激情小说| www,五月天激情| wuyuedingxiang99| 亚洲第一黄网| 五月丁香婷婷成人版| 1024欧美看片| 激情99| 九九热99视频| 日日干日日| 久久这里只有欧美| 密乳视频| 99er6| 色九九综合| 97干婷婷| AV六月丁香| 亚洲午夜成人av电影网| 大香蕉啪啪啪| 色欲色香综合网| 五月天丁香成人社| 激情综合激情综合| 国产另类综合| 五月天婷婷开心| 天天骑日日爽| 婷综合| 久re热视频| 琪琪色网址| 亚洲日本韩国| 丁香五月六月综合激情| 在线成人网址| 色色色在线观看| 天天狠狠夜夜狠狠2023| A久网| 欧美毛片www| 琪琪理论片| 婷婷五月丁香基地在线视频官网| 97色久| 97干综合网| 久久蜜臀婷婷| 五月婷婷欧洲| 一本婷婷丁香久久| 69超碰在线| 99国产精品久久久久久久久久久 | 久综合网| 91精品国产91久久久久青草| 婷婷五月电影| 99热碰碰| 美欧成人视频| caopeng97人人| 狠狠色噜噜狠狠亚洲A∨| 在线精品97| 丁香香蕉射射射| 欧美经典片免费观看大全| 婷婷在线视频| 色色色网站| 亚洲天天操| 99日本精品视频热| 亚洲第一成人无码A片| 成人视频在线免费播放| 婷婷婷久久久| www.五月丁香| AV成人在线播放| 日日夜夜天天| 性爱久久| 99a级片| 婷婷涩涩五月天| 天天色噜| 婷婷五月天情色| 久婷五月| 九艹在线| 99热碰碰热| 青青草原亚洲天堂| 九九综合| 最新久久网址| 五月婷婷黄色| 色99网| 五月婷婷婷婷| 天天爽天天| 99在线观看精品视频| 婷婷六月综合激情| 99热精品在线播放| 专区无日本视频高清8| 亚洲国产无线乱码在线观看| 欧美槡BBBB槡BBB少妇| 亚洲无AV在线中文字幕| 无码免费人妻A片AAA毛片西瓜| 午夜天堂一区人妻| 北条麻妃九九九国产精品视频| 五月天开心色色网| 狠狠色综合无线观看| 亚洲一区二区 成人网站戴套| 色五月色五天色情网址| 97干在线看| 色在线99| 亚洲九九夜夜| 99视频精品视频| 五月花成人网| 激情网五月婷婷| 天堂草在线看www| 色婷婷五月天激情在线观看| 97色啪| 丁香五月天网站| 五月丁香六月在线| 在线观看国产高清视频免费网站 | 色亚洲无码| 激情啪啪五月天| 熟女婷婷网站一婷婷五月一丁香婷婷一婷婷激情网 | 色激情五月| www.色综合.com| av大香蕉| 五月天婷婷小说| 美国少妇性做爰| 97午夜一区二区| 婷婷丁香www视频日本韩国| www.色九月| 久99久视频| 很很操96| 婷婷六月激情丁香| 人人射人人高潮| 天堂久久性| 婷婷99视频精品| 人人摸人人摸| 99在线精品免费视频| 涩丁香| 91大神在线免费看视频全集男男一起操| 国产婷婷综合| Av大香蕉| 丁香六月婷婷综合麻豆| 婷婷色情六月| 99狠狠| 亚洲色网址| 中国女人内射6XXXXX| 大鸡巴伊人网| 五月丁香激| eeuss人妻| 开心婷婷五月花| 天天综合影院| 午夜成人天堂久久无码日韩久久| 五月丁香久久| AV色色天堂中文| 狠狠色婷婷7777久综合| 中美日韩成人在线| 色婷婷色五月另类综合| 狠狠色综合五月| 久操97| www.狠狠操| 丁香情色五月| 亚洲另类毛片| 7月婷婷六月丁香| 久久99这里只有精品视频| 婷婷婷婷婷婷婷婷| 俺去也综合| 色六月 婷婷| 97人人爱人人操| 欧美激情五月综合| 人人视频色| 久久99久久99精品免观看粉嫩| www久| 天天肏视奸| 激情综合在线观看| 就爱操www com| 九九精品热| 久久婷婷网站| 成人做爰A片免费看网站找不到了| 亚洲黄网在线| 综合激情专区| 色噜噜狠狠色综合日日| 国产热精品| 中文AV网| 伊人色综合网| 日韩久久日| 在线成人网址| 九九热99精品在线| 九九99热| 婷婷成人基地| 超碰高清在线| 久色网| 丁香六月天色婷婷| 色久影院| 国产又色又爽又黄又免费| 综合激情在线观看| 亚洲成人色五月天| 激情综合网五月激情| 夜夜爱网站| 亚洲综合1024| 老师高潮流白浆喷水的A片| 色综合丁香婷婷| 狠狠88综合久久久久噜噜噜| 激情五月天婷婷五月天| 91丨九色丨东北熟女| 青青操日本摸摸看看| 操97| 99re视频精品| 开心婷婷五月| 人人草碰| 噜噜综合网| 亚洲婷婷欧美婷婷| 国产乱人偷精品人妻A片| 久七香蕉| 小视频在线亚洲| 538在线精品| 久久精彩免费视频| 色九九丁香九月色九九色| ri电影在线| 久久久天天啊| 国产精品99久久久久久久女警| 久久婷婷丁香视频网| 丁香婷婷人妻综合网| 成人在线视频一区| 草了bav视频在线观看| 99热亚洲| 婷婷开心激情五月激情网| 五月丁香啪啪激情| 婷婷五月丁香99| 久久久妻人人人| 天天操婷婷| 国产高潮A片羞羞视频涩涩| 久人操| 欧美婷| 色婷婷成人| 99re在线免费视频| 南京搡BBBB搡BBBB| 色婷婷五月在线| 黄色网址五月婷婷| 日韩免费乱轮网站| 日本爆乳片手机在线播放| 少妇水多A片太爽了| 婷婷中文无码| 婷婷色五月天在线| 少妇水多A片太爽了| 午夜成人网站在线观看| 草婷婷在线| 色婷视频| 综合久久久婷| 第四色婷婷五月| 开心激情网在线| 操操操91| 狠狠色狠狠色综合日日91| 一级黄色影片| 日韩在线一级| 久久99成人性爱高清视频| 久青草影院| 精品99视频| 激情开心五月亚洲| 看片视频在线免费日产在线看| 九月久久婷婷| 激情色视频| 五月婷婷丁香六月| 色婷婷综合亚洲| 开心婷婷五月天激情网| 久久人妻熟女一区二区| 欧美日朝成人| 99看片| 超碰亚洲欧美| 久久丁香五月婷婷激情综合网| 97色女人在线| 色444综合网| Jh7Uf088VHafNm| 天天干天天干天天干| 天天插天天射天天干| 九九热这里只有精品在线观看| 国产成人精品亚洲线观看| 久久九九网| 五月丁香婷婷婷激情爱爱| 狠狠狠狠草草| 日日干日日s| 婷婷久草| 激情六月天婷婷| 色五月色五天免费视频| 99久久超级| 五月婷婷播| 天天操人人干| 91黄址| 99这里只有精品视频| 色综合77777| 五月丁香婷婷久久| 开心五月网| 婷婷射图| 五月丁香综合| 免费AV在线网址| 五月天基地| 免费无码毛片一区二区A片| 色综合色婷婷色伊人| 成人在线网| 日本WWW九九九| 婷婷激情五月综合| 亚洲综合色婷| 成人五月天在线视频在线观看| 欧美这里只有精品| 婷婷五月天六点丁香五月| 天天爱天天狠天天透| 日韩AV在线免费| 79色色免费| 亚洲视频一区| www.激情五月天.com| 色综合色色| 美女网黄| 久久精品系列| 99热狠狠操| 婷婷亚洲五月| 久热婷婷在线视频| 99热6这里只有精品| 嘿嘿视频免费看9| 夜夜操天天爽| Blackedraw视频一区二区| 亚洲五月天天| 五月丁香狠狠爱| 思思热久久阴99| 思思热99热| 色播丁香| 天天插天天爽| 五月天狠狠网站| 五月婷婷色| 欧美日综合| 婷婷丁香在线| 伊人久久婷婷| 精品久久久人妻| 99热这里都是精品| 五月婷婷黄色| 99日韩| 午夜大香蕉| 黄网在线播放| 国产激情综合五月久久| 色婷操逼| 久热99| www.日本久久videos| 狠狠干综合| 操碰97| 天天插综合网| 亚洲另类婷婷五月丁香在线播放| 人妻内射视频| 久久久久久xxxxx| 亚洲高清在线| 婷婷色五月天第7色| 日本人妻伦在线中文字幕| 婷婷五月天亚洲色| 国产日产亚系列精品版优势| 婷婷基地五月色| 婷婷视频在线碰| 久久久精品人妻录| 国产91在线视频| 色99在线观看| 婷婷狠狠97| 91婷婷丁香五月| 中文字幕av久久爽一区| 色色五月天婷婷| 人人玩人人橾| 777精品久无码人妻蜜桃| 五月丁香六月婷婷综合伊人| 91久女| 久久婷婷成人综合色怡春院| 玖玖综合玖玖| 丁香五月激情网| 日韩性视频| 天天综合网站| 五月丁香婷色| 97啪在线观看视频| 激情深爱五月| 丁香五月777| 综激情网| 一起草无码视频| 高清一区二区三区日本久| 日本天天综合| Aaa久久| 久久婷婷综合五月天| 97久人人| 天天精品视频免费观看| 五月丁香六月婷婷,婷| 亚洲无AV在线中文字幕| 婷婷五月天亚洲丁香| www.cao.com久久| 天天综合色| 午夜色婷婷| 婷婷综合| 中文国产五月天| 欧美性交一区二区三区| 91玖玖| 色六月天天激情综合网| 被强行糟蹋的女人A片| 淫水导航| 久久99精品久久久久久三级| 丁香六月啪| 99re思思精品视频在线观看| 色婷网站| 日本狠狠色| av九九| 国产午夜精品一区二区三区四区| 丁香成人色情五月天| 偷偷操99| 色色色热热热| 五月丁香AV、伊人业余、性色熟妇| 91大屁股在线| 激情视频综合| 五月婷婷色| 国产AV一区二区三区最新精品| 九九精品在线观看视频6| WWW免费视频碰碰碰碰| 欧美性爱五月天| 激情五月丁香色婷婷| 在线一起草av| 久操无码| 激情婷婷五月天伊人在线观看| 日韩专区五月天婷婷丁香| 丁香婷婷六月| 思思久久99热| 久热99中文字幕| 色五月婷婷综合在线| 久热久| 婷婷在线网| 天天插天天爽| 丁香五月婷婷狠狠色| 日韩人妻白浆视频系列| 久久人妻视频| 狠狠色丁香综合| 久久婷婷艹| 午夜激情婷婷| 九九视频精品这里只有| www.婷婷五月天,com| 久久五月网| 激情网 五月天| 日韩无码亚欧无码| 九九热99视频| 婷婷五月丁香五月天| 日韩av网站在线观看| 婷婷久久网| 成人超碰Av| 97九色| A短视频免费在线观看| 九色啦蜜臀| 丁香五月天色| 五月天激情黄色网址| 色色五月天婷婷| 色播丁香婷婷五月激情| 日本系列_4页_777FP| 亚洲乱码日产精品BD| 色色色色热| 五月婷婷在线视频免费观看| 亚洲9久久精品| 综合色播| 99色爱| 亚州色婷婷| 激情6月| 色婷婷在线播放| 婷婷五月天少妇| 啪啪操操| 变态另类9| 26uuu亚洲欧美| 在线成人网站| 精品九九久久| 偷拍五月丁香| 99在热线免费视频| 另类五月婷婷| www.9797国产| 国产精品色情AAAAA片软件| 五月婷婷丁香啪啪| 丁香五月婷婷精品视频| 97人妻碰碰碰久久香蕉| 成人 在线观看国产| 五月婷婷狠狠干| 人妻VideOssS人妻| 色哟哟精品| 丁香色婷婷色手机免费在线| 九九碰九九爱97超| 五月丁香花激情综合网| 婷婷精品| 五月丁香婷婷老司机| 五月天激情小说网| 五月天激情国产综合婷婷| 婷婷六月丁香综合| 热久久色| 色狠狠色噜噜AV天堂五区| 天天爽天天爽| 婷婷五月天激情小说网站| 99激情网| 精品自拍97| 91九色精品熟女内射| 婷婷开心五月| 另类图片五月天婷婷| 色狠狠综合入口| 97在线观视频免费观看| 色老久久| 欧美综合五月丁香五月天| 激情五月婷婷| 色约约视频一区二区三区四区五区 | 色激情综合| AⅤ在线播放网| 久99| 国产欧美va| 久热最新视频| 五月婷婷无码| 丁J香六月首页| 可以免费观看的AV| 伊人婷婷大香蕉| 激情小说五月欧美亚洲丁香| 天天日天天干天天爱| 97碰碰视频| 三十熟女| 色色色色色色色色网站| 婷婷丁香五月亚洲17cao| 2020夜夜操天天爽| 日本久久精品| 色婷婷AⅤ| 日本操天堂| 五月婷婷激情五月| 蜜桃人妻无码AV天堂三区| 另类小说五月天激情| 狠狠色丁香久久久婷| 99热伊人综合| 中文字幕人成乱码在线观看| 久久婷婷综合网| 毛片色五月| 色色99| 少妇人妻综合色6699| 思思热思在线精品视频| 婷婷五月天堂| sewuyuetingtingiii| 99热每日| 成人视频网| 婷婷久久色| 婷婷五月色综合| 婷婷色五月丁香六月欧美啪| site:ornaments52.com| 婷婷97狠狠干| 五月婷婷大香蕉| www一起操| 色婷综合| 丁香五月天AV在线| 色婷婷丁香五月天| 大香蕉人妻| 在线天堂9| 色播播五月| 丁香久久久| 密乳视频| 日本www五月婷婷| 亚洲色综合| 久9免费视频| 人人爽欧美婷婷久久久五月丁香| 五月天丁香婷婷网| 国产FREESEXVIDEOS性中国 | 嫩BBB槡BBBB搡BBBB| 色五月 五月婷婷| 伊人久久大香网| 日本九九视频| 色五月激情五月天| 狠狠插狠狠| 99热在线中文字幕| 梁铮版蜘蛛女在线观看| 亚洲精品乱码久久久久久按摩观| 久热中文字幕| 99久操| 美女xx不卡| www.婷婷久久五月天| 色爽干| 99干日日干| 国产精品久久欧美久久一区| 少妇综合网| 啪啪啪综合网| 9|无码久久久久久| 久热黄色| 色老久久| 婷婷久久精品| 丁香五月成人网| 久久婷婷六月综合| 丁香六月视频免费观看| va婷婷在线免费观看| 国熟女视频| 六月婷婷狠狠色在线观看| 激情婷婷色小说| 伊人五月天男人的天堂在线| 久久五月天激情美女| 婷色五月| 丁香五月综合高清在线| 色色色干| 91久久| 99久久九九| 五月丁香六月婷综合成人综合| 99色天堂| 91色婷婷综合久久中文字幕二区| www.婷婷五月天| 日91高清无玛| 玖玖婷婷色| 丁香五月婷婷欧美成人色图| 国产精品A片在线| 婷婷色色宗合网| 国产AV网页| 99久久婷婷国产综合亚洲| 亚洲成人日韩无码精品| 黄色av网站在线免费播放| 婷婷在线网| 超极99精品| 日韩不卡123| 99@久久@99精品视频| 婷婷丁香六月天激情四射网| 就去色色五月丁香婷婷久久久| 大香蕉久久伊人网| WWW色五月| 丁香婷婷综合影院| 久久丁香九| 99视频在线观看视频| 伊人九九热| www.日本91| 在线观看免费狠狠色丁香香综合 | 97超碰人人操| 成人av免费观看| 伊人春天av| 五月丁香婷色| 亚洲精品小视频| 337午夜福利| 婷婷五月天开心激情网| 色五月婷婷色五月婷婷色五月婷婷| 亭亭五月丁香五月天激情| 五月激情偷拍| 可以看的av| 五月天婷婷色色网| 亚洲欧洲国产精品| 91丨九色丨大屁股| 99色在线| 国产精产国品一二三在观看| 色吧婷婷五月亚洲| 久久免费干| 婷婷激情五月视频| 97碰| 美女va| 五月婷婷成人网首页| 亚洲噜色| 五月丁香六月婷婷综合网站| 人人草人人爱| 91狠狠综合网| 四色99久久| 婷婷亚洲综合| 无遮羞AV| 五月天激情日色在线| 丁香六月亚洲| 另类 在线| 99久久婷婷国产综合精品青桔| 丁香五月天色综合| 亚洲综合婷婷| 狠狠干综合网| 伊人五月综合网| 9久精品视频| 欧美99| 日本精品久久久久中文字幕| 国内精品99| 久久九九九九| 久久色天堂| 六月丁香五月婷婷首页| 啪啪激情网站| 婷婷五月天免费视频| 丁香五月天婷婷中文字幕| 97色碰| 粉嫩AV久久一区二区三区| 97碰碰九九视频| 超碰99资源站| 性爱综合网| 97激情五月天| 五月天天爽| 99乱视频| 色综合色综合网| 999热这里只有美国精品| 婷婷综合九月| 91蜜桃婷婷狠狠久久综合9色| WwW天天干| av操一操| 大香蕉久艹| 天天做天天爱天天爽| 五月激情四射网站| 99久久新视频| 六月婷婷激情| 激情综合网婷婷久久| 色六月视频| 婷婷九月综合| 九热视频| 人人摸人人干| 91色涩| 狠狠狠狠免费| 99热无码| 色人久久| 国产精品久久久久9999小说| 欧亚中文A V| 婷婷久久五月| 丁香婷婷六月天| 噜噜噜噜综合在线| 色五月婷婷综合| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 日本久久99久久| 亚洲精品色色| 婷婷综合网站| 五月天成人综合| 91操碰| 殴美97色| 9久久精品| 99热这里只有精品23| 久久这里只有精品99| www.夜夜| 日日夜夜亚洲一区| 久久精品63| 丁香伊人综合| www.99热| 91九色首页| 久热伊人91| 色婷婷婷婷| 综合色色婷婷| 97人妻碰碰碰久久香蕉| 国产精品久久久久久久久久| 9久久久| 久久er免费视频| 欧美成人网99网| 色播五月婷婷| 婷婷五月天99综合网站| 男人天堂99| 久久机只有这里精品| 玖玖在线| 欧美丁香五月| 亚洲精品无码一区二区| 激情骚五月| 色婷婷五月影视| 婷婷丁香激情五月天色色| 九九aV| 操97在线观看| 日本综合久久| 婷婷五月天综合小说网| 99热免| 激情五月婷婷丁香综合网| 五月天婷婷色在线视频免费观看 | 黑人糟蹋人妻HD中文字幕| 色婷婷玖玖影院| 色五月开心婷婷| 久久激情五月婷婷| 91精品久久久久久77777| 丁香激情五月天| 六月色日韩| 五月丁香婷婷综合| 亚洲色色色| 色情婷婷。| 思思99热这里只有精品6| 日韩在线视频网站| 国产无套精品一区二区| 色五月婷婷大香蕉| 亚洲V国产V欧美V久久久久久| 91网站黄| 欧美另类五月激情| 综合AV在线| 狠狠狠狠狠狠草| 亚洲综合在线伊人婷| 综合一本道| 激情五月天婷婷| 五月丿香啪啪| 97深爱伊人综合| 婷婷大乡焦噜噜| 九九亚洲天堂| 日韩操人| 日日天天干| 超碰在线91| 国产婷婷综合在线免费视频| 操一操插一插| 日本色色色| 操婷婷久久| 婷婷丁香五月激情图片| √天堂资源在线人妻熟女| 玖玖色综合色| 久热这里只精品| 99免费在线| 国产亚洲精品久久久久苍井松| 国产激情av| 久8色色| 国产激情综合五月久久| 91热视频色网站| 成年人99热| 九九成人| 五月 激情视频| 99.色| 色综合色色| 久久jiuwww| 激情五月www| 五月婷丁香| www.yw色| 婷婷五月天综合色| 婷婷五月激情综合| 六月丁香综合| 久久五月综合| 99在线精品免费视频| 91久久婷婷|