欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

從零訓(xùn)練CNN到PyTorch遷移學(xué)習(xí):Food-11圖像分類實(shí)戰(zhàn)全記錄

從零訓(xùn)練CNN到PyTorch遷移學(xué)習(xí):Food-11圖像分類實(shí)戰(zhàn)全記錄 最近在折騰食物圖片分類拿 Food-11 數(shù)據(jù)集練手從零手寫了一個(gè) CNN又用 PyTorch 遷移學(xué)習(xí)刷了一輪兩種方案都完整跑通了。這篇東西把整個(gè)項(xiàng)目的思路、網(wǎng)絡(luò)設(shè)計(jì)、訓(xùn)練細(xì)節(jié)、踩過的坑都整理出來想給剛學(xué)完 PyTorch 基礎(chǔ)、正準(zhǔn)備做圖像分類實(shí)戰(zhàn)的人一點(diǎn)參考。適合兩類人一是想徹底搞懂 CNN 每層在干什么、怎么調(diào)參的初學(xué)者二是手上數(shù)據(jù)量不大、想用遷移學(xué)習(xí)快速出效果的朋友。整個(gè)過程沒有用特別復(fù)雜的結(jié)構(gòu)重點(diǎn)是把每一步為什么這么做講清楚。Food-11 這個(gè)數(shù)據(jù)集很有意思它包含 11 類常見食物圖片類別包括面包、甜點(diǎn)、雞蛋、油炸食品、肉類、面條、披薩、米飯、海鮮、湯和沙拉蔬菜。和 MNIST、CIFAR 那種入門數(shù)據(jù)集相比它的難度高不少——同類食物有煎炸、烘焙、燉煮等不同形態(tài)不同類別之間又存在視覺相似性比如米飯和面條、湯和燉菜很容易混淆。這種類內(nèi)差異大、類間有重疊的特點(diǎn)恰好能檢驗(yàn)一個(gè)模型真正的特征提取能力。數(shù)據(jù)規(guī)模大約是訓(xùn)練集 9866 張、驗(yàn)證集 3430 張、測試集 3347 張對消費(fèi)級顯卡來說完全跑得動(dòng)。1. 項(xiàng)目整體設(shè)計(jì)與思路拆解1.1 為什么選 Food-11 作為實(shí)戰(zhàn)任務(wù)很多新手入門 CNN 都從 CIFAR-10 或者 MNIST 開始這兩個(gè)數(shù)據(jù)集確實(shí)經(jīng)典但有個(gè)問題類別之間差異太大背景干凈、物體居中隨便搭一個(gè)簡單網(wǎng)絡(luò)就能刷到 90% 以上很容易給人深度學(xué)習(xí)挺簡單的錯(cuò)覺。一旦換到真實(shí)場景的數(shù)據(jù)立刻被打回原形。Food-11 的好處在于它足夠真實(shí)。圖片不是規(guī)范化的商品圖而是帶著不同光照、不同拍攝角度、不同擺盤方式的生活照每張圖的尺寸也不一樣有橫構(gòu)圖有豎構(gòu)圖還有各種背景干擾。你要做分類模型必須學(xué)會(huì)忽略背景、聚焦食物主體。這正好模擬了實(shí)際項(xiàng)目里最常見的場景用手機(jī)拍菜單識別菜品、用監(jiān)控視頻分析食堂消耗量之類的需求本質(zhì)上都是同一類問題。數(shù)據(jù)規(guī)模方面Food-11 也處于一個(gè)微妙的位置。它比 CIFAR-10 大但又遠(yuǎn)小于 ImageNet。這個(gè)規(guī)模決定了從頭訓(xùn)練一個(gè)小型 CNN 是有可能收斂到不錯(cuò)精度的但又不會(huì)讓你輕松到接近 90%讓你能充分體驗(yàn)過擬合和欠擬合之間的拉扯。與此同時(shí)這個(gè)規(guī)模也適合對比遷移學(xué)習(xí)——你很快就能看出同樣一個(gè)任務(wù)帶預(yù)訓(xùn)練權(quán)重和從零初始化收斂速度差距有多大。1.2 先手寫 CNN 再遷移學(xué)習(xí)的意義我見過不少人直接上來就用遷移學(xué)習(xí)ResNet 加載預(yù)訓(xùn)練權(quán)重、替換全連接層、訓(xùn)練完事準(zhǔn)確率看著不錯(cuò)但問到他為什么 ResNet 里的 shortcut 能解決梯度消失、為什么凍結(jié)底層比凍結(jié)高層效果好、為什么微調(diào)時(shí)學(xué)習(xí)率要調(diào)小他就答不上來了。這不怪他因?yàn)檫w移學(xué)習(xí)把太多東西封裝在看不見的地方你不需要理解也能出結(jié)果但出了問題就不知道怎么排查。手寫 CNN 的價(jià)值恰恰在這里。當(dāng)你自己定義每一個(gè)卷積層、自己計(jì)算每一層的尺寸變化、自己觀察訓(xùn)練集和驗(yàn)證集準(zhǔn)確率差距的時(shí)候你會(huì)對為什么卷積核要越來越大、為什么通道數(shù)要逐層翻倍、為什么全連接層這么容易過擬合有直觀感受。這些東西寫 100 遍筆記不如實(shí)際跑一輪來得深刻。所以我的路線是先花幾天時(shí)間從零寫一個(gè)簡單的 CNN調(diào)參、觀測、記錄把這個(gè)過程做完吃透。然后在此基礎(chǔ)上引入遷移學(xué)習(xí)把預(yù)訓(xùn)練模型換上來同樣是訓(xùn)練、觀測、記錄。最后把兩套方案的準(zhǔn)確率曲線、訓(xùn)練時(shí)長、顯存占用放在一起對比。這樣做完整跑一遍你對網(wǎng)絡(luò)容量、數(shù)據(jù)增強(qiáng)、特征遷移這幾個(gè)概念的理解會(huì)比刷課程深刻得多。1.3 方案選型與預(yù)期目標(biāo)在開始之前我給自己定了幾個(gè)具體目標(biāo)方便最后做復(fù)盤的時(shí)候衡量方案預(yù)期測試集準(zhǔn)確率訓(xùn)練預(yù)算從零訓(xùn)練 CNN65%-75%50-70 epoch遷移學(xué)習(xí) ResNet1885% 以上20-40 epoch實(shí)際做下來從零訓(xùn)練的 CNN 測試集準(zhǔn)確率落在 70% 附近遷移學(xué)習(xí)的 ResNet18 微調(diào)后測試集達(dá)到 87% 左右。兩套方案都算達(dá)到了預(yù)期。評估維度我選了四個(gè)測試集準(zhǔn)確率、訓(xùn)練收斂速度、顯存占用、過擬合程度。準(zhǔn)確率是最直觀的收斂速度看驗(yàn)證集損失下降到平穩(wěn)值所需的 epoch 數(shù)顯存占用直接看訓(xùn)練時(shí) GPU 占用峰值過擬合程度則看訓(xùn)練集和驗(yàn)證集準(zhǔn)確率之間的差距。2. 環(huán)境準(zhǔn)備與數(shù)據(jù)管線搭建2.1 環(huán)境配置與依賴安裝這次項(xiàng)目的環(huán)境用的是 Python 3.10 PyTorch 2.1 CUDA 11.8顯卡恰好是 8GB 顯存。這個(gè)配置很普通不挑硬件大多數(shù)人的筆記本都能跑唯一需要注意的是顯存不夠時(shí)要把 batch size 調(diào)小。安裝依賴的時(shí)候有個(gè)常見的坑值得提醒PyTorch 的安裝要匹配 CUDA 版本。直接用pip install torch裝的是 CPU 版訓(xùn)練速度會(huì)慢到讓人懷疑人生。正確做法是去 PyTorch 官網(wǎng)根據(jù)你的 CUDA 版本復(fù)制對應(yīng)的安裝命令。如果不想查 CUDA 版本也可以在命令行跑nvidia-smi看右上角的 CUDA Version那個(gè)數(shù)字決定了你該選哪一檔。除了 torch 本體還需要 torchvision——因?yàn)橐盟虞d數(shù)據(jù)集和預(yù)訓(xùn)練模型。另外裝上 matplotlib 用于畫訓(xùn)練曲線tensorboard 用于實(shí)時(shí)監(jiān)控訓(xùn)練過程這個(gè)后面會(huì)細(xì)說。完整安裝命令大致長這樣pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install matplotlib tensorboard pandas如果機(jī)器上沒有獨(dú)立顯卡或者 CUDA 裝不上也不是完全不能做這個(gè)項(xiàng)目。把代碼里的.cuda()換成.to(cpu)batch size 調(diào)小一點(diǎn)訓(xùn)練時(shí)間大概會(huì)多 5 到 10 倍但代碼流程是一樣的原理也能學(xué)明白。不過遷移學(xué)習(xí)部分在 CPU 上跑會(huì)非常煎熬建議至少用云平臺的 GPU 實(shí)例。2.2 Food-11 數(shù)據(jù)集下載與加載Food-11 數(shù)據(jù)集來自某高校公開的食品圖像研究項(xiàng)目在公開渠道可以下載到。下載后是一個(gè)壓縮包解壓出來分三個(gè)文件夾分別是 training、validation、testing每個(gè)文件夾下面再按類別分子目錄。這種目錄結(jié)構(gòu)正好可以用torchvision.datasets.ImageFolder直接加載不需要手寫 Dataset 類。不過要留意一個(gè)細(xì)節(jié)Food-11 有些版本用的是類別數(shù)字編號做目錄名比如 0、1、2、3 一直到 10有些版本則標(biāo)注了類別名稱。你需要先在驗(yàn)證集上跑一次小測試確認(rèn)目錄編號和實(shí)際食物類別是否對得上否則后面畫混淆矩陣的時(shí)候會(huì)一臉懵。我自己就遇到過一次編號 5 標(biāo)的是肉類但圖片全是披薩排查了半天才發(fā)現(xiàn)是數(shù)據(jù)集內(nèi)部分類順序和文檔不一致。加載代碼很簡單from torchvision import datasets, transforms train_transform transforms.Compose([ transforms.Resize(256), transforms.RandomResizedCrop(224), transforms.RandomHorizontalFlip(p0.5), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_transform transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) train_dataset datasets.ImageFolder(food11/training, transformtrain_transform) val_dataset datasets.ImageFolder(food11/validation, transformval_transform) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue, num_workers4, pin_memoryTrue) val_loader DataLoader(val_dataset, batch_size64, shuffleFalse, num_workers4, pin_memoryTrue)這里定義了兩種不同的 transform訓(xùn)練集用了隨機(jī)裁剪和隨機(jī)翻轉(zhuǎn)做數(shù)據(jù)增強(qiáng)驗(yàn)證集只用固定尺寸的中心裁剪不做隨機(jī)增強(qiáng)。因?yàn)轵?yàn)證集的作用是評估模型真實(shí)表現(xiàn)如果每一輪驗(yàn)證的圖片都在變化你看到的準(zhǔn)確率波動(dòng)就會(huì)很大干擾判斷。2.3 數(shù)據(jù)增強(qiáng)策略的設(shè)計(jì)邏輯數(shù)據(jù)增強(qiáng)是這個(gè)小項(xiàng)目里最容易被忽視卻非常重要的環(huán)節(jié)。Food-11 每類大概不到 1000 張訓(xùn)練圖這點(diǎn)數(shù)據(jù)量對于從零訓(xùn)練的 CNN 來說是不夠的。如果不用數(shù)據(jù)增強(qiáng)模型很快就會(huì)把訓(xùn)練集背下來然后驗(yàn)證集準(zhǔn)確率卡在一個(gè)尷尬的位置。我用的訓(xùn)練增強(qiáng)組合是RandomResizedCrop(224)RandomHorizontalFlipColorJitter。RandomResizedCrop會(huì)從原圖隨機(jī)裁剪一塊比例不同的區(qū)域然后縮放到 224x224等于同時(shí)做了尺度擾動(dòng)和位置擾動(dòng)這比RandomCrop更能模擬真實(shí)場景中食物在畫面中大小不一的情況。ColorJitter則是隨機(jī)調(diào)整亮度、對比度和飽和度幫助模型對光照變化不敏感。但遷移學(xué)習(xí)階段我特意把ColorJitter的強(qiáng)度調(diào)低了只保留輕微的變化。原因是預(yù)訓(xùn)練模型在 ImageNet 上見過的是比較標(biāo)準(zhǔn)的顏色分布如果用強(qiáng)顏色增強(qiáng)把圖片色調(diào)改得面目全非預(yù)訓(xùn)練特征就發(fā)揮不出作用了。這種情況下你等于拿從零訓(xùn)練的規(guī)則去約束一個(gè)有經(jīng)驗(yàn)的老模型反而束縛了它。歸一化參數(shù)用的是 ImageNet 的均值和標(biāo)準(zhǔn)差即使是從零訓(xùn)練我也用了這套參數(shù)。嚴(yán)格的講自己動(dòng)手統(tǒng)計(jì) Food-11 的均值和標(biāo)準(zhǔn)差會(huì)稍微更準(zhǔn)確但我實(shí)測下來兩者差異很小不值得為這點(diǎn)提升額外增加代碼復(fù)雜度。使用統(tǒng)一歸一化參數(shù)還有個(gè)額外好處后期遷移學(xué)習(xí)階段直接復(fù)用同一套 transform代碼不用改。3. 從零手寫 CNN 并訓(xùn)練到收斂3.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)手寫 CNN 不是越復(fù)雜越好關(guān)鍵是結(jié)構(gòu)合理、每層的作用清清楚楚。我用的結(jié)構(gòu)是三個(gè)卷積塊加兩個(gè)全連接層輸入 224x224x3 的彩色圖片輸出 11 個(gè)類別的分?jǐn)?shù)。設(shè)計(jì)原則就三條通道數(shù)逐層翻倍、空間尺寸逐層減半、在卷積和全連接的銜接處用池化降維。import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes11): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 32, kernel_size3, padding1), nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(32, 64, kernel_size3, padding1), nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(64, 128, kernel_size3, padding1), nn.BatchNorm2d(128), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), ) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(128 * 28 * 28, 256), nn.ReLU(inplaceTrue), nn.Dropout(0.5), nn.Linear(256, num_classes) ) def forward(self, x): return self.classifier(self.features(x))為什么每個(gè)卷積層都用 3x3 卷積因?yàn)閮蓚€(gè)串聯(lián)的 3x3 卷積堆疊出來的感受野相當(dāng)于一個(gè) 5x5 卷積參數(shù)更少、非線性表達(dá)更強(qiáng)。為什么通道數(shù)從 32 到 64 到 128 翻倍因?yàn)殡S著空間尺寸不斷減半要保持特征信息量不下降就得靠增加通道數(shù)來補(bǔ)償。展平后的維度是這樣算的輸入 224x224經(jīng)過三次 MaxPool2d(2) 后空間尺寸變?yōu)?224/2/2/2 28所以展平后是 1282828 100352 維。這個(gè)全連接輸入維度有點(diǎn)大但實(shí)際訓(xùn)練時(shí)問題不大。如果不想每次手算維度也可以在最前面加一層nn.AdaptiveAvgPool2d((7, 7))這樣不管輸入尺寸怎么變都能統(tǒng)一輸出到 7x7代碼更優(yōu)雅我后面在遷移學(xué)習(xí)中就用這種寫法。還有兩個(gè)容易被忽略的細(xì)節(jié)。一個(gè)是BatchNorm2d放在卷積和 ReLU 之間先歸一化再激活這是目前實(shí)踐中最穩(wěn)定的排列。另一個(gè)是最后一個(gè)卷積塊后面沒有接全局平均池化而是直接把特征圖展平喂給全連接層。這么做不是最優(yōu)的VGG 時(shí)代的大量實(shí)驗(yàn)表明展平操作會(huì)導(dǎo)致較大參數(shù)量、更容易過擬合換成AdaptiveAvgPool2d后參數(shù)會(huì)少很多。你可以把這個(gè)當(dāng)成一個(gè)優(yōu)化方向但作為學(xué)習(xí)用的第一版網(wǎng)絡(luò)展平方案更直觀能讓你看懂特征圖是如何變成一維向量的。3.2 訓(xùn)練流程與損失函數(shù)設(shè)置訓(xùn)練一個(gè)小型 CNN 分類模型的代碼框架是通用的以后你換任何一個(gè)數(shù)據(jù)集這個(gè)骨架都能用。核心就是四個(gè)步驟前向傳播、計(jì)算損失、反向傳播、更新參數(shù)。import torch import torch.nn as nn import torch.optim as optim device torch.device(cuda if torch.cuda.is_available() else cpu) model SimpleCNN(num_classes11).to(device) criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr1e-3, weight_decay1e-4) scheduler optim.lr_scheduler.StepLR(optimizer, step_size20, gamma0.5) epochs 60 for epoch in range(epochs): model.train() total_loss, correct, total 0.0, 0, 0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) outputs model(images) loss criterion(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() * images.size(0) _, preds torch.max(outputs, 1) correct (preds labels).sum().item() total labels.size(0) train_acc correct / total avg_loss total_loss / total # 驗(yàn)證階段 model.eval() val_correct, val_total 0, 0 with torch.no_grad(): for images, labels in val_loader: images, labels images.to(device), labels.to(device) outputs model(images) _, preds torch.max(outputs, 1) val_correct (preds labels).sum().item() val_total labels.size(0) val_acc val_correct / val_total print(fEpoch {epoch1:03d} | Loss {avg_loss:.4f} | fTrain Acc {train_acc:.4f} | Val Acc {val_acc:.4f}) scheduler.step()這里的幾個(gè)設(shè)計(jì)點(diǎn)都有實(shí)際意義。損失函數(shù)用nn.CrossEntropyLoss()這個(gè)函數(shù)內(nèi)部自動(dòng)幫你做了 softmax 和 log所以不要在模型最后一層額外加 softmax否則等于做了兩次歸一化數(shù)值行為和梯度都會(huì)受影響。優(yōu)化器我選了 Adam初始學(xué)習(xí)率 1e-3配了一個(gè)很輕的 L2 正則化weight_decay1e-4。Adam 的好處是對學(xué)習(xí)率不敏感、收斂穩(wěn)對新手友好。SGD 配合動(dòng)量理論上有更好的泛化性能但需要調(diào)學(xué)習(xí)率和動(dòng)量策略花的時(shí)間更多實(shí)戰(zhàn)中遇到 Adam 收斂不上去再考慮換 SGD。訓(xùn)練過程中我用了model.train()和model.eval()來切換模式。這個(gè)切換非常關(guān)鍵Dropout在訓(xùn)練時(shí)隨機(jī)丟棄神經(jīng)元但驗(yàn)證時(shí)不能丟BatchNorm在訓(xùn)練時(shí)用當(dāng)前 batch 的統(tǒng)計(jì)量驗(yàn)證時(shí)用訓(xùn)練階段累積的滑動(dòng)平均。忘了切回 eval 模式是新手最容易犯的錯(cuò)誤之一后果是驗(yàn)證準(zhǔn)確率莫名其妙地低而且每次跑結(jié)果不一樣。3.3 訓(xùn)練過程監(jiān)控與調(diào)參記錄訓(xùn)練到 20 輪左右的時(shí)候訓(xùn)練準(zhǔn)確率已經(jīng)到了 85% 左右驗(yàn)證集 62% 左右這時(shí)明顯出現(xiàn)了過擬合跡象。訓(xùn)練集學(xué)得比驗(yàn)證集快很多的情況在從零訓(xùn)練的小網(wǎng)絡(luò)上幾乎無法避免只能通過增強(qiáng)正則化和降低模型容量來緩解。我把 Dropout 從 0.3 提到了 0.5同時(shí)把ColorJitter的增強(qiáng)幅度調(diào)大了一點(diǎn)讓模型看到的訓(xùn)練樣本更加多樣化。調(diào)整后驗(yàn)證集準(zhǔn)確率往上走了一些但最終也只是穩(wěn)定在 70% 附近。從這里你能直觀感受到淺層網(wǎng)絡(luò)的容量瓶頸是什么意思。不是過擬合問題解決不了而是即便解決了過擬合這個(gè)網(wǎng)絡(luò)本身的表達(dá)能力也就到這個(gè)程度。11 個(gè)類別里米飯和面條、湯和燉菜這類細(xì)粒度差異需要更深層的特征才能區(qū)分而三層卷積只能學(xué)到紋理和顏色級別的特征再往上就需要更多層來組合語義信息。另一個(gè)值得記錄的調(diào)參經(jīng)驗(yàn)是學(xué)習(xí)率衰減。我用StepLR(step_size20, gamma0.5)也就是每 20 輪把學(xué)習(xí)率減半。如果一直用恒定學(xué)習(xí)率訓(xùn)練后期 loss 會(huì)在一個(gè)區(qū)間反復(fù)震蕩準(zhǔn)確率曲線也呈鋸齒狀衰減之后曲線明顯平滑下來。你可以在 tensorboard 里觀察 loss 曲線的尾部如果出現(xiàn)高頻震蕩而驗(yàn)證集準(zhǔn)確率不再提升大概率就是學(xué)習(xí)率偏大的信號。最終手寫 CNN 的結(jié)果是訓(xùn)練 60 輪測試集準(zhǔn)確率 70.8%。這個(gè)成績在沒有任何預(yù)訓(xùn)練權(quán)重的情況下對于 Food-11 這類真實(shí)圖片數(shù)據(jù)集來說屬于一個(gè)合理但談不上優(yōu)秀的結(jié)果。它證明了這個(gè)網(wǎng)絡(luò)架構(gòu)是能學(xué)到東西的但天花板也很明顯。4. 遷移學(xué)習(xí)從預(yù)訓(xùn)練權(quán)重到微調(diào)落地4.1 預(yù)訓(xùn)練模型選型遷移學(xué)習(xí)的核心思路是不從一個(gè)全新的隨機(jī)初始化開始而是用一個(gè)已經(jīng)在 ImageNet 上訓(xùn)練過的模型作為起點(diǎn)。ImageNet 有 1000 個(gè)類別、上百萬張圖片模型在分類訓(xùn)練中被迫學(xué)會(huì)識別各種通用視覺模式比如邊緣、紋理、形狀、物體部件。這些特征對絕大多數(shù)圖像任務(wù)都有復(fù)用價(jià)值。torchvision 里提供多種預(yù)訓(xùn)練模型我選了 ResNet18。選它的理由有三個(gè)參數(shù)量約 1170 萬不算大8GB 顯存跑起來毫無壓力結(jié)構(gòu)經(jīng)典殘差連接解決了深層網(wǎng)絡(luò)的梯度傳播問題這讓你在微調(diào)時(shí)即使解凍更多層也不用太擔(dān)心訓(xùn)練崩潰在 Food-11 這種中等復(fù)雜度的任務(wù)上ResNet18 的能力已經(jīng)足夠上 ResNet50 提升有限但訓(xùn)練時(shí)間和顯存占用都會(huì)明顯增加。ResNet50 適合什么時(shí)候用如果你手里的數(shù)據(jù)量更大、圖片分辨率更高、類別更多或者類別之間差異非常細(xì)微那時(shí)候 ResNet50 或更大的模型才有意義。但在這個(gè)項(xiàng)目里選了 ResNet50 也不會(huì)讓準(zhǔn)確率有質(zhì)的飛越反而會(huì)讓訓(xùn)練變慢過擬合風(fēng)險(xiǎn)也更高。4.2 模型替換與參數(shù)凍結(jié)策略加載預(yù)訓(xùn)練 ResNet18 之后第一件事就是把輸出層的全連接替換掉。ResNet18 原來的全連接層輸出 1000 個(gè)類別分?jǐn)?shù)我們的任務(wù)是 11 類所以需要換成一個(gè)nn.Linear(resnet.fc.in_features, 11)。這里用in_features拿原層的輸入維度是標(biāo)準(zhǔn)寫法避免硬編碼 512 這種數(shù)字以后換 ResNet34、ResNet50 時(shí)代碼不用改。接下來是最關(guān)鍵的策略決策凍結(jié)哪些層解凍哪些層。import torchvision.models as models model models.resnet18(weightsmodels.ResNet18_Weights.IMAGENET1K_V1) for param in model.parameters(): param.requires_grad_(False) for param in model.layer3.parameters(): param.requires_grad_(True) for param in model.layer4.parameters(): param.requires_grad_(True) model.fc nn.Linear(model.fc.in_features, 11)這個(gè)代碼做了三件事先把所有參數(shù)鎖定requires_gradFalse然后解凍了 layer3 和 layer4 這兩個(gè)殘差塊最后替換分類頭。解凍的含義是這些層的參數(shù)會(huì)在訓(xùn)練中被更新沒解凍的層參數(shù)保持預(yù)訓(xùn)練權(quán)重不變。凍結(jié)層的參數(shù)不參與訓(xùn)練這兩大好處第一大幅減少需要計(jì)算的梯度顯存占用下降第二避免在小數(shù)據(jù)集上破壞預(yù)訓(xùn)練學(xué)到的高質(zhì)量通用特征。但也不宜凍太多——layer1 和 layer2 學(xué)到的是邊緣、紋理這些通用的特征layer3 和 layer4 學(xué)到的是偏語義的特征對食物類別更關(guān)鍵解凍它們讓模型有空間去適應(yīng)當(dāng)前任務(wù)這是精度和數(shù)據(jù)規(guī)模之間的一個(gè)平衡點(diǎn)。如果你想先跑一個(gè)快速的 baseline可以把所有層都凍結(jié)只訓(xùn)練新的全連接層。這樣訓(xùn)練速度極快十幾分鐘就能出一個(gè)結(jié)果通常在 Food-11 上能到 80% 左右。解凍 layer3、layer4 后準(zhǔn)確率可以再提升幾個(gè)點(diǎn)。所以一個(gè)實(shí)用的流程是先只訓(xùn)分類頭確認(rèn) baseline再逐步解凍更深層觀察準(zhǔn)確率變化找到收益最大且不發(fā)生過擬合的解凍深度。優(yōu)化器這里需要特別處理一下不同層要用不同的學(xué)習(xí)率。因?yàn)槿B接層是隨機(jī)初始化的需要較大的學(xué)習(xí)率快速收斂而預(yù)訓(xùn)練層已經(jīng)有較好的初始化只需要很小的學(xué)習(xí)率做微調(diào)不然一步下去就把之前學(xué)好的特征給破壞了。optimizer optim.Adam([ {params: model.layer3.parameters(), lr: 1e-4}, {params: model.layer4.parameters(), lr: 1e-4}, {params: model.fc.parameters(), lr: 1e-3}, ], weight_decay1e-4)權(quán)重衰減對微調(diào)階段同樣重要它能抑制預(yù)訓(xùn)練層在微調(diào)過程中的參數(shù)漂移。有人擔(dān)心weight_decay加在預(yù)訓(xùn)練層上會(huì)破壞原有權(quán)重實(shí)測下來只要 lr 足夠小這個(gè)影響可以忽略反而能提升最終精度。4.3 微調(diào)實(shí)驗(yàn)結(jié)果與對比分析遷移學(xué)習(xí)階段我用相同的數(shù)據(jù)增強(qiáng)和 batch size訓(xùn)練了 30 輪。前 10 輪就達(dá)到了手寫 CNN 最終的水平驗(yàn)證集準(zhǔn)確率超過 70%20 輪后驗(yàn)證集穩(wěn)定在 87% 左右30 輪后測試集準(zhǔn)確率定格在 87.3%。整個(gè)過程沒有遇到明顯的過擬合訓(xùn)練集和驗(yàn)證集準(zhǔn)確率的差距大約在 3-4 個(gè)百分點(diǎn)比手寫 CNN 的 10 個(gè)百分點(diǎn)以上健康得多。這個(gè)結(jié)果說明預(yù)訓(xùn)練模型在 ImageNet 上學(xué)到的通用特征對食物圖片依然高度有效。底層卷積提取的紋理、邊緣、顏色斑塊等低層特征本身就和食物圖像沒有太大領(lǐng)域差異而高層的語義特征通過微調(diào)也能很快適應(yīng)食物這個(gè)特定領(lǐng)域。這是遷移學(xué)習(xí)最核心的邏輯低層特征通用高層特征特異微調(diào)相當(dāng)于把特異的部分重新訓(xùn)練一下而低層保持不動(dòng)。對比手寫 CNN遷移學(xué)習(xí)帶來的收益非常明確準(zhǔn)確率提升接近 17 個(gè)百分點(diǎn)收斂輪數(shù)減少一半以上過擬合風(fēng)險(xiǎn)大幅降低。唯一的代價(jià)是需要額外加載一個(gè) 44MB 左右的預(yù)訓(xùn)練權(quán)重文件以及第一輪訓(xùn)練前的參數(shù)下載時(shí)間。5. 兩套方案的對比與選型建議5.1 準(zhǔn)確率、訓(xùn)練時(shí)長、魯棒性三維對比兩套方案完整跑完后我列了一張對比表直觀反映差異。對比維度從零訓(xùn)練 CNNResNet18 遷移學(xué)習(xí)測試集準(zhǔn)確率70.8%87.3%達(dá)到 70% 所需輪數(shù)約 40 輪約 8 輪顯存峰值占用約 1.2GB約 1.8GB訓(xùn)練/驗(yàn)證準(zhǔn)確率差距10%3%-4%過擬合風(fēng)險(xiǎn)高低收斂穩(wěn)定性需要調(diào)參相對穩(wěn)定從零訓(xùn)練 CNN 最大的問題是過擬合。訓(xùn)練集準(zhǔn)確率接近 96%驗(yàn)證集只有 79% 左右差距接近 17 個(gè)百分點(diǎn)。遷移學(xué)習(xí)就健康得多訓(xùn)練集 91%驗(yàn)證集 87%差距被壓縮在可接受范圍內(nèi)。這背后的原因不只是預(yù)訓(xùn)練權(quán)重更重要的是預(yù)訓(xùn)練模型本身的設(shè)計(jì)殘差結(jié)構(gòu)配合 batch normalization讓梯度傳播更穩(wěn)定訓(xùn)練過程不容易被噪聲樣本帶偏。5.2 什么場景該選哪種方案做完這個(gè)項(xiàng)目之后我形成了一個(gè)判斷框架以后拿到新的圖像分類任務(wù)可以直接套用。當(dāng)數(shù)據(jù)量每類超過 5000 張、圖片內(nèi)容高度標(biāo)準(zhǔn)化、且類別間差異明顯時(shí)從零訓(xùn)練一個(gè)淺層網(wǎng)絡(luò)可能是一個(gè)選項(xiàng)但那也僅僅是為了研究網(wǎng)絡(luò)結(jié)構(gòu)才需要做的事。工程上無論是訓(xùn)練效率還是最終精度遷移學(xué)習(xí)幾乎總是更好的選擇。數(shù)據(jù)量中等、每類有幾百張圖片而且任務(wù)和自然圖像比較接近的時(shí)候遷移學(xué)習(xí)是首選推薦先用凍結(jié)全部層訓(xùn)練分類頭做 baseline再逐步解凍深層這是最快找到最優(yōu)配置的路徑。數(shù)據(jù)量極少、每類只有幾十張圖片時(shí)那就只訓(xùn)練分類頭、保持所有特征層完全凍結(jié)同時(shí)依賴更強(qiáng)的數(shù)據(jù)增強(qiáng)來撐住訓(xùn)練。有一種情況值得警惕如果目標(biāo)圖片是醫(yī)學(xué)影像、衛(wèi)星遙感、工業(yè)檢測這類和自然圖像差異巨大的領(lǐng)域預(yù)訓(xùn)練權(quán)重的價(jià)值會(huì)打折扣。底層卷積的紋理、邊緣特征仍然有用但高層的語義特征跟你的任務(wù)完全對不上。這時(shí)候不要盲目解凍所有層應(yīng)該從淺到深逐層解凍每解凍一層就評估一次一旦發(fā)現(xiàn)驗(yàn)證集準(zhǔn)確率下降就停在那里。5.3 遷移學(xué)習(xí)工程的四個(gè)經(jīng)驗(yàn)第一個(gè)經(jīng)驗(yàn)是 BatchNorm 的統(tǒng)計(jì)量與 batch size 高度相關(guān)。微調(diào)時(shí)如果 batch size 設(shè)得太小比如小于 16BN 層計(jì)算出來的均值和方差波動(dòng)很大會(huì)拖累整個(gè)模型的表現(xiàn)。遇到這種情況可以把凍結(jié)層的 BN 也設(shè)成 eval 模式或者干脆用一個(gè)足夠大的 batch size。我建議微調(diào)過程中的 batch size 不要低于 32。第二個(gè)經(jīng)驗(yàn)是輸入分辨率盡量保持 224x224。預(yù)訓(xùn)練模型在 ImageNet 上訓(xùn)練時(shí)用的就是 224 分辨率你如果為了省顯存用 160x160雖然 ResNet 的全連接層會(huì)因?yàn)檩斎胱冃《鵁o法 forward但用AdaptiveAvgPool2d的結(jié)構(gòu)能適應(yīng)不同分辨率只是準(zhǔn)確率會(huì)下降幾個(gè)點(diǎn)。所以最穩(wěn)妥的方式是 resize 到 256 再 center crop 到 224這個(gè)方案在速度和精度之間是公認(rèn)的平衡點(diǎn)。第三個(gè)經(jīng)驗(yàn)是數(shù)據(jù)增強(qiáng)可以比手寫網(wǎng)絡(luò)用的更強(qiáng)但也不能亂來。Food-11 上我稍微調(diào)大了RandomResizedCrop的裁剪范圍讓模型看到更多不同大小的食物區(qū)域效果是正向的。但ColorJitter如果設(shè)置得過強(qiáng)預(yù)訓(xùn)練層的顏色統(tǒng)計(jì)會(huì)被打亂效果反而變差。第四個(gè)經(jīng)驗(yàn)關(guān)于推理階段。訓(xùn)練結(jié)束后做測試推斷時(shí)記得也要用驗(yàn)證集那套 transform不要用包括了隨機(jī)翻轉(zhuǎn)的訓(xùn)練 transform。如果測試時(shí)圖像被隨機(jī)翻轉(zhuǎn)你的預(yù)測結(jié)果每次都不一樣無法得到穩(wěn)定的測試集準(zhǔn)確率。6. 常見問題與排查技巧實(shí)錄6.1 損失不下降或訓(xùn)練成 NaN訓(xùn)練過程中損失值不下降或者直接變成 NaN是新手遇到最多的問題。我自己在這上面踩過坑整理一下排查順序。先看學(xué)習(xí)率。如果損失長時(shí)間在一個(gè)高數(shù)值徘徊不往下走十有八九是學(xué)習(xí)率偏大或者偏小。Adam 的默認(rèn)學(xué)習(xí)率 1e-3 在這個(gè)小網(wǎng)絡(luò)上通常合適但如果換成更大更深的網(wǎng)絡(luò)這個(gè)值就偏大了損失會(huì)在幾個(gè)小 epoch 內(nèi)直接炸掉。遇到 NaN 的第一反應(yīng)就是把學(xué)習(xí)率除以 10 再試試。再看有沒有在模型最后一層重復(fù)加 softmax。nn.CrossEntropyLoss內(nèi)部的實(shí)現(xiàn)是log(softmax(x))如果你額外在forward里加了一個(gè) softmax梯度計(jì)算路徑就多了一層非線性變換數(shù)值不穩(wěn)定損失甚至?xí)霈F(xiàn)負(fù)值。這個(gè)錯(cuò)誤在代碼里不好肉眼發(fā)現(xiàn)最好用一個(gè)小批量數(shù)據(jù)做一輪前向推斷打印輸出層數(shù)值范圍正常應(yīng)該在 -5 到 5 之間。最后看數(shù)據(jù)歸一化。如果忘了用Normalize直接把原始像素值0-255喂給網(wǎng)絡(luò)或者歸一化的 mean/std 寫錯(cuò)位置輸入分布的數(shù)值范圍會(huì)和模型預(yù)期差異很大導(dǎo)致訓(xùn)練很難收斂。Food-11 這種自然圖像一般按 ImageNet 的統(tǒng)計(jì)參數(shù)歸一化就好。6.2 過擬合嚴(yán)重時(shí)的應(yīng)對次序當(dāng)訓(xùn)練集準(zhǔn)確率很高、驗(yàn)證集準(zhǔn)確率停滯不前的時(shí)候按照這個(gè)順序調(diào)整先從數(shù)據(jù)側(cè)入手增強(qiáng)RandomResizedCrop和RandomHorizontalFlip有需要再加RandomRotation和ColorJitter再從模型側(cè)入手提高 Dropout 比例、降低通道數(shù)最后從訓(xùn)練策略入手加 weight_decay、早停、降低學(xué)習(xí)率。遷移學(xué)習(xí)階段如果出現(xiàn)過擬合最快的辦法是減少解凍的層數(shù)不要一上來就解凍全部。另一個(gè)有效手段是使用更小的學(xué)習(xí)率比如把微調(diào)學(xué)習(xí)率從 1e-4 降到 3e-5讓參數(shù)在已經(jīng)很小的范圍內(nèi)繼續(xù)調(diào)整。微調(diào)更怕矯枉過正寧可慢一點(diǎn)也不要讓預(yù)訓(xùn)練權(quán)重被幾個(gè) high-loss 的樣本帶著跑偏。6.3 加載預(yù)訓(xùn)練模型報(bào) key 不匹配加載torchvision預(yù)訓(xùn)練模型偶爾會(huì)遇到state_dict的 key 不匹配或者下面的報(bào)錯(cuò)RuntimeError: Error(s) in loading state_dict for ResNet: Missing key(s) in state_dict: fc.weight, fc.bias. Unexpected key(s) in state_dict: module.fc.weight, module.fc.bias.這個(gè)報(bào)錯(cuò)通常有兩種原因。第一種是你用了多 GPU 訓(xùn)練保存的權(quán)重key 前面統(tǒng)一帶著module.前綴第二種是你已經(jīng)替換了最后的全連接層但加載的權(quán)重還是舊的 1000 類版本。解決辦法是加載時(shí)用strictFalse并且手動(dòng)剔除module.前綴。from collections import OrderedDict state_dict torch.load(your_checkpoint.pth) new_state_dict OrderedDict() for k, v in state_dict.items(): if k.startswith(module.): k k[7:] # 去掉 module. 前綴 new_state_dict[k] v model.load_state_dict(new_state_dict, strictFalse)預(yù)處理最好是在保存 checkpoint 時(shí)就規(guī)范化 key省得每次加載都寫這段代碼。如果不小心保存了帶module.的權(quán)重上面這段代碼可以直接復(fù)用。6.4 顯存不足OOM時(shí)的三板斧8GB 顯存跑 ResNet18 很從容但并不說明你可以隨意浪。batch size 設(shè)到 128、圖片分辨率用到 256OOM 就會(huì)找上門。遇到顯存不足按照下面的順序處理。第一減小 batch size。這是最直接的辦法從 64 降到 32顯存立刻減半。代價(jià)是訓(xùn)練會(huì)多一些波動(dòng)可以配合適當(dāng)降低學(xué)習(xí)率彌補(bǔ)。第二利用凍結(jié)層的特性。如果只訓(xùn)練分類頭整個(gè)特征提取器不需要梯度但實(shí)際上前向計(jì)算中的中間特征圖仍然會(huì)被保留用于后續(xù)的反向傳播解決辦法是把requires_gradFalse的層放在torch.no_grad()上下文里計(jì)算或者直接用autocast混合精度訓(xùn)練。第三開自動(dòng)混合精度。from torch.cuda.amp import autocast, GradScaler scaler GradScaler() for images, labels in train_loader: images, labels images.to(device), labels.to(device) with autocast(): outputs model(images) loss criterion(outputs, labels) optimizer.zero_grad() scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()混合精度訓(xùn)練把部分計(jì)算改為半精度浮點(diǎn)數(shù)顯存占用和計(jì)算量都能減少將近一半而精度損失在這個(gè)任務(wù)上幾乎觀察不到。這是現(xiàn)代 PyTorch 訓(xùn)練里性價(jià)比最高的一個(gè)優(yōu)化手段。6.5 訓(xùn)練速度慢排查方向如果你的訓(xùn)練速度異常慢先用nvidia-smi看一下 GPU 利用率和顯存占用。如果 GPU 利用率只有 20% 以下問題多半不在模型而在數(shù)據(jù)加載流程。PyTorch 的 DataLoader 里num_workers設(shè)置太小時(shí)CPU 處理圖像速度跟不上 GPU 的消費(fèi)速度整個(gè)訓(xùn)練就卡在數(shù)據(jù)讀取上。num_workers設(shè)成 0 表示在主進(jìn)程里加載數(shù)據(jù)速度最慢通常 2 到 4 就夠用。如果設(shè)置到 8 以上你就需要檢查系統(tǒng)內(nèi)存是否足夠內(nèi)存交換會(huì)讓訓(xùn)練變慢幾個(gè)數(shù)量級。另外開啟pin_memoryTrue可以加速 GPU 和設(shè)備端的數(shù)據(jù)拷貝這個(gè)小參數(shù)很多人會(huì)忽略。如果數(shù)據(jù)加載已經(jīng)很快但 GPU 利用率還是低就檢查 transform 的復(fù)雜度。RandomResizedCrop這類操作是 CPU 密集型計(jì)算再疊加ColorJitter傳統(tǒng)實(shí)現(xiàn)也比較重。有條件的可以把 transform 簡化或者用多進(jìn)程預(yù)處理。在普通項(xiàng)目里我通常把num_workers調(diào)到 4、pin_memory打開就能解決大部分速度問題。7. 訓(xùn)練過程中記錄的幾條心得整個(gè)項(xiàng)目跑完我對圖像分類實(shí)戰(zhàn)有了更具體的認(rèn)識。從零手寫 CNN 的過程雖然最后準(zhǔn)確率不高但它教會(huì)我網(wǎng)絡(luò)容量限制了模型的表達(dá)能力數(shù)據(jù)增強(qiáng)和正則化只是緩解癥狀真正解決問題要靠結(jié)構(gòu)設(shè)計(jì)。這種領(lǐng)悟不是看任何教程能直接獲得的必須在調(diào)參和對比中慢慢沉淀。遷移學(xué)習(xí)讓我重新理解了預(yù)訓(xùn)練這三個(gè)字的重量。同樣的網(wǎng)絡(luò)結(jié)構(gòu)、同樣的數(shù)據(jù)、同樣的訓(xùn)練輪數(shù)唯一的差別就是初始化方式不同最終結(jié)果差了 16 個(gè)百分點(diǎn)。在工業(yè)界大多數(shù)場景里數(shù)據(jù)和算力才是稀缺資源而預(yù)訓(xùn)練權(quán)重提供了一條用別人已訓(xùn)練好的知識來彌補(bǔ)自己數(shù)據(jù)不足的捷徑。最后一個(gè)小技巧想分享給做類似項(xiàng)目的朋友從最開始就建立固定格式的訓(xùn)練日志把每一輪的損失、準(zhǔn)確率、學(xué)習(xí)率、顯存占用都記錄到文件里。這些看似瑣碎的數(shù)據(jù)在你需要回頭對比不同方案時(shí)價(jià)值極大。我的習(xí)慣是用一張 CSV 記錄關(guān)鍵指標(biāo)再用 Python 腳本畫準(zhǔn)確率曲線幾個(gè)方案放在同一張圖上對比誰好誰差一目了然。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月开心婷婷| 久久婷婷丁香花综合网| 五月开心深爱激情网| 色噜久| 国产五月天欧美色| 综合在线丁香五月| 97综合在线| 淫五月停停| 婷婷六月天激情影院| 综合激情在线观看| 丁香伊人激情| 在线观看的av| 欧美天天搞| 天天综合色| 涩五月婷婷| 成人婷婷桔色| 这里只有精品免费在线视频| 婷婷五月丁香色综合| 亚洲网视屏| 精品久久久久久久久久久久人妻| 99 热| 亭亭玉月丁香| 久久人人做人人妻人人玩精品va| 开心激情综合| 碰碰91| 成人九九视频| 久久人妻情侣| 99综合99| 色国产五月| 中文字幕,综合,91| 五月丁香亭亭激情操逼网| 久久伊人大香蕉| 久热这里只有精品视频免费观看| 激情五月视频| 五月婷婷深爱六月| 婷婷五月天伦理| 91精品91久久久中77777久久玖玖九九| 激情综合亚洲| 国产精品久久久久久白浆色欲| 超碰成人影视| 日本欧美成人片AAAA| 超碰不卡在线| 99爽视频| 色婷婷五月色| 丁香五月欧美成人| 久草A片| 五月丁香激情婷婷| 天天日日夜夜爽。| 亚洲视频伍月婷婷| 五月婷婷综合在线视频小说| 五月天婷婷视频30| 婷婷五月天首页| 任你爽视频| 亚洲AV无码成人精品区电影网| 青青久在线视频免费观看| 亚洲天天| www久久久| 激情综合网五月婷婷| 免费视频无码| 成人片在线播放| 色女人久久| 色色亚洲五月天| sewuyuejiqingwang| 婷婷精品| 丁香五月天天日| 国在线激情网| 五月天自拍网| 大香蕉久久久久久久久| 九久热| 色五月综合激情网| 九九Y精品热播| 97操资源婷婷| 婷婷娌伦网| 亚洲无码AV片| 爆乳熟妇一区二区三区爆乳| 久久视这里只有精品| 午夜亚洲国产精品av一区二区| 久99在线视频| 色综久久久| 狠狠干综合| 97人人射| 99色看| 国产另类综合| 天天操B| 丁香激情久久| 婷婷在线视频| 99少妇精品| 99超级碰碰| 色玖玖导航| 99ri国产| 襙逼网| 久久婷婷五月天激情唯美| 天天干天天色天天干| 婷婷激情五月综合在线视频| 超碰成人av| 97久久视频| 天天射影院| 五月婷色啪| 呦呦v线| 五月综合777| 91精品国产综合久久密臀| 丁香 婷婷 亚洲 熟女| 六月丁AV| 久草婷婷| 啪啪视频99| 特级操b片| 色色色999| 狠狠干天天内射| 五月丁香欧美| 亚洲操b| 久热一区| 噜噜噜噜噜在线| 婷婷五月丁香伊人网| 色五月天成人| 超碰在线caop| 激情四射五月天| 色亚洲视频| 丁香五月婷婷在线观看| 亚洲综合另类| 九九精品热播| 五月丁香啪啪啪免费看| 网站免费一站二站| 国产毛片精品一区二区色欲黄A片| 香蕉99网| 五月婷色丁香| 丁香五月婷久久| 少妇水多A片太爽了| 日韩三及成人AV片| 九九家庭影院| 亚韩在线视频| 色九九丁香九月色九九色| 五月丁香啪啪网| 欧美爆乳一区二区三区| 大香蕉av在线| 久久视频婷婷视频| 婷婷深爱网| av久热| 91性交在线播放| 久久 婷婷 五月天| 噜一噜在线| 色婷婷香蕉| 97色五月丁香婷婷| 99秘 在线| 人人综合久| 黄网在线免费| 激情综合网,婷婷| 五月婷婷偷拍| 色综合色色色色| 狠狠色丁香99| 五月天婷婷久久| 色婷九九九| 激情五月综合ì香亚洲| 精品色色| 日韩不卡DvD| 丁香六月成人网| 一级性爱视频| 国产激情综合五月久久| 亚洲天堂爱爱| 久久作爱| www.久久| 五月丁香久| 色婷婷狠狠18| 在线日韩av| 五月丁香综合激情在线观看| 色99在线视频| 思思热久久阴99| 91九色欧美| 人人操操97| 天天干夜夜b| www.99视频| 国产婷婷五月天| 看久久性爱99视频| 色 噜噜 九月 婷婷| 成人视频九九| www.五月天| 色色婷| 9l视频自拍9l视频自拍九色学生| 色激情五月| 99无吗| 丁香五月婷婷激情97| 激情影院内射| 国产精品久久久久久久久久免费| 天天开心AV色综合婷婷五月天| 亚洲这里只有精品| 九月婷婷综合八月丁香在线观看| 色色操| 天天综合久久| 国产黄大片在线观看画质优化| 91丨熟女丨首页| 79精品视频在线观看,| 开心婷婷五月天综合| 美日韩成人| 成人免费高清在线播放| 色婷婷丁香| 亚洲热热视频| 99亚洲天堂| AV在线资源| 色色吧综合| 丁香五月天堂| 99福利视频| 骚逼视频一区2区| 欧美激情凹凸丁香网| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 久久99久久99精品免观看粉嫩| 婷婷六月色| 国产综合81p| 99热在线观看| 激情综合在线观看| 久久草大香蕉| 天天干天天射色综合| 丁香色婷婷五月天| 老师把我爽高潮了免费A片| 狠狠搞狠狠操| 久热这里只有精品在线观看| 色九九九综合| 日本不卡中文字幕| 九九综合视频在线观看| 激情六月天| 久久九九99字幕| aV直接看| 亚洲综合视频在线| 偷拍视频五月天| 丁香九月色| 天天爱综合网| 免费视频舔| 国产婷婷色综合AV蜜臀AV | www色中色综合| 亚洲在线播放| 免费视频无码| 亚洲另类婷婷五月综合| 狠狠综合| 超碰人妻公开在线| 五月丁香激情综合| 噜噜噜噜噜色| 婷婷丁香五月天哟啪| 少妇性按摩无码中文A片 | 婷婷六月丁香激情| 婷婷五月天中文字幕| 日韩人妻在线观看| 五月婷婷 婷婷五月 一区二区 久久久 | 五月天婷婷Av| 人妻久久久久久久| 色激情五月天| 亚洲精品性色| 天堂AV三级| 韩国中文字幕91| 男女免费视频999| 色色成人網| 97ai婷婷| 欧美日本免费一道免费视频| 久久久婷婷婷| 99无码黄色视频| 99热精品在线观看| 九艹在线| 激情婷婷视频在线| 亚洲欧美成人在线观看| 图片区 小说区 区 亚洲五月| 九九综合网色全集 | 中文字幕AV网址| 亚洲激情电影五月天色婷婷丁香一起草| 激情性爱婷婷| 色婷丁香91| 成人精品在线观看| 五月丁香综合中文| 俺去也五月天婷婷| 九九热这里只有精品12| av大香蕉| 国产精品视频免费看| 国产精产国品一二三在观看| 五月婷婷综合在线| 在线99热| 久超超碰| 夜夜干夜夜操| 人妻精品久久久久久久| 欧美成人热| 五月婷婷久久综合| 久久久久妻| 日本视频99| 91超级碰人人操| 超碰日韩成人| 成人.在线日韩| 99热最新| 国产偷人爽久久久久久老妇APP| 99视频这里有精品| www.99视频| 久久九色| 欧美韩国日本| 五月婷婷久草| 婷婷五月综合丁香久久| 美国天天操无码| 97超碰99热99| 婷婷久久色五月婷婷久久久| 欧美色一级色| 深夜婷婷 丁香| 婷婷五月天熟妇| 亚洲AV网站| 99久久97久久欧美综合网| 久久99草五月婷婷| 久久综合9| 婷婷五月天最新网址| 国色天香成人网| 国产成人片| 色综合99| 午夜少妇在线观看视频| 99国产精品白浆在线观看免费 | 婷婷五月激情图片| 婷婷天堂站| 97九色视频| 久久婷婷夜| 丁香激情五月天| 五月丁香婷色| 色色色地址| 在线观看996精品| 亚洲无aV在线中文字幕 | 人妻AV在线| 成人av免费观看| 色婷婷狠狠18禁| 天天做天天爽| 五月成人丁香av91| 91趴趴| 色色综合热| 日韩啪图| 亚州精品色情无码A片| 久久丁香五月天| 五月丁香六月婷| 97干在线| 婷婷色五月久久| 99在线精品免费视频| 97人人干。| 久久人视频| 狠狠九九婷婷韩| 97超级碰碰碰| 狠狠色狠狠干| 可以免费看AV网站| 久热AA| www.色五月| 日本天天操| 亚洲日比视频| 色久九| 五月丁香 六月婷婷a| 午夜色色色极品视频| 九九热在视频| 超碰高清在线| 久9久9久9久9久9久9| 97干在线视频| 激情五月天.色网| 六月丁香成人| 激情的五月婷婷蜜桃| 麻豆123区| 91精品综合久久久久久五月丁香| 久久人人看| 大学生高潮无套内谢视频| 亚洲123区高清入口| 久久五月激情综合| 亚洲色色精品| 色色婷婷五月天| 99热伊人| 激情综合网址| 天天檫天天爽| 久久99网站| 成人无码精品1区2区3区免费看| 六月丁香啪| 五月久久婷婷| 天天天天天久久久久久| 婷婷伊人五月天| 4438亚洲欧美| 亚洲va日| 久久免费精彩视频| 婷婷五月欧美综合| 97久久视频| www.婷婷五月天啪啪| 爱婷婷都市激情| 大香蕉婷婷| 日本欧特黄色刺激一区影视久精品无码| 97操在线视频| 国产精品噜噜在线视频| 激情性爱五月天| 97热91| 日本在线视频播放91| 插插网爽妇五月丁香| 激情综合99| 搡BBBB搡BBB搡18 | 都市激情久久| 久久婷婷五月天激情四射| 99热久久这里只有精品| 五月丁香六月久久| 9l视频自拍9l九色9l成人| 亚洲亚洲人成综合网络| 人妻性操逼中文字幕 国产| 六月丁香久久| 天天色中文字幕女优AV| 综合五月丁香久久| 超碰成人在线观看| 97AV人人插人人操| 日韩六十路91性交电影| 激情五月天网站| 五月天大香蕉AV| 91操操操| 日韩免费视频| 99人这里只有精品| 久久婷婷五月综合| 五月丁香999| 色五月播五月| 婷婷成人在线| 五月天开心激情综合网| 婷婷99狠狠躁| 婷婷五月天天| 婷婷五月色| 香蕉国产2013| 婷婷丁香色情| 婷婷欧美激情综合| 91久久久久久久91| 激情久久肏屄视频| 婷婷射综合| 久久激情五月| 91丨九色熟女丨首页| 久久久久久人妻久久久久久久久久人妻久久久 | 色播激情五月天| 51精品国自产在线| 久久机只有这里精品| 国产真实乱了老女人视频| site:pzdcoin.com| 五月天色五月| 99这里有精品免费| 久草五月天| 婷婷丁香色五月亚洲| 日韩亚洲视频| 婷婷和五月天| 激情综合五月| 中文字幕久久一区二区三区| 大鸡巴伊人网| 第五色色色婷婷| 五月天伊人久久| 五月丁香六月婷婷色情| 九九99在线| 夜夜爽天天爽| 91精品久久久久久久久 | 777丁香六月青青草婷婷综合久月| 亚洲操逼网| 天天搽天天射| 国内精品99| 深爱激情网五月天| 99久操| 9 1在线视频| 激情丁香九九五月综合网| 97色天堂| 开心婷婷五月| 激情五月天网页| 一区操| 婷婷狠狠干| 狠狠情色| 中文激情网| 俺五月| 亚洲无码猫咪| 99色综合网| 色五月琪琪| 婷婷六月天| 色婷婷丁香AV综合| 五月丁香综合影院| 五月丁香婷婷色| 人人干人人操人人摸人人做| 日本3级片一区2区| www五月| 爱婷婷久久视频| 无码一级片| 99免费在线| 伊人六月丁香婷婷| 久婷久婷激情肉| 深爱综合网| 99久久er| 激情四射网| 欧美丰满熟妇BBB久久久| 思思热99在线| 五月色婷婷中文字幕| 中文中文在线| EEUSS鲁片一区二区三区| 玖玖在线视频| 色色色色色日韩午夜激情| www.99婷婷| 国产成人VA| 亚洲婷婷综合视频| 婷婷久久久| 人妻久久久| 久99| www.henhengan| 国产精品久久..4399| 欧美怡红院黄站| 超碰网站在线观看| 激情五月五月五月婷婷| 黄色一级影片| 免费无码毛片一区二区A片| 久久99热在线观看| 丁香五月天在线直播观看| 综合激情在线观看| 天天日天天舔| 丁香激情网| 日日肏天天操| 五月丁香激情片| 婷婷激情啪啪| 任你爽在线视频| 一起草AV| 九九热精品视频在线观看| 蜜桃婷婷丁香五月天狠狠久久综合| 婷五月天丁香婷五月| 99色在线视频| 伊人婷婷大香蕉| 五月色网| 亚洲瑟瑟精品在线| 亚州精品色情无码A片| 亚洲图色五月天| 99视频内射三四| 天天肏视频| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 最近中文字幕大全免费版在线 | 五月天婷婷丁香| 激情五月婷婷在线观看| 丁香婷婷六月在线资源观看| 色婷婷丁香五月丁香| 亚洲视频二区| 国产成人AV在线播放| 亚洲成人影视在线| 六月丁香五月激情婷婷| 99久久免费性爱视频`| 亚洲无码黄色| 日韩无码系列| 日韩大片艹艹| 艹天天射| 丁香花婷婷五月天| 日韩有码一区| 亚洲免费电影2| 综合久久五| 九九热最新| 91蜜桃婷婷狠狠久久综合9色| 一级精品999WWW| 99热精品在这里| 天天看夜夜看| 九九精品在线网| WWW.99热| 五月深爱网| 五月涩涩网| 99思思热只有在这里看| AAA亚洲AV| 久久人人人人妻| 日日婷婷不卡| 天天舔天天摸视频| 五月丁香操亭亭网| 夜夜操天天干| 涩综合婷婷| 啪啪操超碰| 色五月 五月婷婷| 99热天堂| 久久婷婷色| 碰碰91| 91成人品| 婷婷综合五月天| www久久久| 免费精品99| 激情五月婷婷网| 色色热| 日日日日日| 国产做爰视频免费播放| 91av传媒高清在线视频网| 日韩成人无码| 色99xx| 91日精品| 色五月激情视频在线综合| 九九国产精视频| 婷婷色色狠狠| 婷婷日日天天| 丁香五月六月婷婷殴美综合| 人人视频色| 99热网站| 五月婷婷激情综合| 99re久热只有精品6在线直播| 色欲日日躁| 久久精彩视频99| 综合五月网| 五月婷婷丁香大陆免费| 玖玖无码中文| 99精品久久| 国产无遮挡又黄又爽免费网站| 超碰人妻在线| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 开心婷婷五月| 思思热视频在线观看| 极品人妻VIDEOSSS人妻| 婷久久综合| 一区视频网站| 天天操天天操综合| 色五月播五月| 超碰AV在线| 色色五月天 亚洲| 亚洲综合另类| 婷婷丁香五月天色播网站| 天天日夜夜爽。| 国产毛片精品一区二区色欲黄A片| 激情婷婷五月| 最近免费中文字幕大全高清大全1| 91熟妇大香蕉| 成人五月天综合网| 人人爱人人添| 天天婷婷综合亚洲亚洲| 99啪啪骑| 精品久久婷婷五月天| 丁香花五月天| 久色激情| 成人做爰黄A片免费看直播室男男| 9 1 A v久久久| 五月婷婷色| 五月丁香亚洲婷婷| www.色婷婷.com| 人碰91| 日日噜狠狠色综| 国产综合网在线| AV伊人青草丁香六月| 九九爱看亚洲| 97久久精品| 中文字幕欧美日韩VA免费视频| 久热爱大香蕉在线蜜臀悦色 | av操逼网| 色五月婷婷中文字幕在线观看 | 开心五月婷婷婷美女| 婷婷深爱五月天| 91色欲综合| 99re这里只有精品国产99| 五月天亭亭俺也| 少妇高潮A片无套内谢麻豆传| www.91在线看| Www.婷婷五月| 婷婷大香蕉| 国产综合视频婷婷| 26UUU欧美| 激情综合网五月婷婷| 天天插天天射天天干| 午夜精品777| 亚洲操b| 五月天激情图片网| www夜夜操wwwcon| 婷婷丁香六月| 久热大香蕉| 99福利导航| 十二区无码| 中文不卡一二三区| 激情开心五月天| 欧美在线看| 五月亭亭狠狠| 黄色av网站在线免费播放| 欧美激情五月天婷婷| 五月丁香激| 日韩三级视频一区二区| 婷婷五月综合在线视频| 青青青在线视频国产| 激情五婷网| 欧洲色色| 97干在线看| 五月婷婷综合在线视频小说| 国产激情一区| 天天操,夜夜骑| 亚洲乱码日产精品BD在线观看 | 亚洲熟女色| 日韩淑女人妻luan伦激情精品一区二| 色婷婷五月天视频网站| 大香蕉在线观看9| 亚洲最大五月六月丁香婷婷| 激情婷婷五月丁香啪啪啪| WwW天天干| 国产欧美熟妇另类久久久| aⅤ79成人片| 激情六月综合| 99色综合| 五月丁香六月婷| 日韩草草草草草草草草草草草草| 色情成人五月天| 五月天狠狠网站| 99亚洲天堂| 91ncom.色| 九九色色网| 天天性视频| 国产成人网址| 久久草婷婷丁香网站| Blackedraw视频一区二区| 色高清无码视频| 五月婷婷久久大片| 日韩99精品| 亚洲精品中文字幕成人片| 六月婷婷综合| 激情婷婷丁香五月天| 日韩人妻在线观看| 看婷婷五月天网| 激情五月婷婷综合| 另类小说五月天激情| 激情综合五月丁香六月婷婷| 亚洲色A| 国产操逼网站| 欧美色99| 色综久久久| 五月天大香蕉av| 国产色色视频| 337p大胆噜噜噜噜噜91Av| 久久九九免费视频| 中文字幕簧片| 激情五月天福利| 亚洲VA口| 99五月丁香丁| 成人无码免费一区二区中文| 婷婷天天婷婷天天澡| 香焦网五月天| 91丨九色丨43老版熟女| 夜夜做夜夜愛| 国产精品成人在线| AV大片在线播放| 涩涩涩五月天| 五月天激情综合在线| 涩五月婷婷| 色色哒五月婷婷六月丁香| 97婷婷在线| 狠狠干,狠狠操| 婷婷五月天综合中文| 久久综合无| 色色亚洲| 五月花激情| 五月丁香久人妻中文| 日韩AV无码影片| 这里有精品| 人妻狠狠操| 色婷婷啪啪| 日日操夜夜撸| 狠狠草综合网| 亚洲综合九九| 无码激情AAAAA片-区区| 五月婷婷九| 91热er| 国内久久久精品99| A久久| 婷婷涩涩五月天| 日本精品99| 99久re热视频精品98| 国产熟女日日骚五月丁香爱| 91色久| 婷婷五月天综合久久日美女| 色色色色热| 久久亚洲激情五码| 狠狠狠狠免费| 猫咪伊人久久| 国产亚洲成AV人片在线| 五月天啪啪| 色99色| 国产日日夜夜操| 婷综合| 99热人人操人人操| 性爱综合网| 九九热啪啪| 丁香五月停停av| 欧美激情五月天婷婷| 人妻激情视频| 伊人喵咪a V| 五月婷婷六月丁香| 色哟哟www| 婷婷干五月综合在线播放| 韩日在线熟女| 9l视频自拍九色9l视频自拍九色9l社区| 婷婷操无码| 无码人妻AV久久久一区二区三区| 综合啪啪| 我去色色网五雨天| 国产VA亚洲VA96| 五月天另类综合网| 婷婷色网| 男人天堂99| 激情久久丁香| 成人久碰| 99久久综合狠狠综合久久| 五月丁香啪啪| www.婷婷| 亚洲色久| 丁香五月婷婷网| 人人操AV| av性爱网站| 丁香五月亚洲综合| 黄色99网| 丁香六月激情综合网| 久久无码激情视频| 久久这里只有国产| 激情网第九色| 99热欧美在线观看| 五月天无码| 免费黄色视频网址| 九九九九国产| 9999三级片| 色婷婷久久综合久色综| 9999三级片| 97性视频| 五月丁香大相交| 欧美色色干| 在线成人视频免费| 大香蕉久热| 91高潮喷水久久久久久久久| 少妇2做爰HD韩国电影| 国产欧美日韩综合精品一区二区| 午夜性做爰电影| 欧美搡BBBBB摔BBBBB| 五月婷色| 97在线观看| 亚洲乱码日产精品BD在线观看| 久久丁香五月| 能看的AV| 亚洲国产精品二二三三区| 免看黄大片AA | 丁香婷婷九月在线| 欧美久人人| 天天干,天天操,天天射| 日本九九视频| 五月婷啪| 人人玩人人橾| 天天做天天要天天爽| 久久婷婷亚洲五月天| 丁香婷婷久久综合在线| 九九無妻| 中美日韩成人在线| 丁香五月成人网| 日日夜夜干| 久久激丁香| 日韩久操婷婷| 91成人品| 视色网在线播放| 色五开心五月五月深深爱| 66色在线日韩| 另类在线| 超pen个人视频97| 九九综合网| 97操男人的天堂| 五月天啪啪视频| 99热久久这里只有精品| 婷婷操逼网| 97 A I色色| 五月丁香婷草| 校花娇喘呻吟校长陈若雪视频| 波多婷婷久久| 97AV在线视频| 五月婷婷co.m| 五月激情六月丁香| 99精品视频网| 九九亚洲天堂| 丁香五月婷婷综合91| 香蕉婷婷| 中出内射的人妻视频| 成人五月天丁香婷| 五月激情综合网| 中文字幕欧美精品久久| 久婷| 久久婷婷五月草视频| 欧美va在线观看| 欧美激情五月天| 五月激情婷婷偷拍| 五月色婷婷在线观看| 日本成人噜噜| 99精品热视频| 国产偷人爽久久久久久老妇APP| 五月情涩综合婷婷| 激情五月天噢美| 日韩视频99| 婷婷丁香人妻天天爽| 久久爱综合| 国产 码在线成人网站| 中文乱子伦视频| www,久久久| 五月婷婷综合成人| 午夜大香蕉| AV性爱在线| 99精品成人无码A片观看金桔| 成人网站av免费网站推荐| 亚洲在线激情婷婷五月| 色五月婷婷基地| 蜜桃人妻无码AV天堂三区| 99热国产婷婷| 99精品在| 丁香六月五月天| 久久ri精品| 激情五月婷婷丁香六月| 香蕉AV777XXX色综合一区| 狠狠干五月天| 国产成人AV在线播放| 色青青视频| 另类视频五月天| 五月婷免费视频| YW无码| 色五月开心婷婷| 色色日本欧美| 久久男人网婷婷| 色婷婷狠狠干| 综合AV在线| 激情五月天婷婷丁香| 激情五月综合色| 五月丁香 啪啪| 综合久久综合五月天婷婷| 五月天全国最大成人网| 婷婷五月六月丁香| 色婷婷天堂| 五月婷六月| 狠狠干五月| 综合99在线| 丁香五月婷久久| 色人久夂| AVDV久久| 大香人妻| 99久久性爱| 成人丁香婷婷| 天天艹夜夜爽| 婷婷色五月激情| 97色婷婷| 五月伊人网| 久久9热| 99精彩视频| 九九久久玖玖爱| 俺去啦综合网| 偷拍九九热| www.亭亭五月天| av网址在线播放| 影音先锋激情网| www.狠狠| 六月丁香基地| 我爱大香蕉| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 婷婷综合九色伊人| 伊人久久婷婷五月天激情四射| 婷婷五月天社区| 久久久久久天天日天天爱| 性色五月天| 91丨九色丨大屁股| 天天色综网| 99色色网| 日日操夜夜爽| 五月天丁香六月综合| 婷婷五月天激情文学| av激情在线| 久久婷五月综合| www.henhenl| 99久久久久久| 99久久网站| 久久99精品久久只有精品| 色五月激情视频在线综合| 色综合激情| 午夜九九电影| 久草婷婷网 | 五月丁香婷婷成人综合网| 日本97在线观看| 人人草人| 99热丁香| 激情五月丁香五月| 青青五月天婷婷| 亚洲殴洲精品Av在线| 五月天另类激情在线| 国产精典视频在线观看| 超碰99在线| 五月丁香啪啪拍| 日韩av一区二区在线/日产精品久久久| 夜夜天天天天天干天天爽| 婷婷五月精品| 婷婷成人五月天| 五月天色色激情综合| 五月激情在线| 99久久玖玖| 丁香婷婷色色| 蜜桃人妻无码AV天堂三区| 婷婷成人小说综合| 热九九九九| 激情五月天社区| 伊人五月人妻精品| 五月激情综合性爱| 午夜五月天| 成人丁香婷婷五月天| 在线成人av播放| 色综合激情| 丁香六月婷婷综合激情欧美| 国产乱人偷精品人妻A片| 99热这里只有精品搜| 九九热精品99| 日本精品人妻无码77777| 五月天精品视频| 婷婷色综合| 99燥99日| 97碰碰视频在线观看| 2025最新亚洲激情在线| 国内精品免费一区二区2009| 琪琪色五月天| 久久视这里只有精品| 狠狠色综合五月人人| 天天噜| 丁香五月婷婷成人色区| 午夜免费高清AV片| av国产精品| 丁香五月天啪啪| 怕怕視頻| 九九久久久综合| 丁香五月成人社区| 五月天激情社区| 97资源碰碰| 丁香花大香蕉婷婷综合| 五月天.com| 欧美激情五月天婷婷| 丁香社92视频| 色综合久| 五日激情综合| 狠狠色激情在线| 成人在线综合| 九九色插| 色色色综合网| 久久婷婷五月综合色奶水99啪| 开心五月丁香综合久久| 在线成人网址| 婷婷六月香| 五月天激情国产综合婷婷婷| 亚洲婷婷五月天| 五五月五月| 久久久97| 91精品视频男人的天堂| 高清无码网址| 欧美精品999| 五月六月婷婷| 婷婷的激情五月| 九九性爱网| 久久综合九色综合97婷婷| 天堂久久精品| 五月播播| www.sezonghe| 丁香五月天色综合| 99热最新| 婷婷五月中文字幕| 日逼影音先锋AV男人资源站| 色五月婷婷在线| 91色综合| 五月天激情小说网| 丁香美女主播视频在线观看 | 99综合网| 人人操91| 婷婷五月综激情| 无码任你操| 99av视频| 伊人五月人妻精品| 久久机热这里只有精品免费视频| 亚洲成人网站在线播放| 另类国产欧美视频| 中文字幕有多少字| 亚洲人妻av| 五月天丁香婷婷社区| 精品久久人妻| 九九爱激情| 人人摸人人干人人做| 夜夜操夜夜姧| www.天天干.com| 九九黄色网| 久热丁香| 色婷亚洲| 激情图片久久| 色五月97| 996精品热视频| 99婷婷五月天激情| 激情婷婷九月| #NAME?| 激情影院69| 操逼五月婷婷| 国产黄色在线观看| 亚洲亚洲人成综合网络| 91九色最新视频| 精品少妇人妻AV无码专区偷人| 国外亚洲成AV人片在线观看| 欧美精品999| 丁香六月综合激情| 丁香五月性爱| 激情四射五月天| 97五月天| 99婷婷狠狠成为人免费视频| 激情五月丁香五月| 亚洲V国产V欧美V久久久久久| 爱射综合| 伊人久久艹| 婷婷丁香六月天| 极品少妇高潮啪啪AV无码| 99热久久这里只有精品| 色婷婷香蕉| 亚洲日韩一页精品发布| 五月丁香综合精品欧美| 一区二区aV电影免费看| 欧美日韩国产一区二区| 人妻久热| 综合色图区| 亚洲婷婷五月天在线激情综合网| 色噜噜狠狠色综合伊人| 亚洲精品乱码久久久久99| 婷婷丁香成人在线视频| 狠狠色狠狠色综合日日91| 国产日日操夜夜操的肉棒视频| 日日.c| 成功精品影院| 午夜丁香| 久热无码| 91麻豆国产三级精品福利在线观看| 亞洲自怕| 中文字幕97超级碰| 婷婷丁香97| 激情校园 亚洲| 激情婷婷五月天在线观看| 国产色99| 五月丁香婷婷色色| 91丨九色丨国产打屁股| 丁香婷婷九月在线| 五月久久| 久婷| 九月婷婷综合八月丁香在线观看| www.五月瑟| 免费看成人747474九号视频在线观看| 1024人妻| 久草热久草在线视频| 天啪天啪天啪天啪| 99性视频| 99 这里只有精品| 婷婷五月天情色| 五月天色丁香| 色婷婷丁香花五月天| 色婷婷AⅤ| www.夜夜操.con| 五月开心深爱激情网| 久99热| 久热99| 丁香五月激情五月色综合| 骚五月婷婷| 欧美人久久| 深爱五月中文字幕| 久久婷网| 丁香五月花| 婷婷五月AV| 中文字幕簧片| 国产色网站| 色天堂婷婷| 182TV大香蕉| 777久久综合视频| 强伦轩人妻一区二区电影| 五月丁香综合激情| 色原狠狠综合| 五月婷婷天天色| 激情五月婷婷丁香综合网| 婷婷在线免费| 色色丁香色五月| 五月天·www·com| 婷婷爱五月天| 精品色色| 99国产欧美视频| 久久人妻乱子伦| 激情六月丁香| 玖玖爱伊人网| 亚洲综合激情五月久久| 天堂草在线观看| 亚洲日韩一页精品发布| 天天操天天曰天天射| 日日懆天天懆| 丁香五月天啪啪| 91疯狂操操操操| 丁香五月婷婷在线视频| 九九这里有精品| 综合激情sV| 亚洲99激情| 激情综合色网| 丁香五月97视频| 五月www| 热久精品| 色www.con| 婷婷丁香激情综合色情| 性欧美大战久久久久久久83| 97色久| 国产亚洲精品久久一区二区三区| 一起草AV入口| 五月6香色婷婷视频| 久热这里| 丁香花五月天社区| 色香五月天| 久久HD| 五月天婷婷色| 五月天停婷基地| www. 五月. com| 99热精品在线播放| 国产毛片精品一区二区色欲黄A片| 青青草原中文字幕| 人妻激情综合| 婷婷WWW久久| 丁香五月婷婷亚洲综合精品在线| 日本色婷婷| 99热这里只有99| 黄色五月婷婷| 日韩人妻无码精品| 99热久| 碰人人97| 亚洲色情网站| 狠狠ri| 婷婷五月天综合蜜桃| 996er热| 思思久久网| 婷婷的色色五月天| 五月丁香婷婷激情四射迷人| 激情婷婷五月社区| www。五月,com| 色情一区二区播放| 热久久999| 婷婷五月天亚洲综合网| 免费看欧美成人A片无码| 五月天婷综合网站| 超碰国产在线| 99热这里只有精品国产免费| 五月天婷婷色色| 人人草成人视频| 97色热| 色综合久久天天综合网| 这里只有精品视频99| www.久久久久| 丁香六月激情综合| 狠狠色综合网| 免费观看全黄做爰的视频| 99噜噜噜| 在线综合网| 色五月大香蕉婷婷| 久久五月天视频| 伊人久久大香线蕉av一区| 激情综合国产| www.色五月.com| 五月婷婷综合在线| 另类图片激情五月天| 欧美色五月| 亚洲成人乱码av网站| av一区免费看| 操一操干一干| 国产成人AV在线| 久久九九色| 亚洲综合网 665566| 色色热| 婷婷成人在线| 久久密臀婷婷| 日本成人噜噜噜| 视频一二区| 大香蕉五月天婷婷| www色婷婷久久综合久色| 少妇高潮呻吟A片免费看软件| 狠狠色综合五月| 婷婷色五月天色色| 97热这里精品在线视频| 中文字幕成| 可以免费观看的AV| 涩涩涩婷婷| 久久激情四射| 久久婷婷婷| 日韩狠狠色婷婷| 婷婷丁香91综合| 97碰碰在线观看视频| 影音先锋色色色资源色资源色| 成人无码髙潮喷水A片| 青青草婷婷综合五月| 69人人操人人爽| 婷婷丁香五月综合| 深爱激情四射| 午夜福利成人AV91| 婷婷五月丁香六月| 久久久人妻系列| 六月撸婷婷| 欧美顶级少妇做爰HD| 成人AV中文字幕| 狠狠色五月激情| 日韩野外 无套| 激情五月天电影|