欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

PyTorch實(shí)戰(zhàn):從零構(gòu)建食物圖片分類器的完整記錄

PyTorch實(shí)戰(zhàn):從零構(gòu)建食物圖片分類器的完整記錄 從零搭一個(gè)食物圖片分類器我的 PyTorch 入門實(shí)戰(zhàn)記錄想入門 PyTorch但又不想只跑個(gè) MNIST 就完事那食物圖片分類是個(gè)特別合適的練手任務(wù)。它既不像 MNIST 那樣簡(jiǎn)單到?jīng)]有成就感也不像 COCO 檢測(cè)那樣一上來就需要分布式訓(xùn)練和多卡策略難度剛好卡在一個(gè)“跳一跳夠得著”的位置。這篇文章是我自己從零開始實(shí)現(xiàn)一個(gè)食物圖片分類項(xiàng)目的完整記錄包含數(shù)據(jù)集整理、預(yù)處理細(xì)節(jié)、模型選型、訓(xùn)練循環(huán)手寫、調(diào)參經(jīng)驗(yàn)、踩坑復(fù)盤。項(xiàng)目本身不復(fù)雜但能把 PyTorch 的日常工作流全部過一遍。做完之后你會(huì)發(fā)現(xiàn)后面再去碰遷移學(xué)習(xí)、目標(biāo)檢測(cè)、語(yǔ)義分割這些任務(wù)底子已經(jīng)打得差不多了。適合誰看剛學(xué)完 Python 基礎(chǔ)、看過幾篇 PyTorch 教程但沒完整做過項(xiàng)目的朋友以及想用一份清晰代碼把“訓(xùn)練-評(píng)估-預(yù)測(cè)-模型保存”整條鏈路跑通的人。如果你是資深煉丹師這篇文章可能偏基礎(chǔ)但里面有幾個(gè)關(guān)于數(shù)據(jù)加載和調(diào)參的坑也許能讓會(huì)心一笑。1. 項(xiàng)目整體拆解食物分類到底在解決什么問題1.1 食物分類任務(wù)的核心難點(diǎn)食物圖片分類本質(zhì)上是一個(gè)圖像分類問題模型要做的就是輸入一張圖片輸出它屬于哪個(gè)類別。我這邊定了 10 個(gè)常見食物類別面包、乳酪、冰淇淋、蘋果、香蕉、玉米、胡蘿卜、煎蛋、米飯、意面。聽起來和 CIFAR-10 很像但實(shí)際做起來有幾個(gè)地方和普通分類不一樣。第一是類內(nèi)差異大。同樣是米飯有炒飯、白米飯、蓋澆飯顏色、紋理、擺盤方式完全不同。同一個(gè)類別里的圖片可能比不同類別之間的差異還大這對(duì)模型的特征提取能力提出了要求。第二是類間相似度高。胡蘿卜和玉米都是長(zhǎng)條形的蘋果和番茄都是圓形的僅僅靠顏色或者形狀一個(gè)維度的特征根本分不開。這也是為什么傳統(tǒng)手工特征做食物分類效果一直不好的原因需要模型自己去學(xué)更抽象的組合特征。第三是數(shù)據(jù)噪聲多。食物圖片來自真實(shí)生活場(chǎng)景有餐盤、桌面、餐具、手指、光影干擾甚至有咬過一口的蘋果。如果只用干凈的商品圖訓(xùn)練到了真實(shí)場(chǎng)景基本就崩了所以數(shù)據(jù)增強(qiáng)在這個(gè)任務(wù)里不是可選項(xiàng)而是必需品。1.2 為什么選擇 PyTorch 而不是其他框架做這個(gè)項(xiàng)目我選 PyTorch不是因?yàn)閯e的框架不行而是因?yàn)?PyTorch 的調(diào)試體驗(yàn)對(duì)新手最友好。最核心的一點(diǎn)是動(dòng)態(tài)計(jì)算圖。模型跑起來之后你可以隨時(shí)在任意一行代碼處打斷點(diǎn)查看中間張量的 shape、dtype、梯度值改完代碼不用重新構(gòu)建整個(gè)圖就能繼續(xù)跑。這種交互式的開發(fā)體驗(yàn)對(duì)新手理解“前向傳播-反向傳播”的整個(gè)過程特別有幫助。你自己手寫一個(gè)訓(xùn)練循環(huán)比用任何高層封裝都更能理解框架內(nèi)部發(fā)生了什么。另外 PyTorch 的生態(tài)在視覺領(lǐng)域是最完整的。torchvision 模型庫(kù)、transform 工具、預(yù)訓(xùn)練權(quán)重、各類第三方擴(kuò)展基本上你能想到的視覺處理需求都有現(xiàn)成的輪子。社區(qū)討論也多遇到問題搜一下大概率能找到答案。1.3 整體技術(shù)選型與管線設(shè)計(jì)整個(gè)項(xiàng)目按下面這條管線走數(shù)據(jù)采集與整理 - 預(yù)處理 Pipeline - DataLoader 構(gòu)建 - 模型選型 - 訓(xùn)練循環(huán)實(shí)現(xiàn) - 評(píng)估與保存 - 單張圖片推理硬件方面我用的是一塊顯存 8GB 的中端顯卡。這個(gè)配置訓(xùn)練 10 分類的 ResNet18 完全夠用Batch Size 開到 64 也沒壓力。沒有 GPU 也能跑就是慢一些CPU 模式下建議用更小的模型或者把圖片尺寸降下來。軟件環(huán)境方面PyTorch 版本用的 2.1Python 3.10torchvision 0.16。框架內(nèi)部的接口這兩年有些變化我代碼里會(huì)加一點(diǎn)兼容性說明如果你用的版本不一樣大概率也能對(duì)上。2. 數(shù)據(jù)集準(zhǔn)備與預(yù)處理這步做不好后面全白搭2.1 數(shù)據(jù)集來源與整理方式數(shù)據(jù)是分類任務(wù)的命根子。我沒有直接用某個(gè)現(xiàn)成的食物數(shù)據(jù)集而是從一個(gè)開源圖片平臺(tái)上抓取標(biāo)注好的食物圖片再結(jié)合一部分自己手拍的圖片做補(bǔ)充。整理成下面這樣的目錄結(jié)構(gòu)food_dataset/ ├── train/ │ ├── bread/ │ ├── cheese/ │ ├── ice_cream/ │ ├── apple/ │ ├── banana/ │ ├── corn/ │ ├── carrot/ │ ├── fried_egg/ │ ├── rice/ │ └── spaghetti/ └── val/ ├── bread/ └── ...每個(gè)類別我收集了大約 300 張訓(xùn)練圖和 80 張驗(yàn)證圖。這個(gè)數(shù)據(jù)量對(duì)于初學(xué)者完全夠用了如果再少可能需要更強(qiáng)的數(shù)據(jù)增強(qiáng)或遷移學(xué)習(xí)來兜底。目錄按類別分好之后用 torchvision.datasets.ImageFolder 就可以直接讀取它會(huì)把子目錄名自動(dòng)映射成類別標(biāo)簽。這里有個(gè)關(guān)鍵點(diǎn)子目錄的命名盡量用英文避免編碼問題導(dǎo)致讀取錯(cuò)誤因?yàn)槟承┫到y(tǒng)對(duì)中文路徑默認(rèn)編碼是 GBKPyTorch 底層用的是 UTF-8碰到中文目錄名容易臨時(shí)找不到文件。2.2 預(yù)處理 Pipeline 的幾個(gè)關(guān)鍵細(xì)節(jié)預(yù)處理是整個(gè)項(xiàng)目最容易忽略但影響最大的部分。torchvision 的 transform 流水線我這樣定義from torchvision import transforms train_transform transforms.Compose([ transforms.RandomResizedCrop(224, scale(0.6, 1.0)), transforms.RandomHorizontalFlip(), transforms.RandomRotation(15), transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_transform transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])訓(xùn)練集用了 RandomResizedCrop這一步很關(guān)鍵它不僅僅是裁剪還會(huì)隨機(jī)改變圖片的縮放比例和寬高比相當(dāng)于做了模擬距離變化和拍攝角度的增強(qiáng)。scale 參數(shù)我設(shè)成 (0.6, 1.0)意思是裁剪區(qū)域占原圖的 60% 到 100%。這個(gè)區(qū)間對(duì)食物比較合適太低了把整個(gè)食物裁掉一半反而引入無效噪聲。歸一化的 mean 和 std 直接用 ImageNet 的統(tǒng)計(jì)值因?yàn)槲覀兒竺鏁?huì)加載 ImageNet 預(yù)訓(xùn)練權(quán)重輸入分布必須和預(yù)訓(xùn)練時(shí)一致否則前期微調(diào)階段梯度會(huì)不穩(wěn)定收斂慢很多。驗(yàn)證集一定不要用 RandomResizedCrop。很多新手在驗(yàn)證集也上隨機(jī)裁剪導(dǎo)致每次評(píng)估同一張圖都可能得到不同的預(yù)測(cè)結(jié)果最后模型得分忽高忽低根本沒法判斷好壞。驗(yàn)證集用 Resize 到 256 再 CenterCrop 到 224這個(gè)流程是 ImageNet 分類任務(wù)的標(biāo)配好處是既保留中心主體信息又統(tǒng)一了輸入尺寸。2.3 數(shù)據(jù)劃分與 DataLoader 的優(yōu)化配置數(shù)據(jù)劃分我是直接在目錄結(jié)構(gòu)層面完成的訓(xùn)練和驗(yàn)證獨(dú)立文件夾簡(jiǎn)單可靠。沒有做 K 折交叉驗(yàn)證因?yàn)閷?duì)初學(xué)者來說單次劃分配合早停法已經(jīng)足夠判斷模型好壞。DataLoader 的配置里有幾個(gè)參數(shù)值得注意from torch.utils.data import DataLoader train_loader DataLoader(train_dataset, batch_size64, shuffleTrue, num_workers4, pin_memoryTrue) val_loader DataLoader(val_dataset, batch_size64, shuffleFalse, num_workers4, pin_memoryTrue)num_workers 設(shè)為 4在我的機(jī)器上數(shù)據(jù)加載和訓(xùn)練基本可以并行GPU 不會(huì)因?yàn)榈葦?shù)據(jù)而空轉(zhuǎn)。這個(gè)參數(shù)不是越大越好太多進(jìn)程反而會(huì)增加 CPU 調(diào)度開銷和內(nèi)存占用。經(jīng)驗(yàn)值一般是 CPU 核心數(shù)的一半左右如果你的機(jī)器是 8 核設(shè) 4 是安全的起點(diǎn)。pin_memoryTrue 也很重要它把數(shù)據(jù)加載進(jìn)鎖頁(yè)內(nèi)存從 CPU 拷貝到 GPU 時(shí)會(huì)走更快的 DMA 通道。代價(jià)是占用一部分固定內(nèi)存但性能收益在數(shù)據(jù)量大的時(shí)候非常明顯。這里有個(gè)小坑如果你的內(nèi)存只有 8GB數(shù)據(jù)又特別大的情況下pin_memory 可能導(dǎo)致內(nèi)存壓力過大那就別開。3. 模型構(gòu)建從手寫網(wǎng)絡(luò)到 ResNet 遷移學(xué)習(xí)3.1 模型結(jié)構(gòu)選型與對(duì)比模型選型我認(rèn)真對(duì)比過三個(gè)方案。第一個(gè)方案是自己寫一個(gè)三層卷積網(wǎng)絡(luò)結(jié)構(gòu)像這樣import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes10): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 32, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(32, 64, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(64, 128, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), ) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(128 * 28 * 28, 256), nn.ReLU(inplaceTrue), nn.Dropout(0.5), nn.Linear(256, num_classes) ) def forward(self, x): return self.classifier(self.features(x))這個(gè)網(wǎng)絡(luò)在 CIFAR-10 這種小圖上可以跑一跑但換到 224x224 的食物圖片上三層卷積的視野范圍太小提取不到足夠抽象的語(yǔ)義特征訓(xùn)練兩輪就能看到驗(yàn)證準(zhǔn)確率卡在 60% 左右上不去。這就是典型的模型容量不足。第二個(gè)方案是用 torchvision 里現(xiàn)成的 ResNet18from torchvision import models model models.resnet18(weightsmodels.ResNet18_Weights.IMAGENET1K_V1) num_ftrs model.fc.in_features model.fc nn.Linear(num_ftrs, 10)這里最關(guān)鍵的一行是 model.fc nn.Linear(num_ftrs, 10)它把 ResNet18 原來的 1000 類分類頭換成了我們自己的 10 類分類頭。前面的卷積層依然保留原來的參數(shù)這些參數(shù)已經(jīng)在 ImageNet 上學(xué)會(huì)了通用的邊緣、紋理、形狀特征相當(dāng)于省掉了從頭學(xué)特征的時(shí)間。第三個(gè)方案是 ResNet34。比 ResNet18 多了一層殘差塊參數(shù)量大一些但在這個(gè) 10 分類小數(shù)據(jù)集上提升不明顯反而訓(xùn)練速度更慢。最終我選擇 ResNet18這個(gè)選擇非常穩(wěn)妥預(yù)訓(xùn)練權(quán)重齊全、顯存占用小、推理速度快后續(xù)還可以拿它做實(shí)時(shí) demo。3.2 遷移學(xué)習(xí)的三層境界用預(yù)訓(xùn)練模型做遷移學(xué)習(xí)不同階段策略不一樣。最簡(jiǎn)單的做法是凍結(jié)卷積層只訓(xùn)練分類頭。具體操作是將前面所有參數(shù)的 requires_grad 設(shè)為 False只有最后一層保持 Truefor param in model.parameters(): param.requires_grad False for param in model.fc.parameters(): param.requires_grad True這樣做的好處是訓(xùn)練速度極快因?yàn)榉聪騻鞑ブ唤?jīng)過最后一層梯度計(jì)算量小。缺點(diǎn)是特征提取網(wǎng)絡(luò)是固定的無法針對(duì)食物數(shù)據(jù)做自適應(yīng)優(yōu)化。如果數(shù)據(jù)量少這個(gè)方法很管用我在 300 張每類的數(shù)據(jù)集上試過驗(yàn)證準(zhǔn)確率大概能到 75%。更常用的做法是解凍部分網(wǎng)絡(luò)做全參數(shù)微調(diào)。做法就是什么都不用改全網(wǎng)絡(luò)參數(shù)都保持可訓(xùn)練但把學(xué)習(xí)率調(diào)小。因?yàn)槿绻麖念^到尾都用默認(rèn)學(xué)習(xí)率 0.01 訓(xùn)練預(yù)訓(xùn)練模型前面卷積層的預(yù)訓(xùn)練特征會(huì)被破壞。我用的是不同層不同學(xué)習(xí)率的方法fc_params model.fc.parameters() conv_params [param for name, param in model.named_parameters() if name not in {fc.weight, fc.bias}] optimizer torch.optim.SGD([ {params: conv_params, lr: 1e-4}, {params: fc_params, lr: 1e-3} ], momentum0.9)這樣卷積層用一個(gè)較小的學(xué)習(xí)率微調(diào)分類頭用一個(gè)較大的學(xué)習(xí)率從頭學(xué)。經(jīng)驗(yàn)證明這樣做比全局統(tǒng)一學(xué)習(xí)率效果更好能兼顧特征適配和分類器收斂速度。還有一個(gè)進(jìn)階做法叫層級(jí)解凍就是把網(wǎng)絡(luò)從后往前逐步放開訓(xùn)練每訓(xùn)練幾個(gè) epoch 解凍一層。實(shí)際操作中感覺收益性價(jià)比不高在數(shù)據(jù)集不太大的情況下全參數(shù)微調(diào) 小學(xué)習(xí)率就已經(jīng)很好了。3.3 損失函數(shù)、優(yōu)化器與評(píng)估指標(biāo)的選擇分類任務(wù)最常用的損失函數(shù)是交叉熵?fù)p失criterion nn.CrossEntropyLoss()這個(gè)函數(shù)把模型的原始輸出 logits 和標(biāo)簽作為輸入內(nèi)部自動(dòng)完成 softmax 計(jì)算和交叉熵運(yùn)算。需要注意模型輸出的是 logits不要在外面再包一層 softmax。新手經(jīng)常犯這個(gè)錯(cuò)誤導(dǎo)致訓(xùn)練初期損失值異常地高因?yàn)?softmax 之后再算交叉熵?cái)?shù)值穩(wěn)定性會(huì)變差。如果需要在推理時(shí)得到概率輸出那是在模型輸出之后單獨(dú)調(diào) softmax而不是加在模型結(jié)構(gòu)里。優(yōu)化器我最終選了 SGD 而不是 Adam。很多人覺得 Adam 好收斂快但是 SGD 在配合動(dòng)量之后泛化能力往往比 Adam 好尤其在數(shù)據(jù)量不大的情況下。學(xué)習(xí)率我設(shè)成 0.001 起步配合余弦退火調(diào)度器。評(píng)估指標(biāo)不能只看準(zhǔn)確率。食物分類的類別不均衡問題不嚴(yán)重但為了更穩(wěn)妥我還是同時(shí)監(jiān)控每個(gè)類別的準(zhǔn)確率和 Macro F1。準(zhǔn)確率容易給人一種“模型已經(jīng)很好”的錯(cuò)覺因?yàn)槿绻硯讉€(gè)類別特別簡(jiǎn)單模型會(huì)靠它們拉高整體準(zhǔn)確率但真正難的類別可能完全沒學(xué)會(huì)。4. 訓(xùn)練循環(huán)手寫與參數(shù)調(diào)優(yōu)模型的成長(zhǎng)過程4.1 一個(gè)標(biāo)準(zhǔn)訓(xùn)練循環(huán)的完整實(shí)現(xiàn)我堅(jiān)持手寫訓(xùn)練循環(huán)不用任何高層封裝。原因很簡(jiǎn)單訓(xùn)練循環(huán)是 PyTorch 的心臟不手寫一遍就永遠(yuǎn)隔著一層紗。完整代碼如下import torch device torch.device(cuda if torch.cuda.is_available() else cpu) model model.to(device) best_val_acc 0.0 epochs 30 for epoch in range(epochs): model.train() running_loss 0.0 correct 0 total 0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() _, predicted torch.max(outputs.data, 1) total labels.size(0) correct (predicted labels).sum().item() train_loss running_loss / len(train_loader) train_acc 100.0 * correct / total # 驗(yàn)證階段 model.eval() val_loss 0.0 val_correct 0 val_total 0 with torch.no_grad(): for images, labels in val_loader: images, labels images.to(device), labels.to(device) outputs model(images) loss criterion(outputs, labels) val_loss loss.item() _, predicted torch.max(outputs.data, 1) val_total labels.size(0) val_correct (predicted labels).sum().item() val_acc 100.0 * val_correct / val_total print(fEpoch {epoch1:02d} | Train Loss: {train_loss:.4f} | fTrain Acc: {train_acc:.2f}% | Val Acc: {val_acc:.2f}%) if val_acc best_val_acc: best_val_acc val_acc torch.save(model.state_dict(), best_model.pth)這一段代碼里有幾個(gè)細(xì)節(jié)必須說明。model.train() 和 model.eval() 很重要。這兩個(gè)模式切換直接影響 BatchNorm 和 Dropout 的行為。train 模式下 BatchNorm 會(huì)使用當(dāng)前 batch 的統(tǒng)計(jì)量Dropout 會(huì)隨機(jī)丟棄神經(jīng)元eval 模式下 BatchNorm 使用累計(jì)的全局統(tǒng)計(jì)量Dropout 被關(guān)閉。如果不切換到 eval 模式驗(yàn)證時(shí)結(jié)果會(huì)不穩(wěn)定這是個(gè)常見坑。with torch.no_grad() 讓驗(yàn)證階段完全不計(jì)算梯度。這能省下大量顯存和計(jì)算時(shí)間。在驗(yàn)證階段我們只需要前向傳播不需要通過 loss.backward() 更新梯度所以直接開啟無梯度模式。optimizer.zero_grad() 放在前向之前每次迭代都清空梯度。如果不調(diào)用這個(gè)梯度會(huì)累加在某一步更新的時(shí)候用的就是幾個(gè) batch 的累積梯度訓(xùn)練過程會(huì)變得極度不穩(wěn)定。PyTorch 不會(huì)自動(dòng)清梯度這一點(diǎn)和有些高層框架不一樣必須手動(dòng)清。驗(yàn)證準(zhǔn)確率超過歷史最好就保存模型。我每次 epoch 結(jié)束都檢查一次保存的時(shí)候只保留 val_acc 最高的那一次。這種“早停 快照”策略比無條件跑完所有 epoch 更穩(wěn)妥后面加載到的最佳模型不需要再人工挑選。4.2 超參數(shù)調(diào)優(yōu)的完整記錄學(xué)習(xí)率是最關(guān)鍵的超參數(shù)。我做了三次對(duì)比實(shí)驗(yàn)學(xué)習(xí)率優(yōu)化器最終驗(yàn)證準(zhǔn)確率訓(xùn)練穩(wěn)定性0.1SGD62%波動(dòng)大后期發(fā)散0.01SGD78%前期震蕩后期穩(wěn)定0.001SGD85%平穩(wěn)上升穩(wěn)定收斂0.001Adam84%收斂最快但后期略波動(dòng)0.1 這個(gè)學(xué)習(xí)率對(duì)于遷移學(xué)習(xí)來說太激進(jìn)了。因?yàn)轭A(yù)訓(xùn)練權(quán)重的特征已經(jīng)很好學(xué)習(xí)率太大一步跨過頭就把原有知識(shí)破壞了。0.001 是遷移學(xué)習(xí)微調(diào)階段比較安全的選擇。Batch Size 的影響我也對(duì)比了。Batch Size顯存占用訓(xùn)練速度穩(wěn)定性16約 1.5GB最慢震蕩劇烈64約 3GB快平穩(wěn)128約 5GB最快有些微震蕩太小 batch 會(huì)產(chǎn)生比較大的梯度噪聲訓(xùn)練震蕩明顯。最后我選 64因?yàn)樗谖业?8GB 顯存卡上留下了充足的余量還可以順便開個(gè)并行的驗(yàn)證程序。優(yōu)化器動(dòng)量我設(shè)為 0.9這是一個(gè)經(jīng)驗(yàn)上幾乎不需要調(diào)的默認(rèn)值SGD 加動(dòng)量能在保證梯度方向穩(wěn)定的同時(shí)加快收斂速度。4.3 過擬合的判斷與應(yīng)對(duì)方法訓(xùn)練過程中我在第 5 個(gè) epoch 開始觀察到訓(xùn)練準(zhǔn)確率接近 90%但驗(yàn)證準(zhǔn)確率只有 72%。這就是過擬合的典型信號(hào)。食物圖片分類數(shù)據(jù)集量不算大模型容量又大過擬合幾乎是必然的。我從兩方面來應(yīng)對(duì)。第一是數(shù)據(jù)增強(qiáng)。項(xiàng)目已經(jīng)掛了 RandomResizedCrop、RandomHorizontalFlip、RandomRotation、ColorJitter這些都屬于基礎(chǔ)操作。為了再?gòu)?qiáng)化我給訓(xùn)練集加了一個(gè) MixUp 增強(qiáng)import numpy as np def mixup_data(x, y, alpha0.2): if alpha 0: lam np.random.beta(alpha, alpha) else: lam 1 batch_size x.size()[0] index torch.randperm(batch_size).to(device) mixed_x lam * x (1 - lam) * x[index] y_a, y_b y, y[index] return mixed_x, y_a, y_b, lamMixUp 的思路是把兩張圖片按比例混合標(biāo)簽也跟著混合。比如一個(gè)蘋果和一張香蕉按 0.7:0.3 混合模型要學(xué)到的是這個(gè)混合圖片有 70% 的蘋果和 30% 的香蕉。這樣模型被迫學(xué)習(xí)軟標(biāo)簽決策邊界更加平滑不容易陷入尖銳的過擬合狀態(tài)。第二是Dropout 和權(quán)值衰減。ResNet18 本身已經(jīng)帶了全局平均池化對(duì)于防止過擬合有一定幫助。我在分類頭前面加了 Dropout(0.2)并且設(shè)置了 weight_decay1e-4也就是 L2 正則化限制權(quán)重的絕對(duì)值大小。加了這兩層保護(hù)后驗(yàn)證準(zhǔn)確率有 3-4 個(gè)百分點(diǎn)的提升。5. 訓(xùn)練過程中踩過的坑與排查實(shí)錄5.1 顯存不足的排查過程第一次跑 ResNet18 加 batch 128大概在訓(xùn)練到第 3 個(gè) epoch 時(shí)爆了顯存。報(bào)錯(cuò)信息是 CUDA out of memory。我的排查步驟是這樣的先看是不是常量緩存占用的顯存用 torch.cuda.empty_cache() 清一輪再試確認(rèn)不是緩存問題后把 batch size 降到 64顯存占用從 5.2GB 降到 3GB。問題解決。這里有一個(gè)額外的技巧如果只是顯存峰值爆掉可以開啟 PyTorch 2.0 的自動(dòng)混合精度訓(xùn)練float16 半精度計(jì)算會(huì)把顯存占用差不多減半。代碼如下from torch.amp import autocast, GradScaler scaler GradScaler() for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() with autocast(device_typecuda): outputs model(images) loss criterion(outputs, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()混合精度對(duì)我來說不僅是顯存優(yōu)化更是訓(xùn)練加速手段。我那臺(tái)顯卡的 FP16 計(jì)算速度接近 FP32 的兩倍整個(gè)訓(xùn)練時(shí)間縮短了接近一半。初學(xué)者不用害怕這個(gè) API 復(fù)雜直接用就行內(nèi)部機(jī)制暫時(shí)不需要完全搞懂。5.2 訓(xùn)練不收斂的問題排查有段時(shí)間模型 loss 一直停留在 2.3 左右準(zhǔn)確率始終在 35% 上下像是卡住不動(dòng)。我排查過后發(fā)現(xiàn)問題出在學(xué)習(xí)率預(yù)熱缺失。遷移學(xué)習(xí)微調(diào)時(shí)如果一開始就用中等偏大的學(xué)習(xí)率預(yù)訓(xùn)練特征會(huì)在早期被大幅擾動(dòng)導(dǎo)致 loss 飆升后無法恢復(fù)。解決辦法是在前幾個(gè) epoch 用很小的學(xué)習(xí)率做預(yù)熱from torch.optim import lr_scheduler def warmup_lr(epoch, warmup_epochs3, base_lr0.001): if epoch warmup_epochs: return base_lr * (epoch 1) / warmup_epochs return base_lr scheduler lr_scheduler.LambdaLR(optimizer, lr_lambdawarmup_lr)前 3 個(gè) epoch 學(xué)習(xí)率從 0 逐漸升到 0.001之后再正常訓(xùn)練。加了這一層預(yù)熱后模型在第一個(gè) epoch 的 loss 就降到了 1.5 附近訓(xùn)練明顯走上了正軌。另一個(gè)不收斂的常見原因是標(biāo)簽問題。我檢查了一遍標(biāo)簽映射發(fā)現(xiàn) ImageFolder 是按文件名排序的目錄名順序和類別數(shù)組順序可能不一致。排查方法是打印前幾個(gè)樣本的標(biāo)簽和類別名對(duì)齊關(guān)系確認(rèn)無誤后再訓(xùn)練。5.3 數(shù)據(jù)加載慢與 CPU 瓶頸訓(xùn)練過程中 GPU 利用率經(jīng)常掉到 60% 左右看代碼邏輯應(yīng)該是數(shù)據(jù)加載跟不上。我用 num_workers4 解決了這個(gè)問題。注意幾個(gè)細(xì)節(jié)workers 不是越多越好。我試過 num_workers8GPU 利用率沒明顯提升反而程序啟動(dòng)變慢偶爾還會(huì)出內(nèi)存錯(cuò)誤。因?yàn)槲夷桥_(tái)機(jī)器還要跑其他服務(wù)8 個(gè)進(jìn)程把 CPU 占滿了。還可以開啟驗(yàn)證集數(shù)據(jù)的 preload把整個(gè)驗(yàn)證集一次性加載進(jìn)內(nèi)存# 緩存驗(yàn)證集到顯存減少重復(fù) IO val_images torch.cat([batch[0] for batch in val_loader], dim0).to(device) val_labels torch.cat([batch[1] for batch in val_loader], dim0).to(device)驗(yàn)證集圖片數(shù)量少幾百?gòu)垐D占不了多少顯存但節(jié)省每次驗(yàn)證時(shí)反復(fù)從磁盤讀文件的 IO 時(shí)間。實(shí)際體驗(yàn)是每個(gè) epoch 的驗(yàn)證時(shí)間從 15 秒降到了 3 秒。6. 推理部署與結(jié)果分析模型到底學(xué)到了什么6.1 單張圖片推理的完整流程訓(xùn)練完以后我把模型保存成文件然后做了一個(gè)簡(jiǎn)單的推理腳本。推理過程是獨(dú)立于訓(xùn)練的模擬真實(shí)使用場(chǎng)景。import torch from torchvision import transforms, models from PIL import Image device torch.device(cuda if torch.cuda.is_available() else cpu) model models.resnet18(weightsNone) num_ftrs model.fc.in_features model.fc torch.nn.Linear(num_ftrs, 10) model.load_state_dict(torch.load(best_model.pth, map_locationdevice)) model.to(device) model.eval() class_names [bread, cheese, ice_cream, apple, banana, corn, carrot, fried_egg, rice, spaghetti] transform transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) img Image.open(test_food.jpg).convert(RGB) img_tensor transform(img).unsqueeze(0).to(device) with torch.no_grad(): outputs model(img_tensor) probabilities torch.softmax(outputs, dim1) top_prob, top_class torch.topk(probabilities, k3) for i in range(top_prob.size(1)): idx top_class[0][i].item() print(f{class_names[idx]}: {top_prob[0][i].item():.4f})這里有個(gè)小坑就是Image.open之后最好強(qiáng)制 convert(RGB)。有些食物圖片是 RGBA 四通道的 PNG如果不轉(zhuǎn)的話輸入張量就是 4 個(gè)通道和模型期望的 3 個(gè)通道不匹配直接報(bào)錯(cuò)。模型 state_dict 里只保存了參數(shù)沒有保存結(jié)構(gòu)。加載模型時(shí)要先創(chuàng)建一個(gè)相同的模型結(jié)構(gòu)再 load_state_dict所以我在推理腳本里重新定義了模型。還有一種更省事的方式是保存整個(gè)模型對(duì)象但不推薦因?yàn)槟P徒Y(jié)構(gòu)在 PyTorch 升級(jí)后可能不兼容。6.2 混淆矩陣分析跑完測(cè)試集之后我輸出了一張混淆矩陣圖我就不貼了重點(diǎn)看幾個(gè)數(shù)據(jù)點(diǎn)。意面帶最容易和玉米混淆。細(xì)看原因是兩者的顏色接近都是黃棕色系而且食物照片中都有長(zhǎng)條形結(jié)構(gòu)。模型沒能學(xué)到“意面是彎曲細(xì)長(zhǎng)的面食玉米是一粒一粒的”這種語(yǔ)義級(jí)區(qū)分。香蕉和胡蘿卜也非常容易分不清。測(cè)試集里胡蘿卜圖片有不少是切成條狀的和香蕉外形很接近。這提醒了我真實(shí)分類場(chǎng)景中“形狀”和“顏色”并不總是可靠特征模型如果能捕捉到“香蕉有弧度”“胡蘿卜根部有漸細(xì)的尖端”效果會(huì)更好。通過混淆矩陣我找到了 3 個(gè)樣本量不足的難分對(duì)有針對(duì)性地多收集了這些類別的圖片加入訓(xùn)練集。下次迭代的驗(yàn)證準(zhǔn)確率從 85% 提升到了 88%。6.3 模型大小與推理性能訓(xùn)練完成之后我對(duì)模型的工程指標(biāo)做了記錄。指標(biāo)數(shù)值模型參數(shù)量約 1120 萬模型文件大小約 43MB單張圖片 CPU 推理耗時(shí)約 45ms單張圖片 GPU 推理耗時(shí)約 3ms顯存占用約 1.2GB對(duì)于移動(dòng)端或嵌入式部署1120 萬參數(shù)量還是偏大。項(xiàng)目如果后續(xù)擴(kuò)展我會(huì)考慮蒸餾成一個(gè)小型網(wǎng)絡(luò)或者直接用 MobileNetV3。但在“驗(yàn)證思路、跑通流程”這個(gè)階段ResNet18 的體量是完全合理的。7. 經(jīng)驗(yàn)的總結(jié)做圖像分類項(xiàng)目最容易忽略的幾件事整個(gè)項(xiàng)目跑下來我自己有幾點(diǎn)特別深的體會(huì)。數(shù)據(jù)整理階段多花一小時(shí)訓(xùn)練階段省一周。目錄結(jié)構(gòu)、類別命名、數(shù)據(jù)校驗(yàn)、樣本分布檢查這些不起眼的準(zhǔn)備決定了后面所有環(huán)節(jié)是否順暢。我一開始沒有認(rèn)真檢查每個(gè)類別的圖片數(shù)量訓(xùn)練到中途才發(fā)現(xiàn)有一個(gè)類別圖片數(shù)量比其他類別少了一半導(dǎo)致模型嚴(yán)重偏向樣本多的類別又要重新整理數(shù)據(jù)從頭訓(xùn)練。不要迷信模型越復(fù)雜越好。這個(gè) 10 分類任務(wù)用 ResNet18 已經(jīng)溢出真正決定模型上限的是數(shù)據(jù)質(zhì)量、增強(qiáng)策略和調(diào)參細(xì)節(jié)。換更大的模型不會(huì)帶來想象中的大提升。手寫訓(xùn)練循環(huán)是值得的。雖然 PyTorch Lightning 之類的框架能省掉大量樣板代碼但對(duì)我來說手寫循環(huán)帶來的收益是理解層面的——理解了每個(gè)張量的變化、每行代碼的作用之后后面用任何高階框架都只是一個(gè)“選擇”的問題而不是被框架牽著走。保存模型時(shí)多保存一份帶優(yōu)化器狀態(tài)的完整檢查點(diǎn)。我后來想接著上次的訓(xùn)練繼續(xù)跑發(fā)現(xiàn)只保存了模型參數(shù)優(yōu)化器的動(dòng)量狀態(tài)沒保存結(jié)果后面幾個(gè) epoch 的收斂速度明顯變慢相當(dāng)于丟掉了一部分訓(xùn)練信息。正確做法是每一輪同時(shí)保存 optimizer.state_dict 和調(diào)度器狀態(tài)torch.save({ epoch: epoch, model_state_dict: model.state_dict(), optimizer_state_dict: optimizer.state_dict(), best_val_acc: best_val_acc, }, checkpoint.pth)恢復(fù)訓(xùn)練時(shí)就三行代碼搞定checkpoint torch.load(checkpoint.pth) model.load_state_dict(checkpoint[model_state_dict]) optimizer.load_state_dict(checkpoint[optimizer_state_dict])最后再說一個(gè)小技巧是我后來才養(yǎng)成的習(xí)慣每訓(xùn)練一個(gè)模型就在最后帶著 test_loader 跑一遍混淆矩陣同時(shí)把預(yù)測(cè)錯(cuò)誤的樣本圖片存下來按類別分文件夾放好。這樣做有兩個(gè)直接好處一是能一目了然知道困難樣本長(zhǎng)什么樣二是給后續(xù)的數(shù)據(jù)增強(qiáng)方向提供了明確依據(jù)。前幾次做項(xiàng)目我就是只盯著準(zhǔn)確率遇到瓶頸根本沒有方向直到養(yǎng)成這個(gè)習(xí)慣之后模型的迭代才真正開始“有路線圖”。整個(gè)食物分類項(xiàng)目從頭到尾一共花了不到兩周的下班時(shí)間卻把 PyTorch 的完整工作流徹底打通了。如果你也是剛?cè)腴T有一定 Python 基礎(chǔ)想找一個(gè)有真實(shí)場(chǎng)景又不至于復(fù)雜的項(xiàng)目食物圖片分類是個(gè)不錯(cuò)的選擇。照著這個(gè)思路做一遍動(dòng)手敲一遍代碼調(diào)試一遍報(bào)錯(cuò)你會(huì)發(fā)現(xiàn)自己對(duì)深度學(xué)習(xí)模型訓(xùn)練的理解一下子變得具體了很多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月丁香成人网| 综激情网| 99热这里只有精| 五月丁香综合网| 国产亚洲色婷婷久久99精品91| 性生活久久人妻| 久色资源| 婷婷射综合| 色五月综合激情| 欧美私人家庭影院| 99成人网一区| 色墦五月丁香| 亚洲不卡| 欧美日韩99| 性爱网五月婷婷| 丁香五月色情| 99爱在线观看视频| 色中色综合| 激情综合网址| 八戒青柠影视剧在线观看| 色色99| 天天操电影院色狼性av| 成人做爰A片免费看视频| 黑人无码一区| 午夜婷婷久久| 91狠狠色色丁香婷婷综合久久| 99热在线观看这里只有精品| 黄色av高清| 激情二色月| 色优久久| 超碰亚洲天堂| 激情五月综亚网| 99热这里只有精品在线观看| 亚洲一色色色色色色色色| 人人摸人人搞| 丁香综合久久| 91婷婷五月天嫩女| 99re在线精品视频| 五月激情六月宗合| 五月天丁香网| 婷婷五月天综合网| 99色6爱9热| 久久婷婷热| 玖玖资源站国产| 激情综合网激情五月天| 色激情综合狠狠婷婷| 国产精品久久久久久久久久| 六月婷婷久久大全| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 五月婷婷激情综合| 五月综合激情图片| 亚洲经典三级| 天天干天天爽天天操| 色五月婷婷成人| 天天肏屄夜夜爽| 久久精品99国产精品日本| 深爱五月中文字幕| 大伊香蕉玖玖爱| 色色国产| 天天干夜夜操A片| 97操碰在线97| 五月天丁香婷婷社区| 九九热婷婷| AV中文在线| 五月天综合区| 7月婷婷六月丁香| 五月美女婷婷风骚| 成功精品影院| 青草性爱视频| 亚洲av无码精品色午夜| 色99视频| 婷婷激情五月天激情| 久久精品噜噜噜成人A∨色欲| 久久久噜噜噜久久人妻| 另类激情五月| 操逼三区| 荫道BBWBBB高潮潮喷| 99热中文字幕久久| 狠狠爱婷婷爱| 日本在线观看aaa 99| 久久综合中文| 99热官网| 婷婷丁香色五月天| 九九热av| 97色精品视频| 亚洲成av人影院| 久久婷婷网| 天天操夜夜夜夜爽| 国产精品蜜臀99| 亚洲十月婷婷综合| 日日干日日s| 成人av观看| 图片区 小说区 区 亚洲五月| 六月婷婷激情| 99视频这里有精品免费观看| 思思热闹这里只有精品| 182TV大香蕉| 精品久热| 婷婷丁香激情| 亚洲综合婷婷六月丁香五月| 狠狠做五月婷婷| 久热久| www.色五月.com| 96五月丁香熟女| 亚洲AAA| 另类小说五月天激情| 亚洲av日韩无码| 久久久18| 天天看A片| 激情五月天.色网| 婷婷在线中文字幕| 五月天综合久久丁香91| 国产女生爱爱AA| 亚洲免费在线观看岛国| 日本一级一级一级一级| 日本人妻操| 4399伦理午夜| 欧美日韩成人一区二区| wWwCom夜操wwW| 大香蕉狠狠爱主页| 97婷婷丁香五月| 五月天另类小说| 五月婷婷真爱激情网| 99福利导航| 狠狠色激情综合| 五月丁香六月婷婷网| 久久综合干| 婷婷亚洲影院| 婷婷亚洲激情在线观看视频| 欧美叉叉叉BBB网站| 九九热在线99| 九九九日本熟女| 玖玖综合色区在线观看| 99综合视频一体| 99热这里只有在线| 日日想日日夜日日操| 色色日韩无码| 久久综合站| 九月激情婷婷丁香| 婷婷色在线视频| 婷婷第一页| 色五月激情问网站| 丁香婷婷丁香五月欧美人| 偷拍视频五月天| 丁香五月综合久久八| 涩涩涩.com| 五月婷AV| 国产精品久久久久久久久久免费| 丁香五月婷婷黑人妻黄色电影院| 久久黄A片| site:pzdcoin.com| 婷婷丁香六月| 婷婷开心五月| 色婷婷丁香AV综合| 丁香美女主播视频在线观看 | 五月婷婷综合网| 99色嘟嘟精品网站| 久久综合网免费视频| anquye五月| 婷婷激情五月综合| 久热91精品| av人人干| 亚洲另类av| 日噜噜色| 九九激情视频| 午夜av网| 天天草婷婷五月| www.热99热| 成人无码精品1区2区3区免费看| 在线综合婷婷| 国产亚洲精品久久久久久郑州| 亚洲成人在线五月天| 亚洲色色在线| 久色欧美| 五月丁香在线视频观看| 日本久热| 五月天狠狠网| 天天射美女| 激情五月天色播| 激情综合五月| 丁香性爱在线视频| 日本va网站| 国产亚洲精品久久一区二区三区| 超碰不卡在线| 丁香五月婷婷久久久| 五月社区婷婷激情| 婷婷五月天成人网| 亚洲精品无AMM毛片| 第2色五月婷| 99re这里只有| 2014天天爽| 丁香六月激情网C0W| 欧美叉叉叉BBB网站| 激情五月综合六月丁香婷婷狠狠干| 丁香婷婷六月天| 99精品视频偷拍| A久网| 极品精品一区二区三区在线| 欧美黑人大吊| 日操夜操天天操不卡| 五月丁香婷在线| 啪啪色激情五月天| 777色色色| 色色激情五月天| 激情五月综合| 婷婷五月天天天| 99A片| 五月丁香日本在线视频观看| 久久国产精品乱子伦_靑青草…| 精品99网站| 亚洲人人操BD| 人妻videos人妻高清| 99这里只有精品|v| 97性视频| 天天干电影| 久久五月情| 久久99激情| 色色五月天网站| 小色小蛇伊人婷婷色香五月| 久热综合| 丰满少妇猛烈A片免费看观看| 欧美成人网婷婷综合在线| 成人在线二区| 日韩AV大全| 激情网狠狠干| 亚洲综合丁香婷婷六月天| 日韩人妻在线播放| 深爱五月中文字幕| 色色99| 1024日韩| 天天五月情| 影音先锋91| 日本久久婷婷| 婷婷五月在线综合| 999精品久久久久久久| 婷婷久久爱| av操一操| 五月色丁香国产在线视频| 91热视频色网站| 六月丁香综合网| http:色情日本com| 超碰狠狠色| 婷婷99狠狠躁| 婷婷五月免费观看| 日本在线噜噜| 在线不卡视频| 婷婷五月综合免费在线| 99久久综合| 舔色婷婷| 五月激情另类| 婷婷月五天在线在线看| 免费看成人AA片无码视频吃奶| 色亭亭五月天丁香综合AV - 百度 - 百度| 拍色综合| 天天夜夜爽| 亚洲中文乱字字幕在线永久| 狠狠色婷婷7| 五月丁香婷婷激情图片| 五月天激情啪啪| 五月激情久久| 美女va| 久久久五月天网站| 天天舔天天摸| AA丁香综合激情| 亚洲国产精品成人免费一区久久久在线观看AAAA | 色5月婷婷| 久久色情| 影音先锋四区| 久婷婷色| 4399在线观看免费高清黄色视频| 97热久久五月婷婷| 欧美VA视频| 亚洲狠9| 人人爱国产| 亚洲欧洲自拍图片专区五月天| CAoub青青超碰| 深爱激情五月网| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 久久人操-久草婷婷-成人AV| www.丁香黄色五月天人与| 五月天婷婷色| 激情九九综合网| va婷婷在线| 99ri视频在线播放| 青青草蜜臀| 激情五月天婷婷直播| 婷婷情色五月天| 99久久精品国产色欲| 婷婷五月av| 超碰九色| 色婷婷五月综合| 天天插天天操| 国产精品色婷婷99久久精品| 九九热最新地址| 激情综合亚洲| 久99999热视频在线观看免费| 99视频只有精品| 九九九九国产| 涩涩五月天| 久久婷网| 大香蕉啪啪网| 99精品综合在线| 午夜微拍福利| 色色五月天网站| 亚洲九区| 玖玖综合色| 俺来也综合网精品一区| 五月婷婷精品无在线| 欧美色色网| 人人爱人人草| 婷婷色婷婷| 五月天婷婷无码| 午夜性做爰电影| 婷婷激情综合网| 日韩色色视频| 五月综合激情网| 狠狠搞狠狠操| 五月天婷婷成人网| 国产精品涩涩涩视频网站| 亚洲无码影音| 91婷婷| 中文字幕在线播放视频| 99久久成人| 色婷婷五月丁香在线观看| 色五月网址| 精品婷婷五月天| 丁香六月天| 五月婷天堂视频| 另类在线| 五月丁香婷婷三级| 五月婷婷激情网| 五月天婷婷小说| 九九九九九九综合| 丁香婷婷人妻综合网| 少妇大叫太大太粗太爽了A片 | 第四色婷婷丁香五月| ′久久99一| 五月丁香婷中文字幕| 成人做爰高潮A片免费视频| 五月天激情久色| 美英法精品无码免费视频| 精品久久久久久久人妻| 久久思思热| 国产色99| 色婷婷基地| 偷拍五月丁香| 久久久精品AV| 99在线免费观看| 色色六月| 人色五月天婷婷| 日91高清无玛| 97偷拍在线视频| 成片免费播放| av在线激情| 狠狠干综合| 九色91视频| 亚洲成人噜噜| av网站免费在线| 中文字幕永久在线| 婷婷 久综合| 婷婷射综合| 亚洲人成网站999久久久综合| 五月丁香综合伦理片| 丁香五月婷婷影院| 玖玖91| 五月天激情国产综合婷婷| www.99热| 激情丁香五月AV| 99久久99九九九99九他书对| 九九热视频在线观看| 九九日伊人| 久久综合这里只有精品1 | 色五月天网| 96丁香六月婷婷蜜桃综合久久| 成人.在线日韩| 天天天久久久| 久久久中文| 欧美日本综合网| 丁香成人五月天| 久久ri精品视频| 国产精品蜜臀99| 性做爰1一7伦| 五月综合六月丁| 国产精品18久久久| 丁香五月23111| 97色热| 蜜桃人妻无码AV天堂三区 | 婷婷成人在线| 一起操最新网址| 日本熟女视频一区二区| 99在线69| www.伊人天堂偷偷婷婷| 亚洲一二三网| 色99色| 色青青视频| 午夜理论片最新午夜理论剧| 成人在线不卡| 婷婷丁五月| 婷婷五月天伊人| 国产中文亚洲欧美日韩性交| 丁香五月停停av| 激情都市另类| 另类视屏| 久久丁香久久| 夜夜躁爽日日| 人人草人人视| 婷婷综合五月激情| 婷婷五月天丁香花| 午夜九九电影| 婷婷性爱综合| 伊人婷婷大香蕉| 91中文在线| 丁香五月天激情免费在线观看AV777| 成人无码精品1区2区3区免费看| 激情黄色五月天| 91av视频| 丁香色五月婷婷| 97超级碰碰碰| 五月丁香激情综合| 国产精品国产| 久热99| 国产精品99久久久久久猫咪| 99这里只有免费的小视频在线观看| 香蕉久久国产AV一区二区| 婷婷射图五月天| 91九色大屁股| 九九热精品视频在线观看| 888精品福利地址| 久草热8精品视频在线观看| 五月天丁香六月综合| 免费无码毛片一区二区A片| 色播五月网| 九九九九国产| 99丁香五月| 丁香婷婷久久激情| 国内精品99| 五月丁香91| 亚洲激情无码久久| 亚洲妇女熟BBW| 婷婷爱五月天人人爱| 激情五月网站| 亚洲综合婷婷五月| 久久99网| 婷婷五月色惰| 天天做天天爱天天玩夜夜爽| 久久精彩综合视频| 五月天婷婷成人网| 丁香婷婷色情社区成人小说| www色婷婷久久综合久色| 91碰免费视频| 超碰在线视屏| 色色网五月激情| 大香蕉久| 色色色激情网| 综合色影| 成人va在线播放| 熟女激情网| 五月香蕉婷婷| 黄色录像网点| 丁香五月婷婷www..com| 大香蕉久久久久久久久| 色五月婷婷啪啪五月| 五月丁香激情婷婷| 亚洲最大视频| 日本 @ va 免费| 色综合久久88色综合天天99| 99色.com| 大香蕉综合视频在线| 五月婷婷之综合激情| 色婷婷激情四射视频| 色了色综合| 亚洲视频在线观看99| 色婷婷免费观看| www.婷婷| 九九热这里| 伊人色综合久久久| 五月婷婷深深爱| 婷婷五月激情五月激情| 99热.com| 久久五月天激情| 婷婷五月天激情综合网| 男人天堂亚洲综合| 色欲天天综合| 思思色播| 色婷婷在线视频久| 五月丁香999| 婷婷五月丁香综合激情| 久久婷婷热| 网色99| 狠狠色噜噜狠狠狠狠综合| 日韩在线观看亚洲| 色~性~乱~伦~噜| A片一曲| 欧美精产国品一二三区| www.99婷婷| 99这里是精品| 狠狠操天天干| 五月婷婷丁香狠狠撸久久| 婷婷五月天第四色| 国产无套精品一区二区| 91婷婷搞| 五月天激情综合网| 熟女强人妻一区二区三区四区无| 人妻中文在线| 激情综合五月| 亚洲综合网 665566| 丁香大香蕉| 综合久久97| 一区二区乱码视频| 国产性爱一级| 激情五月小说婷婷| 亚洲精品99| 日本99在线视频| 色99在线观看| www,五月天激情| 97五月天婷婷| 五月色丁香综合| 丁香五月视频在线观看| 超碰熟女拍拍| 99热国产这里只有精品| 色吧婷婷五月亚洲| 99热精品99| 超碰av在线| 五月天综合区| 欧美色色色色色色| 久久久香| 五月婷婷很很色| 国产毛片操B| 99人人操人人爱久久久| 97人妻碰碰碰久| 丁香五月23111| 嫩草AV久久伊人妇女超级A| 4399无码视频| 综合九色| 久久综合55| 洗浴中心操B视频| 五月婷婷六月丁香| 色色A| 最近中文字幕在线中文视频| 婷婷久久99| 可以免费观看的AV| 国产日产亚洲系列最新| 成人网址在线观看| 五月天激情无码| 五月婷婷综合丁香视频| 日本人妻伦在线中文字幕| 91热手机在线| 亚洲婷婷乱乱丁香| 婷婷激情六月| 久草婷婷网 | 日本99久久| 色色色色色色综合网| 肏屄色播伊人97婷婷| 美女主播野战视步页| 欧美综合五月丁香六月婷| 五月丁香色| 婷婷综合久久| 久久99精品久久久久久三级| 天天日天天日天天搞| 五月婷婷六月丁| 91要啪| 狠狠色综合久久久久| 国产偷人爽久久久久久老妇APP | 91九色精品熟女内射| 天天性视频| 99热这里都是精品| 香蕉久久国产AV一区二区| 亚洲色激情| 亚洲艹网| 97人妻碰碰中文无码久热丝袜| 国产三级在线播放| 夜夜操天天爽| 久久五月婷天天干| 日本欧美啪啪| 激情性爱五月| 欧美激情五月天| 另类视屏| 色色色色色色色色网站| 日韩婷婷| 丁香婷婷婷| 校园激情 亚洲| AAA久久| 丁香五月婷婷色情综合| 色综合九九色综合88| 狠干综合| 人妻五月天激情开心网| 亚洲精品99| 成人短视频在线观看| 99久在线精品| 亚洲AV日韩AV永久无码网站| 五月婷婷六月综合| 96精品久久久久久久久| 久久色吧| 色婷婷AV久久久久久久| 天天色天天操天天射| 99热日韩| 婷婷五月天综合网| 九九这里只这里只有精品| 午夜做爱影院| 欧美精品在线观看| 丁香六月啪| 天天干天天干天天干天天干天天| 77777亚洲午夜久久| 色婷婷在线视频综合| 丰满少妇乱A片无码| 五月丁香在线视频观看| 亚洲激情网| 99九九99九九九视频精彩| 亚洲天天| 国产avapp 网| 五月天婷婷激情| 久久精品99久久| 无码区婷婷五月花开| 婷婷五月天成人网| 五月丁香婷婷综合久久| 狠狠搞五月天| 操97免费超级视频| 啊V视频在线观看| 99在线观看| 国产全是老熟女太爽了| 四月婷婷丁香| 天天搞夜夜叫| 99re8这里只有精品99re8热视频| 一起操 91N.com| 激情伊人| 五月丁香激情欧洲啪啪| 99热97| 丁香五月丐人妻| 日韩黄色中文字幕| 国产精产国品一二三在观看 | 开心网五月色婷婷| 五月婷婷三级| 五月天狠狠| 亚洲色图在线视频| 五月亭亭六月天| 涩 五月 婷婷 狠狠| 五月激情久久综合网| 99碰网站| 婷婷色操| 色婷婷偷拍| 99ri精品| 婷婷丁香色五月天久久88| 极品人妻VIDEOSSS人妻| 熟女强人妻一区二区三区四区无| 天天色天天日天天舔| 综合色久| 国产成人+综合亚洲+天堂| 五月婷婷香蕉| 999婷婷综合| 日99网站| 丁香五月婷婷色| 日日日日操| www.日本91| 天天日天天爽夜夜爽| 亚洲国产色色| www.91.com处女在线直播| 久久视9精| 五月婷婷婷| 五月婷在线观看| 伊人超碰| 久热这里这里有精品| 五月婷婷很很色| 99精品网| 91精品久久久久久久| 九九AV| 人人操人人添人人摸97| 99视频这里有精品| 99re在线播放| 极品人妻VideOssS人妻| 国产免费AV在线| 婷婷午夜综合| 婷婷五月天福利| 亚洲六月色| 大香蕉AV在线| 中文色婷婷| 久久五月婷婷综合网| 久久3p| 激情六月下句是什么| 91丨九色丨丰满人妖| 激情小说五月天| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 梁铮版蜘蛛女在线观看| 天天狠狠综合精区| 国产又爽又猛又粗的视频A片| 9久热| 久久多色| 婷婷在线播放av| 国产午夜精品一区二区| 一起草av| 欧洲色| 天天舔天天摸| 丁香五月香蕉| 激情五月天激情五月天| 丁香六月欧美| 色噜噜狠狠色综无码久久合欧美| 婷婷狠狠干| 久久婷婷综合五月趴| www,av好吊操| 色欲日日躁| 66精品国产成人| 五月丁香手机在线| 五月激情精品视频| 99精品在线播放| 久久9视频欧美| 久婷婷| 久久最新色色色| 五月丁香手机在线| 亚洲激情五月天| 亚洲成人在线观看av| 欧美日韩精品人妻狠狠躁免费视频| 色播五月网| 色色a| 成年人丁香五月| 五月激情啪啪| 色综合激情图区| 五月婷婷激情网| 婷婷六月丁香五月| 河北真实伦对白精彩脏话 | 日本欧美成人片AAAA| 天天色情站| 色婷婷在线电影| 91综合在线观看| 综激情网| 六月婷婷无码观看| 婷婷五月天中文字幕| 人妻久久久久久久久| 五月天,激情四射,婷婷频道| 成人免费高清在线播放| 免费精品99| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 99热这| 久久久久久激情| 色玖玖| 超碰人人摸AV| 99九九99九九九视频精彩| 午夜免费试看| 中文字幕 久久9999| 色五月xxx| 色色五月婷婷丁香| 久操操| 九九成人电影婷婷| 97视频.干com| 5月丁香六月情| 婷婷激情在线| 日日操夜夜撸| 第1影院之五月婷婷| 婷婷五月天久久久| 久8色色| 99视频精品在线| 99热这里只有精品2| 91人妻九色大屁股| 综合五月婷婷| 五月天婷婷六月| 日韩成人AV在线播放| 丁香五月激情五月| 97自拍99| 九九热这里只有精品一| 九月激情网| 国产精品久久久久久喷浆| 99热免费精品| 婷婷综合六月| 丁香五月色| 五月天婷婷久草丁香| 婷婷区日本| 伊人久久五月天| 国外亚洲成AV人片在线观看| 精品激情| 丰满人妻一区二区三区| 久久久久9久无码视频| 人人色人人摸人人看| 啪啪操超碰| 碰99在线| 国产精品久久99| 97视频91| 五月丁香成年黄色| 国产VA亚洲VA96| http:色情日本com| 六月丁香视频网站| 婷婷婷婷婷婷婷五月丁香| 丰满少妇猛烈A片免费看观看 | 丁香5月综合啪啪| 日 日干 日日做| 欧美综合激情五月| 色丁香五月婷婷| 一区二区乱码视频| 天天影院色| 99网| 五月久久五月激情| 九九re精品视频在线观看 | 九色91视频| 国产婷婷五月在线视频| 亚洲五月六月婷婷| 伊人青草成人| 国产成人网址| 中文字幕在线免费观看视频| 久久大香蕉同僚| 色色影院黄大片| 欧美日韩一区二区三区四区| 久久久亚洲成人无码A片| 色色色五月婷| 亚洲啪啪网| 婷婷五月天亚洲综合| 99色视频在线| 伊人色五月| 性色天| 热久69| 久色激情| 91丁香| 91精品国产99久久久久久天美| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 六月激情丁香一道本7777| 日本va欧美va欧美va| 五月天啪啪网| 99综合一区| 五月天堂六月丁香亚州中文字幕久久| 97韩国久久电影院| 午夜少妇在线观看视频| 啪啪啪五月天| 国产欧美大香蕉一区| 99国产这里只有精品| 男人視頻站| 五月伊人网| 婷婷六月色开| 日本人妻A片成人免费看片| 91在线视频综合| www.久久久.com| www久久99com| 狠狠色丁香乆乆| 激情文学五月丁香六月婷婷| 色99在线看| 色偷偷五月天| 99精品网址| 26UUU欧美激情一区二区| 99熟女视频| 色九区| 色九九综合| 久久久性爱视频| 99色日本| 久9热在线视频| 9热视频在线观看| 99热这里只有精品青草| 丁香五月成人论坛| 99在线小视频| 久草热在线视频| 亚洲婷婷激情888精品久| 亚洲亚洲人成综合网络| A片天天| 伊人五月天| 99人碰碰碰| 超碰在线国产| 五月婷婷精品视频| 丁香六月婷婷| 丁香婷婷色五月天| 丁香五月色色婷| 精品久久人妻| 日日.c| 天天拍夜夜撸| 日本大逼91| 天天骑天天操| 激情五月婷婷五月丁香五月开心五月| 97精品综合久久| 婷婷六月天国产综合| 亚洲综合五月天婷婷丁香| 五月婷在线色视频| 大香蕉人妻| 色婷综合| 91人人网| 99热日韩| 激情五月婷婷| 色播丁香婷婷五月激情| 玖玖爱综合网| 99热伊人| 婷婷自拍| 中文字幕 中文字幕明步| 五月天婷婷丁香视频| 色亚洲无码| 99精品亚洲| 日本色婷婷综合| 久久久婷丁香五月天激情综合| 五月婷婷色欲| 九九激情| 97干视频| 激情五月婷婷五月| 丁香五月人妻熟女| 亚洲精品久久久久久久久久吃药| 天天色天天噜| 丁香六月狠狠| 丁香色影院| 婷婷色网站| www.婷婷五月天.com| WWW.开心五月天.COM| 久久五月婷天天干| 三级三久久线久久99久目本WW| 久久99网| 人人干AV| 无码髙清| 婷婷久久爱| 国产精品扒开腿做爽爽爽A片唱戏| 欧美丁香五月| 久久偷拍综合五月天| 天天色天天爱天天舔| 九九热这里只有精品5| 久久大香蕉视频| 色综合久| 99久久婷婷| 欧美激情VA永久在线播放| 婷婷丁香射射| 岛囯综合激情网| 人人爱操| 激情五月亚洲| 中文成人在线| 五月天成人综合| 四五月婷婷| 婷婷五月天,影院| 久久激情综合| 三区激情四射av| 国产真实乱了老女人视频| 99色色| 久色网| 久久婷婷影院| 五月激情综合五月| 综合大香蕉| 黄色三级毛片中字| 久久97| 亚洲精品午夜国产va久久成人| 丁香花五月天激情| 99精品视频网站| 五月婷婷激情久久| 免费亚洲婷婷中文字幕| 婷婷97碰碰| 欧美人人超级碰| 久久久精品99| 区美毛片子| 91日视频| 丁香五月综合| 丁香五月777| WwW色婷婷| 日本一级一级一级一级| 99∨VTV| 婷婷射图| 99精品免费视频| 少妇人妻偷人精品无码视频新浪| 草草色情综合网| 婷婷色播综合五月| 激情婷婷狠狠干| 自拍盗摄 另类| 五月丁综合在线观看| 激情性五月天免费小说视频| 色五月综合在线| 91要啪| 欧洲高清免费久久| 久色国产| 91狠狠色丁香| 91一起操| 久久9视频欧美| 亚洲激情网| 成人中文网| 久婷自拍视频| 99热福利| 久久色这里只有精品| 亚洲精99| 开心激情久久久久久久| 色婷婷的五月天| 激情五月天小说网| 六六久久黄色| 九九热91| 五月丁色AV| 99爱视频免费看| 五月天丁香婷| 国产亚洲成AV人片在线观黄桃| 欧美在线| www.久久久久久| 中文字幕婷婷五月天| 人妻久久久久久久久久| 91男同| 农村熟妇高潮精品A片| 色五月欧美| 色啪网| av操一操| 色婷婷综合网站| 免费超碰在线| 国产Va视频| ji'qi'luan'ren'lun| www.99视频| 99艹精品在线观看| 激情综合五月| 99色精品| 国产又色又爽又黄又免费| 色婷婷五月综合| 182TV亚洲| 99亚洲色| 激情99| 色婷婷AⅤ| 亚洲丁香五月深爱五月| 99激情网| 9999综合99综合人| 性爱电影科技贸易有限公司| 亚韩在线视频| 婷婷五月丁香性爱| 九九久久99精品免费观看www| 天天 青草 丝袜制服 在线| 婷婷五月天丁香花| 超碰网站在线观看| 中国激情网| 欧美 日韩 人妻 高清 中文| 97香蕉碰碰人妻国产欧美| 日韩AAA| 天天插天天插| 久久久91| 五月天天综合| 在线观看欧美| 激情骚五月| 亚洲久热无码| 婷婷在线视频| 五月综合激情久久| 五月丁香综合激情| 很很干夜夜干| 天天日夜夜拍| 午夜少妇在线观看视频| www.天天色综合| 天天搞天天色综合| 久久一级片| 人人射人人高潮| 精品自拍97| 激情亚洲婷婷| 五月综合视频| 亚洲天堂碰碰婷婷| 九九热这里只有精品9| 99综合视频| 色色自拍视频网站| 99精品亚洲| 无码色色色色色| 五月丁香久久久久| 综合99综合久久久久久久| 久热免费| 五月香蕉婷婷| 91黄操| 丁香五月天堂网| 这里只有精品日韩精品| 99操| 六月婷伊人| 亚洲精品国产A久久久久久| 大香伊人婷婷| 色色网站| 九九精品热播| 五月婷婷无码| 婷婷五月丁香性爱| 五月亭亭性| 色欲影香| 丁香五月综合| 综合久久六月| 天天爱天天操| 涩五月婷婷| 极品色丁香| 婷婷日日夜夜| 八戒青柠影视剧在线观看| 婷婷五月天黄色| 五月婷婷色| 无码橾| 91久久久久久| 久久色天堂| 99无码视频| 26uuu国产精品| 9色天堂| 久久婷婷五月综合激情国产| 亚洲成人免费在线| 99热欧美| 国产日日操夜夜操的肉棒视频| 日本精品久久久久中文字幕| 婷婷综合五月色播| 亚洲精品V天堂中文字幕| 五月婷婷二月丁香| 亚洲99一级无嗎特制在线| 婷婷爱五月| 五月色婷婷在线观看| 婷婷五月天激情综合| 天天日天天狠狠操| 久久九九99视频| 五月婷婷色综图片| 色啪综合| 色婷婷亚洲五月天| 综合日本婷婷| 这里只有精品免费| 丁香六月无码| 99手机在线精品视频| 色综合五月天| 亚洲热久久| 亚洲精品视频在线| 五月天色色网站| 久久久精品人妻录| 超碰精品在线| 久草丁香婷婷1024| 久久色区| 九一娱乐在线观看视频| 亚洲AV人人操| 婷婷五月色亚洲| 玩熟女五十AV一二三区| 婷婷激情人妻| 五月综合激情图片 | 婷婷五月欧美AA片免费| 丁香五月五婷| 996re热精品视频| 久久六月天| 色哟哟精品| 综合图片色色| 大香蕉丁香五月| 五月色天情| 香蕉人在线香蕉人在线 | 激情五月天小说网| 人人妻久久妻| 婷婷 久综合| 综合色色综合| Blackedraw视频一区二区| 九九99免费理论| 99啊精典免费视频| 九九操操| 91婷婷五月天嫩女| 五月天婷婷久草丁香| 中文字幕人妻熟女在线| 亚洲 无码 中文字幕 中出| 狠狠ri| 狠狠爱综合网| 操人妻90p| 色五月婷婷av| 国产熟妇的荡欲午夜视频| www.99婷婷| 成人必爱视| 日韩成人综合网| 人人操人人爽成人AV| 国产99久| 国产精品涩涩涩视频网站| 狠狠色婷婷丁香六月| 婷婷无码视频| 4399在线观看免费高清电视剧| 国产.亚洲.欧洲视频在线| 情色五月天网站| 久热2025无码| 538午夜激情| 97在线视频人妻九色| 天天插天天射| 亚洲操逼网| 777色色色| 39视频第二区| 涩五月婷婷| 九九色精品| 五月婷啪啪| 91久久电影| 五月丁香六月婷婷姐| 六月丁香婷婷开心综合基地| 成久综合视频| 99久久精品国产色欲| www.99免费视频| 久久精品天| 五月婷婷精品| 欧美大香蕉视频| 色丁香五月| 婷婷五月综合久久中文字幕| 天天搞天天色综合| 深爱五月婷婷开心中文字幕| 精品视频这里只有精品| caop在线| 91色色色视频| 99九九玖玖| 五月丁香激情深爱婷婷| 青草热视频这里只有精品| 天天在线久久综合 | 亚洲天天| 五月丁香六月激情视频| 日日夜夜天天综合| 51avj视频大全| 色大综合| 欧洲亚洲激情五月天在线| 美欧成人视频| 五月狠狠| 青青操成人福利| 97碰在线视频| 婷婷五月天国产| 久久九九99.www| 99人人干| 婷婷狠狠久久| sewuyue第四色| 激情五月深爱五月观看| 精品99在线| 色射7856五月天激情四射| 亚洲 在线 性爱 | 丁香婷婷五月天校园春色| 亚洲春色奇米影视| www.99在线| 伊人久久大香蕉网| 中文字幕网站在线观看| 五月婷婷无码| 欧美日本99| 五月亚洲| 国产另类综合| 丁香五月激情啪啪| 激情综合自拍五月婷婷色五月| 无码一区二区三区四区五区| 丁香五月婷婷总啪啪| 最新日韩久热免费视频看看| 婷婷五月激情欧美大胆视频| 激情图片婷婷| 丁香婷婷激情综合五月激情| 婷五月天| 日本色99| 天天玩夜夜操| 美女五月天| 超碰99在线| 天天视频精品9| 91丁香综合| 99久久婷婷精品视频| 大香蕉九九| 婷婷无码视频| 嫩草AV久久伊人妇女超级A| av在线免费播放观看| 午夜爱插插| 五月激情久久| 激情六月天| 99九九热视频免费| 99久久精品国产色欲| 成人VAV视频在线观看| 思思99久久| 精品成人无码A片观看香草视频| 六月婷婷综合| 国产古装妇女野外A片| 九九成年视频| 色欧美日| 丁香五月天啪啪| 久热这里精品免费| 色色精品色| 亚州色色色| 天天爽天天干| 亚洲超碰中文字幕| 99视频在线观看视频| 九月激情网| 热久久66| 天天色色婷婷| 六月五月久久丁香| 色噜噜在线| 亚洲国产va| 色五月丁香在线| 色婷婷99| 超碰精品国产首页| 99自拍视频| 亚洲va欧洲va国产va不卡| 五月激情站| 亚洲av无码精品色午夜| 开心婷婷五月天电影院| 日本色久| 久热精彩视频98| 五月激情网五月综合网| 国产成人高清| 先锋影音男人的天堂AV| 9操在线| 丁香五月天在线| 国产午夜精品一区二区三区嫩草| 大香蕉狼人久久| 日日日日操| 久久久天堂国产精品女人| 色五月综合网站| 欧美猛片| 欧美在线视频99| 男女啪啪视频久 9| 国产阿姨日皮艹逼内射视频| 婷婷久月| 综合99视频| 天天艹天天色|