欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

零基礎(chǔ)用PyTorch做食物圖片分類:從數(shù)據(jù)到模型全流程實戰(zhàn)

零基礎(chǔ)用PyTorch做食物圖片分類:從數(shù)據(jù)到模型全流程實戰(zhàn) 最開始接觸 PyTorch 時我第一個完整跑通的項目就是食物圖片分類。那時候我連tensor的形狀都經(jīng)常搞混nn.Module怎么繼承也是邊查邊寫但食物分類這個任務(wù)給了我很大的正反饋圖片直觀、類別接近生活、模型效果一眼就能看出來而且數(shù)據(jù)集、預(yù)訓(xùn)練模型、參考資料都相對好找。如果你也是零基礎(chǔ)想入門 PyTorch我的建議很直接——別去啃復(fù)雜的檢測或分割先從食物圖片分類這種“短平快”的分類任務(wù)切入把數(shù)據(jù)、模型、訓(xùn)練、評估這條鏈路完整走一遍比看一百篇教程都有用。這篇文章我會按我自己實際做項目的順序從數(shù)據(jù)準備、模型搭建到訓(xùn)練調(diào)參、評估排查完整講一遍。代碼不是玩具都是能直接跑的級別同時會解釋每個關(guān)鍵選擇背后的原因以及我踩過的坑。適合剛看完 Python 語法、對深度學(xué)習(xí)有一點概念但還沒獨立做過項目的讀者。你會發(fā)現(xiàn)很多看似復(fù)雜的流程其實只需要幾十行代碼。1. 項目概述與整體思路1.1 為什么首推食物圖片分類作為入門項目圖像分類是計算機視覺最基礎(chǔ)的任務(wù)也是入門深度學(xué)習(xí)最自然的起點。食物圖片分類這個方向恰好把“任務(wù)難度”和“學(xué)習(xí)成本”放在了一個很舒服的位置你不需要去理解目標框、分割掩碼這些復(fù)雜概念只需要讓模型判斷一張圖屬于哪一類食物。我選它的另一個人理由是結(jié)果可感知。你做貓狗分類模型錯了你甚至覺得正常但食物分類錯了你能立刻發(fā)現(xiàn)它把“宮保雞丁”認成了“辣子雞丁”這種錯誤會讓你愿意去分析原因。而且食物類別的視覺差異往往很細微比如不同做法的炸雞、不同種類的面食這天然要求模型學(xué)習(xí)更細粒度的特征對理解features到底在學(xué)什么很有幫助。從工程角度看食物分類的數(shù)據(jù)獲取成本也低。公開數(shù)據(jù)集中既有幾十萬張的大規(guī)模食物數(shù)據(jù)集也有單類別幾千張的小型子集新手完全可以用幾個類的子集練手十幾分鐘就能下載完。配合 PyTorch 生態(tài)里的預(yù)訓(xùn)練模型幾十行代碼就能達到一個不錯的基線這種快速反饋對建立信心特別重要。1.2 零基礎(chǔ)需要準備的工具與環(huán)境在開始寫代碼之前先把環(huán)境梳理清楚。你不需要一開始就配齊深度學(xué)習(xí)專用的 GPU 服務(wù)器一臺普通電腦也能跑只是訓(xùn)練慢一點。我個人的建議是有 NVIDIA 顯卡最好顯存 4GB 以上就夠訓(xùn)練 ResNet18 這種規(guī)模的模型沒有顯卡也不用慌先拿 CPU 跑一個小數(shù)據(jù)集把流程走通后面再上 GPU。依賴方面核心是 PyTorch 和 torchvision。建議用虛擬環(huán)境避免重裝環(huán)境時搞亂已有的包。安裝完以后順手驗證一下python -c import torch; print(torch.__version__, torch.cuda.is_available())如果輸出True說明 CUDA 可用如果輸出False也沒關(guān)系代碼里我會用device torch.device(cuda if torch.cuda.is_available() else cpu)自動切換。除此以外還需要matplotlib用于可視化numpy用于數(shù)值處理tqdm顯示進度條這幾個用 pip 一下就好。新手容易忽略的一件事是數(shù)據(jù)格式。PyTorch 的torchvision提供了很多圖像處理工具但底層讀取圖片依賴 PIL 或 OpenCV。裝好pillow就行不需要額外裝 OpenCV除非你要做一些特殊預(yù)處理。1.3 整體流程與關(guān)鍵決策一個標準的圖像分類項目流程其實非常固定準備數(shù)據(jù)下載或收集圖片按類別組織目錄結(jié)構(gòu)。預(yù)處理縮放、裁剪、歸一化讓模型輸入更規(guī)范。構(gòu)建數(shù)據(jù)加載器把海量圖片分成一個個 batch訓(xùn)練時逐批送入模型。定義模型選一個預(yù)訓(xùn)練模型把最后一層換成自己的分類層。定義損失函數(shù)和優(yōu)化器分類任務(wù)一般用交叉熵損失。訓(xùn)練循環(huán)前向傳播、計算損失、反向傳播、更新參數(shù)循環(huán)多個 epoch。評估在驗證集上算準確率、混淆矩陣用可視化發(fā)現(xiàn)模型缺陷。推理加載保存好的模型對單張圖片做預(yù)測。這套流程幾乎所有 CV 任務(wù)都適用所以只要跑通一次后面遷移到其他項目會快很多。這里有個關(guān)鍵決策用自定義的小型 CNN還是用遷移學(xué)習(xí)加載預(yù)訓(xùn)練模型我的答案是如果你是想學(xué)習(xí)原理兩者都該懂但目標是“零基礎(chǔ)跑通第一個項目”直接用預(yù)訓(xùn)練模型是最省力也最穩(wěn)妥的方案。原因很簡單深度學(xué)習(xí)模型不是越大越好也不是從零訓(xùn)練的模型效果一定好。對于個人項目、小規(guī)模數(shù)據(jù)集預(yù)訓(xùn)練模型提供了在大型數(shù)據(jù)集上已經(jīng)學(xué)好的通用特征我們只需要微調(diào)最后一層或者全部參數(shù)就能在很短的時間內(nèi)獲得不錯的效果。等跑通之后再回頭寫一個簡單的 CNN理解卷積、池化這些概念效果會好很多。2. 數(shù)據(jù)準備與預(yù)處理決定模型上限的隱形功臣2.1 數(shù)據(jù)集獲取與目錄規(guī)劃做食物分類最常見的選擇是使用公開的食物數(shù)據(jù)集規(guī)模大的有幾十萬張圖覆蓋多種菜系。但零基礎(chǔ)階段我不建議一上來就搞大的類別多、圖片多訓(xùn)練時間長排查問題也麻煩。我當時的做法是先抽取 10 個類每類幾百張圖一共幾千張用來驗證思路。跑通之后再逐步擴大到完整類別。無論用什么數(shù)據(jù)集目錄規(guī)劃會直接影響后續(xù)代碼的簡潔程度。推薦按下面的結(jié)構(gòu)組織data/ ├── train/ │ ├── burger/ │ │ ├── 001.jpg │ │ └── ... │ ├── pizza/ │ └── ... └── val/ ├── burger/ │ ├── 101.jpg │ └── ... ├── pizza/ └── ...這樣用torchvision.datasets.ImageFolder可以直接讀取類名自動從文件夾名里解析順序按字母排序。千萬別把圖片和標簽放在 Excel 里再手動讀那樣增加一層不必要的復(fù)雜度。下載完數(shù)據(jù)后我強烈建議先隨機抽查一下圖片內(nèi)容確認數(shù)據(jù)和類名是否對得上。食物數(shù)據(jù)集的公共資源也可能存在少量標注錯誤尤其在類間相似度高的時候。這一步只需要打印幾張圖看看成本很低但能避免后面訓(xùn)了半天發(fā)現(xiàn)標簽是亂的。2.2 數(shù)據(jù)增強到底該做哪些先記住一個核心原則訓(xùn)練集要“折騰”驗證集要“規(guī)矩”。訓(xùn)練集的數(shù)據(jù)增強是用來模擬現(xiàn)實中千變?nèi)f化的拍攝條件的。我們拍照時食物可能正放、斜放、大小不一、光線不同如果模型只在干凈的圖片上訓(xùn)練到了真實場景就會很脆弱。常用的增強手段包括隨機縮放裁剪RandomResizedCrop相當于讓模型看不同比例、不同位置的局部內(nèi)容。隨機水平翻轉(zhuǎn)RandomHorizontalFlip讓模型學(xué)會鏡像對稱的食物。隨機旋轉(zhuǎn)RandomRotation應(yīng)對拍攝角度變化。顏色擾動ColorJitter調(diào)整亮度、對比度、飽和度模擬不同光線環(huán)境。不可濫用。如果任務(wù)本身對方向敏感比如識別文字就不要做隨意翻轉(zhuǎn)旋轉(zhuǎn)。食物分類這類任務(wù)方向不會改變類別本質(zhì)做這些增強是安全的。驗證集不需要增強但需要統(tǒng)一尺寸和歸一化。因為驗證集是對模型真實水平的客觀評估增強帶來的隨機性會影響評估的穩(wěn)定性和可復(fù)現(xiàn)性。驗證集的預(yù)處理通常是Resize到較大的尺寸再做CenterCrop剪到模型輸入尺寸。這樣能保證圖片內(nèi)容不因裁剪丟失太多。歸一化是新手最容易忽略的一步。預(yù)訓(xùn)練模型在 ImageNet 上訓(xùn)練時輸入圖片的像素分布有特定均值和標準差。我們用預(yù)訓(xùn)練模型做遷移學(xué)習(xí)輸入也應(yīng)該盡量服從同樣分布否則預(yù)訓(xùn)練特征的優(yōu)勢就大打折扣。標準值就是那組均值[0.485, 0.456, 0.406]標準差[0.229, 0.224, 0.225]不用自己算記住就能用。from torchvision import transforms train_transforms transforms.Compose([ transforms.Resize(256), transforms.RandomResizedCrop(224), transforms.RandomHorizontalFlip(), transforms.RandomRotation(15), transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_transforms transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])這里的Resize(256)是為了保證長邊縮放到 256然后RandomResizedCrop(224)或CenterCrop(224)裁出模型輸入尺寸。PyTorch 預(yù)訓(xùn)練模型的默認輸入是 224×224這個尺寸在計算成本和效果之間比較平衡。2.3 數(shù)據(jù)加載器的配置細節(jié)數(shù)據(jù)加載器決定了訓(xùn)練時如何把數(shù)據(jù)集一小批一小批地喂給模型。這里有幾個概念新手一定要理清batch_size是每批多少張圖epoch是整個訓(xùn)練集過完一遍iteration是處理一個batch的過程。一次訓(xùn)練通常由許多iteration組成所有iteration共同組成一個epoch。DataLoader的配置看似簡單但幾個參數(shù)能直接影響訓(xùn)練速度。from torch.utils.data import DataLoader train_dataset ImageFolder(rootdata/train, transformtrain_transforms) val_dataset ImageFolder(rootdata/val, transformval_transforms) train_loader DataLoader(train_dataset, batch_size32, shuffleTrue, num_workers4, pin_memoryTrue) val_loader DataLoader(val_dataset, batch_size32, shuffleFalse, num_workers4, pin_memoryTrue)shuffleTrue只在訓(xùn)練集使用。每次 epoch 前打亂數(shù)據(jù)順序避免模型學(xué)到數(shù)據(jù)排列中的偶然規(guī)律。比如文件夾里先全是第一類再全是第二類如果不打亂模型可能在連續(xù)的 batch 里只看到單一類別梯度更新方向會來回震蕩收斂變慢。驗證集不需要打亂因為評估結(jié)果和順序無關(guān)。num_workers是數(shù)據(jù)加載使用多少個并行進程。設(shè)為 0 的話數(shù)據(jù)加載在主進程中運行簡單但慢設(shè)為 4 或 8 通常能顯著提高吞吐量。不過 Windows 下進程并行需要把訓(xùn)練代碼包在if __name__ __main__:里否則可能報與多進程相關(guān)的錯誤。我第一次跑的時候就卡在這里改了入口后才順利。pin_memoryTrue對 GPU 訓(xùn)練有幫助。它讓數(shù)據(jù)保存在鎖頁內(nèi)存中GPU 拷貝數(shù)據(jù)更快。CPU 上訓(xùn)練時設(shè)不設(shè)都行影響不大。3. 模型搭建不是所有代碼都要自己寫3.1 從一個迷你 CNN 到遷移學(xué)習(xí)我見過很多教程一上來就貼一個完整的 CNN然后說“這就是模型”。但對零基礎(chǔ)的人來說那一堆nn.Conv2d、nn.BatchNorm2d、nn.ReLU、nn.MaxPool2d名詞很容易勸退。我的建議是先動手跑再回頭拆細節(jié)。如果你堅持想先看一個最簡單的 CNN 長什么樣下面是迷你版import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 16, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(16, 32, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(32, 64, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2), ) self.classifier nn.Linear(64 * 28 * 28, num_classes) def forward(self, x): x self.features(x) x x.view(x.size(0), -1) return self.classifier(x)這個網(wǎng)絡(luò)輸入 224×224 的彩色圖經(jīng)過三個池化層后空間尺寸變成 28×28通道數(shù)變成 64最后展平接全連接層。它能工作但在少量數(shù)據(jù)下效果一般而且訓(xùn)練收斂速度遠不如預(yù)訓(xùn)練模型。所以我更推薦用 PyTorch 里現(xiàn)成的預(yù)訓(xùn)練模型這也是大多數(shù)實際項目的做法import torchvision.models as models model models.resnet18(weightsmodels.ResNet18_Weights.DEFAULT)ResNet18屬于殘差網(wǎng)絡(luò)核心思想是在層與層之間增加“短路連接”讓梯度更容易從深層回傳到淺層。它是在 ImageNet 上預(yù)訓(xùn)練過的已經(jīng)學(xué)會了很多通用的視覺特征比如邊緣、紋理、形狀。我們要做的是在這個基礎(chǔ)上適應(yīng)新的分類任務(wù)。遷移學(xué)習(xí)的本質(zhì)就是把別人在超大數(shù)據(jù)集上花很長時間練出來的“通用視覺能力”拿過來然后在我們自己的小數(shù)據(jù)集上微調(diào)。這就好比你會開車換一輛車只需要適應(yīng)一下方向盤靈敏度而不是從學(xué)踩油門開始。3.2 替換分類頭與層結(jié)構(gòu)預(yù)訓(xùn)練模型原本的分類層是按 ImageNet 的 1000 個類別設(shè)計的最后是一個nn.Linear(512, 1000)ResNet18 是 512 維特征。我們的食物分類類別可能是 10 類、40 類所以必須把最后一層替換掉。num_classes 10 in_features model.fc.in_features model.fc nn.Linear(in_features, num_classes)model.fc在 ResNet 里是最后一個全連接層in_features是它輸入的維度。你不需要關(guān)心它前面經(jīng)過了什么樣的卷積層只需要知道特征維度是多少然后接一個大小匹配的分類頭就行。接下來還需要選擇訓(xùn)練策略。這里有兩個選項只微調(diào)最后一層把前面的卷積層參數(shù)全部凍結(jié)requires_gradFalse只在新的fc層上訓(xùn)練。優(yōu)點是訓(xùn)練很快占顯存少缺點是模型只調(diào)整了分類層前面通用的特征可能不完全適配食物這種細粒度任務(wù)。全部微調(diào)所有層的參數(shù)都參與更新模型能更充分地適應(yīng)新數(shù)據(jù)。數(shù)據(jù)量不太少時效果通常更好。缺點是訓(xùn)練時間更長容易過擬合新手需要配合數(shù)據(jù)增強和早停。我的實際經(jīng)驗是如果數(shù)據(jù)集只有幾千張圖類間差異不是特別大先試“只微調(diào)最后一層”把基線跑出來如果準確率不滿意再解凍更多層做全量微調(diào)。對于零基礎(chǔ)入門我更推薦直接全量微調(diào)因為食物分類的細粒度特征確實需要底層特征的參與而且全量微調(diào)在 ResNet18 這種小模型上的訓(xùn)練開銷完全可以接受。3.3 損失函數(shù)和優(yōu)化器選擇分類任務(wù)的默認選擇是nn.CrossEntropyLoss()。這個函數(shù)在 PyTorch 里做了兩件事先對模型輸出做 softmax再計算交叉熵損失。所以你的模型最后一層不要提前做 softmax直接輸出原始 logits 就行。計算損失時傳入模型的預(yù)測 logits 和真實標簽即可。CrossEntropyLoss有幾個好處數(shù)值上比手動 softmax 加 NLL 更穩(wěn)定而且它對類別不平衡有一定容忍度。對于食物分類這種類別相對均衡的任務(wù)基礎(chǔ)版本就夠了。優(yōu)化器的選擇同樣有講究。我最初圖省事用了torch.optim.Adam(model.parameters(), lr0.001)因為 Adam 自適應(yīng)學(xué)習(xí)率不太需要精細調(diào)節(jié)。Adam 在實際項目中確實省心尤其對新手不容易把學(xué)習(xí)率設(shè)得太離譜導(dǎo)致訓(xùn)練發(fā)散。如果你想更接近論文風(fēng)格可以試試帶動量的 SGDoptimizer torch.optim.SGD(model.parameters(), lr0.01, momentum0.9)SGD 往往在充分調(diào)參后效果更好但學(xué)習(xí)率、動量的組合需要經(jīng)驗。作為入門先上 Adam 是對的。學(xué)習(xí)率調(diào)度方面我建議加一個簡單的StepLR或CosineAnnealingLR。訓(xùn)練初期較大的學(xué)習(xí)率讓模型快速下降后期逐漸降低學(xué)習(xí)率讓損失在最小值附近收斂得更穩(wěn)。代碼長這樣scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max15)這里的T_max一般設(shè)為總的 epoch 數(shù)學(xué)習(xí)率會從初始值按余弦曲線降到接近 0。還有一個容易忽略的點如果使用了凍結(jié)部分層的策略model.parameters()會包含所有參數(shù)包括凍結(jié)的。凍結(jié)層的requires_gradFalse之后傳給優(yōu)化器時即使包含它梯度也是None不會更新但為了干凈通常直接傳入所有參數(shù)也沒問題。更細致的人可以只傳需要更新的參數(shù)列表但對這個小項目來說沒有太大區(qū)別。4. 訓(xùn)練循環(huán)與調(diào)參實戰(zhàn)4.1 標準訓(xùn)練循環(huán)的寫法訓(xùn)練循環(huán)是 PyTorch 項目里最核心、最模式的代碼。一旦你理解了這段循環(huán)以后所有模型都能套用。先明確每個 epoch 需要做的事把訓(xùn)練集所有圖片分成多個 batch逐個 batch 讓模型預(yù)測計算損失反向傳播更新權(quán)重完成整個訓(xùn)練集后在驗證集上計算當前模型的準確率判斷是否比之前更好。from tqdm import tqdm import torch def train_one_epoch(model, train_loader, criterion, optimizer, device): model.train() running_loss 0.0 correct 0 total 0 for images, labels in tqdm(train_loader): images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() * images.size(0) preds outputs.argmax(dim1) correct (preds labels).sum().item() total labels.size(0) epoch_loss running_loss / total epoch_acc correct / total return epoch_loss, epoch_acc有幾個細節(jié)新手必須理解model.train()和model.eval()不是擺設(shè)。像 BatchNorm、Dropout 這些層在訓(xùn)練和推理時行為不一樣。訓(xùn)練時 BN 會根據(jù)當前 batch 統(tǒng)計均值方差Dropout 會隨機丟棄神經(jīng)元推理時要用固定的統(tǒng)計量和不丟棄。忘記切換會在驗證階段得到很詭異的結(jié)果。optimizer.zero_grad()一定要在每個 batch 前調(diào)用。PyTorch 的梯度是累積的如果不手動清零上一個 batch 的梯度會疊加到當前 batch 上導(dǎo)致更新方向混亂。outputs.argmax(dim1)是取每一行最大值對應(yīng)的索引也就是預(yù)測類別。preds labels返回布爾向量sum()得到該 batch 中預(yù)測正確的數(shù)量。loss.item()用于從 loss 張量中取出 Python 浮點數(shù)。注意必須在loss.backward()之前或者之后調(diào)用都可以但只用于記錄不能影響梯度計算。4.2 驗證與保存最優(yōu)模型驗證集的作用是模擬模型在沒見過數(shù)據(jù)上的表現(xiàn)。每個 epoch 后我們把模型切到eval()模式下跑一遍驗證集torch.no_grad() def validate(model, val_loader, criterion, device): model.eval() running_loss 0.0 correct 0 total 0 for images, labels in val_loader: images, labels images.to(device), labels.to(device) outputs model(images) loss criterion(outputs, labels) running_loss loss.item() * images.size(0) preds outputs.argmax(dim1) correct (preds labels).sum().item() total labels.size(0) return running_loss / total, correct / totaltorch.no_grad()是驗證的關(guān)鍵。它告訴 PyTorch 不需要記錄梯度因為驗證階段只做前向傳播不需要反向傳播。這樣能省顯存、加快速度也避免誤調(diào)用.backward()導(dǎo)致梯度累積。訓(xùn)練過程中我習(xí)慣保存“驗證集準確率最高”的模型而不是最后一個 epoch 的模型。原因是最后一個 epoch 不一定是最好的有時候已經(jīng)過擬合了。best_acc 0.0 for epoch in range(num_epochs): train_loss, train_acc train_one_epoch(model, train_loader, criterion, optimizer, device) val_loss, val_acc validate(model, val_loader, criterion, device) scheduler.step() print(fEpoch {epoch1}/{num_epochs} | fTrain Loss: {train_loss:.4f} | Train Acc: {train_acc:.4f} | fVal Loss: {val_loss:.4f} | Val Acc: {val_acc:.4f}) if val_acc best_acc: best_acc val_acc torch.save({ epoch: epoch, model_state_dict: model.state_dict(), optimizer_state_dict: optimizer.state_dict(), best_acc: best_acc, }, best_model.pth) print(fBest model saved, val_acc{best_acc:.4f})保存時用字典包起來是個好習(xí)慣。只保存model.state_dict()也夠用但帶上 epoch、優(yōu)化器狀態(tài)等信息以后想接著訓(xùn)練或者看信息就方便了。4.3 關(guān)鍵超參數(shù)和訓(xùn)練技巧超參數(shù)不靠背靠試和觀察。我第一次訓(xùn)練時就是踩了不少坑下面是一些比較實用的經(jīng)驗先用幾十張圖跑一個 batch 或幾個 step確保前向、反向、更新的代碼沒有 bug。我習(xí)慣在正式訓(xùn)練前取一個 batch 數(shù)據(jù)過一遍比如loss能正常下降再從完整數(shù)據(jù)開始。這樣能省掉大量反復(fù)試錯的等待時間。學(xué)習(xí)率用1e-3起步比較穩(wěn)。如果發(fā)現(xiàn) loss 震蕩劇烈就把學(xué)習(xí)率降為原來的十分之一再試。如果 loss 下降非常慢可能是學(xué)習(xí)率太小適當調(diào)大。固定隨機種子能讓結(jié)果可復(fù)現(xiàn)。在數(shù)據(jù)加載和模型初始化前調(diào)用torch.manual_seed(42)如果用了 GPU 再調(diào)用torch.cuda.manual_seed_all(42)。雖然不能做到嚴格百分之百復(fù)現(xiàn)但能減少很多奇怪的不確定性。監(jiān)控驗證集準確率而不是訓(xùn)練集準確率。訓(xùn)練集準確率 90% 但驗證集只有 60%說明過擬合了這時候不是繼續(xù)訓(xùn)練而是找辦法正則化。訓(xùn)練輪數(shù)不要貪多。使用預(yù)訓(xùn)練模型加數(shù)據(jù)增強10~20 個 epoch 通常就能看到收斂。小數(shù)據(jù)集下跑 50 個 epoch 往往是浪費時間還會增加過擬合風(fēng)險。如果顯卡有amp自動混合精度可以嘗試開啟scaler torch.cuda.amp.GradScaler() with torch.autocast(device_typecuda): outputs model(images) loss criterion(outputs, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()混合精度訓(xùn)練能減少顯存占用同時訓(xùn)練速度提升不少。對新手來說不是必須但用起來也不難可以等流程跑通后再加。5. 模型評估與結(jié)果可視化5.1 準確率不夠還要看混淆矩陣訓(xùn)練結(jié)束后我們通常先看一個總體準確率。但準確率只能告訴你“模型有多好”不能告訴你“模型在哪里不好”。比如模型把“炸雞”識別成“薯條”和把“壽司”識別成“刺身”這兩類錯誤的含義完全不同?;煜仃嚹芊浅V庇^地展示類別之間的互相混淆。它的每一行代表真實類別每一列代表預(yù)測類別對角線上的數(shù)字越大越好非對角線上的點代表錯誤。from sklearn.metrics import confusion_matrix import numpy as np all_preds [] all_labels [] model.eval() with torch.no_grad(): for images, labels in val_loader: images, labels images.to(device), labels.to(device) outputs model(images) preds outputs.argmax(dim1).cpu().numpy() all_preds.extend(preds) all_labels.extend(labels.cpu().numpy()) cm confusion_matrix(all_labels, all_preds)畫熱力圖時可以按類別數(shù)量調(diào)整圖片大小類別多就用大一點畫布。如果看到某兩類互相混在一起比如“炸雞”和“炸魚”混淆嚴重說明它們在紋理或顏色上確實接近這時候可以考慮加強數(shù)據(jù)增強中的顏色擾動或者收集更多這類樣本。5.2 從錯誤樣本找出模型短板只看指標永遠不夠把預(yù)測錯誤的圖片真正打開看一眼你會迅速理解模型的困境。我寫了一個小的可視化邏輯遍歷驗證集找出preds ! labels的圖片把原圖、真實標簽、預(yù)測標簽、預(yù)測概率畫在一張圖上。這部分代碼量不大但對判斷問題特別有效??戳隋e誤樣本后常見的發(fā)現(xiàn)有以下幾類數(shù)據(jù)標注錯誤圖片里明明不是那個菜標簽是錯的。這種問題只能靠人工修正。圖片過于相似比如不同菜系的“紅燒肉”外觀很像。這種情況模型表現(xiàn)不佳是可以理解的需要更細的類別定義或更多樣本。圖像質(zhì)量差過暗、過糊、被遮擋?,F(xiàn)實中拍照經(jīng)常這樣可以考慮在訓(xùn)練集加更強的數(shù)據(jù)增強甚至用模糊增強模擬噪點。錯誤樣本分析不是什么高深技術(shù)但它能幫你建立直覺模型到底是在學(xué)食物本身還是在學(xué)背景顏色、盤子形狀。這個直覺對以后做任何視覺任務(wù)都有幫助。5.3 用訓(xùn)練好的模型預(yù)測單張圖模型訓(xùn)練好了最終目的是給一張新圖片預(yù)測類別。加載模型的方式checkpoint torch.load(best_model.pth, map_locationdevice) model.load_state_dict(checkpoint[model_state_dict]) model.to(device) model.eval()單張圖片的預(yù)處理必須和驗證集保持一致尤其是Resize、CenterCrop、Normalize這三個步驟。很多人直接在讀圖后縮放到 224×224 就喂給模型結(jié)果發(fā)現(xiàn)準確率驟降就是因為沒有做CenterCrop和Normalize。from PIL import Image def predict_image(image_path, model, class_names, device): image Image.open(image_path).convert(RGB) tensor val_transforms(image).unsqueeze(0).to(device) model.eval() with torch.no_grad(): outputs model(tensor) probs torch.softmax(outputs, dim1) top_prob, top_idx probs.max(dim1) return class_names[top_idx.item()], top_prob.item()softmax把 logits 轉(zhuǎn)成概率max(dim1)取最大值對應(yīng)的類別。說實話這里直接argmax也能得到類別但用softmax能額外看到概率值方便判斷模型是確信還是猶豫。如果概率低于 0.5說明模型信心不足這時候要么模型對該類沒見過足夠多樣本要么圖片與訓(xùn)練集分布差異太大。實用一點的做法是設(shè)置一個閾值低于閾值就返回“無法確定”這在真實業(yè)務(wù)場景里很有價值。6. 常見問題與排查技巧實錄6.1 訓(xùn)練 loss 一直不下降最讓人沮喪的情況就是訓(xùn)練了好幾輪loss一直在初始值附近波動幾乎沒有下降。這時候不要盲目調(diào)學(xué)習(xí)率按順序排查以下問題首先檢查數(shù)據(jù)是否真的被正確讀取了。打印一個 batch 的形狀和標簽范圍。圖片是 3 通道大小和模型輸入匹配標簽從 0 到 num_classes-1沒有越界。如果標簽不是從 0 開始的連續(xù)整數(shù)CrossEntropyLoss會對不上。其次檢查歸一化是否忘寫了。如果圖片沒做Normalize像素值在 0~255 之間預(yù)訓(xùn)練模型的輸入分布被破壞可能讓 loss 不收斂。然后檢查學(xué)習(xí)率是否過大或過小。過大時 loss 會跳來跳去甚至變成 NaN過小時 loss 緩慢但一直不降。以 Adam 為例1e-3是個不錯的起點如果不降可以試1e-4或3e-4。最后建議做一次“小樣本過擬合測試”只取 20 張訓(xùn)練圖片不放增強強制讓它擬合。如果小樣本上 loss 能降到接近 0說明模型和訓(xùn)練流程沒問題問題出在數(shù)據(jù)量或數(shù)據(jù)分布上如果小樣本也降不下去問題大概率在輸入處理或代碼邏輯。6.2 GPU 顯存不夠很多人的顯卡顯存只有 4GB 或 6GB訓(xùn)練一個 ResNet18 雖然夠用但如果 batch_size 設(shè)置得太大會立刻報CUDA out of memory。解決策略按優(yōu)先級排序降低batch_size。從 32 降到 16 或 8顯存占用成比例下降。代價是每個 epoch 的迭代次數(shù)變多訓(xùn)練時間變長一點。降低輸入尺寸。ResNet18 雖然默認是 224但用 192 或 160 也能運行。不過輸入越小信息損失越大準確率可能輕微下降不推薦新手一開始就改。驗證和預(yù)測時用torch.no_grad()。如果忘了加驗證集也會建計算圖顯存占用會明顯上升。開啟混合精度AMP。在 4.3 小節(jié)提到的autocast和GradScaler能減少約一半顯存占用而且速度通常更快。如果嘗試以上方法后仍然不夠還有一個辦法是換更小的模型。ResNet18已經(jīng)算小的了可以考慮ResNet18之外更輕量的MobileNetV3或EfficientNet-B0。這些模型專門為移動端設(shè)計參數(shù)量更少訓(xùn)練更快適合資源有限時使用。6.3 訓(xùn)練準確率很高但驗證集很低這是典型的過擬合信號。訓(xùn)練準確率 95% 以上但驗證集只有 70%說明模型沒有學(xué)到泛化的規(guī)律而是記住了訓(xùn)練集中的細節(jié)或者噪聲。過擬合的應(yīng)對手段有很多我按實用程度排序增加數(shù)據(jù)增強。訓(xùn)練集已有的增強如果不夠“狠”可以加RandomRotation的角度、ColorJitter的幅度甚至加RandomAffine。要讓模型在更多變體中學(xué)習(xí)不變特征。使用正則化。在CrossEntropyLoss中沒有自帶正則你可以給優(yōu)化器加weight_decay。Adam 的weight_decay一般設(shè)1e-4或1e-5能有效抑制大權(quán)重。減少模型容量。如果你已經(jīng)用了很大的預(yù)訓(xùn)練模型考慮換更小的模型或者只微調(diào)最后兩層。參數(shù)量越少越不容易記住噪聲。早停。觀察驗證集準確率一旦連續(xù)幾個 epoch 沒有提高就停止訓(xùn)練恢復(fù)之前保存的最佳模型。檢查驗證集是否“臟”。如果你把訓(xùn)練集里的一部分圖片也混進了驗證集模型在驗證集上表現(xiàn)好就是假象。目錄劃分時一定保證類別文件不重疊。還有一個被很多人忽略的問題數(shù)據(jù)增強只有在訓(xùn)練集上做驗證集不要做。如果為了“公平”給驗證集也加了隨機翻轉(zhuǎn)驗證集每次評估結(jié)果都會有波動而且這種波動并不代表模型的真實能力。6.4 可視化中的中文字體亂碼折騰到畫混淆矩陣和錯誤樣本時你大概率會遇到中文字體顯示成方框的情況。這是因為 matplotlib 默認字體不支持中文。最省事的辦法是在繪制圖之前設(shè)置字體import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei, Microsoft YaHei] plt.rcParams[axes.unicode_minus] False但前提是系統(tǒng)里已經(jīng)裝了對應(yīng)字體。如果沒有不少人的做法是把所有類別標簽映射成英文拼音或者英文翻譯畫圖時顯示英文。這樣其實更省心因為在命令行和大多數(shù)圖表環(huán)境中英文的兼容性最穩(wěn)定。如果你是在演示項目標簽直接顯示中文當然更友好那就按上面的配置調(diào)字體。6.5 一些容易忽略但很實用的小細節(jié)最后分享幾個我在實際項目中反復(fù)用到、但教程里很少強調(diào)的小細節(jié)。模型和數(shù)據(jù)的設(shè)備一定要統(tǒng)一。最常見的報錯就是“Expected all tensors to be on the same device”通常是因為模型在了 GPU數(shù)據(jù)還在 CPU。解決辦法就是訓(xùn)練循環(huán)里把每個 batch 的images和labels都.to(device)模型在定義后也.to(device)。計算準確率時outputs.argmax(dim1)出來的結(jié)果和labels的類型要能直接比較。如果labels也是 LongTensor直接用就行如果不放心可以.long()統(tǒng)一一下。對新手來說盡量別在一開始就追求復(fù)雜的分布式訓(xùn)練或混合精度那些花活。先把 CPU/GPU 訓(xùn)練跑穩(wěn)再逐步嘗試優(yōu)化。我在最初做食物分類時連tqdm都不用每次訓(xùn)練只能干等著后來加了進度條那種隨時能看到進度的感覺對保持耐心幫助很大。還有一個小技巧訓(xùn)練時每多少個 step 打印一次 batch 損失不要等一個 epoch 結(jié)束才看。因為 epoch 結(jié)束往往要好幾分鐘中途看了才能及時發(fā)現(xiàn)問題。我習(xí)慣在每 50 或 100 個 iteration 的時候打印一次當前 loss這樣能更早發(fā)現(xiàn)學(xué)習(xí)率是否合適。如果你已經(jīng)跑通了上面的流程恭喜你你已經(jīng)具備了做一個圖像分類項目的基礎(chǔ)能力。接下來可以往兩個方向走一是增加類別數(shù)把模型換成 ResNet50 或 EfficientNet探索更多預(yù)訓(xùn)練模型的效果二是把訓(xùn)練代碼整理成可復(fù)用的模板加入命令行參數(shù)、日志系統(tǒng)、更多評估指標讓它成為一個真正屬于自己的項目框架。食物圖片分類雖然小但模型訓(xùn)練的整套思路在里面是完整的。把它吃透后面再接觸目標檢測、圖像分割這些復(fù)雜任務(wù)時你會發(fā)現(xiàn)自己不是從零開始了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
另类激情五月| 日韩成人免费电影| 五月综合久久| 亚洲人人操| 91精品久久久久久久久| 噜噜色com| 激情婷婷五月少妇| 免费色婷婷| 色天堂在线| 日本激情ⅩXX免费视频| 人橾人| 啪色综合| 99热这里只有是亚洲国产| 激情五月综合久久| 欧美久久久中文字幕| 天堂综合久| 婷婷精品在线| 久久99精品久久久久久三级| www99精品日韩| 久久精品系列| 五月天色婷婷激情| 操逼棍操逼| 久热 91| 小香蕉av| 精品人妻伦九区久久AAA片| 婷婷播5月| 日本美女天天日天天爽| 亚洲激情网| 字母不卡码人逼| 色香蕉影院| 五月婷婷视频ab| 色99日韩| 丁香五月综合激情啪啪| 激情五月综合久久| 天天插天天射天天干| 麻豆AV一区二区三区| 91九色熟女| 激情播丁香| 五月婷婷综合激情网| 日本色啪| 丁香色婷婷| 狠狠狠狠狠| 色婷五月| 伊人AV五月婷| 99热这里只有精品在线免费| 另类天堂| 99热这里只有精品8| 99久久婷婷五月综合| www夜夜操comwww| 婷婷六月丁香在线| 思恩热国产视频右线观看| 超碰精品国产首页| 成人免费在线电影| 久久五月网| 伊人久久中文网| 婷婷五月精品| 久久色五月天| 五月丁香六月婷| 午夜爱插插| 丁香五月最新网址| 五月丁香啪啪综合| 婷婷五月天丁香| 色婷婷久久综合| 丁香久久综合| 六月婷婷之青青草| 五月婷丁香亚洲| 五月天色婷婷图片| 亚州色色色| 激情网综合| 激情综合亚洲色婷婷五月| 激情五月天视频| 国产三级片91| 99热视| www.婷婷网| 五月丁香婷成人网| 狠狠操天天操综合| 五月婷婷丁香俺日污视频| 日韩精品二三区| 99热这里只有精品18| 色五月丁香五月婷婷五月成人网| WW婷婷五月天com| 丁香六月啪啪| 大香人妻| 性爱网五月天| 五月丁香六月综合激情网| 色五月成人在线| 欧美色色网| 婷婷综合网伊人| 超碰人人操| 97在线/亚洲| 色五月琪琪| 99久久亚洲精品视频| 大香蕉综合网| 五月丁香六月激情综合欧美| 国产亚洲99久久精品| 九九热九九| 风流少妇A片一区二区蜜桃| 丰满少妇乱A片无码| 色99久草在线| 人妻性爱av网站| www.狠狠狠狠| 久久激情天堂| 婷婷不卡基地| 丁香五月综合久久八| www.sd-xiangsu.cpm| 五月天婷婷高清无码| 成人丁香五月| 日本人妻伦在线中文字幕 | 日韩色色小视频| 色五月激情视频在线综合| 国产日批视频免费播放| 色停停五月,在线观看| 成人视频在线免费播放| 婷婷五月天综合网| 九九热99久久99| 中文字幕婷婷| 色情五月婷| 26uuu青青| 婷婷成人综合免费视频| 激情五月,激情综合网| 色综合九九| 风流少妇A片一区二区蜜桃| 毛片九九九九九九九九18| 五月婷六月| 丁香五月丁香伊人| 色色亚洲| 亚洲AV成人片无码网站| 天天天久久人人人合| 综合99视频| 国产精产国品一二三在观看| 色婷av| 超碰亚洲欧美| 激情五月天啪啪| 99色网站| 婷婷五月乱交换| 婷香五月| 日韩成人AV在线| 涩丁香| 久久婷婷五月天激情新地址| 超碰人人艹| 大香蕉丁香婷婷| 天天操B| 午夜色丁香| 激情五月综合网| 色九九九综合| 秋霞电影理论| 2025超碰| 五月天色婷婷基地| 超极99精品| 六月综和久久| 国产成人精品123区免费视频| 久久婷婷五月天| 婷婷丁香视频| 伊人激情影院| 五月天婷婷激情在线色图| 这里只有精品视频在线看| 青草五月天| 欧美五月婷婷| 97操碰| 亚洲天堂有码| 五月天激情图片| 婷婷97色| 色色色com| 91人人妻人人操人人爽| 五月丁香六月婷婷国产视频| 久九九热| 婷婷色五月激情强奸四射| 拍真实国产伦偷精品| 日本三级日本三级三级人妇四虎| 丁香九月婷婷色| 看片视频在线免费日产在线看| 狠狠草狠狠草| 五月天色狠狠| 在线视频区| 亚洲丁香五月深爱五月| 色五月亚洲| 蜜乳A√| AA片在线观看视频在线播放| 开心日韩丁香婷婷五月| 激情婷婷五月社区| 五月丁香六月情| 九九九九中文字幕| 久久激情五月| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 五月天色婷婷基地| 婷婷伊人综合| 久久久久这里只有精品| 九色七七| 人妻体体内射精一区二区| 色婷婷在线综合色播网| 日本人妻伦在线中文字幕| 欧美婷婷五月激情| 97香蕉人人在线观看| 丁香五月激情婷婷婷婷在线观看| 三日本无码| 凹凸操Av| 97在线视频观看| 99久热| 开心五月丁香综合久久| 99久精品| 国产AV一区二区三区日韩| 六月色色婷婷| 丁香六月色婷婷| 青草五月天| 思思热在线精品视频网站| 91美女艹逼网站| 九色视频91疯狂| 婷婷免费精品视频| 9久久精品视频| 亚洲熟妇无码乱子AV电影| 婷婷五月激情四月综合| 亚洲成人av在线观看| 婷婷99视频精品| 九九爱这里只有精品| 日本91在线播放| 97九色视频| AV色五月婷婷| 九九99九九精品视频| 毛片新网地| 碰碰操91| www婷婷色| EEUSS鲁片一区二区三区| 超碰免费在线| 日韩人人操| 国产99热| 国产.亚洲.欧洲视频在线| 精品久久人妻热| 丁香六月丁香婷婷激情| 婷婷狠狠操| 99热这里只有精品16| 久久久.COM| 激情四射五月天| 97色色在线视频| 五月丁香| 97精品在线| 色99综合色88| 熟女人妻一区二区三区免费看 | 免费不卡狠操美女视频网| 久久99网站| 亚洲狠狠丁香婷婷香蕉| 久久色五月| 丁香五月激情性色郤| 九九九九国产| 色婷婷先锋| 丁香六月成人| 国精产品一区一区三区免费视频| 婷婷五月丁香六月天亚洲综合| 91男人资源站| 久久探花91swag| 蜜桃人妻无码AV天堂三区| 99热在线观看免费精品| 五月天玖玖狠狠色色| 97人妻碰碰碰久| 天天日色情| 综合婷婷| 大学生高潮无套内谢视频| 99热新网址| 五月丁香啪啪伦理电影| 色 色 色综合com| 先锋男人99资源| 久久机热这里只有精品免费视频| 色伦专区97中文字幕| 日日噜狠狠色综合久| 久久性爱网站| 99热这里只有的精品视| 提提热五月天婷婷| 天天天摸夜夜夜玩| 婷婷五月天开心激情网| 天天影院色| 久久久区区一久久久久久| 五月婷婷六月丁香激情深爱| 色九亚洲| 亚洲国产成人在线| 永久免费一区二区三区| 激情性爱网站| 黄页免费一级视频懂色| 激情亚洲婷婷| 日木狠狠干| 9热在线观看| 亚洲婷婷激情综合激情999精品| 大香蕉婷婷五月天| 色五月婷婷老师| 欧美日朝成人| 男男野外做爰全过程69| 蜜乳av一级av| 色五月婷婷大香蕉| 婷婷丁香社区网| 久热无码| 丁香五月婷婷六月婷| 99爱这里只有精品| 婷婷五月天亚洲综合| 久热精品视频| 丁香五月天亚洲视频| 天天综合色| 美女精品一级不卡视频| 色婷婷综合网站| 人妻av在线| 天天操夜夜操| 五月色激情综合网| 丁香六月激情四射| 天天上天天爽| 五月丁香在线看| 五月丁香色综合| 婷婷色丁香五月| 26uuu国产| 国产毛片操B| 婷婷狠狠狠爱| 成人一级片| 色丁香婷婷| 久久久.COM| aaaaa不卡| 人妻五月天激情开心网| 九九热精品| 97婷婷狠狠| 91丨九色丨大屁股| 91欧美日韩| 99热老网站| 天天操夜夜玩!| 久久人人超| 电影蜘蛛女| 婷婷成人五月天一区| 二色AV| 亚洲婷婷91丁香| 六月婷婷香蕉| 玖玖综合色| 婷婷激情五月视频| 丁香五月婷婷啪啪| 天天综合天天做天天综合| 五月丁香婷婷啪啪| 婷婷综合成人五月天| 成人婷婷五月天| 国产精品国产VA片国产| 日本婷婷色日| 日韩一级片| 五月丁香六月激情综合| 成人午夜无码视频| www.99视频| 亚洲精品国产A久久久久久| 九八Av| 国产在线激情视频| 日本A片一区| 97亚洲婷婷| 无码四色色色| 婷婷色狠狠| 丁香五月天综合| 五月丁香啪啪啪综合网| www99精品| www.色五月| 久久性爱网| 丁香五月婷婷www..com| 婷婷丁香九月| 久久机只有这里精品| 天天干天干| 久久婷婷91| 人妻久久久| 中文字幕人妻一区二区| 玖玖爱综合网| 婷婷射图五月天| 日韩精品一区二区亚洲AV观看 | 狠狠香婷婷五月| 就爱啪啪婷婷| 色99热| 国产精品a无线| 五月色激情综合网| 婷婷欧美色| 午夜丁香五月天综合| 狠狠激情五月天| 久久综合丁香| 婷婷久久色| 婷婷99视频全集高清| www.五月天婷婷| www.国产亚洲69ty.久久久久久久久久久久 | 天天日,夜夜爽| 丁香激激情网| 99免费视频| 97搞在线| 免费精品66| 亚洲激情另类| 欧美顶级少妇做爰HD| 久久天堂色| 九九蜜臀精品| 91九色熟女| 久久一级AV| 99久久精品色老| 开心五月激情婷婷| 五月婷在线| 免费看无码视频A级| 午夜大香蕉| 深爱开心五月天| 日本一毛片| 色色色香蕉五月婷| 先锋资源996| 久久与婷婷| 99五月香婷婷丁香在线视频| 五月激情婷婷综合| 深情五月天| 久久久国产精品黄毛片| 亚洲色精彩| 五月狠狠| 超碰免费人妻| 九九热在视频| 亚洲精品婷婷| 六月丁香激情| 色深爱五月| 99在线精品免费视频| 婷婷色丁香五月| 26uuu欧美日本| 97caop| 亚洲一级色电影| 婷婷六月激情| 激情电影五月婷婷| 激情丁香图片| 欧美激情-区二区三区| 丁香五月婷婷88在线| 五月婷婷啪啪| 色五月婷婷天天干| 婷婷色色五月| 日韩五月天婷婷| 大香蕉人妻| 97操视频| 色五月天电影| 亚洲激情亚洲激情| 九九99精品| 91久久99久久91熟女精品| 91人操人人人操人| 丁香五月手机在线| 99精在线| 玖玖视频福利| 国产亚洲精品久久久久久郑州| 激情色色| 另类小说五月天| 久热人妻| 色10月婷婷视频| 91狠狠综合久久久久久| 丁香五月婷婷婷婷欧美综合| 内射爽无广熟女亚洲| 99热99网| 99热久久这里只有精品| 久噜久噜| 密臀av无码人妻精品| 久久99网| 99爱爱网| 亚洲色啪| 丁香五月色播中文在线播放| 久/久精品99看9| 另类色视频| 少妇人妻人伦A片| 五月婷婷黄色| 免费看欧美成人A片无码| 丁香五月aV| 五月丁香成人| 丁香五月网络网络| 日日操无码| 热99热9| 久久久香港| 婷婷成人视频| 五月丁婷香| 99精品视频在线观看| 99成人精品| 欲色人妻| 婷婷色导航| 99热精品10| 亚洲欧美日韩VIP| 爱草视频在线| 婷婷第一页| 六月婷婷激情| 五月婷六月丁| 天天操加勒比| 香蕉久操| 99热国产免费| 99综合视频在线| 在线中文AV| www,婷婷五月天,com| 色五月婷婷激情基地| 97久久超碰| 久久在线视频只有这里有精品| 婷婷五月综合色拍| 久久这里面只有精品视频| 亚洲久久天堂| 丁香婷婷性爱| 欧美天天干天天草| 国产成人+综合亚洲+天堂| 丁香五月婷婷基地| 亚洲女婷婷五月基地综合久久久| 熟女人妻视频| 久青操| 狠狠狠狠狠狠狠狠狠狠狠色宗合图片| 精品人妻一区| 亚洲五月天激情| 狠狠干综合| 96丁香婷婷九月蜜桃综合久久| 亚洲中文乱字字幕线在永久| 丁香九月婷婷综合| 婷婷六月成人| 色情五月综合婷婷| 丁香五月在线自慰| 思思精品热在线| 大香蕉久久久| 国产精品天天狠天天看| 国产精品国产| 狠色色狠网| 五月婷婷深深的爱| 视频1区2区| 中文中文在线| 九九这里有精品| 久久婷婷五月| 婷婷狠狠五月综合| 中美日韩成人在线| 色情五月| av亚洲国产小电影| 五月婷婷婷婷| 久大香蕉| 丁香五月婷婷日本| 五月丁香 久久久| 欧美图片丁香五月天| 五月婷婷碰碰| 99在线精品免费视频| 丁香五月婷婷视频| 五月婷婷丁香综合网| 天天摸天天舔天天爽| 欧美日本高清视频99| 国外亚洲成AV人片在线观看| 人妻啪啪啪| 五月天操逼网| 天天色视频| 五月丁香婷婷国产精品综合| 九艹在线| 婷婷性爱视频在线| 超级碰碰碰久久网站| 2018国产大陆天天弄| 99久久久| 黄网免费看| 激情文学五月丁香六月婷婷| 色丁香五月婷婷在线| 狠狠另类视频| 激情网狠狠干| 插少妇综合网| 日日操无码| 色和综合网| 国产精品A成V人在线播放| 丁香六月啪| 久久亚洲无码| 啪啪激情综合| 久久久WWW| 婷婷丁香色情| 丁香九月婷婷综合| 九九av| 五月丁香婷婷色| 久久激情五月婷婷| 99综合| 天天色综网| 成人AV在线网站| 99在线播放视频| 玖玖婷婷五月天| 99热这里只有精品首页| 99人妻碰碰碰久久久久视| 丁香五月天成人网站| 激情五月婷婷五月| 五月婷婷狠狠干| 激情综合区| 99久在线精品99re8热| 五月综合无码| 六月婷婷综合| 色99综合色88| 久久激情五月| 久月久在线视频| 99爱在线| 一区操| 大香AV| 激情九九六月激情免费视频| 欧美影院婷婷| 丁香五月天色综合| 成 久久| 无月播播激情在线观看视频| 欧美Va在线| 五月婷婷基地| 91大神操美女| 少妇大叫太大太粗太爽了A片 | 久久五月天精品视频| 日韩有码一区| 久久综合首页| 99视频久久免费视频| 五月丁花色综合网| 婷婷八月丁香激情综合| 婷婷黄色| 日日躁夜夜躁狠狠久久AV| 五月天婷a在线| 五月婷婷黄色毛片| 五月综合亚洲色| 狠狠久综合| 久久这里都是精品免费| 99re熱| 在线观看玖玖资源免费观看| 五月天停婷基地| 久久综合五月| 五月Huangsewang| www.com.色色| 青青草a在线| 极品人妻videosss人妻| 五月天丁香成人| 激情av| 亚洲中文AV网站| 黄色五月婷婷| 久久九九蜜| 深爱激情五月网| 色婷婷丁香五月| 伊人久久婷婷五月综合97色| 婷婷丁香九月| 欧美激情综合色综合| 日本久久高清| 97操资源婷婷| 狠狠色婷婷在线| 激情五月综合网最新 | 欧美超级视频97| 九九久久五月天| 久机视频这只有精品| 北京熟妇搡BBBB搡BBBB| 五月天之色情综合网| 五月大香蕉| 六月婷婷激情小说网| www.色综合.com| www九九免费视频| 成人AV播放| 久久只有精| 综合婷婷都市激情| 河北真实伦对白精彩脏话| 五月婷婷偷拍| 99爱在线观看视频| 国产AV一区二区三区日韩| 色吧99| 777.色色| 欧美三日本三级少妇三99| 五月美女婷婷风骚| 丁香狠狠| 久久综合九九| 五月天婷婷社区久久综合| 思思99热热热99| 天天操夜夜操| 婷婷六月天| 激情五月婷婷伊人| 久久女人天堂| 五月香婷婷| 97视频久久| 婷婷五月激情六月| 色五月综合网站| 激情五月婷婷在线区| 伊人五月婷婷| 毛片九九九九九九| 99爱无码| 色综色网| 久久人妻情侣| 欧美成人AAA片一区国产精品 | 熟女五月天久久综合| 婷婷六月啪啪| 成人在线综合| 五月激情久久综合网| .精品久久久麻豆国产精品| 婷婷天堂综合| 99自拍视频在线| 婷婷五月电影| 99热这里全都是精品| 激情五月丁香五月色| 站长推荐无码播放| 99精品久久久| 高清视频一区| 亚洲免费婷婷| 婷婷五月综合婷婷| 亚洲欧洲另类| 丁香六月色情| 免费看欧美成人A片无码| 日韩人妻无码一区二区| 蜜桃人妻无码AV天堂三区| 天天开心婷婷丁香五月| 黄色激情五月天| 婷婷五月日本| 亚洲免费婷婷| 日韩人人操| 久久丁香五月婷婷| 超碰啪啪网| 六月丁AV| 久久aaaaa| 99热精品无码| 九九人人精品| 99精品在线观看视频| 日韩 中文 欧美| 五月婷婷影院| 99爱视频精品| 五月激情在线| 最新五月天婷婷影| 婷婷五月日本| 色五月成人| www.黄色片-久久成人国产精品在线播放-999AV | 无码人妻激情| 丁香五月欧美色综合| 亚洲精品亚洲人成人网| 日韩色色小视频| 亚洲无码99| 五月丁香综合啪啪対白| 综合久久十三| 99热这里都是精品| 青草青草久热这里只有精品| 熟妇人妻中文字幕无码老熟妇| 中文字幕综合色| 久久五月天网| 成人做爰A片免费看网站找不到了| 午夜婷婷六月天| 色天堂婷婷| 五月婷婷激情综合视频| 亚州综合色| 久久性爱视频| 思思热性操 | yazhoujiqingav| 五月香蕉婷婷| 在线不卡AC| 夜丁香综合| 日韩伊人大香蕉| 久久激情五月天| 五月停停直播| 91九色PORNY肉丝在线| 欧美色色色色色色色色色色影视| 色五月激情五月| 欧美综合五月丁香六月婷| 色婷在线视频| av中文在线| 五月丁香六月婷婷无码| 欧美精品99久久久| 五月丁香婷婷狠狠操| 久99久精品视频| 色色色婷婷五月天| 久久您您综合网| 综合99久久| 综合热无码| 97婷婷丁香| 51精品国自产在线| 久久五月激情综合| 狠狠色综合五月| 亚洲六月婷婷| 欧美69久成人做爰视频| 国产精品社区| 色色影院aaaav| 色播播婷婷| 国产一二区爆乳_1国产日韩一区二区三-成人AV| 中文AV网| 99热日韩这里只有精品| 日韩在线观看亚洲| 亚洲妇女熟BBW| 五月丁香六月激情综合| 停停五月天激情网| 婷婷五月天激情在线观看| 成人短视频在线观看| 色999五月色| 伊人五月天97| 亚洲久久天堂| 六月丁香啪啪| 中文字幕在线不卡| 五月天婷婷激情在线色图| 午夜免费试看| 亚州婷婷五月激情综合| 国产精品18久久久| 五月激情啪啪| 色五月亚洲| 亚洲天堂亚洲色色色| 99在线视频资源| 日韩av手机在线观看| 五月丁香在线观看| 激情www.98com| 99色在线观看免费| 五月丁香六月成人| 九色在线观看91av| 亚洲性爱AV| 激情丁香五月| 色五月五月婷婷| 久久久久激情| 婷婷玖玖五月天| 六月丁香激情网| 美国天天日天天操| 天天久久综合| 五月色 亚洲| 九九av| 91一起艹| AV在线资源| 丁香六月婷婷开心婷婷网| 国产日产亚洲系列最新| 婷婷在线播放| 婷婷永久在线| 青青草Avb在线| 五月天第四色开心色播| 九九九日本熟女| 草榴成人影片| 婷婷综合性爱网| 天天操夜夜操| 丁香六月色婷婷| 午夜成人综合| 操操自拍| 欧美精产国品一二三区| 日本天天操| 99这里只有精品视频| 日日.c| 五月丁香婷婷激情视频| 曰日爽日日操| 99小视频网站| av中文网站| 久久A V无码视频| 男人的天堂五月丁香| 婷婷五点亚洲| 丁香五月a| 欧美成人色婷婷| 热久精品| 色九月婷婷综合| 色屌丝中文字幕| 97极品在线| 亚洲精品影视| 亚洲无码99| 国产成人片| 91狠狠综合久久久久久| 校花娇喘呻吟校长陈若雪视频| 婷婷五月天开心激情网| 久久人妻在线| 99热精品一区| 性天天中文网| 国产精品人人妻人人爽| 婷婷激情人妻| 五月天国产| 精品成人无码A片观看香草视频| 中文字幕在线日亚州9| 亚洲免费婷婷| 国产成人综合电影| 六月丁香成人| VA色婷婷| 婷婷激情鹿城五月天| 开心五月婷婷在线视频免费观看| 激情六| 天天拍夜夜爽| 狠狠干,狠狠操| 97人人超| 亚洲亚洲人成综合网络| 久久久久久婷| 9999三级片| 丁香亭亭久久| 婷婷五月天com| www.深爱激情| 九九综合伊人| 亚洲无AV在线中文字幕| 操操熟女| 天花AV无码| 99热91| 狠狠操.COM| 五月婷婷丁香啪啪| 日本三级大片| 久久丁香综合香蕉| 亚洲操精品| 婷婷丁香视频在线观看免费| 天天综合网网欲色| 超碰在线观看9| av亚洲国产小电影| 天天综合久久| 色情五月丁香婷婷网| 丁香五月色情| 色婷婷丁香五月| 97碰碰草| 99热色无码| 狠狠激情五月天| 26UUU欧美| 啪啪五月婷婷| 色婷婷狠狠干| 一级操逼内射在线视频| 天天综合网站| 99偷拍视频在线日本| 91啦丨九色丨刺激中文| 99久久婷婷国产综合精品| 国产午夜精品AV一区二区麻豆| 九九aV| 五月 激情视频| 9久久狠狠的| 五月丁香成人| www色中色综合| 婷婷亚洲天堂| 日本玖玖在线| 他改变了拜占庭| 激情五月综合| 婷婷综合婷婷| 丁香花五月天激情| 丁香六月成人| 乱精品一区字幕二区| 4399在线日本A片| 色综合色综合网| 激情五月天视频| 色激情五月| 丁香五月婷婷成人网| 久久精彩视频| 亚洲视频操| 人人妻久久妻| 国产精品91抖高| 99热只有精品在线播放| 操啊操av| 九九九九这里只有精品| 国产在线视频1234| 色婷婷五月婷婷五月婷婷五月| 天天射夜夜骑| 天插天啪天啪天啪| 久草热在线视频| 91精品综合久久婷婷九色| 五月天精品综合| 青柠影视免费高清电视剧| 天天色图| 久9热视频| 91精品国产综合久久蜜芽解析速度| 99久在线精品| 色婷久| 另类图片五月天激情| 丁香五月天欧美在线| 色五月激情五月| 色婷成人狠干| 婷婷五月天激情五月天深爱五月天| 一本久久亚洲五月婷婷| 精品网站:999WWW| 九九九九九999999| 天天做天天爱天天日| 婷婷四色五月| 91色逼| 99热热这里只精品996小说| 一级性感毛片| 天天日天天干天天爽| 日韩人妻AV在线| 日本色婷婷五月天成人电影| 久久婷婷色| 久久五月视频| 亚洲成人免费电影| 色婷视频| www.夜夜操.com| 久久五月天激情美女| 深情五月天| 97碰碰草| 丁香五月色欲| 免费观看高清无码| 热久久国产视频| www.91五月| 五月婷婷激情综合视频| 国产成人精品一区二三区熟女在线| 91porn一起草| 丁香婷婷色色| 亚洲啪啪网| 婷婷精品免费久久| 欧日美女Va| 日本三级韩三级99久久| 凹凸探花电影| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 热成人网| 久久久9久| 99精品色| 色色免费网站| 色综合色色| 久久99久久99精品免视看婷婷| 丁香六月色婷婷| 婷婷五月成人色综合| 风流少妇A片一区二区蜜桃| 久久人人人人妻| 五月天丁香婷婷网| 婷婷五月天第三页| 天堂中文国产| 久操大香蕉| 五月色精品| 五月天婷婷久草丁香| 婷婷五月av| 在线不卡的视频| WWW免费视频碰碰碰碰| 色久影院| 色婷婷丁香五月| 99热这里只是精品| 色婷婷在线影院| 淫视馆aV二区一区| 国产26uuu视频| 免费碰碰视频久| www.婷婷| 深爱五月婷婷开心中文字幕| 4399无码视频二区| 日本色色网站| 91一起操| 欧美性生交XXXXX无码小说| 成人国产欧美大片一区| 任你日热视频| 性做爰A片免费视频A片直播| 国产精品一区在线观看你懂的| 婷婷色五月天色| 欧美成人一区二区三区在线视频| 97色色色色| 97超碰99热99| 91se在线观看| 九九热青青草| 丁香五月激情欧美| 免费观看高清无码| 九月色婷婷综合| 日韩丰满少妇无码内射| 91婷婷丁香五月| 欧美黑人巨大猛烈cuckold| 久操无码| 久久久999精品| 国产成人VA| 狠狠色婷| 婷婷五月婷婷| 九九无码AV| 大香蕉五月天| 丁香涩涩爱| 五月婷婷基地| 中文字幕综合色| 99热偷拍| 九九精品视频在线6| 91狠狠色丁香婷婷综合久久| H亚洲| 日韩精品色| 亚洲精品国产成人AV在线| 九九热123| 免费黄色视频网址| 婷婷王月天影院| 激情深愛五月視頻| 色吊丝永久访问网址| 色婷婷小说| 日日夜夜干| 婷婷五月天第四色| 日韩操人| 9超碰在线| 亚洲偷| www.久热| 成人版视频在线观看| 婷婷五月综合啪| 五月丁香另类图片| 99ri国产精品| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 热久精品| 亚洲激情综合| 美女美女美女三级色天天天天天| 成人片黄网站色大片免费毛片| 激情五月综合ì香亚洲| 精品导航在线x不卡| 玖玖在线视频| 亚洲中文av| 久久这里有精品| 成人精品一区二区三区四区五区| 999热视频精品99免费在线| 九九热精品在线| 久久婷婷内射| 翔田千里无码| WWW.天天日| 丝袜激情网| 日本理论久久| 婷婷丁香精品视频在线观看| 亚洲欧洲中文日韩久久AV乱码| 中文av网| 日韩精品无码99| 激情小说五月天社区丁香| 99狠狠色| 99亚洲精品视频| 婷婷激情啪啪| 99精品网址| 亚洲乱码日产精品BD| 99热在线观看| 猫咪伊人久久| 狠狠的日| 天天爽综合网| 色婷婷丁香五月综合| 九九色99| 婷婷激情五月综合丁| 提提热五月天婷婷| 婷婷色播综合五月| 色色日韩| 丁香五月婷婷婷婷欧美综合| 亚洲婷婷丁香五月在线| 2014天天爽| 五月婷婷高清| 亚洲婷婷丁香五月在线| 开心久久五月天| 深爱女色婷婷丁香五月亚洲图区| 五月天停婷基地| 国产操肏网站| 亚洲成人在线综合| 涩综合网| 伊人久久婷婷| 南京搡BBBB搡BBBB| 激情丁香五月激情婷婷| 婷婷成人综合五月| 天天色综网| 五月花在线观看视频| 丁香五月天综合| 婷婷六月天激情| 亚洲小视频| 久草五月天| 五月丁香色综合| 婷婷黄色| 五月天狠狠| 欧美丰满熟妇BBB久久久| 538在线精品| ztEJj| 成人AV网站在线| 另类伊人婷婷| 欧美欧盟性爱网| 丁香五月婷婷成人色区| 99热这里只有精品 搜| 深爱激情五月婷婷| 99热色精品| 99爱爱| 丁香五月偷拍| 操b视频在线观看一区二区| 日韩久综合| 337p大胆噜噜噜噜噜91Av| 丁香五月综合激情久久潮喷| 婷婷丁香社区网| 26uuu美女三级视频| 色色亚卅| 激情婷婷丁香| 99热地址| 无码AV久久久久久久久| 嫩草视频。| 九色91视频| 色五月婷婷在线视频| 久久黄色免费视频| 夜夜骑夜夜操| 六月丁香五月婷婷| 久久婷综合| 欧美精产国品一二三区| 九色视频91| 久9综合| 丁香婷婷91在线观看视频| 日日爱678| 伊人91| 婷婷激情五月综合丁香社| 五月婷婷AV| 琪琪色五月天| 色色婷婷综合| 久久婷婷色情7777网站| 再綫Av免费視品| 99久久精品视频女神1| 久热这里只有精品6| 超碰成人电影| 亚洲狠狠色丁香婷婷综合久久| 色婷婷丁香| 97超级啪啪在线观看| 丁香色成人| 色欲日日躁| 97亚洲婷婷| 91精品国产综合久久久不卡电影| 四川女人毛多水多A片| 热热99爱爱| 激情涩涩网| 五月丁香六月| 国产无遮挡又黄又爽免费网站| 九九热这里精品| 久久精品性爱| 亚洲综合另类| 丁香五月婷婷色偷偷| 99在线观看这里都是精品| 狠狠色噜噜色狠狠狠综合久久成人波 | 婷婷五月丁香在线视频| 免费无码毛片一区二区A片 | 丁香深五月婷婷| 色色色综合色| 五月宗合激情网| 一区二区三区视频| 人人操操97| 99久久a线观| 色色五月婷| 亚洲av另类在线观看| 九九色综合网| 99热这里只有精品18| 婷婷午夜精品久久久| 丁香五月桃花在线激情综合| 激情五月天综合网站网站网站| 超碰人人在线| 色色性爱视频| 成人无码精品1区2区3区免费看| 九九热123| 九九日本视频| 综合99久久天天综合| 国产免费性爱| 99热这里只有99| av在线激情| 成人在线视频一区| 婷婷婷五月天最新综合你懂的| 六月丁香VA| 日本色狠狠| 欧美69久成人做爰视频| 丁香五月婷婷啪啪| 91色在线 | 日韩| 无码少妇高潮喷水A片免费| 天堂A∨在线| 五月激情婷婷播播开心| 夜夜AVV| 婷婷玉月丁香五月在线视频| 久久精品一区二区三区四区| 啪啪啪综合网| 日韩AAAAA| 啪啪啪丁香五月| 26UUU成人网| 中文字幕在线日亚州9| 成人网页在线观看| 九九在线这里只有精品视频 | 狠狠婷婷色| 热久久99视频| 色色婷婷丁香| 久99视频在线观看| 丁香五月AV| 激情婷婷九月| 五月丁香六月色| 亚洲a片免费观看| 人人视频色| 超碰婷婷色| 五月激情视频网| WWW.国产| 婷婷伊人| 99热| 色五月激情问网站| 狼人久草| 97色色色视屏| 99ER热精品视频| 国产99美少妇| 五月天婷婷色综合| 99re热视频这里只有综合亚洲| 激情五月婷婷中文字幕| 欧美S码亚洲码精品M码| 激情开心五月婷婷| 成人免费120分钟啪啪| 天天干天天日天天插| 国产精品一区在线观看你懂的| 97人人看| 五月丁香无码| 影音先锋一区二区三区| 超碰在线观看99| 伊人色五月| 婷婷伊人综合中文字幕| 91viP在线看| 久99热| 噜噜色五月| 亚洲成av人影院| www,婷婷| 人人妻人人澡人人爽| 婷婷成人AV| 色婷婷久久综合久色综| av在线资源| 九九热99精品在线| 色色综合院| 91狠狠综合网| 91无码高清| 97人人操人人干| 亚洲精品欧洲精品| 日本精品人妻无码77777| 五月天伊人手机在线播放AV| 五月丁香综合色婷婷| 激情欧美丁香五月| 婷婷九月久久| 色欧美影院| 色色激情| 国产乱子轮XXX农村| 五月开心激情网| 婷婷丁香五月激情密臀av| 91色久| 开心婷婷五月花| 大香伊人婷婷影院| 4399亚洲视频| 性爱在线播放av| 午夜伊人大香蕉| 狠狠狠色激情综合适合| www.婷婷,com| 成人无码髙潮喷水A片| 五月婷婷免费视频| 天堂综合久久| 日韩另类| 激情五月五月五月婷婷|