欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

PyTorch圖像識別完整實(shí)戰(zhàn):從數(shù)據(jù)處理到模型部署全流程

PyTorch圖像識別完整實(shí)戰(zhàn):從數(shù)據(jù)處理到模型部署全流程 前陣子有個朋友問我想用PyTorch做一個圖像識別的小項目但他翻了一堆教程要么只跑通了單張圖片的預(yù)測演示要么一上來就丟一個幾百層的模型讓人直接復(fù)制。我聽完就覺得這類教程最大的問題是把“能跑”和“能落地”混為一談了。所以這篇文章我不想復(fù)述官方文檔而是把我實(shí)際做過的圖像識別完整流程拆開講從任務(wù)定義、數(shù)據(jù)準(zhǔn)備、網(wǎng)絡(luò)選型到訓(xùn)練調(diào)參、模型評估和部署前的最后一步。文章適合正在學(xué)PyTorch、打算拿它做圖像識別的初學(xué)者也適合已經(jīng)跑過一些Demo、但不確定下一步怎么走的中級使用者。我盡量把每一步背后的“為什么”也講清楚而不是只給代碼。1. 動手前先想清楚你的圖像識別任務(wù)到底是什么1.1 先把“圖像識別”翻譯成計算機(jī)能解決的問題很多人上來就搜“PyTorch圖像識別”這個詞其實(shí)太寬泛了。圖像識別在工程上至少會分化成圖像分類、目標(biāo)檢測、圖像分割、圖像檢索等好幾個分支技術(shù)方案完全不一樣。比如目標(biāo)檢測要輸出“圖中某個區(qū)域內(nèi)有哪類目標(biāo)”用的是邊界框回歸加分類圖像分割則要像素級標(biāo)記需要U-Net這類結(jié)構(gòu)。如果你的需求只是“這張圖是什么”那就對應(yīng)單標(biāo)簽多分類問題這是入門最友好的一個方向。我建議動手之前先把任務(wù)參數(shù)寫死類別數(shù)量、每類大概多少樣本、輸入圖片的尺寸、圖片里的目標(biāo)是否足夠顯眼。另一個容易被忽略的點(diǎn)是數(shù)據(jù)來源。如果你只有幾十張圖幾百張圖就要考慮遷移學(xué)習(xí)如果每類有幾千張甚至更多從頭訓(xùn)練一個網(wǎng)絡(luò)才說得通。把這些約束列清楚后面每一步選擇都有據(jù)可依而不是憑感覺調(diào)參。1.2 為什么現(xiàn)在大多數(shù)學(xué)圖像識別的人都選PyTorchPyTorch在圖像識別領(lǐng)域流行核心原因是它的動態(tài)圖機(jī)制。簡單說你用代碼寫著寫著就能隨時打印中間張量的shape可以在中間層打斷點(diǎn)看數(shù)據(jù)流這對調(diào)試神經(jīng)網(wǎng)絡(luò)來說太重要了。相比之下靜態(tài)圖模式相當(dāng)于先整體編譯再執(zhí)行出了問題排錯成本高很多。做圖像識別的時候張量維度稍微搞錯一點(diǎn)就報錯能直接print出來看每一層輸出排錯速度完全不一樣。另外PyTorch的生態(tài)對圖像任務(wù)足夠友好。torchvision集成了大量預(yù)訓(xùn)練模型、常用數(shù)據(jù)集和數(shù)據(jù)增強(qiáng)工具DataLoader配合Dataset能很舒服地處理圖片數(shù)據(jù)。就算后續(xù)要部署到線上PyTorch也可以導(dǎo)出成ONNX格式給其他推理引擎消費(fèi)。這些細(xì)節(jié)讓我在實(shí)際項目里很少需要換框架。1.3 數(shù)據(jù)量、算力、精度目標(biāo)決定你的方案選網(wǎng)絡(luò)結(jié)構(gòu)不能只看哪個模型刷榜刷得高要看你的資源和約束。我的經(jīng)驗可以分成三類情況供你參考。場景數(shù)據(jù)規(guī)模算力情況推薦方案快速驗證每類幾百張單塊中端GPU預(yù)訓(xùn)練ResNet18 / MobileNet 只訓(xùn)練分類頭常規(guī)項目每類幾千張單塊好點(diǎn)GPU預(yù)訓(xùn)練ResNet50微調(diào)最后幾層 數(shù)據(jù)增強(qiáng)從零訓(xùn)練研究每類上萬張多卡或長時間訓(xùn)練自己搭CNN或標(biāo)準(zhǔn)ResNet從頭訓(xùn)這個決策邏輯很直接遷移學(xué)習(xí)是用別人的特征提取能力來彌補(bǔ)自己數(shù)據(jù)不足的短板相當(dāng)于一個經(jīng)驗豐富的師傅先把“看邊緣、看紋理、看形狀”的基本功練好了你只需要教它識別你的特定類別。如果你數(shù)據(jù)量夠大從頭訓(xùn)練才可能超越預(yù)訓(xùn)練權(quán)重帶來的上限。2. 環(huán)境與數(shù)據(jù)準(zhǔn)備把底子打好2.1 環(huán)境安裝里你大概率會遇到的版本問題我見過太多人卡在環(huán)境上不是PyTorch裝不上而是裝完之后運(yùn)行時才發(fā)現(xiàn)版本對不上。最穩(wěn)的流程是先創(chuàng)建一個獨(dú)立的虛擬環(huán)境避免和系統(tǒng)Python或者其他項目互相污染。如果你用conda可以這樣操作conda create -n classify python3.10 conda activate classify然后根據(jù)你是否使用GPU來安裝對應(yīng)版本。我的建議是無論你有沒有獨(dú)顯都先在終端里跑下面這些命令確認(rèn)一下python -c import torch; print(torch.__version__) python -c import torch; print(torch.cuda.is_available())如果第二行輸出的是True那GPU環(huán)境就通了。很多人明明按教程安裝但torch.cuda.is_available()依然是False最常見的原因是安裝時選了CPU版本或者驅(qū)動版本太老。別急著重裝系統(tǒng)先查驅(qū)動支持再去PyTorch官網(wǎng)選和你的CUDA能力匹配的安裝命令這樣最省時間。我踩過最冤的一個坑是conda自動匹配了CPU版torch結(jié)果代碼跑了一天發(fā)現(xiàn)根本沒用GPU浪費(fèi)了大量時間。2.2 用文件夾結(jié)構(gòu)組織圖片比寫幾百行代碼還管用數(shù)據(jù)準(zhǔn)備階段我最推薦的方式是把圖片按類別放在文件夾里訓(xùn)練集、驗證集、測試集分開目錄管理。比如data/ train/ cat/ 圖片... dog/ 圖片... bird/ 圖片... val/ cat/ dog/ bird/ test/ cat/ dog/ bird/這種結(jié)構(gòu)的好處是torchvision.datasets.ImageFolder可以直接讀取它會自動把子文件夾名稱映射成類別標(biāo)簽連標(biāo)簽列表都不用自己寫。如果數(shù)據(jù)是一個CSV或者數(shù)據(jù)庫里存著路徑和標(biāo)簽?zāi)蔷托枰^承torch.utils.data.Dataset自定義讀取邏輯但多數(shù)入門項目用ImageFolder就夠了。from torchvision import datasets, transforms train_transform transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) train_data datasets.ImageFolder(data/train, transformtrain_transform) print(train_data.classes) # [bird, cat, dog]注意Normalize里的均值和標(biāo)準(zhǔn)差。如果你用的是ImageNet預(yù)訓(xùn)練權(quán)重這三組數(shù)值幾乎是固定的如果你從頭訓(xùn)練自己的網(wǎng)絡(luò)可以用全量訓(xùn)練數(shù)據(jù)估算均值和標(biāo)準(zhǔn)差效果更貼合你的數(shù)據(jù)分布。但很多新手最容易犯的錯誤就是對預(yù)訓(xùn)練模型用了和目標(biāo)數(shù)據(jù)集完全不一致的歸一化參數(shù)導(dǎo)致收斂困難。2.3 DataLoader參數(shù)逐個拆解batch_size、shuffle、num_workersDataLoader是連接數(shù)據(jù)集和訓(xùn)練循環(huán)之間的橋梁幾個參數(shù)直接影響訓(xùn)練速度和效果。from torch.utils.data import DataLoader train_loader DataLoader( train_data, batch_size32, shuffleTrue, num_workers4, pin_memoryTrue ) val_loader DataLoader( val_data, batch_size32, shuffleFalse, num_workers4, pin_memoryTrue )batch_size每次迭代喂給GPU的圖片數(shù)量。太大可能顯存溢出太小會讓梯度震蕩訓(xùn)練不穩(wěn)定。一般先在32或64里選OOM就減半驗證集準(zhǔn)確率遲遲上不去就試著加大。shuffle訓(xùn)練集必須置為True否則每一輪epoch內(nèi)樣本順序不變模型可能學(xué)會記憶順序而非特征驗證集和測試集必須置為False因為評估結(jié)果不應(yīng)該受打亂樣本順序影響。num_workers數(shù)據(jù)加載用了多少個進(jìn)程。這個數(shù)值越高CPU讀圖和預(yù)處理越快但不是越大越好Windows上經(jīng)常設(shè)置超過4會報錯。pin_memory設(shè)為True會鎖頁內(nèi)存把數(shù)據(jù)從CPU傳輸?shù)紾PU的耗時降低。這個參數(shù)在數(shù)據(jù)量大的時候提升明顯代價是占用一部分內(nèi)存。3. 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計先跑通一個簡單的CNN再談ResNet3.1 卷積網(wǎng)絡(luò)是怎么“看”圖像的如果你第一次接觸卷積神經(jīng)網(wǎng)絡(luò)可以把它理解成一臺滑動的掃描儀。卷積核就是在圖片上從左到右、從上到下地滑動每次都只觀察一個局部區(qū)域然后把局部區(qū)域的特征提取出來。相比全連接網(wǎng)絡(luò)卷積層最大的優(yōu)勢是參數(shù)共享和局部連接。同一組卷積核在整個畫幅上滑動意味著它只需要學(xué)習(xí)“某種紋理長什么樣”而不是“某個位置上有這種紋理怎么處理”參數(shù)量大幅下降也更不容易過擬合。每個卷積層輸出的特征圖尺寸可以用這樣一個基礎(chǔ)公式估算輸出邊長 (輸入邊長 - 卷積核大小 2 * padding) / stride 1。比如輸入224x224卷積核3x3padding為1stride為1輸出就是224x224。池化層則是對特征圖做降采樣可以類比成把高清圖片縮小成縮略圖保留主要信息但丟掉冗余細(xì)節(jié)一定程度上也增強(qiáng)平移不變性。3.2 從零實(shí)現(xiàn)一個能跑的小型CNN我不建議初學(xué)者一上來就套大型網(wǎng)絡(luò)先手寫一個輕量CNN把這些概念串起來后面換ResNet才心里有底。下面這個結(jié)構(gòu)是我常用的起步版輸入3通道224x224圖片輸出3類import torch import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes3): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 16, kernel_size3, padding1), nn.BatchNorm2d(16), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), # 224 - 112 nn.Conv2d(16, 32, kernel_size3, padding1), nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), # 112 - 56 nn.Conv2d(32, 64, kernel_size3, padding1), nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), # 56 - 28 ) self.classifier nn.Sequential( nn.AdaptiveAvgPool2d((1, 1)), nn.Flatten(), nn.Linear(64, num_classes) ) def forward(self, x): x self.features(x) x self.classifier(x) return x model SimpleCNN(num_classes3) dummy torch.randn(2, 3, 224, 224) out model(dummy) print(out.shape) # torch.Size([2, 3])我特意用了AdaptiveAvgPool2d它可以自適應(yīng)地把任意大小的特征圖池化成1x1這樣你的模型對輸入尺寸的寬容度會大很多換測試圖片尺寸時不用改全連接層的維度。這個細(xì)節(jié)是我后面做跨分辨率預(yù)測時經(jīng)常用到的。3.3 遷移學(xué)習(xí)把別人訓(xùn)練好的經(jīng)驗借過來自己從零訓(xùn)練一個CNN常常需要大量數(shù)據(jù)和很長時間實(shí)際項目中我更推薦直接在預(yù)訓(xùn)練模型基礎(chǔ)上做遷移學(xué)習(xí)。torchvision里加載預(yù)訓(xùn)練模型很直接from torchvision import models model models.resnet18(weightsmodels.ResNet18_Weights.IMAGENET1K_V1) model.fc nn.Linear(model.fc.in_features, num_classes) # 凍結(jié)大部分層只訓(xùn)練分類頭 for param in model.parameters(): param.requires_grad False for param in model.fc.parameters(): param.requires_grad True凍結(jié)策略有幾種不同做法。最省資源和時間的是只訓(xùn)練最后一層分類頭如果數(shù)據(jù)量中等可以嘗試解凍后面幾個block用較小的學(xué)習(xí)率訓(xùn)練如果你的數(shù)據(jù)已經(jīng)足夠多也可以不凍結(jié)任何層直接用預(yù)訓(xùn)練權(quán)重作為初始化全量微調(diào)。沒有絕對優(yōu)劣完全看你手里的數(shù)據(jù)量。我在實(shí)驗中發(fā)現(xiàn)數(shù)據(jù)量只有每類一千張左右時只訓(xùn)分類頭反而比全量微調(diào)更穩(wěn)因為全量微調(diào)容易在早期就過擬合。4. 訓(xùn)練細(xì)節(jié)準(zhǔn)確率提升的關(guān)鍵不在網(wǎng)絡(luò)而在訓(xùn)練4.1 數(shù)據(jù)增強(qiáng)用更少的圖片訓(xùn)練更強(qiáng)的模型很多人以為數(shù)據(jù)增強(qiáng)只是增加訓(xùn)練樣本的手段實(shí)際上它還有很強(qiáng)的正則化作用。隨機(jī)裁剪、水平翻轉(zhuǎn)、顏色抖動這些變換相當(dāng)于告訴模型“目標(biāo)的類別不應(yīng)該因為它在畫面中的位置、方向、亮度變化而改變”。最常見的組合是訓(xùn)練集做RandomResizedCrop加RandomHorizontalFlip加ColorJitter驗證集只做縮放和歸一化。train_transform transforms.Compose([ transforms.RandomResizedCrop(224, scale(0.8, 1.0)), transforms.RandomHorizontalFlip(), transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_transform transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])注意驗證集不要加隨機(jī)增強(qiáng)否則每次測試結(jié)果都會因為隨機(jī)操作而抖動沒法穩(wěn)定評估模型好壞。這是我最初最容易犯的一個原則性錯誤一度懷疑自己的模型不穩(wěn)定。4.2 損失函數(shù)和優(yōu)化器的選擇邏輯圖像分類最常用的損失函數(shù)是CrossEntropyLoss。它內(nèi)部已經(jīng)包含了Softmax的計算所以不需要再在網(wǎng)絡(luò)最后加一個Softmax層。這個損失函數(shù)對多分類問題的效果和穩(wěn)定性都很好我的建議是新手直接用它別折騰其他花式損失。優(yōu)化器方面SGD和Adam是兩大主流。Adam收斂快學(xué)習(xí)率可以設(shè)置得比較低尤其適合微調(diào)但SGD加上動量在訓(xùn)練后期往往有更強(qiáng)的泛化能力。我自己的習(xí)慣是跑通流程先用Adam學(xué)習(xí)率0.001驗證思路沒問題后再換SGD試試能否進(jìn)一步提升準(zhǔn)確率。還有一個容易被忽視的參數(shù)是weight_decay它本質(zhì)上是給模型權(quán)重加了L2正則等于告訴模型“權(quán)重不要太極端”對控制過擬合有明顯幫助。代碼里就是一句optimizer torch.optim.Adam(model.parameters(), lr1e-3, weight_decay1e-4)4.3 學(xué)習(xí)率訓(xùn)練中最常改的一個參數(shù)學(xué)習(xí)率設(shè)置太大會導(dǎo)致?lián)p失發(fā)散太小會讓訓(xùn)練慢得讓人懷疑人生。我踩過很多次學(xué)習(xí)率過高導(dǎo)致loss變成NaN的坑特別是用預(yù)訓(xùn)練模型解鎖全量微調(diào)時整個網(wǎng)絡(luò)學(xué)習(xí)率一致上調(diào)很容易震碎已經(jīng)學(xué)好的權(quán)重。一個實(shí)用的經(jīng)驗是新加的分類頭用相對大的學(xué)習(xí)率預(yù)訓(xùn)練特征提取部分用較小的學(xué)習(xí)率。optimizer torch.optim.Adam([ {params: model.fc.parameters(), lr: 1e-3}, {params: model.layer4.parameters(), lr: 1e-4}, ], weight_decay1e-4)學(xué)習(xí)率調(diào)度同樣重要。我常用的是ReduceLROnPlateau也就是當(dāng)驗證集準(zhǔn)確率不再上升時把學(xué)習(xí)率降為原來的十分之一。也可以用固定步長的StepLR最簡單最省心。訓(xùn)練早期如果加一個小的“warmup”比如前面幾個epoch把學(xué)習(xí)率從零逐漸線性升到目標(biāo)值可以在使用較大初始學(xué)習(xí)率時不那么容易被撐壞。4.4 一個規(guī)范化的訓(xùn)練循環(huán)別把驗證邏輯寫在同一步里訓(xùn)練循環(huán)看起來簡單但很多人把訓(xùn)練和驗證混在一起處理搞到最后連模型是哪個epoch保存的都不知道。我的習(xí)慣是每輪epoch做兩件事先在訓(xùn)練集上訓(xùn)練一遍再在驗證集上完整評估一遍。兩個函數(shù)分開寫職責(zé)清晰。def train_one_epoch(model, loader, loss_fn, optimizer): model.train() total_loss, correct, total 0, 0, 0 for images, labels in loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss loss_fn(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() correct (outputs.argmax(1) labels).sum().item() total labels.size(0) return total_loss / len(loader), correct / total def validate(model, loader, loss_fn): model.eval() total_loss, correct, total 0, 0, 0 with torch.no_grad(): for images, labels in loader: images, labels images.to(device), labels.to(device) outputs model(images) loss loss_fn(outputs, labels) total_loss loss.item() correct (outputs.argmax(1) labels).sum().item() total labels.size(0) return total_loss / len(loader), correct / total有兩個細(xì)節(jié)我特別想說。第一model.train()和model.eval()必須在每個階段開始前切換因為Dropout和BatchNorm在訓(xùn)練和推理時的行為完全不同。第二驗證階段一定用with torch.no_grad()包裹否則PyTorch會構(gòu)建推理圖顯存瞬間被吃掉而且白白增加計算量。5. 模型評估與落地從測試集到真實(shí)項目5.1 不要只看準(zhǔn)確率混淆矩陣和F1值能暴露更多問題很多初學(xué)者的唯一指標(biāo)就是驗證集準(zhǔn)確率。這個指標(biāo)在類別均衡時還湊合但遇到類別不均衡的數(shù)據(jù)集準(zhǔn)確率會非常騙人。舉個例子如果某個類占了90%的樣本你的模型就算把所有圖片都預(yù)測成這個類準(zhǔn)確率也有90%實(shí)際一點(diǎn)用都沒有。我建議每次訓(xùn)練完都看混淆矩陣把預(yù)測結(jié)果按行和列統(tǒng)計出來能直觀看到哪些類別最容易互相混淆。然后計算每個類別的精確率、召回率、F1值尤其關(guān)注數(shù)量少的類別。用scikit-learn幾行代碼就能出來from sklearn.metrics import confusion_matrix, classification_report import numpy as np # preds和labels分別是所有預(yù)測結(jié)果和真實(shí)標(biāo)簽格式為List[int] cm confusion_matrix(labels, preds) print(cm) print(classification_report(labels, preds, target_names[cat, dog, bird]))如果兩個類別在混淆矩陣?yán)锟偸腔ハ嗾`判我一般會懷疑兩類樣本本身存在較大的視覺相似性或者標(biāo)注質(zhì)量有問題。這時候優(yōu)先檢查數(shù)據(jù)標(biāo)注其次是增加對應(yīng)類別的樣本數(shù)量最后才考慮改網(wǎng)絡(luò)結(jié)構(gòu)。5.2 保存模型、加載模型和單張圖片預(yù)測訓(xùn)練結(jié)束后保存模型有兩種常見方式。只保存權(quán)重參數(shù)是最推薦的格式占空間小也方便后續(xù)換網(wǎng)絡(luò)結(jié)構(gòu)重新加載torch.save(model.state_dict(), model.pth)加載時要先構(gòu)造一個同樣結(jié)構(gòu)的模型再把權(quán)重放進(jìn)去model SimpleCNN(num_classes3) model.load_state_dict(torch.load(model.pth, map_locationcpu)) model.eval()推理階段和訓(xùn)練階段的寫法完全不同。必須先切換到eval()模式再做一次和之前驗證集相同的數(shù)據(jù)預(yù)處理然后調(diào)用模型from PIL import Image def predict_image(model, img_path, class_names): img Image.open(img_path).convert(RGB) img val_transform(img).unsqueeze(0) # 增加batch維度 model.eval() with torch.no_grad(): logits model(img) probs torch.softmax(logits, dim1) pred_idx logits.argmax(1).item() return class_names[pred_idx], probs[0][pred_idx].item() class_names train_data.classes pred, prob predict_image(model, test/cat_001.jpg, class_names) print(pred, prob)這里最容易翻車的點(diǎn)是忘了unsqueeze(0)。網(wǎng)絡(luò)默認(rèn)輸入的shape是[batch, channel, height, width]單張圖片讀進(jìn)來只有[channel, height, width]不加維度直接喂進(jìn)去就報維度錯誤。另外一定要用softmax把輸出轉(zhuǎn)成概率分布否則你看到的就是一堆很難解釋的數(shù)值。5.3 把模型接到實(shí)際項目里導(dǎo)成ONNX交給推理引擎如果只是做實(shí)驗?zāi)P屯T?pth文件就夠了。真要把識別功能集成到一個Web服務(wù)或者App里我建議導(dǎo)出ONNX格式。ONNX是一種開放的模型交換格式很多推理引擎都能直接加載不依賴PyTorch環(huán)境本身。dummy_input torch.randn(1, 3, 224, 224) torch.onnx.export(model, dummy_input, model.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch}, output: {0: batch}})這里設(shè)置dynamic_axes可以讓輸入的第一維變成動態(tài)的這樣服務(wù)接口接收任意數(shù)量圖片都行。導(dǎo)出之后再用ONNX Runtime跑一遍輸入和輸出都應(yīng)該和PyTorch一致。能走到這一步一個圖像識別模型基本就具備了被實(shí)際服務(wù)調(diào)用的能力。6. 復(fù)現(xiàn)與效果分析我踩過的坑和最終對比6.1 最容易踩的幾個坑我按嚴(yán)重程度排了個序我梳理了自己在多個圖像識別項目里反復(fù)踩過的坑也是經(jīng)常在社區(qū)里看到新手們遇到的問題從嚴(yán)重到輕微排列如下。問題表現(xiàn)主要原因解決辦法Normalize參數(shù)用錯模型完全無法收斂loss居高不下和預(yù)訓(xùn)練模型不匹配核對來源模型標(biāo)準(zhǔn)歸一化的均值和標(biāo)準(zhǔn)差訓(xùn)練時忘了model.train()使用帶Dropout的網(wǎng)絡(luò)時驗證集很奇怪推理模式被用于訓(xùn)練每個階段切換train/eval驗證集被隨機(jī)增強(qiáng)每次驗證準(zhǔn)確率波動大錯誤復(fù)用了訓(xùn)練預(yù)處理驗證集只用ResizeCenterCropNormalize隨機(jī)種子沒固定每次訓(xùn)練結(jié)果完全不同初始化、數(shù)據(jù)采樣順序隨機(jī)在代碼頂部設(shè)置random.seed、np.random.seed、手動設(shè)置torch種子batch_size太大導(dǎo)致OOM訓(xùn)練中斷顯存溢出數(shù)據(jù)量和模型參數(shù)量超出顯存減半batch_size或者混合精度其中最容易被忽視的是隨機(jī)種子。如果你實(shí)驗中發(fā)現(xiàn)連續(xù)兩次訓(xùn)練同一個模型準(zhǔn)確率差了1到2個百分點(diǎn)第一件事就是固定隨機(jī)種子。下面這段代碼我?guī)缀趺總€項目都復(fù)制import random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed)6.2 同樣一份數(shù)據(jù)下不同方案的效果差異有多大我給一個朋友做項目時用一份公開的圖片分類數(shù)據(jù)集做了四組對比實(shí)驗每類圖片數(shù)量在800到1200張之間。跑出來的趨勢很有參考價值方案訓(xùn)練輪數(shù)驗證集準(zhǔn)確率訓(xùn)練耗時從頭訓(xùn)練SimpleCNN無增強(qiáng)4078%約20分鐘從頭訓(xùn)練SimpleCNN 數(shù)據(jù)增強(qiáng)4083%約25分鐘預(yù)訓(xùn)練ResNet18 只訓(xùn)分類頭1586%約15分鐘預(yù)訓(xùn)練ResNet18 解凍layer4 增強(qiáng)2089%約20分鐘這個對比的結(jié)論很清楚數(shù)據(jù)增強(qiáng)帶來的提升比換網(wǎng)絡(luò)結(jié)構(gòu)更明顯預(yù)訓(xùn)練模型哪怕只訓(xùn)分類頭也比從頭訓(xùn)練一個小網(wǎng)絡(luò)準(zhǔn)確率高出不少。而最后一種方案融合了增強(qiáng)和微調(diào)效果是最好的。實(shí)際解決業(yè)務(wù)問題時我通常沿用這個遞進(jìn)思路而不是一上來就追求最復(fù)雜的大模型。6.3 從頭復(fù)現(xiàn)這套流程的操作順序把上面內(nèi)容收攏成一個可以照著做的清單我的建議順序是定義分類任務(wù)確認(rèn)類別數(shù)量和數(shù)據(jù)量。建立train/val/test目錄核對每個類別的樣本數(shù)和圖片質(zhì)量。固定隨機(jī)種子搭建DataLoader和基礎(chǔ)訓(xùn)練循環(huán)先用一個非常小的網(wǎng)絡(luò)過一遍全流程。把網(wǎng)絡(luò)換成預(yù)訓(xùn)練ResNet18先只訓(xùn)分類頭確保能收斂。加入數(shù)據(jù)增強(qiáng)和學(xué)習(xí)率調(diào)度提升最終準(zhǔn)確率。用混淆矩陣和F1檢查每個類別的表現(xiàn)定位易混淆類別。保存模型導(dǎo)出ONNX接進(jìn)實(shí)際應(yīng)用。這套順序的核心原則是先讓流程轉(zhuǎn)起來再逐步優(yōu)化。我見過太多人一上來就在網(wǎng)絡(luò)結(jié)構(gòu)上花大量時間結(jié)果連基礎(chǔ)的數(shù)據(jù)加載和訓(xùn)練循環(huán)都沒跑通最后反而被一個維度錯誤卡了一整天。最后說一個我自己的習(xí)慣每改一次數(shù)據(jù)預(yù)處理、網(wǎng)絡(luò)結(jié)構(gòu)或者損失函數(shù)我都會先固定隨機(jī)種子在小數(shù)據(jù)上跑幾個epoch確認(rèn)流程沒問題再上全量數(shù)據(jù)。這個小習(xí)慣幫我過濾掉了大量“模型效果變差但原因卻在于流程本身出bug”的虛假實(shí)驗結(jié)論。圖像識別這個方向看起來模型很炫真正決定項目成敗的往往都是這些訓(xùn)練流程里的基本功。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久婷婷色| 丁香五月停停av| 丁香六月婷婷基地| 五月花婷婷在线精品视频| www..com色爱| 色情综合| 亚洲第一影院高清无码网站| 91操操| 婷婷5月色| 久久久精品色| 1024在线视频| 激情丁香网| 婷婷五月丁香香蕉| 中文字幕日产A片在线看| 亚洲日韩乱码一区二区三区四区 | 女人天堂AV| 99热传媒| 99思思热只有在这里看| 青草青草视频2免费观看| 九九久久99| 5月丁香六月婷婷| 大香网伊人久久综合| 日韩xx在线| 99热中文字幕久久| 丁香五月天视频| 色V狠狠的干| 亚洲第一综合| www.久操| 亚洲激情婷婷| 亚洲天堂色| 丁香五月天婷婷中文| 97在线碰| 婷婷久久性爱| 九热视频| 色99网站| 99视频极品在线香蕉| 丁香 婷婷 亚洲 熟女| 日本人妻伦在线中文字幕 | 色婷婷丁香五月天在线观看| 五月狠狠| 伊人婷婷综合| 婷婷色丁香五月| 色婷婷亚洲婷婷| 91人人爽人人操| 色久激情在线| 色丁香五月婷婷综合久久| 色色色色色级无码| 思思热在线视频精品| 69精品人人人人| 色婷婷基地| 五月六月丁香激情视频| 开心五月深爱五月| www.婷婷亚洲基地| av在线免费网站| 成人婷婷| 五月婷婷色欲| 激情五月婷在线精品| 五月天色色网站| 黄色大片又大粗又爽| 99在线观看精品视频| AV天堂淫乩| 99精彩视频| 3p日韩网站视频| 亚洲成人在线观看av| 深爱激情网五月| 四色99久久| 日木WWW视频| WWW激情五月天| 九九九九中文字幕| 99热精品在线| 亚洲激情电影五月天色婷婷丁香一起草| 日韩操逼大片| 国产色色在线| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 九九热a| 婷婷五月天综合小说网| www.综合久久.com| 成人做爰高潮A片免费视频| 色婷婷六月激情| 亚洲国产精品VA在线看黑人| 亚洲精品操一操、噜一噜、摸一摸、爽 | 666555。COm毛片| www.五月婷婷| 79精品视频| 激情五月丁香五月| 翔田千里aV中文字幕| 久综合网| 播四月婷婷六月丁香| 色综合9| 婷婷六月天天| 婷婷五月天xxx| 停停六月 综合| 五月久久婷婷丁香| 91dy.av| 色噜久| 99热免费观看| 五月丁香六月情| 久久永久网址| 99精品在线观看| 99热12| 五月天丁香综合久久国产| 色五月成人| 婷婷五日b| 国产精品久久..4399| 秋霞少妇AV网站| 婷婷五月天小说网| 久操97| 91精品久久久久久综合五月天| 天天色综合色色色色色。| 精品99在线| 亚洲视频在线网| 五月婷婷丁香av| 狠狠综合区| 高清资源站日A美A欧亚…| 91九色精品| 天天做天天爱天天爽在| 色婷婷五月色| 日本人人干| 屁股翘好撅高迎合跪趴| 亚洲视频一区| 最近免费中文字幕大全高清大全1| 天天做天天爱| 天天爽天天摸天天爱| 五月天免费色| 久热黄色| 97热视频| 丁香久月婷| 丁香深五月婷婷| 天天日日夜夜| 97久久人人| 99热这里全是精品| 色婷婷六月激情| 五月天婷婷久色| 思思热久久婷婷五月天| 色天天综合成人网| 综合久久人妻| 久月婷婷| 久久久久久久久久91| 婷婷99视频在线| wuyuedingxiang| www.色色com| 五月天综合在线网| 激情五月黄色| 五月婷婷玖玖综合玖玖爱| 婷婷丁香成人五月天| 性日本激情| 激情五月婷在线精品| 五月天啪啪| 久久婷婷五月综合色播| anquye五月| 五月婷婷久久网| 天天爽综合网| 黄网在线观看免费| 五月婷婷亚洲| 夜夜嗨一区二区三区直播内容| 亚洲人操亚洲人| 婷婷涩五月| 俺去也五月天| 丁香婷婷色五月| 国产精品久久久久久久久久免费| 婷婷亚洲天堂| 五月婷婷九| 人人草人人爱手机视频看看 | 亚洲精品性色| 婷婷久久丁香| 亚洲精品字幕在线观看| 人人爽网| 91大操| 婷婷免费无马| 99久久a线观| 婷婷五月天激情综合网| 99只有这里有精品在线视频| 九九無妻| 内射人妻视频国内| 久久久久久9热不雅视频| a九九热www| 五月婷婷大香蕉| 色五月婷婷啪啪五月| 久色婷婷200| 久久婷婷五月天激情四射| 丁香激激情网| 亚州色色色| 97超碰婷婷五月天| 婷婷五月色影视先锋| 欧美丁香六月在线观看视频| 久久人人妻| 婷婷五月天视频| 国产亚洲精久久久久| 五月天社区| 色色亚洲99com| 在线另类视频| 久久久久思思热| 九八Av| www激情| 99爱精品视频| 色五月五月婷婷| 色情终和网| 五月丁香日本一抹本| 天堂草在线看www| 久久在线视频免费观看| 亚洲色婷婷99一9|| 丁香五月香蕉| 97久久五月丁香婷婷| 五月婷av| 99er日韩| 四虎成人精品永久免费AV九九| 成人在线日韩欧美| 婷婷五月丁香六月| 五月天激情网址| 99热欧美| 激情五月天视频| 婷婷五月综激情| 蜜臀嫩草| 亚洲色就是色色色| 人人爽在线视频综合网| 色色色99| 激情五月天婷婷直播| 丁香五月五月婷婷| 8区视频在线| 丁香五月成人自拍| 精品无码99| 熟女人妻一区二区三区免费看| 日日天天天| 99这里都是精品| a在线观看| 五月婷婷色综图片| 激情五月份婷婷| 蜘蛛女侠2003满天星免费观看| 超碰97色| 亚洲另类视频| 中文字幕高清av| 日本色狠狠| 亚洲黄色操逼| 这里只有精品1| 大香蕉五月天婷婷| 亚洲午夜在线视频| 五月天激情网址| 色婷婷网| 狠狠干狠狠干狠狠干狠狠干| 色色综合热| 色综合激情| 丁香六月婷婷久久高清| 91久久久久久| 99视频久久免费视频| 99艹精品在线观看| 黄色三级日本| 国产真实乱了老女人视频| 色五月婷婷开心| 色婷婷91激情小说| 99久久婷婷国产综合精品草原| 久久99婷婷| 99精品在线观看视频| 5月婷婷视频网站综合| 色五月亚洲| www.99日本| 五月天天丁香婷婷在线中| 综合网激情| 五月天婷婷丁香社区| 天天爱天天做天天日| 丁香六月激情国产| 伊人久久婷婷| 看片视频在线免费日产在线看| 伊人久久五月天| 色护士综合| 亚洲成人影视在线| 天天干,夜夜爽| 九九人妻福利| 六月激情婷婷综合| 5Www色5夜| 97人人干人人操| 99er6热在线观看精品6| 五月丁香啪啪啪免费看| 婷婷五月欧美AA片免费| 丁香五月色| 激情六月色| 丁香五月婷婷88在线| 久久久久久久8| 无遮挡国产高潮视频免费观看| 色五月综合| 色婷婷91激情小说| 丁香五月婷婷综合精品素人| 又大又粗九一在线| 丁香五月婷婷激情中文| 欧美天天五月丁香免费观看| 亚洲色在线观看| 天堂草在线看www| 婷婷五月天成人动漫 | 中文不卡av| 玖玖在线视频| 色婷婷香蕉| 婷婷色五月天第7色| 色婷婷啪啪啪啪啪啪| 欧美人人草草| 少妇高潮A片无套内谢麻豆传| 天天艹夜夜艹| 色五婷婷| 婷婷五月免费观看| 97综合色片| 97超级碰碰碰| 婷婷六月天| 天天做天天爱天天高潮| 久久婷婷五月综合激情国产| 伊人在线视频| 色色五月天激情| 在线另类| 五月天丁香婷婷网| 激情性爱五月天网页| www夜夜操| 色五月婷婷综合| 亚洲av骚货| 五月丁六月婷| 丁香六月婷| 色狠狠色噜噜AV天堂五区| 色色五月丁香婷婷| 成人在线不卡| 国产毛片精品一区二区色欲黄A片| 99热网站| 六月婷婷激情| 色久九| 玖玖婷婷五月天| 婷婷六月综合基地| 天天久| 久噜久噜| 婷婷五月丁香久久| 99热99干| VfJxEwPH| 激情六月日韩| 婷婷激情五月| 日本黄 色 片| 超碰人人在线观看| 色婷婷丁香九月| 亚洲综合色色| 伊人五月天日日夜夜久久久天天| 五月婷婷就去色| 丁香五月婷婷乱| 色五月首页| 亚洲午夜一区二区| 狠狠干在线| 激情五月天小说网| 精品成人a v无码内射| 久久性刺激| 色婷婷深爱五月| 国产一级婬片毛片| 亚洲99在线视频| 99av视频| 丁香婷婷激情| 中文AV在线观看| 色婷婷婷综合五月天| 开心婷婷丁香五月| 国产精品99久久久久久久女警| 婷婷最新地址| 久操97| 激情五月深爱五月| 婷婷丁香五月高清| 无人精品在线视频| 五月丁香六月婷| 色爆五月| 99久久超级| 九九热超碰| 这里只有精品在线视频在线观看| 337p大胆噜噜噜噜噜91Av| 日日夜夜天天| 天天se在线视频| 婷婷六月丁| 九九色色网| 五月丁香激情啪啪| 婷婷成人av| 手机旧版看人妻1025| 九九热色视频| 色婷婷综合影院| 97超碰,人人舔,人人操,人人摸 | 97干免费视频| www.久久av.com| 日韩精品一区二区亚洲AV观看| www.夜夜操.con| 99久久久久久www| 停停五月色宗合| AA片在线观看视频在线播放| 偷偷操99| 久久精品63| 91 原创 在线 九色| www.99热日韩.com| 久久怡红院| 天天舔天天| wwwss在线观看| 色综合久久8| 99热国产婷婷| 97人妻碰碰中文无码久热丝袜| 亚洲国产色色| 五月停性愛| 森林影视大全,最好看的2019年视频 | 五月丁香猫咪久久婷婷综合视频激情四射网入口| 婷婷久久综合久色| 五月天婷婷成人网| 丁香五月天在线视频| 九九色图| 啪啪啪综合网| 婷婷金品综合视频| 六月丁香激情综合网| 午夜丁香婷婷| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 久久性爱视频| 亚洲九九夜夜| 久久久精品AV| 伊人丁香五月| 99视频在线9| 五月丁六月香av| 国产午夜精品一区二区三区四区| 五月天 综合 在线| 国产精品蜜臀99| 精品夜夜澡人妻无码AV| 亚洲综合色丁香婷婷六月| 夫妇交换刺激做爰| 国庆精品久久| 夜夜嗨一区二区三区直播内容 | 欧美在线骚货| 9l视频自拍九色9l视频自拍九色9l社区| 色九月国产| 婷婷丁香色情| 婷婷五月丁香超碰| 激情综合久久| 人人摸人人操人人爽| www.9797国产| 亚洲人妻av| 日韩九区| 亚洲av免费在线| 日本天天色| 天天草天天日| 久久婷婷七月丁香| 日本五月天网站| 久操人| 五月婷婷成人| 丁香五月婷婷少妇| 亚洲激情亚洲激情 | 涩五月婷婷| 五月激情久久综合| 丁香五月亚洲综合丝袜| 丁香六月婷| 日本激情ⅩXX免费视频| 天天日天天插| 这里只有精品99www| 久草网大香视频| 六月婷婷中文字幕| 丁香激情五月| 97在线刺激| mmm1717.6dbm人人爱人人操| 99热免费| 天天天添天天操| 久9热在线视频| 欧美天天五月丁香免费观看| 天天综合久久| 国产露脸150部国语对白| 亚洲五月天婷婷综合| 成人做爰A片免费看视频| 久久永久网址| 久9草在线观看视频| 99日韩| 天天色天天爱天天爽| 九九热啪啪| www.lchjjc.com| 99热在线观看精品| 99色在线观看视频| 久月婷婷| 国产女人十八水真多1| 六月色日韩| 色五月丁香com| 九九aV| 久久色这里只有精品| 九九热AV| www.97干视频| 新激情婷婷| 五月婷婷丁香五月| 色日本综合| 亚洲色综合性| www。88热在线视频免费观看| 光棍影院日韩精品| 97啪在线观看视频| 五月婷婷丁香| 九九这里是免费的视频5| 天天情色综合网| 婷婷五月天国产手机在线视频观看| 97资源碰碰在线| 婷婷中文字幕网站| 欧美经典片免费观看大全| 色欲av伊人久久大香线蕉影院| 五月激情婷婷国产精品久久久久久| 3p日韩网站视频| 日本ww亚洲| 熟女激情网| xxxx久| 五月色婷婷夜色| 久久91久久精品久久| 五月激情综合网| 人妻综合网| 久色婷婷200| 五月花丁香婷婷| 99热这里只有精品69| 思思热久在线观看视频| 黄色大片又大粗又爽| 99免费在线视频| 日本九九视频| 类似婷婷激情综合网站| 久久国产色| 九九热在线99| 玖玖婷婷综合| 超碰在线中文字幕| 色五月激情网| 久狠狠狠| 123草逼网| 日本天天操| AA丁香综合激情| 五月婷婷色播| 爆乳熟妇一区二区三区爆乳照片| 国产.亚洲.欧洲视频在线| 99这里热| 91精品国产91久久久久青草| 99精品一二三四视频| 色欲AV导航| 久久色这里只有精品| 天天色综合网1| 夜丁香综合| 亚洲美女网Va| 五月丁香婷婷综合久久| 久久婷五月| 六月激情婷婷| WWW.国产| 久久久久久久久18久久| 日日操天堂| 九月大香蕉| 好看的国产精品| 思恩热国产视频右线观看| 丁香五月色综合色播五月| 五月天激情图| 九九大香蕉黄色影院| 色五月天丁香婷婷| 久久xxxx| 影视av久久久噜噜噜噜噜三级| 色女人久久| 婷婷激情五月| 色欲天天综合网| 玖玖国产视频一区| 91日日日| 成人在线视频一区| 91青娱乐青青草| 色五月婷婷av| 欧美色狠婷久| 99热这里只有精品13| 久久99久久99精品免观看软件 | 五月丁香六月婷婷免费| 色五月婷婷、老熟女| www.夜夜操| 色九网| 丁香五月91| 五月丁香网站| 色婷婷丁香五月在线观看| xxxx五月天色色| 午夜日日| 激情综合综合综合| 婷婷综合在线| 无码少妇高潮喷水A片免费| 色综合色香蕉网| 99人妻碰碰碰久久久久禁片| www.婷婷,com| 欧洲亚洲免费视频9| 国产精品第一国产精品| 久久激情婷婷| 亚洲第79页| 五月丁香六月香香蕉| 精品国产乱码久久久久久免费| 日本97在线| AV在线大香蕉| 99色| 日韩无码91| 五月婷婷六月丁| 青草少妇激情| 桃色五月天| 五月丁香久久色| 欧美日韩日韩成人| 天天爽夜夜爽天天爽夜夜爽| www.色五月| 高清无码.com| 色综合伊人网| 婷婷免费精品视频| www.天天干.com| 99在线精品视频| 1024欧美日韩精品久久久| 婷婷五六月丁香| 精a品a| 综合激情站| 日本色色色色色色色色一色二色| 丁香婷婷老熟女综合网| 五月丁香免费看| 99热这里全都是精品| 亚洲性爱AV| 丁香婷婷91在线观看视频| 天天射综合网夜夜操| 久久久天堂国产精品女人| 这里只有视频精品| www.日本91| 欧美色图天堂网| WWW,婷婷,COM| 综合图片色色| 午夜无码熟熟妇丰满人妻| 99激情网| 天天干夜晚夜操| 亚洲精品V天堂中文字幕| 99久热在线精品| WWW.桔色成人.COM| 婷婷五月天激情四射| 久久免费操| 日日懆天天懆| 啪啪91| 99网址在线看| 婷婷成人视频| 久久天堂女人| 蜜乳A√| 色爱亚洲| 懂色av蜜臀av粉嫩av永陈冠希| 99干视频| 五月婷婷丁香深深爱| 成人做爰A片免费看视频| 日日.c| 免费AV在线网址| 精品婷婷五月天| 高清不卡一区| 中文字幕激情综合| 丁香五月婷婷骚视屏| 99热精品在线观看| 91viP在线看| 超碰99热精品| 色99无码| 有哪些A片网站| 免费三级黄色| 五月婷婷久久激情 | 九月激情网| 婷婷情色五月天| 夜色.cnm| 五月婷婷开心丁香| 欧美顶级少妇做爰HD| 五月婷婷干干干| 久久伊人婷婷| 99福利导航| 久久亚洲无码| 色综合天天综合成人网| 开心五月天激情网站| 先锋资源 996| 婷婷九月激情| 色在线免费观看| 狠狠操狠狠操| 久久天天| 91九色国产| 日本99在线| 五月丁香五月婷婷| 日本色色网站| 91啪级电影| www.91AV.com| 亭亭五月色男人| 丁香六月伊人| 日韩色色小视频| 微拍92| 激情开心五月天| 狠狠操天天干| 黄色片区子| 婷婷成人视频| 99色综合网| 五月综合视频| 久久性爱视频久久性爱视频| 97成人丁香婷婷| 五月停停色色丁香| 伊人五月网| JAPANRCEP老熟妇乱子伦视频| 日本激情ⅩXX免费视频| 五月香婷婷| 亚洲成人av在线观看| av中文在线| 精品女人九九九| 丁香五月激情综合| 亚洲中文字幕在线电影| 婷婷五月天日本国产| 99热中文字幕久久| 国产第99页| 天天日天天舔| 成人亚洲精品| 91久久久久久久| 啪啪五月天啪啪| 色人久久| 日日操日日干| 国产高潮白浆一区二区| 亚洲欧美一区二区三区四区爱爱动图| 国产精品视频网| 中文字幕AV网址| 大香蕉九操| 婷婷在线视频| 色色日韩网| 超碰国产在线| 日狠狠| 深爱五月婷婷开心中文字幕| www.久久久久久久久久.com| 97碰碰视频在线观看免费| 五月激情啪啪| www.五月天婷婷| 夜精品无码A片一区二区蜜桃| 99国产精品白浆在线观看免费| 一本久婷婷综合| 99国产小视频| 亚洲成人在线观看网址| 激情爱爱网站| 丁香五月六月久久综合| 国产99久久久国产精品免费看| 五月婷丁香在线视频在线| 综合网精品99| 久久婷五月综合| 99在线观看亚洲| 丁香五月花影院| 亚洲激情另类| 性爱激情五月| 欧美色色色色色色| 五月伊人婷婷| 热99精品视频| 激情 婷婷| 国产成人AV| 婷婷中文字幕| 日本婷婷| 97精品综合久久| 草逼大片| 激情五月婷婷在线区| 丁香五月色网| WWW.桔色成人.COM| 五月天无码视屏播放| PORNY九色9l自拍视频成人| 久久新地此| 婷婷五月丁香啪啪| 99在线小视频| 狠狠色噜噜色狠狠狠综合久久成人波| 丁香久久五月天视频在线观看| 99久久99视频只有精品| 免费AAAAA网| 丁香伊人激情| 白天AV月月| 99精品丰满| 人人九色| 亚洲性爱电影| 五月天激情啪啪| 天天肏夜夜肏| 五月色综合网| 午夜AV网| αv中文字幕在线观| 一本色道久久88加勒比| 中文字幕av久久爽一区| 亚洲成人超碰| 久久免费操| 亚洲综合网 665566| 26uuu在线观看| 久久九九热视频| 久久只有18视频| 日韩无码专区| 97综合视频在线| 丁香六月欧美| 欧美、日韩、中文、制服、人妻| 超级97碰碰| 五月丁香激情综合| 九九热99精品| 婷婷五月天伊人| 99热精品观看| 中文字幕无码人妻少妇免费视频| 26uuu成人网| 色九九综合热99| 欧美成人无码一区二区三区| 色婷婷丁香中文在线播放| 午夜精品777| 丁香久月| 97福利视频| 五月天天天天天天天天天天天婷婷婷| 久久激情五月天| 热久久精品视频网站| 思思99热这里只有精品6| 综合深爱五月| 激情五月婷婷综合| 国产成人+综合亚洲+天堂| 东京热人妻一区二区三区在线| 玖玖精品婷婷| 99热这里只有精品2016| 久久综合首页| 天天色综网| 亚洲综合1024| 少妇人妻综合色6699| 99热精品在线| 色五月亚洲| 久久伦乱| 亚洲激情五月婷婷日日| 天天爽天天操| 超喷97免费在线视频| 亚洲免费观看高清完整版AV线| 99色在线视频| 伊人色综合影院视频| 99高级会所久久| 五月丁香六月成人| 99免费在线视频| 伊综合蕉| 99热 免费| 影音先锋色婷婷| 天堂美国久久| 激情六月五月婷婷综合网| 色婷婷9| 国外亚洲成AV人片在线观看| 久久久久8888| 深爱五月激情| 综合久久婷婷99| 色狠狠色| 99精品视频免费观看| 任你搞免费视频观看| 亚洲成人色五月天| 91色婷婷综合久久中文字幕二区| 成人无码髙潮喷水A片| 色综合丁香婷婷| 五月天伊人网| 久热久re| 另类图片激情五月天| 五月丁香啪啪综合| 五月天婷婷情色| se99视频| 色约约视频一区二区三区四区五区| 5月色亭亭视频| 九九热最新| 97久久久| 亚洲五月色| 国产九月婷婷| 五月天亚洲最大成人| 亚洲乱码在线观看| 91jiuseshunv| 天天日,天天射,天天舔| 香蕉曰比| 日 日干 日日做| 色噜噜狠狠色综合成人网| 日韩精品一区二区亚洲AV观看| 欧美激情综合五月色丁香| 色就色94欧美setu| 激情精品久久| 国产免费性爱| 日日干夜夜撸夜夜骑| 操人妻90p| 极品另类| 97黑人精品区| 青青草六月丁香| 极品精品一区二区三区在线| 人人人操B超碰| 日本精品久久久久中文字幕| 99er在线观看| 婷婷综合中文| 婷婷激情网五月天| 成片免费观看大全| 夜夜谢天天干| 丁香六月啪啪啪| 99热这里都是精品| 五月综合视频| 婷婷五月天渟渟| www.俺去也com| 成人性生活免费观看。| 天天干狠狠艹| 色婷婷很很丝袜| 久婷| 色婷网| 操操操av| 亚洲亚洲人成综合网络| 亚洲六月综合激情久久下卡| 99久久九九| 俺也去色| 日在线V视频在线播放| 婷婷五月,综合伊人| 日本九九热| 伊人久热91| 午夜成人AV在线| 日日夜夜狠狠婷婷色| 亚洲字幕AV一区二区三区四区| 国内精品玖玖| 超碰激情网| 三人荫蒂添的好舒服A片| 亚洲情a| 色.五月综合网| 天天射天天射一道本日本社区| 人妻有码乱操| 成人短视频在线观看| 九九热这里只有精品9| 99九九热播在线免费视频| 天天综合精品| 色爱99| 热日韩欧美| 色一情一乱一乱一区91Av| 99热这里有精品24| 9一精品视频观看| 五月丁香狠狠爱| 五月丁香婷婷国产精品综合| 欧美色色色色色色| 婷婷性爱| 六月天无码网址| 99热日韩| 男女av免费看| 99久久激情视频| 天天爽综合| 久久9999| 婷婷五月天国产传媒| 色五月婷婷av| 9久热精品在线视频| 五月婷啪| 狠狠操狠狠干综合| 久久国产性爱A V| 久久您您综合网| 91狠狠色| 成年人最刺激的综合网| 五月丁香六月情婷婷久久| 丁香五月伊人| 国产乱子轮XXX农村| 四月婷婷五月丁香| 天天射夜夜爽| 色五月综合在线| 99热高清在线| 男人的天堂av俄罗斯热| 激情五月婷婷| 久操热线| 综合图片色色| av操一操| 成人超碰Av| 99婷婷五月天| 亚洲人妻AV| 九九大香蕉黄色影院| 综合aV在线| 成人做爰黄A片免费看直播室男男| 亚洲熟女色| 丁香五月天堂网| 91啪啪| 色婷五月| 色色五月婷婷丁香| 26uuu四色| 天堂网色色| 99热个人在线| 1024操逼| 91精品综合久久久久久五月丁香| 久久婷婷五月综合伊人| 伊人9999| 春色激情第四色| 日韩欧美一区二区三区四区| 五月天婷婷综合久久| aaaaa不卡| 99色干| 色色色97| 91久久免费| 三十熟女| 高清a片基地| 综合九九日本| 九九九九九九九九九九九九九国产精品| 大香蕉丁香五月| 丁香五月婷婷亚洲激情四射| 丁香五月天AV在线| 婷婷久久五月| 久久人人妻| 99噜噜噜在线播放| 婷婷丁香五月在线观看91| 亚洲婷婷性爱| 丁香五月欧美婷婷| 丁香五月开心亚洲| 337p大胆噜噜噜噜噜91Av| 亚洲综合在线伊人婷| 包操45分钟网站| 青青草婷婷综合五月| 国内9l视频自拍老熟女九色| 日韩aⅴ视频| 91人妻九色大屁股| 老师高潮流白浆喷水的A片| 婷婷自拍| 五月丁香六月激情综合网| 天天色天天爽| 天天做天天爱综合| 五六月丁香激情视频| 五月天激情视频网站| 五月色影院| 97色色婷婷| 天天拍天天操| 一起草日本| 午夜成人AV在线| 五月丁香天天| 亚洲激情综合免费| 99碰碰| 色色色成人网| 精品人妻午夜一区二区三区四区| 日日噜噜久久婷婷五月天| 六月激情婷婷| 欧美综合丁香网| 婷婷六月情| 九九热精品| 激情98色婷婷五| 日本欧美成人片AAAA| 亚洲av电影网站| 婷婷五月综合网| 中文字幕+乱码+中文字幕在线观看| www.夜夜夜| 99热在线这里| 婷婷激情社区| 九九婷| 久操人妻| 99精品无码网站| 狠狠操狠狠操AV| 99视频综合网| 性五月激情| 激情六月天婷婷| AA丁香综合激情| 色99综合色88| 丁香六月婷婷一区| 久久六月综合| 99热热热99精品丁香| 日本97人人| 久久婷婷六月| 热99这就是精品视频| 男妓跪趴把舌头伸进我的嘴巴| 69精品人人人人| 91chinese 在线| 丁香五月第四色88| 97碰免费视频在线| 人人97操| 狠狠做六月爱婷婷综合aⅴ| 亚洲综合五月天| 色婷婷综合视频| 婷婷五月乱交换| 99视频地址| 在线观看av网站| 五月婷婷 自拍| 99热视| 丁香五月成人社区| 久草网大香视频| 五月丁香六月婷婷亚洲综合| 狠狠色噜噜狠狠狠狠综合| 丁香激情四射| 亚洲婷婷五月| 色色五月天com| 亚洲天堂热| 久久总和99| 久久9精品| 久久艹 五月天| 99免费视频久久| 99九九玖玖| 亚洲成人中文字幕| 丁香五月综合亚洲| 农村熟妇高潮精品A片| 激情五月天色色| 思思久久99| 日韩精品99久久| 五月四色婷婷| 熟妇人妻中文字幕无码老熟妇| 丁香六月婷婷综合激情欧美| 噜噜久| 亚洲黄色网址| 99色色网站| 91无码视频| 狠狠操天天干| 久9久9久9久9久9久9| 色婷婷综合久久久久| 五月婷婷狠狠干| 激情视频网址| 狠狠色狠狠| 亚洲综合1024| AV在线资源| 亚洲综合色色| 99综合视频在线| 四川女人毛多水多A片| 99re这里只有精品国产99| 99性视频| 99丁香五月婷| 亚洲九九婷婷| 成人性爱精品视频| www九九热| 99ri久久| 日韩综合天堂| 激情婷婷在线中文字幕| 亚洲精品激情| 丰满老熟妇BBBBB搡BBB| 丁香五月婷婷天| 色色色色色色综合网| 色婷婷XXXXX| 欧美性生交XXXXX无码小说| 激情五月婷婷丁香六月| 色爱五月天| 五月婷伊人| 色色999三级片| 丁香五月手机在线| 婷婷五月综合久久中文字幕| 久久久久久欧美精品se一二三四| 99热在线观看| 五月丁香综合网| 欧美va精品va老师va| 麻豆AV一区二区三区| 操操操AV| 五月婷婷啪啪网| 国产AV一区二区三区最新精品| 五月开心激情网| 一婬一伦一区二区三区| 98色花堂98t.R| 激情综合综合综合| 少妇大叫太大太粗太爽了A片| 丁香五月六月婷婷自拍| 天天干天天av天天射| 天天爽天天日| www色色色com| 五月天网址在线刘玥| 色色婷婷丁香五月天| 五月丁香亭亭操逼| 4399无码视频| 久久99久久99精品免视看婷| 五月丁香六月婷婷不卡免费无码 | 色欲一区二区三区精品A片| 性 色 婷婷| 丁香五月天婷婷91| 欧美成人AAA片一区国产精品| 激情九九这里只有精品| 久久久99视频| 高清一区二区三区日本久| 色五月丁香婷婷| 五月天免费色| 五月丁香综合在线| 国内自拍97在线| 人妻无码精品一区| 精品人妻久久久久| 午夜婷婷| 91N 一起草| 日韩啪啪网| 亚洲综合五月天| 欧美日本一区二区三区| 欧洲亚洲免费视频9 | 色婷婷视频| 伊人色综合影院视频| 日本色啪| 精品影院| 99热这里只有精品青草| 欧洲亚洲精品| 欧美综合激情五月| www.色婷婷| 99玖玖在线视频| 天堂网色婷婷| 610018岁成人视频| 五月天停婷基地| 五月色网| 综合亚洲五月天| 91色综合| 91se在线视频| 在线观看av网站| 婷五月天| 日韩AV免费| 色优久久| 亚洲色综合| 另类视频综合| 久久色9| 九九99精品视频在线观看| 丁香六月爱综合| 婷婷激情五月天色| 怕怕av| 26uuu四色| 伊人五月婷婷| 97五月久久丁香婷婷| 婷婷五月综合啪| 99热 在线播放| 97伦乱| 亚洲av另类在线观看| 丁香五月婷婷啪啪视频| 五月婷婷影视| 久久天堂女人| 久re在线| sewuyuetingtingiii| 久久精品噜噜噜成人A∨色欲 | 色 五月俺去也| 婷婷综合另类| 五月婷婷精品| 五月天综合久久丁香91| 婷婷色在线播放| 久久婷婷丁香| 亚洲高清在线| 中文网AV| 五月婷五月婷伊人伊人五月婷| 美女va| 婷婷五月天亚洲图片| 99精品免费视频| 成人短视频在线| 香蕉久久国产AV一区二区 | 夜夜撸天天操| 极品人妻VIDEOSSS人妻| 五月婷婷影视| 丁香五月天堂网AV| 六月婷基地| 精品乱码视频| 五月婷婷这里都是精品| www,婷婷五月天777me,com| 色色色色色色色色网站| 色综合com| 熟妇人妻中文字幕无码老熟妇| 色日本颜射| 五月天基地| 九色91国产| 天天干,天天舔| 婷婷五月天干干| 色色色五月婷| 超碰99在线观看| 伊人激情AV一区二区三区| 日操夜操天天操不卡| 99精品一二三四视频| 色99亚洲| 丁五月激情视频免费| 五月色综合| 丁香五月激情久久麻豆| 午夜爱插插| 色噜综| 91干| 中文AV网站| 9|无码久久久久久| 天天干天天射色综合| 五月婷婷色色| 伊人婷婷大香蕉在线| 99久久网站| 色XX综合网| 精品久久久人妻| 视频一区二区在线| 婷香五月网在线| 亚洲激情婷婷| 99精品偷自拍| 热久久91| 涩涩网五月天| 欧美日韩91| 综合 蜜月 婷婷| 五月婷婷co.m| 夜夜爽天天爽| 91精品又长又大又粗又爽又猛| 精品一二三区视频立| 色色色婷婷五月| 丁香五月婷婷图片综合| 五月丁香六月婷婷,婷| 亚洲丁香五月天视频| 色日本颜射| 玖玖综合色| 久久五月天网| 欧美怡红院黄站| 激情五月天在线观看色婷婷| 五月丁香六月婷婷色日| 男人大jjc女人免费视频| 99er免费在线观看| 99热这里只有精品中文字幕| 九九热大香蕉| 激情五月天社区| 男人的天堂在线婷婷| 久久网思思| 中文字幕有多少字| 开心久久五月天| 激情五月天丁香| 五月天另类图片区99| 久久精品视频在这里有| 97操在线| 五月丁香激情婷婷综合| 丁香六月在线综合| 亚洲sesesese| 丁香五月婷婷AV| 激情婷婷五月天日本系列| 99热精品在线观看| 桃色Av色哟哟| 99热这里只有精品2| 丁香婷婷九月| 日韩成人AV在线播放| 婷婷午夜精品久久久| www.yw色| 色综合狠狠色| 五月天亚洲综合网| 综合色影院|