欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

基于ResNet的人臉表情識別:從數(shù)據(jù)到部署的完整實踐指南

基于ResNet的人臉表情識別:從數(shù)據(jù)到部署的完整實踐指南 簡介這是一套面向Python期末大作業(yè)的人臉表情識別項目資源基于ResNet模型實現(xiàn)定位為高校學(xué)生課程設(shè)計、畢業(yè)設(shè)計或自學(xué)人臉識別的入門參考。壓縮包共一百零三個文件整體大小約五十四點一一兆字節(jié)內(nèi)容涵蓋十九個py源碼腳本和十個pyc編譯文件、三十二張png圖片與十七張jpg或jpeg圖像樣本、三個hdf5模型權(quán)重、兩個mp4演示視頻另有md說明文檔、xml工程配置、gif動態(tài)圖等輔助材料。資源已經(jīng)過本地編譯與嚴(yán)格調(diào)試評審分達(dá)到九十五分以上訓(xùn)練、推理和演示流程均可直接復(fù)現(xiàn)。目前已有一百三十五人學(xué)習(xí)下載。隨資源提供完整數(shù)據(jù)集和說明文檔能幫助理解ResNet在表情識別任務(wù)中的網(wǎng)絡(luò)搭建、數(shù)據(jù)預(yù)處理和模型評估方法適合需要交付可靠期末項目或系統(tǒng)學(xué)習(xí)人臉表情識別的同學(xué)參考使用。1. 一個期末大作業(yè)為什么值得按工程標(biāo)準(zhǔn)做完把“python期末大作業(yè)基于ResNet的人臉表情識別”這行字拆開看它其實是一個相當(dāng)完整的 CV 入門閉環(huán)數(shù)據(jù)集、預(yù)處理、模型、訓(xùn)練、推理、說明書全齊。很多同學(xué)拿到這類 zip 包只想改個名字交差但這恰恰是錯的——人臉表情識別是典型的“小圖、多類、類間差異細(xì)微、類別不均衡”任務(wù)用 ResNet 當(dāng)骨架能一口氣把遷移學(xué)習(xí)、數(shù)據(jù)增強(qiáng)、類別權(quán)重、模型可視化這些面試??键c全部串起來。這篇筆記我就按自己落地這類項目的順序把 ResNet 表情識別的數(shù)據(jù)組織、訓(xùn)練參數(shù)、踩坑記錄一次講透。適合正在做課設(shè)的學(xué)生也適合想把表情識別快速接到自己 demo 里的工程師。2. ResNet 憑什么成為表情識別的主力骨架選型理由與網(wǎng)絡(luò)結(jié)構(gòu)拆解2.1 表情識別任務(wù)對模型的三點苛刻要求先說清楚為什么表情識別不像貓狗分類那樣隨便選個網(wǎng)絡(luò)就能跑。第一表情數(shù)據(jù)集的原始分辨率通常很低FER2013 這類公開數(shù)據(jù)集都是 48x48 的灰度圖就算自己爬數(shù)據(jù)做人臉對齊后也就 64x64 到 96x96。圖像小意味著網(wǎng)絡(luò)不能一開始就瘋狂下采樣否則特征圖還沒成形就縮小到 4x4全局信息全丟了。第二表情類別之間的差異極度細(xì)微生氣和厭惡的嘴部線條差異可能只有幾個像素中性臉和微表情之間的邊界更模糊這要求網(wǎng)絡(luò)必須具備很強(qiáng)的中高層語義抽象能力。第三類別天然不均衡自然場景里“開心”“中性”出現(xiàn)的頻率遠(yuǎn)高于“厭惡”“恐懼”模型稍微偷懶一點就會把所有樣本都往多數(shù)類別上推。ResNet 恰好在這三點上都有優(yōu)勢。它的殘差結(jié)構(gòu)讓網(wǎng)絡(luò)可以在保持較高分辨率特征圖的同時堆深18 層 ResNet 在 48x48 輸入下依然能保留較完整的空間信息。而殘差連接又保證了梯度可以順暢地從最后一層傳到第一層訓(xùn)練深層模型不像 VGG 那樣讓人提心吊膽。更關(guān)鍵的是ResNet 在 ImageNet 上的預(yù)訓(xùn)練權(quán)重非常成熟torchvision 一行代碼就能加載這對小數(shù)據(jù)集任務(wù)幾乎是決定性的——表情識別公開數(shù)據(jù)集通常只有幾萬張圖從零訓(xùn)練一個深層網(wǎng)絡(luò)很容易過擬合而用預(yù)訓(xùn)練權(quán)重做遷移學(xué)習(xí)可以大幅壓低對數(shù)據(jù)量的需求。2.2 殘差結(jié)構(gòu)到底解決了什么退化不是過擬合很多資料喜歡把 ResNet 的貢獻(xiàn)概括成“解決梯度消失”但做過實驗的人會告訴你更準(zhǔn)確的描述是“解決深層網(wǎng)絡(luò)的退化問題”。梯度消失會被 Batch Normalization 很大程度上緩解但網(wǎng)絡(luò)加深到幾十層時訓(xùn)練誤差反而會先降后升——這不是過擬合過擬合是訓(xùn)練誤差低、測試誤差高而是純粹的優(yōu)化困難。恒等映射路徑的引入改變了游戲規(guī)則哪怕后面的殘差塊什么都沒學(xué)到網(wǎng)絡(luò)也至少能保持前層已提取的特征相當(dāng)于給深層網(wǎng)絡(luò)加了一條“后悔藥”通道學(xué)到有用信息時再把殘差疊加進(jìn)去。表情識別里這個特性的具體收益是你可以放心地把 ResNet-34、ResNet-50 這類更深的變體用在表情任務(wù)上而不必?fù)?dān)心網(wǎng)絡(luò)深了反而學(xué)不動。我實際對比過在 48x48 輸入下 ResNet-18 和 ResNet-34 的最終準(zhǔn)確率差距可能只有 1 到 2 個點但 ResNet-34 的收斂穩(wěn)定性更好中期波動明顯更小。如果你的機(jī)器顯存有限ResNet-18 夠用如果追求最終指標(biāo)ResNet-34 是性價比最高的選擇。ResNet-50 在小圖上收益不明顯因為它的瓶頸結(jié)構(gòu)本身是為 224x224 左右的大圖設(shè)計的。2.3 用 torchvision 加載 ResNet替換分類頭的兩種寫法不管用什么后端框架加載 ResNet 并替換分類頭都是第一步。以 PyTorch 為例我一般這樣處理import torch import torchvision.models as models # 方式一加載預(yù)訓(xùn)練權(quán)重替換最后一層分類頭 model models.resnet18(weightsmodels.ResNet18_Weights.IMAGENET1K_V1) num_features model.fc.in_features # 原分類頭輸入維度是 512resnet18或 2048resnet50 model.fc torch.nn.Linear(num_features, 7) # 7 類表情生氣、厭惡、恐懼、開心、中性、難過、驚訝 # 方式二把 ResNet 當(dāng)特征提取器只訓(xùn)練分類頭適合數(shù)據(jù)量極小的情況 for param in model.parameters(): param.requires_grad False model.fc torch.nn.Linear(num_features, 7) # 后續(xù)優(yōu)化器只傳入 model.fc.parameters()這里的核心參數(shù)是weightsmodels.ResNet18_Weights.IMAGENET1K_V1它表示加載在 ImageNet-1K 上預(yù)訓(xùn)練好的權(quán)重。ImageNet 預(yù)訓(xùn)練模型學(xué)到的是通用的邊緣、紋理、形狀特征這些底層特征對人臉和表情同樣有效所以遷移到表情任務(wù)時只需要讓網(wǎng)絡(luò)重新學(xué)“高層語義組合方式”也就是分類頭附近的那幾層。方式二之所以有效是因為表情數(shù)據(jù)集往往只有幾萬張甚至幾千張圖全量微調(diào)容易讓底層特征被帶偏。我個人的習(xí)慣是數(shù)據(jù)量少于 1 萬張時用方式二先訓(xùn)出一個能用的基線數(shù)據(jù)量超過 2 萬張再解鎖全部層微調(diào)。提示torchvision新版本里weightsmodels.ResNet18_Weights.IMAGENET1K_V1是推薦寫法舊寫法pretrainedTrue會在新版本里被移除。如果你用的是舊代碼報錯優(yōu)先檢查這一行。3. 把人臉表情數(shù)據(jù)集喂進(jìn) ResNet目錄組織、標(biāo)簽對齊與預(yù)處理3.1 數(shù)據(jù)集目錄結(jié)構(gòu)與標(biāo)簽對齊最常見的翻車點表情識別數(shù)據(jù)集的來源很雜有 CSV 文件如 FER2013也有按文件夾分好的圖片目錄。不管原始格式是什么我強(qiáng)烈建議你先把數(shù)據(jù)統(tǒng)一整理成train/val/test三個文件夾每個文件夾下按類別分子目錄最終結(jié)構(gòu)長這樣face_data/ ├── train/ │ ├── angry/ # 0 │ ├── disgust/ # 1 │ ├── fear/ # 2 │ ├── happy/ # 3 │ ├── neutral/ # 4 │ ├── sad/ # 5 │ └── surprise/ # 6 ├── val/ └── test/這個結(jié)構(gòu)的最大好處是torchvision.datasets.ImageFolder可以直接讀取類別標(biāo)簽按文件夾名的字母順序自動從 0 開始編號。但注意字母順序意味著angry0, disgust1, fear2, happy3, neutral4, sad5, surprise6和你預(yù)想的順序可能不一樣。如果你后面要打印混淆矩陣或者計算每個類別的準(zhǔn)確率一定要先打印dataset.class_to_idx確認(rèn)映射關(guān)系否則經(jīng)常出現(xiàn)“模型把恐懼識別成厭惡但你在混淆矩陣?yán)锟村e了行列”這種烏龍。我在這上面吃過虧當(dāng)時按自己以為的順序解析 CSV 標(biāo)簽訓(xùn)練集準(zhǔn)確率虛高到 99%換了測試集立刻崩到 40%查了半天才發(fā)現(xiàn)是標(biāo)簽錯位。3.2 預(yù)處理與數(shù)據(jù)增強(qiáng)48x48 小圖的參數(shù)怎么設(shè)表情識別的輸入分辨率普遍偏低預(yù)處理階段有兩個選擇一是直接喂 48x48 原始分辨率二是先放大到 224x224 再輸入。直接喂小圖會丟失細(xì)節(jié)放大到 224x224 又會讓 ResNet 的預(yù)訓(xùn)練權(quán)重更“舒服”。我的做法是折中先用 OpenCV 的人臉檢測器把臉摳出來對齊然后縮放到 64x64最后在訓(xùn)練時隨機(jī)裁剪成 48x48 并做水平翻轉(zhuǎn)。這樣既保留了原始分辨率又給模型引入了平移不變性。數(shù)據(jù)增強(qiáng)參數(shù)上我常用的組合是隨機(jī)水平翻轉(zhuǎn)p0.5隨機(jī)旋轉(zhuǎn)正負(fù) 10 度隨機(jī)裁剪加 padding 4 像素以及輕微的顏色抖動因為灰度圖轉(zhuǎn)三通道后亮度變化是主要擾動因素。歸一化方面如果用了 ImageNet 預(yù)訓(xùn)練權(quán)重必須用 ImageNet 的均值和標(biāo)準(zhǔn)差否則預(yù)訓(xùn)練權(quán)重的統(tǒng)計量會被破壞from torchvision import transforms train_transform transforms.Compose([ transforms.Grayscale(num_output_channels3), # 灰度圖轉(zhuǎn) 3 通道匹配 ResNet 輸入 transforms.RandomHorizontalFlip(p0.5), transforms.RandomRotation(10), transforms.RandomCrop(48, padding4), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_transform transforms.Compose([ transforms.Grayscale(num_output_channels3), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])上面的Grayscale(num_output_channels3)很關(guān)鍵。ResNet 的預(yù)訓(xùn)練權(quán)重第一個卷積層接受 3 通道輸入而表情數(shù)據(jù)集很多是單通道灰度圖必須復(fù)制成三通道再喂進(jìn)去。如果你用的數(shù)據(jù)集本身就是彩色人臉圖這一步可以去掉。RandomCrop(48, padding4)的意思是在原圖四周補(bǔ) 4 像素的 0 值后再隨機(jī)裁剪 48x48等效于給模型看稍微偏移后的同一張臉能有效抑制過擬合。注意驗證集和測試集不能做隨機(jī)增強(qiáng)只能做縮放和中值裁剪之類確定性變換否則同一張圖每次評估結(jié)果都不一樣你沒法判斷訓(xùn)練過程中的波動是模型問題還是數(shù)據(jù)擾動問題。3.3 自定義 Dataset處理 CSV 格式表情數(shù)據(jù)的標(biāo)準(zhǔn)寫法如果你的數(shù)據(jù)是 FER2013 那種 CSV 格式第一列是像素值第二列是標(biāo)簽或者需要從數(shù)據(jù)庫讀圖片ImageFolder就不好使了。這時候?qū)懸粋€自定義Dataset子類是最穩(wěn)的。我之前處理這類 CSV 數(shù)據(jù)的模板代碼如下import torch from torch.utils.data import Dataset from PIL import Image import numpy as np import os class FerCsvDataset(Dataset): 讀取 emotion CSV 數(shù)據(jù)集每行 label, pixels像素以空格分隔的灰度值 def __init__(self, csv_path, transformNone): self.samples [] self.transform transform with open(csv_path, r) as f: lines f.read().strip().splitlines()[1:] # 跳過表頭 for line in lines: parts line.split(,) label int(parts[0]) pixels np.array(parts[1].split(), dtypenp.uint8) self.samples.append((pixels, label)) def __len__(self): return len(self.samples) def __getitem__(self, idx): pixels, label self.samples[idx] # 48x48 灰度圖重建 img Image.fromarray(pixels.reshape(48, 48)) if self.transform: img self.transform(img) return img, label這里兩個操作要注意。第一lines[1:]跳過表頭如果數(shù)據(jù)文件本身沒有表頭這個切片會誤刪第一行樣本所以打開文件后先打印前兩行確認(rèn)格式再決定要不要跳。第二像素用空格分隔時parts[1].split()會得到一長串字符串轉(zhuǎn)成np.uint8數(shù)組后 reshape 成 48x48。有些 CSV 的像素分隔符是逗號那split(,)和split()的處理就完全相反——先確認(rèn)再寫代碼別猜。訓(xùn)練時配合DataLoader使用from torch.utils.data import DataLoader train_dataset FerCsvDataset(data/fer2013/train.csv, transformtrain_transform) val_dataset FerCsvDataset(data/fer2013/val.csv, transformval_transform) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue, num_workers4, pin_memoryTrue) val_loader DataLoader(val_dataset, batch_size64, shuffleFalse, num_workers4, pin_memoryTrue)batch_size的選擇要結(jié)合顯存和 BN 層特性下一章細(xì)說。shuffleTrue對訓(xùn)練集是必須的否則每個 epoch 內(nèi)樣本順序固定BN 的統(tǒng)計量估計會偏差。4. 訓(xùn)練與微調(diào)從 ImageNet 預(yù)訓(xùn)練權(quán)重到表情分類的落地參數(shù)4.1 遷移學(xué)習(xí) vs 從零訓(xùn)練預(yù)訓(xùn)練權(quán)重到底帶來了多少收益直接說結(jié)論在表情識別這種小數(shù)據(jù)集任務(wù)上用 ImageNet 預(yù)訓(xùn)練權(quán)重的 ResNet-18 比從零訓(xùn)練的 ResNet-18 最終準(zhǔn)確率能高出 8 到 15 個百分點而且收斂速度快一倍以上。原因是底層卷積核的可遷移性ImageNet 上學(xué)到的邊緣檢測、紋理模式、顏色統(tǒng)計對人臉同樣適用表情識別真正需要學(xué)的是“嘴部線條的組合方式”這類高層特征。從零訓(xùn)練意味著網(wǎng)絡(luò)得重新摸索這些底層特征幾萬張表情圖根本不夠。但預(yù)訓(xùn)練權(quán)重也不是沒有副作用。ImageNet 權(quán)重是平均臉朝向居中、尺度相對固定的自然圖像上訓(xùn)練出來的表情數(shù)據(jù)集里的人臉往往有偏轉(zhuǎn)、遮擋、夸張角度這會導(dǎo)致預(yù)訓(xùn)練階段學(xué)到的某些對“貓耳朵”“車輪”敏感的高層神經(jīng)元被激活產(chǎn)生干擾。我在實際項目里觀察到直接用預(yù)訓(xùn)練權(quán)重微調(diào)時前一兩個 epoch 的損失會比從零訓(xùn)練更低但隨后會有一段“平臺期”——這是在修正高層的偏置。這個過程很正常不要因為損失不降就急著調(diào)學(xué)習(xí)率耐心讓網(wǎng)絡(luò)自己洗掉那些與表情無關(guān)的激活模式。4.2 三個必調(diào)的參數(shù)學(xué)習(xí)率、batch size 和類別權(quán)重學(xué)習(xí)率是整個訓(xùn)練里最玄學(xué)的參數(shù)。遷移學(xué)習(xí)場景下我一般用1e-4起步比從零訓(xùn)練的1e-3要低一個量級——因為預(yù)訓(xùn)練權(quán)重已經(jīng)在一個很低的損失區(qū)域步子邁太大容易一步跨出好位置。優(yōu)化器我推薦 AdamW權(quán)重衰減設(shè)1e-4或5e-5它比 SGD 對學(xué)習(xí)率更寬容適合非資深玩家如果你想要極限精度可以把模型訓(xùn)練到后半段切到 SGDmomentum 繼續(xù)調(diào)。學(xué)習(xí)率調(diào)度用余弦退火CosineAnnealingLR或者按 epoch 手動衰減每 10 個 epoch 乘 0.1。表情識別的訓(xùn)練 epoch 數(shù)不用太多30 到 50 個 epoch 足夠收斂再多就會陷入過擬合區(qū)間。batch size 的取值受限于 BN 層ResNet 的 BatchNorm 在一個 batch 內(nèi)統(tǒng)計均值和方差batch size 太小小于 16會導(dǎo)致 BN 統(tǒng)計不穩(wěn)定損失曲線像鋸齒一樣抖batch size 太大又會超出顯存。我一般用 64顯存小于 4GB 時降到 32。另一個關(guān)鍵點是如果加載了預(yù)訓(xùn)練權(quán)重前幾個 epoch 最好凍結(jié)所有 BN 層的 running_mean 和 running_var因為這些統(tǒng)計量是 ImageNet 數(shù)據(jù)的分布小 batch 上更新會污染它們。PyTorch 里凍結(jié) BN 的寫法是def set_bn_eval(model): for m in model.modules(): if isinstance(m, torch.nn.BatchNorm2d): m.eval() # 使用 running_mean / running_var不再更新 # 在訓(xùn)練循環(huán)里前 5 個 epoch 凍結(jié) BN之后恢復(fù)訓(xùn)練模式 if epoch 5: set_bn_eval(model) else: model.train()類別權(quán)重是表情任務(wù)不能省的一步。我用torch.nn.CrossEntropyLoss(weightclass_weights)權(quán)重的計算方式最常見的是1 / 類別樣本數(shù)然后歸一化也可以直接用torch.sqrt(1 / 類別頻率)來壓低少數(shù)類的影響。類別不均衡嚴(yán)重時比如“厭惡”樣本只有“開心”的十分之一不加權(quán)重的話模型會把所有不確定樣本都判成“開心”混淆矩陣會難看得讓你懷疑人生。4.3 訓(xùn)練主循環(huán)從數(shù)據(jù)加載到模型保存的完整骨架下面給一份可以直接跑的訓(xùn)練代碼骨架我做課設(shè)或小項目時一般就用這個底子改。注意代碼里的device判斷、驗證階段的torch.no_grad()和最終模型保存方式這三個地方最容易寫錯。import torch import torch.nn as nn from torch.optim import AdamW from torch.optim.lr_scheduler import CosineAnnealingLR device torch.device(cuda if torch.cuda.is_available() else cpu) model model.to(device) # 類別權(quán)重按訓(xùn)練集各類別樣本數(shù)反比計算 import numpy as np train_labels [label for _, label in train_dataset.samples] counts np.bincount(train_labels, minlength7) weights torch.tensor(1.0 / (counts 1e-6), dtypetorch.float32).to(device) criterion nn.CrossEntropyLoss(weightweights) # 如果你覺得上述權(quán)重太激進(jìn)可以用 sqrt 平滑 # smooth_weights torch.sqrt(weights / weights.sum()) * 7 optimizer AdamW(model.parameters(), lr1e-4, weight_decay1e-4) scheduler CosineAnnealingLR(optimizer, T_max40) best_val_acc 0.0 for epoch in range(40): model.train() if epoch 3: set_bn_eval(model) # 凍結(jié) BN 統(tǒng)計量 total_loss 0.0 correct 0 total 0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) outputs model(images) loss criterion(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() * images.size(0) _, preds torch.max(outputs, 1) correct (preds labels).sum().item() total labels.size(0) train_acc correct / total val_acc evaluate(model, val_loader, device) scheduler.step() print(fEpoch {epoch1:02d} | Loss {total_loss/total:.4f} | fTrain Acc {train_acc:.4f} | Val Acc {val_acc:.4f}) if val_acc best_val_acc: best_val_acc val_acc torch.save({model_state_dict: model.state_dict(), class_to_idx: train_dataset.class_to_idx if hasattr(train_dataset, class_to_idx) else None}, best_model.pth)配合的驗證函數(shù)def evaluate(model, val_loader, device): model.eval() correct 0 total 0 with torch.no_grad(): # 驗證階段不計算梯度節(jié)省顯存且加速 for images, labels in val_loader: images, labels images.to(device), labels.to(device) outputs model(images) _, preds torch.max(outputs, 1) correct (preds labels).sum().item() total labels.size(0) return correct / total關(guān)于模型保存方式我見過好多人只存model.state_dict()結(jié)果推理時不知道輸入尺寸和類別數(shù)還得回頭翻代碼。所以我習(xí)慣把class_to_idx和num_classes一起存進(jìn) pth 文件這樣部署和復(fù)現(xiàn)時一眼就能確認(rèn)。另外torch.save一個包含state_dict的字典比直接torch.save(model, ...)安全得多——后者會連著類和設(shè)備信息一起序列化換臺機(jī)器經(jīng)常報錯。提示如果訓(xùn)練時顯卡顯存不夠把batch_size減半的同時記得把num_workers調(diào)小比如從 4 降到 2。num_workers過大和 batch size 過小同時出現(xiàn)時數(shù)據(jù)加載會成為新瓶頸GPU 利用率上不去。5. 常見問題與避坑訓(xùn)練崩潰、過擬合和推理翻車的 5 個案例5.1 訓(xùn)練第一個 epoch 損失直接變成 NaN現(xiàn)象是 loss 打印出來就是nan或者從某個 batch 開始突然變成nan之后再也回不來了。最常見的原因是學(xué)習(xí)率太大導(dǎo)致梯度爆炸但 ResNet 加 BN 對梯度爆炸容忍度其實不低所以八成是別的問題。我之前排查過的一個隱藏原因是輸入圖片里含有全黑或全白的異常樣本經(jīng)過Normalize后這些像素值變成極端大數(shù)把第一層卷積的數(shù)值范圍直接頂爆。解決辦法是數(shù)據(jù)加載完后跑一遍完整性檢查for i, (img, label) in enumerate(train_dataset): if img is None or (img 0).all(): print(fBad sample at index {i}, label {label}) break如果數(shù)據(jù)本身沒問題就把學(xué)習(xí)率降到1e-5重試一步步往上加。還有一種情況是損失函數(shù)里的weight參數(shù)包含了 0 值導(dǎo)致某些類別的梯度恒為 0從而讓對應(yīng) logit 瘋長最后數(shù)值溢出。給權(quán)重加一個極小值1e-6就能避免。5.2 訓(xùn)練集準(zhǔn)確率 98%驗證集卡在 60%這是表情識別項目里最經(jīng)典的血淚經(jīng)驗過擬合。癥狀是前 10 個 epoch 訓(xùn)練集和驗證集同步上升之后訓(xùn)練集繼續(xù)漲驗證集開始震蕩甚至下降。原因有兩個一是數(shù)據(jù)量太少表情數(shù)據(jù)集和 ImageNet 的規(guī)模差距太大二是模型參數(shù)太多ResNet-50 在小數(shù)據(jù)集上比 ResNet-18 更容易過擬合。解決辦法按優(yōu)先級排先加強(qiáng)數(shù)據(jù)增強(qiáng)加光照擾動、隨機(jī)遮擋再砍模型換小一點的 ResNet-18最后考慮加 dropout。表情識別這種任務(wù)測試集準(zhǔn)確率比“訓(xùn)練集做到完美”重要得多因為你的模型最終是要在別人的照片上跑的。還有個容易被忽略的原因驗證集和訓(xùn)練集的人臉來源重疊。很多表情數(shù)據(jù)集是按幀從視頻里切出來的同一個人的相鄰幀被分進(jìn)訓(xùn)練集和驗證集導(dǎo)致模型“記住”了這個人而不是學(xué)會了表情。正確做法是按視頻或人物 ID 劃分?jǐn)?shù)據(jù)集而不是按幀隨機(jī)分。遇到這種情況重劃驗證集后準(zhǔn)確率會掉下來但這才是真實水平。5.3 攝像頭推理卡頓幀率只有 5 FPS訓(xùn)練好的模型拿到攝像頭實時推理時卡頓90% 的問題不在模型計算本身而在預(yù)處理鏈路。常見的是每幀都用 PIL 加載、轉(zhuǎn)格式、單張送 GPU來回切換損耗巨大。正確的推理流程是用 OpenCV 讀幀 → 人臉檢測器定位 → 裁剪對齊 → 單張推理。并且必須開啟 eval 模式和torch.no_grad()import cv2 import torch model.eval() cap cv2.VideoCapture(0) with torch.no_grad(): while True: ret, frame cap.read() if not ret: break # 假設(shè) face 人臉檢測器返回的裁剪后 48x48 圖像 face preprocess_face(frame) # 返回 tensorshape [1,3,48,48] face face.to(device) logits model(face) _, pred torch.max(logits, 1) # 在 frame 上畫框和標(biāo)簽顯示這里有兩個隱性坑如果model.eval()忘了調(diào)BN 層還在用 batch 統(tǒng)計量單張推理時統(tǒng)計量方差巨大輸出會變得很怪如果忘了torch.no_grad()模型前向會保存中間激活用于反向傳播顯存被慢慢吃滿幾十幀后開始卡頓甚至崩潰。人臉檢測器本身也很耗計算用 OpenCV 自帶的 Haar Cascade 或者移動端友好的檢測模型別一上來就接 YOLO。5.4 測試集準(zhǔn)確率虛高標(biāo)簽對齊問題的典型癥狀癥狀是訓(xùn)練過程一切正常訓(xùn)練/驗證準(zhǔn)確率都很像樣子但換到真實照片上識別錯誤百出或者測試集準(zhǔn)確率和驗證集差一截。這種“黑匣子”式的問題十有八九是類別標(biāo)簽映射錯位。我在章節(jié) 3.1 提到過按字母排序的問題這里再舉一個更隱蔽的場景CSV 數(shù)據(jù)集的 label 和文件夾的類別序號不一致。比如你的 CSV 里0angry但torchvision.datasets.ImageFolder給你分的是0angry嗎不一定如果val文件夾里子目錄順序不同同一個標(biāo)簽號對應(yīng)的類別就變了。排查辦法很簡單訓(xùn)練前打印一份映射表存進(jìn)日志class_names train_dataset.classes class_to_idx train_dataset.class_to_idx print(class_to_idx) # 輸出類似 {angry: 0, disgust: 1, fear: 2, ...}訓(xùn)練完成后用這段映射表寫一個小的評估腳本單獨跑測試集并打印每一類的準(zhǔn)確率和混淆矩陣。如果某一類的準(zhǔn)確率顯著低于其他類優(yōu)先懷疑是標(biāo)簽錯位而不是模型沒學(xué)好。血淚經(jīng)驗這個檢查花不了 5 分鐘但能救回你一下午的調(diào)參時間。5.5 類別不均衡把“厭惡”和“恐懼”直接淹沒在自然場景采集的表情數(shù)據(jù)里“開心”“中性”可能各占 30%“厭惡”“恐懼”各占 5%如果不處理模型會把后兩者學(xué)成一團(tuán)噪聲?,F(xiàn)象是混淆矩陣?yán)镉幸徽袔缀醵际?0也就是“厭惡”類從未被預(yù)測過。解決手段有三層第一層是章節(jié) 4.2 說的類別權(quán)重這是最省事的第二層是過采樣每個 epoch 對少數(shù)類樣本重復(fù)采樣讓每個 batch 里各類別盡量均勻第三層是數(shù)據(jù)增強(qiáng)時對少數(shù)類用更強(qiáng)的擾動。我推薦至少做到前兩層。用WeightedRandomSampler可以方便地做過采樣from torch.utils.data import WeightedRandomSampler sample_weights torch.zeros(len(train_dataset)) for i, (_, label) in enumerate(train_dataset.samples): sample_weights[i] 1.0 / counts[label] sampler WeightedRandomSampler(sample_weights, num_sampleslen(sample_weights), replacementTrue) train_loader DataLoader(train_dataset, batch_size64, samplersampler, num_workers4)注意用了sampler之后就不能再傳shuffleTrue這是DataLoader的硬性約束。num_samples通常保持和原數(shù)據(jù)集一樣大讓每個 epoch 的總步數(shù)不變化。6. 讓表情識別再進(jìn)一步用 Grad-CAM 驗證模型在看哪里表情識別做到 80% 出頭的準(zhǔn)確率后光看指標(biāo)無法判斷模型學(xué)到的策略是否合理。最常見的隱藏 bug 是模型學(xué)會“看背景”而不是“看臉”——訓(xùn)練集里”開心“的照片恰好背景偏亮”難過“的恰好偏暗模型就轉(zhuǎn)向了捷徑。Grad-CAM 是檢查這個問題的輕量工具它能生成一張熱力圖告訴我們模型做決策時重點關(guān)注的是輸入圖像的哪些區(qū)域。一個合理的表情識別模型熱力圖應(yīng)該集中在上半臉的眼部周圍微笑時眼輪匝肌變化和下半臉的嘴部附近如果熱力圖大面積集中在背景、額頭或者衣領(lǐng)上說明模型學(xué)歪了。用 PyTorch 計算 Grad-CAM 并不需要完整復(fù)現(xiàn)原版流程核心做法是記錄目標(biāo)特征圖對目標(biāo)類別的 logit 反向傳播取梯度對特征圖求通道平均再上采樣到輸入尺寸。以 ResNet-18 為例我通常取model.layer4[-1]的輸出作為特征圖import torch import torch.nn.functional as F def grad_cam(model, tensor, target_classNone): 返回與輸入同尺寸的熱力圖0~1shape: [H, W] device next(model.parameters()).device model.eval() feature_map None gradient None def forward_hook(module, input, output): nonlocal feature_map feature_map output.detach() def backward_hook(module, grad_input, grad_output): nonlocal gradient gradient grad_output[0].detach() # ResNet-18 的 layer4 是最后一個殘差塊組成的 stage target_layer model.layer4[-1] fh target_layer.register_forward_hook(forward_hook) bh target_layer.register_full_backward_hook(backward_hook) tensor tensor.unsqueeze(0).to(device) # [1, 3, 48, 48] logits model(tensor) if target_class is None: target_class logits.argmax(dim1).item() # 對目標(biāo)類別得分反向傳播 model.zero_grad() one_hot torch.zeros_like(logits) one_hot[0, target_class] 1.0 logits.backward(gradientone_hot) weights gradient.mean(dim(2, 3), keepdimTrue) # 通道平均權(quán)重 cam (weights * feature_map).sum(dim1, keepdimTrue) # 加權(quán)求和 cam F.relu(cam) # 只保留正向影響區(qū)域 cam F.interpolate(cam, size(48, 48), modebilinear, align_cornersFalse) fh.remove() bh.remove() return cam[0, 0].cpu().numpy()register_full_backward_hook是 PyTorch 新版本推薦寫法舊版本的register_backward_hook在nn.Module上已被棄用。gradient拿到的是目標(biāo)層輸出的梯度mean(dim(2,3))是 Grad-CAM 的經(jīng)典加權(quán)操作把高寬的梯度平均成一個通道權(quán)重。最后F.relu過濾掉負(fù)貢獻(xiàn)區(qū)域因為負(fù)的 CAM 值對應(yīng)的像素對目標(biāo)類別是抑制作用不在可視化范圍里。實際使用時把熱力圖和原圖疊加透明度設(shè) 0.4 左右然后逐個看測試集里每個類別的 sample。我自己的教訓(xùn)是模型的準(zhǔn)確率達(dá)標(biāo)不代表決策可信有一次我訓(xùn)練出的模型對”恐懼“類識別準(zhǔn)確率很高但 Grad-CAM 顯示它重點看的是背景里的窗戶邊緣——原因是數(shù)據(jù)里”恐懼“表情的樣本恰好全來自同一個室內(nèi)場景。發(fā)現(xiàn)這個問題后我把那批背景重復(fù)的樣本清洗掉重新訓(xùn)練后準(zhǔn)確率掉了 3 個百分點但換到真實場景照片上的表現(xiàn)反而提升了一截。這是我認(rèn)為整個項目里最有價值的一次排查也讓我養(yǎng)成了每次訓(xùn)完分類模型必看 Grad-CAM 的習(xí)慣。希望幫到你。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日本成人噜噜噜| 五月婷婷五月天激情网| 综合99在线| 97se视频在线| 狠狠操狠狠狠| 午夜爱爱网站| 色天使色综合| 伊人无码高清| 色色网站| 99久久五月婷婷| 牛牛碰免费| 日本97在线| 色婷婷影视| 亚州操人在线视频| 嫩草AV久久伊人妇女超级a| 婷婷五月天中文字幕| 色九区| 激情综合网激情五月丁香| 亚洲天堂aaaa| 欧美精品999| 无码人妻少妇色欲AV一区二区| 79色色免费| a级毛片一区二区免费视频| 日日天天干| 亚洲综合网区| 九九综合九九| 最新色色五月天| 婷婷五月色播天| 玖玖在线视| 久久99成人性爱高清视频| 九九激情网| 六月丁花香啪啪激情欧美| 激情图片婷婷| 少妇搡BBBB搡BBB搡毛茸茸 | 思思热高清在线观看| 婷婷五月天视| 婷婷久久五月| 五月伊人综合| 99re在线视频精品,这里只有精品18,| 99啪99| AV成人在线网站| 激情视频网址| 97久久视频| 夜夜 操无码| 热久久66| 丁香五月天天日| av在线免费播放| 丁香影院五月综合| 五月伊人91| 天天色粽合合合合合合合| 天天日天天色| 激情www| 99成人无码| 亚洲婷婷视频| 久久性爱视频免费| 五月丁激情| 五月天婷婷三级黄| 婷婷色香六月综合激情| 激情校园 亚洲| 亚洲精品乱码久久久久久按摩观| 婷婷色色狠狠| 五月丁香综合伦理片| 五月婷久久| 在线网黄| 五月天婷婷一起草| 九九爱看亚洲| av性爱网站| 婷婷丁香五月综合激情小说| 日本在线va| 婷婷五月色综合| 丁香五月天五码婷婷| 丁香女人五月天| 婷婷五月天受日本法律保护| 丁香五月亚洲无码| 79色色| 丁香 婷婷 亚洲 熟女| 天天爽综合| 人人看人人要| 激情网五月天| 激情五月婷| 久久五月丁香| 九九无毛| 久久久久久久97| 丁香五月综合久久综合| 伊人丁香六月婷婷| www.成人婷婷综合| 色色色综合网| 亚洲精品V天堂中文字幕| 99操无码视频观看| 99热这里有精品| 超碰九色| www.色情五月天.com| 91xxxx九色| 欧美日韩成人高清在线| 日日噜狠狠色综| www.91有码.com| 99视频久久免费视频| 激情综合网五月天天| WWW、日本色丁香、co m| 天天拍夜夜爽日日| 这里只有精品视频| 青草青草视频2免费观看| 久久在线视频免费观看| 日韩美女羞羞网站在线观看| 九九热再线九九视频免费在线观看| 欧美综合激情五月丁香| 丁香五月影院| 日本色色影片| 久操大香蕉| 五月色情婷婷开心五月色情| 婷婷久久色| 99男人的天堂| 色五月丁香91| 九九综合精品| 99热这里只有精品86| 色哟哟www| 久久久中文| 亚洲热视频在线| 国产伦理精品高清在线观看网站一区二区| 成人综合网站| 91九色欧美| 久人操| 人妻射精AV| 午夜丁香六月婷| 色噜噜,噜噜色| 六月丁香婷婷网| 五月天 另类图片| 色综合久久天天综合网| 99视频热99| 香蕉国产2013| 五月丁香婷婷综合视频| 久久久av久av久片一区二区| 精品久久二6| 狠狠色丁香久久婷婷综合五月| 九九大香蕉黄色影院| 激情图片五月天| 六月丁花香啪啪激情欧美| 五月婷婷啪| 五月丁香六月| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 热这里只有精| 婷婷五月情| www.99riav99| 狠狠色激情在线| 亭亭玉月丁香| 五月天丁香久久综合| 九九九色综合| 中文字幕丰满人妻无码专区| 超碰99热在线观看| 26uuu欧美激情另类| 色丁香五月天| 婷婷涩五月天综合| 丁香五月综合激情久久潮喷| 亚洲国产99| 国产精品18久久久| 丁香婷婷综合精品六月初| 婷婷五月综合激情免费| 成人性生活免费观看。| 五月天婷婷色紫薇阁| 欧美激情综合色综合啪啪五月| av中文字幕免费观看| 99视频在线| 五月亭亭六月天| www.激情| 99re热| 狠狠干天天日| 色婷婷四虎| 欧美激情五月天在线观看| 色综合久久天天综合网| 67194成I人在线观看线路1| 人妻久久久久久久久久| 性爱五月婷| 99在线视频精品| 一级性爱视频| 熟女重口味αV| 色婷婷丁香五月| 久久sp免费视频| 啪啪激情网站| 91操人人操| 激情五月图| 色色色色色色色色五月先| 99在线综合视频| 久久久久99精品成人片| 成人 在线观看国产| 亚洲激情在线| www.狠狠操| 色10月婷婷视频| 丁香六月婷婷综合| 欧美成人热| 精品人妻一区二区| 日韩婷婷五月天| 狠狠草狠狠草| 婷婷五月天色综合翘| 久久99网站| 激情四射五月天| 激情综合五月色在线| 99视频在线观看网址| 婷婷丁香红五月91C| 五月天合网| 久色网| 亚洲精品五十一区| a免费在线| 婷婷丁香五月激情图片| 亚洲中文AV网站| 五月开心深爱激情网| 婷婷五月天性色| 激情黄色小说五月天| 久久全意婷婷| 日韩成人AV在线播放| 九九久久五月天| 久久这里只有精品99| 国产乱码久久| 一级黄色片看看| 996日日爱| 无码A片一区二区免费| 婷婷五月色情| 梁铮版《蜘蛛女侠》在线| 亚洲妇女熟BBW| 五月丁香婷婷伊人| 九九re视频在线视频| 亚洲精品国产精品乱码不99| www,久久久人人| 国产精品久久久海的味道| 超爽内射| 激情综合网激情五月天| 日本九九九九| 天天爱天天天射AV| 久久久中文| 激情婷婷人妻| 婷婷五月丁香欧洲| 九九成人| 激情五月天综合网| 亚洲狠狠婷婷综合久久久| 日本道久久91| 色播婷婷大香蕉| ′久久99一| 26uuu精品国产| 五月婷婷成人网首页| 五月婷婷丁香日韩在线| 超碰在线99| 五月婷婷激情69| 久久久久久久五月| 久久激情网| 香蕉AV777XXX色综合一区| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 丁香六月婷婷缴情欧美| www.五月婷| 色玖玖综合网| 最新无毒无码AV| 天天干天天操天天射| 五月色丁香综合| 婷婷五月综合基地| 99爱在线免费视频| 色情五月综合婷婷| 色婷婷狠狠色| 丁香六月婷婷综合激情欧美| 五月天婷婷激情在线色图| 狠狠五月天| 久久少妇视频| 五月天婷婷色小说| 热的五码久久精品| 丁香婷婷色| 亚洲五月婷| 5月丁香婷婷激情网| 丁香婷婷久久| 大香蕉五月天婷婷丁香91| 国精产品一区一区三区免费视频 | 婷婷久久五月天| 99热在线这里| 天天成人综合视频| 丁香五月综合图片在线观看| 久热精品视频在线观| 在线综合91| 亚洲最大视频| 六月丁香综合| 偷拍91九色| 丁香五月天人体| 成人av播放| 丁香五月天AV在线 | 九九爱激情| 欧美丁香婷婷五月| 色色丁香婷婷| 成人一级片| 五月天激情美女久久| 九九热只有这里精品| HD久久精品视频| 婷婷亚洲五月丁香综合在线 | 碰碰碰碰碰99| 韩国不卡AC视频| 九九这里只有精品| 婷婷五月丁香五月| 色色com| www.99热精品| 亚洲熟妇无码乱子AV电影| 26uuuu精品一区二区| 一级片sese片.COM| 99热国内精品| 4399亚洲视频| 七七九九色色| 亚洲综合成人网| 亚洲最大激情无码| 色色日本欧美| 狠狠搞狠狠操| 日韩成人不卡| 天天干天天干天天| 99ri精品视频在线观看| 超碰人人操人人干| 九九黄色网| 色射影院| 五月婷婷香| 人人摸人人干| 终合激情网| 五月激情婷婷色| 妻久久久久| 婷婷激情九月| 久久只有这里精品免费| 婷婷,五月天,丁香,第一| 久操热线| 大香蕉五月天| 久久香蕉影院| 丁香五月天堂网| 五月天激情综合| 天天艹夜夜艹| 欧美成人精品A片免费一区99| 亚洲最大视频| 午夜天堂一区人妻| 色播色丁香五月| 丁香五月很很肏| 欧美日韩日韩成人| www.精品99| 99热99极品观看| 99ri久久| 天天上天天爽| 男人的天堂五月丁香| 亚洲热视频在线| 中文在线成人| 久操热| 我爱大香蕉| www.婷婷五月天.com| 色婷婷电影| 色综合天天| 久久精品A片777777| 影音先锋秋秋五月婷婷| 超碰人人91| 人人操99| 亚洲十月婷婷综合| 狠狠爱五月婷婷| 99热这里只有精品首页| 七月丁香婷婷 色色| 九九九九无码| 六月亚洲婷婷6月中文字幕| 婷婷五月在线免费| 新激情五月开心五月婷婷五月丁香五月| 婷婷激情5月| 久久婷婷视频| 五月丁香综合激情| 五月天堂六月丁香亚州中文字幕久久| 人妻AV在线观看| 97人人干人人操| 亚洲熟妇AV乱码在线观看| 国成人网| 狼人久草| 亚洲成人噜噜| 免费视频无码| 久久精品婷婷五月丁香| 5月丁香六月情| 狠狠狠狠狠狠| 久久97久久99久久综合欧美| 性爱人人网| 99久久精| 丁香五月天婷婷中文字幕| 看片视频在线免费日产在线看| 欧美特大片黄| 五月开心婷婷网| 中文字幕性爱丰满| 天天干狠狠| 伊人爱爱日本| 激情美女五月天| 丁香五月天AV| 96精品成人无码A片观看金桔| 综合色图区| www99热| 九月性爱网| 天天爱天天做天天日| 天天做天天爱天天玩夜夜爽| 久久综合丁香激情五月| 大香蕉狠狠爱主页| 翔田千里无码| 五月激情综合网| 久久婷婷桃花五月天| 夜夜夜天天操| 思思热在线视频精品| 少妇人妻人伦A片| 九九十99视频| 久久er99| 欧美婷婷丁香社区在线播放| 欧美激情 日韩无码 婷婷 五月天| 婷婷激情五月综合| 日本婷婷综合精品| 深爱五月激情五月| 人妻精品在线| 色噜噜五月天| 99视频在线啪| 日韩色五月| 日本乱子人伦在线视频| 欧美成人无码高清一区二区三区| 在线不卡视频| 激情婷婷六月天| 五月婷婷www| 色色色色色色色综合| 色婷婷综合影院| www.99riav99| 成人狠狠成人狠狠成人狠狠成人狠狠| 六月激情网| 激情四射网| 五月天另类小说| 国产欧美精品AAAAAA片| 五月丁香婷婷综合激情基地| 免费看欧美成人A片无码| 91九色视频| 丁香五月六月婷婷综合| 精品九九网| 狠狠操狠狠做| 潮汕成人AV片在线| 色色亚洲视频| 国产视频福利| 98色花堂98t.R| 99九九热视频| 97在线刺激| 色婷婷性爱| 99re热视频这里只精品5| 69超碰在线| 狠狠色官网| 97干在线| 69婷婷丁香午夜| 精品视频99看在线视频| 九月婷婷久久| 久久96热| 色综合久久8| 思思国产99| 啪啪操网| AV色婷婷| 金桔一区二区ab地址| AV电影在线播放| 中文无码婷婷| 丁香网站| 深夜激情网| 久久激情四射| 成人AV中文字幕| 任你搞网站| 免费亚洲婷婷中文字幕| 金桔一区二区ab地址| 亚洲AV免费在线| 激情五月天开心网丁香无码| 丰滿爆乳一区二区三区| 天堂五月婷婷| www.久久| 九九色情网站| 人妻啪啪啪| 久久99大全| 97碰超级人人看| 国产精品电影| 大香蕉综合视频在线| 欧美激情综合色综合色| 丁香五月网址| 国产真人做爰视频免费| 天天激情| 色噜噜狠狠色综合AV兰草影视| 婷婷在线视频| 久久这里只有国产视频| 久艹大香蕉| 91九色中文| 五月婷成人| 精品成人无码A片观看香草视频| 五月丁香综合色婷婷| 天天综合社区| 五月婷丁香| 欧美日韩精品人妻狠狠躁免费视频| 丁香五月av在线| 色九月国产| 婷婷五月天影院| www.lingjunshare.com| 久热 91| AA片在线观看视频在线播放| 天天五月天综合网址| 国产精典视频在线观看| 激情五月天天| 亚洲黄色影视| 婷婷丁香五月亚洲| 9er热在线精品视频| 伊人五月婷| 超碰三级片| 天天操天天操综合| 色婷婷www| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 色婷婷社区| 色香蕉影院| tingtingcaobi| 五月天丁香网站| 五月婷网站| 色婷婷99| www.91在线看| 丁香五月婷婷免费视频| 国产精品大香蕉| 亚洲成人va| www99热| 久久99免费视频网站| se99视频| 丁香六月综合激情| 天天色天天爱天天爽| 91婷婷色| 六月色 亚洲| 十月丁香婷婷| 婷婷情色五月天| 五月天丁香婷婷久久九| 国产亚洲精品久久久久久牛牛| 色五月天成人| 激情五月色综合国产精品| 日韩综合久久| 青青久久大香蕉| 高潮毛片又色又爽免费| 婷婷99狠狠| 熟女激情网| 欧美丁香五月| 秋霞电影理论| se99高清无码| 久久婷婷婷| 五月婷婷网站| 欧美婷婷丁香五月| 色五月,com| ,99视频久久| 中文字幕在线资源| 色色色综合色| 欧美啄木乌丝袜人妻系列| 亚洲国产精品五月天| 成人在线综合| 绿色小导航AV| 99久免费视频| 婷婷五月激情综合啪啪| 五月丁香在线观看国产| 99A片| 欧洲综合视频| 五月丁香六月综合激情无码软件亮点| 婷婷丁香视频| 丁香五月另类小说在线阅读| wwW天天干| 丁香五月亚洲激情婷婷射| 91干视频| 无码一级片| 久久五月情| 久热A| 五月激情偷拍婷婷| 人人天堂操| 婷婷六月丁香久| 日韩一区二区在线播放| 99热精品10| 五月花婷婷在线精品视频| 丁香五月天在线观看视频| 九九九色综合| 丁香色五月直播| 99丁香五月婷| 丁香五月宝贝激情网| 操人妻90p| 亚洲亚洲激情| 九九热99精品在线| 日日爽日日爽| 九九热精品| 大香蕉久久婷婷| 久久大香蕉同僚| 色域五月婷婷丁香| 玖玖婷婷五月天| 国产XXXX搡XXXXX搡麻豆| 香蕉97碰碰碰欧美| 久久精品日| 激情五月天色婷婷综合| 亚洲操人| 日日夜夜青青草| 激情五月五月五月婷婷| 丁香五月天在线| 日本色爽| 亚洲综合激情五月久久| 无人区码一码二码三码医生系列| 操97在线观看| 成人中文字幕在线| 无码九九| 激情九九这里只有精品| 色噜噜狠噜噜视频| 九九热精品视频| 202丰满熟女妇大| 亚洲精级| 激情黄色小说色五月| 欧美丁香六月在线观看视频| 激情五月,激情综合网| 丁香在线视频| 久热91| 五月丁香综合色婷婷| 成人一区在线观看| 天天曰夜夜爽| 人人草人人爱手机视频看看| 六月丁香av| 开心五月网 | 香蕉97碰碰碰超视精品| 久久ww| 婷婷激情综合网| 丁香五月天堂网| 色综合五月| 久久99激情五月天| 色五月婷婷色| 日本九九热| 激情综合色网| 国产av第一专区| 综合久久97| 色婷婷五月天堂资源| 超碰日日操| 麻豆AV一区二区三区| 六月综合婷婷开心伊人| 人妻内射麻豆视频| 91成人电影| 五月丁香六月婷综合成人综合| 情色五月天 网站| 国产激情AV| 亚洲免费99| 久热伊人| 激情色情五月天| 在线观看熟女少妇| 色五月激情综合| 久久人妻视频| 26uuu在线观看| 色综合播放| 午夜理论片最新午夜理论剧| 噜噜狠狠色综合久| 任你搞免费视频观看| 婷婷六月丁香开心深深爱| 99re热视频这里只精品| 国产亚洲精品AAAAAAA片| av激情在线| 亚洲九九在线| 亚洲色综合| 欧美色97| 一级二级香港秋霞欧美欧美秋霞| 激情五月天色色网| 亚洲五月天婷婷| 99热这里只有精品86| 双性美人被调教到喷水A片| 99黄色在线视频精品熟女| 99色在线观看视频| 亚洲欧洲中文日韩久久AV乱码| 婷婷五月综合社区| 五月天天天天天天天天天天天天天天天婷婷婷 | 日韩免费视频| 99re99热| 99久久激情视频| 久久综合色五月| 丁香六月无码| 琪琪色网在线| 婷婷丁香五月天色播网站| 色综合色五月| 日本黄色精品| 亚洲色情在线| 久草x色在线观看99| 色综合五月在线| 五月综合久久| 婷婷丁香视频在线观看免费| 色综合色综合网| 97精品综合| 激情五月综合第一页| 99久久久| 亚洲国产黄色电影| 丁香婷婷综合激情五月色| 少妇高潮A片无套内谢麻豆传| VA色婷婷| 色婷婷综合视频| 色婷婷9| 91色在线 | 日韩| 大香蕉婷婷丁香| 亚洲成人中心| 国产免费一区二区三区三州老师F1F1.CC| 伊人啪啪网| 婷婷激情综合色五月久久91| 激情小说视频图片| 久久一级片| 六月色婷婷| 婷婷色情五月| 综合色色婷婷| 成人噜噜网| 久久99精品视频| 热99热| 欧美性猛交99久久久久99按摩| 激情伊人六| 国产一二区爆乳_1国产日韩一区二区三-成人AV | 九九99精品视频在线观看| 99re热在线视频| 色五月在线观看| 五月婷婷开心深| 99国产精品久久久久久久久久久| 五月综合在线婷婷图片| 美女婷婷激情亚洲| 深情五月天| 99色久| 九色91国产| 久久五月视频| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 深爱五月亚洲| 五月天激情综合网| 开心五月激情网| 色色色视频| 色天使久久综合| 五月婷婷丁香俺日污视频| 丁香五月首页| 99精品成人无码A片观看金桔| 久久在线人妻| 五月天激情网址| 99热一区| 国产裸舞表演WWWW| 五月丁香激情四射| 99热精品在线观看| 开心五月网 | 五月天激情日色在线| 九九热精品视频在线观看| 97人人操人人干| 亚洲视频在线观看| 丁香婷婷噜噜| 噜噜狠狠| 久久久噜噜噜操操操| 99久久婷婷五月综合| 色婷婷婷av| 久草婷婷网| 日韩久热| 婷婷激情欧美| 九九婷婷综合| 久久性爱99国产| 超碰99热精品| 日日操,日日爽| 操操操91| 超碰超碰在线| 天天综合影院| 思恩热国产视频右线观看| 色青青电影色五月| 激情文学久久| 天天爽综合网| 亚洲网站在线鸭子av| 男人的天堂在线婷婷| 黄色三级日本| 怡红院一二三| 婷婷五月激情六月丁香 | 俺去婷婷 丁香| 99热精品在线| 丁香五月成人婷婷| 久久婷婷五月综合色播| 啪啪激情网| 九热av| 成人看片网站| 亚洲熟女色| 99爱这里只有精品免费视频| 99激| 久久98| CAOBIBI| 九九九九精品精| 五月天婷婷基地| 99热精品无码| 日韩欧美骚货| 欧洲MV日韩MV国产| 成片免费观看视频大全| 99热这里只有精品22| 婷婷五月蜜桃成人桃色丁香| 超碰在线国产9| 91制片厂久久久国产电影| 欧洲色| 超碰免费成人| dingxiangtingtingliuyue| 99久久久国产大片区| 免费播放片大片| 天天色2017| 大学生高潮无套内谢视频| 五月天婷婷綜合院| 啄木鸟丝袜美女福利视频| 久久这有这里精品| 九九色中文| 婷婷激情人妻| 超碰色女| 色婷综合| 午夜]香婷婷深深爱| 亚洲中字AV电影在线网站| 五月天伊人| 日韩视频99| 99精品热视频| 久久久五月五丁香| 狠狠色综合网| 久久人人妻| 五月天久久综合婷婷| 五月丁香亚洲婷婷| 色噜噜婷婷| 精久久色| 五月丁香婷庭在线| 成人色色视频| 久热这里只有精品在线| 亚洲天码视频www蛋播视频| 亚洲婷婷五月天激情综合| 婷婷五月丁香五月天| 激情五月天啪啪| 色噜噜,噜噜色| 激情播丁香| 天天上天天爽| 丁香五月亚洲婷婷| 99热这里只有精品最新| 99亚洲无码| 狠狠五月激情丁香六月| 久久婷婷六月综合综合色| 五月色色激情网| 91人人爽久久涩噜噜噜| 开心五月婷婷婷美女| 婷婷色五天| 97视频91| 一起草性爱不卡视频| 99精品免费视频| 色色五月婷婷| 丁香六月婷婷缴情欧美| 男同色五月开心五月激情五月| 99热8在线| 六月婷在线| 激情图片久久| 欧美日韩91| 99这里只有免费的精品| xxxx五月| 五月丁香六月婷婷视频| 色五月婷婷亚洲最大| 亚洲不卡欧洲| 婷婷综合视频| www.wuyuetian啪啪| 大香焦A∨| 五月天天综合| 人妻自慰在线| 五月天五月婷五月激情网| 天天干天干| 五月婷婷啪啪网| 五月天婷婷综合| 亚洲黄网AV| 六月婷婷AV| 亚洲综合1024| 五月天堂婷婷| 思思热高清在线观看| 欧美久久网| www99热| 丁香激情综合| 99re在线视频| 这里只有精品视频国产| 亚洲色综合性| 五月丁香婷草| AA片在线观看视频在线播放 | 性天堂久久| 亚洲久久视频| 亚洲成人五月天| 九九AV| 色色色五月天婷婷| 五夜丁香| 五月情综合| 五月丁香成年黄色| 另类少妇人与禽zOZZ0性伦| 色婷婷成人久久| 91狠狠综合久久久久久| 99热的无码| 99re视频在线播放| 高清资源站日A美A欧亚…| 五月婷婷偷拍| 天天干天天干天天干天天干天天干天天干天天 | 色五月婷婷综合在线| 五月天婷婷色| 九九热re99re6在线精品| 日本天天综合| 久久精品99久久久久久| 97在线观看| 五月婷婷狠狠干| 久草xx性爱视频| 亚洲九区| 久久久99日本大片| 插插五月天| 五月丁香影院| 丁香五月久久社区| 亚洲日韩人妻操逼| 久色网| 五月婷中文娱乐综合| 色色网站观看| 91人人操.COM| 超碰在线个人观看| 婷婷色女| 秋霞A V毛片| 五月天天综合网色婷婷| wwW天天干| 激情久久肏屄视频| 黄色AAAAAAA| 日本本土色网第一区| 综激情网| 婷婷丁香五月天操逼| 婷婷五月天777| 97碰免费视频在线| 成人在线高清| 欧爱综合视频| 亚洲综合激情五月久久| 99日本在线| 天天日综合| 老师高潮流白浆喷水的A片| 另类专区在线观看| 亚洲色热| 99久久人人| 狠狠色丁香婷婷基地| 婷婷色五月天在线观看| 免费婷婷| 五月天丁香久久| 久久美女五月天| 五月天激情综合网| 五月天电影网| 日本猛少妇色XXXXX猛叫| 五月天婷婷影院| 丁香五月婷婷视频| 99热在线播放精品| RenRenSe在线视频网站| 欧美日韩中文国产一区发布| www.狠狠| 91人妻PORNY九色大屁股| 99狠狠| 思思精品视频| 9久9久9久女女女九九九一九| 国产精品色一哟哟| 操操操97| 色婷婷色五月丁香| 免费无码毛片一区二区A片| 九九热a| 九九激情综合| aⅤ79成人片| 日韩成人AV在线| 欧美日韩国产一区| 五月丁香六月婷婷激情网| 啪啪啪丁香五月| 天天摸.天天mo| 色五月成人| 99 热| 丁香婷婷大香蕉| 五月天色婷好好| 久久久婷婷婷| AA丁香综合激情| 久热伊人| 激情五月天啪啪| 乱岳熟女50岁| 五月丁香六月停停| 99热午夜精品| 五月天开心激情综合网| 99啪在线视频| 99热| 日韩操人| 亚洲色综合| 久色中文| 97婷婷丁香五月综合| 深爱五月网| 《久久综合九色综合97婷婷| 综合激情在线视频| 91人人网| 五月天堂婷婷| 少妇性按摩无码中文A片| 久久这里有精品99| 成人一区在线观看| 五月天婷婷久久| 亚洲综合在线伊人婷| 极品少妇高潮啪啪AV无码| 狠狠色激情综合| 久久99久久99www| 99在线免费观看| 久久婷综合| 国产伦亲子伦亲子视频观看| 天天干肏夜夜| 婷婷久久女人| 99久在线精品| 五五月五月| 天天综合网色欲香| 婷婷五月天激情综合| 婷婷五月中文在线| 亚洲狠狠丁香婷婷香蕉| 91凹凸在线| 色狠狠激情五月| 91黄色五月天视频| 99精品视频免费观看| 大香蕉精品视频| 亚洲国产精品SUV| 天天噜噜| 超碰狠狠操| 超碰免费人| 99热免费| 玖玖99福利| 色婷婷AⅤ| 99热97| 日本熟女内射| 久久新地址| 亚洲国产精品二二三三区| 色婷婷在线视频| av婷婷丁香 六月| 二区成人视频| 五月大香蕉| 涩涩五月天| 国产激情在线| 六月色色综合| 色综合视频| 专区无日本视频高清8| 天天天天爽爽天干| 九九热这里只有精品7| 色色网站日本91| 91丨九色丨东北熟女| 欧美99| 久草xx性爱视频| 日本三级日本黄色| 欧美久热| 色欲天天综合| 97色色色色| 五月天激情日色在线| 色婷婷电影网| 色五月大| www,五月丁,com| 五月天久久色| 婷婷五月天AV| 六月丁香影院| 色九网| 97色精品视频 | 日韩aaa| 色婷久九| 97超级碰碰碰久久久| 色婷婷视频在线| 色婷狠狠| 天天久综合| 亚洲精品视频在线播放| 五月丁香六月停停停| 九九九九综合| 日本人人xxx| 欧美综合丁香网| 色婷婷av在线| 9 1大香蕉| 国产精品久久久久久久久久| 丁香激情五月| 色丁香五月婷婷在线| 99在线爽| 久久九九爽| 丁香五月伊人| 美国不卡视频| 亚洲女婷婷五月基地综合久久久| 九九激情| 丁香六月婷婷久久综合| 色婷婷五月天成人网| 久久这里只| 天天摸日日舔狠狠添婷婷婷| 天天色综合色色色色色。| 特黄三级片| 99欧美精品99日本精品| 9999久久久久| 久久xx| 狼人婷婷综合| 婷婷五月天激情AV影院| 五月丁香在线国产 | www.婷婷激情网.com| 日韩中文字幕| 亚洲激情综合| 亚洲中文字幕在线观看| 亚洲精品99| 99在线小视频| www色婷婷| 色婷婷电影网| 五月婷婷久久久| 日韩在线一级| 狠狠色大香蕉| 色婷婷激情四射视频| 五月天综合视频| 99综合色| se影音资源在线观看| dingxiangtingtingliuyue| 天天射影视综合网| 99热在线中文字幕| 欧美综合丁香网| 亚洲熟妇AV综合网五月丁香伊人 | 99热最新精品| 日本久久高清| 婷婷五月天激情网| 午夜美女人啪最红院| 极品人妻VIDEOSSS人妻| 色色五月天丁香| 日韩欧美成人片| 亚洲综合视频网| 欧美超级视频97| 激情伊人网| 五月丁香婷婷综合网| www.色99| 色播丁香| 青青草五月天| 亚洲天堂热| 日韩成人中文| 玖玖91| 97自拍视频网| 婷婷激情四射五月天| 五月天久久www| 丁香激情久久| 色欲婷婷夜夜| 五月丁香久久综合精品| 五月天成人在线播放丁香| 色色哒五月婷婷六月丁香| 色婷婷亚洲五月天| 亚洲综合草草| 五月丁香六月成人| 五月婷婷综合网| 久久婷婷丁香花综合网| 丁香婷婷婷婷十二月在线观看视频| 大香蕉狠狠爱主页| 色情五月综合婷婷| 亚洲欧洲色色| 这里只有精彩亚洲视频推荐| 亚洲最大视频| 色色五月天网站| 99久视频| 激情纯色婷婷五月天在线不卡视频| 五月婷婷六月婷| 超碰国产在线观看| 深爱激情综合| 久久婷婷五月综合色丁香花| 黄页免费一级视频懂色| 丁香五月91| 婷婷黄色五月天在线视频| 天天爽综合网| 一级性爱视频| www,奇米影视| 99在线热视频| 在线成人网站| 无码婷婷五月天| 狠狠干综合网| 99操视频| 99re欧美精品| 亚洲天堂制| 综合网色| 天天插天天| 亚洲另类婷婷综合| 色情综合网| 伊人影院久久网| 丁香五月性爱| 九九色热视频| 激情五月天丁香| 有码一区二区三区| 色婷婷综合久久久久| 五月天成人手机在线视频| 久9热在线视频| 天天躁日日躁狠狠躁日日躁2022年5月9日 | av五月天婷婷丁香| 九月色婷婷| 久久日婷婷| 五月天婷婷午夜丁香| 激情五月,色播五月| 思思精品视频| 激情丁香久久久久久| 伊人五月婷婷| 色色色热热热| 曰韩少妇内射免费播放| 97狠狠色| 啪到高潮激情丁香五月| 五月天婷婷无码| 韩国19 主播内部福利vip免费播放| 99热成人精品| 91成人看片| 亚洲综合色成丁香五月色| 五月婷婷新网站| 99精品综合视频| 色呦精品| 色综久久AV| 欧美天堂久久| 久久99精品久| 婷婷六月激情丁香| 99久久综合| 日本三级片片| 成人婷婷桔色| 青草激情综合| 婷婷六月久久| 狠狠综合久久综合| 九九热这里只有精品23| 亚洲综合色棒| 国产成人精品一区二三区熟女在线| 久久久婷丁香五月天激情综合| 激情宗合网激情五月天| 91性高潮久久久久久久久| 色色色婷婷五月| av色色国产| 狠狠色丁香乆乆| 丁香五月aV| 99热九九热| 久久久久激情网| 五月婷婷激情四月| 婷色天堂| 六月婷婷之青青草| 激情丁香社区| 激情综合99| 爱草人视频| 国内熟女黄色系列| 五月天色婷婷av| 婷婷激情五月| 九月婷婷久久久| 五月天婷婷丁香社区| 色婷婷很很丝袜| 久久97久久99久久综合欧美| 香蕉婷婷色五月| 六月婷婷综合| 婷婷伊人| 欧美久热| 成人电影一区| 淫视馆AV在线| 亭亭五月色男人| www.91五月| 婷婷五月天手机版视频| 国产全是老熟女太爽了| 97人妻碰碰碰久| 激情六月综合| 九九热这里只有精品5| 91热久久| 色婷婷影院| 九月色婷婷| 五月色网| 六月天婷婷| 丁香六月婷婷久久综合| 伊人激情| 色婷婷内射| av九九| 国产99精品免费视频| AA片在线观看视频在线播放| 婷婷久久国产视频| 国产精品99久久久久久久女警| 26uuu青青| 亚洲视频99| 激情综合自拍五月婷婷色五月| 欧美成人va| 99热成人精品| 亚洲欧洲中文日韩久久AV乱码| 这里只有精彩小视频视频网站| 丁香五月婷婷基地| wwW天天干| 大香蕉久操| 综合五月激情| 日本网站久久| 日本五月天网站| 99玖玖免费视频| 五月丁香人妻| 爱草视频在线观看| 综合狠久久| 婷婷五月综合激情免费| 99日逼视频| 久久久中文| 琪琪理论片| 999热这里只有美国精品| www.com五月天| 激情综合99| 亚洲久热| 婷婷丁香综合成人| 最新日韩久热免费视频看看| 97在线视频观看| 深爱激情九九五月天 | 久久综合爱| 中文字幕婷婷五月天| 五月天丁香婷婷网| 激情綜合W W W,激情五月天| 九九色之九九色之88| 激情网五月天| 色婷婷丁香五月天激情综合网| 激情五月婷婷色色| 一起草AV| 五月天激情Av| 色综合久久8| 色停停五月,在线观看| 一区视频网站|