欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

ResNet50+注意力機(jī)制:人臉表情識別消融實(shí)驗(yàn)從零實(shí)現(xiàn)

ResNet50+注意力機(jī)制:人臉表情識別消融實(shí)驗(yàn)從零實(shí)現(xiàn) 簡介一套基于PyTorch 1.8構(gòu)建的人臉表情識別消融實(shí)驗(yàn)項(xiàng)目源碼面向深度學(xué)習(xí)初學(xué)者或研究人員非常適合用于對比VGG16、ResNet50、InceptionV3及自定義CNN在融合CBAM、SE、ECA三種注意力機(jī)制后的識別效果并已在FER2013與RAF數(shù)據(jù)集上得出ResNet50CBAM精度最高的結(jié)論。資源包內(nèi)共包含有18個(gè)文件以7個(gè)Python腳本為主體涵蓋模型定義、注意力模塊、數(shù)據(jù)重寫與訓(xùn)練全流程另含3張示意圖、2個(gè)Markdown說明及若干keep占位文件整個(gè)壓縮包體積僅244KB結(jié)構(gòu)輕量清晰。項(xiàng)目按功能劃分dataloader、dataset、logs、result等模塊方便直接替換數(shù)據(jù)集并記錄訓(xùn)練日志與測試結(jié)果日志與結(jié)果目錄已預(yù)置便于快速復(fù)現(xiàn)實(shí)驗(yàn)并觀察模型收斂情況。目前已有443人學(xué)習(xí)下載適合需要復(fù)現(xiàn)多模型組合實(shí)驗(yàn)、開展表情識別對比研究或作為課程設(shè)計(jì)的參考實(shí)現(xiàn)。1. 多模型消融實(shí)驗(yàn)表情識別項(xiàng)目里ResNet50和Attention到底誰在起作用人臉表情識別在真實(shí)場景里是個(gè)“看著簡單、落地發(fā)愁”的問題拍糊了、轉(zhuǎn)頭了、光線偏了精度就掉。很多人第一反應(yīng)是把ResNet50換成ResNet101或者干脆換更大模型結(jié)果訓(xùn)練時(shí)間翻倍準(zhǔn)確率只漲零點(diǎn)幾個(gè)點(diǎn)。這個(gè)項(xiàng)目標(biāo)題給的思路是反過來——固定ResNet50這類骨干在它身上加Attention模塊再用消融實(shí)驗(yàn)逐個(gè)驗(yàn)證“模塊加了到底有沒有用、提升來自哪一層”。它適合兩類人一類是想在表情識別這個(gè)任務(wù)上拿到更高精度、并且能解釋清楚提升來源的開發(fā)者另一類是正在做課程設(shè)計(jì)或畢業(yè)設(shè)計(jì)、需要一套嚴(yán)謹(jǐn)對比實(shí)驗(yàn)來支撐結(jié)論的同學(xué)。把這條技術(shù)路線拆開你會發(fā)現(xiàn)消融實(shí)驗(yàn)比單純堆模型更能說明問題而且實(shí)現(xiàn)成本遠(yuǎn)低于換一個(gè)更大的backbone。2. 搭建實(shí)驗(yàn)基線數(shù)據(jù)預(yù)處理與ResNet50的基準(zhǔn)實(shí)現(xiàn)2.1 數(shù)據(jù)集選擇與預(yù)處理灰度表情圖怎么喂給ImageNet預(yù)訓(xùn)練模型表情識別常用公開數(shù)據(jù)集大多是48×48的灰度圖以FER2013這類數(shù)據(jù)集為例它包含生氣、厭惡、恐懼、開心、悲傷、驚訝、中性七類。拿到原始CSV后pixels列是空格分隔的像素值字符串需要先還原成二維矩陣再轉(zhuǎn)成圖像。這里有個(gè)關(guān)鍵細(xì)節(jié)ResNet50的預(yù)訓(xùn)練權(quán)重是在ImageNet上訓(xùn)的輸入是三通道RGB而表情數(shù)據(jù)集是單通道灰度圖。常見做法是把灰度圖復(fù)制成三通道再套用ImageNet的標(biāo)準(zhǔn)化參數(shù)這樣能完整復(fù)用預(yù)訓(xùn)練特征。import numpy as np import cv2 from torch.utils.data import Dataset class FERDataset(Dataset): def __init__(self, df, transformNone): self.df df self.transform transform def __len__(self): return len(self.df) def __getitem__(self, idx): row self.df.iloc[idx] # pixels列是空格分隔的字符串先轉(zhuǎn)成uint8矩陣 arr np.array(row[pixels].split(), dtypenp.uint8).reshape(48, 48) # 灰度轉(zhuǎn)三通道為了匹配ResNet50的預(yù)訓(xùn)練輸入 img cv2.cvtColor(arr, cv2.COLOR_GRAY2RGB) label int(row[emotion]) if self.transform: img self.transform(img) return img, label這里把灰度圖復(fù)制成三通道是最穩(wěn)的寫法不要去訓(xùn)練單通道的ResNet50變體那會丟掉ImageNet預(yù)訓(xùn)練的大部分價(jià)值。預(yù)處理階段還需要注意數(shù)據(jù)劃分FER2013這類數(shù)據(jù)集通常自帶官方劃分直接用就行如果數(shù)據(jù)集沒有劃分建議按訓(xùn)練:驗(yàn)證:測試8:1:1做分層切分保證每個(gè)子集里七類比例一致。分層切分很重要否則驗(yàn)證集里“開心”占比過高評估結(jié)果會虛高。數(shù)據(jù)增強(qiáng)部分要克制。表情識別任務(wù)里翻轉(zhuǎn)和輕微仿射變換是安全的但不要用隨機(jī)裁剪因?yàn)槿四樉又械奈恢眯畔Ρ砬榕袛嘤杏绊憽N乙话氵@樣配from torchvision import transforms train_transform transforms.Compose([ transforms.ToTensor(), transforms.RandomHorizontalFlip(p0.5), transforms.RandomAffine(degrees10, translate(0.1, 0.1)), transforms.ColorJitter(brightness0.2, contrast0.2), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) test_transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ])注意ToTensor一定要放在最前面先做張量轉(zhuǎn)換再做增強(qiáng)和標(biāo)準(zhǔn)化。RandomAffine里的translate給0.1就夠了給大了會把眼睛嘴巴移出人臉區(qū)域反而讓模型學(xué)到錯(cuò)誤的位置關(guān)聯(lián)。2.2 搭建ResNet50基線改全連接層和訓(xùn)練循環(huán)基線模型用torchvision自帶的ResNet50替換最后的全連接層把1000類輸出改成7類。新版torchvision推薦用weights參數(shù)來加載預(yù)訓(xùn)練權(quán)重寫法更明確。import torch import torch.nn as nn import torchvision.models as models def build_backbone(base_nameresnet50, num_classes7, pretrainedTrue): if base_name resnet50: model models.resnet50( weightsmodels.ResNet50_Weights.IMAGENET1K_V1 if pretrained else None ) in_features model.fc.in_features model.fc nn.Linear(in_features, num_classes) elif base_name resnet18: model models.resnet18( weightsmodels.ResNet18_Weights.IMAGENET1K_V1 if pretrained else None ) in_features model.fc.in_features model.fc nn.Linear(in_features, num_classes) return model這個(gè)build_backbone函數(shù)后面做多模型對比時(shí)會反復(fù)用到第4章的消融實(shí)驗(yàn)也依賴它。注意ResNet50每個(gè)Bottleneck的輸出通道數(shù)不是固定的所以替換fc層時(shí)一定要用model.fc.in_features動態(tài)讀取不要硬編碼2048否則切到ResNet18或ResNet101時(shí)會出錯(cuò)。預(yù)訓(xùn)練權(quán)重加載上去后前幾輪訓(xùn)練要特別小心主干網(wǎng)絡(luò)的梯度不要太大否則會破壞已經(jīng)學(xué)好的底層特征。訓(xùn)練循環(huán)用固定的流程pytorch標(biāo)準(zhǔn)寫法但有兩個(gè)點(diǎn)值得強(qiáng)調(diào)一是優(yōu)化器要區(qū)分主干和新增層的學(xué)習(xí)率二是loss要按類別分布加權(quán)。from torch.utils.data import DataLoader train_loader DataLoader(train_ds, batch_size64, shuffleTrue, num_workers4, pin_memoryTrue, drop_lastTrue) val_loader DataLoader(val_ds, batch_size64, shuffleFalse, num_workers4, pin_memoryTrue) optimizer torch.optim.AdamW([ {params: model.conv1.parameters(), lr: 1e-5}, {params: model.bn1.parameters(), lr: 1e-5}, {params: model.layer1.parameters(), lr: 1e-5}, {params: model.layer2.parameters(), lr: 1e-5}, {params: model.layer3.parameters(), lr: 1e-5}, {params: model.layer4.parameters(), lr: 1e-5}, {params: model.fc.parameters(), lr: 1e-3}, ], weight_decay1e-4) criterion nn.CrossEntropyLoss()這個(gè)配置背后的邏輯是預(yù)訓(xùn)練層的學(xué)習(xí)率給1e-5只做微調(diào)新加的fc層從零開始學(xué)給1e-3。如果所有層都用同一個(gè)學(xué)習(xí)率要么預(yù)訓(xùn)練特征被沖掉要么fc層學(xué)不動兩種情況在表情識別上都表現(xiàn)過后者尤其常見。batch size在48×48這種小圖上可以給64或128顯存不夠就降到32。2.3 評估協(xié)議只看準(zhǔn)確率的項(xiàng)目走不遠(yuǎn)很多人跑完只看一個(gè)Top-1準(zhǔn)確率就開始對比這是消融實(shí)驗(yàn)最容易翻車的習(xí)慣。FER2013這類表情數(shù)據(jù)集類別極不均衡“開心”樣本可能接近“厭惡”樣本的5倍以上模型只要把多數(shù)類學(xué)好了準(zhǔn)確率就能到百分之六七十但“生氣”“厭惡”“恐懼”這幾個(gè)類可能完全被犧牲掉。我常用的評估指標(biāo)有三個(gè)準(zhǔn)確率、宏平均F1、每類Recall。準(zhǔn)確率是給外行看的總分宏平均F1才是模型真實(shí)能力的度量。記錄結(jié)果時(shí)三個(gè)都要存。每類Recall用來精確定位模型混淆在哪幾類上表情識別里最常見的是“生氣”和“厭惡”互相混。from sklearn.metrics import accuracy_score, f1_score, recall_score, confusion_matrix def evaluate(model, loader, device): model.eval() all_preds, all_labels [], [] with torch.no_grad(): for imgs, labels in loader: imgs imgs.to(device) outputs model(imgs) preds outputs.argmax(dim1).cpu().numpy() all_preds.extend(preds) all_labels.extend(labels.numpy()) acc accuracy_score(all_labels, all_preds) macro_f1 f1_score(all_labels, all_preds, averagemacro) recall_each recall_score(all_labels, all_preds, averageNone) cm confusion_matrix(all_labels, all_preds) return acc, macro_f1, recall_each, cm注意評估階段要關(guān)閉梯度計(jì)算省顯存且速度快。每次跑完把a(bǔ)cc、macro_f1、recall_each、cm四個(gè)結(jié)果都存檔后面做消融實(shí)驗(yàn)分析時(shí)才有的放矢?;€模型的macro_f1一般會比準(zhǔn)確率低三到五個(gè)點(diǎn)這就是類別不均衡的直接體現(xiàn)??吹竭@個(gè)差距先別慌這是正常現(xiàn)象后續(xù)加Attention能不能把這個(gè)差距拉小才是這個(gè)項(xiàng)目真正要回答的問題。提示無論后續(xù)做什么改造基線的訓(xùn)練輪數(shù)、數(shù)據(jù)增強(qiáng)、loss函數(shù)、優(yōu)化器配置都必須先凍結(jié)。消融實(shí)驗(yàn)的全部意義在于“只改變一個(gè)變量”基線不穩(wěn)定后面所有結(jié)論都不可信。3. 給ResNet50加Attention三種注意力機(jī)制的接入點(diǎn)與實(shí)現(xiàn)3.1 SE模塊通道維度上的擠壓激勵(lì)最容易接入的注意力SE模塊的思路很直接對特征圖的每個(gè)通道做全局平均池化得到通道描述符再過兩個(gè)全連接層學(xué)習(xí)通道之間的依賴關(guān)系最后用sigmoid生成0到1之間的通道權(quán)重乘回原特征圖。它沒有用到空間信息只關(guān)注哪些通道更重要對于表情識別來說深層網(wǎng)絡(luò)里某個(gè)通道可能對應(yīng)“嘴角上揚(yáng)”還是“皺眉”這種局部模式SE能自動放大這些關(guān)鍵通道。import torch import torch.nn as nn class SEBlock(nn.Module): def __init__(self, channels, reduction16): super().__init__() self.pool nn.AdaptiveAvgPool2d(1) self.fc nn.Sequential( nn.Linear(channels, channels // reduction), nn.ReLU(inplaceTrue), nn.Linear(channels // reduction, channels), nn.Sigmoid() ) def forward(self, x): b, c, _, _ x.shape w self.pool(x).view(b, c) # 壓縮成通道描述符 w self.fc(w).view(b, c, 1, 1) # 生成通道權(quán)重 return x * w # 加權(quán)原特征圖接入點(diǎn)推薦放在Bottleneck殘差分支的末尾也就是最后一個(gè)1×1卷積的輸出之后、與殘差相加之前。這樣SE作用在“本次卷積學(xué)到的新特征”上而不是作用在加和之后的混合特征上歸因更清晰。reduction取16是默認(rèn)值通道數(shù)為1024時(shí)先壓到64再擴(kuò)回來參數(shù)開銷約等于一個(gè)全連接層的參數(shù)量對整體訓(xùn)練速度影響很小。取8會更激進(jìn)保留更多通道信息但參數(shù)量翻倍取32則信息擠壓過狠在表情這類小數(shù)據(jù)集上容易欠擬合。我建議兩個(gè)都試放在消融實(shí)驗(yàn)矩陣?yán)锂?dāng)一組對比。3.2 CBAM通道注意力加空間注意力位置怎么擺最關(guān)鍵CBAM比SE多了一個(gè)空間注意力分支通道注意力部分同時(shí)利用平均池化和最大池化兩個(gè)描述符共享同一個(gè)MLP然后相加過sigmoid??臻g注意力部分把通道維做平均和最大兩種池化拼成兩通道特征圖過一個(gè)7×7卷積生成空間權(quán)重。對表情識別來說空間注意力有可能定位到眼部和嘴部區(qū)域理論上比純通道注意力更契合任務(wù)特性。class ChannelAttention(nn.Module): def __init__(self, channels, reduction16): super().__init__() self.avg_pool nn.AdaptiveAvgPool2d(1) self.max_pool nn.AdaptiveMaxPool2d(1) self.mlp nn.Sequential( nn.Linear(channels, channels // reduction), nn.ReLU(inplaceTrue), nn.Linear(channels // reduction, channels), ) def forward(self, x): b, c, _, _ x.shape avg_out self.mlp(self.avg_pool(x).view(b, c)).view(b, c, 1, 1) max_out self.mlp(self.max_pool(x).view(b, c)).view(b, c, 1, 1) return torch.sigmoid(avg_out max_out) class SpatialAttention(nn.Module): def __init__(self, kernel_size7): super().__init__() self.conv nn.Conv2d(2, 1, kernel_size, paddingkernel_size // 2, biasFalse) def forward(self, x): avg_out torch.mean(x, dim1, keepdimTrue) max_out torch.max(x, dim1, keepdimTrue).values x_cat torch.cat([avg_out, max_out], dim1) return torch.sigmoid(self.conv(x_cat))CBAM的接入點(diǎn)和SE不一樣常見做法是放在殘差加和之后、ReLU之前。也就是先讓殘差分支和恒等映射加起來再對融合后的特征做通道和空間加權(quán)最后過ReLU。這樣注意力能看到完整的殘差信息而不是只看分支單側(cè)。kernel_size用7這是原作者在ImageNet上調(diào)出來的最優(yōu)值在表情這種小分辨率圖上我試過5和7差別很小直接用7就行。3.3 ECA和自注意力做對照組時(shí)怎么選ECA是SE的輕量化改良去掉全連接層的降維過程改用一維卷積直接在通道維上捕捉局部跨通道交互。它參數(shù)量只有SE的幾十分之一但效果在很多任務(wù)上和SE打平甚至更好。放進(jìn)消融實(shí)驗(yàn)里它能幫你判斷提升到底來自“通道重標(biāo)定”這個(gè)行為本身還是來自SE里那兩個(gè)全連接層帶來的額外參數(shù)。class ECABlock(nn.Module): def __init__(self, channels, kernel_size5): super().__init__() self.pool nn.AdaptiveAvgPool2d(1) # 一維卷積只在通道維上滑動感受野默認(rèn)覆蓋5個(gè)相鄰?fù)ǖ?self.conv nn.Conv1d(1, 1, kernel_sizekernel_size, paddingkernel_size // 2, biasFalse) def forward(self, x): b, c, _, _ x.shape w self.pool(x).squeeze(-1).squeeze(-1) # b, c w self.conv(w.unsqueeze(1)).squeeze(1) # b, c w torch.sigmoid(w).view(b, c, 1, 1) return x * wkernel_size給5一維卷積的padding按kernel_size // 2來設(shè)置保證輸出長度和輸入一致。ECA沒有降維操作所以不存在reduction這個(gè)超參。相比之下如果項(xiàng)目里有人用了multi-head self-attention來做視覺任務(wù)一般會在主干輸出的特征圖上做全局自注意力那個(gè)計(jì)算量在48×48輸入下還能接受但放到ResNet50的中間層會非常吃顯存訓(xùn)練速度下降明顯。做消融實(shí)驗(yàn)時(shí)我建議第一優(yōu)先級跑SE和CBAMECA作為輕量對照自注意力變體可以放到最后再試先確保前幾個(gè)對比組的結(jié)論干凈。注意三個(gè)注意力模塊都能直接作用在ResNet50的每個(gè)Bottleneck上但不要一上來就全層加。先在layer4加跑通再擴(kuò)展到layer3和layer2逐層做記錄。全層同時(shí)加訓(xùn)練時(shí)間和顯存開銷翻倍出了問題還不好定位。4. 消融實(shí)驗(yàn)設(shè)計(jì)怎么對比結(jié)論才能站得住4.1 消融實(shí)驗(yàn)的核心原則一次只動一個(gè)變量消融實(shí)驗(yàn)ablation study的目的是歸因——驗(yàn)證某個(gè)組件到底對最終性能有多大貢獻(xiàn)。做法是拿掉或替換目標(biāo)組件其他條件全部凍結(jié)觀察指標(biāo)變化。這里最大的風(fēng)險(xiǎn)是“改了不止一個(gè)變量”比如對比ResNet50和ResNet101時(shí)很多人順手把學(xué)習(xí)率也調(diào)了那實(shí)驗(yàn)就臟了說不清提升來自更多層還是更好的學(xué)習(xí)率。變量凍結(jié)清單要寫在代碼注釋或?qū)嶒?yàn)文檔最前面我一般會強(qiáng)制檢查這幾項(xiàng)訓(xùn)練輪數(shù)固定batch size固定優(yōu)化器類型和初始學(xué)習(xí)率固定數(shù)據(jù)增強(qiáng)和預(yù)處理固定評估協(xié)議和測試集固定隨機(jī)種子固定。六個(gè)條件里任何一個(gè)變了實(shí)驗(yàn)結(jié)果都不能和其他組直接比較。特別是隨機(jī)種子不固定的話同一次配置跑兩次能差一到兩個(gè)點(diǎn)的準(zhǔn)確率這在高精度對比時(shí)足以掩蓋真實(shí)的模塊收益。import random import numpy as np def set_seed(seed): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark Falsecudnn.deterministic設(shè)為True會犧牲一點(diǎn)訓(xùn)練速度但換來的是結(jié)果可復(fù)現(xiàn)。benchmark要關(guān)掉否則cuDNN會根據(jù)輸入尺寸自動選算法不同實(shí)驗(yàn)間的卷積算法可能不同引入額外變量。4.2 多模型對比矩陣backbone和attention的交叉組合這套消融實(shí)驗(yàn)矩陣是我的標(biāo)準(zhǔn)配置。A組固定ResNet50只換注意力模塊回答“哪個(gè)注意力對這個(gè)任務(wù)有效”B組固定同樣的注意力模塊換backbone回答“模型容量和注意力機(jī)制之間怎么權(quán)衡”C組加一個(gè)不換backbone而直接加深模型的對照組用來判斷加attention帶來的提升到底是模塊本身的價(jià)值還是參數(shù)量的價(jià)值。實(shí)驗(yàn)編號backboneattention改造位置想回答的問題A0ResNet50無基線基準(zhǔn)線在哪A1ResNet50SE每個(gè)殘差分支末尾純通道注意力是否有效A2ResNet50ECA每個(gè)殘差分支末尾輕量通道注意力是否夠用A3ResNet50CBAM殘差加和后ReLU前空間通道組合是否更強(qiáng)B0ResNet18無基線小模型基準(zhǔn)在哪B1ResNet18CBAM同上小模型加注意力能否追平大模型基線C0ResNet101無基線參數(shù)翻倍能帶來多少提升這個(gè)矩陣有七組實(shí)驗(yàn)每組訓(xùn)練三四十個(gè)epoch48×48的圖像單卡訓(xùn)練很快。跑完后重點(diǎn)看三組對比A1對比A0看SE提升A3對比A1看空間注意力的邊際貢獻(xiàn)B1對比A0看小模型加注意力能不能打平大模型。第三組對比最有工程價(jià)值如果ResNet18加CBAM能追平ResNet50那部署時(shí)選誰就很明確了。C0存在的意義是防止你誤判——假如A3比A0漲了2個(gè)點(diǎn)C0比A0漲了3個(gè)點(diǎn)那說明漲點(diǎn)主要來自多出來的注意力模塊參數(shù)而不是CBAM的注意力機(jī)制本身這個(gè)結(jié)論完全不一樣。4.3 從結(jié)果到結(jié)論準(zhǔn)確率、宏F1和混淆矩陣怎么交叉驗(yàn)證每輪實(shí)驗(yàn)跑完把四個(gè)指標(biāo)全部落盤最后匯總成一張總表。我通常在項(xiàng)目根目錄建一個(gè)experiments目錄每個(gè)實(shí)驗(yàn)一個(gè)文件夾里面放metrics.json和最后的checkpoint匯總表單獨(dú)生成。先看準(zhǔn)確率排序再看宏F1排序兩張排序不一致的情況非常常見——某組準(zhǔn)確率最高但宏F1不是最高說明它犧牲了少數(shù)類換來多數(shù)類的整體正確率這種方案在表情識別里是不可取的因?yàn)檎鎸?shí)場景里什么表情都會出現(xiàn)你不能只把“開心”認(rèn)好?;煜仃嚨挠^察重點(diǎn)在角對角的位置。憤怒、厭惡、恐懼、悲傷這幾個(gè)負(fù)向情緒互相混淆是表情識別的主戰(zhàn)場。加CBAM如果只把準(zhǔn)確率提了1個(gè)點(diǎn)但憤怒和厭惡的互相誤判明顯減少那這個(gè)提升就是實(shí)質(zhì)性的反過來如果提升全部落在中性、驚訝這類好分的類上那這個(gè)注意力模塊就沒解決核心矛盾。import json import os def save_metrics(exp_id, acc, macro_f1, recall_each, cm, note): records { exp_id: exp_id, accuracy: round(float(acc), 4), macro_f1: round(float(macro_f1), 4), recall_each: [round(float(v), 4) for v in recall_each], confusion_matrix: cm.tolist(), note: note, } os.makedirs(experiments, exist_okTrue) with open(fexperiments/{exp_id}/metrics.json, w, encodingutf-8) as f: json.dump(records, f, ensure_asciiFalse, indent2)最后做結(jié)論時(shí)不要只看最好成績把每組實(shí)驗(yàn)跑兩遍取平均是一個(gè)更穩(wěn)的工程習(xí)慣尤其是宏F1差距在0.5個(gè)點(diǎn)以內(nèi)時(shí)單次結(jié)果不足以支撐“某模塊更好”的結(jié)論。如果時(shí)間緊張至少對最終勝出的組和基線各跑一次重復(fù)實(shí)驗(yàn)驗(yàn)證。提示任何一組實(shí)驗(yàn)的日志都不能刪訓(xùn)練過程中的loss曲線截圖、參數(shù)配置、跑的時(shí)間點(diǎn)都要留檔。原因是消融實(shí)驗(yàn)的結(jié)論寫到論文或技術(shù)報(bào)告里后別人會問“你這組為什么沒有驗(yàn)證集loss曲線”到時(shí)候補(bǔ)跑的成本遠(yuǎn)高于當(dāng)時(shí)隨手存檔。5. 人臉表情識別項(xiàng)目避坑訓(xùn)練發(fā)散、類別失衡與注意力加在錯(cuò)誤位置的典型問題5.1 訓(xùn)練中期loss爆成NaN梯度爆炸的連鎖反應(yīng)現(xiàn)象前十個(gè)epoch正常loss穩(wěn)定下降某個(gè)epoch開始loss突然變成nan訓(xùn)練中斷重跑還是一樣。原因表情數(shù)據(jù)集本身噪聲大一張圖被標(biāo)成“憤怒”也是“厭惡”也說得過去這種高沖突樣本會產(chǎn)生異常大的梯度。加了SE或CBAM之后問題更明顯注意力模塊的sigmoid輸出靠近0時(shí)反向傳播的梯度會成倍放大配合主干網(wǎng)絡(luò)1e-5學(xué)習(xí)率一旦lr調(diào)度或數(shù)據(jù)順序碰到硬樣本預(yù)訓(xùn)練層參數(shù)可能直接被一步更新毀掉。解決在loss計(jì)算之后統(tǒng)一做梯度裁剪clip_norm給5.0到10.0之間同時(shí)確保出問題前l(fā)r沒有因?yàn)镽educeLROnPlateau被臺階式調(diào)大。另外建議主干部分學(xué)習(xí)率給到1e-5新增的attention層給1e-4fc層給1e-3三層分開。從現(xiàn)象復(fù)盤來看幾乎所有的nan事故都是fc層或attention層學(xué)習(xí)率過大、碰到硬樣本導(dǎo)致的。5.2 訓(xùn)練集損失繼續(xù)降、驗(yàn)證集指標(biāo)來回跳過擬合還是類別失衡現(xiàn)象訓(xùn)練acc已經(jīng)到百分之九十幾驗(yàn)證acc卡在七十多每個(gè)epoch的驗(yàn)證結(jié)果上下浮動超過一兩個(gè)點(diǎn)。加了attention模塊后這個(gè)gap反而更大。原因attention層增加了模型容量參數(shù)變多之后擬合能力變強(qiáng)在表情這個(gè)小數(shù)據(jù)量上更容易記住訓(xùn)練集中的噪聲標(biāo)注。另外七類樣本數(shù)差距大驗(yàn)證集里多數(shù)類占比也大模型偶發(fā)性偏向多數(shù)類時(shí)準(zhǔn)確率就會跳。如果你的loss沒有給class_weight多數(shù)類會對梯度形成主導(dǎo)等epoch末段少數(shù)類被大規(guī)模誤判又會拖一下指標(biāo)表現(xiàn)為震蕩。解決給CrossEntropyLoss加類別權(quán)重權(quán)重按樣本數(shù)的反比計(jì)算并歸一化。同時(shí)把驗(yàn)證策略從每epoch評估一次改成每半個(gè)epoch評估一次觀察早期是不是已經(jīng)過擬合。如果確認(rèn)過擬合先降fc層和attention層的學(xué)習(xí)率而不是加dropout盲目硬頂。數(shù)據(jù)增強(qiáng)的強(qiáng)度不要?jiǎng)右驗(yàn)樵鰪?qiáng)一改和前幾組實(shí)驗(yàn)就不再是同一變量體系。5.3 Add完Attention后GPU利用率不升反降現(xiàn)象換了顯卡或者加大batch size后每個(gè)epoch耗時(shí)反而變多nvidia-smi看GPU利用率不到五成。有人懷疑是attention模塊計(jì)算量太大其實(shí)不是。原因attention模塊里有大量小張量的逐元素操作view、squeeze、sigmoid、乘法這些操作kernel launch開銷占比高遇到batch size不足時(shí)GPU并行度撐不滿。還有一個(gè)常見問題是dataloader的num_workers設(shè)成0或1表情數(shù)據(jù)集雖然單張圖小但CSV解析加圖像轉(zhuǎn)換是CPU密集操作上一批的預(yù)處理沒做完GPU就只能空轉(zhuǎn)等數(shù)據(jù)。解決num_workers按CPU核心數(shù)的一半設(shè)置并加pin_memoryTrue。attention模塊里的view操作盡量少用SE里的pool結(jié)果直接reshape為b, c, 1, 1即可。如果CPU還是跟不上可以嘗試把灰度圖像從字符串解析放到預(yù)處理階段一次性完成存成npy文件訓(xùn)練時(shí)只做ToTensor這樣能明顯縮短dataloader耗時(shí)。5.4 預(yù)訓(xùn)練權(quán)重加載報(bào)錯(cuò)KeyError和size mismatch交替出現(xiàn)現(xiàn)象from_pretrained加載時(shí)要么報(bào)fc.weight size mismatch要么直接KeyError說某個(gè)層的鍵不存在。常見于換了不同的torchvision版本之后復(fù)現(xiàn)老代碼。原因新版torchvision用weights...加載預(yù)訓(xùn)練權(quán)重舊版用pretrainedTrue兩者的state_dict鍵名結(jié)構(gòu)一致但不同版本ResNet50的bn層num_batches_tracked有可能多或少。另一個(gè)原因是我們改了fc層的輸出維度torchvision的預(yù)訓(xùn)練權(quán)重里fc.weight是1000×2048和改成7類后的fc層結(jié)構(gòu)必然不匹配。解決加載時(shí)用strictFalse讓fc層不匹配的鍵被忽略其余所有層正常加載。fc層隨機(jī)初始化即可因?yàn)閺牧阌?xùn)練它能學(xué)到表情類別映射。如果用的是自己下載的pth文件建議先load到CPU上再轉(zhuǎn)移GPU避免文件路徑或內(nèi)存布局差異帶來的問題。5.5 加Attention后效果退步先查接入位置和收斂狀態(tài)現(xiàn)象A1組加了SE之后宏F1反而比A0基線低。很多人在這一步直接判定“Attention沒用了”把整個(gè)模塊刪掉回到基線。原因大概率是注意力模塊的訓(xùn)練量不足。SE和CBAM的初始化接近恒等映射需要額外的訓(xùn)練輪數(shù)才能發(fā)揮效果如果你的總epoch只有二十輪凈訓(xùn)練量可能不夠它收斂。另一種可能是SE接在了ReLU之后稀疏特征過了sigmoid被加權(quán)負(fù)值區(qū)域被直接抹掉破壞了原有激活分布這種接法在多數(shù)情況下效果是負(fù)的。還有reduction設(shè)置過大擠壓過度丟信息。解決先補(bǔ)充或延長訓(xùn)練輪數(shù)把a(bǔ)ttention層訓(xùn)練得更充分后再對比。RELU之后的問題直接按照第3章給的接入位置改。如果延長訓(xùn)練后依舊退步把reduction從16調(diào)到8重跑一次再不行就換ECA對照看問題是出在“通道注意力”這個(gè)思想還是出在SE的具體實(shí)現(xiàn)上。退步本身也是消融實(shí)驗(yàn)的結(jié)論記錄下來寫清楚原因比強(qiáng)行讓Attention匹配基線更有科研價(jià)值。注意消融實(shí)驗(yàn)里“負(fù)結(jié)果”非常有價(jià)值因?yàn)樗軒湍愫Y掉無效的模塊復(fù)雜度。不要因?yàn)槟硞€(gè)attention加不加都差不多就軟磨硬泡去調(diào)超參真實(shí)情況是如果訓(xùn)練配置合理、接入位置正確、訓(xùn)練輪數(shù)充足加一行結(jié)論“SE在此任務(wù)上無顯著增益”反而能讓你的對比報(bào)告更可信。6. 把消融實(shí)驗(yàn)做成可復(fù)用的實(shí)驗(yàn)?zāi)_本配置驅(qū)動加自動存檔人臉表情識別的消融實(shí)驗(yàn)跑到后期最大的痛點(diǎn)是“組數(shù)多了之后對不上賬”。哪個(gè)配置跑過、每個(gè)配置用了什么學(xué)習(xí)率、當(dāng)時(shí)是什么seed單靠人肉記根本扛不住。我的做法是讓每個(gè)實(shí)驗(yàn)自己背著自己的配置文件和全部日志跑起來就是一個(gè)獨(dú)立目錄。EXPERIMENTS { A0: {backbone: resnet50, attention: None, note: baseline}, A1: {backbone: resnet50, attention: se, note: SE branch}, A2: {backbone: resnet50, attention: eca, note: ECA branch}, A3: {backbone: resnet50, attention: cbam, note: CBAM after add}, B0: {backbone: resnet18, attention: None, note: baseline resnet18}, B1: {backbone: resnet18, attention: cbam, note: cbam resnet18}, }每個(gè)實(shí)驗(yàn)的配置先寫進(jìn)這個(gè)字典train.py啟動時(shí)拉取對應(yīng)配置創(chuàng)建experiments/{exp_id}/{timestamp}目錄把配置json、日志文件、指標(biāo)結(jié)果全部落進(jìn)去。訓(xùn)練腳本里加上seed參數(shù)跑批的時(shí)候用shell直接串行執(zhí)行每個(gè)實(shí)驗(yàn)可以重復(fù)跑多個(gè)seed最后匯總結(jié)果做均值分析。批跑時(shí)用bash更直觀for exp in A0 A1 A2 A3 B0 B1; do for seed in 42 2024; do python train.py --exp_id $exp --seed $seed done done這份腳本的價(jià)值在于它把“實(shí)驗(yàn)管理”從代碼里剝離出來了。加一組實(shí)驗(yàn)只需要在EXPERIMENTS字典里加一行不需要改訓(xùn)練代碼不需要復(fù)制腳本。后端需求變少之后前端能專注在真正的模型設(shè)計(jì)和結(jié)果分析上。匯總時(shí)直接讀取整個(gè)experiments目錄的所有metrics.json按exp_id和seed分組生成總表。我現(xiàn)在養(yǎng)成的習(xí)慣是寫模型代碼之前先把metrics存檔的接口寫好跑第一個(gè)基線之前先把實(shí)驗(yàn)配置字典寫好。這兩個(gè)架子搭完后續(xù)所有對比實(shí)驗(yàn)只是在填寫表格而不是在整理亂賬。這個(gè)順序救過我很多次也省掉過我在答辯前夜對著十幾個(gè)沒標(biāo)seed的checkpoint懊惱的時(shí)間。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香五月天婷婷91| 国产黄色在线| 婷婷AV丁香| 久久婷婷色| 婷婷五月丁香人妻无码高清| 深爱五月激情五月| 情色婷婷五月天| 亚洲在线操| 96精品久久久久久久久| 五月丁香777| 久久久com| 色色婷婷五月| 立川无码av| 69精品人人人人| 激情综合五月色在线| 激情综合久久| 成人性爱精品视频| 亚州婷婷五月激情综合| 南京搡BBBB搡BBBB| 天天日中文| 激情的五月| 538在线精品| 99精品久久久| 五月天婷婷色综合| 日本va欧美va精品发布视频| 丁香五月之久操视频| 婷婷五月骚厕所| 九九中文色色| 综合色影| 五月婷婷丁香啪啪| 亚洲六月色| 成 人 色 色| 九九久久污| 九九热视频这里只有精品| 另类在线观看视频| 99激情| 狠狠操天天操天天操| 大战熟女丰满人妻AV| 五月婷婷激情综合拍| 久久香视频| 丁香婷婷九月| 色10月婷婷视频| 六月丁香婷| 丁香六月色情| 丁香香蕉婷婷| 99热在线只有精品| 日本欧美国产| 91丁香五月| 丁香五月天堂网| 五月的丁香六月的婷婷| 人操人人| 色五月天电影| 日日操,夜夜爽| 久久久久久久久久久月丁| 欧美精产国品一二三区| 婷婷的五月天另类视频| 丁香亭亭激情四射| 丁香五月综合婷婷| 丁香五月婷婷88在线| 影音先锋男人av资源站| 99re视频在线播放| 狠色狠色狠色狠色狠色网| 级人人91| 婷婷色丁香五月| 电影蜘蛛女| 婷婷五月天性色| 五月花在线观看视频| 啪啪综合| 精品夜夜澡人妻无码AV| 国产亚洲色婷婷久久99精品91| 超碰超碰在线| 亚洲六月色| 九九99精品视频在线观看| 婷婷五月色影视先锋| 青青草激情网| 五月婷婷自拍| 综合亚洲六月婷婷在线| WWW.HENHENL.| 91色色色| 欧美婷婷五月| 丁香五月影视| 久久婷婷五月综合色区| 91久久久久久久| 丁香花五月天| 久大香蕉| 99se丁香| 超碰免费在线| 26uuu精品国产| 五月丁香激情综合| 99色在线观看视频者| 超碰日日操| 99er免费在线观看| 九九精品热播| 九九九九操逼| 伊人久久大香线蕉av最新| 99热国内| 日韩精品一品二区三区的使用体验| 99久在线精品99re8| 五月丁香六月婷婷的女人| 六月婷婷av| 最近中文字幕2019视频1| 欧美婷婷五月天| 天天舔天天插天天爱| www99精品日韩| 五月丁香无码| 天天色综合网1| 色色丁香五月天社区| 超碰国产在线| 无码色色色| 久久久久久草黄色片AV在线观看| 久久激情五月网| 四川BBB搡BBB搡多人乱亂| 日日操夜夜爽| 五月婷婷丁香伦理网| 日韩AV中文字幕在线| 色偷偷综合| 色五月婷婷激情| 日日干五月天婷婷| 成人AV网站在线| 色欲天天综合网| 五月丁花六月丁香综合| 色婷五月天亚洲| 色吊丝av中文字幕| 亚洲日韩一页精品发布| 成人网在线视频| 六月婷婷色五月| 五月天丁香综合久久国产| 午夜成人AV在线| 天堂婷婷丁香六月网| 综合性爱网| 丰满少妇乱A片无码| 97人人看| 丁香五月激情在线| 五月天久久成人| 在线看片av| 色综合视频在线| 五月婷婷婷| 中文字幕色色| 色情综合网| 九色综合五月天婷五月| 婷婷九月色| 婷婷六月天| 亚洲激情五月丁香久久久久| 无码色色色色色| 色久一| 国产伦亲子伦亲子视频观看| 超碰99在线| 国产淫熟妇| 亚洲色图45p| 依人大香蕉在钱1| 九九综合色| 91热视频色网站| 青草激情在线| 五月天亚洲最大成人| 日本色图综合| enecarbon-materials.com污K127封锁请涟系@wip1688 | 婷婷成人综合免费视频| 超碰在线人妻| 丁香五月综合首页| αV电影| 五月丁香六月| 99re8在这里只有精品| 夜夜撸夜夜骑| 五月六月婷婷| 五月天成人在线| av 一区三区四区| 色99综合色88| 丁香五月激情综合| 日本三级黄色大片| 久久色五月天| 99精品视频免费观看| 日逼免费视频| 五月丁香av在线| 操人无码| 香蕉影院色| 色播播五月天| 色五月婷婷丁香五月| 在线观看av网站| 天天激情站| 99热这里只有精品国产免费| 综合亚洲色色| 99色在线观看免费| 亚洲天堂久久| 九九激情综合| 99色综合网| 一本色道久久88加勒比—| 国产色色色色色| 婷婷五月激情黄色| 亚洲九N| 开心五月激情网| 91干| 丁香六月色婷婷| 五月天国产| 五月草影视| 亚洲五月婷天天操| 天天在线天天综合网色| www.夜夜操.con| 婷婷综合在线| 色五月婷婷基地| 亚洲AV第二区国产精品| 日韩黄色网络| 91九色精品| 婷婷色五月天色色| 色婷婷四色| 九九九AAA热视频| 国产精品a无线| 久草热在线视频| 激情五月天视频| AA久久| 婷婷国产成人| 天天综合精品| 婷婷五月天亚洲综合| 五月丁香婷婷AV| 婷婷开心激情五月激情网| 日本在线免费中文com.| 春色激情第四色| 婷婷美女精品视频| 国产美女最新VA在线免费观看| 丁香五月婷婷六月婷| 天天爽夜夜爽夜夜爽精| henhencao国产在线| 九九sese| 人妻肉射免费观看| 久久99美女精彩视频| 五月天激情网页| 久热这里只有精品66| 热久久国产视频| 欧美另类五月激情| www.五月丁香av| 久久五月婷天天干| 五月婷婷第四色| 五月婷婷第四色| 色综合激情| 天天干 夜夜爽| 五月婷婷综合在线视频小说| 婷婷五月色| 天天干天天操天天射| 欧美日本黄色| 99热精品在线播放| 伊人久久婷婷| 亚洲亚洲人成综合网络| 9 7总站超级碰免费视频| 狼人伊人天堂| 丁香五月婷婷激情完整版| 六月婷婷AV| 亚洲AV免费国产电影| 欧美人人超级碰| 伊人五月综合网| 日本久久超碰| 伊人激情| 丁香五月综合图片在线观看| 亚洲AV成人无码久久精品老人法拉利| 五月婷婷激情五月| 婷婷丁香五另类网站| www.国产色| 丁香五月天啪啪| 久久caop| 日韩成人电影Av| 91久久九久久九久久九久久九久久| 五月丁香大相交| 超碰碰碰碰| 综合五月天亚洲婷婷| 婷婷四月 成人 狠狠干| 五月开心六月婷婷在线播放网站| 国精产品久久| 先锋资源婷婷| 色五月综合在线| www.激情| 任我肏视频精品| 久久91久久精品久久| 丁香婷婷婷| 超级碰碰碰碰视频| 秋霞黄色一级久久| 色婷婷激情五月天在线观看| 丁香五月天激情免费在线观看AV777| 婷婷久久五月天| 97视频91| 欧美三级A做爰在线观看| 婷婷色色综合| www91久久| 日韩综合网络男女香蕉a片| 秋霞黄色一级久久| 色婷婷AV五月天| 丁香月六月| 九九色播五月丁香| 99成人| 超碰自拍天堂| 大香蕉婷婷五月天| 激情五月婷婷综合网| 五月丁香综合激情网| 97久久草草超级碰碰碰| 亚洲日本韩国| 婷婷五月,偷窥偷拍网| 亚洲色婷婷| 99热日本| 天天拍天天操| 午夜丁香| 日韩精品一区二区刘| 久久婷五月综合| av在线超清中文| 色天天综合| 猫咪伊人久久| 最近免费中文字幕大全高清大全1| 婷婷色狠狠| 九九色欲网| 婷婷五月情色| 婷婷丁香五月激情密臀av| 亚洲综合五月天| 果冻传媒A片一二三区| 色婷婷五月天偷拍| 婷婷5月天av| 丁香婷婷深情五月亚洲| WWW,五月| 婷婷激情五月天激情小说| 中文精品在| 国产日日夜夜操| 久色五月丁香视频| 婷婷久久五月| 91窝窝| 97人人操人人干| www.sezonghe| 色色99| 嫩草免费视频| 九九热a| 天天干天天叉| 337p大胆噜噜噜噜噜91Av| 国产精品久久久久久亚洲毛片| 丁香社92视频| 精品九九在线观看| 182TV大香蕉| 国产超碰在线| 欧美色色日韩| 国产精品五月丁香| 热99在线| 九九人人操| 伊人久热91网| 欧美色骚婷婷五月天| 婷婷亚洲五月| 欧洲色区| 日本操碰碰| 第一区久久网站| 久久多色| 欧美三级韩国三级日本三斤| 99在线观看视频免费| 国产精品热搜丁香五月婷婷| 超碰91在线| 色综合av超碰| 蜜乳A√| 无码激情精品色婷婷久久久久| 天天草天天爽| 日本WwW色偷偷丁香花久久久京东热| 六月99天天婷婷激情综合| 天天天日天天天干| 色色色色热| 婷婷五月综合网激情| 狠狠色狠狠干| 五月天婷婷基地综合网| 亚洲传媒在线观看| 丁香五月AV在线| 婷婷五月天国产在线播放| 欧美经典片免费观看大全| www91在线| 九九九成人在线视频| 92久久| 久草五月丁香婷婷综合| 色9色| 婷婷激情六月综合| 久久九九免费视频| 婷婷五月色惰| 99视频一区| 精品人妻伦一二三区久久| 伊人五月综合网| 丁香六月天色婷婷| 99只有精品| 婷婷伊人綜合| 99色在线观看视频| 99在线免费观看| 香蕉操亚洲| 五月开心深深爱激情综合| 五月婷婷六月色| 99热碰碰| 开心五月天激情| 丁香五月欧美| av网址在线| 午夜丁香婷婷| 九久九精品| 色99亚洲| 99热免费观看| 激情综合色图| 激情五月丁香亭亭| 日本久碰| 色婷婷在线视频综合| www.色五月| 玖玖在线| 天天插天天干| 天天肏天天肏| 国产一二三四五六七八视频| 国产亚洲精品久久久久苍井松| 色欲av伊人久久大香线蕉影院 | 天天插天天操| 亚洲深喉aV| 色亚洲无码| 成人在线综合| 久久天堂婷婷五月| 天天日日综合| 久草婷婷在线| 五月丁香激情综合欧美| 丁香五月天啪啪| 久久婷狠狠色| 97色啪| 偷拍丁香九月激情| 激情网站综合五月天| 99久在线精品99re8| 丁香五月人妻| 五月婷婷六月丁香五月| 999九九九久久久99HD| 婷婷综合在线观看视频| 无码激情AAAAA片-区区| 激情99。| 亚洲第一综合| 26uuu.| 人人干av| 激情五月天在线观看婷婷| 综合久久影院| 欧美在线操| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 五月婷婷综合网| 丁香六月婷婷激情综合| 婷婷操逼| 91婷婷| 九九精品99| 久久99久久99精品免观看粉嫩| 五月婷婷影院| 日韩av在线免费观看| 99热天堂| 婷婷五月天堂| 国产在这里只有精品| 色色激情五月天| 丁香五月婷婷基地| 九九色热| www.五月天| 五月色综合网欧美网| 琪琪色五月天| 久草A片| 99九色视频在线观看| 国产精品成人AV在线| 激情五月天综合婷婷网| 日韩欧美婷婷丁| 五月开行婷婷色五月| 成人婷婷色综合| 婷婷五月天免费| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 日本色色网站| 日本女人久久| 婷婷色激情网| 婷婷色综合| 五月婷婷天天色| 男女啪啪做爰高潮无遮挡| 热久久国产视频| 亚洲精品**不卡在线播he| www天天爽| 亚洲av午夜精品一区二区| 第四色五月婷婷| 美女黄频aⅴ视频| 婷婷五月天丁香花| 99视频地址| 欧美情色一区| 丁香婷婷成人网| 99啊精典免费视频| 九九99免费理论| 色情综合网| 丁香六月激情| 我要看激情五月天| 婷婷五月天丁香激情| 九九99精品视频| 99ri视频| 免费观看全黄做爰的视频| 五月丁香六月花| 丁香六月婷婷社区| 国产成人av在线| 色狠狠999综合网| 人妻无码视频网| 色综合久久88色综合天天| 久久9RE热视频精品98| 天堂在线9| 五月丁香啪啪| 操操操B| 婷婷五月天综合久久| 久久 婷婷 五月天| 国产精品色色| 97婷婷五月天| 婷婷情色五月天| 婷婷亚洲综合| 色婷婷六月精品| 99啪啪骑| 99色网站| 色婷婷九月综合| 99热99草97| 国产激情综合| 99秘 在线| 色婷婷操逼网| 性综合网| 五月天六月婷婷电影| 99人人操人人操人人精| 日本三级中国三级99人妇网站| AV79| 丁香五月中文字幕| 99ER热精品视频| 五月丁香六月激情欧美综合| 九九亚洲视频| 九九热视频精品999| 五月天伊人久久久久| 这里只有精品在线视频精品| 91热久88| 色情五月丁香| www,五月丁,com| 久久久99日本大片| 久久99热这里只频精品6学生| 五月丁香婷婷激情澎湃四射 | 大香蕉啪啪啪| 人人摸人人摸| 天天日夜夜爽。| 色伦专区97中文字幕| 怡红院视频| 久久98| 婷婷综合中文字幕| 97九色| 中文字幕簧片| 久久艹99| 久久婷婷午夜| YJLZZJLZZ亚洲乱熟无码| 婷婷五月AA五月在线| 五月丁香六月婷婷综合| 婷婷五月天AV| 色天五月天在线观看视频| 99久久久国产大片区| 丁香亚洲色综合| 色五月激情婷婷| 婷婷无码视频| 99re99在线看| 丁香六月婷婷久久亚洲天堂| 婷婷丁香五月综合| 综合激情视频| 亚洲五月六丁香激情| 中文字幕性爱视频| 国产欧美精品AAAAAA片| 激情五月婷| 丁香5月啪啪| 婷婷情色五月天| 97日韩无套内| 久色网| 天天色官网| 激情五月综合网| 婷婷久久欧美| 五月丁香久久| 久久婷婷五月天激情四射| 丁香五月深爱五月婷婷| 五月丁香福利| 91丁香婷婷综合久久欧美| 九九热这里| 婷婷深爱五月| 久久99久久99精品免视看婷婷| 日韩av在线电影| 婷久久高清| 激情五月综合| 九九无码| 久久九九大香蕉电院| 九月丁香| 婷五月天丁香婷五月| 中文字幕丰满孑伦无码专区| 狠狠色综合网| www激情婷婷com| 婷婷六月丁香久| 色五月色图| 亞洲自怕| 色婷五月天| www..999热久| 天天狠狠干| 婷婷五月天va| 热九九精品| 888久久久| 国产精品成人AV在线观看春天| 91色综合| 天天搞天天爽| www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | 婷婷六月色丁香视频在线观看| 黄色激情久久| 亚洲人人艹| 性做爰A片免费视频A片直播| 国产激情综合五月久久| 色九月婷婷丁香| www.亭亭五月天| 六月婷婷视频| 天天爽在线视频| 综合伊人久久| 久久这里只有精品热在99| 播四月婷婷六月丁香| 玖玖伦理电影| 色色婷婷五月| 99久久玖玖| 日逼影音先锋AV男人资源站| 久久AV无码精品人妻系列试探| 天干夜夜操| 天天干天天做| 婷婷五月天激情五月天深爱五月天| 五月婷婷色播网| 99 热国产在| 色欲五月婷婷| 五月天婷婷激情在线色图| 亚洲狠9| 年轻的妺妺伦理HD中文| 婷婷99狠狠| 婷婷五月激情欧美| 天天爽天天| 狠狠激情五月天| 久久人妻情侣| 成人婷婷五月天| 五月丁香六月色婷婷综合五月天| 久久久久久久97| 伊人玖玖网| 九九成年视频| 丁香六月天婷婷色| 日本一级淫| 国产精品18久久久| 色色色综合| 久久香蕉网| 碰碰91| 庭庭久久内射| 亚洲一区二区无遮挡A片| 开心激情网五月| 色区域网站视频| 婷婷五月婷婷五月天| 五月天另类综合网| 国产精品在线视频| 欧美亚洲999| 丁香五月色色色色| 久久机热这里只有精品免费视频 | 99在线观看视频蜜臀| 伊人春天av| 丁香花五月天激情| 人人操人人爽成人AV| 色色色9 9 9| 色九月丁香婷婷蜜桃在线观看| 婷婷伊人五月天| AA片在线观看视频在线播放| 三人荫蒂添的好舒服A片| 久久99视频| 99在线小视频| 色噜噜狠狠色综合日日| 人妻久久久久久久 | 中文字幕视频在线播放| 99热综合在线| 97色色婷婷五月天| 182TV大香蕉| 4399在线观看免费毛片| 一本色道久久88加勒比—| 97五月婷婷| 高清国产AV| 久久青青日本视频| 六月丁香狠狠爱| 色色色色区| 婷婷五月天精品| 操久久精| 人人性久久| 中文字幕九九九九| 五月天婷婷影院| 9久精品视频| 色综合激情| 久久人人九九| 操操啪| 亚洲性受XXXX五月丁香| 无码一区二区三区四区五区| 99热 在线观看| 亚洲小视频免费观看| 啪啪色激情五月天| 26uuu国自产精品| www色婷婷久久综合久色| 99热无码精品| 婷婷永久在线| 久久婷婷亚洲五月天| 99精品久久久久久久婷婷久久 | 爱婷婷五月| 激情VA视频| 色日本五月天| 激情婷婷五月天| 91玖玖| 五月丁香色情| 婷婷视频网| 成人国产欧美大片一区| 亚洲V国产V欧美V久久久久久| 婷婷色五月大香蕉在线| 狠狠色综合无线观看| 综合精品99| www,色婷婷| 九九亚洲综合| 亚洲国产精品成人免费一区久久久在线观看AAAA| 五月色综合网欧美网| 久久成人性爱| 丁香六月天色婷婷| 99亚州综合精品成人网| 操日视频| 91九九| 天天综合精品| 日韩青青| 婷婷激情五月天小说| 天堂久久婷婷| 成人做爰A片免费看网站找不到了| 2025最新亚洲激情在线| 天天干天天爽天天爽| 久久久久人妻网址| 色99在线观看| www.99视频| 深夜婷婷 丁香| 91九九精品| 激情综合网五月丁香| site:pzdcoin.com| 日撸夜撸日操| 五月丁香成人网| 99在线精品免费视频| 极品少妇高潮啪啪AV无码| 91午夜婷婷狠狠久久综合9色| 久久精品女人天堂AAA| 91成人视频| 97丁香五月天| 亚洲情a| 久久98热re| 女人天堂AV| 五月丁香婷婷钟和色图| 吊色AV男人的天堂| 99免费视频久久| 五月天激情无码高清| 激情六月色| 激情伊人五月天| 欧美69久成人做爰视频| 婷婷五月天大香蕉在线视频观看| 婷婷欧美综合| 人人人人人人人人人草| 可以看的AV| 综合色播| 婷婷最新地址| 超碰97免费在线| 综合亚洲六月婷婷在线| 五月丁香婷婷啪啪综合网| 精品无吗va视频免费观看| 人人摸人人搞| 五月婷婷丁香日韩在线| 五月婷啪啪| 蜜乳.comcom| 色中色综合| 小视频久久久aaa| 日韩艹比| 黄色精品五月婷婷| 五月六月丁香婷婷在线观看| 色色网站在线| 99热伊人| 9 7总站超级碰免费视频| 99a级片| 五月丁香婷婷激情久久| 五月婷婷六月色| 五月婷婷丁香五月| 丁香五月 无码| av九九| SESE无码AV| 中文字幕综合网| 狠狠色综合五月人人| 123草逼网| 米奇激情婷婷| 91九色欧美| 粉嫩AV久久一区二区三区| 丁香五月天激情四射网| 99小精品| 五月天综合在线| 丁香五月天啪啪| 超碰色女| 日韩五月天婷婷| 操九色| 久久国产一区二区三区| www.色婷婷.com| 五月丁香av在线| 草五月| 亚洲成av人影院| 热久69| 亚洲色婷婷网站| 五月天婷婷色| 99re欧美精品| 激情综合无码| 激情婷婷啪啪| 久久婷婷精品| 99热加勒比| 色久五月| 五月丁香婷婷婷激情爱爱| 无码激情AAAAA片-区区| 五月99久久| 丁香婷婷丁香五月欧美人| 五月天伊人网| 激情婷婷五月天| 久久色五月| 色婷婷在线视频综合| 人人爱国产| 亚洲综合碰| 婷婷丁香第一页| 色婷婷狠| av一区免费看| 久草久青福利| 欧美色99| 99久热在线精品99re6热| 台湾综合丁香五月蜜桃| 天堂综合久| 丁香婷婷天堂| 色播五月婷婷| 五月丁花六月丁香综合| 亚洲精品V天堂中文字幕| 一二区成人电影| 天天综合网亚洲综合网| 五月丁香成人网| 色欧美影院| 五月精品免费XXX| 五月天丁香网| 国产精品视频免费看| 天天夜夜爽| 99色综合| 色婷婷电影| 五月丁香综合网| 久久婷婷原创视频| 激情文学天天| 日日噜狠狠| 婷婷五月丁香综合桃花色网| 99色1| 99精品在这里| 狼人婷婷久久| 夜夜夜夜夜操| 精品二区| 激情婷婷五月女| 亚洲AV人人操| 狠爱婷色| 六月伊人婷婷| 思思热在线视频精品| 精品99在线观看| 五月色网| 国产AV国片偷人妻麻豆| WWW,色五月| 超碰99资源站| 亭亭丁香97| 五月激情婷婷播播网| 丁香五月AV| 狠狠色狠狠| 丁香五月欧美午夜视频| 色五月天 丁香| 精品九九视频在线观看| 激情综合一| 免费亚洲婷婷中文字幕| 九九热这里只有精品6| 午夜成人av在线| 婷婷大美在线| 久久婷婷五月天| 超碰91在线| 久热91精品| 丁香花婷婷五月天| 婷婷欧美激情| http://www.com久久久精品一区| 天天摸,天天爽| 五月激情婷婷在线| 级情九色| 色色五月天丁香| 黄网在线免费播放| 思思热视频在线观看| 狠狠色婷| 青草热视频这里只有精品| 大地9中文在线观看免费高清| 婷婷激情中文综合| 99热国产在线| 99热这里有精品| 色欲婷婷夜夜| 婷婷五月天堂| 1024手机在线观看看片_日韩精品| 99热亚洲| 丁香五月天天| 深爱激情丁香| 9一精品视频观看| 丁香成人色情五月天| 五月四色激情| 色五月综合网| 九九99精品视品| 色大综合| 蜜桃婷婷丁香综合久久开心亚洲| 亚洲激情丁香五月基地| 成人精品视频99在线观看免费| 成人深爱丁香五月| 色999亚洲人成色| 高清无码.com| 五月丁香啪啪网| site:xiongshengzz.com| av人人干| 色婷婷五月天av在线| 色色色热热热| 丁香五月情色| 色五月综合| 色丁香五月婷婷婷| 国产这里只有精品| 婷婷狠狠久久| 亚洲精品久久久久久久久久飞鱼| 天天拍天天做视频| 少妇伦子伦精品无吗| 丁香五月婷婷成人综合| 4399无码视频| 99re这里只有精品首页| 99热综合在线观看| 日本激情五月天‘| 墨西哥毛片内射精| 六月丁香综合| 丁香五月天.com| 91碰超| 五月天久久婷婷| 大香蕉九九| 色五月xxx| 99热这里只有精品9| 婷婷五月天亚洲天堂| 亚洲精品V天堂中文字幕| 狠狠狠狠狠狠狠狠草| 久久AV无码精品人妻系列试探| 99久久99热这里只有精品| 人妻在线观看视频| 婷婷五月天激情电影小说| 色蜜婷婷| 婷婷色九月| 亚洲一个色| 9+1视频网址| 5月丁香六月情| 亚洲中文AV| 五月天婷婷久久视频| 五月开心久久| 99色天堂| 天天做天天爱天天摸| 八戒青柠影视剧在线观看| 六月丁香婷婷尤物| 色色色色色日韩午夜激情 | 可似看的AV| 日韩伊人大香蕉| 成人在线不卡| 99热这里在线精品| 国产片XXXXA片国语对白| 色婷婷亚洲在线| 99啪视频在线观看| www.91婷婷| 九月丁香婷婷| 激情小说五月天| 五月中旬婷婷丁香六| 最熟少妇乱码| 欧美视频五区| 99精品激情| 香蕉久久av一区二区三区| 色高清无码视频| 狠狠色丁香久久综合婷婷亚洲成人福利 | 狠狠干狠狠干| 丁香五月婷婷欧美成人色图| 色婷亚洲| 日韩成人电影AV| 色婷婷五月基地在线| 色99综合色88| 婷婷六月色| 色色五月丁香| 狠狠CAO日日穞夜夜穞AV| 国语精品探花| 久婷久婷激情肉| www激情| 天天噪夜夜爽| 丁香色五月AV在线| 色丁香久久| 五月天婷婷六月| 国产黄色大片| 亚洲中文字幕av| 第四色色六月色综合| 久久五月婷综合| 超碰国产在线观看| 久热久色| 亚洲区在线| 久久精品系列| 激情五月综合视频| 亚洲中文AV| 丁香五月欧美激情| 色婷婷视频| 色综合色色色色色色综合| 91日本在线| 伊人天天色| 大香蕉人人人| 色五月五月婷婷| 狠狠色综合五月| 亚洲婷婷基地| 蜜桃五月天| 深爱激情婷| 婷婷丁香五月综合| 九色成人AV在线| 久99在线视频| 五月天激情网址| Aα在线免费观看| 狠狠操狠狠操| 丁香综合网| 亚洲网视屏| 亚洲日韩乱码一区二区三区四区| 婷婷五月六| 成人va在线观看视频| 国模九区| 免费黄色片子| 婷婷五月色网| 欧美色99| 成人做爰A片免费看网站找不到了| 婷婷亚洲综合| 99热国产这里只有| 色色综合院| 久久久久9999| 婷婷五月花丁香| 精品99这里有| 婷婷综合天堂| 激情综合五| 婷婷五月激情五月激情| 激情五月,色五月| 久久日曰| 五月丁香激情综合网| 色色色色热| 俺也去婷婷五月天第五色| 91seAV| 99热这里只有精品8| 丁香六月无码播放| 99热思思久| 色约约视频一区二区三区四区五区 | 五月色婷婷综合丁香精品无遮挡| 伊人狠狠色婷婷综合丁香一区| 九九精品热| 五月丁香色综合| 亚洲丁香五月天在线视频| 色婷婷丁香九月| 熟女强人妻一区二区三区四区无| www.婷婷五月天| 99爱视频免费看| 9久久精品| 久久99免费视频| 五月激情小说| 日本天堂免费99| www,五月丁,com| 91se在线视频| 碰久久精品w| 99久久网站| 激情五月天在线免费美女视频| 欧美激情五月天在线观看| 六月婷婷色色色| 色色综合网www| 五月婷婷无码| 色 色 色综合com| 色情丁香五月天| 日韩99视频| 在线五月婷| A久久| 五月综合色| 狠狠狠狠狠草| 如何安全看伊人婷婷| 国产永久一黄| 午夜成人片400| 伊人婷婷五月天| 夜夜骑天天操| 五月天影院婷婷在线观看| 亚洲高清在线| 综合久久六月| 国产AV影片| 丁香五月成人社区| 激情丁香五月天| 五月综合激情综合久| 激情久久五月天| 成年视频免费观看| 午夜成人片400| 精品成人久久久久久久_一二三四视| 久久99性爱| 成人视频九九| 激情五月天色网站| 九九视频在线观看视频在线播放69| 色婷婷五月天| 亚洲色五月| 五月天综合久久| 中文网av| 最新激情五月天| 成人网站在线观看视频| 中文字幕网站在线观看| 五月成人丁香av91| 色婷婷六月| 日本99热| 亚洲精品99| 99er久久| 最新激情五月天| 激情综合五月婷| 久综合| 四川操逼站| 婷婷五月,综合伊人| 97人人干人人操| 免费亚洲婷婷中文字幕| 天天色天天操天天射| www开心激情网| 97激情五月天| AV中文在线| 人妻九九九九| 成人网站av免费网站推荐| 丁香八月综合激情| 天天色综网| 九九热九九| 99九九精品| 91ncm视频| 丁香五月Av| 激情小说五月欧美亚洲丁香| 色五月五月丁香| 婷婷免费精品视频| 99视频精品| 激情啪啪五月| a片在线免费观看一区| 丁香五月激情综合久久| 精品无码久久久久久久久| 91丨九色丨大屁股| 另类 在线| 99久久玖玖| 日韩十国产极品久久| 久久成人精品视频| 天天做天天爰天天爽天天无遮挡| 这里只有精品日韩| av大香蕉| 五月天丁香综合| 9热视频在线观看| 天天搞天天色综合| 久久人五月| 9 9 9色色| 亚洲天堂AV综合网| 婷色影院| 久久97久久99久久综合欧美| 任你草| 色噜噜婷婷| 丁香婷婷激情| 97 A I色色| 婷婷色网| 丁香桃色网| 日本久久精品| 五月婷婷综合激情网| 91精品久久久久久久| 超碰97干| 九九热自拍| 婷婷狠狠色| 亚洲五月天婷婷| 丁香六月婷婷综合缴| 久久成人人妻| 99操逼| 亚洲热视频在线| 色播激情五月天| 99A片| 精品人妻一区二区三区四区不卡在| 99在线精品视频免费观看20| 这里只有精品网| 五月天婷婷视频| 99热.com| 日韩AAAAAAAAAAA片| 五月丁香婷婷激情视频| www.com五月天| AV性爱网| 色偷偷五月天| 久9视频免费播放| 九九色欲网| 五月婷网| 狠狠色综合网| 天天精品视频免费观看| 99免费| 人妻中文在线| 天天干,夜夜爽| 国产真人做爰视频免费| 亚洲九N| 美女久久天堂| 91丁香色五月| 五月天怕怕| 天堂综合久| 日韩人妻无码精品| √天堂资源在线人妻熟女| 婷婷五月天色色| 九九精品视频免费在线| 777久久精品| 欧爱综合视频| 丁香色情五月综合网站| 夜丁香五月婷婷| 婷婷五月天视频亚洲| 丁香五月天亚洲视频| www·五月天| 涩五月丁香| 欧美成人网99网| 激情婷婷五月| 精品久久9| 久久激情五月婷婷| 久久98| 人妻日日日| 91色色色视频| 人人爽欧美婷婷久久久五月丁香| 91精产品自偷自偷综合| 婷婷丁香五另类网站| 久久香蕉网| 6月丁香婷婷激情| 五月天欧美激情| 日日噜狠狠色| 干一干xxxx| 精品人妻一区二区三区四区不卡在| 五月丁香激情综合| 日韩二区搞逼插逼毛片| 色黄啪啪| 超碰97久久| 日本99热| 丁香六月色情| 亚洲精| 热99这就是精品视频| 久久六月天| 婷婷五月在线视频| 五月婷婷丁香| 538在线精品| 97人人操com| 九色91视频| 99热香港| 五月丁香激情在线| 天天日天天色| 狠狠色婷婷7777久| 国产精品大香蕉| 99热最新国内| 免费AV在线| 99视频在线| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 五月婷婷九月婷婷九月婷婷| 高清无码入口| 久99久视频| 国产成人精品亚洲线观看| 色色丁香婷婷五月天| 婷婷五月综合啪| 激情欧美婷婷| 五月丁香婷婷中文网| 久久a热| 亚洲精品大片| 99精品丁香五月| 九九精品亚洲| 丁香五月激情婷婷视频| 激情五月色综合国产精品| 婷婷五月激情六月| 五月天激情影院| 亚洲V国产V欧美V久久久久久| 91久久精品视频| 99欧州偷拍视频| 丁香六月中文| 少妇达人正片在线播放_ikun_福利吧| 色色色地址| www久| 五月色婷丁香| 中文字幕在线日亚州9| 天天操夜夜夜拍拍拍| 亚洲国产精品VA在线看黑人| 色五月亚洲| 99久久婷婷精品视频| 色狠狠色综合久久久绯色AⅤ影视| 九九九九九无码| 五月丁香成人视频| 激情五月六月婷婷| AV片在线观看| 五月婷婷丁香综合| 五月婷丁香在线视频在线| 婷婷五月婷婷| www.丁香五月| 涩涩激情五月婷婷| 丁香五月色色| 色了色综合| 色玖玖综合网| 午夜精品久久久久久久爽|