欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

研究生模型改進(jìn)第一課:先跑通基線,再談加模塊

研究生模型改進(jìn)第一課:先跑通基線,再談加模塊 很多研究生剛開始接觸深度學(xué)習(xí)模型改進(jìn)時(shí)心態(tài)通常是找一個(gè)高大上的新模塊往網(wǎng)絡(luò)里一插訓(xùn)練一輪指標(biāo)漲了就是創(chuàng)新指標(biāo)沒漲就是模塊不行。說實(shí)話這種方式我見過太多最后的結(jié)果基本都差不多代碼改了一堆實(shí)驗(yàn)做了好幾版導(dǎo)師問“你的改進(jìn)點(diǎn)到底在哪”你說不清楚寫論文的時(shí)候也補(bǔ)不齊消融實(shí)驗(yàn)。這篇內(nèi)容我想按真正能落地的順序把“模型改進(jìn)、創(chuàng)新、添加模塊”這件事拆開講一遍。適合剛?cè)腴T的碩士生也適合正在復(fù)現(xiàn)論文、準(zhǔn)備做自己實(shí)驗(yàn)的本科生和工程師。我的核心觀點(diǎn)是改進(jìn)模型的第一課不是寫模型而是先搞清楚基線、環(huán)境、數(shù)據(jù)、評(píng)價(jià)指標(biāo)和實(shí)驗(yàn)記錄。這些東西沒做好后面所有“加模塊”都只是在自我感動(dòng)。1. 為什么研究生的“模型改進(jìn)”第一課不是改模型先糾正一個(gè)常見誤區(qū)模型改進(jìn)不是“找一個(gè)模塊懟進(jìn)去”這么簡(jiǎn)單。真正有效的改進(jìn)至少包含三層問題定義、模塊設(shè)計(jì)、實(shí)驗(yàn)驗(yàn)證。層與層之間是串行關(guān)系前一層沒做好后面就白做。很多研究生一上來就急著看論文里最新的注意力機(jī)制、最新的特征融合方式然后往自己的主干網(wǎng)絡(luò)里塞。結(jié)果會(huì)遇到三類典型問題模型能跑但指標(biāo)沒有提升甚至下降。顯存直接爆掉batch size 被調(diào)小最后訓(xùn)練不穩(wěn)定。代碼報(bào)錯(cuò)后無從下手不知道是自己改錯(cuò)了還是原本就有 bug。這些問題不是模型能力不夠而是前置工作沒做好。你要先確定一個(gè)可復(fù)現(xiàn)的基線再談改進(jìn)。1.1 先搞定環(huán)境、數(shù)據(jù)和基線第一步不是寫模型而是把環(huán)境搭好把數(shù)據(jù)準(zhǔn)備干凈把原始模型跑通。建議按這個(gè)順序來確定框架版本。PyTorch 和 TensorFlow 都行但作為學(xué)術(shù)改進(jìn)PyTorch 更常見一些。確定 Python 版本。不要用太新的也不要太舊的。一般 PyTorch 官方支持的穩(wěn)定版本區(qū)間內(nèi)選一個(gè)即可。準(zhǔn)備數(shù)據(jù)。無論你用的是公開數(shù)據(jù)集還是實(shí)驗(yàn)室數(shù)據(jù)至少要保證訓(xùn)練集、驗(yàn)證集、測(cè)試集劃分固定。跑通一個(gè)原始模型。這個(gè)原始模型就是你后面所有改進(jìn)的對(duì)比基準(zhǔn)也叫基線模型。這里有一個(gè)很容易踩的坑很多人直接下載一個(gè) GitHub 項(xiàng)目然后換數(shù)據(jù)、換模塊跑出來一個(gè)數(shù)字根本不確認(rèn)這個(gè)數(shù)字在原始代碼里是否可復(fù)現(xiàn)。正確做法是先不加任何改動(dòng)用項(xiàng)目自帶配置或者論文里的配置把基線指標(biāo)復(fù)現(xiàn)一次。如果基線都復(fù)現(xiàn)不出來后面你改完模型得到的任何提升都沒有說服力。1.2 把原模型跑通再談改進(jìn)把原模型跑通意味著你要完整走完四個(gè)環(huán)節(jié)數(shù)據(jù)讀取、前向傳播、反向傳播、驗(yàn)證評(píng)估。你可以先用一條命令跑一個(gè)極小的實(shí)驗(yàn)python train.py --config configs/baseline.yaml --max_epochs 1如果項(xiàng)目沒有這種參數(shù)化配置可以改在代碼里臨時(shí)指定迭代次數(shù)和 batch size。初始目標(biāo)不是訓(xùn)練出一個(gè)好模型而是確認(rèn)數(shù)據(jù)能正常加載沒有路徑亂碼。模型能正常前向沒有維度不匹配。loss 能正常下降而不是直接 nan。驗(yàn)證代碼能輸出指標(biāo)而不是只在訓(xùn)練集上自嗨。我第一次帶著學(xué)弟做實(shí)驗(yàn)時(shí)發(fā)現(xiàn)他把驗(yàn)證集和訓(xùn)練集的目錄寫反了。模型訓(xùn)練時(shí) loss 正常下降驗(yàn)證指標(biāo)也很高但換到真實(shí)測(cè)試數(shù)據(jù)上效果很差。查了三天最后發(fā)現(xiàn)是數(shù)據(jù)劃分的問題。這類問題在你開始“加模塊”之前暴露出來成本最低。1.3 建立實(shí)驗(yàn)記錄與評(píng)價(jià)指標(biāo)表研究生的實(shí)驗(yàn)記錄不能靠腦子記。需要的表格其實(shí)很簡(jiǎn)單實(shí)驗(yàn)編號(hào)、修改內(nèi)容、數(shù)據(jù)集、輸入尺寸、batch size、epoch、初始學(xué)習(xí)率、優(yōu)化器、最終指標(biāo)、顯存占用、訓(xùn)練時(shí)長(zhǎng)、備注。表格的作用有兩個(gè)一是讓你在投稿或?qū)懻撐臅r(shí)有據(jù)可查二是讓你在調(diào)參時(shí)能快速定位“哪個(gè)改動(dòng)帶來了提升”。評(píng)價(jià)指標(biāo)也要提前確定。分類任務(wù)看準(zhǔn)確率、精確率、召回率、F1檢測(cè)任務(wù)看 mAP分割任務(wù)看 mIoU。不同任務(wù)指標(biāo)不同但原則一致不要只記錄一個(gè)指標(biāo)。因?yàn)槟慵拥哪K可能提升準(zhǔn)確率、犧牲推理速度也可能提升少數(shù)類別的召回、拉低整體精度。只記一個(gè)數(shù)字很難判斷模塊到底是不是“凈增益”。2. 改進(jìn)模型前先把這些模塊看懂“加模塊”聽起來很容易但你要加得有理有據(jù)至少要認(rèn)識(shí)主流的模塊類型。下面按深度學(xué)習(xí)模型最常見的組成來拆開講。2.1 主干網(wǎng)絡(luò)Backbone主干網(wǎng)絡(luò)負(fù)責(zé)從原始輸入中提取特征。常見的有 VGG、ResNet、MobileNet、EfficientNet、ConvNeXt 以及各種基于 Transformer 的 ViT 系列。改進(jìn)主干網(wǎng)絡(luò)的核心思路一般是把普通卷積換成深度可分離卷積減少參數(shù)量。把標(biāo)準(zhǔn)殘差塊換成帶注意力機(jī)制或重參數(shù)化結(jié)構(gòu)的塊。引入多尺度信息讓淺層特征和深層特征能同時(shí)被利用。但要注意主干網(wǎng)絡(luò)改動(dòng)對(duì)訓(xùn)練穩(wěn)定性和預(yù)訓(xùn)練權(quán)重影響很大。如果你要換主干建議優(yōu)先選擇有 ImageNet 預(yù)訓(xùn)練權(quán)重的版本否則從頭訓(xùn)練的網(wǎng)絡(luò)很難收斂。2.2 特征融合模塊Neck / FPN / Transformer Encoder特征融合是目標(biāo)檢測(cè)和分割任務(wù)里的高頻改動(dòng)點(diǎn)。典型模塊是 FPN也就是特征金字塔。它把不同層級(jí)的特征進(jìn)行融合讓淺層位置信息和深層語義信息結(jié)合起來。常見的“加模塊”操作包括在 FPN 里加注意力模塊。把簡(jiǎn)單的特征相加改成特征拼接再加 1x1 卷積做通道壓縮。引入 PANet 的雙向融合、BiFPN 的加權(quán)融合等。這類模塊改動(dòng)通常不改變主干網(wǎng)絡(luò)所以原有預(yù)訓(xùn)練權(quán)重基本可以繼續(xù)用訓(xùn)練難度相對(duì)低一些。2.3 檢測(cè)頭與損失函數(shù)Head Loss檢測(cè)頭負(fù)責(zé)從特征中預(yù)測(cè)目標(biāo)位置和類別。改進(jìn)檢測(cè)頭的常見方向是設(shè)計(jì)更輕量的解耦頭或者把分類和回歸分支分開得更徹底。損失函數(shù)也值得看。交叉熵、Focal Loss、GIoU Loss、CIoU Loss 在不同任務(wù)上表現(xiàn)差異很大。從“加模塊”的角度看損失函數(shù)不一定算模塊但它和模塊是配套的。比如你給模型加了一個(gè)新的注意力模塊最終生效還要看損失函數(shù)能不能把梯度傳到對(duì)應(yīng)位置。如果損失函數(shù)本身不匹配模塊就白加。2.4 激活函數(shù)與歸一化激活函數(shù)和歸一化層雖然小但影響非常大。常見激活函數(shù)有 ReLU、Leaky ReLU、GELU、SiLU / Swish、Mish 等。常見歸一化有 BatchNorm、LayerNorm、InstanceNorm、GroupNorm。加模塊時(shí)經(jīng)常會(huì)被問到“你用了什么激活函數(shù)”。如果你的模型結(jié)構(gòu)比較深GELU 或 SiLU 往往比 ReLU 更平滑訓(xùn)練也更穩(wěn)定。如果你處理的是小 batch sizeBatchNorm 很容易不穩(wěn)定可以考慮換 LayerNorm 或 GroupNorm。2.5 注意力機(jī)制、可變形卷積、重參數(shù)化這類常見組件“加模塊”最常加的是以下幾類注意力機(jī)制SE、CBAM、ECA、CA、Self-Attention、Swin Transformer 里的 Window Attention。可變形卷積Deformable Convolution適合幾何形變比較大的目標(biāo)。重參數(shù)化RepVGG 這類結(jié)構(gòu)訓(xùn)練時(shí)用多分支推理時(shí)合并成單分支兼顧訓(xùn)練效果和推理速度。多尺度融合ASPP、PPM、SPP / SPPF適合語義分割和檢測(cè)。這些組件本身都是可復(fù)用的但你必須知道每個(gè)組件的輸入輸出形狀、計(jì)算量、是否改變通道數(shù)、是否影響梯度流動(dòng)。不然加進(jìn)去之后很容易出現(xiàn)維度對(duì)不上、訓(xùn)練速度驟降、loss 不收斂這類問題。3. 手把手演示給分類網(wǎng)絡(luò)添加一個(gè)注意力模塊下面我用一個(gè)非常具體的例子演示如何給一個(gè)卷積分類網(wǎng)絡(luò)添加一個(gè)注意力模塊。操作步驟并不難難的是每一步你都要知道為什么。3.1 場(chǎng)景設(shè)定假設(shè)我們現(xiàn)在用的是 ResNet18處理一個(gè) 10 分類圖像分類任務(wù)。數(shù)據(jù)是 224x224 的 RGB 圖片batch size 是 32。改進(jìn)目標(biāo)是在 ResNet 的 BasicBlock 殘差連接之后加一個(gè)輕量級(jí)的通道注意力模塊。為什么選 BasicBlock 而不是整個(gè) ResNet 的最后一層因?yàn)闅埐顗K是網(wǎng)絡(luò)的基本組成單元加在殘差塊內(nèi)部能讓注意力機(jī)制在每個(gè)階段都發(fā)揮作用。相比只在網(wǎng)絡(luò)最后加一個(gè)注意力模塊這種改法對(duì)特征的影響更全面。3.2 修改模型文件的步驟具體代碼以 PyTorch 為例。你要找到 ResNet 源代碼里的 BasicBlock在殘差分支輸出后面加入一個(gè) SE 模塊。SE 模塊實(shí)現(xiàn)如下import torch import torch.nn as nn class SEBlock(nn.Module): def __init__(self, channels, reduction16): super().__init__() self.squeeze nn.AdaptiveAvgPool2d(1) self.excitation nn.Sequential( nn.Linear(channels, channels // reduction), nn.ReLU(inplaceTrue), nn.Linear(channels // reduction, channels), nn.Sigmoid() ) def forward(self, x): b, c, _, _ x.size() y self.squeeze(x).view(b, c) y self.excitation(y).view(b, c, 1, 1) return x * y然后把 BasicBlock 里的 forward 改成def forward(self, x): identity x out self.conv1(x) out self.bn1(out) out self.relu(out) out self.conv2(out) out self.bn2(out) if self.downsample is not None: identity self.downsample(x) out identity out self.relu(out) # 添加注意力模塊 out self.se(out) return out注意這里我把 SE 加在了殘差相加和 ReLU 之后。有些論文會(huì)選擇加在相加之前效果會(huì)有差異。沒有統(tǒng)一標(biāo)準(zhǔn)你要通過實(shí)驗(yàn)對(duì)比才能確定哪種位置更適合你的任務(wù)。3.3 從論文到代碼的對(duì)應(yīng)很多研究生看論文能看懂公式但一到代碼就不知道實(shí)現(xiàn)哪里。這里給一個(gè)通用方法把論文里的網(wǎng)絡(luò)結(jié)構(gòu)圖畫成數(shù)據(jù)流向圖標(biāo)注每個(gè)步驟的輸出形狀。比如 SE 模塊輸入形狀[B, C, H, W]全局平均池化后[B, C, 1, 1]展平后[B, C]全連接壓縮到 C/r[B, C/r]全連接還原到 C[B, C]Sigmoid 激活[B, C]還原成 [B, C, 1, 1] 與原始特征相乘[B, C, H, W]只要形狀能對(duì)得上代碼就不會(huì)出大問題。3.4 最小改動(dòng)版本如果你嫌改 BasicBlock 的 forward 麻煩也可以直接寫一個(gè)新的 Block。但我覺得對(duì)于初學(xué)者來說最小改動(dòng)版本更安全。最小改動(dòng)版本的做法是在__init__里定義self.se SEBlock(self.out_channels)。在forward里按住標(biāo)準(zhǔn)殘差連接的方式插入即可。不要在同一個(gè)實(shí)驗(yàn)里同時(shí)改多個(gè)位置。先只在最后一層加看效果再?zèng)Q定要不要每個(gè) BasicBlock 都加。3.5 驗(yàn)證單批次前向、參數(shù)量、輸出形狀改完代碼后不要直接開始訓(xùn)練。先跑一段小腳本import torch from torchvision.models import resnet18 from models.resnet_se import resnet18_se model resnet18_se(num_classes10) x torch.randn(2, 3, 224, 224) y model(x) print(y.shape) total_params sum(p.numel() for p in model.parameters()) trainable_params sum(p.numel() for p in model.parameters() if p.requires_grad) print(fTotal params: {total_params}) print(fTrainable params: {trainable_params})這一步要確認(rèn)三件事前向輸出形狀是不是 [B, num_classes]。模型參數(shù)量相比原始 ResNet18 增加多少。推理不吃力顯存沒有明顯暴漲。如果輸出形狀不對(duì)說明你改動(dòng)的位置破壞了網(wǎng)絡(luò)整體結(jié)構(gòu)。如果參數(shù)量翻了好幾倍說明你的注意力模塊 reduction 設(shè)置得太小。SE 里的 reduction 常見值是 8 或 16越小代表中間層越寬參數(shù)量越大。4. 進(jìn)階改法給檢測(cè) / 分割模型加 Neck 或 Head如果你做的是目標(biāo)檢測(cè)或語義分割光是給分類網(wǎng)絡(luò)加注意力模塊還不夠。你需要改 Neck 或 Head。4.1 明確要改哪個(gè)文件、哪一行檢測(cè)類項(xiàng)目通常有清晰的目錄結(jié)構(gòu)。以 YOLO 系列為例一般有models/存放網(wǎng)絡(luò)結(jié)構(gòu)定義。cfg/存放網(wǎng)絡(luò)配置文件。utils/存放損失計(jì)算、數(shù)據(jù)處理等工具。train.py負(fù)責(zé)訓(xùn)練流程。改動(dòng)前先定位你的目標(biāo)模塊在哪。不要用 CtrlF 滿屏搜索先看網(wǎng)絡(luò)結(jié)構(gòu)配置文件。很多檢測(cè)框架把網(wǎng)絡(luò)寫成字典或列表形式每一層有 type、in_channels、out_channels、args 等字段。你要加模塊找到對(duì)應(yīng)層的位置按格式插入即可。4.2 保持輸入輸出形狀一致加模塊最容易出的問題是通道數(shù)或尺寸不匹配。舉例你在特征金字塔后面加了一個(gè)自注意力模塊它要求輸入特征圖是序列格式 [B, N, C]但你的特征圖是 [B, C, H, W]。如果不做轉(zhuǎn)換代碼直接報(bào)錯(cuò)。通用的解決辦法是在模塊外面做一個(gè)包裝器class SequenceAttention(nn.Module): def __init__(self, dim, num_heads): super().__init__() self.attn nn.MultiheadAttention(dim, num_heads) def forward(self, x): b, c, h, w x.shape x_flat x.flatten(2).permute(2, 0, 1) # [N, B, C] out, _ self.attn(x_flat, x_flat, x_flat) out out.permute(1, 2, 0).view(b, c, h, w) return out你不需要把注意力模塊改得特別花哨只要保證輸入輸出形狀和原特征圖一致訓(xùn)練才不會(huì)崩。4.3 如何加載預(yù)訓(xùn)練權(quán)重后繼續(xù)訓(xùn)練加了模塊之后模型的 state_dict 會(huì)多出新的鍵和原始預(yù)訓(xùn)練權(quán)重不一致。常見做法有兩種只加載能匹配的權(quán)重新模塊隨機(jī)初始化。凍結(jié)主干網(wǎng)絡(luò)前幾層只訓(xùn)練新模塊和后層。第二種方式更適合小數(shù)據(jù)集。因?yàn)樾履K隨機(jī)初始化如果一開始就用大學(xué)習(xí)率訓(xùn)練很容易把原有特征破壞掉。建議前幾個(gè) epoch 用較小學(xué)習(xí)率或者先把主干凍結(jié)住只訓(xùn)練新增模塊。代碼上可以用pretrained_dict torch.load(resnet18.pth) model_dict model.state_dict() pretrained_dict {k: v for k, v in pretrained_dict.items() if k in model_dict and model_dict[k].shape v.shape} model_dict.update(pretrained_dict) model.load_state_dict(model_dict)這個(gè)寫法能兼容大部分情況。實(shí)際項(xiàng)目中如果新增模塊名字和原始模塊別名不一致還需要手動(dòng)映射鍵名。4.4 當(dāng)你發(fā)現(xiàn)訓(xùn)練 loss 不降時(shí)先查什么加了模塊后 loss 不降不要慌。按順序排查看 loss 初始值是不是明顯不合理。如果一開始就 nan大概率是學(xué)習(xí)率太大或輸入數(shù)據(jù)有問題。看新模塊輸出是否過小或過大。可以在模塊后打印均值、方差??粗鞲墒欠癖粌鲎×恕H绻麅鼋Y(jié)了主干但新模塊很淺可能學(xué)不到足夠特征。看 loss 曲線是震蕩不降還是完全不變。震蕩可以調(diào)低學(xué)習(xí)率完全不變可能是梯度沒傳到新模塊。有一個(gè)經(jīng)驗(yàn)新模塊加進(jìn)去之后如果 loss 比基線降得更慢不一定是“沒用”也可能是你學(xué)習(xí)率沒有重新調(diào)。模塊變深之后梯度流路徑變長(zhǎng)原來的學(xué)習(xí)率可能偏大或偏小都需要重新試。5. 研究生最容易踩的坑改一堆模塊實(shí)驗(yàn)卻無效下面這五個(gè)坑是我在帶學(xué)生和復(fù)現(xiàn)論文過程中反復(fù)遇到的。5.1 沒有基線沒有基線你的所有改進(jìn)都沒有參照物。哪怕你最后指標(biāo)是 90%你也說不清楚原始模型是不是 89%你的貢獻(xiàn)到底是什么。有同學(xué)會(huì)問原始模型只有 88%我改完是 90%這不就是提升了 2% 嗎問題是這 2% 到底是模塊帶來的還是因?yàn)槟阌?xùn)練隨機(jī)性更大、數(shù)據(jù)增強(qiáng)更強(qiáng)、訓(xùn)練輪次更多沒有控制變量結(jié)論不成立。5.2 參數(shù)對(duì)不齊、隨機(jī)種子不固定深度學(xué)習(xí)訓(xùn)練有隨機(jī)性同樣的代碼跑兩次指標(biāo)都可能差 0.3% 到 0.5%。如果你改模塊前后沒有固定隨機(jī)種子那么哪怕模塊沒用也可能因?yàn)殡S機(jī)種子不同導(dǎo)致指標(biāo)上漲給你虛假信心。建議在訓(xùn)練腳本里設(shè)置統(tǒng)一隨機(jī)種子import random import numpy as np import torch def set_seed(seed): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed)然后每個(gè)實(shí)驗(yàn)都記錄使用的種子值。5.3 訓(xùn)練不充分就下結(jié)論我見過很多同學(xué)訓(xùn)練 20 個(gè) epoch看到驗(yàn)證集指標(biāo)沒提升立刻覺得自己的模塊沒用。但很多時(shí)候改進(jìn)模塊需要更長(zhǎng)時(shí)間才能體現(xiàn)優(yōu)勢(shì)尤其是注意力機(jī)制前期可能先帶來波動(dòng)后期才穩(wěn)定提升。判斷標(biāo)準(zhǔn)應(yīng)該是基線模型和你改進(jìn)后的模型使用完全相同的訓(xùn)練配置訓(xùn)練相同的輪次然后對(duì)比。如果改進(jìn)后模型需要更多輪次才能超過基線也是一種結(jié)果但你要寫清楚訓(xùn)練成本。5.4 改多個(gè)變量導(dǎo)致無法歸因這是最致命的問題。你既換了主干網(wǎng)絡(luò)又加了注意力模塊還改了損失函數(shù)然后指標(biāo)提升了。請(qǐng)問到底是哪個(gè)改動(dòng)起到了決定性作用如果指標(biāo)下降了你也不知道該回滾哪個(gè)改動(dòng)。正確的做法是每次只改一個(gè)變量。示例第一次實(shí)驗(yàn)原始模型完整訓(xùn)練得到基線。第二次實(shí)驗(yàn)原始模型 SE 注意力其他一切不變。第三次實(shí)驗(yàn)原始模型 CBAM 注意力。第四次實(shí)驗(yàn)原始模型 SE 修改后的損失函數(shù)。這樣你才能知道每個(gè)模塊獨(dú)立貢獻(xiàn)了多少。5.5 顯存和 batch size 不一致導(dǎo)致比較不公平加了模塊后顯存占用變高于是你把 batch size 從 32 改到 16。最后發(fā)現(xiàn)指標(biāo)下降了。你可能會(huì)認(rèn)為是模塊沒用但實(shí)際是 batch size 變了影響了 BatchNorm 的統(tǒng)計(jì)特性和訓(xùn)練穩(wěn)定性。為了避免這種情況比較時(shí)盡量保持 batch size 一致。如果顯存不夠可以降低輸入分辨率。使用梯度累積。減少訓(xùn)練圖像的裁剪尺度。不要為了塞進(jìn)新模塊而隨意縮小 batch size這會(huì)引入額外的變量。6. 從“會(huì)加模塊”到“能發(fā)論文”的四步走如果你已經(jīng)不滿足于“跑通 提點(diǎn)”而是想做出真正能發(fā)論文的工作可以參考下面四步。6.1 第一步復(fù)現(xiàn)一篇論文跑出基線選一篇近期、方法不復(fù)雜、數(shù)據(jù)公開的論文。先別管創(chuàng)新按照原文設(shè)置復(fù)現(xiàn)一次拿到一個(gè)穩(wěn)定基線。這一步的價(jià)值是讓你知道一篇論文從方法到代碼的距離有多遠(yuǎn)也讓你積累一整套實(shí)驗(yàn)工具。很多論文在 GitHub 上都有官方實(shí)現(xiàn)但官方實(shí)現(xiàn)有時(shí)不能在別的數(shù)據(jù)上直接用。你復(fù)現(xiàn)的過程其實(shí)是一次“環(huán)境適配 模型結(jié)構(gòu)理解”的訓(xùn)練。6.2 第二步找到現(xiàn)有模型的一個(gè)具體瓶頸改進(jìn)模型最可靠的方向不是憑空造一個(gè)新模塊而是找到當(dāng)前方案在具體任務(wù)上的短板。比如小目標(biāo)檢測(cè)效果差可能是淺層特征利用不夠。遮擋場(chǎng)景識(shí)別差可能要引入上下文信息。分割邊界粗糙可能是損失函數(shù)過于關(guān)注整體區(qū)域。推理速度太慢可能是模型結(jié)構(gòu)過度復(fù)雜。找到瓶頸之后再想模塊怎么設(shè)計(jì)。這樣寫論文時(shí)Intro 和 Related Work 才有邏輯我先看到什么問題再針對(duì)問題設(shè)計(jì)了什么模塊。6.3 第三步設(shè)計(jì)可解釋的小改動(dòng)新模塊不一定非要特別復(fù)雜。審稿人最怕的是復(fù)雜到很難復(fù)現(xiàn)或者改動(dòng)多個(gè)點(diǎn)卻說不清哪個(gè)有用。一個(gè)合理的改動(dòng)通常是這樣的針對(duì)現(xiàn)有模塊的某個(gè)特定局限。改動(dòng)幅度小代碼量不大。有清晰的可視化或數(shù)學(xué)解釋。能通過消融實(shí)驗(yàn)證明每個(gè)組件都必要。比如你發(fā)現(xiàn)原模型的通道注意力只用了全局平均池化丟失了空間細(xì)節(jié)你可以加入全局標(biāo)準(zhǔn)差池化把兩種統(tǒng)計(jì)量拼接起來。這個(gè)改動(dòng)很小但解釋起來很清楚我們同時(shí)建模了通道均值和離散程度讓注意力更關(guān)注判別性區(qū)域。6.4 第四步做消融實(shí)驗(yàn)與可視化消融實(shí)驗(yàn)是論文里最關(guān)鍵的實(shí)驗(yàn)設(shè)計(jì)。所謂消融就是把你新增模塊中的每個(gè)組件依次拿掉看看效果變化。舉個(gè)具體例子你提出了一個(gè)模塊包含三個(gè)設(shè)計(jì)點(diǎn)坐標(biāo)注意力。多尺度卷積。重參數(shù)化結(jié)構(gòu)。你要做的實(shí)驗(yàn)至少包括基線模型?;€ 坐標(biāo)注意力?;€ 多尺度卷積。基線 重參數(shù)化結(jié)構(gòu)。基線 全部三個(gè)設(shè)計(jì)點(diǎn)。同時(shí)最好加上可視化分析。分類任務(wù)可以畫 Grad-CAM 熱力圖檢測(cè)任務(wù)可以畫特征圖響應(yīng)分割任務(wù)可以畫預(yù)測(cè)掩碼對(duì)比??梢暬苤庇^展示模塊帶來的改變也讓審稿人更容易接受你的貢獻(xiàn)。6.5 常見反饋和修改思路論文投稿后常見意見包括創(chuàng)新點(diǎn)不夠清晰。這時(shí)要把問題定義和模塊設(shè)計(jì)的關(guān)系再突出最好在引言里加一個(gè)問題示意圖。實(shí)驗(yàn)對(duì)比不充分。需要補(bǔ)更多同類型模塊的對(duì)比比如你已經(jīng)加了 SE就最好和 CBAM、ECA、CA 對(duì)比??蓮?fù)現(xiàn)性不足。要公開代碼、隨機(jī)種子、超參數(shù)配置。計(jì)算量分析缺失。要補(bǔ)充 FLOPs、參數(shù)量、推理延遲的對(duì)比表格。這些反饋其實(shí)都指向同一個(gè)問題你不僅要會(huì)改模型還要會(huì)從工程和實(shí)驗(yàn)設(shè)計(jì)兩個(gè)維度證明改動(dòng)的價(jià)值。7. 環(huán)境配置、依賴報(bào)錯(cuò)和“本地能跑”問題模型改進(jìn)這件事很多時(shí)候卡在最基礎(chǔ)的環(huán)境層。越早把環(huán)境整理干凈后面就越省心。7.1 環(huán)境先裝一個(gè)能跑的深度學(xué)習(xí)框架我建議研究生統(tǒng)一用 conda 管理環(huán)境一方面是環(huán)境隔離另一方面是方便復(fù)現(xiàn)。基礎(chǔ)環(huán)境可以這樣建conda create -n dl python3.9 conda activate dl pip install torch torchvision pip install numpy pandas matplotlib scikit-learn tqdm tensorboard如果你做的是目標(biāo)檢測(cè)或分割大概率還需要安裝一些額外依賴比如 pyyaml、opencv-python、thop、einops。不同的項(xiàng)目依賴不同不要看到一個(gè)項(xiàng)目要求裝什么你就裝一堆最好先用 requirements.txt 安裝pip install -r requirements.txt如果該項(xiàng)目沒有 requirements.txt你可以在跑項(xiàng)目前用pipreqs生成一個(gè)但生成的依賴不一定完整最終還是要以實(shí)際運(yùn)行報(bào)錯(cuò)為準(zhǔn)。7.2 依賴版本對(duì)應(yīng)關(guān)系深度學(xué)習(xí)項(xiàng)目最怕的是 PyTorch 和 CUDA 版本不對(duì)應(yīng)。你需要知道自己的顯卡驅(qū)動(dòng)能支持哪個(gè) CUDA 版本。PyTorch 的安裝命令里指定了哪個(gè) CUDA 版本。項(xiàng)目里有沒有用到需要特定版本才能編譯的擴(kuò)展模塊。最常見的問題是RuntimeError: CUDNN_STATUS_NOT_INITIALIZED這個(gè)報(bào)錯(cuò)可能由很多原因?qū)е伦畛R姷氖秋@存不足、CUDA 版本和 cuDNN 版本不匹配、多進(jìn)程初始化問題。遇到時(shí)先不要改代碼先查顯存占用再查nvidia-smi和 PyTorch 的 CUDA 版本。7.3 報(bào)錯(cuò)處理順序一個(gè)通用順序是先看完整報(bào)錯(cuò)棧定位到項(xiàng)目代碼里的哪一行再檢查這行涉及的數(shù)據(jù)形狀、設(shè)備、類型然后再考慮依賴問題。不要一上來就重新安裝 PyTorch。很多報(bào)錯(cuò)只是輸入維度不對(duì)或類型不對(duì)。比如你把 torch.Tensor 傳給了 numpy 函數(shù)或者把 CUDA tensor 和 CPU tensor 做了運(yùn)算這些都會(huì)報(bào)錯(cuò)但都不是安裝問題。報(bào)錯(cuò)信息是最直接的第一現(xiàn)場(chǎng)。先自己讀兩遍再復(fù)制關(guān)鍵詞搜索不要直接把整屏報(bào)錯(cuò)丟到群里。7.4 內(nèi)存、顯存、磁盤、日志本地跑深度學(xué)習(xí)實(shí)驗(yàn)除了看報(bào)錯(cuò)還要關(guān)注資源占用。顯存用nvidia-smi查看顯存剩余。如果爆顯存優(yōu)先減小 batch size、降低分辨率或者使用梯度累積。內(nèi)存數(shù)據(jù)增強(qiáng)時(shí)可能大量復(fù)制數(shù)據(jù)內(nèi)存不足容易導(dǎo)致進(jìn)程直接被殺??梢栽?dataset 里減少預(yù)加載或者用num_workers調(diào)低一點(diǎn)。磁盤訓(xùn)練日志、checkpoint、tensorboard 都很占空間。建議把輸出目錄固定定期清理舊模型。日志不要只保存模型不保存曲線。用 tensorboard 或 wandb 記錄 loss、學(xué)習(xí)率、準(zhǔn)確率等方便復(fù)盤。7.5 如果沒有 GPU 怎么跑如果你只有 CPU還是可以跑模型改進(jìn)相關(guān)的基礎(chǔ)實(shí)驗(yàn)但要注意三點(diǎn)模型盡量小ResNet18、MobileNet 這類輕量網(wǎng)絡(luò)可以跑ResNet50 也能跑但速度慢。數(shù)據(jù)集先抽樣比如一開始只用 10% 訓(xùn)練集驗(yàn)證代碼邏輯。不要直接開大步數(shù)訓(xùn)練。先用 1 個(gè) epoch 驗(yàn)證流程未來有 GPU 后再跑完整實(shí)驗(yàn)。模型改進(jìn)的本質(zhì)是實(shí)驗(yàn)科學(xué)你的代碼邏輯和實(shí)驗(yàn)設(shè)計(jì)在 CPU 上就能驗(yàn)證大半。唯一的問題是訓(xùn)練時(shí)間太長(zhǎng)不適合做大規(guī)模調(diào)參。8. 總結(jié)和留給你的行動(dòng)清單這篇文章寫下來核心思路其實(shí)就一句話模型改進(jìn)不是“加模塊”這個(gè)動(dòng)作本身而是圍繞“問題定位、模塊設(shè)計(jì)、實(shí)驗(yàn)驗(yàn)證”的一整套流程。能不能提分不完全取決于模塊有多新更取決于你在什么背景下加的模塊、怎么控制變量、怎么判斷結(jié)果。如果你現(xiàn)在正準(zhǔn)備開始做模型改進(jìn)我建議你按下面的行動(dòng)清單走先把環(huán)境搭好確認(rèn) PyTorch 和 CUDA 版本。下載一個(gè)帶預(yù)訓(xùn)練權(quán)重的標(biāo)準(zhǔn)模型比如 ResNet18 或 ResNet50跑通分類任務(wù)。固定隨機(jī)種子完整訓(xùn)練一次記錄基線指標(biāo)、顯存占用和訓(xùn)練時(shí)長(zhǎng)。選擇一個(gè)小而輕的模塊比如 SE 或 ECA加到網(wǎng)絡(luò)的指定位置。單批次前向驗(yàn)證確認(rèn)形狀和參數(shù)量變化。用和基線完全相同的配置訓(xùn)練對(duì)比指標(biāo)。如果指標(biāo)提升繼續(xù)做補(bǔ)充實(shí)驗(yàn)和可視化如果沒有提升先檢查訓(xùn)練是否充分、參數(shù)是否需要重調(diào)。每次只改一個(gè)變量記錄到實(shí)驗(yàn)表格里。深度學(xué)習(xí)領(lǐng)域里真正扎實(shí)的“創(chuàng)新”往往不是靈光一現(xiàn)而是把現(xiàn)有模塊用新的方式組合、改進(jìn)并驗(yàn)證。你不需要一開始就搞一個(gè)完全沒見過的模塊先把基本功練扎實(shí)把模塊和實(shí)驗(yàn)設(shè)計(jì)理解透后面自然會(huì)找到屬于自己的改進(jìn)點(diǎn)。如果這篇文章能幫你少走一點(diǎn)彎路那這次整理就是值得的。接下來打開你的代碼環(huán)境先把基線跑起來再說。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99啪啪视频| 综合激情四射一theav| 97人人干人人操| 超碰人人91| 色五月美女| 五月婷婷六月丁香综合视频在线| 日本猛少妇色XXXXX猛叫| 色综合久| 熟妇内谢69XXXXXA片| 欧美五月丁香啪啪响视频| 狠狠色婷婷7777久| 天天摸天天舔天天爽| 9有码中文| 日本久久人| 99爱在线精品视频免费观看| 99免费偷拍视频| 色色色婷婷| 色综合久久天天综合网| 亚洲欧美在线观看| 色婷婷综合视频| 久久婷婷五月综合色丁香花| 婷婷综合色五月天| 九九碰九九爱97超| 9久热精品在线视频| 九九久久五月天综合伊人| 日韩久久系列| 九九精品综合| 色综合色欲综合天天免费| 丁香六月天婷婷色| 色情五月天丁香社区| 久草性爱| 大香蕉AV在线| 五月天婷婷在线AN| 色10月婷婷视频| 超碰人妻在线| 天天日天天干天天天| 精品综合爱| 新激情五月天天在线网| 亚洲激情电影五月天色婷婷丁香一起草| 亚洲三A| 色99热| 九九色院| 国产成人精品123区免费视频| 五月天激情啪啪| 青996青| 五月婷婷香| 久久ww| 成人无码精品1区2区3区免费看| 色小说五月婷婷| 综合久| 五月激情网五月综合网| 婷婷五月天99综合网站| 99色免费观看全部| 亚洲精品激情| 婷婷六月爽| 狠狠干.com| 激情AV在线| 久久五月综合| 久久婷婷五月综合一| 成人丁香五月天Av| 五月噜噜| 五月天婷婷六月激情网| 成人资源在线| 激情图片亚洲| 九九AV在线| 欧美色六月婷婷| 99热97美女| 久久婷婷五月天激情四射| 丁香五月激情宗合网| 国产av第一专区| 激情五月天小说网| 五月婷婷色综图片| 日韩成人电影在线播放| 少妇AB又爽又紧无码网站| 亚洲精品国产精品乱码视99| 97色婷婷| 激情婷婷在线中文字幕| 91人人人人人人人| 色噜噜狠狠色综无码久久合欧美| www.99视频| 成年人99热| 五月玖玖| 涩涩激情五月婷婷| 日本色99网站| 影音先锋91网站在线观看| 欧美在线视频免费播放| 婷婷激情五月天小说校园| 色婷婷av在线观看| 色综合久久天天综合网| 特级操b片| 五月成人网站| 色婷婷狠狠| 狠狠做婷婷| 夜夜天天天天天干天天爽| av色婷婷| 91综合色| 99人人精品| 日本色99网站| 黄色片久久| 免费黄色片子| 丁香六月婷婷开心| 久久久久久9| 狠狠色综合久久| 青青五月天婷婷| 日本WWW九九九| 九色成人AV在线| 五月婷婷综合视频| 丁香六月婷婷综合| 成人在线视频网| 99在线精品视频| 婷婷五月骚厕所| oumeisesewang| www.com.色色| 久久久久激情网| 99热草草| 国产精品A片在线| 色噜噜丁香| 99日本精品视频热| 色色色色网| 超碰成人在线观看| 九九五月天| 26UUU在线观看| 六月婷婷天天操夜夜爽视频| 色五月激情视频在线综合| 97丁香婷婷| 五月丁香六月婷婷久久| 天天综合色| 九九99免费视频| 中文久久婷婷| 超碰人人操在线| 五月丁香六月激情综合| 丁香午夜天| 丁香九月婷婷| 九九av| 天天综合 99久久婷婷| 五月丁香六月婷婷色日| 亚洲综合视频网| 日日夜夜天天| www,com,五月色色| 九九色精品| 99综合在线| 色色色色综合网| 玖玖色综合网| 超碰chaompinm| 欧美一级色| 亚洲在线综合| 久热9| www.狠狠| 色综合久久久无码中文字幕999| 香蕉97碰碰碰欧美| 丁香九月综合在线| 久99热| 色婷婷综合亚洲| 五月婷婷人人人操| 综合丁香婷婷五月天| 99亚洲综合| 色欲丁香久久| 丁婷婷五月天在线播放| 综合色情网| 精品人妻一区二区| 激情综合文学| 久9热视频在线观看| 婷婷射丁香| 久热91精品| 色情五月丁香| 色综合xx| 五月综合视频| 九九综合| 玖玖综合玖玖| 秋霞黄色一级久久| 99精品小视频| 色99色| 大香蕉220| 202丰满熟女妇大| 在线播放人妻| 国产白丝在线一区| 天天粽合合合合| 色狠狠色综合| 俺去也五月| 婷婷色色综合| 五月色婷婷影院| 国产欧美婷婷五月| 类似婷婷激情综合网站| 精品亚洲国产成AV人片传媒| 婷婷五月激情综合| 97婷婷狠狠久久综合9色| 久久久精品AV| hd五月婷婷在线| 五月久久婷婷成人网| 亭亭色色五月天| 国产欧美精品AAAAAA片| 97操碰碰无码视频| 天堂AV在线看| 五月丁香六月激情综合| 大香蕉人人网| 四虎婷婷五月天| 中文网av| 色婷婷电影网| 先锋资源婷婷| 日日撸日日操| 在线观看中文字幕| 99碰在线视频| 九九色99| 五月天大香蕉| 久久婷婷五月天激情| 日本高清久久| 色五月激情网| 伊人激情综合| 激情欧美婷婷| 思思99热| 成人AV播放| 久久九九爽| 国色天香伊人狠狠色| 97久久人人| 久久婷婷艹| 婷婷五月丁香综合亚洲| 五月婷婷在线观看黄| 国产精品人人做人人爽人人添| 黄色一极大片| AV美美午夜| 亚洲视频二区| 大香蕉狠狠爱主页| 婷婷丁香五月欧美人| 大香蕉网站,大香蕉综合| 丰滿爆乳一区二区三区| a v色婷婷| 91AV婷婷| 色欧美影院| av网站中文| 五月婷婷六月激情| 婷婷亚洲天堂| 婷婷色片| 丁香五月天成人| 九九色影视| 色婷婷五月天激情在线观看| 99久久国产综合精品五月天喷水\| 五月天激情综合网俺也去| 思思热精品在线| 四川BBB搡BBB搡多人乱亂| 五月婷婷啪啪啪| 婷婷色系婷色| 天天综合网站| 丁香六月婷婷缴情欧美| 色色五月天激情| 99九九中文字幕视频| 亚洲 六月 综合| 色综合色色| 欧美日韩成人在线网| 五月天黄色激情小说| 91久久婷婷| 色九月婷婷综合| 五月婷婷中文字幕| 丁香社92视频| 狠狠干在线| 久草婷婷在线| 天天插天天插天天插| 天天插天天插| WWW夜夜| 久久香蕉丁香| 97碰| 亚洲天天| 五月丁香六月色婷婷综合五月天| 色99色| 97久久超碰| 热99精品视频五月| 婷婷综合亚洲| 97色婷| 丁香九月久久| 天天噜噜| 一区二区中文字幕| 香蕉久久国产AV一区二区| 天天日天天狠狠操| 欧美三级巜人妻互换| 五月天色婷婷小说| 久777| 俺五月| 婷婷色影院| 日本精品在线噜噜噜| 欧美日韩999| 香蕉综合网| 99精品在线| 超碰人人在线| 色香欲综合| 色综合久久888| 丁香五月情| 色综合久久88色综合天天看| 精品久久99| 婷婷五月69| 色区久久| 婷婷色日本| 激情人妻蜜夜系列区| 日韩综合大黄| 日本97在线| 婷婷六月综合基地| 日韩欧美一级大黄网站| 99热这里是精品| 天天操天天操| 久热re在线视频| av在线免费网站| 五月丁香另类图片| 亚洲乱码日产精品BD| 五月丁香网中文字幕| 久操乱| 久色婷婷200| 日本久久人| 国产67194| 色小说婷婷五月天天天| 超级碰碰碰久久网站| 天天日日夜夜爽。| WWW.99热| 性做久久久久久久免费看| 99色热综合| 亚洲激情六月| 亚洲视频99| 五月婷婷六月爱| 五月天堂六月丁香亚州中文字幕久久| 91精品婷婷国产综合久久| 9 1超碰九色| 综合网色| 亚洲、热| 好色婷婷| 成人无码髙潮喷水A片| 五月丁香六月婷婷国产视频| 九九这里只有精品在线视频| 精品九九久久| 久色资源| 26uuu欧美日本| 色综合综合色| 丁香99| 激情綜合網址| 9这里只有精品| www.日本91| 九九色色| 中文av网站| 久久久精品视频79| 欧美在线视频9| 婷婷激情社区| 色色色.COM| 久99视频在线观看| 99热人人操人人操| 天天综合色| 99这里| 婷婷天堂站| 成人无码髙潮喷水A片| 五月婷婷六月丁香在线视频免费在线观看| 亚洲天堂AV免费片| 淫视馆AV在线| 奇米影视在线视频| 国产精品涩涩涩视频网站| 囯产精品久久欠久久久久久九大| 亚洲美女婷婷五月天| 婷婷色基地在线看| 1024国产在线| 久久99热这里只有精品| 激情久久丁香| 婷婷五点亚洲| 97深爱伊人综合| 久久婷婷东京热大香樵| 97爱艹婷婷开心丁香激情综合| 久久视频婷婷| 欧美婷婷五月天综合| 五月婷婷无码| 91视频一起草| 五月婷婷亚洲色图| 欧美色激情四射| 开心激情综合| 青青草tp| 久久久人妻门| 五月天五月色| 久久丁香五月婷婷激情综合网| 99精品97| 色欧美日| 操逼五月婷婷| 国精产品一区一区三区免费视频| www.minyis.com【JT】实力收量可预付QQ2101460746 | 综合九九久久| 夜夜嗨一区二区三区直播内容| 五月婷网| 99九九热在线观看| 99九九在线视频| 婷婷五月丁香成人| 色综合开心五月深爱五月| 丁香六月婷婷激情综合| 狠狠 久久| 中国操逼99| 五月天婷婷久久| 99熟女视频| 婷婷婷婷婷婷婷婷| 久久婷婷五月综合激情国产| 婷婷五月天成人动漫 | 丁香六月狠狠| 丁香五月网络网络| 性视频久久| 色色婷婷色色| 欲求不满的人妻| 五月婷婷香蕉| Blackedraw视频一区二区| 99久久网站| 欧美成人五月天| 婷婷丁香五月噜噜噜| 综合网色| AV伊人青草丁香六月| 国产1区2区3区| 欧美日韩成人在线网| 激情婷婷综合网| www九月婷婷| 五月婷婷丁香91| 婷婷五月天影院| 成人网址在线观看| 久久久久人妻网址| 婷婷99狠狠| 激情五月综合| 国产精产国品一二三在观看| 九色综合网| 成人无码髙潮喷水A片| 国色天香成人网| 婷婷五月天堂| 婷婷成人视频| 亚洲欧洲另类| 欧美精品XXXXBBBB| 五月婷视频| 熟女色色一区二区| 大香蕉懂9| 先锋男人91资源| 五月天丁香综合在线| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 深夜婷婷五月丁香| 天天噜天天插| 丁香婷婷人妻综合网| 成人AV在线网站| 久久这里只有精品久久| 丁香六月视频| 婷婷五月天激情基地| 五月亭亭综合五码| 五月丁香亭亭| 婷婷丁香色五月| 婷婷五月天激情四射| 免费视频WWW在线观看网站| 亚洲熟妇AV乱码在线观看| 99精品偷自拍| 99热99思午夜精品| 五月丁香色情| 性小说五月天| 丁香涩涩爱| 久久免费婷婷视频| 99色中文| 久热九九| 五月天综合色| 久久码久久无清| 成人短视频在线免费观看| 人橾人| 色婷婷色九月| 丁香婷婷免费| 婷婷五月天视频亚洲| 99超级碰碰| 91婷婷在线| 99这里有精品视频| 五月亭亭六月天| 午夜成人片400| 一本婷婷丁香久久| 伊人超碰| 99精品无码网站| 婷婷五月天第四色| 久热91精品| 日日干夜夜干| 五月婷婷精品视频| 色婷婷基地| www.人人操人人看人人想人人摸 人人人人操,COM| 五月天成人在线| 丁香五月激情网| www.五月天| 国产精品黑丝| 新久久五月天激情| 俺去也综合| 久久久免费精彩视频| 亚洲超碰青涩| 97AV在线视频| 洗浴中心操B视频| 啪啪啪综合网| 伊人超碰在线| 这里只精品| 99热免费在线| 97在线观视频免费观看| 99久久精品色老| 五月婷成人网| 五月丁香香蕉| 中文字幕婷婷在线| 婷婷五月天伊人在线| 婷婷久久综合久色| 免费视频WWW在线观看网站| 丁香五月天婷婷91| 天天开心AV色综合婷婷五月天| 亚洲综合在线播放| 欧美黑人巨大性生话| 日韩欧美一道四区中文字幕| 甈你aaaaa| 超碰在线人妻| 7777精品伊人久久久大香线蕉最新版| 五月在在观看| 六月丁香五月天| 8050一级网| 欧美色图45678| 婷婷五月激情片| 丝袜人妻| 免费操超碰| 蜘蛛女免费观看完整版高清电影| 色人久久| 久久婷婷视频| 激情玖玖综合网| 草美女在线观看视频在线播放| 亚洲成人在线综合| 欧美,日韩成人在线| ww亚洲ww在线观看| www.99热视频| 玖色色综合| 综合热无码| 久久婷婷色| 久久综合丁香| 色婷婷天堂| 欧美日韩精品一区二区三区钱| 亚洲夜五月| 日本三级韩三级99久久| 99精品人人| 色婷婷小说| 欧美色男人网站| 五月色亭丁香| 五月综合视频| 色色色色欧洲| 超碰国产在线| 色色免费网站| 超碰在线免费9| 在线播放 精品| 另类小说五月天综合| 六月婷婷五月天| 九色91视频| 婷婷五月色激情欧美激情| 婷婷操无码| 极品 少妇 内射| 亚洲va成人va成人va在线观看| 九九自拍网| 六月色婷婷| 99精品网址| www,av好吊操| 精品香蕉99久久久久网站| 激情深愛五月視頻| JAPANRCEP老熟妇乱子伦视频| 99思思在线视频| 97碰久久| 亚洲人妻av| 成片免费播放| 99久久久国产大片区| 五月婷婷六月丁香在线| 丁香婷婷综合精品六月初| 色五月丁香婷婷久草| 婷婷色六月| 久久99热这里只有精品| 2015超碰| 五月婷亚洲精品AV天堂| 日本九九九九| 五月天婷婷色| 99热日本| 日韩成人电泉AV| 精品无码99| 国成人网| 六月丁香社区| 99久久精彩视频| 99超级碰碰| 婷婷丁香97| 久久综合丁香激情五月| 六月丁香啪| 香蕉人妻AV久久久久天天| 婷婷天天综合| 大香伊人婷婷| 激情丁香五月| 99re99在线看| WWW.久久.COM| 亚洲色在线观看| 久久精品系列| 激情综合一| 国产亚洲在线观看| 色五月激情网| 天天天天天天天操| 久久免费丁香| 99在线精品视频| 色婷婷五月天成人网| 五月婷婷久久爱| 天天噜| 日本久久高清| 久久黄色片| 丁香五月天天高清在线| 秋霞AV美国| 亚洲热热视频| 思思热久久婷婷五月天| 99操免费视频| 天天操夜夜操| 日韩视频99| 97热九九| 五月天天天色| 天天干天天色天天干| Www.狠狠| 色五月婷婷网| 六月 丁香 视频| 9191avse| 97人妻超级碰碰碰碰碰| 九色无码| 深爱激情AV| 成人无码中文| 玖玖婷婷五月天| 丁香五月激情视频| 第四色激情网| 第四色色六月色综合| 99操碰| 久久久久人无码人妻| 91日视频| 国产精品天天狠天天看| 久久久久久97| 人妻尝试久久久久久久久久久久| 97久久五月丁香婷婷| 久久激情综合| 激情五月久久| 这里只有精品99www| 激情综合在线播放| 国产AV一区二区三区日韩| 天天色天天| 青青草a在线| www.精品久9| 中国丰满熟女A片免费观| 天天操婷婷| 立川无码av| 玖玖99精品视频| 精品人妻伦九区久久AAA片| 亚洲欧美999| 婷婷5月色| 97热久久五月婷婷| 万月丁香狠狠爱| 婷婷九月| 99激情视频| 我爱婷婷五月天综合88| 精品久热| 另类亚洲视频| 色色9 9| 97香蕉碰碰人妻国产欧美| 狠狠插狠狠插| 日韩小视频在线99| 九九这里只有精品在线视频| 91视频五月丁香| 色综合99无码 | 91日本在线免费| 婷色五月| 婷婷九月| 亚洲乱码w在线观看| 九九久久综合网站| 激情综合五月激情17| 久碰婷婷视频| 丁香五月天成人| 99精品网| 在线播放成人网站| 美女天天爽| 另类图片五月天婷婷| 狠狠综合久久| 日本三久久| 超碰永久在线| 丁香五月天操B| 99热这里是精品| 色爱五月天| 天天色天天| 成人性爱无码| 婷婷五月伦理| 五月欧美色色五月| 第六色在线| 五月丁香综合啪啪啪啪啪| 深夜男女福利刺激影院一区完整| 综合一区二区三区| 97碰碰碰| 激情婷婷五月少妇| 伊人大香蕉在线视频| 抽插特写| 欧美五月婷婷综合| 97日本操| 玖玖婷婷五月天毛片| 婷婷五月天国产传媒| 成人无码髙潮喷水A片| 久久xxxx| 天天做天天爱天天高潮| 丁香久久| 天天插天天干天天舔| 精品视频99看在线视频| 五月丁香少妇网| 天天操夜夜玩!| 插插五月天| 99小视频网站| 99视频| 久久久久亚洲AV成人无码电影| 碰碰91| 激情婷婷五月女| www.狠狠狠.com| 精品综合五月| 天天爽,夜夜爽| 99人妻碰碰碰久久久久视| 4399亚洲视频| 99热国产免费| 亚洲愉拍99热成人精品| www.久久久久久久久久.com| 七月激情六月婷婷综合在线播放| 久久婷婷色综合| 99久re热视频精品98| 都市激情蜜桃婷婷五月天| 丁香5月综合啪啪| 五月婷婷综合潮喷| 日本久久人| 开心五月网| 少妇人妻丰满做爰XXX| 色婷婷亚洲综合网站| 伊人九九热| 国产人妻操逼| 99热只有精品在线观看| 婷婷五月天久久| 天天操无码| 色欲一区二区三区精品A片| 免费一区二区三区| WWW99热| 婷婷丁香五月视频| 色婷婷成人五月| 九九色婷婷| 成人做爰高潮A片免费视频| www.久操| 婷婷亚洲天堂| 欧美婷婷五月| 91avse| 亚洲成av人影院| 欧美啪啪网| 99这里只有精品视频免费| 五月色精品| 婷婷中文无码| 婷婷激情五月呦呦| 五月丁香色| 欧美另类五月激情| 爆乳熟妇一区二区三区爆乳照片| 粉嫩AV久久一区二区三区| 五月亭亭色| 婷婷综合激情五月中文字幕| 怡红院视频| 99在线观看精品视频| 久久婷青青草原| 婷婷六月啪啪| 色六月视频| 九九久久精品| 91在线观看www| 色色色777| 美女五月天| 狠狠干,狠狠操| 精品亚洲日韩99欧美片| 色亭亭五月天网扯| 99久久久久久| 91九色偷拍| 婷婷成人综合| 九九在线精点品| 无码成人AAAAA毛片AI换脸| 思思99久久| 热99re| 久久综合丁香激情五月| 丁香五月婷婷久久久| 这里只有精品视频在线观看免费| 婷婷五月在线观看| 97综合视频在线| 五月色视频| 丁香五月激情网| 五月久久丁香| 99热这里只有精品亚洲| 天天操无码| 亚洲第一影院高清无码网站| 男人大jjc女人免费视频| 婷婷丁香97| 91热久久| 久久久噜噜噜久久人妻| 99原创自拍视频在线观看| 大香蕉综合| 99视频| 免费碰碰视频久| 婷婷五月 丁香六月| 亚洲综合1024| 99九精品| 九九激情视频| 丁香五月欧美婷婷综合| 精品国产人人爱人人| 色色五月天丁香| 色开心五月丁香| 99er6热在线观看精品6| www.五月天| 久久五月天婷婷视频| 爱操人妻| 99热丁香| 丁香五月成人婷婷| 69久热| 亚洲色无码| 国产性av| 亚洲激情视频网| 九九综合久久| 99综合视频在线| 97人人射| www.91久久| 99热在线精品观看| 中文AV在线观看| 天天草天天爽| 九九久久高清| 久久a热| 青青草原爱爱网| 天天爽天天草| 久久月天堂| 亚洲色综合性| 九九草草逼| 少妇人妻凹凸视频| 色色色色色色综合网| 九九亚洲小视频| 免看黄大片AA | 狠狠狠狠狠狠狠狠草| 国产精品涩涩涩视频网站| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | ss99热| 五月天色小说| 天天成人综合视频| 99久操视频| 五月婷婷欧美激情| 97干在线免费| 深爱激情综合网| 中文字幕不卡视频| 成人va在线播放| 97热久久| 黄色五月婷婷| 九九人人操| 99激情视频| sS丁香五月婷婷| 精品一二三区久久AAA片| 激情丁香久久| 8090在线影视少妇| 五月丁香六月婷婷在线播放| 色九四色| 99视频精品全部观看10| 日本黄色在线观看| 乱码操操| 97色色色色色色色| 香蕉久久av一区二区三区| www激情网| 一级韩国产精品毛| 思思热在线| 婷婷五月亚洲综合| 337p大胆噜噜噜噜噜91Av| 久一这里有精品国产| 黄色热99| 99热6色| 1024婷婷综合久久五月天| 91美女被操| 综合激情啪啪| 最新无毒无码AV| 99热6精品| 欧美激情综合色综合啪啪五月| 97天堂| 丁香五月婷婷六月婷| 一级内射毛片| 六月久久婷婷| 综合欧美五月婷婷| 欧美情色一区| 丁香婷婷五月天在线视频| 色五月成人| 日本欧美成人片AAAA| 久久久久思思热| 亚洲碰碰碰| 亚洲五月婷婷| 久久久精品人妻录| 亚欧州精品视频| 五月丁香成人网| 天天色天天色天天色天天色天天色| 五月丁香婷婷婷激情爱爱| 开心激情网五月天| 男女久久婷婷五月天| 久久精品99久久久久久久久| 五月天啪啪| 亚洲VA在线| 久久性刺激| 麻豆AV一区二区三区| 五月丁查人人| 天天日日夜夜爽| avh片在线观看| 超碰成人在线观看| 五月丁香在线精品| 五月香蕉婷婷| 公的粗大挺进了我的密道 | 婷婷五月色色| 亚洲成av人影院| 亚洲va欧美va天堂v国产综合| 九九av| 欧美日韩国产成人在线| 九九色综合九九色| 丁香五月婷婷手机| 亚洲色五月| 一本狠婷婷综合| 99爱在线免费视频| 久久黄色片| 九九热只有这里精品| 伊人影院久久网| 久久婷婷六月综合| 五月丁香色综合| 丁香五月天在线直播观看| 色丁香五月| 婷婷五月天A V| 99久久9| 五月丁香婷爱在线| 深爱丁香网| 久色88| 超碰在线caop| 91丨九色丨东北熟女| 丁香五月激情在线| 婷五月天在线草| 亚卅毛片| 欧美一级a| 日韩操人| 久久狠狠干| 五月婷婷丁香av| 可以免费观看的av网址| 欧美日韩成人高清在线| 狠狠色 综合色区| 九九精品热| 狠狠干婷婷| 丁香五月23111| 丁香五月天激情网址| 7777精品伊人久久久大香线蕉最新版| AV大片在线播放| 色情五月综合婷婷| 免费97碰碰| 亚洲另类噜噜| 激情www.98com| 7月婷婷六月丁香| 久久综合首页| 色婷大香蕉| 天堂婷婷综合| 97人妻碰碰中文无码久热丝袜| AA久久| 开心网五月色婷婷| 色久激情在线| 深爱婷婷色| 亭亭玉立国色天香| 丁香婷婷色| 色色婷婷色色| 久久玖玖99| 五月天婷婷黄色| 五月天激情网图片 - 百度| 日韩操人| 97操碰视频| 狠狠干在线| 免费一区二区三区| www久久久久久久久久久| 另类天堂| 婷婷中文字幕| 五月天啪啪啪| 综合激情五月丁香| 粉嫩av蜜桃av蜜臀av| 五月丁香综合影院| 激情五月婷婷在线观看| 色五月丁香伊人五月| 丁香色五月婷婷91桃色| 激情综合网激情五月欧美| 五婷婷六月合| 亚洲激情免费久久| www.av视频xx999.com| 99操| 女人露出p毛视频www网站| 色婷婷丁香| 日本精品99| www.超碰在线| 久久婷婷视频| 亚洲欧洲另类| 99re热精品在线视频| 色欲久久综合| 五月丁香婷婷色| 永久的网站AAAA| 久久66er久久| 乱女乱妇熟女熟妇综合网站| 99这里只有免费的精品| 日韩黄黄| 中文aV网| 五月亭亭综合五码| 99在线精品视频免费观看20| 激情内射p| 天天艹夜夜艹| 香焦网五月天| 激情综合啪啪| 狠狠干无码| 色综合色色| 少妇人妻偷人精品无码视频新浪| 高潮毛片又色又爽免费| 久久大国产香蕉| 99热免费18| 视频1区2区| 97在线/亚洲| 大香蕉婷婷| 美女丁香五月天| 26UUU亚洲欧美| 牛牛碰免费| AV性爱网| 免费黄色视频网址| 久久久久9999| www五月婷婷88导航| 91熟妇大香蕉| 夜夜躁婷婷AV| 91啪啪| 黄涩毛片| 久久人妻www| 丁香婷婷色色| 日本婷婷五月天| 久草热8精品视频在线观看| 九九无毛| 五月停停999| 无码地址| 婷婷丁香五月欧美人| 可以看的AV| 久久久999精品| 天天干天天插| 丁香五月色激情| 婷婷午夜综合| wuyuedingxiang99| 五月天婷婷视频30| 五月天天综合| 91chinese在线| 丁香五月婷婷香| 91九色 婷婷| 精品色情一区二区三区四区| 婷婷五月天婷婷| 美国十月色婷婷在线观看| 婷婷五月天开心网| 婷婷99狠狠躁天天久久久九九九| 大香蕉懂9| 久99热| 婷婷五月天论坛| 另类图片激情五月| 白人荫道BBWBBB大荫道| 涩玖玖免费视频| 天天日天天添| 国产精品成人av在线观看春天| 久青操| 成人做爰高潮A片免费视频| 9精品一区| 26UUU一区二区| 婷婷色成人| 国产67194| 综合久久五| 久久综合丁香| 婷婷五月开心中文字幕在线| 国产亚洲色婷婷久久99精品91| 9l视频自拍9l九色成人| 欧美日韩精品一区二区三区钱| 久99热| 六月婷婷久久| 久久婷婷亚洲| 色原狠狠综合| 成人小说 五月天 婷婷| 国产美女视频久| 亚洲亚洲人成综合网络| 五月丁香六月婷婷久久肏| 天天综合干| 日本系列_4页_777FP| 思思re最新视频| 久久久久久久97| 人人视频色| 免费视频99| 伊人大香蕉综合在线| 婷婷丁香五月视频| 激情综合色婷婷啪啪六月天| 高潮毛片又色又爽免费| 91丨九色丨高潮丰满日本| 伊人久久五月天| 99精品在线观看视频| 五月婷免费视频| 色五月激情综合| 97干在线| 久九九热| 日韩精品色| 人人操av| 日韩av在线免费观看| 久热只有这里精品| 五月丁香五月综合欧美| 狠狠草网| 久久精品永久免费| 久久思思热| 99婷婷国产最新视频| 99热这里只有精品最新| 欧美精品XXXXBBBB| 色爱综合网| 日本成人噜噜噜| 久久婷婷五月丁香蜜桃网| 九九99在线观看视频| 久久色五月| 天堂在线婷婷| Www.婷婷五月| 99无码| www.狠狠| 日韩啪| 婷婷丁香五月激情密臀av| 天天夜天天色天天| 国产成人精品一区二三区熟女在线| 96丁香六月婷婷蜜桃综合久久| 婷婷综合网| 熟妇天天综合| 丁香六月高清视频| 成人av免费观看| 久久五月丁香| 日本三级中国三级99| 人人操人人看97干| 久久久五月四色| 成人 在线观看国产| site:minyis.com| 天天色视频| av在线观看免费| 久久总和99| 91九色欧美| 天天爱天天做天天操| 超碰自拍天堂| 这里只有精品免费视频在线观看| 欧美色图片88| 五月丁香拍拍激情综合| 日日撸夜夜操| 99欧美| 色婷婷www| 日韩成人综合网| 另类A片| 日本高清久| 久久大香蕉同僚| 91精品综合久久婷婷九色| 色五月大| 日韩精品超碰在线观看| 婷婷五月天在线观看| 久色88| 丁香五月成人| 67194中文字幕| 国产精品色色| 五月久久网| 91丨九色丨熟女|老版| 熟女91九色| 婷婷五月激情欧美| 99热综合网| 国产精品久久..4399| 99热偷拍| 五月天婷婷无码| 很很操96| 少妇熟女视频一区二区三区| 丁香五月日啪| 欧美性生交xXxX久久久| 天天成人综合视频| 丁香五月色情av| 国产午夜一区二区三区| 色婷在线视频| 日本天堂爱爱| 日韩性视频| 天天插天天插| 五月花成人网| 丁香五月天天久久综合小说| 久热播这里只有精品| 色五月婷婷91在线| 五月天激情网站| 色综合综合色| 美日韩成人| 九九这里精品| 久久九九99.www| 色五月婷婷老师| 五月婷婷影院| 久久综合九九| 亚洲综合婷婷| 亚洲无码九九九| 久久婷婷五月天激情四射| 99免费综合网| 麻豆AV一区二区三区| 丁香五月婷婷手机| 五月天久久网站| 九九热视频精品| 天天天天天色| 9久9久9久女女女九九九一九| 99热综合| 丁香五月影院| 成人在线观看国产| 激情五月婷婷六月丁香| 九九大香蕉黄色影院| 夜夜爽天天爽| 99亚洲大片精品永久在线观看| 丁香婷婷婷婷十二月在线观看视频| 婷婷色片| 综合五月天亚洲婷婷| 色欲色欲久久宗合网| 激情丁香五月天| 亚洲色久| 午夜精品久久久久久久爽| 五月婷婷色五月| 99九九精品| 九九无码AV| 天天爱天天秀天天做| 丁香五月天偷拍| 久久涩视频| 色碰碰| 色天天久婷婷| 色色丁香五月天社区| 狠狠色综合网站久久久久| 午夜性爱影视一区77| 77777亚洲午夜久久| 玖玖婷婷五月天| 免费视频这里只有精品| 五月天天堂久久| 香蕉AV777XXX色综合一区| 丁香五月婷婷视频| 五月天婷婷一起草| 欧美六月婷婷| 99视频精品在线| 97色色在线视频| 色色色色欧洲| 丁香五月天影院| 丁香五月成人社区| 视频色色色色色色| 99热福利| 久久激情婷婷| 99自拍视频在线观看| 99久热这里只有精品| 国产亚洲色婷婷99精品| 牛牛色av| 思思热在线视频精品| 五月婷婷丁香五月天| 五月婷婷色综图片| 色激情五月| 国产在线网| 九九热AV| 99久久激情视频| 秋霞午夜理论 | 98永久精品| 亚洲亚洲人成综合网络| 久久久久亚洲AV无码网影音先锋| 六月婷婷七月丁香| 亚洲永久免费| 久久五月天丁香| 丁香五月激情综合| 99久久99久久| 夜夜做夜夜愛| 丁香六月婷婷五月天| 丁香五月丐人妻| 黄色三级毛片中字| 日韩欧美颜射| 这里只有精品免费视频| 婷婷色五月亚洲| 99热碰碰热| 五月丁香六月停停停| 日本色色网| 九色91视频| 狠狠色综合网站久久久久| 天天日,天天射,天天插| 大香蕉狼人久久| 色婷婷精| 俺去也五月| 久久九九免费视频| 五月综合激情网| 这里只有精品视频在线看| 亚洲天堂亚洲色色色| 天天肏在线观看| 日日噜噜久久婷婷五月天| 日韩色色色色| 色五月婷婷中文字幕| 女婷久久| 99热这里只有精品55| 热99精品视频| 色婷婷六月综合| 月月AV| 一区色色色色网|