欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

從零手寫ResNet18:深入解析殘差網(wǎng)絡(luò)原理與PyTorch實(shí)現(xiàn)

從零手寫ResNet18:深入解析殘差網(wǎng)絡(luò)原理與PyTorch實(shí)現(xiàn) 1. 從零手寫ResNet18為什么我不建議你直接調(diào)庫剛?cè)腴T深度學(xué)習(xí)那會(huì)兒我總覺得調(diào)包是理所當(dāng)然的事。torchvision.models.resnet18(pretrainedTrue)一行代碼就能拿到一個(gè)現(xiàn)成的殘差網(wǎng)絡(luò)何必自己費(fèi)勁去寫直到有一次我需要把ResNet18的BasicBlock改成帶注意力機(jī)制的結(jié)構(gòu)才發(fā)現(xiàn)如果連殘差塊內(nèi)部長(zhǎng)什么樣都說不清楚根本無從下手。從那次之后我就養(yǎng)成了一個(gè)習(xí)慣任何一個(gè)經(jīng)典網(wǎng)絡(luò)我都要自己手寫一遍不追求性能超越官方實(shí)現(xiàn)只求把每一層的來龍去脈搞清楚。這篇文章要聊的就是用PyTorch從零實(shí)現(xiàn)ResNet18的完整過程。不是簡(jiǎn)單地把官方代碼復(fù)制粘貼過來而是把每個(gè)設(shè)計(jì)決策背后的邏輯講透——為什么殘差塊要設(shè)計(jì)成兩層卷積而不是一層shortcut連接什么時(shí)候需要做下采樣BatchNorm放在卷積前面還是后面這些細(xì)節(jié)官方代碼不會(huì)告訴你但恰恰是面試和實(shí)際項(xiàng)目中真正拉開差距的地方。適合誰來讀如果你已經(jīng)了解卷積神經(jīng)網(wǎng)絡(luò)的基本概念知道卷積層、池化層、全連接層是干什么的但還沒有自己完整搭建過一個(gè)深層網(wǎng)絡(luò)那這篇文章就是為你準(zhǔn)備的。如果你已經(jīng)用過ResNet但說不清楚它為什么能解決退化問題這篇文章也能幫你把知識(shí)盲區(qū)補(bǔ)上。我會(huì)盡量用大白話把原理講清楚同時(shí)給出可以直接運(yùn)行的完整代碼你跟著敲一遍對(duì)殘差網(wǎng)絡(luò)的理解會(huì)上一個(gè)臺(tái)階。2. 殘差網(wǎng)絡(luò)到底解決了什么問題2.1 深層網(wǎng)絡(luò)的退化困境在ResNet出現(xiàn)之前深度學(xué)習(xí)領(lǐng)域有一個(gè)讓人困惑的現(xiàn)象網(wǎng)絡(luò)層數(shù)增加到一定程度后訓(xùn)練誤差反而上升了。注意這里說的不是過擬合導(dǎo)致的驗(yàn)證誤差上升而是訓(xùn)練集上的誤差本身就變大了。這意味著模型連訓(xùn)練數(shù)據(jù)都擬合不好顯然不是過擬合的問題。這個(gè)問題被稱為退化問題。按常理推斷一個(gè)56層的網(wǎng)絡(luò)應(yīng)該至少能表現(xiàn)得和20層網(wǎng)絡(luò)一樣好——因?yàn)槎喑鰜淼?6層哪怕什么都不做只是恒等映射也不應(yīng)該讓效果變差。但實(shí)際訓(xùn)練中讓多層非線性變換去逼近一個(gè)恒等映射難度遠(yuǎn)超想象。梯度在反向傳播過程中經(jīng)過層層衰減到了淺層幾乎消失殆盡參數(shù)更新變得極其緩慢。我做過一個(gè)簡(jiǎn)單的對(duì)比實(shí)驗(yàn)用同樣的數(shù)據(jù)集分別訓(xùn)練一個(gè)20層的普通卷積網(wǎng)絡(luò)和一個(gè)56層的普通卷積網(wǎng)絡(luò)前者訓(xùn)練loss能降到0.1以下后者在0.5左右就震蕩不降了。這不是因?yàn)?6層網(wǎng)絡(luò)容量不夠恰恰相反是優(yōu)化難度太大了。2.2 殘差學(xué)習(xí)的核心思想ResNet的解決方案非常優(yōu)雅既然讓網(wǎng)絡(luò)學(xué)習(xí)恒等映射很難那就換個(gè)思路讓網(wǎng)絡(luò)學(xué)習(xí)殘差。具體來說假設(shè)我們希望某幾層學(xué)到的映射是H(x)傳統(tǒng)做法是讓這幾層直接擬合H(x)。ResNet的做法是讓這幾層擬合F(x) H(x) - x然后最終的輸出變成F(x) x。這個(gè)改動(dòng)的精妙之處在于如果最優(yōu)的映射就是恒等映射那么網(wǎng)絡(luò)只需要把F(x)的權(quán)重全部推向零就行了這比讓一堆非線性層去逼近恒等映射容易得多。用生活化的類比來說傳統(tǒng)網(wǎng)絡(luò)像是讓你從零開始畫一幅畫而殘差網(wǎng)絡(luò)像是給你一張底稿你只需要在上面做修改。修改到什么都不改就是恒等映射這顯然更容易。從梯度傳播的角度看殘差連接提供了一條“高速公路”。反向傳播時(shí)梯度可以通過shortcut連接直接傳到淺層不需要經(jīng)過中間那些卷積層的層層衰減。這就是為什么ResNet可以訓(xùn)練到上百層甚至上千層而普通網(wǎng)絡(luò)幾十層就訓(xùn)不動(dòng)了。2.3 ResNet18的網(wǎng)絡(luò)結(jié)構(gòu)總覽ResNet18是ResNet家族中最淺的成員之一18這個(gè)數(shù)字指的是網(wǎng)絡(luò)中帶有權(quán)重的層數(shù)——包括卷積層和全連接層不包括池化層和BatchNorm層。具體來說它包含1個(gè)7x7的初始卷積層、8個(gè)BasicBlock每個(gè)Block含2個(gè)3x3卷積層共16個(gè)卷積層、以及1個(gè)全連接層加起來正好18層。整個(gè)網(wǎng)絡(luò)可以分成五個(gè)階段初始卷積階段、四個(gè)殘差階段。初始階段用一個(gè)7x7的大卷積核快速降低特征圖尺寸然后每個(gè)殘差階段由若干個(gè)BasicBlock組成特征圖的空間尺寸逐階段減半通道數(shù)逐階段翻倍。最后通過全局平均池化和全連接層輸出分類結(jié)果。這個(gè)結(jié)構(gòu)設(shè)計(jì)有幾個(gè)關(guān)鍵考量。7x7卷積核雖然參數(shù)量大但在網(wǎng)絡(luò)最前面輸入通道只有3計(jì)算量其實(shí)可控而且大感受野有助于捕捉圖像的全局信息。四個(gè)階段的通道數(shù)分別是64、128、256、512每次翻倍是為了在空間信息減少的同時(shí)增加通道容量保持信息的總體表達(dá)能力。全局平均池化替代了傳統(tǒng)的多層全連接大幅減少了參數(shù)量也降低了過擬合風(fēng)險(xiǎn)。3. 手寫ResNet18的核心組件拆解3.1 BasicBlock的設(shè)計(jì)細(xì)節(jié)BasicBlock是ResNet18的基本構(gòu)建單元結(jié)構(gòu)并不復(fù)雜但有幾個(gè)容易踩坑的地方。它的主路徑是3x3卷積 → BatchNorm → ReLU → 3x3卷積 → BatchNorm然后在輸出處與shortcut相加再過一次ReLU。第一個(gè)坑是卷積的padding。3x3卷積要保持特征圖尺寸不變padding必須設(shè)為1。這個(gè)不用死記公式是輸出尺寸 (輸入尺寸 2×padding - kernel_size) / stride 1。代入kernel_size3、stride1、padding1輸出尺寸等于輸入尺寸。如果padding設(shè)成0每經(jīng)過一個(gè)卷積特征圖就縮小2網(wǎng)絡(luò)還沒到深處就沒了。第二個(gè)坑是BatchNorm的位置。標(biāo)準(zhǔn)做法是卷積之后、ReLU之前。BatchNorm放在卷積后面可以對(duì)卷積輸出做歸一化讓數(shù)據(jù)分布更穩(wěn)定。如果放在ReLU后面被ReLU截?cái)嗟呢?fù)值部分就無法被歸一化修正了。另外BatchNorm的momentum參數(shù)默認(rèn)是0.1但在小批量訓(xùn)練時(shí)可能需要調(diào)小這個(gè)后面會(huì)細(xì)說。第三個(gè)坑是shortcut的處理。當(dāng)輸入輸出通道數(shù)相同且特征圖尺寸不變時(shí)shortcut可以直接用恒等映射。但當(dāng)通道數(shù)需要翻倍或者特征圖需要減半時(shí)shortcut必須做一個(gè)1x1卷積來匹配維度同時(shí)用stride2來同步降采樣。這個(gè)1x1卷積后面也要接BatchNorm但不需要ReLU。import torch import torch.nn as nn class BasicBlock(nn.Module): expansion 1 def __init__(self, in_channels, out_channels, stride1): super(BasicBlock, self).__init__() self.conv1 nn.Conv2d(in_channels, out_channels, kernel_size3, stridestride, padding1, biasFalse) self.bn1 nn.BatchNorm2d(out_channels) self.relu nn.ReLU(inplaceTrue) self.conv2 nn.Conv2d(out_channels, out_channels, kernel_size3, stride1, padding1, biasFalse) self.bn2 nn.BatchNorm2d(out_channels) self.shortcut nn.Sequential() if stride ! 1 or in_channels ! out_channels: self.shortcut nn.Sequential( nn.Conv2d(in_channels, out_channels, kernel_size1, stridestride, biasFalse), nn.BatchNorm2d(out_channels) ) def forward(self, x): out self.relu(self.bn1(self.conv1(x))) out self.bn2(self.conv2(out)) out self.shortcut(x) out self.relu(out) return out注意卷積層都設(shè)置了biasFalse因?yàn)楹竺婢o跟著BatchNormBatchNorm的beta參數(shù)會(huì)起到偏置的作用再加一個(gè)卷積偏置是冗余的只會(huì)浪費(fèi)參數(shù)。3.2 下采樣與通道匹配的邏輯什么時(shí)候需要給shortcut加卷積判斷條件就兩個(gè)stride不等于1或者輸入通道數(shù)不等于輸出通道數(shù)。在ResNet18中每個(gè)殘差階段的第一塊需要下采樣stride設(shè)為2同時(shí)通道數(shù)翻倍。后面的塊保持stride1、通道數(shù)不變shortcut就是純恒等映射。這里有一個(gè)細(xì)節(jié)值得展開為什么下采樣用stride2的1x1卷積而不是池化因?yàn)槌鼗僮鲿?huì)丟失信息而且池化后的特征圖與主路徑經(jīng)過stride2卷積后的特征圖在空間位置上可能對(duì)不齊。用1x1卷積配合stride2既能完成降采樣又能學(xué)習(xí)到一個(gè)線性變換來匹配通道數(shù)信息損失更小。還有一個(gè)容易忽略的點(diǎn)主路徑的第一個(gè)3x3卷積也用了stride2這樣主路徑和shortcut路徑的空間降采樣是同步的相加時(shí)特征圖尺寸才能對(duì)齊。如果主路徑降采樣了而shortcut沒降相加就會(huì)報(bào)維度錯(cuò)誤。3.3 網(wǎng)絡(luò)整體架構(gòu)的搭建有了BasicBlock搭建ResNet18就是按部就班的事了。先定義一個(gè)_make_layer方法負(fù)責(zé)堆疊指定數(shù)量的BasicBlock然后按照[2, 2, 2, 2]的配置構(gòu)建四個(gè)階段。class ResNet18(nn.Module): def __init__(self, num_classes1000): super(ResNet18, self).__init__() self.in_channels 64 self.conv1 nn.Conv2d(3, 64, kernel_size7, stride2, padding3, biasFalse) self.bn1 nn.BatchNorm2d(64) self.relu nn.ReLU(inplaceTrue) self.maxpool nn.MaxPool2d(kernel_size3, stride2, padding1) self.layer1 self._make_layer(64, 2, stride1) self.layer2 self._make_layer(128, 2, stride2) self.layer3 self._make_layer(256, 2, stride2) self.layer4 self._make_layer(512, 2, stride2) self.avgpool nn.AdaptiveAvgPool2d((1, 1)) self.fc nn.Linear(512, num_classes) def _make_layer(self, out_channels, num_blocks, stride): strides [stride] [1] * (num_blocks - 1) layers [] for s in strides: layers.append(BasicBlock(self.in_channels, out_channels, s)) self.in_channels out_channels return nn.Sequential(*layers) def forward(self, x): x self.relu(self.bn1(self.conv1(x))) x self.maxpool(x) x self.layer1(x) x self.layer2(x) x self.layer3(x) x self.layer4(x) x self.avgpool(x) x torch.flatten(x, 1) x self.fc(x) return x初始卷積的padding設(shè)為3因?yàn)閗ernel_size7、stride2代入公式(224 6 - 7) / 2 1 112正好把224x224的輸入降到112x112。接著maxpool再降一半到56x56然后四個(gè)殘差階段分別輸出56、28、14、7的空間尺寸。這個(gè)尺寸變化鏈條是固定的輸入不是224x224的話最后全局平均池化之前會(huì)得到不同的尺寸但AdaptiveAvgPool2d會(huì)自動(dòng)適配所以網(wǎng)絡(luò)對(duì)輸入尺寸有一定靈活性。4. 訓(xùn)練配置與實(shí)操全流程4.1 數(shù)據(jù)準(zhǔn)備與增強(qiáng)策略ResNet18原論文是在ImageNet上訓(xùn)練的輸入尺寸224x224。如果你用自己的數(shù)據(jù)集不一定非要縮放到224但建議至少保持128以上否則經(jīng)過五次降采樣后特征圖太小信息損失嚴(yán)重。數(shù)據(jù)增強(qiáng)方面訓(xùn)練階段我通常用隨機(jī)裁剪加隨機(jī)水平翻轉(zhuǎn)。隨機(jī)裁剪的scale范圍設(shè)在0.08到1.0之間ratio在3/4到4/3之間這是比較通用的配置。顏色抖動(dòng)可以加但強(qiáng)度不要太大否則可能破壞圖像的關(guān)鍵特征。驗(yàn)證階段只做中心裁剪或者直接resize不做隨機(jī)變換。from torchvision import transforms train_transform transforms.Compose([ transforms.RandomResizedCrop(224, scale(0.08, 1.0)), transforms.RandomHorizontalFlip(), transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_transform transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])Normalize的均值和標(biāo)準(zhǔn)差是ImageNet的統(tǒng)計(jì)值如果你在自己的數(shù)據(jù)集上訓(xùn)練建議先算一下自己數(shù)據(jù)集的均值和方差替換掉這兩個(gè)值。這個(gè)操作看起來不起眼但對(duì)訓(xùn)練穩(wěn)定性的影響不小。4.2 學(xué)習(xí)率與優(yōu)化器的選擇ResNet18的訓(xùn)練我一般用SGD加動(dòng)量momentum0.9weight_decay1e-4。學(xué)習(xí)率初始值設(shè)0.1配合余弦退火或者階梯下降。為什么不用AdamAdam在訓(xùn)練初期收斂快但在ResNet這類結(jié)構(gòu)上最終精度往往不如調(diào)好的SGD。SGD的噪聲更大反而有助于找到更平坦的極小值泛化性能更好。學(xué)習(xí)率調(diào)度我用余弦退火比較多公式是lr lr_min 0.5 × (lr_max - lr_min) × (1 cos(π × epoch / total_epochs))。這個(gè)調(diào)度方式在訓(xùn)練后期學(xué)習(xí)率下降得很平滑不會(huì)像階梯下降那樣突然跳變導(dǎo)致loss震蕩。optimizer torch.optim.SGD(model.parameters(), lr0.1, momentum0.9, weight_decay1e-4) scheduler torch.optim.lr_scheduler.CosineAnnealingLR( optimizer, T_max200, eta_min1e-6)Batch size方面如果有條件用大batch比如256或512訓(xùn)練會(huì)更穩(wěn)定。但大batch通常需要配合更大的學(xué)習(xí)率有一個(gè)經(jīng)驗(yàn)公式是lr 0.1 × batch_size / 256。如果顯存不夠只能用32或64的小batch學(xué)習(xí)率要相應(yīng)調(diào)小同時(shí)BatchNorm的momentum可以適當(dāng)調(diào)低到0.01讓統(tǒng)計(jì)量更新更平滑。4.3 訓(xùn)練循環(huán)與關(guān)鍵監(jiān)控指標(biāo)訓(xùn)練循環(huán)本身不復(fù)雜但有幾個(gè)監(jiān)控指標(biāo)必須盯著。第一個(gè)是訓(xùn)練loss和驗(yàn)證loss的走勢(shì)如果訓(xùn)練loss持續(xù)下降但驗(yàn)證loss開始上升說明過擬合了需要加正則化或者早停。第二個(gè)是學(xué)習(xí)率的變化曲線確保調(diào)度器按預(yù)期工作。第三個(gè)是梯度范數(shù)如果梯度范數(shù)突然變得很大可能是遇到了梯度爆炸需要檢查數(shù)據(jù)中是否有異常樣本。def train_one_epoch(model, dataloader, criterion, optimizer, device): model.train() running_loss 0.0 correct 0 total 0 for inputs, labels in dataloader: inputs, labels inputs.to(device), labels.to(device) optimizer.zero_grad() outputs model(inputs) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() * inputs.size(0) _, predicted outputs.max(1) total labels.size(0) correct predicted.eq(labels).sum().item() epoch_loss running_loss / total epoch_acc correct / total return epoch_loss, epoch_acc驗(yàn)證階段記得加torch.no_grad()不然會(huì)白白消耗顯存。另外如果用了BatchNorm驗(yàn)證時(shí)的batch size不能太小至少要有8以上否則統(tǒng)計(jì)量估計(jì)不準(zhǔn)驗(yàn)證精度會(huì)異常偏低。這個(gè)問題我踩過坑當(dāng)時(shí)驗(yàn)證集batch size設(shè)成1結(jié)果驗(yàn)證精度比訓(xùn)練精度低了十幾個(gè)百分點(diǎn)排查了半天才發(fā)現(xiàn)是BatchNorm的鍋。4.4 模型保存與恢復(fù)訓(xùn)練保存模型時(shí)我習(xí)慣同時(shí)保存模型參數(shù)、優(yōu)化器狀態(tài)、當(dāng)前epoch和學(xué)習(xí)率。這樣萬一訓(xùn)練中斷可以無縫恢復(fù)不用從頭再來。只保存state_dict而不是整個(gè)模型對(duì)象是因?yàn)閟tate_dict更輕量也不依賴具體的類定義。checkpoint { epoch: epoch, model_state_dict: model.state_dict(), optimizer_state_dict: optimizer.state_dict(), scheduler_state_dict: scheduler.state_dict(), best_acc: best_acc } torch.save(checkpoint, fresnet18_epoch{epoch}.pth)恢復(fù)訓(xùn)練時(shí)先創(chuàng)建模型和優(yōu)化器實(shí)例再加載state_dict。注意scheduler的狀態(tài)也要恢復(fù)否則學(xué)習(xí)率會(huì)從頭開始影響訓(xùn)練連續(xù)性。5. 常見問題與排查技巧實(shí)錄5.1 訓(xùn)練不收斂的排查思路訓(xùn)練不收斂是新手最常遇到的問題表現(xiàn)是loss居高不下或者震蕩劇烈。排查順序我一般是這樣先檢查數(shù)據(jù)標(biāo)簽有沒有對(duì)錯(cuò)這個(gè)聽起來很蠢但確實(shí)經(jīng)常發(fā)生然后看學(xué)習(xí)率是不是太大了把學(xué)習(xí)率縮小10倍試試再檢查BatchNorm的momentum和batch size是否匹配最后看權(quán)重初始化有沒有問題。ResNet的權(quán)重初始化PyTorch默認(rèn)用Kaiming初始化對(duì)ReLU激活函數(shù)是合適的。但如果你自己改了激活函數(shù)比如換成GELU初始化方式也要相應(yīng)調(diào)整。另外shortcut上的1x1卷積如果初始化不當(dāng)可能導(dǎo)致殘差分支的輸出過大或過小影響訓(xùn)練穩(wěn)定性。5.2 顯存不足的優(yōu)化手段ResNet18本身參數(shù)量不大大概1100萬左右但訓(xùn)練時(shí)的顯存占用主要來自中間激活值。如果顯存不夠有幾個(gè)立竿見影的手段減小batch size、用混合精度訓(xùn)練、用梯度累積模擬大batch。混合精度訓(xùn)練在PyTorch里用torch.cuda.amp就能實(shí)現(xiàn)代碼改動(dòng)很小顯存占用能降低30%到50%訓(xùn)練速度也能提升。但要注意混合精度下BatchNorm的統(tǒng)計(jì)量可能不夠精確如果發(fā)現(xiàn)精度下降可以把BatchNorm層強(qiáng)制轉(zhuǎn)回float32。from torch.cuda.amp import autocast, GradScaler scaler GradScaler() for inputs, labels in dataloader: optimizer.zero_grad() with autocast(): outputs model(inputs) loss criterion(outputs, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()梯度累積的思路是多次前向傳播后再統(tǒng)一更新參數(shù)相當(dāng)于變相增大了batch size。比如實(shí)際batch size是32累積4次就等效于128。但要注意BatchNorm的統(tǒng)計(jì)量是按實(shí)際batch size算的梯度累積不能改變這一點(diǎn)所以如果BatchNorm效果不好梯度累積解決不了根本問題。5.3 過擬合的應(yīng)對(duì)策略ResNet18在小型數(shù)據(jù)集上很容易過擬合訓(xùn)練精度沖到99%但驗(yàn)證精度卡在70%上不去。應(yīng)對(duì)手段按優(yōu)先級(jí)排數(shù)據(jù)增強(qiáng)、權(quán)重衰減、Dropout、早停。數(shù)據(jù)增強(qiáng)是最有效的尤其是隨機(jī)裁剪和顏色抖動(dòng)能顯著增加數(shù)據(jù)的多樣性。權(quán)重衰減我一般設(shè)1e-4如果過擬合嚴(yán)重可以加到5e-4。Dropout在ResNet里通常加在全連接層之前但原論文其實(shí)沒怎么用Dropout因?yàn)锽atchNorm本身就有正則化效果。如果加了Dropout發(fā)現(xiàn)訓(xùn)練變慢可以試試把Dropout率從0.5降到0.3。早停是最簡(jiǎn)單粗暴的驗(yàn)證loss連續(xù)10個(gè)epoch不下降就停。但早停需要你有獨(dú)立的驗(yàn)證集而且驗(yàn)證集的分布要和測(cè)試集一致否則可能停早了或停晚了。5.4 遷移學(xué)習(xí)的正確打開方式用自己的數(shù)據(jù)集訓(xùn)練ResNet18時(shí)從零開始往往不如用預(yù)訓(xùn)練權(quán)重微調(diào)。微調(diào)有兩種策略只訓(xùn)練最后的全連接層或者全部層都微調(diào)但用較小的學(xué)習(xí)率。只訓(xùn)練全連接層適合數(shù)據(jù)集很小幾千張以內(nèi)且和ImageNet分布接近的情況。全部微調(diào)適合數(shù)據(jù)集較大幾萬張以上或者和ImageNet差異較大的情況。全部微調(diào)時(shí)前面的層學(xué)習(xí)率要設(shè)小一些后面的層可以大一些因?yàn)闇\層學(xué)的是通用特征不需要大改。model ResNet18(num_classes10) pretrained_dict torch.load(resnet18_pretrained.pth) model_dict model.state_dict() pretrained_dict {k: v for k, v in pretrained_dict.items() if k in model_dict and fc not in k} model_dict.update(pretrained_dict) model.load_state_dict(model_dict) for param in model.parameters(): param.requires_grad True optimizer torch.optim.SGD([ {params: model.conv1.parameters(), lr: 0.001}, {params: model.layer1.parameters(), lr: 0.001}, {params: model.layer2.parameters(), lr: 0.005}, {params: model.layer3.parameters(), lr: 0.01}, {params: model.layer4.parameters(), lr: 0.01}, {params: model.fc.parameters(), lr: 0.05} ], momentum0.9, weight_decay1e-4)這種分層學(xué)習(xí)率的設(shè)置核心邏輯是淺層特征更通用不需要大改深層特征更任務(wù)相關(guān)需要更大調(diào)整。實(shí)測(cè)下來分層學(xué)習(xí)率比統(tǒng)一學(xué)習(xí)率能提升2到3個(gè)百分點(diǎn)的精度。5.5 常見問題速查表問題現(xiàn)象可能原因排查方法解決方案訓(xùn)練loss不下降學(xué)習(xí)率過大或過小打印每層梯度范數(shù)調(diào)整學(xué)習(xí)率加warmup驗(yàn)證精度遠(yuǎn)低于訓(xùn)練精度過擬合對(duì)比訓(xùn)練驗(yàn)證loss曲線加數(shù)據(jù)增強(qiáng)、權(quán)重衰減、早停驗(yàn)證精度異常低BatchNorm統(tǒng)計(jì)量不準(zhǔn)檢查驗(yàn)證batch size增大驗(yàn)證batch size顯存溢出batch size過大打印顯存占用減小batch size或混合精度梯度爆炸學(xué)習(xí)率過大或數(shù)據(jù)異常監(jiān)控梯度范數(shù)梯度裁剪、降低學(xué)習(xí)率訓(xùn)練速度慢數(shù)據(jù)加載瓶頸檢查GPU利用率增加num_workers、預(yù)取數(shù)據(jù)精度比官方低很多預(yù)處理不一致對(duì)比官方預(yù)處理流程統(tǒng)一Normalize參數(shù)和輸入尺寸6. 從ResNet18延伸出去的幾個(gè)方向ResNet18雖然結(jié)構(gòu)簡(jiǎn)單但它是理解更復(fù)雜網(wǎng)絡(luò)的基石。搞懂了BasicBlock再去看BottleneckBlock就很容易了——無非是把兩個(gè)3x3卷積換成了1x1、3x3、1x1的瓶頸結(jié)構(gòu)目的是在更深的網(wǎng)絡(luò)里減少計(jì)算量。ResNet50、ResNet101用的都是BottleneckBlock。另一個(gè)方向是把殘差連接的思想用到其他任務(wù)上。比如目標(biāo)檢測(cè)里的FPN特征金字塔的橫向連接本質(zhì)上也是一種殘差式的信息融合。再比如Transformer里的殘差連接雖然結(jié)構(gòu)不同但核心思想是一致的給梯度提供一條直接通路讓深層網(wǎng)絡(luò)更容易訓(xùn)練。如果你想進(jìn)一步提升ResNet18的性能可以試試這幾個(gè)改動(dòng)把ReLU換成GELU或SiLU在殘差塊里加入SE注意力模塊或者用GroupNorm替代BatchNorm來適應(yīng)小batch訓(xùn)練。這些改動(dòng)我都試過SE模塊帶來的提升最明顯大概能漲1到2個(gè)百分點(diǎn)但參數(shù)量和計(jì)算量也會(huì)相應(yīng)增加。最后分享一個(gè)我調(diào)試網(wǎng)絡(luò)時(shí)的小習(xí)慣每次改完結(jié)構(gòu)先在一個(gè)很小的子集上跑幾個(gè)epoch確認(rèn)loss能正常下降、梯度沒有異常再放到全量數(shù)據(jù)上訓(xùn)練。這個(gè)習(xí)慣幫我省了很多時(shí)間避免在錯(cuò)誤的結(jié)構(gòu)上浪費(fèi)算力。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
内射丰满人妻| 激情色情五月天| 五月天 综合 在线| 色色网站免费观看| 成人va视频| 五月丁香在线观看| 国产67194| 开心激情五月天网| 日操夜操天天操不卡| 一区操| 97在线/日本| 久久综合五月天| 五月综合视频| 婷婷五月综激情| 99在线视频观看| 狠狠色噜噜色狠狠狠综合色 | www婷婷色情网| 互月天综合| 五月天激情Av| 伊人久久大香蕉网| 中文字幕日产A片在线看| 五月丁香亭亭电影久久| 五月丁香综合激情网| 九九熱最新視頻| 九九热99精品| 99色热视频| 丁香五月色情| www一起操| 五月天色导航婷婷资源婷婷| 99热这里只有精品在线观看| 婷婷久久五月| 99色五月| 色狠狠色噜噜噜a天堂一区| 九九热精品6| 久久a热| 亚洲人妻AV| 日本操天堂| 激情骚五月| 大香蕉久久伊人婷婷五月丁香| 欧洲婷婷五月天| 999影院成人在线影院| 免费婷婷| 91精品久| 天天色综合色| 九九九九国产| 丁香六月婷婷社区| 久久99久久99精品免视看婷婷| 亚洲最大激情无码| 亚洲午夜AV| 五月天婷婷丁香人人操91| 婷婷五月天Av| 亚洲日日操| 国产精品大香蕉| 91丨九色丨国产| 中文字幕在线日亚州9| 狠狠色丁香婷婷基地| 日韩色色视频www| 97资源碰碰| 国产精品久久久久久久久久免费| 色五月琪琪| 五月丁香花激情综合网| 国产精品久久欧美久久一区| 9久热视频| 日日噜狠狠| 情久久综合五月天| 超碰天堂网| 草草操操| 激情综合色图| 99久久精品亚洲综合| 另类婷婷丁香| 91超级碰| 五月丁香花视频| 五月婷婷激情中心| 亚洲成人网站在线观看| 五月婷在线| 五月天播播| AV九九| 影音先锋男人资源站一区二区 | 婷婷99| 性爱技巧五月| 五月天色网站| 日本V在线观看不卡视频网站| 97操碰视频| 亚洲热久久| 久久激情五月| 色婷婷WWW| 五月天伊人综合| 久久六月婷婷| 丁香欧美| 国产AV一区二区三区日韩| 久久婷婷五月综合成人d啪| 婷婷五月天亚洲天堂| 91日韩在线| 五月伊人婷婷999| 日本高清久久| 99久久这里只有精品| 亚洲激情Av| www.五月天婷婷姐姐| 99这里只有精品|v| 色爱综合网| 5五月综合网亚洲| 婷婷黄色网| 婷婷五月天人妻| www.夜夜| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 天天干天天干天天干天天干天天干| 91碰碰碰| 综合激情五月丁香| 麻豆AV一区二区三区| 噜噜色天天开心| 色婷婷a v| 亚洲4区国产欧美| WWW.色婷婷.COM| 9l视频自拍9l九色成人| 色综合xx| 精品人妻伦九区久久AAA片| 久久狠狠高潮亚洲精品 天天摸夜夜摸夜夜狠狠摸| 日日干天天爽| 日本九九网| 视色综合| 秋霞少妇毛片| 丁香激情四射| 激情五月综合| 欧美交换配乱吟粗大25P| www久| 99视频久久| 亚洲综合久| 嫩草视频在线观看| 99热综合| 天天色情站| 综合五月亭亭9| 538在线精品| 99久久亚洲精品视频| 国产成人+综合亚洲+天堂| 9精品在线| 成人片在线播放| 丁香五月婷婷啪啪啪| 综合色99| 激情亚洲五月| 伊人久久丁香狠狠婷婷综合香蕉 | 大香蕉狼人久久| 亚洲综合五月天| 91丨九色丨熟女| 五月天婷婷在线播放| 久久99免费视频网站| 亚州操人在线视频| 五月色婷| 日日躁夜夜躁狠狠久久AV| 久久人妻情侣| 五月婷婷色啪| 欧美婷婷丁香五月社区| 大香蕉五月丁香| 操97| 激情五月婷婷伊人| 激情久久婷婷| 99爱视频在线观看| 婷婷丁香久久五月综合| 九月婷婷激情久久| 狠狠爱综合网| 99热只有精品综合| 淫五月停停| 婷婷五月激情视频在线| 国产67194| 午夜婷婷| 婷婷.com| 久久久婷丁香五月天激情综合| 亚洲六月婷婷| 天堂婷婷丁香六月网| 激情五月天色色色| 小视频久久久aaa| 久久视频这里都是精品| 五月天激情日色在线| 991精品在线视频| 久久视频66| 国产69久久久欧美黑人A片| 综合狠狠伊人| 丁香六月综合激| 色婷婷av在线观看| 欧美久久婷婷| 99精品热| 51精品国自产在线| 婷婷丁香97| 99re思思精品视频在线观看| Blackedraw视频一区二区| 五月婷婷婷婷网| 美女激情综合| 日韩人妻AV在线| 快色t v在线入口| 九月丁香网婷婷| 五月丁香亭亭| 五月丁六月香av| 久热久操久热久草国产91| 色五月丁香婷婷在线观看| 日韩啪啪网| 啪啪日热| 婷婷婷婷色| 五月婷婷之六月丁香| 天天透天天干| 亚洲V国产V欧美V久久久久久| 99r这里| 性热视频99精品| 香蕉AV福利精品导航| 日本色爽| 99爱免费在线观看| 婷婷人妻激情| 影音先锋91网站在线观看| 97干视频| 人人射人人高潮| 91在线看免费 九九九九| 五月天狠狠| 狠狠干综合网| 思思热精品免费视频| 99操网站| 91色久| 婷婷五月天激情诱惑| 久青青久| 婷婷五月天丁香成人社区| 色婷婷电影网| 九九色精品| 丁香五月五月婷婷五月天激情四射| 99久久精彩视频| 伊人婷婷五月天| 五月亭亭直播| 丁香五月天啪啪激情综和网| 九九精品视频免费在线| 狼人狠狠操| 亚洲乱码日产精品BD| www.久热| 色婷婷基地| 色五月婷色彩免播放器| 九九九九九九毛片| 久久激情四射| 1024操逼| 另类视频五月天| 五月天激情图片| 99亚洲大片精品永久在线观看 | 婷婷第一页| 亚洲蜜桃精久久久久久久久久久久 | 月色色综合婷婷网| 男人的天堂99| 婷婷字幕在线| 翔田千里 50岁 无码| 久久婷婷五月综合色和| 天天综合天天玩夜夜玩天天玩夜夜玩| 久久这里只有国产| 久99| 色婷婷19| 色综合播放| 色五月大香蕉| 色五月天婷婷| 精品久久艹| 97色色色| 欧美Va婷色| 亚洲另类噜噜| 天天干天天叉| 亚洲狠狠狠| 亚洲激情视频网| 97丁香五月| 色婷婷丁香AV综合| 天堂久久精品| 五月丁香六月香香蕉| 婷婷娌伦网| 九九热在线视频观看| 天天碰天天插天天操| 久热这里只有精品在线观看| 久久久er热| 婷婷五月天AV网| www狠狠爱com| 丁香激情五月少妇| 丁香婷婷综合激情五月色| 婷婷94s| 婷婷五月天天| 91在线看片| av在线播放网站| 人妻丰满精品一区二区A片| 五月丁香六月婷婷网| 久久9精品视频| 欧美婷婷综合| 91超级碰在线视频| 婷婷五月av| 久九色| 六月色婷婷| 99免费在线视频| 97干综合网| 亚洲va欧美va天堂v国产综合| 亚洲综合丁香五月天| 思思热在线播放| 九九热这里只有国产精品| 六月丁香激情最新更新| 99热99精品在线观看| 五月天婷婷久色| 婷婷黄色五月天在线视频| 精品网站99| 亚洲婷婷视频| 婷婷开心青青草| 人妻久久久久久久久| 91操色| 狠狠色丁婷婷日日,伊人激情综合网| 色婷婷欧美在线| WWW夜夜| 色丁香综合影院| 五月婷深深爱激情网| 色婷婷九月综合| 亚洲色 视频| 天天久| 五月天久久网站| 日本精品99网站| 五月婷婷成人| 天天日中文| 三日本无码| 综合精品99| 色99热| 国产精品久久久99视频| 只有久久精品免费| 丁香五月人妻| 婷婷爱五月| AA片在线观看视频在线播放| 九九九九无码| 婷婷丁香五月天综合AV| 99ri在线视频| 人人干AV| 美女网黄| 97高清国语自产拍| 十区av| 九九亚洲无码| 亚洲五月婷婷在线| 日日日日日| 激情五月五月婷婷| 九九久久9 9在线观看| 五月婷婷丁香五月| AV在线观看网站| 丁香六月婷婷久久综合| 五月丁香怕怕综合| 开心五月深爱婷婷| 99re热视频这里只精品| 无码激情AAAAA片-区区| 好叼操在线观看| 888久久久| 天天日天天做天天舔 | 色五XX| 五月婷婷亚洲色图| 好吊兆人妻| 99精品国产乱码久久久人妻| 婷婷五月永远18免费久久久| 色碰碰视频| 狠狠va| 华人在线免费| 在线播放成人网站| 久久精99| 色激情综合狠狠婷婷| 大香蕉久热| 欧美亚洲婷婷五月| 丁香美女主播视频在线观看| 深爱激情久久| 婷婷亚洲色| 色婷青青| 婷婷色激情网| 五月天婷婷社区| 激情色色| 九九激情视频| 天天摸日日舔狠狠添婷婷婷| 丁香五月电影| 久久青青日本视频| 无码人妻一区二区三区四区| 久久婷婷五月天懂色| 九九久久玖玖爱| 欧美性二区| 色婷婷视频在线| 操人91| 婷婷碰碰| 五月婷伊人| 区美毛片子| 激情涩播| 色综合久久五月| 亚洲婷婷欧美婷婷| 日B日潘金莲BB| www99热| 五月婷婷69| 久热无码| 琪琪色热色色| 五月婷婷免费视频| 夜夜 操无码| 一本大道熟女人妻中文字幕在线| 婷婷久热| 色五月婷婷一二| 国产AV一区二区三区最新精品| 99精品在线观看视频| 狠狠插日日干撸| 狠狠色综合网| 欧美色久| 色色A| 婷婷五月丁香五月基地| 国产成人VA| 91操片| 久久久久久久久久婷婷| 这里只有精品在线看| AV色婷婷| A1片久久| 天天天综合网| 极品人妻VIDEOSSS人妻| 99精品久久久久久久婷婷| 伊人AV五月婷| 五月综合激情啪啪啪啪啪| 超碰操网| www.五月.com| 日逼影音先锋AV男人资源站| 久久99美女精彩视频| 五月丁香在线| 久一这里有精品国产| 久久综合婷婷| 成人短视频在线观看| 丁香六月婷婷色播| 2015WWW永久免费观看播放| www.五月瑟| 国产性av| 人妻乱码久久久| 婷色五月| 伊人干综合| 久色视频| 老妇操B| 色婷婷五月天视频网站| 人人干人人操外国| 成人丁香五月| 性色综合网| 五月成人综合| 五月天激情日色在线| 天天日天天做天天操| 六月丁香五月婷婷| 激情综合五月激情XXXX| 这里只有精品视频99| 综激情网| 大香蕉九九| 亚洲午夜一区二区| 强伦轩人妻一区二区电影| 天天色99| 97干欧美| 天天激情5月天亚洲| 久久精品4| 啊v视频在线观看| 日韩久久视频| 日本人人草草| 久月婷婷| 久久综合激情五月天| 日韩av在线电影| 五月婷性爱| 婷婷五月天成人小说| 丁香五月97视频| 色五月丁香伊人| 超爽内射| 婷婷九月在线| 91碰碰碰| 99久久国产宗和精品1上映| 人妻久久久久久久久妻久久久久| 国产日韩欧美性爱| 玖操97| 超级碰碰97在线| 天天爽夜夜爽夜爽精品| 日韩有码久久| 久久丁香五月天| 美女天天久久| 1024国产在线| 婷婷爱五月天| 97热久久| 99热这里是精品| 国产成人av在线播放| 久久九九色| 丁香婷婷射| 国产干逼片| 天天爽天天| 婷婷五月综合社区| 五月综合色| 狠狠另类视频| 亚洲欧洲美女在线观| 第四色婷婷色五月| 久久天堂婷婷五月| 超碰人妻在线| 色插综合网| 五月婷婷av在线| 激情五月天在线免费美女视频| 99碰碰视频| 五月婷丁香| 99热99精品在线观看| 九九九九中文字幕| 色吧五月婷婷| 婷婷五月天资源| 免费在线a| 五月婷婷色| 色综合久久88色综合中文字幕| 婷婷狠狠爱| 热99精品视频五月| 五月婷婷,六月激情| 婷婷激情综合色五月久久91| 天堂中文国产| 婷婷开心青青草| 波多野结衣不卡AV| 婷婷色系婷色| 无语停婷丁香网| 青青草成人网| 五月天婷婷激情网| www.色欲丁香婷婷| 丁香五月播播| 久久中文网| 亚洲激情婷婷| 久久人妻人人| 久久婷婷七月丁香| 五月六月激情婷婷| 亚洲五月婷婷| 亚洲国产网址| 婷婷中文字暮| www.色婷婷| 国产黄色av| 亚洲综合丁香五月| 999久久久国产精品| www夜夜操| 五月天色色色网| 色综合久久天天综合网| 激情五月婷婷| 六月丁香激情综合网| 色五月天激情| 人人做人人看人人摸| 日本天堂免费99| 欧美激情性做爰免费视频| 激情婷婷在线中文字幕| 色色免费网战视频| 婷婷视频网| 欧美色色色色色色| 五月丁香婷婷激情澎湃四射| 成人在线99| 激情黄色小说色五月| 国产无套精品一区二区| 激情丁香五月| 深爱激情九九五月天| WWW,五月| 丁香婷婷浪潮AV久久综合| 色噜噜狠狠色综无码久久合欧美| 久久精品天| 亚洲欧美国产高清vA在线播放| www.色婷婷.com| 色五月丁香五月激情五月激情| 婷婷精品在线| 色五月婷婷中文字幕在线观看| 婷婷丁香五月激情密臀av| 91五月天| 久久婷婷成人视频| 婷婷五月在线视频| 婷婷一本和五月丁香| 久机视频这只有精品| 五月婷啪| 超碰人人艹| 久热中文字幕| 久久精品一区二区三区四区| 五月婷婷五月天激情视频| 国产毛片精品一区二区色欲黄A片 极品人妻VIDEOSSS人妻 | 丁香五月手机在线| 67194中文字幕| 六月综合婷婷开心伊人| 婷婷五月综合久久中文字幕| 五月丁香做爱视频| 9九九久久精品无码专区| 激情五月天免费视频| 色久综合| 五月色丁香综合| 五月激情四射网站| 丁香婷婷五月基地| 婷婷狠狠操| 久久婷色| 成年人99热| 成人精品免费在线观看| Va另类视频| 欧美人人超级碰| 亚洲成人一区| 婷婷丁香五月亚洲免费| 色婷在线视频| 色综合久久天天综合网| 五月婷婷激情网| 天天综合图片| 婷婷香蕉视频| 国产人妻人伦精品一区二区| 就99这里只有精品| 久久婷青青草原| 九九大香视频| 日韩色色色色色| 一区二区aV电影免费看| 亚洲激情综| 久久久五月四色| 色99在线| 九一娱乐在线观看视频| 丁香激情网| 天天爱综合网| 色噜噜狠狠色综合日日免费| 久久六月天| 天天操天天干天天日| VA婷婷亚洲| 九九人人自拍| 激情九月婷婷九月| www.久久综合| 色婷婷色五月丁香| 久久婷婷五月丁香网| www.久久| 日日爱激情| 五月天开心激情网色欲无码| 激情五月天啪啪| 天天干天天av天天射| 高清无码网址| 婷婷五月天性色| 成年人丁香五月| 婷婷六月中文字幕| 超碰cap| 日本三级日本三级99| 99热e| 蜜臀av粉嫩av懂色av| 麻豆五月丁香婷婷| 色五月aV| 色婷婷在线综合色播网| 日本色频| 99国产小视频2013| 99激情网| 【乱子伦】黄色| 天天日天天干天天操| 天天干com| 精品一二三区视频立| 激情综合五月激情17| 同性gv国产精品一区二区| 性色做爰片在线观看WW| 俺去也婷婷| 激情五月天婷婷| 九九综合久久| 久久婷婷亚洲| 亚洲色色色色| 99爱免费在线视频| 五月色欧美| 伊人五月人妻精品| 婷婷天堂站| 99爱视频在线| 色五月AV| 亚洲激情网| 色五月综合在线| 丁香五月婷婷网| 激情五月婷婷在线区| 色综合开心五月深爱五月| 天天撸夜夜爽| 婷婷射图五月天| WWW五月天| 五月婷婷激清网| 色插综合网| 思思热在线播放| 深爱激情丁香五月| 亚洲精品无码久久| 99热在线播放| 亚洲欧洲中文日韩久久AV乱码| 五月婷色| 欧美日韩国产一区二区| 成人丁香色| 另类激情五月| 五月婷婷无码专区| 天天看夜夜看| 日日干天天射| 99网| 久久久久视剧HD| 五月婷婷色播| 亚洲色色色色| 亚洲狠狠干| 丁香五月天激情综合| 国产成人网| 久草丁香婷婷五月天婷| 亚洲激情无码久久| 丁香五月天激情视频| 玖玖爱资源站| 五月丁香婷婷综合| 秋霞av吧| www.久久9| 狠狠色丁香五月婷巨| 高清激情av在线观看| 丁香五月婷婷色综合基地| 久久最新色| 99这里| 91大操| 国产日批视频免费播放| 丁香五月冃欧美| 久久92| 97人人操人人操人人操人人| 久久er+| 丁香大香蕉| 激情五月婷婷| 五月婷婷伊| 久久婷婷五月天激情新地址| 丁香六月亚洲综合| 99热精品在线播放| 久久久久久9热不雅视频| 激情av| 五月丁香五月激情综合色综合| 日韩AV大全| 色婷婷五月综合| 国产精品久久..4399| 久久er九九| 五月天成人在线播放| 少妇被躁爽到高潮无码文| 五月婷婷啪啪网| 天天在线XXX| 五月综合激情婷婷六月色窝| www.com在线操视频免费观看| 久久Xx| 五月激情基地| 免费看欧美成人A片无码| 丁香久久九九99| 五月婷婷综合精品| 超碰cap| 精品久久人妻热| 九九热99免费视频| 草了bav视频在线观看| 91色综合| 亚洲操操操| 99视频在线啪| 啪啪色区| 丁香五月婷婷高清| 极品 少妇 内射| 丁香色五月 97干| 婷婷亚洲久久| 日本高清综合网五月丁香| 五月天色站| 爱婷婷久久视频| 成人无码精品1区2区3区免费看| 久色成人| 99操99| 天天舔天天插天天爱| 超碰99在线观看| 综合网色| 色五月综合资源推荐| 久久亭亭电影| 色五月婷婷五月天激情综合| 婷婷色情 | 久久与婷婷| 2025天天日爽| 青青热视频| www,色综合| www,五月丁,com| 97成人丁香| 久久99精品久久久久久噜噜| 9久精品视频| 五月婷婷另类| 99久久喉9| 亚洲婷婷91丁香| 综合激情网五月激情| 麻豆忘忧草午夜| 九九AV在线| 久久A热| 久人人操| 婷婷丁香在线| 99免费视频网| 大香蕉人妻| ai97re99一本| 99自拍视频在线观看| 狠狠操.COM| 996er热| 精品二区| 色热久| 五月天停停基地| 91超碰人人操| 中文字幕不卡网站| 婷婷五月丁香啪啪| 人人干Av| 九九精品网站| 日韩成人综合| www.激情| 九九在线精点品| 色婷婷丁香五月天激情综合网| 九色婷婷| 五月天堂六月丁香亚州中文字幕久久| 色五月综合| 热99在线精品| 丁香婷婷五月六月天| 色九月婷婷| 五月婷婷97| 激情五月婷婷综合秋霞| 97色色综合| 久久伦乱| 99热6色| 26uuu亚洲欧美另类| 人妻狠狠操| WWW.桔色成人.COM| 怡红院视频| 激情五月天啪啪| 99久久玖玖| 西瓜美女a片| 日本婷婷丁香五月| 九九成人精品免费视频| 超碰在线免费9| 久婷视频| 精品自拍99| 日本不卡高字幕在线2019| 26uuu精品一区二区| 99热碰碰热| 色综合大香蕉| 2022久久婷婷| 青青久久91| 91国产精品视频播放| 美国少妇性做爰| 公的粗大挺进了我的密道| 久热久| 激情五月天丁香| 99精品自拍| 91天天操天天干天天射| 涩五月婷婷| 午夜免费高清AV片| 波多野结衣不卡AV| 九九在线91| 骚逼视频一区2区| 久久久久久久久18久久| 色婷小说| AV中文字幕夜夜操b天天摸bb | 五月天精品| 中文字幕在线日亚州9| 五月婷婷色色| 国产人妻777人伦精品HD| 97操操网| 欧美色偷偷大香| 色色色色色色五月婷婷| 97碰碰视频| 久99久在线| 婷婷伊人无码| 激情综合4月| 久久机热这里只有 | 五月丁香网中文字幕| 亚洲婷婷丁香五月视频| 色欲天天综合| 亚洲六月色| 97久久久久| 涩五月婷婷| 婷婷五月激情欧美大胆视频| 99热欲| 色丁香五月天| 婷婷亚洲激情在线观看视频 | 日日操,天天操| 亚洲国产精品综合色区| 五月天社区| 天天肏夜夜肏| 99久久婷婷综合| 最新久久网址| 五月天色婷婷图片| 丁香五婷婷| 国产色视频网站2| A久网| 五月婷婷丁香五月婷婷| 99亚洲色色| WWW.99热| 亚洲亚洲人成综合网络| 大大香蕉综合在线| 一起草Av| 色噜噜狠狠色综合日日免费| 九九热在线精品| 亚洲操逼片| 99热思思| 久久久潮喷-久久久九九-成人AV| 日韩黄色网络| 韩日在线熟女| 五月天四色房丁香亭亭| www.五月天| 大香伊人久色| 无码色色色色色| 激情五月婷婷老师| 深夜男女福利刺激影院一区| 婷婷激情五月天小说校园| 久久色五月| 极品人妻VIDEOSSS人妻| 综合精品99| 热的国产,热的综合,热的有码 | 一起草性爱不卡视频| 五月天综合婷婷| 天天操天天操天天操天天操天天操 | 99热在线精品播放| 五月天色综合| 五月天激情小说| 国产婷婷五月| 激情婷婷五月色| 婷婷五月天激情小说| 玖玖99免费视频| 久久五月激情| 精品一二三区久久AAA片| 日韩九区| www.五月婷婷.com| 久久人操-久草婷婷-成人AV| 乱轮A片| 少妇出轨做爰高潮A片| 91久久婷婷| 久久与婷婷| 激情五月天婷婷丁香| 精品一二三区久久AAA片| 激情五月婷婷丁香| 99九九这里有免费视频| 狠狠做六月爱婷婷综合aⅴ| www.五月丁香| 六月激情婷婷综合| 另类小说婷婷色| 99热99日…..| 久久这里只有国产| 一起草av| 99熟女| 激情五月综合第一页| 91在线看免费 九九九九| 7777久久亚洲中文字幕| 狠狠一日| 激情综合文学| 99热综合在线观看| 天天色中文字幕女优AV| 在线播放人妻| 日操熟女| 熟妇天天综合| AV六月丁香| 日本9区视频| 激情五月天婷婷色色色色色色色色色色色| #NAME?| 91伦| 丁香色影院| 婷婷五月,偷窥偷拍网| 九九人人看| 98永久精品| 色噜噜狠狠色综合网| 色五月色图| 亚洲av成人在线| 91天天操天天干天天射| 日韩一区二区在线播放| 26uuu国产色| 成人色情五月天婷婷丁香| 丁香五月宝贝激情网| 99热这里只有精品69| 2w在线视频| 亚洲激情97五月天| 亚洲激情五月天| 伊人网碰碰| 91 九色 熟女| 天天操夜夜操| 免费超碰在线观看| 久久密臀婷婷| 狠狠综合区| 综合亚洲AV| 大香蕉久久草| 九九热re99re6在线精品| 九九99精品视频| 97人人草| 欧美丁香六月在线观看视频| 日韩AV色色色| 五月婷婷综合在线视频小说| 天天插天天插| 色99色| 国产午夜精品一区二区三区四区| 婷婷综合性爱网| 欧亚中文A V| 久久多色| 亚洲一色色色色色色色色| 丁香婷五月| 欧美黄色韩日网| 五月婷婷av| 九九热精品视频在线观看| 欧美日本不卡黄色片| 国产一区18| 九色PORNY9l原创自拍| www.sd-xiangsu.cpm| 五月婷婷激情综合视频| 亚洲人妻电影| 人人操日| 99国产精品白浆在线观看免费| 视频一区二区在线| 日韩AV在线免费观看| 久久在线视频免费观看| 中文字幕不卡网站| 超级碰碰碰97免费| 91色综合网| 天天日日天天| 六月丁香婷婷综合在线| 国产激情久久久| 色噜噜丁香| 99啪99| 性婷婷| 五月丁香成人视频| 五月丁香激情综合| 午夜丁香久久久久久| 成人 视频免费观看网站| 激情网狠狠干| 天天做天天爱天天爽| 嫩草视频在线观看| 北条麻妃九九九国产精品视频| 五月婷婷七月丁香| www.25五月婷婷| 婷婷色丁香六月| 五月丁香啪啪| 超碰69天堂| 影音先锋色婷婷| 操熟女成人网| 综合色99| 99在线视频观看| 免费亚洲婷婷中文字幕| 国产精品蜜臀99| 婷婷激情九月| 婷婷丁香综合网| 久久 婷婷 五月天| 丁香婷婷五色月| AV五月丁香| 操97在线观看| 91久久久久久| 99成人精品视频| AA丁香综合激情| 婷婷激情四射五月天| 婷婷色五月综合丁香| 饮料下药迷倒漂亮女同事强干| 九月丁香| 久久综合色情网站| 五月丁香色播| 91操碰| 五月婷久久综合| 日韩成人五月天| 久久九九@| 婷婷5月久久综合网站| 婷婷五月天综合激情| 亚洲色爱综合| 精品夜夜澡人妻无码AV| 日本一级| 久久综合丁香激情五月| 五月天大香蕉| 亚洲AV综合网| 天天干狠狠艹| 五月天色综合| 中文字幕av在线| 99er精品视频| 中文字幕丰满孑伦无码专区 | 综合色婷婷| 五月婷婷我| 日韩啪啪视频| 亚洲天99| 日日综合网| 亚洲亚洲人成综合网络| 色999亚洲人成色| 99热官网| 婷婷伊人欧美| 狠狠做五月婷婷| 97 A I色色| 天堂色色色| 综合五月天完整| 欧美槡BBBB槡BBB少妇| 97碰在线| 激情视频综合| 免费观看日韩成人av| 婷婷丁香一月| 久久激情综合| caop在线| 五月婷婷六月色| 综合久久五月| 99色视频在线观看| 婷婷狠狠操| 九月影院義母在线播放| 激情六月丁| 影院久久久| 日日操日日射| 少妇人妻人伦A片| 亚洲va欧美| 9久精品视频| 久re热视频| 色综合久久五月天| 久久综合图片| 天天摸天天高潮天天爽| 国产乱妇无乱码大黄AA片| aaa丁香五月天| 色五月激情| 久久久久久激情| 婷婷激情人妻| 天天肏高清在线| 六月综合在线| 91美女艹逼网站| 激情五月四色| 丁香婷婷激情网站| 午夜不卡成人一区二区| 四川BBB搡BBB搡多人乱亂| 玖玖伦理电影| 丁香五月天堂| 久热精品视频在线观| 99色色网| 国产超碰在线| 99热9| 大香蕉五月天| 亚洲色五月| 色情五月丁香| 婷婷五月激情网| 天堂A∨在线| 九九色影院| 99热这里是精品| 九九黄色网| 日韩欧美一级大黄网站| 五月天婷婷色| 人人爱操| 伊人久久婷婷| 亚洲天天免费| 被强行糟蹋的女人A片| 国产丁香五月天婷婷| 国产真实乱对白精彩| 六月丁香天堂| 国产亚洲色婷婷久久99精品91| 久热天堂| 久re热视频| 99热在线精品播放| 久久九九网| 六月婷婷六月天天在线免费| 91超级碰碰| 五月丁香AV、伊人业余、性色熟妇| 风流少妇A片一区二区蜜桃| 五月婷婷co.m| 色婷婷亚洲综合网站| 五月丁香五月婷婷在线观看| 婷婷五月精品中文| 日本一毛片| 超碰chaompinm| 亚洲另类电影| 激情五月婷婷在线区| 熟女色色一区二区| 五月天涩涩| 婷婷五月色情| 人妻AV在线观看| 综合丁香婷婷五月天| 国产午夜成人AV在线播放| 五月婷婷欧美激情| 香蕉中文在线| 色噜噜狠狠色综合成人网| 五月激情丁香五月| 另类少妇人与禽zOZZ0性伦| 婷婷五月天首页| 综合超碰熟| 97碰在线视频| 色五月婷婷丁香国产在线| 色五月丁香A欧美com| 99在热线免费视频| 综合激情肏逼网| 九九这里有精品| 狠狠人妻久久久久久综合丁香| 亚洲丁香婷婷| 日韩精品一区二区亚洲AV观看| 99色婷婷| 国产精产国品一二三在观看| 五月天黄色激情小说| 激情综合国产| www网站在线观看| 99久久久| 九九热精品99| 午夜一区| 丁香婷婷婷五月| 99在线视频精品| 国自产拍偷拍精品啪啪一区二区| 99色一| 色哟哟性爱av| 五月丁香亭亭| 婷婷色5月激情网| 丁香伊人网| 欧美成人AAA片一区国产精品| 人人爱人人摸人人澡| aa久久| 亚洲A片成人无码久久精品青桔| 五月天婷婷色综合| www.99热| 91婷婷丁香五月亚洲| 亚洲熟女色| 激情综合网激情五月网| 伊人玖玖婷婷| 丁香五月性爱| 五月开心激情| 天天久久66xxx| 色激情网| 99综合| 色婷婷综合网站| www,久久久| av高清无码| 夜夜综合色| 色婷婷五月综合| 五月婷婷性爱网| 超碰色综合| 99热精这里只有精品| 五月婷婷婷综合网| 五月大香蕉| 九九色热| 噜噜噜噜噜日本视频| 日韩三及成人AV片| 99热这里全都是精品| 国产密乳av一区二区三区四区| 亚洲精品色色| 蜜臀99久久精品久久久久| 色婷婷亚洲婷婷| 99∨VTV| 丁香六月av| 成人精品人妻| 丁香五月婷婷社区| 操逼巨乳91| 丁香五月网在线观看| 影音先锋色婷婷| 禁片二区| 久热超碰| 色色色婷婷五月| 五月天激情网页| 婷婷五月激情的图片| 日韩天堂久久| 99婷婷| 色婷婷电影网| 99er国产| 久久综合综合久久| 亚洲AV无码电影| 可以免费观看的AV| 综合99久久天天综合| 激情婷婷护士激情| 色色色五月婷| 操操操操操电影网| 色婷婷五月开心六月综合| 日韩精品无码AV| 成人电影一区| 丁香九月婷婷综合| 26uuu亚洲欧美日本| 色五月丁香激情| 久久婷婷五月综合| 九九综舍久久| 色五月综合激情网| 超碰国产在线| 97久久草草超级碰碰碰| 免费观看的婷婷五月视频在线| 嫩草综合网| 久久99热这里只有精品首| 久久久久激情网| 婷婷99综合| 99热在线观看| 五月色婷| 久艹大香蕉| 91色情播放| 婷婷丁香五月天狠狠| Xx色综合| 婷婷色婷婷亚洲成人| 无码髙清| 色九亚洲| 丁香五月亚综合图片| 99热这里精| 狠狠操之狠狠操| 91久久久久久| 久久久久久97| 色婷婷AV久久| 三级毛片视频| 五月天成人综合| 亚洲成人免费电影| 五月婷婷在线视频| 欧美色爱五月天| www.夜夜騎夜夜狠| AV 3P| 色激情综合狠狠婷婷| 色色精品色| 7777激情基地| 久久视频婷婷视频| 天天肏高清在线| 久婷婷五月综合欧美| 99玖玖视频| 91久久九九| 免费一区二区三区| 999热在线观看视频| 精品国产乱码久久久久夜深人妻| 91碰碰| 九九aV| 超碰av在线| 丁香五月AV| 色五月综合网| 色偷偷综合| 91丨九色丨43老版熟女| 激情五月天在线视频| 亚洲天天| 婷婷丁香18| 99综合| 99久久9|