欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

手動實現(xiàn)ResNet:從殘差原理到PyTorch可運行代碼

手動實現(xiàn)ResNet:從殘差原理到PyTorch可運行代碼 1. 項目概述為什么“手動實現(xiàn)ResNet”是深度學習路上繞不開的一課如果你正在學深度學習尤其是圖像識別方向ResNet這個名字大概率已經(jīng)反復出現(xiàn)在你讀的論文、看的教程、跑的baseline里。它不像某些曇花一現(xiàn)的模型而是像一把被磨得發(fā)亮的瑞士軍刀——不是最炫的但幾乎每個實際項目里都得用上幾下。而“手動實現(xiàn)ResNet殘差網(wǎng)絡 Pytorch代碼”這個標題背后藏著的遠不止是敲幾行nn.Conv2d和nn.BatchNorm2d那么簡單。它本質(zhì)上是一次對現(xiàn)代卷積神經(jīng)網(wǎng)絡設計哲學的現(xiàn)場解剖我們到底為什么要加那條跳接skip connection為什么50層的網(wǎng)絡訓練起來比34層還穩(wěn)為什么BatchNorm的位置放在ReLU前面還是后面結(jié)果天差地別這些問題光看PyTorch官方文檔里的torchvision.models.resnet50()是永遠得不到答案的——那是個封裝好的黑盒子而手動實現(xiàn)就是親手把盒子拆開把每一顆螺絲、每一條走線、每一個電容的容值都看清楚。我?guī)н^不少剛從理論課轉(zhuǎn)到實操的同學發(fā)現(xiàn)一個很典型的認知斷層能背出ResNet的公式 $H(x) F(x) x$但一寫代碼就卡在“F(x)到底包不包括BN和ReLU”“identity mapping怎么和卷積分支對齊通道數(shù)”“downsample到底該插在哪一層”這些細節(jié)上。這恰恰說明ResNet的精妙不在宏觀結(jié)構而在微觀實現(xiàn)的每一個取舍。比如原始論文中BasicBlock里是先BN→ReLU→Conv而Bottleneck里是先BN→ReLU→Conv→BN→ReLU→Conv→BN→Conv這種差異不是隨意寫的它直接關系到梯度流是否平滑、參數(shù)初始化是否敏感、甚至GPU顯存占用是否超標。再比如當輸入特征圖尺寸減半時shortcut分支必須做下采樣但用stride2的卷積還是用maxpool1x1 conv實測下來在ImageNet尺度數(shù)據(jù)上后者收斂更穩(wěn)但在小數(shù)據(jù)集上前者反而更容易調(diào)通。這些經(jīng)驗沒有一次親手從零搭起ResNet的實踐是根本體會不到的。所以這篇內(nèi)容不是教你怎么“調(diào)用”ResNet而是帶你“重建”ResNet——從最基礎的nn.Module子類開始一行一行寫出Block、Stage、整個網(wǎng)絡骨架同時把每個設計選擇背后的工程權衡講透。它適合三類人一是剛學完CNN基礎、想真正吃透主流架構的在校學生二是工作中需要定制化修改ResNet比如替換注意力模塊、適配新傳感器輸入的工程師三是準備面試算法崗需要手撕代碼環(huán)節(jié)有扎實表現(xiàn)的求職者。你不需要事先精通PyTorch源碼但得知道forward函數(shù)怎么寫、nn.Sequential和nn.ModuleList的區(qū)別。接下來的所有內(nèi)容都會以“邊寫邊講”的方式展開所有代碼片段都可直接復制運行所有參數(shù)選擇都有明確依據(jù)所有坑我都替你踩過了。2. 核心設計思路與模塊拆解從論文公式到可運行代碼的完整映射2.1 ResNet的核心思想不是“堆深度”而是“解耦優(yōu)化目標”很多人初看ResNet論文第一反應是“哦加個捷徑就能訓更深的網(wǎng)絡”。這沒錯但只說對了30%。真正關鍵的是ResNet把原本一個高難度的擬合目標 $H(x)$巧妙地轉(zhuǎn)化成了一個低難度的殘差學習目標 $F(x) H(x) - x$。想象一下如果網(wǎng)絡只需要學會“微調(diào)”輸入比如讓一張模糊照片變清晰一點那么直接輸出$H(x)$可能要調(diào)整成百上千個參數(shù)而輸出$F(x)$只要讓網(wǎng)絡專注學“哪里該銳化、哪里該降噪”這種局部修正任務難度指數(shù)級下降。這就是為什么ResNet-152比VGG-16訓練快得多——不是因為層數(shù)少而是因為每層要學的東西更“輕量”。這個思想落地到代碼上就決定了整個網(wǎng)絡的骨架必須滿足兩個硬約束第一主干分支F(x)和恒等映射分支x必須能逐元素相加。這意味著它們的shapebatch, channel, height, width必須完全一致。一旦height或width變了比如經(jīng)過stride2的卷積shortcut分支就必須同步做下采樣一旦channel數(shù)變了比如從64升到128shortcut就必須用1×1卷積升維。第二加法操作必須是無損的。不能用nn.AdaptiveAvgPool2d隨便縮放也不能用F.interpolate引入插值誤差——原始論文明確要求shortcut分支的下采樣必須用帶biasFalse的1×1卷積就是為了保證梯度回傳路徑干凈。提示很多新手寫的ResNet在訓練初期loss就nan90%是因為shortcut分支沒做對齊。比如在stage2第一個block里輸入是64通道但主干分支用stride2卷積后變成128通道而shortcut還傻乎乎地直接傳64通道過來x F(x)直接報錯。這不是bug是設計缺失。2.2 BasicBlock vs Bottleneck兩種殘差單元的工程取舍ResNet論文里其實定義了兩種基礎模塊適用于18/34層的BasicBlock和適用于50/101/152層的Bottleneck。它們不是簡單的“誰更新”而是針對不同計算預算做的精準設計。BasicBlock結(jié)構極簡Conv3x3 → BN → ReLU → Conv3x3 → BN最后加shortcut。它的核心優(yōu)勢是參數(shù)少、計算快、顯存占用低。我們來算一筆賬假設輸入特征圖是56×56×64ResNet-18 stage2輸入BasicBlock里兩個3×3卷積每個參數(shù)量是3×3×64×6436864總共約7.4萬參數(shù)。而同等感受野下如果不用殘差單層卷積要覆蓋同樣范圍參數(shù)量會爆炸式增長。Bottleneck則更“工業(yè)級”Conv1x1 → BN → ReLU → Conv3x3 → BN → ReLU → Conv1x1 → BN。它用1×1卷積先壓縮通道比如64→16再用3×3卷積處理空間信息最后用1×1卷積恢復通道16→64。雖然多了一倍的層但參數(shù)量反而更少第一個1×1卷積參數(shù)327683×3卷積參數(shù)3×3×16×162304第二個1×1卷積32768總計約6.8萬比BasicBlock還少。更重要的是它把大量計算壓在1×1卷積上——而1×1卷積本質(zhì)是矩陣乘法GPU能并行度拉滿實際推理速度反而更快。注意Bottleneck里ReLU的位置非常關鍵。原始論文規(guī)定是“BN之后、卷積之前不加ReLU”但所有卷積之后都要加ReLU。這是因為ReLU會把負值置零如果放在第一個1×1卷積前會導致大量通道被“殺死”后續(xù)3×3卷積失去輸入。我試過把第一個ReLU挪到1×1卷積前訓練3個epoch后top1 acc就卡在30%不上升排查半天才發(fā)現(xiàn)是這里。2.3 網(wǎng)絡整體架構Stage劃分與下采樣策略的物理意義ResNet不是把1000層堆在一起而是按感受野尺度分成5個stage對應輸入分辨率從224→112→56→28→14→7。每個stage內(nèi)部用相同結(jié)構的block重復堆疊而stage之間通過下采樣切換尺度。這個設計不是為了湊層數(shù)而是模擬人類視覺系統(tǒng)的多尺度處理機制底層stage如stage1專注紋理、邊緣等細節(jié)高層stage如stage4聚焦物體整體形狀、部件關系。具體到代碼實現(xiàn)下采樣只發(fā)生在每個stage的第一個block且必須同時作用于主干分支和shortcut分支。比如stage2的第一個block主干分支用conv3x3(stride2)把56×56降到28×28shortcut分支就必須用conv1x1(stride2)同步降維。這里有個易錯點很多人以為下采樣只用在卷積層忘了shortcut也要跟上。更隱蔽的坑是當stage2輸入通道是64、輸出要變成128時shortcut的1×1卷積不僅要stride2還要把in_channels64映射到out_channels128否則加法維度不匹配。我們來看一個真實場景某圖像分類項目里客戶提供的工業(yè)相機圖片只有640×480遠小于ImageNet的224×224。如果直接套用標準ResNetstage1的7×7 maxpool會把480直接砍到240細節(jié)損失嚴重。后來我們把stage1的maxpool換成stride2的3×3卷積保留更多高頻信息mAP提升了2.3個百分點。這說明理解每個stage的物理意義比死記硬背結(jié)構重要得多。3. 核心模塊代碼實現(xiàn)與參數(shù)詳解從零構建可復現(xiàn)的ResNet骨架3.1 基礎殘差塊BasicBlock的完整實現(xiàn)我們從最簡單的BasicBlock開始這是ResNet-18/34的基石。注意這里不追求代碼最短而是追求每一行都可解釋、可調(diào)試、可修改import torch import torch.nn as nn from torch.nn import functional as F class BasicBlock(nn.Module): expansion 1 # 用于統(tǒng)一接口BasicBlock輸出通道不變 def __init__(self, in_channels, out_channels, stride1, downsampleNone): 初始化BasicBlock :param in_channels: 輸入通道數(shù)如stage1為64 :param out_channels: 輸出通道數(shù)如stage2為128 :param stride: 主干分支第一個卷積的步長控制分辨率變化 :param downsample: shortcut分支的下采樣模塊僅當stride!1或通道數(shù)變化時非None super(BasicBlock, self).__init__() # 主干分支兩個3x3卷積 self.conv1 nn.Conv2d( in_channels, out_channels, kernel_size3, stridestride, padding1, biasFalse ) self.bn1 nn.BatchNorm2d(out_channels) self.conv2 nn.Conv2d( out_channels, out_channels, kernel_size3, stride1, padding1, biasFalse ) self.bn2 nn.BatchNorm2d(out_channels) # shortcut分支可能為空恒等映射或需下采樣 self.downsample downsample self.stride stride def forward(self, x): identity x # 保存原始輸入作為shortcut # 主干分支前向傳播 out self.conv1(x) out self.bn1(out) out F.relu(out) # 第一個ReLU out self.conv2(out) out self.bn2(out) # 注意這里不加ReLU因為要和identity相加后再激活 # 處理shortcut分支 if self.downsample is not None: identity self.downsample(x) # 殘差相加 out identity out F.relu(out) # 最終ReLU保證輸出非負 return out這段代碼里有三個關鍵細節(jié)必須掌握第一biasFalse的設定。因為后面緊跟BatchNormBN本身帶有可學習的bias項beta再加卷積bias會造成冗余還可能引發(fā)訓練不穩(wěn)定。實測關閉bias后ResNet-18在CIFAR-10上收斂速度提升約15%。第二padding1的強制要求。3×3卷積要保持特征圖尺寸不變當stride1時必須補一圈0。如果漏寫56×56的輸入會變成54×54后續(xù)所有shape計算全亂。第三最終ReLU的位置。它必須在out identity之后而不是在conv2之后。因為殘差學習的目標是$F(x)$而網(wǎng)絡最終輸出應該是$H(x)F(x)x$這個和必須經(jīng)過非線性激活才能進入下一層。我見過太多人在這里加錯位置導致網(wǎng)絡退化成線性模型。3.2 瓶頸殘差塊Bottleneck的工業(yè)級實現(xiàn)Bottleneck的代碼稍復雜但邏輯更清晰。我們嚴格遵循原始論文的“壓縮-變換-恢復”三段式class Bottleneck(nn.Module): expansion 4 # 輸出通道是輸入的4倍如256→1024 def __init__(self, in_channels, out_channels, stride1, downsampleNone): super(Bottleneck, self).__init__() # 壓縮1x1卷積降維 self.conv1 nn.Conv2d( in_channels, out_channels, kernel_size1, biasFalse ) self.bn1 nn.BatchNorm2d(out_channels) # 變換3x3卷積處理空間信息 self.conv2 nn.Conv2d( out_channels, out_channels, kernel_size3, stridestride, padding1, biasFalse ) self.bn2 nn.BatchNorm2d(out_channels) # 恢復1x1卷積升維 self.conv3 nn.Conv2d( out_channels, out_channels * self.expansion, kernel_size1, biasFalse ) self.bn3 nn.BatchNorm2d(out_channels * self.expansion) self.downsample downsample self.stride stride def forward(self, x): identity x # 壓縮階段 out self.conv1(x) out self.bn1(out) out F.relu(out) # 變換階段 out self.conv2(out) out self.bn2(out) out F.relu(out) # 恢復階段 out self.conv3(out) out self.bn3(out) # shortcut處理 if self.downsample is not None: identity self.downsample(x) # 殘差相加 最終激活 out identity out F.relu(out) return out這里最值得深挖的是expansion4的設計。為什么是4倍論文里給出的實驗數(shù)據(jù)表明當壓縮比compression ratio在1:4到1:8之間時Bottleneck在精度和速度上達到最佳平衡。太小如1:2則3×3卷積計算量仍大太大如1:16則1×1卷積的信息瓶頸過強丟失細節(jié)。我們做過對比實驗在ResNet-50上把expansion從4改成2參數(shù)量減少18%但ImageNet top1 acc掉1.7個百分點改成8acc基本不變但推理延遲增加23%。所以4不是魔法數(shù)字而是工程權衡的結(jié)果。3.3 全局網(wǎng)絡骨架搭建如何把Block組裝成真正的ResNet有了Block下一步是把它們按stage組織起來。ResNet的stage數(shù)量和每stage的block數(shù)量是公開的ResNet-18[2,2,2,2]ResNet-50[3,4,6,3]但每個stage的輸入輸出通道、下采樣時機、初始卷積配置才是難點class ResNet(nn.Module): def __init__(self, block, layers, num_classes1000, zero_init_residualFalse): super(ResNet, self).__init__() self.in_channels 64 # stage1輸出通道也是stage2輸入通道 # Stage0初始卷積模仿人眼視網(wǎng)膜預處理 self.conv1 nn.Conv2d( 3, self.in_channels, # RGB輸入64通道輸出 kernel_size7, stride2, padding3, biasFalse ) self.bn1 nn.BatchNorm2d(self.in_channels) self.maxpool nn.MaxPool2d(kernel_size3, stride2, padding1) # Stage1~4四個主干stage self.layer1 self._make_layer(block, 64, layers[0]) self.layer2 self._make_layer(block, 128, layers[1], stride2) self.layer3 self._make_layer(block, 256, layers[2], stride2) self.layer4 self._make_layer(block, 512, layers[3], stride2) # 分類頭 self.avgpool nn.AdaptiveAvgPool2d((1, 1)) self.fc nn.Linear(512 * block.expansion, num_classes) # 權重初始化 for m in self.modules(): if isinstance(m, nn.Conv2d): # 使用kaiming正態(tài)分布初始化適配ReLU nn.init.kaiming_normal_(m.weight, modefan_out, nonlinearityrelu) elif isinstance(m, (nn.BatchNorm2d, nn.GroupNorm)): nn.init.constant_(m.weight, 1) nn.init.constant_(m.bias, 0) # 零初始化最后一個BN的gamma讓初始殘差為0 if zero_init_residual: for m in self.modules(): if isinstance(m, Bottleneck): nn.init.constant_(m.bn3.weight, 0) elif isinstance(m, BasicBlock): nn.init.constant_(m.bn2.weight, 0) def _make_layer(self, block, out_channels, blocks, stride1): 構建一個stage包含blocks個block :param block: BasicBlock or Bottleneck類 :param out_channels: 該stage輸出通道數(shù) :param blocks: 該stage包含的block數(shù)量 :param stride: 該stage第一個block的步長通常為2除stage1外 :return: nn.Sequential模塊 downsample None # 判斷是否需要shortcut下采樣通道數(shù)變化 或 分辨率變化 if stride ! 1 or self.in_channels ! out_channels * block.expansion: downsample nn.Sequential( nn.Conv2d( self.in_channels, out_channels * block.expansion, kernel_size1, stridestride, biasFalse ), nn.BatchNorm2d(out_channels * block.expansion), ) # 第一個block負責下采樣后續(xù)block stride1 layers [] layers.append( block(self.in_channels, out_channels, stride, downsample) ) self.in_channels out_channels * block.expansion # 后續(xù)blocks保持相同通道和尺寸 for _ in range(1, blocks): layers.append(block(self.in_channels, out_channels)) return nn.Sequential(*layers) def forward(self, x): # Stage0 x self.conv1(x) x self.bn1(x) x F.relu(x) x self.maxpool(x) # Stage1~4 x self.layer1(x) x self.layer2(x) x self.layer3(x) x self.layer4(x) # 分類頭 x self.avgpool(x) x torch.flatten(x, 1) x self.fc(x) return x這個_make_layer函數(shù)是整個ResNet的靈魂。它解決了兩個核心問題動態(tài)生成downsample模塊通過stride ! 1 or self.in_channels ! out_channels * block.expansion這個條件判斷自動決定是否需要插入1×1卷積。這比硬編碼if stage2: downsampleTrue更魯棒也方便后續(xù)擴展比如加attention模塊時只需改這個條件。通道數(shù)自動傳遞self.in_channels在每次調(diào)用后更新確保下一個stage的輸入通道正確。如果這里寫錯比如忘記self.in_channels out_channels * block.expansion整個網(wǎng)絡的通道數(shù)會從stage2開始全錯但PyTorch不會報錯只會靜默失敗——這是最可怕的bug。實操心得在調(diào)試時我習慣在forward函數(shù)里加幾行printprint(flayer1 output shape: {x.shape})。這樣每跑一個batch就能看到各stage輸出尺寸是否符合預期如layer1后應為56×56layer2后28×28。有一次發(fā)現(xiàn)layer2輸出是27×27追查半天發(fā)現(xiàn)是maxpool的padding寫成了0而不是1。這種細節(jié)不打印shape根本發(fā)現(xiàn)不了。3.4 完整模型實例化與驗證從代碼到可訓練模型現(xiàn)在我們把所有模塊串起來創(chuàng)建一個真實的ResNet-18和ResNet-50def resnet18(pretrainedFalse, **kwargs): Constructs a ResNet-18 model. model ResNet(BasicBlock, [2, 2, 2, 2], **kwargs) if pretrained: # 這里可以加載預訓練權重但手動實現(xiàn)重點在結(jié)構暫不展開 pass return model def resnet50(pretrainedFalse, **kwargs): Constructs a ResNet-50 model. model ResNet(Bottleneck, [3, 4, 6, 3], **kwargs) if pretrained: pass return model # 快速驗證模型結(jié)構 if __name__ __main__: model resnet18(num_classes10) # CIFAR-10場景 print(model) # 檢查參數(shù)量 total_params sum(p.numel() for p in model.parameters()) print(fTotal parameters: {total_params:,}) # 前向傳播測試 dummy_input torch.randn(2, 3, 224, 224) # batch2, 224x224輸入 output model(dummy_input) print(fOutput shape: {output.shape}) # 應為 [2, 10] # 檢查各stage輸出尺寸關鍵驗證點 with torch.no_grad(): x dummy_input x model.conv1(x) x model.bn1(x) x F.relu(x) x model.maxpool(x) print(fAfter maxpool: {x.shape}) # [2, 64, 56, 56] x model.layer1(x) print(fAfter layer1: {x.shape}) # [2, 64, 56, 56] x model.layer2(x) print(fAfter layer2: {x.shape}) # [2, 128, 28, 28] x model.layer3(x) print(fAfter layer3: {x.shape}) # [2, 256, 14, 14] x model.layer4(x) print(fAfter layer4: {x.shape}) # [2, 512, 7, 7]運行這段代碼你會看到輸出類似Total parameters: 11,173,962 Output shape: torch.Size([2, 10]) After maxpool: torch.Size([2, 64, 56, 56]) After layer1: torch.Size([2, 64, 56, 56]) After layer2: torch.Size([2, 128, 28, 28]) After layer3: torch.Size([2, 256, 14, 14]) After layer4: torch.Size([2, 512, 7, 7])這組shape就是ResNet的“心跳信號”。如果任何一個不符合說明你的實現(xiàn)有結(jié)構性錯誤。比如After layer2如果是[2, 128, 27, 27]那一定是maxpool或conv1的padding錯了如果是[2, 64, 28, 28]那說明layer2沒觸發(fā)下采樣stride2沒生效。這種驗證比盲目跑訓練快十倍。4. 實操過程中的典型問題與獨家排查技巧4.1 問題速查表從報錯信息反推代碼缺陷在手動實現(xiàn)ResNet時90%的問題都集中在shape不匹配和梯度異常上。我把常見報錯整理成一張速查表按出現(xiàn)頻率排序報錯信息最可能原因定位方法修復方案RuntimeError: The size of tensor a (64) must match the size of tensor b (128) at non-singleton dimension 1shortcut分支通道數(shù)與主干分支不一致在forward函數(shù)開頭加print(x.shape)檢查每個block輸入輸出檢查_make_layer中downsample的out_channels是否等于out_channels * block.expansionRuntimeError: Given groups1, weight of size [64, 3, 7, 7], expected input[2, 64, 112, 112] to have 3 channels, but got 64 channels insteadconv1輸入通道設錯應為3不是64打印model.conv1.weight.shape將nn.Conv2d(3, 64, ...)中的第一個參數(shù)確認為3RuntimeError: Expected 4-dimensional input for 4-dimensional weight [64, 64, 3, 3], but got 2-dimensional input of size [2, 512] insteadavgpool后忘了flatten直接送進fc檢查forward中self.avgpool(x)后是否有torch.flatten(x, 1)補上x torch.flatten(x, 1)注意1表示從第1維開始展平Loss becomes NaN after epoch 1BN層輸入全為0如ReLU后大量0值或?qū)W習率過大用torch.isnan(x).any()檢查各層輸出降低學習率檢查BN前是否有足夠方差可在conv1后加print(x.std())CUDA out of memoryBottleneck中expansion4導致顯存暴漲用torch.cuda.memory_allocated()監(jiān)控各階段顯存改用expansion2或在layer3后加torch.cuda.empty_cache()這張表不是憑空寫的。比如第一條我曾經(jīng)在一個醫(yī)療影像項目里遇到CT圖像預處理時把RGB三通道誤當成灰度圖單通道conv1輸入設成1結(jié)果整個網(wǎng)絡通道數(shù)全錯?;藘商鞎r間才定位到——因為報錯信息指向的是layer2而根源在conv1。所以我的經(jīng)驗是遇到shape報錯永遠先檢查第一個卷積層的輸入輸出而不是報錯位置本身。4.2 梯度消失/爆炸的實戰(zhàn)診斷法ResNet號稱解決梯度消失但手動實現(xiàn)時如果初始化不對梯度問題依然存在。我用一個簡單方法快速診斷在訓練循環(huán)里加一段梯度監(jiān)控def check_gradients(model, loss): 檢查各層梯度范數(shù)診斷消失/爆炸 grad_norms {} for name, param in model.named_parameters(): if param.grad is not None: grad_norm param.grad.data.norm(2).item() grad_norms[name] grad_norm # 打印梯度異常的層 if grad_norm 1e-6 or grad_norm 100: print(fWarning: {name} grad norm {grad_norm:.2e}) return grad_norms # 在訓練循環(huán)中調(diào)用 loss.backward() check_gradients(model, loss) optimizer.step()正常訓練時各層梯度范數(shù)應該在1e-3 ~ 1e1范圍內(nèi)波動。如果發(fā)現(xiàn)layer4.2.conv3.weight梯度長期為0.0說明殘差路徑被阻斷——大概率是downsample沒生效或者out identity寫成了out out identity后者會創(chuàng)建新tensor破壞計算圖。而如果conv1.weight梯度突然飆到1e5那基本是學習率設太高或者conv1前的數(shù)據(jù)沒歸一化比如輸入是0~255的uint8沒除255。注意PyTorch的nn.Conv2d默認初始化是torch.nn.init.kaiming_uniform_但ResNet論文明確推薦kaiming_normal_。我對比過在CIFAR-10上用uniform初始化的ResNet-18前10個epoch平均梯度范數(shù)是3.2e-2用normal初始化是1.8e-1收斂速度快40%。所以不要迷信默認值。4.3 數(shù)據(jù)預處理與訓練策略的隱性影響很多人以為ResNet實現(xiàn)完就萬事大吉其實數(shù)據(jù)預處理才是隱藏的“性能殺手”。舉個真實案例某團隊用手動實現(xiàn)的ResNet-50做衛(wèi)星圖像分類訓練loss下降很快但驗證acc卡在60%不上升。排查一周發(fā)現(xiàn)是預處理時用了transforms.Normalize(mean[0.5,0.5,0.5], std[0.5,0.5,0.5])而衛(wèi)星圖像是單波段灰度圖強行轉(zhuǎn)三通道后std計算錯誤導致BN層輸入方差接近0。正確的做法是根據(jù)你的數(shù)據(jù)模態(tài)定制預處理。對于自然圖像ImageNet風格用mean[0.485,0.456,0.406], std[0.229,0.224,0.225]對于醫(yī)學CT用mean[0.25], std[0.15]需統(tǒng)計自己數(shù)據(jù)集對于熱成像可能要用mean[0.1], std[0.05]。這個細節(jié)官方文檔從不提但直接影響模型上限。另一個常被忽視的是學習率調(diào)度。ResNet論文用的是step decay每30epoch除以10但實際項目中我更推薦cosine annealing它讓學習率在訓練后期緩慢下降有利于跳出局部最優(yōu)配合warmup前5epoch線性從0升到base_lr能避免初始梯度爆炸在PyTorch中只需兩行scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max100)我做過對比在相同數(shù)據(jù)集上step decay的ResNet-18最終acc是72.3%cosine annealing是73.8%。1.5個百分點的差距往往就是項目能否落地的關鍵。4.4 性能優(yōu)化技巧讓手動實現(xiàn)的ResNet跑得比torchvision還快手動實現(xiàn)的最大優(yōu)勢是可以深度優(yōu)化。以下是我在多個項目中驗證有效的技巧技巧1用nn.Conv2d替代nn.Sequential封裝很多教程把BasicBlock寫成self.main_branch nn.Sequential( nn.Conv2d(...), nn.BatchNorm2d(...), nn.ReLU(), nn.Conv2d(...), nn.BatchNorm2d(...) )這看似簡潔但Sequential會額外創(chuàng)建Python對象增加調(diào)用開銷。實測在A100上直接寫self.conv1(x)比self.main_branch(x)快1.2ms/batchbatch32。對于ResNet-50這種上百層的網(wǎng)絡累積起來很可觀。技巧2torch.compile一鍵加速PyTorch 2.0支持torch.compile對ResNet這種靜態(tài)圖結(jié)構效果極佳model resnet50() model torch.compile(model) # 加在model定義后在ImageNet上ResNet-50的吞吐量提升23%且無需改任何代碼。注意首次運行會編譯稍慢后續(xù)全速。技巧3混合精度訓練AMP的正確姿勢不是所有層都適合FP16。BatchNorm2d在FP16下數(shù)值不穩(wěn)定必須保持FP32from torch.cuda.amp import autocast, GradScaler scaler GradScaler() for data, target in dataloader: optimizer.zero_grad() with autocast(): # 自動混合精度 output model(data) # model內(nèi)部BN會自動轉(zhuǎn)FP32 loss criterion(output, target) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()這樣既享受FP16的顯存節(jié)省ResNet-50顯存從12GB降到7GB又避免BN失效。5. 擴展與進階從標準ResNet到工業(yè)級定制化5.1 替換BatchNormGroupNorm與LayerNorm的適用場景BatchNorm在batch size32時效果驟降而很多實際場景如醫(yī)療分割、衛(wèi)星圖像batch size被迫設得很小。這時可以無縫替換為GroupNorm# 在BasicBlock.__init__中 # self.bn1 nn.BatchNorm2d(out_channels) self.bn1 nn.GroupNorm(num_groups32, num_channelsout_channels) # 32組是常用值GroupNorm不依賴batch維度對小batch友好但計算量略大。實測在batch8的CT分割任務中GN比BN的Dice系數(shù)高1.8%。而LayerNorm更適合序列數(shù)據(jù)如ViT用在CNN上反而效果差——因為它對每個像素單獨歸一化破壞了空間相關性。5.2 插入注意力機制CBAM模塊的即插即用改造想給ResNet加注意力CBAMConv
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷草| 婷婷99狠狠| 色丁香五月婷婷婷| 五月色亚洲| 99热自拍| 色欲五月婷婷| 丁香五月色欲| 色婷婷视频| 五月婷婷六月丁香玖玖玫瑰91| 99视频| 四月丁香五月婷婷久久| 亚洲色vA| 5月丁香综合网| 久综合九| 婷婷性爱综合| 大香蕉婷婷婷| 色综合久久久无码中文字幕999| 91丁香五月| 婷婷综合网站| 中出内射的人妻视频| 久久作爱| 欧美日韩国产伦精品日韩人妻一| Caoub青青超碰 | 五月婷婷五月| 激情五月天婷婷五月天| 婷婷九九| 色一情一乱一乱一区91Av| 日韩99精品| 激情五月综合六月丁香婷婷狠狠干| 五月天天综合| 4399在线观看免费高清黄色视频| 一级无码作爱片| 丁香香蕉射射射| 99热亚洲| 91狠狠综合久久| 婷婷玖玖五月天| 牛牛碰免费| 久久婷婷五月国产激情综合片| 亚洲AV无码影院| 被男人添B超爽视频| 天天久久狠狠色综合| 九九操屄| 色婷婷丁香花五月天| 九九激情| 国产亚洲精品久久久久苍井松| 亚洲AV免费在线| 六月婷婷综合激情| 91超碰人人操| 天天综合精品| 久久人妻视频| 国产偷人爽久久久久久老妇APP | 99se丁香| 日噜噜色| 激情五月综合久久| 久久性操| 99在线观看视频精品| 操日本三片99| 亚洲av日韩无码| 少妇婷婷五月天| 婷婷日韩| 成人婷99最新| 色色影院aaaav| 天天五月香欧美| 91丨九色丨熟女高潮| 日本综合色图| 六月香五月婷| 亚洲免费婷婷| 久久性爱视频| 亚洲综合色网| 99热免费18| 欧美,日韩成人在线| 91伦| 99久在线精品| 五月色亭丁香| 99re在线这里只有精品视频首页| 深爱五月婷婷| 人人操AV| 久热这里这里有精品| 天天爽天天弄| www天天色天天射| 五月天婷婷7米| 六月丁AV| 玖玖热视频| 婷婷丁香六月| 色射7856五月天激情四射| 夫妻超碰在线| 五月婷婷高清| 五月丁香人妻| 99久久网站| 香蕉久久国产AV一区二区| 婷婷亚洲天堂| 久久九⑨| 日韩砖区| 99爱视频| 国产人妻777人伦精品HD| 亚洲黄网AV| 狠干综合| 最新激情五月天| 5月丁香六月婷婷| 亚洲色网络| av网址在线| 欧美丰满熟妇BBB久久久| 三级毛片视频| 性一交一乱一交A片久久四色| 日本激情ⅩXX免费视频| 婷婷婷婷婷婷婷婷| 免费无码毛片一区二区A片| 久久婷婷艹| 99在线观看视频| 久久网站观看免费欧洲国产| 丁香五月偷拍| www.丁香六月婷婷久久天堂影院.con| 九九99九九99九九99视频网| 婷婷综合视频| 99久久久久| 激情六月五月婷婷综合网| 天天舔天天摸视频| 99这里都是精品| 97婷婷久久丁香| 五月婷婷激情刺激| 人人色婷婷| 色五月激情五月| 久久久婷婷五月天| 天天操天天日天天爱| 婷婷五月丁香成人| 五月丁香综合激情网| 91干婷婷| 婷婷舔| 操操自拍| 99视频综合网| 五月色欧洲| 婷婷五月激情的图片| 婷婷五月成人| 婷婷在线视频| 九九久久99精品免费观看www| 风流少妇A片一区二区蜜桃| 午夜激情四射影院| 久久99热 这里有精品| 天天肏天天肏天天肏| 2018国产大陆天天弄| 丁香五月激情欧美| 激情五月天色婷婷| 三级黄色大片视频| 五月天婷婷爱丁香中文字幕| 亚洲五月天激情| 97sese婷婷| 亚洲天堂久久| 久久伊人大香蕉| 丁香六月久久| 婷婷之玖玖| 26UUU在线观看| 另类专区在线| 99玖玖免费视频| 天天色宗合| 午夜成人片400| 爽极品色| 国产成人AV在线| Y11111111111少妇电影院| 激情综合网婷婷久久| 丁香色综合| 9色免费网| 日日鲁鲁夜夜爽爽| 久九男女天堂| 色五月婷婷啪啪五月| 开心五月深爱五月| 精品久久二6| 色五月婷婷基地| 日本 色综合| 丁香欧美| 日韩无码性爱| 日韩黄色电影| 99九九热在线观看| 国产在这里只有精品| 激情视频91| 色婷婷狠狠18| 91色逼| 精品爆操| 91干| 另类小说色婷婷| 亚洲、欧美、国产另类笫二区| 五月丁香婷婷欧美| 日本三级日本三级三级人妇四虎| 婷婷金品综合视频| 色综合色欲综合天天免费| 久久九九国产精品怡红院| 九九亚洲综合| 色色色五月婷婷| 天搞天天天天天| 色五月婷婷色| 婷婷丁香五月天欧美| 激情第四色| 欧美操人| 97在线观视频免费观看| 五月天色婷婷激情| 色色色色色色色色五月先| 色婷另类| 五月熟妇婷婷久久| 色婷大香蕉| 色婷婷www| 日韩在线观看亚洲| 丁香婷婷激情| 精品国产va久久久| 操B五月天| 久久这里有精品| 婷婷五月丁香六月伊人网| 精品香蕉99久久久久网站| 亚洲精品久久久久久久久久吃药| 色高清无码视频| 99只有精品9| 丁香五月六月综合欧美| 久久久久久久五月婷婷六月丁香综合,开心激情综合网 | 超碰人人操| 婷婷精品在线| 538在线精品| 天天干天天爽天天操| 大香蕉啪啪啪啪啪啪| 婷婷五月在线观看| 77799热| 激情五月综合网最新| 欧美97色| 综合狠狠干| 沈娜娜av| 色色五月婷| 日本人妻丁香婷婷久久寝取熟女五月| 婷婷五月天天激情| 日日噜噜夜夜狠狠久久丁香五月| 色婷婷4| 一级内射毛片| 久久久久9| 九九热色视频| www.色情五月天.com| 色99在线观看| 婷婷丁香五月天小说| 9久9久| 播播网色播播| 亚洲激情另类| 99aese| 色综合久久88| 婷婷无五月无码视频| 99精品视频网| 思思热久久婷婷五月天| 成人在线日韩| 伊人久久中文网| 久久激情五月婷婷| 超碰99资源站| 视色综合| 天天舔夜夜操www com| 丁香六月天婷婷| 九九九九毛片| 午夜不卡久久精品无码免费| 99操视频| 四月婷婷五月丁香| 5月婷婷五月天| 婷婷在线视频| 欧美综合五月丁香六月婷| 国产乱妇乱子在线播视频播放网站 | 99热在线观看精品| 亚洲av无码影院| 亚洲婷婷五月天| 五月丁香亚洲综合| 丁香五月中文字幕久色| 天天色天天干天天插| 日韩在线一级| 久久一操| 六月婷综合| 另类小说五月天| 五月天婷婷无码视频| 天天肏屄夜夜爽| WWW·色色色·COM| 情色五月天 网站| 99re久久| 丁香五月欧美| 99热手机在线精品| 激情综合网五月婷婷| 伊人啪啪网| 亚洲在线激情婷婷五月| 99热99ai| 亚洲夜五月| 五月丁香啪啪综合网| 黄色AAAA韩国guochansanji| 江苏少妇性BBB搡BBB爽爽爽| 婷婷在线视频| 99在线精品免费视频| 五月激情偷拍| 婷婷网影院| 国产免费性爱| 欧美情色一区| av大片在线| 色色色综合网| 欧美槡BBBB槡BBB少妇| 玖玖爱综合网| 久久五月视频| 久久丁香五月天| 五月丁香亭亭操逼| 狠狠色综合网| 欧洲亚洲免费视频9| 另类激情中文| 五月婷婷久久大香蕉| 丁香久久| 激情小说五月天| 蜜臀av在线成人电影| 96人人操人人操人人| 激情五月综合网| 久9久9久9久9久9久9| 成人Av在线大片| 99精品97| 日本熟妇精品99| 丁香五月综合激情啪啪| 五月丁香激情啪啪| 欧美综合婷婷欧美综| 亚洲精品va| 五月久久婷婷| 久青青久| 思思热热久久| www色五月| 第五色色色婷婷| 99re热视频这里只精品| 九九热re99re6在线精品| 婷婷五月在线视频| 色色色色色色网站| 亚洲国产精品VA在线看黑人| 色九九九综合| 五月激情网站| 婷婷激情另类| 99热这里只有精品86| 六月婷婷中文字幕| 99精品视频网| 日本美女97在线视频| 亚洲av另类在线观看| av五月天婷婷丁香| 六月99天天婷婷激情综合| 淫视馆aV二区一区| 四季8848精品成人免费网站| 丁香五月综合激情久久潮喷| 五月婷婷三级| 影音先锋 婷婷| 99热这里只有精品2| 婷婷五月激情图片| 开心五月激情网| 农村熟妇高潮精品A片| 婷婷色色综合| 成人网站在线观看视频| 五月丁香啪啪综合网| 国产性爱亚洲是图| 91九色精品熟女内射| 99噜噜噜在线播放| 2017人人操| 久久综合激情五月天| 色婷婷伦理| 能直接看的av网站| 五月天婷婷久久| 久久久久久99日本| 色噜噜综合网| 亚洲欧美999| 亚洲AV中文在线| 蜜桃成语时李时珍 免费| 欧美五月婷婷综合| 婷婷丁香社区网| 亚洲国产成人裸舞| 五月婷色色| 成人精品视频99在线观看免费 | 婷婷伊人综合| 成人噜噜网| 五月丁香AV在线| 另类专区在线观看| 996热re视频在线观看视频| 伊人91| 激情小说之五月| 五月综合激情| 五月婷婷精品视频| 狠狠干天天内射| 五月丁香六月综合激情无码软件亮点 | 色五月婷婷自拍| 天天日天天爽| 久色88| 色欲天天综合| 91午夜激情| 99爱视频| 婷婷激情中文综合| 91综合色| ZpRSw| 丁香五月天欧洲在线| 亚洲99精品欧美一区| 丁香激情网| 久久五月情| 婷婷五月永远18免费久久久| 99精品久久| 久草婷婷网 | 99九九综合久久九九| 初夜av| 久久九九爽| 五月丁香狠狠爱婷婷综合| 九九九九国产| WWW,五月| 2020日日干| 思思久久99热只有频精品66| 无码少妇高潮喷水A片免费| 丁香五月性爱爱五月| 五月丁香色婷婷熟女| 五月婷婷在线免费观看| AV在线免费播放| 亚洲婷婷激情五月天| 大香蕉手机视频| 另类精品视频在线观看| 另类 在线| 免费超碰在线观看| 丁香五月亚洲综合| 午夜69成人做爰视频| 91五月天| 国产午夜一区二区三区| 丁香五月婷婷啪啪啪| 视频一区二区在线| 日日夜夜天天爽| 91九色在线| 欧美久久婷婷| 午夜一区| 操一区| 久久婷婷五月| 月丁香久久久| 噜噜国产| 99热性色| 九九精品自拍| 香蕉久久国产AV一区二区| 激情五月丁香六月综合AVXXXX| 亚洲欧美国产A片免费观看| 国产另类综合| 99re在线免费视频| 超碰高清在线| 99九九99九九九视频精彩| 丁香五月AV| CAoub青青超碰| 五月天婷婷成人| 亚州欧美黄色电影| 天天舔天天操| 亚州操操| 丁香六月综合| 天色综合网站| 大大香蕉综合在线| 五月天综合网| 激情五月综合| 中文字幕免费高清电视剧| www.com操| 五月天天丁香婷婷| 热久久精品视频网站| 日韩熟女啪啪视频| 色五月综合在线| 热99久| 亚洲欧美另类在线23p| 97男人天堂| 欧洲第一久色| 五月丁香六月婷婷激情网| 97婷婷久久丁香| 97欧美在线| 综合色99| 这里只有精品96| 99热成人在线观看| 玖玖婷婷色五月| 337p大胆噜噜噜噜噜91Av| 丁香激情五月综合网| 大地资源色婷婷视频在线| 丁香五月亚洲婷婷| 色色色色色五月丁香| 久久久18| 激情婷婷综合| 操操熟女| 婷婷六月综合激情| 色婷亚洲| 久er免费视频| 婷婷日韩| 久久停停超碰| 色婷婷香蕉丁丁网| 99九九视频精彩在线| 五月婷激情| 亚洲五月婷天天操| 中文字幕性爱视频| 亚洲色综合| 天天干天天操| 婷婷和五月天| Av在线资源| 久久多色| 婷婷激情欧美| 色狠狠色综合久久久绯色AⅤ影视| 日韩另类| 99爱在线视频| 丁香五月第九色| 丁香9月婷婷| 久久国产色| 天天天天天久久久久久| 婷婷五月天激情网| 超碰自拍天堂| 五月天亚洲最大成人| 就爱日五月天| 五月天激情婷婷| 四月婷婷丁香五月| 丁香成人综合| 久久xxxx| 久99热在线观看| 国产偷人爽久久久久久老妇APP| 深爱激情综合| 99热只有精| 色性综合| 天天操天天曰天天射| 午夜精品人妻无码一区二区三区 | 99自拍视频| 亚洲成人黄色网| WWW五月婷婷| 激情五月综合第一页| 婷色五月天| 五月丁香六月婷| 五月婷深深爱激情网| 热久久91| 综合久久高清| 9婷婷内射| 深夜婷婷 丁香| 国产精品视频免费看| 激情五月天婷婷视频| 激情五月天在线观看婷婷| 色色热日| 男人的天堂婷婷色五月| 九九视频在线观看视频6 | 91色噜噜狠狠狠狠色综合| 婷婷五月色综合| 久久国产性爱A V| 亚洲区视频| 五月婷婷六月丁香首页| 高清 码 免费看片短视频| WWW.亚洲无码| 六月五月天婷婷涩播在线| 五月天啪啪| 久久9热| 99国产在线| 这里只有精品在线播放| 天天操夜夜操| 亚洲超碰在线| 色色99| 亚洲男女激情| 丁香五月伊人| 99热综合网| 九九碰九九爱97超碰| 五月激情网站| 婷婷五月天黄色| 深爱激情五月婷婷| 欧美性爱五月天| 亚洲欧美999| 天天天摸夜夜夜玩| 五月天伊人综合| 天天舔天天摸天天透| 婷婷五月俺要去| 婷婷九月激情| 在线A色| 五月丁香色婷| 深爱激情五月婷婷| 人人草人人爱| 99热这里| www.激情五月| 欧类av怡春院| 综合网精品99| 色综合久久综合| 狠狠色狠狠爱| 国产成人高清| 亚洲色啪| 五月天无码| 国产99热在线看| 视色网在线播放| 2025最新亚洲激情在线| www.五月丁香av| 亚洲性爱区无码区| 久久99热这里只有精品| 一区视频网站| 少妇综合网| 亚洲色色色| 欧美成人AAA片一区国产精品| 播丁香五月婷婷欧美| 国产干逼片| 日本九九九九九九| a在线观看| 538在线| 五月婷婷开心六月激情小说| 丁香五月天狠狠| www..999热久| 伊人激情AV一区二区三区| 99热国品| 888久久久| 人人叉久| 五月丁香六月婷| 色99色| www.色五月| 婷婷六月久久| 伊人激情啪啪| 99热只有国产在线精品| 婷婷丁香五月综合| 无码色色色| 婷婷综合中文字幕| 综合激情在线| 国产99视频永久免费| 狠狠高潮精品亚洲1| 99热e| 人妻丰满精品一区二区A片| 天天操天天插天天射| 亚欧州精品视频| 色色亚洲无码| 婷婷综合成人| 国产看真人毛片爱做A片| 亚洲丁香五冃97色| 4399亚洲视频| 99亚洲色| 日本一级一级一级一级| 中文字幕在线视频播放| 丁香六月婷婷综合| 五月丁香六月婷婷视频| 婷婷九月丁香| 69精品人人人人| 人妻操日日| 黄色成人网站在线播放| site:feetmall.com| 亚洲综合1024| 狠狠色色色| 婷婷香蕉| 99热在线观看免费精品| 丁香五月激情综合| 五月天停停日日| 天天操天天操| 丁香色色色| 丁香五月停停av| 婷婷五月大| 亚洲 五月 婷婷 成人| 婷婷午夜| 国产超碰av| 欧美激情综合色综合啪啪五月| 亚洲色色精品| 综合激情五月丁香| www.99精品视频| 亭亭五月天黑人2014| 丁香五月天激情视频| 毛片九九九九九九| 婷婷丁香五月天狠狠| 国产无套精品一区二区| 五月天丁香成人社| 五月天久久91| 色播激情| 天天激情夜夜干| 色五月在线观看| 综合一区二区三区| 久久久人妻门| 牛色色碰| 色婷婷色久综| 99噜噜| AV大片在线观看| 色99视| 99只有精品| 国产成人AV在线| 99国产精品久久久久久久久久久| 影音先锋 萱萱| 婷婷五月免费观看| 99色色网| 开心丁五月| 五月激情小说| wWwCom夜操wwW| 日本一级一片免费视频| 国产精品色婷婷99久久精品| 六月天婷婷| 超碰丁香五月| 五月色综合网| 激情综合在线播放| 丁香五月在线播放| 国产精品国产| 色日本五月天| 91综合在线观看首页| 丁香五月冃欧美| 全部老头和老太XXXXX| 九九视频这里是精品五月| 狠狠色综合网| 天天干天天日天天插| 日本一级一级一级一级| 五月婷婷久久开心网| 久久99综合| 丁香狠狠| 夜夜嗨一区二区三区直播内容 | 1024婷婷综合久久五月天| 天天操比比| 91丨九色丨国产打屁股网站| 激情五月小说婷婷| 97色啪| 综合另类视频| 久久精彩免费视频精彩免费视频| 天天操天天插| 色五月激情基地| 免费超碰在线观看| 丁香婷婷婷五月| 99视频91| 五月婷婷中文| 婷婷激情六月中文| 亚洲激情六月丁香| 色综合色综合色综合色综合| 色九亚洲| 91人人操人人爱| 超碰免费人人| 俺也去五月婷婷丁| 99免费热视频在线| 色婷婷操逼| www.激情| 66精品成人免费网站在线观看| 在线sebiav精品视频| 亚洲婷婷免费| 91精品国产91久久久久青草| 久久久亚洲精品一区二区三区浴池| 亚洲尤物在线| 六月综合婷婷开心伊人| 另类天堂| 色婷婷六月开心中文字| 97超级碰| 另类A片| 天天想夜夜爽天天爽| 操逼五月婷婷| www激情| 激情网第九色| 两性婷婷丁香五月| 婷婷色在线视频| 五月婷婷 欧美| 色图亚洲91| 五月婷婷色激情| 伊人干综合| 97夫妻超碰| 精品99视频| 亚洲婷婷月丁香五月| 亚洲狠狠终合停停终合| 无码啪啪| 丁香六月亚洲综合 | 天天做天天爱天天综合网| 操日本三片99| 久久综合久色欧美综合狠狠| 2017人人操| 国外亚洲成AV人片在线观看| 亚洲婷婷基地| 婷婷五月天天| 六月99天天婷婷激情综合| 99这里只有精品|v| 九九精品热| 精品9久| 五月天婷婷基地综合网| 99热网站在线观看| 九九热这里只有国产精品| 激情五月天小说网| 天天干天天干天天干| 欧美在线ee日韩| 96精品久久久久久久久| 婷婷亚洲激情在线观看视频| 99热精品在这里| 中文字幕永久免费| 激情综合丁香六| 美欧日韩国产成人在战| 激情综合五月激情17| 五月婷婷久草在线视频综合| 成人视频一区| 91人妻人人操| 99视频精品| 五月综合亚洲婷婷| 五月天操逼网| 久久大大香| 殴美日比视频| 六月婷婷九月丁香亚洲综合| √天堂资源在线人妻熟女| 欧美激情综合五月色丁香| 超级碰碰碰97免费| 五月开心激情网| 欧美日综合| 婷婷97C| 99久久精| 婷婷五月天伊人网| 大地9中文在线观看免费高清| 久99精品视频| 26uu| 丁香色婷婷五月天| 99热99| 丁香五月网络网络| 色婷婷六月天| 九月丁香网婷婷| 女性自慰系列第五页| 五月丁香六月婷婷亚洲| 激情五月天影院| 色婷婷AⅤ| 久热最新视频 | 爱射综合| 丁香五月区| 婷婷五月开心中文字幕在线| 五月激情啪啪| 色五月婷婷激情基地| 这里有精品99| 婷婷丁香花五月天| 五月天大香蕉视频| 夜夜骑日日夜夜| 九九色欲网| 丁香久久激情俄| 天天操天天操天天操| 色播五月婷婷| 91干视频| 综合婷婷五月天| 成人做爰A片免费看视频 | 五月丁香婷婷色色色| 五月丁香 狠狠爱| 7月婷婷六月丁香| 思思99久久| 色九月综合网| 久热这里只有精品在线| 96精品成人无码A片观看金桔| 大香网伊人久久综合| 色在线99| 五月色激情综合网| 这里只有精品视频一区| AA片在线观看视频在线播放 | 狠狠操天天干| 五夜婷婷| 久久婷婷网站| 免费97碰碰| 人妻精品久久久久久| 四川BBB搡BBB搡多人乱亂| 色五月婷婷激情综合网| 亚洲日日日| 五夜婷婷| 久久婷五月婷| 九九久久五月天| 99热精品99| 色五月激情综合| 婷婷丁香小说| 日本三级网址| 99精品在线观看视频| 大香蕉啪啪啪啪啪啪| 天天久综合| 中文字幕高清av| 久久精品亚洲一级牲爱综合| 91日在线视频| 五月丁香色婷| 99热草草| 中文乱子伦视频| AV六月丁香| 丁香五月香蕉| 色色色在线观看| 五月丁香成人网| 另类视屏| 中文字幕,综合,91| 色爽九九| 9999三级片| 超碰国产在线观看| 青996青| 国产91视频| 、激情六月天| 亚洲国产精品VA在线看黑人| 三十路磁力链接| 五月丁香 狠狠爱| 五月色综合网| 成人版视频在线观看| 亚洲AV网站在线观看| 香蕉国产2013| 欧美这里只有精品| 色吧五月婷婷六月丁香| 一本色道久久综合狠狠躁一二三| 深情五月天| 99久久99久久| 思思热视频| 色欲香综合网| 97成人在线视频| 激情婷婷五月社区| 97婷婷狠狠| 色婷五月| 丁香六月五月婷婷| 丁香玖玖| 色色五月天婷婷| 26uuu91| 激情五月色综合网| 91碰碰碰| 色婷婷九月综合| 91久久精品视频| 欧美综合五月丁香六月婷| av婷婷丁香 六月| httpwww色com日本| 狼人婷婷综合| 亚洲va日| 日本全黄一级999| 成人短视频在线| 激情五月综合ì香亚洲| 亚洲图色五月天| 午夜大香蕉| 天天日,夜夜爽| 五月天激情图片网| 久久98| 夜夜爽天操| 五月丁香婷婷色色| 国产精品久久久爽爽爽麻豆色哟哟| 五月婷婷在线免费| 丁香六月开心| 婷婷激情五月天桃花网| 久久婷婷激情| 五月综合精品| 色色色综合色| 五月停停大香蕉| 久综合| 婷婷综合成人五月天| 小色小蛇伊人婷婷色香五月| 91久久久久久久| 五月天网站免费欧美| 九九热这里只有精品556| 男人的天堂99| 婷婷五月情| 色偷偷色婷婷| 成年AAAA色情| 影音先锋91| 免费无码毛片一区二区A片| 99热99极品观看| 97色色色色色色色色色色色色色| 99九九热视频免费| 欧美三级巜人妻互换| www.91婷婷| 五月婷网站| www激情| 久久99jiu9| 六月色色| www.婷婷,com| 五月婷六月丁| 丁香午月AV中文字幕| 色色婷婷婷丁香五月天| 熟女人妻一区二区三区免费看| www.婷婷六月天| 五月婷婷六月爱| 色丁香五月婷婷| 婷婷丁香五月基地| 中文字幕日本最新乱码视频| 色九月婷婷| 丁香五月亚综合图片| 99高级会所久久| 色综合丁香| 五月情涩综合婷婷| 亚洲免费综合一区| 91狠狠色丁香婷婷综合久久精品| 五月丁香成年黄色| 天天插AV丝袜中| 亚洲99手机免费看视频| 五月天丁香婷| 国产44页| 久久综合站| 丁香婷婷色五月| 天天做天天爽| 狠狠狠五月婷婷六月丁香| 色网站99| 久久久久久久97| 久久婷婷综合国产| 区啪精品| 色吧网91| 久草婷婷网| 亚洲国产精品SUV| 天天爽夜夜操| 五月婷婷久久综合| 日本一级特黄大片AAAAA级| 久久99热这里只有精品| 五月色婷婷激情| AV 3P| 美女要搞搞天天搞搞搞网站| 五月天婷婷激情在线色图| 真实的国产乱XXXX在线91| 精品无码久久久久久久久| 五月色网| 综合网五月| 丁香六月婷婷| 色综合色色| 成人综合AV| 久久婷婷五月综合激情国产 | 色五月综合激情| 无码一区二区三区四区五区| 999热在线视频| www.91婷婷| 97成人在线视频精品| 日韩av在线播放综合网| 九久九精品| 天堂二区| 久久99网| av五月天婷婷丁香| 色婷婷丁香AV综合| 丁香9月婷婷| 97婷婷五月| 丁香花五月天社区| 久热婷婷在线视频| 黄久久久| 综合伊人久久| 久久婷婷色情7777网站| 五月天另类激情在线| 婷婷五月天成人| AV九九| 日韩成人综合网| 99在线精品观看99| 中文中文在线| 五月天丁香婷婷久久九| 色婷婷很很十八禁| 色色综合五月| 久久九九re热| 狼友超碰| 成人网址在线观看| 五月天婷婷一起草| 五月婷婷色综图片| 五月婷婷丁香av| 日日日天天干| 综合五月丁香六月婷婷| 黄色五月婷婷| 婷婷丁香在线| 校花娇喘呻吟校长陈若雪视频| 五月丁香综合色婷婷| 五月 婷 久| 欧美色九| 久久这里只精品66| 五月天欧美 另类小说| 五月婷婷花| 激情五月天小说| 五月丁香亭亭操逼| 涩综合婷婷| 日韩少妇内射免费播放| 亚洲第一成人AV| 丁香婷婷色情| 激情四射五月天| 丁香色播五月天| av中文网站| 另类A片| 日本人妻伦在线中文字幕| 大香蕉久久综合网| www.9797国产| 六月色婷婷色| 性色99| A久久| 激情五月丁香婷婷| 亚洲深喉aV| 狠狠九九婷婷韩| 久久刺激网| 日韩五月天婷婷| 五月婷婷在线视频| 超碰碰碰碰| 超碰亚洲欧美| 中日韩狠狠色| WWW夜夜| AV大片在线观看| 丁香五月婷婷亚洲综合精品| 九九这里只有精品在线视频| 人人人操B超碰| 黄色成人网站在线播放| 天天日日夜夜| 97碰 在线视频观看| 淫视馆AV在线| 色高清无码视频| 天天天天干| 99热这里有精品| WWW.久久99| 久久中文人妻系列| 深爱激情婷| 99re热视频这里只精品| 亚韩精品视频1区| 最新av在线观看| 思思精品久久艹| 婷婷丁香九月| 五月天综合在线网| 激情六月天婷婷| α久久| 亚洲成人免费电影| 婷婷五月激情欧美大胆视频| av在线免费播放| 精品99网站| 色色色色五月天| AV成人在线网站| 伦乱天堂| 九九爱这里只有精品| 久色激情| 九九成人电影婷婷| 97资源碰碰| 激情五月婷婷色| 开心五月网| 久久婷婷亚洲无码一起| 欧美色骚婷婷五月天| 超碰不卡在线| 婷婷色网址| 日韩婷婷五月| 伊人五月天| 免费看欧美成人A片无码| 日韩成人中文字幕| 很很干五月天| 亚洲va成人va成人va在线观看| 日韩成人电影av| 另类综合激情| 亚洲AV成人在线| 久热精彩视频98| 噜色精品| 日本五月婷| 久久五月天激情婷婷| 深爱开心激情网| 国产99久久久| 日本三级网址| 天天射天天射一道本日本社区 | 五月婷婷久久综合| 久久婷婷五月丁香网| 欧美婷婷综合| 森林影视大全,最好看的2019年视频 | 色婷婷深爱五月| 色色a| 五月婷婷六月丁香首页| 综合视频五月| 狠狠操狠狠| 97操操操| 狼人婷婷综合| 日韩精品一曲二曲三曲四曲五曲| 白天AV月月| 精品色色| 99热自拍| 欧美久久婷婷| 久久影视婷婷五月| 激情婷婷五月天日本系列| 国产乱子轮XXX农村| 婷婷五月天激情网| 情色婷婷五月天| 亚洲国产另类av| 丁香九月婷婷色| 伊人丁香五月天丁香在线婷| 97人人操人人干| 激情六月天婷婷| 大香蕉久久伊人网| 日韩精品无码99| 免费观看欧美成人AA片爱我多深| 色五月丁香五月五月婷婷| 久久香蕉网| 秋霞A V毛片| 欧美99视频| CAoub青青超碰| 亚洲视频色婷婷| 99爱操| 九九色99| 婷婷久综合| 天天射综合网天天插| 艳妇野外情欲放荡HD| 夜夜操少妇| 白人荫道BBWBBB大荫道| 五月婷婷丁香五月亚洲色| 另类小说色婷婷| 综合五月天亚洲婷婷| 99热最新| 五月天婷婷色| 五月天天天开心激情网| 五月婷婷五月天| 日韩激情婷婷五月天| 成人精品一区日本无码网| 99久久99视频只有精品| 激情综合婷婷| 依人大香蕉| 五月婷婷六月丁香| 婷婷丁香午夜综合影视| 97操碰| 五月天性色| 在线综合亚洲欧美65| 中文字幕色色色| 超碰免费电影| 五月丁香777| 五月婷婷丁香六月| 色噜噜狠狠色综合成人99| 亚欧州精品视频| 五月婷av| 蜜臀av无码久久久久久久久| 亚洲第一综合| 99爱免费视频在线观看| 五月婷婷 婷婷五月 一区二区 久久久| 亚洲色综合性| 亚洲无码激情| 亚洲另类视频| 久xxxx| 成人精品在线| 成人羞羞啪啪 全 视频| 国产精产国品一二三在观看| 久热这里只有精品66| 婷婷五月欧美| 亚洲精品色| 丁香花色色网| 国产成人精品一区二区三区视频| 五月丁香天堂网婷婷| 亚洲性爱AV| 色色亚洲| 日本色频| 亚洲午夜在线视频| 丁香五月无码| 日韩在线99| av在线资源| 亚洲六月婷| 色九月综合网| 国产 码在线成人网站| 性爱在线播放av| 性爱激情久久| 最新久久网址| 精品无码av丁香五月激情| 国产99久| 99精色| 色欲丁香| 欧美怡红院黄站| 91成人性爱视频| 超碰在线99| 久久九九激情五月天| 天天久| 亚洲精品网站色视频| 婷婷激情五月呦呦| 久久丁香综合| 久1色色| 99婷婷五月天激情| av九九| 久久婷婷在线| 色色色综合色| 亚洲乱码日产精品BD| 天天干夜夜谢| 色八月婷婷| 亚洲成人在线电影网站| 婷婷天堂综合| 久热这里精品免费| 中文字幕网站在线观看| 天天爽人人综合免费7799| 乱轮A片| 99在线视频精品| 超碰在线免费观看日韩| 婷婷五月天播播| 丁香婷婷六月激情文学 | 久久机热这里只有精品免费视频| 以及AA大片看看| 天天噜日日噜综合无码| 亚洲久久婷婷| 婷婷五月天影院| 五月丁香综合精品欧美| 丁香激情网| 婷婷五月天激情AV影院| 9999三级片| 99热传媒| 99精色| 丁香婷婷五月基地| 热的国产99热| 丁香五月WWW| 69精品人人人人| 99色视频| 精品久久久久久久久久久久人妻| 视频色色色色色色| 五月美女婷婷风骚| 丁香成人五月天| 我爱宗和色| 久9久9热久热| 久热婷婷综合| 久热欧美| 婷婷五月天激情文学| 26uuu国产色| 少妇婷婷五月天| 欧美A级成人婬片免费看理论| 99九九精品| 天天婷婷色六月| 狠狠干2007| 97久久久| 午夜福利8055| 日本一级淫| 天天做天天爱| 激情六月丁| 深爱激情av| 免费精品66| 日本在线视频播放91| 九 九九九AV| 久操欧美在线观看97| 九九热中文| 丁香月六月| 99成人无码| 色A网| 97人人操在线| 99亚洲精品视频| 9 大屁股在线视频精品| 爱久久小说下载网|