欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實戰(zhàn)洞察。

mmDetection網(wǎng)絡(luò)架構(gòu)配置詳解:從Backbone、Neck到Head的組裝邏輯

mmDetection網(wǎng)絡(luò)架構(gòu)配置詳解:從Backbone、Neck到Head的組裝邏輯 很多同學(xué)第一次打開 mmDetection 的倉庫都有一種“從入門到放棄”的沖動mmdet/models目錄下躺著backbones、necks、dense_heads、roi_heads一堆文件夾點進(jìn)configs發(fā)現(xiàn)每份配置文件長得像一棵樹尤其model字段嵌套七八層里面全是dict。我當(dāng)年第一次看 Faster R-CNN 的配置時腦子里只有一個念頭這玩意兒到底是怎么變成一個能跑的網(wǎng)絡(luò)的這篇筆記想解決的就是這個問題。我會沿著 mmDetection 的網(wǎng)絡(luò)架構(gòu)這條線把model配置里的每個字段掰開揉碎告訴你 backbone、neck、head 各自扮演什么角色它們怎么組合成一個完整的檢測器以及如果你想把某一層換掉、加一個模塊應(yīng)該改哪里、怎么改。適合誰看剛接觸 mmDetection、跑通了官方 demo 但對配置一臉懵的科研小白以及在框架里做過小改動、卻始終沒弄清“為什么這樣寫”的開發(fā)者。1. 先建立整體印象mmDetection 的網(wǎng)絡(luò)分層思想1.1 檢測器不是一個黑盒而是一條流水線目標(biāo)檢測和圖像分類最大的區(qū)別在于它要同時回答兩個問題物體在哪里定位和物體是什么分類。分類任務(wù)可以干脆利落地拿一個網(wǎng)絡(luò)把圖像映射成類別概率但檢測任務(wù)不行——你既要提取特征又要在特征上做密集的候選框預(yù)測還要對候選框做精修這么多事不可能靠一個單一的“黑盒網(wǎng)絡(luò)”完成。mmDetection 的做法是把這條鏈路拆成幾個職責(zé)清晰的模塊典型結(jié)構(gòu)是Backbone主干網(wǎng)絡(luò)負(fù)責(zé)從原始圖像中提取多層次特征。Neck頸部模塊在 backbone 輸出的多尺度特征上做融合或增強(qiáng)最典型的就是 FPN。Head檢測頭在融合后的特征上做最終的分類和回歸預(yù)測。雙階段檢測器還會拆成 RPN Head 和 RoI Head。Detector檢測器外殼把上面這些模塊拼裝起來同時負(fù)責(zé)訓(xùn)練和推理流程的編排。這個設(shè)計思路很像工廠里的流水線原料圖像先進(jìn)第一道工序backbone粗加工再進(jìn)第二道工序neck做精細(xì)處理最后由檢測頭head完成質(zhì)檢和打包。生產(chǎn)線上的每個環(huán)節(jié)都可以獨(dú)立替換這也是 mmDetection 能支持幾十種檢測器的根本原因。1.2 你一定會見到的幾個“角色”字段翻看任意一份 mmDetection 配置model字段下常見的關(guān)鍵字就那么幾個model dict( typeFasterRCNN, backbonedict(...), neckdict(...), rpn_headdict(...), roi_headdict(...), )單階段檢測器比如 RetinaNet、YOLO 系列通常只有backbone、neck、bbox_head沒有rpn_head和roi_head因為單階段不需要“先提候選框再精修”這兩步直接在特征圖上做密集預(yù)測。多階段檢測器Faster R-CNN、Mask R-CNN、Cascade R-CNN則多出rpn_head和roi_headRPN 先快速篩出一批可能包含物體的候選框RoI Head 再對這些候選框?qū)?yīng)的特征區(qū)域做精細(xì)分類和回歸。這個“粗篩 精修”的思路是雙階段方法在精度上長期優(yōu)于單階段方法的關(guān)鍵原因之一。看到這里你就明白了mmDetection 的model配置不是一個“模型的形狀描述”而是一份組件清單。每個組件都是一個dict里面寫著“我要用什么模塊、參數(shù)是多少”。搞清楚每個組件的參數(shù)含義是理解這份清單的前提。2. 主干網(wǎng)絡(luò) Backbone特征的底層來源2.1 ResNet 配置字段逐項解讀幾乎九成以上的 mmDetection 模型都基于 ResNet。打開一份 Faster R-CNN 配置backbone常常長這樣backbonedict( typeResNet, depth50, num_stages4, out_indices(0, 1, 2, 3), frozen_stages1, norm_cfgdict(typeBN, requires_gradTrue), norm_evalTrue, stylepytorch),這些字段看著簡單但每一個都可能影響你的實驗成敗。depth很好理解50 代表 ResNet-50。很多人會隨手改成 101然后發(fā)現(xiàn)訓(xùn)練速度慢了一大截、顯存爆掉這很正常畢竟更深的主干意味著更大的計算量。改depth之前先掂量一下自己的 GPU。num_stages是 ResNet 的 stage 數(shù)量。ResNet 默認(rèn) 4 個 stage每個 stage 對應(yīng)一個下采樣倍率stage1 輸出 1/4 分辨率特征stage2 是 1/8stage3 是 1/16stage4 是 1/32。這也是out_indices的可選范圍為什么是 0 到 3。out_indices決定 backbone 向外輸出哪些 stage 的特征。(0, 1, 2, 3)表示把四個 stage 的特征全部輸出。如果你是做語義分割或者輕量檢測可能只需要(2, 3)甚至(3,)這樣可以省掉前面階段的輸出計算但對檢測來說多尺度特征很重要一般會全部輸出或者至少輸出后三個。frozen_stages是很多人容易忽略的字段。它表示凍結(jié)前幾個 stage 的參數(shù)不參與訓(xùn)練。默認(rèn)值是 1也就是 stage1 之前的 stem 和 stage1 整個被凍住。這么做的原因是主干網(wǎng)絡(luò)通常使用在 ImageNet 上預(yù)訓(xùn)練的權(quán)重淺層特征邊緣、紋理比較通用不需要在目標(biāo)任務(wù)上重新學(xué)凍結(jié)它們可以省顯存、加快收斂。如果你在任務(wù)上與 ImageNet 差異很大或者數(shù)據(jù)量很少也可以把frozen_stages設(shè)為 0 讓全部參數(shù)都參與訓(xùn)練但這會顯著增加顯存占用和訓(xùn)練時間需要自己權(quán)衡。norm_cfg和norm_eval是一對需要一起理解的概念。norm_cfgdict(typeBN, requires_gradTrue)表示使用 BatchNorm且 BN 層的weight和bias是允許梯度更新的。但注意norm_evalTrue會強(qiáng)制所有 BN 層在訓(xùn)練時也切換到 eval 模式意思是 BN 的均值/方差不更新只更新縮放和平移參數(shù)。這個組合在遷移學(xué)習(xí)里非常常見預(yù)訓(xùn)練 BN 的統(tǒng)計量已經(jīng)足夠好微調(diào)時不更新它們可以有效避免小 batch size 帶來的統(tǒng)計量抖動。如果你自己改網(wǎng)絡(luò)時把 BN 換成了 GroupNorm 之類的記得相應(yīng)調(diào)整這套配置。stylepytorch和stylecaffe的區(qū)別在于 stem 結(jié)構(gòu)。PyTorch 官方實現(xiàn)里 ResNet 的 stem 是一個 7x7 卷積加一個 3x3 的 max poolingCaffe 版本則沒有 pooling或者在第一層卷積上直接 stride2。這個字段影響了 backbone 實際搭出來的結(jié)構(gòu)也決定了加載預(yù)訓(xùn)練權(quán)重的方式通常保持默認(rèn)的pytorch不需要管。2.2 更換主干網(wǎng)絡(luò)時的三個注意點我在實際項目里換過不少 backbone踩過的坑基本集中在三個地方。第一注意out_indices與后面 neck 的in_channels要對齊。比如 ResNet-50 四個 stage 的輸出通道數(shù)是[256, 512, 1024, 2048]如果你換了一個輸出通道數(shù)不同的主干比如某些輕量網(wǎng)絡(luò)輸出[24, 56, 120, 248]那 FPN 的in_channels必須同步修改否則 1x1 卷積的輸入維度直接 mismatch跑起來就是 TypeError。第二預(yù)訓(xùn)練權(quán)重的鍵名匹配問題。mmDetection 加載預(yù)訓(xùn)練權(quán)重時是拿 state dict 的 key 做嚴(yán)格匹配的如果你換了一個結(jié)構(gòu)稍微不同的 backbone比如 ResNet 的 stem 換了那么預(yù)訓(xùn)練權(quán)重里對應(yīng)層的 key 就對不上。這時候你需要在訓(xùn)練腳本里加--cfg-options model.backbone.pretrained...或者用load_from配合strictFalse來忽略不匹配的層。有一次我改了 stem 的結(jié)構(gòu)忘了處理權(quán)重加載結(jié)果訓(xùn)練了 20 個 epoch 后 mAP 一直在 0 附近排查了半天才意識到是預(yù)訓(xùn)練權(quán)重根本沒加載上。這個問題很隱蔽因為訓(xùn)練不會報錯只是精度起不來。第三frozen_stages和norm_eval需要根據(jù)你的 backbone 類型調(diào)整。如果你換了一個沒有 BN 層的 backbone或者用的 BN 在微調(diào)時會產(chǎn)生很大問題保持默認(rèn)配置反而會拖慢收斂。適合初學(xué)者的建議是先保持默認(rèn)配置跑通確認(rèn)架構(gòu)沒問題再去調(diào)這些“精細(xì)化”參數(shù)。3. 特征金字塔 Neck讓不同尺度的目標(biāo)都被看見3.1 FPN 的配置與機(jī)制FPNFeature Pyramid Network是當(dāng)前檢測框架里最常見、也最重要的 neck。它在配置里長這樣neckdict( typeFPN, in_channels[256, 512, 1024, 2048], out_channels256, num_outs5),這份配置的意思是FPN 接收來自 backbone 的四個不同尺度的特征通道數(shù)分別是 256、512、1024、2048經(jīng)過處理后統(tǒng)一輸出 256 通道的特征圖最終向外輸出 5 個尺度的特征。FPN 的核心操作分兩條路徑。自底向上的路徑就是 backbone 本身——分辨率越來越低但語義越來越豐富。FPN 額外加了一條自頂向下的路徑從分辨率最低但語義最強(qiáng)的 stage4 特征開始通過 1x1 卷積統(tǒng)一通道數(shù)然后逐級上采樣與自底向上的特征做逐元素相加。這樣做的效果是高層特征獲得了高分辨率的細(xì)節(jié)信息低層特征獲得了豐富的語義信息每一層都同時擁有“是什么”和“在哪里”兩種能力。目標(biāo)檢測中尺度變化很常見——一張圖里大象可能占半個畫面遠(yuǎn)處的貓只有 20 個像素。沒有 FPN 之前老方法要么只在單一特征圖上檢測對不同尺度很不友好要么在多個尺度上分別跑一遍網(wǎng)絡(luò)計算量爆炸。FPN 用很小的額外計算量就拿到了多尺度的能力這也是它成為標(biāo)配的原因。3.2 配置中的幾個隱蔽細(xì)節(jié)num_outs表示 FPN 輸出的特征金字塔層數(shù)。它通常比in_channels的列表長度多 1比如這里in_channels有 4 個num_outs5意味著除了 backbone 的 4 層特征FPN 還會在最高層1/32 分辨率之上再做一次 stride2 的下采樣額外產(chǎn)生一個 1/64 分辨率的特征層通常叫 P6。P6 對檢測超大目標(biāo)有幫助但如果你處理的任務(wù)里目標(biāo)普遍偏小反而沒必要保留這一層——小目標(biāo)天然在高分辨率特征層上更容易被檢測到。我曾經(jīng)在一個小目標(biāo)數(shù)據(jù)集上測試過把num_outs從 5 改成 4精度反而略有提升因為 P6 層貢獻(xiàn)的全是誤檢。out_channels是 FPN 所有輸出層的統(tǒng)一通道數(shù)。它在后續(xù) head 的in_channels里必須保持一致。很多人改網(wǎng)絡(luò)時只調(diào)了 backbone 的深度忘了 FPN 的out_channels也要匹配 head 的輸入通道結(jié)果又是一堆維度報錯。如果你用的是PAFPNPath Aggregation FPN它會在 FPN 的基礎(chǔ)上再加一條自底向上的增強(qiáng)路徑讓底層細(xì)節(jié)信息也能向上傳遞對小目標(biāo)更友好。配置上的差別是把typeFPN換成typePAFPN同時多了num_outs之外的一些下采樣配置。YOLO 系列檢測器里常用的就是這種結(jié)構(gòu)。經(jīng)驗之談如果項目里目標(biāo)尺寸跨度很大優(yōu)先考慮保留完整的 5 層 FPN如果目標(biāo)普遍偏小可以試試去掉最深層或者在neck后面接一個尺寸較大的特征層做檢測。這類小改動往往比更換 backbone 收益來得更快。4. 檢測頭 Head分類和回歸真正發(fā)生的地方4.1 單階段 dense head 的配置邏輯單階段檢測器的 head 直接在 neck 輸出的特征圖上做密集預(yù)測。以 RetinaNet 為例bbox_head大概是bbox_headdict( typeRetinaHead, num_classes80, in_channels256, stacked_convs4, feat_channels256, anchor_generatordict( typeAnchorGenerator, octave_base_scale4, scales_per_octave3, ratios[0.5, 1.0, 2.0], strides[8, 8, 16, 32, 64]), bbox_coderdict( typeDeltaXYWHBBoxCoder, target_means[0.0, 0.0, 0.0, 0.0], target_stds[1.0, 1.0, 1.0, 1.0]), loss_clsdict( typeFocalLoss, use_sigmoidTrue, loss_weight1.0), loss_bboxdict(typeL1Loss, loss_weight1.0)),核心概念有兩個anchor 的生成和bbox 的編解碼。anchor_generator里的strides指的是特征圖下采樣倍數(shù)也就是該層特征圖上每個像素對應(yīng)原圖上的步長。特征圖的每個像素都會鋪上若干 anchor。octave_base_scale4表示基礎(chǔ)尺寸為 4 像素scales_per_octave3表示在每個“倍頻程”內(nèi)取 3 種尺度ratios[0.5, 1.0, 2.0]表示 3 種長寬比。所以每個像素上RetinaNet 默認(rèn)生成3 (scales) x 3 (ratios) 9個 anchor這些 anchor 覆蓋了不同尺度、不同形狀的目標(biāo)候選。bbox_coder負(fù)責(zé)的是“框的表示方式”。檢測器一般不會直接回歸框的四個坐標(biāo)絕對值而是回歸“相對 anchor 的偏移量”因為直接回歸絕對值太難學(xué)。DeltaXYWHBBoxCoder把真實框轉(zhuǎn)換成相對于 anchor 的(dx, dy, dw, dh)訓(xùn)練時讓網(wǎng)絡(luò)去預(yù)測這四個值。target_stds是歸一化用的標(biāo)準(zhǔn)差RPN 里通常是[1.0, 1.0, 1.0, 1.0]RCNN 精修頭里通常是[0.1, 0.1, 0.2, 0.2]因為精修階段框的偏移量更小用更小的標(biāo)準(zhǔn)差可以讓回歸目標(biāo)放大一些訓(xùn)練更好收斂。這里要提醒一個非常容易踩的坑num_classes一定不要隨便寫。它應(yīng)該等于“目標(biāo)類別數(shù)“不含背景類別。比如你的數(shù)據(jù)集有 10 類物體num_classes就是 10。如果你從別人那里復(fù)制了一份 COCO 的配置里面是 80忘了改訓(xùn)練時 loss 計算、精度評估都會錯得離譜而且往往表現(xiàn)出一種“l(fā)oss 降了但 mAP 極低”的詭異狀態(tài)。4.2 雙階段 RPN Head RoI Head 的配合雙階段檢測器把檢測頭分成兩個階段這是它在精度上更“講究”的地方。RPNRegion Proposal Network的作用是快速生成候選框。它在每個特征層上做一次二分類有沒有物體和一次粗回歸挑出幾千個候選框再通過 NMS 篩到幾百個。RPN 本身并不知道框里是什么類別它只負(fù)責(zé)“這里可能有東西”。這個設(shè)計來自人類視覺的一個直覺先快速掃一遍場景鎖定可疑區(qū)域再仔細(xì)看清每個區(qū)域里到底是什么。RoI Head 則是真正的“精修專家”。它對 RPN 給出的每個候選框用RoI Align從特征圖上摳出對應(yīng)的區(qū)域特征然后統(tǒng)一縮放到固定尺寸比如 7x7送到全連接層里做分類和精細(xì)回歸。RoI Align 是雙階段方法里特別重要的組件。在它之前RoI Pooling 用的是兩次量化取整會引入像素級的偏差對小目標(biāo)尤其不友好。RoI Align 用雙線性插值避免了量化誤差這也是 Mask R-CNN 之后幾乎所有雙階段方法都默認(rèn)使用 RoI Align 的原因。配置里對應(yīng)的字段是roi_headdict( typeStandardRoIHead, bbox_roi_extractordict( typeSingleRoIExtractor, roi_layerdict(typeRoIAlign, output_size7, sampling_ratio0), out_channels256, featmap_strides[4, 8, 16, 32]), bbox_headdict( typeShared2FCBBoxHead, in_channels256, fc_out_channels1024, roi_feat_size7, num_classes80, ... ), )這里有個細(xì)節(jié)roi_layer里的output_size7和bbox_head里的roi_feat_size7必須一致。output_size決定 RoI Align 輸出特征圖的高寬roi_feat_size決定后面全連接層的輸入尺寸。如果你把output_size改成了 14roi_feat_size還留著 7那全連接的輸入維度就會對不上。這種錯誤在改網(wǎng)絡(luò)時特別容易出現(xiàn)因為報錯信息往往發(fā)生在網(wǎng)絡(luò)前向的最后階段定位起來比較費(fèi)時間。雙階段方法還有一個隱含的好處RPN 已經(jīng)把絕大多數(shù)背景框篩掉了RoI Head 處理的候選框數(shù)量遠(yuǎn)少于單階段密集檢測的 anchor 數(shù)量所以分類器學(xué)起來更容易精度自然更高。代價就是推理速度慢不少畢竟多跑了一輪網(wǎng)絡(luò)。到這一步你應(yīng)該也理解了為什么單階段與雙階段的配置結(jié)構(gòu)有那么大差異——本質(zhì)上就是“一次到位”和“由粗到精”兩種思路的區(qū)別。5. 一個最小但完整的檢測器配置逐行拆解5.1 用 Faster R-CNN 走一遍完整配置我不會讓你去對著論文看結(jié)構(gòu)直接拆一份實際的 Faster R-CNN 配置把它當(dāng)成一張“JSON 地圖”逐段翻譯。完整的model配置長這樣model dict( typeFasterRCNN, backbonedict( typeResNet, depth50, num_stages4, out_indices(0, 1, 2, 3), frozen_stages1, norm_cfgdict(typeBN, requires_gradTrue), norm_evalTrue, stylepytorch), neckdict( typeFPN, in_channels[256, 512, 1024, 2048], out_channels256, num_outs5), rpn_headdict( typeRPNHead, in_channels256, feat_channels256, anchor_generatordict( typeAnchorGenerator, scales[8], ratios[0.5, 1.0, 2.0], strides[4, 8, 16, 32, 64]), bbox_coderdict( typeDeltaXYWHBBoxCoder, target_means[0.0, 0.0, 0.0, 0.0], target_stds[1.0, 1.0, 1.0, 1.0]), loss_clsdict( typeCrossEntropyLoss, use_sigmoidTrue, loss_weight1.0), loss_bboxdict(typeL1Loss, loss_weight1.0)), roi_headdict( typeStandardRoIHead, bbox_roi_extractordict( typeSingleRoIExtractor, roi_layerdict(typeRoIAlign, output_size7, sampling_ratio0), out_channels256, featmap_strides[4, 8, 16, 32]), bbox_headdict( typeShared2FCBBoxHead, in_channels256, fc_out_channels1024, roi_feat_size7, num_classes80, bbox_coderdict( typeDeltaXYWHBBoxCoder, target_means[0.0, 0.0, 0.0, 0.0], target_stds[0.1, 0.1, 0.2, 0.2]), reg_class_agnosticFalse, loss_clsdict( typeCrossEntropyLoss, use_sigmoidFalse, loss_weight1.0), loss_bboxdict(typeL1Loss, loss_weight1.0))) )我們來一步一步地看。typeFasterRCNN是檢測器外殼的類型它決定了訓(xùn)練流程怎么編排、前向推理走哪條路。backbone是 ResNet-50輸出四層特征neck是 FPN把四層特征統(tǒng)一成 256 通道的 5 層金字塔rpn_head在每層特征上生成scales[8]和 3 種寬高比組合出的 3 個 anchor實際 RPN 一般是 3 個因為scales只有 1 個值、ratios有 3 個roi_head用 RoI Align 提取候選框特征然后通過兩層全連接做分類和邊界框精回歸。一個需要注意的對應(yīng)關(guān)系rpn_head的anchor_generator.strides[4, 8, 16, 32, 64]有 5 個值和neck的num_outs5一一對應(yīng)。如果 FPN 輸出層的數(shù)量或者這些層對應(yīng)的 stride 變了這里必須同步修改。這個對應(yīng)關(guān)系在改num_outs時很容易漏掉出錯的表現(xiàn)是 RPN 在某個特征層上找不到匹配的 anchor 配置直接報錯。bbox_head里的reg_class_agnosticFalse是一個值得理解的字段。False意味著回歸分支為每個類別各預(yù)測一組邊界框偏移量框修正得更精細(xì)但參數(shù)量也更大最后的全連接層輸出維度從 4 變成4 * num_classes。True則表示所有類別共用一組回歸參數(shù)參數(shù)量小、速度更快但精度有輕微損失。實際小數(shù)據(jù)集項目里我一般會保持默認(rèn)False這也是官方配置的選擇。5.2 從配置到模型的實例化流程配置里的dict最終是怎么變成可執(zhí)行的網(wǎng)絡(luò)模塊的mmDetection 的答案是讀取type字段去對應(yīng)的注冊表里找到這個類的定義把剩下的參數(shù)作為關(guān)鍵字參數(shù)傳進(jìn)去完成實例化。這條鏈路的起點是from mmdet.models import build_detector model build_detector(cfg.model, test_cfgcfg.get(test_cfg))build_detector展開之后實際就是調(diào)用了build_from_cfg先根據(jù)model.type拿到FasterRCNN這個類然后創(chuàng)建backbone、neck、rpn_head、roi_head這些子模塊再全部作為參數(shù)塞進(jìn)FasterRCNN的構(gòu)造函數(shù)。子模塊的構(gòu)建方式也是一樣的——讀各自的type找注冊表實例化。這套機(jī)制的好處是你不需要寫一堆if backbone resnet50: return ResNet()之類的分支代碼。所有模塊都把自己注冊到一個全局字典里配置里寫什么type框架就找什么類。這也是為什么你需要看mmdet/models/backbones/resnet.py源碼時在文件末尾總會看到一句BACKBONES.register_module() class ResNet(nn.Module): ...如果你調(diào)試網(wǎng)絡(luò)結(jié)構(gòu)時想知道某個中間結(jié)果的 shape最簡單的辦法是在對應(yīng)模塊的forward里打印x.shape。因為模塊都是直接通過配置構(gòu)建的打斷點也好、加打印也好都和你自己寫的一個普通 PyTorch 模型沒有區(qū)別這也是 mmDetection 對新手比較友好的地方。6. 網(wǎng)絡(luò)的可定制性注冊器機(jī)制與自定義組件6.1 注冊器機(jī)制到底做了什么這一節(jié)可能是 mmDetection 全網(wǎng)架構(gòu)里最“勸退”也最有價值的部分。注冊器Registry本質(zhì)就是一個“類名到類的映射表”但它的巧妙之處在于把“注冊”這件事做成了裝飾器。當(dāng)你新建一個自定義 backbone代碼大概是這樣的from mmdet.models.builder import BACKBONES BACKBONES.register_module() class MyBackbone(nn.Module): def __init__(self, arg1, arg2): super().__init__() self.arg1 arg1 self.arg2 arg2 ... def forward(self, x): ... return outs只要這個文件被 import 過MyBackbone就會被自動寫進(jìn)BACKBONES這個注冊表。之后你在配置里寫backbonedict( typeMyBackbone, arg1..., arg2...)框架構(gòu)建時就會執(zhí)行BACKBONES.get(MyBackbone)找到這個類然后用arg1和arg2作為參數(shù)實例化。我強(qiáng)烈建議你搞清楚mmdet/models/builder.py里那幾十行代碼里面定義了BACKBONES、NECKS、ROI_EXTRACTORS、HEADS、DETECTORS等注冊表。搞清楚這些注冊表的名字你就知道自己的模塊應(yīng)該注冊到哪里新主干網(wǎng)絡(luò) →BACKBONES.register_module()新特征融合模塊 →NECKS.register_module()新檢測頭 →HEADS.register_module()新檢測器外殼 →DETECTORS.register_module()這個機(jī)制是 mmDetection 支持復(fù)用的核心。也正是因為注冊器的存在你會發(fā)現(xiàn)很多模塊的內(nèi)部實現(xiàn)可能不一樣但只要它們注冊到同一個表里、接口一致就能無縫替換。這就是“配置驅(qū)動”的真正含義。6.2 自定義組件時最常見的三個坑我見過太多人卡在自定義這一步基本都是三類問題。第一類配置里寫了typeMyModule運(yùn)行時報KeyError: MyModule is not in the ... registry。原因幾乎總是你雖然寫好了類和裝飾器但這個文件沒有被導(dǎo)入。mmDetection 默認(rèn)只會導(dǎo)入mmdet/models/__init__.py里的東西你自己新建的.py文件如果不被任何__init__.pyimport注冊表里就沒有它。解決辦法是在對應(yīng)的__init__.py里加一行from .my_module import MyBackbone。這行代碼不直接做事但它觸發(fā)文件執(zhí)行裝飾器才算生效。第二類build_from_cfg報類型不匹配。這通常是因為你的模塊__init__里聲明的參數(shù)名和配置 dict 里的 key 不一致或者_(dá)_init__的參數(shù)沒有給默認(rèn)值導(dǎo)致cfg里的參數(shù)匹配不上。調(diào)試方法很簡單在模塊的__init__里打一個斷點看實際收到的 kwargs 是什么。第三類改了網(wǎng)絡(luò)結(jié)構(gòu)后加載預(yù)訓(xùn)練權(quán)重報錯。這與注冊器沒關(guān)系但最容易讓人心態(tài)爆炸。報錯信息一般是size mismatch for ...。原因很簡單預(yù)訓(xùn)練權(quán)重的層和你的新網(wǎng)絡(luò)層不完全對應(yīng)。規(guī)范做法是在配置的load_from里指定預(yù)訓(xùn)練權(quán)重然后訓(xùn)練腳本里用--cfg-options把model.train_cfg相關(guān)的嚴(yán)格加載關(guān)掉或者在代碼里調(diào)用load_state_dict時設(shè)置strictFalse。不過要注意strictFalse是一個有風(fēng)險的操作它會靜默忽略缺失的層有時候反而掩蓋了真正的維度錯誤。我的建議是加載報錯后先明確搞清楚哪些層不匹配確認(rèn)是預(yù)期的結(jié)構(gòu)差異再關(guān)掉嚴(yán)格模式。7. 自主修改網(wǎng)絡(luò)架構(gòu)的實操經(jīng)驗7.1 一次“換主干加檢測頭”的完整過程假設(shè)你想把默認(rèn)的 ResNet-50 backbone 換成一個新的輕量網(wǎng)絡(luò)再在 FPN 后面加一個小模塊具體可以怎么做我會分步驟介紹這套流程我自己反復(fù)用過很多次是通用的。第一步新建一個文件mmdet/models/backbones/my_backbone.py或者放在你自己的插件目錄里實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)。不需要從頭寫卷積層復(fù)用torchvision或timm里的現(xiàn)成模型也行只要保證forward返回一個 tuple 或者 list里面是不同 stage 的特征圖。然后在文件末尾加上BACKBONES.register_module()。第二步注冊。在mmdet/models/backbones/__init__.py里導(dǎo)入這個文件。注意__init__.py的順序不影響執(zhí)行結(jié)果只要有 import 語句就夠了。第三步改配置。把backbone里的type改成你的類名并根據(jù)你的網(wǎng)絡(luò)實際輸出通道數(shù)調(diào)整out_indices和后面neck.in_channels。一個常見做法是先在骨干網(wǎng)絡(luò)內(nèi)部做一次print(outs.shape)跑一次單 batch 的前向確認(rèn)輸出維度和預(yù)期一致再改配置。這一步能幫你省大量排查時間。第四步改neck和head的通道數(shù)使其與 backbone 輸出對齊。如果你只是換了depth而沒有換結(jié)構(gòu)這一步甚至可以不動如果你換了完全不同的網(wǎng)絡(luò)那么in_channels必須改。同時檢查一下rpn_head的strides和roi_head里featmap_strides是否和你的 FPN 輸出層級 match。第五步處理預(yù)訓(xùn)練權(quán)重。如果新 backbone 有預(yù)訓(xùn)練權(quán)重用load_from指定如果結(jié)構(gòu)差異很大用轉(zhuǎn)換腳本先對齊狀態(tài)字典里的 key實在對齊不了的才考慮strictFalse。整個過程聽起來繁瑣但這就是科研里最常見的“改配置迭代”流程。跑通一次之后你會覺得靈活度很高所有組件的替換邏輯其實都是一樣的。7.2 常見問題排查速查表我把實際項目里高頻出現(xiàn)的報錯和解決辦法整理如下現(xiàn)象原因解決辦法KeyError: xxx is not in the ... registry模塊沒有注冊確認(rèn)xxx.register_module()存在且文件被 import前向時報size mismatch某個模塊的輸入輸出通道數(shù)不一致檢查 backbone 輸出通道、neckin_channels、headin_channelsRoI Align相關(guān) shape 錯誤roi_layer.output_size和roi_feat_size不一致保持兩個值一致并檢查 head 里 fc 層的輸入維度加載權(quán)重時報size mismatch新網(wǎng)絡(luò)和預(yù)訓(xùn)練權(quán)重結(jié)構(gòu)不同調(diào)整 key 對齊必要時設(shè)置strictFalse訓(xùn)練 loss 為 NaN學(xué)習(xí)率太大或正則化設(shè)置不當(dāng)降低學(xué)習(xí)率檢查norm_cfg設(shè)置排查數(shù)據(jù)是否存在異常值改了num_classes但評估結(jié)果異常類別數(shù)不匹配確認(rèn)num_classes等于數(shù)據(jù)集的類別數(shù)量不含背景類顯存溢出batch size 過大或 backbone 過深減小 batch size降低輸入分辨率考慮使用更淺的 backbone還有一個容易被忽略的問題很多人會直接修改官方配置里的model字段但配置繼承時沒有處理好。如果一份配置用了_base_繼承另一個配置你在子配置里寫了新的model那么整體 model dict 會替換掉 base 里的 model而不是做深層的逐 key 合并。如果你只是想覆蓋某一項比如只改num_classes正確的寫法是寫一個modeldict里面只放需要覆蓋的字段嗎不對——mmDetection 的配置繼承只做頂層 dict 的合并所以你要改model.roi_head.bbox_head.num_classes最安全的做法是把整條鏈路都寫全modeldict(roi_headdict(bbox_headdict(num_classes10)))。從頂層開始每一級都給出 dict避免合并時悄悄丟了其他字段。我在早期因為這個機(jī)制吃過虧只寫了modeldict(roi_headdict(bbox_headdict(num_classes2)))結(jié)果整個roi_head被替換成了只有bbox_head的 dict跑起來一堆配置缺失。搞清楚配置繼承規(guī)則能幫你少折騰很多個晚上。最后聊幾句我在實際使用這個框架的過程中體會到mmDetection 的網(wǎng)絡(luò)架構(gòu)設(shè)計最值得學(xué)習(xí)的反而不是某個檢測算法本身而是它這套模塊拆分 注冊機(jī)制 配置驅(qū)動的組裝理念。剛開始學(xué)的時候別急著追求理解每個算法的數(shù)學(xué)細(xì)節(jié)先學(xué)會“看配置猜結(jié)構(gòu)”拿到一份配置在腦子里過一遍 backbone 的輸出是什么形狀、neck 怎么融合、head 在哪一層做分類和回歸基本上網(wǎng)絡(luò)就活了。等你改過幾次 backbone、加過幾次自定義模塊之后再回頭看那些論文里的檢測器會發(fā)現(xiàn)它們之間的距離其實沒有想象中那么大。最后再分享一個小技巧如果你想快速驗證某個 backbone 改動到底效果如何不需要把整個訓(xùn)練流程跑完。先拿一個很小的數(shù)據(jù)集、只訓(xùn)練幾個 epoch觀察 loss 的下降趨勢和大致精度心里有數(shù)了再上全量數(shù)據(jù)。這個階段跑得快迭代才會快。祝你的實驗早日跑通指標(biāo)早日漂亮起來。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
热99免费在线| 国产精品成人网址| 久久9久久| 婷婷精品性性性性性性性| 99热这里有精品| 成人在线视频网| 五月婷婷久久大香蕉| 任你弄在线视频免费| 六月婷五月丁香| www五月| 97色色色色色色色| 操大屄五月天视频| 久热免费| 91黄址| 开心激情网五月| 激情婷婷在线| 九九re精品视频在线观看| 狠狠爱丁香婷| 91丨九色丨高潮丰满日本| 人人干99| 五月天婷婷在线视频| 精a品a视a频| 精品人妻伦九区久久AAA片| 色亚洲视频| 日本一级黄色片。| 91凹凸在线| 色欲五月婷婷| 日韩精品AV一区二区三区| 丁香婷婷免费| 日本在线wwww| 能看的av| 免费久久这里只有精品99| 淑女丝袜bi操逼123| 五月婷婷综合激情小说| 丁香五月手机在线| 五月丁香综合激情网| 男人天堂99| 香蕉久久国产AV一区二区| 九九精品免费| 99国产这里只有精品| 三级99热| 国产精品色| www,婷婷五月天777me,com| 色狠狠色综合久久久绯色aⅴ影视| 狠狠干思思热| aaaaa黄色| 99这里有精品| 天天射影院| 婷婷第六色| 26uuu国产| 俺也去综合| 性爱网六月丁香| 婷婷丁香五月亚洲| 婷婷 月 丁香| 六月婷婷深深爱| 激情98色婷婷五| 久久婷婷五月综合| 婷婷五月 丁香六月| 五月天激情美女久久| 五月天成人在线视频网站| 99干日本| 色网站9| 九九色影视| 伊人超碰| 激情欧美婷婷| 一本色道久久88加勒比—| 五月丁香成人网| 日韩色五月| 婷婷六月色| 大地资源色婷婷视频在线| 思思热久久爱| 天堂爱爱| 久久精品63| 无码少妇高潮喷水A片免费| 九九热这里只有精品6| 青青操绿aaa一区日v| 青青色com久久| 九九大香视频| 国产午夜一区二区三区| 草AV9999| 99思思在线视频| 天堂网操| 婷婷五月丁香伊人| 99热这只有| 激情亭亭五月| 久久久久视剧HD| 久久这里有精品| 久久人妻乱| 深爱网深爱综合网| 激情深爱综合| 久一网站| 日本久久9| 国产精产国品一二三在观看| 大香蕉综合网| 精品人妻一区| 激情网婷婷婷| 艾小青av| 五月丁香久久久| 超碰人妻在线| 久久久久人妻| 婷婷五月综合激情免费视频| 久热中文字幕在线线观看 | 五月天久久综合婷婷丁香| 欧美色婷婷| 激情综合婷婷久久| 新激情综合| 久久婷婷超碰| 久久综合五月天激情小说网站| 色欧美影院| 开心五激情网| 天天上天天爽| 日日天天操| 异能之下短剧免费观看全集| 九九色之九九色之88| 伊人大香蕉爱聚| 风流少妇A片一区二区蜜桃| 99只有这里有精品在线视频| 五月丁香淫淫婷婷婷| 婷婷5月天av| 91九九| 五月婷婷狠狠干| 久碰综合| 国产色网站| 婷婷丁香五月天色色| 欧美三级巜人妻互换| 丁香五月天啪啪| 国产免费一区二区三州老师F1F1| 91久久五月天| 五月婷婷五月天| 久热这里| 99热这里只有精品免费| 婷婷色操| 婷婷五月天色色| 91超级碰在线| 色婷婷视频| 蜜桃成语时李时珍 免费| 色久综合| 国产高潮白浆一区二区| 日本精品干| 五月天久久www| 成人国产综合| 五月天激情中文字幕| 欧洲不卡视频| 五区毛片七区毛片| 轮奸综合网| 97人人操人人| 天堂色婷婷| 超碰猛烈的性猛交| 玖玖热视频| 六月婷婷综合| 99精品网| 五月天激情网图片| 日本www免费九九| 五月天婷婷丁香成人网| 久久婷婷六月综合综合| 久久资源综合| 色噜久| 丁香五月综合久久| 99热九九这里只有精品| 丁香五月丁香伊人| 久久婷婷综合国产| 色色色综合网| 在线中文字幕免费视频| 天堂资源欧日浪女在线播放| 亭亭五月丁香综合欧美| 欧美va亚洲va在线播放| 五月天com| 激情五月色婷婷| PORNY九色9l自拍视频成人| www.99热在线观看| 国产精自产拍久久久久久蜜 | 激情五月天视频| 操99| 欧美婷婷色| 久久AV无码精品人妻系列试探| 伊人五月婷| 久99久视频精选| 91xxxx九色| 91久久九久久九久久九久久九久久| 五月丁香精品| 97婷婷丁香五月天激情图片| 色婷狠狠| 色啪影院| 国内精品99| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 色香蕉影院| 天天爽夜爽| 天天躁日日躁狠狠躁日日躁2022年5月9日| 欧美色碰| www.久久五月天.com| 草逼大片| 丁香五月天啪啪| 国产伦亲子伦亲子视频观看| 在线资源av-超碰中文在线-成人AV| AA丁香综合激情| 97婷婷丁香五月| 九九热在线精品| 婷婷五月天综合在线| 五月丁香网站| 中文字幕日韩成人| 五月丁香六月婷婷婷婷| 99精品视频免费观看| 五月天激情小说| 玖玖综合色区在线观看| 色播五月婷婷| 天天做天天爽| 九九伊人网| 91九色无码内射| 俺来也综合网精品一区| 色日本网| 亚州婷婷五月激情综合| 99爱这里只有精品免费视频| 青青色com久久| 天天插天天插天天插天天插| 色图亚洲91| 婷婷五月天人妻| 亚州欧美国产久精国产99综合视频| 高清无码视频网址| 婷婷第一页| 涩五月婷婷| 激情丁香五月婷婷| av大片在线| 色欲久久久久久综合网综合网| 91操人| 五月激情网站| 国产毛片精品一区二区色欲黄A片 99国产在线精品视频 | 亚洲亚洲人成综合网络| 婷婷丁香激情综合色情| 人人干av| 欧美三级视频| 丁香六月婷婷色XXXX| 国产成人av在线播放| 国产精产国品一二三在观看| 丁香五月天在线观看视频| 婷婷日日夜夜| 五月天丁香久久综合| 狠狠综合| 91操人视频| 欧美色色日韩| 五月婷婷久草在线视频综合| 96自拍视频九色在线观看| 婷婷色在线观看| 丁香五月婷婷在线| 丁香香蕉婷婷| 美女五月天| 色欲一区二区三区精品A片 | 人人操人| 人人爱人人添| 久久久潮喷-久久久九九-成人AV| 日本本土色网第一区| 另类图片色五月| 97精品综合久久内射| 久热这里只有精品99re,久热这里只有精品7 | 婷婷五月丁香五月| 插插插丁香五月婷婷| 欧美综合123区| 欧美色色日韩| 开心五月深爱五月| BlACKEDRAW视频一区二区| m色激情网| 久99热在线观看| 综合激情五月丁香| 亚洲av电影在线| 国产欧美精品AAAAAA片| 人妻内射麻豆视频| 精品一二三区久久AAA片| 99热销国产这里有精品| 婷婷狠狠97| 久久久久久久久久婷婷| 天天久| 99热10在线高清播放| 久久狠色噜噜狠狠狠狠97| 熟女激情网| www.婷婷五月| 婷婷开心深爱五月天| 色五月激情| 一区三区视频有限公司| 超碰免费99| 五月天丁香网站| 五月丁香网站| 久月婷婷| 91啪啪| 思思99精品视频在线观看| 大香蕉人妻| 六月色日韩| 二色av| 国产色婷婷亚洲| 99热精品在线观看| 开心婷婷五月花| 97人人草| 丁香婷婷在线| 99热在线看片| 久色视频| 天天檫天天爽| 99干99| 欧美日韩成人一区二区| 六月婷婷天天操夜夜爽视频| 国产日产亚系列精品版优势| 日韩欧美一级大黄网站| 综合99久久天天综合| 国产精品社区| 欧美韩日AAA网站| 欧美日本不卡黄色片| 第四色婷婷丁香五月| 五月婷免费视频| www.五月婷婷久久.com| 五月婷婷中字在线| 99干在线视频| 狠狠色婷婷7777久| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 六月丁香五月婷婷| 色婷婷丁香五月色综合网| 丁香五月伊人| 久草大| 久1色色| 人妻免费网站| 99色视频| 日日日日操| 色噜噜97视频在线观看| 青青草成人网| 天天操狠狠操| 日韩九九视频| 任你干线上免费视频有3吗| www.99热在线| www婷婷亚洲| 99在线爽| 专区无日本视频高清8| 五月花婷婷丁香| 日韩精品无码AV| 久久久18| 六月婷婷久久大全| 综合激情伊人影视在线| 玖玖伊人网| 在线播放中文字幕| 九九精品视频在线6| 免费AV在线| 激情小说五月天| 五月婷婷精品无在线| 欧美日韩国产一区| 日本激情综合| 激情五月天丁香| 丁香五月激情视频在线| 婷婷五月综合激情| JlZZJlZZ8JlZZ亚洲熟女| 九九色色| 五月丁香狠狠| 五月天五月色婷婷综合| 色婷婷狠狠| 91ncom.色| 婷婷五月 丁香六月| 激情婷婷五月天| 色婷婷大香蕉| 极品五月天| 99碰碰视频| 综合色图婷婷| 高清无码入口| 猫咪伊人久久| 五月丁香在线看| 91色色色| 五月激情综合性爱| 9色婷婷| 另类图片色五月| 99青青草| se99在线| 日韩在线视频网站| 五月天堂色色| www.色五月| 日本三级日本三级99| 五月天电影网| 色婷婷4| 97色欧美| 欧美伊人9| 97人碰人操| 色日本五月天| 97香蕉碰碰人妻国产欧美| 激情五月狠狠| 99在线观看这里都是精品| 9999热精品| 国产午夜精品AV一区二区麻豆| 亚洲AV日韩无码| 五月婷婷真爱激情网| 99热在线99| 亚韩在线视频| 丁香五月综合激情性爱| 五月丁香六月婷婷综合| 久久五月天 91| 色五月激情五月| 26UUU欧美| 玖玖婷婷综合| 99久在线精品99re5热视频| 蜜乳国产网站| 丁香五月婷婷亚洲另类| 色插综合网| 伊人大香五月天| 98色花堂98t.R| 久热久操久热久草国产91| 久久婷婷六月综合国际| 日韩在线观看网址| 亚洲成人AV高清字幕| 99久re热视频精品98| 国产精品电影网| 五月婷婷综合丁香视频| 99热这里只有精品首页| 99爱视频在线播放| 五月天婷婷激情在线色图| 狠狠草综合网| 久热A| renrencaoav| 欧美va国产va| 婷婷五月精品在线| 天天操,夜夜骑| www.婷婷,com| 婷婷激情五月天在线| 五月天夜夜爱夜夜操| 激情五月婷婷伊人| www.五月天婷婷姐姐| 五月婷庭丁香在线| 婷婷丁香激情五月天色色| 天天爽曰日爽| 婷婷色5月激情网| www.五月天。com| 激情综合激情五月| 激情色视频| 亚洲激情免费视频观看| 夜色综合网| 国产97色在线| 性综合网| 97caop| 七月丁香婷婷 色色| 中文字幕乱码亚洲精品一区| 色色色com| 淫视馆av三区| 国产免费av在线| 1024你懂的欧美曰韩| 综合网狠狠| 丁香婷婷色九月| 九九色色网| 99久久综合| 操笔无码| 这里只有精品9| 天天爽夜夜爽夜夜爽精品视频| 色播五月网| 中文字幕AV网址| 怡红院视频| 99热精品在线播放| 久久丁香网| 熟女啪啪视频| 久久大香蕉同僚| 97碰碰视频在线观看| 丁香五月激情宗合网| 久/久精品99看9| 六月丁婷婷| 五月婷婷插一插| 色五月五月婷婷| 九九99精品视频在线观看| 免费看欧美成人A片无码| 91超级碰碰碰| 亚洲xx在线| 9热久久| 九月丁香亭亭| 伊人婷婷五月| 激情久久久久久久久久| 欧美99| 中文字幕无码AV| 综合久久综合五月天婷婷| 久久婷婷久久| 婷婷亚洲丁香五月| 色五月五月婷婷| 色香欲综合| 欧美顶级少妇做爰HD| 色婷婷亚洲综合网站| 国产肏屄大片| 伊人丁香五月| 五月婷婷啪啪啪| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 五月四色婷婷| 玖玖色综合网| 99热人人艹| 久久人人超| 森林影视大全,最好看的2019年视频 | 五月天狠狠网站| 人妻肉射免费观看| 色婷| 极品五月天| 五月天丁香六月综合| 亚洲情a| 五月丁香六月香香蕉| 国产av一区二区三区| 亚洲激情综| 玖操97| 激情四射网| 激情 久久 婷婷| 丁香五月天天| 亚洲成人乱码av网站| 九九热10| 激情五月狠狠喔| 狠色狠色狠狠色综合网| 思思精品热在线| 久久久月丁香| WWW五月天| www.夜夜操.con| 99噜噜噜在线播放| 99热国产国产| 婷婷五月天色综合翘| 丁香五月手机在线| 第四色色色色色丁香五月天| 99热在线观看免费精品| 婷婷五月无码| 婷婷深爱五月天| 天天做天天爱天天玩| 热久久99热欧美国产亚洲| 99精品在线观看视频| 九九热狼人| 丁香婷婷网| 99热精品中文字幕| 九色亚洲| 丁香六月亚洲| 综合网色| 五月五婷婷网| 九九热中文| 精品导航在线x不卡| 精品综合久久久久久五月天| 大香蕉综合| 五月婷婷丁香六月| 特级西西4444www无码| 刘玥av在线| 5月激情天| 五月天婷综合| 亚洲mm免费| 嫩BBB搡BBBB榛BBBB| se.久久视频在线观看| 九九热这里只有国产精品| 这里只有精品视频免费在线观看| 婷婷五月香蕉| 99久在线精品| 国产激情在线| 99啪啪网| 综合色网站| 99热97| 亚洲黄色网址| 五月丁香色婷| 丁香五月激情图片婷婷| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 五月婷婷激情四季| 日韩aaa| 日本综合久久| www.91婷婷| 人妻激情视频| 丁香五月天.com| 99九精品| 五月综合丁香婷婷| 综合久久五月天| 一区二区乱码视频| 久久婷婷亚洲| 色婷婷六月| 丁香五月婷婷久久综合激情网| 欧美三日本三级少妇三99| 天堂爱啪啪| 在线观看免费狠狠色丁香香综合| 9l视频自拍九色9l视频在线观看| 综合99视频| 一级二级色大片| 67194中文字幕| 综合激情在线视频| 九九视频在线| 丁香五月色播中文在线播放| 欧美性生交XXXXX无码小说| a69在线视频| 国产一区二区三区影院| 综合深爱五月| 香蕉97碰碰碰超视精品| 中文字幕av久久爽一区| 色五月激情视频在线综合| 亚洲色网络| 性爱在线播放av| 亚洲国产精品VA在线看黑人 | 色婷婷成人丁香| 激情综合五月婷婷| 婷婷成人小说综合| 色99视| 亚欧州精品视频| 五月丁香婷婷久久| 欧美大肥婆大肥BBBBB| 激情丁香五月激情婷婷| www婷婷色| www,天天干| 97干在线播放| 婷婷中文字幕| 成人五月天视频播放| 日韩在线一级| 婷婷成人视频| 丁香美女主播视频在线观看| 超碰无码318604| 九九99精品视频| 欧洲激情网站| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | 色五月天激情| 婷婷五月天va| 一本到不卡高清DVD| 这里只有精品视频在线| 久久最新色色色| 丁香婷婷老熟女综合网| 九色无码| 五月丁香激情婷婷综合字幕| 成人AV网站在线| 五月丁香成年黄色| 99精品在线| 人人摸人人操人人爽| 国产高清RV综合aVa| 亚洲成人在线在线| 日日色综合| 最新日本A片| 丁香五月婷婷激情蜜桃| 大香蕉网站,大香蕉综合| 天天插天天干| 五月丁香婷婷激情澎湃四射| 丁香五月91| 精品久久久91久久影视网| 色情成人五月天| 激情五月开心五月在线视频| 91碰碰碰久久久久| 九九这里都是精品| 五月亭亭六月天| www,超碰| 国产古装妇女野外A片| 婷婷五月六月| 精品视频99看在线视频| ′久久99一| av高清无码| 久9精品视频| www.色婷婷。com| 色五月激情综合| 激情小说五月天| 91精品综合久久久久久五月丁香| 丁香六月天AV| 超碰免费电影| 99re思思热久久| 久久人妻视步| 丁香五月婷婷姐| 欧美日韩成人一区二区| 久久久久久久久月丁| 国产精品爽爽久久久久久| 久久综合五月天| 久久久精品人妻| 久1色色| 婷婷五月色综合| 9热在线| 性爱久久| 激情五月天色色网| 久久久久久性爱视频| 国内婷婷丁香社区在线播放| 91日精品| 成人片黄网站色大片免费毛片| 午夜免费试看| 99精品无码| 免费久久这里只有精品99| 天天综合网91| 婷婷色色欧美| AV在线不卡网站| 日本啪啪视频HD| 婷婷金品综合视频| 伍月婷丁香花全集| 激情综合婷婷| 精品成人久久久久久久_一二三四视| 最新日韩AV中文字幕| 色色婷婷五月| 可以直接看的av| 中文字幕,综合,91| 国产精品A片| 色婷婷成人在线| 久久久思思热| 777色婷婷爱五月| 五月婷婷久久久| 96色婷婷| 五月黄色婷婷| 超碰一区二区| 亚洲99热| 亚洲深喉aV| 国产精品18久久久| 久久激情综合| 色婷五月| 中文字幕永久在线| av九九| 超碰成人免费| jiZZdr| 激情五月天电影| 色碰碰视频| www.99精品在线| 欧美日韩成人高清在线| 99性爱| 色色色热| 婷婷五月天综合AV| 欧日韩成人| 在线看片av| 婷婷丁香97| 丁香香蕉婷婷| 丁香五月婷婷偷拍| 激情综合网五月| www.久9| 日本天堂免费99| 色婷婷超碰| 色碰碰| 9福利性视频欧美| 婷婷综合色图| aaaaa不卡| WWW夜夜| 亚洲五月婷天天操| 久久久久人妻精选| 婷婷久久六月天| 丁香五月天天| 欧美五月丁香在线观看| 五月天精品综合| 成人丁香婷婷| 99亚洲日韩| 五月激情在线| 狼人久草| 五月天社区| 丁香五月天之婷婷影院| 无码人妻AV久久久一区二区三区| 天天爽天天操| jiZZdr| 欧美性色A片免费免费观看的| 影音先锋美国A| 九月停停| 狠狠色噜噜狠狠亚洲A∨| 69久久久| 婷婷精品在线| 婷婷另类开心| 婷婷五月天BBw| 夜夜爽天天爽| 六月丁香av| 久久只有18视频| 欧美顶级少妇做爰HD| 一级内射毛片| 国产九九一区二区三区| 五月婷婷免费在线| 丁香五月综合在线播放| 久久这里只精品| 久热这里只有精品99re| 婷婷中合| 91综合在线视频| 狠狠草天天草| 99热这里只有精品最新| 欧美在线操| 成人精品视频99在线观看免费| 99国产在线精品视频| 欧美日韩日韩成人| 任你爽视频| 久久久国产精品黄毛片| 成人在线视频男人的天堂4399| 黄色三级日本| 亚洲、热| 久久视频婷婷视频| 爱99干99| 中文字幕九九九九| 另类小说五月天激情| 91视频五月丁香| 夜精品无码A片一区二区蜜桃| 综合久久综合综合| 六月婷婷之青青草| 久久99热这里只有精品 | 五月婷婷丁香五月婷婷丁香| 五月婷久久| 亚州激情九月| 狠狠五月丁香色婷| 99ri视频在线播放| 成人片在线播放| 99婷婷精品推荐在线视频| 丁香五月激情综合在线观看| 激情五月婷色| 婷婷在线视频| 九九热黄色| 视频一区二区在线| 99在线观看视频蜜臀| 婷婷激情丁香五月天综合| wWW九九在线播放| 五月综亚洲| 婷婷五月丁香综合激情| 九九热123| 五月婷婷综合激情网| 婷婷激情五月天视频在线| 泰州成人视频| 综合色影院| 亚洲久久婷婷| 99激情| 九九亚洲无码| 亚洲丁香五月| 午夜69成人做爰视频| www.97碰碰com| 婷婷五月天综合色| AV电影在线播放| 1024婷婷综合久久五月天| 五月婷六月丁| 99热这里只有精品9| 超碰在线观看9| 狠狠色综合久久| 丰满人妻妇伦又伦精品国产| 伊人网欧美在线男人天堂五月丁香| www.开心激情| 日本操天堂| 色丁香五月婷婷婷| 色综合色五月| 色五月婷婷大香蕉| 丁香五月天AV| 99久久综合狠狠综合久久| 99热欧| 日日夜夜天天综合| 亚洲综合无码| 日本狠狠干| 热久91| 丁香婷婷伊人| 激情五月天影院| 色色五月天丁香婷婷| 青草少妇激情| 丁香五月婷婷五月基地| 色高清无码视频| 日韩成人中文字幕| 9热精品| 激情五月婷婷| 热久69| 中文字幕 中文字幕明步| 精品五月花| m色激情网| 婷婷在线中文字幕| 操逼福利视频| 91丨九色丨国产打屁股| 日韩操人| 婷婷色综合av| 亚洲婷婷五月| 成人色图情色成人网 www.5b5b5bcom 五月天| 六月婷婷综合网2| 颜射 精品性爱av| 国产AV一区二区三区最新精品 | 色五月天综合| 亚洲精品V天堂中文字幕| 青青夜夜狠狠夜夜狠狠| 日本久久精品| 色婷婷五月天激情在线播放| 欧美在线| 色狠狠六月| 在线中文AV| 五月婷婷精品视频| 久久久全国免费视频| 天天日天天干天天插天天射| 草榴视频黄色网| 啄木鸟丝袜美女福利视频| 99热在线极品极品| 九九热免费| 嫩草哈哈操| 五月天综合在线观看| 伊人大香蕉综合在线| 狠狠干五月天| 五月天婷婷免费| 久激情网| 丁香五月综合色婷婷| 少妇做爰免费视看片| 丁香五月婷婷性爱| 色噜噜狠狠色综无码久久合欧美| 五月丁香六月婷婷免费视频| 久777| 五月天婷婷激情小说电影| 久久人操-久草婷婷-成人AV| 五月天伊人久久久久| 999热在线视频| 五月丁香婷婷综合网| 激情六月丁香综合| 蜜乳久AV| 人人干av| 色综合色五月| 天堂成人A片永久免费网站| 色九月激情综合网| 91狼友视频网页更新| 色婷婷色人人射| 婷婷丁香视频| 91碰| 欧美美女国产日韩一区二区久 | 丁香五月天在线观看视频| 99网| 丁香五月 六月婷婷首页| 91在线看片| 欧美色久| 色五月天天在线观看资源站| www,婷婷,com| www.成人婷婷综合| 成人婷99最新| 欧美槡BBBB槡BBB少妇| 五月丁花六月丁香综合| 日本91在线| 98国产精品综合一区二区三区| 色婷婷激情五月天| 乱码操操| 操99| www,色色色网站| 天堂A∨在线| 免看黄大片AA | 激情六月色| 色狠狠综合| 99网| 97碰人人操| WWW色五月天| 欧美男女婷婷| 五月丁香网站| 丰满熟女人妻一区二区三| 婷婷色九月| 婷婷综合丁香| 91超碰在线播放| 26UUU精品一区二区c〇m| 日韩日比视频| 国产肥白大熟妇BBBB视频| 成人开心五月天| 亚洲国产精品成人免费一区久久久在线观看AAAA | 婷婷综合五月| 日韩黄在免| 精品久久久999| 五月丁香六月合| 日韩精品一区二区亚洲AV观看| 麻豆AV一区二区三区| 丁香五月六月| 日韩欧美骚货| 成人婷99最新| 99艹精品在线观看| 丁香婷婷六月天| 婷婷丁香高潮了| 欧美婷婷成人| 午夜少妇在线观看视频| 97碰碰视频在线观看| 亚洲中文字幕av| 色久综合| 婷婷激情在线| 激情网五月婷婷| 国产免费AV网站| 日日噜狠狠色综合久久| 9999三级片| 婷婷六月激情综合| 99色在线观看视频| 思思精品久久艹| 婷婷丁香成人| 五月天婷婷丁香人人操91| 激情五月天婷婷激情| 天天色综合综合| 人人视频色| yellow视频在线观看91| 色99自拍| 深爱五月激情五月| www.henhenl| www激情| 五月丁香久久| 五月丁香色婷基地综合久久| 婷婷狠狠操| 91人人操人人| 婷婷五月综合在线| 日韩欧美成人片| 综合激情网激情五月。| 久久久久久久久久久久久久人妻视频| 无码橾| 婷婷天天五月天| 国自产拍偷拍精品啪啪一区二区| 久久久久久久97| 婷婷五月激情在线视频| 停停色综合伊人| 丁香五月婷婷六月婷婷| 91互操| 色婷婷香蕉丁丁网| 久久免费少妇高潮99精品| 五月天婷婷小说| 能直接看的av网站| 最新色色五月天| 少妇人妻人伦A片| www激情五月天| 开心激情站婷婷五月天| 五月丁香久久综合精品| 欧美久热| 欧美一级色| 超碰免费在线| 欧亚洲在线高清视频| 五月丁香六月婷婷啪啪| www.久久久久久久| 亚洲综合久| 99在线69| 99精品在线观看| 这里只有精彩小视频视频网站| 99热青青草| 色欲天天综合网| 丁香五月婷婷久久综合激情网 | 开心五月婷婷激情| 色综合色综合网| 丁香六月激情| 中文字幕日本最新乱码视频| 国产精产国品一二三在观看| 大香蕉综合网| 亚洲成人AV在线播放| 婷婷丁香色五月| 色丁香五月综合网| 欧美va| 婷婷五月色亚洲| 午夜婷婷六月天| 婷婷开心激情五月激情网| 五月花综合视频| 日韩AAAAAAAAAAA片| 久久视频婷婷| 九九热re99re6在线精品| 激情五月天色网站| 婷婷五月天奸女| 97 A I色色| 荡乳尤物3HP1V5| 97色射| 亚洲激情六月| 丁香婷婷色色| 《诡秘之主》在线观看| 琪琪秋霞| 亚洲第一视频 久久| 无码操B| 国产精品电影网| 天天天干夜夜夜操| 国产真人做爰视频免费| 亚洲欧美日韩VIP| 黄色短视频在线观看| 欧美性爱一区| 轮奸综合网| 综合色色网| 79精品视频在线观看,| 日本色99网站| 婷婷五月天另类网站| 色五月婷婷五月天| 激情九月丁香婷婷| 伊人久久艹| 久草婷婷在线| 热久久这里只有三级视频| 久99热在线观看| 婷婷激情五月天7| 色五月色综合| 精品爆操| a网站免费观看| 精品香蕉99久久久久网站| 51精品国内探花| 99激情在线| 五月丁香好婷婷A片网| 大香蕉婷婷久久| 九九99视频精品| 99综合99| 五月丁香六月| 99热这里只有精品22| 蜜臀AV在线观看| 久婷狼色诱惑在线| 草草夜夜操| CAOBIBI| 久久激情视频| 日韩精品无码99| 色婷婷偷拍| 99视频| 99久精品视频| 婷婷丁香午夜综合影视| 九九婷婷网五月天| 色婷婷亚洲精品天天综| 五月天婷婷色综合| 91热在线| 五月婷婷xxx| 丁香婷婷久久综合在线| 91久久久久久久久久久| 天天色天天操天天射| 九九热啪啪| w婷婷五月婷婷w| 婷婷综合色图| 少妇高潮A片无套内谢麻豆传| 青青日韩| 激情深爱婷婷网| 婷婷五月天六点丁香五月| 亚洲人人操| 影音先锋综合网| 亚洲性爱干干| 99热这里只有精品8| 最近韩国日本免费高清观看| 伊人久久大香天蕉亚洲特级| 五月丁香啪啪激情| 色色色在线观看| 激情性爱五月天网页| 日韩啪| 丁香婷婷五月基地| 91欧美| 国产女人十八水真多1| 成人必爱视| 婷婷刺激综合| 99久久综合狠狠综合久久| 婷婷色五月激情| 激情五月综合婷婷| 亚洲精品无AMM毛片| 亚洲第一黄网| 久久久久久久久人妻| 人与禽A片啪啪| 五月六月播婷婷| 五月开心久久| 日本在线播放97| 丁香五月天欧美成人| 色你久久| av超碰在线| 天天橾日日橾夜夜橾17| 91啪啪视频| 操比激情五月综合| 五月丁香六月婷婷亚洲视频| 日本婷婷| 九色91国产| 26uuu欧美日本| 成人超碰网| 综合亚洲色色| 丁香九月婷婷综合| 久久天堂女人| 婷婷五月天色网久| 久久九九99| 激情六月丁香| 五月天综合网| 丁香五月婷婷香| 69婷婷丁香午夜| 五月婷婷啪啪| 亚洲AV综合网| 天堂五月婷婷| 九九热99在线视频| 亚洲国产va| 99热热热99精品婷婷| 色色色在线播放| 日日夜夜天天| 婷婷六月啪啪| 婷婷五月精品中文字幕| 日日夜夜亚洲一区| 五月天婷婷色紫薇阁| 丝袜激情网| 婷婷中文字暮| 亚洲视频伍月婷婷| 激情五月婷婷综合网| 99色看这里只有精品| 婷婷丁香五月亚洲17cao| 日本人妻A片成人免费看片| 九九99热久久精品66中文字幕| 国产高潮白浆一区二区| 亚洲aV写真天天综合网久久| 乱乱av| 色色婷婷综合网| 人妻熟女一区二区AV| 丁香桃色综合网| 99自拍视频| 99re热精品视频国| 大香蕉人妻| 涩涩涩,com| 国产成人精品亚洲线观看| 色婷婷五月天av在线| 99久久黄色顶级视频| 九九五月天| 久久久久久激情| 激情婷婷综合五月少妇| 天天插天天射| 91vip在线观看| 九九热婷婷| 亚洲欧洲自拍图片专区五月天| 极骚大香蕉伊人| 好吊操这里只有精品| 人妻少妇色综合| 色婷婷视频| 丁香五月激情五月| 日韩av大全| 99碰碰。| 丁香婷婷婷五月| 色五月色情| 噜噜狠狠色综无码久久合欧美| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 久久网站免费亚洲| 国产成人综合网| 婷婷六月网| 日本三级第一页| 五月天天爱| 日韩在线一级| 99九九综合久久九九| 六月丁香婷婷视频综合在线观看| 丁香五月激情啪啪| 久久五月天精品视频| 黑人巨粗进入警花疼哭A片| 五月丁香色婷婷基地| AV片在线观看| 色欲午夜无码久久久久久张津瑜| 久久九九中文字幕| 亚洲a色| 日韩一区二区在线播放| 91se精品国产| 五月婷婷天天| 91色噜噜狠狠狠狠色综合| 亚洲av网站| 丁香五月 综合| 综合福利网| 欧美狠狠色| 五月激情视频| 韩日另类| 永久精品| 久久久人妻人伦| 年轻的妺妺伦理HD中文| 射久久丁香五月| 九九精品热播| 久久人妻伊人| 久久9久久| 嫩草AV久久伊人妇女超级A| 激情五月天小说视频| 97碰 在线视频观看| 99re在线精品视频| 色五月激情问网站| 午夜激情久久| 激情五月婷黄版| 丁香六月开心| 精品热青草| 综合色影| 夜夜爽日日躁| 毛片蕉地一二| 亚洲无码播放| 色狠狠六月| 97精品综合久久内射| 深爱激情综合| 99re热视频这里只精品| av网址在线| 日韩啪啪视品| 99热啪啪| 五月丁香六月婷婷婷婷| 综合色影院| 亚洲亚洲人成综合网络| 激情五月影院| 99精品这里只有免费视频| 激情网色五月| 狠狠爱综合| 色色色热热热| 婷婷激情五月天7| 激情综合五月丁香六月婷婷| 日韩久久色| 婷婷丁香五月天亚洲| 日本久久高清| 亚洲视频在线网| 思思精品视频| 色五月婷婷在线| 色欲人妻综合aaaaaaaa网| 成人午夜在线视频| 天天做天天爱天天高潮| 人妻无码精品一区| 婷婷色无码| 久久婷婷色情7777网站| 少妇大叫太大太粗太爽了A片| 思思热在线| 久久人妻系列| 九九RE视频在线精品| www.久操| 欧美99热| 第四色五月婷婷| 久久欧洲综合网| 老司机午夜福利视频金瓶梅| 亚洲第二AV| caop视频| 五月开心久久| 激情五月天影院| 久久久久99精品成人片| 午夜色婷婷| 天花AV无码| 色五月丁香com| 五月丁香婷婷中文| 操比激情五月| 无码人妻精品一区二区蜜桃色欲| 九九99九九99偷拍视频免费看| 精品99只有。| 五月天合网| 99狠狠操一| 亚洲午夜国产成人电影VA国产欧…| 激情六月婷婷| 97 A I色色| 99热这里只有精品18|