欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

PIDNet語(yǔ)義分割模型復(fù)現(xiàn)與訓(xùn)練全流程指南

PIDNet語(yǔ)義分割模型復(fù)現(xiàn)與訓(xùn)練全流程指南 1. 項(xiàng)目概述與核心思路拆解1.1 為什么PIDNet值得跑一遍語(yǔ)義分割這幾年模型迭代速度極快從FCN到DeepLab系列再到HRNet大家基本都在做同一件事如何在保持高分辨率細(xì)節(jié)的同時(shí)把上下文語(yǔ)義信息也抓到位。PIDNetArXiv 2022這個(gè)模型有意思的地方在于它把經(jīng)典控制理論里的PID控制器思想直接搬進(jìn)了網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)用比例Proportional、積分Integral、微分Derivative三種互補(bǔ)的特性來(lái)指導(dǎo)特征提取流程在速度和精度之間找到了一個(gè)非常實(shí)用的平衡點(diǎn)。我第一次讀這篇論文的時(shí)候最直接的感觸是它的設(shè)計(jì)邏輯很“工程化”。深度學(xué)習(xí)模型越做越深但很多改進(jìn)都是在堆模塊、堆通道實(shí)際落地時(shí)參數(shù)量和推理延遲都很難控制。PIDNet反而是從控制論中汲取靈感把特征提取過(guò)程分成三個(gè)并行分支P分支負(fù)責(zé)捕捉大尺度的上下文關(guān)系I分支負(fù)責(zé)保留高分辨率細(xì)節(jié)信息D分支則在兩者之間做動(dòng)態(tài)調(diào)節(jié)和特征融合。這種三分支結(jié)構(gòu)既能拿到高質(zhì)量的分割結(jié)果又不會(huì)像Transformer那樣吃顯存吃到懷疑人生。對(duì)于想復(fù)現(xiàn)論文、做實(shí)驗(yàn)對(duì)比、或者在這個(gè)模型基礎(chǔ)上做改進(jìn)創(chuàng)新的同學(xué)來(lái)說(shuō)PIDNet是一個(gè)非常合適的基座模型。訓(xùn)練流程相對(duì)透明結(jié)構(gòu)不算特別復(fù)雜改進(jìn)空間又很大。你在它的語(yǔ)義分割框架上動(dòng)刀不管是調(diào)整分支間的融合策略還是替換骨干網(wǎng)絡(luò)都能很清晰地觀察到效果差異。1.2 復(fù)現(xiàn)方案的整體選型考慮我自己實(shí)際跑過(guò)PIDNet的完整訓(xùn)練流程踩了不少坑也總結(jié)了一些經(jīng)驗(yàn)。先說(shuō)結(jié)論P(yáng)IDNet的復(fù)現(xiàn)難度屬于中等偏上比直接調(diào)用一個(gè)封裝好的模型要麻煩但比從零手寫(xiě)一個(gè)訓(xùn)練管線要輕松很多。如果你已經(jīng)熟悉語(yǔ)義分割的訓(xùn)練流程那核心工作量其實(shí)就是環(huán)境配置、數(shù)據(jù)組織、參數(shù)調(diào)整這三件事如果你是第一次跑分割模型那可能需要先在骨架網(wǎng)絡(luò)上多花點(diǎn)時(shí)間理解一下。從技術(shù)選型角度來(lái)看PIDNet官方是基于PyTorch框架實(shí)現(xiàn)的GPU訓(xùn)練是必要的純CPU環(huán)境基本跑不動(dòng)。數(shù)據(jù)準(zhǔn)備方面Cityscapes是論文的主戰(zhàn)場(chǎng)但如果你手頭沒(méi)有Cityscapes數(shù)據(jù)集也可以用VOC或自己標(biāo)注的數(shù)據(jù)來(lái)做遷移訓(xùn)練。我在實(shí)際操作中推薦先用Cityscapes的一個(gè)小子集跑通流程確認(rèn)代碼沒(méi)問(wèn)題后再上全量數(shù)據(jù)這樣能節(jié)省很多排查問(wèn)題的時(shí)間。2. 環(huán)境配置全過(guò)程2.1 硬件與驅(qū)動(dòng)認(rèn)知先弄清楚你的底牌配置環(huán)境之前第一件事不是著急裝包而是先確認(rèn)自己的機(jī)器條件。PIDNet訓(xùn)練時(shí)常用的輸入分辨率是1024x1024Cityscapes標(biāo)準(zhǔn)設(shè)置這個(gè)分辨率下一張RTX 2080 Ti級(jí)別的顯卡11GB顯存只能塞下比較小的batch size通常設(shè)到2到4就頂天了。如果你想用8的batch size訓(xùn)練顯存至少要16GB以上。這里建議你先跑一下nvidia-smi確認(rèn)驅(qū)動(dòng)版本和顯存大小以及CUDA的可用版本。這里要特別說(shuō)明一下CUDA版本的選擇邏輯。PyTorch的預(yù)編譯包是和CUDA版本綁定的比如PyTorch 1.10對(duì)應(yīng)CUDA 11.3PyTorch 1.12對(duì)應(yīng)CUDA 11.6PyTorch 2.x對(duì)應(yīng)CUDA 11.8或12.1。你需要先確定PyTorch版本再反向確定CUDA版本。PIDNet官方代碼是2022年發(fā)布的用的PyTorch版本不算新如果你機(jī)器上已經(jīng)裝了新版PyTorch比如2.x很可能遇到一些API兼容性問(wèn)題后面我會(huì)詳細(xì)講怎么處理。注意不建議在Windows環(huán)境下跑訓(xùn)練除非你非常熟悉MSVC編譯鏈。PIDNet中有一部分算子需要編譯C擴(kuò)展Windows上的坑比較多Linux環(huán)境是最順暢的。如果你是Windows用戶(hù)建議裝一個(gè)WSL2或直接用一個(gè)Linux服務(wù)器。2.2 CUDA與PyTorch安裝要點(diǎn)我推薦的環(huán)境組合是這樣的Ubuntu 20.04或22.04CUDA 11.3對(duì)應(yīng)NVIDIA驅(qū)動(dòng)版本465PyTorch 1.10.1或1.12.0Python 3.8或3.9GCC 7.5以上用于編譯擴(kuò)展算子具體的安裝步驟比較常規(guī)我就快速帶過(guò)重點(diǎn)是Pytorch安裝時(shí)一定要用官方源或可信鏡像源避免包版本不匹配。以PyTorch 1.10.1為例# 創(chuàng)建虛擬環(huán)境 conda create -n pidnet python3.8 conda activate pidnet # 安裝PyTorch注意cuda版本參數(shù)要和你的CUDA環(huán)境對(duì)應(yīng) pip install torch1.10.1cu113 torchvision0.11.2cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html裝完以后先用一段簡(jiǎn)單代碼驗(yàn)證CUDA是否可用import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0))如果后面兩步輸出正常說(shuō)明PyTorch已經(jīng)正確識(shí)別到了GPU。這里有個(gè)容易忽視的細(xì)節(jié)即使PyTorch能識(shí)別GPU也不代表訓(xùn)練性能一定沒(méi)問(wèn)題你最好再用torch.cuda.get_device_capability(0)查一下算力PIDNet在算力8.0以上的卡上表現(xiàn)會(huì)更好一些。2.3 依賴(lài)與編譯最容易被卡住的一步PIDNet代碼中涉及到一些自定義的卷積算子大概率需要本地編譯。我遇到過(guò)好幾次環(huán)境測(cè)試能通過(guò)但真正訓(xùn)練時(shí)報(bào)錯(cuò)找不到某個(gè)編譯好的so文件。所以你在clone代碼之后一定要先看代碼庫(kù)里有沒(méi)有setup.py或類(lèi)似文件有的話先編譯安裝。# 安裝基礎(chǔ)依賴(lài) pip install opencv-python pillow numpy tqdm tensorboard scipy # 如果代碼庫(kù)中有編譯腳本 cd PIDNet python setup.py develop編譯過(guò)程如果報(bào)錯(cuò)多數(shù)是GCC版本太高或者缺少依賴(lài)庫(kù)。比較常用的解決方案是安裝低版本GCC或者在編譯時(shí)加上環(huán)境變量export CXX/usr/bin/g export CC/usr/bin/gcc提示如果你用的是PyTorch 2.x編譯時(shí)很可能會(huì)遇到ATEN/CUDA API不兼容的報(bào)錯(cuò)因?yàn)?.x改了部分算子接口。穩(wěn)妥的辦法是直接創(chuàng)建一個(gè)Python 3.8 PyTorch 1.12的新環(huán)境不要在原環(huán)境里硬解依賴(lài)。我在這上面耗過(guò)一晚上的時(shí)間走彎路沒(méi)有意義。3. PIDNet核心細(xì)節(jié)解析3.1 網(wǎng)絡(luò)結(jié)構(gòu)關(guān)鍵設(shè)計(jì)PIDNet的架構(gòu)設(shè)計(jì)是理解整個(gè)項(xiàng)目核心的關(guān)鍵。我用比較通俗的方式拆解一下傳統(tǒng)的語(yǔ)義分割網(wǎng)絡(luò)一般有兩種思路一種是用編碼器把特征越采越深再用解碼器恢復(fù)分辨率比如UNet、DeepLab系列問(wèn)題在于恢復(fù)過(guò)程中會(huì)丟失很多邊緣細(xì)節(jié)另一種是用高分辨率特征做全程等分辨率比如HRNet效果好但計(jì)算量很大。PIDNet走的是第三種路線用輕量級(jí)的骨干網(wǎng)絡(luò)提取基礎(chǔ)特征然后分三條分支并行處理。具體來(lái)說(shuō)P分支Proportional負(fù)責(zé)接收大感受野的上下文信息適合識(shí)別“這是一個(gè)道路區(qū)域”I分支Integral負(fù)責(zé)保持高頻細(xì)節(jié)適合識(shí)別“道路和草坪之間的精確邊界”D分支Differential則是動(dòng)態(tài)融合兩者的信息實(shí)現(xiàn)細(xì)節(jié)與語(yǔ)義的自適應(yīng)平衡。這三者的組合在理論上有點(diǎn)像控制系統(tǒng)中的PID反饋回路網(wǎng)絡(luò)在學(xué)習(xí)中能自動(dòng)調(diào)節(jié)“比例項(xiàng)”“積分項(xiàng)”“微分項(xiàng)”的強(qiáng)度這也是它名字的由來(lái)。在具體實(shí)現(xiàn)層面PIDNet通過(guò)Bag和Head兩個(gè)模塊來(lái)管理三條分支的信息交換。Bag模塊在訓(xùn)練過(guò)程中累積整合不同分支的特征Head模塊則在最后進(jìn)行上采樣和類(lèi)別預(yù)測(cè)。這種設(shè)計(jì)的好處是不同分支可以在不同尺度上工作而融合機(jī)制保證它們不會(huì)信息脫節(jié)。3.2 損失函數(shù)與輔助監(jiān)督很多同學(xué)訓(xùn)練語(yǔ)義分割模型時(shí)只關(guān)注最終的交叉熵?fù)p失但對(duì)PIDNet這種三分支架構(gòu)來(lái)說(shuō)分支級(jí)別的輔助監(jiān)督是保證性能的重要一環(huán)。如果只用最終輸出loss回傳梯度P分支和I分支學(xué)到的特征可能不夠分化最后退化成同一個(gè)模型失去三路并行互補(bǔ)的意義。我在實(shí)際訓(xùn)練中采用了主損失和輔助損失疊加的方式。具體做法是從D分支的融合特征輸出主分割結(jié)果計(jì)算主損失同時(shí)把P分支和I分支的中間輸出也接上分割頭計(jì)算輔助損失最終總損失是主損失加兩個(gè)輔助損失的加權(quán)和。論文中一般用0.5或0.25作為輔助損失的權(quán)重系數(shù)我實(shí)測(cè)下來(lái)0.5的效果會(huì)更穩(wěn)定一些尤其是在訓(xùn)練的前期階段輔助監(jiān)督能明顯加速分支分化。這里有一個(gè)容易被忽略的細(xì)節(jié)輔助損失只在訓(xùn)練時(shí)啟用推理時(shí)只保留D分支的輸出結(jié)果。因?yàn)橛?xùn)練時(shí)需要回傳梯度來(lái)指導(dǎo)分支學(xué)習(xí)但推理時(shí)分支的中間結(jié)果沒(méi)有獨(dú)立應(yīng)用場(chǎng)景。這一點(diǎn)在代碼層面的實(shí)現(xiàn)方式直接決定了訓(xùn)練和驗(yàn)證時(shí)的模型結(jié)構(gòu)差異所以要記得做切換。4. 數(shù)據(jù)準(zhǔn)備與訓(xùn)練配置4.1 數(shù)據(jù)集準(zhǔn)備細(xì)節(jié)PIDNet最常用的數(shù)據(jù)集是Cityscapes但Cityscapes的標(biāo)注文件組織方式有一定特殊之處。它的目錄結(jié)構(gòu)通常是cityscapes/ ├── leftImg8bit/ │ ├── train/ │ └── val/ └── gtFine/ ├── train/ └── val/而PIDNet代碼一般要求的是pix_annotation格式也就是每個(gè)圖片對(duì)應(yīng)一個(gè)和原圖同尺寸的標(biāo)注PNG。Cityscapes官方給的gtFine是polygon格式JSON需要先轉(zhuǎn)換。我不是第一次在這上面栽跟頭。建議參考Cityscapes官方腳本或網(wǎng)上開(kāi)源的轉(zhuǎn)換工具將gtCoarse和gtFine轉(zhuǎn)換成trainId標(biāo)注而不是直接用原始ID。這里特別強(qiáng)調(diào)一下trainId和原始ID的區(qū)別關(guān)系到最終的評(píng)估指標(biāo)轉(zhuǎn)換錯(cuò)了的話mIoU的結(jié)果會(huì)非常奇怪。如果你想用VOC數(shù)據(jù)集替代那要提前確認(rèn)類(lèi)別標(biāo)號(hào)、忽略索引等約定是否和PIDNet的默認(rèn)配置一致。PIDNet通常默認(rèn)19個(gè)類(lèi)別加一個(gè)背景如果你用VOC的20類(lèi)或者21類(lèi)需要同步修改模型末端的分類(lèi)頭數(shù)量和損失函數(shù)的類(lèi)別權(quán)重否則會(huì)直接報(bào)維度不匹配的錯(cuò)。4.2 訓(xùn)練參數(shù)配置在正式開(kāi)訓(xùn)之前有相當(dāng)多的參數(shù)需要根據(jù)你的硬件條件調(diào)整。我梳理一下影響較大的幾個(gè)輸入分辨率Cityscapes標(biāo)準(zhǔn)是1024x1024。如果你的顯存不夠可以降到768x768或640x640但注意評(píng)估時(shí)最好保持訓(xùn)練分辨率否則性能差異不好比較。Batch Size顯存有限的情況下建議2-4并用梯度累積來(lái)模擬較大的batch size。梯度累積步數(shù)的計(jì)算方式是期望batch size除以單次GPU batch size比如想模擬batch size等于8單卡只能放下2那就設(shè)置累積步數(shù)為4。學(xué)習(xí)率策略建議使用多項(xiàng)式學(xué)習(xí)率衰減poly公式是base_lr * (1 - iter/total_iter)^power其中power通常設(shè)為0.9。初始學(xué)習(xí)率在batch size為8時(shí)推薦0.01左右如果你的batch size較小需要相應(yīng)降低學(xué)習(xí)率大致按線性縮放規(guī)律。Epoch數(shù)與迭代數(shù)Cityscapes全量數(shù)據(jù)訓(xùn)練的話通常跑240個(gè)epoch也就是大概12萬(wàn)步迭代。如果你是先用子集跑通流程建議設(shè)置一個(gè)較小的迭代數(shù)比如2000步確認(rèn)loss曲線在正常下降后再跑完整訓(xùn)練。我建議把訓(xùn)練過(guò)程中的日志保存下來(lái)包括每個(gè)iteration的loss值、當(dāng)前的mIoU如果做了驗(yàn)證。這不僅是排查問(wèn)題的依據(jù)也是后續(xù)對(duì)比改進(jìn)效果的關(guān)鍵數(shù)據(jù)。5. 代跑訓(xùn)練實(shí)操記錄5.1 訓(xùn)練啟動(dòng)與監(jiān)控我以Cityscapes數(shù)據(jù)集為例整理了一份實(shí)際的訓(xùn)練啟動(dòng)命令。假設(shè)你已經(jīng)準(zhǔn)備好了數(shù)據(jù)且配置文件位于configs/pidnet/pidnet_s_cityscapes.yaml# 單卡訓(xùn)練 python train.py --config configs/pidnet/pidnet_s_cityscapes.yaml # 多卡分布式訓(xùn)練 python -m torch.distributed.launch --nproc_per_node4 train.py \ --config configs/pidnet/pidnet_s_cityscapes.yaml啟動(dòng)之后不要急著離開(kāi)終端先觀察前30個(gè)iteration的輸出。正常情況下會(huì)看到loss逐漸從初始值回落如果loss直接變成NaN或者穩(wěn)在一個(gè)非常高的數(shù)值不動(dòng)說(shuō)明某個(gè)環(huán)節(jié)出了問(wèn)題。最可能的原因是學(xué)習(xí)率設(shè)置過(guò)大或者數(shù)據(jù)加載過(guò)程中出現(xiàn)了異常的標(biāo)注值。訓(xùn)練過(guò)程中的實(shí)時(shí)監(jiān)控也很關(guān)鍵。我一般會(huì)開(kāi)兩個(gè)窗口一個(gè)跑訓(xùn)練另一個(gè)用tensorboard或者直接看一眼日志文件。PIDNet代碼中通常提供了tensorboard記錄支持你可以在啟動(dòng)命令里加上日志路徑參數(shù)然后實(shí)時(shí)查看loss曲線和驗(yàn)證集上的mIoU變化曲線tensorboard --logdir/path/to/pidnet/output/tensorboard5.2 驗(yàn)證評(píng)估與可視化訓(xùn)練到一半或者結(jié)束后你肯定想知道當(dāng)前分割效果好到什么程度了。PIDNet代碼中一般會(huì)提供驗(yàn)證腳本它和訓(xùn)練腳本是分開(kāi)的。驗(yàn)證時(shí)的幾個(gè)注意事項(xiàng)如下驗(yàn)證集的圖片尺寸很多人在驗(yàn)證時(shí)直接用原始尺寸輸入但要注意如果你的模型在1024x1024分辨率下訓(xùn)練直接輸入2048x1024的原始圖會(huì)導(dǎo)致BatchNorm的表現(xiàn)方差較大特別是當(dāng)驗(yàn)證集的batch size設(shè)為1時(shí)。我一般會(huì)先做一次resize將短邊縮放到1024再送入模型。多尺度評(píng)估如果想得到更高精度的評(píng)估結(jié)果可以嘗試多尺度推理加翻轉(zhuǎn)集成。比如在0.5、0.75、1.0、1.25、1.5五種尺度下分別推理再把結(jié)果融合。這是個(gè)提升mIoU的小技巧一般能漲0.5到1個(gè)點(diǎn)??梢暬Y(jié)果除了數(shù)值指標(biāo)務(wù)必輸出幾張預(yù)測(cè)圖看看肉眼效果。mIoU有時(shí)候漲了但邊緣部分可能變得模糊不清只有通過(guò)可視化才能發(fā)現(xiàn)這些問(wèn)題。驗(yàn)證腳本跑完之后會(huì)輸出具體的類(lèi)別IoU和mIoU。我要求自己不僅僅記錄最終的mIoU數(shù)值還要保存一份分類(lèi)別的IoU表格。原因很簡(jiǎn)單改進(jìn)模型時(shí)你需要注意低類(lèi)別IoU才能針對(duì)性設(shè)計(jì)優(yōu)化方案。6. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄6.1 訓(xùn)練階段常見(jiàn)的工程類(lèi)問(wèn)題我整理了幾個(gè)高頻問(wèn)題你如果遇到了可以直接對(duì)照排查。**問(wèn)題一編譯擴(kuò)展算子失敗。**報(bào)錯(cuò)信息會(huì)包含類(lèi)似error: identifier AT_CHECK is undefined的信息。原因是PyTorch版本和代碼的API版本不匹配。AT_CHECK是舊版PyTorch的宏新版換成了TORCH_CHECK。解決辦法是改代碼里的宏定義或者直接換到和代碼適配的PyTorch版本。**問(wèn)題二訓(xùn)練時(shí)顯存OOM。**這種情況非常常見(jiàn)尤其是你堅(jiān)持1024分辨率加batch size 4時(shí)。我的建議順序是先降batch size到2再考慮降分辨率到768最后才是換模型尺寸。PIDNet有S、M、L三個(gè)版本S版本大約是堆半層參數(shù)量顯存壓力最小。如果S版本還在OOM那說(shuō)明顯卡確實(shí)不太夠考慮梯度累積或混合精度訓(xùn)練吧。**問(wèn)題三Loss變成NaN。**可能原因比較多常見(jiàn)的有學(xué)習(xí)率過(guò)高、數(shù)據(jù)中存在異常標(biāo)注、混合精度訓(xùn)練的梯度縮放參數(shù)設(shè)置不當(dāng)。我的排查路徑是先把學(xué)習(xí)率降到當(dāng)前值的十分之一跑100步試試如果還不行關(guān)閉混合精度再檢查數(shù)據(jù)加載部分的標(biāo)注歸一化是否出了問(wèn)題。**問(wèn)題四mIoU很低比如個(gè)位數(shù)。**這個(gè)一般都和標(biāo)簽不匹配有關(guān)。Cityscapes的標(biāo)簽有原始ID和trainId的區(qū)別很多類(lèi)別在評(píng)估時(shí)是要合并的。如果你把原始ID當(dāng)成類(lèi)別標(biāo)簽輸入到模型所有類(lèi)是混亂的模型自然學(xué)不會(huì)。另外忽略索引通常設(shè)為255有沒(méi)有正確設(shè)置也很關(guān)鍵該忽略的區(qū)域如果不忽略會(huì)嚴(yán)重拉高loss干擾訓(xùn)練。6.2 訓(xùn)練效果不好時(shí)的排查思路訓(xùn)練流程沒(méi)問(wèn)題但效果不佳這個(gè)問(wèn)題比報(bào)錯(cuò)更讓人頭疼。我的建議是分維度排查。**先看訓(xùn)練集上的表現(xiàn)。**如果訓(xùn)練集上的mIoU都不高說(shuō)明模型欠擬合重點(diǎn)調(diào)整學(xué)習(xí)率、訓(xùn)練時(shí)長(zhǎng)、數(shù)據(jù)增強(qiáng)策略。如果訓(xùn)練集上mIoU很高但驗(yàn)證集很低那就是過(guò)擬合考慮加數(shù)據(jù)增強(qiáng)、加大正則化、增加訓(xùn)練數(shù)據(jù)。**再看loss曲線的下降趨勢(shì)。**理想的loss曲線應(yīng)該是一個(gè)平滑下降的曲線如果loss曲線反復(fù)震蕩很可能是學(xué)習(xí)率太大或者batch size太小。如果loss下降得特別慢基礎(chǔ)學(xué)習(xí)率可能太低了注意poly學(xué)習(xí)率策略在訓(xùn)練中后期從宏觀上看下降速度會(huì)變慢這是正常的。**最后檢查數(shù)據(jù)加載是否正常。**我在訓(xùn)練時(shí)會(huì)把第一個(gè)batch的輸入圖像和標(biāo)注保存下來(lái)人工看一眼有沒(méi)有錯(cuò)位、錯(cuò)標(biāo)注、顏色反轉(zhuǎn)這些問(wèn)題。數(shù)據(jù)管線出問(wèn)題的概率不低于模型問(wèn)題而且排查起來(lái)比模型問(wèn)題更費(fèi)時(shí)間。我的習(xí)慣是第一時(shí)間就把可視化腳本寫(xiě)出來(lái)后續(xù)每次換數(shù)據(jù)集都能直接復(fù)用。7. 改進(jìn)創(chuàng)新方向建議7.1 基于細(xì)節(jié)捕捉的小尺度優(yōu)化思路PIDNet的I分支是保持高分辨率細(xì)節(jié)的關(guān)鍵但這個(gè)分支在原始設(shè)計(jì)里比較簡(jiǎn)單主要由基本的連續(xù)卷積堆疊構(gòu)成。我的建議之一是給I分支增加一個(gè)輕量級(jí)的注意力模塊比如通道注意力結(jié)合空間注意力的組合讓小分支自適應(yīng)地增強(qiáng)重要的細(xì)節(jié)區(qū)域。我自己試過(guò)一種方法在I分支的末端疊加一個(gè)特征選擇模塊讓模型自己學(xué)習(xí)哪些細(xì)粒度特征需要傳遞到D分支。具體實(shí)現(xiàn)時(shí)可以用一個(gè)1x1卷積生成一個(gè)門(mén)控權(quán)重再對(duì)原始特征做逐元素乘法。增加的計(jì)算量很小但確實(shí)能在邊界清晰度上看到改善。這個(gè)方向尤其適合對(duì)道路邊緣、車(chē)道線、細(xì)小物體分割效果有要求的場(chǎng)景比如自動(dòng)駕駛的車(chē)道分割和可行駛區(qū)域檢測(cè)。7.2 面向?qū)崟r(shí)應(yīng)用的高效架構(gòu)調(diào)整方向PIDNet本身已經(jīng)是在追求精度和速度的平衡但你落地時(shí)往往會(huì)面對(duì)更嚴(yán)格的算力限制這時(shí)可以考慮以下改進(jìn)方向?qū)⑻卣魈崛〔糠痔鎿Q成更輕量的骨干網(wǎng)絡(luò)。經(jīng)典的PIDNet默認(rèn)用輕量卷積網(wǎng)絡(luò)做編碼器你可以嘗試替換成MobileNetV3或EfficientNet等輕量化模型。替換時(shí)要注意保持特征的通道數(shù)與后續(xù)Bag模塊的輸入要求對(duì)齊。我測(cè)試過(guò)一個(gè)方案計(jì)算量能下降約三成mIoU只掉零點(diǎn)幾個(gè)點(diǎn)在邊緣設(shè)備上效果很理想。對(duì)三個(gè)分支做動(dòng)態(tài)裁剪??梢园凑漳P驮诓煌瑢蛹?jí)的特征重要度動(dòng)態(tài)決定跳過(guò)某些冗余分支的計(jì)算。這個(gè)思路實(shí)現(xiàn)起來(lái)比較復(fù)雜但如果你對(duì)算子級(jí)別的性能優(yōu)化有經(jīng)驗(yàn)收益會(huì)很可觀。把注意力模塊加在Bag融合部分。原本的Bag模塊主要是簡(jiǎn)單的特征疊加或拼接操作你可以嘗試把特征拼接后接入一個(gè)輕量級(jí)的注意力模塊重新加權(quán)不同分支的特征而不是簡(jiǎn)單直接求和。這個(gè)小改動(dòng)在多個(gè)數(shù)據(jù)集上有可復(fù)現(xiàn)的提升。7.3 訓(xùn)練策略與數(shù)據(jù)優(yōu)化方向模型結(jié)構(gòu)只是事情的一半訓(xùn)練策略的優(yōu)化空間同樣值得重視。基于我在多輪實(shí)驗(yàn)中的經(jīng)驗(yàn)以下幾個(gè)手段比較有效。**一是使用更強(qiáng)的數(shù)據(jù)增強(qiáng)策略。**除了基礎(chǔ)的隨機(jī)翻轉(zhuǎn)、縮放和裁剪可以嘗試顏色抖動(dòng)、高斯模糊、隨機(jī)遮擋等更強(qiáng)力的增強(qiáng)方式這對(duì)提升模型泛化能力非常有幫助。但要注意增強(qiáng)強(qiáng)度不是越大越好過(guò)強(qiáng)的增強(qiáng)會(huì)讓模型在驗(yàn)證集上產(chǎn)生偏差我通常采用溫和增強(qiáng)短暫預(yù)熱的方式。**二是加入知識(shí)蒸餾。**用一個(gè)更大更強(qiáng)的Teacher模型比如PIDNet-L來(lái)指導(dǎo)Student模型比如PIDNet-S訓(xùn)練。具體做法是讓Student模型的輸出分布盡量接近Teacher模型的輸出分布同時(shí)保持和真實(shí)標(biāo)簽的交叉熵。我的經(jīng)驗(yàn)是蒸餾出的Student模型要比直接訓(xùn)練同一Student模型高出2%-3%的mIoU同時(shí)推理速度完全不變。**三是引入半監(jiān)督訓(xùn)練思路。**如果你的預(yù)算不夠采集大量昂貴標(biāo)注數(shù)據(jù)可以利用無(wú)標(biāo)簽數(shù)據(jù)做一致性正則化對(duì)不同擾動(dòng)下的預(yù)測(cè)結(jié)果保持一致性。這類(lèi)方法在語(yǔ)義分割方向上已經(jīng)比較成熟對(duì)PIDNet這種三分支結(jié)構(gòu)的模型同樣適用。我建議先從簡(jiǎn)單的弱增強(qiáng)和強(qiáng)增強(qiáng)一致性學(xué)習(xí)入手再逐步添加更多的輔助約束。這些改進(jìn)思路都不是特別復(fù)雜的技術(shù)體操而是基于對(duì)PIDNet結(jié)構(gòu)特點(diǎn)的針對(duì)性?xún)?yōu)化。你在做改進(jìn)實(shí)驗(yàn)時(shí)我的建議是不要同時(shí)疊加太多改動(dòng)否則一旦效果變差很難定位是哪個(gè)改動(dòng)導(dǎo)致的回退。逐步做單點(diǎn)更改、單點(diǎn)驗(yàn)證是最穩(wěn)妥也最高效的推進(jìn)方式。寫(xiě)在后面PIDNet在我做過(guò)的語(yǔ)義分割項(xiàng)目里屬于那種“越改越有感覺(jué)”的模型。它的三分支結(jié)構(gòu)把細(xì)節(jié)和語(yǔ)義分開(kāi)處理這一設(shè)計(jì)在背后給了后人很大的調(diào)整空間。從環(huán)境配置到訓(xùn)練調(diào)優(yōu)再到結(jié)構(gòu)改動(dòng)每一步都需要細(xì)心排查但每一步的回報(bào)也都直接反映在數(shù)據(jù)上。最后分享一個(gè)小習(xí)慣我每次做模型改進(jìn)實(shí)驗(yàn)都會(huì)把改動(dòng)點(diǎn)、實(shí)驗(yàn)配置、結(jié)果指標(biāo)記錄在表格里哪怕是一個(gè)很小的參數(shù)調(diào)整也不放過(guò)。等整個(gè)實(shí)驗(yàn)周期結(jié)束后往回看這份記錄的價(jià)值往往比單純的技術(shù)方案還要大。它能讓你的改進(jìn)路徑清晰可見(jiàn)也能避免重復(fù)試錯(cuò)。如果你正準(zhǔn)備拿PIDNet做實(shí)驗(yàn)希望這篇文章能幫你少走一些彎路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
97色色色| chaopengdaxiangjiao| 久热这里只精品| 久婷五月| 影音先锋激情网| 综合精品啪啪| 粉嫩AV久久一区二区三区| caopeng97日韩| 婷婷五月天AV在| 色五月成人| 激情五月天噢美| AV变态另类一区二区| 日本久久高清| 亚洲精品国产精品乱码视99| 婷五月丁香| 97日日碰碰| 日韩另类| 久色中文| 五月丁香美女| 久草性爱| 日韩精品无码AV| 久久九九99| 久久六月天| 久久亚洲A| 亚洲成人AV高清字幕| 天天插天天插| 天天操天天操天天操天天操天天操 | 在线中文字幕av| 日韩成人av在线| 五月丁香激情婷婷| 成人网站免费sxj| 草榴视频网| 在线看的免费网站| 91蜜桃婷婷狠狠久久综合9色| 26uuu| renrencaoni| 人人操大| 亚洲婷婷丁香五月| 亚洲成人综合网在线免费观看| 91操操| 九九色视频| 色五月婷婷天天干| 日韩婷婷五月| 久色精品| 五月丁香久久| 国产特级毛片AAAAAAA高清| 婷婷五月激情图片| 亚洲免费99| 日日天天天| 久久久久亚洲AV无码网影音先锋| 婷婷色色欧美综合网| 开心五月深爱五月| 99男人的天堂| 色五月五月婷婷| 狠狠色丁婷婷日日,伊人激情综合网| 99操无码视频观看| 久9免费视频| 玖玖九九9999在线观看视频精品| 狠狠色中色| 九九人人操| 激情综合九月| 久热九九| 人妻丰满精品一区二区A片| 99re8在这里只有精品| 五月丁香六月婷婷开心网| 日 日干 日日做| 丁香亭亭久久| 六月久久婷婷| 五月丁香久久网| 思思99热这里只有精品| xx色综合| 丁香六月婷婷一区二区三区| 在线观看日韩12345区| 色色操| 五月深爱激情网| 日本久久婷婷| 激情六月五月婷婷综合网| 亚洲 视频 导航 一区| 五月天丁香久久| 久久 婷婷 五月天| 97人人射| 热无码A∨| 久鲁鲁色网 | 五月丁香大香蕉| 九月婷婷久久久| 色九月| 亚洲精品乱码久久久久久按摩观| 久久这里99| 久久九精品| 深夜婷婷五月丁香| 五月婷婷视频在线观看| 国产精品久久久久久妇女6080| 五月日韩中文字幕| 99玖玖在线视频| 久久婷婷综| 久久婷婷五月天| 91色涩| AV在线免费网站| 99在线视频免费| 人妻少妇色综合| 第四色在线观看| 性欧美大战久久久久久久83| AV色婷婷| 乱色色色| 亚洲综合在线视频| 91无码高清| 中文精品在| 日本www五月婷婷| 日韩狠狠色婷婷| 99热网站| 中文字幕按摩做爰| 9久国产精品| 色娸娸综合网| 五月天激情社区| 五月天涩涩| 五月丁香婷婷中文| se.久久视频在线观看| 人妖色AV色综合| 99久在线视频| 亚洲十月婷婷综合| 伊人五月天在线| 精品夜夜澡人妻无码AV| 色偷偷色婷婷| 99久久er| 欧美大片免费播放器| 日韩AV一区二区三区| 激情五月婷婷丁香六月| 开心婷婷中文字幕| 亚洲四色五月| 五月婷婷丁香俺日污视频| 日本一级一片免费视频| 欧美日本不卡黄色片| 青青草轻轻操| 91小黄书网址在线观看| 91蜜桃婷婷狠狠久久综合9色| 丁香五月激情久久麻豆| 色五月成人| 在热视频精品| 香蕉影院色| 婷婷五月天成人网| 大香蕉啪啪啪| 色五月综合网| 国产精品美女| 色情开心五月| 开心激情网五月天| 婷婷色色宗合网| 激情美女五月天| www.97碰碰com| 五月婷婷之综合激情在线| 天天噜日日噜综合无码| 99视频35精品视频在线观看| 色99婷婷五月天| 五月丁香色婷婷综合| 另类小说五月天| 色婷另类| 婷婷九月亚洲| 97在线综合| 五月天天爽| 婷婷精品| 99精品在线下载| 99色中文| 亚洲综合色色| 免费视频无码| 五月天婷婷久色| 国产免费一区二区在线A片视频| 99熟女啪啪视频| 亚亚州久久高潮| 少妇水多A片太爽了| 深爱五月激情网| 婷婷黄色| 婷婷六月网| 婷婷五月在线观看| 久久婷婷色情7777网站| 4399在线日本A片| 五月天激情黄色网址| 五月丁香婷婷俺| 久久婷婷青青| www,com,五月色色| 亚洲小视频免费观看| 婷婷久久久久| 色色亚洲无码| 婷色综合| 婷婷在线精品| 人人干AV| 激情综合国产| 日日爽日日| 日本黄色精品| 99只有精品| 五月激情五月丁香| 久久99人人| 婷婷射图五月天| 丁香五月天堂亚洲社区| 婷婷五月天激情小说| 五月丁香婷婷爱激情综合网| 一本大道嫩草AV无码专区| 99热这里只有精品33| 丁香五月婷婷影视先锋| 六月丁香啪啪啪| 久久婷.com| 97性视频| 天天干天天干天天干天天干天天| 日熟女| 久草天堂| 91精品久久久久久综合五月天| 日本视频欧美观看免费| 99视频只有精品| 色狠狠色狠狠| 久久黄A片| 99热精品在线| 日本一级一片免费视频| 五月丁香综合伦理片| 色婷婷狠狠久久综合五月| 激情五月婷| 91人人操人人| 婷婷性爱五月天丁香网| 超碰在线人妻| 久久总和99| 99er免费在线观看| 日本久久婷婷| se婷97| 久久9精品| 五月丁香六月婷婷中文版| 碰碰碰碰碰99| 国内一级片| 99re热在线观看| 丁香香五月激情免费视频| 国产精女同一区二区三区久| 色婷婷五月天在线观看| 日韩AV片| 欧美日韩成人在线网站| 五月天综合视频| 色五月婷婷在线观看| 婷婷色影院| 五月婷婷开心亚州在线| 互月天综合| 97综合在线| 丁香五月综合福利视频导航| 欧美在线ee日韩| 久久综合五月天| 丁香五月婷婷视频| www.狠狠狠狠| 性色九九| 影音先锋综合网| 热99热9| 婷婷伊人五月| 丁香六月啪| 激情五月婷| AV人人操| 婷婷开心六月| 色亚洲色宗合| 亚州激情在线视频| 26uuu淫色| 激情综合九月| 99热9999| 97成人超碰免| 日本啪啪网| 婷婷五月天在线观看| 九九热色视频| 婷婷娱乐丁香综合网| 久久五月情| 丁香五月婷婷狠狠色| 黄色激情五月天| AV片在线观看| 性爱网五月天| 激情99| 天天狠狠色| 色欲五月天| 国产精品久久久99视频| 美女亚洲五月丁香| 伊人六月丁香婷婷| 天天天天天天天操| jizzdr| 六月丁AV| 另类图片五月天婷婷| 国自产拍偷拍精品啪啪一区二区| 超pen个人视频97| 色婷婷影视| 婷婷五月av| 九九在线视频| 96自拍视频九色在线观看| 国产毛片精品一区二区色欲黄A片| 99re热视频这里只精品| 人妻丰满精品一区二区A片| 免费观看欧美成人AA片爱我多深| 色青青电影色五月| 激情五月天婷婷色色色色色色色色色色色| 久一网站| 五月天六月丁香| 精品乱码视频| 五月婷婷中文网| 婷婷五月天伊人网在线观看视频| 五月丁香六月婷婷亚洲综合| 婷婷永久在线| 日韩青青| 美女被操一区二区| 激情丁香九九五月综合网| 久久艹99| 五月天啪啪视频| 五月婷婷深深爱爱| 丁香五月无码| 九九热中文| 天天日天天舔| 极品五月天| 色色色婷婷五月| 亚洲另类电影| 五月丁香激情在线| 免费黄色视频网址| 成人五月天。COM| 婷婷五月中文字幕| 天天综合干| 国产成人+亚洲+欧洲| 日韩精品一区二区亚洲AV观看| 操一区| 操B视频在线播放| 亚洲AV成人无码电影| 九九色99| 丁香五月天婷婷在线视频| 五月婷婷综合色啪首页| 色一情一乱一乱一区91| 丁香五月天堂婷婷| 五月丁香啪| 亚洲五月天婷婷综合| 九九人人精品| 欧美A A A A A| 久久总和99| Xx色综合| AV在线免费网站| 欧美激情性做爰免费视频| 五月色亚洲| 99热精在线九九久久保| 在线中文av| 九九色婷| 婷婷五月天深爱| 激情五月婷| 第四色在线观看| 色婷婷五月天偷拍| 色天天综合| 激情五月天综合网| www.精品99| 国产高清精品色| 91操人| 97性高潮久久久| 精品人妻伦| AA久久| 涩涩激情五月婷婷| 五月丁香六月停停| 五月婷婷五月天| 久久九九亚洲| 久久激情五月天| WWW.桔色成人.COM| 九九99视频精品| 丁香五月婷婷啪啪啪| 91 久热| 天天日天天干天天爱| 91玖玖| 七月丁香五月婷婷在线| 色婷婷六月精品| 日韩AV大全| 在线中文亚洲| 91色涩| 色综合香蕉视频| 色综合久久久久久久久五月| 精品二区| 成人精品99| 五月综合激情| 狠狠狠人妻| 日本一级一级一级一级| 九九99免费视频| 五月婷婷丁香啪啪| 超碰人人艹| 人人操五月天| 天天爽天天做| 日本A片一区| 国产精品久久久丁香五月八戒视频| 99综合网| 夜夜天天天天天干天天爽| 五月丁香人妻| 91精品熟女| 八戒青柠影视剧在线观看| www.99在线| 色色丁香婷婷| caopeng超碰| 亚洲午夜av| 婷婷爱综合| 夜精品无码A片一区二区蜜桃| 婷婷久久午夜网| 99热伊人| 亚洲激情网站| www999日韩精品| 91操片| 激情四射网| 日本三级中国三级99人妇网站| 激情综合五月丁香| 国产午夜精品一区二区三区嫩草| 热99热9| 99综合99| 五月婷婷无码| 人人操A| 久久六月综合| 国产 亚洲 在线| 异能之下短剧免费观看全集| 国精产品一区一区三区免费视频| 婷婷五月天激情免费在线观看| 精品亚洲日韩99欧美片| 天天艹夜夜艹| www.俺去也com| 亚洲啪啪精品| 综合网亚洲| 五月激情精品视频| 亭亭五月基地在线| 99久热| 激情五婷网| 午夜爱插插| a网站免费观看| 久久婷婷亚洲五月天| 综合网网欲色| 国产精品久久久久久久久久免费| 久久这里只有精品8| 日韩精品一品二区三区的使用体验 | 亚洲高清在线| 婷婷天天五月天| 大香蕉啪啪| 六月色婷婷欧美| 久久婷婷六月综合综合| 五月天开心网| 爆乳熟妇一区二区三区爆乳照片| 五月丁香六月欧美| 开心久久xxx色| 91人妻人人操| 五月激情综合网| 天天天干夜夜夜操| 五月婷婷免费在线观看| av在线资源| 99ER热精品视频| 成人va视频| 久久视频婷婷视频| 大香蕉久艹| 996re热精品视频| 99色视频| 殴美日比视频| 99热免费观看| 夜夜操天天爽| 丁香激情合作五月| 色色综合成人网| 激情久久网 | 久久这里只有国产视频| 婷婷五月成人色综合| 一级七香蕉| 熟女少妇内射日韩亚洲| 91精品久久久久久77777| 99热色精品| 99aese| 第2色五月婷| 九月婷婷综合网| 六月婷婷毛片| 国产精产国品一二三在观看| 天天日天天操心| 婷婷丁香人妻天天爽| 丰满人妻一区三区三区| 中文av网站| 综合五月丁香六月婷婷| 狠色色狠网| 夜夜操少妇| 九九热a| 久久久久9久无码视频| 亚洲无码99| 婷婷亚洲综合| 噜噜久| 五月激情婷婷色| 激情网战码亚洲A| 色婷婷五月在线| 色色色色色综合| 久久丁香婷| 2050人人操免费工开爱| 丁香狠狠色婷婷久久无码视频| 欧美三级A做爰在线观看| 丁香五月电影| 亚洲激情另类| 欧美大肥婆大肥BBBBB| 99精彩视频| 日本久久人| 噜噜狠狠色综合久| 久久婷婷视频| 久操热| 开心激情婷婷| 久久婷婷综合五月| 97干在线| 国产成人精品一区二三区熟女在线| 99色在线| 色婷婷久久| 99无码视频| 丁香五月色情| 92久久精品一区二区| 中文字幕乱码亚洲精品一区| 蜜臀久久99精品久久久久久酒店| 亚洲精品九九| 五月天丁香综合久久国产| 2017人人操| 色噜噜狠狠色综合无码久久欧美| 天天干天天日天天插 | 色婷婷六月精品| 这里只有精彩视| 婷婷五月丁香五月丁香| 久久伊人日日夜夜| 丁香五月婷婷大香蕉| 欧美日韩成人在线网站| 青青青在线视频国产| 丁香六月综合激情| 五月天婷婷成人网| 欧美大片免费播放器| 欧美色图片88| www.玖玖婷婷在线| 成人在线综合| 免费黄色片子| seuuu婷婷| 激情五月综合免费| 99丁香五月婷| 久久五月情| 色噜噜狠狠色综| 99热久久这里只有精品| 日本三级成人秘书精品片| av一区免费看| 玖月婷婷爱丁香| 久热九九| 成人在线观看国产| 婷婷伊人综合中文字幕| 思思热在线视频观看精品| 五月花丁香婷婷| 激情性爱五月| 深爱激情综合| 伊人久热91| www.粉嫩av.com| 99九九视屏| 五月天婷婷无码| 久久视频这里有精品99| 1024AV视频| 婷婷大香蕉| 色久五月天| 五月激情小说| 日韩无码91| 五月丁香五月丁香| 思思热再线视频| 婷婷色网站| 成人超碰网| 久九色| 五月激情婷婷女| www.日日夜夜.com| 国产特级毛片AAAAAAA高清| 久久婷婷激情四射五月天| 色9色| 久久婷婷色色| 九色1区视频在线| 亚洲日本激情| 激情九月婷婷| 91凹凸在线| 人人草人人视| 青青久在线视频免费观看| 色九九综合热99| 久久99久久99精品免观看软件| 婷婷五月天激情文学| 六月婷婷AV| 婷婷五月天色丁香| 日韩中文欧美| 操操国产| 啪啪 综合网| 五月天久草| 婷婷六月天激情影院| 激情四射五月天| 久久久久激情| 亭亭色网| 91婷婷丁香五月| 五月婷视屏在线观看| 婷婷五月天影院| 我爱大香蕉| 伊人久久大香蕉网| 久久久久亚洲AV成人无码电影| 五月丁香六月激情在线| 激情碰碰碰| 激情婷婷丁香色五月| 久久国产一区二区三区| 亚洲avjiujiur91| 99热精品免费| 综合五月草| 狠狠干天天日| 99热在线免费观看精品| 成人做爰高潮A片免费视频| 99五月丁香丁| 天天天天操| 欧美在线操| 婷婷五月丁香六月| 久久久激情| 五月色婷婷综合| 五月天无码| 色五月激情五月开心五月| 激情五月天婷婷直播| 五月婷婷av| 婷婷激情肏屄网| 99热成人| 五月丁香六月婷婷亚洲| 91丁香婷婷综合久久欧美| 91色综合网站在线| 六月丁香婷婷六月激情综合| 国产永久一黄| 色色色色色色色色五月先| 九九av| 久久久婷| 99热大片| 日日操夜夜操无码免费| 99这里只有精品|v| 丁香婷婷久久老熟女综合网| 综合久久综合综合| 外国碰视频网站97| 国产Va视频| 丁香综合日产精品久久| 开心激情婷婷| 97丁香花五月天激情小说| 亚洲12p| 黄色激情五月天| 久99久在线观看| 99热这里只有精品99| 色婷婷伦理| 久久五月天丁香花| 九九精品热| 永久思思热在线| 激情五月婷婷视频| 日韩在线9| 丁香六月婷婷久久综合八月| 色婷婷av综合网| 五月天色综合| 色综合久久天天综合网 | 欧美五月丁香在线观看| 99内射视频| 日本久久爽| 成人网站在线观看视频| 久久色天堂| 丁香五月停停av| 日韩婷婷| 思思久久99热只有频精品66| 91干| 97超碰99热99| 疯狂做受XXXX高潮A片| 激情都市丁香婷婷| 婷婷五月天日逼| www.9797国产| 综合久久十三| 五月丁香偷拍| 五月天天久久香| 五月开心六月婷婷在线播放网站| 97成人超碰免| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 色婷婷视频综合| 婷五月丁香| 丁香五月天婷婷91| 九九亚洲天堂| 丁香五月在线观看| 五月天综合在线观看视频| 丁香六月AV| 五月天丁香欧美激情| 黄桃AV无码免费一区二区三区| 丁香六月婷婷五月婷婷| 天天舔天天插天天干| 97人人射| 欧美日韩国产一区二区| 婷婷99狠狠| 俺也去在线视频 | www.狠狠色.com| 婷丁香五月天| 色婷婷9| 丁香五月性| 丁香六月激情毛片| 99热色综合| 人妻熟人中文字幕一区二区| 日本婷久久| 天天操天天操天天操天天操天天操 | 欧美色色色色色色色| 丁香激情综合| 色五月六月婷婷| 六月色婷婷欧美| 狠狠色丁香五月婷巨| 天天摸天天肏| 亚洲AV综合网| 婷婷五月天影院| 久大香蕉| 国产精品色婷婷99久久精品| 91porn一起草| 精典久久| 综合久久综合综合| 综合超碰熟| 色婷婷综合在线| 最新久久99视频网站| 强奸幻女毛片| 久久婷婷丁香五月宗合| 亚洲另类噜噜| 青青福利网| 99精品7| 日本怕怕视频| 五月天六月丁香| 久久人妻视频| 九九久久精品| 天天天久久久| 婷婷色五月亚洲| 极品 少妇 内射| 欧美英丁香开心快乐六月天网| 再次出发二| 五月社区婷婷激情| 五月婷婷人妻| 色播五月综合网| 婷婷四色五月| 丰满女老板BD高清A片| 九九热123| 丁香六月婷婷色XXXX| 熟妇天天综合| 96精品久久久久久久久| 久久婷婷五月国产激情综合片| 99惹| 五月婷婷婷婷婷婷艺术| 直接看的AV| 久青操| 色色亚洲| 六月婷婷中文字幕| 久在热99| 婷婷之玖玖| 丁香五月色色| 五月天五月色婷婷综合| 亚州AV超碰人人操| 激情综合啪啪| 丁香六月婷婷色XXXX| 色婷婷五月成人网| 99热线观看9| 久久婷婷激情五月天一区二区| 天天干-天天日| 婷婷五月天激情基地| 五月丁香婷婷色色色| 丁香五月激情五月| 日韩免费99| 五月丁香日本在线视频观看| 怡红院精品视频久久久久久久久| 色欲丁香久久| 激情五月天婷婷直播| 欧美操我| 极品人妻VIDEOSSS人妻| 狠狠干五码| 久久精品五月天| 激情六月天| 亚洲激情综| 日日日天天干| 九九久久综合| 超级碰碰碰碰视频| 亚洲AV激情五月综合网| 午夜性爱影视一区77| 天天综合五月| 97婷婷五月丁香| 26UUU| 婷婷五月丁香综合激情| 亚洲精品国产熟女久久久| 99.N在线视频| 五月婷婷九月婷婷九月婷婷| 99精品视频免费观看| 91久草五月天婷婷| 婷婷五月天亚洲天堂| 大香蕉五月天婷婷| 一起操 91N.com| 呦呦v线| 九九碰九九爱97超碰| 99热热热天天人人人超超碰| 综合在线网| 久9久9久9久9久9久9| 婷婷五月娱乐在线| 五月天婷爱综合| 无码网站视频| 九九九九操逼| 99视频精品视频| 丁香五月首页| 丁香五月婷婷五月| 日本操B视频| 日韩婷婷| 亚洲Va成人| www热久久yy9| 久久五月天网| 色五月成人在线| 婷婷97狠狠成人网站| 五月激情婷婷综合| 操逼六区| 亚洲视频国产一区| 五月激情婷婷在线| 五月婷婷激情综合拍| 久久99网站| 五月天婷婷激情网| 99久在线精品99re8热| 久草热8精品视频在线观看| 五月开心婷婷极品激情| 色五月六月| 日韩无码专区| 天天爽天天操| 激情婷婷视频在线| 99精品7| 久99婷婷色综合| 狠狠操.COM| 日韩成人中文| 激情亚洲色图片丁香综合| 99人人干| 婷婷六月开心网| 青青草视频免费观看| 丁香五月天在线直播观看| 色婷婷电影| 丁香婷婷激情五月| 亚洲春色奇米影视| 婷婷五月激情在线| 涩婷婷视频快播人妻| 亚洲色在线观看| 黄色91在线观看| 五月天婷婷社区| 日本99在线| 成人网址在线观看| 久久婷.com| 玖玖精品视频| 开心四月婷婷在线色播播| 丁香啪啪| 久久久精久人妻| 婷婷五月丁香综合瑟瑟| 色婷婷成人| 最新av在线观看| 久久精品这里只有精品免费首页| 久久婷.com| 丁香激情久久| 久久与婷婷| 日韩日比视频在线| www.99热在线| 国产精品久久久99视频| 91夫妻视频| 婷婷射丁香| 国产在线中文字幕| 熟妇内谢69XXXXXA片| 五月丁香六月玩女人| 五月丁香激情四射| 国产午夜精品一区二区三区四区| 俺去也五月天| 高潮毛片遮挡费高一百度| 九九热AV| 丁香婷婷五月六月天| 日韩久久欧亚| www.久久久久| 妻久久人久久| 精品五月丁香| 97操男人的天堂| 色婷婷久久| 五月综合激情视频| 精品久久9| 超碰色碰碰| 激情AV| www五月天激情com| 六月婷婷深深爱| 热99一二三| 色色色热| 久超超碰| 天天舔天天摸视频| 综合婷婷六月| 婷婷色色婷婷| 新久久五月天激情| 黄色激情久久| 六月丁香成人| 亚洲精品无码99热| 99热官网| 天天色天天日| 婷婷六月色情| 五月丁香亭亭成人电影| 激情综合五| 在线观看亚洲AV| 99热香港| www久久99| 日韩成人av在线| 草综合14| 天天夜夜六月丁香五月婷婷老师| 大波美女VA网站| 熟女91九色| 午夜]香婷婷深深爱| 国产偷人爽久久久久久老妇APP| 五月丁香六月婷综合成人综合| 久久视频这里99| 九九一综合精品| 欧美婷婷六月丁香综合色| 久久与婷婷| 国产婷婷久久| 六月丁香成人| 伦乱人妻| 久久久久久久久月丁| 噼里啪啦完整版中文在线观看| 九九色图| 色综合大香蕉| 九热精品| 91婷色| 久久婷婷网站| 色色色在线观看| 五月婷婷激情日本| 五月丁香五月婷婷在线观看| 99免费视频在线观看爱| 五月婷色丁香| 99热视| 日本色婷婷综合| www.minyis.com【JT】实力收量可预付TG@LXSPSW8 | 99无码超碰| 亲子乱AV一区二区三区下载| 手机旧版看人妻1025| 91黄址| 婷婷精品在线| 97资源碰碰| 这里只有精品视频222| 国产av基地| 香蕉久久国产av一区二区| 丁香 久久| 超碰无码318604| 日韩不卡DvD| 五月丁香久久综合| 99欧美| 月婷婷亚洲| 狠狠操天天操天天操| 99er6| 天天在线久久综合 | 嫩草极品| 五月丁香另类网| 狠狠色中色| 久婷婷五月综合欧美| 五月天天堂久久| 色综合色五月| 国产阿姨日皮艹逼内射视频| www.com操| 亚洲视频丁香网va| 天天综合影院| 久热免费| 久久久五月天| 欧美性做爰大片免费看办公室 | 国产67194| 亚洲精99| 亚洲另类噜噜| 亭亭色网| 丁香六月婷婷| 激情av网| 亚洲视频二区| 成 久久| 丁香五月在线播放| 91操人视频| 婷婷无五月无码视频| 色月丁| 色天使色婷婷| 免费的日逼视频| 久久久99精品| 婷婷激情在线| 超碰成人黄色网| 色色影院黄大片| 啪啪91| 五月丁香人人婷婷在线观看| 丁香六月婷婷一区二区三区| 欧美色久| 亚洲亚洲人成综合网络| 一婬一伦一区二区三区| 丁香5月激情网| 五月丁香在线国产| 91大屁股精品| 无码视频国内精品久久久| 五月色亚洲| 婷婷色五月亚洲| 99干日本| 在线播放人妻| 五月婷成人| 深爱激清网| 午夜一区| 夜夜爱爱亚洲| 久久久精品视频79| 欧美这里只有精品| 亚洲精品久久久无码| 91久久综合| 丁香五月激情视频在线| 亚洲视频二区| 成人免费网站免费看| 欧美狠狠草| 久草性爱| 久久丁香网| 无码se| 日本色色网站| 亚洲成人AV电影在线| 91碰碰| 色色色热| 91n啪啪| 天天天天天操| 99re久久| 日本久久精品18| 婷婷色五月情| 五月婷婷影院| 丁香五月天黄色片| 性综合网| 色婷婷很很十八禁| 国产99热| 九九五月天| 国产第99页| av免费人人| 开心五月婷婷| 日韩欧美一区二区三区四区| 久久激情五月婷婷| 日本综合久久| 色狠狠综合| 99九九视频| 亚洲AVDVD| 99er精品视频| 东京热人妻一区二区三区在线| 日本成人噜噜噜噜噜| 大香蕉九九| 丁香六月婷婷综合欧美| 五月天婷婷在线AN| 久久全色| 五月开心深爱激情网| 26uuu色五月| 天天操夜夜肏| site:publishdd.com| 五月天婷婷在线观看| 色婷六月| 99久久婷婷五月综合| Caop在线| 精品网站:999WWW| 色婷av| 五月丁香久人妻中文| 夜夜爱影院| 日本三级中国三级99| 久久综合色情网站| 狠色色狠网| 强辱丰满人妻HD中文字幕| 思思99热在线| 色婷婷五月天| 人人干AV| 色九四色| www天天爽| 天久综合91综合首页| 这里只有精品热| 五月丁香黄色视频| 丁香六月婷婷激情综合| 色噜噜狠狠色综无码久久合欧美| 99热综合| 欧美大片| 五月丁香六月婷婷网站| 色婷丁香91| 天天激情欧美美女| 久久9久久| 久久久久9999| 婷婷五月天亚洲激情戏精品| 中文字幕av久久爽| www.狠狠操| 五月综合久久| 欧美99| 九九精品网| 日本天堂爱爱| 婷婷五月天影院| 伊人婷婷五月| 九九超日本| 色综合网址| 99日本黄站| 美国少妇性做爰| 国产成人99久久亚洲综合精品| 五月丁香婷草| 无码操B| 久久aaaa片一区二区| 美国不卡视频| 91九色精品熟女内射| 色高清无码视频| 99丁香五月婷婷在线| 婷婷九月丁香| 丁香五月天激情综合网| www.久9| 婷婷午夜| 停停五月丁香| 伊人干综合| 婷婷五月花| 青青草轻轻操| 日本va欧美va精品发布视频| 婷婷丁香六月天激情四射网| 婷婷射综合| 五月天色狠狠| 久re热视频| www.激情五月| 深爱婷婷网| 丁香五月婷婷五月天在线| 亚洲无码猫咪| 热99这就是精品视频| 91精品久久久久久综合五月天| 九九热中文| 色97啪啪| 久久五月婷| 国产性爱一级| 天天日夜夜夜操操操操| 91九色中文字幕女在线观看| 婷婷综合激情| 狠狠干综合网| 综合丁香婷婷五月天| 9久操| 极品人妻VIDEOSSS人妻| 欧美日比视频| 亚洲无码九九| 99色色爰| 亚洲婷婷婷| 丁香,开心成人,久久| 熟女激情五月天| 狠狠xx| 色五月婷婷开心| 999婷婷综合| 狠干综合| 欧洲MV日韩MV国产| 五月天久久婷婷| 99久久五月婷婷| 亚洲丁香五月在线观看| 九九热这里只有精品556| 玖玖婷婷精品| 婷婷丁香六月天激情四射网| 久草热久草在线视频| 五月停停色色丁香| 99视频在线观看网址| 丰满少妇猛烈A片免费看观看| 日本天堂爱爱| 婷婷五月天狠狠| 丁香五月第四色88| 九九热只有精品6| 五月天激情小说婷婷| 九九亚洲综合| av激情在线| 97亚洲精品| 亚洲狠9| 大地资源色婷婷视频在线| 婷婷五月天小说| 国产成人av在线播放| www.五月丁香| Www,五月天| 色丁香六月| 五月婷婷六月丁香综合| 天天操天爱综合| 国产精品激情五月天色婷婷| 成人小说 五月天 婷婷| 色五月丁香一区在线| 亚洲 综合中文| 激情影院内射| 永久思思热在线| www.激情在线| 国产片天天爽夜夜爽| 丁香五月六月久久综合| 五月婷婷另类| 情婷婷五月天在线| 99热20| 五月丁香 啪啪啪| 久久久网站| 九九热99re8热免费观看| 丁香综合久久| 五月丁香激情怕怕| 久久五月天婷婷| 99久热在线精品| 天天摸天天爽| 日本色婷婷久久99精品91| 天天做天天要天天爽| 综合五月天天天天天五月| 99热99干| 天天日夜夜拍| 丁香五月首页| 国产 码在线成人网站| 亚洲成人在线播放| 欧美私人家庭影院| 操逼电影免费看| 婷婷终合色图| 91碰| 五月婷婷综合网在线播放| 先锋资源996| 激情色色色| XX久久| 97婷婷色| 综合天堂AV久久久久久久| 自拍视频在线观看9| 久久9情免费| 色播播婷婷| 激情五月综合视频| 五月丁香六月色婷婷| 亚洲综合激情五月久久| 99九九99九九九视频精彩| 亚洲中文字幕网| 激情五月四色| 香蕉视频91| 美女天天艹人人爽| 色婷婷五月网| 激情六月色| 天天激情站| 激情 久久 婷婷| 亚洲无码你懂的| 婷婷久久欧美| 久热这里有精品视频| 亚洲视频99| 操人91| 五月婷婷综合色啪首页 | 婷婷五月婷婷五月| 人人九色| 图片区 小说区 区 亚洲五月| 1囯产午夜仑鲁鲁| 天天久久狠狠色综合| 丁香5月婷婷| 激情五月天视频| 国产精品18久久久| 铁牛TV人妻| 色国产五月| AA久久| 91九色最新视频| 91超碰在线观看| 伊人成人宗合网| 四月婷婷五月丁香| AA片在线观看视频在线播放| 玖玖爱导航| 色五月婷婷激情五月| 丁香久月| 丁香婷婷激情网站| 少妇丁香婷婷| 六月天婷婷| 超碰天堂网| 久久99综合| 四月婷婷五月丁香| 国产亚洲99久久精品| 超碰京东热av男人的天堂| 五月婷六月综合在线观看| 狠狠草在线观看| 大香蕉久久综合网| 另类天堂| 婷婷婷久久久| 激情小说婷婷五月| www.色窝| 久久久香| 久久色吧| 天干干夜夜操| 丁香婷婷社区| 婷婷丁香花五月天| 这里只有精品网站| 国产亚洲精品久久久久久久久动漫| 狠狠色丁香久久| 情趣视频66| 99热8在线| se色99| 在线综合网| 五月天婷婷影院| 丁香 亚洲 久久| 啪啪日本欧美| 天天干天天干天天干天天干天天| 久久a热| 婷婷天堂视频| 色欲一二三| 久久久宗合视频88| 五月天成人网婷婷| 中文字幕无码人妻少妇免费视频| 另类激情五月| 看全色黄大色大片| 影院久久久| 婷婷六月情| 久久久久久9热不雅视频| 色婷婷丁香六月| 五月婷婷丁香综合| 九月丁香八月婷婷加勒比| 六月婷婷之青青草| 九九RE视频在线精品| 五月噜噜噜色综合| 色五月激情五月天| 五月婷五月婷伊人伊人五月婷| 97精品欧美91久久久久久久| 狠狠爱夜夜| 九热视频在线精品15| 五月丁香综合中文| 五月天激情久久| 日夜操B| 人妻无码精品一区|