欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Ubuntu 16.04搭建mmdetection實(shí)戰(zhàn):版本匹配與踩坑記錄

Ubuntu 16.04搭建mmdetection實(shí)戰(zhàn):版本匹配與踩坑記錄 1. 在16.04上做這件事前先想清楚三件事1.1 為什么Ubuntu 16.04折騰GLIBC和Python生態(tài)的年代差先說(shuō)個(gè)現(xiàn)實(shí)問題Ubuntu 16.04發(fā)布于2016年自帶GLIBC 2.23而mmdetection的現(xiàn)代版本和配套編譯工具鏈很多編譯產(chǎn)物都依賴更高的GLIBC版本。之前我在一臺(tái)老機(jī)器上直接照搬新教程結(jié)果在import torch那一步就報(bào)GLIBC_2.29 not found當(dāng)時(shí)整個(gè)人是懵的。這個(gè)報(bào)錯(cuò)的意思很直白你想用的PyTorch或mmcv編譯時(shí)是基于新版系統(tǒng)的動(dòng)態(tài)庫(kù)鏈接的GLIBC符號(hào)在你的系統(tǒng)里根本不存在。解決辦法不是去網(wǎng)上找一堆不安全的二進(jìn)制替換libc而是老老實(shí)實(shí)選擇一套和系統(tǒng)年代匹配的版本組合。同樣的問題也出現(xiàn)在Python層面。16.04系統(tǒng)自帶的Python 3.5已經(jīng)非常老了很多新版本的mmdet、mmcv都不再兼容Python 3.5。我在實(shí)際配置中把它鎖定在Python 3.7不追新原因后面會(huì)展開說(shuō)。所以入手16.04裝mmdetection的第一認(rèn)知就是不要試圖全上最新版本而是要構(gòu)建一套“古董但自洽”的版本矩陣。誰(shuí)先接受“老系統(tǒng)配老版本”這個(gè)現(xiàn)實(shí)誰(shuí)就能少踩三分之二的坑。適合看這篇內(nèi)容的人我總結(jié)一下手里正好有16.04的老機(jī)器、或者因?yàn)轱@卡驅(qū)動(dòng)原因只能留在16.04、再或者在某些工控設(shè)備上必須用老內(nèi)核的人。如果你的機(jī)器可以隨便裝20.04以上系統(tǒng)我建議你直接上新系統(tǒng)別回頭。1.2 顯卡、驅(qū)動(dòng)、CUDA三角約束先搞定在裝任何軟件之前先把顯卡型號(hào)確認(rèn)清楚。在16.04這種老系統(tǒng)上顯卡驅(qū)動(dòng)版本和CUDA版本是互相鎖死的順序不能亂。我當(dāng)時(shí)的做法是三步走。第一步用lspci | grep -i nvidia查看顯卡型號(hào)第二步去NVIDIA官網(wǎng)看該型號(hào)支持的最新驅(qū)動(dòng)版本第三步根據(jù)驅(qū)動(dòng)版本反推CUDA版本。實(shí)際中遇到過(guò)這樣一個(gè)例子一臺(tái)機(jī)器是GTX 1080 Ti驅(qū)動(dòng)版本390.xx這個(gè)驅(qū)動(dòng)最高只支持到CUDA 9.2左右。這意味著你最多也就用PyTorch 1.0左右的版本mmdetection基本沒法跑。這時(shí)候就得考慮升級(jí)驅(qū)動(dòng)到440以上才能用CUDA 10.2。顯卡驅(qū)動(dòng)版本可用的CUDA版本可搭配的PyTorch建議390.xxCUDA 9.2及以下PyTorch 1.0以下不推薦跑mmdetection418/430CUDA 10.1/10.2PyTorch 1.5~1.8450CUDA 11.0/11.3PyTorch 1.8~1.10這里額外提一句如果你連顯卡都沒有只想用CPU跑一跑示例那也請(qǐng)保持CPU版PyTorch的版本對(duì)應(yīng)關(guān)系不要混裝。1.3 是不是非16.04不可很多人的掙扎在于周圍教程都是18.04、20.04自己這臺(tái)機(jī)器偏偏是16.04。這時(shí)候我通常給出的建議排序是能上20.04就上20.04這是最優(yōu)解一套新版本組合隨便配。因?yàn)槔巷@卡或軟件依賴無(wú)法升級(jí)系統(tǒng)的選擇16.04 老版本組合也就是本文的主題。既不能換系統(tǒng)、又想用新功能——可以考慮用Docker容器在Docker里跑新版Ubuntu鏡像。但這對(duì)顯卡直通和nvidia-container-toolkit有要求而且16.04主機(jī)內(nèi)核老Docker的gpu參數(shù)兼容性需要專門測(cè)試我試下來(lái)反倒是裸裝更快。我個(gè)人的傾向是如果確定留在16.04就干脆把心氣放平把本文推薦的老版本組合當(dāng)標(biāo)準(zhǔn)答案不要再惦記mmdetection最新的3.0版本。2. 驅(qū)動(dòng)、CUDA與conda虛擬環(huán)境一鍋端式的準(zhǔn)備方案2.1 禁用nouveau安裝NVIDIA驅(qū)動(dòng)16.04自帶的nouveau開源驅(qū)動(dòng)和NVIDIA閉源驅(qū)動(dòng)之間的沖突是環(huán)境安裝的第一道坎。不把它禁掉裝完驅(qū)動(dòng)重啟后大概率出現(xiàn)黑屏或循環(huán)登錄。操作順序是這樣的編輯配置文件sudo vim /etc/modprobe.d/blacklist-nouveau.conf寫入下面兩行內(nèi)容blacklist nouveau options nouveau modeset0更新內(nèi)核配置并重啟sudo update-initramfs -u sudo reboot重啟后先確認(rèn)nouveau沒被加載lsmod | grep nouveau如果沒有任何輸出說(shuō)明禁用成功。接著去NVIDIA官網(wǎng)下載對(duì)應(yīng)顯卡的runfile安裝包直接.run文件安裝比apt源里的版本更可控特別是老環(huán)境。安裝命令chmod x NVIDIA-Linux-x86_64-450.142.run sudo ./NVIDIA-Linux-x86_64-450.142.run -no-x-check -no-nouveau-check裝完用nvidia-smi驗(yàn)證。如果顯示驅(qū)動(dòng)版本和顯存信息說(shuō)明驅(qū)動(dòng)沒問題。這一步看似基礎(chǔ)但我見過(guò)太多人跳過(guò)后在mmdet訓(xùn)練時(shí)報(bào)各種CUDA相關(guān)崩潰回頭查才發(fā)現(xiàn)是驅(qū)動(dòng)層的cuda版本根本不兼容。2.2 CUDA與cuDNN安裝盡量用runfile而不是deb包CUDA和cuDNN的安裝方式會(huì)影響后期mmcv編譯的順利程度。16.04上用deb包安裝有個(gè)問題它會(huì)把驅(qū)動(dòng)也一并更新掉導(dǎo)致你辛辛苦苦裝好的驅(qū)動(dòng)版本被覆蓋。所以我的方案是驅(qū)動(dòng)用runfile裝CUDA也用只裝工具庫(kù)的方式不動(dòng)驅(qū)動(dòng)。CUDA下載頁(yè)里選擇Linux、x86_64、Ubuntu 16.04版本對(duì)應(yīng)的runfile。假設(shè)我們選用CUDA 10.2wget https://developer.download.nvidia.com/compute/cuda/10.2/Prod/local_installers/cuda_10.2.89_440.33.01_linux.run sudo sh cuda_10.2.89_440.33.01_linux.run安裝時(shí)注意在提示是否安裝驅(qū)動(dòng)時(shí)選No只安裝CUDA Toolkit。然后設(shè)置環(huán)境變量把下面內(nèi)容加到~/.bashrcexport PATH/usr/local/cuda-10.2/bin:$PATH export LD_LIBRARY_PATH/usr/local/cuda-10.2/lib64:$LD_LIBRARY_PATHcuDNN的安裝更簡(jiǎn)單把下載的cudnn-10.2-linux-x64-v8.2.1.32.tgz解壓然后把文件內(nèi)容拷貝到CUDA目錄下tar -xzvf cudnn-10.2-linux-x64-v8.2.1.32.tgz sudo cp cuda/include/cudnn*.h /usr/local/cuda/include/ sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/這一步完成后記得同步一下軟鏈接否則編譯時(shí)可能出現(xiàn)libcudnn.so.8 not found。這是老系統(tǒng)上非常經(jīng)典的坑因?yàn)?6.04不太會(huì)主動(dòng)刷新動(dòng)態(tài)庫(kù)緩存。2.3 conda環(huán)境與Python 3.7給所有依賴建一個(gè)隔離區(qū)到這一步我強(qiáng)烈建議裝Anaconda或Miniconda絕對(duì)不要直接用系統(tǒng)Python。16.04自帶Python 3.5且很多系統(tǒng)工具鏈依賴它直接覆蓋會(huì)出大問題。Miniconda對(duì)老系統(tǒng)更友好安裝命令wget https://repo.anaconda.com/miniconda/Miniconda3-py37_4.12.0-Linux-x86_64.sh bash Miniconda3-py37_4.12.0-Linux-x86_64.sh安裝時(shí)一路yes最后初始化conda。創(chuàng)建虛擬環(huán)境conda create -n mmdet python3.7 -y conda activate mmdet為什么鎖Python 3.7因?yàn)閙mdetection 2.x時(shí)代的官方README和大量預(yù)編譯的mmcv wheel都明確支持Python 3.7而且3.7在AGES工具箱里兼容性最高。整個(gè)mmdet全家桶對(duì)這個(gè)Python版本支持得最穩(wěn)實(shí)際測(cè)試中3.8也可以但在16.04的GLIBC限制下3.7的輪子最聽話。3. mmcv與mmdetection的版本匹配系統(tǒng)成敗的分水嶺3.1 版本對(duì)應(yīng)關(guān)系別信任何單點(diǎn)教程mmcv和mmdetection的版本匹配關(guān)系極其嚴(yán)格不同大版本之間API有變化連配置字段都可能改過(guò)名。在16.04上我最終是裝成了mmdetection 2.25.1 mmcv-full 1.7.5 PyTorch 1.10.0 CUDA 10.2這一組合。這個(gè)搭配的思考邏輯是Python 3.7 PyTorch 1.10 CUDA 10.2在老驅(qū)動(dòng)能用、且版本不要太老之間取了平衡。mmcv-full 1.7.5這個(gè)版本提供豐富的預(yù)編譯包選項(xiàng)支持PyTorch 1.10。mmdetection 2.25.1是2.x系列的后期版本功能足夠且配置組織方式成熟。這里還需要看一個(gè)關(guān)鍵對(duì)應(yīng)表mmcv與mmdet官方支持關(guān)系mmdetection版本mmcv全版本2.25.1mmcv-full 1.5.1, 1.8.02.18.1mmcv-full 1.4.6, 1.7.02.10.0mmcv-full 1.3.8, 1.4.0別小看這些區(qū)間mmcv版本裝高了或裝低了輕則警告重則直接報(bào)AttributeError或KeyError比如mmdet里用到的某個(gè)函數(shù)在mmcv新版本里被改名了。3.2 安裝PyTorch與mmcv-full的完整命令先裝PyTorch 1.10.0對(duì)應(yīng)CUDA 10.2直接用conda安裝最省事conda install pytorch1.10.0 torchvision0.11.0 torchaudio0.10.0 cudatoolkit10.2 -c pytorch -y這里有個(gè)易錯(cuò)點(diǎn)如果你預(yù)先下載了本地wheel安裝必須保證wheel是CUDA 10.2編譯的。我曾經(jīng)貪快用了pip install torch1.10.0默認(rèn)源結(jié)果拉到了CPU版本訓(xùn)練時(shí)torch.cuda.is_available()一直返回False排查了半天才發(fā)現(xiàn)基礎(chǔ)裝錯(cuò)了。接著裝mmcv-full。有兩個(gè)選擇一是直接用官方預(yù)編譯wheel二是源碼編譯。在16.04上如果預(yù)編譯wheel能匹配到你的Python和CUDA版本那是最快路徑如果報(bào)找不到對(duì)應(yīng)的wheel就老老實(shí)實(shí)從源碼編譯。預(yù)編譯方式pip install mmcv-full1.7.5 -f https://download.openmmlab.com/mmcv/dist/cu102/torch1.10/index.html源碼編譯方式預(yù)編譯失敗時(shí)的備選git clone -b v1.7.5 https://github.com/open-mmlab/mmcv.git cd mmcv pip install -r requirements/optional.txt MMCV_WITH_OPS1 FORCE_CUDA1 pip install -e .注意源碼編譯時(shí)MMCV_WITH_OPS1這個(gè)環(huán)境變量不能省不然只會(huì)裝純Python版本后續(xù)運(yùn)行檢測(cè)時(shí)會(huì)報(bào)一些算子在自定義CUDA擴(kuò)展上缺失的錯(cuò)誤。3.3 驗(yàn)證安裝是否真的可用裝完后我建議不止做import測(cè)試而是直接跑一次簡(jiǎn)單測(cè)試看CUDA是否可用python -c import torch; print(torch.__version__, torch.cuda.is_available()) python -c import mmcv; print(mmcv.__version__) python -c import mmdet; print(mmdet.__version__)同時(shí)在Python里跑一個(gè)小算子import torch from mmcv.ops import nms boxes torch.tensor([[0, 0, 10, 10, 0.9]], dtypetorch.float32).cuda() keep nms(boxes, torch.tensor([0.5]).cuda(), 0.4) print(keep)如果這段輸出正常說(shuō)明整個(gè)CUDA編譯鏈路都是通的可以進(jìn)入數(shù)據(jù)準(zhǔn)備階段了。很多人在這一步直接卡住有的報(bào)torch.cuda.is_available() False有的報(bào)nms算子加載失敗。前者多半是PyTorch版本和CUDA不匹配后者多半是mmcv未安裝帶ops的版本。4. 數(shù)據(jù)集準(zhǔn)備與配置文件改動(dòng)訓(xùn)練前最后的硬骨頭4.1 COCO格式目錄結(jié)構(gòu)就是規(guī)則mmdetection默認(rèn)推薦COCO格式數(shù)據(jù)集。如果你手上是VOC或自建數(shù)據(jù)集推薦先轉(zhuǎn)成COCO格式因?yàn)楹罄m(xù)一切可視化腳本、評(píng)測(cè)接口都基于這個(gè)格式省得繞路。目錄組織如下data/ coco/ annotations/ instances_train2017.json instances_val2017.json train2017/ 000001.jpg 000002.jpg ... val2017/ 000001.jpg ...自建數(shù)據(jù)集時(shí)你需要寫一個(gè)腳本把標(biāo)注轉(zhuǎn)換為COCO json最少包含categories、images、annotations三個(gè)節(jié)點(diǎn)。提醒一句images里的id和annotations里的image_id必須一致否則訓(xùn)練時(shí)數(shù)據(jù)加載會(huì)直接報(bào)找不到圖片的index這個(gè)初學(xué)最容易漏。4.2 配置文件繼承體系從base到sub-configmmdetection的配置成熟度很高“拿來(lái)改”比“從零寫”靠譜太多。它的邏輯是先有基礎(chǔ)配置再逐層覆蓋字段。實(shí)際訓(xùn)練時(shí)主要改三個(gè)文件configs/_base_/datasets/coco_detection.py改數(shù)據(jù)路徑、訓(xùn)練圖片尺度、數(shù)據(jù)增強(qiáng)參數(shù)。configs/_base_/schedules/schedule_1x.py改學(xué)習(xí)率、step、總epoch數(shù)。configs/_base_/default_runtime.py改checkpoint保存間隔、日志配置、工作目錄。比如我們訓(xùn)練SSD或Faster R-CNN通常會(huì)創(chuàng)建一個(gè)新配置文件_base_ [ ../_base_/datasets/coco_detection.py, ../_base_/schedules/schedule_1x.py, ../_base_/default_runtime.py ] model dict( typeFasterRCNN, backbonedict(...), ... ) data dict( samples_per_gpu2, # 每個(gè)GPU的batch大小 workers_per_gpu2, # 每個(gè)GPU的DataLoader線程數(shù) ) optimizer dict(lr0.02/8) # 如果samples_per_gpu調(diào)整過(guò)學(xué)習(xí)率也要等比調(diào)整我當(dāng)時(shí)自作主張把samples_per_gpu調(diào)成4卻沒動(dòng)學(xué)習(xí)率結(jié)果損失直接NAN后來(lái)參照官方文檔里“l(fā)inear scaling rule”把學(xué)習(xí)率調(diào)小才恢復(fù)。4.3 數(shù)據(jù)增強(qiáng)與類別匹配中的隱藏要求模型頭和數(shù)據(jù)集類別數(shù)必須匹配。COCO默認(rèn)是80類如果你用自建數(shù)據(jù)集只有3個(gè)類別必須在配置里顯式覆蓋model dict( roi_headdict( bbox_headdict( num_classes3, )), ... )這個(gè)問題很隱蔽因?yàn)椴桓采w也不會(huì)報(bào)錯(cuò)默認(rèn)80類會(huì)和你的標(biāo)注id對(duì)不上導(dǎo)致所有框都往錯(cuò)誤的類別上套。我在某次實(shí)驗(yàn)里完全沒注意訓(xùn)練了很久mAP一直很低直到可視化檢測(cè)結(jié)果才發(fā)現(xiàn)類別全亂這屬于白跑幾個(gè)小時(shí)的經(jīng)典失誤。數(shù)據(jù)增強(qiáng)方面mmdet的默認(rèn)pipeline已經(jīng)包含隨機(jī)翻轉(zhuǎn)、隨機(jī)縮放、多尺度resize。在16.04老機(jī)器上如果顯存不寬裕建議把img_scale從(1333, 800)改成(1000, 600)訓(xùn)練速度會(huì)提升明顯mAP損失在接受范圍內(nèi)。5. 訓(xùn)練流程實(shí)操?gòu)拿钚械交謴?fù)斷點(diǎn)5.1 單卡訓(xùn)練命令與常見參數(shù)一切就緒后進(jìn)入訓(xùn)練conda activate mmdet cd /path/to/mmdetection python tools/train.py configs/faster_rcnn_r50_fpn_1x_coco.py --work-dir work_dirs/my_experiment參數(shù)說(shuō)明--work-dir保存日志和checkpoint的目錄不設(shè)置時(shí)會(huì)自動(dòng)生成在work_dirs/下。--cfg-options臨時(shí)修改配置比如--cfg-options optimizer.lr0.01適合做小實(shí)驗(yàn)時(shí)用。--resume-from從指定checkpoint恢復(fù)。--auto-resume自動(dòng)從最近一次中斷點(diǎn)恢復(fù)這個(gè)參數(shù)在2.x版本里很實(shí)用。啟動(dòng)后日志會(huì)輸出每個(gè)epoch的loss、bbox_mAP等指標(biāo)。這里有個(gè)小習(xí)慣啟動(dòng)訓(xùn)練后別急著離開先等兩三個(gè)iteration確認(rèn)loss在合理范圍比如0.5到2之間震蕩如果一開始loss就NAN立刻CtrlC回去查配置別心疼這幾分鐘。5.2 多卡訓(xùn)練與GPU選擇如果你的老機(jī)器插了多張顯卡可以用官方腳本bash tools/dist_train.sh configs/faster_rcnn_r50_fpn_1x_coco.py 2 --work-dir work_dirs/my_experiment其中2是GPU卡數(shù)。但是16.04機(jī)器多為老平臺(tái)PCIe帶寬和CPU都可能是瓶頸。實(shí)測(cè)下來(lái)雙卡加速往往達(dá)不到2倍甚至?xí)驗(yàn)橥ㄐ砰_銷拖慢。所以老機(jī)器上我反而推薦先單卡跑通再考慮分布式的test-time augmentation或推理加速。顯存不夠是另一個(gè)高頻問題。如果訓(xùn)練時(shí)報(bào)CUDA out of memory優(yōu)先做三件事把samples_per_gpu降到1。把img_scale進(jìn)一步縮小。開啟梯度累積在配置里使用optimizer_config dict(grad_clipNone, typeGradientCumulativeOptimizerHook, cumulative_iters4)。這個(gè)梯度累積技巧在顯存受限時(shí)堪稱救星等效增大batch size又不炸顯存。5.3 訓(xùn)練中途崩潰怎么續(xù)訓(xùn)練跑著跑著因?yàn)闄C(jī)房斷電、SSH斷開、顯存溢出被殺進(jìn)程是常態(tài)。mmdetection的斷點(diǎn)續(xù)訓(xùn)機(jī)制很完善做法是python tools/train.py configs/faster_rcnn_r50_fpn_1x_coco.py --resume-from work_dirs/my_experiment/epoch_10.pth它會(huì)從epoch 10繼續(xù)訓(xùn)練優(yōu)化器狀態(tài)、學(xué)習(xí)率調(diào)度都會(huì)一并恢復(fù)。如果不想手動(dòng)指定--auto-resume會(huì)自動(dòng)找最新的checkpoint。迭代過(guò)程中還建議定期把配置文件復(fù)制到work_dirs里留檔比如cp configs/faster_rcnn_r50_fpn_1x_coco.py work_dirs/my_experiment/否則后續(xù)想回溯當(dāng)時(shí)實(shí)驗(yàn)用的哪套參數(shù)會(huì)非常被動(dòng)。評(píng)測(cè)模型時(shí)用python tools/test.py configs/faster_rcnn_r50_fpn_1x_coco.py work_dirs/my_experiment/epoch_12.pth --eval bbox注意--eval bbox只評(píng)測(cè)檢測(cè)框如果要評(píng)測(cè)分割結(jié)果要改成segm參數(shù)用錯(cuò)了不會(huì)報(bào)錯(cuò)但輸出metric缺失容易誤判。6. 我在16.04上踩過(guò)的坑編譯、訓(xùn)練中的典型報(bào)錯(cuò)與排查鏈路6.1 編譯報(bào)錯(cuò)別只看最后一行要看完整日志源碼編譯mmcv時(shí)最常見的報(bào)錯(cuò)是error: command gcc failed with exit status 1這個(gè)錯(cuò)誤信息太籠統(tǒng)90%以上的人卡在這里。我當(dāng)時(shí)的排查思路是往上翻日志找到真正的根源。通常有幾種情況缺少python頭文件需要先conda install python-dev或conda install python3.7-dev。缺少CUDA頭文件確認(rèn)/usr/local/cuda/include/cuda.h存在。gcc版本太老如果CUDA 10.2自帶驅(qū)動(dòng)的約束官方要求gcc 5.4沒問題但如果升級(jí)到CUDA 115.4就不夠了需要gcc 7.5。說(shuō)到gcc16.04默認(rèn)gcc是5.4。解決辦法是apt安裝gcc-7sudo add-apt-repository ppa:ubuntu-toolchain-r/test sudo apt update sudo apt install gcc-7 g-7 sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-7 70 sudo update-alternatives --install /usr/bin/g g /usr/bin/g-7 70注意如果換gcc版本之前已經(jīng)編譯過(guò)的CUDA工具鏈不一定需要重裝但重新編譯mmcv時(shí)一定要確認(rèn)gcc --version是預(yù)期版本。6.2 訓(xùn)練中出現(xiàn)NAN的排查鏈路NAN是訓(xùn)練階段最常見的臟數(shù)據(jù)類問題在16.04老環(huán)境里還多了一個(gè)特殊性硬件穩(wěn)定性降低某個(gè)PCIe插槽接觸不良或電源供電不足也可能隨機(jī)產(chǎn)生NAN。我的排查順序是先排除數(shù)據(jù)如果隨機(jī)抽樣幾百?gòu)堯?yàn)證圖片loss都在合理范圍那數(shù)據(jù)本身沒問題。再看學(xué)習(xí)率線性縮放規(guī)則batch減半那么lr也要減半否則NAN概率極高。檢查BN層的num_batches_tracked低batch size下BN統(tǒng)計(jì)不穩(wěn)定可以在配置里norm_cfg dict(typeBN, requires_gradTrue)改成SyncBN或減小lr進(jìn)一步觀察。硬件層面查dmesg | grep -i error看有沒有GPU相關(guān)報(bào)錯(cuò)用nvidia-smi -pl 200給老卡降一點(diǎn)功耗墻訓(xùn)練穩(wěn)定性會(huì)好很多。這里強(qiáng)調(diào)一下環(huán)境越老越不能把NAN直接歸因到算法要按層、按數(shù)據(jù)、按硬件一步步隔離才能找到真兇。6.3 GPU利用率上不去、CPU爆滿的老機(jī)器優(yōu)化16.04老機(jī)器CPU核數(shù)普遍不多訓(xùn)練時(shí)GPU利用率經(jīng)常只在30%左右波動(dòng)這是因?yàn)镈ataLoader在瘋狂做圖像解碼和resizeCPU成了瓶頸。解法data dict( samples_per_gpu2, workers_per_gpu4, # 適當(dāng)調(diào)大worker數(shù) )workers_per_gpu從2調(diào)到4或6通常能讓GPU利用率明顯回升。但也不要盲目開太大worker太多會(huì)造成內(nèi)存占用飆升老機(jī)器內(nèi)存不夠時(shí)反而觸發(fā)swap速度暴跌。我的一般經(jīng)驗(yàn)是內(nèi)存16G配2~4個(gè)worker32G以上配8個(gè)也沒問題。還有一個(gè)容易被忽略的點(diǎn)可以用torch.backends.cudnn.benchmark True在輸入尺寸固定時(shí)開啟cudnn自動(dòng)調(diào)優(yōu)對(duì)小數(shù)據(jù)集訓(xùn)練有明顯加速效果。老機(jī)器上跑訓(xùn)練最忌諱看著GPU沒吃滿就著急換大batch很多時(shí)候瓶頸不在GPU而在數(shù)據(jù)管線和IO。先診斷再優(yōu)化才是正道。最后再分享一個(gè)實(shí)際操作中的體會(huì)Ubuntu 16.04 mmdetection這套配置如果你能接受“不追新、版本鎖死、一切按部就班”的心態(tài)其實(shí)是可以很穩(wěn)定地跑起來(lái)的。我多次在重裝環(huán)境后照著一份自制的版本清單裝基本半小時(shí)內(nèi)能恢復(fù)到昨天的工作狀態(tài)。建議你也把最終成功的版本組合和安裝命令寫成一份備忘而不是依賴記憶。老系統(tǒng)的容錯(cuò)率低但確定性高一次配好持續(xù)使用體驗(yàn)反而比每次升級(jí)都要折騰的人舒暢得多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
激情国产五月| 色五月婷婷大香蕉| 日本三级日本三级三级人妇四虎| 七七色综合| 俺去也婷婷| 久久婷婷综合基地| 五月婷婷激情中文字幕| 激情小说视频图片| www.99热视频在线观看| 欧美日朝成人| 91|九色|动漫| 久久 中文 日本| 久久精品无码一区| 99热在线播放| 色色色色色综合| 色丁香五月| 五月丁香六月婷婷的女人| 天天爽—爽| 日韩成人中文字幕| 丁香久久五月婷综合| 亚洲电影中文字幕| 男同91| 综合五月婷婷| 丁香 久久| 久色资源网| 91啪级电影| 四色永久成人网站| 久久色婷婷| 久久狠婷婷| 亚洲av综合在线| 亚洲精品V天堂中文字幕| 九九免费视频| 五月激情六月宗合| 丁香五月天激情| 开心婷婷中文字幕| 色婷婷五月天在线观看| 丁香美女五月天婷婷| 五月天激情美女久久| 婷婷五月天激情在线观看 | 色婷婷在线影院| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 成片免费播放| 天天久久狠狠色综合| 欧美日韩国产一二区| 久久久天堂国产精品女人| 五月丁香综合| 白人荫道BBWBBB大荫道| 亚洲情综合五月天| 国产在线aaa片一区二区99| 九九视频在线| 天天狠狠夜夜狠狠2023| 天天干 夜夜爽| 大香线蕉伊人| 色丁香婷婷| 97色色色| 国产无人区大片| 色亭亭五月天丁香综合AV - 百度 - 百度| 亚洲操b| 亚洲激情网站| 综合一本道| 韩国久久少妇视屏| 色色色综合网| 亚洲无码成人网| 99re热视频这里只有综合亚洲| 婷婷99热| 色五月首页| 亚洲中文字幕在线观看| 天天干天天干天天干| 99热国产| 丰满少妇猛烈A片免费看观看| 极品人妻VIDEOSSS人妻| 五月天成人综合| 涩五月婷婷| 色婷婷电影网| 丁香啪啪| 国产真实乱对白精彩| 一本大道熟女人妻中文字幕在线| 香蕉网婷婷| 高清资源站日A美A欧亚…| 大战熟女丰满人妻AV| 久久er99热精品一区二区| 色五月激情五月| 九九热在线视频| 99精品在线观看| 1024人妻| 久久黄色片| 久久综合久色欧美综合狠狠| 丁香操逼| av免费在线网站| 大香伊人婷婷影院| 无码橾| 亚洲AV无码影院| 怡春院久操| 激情婷婷丁香五月天| 97干免费视频| 日韩一区二区在线播放| 婷婷免费无视频| 538久久| 思思热精品免费视频| 天天色色婷婷| 色情五月停停丁香| 国产激情在线| 夜夜躁爽日日| 无码激情AAAAA片-区区| 91n啪啪| 免费成片在线观看| 久热99热| 五月婷婷丁香啪啪| 激情丁香淫荡婷婷| 色婷亚洲| 五月天伊人综合| 五月婷婷久久综合| 99re6在线视频精品免费| 亚洲九N| 六六久久黄色| 美腿丝袜AV天堂网| 五月婷婷人人人操| 国内裸舞二区| 99色视频免费在线规看| 日本九九网| 色综合丁香| 亚洲激情五月天| 五月婷婷六月色| AA片在线观看视频在线播放| 91久久网站| 4399在线观看免费高清毛片| 97超碰在线免费观看| 激情综合丁香六| 一本婷婷丁香久久| 色狠狠色综合久久久绯色AⅤ影视| 国产67194| 97天堂| 激情五月综亚网| 综合激情深爱| 夜夜资源站| 久久久这里有精品| 色色色九九九五月婷婷| 亚洲成片在线观看| 99视频色在线观看| 天天天摸夜夜夜玩| 人人人操| 96精品成人无码A片观看金桔| 丁香五月激情综合久久| 激情综合区| 激情 五月 婷婷 丁香| www.五月天。com| 婷婷天天色| 中文字幕在线不卡| 激情婷婷丁香五月| 九热视频在线精品15| 色综合激情| 婷婷丁香五月精品| 婷婷丁香五月婷婷| 国产精品色色| se.久久视频在线观看| 伊人久久99| 婷婷丁香激情五月| WWW.99视频| 天天弄天天操| 五月婷婷亚洲综合在线 | 色播播婷婷| 丁香啪啪| 五月天堂在线| 综合网色| 果冻传媒A片一二三区| 碰碰人人漕| 丁香五月天导航| 色丁香久综合在线久综合在线观看| 热思思| 97福利视频| 色和综合网| 无码yw| 色五月涩涩婷婷蜜桃| 可似看的AV| 色综合com| 610018岁成人视频| 另类激情五月| wwwC0maV五月花| 激情亭亭五月| 午夜成人片400| 婷婷五月天首页激情| 99精品久久| 视色综合| 五月天播播| 中文字幕操比影片| 欧美情月伍月天| 另类激情五月天| 色综合久久天天综合网| 超碰97在线观看免费| 色综合综合色| www,av好吊操| 五月天六月色| 草榴视频黄色网| 99久久99九九99九九九| 看国产探花操逼三级片| 26uuu日韩| 乱精品一区字幕二区| 久久精品五月天| 五月天婷婷乱| 色中色综合| 婷婷五月天丁香综合网| 久久久久久草黄色片AV在线观看| h在线看免费版在线看| 激情第四色| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 婷婷五月天六点丁香五月| 精品五月天| 亚洲这里只有精品| 欧美VA视频| 夜夜天天久久婷婷| 激情五月婷婷综合| 97成人超碰免| 99视频精品全部免费 在线| 色情五月天丁香社区| 久久综合99| 99手机在线精品视频| 五月丁香婷婷激情| 色色射| 九九色情网五月天| 色小说婷婷五月天天天| 五月婷婷啪| 久久婷婷网址| 丁香五月婷婷色五月| 91色色色18| 婷婷五月丁香四射| 激情深愛五月視頻| 人人操91| 免费AV在线网址| 伊人婷婷激情| 99这里有精品| 婷婷激情视频| 777色色色| 成人精品一区日本无码网| 亚洲精品视频电影| 婷婷亚洲欧美丁香五月| 丁香狠狠干| 日日骑夜夜撸| 欧美熟女99| 久操大屁股女人av| 26uuu亚洲欧美| 激情婷婷五月天| 丁香五月开心亚洲| 久久久久丁香婷婷五月天| 久久久天堂国产精品女人| 久久艹99| 99热在线观看免费精品| 婷婷五月丁香综合亚洲| 婷婷久久免费看| 亚洲AV网站在线观看| BlACKEDRAW视频一区二区| 国产在线6| 99久久婷| 91精产一区三区免费观看| 久久丁香五月婷婷| 午夜天堂一区人妻| 日本波多野结衣视频| site:901-07.com| 干一干xxxx| 在线一起草av| 伊人深爱综合| 亚洲天堂婷婷丁香| 五月丁香六月色情网欧美| 91狠狠综合久久久久久| 黄网免费观看| 99色在线观看视频| 91综合视频在线| 五月婷综合网| 51精品国自产在线| va中文资源在线观看| 婷婷开心激情| 五月丁香综合啪啪| 武则天精品久久| 丁香五月天电影| AV五月婷婷露脸| 婷婷五月中文字幕国产| 啪啪一区| 婷婷丁香视频| 欧美三级A做爰在线观看| 色婷视频| 91超碰人人操| 五月天开心色情网| 91热视频色网站| 蜜桃婷婷狠狠久久综合| 五月婷婷真爱激情网| www.丁香黄色五月天人与| www.伊人天堂偷偷婷婷| 日本精品久久久久中文字幕| 干亚洲天堂| 婷婷伊人75| 无码人妻一区二区一牛影视| 日本婷婷综合精品| 久久丁香| 狠狠色婷婷7| 天天操比比| 激情综合国产| 狠狠色噜噜狠狠狠狠综合| 99色色色色| 婷婷九月丁香久久| 26uuuavcom| 狠狠久久婷五月综合色| 综合色99| 丁香五月停停av| 大香蕉久久| 激情四射网| 97久久综合网| 五月婷婷综合色啪首页| 在线播放人妻| www色中色综合| 激情婷婷丁香五月| 亚洲丁香网| 狠狠操狠狠色| 日夜夜久久| 超碰在线免费观看3 9| 婷婷五月天性| 色色亚洲99com| 五月花丁香婷婷| 六六久久黄色| 丁香五月天天高清在线| 狠狠 久久| 婷婷五月天成人小说| 大香蕉在线观看9| 五月婷天天搞视频| 丁香五月婷婷99| 色婷婷的五月天| 丁香五月性爱爱五月| 五月成人网站| 色欧美影院| www.maotanji.com| 夜夜资源站| 99精品久久久久久久婷婷| 亚洲综合色色| 婷婷丁香十月| 婷婷综合五月天激情| 中字幕视频在线永久在线观看免费| 色五月天中文字幕| 久久R激情| 丁香美女主播视频在线观看| 99热99思午夜精品| xxxx久| 久久狠狠干| 色综合色五月| 九九碰九九爱97| 婷综合| 日本色色网| 九九香蕉网| 婷五月丁香| 北条麻妃九九九国产精品视频| ss99热| 欧洲激情精品婷婷| 99re在线视频| 丁香五月欧美| 天天摸日日舔狠狠添婷婷婷| 亚洲天堂碰碰婷婷| 精品99在线| 综合久| 五月丁香综合| 青青草蜜臀| 超碰操日| 激情六月天| 综合色吧| 97久久久| 蜜桃婷婷丁香| 天天操夜夜操| 天天日天天插| 色yeye欧美| 精品99在线看| 亚洲最大在线| 夜夜AVV| 久久永久视频| 五月婷婷六月丁香在线视频| 天天橾夜夜爽| 丁香六月在线| 97干在线| 午夜精品人妻无码一区二区三区 | 天天色天天舔天天爱天天爽| 九九激情视频| 啪啪啪大香蕉| 99 这里只有精品| 日本色99网站| 五月婷婷影| 亚洲精品色色| 任我干视频在线观看| 色5月丁香婷婷| 国产激情综合| 色欧美色色色| 激情五月天偷拍综合网| 综合久久婷婷| 中文字幕一色哟哟哟哟| 欧美五月丁香| 九九AV| 欧美大片免费观看| 欧洲色| 九九成人精品免费视频| 久久久aaa| 日本女人久久| 色综合色综合色综合高潮| 好叼操在线观看| 91九色在线视频| 婷婷六月丁香欧美视频在线| 国产一级婬片毛片| 日本色视| 91欧美| 日韩无码系列| 在线五月色播| 欧美丁香婷婷五月天| 67194成I人在线观看线路1| 天天看A片| 丁香五月影院| 亚洲激情色色| 久热网在线视频| 五月婷婷在线观看黄| 婷婷干六月综合旧址| 热五月婷婷| 九九成人高清视频| 亚洲天堂AV综合网| 亚洲日韩26uuu| 丁香五月天婷婷中文字幕| 9热成人在线视频| 中文字幕AV在线播放| 狠狠色97| 色婷丨日丨天丨综合久久| 99热精品网| 日本九九九九| 婷婷十月丁香| 国产 码在线成人网站| 精品成人在线| 99热这里只有精品1025| 五月天激情网页| 色播婷婷大香蕉| 日韩黄色中文字幕| av在线观看免费| 婷婷丁香视频| 日良久久| 国产精品成人网址| 九九热在线精品视频| 自拍盗摄 另类| 九九AV| 狠狠操狠狠色| 色五月天激情| 亚洲第一精品成人999久久精品| 国产一级片| 五月丁香激情综合网官网| 日日爽日日| 狠狠色噜噜| 婷婷久久亚洲| 人人操婷婷| 丁香五月婷婷基地| www.91色| 久久38视频| 五月婷在线| 99爱视频免费| 伊人国产婷婷五月天| 91干在线| 欧类av怡春院| 97碰人人操| 5月丁香六月情| 91热爆在线| 92久久久| 国产AV国片偷人妻麻豆| 婷婷97碰碰| 五月婷婷欧美激情| 可以免费看av网站| www一起操| 疯狂做受XXXX高潮A片| 色婷婷激情四射视频| 99免费视频精品| 99热1| 射满了还射免费在线观看 -午夜版全集-新视觉影院 | 久久激情五月| 蜜桃五月天| 99re热精品在线视频| 中文字幕+中文在线| 99爱视频在线观看这里只有精品| AV性爱网| A网在线欧洲| 色久播播| 色五月婷婷av| 久久久久久久久久久月丁| 欧美性生交A片免费看| EEUSS鲁片一区二区三区| 五月天婷婷乱| 亚洲AV免费在线| 99久免费视频| 久综合4| 国产成人网址| 五月婷婷成人| 婷婷激情五月天在线| 思思99精品视频在线观看| 99热99精品| 日韩成人电泉AV| 丁香五月婷婷偷拍| 五月丁香无码| 在线播放中文字幕| ay2区| 久99热| 99er免费在线观看| 日本一级淫| 玖玖资源网站最新站| 欧美性生交XXXXX无码小说| 91人人超碰在线| 伊人三级激情| av在线色五月丁香婷区久| 亚洲综合九九| AV九九| 五月天堂色色| 丁香五月色情av| 天天日天天舔| av九九| 99爱视频| 五月天色丁香| 五月婷在线视频免费播放| 韩国情人在线电视剧免费观看高清版全集 | 综合久久8| 激情婷婷丁香五月| 精品夜夜澡人妻无码AV| 五月天综合网| 丁香五月色| 激情久久丁香| 日日噜狠狠色综合久| www.minyis.com【JT】实力收量可预付TG@LXSPSW8 | 国产精品VIDEOSSEX久久发布| 日韩无码色色| 色色五月婷| 免费看欧美成人A片无码| 天天综合在线网| 这里只有精品在线免费视频| 先锋资源996| 无码地址| 99色在线观看免费| 99色激| www.精品99| 日韩欧美一道四区中文字幕| 色涩影院六月丁香| aaaa.黄| 涩涩激情五月婷婷| 久久久久视剧HD| 六月丁花香啪啪激情欧美| 亚洲日韩乱码一区二区三区四区| 色综合五月天| 天天干天天干天天| 日日干夜夜干| 色中色综合| 天天干天天干天天干天天干天| 婷婷五月天综合网| av网址在线| 亚洲av综合网| 亚洲中文字幕AV| 香蕉综合在线| 五月天成人综合| 激情五月婷| 色综合中文| 123草逼网| 欧美99视频| 97操碰碰无码视频| 日本三级日本三级99| 丁香五月天婷婷激情| www色中色综合| 色噜噜97视频在线观看| 国产精品VIDEOSSEX久久发布| 久久久久久人妻| 99r久久这里只有精品| 婷五月丁香俺| 这里只有精品在线看| 婷婷99狠狠躁天天躁中文| 99精品在线观看| 思思re99视频在线观看| 亚洲色精彩| 夜色.cnm| 婷婷综合久久| 丁香综合婷婷五月天| 久久九九综合| 五月丁香综合网| caop视频| 久久色五月天| 91中文狠狠综合| 噜噜狠狠色综合久| 激情久久综合网| 亚洲欧洲色色| 91丨九色丨白浆秘| 一级七香蕉| 成年视频免费观看| 视频1区2区| 五月丁香花激情综合网| 亚洲精品无码久久| 3pAV| 襙比视频| 丁香 婷婷 亚洲 熟女| 国产精品人人妻人人爽| 99热精品在线| 色欲天天综合网| 成人丁香五月天| 色婷婷久久| 欧美三级A做爰在线观看| 农村熟妇高潮精品A片| 婷婷婷婷婷婷婷婷婷婷丁香| 五月天色欧美| 六月撸婷婷| 综合玖玖性爱免费视频| 色黑鬼导航| 思思热在线视频99| 几激情五月婷婷色五月色天堂| 先锋资源婷婷| 99色婷婷| 欧美丰满熟妇BBB久久久| 亭亭五月激情亚洲在线| 7月婷婷六月丁香| 丁香五月天堂网AV| 超碰av在| 色五月激情五月| 日日爽日日| 精品无吗va视频免费观看| 99自拍视频在线| 丁香五月www| 天天干天天插| 色播五月婷婷| 男人综合网| 色五月,婷婷大香蕉| 综合色播| 六月丁香社区| 久久精品小视频| 情色婷婷五月天| 天天综合网站| 五月成人天| 狠狠色丁香综合| 99爱在线| 午夜精品久久久久久久爽| 日本色色视频| 视频综合网| 中文字幕成人| 国产日批视频| 婷婷五月丁香久久| www.9操| 91九色视频| 色婷婷色婷婷五月| 丁香九月婷| 亚洲V国产V欧美V久久久久久| 欧美黄色AA片哗啦啦啦| 天天五月情| 欧美成人猛片AAAAAAA| 婷婷色婷婷| 婷婷五月视屏| 天天天天天操| 热久久婷婷| 秋霞av吧| 婷婷丁香日韩五月| 超碰chaompinm| 欧美VA在线| 久久草婷婷丁香网站| 韩国19 主播内部福利vip免费播放| 丰满少妇猛烈A片免费看观看| 丁香五月婷婷亚洲色图| 久久99久久99精品免视看婷婷| 天天综合五月天| 国产97色在线| av第一二区| 婷婷六月色情| 久久五月天精品视频| 这里只有精品视频一区| 久操综合| 亚洲爆乳无码精品AAA片蜜桃| 激情五月天福利| 国产成人+综合亚洲+天堂| 丁香五月婷婷乱| 99毛片| 五月婷婷五月天| 中文字幕在线视频播放| 色五月天激情| 丁香婷婷十月| 婷婷色影院| 成人 在线观看国产| 色五月大| 五月丁香亭亭成人电影| 婷婷色五月婷| 精品无码久久久久久久久| 色色色婷婷| 狠狠婷婷爱| 日本九婷婷| 五月天激情网站| 91高潮喷水久久久久久久久| 亚洲1区| 日日插日日干| 丁香五月激情综合| 五月婷婷九九久久| 婷婷开心青青草| 丁香美女五月天婷婷| WWW.桔色成人.COM| 国产.亚洲.欧洲视频在线| 伦99热| 超碰成人在线观看| 99热热热天天人人人超超碰| 久久HD| 99热无码| 色色激情五月天| 97碰操| 婷久看人爽| 婷婷九月激情| 超碰不卡在线| 色青青电影色五月| 久久五月丁香婷婷| 另类激情中文| 日本精品人妻无码77777| 欧美大香蕉视频| 五月婷导航| 伊人五月天| 狠狠爱夜夜| 九九热在线视频,| 五月婷婷六月丁香| 美国天天操无码| 狠狠色狠狠鲁| 婷婷五月天丁香花| 伊人久久大香线蕉AV最新午夜| 亚洲AV激情五月综合网| 黄网在线观看免费| 人人摸人人干| 久久视这里只有精品| 久久人妻人人| 婷婷中文字幕网站| 五月天婷亚洲天综合网综合| 9999三级片| 亚洲无码免费看| 停停色综合伊人| 激情文学久久| Caop在线| 乱色色色| 国产成人精品一区二三区熟女在线| 久操干| 夜夜骑天天玩天天日| 丁香五月婷婷五月| 色色色色色色色色五月先| 亚洲无码色色| 色欲色欲久久宗合网| 狠狠操.com| 玖玖爱资源站| 91干网| 五月天婷婷乱| 色九月婷婷| 91干在线| 色五月人妻| 99热这里有精品| 色噜噜狠狠色综合无码久久欧美| 五月婷婷激情日本| 9精品国产在热久久| 亚洲五月天综合| 99热97| 久婷婷婷| 99热这里只有精品9| 狠狠噪| 丁香五月婷婷姐| 丁香六月在线| 在线99精品| 日夜夜久久| 亚洲精品国产熟女久久久| 轮奸综合网| 亚洲综合久| 一本色道久久88加勒比—| 成人丁香婷婷| 九九99精品视品| 久久狠狠色| 色色色五月婷婷| 九月婷婷综合| 99热老司机| 黄色一级影片| 天天操天天操天天操天天操天天操 | 97视频久久| 久激情| 79色色色色| 亚洲六月色| 密臀久久| 91狠狠色丁香婷婷综合久久| 久久99热这里只有| 91精品综合久久久久久五月丁香| 97性视频| 日熟女| 麻豆忘忧草午夜| 婷婷开心综合人妻小说网址| 国外亚洲成AV人片在线观看| 久久黄色网扯| 色噜噜婷婷| 任你日视频| 激情五月婷黄版| 99日在线观看视频| www.minyis.com【JT】实力收量可预付QQ2101460746 | 婷婷五月天久| 久久色五月天综合网| 色色三级视频| 色五月五月丁香| 日韩中文字幕| 色亚洲视频| 五月色丁香| 91热在线| 久久五月网| 色色丁香婷婷综合| 人人操插| 色婷婷av在线| 在线中文av| 久久久激情视频| 五月丁香网站| 亚洲XX网| 九九热在线精品视频| 久草丁香婷婷五月天婷| 丁香五月天资源网| 最新AV在线观看| 天天影视天天爽天天草| 婷婷久久伊人| 色婷婷五月天在线观看| 人妖色AV色综合| 色婷婷五月天在线观看| 婷婷五月色图| 99在线视频资源| 久操福利| 99自拍视频在线| 久操操| 日韩成人网址| 亚洲色色色色色色色色色| 婷婷丁香18| 婷婷五月亚洲激情| 79精品视频在线观看,| 天天综合五月| 婷婷色五月开心五月| 思思99久久| www.五月婷婷| 丁香五月婷婷激情小说| 色播综合| 日本婷婷丁香五月| 亚洲在线免费成人| 激情性五月天免费小说视频 | 久久99热这里只有精品| 日本va欧美va欧美va精品| 亚洲综合九九| 天天做天天爱天天爽在| 99燥99日| 久久丁香久久| 色婷婷综合影院| 久热 91| 热九九精品| 丁香五月天视频| 五月丁香少妇A| 91九色最新视频| 人人摸人人干人人做| 中文字幕婷婷在线| 久久 婷婷 五月天| 亚洲综合久| 91精品丝袜久久久久久| 五月天堂婷婷| 中文字幕成人版| 噜噜视频| 丁香五月91| 99热这里是精品| 六月丁香婷婷网| 五月婷婷综合天天操| www.夜夜操.com| 大香蕉婷婷五月| 天天艹夜夜艹| 色婷婷五月天激情综合| 色婷婷网大全在线| 五月婷婷片| 久久刺激网| 另类图片五月天| 99视频精品8| 影院久久久| 日日干夜夜干| 五月天婷婷色在线视频免费观看| 婷婷丁香久久| 综合五月激情| 热99热久| 欧美色宗和激情| 天天干,天天舔| 国产成人网址| 五月丁香欧美在线| 激情五月色综合网| 97色碰| 伊人天天色| 婷婷99狠| 激情综合在线观看| 五月婷婷色播视频| 久久久天堂国产精品女人| 婷婷五月色情天| 久久婷婷激情四射五月天| 日韩成人网址| 五月丁香六月激情网| 激情国产五月| 激情五月天综合网| 激情五月,色五月| 中文字幕不卡+婷婷五月| 日本三级99人妇网站| 亚洲VA在线| 久久影视婷婷五月| 九九99精品视频在线观看| 99热精品在线播放观看| 九九色婷婷五月天| 人人摸人人干| 丁香无五月网| 潮汕成人AV片在线| 日韩欧美颜射| 麻豆123区| 玖玖午夜视频| 99re在线播放| 亚洲无码色色| 婷婷成人网五月天| 亚韩精品视频1区| 伊人婷婷大香蕉| 六月婷婷狠狠色在线观看| 9 大屁股在线视频精品| www久久99| 99re26视频| 操日本三片99| 超碰免费在线| 夜夜干 夜夜操| 婷婷五月天AV网| 大香蕉 婷婷| 97婷婷狠狠| 中文不卡一二三区| 九九人人看| 丁香六月婷婷综合| 久久偷拍综合五月天| 久热这里只精品| 沈娜娜av| 天天肏高清在线| 狠狠五月天婷婷| 麻豆精品| 婷婷丁香五月综合| 色色色色网站| 色五月激情问网站| 免费在线a| 婷婷开心激情| 五月丁香龟婷婷| 色综合丁香| 久久99最新地址| 欧洲亚洲免费视频9| 婷婷丁香视频| 91色噜噜狠狠狠狠色综合| 欧美大片免费播放器| 久久婷婷亚洲| 婷婷大美在线| 婷婷六月色情| 欧美大肥婆大肥BBBBB| 99激情视频| 开心深爱五月天| 久久44| 成人日韩欧美| 五月丁香六月激情综合欧美| 丁香五月婷婷深爱综合激情| 激情色情五月天| 激情五月天小说网| 97色色综合| 99热思思在线观看| 婷婷 伊人 久久| www.五月天| 亚洲视频操| 久久66精品| 97人妻碰碰中文无码久热丝袜| 丁香五月停停av| 免费观看的av| 思思久久精品| 丁香五月大片| 91久久综合亚洲鲁鲁五月天| 人人操9| 婷婷五月激情中文字幕| 久久狠狠干| 天天草天天舔| 激情五月天啪啪| 丁香六月成人| 天天做天天爱| 九一99| 激情综合五月| 亚洲综合成人网站| 疯狂做受XXXX高潮A片动画| 99在线观看精品| 久久66精品| 开心五月婷婷五月| 涩涩激情五月婷婷| 九九RE视频在线精品| 玖玖五月丁香| 综合网五月天123| 99色精品视频| ′久久99一| 亚洲成人无码专区| 天天插综合| 五月婷婷六月激情| 五月视频日本免费观看| BT综合在线视频观看| 99九九这里有免费视频| www激情| 丁香五月激情婷婷婷婷在线观看| 九九视频精品在线免费| 日本久久99| 丁香九月激情久久| 超碰免费人| 色五月 五月婷婷| 99九九视频| 7EzOBIhNq85TO| 97色天堂| 99re鈥哸鈥唙| 天天做天天要天天爽| 丁香九月婷婷| 91九色国产熟女| 久久ri精品视频| 五月天激情国产综合婷婷婷| 狠狠丁香| 996er热| 久久欧洲综合网| 婷婷五月天激情综合| 六月婷婷激情图片| 欧美人人女女精品综合五月天| seuuu婷婷| 熟妇内谢69XXXXXA片| 天天日夜夜拍| 丁香五月婷婷av| 久久久久er热| 五月婷婷乱| 天天操夜夜啊| 99热人人| 日韩黄色网络| 婷婷基地成人五月天| 五月天福利影院导航| 久草热在线视频| 日本久久天堂| 亚洲免费av在线| 激情五月婷婷五月| 丁香婷婷视频一区二区| 2w在线视频| 婷婷五月激情丁香激情| 丁香五月花婷婷开心| 国产免费AV网站| 婷婷五月精品中文字幕| 性色综合网| 久久婷婷网址| 久久婷婷综合五月| 强辱丰满人妻HD中文字幕| 五月丁香六月婷| 人人干av| 综合色播| 亚洲精品视频在线播放| 日日日日日| 丁香五月激情啪啪| 深爱激情久久| 五月丁香六月婷婷免费| 婷婷五月天最新综合你懂的| 九九九色综合| www.99热视频| 久热黄色| 超碰97干| 在线观看免费狠狠色丁香香综合| 婷婷丁香五月激情密臀av| 亚洲韩国日产综合AV| 天天综合网~91| 丁香情色五月| 欧美成人猛片AAAAAAA| 99精品视频在线观看| 日本九九九九| 色婷婷香蕉| 五月丁香啪啪| 色综合色色| 欧美性丁香色色五月天干干| 91综合在线| 另类专区在线| 激情综合网五月丁香| 婷婷99视频精品| 日韩黄色电影| 激情综合网色播五月| 日日撸夜夜操| 亚洲激情网| 桃色五月天| 久久99热免费最新版| 亚洲天堂色色| 激情综合五月婷婷| 99热免费在线| 婷婷开心激情| 99热这里精品| 五月婷婷亚洲| 99热这里只有精品在线观看| 99在线观看精品视频| 丁香五月天婷婷中文字幕| 播五月,色五月,开心五月播放器 | 蜜臀久久99精品久久久久久酒店| 免费视频WWW在线观看网站| 白人荫道BBWBBB大荫道| 五月天婷婷久久| 超碰99热| 色九月婷婷| 操碰97| 99日本精品视频热| 一级黄色影片| 五月丁香六月婷婷啪啪| 超碰av在线| 婷婷操逼| 久久99国产综合精品免费| 91夫妻视频| 久久九九热38| 五月丁香亭亭激情操逼网| 色婷婷伊人激情在线观看| 99碰碰。| 真实熟女-91九色| 欧美日韩日韩成人| 金品在线视频99| 五月丁香激情综合六月涩涩爱| 久久婷丁香五月| 亚洲精品国产成人AV在线| 久热这里只精品| 日韩好吊操| 婷婷涩涩网| 人妻肉射免费观看| 天天天天天天噜| 色偷偷五月天| 色综合大香蕉| 久操操| 91超级碰碰碰| 婷婷色网| AV在线不卡播放| 1024久婷| 大香蕉七区| 大香蕉婷婷丁香视频在线| 婷婷色综合| 激情文学天天| 色久五月| 亚洲色色香蕉| 婷婷丁香六月| 91啪啪视频| 啊v视频在线观看| 天天爽天天爽| 婷婷丁香色五月天| 热婷婷久| 99九九玖玖| 丁香五月天婷婷在线视频| 久色成人| 超碰狠狠色| 五月人妻婷婷视频| 丁香六月狠狠干| 91日本在线| 婷婷丁香五月综合| 亚洲丁香花五月丁香花| 黄页免费一级视频懂色| 久碰久操| 激情美女五月天| 久久成人精品视频| 99热综合网| 91性高潮久久久久久久久| 北京熟妇搡BBBB搡BBBB| 久9综合| 丁香五月黄色| 久久婷婷色| 色婷婷激情小说网| 日日狠狠久久偷偷四色综合免费| 天天日夜夜爽| 婷婷精品免费久久| 伊人五月天| 色欲AVV| 9久久网| 色性综合| 2025天天爽天天摸| 这里只有精品1| 婷婷色影院| 国产成人精品亚洲线观看| 97超级碰碰碰久久久| 國語久久婷| 婷婷激情五月天在线视频| 天天搞天天色综合| www.9797国产| 五月激情小说| 欧美性生交XXXXX无码小说| 婷婷九月丁香中文| 综合AV在线| 丁香五月婷婷成人色区| 日本VA视频| 久婷婷| 99网| 97超碰在线观看免费| 五月色色色| 久久五月丁香激情综合| www.成人婷婷综合| 九九热re99re6在线精品| 久久99网站| 九热av| 久久伊人大香蕉| 激情综合网婷婷久久| 天天久| 性色五月天| 九九热狼人| 色五月婷婷av| 精品国产va久| 亚州色色色| 激情五月六月婷婷| 欧美激情综合五月色丁香| 色五月婷婷自拍| 五月久久五月激情| 亚洲 五月 婷婷 成人| 97操碰视频| 亚洲成av人影院| 日韩无码人妻一区二区| 天天搞夜夜六| 五月天婷婷激情综合| 久久综合五月| 操逼电影免费看| 亚洲区视频| 操操操操操电影网| 91无码高清| 国产精品扒开腿做爽爽爽A片唱戏| 天堂网操| 色婷婷综合网| 日韩99精品| 亚洲天天| 婷婷激情五月天激情小说| 青青草原中文字幕| 欧美爆乳一区二区三区| 色欲一区二区三区精品A片| 久久亚洲天堂| 99视频久久| 久久aaaa片一区二区| 亚洲在线操| 在线看片h站| 婷婷五月丁香超碰| 五月婷婷视频啪啪美女| 天堂五月婷婷| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 九九無妻| 另类图片五月天婷婷| 五月激情视频| 五月丁香在线婷婷美女| 久久五月天综合| 91干在线视频| 五月六月丁香婷婷在线观看| 99re鈥哸鈥唙| 操操啪| 吊色AV男人的天堂| 91啪级电影| 综合另类视频| 国产伦亲子伦亲子视频观看| 婷婷五月天AV在线| 丁香五月婷婷激情123| 超碰在线人人| 三日本无码| 六月丁香激情综合网| 岛国av网站| 免费看欧美成人A片无码| 丁香五月婷婷激情尤物| 久久久月丁香| 婷婷六月色| 国产精品涩涩涩视频网站| 色狠狠999综合| 淫水导航| 五月天激情婷婷| 人妻在线网站| 五月婷婷色丁香| 综合久久综合久久| 色五月天 丁香| 婷婷六月丁香开心深深爱| 五月丁香欧美综合| 九九色热| 色噜噜夜夜夜综合网| 五月天成人在线播放丁香| 色色五月婷| 99人人操人人操人人精| 婷婷亚洲在线| 久久婷婷伊人| 日hao1区| 丁香五月丁香伊人| 五月天婷婷综合| 婷婷性爱视频在线| 婷婷成人综合五月| 99成人在线观看| 色综合香蕉视频| 激情五月婷婷综合视频| 99激情视频| 99热狠狠操| 狠狠五月天激情| 99热这里都是精品|