欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

醫(yī)學(xué)圖像分類(lèi)實(shí)戰(zhàn):腎臟數(shù)據(jù)集組織、yolov5訓(xùn)練與混淆矩陣評(píng)估

醫(yī)學(xué)圖像分類(lèi)實(shí)戰(zhàn):腎臟數(shù)據(jù)集組織、yolov5訓(xùn)練與混淆矩陣評(píng)估 簡(jiǎn)介一套針對(duì)腎臟結(jié)節(jié)與腫瘤識(shí)別的醫(yī)學(xué)圖像分類(lèi)數(shù)據(jù)集包含正常、結(jié)節(jié)、腫瘤三種標(biāo)簽專(zhuān)為基于深度學(xué)習(xí)的影像分類(lèi)場(chǎng)景設(shè)計(jì)適用于醫(yī)學(xué)影像入門(mén)實(shí)驗(yàn)、算法驗(yàn)證及競(jìng)賽練習(xí)。數(shù)據(jù)已按照訓(xùn)練集、驗(yàn)證集、測(cè)試集劃分并保存在data目錄下的獨(dú)立文件夾中三類(lèi)圖像數(shù)量分別為訓(xùn)練集2800張、驗(yàn)證集800張、測(cè)試集400張可直接用作卷積神經(jīng)網(wǎng)絡(luò)分類(lèi)或YOLOv5分類(lèi)數(shù)據(jù)集的輸入。資源包共2000個(gè)文件主要由1998張JPG樣本圖組成另含1個(gè)記錄類(lèi)別名稱與索引對(duì)應(yīng)關(guān)系的JSON字典文件以及1個(gè)用于數(shù)據(jù)集可視化的Python腳本整體壓縮包約151.5MB結(jié)構(gòu)簡(jiǎn)潔、便于快速檢查數(shù)據(jù)質(zhì)量。目前已有299人學(xué)習(xí)下載類(lèi)別字典清晰標(biāo)注類(lèi)別與索引的對(duì)應(yīng)關(guān)系可視化腳本便于快速檢查樣本減少數(shù)據(jù)整理與預(yù)處理的繁瑣步驟。對(duì)于希望快速獲得劃分完善、格式規(guī)整醫(yī)學(xué)圖像數(shù)據(jù)的研究者這套資源能顯著縮短實(shí)驗(yàn)前期準(zhǔn)備時(shí)間。1. 醫(yī)學(xué)圖像分類(lèi)的第一步這份腎臟數(shù)據(jù)集的目錄里藏著什么做醫(yī)學(xué)圖像分類(lèi)的人最怕的不是模型選型而是數(shù)據(jù)本身沒(méi)收拾利索。標(biāo)簽對(duì)不上、圖片混在一起、訓(xùn)練驗(yàn)證切分不干凈這些問(wèn)題往往在項(xiàng)目過(guò)半時(shí)才暴露一返工就是幾天。這次拆的資源是一份已經(jīng)劃分好的腎臟結(jié)節(jié)、腫瘤圖像識(shí)別數(shù)據(jù)集3 分類(lèi)正常、結(jié)節(jié)、腫瘤訓(xùn)練集 2800 張、驗(yàn)證集 800 張、測(cè)試集 400 張按文件夾組織好還帶類(lèi)別字典 json 和一個(gè)可視化腳本可以直接喂給 yolov5 分類(lèi)模式或任意分類(lèi)網(wǎng)絡(luò)。拿到手之后我的第一感覺(jué)是這省掉的不是下載時(shí)間是整理數(shù)據(jù)的時(shí)間。很多開(kāi)源數(shù)據(jù)集只給一堆散圖和一個(gè)標(biāo)注文件你得自己寫(xiě)腳本按標(biāo)簽歸文件夾、按比例切分稍不注意就漏圖或者路徑寫(xiě)錯(cuò)。這份資源把 train、valid、test 三套目錄都鋪好了圖片按類(lèi)別歸類(lèi)路徑即標(biāo)簽。對(duì)剛上手醫(yī)學(xué)圖像分類(lèi)的開(kāi)發(fā)者來(lái)說(shuō)可以直接跳過(guò)數(shù)據(jù)預(yù)處理這個(gè)最容易翻車(chē)的環(huán)節(jié)直接進(jìn)入訓(xùn)練和調(diào)參對(duì)熟手來(lái)說(shuō)省掉的是重復(fù)造輪子的時(shí)間把精力放在類(lèi)別邊界和模型評(píng)估上。2. 拆開(kāi)數(shù)據(jù)集看門(mén)道目錄、類(lèi)別字典與 4000 張圖的分布邏輯2.1 train / valid / test 三份目錄yolov5 分類(lèi)模式默認(rèn)的數(shù)據(jù)組織方式我第一次拿這份資源時(shí)先做的不是訓(xùn)練而是把目錄結(jié)構(gòu)和文件數(shù)量完整數(shù)了一遍。分類(lèi)任務(wù)和檢測(cè)任務(wù)不一樣檢測(cè)要讀 xml 或 txt 標(biāo)注分類(lèi)任務(wù)最簡(jiǎn)單可靠的組織方式就是「一個(gè)文件夾一個(gè)類(lèi)別」文件夾名就是標(biāo)簽。yolov5 的 classify/train.py 正是按這個(gè)約定讀數(shù)據(jù)的它內(nèi)部用 torchvision 的 ImageFolder 機(jī)制指定根目錄后會(huì)自動(dòng)掃描子目錄把每個(gè)子目錄名當(dāng)作一個(gè)類(lèi)別。# 在項(xiàng)目根目錄執(zhí)行查看數(shù)據(jù)集目錄樹(shù) tree -L 3 datadata/ ├── train/ │ ├── normal/ # 正常腎臟影像 │ ├── stone/ # 腎結(jié)石 / 結(jié)節(jié) │ └── tumor/ # 腫瘤 ├── valid/ # 有些版本寫(xiě)作 valyolov5 兩個(gè)寫(xiě)法都認(rèn) │ ├── normal/ │ ├── stone/ │ └── tumor/ └── test/ ├── normal/ ├── stone/ └── tumor/數(shù)完目錄我心里的預(yù)期是 train 2800、valid 800、test 400實(shí)測(cè)后跟摘要對(duì)得上。這里的邏輯說(shuō)明很簡(jiǎn)單yolov5 對(duì)訓(xùn)練集和驗(yàn)證集目錄名有約定train 和 valid或 val是它掃描的固定關(guān)鍵詞test 目錄在訓(xùn)練階段不會(huì)被動(dòng)用只在推理或最終評(píng)估時(shí)使用。參數(shù)說(shuō)明一下如果目錄名寫(xiě)的是 validation 而不是 valid 或 val那個(gè)文件夾會(huì)被忽略模型把驗(yàn)證集當(dāng)成了不存在這個(gè)問(wèn)題我見(jiàn)過(guò)不止一次。2.2 類(lèi)別字典 json從文件夾名到訓(xùn)練標(biāo)簽的映射關(guān)系數(shù)據(jù)文件夾本身已經(jīng)把標(biāo)簽寫(xiě)在路徑里了那 json 文件還有什么用它解決的是「數(shù)字標(biāo)簽」和「語(yǔ)義標(biāo)簽」的對(duì)應(yīng)關(guān)系。模型輸出的 argmax 結(jié)果是個(gè)整數(shù)比如 0、1、2你總得知道 1 到底代表結(jié)節(jié)還是腫瘤這就是類(lèi)別字典存在的意義。import json with open(data/classes.json, r, encodingutf-8) as f: class_dict json.load(f) print(class_dict) # {0: normal, 1: stone, 2: tumor} # 具體鍵值順序以你下載到的 json 為準(zhǔn)這里只是示例 # 反向映射訓(xùn)練時(shí)模型輸出 0/1/2通過(guò)它轉(zhuǎn)成可讀類(lèi)別 idx_to_name {int(k): v for k, v in class_dict.items()} name_to_idx {v: k for k, v in idx_to_name.items()}邏輯說(shuō)明這段代碼把 json 讀進(jìn)來(lái)后同時(shí)生成了兩個(gè)方向的映射。訓(xùn)練階段用 name_to_idx 把文件夾名轉(zhuǎn)成目標(biāo)張量驗(yàn)證和推理階段用 idx_to_name 把模型輸出轉(zhuǎn)成可讀的類(lèi)別文字。參數(shù)說(shuō)明json 里的鍵不一定是字符串形式的數(shù)字有的資源直接寫(xiě)的 {normal: 0}如果你拿到的是這種結(jié)構(gòu)把 int(k) 那行去掉就行讀取前先 print 一下原文件是標(biāo)準(zhǔn)動(dòng)作。有一個(gè)容易忽略的點(diǎn)torchvision 的 ImageFolder 在掃描子目錄時(shí)是按字典序生成 class_to_idx 的和 json 里定義的順序不一定一致。如果你的類(lèi)別名是 normal、stone、tumor按字母序恰好是 normal0、stone1、tumor2和 json 一致算運(yùn)氣好如果類(lèi)別名是中文或者首字母大小寫(xiě)混亂就要以 ImageFolder.class_to_idx 的實(shí)際結(jié)果為準(zhǔn)拿 json 來(lái)校驗(yàn)而不是拿來(lái)直接替換。2.3 show 腳本先可視化再訓(xùn)練省掉一半冤枉路資源里附帶了一個(gè) show 腳本我的習(xí)慣是在任何訓(xùn)練開(kāi)始前先跑它。醫(yī)學(xué)圖像分類(lèi)的視覺(jué)檢查和自然圖像不一樣很多圖片在普通人眼里長(zhǎng)得幾乎一樣但模型要學(xué)習(xí)的紋理特征就藏在這些細(xì)微差異里。腳本的作用是把每個(gè)類(lèi)別隨機(jī)抽幾張圖拼成網(wǎng)格展示出來(lái)確認(rèn)圖片能正常讀取、沒(méi)有黑圖或損壞文件順便對(duì)類(lèi)別特征有個(gè)直觀印象。import matplotlib.pyplot as plt import os import random from PIL import Image data_root data/train classes [d for d in os.listdir(data_root) if os.path.isdir(os.path.join(data_root, d))] fig, axes plt.subplots(len(classes), 4, figsize(12, len(classes) * 3)) for row, cls in enumerate(classes): cls_dir os.path.join(data_root, cls) imgs os.listdir(cls_dir) sample random.sample(imgs, min(4, len(imgs))) for col, img_name in enumerate(sample): img Image.open(os.path.join(cls_dir, img_name)) axes[row, col].imshow(img) axes[row, col].set_title(f{cls}) axes[row, col].axis(off) plt.tight_layout() plt.show()邏輯說(shuō)明這段腳本遍歷訓(xùn)練集下每一個(gè)類(lèi)別文件夾每個(gè)類(lèi)別隨機(jī)抽 4 張圖拼成一行網(wǎng)格。random.sample 做的是無(wú)放回抽樣避免同一張圖重復(fù)出現(xiàn)。參數(shù)說(shuō)明figsize 的第二項(xiàng)用 len(classes) * 3 動(dòng)態(tài)計(jì)算高度類(lèi)別越多圖越高min(4, len(imgs)) 是為了防止某個(gè)類(lèi)別的圖片數(shù)量不足 4 張時(shí)報(bào)錯(cuò)這屬于防御性寫(xiě)法資源里每類(lèi)都遠(yuǎn)超 4 張但寫(xiě)腳本時(shí)保留這個(gè)保護(hù)沒(méi)壞處。跑完 show 腳本我還習(xí)慣順手統(tǒng)計(jì)一下每個(gè)子目錄的具體數(shù)量這一步在分類(lèi)任務(wù)里的重要性超出很多人想象具體原因下一章展開(kāi)講。如果 show 腳本跑出來(lái)個(gè)別圖片是純黑或者明顯是損壞文件趁早剔除而不是等訓(xùn)練到一半 loss 異常再去排查。3. 把圖片喂進(jìn)模型yolov5 分類(lèi)模式與通用 CNN 兩條訓(xùn)練路線3.1 yolov5 分類(lèi)模式命令行訓(xùn)練與關(guān)鍵參數(shù)說(shuō)明這份數(shù)據(jù)集直接兼容 yolov5 的分類(lèi)模式這是最快跑通 baseline 的路線。yolov5 倉(cāng)庫(kù)里 classify 目錄下提供了獨(dú)立的訓(xùn)練入口不需要額外寫(xiě)數(shù)據(jù)加載器目錄結(jié)構(gòu)滿足約定后一行命令就能開(kāi)訓(xùn)。git clone https://github.com/ultralytics/yolov5 cd yolov5 pip install -r requirements.txt # 使用官方分類(lèi)模型做預(yù)訓(xùn)練權(quán)重在腎臟數(shù)據(jù)集上微調(diào) python classify/train.py \ --model yolov5s-cls.pt \ --data ../kidney_dataset/data \ --epochs 50 \ --img 224 \ --batch 64 \ --name kidney_cls_run1這段命令的邏輯說(shuō)明--data 指向數(shù)據(jù)集根目錄yolov5 會(huì)自動(dòng)尋找該目錄下的 train 和 valid或 val子目錄--model 指定模型結(jié)構(gòu)同時(shí)加載官方在 ImageNet 上預(yù)訓(xùn)練好的權(quán)重遷移學(xué)習(xí)可以顯著加速收斂--img 224 是把輸入圖縮放到 224×224這是分類(lèi)模型在 ImageNet 上的標(biāo)準(zhǔn)輸入尺寸改成 320 或 640 可以提升小目標(biāo)細(xì)節(jié)的辨識(shí)度但顯存占用和訓(xùn)練時(shí)間會(huì)同步上漲。參數(shù)說(shuō)明里有兩個(gè)值得單獨(dú)拎出來(lái)--batch 64 依賴 GPU 顯存在 8GB 顯存以下的卡上建議降到 32 或 16否則會(huì)出現(xiàn) CUDA out of memory--name 是實(shí)驗(yàn)標(biāo)簽yolov5 會(huì)把權(quán)重和日志存到 runs/train-cls/name 目錄下?lián)Q一組超參就換一個(gè) name這是最簡(jiǎn)單的實(shí)驗(yàn)管理方式。訓(xùn)練完成后結(jié)果目錄里會(huì)自動(dòng)生成 confusion matrix 和 results.png那個(gè)混淆矩陣圖就是后文要重點(diǎn)看的東西之一。我一般會(huì)先跑 50 個(gè) epoch 看 loss 曲線是否正常下降再?zèng)Q定要不要加時(shí)間。醫(yī)學(xué)圖像數(shù)據(jù)集通常比自然圖像更「難學(xué)」因?yàn)轭?lèi)間差異小50 個(gè) epoch 往往還不夠收斂如果還有時(shí)間預(yù)算加到 100 epoch 效果會(huì)更好。yolov5 分類(lèi)模式默認(rèn)會(huì)做早停patience 默認(rèn) 100所以不用太擔(dān)心過(guò)擬合跑太久。3.2 通用 CNN用 torchvision 的 ImageFolder 手寫(xiě)一個(gè)數(shù)據(jù)加載器如果不想綁定 yolov5想自己控制模型結(jié)構(gòu)或做更精細(xì)的數(shù)據(jù)增強(qiáng)torchvision 的 ImageFolder 是最順手的加載方案。它做的事情正是章節(jié) 2.2 里說(shuō)的掃描根目錄下的子文件夾把文件夾名映射成整數(shù)標(biāo)簽返回 (圖像張量, 標(biāo)簽) 配對(duì)的數(shù)據(jù)集。這與本數(shù)據(jù)集的「文件夾保存」方式是完全對(duì)應(yīng)的不需要額外寫(xiě)標(biāo)簽解析邏輯。import torch import torch.nn as nn from torchvision import datasets, transforms, models # 訓(xùn)練集增強(qiáng)隨機(jī)水平翻轉(zhuǎn) 顏色擾動(dòng)抑制醫(yī)學(xué)圖像過(guò)擬合 transform_train transforms.Compose([ transforms.Resize((224, 224)), transforms.RandomHorizontalFlip(p0.5), transforms.ColorJitter(brightness0.2, contrast0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) # 驗(yàn)證集只做縮放和歸一化不做隨機(jī)增強(qiáng) transform_val transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) train_ds datasets.ImageFolder(data/train, transformtransform_train) val_ds datasets.ImageFolder(data/valid, transformtransform_val) test_ds datasets.ImageFolder(data/test, transformtransform_val) train_loader torch.utils.data.DataLoader( train_ds, batch_size32, shuffleTrue, num_workers4, pin_memoryTrue) val_loader torch.utils.data.DataLoader( val_ds, batch_size32, shuffleFalse, num_workers4, pin_memoryTrue) # 用 ResNet18 做遷移學(xué)習(xí)把最后一層全連接換成 3 分類(lèi) model models.resnet18(weightsmodels.ResNet18_Weights.IMAGENET1K_V1) model.fc nn.Linear(model.fc.in_features, 3) criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.fc.parameters(), lr1e-3)邏輯說(shuō)明ImageFolder 返回的數(shù)據(jù)集對(duì)象自帶 classes 和 class_to_idx 兩個(gè)屬性classes 是文件夾名列表class_to_idx 是名字到數(shù)字的映射建議打印出來(lái)和類(lèi)別字典 json 對(duì)一遍防止字母序?qū)е碌臉?biāo)簽錯(cuò)位。驗(yàn)證集的 transform 不能帶隨機(jī)增強(qiáng)否則每次評(píng)估結(jié)果都有波動(dòng)無(wú)法橫向比較。參數(shù)說(shuō)明num_workers 在 Windows 上如果報(bào)多線程錯(cuò)誤就改成 0pin_memory 只在 GPU 訓(xùn)練時(shí)有意義CPU 訓(xùn)練可以刪掉。這里的優(yōu)化器只傳了 model.fc.parameters()意思是凍結(jié)主干網(wǎng)絡(luò)只訓(xùn)練新加的分類(lèi)頭先用這個(gè)配置跑通流程確認(rèn) loss 能降下來(lái)再解凍全部層做精調(diào)可以省一次從頭冷啟動(dòng)的時(shí)間。對(duì)比 yolov5 路線和通用 CNN 路線前者勝在開(kāi)箱即用日志、可視化、早停都內(nèi)置了后者勝在可控性強(qiáng)想換 loss、改 backbone、加自定義增強(qiáng)都方便。兩份數(shù)據(jù)是同一套切換路線的成本只在于重寫(xiě)數(shù)據(jù)加載器而這一節(jié)代碼可以直接復(fù)用到后續(xù)所有分類(lèi)實(shí)驗(yàn)里。3.3 loss 曲線的正常形態(tài)與異常形態(tài)跑通之后看什么不管用哪條路線訓(xùn)練起來(lái)之后第一件事是盯 loss 曲線。一個(gè)正常的訓(xùn)練過(guò)程train loss 在前 10 個(gè) epoch 應(yīng)該有明顯的下降趨勢(shì)val loss 緊隨其后下降但始終比 train loss 高一些。如果 val loss 先降后升而 train loss 還在降那就是過(guò)擬合信號(hào)需要增強(qiáng)正則化或提前停止。數(shù)據(jù)顯示這張表的對(duì)比場(chǎng)景我在 yolov5 的訓(xùn)練日志里整理過(guò)幾類(lèi)常見(jiàn)形態(tài)寫(xiě)在這里可以當(dāng)一份速查表用loss 曲線形態(tài)可能原因處理方式train/val loss 都不降學(xué)習(xí)率過(guò)大或過(guò)小、數(shù)據(jù)沒(méi)對(duì)齊先調(diào)到 1e-4 試跑 10 epoch確認(rèn)數(shù)據(jù)路徑正確train loss 降、val loss 升過(guò)擬合加數(shù)據(jù)增強(qiáng)、增大 weight_decay、提前停止兩個(gè) loss 都震蕩劇烈batch 太小或?qū)W習(xí)率偏大增大 batch 或降低學(xué)習(xí)率loss 為 NaN學(xué)習(xí)率過(guò)大、輸入含 NaN 像素用小學(xué)習(xí)率重啟檢查圖片是否損壞這里有個(gè)血淚經(jīng)驗(yàn)如果 train loss 在第一個(gè) epoch 就降到接近 0但不是收斂而是「假擬合」多半是標(biāo)簽和數(shù)據(jù)對(duì)不上——比如所有圖片被當(dāng)成同一類(lèi)。遇到這種詭異情況第一時(shí)間打印一個(gè) batch 的 data 和 label 出來(lái)人工核對(duì)不要急著調(diào)參這是深度學(xué)習(xí)圖像識(shí)別項(xiàng)目里最常見(jiàn)的「黑匣子」陷阱。4. 三類(lèi)標(biāo)簽的四個(gè)暗坑正常、結(jié)節(jié)、腫瘤容易翻車(chē)的地方4.1 類(lèi)別不平衡先數(shù)數(shù)再訓(xùn)練別等 loss 異常才回頭分類(lèi)任務(wù)里第一個(gè)暗坑就是類(lèi)別不平衡。摘要說(shuō)訓(xùn)練集總量 2800 張但沒(méi)保證三個(gè)類(lèi)別各 933 張現(xiàn)實(shí)是醫(yī)學(xué)圖像數(shù)據(jù)集里正常樣本往往比腫瘤樣本多得多。如果某個(gè)類(lèi)別只有 500 張而另一個(gè)有 1300 張模型會(huì)傾向于把模糊樣本預(yù)測(cè)為多數(shù)類(lèi)整體準(zhǔn)確率可能不低但少數(shù)類(lèi)的召回率會(huì)很難看。import os from collections import Counter def count_images(root): counter Counter() for cls in os.listdir(root): cls_path os.path.join(root, cls) if os.path.isdir(cls_path): counter[cls] len(os.listdir(cls_path)) return counter for split in [train, valid, test]: print(split, dict(count_images(fdata/{split})))邏輯說(shuō)明這段代碼統(tǒng)計(jì)每個(gè)集合下每個(gè)類(lèi)別的圖片數(shù)量輸出形如 {normal: 1200, stone: 800, tumor: 800} 的字典。拿到數(shù)量后做兩件事一是確認(rèn)每個(gè)類(lèi)別數(shù)量都在可訓(xùn)練范圍內(nèi)二是算一下最少數(shù)量的類(lèi)別能不能支撐訓(xùn)練。參數(shù)說(shuō)明如果發(fā)現(xiàn)某個(gè)類(lèi)別只有一兩百?gòu)堄袃煞N處理路徑一是對(duì)少數(shù)類(lèi)做過(guò)采樣在 DataLoader 里設(shè) sampler 按類(lèi)別權(quán)重抽樣二是用類(lèi)別權(quán)重加權(quán)損失函數(shù)把 torch.nn.CrossEntropyLoss 的 weight 參數(shù)設(shè)為 [1.0, 1.2, 1.5] 這類(lèi)與樣本量成反比的值。這是一個(gè)容易被忽略的地方驗(yàn)證集和測(cè)試集的比例分布也必須看一眼。很多項(xiàng)目訓(xùn)練集是平衡的但驗(yàn)證集因?yàn)殡S機(jī)劃分湊巧不平衡導(dǎo)致評(píng)估結(jié)果虛高或虛低。這份資源已經(jīng)劃分好了我們省了切分的力氣但「數(shù)數(shù)」這一步不能省。4.2 數(shù)據(jù)泄漏同一來(lái)源的圖片被拆進(jìn) train 和 valid醫(yī)學(xué)圖像和自然圖像有一個(gè)本質(zhì)區(qū)別同一病人的多次掃描切片之間高度相似。如果劃分?jǐn)?shù)據(jù)時(shí)只按文件名隨機(jī)打亂同一個(gè)案例的相鄰切片很可能同時(shí)出現(xiàn)在訓(xùn)練集和驗(yàn)證集里模型等于提前看過(guò)答案驗(yàn)證集指標(biāo)會(huì)虛高上真實(shí)場(chǎng)景就露餡。這張表的坑怎么識(shí)別看文件名。這份資源的文件名自帶.rf.加一串哈希的后綴如果多張圖片的哈希前綴相同大概率來(lái)自同一次標(biāo)注批次或同一個(gè)病例。檢查方法很簡(jiǎn)單對(duì)所有文件名提取哈希段統(tǒng)計(jì)同一個(gè)哈希前綴下的圖片是否被分到了不同集合。import os, re from collections import defaultdict def check_leakage(data_root): seen defaultdict(set) for split in [train, valid, test]: split_dir os.path.join(data_root, split) for cls in os.listdir(split_dir): cls_dir os.path.join(split_dir, cls) if not os.path.isdir(cls_dir): continue for fname in os.listdir(cls_dir): m re.search(r\.rf\.([a-f0-9]), fname) if m: seen[m.group(1)].add(split) leak {k: v for k, v in seen.items() if len(v) 1} return leak leak check_leakage(data) if leak: print(f發(fā)現(xiàn) {len(leak)} 組同源圖片被分到多個(gè)集合需重新劃分) else: print(未發(fā)現(xiàn)跨集合同源圖片)遇到數(shù)據(jù)泄漏時(shí)不要慌如果只是個(gè)別圖片串集直接刪掉測(cè)試集里那些同源圖片就行。如果比例很高要考慮重新劃分?jǐn)?shù)據(jù)劃分依據(jù)是哈希前綴而不是單張圖片文件名。這就是這份資源「按文件夾劃分好」背后的另一層價(jià)值劃分邏輯是可見(jiàn)的排查起來(lái)有跡可循。4.3 類(lèi)別字典與 ImageFolder 的索引順序不一致這個(gè)坑非常隱蔽我翻車(chē)過(guò)一次。ImageFolder 在構(gòu)建 class_to_idx 時(shí)按文件夾名的字典序排序如果類(lèi)別文件夾是 normal、stone、tumor索引恰好是 0、1、2但如果有人把文件夾命名成 normal、tumor、stone比如按創(chuàng)建時(shí)間排的那索引順序就變成 normal0、tumor1、stone2而類(lèi)別字典 json 里可能是 stone1、tumor2兩者對(duì)不上模型訓(xùn)練時(shí)的監(jiān)督信號(hào)就全亂了。# 打印 ImageFolder 實(shí)際生成的標(biāo)簽映射和類(lèi)別字典 json 對(duì)比 print(train_ds.class_to_idx) # 例如 {normal: 0, stone: 1, tumor: 2} # 讀取 json 里的映射 with open(data/classes.json, r, encodingutf-8) as f: json_map json.load(f) print(json_map) # 如果兩者不一致以 ImageFolder 為準(zhǔn)因?yàn)橛?xùn)練時(shí)用的就是它排查方法很簡(jiǎn)單把兩行打印結(jié)果并排對(duì)照。理論上這份資源在打包時(shí)已經(jīng)做過(guò)一致性校驗(yàn)但下載文件的版本可能不同json 也可能被編輯過(guò)跑這一步只需要一分鐘值得做。如果發(fā)現(xiàn)不一致解決方式是修改 json 字典的鍵順序而不是去改文件夾名因?yàn)槲募A名改起來(lái)牽連太多。4.4 隨機(jī)劃分的「看似隨機(jī)實(shí)則不隨機(jī)」最后一類(lèi)坑出在復(fù)現(xiàn)上。有人訓(xùn)練同一個(gè)模型兩次結(jié)果差異很大于是開(kāi)始懷疑模型問(wèn)題或者環(huán)境問(wèn)題但其實(shí)問(wèn)題出在數(shù)據(jù)加載順序。PyTorch 的 DataLoader 在 shuffleTrue 時(shí)用全局隨機(jī)數(shù)生成器洗牌如果不固定種子每次跑數(shù)據(jù)順序都不同結(jié)果自然不同。這在調(diào)參階段是災(zāi)難你不知道指標(biāo)變好是參數(shù)生效了還是隨機(jī)性帶來(lái)的。def seed_everything(seed42): import random import numpy as np random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) seed_everything(42)這段代碼要在訓(xùn)練腳本的最頂部執(zhí)行并且在 DataLoader 創(chuàng)建之前。參數(shù)說(shuō)明PyTorch 的 DataLoader 還可以單獨(dú)傳入 generator torch.Generator().manual_seed(42) 來(lái)控制洗牌隨機(jī)性這樣即便全局種子被其他庫(kù)污染數(shù)據(jù)順序依然可控。固定種子的價(jià)值在于讓每一次實(shí)驗(yàn)可復(fù)現(xiàn)這是深度學(xué)習(xí)項(xiàng)目從「玄學(xué)」走向「工程」的分水嶺。5. 圖像識(shí)別算法繞不開(kāi)的三件收尾驗(yàn)證分類(lèi)報(bào)告、混淆矩陣與誤判圖5.1 分類(lèi)報(bào)告別盯著準(zhǔn)確率看每類(lèi)的 precision / recall / f1訓(xùn)練結(jié)束后第一步跑測(cè)試集評(píng)估。很多人只看整體準(zhǔn)確率這對(duì)三分類(lèi)任務(wù)來(lái)說(shuō)遠(yuǎn)遠(yuǎn)不夠尤其在三個(gè)類(lèi)別數(shù)量不完全均衡時(shí)準(zhǔn)確率會(huì)被多數(shù)類(lèi)主導(dǎo)。sklearn 的 classification_report 一行代碼輸出每個(gè)類(lèi)別的精確率、召回率和 F1這三列合起來(lái)才能反映模型對(duì)每個(gè)類(lèi)的真實(shí)辨識(shí)能力。import torch from sklearn.metrics import classification_report, confusion_matrix device torch.device(cuda if torch.cuda.is_available() else cpu) model.to(device) model.eval() y_true, y_pred [], [] with torch.no_grad(): for images, labels in test_loader: images images.to(device) outputs model(images) _, predicted torch.max(outputs, 1) y_true.extend(labels.cpu().numpy()) y_pred.extend(predicted.cpu().numpy()) target_names list(train_ds.classes) print(classification_report(y_true, y_pred, target_namestarget_names))邏輯說(shuō)明model.eval() 是關(guān)鍵它關(guān)閉 dropout 和 batch norm 的訓(xùn)練行為否則同一張圖多次推理結(jié)果不同。torch.max(outputs, 1) 取的是每個(gè)樣本在 3 個(gè)類(lèi)別上的最大得分索引也就是模型的預(yù)測(cè)類(lèi)別。參數(shù)說(shuō)明target_names 直接取 ImageFolder 的 classes 屬性保證報(bào)告里的行順序和訓(xùn)練時(shí)一致不要手寫(xiě)類(lèi)名列表省得順序?qū)戝e(cuò)。這個(gè)報(bào)告還會(huì)輸出 macro avg 和 weighted avg前者是每個(gè)類(lèi)指標(biāo)的算術(shù)平均后者按樣本數(shù)加權(quán)兩者差距大說(shuō)明模型在少數(shù)類(lèi)上表現(xiàn)偏弱。5.2 混淆矩陣看模型把哪兩類(lèi)搞混了分類(lèi)報(bào)告給的是數(shù)值匯總混淆矩陣給的是錯(cuò)誤分布的具體位置。一個(gè) 3×3 的矩陣第 i 行第 j 列表示「真實(shí)類(lèi)別 i 被預(yù)測(cè)成 j」的樣本數(shù)對(duì)角線是預(yù)測(cè)正確的數(shù)量。看混淆矩陣我一般先找非對(duì)角線的最大值那個(gè)位置就是模型最容易混淆的類(lèi)別對(duì)。cm confusion_matrix(y_true, y_pred) print(混淆矩陣行真實(shí)列預(yù)測(cè)) print(cm) # 找出錯(cuò)誤最集中的位置 import numpy as np np.fill_diagonal(cm, 0) # 把對(duì)角線置零后剩下的最大值就是最嚴(yán)重的混淆 worst np.unravel_index(np.argmax(cm), cm.shape) print(f最嚴(yán)重混淆: 真實(shí){target_names[worst[0]]} - 預(yù)測(cè){target_names[worst[1]]}, 數(shù)量 {cm[worst]})對(duì)腎臟三分類(lèi)數(shù)據(jù)來(lái)說(shuō)最常見(jiàn)的混淆發(fā)生在結(jié)節(jié)和腫瘤之間因?yàn)閮烧咴谟跋裆系奶卣鬟吔绱_實(shí)模糊。如果混淆矩陣顯示 normal 和 stone 之間錯(cuò)誤很多那可能是標(biāo)注本身有問(wèn)題或者圖片采集條件不一致這時(shí)候去調(diào)模型是徒勞的要回頭查數(shù)據(jù)質(zhì)量。這一節(jié)里做的所有評(píng)估動(dòng)作本質(zhì)是回答一個(gè)問(wèn)題模型學(xué)到了什么又在什么地方學(xué)錯(cuò)了。5.3 誤判圖可視化把錯(cuò)誤樣本打出來(lái)看別再黑匣子調(diào)參混淆矩陣告訴你「哪里錯(cuò)了」誤判圖告訴你「錯(cuò)的是什么樣」。把預(yù)測(cè)錯(cuò)誤的樣本整理成網(wǎng)格畫(huà)出來(lái)標(biāo)題同時(shí)標(biāo)注真實(shí)類(lèi)別和預(yù)測(cè)類(lèi)別以及置信度分?jǐn)?shù)這一步對(duì)醫(yī)學(xué)圖像分類(lèi)尤其有價(jià)值。import matplotlib.pyplot as plt misclassified [] model.eval() with torch.no_grad(): for images, labels in test_loader: images, labels images.to(device), labels.to(device) outputs model(images) prob, pred torch.max(torch.softmax(outputs, dim1), 1) for i in range(len(labels)): if pred[i] ! labels[i]: misclassified.append((images[i].cpu(), labels[i].item(), pred[i].item(), prob[i].item())) if len(misclassified) 12: break if len(misclassified) 12: break fig, axes plt.subplots(3, 4, figsize(12, 9)) for idx, (img, true_label, pred_label, conf) in enumerate(misclassified): ax axes[idx // 4][idx % 4] img img.permute(1, 2, 0).numpy() img img * [0.229, 0.224, 0.225] [0.485, 0.456, 0.406] # 反歸一化 img img.clip(0, 1) ax.imshow(img) ax.set_title(f真:{target_names[true_label]}\n預(yù)測(cè):{target_names[pred_label]} ({conf:.2f})) ax.axis(off) plt.tight_layout() plt.show()這段代碼里的反歸一化是常見(jiàn)的坑模型訓(xùn)練時(shí)做了 Normalize 操作顯示圖片前必須用相同的 mean 和 std 還原否則看到的是一張偏色的圖無(wú)法判斷問(wèn)題出在哪。參數(shù)說(shuō)明clip(0, 1) 是為了防止數(shù)值越界導(dǎo)致圖像出現(xiàn)不自然的色塊。每次只取 12 個(gè)誤判樣本人眼能在一張圖內(nèi)快速瀏覽多了反而不容易看出規(guī)律。對(duì)誤判圖的觀察要落到具體模式上比如「所有被誤判成 tumor 的 stone 圖片都有明顯的強(qiáng)回聲區(qū)域」或者「正常樣本里有鈣化點(diǎn)所以被判成結(jié)節(jié)」。當(dāng)誤判呈現(xiàn)出明顯的視覺(jué)規(guī)律時(shí)說(shuō)明數(shù)據(jù)里有干擾特征下一步不是調(diào)模型結(jié)構(gòu)而是考慮加預(yù)處理步驟屏蔽干擾或者人工清理這些邊緣樣本。5.4 softmax 置信度的二次排查低置信度樣本單獨(dú)拎出來(lái)最后一層 softmax 輸出的置信度分布也值得看。醫(yī)學(xué)圖像分類(lèi)的實(shí)用場(chǎng)景里我們往往需要模型在拿不準(zhǔn)的時(shí)候「說(shuō)出來(lái)」而不是硬猜一個(gè)結(jié)果。統(tǒng)計(jì)一下測(cè)試集里置信度低于 0.6 的樣本數(shù)量如果占比很高說(shuō)明模型對(duì)大量樣本都缺乏把握部署時(shí)要考慮設(shè)置置信度閾值低于閾值的樣本轉(zhuǎn)人工審核。這個(gè)動(dòng)作的成本很低但對(duì)落地價(jià)值很大。yolov5 分類(lèi)模式在推理時(shí)會(huì)輸出每個(gè)類(lèi)別的置信度直接加判斷條件即可自己寫(xiě)的模型就是上面代碼里那個(gè) prob 變量。二分類(lèi)里有個(gè)概念叫閾值調(diào)整三分類(lèi)同樣適用只是要對(duì)每個(gè)類(lèi)分別設(shè)定。6. 三分類(lèi)項(xiàng)目收尾技巧把訓(xùn)練配置固化成一張復(fù)現(xiàn)清單訓(xùn)練完成、評(píng)估做完項(xiàng)目還沒(méi)結(jié)束。醫(yī)學(xué)圖像分類(lèi)模型如果要寫(xiě)進(jìn)報(bào)告或者準(zhǔn)備上線最忌諱的是「重啟之后不知道這次實(shí)驗(yàn)用了什么參數(shù)」。我的收尾習(xí)慣是把整次實(shí)驗(yàn)的可復(fù)現(xiàn)信息收斂成一個(gè)訓(xùn)練腳本或配置文件下次任何人跑一遍都能得到同一結(jié)果。# 訓(xùn)練復(fù)現(xiàn)腳本示例每次實(shí)驗(yàn)執(zhí)行前先讀取并記錄環(huán)境狀態(tài) export PYTHONHASHSEED0 python classify/train.py \ --model yolov5s-cls.pt \ --data data \ --epochs 100 \ --img 224 \ --batch 64 \ --seed 42 \ --name kidney_final參數(shù)說(shuō)明里有個(gè)容易被忽略的PYTHONHASHSEED 控制 Python 字符串哈希的隨機(jī)種子不固定它即使在代碼里調(diào)了 random.seed 和 torch.manual_seed某些依賴哈希次序的邏輯比如集合遍歷順序仍可能導(dǎo)致結(jié)果不一致。這個(gè)環(huán)境變量要放在訓(xùn)練命令的同一行 export而不是在 Python 代碼里設(shè)置因?yàn)樗诮忉屍鲉?dòng)前就必須生效。我還會(huì)在訓(xùn)練腳本同目錄下留一個(gè) data_report.txt把每次實(shí)驗(yàn)的數(shù)據(jù)集分布、類(lèi)別字典內(nèi)容、訓(xùn)練和驗(yàn)證的準(zhǔn)確率記錄在同一份文件里。這樣一個(gè)月后回來(lái)看不用重新打開(kāi)任何一個(gè)權(quán)重文件就能快速回憶起當(dāng)時(shí)的數(shù)據(jù)條件和模型表現(xiàn)那份文檔比模型權(quán)重本身更能說(shuō)明問(wèn)題。分享一個(gè)從不例外的習(xí)慣不管項(xiàng)目多急最后一輪實(shí)驗(yàn)完成后我強(qiáng)制自己用 10 分鐘把「數(shù)據(jù)集版本 劃分文件 訓(xùn)練命令 最終指標(biāo)」四件事寫(xiě)進(jìn)倉(cāng)庫(kù) README 里。做過(guò)的醫(yī)學(xué)圖像分類(lèi)項(xiàng)目里被返工最多的從來(lái)不是模型性能不夠而是后來(lái)者不知道當(dāng)時(shí)的實(shí)驗(yàn)是怎么配出來(lái)的。這類(lèi)資源真正的價(jià)值是幫你把數(shù)據(jù)從「看懂」推進(jìn)到「跑通」——如果這篇拆解幫你少走了彎路希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日本天天色| 97香蕉久久超级碰碰高清版| 色五月婷婷在线观看| 久久性爱网| 69五月天视频| 99色色网| 色婷五月| 婷婷色网址| 夜夜撸日日骑| 日本人人超碰| 天天干,天天舔| 五月天婷婷色综合| 中文字幕综合网| 日本婷久久| 大香蕉九操| 欧美日韩99| 亚洲AV网站| 成人网在线视频| 97人妻碰碰碰久久香蕉| 色五月激情网| 99视频热| 丁香婷婷六月天| 亚洲中文字幕网| 丁香五月1页| 国产激情综合五月久久| 激情网婷婷婷| 久久9999| 五月婷在线| 国熟女视频| 91操黄| 久久免费婷婷视频| 五月丁香啪啪啪啪| 激情五月黄色| 五月天丁香综合久久国产| 精品婷婷| 亚洲欧洲另类图片| 色99色| 99热国产| 免费无码毛片一区二区A片| 亚洲色综合性| 婷婷丁香六月| 色吧网综合| 色婷狠狠| 人妻自慰在线| 奇米色大香蕉| 色噜噜狠狠色综无码久久合欧美| www.夜夜.com| 色99日韩| 亚洲综合碰| 性热视频99精品| 九九色影视| 五月天激情小说网| 婷婷欧美| 亚洲婷婷月丁香五月| 四色五月婷婷| 国产成人网址| 色婷婷五月色| m色激情网| www.久久久久久| 九九在线精品| 99精品网| 怡红院精品视频久久久久久久久| 99热在线精品播放| 五月婷婷丁香日韩在线| 色综合丁香婷婷| 九九九精品视频免费观看| 亚洲AV日韩在线观看| 婷婷色在线播放| 婷婷色播六月无码| 婷婷色吧| www.一区二区三区| 亚洲亚洲人成综合网络 | 丁香五月网在线观看| 婷婷色六月| 日韩成人综合网| 色情综合网| 亚洲网视屏| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 五月婷婷九九热| 99在线爽| 99色在线| 久久人人九九| 停停五月色宗合| 伊人综合网站| 91干视频| 五月丁香六月婷婷激情视频在线观看免费 | 51精品国内探花| 99re8这里只有精品99re8热视频| 天天爽天天| 丁香五月婷婷精品视频| 五月丁香婷婷网网网网| WWW.婷婷五月天.COM| 中文字幕婷婷9月天| 大香蕉网站,大香蕉综合| 久久一二三视频| 久久久18| 久久婷婷综合网| 老司机视频lsj爱就色| 欧美25p| 99热97| 26uuu欧美亚洲日韩| 玖玖无码中文| 99在线观看精品| 激情婷婷激情在线不卡| 香蕉久久av一区二区三区| 91九色精品女同系列| 五月激情婷婷开心| site:feetmall.com| 丁香婷婷丁香五月欧美人| 国产日韩av片| 色婷婷www| 性爱五月婷| 国外亚洲成AV人片在线观看| 国产精品激情AV久久久青桔| AA片在线观看视频在线播放| 99激情| 婷婷激情综合网| 在线1青婷| 天天爽曰日爽| 伊人婷婷五月| 五月成人网天天| 97婷婷丁香五月天激情图片| 中国AV性爱观看| 丁香五月婷婷深爱综合激情| www.五月婷婷久久.com| 99热99在线| 91久久精品无码一区二区三区| 停停综合色色| 超碰99久久| 色色五月天com| 97色综合| 天堂色色色| 1024久婷| 亚洲一级AV在线免费播放| 五月丁香亭亭A片| 久久精品99| 亚洲va成人va成人va在线观看| www.久久久久久久| 欧美在线视频99| 超碰免费大香蕉| 色五月涩涩婷婷| 精品无吗va视频免费观看| 六月丁香色婷婷| 久久婷婷五月综合色丁香| 激情综合亚洲色婷婷五月| 九九热这里有精品23| 人妻久久做| 丁香综合伊人| 五月婷婷九| 伊人深爱综合| 九九大香蕉黄色影院| 久青操| 久草性爱| 色婷婷久久综合中文久久一本| 丁香成人五月天| 丁香激情五月天| 99热亚洲| 色级婷婷| 热99这里只是精品| 四色女婷婷| 99热这里只有精品最新| 婷婷娌伦网| 大香蕉婷婷色| 强壮的公次次弄得我高潮A片日本 | 色五月激情五月| 99操九九网| 色五月激情综合网站| 99热全是精品| 伊人婷婷青青cao| 天天拍天天做视频| 五月天色丁香| 九九热精品视频| 操操操B| 亚洲天堂制| 五月天婷婷社区久久综合| 久久99综合网| 色丁香在线视频| 深爱五月日韩| 丁香色五月天| Av在线不卡一区| 99九九综合久久九九| 激情五月深爱五月观看| 中文字幕色色| 婷婷五月天小说网| 操逼电影免费看| 97五月天婷婷综合激情网| 海外网站专业操老外| AV九九| 能看的AV网站| 色丁香久久| 日韩一本操| 亚洲九九婷婷| 天天操天天操| 在线婷婷| 黄色高清无码| 久久婷婷成人视频| 狠狠草在线观看| 日韩成人网址| 香蕉97碰碰碰欧美| 啪啪一区| 超碰在线免费9| 日本不卡一区二区三区| 婷婷五月激情四月综合| 14色综合婷婷| 精品影院| 五月天啪啪视频| 欧美成人网婷婷综合在线| 少妇性按摩无码中文A片| 可以免费观看的av| 丁香蜜臀黄色婷婷五月天| 六月丁香视频网站| 亚洲色图五月丁香| 亚洲亚洲人成综合网络| 色五月激情综合网| 五月天成人免费视频| 色5月婷婷| 亚洲99热| \\五月天婷婷激情| 天天日夜夜拍| 日韩超碰在线| 五月成人网站| 色婷婷很很十八禁| 99视频精品8 | 色婷婷久久| 婷婷丁香人妻天天爽| 亚洲精品久久久无码| 丁香五月欧美激情| 六月婷婷av| .肏屄视频一区二区| 99在线观看精彩视频| 99热啪啪| 综合久久9| 网站免费一站二站| 日本久久超碰| 97色操| 另类亚洲电影| 天天综合在线网| 春色激情| 婷婷五月综合啪| 精品亚洲国产成AV人片传媒| 天天摸,天天爽| 99视频在线精品免费观看2| 天天综合五月天| 桔色成人在线| 中文字幕在线不卡视频| 五月天婷婷基地| 五月天小说激情| 五月天婷婷丁香视频| 成人做爰A片免费看视频| 26uuu视频欧美| 久久久999精品| 99在线视频精品| 久久性爱视频| 激情另类综合| www.色婷婷.com| 丁香六月婷婷| 99re在线播放| 新激情五月天色播| 五月做爱| 欧美Va婷色| 射琪琪| 久久 天天| 丁香花操逼| 五月婷婷六月丁香在线视频免费在线观看| 婷婷五月丁香超碰| 婷婷五月丁香六月| 我爱婷婷五月天综合88| 99久久人人| 深爱五月激情| 欧美六月| 亚洲精品V天堂中文字幕 | 99久久网站| 色婷婷导航| 九九99在线免费在线观看视频| 五月婷婷六月丁香| 色狠狠六月| 日韩精品视频中文字幕| 99热激情| 婷婷五月激情综合| 97精品人人A片免费看| 26UUU精品一区二区Com| 国产44页| 99久久久99久久91熟女| 五月婷婷六月激情网| 99热传媒| 夜夜资源站| 婷婷丁香久久| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 五月天国产| 66久久视频在线| 狠狠五月婷婷| 超碰97免费在线| 大香蕉人妻| 五月天啪啪| 天天夜夜操| 久久九九精彩| 人人操AV| 亚洲天堂色色| 六月婷婷天天操夜夜爽视频| 亚洲欧美综合7777色亭亭| 欧美丁香五月| 亚洲色9| 淫五月停停| 婷婷淫淫狠狠六月| 玖玖99福利| 91色综合久久| 天天插天天爱| 噜噜色婷婷| 激情五月天视频| 亚洲亚洲人成综合网络| 激情综合网五月丁香| 五月天色婷伊人| 色婷婷五月丁香色| 激情五月色婷婷| 丁香五月,激情五月,深爱五月| 久久图色4| 天天综合精品| 久热这里| 久久九九99亚洲国产久精综合| 五月丁香婷婷啪啪综合| 久久人妻熟女一区二区| 在线观看的av| 国产VA亚洲VA96| 91久久1118| 色色欧美色色色| 五月开心网| 婷丁香五月天| 天天搡日日搡aaaaⅩ| 怎么样可以看免费的一级av| 成片免费观看视频大全| 天天爽,夜夜爽| 色综合色色| 射满了还射免费在线观看 -午夜版全集-新视觉影院 | 婷婷五月情天| 五月激情婷婷六月丁香| 婷婷色播婷婷| 97碰碰碰| 丁香花综合永久入口| 色爱五月天| 99精品大片| 操笔无码| 九九色中文| 五月天大香蕉AV| 国产人妻人伦精品一区二区| 亚洲人妻av| 婷婷五月另类网站| 丁香五月激情澎湃一区| 色五月之第四色| 91九色国产熟女| 99ri网站在线观看| 久久视频在线视频| 狠狠综合网| 天天色粽合合合合合合合| 五月丁香六月婷婷综合伊人| 婷婷五月成年人| 激情综合色图| 欧美人人女女精品综合五月天| 国产婷伊人| 久久这里只有精品热在99| 婷婷激情图片| 亚洲天天| 五月婷婷六月开心| 亚洲精品五月| 五月丁香啪啪啪啪| 99re热| 另类激情五月| 91婷婷伊人牛牛| 夜夜干 夜夜操| 五月天黄色激情小说| 色婷婷成人丁香| 丁香六月啪啪啪| 成人在线高清| 婷婷五月综合啪| 婷五月天| 黄色毛片精品| 婷婷色偷拍| 思思热99er| 中文字幕网伦射乱中文| 精品国产AV色一区二区深夜久久| 风流少妇A片一区二区蜜桃| 五月天综合视频| 9久精品视频| 麻豆雪千夏| 开心激情网五月天| 六月丁丁香| 天天综合在线网| 五月丁香亚洲婷婷| 无套内射极品大美女| 新伍月婷婷| 五月天久久综合婷婷丁香| wwwxxx五月婷婷小说| 婷婷综合成人五月天| 天天干夜夜操A片| 国产色色在线| 亚洲第一色色色色| 亚洲AAA| 天天爱天天做天天爽| 六月伊人婷婷| 夜夜撸天天日| 五月天色丁香| 五月婷婷中文字幕| 丁香五月色| 伊人久久婷婷| 无码99| 成人做爰A片免费看视频| 欧美色五月| 另类小说色婷婷| 激情九九综合网| 中出内射的人妻视频| 婷婷深爱网| 亚洲色A| 久久五月天激情| 在线只有精品| 99自拍视频| 99热婷婷| 国成人网| 91久久精品无码一区二区三区| 9操在线| 久久黄A片| 99热99思午夜精品| 99热这里只有精品18| 97 A I色色| 丁香激情五月| 婷婷五月在线观看| 超碰九热| 色色五月天丁香婷婷| 99ri精品| 大伊久久| 婷婷色色丁香五月天| 色吧五月| 亚洲激情四谢| 激情五月婷婷视频一区二区三区| 99国产精品白浆在线观看免费| 丰满人妻妇伦又伦精品国产 | 五月综合视频在线| 色色网五月激情| 在线视频99| 天天干 夜夜爽| 亚洲熟妇AV乱码在线观看| 伊人狼人干| 久久婷婷综合国产| 另类婷婷丁香| 桃色五月天| 婷婷丁香五月天激情| 丁香网五月天| 婷婷综合亚洲| 99热只有国产在线精品| 婷婷午夜综合| av在线播放网站| 东北黄色一级| 色亭亭五月天网扯| 超碰在线9| 成人视频网| 日本在线观看91| 五月婷婷大香蕉| 色五月天在线| 97色干| 国产av网| 久久五月天大美女| 婷婷五月天综合久久| 丁香五月婷婷五月| 久久婷婷草| 欧美激情 日韩无码 婷婷 五月天| 天天操夜夜爱| 99视频精品在线| 亚洲色99综合天堂| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 色五月激情综合网| 91无码高清| 五月天婷五月天综合网在线观| 99久久玖玖| 日韩色色视频| 黄久久久| 人妻精品久久久久久久| 99热这里只有精品99| 91美女艹逼网站| 婷婷月五天在线在线看| 狠狠色狠狠操| 久久ri精品| 色色激情网| 婷婷色成人| 天天做夜夜爽| 任你擦免费视频| 色宗合久久五月婷婷| 久久久大香蕉| 日本久久极品| 婷婷六月天激情影院| 99色在线观看| 97碰碰在线观看视频| 五月色丁香国产在线视频| Xx色综合| 久久婷婷五月综合啪| 久久se 综合网 | 精品一二三区久久AAA片| 婷婷五月精品中文字幕| 五月丁香六月婷婷开心网| 99无码视频| 日本色99| 天天综合精品| 久久资源综合| 婷婷在线免费| 91se精品国产| 精品福利911| 婷婷五月天成人| 玖玖爱综合网| 色七七九九| 精品导航在线x不卡| 天天做综合网色综合| 激情五月六月婷婷| 欧美精品999| 五月丁香婷婷婷激情爱爱| 久久成人亚洲欧美电影| Jh7Uf088VHafNm| 五月丁香色婷婷| 91精品丝袜久久久久久| 亚洲av免费在线| 涩涩婷婷五月| 五月天激情国产综合婷婷婷| 欧美日韩国产一区二区| 五月久久婷婷成人网| WwW色婷婷| \\五月天婷婷激情| 中文字幕日本最新乱码视频| 色婷婷婷综合五月天| 高清无码网址| 色之综合网| 丁香五月欧美| 丁香五月六月久久综合| 欧美色婷婷| 天天摸.天天mo| 日韩AV大全| 99在线精品观看99| 91一起操| 色五月婷婷少妇人妻| 久久久中文| www.主妇. com| 五月天桃色深爱网| 丁香六月成人| 五月婷婷开心综合| 色色婷婷婷丁香五月天| 色婷婷五月天| www99精品| 久热久| 国产伦理精品高清在线观看网站一区二区 | 琪琪色五月天| 国产婷婷色五月| 久色激情| 六月丁香婷婷开心综合基地| 激情电影五月婷婷| 丁香五月社区| 婷婷五月激情综合| 国产精品大香蕉| 欧爱综合视频| www九月婷婷| 性色天| 97人人做| 97福利视频| 很很干在线视频| 婷婷99狠| 婷婷丁香花五月天| 五月丁香婷成人网| 无码碰碰| 五月天社区婷婷丁香社区| 亚洲婷婷91丁香| 九九99精品视频在线观看| 婷婷色色狠狠| 丝袜熟女一区二区三区| 91九色中文| 超碰av在线| 色狠狠色噜噜AV天堂五区| 五月天堂在线| 久久九九玖玖| 亚洲国产精品VA在线看黑人| 99久在线精品99re8热| 中文字幕日韩成人| 91久久婷婷| 天天精品视频在线观看视频| 亚洲成人免费电影| 秋霞电影理论| 永久免费一区二区三区| 婷婷六月色| site:feetmall.com| 日本99视频精品免费播放| 超碰91在线| 亚洲五月天伊人| 亚洲国产网站| 激情五月丁香五月| 天天爽夜夜爽夜夜爽精品视频 | 99久久婷婷国产综合| 亚洲亚洲人成综合网络| 丁香五月婷婷网| 丁香五月婷婷啪| 青青久久五月天丁香婷婷| 成人电影AV在线观看| 开心五月婷婷六月丁香| 色九九综合热99| 性做久久久久久久免费看| 婷婷天天色| 激情q青青草在线婷婷| 丁香八月综合激情| 日日夜夜天天| 婷婷五月花| 久草五月天电影网| 丁香伊人网| 一级AV片| 激情五月天婷婷丁香| 婷婷五月激情在线视频| 色八月婷婷| 丁香五月www| 拍真实国产伦偷精品| 欧洲色| 桔色成人官方网站| 色色五月丁香| 丁香五月成人丝袜| 国产真实乱了老女人视频| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | www.99.色| 婷婷五月天综合在线| 超碰在线99热| 久久免费高| 免费精品99| 五月激情天| 热99re| 日日噜人人人做人| 成人Av在线大片| 五月丁香亭亭激情操逼网| 欧美激情综合| 亚洲人妻电影| 五月激情五月婷婷五月天在线| 丁香六月婷婷综合激情欧美| 午夜成人网站在线观看| 99re免费视频| 99热xx| 少妇人妻人伦A片| 91九色视频| 婷婷综合网| 天天操天天日天天爽| 99视频内射三四| 3p久久| 91传媒无码人妻精| 五月天婷婷狂暴白浆| 天天插天天射| 丁香六月激情综合| 五月天综合在线| 天天做天天爱天天高潮| 99热精品中文字幕| 日本操逼九九九九58日本操逼| 6月丁香婷婷激情| 激情网站五月| 亚洲小视频免费播放| 伊人玖玖婷婷| 婷婷丁香综合| 色婷婷性爱| 国产色色小草视频| 9色小视频在线观看| 日韩AV中文在线观看| 少妇人妻人伦A片| 久久久性爱视频| 久操人妻| 97干在线视频| 99在线精品观看99| 激情综合久久| 秋霞学生妹一二级| 丁香五月婷婷五月天在线| 91狠狠综合久久久| 色999亚洲人成色| 丁香大香蕉| 天天色天天射天天日| 色五月激情| 丁香蜜臀黄色婷婷五月天| 中文AV在线观看| 久婷婷五月天影院| 99视频35精品视频在线观看| 色99热| 欧美在线看| 色五月婷婷av| 天天色综合天天| 入口五月婷婷六月香| 久久免费精品小视频| 九色激情网| 欧美性爱丁香五月| 色情五月丁香| 深爱激情五月天| 婷婷丁香18| 亚洲色另类| 九九AV| 午夜天堂一区人妻| 亚洲久久天堂| 怡红院成人AV| 成人婷婷| 色视频2025| 日日干综合| 99视频这里只有久久精品| 激情婷婷五月基地| 天天影视天天爽天天草| 99色网站| 久久五月综合| 成人五月天综合网| 色综合色婷色基地| 亚洲激情综合网| 久久五月天激情婷婷| 色五月天网| 自拍盗摄 另类| 婷丁香五月天| 开心激情婷婷| 精品亚洲国产成AV人片传媒| 五月天综合色| 超碰在线人人| 日日操夜夜爽天天天| 99热12| 超碰99热精品| 色综合色色| 久久精品熟女亚洲AV麻豆| 五月丁香五月丁香五月丁香五月丁香91| 五月丁香色婷婷久久| 五月天激情国产综合婷婷婷就去爱| 六月综和久久| 丰满熟女人妻一区二区三| 秋霞成人毛片一级A片| 91久热| 九九久久偷拍| 亚洲永久免费| 五月天电影网| 91综合国免费久入| 日本精品人妻无码77777| 丁香五月97视频| 色五月婷婷久久| 婷婷五月天激情影片| 婷婷的色色五月天| 香蕉久久国产AV一区二区| 亚洲天堂有码| 激情综合4月| 99热在线观看精品| 狠狠操综合| 影音先锋AV男人站| 久久网站免费亚洲| 婷婷丁香五月在线播放| 能看的av网站| 97超碰在线观看免费| 婷婷导航| 日本婷婷色日| 亚洲乱码精品久久久久.. | 五月天丁香婷婷久久九| 五月婷婷与六月丁香图片激情| 五月丁香狠狠爱婷婷综合| 激情五月天婷婷| 亚洲亚洲人成综合网络| 亚洲综合在线播放| 人人操人av| 噜噜噜狠狠色综合| 婷婷综合干| 精品久久人妻热| 婷婷色在线视频| se色婷婷视频| 久久五月婷婷电影| 开心婷婷五月| WW婷婷五月天com| 五月天激情小说| 色色色色综合| 国产AV影片| 五月婷婷大香蕉| 综合图片色色| 五月婷婷电影院| 亚洲欧洲另类| 无码色| 丁香九月激情在线视频| 丁香五月 综合| 久草视频一,二三四| 1024人妻无码中文字幕| 久久这里只有精品07| 91人操| 精品国产a| 天天 日综合| 开心激情网在线| 第四色大香蕉| 婷婷十月激情综合网| 国产毛片精品一区二区色欲黄A片| 亚洲激情婷婷| 久久精品人妻| 色婷婷四虎| 婷婷五月丁香婷婷| 香蕉久久国产AV一区二区| 97在线精品视频| 九九热这里只有精品6| 99操九九网| 日本色婷婷综合| 色婷婷电影| 超碰猛烈的性猛交| www天天色天天射| 亚洲AV成人一区二区在线观看| 亚洲色色图片| 99激情| 婷婷久久网| 亚洲综合草草| 日本婷婷在线| 九九在线视频| 久久久久久久久久久44| 久久久精品色| 亚洲啪| 婷婷五月天电影在线| 51精品国自产在线| 99er免费在线观看| 超碰在线99| 快乐婷婷五月天| 成年人丁香五月| 丁香五月天啪啪| 亚洲高清在线| 色综合色| 色色a| 永久无码色| 精品人妻一区二区三区四区不卡在| 啪啪激情综合| 99久久久免费| 操人91| 色丁香五月| 丁香五月综合高清在线| 五月丁香在线观看| 久久er免费视频| 综合色色网| 伊人五月婷婷| 一点色成人网| 开心五月综合激情综合五月| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 日韩另类在线观看| 激情性爱五月| 91日本在线观看| 久久99精品久久只有精品| 婷婷丁香五月天哟啪| 色色色网站| 婷婷五月丁香狠狠| 麻豆观看夏晴子| 99热这里只有精品 搜| 午夜成人av在线| 99乱视频| 97性视频| 激情婷婷六月天| 综合99在线| 黄色中文字目| 色色色成人网| 亚洲小电影在线观看黄999| 996er热| 国产乱码久久| 怡红院AV亚洲一区二区三区H| 99久久婷婷五月天| 99re在线免费视频| 久久婷狠狠色| 婷婷色五月噜噜| 国产一二区爆乳_1国产日韩一区二区三-成人AV| 这里只有精品久| 99久久久精品| 欧美综合五月丁香六月婷| 欧美天天草人人草| 国精产品一区一区三区免费视频| 色人妻五月| 国产超碰人人| 伊人激情影院| 欧美一级a| 丁香 久久| 欧美日本综合网| 亚洲国产精品成人午夜| 天天操天天操天天操天天操天天操 | 婷婷五月电影| 99在线爽| 91丨九色丨老熟女激情| 久9无码视频| 六月婷婷无码| 伊人喵咪a V| 欧美日韩成人在线网站| 538午夜激情| 色综合99无码 | 婷婷久久五月天| 丁香色综合| 色琪琪一综合久久激情五月视频| 九九这里只有精品| xxx.色婷婷| 丁香五月色| 大香蕉 婷婷| 操九色| VA国产在线综合网站| 中文字幕久久婷九女同| 91久久久久久| 色婷婷五月亚洲| 区美毛片子| 国产做爰视频免费播放| 殴美综合激情五月天免费视频| 五月丁香手机在线| 高清a片基地| 99久久婷婷国产综合精品草原| 俺去也在线官网| 最新久久网址| 九月丁香很很色| 九九人人操| 激情五月婷婷老师| 久去色色| 丁香五月婷婷99| 国产日韩欧美| 日本系列_4页_777FP| 日韩六十路91性交电影| 激情床戏| www.第四色99| 狠狠色成人影片| 色色色色色综合| 激情五月婷婷欧美极品| 九九热精品99| 99婷五月| 五月天色影院| 五月天婷婷综合免费| 久久在这里有精品| 91大神操美女| 狠狠爱丁香婷| 99色色网| 99在线视频精品| 久久激情五月网| 亚洲综合激情五月天婷婷| 综合色婷婷| 青青草国产亚洲精品久久| 97人凄人人操人人爽| 五月丁香婷庭在线| 天天射影| 欧美超级视频97| 久热精品免费视频4| 婷婷在线视频| 日韩操逼大片| 婷婷五月天免费视频| 色婷婷综合五月| 色情综合| 五月天激情国产综合婷婷| 丁香五月婷久久| 婷婷五月丁香高清无码| 久久综合激情| 亚洲一区二区无遮挡A片| 97久久综合网| 国产亚洲精品久久久久久郑州| 91色婷婷综合久久中文字幕二区| 九热视频| 亚州AV超碰人人操| 婷婷五日b| 久久草人妻| 国产精品99久久久久久猫咪| 9 9热这里有精品| 激情综合网激情五月俺也去| 人妻少妇色综合| 久热无码| 超碰免费成人| 婷婷玖玖五月天| 丁香久久| 亚洲日日操| 天天天天天天天操| 婷婷亚洲丁香五月| 秋霞学生妹一二级| 久久er免费视频| 激情丁香婷婷| 大香蕉久久久久| 一本久道综合99| 五月婷婷六月丁香玖玖玫瑰91| 在线免费观看激情视频| 90色免费视频| 九九热视频精品999| 少妇伦子伦精品无吗| 丁香五月大香蕉| 婷婷久久五月| 色噜噜狠狠色综无码久久合欧美| 久热久| 五月丁香成人网| 操91| av在线观看免费| 超碰成人在线观看| 秋霞A V毛片| 日本啪啪天堂| 超碰人人超碰| 97精品欧美91久久久久久久| 激情av在线| 九艹在线| 91黄址| 成人在线精品| AA丁香综合激情| 婷婷开心激情| 亚洲色色色| 婷婷五月丁香五月| WWW.桔色成人.COM| 91操人人操| 黄色激情网站在线观看| 97操碰日本女人| 婷婷五月a| 丁乡久久| 久久九九爽| 看婷婷五月天网| 天天日日人| 色播播之激情五月婷婷| www激情网| 伊人久久五月天综合| 26uuu精品国产| 狠狠操天天干| 欧美天堂久久| 99热手机在线精品| 久热免费视频| 狠狠婷婷色综合| 97欧美在线| 婷婷久久五月| 99色热| 久久婷青青草原| 青青草Avb在线| 色噜噜夜夜夜综合网| 超碰在线99| 五月天婷婷爱丁香中文字幕| 激情宗合网激情五月天| 婷婷五月天堂| 久久综合五月天| 超碰在线人妻| 九色在线五月婷婷网址| 绿色小导航AV| 五月激情综合网| 久久在这里有精品| 国产精品日韩十五区| 婷婷综合一二三| 91成人性爱视频| 国产精品第一国产精品| 丁香六月欧美| 色碰碰视频| 777丁香六月青青草婷婷综合久月| 色狠狠综合| 婷婷成人AV| 亚洲综合婷婷| av免费在线观看0| 日韩狠狠色| 五月丁香六月婷婷综合免| 久热网站| 久激情网| 国产婷婷婷| 日韩黄色电影| 丁香六月色香蕉视频| 五月丁香花激情综合网| 永久免费视频| 国精产品一区一区三区免费视频| 四色五月视频| 人人干天天舔| 操日挥操日日| 五月天久久久| 97luluse| 九月婷婷久久久| 99热这里只有精品50| 日韩超碰在线| 日本精品人妻无码77777| 色综合色色色色| 色五月丁香一区在线| 六月婷婷五月天| 精品婷婷| 色色五月天com| 丁香婷婷五月天亚洲| 亚洲热视频在线| 99热91| 日本97久久久精品| 亚洲性爱99| 伊人五月天| 成人无码髙潮喷水A片| 国产精品视频免费看| 狠狠色丁香婷婷综合久久97AV| 九九精品热播| 伊人丁香五月天丁香在线婷| 久久精品63| 色婷婷六月天在线| 亚洲色视频| 91精品国产综合久久蜜芽解析速度| 色婷婷基地在线| 91精品久久久久、久五月天| 99精品偷自拍| 99riAV国产精品视频| 密桃激情五月天综合网| 亭亭五月色男人| 成人免费网站免费看| 色综合xx| 久久久97| 久操人| 五月天伊人日日噜影片AV| WWW久久久| 大香蕉娱乐| 久久五月天激情视频| 色播播之激情五月婷婷| 美欧日韩国产成人在战| 91丨九色丨首页| 这里只精品| 91性高潮久久久久久久久| 五月丁香色色色| 丁香五月aV| 日日干天天爽| 67194中文字幕| 色色哒五月婷婷六月丁香| 女人高潮内射99精品| 九九99免费视频| 激情综合一| 五六月婷婷久久| 色香五月天| 9色在线| 五月丁香综合激情| 婷婷五月丁香欧洲| 九九久久污| 丁香色五月婷婷91桃色| 五月天色综合| 色色色激情| 久99视频在线观看| 色情开心五月| 99精品视频网站| 婷婷影视久久| www.五月天婷婷姐姐| 丁香五月天堂网| 青青.com| 婷婷久久网| 色综合中文| 五月婷婷导航| 色情五月| 热久久99热欧美国产亚洲| 久久激丁香| 能看的av片| 蜜桃人妻无码AV天堂三区 | 色婷婷导航| 性视频久久| 久久伦乱| 激情婷婷九月| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 99亚洲精品视频| 色爱爱综合网| 一级二级香港秋霞欧美欧美秋霞| 六月成人网| 内射丰满人妻| 98国产精品综合一区二区三区| 国产阿姨日皮艹逼内射视频| 超碰在线人妻| Av狠狠色丁香婷| 色情五月丁香| 操笔无码| 天天干一干| 久久小视频免费| 国产婷婷色综合AV蜜臀AV| AV天堂淫乩| 亚洲亚洲人成综合网络| 久久狠狠色| 美国少妇性做爰| 五月天婷婷丁香视频| 五月综合激情久久| 色五月婷激情| 97超喷视频在线观看| 另类小说激情五月天| 碰超在线九色| 99这里有精品视频| 六月婷欧美| 激情九月婷婷| 四色综合网| 激情久久久| 婷婷丁香六月激情综合| 大香蕉在九| 丁香六月婷婷激情| 丁香五月婷婷色偷偷| 无码动漫av| 亚洲成人影视在线观看| 亚洲色五月婷婷| 天天上天天爽| 久9久视频精品| 丁香五月成人av| 成人电影AV在线观看| 五月六月激情婷婷| 超pen个人视频97| 婷婷五月色亚洲| 任你搞在线观看视频| 97色女人在线| 婷色五月| 无码AV免费精品一区二区三区| 国产精品久久久60086| 婷婷五月激情视频网| www,色婷婷| 亚洲人成网亚洲欧洲无码久久| 中文字幕丰满乱孑伦无码专区| 五月婷婷亚洲天堂激情在线| 男人操女人高潮91视频| 99免费热视频| 色五月婷婷91| 丁香婷婷基地| 天天操天天操天天操| 97超喷视频在线观看| 99色精品| 色五月丁香五月激情五月激情| 亚洲精品a成人在线播放| 久久性爱视频网站| 色五月综合网| 麻豆AV一区二区三区| 丁香六月情| 五月天激情网站| 五月天婷婷丁香成人网| 六月丁香VA| 中文字幕在线日亚洲9| 成人做爰高潮A片免费视频| 亚洲天天综合| 在线成人网址| 国产小精品| 婷婷五月天综合久久| 66精品国产成人| 色婷婷成人色网| 射区导航| 九九这里只这里只有精品| 91久久人人操| 婷婷亚洲天堂| 综合网五月天123| 婷婷99视频精品| 风流少妇A片一区二区蜜桃| 精品人妻一区二区三区四区不卡在| 久久婷婷热| 婷婷五月天综合久久日美女| 久久人人九九| 婷婷五月天激情小说网站| 婷婷五月天AV在线| 少妇熟女视频一区二区三区 | 色色欧美色色| 99色婷婷视频| 99热热热天天人人人超超碰| www.婷婷亚洲基地| 综合色综合| 久激情网| 久久久潮喷-久久久九九-成人AV| 日本三级日本三级99| 天天舔日日肏夜夜爽| 婷香五月| 91综合网| 欧美久热| 亚洲综合另类| 五月丁综合在线观看| www.色9| 色欲色欲久久宗合网| 99ri视频| 婷婷婷婷婷开心无码播放| 思思热思在线精品视频| 五月丁香啪。| 国产AV一区二区三区最新精品| 五月丁香综合中文| 六月婷婷影院| 欧美色图45678| 激情综合婷婷久久| 亚洲精品白浆高清久久久久久| 任你搞网站| 丁香婷婷视频一区二区| 只有精品在线观看| 天天干天天操天天射| 大香蕉在九| 亚洲va成人va成人va在线观看| 天天在线XXX| 亚洲综合五月天综合| 五月天婷婷av| 综合www色| 新激情五月天| 99热精品在线| 99久在线| 亭亭五月丁香五月天激情| 婷婷五月婷婷五月天| 五月丁香啪| 亚洲色夜| 91传媒无码人妻精| 人人插操| 五月丁香六月激情综合| 99热免费精品| 久久精品只有这| 色婷婷香蕉丁丁网| 天天日天天狠狠操| 在线中文字幕av| 五月丁香九九| 中文字幕91,综合| 久久久av久av久片一区二区| 六月丁香久久| 色婷婷基地|