欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

PyTorch眼睛疾病分類數(shù)據(jù)集訓(xùn)練:驗(yàn)證集劃分與類別不平衡實(shí)戰(zhàn)指南

PyTorch眼睛疾病分類數(shù)據(jù)集訓(xùn)練:驗(yàn)證集劃分與類別不平衡實(shí)戰(zhàn)指南 簡(jiǎn)介眼睛疾病分類數(shù)據(jù)集是一份可直接用于圖像分類任務(wù)的中小型醫(yī)學(xué)影像資源包含白內(nèi)障、青光眼、正常、視網(wǎng)膜疾病四個(gè)類別適合臨床篩查模型練手、課程實(shí)驗(yàn)或YOLOv5分類項(xiàng)目。數(shù)據(jù)按train和test目錄整理訓(xùn)練集481張、測(cè)試集120張均為JPEG格式配合JSON分類字典和Python可視化腳本可快速完成數(shù)據(jù)劃分查看與模型迭代。壓縮包共604個(gè)文件除601張圖片外還有1個(gè)字典文件、1個(gè)可視化腳本和1張示例圖整包約61MB輕量易下載。目前已有413人學(xué)習(xí)下載腳本支持隨機(jī)抽取4張圖展示并保存結(jié)果無需改動(dòng)即可運(yùn)行能幫助使用者快速核對(duì)數(shù)據(jù)質(zhì)量和類別分布。1. 拿到眼睛疾病分類數(shù)據(jù)集先別急著訓(xùn)訓(xùn)練集和驗(yàn)證集到底在做什么接手一個(gè)醫(yī)學(xué)圖像的眼睛疾病分類數(shù)據(jù)集時(shí)真正讓人栽跟頭的往往不是模型而是文件夾里那兩個(gè)split訓(xùn)練集和驗(yàn)證集。很多人直接把train和val合并重訓(xùn)或者反復(fù)拿驗(yàn)證集調(diào)參最后精度漂亮得可疑一上真實(shí)場(chǎng)景就露餡。要解決的問題很具體這個(gè)分類數(shù)據(jù)集該按什么結(jié)構(gòu)讀取、類別分布怎么看、訓(xùn)練流程怎么寫、驗(yàn)證集怎么用才不作弊。適合用PyTorch做醫(yī)學(xué)圖像分類的算法工程師、做畢設(shè)的學(xué)生以及想從yolo那套自定義數(shù)據(jù)習(xí)慣切到分類任務(wù)的人。2. 拆解眼睛疾病分類數(shù)據(jù)集目錄結(jié)構(gòu)、標(biāo)簽格式與劃分合理性檢查2.1 先看目錄結(jié)構(gòu)和標(biāo)簽格式再?zèng)Q定用什么姿勢(shì)讀取常見眼睛疾病分類數(shù)據(jù)集的組織方式通常是train目錄下按類別建子文件夾val目錄同樣按類別建子文件夾圖片文件散落在各自的類別文件夾里。類別名即標(biāo)簽文件夾名就是醫(yī)生給的診斷結(jié)論。公開數(shù)據(jù)集里的類別體系大體圍繞眼底鏡圖像展開正常、糖尿病視網(wǎng)膜病變、青光眼、白內(nèi)障、黃斑變性、高血壓視網(wǎng)膜病變、近視等。這類圖像通常由眼底相機(jī)采集也有部分是醫(yī)院病歷系統(tǒng)里導(dǎo)出的彩色照片。拿到數(shù)據(jù)后第一件事不是寫訓(xùn)練腳本而是確認(rèn)兩類元信息圖片擴(kuò)展名是否統(tǒng)一.jpg和.png混用非常常見類別文件夾里有沒有混入非圖片文件比如隱藏的desktop.ini或macOS的.DS_Store。最有效的檢查方式是直接對(duì)每個(gè)split做一次文件統(tǒng)計(jì)把類別和數(shù)量一次性打出來。import os from collections import Counter data_root eye_disease_dataset for split in [train, val]: split_path os.path.join(data_root, split) if not os.path.isdir(split_path): print(f{split} 目錄不存在先檢查數(shù)據(jù)集路徑) continue classes [d for d in os.listdir(split_path) if os.path.isdir(os.path.join(split_path, d))] per_class {} for cls in sorted(classes): per_class[cls] len(os.listdir(os.path.join(split_path, cls))) total sum(per_class.values()) print(f[{split}] 共 {total} 張{len(classes)} 個(gè)類別) for cls, n in sorted(per_class.items(), keylambda x: -x[1]): print(f {cls}: {n} ({n / total * 100:.2f}%))這段腳本輸出每個(gè)類別在訓(xùn)練集和驗(yàn)證集的數(shù)量占比。眼睛疾病數(shù)據(jù)集的通病是類別不平衡正常眼通常是數(shù)量最多的類而糖尿病視網(wǎng)膜病變的早期樣本可能只有正常眼的零頭。如果某個(gè)類在驗(yàn)證集里只有個(gè)位數(shù)對(duì)應(yīng)的acc、precision都不可信后面必須換成per-class指標(biāo)。另一個(gè)判斷依據(jù)是目錄層級(jí)torchvision的ImageFolder要求類別文件夾直接掛在split下如果數(shù)據(jù)集是train/class/subfolder這種二次封裝結(jié)構(gòu)或者用csv索引標(biāo)簽就要寫自定義Dataset不能硬套現(xiàn)成工具。2.2 驗(yàn)證集、測(cè)試集和訓(xùn)練集標(biāo)題只給了兩個(gè)split時(shí)怎么補(bǔ)第三個(gè)很多公開醫(yī)學(xué)圖像數(shù)據(jù)集只劃分了train和val沒有test。原因通常是數(shù)據(jù)量少官方想給使用者預(yù)留調(diào)參空間。但作為落地的人必須自己補(bǔ)出一個(gè)test split否則報(bào)出來的所有指標(biāo)都可能被驗(yàn)證集“污染”。驗(yàn)證集用來做模型選擇、超參調(diào)優(yōu)和早停測(cè)試集用來估計(jì)最終交給業(yè)務(wù)方時(shí)的真實(shí)性能。常見做法是從訓(xùn)練集里再切一小塊出來當(dāng)測(cè)試集。假如訓(xùn)練集有8000張按分層抽樣切出10%約800張作為test剩下的做train。切分時(shí)用sklearn的train_test_splitstratify按類別標(biāo)簽分層保證每個(gè)類在test里的比例和train一致。import shutil from pathlib import Path from sklearn.model_selection import train_test_split train_root Path(eye_disease_dataset/train) test_root Path(eye_disease_dataset/test) test_root.mkdir(exist_okTrue) for cls_dir in train_root.iterdir(): if not cls_dir.is_dir(): continue imgs list(cls_dir.glob(*)) _, test_imgs train_test_split(imgs, test_size0.1, random_state42) dest test_root / cls_dir.name dest.mkdir(parentsTrue, exist_okTrue) for img in test_imgs: shutil.copy(str(img), str(dest / img.name))用random_state固定隨機(jī)種子保證切分可復(fù)現(xiàn)用copy而不是move防止改主意后數(shù)據(jù)被搬走。有一個(gè)細(xì)節(jié)容易被忽略如果這張數(shù)據(jù)來自同一病人的多角度拍攝這個(gè)腳本是不安全的先按病人分組再切具體做法在2.3和避坑章展開。測(cè)試集切出來之后只碰一次不要在它上面反復(fù)調(diào)參否則測(cè)試集就變成了第二個(gè)驗(yàn)證集失去了終極驗(yàn)證的意義。2.3 劃分合理性檢查同一個(gè)人可能出現(xiàn)在兩個(gè)集合里嗎眼睛疾病分類數(shù)據(jù)集大多來自醫(yī)院采集同一個(gè)病人可能有兩眼甚至多張不同時(shí)間拍攝的眼底圖。如果切分按文件隨機(jī)打散同一病人的多張圖很可能同時(shí)出現(xiàn)在訓(xùn)練集和驗(yàn)證集。模型會(huì)把“這個(gè)病人的視盤形態(tài)”記下來而不是學(xué)習(xí)“這類疾病的通用特征”驗(yàn)證集acc會(huì)虛高。檢查方式先找數(shù)據(jù)集自帶的元數(shù)據(jù)csv或DICOM頭看有沒有patient_id字段。沒有元數(shù)據(jù)時(shí)部分?jǐn)?shù)據(jù)集文件名會(huì)帶patient前綴。如果兩者都沒有可以用感知哈希做近似重復(fù)圖片檢測(cè)from PIL import Image import numpy as np def phash(path, size16): img Image.open(path).convert(L).resize((size, size)) pixels np.array(img, dtypenp.float32) avg pixels.mean() return .join(1 if p avg else 0 for p in pixels.flatten()) def hamming(a, b): return sum(c1 ! c2 for c1, c2 in zip(a, b))phash把圖像縮小成16x16的灰度指紋漢明距離小于等于4的兩張圖基本可以認(rèn)定是重復(fù)或近似重復(fù)。但這個(gè)方法只能找出“拷貝/裁剪”級(jí)別的重復(fù)同一個(gè)病人兩只眼的外觀差異明顯phash查不出來。最穩(wěn)妥還是靠patient_id切分先按病人分組再在所有病人上做train/val/test的分層切分。切完再回頭看一眼train和val的類別分布確認(rèn)兩個(gè)集合里的病人集合沒有交集。3. 用 PyTorch 跑通眼睛疾病分類的最小訓(xùn)練流程ResNet 路線3.1 數(shù)據(jù)讀取ImageFolder 的兩個(gè)注意點(diǎn)torchvision的ImageFolder天然適配第2章的目錄結(jié)構(gòu)不用寫任何自定義Dataset。訓(xùn)練集和驗(yàn)證集分別掛不同的transform訓(xùn)練集做隨機(jī)增強(qiáng)驗(yàn)證集只做尺寸統(tǒng)一和標(biāo)準(zhǔn)化import torch import torch.nn as nn from torch.utils.data import DataLoader from torchvision import datasets, transforms, models train_tf transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomResizedCrop(224, scale(0.7, 1.0)), transforms.RandomHorizontalFlip(p0.5), transforms.ColorJitter(brightness0.15, contrast0.15), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_tf transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) train_ds datasets.ImageFolder(eye_disease_dataset/train, transformtrain_tf) val_ds datasets.ImageFolder(eye_disease_dataset/val, transformval_tf) train_loader DataLoader(train_ds, batch_size32, shuffleTrue, num_workers4, pin_memoryTrue) val_loader DataLoader(val_ds, batch_size32, shuffleFalse, num_workers4, pin_memoryTrue)驗(yàn)證集不應(yīng)用RandomResizedCrop和Flip驗(yàn)證要的是確定性的結(jié)果訓(xùn)練集用RandomResizedCrop能模擬眼底相機(jī)拍攝角度和視場(chǎng)范圍的差異。Normalize沿用ImageNet的mean/std對(duì)眼底圖這種紅色調(diào)為主的圖像其實(shí)夠用。如果發(fā)現(xiàn)圖像分布差異很大可以從數(shù)據(jù)集中采樣幾千張算出自己的mean/std替換但多數(shù)場(chǎng)景沒必要。注意Windows上num_workers設(shè)為0最穩(wěn)Linux下再按CPU核數(shù)往上加。先跑通流程再優(yōu)化加載速度。3.2 訓(xùn)練腳本骨架損失函數(shù)、優(yōu)化器與驗(yàn)證時(shí)機(jī)用預(yù)訓(xùn)練ResNet50作為backbone是多數(shù)眼睛疾病分類項(xiàng)目入門標(biāo)配。參數(shù)少、權(quán)重好找、微調(diào)穩(wěn)定。替換最后一層全連接損失函數(shù)先用最樸素的CrossEntropyLoss驗(yàn)證集每個(gè)epoch都算一次acc保存val acc最高的checkpointmodel models.resnet50(weightsmodels.ResNet50_Weights.IMAGENET1K_V1) num_classes len(train_ds.classes) model.fc nn.Linear(model.fc.in_features, num_classes) model model.cuda() criterion nn.CrossEntropyLoss() optimizer torch.optim.AdamW(model.parameters(), lr1e-4, weight_decay1e-4) scheduler torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, modemax, factor0.5, patience3) def validate(model, loader): model.eval() correct 0 total 0 all_preds, all_labels [], [] with torch.no_grad(): for images, labels in loader: images, labels images.cuda(), labels.cuda() outputs model(images) _, predicted torch.max(outputs, 1) correct (predicted labels).sum().item() total labels.size(0) all_preds.extend(predicted.cpu().tolist()) all_labels.extend(labels.cpu().tolist()) return correct / total, all_preds, all_labels best_acc 0 no_improve 0 early_stop_patience 5 for epoch in range(30): model.train() for images, labels in train_loader: images, labels images.cuda(), labels.cuda() optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() acc, preds, labels validate(model, val_loader) scheduler.step(acc) print(fepoch {epoch1}: val_acc{acc:.4f} lr{optimizer.param_groups[0][lr]:.2e}) if acc best_acc: best_acc acc no_improve 0 torch.save(model.state_dict(), best_eye_cls.pth) else: no_improve 1 if no_improve early_stop_patience: print(f{early_stop_patience} 個(gè)epoch無提升早停) breaklr1e-4是微調(diào)全模型的安全起點(diǎn)如果只解凍最后一層fc訓(xùn)練可以用1e-3但全模型微調(diào)降到1e-4更穩(wěn)。weight_decay1e-4抑制醫(yī)學(xué)圖像上容易出現(xiàn)的過擬合。batch_size32搭配ResNet50在24G以下顯存基本舒適顯存受限改16時(shí)學(xué)習(xí)率相應(yīng)減半。早停條件用“val acc連續(xù)epoch無提升”而不是“val loss無下降”醫(yī)學(xué)圖像噪聲大loss和acc并非總是同步。一個(gè)常見的翻車點(diǎn)val acc已經(jīng)連續(xù)5個(gè)epoch沒漲但因沒保存最優(yōu)模型交付的是最后一個(gè)epoch的權(quán)重性能大幅回退。上面把早停和模型保存寫在一起訓(xùn)完直接加載best_eye_cls.pth才是真正能用的模型。3.3 關(guān)鍵參數(shù)設(shè)置圖像尺寸、batch size 與學(xué)習(xí)率的搭配眼睛疾病分類數(shù)據(jù)集里的圖像尺寸通常不統(tǒng)一。眼底相機(jī)常見2048x1536、1600x1200也有手機(jī)翻拍的病歷圖。Resize到256再中心裁剪到224是ImageNet時(shí)代的標(biāo)準(zhǔn)做法。想追求速度可以縮到192或160但代價(jià)是視網(wǎng)膜小血管、微動(dòng)脈瘤這類細(xì)節(jié)可能被模糊掉建議先用224跑通再壓縮。batch和學(xué)習(xí)率的搭配遵循線性縮放原則batch32配lr1e-4batch16則lr減半到5e-5batch64可以嘗試2e-4。下表只適用于單卡小batch場(chǎng)景多卡時(shí)不這么算。batch size學(xué)習(xí)率起點(diǎn)典型場(chǎng)景165e-5顯存受限的舊卡321e-4最常見配置642e-412G以上顯存DataLoader里還有個(gè)容易被忽略的參數(shù)drop_last。醫(yī)學(xué)圖像數(shù)據(jù)集樣本數(shù)經(jīng)常不是batch_size的整數(shù)倍最后一個(gè)batch可能只有幾張圖BN層的統(tǒng)計(jì)會(huì)不穩(wěn)定。訓(xùn)練時(shí)建議設(shè)置drop_lastTrue驗(yàn)證時(shí)保持drop_lastFalse以便統(tǒng)計(jì)所有樣本。4. 驗(yàn)證集評(píng)估與精度調(diào)優(yōu)眼睛疾病分類的 3 個(gè)必調(diào)參數(shù)4.1 用混淆矩陣看模型到底錯(cuò)在哪一類總acc對(duì)醫(yī)學(xué)圖像分類并不夠。類別不平衡嚴(yán)重時(shí)正常眼占大頭acc會(huì)被正常類拉高模型把所有病變都判成正常也能到60%以上。要在驗(yàn)證集上算per-class的recall和混淆矩陣from sklearn.metrics import classification_report, confusion_matrix import seaborn as sns import matplotlib.pyplot as plt classes val_ds.classes # 這兩個(gè)列表來自validate()函數(shù)返回的preds和labels report classification_report(labels, preds, target_namesclasses, digits3) print(report) cm confusion_matrix(labels, preds) cm_norm cm.astype(float) / cm.sum(axis1, keepdimsTrue) plt.figure(figsize(10, 8)) sns.heatmap(cm_norm, annotTrue, fmt.2f, cmapBlues, xticklabelsclasses, yticklabelsclasses) plt.xlabel(Predicted) plt.ylabel(True) plt.tight_layout() plt.savefig(eye_confusion_matrix.png, dpi150)混淆矩陣呈現(xiàn)的是“真實(shí)類別vs預(yù)測(cè)類別”。在醫(yī)學(xué)圖像場(chǎng)景里關(guān)注重點(diǎn)不是對(duì)角線多高而是哪些非對(duì)角線值得警惕。糖尿病視網(wǎng)膜病變和黃斑變性早期都表現(xiàn)為黃斑區(qū)異常模型容易把兩者搞混如果模型把青光眼判成正常這種錯(cuò)誤在臨床上屬于漏診??淳仃嚂r(shí)先圈出“正常眼那行”的false negative因?yàn)椴』悸┰\比誤診更危險(xiǎn)?,F(xiàn)實(shí)里還有一個(gè)常見現(xiàn)象模型對(duì)驗(yàn)證集里“背景亮度過高”的樣本常常成片判錯(cuò)。這類樣本往往在混淆矩陣某一列扎堆先別急著加數(shù)據(jù)回去看那一類圖像是不是存在設(shè)備差異。4.2 類別不平衡損失函數(shù)替換與樣本權(quán)重用CrossEntropyLoss時(shí)class weight是最直接的平衡手段。先統(tǒng)計(jì)訓(xùn)練集的每類樣本數(shù)再算權(quán)重注意歸一化import os from collections import Counter import torch split_path eye_disease_dataset/train class_counts Counter() for cls in sorted(os.listdir(split_path)): cls_path os.path.join(split_path, cls) if os.path.isdir(cls_path): class_counts[cls] len(os.listdir(cls_path)) counts_tensor torch.tensor([class_counts[c] for c in sorted(class_counts)]) weights 1.0 / counts_tensor.float() weights weights / weights.mean() # 歸一化讓權(quán)重均值保持在1附近 criterion nn.CrossEntropyLoss(weightweights.cuda())直接用1/count會(huì)出現(xiàn)極端類權(quán)重過大的問題比如某類只有80張權(quán)重會(huì)變成正常眼的幾十倍訓(xùn)練反而震蕩。除以均值把正常類壓回1附近正常眼權(quán)重小于1稀有類權(quán)重大于1但不會(huì)離譜。如果加了class weight后召回率還是上不去可以換Focal Loss。它自動(dòng)降低易分樣本的loss貢獻(xiàn)讓模型把注意力放在難分的病變類別上class FocalLoss(nn.Module): def __init__(self, gamma2.0, alphaNone): super().__init__() self.gamma gamma self.alpha alpha def forward(self, logits, targets): ce_loss nn.functional.cross_entropy(logits, targets, weightself.alpha, reductionnone) pt torch.exp(-ce_loss) focal_loss (1 - pt) ** self.gamma * ce_loss return focal_loss.mean()gamma2.0是常用起點(diǎn)。對(duì)眼睛疾病分類我建議先從class weight入手因?yàn)樗桓囊粋€(gè)參數(shù)跑兩個(gè)epoch就能看出趨勢(shì)focal loss要調(diào)gammagamma太大模型會(huì)過度聚焦難分樣本出現(xiàn)驗(yàn)證集acc原地抖動(dòng)。見過有人把a(bǔ)lpha和class weight混著用結(jié)果正常眼權(quán)重被壓到0.1以下模型開始大量誤報(bào)沒必要疊這么多。4.3 學(xué)習(xí)率策略從視頻動(dòng)作分類實(shí)戰(zhàn)里常用的余弦退火說起很多做視頻動(dòng)作分類比如跑UCF101這類基準(zhǔn)的團(tuán)隊(duì)長(zhǎng)訓(xùn)練時(shí)幾乎默認(rèn)用余弦退火。這不是眼睛疾病分類里的新東西但確實(shí)好用。第3.2節(jié)用的ReduceLROnPlateau是驗(yàn)證集驅(qū)動(dòng)的適合訓(xùn)練中期如果數(shù)據(jù)集不大余弦退火的確定性調(diào)度往往更穩(wěn)scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max30, eta_min1e-6) for epoch in range(30): # 現(xiàn)有訓(xùn)練循環(huán) scheduler.step()T_max設(shè)為總epoch數(shù)eta_min設(shè)為初始學(xué)習(xí)率的百分之一從1e-4退到1e-6足夠。用它替代ReduceLROnPlateau時(shí)要注意余弦退火是“從當(dāng)前值一路往下”沒有回頭漲的機(jī)會(huì)所以初始lr寧可偏低。有人把初始lr設(shè)成1e-3跑余弦退火前幾個(gè)epoch loss直接炸穿。在眼睛疾病分類這類中小規(guī)模醫(yī)學(xué)圖像數(shù)據(jù)集上我的使用順序是先用ReduceLROnPlateau跑20個(gè)epoch看baseline如果尾部loss震蕩明顯再換余弦退火重跑一次驗(yàn)證集acc通常能再上1到2個(gè)點(diǎn)。先有baseline再調(diào)調(diào)度器比一上來就堆各種trick更省時(shí)間。5. 眼睛疾病分類數(shù)據(jù)集落地避坑5 條真實(shí)的血淚經(jīng)驗(yàn)下面這幾條都是從實(shí)際訓(xùn)練過程中踩出來的按“現(xiàn)象、原因、解決”的順序?qū)懹龅筋愃茊栴}可以直接對(duì)號(hào)入座。5.1 驗(yàn)證集acc漂亮得可疑訓(xùn)練集里混進(jìn)了驗(yàn)證集圖像現(xiàn)象訓(xùn)練到一半驗(yàn)證集acc飆到99%但換一批新采集的圖acc直接掉到60%。原因數(shù)據(jù)清洗不徹底。很多公開數(shù)據(jù)集的train和val是從原始資料里分出來的原始文件里有重復(fù)截圖、圖像拷貝同一個(gè)病例的不同版本文檔被誤放進(jìn)了兩個(gè)集合。解決用2.3節(jié)的phash全庫(kù)跑一遍去重漢明距離小于等于4的圖像對(duì)確認(rèn)后只保留一份。更穩(wěn)的是在訓(xùn)練前用文件名或元數(shù)據(jù)查一下“同一病人文件是否被分到兩個(gè)split”。5.2 灰度圖與RGB通道不一致現(xiàn)象訓(xùn)練到中途dataloader報(bào)錯(cuò)“Expected a 3-channel input”或者loss變成nan。原因眼底相機(jī)輸出一般是彩色JPEG但醫(yī)院導(dǎo)出的歷史數(shù)據(jù)里存在灰度PNG和帶透明通道的圖。ImageFolder遇到灰度圖時(shí)ToTensor會(huì)把它變成單通道和Normalize的三通道統(tǒng)計(jì)不匹配。解決在transform之前統(tǒng)一轉(zhuǎn)RGBdef load_as_rgb(path): img Image.open(path) if img.mode ! RGB: img img.convert(RGB) return img把load_as_rgb放進(jìn)自定義Dataset里?;叶葓D轉(zhuǎn)RGB是復(fù)制通道RGBA圖則丟棄Alpha。不要指望現(xiàn)成的ImageFolder幫你處理這些。5.3 驗(yàn)證集acc虛高的背后沒有按病人切分現(xiàn)象模型在驗(yàn)證集上對(duì)青光眼類acc達(dá)到98%業(yè)務(wù)方拿新數(shù)據(jù)實(shí)測(cè)準(zhǔn)確率遠(yuǎn)低于預(yù)期。原因醫(yī)院采集中同一個(gè)病人可能提供兩只眼的圖片隨機(jī)劃分后同一病人的兩只眼一個(gè)在train一個(gè)在val模型學(xué)到的其實(shí)是病人特征。病人ID可能隱藏在文件名里比如patient_001_left.png和patient_001_right.png直接listdir根本看不出來。解決先抽出patient_id按病人劃分import pandas as pd from sklearn.model_selection import train_test_split df pd.read_csv(image_patient_labels.csv) patients df[patient_id].unique() train_patients, val_patients train_test_split(patients, test_size0.2, random_state42) train_df df[df[patient_id].isin(train_patients)] val_df df[df[patient_id].isin(val_patients)]注意分層如果病人總數(shù)少還要按主診斷做stratify否則可能出現(xiàn)某類病人只進(jìn)val的情況。5.4 從 yolo 自定義數(shù)據(jù)集的習(xí)慣遷移過來的誤區(qū)現(xiàn)象做檢測(cè)的人第一次拿到分類數(shù)據(jù)集時(shí)習(xí)慣性去找label文件、找標(biāo)注框txt發(fā)現(xiàn)沒有這些文件不知道該怎么訓(xùn)練。原因分類數(shù)據(jù)集和yolov8、yolo26乃至deim這類目標(biāo)檢測(cè)框架的數(shù)據(jù)約定不同。檢測(cè)用邊界框加txt標(biāo)簽分類數(shù)據(jù)集的標(biāo)簽全部隱含在文件夾名里不需要再生成任何label文件。解決直接用ImageFolder按目錄讀。實(shí)在習(xí)慣用CSV就自己寫一個(gè)映射文件import csv from pathlib import Path rows [] for split in [train, val]: root Path(feye_disease_dataset/{split}) for cls_dir in root.iterdir(): if not cls_dir.is_dir(): continue for img in cls_dir.glob(*): rows.append([str(img), cls_dir.name]) with open(eye_cls_labels.csv, w, newline) as f: writer csv.writer(f) writer.writerow([path, label]) writer.writerows(rows)CSV的作用是方便后續(xù)做病人級(jí)切分和臟樣本過濾而不是替代目錄結(jié)構(gòu)。5.5 早停判斷標(biāo)準(zhǔn)別只盯val loss現(xiàn)象訓(xùn)練時(shí)val loss一直在降但驗(yàn)證集acc紋絲不動(dòng)多跑幾個(gè)epoch后acc突然跳幾個(gè)點(diǎn)另一邊val loss止跌你以為可以停了結(jié)果再跑兩個(gè)epoch又漲一點(diǎn)。原因醫(yī)學(xué)圖像類別特征差異大loss和acc并非同步變化。小類別在loss里的貢獻(xiàn)占比低loss下降反映的只是大類特征收斂小類的acc沒有變化。解決以“驗(yàn)證集acc連續(xù)patience個(gè)epoch無提升”作為早停條件patience設(shè)5到8。如果用了class weight或focal loss同時(shí)盯per-class recall的調(diào)和平均不要只盯總acc因?yàn)榭俛cc會(huì)被正常眼主導(dǎo)。每個(gè)epoch都備份一次最優(yōu)checkpoint就算誤停也有后悔藥。6. 把驗(yàn)證集利用到極致錯(cuò)誤分析是醫(yī)學(xué)圖像分類的最后一公里訓(xùn)練結(jié)束不等于交付。從驗(yàn)證集里篩出預(yù)測(cè)錯(cuò)誤的樣本一張一張看才是真正提升模型價(jià)值的部分。做法是保存驗(yàn)證集的softmax輸出抽最底部的錯(cuò)誤樣本probs torch.softmax(outputs, dim1) max_probs, preds torch.max(probs, dim1) filter_mask (preds ! labels) | (max_probs 0.6)把mask篩出來的圖像路徑和預(yù)測(cè)結(jié)果寫成csv對(duì)照訓(xùn)練集里的人工復(fù)核清單再查一遍。這步常會(huì)發(fā)現(xiàn)“預(yù)測(cè)錯(cuò)誤”其實(shí)是標(biāo)注錯(cuò)誤比如早期白內(nèi)障被標(biāo)成正常眼。這類臟樣本如果不清理會(huì)一直污染指標(biāo)。從val里剔除后重新評(píng)測(cè)模型能力才是真實(shí)的。我的習(xí)慣是每個(gè)epoch結(jié)束都保存val acc和混淆矩陣訓(xùn)練完成后用驗(yàn)證集里置信度低于0.6的樣本生成一份人工復(fù)核清單而不是把模型輸出當(dāng)裁決者。眼睛疾病分類的落地價(jià)值不在acc多高而在于輔助醫(yī)生把漏診率降下來所以讓模型學(xué)會(huì)說“我不確定”比強(qiáng)行輸出一個(gè)錯(cuò)誤類別更安全。置信度閾值在驗(yàn)證集上掃描一遍再定0.6或0.7看不同閾值下被標(biāo)記為需復(fù)核的樣本數(shù)量、以及復(fù)核樣本里的誤檢率選一個(gè)業(yè)務(wù)能接受的操作點(diǎn)。我在設(shè)備色彩偏移的新數(shù)據(jù)集上翻過車教訓(xùn)是驗(yàn)證集只能證明模型在同類數(shù)據(jù)上有效真要在新采集設(shè)備上跑還得單獨(dú)留一批數(shù)據(jù)做上線前驗(yàn)證。希望這些從數(shù)據(jù)集結(jié)構(gòu)到驗(yàn)證集用法的經(jīng)驗(yàn)?zāi)苷嬲龓偷侥?。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
思思热闹这里只有精品| 97色热| 性综合网| Av性爱网| 大地9中文在线观看免费高清| 狠狠色综合网| 九九热在线精品| 久99综合婷婷| 99精品在线播放| 国产 亚洲 在线| 综合久久综合久久| 亚洲另类婷婷五月丁香在线播放| 色婷婷成人做爰A片免费看网站 | 九九色之九九色之88| 可以直接看的av网站| 婷婷五月激情基地| 日本黄色三级片内射| 色天天综合色| 久久99免费视屏| 丁香成人五月天| 五月激情综合性爱| 色五月激情| 六月丁香视频网站| 99九九这里有免费视频| 成人精品人妻| 成人视频九九| 亚洲在线免费成人| 99视频| 99日精品视频| 丁香九月婷婷| 欧美五月丁香在线观看| 1囯产午夜仑鲁鲁| 久久色亭亭五月天| 色色影院aaaav| 亚洲操操操| 久久婷婷操| 日操熟女| 国产免费AV网站| 天天操天天日天天爱| 日韩1区2区| 婷婷六月综合在线| 色色九九五月天 | 婷婷日在线观看| 丁香五月天啪啪| 色9999日韩国产| 26uuu成人网| 丁香婷最新动态| 在线观看国产高清视频免费网站 | 99re思思精品在线观看| 国产44页| 99热在线观看| 久久999久久999久久999久久| 大香蕉精品视频| 久操婷婷| 亚洲午夜一区二区| 丁香五月久久综合| 久久婷婷综合网| 久久xxxx| 久久性爱视频| 丁香五月天av| 久久亚洲婷婷| 二区成人视频| 欧美丰满熟妇BBB久久久| 色停停五月天| 久久五月天激情美女| 五月丁香婷婷钟和色图| 久久婷婷五月综合| 婷婷五月丁香基地| 精品无码av丁香五月激情| 色狠狠色综合| 综合亚洲色色| 久久99久久久| 色六月 婷婷| 97在线/亚洲| 五月丁香久久久日婷婷久久婷婷日| www.一区二区三区| 99国产精品白浆在线观看免费| 蜜桃五月天| 五月丁香婷中文| 无码激情AAAAA片-区区| 丁香五月影院| 久久这里有精品| 丁香丁香激情网| 日韩AV在线免费| 五月激情视频| 婷婷五月激情中文字幕| 另类综合国产| 婷婷综合网在线| Y11111111111少妇电影院| 91爱啪啪| 激情图片婷婷丁香五月| 激情五月婷婷综合色播小说| 久久五月天精品视频| 国产一级黄色影片,| 久久新地址| 中文字幕色色色| 亚洲另类在线观看| 99亚洲视频| 婷婷五月视屏| 丁香激情婷婷网| 色婷婷综合网| 中文字幕不卡+婷婷五月| 99亚洲精品综合在线| 色综合丁香| 色五月六月| 好吊丝aV| 五月激情精品视频| 99热在线99| 综合激情网| 婷婷六月丁香久| 午夜性做爰电影| 丁香六月激情四射| 五月天丁香| 国产婷婷五月天| 欧美25p| 婷婷桃色网| 婷久看人爽| 九九人人操| 91ncm视频| 五月天成人免费视频| 五月婷婷久久爱| 久久这里99| 香蕉久久av一区二区三区| 亚洲精品va| 开心五月婷婷激情| AV色五月婷婷| 亚洲中文字幕在线观看| 色五月婷婷激情五月| 五月天婷婷小说| 久久亚洲A| 99色在线| 九九爱看亚洲| 国产特黄色精品一区二区三区精品无广告| 精品无码99| 91啦丨九色丨刺激中文| 五月婷丁香| 嫩草国产| 色婷婷影院| 婷婷激情肏屄网| 五月综合视频| 丁香五月激情六月综合| 婷婷五月欧美| 97超碰在线免费观看| 久久码久久无清| 婷婷五月色| 久久精品婷婷五月丁香| 五月丁香五月婷婷| 天天色色婷婷| 五月丁香花激情啪啪网| 色婷婷狠狠爱| 人人草成人视频| 99久久网站| Se.婷婷五月天| BBWCUCKOLD精品熟妇| 天天爽—爽| 黄网在线免费观| 婷婷五月天激情丁香| 综合九九久久| 五月天激情视频| 丁香六月狠狠| 97干在线免费| 97色色婷婷| 久久色五月| 女人被躁到高潮嗷嗷叫小| 噜噜噜噜在线| 婷婷五月天久久综合88| 五月婷婷六月激情| 丁香五月婷婷俺也要去| 婷久久| 色五月激情五月开心五月| 人人干天天操五月丁香| 91在线观看九区| 99视频在线观看网址| 日韩久热| 色五月婷婷五月天| 天天艹夜夜艹| 国产色丁香| 国产成人精品一区二三区熟女在线| 五月天色导航| 色婷婷a v| 超碰在线99| 天天色综合网1| av在线免费网站| 色五月婷婷综合| 欧美综合在线五月天色婷婷| 色婷操逼| 五月做爱| 五月天激情小说| 无月播播激情在线观看视频| www.婷婷五月天,com| 九九操屄| 99精品在线播放| 亚洲国产成人裸舞| 五月丁香综合啪啪| 色婷婷小视频| 日本综合色图| 婷婷五月综合啪| 99这里只有免费的精品| 六月丁香色色色| 性色做爰片在线观看WW| 超碰色色综合| 六月狠狠综合| 99在线免费视| 久色五月天| 五月天丁香| www激情五月天| 天天做天天爱天天爽夜夜揉| 久久日曰| 日韩av变天就操逼不卡区| 停婷丁五月在线| 狠狠干天天内射| 男人視頻站| 婷婷久久色| 丁香五月综合在线观看| 丁香五月另类小说在线阅读| 色玖玖网| AV在线不卡播放| 久久女人天堂| 色99视频| 伊人狠狠干| 91丨九色丨熟女|新版| 日本三级99人妇网站| 九九黄色网| 天堂草在线观看| 人人色人人摸人人看| 六月五月天婷婷涩播在线| 国产成人+综合亚洲+天堂| 丁香美女主播视频在线观看| 五月婷婷六月丁香| 在线观看亚洲视频影院| 狠狠色噜噜狠狠亚洲A∨| 99亚洲天堂| 五月天狠狠| 天天天添天天操| 五月丁香激情四射| 69色婷婷| 五月色丁香婷婷综合| 丁香五月性爱| 色五月丁香婷婷| 亚洲精品婷婷| 婷婷草| 色综合色综合网| 99久久新视频| 色99免费视频中文| 五月婷婷性爱网| 亚洲国产精品SUV| 婷婷激情综合| 爱操人妻| 五月天开心色情网| 五月婷婷偷拍| 婷婷久久五月天丁香| 色色综合色| 激情都市五月天| 六月丁香婷婷拍拍| 久久五月天色婷婷| 无码色色色色色| 色色色综合色| 啪啪操超碰| 久久久91精品| 丁香五月婷婷av影院| 777精品久无码人妻蜜桃| 九九热免费| 日本在线99| 五月天婷久精视频| 色久天| 色婷婷九月| 丁香五月激情月| 五月天 综合 在线| 五月色欧洲| WWW,激情五月天,COM| 91狠狠色| 久热大香蕉| 大香蕉婷婷色| 婷婷五月电影院| 婷婷射综合| 国产脫衣舞一区二区三区| 九月av在线| 9色免费网| 天天肏天天舔AV| 荷兰av一级| 欧洲高清免费久久| 思思热再线视频| 婷婷免费无视频| 色之综合网| 只有精品视频在线观看| 天天色天天爱天天舔| 五月婷婷天天色| 思思99热热热99| 91精品在线看| 五月开心婷婷极品激情| 久久久久亚洲A∨成人乱码电影| 激情丁香婷婷五月天| 男人天堂伊人五月丁香| 操逼福利视频| 激情婷婷五月天在线观看| 青青草视频福利| 色情五月天婷婷| 91婷婷伊人牛牛| 97操碰在线视频| 日韩av在线免费观看| 五月天丁香网站| 五月天啪啪视频| 大香蕉啪啪啪| 九九视频精品在线免费| 综合网视频| 丁香五月天婷婷中文字幕| 99九九在线观看免费| 婷婷五月天色色| 天天日夜夜| 色久综合| 丁香五月 激情文学| 综合99久久天天综合| 夜夜 操无码| 国产一级片| 激情六月五月婷婷综合网| 丁香五月网| 热久久99热欧美国产亚洲| 婷婷色正月| 五月婷婷色影院| 狠狠狠狠狠狠| 五月天婷婷无码| 国产免费av在线| 婷婷久久五月| 热99re| 日日夜夜狠狠| 日本久久综合| 色婷婷五月综合激情中文字幕| 色婷狠狠| 99re99在线看| 五月丁香激情六月| 亚洲综合五月天婷婷丁香| 91日本在线观看| 丁香五月天AV在线 | 激情五月丁香五月色| 91n啪啪| 全高清无码视頻| 99色区| 婷婷五月伦理| 婷婷综合精品| http://www.com久久久精品一区| 97热久久| 五月婷婷深深的爱| 亚洲性爱日韩无码| 天天综合五月天| 九九亚洲视频| Caop在线| 97深爱伊人综合| 婷婷淫淫狠狠六月| 五月天激情婷婷| 久热伊人在91| 婷婷伊人激情婷婷| 九九色色网| 国产精产国品一二三在观看 | 玖玖资源在线视频| 婷婷激情五月天激情小说| 五月天大香蕉| 黄色激情五月天| 99色热| 伊人免费视频9| 久久久宗合| 久久婷婷五月综合色播| 大香蕉五月天婷婷| av一区二区电影免费在线观看| 色五月婷婷婷婷婷婷婷婷婷婷| 99爱无码| 无码日本精品XXXXXXXXX| 国产亚洲成AV人片在线| 天天色天天爱天天舔| 俺去也婷婷| 国产又黄又爽又色的免费| 丁香六月婷| 久久午夜理论| 99热这里只有精品4| 91九九热| 婷婷五月天亚洲激情戏精品| 激情五月综合网| 亚洲XX网| 五月婷婷六月丁香在线视频| 中文人妻AV久久人妻18| 日本三级黄色大片| 91色在线 | 日韩| 超碰天堂网| 色色五月婷婷| 五月丁香久人妻中文| 久操乱| 午夜婷婷| 婷婷午夜丁香| 婷婷五月天精品| 亚洲综合在线丁香五月| 日本久久网| 成人版视频在线观看| 五月天久久综合婷婷丁香| 色丁香久久| 色色激情五月| 丁香婷婷六月| 97碰操| 婷婷五月天人妻| 久久只有18视频| 懂色av蜜臀av粉嫩av永陈冠希 | 色色性爱视频| 国产一级黄色影片,| 精品色情一区二区三区四区| 91日韩在线| 婷婷五月天AV在线| 激情小说婷婷| 五月丁香亭亭AV女优| 五月开心激情网| 婷婷六月色| 东京热伊人| 99久久久久久www| 亚洲韩国日产综合AV| 99亚洲大片精品永久在线观看| 婷婷五月色天| 久久综合99| 翔田千里 50岁 无码| www,超碰| 99色在线观看视频| 九九 激情 网| 成人在线视频一区| 任你擦免费视频| 99热这里只有免费精品| 丁香五月停停av| 久久人妻情侣| 丁香五月婷婷社区| 俺去也在线官网| 777精品久无码人妻蜜桃| 狠狠干五月天婷婷网| 久久色情| 欧美激情五月天婷婷| 五月激情婷婷丁香| 99国产小视频2013| 婷婷五月天伊人| 婷婷五月综合激情| 超碰在线国产| 深爱五月中文字幕| 婷婷五月丁香基| 综合网五月天123| 婷婷99视频全集高清| 深爱丁香激情| 四季日韩AV无码综合| 亚洲激情.com| 婷婷五月天精品| 99狠狠操一| 性生活视频98791| 六月丁香综合| 无码se| 狠狠爱综合| 色播五月婷婷综合| 无码视频国内精品久久久| 色色色在线免费视频| 26uuu国产| 五月丁香美女| 在线18av | 天天射综合网夜夜操| 婷婷不卡基地| 婷婷五月天伊人网| 天天操加勒比| 大香蕉五月天| 天天操,夜夜骑| 久久ri精品| 播四月婷婷六月丁香| 狠狠综合区| 91免费看片| 亚洲AV成人片无码网站| 天天做天天爱天天高潮| 久久99久久99精品免视看婷婷| 亚洲九九99精品视频在线播放| 色激情五月| 五月婷婷七月丁香| 中文av网| 婷婷激情五月综合丁香社| 艹色18p| 9热在线观看| 亚洲欧美成人在线| 成人精品视频99在线观看免费| 人人看人人草人人摸| 五月婷婷97| 999热在线视频| 丁香六月婷婷激情综合| 极品少妇XXXX精品少妇偷拍| 五月丁香婷婷综合视频| 色999亚洲人成色| 日日躁夜夜躁狠狠久久AV| 日日日日操| 任你搞网站| 色播五月婷婷| 婷婷五月天在线一区| www.com.色色| 色五月综合| 婷婷五月综合视频| 新97人人上人人| 欧美性生交XXXXX无码小说| 无码网站视频| www.五月天色色.com| 九月丁香婷婷| 青青草五月天| 新99思思视频| 久久玖玖综合| 大地9中文在线观看免费高清| 婷婷之六月丁香| 日韩日比视频| 国产精品18久久久| xxxx久| 亚洲五月丁| Caoub青青超碰| 久热九九| 久热这里精品免费| 亚洲天堂爱爱| 婷婷九月丁香中文| 婷婷在线视频| 色婷婷五月天| 色五月婷婷丁香婷婷| 在线视频激情网站| 韩日另类| 亚洲综合激情五月久久| 噜噜噜噜综合在线| 人人干天天操五月丁香| 丁香五月首页| 人妻无码视频网| 色婷操逼| 天天色色天天| 色五月激情五月丁香五月婷婷啪啪综合 | 激情六月天婷婷| 99精彩视频在线观看| 婷婷五月大香蕉| 99精品丁香五月| 婷婷久久五月| 天天做天天爱天天做| 区区久久妻| 婷婷久久婷婷| 日本精品人妻无码77777| 久久9精品视频| 伊人午夜综合色啪| 538在线| 操日视频| 久婷婷视平| 日本狠狠干| 九九操操| 狠狠色噜噜狠狠亚洲A∨| 午夜丁香| 五月婷在线观看| 精a品a| 亚洲婷婷丁香五月亚洲| 狠狠色婷婷7777久| 婷婷五月色图| 久久久色情| 欧美成人AAA片一区国产精品| 激情久久久久久| 天天透天天爱| 99热的无码| 色爱综合视频| 婷婷色色五月天| 九九精品热播| 男人天堂 久久| 伊人大综合| 禁欲电影完整版在线播放| 国产激情在线| 少妇达人正片在线播放_ikun_福利吧| 五月婷六月天| 深爱激情AV| 秋霞免费三级片| 欧美日本国产欧美日本韩国99| 人妻视频在线| 婷婷丁香五月婷婷| 噜噜吧天天爱| 97色色综合| 天天草天天日| 亚洲99视频| jiujiu无码五区| 亚洲小视频免费看| 激情五月天久久丁香| 欧美日韩国产一区| 色玖玖综合| 91jiuseshunv| 99caobi| 国产精品24r| 99色热综合| 操老逼综合网| 亚洲精品V天堂中文字幕| 天天爽天天| 日本片日本片祼观看网站在线看中文版网页在线看 | A片试看50分钟做受视频| 婷婷爱五月| 天天摸天天肏| 成人电影一区| 激情五月天电影| 一起草av| 丁香婷婷色五月激情综合| 久久婷婷国产| AV在线观看网站| 中文AV在线播放| 国产婷婷五月天| 五月天成人网在线观看| www,天天干| 精品色| 97 A I色色| 人人干av| 五月丁香六月激情视频| 123草逼网| 99国产精品久久久久久久久久久| 亚洲色热| 丁香五月婷婷色情综合| 97操操| 97啪啪| 激情五月五月婷婷| 久久久久久久人妻| 婷婷五月久久| 色婷婷另类| 超热久碰.com| 五月天色综合| WWW五月婷婷| 五月天亚洲最大成人| 俺五月| 久草xx性爱视频| 久久偷拍综合五月天| 思思热视频在线| 五月婷婷中文字幕| 婷婷激情综合网| 色五月天视频| 99视频在线观看网址| 五月丁香六月成人| 99色综合| 成人无码髙潮喷水A片| 99色人| 1024亚洲| 五月天婷婷激情网| 六月丁香五月激情网| 开心婷婷五月中文字幕组| 亚洲丁香五月天视频| 超碰操网| 亚洲性爱AV在线| 色吊丝av中文字幕| 乱码操操| 九九久久99| 就爱射中文字幕资源网| 99爱在线视频| 婷婷五月天av| 日韩成人中文| 久久sp免费视频| 久久婷婷五月丁香网| 激情五月图| 思思久久99热只有频精品66| 五月丁香操婷逼| 丁香婷婷社区| 久久婷婷五月综合色和| 另类亚洲2| 欧美毛片www| 欧美日本另类| www99热| 九九美女视频| 六月丁香激情综合网| 婷婷丁香激情| 日韩成人无码人妻| 五月丁香六月激情网站| 婷婷久久精品| 狠狠va| 久久这里只有精品热在99| 深爱激情五月婷婷| 天天色五月婷婷91久久久久久久| 色六月婷婷| 玖玖精品视频99| 日本丁香五月| 国产成人一区二区三区在线观看 | 婷婷综合色网| 欧美美女国产日韩一区二区久| 97婷婷五月| www.超碰| 性色综合网| 日韩 欧美 国产 一区 二区| 99er精品视频| 婷婷啪啪| 91ncm视频| 啪啪激情网站| 亚洲99热| 大香蕉久久久久| 日韩AV免费电影在线播放| www.婷婷.com| 日日操,夜夜撸| 久热超碰| 色婷婷色| 欧美毛片www| 色婷婷亚洲| 婷婷色狠狠| 888精品福利地址| 亚洲婷婷欧美婷婷| 精品9197碰| av大香蕉| 67194中文字幕| 欧美性生交XXXXX无码小说| 91丁香五月| 婷婷五月天资源| 色播播五月天| 超碰91人人操| 青青草激情网| 欧美婷婷丁香社区在线播放| 5月婷婷视频网站综合| 丁香五月在线| 超碰在线caop| 夜夜涩涩涩| 久久在这里99| 久xxxx| 日日操日日射| 婷婷99| 五月婷婷欧美| 国产亚洲精品久久一区二区三区| 五月丁香综缴情性爱| VA婷婷| 五月婷婷黄色| 日本操片| 亚洲国产99| 91丨九色丨国产| 婷婷五月丁香五月| 玖玖爱综合网| 午夜婷婷久久 | 久久九九爽| 丁香六月激情综合| 色444综合网| 伊人午夜综合色啪| 欧美成人猛片AAAAAAA| AV堂狠狠干| 久久综合干| 色综合香蕉| 五月激情婷婷丁香天堂| 在线看的免费网站| 五月天激情综合网俺也去| 婷婷色欧美激情| 无码色| 天天狠天天狠| 五月激情综合网| 丁香五月色色| 99自拍网| 99久热在线精品| 五月天婷婷色| 久久婷婷五月| 婷婷综合干| 天天拍夜夜爽日日| 五月天精品| 激情五月天久久丁香| 91人妻PORNY九色大屁股| 国产五月天婷婷| 991国产精选视频在线播放下载| 奇米网大香蕉| 婷婷色正月| 丁香青青五月天| 色色色9| 五月丁香日逼| 婷婷五月AA五月在线| 日本99视频| 婷婷综合五月天激情| 国产一区二区三区影院| 99热在这里只有免费精品| 丁香六月婷婷综合| 五月色情网| 99热网精品| 久久久五月婷婷| 黄色AAAA韩国guochansanji| 五月丁香六月综合激情网| 射满了还射免费在线观看 -午夜版全集-新视觉影院 | 欧美va亚洲va在线播放| 玖玖婷婷五月天毛片| 久久五月综合| www.色欲丁香婷婷| 婷婷激情五月综合| 精品久9| 日本婷婷色日| 热996精品在线观看| 99热这里| 五月婷婷偷拍| 狠狠干天天日| 丁香成人综合| 少妇水多A片太爽了| 久久这里只有精品22| 亚洲成人在线在线| 狠狠干综合网| 秋霞丝袜啪啪啪| 色五月婷婷在线| 91综合在线| 国产婷婷色综合AV蜜臀AV| 婷婷综合五月天激情| 色婷婷伊人激情在线观看| 五月丁香六月婷婷开心网| BlACKEDRAW视频一区二区| 色婷婷综合网| 五月丁香婷婷啪啪| 人妻丰满精品一区二区A片 | 91久操| 婷婷 激情 五月| 北条麻妃伊人| 综合久久高清| 婷婷欧美色| 97色精品视频| 91精品久久久久久久久| 五月婷婷啪啪啪| 91九色精品熟女内射| 深爱激情av| 丁香亚洲色综合| 色天堂在线| 五月婷婷与六月丁香图片激情| 粉嫩AV久久一区二区三区| 丁香婷婷十月| 久热91精品| 另类在线| 99视频这里只有精品10| 久操福利| 99在线精品免费视频| 久久这里有精品视频| 色五月色图| 八戒青柠影视剧在线观看| 性日本精品| 成人网站免费在线播放| 91爱操| 五月天影院婷婷在线观看| 五月丁香婷婷激情四射迷人| 99欧美| 色偷偷狠狠| 日韩啪| 人与禽A片啪啪| 色婷婷成人五月| 色情五月天视频网| 在线一起草av| 色五月婷婷五月| cc精品国产性传播| 亚洲视频a| 亚洲欧美在线观看| 五月色婷婷综合| www.99精品视频| 无码AV免费精品一区二区三区| 激情五月天影院| 大香蕉啪啪网| 97sese婷婷| www超碰| 五月丁香婷婷导航视频| 天干天天干天天天天天| 久久五月婷婷丁香| 日曰躁夜夜躁2026| 97超碰人人操| 性生活久久朋友人妻| 亚洲综合婷婷五月| 五月婷婷很很色| 97资源碰碰| 成人资源在线| 国产FREESEXVIDEOS性中国| 九九精品亚洲| 色婷婷激情视频| 三级黄网站| 一起操 91N.com| 天天爽天天操| 婷婷的色色五月天| 色色色色色爱| 五月婷婷激情| 91在线观看www| 青柠影视免费高清电视剧| 99精品一二三四视频| 五月婷六月丁香| 久久草人妻| 六月婷婷色色色| 久久免费高| 九九在线精点品| 色婷婷在线视频| 天天擼久久擼在线| 久久五月丁香婷婷| 色婷婷狠狠久久综合五月 | 伊人五月天| 久久色9| 色婷婷丁香香香蕉视频| 婷婷五月欧美综合| 大香蕉 伊人夜| 熟惀91九色在线| 日韩aaaaa| 日韩99视频| 午夜五月天| 五月花婷婷最新| 美女va| 青青草原亚洲天堂| CAOBIBI| AV亚洲在线| 国产黄大片在线观看画质优化| 久久综合影院| 538在线精品| 婷婷激情啪啪| 岛国资源网| 丁香五月网络网络| 亚洲无码黄色| 成人在线观看精品| 丁香五月天啪啪| 强伦轩人妻一区二区电影| 久99在线视频| 六月丁香五月婷婷| 这里只有久久精99| 99精品在| 成人欧美一区二区三区在线观看| 亚洲人成网亚洲欧洲无码久久| 99热在线中文字幕| 特级操b片| 五月婷丁香久久综合| 中文字幕丰满乱孑伦无码专区 | 五月丁香啪| 久久码久久无清| 丁香五月激情啪啪啪啪| 激情婷婷五月天| 免费不卡狠操美女视频网| 天天舔日日肏夜夜爽| 九九视频这里是精品五月| 丁香五月色| 91欧美| 五月大香蕉| 欧日韩成人| 亚洲小电影在线观看黄999| 久久玖玖综合| 91人人操| 色情五月天丁香社区| 狠狠99| 91九色熟女| 网色99| 99九色视频在线观看| 欧美婷婷丁香五月社区| 国产 亚洲 在线| 99自拍视频在线| 五月婷婷99热| 欧美在线视频99| 丁香 婷婷 激情 综合 五月| 99er这里只有精品视频| 五月天五月色婷婷综合| 激情五月天婷婷图| 国产精品视频免费看| 人人人操| 另类天堂| 开心婷婷中文字慕| 国产色丁香| 六月激情久久婷婷| 五月婷婷少妇之| 久热伊人| 综合激情网五月激情| 久久五月天综合视频网站| 伦乱美欧| 五月丁香999| 日本成人小说婷婷六月| 亚洲成人在线五月天| www.深爱激情| 色五月婷婷五月天| 久久色情| 97色干| 五月婷婷丁香| 香蕉AV777XXX色综合一区| 国产乱子轮XXX农村| 亚洲乱码日产精品BD| 色婷婷亚洲综合网站| 亚洲色图日韩网址| 99色综合网| 欧美色五月| 欧美日韓成人亚洲精品另类| 日日想日日夜日日操| 五月天色网站| 九九热最新| 婷婷五月综合激情| 久操婷婷| 久久91久久精品久久| 超碰人人操人人9| 日本美女上人| 日韩a热| 丁香婷婷六月在线资源观看| 这里只有精品在线视频在线观看| 五月玖玖| 极品少妇XXXX精品少妇偷拍| 9久久狠狠的| 亚洲综合草草| 激情综合网五月婷婷| 色九九综合色| 婷婷色基地在线看 | 丁香六月婷婷综合| 激情综合五月| 怎么样可以看免费的一级av| 99色.com| 丁香五月婷婷久久综合激情网 | 99爱爱网| 国产五月丁香在线| 亚洲最大五月六月丁香婷婷| 五月婷婷深深爱| 99精品视频在线观看| 99热有精品在线观看| 精品99在线| 色五月丁香一区在线| 成人欧美一区二区三区在线观看| 五月丁香激情欧洲啪啪| 大香蕉久久久| 专区无日本视频高清8| 亚洲人妻电影| 色婷婷视频| 久久婷婷五月| 色婷婷免费观看| 老美AA片| 五月色天情| 五月丁香婷婷综合网色欲| 天天日天天干天天操| 99这里有精品| 欲求不满的人妻| 天天艹天天综合网| 国产精品五月天婷婷| 99re久久| 青青草原亚洲久| 久久色五月天| 丁香亚洲婷婷五月| 七七九色| 亚洲深喉aV| 成人精品人妻| 99热99这里有免费的精品| 婷色五月天| 综合狠久久| 欧美色图45678| 午夜电影网VA内射| 国产精品色色| 色综合久久88| 亚洲综合婷婷五月| 五月激情视频| www色哟哟| 涩综合在线| 五月丁香六月| 年轻的妺妺伦理HD中文| 日都一级A片| 激情五月天之五月婷婷| 亚洲在线综合| 4399无码视频二区| 五月丁香婷婷无码中文| 人人摸人人澡人人| av操逼网| 亚洲色情久久| 五月天六月婷婷电影| 色99网站| 91热网址| www.色擼擼.com| 中文字幕在线免费观看视频| 另类视屏| 丁香5月婷婷| 色色婷婷丁香| 久久大香蕉同僚| 五月天婷婷深深爱| 99久在线精品99re8热| 五月丁香自拍| 五月花综合视频| 少妇被下春药玩弄A片| 日韩综合网络男女香蕉a片| 婷婷伊人网| 六月婷婷色色网| 综合另类视频| 婷婷久月| 色婷综合| www.夜夜騎夜夜狠| 国产做爰视频免费播放| 99久久99九九99九九九| 五月丁香啪啪| 精品九九久久| 色五月婷婷在线视频| 丁香五月性| 激情九月婷婷| 啪啪操超碰| 五月婷婷,六月婷婷| 欧美日本一区二区三区| 激情婷婷五月天| 五月色综合网欧美网| 96精品久久久久久久久| 五月天怕怕| 五月婷婷亞洲中文| 91色色五月天| 5月丁香婷婷| 99热九九热| 久久久大香蕉| 久久婷婷综合国产| 伊人9草在线观看| 五月婷婷婷自由综合| 婷婷五月天影院| 99操| 天天色播| 67194成I人在线观看线路1| 色五月天成人| 九九色黄色| 思思热久久爱| 五月天激情美女久久| 99热精品一区| 婷婷爱五月| 99视频超级精品| 亭亭色网| 九九色综合网| Av九九| 亚洲 视频 导航 一区| 六月丁香激情| www.99精品视频| 成年人最刺激的综合网| 97操碰在线97| 手机免费福利视频| 狠狠色噜噜狠狠狠狠狠色综合久久| 99热这里只有精品2024| 色网五月婷婷| 婷婷五月天激情AV影院| 牛色色碰| 人妻尝试久久久久久久久久久久| 少妇高潮呻吟A片免费看软件| 丁香五月天婷婷久久综合| 国产精品久久久久久妇女6080| 加勒比色色| 任你躁XXXXX麻豆精品| 嫩草综合网| 免费无码毛片一区二区A片| 怡红院院久久| 级人人91| av五月天婷婷丁香| 91超级碰人人操| 天天搞天天爽| 99热天堂| 九九热九九| 五月天激情综合网俺也去| 深爱激情综合| 亚洲色五月天在线| av国产精品| 可以免费看的av网站| 少妇被下春药玩弄A片| 久热这里只有精品66| 亚洲AV无码电影| 五月天天爽| 天天综合久久| 激情六月天| 99操视频| 五月综合激情网| 六月婷婷影院| 婷婷五月日本| 色爱亚洲| 日韩色五月| 99热在线观看免费精品| 插插干干干色| 男女av免费看| 色色色网站| 五月天久久婷婷| av九九| 色婷婷a三区麻| www.99免费视频| 精品人人操| 丁香五月婷婷无码AV| 成人国产欧美大片一区| AAAA网站| 97色片| 97干在线| 99热这里只有精品96| 特黄三级又爽又粗又大| 丁香五月情| 欧美激情五月天婷婷| 九九婷婷五月天| 99热这里是精品| av国产精品偷| 国产亚洲99久久精品| 中文不卡一二区| 一级无码作爱片| 99热这里有精力| 九九九九九九九热| 成人无码免费一区二区中文| 婷婷六月激情| 久久五月丁香| 少妇水多A片太爽了| 韩国激情五月天综合网| 99日韩| 五月Huangsewang| 亚洲精品99| 再次出发二| 51精品国内探花| 国产 码在线成人网站| 深爱五月天天| 色九月欧美| www久| 蜜臀av在线成人电影| 久久婷五月婷| 丁香五月激情图片婷婷| 久热黄色| 另类五月婷婷| 97色 五月天丁香| 欧美丁香五月97色| ss99热| 玖玖婷婷色| 精品人妻伦一二三区久久| 欧美Va在线| 九洲一级A片| 久久精品99国产精品日本| 五月天婷婷丁香基地在线观看| 操操操av| 91热久| 色五月婷婷五月天| 亚洲五月天激情| 色五月aV| 玖玖爱导航| 精品亚洲国产成AV人片传媒| 超碰国产在线观看| 欧洲日韩一区二区三区| 日韩精品一区二区亚洲AV观看| 97啪在线观看视频| 九九aV| 开心激情网五月| 丁香五月婷婷啪| 久99久热| 荫道BBWBBB高潮潮喷| 情色婷婷五月天| 思思久久青草热| 超碰在线精品| 色呦呦在线| 五月婷丁香| 五月丁香影院| 婷婷五月天激情综合| 9久国产精品| 另类国产欧美视频| 婷婷五月天激情四射| 久久综合影院| 狠狠人妻久久久久久综合丁香| 任你日热视频| 亚美欧色影院| www,99色| 亚洲精品久久久久AV无码| 99碰网站| www,婷婷| 五月综合婷婷开心网| 97极品在线| 久久这里只有精品视频15| 夜夜撸日日操| 婷婷久久精品| 在线可以看的av网址| 97激情五月天| 色欲丁香| 激情婷婷黄色五月| 嫩草极品| 99热在线看| 五月天丁香久久| 国产色99| 亚洲五月天综合| www.xtbsty.cn.com蜜乳AV| 超碰av天堂| 99视频日韩| 色婷婷六月| www狠狠| 色婷婷亚洲婷婷在线观看| 欧洲综合色| 99热九九这里只有精品10| 999精品乱码77777| 日韩成人电影Av| 丁香六月天婷婷色| 五月丁香啪啪啪| 五月激情六月综合| 婷婷激情性爱| 丁香五月影院| 六月色国内综合| 九九热这里有精品视频| 外国碰视频网站97| 国产老熟妇亲子乱对白| 成人网站高清无码| 久热A片| 99国产精品久久久久久久久久久| 夜夜久久综合网| 天天日天天爽夜夜爽| 五月婷婷在线观看| 色婷五月丁香久亚洲| 99热这里只有精品国产免费| 五月婷啪| www.日韩国产| 亚洲天堂无码| 精品九九网| 996黄色片| 操逼视频网址| 91制片厂久久久国产电影| www婷婷色| 任我干视频在线观看| 俺来也狠狠| 伊人99久久|