欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

猴痘病識(shí)別實(shí)戰(zhàn):小樣本醫(yī)學(xué)圖像分類(lèi)的遷移學(xué)習(xí)與兩階段微調(diào)策略

猴痘病識(shí)別實(shí)戰(zhàn):小樣本醫(yī)學(xué)圖像分類(lèi)的遷移學(xué)習(xí)與兩階段微調(diào)策略 最近在跑一個(gè)皮膚影像分類(lèi)的實(shí)戰(zhàn)項(xiàng)目主題是猴痘病識(shí)別。任務(wù)本身聽(tīng)起來(lái)挺簡(jiǎn)單——給模型一張皮膚病灶圖讓它輸出是猴痘還是其他皮膚病屬于典型的細(xì)粒度醫(yī)學(xué)圖像分類(lèi)問(wèn)題??烧姘蚜鞒掏暾咭槐閺臄?shù)據(jù)清洗、增強(qiáng)策略、遷移學(xué)習(xí)再到指標(biāo)評(píng)估每一步都有值得琢磨的細(xì)節(jié)甚至有幾個(gè)環(huán)節(jié)讓我返工了不止一次。這個(gè)項(xiàng)目是系列實(shí)戰(zhàn)練習(xí)里的P4周前面幾周做過(guò)自然圖像分類(lèi)、垃圾圖片識(shí)別、遙感影像標(biāo)注之類(lèi)的入門(mén)任務(wù)到這一周難度明顯上了一個(gè)臺(tái)階。為什么因?yàn)獒t(yī)學(xué)圖像分類(lèi)和普通分類(lèi)完全是兩個(gè)世界數(shù)據(jù)量小、類(lèi)別相似度高、圖像噪聲大、還牽扯到隱私問(wèn)題。你拿ImageNet上訓(xùn)練好的模型直接過(guò)來(lái)推理效果往往很差但真要你從零訓(xùn)練一個(gè)網(wǎng)絡(luò)數(shù)據(jù)集又遠(yuǎn)遠(yuǎn)不夠。這里面怎么平衡、怎么設(shè)計(jì)訓(xùn)練策略就是這篇文章想聊清楚的東西。文章適合誰(shuí)看如果你正在做圖像分類(lèi)相關(guān)的項(xiàng)目尤其是醫(yī)學(xué)影像、皮膚病理、農(nóng)業(yè)病害這類(lèi)小樣本細(xì)粒度識(shí)別場(chǎng)景這篇內(nèi)容可以直接復(fù)用。里面涉及的數(shù)據(jù)增強(qiáng)策略、兩階段微調(diào)方案、混淆矩陣分析思路都是經(jīng)過(guò)真實(shí)項(xiàng)目驗(yàn)證過(guò)的做法。我會(huì)把代碼、參數(shù)、踩坑過(guò)程都放出來(lái)你照著改改就能用到自己的數(shù)據(jù)上。1. 從任務(wù)目標(biāo)到數(shù)據(jù)認(rèn)知猴痘病識(shí)別到底難在哪1.1 業(yè)務(wù)場(chǎng)景給模型一張皮膚照片它要給出什么結(jié)論先把這個(gè)任務(wù)放在真實(shí)場(chǎng)景里看。傳統(tǒng)診斷流程里醫(yī)生需要靠肉眼觀察皮損形態(tài)、分布位置結(jié)合接觸史和實(shí)驗(yàn)室檢測(cè)才能確診。但在疫情篩查階段大量初診病例積壓醫(yī)生不可能把所有時(shí)間都花在重復(fù)閱片上。這時(shí)候一個(gè)能自動(dòng)對(duì)皮膚照片做初步分類(lèi)的模型就能幫上忙它把疑似猴痘的樣本優(yōu)先挑出來(lái)讓醫(yī)生把精力集中在高風(fēng)險(xiǎn)人群上。所以這個(gè)項(xiàng)目的實(shí)際價(jià)值不在于替代醫(yī)生而在于做預(yù)篩和分流。模型面對(duì)一張皮膚照片輸出三類(lèi)結(jié)論之一猴痘病變、其他皮膚病變、正常皮膚??辞宄侨诸?lèi)不是二分類(lèi)。很多人第一反應(yīng)是就判斷是不是猴痘唄分兩類(lèi)不就行了但真落到臨床場(chǎng)景只做二分類(lèi)意義不大。因?yàn)閷?shí)際門(mén)診來(lái)的病人大部分不是正常皮膚而是帶著各種皮疹、水皰、過(guò)敏反應(yīng)來(lái)的。如果只訓(xùn)練猴痘 vs 正常模型見(jiàn)到一個(gè)水痘患者大概率會(huì)把它判成猴痘——因?yàn)樗缓秃锒坏囊曈X(jué)特征太接近了而模型從來(lái)沒(méi)學(xué)過(guò)其他皮膚病長(zhǎng)什么樣。這就逼著我們必須引入第三類(lèi)讓模型學(xué)會(huì)區(qū)分猴痘和它最相似的混淆類(lèi)別。1.2 數(shù)據(jù)集特征小樣本、高相似、強(qiáng)噪聲看數(shù)據(jù)之前先潑盆冷水公開(kāi)的猴痘皮膚圖像數(shù)據(jù)集數(shù)量通常只有幾千張很多是網(wǎng)絡(luò)爬蟲(chóng)抓來(lái)的來(lái)源五花八門(mén)。這意味著三個(gè)現(xiàn)實(shí)問(wèn)題。第一數(shù)據(jù)量不夠從零訓(xùn)練一個(gè)深度網(wǎng)絡(luò)。ResNet50這種模型光參數(shù)就有2550萬(wàn)你給它喂幾千張圖訓(xùn)練集準(zhǔn)確率能輕松到99%驗(yàn)證集卻可能一直卡在80%上下這就是典型的過(guò)擬合。第二圖像質(zhì)量參差不齊。手機(jī)拍攝的照片有的人離得遠(yuǎn)有的人離得近有室內(nèi)光有室外光有的還帶毛發(fā)遮擋模型很容易抓住這些和疾病無(wú)關(guān)的噪聲特征。第三最要命的是類(lèi)別間相似度極高猴痘早期的紅色斑疹和麻疹、水痘幾乎一模一樣連醫(yī)生都要結(jié)合病程和接觸史判斷單靠靜態(tài)圖像讓模型硬分上限就擺在那里。正因?yàn)檫@些特點(diǎn)P4周這個(gè)項(xiàng)目真正訓(xùn)練的其實(shí)不是怎么搭一個(gè)分類(lèi)網(wǎng)絡(luò)而是怎么在小樣本高混淆的醫(yī)學(xué)圖像上把遷移學(xué)習(xí)的優(yōu)勢(shì)全部榨出來(lái)。1.3 數(shù)據(jù)劃分的一個(gè)隱藏陷阱公開(kāi)數(shù)據(jù)集內(nèi)部往往隱藏著數(shù)據(jù)泄漏風(fēng)險(xiǎn)。我當(dāng)時(shí)拿到數(shù)據(jù)后第一版劃分方式很粗暴——直接把所有圖片隨機(jī)打散按8:1:1切分成訓(xùn)練、驗(yàn)證、測(cè)試集。結(jié)果測(cè)試集準(zhǔn)確率漂亮得嚇人96%??晌易屑?xì)一看數(shù)據(jù)來(lái)源文件發(fā)現(xiàn)很多圖片其實(shí)來(lái)自同一組病例同一個(gè)人的不同角度皮損照片被隨機(jī)分到了訓(xùn)練集和測(cè)試集里。這就意味著模型可能記住了這個(gè)人皮膚的背景色、紋理特征而不是真正學(xué)會(huì)了識(shí)別猴痘的病理特征。測(cè)試時(shí)遇見(jiàn)同一個(gè)人的不同照片相當(dāng)于直接開(kāi)卷考試。后來(lái)我把數(shù)據(jù)按病例來(lái)源分組保證同一個(gè)人的所有照片只出現(xiàn)在一個(gè)集合里測(cè)試集準(zhǔn)確率立刻掉到90%左右。這才是真實(shí)水平。這個(gè)教訓(xùn)很重要醫(yī)學(xué)圖像分類(lèi)里如果你的數(shù)據(jù)集中同一患者的多張圖像混在訓(xùn)練集和測(cè)試集兩邊評(píng)估結(jié)果會(huì)虛高落地時(shí)模型表現(xiàn)斷崖式下跌。按來(lái)源分組劃分應(yīng)該作為醫(yī)學(xué)影像項(xiàng)目的默認(rèn)操作。2. 模型選型與訓(xùn)練設(shè)計(jì)遷移學(xué)習(xí)為什么是首選2.1 為什么不從零訓(xùn)練也不直接拿預(yù)訓(xùn)練模型硬推理圖像分類(lèi)項(xiàng)目的第一個(gè)選擇題往往就是模型怎么來(lái)從零訓(xùn)練、微調(diào)預(yù)訓(xùn)練模型、還是完全凍結(jié)主干只換分類(lèi)頭先說(shuō)從零訓(xùn)練。ImageNet有128萬(wàn)張圖、1000個(gè)類(lèi)別ResNet50還花了120個(gè)epoch才收斂到75%左右的Top-1準(zhǔn)確率。而我的手頭猴痘數(shù)據(jù)集滿(mǎn)打滿(mǎn)算幾千張從零開(kāi)始訓(xùn)練一個(gè)深度CNN唯一的結(jié)局就是嚴(yán)重過(guò)擬合。你要么把網(wǎng)絡(luò)做得非常淺非常小但淺層網(wǎng)絡(luò)的特征表達(dá)力又不夠做細(xì)粒度分類(lèi)兩頭難。就算加上粗暴的數(shù)據(jù)增強(qiáng)本質(zhì)上也解決不了數(shù)據(jù)分布覆蓋不足的問(wèn)題。再說(shuō)直接拿預(yù)訓(xùn)練模型硬推理。ImageNet的1000個(gè)類(lèi)別里有猴子、有獼猴沒(méi)有猴痘模型對(duì)皮膚病變區(qū)域這個(gè)概念根本沒(méi)有認(rèn)知直接推理的結(jié)果基本等于隨機(jī)猜輸出概率分布毫無(wú)區(qū)分度。那遷移學(xué)習(xí)為什么是正解因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)的特征提取是分層遞進(jìn)的淺層學(xué)到的是邊緣、紋理、顏色塊這類(lèi)通用低級(jí)特征中層學(xué)到的是形狀、局部模式深層才學(xué)到類(lèi)別專(zhuān)屬的語(yǔ)義特征。ImageNet預(yù)訓(xùn)練模型已經(jīng)在百萬(wàn)級(jí)通用圖像上學(xué)好了淺層和中層特征這些特征對(duì)醫(yī)學(xué)圖像同樣適用——皮膚病灶的邊緣、水皰的紋理、紅斑的色澤本質(zhì)上都是邊緣和紋理的組合。我們要做的只是把深層特征適配到猴痘這個(gè)新任務(wù)上。2.2 骨干網(wǎng)絡(luò)對(duì)比與選型邏輯既然確定用遷移學(xué)習(xí)下一個(gè)問(wèn)題就是選哪個(gè)預(yù)訓(xùn)練骨干網(wǎng)絡(luò)作為特征提取器。我把當(dāng)時(shí)對(duì)比的幾個(gè)模型列了個(gè)表參數(shù)都不是我瞎寫(xiě)的是實(shí)際實(shí)驗(yàn)跑出來(lái)的感受骨干網(wǎng)絡(luò)參數(shù)量推理速度在小樣本醫(yī)學(xué)數(shù)據(jù)上的表現(xiàn)適合場(chǎng)景ResNet5025.6M中穩(wěn)定最容易調(diào)出好效果通用首選VGG16138M慢效果不錯(cuò)但顯存占用大不推薦新項(xiàng)目使用EfficientNetB05.3M快精度不低但訓(xùn)練對(duì)超參敏感需要極致效率時(shí)考慮MobileNetV34.2M最快精度略低端側(cè)部署場(chǎng)景為什么最終選了ResNet50三個(gè)原因。第一是它的殘差連接結(jié)構(gòu)在微調(diào)時(shí)特別友好。深層的梯度能通過(guò)捷徑連接直接傳回淺層不容易出現(xiàn)梯度消失。第二是它中間層輸出的特征圖分辨率適中既能保留病灶的局部細(xì)節(jié)又不會(huì)像EfficientNet那樣在訓(xùn)練初期對(duì)學(xué)習(xí)率極其敏感。第三是我對(duì)ResNet系列的調(diào)參經(jīng)驗(yàn)最豐富P4周這個(gè)時(shí)間節(jié)點(diǎn)上穩(wěn)定可控比極限性能更重要。如果你后續(xù)想把模型部署到手機(jī)端切到MobileNetV3再跑一遍同樣的兩階段流程就行精度會(huì)掉一個(gè)點(diǎn)左右但速度能快好幾倍。2.3 類(lèi)別設(shè)計(jì)的取舍差一個(gè)類(lèi)別訓(xùn)練難度完全不同上文說(shuō)過(guò)這個(gè)項(xiàng)目選的是三分類(lèi)猴痘、其他皮膚病變、正常皮膚。這個(gè)選擇不是隨意決定的它對(duì)整個(gè)訓(xùn)練難度有決定性影響。如果只做二分類(lèi)猴痘 vs 正常皮膚數(shù)據(jù)里每一種非猴痘的圖片都是負(fù)樣本模型很容易學(xué)會(huì)有異常就是猴痘這種粗糙的決策邊界。一旦真到了臨床場(chǎng)景遇到水痘、帶狀皰疹、過(guò)敏性皮炎模型全都會(huì)往猴痘那邊偏誤報(bào)率會(huì)高到讓人無(wú)法接受。加上其他皮膚病變這個(gè)類(lèi)別之后模型被迫去學(xué)習(xí)猴痘區(qū)別于水痘、區(qū)別于皰疹、區(qū)別于普通皮疹的判別性特征。這是細(xì)粒度分類(lèi)的核心思想——難點(diǎn)不在有沒(méi)有病而在是什么病。訓(xùn)練難度確實(shí)變大了驗(yàn)證準(zhǔn)確率會(huì)比二分類(lèi)低三到五個(gè)百分點(diǎn)但這是用精度換實(shí)用性值得。3. 兩階段微調(diào)凍結(jié)骨干網(wǎng)絡(luò)與解凍精修的完整流程3.1 數(shù)據(jù)增強(qiáng)策略有限數(shù)據(jù)下的第一道防線小樣本項(xiàng)目的第一道防線永遠(yuǎn)是數(shù)據(jù)增強(qiáng)。我當(dāng)時(shí)的數(shù)據(jù)增強(qiáng)管線分兩條路走離線清洗時(shí)統(tǒng)一做尺寸歸一化在線訓(xùn)練時(shí)做隨機(jī)擾動(dòng)。在線增強(qiáng)我用了這樣一組參數(shù)from torchvision import transforms train_transform transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomResizedCrop(224, scale(0.8, 1.0)), transforms.RandomHorizontalFlip(p0.5), transforms.RandomRotation(15), transforms.ColorJitter( brightness0.2, contrast0.2, saturation0.1, hue0.05 ), transforms.ToTensor(), transforms.Normalize( mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225] ) ]) val_transform transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize( mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225] ) ])這里幾個(gè)我自己踩過(guò)坑的經(jīng)驗(yàn)。RandomResizedCrop的scale參數(shù)我建議控制在0.8到1.0之間不要用ImageNet分類(lèi)常用的0.08到1.0。因?yàn)獒t(yī)學(xué)病灶是有實(shí)際尺寸意義的縮放太狠會(huì)讓模型學(xué)到錯(cuò)誤的尺度信息比如把一顆小痣放大成一個(gè)巨大的潰爛面這種增強(qiáng)對(duì)模型訓(xùn)練不但沒(méi)幫助還會(huì)干擾它學(xué)習(xí)真實(shí)的病灶形態(tài)。RandomRotation我限制在15度以?xún)?nèi)。皮膚照片雖然有旋轉(zhuǎn)角度差異但旋轉(zhuǎn)過(guò)大生成的訓(xùn)練樣本在真實(shí)世界里根本不存在反而增加了模型的不確定性。ColorJitter我特意把hue調(diào)得很小只動(dòng)了0.05。原因很簡(jiǎn)單皮膚病變的顏色是重要診斷線索色相偏移太大會(huì)讓紅疹變成藍(lán)疹等于給模型喂錯(cuò)誤標(biāo)簽。驗(yàn)證集的transform只做resize和歸一化不做任何隨機(jī)增強(qiáng)。這一點(diǎn)我見(jiàn)過(guò)不少新手搞混在驗(yàn)證集上加了隨機(jī)翻轉(zhuǎn)結(jié)果指標(biāo)忽高忽低永遠(yuǎn)看不到真實(shí)水平。3.2 模型構(gòu)建替換分類(lèi)頭并凍結(jié)參數(shù)模型構(gòu)建這一步核心工作是用預(yù)訓(xùn)練權(quán)重初始化骨干網(wǎng)絡(luò)把最后的全連接層換成適配三分類(lèi)任務(wù)的新分類(lèi)頭。import torch import torch.nn as nn from torchvision import models model models.resnet50(weightsmodels.ResNet50_Weights.IMAGENET1K_V1) # 替換最后一層全連接層適配3分類(lèi)任務(wù) num_features model.fc.in_features model.fc nn.Sequential( nn.Dropout(0.3), nn.Linear(num_features, 256), nn.ReLU(inplaceTrue), nn.Dropout(0.3), nn.Linear(256, 3) ) # 第一階段凍結(jié)所有骨干網(wǎng)絡(luò)參數(shù) for param in model.parameters(): param.requires_grad False # 只允許分類(lèi)頭參數(shù)更新 for param in model.fc.parameters(): param.requires_grad True這里分類(lèi)頭我用了兩層全連接結(jié)構(gòu)而不是簡(jiǎn)單的單層替換原因是單層全連接在特征維度為2048時(shí)容量有限不足以擬合三分類(lèi)的決策邊界。加了兩個(gè)Dropout層0.3的丟棄率在小樣本場(chǎng)景下能明顯抑制分類(lèi)頭的過(guò)擬合。關(guān)于凍結(jié)策略可以把骨干網(wǎng)絡(luò)想象成一個(gè)已經(jīng)熟練掌握通用視覺(jué)特征的學(xué)生分類(lèi)頭是一個(gè)剛?cè)腴T(mén)的新生。第一階段讓新生先聽(tīng)課做題老生別插手等新生水平上來(lái)了再讓老生也參與討論一起適應(yīng)新題型。3.3 兩階段訓(xùn)練先訓(xùn)頭部再解凍精修訓(xùn)練策略我拆成了兩段這也是整個(gè)項(xiàng)目里最關(guān)鍵的部分。第一階段凍結(jié)骨干網(wǎng)絡(luò)全部參數(shù)只訓(xùn)練新加的分類(lèi)頭優(yōu)化器用AdamW學(xué)習(xí)率定在1e-3跑10個(gè)epoch。這個(gè)階段的目標(biāo)不是追求高準(zhǔn)確率而是讓隨機(jī)初始化的分類(lèi)頭先在固定特征上收斂把骨干網(wǎng)絡(luò)ReLU之前輸出的特征分布摸個(gè)底。第二階段解凍骨干網(wǎng)絡(luò)最后一部分參數(shù)。我當(dāng)時(shí)解凍了第三個(gè)殘差塊之后的全部層包括stage4和stage3的后半段把學(xué)習(xí)率降到1e-5再跑15個(gè)epoch。為什么學(xué)習(xí)率要從1e-3直接降到1e-5這個(gè)數(shù)值選擇背后的邏輯值得說(shuō)清楚。ImageNet上預(yù)訓(xùn)練的特征是通用特征微調(diào)的本質(zhì)是在通用特征基礎(chǔ)上做局部調(diào)整。如果學(xué)習(xí)率設(shè)得太高比如沿用1e-3梯度更新過(guò)大會(huì)把預(yù)訓(xùn)練學(xué)到的通用特征徹底沖掉。在小樣本數(shù)據(jù)集上這種破壞是不可逆的模型會(huì)快速過(guò)擬合到訓(xùn)練集的幾百?gòu)垐D上驗(yàn)證準(zhǔn)確率不升反降。而1e-5這個(gè)量級(jí)相當(dāng)于用極小的步長(zhǎng)在預(yù)訓(xùn)練權(quán)重附近做精細(xì)搜索既保留了通用特征又讓深層特征逐漸適應(yīng)皮膚病灶的分布。整個(gè)訓(xùn)練過(guò)程我用了一個(gè)很簡(jiǎn)單的早停機(jī)制連續(xù)5個(gè)epoch驗(yàn)證集F1沒(méi)有提升就停止訓(xùn)練同時(shí)保存驗(yàn)證集F1最高的那輪權(quán)重作為最終模型。訓(xùn)練過(guò)程代碼大致這樣from torch.optim import AdamW # 第一階段只訓(xùn)練分類(lèi)頭 optimizer AdamW( filter(lambda p: p.requires_grad, model.parameters()), lr1e-3, weight_decay1e-4 ) for epoch in range(10): train_one_epoch(model, train_loader, optimizer, criterion) # 第二階段解凍部分骨干網(wǎng)絡(luò)降低學(xué)習(xí)率 for name, param in model.named_parameters(): if layer4 in name or layer3.3 in name or layer3.4 in name or layer3.5 in name: param.requires_grad True else: param.requires_grad False optimizer AdamW( filter(lambda p: p.requires_grad, model.parameters()), lr1e-5, weight_decay1e-4 ) for epoch in range(15): train_one_epoch(model, train_loader, optimizer, criterion) val_f1 evaluate(model, val_loader) if val_f1 best_f1: best_f1 val_f1 torch.save(model.state_dict(), best_model.pth)實(shí)測(cè)下來(lái)第一階段結(jié)束時(shí)驗(yàn)證集準(zhǔn)確率大概在86%左右第二階段跑到第6個(gè)epoch時(shí)驗(yàn)證集F1開(kāi)始明顯上升最終穩(wěn)定在93%上下。這個(gè)曲線非常有代表性——先快速起步然后平臺(tái)期最后小幅躍升。4. 訓(xùn)練結(jié)果復(fù)盤(pán)評(píng)估指標(biāo)、混淆矩陣與可視化4.1 評(píng)估指標(biāo)選擇準(zhǔn)確率之外還必須看召回率和F1分類(lèi)項(xiàng)目最忌諱只看準(zhǔn)確率。在醫(yī)學(xué)輔助篩查場(chǎng)景里漏診一個(gè)猴痘患者的代價(jià)遠(yuǎn)遠(yuǎn)高于誤報(bào)一次所以召回率Recall比精確率Precision更值得關(guān)注。如果模型在100個(gè)真實(shí)猴痘樣本里只識(shí)別出80個(gè)那20個(gè)漏掉的患者就是潛在傳染源。最終我在測(cè)試集上得到的結(jié)果是這樣的類(lèi)別精確率召回率F1-score樣本數(shù)猴痘病變0.940.890.92120其他皮膚病變0.910.960.93150正常皮膚0.980.940.96100整體準(zhǔn)確率94%加權(quán)F1 0.94Macro F1 0.93??催@個(gè)表里的信息量不能只盯著94%這個(gè)數(shù)字。猴痘類(lèi)的召回率是0.89意味著仍有11%的真猴痘樣本被漏掉了。再看混淆矩陣漏掉的大多是被分到了其他皮膚病變這一類(lèi)只有極少數(shù)被分到了正常皮膚。這個(gè)錯(cuò)誤方向其實(shí)是符合預(yù)期的——猴痘早期病變和某些水皰性疾病視覺(jué)相似度太高模型判斷不了太正常了。但反過(guò)來(lái)看被漏掉的那些樣本是什么情況我把圖片一張張翻出來(lái)發(fā)現(xiàn)一個(gè)共同特點(diǎn)病變區(qū)域占比非常小在整張224x224的圖片里只占不到十分之一。這說(shuō)明模型不是學(xué)不會(huì)猴痘特征而是注意力沒(méi)有被引導(dǎo)到病灶區(qū)域上。4.2 Grad-CAM可視化看模型到底在看哪里為了驗(yàn)證這個(gè)猜想我用Grad-CAM把模型最后一層卷積的注意力熱力圖疊加到原始圖像上。結(jié)果很清楚對(duì)于判斷正確的猴痘樣本熱力圖集中在病灶中央?yún)^(qū)域圍繞水皰邊緣有一圈高亮的響應(yīng)區(qū)域。這說(shuō)明模型學(xué)到的確實(shí)是病灶本身的形態(tài)特征。對(duì)于判斷錯(cuò)誤的猴痘樣本熱力圖分布非常散亂有的集中在皮膚紋理上有的甚至跑到圖片角落的背景區(qū)域。有一個(gè)典型的誤判樣本病灶在皮膚褶皺處陰影特別重?zé)崃D直接失效模型把大片陰影區(qū)域當(dāng)成了關(guān)鍵特征。這就是小樣本醫(yī)學(xué)圖像分類(lèi)的經(jīng)典痛點(diǎn)模型不是不想學(xué)病灶而是數(shù)據(jù)里病灶清晰、光照正常的干凈樣本太少學(xué)了半天還是被背景干擾帶偏了。這個(gè)問(wèn)題光靠調(diào)參解決不了最有效的辦法是訓(xùn)練前做一次目標(biāo)檢測(cè)定位病灶將病灶區(qū)域裁剪放大后再送入分類(lèi)模型。這一步能顯著提升小病灶樣本的識(shí)別率我后續(xù)測(cè)試也驗(yàn)證了這個(gè)判斷。4.3 訓(xùn)練曲線解讀兩階段特征變化帶來(lái)的啟發(fā)我記錄了每個(gè)epoch的loss和F1曲線兩階段的差異非常有意思。第一階段loss下降速度極快第一個(gè)epoch結(jié)束loss就從一個(gè)較高的初始值直接掉了下來(lái)但驗(yàn)證F1一直卡在85%到87%之間不漲。原因在于分類(lèi)頭在快速擬合特征分布的同時(shí)骨干網(wǎng)絡(luò)是凍結(jié)的它輸出的特征本身并沒(méi)有適配猴痘任務(wù)所以性能上限被鎖死了。第二階段一解凍前兩個(gè)epoch驗(yàn)證F1反而小幅下降。這個(gè)現(xiàn)象其實(shí)正常解凍后骨干網(wǎng)絡(luò)的權(quán)重開(kāi)始被梯度修改特征分布發(fā)生偏移之前訓(xùn)練好的分類(lèi)頭對(duì)新特征分布一時(shí)不適應(yīng)。到第3個(gè)epoch開(kāi)始F1重新回升并迅速突破90%。如果你在微調(diào)時(shí)也看到這種V型曲線不要慌繼續(xù)跑就對(duì)了。這種凍結(jié)到解凍過(guò)程中的特征偏移可以類(lèi)比成一個(gè)裝修師傅先按舊戶(hù)型圖紙配好了家具尺寸突然改動(dòng)墻體后家具需要重新調(diào)整位置一開(kāi)始擺放自然會(huì)有短暫的混亂。5. 踩坑實(shí)錄類(lèi)別不平衡、過(guò)擬合與部署細(xì)節(jié)5.1 類(lèi)別不平衡加權(quán)采樣解決正常皮膚壓制問(wèn)題原始數(shù)據(jù)的類(lèi)別分布并不均勻正常皮膚圖片接近800張猴痘病變只有400張出頭其他皮膚病變500張左右。如果不做任何處理模型會(huì)傾向于把一切不確定樣本都判成樣本量最多的類(lèi)別表現(xiàn)在混淆矩陣?yán)锞褪呛锒活?lèi)召回率被拉低。解決辦法我試了兩種。第一種是給損失函數(shù)加類(lèi)別權(quán)重讓少數(shù)類(lèi)的梯度貢獻(xiàn)更大。交叉熵?fù)p失的weight參數(shù)按類(lèi)別樣本數(shù)的反比設(shè)置就好這個(gè)方案實(shí)現(xiàn)簡(jiǎn)單但訓(xùn)練時(shí)可能出現(xiàn)少數(shù)類(lèi)f1虛高而多數(shù)類(lèi)f1下降的副作用。第二種是采用WeightedRandomSampler在采樣階段讓每個(gè)batch里不同類(lèi)別的樣本數(shù)量相對(duì)均衡。我最終用的是第二種原因是我可以在保持損失函數(shù)干凈的前提下直接控制每個(gè)batch的類(lèi)別構(gòu)成。采樣器實(shí)現(xiàn)代碼如下from torch.utils.data import WeightedRandomSampler labels [int(sample[1]) for sample in dataset] class_counts torch.bincount(torch.tensor(labels)) class_weights 1.0 / class_counts.float() sample_weights class_weights[labels] sampler WeightedRandomSampler( sample_weights, num_sampleslen(sample_weights), replacementTrue )用上采樣器之后猴痘類(lèi)的召回率從0.83提升到0.89同時(shí)其他兩個(gè)類(lèi)的指標(biāo)沒(méi)有明顯回退。值得提醒的是replacementTrue意味著同一個(gè)樣本可能在同一個(gè)epoch里被反復(fù)抽到這時(shí)候隨機(jī)數(shù)據(jù)增強(qiáng)就特別重要——它能讓同一個(gè)樣本每次以不同的形態(tài)出現(xiàn)降低反復(fù)采樣帶來(lái)的過(guò)擬合風(fēng)險(xiǎn)。5.2 過(guò)擬合排查從準(zhǔn)確率虛高到驗(yàn)證集停滯項(xiàng)目過(guò)程中我遇到過(guò)最典型的問(wèn)題訓(xùn)練集準(zhǔn)確率一路飆升到99.5%但驗(yàn)證集準(zhǔn)確率始終徘徊在90%上下怎么都上不去。這就是標(biāo)準(zhǔn)的過(guò)擬合信號(hào)。我的排查順序是這樣的。先查數(shù)據(jù)泄漏。按患者ID分組劃分之后問(wèn)題依然存在。再查增強(qiáng)策略。我當(dāng)時(shí)一度懷疑增強(qiáng)強(qiáng)度不夠試過(guò)把rotation加到45度、scale下限降到0.5結(jié)果驗(yàn)證集F1反而掉了兩個(gè)點(diǎn)。最后在分類(lèi)頭里加Dropout層同時(shí)給全連接層加L2正則驗(yàn)證集F1提升了一個(gè)點(diǎn)左右但不夠解渴。真正讓驗(yàn)證集F1躍升到93%的操作是降低第二階段學(xué)習(xí)率。我從1e-4降到1e-5后驗(yàn)證曲線開(kāi)始緊貼訓(xùn)練曲線差距從9個(gè)百分點(diǎn)縮小到4個(gè)百分點(diǎn)。解決辦法比我預(yù)想的要樸素得多——微調(diào)階段學(xué)習(xí)率太高模型已經(jīng)鉆進(jìn)了訓(xùn)練集的牛角尖里出不來(lái)。5.3 推理階段細(xì)節(jié)ONNX導(dǎo)出與多次推理平均訓(xùn)練完成后還要考慮實(shí)際使用。PyTorch模型直接部署會(huì)遇到環(huán)境依賴(lài)問(wèn)題目標(biāo)機(jī)器得裝同樣版本的PyTorch和CUDA這在生產(chǎn)環(huán)境是件痛苦的事。我當(dāng)時(shí)把模型導(dǎo)出成了ONNX格式推理時(shí)用ONNX Runtime加載部署環(huán)境瞬間清爽了許多。import torch model.load_state_dict(torch.load(best_model.pth, map_locationcpu)) model.eval() dummy_input torch.randn(1, 3, 224, 224) torch.onnx.export( model, dummy_input, monkeypox_model.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch}, output: {0: batch}} )推理階段還有個(gè)細(xì)節(jié)單張圖片的預(yù)測(cè)結(jié)果受增強(qiáng)隨機(jī)性影響很小因?yàn)橥评頃r(shí)已經(jīng)關(guān)了隨機(jī)增強(qiáng)但模型本身的Dropout層在eval模式下也會(huì)關(guān)閉所以輸出應(yīng)該是穩(wěn)定的。如果擔(dān)心極端情況下的抖動(dòng)可以連續(xù)推理三次取softmax概率的平均值再取argmax實(shí)測(cè)可以把極少數(shù)置信度在0.5邊緣的樣本穩(wěn)定下來(lái)。5.4 如果擴(kuò)展成多類(lèi)別皮膚病變識(shí)別猴痘病識(shí)別做順了之后很自然能想到擴(kuò)展成更通用的皮膚病分類(lèi)系統(tǒng)。思路和數(shù)據(jù)準(zhǔn)備邏輯是完全一致的收集更多類(lèi)別的皮膚圖像按病變類(lèi)型建目錄做來(lái)源分組劃分沿用兩階段微調(diào)管線。唯一的差異在于類(lèi)別增加到十幾種之后類(lèi)別間的混淆會(huì)變得更加復(fù)雜混淆矩陣?yán)飼?huì)出現(xiàn)更多的非相鄰錯(cuò)誤。這時(shí)候可以考慮用層次分類(lèi)——先粗分成水皰性斑疹性鱗屑性幾個(gè)大類(lèi)再在每個(gè)大類(lèi)下細(xì)分具體疾病。層次分類(lèi)的好處是讓模型在每一層只需做少量類(lèi)別的區(qū)分錯(cuò)誤率天然比一個(gè)十幾分類(lèi)的扁平模型低。這個(gè)方向我準(zhǔn)備在P5周試試到時(shí)候有了新結(jié)果再回來(lái)更新。寫(xiě)在最后的小心得這個(gè)項(xiàng)目做下來(lái)最深的體會(huì)是圖像分類(lèi)項(xiàng)目的天花板大部分時(shí)候不是模型結(jié)構(gòu)決定的而是對(duì)數(shù)據(jù)的理解深度決定的。一開(kāi)始我也想著換更花哨的模型試過(guò)EfficientNet試過(guò)加SE模塊效果都不如老老實(shí)實(shí)解決數(shù)據(jù)泄漏和類(lèi)別不平衡問(wèn)題來(lái)得實(shí)在。后來(lái)把按患者分組劃分、兩階段微調(diào)、保守?cái)?shù)據(jù)增強(qiáng)這幾件事全部做對(duì)之后不用換模型測(cè)試集F1照樣從90%升到了94%。另外一個(gè)小建議所有涉及醫(yī)學(xué)圖像的項(xiàng)目在公布評(píng)估指標(biāo)時(shí)一定要附上混淆矩陣和數(shù)據(jù)劃分方式。準(zhǔn)確率這個(gè)數(shù)字太容易被玩壞了只有看到混淆矩陣和劃分邏輯別人才能真正判斷你的模型水平是真實(shí)能力還是泄漏出來(lái)的幻覺(jué)。如果你也在做類(lèi)似的細(xì)粒度圖像分類(lèi)項(xiàng)目希望這篇經(jīng)驗(yàn)帖能幫你少走那些我走過(guò)的彎路。特別是數(shù)據(jù)分組劃分這一步務(wù)必放在所有實(shí)驗(yàn)的最前面否則后面所有調(diào)參和優(yōu)化都是在沙地上建高樓。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
综合久久影院| 天天色综合色| 涩综合网| 日韩视频女神99| 日本乱子人伦在线视频| 日日噜噜夜夜狠狠久久丁香六月| 色婷婷免费观看| 九九久热| 五月之婷婷| 日本激情ⅩXX免费视频| www99热| 男人的天堂av俄罗斯热| 99国产精品白浆在线观看免费| 久热综合| 丁香五月婷在线| 九色综合五月天婷五月| 中国丰满熟女A片免费观| caop在线视频| 99狠狠色| 色噜噜狠噜噜视频| 五月天另类视频| 天天操夜夜玩!| 六月丁香婷婷拍拍| 免费九九热| 色停停影院五月天| 99草在线免费观看视频| 人人人操 超碰| 欧美日韩99| 中文无码婷婷| www.久久久.com| 九九热最新| 99热99re6国产在线播放| 婷婷丁香六月影视| 青青.com| 碰碰女| 激情性爱网站| 激情碰碰碰| 五月天丁香啪啪网| 天堂在线观看视频| 亚洲AV成人一区二区在线观看| 五月天伊人| 丁香五月综合亚洲| 激情五月婷婷色综合| 五月丁香免费视频| 人妻中文在线| 亚洲操操| 婷婷丁香五月天婷婷| 亚洲综合视频在线| 久热九九| 夜夜夜天天操| 国产亚洲99| 97影院一级片| 色播婷婷五月天| 激情五月色综合网| www.久久99热地址发布| 91丨九色丨丰满人妖| 99热销国产这里有精品| 91好好热日本在线| 婷婷五月丁香欧洲| 色99日韩| 亚洲综合草草| 色婷婷在线播放| 美女黄频aⅴ视频| 五月天婷婷社区久久综合| 五月天婷婷激情网| 98永久精品| 色婷婷色和| 久热视频97AV在线观看| 久久伊人婷| 爆乳熟女-区二区三区| 午夜]香婷婷深深爱| 色婷婷导航| 182TV大香蕉| 色中色综合| 91色情播放| 五月婷六月天| 欧美VA在线| 五月天综合激情网| 免费看成人747474九号视频在线观看| 一区视频网站| 99re热视频这里只精品| 北京熟妇搡BBBB搡BBBB| 最新高清无码专区| 夜色五月天| 精品日本视频444| 五月天福利影院导航| 久久五月天激情| 久777| 色色色五月天婷婷| 热久91| 日韩操啪| 婷婷色五月激情强奸四射| 加勒比日本一区二区三区| 丁香五月激情综合婷综| 成人在线精品| 成人深爱丁香五月| 色婷婷九月综合| 久狠日av| 人人草人人舔| 五月天婷婷色综合| 农村熟妇高潮精品A片| 五月天婷婷伊人| 伊人五月天| 色综合天堂| 婷婷色中文字幕| 日本天天色| 看片视频在线免费日产在线看| 婷婷丁香六月| 婷婷激情久久| 99re热在线视频观看| 91黄址| 久久激情视频99| 亚洲五月丁香综合网| 婷婷大美在线| WWW,婷婷,COM| 日本色99| 成功精品影院| 久月久在线视频| AV在线二十六页| 丁香五月天激情四射网| 区区久久妻| 激情婷婷五月天网址| 婷婷五月天亚洲综合网| 99热一区| 狠狠操狠狠操AV| 狠狠穞A片一區二區三區| 黄网在线免费| 97超级碰碰碰| 这里只有精品偷拍| 激情亚洲五月| www夜夜操com| 91啪啪视频| 中文字幕 中文字幕明步| 综合性爱网| 色色色成人网| 九九成人电影婷婷| 婷婷五月激情的图片| 91丨九色丨东北熟女| 丁香无五月网| 五月婷婷第四色| 最新久久网址| 免费看成人AA片无码视频吃奶| 激情五月成年| 大香蕉九九操| 婷婷五月天av网| 久久AV电影| 99性爱| www激情| 国产精品18久久久| 涩涩婷婷五月| 在线,国产,色,热视频| 婷婷丁香五月天狠狠| 欧美中文五月天| AV九九| 九九热青草| 9视频1在线| 激情综合网丁香| 97干婷婷五月天| 日本色狠狠| 大香蕉五月天| 色五天综合| 91人人爽人人操| 婷婷情色五月天| www.韩日视频| 丁香五月色色| 3p日韩网站视频| 天天天综合网| 91成人性爱视频| 精品香蕉99久久久久网站| 91精品国产色猫| 久久久久久久丁香五月天婷婷| 日韩小视频在线99| 久久99精品九九久久久婷婷| 国产精品久久久久久妇女6080| 色婷婷五月天无码视频| 久热久| 日本激情五月| jizzdr| 色99在线| 日韩无码乱轮| 伊人婷婷激情| 激情五月天婷婷在线网址发给我| 天天综合色| 激情五月婷婷色色| 婷婷五月天色丁香| 久久久27操| 欧美成人精品三区综合A片| 超碰99热在线观看| 综合五月丁香久久| 五月天天天天天天天天天天天天天天天婷婷婷| 婷婷综合视频| 99精品久久久久久久| 337p午夜影院| 亚洲超碰在线| 狠狠色婷婷色| 婷婷综合五月天激情| 丁香婷婷五月天校园春色| 伊人五月丁香| 色婷婷五月天偷拍| 丁香香蕉婷婷| 五月婷婷五月天天| 大香蕉精品视频| 伊综合蕉| 亚洲久久视频| 亚洲在线操| 一级片操逼视频| 色婷婷av在线| 五月综合在线婷婷图片| 九九久久精品| 东京热人妻一区二区三区在线| 天天操夜夜啊| 丁香五月激情网| 7EzOBIhNq85TO| 色婷婷先锋| 五月丁综合在线观看| 婷婷五月丁香六月| 国成人网| 天天摸天天爽| 中文字幕,综合,91| 天天色中文字幕女优AV| 丁香六月 婷婷六月| 色色99| 婷婷丁香综合网| 狠狠爱综合网| 色欧美影院| 熟女人妻视频| 激情综合自拍五月婷婷色五月| 色五月婷婷小说亚洲中文字幕组| 秋霞少妇AV网站| 丁香五月激情五月| 天堂爱爱| 婷婷九九| 九九人人看| 啪啪激情网站| 五月天综合在线| 午夜福利成人AV91| 日日操日日射| 色情综合网| 久久草中文日韩欧美| 丁香美女主播视频在线观看| 人与禽A片啪啪| AA丁香综合激情| 天天天在线观看| 六月成人网| 超碰国产在线| 人人97碰| 色婷婷情片| 思思99热这里只有精品6| 婷婷六月丁香五月| 久99视频在线观看| 特级西西4444www无码| 久久久一级AAA| 天天五月丁香五月| 久久激情综合| 激情黄色小说色五月| 婷婷六月成人| 97五月天| www.91九色| 五月丁花六月丁香综合| 色色色视频| 天天综合网站| 五月天激情综合在线| 香蕉AV777XXX色综合一区| 五月天播播中文字幕| 99热777| 97碰成超视频免费视频| 激情丁香五月| 亚洲色情久久| 综合性爱网| 色五月色五天色情网| 99国产精品久久久久久久久久久| 五月丁香婷婷福利| 精品久久艹| 非洲一级AV| 婷婷五月天伊人网| 99久热在线精品99re6热| 婷婷丁香五月天小说| 亚洲国产精品VA在线看黑人| 97九色| 一级二级色大片| 色婷婷无吗| 五月丁香黄色| 91九色偷拍| 久热这里精品免费| www.色五月| 色婷婷中文字母五月丁香| 丁香五月综合| 99热99干| 色婷婷综合网| 9l视频自拍9l九色成人| 另类激情五月| 香蕉国产2013| 午夜成人AV在线| 成人色图情色成人网 www.5b5b5bcom 五月天 | 99精品久| 婷婷五月综合激情免费视频| 99九九99九九九视频精品| 精品人妻久久久久久久| 亚洲视频一区| 思思热性操| 五月丁香综合激情| 丁香五月大香蕉AV| 99热精品在线观看| 伊人网碰碰| 亚洲成人超碰| 综合激情肏逼网| 日日爽夜夜爽| 久久九九中文字幕| 特黄三级片| 91打屁股视频网站| 婷婷午夜激情| 亚洲九区| 五月婷婷六月丁香| 这里只有精品99视频| 国产成人综合网| 欧美色婷婷| 99热6精品| 婷婷丁香69精华| 思思热精品在线| 狠狠干婷婷| 婷婷六月久久综合导航| 婷婷亚洲五| 亭亭五月丁香五月天激情| 伊人久久大香蕉网| 九九99在线免费在线观看视频| 天天色天天射天天日| 激情5月天天天| 日韩中文字幕| 可以直接看的AV网站| 丁香五月婷婷免费视频| 亚洲色模骚货| 99精品视频推荐| 婷婷色操| 五月丁香综合啪啪| 日韩啪啪视频| 欧美成人网婷婷综合在线| 亚洲狠狠爱婷婷| 天天操天天日天天操| 丁香五月婷婷综合激情啪啪啪| 欧美国产一区二区三区| www.com亚洲网站在线免费| 97精品自拍视频| 久久九九玖玖| 99精在线| 中文不卡一二三区| 婷婷六月激情综合| 色婷婷丁香五月天在线观看| 国产激情av| 在线播放成人网站| 五月婷婷内射网| 荫道BBWBBB高潮潮喷| 婷婷综合五月色播| 六月丁香婷婷大香蕉| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 《诡秘之主》在线观看| 中文字幕日产A片在线看| 久香草视频在线观看| 色色色丁香| 精品人妻一区二区| 九九久久综合| 人妻丰满精品一区二区A片| 色婷婷在线视频综合| 亚洲啪啪精品| 激情五月综合网最新| 永久天堂日本| 99色在线观看视频| 97色婷| 国产69久久久欧美黑人A片 | 亚城区在线| www,com,五月色色| 五月婷婷啪啪| 综合色综合| 丁香激情五月少妇| 五月亭亭六月天| 婷婷综合五月天激情| 九九久久9 9在线观看| 思思热在线视频精品| 在线视频另类| 国产精品天天狠天天看| 六月婷婷开心| 69精品人人人人| 精品夜夜澡人妻无码AV| 国产精品热搜丁香五月婷婷| www.婷婷亚洲基地| 少妇搡BBBB搡BBB搡毛茸茸| 婷婷五月丁香基地| 色婷婷香蕉| 成人做爰高潮A片免费视频| 79精品视频| 久热黄色| 少妇人妻人伦A片| 五月第四色| 91人人网| 国产露脸150部国语对白| 这里只有久久精99| 九九99在线免费在线观看视频| 国产AV一区二区三区最新精品 | 丁香五月花| 婷婷婷婷婷婷婷五月丁香| 丁香六月啪啪啪| 粉嫩AV久久一区二区三区 | www.99婷婷| 五月色婷婷在线观看| 婷婷中文字幕欧美| 五月天开心色情网| 五月婷婷婷婷婷婷艺术| 九九99在线| 久久综合五月天| 五月天成人在线播放丁香| 五月天婷婷伊人| 婷婷五月天色播| 五月婷婷狠狠干| 人伦30P| 亚洲精品V天堂中文字幕| 91精品久久久久久综合五月天| 99激情在线| 九九九九精品精| 婷婷五月天综合AV| 日在线V视频在线播放| 色五月大| 国产欧美精品AAAAAA片| 婷婷久久精品| 五月激情综合激情五月| 五月天久久网站| 久久婷婷五月天| 五月婷婷,六月丁香| 丁香六月婷婷激情综合| 9久热在线精品| 六月婷婷色综合| 深夜激情网| 99色色爰| 婷婷五月丁香激情图片 | 丁香午夜天| 天天骑日日爽| 人碰91| 天天日日夜夜| 婷婷五月综合啪| 久久五月人人摸| 99人妻碰碰碰久久久久| 欧洲MV日韩MV国产| 综合色五月天| 丁香五月色欲| 99亚洲综合| 九九精品少妇| 色伦专区97中文字幕| 九九re精品视频在线观看 | 色噜噜狠狠色综无码久久合欧美| 色五月天成人在线| 久久六月婷婷| 婷婷九月丁香| 五月丁香六月婷婷免费| 亭亭五月色男人| 俺也去在线视频| 性爱网久久| 99热一本久道| 99免费超碰在线| 九九热中文| 丁香美女主播视频在线观看| 久久香蕉网| 久久一伦| 四川女人毛多水多A片| 操碰99| 婷婷九月丁香久久| 亚洲精品va| 97精品自拍视频| 熟女少妇内射日韩亚洲| AV九九| 激情丁香五月天| 五月香蕉婷婷| 国产67194| 一级黄色操B| 久久99国产综合精品免费| 另类精品视频在线观看| 第四色首页| 99爱免费在线观看| 九九九九国产| 玖玖精品婷婷| 影音先锋 萱萱| 丁香五月天色婷婷| 五月婷婷开心网| 狠狠色丁香婷婷综合久久97AV| 性爱网五月天| 国产在线视频1234| 五月婷婷色欲| 日日夜夜干| 亚洲婷婷五月| 欧美VA在线| 呦呦v线| 丁香五月天AV在线| 国产无人区大片| 五月丁香六月婷婷亚洲视频| 国产九九一区二区三区| 9久久网| 婷婷五月天成人网站| 日本久久9| 久9热视频| 五月婷婷网站| 亚洲成人电影aaaa| 色五月丁香五月五月婷婷| 天天搡日日搡aaaaⅩ| 综合 蜜月 婷婷| 日韩成人精品中文字幕电影| 丁香六月啪啪| 色情婷婷| 九九精品综合| 亚洲精品永久久久久久| 色婷婷视频综合| 激情综合激情五月| 婷婷激情五月天激情在线| 色婷丁香| 991国产精选视频在线播放下载| 亚州第一A片| 色色色com| 99热在线观看| 香蕉久久国产AV一区二区| 五月激情综合网| 色色色婷婷| 强伦轩人妻一区二区电影| 天天天摸夜夜夜玩| 欧美另类五月激情| 婷色成人| 高清激情av在线观看| 色婷婷XXXXX| 五月色网| 97干免费视频| 婷婷五月电影| 丁香五月婷婷av| 亚洲无码黄色| 中文字幕天天干| 丁香婷婷婷| 婷婷综合婷婷| 黄色录像网点| 亚洲狠狠终合停停终合| 色哟呦av| 万月丁香狠狠爱| 乱乱av| 欧美性生交A片免费看| 天天日日夜夜| 涩涩五月天| 亚洲精品亚洲人成人网| 久久综合五月天| 九九色逼| 亚洲综合激情五月久久| 色播五月丁香| 能看的av| 五月婷婷六月丁香| 精品一区二区三区四区五区六区| 99热在线观看| 欧美性生交XXXXX无码小说| 国产乱妇无乱码大黄AA片| 色婷婷影院| 99久热| 九九亚洲| 91 欧美| 俺也去五月婷婷丁| av高清无码| 亚洲国产精品二二三三区| 99热这里都是精品| 大伊香蕉精品视频在线| 九九爱激情| 综合久久激情久久| 亚洲9久久精品| 91免费试看| 婷婷丁香五另类网站| 欧洲亚洲免费视频9| 99热这里只有精品1025| 操碰97| 丁香五月人妻| 五月丁香成人网| 婷婷五月花| 精品久久穴| 五月激情丁香啪啪| 97色五月丁香婷婷| 国产a视频| 婷婷久久18| 97电影99热| www.婷婷六月天| 9+1视频网址| 天天插天天玩天天干| 都市激情久久| 色婷婷色久综| 国产色99| 免费亚洲婷婷| 女同激情久久av久久| 日本片日本片祼观看网站在线看中文版网页在线看 | 拍真实国产伦偷精品| 亚洲电影在线观看| 丁香五月伊人| 99精品视频推荐| 激情四射婷婷| 日韩免费乱轮网站| 亭亭色天香| 人人做天天爱| 狠狠干五月天| 久久性爱视频| 五月丁香六月婷| 日木WWW视频| 91九九热| 精品亚洲国产成AV人片传媒| 久99热| 色五月丁香一区在线| 99re热视频| 亚洲成人人人操| 色爱综合网| 九九色婷婷| 丁香五月天堂网| 婷婷丁香色五月天| 熟美女麻豆| 91人人网| 欧美美女国产日韩一区二区久| 九九久久五月天综合伊人| 人。妻久久| 天堂久久精品| 99久久婷婷| 久久五月婷天天干| 婷婷五月影院| 五月婷婷黄色网址| 日韩肏屄网| 伊人99热| 99综合99| 激情深爱五月天| 五月天激情亚洲| 极品人妻VIDEOSSS人妻| 五月丁香婷婷99| 丁香六月婷婷开心| 激情五月丁香色婷婷| 亚洲成人噜噜| 99热99干| 欧美精品在线观看| 激情综合色婷婷啪啪六月天| 26uuu国自产精品| 天天干-天天日| 六月婷婷开心| 这里只有精彩视频| 91碰碰视频在线观看| 亚洲天堂啪啪| 色国产五月| 亚洲天堂aaa| 综合色99| 亚洲狠狠终合停停终合| AV无码免费| 99热这只有| 婷婷婷婷婷开心无码播放| 久久五月视频| 操逼五月婷婷| 激情中文在线| 婷婷五月天激情综合| 亚洲欧美一区二区三区爱爱动图| 婷婷五月激情综合| W色综合| 全高清无码视頻| 久久五月丁香六月婷| 美女天天爽| 99re这里只有| 亚洲无码影片| 色婷五月天| 激情婷婷六月| 在线成人网址| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 丁香五月天成人| 激情 婷婷| 狠狠香婷婷五月| 99热这里只有精品86| 婷婷五月天电影网| 激情性爱婷婷| 性色欲情 网站| 狠狠干综合网| 激情五月天综合网| 97在线/日本| 激情综合网络插| 天天爽,夜夜爽| 99亚洲精品| 激情丁香久久| 色色色视频免费无码| 夜夜骑夜夜操| 成人做爰高潮A片免费视频| 久久久久久久久久久月丁| 欧洲激情五月天婷婷| www.色婷婷| 亚洲无AV在线中文字幕| 97色色婷婷五月天| 色五月婷婷啪啪五月| 九九色人| 久久久久久久久久久jjjj| 这里只有精品免费在线视频| 天天插AV丝袜中| 色噜噜婷婷| 91人碰| 天天模,夜夜模夜夜爽| 色五月天丁香婷婷| 激情操逼婷婷| 99亚色色色| 婷婷六月综合激情| 99ER热精品视频| 在线你懂的亚洲欧| 伊人五月成人| 五月天色色色| 国产成人在线不卡AV| 色了色综合| 天天综合精品| www.99热在线| 激情五月婷婷中文字幕| 亚洲综合激情五月久久| 99色.com| 99热精国产这里只有精品| 九九色综合| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 97视频久久| 丁香六月激情网C0W| 婷婷五月天av| 色婷婷88| 成人超碰Av| 啪啪91| 色噜噜狠狠色综合网| 日本 @ va 免费| 99热只有| 五月婷婷三级| 激情五月小说婷婷| www。久久久久一b。Cc| 99色在线视频观看| 激情图片婷婷| 天堂网操| 丁香五月狠狠综合欧美| 精品久久99码| 99热天堂| 日韩99色99| 男女啪啪做爰高潮无遮挡| 99ri在线观看视频| 亚洲精品99| 97成人丁香| 色五月开心五月激情五月| 香蕉婷婷| 色九月欧美| 噜噜噜久久亚洲精品国产品91| 香蕉AV福利精品导航| 91精品久久久久久| 丁香婷婷社区| 91日婷婷在线| 五月丁香六月婷婷免费视频| 五月色综合| 91男同| 综合性爱网| 五月色婷丁香| 天天干、天天日日| 久久精品99国产精品日本| 99视频精品全部免费看| 综合激情五月婷婷| 五月天丁香欧美激情| 天天舔天天摸天天透| www夜夜| 91丨九色丨高潮丰满日本| 色色色com| 婷婷94s| 91人妻视频| 免费无码毛片一区二区A片| 美女天天久久| 久久综合人妻| 91婷婷在线| 久久色五月天| h在线看免费版在线看| 九九热欧美| 色你久久| 99热加勒比| 99精品热| 91九九精品| 99热在线观看亚洲区| www.色五月| 加勒比色色| 久久婷婷五月综合| 久久婷婷五月国产色综合激情| 人妻人人操| 欧美天堂久久| 丁香婷五月天开心六月| 日本三级网址| 伊人五月天在线| 51精品国内探花| 久热精品视频| 五月丁香久久综合91| 天天日天天操天天干| .精品久久久麻豆国产精品| 激情婷婷内射| 狠狠色综合网| 色噜噜伊人| 久久怡红院| 久久天天天| 激情伊人五月天| 精品久久99| 伊人久久艹| 啪啪激情网| 日本片日本片祼观看网站在线看中文版网页在线看| AV五月丁香| 色你久久| 久久久99免费视频| 97碰碰在线观看视频| 二级黄色毛片| 91丁香五月| 人人综合久| 久久综合丁香| 久久99精品视频| 欧美日韩999| 中文字幕在线日亚州9| 欧美色久| av在线观看免费| 五月天色图| 久久综合九九| 人妻22p| 思思热思在线精品视频| 丁香五月成人| xxx综合在线| 婷婷五月色播天| 五月婷婷综合潮喷| 超碰丁香五月| 天天骑天天操| 26uuu偷拍亚洲欧洲综合| 五月婷婷啪啪综合网| 97色97干| 亚洲天堂热| 99精品丰满| 亚洲天天综合| 久久狠婷婷| 99亚洲视频| 五月天开心色情网| 69精品人人人人| 久久五月天激情美女| 久久九色| 99色色最新视频| 婷婷操无码| 狠狠狠夜夜夜| www.久久久久久久久久久| 五月婷婷丁香大陆免费| 丁香综合网| 丁香五月激情五月| 色激情综合狠狠婷婷| 香蕉人妻AV久久久久天天| 亚洲一区二区无码蜜乳av| 开心婷婷五月综合| 丁五月激情视频免费| av在线中文| 色爱五月天| 影音先锋女人av鲁色资源网小说免费| 99燥99日| 可以观看的AV| 丁香五月天激情四射网| 超碰人人操| 丁香五月婷婷久久综合激情网| 婷婷中文字幕| 色婷婷亚洲在线| 国产44页| 97操在线视频| 色综久久久| 婷色影院| 色婷婷综合视频| 久热黄色| 久久99热这里只频精品6学生| 激情婷婷丁香五月| 日逼影音先锋AV男人资源站| 丁香激情五月天| 五月丁香香蕉| 黄桃AV无码免费一区二区三区| 国语精品探花| 国产精品色婷婷久久久精品| 国产免费一区二区在线A片视频| 六月婷婷狠狠| 激情综合文学| 2020日日干| 五月天色色激情综合| 强辱丰满人妻HD中文字幕| 另类五月激情| 成人五月天丁香婷| 狠狠穞A片一區二區三區| 久久综合天天综合| 久久99久久久| 4399成人黄A片| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 九色 在线| 色屌丝中文字幕| 欧美综合激情五月| 99偷拍视频在线日本| 九月丁香| 色色色色色色色色色999| 婷婷久久图片| 国产午夜一区二区三区| www.五月天性.com| 美腿丝袜AV天堂网| 五月天色社区| 婷婷五月天com| 五月婷婷色啪| 五月丁香久久| 日日夜夜小色哥| 99re热99| 亚洲精品一区无码A片| 九九视频这里只有精品| 99热99色| 男人先锋久久| 99热这里都是精品| 激情五月深爱五月| 国产人人操| 操操碰| 九六五月天婷婷| 99热综合色图| 激情五月天网站| 色五月婷婷影院| 久久综合爱| 日本黄色三级片内射| 亚洲熟妇无码乱子AV电影| 激情无码五月天| 九九热青青草| 丁香五月手机在线| 99这里是精品| 91精品久久久久久综合五月天| 狠狠爱青青草| 亚州操操| 开心五月色婷| 超碰97干| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 久久久久久人妻| 天天肏屄夜夜爽| 欧美婷婷综合| 精品久久久人妻| 亚洲天天综合| 激情小说五月天| 1024AV视频| 丁香婷婷基地| www.99成人视频| 91九色网| 九九九AAA热视频| 91蜜桃婷婷狠狠久久综合9色| 日日做夜夜爱| 超碰av在线| 五月丁香另类网| 草草视频91| 丁香五月婷婷激情中文| 欧美影院婷婷| 在线观看视频1区| 97人人操人人干| www色中色综合| 色五月综合激情| 熟女强人妻一区二区三区四区无| 亚洲婷婷91丁香| 激情五月婷婷中文字幕| 色综合久久99色| 性欧美大战久久久久久久83| 强伦轩人妻一区二区电影| 这里只有国产精品在线| 丁香婷婷五月色成人网站| 久久97久久99久久综合欧美| 国产 亚洲 在线| 日日操日日射| 九九無碼| 丁香花婷婷五月天| 五月激情影院| 亚洲综合色网| sewuyue第四色| 九九九九毛片| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 日本三级中国三级99| 日碰日| 久久婷婷综合五月天| 99精色| 激情五月综合免费| www.jiujiujiu| 欧美婷婷丁香社区在线播放| 五月天伊人网| 五月天婷婷丁香| 色黑鬼导航| 99男人天堂| 玖玖九九超碰| 99这里有精品| 午夜丁香综合婷婷| 色狠狠综合| 这里有精品99| 色婷婷国产精品综合在线观看| 色婷婷在线电影| 99色色网| 五月天丁香久久| 丁香婷婷色六月| 思思热思在线精品视频| 99热免费精品| 夜色.cnm| 五月色情| 丁香五月电影| 色五月涩涩婷婷| 五月综合六月婷婷| 熟女婷婷网站一婷婷五月一丁香婷婷一婷婷激情网| 99视频在线啪| 玖玖99婷婷| 五月天色色色| 9热视频在线观看| 日日夜夜狠狠操| 色情五月天首页| 久思思久视频| 玖玖99免费视频| 五月婷婷精品视频| 久久久天堂国产精品女人| 亚洲操操操| 一区二区免费看| 亚洲操b| 婷婷天天综合| 天天五月香欧美| 91热在线| 久久一品区| 91丁香色| 国产JK精品白丝AV在线观看| 九九香蕉网| 91久久电影| 国产玖玖资源| 天天操夜夜玩!| 色亚洲视频| 亚洲操人| 国产熟女大叫受不了| 色欧美日| 五月 婷 久| 亚洲日本韩国| 欧美精品999| 色婷操逼| 极品另类| 婷婷性色| 婷婷五月丁综合| 99热精这里只有精品| 色婷婷丁香六月| 天天肏视频| 性色婷婷| 97热九九| 久久香蕉婷婷| 日本偷拍九九九| 婷婷五月在线影院| 99国产精品白浆在线观看免费| 色偷偷五月天| 丁香婷婷五月综合色情| 97操碰视频| 五月激情综合网| 亚洲天天操| 久久久久人妻精选| 丁香五月婷婷天激情| 激情网 五月天| 成人深爱丁香五月| 四月婷婷五月色综合| 伊九九三级区| 久久五月激情综合| 欧美激情综合色综合啪啪五月| 五月激情综合性爱| WWW、日本色丁香、co m| 九九99偷拍视频| 国内熟女黄色系列| 久久久av久av久片一区二区| 精品一二三区久久AAA片| 可以免费观看的av| 五月综合激情网| 综合五月婷婷| 五月激情在线| 五月丁香六月婷| 天天天天天天操| 日本婷婷| 久久激情网| 思思精品视频| 久久a热| 丁香色五月天| 婷婷激情图片| 涩涩涩五月天| 热99这就是精品视频| 99热综合网| www.婷婷.com| 丁香五月天社区| www久久99| 五月丁香六月婷婷啪啪| 超碰人人草| 色播综合| 亚洲亚洲激情| 乱精品一区字幕二区| 熟妇内谢69XXXXXA片| 极品少妇高潮啪啪AV无码| 大地资源色婷婷视频在线| 成人做爰高潮A片免费视频| 婷婷五月天激情视频| 99热精品9| 亭亭五月激情亚洲在线| 人人草人人爱手机视频看看 | 婷婷五月天狠狠色| 婷婷五月天伊人| 五月激情综合网| 超碰色综合| 五月婷网| 色欧洲| 国产精品色| 亚洲五月婷婷| 99ER热精品视频| 午夜天堂一区人妻| 色婷婷综合久久| 欧美A A A A A| 狠狠色噜噜色狠狠狠综合色 | 国产精品久久久久久久久久| 五月丁香婷婷色啪| 天堂在线伊久| 丁香五月婷婷激情蜜桃| 99九精品| 久久伦乱| 久久久久妻| 成人精品一区二区三区四区五区| 免费AV黄在线播放| 丁香婷婷少妇| 99热只有精品在线观看| 久久黄色片| 草五月| 91久久1118| 色综合伊人网| 五月丁香| seuuu婷婷| 69人人操人人爽| 亚洲无aV在线中文字幕 | 激情综合丁香六| 男人的天堂在线婷婷 | 秋霞黄色一级久久| 69五月天视频| 色999;丁香五月| www,99热| 超碰在线9| 九九av| 开心五月天激情网| 五月婷婷涩涩爱| 丁香五月婷婷久久久| 4438国产免费看| 天天操B| 影音先锋女人av鲁色资源网小说免费| www天天干| 日韩操逼小电影| 激情五月婷婷五月丁香五月开心五月| 99热在线精品播放| 开心五月网 | 九九激情综合| 免费日韩99| ss视频xx91| 激情综合一| 99九九精品| 双性美人被调教到喷水A片| 久久免费少妇高潮99精品| 久久精品天| 精品久久9| 5月婷婷6月丁香aV| 99热99热99热99热| 五月天偷拍| 人妻AV在线| 成人综合网站| Caoub青青超碰 | 99久久成人| 色色色色色网站| 天天爽天天干| 91综合国免费久入| 六月婷婷激情| 五月丁香花成人社区| 色综合av超碰| 91狠狠综合久久| 婷婷五月天六月综合| 狠狠草狠狠草| 人妻综合网| 国产毛片精品一区二区色欲黄A片| 无码人妻一区二区一牛影视| 69久久99精品久久久久婷婷| 人妻自慰在线| 99久久er| 人人综合久| 久久五月天婷婷| 99视频日韩| 国产精品成人AV在线| 欧美久久五月婷婷| 五月情涩综合婷婷| 五月婷婷丁香啪啪| 91操人视频| 色情婷婷久久五月天| 人妻激情在线| 热无码A∨| 婷婷香五月天| 久/久精品99看9| 人与禽A片啪啪| 9 1在线视频| 激情六月下句是什么| 激情五月少妇| 99人碰碰碰| 99精品国产在热久久| 久草 tingting| 激情丁香社区| 五月丁香啪啪啪啪| 一级二级色大片| 国产亚洲99久久精品| 超碰2021| 亚洲99综合| 丁香五月天五码婷婷| 久久思思热| 99热6精品| 婷婷在线日韩综合| 新97人人上人人| 亚洲色a| 91人操人人人操人| 另类少妇人与禽zOZZ0性伦| 天天综合91入口| 激情丁香五月婷| 婷婷丁香五月,狠狠综合| 九九这里是免费的视频5| 天天操综合网| 香蕉伊人综合| 99综合色色色| 五月婷婷丁香俺日污视频| 丁香五月婷婷六月| 五月天婷婷网站| 91偷拍视频| 5月丁香六月婷婷| 国产美女无遮挡裸体毛片A片| 亚洲永远av在线播放| 色婷婷av在线| 天天艹夜夜爽| 色狠狠999综合| 热思思九九| 婷婷月综合| 天天干天天干天天干天天干天天| 色婷婷亚洲| 丁香五月婷婷欧美性爱| 99ri久久| 久久深爱激情网| av九九| 精品五月花| 丁香五月激情宗合网| 99这里只有精品99| 激情色色| 大香蕉九九操| 激情5月婷婷狠狠干| 欧美日韩成人高清在线| 99燥99日| 色色免费网站| 99热在线观看精品免费| 伊人婷婷五月天| 六月激情丁香一道本7777| 激情五月婷婷网在线观看| 啪啪99| 色级停停| 狠狠搞五月天| 婷婷五月丁香六月天亚洲综合| 九九视频在线观看| 97超碰99热99| 色婷婷精品小视频| 97视频91| 丁香五月玖玖| 玖玖在线资源视频| 182TV大香蕉| 久久涩视频| 久久网站免费亚洲| 狠狠穞A片一區二區三區| 少妇高潮呻吟A片免费看软件| 欧洲不卡视频| 国产精品热搜丁香五月婷婷| www.夜夜操| 91精品91久久久中77777久久玖玖九九| 久久99这里只有精品视频| www99热| 综合玖玖偷拍| 婷婷丁香五月天小说| 国产精品大香蕉| 狠狠色噜噜色狠狠狠综合色 | 亚洲综合婷婷六月丁香五月| 精品久久99码| 中文字幕在线不卡视频| 婷婷操逼网| 久操人妻| 婷婷玖玖丁香| 5月丁香六月情| 婷婷综合五月天| 丁香六月激情四射| 五月伊人婷婷|