欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

條件擴(kuò)散模型合成病理圖像評(píng)估實(shí)戰(zhàn)

條件擴(kuò)散模型合成病理圖像評(píng)估實(shí)戰(zhàn) 之前在做病理圖像分類項(xiàng)目時(shí)最頭疼的不是模型結(jié)構(gòu)怎么選而是數(shù)據(jù)根本不夠用。醫(yī)院病理科收集的切片數(shù)據(jù)本身就需要專家逐張標(biāo)注標(biāo)注一塊 Tiles 往往就要耗費(fèi)大量時(shí)間再加上罕見(jiàn)病樣本稀缺、患者隱私保護(hù)嚴(yán)格想湊齊一個(gè)類別均衡的訓(xùn)練集非常困難。后來(lái)我們?cè)诜桨咐镆肓藯l件擴(kuò)散模型Conditional Diffusion Model做合成組織病理學(xué)圖像生成把類別標(biāo)簽當(dāng)成生成條件成功補(bǔ)充了低樣本類別下游模型效果也有明顯提升。這篇文章就把這套評(píng)估流程完整記錄下來(lái)包含原理講解、可運(yùn)行代碼、量化評(píng)估方法和常見(jiàn)踩坑總結(jié)希望對(duì)做病理AI、醫(yī)學(xué)圖像生成的朋友有幫助。1. 為什么需要生成合成組織病理學(xué)圖像1.1 病理AI的數(shù)據(jù)瓶頸組織病理學(xué)圖像是病理醫(yī)生診斷腫瘤類型、分級(jí)、判斷預(yù)后最重要的依據(jù)。在進(jìn)行全玻片掃描成像WSI后一張切片往往能達(dá)到數(shù)萬(wàn)像素甚至十億像素級(jí)別直接訓(xùn)練深度學(xué)習(xí)模型并不現(xiàn)實(shí)常規(guī)做法是先將其切分為 256×256 或 512×512 的 Tiles再針對(duì)這些 Tiles 做分類、分割或特征提取。但數(shù)據(jù)層面存在幾個(gè)難以繞開(kāi)的瓶頸。首先是隱私合規(guī)病理圖像涉及患者診斷信息直接跨機(jī)構(gòu)共享樣本需要經(jīng)過(guò)嚴(yán)格的倫理審批和數(shù)據(jù)脫敏流程。其次是標(biāo)注成本病理結(jié)構(gòu)與自然圖像差異極大判定一個(gè)組織區(qū)域是良性、惡性還是腫瘤浸潤(rùn)前沿往往需要多年經(jīng)驗(yàn)的病理醫(yī)生參與標(biāo)注費(fèi)用高、周期長(zhǎng)。第三是類別不均衡某些罕見(jiàn)病變類型在真實(shí)臨床數(shù)據(jù)里占比很低模型在訓(xùn)練時(shí)很容易被多數(shù)類主導(dǎo)對(duì)少樣本類別幾乎學(xué)不到有效特征。合成圖像生成技術(shù)成為緩解上述問(wèn)題的關(guān)鍵手段。通過(guò)生成模型構(gòu)造符合目標(biāo)類別分布的新樣本可以在不直接復(fù)用患者原始數(shù)據(jù)的前提下擴(kuò)充訓(xùn)練集為分類、分割、檢測(cè)等下游任務(wù)提供額外樣本。這類合成樣本不是簡(jiǎn)單的裁剪、翻轉(zhuǎn)、顏色抖動(dòng)而是從數(shù)據(jù)分布層面產(chǎn)生了全新圖像對(duì)提升模型泛化能力更有價(jià)值。1.2 為什么是條件擴(kuò)散模型過(guò)去幾年生成對(duì)抗網(wǎng)絡(luò)GAN是醫(yī)學(xué)圖像生成的主流方案尤其是 StyleGAN 系列在人臉和自然圖像上取得了很好的效果。但在病理圖像場(chǎng)景中GAN 存在訓(xùn)練不穩(wěn)定、模式坍塌、生成圖像紋理重復(fù)等明顯問(wèn)題。組織病理圖像有極強(qiáng)的形態(tài)學(xué)特征比如腺管結(jié)構(gòu)、核異型性、間質(zhì)纖維化一旦模型坍塌到少數(shù)幾種模式生成結(jié)果對(duì)整個(gè)訓(xùn)練集的補(bǔ)充意義就非常有限。擴(kuò)散模型Diffusion Model提供了一個(gè)更穩(wěn)定的生成范式。它的思路不是像 GAN 那樣直接讓生成器與判別器對(duì)抗而是先給真實(shí)圖像逐步加入高斯噪聲直到圖像幾乎完全變成噪聲再訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)逐步去噪從而恢復(fù)原始圖像。這個(gè)過(guò)程可以看作從目標(biāo)數(shù)據(jù)分布驅(qū)動(dòng)的噪聲還原訓(xùn)練過(guò)程相對(duì)穩(wěn)定生成質(zhì)量也更容易通過(guò)增加去噪步數(shù)來(lái)提升。無(wú)條件擴(kuò)散模型雖然能生成逼真圖像但無(wú)法控制生成類別這在醫(yī)學(xué)場(chǎng)景中很難直接用。條件擴(kuò)散模型則在噪聲預(yù)測(cè)網(wǎng)絡(luò)中引入額外條件信息比如類別標(biāo)簽、文本描述、圖像引導(dǎo)等。它解決了病理 AI 中非常核心的訴求我們不僅需要生成一張圖像更需要生成一張指定類別、指定病理特征的圖像。這也就是為什么在合成組織病理學(xué)圖像生成任務(wù)中條件擴(kuò)散模型逐步成為主流研究方向。1.3 本文評(píng)估方案與閱讀路線本文圍繞條件擴(kuò)散模型在組織病理學(xué)圖像生成中的評(píng)估展開(kāi)完整流程包括核心原理、數(shù)據(jù)預(yù)處理、基于 Diffusers 庫(kù)的最小實(shí)現(xiàn)、FID、IS、MS-SSIM 評(píng)估方法以及訓(xùn)練穩(wěn)定性和工程落地建議。如果你是剛開(kāi)始接觸擴(kuò)散模型建議先完整閱讀第 3 章原理部分再對(duì)照代碼運(yùn)行。如果已經(jīng)跑過(guò)相關(guān)實(shí)驗(yàn)可以直接跳到第 5 章看評(píng)估指標(biāo)再對(duì)照第 6 章常見(jiàn)問(wèn)題排查。整篇文章的代碼以 PyTorch 生態(tài)為基礎(chǔ)可以按你自己的數(shù)據(jù)集替換數(shù)據(jù)路徑和類別配置。2. 環(huán)境準(zhǔn)備與實(shí)驗(yàn)設(shè)計(jì)2.1 硬件與依賴環(huán)境訓(xùn)練擴(kuò)散模型對(duì)算力有一定要求。本文示例使用 128×128 分辨率和較淺的 UNet顯存占用約 6GB 到 12GB一張 NVIDIA GTX 3060 或更高顯存的顯卡可以完成訓(xùn)練。如果只有普通 CPU 環(huán)境也可以通過(guò)減小圖像尺寸、降低 batch size 跑通流程但生成質(zhì)量會(huì)受限制。跨設(shè)備訓(xùn)練時(shí)建議使用顯存 16GB 以上的 GPU或使用云 GPU 平臺(tái)。軟件環(huán)境以 Python 3.9 以上版本為基準(zhǔn)依賴庫(kù)包括 PyTorch、Diffusers、Torchvision、Accelerate、Tqdm、Pillow、Scikit-learn、OpenCV、Pytorch-FID 和 Torchmetrics。這里不固定具體版本號(hào)因?yàn)?PyTorch 和 Diffusers 迭代較快建議安裝時(shí)使用當(dāng)前穩(wěn)定版本。以下命令可以創(chuàng)建基礎(chǔ)環(huán)境pip install torch torchvision diffusers accelerate tqdm pillow pip install scikit-learn opencv-python pytorch-fid torchmetrics實(shí)際項(xiàng)目中版本需要根據(jù)你的項(xiàng)目環(huán)境調(diào)整。如果使用 Conda也可以先創(chuàng)建虛擬環(huán)境再安裝依賴避免與系統(tǒng) Python 環(huán)境沖突。2.2 項(xiàng)目結(jié)構(gòu)設(shè)計(jì)開(kāi)始寫代碼前先把項(xiàng)目結(jié)構(gòu)規(guī)劃清楚。本文采用以下結(jié)構(gòu)histo_diffusion_eval/ ├── config.py # 全局配置數(shù)據(jù)路徑、訓(xùn)練輪數(shù)、圖像尺寸 ├── dataset.py # 病理 Tiles 數(shù)據(jù)集加載與增強(qiáng) ├── model.py # 條件 UNet 構(gòu)建 ├── train.py # 訓(xùn)練入口 ├── sample.py # 條件生成采樣 └── evaluate.py # 評(píng)估腳本FID、IS、MS-SSIM這種按功能拆分的結(jié)構(gòu)便于復(fù)現(xiàn)實(shí)驗(yàn)也方便后續(xù)更換數(shù)據(jù)集或調(diào)整模型。配置集中在config.py中可以避免在多個(gè)文件里硬編碼參數(shù)。3. 條件擴(kuò)散模型原理與條件注入方式3.1 擴(kuò)散模型的核心過(guò)程擴(kuò)散模型由前向過(guò)程和逆向過(guò)程組成。前向過(guò)程是一個(gè)固定的加噪過(guò)程每一時(shí)間步都向圖像中添加少量高斯噪聲經(jīng)過(guò)足夠多步之后圖像近似變成標(biāo)準(zhǔn)高斯噪聲。若用 T 表示總時(shí)間步數(shù)通常取 1000則前向過(guò)程可以寫成從原始圖像 x? 出發(fā)逐步得到 x?, x?, ..., x_T。訓(xùn)練階段并不需要逐步迭代采樣擴(kuò)散模型的數(shù)學(xué)性質(zhì)允許直接根據(jù)任意時(shí)間步 t 計(jì)算出帶噪圖像。設(shè) α?_t 是噪聲調(diào)度器的累計(jì)系數(shù)隨機(jī)噪聲為 ε則帶噪圖像 x_t 可以表示為x_t sqrt(α?_t) * x_0 sqrt(1 - α?_t) * ε神經(jīng)網(wǎng)絡(luò)的任務(wù)是預(yù)測(cè)噪聲 ε。只要模型能準(zhǔn)確預(yù)測(cè)出當(dāng)前時(shí)刻添加的噪聲逆向過(guò)程就可以從 x_t 中減去預(yù)測(cè)噪聲逐步得到更接近原始圖像的 x_{t-1}最終從純?cè)肼曋羞€原出清晰圖像。這個(gè)方法被驗(yàn)證為穩(wěn)定的生成方案也是近年擴(kuò)散模型在圖像生成領(lǐng)域快速發(fā)展的基礎(chǔ)。3.2 條件信息的三種注入方式條件擴(kuò)散模型與無(wú)條件擴(kuò)散模型最大的區(qū)別在于去噪網(wǎng)絡(luò)需要額外接收條件信息。不同任務(wù)的數(shù)據(jù)形態(tài)不同條件注入方式也有區(qū)別。第一類是類別條件最典型的做法是把類別標(biāo)簽通過(guò)nn.Embedding映射成類別嵌入向量再在 UNet 的殘差塊中與時(shí)間嵌入向量相加引導(dǎo)每個(gè)特征層在去噪時(shí)保持對(duì)應(yīng)類別的語(yǔ)義。本文后續(xù)代碼使用的UNet2DModel支持通過(guò)class_labels參數(shù)傳入類別標(biāo)簽屬于這一類。第二類是圖像條件常用于圖像修復(fù)、超分辨率、分割引導(dǎo)等任務(wù)比如把低分辨率圖或掩碼圖與噪聲圖像在通道維度拼接或者通過(guò)交叉注意力機(jī)制讓網(wǎng)絡(luò)參考條件圖像的特征。這種方法在病理場(chǎng)景中也可以用于指定生成區(qū)域的形態(tài)結(jié)構(gòu)。第三類是文本條件常見(jiàn)做法是使用 CLIP 文本編碼器提取文本特征再通過(guò)交叉注意力層與 UNet 內(nèi)部圖像特征交互。這類方法在自然圖像生成中很流行但病理文本描述標(biāo)注成本高因此目前醫(yī)學(xué)圖像生成研究中使用類別條件和圖像條件的場(chǎng)景更多。本文的病理圖像生成屬于多類別組織分類場(chǎng)景適合使用類別條件。實(shí)際項(xiàng)目中如果數(shù)據(jù)集中包含病變區(qū)域分割掩碼也可以進(jìn)一步改成圖像條件讓模型生成指定區(qū)域的病理結(jié)構(gòu)。3.3 訓(xùn)練目標(biāo)與采樣要點(diǎn)條件擴(kuò)散模型的訓(xùn)練目標(biāo)非常簡(jiǎn)潔。給定干凈圖像 x?、類別標(biāo)簽 c、隨機(jī)時(shí)間步 t 和噪聲 ε模型輸出其對(duì)噪聲的預(yù)測(cè) ε_(tái)θ(x_t, t, c)損失函數(shù)采用噪聲預(yù)測(cè)與真實(shí)噪聲的均方誤差L E[ || ε - ε_(tái)θ(x_t, t, c) ||2 ]這個(gè)目標(biāo)函數(shù)不依賴對(duì)抗訓(xùn)練因此訓(xùn)練過(guò)程相對(duì)穩(wěn)定。需要注意的是時(shí)間步 t 應(yīng)該隨機(jī)均勻采樣讓模型學(xué)會(huì)在所有噪聲強(qiáng)度下都能正確去噪而不是只擅長(zhǎng)某幾個(gè)時(shí)間步。條件信息在訓(xùn)練時(shí)也不能總是參與否則模型會(huì)過(guò)度依賴條件導(dǎo)致無(wú)條件采樣時(shí)效果明顯退化。采樣階段可以使用 DDPM 調(diào)度器逐步去噪。DDPM 的采樣步數(shù)與訓(xùn)練步數(shù)一致速度較慢如果需要更快生成可以使用 DDIM 采樣器用更少的采樣步數(shù)達(dá)到接近的效果。實(shí)際項(xiàng)目中我通常先用 DDPM 完整采樣確認(rèn)質(zhì)量再調(diào)整為 DDIM 加速實(shí)驗(yàn)迭代。4. 完整實(shí)戰(zhàn)條件擴(kuò)散模型生成病理圖像4.1 數(shù)據(jù)集準(zhǔn)備與預(yù)處理本文代碼假設(shè)數(shù)據(jù)集目錄按類別組織每個(gè)類別一個(gè)子文件夾文件夾內(nèi)是已經(jīng)切好的病理 Tiles。Camelyon16、TCGA 等公開(kāi)組織病理數(shù)據(jù)集都可以作為實(shí)驗(yàn)來(lái)源但使用時(shí)需要核對(duì)數(shù)據(jù)授權(quán)協(xié)議按自己的科研或業(yè)務(wù)場(chǎng)景合規(guī)使用。切塊預(yù)處理通常包含以下幾個(gè)步驟從 WSI 中讀取組織區(qū)域過(guò)濾掉純白色背景和玻璃雜質(zhì)區(qū)域?qū)⒂行ЫM織區(qū)域切分為固定尺寸的 Tiles最后人工或基于已有標(biāo)簽完成類別標(biāo)注。對(duì)于快速?gòu)?fù)現(xiàn)實(shí)驗(yàn)可以先收集每類 200 到 500 張 Tiles數(shù)量不多但足夠驗(yàn)證完整流程。dataset.py中實(shí)現(xiàn)一個(gè)讀取本地病理 Tiles 數(shù)據(jù)集的Dataset類。它掃描根目錄下的子文件夾把類別名稱轉(zhuǎn)換成數(shù)字標(biāo)簽并返回圖像和標(biāo)簽。數(shù)據(jù)增強(qiáng)部分使用了隨機(jī)水平和垂直翻轉(zhuǎn)保持病理圖像的結(jié)構(gòu)語(yǔ)義不變。import os from PIL import Image import torch from torch.utils.data import Dataset from torchvision import transforms class HistologyTileDataset(Dataset): def __init__(self, root_dir, image_size128): self.image_paths [] self.labels [] self.class_names sorted(os.listdir(root_dir)) self.class_to_idx {name: i for i, name in enumerate(self.class_names)} for cls_name in self.class_names: cls_dir os.path.join(root_dir, cls_name) if not os.path.isdir(cls_dir): continue for fname in os.listdir(cls_dir): if fname.lower().endswith((.png, .jpg, .jpeg)): self.image_paths.append(os.path.join(cls_dir, fname)) self.labels.append(self.class_to_idx[cls_name]) self.transform transforms.Compose([ transforms.Resize((image_size, image_size)), transforms.RandomHorizontalFlip(), transforms.RandomVerticalFlip(), transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)), ]) def __len__(self): return len(self.image_paths) def __getitem__(self, idx): img Image.open(self.image_paths[idx]).convert(RGB) label self.labels[idx] img self.transform(img) return img, label這里把圖像像素歸一化到 -1 到 1 范圍與擴(kuò)散模型噪聲調(diào)度器的輸出范圍保持一致。如果你的數(shù)據(jù)集圖像不是正方形Resize會(huì)統(tǒng)一拉伸到指定尺寸實(shí)際項(xiàng)目中也可以考慮中心裁剪后再縮放減少形變影響。4.2 構(gòu)建條件UNet模型部分直接使用 Hugging Face Diffusers 庫(kù)提供的UNet2DModel它內(nèi)部已經(jīng)實(shí)現(xiàn)了時(shí)間嵌入、類別嵌入、殘差塊、注意力機(jī)制和上下采樣路徑。這樣可以在保持代碼簡(jiǎn)潔的同時(shí)使用經(jīng)過(guò)大規(guī)模實(shí)驗(yàn)驗(yàn)證的模型結(jié)構(gòu)。model.py中的構(gòu)建函數(shù)接收Config對(duì)象返回一個(gè)支持類別條件的 UNet。num_class_embeds對(duì)應(yīng)類別數(shù)量block_out_channels控制每一層的通道數(shù)sample_size需要與數(shù)據(jù)集中圖像尺寸一致。from diffusers import UNet2DModel def build_unet(config): return UNet2DModel( sample_sizeconfig.image_size, in_channels3, out_channels3, layers_per_block2, block_out_channelsconfig.block_out_channels, num_class_embedsconfig.num_class_embeds, dropout0.1, )如果想更深入理解條件注入機(jī)制可以在UNet2DModel的源碼中看到它把類別標(biāo)簽映射為嵌入向量并在多個(gè)殘差塊中與時(shí)間嵌入相加。這種做法可以有效引導(dǎo)生成過(guò)程讓不同類別的圖像在去噪階段逐漸分離開(kāi)來(lái)。config.py中統(tǒng)一管理所有參數(shù)這里給出一個(gè)可運(yùn)行的默認(rèn)配置import torch class Config: # 數(shù)據(jù) data_dir data/tiles image_size 128 num_classes 2 class_names [benign, malignant] # 訓(xùn)練 batch_size 16 num_epochs 100 lr 2e-4 weight_decay 1e-4 grad_clip 1.0 ema_decay 0.995 device cuda if torch.cuda.is_available() else cpu # 模型 block_out_channels (64, 128, 128, 256) time_emb_dim 256 class_emb_dim 128 num_class_embeds 2 # 擴(kuò)散 timesteps 1000 beta_start 1e-4 beta_end 0.02 # 采樣與評(píng)估 ddim_steps 100 sample_batch_size 16 ckpt_dir checkpoints4.3 訓(xùn)練循環(huán)配置訓(xùn)練過(guò)程包括加噪、噪聲預(yù)測(cè)、損失計(jì)算和參數(shù)更新四個(gè)核心步驟。train.py使用DDPMScheduler管理噪聲調(diào)度調(diào)用add_noise方法一步生成帶噪圖像然后用模型預(yù)測(cè)噪聲計(jì)算 MSE 損失。import os import torch import torch.nn.functional as F from torch.utils.data import DataLoader from torchvision import transforms from diffusers import DDPMScheduler from tqdm.auto import tqdm from config import Config from dataset import HistologyTileDataset from model import build_unet def train(config): device torch.device(config.device) dataset HistologyTileDataset(config.data_dir, config.image_size) loader DataLoader( dataset, batch_sizeconfig.batch_size, shuffleTrue, num_workers4, drop_lastTrue, ) noise_scheduler DDPMScheduler( num_train_timestepsconfig.timesteps, beta_startconfig.beta_start, beta_endconfig.beta_end, ) model build_unet(config).to(device) optimizer torch.optim.AdamW(model.parameters(), lrconfig.lr, weight_decayconfig.weight_decay) lr_scheduler torch.optim.lr_scheduler.CosineAnnealingLR( optimizer, T_maxlen(loader) * config.num_epochs ) os.makedirs(config.ckpt_dir, exist_okTrue) global_step 0 for epoch in range(config.num_epochs): model.train() pbar tqdm(loader, descfEpoch {epoch 1}/{config.num_epochs}) for images, labels in pbar: images images.to(device) labels labels.to(device) noise torch.randn_like(images) timesteps torch.randint( 0, config.timesteps, (images.shape[0],), devicedevice ).long() noisy_images noise_scheduler.add_noise(images, noise, timesteps) noise_pred model(noisy_images, timesteps, class_labelslabels).sample loss F.mse_loss(noise_pred, noise) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), config.grad_clip) optimizer.step() lr_scheduler.step() optimizer.zero_grad() global_step 1 pbar.set_postfix(lossloss.item()) # 每個(gè) epoch 結(jié)束后保存一次 torch.save(model.state_dict(), os.path.join(config.ckpt_dir, fmodel_epoch{epoch 1}.pt)) if __name__ __main__: train(Config())訓(xùn)練中同時(shí)使用了余弦退火學(xué)習(xí)率調(diào)度和梯度裁剪這兩項(xiàng)對(duì)穩(wěn)定訓(xùn)練很有幫助。noise_scheduler.add_noise的第三個(gè)參數(shù)是隨機(jī)采樣的時(shí)間步不要固定成一個(gè)值。模型輸出的.sample字段才是預(yù)測(cè)噪聲這一點(diǎn)在使用UNet2DModel時(shí)需要注意。如果顯存較小可以調(diào)低image_size到 64 或 96或者減小batch_size。如果 GPU 利用率過(guò)低可以增加num_workers來(lái)加速數(shù)據(jù)加載。4.4 生成采樣與保存模型訓(xùn)練完成后使用DDPMScheduler的timesteps從 T 到 0 逐步去噪。每步將當(dāng)前時(shí)刻的帶噪圖像和類別標(biāo)簽輸入模型得到預(yù)測(cè)噪聲再調(diào)用調(diào)度器的step方法獲取去噪后的prev_sample。循環(huán)結(jié)束后即可得到生成圖像。import os import torch from torchvision.utils import save_image from diffusers import DDPMScheduler from tqdm.auto import tqdm from config import Config from model import build_unet def sample(config, class_label0, ckpt_namemodel_epoch100.pt): device torch.device(config.device) noise_scheduler DDPMScheduler( num_train_timestepsconfig.timesteps, beta_startconfig.beta_start, beta_endconfig.beta_end, ) model build_unet(config).to(device) ckpt_path os.path.join(config.ckpt_dir, ckpt_name) model.load_state_dict(torch.load(ckpt_path, map_locationdevice)) model.eval() labels torch.full( (config.sample_batch_size,), fill_valueclass_label, dtypetorch.long, devicedevice, ) x torch.randn( config.sample_batch_size, 3, config.image_size, config.image_size, devicedevice, ) for t in tqdm(noise_scheduler.timesteps): with torch.no_grad(): noise_pred model(x, t, class_labelslabels).sample x noise_scheduler.step(noise_pred, t, x).prev_sample # 從 [-1, 1] 轉(zhuǎn)回 [0, 1] 并保存 x (x 1) / 2 x torch.clamp(x, 0.0, 1.0) save_image(x, fgenerated_class{class_label}.png, nrow4) return x if __name__ __main__: config Config() sample(config, class_label0)生成的圖像可以保存為一個(gè)網(wǎng)格圖片肉眼檢查生成結(jié)果是否具備目標(biāo)類別的基本組織形態(tài)。后續(xù)定量評(píng)估時(shí)則需要把生成圖像批量導(dǎo)出到文件夾中作為 FID 等指標(biāo)的輸入。5. 量化評(píng)估與對(duì)比分析5.1 FID評(píng)估FIDFréchet Inception Distance是圖像生成任務(wù)中最常用的評(píng)估指標(biāo)之一。它先使用特征提取網(wǎng)絡(luò)提取真實(shí)圖像和生成圖像的高維特征再計(jì)算兩個(gè)特征分布之間的 Wasserstein-2 距離。FID 越低說(shuō)明生成圖像與真實(shí)圖像的分布越接近。對(duì)于病理圖像直接用 ImageNet 預(yù)訓(xùn)練的 InceptionV3 提取特征并不是最優(yōu)選擇因?yàn)?ImageNet 的自然圖像特征與病理圖像的形態(tài)特征差異很大。更合理的做法是使用病理圖像預(yù)訓(xùn)練模型作為特征提取器例如在 WSI 數(shù)據(jù)上訓(xùn)練的病理基礎(chǔ)模型。如果只是為了橫向?qū)Ρ炔煌赡P偷南鄬?duì)好壞使用通用的pytorch_fid實(shí)現(xiàn)也能得到一個(gè)有效的參考指標(biāo)。from pytorch_fid import fid_score real_dir data/real_images_class0 gen_dir data/generated_images_class0 fid_value fid_score.calculate_fid_given_paths( [real_dir, gen_dir], batch_size32, devicecuda, dims2048, ) print(fFID: {fid_value:.4f})計(jì)算 FID 時(shí)真實(shí)圖像和生成圖像最好保持相同的數(shù)量和預(yù)處理方式避免因分辨率不一致導(dǎo)致指標(biāo)偏差。生成圖像數(shù)量太少會(huì)帶來(lái)較大方差實(shí)際評(píng)估時(shí)建議每類生成 1000 張以上。5.2 IS評(píng)估ISInception Score從兩個(gè)維度衡量生成質(zhì)量清晰度和多樣性。它使用 InceptionV3 對(duì)生成圖像進(jìn)行分類如果每張圖像的類別預(yù)測(cè)置信度很高同時(shí)整體預(yù)測(cè)分布足夠分散IS 就高。IS 并不需要真實(shí)圖像作為參考因此計(jì)算簡(jiǎn)單但它對(duì)病理圖像的指導(dǎo)意義有限。病理圖像類別的定義與 ImageNet 類別完全不同高 IS 只能說(shuō)明生成圖像在自然圖像特征空間中可分和清晰不能說(shuō)明其病理學(xué)特征是否真實(shí)。所以建議在病理場(chǎng)景中將 IS 作為輔助指標(biāo)重點(diǎn)仍然看 FID 和下游任務(wù)性能。使用torchmetrics可以快速計(jì)算 ISimport torch from torchmetrics.image.inception import InceptionScore inception InceptionScore(splits10) # gen_tensors 是歸一化到 [0, 1] 的生成圖像 Tensor形狀為 [N, C, H, W] inception.update(gen_tensors) score, std inception.compute() print(fIS: {score:.4f} ± {std:.4f})5.3 MS-SSIM與下游任務(wù)評(píng)估FID 和 IS 主要從感知分布上評(píng)估生成質(zhì)量無(wú)法直接反映生成圖像內(nèi)部結(jié)構(gòu)是否合理。組織病理圖像有腺管、細(xì)胞核、間質(zhì)等結(jié)構(gòu)特征因此結(jié)構(gòu)相似性指標(biāo)也有一定參考價(jià)值。MS-SSIMMulti-Scale Structural Similarity Index Measure通過(guò)多尺度比較亮度、對(duì)比度和結(jié)構(gòu)信息衡量生成圖像與真實(shí)圖像之間的結(jié)構(gòu)相似程度。需要強(qiáng)調(diào)MS-SSIM 衡量的是兩幅圖像逐像素級(jí)別的結(jié)構(gòu)相似性它天然適合圖像修復(fù)、超分辨率類任務(wù)。在無(wú)條件生成任務(wù)中生成圖像和真實(shí)圖像本來(lái)就不應(yīng)該完全一致因此 MS-SSIM 更適合作為生成樣本與真實(shí)樣本之間是否出現(xiàn)大面積結(jié)構(gòu)崩壞的參考而不能作為唯一的生成效果指標(biāo)。實(shí)際使用建議分兩類分別計(jì)算比如良性和惡性 Tiles 各自比較避免混合類別導(dǎo)致指標(biāo)失真。更貼近業(yè)務(wù)價(jià)值的評(píng)估方式是下游任務(wù)評(píng)估。將真實(shí)數(shù)據(jù)加上生成數(shù)據(jù)混合訓(xùn)練一個(gè)病理圖像分類模型在獨(dú)立測(cè)試集上評(píng)估分類準(zhǔn)確率或 AUC。如果加入合成數(shù)據(jù)后分類效果有提升說(shuō)明生成樣本確實(shí)能夠補(bǔ)充有效信息。這也是很多醫(yī)學(xué)圖像生成論文使用的評(píng)估思路。最終評(píng)估報(bào)告建議同時(shí)包含生成質(zhì)量指標(biāo)和下游任務(wù)指標(biāo)結(jié)論更有說(shuō)服力。6. 常見(jiàn)問(wèn)題與排查清單6.1 高頻問(wèn)題匯總條件擴(kuò)散模型訓(xùn)練和評(píng)估過(guò)程中會(huì)遇到一些高頻問(wèn)題下面整理成表格方便對(duì)照排查。問(wèn)題現(xiàn)象常見(jiàn)原因解決思路訓(xùn)練損失不下降學(xué)習(xí)率過(guò)大或過(guò)小、數(shù)據(jù)歸一化不一致調(diào)整學(xué)習(xí)率檢查圖像是否歸一化到 [-1,1]生成圖像模糊訓(xùn)練輪數(shù)不足、模型容量偏小增加訓(xùn)練輪數(shù)適當(dāng)增大 UNet 通道數(shù)類別條件失效生成結(jié)果與標(biāo)簽無(wú)關(guān)標(biāo)簽沒(méi)有傳入模型、類別嵌入維度過(guò)大導(dǎo)致過(guò)擬合檢查class_labels參數(shù)考慮類別條件 dropout顯存溢出batch size 過(guò)大、圖像分辨率過(guò)高減小 batch size降低分辨率使用梯度累積FID 偏高生成數(shù)據(jù)量少、評(píng)估特征提取器不匹配增加采樣量使用病理預(yù)訓(xùn)練特征提取器采樣時(shí)出現(xiàn) NaN學(xué)習(xí)率過(guò)高導(dǎo)致模型發(fā)散降低學(xué)習(xí)率使用梯度裁剪檢查 beta 配置訓(xùn)練速度非常慢UNet 注意力層計(jì)算量大使用小分辨率跑通減少block_out_channels6.2 訓(xùn)練不穩(wěn)定排查訓(xùn)練不穩(wěn)定是擴(kuò)散模型最需要注意的問(wèn)題。如果損失曲線出現(xiàn)劇烈抖動(dòng)先檢查學(xué)習(xí)率。擴(kuò)散模型一般使用 1e-4 到 3e-4 的 AdamW 學(xué)習(xí)率過(guò)大會(huì)導(dǎo)致噪聲預(yù)測(cè)目標(biāo)震蕩。其次是檢查beta_start和beta_end配置是否合理默認(rèn)值適合絕大多數(shù)自然圖像任務(wù)自定義數(shù)據(jù)集也可以適當(dāng)調(diào)整。另一個(gè)常見(jiàn)問(wèn)題是條件信息在訓(xùn)練時(shí)分布過(guò)分集中。病理數(shù)據(jù)往往類別樣本量差異很大如果某個(gè)類別只有幾十張圖模型很難學(xué)會(huì)該類別的條件映射。一個(gè)簡(jiǎn)單做法是在訓(xùn)練時(shí)以一定概率比如 10%將類別標(biāo)簽隨機(jī)替換成其他類別或者使用條件 dropout讓模型即使丟掉條件信息也能保持一定生成能力這也有助于避免類別條件過(guò)擬合。采樣階段如果發(fā)現(xiàn)生成圖像中混有非目標(biāo)類別的結(jié)構(gòu)可以檢查采樣時(shí)傳入的class_labels是否與訓(xùn)練時(shí)的標(biāo)簽編號(hào)一致。num_class_embeds的編號(hào)是從 0 開(kāi)始的類別名稱排序過(guò)后的索引必須保持一致否則會(huì)生成錯(cuò)誤類別。7. 最佳實(shí)踐與工程建議7.1 數(shù)據(jù)工程建議病理圖像生成首先要重視數(shù)據(jù)質(zhì)量。原始 WSI 中大量區(qū)域是背景、玻璃、氣泡或邊緣陰影這些區(qū)域如果進(jìn)入訓(xùn)練集模型會(huì)把無(wú)意義紋理當(dāng)作病理結(jié)構(gòu)生成圖像就會(huì)包含大量無(wú)用區(qū)域。預(yù)處理時(shí)建議先分割組織區(qū)域過(guò)濾低對(duì)比度的空白 Tiles再用顏色歸一化降低不同染色方案帶來(lái)的色彩差異。類別劃分需要基于真實(shí)病理標(biāo)注不能只靠文件名約定。如果使用弱標(biāo)簽數(shù)據(jù)還需要額外處理標(biāo)簽噪聲。擴(kuò)展樣本時(shí)要避免同一張 WSI 的近鄰 Tiles 同時(shí)出現(xiàn)在訓(xùn)練集和測(cè)試集防止數(shù)據(jù)泄漏導(dǎo)致評(píng)估虛高。對(duì)于小數(shù)據(jù)集先不要追求分辨率。可以用 64×64 跑通流程確認(rèn)模型能夠擬合訓(xùn)練集后再逐步提高到 128×128 或 256×256。過(guò)早使用高分辨率不僅訓(xùn)練慢排查問(wèn)題也會(huì)更困難
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲乱码在线观看| 五月天婷婷基地丁香| 婷婷色五月丁香六月欧美啪| 9精品视频在线观看| 欧美黑人大吊| 国产毛片欧美毛片久久久| 婷婷丁香人妻| 超级碰人人操人人干| 性爱久久| 亚洲中文无码成人| 97碰91| 激情五月天婷婷| 中文字幕AV网址| 在线99热| 99热精品6| 任你干线上免费视频有3吗| 丁香激情五月| 色婷婷五月天天天天天| αV电影| 婷婷午夜综合| 久色成人| 九色无码| h在线看免费版在线看| 五月丁香六月婷婷色| 99热国产在线| 丁香六月婷婷综合激情欧美| www.色婷婷。com| 婷婷不卡基地| 秋霞成人毛片一级A片| 久久久这里都是精品| 风流少妇A片一区二区蜜桃| 久久五月天黄色五月天色网址| 99re视频在线精品| 五月婷婷婷| 五月视频日本免费观看| 五月丿香啪啪| 在线观看国产高清视频免费网站 | 懂色av蜜臀av粉嫩av永陈冠希| 综合久久97| 丁香婷婷五月天亚洲| 26uuu成人网| 五月丁香综合中文| 婷婷激情欧美| 亚洲精品视频在线播放| 999热在线观看视频| 91大屁股精品| 激情五月天小说视频| 91婷婷丁香五月| 91久久99久久91熟女精品| 在热视频精品| sS丁香五月婷婷| 亚洲9久久精品| 99ri国产| 色色色成人网| 插少妇综合网| 久色网| 婷婷色色综合| 日日综合网| 亚洲 五月 婷婷 成人| 99热主页日本| 九月婷婷综合在线| 欧洲色色| 色色色999| 91操操操| 黄色aaaaa| 精品AV无码超碰| 99热超碰| 五月丁香影院| 亚洲人成人五月天| 深爱五月综合网| 丁香九月激情久久| 任你弄在线视频免费| 这里只有精品2| 97色色色视频| 五月婷婷就去色| 婷婷五月色综合| 思思re最新视频| 欧美色频| 婷婷色色欧美| 99re久热只有精品6在线直播| 色色九九五月天 | 色五月丁香激情视频| 婷婷激情视频| 婷婷在线免费| 激情五月婷黄版| 操逼福利视频| 国产精品久久99| 97碰在线免费观看| www.韩日视频| 天堂久久丁香| 国产肥白大熟妇BBBB视频| 无码啪啪| 97色女人在线| 色色色色色网| 五月丁香中文| 99这里只有| 激情网 五月天| 男女99免费视频| 日日噜噜久久婷婷五月天| 中文字幕人成乱码在线观看| 99热青青草| 日日日天天干| 五月婷婷开心丁香| 丁香婷婷啪啪啪| 五月色婷婷综合色| 五月天激情播播网| 99久久免费性爱视频`| 91丨九色丨熟女| 超碰在线观看成人视| 日韩一级一片内射视频4K| 婷婷五月天亚洲| 五月天丁香婷| 婷婷色操| 婷婷丁香花五月天| 欧美日韩成人免费在线| 久9精品视频| 这里只有精品1| 激情综合色| 婷婷色综合| 天天色视频| 粉嫩av蜜桃av蜜臀av| www五月| 五月婷久久在线| 激情5月婷婷狠狠干| 久久这里只有精彩| 久九色| 日本久久爽| 久久九九九九| 婷婷天堂视频| 久久五月天色婷婷| 91色色色| 激情五月天在线观看色婷婷| 婷婷五月天无码熟女| 久色视频在线| 99热在线免费观看精品| 久久这里在精品视频| 久热99| 精品成人久久久久久久_一二三四视| 日本3级片一区2区| 婷婷丁香激情综合色情| 99碰超| 丁香五月香蕉| 五月天激情综合网俺也去| 网色99| 99毛片| 91在线观看www| 99视频日韩| 4399在线观看免费高清毛片| 国产91九色| 99热在线看片| 日本久久爽| 久久精品婷婷五月丁香| 天天玩夜夜操天天爽| 日日干五月天婷婷| 狠狠干在线视频| 丁香五月网| 六月丁香深深爱| 日日婷婷不卡| 十月丁香九月婷婷综合| 无码橾| 九热免费视频| 99久在线精品99re8热| 日本狠狠色| 狠狠色丁香| 国产精品一区在线观看你懂的| 色婷婷狠狠| 中文字幕免费高清电视剧| 婷婷五月天综合亚洲| 狠狠狠狠狠狠草| 久久精彩视频99| 黄网在线免费| 色欧美日| 天天操天天日天天爱| 秋霞三级影视资源| 天天爽天天干天天| 色99热| 色情五月综合婷婷| 国产肥白大熟妇BBBB视频| 又大又粗九一在线| 色婷婷四色| 激情六月天婷婷| 91一起操| 综合五月天天天天天五月| 99这里只有精彩视频| 99热在这里只有精品| 在线观看亚洲视频影院| 九九色逼| 亚洲AV电影美洲AV电影| 任你草| 99爱免费在线观看| 色日本五月天| 久久婷婷色| 日韩青青| 欧美精品A片一区在线观看| 丁香 久久| 久久之人妻| 婷婷五月天深爱| 久久一热| 天天干天天拍| 免费看片在线观看| 亚洲激情在线| 伍月婷婷六月丁香| 色综合久久久久| 国产乱子轮XXX农村| 91久久九| 欧美婷婷六月丁香综合色| 五月丁香AV、伊人业余、性色熟妇| 色色色色网色色网色色| 激情久久久| 激情亚洲五月| 亚洲操精品| yazhou seshipin| 啪啪小说五月天| 天天干天天干天天干天天干天| 国产XXXX搡XXXXX搡麻豆| 岛国午夜视频| 天干干夜夜操| 99日本黄站| 202丰满熟女妇大| 久久久全国免费视频| 五月丁香久久呀| 精品99久久久久成人网站免费| 天天狠狠干| 99热91| 婷婷最新地址| 爱性综合网| 色丁香六月| 人妻av在线| 五月婷婷久草| 五月婷成人| 久热这里只有精品视频免费观看| 性爱久久| 超碰无码318604| 激情五月丁香综合蜜桃| 五月天婷婷操逼视频| 日本欧美成人片AAAA| 综合色影院| 五月色丁香国产在线视频| 99热精品在线在线| 做爰丰满少妇1313| 婷婷五月色| 99热精品在线播放| 久久久亚洲精品一区二区三区浴池| 色综合视频| 国产在线6| 中文字幕成人影视| 蜜乳AV成人| 天天操夜夜啊| 成人亚洲精品| 欧美月久久| 色婷婷精品小视频| 91久久综合亚洲鲁鲁五月天| 丁香9月婷婷| 五月丁香六月婷婷综合免| 色欲久久久久久综合网综合网| 四季8848精品成人免费网站| 另类色视频| 欧美超级视频97| 在线视频婷婷| 丁香六月AV| 亚洲啪啪网| 91碰视频| 免费成人中文字幕| 99久久久国产精品免费蜜乳tv| 婷婷五月婷婷| 色婷婷AAA| 丁香五月伊人| 在线看片h站| 日本久久婷| 五月婷婷六月丁香综合| 七月丁香婷婷 色色| 五月天婷婷三级黄| 99热这里只有精品青草| 成人视频一区| 性爱网五月天| 91日日日| 色色色色热| 欧美情色一区| 婷婷丁香亚洲五月天| 激情五月婷婷五月| 色五月婷婷基地| 99精品久久| www婷婷| av不卡网站| 亚洲天堂亚洲色色色| 91九色在线| 69人妻人人澡人人爽久久| 五月婷婷欧美激情| 婷婷五月天性色| 亚洲 25P| 五月香婷婷| 99热最新地址在线| 性爱久久| 激情com| 97综合在线| 超碰93在线观看| 99精品在线观看视频| 狠狠色综合图片| 99视频在线观看欧| 欧美情色一区| 亚洲九九99精品视频在线播放| 丁香激情五月天| 伊人激情啪啪| 9久热| 激情视频网址| 99视频在线| 九九99在线免费在线观看视频| 丁香婷婷九月| 五月婷婷色影院| 14色综合婷婷| 99A级片| 色婷婷丁香五月| A1片久久| www.五月丁香| 操B五月天| 亚洲精品亚洲人成人网| 91丨九色丨大屁股| 97在线精品| 五月色婷婷在线观看| 91人妻PORNY九色大屁股| 色色综合网站| 伊人色综合网| 99热精国产这里只有精品| 欧美性爱丁香五月| 婷婷日日夜夜| 夜夜躁婷婷AV| 亚洲激情五月| 九九成人精品| 色在线免费观看| 精品五月天| 碰碰操91| 久久99网站| 韩日在线熟女| 激情五月婷婷老师| 五月婷婷中文字幕AV| 天天插天天射天天干| 人人操插| 亚洲激情淫网| 男女啪啪视频久 9| 自拍偷窥99热| 另类视频五月天| 开心四月婷婷在线色播播| 色色欧美。| 亚洲狠狠狠| 色婷婷色五月综合| 婷婷久热| 激情五月天之六月婷婷| 久久综合久色欧美综合狠狠 | 久热 91| 色色色9| 日日干综合| 五月激情综合婷婷| 综合性爱网| 欧美日韩999| 亚洲精品一区中文字幕乱码| 少妇人妻综合色6699| 91好好热日本在线| 综合五月天| 日日婷婷不卡| 大胆伊人久久| 人妻内射视频| 五月婷婷欲色| 五月天伊人综合| 五月丁香偷拍| 五月在在观看| 黄色91在线观看| 香蕉婷婷| 婷婷中文字幕版| 大香蕉伊然在亚洲90| 99九九玖玖| 丁香五月激情婷婷视频| 五月天婷婷婷| 婷婷五月综激情| 六月丁香成人| 久久国产高潮白浆免费观看99| 五月婷婷天堂| 九月婷婷丁香| 免费婷婷| 被强行糟蹋的女人A片| 激情五月天伊人av| 97婷婷色| 99riAV成人在线视频| 天天日夜夜爽| 在线VA视频| www.激情五月天.con| 丁香色婷婷| 久久九九九九| 五月天色五月| 丁香六月婷婷色XXXXX| 久热9| www,setingting| 五月丁香六月婷| 五月综合激情图片| 国产免费av在线| AV九九| 色五月激情| 玖热精品综合视频| 成人AV综合在线| 久久9视频| 2025色婷婷| 久操操| 99视频热99| 婷婷综合五月| 色婷婷www| 丁香五月在线伊人| 久久久久久久久久久97| 婷婷五月花.97| 色婷婷伊人| 五月婷婷六月基地| 91精品综合久久久久久五月丁香| 日本在线wwww| 日韩成人无码| 久久香蕉网| 五月天天天色| 五月天色综合服务平台| 久婷五月| 婷婷丁香www视频日本韩国| 97人人草| 五月婷婷黄色| 丁香六月色婷婷| 色色色在线播放| 婷婷色五月激情强奸四射| tingtingcaobi| 久久五月婷| 噜噜久| www.av视频xx999.com| 婷色视频| 丝雨一区二区| 成人国产欧美大片一区| 直接看的av| 亚洲综合五月天| 成人网页在线观看| yirenjiqingshiping| 五月激情视频| 99精品在这里| 久久人人超| 在线观看中文字幕| 色丁香久综合在线久综合在线观看| 亚洲AV第二区国产精品| 日韩精品在线观看9| 中文字幕按摩做爰| 人人爱人人草| 久久婷婷影院| 成人版视频在线观看| 亚洲第79页| 五月丁香激情综合欧美| 欧洲婷婷五月天| 97人人做| 夜夜久久综合网 | 色综合色综合色综合高潮| 色欲婷婷五月天| 久re热视频| 婷婷五月综合社区在线| 在线看片h站| 国产又黄又爽又色的免费| 婷婷五月天成人| 猫咪伊人久久| www,com,五月色色| 天天做夜夜爽| 天天爱天天做天天操| 色情五月天婷婷| 能看的av片| 蜜臀A∨在线水帘洞| 九月色婷婷| 亚洲AV成人片无码网站| 丁香六月啪啪啪| 婷婷色在线视频| 色级婷婷| 亚洲精品成人片在线播| 国产性爱色| 色噜噜五月天| 开心五月婷婷| 日本99在线| 精品久久这里热66| 亚洲第一综合| 97色啪| 五月丁香六月婷婷激情网| 国产欧美va| 五月天婷婷色综合| 丁香六月情| 婷婷久久综合久色| 看片视频在线免费日产在线看| 色五月丁香五月天| 天天干夜晚夜操| 99视频精品在线| 色色色色色色网站| 色99在线| 九九操操| 在线综合网| 91超级碰| 国产成人精品一区二区三区视频 | 99热日韩| 玖玖资源站国产| 天天狠天天狠| 狠色狠色狠色狠色狠色网| 草AV9999| 色综合射婷婷| 日本婷婷| 亚洲AV成人精品日韩在线播放| 久9久成人精品视频| 9有码中文| 激情综合网址| 激情性爱五月天| 亚洲色99| 亚洲成av人影院| 成人电影一区| 涩五月婷婷| 少妇真实被内射视频三四区| 区欧美日韩成人| 色色色五月| 欧美色偷拍| 99A级片| 97色色婷婷| 日本女天天爽| 五月激情丁香| 久久久无码精品成人A片小说| 热久久77777| WWW.桔色成人.COM入口| 特级片神马电影| 舔色婷婷| 久久久精品色| 国产精品色情AAAAA片软件| 五月天婷婷综合色| 91pornav在线| a色色色色色| 色五月天综合| 开心五月网| 五月婷婷激情中文字幕| 深爱婷婷网| 国产又色又爽又黄又免费| 丁香六月婷婷色XXXX| 中文字幕久久婷九女同| 九月丁香亭亭| 噜噜噜噜噜日本视频| 日韩久久这里只有精品| 五月丁香六月激情| 天天操综合网| 任我干视频在线观看| 亚洲va国产va天堂va综合va| 夜夜天天久久婷婷| 日韩九九| 婷婷色导航| 99色在线观看视频者| 啪啪操超碰| 丁香六月啪啪| 婷婷激情六月天视频| 天天射影院| 99热这里只有精品3| 99原创自拍视频在线观看| 亚洲AVwwwwwww| 久热9| 激情久久五月网| 久狠狠狠| 超碰av在线| 五月丁香婷婷狠狠操| AV在线免费播放| 久久这里只有精品07 | 天天日天天爽夜夜爽| 99色在线视频| 亚洲va综合va国产va中文| 高清a片基地| 六月丁香综合| 伊人狠狠操| 另类激情五月| 97在线观视频免费观看| 激情四射婷婷色色色| 九九视频网| 日本婷婷色日| 99色热| 伊人久久大香线蕉综合网站| 天天插天天玩天天干| 天天爱天天做天天爽| 五月婷婷之综合激情| 九月丁香婷婷| 操比激情五月| 五月天天天综合| 高清无码视频网址| 风流少妇A片一区二区蜜桃| 婷婷色五月天色色| www.爱操com.| 99久.| www.91热久久| 国产精品久久99| 激情www| 99热成人| 97人人做| 久久久久思思热| 五月色丁香| 性爱人人网| 伊人五月人妻精品| 久久草大香蕉| 激情婷| 欧美激情Va| 六月丁香av| 七七色综合| 天天综合激情| 国産精品| 97超碰欧美中文字幕| 午夜九九电影| 伊人婷婷五月天| 99天堂网最新| 另类小说五月天综合网| 婷婷色婷婷| 亚洲人成网站999久久久综合| 五月情四婷婷| 色五月婷婷大| 97碰碰人人| 一级性爱大片| 97婷婷丁香五月| 久久综合人妻| 婷婷99视频精品| 九九热只有精品| 9色91视频| 色综合综合色| 五月婷婷丁香| 国产永久一黄| 亚洲激情精品| 亚洲字幕AV一区二区三区四区| 九九五月天| 色婷婷亚洲婷婷在线观看| 九九综合九| 九九热这里有精品23| 欧美久久婷婷| 在线天堂9| 狠狠草狠狠草| 婷婷黄色网| 欧美99热| 色色丁香| 久热只有这里有精品| 99毛片| 亚州色综合| 天天天天天久久久久久| 国产熟妇乱子伦hd| 婷婷综合五月激情| 五月婷婷综合在线| 欧美日韩AAAAA| 色色色色五月| 五月婷婷丁香| 精品人人操| 伊人久久大香线蕉av一区| 色色亚洲视频| 中文字幕91,综合| 99热精地址| 玖玖色综合色| 这里只有免费的精品| 乱岳熟女50岁| 啪啪五月天啪啪| 婷婷五月天成人| 97色色色色色色色| 激情五月天视频| 人妻射精AV| 日本色色网| 日韩无码成人电影| 国产成人网| 91精品久久久久| 亚洲高清在线| 五月丁香六月在线欧美| 99热这里只有精品8| 久久永久网址| 99re热视频这里只精品| 五月婷婷激情刺激| 亚洲操操操| 激情五婷精品网在线观看网址| 亚洲精品色| 综合婷婷六月| 国产69久久久欧美黑人A片| 五月丁香六月激情综合网| 色五月激情| 丁香五月婷婷五月天在线| www色五月| 丁香五月婷婷基地| 久久伊人大香蕉| 亚洲综合五月天婷婷丁香| 97碰碰人人| 99欧美| 丁香五月天堂| 国产在线6| 农村熟妇高潮精品A片| 五月丁香六月情婷婷久久| 男人大jjc女人免费视频| 26uuu国产精品| 婷婷五月丁香图片人人操| 国产婷婷五月天| 婷婷色情五月| 久久久激情视频| 人人妻人人澡| 婷婷91| caopeng97日韩| 午夜不卡久久精品无码免费| 天天操综合网站| 九九性爱网| 国产精品久久..4399| 色色无码日韩| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 开心五月婷婷99| www99xxxx五月丁| 久久99综合网| 五月天色播网| 激情六月婷婷啪啪| 可以免费观看的av| www.99在线| 久久AAAA片一区二区| 五月情涩综合婷婷| 九九色院| 亚洲精品视频在线播放| 五月丁香青草综合啪啪| 综合久久久婷| 五月婷六月| 婷婷激情鹿城五月天| 殴美97色| 亚洲色综合| 五月天婷婷三级黄| WWW.五月com| 久久五月激情综合| 色色综合成人网| 少妇性按摩无码中文A片| 中国激情网| 日本色久| 午夜天堂一区人妻| www.五月丁香| 天天爽夜夜爽夜夜爽精品| 婷婷五月天97干| 99激情| 日日日,com| 99色嘟嘟精品网站| 中文字幕在线播放视频| 这里只有国产精品在线| 免费AV在线| 五月天婷婷色| 久久婷婷五月天蜜桃| 开心婷婷五月天综合| 狠狠久久婷五月综合色| 丁香婷婷六月天| 久久丁香五月婷婷激情综合网| 久久九九99.www| 九九av| 五月开行婷婷色五月| 操久久网| 五月刺激丁香月综合| 少妇高潮一区二区三区99欧美| 偷拍视频五月天| 成人版视频在线观看| 亚洲欧美在线观看| 在线网黄| 婷婷综合六月| 国产欧美日韩性爱| 特黄三级又爽又粗又大| www.色五月| 99福利视频| 欧美97色| 久久久.www| www.婷婷五月天| 五月丁香天堂网| 丁香五月电影| 欧美色色日韩| 中文成人在线| 狠狠综合网| 婷婷五月天激情丁香| 久久视网36| 九九久久玖玖爱| 婷婷色婷婷| 操操操Av| 极品人妻videosss人妻| 色综合香蕉视频| 中文字幕免费高清电视剧| 七七九色| 人人操人人爱丁香五月| 丁香婷婷五月六月久久| 99免费超碰在线| 国产激情综合五月久久| 国产偷人妻精品一区| 狠狠干五月丁香| 婷婷五月综合久久中文字幕| 精品九九久久| 激情又色又爽又黄的A片 | 甈你aaaaa| 亚洲婷婷视频| www,com,五月色色| 亚洲9久久精品| 俺也去色| 五月婷在线| 久久狠狠干| 五月天自拍视频| 丁香五月天导航| 亚洲色激情| 爆乳熟女-区二区三区| 99精品热| 色综合久久久久| 五月天国产| 伊人色综在线| 婷婷丁香五另类网站| 婷婷五月天色| 久久久.COM| 国产亚洲成人综合| 国产精品成人AV在线观看春天| 91久热| 日韩av在线免费观看| 99爱在线视频观看| 激情五月婷婷综合视频| 99热欧| 婷婷五月天色色| www.日韩国产| 亚洲人人操| 99精品丰满| 无码人妻AV久久久一区二区三区 | 日韩在线成人电影| 色综合久久88色综合天天| 99热精品在线观看| 能看的AV| 婷婷激情小说| www.99视频| 大香蕉九操| 99色在线观看视频| 综合六月激情婷婷| 天天狠狠色噜噜| 色婷婷色五月丁香| 五月婷久久| 婷婷五月天成人五月天| 婷婷色色五月| 国产精品久久久久久白浆色欲| 99久久97久久欧美综合网| 国产1区2区| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 五月丁香激情婷婷| 亚洲十月婷婷综合| 欧美综合丁香网| 天天免费成年人视频| 婷婷四月 成人 狠狠干| 婷婷八月激情| 丁香五月婷婷深爱综合激情| 久久婷婷激情| 婷婷五月激情综合| 婷婷五月天成人网| 国产一级片| 99在线精品观看99| 天天日天天做天天舔 | 亚洲色夜| 色吧五月婷婷| 日本在线视频www色| 亚洲成人一区| 1024日韩| 激情宗合哪里能看| VA日本视频| 九九综合精品| 就爱操www com| 成人久久天天x资源站| 九九这里只这里只有精品| 开心亚洲久久开心| 久久婷婷六月综合资源| 五月婷婷中文网| 色婷婷狠狠色| 5月婷婷五月天| se影音资源在线观看| 亚洲综合99| 久久999久久999久久999久久| 天天做夜夜爽| 91精品综合久久婷婷九色| 成人 视频免费观看网站| 超碰亚洲天堂| 天天干电影| www.婷婷五月天| 中文字幕无码人妻少妇免费视频| 中文毛片无遮挡高潮免费| 麻豆WWWCOM内射软件| 日韩成人精品中文字幕电影| 九九综合九| 97亚洲精品| 六月婷色| 色婷婷久久| 99久久久国产大片区| 狠狠另类视频| 啪啪激情网站| 激情五月天开心总和网| 久久天堂| 日本丁香五月| 国产一级视频a| 香港九九六区八区99| 涩五月丝袜婷婷| 天啪色| 日本久热| 丁香婷婷精品视频| 99在线小视频| 久久久五月五丁香| 啪啪啪综合网| 天天噪夜夜爽| 激情VA视频| 丁香六月啪啪啪| 五月大香蕉| 免费看欧美成人A片无码| 久久玖玖99| 久久婷婷亚洲无码一起| 九九久久精品| 五月丁香 啪啪啪| www.五月丁香| 婷婷中文字幕| 日韩综合成人| 99九九中文字幕视频| 激情婷婷| 亚洲行行色色| 在线观看免费狠狠色丁香香综合| 99精品热| 婷婷综合中文字幕| 六月婷欧美| 深爱五月激情网| 天天爽天天做| 天天肏夜夜肏| 97在线99| www.com任你艹| 啪啪色激情五月天| 婷婷深爱五月亚洲综合| 欧美精品18| 五月天激情综合网| 久久九九99.www| 人妻人人操| 婷婷色丁香五月| 超碰在线观看9| 激情综合亚洲| 久草嫩草在线观看| 天天看A片| 天天看夜夜看| 婷婷六月啪啪| 秋霞少妇AV网站| 久热AA| 九九热在视频| 99在线观看精品视频| 五月丁香在线| 五月丁了香蕉综合| 天天日天天摸天天| 日本婷色| 丰满少妇猛烈A片免费看观看| 婷婷综合久久综合| 婷婷激情丁香五月婷婷激情丁香五月婷婷 | 五月天激情AV| 五月婷婷六月丁香在线| 亚洲天堂碰碰婷婷| 狠狠艹狠狠艹| 玖玖婷婷五月天| 五月天婷婷久久| 五月婷婷导航| 色久五月| 九九人人操| 大香蕉婷婷婷| 婷五月天天| 可以看的av网站| 99国产精品久久久久久久久久久| 日本WWW九九九| 九九热99精品| 中文字幕综合| 久热99视频在线观看| 另类图片天天影视在线观看| 五月综合色播播丁香婷婷| 丁香五月天之婷婷影院| www久久久久| 婷婷色日本| 91日本在线观看| 日韩有码一区| 五月婷婷成人网首页| 九九热视频99| 丁香五月婷婷久久久| 亚洲色婷婷婷婷人人爽| 草一草avb| 99ri视频在线观看| 最新精品视频99| 九九热自拍| 69人人操人人爽| 五月熟妇婷婷久久| 色丁香久久| 激情久久综合网| 五月天婷婷丁香视频| 久久激情五月婷婷| 久久综合首页| 99精品7| 亚洲精品亚洲人成人网| 成人Av在线大片| 狠狠干 狠狠操| 99精品热| 色色五月天网站| 色五月婷婷很很操| 免费观看全黄做爰的视频| 婷婷啪啪| 婷婷丁香宗合888| 亚洲传媒在线观看| 成人av在线电影| 精品久久人妻| 久久婷婷免费| 亚洲色9| 欧洲不卡视频| 色丁香五月婷婷综合久久| 婷婷五月天激情视频| 欧美色五月| 久久婷婷影院| 91色噜噜狠狠狠狠色综合| 丁香五月婷婷影视先锋| 秋霞簧片| 国产亚洲精品AAAAAAA片| 亚洲九九夜夜| 久草性爱| 九月色婷婷综合| 婷婷婷婷色| 在线综合亚洲欧美65| 美女五月天婷婷| 天天干天天色综合| AV在线免费播放| www激情| 婷婷狠狠香蕉综合| 五月婷婷激情综合拍| 欧美叉叉叉BBB网站| 成年AAAA色情| 丁香五月激情网| 丁香五月网址| 五月天激情视频| 97婷婷久久丁香| 亚洲色色香蕉| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 亚洲人操亚洲人| 激情五月婷婷在线| 潘金莲AAAAAAAAAA| 久久99成人性爱高清视频| 亚洲妇女熟BBW| 色五月视频无码播放| 中文字幕有多少字| 午夜爱爱爱成人| 国产在线网| 天天综合永久| 五月婷婷久久大片| 激情小说之五月| 久久久五月天婷婷| www开心激情网| 九月婷婷人人操人人舔人人爱| 婷婷开心久久| 九九成年视频| 亚洲丁香五月天视频| 欧美色色日韩| 91超级碰在线| 8区视频在线| 狠狠做深爱婷婷久久综合一区| 丁香五月婷婷深五月| 色综合五月天| 激情综合网激情五月网| 变态 另类 在线| 久久综合激情婷婷激情| 伊人久久大香线蕉亚洲五月天,| 26uuu在线观看| 91精品婷婷国产综合| 在线观看的av| 成人日韩欧美| 久久婷婷伊人| 俺去也在线官网| 色五月婷婷丁香凹凸| 青草五月天| 操逼毛片国语对白| 五月天婷婷久久视频| 日日干夜夜撸夜夜骑| 五月激香蕉网| 亚洲成人婷婷| 色综合久久88色综合天天99| 99热这里只有精品3| 欧美婷婷五月激情| 天天干天天日蜜臀av| 色情婷婷五月天| 久久久性爱网| 亚洲成人网站在线观看| 激情五月婷婷中文字幕| 人人97操| 婷婷久久五月丁香| 丁香午月AV中文字幕| 丁香五月婷婷综合啪啪| 久热这里只有精品6| 久热黄色| 99ER热精品视频| 伊人午夜综合色啪| 综合色吧| 亚洲无码99| 日日干干天天干| 日本九九九九九九| 久草A片| 色播五月丁香婷婷| 久久91久久精品久久| 狠狠色综合网| 操操操操操操婷婷五月天| 大地资源色婷婷视频在线| 五月天激情亚洲| 五月丁香九九| 噜噜噜久久| 五月婷婷激情四月| 五月丁香少妇| 色五月婷婷色| 99热99热| 激情四射网| 五月婷婷影院| 99国产这里只有精品| 五月婷婷与六月丁香图片激情| 日本片日本片祼观看网站在线看中文版网页在线看 | 性色99| 1024婷婷综合久久五月天| 五月天婷婷色| 色五月女| 欧美久热| 任你干aa| 成人亚洲精品| 思思热热久久| 亚洲成人高清在线| 久久精品国产一区二区三区四区| 婷婷婷婷婷开心无码播放| 久久xx| 在线不卡AC| 国产精品电影| 五月丁香六月婷婷久久久综合| 美女激情综合| 婷婷丁香18| 97在线/亚洲| 天天碰天天插天天操| 免费AV在线| 屁股翘好撅高迎合跪趴| www.9797国产| 婷婷五月天激情综合| 丁香五月开心亚洲| 久碰视频| 欧美成人日韩| 开心五月婷婷在线视频免费观看| 婷婷综合在线播放| 国产偷人爽久久久久久老妇APP| 97精品自拍视频| 激情五月网站| 色色色综合色| 青青久在线视频免费观看| 影音先锋四区| 五月天婷婷丁香六月| 99色婷婷视频| 人人操操97| 777精品久无码人妻蜜桃| 无码99| 五月婷婷在线网站| 五月丁香六月综合基地| 激情图片亚洲| 99热.com| 五月天综合在线观看| 99色色网站| 99色精品| 字幕网AV中文字幕| 99热精品在线播放| 亚洲国产精品VA在线看黑人| 99热视| 婷婷色情网| 五月婷三级片| 婷婷成人视频| 九九色播五月丁香| 色色婷婷综合网| 99国产小视频2013| 亚洲综合一区二区| 色五月,com| 99精品无码| 久久 婷婷 五月天| 天天摸人人摸| 日本在线视频手机播放五月婷| 加勒比日本一区二区三区| 九九爱激情| www.色五月| 天天色图| 激情五月婷婷五月| 99久久精品网| 天天舔天天插天天爱| 日本婷久久| 九九热99精品| 99热在线观看| 五月天偷拍| 亚洲精品国产setv| 伊人啪啪网| 欧美视频在线观看噜噜| 成人精品一区二区三区四区五区 | 九色无码| 操逼电影免费看| 成人综合网站| 五月天婷婷在线AN| 久久色五月天| 色婷婷亚洲精品天天综| 久久精品小视频| 亚洲婷婷五月天在线激情综合网| www.婷婷.com| 中文字幕精品推荐免费在线观| 黄色三级毛片中字| 极品少妇高潮啪啪AV无码| 91一起操| 久久性操| 伊人玖玖网| 激情小说视频图片| 。久久久久久久久久久久久久人妻| 色婷婷在线综合色播网| 玖玖色综合| 9l视频自拍九色9l视频自拍九色9l社区| 91九色精品女同系列| 99r久久这里只有精品| 国产成人网| 人人综合久| 九九色播五月丁香| 欧美一线视频| YW无码| 国成人网| 成人丁香婷婷| 无码人妻AV久久久一区二区三区| 婷婷综合五月| 婷婷五月天电影网| 色婷婷综合久久久久| 日本一毛片| 婷婷激情人妻| 深爱激情综合| 五月丁香婷婷免费视频| 人人视频人人干人人做| 五月天成人小说网| 91精品久久久久久综合五月天| 久色五月| 亚洲色色精品| 激情九九综合网| 色播丁香婷婷五月激情| 午夜爱爱爱成人| 秋霞网在线观看理论91| yazhouzonghesese| 丁香五月婷婷丫| 97婷婷丁香五月天激情图片| 婷婷综合五月激情| 久草久青福利| 色婷婷视频| 欧美黑人巨大猛烈cuckold| 婷婷五月天777| 五月天成人在线视频丁香| 五月激激网w'w'w| 婷婷五月天成人娱乐| 激情六月下句是什么| 中文久久久人妻| 欧美狠狠一在草| 丁香六月色香蕉视频| www。88热在线视频免费观看| 噜色精品| 呦呦v线| 天天情色五月天| 无码 色| 婷婷天天色| 色色色网站| 97资源欧美日韩大香蕉超碰一区| 国产精品视频免费看| 九九热黄色| 饮料下药迷倒漂亮女同事强干| 色婷婷婷婷| www.婷婷| 天天射影院| 五月久久丁香| 九色综合五月天婷五月| 丁香六月激情毛片| www.久久爱.com| 色色色色色色色色五月先| 综合激情五月四射婷婷| 色婷婷五月天天天天天天天天天| 婷婷久久夜| 99爱免费在线视频| 久久这里只| 综合网啪| 久久久久激情| 五月天综合久久| 亚洲最大成人综合网720P| 国产偷人爽久久久久久老妇APP| 色色五月天 亚洲| 婷婷五月丁香A∨| 亚洲视频二区| 性爱AV天堂| 99热精品一区| 性爱视频99|