欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

超聲圖像去噪實(shí)戰(zhàn):5種深度學(xué)習(xí)模型對(duì)比與落地踩坑指南

超聲圖像去噪實(shí)戰(zhàn):5種深度學(xué)習(xí)模型對(duì)比與落地踩坑指南 做了這么多年醫(yī)學(xué)影像的算法落地說(shuō)實(shí)話超聲圖像去噪一直是個(gè)讓我又愛(ài)又恨的方向。愛(ài)是因?yàn)樗N近真實(shí)臨床場(chǎng)景信號(hào)弱、噪聲重、細(xì)節(jié)還容易丟每一個(gè)能落地的改進(jìn)都能直接幫助醫(yī)生減少誤判恨則是散斑噪聲這玩意兒和常規(guī)高斯噪聲完全不同很多在自然圖像上表現(xiàn)很好的深度學(xué)習(xí)模型搬到超聲上一跑邊緣糊了、囊腫邊界看不清了、紋理被磨成了“塑料感”指標(biāo)再漂亮也白搭。最近正好集中測(cè)了5種有代表性的深度學(xué)習(xí)模型在超聲圖像上的去噪效果趁著實(shí)測(cè)數(shù)據(jù)還熱乎把整個(gè)思路、代碼和踩過(guò)的坑一起整理出來(lái)。這篇文章適合正在做醫(yī)學(xué)影像預(yù)處理、或者在超聲輔助診斷項(xiàng)目里被噪聲折磨的算法工程師和研究生參考可以幫你少走很多彎路。1. 超聲圖像噪聲從哪里來(lái)為什么去噪不是“濾鏡糊一糊”1.1 散斑噪聲的物理來(lái)源與數(shù)學(xué)模型超聲圖像里的噪聲和手機(jī)照片噪點(diǎn)完全是兩回事。手機(jī)上的噪點(diǎn)大多是傳感器熱噪聲和弱光下的光子噪聲近似高斯分布而超聲圖像中的散斑噪聲是一種乘性噪聲來(lái)源于超聲波在人體組織中傳播時(shí)遇到尺寸遠(yuǎn)小于波長(zhǎng)的散射體大量微弱的散射波相互干涉在接收端形成明暗相間的顆粒狀紋理。這種噪聲不是疊加在信號(hào)上而是與信號(hào)本身相乘y x · n a其中y是觀測(cè)到的超聲回波強(qiáng)度x是理想的組織反射率n是散斑噪聲a是系統(tǒng)熱噪聲等加性噪聲分量。乘性噪聲意味著噪聲強(qiáng)度隨信號(hào)強(qiáng)度變化信號(hào)強(qiáng)的區(qū)域噪聲也強(qiáng)這給去噪模型的設(shè)計(jì)帶來(lái)了質(zhì)的不同。如果你用經(jīng)典的高斯去噪模型比如BM3D或者直接上一個(gè)只針對(duì)加性噪聲的CNN通常會(huì)把組織邊緣的強(qiáng)信號(hào)連同噪聲一起抹掉這就是臨床上最常見(jiàn)的“去噪過(guò)度”問(wèn)題。1.2 噪聲特性對(duì)模型設(shè)計(jì)的約束因?yàn)樯咴肼暿浅诵缘?、且與組織結(jié)構(gòu)密切相關(guān)深度學(xué)習(xí)去噪模型必須滿足幾個(gè)約束。第一模型需要有足夠大的感受野來(lái)區(qū)分“真實(shí)組織紋理”和“散斑偽影”因?yàn)閱渭兛淳植肯袼刂祪烧邘缀鯚o(wú)法區(qū)分必須依賴更大范圍的上下文信息。第二模型要具備跨尺度特征融合能力——超聲圖像中不同尺寸的解剖結(jié)構(gòu)比如血管截面和微鈣化點(diǎn)去噪策略應(yīng)該不同單一尺度的卷積核很難同時(shí)照顧大結(jié)構(gòu)保真和小目標(biāo)保留。第三損失函數(shù)不能只盯著像素級(jí)別的重建誤差否則模型會(huì)傾向于輸出平滑的“平均結(jié)果”導(dǎo)致組織邊界模糊。我在項(xiàng)目里把散斑噪聲在頻域上做過(guò)分析它能量主要集中在高頻段并且與組織紋理頻譜有一定重疊。這也是為什么一些純空域模型容易誤傷紋理——它們?cè)陬l域上沒(méi)有顯式地把“有用高頻”和“噪聲高頻”分開(kāi)的能力。后面要介紹的5種模型其實(shí)就是在回答同一個(gè)問(wèn)題如何在壓制噪聲的同時(shí)最大限度保留組織和器官邊界的診斷信息。2. 參評(píng)模型選型5種深度學(xué)習(xí)去噪模型的定位與取舍這次對(duì)比不是把所有SOTA模型都拉一遍而是圍繞“實(shí)際落地”這個(gè)目標(biāo)選型。我選模型的標(biāo)準(zhǔn)有三條在公開(kāi)超聲數(shù)據(jù)上有較好的遷移表現(xiàn)結(jié)構(gòu)的代表性強(qiáng)覆蓋CNN、編解碼、注意力、Transformer等主流路線能比較方便地在現(xiàn)有PyTorch框架里復(fù)現(xiàn)和調(diào)參?;谶@個(gè)標(biāo)準(zhǔn)最終確定了這5位選手。2.1 DnCNN把殘差學(xué)習(xí)引入圖像去噪的經(jīng)典之作DnCNN是張凱等人2017年提出的模型思路非常直接讓CNN直接預(yù)測(cè)噪聲殘差而不是預(yù)測(cè)去噪后的干凈圖像。輸入一張帶噪圖像y網(wǎng)絡(luò)輸出的是噪聲n的估計(jì)去噪結(jié)果就是y減去n。這樣做的好處是訓(xùn)練目標(biāo)從“生成一張完整圖像”變成“估計(jì)一個(gè)殘差”學(xué)習(xí)難度大幅降低收斂速度也快。DnCNN的結(jié)構(gòu)是“卷積ReLUBatchNorm卷積”的堆疊在自然圖像去噪上表現(xiàn)很強(qiáng)也是很多后續(xù)模型的baseline。在超聲圖像上直接使用DnCNN會(huì)遇到一個(gè)問(wèn)題它默認(rèn)針對(duì)加性高斯噪聲設(shè)計(jì)而散斑噪聲是乘性的。常見(jiàn)的做法是先把超聲圖像做對(duì)數(shù)變換把乘性噪聲變成近似加性噪聲再用DnCNN去噪最后做指數(shù)變換還原。這套組合拳在當(dāng)時(shí)是標(biāo)準(zhǔn)操作但變換過(guò)程會(huì)引入動(dòng)態(tài)范圍壓縮部分低回聲區(qū)的細(xì)節(jié)仍然容易丟失。我覺(jué)得DnCNN作為對(duì)照組的最大價(jià)值不是它的效果最好而是它清楚地展示了“通用去噪模型不加以適配就往醫(yī)學(xué)圖像上用”會(huì)是什么效果。2.2 RED30利用對(duì)稱跳躍連接保住組織邊緣RED30的全稱是“Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections”核心結(jié)構(gòu)是30層卷積堆疊的非對(duì)稱編解碼器。跟DnCNN的單一殘差學(xué)習(xí)不同RED30引入了編碼器-解碼器的對(duì)稱結(jié)構(gòu)并在對(duì)應(yīng)層之間添加跳躍連接。編碼器逐步降采樣提取高層語(yǔ)義解碼器逐步恢復(fù)空間分辨率跳躍連接則把編碼器階段的細(xì)節(jié)特征直接送到解碼器避免信息丟失。在超聲圖像上RED30的優(yōu)勢(shì)正好切中要害。超聲圖像里組織邊界和囊腫高回聲邊界都是強(qiáng)邊緣信息普通去噪網(wǎng)絡(luò)在多層卷積后容易把這些邊界糊掉RED30的跳躍連接能夠把淺層的邊緣細(xì)節(jié)“搬運(yùn)”到輸出端去噪后邊界清晰度明顯好于DnCNN。代價(jià)是參數(shù)總量比較大訓(xùn)練速度慢顯存占用高。如果你手頭的GPU只有一張消費(fèi)級(jí)卡RED30訓(xùn)練時(shí)batchsize可能得調(diào)到4以下訓(xùn)練時(shí)間會(huì)延長(zhǎng)不少。2.3 Attention U-Net在醫(yī)學(xué)分割框架里找去噪靈感U-Net原本是為圖像分割設(shè)計(jì)的它的對(duì)稱編解碼結(jié)構(gòu)加上跳躍連接天然適合像素級(jí)預(yù)測(cè)任務(wù)。Attention U-Net在原始U-Net的跳躍連接處加了一個(gè)注意力門控模塊讓網(wǎng)絡(luò)在融合編碼器特征時(shí)自動(dòng)加權(quán)那些與當(dāng)前解碼位置相關(guān)的區(qū)域降低無(wú)關(guān)區(qū)域的干擾。用Attention U-Net做去噪我起初有點(diǎn)猶豫因?yàn)樗举|(zhì)上是個(gè)生成式結(jié)構(gòu)主要用來(lái)做分割直接拿來(lái)做回歸任務(wù)會(huì)不會(huì)水土不服實(shí)測(cè)結(jié)果告訴我它會(huì)比DnCNN更“聰明”地處理噪聲——注意力門控讓它在高回聲區(qū)域和低回聲區(qū)域的去噪力度自動(dòng)調(diào)節(jié)而不是用一套權(quán)重處理全圖。在低回聲區(qū)域的囊性暗區(qū)里散斑噪聲本來(lái)就少模型會(huì)自動(dòng)降低對(duì)這些區(qū)域的平滑力度保留更多真實(shí)紋理。這套自適應(yīng)特性很貼合超聲圖像中“不同組織區(qū)域噪聲強(qiáng)度不一致”的特點(diǎn)。2.4 SwinIRTransformer 結(jié)構(gòu)的遠(yuǎn)程依賴有多大優(yōu)勢(shì)SwinIR是基于Swin Transformer的圖像復(fù)原模型和純CNN相比它的核心優(yōu)勢(shì)是自注意力機(jī)制帶來(lái)的全局感受野。CNN受限于卷積核大小感受野靠堆疊層數(shù)慢慢擴(kuò)大SwinIR通過(guò)窗口自注意力直接建模遠(yuǎn)距離像素之間的關(guān)系。超聲圖像中散斑噪聲的分布具有全局相關(guān)性因?yàn)樯⑸潴w分布是空間相關(guān)的理論上Transformer的全局建模能力能夠更準(zhǔn)確地判斷某個(gè)高頻成分到底是大范圍結(jié)構(gòu)的一部分還是孤立噪聲。實(shí)際跑下來(lái)SwinIR在定量指標(biāo)上確實(shí)很有競(jìng)爭(zhēng)力尤其在PSNR指標(biāo)上經(jīng)常能刷到第一第二。但問(wèn)題也很明顯它的參數(shù)量大、推理速度慢在一個(gè)256×256的圖像上單張推理就要數(shù)十毫秒甚至更久。如果項(xiàng)目需要部署到床旁超聲設(shè)備這類實(shí)時(shí)場(chǎng)景SwinIR目前的性價(jià)比不高。訓(xùn)練還需要大量數(shù)據(jù)在小規(guī)模超聲數(shù)據(jù)集上很容易過(guò)擬合不做充分的預(yù)訓(xùn)練和正則化效果會(huì)打折。2.5 NBNet為真實(shí)噪聲場(chǎng)景設(shè)計(jì)的噪聲水平估計(jì)路線NBNet是我這次對(duì)比中比較驚喜的一個(gè)模型。它的出發(fā)點(diǎn)是真實(shí)圖像中的噪聲水平是未知的很多模型假設(shè)固定噪聲強(qiáng)度一遇到不同噪聲水平的圖像效果就不穩(wěn)定。NBNet通過(guò)在網(wǎng)絡(luò)中插入了噪聲水平估計(jì)子網(wǎng)絡(luò)讓模型能夠根據(jù)當(dāng)前輸入圖像自適應(yīng)地調(diào)整去噪強(qiáng)度。它會(huì)先快速估計(jì)噪聲標(biāo)準(zhǔn)差然后把這個(gè)估計(jì)值作為條件信息傳遞到去噪主網(wǎng)絡(luò)。超聲圖像的散斑噪聲強(qiáng)度隨探頭頻率、增益設(shè)置、成像深度變化很大同一個(gè)模型在不同設(shè)備采集的圖像上常常出現(xiàn)“水土不服”。NBNet的噪聲水平自適應(yīng)機(jī)制正好應(yīng)對(duì)這個(gè)痛點(diǎn)。我實(shí)際測(cè)試時(shí)發(fā)現(xiàn)對(duì)同一張模擬散斑噪聲的超聲圖像讓模型估計(jì)噪聲水平再針對(duì)性去噪整體自然度確實(shí)比固定噪聲假設(shè)模型要好尤其在噪聲強(qiáng)度分布不均的區(qū)域這種自適應(yīng)能力價(jià)值明顯。3. 實(shí)驗(yàn)環(huán)境與評(píng)估指標(biāo)怎樣對(duì)比才不是“自嗨”3.1 數(shù)據(jù)集構(gòu)建與仿真散斑噪聲生成醫(yī)學(xué)圖像去噪研究有個(gè)繞不開(kāi)的難題很難拿到“完美無(wú)噪”的ground truth。臨床上真實(shí)的干凈超聲圖像不可能單獨(dú)采集到醫(yī)生掃查時(shí)得到的本身就是帶噪圖像。目前主流的做法有兩種一種是基于仿真超聲圖像另一種是真實(shí)的配對(duì)數(shù)據(jù)需要同一部位兩次掃查取平均代價(jià)很高。我這次實(shí)驗(yàn)采用公開(kāi)數(shù)據(jù)集仿真噪聲的方案用的是公開(kāi)的乳腺超聲數(shù)據(jù)集BUSI圖像內(nèi)容是乳腺B超涵蓋正常、良性和惡性腫瘤三類共780張左右。這些圖像本身雖然帶一定噪聲但整體質(zhì)量較好可以當(dāng)作參考底圖。在此基礎(chǔ)上使用成熟的超聲散斑仿真模型比如基于瑞利分布的乘性噪聲模型疊加噪聲生成成對(duì)的“干凈圖-帶噪圖”訓(xùn)練數(shù)據(jù)。具體的仿真代碼很關(guān)鍵為什么用特定模型去生成噪聲核心原因是散斑噪聲的概率分布不是高斯而是瑞利分布。離瑞利分布越遠(yuǎn)去噪性能評(píng)估的失真越大。生成散斑噪聲的示意代碼如下import torch import numpy as np def generate_speckle_noise(image, noise_level0.3): # image: [B, 1, H, W]數(shù)值范圍 0~1 # 使用瑞利分布的乘性噪聲模擬散斑 batch_size, channels, h, w image.shape sigma noise_level # 生成瑞利分布噪聲瑞利分布的概率密度: p(z) z / sigma^2 * exp(-z^2 / (2 * sigma^2)) z np.random.rayleigh(scalesigma, size(batch_size, channels, h, w)) # 將噪聲歸一化到均值1附近保持圖像亮度 z z / np.mean(z, axis(2, 3), keepdimsTrue) z_tensor torch.from_numpy(z).float().to(image.device) noisy_image image * z_tensor return noisy_image需要注意這個(gè)噪聲生成是“模擬”散斑和真實(shí)超聲設(shè)備的物理噪聲還有差距。如果要更貼近真實(shí)臨床最好對(duì)真實(shí)超聲設(shè)備采集的圖像做噪聲建模用最大似然估計(jì)來(lái)擬合散斑參數(shù)而不是拍腦袋取一個(gè)σ。我在實(shí)驗(yàn)里分別設(shè)置了低噪聲σ0.2、中噪聲σ0.35、高噪聲σ0.5三檔目的是評(píng)估不同模型在不同噪聲強(qiáng)度下的敏感度。3.2 PSNR、SSIM、MSE之外還要關(guān)注哪些指標(biāo)圖像去噪的常用評(píng)估指標(biāo)是PSNR和SSIM但單獨(dú)看這兩個(gè)指標(biāo)在醫(yī)學(xué)圖像上遠(yuǎn)遠(yuǎn)不夠。我額外加了幾個(gè)維度。第一個(gè)是邊緣保持指數(shù)EPI用來(lái)衡量去噪后圖像邊緣細(xì)節(jié)的保留程度計(jì)算方式是去噪后圖像與原始干凈圖像在邊緣像素上的梯度差異。EPI越高說(shuō)明邊緣越銳利。第二個(gè)是噪聲抑制率觀察去噪圖像中對(duì)用戶選定的均勻低回聲區(qū)域內(nèi)像素值的標(biāo)準(zhǔn)差變化以此評(píng)估散斑的削弱程度。第三個(gè)是主觀視覺(jué)評(píng)分我是請(qǐng)做超聲診斷的醫(yī)生朋友幫忙盲評(píng)的評(píng)價(jià)維度包括結(jié)構(gòu)清晰度、偽影引入程度、診斷可信度。EPI的計(jì)算代碼如下import torch import torch.nn.functional as F def edge_preservation_index(denoised, clean): # 用Sobel算子提取邊緣強(qiáng)度 sobel_kernel_x torch.tensor([[-1, 0, 1], [-2, 0, 2], [-1, 0, 1]], dtypetorch.float32).reshape(1, 1, 3, 3) sobel_kernel_y sobel_kernel_x.transpose(-1, -2) grad_x_denoised F.conv2d(denoised, sobel_kernel_x, padding1) grad_y_denoised F.conv2d(denoised, sobel_kernel_y, padding1) grad_x_clean F.conv2d(clean, sobel_kernel_x, padding1) grad_y_clean F.conv2d(clean, sobel_kernel_y, padding1) edge_denoised torch.sqrt(grad_x_denoised ** 2 grad_y_denoised ** 2) edge_clean torch.sqrt(grad_x_clean ** 2 grad_y_clean ** 2) epi (torch.sum(edge_denoised * edge_clean) 1e-8) / (torch.sum(edge_clean ** 2) 1e-8) return epi.item()表格里我會(huì)把每個(gè)模型的PSNR、SSIM、EPI、參數(shù)量、單幀推理時(shí)間全部列出來(lái)量化和效率一起看。4. 核心代碼解讀訓(xùn)練一個(gè)可用的超聲去噪模型需要幾步4.1 數(shù)據(jù)加載與仿真噪聲增強(qiáng)很多入門的同學(xué)直接拿現(xiàn)成的去噪數(shù)據(jù)集訓(xùn)練但真實(shí)超聲數(shù)據(jù)集的噪聲分布跟仿真數(shù)據(jù)集不同遷移效果很差。我在數(shù)據(jù)加載這一步做了三件事一是保持原始圖像的動(dòng)態(tài)范圍不做過(guò)分歸一化二是每次迭代時(shí)隨機(jī)選擇一個(gè)噪聲等級(jí)從0.15到0.5之間隨機(jī)抽樣相當(dāng)于做了噪聲增強(qiáng)三是做隨機(jī)翻轉(zhuǎn)和旋轉(zhuǎn)增加樣本多樣性。隨機(jī)噪聲等級(jí)的代碼邏輯class SpeckleNoiseAugmentation(object): def __init__(self, low0.15, high0.5): self.low low self.high high def __call__(self, img): noise_level np.random.uniform(self.low, self.high) scale self.gaussian_rayleigh_scale(noise_level) noise np.random.rayleigh(scalescale, sizeimg.shape) noise noise / np.mean(noise, axis(1, 2), keepdimsTrue) return img * torch.from_numpy(noise).float()值得說(shuō)明的是這種隨機(jī)噪聲等級(jí)訓(xùn)練方式會(huì)在訓(xùn)練數(shù)據(jù)中引入豐富的噪聲強(qiáng)度分布模型不再針對(duì)某一個(gè)固定的σ過(guò)擬合泛化性能更好。我最后測(cè)試時(shí)發(fā)現(xiàn)采用隨機(jī)噪聲等級(jí)訓(xùn)練的模型在中噪聲和高噪聲場(chǎng)景下PSNR比固定噪聲等級(jí)訓(xùn)練分別高出1.2dB和2.1dB左右提升非常顯著。4.2 DnCNN訓(xùn)練主流程從數(shù)據(jù)流水線到損失函數(shù)DnCNN的代碼在網(wǎng)上很多但多數(shù)是針對(duì)灰度自然圖像的訓(xùn)練超參不一定適合超聲圖像。我這邊給出一個(gè)能直接跑的PyTorch訓(xùn)練循環(huán)重點(diǎn)在以下幾個(gè)地方做了調(diào)整。第一優(yōu)化器用Adam初始學(xué)習(xí)率1e-4配合余弦退火衰減第二損失函數(shù)用L1損失而不是L2損失超聲圖像去噪時(shí)L2損失容易產(chǎn)生平滑效應(yīng)L1能在像素級(jí)別更好保留邊緣梯度第三訓(xùn)練過(guò)程中使用混合精度AMP顯存占用能降低40%。import torch import torch.nn as nn import torch.optim as optim from torch.cuda.amp import GradScaler, autocast from model.dncnn import DnCNN model DnCNN(in_channels1, out_channels1, num_layers17) model model.cuda() criterion nn.L1Loss() optimizer optim.Adam(model.parameters(), lr1e-4) scheduler optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max100) scaler GradScaler() for epoch in range(100): model.train() running_loss 0.0 for noisy, clean in train_loader: noisy, clean noisy.cuda(), clean.cuda() optimizer.zero_grad() with autocast(): residual model(noisy) denoised noisy - residual loss criterion(denoised, clean) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() running_loss loss.item() scheduler.step() print(fEpoch {epoch1} | Loss: {running_loss/len(train_loader):.6f})有個(gè)關(guān)鍵細(xì)節(jié)DnCNN輸出的不是去噪圖而是預(yù)測(cè)的噪聲殘差所以去噪結(jié)果在訓(xùn)練時(shí)必須在框架內(nèi)部計(jì)算denoised noisy - residual不能直接拿網(wǎng)絡(luò)輸出和clean比較。很多同學(xué)踩過(guò)這個(gè)坑明明模型結(jié)構(gòu)沒(méi)錯(cuò)但Loss收斂得很慢就是因?yàn)樵谳敵龆松倭诉@一步。4.3 RED30、Attention U-Net、SwinIR的工程化配置差異這幾個(gè)模型的訓(xùn)練代碼框架基本一致區(qū)別主要體現(xiàn)在模型定義、損失權(quán)重和分布式訓(xùn)練的配置上。我挨個(gè)說(shuō)下實(shí)測(cè)時(shí)碰到的關(guān)鍵點(diǎn)。RED30的30層結(jié)構(gòu)比較深直接用BN在前幾輪訓(xùn)練時(shí)對(duì)batchsize大小非常敏感。如果batchsize小于4BN的均值方差估計(jì)不穩(wěn)定會(huì)嚴(yán)重拖慢收斂。我在配置中把BN替換為InstanceNorm小batch訓(xùn)練穩(wěn)定性明顯改善。這一步修改在醫(yī)學(xué)圖像小數(shù)據(jù)集上幾乎是必須的。Attention U-Net去噪時(shí)要特別注意跳躍連接處的注意力輸出。它對(duì)特征進(jìn)行softmax加權(quán)初始階段注意力權(quán)重接近均勻分布訓(xùn)練初期網(wǎng)絡(luò)幾乎退化成一個(gè)普通U-Net。如果訓(xùn)練資源有限可以從普通U-Net的預(yù)訓(xùn)練權(quán)重初始化 Attention部分再微調(diào)整個(gè)網(wǎng)絡(luò)。這個(gè)技巧能省下大約30%的訓(xùn)練時(shí)間并且最終效果更好。SwinIR的配置稍微麻煩一點(diǎn)它有窗口注意力的概念輸入圖像尺寸必須能被窗口大小整除否則會(huì)出錯(cuò)。超聲圖像尺寸往往是512×512或者800×600后者不能被8的倍數(shù)整除訓(xùn)練前需要做padding或者裁剪。我統(tǒng)一采用隨機(jī)裁剪成256×256的patch來(lái)訓(xùn)練測(cè)試時(shí)使用滑窗拼接推理。另外SwinIR主要針對(duì)RGB圖像輸入是3通道超聲圖像是單通道灰度圖所以第一層卷積需要把輸入通道改成1別忘記。4.4 推理與后處理別把好東西毀在最后一步模型訓(xùn)練完后推理階段也有不少講究。首先是輸入數(shù)值范圍必須和訓(xùn)練時(shí)一致訓(xùn)練時(shí)圖像歸一化到0~1推理時(shí)如果直接輸入原始0~255的圖像模型輸出就會(huì)完全偏離預(yù)期。其次是對(duì)數(shù)變換要記得恢復(fù)如果在預(yù)處理階段做了log變換推理后必須做exp變換還原否則圖像動(dòng)態(tài)范圍是壓縮的臨床上沒(méi)法看。還有一個(gè)容易被忽略的點(diǎn)很多模型對(duì)輸入圖像做了歸一化后再訓(xùn)練意味著推理后要重新縮放回原始灰度范圍。我見(jiàn)過(guò)有同學(xué)在推理代碼里忘記反向歸一化輸出的去噪圖整體偏暗差點(diǎn)誤判模型效果差。推理代碼的簡(jiǎn)要版本def denoise_image(model, noisy_img, log_transformTrue): model.eval() with torch.no_grad(): if log_transform: noisy_log torch.log(noisy_img 1e-6) else: noisy_log noisy_img # 歸一化到0~1 min_val noisy_log.min() max_val noisy_log.max() noisy_norm (noisy_log - min_val) / (max_val - min_val 1e-8) noisy_input noisy_norm.unsqueeze(0).cuda() with autocast(): residual model(noisy_input) denoised_norm noisy_input - residual # 還原歸一化 denoised_log denoised_norm.squeeze(0) * (max_val - min_val) min_val if log_transform: denoised_img torch.exp(denoised_log) else: denoised_img denoised_log return denoised_img.cpu()5. 實(shí)測(cè)結(jié)果對(duì)比5種模型在同一批超聲圖像上的表現(xiàn)5.1 定量指標(biāo)匯總誰(shuí)贏在PSNR誰(shuí)贏在速度我把5種模型在乳腺超聲數(shù)據(jù)集300張測(cè)試圖上的表現(xiàn)匯總到了一起按中噪聲強(qiáng)度σ0.35給出數(shù)據(jù)參數(shù)量里的單位是M百萬(wàn)推理時(shí)間是在單張NVIDIA RTX 3090上、輸入256×256灰度圖的平均耗時(shí)。模型PSNR (dB)SSIMEPI訓(xùn)練參數(shù)量 (M)單幀推理時(shí)間 (ms)DnCNN28.460.8750.520.564.2RED3029.130.9040.613.858.7Attention U-Net29.580.9180.587.249.3SwinIR30.020.9310.6611.8242.5NBNet30.210.9350.715.1612.8定量指標(biāo)是個(gè)很誠(chéng)實(shí)的東西但只反映一部分問(wèn)題。SwinIR在PSNR和SSIM上非常亮眼EPI也不錯(cuò)參數(shù)量最大、推理最慢也是不爭(zhēng)的事實(shí)。DnCNN的PSNR雖然不是最低但EPI明顯偏低說(shuō)明它在壓制噪聲的同時(shí)把組織邊緣也“壓扁”了。NBNet在各項(xiàng)指標(biāo)上綜合表現(xiàn)最好且推理時(shí)間還可以接受對(duì)于臨床落地場(chǎng)景來(lái)說(shuō)是個(gè)不錯(cuò)的折中。5.2 視覺(jué)質(zhì)量評(píng)估指標(biāo)好看不等于臨床能用指標(biāo)只是敲門磚真正決定模型能否上線的還是醫(yī)生的肉眼判斷。我找了兩名有經(jīng)驗(yàn)的超聲科醫(yī)生朋友讓他們重點(diǎn)觀察三類結(jié)構(gòu)囊腫邊界、甲狀腺結(jié)節(jié)邊緣、血管壁回聲。結(jié)果很有意思指標(biāo)上接近的模型在醫(yī)生的視覺(jué)評(píng)估里差異非常大。DnCNN處理后的圖像整體干凈但囊腫邊界變模糊醫(yī)生說(shuō)這種圖像會(huì)干擾測(cè)量實(shí)操中不敢直接使用。RED30的邊界保持好但在低回聲的囊性區(qū)域有些殘留噪聲醫(yī)生說(shuō)這倒是能接受因?yàn)榈突芈晠^(qū)域的散斑本身就會(huì)存在不影響診斷。SwinIR和NBNet在視覺(jué)質(zhì)量上比較接近細(xì)節(jié)豐富邊界清晰不太有“涂抹感”。有一點(diǎn)必須提醒去噪模型最大的雷區(qū)是產(chǎn)生“偽影”。某些GAN類的去噪模型會(huì)生成看起來(lái)極其清晰自然、但實(shí)際上并不存在的組織結(jié)構(gòu)這在醫(yī)學(xué)場(chǎng)景里是絕對(duì)不能接受的。我這次沒(méi)選GAN類模型正是因?yàn)樗摹盎糜X(jué)生成”風(fēng)險(xiǎn)太大。NBNet這類重建式模型則是在已有信息基礎(chǔ)上恢復(fù)被噪聲掩蓋的信號(hào)不會(huì)被強(qiáng)行“腦補(bǔ)”出新的結(jié)構(gòu)。5.3 參數(shù)量、訓(xùn)練成本與部署友好度選模型還要看團(tuán)隊(duì)資源。DnCNN參數(shù)量最小CPU都能跑推理非常適合嵌入式設(shè)備SwinIR效果最好但速度堪憂在實(shí)時(shí)超聲診斷場(chǎng)景基本沒(méi)法用。NBNet介于二者之間如果團(tuán)隊(duì)有邊緣計(jì)算盒子或者高性能工作站NBNet是個(gè)很好的選擇。RED30和Attention U-Net的推理時(shí)間可接受但參數(shù)量比DnCNN大不少模型文件也大需要考慮內(nèi)存帶寬。訓(xùn)練成本方面SwinIR的顯存占用最大即使batchsize降到4在16GB顯存下也有些吃力RED30在8GB卡上可以用batchsize 8訓(xùn)練DnCNN最輕量4GB顯存就能應(yīng)付。我做了一個(gè)簡(jiǎn)單的選型建議如果你的項(xiàng)目是離線處理比如回顧性研究、影像歸檔優(yōu)先考慮NBNet或SwinIR如果是嵌入式床旁設(shè)備的實(shí)時(shí)去噪DnCNN或精簡(jiǎn)版RED30可能更實(shí)際如果精度優(yōu)先但速度也要兼顧NBNet是最平衡的選擇。6. 實(shí)操中遇到的高頻問(wèn)題與排查技巧6.1 訓(xùn)練不收斂或損失下降緩慢超聲圖像的訓(xùn)練數(shù)據(jù)量通常不大模型容易出現(xiàn)過(guò)擬合或訓(xùn)練不穩(wěn)定的情況。我遇到過(guò)損失降到1.0左右就卡住不動(dòng)的場(chǎng)景排查看下來(lái)總是出在預(yù)處理上。第一是數(shù)據(jù)歸一化范圍不一致訓(xùn)練和驗(yàn)證用了不同的標(biāo)準(zhǔn)化方式第二是L2損失導(dǎo)致對(duì)噪聲極值點(diǎn)敏感換成L1或者結(jié)合感知損失會(huì)有明顯改善第三是學(xué)習(xí)率設(shè)置太高導(dǎo)致震蕩尤其SwinIR在小數(shù)據(jù)集上非常容易震蕩需要把學(xué)習(xí)率降到2e-5以下。排查方式很簡(jiǎn)單在訓(xùn)練前先跑一個(gè)batch的過(guò)擬合測(cè)試看能否讓loss降到很小如果連一個(gè)batch都擬合不了基本就是代碼邏輯或數(shù)據(jù)流出了問(wèn)題。6.2 去噪后出現(xiàn)“塑料感”或組織紋理丟失“塑料感”的本質(zhì)是過(guò)度平滑模型把組織顆粒感當(dāng)成噪聲給抹平了。這個(gè)問(wèn)題在DnCNN上出現(xiàn)的概率最高因?yàn)闅埐顚W(xué)習(xí)的目標(biāo)就是“能去掉的部分都去掉”如果訓(xùn)練數(shù)據(jù)中的噪聲強(qiáng)度分布比較寬模型會(huì)傾向于把很多頻段的信息都當(dāng)成噪聲處理。改善手段有兩個(gè)思路一是從數(shù)據(jù)端下手讓噪聲仿真更接近真實(shí)散斑統(tǒng)計(jì)特性不要為了提PSNR而把訓(xùn)練噪聲強(qiáng)度調(diào)得過(guò)高二是從模型端下手在損失函數(shù)中增加邊緣保持損失比如梯度差損失讓模型在去除噪聲的同時(shí)必須保留邊緣梯度。我用梯度損失之后“塑料感”明顯減輕醫(yī)生評(píng)分也隨之提升。6.3 真實(shí)超聲圖像沒(méi)有配對(duì)數(shù)據(jù)怎么辦很多同學(xué)拿著模型跑到真實(shí)設(shè)備上去測(cè)試結(jié)果發(fā)現(xiàn)訓(xùn)練時(shí)仿真噪聲和真實(shí)噪聲差異太大效果遠(yuǎn)不如預(yù)期。這個(gè)問(wèn)題有兩個(gè)方向可以解決。一是“無(wú)監(jiān)督/自監(jiān)督”路線像Self2Self、Noise2Self這類方法利用相鄰像素的相關(guān)性來(lái)訓(xùn)練只需要帶噪圖像本身就可以不需要干凈真值。我在小樣本真實(shí)超聲上試過(guò)Noise2Self的思路雖然沒(méi)有監(jiān)督訓(xùn)練那么高指標(biāo)但勝在真實(shí)場(chǎng)景下穩(wěn)。二是“仿真到真實(shí)遷移”路線用CycleGAN等對(duì)抗方法把仿真噪聲圖像遷移得更像真實(shí)超聲噪聲再訓(xùn)練去噪模型。但這涉及GAN的穩(wěn)定性問(wèn)題訓(xùn)練難度高生產(chǎn)環(huán)境要慎重。6.4 部署到實(shí)時(shí)設(shè)備時(shí)的通病內(nèi)存與延時(shí)瓶頸即使模型訓(xùn)練效果很好到了部署環(huán)節(jié)也會(huì)遇到一堆坑。我踩過(guò)最典型的一個(gè)坑是PyTorch框架的推理延遲達(dá)標(biāo)了但轉(zhuǎn)成ONNX后輸出結(jié)果和PyTorch相差很大尤其在圖像邊緣區(qū)域卷積對(duì)齊方式padding策略變了導(dǎo)致結(jié)果偏移。解決方案是推理時(shí)把輸入圖像padding成卷積核能整除的尺寸轉(zhuǎn)ONNX時(shí)固定pad策略避免動(dòng)態(tài)尺寸帶來(lái)的隱式padding變化。還有一點(diǎn)是關(guān)于顯存和內(nèi)存管理如果用TensorRT加速要注意動(dòng)態(tài)shape的限制超聲設(shè)備在運(yùn)行時(shí)圖像尺寸可能變化建議把輸入統(tǒng)一縮放或裁剪到固定尺寸避免頻繁觸發(fā)TensorRT的engine重建。SwinIR這類基于Transformer的模型在TensorRT上不是所有算子都有優(yōu)化有些算子會(huì)退回到CPU執(zhí)行推理速度驟降部署前最好先對(duì)整個(gè)算子列表做兼容性審計(jì)。我個(gè)人在實(shí)際操作中最大的體會(huì)是在醫(yī)學(xué)圖像處理里“穩(wěn)妥”永遠(yuǎn)比“花哨”重要。任何一個(gè)可能在臨床場(chǎng)景引入錯(cuò)誤信息的模型無(wú)論它的PSNR刷到多高都是不可接受的。所以如果你的項(xiàng)目剛起步我建議不要一上來(lái)就追求最新最強(qiáng)的模型先把DnCNN這套“殘差學(xué)習(xí)隨機(jī)噪聲等級(jí)嚴(yán)格數(shù)據(jù)前處理”的流程完全跑通再去嘗試NBNet或SwinIR。后續(xù)如果要在真實(shí)設(shè)備上落地可以考慮在模型前增加一個(gè)輕量的噪聲水平估計(jì)模塊讓模型自適應(yīng)不同設(shè)備并且在推理環(huán)節(jié)做嚴(yán)格的灰度范圍校驗(yàn)。這個(gè)方向做深了你會(huì)發(fā)現(xiàn)超聲去噪對(duì)輔助診斷的價(jià)值遠(yuǎn)比想象中要大。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷久久大香蕉| 婷婷五月天久久| av在线观看网站| BT综合在线视频观看| 丁香婷婷久久| 五月天婷婷中文字幕在线播放| www.久99| 涩涩五月天| 婷婷五月丁香伊人| 五月天婷婷色播在线网| 五月色综合| 天天日天天肏天天奸| 91久久九久久九久久九久久九久久| 色 免费网站视频| 欧洲第一无人区观看| 天天激情| 中文字幕色色色| 原琪琪色影院| 婷婷五月天丁香激情| 狠狠色成人影片| 丁香五月六月激情久久| 日日射天天射| 888精品福利地址| 亚洲精级| 综合狠久久| 另类视频综合| 激情人妻综合| 91久久电影| 午夜精品777| 在线中文亚洲| 久久久jd| 另类亚洲电影| 丁香婷婷五月份| 激情综合五月| 成人版视频在线观看| 69午夜成人影片| 性视频久久| 偷偷与邻居做爰完整视频| 日日噜噜夜夜狠狠久久丁香五月| 婷婷丁香色情五月天| 99热欧| 五月天婷婷社区久久综合| 亚洲午夜在线视频| 丁香激情综合| 伊人九九九久| 蜜乳AV成人| 99视频只有精品| 久久色天堂| 色射婷婷五月天| www.婷婷| 久热只有这里有精品| 久热99视频在线观看| 日韩色色视频| 老师的粉嫩小又紧水又多A片视频| 99久.| 一级黄色尤物综合视频手机在线观看| 五月天涩涩| 99精品久久久久久久婷婷久久| 少妇丁香婷婷 | 白人荫道BBWBBB大荫道| 思思re最新视频| 亚洲精品色| 婷婷五月激情丁香| 最近中文字幕2019视频1| WWW,五月| 大伊香蕉精品视频在线 | 久热99视频在线观看| 国产精品久久久爽爽爽麻豆色哟哟| 婷婷激情社区| 国产性av| 91丨九色丨白浆秘| 色播五月丁香婷婷| 丁香五月天激情视频| 婷婷深爱五月丁香网| 影音先锋人妻出差| 26UUU欧美激情一区二区| 激情综合丁香五月| 亚洲欧美成人在线| 综合色、色综合| 激情AV网| 国产成人av在线播放| 日韩啪啪视频| 色青青五月| 六月五月久久丁香| 色婷小说| 色婷五月| 免费看成人747474九号视频在线观看| 操骚货在线| 五月天婷婷综合| 日韩少妇内射免费播放| 日本啪啪网| 99热国品免费| 26uuu亚洲| 婷婷午夜综合| 青青草国产亚洲精品久久| 欧美成人AAA片一区国产精品| 久久AAAA片一区二区| 日本综合99| 九九Y精品热播| 伊人久久丁香狠狠婷婷综合香蕉| 中文字幕AV网址| 在线不卡视频| 激情五月天小说| 99精品在线观看视频| 337p大胆噜噜噜噜噜91Av| 五月激情婷婷丁香| 亚洲热久| 天天摸天天高潮天天爽| 日日爽日日| 亚洲乱码日产精品BD| 精品视频网| 丁香色六月婷婷| 五月激情开心婷婷| 久久婷五月| 欧美成人精品A片免费一区99| 做爰丰满少妇1313| 九九久久精品| 久久综合影院 | 五月丁香激情婷婷| Caoub青青超碰| 久久久久9999| 欧美影院| 色五月中文字幕| 人妻爽爽爽久久久久久久久| 四虎成人精品永久免费AV九九| 人妻熟女一区二区AV| 七七九色| 激情五月综合| 搡BBBB搡BBB搡五十| 午夜日日| 亚洲色激情| 婷婷综合激情| 久久五月婷婷电影| 亚洲九九夜夜| 99在线视频播放| 五月婷婷丁香五月婷婷| 中字幕视频在线永久在线观看免费| 欧美日韩国产成人在线| 色噜噜在线| 亚洲天堂久久| 91人人网| 婷婷久久五月| 中文字幕永久免费| 超碰成人在线观看| 日本色久| 九九热大香蕉| 99色视频在线观看最新| 成人av在线网址| 97超级啪啪在线观看| 婷婷六月丁香开心深深爱| 色婷婷五月视频| 裸睡玩奶头(高H)| www.五月天色色.com| 五月天激情图| 色婷婷狠狠久久综合五月| 五月色丁香综合| 91婷婷搞| 五月天丁香啪啪综合| 婷婷五月天成人网| www.91色| 精品国产AV色一区二区深夜久久| 99热欧| 五月婷婷激情网| 色综合大香蕉| 色久综合| 色婷婷色五月综合| 99精品偷拍视频| 深爱婷婷丁香五月激情| 久啪欧美| 99热1| 狠狠se| 丁香五月在线观看| 99啪| 亚洲中文字幕在线观看| 亚洲经典小视频| 亚洲春色奇米影视| 五月激情婷婷丁香天堂| 67194成I人在线观看线路1| 日良久久| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 华人在线免费| 一级七香蕉| 天天干天天干天天干天天干天天| 91人人人人人人人| 久综合| PORNY九色9l自拍视频成人| 六月色婷婷综合影视| 五月天另类图片| 色五月婷婷91在线| 操91| Av性爱网站| http:色情日本com| 超碰人人干| 久Se视频在线观看| 国产偷人爽久久久久久老妇APP| 久久曰曰| 伊人超碰在线| 欧美色久| 色五月色综合| 超碰在线中文字幕| 国产乱子轮XXX农村| 成人性爱精品视频| 在线色色| 色哟呦av| 99热精品在线| 99热这里只有精品在线播放| 九九碰九九爱97| 大香蕉九九| 色色色色网色色网色色| 久久久思思热| 中文AV在线观看| 日本色色图| 西瓜美女a片| 夜夜躁婷婷AV| 久久丁香网| 欧美乱码国产一级A片| 婷婷激情五月天网站| 超PEN精品在线| 类似婷婷激情综合网站| 五月欧美色色五月| 色婷婷五月基地在线| 99精品偷拍视频| 五月丁香操婷逼| 蜜乳.comcom| 丁香六月婷婷色XXXXX| 九九香蕉网| 狠狠搞狠狠操| 色婷婷激情五月天| 六月五月久久丁香| 色五月婷婷91| 色亭亭九月| 99色性爰网络| 欧美人人操| 六月婷婷色宗合| 亚洲av综合网| 超碰在线观看9| 久久五月天激情| 五月婷婷啪啪| 在线观看的av| 亚洲AV网址| 亚洲丁香五月在线观看| 天天干天天色天天干| 99小视频| 九九热这里只有精品7| 99热亚洲综合| 九九re视频在线视频| 欧美性生交XXXXX无码小说| 七七色色综合| 日本天堂免费99| 深爱1激情网| 婷婷五月天熟妇| 日日干天天| 开心五月激情站| 久久久99视频| 激情五月婷婷| 夜夜爱影院| WWW、日本色丁香、co m| 97婷婷色| AA片在线观看视频在线播放| 欧美黑人巨大性生话| 综合激情站| 天天插天天射| 丁香五月色五月| 丁香五月天成人网站| 99成人免费热视频| 五月久久婷婷成人网| 另类五月激情| 色欧美影院| www,26uuu,c0m,色情| 五月花丁香婷婷| 五月色俺婷婷| 六月丁香激情| 99在线观看| 色情五月婷| 五月天久久网站| 玖玖五月| 99在线观看| 色情五月丁香| www.久99| 国产亚洲成人综合| 婷婷九月丁香天堂丁香天堂| 亚洲综合视频网| 99大香蕉| 在线五月色播| 激情五月天之六月婷婷| 美女婷婷六月色| 夜夜做天天爽| 玖玖五月丁香| 操一区| 九九热精品视频在线观看| 超碰国产在线| 久久丁香九| 欧美啪啪9| 五月婷婷三级| 色色亚卅| 色五月天丁香婷婷| 少妇性BBB搡BBB爽爽爽视頻| 五月婷免费视频| 吊色AV男人的天堂| 五月激激网w'w'w| 99亚洲综合| 插少妇综合网| 激情无码网| 日韩aaa| 熟妇内谢69XXXXXA片| 九九久久玖玖爱| 五月天三级久久| 性爱网久久| 3p日韩网站视频| 精品国产va久久久| 丁香五月天激情综合| 日本人妻伦在线中文字幕 | 99日逼视频| 噜噜噜噜噜在线| 久热这里只有精品在线观看 | 国产欧美大香蕉一区| 激情久久综合网| 99精品自拍视频| 人妻肉射免费观看| 婷婷香五月天| 9久9久| 婷香五月网在线| 啪啪六月婷婷| 青草视频在线观看视频 | 五月精品| 九月丁香很很色| 色在线99| 激情五月天开心总和网| 极品人妻VIDEOSSS人妻| 操人91| 中文字幕乱轮| 五月天福利影院导航| 狠狠爱五月婷婷| 插插插色综合网| 成人欧美日韩| 97碰碰电影| 丁香五月婷婷姐| 97人人操| 9久操| 美女100%露全身无挡网站| 日本女人久久| 91激情五月开心| 国产精品美女久久久久AV超清| 色色色天堂网| 五月天激情亚洲| wwwss在线观看| 色狠狠色综合久久久绯色AⅤ影视| 色色色色色色色色色999| 久久伊人五月天| 五月丁香色色色| 天天噜天天爱| 精国产品一区二区三区A片| 超碰93在线观看| 色性五月天| 欧美日韩中文国产一区发布| 丁香月五月天婷婷久久| 色色色999| 久热婷婷| 久久综合影院| 蜜臀av粉嫩av懂色av| 操逼在线视频| 五月婷婷久草| 极品五月天| 五月丁香六月日逼| 在线99热| 丁香五月婷婷动漫| 日韩一区二区A片免费观看| 99久久综合| 丁香婷婷色色| 久久久人妻人伦| 香蕉国产2013| 草综合网| 色欧美一级| 五月丁香六月婷婷中文版| 激情五月天网站| 六月丁香久久| 亚洲妇女熟BBW| 99超在线| 26uuu成人网| 色六月天| 婷婷九色| 婷婷色五月丁香六月欧美啪| 99热99色| 激情婷婷五月天| 亚洲天天免费| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 婷婷丁香五月在线播放| 国产精品人妻在线网址| 婷婷操逼| 国产婷婷综合| 91精品91久久久久77777| 伊人综合网4| 五月Huangsewang| 久久这里只有国产视频| 99综合熟女| 日韩 中文 欧美| 精品久久9| 九九热在线精品视频| 婷婷五月天最新综合你懂的 | 人妻第九页| 人人草人人爱手机视频看看| 丁香五月综合激情性爱| 亚洲成人在线播放| 天天天天天久久久久久| 五月天久久www| 六月激情综合| 啪啪小说五月天| 日本啪啪天堂| www.99操.com| 国产激情视频在线观看| 无码任你操| 色婷婷亚洲婷婷| 亚州美女| 99丁香五月婷| 开心色播色五月婷婷| 超碰97色| 成人精品视频99在线观看免费| 狠婷婷五月| 99久久视频| 久久在线大香蕉| 狠狠操综合| 丁香五月-激情综合| 五月天成人小说| www..999热久| 狠狠色激情在线| 99啪视频在线观看| 色色欧美。| 国产免费一区二区三区三州老师F1F1.CC| 婷婷五月激情四月综合 | 99免费在线视频| 伊人久久艹| 色导航色婷婷五月天在线观看| 日韩欧美一级大黄网站| 色五月中文字幕| 深爱五月天| 99色| 26uu| 激情com| 9伊人网| 亚洲蜜桃精久久久久久久久久久久| 久久人妻精品| 夜夜操天天爽| 六月色狠狠色| 五月婷婷干干干| jiujiu热在线视频| 婷婷五月欧美综合| 色日本综合| 五月丁香直播| 丁香九月婷婷| 色婷婷A| 精品亚洲国产成AV人片传媒| 色色色色色色色色综合网| 丁香五月日啪| 无码一区二区日韩| 热久久91| 99在线精品视频| 九九99九九精品视频| 日韩久热| 五月婷六月| 激情五月婷婷网| 亚洲 在线 性爱 | 天天色综网| AV 3P| www.99热日韩.com| 成人片在线免费看| 丁香五月久久社区| 久热爱大香蕉在线蜜臀悦色 | 嫩草视频| 久久五月婷综合网| 高清免费在线视频| 亚洲成人电影在线免费观看| 丁香五月瑟瑟| 激情淫乱男女| 五月天狠狠色| 激情文学第四色婷婷丁香五月| 色五月婷婷丁香凹凸| av中文字幕免费观看| 五月丁香六月| 色色婷| 开心五月网| 热九九精品| 亚洲色图啪啪| 伊人久久大香线蕉综合网站| 婷婷综合丁香| 成人五月天。COM| 人妻有码乱操| 九九综合网色全集| 婷婷丁香九月| 五月婷婷六月丁香激情深爱| 国产视频久色| 丁香五月激情婷婷激情| 五月丁香亚洲综合网| 伊人婷婷激情| 五月婷六月天| 天天天天天天噜| 亚洲六月婷| 亚洲综合在线丁香五月| 91久久婷婷人人澡草 | 在线日本www| 亚洲人人操| 欧美va视频| 五月婷婷另类| 丁香五月人妻熟女| 五月激情五月婷婷五月天在线| 97韩国久久电影院| 99热资源在线| www.婷婷| 亚洲成人中文字幕| 欧美婷婷六月丁香综合色| 色五月婷婷狠狠撸| 九九视频这里有精品| 99这里只有精品|v| 99热这里是精品| 成人中文网| 97超碰在线观看免费| 97操碰碰无码视频| 久久综合影院| av在线中文| 亚洲婷婷五月| 深爱激情丁香| 影音先锋一区二区三区| 九九激情网| 九九久久综合网站| 开心五月综合激情网| 超碰免费人人| 五月婷久草| 男女99免费视频| 欧洲激情五月天婷婷| 韩国三级五月天婷婷。| 激情五月天伊人av| 中文字幕在线日亚州9| 国产看真人毛片爱做A片| 六月丁香狠狠爱| 午夜美女人啪最红院| 免费观看的AV| 亚洲成人网站在线| 五月丁香六月婷精品视频| 美国十月色婷婷在线观看| 色五月婷婷网| 人妻激情在线| 天天综合影院| 国产av天堂| 久久香视频| 伊人五月天男人的天堂在线| 精品久久这里热66| 婷婷五月,综合伊人| 五月天色色色色色| 99精品视频免费观看,| 啪啪 综合网| 婷婷无五月无码视频| 日韩成人av在线| 五月婷婷官网色| 九九一区| 都市激情五月婷婷综合| 丁香五月婷婷啪啪| 久久婷婷丁香| 涩涩五月天| 91色综合久久| 日 日干 日日做| 超碰AV在线| 日韩在线一级| 狠狠穞A片一區二區三區| 鲁鲁色五月| 五月天婷婷自拍图片在线观看| 大香蕉天堂| 97超碰在线观看免费| 99成人精品| 99热一区| 日韩一区二区在线播放| 97人人操人人干| 91热网址| 久久9精品| 99玖玖在线视频| 99热这里只有精品9| 啪啪啪丁香五月| 天堂A∨在线| 色婷婷五月综合在线| 成人短视频免费| 久久婷婷激情视频| 红桃91人妻爽人妻爽| 九九久久这里只有精品XB| 天天综合精品| 婷婷久久婷婷色五月| 色五月激情五月| 色婷婷影视| se99视频| 开心五月激情| 人妻丰满精品一区二区A片| 思思网站| 影音先锋美国A| 婷婷激情六月中文| 深夜婷婷 丁香| 婷婷五月天伊人网在线观看视频| 久久R激情| 婷婷丁香五月久久| 欧美 色婷婷| 欧美激情综合色丁香婷婷五月天| 久久aaaaa| 五月天综合| 操操人人| 欧美槡BBBB槡BBB少妇| 婷婷五月天影视| 91精品刘玥| 日日噜噜夜夜狠狠久久丁香六月| 97色婷婷五月天| 碰超在线九色| 综合久久9| 欧美成性色| 国产成人精品123区免费视频 | 五月丁香六月欧美综合| 丁香婷在线| 黄色91在线观看| 九九干视频| 中文字幕婷婷五月天| 久热在线中文字幕色999舞| 丁香婷婷激情网站| 超碰人人操在线| 日日干夜夜干| 人。妻久久| 五月丁香黄色| 久草热8精品视频在线观看| 狠狠狠狠操| 91色涩| 狠狠狠狠狠狠| 婷婷亚洲综合| 亚洲视频丁香网va| 欧洲色区| 99啪啪网| 色五月视频无码播放| 色色色9 9 9| 夜夜骑夜夜操| 欧美狠狠色| 国产成人VA| 另类国产欧美视频| 久久免片| 婷婷狠狠操| 五月丁香亭亭成人电影| 成人永久免费视频在线观看| 清纯唯美 激情四射| 九九无码| 人人操操97| 亚洲av免费在线| 六月色色综合| 久久久中文| 九九综合88| 婷婷五月天激情诱惑| 成人电影一区| 色日本综合| 巴基斯坦粉嫩无码视频| 深爱五月综合网| 欧美乱码国产一级A片| 99操视频| 婷婷欧美激情综合| 天天舔天天摸视频| 中文久久久人妻| 国产精品操| 人妻有码乱操| 婷婷五月天天| 天天干天天插| 五月叮香啪| 婷婷久久免费| 激情五月综合亚洲另类| 日韩色五月| 婷婷五月天少妇| 99爱视频精品| 嫩草AV久久伊人妇女超级A| 亚洲色图81p| 国产精品久久久久久妇女6080| 五月婷婷激情网| 成年人看Va免费视频| 99精品在线下载| yazhou seshipin| 久久五月天婷婷| 天堂久久婷婷| 999婷婷综合| 久久婷婷综合国产| 五月婷婷,狠狠操| 色色色五月| 欧美成人一区二区三区在线视频| 99只有精品| 久久五月天综合| 99自拍网| 五月丁香成人网| 午夜免费试看| 超碰久热| 国产精产国品一二三在观看| 久久伊人大香蕉| 色情五月婷| 91狠狠色丁香| 五月婷婷AV| 精品久久久人妻| 五月天婷婷丁香社区| 日本成人噜噜| 五月婷婷中文| 天天做天天爱天天高潮| 亚洲六月色婷婷| 日本视频99| 97碰在线| 色噜噜综合网| 爱iii做iiii日| 香蕉99网| 婷婷成人AV| 色一情一乱一乱91Av| 97在线视频人妻九色| 激情五月丁香五月| 天天射综合网站| 夜夜操夜夜操| 色婷婷丁香五月| 91久久久久久| 五月婷婷 激情按摩| 亚洲无码影音| 精品99在线观看| 五月丁香另类图片| 久久成人性爱| 综合色激情| 久久99综合网| 91碰碰碰| 人人综合色| 国产熟女一区二区三区五月婷| 婷婷丁香视频在线观看免费| 色色婷婷综合网| 激情文学五月丁香六月婷婷| 99爱爱| 久久人妻精品| 欧美色色日韩| 色五月丁香六月资源站| 99久久99热这里只有精品| av色色国产| 五月天偷拍| 七月丁香婷婷 色色| 2016日日夜夜操| 99热成人精品| 精品久久这里热66| 久久99网| 97涩婷婷婷婷基地| 99热日韩| 99这里只有精彩视频| 视色网在线播放| 婷婷五月天在线视频网站| 99热免费18| 久久色亭亭五月天| 久久久精品色色色| 丁香五月丁香伊人| 欧韩性爱| 开心五月婷婷| 丁香五月手机在线| 欧美啪啪网| 天天色天天爱天天舔| 激情五月婷婷中文字幕| 五月婷婷深深爱| 九九青青草成人| 99热色精品| 深爱激情四射| 一级操逼内射在线视频| 《诡秘之主》在线观看 | 少妇性按摩无码中文A片| 婷婷热色| 天天草婷婷五月| 婷婷六月啪啪| 国产成人精品一区二三区熟女在线| www.刺激色网站www.| 天堂爱爱| 色综合网址| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 天天操天天干天天射| 色欲av伊人久久大香线蕉影院| 开心五月色婷婷综合开心网| www.婷婷| 天天干,天天操,天天射| 人妻操逼视频| 色逼综合网| 天天爽成人综合网站| 婷婷五月天网| 狠狠色综合网站久久久久| 国产精品久久99| 久久伊人婷婷| 色九月欧美| 久久久精品人妻| 91精品91久久久久77777| 人妻内射麻豆视频| www色色com| 99亚洲精品综合在线| 99久热这里有精品| 女人天堂AV| 色播婷婷大香蕉| 婷婷的色色五月天| 亚洲国产网站| 无套内射极品大美女| www.99热精品99.com| 97五月天婷婷| 日本97在线观看| 五月婷婷视频28| 97色碰碰公开视频| 九九精品热| 吾爱AV导航| 天天综合中文| 丁香视频| 色情五月婷| 99福利导航| 大香蕉婷婷五月天| 久久综合99| 99热6这里只有精品| 婷丁香久综合| 欧美大片免费播放器| 五月婷婷偷| 日本人妻伦在线中文字幕| 婷婷五月天播| 成人无码髙潮喷水A片| 丁香五月久久综合| 色色色9 9 9| 99久久玖玖| 日日噜噜夜夜狠狠久久丁香六月| 色久九| 色婷婷电影网| 国产成人精品一区二三区熟女在线| 深爱激情五月天色婷婷| 丁香婷婷九月在线| 亚洲色情网站| 日日天天干| 国产午夜精品一区二区| 亚洲综合久| 狠狠夜夜五月丁香| 久久精品凹凸分类| 狠狠干,狠狠操| 九九aV| 五月丁香久久| 色六月视频| 久久性刺激| 日韩成人综合网| 国产探花AV在线| 日韩久久欧亚| 综合激情婷婷| 五月综合激情综合久| 丁香久月婷| 久久伊人五月天| 亚洲夜夜操| 五月丁香六月激情综合| 五月婷婷基地| www.开心激情| 日韩在线视频中文字幕| 99热这里只有精品中文字幕| 五月天婷婷激情春色小说| 九月丁香很很色| 五月婷婷偷拍| 五月婷婷综合色拍| 国产三级片91| 江苏少妇性BBB搡BBB爽爽爽| 五月天精品| 99精品视频在线6| 成人精品网站在线观看| 亚洲AV免费在线| 婷婷五月天激情免费在线观看| 爱久综合| 第九色区av天堂| 天天爽天天爽视频| 99re熱| 91亚洲免费片| 欧美色五月| 天天人人人人人人人人人人人| 精品一二三区视频立| 色色丁香五月| 婷色天堂| 亚洲色婷婷| 婷婷激情在线| 色欲久久99精品久久久久久| 天天综合 99久久婷婷| 影音先锋 91工厂| 九九色色| 9久热视频| 天天日天天爽| 成人在线视频网| 天天爽夜爽| 激情五月婷婷综合视频| 99热免费精品热久久66| 99色日本| 蒲京久久无码视频| 操99| 久久性视频| 99视频只有精品| 天天日夜夜B久久| 好看的国产精品| 激情婷婷综合网| 99久久66| 婷婷五月av| 五月激情天| 久久九九网| 九月婷婷色色| 伊人婷婷五月天| 99热中文字幕久久| 五月综合六月丁| 九九色中文| 婷婷激情在线| www.五月丁香| 9久久精品视频| 操b视频在线观看一区二区| 嫩草AV久久伊人妇女超级A| 91久久久久久| 久久婷婷精品| 伊人五月天在线| 综合久久9| av在线观看网站| 久久九九热视频| 六月婷婷久久大全| 五月婷婷co.m| 天天日日天天| 婷婷成人丁香色情基地30| 五月天堂婷婷| 第六色在线| 五月婷婷成人w| 99热这里只有精品33| 亚洲丁香五月深爱五月| 玖操97| 久久开心五月婷婷| 色婷婷色五月综合| 天天综合网网欲色| 天天天综合网| 精久久色| 五月激情六月宗合| 丁香婷婷激情| 激情综合色网| 激情六月天| 免费无码毛片一区二区A片| 久久99国产综合精品免费 | www.婷婷五月| 五月婷婷激情| 婷婷五月天免费99| 日本nghangse中文字幕| 99re思思久久| 五月婷婷综合网| 91久久精品国产91性色TV| 影音先锋 萱萱| 啪啪啪丁香五月| 激情婷婷九月| 99热啪啪| 开心综合激情综合| 亚洲精品婷婷| av在线观看免费| 五月大香蕉| www.99精品日操伊人乱碰在线| 国产全是老熟女太爽了| yirenjiqingshiping| 久操97| 国产成人av在线| 亚州激情在线视频| 四月婷婷丁香| 久久久久这里只有精品| caop在线视频| 丰满少妇猛烈A片免费看观看| 婷婷五月天av小说| 五月天天综合| 色色色在线播放| 激情五月丁香综合网站| 狠狠狠狠狠操| 亚洲AV日韩无码| 狠狠干综合| 日本不卡高字幕在线2019| 色玖玖网| 婷婷五月激情网站| 成人色色视频| 91狠狠综合久久| 丁香五月婷婷啪啪视频| 超碰啪啪网| 91丨九色丨大屁股| 激情五月婷婷色| 五月色网| 国产av天堂| 五月婷婷日本| 五月在在观看| 在线中文av| 激情五月激情综合网| 久久99久久久久久久噜噜| www.国产亚洲69ty.久久久久久久久久久久| 欧洲综合色| 久久99久久99久久99人受| 超碰97在线观看免费| 大香网伊人久久综合| 久热A| 九九热在线视频| 午夜激情婷婷| 这里只有精品网站| 狠狠干综合网| 夜夜夜叫天天天做| 99ri精品视频在线观看| www.韩日视频| 激情九月综合| 国产精品18久久久| 99思思热只有在这里看| 亚洲AV日韩无码| 婷婷五月天国产传媒| 99色 | AV大香蕉| 国产一级黄色影片,| 任你搞网站| 亚洲色情激情丁香五月| 五月天停停日日| 中字幕视频在线永久在线观看免费| ji'qi'luan'ren'lun| 中美日韩成人在线| 91久久精品国产91性色TV| 天天做天天爱天天爽| 亚洲色婷婷99一9|| 九九大香蕉黄色影院| 国产AV一区二区三区日韩| 色九九九九| 噜综合| 99视频网址| 久热婷婷综合| 午夜成人AV在线| 婷婷五月天综合小说网| 丁香六月婷婷综合激情欧美| 色一情一乱一乱91Av| 久久精品99国产精品日本| 六月婷婷综合激情| 久久久久久综合五月婷婷| 97人人操人人爽| 婷婷激情五月天小说| 疯狂做受XXXX高潮A片| 丁香五月电影| 五月性色| 伊人婷婷五月| 少妇激情基地| 激情婷婷九月| 日本久碰| 国产做A爰片毛片A片美国| 狼人狠狠操| 婷婷五月天高清无码| 深爱激情五月天色婷婷| 成人短视频在线观看| 东京热免费视频网站| av操逼网| 99久久久久| 99操碰| 婷婷五月天BBw| 5月丁香综合网| 综合色五月| 伊人婷婷91| 综合激情四射一theav| 在线观看免费人成视频无码| 深爱五月激情| 成人丁香| 九九热经典视频在线观看| 5月丁香综合网| 涩五月丝袜婷婷| 综合色七七| 国产人妻777人伦精品HD| 五月天开心网| 五月丁香久久| 丁香婷婷激情五月天无毒不卡蜜桃| 色欲香综合网| 99热思思在线观看| 久久综合丁香五月| 热九九精品| www,色综合| 99九九免费精品| 天天综合网~91| se色婷婷视频| 狠狠爱青青草| 99这里有精品| 久9热| 综合色图区| 色情五月综合婷婷| 狠狠色成人影片| 日韩AAAAA| 五月天播播| 激情五月天社区| 亚洲色婷婷五月天| 久久久久人妻精品| 色五月欧美| 六月激情网| 五月婷婷综合网| 开心五月婷婷| 国产麻豆视频| 久久久高清| 欧美日韩色色| 综合激情在线观看| 97碰碰在线观看视频| 97色图片中文字幕视频在线观看| 亚洲人妻电影| 99热99干| 婷婷六月激情小说网| 天天做天天爱天天爽夜夜揉| 综合激情五月综合激情五月激情1| 97色色-99久久| 俺五月| 99国产性感视频| 婷婷五月天资源| www、色色色| 天天干天天日天天操| 色五月成人| 影音先锋色婷婷| 99热这里只有精品3| 色色色欧美| 久操香蕉| 五月婷免费视频| 大香蕉狠狠爱主页| 99激情网| 五月丁香综合啪啪啪啪啪| 天天激情视频| 婷婷射图五月天| 伊人玖玖网| 超碰人人干| 网色99| 婷婷大香蕉| 天天干天天日蜜臀av| 久婷久婷| 狠狠色丁香综合| 五月丁香好婷婷A片网| 天天情色综合网| 9l视频自拍9l视频自拍九色学生| 九九免费视频| 久/久精品99看9| 欧美三级韩国三级日本三斤| 五月天婷婷色色网| 五月婷婷在线丁香| 天天日人人爽| 玖玖婷婷色五月| 色婷婷丁香五月| 丁香五月天激情四射网络不好| 久久婷婷五月综合激情国产| 色婷婷影院| 99久久综合精品五月天| 色色色色色网站| 婷婷久久五月| 久久久一级AAA| 偷拍91九色| 99视频久久免费视频| 久久亚洲激情五码| 婷婷色导航| 婷婷五月丁香综合瑟瑟| 婷婷精品免费久久| 色五月综合网| 91色操| 成人精品视频99在线观看免费 | 玖玖@三月天天丁香婷婷| www.9797国产| 天天做天天爱天天爽在| 天天插天天插天天插天天插| 久久婷婷五月| 99噜噜噜在线播放| 99久久www| 色婷激情网| 婷婷五月色| 婷婷日本在线| 中文字幕婷婷五月天| 亚洲视频图片婷婷五月| 综合久久99| WWW.久久久久久久久久久久久| 五月婷婷狠天天色综合| 色婷久久| 日产精品一线二线三线芒果| 99色网站| 五月天激情视频网站| 丁香六月啪| 五月天另类图片区99| 婷婷五月天色网久| 99色婷婷| 日韩AV免费| 色亚洲中文| 色综合网址| 婷婷五月在线影院| 国产精品电影| 久久婷婷六月综合综合| 色五月综合| 激情AV中文| 久久aaaa片一区二区| 九九热视频精品| jiujiujiuwuyuetian| 99热777| 99热只有| 黄色片区子| 久久丁香久久| 最近中文字幕2019视频1| 色五月婷婷久久| 婷婷五月天社区| 五月激情综合婷婷| 99热国内| 日本欧美成人片AAAA| 五月丁香花激情综合网| 天天夜夜爽| 久久免片| 色狠狠999综合| 精品久久人妻| 岛国在线观看91| 激情五月黄色小说| 99免费| 色色色色综合网| 日本精品99| 国产精品电影网| 狠狠色噜噜| 成人 在线观看国产| 婷婷丁香五月激情中文字幕版| 久操婷婷| 一级性感黄色内射视频| 婷婷五月天基地| 97伦乱| 激情五月天免费视频| 日本少妇裸体做爰高潮片 | 久久免费视频62| 婷婷五月天丁香花| 新99色色色色色色| 色婷婷五月天天天干天天操天天爽| 国产在线激情视频| 五月色婷婷在线观看| 狠狠色丁香| 日韩AV中文字幕在线| 五月天激情av| 91大屁股在线| 亚洲中文无码成人| 99热亚洲| 国产精品五月丁香| 色人妻五月| 99久热| 激情四射网| 免费婷婷| 日韩九区| 狠狠操狠狠插| 涩涩涩,com| 中文字幕 中文字幕明步 | 亚洲无码99| 天天爽—爽| 久久99精品视频| 婷婷五月激情六月丁香| 中字幕视频在线永久在线观看免费| 婷婷五月综合色中文字幕| 丁香六月婷婷| 五月婷婷就去色| 91无码色色| 婷婷激情五月天在线| www色婷婷com| 激情小说婷婷五月| 亚洲成人AV在线| 庭庭久久内射| 五月婷婷六月丁香激情深爱| 色99视频| 插插插色综合网| 色吧网综合| 这里只有精彩视频| 91精品综合久久久久久五月丁香| 丁香五月在线播放| 性爱AV天堂| 国产亚洲精品久久久久久久久动漫| 伊人五月丁香| 色五月婷婷AV| 久99视频| 99久操| 国产67194| 色色色色色色综合| 99日在线观看视频| 思思热视频在线观看| 天堂爱爱| 丁香五月 性爱| 色五月大| 99这里有精品免费| 激情五月黄色| 亚洲视频图片婷婷五月| 26.uuu丁香五月婷婷| 丁香五月影院| 天天做天天摸| 99在线观看视频| 亚洲激情综合| 午夜做爱影院| 91狠狠综合久久久久久| 噼里啪啦在线观看免费完整版视频| 五月婷综合网| 色一情一乱一乱一区91Av| 婷婷色五月综合|