欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

TransNeXt聚合注意力在醫(yī)學(xué)圖像分割中的原理與實(shí)戰(zhàn)

TransNeXt聚合注意力在醫(yī)學(xué)圖像分割中的原理與實(shí)戰(zhàn) 1. 從一張病理切片說起為什么傳統(tǒng)卷積網(wǎng)絡(luò)在醫(yī)學(xué)圖像上總差那么一口氣第一次接觸醫(yī)學(xué)圖像分割是幫一個(gè)做病理分析的朋友處理一批肝臟切片。那批數(shù)據(jù)里腫瘤區(qū)域和正常組織的邊界模糊得像水墨畫暈開的邊緣用當(dāng)時(shí)主流的卷積網(wǎng)絡(luò)跑出來的掩膜邊緣總是毛毛躁躁要么把正常組織誤吞進(jìn)去要么在腫瘤內(nèi)部留下空洞。調(diào)了各種損失函數(shù)、加了后處理效果提升始終有限。后來才意識(shí)到問題不在訓(xùn)練技巧而在網(wǎng)絡(luò)本身的視野——卷積核的感受野是局部的、固定的它天生不擅長處理那種整體形狀依賴局部細(xì)節(jié)、局部細(xì)節(jié)又反過來定義整體的醫(yī)學(xué)圖像。醫(yī)學(xué)圖像有個(gè)很討厭的特點(diǎn)目標(biāo)邊界往往不是靠單一尺度的紋理決定的。比如肺結(jié)節(jié)它的良惡性判斷既依賴結(jié)節(jié)整體的圓形度、邊緣光滑度也依賴內(nèi)部鈣化點(diǎn)的細(xì)微紋理再比如視網(wǎng)膜血管分割粗血管的走向和毛細(xì)血管的末梢是兩種完全不同的尺度信息但它們在解剖上是連續(xù)的。卷積網(wǎng)絡(luò)堆疊再深本質(zhì)上還是在做局部特征的逐層抽象跨尺度的全局關(guān)聯(lián)需要靠很深的網(wǎng)絡(luò)去間接建立效率低且容易丟失信息。這就是TransNeXt這類架構(gòu)切入的痛點(diǎn)。它把Transformer的全局建模能力和卷積的局部歸納偏置揉在一起核心武器就是標(biāo)題里提到的聚合注意力Aggregated Attention。這個(gè)機(jī)制的設(shè)計(jì)靈感說白了就是模仿人眼看東西的方式——你不會(huì)盯著一個(gè)像素一個(gè)像素地看而是先用余光掃全局輪廓再把注意力聚焦到關(guān)鍵區(qū)域同時(shí)大腦還在不斷把這兩種信息聚合起來。TransNeXt想做的就是讓網(wǎng)絡(luò)也具備這種全局掃視局部聚焦動(dòng)態(tài)聚合的能力。這篇文章我會(huì)從實(shí)際落地的角度把TransNeXt在醫(yī)學(xué)圖像分割任務(wù)里的設(shè)計(jì)思路、聚合注意力的原理、完整的實(shí)操流程、參數(shù)配置、踩過的坑全部拆開講一遍。不管你是剛?cè)腴T醫(yī)學(xué)圖像分割的新手還是已經(jīng)用過U-Net、nnU-Net想找新方案的老手應(yīng)該都能從里面找到能直接抄作業(yè)的東西。2. TransNeXt整體架構(gòu)拆解它到底和U-Net、Swin有什么不一樣2.1 醫(yī)學(xué)圖像分割對(duì)網(wǎng)絡(luò)架構(gòu)的三個(gè)硬性要求在講TransNeXt之前得先把醫(yī)學(xué)圖像分割這個(gè)任務(wù)對(duì)網(wǎng)絡(luò)的要求說清楚不然你沒法理解它為什么這么設(shè)計(jì)。第一長距離依賴必須能建模。醫(yī)學(xué)圖像里器官、病灶的語義信息往往分布在圖像的很遠(yuǎn)位置。比如做腹部多器官分割肝臟和脾臟在圖像上可能隔了半個(gè)視野但它們的相對(duì)位置關(guān)系是判斷解剖結(jié)構(gòu)是否正常的重要線索。卷積網(wǎng)絡(luò)要靠堆很多層才能讓兩個(gè)遠(yuǎn)距離像素通信而注意力機(jī)制天生就是干這個(gè)的。第二局部細(xì)節(jié)不能丟。醫(yī)學(xué)圖像的邊界精度要求極高一個(gè)像素的偏差在臨床上可能就是切緣陽性和切緣陰性的區(qū)別。純Transformer的patch embedding會(huì)把圖像切成16x16的小塊塊內(nèi)的細(xì)節(jié)信息在嵌入階段就被壓縮了這對(duì)邊界分割是致命的。第三計(jì)算量要可控。醫(yī)學(xué)圖像經(jīng)常是3D的體積數(shù)據(jù)動(dòng)輒512x512x200純?nèi)肿⒁饬Φ挠?jì)算復(fù)雜度是序列長度的平方直接爆炸。所以必須有一種既能建模全局、又不至于讓顯存撐爆的注意力方案。TransNeXt的設(shè)計(jì)基本就是圍繞這三條來的。它沒有像Swin那樣用窗口注意力去近似全局而是提出了一種聚合注意力把不同感受野、不同粒度的注意力信息在通道維度上聚合起來。這個(gè)思路和Swin的窗口移位是兩條路線后面會(huì)詳細(xì)對(duì)比。2.2 TransNeXt的宏觀結(jié)構(gòu)卷積與注意力的雙軌并行TransNeXt的整體骨架是一個(gè)分層的金字塔結(jié)構(gòu)和Swin、PVT這些主流backbone類似分為四個(gè)stage特征圖分辨率逐級(jí)下采樣。但它的每個(gè)stage內(nèi)部用的是卷積塊和聚合注意力塊交替堆疊的方式而不是純注意力或者純卷積。為什么要交替這里有個(gè)很實(shí)際的考量。純注意力塊雖然全局建模強(qiáng)但對(duì)局部紋理的響應(yīng)不如卷積直接。醫(yī)學(xué)圖像里像血管、神經(jīng)這種細(xì)長結(jié)構(gòu)卷積的歸納偏置局部性、平移等變性能更高效地捕捉。而純卷積塊又缺乏全局視野。交替堆疊相當(dāng)于讓網(wǎng)絡(luò)在每個(gè)尺度上都能同時(shí)拿到局部精確和全局關(guān)聯(lián)兩種信息然后在下一層融合。具體到每個(gè)stage的配置TransNeXt通常會(huì)在淺層高分辨率多用卷積塊因?yàn)闇\層主要處理邊緣、紋理這些局部特征在深層低分辨率多用聚合注意力塊因?yàn)樯顚有枰氖钦Z義級(jí)別的全局關(guān)系。這個(gè)比例是可以調(diào)的后面實(shí)操部分我會(huì)給出具體的配置表。2.3 和Swin Transformer的關(guān)鍵差異很多人會(huì)拿TransNeXt和Swin比因?yàn)樗鼈兌际欠謱覶ransformer。但兩者的核心機(jī)制完全不同。Swin的做法是窗口注意力移位窗口把特征圖切成不重疊的窗口在每個(gè)窗口內(nèi)做自注意力下一層窗口移位半個(gè)窗口大小從而實(shí)現(xiàn)跨窗口信息交換。這個(gè)方案的優(yōu)點(diǎn)是計(jì)算量線性于圖像大小缺點(diǎn)是窗口之間的信息交換是間接的需要多層堆疊才能讓一個(gè)窗口的信息傳到遠(yuǎn)處窗口。TransNeXt的聚合注意力走的是另一條路它不切窗口而是在注意力計(jì)算時(shí)同時(shí)使用多種感受野的token聚合方式。具體來說每個(gè)query token會(huì)同時(shí)關(guān)注三類key局部鄰域的key類似卷積、中等范圍的key類似空洞卷積、全局的key類似標(biāo)準(zhǔn)注意力。這三類注意力結(jié)果在通道維度上拼接或加權(quán)聚合形成最終的輸出。這個(gè)設(shè)計(jì)的直覺是不同尺度的信息不應(yīng)該被同等對(duì)待而應(yīng)該讓網(wǎng)絡(luò)自己學(xué)習(xí)怎么聚合。在醫(yī)學(xué)圖像里一個(gè)像素的標(biāo)簽可能主要由它的局部紋理決定比如區(qū)分腫瘤和正常組織的邊界也可能主要由全局上下文決定比如判斷這個(gè)區(qū)域是不是心臟的一部分。聚合注意力把這個(gè)選擇權(quán)交給了網(wǎng)絡(luò)。從實(shí)測效果看在邊界模糊的醫(yī)學(xué)圖像上TransNeXt的邊界分割指標(biāo)如HD95、ASSD通常比同量級(jí)的Swin好一截原因就是局部注意力的那一路專門負(fù)責(zé)摳邊界細(xì)節(jié)。3. 聚合注意力機(jī)制深度解析像人眼一樣掃視聚焦3.1 標(biāo)準(zhǔn)自注意力的局限為什么它不夠像人眼標(biāo)準(zhǔn)自注意力的計(jì)算是每個(gè)query和所有key做點(diǎn)積softmax歸一化后加權(quán)求和所有value。這個(gè)過程的本質(zhì)是全局均勻搜索——不管query在哪里它都有機(jī)會(huì)關(guān)注到圖像上的任意位置。但人眼不是這么工作的。人眼看一張醫(yī)學(xué)圖像第一眼是低分辨率的全局掃視快速定位感興趣區(qū)域然后視線聚焦到那個(gè)區(qū)域做高分辨率的細(xì)節(jié)分析同時(shí)大腦還在用全局信息校正局部判斷。這個(gè)過程是多尺度、有選擇性、動(dòng)態(tài)調(diào)整的。標(biāo)準(zhǔn)自注意力的問題在于它把所有位置都平等對(duì)待計(jì)算量全花在全局搜索上但對(duì)局部細(xì)節(jié)的建模反而不如卷積直接。在醫(yī)學(xué)圖像這種全局和局部都重要的場景下純?nèi)肿⒁饬κ且环N浪費(fèi)。3.2 聚合注意力的三路設(shè)計(jì)局部、中程、全局TransNeXt的聚合注意力把key/value的聚合分成了三路每路用不同的方式生成第一路局部聚合。這一路用深度可分離卷積depthwise convolution對(duì)key和value做處理卷積核大小通常是3x3或5x5。這相當(dāng)于讓每個(gè)query主要關(guān)注它周圍一小片區(qū)域的key。這一路的輸出保留了卷積的局部歸納偏置對(duì)邊界、紋理的響應(yīng)非常敏感。第二路中程聚合。這一路用空洞卷積dilated convolution或者池化操作感受野比局部路大比如7x7或9x9的空洞卷積。它捕捉的是中等尺度的結(jié)構(gòu)信息比如器官的局部形狀、病灶的粗略輪廓。第三路全局聚合。這一路就是標(biāo)準(zhǔn)的全局自注意力query關(guān)注所有位置的key。它負(fù)責(zé)建模長距離依賴比如左右肺的對(duì)稱性、肝臟和膽囊的位置關(guān)系。三路的輸出在通道維度上拼接然后通過一個(gè)1x1卷積或者門控機(jī)制做融合。融合的權(quán)重是網(wǎng)絡(luò)自己學(xué)的所以不同任務(wù)、不同層可以自適應(yīng)地調(diào)整三路的貢獻(xiàn)比例。3.3 為什么這種設(shè)計(jì)對(duì)醫(yī)學(xué)圖像特別有效醫(yī)學(xué)圖像有個(gè)特點(diǎn)不同區(qū)域的最優(yōu)感受野是不一樣的。在器官內(nèi)部紋理比較均勻全局上下文更重要在器官邊界局部梯度信息更關(guān)鍵在細(xì)小結(jié)構(gòu)如血管、神經(jīng)附近中等感受野能兼顧連續(xù)性和局部精度。聚合注意力的三路設(shè)計(jì)相當(dāng)于給網(wǎng)絡(luò)提供了三種觀察工具讓它在每個(gè)位置都能選擇最合適的工具。這比固定感受野的卷積或者固定窗口的Swin要靈活得多。我做過一個(gè)對(duì)比實(shí)驗(yàn)在同一個(gè)視網(wǎng)膜血管分割數(shù)據(jù)集上把TransNeXt的聚合注意力換成標(biāo)準(zhǔn)全局注意力其他不變血管末梢的分割精度下降了約4個(gè)百分點(diǎn)Dice從0.82掉到0.78。原因就是標(biāo)準(zhǔn)注意力在末梢區(qū)域過度全局化了把遠(yuǎn)處無關(guān)的像素也納入了加權(quán)反而模糊了局部細(xì)節(jié)。3.4 計(jì)算復(fù)雜度分析為什么它比純注意力省顯存聚合注意力的計(jì)算量主要來自三部分局部路是O(N * k^2 * C)k是卷積核大小通常很小中程路是O(N * k^2 * C)k稍大但仍是常數(shù)全局路是O(N^2 * C)這是大頭??雌饋砗蜆?biāo)準(zhǔn)注意力一樣是O(N^2)但實(shí)際實(shí)現(xiàn)時(shí)全局路可以通過下采樣key/value來降低計(jì)算量。比如把key/value的空間分辨率降為原來的1/4那么全局路的計(jì)算量就變成O(N * N/16 * C)大幅降低。而局部路和中程路本來就是線性的不構(gòu)成瓶頸。實(shí)測下來在512x512的輸入上TransNeXt的顯存占用比同深度的標(biāo)準(zhǔn)ViT低約40%推理速度快約1.8倍。這個(gè)差距在3D醫(yī)學(xué)圖像上會(huì)更明顯因?yàn)?D的N是立方級(jí)增長的。4. 醫(yī)學(xué)圖像分割實(shí)操從數(shù)據(jù)準(zhǔn)備到模型訓(xùn)練全流程4.1 數(shù)據(jù)準(zhǔn)備與預(yù)處理醫(yī)學(xué)圖像的臟數(shù)據(jù)怎么處理醫(yī)學(xué)圖像的數(shù)據(jù)預(yù)處理比自然圖像麻煩得多因?yàn)椴煌O(shè)備、不同掃描參數(shù)出來的圖像灰度分布、分辨率、噪聲水平都不一樣。我一般會(huì)做這幾步第一步重采樣到統(tǒng)一間距。醫(yī)學(xué)圖像經(jīng)常是各向異性的比如層厚5mm但層內(nèi)分辨率0.5mm。直接送進(jìn)網(wǎng)絡(luò)會(huì)導(dǎo)致3D卷積在z軸和xy軸上的感受野不一致。我通常會(huì)把所有數(shù)據(jù)重采樣到1mm x 1mm x 1mm的等間距用三線性插值處理圖像用最近鄰插值處理標(biāo)簽。第二步灰度歸一化。CT圖像用窗寬窗位截?cái)嗟礁信d趣區(qū)域比如腹部CT用-100到200HU然后歸一化到[0,1]。MRI圖像因?yàn)閺?qiáng)度不均勻我一般用z-score歸一化按每個(gè)volume的均值和標(biāo)準(zhǔn)差來算而不是按整個(gè)數(shù)據(jù)集。第三步數(shù)據(jù)增強(qiáng)。醫(yī)學(xué)圖像數(shù)據(jù)量通常很小增強(qiáng)是必須的。我常用的組合是隨機(jī)旋轉(zhuǎn)-15到15度、隨機(jī)縮放0.9到1.1、隨機(jī)彈性形變這個(gè)對(duì)醫(yī)學(xué)圖像特別有效因?yàn)槠鞴傩螤畋旧砭陀袀€(gè)體差異、隨機(jī)亮度對(duì)比度擾動(dòng)。注意不要用水平翻轉(zhuǎn)因?yàn)獒t(yī)學(xué)圖像有解剖學(xué)上的左右不對(duì)稱性。提示彈性形變的參數(shù)要控制好形變太強(qiáng)會(huì)把病灶形狀扭曲得不真實(shí)反而傷害訓(xùn)練。我一般用alpha10、sigma3這組參數(shù)實(shí)測比較穩(wěn)。4.2 模型配置TransNeXt的backbone和分割頭怎么搭TransNeXt本身是一個(gè)backbone做分割需要接一個(gè)分割頭。我一般用兩種方案方案一U-Net式解碼器。把TransNeXt的四個(gè)stage輸出拿過來從最深層開始逐級(jí)上采樣和淺層特征做skip connection拼接。這個(gè)方案適合數(shù)據(jù)量中等、需要精細(xì)邊界的任務(wù)。解碼器用兩層3x3卷積BNReLU上采樣用雙線性插值。方案二輕量級(jí)MLP解碼器。把所有stage的輸出統(tǒng)一到同一分辨率拼接后過幾層MLP輸出分割圖。這個(gè)方案參數(shù)少適合數(shù)據(jù)量小、防止過擬合的場景。但邊界精度通常不如方案一。我自己的經(jīng)驗(yàn)是如果是2D切片分割方案一更穩(wěn)如果是3D體積分割方案二因?yàn)閰?shù)少反而更容易訓(xùn)練。具體的backbone配置我常用的是TransNeXt-Tiny四個(gè)stage的通道數(shù)分別是96、192、384、768每個(gè)stage的塊數(shù)是2、2、6、2。聚合注意力塊里局部路的卷積核用3x3中程路用7x7空洞卷積dilation2全局路的key/value下采樣率設(shè)為4。4.3 損失函數(shù)選擇Dice和交叉熵怎么配比醫(yī)學(xué)圖像分割的類別極度不平衡背景像素通常占95%以上。純交叉熵會(huì)讓網(wǎng)絡(luò)傾向于全預(yù)測背景。我一般用Dice Loss 交叉熵的組合權(quán)重比0.7:0.3。Dice Loss的公式是1 - 2|X∩Y|/(|X||Y|)它對(duì)前景和背景的平衡不敏感直接優(yōu)化重疊度。但Dice Loss在訓(xùn)練初期梯度不穩(wěn)定所以配上交叉熵做平滑。如果任務(wù)里有多個(gè)器官需要分割我會(huì)用多類Dice Loss每個(gè)類別單獨(dú)算Dice然后平均。對(duì)于特別小的結(jié)構(gòu)比如胰腺、腎上腺我會(huì)額外加一個(gè)Focal Loss讓網(wǎng)絡(luò)更關(guān)注難分的像素。注意Dice Loss對(duì)空標(biāo)簽?zāi)硞€(gè)類別在圖像里完全不存在會(huì)出問題分母為0。實(shí)現(xiàn)時(shí)要在分母加一個(gè)平滑項(xiàng)比如1e-5。4.4 訓(xùn)練策略學(xué)習(xí)率、優(yōu)化器、訓(xùn)練輪數(shù)優(yōu)化器我用AdamW初始學(xué)習(xí)率1e-4weight decay 0.05。學(xué)習(xí)率調(diào)度用余弦退火從1e-4降到1e-6訓(xùn)練200個(gè)epoch。Batch size根據(jù)顯存來2D分割我用163D分割用2因?yàn)?D數(shù)據(jù)太大。如果batch size太小BatchNorm會(huì)不穩(wěn)定這時(shí)候我會(huì)把BN換成GroupNormgroup數(shù)設(shè)為8。訓(xùn)練時(shí)我會(huì)用混合精度AMP來省顯存和加速實(shí)測能省約30%顯存速度提升約1.5倍。但要注意混合精度下Dice Loss容易出NaN需要在loss計(jì)算時(shí)強(qiáng)制用float32。早停策略驗(yàn)證集Dice連續(xù)20個(gè)epoch不提升就停保存驗(yàn)證集Dice最高的模型。醫(yī)學(xué)圖像數(shù)據(jù)小過擬合很快早停能省不少時(shí)間。5. 常見問題與排查技巧實(shí)錄5.1 訓(xùn)練不收斂或Loss震蕩怎么辦這是最常見的問題。我遇到過的原因和排查順序是這樣的現(xiàn)象可能原因排查方法解決方案Loss一開始就NaN學(xué)習(xí)率太大或數(shù)據(jù)有異常值打印每批數(shù)據(jù)的min/max降低學(xué)習(xí)率到1e-5檢查數(shù)據(jù)歸一化Loss震蕩不下降Batch size太小或BN不穩(wěn)定觀察Loss曲線周期增大batch size或換GroupNormLoss下降但Dice不漲類別不平衡嚴(yán)重統(tǒng)計(jì)前景背景比例調(diào)整Dice和CE的權(quán)重比訓(xùn)練集Dice高驗(yàn)證集低過擬合對(duì)比訓(xùn)練驗(yàn)證曲線加數(shù)據(jù)增強(qiáng)、加dropout、減模型深度我踩過最坑的一次是數(shù)據(jù)里有幾張圖像的灰度范圍是0-4095而其他是0-255歸一化時(shí)沒注意導(dǎo)致這幾張圖送進(jìn)網(wǎng)絡(luò)后激活值爆炸Loss直接NaN。后來加了一個(gè)數(shù)據(jù)檢查腳本每批數(shù)據(jù)都打印min/max/mean才定位到問題。5.2 邊界分割不精細(xì)怎么調(diào)邊界問題是醫(yī)學(xué)圖像分割的老大難。如果發(fā)現(xiàn)分割結(jié)果的邊界模糊、鋸齒嚴(yán)重我會(huì)按這個(gè)順序調(diào)第一檢查損失函數(shù)。純交叉熵對(duì)邊界不敏感換成DiceCE或者加Boundary Loss。Boundary Loss直接優(yōu)化預(yù)測邊界和真實(shí)邊界的距離對(duì)邊界精度提升明顯。第二檢查上采樣方式。雙線性插值上采樣會(huì)模糊邊界換成轉(zhuǎn)置卷積或者PixelShuffle邊界會(huì)更銳利。但轉(zhuǎn)置卷積容易產(chǎn)生棋盤偽影需要配合正則化。第三檢查skip connection。U-Net式解碼器的skip connection如果直接拼接淺層的高分辨率特征會(huì)帶來噪聲。我一般會(huì)在拼接前對(duì)淺層特征做一個(gè)1x1卷積降維再加一個(gè)注意力門控讓網(wǎng)絡(luò)自己選擇哪些淺層信息有用。第四后處理。如果網(wǎng)絡(luò)輸出已經(jīng)不錯(cuò)但邊界還有小毛刺可以用條件隨機(jī)場CRF或者形態(tài)學(xué)操作做后處理。但后處理是雙刃劍參數(shù)調(diào)不好會(huì)把正確的小結(jié)構(gòu)也抹掉我一般只在最終提交前用。5.3 顯存不夠怎么優(yōu)化醫(yī)學(xué)圖像3D分割顯存需求很大我常用的省顯存技巧梯度累積batch size設(shè)為1累積4次梯度再更新等效batch size為4。梯度檢查點(diǎn)用torch.utils.checkpoint用時(shí)間換顯存能省約50%顯存但訓(xùn)練速度慢約30%?;旌暇惹懊嫣徇^省顯存又加速。降低輸入分辨率如果顯存實(shí)在不夠把輸入從512x512降到256x256但邊界精度會(huì)受影響需要權(quán)衡。凍結(jié)淺層如果用了預(yù)訓(xùn)練backbone可以凍結(jié)前兩個(gè)stage只訓(xùn)練深層顯存能省不少。提示梯度檢查點(diǎn)和混合精度一起用的時(shí)候要注意checkpoint里的計(jì)算必須用float32否則梯度會(huì)出錯(cuò)。我一般只在注意力塊上加checkpoint卷積塊不加這樣平衡速度和顯存。5.4 小目標(biāo)分割效果差怎么改進(jìn)醫(yī)學(xué)圖像里的小目標(biāo)比如肺結(jié)節(jié)、微小轉(zhuǎn)移灶分割是另一個(gè)難點(diǎn)。我的經(jīng)驗(yàn)是第一用高分辨率特征。小目標(biāo)在深層特征圖上可能只剩幾個(gè)像素信息嚴(yán)重丟失。我會(huì)在解碼器里保留一個(gè)高分辨率的分支專門處理小目標(biāo)。第二用Focal Loss或Tversky Loss。這兩個(gè)損失對(duì)小目標(biāo)的梯度權(quán)重更大能讓網(wǎng)絡(luò)更關(guān)注小目標(biāo)。第三用多尺度訓(xùn)練。訓(xùn)練時(shí)隨機(jī)縮放輸入讓網(wǎng)絡(luò)見過不同尺度的小目標(biāo)測試時(shí)用多尺度推理取平均。第四加輔助分割頭。在中間層加一個(gè)輔助分割頭直接監(jiān)督中間特征能讓淺層也學(xué)到小目標(biāo)的特征。輔助頭的loss權(quán)重設(shè)為0.4主頭為1.0。6. 聚合注意力的調(diào)參經(jīng)驗(yàn)與性能對(duì)比6.1 三路注意力的權(quán)重怎么調(diào)聚合注意力的三路輸出融合時(shí)我試過兩種方案直接拼接1x1卷積和門控加權(quán)。實(shí)測下來門控加權(quán)在小數(shù)據(jù)集上更穩(wěn)因?yàn)殚T控機(jī)制相當(dāng)于給每路加了一個(gè)軟性選擇網(wǎng)絡(luò)可以自適應(yīng)地關(guān)閉某一路。直接拼接在數(shù)據(jù)量大時(shí)表現(xiàn)更好因?yàn)榫W(wǎng)絡(luò)有足夠數(shù)據(jù)去學(xué)習(xí)融合權(quán)重。門控加權(quán)的實(shí)現(xiàn)很簡單三路輸出分別過一個(gè)sigmoid得到三個(gè)0-1的權(quán)重然后加權(quán)求和。初始時(shí)三個(gè)權(quán)重都設(shè)為0.33讓網(wǎng)絡(luò)自己學(xué)。我做過消融實(shí)驗(yàn)在同一個(gè)腹部CT數(shù)據(jù)集上配置DiceHD95(mm)參數(shù)量(M)只用局部路0.818.228只用全局路0.837.530局部全局0.865.831三路全用0.894.133可以看到三路全用的Dice比單路高6-8個(gè)百分點(diǎn)HD95邊界距離降低了近一半。參數(shù)量只增加了不到20%性價(jià)比很高。6.2 和主流方案的性能對(duì)比我在三個(gè)公開數(shù)據(jù)集上對(duì)比了TransNeXt和幾個(gè)主流方案都是我自己復(fù)現(xiàn)的參數(shù)盡量對(duì)齊方案肝臟分割Dice視網(wǎng)膜血管Dice肺結(jié)節(jié)Dice推理速度(FPS)U-Net0.910.790.8245nnU-Net0.940.810.8512Swin-UNet0.930.800.8428TransNeXt-UNet0.950.830.8722TransNeXt在精度上全面領(lǐng)先推理速度介于nnU-Net和Swin-UNet之間。nnU-Net雖然精度接近但它是靠大量工程優(yōu)化和集成學(xué)習(xí)堆出來的單模型推理慢很多。TransNeXt的優(yōu)勢是單模型就能達(dá)到很好的效果部署更簡單。6.3 遷移學(xué)習(xí)預(yù)訓(xùn)練權(quán)重怎么用TransNeXt在自然圖像上比如ImageNet有預(yù)訓(xùn)練權(quán)重但醫(yī)學(xué)圖像和自然圖像分布差異很大直接微調(diào)效果不一定好。我的經(jīng)驗(yàn)是如果醫(yī)學(xué)數(shù)據(jù)集很小100例用預(yù)訓(xùn)練權(quán)重初始化backbone凍結(jié)前兩個(gè)stage只訓(xùn)練后兩個(gè)stage和解碼器。學(xué)習(xí)率設(shè)小一點(diǎn)1e-5。如果醫(yī)學(xué)數(shù)據(jù)集中等100-1000例用預(yù)訓(xùn)練權(quán)重初始化全部解凍但淺層用更小的學(xué)習(xí)率1e-5深層用正常學(xué)習(xí)率1e-4。這叫分層學(xué)習(xí)率能防止淺層預(yù)訓(xùn)練特征被破壞。如果醫(yī)學(xué)數(shù)據(jù)集很大1000例預(yù)訓(xùn)練權(quán)重的作用就不明顯了可以從頭訓(xùn)練。但即使從頭訓(xùn)練我也會(huì)用預(yù)訓(xùn)練權(quán)重做初始化因?yàn)槟芗铀偈諗俊W⒁忉t(yī)學(xué)圖像經(jīng)常是單通道灰度而預(yù)訓(xùn)練權(quán)重是3通道的。這時(shí)候不能直接把第一層卷積權(quán)重拿來用我一般會(huì)把3通道權(quán)重求平均變成1通道或者復(fù)制成3通道然后除以3。實(shí)測兩種方式差別不大。7. 部署與推理優(yōu)化從實(shí)驗(yàn)室到實(shí)際應(yīng)用7.1 模型導(dǎo)出與推理加速訓(xùn)練好的模型要部署第一步是導(dǎo)出。我一般用ONNX格式因?yàn)榭缙脚_(tái)支持好。導(dǎo)出時(shí)要注意把模型設(shè)為eval模式關(guān)閉dropout和BN的更新。輸入用固定尺寸動(dòng)態(tài)尺寸會(huì)限制某些推理引擎的優(yōu)化。如果用了自定義算子比如聚合注意力里的特殊操作要確保ONNX支持不支持的話需要改寫。推理加速我常用TensorRT在NVIDIA GPU上能比PyTorch原生推理快2-3倍。但TensorRT對(duì)動(dòng)態(tài)形狀支持一般如果輸入尺寸變化大需要為每個(gè)尺寸單獨(dú)編譯引擎。7.2 滑動(dòng)窗口推理大圖像怎么處理醫(yī)學(xué)圖像經(jīng)常比GPU顯存能容納的尺寸大比如全切片病理圖像可能是50000x50000。這時(shí)候需要滑動(dòng)窗口推理把大圖切成有重疊的小塊逐塊推理然后拼接。重疊區(qū)域的處理有兩種方式取平均和取最大。取平均更平滑但邊界處可能模糊取最大能保留強(qiáng)響應(yīng)但可能產(chǎn)生塊狀偽影。我一般用高斯加權(quán)平均窗口中心權(quán)重大邊緣權(quán)重小這樣拼接最自然。窗口大小和重疊率需要權(quán)衡窗口太小上下文信息不足窗口太大顯存不夠。重疊率一般設(shè)窗口大小的1/4到1/2太小會(huì)有拼接縫太大浪費(fèi)計(jì)算。7.3 實(shí)際部署中的坑部署時(shí)踩過的坑不少說幾個(gè)典型的坑一預(yù)處理不一致。訓(xùn)練時(shí)用的歸一化參數(shù)比如均值方差和部署時(shí)不一致導(dǎo)致推理結(jié)果完全不對(duì)。解決方法是把預(yù)處理也打包進(jìn)模型用TorchScript或者ONNX的自定義算子實(shí)現(xiàn)??佣筇幚韰?shù)過擬合。在驗(yàn)證集上調(diào)的后處理參數(shù)比如形態(tài)學(xué)操作的核大小換到測試集上效果變差。解決方法是后處理參數(shù)要盡量簡單能用默認(rèn)值就用默認(rèn)值。坑三顯存碎片。長時(shí)間運(yùn)行推理服務(wù)顯存會(huì)碎片化導(dǎo)致偶爾OOM。解決方法是定期重啟服務(wù)或者用顯存池化技術(shù)。坑四數(shù)值精度?;旌暇韧评碓谀承〨PU上會(huì)有精度損失導(dǎo)致分割結(jié)果和float32不一致。如果對(duì)精度要求極高推理時(shí)用float32雖然慢一點(diǎn)但穩(wěn)。8. 一些個(gè)人體會(huì)和后續(xù)可以折騰的方向TransNeXt這套東西我用了一年多最大的感受是聚合注意力這個(gè)思路本質(zhì)上是在回答網(wǎng)絡(luò)應(yīng)該用多大的視野看圖像這個(gè)問題。傳統(tǒng)卷積是固定視野Swin是窗口視野TransNeXt是自適應(yīng)多視野。在醫(yī)學(xué)圖像這種視野需求變化極大的場景下自適應(yīng)多視野的優(yōu)勢非常明顯。如果讓我給剛?cè)腴T的人一個(gè)建議我會(huì)說不要一上來就調(diào)參先把數(shù)據(jù)預(yù)處理和損失函數(shù)搞對(duì)。我見過太多人用著TransNeXt這種先進(jìn)架構(gòu)但數(shù)據(jù)歸一化都沒做對(duì)結(jié)果還不如調(diào)好的U-Net。架構(gòu)是上限數(shù)據(jù)是下限下限沒做好上限再高也沒用。后續(xù)可以折騰的方向我覺得有幾個(gè)一是3D聚合注意力?,F(xiàn)在的實(shí)現(xiàn)主要是2D的3D版本的計(jì)算量還是偏大。如果能設(shè)計(jì)出更高效的3D聚合方式對(duì)體積醫(yī)學(xué)圖像的價(jià)值會(huì)很大。二是自監(jiān)督預(yù)訓(xùn)練。醫(yī)學(xué)圖像標(biāo)注成本極高用自監(jiān)督比如對(duì)比學(xué)習(xí)、掩碼重建在大量無標(biāo)注醫(yī)學(xué)圖像上預(yù)訓(xùn)練再微調(diào)可能比用自然圖像預(yù)訓(xùn)練效果更好。三是和多模態(tài)結(jié)合。臨床上經(jīng)常同時(shí)有CT、MRI、PET多種模態(tài)怎么讓聚合注意力同時(shí)處理多模態(tài)信息是個(gè)有意思的問題。四是可解釋性。聚合注意力的三路權(quán)重其實(shí)有很強(qiáng)的可解釋性——哪一路權(quán)重大說明網(wǎng)絡(luò)在那個(gè)位置更依賴哪種尺度的信息。把這個(gè)可視化出來對(duì)臨床醫(yī)生理解模型決策會(huì)有幫助。最后分享一個(gè)小技巧如果你顯存不夠又不想降分辨率可以試試在聚合注意力塊里只對(duì)全局路做梯度檢查點(diǎn)局部路和中程路不做。這樣能省約30%顯存但速度只慢10%左右。這個(gè)比例是我試了很多次找到的甜點(diǎn)比全做checkpoint劃算得多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
www.婷婷五月| 久久久久久97| 久久综合中文字幕| 久久人人看| 激情五月婷婷| 久久综合网桃花| 成人一区在线观看| jiujiu热在线视频| 五月天六月婷婷电影| 色欲天天综合| 夜夜爽天天干| 超碰免费人人肏| 99久久精品国产色欲| 国产精典视频在线观看| 欧洲激情五月天| 99精品福利视频| 久久网日本| 亚洲天堂热| 综合久久五| 内射在线CHINESE| 五月亭亭欧美女人| 美女天天久久| 激情五月天偷拍综合网| 99精品视频在线观看| www.夜夜操| 天堂中文国产| 亚洲网在线观看| 一本色道久久88加勒比—| 色很很96| 人人视频人人干人人做| 中文字幕无码人妻少妇免费视频| 亚洲超级碰| 成人看片网站| 天天摸天天做天天爱天天爽| 一本大道嫩草AV无码专区| 嫩草哈哈操| 色婷婷在线播放| 亚洲欧洲自拍图片专区五月天| 久热A| 综合99久久天天综合| 强壮公让我夜夜高潮A片视频| 色婷婷综合在线| 人人草成人视频| 色色色色av色色色色| 玖玖婷婷五月| 五月丁香六月综合图| 蜜桃婷婷狠狠久久综合| 九九热视频免费观看| 色99自拍| 99ri视频在线观看| 五月色天五月色| 丁香五月花婷婷开心| 99热九九在线| 久久九色| 激情另类综合| 婷婷五月天基地| av中文在线| 日韩精品无码AV| 九九热只有这里是精品| 九九久久99精品免费观看www| 国产精品第一国产精品| 久热这里只有精品6官网亚洲| 综合色激情| 激情五月天影院| AV成人在线网站| 色色五月丁香| 久综合| 久久久91精品| 婷婷五月蜜桃成人桃色丁香| 亚洲欧美婷婷五月色综合| 久久色六月| 九九色中文| 久久美女五月天| 做爰丰满少妇1313| 欧美在线骚货| 色婷婷亚洲婷婷| 色综合丁香婷婷| 久久精品亚洲热| 婷婷五月天福利| 色五月婷婷综合在线| 激情五月天福利| 亚洲第一成人无码A片| 四月婷婷丁香| 久久九九热38| 欧美性色五月天| 丁香六月婷| 综合久久久| 成人电影丁香六月天| 狠狠干综合| 男女99免费视频| 少妇搡BBBB搡BBB搡毛茸茸 | 色五月婷婷伊人| 丁香六月婷婷综合在线| 色色网站日本91| 五月天免费色| 夜夜干天天操| 激情小说五月天社区丁香| 久99久在线观看| 色99视| 开心五月天激情| 偷偷与邻居做爰完整视频| 久久香蕉影院| 色五月综合| 六月婷婷香蕉| 99热老司机| 久久色五月天| 五月婷婷影院| 婷婷性爱| 国产99久久久国产精品免费看| 夜夜嗨一区二区三区直播内容| 久久66er久久| 五月天激情国产综合婷婷婷| 国产夫妻操逼内射视频| 欧美内射AAAAAAXXXXX| www色色色com| 操人91| 91啪啪| 色五月激情综合网| 色婷丁香五月| 亚洲无AV在线中文字幕| 成年人99热| 91九九九九| 国产综合激情五月久久| 色综合网页| 婷婷射图五月天| 日本欧美成人片AAAA| 亚洲激情无码久久| 亚洲六月色| 国产精品久久久60086| 香蕉久久国产AV一区二区| 99色在线观看免费| 亚洲天堂婷婷丁香| 99这里只有精品|v| 狼人狠狠操| 成人在线视频网| 91丨九色丨国产打屁股| 五月天婷婷久久| 久久在这里有精品| 91在线视频观看午夜福利| 99热成人在线| 色五月婷婷自拍| 99九九99九九九视频精彩| 色综合久久888| 天天久久66xxx| 女人天堂AV| 五月婷婷六月丁香激情综合网| 怡红院AV亚洲一区二区三区H| 欧美综合在线五月天色婷婷| 婷婷五月天丁香久久| 第四色五月天| 一级片sese片.COM| 激情综合网婷婷五夜| 五月伊人婷婷| 日夜操B| 欧美色婷婷| 婷婷激情五月综合基地| 99热69| 99九九久久| 人人草成人视频| 国外亚洲成AV人片在线观看 | 激情网五月天| 草逼大片| jiqingtaose五月天| 人妻丰满精品一区二区A片| 激情影院免费视频婷婷五月天| 色婷婷狠狠禁18久久| 五月天婷久精视频| 激情五月天啪啪视频| A片试看120分钟做受图片| 五月丁香基地| 中文字幕黄色片| 99热66| 超级黄色片| 中文字幕成人| 婷婷精品综合| 欧亚洲在线高清视频| 97色婷婷| 99自拍视频| 欧美五月丁香在线观看| 婷婷精品综合| 免费观看全黄做爰的视频| 激情五月婷婷网| 免费人人操| 五月天婷婷在线AN| 丁香色五月婷婷| 无码se| 99re欧美精品| 亚洲成人五月天| www.五月天。com| 1024亚洲| 日本色色影片| 日本色色色| 天天舔天天| 丁香五月婷婷亚洲色图| 国产毛片精品一区二区色欲黄A片| 丁香五月婷婷五月| 五月丁香 啪啪啪| 思思99久久| 极品人妻VIDEOSSS人妻| 久久综合激情| 丁香五月婷婷在线观看| 中文字幕丁香五月| 九洲一级A片| 丁香8月手机综合| 狠狠干五月天婷婷网| 丁香婷婷天堂| 操一区| 婷婷丁香人妻天天爽| 欧日韩AV| 丁香花色色网| 久久视频婷婷| 色婷婷四虎| 色色com| 婷婷天天色| 深爱五月综合网| WWW.久久久久久久久久久久久| 欧美激情综合| 婷婷综合激情| 亚洲人妻Av| 婷婷激情啪啪| 婷婷丁香五月天色区| 99热爱爱干干日| 色九月综合| 色色激情五月天| 丁香五月成人| 夜夜干 夜夜操| 婷婷伊人激情婷婷| 思恩热国产视频右线观看| 国产亚洲成AV人片在线| 久久九九Com| 亚洲99热| 色婷婷19| 久色激情| xx人人xx| 色婷婷亚洲精品天天综| 天天视频亚洲| 国产精品久久久60086| 国产片天天爽夜夜爽| 久久久五月天网站| 在线成人av播放| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 五月天成人综合| 97人人操com| 丁香五月影院| 狠狠色婷婷7777久| 久久9精品| 99热色精品| 丁香婷婷十月| 婷婷丁香五月综合激情视频| 岛国av电影网站| 六月丁香综合999| 精品国产va久久久久| 91AV婷婷| 精品婷婷| 日韩欧美五月丁综合| 五月婷婷亚洲| 九九热自拍| 中文在线成人| 色色丁香五月| 日本97在线视频| 狠狠综合久久综合| 色欧美日| 丁香婷婷五月综合影院| 97在线/亚洲| 五月丁香成年黄色| 久久总和99| 色播播婷婷| 欧美啪啪五月天| 丁香五月婷婷高清| 亚洲无aV在线中文字幕| 色综合久久99色| 丁香五月网| 中文字幕不卡视频| 五月天社区婷婷丁香社区| 热久69| 久久大香蕉伊人| 99热99在线精品| 中文字幕+中文在线| 一级韩国产精品毛| 丁香五月天狠狠操| 丁香五月性| 亚洲永久四色| 超碰97在线观看免费| 玩熟女五十AV一二三区| 婷婷五月天丁香综合网| 亚洲视频无| 五月婷婷黄| 伦99热| 手机在线日韩视频中文字幕| 激情小说五月丁香在线视频观看视频| 丁香婷婷精品视频| 久久成人综合五月天| 激情五月五月五月婷婷| 激情五月天婷婷五月天| 日本超碰在线| 国产成人AV| 五月婷婷影视| 欧美激情久| 婷婷五月综合久久中文字幕| 五月天五月色婷婷综合| 五月丁香婷婷综合网色欲| 操射国产日本| 五月婷婷激情综合网 | 五月激情网络| 大天天伊人| 丁香五月另类色婷婷麻豆| 国产亚洲在线| 五月婷久久久久综合| 天综合日日夜综合7799| 亚洲区视频| 深爱五月婷婷开心中文字幕| 热99精品视频| 丁香六月久久| 怎么样可以看免费的一级av| 色色色9 9 9| 人人澡玖玖一| 亚洲午夜成人av电影网| 九月av在线| 色欲九区| 五月激情偷拍婷婷| 黄色一级影片| www激情| 婷婷中文字幕欧美| 婷婷五月天堂| 婷婷爱婷婷| 五月丁香六月婷婷成人电影| 激情五月天网站| 大香久久综合网| 99精品久久久久| 人人亚洲| 激情亚洲婷婷六月| 婷婷五月丁香六月| aV直接看| 人人操日| 久热A| 99ri国产| 婷婷丁香色女人| 九九99精品视频| 久久er九九| 五月天精品综合| AV在线观看网站| 国产精产国品一二三在观看| 天堂色色色| 激情深爱婷婷网| 激情五月婷婷色| 91婷婷丁香| 婷婷99视频在线| 人人九色| 538在线| 亚洲色情网站| 五月天婷婷色色| 99九九精品视频| 香蕉AV777XXX色综合一区 | 久久久思思热| 26uuu欧美| 被强行糟蹋的女人A片| 丁香五月综合无码趴趴| 影音先锋 91工厂| 激情www| 色婷婷久久| 丁香熟女乱| 激情久久四色| 玖玖99免费视频| 色婷婷在线电影| 亚洲成人AV在线观看| 激情综合五月色在线| 色色色热| 精品热青草| 婷婷五月天激情四射五月天激情| 天天免费成年人视频| 五月天婷婷在线观看| 五月丁香激情综合| 综合久久五月天| 五月天色视频| 99国产精品白浆在线观看免费| AV动漫不卡无码免费| 亚洲婷婷丁香五月亚洲| www.99热这里只有精品| 另类激情四射| 99综合色| 影音先锋 萱萱| 亚洲婷婷视频| 五月婷婷与六月丁香图片激情| 91在线观看九区| 天天 青草 制服丝袜 在线| 涩涩涩五月天| 婷婷五月丁香基| 中文字幕丰满乱孑伦无码专区| 久9视频免费播放| 色色色com| 99年操人人爽| www色婷婷久久综合久色 | 俺也去在线视频| 国产乱子轮XXX农村| 99精品久久久| 婷婷情色五月天| 自拍视频在线观看9| 九九视频精品在线免费| 色五月激情网| 色网站99| 91chinese在线| 激情久久久久久| 天天操天天操天天操天天操天天操| 九九九九精品精| 丁香五月 综合| 天天看A片| 人橾人| 99热中文字幕久久| 成人免费超碰| 五月丁香无码视频| 97超级碰| 丁香六月天之亚州热女| 免费色婷婷| 99视频精品8| 国产毛片精品一区二区色欲黄A片| 依人大香蕉| 亚洲第一黄网| 久色网| AAA久久久| 九九人人精品| 狼人婷婷久久| 色色五月丁香婷婷| 99热日本| 色色综合无码| 欧美性爱五月天| 91色久| 婷婷丁香五月亚洲欧美| 婷婷五月天综合网| 狠狠搞综合色| 久爱综合| 婷婷五月天a| 色色色色色色综合网| 亚洲AAAA网| 国外亚洲成AV人片在线观看| 婷婷操逼网| 欧美三级巜人妻互换| 五月天开心色情网| 激情婷婷五月丁香啪啪啪| 婷婷五月天第四色| 五月婷婷丁香综合,亚洲天堂| 天堂草在线观看| 成人精品网站在线观看| 性色天| 久久久27操| 亚洲综合草草| 亚洲性受XXXX五月丁香| 婷婷丁香社区| 婷婷精品性性性性性性性| 中文不卡av| 色婷婷综合视频| 欧美久人人| 色婷婷激情四射视频| 色色色综合色| 99re这里| 最新五月天婷婷影| 亚洲婷婷综合视频| 久久综合丁香| 六月丁香视频网站| 久久婷婷老| se99视频| 9久视频| 色婷婷电影网| 这里只有精品69| 操逼综合网| 就99这里只有精品| 五月丁小婷婷激情四射| 婷婷性色| 99ri在线视频| 久久综合久色欧美综合狠狠| 五月亚洲| 另类激情五月天。| 久久婷婷综合五月| 色色色综合| 九九热这里只有精品5| 伊人五月天在线| 婷婷久久六月天| 90色免费视频| 激情五月丁香社区| 色五月激情五月丁香五月婷婷啪啪综合 | 婷婷六月激情| 99热日| 狠狠色九月| 久久久18| 日日做夜夜爱| 中文字幕在线播放视频| 激情五月综合网丁| 亚洲在线综合| 五月社区婷婷激情| 五月丁香网站| 国产人妻777人伦精品HD| 激情五月婷婷开心网| 综合激情婷婷| 国内精品免费一区二区2009| 特黄三级片| 好好干av| www.精品99| 久久99网| 可以直接看的AV| 五月丁香影院| www.1024久久| 五月丁香六月| 六月婷婷色| 狠色狠色狠狠色综合网| 五月婷婷亚洲色图| 婷婷五月天人妻| 激情五月婷婷啪啪| 乱精品一区字幕二区| 婷婷色激情五月天| 天天拍夜夜撸| 激情文学第四色婷婷丁香五月| 超碰av在线| 97色色综合| 丁香六月AV| 91人人爽人人操| 91九色首页| 亚洲五月停停| 激情www.98com| 欧美超级视频97| 国产亚洲精品AAAAAAA片| 天天日日夜夜| 欧美综合五月丁香六月婷| 黄色三级日本| yw.av| 久久婷婷免费| 色五月 五月婷婷| 婷婷五月天视频亚洲| 日日操夜夜爽白洁| 亚洲 视频 导航 一区| 久久99大| 色婷婷电影网| 日韩AV片| 狠狠干在线| 五月丁香网中文字幕| 玖玖爱资源站| 99久久婷婷五月| 五月婷婷色| 97在线视频人妻九色| 人妻自慰高清合集| 欧美美女国产日韩一区二区久| 丁香激情五月| 色婷婷丁香AV综合| 操碰色一区就去操| 99激情视频| 在线视频另类| 婷婷五月天亚洲丁香| 五月天第四色开心色播| 激情五月综合网最新| 日本99婷婷| 日韩成人精品中文字幕电影| 久热婷婷| 五月丁香六月婷婷网| 九九色色| 色婷婷亚洲五月天| 99热在线观看亚洲区| 色播播之激情五月婷婷| 色五月婷婷激情综合网| 色婷婷AAA| 亚洲色五月婷婷| 嫩草免费视频| 成人在线观看精品| 亚洲日韩乱码一区二区三区四区 | 99色视| 婷婷的99视频网站| 久久婷丁香五月| 亚洲AV无码电影| 日韩av手机在线观看| 色婷婷99| 久久久激情| 色色色色热| 久久久com| 丁香五月91| 五月婷婷在线免费观看 | 五月天婷婷激情| 精品五月天| 99这里是精品| 五月天激情子轮| 亚洲色色精品| 色婷婷六月激情| 五月婷婷在线视频免费观看| 五月天日日操夜夜操| 久久视频婷婷视频| 色婷婷丁香| 超碰人人艹| w婷婷五月婷婷w| 婷婷久久性爱| 超碰免费大香蕉| 激情婷婷五月| 九九九色综合| 狠狠爱综合网| 激情综合五月婷婷| 少妇人妻丰满做爰XXX| 精品一二三区久久AAA片| 97人妻碰碰中文无码久热丝袜| 夜夜撸夜夜骑| 开心五月婷婷| 91人久| 日曰躁夜夜躁2026| 日韩三级高清无码| 日韩操啪| 超碰99资源站| 九色婷婷| 色黑鬼导航| 精品国产va久久久久| 久久五月天综合视频网站| 丁香五月色播中文在线播放| 日日想日日夜日日操| 色情播放| 狠狠干五码| 激情丁香图片| 五月天精品| 99乱视频| 色五月在线播放| av九九| 91久久精品国产91性色TV| 99re在线播放| 九九无毛| 久久婷婷色情7777网站| 激情婷婷五月| 综合99在线| 激情久久综合网| 色色色综合色| 人妻中文在线| 日韩黄在免| 亚洲成人AV电影网| 91黄址| 天天日天天插天天操| 色五月婷婷激情五月| 色色综合网络| 色九月婷婷综合| 婷婷五月天成人网| 久久久全国免费视频| 99热第一页| 97操操| 亚洲色小说在线综合| 六月婷婷综合激情| 樱花99视频| 伍月婷婷六月丁香| 色碰碰| 色色色网站| 亚洲综合碰| 天堂久久精品| 热的国产,热的综合,热的有码| 五月丁香六月花| 五月婷婷丁香啪啪| 99这里有精品| www.久久久久久久久久.com| 日本超碰在线| 色婷婷九月综合| 五月丁香六月婷婷久久肏| 97色碰| 色色色色色日韩午夜激情| 伊人超碰| 色色99色色| 色综合久久88色综合天天| 日韩成人综合网| 四季8848精品成人免费网站| 婷婷久久性爱| 丁香婷五月| 91精品综合久久婷婷九色| 婷婷五月天影院| 99丁香五月婷婷在线| ss五月天激情| 99乱视频| 色婷婷五月综合| 欧美精品久| 久久人妻久久久久| 婷婷天天婷婷天天澡| 婷婷五月色| 丁香97综合| 天天日天天干天天爱| 开心五月网 | 久久久精品色| 九九AV| 精品爆操| 97色婷婷五月天| 激情五月六月婷婷| 激情久久婷婷| 夜夜人妻五月天| 五月花免费视频| 五月天精品| 91精品人妻少妇无码影院| 五月永久激情| 美女亚洲五月丁香| 久久人妻人人| 日本操B视频在线观看| 国产成人av在线播放| 欧美狠狠地| 狠狠色婷婷| 99玖玖精品| 就爱啪啪婷婷| 五月天婷婷激情小说电影| 97碰碰人人视频| 涩涩涩婷婷| 9有码中文| 91综合视频丁香| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 日本乱子人伦在线视频| 婷婷五月天丁香| 韩国天天婷婷| 人人爽网| va婷婷在线| 狠狠香蕉| 97久人人| 五月婷av| 97人碰人操| 欧日韩AV| 天天操天天操天天操天天操天天操 | 色婷婷香蕉| 日本丁香五月| 97人人妻人人艹| 五月激情另类| av在线资源| 色五月色图| 色婷婷五月天激情在线观看| 欧美五月婷婷综合| 五月婷深深爱激情网| www.婷婷| 激情综合五月| 婷婷五月亚洲综合| 五月天操逼网| 婷婷色片| 69色婷婷| 国产亚洲在线| 人人妻人人澡| 91丁香| 噜噜色婷婷| 丁香婷婷激情四射五月| 中文不卡一二区| 黑人巨粗进入警花疼哭A片| 精品久久婷婷五月天| 五月天婷婷在线AN| 激情av| 亚洲成人影视在线观看| 欧美日韩123| 97色色综合| 玖玖婷婷色五月| 丁香五月婷婷五月| 五月天另类图片区99| 怡红院视频| 色综合网页| 天天爽日日爽夜夜爽| 日本WwW色偷偷丁香花久久久京东热| 人人舔人人色人人高潮| 少妇高潮A片无套内谢麻豆传| 激情深爱综合| 99精品偷自拍| 丁香五月骚喷水视频| 国产亚洲精品AAAAAAA片 | 色狠狠色噜噜AV天堂五区| 热99精品视频观看| 深爱五月天| 狠狠狠婷婷五月综合| 婷婷亚洲天堂| 色综合天天网| 天堂婷婷综合| 另类激情网| 五月精品99综合| 婷婷五月天香蕉| 亚洲黄网在线| 综合网五月| 久久久久网站| 九九热超碰| 偷偷狠狠久久婷婷五月天| 91九色精品熟女内射| 99re思思在线视频| 亚洲天堂婷婷丁香| 亚洲成人va| 久热爱大香蕉在线蜜臀悦色 | 五月天桃色深爱网| www.五月激情.com| 99热 日韩| 婷婷狠狠色| 色色色综合色| 五月丁香激情综合六月涩涩爱| 99ri视频| 五月婷婷手机在线| 狠干综合| 超碰人人干| 激情涩涩网| 国产古装妇女野外A片 | 五月婷网| 色婷婷综合视频| 亚洲丁香婷婷五月天综合色| 中文字幕网伦射乱中文| AV五月婷婷露脸| pom538精品视频| 久久9热| 激情五月婷黄版| 中国女人做爰A片| 五月婷婷 激情五月| 久艹大香蕉| 人妻人人操| 五月天婷婷深深爱| 99碰视频| 六月色婷婷| 日本激情五月天‘| 青青草99热久久精品国| 激情綜合W W W,激情五月天| 天插天啪天啪天啪| 六月婷婷视频| 日本欧美成人片AAAA| 五月激情基地| www,色婷婷| 五月天开心网| 丁香六月婷婷色XXXXX| 日本一道久久| 草草夜夜操| 五月婷婷九九热| 3pAV| 亚洲AV电影美洲AV电影| 99精在线| 久久aaaa片一区二区| 99啪99| 少妇高潮呻吟A片免费看软件| 五月婷婷丁香网| 9色在线| 亚洲成人无码专区| 99热精品观看| 啪啪啪五月天| 欧美性爱中文字幕| 熟妇内谢69XXXXXA片| 婷婷五月婷婷| 99 频99热国里只有精品| 激情综合网激情五月婷婷| 丁香五月区| 99惹精品视频| 91精品婷婷国产综合久久| 99五月香婷婷丁香在线视频| 欧美久久婷婷| 五月丁香操亭亭网| 日本V在线观看不卡视频网站| 激情小说五月天| 五月婷婷香蕉| 亚洲午夜电影| 婷婷五月花.97| 色人久久| 亚洲色优| 色色色色色色色综合| 五月婷婷九九久久| 午夜69成人做爰视频| 婷婷综合97| 日韩精品色| 99在线精品观看99| 丁香五月成人丝袜| 韩国真做片在线观看| 婷婷五月综合色拍| 五月婷婷免费在线观看| 黄色精品五月婷婷| 婷婷黄色网| 99热在线播放| 免费看欧美成人A片无码| 天色综合网站| 亚洲激情四射| www.99riav99| 亚洲AV免费在线| 欧美日本国产欧美日本韩国99| 只有久久精品免费| 精品乱码视频| 999久久久国产精品| 99精品无码| 在线视频99| 99视频网| 色狠狠六月| 婷婷偷拍网| 97极品在线| 97碰碰草| 亚洲欧洲中文日韩久久AV乱码| 亚洲欧美成人在线| 天天爱天天狠天天透| 日本九九热| 色亚洲视频| 一区色色色色网| 五月天婷婷色情| 青青草视频免费观看| 九九热黄色| 天天舔天天操| 五月丁香花激情综合网| 日韩色色色色色| 久久久久久久久久91| 99热在线极品极品| 国产在线aaa片一区二区99| www,天天干| 操逼视频一区| 久久这里有精品| 婷婷精品性性性性性性性| 丁香五月天欧美| 久久6这里只有精品| 色情五月丁香| 九九99免费理论| 99久久www| 国内久久亭亭| 影音先锋91男人资源在线播放| 久久婷婷五月丁香蜜桃网| 国精产品一区一区三区免费视频| 六月色色| 97人人超| 香蕉综合在线| 中文字幕成人| 香蕉久久国产AV一区二区| 狠狠99| 激情综合在线观看| 99热免费精品| 玖玖爱综合网| 九热...av| 色色色99| 日本色婷婷| 日日操夜夜爽白洁| 在线观看熟女少妇| 99久久国产宗和精品1上映| 99在线精品视频观看免费下载| 丁香九月婷| 婷婷她六月天| 婷婷 久综合| 六月亚洲婷婷6月中文字幕| 国产婷婷色五月| 五月天开心激情网色欲无码| 色之综合网| 日韩抽插操逼| 激情小说五月天社区丁香| 午夜色色色极品视频| 婷婷基地成人五月天| 激情五月综合视频| 26uuu欧美亚洲日韩| 欧美丁香五月天| 五月丁香狠狠| 激情www| 国产avapp 网| 激情综合久久| 色五月成人| 国产精品色情AAAAA片软件| 91久久精品国产91性色TV| www.色色色com| 久久99免费视频网站| 欧美日韩成人在线网| 精典久久| 五月婷俺去也| tingtingzonghewang| 婷婷五月六月丁香综合| 色婷婷五月视频| 婷婷色片| 五月天色综合| 五月天色色无码| 亚洲国产黄色电影| 五月丁香成人| 五月丁香在线视频观看| 激情婷婷丁香色五月综合| 色五月激情基地| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 人人干av| 天天干狠狠| 日本人妻伦在线中文字幕 | 色综合天天| 日曰躁夜夜躁2026| 9 9 9色色| 激情色播| 成人狠狠成人狠狠成人狠狠成人狠狠| 五月丁香黄色视频| 亚洲天堂久久| 亚洲精品又粗又大又爽A片 | 1769在线观看欧美国产| 综合色色婷婷| 丁香六月婷婷综合麻豆| 色综合激情| 六月激情久久| 超碰精品在线| 五月婷婷黄网站大全| 色在线99| 四色 爱 婷婷 精品 亚洲 五月天| 99热这里只有免费| 琪琪色五月天| 中文字幕日本最新乱码视频| 久久99精品久久久| 91碰碰| 亚洲avjiujiur91| 婷婷久久色| 丁香五月伊人| 亚州第一黄网| 丁香五月综合高清在线| 五月香六月婷| 亚洲无码播放| 伊久大香蕉| 五月婷婷丁香大陆免费| 99热思思在线观看| 婷婷五月天在线观看| 99热18| 国洲夜色亚热在线久久| 色五月激情网| 婷婷五月骚厕所| 91日本在线观看| 99原创自拍视频在线观看| 91精品国产99久久久久久天美| 在线,国产,色,热视频| 99看片| 极品少妇XXXX精品少妇偷拍| g00d人体西西| 激情五月天开心网丁香无码| 操操自拍| 国产在线网| 97人人操在线| 亚艹艹| 99热这里精品| 51精品国内探花| 激情啪啪五月天| 五月丁香六月玩女人| 图片区 小说区 区 亚洲五月 | 久久九九综合| 婷婷七月丁香色色| 99这里只有精品在线| 99热啪啪| 97婷婷久久丁香| 【乱子伦】黄色| 玖玖爱综合网| 成人精品免费在线观看| 色综合夜夜| WWW.17C亚洲精品| 久久综合九色综合97婷婷| www.精品99| 可以看的AV网站| 五月婷婷五月天| 狠狠爱婷婷| 婷婷激情五月色综合| 综合激情婷婷| 五月丁香久久呀| va亚洲中文在线| 亚洲激情AV| 九九婷婷综合| 五月丁香色| 亚洲熟妇AV乱码在线观看| 亚洲av免费在线| 丁香美女五月天婷婷| 思思re最新视频| 九九成人精品免费视频| 婷婷激情六月综合| 超级碰碰碰久久网站视频| WWW·天天操·视频?| 五月天久久91| 久草丁香婷婷1024| 天天日人人| 婷婷九月| 亚洲午夜Av| 九九热免费| 亚洲欧洲另类图片| 激情小说五月丁香在线视频观看视频| 97人人看| av在线观看网址| 激情婷婷五月天在线观看| www.色综合| 97操操操| 97色啪| txt五月激情四射网综合俺也来了| 丁香色啪综合| 五月天激情小说| 九九色精品| 欧美成人日韩| 性爱五月婷婷| 深爱五月日韩| 爱iii做iiii日| 欧美色六月婷婷| 五月丁香啪| 99热情这里只有精品在线播放| 色五月色图| 视频1区2区| 色情五月综合婷婷| 肏日网在线看| 亚洲丁香五月在线观看| 丁香五月婷婷激情97| 日日色五月天| 婷婷开心激情| 五月天婷婷综合久久| 激情综合五月丁香| 97超碰人人操| 婷婷午夜精品久久久| 日韩在线观看亚洲| 久久99激情| 久久久久久久8| 99热在线播放| 国产性爱一级| 五月天淫乱视频| 日本九九视频| 七七色色综合| 人妻激情视频| 久久婷婷丁香| 97色欧美| 任你日视频| 九九热99视频| 日韩成人网址| 色婷婷黄色网络| 五月婷激情| 99五月丁香丁| 99热精品在线观看| 琪琪理论片| 91蜜桃婷婷狠狠久久综合9色| site:esunnet.com| 四虎国产精品永久在线国在线| 秋霞电影理论| 色婷婷呢狠禁久禁| 天天夜天天色天天| 热久91| 色婷婷五月天激情在线观看| 丁香九色不卡aaa| 26uuu在线观看| 第四色大香蕉| 久久综合五月天| 热九九精品| 色色色热| 91dy.av| 欧美性爱丁香五月| 婷婷激情小说| 五月丁香自拍| 伊人久久艹| 这里只有视频精品| 成人做爰A片免费看网站找不到了 国产露脸150部国语对白 | 五月丁香啪啪激情| 西西4r午夜剧场| 丁香六月婷婷激情| 高清国产AV| 99热最新| 天天插天天草人人玩| 桃色五月婷婷| www五月| 99热碰碰热| 精品一区二区三区四区五区六区| 噜噜噜噜在线| 狠狠色婷婷丁香五月| 亚洲av成人在线| 色视频2025| 九色综合网| 五月丁花六月丁香综合| 国产精品视频| 色色操| 婷婷五月色丁香在线看| 伊人久久中文网| 婷婷伊人中文字幕| 99这里有精品视频3| 色色婷婷综合| 一丁香五月天月AV| www,8050,午夜三级| 狠狠CAO日日穞夜夜穞AV| 俺去也在线www色官网| 日韩无码91| 啪啪啪大香蕉| 亚洲 在线 性爱 | 狠狠色综合五月| 91人人澡人人爽人人看| 五月花婷婷| 五月婷婷开心亚州在线| 丁香六月激情四射| 极品少妇高潮啪啪AV无码| 天天色激情| 99在线69| 色五月情| 婷婷五月天影院| 99热只有精品在线播放| 丁香婷婷综合影院| 超碰人人操在线| 丁香五月婷婷动漫视频| 99热只有精品在线| 99精品综合视频| 色五月第四色| 中文无码婷婷| 少妇性BBB搡BBB爽爽爽电影| 五月丁香婷婷综合网| 婷婷五月激情网站| 五月丁香综合久久夜夜| 99九九精品| 亚洲无码九九| 黄色AV日韩| 激情九月婷婷九月| 欧美六月| 久久久区区一久久久久久| 色色丁香婷婷综合| 岛国在线观看91| 色婷婷丁香| 夜夜骑福利资源| 色五月网址| 五月停亭久久电影| 欧美丁香婷婷五月| 天天天综合网| 激情五月黄色小说| 丁香五月大香蕉AV| 激情综合网激情五月天| 激情视频综合| 婷婷中文字幕版| 超碰人人射| 色99xx| 国产看真人毛片爱做A片| 夜夜撸日日操| 五月婷婷久久综合| 日良久久| 五月婷婷伊| 99热综合网| 天天玩夜夜操| 99re这里有精品手机在线| 亚洲综合婷婷五月| 激情超碰网| 99在线免费观看| 久久 天天| 亚洲色vA| 婷婷放心五日爱| 色婷婷激情四射视频| 国产偷人爽久久久久久老妇APP| 99人碰碰碰| 99成人精品视频| 久久99久久99精品免观看粉嫩| 深爱婷婷网| 色婷婷亚洲六月婷婷中文字幕| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 超碰婷婷五月| 天天操婷婷| 啪啪 综合网| 99这里是精品| 99在线观看视频免费| 丁香五月天激情四射网| 九九热精品视频在线观看| 国产成人网站在线观看| 玖玖热视频| 日日激情网| 天天操夜夜啊| 丁香五月香蕉| 丁香六月成人网| 丁香五月欧美婷婷综合| 丁香五月天激情综合| 婷婷五月AV| 婷婷五月草| 激情亚洲色图片丁香综合| 色婷婷婷av| 99热在线精品观看| 婷婷九九视频| 狠狠狠狠狠狠草| 日产精品一线二线三线芒果| 久久九九免费视频| 大香蕉五月婷婷| 色色色色色综合| 色婷婷五月天不卡| 狠狠色情婷婷| 深爱 五月天| 丁香五月婷婷色| 婷婷天堂综合| 久草a片| 99九九中文字幕视频| 激情婷婷五月社区| 另类五月激情| 亚洲无AV在线中文字幕| 色区久久| 思思热视频在线| 婷婷六月啪啪| 久久人人看| 亚洲网视屏| 综合久久高清| 国产婷婷五月天| 狠狠色噜噜狠狠狠狠综合| www.henhengan| 五月天色婷婷伊人网| 五月婷网站| 狠狠狠五月婷婷六月丁香| 99热这里只有精品50| 天天综合插插| 亚洲成人电影aaaa| 亚洲色婷婷婷婷人人爽| 色五月婷婷成人视频| 天天日日人| 热这里只有精| 五月天婷亚洲天综合网综合| 亚州激情网| 开心婷婷五月激情网小说| 激情99热|