欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

語義分割mIoU從原理到代碼實現(xiàn):各類別指標(biāo)計算與避坑指南

語義分割mIoU從原理到代碼實現(xiàn):各類別指標(biāo)計算與避坑指南 簡介在語義分割任務(wù)中總體像素精度容易被高頻類別主導(dǎo)逐類別的mIoU才是定位薄弱環(huán)節(jié)的關(guān)鍵指標(biāo)。這套輕量腳本工具面向PyTorch實踐者聚焦上述評估需求。壓縮包內(nèi)僅含2個Python腳本整體約4KB結(jié)構(gòu)精簡無需額外依賴即可直接運行。兩段腳本分工明確一段將模型輸出轉(zhuǎn)化為8位預(yù)測圖另一段讀取對應(yīng)標(biāo)注mask逐類別計算IoU并匯總整個測試集的平均mIoU輸出結(jié)果可用于分析類別不平衡等典型問題。腳本邏輯直觀便于按需修改既能用于快速驗證分割模型也能嵌入現(xiàn)有訓(xùn)練評估流程。目前已有7160人學(xué)習(xí)下載小巧實用適合語義分割初學(xué)者掌握評估細(xì)節(jié)也方便研究者快速獲取各類別精度反饋。1. 語義分割里那個繞不開的mIoU它是精度表也是黑匣子做過語義分割的人十有八九都經(jīng)歷過這樣一幕跑完幾十個epoch的模型日志里總損失掉到了0.1以下看起來完美收斂可一算mIoU只有六十幾個點。換一個解碼頭、調(diào)一下輔助loss的權(quán)重mIoU可能突然又漲了三個點。你隱約覺得哪里不對勁但指標(biāo)擺在那只能繼續(xù)調(diào)參。這個mIoU就是全類別的平均交并比是所有語義分割論文里必須出現(xiàn)的一個數(shù)字也是工程上判斷模型好不好用的硬指標(biāo)。問題是它并不是一個單一數(shù)字那么簡單——mIoU背后藏著各類別的IoU、類別不均衡、混淆矩陣、忽略像素等一系列容易把人繞進去的細(xì)節(jié)。這篇文章只聊一件事怎么把各類別mIoU計算這件事徹底搞清楚從公式原理到代碼實現(xiàn)再到邊界情況和踩坑經(jīng)驗。不管你是剛開始跑FCN、DeepLab還是U-Net還是已經(jīng)在訓(xùn)遙感影像分割模型但被驗證集指標(biāo)搞到懷疑人生這篇文章想做的是讓那個黑匣子打開給你看。mIoU全稱是Mean Intersection over Union語義分割任務(wù)中最常見的評價指標(biāo)衡量模型預(yù)測的每個像素類別和真實標(biāo)注的重合程度。這個指標(biāo)直接反映了模型對每個類別的分類精度尤其是小目標(biāo)、邊緣區(qū)域和類別不平衡場景下的表現(xiàn)。這篇筆記適合所有做語義分割算法落地、模型評估和調(diào)優(yōu)的從業(yè)者從原理到代碼實現(xiàn)從參數(shù)設(shè)置到常見坑點一次講透。2. 從交并比到平均交并比mIoU公式里藏著的高頻細(xì)節(jié)2.1 先搞懂單個類別的IoU預(yù)測和標(biāo)簽的交集/并集但分母不是你想的那樣單個類別的IoU定義很簡單對于類別$c$來說假設(shè)模型把所有像素預(yù)測成了兩類——是類別$c$或者不是類別$c$同時真實標(biāo)注也把所有像素分成了是類別$c$或者不是類別$c$。于是就有了四個數(shù)字真正例TP預(yù)測是類別$c$且標(biāo)注也是類別$c$的像素數(shù)、假正例FP預(yù)測是類別$c$但標(biāo)注不是、假負(fù)例FN預(yù)測不是類別$c$但標(biāo)注是、真負(fù)例TN預(yù)測不是且標(biāo)注也不是。那IoU的數(shù)學(xué)形式直觀來看是交集像素數(shù)除以并集像素數(shù)即$$\text{IoU}_c \frac{TP_c}{TP_c FP_c FN_c}$$注意這里的分母并集是三類像素之和而不是TPFPTNFN。TN不在分母里也不在分子里。這個區(qū)分非常重要因為很多初寫代碼的人會很自然地拿整個圖像的像素總數(shù)當(dāng)分母或者把TN算進去那樣算出來的數(shù)字非常虛高——背景類別占比大時IoU可以被沖到0.99看起來模型無敵了其實只是在碾壓背景。$$IoU_c \frac{TP_c}{TP_c FP_c FN_c}$$再往深想一步FP和FN的性質(zhì)完全不同。FP是模型把別的類別錯認(rèn)成了類別$c$FN是模型漏檢了本屬于類別$c$的像素。這兩個數(shù)字一不平衡IoU就下來了。以遙感圖像語義分割為例建筑物邊緣通常只有1-2個像素寬一旦解碼器輸出邊緣偏移半個像素FP和FN同時爆發(fā)IoU直接掉到0.5以下而其他指標(biāo)比如準(zhǔn)確率還好端端地停在0.95以上。所以IoU對邊緣像素的敏感度遠(yuǎn)比像素準(zhǔn)確率高這也是它成為語義分割核心指標(biāo)的原因。2.2 經(jīng)典的11點法和像素級累加兩種差之毫厘的實現(xiàn)路徑mIoU之所以叫平均顧名思義是把所有類別的IoU求平均。但具體怎么算業(yè)界存在兩套常見做法數(shù)學(xué)上等價但工程實現(xiàn)不同數(shù)值上可能有微小差異。第一種是PASCAL VOC最早推廣的辦法先按類別逐張圖像算IoU然后對同一類多張圖的結(jié)果做平均最后對所有類別再做一次平均。這種做法學(xué)名叫per-image平均。第二種是像素級累加把整個驗證集的所有像素對應(yīng)的TP、FP、FN先全局累加然后一次性計算每個類別的IoU最后求平均。第二種是現(xiàn)在的主流做法因為整個驗證集上類別分布更穩(wěn)定單張圖如果某個類別只出現(xiàn)幾個像素per-image平均會把這張圖的IoU拉得特別低產(chǎn)生劇烈波動。如果你跟論文對比mIoU數(shù)值盡量確認(rèn)對方用的是哪種累加方式不然你復(fù)現(xiàn)出來的數(shù)字可能和論文差一兩個點。實現(xiàn)上有一個非常重要的細(xì)節(jié)各類別的IoU逐類計算完成后求的是算術(shù)平均不是加權(quán)平均。也就是說不管某個類別在數(shù)據(jù)集中只占0.1%的像素還是占50%的像素它對最終mIoU的貢獻是相同的。這就是為什么mIoU天然是類別不均衡場景下更嚴(yán)苛的指標(biāo)——小類別的表現(xiàn)一旦差直接把整體mIoU拖下水。反過來這也意味著如果一個小類別的IoU為0整體mIoU可能會被拉低好幾個點即便模型在絕大多數(shù)像素上都預(yù)測正確。2.3 為什么要各類別單獨算混淆矩陣、weighted IoU和頻率平衡有些語義分割框架默認(rèn)給你一個總的mIoU數(shù)字不看各類別明細(xì)。但工程上真正的排障信息全藏在各類別IoU列表里。舉例來說道路分割任務(wù)里路面的IoU可能已經(jīng)到0.92但人行道只有0.61這說明問題大概率出在路緣邊界附近或者是標(biāo)注本身不一致。此時如果你只盯著mIoU0.76這個數(shù)字你根本不知道從何下手調(diào)模型。在實踐中我一般會同時打印三個東西各類別的IoU、各類別的TP/FN/FP像素數(shù)、以及類別頻率占比。這三個放在一起才能判斷IoU低到底是標(biāo)注太差、類別太稀有還是模型根本沒有學(xué)會這個類別的特征。順便說一句有個常見的操作是把懲罰因子加進loss或評估里也就是weighted IoU——給罕見類別更高的權(quán)重讓模型優(yōu)先學(xué)它。這種做法的前提是你能拿到可靠的各類別IoU來反向設(shè)計權(quán)重系數(shù)而各類別IoU的計算能力正是這一步的地基。類別不均衡對mIoU的影響非常微妙一個做無人駕駛的朋友跟我說過他的血淚經(jīng)驗馬路上行人這一類別只占全部像素的不到2%模型每幀圖像都能錯過分岔路口的那幾個行人像素整個人行類別IoU就只剩0.3上下而總mIoU還能維持在0.72。這個0.72其實掩蓋了安全隱患。所以如果做自動駕駛或遙感影像語義分割建議把每類IoU最低閾值寫進驗收標(biāo)準(zhǔn)而不是只看最終mIoU。3. 動手實現(xiàn)各類別mIoU計算PyTorch代碼、參數(shù)與邊界坑3.1 最小可用的mIoU實現(xiàn)預(yù)測輸出如何對齊標(biāo)注形狀寫代碼之前先明確輸入輸出。訓(xùn)練好的模型輸出是一張?zhí)卣鲌D形狀通常是[B, C, H, W]其中C是類別數(shù)。要算mIoU首先要把這張?zhí)卣鲌D轉(zhuǎn)成每個像素的預(yù)測類別也就是在通道維度上做argmax得到[B, H, W]的索引圖。同時真實標(biāo)注gt的形狀一般是[B, H, W]每個位置存放類別編號邊界往往是255或某個特殊值表示忽略區(qū)域。下面是我在PyTorch里常用的一個基礎(chǔ)實現(xiàn)思路非常直白先算混淆矩陣再逐類取IoUimport torch def compute_miou_per_class(pred, label, num_classes21, ignore_index255): pred: [B, H, W] 已經(jīng)做過argmax的預(yù)測類別索引 label: [B, H, W] 真實標(biāo)注 num_classes: 類別總數(shù)包含背景 ignore_index: 需要忽略的標(biāo)注像素值通常為255或-1 返回: 每個類別的IoU列表和整體的mIoU # 先忽略ignore_index的像素置為一個不影響后續(xù)統(tǒng)計的臨時類別 pred pred.clone() label label.clone() ignore_mask (label ignore_index) label_copy label.clone() label_copy[ignore_mask] num_classes # 移到額外的bin里 # 定義有效像素mask并展平為一維 valid_mask (label ! ignore_index) p pred[valid_mask] l label_copy[valid_mask] # 用interruptible的bincount構(gòu)造混淆矩陣 # 混淆矩陣形狀: (num_classes1, num_classes1)最后一個bin是忽略像素 count torch.bincount(l * (num_classes 1) p, minlength(num_classes 1) ** 2) confusion count.view(num_classes 1, num_classes 1) # 只取前num_classes行和前num_classes列忽略bin是第num_classes行/列 confusion confusion[:num_classes, :num_classes] # 逐類計算IoU iou_list [] for c in range(num_classes): tp confusion[c, c].item() fp confusion[:, c].sum().item() - tp fn confusion[c, :].sum().item() - tp denom tp fp fn iou tp / denom if denom 0 else float(nan) iou_list.append(iou) # 只對有效類別求平均nan直接忽略 valid_iou [iou for iou in iou_list if iou iou] # 過濾nan miou sum(valid_iou) / len(valid_iou) if valid_iou else 0.0 return iou_list, miou這段邏輯很簡單bincount把一個像素的(ground_truth類別, 預(yù)測類別)二元組線性化為一個整數(shù)下標(biāo)然后統(tǒng)計頻次最后reshape回混淆矩陣。有效像素這里只排除了ignore_index但實際場景中你很可能還需要排除預(yù)測為num_classes之外值的越界情況尤其是模型輸出類別數(shù)和你統(tǒng)計類別數(shù)不一致時。另一個常見操作是把預(yù)測和標(biāo)注都直接拉到0到num_classes-1范圍內(nèi)再統(tǒng)計但那樣忽略了預(yù)測越界這一信息不利于排障。如果數(shù)據(jù)量大到用PyTorch的bincount都變慢可以用更簡單的逐圖累加方式替代但務(wù)必保持全局累加而不是逐圖平均前文已經(jīng)說過了全局累加的mIoU變化更平穩(wěn)。3.2 訓(xùn)練中如何實時計算并記錄各類別IoU記錄頻率與評估批次模型訓(xùn)練的時候每一步都算全量驗證集的mIoU當(dāng)然不現(xiàn)實常規(guī)做法是每隔N個epoch對驗證集跑一次前向推理所有樣本拼接后統(tǒng)一算mIoU。這里有個非常容易翻車的點驗證集一次能塞進顯存嗎如果顯存有限只能一塊一塊算每一塊的預(yù)測結(jié)果不能急著算IoU而是要把所有batch的TP、FP、FN先按類別累加起來。正確姿勢是寫一個混淆矩陣?yán)鄯e器每跑完一個batch就把該batch的混淆矩陣加到全局混淆矩陣上最后統(tǒng)一計算IoU。這個和3.1中直接用全量像素計算本質(zhì)上是一模一樣的但如果你在每個batch上單獨算IoU再平均結(jié)果會被樣本數(shù)量不均衡嚴(yán)重影響。代碼上把混淆矩陣?yán)奂悠鞫x成類每個batch調(diào)用update接口傳入pred和label訓(xùn)練結(jié)束時調(diào)用compute_miou。class ConfusionMatrixAccumulator: def __init__(self, num_classes, ignore_index255): self.num_classes num_classes self.ignore_index ignore_index self.confusion torch.zeros((num_classes, num_classes), dtypetorch.long) def update(self, pred, label): # pred和label形狀均為[B, H, W] valid_mask (label ! self.ignore_index) p pred[valid_mask] l label[valid_mask] # 等價于3.1中的bincount邏輯這里直接用矩陣索引累加 count torch.bincount(l * self.num_classes p, minlengthself.num_classes ** 2) self.confusion count.view(self.num_classes, self.num_classes) def compute(self): ious [] for c in range(self.num_classes): tp self.confusion[c, c].item() fp self.confusion[:, c].sum().item() - tp fn self.confusion[c, :].sum().item() - tp denom tp fp fn ious.append(tp / denom if denom 0 else float(nan)) valid [iou for iou in ious if iou iou] return ious, sum(valid) / len(valid) if valid else 0.0注意update里pred必須已經(jīng)是argmax之后的形狀如果你直接把概率圖傳進來這個類的運算就會錯得離譜。另外在訓(xùn)練時我建議記錄頻率不是每個epoch都打印全部類別IoU那樣日志太長而是用trainer的eval回調(diào)每5個epoch打印一次全量類別IoU表格其余只打印mIoU和loss。真正發(fā)生突變的是某個特定類別IoU的波動而不是總mIoU這個細(xì)節(jié)能幫你早幾個epoch發(fā)現(xiàn)問題。3.3 三張圖像分割神器對比MMSegmentation與TorchMetrics如果你不想自己手寫mIoU計算也可以用現(xiàn)成框架。MMSegmentation里有一個IoU的Metric類它內(nèi)置了ignore_index、accumulate等參數(shù)底層就是混淆矩陣?yán)奂幽阒恍枰谂渲美镏付╰ypeIoU它會在每個驗證周期結(jié)束時輸出各類別IoU和mIoU。這類框架的好處是省事壞處是如果配置不當(dāng)比如忘記設(shè)ignore_indexNone導(dǎo)致標(biāo)注邊界被統(tǒng)計容易得到虛高或者虛低的指標(biāo)。另外有一個輕量的選擇是TorchMetrics的JaccardIndex它可以直接在訓(xùn)練循環(huán)里用支持num_classes、averagemacro或者nonenone正好返回每個類別的IoU列表。它的工程實現(xiàn)是純Tensor化的延遲很低適合在訓(xùn)練循環(huán)里每個batch都算但要注意TorchMetrics里的averagemacro默認(rèn)是加權(quán)平均還是算術(shù)平均不同版本行為有差異務(wù)必讀源碼確認(rèn)。我個人的習(xí)慣是自己的實驗代碼里用3.1的手寫版本因為能控住所有細(xì)節(jié)跑大批次對比實驗時用MMSegmentation因為它自帶驗證流程和日志模塊。兩者算出來的數(shù)值應(yīng)該極其接近如果出現(xiàn)偏差優(yōu)先檢查類別排序是否一致——很多框架的類別順序是按ASCII碼或者數(shù)據(jù)集字典序排的不一定是你心里想的背景在0號位。3.4 訓(xùn)練過程中mIoU不漲但loss下降可能哪里出了問題這個現(xiàn)象非常常見——訓(xùn)練loss持續(xù)下降但驗證mIoU停滯甚至抖動。最經(jīng)典的原因有兩個。第一個是閾值偏移。如果你的模型輸出沒有做argmax而是直接拿概率圖里的最大值當(dāng)預(yù)測類別那么只要相對的類別概率大小關(guān)系對了loss已經(jīng)很低了mIoU自然接近飽和。但如果各類別概率分布越來越尖銳但選錯類別mIoU就會紋絲不動。這時你需要檢查的是模型是否過度自信——看各類別平均置信度如果一個類別的平均置信度是0.97但IoU只有0.4那大概率是模型在瞎蒙一個高頻類別。第二個是標(biāo)注噪聲。語義分割標(biāo)注的邊界其實非常主觀城市景觀數(shù)據(jù)集中某些類的邊緣像素標(biāo)注在不同標(biāo)注員之間可能差異十幾像素。如果你用MSE或CE loss硬學(xué)這些噪聲標(biāo)注模型輸出的概率圖會變得平滑但IoU可能上不去。這里有個玄學(xué)經(jīng)驗如果訓(xùn)練魯棒性差可以把邊緣幾像素的標(biāo)簽?zāi)ǖ粝喈?dāng)于擴大ignore區(qū)域mIoU反而可能上漲1-2個點。這種做法本質(zhì)上是在告訴模型別學(xué)我不確定的東西。4. 各類別mIoU的避坑指南五個最容易翻車的地方4.1 第一個坑ignore_index沒處理好把背景或邊界帶進統(tǒng)計現(xiàn)象mIoU異常偏高或異常偏低一查發(fā)現(xiàn)某個類別——通常是背景——的IoU高達(dá)0.99其他類則全部低于0.3最終mIoU看似正常但完全沒有參考價值。原因很多數(shù)據(jù)集在標(biāo)注時邊界像素、未標(biāo)注區(qū)域或特定類別都被標(biāo)成255或者-1如果代碼里沒有屏蔽這些像素它們會被當(dāng)成背景類別統(tǒng)計進去背景的TP數(shù)量擴大好幾倍IoU被拉飛了。解決檢查評估代碼里的valid_mask是否排除了ignore_index同時還要注意255這類值在PyTorch里會變成無符號大數(shù)直接參與bincount會把混淆矩陣撐爆。最安全的做法是先把label里所有ignore_index替換成一個在num_classes之外的孤立值再做掩碼統(tǒng)計。4.2 第二個坑類別tensor的精度和device不一致導(dǎo)致靜默出錯現(xiàn)象訓(xùn)練時一切正常一到算mIoU就報錯或者mIoU值跳變到不合理范圍代碼不報異常但結(jié)果看著詭異。原因pred經(jīng)過了GPU上的argmax算出來的索引值label可能是從Dataset里讀出來的PIL Image轉(zhuǎn)的numpy數(shù)組兩者一個是torch.float32一個是torch.int64且device不同。當(dāng)你做pred[valid_mask]時類型被隱式轉(zhuǎn)換數(shù)值根本不匹配導(dǎo)致混淆矩陣完全錯位。解決統(tǒng)一 tensor 的類型和device最好統(tǒng)一為torch.long并放到CPU上算mIoU。還有一個容易被忽視的點有些數(shù)據(jù)集的標(biāo)注類別從1開始而不是0此時要在訓(xùn)練前做一個整體減1的操作否則所有類別都錯位mIoU直接變成0.1以下。4.3 第三個坑類別數(shù)沒對齊預(yù)測的通道數(shù)和評估的num_classes不一致現(xiàn)象模型最后一層有19個通道但你評估時傳的num_classes21或者反過來。結(jié)果就是某些類別幾乎沒有positive預(yù)測IoU異常低甚至有的類完全沒出現(xiàn)在混淆矩陣?yán)?。原因定義模型分類頭時用了num_classes變量定義評估器時可能硬編碼或者從不同配置文件讀取兩處一旦沒同步就會靜默錯位。解決寫一個單例配置類或直接使用同一份config文件里的num_classes并且啟動評估時打印模型類別數(shù) vs 評估類別數(shù)的日志確保兩者一致。這個檢查應(yīng)該寫進CI或訓(xùn)練腳本里而不是手動確認(rèn)。4.4 第四個坑小數(shù)位取舍導(dǎo)致論文復(fù)現(xiàn)時mIoU對不上現(xiàn)象自己實現(xiàn)在驗證集上跑出的mIoU是0.674但論文報告的是0.680怎么調(diào)都復(fù)現(xiàn)不出。多方排查后發(fā)現(xiàn)問題出在統(tǒng)計方式差異——論文可能只在subset上評估或者每張圖單獨算IoU再平均或者四舍五入到小數(shù)點后一位。原因嚴(yán)格來說這不是實現(xiàn)的錯而是評估協(xié)議不一致。不同數(shù)據(jù)集的官方評測工具有不同的邊界處理方式比如Cityscapes在eval期間會把邊界像素的預(yù)測類別忽略掉而PASCAL VOC則全部計入。解決看論文的Evaluation段落確認(rèn)對方有沒有提到ignore pixels、背景類是否算入mIoU、鏡像翻轉(zhuǎn)或其他數(shù)據(jù)增強是否應(yīng)用在推理階段。復(fù)現(xiàn)的時候務(wù)必使用官方評估腳本而不是自己寫一套近似實現(xiàn)。如果實在沒有官方腳本就在論文里說清楚自己的評估條件和忽略像素規(guī)則避免別人復(fù)現(xiàn)時產(chǎn)生疑慮。4.5 第五個坑類別不均衡導(dǎo)致小類IoU不升反降誤判模型在變差現(xiàn)象某次加了數(shù)據(jù)增強或者改了loss權(quán)重總mIoU從0.75漲到0.76但小類別的IoU從0.31掉到0.28。有人會很緊張覺得模型退化了于是rollback版本。原因mIoU是算術(shù)平均你看到的0.01漲幅可能完全來自大類別的提升而小類別本來就只有幾百個像素個別圖像標(biāo)注錯誤就足以讓它的IoU波動幾個百分點。這不是模型退化是統(tǒng)計噪聲。解決畫每個類別的TP/FP/FN隨時間變化的曲線而不是只看IoU數(shù)字。如果小類別的TP在增加、FP也在略增一般說明模型在往正確方向走如果FP快速增長但TP不動說明模型在把小類別誤分類成大類別。另外評估集如果太小建議做多次采樣評估并報告均值±方差。5. 從mIoU再往前一步邊界IoU與頻率加權(quán)是什么值不值得投入5.1 邊界IoU對邊緣更敏感適合評估分割質(zhì)量標(biāo)準(zhǔn)mIoU對所有像素的貢獻是一視同仁的因此一張圖上占大面積的類別主導(dǎo)了統(tǒng)計。邊緣像素往往只占不到5%的比例但它們才是決定分割質(zhì)量觀感的關(guān)鍵。為了更精確地評估邊緣質(zhì)量業(yè)界提出了Boundary IoU它的思路很直接只統(tǒng)計預(yù)測和標(biāo)注的邊界區(qū)域附近的像素。實現(xiàn)上Boundary IoU通常先把標(biāo)注和預(yù)測各做一次形態(tài)學(xué)腐蝕保留邊界帶然后在邊界帶內(nèi)計算TP、FP、FN。如果模型邊緣抖動嚴(yán)重標(biāo)準(zhǔn)mIoU可能只掉0.5-1個點但Boundary IoU能掉5-10個點放大問題。這個指標(biāo)適合用在醫(yī)學(xué)圖像、衛(wèi)星圖像等對邊界精度要求極高的任務(wù)中如果只是做傳統(tǒng)的街景分割它的增益未必明顯但可以做參考指標(biāo)來觀察模型瓶頸。5.2 類別頻率加權(quán)mIoU什么時候該用它來替代原版mIoU對所有類別一視同仁但如果你的應(yīng)用核心是背景和大面積物體小類別幾乎不影響安全性那么不加權(quán)確實說不過去。Frequency Weighted IoUFWIoU就是把每個類別的IoU按像素頻率加權(quán)后求平均這樣占比高的類別對指標(biāo)的貢獻更大數(shù)值上更接近人眼對整體視覺質(zhì)量的判斷。FWIoU的值通常比mIoU高因為高頻類別的IoU一般也更高。在做產(chǎn)品驗收時我會同時報告mIoU和FWIoU前者告訴算法團隊模型在小類上的極限后者告訴產(chǎn)品團隊模型在真實場景中的體感效果。如果你的目標(biāo)是發(fā)論文或比賽沖榜建議鎖定mIoU因為它是通行語言如果目標(biāo)是業(yè)務(wù)交付兩者都看但驗收線畫在FWIoU上更貼合實際。5.3 訓(xùn)練時直接優(yōu)化mIoU可微近似和置信度校準(zhǔn)的兩個選擇既然mIoU是最終評價指標(biāo)自然有很多人想在訓(xùn)練時直接優(yōu)化它。mIoU本身不可微因為它內(nèi)部有argmax操作所以常規(guī)做法是用Lovasz-Softmax或者Dice loss做代理它們分別從排序損失和集合相似度的角度近似mIoU。Lovasz-Softmax的做法是把每個像素的誤差按大小排序然后對排序后的誤差向量做凸損失的逐步優(yōu)化它的梯度能讓模型在訓(xùn)練過程中優(yōu)先修正那些IoU貢獻大的誤分類像素。Dice loss則直接對每個類別的soft輸出和標(biāo)簽的重疊程度求梯度對小類別天然有放大作用。我自己在遙感影像分割里試下來的經(jīng)驗是Lovasz-Softmax作為輔助loss與CrossEntropy混合mIoU能比純CE高0.5-1.5個點但要注意讓輔助loss的權(quán)重不要過大初始設(shè)0.1-0.3之間再根據(jù)loss數(shù)值動態(tài)調(diào)整。如果你追求的是工程上的確定性還有一種間接但有效的思路先用標(biāo)準(zhǔn)CE訓(xùn)練到mIoU平臺期再凍結(jié)backbone只訓(xùn)head并用Dice loss微調(diào)20個epoch往往能再擠出一點mIoU。這種兩段式訓(xùn)練不需要改模型結(jié)構(gòu)只是換了一下loss調(diào)度策略性價比很高。5.4 大模型時代的新問題類別加權(quán)與logit縮放對mIoU的影響這兩年用的分割模型越來越大有的直接在CLIP、SAM預(yù)訓(xùn)練權(quán)重上微調(diào)。在這種大模型上各類別的logit尺度差異可能非常大直接做argmax取值會有系統(tǒng)性偏差。你會看到某個高頻類別幾乎霸屏小類別全部消失mIoU低得離譜。解決方法是給logits做類別級別的溫度縮放也就是在argmax前對每個類別的logit乘以一個可學(xué)習(xí)的系數(shù)這個系數(shù)用驗證集的混淆矩陣來調(diào)優(yōu)。本質(zhì)上等于在評估時做一個類別偏置的補償。這個技巧如果配合類別頻率加權(quán)使用可以顯著提升小類別的IoU代價是多了一個超參數(shù)需要小心過擬合驗證集。一個血淚經(jīng)驗是這個縮放系數(shù)必須在另一個驗證集上確認(rèn)不能在訓(xùn)練集上反推否則會把訓(xùn)練集的偏差放大到評估結(jié)果上。6. 驗證和調(diào)參技巧如何用各類別mIoU反向定位模型問題6.1 可視化混淆矩陣一眼看出哪些類別互相打架一個模型mIoU只有0.63但你不知道是所有類別都差一點還是兩三個類別互相嚴(yán)重混淆。這時候把整個驗證集的混淆矩陣畫出來類別之間互相錯認(rèn)的規(guī)律一清二楚。在Python里可以直接用matplotlib的imshow配合colorbar畫混淆矩陣圖行是真實類別列是預(yù)測類別。你通常會發(fā)現(xiàn)一個規(guī)律形狀相似或語義相近的類別之間互相混淆嚴(yán)重比如卡車vs公交車、植被vs樹。看到這種模式就該考慮給模型加更多上下文信息或者在解碼器階段對不同類別分支做區(qū)分。另一個常見規(guī)律是一切類別向背景靠攏如果背景列的數(shù)值整體偏高說明模型把前景當(dāng)背景的概率很大這是類別不均衡下的典型表現(xiàn)此時可以考慮給前景類別的loss加權(quán)重。6.2 per-image監(jiān)測哪張圖的mIoU最低定位數(shù)據(jù)集本身的坑除了全局混淆矩陣逐張計算圖像IoU并排序找到最低的幾張圖去肉眼檢查是定位數(shù)據(jù)問題的利器。我經(jīng)常發(fā)現(xiàn)mIoU最低的圖像幾乎全是標(biāo)注有問題的圖——比如路牌被遺漏、小型車輛在遠(yuǎn)距離完全沒標(biāo)注。這類情況光看指標(biāo)根本無法發(fā)現(xiàn)但一旦發(fā)現(xiàn)把它們從驗證集里剔除或修正mIoU可能立刻提升1-2個點。做法不復(fù)雜在eval循環(huán)里為每張圖像維護一個獨立的mIoU列表跑完后按值排序把后5%的圖像路徑導(dǎo)出到一個txt文件再配合可視化腳本截圖保存。需要注意的是這種挑刺只能在調(diào)試階段做一旦決定用某個測試集做最終驗收就不要再反復(fù)挑刺刪圖否則指標(biāo)失去了公正性。這里有一個折中的做法把評估數(shù)據(jù)分成兩個集合一個用于日常迭代找bug一個最終定版只跑一次。6.3 把mIoU拆成precision和recall繞開指標(biāo)掩蓋問題IoU是precision和recall的一種復(fù)合形態(tài)但它把兩者壓縮成單個數(shù)字有時會掩蓋問題。比如某個類別IoU是0.5但你的precision可能是0.9recall只有0.32也就是說模型很少漏檢但誤檢極多導(dǎo)致大量FP在分母里膨脹。這種情況在很多目標(biāo)比較稀疏的任務(wù)里很常見。排查時我給每類打印precision和recall再看看邊界。如果recall低但是precision高考慮降低置信度閾值、增加正樣本的采樣如果precision低但recall高則考慮收緊邊界或者增加負(fù)樣本。本質(zhì)上這可以讓你判斷mIoU低是定位不準(zhǔn)還是檢測太少。6.4 多尺度與TTA推理是否能提升mIoU我自己的經(jīng)驗和判斷常見做法是在推理時做多尺度縮放并融合結(jié)果最典型的TTA配置是[0.5, 0.75, 1.0, 1.25, 1.5]五種尺度再把預(yù)測的概率圖縮放回原分辨率做平均。這個操作通常能讓mIoU漲0.3-0.8個點尤其是對邊緣細(xì)節(jié)和尺度變化明顯的遙感場景增益明顯。另一個效果很好的技巧是水平翻轉(zhuǎn)做TTA成本只有一次額外前向推理。但老實說TTA帶來的提升在大型backbone上并不總是值得的因為推理時間翻倍甚至五倍。最終是否需要TTA取決于業(yè)務(wù)場景的延遲要求。如果你服務(wù)端推理有50ms預(yù)算加一次水平翻轉(zhuǎn)可能剛好能承受如果是實時視頻流就別做TTA了。這里有一個實際參數(shù)建議驗證階段用TTA做best model的最終確認(rèn)訓(xùn)練過程中的epoch評估不要開TTA因為會拖慢實驗循環(huán)。我自己的習(xí)慣是先不開TTA跑完一個訓(xùn)練周期選出一個候選模型然后只對這個候選模型開TTA做最終報告這樣既保證了驗證的嚴(yán)謹(jǐn)性又不拖慢實驗迭代速度。6.5 給論文或項目交付的一個mIoU報告模板避免被質(zhì)疑不管你是發(fā)論文還是交付項目最終團隊之間對mIoU的理解不一致會帶來巨大扯皮。建議報告至少包含以下內(nèi)容數(shù)據(jù)集名稱和圖像數(shù)量類別列表和每類的像素占比confusion matrix圖每類precision、recall、IoU和整體mIoU表格是否忽略邊界像素、ignore_index值推理時是否使用TTA及多尺度參數(shù)單GPU還是多GPU平均、world size是否影響B(tài)atchNorm統(tǒng)計量以及評估腳本的commit版本。把這些寫進報告后別人復(fù)現(xiàn)你的數(shù)字就非常容易了。如果你的評估腳本和訓(xùn)練腳本不在同一個倉庫遞交給對方時順便附上一個版本號讓驗收方知道自己的代碼對沒對上。被質(zhì)疑mIoU造假是一件極痛苦的事而這種事大多源于評測約定不清楚而不是真正的偽造。最后說一個我自己的教訓(xùn)在遙感影像語義分割項目上有一次我從開源的MMSegmentation換到自己的輕量推理管線結(jié)果mIoU掉了0.03。我花了整整兩天排查最后發(fā)現(xiàn)是Resize時插值方式從bilinear變成了nearest導(dǎo)致邊界像素發(fā)生了微妙偏移。從那天起我給自己立了一個規(guī)矩任何評估代碼的改動都用同一組測試圖像跑一遍新舊管線對比mIoU差異差異超過0.1個點就必須找到原因再繼續(xù)。這個習(xí)慣救了我很多次。希望幫到你。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
开心五月网| 视频这里只有精品16| 欧美操我| 色噜噜狠狠色综合成人网| 色欲久久综合| 五月婷婷天| 91久久| AV在线免费观看不卡| 天天肏天天插| 久久9久久| 婷婷五月天va| 狼人婷婷久久| 噜噜久| 五月天天爱| 国产在线激情视频| 思思热在线视频99| 国产精品成人网站| 五月色色色| 狠狠色狠狠| 五月婷婷三级| VA国产在线综合网站| 色五月婷婷中文字幕| 狠狠色丁香久久久婷| www久| 大香蕉五月天| 亚洲热综合| 色婷婷国产精品综合在线观看| 五月丁香亭亭A片| 丁香五月香蕉在线| 天天天日天天天干| 久久综合播放| 久久综合五月天| 九九九色综合| 欧美成人精品A片免费一区99| 丁香六月av| 五月激香蕉网| 色婷婷免费观看| 激情五月天色色网| www日本熟妇99在线视频| 久久思思精品| 人人人操Av| 国产成人精品一区二三区熟女在线 | 蜜乳.comcom| 激情AV综合| 久久六月天| av网址在线| 被强行糟蹋的女人A片| 色综合久久五月| 99爱在线视频| 国产成人+亚洲+欧洲| 激情丁香久久| 国产成人+综合亚洲+天堂| 婷婷丁香成人在线视频| 久久婷婷夜| 婷婷色五月天在线观看| 久久思思精品| 99re这里只有精品国产99| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 国产在线另类五月婷婷| 91色久| 五月婷婷激情网| 色女伊人| 色色色在线播放| 综合激情四射一theav| 日韩无码成人电影| 色婷婷综合视频| 日本99热| 天天se在线视频| 伊人婷婷五月天| 男女久久婷婷五月天| 97极品在线| 午夜精品人妻无码一区二区三区| www.99日本| 婷婷丁香久久五月综合| 天堂资源欧日浪女在线播放| 91操在线| 美女久久婷婷| 欧美激情综合色综合啪啪五月| 婷婷综合网伊人| 五月丁香综合激情网| 免费黄网不卡AV| 综合另类视频| 天天做天天爽| 亚洲成人在线五月天| 婷婷色婷婷亚洲成人| 色婷婷91激情小说| 精品欧美一区二区三区久久久| 激情五月天婷婷直播| 91呦呦呦| 天堂成人A片永久免费网站| 五月久久婷婷丁香| 91精品久久久久、久五月天| 五月丁香六月香综合激情| 婷婷午夜激情| 丁香五月AV| 影音先锋男人女人| 九九色色| www.久久久久| 激情99| 狠狠色丁香婷婷久久综合| 伦99热| 日本激情ⅩXX免费视频| 97色色色| 五月天综合久久| 色播五月天激情| 五月天婷婷色播| 免费黄色片子| 久久伊人9| 99综合一区| 精品皮股午夜AV| 久久 中文 日本| 99热99| 天天弄天天操| 婷婷丁香五月天小说| 欧美国产一区二区三区| 综合激情五月天六月婷免费视频| 日韩美女羞羞网站在线观看| 99精彩视频网站在线| 五月丁香基地| 色综合久久88色综合天天99| 久久精品99久久| 日本三级日本黄色| 久久久五月天婷婷| 伊人热婷婷| 超碰天堂网| 激情内射人妻1区2区3区| 亚洲在线操| 98色花堂98t.R| 亚洲色热| 九热免费视频| 日本激情五月天‘| 夜夜操狠狠操| 激情綜合W W W,激情五月天| 婷婷无码视频| 六月丁香激情网| 99热最新| 亚洲激情亚洲激情| 97操操操| 青青操avbb| 九九国产精视频| 国产免费一区二区在线A片视频| 26UUU欧美激情一区二区| 久久少妇视频| 综合图片色色| www.色五月.com| 中文字幕,综合,91| 91婷婷色| 婷婷99狠狠| 99热啪啪| 99操网站| 强伦轩人妻一区二区电影| 五月天三级久久| 国产操B视频| 成人婷婷| 激情 五月 婷婷 丁香| 九九综合精品| 五月天性色| 丁香六月视频免费观看| 色五月五月婷婷| 九九亚洲| 99re在线观看| 一片AV片免费播放| 久操大香蕉| WWW色综合| 婷婷激情另类| 五月天综合在线观看| 五月天婷婷激情综合| 五月婷婷日| 97色热| www.91在线观看| 操碰99| 九九激情| 九月停停| 大香蕉AV在线| 日日夜夜小色哥| 久热这里只有| 九九热在线视频| 99热在线观看| 1024婷婷综合久久五月天| 日本操碰碰| 国产精品久久99| 五月丁香六月婷婷综合免| 丁香婷婷老司机久操| 久婷婷五月综合欧美| 五月婷婷性爱| 深爱激情网综合| 婷婷少妇激情| 97在线观视频免费观看| 五月天久久网站| 色,激情五月天| 翔田千里无码| 日本在线观看99| 六月丁丁香| 五月欧美丁香在线观看| 国产精品久久欧美久久一区| 久久思思99| 久久草人妻| 激情综合网婷婷久久| 丁香五月婷婷在线视频| 五月婷婷在线免费观看| 九一牛视频探花| 网色99| 深爱开心激情网| 激情综合五月婷婷| 激情综合网激情五月天| 九九色院| 涩涩涩.com| 色丁香婷婷| 又大又粗九一在线| 狠狠搞五月天| 人人爱摸视频| 国产九月婷婷| 亚洲色欲欧美一区二区三区| 超碰亚洲天堂| 色玖玖综合网| 亚洲av另类在线观看| 久久免费试看120秒| 婷婷五月天色| 国产毛片精品一区二区色欲黄A片| 日韩无码成人电影| 九九热中文| 五月婷婷自拍视频| 人妻丰满精品一区二区A片| www,com,五月色色| 色五月天本日| 激情五月丁香五月色| 色5月婷婷色| 色婷婷五月综合网| 天天色情站| 九九人人看| 五月丁香九九九综合| 五月天啪啪视频| 1024在线观看免费视频| 99热在线中文字幕| 婷婷丁香五月综合网上| 天堂网色色| 久久婷婷网站| 久久久久久xxxxx| 丁香六月在线综合| 成人av在线网址| 热久久77777| 婷婷五月丁香综合人妻| 久婷婷| WWW.婷婷五月天.COM| 欧美Va日本Va| 99热在这里只有精品| 色情五月天导航| 丁香激情六月天婷婷| 亚洲色在线观看| 色青五月天| 激情伊人| 欧美色五月天| 丁香激情久久| 97色精品视频 | 婷婷色狠狠| 欧美噜噜噜草| 永久的网站AAAA | 开心亚洲久久开心| 99久热| 9精品久久999| 好好干av| 人人妖人人97| 天天做天天爱综合| 丁香五月六月综合欧美| 99亚洲精品综合在线| 天天操天天爽天天爱| 久久婷婷色| 五月婷婷在线丁香| 婷婷综合网| 激情四射婷婷| 亚洲五月婷婷| 五月婷婷中字在线| 国外亚洲成AV人片在线观看| 久久这里有精品在线观看| 欧美A级成人婬片免费看理论| 性小说五月天| 婷婷五月天97干| 人人天堂操| 天天操婷婷| 精品国产va久久久久| 激情深爱五月天| 天天日天天舔天天摸| 天天操天天干天天日| 91精品久久久久| 强伦轩人妻一区二区电影| 嫩草视频在线观看| 欧美色色色色色| 97色片| 丁香五月天网站| 99精品热视频| 99色在线| 五月婷婷无码专区| 亚洲人成网站999久久久综合| 五月天激情亚洲| 任你干嘛免费视频播放| 色婷婷88| WWW,激情五月天,COM| 日本天天操| 2025超碰| 激情五月,婷婷五月,丁香五月| 无码一区二区三区四区五区91c| 激情五月色在线播放| 免费看片在线观看| 六月丁香婷| 婷婷五月成人有| 人妻体体内射精一区二区 | 五月婷婷在线短视频| 色色色五月婷婷| 人妻videos人妻高清| 97搞在线| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 婷婷色色婷婷| 综合色五月| 99综合视频一体| 欧美婷婷五月天综合| 9在线9在线婷婷在线国产| 五月天伊人久久久久| 激情另类综合| 黄桃AV无码免费一区二区三区| 丁香色综合| 五月丁香激| 日韩九九| 深爱激情六月天| 婷婷久久内射| 中文字幕人妻熟女在线| 久草A片| 色情五月综合婷婷| 五月婷婷五月丁香| 思思视频这里是精品| 伊人激情综合| 操逼巨乳91| 九九re精品视频在线观看| 六月丁丁香| 天天舔天天插天天干| 9 1在线视频| 日韩啪啪视频| 五月天婷婷深深爱| 丁香色婷婷| 99丁香五月| 婷婷五月天Av| 色噜噜婷婷| 综合色五月| 欧美内射AAAAAAXXXXX| 综合色色色| 亚州欧美国产久精国产99综合视频| 丁香五月婷婷影视先锋| 91操碰| 色丁香婷婷| 九月婷婷在线观看| 色五月天丁香| 99久久综合精品五月天| 色五月播五月| 欧美99| 91人人爽人人操| 99视频在线播放大全| 五月婷婷之综合激情| 丁香五月婷婷少妇| 欧美大肥婆大肥BBBBB| 五月丁色AV| 六月丁香色色| 99热这里只有精品最新| 97丁香五月天| 色噜噜狠狠色综合网| co超碰在线观看| 少妇高潮一区二区三区99欧美| 91热爆在线| 婷婷成人av| 久热精品在看| 五月永久激情| 5月丁香啪啪啪| 激情精品久久| 婷婷丁香社区网| 7月婷婷六月丁香| 免费无码毛片一区二区A片| 天天操夜夜操| 狠狠草狠狠草| 五月天开心成人网| 极品人妻VIDEOSSS人妻| 亚洲色涩视频| 色情五月| 精品夜夜澡人妻无码AV| 婷婷导航| 99免费| 99久在线精品99re8| 6080av| 日本va欧美va欧美va精品| 久久国产AV| 久久婷婷免费| 超碰只有精品在线| 人妻熟人中文字幕一区二区| 国产这里只有精品| 天天做天天爱天天爽| 久久婷婷内射| 激情五月婷婷| 五月丁香色婷婷久久| 天天综合中文| 欧美天天干天天草| 17.c黄色| 婷婷爱五月天人人爱| 婷婷成人五月天一区| 欧美激情五月天在线观看| 五月丁香久久| 人妻久久久久久久久妻久久久久久久久| 97色女人在线| 久99久精品视频| 九月av| 91视频免费后入强操| 激情五月瑟瑟| 日韩操女| 婷婷97碰碰| 丁香五月婷婷欧美激情-中文天堂最新版在线观看| 91猫咪国产在线播放| 91制片厂久久久国产电影| 丰满少妇乱A片无码| 人妻丰满精品一区二区A片| 欧美色频| 99热热热99精品婷婷| 亚洲电影在线观看| 激情色五月天| 成人午夜在线视频| 开心五月婷婷婷美女| 五月丁香婷婷激情影院欧美| 97碰免费视频在线| 久久er免费视频| 色综久久AV| 久久狠色噜噜狠狠狠狠97| 六月激情婷婷色| 欧美日韓成人亚洲精品另类| 色婷婷丁香五月天激情综合网| 婷婷娱乐丁香综合网| 免費亭亭成人| 天天操九九插| 激情深爱综合网| 国产亚洲色婷婷久久99精品91| 五月丁香六月激情视频| 久色网址| 丁香六月啪啪| 人人操人人妻| 激情丁香九九五月综合网| 月色色综合婷婷网| 国产激情视频在线观看| 天天爱天天做天天舔| 欧美黑人巨大猛烈cuckold| 亚洲麻豆乱码国产2028| 99久久这里只有精品| 丁香六月啪啪啪| www.天天干| 色色五月丁香婷婷| 亚洲视频一区| 国产婷婷五月| 九九热色视频| 国产婷婷五月天| 婷婷五月天狠狠| 激情五月天婷婷| 综合99综合久久久久久久| 精品人妻久久久久久| 99爱在线精品视频免费观看| 日韩丁香涩| 9精品视频在线| 亚洲永久四色| 婷婷五月天男人影院色色网| 97视频91| 色五月婷婷在线观看第一页舔| 色色婷婷婷丁香五月天| 婷五月天天| 战争与艾拉电影免费观看| 亚洲人成色A777777在线观看| 色色色色色色网| 蜜臀久久99精品久久久久久酒店| 亚洲xx网| 深爱网深爱综合网| 伊人久久婷| 五月天天天色| 五月婷婷之综合激情在线| 亚洲五月婷| 亚洲 小说 欧美 激情 另类| 欧美视频五区| 久久久精品婷婷五月天| 在线不卡视频| 99视频在线观看视频| 色播五月网| 激情五月婷婷| 婷婷九色| 99精品久久久久久久婷婷久久 | 欧美婷婷六月丁香综合色| 天天天天天天天操| 亚韩在线视频| 色亭亭丁香五月天| 91精品国产91久久久久青草| 这里只有免费精品| 久久丁香五月天| 超碰丁香五月| 99'无码| 五月婷婷天天| 丰满少妇猛烈A片免费看观看| 综合99视频| 精品一区二区三区木瓜| 五月婷婷综合在线| 色婷婷丁香综合中文字幕| 五月丁香在线视频观看| 91狠狠色丁香| 亚洲啪啪自拍| 欧洲激情五月天| 久久久99视频| 中文字幕婷婷在线| 五月综合婷婷久久在线| 开心激情五月天网| 狠狠色丁香婷婷久久综合| 久久五月婷天天干| 综合激情啪啪| 婷婷五月天亚洲综合网| 久久一热| 五月天色影院| 天天综合精品| 国产精品涩涩涩视频网站| 日本人妻A片成人免费看片| 亚洲操操操| 丁香五月欧美| 激情五月婷婷综合视频| 日本三级第一页| 五月天开心网| 99久久www| 九九久久99精品免费观看www| 五月丁香本色在线观看| tingting五月天亚洲| 99ri精品| 日本久热| 9久久婷婷国产综合精品性色| 天啪天啪天啪天啪| WWW.天天日| 婷婷色五月天在线观看| 99热老网站| 久热9| 午夜亚洲AV日韩无码| www.婷婷com| 人人看人人97| 五月丁香婷婷色色| 日韩一级网站| 天天透天天爱| 日日操夜夜爽白洁| 色五月综合网| 婷婷午夜综合| 久久久潮喷-久久久九九-成人AV| 五月天成人在线视频网站| WWW.HENHENL.| 色色色色色色色色色色色色色色,网站| 免费观看全黄做爰的视频| 婷婷久草| 色色99| 色五月琪琪| 大香蕉婷婷五月天| 久久久婷婷婷| 精品人妻一区| 激情涩涩网| 婷婷综合五月| 亚洲激情五月婷婷日日| 色狠狠色噜噜AV天堂五区| 五月熟妇婷婷久久| 色噜噜丁香| 五月激情基地| 婷婷五月娱乐在线| 99在线精品视频免费观看20| 91制片厂久久久国产电影| 婷婷五月六月丁香综合| 手机在线视频观看9| 久久久久久性爱视频| 夜夜AVV| 婷婷成人视频| 婷婷97碰碰| 色综合色| ji'qing'luan'ren'lun| 亚洲日比视频| 久久性爱视频| 开心婷婷中文字慕| 亚洲妇女熟BBW| 99久久er| 91色干| 96丁香六月婷婷蜜桃综合久久| 亚洲乱码w在线观看| 亚洲激情综| www.色情五月天.com| 超级碰碰碰97免费| 五月婷婷高清| 五月婷婷碰碰| 欧美综合五月丁香六月婷| 91碰碰碰| 99久久婷婷国产综合精品| 丁香久久| 五月天婷婷色色| 精品一二三区久久AAA片| 天天操天天谢| 热99在线精品| 开心五月天激情网| 亚洲另类噜噜| 亚洲操精品| 这里只有精品视频| 激情深爱综合网| 碰超99| 91超碰人人操| 丁香激情五月少妇| 色五月丁香五月| 丁香五月天激情综合| 色婷婷五月天在线| 五月婷婷,狠狠操| 成人AV在线电影| 五月丁香做爱视频| 精品婷婷| 在线不卡AC| AV操逼网| 丁香五月亚洲综合| 成人欧美日韩| 五月天婷婷激情| 99热99热在线| 色综久久AV| 日本偷拍九九九| 婷婷五月天色| 久狠日av| 中文网AV| 91天堂网综合| 国产成人精品一区二三区熟女在线| 久久国产色| 99这里有精品久久97| 综合五月激情| 能看的av| 婷婷午夜综合| 五月丁香六月香综合激情| 久热综合| 丁香婷婷五月综合影院| 五月婷婷草| 97高清国语自产拍| 97色婷婷成人综合在线观看| 激情网综合| 久久99热这里只有精品首| 男人的天堂av俄罗斯热| 五月激情在线| 玖玖色综合网| 婷婷五月天堂一本在线| 婷婷久久久久久久| 久久天堂婷婷五月| 在线18av | 五月丁香啪啪网| 色综合色综合色综合色综合| 婷婷永久在线| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 国产偷人爽久久久久久老妇APP | 久超超碰| 综合日本婷婷| 成人网在线观看视频| 99热国产这里只有精品| 狠狠的日| 婷婷五月天丁香社区| 欧美成人AAA片一区国产精品| 91婷婷色五月| 久狠狠| 天天精品视频在线观看视频| 天天舔天天摸天天射| 日韩欧洲亚洲| 中文字幕,综合,91| 婷婷五月六月| 婷婷五月丁香综合瑟瑟| 亚洲欧美在线观看| 激情综合五月婷婷| 秋霞性爱AV| 丁香五月欧美午夜视频| 综合色激情| 日韩精品色| 五月丁香婷婷激情视频| 五月的婷婷六月丁香| 日本久热| 97狠狠碰| 天天日P天天射P| 欧美三级巜人妻互换| 黄色AV日韩| 婷婷五月天亚洲| 人人看人人草人人摸| enecarbon-materials.com污K127封锁请涟系@wip1688 | 天天xxxxxx天天日| 小视频在线亚洲| 天天开心天天色| 中文精品在| 天天爽天天摸| 丁香五月另类小说在线阅读| 色婷婷视频| 最新热中文字幕| 色婷婷91激情小说| 五月丁小婷婷激情四射| 99操无码视频观看| 99性视频| 亚洲高清在线| 欧美婷婷六月丁香综合色| 五月丁香综合成人社区| 色婷婷综合网站| 99精品国产在热久久| 久久性视频| 五月丁香综合在线| 色婷婷久久| 成人AV在线电影| 亚洲综合九九| 国产婷婷色综合AV蜜臀AV| 日本欧美成人片AAAA| AA片在线观看视频在线播放| 天久综合91综合首页| 超碰人人摸人人操| 五月婷狠狠| 久久女人九九| 色婷婷久久天天性爱| 4399在线日本A片| 丁香五月久久| 天天拍夜夜爽日日| 五月天久久丁香| 六月丁香激情| 色狠狠色| 青青久在线视频免费观看| 97碰碰九九视频| 91大神在线免费看视频全集男男一起操| 狠狠干在线| 丁香婷婷色| 第二色AⅤ| 五月天五月婷五月激情网| 91人人爽久久涩噜噜噜| 久久性刺激| 色婷五月| 超碰一区二区| 青青草原爱爱网| 97人妻碰碰碰久久香蕉| 丁香五月六月久久综合| 丁香婷婷中文字幕| 狠狠五月激情丁香六月| 五月天激情网图片| 热久免费视频9| 五月婷婷色影院| 色99视| 九九婷婷五月天影视| 天天久综合| 亚洲网视屏| 成人做爰A片免费看网站找不到了| 九九精品丁香花| 久久人人九九| 开心五激情网| 色五月婷婷操逼| 国产看真人毛片爱做A片| 伊人大香蕉爱聚| 综合婷婷久久| 五月丁香婷庭在线| 婷婷操逼| 婷婷六久久| 亚洲激情AV| 五月开心深深爱激情综合| 成人午夜无码视频| 婷婷五月色播天| 成人在线不卡| 婷婷五月色综合| 99人碰碰碰| 综合久久激情久久| 99日本在线| 六月色国内综合| 久久99婷婷| 视频一区二区在线| 色色综合成人网| 婷婷射丁香| 丁香五月影院| 丁香 久久| 99视频这里只有久久精品| 97精品自拍| 丁香五月色激情| www,8050,午夜三级| 五月天色丁香| 亚洲日本韩国| 婷婷丁香成人| 99久久综合| 国产69久久久欧美黑人A片| 久久久jd| 天天橾夜夜爽| 丁香五月激情五月| 五月丁香亭亭AV女优| 婷婷色色狠狠| www.色综合.com| 视频一区二区在线| 这里只有精品视频在线观看免费| 五月天婷综合| 色婷婷小视频| 狠狠干五月丁香| 超碰在线人人| 久久婷婷草| 思99热精品久久只有精品| 五月天婷婷在线AN| 五月婷婷久久久久| 五月色婷婷综合色| 免费亚洲婷婷中文字幕| 五月天激情黄色网址| 免费久久这里只有精品99| 婷婷99狠狠| 五月丁香婷婷综合视频| 26uuu另类亚洲欧美日本一| 色色国产| 91久久久久久久久久久| 激情五月天婷婷在线网址发给我| 国产又爽又猛又粗的视频A片| 色一情一乱一乱一区91Av| 九色啦蜜臀| 香蕉AV777XXX色综合一区| 人妻狠狠操| 97碰久久| 在线你懂的亚洲欧| 人人干av| 五月婷婷97| 人人人舔人人人操人人人摸人人人97| 天天插天天插| 色吧五月| 亚洲欧美婷婷五月色综合| 五月婷婷七月丁香| 五月婷婷婷婷网| 丁香五月天成人| 婷婷激情五月天色| 另类小说五月天| 色五月激情视频在线综合| 午夜成人AV在线| 亚洲五月激情| 91大屁股精品| 久久婷婷色情7777网站| 九九热免费| 中文字幕不卡网站| 深夜A片| 婷婷丁香五月社区亚洲| 色情五月天A片| 精品一区二区三区免费毛片爱| 久久视网36| av大香蕉| 丁香亭亭久久| 婷婷五月天色色| 久久这里在精品视频| 婷婷狠狠干| 欧美黑人大吊| 久久99热这里只有精品| 另类色视频| 午夜色婷婷| 色五月婷婷天天干| 五月婷婷激情| 欧美性丁香色色五月天| 国产精品一区在线观看你懂的| 亚州欧美国产久精国产99综合视频| 五月天另类激情在线| 亭亭玉立国色天香| 99这里只有精品| 五月激情丁香久久综合网| 亚洲精品视频在线播放| 夜夜人妻五月天| 久久98| 一區四區歐美日韓| 国产黄大片在线观看画质优化| 婷婷六月综合在线| 夜夜撸日日操| 亭亭色天香| 色色999三级片| 亚洲第一第二网站| 日熟女| 精品五月天| 丁香婷婷六月婷婷六月婷婷六月婷婷 | 就99这里只有精品| 天天日夜夜| 久1色色| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 六月婷婷七月丁香| 五月色亭丁香| 播五月丁香三月婷婷| 九九热啪啪| 99色婷婷| 五五月五月| 欧美色偷偷大香| 超碰人人操在线| 日本久久超碰| 99色热| 我爱婷婷五月天综合88| 超级碰碰99| 亚洲操精品| Av性爱网| 五月婷天堂视频| 97九色视频| 99区视频| 久久99激情五月天| 色婷婷www| 色婷婷婷av | 色五月,com| 五月丁香六月玩女人| 婷婷五月深情丁香深爱日韩| 国产毛片精品一区二区色欲黄A片| 99综合激情久久精品久久| 97热在线精品| 99操| 五月激情综| 婷婷五月综合在线| 亚洲成人影视在线| 可以看的av| 99热大全在线观看| 九九九九中文字幕| www.婷婷亚洲基地| 九热视频这里只有精品| 亚州操操| 色狠狠婷婷| 婷婷九九| 日日操日日爽| 五月婷婷啪| 婷婷六月激情综合| 激情六月婷婷| 婷婷九月丁香久久| 亚州操操| 丁香伍月婷电影全集| 综合激情在线| 日日做夜夜爱| 亚洲高清在线| 一级韩国产精品毛| www.五月丁香| 九九热在线视频观看| 91九色国产| 少妇人妻偷人精品无码视频新浪 | 丁香六月啪啪啪| 婷婷丁香日韩五月| 综合啪啪| 激情五月婷婷丁香| 国产伦理精品高清在线观看网站一区二区 | 99色中文| 精品无码99| 大香蕉综合网| 色婷婷综合丁香五月天| 26uuu最新地址| 五月婷亚洲精品| 婷婷开心青青草| 久久婷婷五月丁香网| AV网址大全在| 五月天婷婷社区| 五月丁香啪啪综合| 精品网站99| 曰曰久久| 怡红院91a√| 日本强伦片中文字幕免费看| 9月色婷婷| 日本欧美国产| 99爱免费在线观看| 操操天堂| 99热99草97| 亚洲色婷婷| 色欲婷婷五月天| 天天五月天综合网址| www.伊人天堂偷偷婷婷| 久久久婷| 激情文学第四色婷婷丁香五月| 97五月天| 九色91国产| 少妇激情五月天| 偷拍视频五月天| 久久狠狠高潮亚洲精品 天天摸夜夜摸夜夜狠狠摸 | 婷婷丁香熟女| 婷婷色导航| 五月激情视频| 五月婷婷激情网| 韩国婷婷丁香五月| 人人操Av| aaaaa不卡| 人人妻人人澡| 啪啪五月综合| WWW色色色COM| av在线婷婷| 99热这里有精品| 色爱综合网| 9久热| 99在线精品观看99| 五月天播播| 色色综合网络| 欧美天天干天天草| 五月丁香六月激情网| 天天干天天日天天插| 婷婷五月天成人导航| av在线免费播放| 久热69| 超碰97久久| 欧美色碰| 高清国产AV| 婷婷之玖玖| 五月色情| 激情五月天影院| 99综合视频| 9久热| 婷婷久久五月天| 亚洲色视频| 五月天狠狠| 人人爽天天爽| 夜夜爱网站| 亚洲激情五月| 色播丁香| 国产精品天天狠天天看| 激情五月婷婷| 国产真实乱对白精彩| 4399无码视频| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 亚洲视频五区| 久久九九综合| ay2区| 十月丁香婷婷| AⅤ色区| 就爱射中文字幕资源网| 五月婷婷六月婷| 五月丁香婷色| 狠狠操.COM| 五月婷在线视频免费播放| 五月亭亭综合五码| 操操操AV| 色无码| 婷婷五月天社区| 91黄操| 婷色五月| 激情AV| 丰满少妇猛烈A片免费看观看| 日本乱子人伦在线视频| 久久99大| 综合久久六月| 久久综合网桃花| 黄色五月婷| 99热丁香| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 伊人婷婷五月天| 99热婷婷| 天天操比比| 99国产精品久久久久久久久久久| 丁香花综合永久入口| 五月天大香蕉AV| 99riAV国产精品视频| 五月天婷婷激情网| oVV4WIB3vFi8D| 精品人妻一区二区三区四区不卡在| 色久丁香五| 色久九| 天天操夜夜操| 97人碰人操| 在线99色| site:xmssd.com| 久久视频66| 99久久.www| 夜精品无码A片一区二区蜜桃 | 91成人性爱视频| 丁香激激情网| 樱花99视频| 日本在线视频播放91| 琪琪色综合网站| 99欧美| 久久伊人婷婷| 人人爽天天爽| 视频综合网| 久热这里只精品| wwww.色婷婷| 欧美性生交xXxX久久久| 色吧五月婷婷| 五月丁香AV在线| sS丁香五月婷婷| www.97碰碰com| 无码激情AAAAA片-区区| 婷婷激情六月综合| 热99只有里视频| 五月的婷婷六月丁香| 六月婷婷七月丁香| 青青草青青草五月天| 日韩AV在线免费| 婷婷色婷婷亚洲成人| 国产日日操夜夜操的肉棒视频| 九九大香蕉黄色影院| 天天色,天天日,天天做| 婷婷精品视频| 97自拍视频网| 人人爽亚洲| 天天日天天干天天插天天射| 激情五月综亚网| 五月天a婷婷伊人| 天天拍天天做视频| 亚洲色婷婷婷婷人人爽| 亚洲一色色色色色色色色| 五月婷婷影| 99热销国产这里有精品| 3p九色在线| 五月丁香六月色婷| 六月 丁香 视频| 丁香激情网| 丁香激情综合| 99热网站| 欧美激情VA永久在线播放| 色五月婷婷网| 久久性刺激| 99久久思思| www.97碰碰com| 久久婷婷丁香花综合网| 久久九九综合| 先锋资源婷婷| 国产真实乱对白精彩| 99re免费精品视频| 五月丁香成人视频| 被强行糟蹋的女人A片| 特黄三级片| 国产这里只有精品| 五月Huangsewang| 天天舔夜夜操www com| 国产黄色一级片| oumeisesewang| 天天看A片| 怡红院91a√| 亚洲性爱日韩无码| 亚洲精品一区中文字幕乱码| 婷婷97碰碰| 婷婷色正月| 免费超碰在线观看| XXXX岛国| 丁香五月另类色婷婷麻豆| 毛片蕉地一二| av性爱在线| 嫩草AV久久伊人妇女超级A| 91在线日| 97热精品| 玖玖激情网| 激情五月天无人视频在线| 激情操逼婷婷| 五月丁香婷成人网| www.婷婷五月| 91九色精品熟女内射| 99爱视频在线免费观看| 色色色综合色| 99热在线免费观看精品| 六月婷婷激情| 色域五月婷婷丁香| 久狠狠| 五月天色色色网| 99热这里只有精品33| 99热最新网址| 玖玖国产视频一区| 伊人婷婷综合| 超碰不卡在线| 综合在线色婷婷| 久久香视频| 久狠日av| 亚洲综合在线视频| 91超碰在线观看| 六月婷婷久久| 精品久热69| 日日日日日| g00d人体西西| 亚洲综合99| 超爽内射| 99re这里只有| 国产一区18| 日本色五月婷婷| 五月天激情网址| 五月天婷婷基地| 婷婷色基地在线看| 99无码免费视频| 六月婷婷激情| 五月天综合在线| 26uuu成人网| 五月丁香九九| 人人天堂操| 久久久99精品免费观看| 亚韩在线视频| 天天插天天插天天插天天插| 男人操女人高潮91视频| 亚洲天堂碰碰婷婷| 激情综合五月婷婷六月丁香| 97色五月婷婷在线| 人人综合五月人人婷婷| 久久五月天影院| 婷婷王月天影院| 亚洲国产成人AV在线 | 欧洲电影在线观看免费版英语版| 国产日批视频| 日本一级黄色片。| 99操逼| 丁香婷婷午夜| 2020日日干| 九九九九综合| 天天干天天爽| 婷婷五月激情丁香激情| 玖玖99婷婷| 色色色色色网| 青青草原爱爱网| www.9797国产| 色五月激情综合网| 欧美在线| 夜夜涩涩涩| 夜夜嗨一区二区三区直播内容| 狠狠色噜噜| 大香蕉伊在| 婷婷99狠狠躁天天躁| 天天舔天天插天天爱| 欧美情色一区| 99er热精品视频| 1024手机在线观看看片_日韩精品| 五月婷婷五月天| 六月丁香深深爱| 无语停婷丁香网| 婷婷五月综合久久中文字幕| 五月丁香综合啪啪啪啪啪| 精品国产乱码久久久久夜深人妻 | 影音先锋五月婷婷| 97色啪| 天天色天天爽| 2025超碰| 激情六月天婷婷| 热99热| 伊久大香蕉| 狼人婷婷综合| 丁香综合伊人| 玖久久网站| 玖玖婷婷综合| 777丁香六月青青草婷婷综合久月| 亚洲婷婷综合视频| 站长推荐无码播放| 99热精在线九九久久保| 久久婷婷色综合老司机| 婷婷激情小说| 3p日韩网站视频| 久久综合婷| 五月婷婷综合在线| 岛国AV网| 九九五月天| 久月久在线视频| 另类视频综合| 俺去也在线官网| 婷婷色五月大香蕉在线观看| 极品少妇高潮啪啪AV无码| 综合网五月| 日本在线免费中文com.| 久热9热| 五月大香蕉| 丁香五月成人婷婷| 天天天天天操| 激情视频91| 婷婷97色| 97碰免费视频在线| 直接看的AV网站| 亚洲色婷婷| 伊人9草在线观看| oumeisesewang| www.婷婷.com| 国产黄大片在线观看画质优化| 五月丁香自拍| 99精品久久久久久久婷婷久久| 色吧五月| 日韩av高清| 天天日天天操心| 久久99大全| 欧美激情凹凸丁香网| 激情小说五月天| 亚洲热久| 4438亚洲欧美| 激情五月小说婷婷| 九九久热| 99er6| 激情婷婷色色| 婷婷丁香婷婷97| 超碰人人色| 91操片| 亚洲精品国产精品乱码视99| 五月婷婷久久激情 | 性小说五月天| 国产白丝在线一区| AV亚洲在线| 超碰99在线| 婷婷9月天| 九九这里是免费的视频5| 中国AV性爱观看| 干一干xxxx| 婷婷五月天成人网|