欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

YOLO訓(xùn)練結(jié)果分析:讀懂mAP、損失曲線與混淆矩陣

YOLO訓(xùn)練結(jié)果分析:讀懂mAP、損失曲線與混淆矩陣 訓(xùn)練完一個(gè) YOLO 模型終端日志刷完最后一輪runs/detect/train/目錄里躺著一堆文件results.csv、results.png、confusion_matrix.png、PR_curve.png還有十幾張預(yù)測(cè)可視化圖。絕大多數(shù)人這個(gè)時(shí)候只做一件事——翻到results.csv最后一行看一眼metrics/mAP50(B)0.9 就發(fā)朋友圈0.3 就換個(gè)模型重跑。但真正把這批文件讀進(jìn)去的人會(huì)發(fā)現(xiàn)訓(xùn)練結(jié)果分析這件事的含金量恰恰在于那些看起來(lái)不好看的曲線里。同一個(gè) 0.78 的 mAP50可能是一個(gè)已經(jīng)到天花板的模型也可能是一個(gè)再改兩行配置就能沖到 0.88 的模型區(qū)別就在于你會(huì)不會(huì)讀它給出的證據(jù)。這篇內(nèi)容面向的是已經(jīng)跑通 YOLO 訓(xùn)練流程、能把模型訓(xùn)出結(jié)果但拿到結(jié)果之后不太確定下一步該動(dòng)什么的人——不管是 YOLOv5 時(shí)代過(guò)來(lái)的老手還是直接用 YOLOv8、YOLO11 起步的新人讀曲線、讀混淆矩陣、讀預(yù)測(cè)圖的這套方法都是通用的。1. results.csv 不是成績(jī)單而是七條線索的合集1.1 一次訓(xùn)練真正留下的可分析產(chǎn)物很多人把訓(xùn)練輸出當(dāng)成一個(gè)黑盒的結(jié)果文件實(shí)際上它至少包含四類互相印證的證據(jù)缺了任何一類你的判斷都會(huì)偏。第一類是數(shù)值趨勢(shì)也就是results.csv里的逐 epoch 記錄它告訴你模型是怎么一步步走到今天的第二類是匯總曲線也就是results.png它把 CSV 里的列畫(huà)成折線方便你一眼看形狀第三類是統(tǒng)計(jì)分布包括labels.jpg、labels_correlogram.jpg它反映的是數(shù)據(jù)集本身的構(gòu)成第四類是推理快照包括val_batch0_pred.jpg、train_batch0.jpg這些圖它是唯一能讓你用眼睛直接驗(yàn)證模型行為的東西。我見(jiàn)過(guò)太多人跳過(guò)第四類。數(shù)值指標(biāo)是聚合后的結(jié)果聚合必然抹掉個(gè)體信息。一個(gè) mAP50 是 0.85 的模型可能在某個(gè)類別上全軍覆沒(méi)只是被其他幾個(gè)大類的高分平均掉了也可能在小目標(biāo)上完全瞎只是數(shù)據(jù)集里小目標(biāo)占比低所以不影響總分。這類問(wèn)題只有翻預(yù)測(cè)圖才能發(fā)現(xiàn)。產(chǎn)物關(guān)注點(diǎn)什么時(shí)候必須看results.csv逐輪損失與指標(biāo)趨勢(shì)每次訓(xùn)練第一手results.png曲線形狀是否健康趨勢(shì)異常時(shí)對(duì)照confusion_matrix.png類間錯(cuò)分結(jié)構(gòu)總分尚可但可用性差時(shí)PR_curve.png/F1_curve.png閾值取舍依據(jù)準(zhǔn)備部署、定 conf 時(shí)val_batch*_pred.jpg真實(shí)錯(cuò)檢樣本上線前終審labels.jpg數(shù)據(jù)分布是否畸形指標(biāo)長(zhǎng)期上不去時(shí)1.2 看結(jié)果的順序先形狀后數(shù)值最后看具體樣本我自己的固定順序是這樣的先把results.png打開(kāi)看一遍整體形狀這一步花不到三十秒但能篩掉八成的問(wèn)題然后回到 CSV 用腳本把關(guān)鍵列拉出來(lái)算幾個(gè)我關(guān)心的比值最后才去翻混淆矩陣和預(yù)測(cè)圖驗(yàn)證數(shù)值上的猜測(cè)是否成立。為什么先看形狀因?yàn)榻^對(duì)值是沒(méi)有參照系的。你看到一個(gè) mAP50-95 是 0.41這個(gè)數(shù)本身說(shuō)明不了任何問(wèn)題——它可能是收斂了但天花板就低也可能是訓(xùn)到一半被打斷了。但如果你看到曲線在第二個(gè) epoch 沖到 0.6然后掉到 0.2 再也沒(méi)起來(lái)這個(gè)形狀本身就是明確信號(hào)要么是預(yù)訓(xùn)練權(quán)重沒(méi)加載成功要么是學(xué)習(xí)率設(shè)置有問(wèn)題導(dǎo)致早期發(fā)散。這一步可以用一小段腳本快速完成省掉手動(dòng)翻表格的麻煩import pandas as pd import numpy as np df pd.read_csv(runs/detect/train/results.csv) df.columns [c.strip() for c in df.columns] # 關(guān)鍵列位置在不同版本里名字略有差異先做一次兜底匹配 def col(keyword): hit [c for c in df.columns if keyword in c] return hit[0] if hit else None map50 col(mAP_0.5) map5095 col(mAP_0.5:0.95) prec col(precision) rec col(recall) epochs len(df) print(總輪數(shù):, epochs) print(最佳 mAP50:, df[map50].max(), 出現(xiàn)在第, df[map50].idxmax() 1, 輪) print(最佳 mAP50-95:, df[map5095].max()) # 指標(biāo)落差判斷框的緊致程度 gap (df[map50] - df[map5095]).mean() print(mAP50 與 mAP50-95 平均落差:, round(gap, 4)) # 末段是否還在漲判斷有沒(méi)有欠訓(xùn)練 tail df[map50].tail(max(5, epochs // 10)) print(末段均值:, round(tail.mean(), 4), 整體均值:, round(df[map50].mean(), 4))這段腳本里我最在意的其實(shí)不是最大值而是最佳值出現(xiàn)在第幾輪。如果最佳 mAP50 出現(xiàn)在倒數(shù)第三輪說(shuō)明模型還在漲你極有可能是欠訓(xùn)練加輪次大概率還能提升如果最佳值出現(xiàn)在中段、之后一路微跌那就是典型的過(guò)擬合拐點(diǎn)繼續(xù)加輪次只會(huì)更糟。這個(gè)信息比那個(gè) 0.9 或 0.3 有用得多。提示不同版本的列名不完全一致YOLOv5 記錄的是train/obj_lossYOLOv8 之后換成了train/dfl_loss寫(xiě)腳本時(shí)用關(guān)鍵字匹配而不是硬編碼列名能避免換版本就報(bào)錯(cuò)。2. box、cls、dfl 三條損失曲線各自在說(shuō)什么2.1 回歸損失長(zhǎng)期不降問(wèn)題多半不在模型而在框box_loss有的版本叫train/box_loss負(fù)責(zé)的是邊界框回歸也就是框得準(zhǔn)不準(zhǔn)。正常訓(xùn)練里它應(yīng)該在前兩三個(gè) epoch 快速下降之后進(jìn)入緩慢下降的平滑曲線末段趨于平緩。如果你的 box_loss 從第一輪到最后一輪幾乎是一條水平線甚至還在 1.0 以上先別懷疑網(wǎng)絡(luò)結(jié)構(gòu)按下面這個(gè)順序查。第一看標(biāo)簽格式。YOLO 要求的是歸一化的class cx cy w h全部在 0 到 1 之間。用 LabelImg 之類的工具導(dǎo)出時(shí)如果選了 Pascal VOC 格式再手工轉(zhuǎn)很容易出現(xiàn)坐標(biāo)沒(méi)歸一化、或者 xmin/ymin 順序?qū)懛吹那闆r。這類問(wèn)題的表現(xiàn)就是 box_loss 降不下去但也不爆炸卡在一個(gè)尷尬的中間值。第二看標(biāo)注框的尺度。如果你數(shù)據(jù)集里絕大多數(shù)目標(biāo)都是幾十像素的小目標(biāo)而輸入尺寸還是默認(rèn)的 640那么經(jīng)過(guò)五次下采樣之后特征圖上目標(biāo)只剩幾個(gè)像素回歸難度天然極高。這時(shí)候 box_loss 高是合理的解決方案是把imgsz提到 1024 甚至 1280而不是去改損失函數(shù)。第三看是否存在大量貼邊目標(biāo)。目標(biāo)被圖像邊界截?cái)鄷r(shí)真實(shí)框會(huì)超出圖像范圍而 YOLO 在計(jì)算損失時(shí)會(huì)把超出的部分裁掉導(dǎo)致模型永遠(yuǎn)學(xué)不會(huì)預(yù)測(cè)一個(gè)完整但不該完整的框損失卡住。這類樣本建議在數(shù)據(jù)清洗階段直接丟棄或用 mosaic 增強(qiáng)策略部分掩蓋。2.2 分類損失震蕩比不降更常見(jiàn)原因往往在采樣策略cls_loss的形態(tài)和 box_loss 完全不同它的絕對(duì)值通常更小而且震蕩幅度更大這是正常的因?yàn)榉诸悡p失直接受 batch 內(nèi)類別構(gòu)成影響——一個(gè) batch 全是難例損失就高下一個(gè) batch 全是簡(jiǎn)單樣本損失就低。所以看 cls_loss 要看移動(dòng)平均后的趨勢(shì)而不是逐點(diǎn)的波動(dòng)。真正需要警惕的是兩種情況。一種是 cls_loss 從頭到尾都在高位來(lái)回鋸齒完全沒(méi)有下行趨勢(shì)這通常意味著類別標(biāo)簽本身有問(wèn)題要么是同一類目標(biāo)在不同圖片里被標(biāo)成了不同類別要么是兩個(gè)高度相似的類別被混在一起。后者在工業(yè)檢測(cè)里特別常見(jiàn)比如把劃痕和裂紋混標(biāo)模型永遠(yuǎn)學(xué)不明白因?yàn)闃?biāo)注本身就自相矛盾。另一種是 cls_loss 降到很低但 mAP 不漲。這說(shuō)明模型在訓(xùn)練集上把分類學(xué)明白了但泛化不出去問(wèn)題出在數(shù)據(jù)分布而不是模型能力。這時(shí)候需要做的是增加數(shù)據(jù)多樣性、檢查訓(xùn)練集和驗(yàn)證集是否來(lái)自同一批采集條件而不是繼續(xù)調(diào)學(xué)習(xí)率。2.3 不同代際的損失構(gòu)成差異別用老經(jīng)驗(yàn)套新模型這是很多從 YOLOv5 遷移到 YOLOv8 的人容易踩的坑。兩代模型的損失項(xiàng)根本不是一個(gè)東西用 v5 的經(jīng)驗(yàn)去判斷 v8 的曲線結(jié)論會(huì)完全反過(guò)來(lái)。下面是常見(jiàn)的對(duì)應(yīng)關(guān)系代際記錄的主要損失項(xiàng)特點(diǎn)YOLOv5 / v7box_loss、obj_loss、cls_loss有獨(dú)立的 objectness 分支錨框機(jī)制YOLOv8 / YOLO11 及后續(xù)box_loss、cls_loss、dfl_loss無(wú) objectnessDFL 負(fù)責(zé)分布化回歸關(guān)鍵差異在obj_loss和dfl_loss上。v5 的obj_loss負(fù)責(zé)判斷這個(gè)位置有沒(méi)有目標(biāo)數(shù)值通常明顯高于 cls_loss而 v8 之后取消了這個(gè)分支置信度直接由分類分支的最大值承擔(dān)多出來(lái)的dfl_loss是用分布的形式去建模邊界距離讓框的回歸更精細(xì)。所以當(dāng)你看到 v8 的dfl_loss前幾輪很高、后面緩慢下降這是正常節(jié)奏但如果它一直不降對(duì)應(yīng)的現(xiàn)象就是 mAP50-95 上不去——框能大致框住但邊緣永遠(yuǎn)不夠貼合。3. mAP50 與 mAP50-95 的落差在暴露什么3.1 兩個(gè)指標(biāo)的口徑差別決定了它們的分工mAP50是 IoU 閾值取 0.5 時(shí)的平均精度意思是框和真值重疊一半就算對(duì)mAP50-95是 IoU 從 0.5 到 0.95 每隔 0.05 取一次十個(gè)閾值下的平均值。這兩個(gè)數(shù)放在一起看的價(jià)值遠(yuǎn)高于單獨(dú)看任何一個(gè)。如果 mAP50 是 0.90 而 mAP50-95 只有 0.45落差 0.45這說(shuō)明模型找目標(biāo)的能力沒(méi)問(wèn)題但對(duì)框的邊緣擬合很差。這類模型在只需要知道大概位置的場(chǎng)景里夠用比如計(jì)數(shù)、區(qū)域告警但一旦下游需要精確裁剪比如 OCR 前置檢測(cè)、尺寸測(cè)量就會(huì)暴露短板。反過(guò)來(lái)如果兩個(gè)數(shù)都很低且差距不大比如 0.42 和 0.33說(shuō)明模型連目標(biāo)在哪都沒(méi)學(xué)好這時(shí)候討論框的精度沒(méi)有意義應(yīng)該回頭查數(shù)據(jù)量和訓(xùn)練輪次。3.2 落差偏大時(shí)我固定按這個(gè)順序排查第一步看labels.jpg的框尺寸分布。如果框普遍很小那這個(gè)落差大概率是分辨率造成的優(yōu)先調(diào)imgsz。第二步看是否用了mosaic和mixup。這兩個(gè)增強(qiáng)在訓(xùn)練前期非常有用能讓模型見(jiàn)到大量不同尺度和位置的組合但它們的副作用是把目標(biāo)尺度分布攪亂了尾部幾個(gè) epoch 如果繼續(xù)開(kāi)著回歸精度會(huì)被持續(xù)拉低。標(biāo)準(zhǔn)的做法是在最后 10 到 15 個(gè) epoch 關(guān)掉它們。# 訓(xùn)練配置里的關(guān)鍵幾行 imgsz: 1024 # 小目標(biāo)場(chǎng)景不要用 640 硬扛 close_mosaic: 15 # 最后 15 輪關(guān)閉 mosaic讓回歸收斂 box: 7.5 # 回歸損失權(quán)重小目標(biāo)場(chǎng)景可以適當(dāng)提高 dfl: 1.5 # DFL 權(quán)重影響框的精細(xì)度第三步看 DFL 相關(guān)設(shè)置。YOLOv8 之后的 DFL 分支默認(rèn)的回歸范圍是 16意味著它主要建模 16 像素以內(nèi)的距離偏移。如果你的目標(biāo)框尺度普遍在幾百像素以上這個(gè)默認(rèn)值會(huì)讓回歸受限需要在配置里調(diào)整reg_max并重設(shè)檢測(cè)頭的通道數(shù)。第四步看是否真的收斂了。把 mAP50-95 單獨(dú)畫(huà)一條曲線如果它在最后幾輪還在緩慢爬升那就是欠訓(xùn)練別急著改結(jié)構(gòu)。3.3 小目標(biāo)指標(biāo)塌陷的典型表現(xiàn)與切入點(diǎn)小目標(biāo)的問(wèn)題在結(jié)果分析階段有個(gè)非常清晰的特征整體 mAP 看起來(lái)還行但只要你按目標(biāo)面積分箱統(tǒng)計(jì)會(huì)發(fā)現(xiàn)在面積小于 32×32 的箱子里 AP 斷崖式下跌。而results.png上看不出任何異常因?yàn)樗撬谐叨然煸谝黄鸬木酆现?。要定位這個(gè)問(wèn)題需要在驗(yàn)證階段單獨(dú)統(tǒng)計(jì)。YOLO 官方驗(yàn)證腳本本身不直接給出分尺度結(jié)果通常的做法是拿val階段的預(yù)測(cè)結(jié)果可以用save_jsonTrue導(dǎo)出自己按框面積分箱算 AP。這個(gè)分析一旦做出來(lái)結(jié)論往往很直接小目標(biāo) AP 0.15中大目標(biāo) AP 0.85那你要做的事情就很明確了——加 P3 檢測(cè)層、提高輸入分辨率、或者在數(shù)據(jù)里對(duì)小目標(biāo)做專門(mén)的過(guò)采樣。這里有個(gè)經(jīng)驗(yàn)數(shù)值可以參考當(dāng)目標(biāo)在原始圖像上只有 20 像素左右時(shí)輸入 640 意味著在最小的特征圖上stride 8 對(duì)應(yīng) 80×80 的特征圖目標(biāo)占約 2.5 個(gè)格子輸入 1280 時(shí)占 5 個(gè)格子。后者對(duì)回歸任務(wù)來(lái)說(shuō)難度是斷崖式下降的。所以在顯存允許的前提下小目標(biāo)場(chǎng)景提高分辨率帶來(lái)的收益通常大于換更大 backbone 帶來(lái)的收益。4. PR 曲線、F1 曲線與混淆矩陣把數(shù)字翻譯成具體錯(cuò)誤4.1 從 PR 曲線的形狀判斷模型處在什么狀態(tài)PR_curve.png里每條彩線對(duì)應(yīng)一個(gè)類別曲線下的面積就是該類別的 AP。判斷方法很樸素曲線越靠近右上角越好。但更值得看的是形狀差異。如果某個(gè)類別的曲線是接近直角的形狀也就是 recall 很低的時(shí)候 precision 還能保持在 0.9 以上然后突然垂直掉落說(shuō)明這個(gè)類別的召回能力受限——模型只在最確信的那幾個(gè)樣本上敢報(bào)其他全漏了。常見(jiàn)原因是該類別樣本太少或者標(biāo)注質(zhì)量參差。如果曲線是一條對(duì)角線似的緩坡precision 隨著 recall 提升平滑下降說(shuō)明模型對(duì)該類別的判斷本身就模糊很可能與另一個(gè)類別存在視覺(jué)相似性。還有一種情況是曲線整體位置很低但形狀正常那基本就是數(shù)據(jù)量不夠沒(méi)什么好辦法只能補(bǔ)數(shù)據(jù)。4.2 混淆矩陣?yán)锬茏x出的兩類錯(cuò)誤confusion_matrix.png是行歸一化前的原始計(jì)數(shù)confusion_matrix_normalized.png是行歸一化后的比例。這兩張圖要配合著看前者告訴你絕對(duì)數(shù)量后者告訴你錯(cuò)誤結(jié)構(gòu)。矩陣?yán)镉袃蓚€(gè)區(qū)域必須重點(diǎn)看。右下角之外的對(duì)角線格子是類間錯(cuò)分比如真實(shí)類別是 A 被預(yù)測(cè)成 B。這類錯(cuò)誤的數(shù)值如果在 10% 以上就不是模型能力問(wèn)題而是標(biāo)注一致性問(wèn)題。我遇到過(guò)一個(gè)案例兩個(gè)類別在視覺(jué)上區(qū)別只是顏色深淺標(biāo)注團(tuán)隊(duì)內(nèi)部對(duì)邊界判斷都不統(tǒng)一最后的結(jié)果就是這兩個(gè)類永遠(yuǎn)互相錯(cuò)分。解決辦法是重新定義類別邊界把這兩個(gè)類合并或者干脆拆成兩個(gè)獨(dú)立模型分別訓(xùn)練。最后一行和最后一列對(duì)應(yīng)的是漏檢和誤檢。YOLOv8 的混淆矩陣?yán)镉幸粋€(gè)額外的background行列表示沒(méi)有目標(biāo)被判成有目標(biāo)和有目標(biāo)被判成沒(méi)有目標(biāo)。如果 background 那一列真實(shí)有目標(biāo)但被判成背景數(shù)值很大說(shuō)明漏檢嚴(yán)重通常對(duì)應(yīng)小目標(biāo)或者遮擋目標(biāo)。對(duì)比矩陣的時(shí)候有個(gè)技巧不要只看出錯(cuò)最多的那一格要看歸一化之后錯(cuò)誤比例最高的那一格。舉個(gè)例子A 類錯(cuò)分成 B 類共 200 次聽(tīng)起來(lái)很多但如果 A 類本身有 20000 個(gè)樣本那錯(cuò)誤率只有 1%可以忽略而 C 類總共只有 300 個(gè)樣本錯(cuò)了 50 次錯(cuò)誤率 16%這才是真正的問(wèn)題所在。樣本量小的類別永遠(yuǎn)是需要單獨(dú)盯的。4.3 用 val_batch 預(yù)測(cè)圖做人工終審數(shù)值和矩陣都看完之后我一定會(huì)花時(shí)間翻val_batch*_pred.jpg。這些圖是隨機(jī)抽的每張圖上有真值框和預(yù)測(cè)框的疊加對(duì)比是唯一能看到模型具體錯(cuò)在哪張圖上、錯(cuò)成什么樣的途徑。翻圖的時(shí)候我會(huì)特別留意三類現(xiàn)象。一是密集目標(biāo)下的漏檢數(shù)值上可能只影響幾個(gè)點(diǎn)但如果你的業(yè)務(wù)場(chǎng)景就是密集人群或者密集零件這個(gè)問(wèn)題會(huì)直接決定模型能不能用。二是置信度虛高也就是框明顯錯(cuò)了但標(biāo)著 0.85 的分?jǐn)?shù)這說(shuō)明模型對(duì)自己的錯(cuò)誤很自信這類問(wèn)題在模型集成和閾值調(diào)節(jié)時(shí)最難處理。三是框的抖動(dòng)同一類目標(biāo)在不同圖里框的大小習(xí)慣不一致有的貼得很緊有的很松這是回歸不穩(wěn)的表現(xiàn)通常和 DFL 設(shè)置或者訓(xùn)練輪次不足有關(guān)。提示驗(yàn)證可視化圖默認(rèn)只保存若干張可以在訓(xùn)練命令里加上plotsTrue并調(diào)大保存數(shù)量訓(xùn)練結(jié)束后再慢慢翻比訓(xùn)完就刪掉重新跑一次劃算得多。5. 四類典型異常曲線的完整排查鏈路5.1 前期虛高然后斷崖下跌這個(gè)現(xiàn)象我見(jiàn)過(guò)太多次形態(tài)非常統(tǒng)一第 1 到第 3 個(gè) epochmAP50 能沖到 0.5 甚至更高然后突然掉到 0.05 并且再也爬不起來(lái)。新手看到這個(gè)會(huì)以為模型崩了其實(shí)早期那幾輪的高分是假象來(lái)源通常是兩類。第一類是預(yù)訓(xùn)練權(quán)重加載失敗。如果--weights路徑寫(xiě)錯(cuò)或者權(quán)重和模型結(jié)構(gòu)不匹配YOLO 會(huì)用隨機(jī)初始化繼續(xù)跑但日志里往往只報(bào)一行 warning很容易被忽略。早期的高分其實(shí)來(lái)自模型輸出的極端偏置——比如所有框都預(yù)測(cè)圖像中心而恰好數(shù)據(jù)集中大部分目標(biāo)位于中心區(qū)域于是瞎猜也能拿到不低的 IoU。隨著訓(xùn)練推進(jìn)模型開(kāi)始真正學(xué)分布這些巧合失效分?jǐn)?shù)自然暴跌。第二類是學(xué)習(xí)率過(guò)大導(dǎo)致的發(fā)散。如果lr0設(shè)成了 0.1 這種級(jí)別前幾輪梯度更新幅度太大會(huì)把權(quán)重推到極端值表現(xiàn)為損失先是劇烈下降然后突然爆炸成 NaN指標(biāo)斷崖。排查方法是看 box_loss 有沒(méi)有出現(xiàn) NaN 或者突然跳到幾百。排查鏈路是這樣的先確認(rèn)權(quán)重真的加載了日志里通常會(huì)打印加載了多少層、跳過(guò)了多少層再確認(rèn)lr0是否在合理范圍從零訓(xùn)練和微調(diào)的推薦值差別很大最后看是否用了 AMP 混合精度某些顯卡和某些版本組合下 AMP 會(huì)溢出關(guān)掉amp再跑一次就能驗(yàn)證。5.2 全程鋸齒震蕩不收斂曲線上下大幅波動(dòng)、平均值幾乎不動(dòng)這種形態(tài)的根因通常在 batch 和數(shù)據(jù)量上。batch size 太小的時(shí)候每個(gè) batch 的梯度估計(jì)噪聲極大模型像是在被隨機(jī)拉扯。經(jīng)驗(yàn)上如果 batch 小于 8訓(xùn)練穩(wěn)定性會(huì)明顯變差。但在顯存受限的情況下正確做法不是硬把 batch 調(diào)大而是用梯度累積把batch4配合nbs64這類設(shè)置讓優(yōu)化器在多個(gè)小 batch 上累積梯度后再更新一次等效于大 batch 的效果代價(jià)只是訓(xùn)練時(shí)間變長(zhǎng)。另一個(gè)容易被忽略的原因是數(shù)據(jù)量太少。如果整個(gè)訓(xùn)練集只有幾百?gòu)垐D那無(wú)論怎么調(diào)曲線都會(huì)抖因?yàn)槊總€(gè) epoch 的樣本組合差異太大。這種情況應(yīng)該做的是強(qiáng)增強(qiáng)拉長(zhǎng)訓(xùn)練并且坦然接受抖動(dòng)用移動(dòng)平均看趨勢(shì)而不是看單點(diǎn)。5.3 訓(xùn)練損失下降、驗(yàn)證損失上升的過(guò)擬合這是最經(jīng)典也最好識(shí)別的一種。train/box_loss一路平滑下降val/box_loss在某個(gè) epoch 之后開(kāi)始掉頭向上同時(shí)驗(yàn)證集的 mAP 停止增長(zhǎng)甚至微跌。三條曲線同時(shí)出現(xiàn)這個(gè)特征就是明確的過(guò)擬合信號(hào)。處理方式按性價(jià)比排序第一加數(shù)據(jù)或者加強(qiáng)增強(qiáng)這是收益最高也最費(fèi)力的第二加正則weight_decay從默認(rèn)值往上調(diào)或者開(kāi)dropout分類頭部分第三減模型容量從 l 換到 s或者從 s 換到 n第四早停把patience設(shè)小一點(diǎn)讓訓(xùn)練在拐點(diǎn)附近自動(dòng)停。有個(gè)細(xì)節(jié)值得說(shuō)過(guò)擬合的拐點(diǎn)位置和數(shù)據(jù)集大小強(qiáng)相關(guān)。數(shù)據(jù)量小的時(shí)候可能在 50 輪就出現(xiàn)數(shù)據(jù)量大的時(shí)候 300 輪都不出現(xiàn)。所以別拿別人的輪次數(shù)當(dāng)參照看自己的驗(yàn)證曲線。5.4 假性收斂指標(biāo)好看但框飄這一種最隱蔽因?yàn)樗跀?shù)值上幾乎看不到異常。mAP50 穩(wěn)定在 0.9損失曲線平滑收斂看起來(lái)完美。但你把預(yù)測(cè)圖翻出來(lái)一看框普遍比真值大一圈或者系統(tǒng)性地往某個(gè)方向偏移。根源通常有兩個(gè)。一是驗(yàn)證集和訓(xùn)練集同源模型記住的是這一批數(shù)據(jù)的統(tǒng)計(jì)規(guī)律換一批就崩。二是框的回歸目標(biāo)尺度失衡DFL 分支對(duì)回歸范圍的建模和實(shí)際目標(biāo)尺度不匹配導(dǎo)致框整體往外擴(kuò)。排查方法很直接拿模型去跑一批完全沒(méi)參與訓(xùn)練、采集條件也不同的圖片看指標(biāo)掉多少。如果掉幅超過(guò) 20%那假性收斂的判斷就成立了。這類問(wèn)題的解法不是調(diào)參而是重新審視數(shù)據(jù)劃分方式盡量讓訓(xùn)練集和驗(yàn)證集在采集時(shí)間、設(shè)備、場(chǎng)景上都有區(qū)分度而不是簡(jiǎn)單隨機(jī)切分。6. 驗(yàn)證集好看、現(xiàn)場(chǎng)拉胯時(shí)該回頭查什么6.1 對(duì)標(biāo)注質(zhì)量做一次反向抽查當(dāng)指標(biāo)和實(shí)際表現(xiàn)嚴(yán)重不符時(shí)我第一件事不是懷疑模型而是抽 50 張驗(yàn)證集圖片把標(biāo)注框和圖像對(duì)照著看一遍。這個(gè)動(dòng)作非??菰锏行А3R?jiàn)的標(biāo)注問(wèn)題包括框只框住了目標(biāo)的一部分、多個(gè)緊鄰目標(biāo)被標(biāo)成一個(gè)框、相似類別的標(biāo)注標(biāo)準(zhǔn)不統(tǒng)一、遮擋嚴(yán)重的樣本沒(méi)標(biāo)但也沒(méi)剔除。有個(gè)快速判斷標(biāo)注一致性的辦法計(jì)算同一類別所有標(biāo)注框的寬高比分布。如果某個(gè)類別的寬高比標(biāo)準(zhǔn)差異常大說(shuō)明標(biāo)注團(tuán)隊(duì)對(duì)這個(gè)類別的框該多大沒(méi)有共識(shí)。人眼很難發(fā)現(xiàn)問(wèn)題統(tǒng)計(jì)量能。6.2 訓(xùn)練驗(yàn)證分布有沒(méi)有隱性錯(cuò)位隨機(jī)切分?jǐn)?shù)據(jù)集在實(shí)驗(yàn)階段沒(méi)問(wèn)題但在真實(shí)項(xiàng)目里往往有坑。如果你的數(shù)據(jù)是按批次采集的隨機(jī)切分會(huì)讓訓(xùn)練集和驗(yàn)證集共享同一批采集條件指標(biāo)虛高。正確做法是按采集批次、按日期、按設(shè)備分組切分讓驗(yàn)證集代表未來(lái)的數(shù)據(jù)。判斷方法也簡(jiǎn)單把驗(yàn)證集按來(lái)源分組分別算每組的 AP。如果組間差異超過(guò) 30%說(shuō)明分布嚴(yán)重不均這時(shí)候看總 mAP 意義不大。6.3 推理配置和訓(xùn)練配置對(duì)不上的幾個(gè)高頻項(xiàng)這類問(wèn)題純粹是工程細(xì)節(jié)但踩的人極多。輸入尺寸不一致是最常見(jiàn)的訓(xùn)練用 640部署時(shí)圖省事直接送 1920 的原圖進(jìn)去模型沒(méi)見(jiàn)過(guò)這個(gè)尺度分布效果直接打折。置信度閾值不一致也很常見(jiàn)訓(xùn)練時(shí)驗(yàn)證用的conf0.001為了算完整的 PR 曲線這個(gè)值是故意設(shè)低的部署時(shí)照抄了這個(gè)值結(jié)果輸出一堆垃圾框。NMS 的 IoU 閾值同理驗(yàn)證階段用的是 0.7部署時(shí)用默認(rèn)值密集目標(biāo)場(chǎng)景下會(huì)大量誤抑制。最穩(wěn)妥的做法是把驗(yàn)證階段確定下來(lái)的那套參數(shù)——imgsz、conf、iou、max_det——原封不動(dòng)搬到部署配置里定完再微調(diào)而不是憑感覺(jué)設(shè)。7. 把分析結(jié)論落回下一輪訓(xùn)練7.1 從現(xiàn)象到參數(shù)的映射表分析做完如果不落到具體動(dòng)作上等于沒(méi)做。我把常見(jiàn)的現(xiàn)象和對(duì)應(yīng)操作整理成了一張表基本上按這張表走能解決八成的結(jié)果問(wèn)題。觀察到的現(xiàn)象優(yōu)先嘗試的動(dòng)作預(yù)期效果最佳指標(biāo)出現(xiàn)在倒數(shù)幾輪增加訓(xùn)練輪數(shù)指標(biāo)繼續(xù)上漲驗(yàn)證損失中段掉頭向上早停、加正則、加數(shù)據(jù)抑制過(guò)擬合mAP50 高、mAP50-95 低提分辨率、末段關(guān) mosaic、調(diào) DFL框更貼合小目標(biāo) AP 斷崖提 imgsz、加 P3 層、小目標(biāo)過(guò)采樣小目標(biāo)召回提升cls_loss 長(zhǎng)期高位震蕩復(fù)查標(biāo)簽一致性、合并混淆類分類收斂box_loss 不降檢查標(biāo)簽格式、剔除貼邊樣本回歸啟動(dòng)某類 AP 明顯偏低補(bǔ)該類樣本、檢查標(biāo)注標(biāo)準(zhǔn)長(zhǎng)尾改善全線鋸齒梯度累積、增大等效 batch曲線平滑7.2 單變量原則和一份夠用的實(shí)驗(yàn)臺(tái)賬最后說(shuō)一個(gè)習(xí)慣問(wèn)題。我見(jiàn)過(guò)很多人調(diào)模型的方式是這輪改學(xué)習(xí)率、改增強(qiáng)、換 backbone一起上然后指標(biāo)漲了就不知道是誰(shuí)的功勞跌了更不知道是誰(shuí)的鍋。正確做法是一次只改一個(gè)變量哪怕這樣一輪實(shí)驗(yàn)要多跑幾個(gè)小時(shí)。配套的是一份實(shí)驗(yàn)臺(tái)賬字段不用多夠用就行實(shí)驗(yàn)編號(hào) | 數(shù)據(jù)版本 | 模型 | imgsz | batch | lr0 | 增強(qiáng)策略 | 最佳mAP50 | 最佳輪次 | 結(jié)論 E021 | v3 | s | 640 | 16 | 0.01| 默認(rèn) | 0.812 | 87 | 基線 E022 | v3 | s | 1024 | 8 | 0.01| 默認(rèn) | 0.856 | 92 | 分辨率是正向因素 E023 | v3 | s | 1024 | 8 | 0.01| 關(guān)mosaic | 0.871 | 95 | 末段關(guān)增強(qiáng)收益明顯有了這張表你在第 30 次實(shí)驗(yàn)的時(shí)候還能清楚地知道哪條路走過(guò)、效果如何而不是憑記憶猜。臺(tái)賬里最佳輪次這一列看起來(lái)不起眼但它能告訴你模型還需要多少訓(xùn)練量長(zhǎng)期看比 mAP 本身更有指導(dǎo)價(jià)值。我自己在長(zhǎng)期跑實(shí)驗(yàn)之后最大的體會(huì)是結(jié)果分析這件事的瓶頸從來(lái)不在工具上而在耐心上。大多數(shù)人不是不會(huì)看曲線而是不愿意花二十分鐘去翻預(yù)測(cè)圖、對(duì)標(biāo)注、算分尺度指標(biāo)??汕∏∈沁@二十分鐘決定了你下一輪訓(xùn)練是瞎調(diào)還是有據(jù)可依。另外一個(gè)實(shí)用的習(xí)慣是每次訓(xùn)練結(jié)束后不要立刻刪掉 run 目錄哪怕顯存緊張也把results.csv和幾張關(guān)鍵圖存下來(lái)。等到三個(gè)月后你要復(fù)現(xiàn)某個(gè)結(jié)果這些文件就是唯一的線索從零再跑一遍的成本要高得多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久九九99| enecarbon-materials.com污K127封锁请涟系@wip1688 | 欧美激情五月天婷婷| AAA久久| 全网最新网黄大秀直播高清,主播国产录屏在线 | 婷婷五月天Av| 久久丁香婷婷色情综合| 六月丁香网| 五月丁香狠狠| 狠狠色婷婷7| 日韩欧美成人一区二区三区| 在线网黄| 一本色道久久88综合日韩精品| 99久久婷婷五月天| 五月天天天综合| 久久九九热re6这里有精品| 久久婷婷五月免费视频| 激情欧美婷五月| 精品AV无码超碰| 日本三级中国三级99| 午夜美女人啪最红院| 五月丁香另类网| 久热91| 玖玖资源站视频| 五月婷中文字幕| 国产精品久久久久久久久久 | 欧美伊人9| 亚洲日本韩国| 农村熟妇高潮精品A片| 丁香五月婷婷五月| 色婷婷五月天视频在线| 五月婷在线色视频| 色五月天天| 五月色丁香| 伊人丁香五月天丁香在线婷| 超碰在线日夜| 亚洲综合网在线| 成人精品在线观看| 这里只有精品视频99| 开心深爱激情网| 国产激情综合| 婷婷四色五月| 久久综合婷婷五月| 丁香五月天.com| 26uuu成人网| 色无码| 婷婷五月丁香基地| 五月天另类小说| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 99激| 色婷丨日丨天丨综合久久| 爆乳熟女一区二区三区爆乳| 婷婷五月天午夜激情影院| 国产真实乱了老女人视频| 久久99婷婷| 五月天网站免费欧美| 狠狠色情婷婷| 丁香婷婷色五月天| 丁香六月伊人| 六月婷婷开心| 草草操操| 狠狠综合网| 五月丁香婷婷成人网| 婷婷五月丁香久久| 性做爰1一7伦| tingtingcaobi| 能看的av| 开心激情站| 深爱激情综合| 日韩黄色影院| 激情久久综合网| 亚洲精品国产A久久久久久| 人人澡玖玖一| 99热这里只有精品3| 婷婷黄色| 伊人久久艹| 久久色情| 色婷婷色综合| 久久综合婷婷| 激情久久综合网| 婷婷五月美女直播| 最新久久网址| 丁香五月花| 婷婷综合九色伊人| 色婷婷88| 欧美韩日AAA网站| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 91婷婷色| 青草视频在线播放| 99啪在线视频| 女性自慰系列第五页| 亚洲婷婷在线播放十月| 甈你aaaaa| 婷婷丁香五月综合激情视频| 综合色播| 色婷婷小视频| 五月天色婷伊人| 亚洲九九免费| 五月丁香久人妻中文| 中文字幕成人| 丁香熟女乱| 五月婷婷深深爱| 色五月开心婷婷| 99re这里只有精品首页| 狠狠色噜噜| 天天操夜夜橾| www.狠狠操| 五月天久久久| 人人操人人干AV| 色婷婷狠狠干| 欧美黄色韩日网| 91婷婷丁香| 婷婷久久网| 久久九九热re6这里有精品| 日韩伊人大香蕉| 日韩黄色电影| 成人免费黄色短视频| 无码动漫AV| 久久综合丁香五月| 五月婷婷在线免费| 婷婷五月激情欧美大胆视频| 婷婷五月色播网| 思思精品久久艹| 婷婷干五月综合在线播放| 97热这里精品在线视频| 婷婷日韩| 色色色视频免费无码 | 五月丁香六月激情| 成人片黄网站色大片免费毛片| 欧美月久久| 天天噜天天爱| 久久激情视频| 天天摸.天天mo| 26uuu国产| 少妇人妻丰满做爰XXX| 亚洲超级碰| 天天综合亚洲综合| 成人日韩欧美| 五月天第四色开心色播| 天天干电影| 综合久久十三| 六月激情久久婷婷| av九九| 91AV视频| 丁香久久久| 婷婷激情四射| 五月丁香婷婷五月色| 中文字幕成人影视| 欧美大香蕉视频| 99热这里只有免费精品| 久久日婷婷| 十月丁香婷婷| 欧美精品在线观看| 丁香五月婷婷激情123| 婷婷五月天激情网| 欧美这里只有精品| 日韩成人av在线| 这里只有精品在线视频在线观看| 五月天大香蕉av| 99婷婷国产最新视频| 五月天婷婷开心| 激情亚洲婷婷| 久热九九| 丁香五月婷婷啪啪| 激情无码五月天| 综合激情婷婷| 六月婷婷无码观看| 亚洲超碰在线| 天天干天天日日| 婷婷久久五月天| 婷婷五月天综合久久| 这里只有精彩亚洲视频推荐| 啪啪日热| 华人在线免费| 色九亚洲| aaa久久| 99精彩视频在线观看| 天天色天天爱天天舔| 在线播放成人网站| 影音先锋 91工厂| 亚洲V国产V欧美V久久久久久| 国产伦理精品高清在线观看网站一区二区 | 视频综合网| 婷婷五月丁香综合激情| 五月婷婷啪啪啪| 影音先锋色婷婷| 五月婷婷三级| 成人精品视频99在线观看免费| 97涩涩丁香五月天| 先锋男人91资源| 思思热精品在线视频| 4399欧美另类视频| 五月激情啪啪| 丁香五月婷婷色情综合| 婷婷五月天成人网| 久热伊人91| 丁香婷婷综合影院| 精品网站:999WWW| 99久久久久| 丁香五月婷婷五月| 婷婷天天婷婷天天澡| 99丁香五月婷| 色五月婷婷7777| 99精品小视频| 久热视频A.| 亚洲字幕AV一区二区三区四区| 狠色狠色综合久久| 99啪啪| 日韩AV免费看| 久久久com| 亚洲无码成人网| 超碰人人摸人人操| 天天插天天插天天插天天插| 九色色| www.色综合.com| 大香蕉综合在线| 婷婷五月天熟妇| 色色影院黄大片| 亚洲激情五月| 99热成人精品网站| 五月之婷婷| 婷婷五月天激情电影| 丰满女老板BD高清A片| 激情五月综合网最新| 九九九九综合| 免费看成人AA片无码视频吃奶| 婷婷色正月| 欧美激情综合| 色五月欧美| 激情五月天婷婷丁香| 天天综合精品| 九九色大香蕉| 99爱视频在线| 久久这里只| 丁香六月AV| 9热在线视频| 香蕉综合网| 国产五月天激情小说| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 99热偷拍| 九九九九综合| 开心五月综合激情网| 大伊久久| 色婷婷成人丁香| 激情九月天天天天婷婷| 九九色影院| 色五月婷婷九月| www.sd-xiangsu.cpm| 亚洲操女| 久久五月丁香| 色玖玖| 婷婷少妇激情| 99九九玖玖| 亚洲丁香五月| 。久久久久久久久久久久久久人妻 | 久青青久| 色人久久| 精品久久99码| 伦乱天堂| 成人噜噜网| 久婷婷五月天影院| 久超超碰| 婷婷五月无码| 日本WWW九九九| se.久久视频在线观看| 五月丁香啪啪啪| 91九色超碰正在播放| 亚洲情欲久久| 丁香花婷婷五月天| 91打屁股视频网站| 玖玖无码中文| 丁香五月天信号| 久久只有精| 五月天啪啪| 婷婷综合色| 日韩成人电影在线播放| 久久婷综合| 99精品久久久久久久| 久久伊人婷| 婷婷激情啪啪| 综合五月婷婷| 97人人操人人| 99色视频| 九九视频精品在线免费| 激情五月四色| 欧美精产国品一二三区| 五月婷婷六月丁香综合在线| 国产毛片欧美毛片久久久| 性一交一乱一交A片久| 天天综合精品| 丁香五月天堂网AV| 精品久色| 六月丁香好婷婷| 色五月天本日| 第四色激情网| 99激情| 丁香六月天婷婷色| 9l视频自拍9l视频自拍九色学生| 99热国产这里只有| 激情av在线| 日本一级特黄大片AAAAA级| 97色婷婷| 天天做天天爱天天综合网| 婷婷五月天色| 五月天激情小说| 激情开心五月天| 亚洲愉拍99热成人精品| h亚洲| 丁香六月久久| 婷婷深爱五月亚洲综合| www.天天干| 五月丁香色情| 九九热青青草| 亚洲小视频免费观看| yazhouzonghesese| 97中文在线| 日本人妻伦在线中文字幕 | 欧美69久成人做爰视频| 成人五月天综合网| 日本啪啪网| 亚洲色精彩| www.26uuu.com亚洲电影| 亚洲综合另类| 九月丁香网婷婷| 久久久婷丁香五月天激情综合| 婷婷她六月天| 免费看欧美成人A片无码| 26uuu国产| 玖玖婷婷免费| 天天爽天天| 成人网丁香五月| 五月天色不卡| 婷婷五月性感| 久热9| 丁香六月激情综合啪啪| 丰满人妻一区二区三区| 日日噜噜夜夜狠狠久久丁香五月| 色婷婷综合网站| 色欧美日| 色五月丁香伊人五月| 色久天| 日本天堂网站99| 人妻狠狠操| 色性日本| 性按摩玩人妻HD中文字幕| 五月丁香大相交| 婷婷综合五月激情| 99人妻碰碰碰久久久久视| 国色天香成人网| 1024欧美看片| 久久这里有精品99| 婷婷五月综合国产精品| 久久这里在精品视频| 激情五月开心五月丁香五月| 婷婷丁香熟女| 亚洲综合婷婷五月| 超碰日韩人妻在线| 中文aV网| 成人.在线日韩| 99色在线观看免费| 热99这就是精品视频| 天天干,夜夜爽| 欧美日韩国产一区| 99色在线| 在线你懂的亚洲欧| 性高潮久久久久久-九九九九九九九九九九热-成人AV| 国产成人AV| 天天做天天爱天天日| 欧美熟女99| 激情伊人网| 色久五月天| 午夜成人av在线| 99极品视频| 九九伊人网| 久久五月天大美女| 亚洲无AV在线中文字幕| 极品人妻videosss人妻| 欧美性爱专区| 亚洲综合欧美色丁香婷婷888月图片| 丁香五月另类小说在线阅读| 粉嫩AV久久一区二区三区| 亚洲丁香花色| 色综合久久天天综合网| 丁香5月激情网| 另类视频一区| 亚洲人妻av| 大香蕉九九| 99网址在线看| 天天爽天天操| 激情网五月婷婷| 色9999综合久久| 欧美五月婷婷| 99热国产| 超碰只有精品在线| 夜夜爱网站| 久久综合伊人77777蜜臀| 五月天丁香综合久久国产| 五月天婷婷爱| 激情综合色图| 婷婷五月色播网| 色五月丁香五月婷婷五月成人网 | 丁香五月天堂网| 婷婷丁香六月五月天| 开心激情网五月天| 丁香五月23111| 蜜桃婷婷狠狠久久综合| 思思热视频在线观看| 五月丁香六月婷婷综合在线| ztEJj| www,天天干| 婷婷综合五月| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品| 亚洲99视频| 色99www.| 成人无码精品1区2区3区免费看| 婷婷成人五月天成人文学小说| 天天肏高清在线| 狠狠操天天干| 亚洲中文乱字字幕在线永久| 色色色色五月| 五月婷婷人妻| wwW天天干| 九九激情| 久久久大香蕉| 婷婷亚洲五| 免费黄色片子| 婷婷五月天在线观看第二页| 120分钟婬片免费看| 久久A极片| www.狠狠| 天天爽天天弄| 日本啪啪天堂| 色五月激情图片| 综合激情五月天| 亚洲丁香网| 亚洲精品视频在线播放| 日本在线观看91| 亚洲综合五月| 久久女人天堂| 婷婷丁香18| wuyuedingxiang99| 4399伦理午夜| 精品夜夜澡人妻无码AV| 99热这里只有精品在线播放| 激情深爱综合| 国产精品成人在线| 色爱99| 公的粗大挺进了我的密道| 成年人丁香五月| 美女要搞搞天天搞搞搞网站| 久久久人妻不卡| 婷婷五月18永久免费网站| 香蕉久久av一区二区三区| 99er久久| 成人丁香婷婷五月天| 大香蕉啪啪啪| 日本色天堂| 五月天另类小说久久小说网| 同性gv国产精品一区二区| 久久sp免费视频| 在线视频区| 26uuu国产| 99热1| 五月天婷婷激情在线色图| 婷婷免费无视频| www.色综合.com| 人人97操| 久久婷婷六月综合综合| 99啪视频在线观看| 97干在线| 婷婷五月激情丁香| 激情99| 99re这里只有| 婷婷综合五月天| 日日干天天| 猫咪伊人久久| 伊人干综合| 五月婷婷深深爱| 99这里热| 狠狠色综合网| 国产精品成人在线| 亚洲乱码日产精品BD| 激情婷婷五月天| 丁香五月天堂网| 久久久97| 黄色片久久| 色欲一区二区三区精品A片| 国产精品99久久久久久久女警| 亚州色色色| 五月天婷婷视频| 婷婷五月综合社区| 91丨九色丨国产打屁股| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 国产激情综合五月久久| av在线免费网站| 97性视频| 九九色综合| AV性爱网| 五月天丁香久久综合| 碰99在线| 4399在线观看免费毛片| 性爱AV天堂| 99综合视频一体| 色五月xxx| 婷婷丁香五月久久| 欧美激情凹凸丁香网| 国产色五月| 丁香婷婷情色五月天| 97丁香五月| 丁香五月色| 九九热10| 免费视频WWW在线观看网站| 激情性爱五月天网页| 影音先锋一区二区资源站| 99操不停| 色情性爱视频网址| 狠狠狠夜夜夜| 国产超碰在线| 色色六月| 婷婷八月激情| 婷婷六月五月天综合| 中文字幕成人影视| 午夜天堂一区人妻| 九月综合| 99热九九在线| 任你爽视频| 亚洲丁香花五月丁香花| 99热这里是精品| 99久久66综合| 丁香狠狠色婷婷| 五月婷婷丁香伦理网| 思思精品热在线| 五月天婷婷免费| 婷婷五月天激情网| 99久精品视频| 好吊操这里只有精品| 欧美草久久五月天91| 综合久久综合| 操操熟女| 99黄色| 色五月琪琪| 激情五月婷婷色综合| 日本啪啪天堂| 99色色色色| 久热伊人| 综激情网| 人人噜天天上| 国产片XXXXA片国语对白| 丁香五月开心亚洲| 婷婷五月天电影在线| 丁香色五月天| 国产激情av| 亚洲五月情| 欧美一级色| 亚洲无线视频| 色色综合视频| 亚洲成人在线观看av| 成人在线网| 亚洲色无码| 丰满人妻一区二区三区| 99ri国产| 久久婷狠狠色| 婷婷五月天AV在线| 天天五月天综合网址| 国产日产亚洲系列最新| 丁香五月天天日| 91狠狠综合久久| 夜色.cnm| 婷婷丁香五月天综合网| 婷婷中文字幕| 亚洲精品午夜国产va久久成人| 丁香五月天激情视频| 婷婷内射视频在线| 新激情五月天天在线网| 亚洲成人综合网在线免费观看| 婷婷六月插屄激情| 麻豆WWWCOM内射软件| 日本久久性| 五月婷婷人妻| 国外亚洲成AV人片在线观看| 五月婷婷欧美| 亚洲男女激情| 超碰二区| 91精品久久久久久综合五月天| 另类亚洲视频| 超碰人人操在线| 久久hd| 色婷婷超碰| 男人視頻站| 五月丁香六月| 色香蕉影院| 丁香五月久久| 操笔无码| 99热这里都是精品| 中文字幕 久久9999| 风流少妇A片一区二区蜜桃| 亚洲综合激情五月天婷婷| 人人操AV| 夜夜夜叫天天天做| 五月天综合色| 丁香五月在线自慰| 丁香六月婷月91婷月| 婷婷色色网| 日韩一66精品| 亚洲色婷婷五月天| 开心五月丁香啪| 9|在线观看视频| 日日杆天天| 九九这里是免费的视频5| 婷婷色导航| 欧美成人热| 日日干日日| 激情综合另类| 九九这里只有精品| 思思热天天看| 超碰2021| 天天肏视频| 草美女在线观看视频在线播放| 无码91中文字幕| 丁香五月无码| 99色在线| 99热在线观看| 五月丁香六月婷婷综合| 色原狠狠综合| 日本色色色| 色五月婷婷丁香婷婷| 久久久九九九 99| 五月天激情久久| 99热 免费| av在线婷婷| 五月激情啪啪啪| 五月丁香亚洲五月| 久久看婷婷| 无码免费人妻A片AAA毛片西瓜| www好屌操| 欧美在线视频免费播放| 91欧美| 亚洲视色| 五月婷庭丁香在线| 狼人婷婷久久| 丁香五月开心七月| 婷婷九月| 婷婷综合网| 五月天婷婷午夜丁香| 亚洲中文字幕在线观看| 婷婷狠狠干| 色色色综合视频| 色色色97| 丁香五月瑟瑟| 丁香五月综合| 久99综合婷婷| 五月婷婷之综合激情| 婷婷五月在线综合| 婷婷五月无码| 欧美日韩成人在线网| 美女网黄| 9l视频自拍九色9l黑人| 久久曰曰| 国产亚洲精品久久一区二区三区| 丁香五月天BBw| 美日韩成人| 久9精品| 欧美大片免费观看| 婷婷五月丁香啪啪| 婷婷精品性视频| 激情影院免费视频婷婷五月天| 九九九九九九九九九九九九九国产精品| 操一区| 五月天婷婷影院| 少妇人妻凹凸视频| 欧美群妇大交乱婬网| 男人先锋久久| 蜜臀AV在线观看| 色丁香五月| 五月婷婷六月丁香| 五月婷婷色播| 五月天国产| 日日爱699| 亚洲噜色| www.com操| 婷婷五月AA五月在线| 色色色在线| 色啪久| 99热自拍| 色婷婷久久综合| 五月丁香六月婷婷在线| 久久人妻www| 亚洲九九99精品视频在线播放| 婷婷婷色五月| 婷婷四色五月| 欧洲高清免费久久| 色丁香五月婷婷在线| www,婷婷五月天,com| 激情五月丁香在线观看直播| 国产探花AV在线| 丁香五月aV| 69午夜成人影片| 欧美成人无码一区二区三区| 亚洲欧洲色色| 亚洲综合五月天综合| 日韩欧美一级大黄网站| 日韩 欧美 国产 一区 二区| 欧美色骚婷婷五月天| AV 3P| 色噜噜在线| 丁香五月天在线| 日本婷色| 综合色播| 五月天社区婷婷丁香社区| 婷婷五月天六点丁香五月| 五月激情六月宗合| 五月婷婷偷拍| 综合五月婷婷| 4399无码视频| 99热在线网站| 9久久AV| 色一情一乱一乱一区91Av| 婷婷第六色| 天天操天天爽天天爱| 99热在线中文字幕| 丁香六月五月天| 激情久久五月天| 丁香五月性| 五月丁香啪啪| 91黄色五月天视频| 伊人9草在线观看| 五月五月婷婷| 色人久久| 亚洲成人色五月天| 天天日,天天干,天天操| 婷婷无码视频| 狠狠ri| 中文字幕日韩成人| 精品综合久久久久久五月天| 婷婷六月天亚州| 4399人妻无码久久久| 五月天色色婷婷| 五月综合色| 激情五月四色| 98色花堂98t.R| 亚洲人人96@| 婷婷五月另类网站| 人人操av| 碰99在线| 五月色婷婷夜色| 色吊丝99| 亚洲婷婷在线播放十月| 99这里的视频都是精品| www激情| 蜜桃五月天| 色老久久| 四月婷婷丁香| 操操人人| 色图亚洲91| 丁香五月婷婷深爱综合激情| 夜夜骑天天操| 性做爰A片免费视频A片直播| 爆乳熟妇一区二区三区爆乳| 久狠日av| 嫩草AV久久伊人妇女超级A| 婷婷内射视频在线| 超黄亚洲瑟瑟网站| 国产精品久久..4399| 亚洲精品另类| 99热在线这里只有精品| 9久精品| 日韩激情网站| 丁香婷婷五月六月天| 亚洲综合九九| 91视频综合网| 天天五月天综合网址| 99原创自拍视频在线观看| 六月丁香啪啪啪| 99九九精品视频| 久久久五月天| 97婷婷狠狠久久综合9色| 婷婷五月成人有| 99操久久| 婷婷97碰碰| 天天澡天天狠天天天做| 婷婷狠狠干| 五月婷婷色男女| 五月天综合婷婷| 开心五月婷婷婷美女| 欧美日韩一区二区三区四区| 亚洲黄色网址| renre人人操国产超碰在线| 九九这里有精品| 九九热视频99| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 粉嫩AV久久一区二区三区| 久久大香蕉视频| 欧日美女Va| 天天日,天天插| 丁香五月花影院| 99热99这里有免费的精品| 久久久99精品免费观看| 99在线观看视频蜜臀| 天天操,天天插| 激情五月,激情综合网| 色婷婷婷综合五月天| 97精品综合| 91se在线视频| 俺去也综合| 国产精产国品一二三在观看| 少妇激情五月天| 99热这里只有精品4| 婷婷五月天综合网| 丁香五月天色婷婷| 中文字幕在线观看视频www| www.狠狠操| 老师的粉嫩小又紧水又多A片视频| 婷婷五月天色色| 五月婷婷六月丁香| 婷婷99狠狠躁天天久久久九九九| 国精产品一区一区三区免费视频 | 五月天激情在线视频| 精品国产va久| 丁香社区婷婷五月| 五月色综合网| 天天做天天爱天天高潮| 爽极品色| 婷婷五月色| 色狠狠色噜噜AV天堂五区| 丁香五月综合网| 五月天伊人| 婷婷碰碰| 久久色五月天| 琪琪色五月天| 草综合网| 日逼免费视频| 综合网激情| 久久久激情视频| 影音先锋女人AA鲁色资源| 色网五月婷婷| 久久婷婷人人| 激情久久综合| 第六色在线| 色色射| 99热最新| 五月婷婷黄色网址| 综合激情在线观看| 91丨九色丨老熟女激情| 精品久久久久成人码免费动漫| 5月丁香综合图区| 人人爱国产| 狠狠摸狠狠摸| 婷婷五月天堂| 欧美日韩精品人妻狠狠躁免费视频| 一本色综合色| 丁香玖玖| 天天婷婷操| 婷婷天天色| 9久久婷婷国产综合精品性色| 人妻久久久久久| 91九色偷拍| 色婷婷婷婷| 天天操天天操天天操| 99热在线观看免费| 婷婷五月在线观看| 丁香色色网| 少妇高潮呻吟A片免费看软件 | www.激情五月天.com| 午夜丁香五月天综合| 99九无网码| 久久性爱网| 日韩在线视频网站| 国产成人va在线| 亚洲操逼网| 色婷婷成人做爰A片免费看网站| 无码动漫AV| 婷婷丁香五月天哟啪| 五月中旬婷婷丁香六| 色丁香久久| www.99精品日操伊人乱碰在线| 性爱网五月天| 99热精地址| 日日日日做夜夜夜夜无码| 99色在线观看视频| 五月婷婷性爱| 婷婷丁香五月基地| 侠女刀之记忆电影在线看免费| 天天综合网在线| 男女啪啪做爰高潮无遮挡| 操逼六区| 色久五月天| 丁香五月欧美| 亚洲字幕AV一区二区三区四区 | 久久er这里只有精品| 婷婷五月天无码| 久久精品A片777777| 天天摸天天肏| 天天综合网在线| 天天干在线播放| 五月丁香综合激情在线观看| ji'qi'luan'ren'lun| 日产精品一线二线三线芒果| 五月丁香自拍| 99爱在线精品视频免费观看| 国产精品第一国产精品| 这里只有精品亚洲| 国产成人AV在线播放| 国产精品成人网址| 婷婷五月天激情在线观看 | 亚洲婷婷五月天激情| 噼里啪啦完整版中文在线观看| 99re热在线视频| 五月丁香六月婷婷激情网| 色婷婷激情| Av大香蕉| 99免费在线| 最近中文字幕2019视频1| 在线另类视频| 人妻视频在线| 六月婷基地| 日本va欧美va欧美精品88| 国产毛片操B| xxx日本东京热| 欧洲色区| 婷婷五月天色综合翘| 天天搡日日搡aaaaⅩ| 中文字幕久久婷九女同| 丁香五月激情澎湃一区| 色婷婷基地| 91操在线视频| 激情婷婷六月天| 天天噜噜| 婷婷偷拍网| 大香蕉伊人久久| 超碰在线人人| 欧美色图天堂网| 色婷婷五月天成人网| 五月丁香综合影院| 一二区成人电影| 噜噜在线| 日韩99视频| 97人妻碰碰碰久久香蕉| 五月天婷婷香蕉狠狠超碰综合| 五月天激情综合| 久久综合首页| 丁香六月婷| 嫩草视频| 开心婷婷五月天激情网| 激情精品久久| 天天久| 吊色AV男人的天堂| 99综合一区| Www.狠狠| 99操免费视频| 99视频在线观看视频| 精品人妻伦一二三区久| WWW.久久久久久久| 99re8这里只有精品99re8热视频| 五月丁香婷婷爱激情综合网| 99久久婷婷国产综合精品草原| 欧美日韩大黄| 欧美色激情四射| xxx.色婷婷| 婷婷丁香五月天影院| 六月婷婷综合| 2020久久婷婷五月| 天天干天天日蜜臀av| 丁香五月大片| 极品五月天| 久色激情| 五月天婷综合网站| 色五月婷婷在线观看第一页舔| 五月婷在线视频免费播放| 人妻在线网站| 成人短视频在线免费观看| 午夜丁香| 免费视频WWW在线观看网站| 操操操91| 26uuu亚洲| 开心激情网五月| 婷婷在线五月综合| 丁香五月激情五月开心五月| 色九月婷婷丁香| 性爱久久| 天天做 天天爱| 开心五月婷婷婷美女| 天天草天天爽| 丁香婷婷激情网站| 欧美操我| 日韩999| 思思热在线精品视频网站| 亚洲岛国电影| 久久性操| 五月丁香婷婷激情久久| www.com色播五月天| 婷婷射综合| 五月丁香综合精品| 伊人久久综合| 五月大香蕉| 俺去也在线www色官网| 99久re热| 亚洲国产精品二二三三区 | 嫩草AV久久伊人妇女超级A| 五月丁香六月婷婷亚洲综合| 色99网| 国产真实乱了老女人视频| 无码任你操| 婷婷伊人网| 久久99热这里只有精品| 婷婷五月天在线观看第二页| 五月婷婷啪啪| 东京热人妻一区二区三区在线| 五月激情视频| www.开心激情| 日韩色色网| 精品成人在线| 日本色色图| 思思热久久久久思思热| 久操福利| 操草草草| 日本久久性| 国产探花AV在线| 91在线日| 婷婷五月天涩涩| 色情五月婷婷| 射久久丁香五月| 79色色免费| 久久狠狠干| 日韩精品视频中文字幕| 五月天激情婷婷小说| 久久国产AV| 五月婷婷色五月| 久热这里只有| 六月色婷婷欧美| 欧美日本国产欧美日本韩国99| 国产精品男人AV不卡| 99热久久这里只有精品| 欧美97色| WWW.99热| 天天干天天日天天插| 色九亚洲| 亚洲AV另类| 91男同视频| 九九热AV| 婷婷五月综合在线| 五月天啪啪啪| 人人爱天天摸摸天天爱| 97在线日本| 日本视频不卡123区| 激情婷婷六月天| 求可以看的AV网址| 五月天综合网| 欧美成人在线观看| 91色久| 婷婷丁香人妻天天| 免费99情趣网视频| 久久婷青青草原| 激情综合亚洲| 久久与婷婷| 夜夜操狠狠操| 欧美α√| 六月丁香婷婷拍拍| 亚洲精品电影| 欧美天天搞| 激情综合在线播放| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 91丨九色丨熟女丰满| 婷婷激情图片| 激情婷婷五月基地| 啪啪啪五月天| 这里只有精品99www| 婷婷丁香色情| 青青草原亚洲天堂| 激情五月丁香六月综合AVXXXX| 婷婷五月激情欧美大胆视频| 五月丁香啪啪| 思思热精品在线| 亚洲色五月婷婷| 天天插天天插| 亚洲精品字幕在线观看 | 五月情丁香色| 狠狠五月天婷婷| 五月丁香六月婷婷中合网| 成人深爱丁香五月| 亚洲精品操一操、噜一噜、摸一摸、爽| 色欲天天综合| 九九精品综合| 996er热| 五月天婷婷色在线视频免费观看| 另类激情五月天。| 99'无码| 99色最新在线视频| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 五月婷激情| 婷婷五月天丁香| 性一交一乱一交A片久| 日曰躁夜夜躁2026| 青柠影视免费高清电视剧| 六月婷婷综合| 丁香五月天色婷婷| 影音先锋女人AA鲁色资源| 俺也去五月婷婷丁| 99精品手机在线视频| 超碰97久久| 九九激情综合| 成人必爱视| 另类图片婷婷五月天| 精品久久久人妻| 丁香五月激情网| 色色色综合色| www,奇米影视| 成人草榴视频| 狠狠色综合久久久久| 九九99热| 五月丁香婷婷综合在线| 青草久久五月婷伊人| 九九热精品6| 五月天婷婷操逼视频| 97啪啪| 色婷婷成人| 国产午夜精品一区二区三区四区| 天堂网亚洲色图| 五月婷啪| 五月天婷亚洲天综合网综合| 五月婷色啪| 伊人网碰碰| 久久精品99国产精品日本| 久久久9久| 久久久久网站| 色婷视频| 欧美在线看| 第九色区av天堂| 九九热这里只有精品9| 九月久久婷婷| 亚洲激情丁香五月天色| 五月天精品综合| 久操大香蕉| 五月天婷婷狂暴白浆| 婷婷久久五月天丁香| 色小说婷婷五月天天天| 婷婷五月色激情欧美激情| 久热这里只有| 色综合久久8| 婷婷在线观看五月天在线视频| 六月丁香婷婷在线波多| 久久婷婷六月综合综合色| 饮料下药迷倒漂亮女同事强干| 亚洲视频二区| 99热这里只有精| 伊人五月综合网| 五月丁香激情综合网官网| 久久丁香五月| 天天操夜夜操| 97热精品| 婷婷五月天激情AV影院| 超碰国产在线观看| 久久人妻视频| 9精品视频在线观看| www,五月丁,com| 99精品一二三四视频| 日韩专区五月天婷婷丁香| 久久久婷婷婷| 色播五月网| www.色五月| 九九操操| 五月天婷婷在线播放| 亚洲激情久久| 日韩一级A片黄色| 婷婷色5月激情网| 狠狠干综合| 91丨九色丨熟女|新版| 噜噜噜噜噜色| 亚洲欧洲另类| 99福利视频导航| 婷婷五月天激情网| 五月天色社区| 日韩在线观看网址| 99精品视频免费在线播放| 五月丁香综合激情网| 欧美槡BBBB槡BBB少妇| 五月婷婷丁香日韩在线| 亚洲激情综合网| 国产资源91在线| 欧美婷婷| 大地9中文在线观看免费高清| 97碰超级人人看| 99久在线精品99re8| 婷婷在线网| 九九热这里有精品23| 99视频自拍| 国产精品人妻在线网址| 丁香久久五月天视频在线观看 | 色欧美影院| 色中色综合| 久久九九99视频| 提提热五月天婷婷| 五月丁香激情啪啪| 久久婷婷丁香| 五月婷婷官网色| 9九九久久精品无码专区| 色五月天综合| 99精彩视频| 天天射夜夜爽| 国产成人99久久亚洲综合精品| 欧美日韩国产一区二区| 79色色色色| 碰97 久| 熟女五月天久久综合| 五月丁香六月激情综合| 色九区| 五月婷婷大香蕉| 五月婷婷激情网| 丁香五月影视| 成年视频免费观看| 日日夜夜综合| 婷婷综合视频| 国产在线6| 亚洲乱码日产精品BD| 婷婷五月 丁香六月| 99热.com| 丁香五月日韩| 婷婷欧美激情| 色五月婷婷视频| 青青草伊人婷婷| 色婷婷丁香五月色综合网| 91狠狠综合久久久| 久久亚洲色导航| 丁香五月色| 九九视频这里只有精品在线播放 | 丁香色六月| 99在线精品观看99| 激情丁香婷婷六月天| 操操人人| aaaaa黄色| 六月丁香网| 九九婷婷五月天影视| 久久这里只有精品视频15| 日本VA视频| www,com,五月色色| 丁香六月激情| 狠狠色噜噜狠狠狠狠综合| 五月色婷婷中文字幕| 久久久久激情| 丁香五月AV| 五月丁香av在线| 99se丁香| 夜夜撸日日操| 久久久99久久| 五月香婷婷| 九九热在这里只有精品| av网站免费在线| rr天天操| 超碰免费99| 思思久久精品| 丁香五月宝贝激情网| 91 久热| 青青福利网| 91九色偷拍| 婷婷六月天| 99re这里只有精品9| 丁香六月婷婷综合| 婷婷九月丁香久久| 婷婷五月天午夜激情影院| 欧美成人A片AAA片在线播放| 色小说婷婷五月天天天| 狠狠色综合久久久久| 91狠狠色色丁香婷婷综合久久| 婷丁香久综合| 91肏肏肏| 99视频在线精品| 91玖玖|