欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

置信學(xué)習(xí)如何解決目標(biāo)檢測(cè)標(biāo)簽噪聲:約束模型下的實(shí)操指南

置信學(xué)習(xí)如何解決目標(biāo)檢測(cè)標(biāo)簽噪聲:約束模型下的實(shí)操指南 以目標(biāo)檢測(cè)里的那些爛標(biāo)簽為切入點(diǎn)。做檢測(cè)項(xiàng)目的人基本都遇到過(guò)這種情況數(shù)據(jù)標(biāo)注回來(lái)肉眼看著框沒啥問題訓(xùn)練出來(lái)的模型卻被某些樣本反復(fù)教壞。分類不對(duì)、框偏了、或者壓根標(biāo)漏了。早期我把這些問題歸咎于“數(shù)據(jù)質(zhì)量”后來(lái)發(fā)現(xiàn)光靠清洗沒過(guò)多久又復(fù)發(fā)源頭在于標(biāo)注噪聲的分布是隱藏的而且檢測(cè)任務(wù)的標(biāo)簽結(jié)構(gòu)遠(yuǎn)比分類復(fù)雜——一個(gè)類別標(biāo)簽錯(cuò)了還牽涉到框的回歸監(jiān)督。直到把置信學(xué)習(xí)引入到帶約束的檢測(cè)流程里標(biāo)簽問題才算真正找到了可量化的處理方式。這篇文章就是圍繞“約束模型下的目標(biāo)檢測(cè)置信學(xué)習(xí)”展開的把思路、實(shí)現(xiàn)、參數(shù)選擇、踩坑記錄全部拆開講。適合做檢測(cè)算法落地、正在被標(biāo)注質(zhì)量困擾的工程師也適合想了解置信學(xué)習(xí)在復(fù)雜任務(wù)中怎么落地而不是只看論文的人。核心內(nèi)容會(huì)覆蓋置信學(xué)習(xí)在檢測(cè)任務(wù)里的變體設(shè)計(jì)、約束條件怎么加、標(biāo)簽噪聲如何被識(shí)別和修正以及一套可以直接拿去改造現(xiàn)有訓(xùn)練管線的步驟。1. 為什么要做這件事檢測(cè)任務(wù)的標(biāo)簽噪聲和分類任務(wù)根本不是一回事1.1 分類任務(wù)的置信學(xué)習(xí)為什么不能直接搬到檢測(cè)上置信學(xué)習(xí)最初是為圖像分類設(shè)計(jì)的核心是估計(jì)真實(shí)標(biāo)簽與給定標(biāo)簽之間的聯(lián)合分布。它在CIFAR-10、ImageNet這類數(shù)據(jù)集上效果很好核心思想是對(duì)每個(gè)樣本計(jì)算模型對(duì)每個(gè)類別的預(yù)測(cè)概率然后找出那些“模型自信但標(biāo)簽反而可疑”的樣本。這里的“自信”是相對(duì)概念——比如某個(gè)樣本被模型預(yù)測(cè)為貓的概率是0.9但標(biāo)注寫的是狗那這個(gè)標(biāo)注就值得懷疑。但檢測(cè)任務(wù)完全不是這個(gè)玩法。一個(gè)訓(xùn)練樣本是一整張圖里面有多個(gè)目標(biāo)每個(gè)目標(biāo)同時(shí)有類別標(biāo)簽和邊界框標(biāo)簽。模型輸出的是N個(gè)預(yù)測(cè)框每個(gè)框都有類別概率和位置偏移。分類置信學(xué)習(xí)只處理一個(gè)標(biāo)簽檢測(cè)要處理的是“多個(gè)目標(biāo)的多重標(biāo)簽”分類標(biāo)簽錯(cuò)誤只影響類別檢測(cè)標(biāo)簽錯(cuò)誤還包括框的位置對(duì)不對(duì)、框是否把目標(biāo)包全了。如果直接拿分類版的置信學(xué)習(xí)來(lái)過(guò)濾檢測(cè)樣本一個(gè)框標(biāo)錯(cuò)了會(huì)拖累整張圖被丟掉信息損失極大。1.2 目標(biāo)檢測(cè)標(biāo)簽錯(cuò)誤的常見形態(tài)我在實(shí)際項(xiàng)目里把檢測(cè)標(biāo)簽錯(cuò)誤歸納成了幾類這對(duì)后面設(shè)計(jì)置信學(xué)習(xí)方案至關(guān)重要類別標(biāo)簽錯(cuò)標(biāo)目標(biāo)框本身沒問題但類別標(biāo)錯(cuò)了。比如一張圖里各種瓶子長(zhǎng)得像模型已經(jīng)能區(qū)分了標(biāo)注人員卻標(biāo)反了。這是置信學(xué)習(xí)最容易識(shí)別的類型特征是模型給的類別概率與標(biāo)簽類別明顯不一致??蚧貧w監(jiān)督噪聲框的位置不準(zhǔn)確、邊界超出目標(biāo)實(shí)體、或者框只框住目標(biāo)的一部分。這種錯(cuò)誤對(duì)分類置信分?jǐn)?shù)的干擾不大但回歸頭的梯度會(huì)被帶偏。單靠置信學(xué)習(xí)修剪不了這種錯(cuò)誤需要結(jié)合約束條件判斷——比如框的寬高比、中心點(diǎn)偏離程度、與同類別其他框的重疊情況。漏標(biāo)與誤檢圖中明顯存在但完全沒標(biāo)的目標(biāo)或者標(biāo)了一個(gè)不存在的目標(biāo)。漏標(biāo)導(dǎo)致訓(xùn)練時(shí)該區(qū)域被當(dāng)成背景模型學(xué)到“這地方?jīng)]目標(biāo)”誤檢導(dǎo)致模型學(xué)到錯(cuò)誤的特征對(duì)應(yīng)關(guān)系。少數(shù)類整體標(biāo)注質(zhì)量差數(shù)量少的類別標(biāo)注人員不熟悉錯(cuò)誤比例往往更高。這類噪聲對(duì)模型的影響被放大因?yàn)槟P鸵娺^(guò)的正樣本本來(lái)就少。這些錯(cuò)誤類型決定了置信學(xué)習(xí)不能只做一個(gè)“篩選干凈樣本”的角色還要能輸出“哪些標(biāo)簽需要修正”的提示甚至直接用于輔助標(biāo)注復(fù)核。1.3 約束模型在這里的含義所謂“約束模型”是指通過(guò)顯式規(guī)則約束模型輸出的空間范圍把置信學(xué)習(xí)從“事后過(guò)濾”變成“訓(xùn)練中可控的修正機(jī)制”。檢測(cè)任務(wù)天然存在約束——每個(gè)錨點(diǎn)只負(fù)責(zé)特定尺度和寬高比的區(qū)域、NMS之后每個(gè)目標(biāo)只能有一個(gè)框、類別之間互斥。這些約束給出的信息讓置信學(xué)習(xí)有機(jī)會(huì)在“圖像-標(biāo)簽”之外引入“目標(biāo)-約束規(guī)則”的維度更精確地判斷標(biāo)簽問題的來(lái)源。這里說(shuō)的約束至少可以分三層匹配約束每個(gè)真實(shí)框只能匹配一個(gè)或多個(gè)錨點(diǎn)丟失匹配會(huì)帶來(lái)背景回歸壓力、幾何約束框的坐標(biāo)必須落在圖像范圍內(nèi)寬高比和實(shí)際物體形狀應(yīng)一致、類別約束一張圖里同一實(shí)例的類別語(yǔ)義應(yīng)該是穩(wěn)定的不會(huì)因?yàn)楣庹兆兓团谐闪硪环N。把這些約束的信號(hào)納入置信學(xué)習(xí)的計(jì)數(shù)矩陣?yán)锬艽蠓档蛯?duì)小目標(biāo)和不清晰目標(biāo)的誤判。2. 整體流程設(shè)計(jì)置信學(xué)習(xí)在檢測(cè)管線上如何排布2.1 流程概覽我把置信學(xué)習(xí)放到訓(xùn)練閉環(huán)里的位置做了多次調(diào)整。最終穩(wěn)定采用的是“訓(xùn)練-預(yù)測(cè)-聯(lián)合分布估計(jì)-標(biāo)簽清洗-微調(diào)”的循環(huán)結(jié)構(gòu)。整體流程大致如下用初始模型可以是被噪聲標(biāo)簽訓(xùn)練的模型在訓(xùn)練集上做前向推理保存每個(gè)預(yù)測(cè)框的類別置信度向量。將預(yù)測(cè)框與真實(shí)標(biāo)注框做匹配按IoU閾值和類別條件建立對(duì)應(yīng)關(guān)系計(jì)算每個(gè)目標(biāo)的“一致度分?jǐn)?shù)”。構(gòu)建目標(biāo)的計(jì)數(shù)矩陣統(tǒng)計(jì)“標(biāo)注為類別i但模型預(yù)測(cè)為類別j”的目標(biāo)數(shù)量同時(shí)結(jié)合框的回歸偏差和約束違例情況做加權(quán)。應(yīng)用置信學(xué)習(xí)的剪枝算法找出置信度低但標(biāo)簽卻高置信的樣本也就是標(biāo)簽問題樣本生成可疑樣本列表。對(duì)可疑樣本進(jìn)行復(fù)核修正修正后的標(biāo)簽參與下一輪訓(xùn)練未被修正的高置信樣本繼續(xù)參與訓(xùn)練不丟棄。這個(gè)流程里最關(guān)鍵的設(shè)計(jì)是第二步——預(yù)測(cè)框與真實(shí)框的匹配。檢測(cè)輸出的N個(gè)預(yù)測(cè)框和M個(gè)真實(shí)標(biāo)注框不一定一一對(duì)應(yīng)NMS之后有些目標(biāo)可能沒有匹配到預(yù)測(cè)框有些預(yù)測(cè)框可能匹配到了錯(cuò)誤的真實(shí)框。如果匹配錯(cuò)了置信分?jǐn)?shù)的比較就失去了意義。2.2 基于IoU的匹配策略設(shè)計(jì)匹配策略我采用的是“先按類別約束匹配再按IoU約束篩選”的二級(jí)匹配。對(duì)每個(gè)真實(shí)框先在同類別的預(yù)測(cè)框里找IoU最大的候選如果最大IoU不低于閾值默認(rèn)0.5小目標(biāo)建議降到0.3則建立匹配關(guān)系否則標(biāo)記為“無(wú)預(yù)測(cè)匹配”。這里有一個(gè)容易忽略的問題哪些預(yù)測(cè)框應(yīng)該參與置信度計(jì)算我的選擇是讓NMS之前的候選框參與而不是NMS之后的最終輸出。原因在于NMS會(huì)把低置信度的重疊框抑制掉但這些被抑制的框恰恰能反映模型在這個(gè)位置“到底有沒有看到目標(biāo)”。置信學(xué)習(xí)需要的是raw prediction不是后處理結(jié)果。舉個(gè)例子一個(gè)目標(biāo)真實(shí)類別是貓模型在它上面生成了三個(gè)候選框置信度分別為0.8、0.7、0.6類別概率都是貓。這說(shuō)明模型對(duì)這個(gè)目標(biāo)很確定。但如果NMS后只剩下置信度0.8的那個(gè)框而標(biāo)注卻是狗置信學(xué)習(xí)就完全看不出問題了。保留候選框能提供更豐富的概率分布信息代價(jià)是計(jì)算量會(huì)變大但換來(lái)的是更可靠的標(biāo)簽質(zhì)量判斷這筆賬是劃算的。2.3 匹配后的每個(gè)目標(biāo)如何表示匹配完成后每個(gè)目標(biāo)會(huì)得到一組特征標(biāo)簽類別標(biāo)注時(shí)寫下的類別模型預(yù)測(cè)分布與這個(gè)目標(biāo)匹配的所有預(yù)測(cè)框的類別概率做加權(quán)平均或取最大置信度最大IoU預(yù)測(cè)框與真實(shí)框覆蓋程度幾何偏差中心點(diǎn)距離、寬高比差異約束違例標(biāo)記如是否越界、是否與同類別其他目標(biāo)大面積重疊這些特征會(huì)全部送到置信學(xué)習(xí)的統(tǒng)計(jì)模塊里。分類置信學(xué)習(xí)只用“標(biāo)簽類別”和“預(yù)測(cè)分布”檢測(cè)置信學(xué)習(xí)多了幾何偏差和約束違例這讓檢測(cè)標(biāo)簽錯(cuò)誤的判斷不僅看“類別對(duì)不對(duì)”還看“框畫得好不好”。3. 核心細(xì)節(jié)置信學(xué)習(xí)的關(guān)鍵指標(biāo)與參數(shù)計(jì)算3.1 置信分?jǐn)?shù)的計(jì)算方式置信學(xué)習(xí)的核心是估計(jì)每個(gè)樣本的“真實(shí)標(biāo)簽概率”。分類任務(wù)里常用的方法是先統(tǒng)計(jì)計(jì)數(shù)矩陣再歸一化為聯(lián)合分布。檢測(cè)任務(wù)里我給每個(gè)目標(biāo)定義了組合置信分?jǐn)?shù)置信分?jǐn)?shù) 模型預(yù)測(cè)正確類別的概率 × IoU質(zhì)量因子 × 幾何約束因子模型預(yù)測(cè)正確類別的概率直接取匹配到的預(yù)測(cè)框中的最大類別概率。IoU質(zhì)量因子設(shè)計(jì)成一個(gè)分段函數(shù)IoU大于0.7時(shí)取10.4到0.7之間時(shí)取IoU值本身小于0.4時(shí)取0.1。幾何約束因子則由中心點(diǎn)偏移和寬高比偏差構(gòu)成——中心點(diǎn)偏移距離除以目標(biāo)短邊長(zhǎng)度偏差越小因子越接近1。這個(gè)公式的原則是如果一個(gè)目標(biāo)模型認(rèn)得準(zhǔn)類別概率高、框貼合好IoU高、位置形態(tài)符合約束那么這個(gè)樣本的標(biāo)簽大概率是正確的反過(guò)來(lái)任何一個(gè)維度出問題置信分?jǐn)?shù)都會(huì)被壓低。3.2 計(jì)數(shù)矩陣與聯(lián)合分布估計(jì)有了每個(gè)目標(biāo)的置信分?jǐn)?shù)下一步是構(gòu)建計(jì)數(shù)矩陣C。矩陣的行是“給定標(biāo)簽類別”列是“模型預(yù)測(cè)類別”。按置信學(xué)習(xí)方法的標(biāo)準(zhǔn)做法對(duì)每個(gè)目標(biāo)如果模型預(yù)測(cè)的最可能類別與標(biāo)簽類別不同就在對(duì)應(yīng)單元格累加該目標(biāo)的置信分?jǐn)?shù)。這里選擇累加分?jǐn)?shù)而不是直接計(jì)數(shù)能減少模糊樣本的干擾。然后做歸一化得到聯(lián)合分布Q。具體計(jì)算方式是用計(jì)數(shù)矩陣除以樣本總數(shù)再用類先驗(yàn)概率修正。修正公式如下先計(jì)算各類的真實(shí)占比P(y* j) Σ_i Q_ij 。然后用它替換計(jì)數(shù)矩陣的列和得到修正后的聯(lián)合分布 Q_ij C_ij / Σ_j C_ij × P(y* j) 。這一步的作用是對(duì)類別不平衡做補(bǔ)償。如果背景類或某個(gè)大類占據(jù)了絕大多數(shù)樣本直接按計(jì)數(shù)判斷會(huì)讓小類樣本的標(biāo)簽問題幾乎不可能被發(fā)現(xiàn)。歸一化到聯(lián)合分布后小類的異常標(biāo)簽仍然能被識(shí)別出來(lái)。3.3 剪枝策略誰(shuí)才是真正的問題標(biāo)簽置信學(xué)習(xí)里最經(jīng)典的剪枝策略是對(duì)每個(gè)標(biāo)簽為類別i的樣本計(jì)算自置信度——即模型預(yù)測(cè)為類別i的概率——以及他類別置信度——即模型預(yù)測(cè)為其他類別的最大概率。如果自置信度低且他類別置信度高則標(biāo)記為“標(biāo)簽疑似錯(cuò)誤”。檢測(cè)場(chǎng)景下我做了兩個(gè)改進(jìn)。第一剪枝判斷的閾值不是固定值而是與類別有關(guān)。對(duì)于模型整體表現(xiàn)好的類別閾值可以設(shè)高一點(diǎn)0.7對(duì)于容易混淆的類別比如形狀相近的物體閾值降到0.5。第二增加“約束違例優(yōu)先”規(guī)則——只要一個(gè)目標(biāo)滿足以下任一條件就無(wú)條件進(jìn)入疑似列表幾何偏差超過(guò)閾值、真實(shí)框越界超過(guò)一定比例、與另一個(gè)同類別框重疊IoU超過(guò)0.8且類別不同。剪枝的目標(biāo)不是追求百分之百準(zhǔn)確而是盡量找出所有值得人工復(fù)核的目標(biāo)。哪怕誤報(bào)一部分人工復(fù)核的成本通常低于標(biāo)注重新來(lái)一遍的成本。我寧可召回率高一點(diǎn)也不想漏掉真正影響模型收斂的壞標(biāo)簽。3.4 為什么閾值不能照搬分類場(chǎng)景分類置信學(xué)習(xí)的開源實(shí)現(xiàn)里閾值是自動(dòng)計(jì)算的根據(jù)置信度分布的雞尾酒會(huì)算法之類的方式推出來(lái)。檢測(cè)任務(wù)中直接套用這些值會(huì)發(fā)現(xiàn)兩個(gè)問題。第一個(gè)問題是檢測(cè)框的置信度天然偏低。目標(biāo)檢測(cè)模型輸出的置信度在經(jīng)過(guò)Focal Loss或OHEM訓(xùn)練后分布和分類模型完全不同大量高質(zhì)量正樣本的置信度也可能只有0.6到0.8。如果沿用分類場(chǎng)景的絕對(duì)值閾值比如0.9會(huì)誤傷大量正常樣本。我的做法是先跑一次“置信度分布統(tǒng)計(jì)”把每個(gè)類別下所有匹配目標(biāo)的自置信度排序取分位點(diǎn)做參考——比如第20百分位數(shù)以下的目標(biāo)重點(diǎn)觀察而不是硬套固定數(shù)字。第二個(gè)問題是決定標(biāo)簽是否錯(cuò)誤的依據(jù)不只是“模型信不信”還要看“模型信得對(duì)不對(duì)”。前面說(shuō)到的約束因子在這里起作用一個(gè)目標(biāo)模型置信度很高但框嚴(yán)重越界或者寬高比異常離譜那大概率不是模型的問題而是框標(biāo)注本身就不對(duì)。置信學(xué)習(xí)原本擅長(zhǎng)的領(lǐng)域是“分類標(biāo)簽錯(cuò)”檢測(cè)場(chǎng)景結(jié)合幾何約束后還多了“定位標(biāo)簽錯(cuò)”這個(gè)維度。4. 實(shí)操記錄用一個(gè)模擬檢測(cè)項(xiàng)目跑通完整流程4.1 項(xiàng)目背景與數(shù)據(jù)情況我在一個(gè)模擬的目標(biāo)檢測(cè)項(xiàng)目X上做了實(shí)驗(yàn)對(duì)比。數(shù)據(jù)集包含大約3萬(wàn)張圖像5個(gè)類別包括與背景相似度很高的兩類小型物體。標(biāo)注由一個(gè)團(tuán)隊(duì)完成整體噪聲比例估算在8%左右。前面模型訓(xùn)練時(shí)發(fā)現(xiàn)驗(yàn)證集性能在幾個(gè)特定類別上始終無(wú)法提升把訓(xùn)練集可視化排查后確認(rèn)存在成批的標(biāo)簽錯(cuò)誤。我沒有讓團(tuán)隊(duì)全部重新標(biāo)注而是按狀態(tài)選擇了1500個(gè)高置信可疑目標(biāo)、300個(gè)邊界情況目標(biāo)、50個(gè)確認(rèn)無(wú)誤的正常目標(biāo)組成復(fù)核集。這個(gè)選擇是有講究的如果只復(fù)核“最可疑”的確實(shí)能快速清理一批臟數(shù)據(jù)但容易洗過(guò)頭把正常樣本的分布也改變了導(dǎo)致模型過(guò)擬合到更小的數(shù)據(jù)集上?;烊肷倭看_認(rèn)正常的目標(biāo)是為了保持標(biāo)注標(biāo)準(zhǔn)的延續(xù)性。4.2 第一階段初始模型推理與目標(biāo)匹配用當(dāng)前版本的檢測(cè)模型對(duì)整個(gè)訓(xùn)練集做推理保存所有候選框的類別概率和坐標(biāo)。推理時(shí)的輸入尺寸和訓(xùn)練時(shí)保持一致不做多尺度增強(qiáng)以免置信度分布失真。多尺度推理會(huì)讓模型對(duì)不同尺寸目標(biāo)的置信度差異被平均掉一些本來(lái)就模糊的小目標(biāo)反而顯得“可信”這會(huì)給后續(xù)剪枝帶來(lái)虛假信號(hào)。匹配過(guò)程的代碼思路大致如下def match_predictions_to_gt(pred_boxes, pred_scores, pred_labels, gt_boxes, gt_labels, iou_thres0.5): matches [] for gt_idx, (gt_box, gt_label) in enumerate(zip(gt_boxes, gt_labels)): valid_mask (pred_labels gt_label) # 先按類別限定 if not any(valid_mask): matches.append({gt_idx: gt_idx, pred_info: None}) continue candidate_boxes pred_boxes[valid_mask] candidate_scores pred_scores[valid_mask] candidate_labels pred_labels[valid_mask] ious compute_iou(gt_box, candidate_boxes) best_idx ious.argmax() if ious[best_idx] iou_thres: matches.append({ gt_idx: gt_idx, pred_info: { box: candidate_boxes[best_idx], score: candidate_scores[best_idx], label: candidate_labels[best_idx], iou: ious[best_idx], } }) else: matches.append({gt_idx: gt_idx, pred_info: None}) return matches注意pred_scores存的是每個(gè)候選框在所有類別上的概率向量而不是只存最后輸出的類別置信度。這一步我沒在圖里體現(xiàn)全貌寫代碼時(shí)要用完整的向量做后續(xù)置信度查詢。4.3 第二階段置信分?jǐn)?shù)與計(jì)數(shù)矩陣構(gòu)建對(duì)每個(gè)匹配成功的目標(biāo)計(jì)算組合置信分?jǐn)?shù)。關(guān)鍵參數(shù)設(shè)置如下IoU閾值0.5目標(biāo)短邊小于32像素的IoU閾值降到0.3中心點(diǎn)偏移容忍度目標(biāo)短邊的25%寬高比偏差容忍度標(biāo)簽寬高比與預(yù)測(cè)框?qū)捀弑鹊膸缀尉挡町惓^(guò)2倍時(shí)幾何因子顯著降低這里有一個(gè)很值得說(shuō)的細(xì)節(jié)小目標(biāo)的IoU閾值為什么要降低。小目標(biāo)本身的像素面積小預(yù)測(cè)框和真實(shí)框哪怕只有一個(gè)像素的偏移IoU就會(huì)掉得很厲害。如果用統(tǒng)一閾值小目標(biāo)幾乎全部會(huì)進(jìn)入“低置信度”區(qū)間剪枝會(huì)把它們誤判成壞標(biāo)簽。我把小目標(biāo)單獨(dú)處理之后識(shí)別出的“問題樣本”里小目標(biāo)的比例從之前的56%降到了接近數(shù)據(jù)集中小目標(biāo)自然占比的水平。這一步直接影響了清洗效果數(shù)據(jù)分布保住了。4.4 第三階段剪枝結(jié)果與人工復(fù)核剪枝后得到的疑似問題目標(biāo)大約占總目標(biāo)的4.7%這個(gè)比例低于整體噪聲比例的8%是因?yàn)椴糠衷肼晿?biāo)簽并沒有被模型“看出問題”——模型自己也分不清自然無(wú)法提示。這符合預(yù)期置信學(xué)習(xí)能抓的是模型已經(jīng)具備區(qū)分能力、但標(biāo)簽跟不上的那一部分噪聲。人工復(fù)核時(shí)我采用了三遍獨(dú)立復(fù)核的方式兩個(gè)復(fù)核員分別獨(dú)立判斷再由一個(gè)技術(shù)負(fù)責(zé)人抽查沖突項(xiàng)。最終統(tǒng)計(jì)顯示剪枝列表里約有81%的目標(biāo)確實(shí)存在標(biāo)簽問題其中類別錯(cuò)標(biāo)占了一半框位置不準(zhǔn)占三成其余是漏標(biāo)和誤檢。對(duì)照初始8%的噪聲比例這一輪清洗把訓(xùn)練集中的典型問題標(biāo)簽削減了約一半剩下的一半是模型尚未學(xué)會(huì)區(qū)分的那部分通過(guò)后續(xù)迭代逐漸暴露。清洗后的標(biāo)簽修正方式我分了三類類別錯(cuò)誤直接修正類別框位置不準(zhǔn)確則重新標(biāo)注邊界框漏標(biāo)的目標(biāo)直接從該訓(xùn)練樣本里移除對(duì)應(yīng)位置的匹配監(jiān)督。沒有采用“直接刪掉整張圖”的粗暴方案盡可能保留有效信息。4.5 訓(xùn)練效果對(duì)比用同一份數(shù)據(jù)、同樣的訓(xùn)練配置對(duì)比“什么都不做”和“跑完置信學(xué)習(xí)清洗后再去微調(diào)”兩組模型在驗(yàn)證集上的mAP從62.4%提升到67.8%。提升最明顯的是那兩個(gè)本來(lái)就容易混淆的類別各自提升了5到6個(gè)百分點(diǎn)其余類別也有小幅提升。訓(xùn)練日志上還觀察到兩個(gè)意外收獲清洗后訓(xùn)練損失的前幾輪下降曲線更平滑說(shuō)明沖突梯度變少了模型在高IoU閾值下的召回率提升尤其明顯因?yàn)榭蚧貧w監(jiān)督變準(zhǔn)確了。這里的對(duì)比案例是模擬的數(shù)字本身不具備普遍性但方向是一致的標(biāo)簽噪聲是檢測(cè)模型性能上限的隱形瓶頸尤其是混淆類別和少數(shù)類清洗帶來(lái)的邊際收益遠(yuǎn)高于調(diào)整模型結(jié)構(gòu)。5. 常見問題與排查技巧實(shí)錄5.1 置信學(xué)習(xí)迭代后誤報(bào)樣本為什么越來(lái)越多這是最容易遇到的坑。第一輪清洗后模型變好了第二輪再跑置信學(xué)習(xí)時(shí)新模型對(duì)舊標(biāo)簽的預(yù)測(cè)置信度普遍提高原本在置信邊界上的樣本會(huì)變得“更自信”。如果你繼續(xù)用同樣的閾值誤報(bào)會(huì)暴增。排查思路是每一輪運(yùn)行置信學(xué)習(xí)時(shí)都要重新統(tǒng)計(jì)當(dāng)前模型的自置信度分布按分位點(diǎn)而不是固定閾值去選擇疑似樣本。我一般每輪都重新計(jì)算“自置信度第5百分位和第20百分位”把閾值設(shè)置為動(dòng)態(tài)的。同時(shí)建議每輪清洗的比例控制在訓(xùn)練集總量的3%到5%以內(nèi)超過(guò)這個(gè)比例說(shuō)明模型能力不足清洗出來(lái)的結(jié)果可信度會(huì)下降。5.2 類別極其不平衡時(shí)計(jì)數(shù)矩陣失真怎么辦之前做的一個(gè)數(shù)據(jù)集中某一類占全部目標(biāo)的三成另一類只占百分之零點(diǎn)幾。置信學(xué)習(xí)的計(jì)數(shù)矩陣?yán)镄☆悗缀鯖]有足夠的樣本來(lái)形成穩(wěn)定的分布估計(jì)剪枝結(jié)果幾乎是隨機(jī)噪聲。我的解決辦法是對(duì)小類做“復(fù)制補(bǔ)償”——在小類上做簡(jiǎn)單的過(guò)采樣用數(shù)據(jù)處理的方式讓計(jì)數(shù)矩陣?yán)锏臉颖玖窟_(dá)到最小統(tǒng)計(jì)需求。過(guò)采樣只作用于置信學(xué)習(xí)統(tǒng)計(jì)階段不參與訓(xùn)練數(shù)據(jù)增強(qiáng)也不改變訓(xùn)練集分布。另外對(duì)大類尤其背景類的計(jì)數(shù)做降權(quán)處理權(quán)重設(shè)為0.2到0.5之間避免大類主導(dǎo)聯(lián)合分布。這個(gè)補(bǔ)償操作看著像是“作弊”實(shí)際上是把統(tǒng)計(jì)上的先驗(yàn)偏差做掉讓置信學(xué)習(xí)真正關(guān)注結(jié)構(gòu)性的標(biāo)簽錯(cuò)誤而不是類別頻率差異。5.3 連續(xù)多幀或相似樣本被重復(fù)標(biāo)記為問題樣本是否要全部修正在視頻或者連續(xù)采集的圖像數(shù)據(jù)里同一個(gè)目標(biāo)經(jīng)常出現(xiàn)在多幀中標(biāo)注錯(cuò)誤也會(huì)在幀間保持一致性。置信學(xué)習(xí)會(huì)把每一幀里的同一個(gè)目標(biāo)都標(biāo)記為疑似問題如果不加區(qū)分全部修正會(huì)破壞目標(biāo)在幀間的一致性。這里我采用了多數(shù)投票機(jī)制對(duì)于特征相似且位置接近的目標(biāo)跨幀去重如果同一目標(biāo)在超過(guò)60%的幀里被標(biāo)記為疑似問題才將其標(biāo)記為需要修正否則視為偶發(fā)噪聲暫時(shí)不動(dòng)。這個(gè)策略避免了“一幀的錯(cuò)誤擴(kuò)散到整個(gè)序列”的連鎖反應(yīng)也減少了人工復(fù)核的重復(fù)勞動(dòng)。5.4 模型自己都分不清的類別置信學(xué)習(xí)還有用嗎有但作用會(huì)從“清洗標(biāo)簽”變成“發(fā)現(xiàn)困難樣本”。模型在幾個(gè)類別之間來(lái)回?fù)u擺時(shí)這類樣本的自置信度和置信度之間的差距不會(huì)很大剪枝拿不準(zhǔn)。這時(shí)候把置信學(xué)習(xí)的用途切換一下——不用于過(guò)濾而用于聚類分析。把模型輸出的概率向量降維投影觀察標(biāo)簽類別邊界上的樣本分布。如果發(fā)現(xiàn)某些區(qū)域的樣本標(biāo)簽類別分布與概率分布明顯不一致說(shuō)明這些區(qū)域需要增加標(biāo)注規(guī)范說(shuō)明或者補(bǔ)充更多相似樣本。我在一個(gè)項(xiàng)目里用這個(gè)方法定位了一組“經(jīng)常在兩類之間跳變”的目標(biāo)進(jìn)而發(fā)現(xiàn)是標(biāo)注規(guī)范里對(duì)某類物體的定義邊界寫得模糊。修改規(guī)范并重新標(biāo)注該子集后訓(xùn)練效果提升比直接加數(shù)據(jù)還明顯。6. 約束設(shè)計(jì)的經(jīng)驗(yàn)與擴(kuò)展思考6.1 約束條件不是越多越好我早期嘗試過(guò)加入大量約束條件尺寸約束、位置先驗(yàn)約束、目標(biāo)間互斥約束、類別共現(xiàn)約束等等。結(jié)果之一是疑似樣本列表變得極其龐大因?yàn)槿魏我豁?xiàng)約束被違反都會(huì)直接標(biāo)記嫌疑。人工復(fù)核成本飆升但實(shí)際有效占比并沒有顯著提升。最終保留下來(lái)并證明有效的約束只有三個(gè)單目標(biāo)匹配約束一個(gè)真實(shí)框最多對(duì)應(yīng)一個(gè)主預(yù)測(cè)框、幾何合理性約束框不越界且形狀合理、同類別重疊約束同一類別目標(biāo)不應(yīng)大面積重疊。越界和重疊在語(yǔ)義上很直觀——越界說(shuō)明框是亂畫的重疊說(shuō)明一個(gè)目標(biāo)可能被重復(fù)標(biāo)注了。其他花哨的約束均因收益低而移除。約束設(shè)計(jì)的核心準(zhǔn)則是“規(guī)則本身必須能直接指出標(biāo)簽的錯(cuò)誤類型”而不是“讓模型看起來(lái)更規(guī)范”。6.2 置信學(xué)習(xí)與主動(dòng)學(xué)習(xí)的結(jié)合在實(shí)際項(xiàng)目中置信學(xué)習(xí)篩選出來(lái)的“疑似問題樣本”恰好也是主動(dòng)學(xué)習(xí)想要挑選的“困難樣本”。兩者有交集但不完全重合。置信學(xué)習(xí)的重點(diǎn)是找“模型確定但標(biāo)簽不確定”的樣本主動(dòng)學(xué)習(xí)的重點(diǎn)是找“模型不確定”的樣本。這兩種樣本對(duì)訓(xùn)練的價(jià)值不同前者的修正能糾正錯(cuò)誤監(jiān)督后者的標(biāo)注能增加信息量。推薦的做法是先把置信學(xué)習(xí)的疑似列表送人工修正修正完成后重新訓(xùn)練下一輪用訓(xùn)練好的模型計(jì)算熵對(duì)熵值高的非疑似樣本做第二輪主動(dòng)標(biāo)注。這樣兩輪標(biāo)注成本都沒有浪費(fèi)每一輪都針對(duì)不同的問題。組織標(biāo)注資源時(shí)這種結(jié)合能讓相同的預(yù)算產(chǎn)生更大的性能收益。6.3 部署階段的延伸使用訓(xùn)練完成后置信學(xué)習(xí)的思想同樣可以用在模型上線后的數(shù)據(jù)回流環(huán)節(jié)。新采集的數(shù)據(jù)沒有標(biāo)簽時(shí)模型推理出的高置信度結(jié)果可以自動(dòng)進(jìn)入“偽標(biāo)簽”池但高置信度不等于高可靠性。把模型輸出的概率向量和約束規(guī)則結(jié)合起來(lái)對(duì)接入的樣本做一致性檢查一致性高的歸入自動(dòng)標(biāo)注池一致性低的送人工復(fù)核。這個(gè)流程本質(zhì)上就是一個(gè)簡(jiǎn)化版的約束模型置信學(xué)習(xí)但運(yùn)行在推理階段。從這個(gè)角度看置信學(xué)習(xí)不只是訓(xùn)練前的數(shù)據(jù)清洗工具而是一套貫穿數(shù)據(jù)生命周期的質(zhì)量監(jiān)控機(jī)制。只要模型具備一定的判別能力它對(duì)標(biāo)簽質(zhì)量的判斷就有參考價(jià)值模型越好這個(gè)機(jī)制越敏銳形成正循環(huán)。7. 關(guān)鍵實(shí)用建議總結(jié)從模型結(jié)構(gòu)調(diào)優(yōu)轉(zhuǎn)向數(shù)據(jù)質(zhì)量治理時(shí)最容易犯的錯(cuò)誤就是期待一次清洗解決所有問題。我把這幾個(gè)反復(fù)驗(yàn)證過(guò)的建議放在最后置信學(xué)習(xí)跑完務(wù)必抽樣復(fù)核別直接拿清洗結(jié)果去重訓(xùn)。自動(dòng)化輸出可能有系統(tǒng)性偏差人工復(fù)核是唯一能兜底的環(huán)節(jié)。小目標(biāo)的參數(shù)一定要單獨(dú)設(shè)置統(tǒng)一閾值會(huì)毀掉小目標(biāo)的分布。剪枝比例控制在總量5%以內(nèi)超過(guò)這個(gè)數(shù)字要懷疑你的模型能力或者標(biāo)注質(zhì)量是不是存在更大的結(jié)構(gòu)性問題。每次清洗后重新統(tǒng)計(jì)置信度分布動(dòng)態(tài)調(diào)整閾值不要鎖定一套參數(shù)走天下??蚧貧w噪聲是檢測(cè)場(chǎng)景里占比很高的標(biāo)簽錯(cuò)誤別只看類別置信度幾何約束因子一定要參與評(píng)分。我個(gè)人在做這些實(shí)踐時(shí)最大體會(huì)是標(biāo)簽噪聲不是一個(gè)需要一次性解決干凈的問題而是一個(gè)需要在訓(xùn)練閉環(huán)里持續(xù)管理的量。置信學(xué)習(xí)給了這套體系一個(gè)可計(jì)算、可解釋的抓手讓每一次數(shù)據(jù)修正都有據(jù)可循。你在檢測(cè)項(xiàng)目里被標(biāo)簽坑過(guò)的話試試把這個(gè)流程接進(jìn)你的訓(xùn)練管線大概率會(huì)回來(lái)感謝這段經(jīng)驗(yàn)的。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
成人综合网站| 丁香五月婷婷激情小说| 日韩高清成人| 亚洲久久视频| jizzdr| 天天摸天天舔天天天天爽| 婷婷五月天综合久久| 91无码视频| 武则天精品久久| 五月婷在线观看| 国内一级片| 99在线免费视频播放| 久久这里都是精品| 99在线观看| 99在线精品观看99| 在线中文字幕免费视频| 欧美三级欧美一级| 色婷婷五月婷婷五月婷婷五月| 色色色.COM| 99亚州综合精品成人网| 九九久久99| 中文字幕精品无码一区二区| 日本久久爽| 色5在线| 六月亭亭久久综合激情| 这里有精品| 色偷偷综合| 国产精品91抖高| 五月婷婷日| 操操操www.com| 五月开心深深爱激情综合| 亚洲六月婷婷| 色播五月丁香| 人人操人人爽成人AV| 激情五月天色| 五月天涩涩| 99黄色性生活| 蜜乳AV成人| 色五月婷婷大香蕉| 亚洲看av的网站| 天天弄天天操| 精品九九九久| 久久精彩综合视频| www五月| 99热这里都是精品| 婷婷激情视频| 丁香色五月婷婷91桃色| 亭亭玉月丁香| 色色色地址| 色婷婷五月基地在线| 丁香五月Av| 五月丁香六月色| 久热99中文字幕| 9久久久久久久久久久| 天堂五月婷婷| 99这里| 欧美日本99| 天天做天天要天天爱| 激情六月婷| 五月天激情亚洲| 99燥99日| 丁香婷婷五月天网站| 饮料下药迷倒漂亮女同事强干| 9久久精品| 婷婷伊人綜合| 日本激情综合| 国产一级视频a| 亚洲天堂爱爱| 婷婷丁香六月天| 国产在线激情视频| 日本va网站| 久久人妻精品| 壅壅儕家a| 五月网激情| 综合色影| 成人短视频在线免费观看| 黄色99网| 亚洲经典三级| 五月丁香色婷婷婷基地| 99热精品在线播放| 五月丁香色| 九九在线这里只有精品视频| 日本WwW色偷偷丁香花久久久京东热| 伊人久久大香网| 色五月首页| 欧美交换配乱吟粗大25P| 欧美视频五区| 国产亚洲色婷婷久久99精品91| 99无码| 日韩无码专区| 婷婷五月综合色拍| 中文精品在| 99看片| 婷婷婷婷午夜| 五月婷婷免费| 综合色、色综合| 色综合爽| 97综合在线| aa久久| 婷婷五月天基地| 九九99偷拍视频| 99热只有国产在线精品| 亚洲精品国产A久久久久久| 激情五月天婷婷激情| 另类 在线| 丁香五月婷婷激情蜜桃| 狠狠五月综合在线| 日本欧美999久久久三级片| 天天舔天天| 激情六月天| 玖玖综合网| 九色无码| 影音先锋一区| 五月激情视频| 婷婷色五月噜噜| 99热这里只有精| 五月香婷婷| 来吧亚洲综合网| 丁J香六月首页| 一本伊人色婷| 人妻在线观看视频| 播五月丁香三月婷婷| 激情综合网站| 99色在线观看视频| 婷婷综合色| 97视频91| 色婷婷WWW| 久久精品99| www.日本91| 国产精品视频免费看| 国产性爱一级| 五月丁香精品| 婷婷五月激情四月综合| 国产毛片精品一区二区色欲黄A片| 久久欧洲久久| 亚洲精品久久久久久久久久吃药| 激情综合网激情五月丁香| 五月综合激情啪啪啪啪啪| 亚洲狠狠婷婷综合久久久| 五月天综合网| 思思久热| 色欲影香| 亚洲成人综合在线| 亚洲精色| 小骚穴电影| www.jiujiujiu| 97人妻碰碰碰碰碰久久久久久| 亚洲久久激情| 久久伊人大香蕉| 996er热| 青青草a在线| 国产美女无遮挡裸体毛片A片 | 大香蕉婷婷丁香| AV在线大香蕉| 亚洲色情一区二区三区四区| 国产AV成人精品| 婷婷婷婷色| 91亚洲天堂| 综合色五月天| 亚洲 无码 中文字幕 中出| 久久这里只有精品视频15| 天天综合中文| 欧美性二区| 婷婷99狠狠躁天天躁| 艹| 婷婷五月天首页激情| 99久热| 超碰在线免费| 玖玖爱伊人网| 一级二级色大片| 婷婷色五月丁香六月欧美啪| 亚洲成人AV电影在线| 夜夜爽天天干| 精品婷婷五| 99丁香五月| 色色色色色色色色色色色色色97| 亚洲婷婷月丁香五月| 校园春色亚洲色| 日韩aaaaa| 亚洲综合激情五月久久| 婷婷五月天丁香综合网| 九九久久综合| 亚洲日日操| 9视频1在线| 97中文在线| 華人性愛AV在線| 1024国产在线| 五月激情啪啪啪| 综合网激情五月天| 九九热自拍| 全部老头和老太XXXXX| 天天操夜夜爽| 99综合视频一体| 日韩人妻AV在线| 综合婷婷五月丁香在线观看| 就要爱综合| 开心五月激情网| 亚洲色综合性| 那里有AV网址| 激情性爱婷婷| 色婷婷五月天| 婷婷色播婷婷| 人人视频人人干人人做| 六月香五月婷| 婷婷六月综合| 亚洲韩国日产综合AV| 激情五月综合网| www.亭亭五月天| 操97| 婷婷趴趴| 色婷小说| 五月婷婷色| 欧美婷婷综合| 去干网最新版本亚洲版| 欧美性二区| 亚洲精品又粗又大又爽A片| 综合激情视频| 亚洲激情综合五月婷婷啪啪| 色丁香五月婷婷婷| 色情五月天丁香社区| 搡BBBB搡BBB搡18 | 色五月婷婷老师| 色婷婷五月天激情在线观看| 婷婷五月天免费| 丁香婷婷五月综合影院| 亚州精品成人片| 激情六月天| 这里只有精品1| 天天干,噜噜色,狠狠色| 色五月天.con| 六月丁香综合| 久久久久久9热不雅视频| 丁香五月婷婷基地| 欧美五月婷婷| 婷婷六月天亚州| 婷婷丁香69精华| 五月婷婷久久久久| 天综合日日夜综合7799| 色婷插| 超碰免费成人| 激情五月影院| 五月人妻婷婷视频| 欧美日韩aaaa| 热99热9| Xx色综合| 亭亭五月丁香综合欧美| 色婷婷激情| 丁香五月九九| 五月婷婷精品视频| 99综合五月免费视频色婷婷| 日本不卡一区二区三区| 国产精自产拍久久久久久蜜 | 9久热在线视频精品| 六月色 亚洲| 97超碰免费超级在线观看| 国产成人+综合亚洲+天堂| 丁香婷婷久久| 婷婷五月天激情小说| 97热视频| 99久久婷婷| 男人的天堂五月丁香| 无套内射极品大美女| 五月天成人在线| 少妇激情五月婷婷| 日韩AAA| 九九成人高清视频| 天天上天天爽| 玖操97| 久久AAAA片一区二区| 九九热在线观看6| 九九色之九九色88| 超碰97人人操| 久久婷婷影院| 久思思久视频| 久久er+| 六月婷婷视频| 丁香六月婷婷色XXXX| 天天粽合合合合| 亚洲一个色| 日韩在线视频中文字幕| 九九狠狠干| 五月丁香亭亭操逼| 天天情天天狠天天透| 这里只有精品视频222| 久碰视频| ss五月天激情| 欧美综合丁香网| 综合六月激情婷婷| 婷婷涩涩五月天| 5月丁香啪啪啪| 婷婷五月六月| 中文字幕综合| 99精品自拍| 婷婷五月激情图片| 欧美日韩一区二区三区四区| 欧美性丁香色色五月天| 国产一二三四五六七八视频| 五月婷婷丁香五月天| 欧美天堂久久| 操一区| 国产黄大片在线观看画质优化| 国自产拍偷拍精品啪啪一区二区| 人妻日日日| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 五月情四婷婷| 婷婷视频在线| 操逼六区| 五月天婷婷基地| 99精彩视频| 香蕉AV777XXX色综合一区| 亚韩精品视频1区| 97超级操操| 人人干99| 色五月丁香激情视频| 这里只有精品69| 婷婷激情小说| 狠狠的日| 美女被操一区二区| 亚洲最大在线| 天天日,夜夜爽| 一级黄色尤物综合视频手机在线观看| 欧美丁香五月97色| 超碰在线免费观看日韩| 97电影99热| 男人天堂99| 五月开心婷婷中文字幕| 亚洲A色| 久久9热| 五月天综合久久| 牛牛热这里只有jingpin| 婷婷人妻激情| 国产欧美婷婷| 天天操夜夜爽歪歪| 泰州成人视频| 久久综合综合综合| 伊人久久婷婷| 另类激情网| 亚洲综合另类| 亚洲精品久久久无码| 人妻在线观看视频| 婷婷五月丁香综合亚洲| 天天色色天天| 天天爱天天爽| OUMEIRIHANCHENGREN| 久久这里只有精品久久| 五月天色婷婷伊人网| 婷婷五月天网| 国产成人一区二区三区在线观看| 综合激情专区| 亚洲色爽| 综合伊人久久| 九九色网专区| 亚洲超碰在线| 青青草原福利在线| 九九成人视频| 亚洲成人中心| 色五月激情综合| 色九月婷婷丁香| 精品人妻伦九区久久AAA片| 五月婷综合激情| 九月丁香婷婷综合激情| a久久| 影音先锋女人AA鲁色资源| 99热欧美精品| 婷婷激情丁五月| 成人五月天丁香| 日本五月视频| 丁香五月成人| 婷婷五月丁香久久| 色综合色综合色综合色综合| 色婷婷成人做爰A片免费看网站| 国产精品视频网| 色色色视频免费无码| 九九激情| 狠狠色综合久久久久| 欧美日本综合网| 99热在这里只有精品| 色色五月婷| 天天肏高清在线| A色色| 五月婷婷六月激情| 欧日韩成人| 色色综合色| 国产67194| 久久婷婷五月天激情| 丁香五月久久综合| 香蕉久久国产AV一区二区| 91九色国产在线| 99热这里只有是亚洲国产| 色狠狠色| 九九热黄色| 婷婷性福五月天| 琪琪色网址| 无码网| 97久久人人| 大香蕉啪啪啪啪啪啪| 色婷婷婷婷成人网| 深爱开心激情| 色婷婷在线播放| 99热一区| 99热九九九九| 婷婷激情五月综合丁香社| 97操操操| 久久久精品AV| 婷婷五月天伊人网| 殴美97色| 久久人妻视步| 视频一区二区在线| 狠狠色精品综合| 亚洲乱码日产精品BD| 思思久久99热| 亚洲精品视频在线播放| 久久 婷婷 五月天| 婷婷五月天国产在线播放| 婷婷影院A成人| 狠狠 婷婷| 五月天综合色| 综合亚洲色色| 激情影院丁香五月| 婷婷色色狠狠| 五月天婷婷久久| 狠狠做六月爱婷婷综合aⅴ| 99re热在线视频| 婷婷射图| 九九色影院| 激情久久五月天| 中文字幕综合| 97操在线视频| 久久婷婷综合五月天| 五月丁香另类图片| 久热这里只有精品99re| 亚洲热手机在线观看| 夜夜躁爽日日| 色色爽爽天天| 色婷婷五月综合| 噜一噜免费视频| 婷婷操逼| 欧美97p| 久久婷婷五月天大香蕉| 亚洲视频图片婷婷五月| 色月丁| 色欲午夜无码久久久久久张津瑜| 99九九热在线观看| 激情五月天影院| 午夜理论片最新午夜理论剧 | 五月丁香婷婷激情澎湃四射| 六月丁香啪| 成人精品亚洲性爱| 伊人色综合影院视频| 色婷婷香蕉| 99热最新地址在线| 精品欧美一区二区三区久久久| tingtingzonghewang| 婷婷狠狠干| 婷婷干五月综合在线播放| 婷婷色基地在线看| 中文字幕婷婷| 怡红院99| 精品自拍99| 26uuu欧美| 中文字幕综合网| 五月天综合色| 丁香婷婷色五月天| 人人插9| 狠狠色噜噜狠狠狠狠综合| 丁香五月精品视频| 色色色五月天婷婷| 日日夜夜天天| 他改变了拜占庭| 亚洲字幕AV一区二区三区四区| 狠狠色综合五月| Www.狠狠| 天天综合精品| 六月丁香影院| 碰超99| 一起草av| 人。妻久久| 日韩啪| 夜夜骑夜夜撸| 色综色五月天婷婷| www.五月天色色.com| 成人日韩欧美| 九九这里都是精品| 久久久99视频| 国产69久久久欧美黑人A片| 久久九九99字幕| www超碰com| 久久99精品久久久久久噜噜| 色情五月丁香婷婷网| 五月丁久久| 婷婷五月花| 色V狠狠的干| 亚洲精品久久久无码| 六月色伊人婷婷| 9色小视频在线观看| 天天操夜夜玩!| 色色色婷婷| 六月婷婷综合| 五月好婷婷| 97碰免费视频在线| 精品一二三区久久AAA片| 99视频精品在线| 先锋资源91| 欧美性爱五月天| 欧美成人性爱网| 99操视频| 综合日本婷婷| 色色网站| 日狠狠| 深爱五月天 开心网| 色七七色九九| 五月丁香偷拍| 性爱五月丁香| 999影院成人在线影院| 久久婷婷视频| 亚洲五月婷| 99热色精品| 亚洲精品国产A久久久久久| 9精品在线| 五月丁香花激情综合网| 黄色中文字目| 欧美婷婷| 欧美熟女99| 婷婷黄色网| 超碰AAAAAAV| 五月丁香啪啪啪| www网站在线观看| 婷婷五月AA五月在线| www.色五月| 伊人9在线| 婷婷五月天电影区小说区| 4438亚洲欧美| 中文字幕簧片| 黑人巨粗进入警花疼哭A片| 91丨九色丨熟女|新版| www.com五月天| 激情五月黄色| 色情五月天婷婷| 99免费在线视频| 极品色丁香| 99久久久久久| 黄色成人网站在线播放| 五月婷婷婷丁香播| 久久青青日本视频| 五月婷视频| 国产小网站| 偷拍91九色| 色色色热热热| 超碰亚洲欧美| 丁香五月天BBw| 久综合4| 狠狠狠狠操| 久久婷婷七月丁香| 五月丁香亚洲婷婷| 亚洲成人中文字幕| 丁香五月天资源网| 天堂综合久久| 色五月激情五月| 婷婷久久伊人| 99在线免费视频| 另类在线观看视频| 欧美日比视频| 99久久婷婷国产综合| 五月婷婷基地| a在线观看| 欧美色色色色色| 国产婷婷色五月| 97色婷| 无码G高清天| 五月婷婷视频| 五月播播| 69久久久| 色色色地址| 婷婷久久综合久| 五月天亭亭俺也| 99热99热在线观看| www.狠狠| 99热在线成人网站| 黄色91在线观看| 激情丁香九九五月综合网| 婷婷五月天奸女| 九九99久久| 五月香蕉婷婷| 熟妇国产| 天天爽天天爽| 婷婷五月天成人网| 成人无码免费一区二区中文| 97干在线看| 欧美视频五区| 涩综合在线| 射婷婷中文字幕| 日本va欧美va欧美精品88| 99日精品视频| 五月婷婷丁香六月| 丁香欧美| www.99精品在线| 99热在线观看精品| 欧美激情凹凸丁香网| 中文字幕久久婷九女同| 99色网站| 九九久久99| www.com色播五月天| 在线中文字幕视频| 欧美成人网婷婷综合在线| 丁香综合久久| 天天干天天日天天操| 新激情五月天色播| 成人在线视频一区| 无码少妇高潮喷水A片免费| 五月丁香黄色视频| 久久激情视频99| 色五月丁香五| www..999热久| 欧美性爱5月天天天看| 国产亚洲99久久| 色五月综合| 国产精品久久久60086| www.五月天色色色| 丁香六月婷婷综合| 婷婷五月天亚洲丁香| 欧美在线操| 少妇水多A片太爽了| 天天爱天天狠天天透| 五月天丁香六月综合| 久久综合站| 欧美日韩91| 婷婷激情5月| 99精品成人无码A片观看金桔| 激情五月婷婷网| 99亚洲精品| 夜夜撸日日操| 色婷婷五月婷婷五月婷婷五月| 亚洲午夜电影| 在线中文字幕免费视频| 婷婷天天色| 久久婷婷五月综合伊人| VA五月激情在线| 久久久高清| 性色五月天| 99热在这里只有精品| 另类图片五月天婷婷| 国产亚洲99久久| 激情深爱五月天| 色五月 五月婷婷| 夜夜天天久久婷婷| www.色婷婷| 色婷婷色综合激情91| 亚洲AV影片在线观看| 亚洲综合九九| 婷婷成人视频| 激情久久综合| 久久99精品久久久久久三级| 亚洲亚洲人成综合网络| 玖玖婷婷五月天| 五月婷天天搞视频| 婷婷五月激情丁香激情| 国产免费一区二区在线A片视频| 日本三级第一页| 99自拍视频| 中文字幕在线日亚洲9| WWW,五月| 人人人va亚洲视频在线| 另类婷婷丁香| 思思99精品视频在线观看| 精品99在线| 碰人人97| 色操综合| 色婷婷激情五月天丁香| 欧美性生交XXXXX无码小说| 成人av中文字幕| 九九無妻| 免费精品66| 天天做天天爱天天日| 在线视频另类| 大香av| 亚洲AV成人无码电影| 婷婷中合| 超碰人人摸人人操| 亚洲综合色网| 人妻少妇色综合| 91热爆在线| 五月色亚洲| 亚洲精品大片| 色综合区| 丁香五月久久| 天天干天干| WWW.桔色成人.COM入口| 日本婷婷网| 99er免费在线观看| 丁香六月色香蕉视频| 五月开心婷婷极品激情| 开心五月婷婷激情网| 婷婷久草| 一区二区中文字幕| 久热这里只有精品6官网亚洲| 99精品久久久久久久婷婷| 一本久道综合99| 婷婷丁香宗合888| 综合久久综合久久| 五月天激情四射| 亲子乱AV一区二区三区下载| 久久色吧| AV在线二十六页| 婷婷五月天毛片| 在线看黄色| 色综合中文色综合网| 大香蕉娱乐| 第1影院之五月婷婷| 99综合成人视频在线观看| 欧洲区自拍| 九九人人自拍| 欧美日韩成人免费在线| 成人噜噜网| 人人玩人人橾| 六月色伊人婷婷| 色香五月天| 26uuuuuuuu国产| 亚洲视频99| 激情五月综亚网| anquye五月| 综合久久六月| 五月激情网站| 无码一区精品一区视频| 五月天色综合| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品| 色五月丁香com| 91啪啪啪啪| 久七香蕉| 最新午夜理论片| 少妇婷婷五月天| 五月天亚洲综合网| 思思久久99| 97香蕉碰碰人妻国产欧美| 国产亚洲成AV人片在线观黄桃 | 欧美精品啪啪| 操碰91| yiqicaoav| 天天爱天天做天天日| 精品99爱免费视频在线观看| 激情六月一二| 女人天堂AV| 亚洲色无码A片一区二区麻豆| 九九亚洲视频| 操老逼综合网| 99久久久久久久| 色啪网| 亚洲色vA| 91精品久久久久久综合五月天| 丁香九月综合| 亚洲 在线 另类| 久久免费丁香| 婷婷六月网| 大香蕉伊人99| 99精品在| 久9热在线视频| 国产偷人爽久久久久久老妇APP| 日本少妇AA一级特黄大片| 色九亚洲| caobi四区| 亚洲激情久久| 久久婷婷五月天| 超级碰碰视频无码| 久久综合丁香五月| 婷婷五月天偷拍| 人妻无码精品一区| 婷婷桃色网| 久久天天天| 国产精品色色色色| 三级三久久线久久99久目本WW| 99精品在线观看| 婷婷丁香色性爱| 丁香五月成人论坛| 婷婷人人操| 丁香婷婷六月天| 日本成人内射| 99色色热| 欧美精品18| 狠狠婷婷色综合| 九日日夜夜69| 狠狠操之狠狠操| 色五月婷婷很很操| 四LLL少妇BBBB槡BBBB| 色月九九| 婷婷成人五月天成人文学小说| 丁香五月社区| 毛片蕉地一二| 久久狠色噜噜狠狠狠狠97| 91丨九色丨白浆秘| 综合久久激情久久| 丁香五月天激情婷婷丁香六月| 蜜臀av无码久久久久久久久| 丁香婷婷五月综合| 久久久精品免费啪啪国| www.激情.com.| 天天干,天天日| 日本人妻伦在线中文字幕| 九洲一级A片| 色婷婷www| 久色网| 狠狠爱婷婷| 婷婷五月在线播放| 河北真实伦对白精彩脏话| 婷婷五月色播网| 99久精品视频| 在线sebiav精品视频| 五月天影院婷婷在线观看| 丁香五月综合婷婷| 久久九九re热| 日本色色视频| 五月J香蕉婷婷| 梁铮版《蜘蛛女侠》在线 | 国产3p露脸普通话对白| 天天做天天视天天谢| 免费婷婷| 丁香激情五月| 六月丁香婷婷综合在线| 国产一区二区av免费| 五月婷婷六月丁香综合视频在线| 天天天干夜夜夜操| 操97| 色五月91| 99精品视频推荐| 五月天电影网| 色一情一乱一伦一区二区三区| 99碰网站| 亚洲情色一区| 午夜成人网站在线观看| 中文字幕激情综合| 亚洲一区二区无遮挡A片| 亚洲热综合| 一级性感毛片| 五月婷激情| 久久久久久欧美精品se一二三四| 久久人人九| 丁香 久久| 97碰碰碰| 色欲久久久久久综合网综合网| 丁香五月婷婷高清| 天天色色天天| 五月天激情图片网| 激情综合五月| 亚洲超级碰| 国产免费一区二区三区三州老师F1F1.CC | 亚洲情a| 99热九九九九| 深爱激情丁香五月| 成人免费黄色短视频| 色综合久久天天综合网 | 欧美性猛交 XXXX 乱大交| 成人视频婷婷| 国产日产成人亚洲欧美国产VA| 五月色情| 综合久久影院| 999久久久国产精品| 狠狠色婷| 日韩aaaaa| 久久亚洲无码| 特黄三级片| 偷偷操99| 婷婷伊人网| 夜色.cnm| 丁香五月婷婷视频| 久久Xx| 美日韩成人| 丁香色情五月天| 亚洲精品久久久久久久久久飞鱼| 天天爽综合| 人妻五月天激情开心网| 五月婷婷伊人在线| 综合网啪| 国产成人网| 五月婷无码| Www.久久| 婷婷日欧美在线观看| 色婷婷19| 青草青草视频2免费观看| 六月色色婷婷| 久啪欧美| 天天爽天天干| 丁香婷五月| 人妻中文字幕网| 九九AV| 99精品视频免费在线播放| 极品少妇高潮啪啪AV无码| 草做免费在线观看| 刘玥精品一区| 久久性操| 青青五月天婷婷| 丁香97综合| 色情五月综合婷婷| 久热最新视频| 永久免费一区二区三区| 久久这里都是精品| 久久久久久久五月婷婷六月丁香综合,开心激情综合网 | 色婷婷婷综合五月天| 丁香五月激情五月色综合| 任你搞网站| 激情五月天啪啪| 麻豆AV一区二区三区| 色色色图| 婷婷丁香成人五月天| 99精品网| 五月丁香天堂网| 伊人五月婷婷| 国产精品a无线| 日日操夜夜爽| 偷拍九九五月丁香婷婷| 久99热| 亚洲va欧美va天堂v国产综合| 99视频精品| www五月婷婷| 久久99久久99精品免观看粉嫩| 六月婷婷无码| 天久久久久| 99热在线只有精品| 婷婷五月天资源| 色色丁香| 香蕉久日夜| 婷婷色综合| 99爱在线精品视频免费观看| 激情五月天婷婷久久久久久久久久久| 五月色婷丁香| 免费看欧美成人A片无码| 四色五月婷婷| 色视五月天婷婷| 99久久.www| 嫩草AV久久伊人妇女超级A| 激情五月婷黄版| 少妇丁香婷婷 | 月色色综合婷婷网| 色综合久| 性视频久久| 五月丁香在线国产| 超级黄色片| 日本三级第一页| 97av在线视频| 五月天综合激情网| 激情六月日韩| 99色啊| 婷婷五月AV| 综合九色| 色狠狠色综合久久久绯色aⅴ影视| av在线中文| 狠狠五月激情婷婷直播片| 狠狠艹狠狠艹| 97操碰人人| 超碰69天堂| 国产肥白大熟妇BBBB视频| 久久这里99| 亚洲色婷婷色| 丁香六月婷婷综合欧美| 波多婷婷久久| 99在线精品视频在线观看| 亚洲va综合va国产va中文| 九九热这里只有精品7| 久久久激情| 五月婷婷综合视频| 亚洲综合婷婷| 最新久久99视频网站| 丁香成人色情五月天| 99久久久99久久91熟女| 2015超碰| 丁香五月婷婷亚洲激情四射| 91九色欧美| 五月丁香六月婷婷开心网| 久色大| 风流少妇A片一区二区蜜桃| 日本在线观看aaa 99| 97色婷婷成人综合在线观看| 深爱五月亚洲| 日本一毛片| 激情5月婷婷狠狠干| 婷婷五月天成人在线视频| 无码人妻一区二区三区免费九色| 五月婷婷免费在线视频| 天天日天天插| 久草九九| 涩涩五| 国产在线黄色| 丁香五月激情综合久久| 免费黄色AV| 99亚洲色| 性爱久久| txt五月激情四射网综合俺也来了| 在线超碰精品| 日本精品99网站| 小视频久久久aaa| 激情综合网五月| 国内熟女黄色系列| 婷婷六月丁香色| 久久草人妻| www.99在线| 五月天激情国产综合婷婷婷就去爱| 丁香九月激情| 婷婷久久性爱| 亚洲最大在线| 日韩色色色色色| 婷婷五月中文在线| 91久久| 99热老司机| 97精品综合| 二色av| Xx色综合| 成人小说 五月天 婷婷| 激情国产综合| 久久婷婷草| 久碰婷婷视频| 99自拍视频在线| 婷婷丁香六月五月天| 77799热| 激情丰满熟妇五月| 婷婷丁香久久五月综合| 五月婷婷综合色啪首页| 欧美激情综合色综合色| 曰日爽日日操| 色五月色五天免费视频| 99热日| 超碰免费人人| 丁香激情久久| 久久草大香蕉| 播丁香五月婷婷欧美| 少妇AB又爽又紧无码网站| 激情五月天婷婷播播久久综合91 | 国产成人网址| 五月天色色色| 99操网站| av在线中文| 大地9中文在线观看免费高清| 亚洲日韩乱码一区二区三区四区 | 国产亚洲色婷婷久久99精品91| 久热精品视频| 五月丁香婷婷成人综合网| 色五月 五月婷婷| 4399伦理午夜| 夜夜撸天天日| 97干资源在线观看| 婷婷激情五月天视频在线| 五月丁香六月激情| 激情综合网五月激情网| 九九综合五月欧美| 丁香五月天激情免费在线观看AV777| 色99在线视频| 婷婷八月激情| 91精品久久久久久久久久| 丁香五月第九色| 无码 av电影| 五月天亚洲色| 色情综合网| 五月婷婷综合潮喷| 五月天成人小说| 秋霞成人毛片一级A片| 黄桃AV无码免费一区二区三区| 丁香五月电影| 久久99免费视频| 五月亭亭六月色| 婷婷丁香六月影视| 婷婷激情丁香六月| 色婷婷99| 欧美久久九九| 二级黄色毛片| 婷婷五月天综合激情| 久99热| 俺去也五月天| 免费日本aⅴ中文字幕 | www.婷婷激情网.com| 人人插9| 亚洲性爱99在线| 色欧美影院| 亚洲超碰在线| 91亚洲免费片| 五月婷婷成人网首页| 色色色婷婷| 日本欧美成人片AAAA| 日韩超碰在线| 5月丁香六月婷婷| 大香蕉伊人99| 国产露脸150部国语对白| 无码A片一区二区免费| www.91.com处女在线直播| WWW.夜夜| 精品久久久人妻| 丁香社92视频| 色九月激情综合网| 丁香六月婷婷| 色狠狠婷婷| 五月香蕉综合| 久9无码视频| 亚洲无AV在线中文字幕| 性色综合网| 国产性色蜜乳| www夜夜操| 麻豆123区| 狠狠色激情综合| 久久草大香蕉| 超碰在线日夜| 五月丁香激情四射综合| 亚洲99热| 欧美成人精品三区综合A片| 激情小说五月天| 99毛片| 激情五月天 婷婷| 91夫妻网站九色| 亚洲愉拍99热成人精品| 激情网五月| 五月九九综合| 在线综合婷婷| 激情五月天天狠狠久久| 1024在线视频| 日日夜夜青青草| 狠狠做深爱婷婷久久综合一区| 婷婷狠狠干| 国产阿姨日皮艹逼内射视频| se99视频| 婷婷综合五月天| 激情5月天天天| 亚洲欧洲中文日韩久久AV乱码| 色五月天堂| 亚洲视频99| 一本道在线电影| 九色七七| 五月综合激情网| 91九九热| site:wpjngj.com| 天天干夜夜谢| 日本一级黄色电影| 丁香六月五月天| 在线观看免费观看在线9久| 精品国产人人爱人人| 啪啪综合网| 一起草Av| 五月丁香综合激情| 亚洲天堂九九九| 国产成人99久久亚洲综合精品| 在线超碰免费| 97精品自拍视频| 色爱综合网| 久久五月天色婷婷| 开心五月婷婷| 婷婷丁香九色| 免费播放99性爱视频| 九八Av| 婷婷五月婷婷五月| 亚洲春色奇米影视| 五月婷高清视频| 98国产精品综合一区二区三区| 五月丁香天堂网婷婷| 国内外色色色色色成人视频| 亚洲天堂99| 天天天天天日| 天天插天天插天天操| 欧美性丁香色色五月天干干| 成人版视频在线观看| 五月天伊人综合| 色情综合| 色色五月婷婷| 欧美69色| 五月天激情啪啪| 婷婷精品在线| 狠狠狠狠狠| 国产老熟妇亲子乱对白| 激情久久久久久| 丁香婷婷色五月| 人人草人人舔| 亚洲综合丁香婷婷六月天| 欧美色五月| 色婷丨日丨天丨综合久久| 日日日天天干| 99欧美三级视频| 日本五月丁香| 欧美十二区| 五月婷婷亚洲| 婷婷久久久久| 99爱视频在线| 99久久久国产大片区| 国产欧美日韩综合精品一区二区| 五月天伊人日日噜影片AV| 91综合网| 激情五月天电影| www.久久久久久| 99精品视频免费观看| 99爱视频在线免费观看| 六月婷婷五月天| 六月丁香婷婷拍拍| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 五月天色色色色色| 婷婷五月丁香六月伊人网| 日本操天堂| 天天操天天操| 亚洲成人日韩无码精品| 五月丁香六月婷婷网| 久久九九网| WWW,五月| 五月综亚洲| 亚洲色区17| 日本99久久| 亚洲丁香五月深爱五月| 99网| 九九热在线观看视频| 亚洲综合视频网| 大地资源色婷婷视频在线| 天天夜夜操| 五月花激情网| 婷婷伊人綜合中文字幕| 五月丁香六月合| www.婷婷,com| 97碰碰视频在线观看免费| 色色永久| 丁香色影院| 三级三久久线久久99久目本WW| 亚洲 小说 欧美 激情 另类| 超碰在线免费观看日韩| 欧美超级视频97| 丁香五月狠狠在线观看| 狠狠色婷婷丁香五月| 91操人视频| 婷婷天天综合| www.久久爱.com| www久久久久久久久久久| 激情图片婷婷丁香五月| 成人 在线 日韩| 婷婷色综合| 亚洲色色色| 欧美99热| WWW.久久久久久久| 无码AV免费精品一区二区三区| 天天操,夜夜骑| 另类亚洲2| 9999热在线| 人人干人人看| www.色婷婷。com| 热99热久| 色色国产| 色色无码| 97婷婷丁香五月天激情图片| 日本精品干| 婷婷在线播放| 欧美成人va| 激情六月五月婷婷综合网| 国产操B视频| 爱久久小说下载网| 久热A| 99热成人永久免费| 狠狠干在线| 春色激情| www.五月婷婷.com| 五月亭亭六月激情| 亚洲成人在线免费| 手机在线视频观看9| 另类天堂| 五月丁香六月激情综合| 激情综合五月色在线| 国产超碰人人| 午夜成人av在线| 伊人久久婷婷| www.99热在线| 五月天中文网| 九九99视频精品| 丁香大香蕉| 操日本三片99| 天天综合网站| 日本三级韩三级99久久| 青青草原精品久久| 五月丁香婷婷AV天堂| 五月婷婷熟女| 狠狠爱婷婷色| 91碰碰视频在线观看|