欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

IRM、EIIL、GroupDRO:不變學(xué)習(xí)三大方法詳解與工程選型

IRM、EIIL、GroupDRO:不變學(xué)習(xí)三大方法詳解與工程選型 只要碰過分布偏移和偽相關(guān)就一定繞不開 IRM、EIIL、GroupDRO 這三個名字。它們都被歸類到不變學(xué)習(xí)Invariant Learning的旗幟下目標(biāo)是解決同一個本質(zhì)問題訓(xùn)練數(shù)據(jù)里的相關(guān)性哪些是真正跨環(huán)境穩(wěn)定的因果信號哪些只是某個環(huán)境碰巧帶來的偽相關(guān)。我在處理某跨平臺系統(tǒng)數(shù)據(jù)時一開始天真地把好幾個來源的數(shù)據(jù)拼在一起做端到端訓(xùn)練覺得數(shù)據(jù)量大了什么都有結(jié)果一到新的測試環(huán)境直接崩盤。后來才意識到這類問題必須在建模時就引入對環(huán)境結(jié)構(gòu)的理解而整個領(lǐng)域最核心的依賴就是環(huán)境標(biāo)簽——你得先知道每條樣本來自哪個分布才能定義“跨環(huán)境不變”這件事?,F(xiàn)實里環(huán)境標(biāo)簽往往拿不到、拿不全、甚至成本極高所以工程實踐上的演化路線非常清晰先是 IRM 硬性要求環(huán)境標(biāo)簽再到 EIIL 自動推斷環(huán)境再到 GroupDRO 用最差組風(fēng)險來兜底。這篇文章就以這三條路徑為主線把原理、實現(xiàn)、選型和踩坑一次講清楚。1. 不變學(xué)習(xí)到底在學(xué)什么環(huán)境標(biāo)簽的前世今生1.1 偽相關(guān)是怎么把模型帶偏的先看一個幾乎所有教程都會提的例子。想象你要做一個圖像分類模型判斷一張照片里是牛還是駱駝。訓(xùn)練數(shù)據(jù)里牛的照片幾乎都出現(xiàn)在草地上駱駝的照片幾乎都出現(xiàn)在沙漠里。這時候很多模型并不會去認(rèn)真學(xué)牛的輪廓、蹄子、駝峰這些真正的判別特征而是偷偷學(xué)了一個更省事的規(guī)則看到大面積的綠色就說是??吹酱竺娣e的沙黃色就說是駱駝。這就是偽相關(guān)也叫捷徑特征。如果測試數(shù)據(jù)的分布和訓(xùn)練數(shù)據(jù)一模一樣這個偷懶模型的表現(xiàn)可以相當(dāng)好畢竟測試時牛大概率還在草地上??梢坏┑搅苏鎸崍鼍芭U驹谏衬?、駱駝趴在草地上模型立刻原形畢露。這個現(xiàn)象在學(xué)術(shù)上有統(tǒng)一的名字叫分布偏移具體到這類情況又常被稱為偽相關(guān)泛化失敗。做實際項目的人對它的感受最直接訓(xùn)練集上漂亮的指標(biāo)一換環(huán)境就歸零。而且偽相關(guān)往往隱藏得很深你根本看不出模型學(xué)錯了什么直到線上反饋打臉。1.2 環(huán)境標(biāo)簽的含義與使用前提環(huán)境標(biāo)簽environment label指的是每條樣本來自哪一個數(shù)據(jù)子分布的標(biāo)記。它不一定是監(jiān)督用的類別標(biāo)簽而是對數(shù)據(jù)來源的分組信息。來源可以是拍攝地點、采集時間、設(shè)備類型、用戶群體、協(xié)議版本等等只要這個維度會造成分布差異它就可以作為環(huán)境維度來使用。注意環(huán)境標(biāo)簽描述的是“數(shù)據(jù)怎么來的”不是“數(shù)據(jù)是什么”這兩者經(jīng)常被混為一談。有了環(huán)境標(biāo)簽我們就可以給“不變性”下一個嚴(yán)格定義如果一個特征表示 Φ 是因果不變的那么在任意環(huán)境 e 中基于該表示訓(xùn)練出來的最優(yōu)預(yù)測器都應(yīng)該是同一個。換句話說特征里該留的留下該去掉的偽相關(guān)去掉之后剩下的部分對環(huán)境的切換不敏感。這正是 IRM 整篇工作的基石。這里說的“因果”并不需要你畫完整的結(jié)構(gòu)方程只需要你能找到那個跨環(huán)境穩(wěn)定的預(yù)測規(guī)律——在實踐中這比做完整的因果發(fā)現(xiàn)要便宜得多也正是不變學(xué)習(xí)能在工程里落地的原因。1.3 為什么不建議直接對特征做無監(jiān)督聚類沒有環(huán)境標(biāo)簽時很多人第一反應(yīng)是先跑一個聚類把樣本分成幾組再拿這些組當(dāng)成環(huán)境標(biāo)簽。這個思路看起來順理成章但坑非常大。無監(jiān)督聚類是在原始特征空間里找緊湊的簇而模型在訓(xùn)練早期學(xué)到的特征往往已經(jīng)被偽相關(guān)主導(dǎo)了。你用這些特征聚類分出來的組大概率是在按顏色、背景、風(fēng)格等捷徑特征劃分而不是按真正能暴露分布差異的維度劃分。更重要的是聚類出來的分組對下游的任務(wù)目標(biāo)毫無感知。環(huán)境劃分的目標(biāo)應(yīng)該是“讓不變學(xué)習(xí)算法能夠識別出哪些相關(guān)性在不同環(huán)境下會變化”這本質(zhì)上是一個與任務(wù)相關(guān)的對抗性劃分問題。盲目聚類等于把一個需要優(yōu)化的變量降級成了啟發(fā)式預(yù)處理結(jié)果往往比隨機分組好不了多少。這也是 EIIL 跟樸素聚類最根本的區(qū)別——它把環(huán)境劃分本身放進了優(yōu)化目標(biāo)里而聚類只是拿一個與任務(wù)無關(guān)的幾何度量硬切數(shù)據(jù)。2. IRM第一個把“跨環(huán)境不變”寫成約束的方案2.1 IRM 的目標(biāo)函數(shù)與因果直覺IRM全稱 Invariant Risk Minimization是這個方向最早被大規(guī)模討論的方案之一。它假設(shè)數(shù)據(jù)來自多個環(huán)境 e∈E每個環(huán)境下輸入 x 和標(biāo)簽 y 的聯(lián)合分布不同但存在一個表示函數(shù) Φ使得在所有環(huán)境下基于 Φ 的最優(yōu)線性分類器 w 都是同一個。換句話說不管數(shù)據(jù)從哪個環(huán)境來只要經(jīng)過 Φ 變換剩下的預(yù)測規(guī)律就完全一致。形式化地說IRM 要優(yōu)化的目標(biāo)是min_Φ Σ_e R_e(w ° Φ) s.t. w ∈ argmin_{w} R_e(w ° Φ)對任意環(huán)境 e 成立這個約束條件的含義很直白不管你從哪個環(huán)境里取數(shù)據(jù)同一個分類頭 w 都應(yīng)該是最優(yōu)的。如果某個特征只在部分環(huán)境下有用把它扔進表示里就會讓不同環(huán)境下最優(yōu)分類頭互相打架約束條件隨之被破壞。于是優(yōu)化過程就會被逼著把這類特征從表示里剔除出去??梢园阉斫獬梢粋€內(nèi)部審查機制每個環(huán)境都在檢查同一個分類頭合不合身誰想偷塞私貨都會被揪出來。為什么這個約束能對應(yīng)到因果直覺因為因果特征有一個很重要的性質(zhì)它在任何干預(yù)環(huán)境下對標(biāo)簽的預(yù)測能力都保持穩(wěn)定。而純統(tǒng)計相關(guān)的特征一旦環(huán)境變了預(yù)測關(guān)系就可能翻轉(zhuǎn)或消失。IRM 通過在多個環(huán)境之間強制分類頭一致性恰好篩選出了那種“改動環(huán)境也改不動規(guī)律”的特征。這就是不變學(xué)習(xí)的核心方法論用跨環(huán)境的穩(wěn)定性來逼近因果性而不去直接建模因果圖。2.2 IRMv1 的梯度懲罰到底在懲罰什么原始 IRM 的目標(biāo)函數(shù)包含一個嵌套優(yōu)化分類頭要在每個環(huán)境內(nèi)部分別最優(yōu)直接求解非常麻煩。所以論文給出了一個實用版本也就是大家熟知的 IRMv1把約束條件松弛成懲罰項IRMv1 Σ_e R_e(w·Φ) λ · Σ_e ‖?_w R_e(w·Φ)‖2注意這里的 w 被固定成一個標(biāo)量通常是 1.0梯度是對這個標(biāo)量分類器求的。為什么要這樣做可以這么理解如果把表示 Φ 固定住只看分類頭 w那么每個環(huán)境都有一個對應(yīng)的最優(yōu) w_e。如果所有環(huán)境共享同一個最優(yōu) w那么把 w 取成任意公共值比如 1.0時每個環(huán)境的風(fēng)險函數(shù)對 w 的梯度都應(yīng)該為零。反過來如果某個環(huán)境下的最優(yōu) w_e 明顯偏離公共值在該公共取值處的梯度就比較大。所以梯度范數(shù)的大小可以直接度量“跨環(huán)境最優(yōu)分類頭不一致”的程度它天然就是一個不變性違反程度的評分器。這里有一個實現(xiàn)細(xì)節(jié)很容易被忽視懲罰項里求梯度的對象是 w·Φ 這個整體輸出對 w 的梯度不是整個 loss 對模型參數(shù)的梯度。在代碼里通常需要讓 Φ 的輸出不參與對 w 的梯度傳播單獨對 w 求梯度再把這個梯度的 L2 范數(shù)平方作為懲罰加進總 loss。有些初學(xué)者直接把 loss.backward() 之后的全體參數(shù)梯度拿去算范數(shù)方向完全不對做出來的東西既不是 IRM 也不是普通的正則化。2.3 一個可復(fù)現(xiàn)的 IRM 訓(xùn)練框架下面給出一段我在模擬項目里驗證過的 PyTorch 風(fēng)格偽代碼結(jié)構(gòu)上可以直接套用到自己的模型里關(guān)鍵在于把環(huán)境維度用 batch 拆開。def irm_loss(phi, w, env_batches, lambda_val): # phi: 特征提取器, w: 標(biāo)量分類頭 total_loss 0.0 penalty 0.0 for x_e, y_e in env_batches: feats phi(x_e) # [B, D] logits w * feats # 標(biāo)量分類頭乘特征 loss_e binary_cross_entropy(logits, y_e) # 關(guān)鍵計算 loss 對 w 的梯度注意與模型參數(shù)的梯度解耦 grad_w torch.autograd.grad(loss_e, w, create_graphTrue)[0] penalty grad_w.pow(2).mean() total_loss loss_e return total_loss lambda_val * penalty用這個框架時有三個要點。第一環(huán)境必須以 batch 為粒度切分絕不能把多個環(huán)境的數(shù)據(jù)混進同一個 batch否則梯度懲罰會算成混合環(huán)境的平均值環(huán)境間的差異就被抹平了。第二λ 的取值要配合驗證集調(diào)整我第一次跑的時候把 λ 設(shè)得太大模型直接放棄了所有特征不僅偽相關(guān)沒去掉連因果特征都學(xué)不到了。第三如果特征提取器很強、表示維度很高梯度懲罰會被稀釋必要時可以在表示層做降維或加正則讓懲罰項更容易傳導(dǎo)到特征層。這是一組我在多份數(shù)據(jù)上反復(fù)驗證過的配置思路不保證所有場景通用但作為起點比盲調(diào)要靠譜得多。2.4 IRM 的硬門檻沒有環(huán)境標(biāo)簽就走不動IRM 的一切優(yōu)勢都建立在環(huán)境劃分已知的前提上。在學(xué)術(shù)基準(zhǔn)里環(huán)境標(biāo)簽是數(shù)據(jù)集自帶的研究者只需要按標(biāo)簽切 batch但在真實項目里這個前提經(jīng)常不成立。我遇到的情況就非常典型手里的數(shù)據(jù)來自多個歷史版本但運營記錄早就把版本字段弄丟了我只能看到一堆混在一起的樣本。這時候 IRM 連第一步都邁不出去因為根本沒有合法的方式來切環(huán)境 batch。有人會說那我用時間戳切、用用戶 ID 切、用設(shè)備類型切總有一個能用吧問題在于環(huán)境劃分不是一個可以隨意拍的維度。切錯了環(huán)境不變性約束就會被錯誤地施加在不相干的維度上輕則懲罰項毫無信號重則把有價值的信息誤當(dāng)成偽相關(guān)過濾掉。正是這種“標(biāo)簽缺失 劃分未知”的現(xiàn)實困境催生了 EIIL 這條研究路線。可以說IRM 把最難的問題留給了使用者不是怎么優(yōu)化而是怎么把環(huán)境標(biāo)簽搞到手。3. EIIL把環(huán)境劃分本身當(dāng)成優(yōu)化變量3.1 兩步走的整體架構(gòu)先推環(huán)境再學(xué)不變特征EIILEnvironment Inference for Invariant Learning的核心思想一句話就能概括既然環(huán)境標(biāo)簽不知道那就把它當(dāng)成一個待優(yōu)化的變量推斷出一個“對不變學(xué)習(xí)最不利”的環(huán)境劃分然后用這個劃分去訓(xùn)練不變模型。整體架構(gòu)分為兩步。第一步構(gòu)造一個環(huán)境推斷器 g(x, y)它對每條樣本輸出一個環(huán)境歸屬的概率分布等價于把訓(xùn)練集劃分成若干個虛擬環(huán)境。第二步在第一步給出的環(huán)境下運行 IRM 風(fēng)格的訓(xùn)練。注意這兩個步驟并不是簡單的前后串聯(lián)第一步的推斷目標(biāo)非常特殊它要找到那個能讓第二步的 IRM 懲罰項最大化也就是讓不變性違反最嚴(yán)重的環(huán)境劃分。為什么要找最不利的劃分邏輯是如果某個特征真的是因果不變的那么不管環(huán)境怎么切分跨環(huán)境的最優(yōu)分類頭都保持一致懲罰項不會因為劃分方式而劇烈變化。但如果是偽相關(guān)特征存在一種“惡意的”劃分方式能把這種偽相關(guān)偽裝成跨環(huán)境穩(wěn)定特征或者正相反能最大限度暴露特征在不同環(huán)境下的不穩(wěn)定。EIIL 用最大化懲罰的方式搜索這種劃分本質(zhì)上就是在主動做壓力測試在所有可能的虛擬環(huán)境里找那個最有可能讓模型學(xué)到偽相關(guān)的劃分然后提前把這種風(fēng)險暴露出來。3.2 為什么偏偏要最大化 IRM 懲罰這里有一個反直覺的點值得展開。IRM 本身是做最小化EIIL 卻在選擇環(huán)境劃分時做最大化一前一后形成一個 min-max 對抗結(jié)構(gòu)。你可以把它理解成一個零和博弈一方是入侵者負(fù)責(zé)設(shè)計最刁鉆的環(huán)境劃分另一方是防御者負(fù)責(zé)在這種劃分下仍然學(xué)到不變特征。最終達到的平衡點就是模型對一切可能環(huán)境劃分都具有魯棒性的狀態(tài)。從算法實現(xiàn)角度看最大化 IRM 懲罰還有一個實際好處它給環(huán)境推斷提供了明確的梯度信號。如果換成一個普通的聚類目標(biāo)比如最大化組間距離那分組結(jié)果和下游不變學(xué)習(xí)是否有效之間沒有直接聯(lián)系推斷器得不到任何關(guān)于“這樣分會讓模型變好還是變壞”的反饋。而 EIIL 把環(huán)境推斷和不變學(xué)習(xí)的目標(biāo)直接綁定推斷器每調(diào)整一次劃分都能看到對 IRM 懲罰的影響這讓整個系統(tǒng)端到端可優(yōu)化。需要提醒的是EIIL 本身也繼承了 IRM 的前提假設(shè)數(shù)據(jù)里必須存在可恢復(fù)的環(huán)境結(jié)構(gòu)。如果數(shù)據(jù)來源真的只有一個分布沒有任何偽相關(guān)EIIL 推斷出的“最壞劃分”就會退化到隨機劃分懲罰項也基本沒有信號。所以用 EIIL 之前最好先做一個快速診斷看看不同子集上模型性能是否有顯著差異連差異都沒有的話任何不變學(xué)習(xí)方法都無從談起。3.3 EIIL 的實操流程與參數(shù)選擇我在自己的模擬項目 X 上實現(xiàn) EIIL 時把流程拆成了四個階段每個階段都有需要盯住的參數(shù)。第一階段預(yù)訓(xùn)練一個參考模型。這個模型用普通 ERM 在全部數(shù)據(jù)上訓(xùn)練它的作用是為環(huán)境推斷提供初始的預(yù)測分布。第二階段設(shè)計環(huán)境推斷器。推斷器的輸入是參考模型的輸出特征和標(biāo)簽輸出是樣本到 K 個虛擬環(huán)境的軟分配。我用了一個兩層的 MLP輸出經(jīng)過 softmax 得到每個樣本的環(huán)境歸屬概率。第三階段把軟分配當(dāng)作樣本權(quán)重把數(shù)據(jù)集重新組織成 K 個虛擬環(huán)境然后計算 IRM 的梯度懲罰并以最大化懲罰為目標(biāo)更新推斷器參數(shù)。第四階段固定推斷器用推斷出的環(huán)境劃分去訓(xùn)練最終的不變模型這時訓(xùn)練目標(biāo)又切回最小化 IRM loss。關(guān)鍵參數(shù)有三個虛擬環(huán)境數(shù)量 K、推斷器學(xué)習(xí)率、以及 IRM 懲罰系數(shù) λ。K 的選擇不能拍腦袋我測試下來K 太小比如 2時劃分過于粗糙多個不同的偽相關(guān)模式會擠在同一組里互相抵消K 太大時每組樣本量不足梯度懲罰的方差劇增。從 3 到 5 起步是比較穩(wěn)的區(qū)間。推斷器的學(xué)習(xí)率一般要比主模型小一到兩個數(shù)量級否則環(huán)境歸屬在訓(xùn)練早期劇烈震蕩體系會陷入不穩(wěn)定。λ 的調(diào)整策略和 IRM 一致但要注意 EIIL 的懲罰絕對值本身就受劃分影響最好是記錄每個階段的懲罰量級再據(jù)此縮放 λ而不是用固定值硬套。3.4 EIIL 的代價與脆弱點EIIL 不是免費的午餐它的代價主要體現(xiàn)在三個方面。第一是計算量因為要交替優(yōu)化主模型和環(huán)境推斷器訓(xùn)練時間大約是普通 IRM 的兩到三倍。第二是對參考模型的依賴如果參考模型本身已經(jīng)嚴(yán)重被偽相關(guān)污染推斷器拿到的特征也可能帶著同樣的偏差推斷出的環(huán)境劃分質(zhì)量會受影響。第三是搜索空間問題環(huán)境劃分是一個組合優(yōu)化問題EIIL 用軟分配和梯度下降來近似求解很容易陷入局部最優(yōu)不同的隨機初始化可能給出差別很大的最終劃分。針對這些脆弱點我的做法是參考模型不要只用一個可以同時訓(xùn)練兩到三個不同隨機種子或不同結(jié)構(gòu)的模型把它們的預(yù)測分布做集成后再喂給推斷器能明顯減少單一模型的偏差。另外每次訓(xùn)練結(jié)束后要檢查推斷出的環(huán)境劃分是否符合業(yè)務(wù)常識比如看看每個虛擬環(huán)境下樣本的分布字段是否有可解釋的規(guī)律。曾經(jīng)有幾次EIIL 推斷出的環(huán)境分組完全隨機沒有任何語義對應(yīng)這種時候我就會回到數(shù)據(jù)層面排查通常是因為原始數(shù)據(jù)根本沒有可學(xué)習(xí)的分布結(jié)構(gòu)而不是算法本身出了問題。4. GroupDRO不學(xué)特征直接對抗最差組4.1 最小組風(fēng)險的優(yōu)化視角GroupDROGroup Distributionally Robust Optimization走了另一條路。它不太關(guān)心你能不能找到一個跨環(huán)境不變的特征表示而是直接問一個問題在所有已知的樣本分組里模型表現(xiàn)最差的那個組我要優(yōu)先把它做好。目標(biāo)函數(shù)從 ERM 的平均風(fēng)險變成了最差組風(fēng)險min_Φ max_{g∈G} R_g(Φ)這里的 G 就是預(yù)先定義好的組集合每一組代表數(shù)據(jù)的一個子分布。GroupDRO 的直覺非常樸素平均性能再高如果某一個容易被忽視的子群體被系統(tǒng)性地犧牲掉模型整體仍然是不可靠的。這種視角在真實業(yè)務(wù)里格外有價值比如某個用戶群體數(shù)量少但行為模式獨特把它們當(dāng)成一組模型對它們預(yù)測不準(zhǔn)的問題就會被平攤掉而 GroupDRO 會強行兜住這條底線。值得注意的是GroupDRO 和 IRM 并不沖突它們在數(shù)學(xué)上處理的是風(fēng)險的不同側(cè)面。IRM 優(yōu)化的是表示空間的跨環(huán)境一致性GroupDRO 優(yōu)化的是最差組的損失值。你可以把 GroupDRO 看作一個更“結(jié)果導(dǎo)向”的魯棒性目標(biāo)不管中間特征長什么樣只要最終每個組的表現(xiàn)都能接受就行。這使它實現(xiàn)起來更簡單對模型結(jié)構(gòu)幾乎沒有額外要求只需要在訓(xùn)練循環(huán)里多維護一份組級別的統(tǒng)計量。4.2 組權(quán)重的指數(shù)加權(quán)更新到底怎么算GroupDRO 的核心算法并不神秘它維護一個組權(quán)重向量 q初始時各組均勻然后在每一輪迭代里按各組風(fēng)險動態(tài)調(diào)權(quán)本質(zhì)上是一種基于指數(shù)傾斜的在線學(xué)習(xí)。具體的更新步驟是這樣的。第一步對每個組分別計算當(dāng)前 batch 上的平均損失 R_g。第二步用一個滑動平均來更新每個組的長期風(fēng)險估計 R?_g因為單次 batch 的損失噪聲太大直接用原始值調(diào)權(quán)會讓權(quán)重劇烈跳動。第三步按照 R?_g 的指數(shù)函數(shù)更新權(quán)重 q典型形式是 q_g ← q_g · exp(η · R?_g)然后對所有組做歸一化讓權(quán)重和保持為 1。第四步用加權(quán)后的組風(fēng)險之和作為最終訓(xùn)練損失回傳更新模型參數(shù)。這里的 η 是整個算法最敏感的超參數(shù)。η 越大最差組的權(quán)重上升越快模型會非常激進地?fù)湎虍?dāng)前最差的組但代價是權(quán)重震蕩甚至可能在幾輪之內(nèi)把之前表現(xiàn)好的組又拖下去。η 越小調(diào)權(quán)越平滑但收斂速度變慢如果訓(xùn)練輪次不夠最差組的改善會不明顯。我的經(jīng)驗是讓 η 保持在一個讓權(quán)重每若干輪變化不超過 10% 的量級同時配合早停觀察驗證集上最差組的指標(biāo)而不是平均指標(biāo)來決定是否停止。另外組權(quán)重的更新必須凍結(jié)在訓(xùn)練循環(huán)的外層不能讓組權(quán)重參與模型參數(shù)的梯度計算否則整個框架就失去了對抗性調(diào)權(quán)的意義。很多人第一次實現(xiàn)時會順手把 q 寫進 loss 的計算圖里結(jié)果 q 也被梯度更新了行為變得完全不可預(yù)測。4.3 GroupDRO 與 IRM、EIIL 的本質(zhì)差異把三種方法擺在一起它們的最大分野在于對“不變性”的建模方式不同。IRM 試圖學(xué)習(xí)一個表示讓不同環(huán)境下的最優(yōu)分類器一致這是一種顯式的特征空間約束。EIIL 延續(xù)了同樣的目標(biāo)只是把環(huán)境這個變量從已知變成了推斷。而 GroupDRO 根本不對表示提不變性要求它只對最終的風(fēng)險分布提魯棒性要求相當(dāng)于把問題從“換一種特征”簡化成“多盯一盯弱者”。這個差異帶來一個有意思的推論在沒有環(huán)境標(biāo)簽也沒有可推斷分組的情況下GroupDRO 反而可能是最務(wù)實的選擇前提是你至少能找到一組有意義的業(yè)務(wù)分組。反過來如果偽相關(guān)非常嚴(yán)重僅靠給最差組加大權(quán)重模型可能只是硬記住最差組里的特例并沒有真正學(xué)到泛化特征這時候 GroupDRO 的表現(xiàn)就不如 IRM 和 EIIL。所以三種方法不是簡單的升級關(guān)系而是面對不同數(shù)據(jù)條件時的互補方案。我把三者的關(guān)系總結(jié)成一個口訣IRM 靠環(huán)境標(biāo)簽教你學(xué)不變特征EIIL 替你找出環(huán)境標(biāo)簽GroupDRO 干脆繞開特征不變性直接守住最差組。實戰(zhàn)中經(jīng)常有人把 IRM 和 GroupDRO 疊加使用先用 IRM 學(xué)表示再用 GroupDRO 做最后的魯棒微調(diào)這個組合我在多個數(shù)據(jù)集上都觀察到了正向收益。4.4 組標(biāo)簽缺失時 GroupDRO 的補救做法GroupDRO 的原始形式同樣要求組標(biāo)簽每個樣本必須知道自己屬于哪一組。當(dāng)組標(biāo)簽缺失時有一種工程上很常見的補救做法把 EIIL 或簡單聚類推斷出來的分組直接當(dāng)作 GroupDRO 的組標(biāo)簽使用。也就是說先用推斷器給樣本打上虛擬組標(biāo)簽再運行 GroupDRO。這種兩段式組合在實踐中比直接跑 EIIL 更穩(wěn)健因為 GroupDRO 對分組質(zhì)量的敏感度低于 IRM它不需要分組精確地對應(yīng)到某種潛在環(huán)境只要分組能大致區(qū)分出表現(xiàn)差異調(diào)權(quán)機制就能起作用。還有一個更輕量的變體也是我偶爾會用的不顯式分組而是每次迭代后統(tǒng)計每個樣本的損失把損失最大的那部分樣本動態(tài)組成一個“偽最差組”然后把它們的損失權(quán)重提高。這種做法的理論保證比 GroupDRO 弱但勝在完全不需要任何組標(biāo)簽在項目早期做基線對比時非常有用。它的缺點是沒有長期記憶組的概念隨時在變落在不同輪次之間的優(yōu)化目標(biāo)不一致所以只建議用來快速判斷“這個數(shù)據(jù)集有沒有值得做魯棒優(yōu)化的余地”不建議作為正式方案長期使用。5. 三種方案怎么選一份基于實際場景的選型清單5.1 核心維度對比表先把三種方法的關(guān)鍵差異壓縮成一張表方便對照。對比維度IRMEIILGroupDRO環(huán)境/組標(biāo)簽需求必須已知無需已知自動推斷必須已知對特征表示的約束跨環(huán)境分類器一致跨環(huán)境分類器一致無顯式表示約束優(yōu)化目標(biāo)平均風(fēng)險 不變懲罰兩階段 min-max最差組風(fēng)險典型收益學(xué)到真正的因果特征標(biāo)簽缺失時仍可學(xué)不變特征守住最差組性能下限主要代價環(huán)境劃分質(zhì)量敏感訓(xùn)練時間長、易局部最優(yōu)組劃分質(zhì)量敏感、可能過擬合最差組適用場景有明確多來源數(shù)據(jù)來源未知但有分布差異有業(yè)務(wù)分組、關(guān)注公平性這張表是我在實際選型時的主要依據(jù)但表格只能反映理想情形真實數(shù)據(jù)往往比這復(fù)雜。比如環(huán)境標(biāo)簽在訓(xùn)練集里有、測試集里沒有的情況或者組標(biāo)簽存在但嚴(yán)重不均衡的情況都需要在表格基礎(chǔ)上再結(jié)合數(shù)據(jù)特征做二次判斷。5.2 不同約束條件下的選型建議我把常見的工程約束歸納成五類情況每一類都給出我認(rèn)為最合理的起手方案。如果環(huán)境標(biāo)簽完整且數(shù)據(jù)量充足直接上 IRM同時保留一個 ERM 基線做對照。這個場景最理想IRM 的表示學(xué)習(xí)能力能得到充分發(fā)揮λ 可以在驗證集上按最差環(huán)境指標(biāo)來調(diào)。如果環(huán)境標(biāo)簽缺失但你知道數(shù)據(jù)存在明顯分布差異優(yōu)先試 EIIL。先用參考模型做診斷確認(rèn)不同子集預(yù)測分布有差異再推斷環(huán)境最后訓(xùn)練不變模型。整個過程要比想象中消耗計算資源建議預(yù)留至少兩倍于普通訓(xùn)練的預(yù)算。如果沒有任何環(huán)境或組標(biāo)簽但業(yè)務(wù)側(cè)能給出一些候選分組維度比如地區(qū)、設(shè)備、使用時段把它們作為 GroupDRO 的組直接用。業(yè)務(wù)先驗往往比算法推斷出來的樣本分組更穩(wěn)定也更容易向團隊解釋。如果組標(biāo)簽缺失且候選分組維度也不可靠那就先跑一個動態(tài)偽最差組的快速實驗判斷數(shù)據(jù)里是否存在值得處理的性能差異。如果沒有差異說明這個項目暫時不需要魯棒優(yōu)化如果有差異再考慮投入資源讓 EIIL 上線。如果項目對可解釋性要求極高優(yōu)先考慮 GroupDRO 搭配業(yè)務(wù)分組因為它不改變特征語義只是調(diào)整損失權(quán)重模型產(chǎn)出的特征解釋起來和普通模型幾乎一樣而 IRM 和 EIIL 學(xué)到的表示是被不變性約束塑造過的內(nèi)部結(jié)構(gòu)可能和業(yè)務(wù)直覺對不上。5.3 一個模擬實驗的完整流程與結(jié)果解讀為了把選型邏輯落到實處我描述一個我在模擬項目 X 里做過的完整對比實驗。數(shù)據(jù)集自己構(gòu)造包含三個子分布每個子分布里都有一個不同的偽相關(guān)模式子分布 A 里標(biāo)簽和背景色強相關(guān)子分布 B 里標(biāo)簽和紋理強相關(guān)子分布 C 里標(biāo)簽和物體位置強相關(guān)。測試集則是另外兩個未見過的子分布用于檢驗真正的泛化能力。我先用 ERM 訓(xùn)練基線測試集準(zhǔn)確率只有 50% 左右明顯不如訓(xùn)練集里的 85%說明偽相關(guān)確實傷害了泛化。接著用 IRM由于構(gòu)造數(shù)據(jù)時保留了完整的環(huán)境標(biāo)簽測試準(zhǔn)確率提升到 72%證明顯式環(huán)境劃分有效。然后故意把環(huán)境標(biāo)簽?zāi)ǖ襞?EIIL測試準(zhǔn)確率大約在 68%比 IRM 低一些但顯著高于 ERM說明推斷出來的環(huán)境劃分足以恢復(fù)大部分不變性信號。最后用業(yè)務(wù)上已知的粗粒度分組跑 GroupDRO測試準(zhǔn)確率在 65% 左右因為它的分組粒度不如真實環(huán)境精細(xì)只能守住最差組而不能完全剔除偽相關(guān)。這個實驗的結(jié)論很有代表性有真環(huán)境標(biāo)簽時 IRM 是上限標(biāo)簽缺失時 EIIL 是下位替代中最接近上限的GroupDRO 則在分組語義準(zhǔn)確時表現(xiàn)穩(wěn)定但天花板有限。值得注意的是所有方法在測試集上都沒有追平訓(xùn)練集性能這說明偽相關(guān)的傷害并不會因為換了魯棒算法就完全消失只能壓低。接受這一點對設(shè)定項目預(yù)期非常重要。更難得的是這個模擬實驗還暴露了它們各自的失敗模式。IRM 在環(huán)境劃分不夠細(xì)時只是把幾個偽相關(guān)混在一起效果直線下滑。EIIL 在子分布之間的差異不夠明顯時推斷環(huán)境會退化到隨機劃分。GroupDRO 則在最差組本身包含多種混雜模式時按住了一個又冒出來一個。這些失敗模式引導(dǎo)我在真實項目中做了大量針對性的防御設(shè)計也就是下一節(jié)要講的踩坑記錄。6. 實戰(zhàn)避坑記錄我在項目里踩過的六個坑6.1 環(huán)境劃分粒度錯誤環(huán)境劃分的粒度直接決定 IRM 的成敗。我一開始按采集時間把數(shù)據(jù)切成 24 個小時段結(jié)果相鄰小時段的分布幾乎一樣每個環(huán)境之間根本沒有差異IRM 的懲罰項在訓(xùn)練初期就趨近于零學(xué)到的表示和普通 ERM 沒區(qū)別。后來又切得太粗只分成兩個環(huán)境結(jié)果兩個環(huán)境內(nèi)部的偽相關(guān)模式完全混在一起梯度懲罰變成了不同模式的平均值反而把真正的差異抹掉了。正確的做法是先做分布診斷用參考模型在候選環(huán)境上的風(fēng)險方差來判斷劃分粒度。如果風(fēng)險方差接近零說明切太細(xì)了需要合并如果風(fēng)險方差很大但分組內(nèi)部仍然高度異質(zhì)說明切太粗了需要再細(xì)分。這個診斷步驟花不了多少時間卻能避免整個 IRM 訓(xùn)練白跑。6.2 參考模型泄漏偽相關(guān)EIIL 的兩階段結(jié)構(gòu)有一個隱蔽的泄漏路徑。參考模型如果只在一個數(shù)據(jù)子集上表現(xiàn)特別好它的預(yù)測分布會帶著強烈的偽相關(guān)印記環(huán)境推斷器學(xué)著學(xué)著就會把這種印記當(dāng)成環(huán)境信號推斷出的虛擬環(huán)境其實是在復(fù)現(xiàn)參考模型的偏見。我在一次實驗里發(fā)現(xiàn)EIIL 推斷出的分組幾乎就是把訓(xùn)練集按參考模型的置信度排序后切了幾刀沒有任何業(yè)務(wù)意義。解決方案是給參考模型做去偏處理。最輕量的做法是用多個隨機種子訓(xùn)練多個參考模型取預(yù)測分布的均值更徹底的做法是在參考模型訓(xùn)練時就加入簡單的魯棒約束比如先跑一個 GroupDRO 再拿它的特征去做 EIIL 推斷。盡管這樣會增加訓(xùn)練時間但每一步的偏差一旦在早期被放大后面想糾正成本更高。6.3 最差組過擬合GroupDRO 有著非常經(jīng)典的過擬合風(fēng)險訓(xùn)練時間一長模型會開始死記硬背最差組里那些邊緣樣本驗證集上最差組指標(biāo)先升后降形成明顯的山峰曲線。我看過不止一次這樣的訓(xùn)練曲線最差組準(zhǔn)確率從 60% 爬到 75%然后又跌回 65%而平均指標(biāo)全程緩慢上漲整體看起來一切正常。對策有兩個。第一早停的監(jiān)控指標(biāo)必須用一組留出的驗證數(shù)據(jù)上最差組的指標(biāo)不能用平均指標(biāo)否則你會一直等到過擬合發(fā)生。第二組權(quán)重的更新頻率要克制讓最差組的權(quán)重上升平緩一些給模型時間真正學(xué)習(xí)泛化模式而不是記住樣本特例。如果計算資源允許可以在每輪訓(xùn)練結(jié)束時把模型權(quán)重做指數(shù)滑動平均這在 GroupDRO 里能顯著穩(wěn)定最差組的最終表現(xiàn)。6.4 懲罰系數(shù)與學(xué)習(xí)率的關(guān)系IRM 系列方法的懲罰系數(shù) λ 和學(xué)習(xí)率不是兩個獨立的超參數(shù)。我在實驗里發(fā)現(xiàn)當(dāng)學(xué)習(xí)率偏大時梯度懲罰項的尺度也會被放大同樣的 λ 表現(xiàn)出來的約束強度完全不同。很多人照搬論文里的 λ 跑自己的任務(wù)發(fā)現(xiàn)要么懲罰沒起作用要么模型塌掉原因往往就出在沒考慮學(xué)習(xí)率帶來的尺度變化。比較穩(wěn)的做法是把 λ 設(shè)置成一個動態(tài)值按照懲罰項梯度的歷史量級做歸一化。具體來說每若干輪計算一次懲罰梯度的 RMS把 λ 乘以一個反向系數(shù)讓懲罰項的梯度尺度保持在主損失梯度的同一量級。這個技巧雖然沒有寫進論文但我在多個模擬實驗里用它穩(wěn)定地收斂到了有效解。6.5 數(shù)據(jù)不平衡下的組權(quán)重GroupDRO 的權(quán)重更新完全是數(shù)據(jù)驅(qū)動的但它對組內(nèi)的樣本量非常敏感。如果一個組只有幾十條樣本而另一個組有上萬條單次 batch 里小樣本組的風(fēng)險估計噪聲會非常大即使滑動平均也壓不住。我遇到過極端情況小樣本組的權(quán)重被噪聲推到了接近 1模型直接忽略了其他所有組。為了處理這種不平衡我給每個組的最小樣本量設(shè)了硬門檻組內(nèi)樣本量低于閾值時就對該組的權(quán)重做額外的平滑和封頂同時在小樣本組上使用更長的滑動平均窗口。另一條經(jīng)驗是在構(gòu)造 batch 時做組級別采樣每個 batch 里強制包含每個組一個固定數(shù)量的樣本這樣風(fēng)險估計的方差會大幅下降。這點改動后小樣本組的穩(wěn)定性和整體收斂速度都好了很多。6.6 評估協(xié)議失真最后這個坑最容易忽略也最傷。很多項目在評估魯棒算法時用的還是統(tǒng)一的測試集平均準(zhǔn)確率。但 IRM、EIIL、GroupDRO 優(yōu)化的是跨環(huán)境泛化或最差組表現(xiàn)平均準(zhǔn)確率根本反映不出它們的真實收益。我在一次項目中把測試集按來源分組后分別報告指標(biāo)才發(fā)現(xiàn)一個在某子集上準(zhǔn)確率高出基線 10 個點的模型平均指標(biāo)只比基線高了 1 個點差點就被當(dāng)成沒效果而否掉。所以只要用了任何不變學(xué)習(xí)或魯棒優(yōu)化方法評估協(xié)議就必須按測試環(huán)境分組報告至少包括最差組準(zhǔn)確率、組間方差和平均準(zhǔn)確率三個數(shù)字。最理想的做法是設(shè)置一個完全不可見的測試環(huán)境在訓(xùn)練過程中完全不接觸它最后一錘定音。沒有這套協(xié)議前面所有算法層面的努力都可能被一個粗糙的平均指標(biāo)掩蓋掉。寫了這么多最后聊一點我自己的體會。這三條路線我都能倒背如流但在真實項目里最管用的反而不是某個特定算法而是一種樸素的工程習(xí)慣先把數(shù)據(jù)的分布結(jié)構(gòu)摸清楚再決定要不要用不變學(xué)習(xí)、用哪一種。很多團隊在數(shù)據(jù)還沒診斷清楚時就急著上 IRM結(jié)果環(huán)境標(biāo)簽切得亂七八糟懲罰項毫無信號最后得出“不變學(xué)習(xí)沒用”的結(jié)論其實只是沒踩對入口。我個人在實際操作中的體會是把 IRM、EIIL、GroupDRO 當(dāng)成一套完整的工具箱而不是互相替代的競品。先用快速實驗判斷數(shù)據(jù)里有沒有偽相關(guān)再用業(yè)務(wù)先驗搭一個分組基線環(huán)境標(biāo)簽夠就上 IRM不夠就試 EIIL最后永遠(yuǎn)留一個 GroupDRO 風(fēng)格的兜底方案。這套組合拳幫我在好幾個數(shù)據(jù)分布復(fù)雜的項目里穩(wěn)住了跨環(huán)境指標(biāo)希望對遇到類似問題的你也能有用。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
免费97碰碰| 久久总和99| 永久的网站AAAA | 色色操| 亚洲妇女熟BBW| 大香蕉在线99热| 97电影99热| 五月丁香啪啪网| 99在线国| WWW.99热| 91亚洲视频| 五月婷婷色播视频| 99色天堂| 色九亚洲| 国产午夜精品一区二区| 久久久GOGO无码啪啪艺术| 97超喷视频在线观看| 热久久77777| 丁香五月影视| 碰碰碰97免费精彩视频| 五月欧美丁香在线观看| 丁香六月在线综合| 无码yw| 99精品无码网站| 久久在线大香蕉| 99精品在线观看视频| 综合激情肏逼网| 婷婷6月综合网| xx人人xx| 一区二区成人电影| 17.c黄色| 免费无码毛片一区二区A片| 国产亚洲成AV人片在线观黄桃| 色域五月婷婷丁香| 亚洲视频二区| 色婷婷成人久久| 久久久婷丁香五月| 五月丁香六月激情啪| 99欧美| 9久久久久久久久久久| 99热这里有精品2| 久99久视频| 婷婷久久伊人| 五月婷婷综合在线| 91viP在线看| 久九色| 色综合久久天天综合网| 伊人超碰| 97人妻碰碰碰久久| 丁香五月另类小说| www.99.色| 五月色婷婷在线观看| 五月丁香婷婷综合视频| 婷婷丁香宗合888| 日本激情91| 婷婷五月天手机版视频| 久久婷网| 91中文狠狠综合| 97超级免费无码| 第四色五月婷婷| yazhochengrenavwang| 人人人操97| 99@久久@99精品视频| 久久er免费视频| 丁香五月天电影| 人妻 性久久久久久| 久9综合| 婷婷综合色五月天| 极品另类| www.婷婷五月天| 超碰色碰碰| 操逼福利视频| 精品久久久中文字幕大豆网推荐理由| 色综合大香蕉| 色噜噜狠狠色综合成人99| 拍色综合| 色婷婷成人做爰A片免费看网站| 这里只有精彩视| 秋霞少妇毛片| 第四色在线观看| 丁香五月综合网亚洲综合欧美狠狠| 9久操| 日韩AV大全| 五月花免费视频| 91碰九色| 久久33视频| 激情五月婷| 九九热这里有精品视频| 欧美偷偷操| 天天天天天天天操| 国产激情在线| 亚洲精品V天堂中文字幕| 97干综合网| 9色操| 久色网| 激情综合久久| 99热在线成人网站| a在线观看| 婷色五月| 久久9精品| 五月天六月色| 人人摸人人| 亚洲在线操| 人人视频色| 久碰久操| 婷婷无码视频| 97色在线观看视频| 色婷大香蕉| 久久久五月天| 五月天激情综合| 丁香五月欧美| 天天日日夜夜| 97碰碰视频| 五月成人网站| 熟女激情五月天 | 精品导航在线x不卡| 九九无码AV| 亚洲婷婷性爱| 97色五月丁香婷婷| 极品嫩草| 中文字幕亚洲-区久久99婷婷| 狠狠色婷婷777| 日本人人xxx| 六月婷婷狠狠| 狠狠干狠狠干狠狠干狠狠干| 97激情五月天| 婷婷六月久久| 天天日本夜夜谢| 5月丁香六月婷婷| 日韩无码专区| 开心五月综合激情网| 思思久久久婷婷| 99久久99热| 五月丁香另类网| 五月六月婷婷| 亚洲av网址| 天天日夜夜曹| 亚洲第一第二网站| 九九热在线99| 99网| 狠狠爱五月婷婷| 天天操天天曰| 国产免费一区二区三区三州老师F1F1.CC | 亚洲激情综合| 激情五月综合网| 丁香激情网| 激情五月天影院| 久久久噜噜噜久久人妻| 五月丁香六月激情| 苗黎美女四级成人版一级二级毛片| 91碰碰视频| 婷婷六月五月| 成人短视频在线免费观看| 韩国激情五月天综合网| 亚洲中文字幕AV| 日韩另类| 男女啪啪做爰高潮无遮挡 | 天天操天天操综合| 色婷婷视频| 色五月婷婷、老熟女| 激情99热| 综合激情站| 开心五月激情网| 天堂综合久| 伊人久久大香网| 日本色婷婷| 五月丁香综合| 久久性爱99国产| 九九久久色| 天堂亚洲 在线| 天天综合五月天| 五月婷婷啪啪啪| aaaaa黄色| 丁香激情合作五月| 狠狠干五月天| 五月香婷婷| 国产av一区二区三区| 热99玖玖99玖玖99九九| 97人妻碰碰碰久久香蕉| 五月丁香六月婷婷精品| 五月天激情av| 99精品免费视频| 最近中文字幕大全免费版在线 | 久久99日本精品视频免费观看| 成人在线综合| 伊人五月久久| 久久总和99| 99热这里只有精品2| 免费观看欧美成人AA片爱我多深 | 六月综合在线| 欧美成人精品三区综合A片| av婷婷六月丁香社区在线观看| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 思思99热在线| 深爱激情网综合| 久re热视频| 日本色99| 婷婷97色| 婷婷丁香69精华| 狠狠操狠狠干综合| 伊人五月综合网| 69热91天堂| 五月丁香色婷婷色| 99热777| 成人综合AV| 欧美激情综合| 人人综合久| 丁香五月aV| 丁香婷婷色六月| 九久9精品| 九九爱激情| 超碰99热| 色综合天天综合成人网| 一级黄在线| 一区二区三区XXXXXX| 丁香五月婷婷激情小说| 五月天色社区| 欧洲色色| 欧美日韩一a.无| 久久开心五月天激情| 丁香五月av| 激情AV中文| 亚洲色色爱| 六月婷婷色色色| 天天揷综合网| 五月天婷五月天综合网在线观| 97色色网| 91碰九色| 久久只这里有精品| 99在线免费观看| 亚洲在线播放| 激情激情激情网| 亚洲中文字幕网| 婷婷激情五月综合基地| 99热这里只有精品1| 久久综合最新网址| 在线播放成人网站| 丁香婷婷五月基地| 午夜不卡久久精品无码免费| 激情欧美婷婷| 99热老司机| 五月婷丁香久久综合| 成人婷婷桔色| 涩五月婷婷| 婷婷五月天毛片| 激情五月天色婷婷综合| 精品人妻伦一二三区久| 亚洲另类电影| 亚洲在线资源| 99热丁香五月| 六月激情网| 秋霞AV吧| 色婷婷五月天亚洲| 人妻人人操| 91色吧网| 五月天综合久久| 就爱日五月天| 五月五婷婷| 久草婷婷网| 成人超碰AV| 操骚货在线| 激情精品久久| 久久婷婷综合五月趴| 五月天丁香婷婷视频网址 | 玖玖@三月天天丁香婷婷| 依人大香蕉| PORNY九色9l自拍视频成人| 久久日韩婷婷五月| Www.狠狠| 日本乱论99| 人人妻久久妻| 97AV人人插人人操| 婷婷五月天在线观看| www,99色| 丁香五月六月婷婷殴美综合| 日本强伦片中文字幕免费看| 综合激情综合啪啪| 少妇水多A片太爽了| 丁香五月视频在线观看| 日日干四虎| 呦呦视频无码播放| 日本久久久97| 亚洲色网络| 99年操人人爽| 26uuu亚洲欧美日本| www.久久久久久久久久.com| 亚洲综合色色色| 另类图片五月天激情| 第四色首页| 婷婷狠狠综合网入口| WWW.夜夜| 丁香五月激情综合婷综| WWW,五月| 深爱五月天 开心网| 精品国产乱码久久久久夜深人妻| 婷婷五月丁香综合人妻| 婷婷六月久久| 99re热在线视频| 六月丁香啪啪| 亚洲亚洲人成综合网络| 性色99| 婷婷色综合中心站| 五月婷婷色情| 射琪琪| 超碰成人在线观看| 大香蕉AV在线| 91干婷婷| 日韩高清成人| 《诡秘之主》在线观看| 色欲AVV| 日本丁香五月| 天天肏视频| 亚洲激情久久| 十月丁香九月婷婷综合| 六月婷婷久久| 三人荫蒂添的好舒服A片| 五月激情综合网| 婷婷综合五月| 开心激情网五月| 丁香五月黄色| 亚洲综合色网| 婷色五月天| 色婷婷五月影视| 亚洲五月天激情| 人妻久久久久久久久久| 五月丁香 啪啪| 思思热99热| 激情五月婷婷在线区| 碰超在线九色| 99这里只有| 色欲丁香久久| 狠狠色综合久久久久| 激情五月天婷婷丁香 | 五月天成人在线视频丁香| 无码人妻一区二区一牛影视| 99久在线视频| 这里只有精品视频一区| 99爱视频精品| 99热九九在线| 亚洲蜜桃精久久久久久久久久久久| 99热这里只有精品最新| 这里只有精品免费在线视频| 婷婷五月乱交换| 天天综合在线网| 天天色官网| 99视频久久| 99热在线极品极品| 婷婷五月激情中文字幕| 亚州色色色| 久久久人妻久久久| 99久久五月丁香野外| 丁香五月五月婷婷| 夜夜撸夜夜骑| 色在线五月天免费| AV在线大香蕉| 成人va在线| 色欲天天综合网| 婷婷丁香五月天在线| 99久在线精品99re8| 亚洲中文字幕在线观看| 久色网址| 亭亭五月激情亚洲在线| 久久9视频| 久久久婷婷| VA婷婷| 99在线爽| 68热超碰在线| 国产精品18久久久| 91丨九色丨大屁股| 婷婷丁香宗合888| 五月天激情综合10p| 97色色色色| 91婷婷五月丁香碰| 色五月婷婷丁香凹凸| 天天爱天天操| 婷婷五月色播放| 人人爽天天爽| 色婷婷色五月色丁香| 日本久久天堂| 黄网在线免费播放| 超碰成人公开| 欧美成人猛片AAAAAAA| 91男同| 日日做夜夜爱| 青青草婷婷综合五月| 色色综合无码| 91一起操| 婷婷大乡焦噜噜| 激情五月婷婷色综合| 26uuu最新地址| 女婷久久| 国产44页| 五月丁香本色在线观看| 色偷偷五月天| 99亚州综合精品成人网| 国产免费AV网站| www.天天干| 丁香五月a| 天天射影视综合网| 婷婷五六日| 欧美噜噜免费观看| 五月婷五月婷伊人伊人五月婷| 欧美三级黄色片久久| www.婷婷五月.com| 七月婷婷色香综合网| 涩涩五月天| 99热在线观看精品| 狠狠操狠狠插| www.五月.com| 婷婷5月天激情综合| 中文字幕丰满人妻无码专区| 婷婷丁香成人五月天| 天天网曰日曰夜夜综合永久免费| 九九色婷婷Av| 99热国产婷婷| 五月婷啪| 天天干,天天舔| 五月丁香综合| 成人色站,在线视频,看片-SS1AV| 婷婷丁香五月天综合网| 久久人人人人妻| 五月天激情国产综合AV| 久久色在线视频| 99riAV国产精品视频| 五月天狠狠色| 久久精品99| 99久热| 丁香五月亚洲AV| 2014天天爽| 人人操Av| 亚洲色综久久五月| 99热中文字幕久久| 激情 婷婷| 在线观看欧美| 亚洲五月天激情| 婷婷五月天成人| 少妇真实被内射视频三四区| 色婷婷91激情小说| 亚洲 视频 导航 一区| 色婷亚洲| 久久久久久欧美精品se一二三四| 婷婷丁香午夜综合影视| av性爱在线| 色色网站在线| 婷婷成人AV| 小视频久久久aaa| 狠狠精品干练久久久无码中文字幕| 全部老头和老太XXXXX| 99热国品| 丁香五月 无码| 蜜臀99久久精品久久久久| 婷婷精品在线| 五月激情综合婷婷| 思思热精品在线| 亚洲另类日本| 99热精品在线| 97五月婷| 久久大香蕉同僚| 五月婷婷丁香深深爱| 婷婷六月天激情影院| site:pnnrt.com| 久久婷婷视频| 中文字幕91,综合| 色色色色色色色色五月先| 九九九精品视频免费观看| 婷婷综合激情五月综合| 六月色播| 桃色五月天| 国产激情视频在线观看| 久久性爱激情| 六月婷婷五月丁香首页| 骚。com| 激情九月综合| 丁香花综合永久入口| 另类视屏| 久久久er热| 开心激情综合| 大伊香蕉精品视频在线| 午夜激情婷婷| 狠狠色噜噜狠狠| xxxx久| 超碰97在线操| 婷婷内射视频在线| 婷婷五月丁香基| 丁香六月天| 夜夜操狠狠操| 丁香五月婷婷激情尤物| 久久人妻在线| 五月婷婷无码| 人人97碰| 伊人五月天在线| 五月天激情综合网| 大香蕉操操| 久久这里只有精品网| 丁香色成人| 清纯唯美 激情四射| 99久久综合网| 婷婷五月天天天| 99超级碰免费视频| 精品综合爱| 综合99视频| 婷婷五月天论坛| 激情五月综合婷婷| 五月综合激情| 天天做夜夜爽| 婷婷啪啪| 九热视频| 视频一二区| 久婷狼色诱惑在线| 色综合久久伊伊婷婷五月| 五月久久婷婷| 丁香五月婷婷天堂大香蕉| 五月天成人在线精品| 六月丁香网| 色综合99无码 | 亚洲综合99| 一级韩国产精品毛| 五月色丁香国产在线视频| 91狠狠色| 黄色热99| 天天色天天干天天插| 色五月激情综合网| 91九色成人原创视频| 久久99热 这里有精品| 精品人妻一区二区三区四区不卡在| 天天看夜夜看| 婷婷五月色情天| 久久伦乱| WWW.五月com| 综合色五月| 亚洲视频一区| 香蕉久久av一区二区三区| 亚洲人妻av伦理| 日本色色网站| 91丨九色丨熟女| 香蕉视频性爱BB做爱| 丁香五月婷婷基地| 九九热这里只有精品在线观看| 午夜丁香婷婷| 蜜臀99久久精品久久久久| 中国女人做爰A片| 大香蕉婷婷| 久久3级片| 超爽内射| 久久激情五月| 婷婷五月天伊人网在线观看视频| 六月久久婷婷| 国产精自产拍久久久久久蜜| 超碰91在线| 日韩人妻在线观看| 激情婷婷五月亚洲| 97在线/亚洲| 婷婷五月天中文字幕| 久9热插入| 大香蕉99热| 人人操A| 99精品在线观看视频| 五月婷婷六月天| 超碰在线caop| 久久精品一区二区三区四区| 五月丁香婷婷激情久久| .青娱乐天天操B| 26uuu亚洲欧美| 亚洲欧美在线观看| 久8色色| 91在线视频观看午夜福利| 亚洲五月天伊人| 亚洲精品又粗又大又爽A片| WWW99热| 久操婷婷| 91人人操.COM| 日本色色色| 精品婷婷五| 国产欧美熟妇另类久久久 | 99热热热99精品婷婷| 99久久精品视频女神1| 激情综合丁香| 久久久久久久人妻| 综合久久9| 亚洲九区| 天天拍久久| 91人人人人人人人| 久久99久久99精品免观看粉嫩| 欧美99视频| 九九干视频| 极品另类| 久久久久久人妻| 5月婷婷六月丁香| WWW、日本色丁香、co m| 久久色五月| eeuus五月婷| 99这里有精品| 婷婷成人在线| 久久精99| 亚洲色99| 大地资源色婷婷视频在线| 日韩三及成人AV片| 人人九色| 天天骑日日爽| 老妇六区| 久草五月婷婷| 思思久久思思| 99精品高潮| 日韩成人综合网| 狠色狠色综合久久| 玖玖婷婷色| 一起草Av| 99热久草| 超碰狠狠操| 亚洲精品又粗又大又爽A片 | 色五月丁香伊人| 99色网站| 综合色图婷婷| 久久婷婷色| 亚洲精品色色色| 五月叮香啪| 色九网| 日韩综合大黄| 日本片日本片祼观看网站在线看中文版网页在线看 | 欧美久久九九| 激情四射网| 亚洲99激情| 婷婷丁香六月天激情四射网| 超碰AV在线| 人妻中文在线| 亚洲无码性爱| www.99视频| 91丨熟女丨首页| 婷婷丁香色五月天| 丁香 亚洲 久久| 精品国产va久久久久| 成人草榴视频| 日本系列_4页_777FP| 精品久色| 9一精品视频观看| 丁香六月婷婷综合| 色综合色色色| 婷婷丁香社区网| 婷婷五月综合丁香久久| 日本天天操| 人妻AV在线观看| 婷婷丁香五月亚洲免费| 99热这里只有精品手机在线观看| 欧美三级黄色片久久| 清纯唯美 激情四射| 激情五月丁香六月综合AVXXXX| 91久久五月天| 久久五月天婷婷视频| 久久图色4| 人人爽网| 天天爱天天操| 亚洲精品视频在线播放| 婷婷人人操| 婷婷五月天激情五月天深爱五月天| 噜噜色五月| 日韩高清久久| 99热99日天天干| 99久久综合网| 人人干人人看| 狠色色狠网| 五月激情偷拍婷婷| 激情综合五月| 大香蕉久艹| 一本狠婷婷综合| 国产黄色在线| 午夜少妇在线观看视频| 人人操AV| 99亚洲视频| 9l视频自拍9l九色9l成人| 婷婷五月天播播| 丁香九月综合| #NAME?| 丁香六月婷婷综合| 五月婷啪啪| 嫩草乱码一区三区四区| 操日本人妻视频| 伍月婷丁香婷| 91丨九色丨东北熟女| 久久久久久久久久久97| 思思99热| 亚洲操B| 中文字幕在线免费观看视频| 亚洲激情在线| 色婷婷狠狠18禁| 丁香社区婷婷五月| 另类图片婷婷五月天| 天天婷婷综合| xxxx五月激情| 深爱激情网噜噜色| hd五月婷婷在线| 国产热精品| 婷婷五月天日本国产| 6月丁香婷婷激情| 九九热这里只有精品9| 色色婷婷综合网| 婷婷亚洲久久| 九九热9| 9l视频自拍9l九色成人| 国产午夜成人AV在线播放| www亚洲无码| 另类小说五月天| 丁香五月之久操视频| 色噜噜狠狠色综合AV兰草影视| 99热青青草| 久久综合无| 999热在线视频| 亚洲精品亚洲人成人网| 久热这里只有精品6官网亚洲| 婷婷五月天最新综合你懂的| site:jszngf.com| 五月丁香WWW| 婷婷五月天第四色| 久久激情五月天| 丁香桃色网| 久久综合影院| 丁香五月电影| 婷婷成人基地| av在线免费播放观看| 97性高潮久久久| 全高清无码视頻| 性日本激情| va婷婷在线| 99热这里只有精品无码| 欧美狠狠色| www.久久久久| BBWCUCKOLD精品熟妇| 欧美婷婷丁香社区在线播放| 免费成片在线观看| 激情小说五月丁香在线视频观看视频| 亚洲精品五十一区| 亚洲av日韩无码| 26UUU欧美| AV网在线| 久久作爱| 99性爱精品| www.激情| 久热无码| 国产AV影片| www.com色播五月天| 成人免费在线电影| 国产精品美女| 狠狠艹狠狠艹| 99热只有这里才是精品| 色婷婷色五月色丁香| 激情五月婷婷网| 超碰免费在线| 五月丁香婷婷综合| 91人人爽人人操| 欧美在线操| 亚洲 在线 性爱| 婷婷激情六月视频| 亚洲精品视频在线播放| 成人无码免费一区二区中文| 任你操精品免费| www.爱操com.| 天堂在线9| 久色视频| 亚州婷婷五月激情综合| 久久机热这里只有精品免费视频 | 91九色中文字幕女在线观看| 99热8| 蜜桃婷婷丁香综合久久开心亚洲| 婷婷久久午夜网| 色五月琪琪| 99精品视频推荐| 99视频这里只有久久精品| 五月丁香婷婷激情| 超碰激情网| 级人人91| 天堂AV三级| 婷五月天| 成人做爰A片免费看网站找不到了 国产露脸150部国语对白 | 第四色色色色色丁香五月天| 激情久久肏屄视频| 丁香五月久久综合| 日本三级大片| 色站9/| 婷婷五月激情基地| 97精品欧美91久久久久久久| 99色在线观看视频者| 97色色-99久久| 五月天.com| 成人国产欧美大片一区| 好看的国产精品| 成人五月天视频播放| 色婷婷伊人| 超碰成人黄色网| 丁香五月婷婷深爱综合激情| 激情图片久久| 99操不停| 天堂爱爱| 人人爱摸视频| 日本玖玖在线| 久久免费精品小视频| 五月天婷婷社区| 婷婷五月丁香基| 亚洲第一色色色| 99日本黄站| 99碰在线视频| 六月久久狠狠| 亚洲深喉AV| 婷婷五月天激情文学小说| 欧美天堂久久| www.一起草av| 婷婷五月天美女视频| 第九色区av天堂| 丁香五月天啪啪| 婷婷九月综合| 国产精品国产| 思思久久精品| 殴美97色| 五月婷婷丁香在线视频| 亚洲乱码日产精品BD| 色色无码日韩| 婷婷五月天色| 91超碰在线观看| 久久婷婷五月天激情四射| 人人干人人操外国| www.91有码.com| 国产精品18久久久| 开心丁五月| 亚洲国产精品VA在线看黑人| 99热综合| 超碰日日操| 五月天另类小说久久小说网| 天天草天天日| 五月婷婷 婷婷五月 一区二区 久久久| 99热这里只有精品10| 色五月激情网| 亚洲色图81p| 色爱亚洲| 无码A片一区二区免费| 五月开心啪啪| 91人人爱| 亚洲日日操| 国产超碰av| 五月丁香六月情| 91色色色视频| 天天色域综合网| 婷婷欠久少妇| 99色6爱9热| 丁香色色网| 狠狠色婷婷在线| 天天爽天天操| 第四色激情网| 精品丁香五月天在线播放| 久七香蕉| 久久精品视频99| 国产精品久久..4399| 91超碰九色| 97超碰在线免费观看| 26uuu丁香婷婷五月| 好看的国产精品| 六月丁香激情网| 99热久只有| www.色五月| 婷婷五月丁香久久| 婷婷色色色| 日日夜夜爽| 99热个人在线| 五月激情五月婷婷五月天在线| 国产欧美性成人精品午夜| 五月色丁香激情| 九月激情婷婷丁香| 婷婷色色网| 超碰在线91| 思思热久久久久思思热| 狠狠操狠狠色| jiZZdr| 5月丁香美女影院| 免费观看的婷婷五月视频在线| 久色激情| 激情五月婷婷五月| 99久久精品网| 久久综合播放| 97色色色| 婷婷激情五月综合丁香社| 91九色在线观看免费| 96精品久久久久久久久| 九月丁香婷婷综合激情| 中字幕视频在线永久在线观看免费| 五月综合缴情网| 日本精品干| 婷婷色婷婷| 久久九九蜜| 国产精品色婷婷99久久精品| 九九色影视| 夜夜天天久久婷婷| 久久婷婷综合拍| 开心激情五月天网| 色情五月天A片| 肏屄色播伊人97婷婷| 亚洲精品国产成人AV在线| 色综合五月| 丁香五月 综合| 91n啪啪| 大香蕉伊人99| www久久99com| 91成人看| jiZZdr| 99性爱视频网站| 99超级碰碰| 精品久热| 五月天婷婷丁香| 天天插综合在线| 久久99免费视屏| 99热首页| 噜噜网免费视频| 九九熱最新視頻| www狠狠爱com| 天天操屄网| 99九九在线观看免费| 99热个人在线| 五月丁香啪啪网| 久久久久久五月天| 噜噜噜狠狠色综| 丁香六月成人| 亚洲色五月婷婷| 天天综合中文| 色亭亭五月天网扯| 久热91精品| 亚洲丁香花五月丁香花| 这里只有精品免费| 亚洲综合99| 99热精国产这里只有精品| 99热精品观看| 中文在线视频久9| 国产熟妇的荡欲午夜视频| 五月丁香婷草| 婷婷视频在线| 五月天婷婷色五月天| 天天干夜夜谢| 色在线免费观看| 五月香婷婷| 丁香五月天婷婷久久| 伊人色综合久久久| 国外亚洲成AV人片在线观看| 国产综合A片| 五月天色狠狠| 婷婷六月激情综合| 久草久青福利| 日日噜噜夜夜狠狠久久丁香六月| 青吴乐视频| 久久婷丁香五月| 开心五月婷婷在线视频免费观看| 任你日视频| 影院久久久| 思思热99er在线视频| 伊人婷婷五月天| 色色网站日本91| 男人天堂亚洲综合| 9久久久久久久久久久| 99久久喉9| 免費亭亭成人| 操一区| 中文字幕精品在线观看| 综合色色婷婷| www.com操| 婷婷五月综合社区| 色色色香蕉五月婷| 天啪色| 91美女被操| 亚洲丁香五月在线观看| 久久九九综合| 五月婷丁香花| 天天干天天做| 99惹 精品在线| 五月成人天| www.五月天婷婷姐姐| 五月激情综合网| 天天干,天天操,天天射| 色色色五月| 丁香婷婷婷| 99热综合在线观看| 婷婷金品综合视频| 久久9视频| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 色婷婷九月| 久久在这里有精品| 天天草人人摸| 天天玩夜夜操天天爽| 五月婷婷丁香啪啪| 丁香婷婷久久| 久/久精品99看9| 日本超碰在线| 在线色色| 99热久| 翔田千里 50岁 无码| 国产精品视频| 五月色丁香| 99在线观看| 久久久这里都是精品| 99热只有精品在线播放| 日本超碰在线| 蜜臀AV在线成人| 五月激情丁香五月| 99精品无码视频| ss五月天激情| 婷婷涩涩网| 色色色色色色色色色999| 狠狠色丁香婷婷综合久久97AV| 91视屏在线观看com.wwwvv| 色婷婷丁香五月丁香| 亚洲国产成人裸舞| 亚洲天天综合| 激情综合网激情五月天| 婷婷六月综合基地| 黄色三级日本| 婷婷五月天亚洲| 亚洲综合1024| 开心婷婷五月| 免费视频WWW在线观看网站| 字幕网AV中文字幕| 超级碰 久久9| 亚洲婷婷五月| 久久99草五月婷婷| 操九色| 欧美人久久| 人妻久久久| 深爱激情69热| 色色色97| 婷婷的五月天另类视频| 色婷婷在线视频| 五月情四婷婷| 99re热视频这里只精品| 久久激情天堂| 久久激情五月婷婷| www.五月天婷婷| 精品久久99码| 图片区 小说区 区 亚洲五月 | 丁香五月综合狠狠| 五月丁香婷婷色播无码| 国产精品成人AV在线| 九月丁香婷婷综合激情| 婷婷开心综合人妻小说网址| 可以看的AV| www久久99| 欧美经典片免费观看大全| 1024AV视频| 色色五月婷婷久久| 天天综合色丁香| 五月婷婷这里都是精品| 五月天激情无码| 欧美25p| 一起草av| 欧美日韩二区在线| 丁香五月婷婷Av| 婷婷色五月噜噜| 性日本精品| 97碰在线视频| 天久综合91综合首页| 九九综合网色全集 | 久久网日本| tingting五月天亚洲| 久99热| 五月丁香亭亭| 丁香五月激情啪啪| 九九精品大香蕉| 9色操| 婷婷丁香人妻天久久| 丁香色五月婷婷91桃色| 99自拍视频网站| 日本视频不卡123区| 另类视屏| 激情黄色五月天| 国产婷婷综合| 亚洲字幕AV一区二区三区四区| 婷婷色色欧美| 深爱激情四射| 99国产这里只有精品| 日韩AV大全| 99ER热精品视频| 另类视屏| 婷五月丁香| 丁香五月婷久久| 97婷婷色| 极品另类| 丁香五月激情六月综合| 亚洲五月天激情| 六月激情综合| 丁香六月婷婷开心婷婷网| 热无码A∨| 久操97| 亚洲偷| 亚洲综合在线视频| 99视频久久| 亚洲精品V天堂中文字幕| 成人性生活免费观看。| 婷婷五月天免费小说| 久久a热| 777影视理论片大全在线观看| 婷婷久久18| 九月激情综合| 婷婷五月骚厕所| 99ri视频| 丁香五月首页| 五月婷婷五月天激情网| 久久丁香五月天| 色香久久| 久久精品亚洲热| 激情婷婷| 香蕉网久久| 99er视频在线| 久久99最新| 亚洲六月色婷婷| 亚州欧美黄色电影| 99视频自拍| 精品久久久999| 天天色综合色| 亚洲中文字幕网| 久久综合综合综合| 亚洲第一综合| 99热99精品| 婷婷五月激情天| 秋霞午夜理论| 大香蕉婷婷丁香视频在线| 色婷婷影视99| 色狠狠色噜噜AV天堂五区| 激情综合婷婷| 色五月婷婷在线| 天干天天干天天天天天| 中文激情网| 色情婷| 婷婷五月娱乐在线| 激情人妻蜜夜系列区| 国产激情综合五月久久| 4399成人黄A片| 久久久27操| 婷婷五月丁香综合激情| 久久这里99| 五月综合视频在线| www久久99| 91.www综合| 欧美成人AAA片一区国产精品 | 天天爽夜爽| 青草青青草| 五月丁香婷婷俺| 五月丁香婷婷在线综合蜜桃| 久9视频| 六月丁香婷婷综合影院| 九九99热精品| 99综合一区| 日韩色五月| 天天操天天爱天天日| 日本三级黄色大片| 色婷婷激情视频| 天堂美国久久| 99色视频| 少妇综合网| 色999五月色| 日日干夜夜干| 成人国产欧美大片一区| 乱精品一区字幕二区| 蜜桃成语时李时珍 免费| 最近韩国日本免费高清观看| 天天拍天天操| 国精产品一区一区三区免费视频| 国产一区二区三区影院| 人人摸人人干| 五月天久久色| 中文婷婷狠狠| www:99热视频| 丝袜激情网| 那里有AV网址| 伊人五月天久久| 午夜丁香六月婷| 91操屁股| 久婷婷婷| 色五月婷婷丁香国产在线| 五月天成人在线精品| 日日做天天操夜夜爽| 亚洲五月色| 色五月婷婷操逼| 欧美黄色AA片哗啦啦啦| 九九热在线视频| 丁香五月影院| 色色亚洲99com| 69人妻人人澡人人爽久久| 性欧美日本| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 丁香六月婷婷| 婷婷色色综合| 在线观看免费狠狠色丁香香综合| 亚洲五月婷婷| 五月婷婷六月爱| 婷婷五月天啪啪| 在线网黄| 亚洲爆乳无码精品AAA片蜜桃| 天天综合网~91| 99精品视频偷拍| 激情五月深爱五月观看| 色综合久久88色综合中文字幕| 五月开心激情| 99久在线精品| 99网| 五月丁香婷婷婷激情爱爱| 国产婷婷综合| 包操45分钟网站| 99热免费看| 五月丁香六月成人| 97操碰人免费| 日本啪啪天堂| 婷婷五月婷婷五月天| 婷婷五月色情| 人妻体体内射精一区二区| 欧美婷婷九月| Av性爱网站| 可以直接看的av| 久久久人妻| 狠狠操天天干| 99啪在线视频| 亚洲综合五月天综合| 91ncm视频| 色啦啦视频| 婷婷精品视频| 婷婷六月激情丁香| 五月综合激情久久| 99热这里有精品| 久久久婷婷五月亚洲97号色| 人人色人人摸人人看| 婷婷五月天免费视频| 超碰av在线| 婷婷五月丁香综合瑟瑟| 欧美激情五月天婷婷| 久色激情| 五月成人丁香av91| 99久久99久久综合| 婷婷五月天成人影片| 婷婷五月天色| 丁香五月综合网| www.日本久久videos| 激情綜合W W W,激情五月天| 久久综合九九| 中文AV在线播放| 天天天久久人人人合| 99热这里只有精品3| 91久久免费| 狠狠五月激情婷婷直播片| 丁香五月偷拍| 中文超碰视在线| 成人必爱视| 九色91国产| 777久久久| 丁香激情六月天婷婷| 婷婷久久大香蕉| 国产.亚洲.欧洲视频在线| 色色网五月激情| 538在线精品| 色婷婷久久综合| WWW.婷婷| 玖玖九九超碰| 色婷婷在线视频久| 色婷婷9| 亚洲第一影院高清无码网站| 激情五月丁香激情综合网| 九九碰九九爱97| 97AV人人插人人操| 丁香六月婷婷久久综合八月| 亚洲丁香五月在线观看| 26uuu另类亚洲欧美日本一| 丁香五月亚洲| 久9热| 任我鲁这里有精品视频| 丁香五月香蕉在线| 欧美影院| 五月色丁香|