欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

SVDD與OCSVM深度對(duì)比:?jiǎn)晤惙诸愃惴ㄔ怼⒉町惻c選型實(shí)踐

SVDD與OCSVM深度對(duì)比:?jiǎn)晤惙诸愃惴ㄔ?、差異與選型實(shí)踐 做異常檢測(cè)這幾年SVDD和OCSVM這兩個(gè)名字幾乎每次都一起出現(xiàn)。很多人問(wèn)過(guò)我這兩個(gè)到底什么區(qū)別選哪個(gè)好為什么我換了數(shù)據(jù)集之后結(jié)果“風(fēng)水輪流轉(zhuǎn)”說(shuō)實(shí)話這兩個(gè)算法確實(shí)長(zhǎng)得像親兄弟都出身SVM家族都能做單類分類One-Class Classification甚至在高斯核下數(shù)學(xué)形式只有一線之隔。但這“一線之隔”恰恰決定了它們?cè)谡鎸?shí)數(shù)據(jù)上的表現(xiàn)差異。這篇文章我就把這兩個(gè)方法的原理、差異、實(shí)操細(xì)節(jié)和踩坑經(jīng)驗(yàn)一次性講清楚希望能幫你少走彎路。OCSVMOne-Class Support Vector Machine單類支持向量機(jī)和SVDDSupport Vector Data Description支持向量數(shù)據(jù)描述都是解決“只有正常樣本沒(méi)有異常樣本”這類問(wèn)題的經(jīng)典方法。它們不需要你提供反例只需要從一堆正常數(shù)據(jù)里學(xué)出一個(gè)邊界邊界之外的東西就被判定為異常。這種范式在工業(yè)質(zhì)檢、故障診斷、金融反欺詐、醫(yī)療異常篩查里非常實(shí)用。我最早接觸這對(duì)算法是在一個(gè)軸承故障檢測(cè)項(xiàng)目里當(dāng)時(shí)手里只有正常狀態(tài)下的振動(dòng)數(shù)據(jù)故障數(shù)據(jù)少得可憐傳統(tǒng)分類器完全沒(méi)法訓(xùn)練。后來(lái)?yè)Q成單類分類的思路問(wèn)題才豁然開(kāi)朗。這篇文章適合正在做異常檢測(cè)、新穎性檢測(cè)、工業(yè)健康管理或者想做數(shù)據(jù)分布邊界建模的同學(xué)。我會(huì)從問(wèn)題定義講起逐步深入到原理推導(dǎo)再落到代碼實(shí)操和調(diào)參經(jīng)驗(yàn)。不管你是剛接觸單類分類的新手還是已經(jīng)在用OCSVM但想搞清楚SVDD差異的老手這篇都能給你一些實(shí)實(shí)在在的參考。1. 問(wèn)題定義與應(yīng)用場(chǎng)景1.1 單類分類到底在解決什么問(wèn)題先說(shuō)一個(gè)反直覺(jué)的事情很多異常檢測(cè)任務(wù)其實(shí)沒(méi)有“異常樣本”可以訓(xùn)練。“異?!边@個(gè)概念在數(shù)據(jù)采集階段往往太模糊、太罕見(jiàn)、太昂貴。比如生產(chǎn)線上某臺(tái)設(shè)備還沒(méi)壞你怎么采到“壞了”的數(shù)據(jù)就算采到了故障模式可能有一百種根本采不全。這種場(chǎng)景下監(jiān)督學(xué)習(xí)沒(méi)法做半監(jiān)督也缺一半材料只能做單類分類。單類分類的設(shè)定很純粹訓(xùn)練階段只給你一類樣本通常是正常樣本你要學(xué)出一個(gè)“正常范圍”的邊界。推理階段落在邊界內(nèi)的判為正常落在邊界外的判為異常。用一句更通俗的話講它不是在學(xué)“什么是異常”而是在學(xué)“什么是正?!狈彩歉iL(zhǎng)得不一樣的都算異常。這套思路跟密度估計(jì)有相似之處但也有本質(zhì)區(qū)別。密度估計(jì)比如高斯混合模型是把概率密度建模出來(lái)然后設(shè)一個(gè)密度閾值。密度估計(jì)的問(wèn)題是數(shù)據(jù)一旦高維密度估計(jì)極難做準(zhǔn)而且“低密度區(qū)域”和“異常區(qū)域”并不總是相等。SVDD和OCSVM走的是另一條路不做概率建模直接在特征空間里找一個(gè)幾何邊界讓邊界盡量貼合正常數(shù)據(jù)的分布范圍。1.2 真實(shí)場(chǎng)景里的典型應(yīng)用我接觸到這幾個(gè)方法的場(chǎng)景基本都是“數(shù)據(jù)只有一正類”的業(yè)務(wù)工業(yè)設(shè)備健康管理傳感器持續(xù)采集振動(dòng)、溫度、電流信號(hào)絕大多數(shù)時(shí)間設(shè)備是正常的故障數(shù)據(jù)極其稀少。用單類分類模型對(duì)正常運(yùn)行狀態(tài)建模實(shí)時(shí)打分分?jǐn)?shù)突變就報(bào)警。金融反欺詐正常交易數(shù)據(jù)海量欺詐交易比例極低且攻擊手法不斷變化。用單類分類對(duì)正常用戶行為畫(huà)像偏離畫(huà)像的交易會(huì)被標(biāo)記出來(lái)人工復(fù)核。醫(yī)療異常篩查體檢指標(biāo)中健康人群的數(shù)據(jù)容易獲取而某種罕見(jiàn)病的病例可能只有幾十條。先對(duì)健康樣本建模偏離模型的個(gè)體進(jìn)一步做檢查。圖像缺陷檢測(cè)良品圖片很多缺陷圖片各種各樣且新缺陷不斷出現(xiàn)。用單類分類學(xué)“良品的樣子”像素級(jí)或特征級(jí)偏離都算缺陷。在這些場(chǎng)景里SVDD和OCSVM都曾被大量使用。它們不依賴負(fù)樣本、對(duì)高維數(shù)據(jù)有一定容忍度、決策邊界靈活這些都是它們能火這么多年的原因。2. 算法原理深挖2.1 從SVM的間隔最大化說(shuō)起要說(shuō)清楚這兩個(gè)算法得先回到SVMSupport Vector Machine支持向量機(jī)的思想源頭。普通二分類SVM在做的事情是在高維特征空間里找到一個(gè)超平面把兩類數(shù)據(jù)分開(kāi)同時(shí)讓這個(gè)超平面離兩邊最近樣本的距離之和即間隔最大化。間隔越大泛化越好這是統(tǒng)計(jì)學(xué)習(xí)理論里的核心結(jié)論。但單類分類的問(wèn)題里沒(méi)有兩類數(shù)據(jù)只有一個(gè)類怎么套用“間隔最大化”的思路這就派生出了兩種不同的處理策略策略一把坐標(biāo)原點(diǎn)當(dāng)成“虛擬的另一個(gè)類”學(xué)一個(gè)超平面把原點(diǎn)和正常數(shù)據(jù)分開(kāi)同時(shí)最大化超平面到原點(diǎn)的距離。這就是OCSVM的出發(fā)點(diǎn)。策略二不再找超平面而是找一個(gè)能夠把正常數(shù)據(jù)全部包住的最小超球體讓球邊界盡量貼合數(shù)據(jù)。球心到邊界的半徑就相當(dāng)于SVM里的間隔。這就是SVDD的出發(fā)點(diǎn)。兩種策略都把“正常數(shù)據(jù)”和“某個(gè)人造參照物”做了一次二分類從而巧妙地借用SVM的機(jī)制。你可以這樣理解OCSVM是“以原點(diǎn)為假想敵”SVDD是“以球心為基準(zhǔn)點(diǎn)”。一個(gè)畫(huà)線一個(gè)畫(huà)圈。2.2 OCSVM的目標(biāo)函數(shù)OCSVM由Sch?lkopf等人于2001年提出。設(shè)正常樣本為 x1, x2, ..., xn通過(guò)核函數(shù) φ(x) 把它們映射到高維特征空間。OCSVM想找一個(gè)超平面 w·φ(x) - ρ 0使得大部分正常樣本滿足 w·φ(x) ≥ ρ也就是落在超平面的“正側(cè)”同時(shí)讓原點(diǎn)到超平面的距離 ρ/||w|| 最大。因?yàn)樵c(diǎn)本身就在原點(diǎn)這一側(cè)優(yōu)化目標(biāo)等價(jià)于 min ?||w||2 (1/(νn))∑ξ? - ρ約束條件 w·φ(x?) ≥ ρ - ξ?ξ? ≥ 0對(duì)所有 i這里的 ξ? 是松弛變量允許部分正常樣本越過(guò)邊界增強(qiáng)模型對(duì)噪聲的魯棒性。參數(shù) ν 的作用非常關(guān)鍵它同時(shí)控制了兩件事訓(xùn)練樣本中被判定為異常即落在邊界另一側(cè)的樣本比例的上界訓(xùn)練樣本中成為支持向量的樣本比例的下界ν 的取值范圍是 (0, 1]取值越大邊界越緊越多的正常點(diǎn)會(huì)被當(dāng)成異常模型對(duì)正常數(shù)據(jù)的覆蓋越少但對(duì)異常越敏感。實(shí)際項(xiàng)目中 ν 通常在 0.01 到 0.1 之間調(diào)。2.3 SVDD的目標(biāo)函數(shù)SVDD由Tax和Duin于2004年正式提出。它的思路是找一個(gè)最小半徑的超球體讓所有正常樣本都盡量落在球內(nèi)。設(shè)球心為 a半徑為 R優(yōu)化目標(biāo)為 min R2 C ∑ξ?約束條件 ||φ(x?) - a||2 ≤ R2 ξ?ξ? ≥ 0對(duì)所有 i這里 C 是懲罰系數(shù)控制松弛變量的權(quán)重。C 越大模型越不允許樣本落在球外邊界越緊C 越小模型越寬容。直觀理解C 就像彈簧允許少量樣本越過(guò)球面換取更緊湊的球體邊界。用拉格朗日對(duì)偶求解后SVDD的對(duì)偶問(wèn)題可以寫(xiě)成只包含內(nèi)積的形式。很多教材里總結(jié)過(guò)如果核函數(shù)選擇高斯徑向基核SVDD的對(duì)偶解里球心a可以表示為支持向量的線性組合決策函數(shù)只需要計(jì)算新樣本到球心的距離是否小于半徑R。2.4 兩者的對(duì)偶形式對(duì)比比較對(duì)偶問(wèn)題是最能看清兩者親緣關(guān)系的地方。當(dāng)采用核函數(shù) k(x, y) 時(shí)OCSVM 的對(duì)偶問(wèn)題中目標(biāo)函數(shù)里有關(guān)于數(shù)據(jù)的一項(xiàng)是一次項(xiàng)∑α? k(x?, x?)并且約束是 ∑α? 10 ≤ α? ≤ 1/(νn)。SVDD 的對(duì)偶問(wèn)題中同樣有 ∑α? k(x?, x?)但還多了一個(gè)二次項(xiàng)∑∑α?α? k(x?, x?)約束同樣是 ∑α? 10 ≤ α? ≤ C。問(wèn)題就出在這個(gè)二次項(xiàng)上。OCSVM對(duì)每個(gè)樣本只單獨(dú)看它自己跟自己的內(nèi)積而SVDD要考慮樣本兩兩之間的內(nèi)積。這個(gè)差異看似細(xì)微實(shí)際效果卻有很大區(qū)別。當(dāng)使用高斯核 k(x,x) 恒等于 1 時(shí)OCSVM里那個(gè)一次項(xiàng) ∑α?·1 就變成了常數(shù)對(duì)優(yōu)化沒(méi)有實(shí)質(zhì)影響而SVDD里的二次項(xiàng)仍然存在它刻畫(huà)的是樣本兩兩之間的相似性結(jié)構(gòu)。換句話說(shuō)在高斯核下OCSVM實(shí)際上只需要維護(hù)每個(gè)樣本跟其他樣本的關(guān)系來(lái)決定誰(shuí)做支持向量而SVDD則更直接地利用樣本間的距離信息。這個(gè)數(shù)學(xué)差異直接導(dǎo)致了兩個(gè)算法在邊界形狀、參數(shù)敏感度和高維表現(xiàn)上的不同。這也是為什么很多人在自己的數(shù)據(jù)上對(duì)比后發(fā)現(xiàn)兩個(gè)算法結(jié)果經(jīng)常不一致的根本原因。3. 核心差異對(duì)比3.1 幾何直觀一個(gè)找球一個(gè)找平面SVDD是找一個(gè)包圍數(shù)據(jù)的超球體決策邊界是一個(gè)閉合的球面。這個(gè)球面會(huì)對(duì)所有方向一視同仁因?yàn)榍蝮w本身是各向同性的。如果正常數(shù)據(jù)在不同方向上的分布寬度相差很大SVDD的球體邊界就會(huì)在窄方向上多出一些“空余”在寬方向上又顯得太緊繃。OCSVM是找一個(gè)超平面理論上這個(gè)超平面是開(kāi)放的但因?yàn)橛?jì)算時(shí)加入了核映射實(shí)際決策邊界在原始空間里也可以形成閉合曲線或復(fù)雜曲面。不過(guò)OCSVM有一個(gè)內(nèi)在偏向分離超平面經(jīng)過(guò)了原點(diǎn)方向。當(dāng)數(shù)據(jù)的均值不在原點(diǎn)附近時(shí)OCSVM會(huì)傾向于把數(shù)據(jù)分布的“朝向”考慮進(jìn)去所以它對(duì)某些非對(duì)稱分布的數(shù)據(jù)反而更友好。打個(gè)比方。SVDD像一個(gè)圓規(guī)畫(huà)出一個(gè)盡可能小的圓把點(diǎn)圍住圓一定是圓的。OCSVM像一個(gè)裁紙刀把紙一刀切開(kāi)這一刀的角度和位置會(huì)被優(yōu)化切完之后朝有數(shù)據(jù)的一側(cè)就是正常區(qū)域。如果你的數(shù)據(jù)是一團(tuán)云圓規(guī)畫(huà)圈很合適如果你的數(shù)據(jù)是一條帶方向的長(zhǎng)條云裁紙刀一刀切可能更貼合。3.2 參數(shù)體系C和ν的語(yǔ)義差異這是實(shí)際調(diào)參時(shí)最容易困惑的地方。SVDD的懲罰參數(shù) C 和 OCSVM 的 ν 看起來(lái)都能控制邊界松緊但語(yǔ)義不完全一樣。SVDD的 C 是用在約束項(xiàng) R2 C∑ξ? 里。它不是直接告訴你“多大比例的點(diǎn)會(huì)落在外邊”而是通過(guò)懲罰力度間接控制。要讓多少點(diǎn)落在外邊得先解優(yōu)化問(wèn)題才知道。C 越大邊界越緊可能導(dǎo)致過(guò)擬合把噪聲也學(xué)進(jìn)“正常范圍”的邊緣C 越小邊界越松可能把真正的異常也包進(jìn)“正常范圍”。OCSVM的 ν 有一個(gè)非常優(yōu)雅的性質(zhì)它直接給出訓(xùn)練集中異常點(diǎn)比例的上界和支持向量比例的下界。也就是說(shuō)你設(shè)定 ν 0.05算法就會(huì)自動(dòng)調(diào)整邊界讓至多5%的訓(xùn)練樣本落在邊界的另一側(cè)。這個(gè)可解釋性在工程里非常有用因?yàn)闃I(yè)務(wù)方往往能給出“我大概能接受多少比例的誤報(bào)”這種需求。實(shí)際項(xiàng)目中我會(huì)先問(wèn)自己我是要控制錯(cuò)誤的預(yù)算還是只想要一個(gè)穩(wěn)健的邊界要控制錯(cuò)誤預(yù)算優(yōu)先用OCSVM的ν想要一個(gè)邊界盡可能緊湊、可解釋的幾何包絡(luò)就考慮SVDD。當(dāng)然這只是初始傾向最終要看驗(yàn)證集上的表現(xiàn)。3.3 高斯核下的關(guān)系很多人聽(tīng)說(shuō)過(guò)一個(gè)說(shuō)法“高斯核下SVDD和OCSVM是等價(jià)的”。這個(gè)說(shuō)法并不完全準(zhǔn)確。準(zhǔn)確的說(shuō)法是當(dāng)數(shù)據(jù)在特征空間中的均值被歸一化到原點(diǎn)附近或者核函數(shù)滿足特定條件時(shí)兩者的決策函數(shù)會(huì)趨同。但真實(shí)數(shù)據(jù)很難保證這個(gè)條件所以實(shí)際結(jié)果往往有差異。具體來(lái)說(shuō)高斯核 k(x,y) exp(-γ||x-y||2)有 k(x,x) 1所以SVDD對(duì)偶問(wèn)題中的一次項(xiàng)變成了常數(shù)對(duì)優(yōu)化方向影響減弱OCSVM同樣如此。兩者差別就主要集中在SVDD多出來(lái)的那個(gè)二次項(xiàng)上。這個(gè)二次項(xiàng)使得SVDD對(duì)數(shù)據(jù)點(diǎn)之間的相對(duì)距離更加敏感。換句話說(shuō)SVDD更像是在“學(xué)習(xí)數(shù)據(jù)的形狀”而OCSVM更側(cè)重于“找數(shù)據(jù)的支撐方向”。一個(gè)經(jīng)驗(yàn)結(jié)論當(dāng)數(shù)據(jù)分布比較球形、且沒(méi)有明顯的偏好方向時(shí)SVDD和OCSVM表現(xiàn)接近SVDD的球狀假設(shè)也不會(huì)造成太大偏差當(dāng)數(shù)據(jù)分布存在明顯的橢球形狀或方向性時(shí)OCSVM往往能利用超平面的方向適應(yīng)性獲得更好的邊界而SVDD的球狀邊界會(huì)顯得力不從心。3.4 計(jì)算復(fù)雜度與可擴(kuò)展性兩者都涉及核矩陣的計(jì)算訓(xùn)練階段復(fù)雜度都是 O(n2) 到 O(n3) 級(jí)別n是訓(xùn)練樣本數(shù)。樣本數(shù)量到幾萬(wàn)級(jí)別時(shí)直接訓(xùn)練會(huì)非常吃力。在線推斷階段兩者都需要計(jì)算新樣本與支持向量的核函數(shù)值復(fù)雜度與支持向量數(shù)量成正比。SVDD的球心表示通常更緊湊一些因?yàn)樗阉兄С窒蛄康木€性組合聚成一個(gè)球心向量OCSVM的超平面雖然也由支持向量線性表示但它沒(méi)有一個(gè)像“球心”這樣直觀的幾何量。所以SVDD在存儲(chǔ)和推理效率上偶爾有一點(diǎn)優(yōu)勢(shì)但差距不大SVM家族方法都不太擅長(zhǎng)處理超大規(guī)模數(shù)據(jù)。數(shù)據(jù)量太大時(shí)一般會(huì)考慮采樣、Mini-batch優(yōu)化或者換用基于深度的異常檢測(cè)方法。4. 實(shí)戰(zhàn)工具、代碼與參數(shù)調(diào)優(yōu)4.1 工具體選型Python生態(tài)里OCSVM直接可以用sklearn的sklearn.svm.OneClassSVM非常方便。SVDD則沒(méi)有集成到sklearn主庫(kù)中通常用第三方實(shí)現(xiàn)比如pyod庫(kù)里有OCSVM模型但沒(méi)有內(nèi)置SVDD。如果需要使用SVDD常見(jiàn)的選擇是自己按對(duì)偶問(wèn)題實(shí)現(xiàn)如果你熟悉凸優(yōu)化或者SMO算法用一些開(kāi)源庫(kù)如svdd相關(guān)的GitHub項(xiàng)目用MATLAB的dd_tools工具箱很多早期文獻(xiàn)用這個(gè)我建議你在動(dòng)手前想清楚你的核心目標(biāo)是搞懂算法、復(fù)現(xiàn)論文還是快速落地一個(gè)基線模型??焖俾涞豋CSVM sklearn是最省事的路徑細(xì)致研究邊界自己實(shí)現(xiàn)SVDD也不難因?yàn)樗膶?duì)偶形式很規(guī)整。下面我給一個(gè)簡(jiǎn)化的SVDD實(shí)現(xiàn)思路。先說(shuō)好這個(gè)實(shí)現(xiàn)主要用來(lái)理解原理工程上要追求性能的話還是推薦集成更成熟的庫(kù)或者用SMO優(yōu)化。4.2 用sklearn快速搭一個(gè)OCSVM基線假設(shè)你已經(jīng)有一批正常樣本保存在X_train中每個(gè)樣本是d維特征向量。下面是用OCSVM建模并做預(yù)測(cè)的標(biāo)準(zhǔn)流程import numpy as np from sklearn.svm import OneClassSVM from sklearn.preprocessing import StandardScaler # 1. 標(biāo)準(zhǔn)化 scaler StandardScaler() X_scaled scaler.fit_transform(X_train) # 2. 初始化模型 model OneClassSVM( kernelrbf, gamma0.1, # 這個(gè)參數(shù)很關(guān)鍵后面專門(mén)講 nu0.05 # 預(yù)期異常比例上界 ) # 3. 訓(xùn)練 model.fit(X_scaled) # 4. 預(yù)測(cè)返回1表示正常-1表示異常 y_pred model.predict(X_scaled) # 5. 獲取異常得分距離決策邊界的帶符號(hào)距離 score model.decision_function(X_scaled)這里有個(gè)我反復(fù)踩過(guò)的坑decision_function的分?jǐn)?shù)正負(fù)號(hào)。在sklearn的OneClassSVM里正數(shù)表示在邊界內(nèi)側(cè)負(fù)數(shù)表示邊界外側(cè)。但具體數(shù)值的大小并不直接等于距離只是有單調(diào)關(guān)系。后續(xù)如果要做閾值調(diào)整建議直接用這個(gè)分?jǐn)?shù)排序而不是硬套某個(gè)固定閾值。4.3 自己實(shí)現(xiàn)一個(gè)簡(jiǎn)單的SVDDSVDD的對(duì)偶問(wèn)題可以寫(xiě)成一個(gè)帶約束的二次規(guī)劃。為了簡(jiǎn)化我直接給出一個(gè)基于拉格朗日對(duì)偶的實(shí)現(xiàn)輪廓import numpy as np from scipy.optimize import minimize def rbf_kernel(X, Y, gamma1.0): # 高斯核矩陣 sq_dist np.sum(X**2, axis1)[:, None] np.sum(Y**2, axis1)[None, :] - 2 * X Y.T return np.exp(-gamma * np.clip(sq_dist, 0, None)) def train_svdd(X, C1.0, gamma1.0): n X.shape[0] K rbf_kernel(X, X, gamma) # 目標(biāo)函數(shù): 0.5 * sum_ij alpha_i alpha_j K_ij - sum_i alpha_i K_ii # scipy minimize默認(rèn)求最小值所以取負(fù)號(hào)的那個(gè)對(duì)偶目標(biāo)改成求 min # 實(shí)際最小化: 0.5 * alpha^T K alpha - sum(alpha) def objective(alpha): return 0.5 * alpha K alpha - np.sum(alpha) # 約束: sum alpha_i 1, 0 alpha_i C constraints [{type: eq, fun: lambda a: np.sum(a) - 1}] bounds [(0, C)] * n # 初始化 alpha0 np.ones(n) / n res minimize( objective, alpha0, methodSLSQP, boundsbounds, constraintsconstraints, options{maxiter: 200} ) alpha res.x # 計(jì)算球心在特征空間中的表示如果要用核函數(shù)計(jì)算距離需要保存支持向量 sv_idx np.where(alpha 1e-6)[0] # 計(jì)算半徑 R^2: 任選一個(gè)支持向量計(jì)算它到球心的距離 alpha_sv alpha[sv_idx] X_sv X[sv_idx] # K(x_sv, x_sv) diag_sv np.sum(alpha_sv[:, None] * alpha_sv[None, :] * rbf_kernel(X_sv, X_sv, gamma)) # 實(shí)際上 R^2 可以用公式計(jì)算這里省略細(xì)節(jié) # 預(yù)測(cè)時(shí)比較新樣本到球心距離和半徑 return alpha, sv_idx需要注意的是這種基于scipy.optimize.minimize的通用QP解法在樣本量大時(shí)非常慢只能用來(lái)跑幾十到幾百個(gè)樣本的小實(shí)驗(yàn)。工程上SVDD一般用SMO序列最小優(yōu)化或者隨機(jī)梯度下降來(lái)優(yōu)化。另外上面代碼只是為了展示對(duì)偶問(wèn)題怎么落到優(yōu)化函數(shù)上真正復(fù)現(xiàn)SVDD還需要仔細(xì)處理拉格朗日乘子的初始化和邊界條件。如果你不太想自己敲這些數(shù)學(xué)我建議直接用比較成熟的第三方實(shí)現(xiàn)。GitHub上搜索SVDD可以找到一些實(shí)現(xiàn)有些基于PyTorch支持GPU加速。但一定要自己先讀一下代碼確認(rèn)它實(shí)現(xiàn)了標(biāo)準(zhǔn)SVDD而不是簡(jiǎn)化版本否則結(jié)果會(huì)有偏差。4.4 關(guān)鍵參數(shù)gamma和nu的調(diào)優(yōu)說(shuō)到調(diào)參gamma和nu是兩個(gè)最核心的旋鈕。很多人上來(lái)就默認(rèn)gamma 1/n_features然后發(fā)現(xiàn)模型一團(tuán)糟。實(shí)際上gamma的合理范圍跟數(shù)據(jù)的尺度、樣本量、維度都有關(guān)系。gamma過(guò)大高斯核只對(duì)非常近的點(diǎn)敏感決策邊界會(huì)變得非常復(fù)雜容易過(guò)擬合把正常數(shù)據(jù)邊界畫(huà)成碎片。gamma過(guò)小高斯核退化成一個(gè)接近常數(shù)的核所有點(diǎn)之間的相似度都差不多模型學(xué)不到有效結(jié)構(gòu)邊界會(huì)非常簡(jiǎn)單。實(shí)踐中我會(huì)用網(wǎng)格搜索配合驗(yàn)證集來(lái)做選擇。驗(yàn)證集上沒(méi)有標(biāo)準(zhǔn)答案因?yàn)閱晤惙诸悰](méi)有真實(shí)標(biāo)簽所以更常見(jiàn)的做法是你有少量標(biāo)記的異常樣本但不足以訓(xùn)練模型把這些異常樣本單獨(dú)留出來(lái)作為驗(yàn)證集看模型在“拒絕異?!鄙系谋憩F(xiàn)。用AUC、F1k這類指標(biāo)來(lái)選參數(shù)會(huì)比純粹看訓(xùn)練集上的邊界緊湊度靠譜得多。nu的選擇相對(duì)直觀。你先根據(jù)業(yè)務(wù)容忍度估算一個(gè)“異常比例上界”比如誤報(bào)率不能超過(guò)3%那就設(shè)定nu在0.03附近。然后觀察驗(yàn)證集上的精確率和召回率再微調(diào)。有一點(diǎn)要注意nu設(shè)得很小時(shí)模型會(huì)傾向于把所有訓(xùn)練數(shù)據(jù)都包進(jìn)正常邊界決策邊界離數(shù)據(jù)很遠(yuǎn)這時(shí)候?qū)Ξ惓颖镜拿舾卸葧?huì)下降實(shí)際就是“寧可放過(guò)不可誤殺”的傾向。4.5 對(duì)比實(shí)驗(yàn)的評(píng)估方法做SVDD和OCSVM的對(duì)比實(shí)驗(yàn)時(shí)很多新手直接用準(zhǔn)確率。在極度不平衡的數(shù)據(jù)上準(zhǔn)確率毫無(wú)意義。我見(jiàn)到的比較規(guī)范的評(píng)估方式把正常樣本分成訓(xùn)練集和驗(yàn)證集訓(xùn)練集只用來(lái)建模驗(yàn)證集用來(lái)調(diào)參。準(zhǔn)備少量真實(shí)異常樣本作為測(cè)試集不參與訓(xùn)練。計(jì)算每個(gè)樣本的異常得分后用AUCROC曲線下面積評(píng)估排序能力。如果要設(shè)閾值用Precisionk或者F1-beta這類指標(biāo)。在實(shí)驗(yàn)報(bào)告里我通常同時(shí)報(bào)告正常樣本的召回率模型能覆蓋多少正常樣本和異常樣本的命中率模型能抓出多少異常。這兩個(gè)指標(biāo)之間存在權(quán)衡參數(shù)的選取本質(zhì)上就是在找這個(gè)權(quán)衡的平衡點(diǎn)。5. 真實(shí)數(shù)據(jù)上的表現(xiàn)差異與原因分析5.1 實(shí)驗(yàn)設(shè)置為了說(shuō)明問(wèn)題我用一個(gè)仿真數(shù)據(jù)做過(guò)對(duì)比實(shí)驗(yàn)。數(shù)據(jù)分三種形狀第一組是各向同性的高斯團(tuán)正常數(shù)據(jù)均勻分布在球體周?chē)诙M是帶方向性的長(zhǎng)條高斯分布正常數(shù)據(jù)形成明顯橢球第三組是環(huán)形分布中心區(qū)域基本沒(méi)有數(shù)據(jù)。三組數(shù)據(jù)各生成2000個(gè)正常樣本作為訓(xùn)練和驗(yàn)證另生成200個(gè)真實(shí)異常樣本從遠(yuǎn)離正常區(qū)域的均勻分布中采樣作為測(cè)試。兩個(gè)模型都使用RBF核。OCSVM的nu設(shè)置為0.05SVDD的C通過(guò)交叉驗(yàn)證在[0.01, 0.1, 1, 10]里選。gamma在兩組模型中都從[0.01, 0.1, 1, 10]里網(wǎng)格搜索。評(píng)估指標(biāo)用AUC。5.2 結(jié)果觀察第一組各向同性高斯團(tuán)上SVDD和OCSVM的AUC非常接近差距在0.5%以內(nèi)。這符合理論預(yù)期數(shù)據(jù)分布越接近球?qū)ΨQSVDD的球假設(shè)越不受懲罰OCSVM的超平面也能很好地工作。第二組帶方向性的橢圓分布上OCSVM明顯更好AUC高了大概4到6個(gè)百分點(diǎn)。原因在于OCSVM的超平面可以適應(yīng)數(shù)據(jù)的主方向邊界在長(zhǎng)軸方向?qū)捤伞⒍梯S方向緊湊而SVDD的球體邊界會(huì)在這個(gè)橢圓分布的長(zhǎng)軸方向上出現(xiàn)很大的“空洞”把一部分異常樣本也包進(jìn)了球內(nèi)。第三組環(huán)形分布上SVDD的表現(xiàn)反而更好。環(huán)形分布的中心是空的OCSVM由于超平面必須經(jīng)過(guò)原點(diǎn)方向在特征空間中把原點(diǎn)和數(shù)據(jù)分開(kāi)會(huì)把環(huán)形中心錯(cuò)誤地判為正常SVDD則能把整個(gè)數(shù)據(jù)區(qū)域圍成一個(gè)“球形殼”外的區(qū)域中心空洞得以保留模型對(duì)中心區(qū)域樣本的異常敏感度更高。當(dāng)然這個(gè)優(yōu)勢(shì)的前提是支持向量集中在環(huán)的外側(cè)球心也在環(huán)中心附近。5.3 背后的關(guān)鍵影響因素從這幾個(gè)實(shí)驗(yàn)結(jié)果里我總結(jié)出影響兩者選擇的三個(gè)關(guān)鍵因素?cái)?shù)據(jù)分布是否近似球?qū)ΨQ。越接近球?qū)ΨQSVDD越占優(yōu)越有方向性O(shè)CSVM越靈活。數(shù)據(jù)中的“空洞”結(jié)構(gòu)。如果正常數(shù)據(jù)包圍著一塊空白區(qū)域SVDD能更好地保留這個(gè)空洞OCSVM可能直接把這一塊也看成正常。高維空間中的距離集中效應(yīng)。在高維數(shù)據(jù)里樣本之間的距離趨向于均勻化SVDD對(duì)距離的二次項(xiàng)利用可能退化OCSVM對(duì)方向的利用更穩(wěn)健。我實(shí)測(cè)過(guò)幾十到幾百維的特征OCSVM在高維上的魯棒性確實(shí)更好SVDD在高維上更容易出現(xiàn)邊界退化。但這都不是絕對(duì)的。真實(shí)業(yè)務(wù)數(shù)據(jù)往往混合了多種效應(yīng)所以我始終建議在你自己數(shù)據(jù)上做一次小規(guī)模對(duì)比實(shí)驗(yàn)再下結(jié)論。6. 常見(jiàn)問(wèn)題與避坑指南6.1 標(biāo)準(zhǔn)化不是可選項(xiàng)是必選項(xiàng)SVDD和OCSVM都非常依賴特征尺度。RBF核里的距離是歐氏距離如果某個(gè)特征的數(shù)值范圍是0到10000另一個(gè)是0到1距離計(jì)算完全被第一個(gè)特征主導(dǎo)模型基本瞎了。標(biāo)準(zhǔn)化StandardScaler或MinMaxScaler能避免這個(gè)問(wèn)題。但我提醒一句標(biāo)準(zhǔn)化必須在訓(xùn)練集上做然后拿著訓(xùn)練集的均值和方差去變換驗(yàn)證集和測(cè)試集。6.2 “無(wú)負(fù)樣本”不代表沒(méi)有標(biāo)簽可用很多人陷入了“單類分類不能使用任何負(fù)樣本”的教條。實(shí)際上哪怕只有幾十條異常樣本把它們作為驗(yàn)證集用來(lái)選參數(shù)、選模型都是完全合理且推薦的。單類分類的訓(xùn)練過(guò)程確實(shí)只用正常樣本但評(píng)估和調(diào)參環(huán)節(jié)引入少量異常樣本能顯著提升模型效果。6.3 別把普通異常檢測(cè)的評(píng)測(cè)指標(biāo)照搬過(guò)來(lái)我在項(xiàng)目里常見(jiàn)的問(wèn)題甲方要求報(bào)告“準(zhǔn)確率”然后發(fā)現(xiàn)不管怎么調(diào)參準(zhǔn)確率都超過(guò)95%因?yàn)楫惓1壤挥?%。這個(gè)指標(biāo)沒(méi)有意義。正確做法是報(bào)告在固定誤報(bào)率下的檢出率或者直接報(bào)告AUC。6.4 核函數(shù)不是越多越好SVDD和OCSVM常用RBF核因?yàn)樗鼙平我庑螤畹倪吔?。線性核相當(dāng)于只在原始空間畫(huà)一個(gè)超平面/球面表達(dá)能力有限多項(xiàng)式核的階數(shù)不好控制容易過(guò)擬合。我建議從一開(kāi)始就用RBF核把精力花在調(diào)gamma上而不是折騰核函數(shù)類型。6.5 樣本量太少怎么辦如果你的正常樣本只有幾十條SVDD和OCSVM的效果都不會(huì)太好因?yàn)樗鼈儽举|(zhì)上是基于距離的方法需要足夠的支持向量來(lái)刻畫(huà)邊界。這種情況下我建議先考慮數(shù)據(jù)增強(qiáng)、特征降維或者使用基于深度自編碼器的方法來(lái)做異常打分然后再考慮單類分類模型。6.6 決策邊界的可視化調(diào)試在二維數(shù)據(jù)上我強(qiáng)烈建議把決策邊界可視化出來(lái)看一版。sklearn的OneClassSVM可以配合matplotlib畫(huà)等高線圖能直觀看到邊界是否合理。SVDD同樣可以可視化出球心和半徑??梢暬瘯?huì)比單純看指標(biāo)更容易發(fā)現(xiàn)問(wèn)題比如邊界在某個(gè)方向上明顯空洞、或者模型把少數(shù)正常樣本排得太靠外了。7. 選型建議與個(gè)人體會(huì)7.1 我的選擇框架說(shuō)了這么多給出一個(gè)實(shí)際可操作的選型建議。我會(huì)按下面的順序判斷如果特征維度很高比如大于100優(yōu)先OCSVM它對(duì)方向性結(jié)構(gòu)更穩(wěn)健。如果數(shù)據(jù)分布近似球?qū)ΨQ且希望決策邊界是閉合的、每個(gè)方向都公平優(yōu)先SVDD。如果業(yè)務(wù)方需要“我大概能接受多少誤報(bào)”這類的可解釋參數(shù)優(yōu)先OCSVM因?yàn)棣椭苯訉?duì)應(yīng)異常比例上界。如果數(shù)據(jù)中存在明顯的空洞結(jié)構(gòu)正常數(shù)據(jù)環(huán)繞一塊空白區(qū)域優(yōu)先SVDD。如果兩個(gè)模型在驗(yàn)證集上AUC差距很小選更簡(jiǎn)單的那個(gè)——多數(shù)情況下是OCSVM因?yàn)樗衧klearn原生支持工程成本低很多。7.2 最后再分享一個(gè)小技巧我經(jīng)常遇到一種情況OCSVM和SVDD在同一個(gè)數(shù)據(jù)集上一個(gè)效果好一個(gè)差。這并不說(shuō)明某個(gè)算法“更好”而是它們對(duì)數(shù)據(jù)分布的隱含假設(shè)不同。所以與其糾結(jié)選哪一個(gè)不如把兩個(gè)模型的異常得分融合一下。最簡(jiǎn)單的做法是把兩個(gè)得分分別做分位數(shù)歸一化然后取加權(quán)平均或者取這兩個(gè)得分的最小值也就是“只要有一個(gè)模型認(rèn)為是異常就標(biāo)記為異常”。這個(gè)方法在我做過(guò)的好幾個(gè)故障檢測(cè)項(xiàng)目里都有效融合后的AUC通常不會(huì)低于表現(xiàn)較好的那一個(gè)。另外如果你想深挖這兩個(gè)算法的理論基礎(chǔ)建議讀一讀Sch?lkopf等人在2001年發(fā)表的關(guān)于單類SVM的論文以及Tax和Duin的SVDD原始文獻(xiàn)。兩篇論文都不長(zhǎng)但對(duì)理解算法邊界非常有用。看懂對(duì)偶形式的那一刻你就能明白它們?yōu)槭裁词恰巴串惲鳌钡男值芩惴恕?
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
黄色99网| 噜噜噜色噜噜| 婷婷五月丁香亚洲| 日本99在线视频| 久热超碰| 奇米网大香蕉| 久久久久久久久月丁| 五月色婷婷综合| 婷婷五月天情色| 五月天婷婷综合网| 91青娱乐青青草| 五月天婷亚洲天综合网综合| 99日韩| 久久精彩视频| 婷婷五月亚洲综合| 五月丁香五月婷婷| 综合性视频99| 五月激情偷拍| 91成人性爱视频| 99精品热视频只有精品10| 成人做爰高潮A片免费视频 | 伊人久久婷婷| 99啪在线视频| 亚洲天堂婷婷| 性爱激情综合网| 日韩在线视频中文字幕| 婷婷五月成人| 五月婷婷成人| 婷婷五月六月丁香综合| 69激情小说| 五月婷婷|欧美| 国产精品天天狠天天看| 免费无码毛片一区二区A片| 在线观看免费狠狠色丁香香综合| 这里只有精品2| 色之综合网| 激情国产综合| 国产成人AV在线播放| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 大香蕉丁香五月| 久久久久久久久久8888| 丁香六月情| 六月婷婷狠狠色在线观看| 六月丁香婷婷色狠狠久久| 成人在线观看精品| AA片在线观看视频在线播放| 99re欧美精品| 激情小说色五月| 久久女婷| 少妇被躁爽到高潮无码文| 成人欧美日韩| 天天操人人干| 国产毛片精品一区二区色欲黄A片| 婷婷综合视频| 九热...av| 五月天色丁香| 五月丁香亭亭操逼| 天天插天天爽| 日本视频久久| 久久久久久久久久久jjjj| 精品一区二区三区免费毛片爱| 99热最新| 欧美三级A做爰在线观看| 大香蕉啪啪网| 天天日天天色| 久婷狼色诱惑在线| 婷婷中文字幕网| 亚洲殴洲精品Av在线| 人与禽A片啪啪| 五月丁香综合网| 五月天com| 成人 在线 日韩| 婷婷色操| 无码AV免费精品一区二区三区 | 日本熟女一区二区| 波多野结衣AV无码Porn| 日本久久99| 日日噜噜夜夜狠狠久久丁香五月| 欧美婷婷丁香社区在线播放| 婷婷综合日本| 亚洲 精品 综合 精品| 无码地址| 99久久玖玖| 丁香五月天天高清在线| 嫩草视频在线观看| 成人无码髙潮喷水A片| 久久综合五月天| 人妻体体内射精一区二区| 无码激情AAAAA片-区区| 狠狠色噜噜| 五月花综合视频| 激情五婷网| 亚洲综合五月| 99啪啪视频| 91五月天| 久久99精品久久久久久噜噜| 婷婷激情鹿城五月天| 色综合性视频| 欧美日本黄色| 性爱激情久久| 亚洲视频a| 色宗合久久五月婷婷| 婷婷久久综合久色| 日本天天色| 亚洲精品无人区| 五月天久草| 99在线观看视频| 亚洲综合网激情五月天| 中文字幕丰满人妻无码专区| 97碰精品| 婷婷五月蜜桃成人桃色丁香| Av九九| 激情综合五月天| 曰韩五月丁香色婷婷无码| 五月婷免费视频| 成人国产网站| 婷婷四色五月| 久久亚洲婷婷| 五月丁香 啪啪| 天天综合干| 综合激情视频| 色涩视频久久| 色婷婷婷综合五月天| 九九99一区| 精品久久99| 超碰在线免费观看3 9| 激情综合色婷婷啪啪六月天| 精品草原久久视频| 国产FREESEXVIDEOS性中国| 亚洲中文字幕在线电影| 六月亚洲| 狠狠做婷婷| 西西4r午夜剧场| 99热在线观看免费中文| 玖玖婷婷综合| 国内久久亭亭| 五月天偷拍| 亚洲亚洲人成综合网络| 中文精品久久久久人妻不| 夜夜操,天天撸| 欧美婷婷综合| wwwss在线观看| 激情五月天综合| 日本熟妇乱妇熟色A片蜜桃| 97人操人免费视频| 色婷婷综合影院| .青娱乐天天操B| 色综合久| 六月婷婷中文字幕| 超碰在线91| 第五色婷婷| 91人妻九色大屁股| 色五月视频,小说| 五月天激情网站| 超碰97免费在线| 婷婷色av| 丁香久月婷| 欧美国产一区二区三区| 99在线综合视频| 伊人丁香婷婷东京| 一级片无码| 婷婷狠狠五月综合| 婷婷丁香大香蕉| 色五月色综合| 97婷婷五月丁香| 五五月五月| 99热这里有精品| 天天日日人| 久久综合五月天| 午夜成人综合| 99热免费18| 色一情一乱一乱一区91Av| 丁香五月中文字幕久色| 久久婷婷视频| 天天干,天天日| 日本色五月| 俺去也综合| 五月伊人网| 五月婷视频| 五月色婷婷影视在线电影| 久99久在线观看| 色蜜婷婷| 婷婷色色狠狠| 爱草视频在线观看| 色在线视频网2025| 91九色视频在线观看| 在线观看亚洲视频影院| 五月婷婷五月| 丁香六月欧美| 大香蕉五月天婷婷| 亚洲精品乱码久久久久99| 伊人色欲五月天| 无码网| 丁香五月激情视频| 操碰99| 婷婷色播婷婷| www一起操在线观看| 丁香五月首页| 婷婷之玖玖| 激情久久网 | 少妇综合网| 亚洲AV网址| 五月婷婷无码| 亚洲综合久| 色婷婷狠狠禁18久久| 亚洲另类电影| 色五月播五月| 欧美日韩国产一二区| 色一情一乱一乱一区9| va婷婷在线| 视频色色色色色色| 五月婷婷色欲| 中文字幕丰满乱孑伦无码专区| av在线色五月丁香婷区久| 天天艹夜夜艹| 三男玩一女三A片| 日韩另类在线观看| 天天色播| 99综合自拍| 日韩无码91| 色色色视频| 激情五月丁香六月综合AVXXXX| 91九色丨国产丨爆乳| 综合天堂AV久久久久久久| 五月天社区| 色色色色色色网| 97久久久久久久久久久| 婷婷欧美激情综合| 68热超碰在线| 亚洲一区先锋影音| 91麻豆国产三级精品福利在线观看 | 99久久婷婷国产综合亚洲| 国产寻花在线| 青柠影视免费高清电视剧| 婷婷舔| 国产成人一区二区三区在线观看| 色婷丨日丨天丨综合久久| 久久久国产精品黄毛片| 日本 @ va 免费| 日本大人久久| 五月丁香激情综合网| 丁香婷婷九月在线| 六月狠狠综合| 天天天天色天天天天天干| 韩日在线熟女| 色五月婷婷在线| 五月花综合网| 嫩草AV久久伊人妇女超级A| 九九热这里只有精品23| 色婷婷五月综合| 性五月激情| 中文字幕人成乱码在线观看| 丁香六月狠狠| 婷婷亚洲综合| 久久五月丁香六月婷| 开心久久爱五月天| 欧美日韩国产日本精品四虎网网站物| 综合婷婷六月| 99久久超级| 五月婷色啪| Av在线资源| 五月激情婷婷综合| 五月丁香少妇A| 97在线视频 欧美| 激情综合在线观看| 无码一区二区三区四区五区| 热99玖玖99玖玖99九九| 精品爆操| 亚洲五月丁| 免费黄网不卡AV| 色婷婷AV在线| 婷婷色丁香五月| 91色综合久久| 久久婷婷热| 九九色播五月丁香| 五月天五月色婷婷综合| 色色色色丁香| 九九爱激情| 婷婷丁香五月基地| 久久六月综合| 丁香五月影院| 亚洲婷婷丁香五月在线| 丁香婷婷色五月激情综合| 99精品在线观看| 亚洲 激情 中文| 婷婷天天婷婷天天澡| 伊人五月天在线| AV中文字幕夜夜操b天天摸bb| 亚洲99综合| 激情深爱综合网| 色综合久久伊伊婷婷五月| 中文字幕综合| 91操碰| 婷婷五月天在线观看| 婷色五月| 久久视频在线视频| 五月激香蕉网| 蜜乳AV成人| 超碰在线免费观看日韩| 色五月婷婷777| 亚洲亚洲人成综合网络| 五月婷婷五月| 色婷久久| 激情五月天偷拍综合网| 99视频网| 天天舔天天摸天天透| 五月婷成人网| 亚洲 无码 中文字幕 中出| 婷婷舔| 五月天婷婷伊人| 淫荡家庭AV| 天天做天天视天天谢| 老妇操B| 一月婷婷色色| www,五月天com| 色婷婷激情小说网| 五月婷婷中文| www久久99| 丁香激情网| 五月婷婷久久爱| 人妻中文av| 99热在线精品播放| 国产成人AV人人爽人人澡Va| 都市激情小说婷婷| www.久久久久| 青吴乐视频| 日韩在线观看亚洲| 色综久久AV| 噜噜精品| 狠狠干综合| 天天综合色99| 九九av| 亚洲精| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 五月天久久色| 久久性刺激| 婷婷激情啪啪| 久99| 色呦呦在线| 久操婷婷| 99热 这里只有精品 国产 日韩| 激情九九六月激情免费视频| 天天综合天综合久久网| 婷婷激情五月天综合| 丁香在线视频| 九九热这里只有精品9| 精品久色| 九九黄色网| 婷婷九色| 婷婷久久色| 丰满少妇乱A片无码| 激情九月婷婷| 婷婷六月色| 玖玖婷婷色五月| dingxiangtingtingliuyue| 99热这里只有精品9| 99热超碰在线| 亚洲热视频| 97人人草| 婷婷婷婷色| WWW久久久| 亚洲色婷婷五月天| 久婷久婷激情肉| 91色色色18| 综合亚洲AV| 五月丁香婷婷深深爱| 婷婷七月丁香色色| 九九热在线99| 九九热只有这里精品| 久久婷婷六月综合综合| 97久久五月丁香婷婷| 色噜噜狠狠色综合日日| 热99精品视频| 久久久噜噜噜久久人妻| 精品九九网| 99A片| 操操碰| 99网| 亚洲avjiujiur91| 图片区 小说区 区 亚洲五月| 综合逼五月激情婷婷| 中文字幕乱码亚洲精品一区| 99热99色| 激情另类综合| 激情电影五月婷婷| 五月丁香六月婷| 色婷婷电影| 久久丁香五月天| 六月丁香五月激情亚洲AV| 人人叉久| 日本一级一级一级一级| 婷婷五月另类网站| 丁香六月爱综合| 免费在线a| 五月天婷婷激情小说电影| 久久黄色免费视频| av国产精品| 色五月婷婷色五月| a色色色色色| 成人va在线| 日日操天天操| 99色热| 丁香色情五月天| 五月婷婷激情在线| 成人丁香色| 亚色网站小视频| 亚洲天堂制| 六月丁香五月婷婷| 精品人妻伦一二三区久久| 掩去也综合五月视频| 一本久婷婷综合| 91色吧网| 日本熟女内射| 日韩无码乱轮| 久久加勤综合| 99精品在线| 香蕉婷婷| 久婷| 色色国产| 五月激情影院| 99久久这里只有精品| 五月六月丁香婷婷在线观看| 秋霞性爱AV| 九热精品| 另类小说五月天| 六月丁香射婷婷欧美色图片 | 九九热re99re6在线精品| 日韩五月天婷婷| 亭亭五月激情亚洲在线| 久久丁香综合精品综合| 超碰97干| 久久机热这里只有精品| 色婷五月天激情| 精品51XX| 色九网| 超碰av在线| 五月天婷婷青青草| 五月综合激情| 五月丁香综合激情| www色五月天| 婷婷五月天视| 任我肏| www..999热久| www.9797国产| 国产a视频| 婷婷五月丁香色播| 丁香九月激情久久| 91九色丨国产丨爆乳| 91高潮喷水久久久久久久久| 久久嘟嘟丁香| 91尤物九色在线| 色欲丁香| 丁香五月婷婷久久久| 在线你懂的亚洲欧| 婷婷六月丁香在线| 综合综合网| 人人干天天操五月丁香| 日韩精品无码99| 天天草天天摸| 久久a热| 欧美成人精品A片免费一区99| 99视频免费播放| 精品99在线| 欧洲永久精品| 野战毛片三一3| 婷婷午夜激情| 91丁香色五月| 五月色婷婷综合色| 十月色综合| 婷婷射综合| 五月色亚洲| www91色网站| 婷婷五月天另类视频| 婷婷在线激情| 婷婷亚洲综合| 五月综合丁香婷婷| 婷婷五月天电影在线| 激情小说五月天| 五月婷婷偷拍| 色久五月天| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | www.minyis.com【JT】实力收量可预付QQ2101460746 | 久久久久婷婷五月热综合| 无码色色色| 亚洲视频一区| 操日视频| 激情五月天啪啪| 玖玖婷婷免费| 99热99热不卡| 久久R激情| 五月丁香久久综合精品| 婷婷99| 五月婷婷性爱| 99热成人在线观看| 婷婷成人基地| 激情小说五月天社区丁香| 在线色色| 日本久久99| 五月久久婷婷| 婷婷色色网| 免费播放AV| 插插插色综合网| 3p久久| 国产67194| 婷婷色综合| 五月婷婷影院| 天天操夜夜爱| 婷婷久久影院| 色五月在线观看| 99久久99热| 久久九九99视频| 激情五月天在线观看色婷婷| 色香蕉影院| 人人操人av| 色九区| 激情丁香网| 色色色婷婷| 激情五月综合亚洲另类| 热99热9| 亚洲激情五月| 开心五月天激情网| 色色亚洲五月天| 五月天婷婷综合久久| 国产真实乱了老女人视频| 丁香六月伊人| 综合狠狠伊人| 色色五月丁香婷婷综合| 天天日夜夜爽| 美女100%露全身无挡网站| 国产综合A片| 97五月天| 99激情在线| 丁香五月丁香伊人| 97操在线视频| 六月色婷婷| 久久视频婷婷| 思思热99热| 六月婷五月丁香| 久久婷婷五月丁香网| 抽插特写| 性色做爰片在线观看WW| 国产色婷婷亚洲| Av大香蕉| 狠狠五月激情在线| 东京热伊人| 91|九色|动漫| 丁香五月天社区婷婷| 一起草AV入口| 人妻丰满精品一区二区A片| 色婷婷基地| 六月婷婷视频| 91九色精品| 亚美欧色影院| 国产精品日韩十五区| 一本道综合网| 性日本精品| 色色 9| 日韩综合大黄| 综合五月激情| 五月综合在线| 97精品综合久久| 久久久.COM| 五月婷婷色影院| 在线成人网址| 五月婷婷五月| 99热只有| 大香蕉久操| 亚洲乱码日产精品BD| 精品无码久久久久久久久| 久久激情五月婷婷| 激情五月丁香六月综合AVXXXX| 日韩啊啊啊| 亚洲99综合| 日韩成人网址| 日韩一级淫乱片一区二区三区| 香港九九六区八区99| 亚洲免费电影2| 大香蕉九九操| 日韩砖区| 五月婷婷官网色| 97热这里精品在线视频| 我爱大香蕉| wuyuedingxiang| AV五月丁香| 五月丁香伊人网| 99爱视频在线观看这里只有精品| 久99热| 亚洲午夜在线视频| 成人一级片| 天天综合图片| 亚洲五月婷| 亚洲永远av在线播放| AV操逼网| www夜夜操com| 五月 成人 婷婷| 色婷婷av在线观看| 婷婷第一页| 5月色亭亭视频| 五月精品| 香蕉人妻AV久久久久天天| 国产亚洲av片| 开心五月激情站| 婷婷五月天网| 婷婷五月天亚洲综合| 狠狠草综合网| 99热精品在线观看| 久热无码| 丁香五月激情网| 五月婷性爱| 囯产精品一品二区三区| 99这里只有精品视频| 大香蕉啪啪网| 99 频99热国里只有精品| 另类激情综合| 婷婷五月天丁香久久| www.ppypp| 99热这里只有精品 搜| 99精品国产在热久久| 日操夜撸| 91色操| 思思久热| 色黄啪啪| 好看的国产精品| 国产热精品| 9久久久久久久久久久| 激情综合在线观看| 五月婷婷综合性爱噜噜| 色九月激情综合网| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 视频一二区| 婷婷五月六月丁香| 婷婷瑟瑟五月天| 色色综合院| 日本99在线视频| 97av在线视频| 丁香婷婷六月| 这里只有精品在线免费视频| 国产成人AV| 思思热高清在线观看| 啪啪夜久久| 久热免费视频| 欧美成人精品老美女噜噜噜| 九九偷拍网| 91Chinese在线| 99热九九这里只有精品10| 内射 无码 伊人| 26uuu亚洲| 天天综合91入口| 亚洲中文乱字字幕在线永久| 大天天伊人| 色五月综合在线| 91日日日| 久久五月六月| 婷婷色导航| 色五月婷婷激情基地| 天天日,天天插| 欧美日韩精品人妻狠狠躁免费视频| 日本99视频精品免费播放| 国产亚洲色婷婷久久99精品91| 在线视频另类| 国产在线中文字幕| 三级大香蕉网| 专区无日本视频高清8| 99色在线| 五月天色小说| 婷婷五月天激情基地| 四虎成人精品永久免费AV九九| 校花娇喘呻吟校长陈若雪视频| 操骚货在线| 丁香五月婷婷影院| 久久久er热| 激情婷婷九月| www.色婷婷.com| 久久99久久99精品免观看软件 | 五月婷婷激情网| 九九激情视频| 久久久99精品免费观看| 色五月色综合| 男女啪啪做爰高潮无遮挡| 9久久AV| 天天操狠狠操| 在线婷婷| 亚洲无AV在线中文字幕| 五月婷婷色五月| 丁香五月婷婷激情97| 91九九九九九九| 九九热这里| 国产片天天爽夜夜爽| 91丨九色丨国产| 天天肏高清在线| 婷婷五月六月激情| 成人午夜免费电影| 国产女18毛片多18精品| 激情WWW| 人人97操| 欧美肉大捧一进一出免费视频| 六月伊人婷婷| 亚洲综合激情五月天婷婷| 五六月婷婷| 五婷婷综合网| 五月香婷婷| 五月丁香婷婷伊人| 国产精品美女久久久久AV超清| 婷婷久久五月天| 激情网站五月| 精品久久人妻热| 久久丁香五月综合六月激情红杏视频 | 高清成人综合| www.精品99| 婷婷五月电影院| 亚洲天堂热| 免费视频WWW在线观看网站| 中文字幕网伦射乱中文| 亚洲综合视频八| 丁香五月天色综合| 9超碰在线| 久久婷婷五月综合97色一本| 高清无码 一区 二区 三区| 欧美天天性| 桃色激情网| 青草五月天| 日日天天干| 国产激情综合| 九九婷婷激情综合网| 26uuu国产| 久久五月婷婷视频| 天天操天天干天天射| 中文字幕网站在线观看| 久久婷婷六月综合资源| 这里只有精品1| 第九色区av天堂| 综合色色综合| 五月WWW| 草了bav视频在线观看| av网站中文| 欧美熟女99| 天啪色| 色婷婷激情五月天在线观看| 久久婷婷综合五月天| 亚洲无码影音| 中文成人在线| 婷婷五月日本| 五月丁香六月欧美综合| 热99在线| 婷婷五月花.97| 婷婷五月天成人导航| 成年人丁香五月| 超碰97在线观看免费| 丁香五月开心婷婷| 欧美激情久| 五月色俺婷婷| 亚洲天堂婷婷| 激情5月天天天| 五月天婷婷影院| 久久五月天合网| 超碰国产在线| 甈吧vv| 国产精品人成A片一区二区| 婷婷五月天激情在线观看 | 夜夜撸夜夜骑| 大香蕉99热| 久久9视频欧美| 九九色影院| 人人色人人摸人人看| 成人在线视频网| 亚洲成人在线播放| 精品一二三区久久AAA片| 国产夫妻操逼内射视频| 色操综合| 婷婷射丁香| 五月婷婷播| 婷婷亚洲在线| 超碰在线观看9| 久久草人妻| 丁香婷婷91在线观看视频| 999婷婷综合| 9久热在线精品| 久热9| 农村熟妇高潮精品A片| 色色综合视频| 亚洲精品成人| 亚洲日韩久久婷婷伊人| 97色永久免费视频| 亚洲精品操一操、噜一噜、摸一摸、爽 | 色五月开心五月激情五月| 成人AV播放| 岛国av网站| 五月天婷婷在线观看| 婷婷丁香六月综合激情站| 丁香婷婷五月天色播| 十区av| 婷婷五月天开心激情网| 99色在线观看视频| 丰满熟女人妻一区二区三| 九色porny在线观看激情四射| 91精品久久久久久| 五月亚洲| 欧美VA在线观看| 久久色五月| www.91AV.com| 日本不卡高字幕在线2019 | 色婷婷色情| 九九色色| 99热99久久| 丁香五月婷婷少妇| 天天噜天天爱| 丁香五月激情网| 五月WWW| 99色在线视频| 人人爽人人爽人人爽人人爽| 日本成人噜噜噜噜噜| 看逼中文字幕| 日逼影音先锋AV男人资源站| 五月情涩综合婷婷| 激情小说婷婷小说| 热久综合| 欧美三级级99久久| 4399欧美另类视频| 色综合九九色综合88| 黄网免费看| 丁香六月视频免费观看| 丁香亚洲色综合| 久久综合久色欧美综合狠狠| 色欲天天综合网| 久操热| 五月婷中文字幕| 国产精品岛国片在线观看免费| 亚洲 欧洲 国产 伦综合| 九热精品| 久久五月婷婷电影| 亚洲中文字幕av| 婷婷丁香五月天婷婷| 六月香五月婷| 久久性爱视频这里只有精品 | 婷婷五月天综合在线| 色五月激情网| 狠狠狠激情网| 欧美丁香婷婷五月天| 狠狠色成人影片| 草综合14| 少妇AB又爽又紧无码网站| 人与禽A片啪啪| 91色吧网| 婷婷日日天天| 97极品在线| 任你草| 五月婷婷影视| 五月丁香福利| 婷婷欧美激情| 天天操天天操综合| 思思w99| 欧美日韩成人在线网| 26uuu亚洲| 极品五月天| 操逼电影免费看| 狠狠干综合网| 久久综合色五月| 曰日爽日日操| 91操在线| 婷婷娌伦网| 激情六月天婷婷| 情一色一乱一伦一91A| 99热亚洲精品66| 99精品免费| 噜噜狠狠色| www.久操| 综合热无码| 色婷婷亚洲精品天天综| 久久思思99| 婷婷射丁香| 五月九九综合| 色9月| 色婷婷伦理| 丁香五月天婷婷激情| 99热9| 色色99色色| 亚洲超碰在线| 五月亭亭六月激情| 91人妻PORNY九色大屁股| 午夜爱插插| 国产操碰| 另类激情五月天。| 五月丁香激情婷婷| 91综合在线| 色综合中文| 丁香五月天在线观看视频| 色婷婷综合网| 色久婷婷五月| 婷婷99狠狠| 激情五月天视频| 99九无网码| 9999三级片| 深爱激情五月网| 九九免费精品在线视频| 亚洲精品又粗又大又爽A片| 99热99这里有免费的精品| ..真实国产乱子伦毛片| 五月婷婷在线综合| 婷婷九月| 亚洲精品大片| 亚洲精| 97日本在线| 欧美成人精品A片免费一区99| 丰滿爆乳一区二区三区| 久久激情网| 激情婷婷丁香五月天小说| av操逼网| 久热人妻| 婷婷五月天干干| 五月天综合久久| 亚洲综合五月天婷婷丁香| 泰州成人视频| 嫩BBB槡BBBB搡BBBB视频| 99久久精彩视频| 国产欧美精品AAAAAA片| 九九无码| 人妻AV在线观看| 超碰日韩人妻在线| 丁香五月六月综合激情| 丁香婷婷超碰 | 色综合色| 丁香五月激情无码视频| 人妻在线网站| 欧美日韩成人在线观看| 婷婷大美在线| 五月婷色| 丁香 久久| 99久久偷拍视频| 色色综合热| 色色色色色色色色色999| 三级黄网站| 91久久久久久久久久久| 九九99热久久精品66中文字幕| 天天操天天干天天射| 99热久久这里只有精品| 久久九九网| 操一区| 五月天激情四射| 婷婷色婷婷| 国产美女无遮挡裸体毛片A片| 91狠狠色丁香婷婷综合久久| 粉嫩av蜜桃av蜜臀av| 青青青在线视频国产| 久热这里这里有精品| 思思久久99热| 草美女在线观看视频在线播放| 丁香五月在线伊人| 六月香五月婷| 精品免费99| 丁香五月六月婷婷综合| 亚洲精品视频电影| 日韩三及成人AV片| 久久婷婷五月综合| 99re这里只有精品9| 国产精产国品一二三在观看| 婷婷日欧美在线观看| 久久中文人妻系列| 国产av基地| 色色五月天丁香婷婷| 大地资源色婷婷视频在线 | 亚洲成av人影院| www.思思99热| 色五月婷婷网| 丁香五月天殴美激情| 五月婷婷丁香六月| 天天综合网亚洲综合网| 六月丁香婷婷色狠狠久久| 五月婷婷激情综合网| 色五月婷婷激情五月| www色哟哟| 久久综合影院| 五月婷色色| 如何安全看伊人婷婷| 亚洲天堂99| 天天爱综合网| 欧美性爱五月天| 久久a热| 国产成人网站在线观看| 亚洲中文字幕网| 久久婷婷夜| 亚洲成人超碰| 五月在线| 99久久精品网| 亚洲激情图文小说| 天天干,天天操,天天射| 丁香九月婷婷色| 爱射综合| 天天爱天天操| 婷婷丁香综合| 五月天成人在线视频丁香| 五月激情五月婷婷五月天在线| 成人视频网| 成人欧美Va| 免费AV播放| 天天干,天天操,天天射| 第四色婷婷丁香五月| 日本eVa一区=区视频| 婷婷五月天毛片| 丁香婷婷五月激情| 婷婷五月激情视频| 91人人爽狠狠狠| 亚洲另类在线观看| 99热这里是精品| 六月婷婷操逼| 女力报到正好爱上你| 亚洲妇女熟BBW| 婷婷色五月天第7色| 超碰日韩成人| 六月丁香婷啪射| 亚洲天堂久久| 久久久久8888| 五月激情综合网| 人人操Av| 日日噜噜夜夜狠狠久久丁香五月| 五月天无码视屏播放| 色婷婷丁香AV综合| 九九亚洲| 这里只有精品视频| www.91.com处女在线直播| 亚洲精品无码一区二区| 亚洲天天综合| 丁香五月91| 婷婷久久网| 99视频只有这里精品| 色天堂97| 91欧美日韩综合| www.av视频xx999.com| 亚洲av无码影院| 欧美性爱一区| 日日日,com| 91在线观看www| 九九综合| 天天色综网| AV天堂婷婷五月天| 婷色人人狠| 久久超级碰视频| 色五月激情五月开心五月| www,婷婷五月天,com| 九色 在线| 九九热9| 碰97久久| 五月青青草综合| 色综合狠狠色| 亚洲九N| 青青草原亚洲天堂| 婷婷六月天激情影院| 色婷婷激情| 亚洲人操亚洲人| 亚洲一区二区 成人网站戴套| 99视频久久| yjzz亚洲国产| 久久婷婷人人| 能看的av网站| 丁香婷婷色六月| 五月亚洲激情| 看婷婷五月天网| 91人碰| 久草婷婷视频| 噼里啪啦完整版中文在线观看 | 这里只有精品免费在线视频| 久热精品免费视频4| 99爱视频在线观看| 五月天堂婷婷| 五月婷婷成人| 久久怕怕视频| 97 A I色色| 精品A√| 十一月婷婷激情四射| 成人国产网站| 综合精品99| 99re这里只有精品9| 超碰99久久| 五月丁香婷婷久久| 五月婷婷色综图片| WWW色综合| 乱抡小BB| 五月天婷婷成人网| 桃色伊人在线| 天天色天天噜| 天天做天天摸| 婷婷四色成人综合色视| 色丁香五月婷婷在线| 思思久热6| 激情图片五月天| 婷婷四色五月| 97人人干人人操| 人妻熟女一区二区AV| 亚洲综合另类| 99热大全在线观看| 97五月久久丁香婷婷| 九九国产精视频| 青草激情在线| 婷婷激情五月综合| 婷婷五月天天| 色婷五月| 99热久草| 丁香五月电影| 亚洲成片在线观看| 色激情综合狠狠婷婷| 99久热| 欧美日韩中文国产一区发布| 99热欧美偷拍| 狠狠舔| 丁香网五月天| 91日韩美女被插视频| 就爱操www com| 99啪啪视频| 99视频久久久| 婷婷黄色五月天在线视频| 淑女丝袜bi操逼123| 在线99热| 99re久热| 五月婷婷啪啪网| a网站免费观看| 热99国产精品| 六月婷婷av| 九九婷婷五月天| 色婷婷五月天亚洲| 香蕉久久国产AV一区二区| 色五月婷婷色五月| 亚洲精品国产熟女久久久| 日韩大片艹艹| 欧洲不卡视频| 亚洲五月六月婷婷| 婷婷丁香激情综合色情| 99热碰碰热| 丁香五月综合| 五月天综合久久| 日日夜夜狠狠婷婷色| 成人无码髙潮喷水A片| 狠狠狠人妻| 男人操女人高潮91视频| 久久婷婷五月天激情| 五月婷婷激情综合| 色色网站免费观看| 九九99九九精品视频| 亚洲成人五月| 久热成人| 久9热在线免费观看| 中文字幕+中文在线| 五月天婷婷激情综合| 超碰精品国产首页| 色五月婷婷一二| 九艹在线| 成人精品99| 色9999综合久久| 色婷婷丁香五月在线观看| 成人 九九九九| 婷婷五月天无码| 99热1| 狠狠狠狠狠狠| 婷婷一本和五月丁香| 人碰人人人玩91| 激情六月丁香| 超碰在线国产| 天天舔夜夜操www com| 人妻熟人中文字幕一区二区 | 丁香五月香蕉| 97干视频| 婷婷中文字幕| 精品久久9| 日日综合网| 5月婷婷六月丁香| 91婷婷在线| 俺去啦综合网| 婷婷丁香熟妇综合网| 一本大道熟女人妻中文字幕在线| 久久婷婷丁香六月天| 激情婷婷五月在线合集| 日本丁香五月| 这里只有精品免费视频| 亚洲婷婷丁香五月在线| 色色色色色爱| 婷婷六月天| 天天干天天做| 99在线免费视频| 色五月激情问网站| 九九99精品视频| 五月婷婷与六月丁香图片激情| 日韩色色视频| 丁香婷婷成人网站| dingxiangtingtingliuyue| 丁香五月欧美| 丁香五月婷婷精品视频| 丁香五月激情棕合| 啪啪五月综合| 综合网色综合| 久久久A级视频| 婷婷五月天综合久久日美女| 嫩草极品| 国外亚洲成AV人片在线观看| 这里只有精品1| 五月婷婷综合网| 99综合| 婷婷五月色播放| 五月婷婷六月情| 天天摸天天舔| 日韩色色视频| 一级二级色大片| 热99在线精品| 天天色域综合网| 色五开心五月五月深深爱| 色五月xxx| 4399在线日本A片| 丁香五月天成人| 久久色婷婷| 国产免费AV在线| 五月婷精品| sewuyue第四色| 五月丁香999| 丁香婷婷五月天成人| 97丁香五月| 综合色情网| 在线成人网址| 欧美日本韩国亚洲| 狠狠色噜噜色狠狠狠综合色 | 9l视频自拍九色9l视频自拍九色9l社区| 97久久久久久久久久久| 久久日韩婷婷五月| 亚洲乱码在线观看| 日本的α片xxxwww| 美女久久天堂| 丁香五月婷婷99| 99丁香五月婷| 99国产视频网| 狠狠综合网| 久激情| 久色视频在线| 天天噪夜夜爽| 99久在线视频| 五月婷婷涩涩爱| 九九热欧美| 黄色激情五月天| 婷婷色影院| 金品在线视频99| 五月婷婷狠狠干| 日本三级大片| 久婷自拍视频| 99视频日韩| 亚洲 在线 性爱| 91精品国产91久久久久青草| 久久性爱网| 天天肏天天插| 深爱激情五月网| 任你擦免费视频| 婷婷综合五月天亚洲综合| AV性爱在线| 亚洲欧美综合7777色婷婷| 很很干五月天| 久久婷婷五月天| 狠狠干狠狠色| 久久久久网站| 黄久久久| 激情婷婷丁香| 99日视频在线| 五月婷婷在线观看黄| 五月天堂六月丁香亚州中文字幕久久| 人人干人人干骚美女| 激情第四色| 亚洲第一色网站| 亚洲操逼网| 深爱激情四射| 69热91天堂| 色色色色色色色色色色色色色色,网站| 色狠狠色噜噜AV天堂五区| 亚洲AAAA网|