欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

從最大間隔到核技巧:支持向量機(jī)原理與SMO實(shí)現(xiàn)詳解

從最大間隔到核技巧:支持向量機(jī)原理與SMO實(shí)現(xiàn)詳解 作為一門從零開始啃機(jī)器學(xué)習(xí)的老派教程課支持向量機(jī)這一章我放在第4節(jié)正好卡在大家剛啃完線性模型和損失函數(shù)、還沒被深度學(xué)習(xí)的各種玄學(xué)搞暈的階段。支持向量機(jī)Support Vector MachineSVM是監(jiān)督學(xué)習(xí)里少有的幾門“既有嚴(yán)格數(shù)學(xué)、又有漂亮幾何直覺”的算法它的核心價(jià)值就一句話在特征空間里找一條最優(yōu)分界線并且讓這條線離兩側(cè)樣本都盡可能遠(yuǎn)。這個(gè)“盡可能遠(yuǎn)”的思想后來被叫成最大間隔直接影響到了后世很多分類算法的設(shè)計(jì)。如果你之前只調(diào)過庫(kù)從沒手寫過損失函數(shù)這一章值得靜下心跟一遍如果你正在準(zhǔn)備算法崗面試支持向量機(jī)加核方法更是高頻必考。我會(huì)從最樸素的線性可分出發(fā)一直推到核技巧和軟間隔最后帶著代碼把SMO這種經(jīng)典求解過程拆開給你看整個(gè)實(shí)現(xiàn)從零開始不依賴現(xiàn)成庫(kù)里的訓(xùn)練接口。先說清楚這一章的邊界。我不打算用幾十頁的數(shù)學(xué)推導(dǎo)把你勸退但也不會(huì)繞開關(guān)鍵公式。你要掌握的其實(shí)就是三個(gè)臺(tái)階第一步能用數(shù)學(xué)表達(dá)“最大間隔”第二步知道為什么要引入拉格朗日對(duì)偶以及KKT條件起什么作用第三步理解核函數(shù)到底是把什么“升維”了以及為什么做了映射還能保持內(nèi)積算得動(dòng)。這三步都打通之后SVM在你眼里就不再是黑盒而是三個(gè)很自然的決策環(huán)環(huán)相扣。有人會(huì)問現(xiàn)在XGBoost、LightGBM、神經(jīng)網(wǎng)絡(luò)到處都是SVM還有必要細(xì)學(xué)嗎我的觀點(diǎn)很直接有而且非常有必要。SVM在高維稀疏數(shù)據(jù)、小樣本場(chǎng)景、以及需要可解釋幾何邊界的任務(wù)里依然非常能打。很多工業(yè)風(fēng)控系統(tǒng)至今還在用線性SVM去做首層粗篩就是因?yàn)樗谔卣骶S數(shù)很高但樣本量不大的時(shí)候泛化表現(xiàn)不僅穩(wěn)而且不容易過擬合。更重要的是核方法這套思想本身沒有過時(shí)你后續(xù)看高斯過程、看流形學(xué)習(xí)甚至看某些圖神經(jīng)網(wǎng)絡(luò)里的核式相似度計(jì)算都會(huì)見到它的影子。把這一章吃透收益能輻射到后面好幾個(gè)章節(jié)。1. 內(nèi)容整體設(shè)計(jì)與思路拆解1.1 從線性分類器到最大間隔為什么是“支持向量”先回到二分類最樸素的目標(biāo)場(chǎng)景。假設(shè)我們有一組訓(xùn)練樣本每個(gè)樣本是一個(gè)特征向量標(biāo)簽是正類或負(fù)類。線性分類器的任務(wù)就是找一條直線二維或者超平面高維把兩類樣本分開。如果只用感知機(jī)那一套凡是能把兩類分開的直線都會(huì)被接受最終停在哪里完全取決于初始化參數(shù)和樣本順序這對(duì)泛化來說很難令人放心。支持向量機(jī)的一個(gè)關(guān)鍵改動(dòng)是給這條分界線加了一個(gè)明確的“質(zhì)量指標(biāo)”間隔。間隔可以簡(jiǎn)單理解為離分界線最近的那些樣本點(diǎn)的距離之和。我們希望不僅分類正確還要讓間隔盡量大。為什么間隔大就一定好一種直觀但很有說服力的理解是間隔越大決策邊界對(duì)樣本的輕微擾動(dòng)就越不敏感噪聲帶來的誤判概率更低。換句話說最大間隔分類器是在所有能把兩類分開的直線里挑選其中“最居中、最保守”的那一條。這些離分界面最近的點(diǎn)也就是距離恰好等于間隔的那些樣本就是支持向量。整個(gè)名字的點(diǎn)睛之處就在這里最終決策邊界的幾何位置只依賴這些少數(shù)樣本而其他樣本哪怕分布在很遠(yuǎn)的地方只要沒變成支持向量對(duì)模型的影響就是零。這個(gè)天然稀疏的性質(zhì)讓SVM在推理階段的預(yù)測(cè)開銷很低也讓它對(duì)非支持向量樣本中的噪聲不那么敏感。從空間占用和訓(xùn)練用時(shí)的角度看支持向量通常只占樣本集的一小部分這意味著生產(chǎn)環(huán)境里SVM模型文件往往非常小。我實(shí)際部署過中文短文本意圖分類的SVM模型訓(xùn)練集有幾萬條最后保留的支持向量也就幾千條落盤模型大小只有幾MB在網(wǎng)關(guān)設(shè)備上做實(shí)時(shí)預(yù)測(cè)毫無壓力。相比動(dòng)不動(dòng)就幾百M(fèi)B的深度學(xué)習(xí)模型這種“稀疏決策”的優(yōu)勢(shì)在實(shí)際工程里非常值錢。1.2 這條路為什么難走對(duì)偶問題、軟間隔、核函數(shù)三連跳如果故事只到最大間隔為止那SVM不過是被感知機(jī)多加了半個(gè)幾何約束不至于讓一代學(xué)者研究二十多年。真正的難點(diǎn)在于后續(xù)三連跳。第一跳是原始問題不好解。我們要優(yōu)化的目標(biāo)函數(shù)帶有不等式約束直接對(duì)權(quán)重向量做梯度下降雖然可行但處理約束條件比較麻煩而且很難解釋解的稀疏性。引入拉格朗日對(duì)偶后優(yōu)化變量從權(quán)重向量和偏置換成了一堆拉格朗日乘子約束變得十分簡(jiǎn)單。這一跳的價(jià)值是讓求解算法可以聚焦在乘子上并且為核技巧埋下伏筆。第二跳是數(shù)據(jù)未必線性可分?,F(xiàn)實(shí)中絕大多數(shù)分類問題是線性不可分的比如圓環(huán)形的兩類樣本。軟間隔的概念就是把“硬性全部正確分類”放寬成“允許少數(shù)樣本犯錯(cuò)但要受到懲罰”。每個(gè)樣本引入一個(gè)松弛變量懲罰系數(shù)C控制“容錯(cuò)程度”。C大模型就會(huì)強(qiáng)硬追求分類正確容易過擬合C小模型就允許更多噪聲存在邊界更平滑。這一跳讓SVM從教室里的完美數(shù)學(xué)題變成了能處理真實(shí)臟數(shù)據(jù)的工程方法。第三跳則是核函數(shù)。它的思想可以用一個(gè)很震撼的等式概括在高維特征空間里計(jì)算兩個(gè)樣本的內(nèi)積不一定需要真的把樣本映射過去只要原空間里存在某個(gè)函數(shù)能直接算出等價(jià)的內(nèi)積結(jié)果即可。這就是核技巧kernel trick。比如高斯核它對(duì)應(yīng)的映射空間其實(shí)是無限維的但計(jì)算的復(fù)雜度依然只是O(樣本維數(shù))。這三跳環(huán)環(huán)相扣少任何一步SVM都走不進(jìn)工業(yè)界。后面我會(huì)跟著這三跳的順序一步步把公式推給你看。2. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)2.1 硬間隔SVM的建模約束、目標(biāo)函數(shù)與幾何意義先把問題限定在最簡(jiǎn)單的場(chǎng)景假設(shè)訓(xùn)練樣本線性可分并且二分類標(biāo)簽分別取正一和負(fù)一。超平面的方程可以寫成權(quán)重向量點(diǎn)乘輸入向量加偏置等于零這里面偏置決定了截距方向權(quán)重向量決定了超平面的朝向。對(duì)于任意一個(gè)樣本如果它被正確分類那么它的函數(shù)間隔也就是標(biāo)簽乘以超平面輸出必然大于零。我們希望所有樣本的函數(shù)間隔都至少等于某個(gè)正數(shù)并且這個(gè)正數(shù)越大越好。但這里有個(gè)細(xì)節(jié)容易把人繞暈同時(shí)放大權(quán)重向量和偏置超平面本身沒變函數(shù)間隔卻會(huì)成比例放大。所以直接最大化最小函數(shù)間隔是沒有意義的必須對(duì)權(quán)重向量做歸一化處理。做了歸一化之后幾何間隔就等于函數(shù)間隔除以權(quán)重向量的范數(shù)。這時(shí)優(yōu)化目標(biāo)可以寫成在保證所有樣本幾何間隔至少等于某個(gè)值的前提下最大化這個(gè)值。由于縮放不影響幾何約束通常用一個(gè)小技巧把最小幾何間隔縮放成1于是最大化間隔就等價(jià)于最小化權(quán)重向量范數(shù)的平方。這樣目標(biāo)函數(shù)變成標(biāo)準(zhǔn)的二次型約束全是線性的這就是一個(gè)凸二次規(guī)劃問題。凸二次規(guī)劃意味著沒有局部最優(yōu)的困擾只要問題可解找到的解就是全局最優(yōu)。這一點(diǎn)在機(jī)器學(xué)習(xí)算法里非常難得。神經(jīng)網(wǎng)絡(luò)訓(xùn)練要面對(duì)非凸損失函數(shù)往往是找到一個(gè)“夠好”的局部解而SVM從數(shù)學(xué)上保證了最優(yōu)性這讓它的結(jié)果具有更強(qiáng)的可解釋性。面試?yán)锍枴盀槭裁碨VM的解是全局最優(yōu)”答案就在這里目標(biāo)函數(shù)是凸的約束集是凸的二次規(guī)劃本身是凸優(yōu)化的一類。2.2 拉格朗日對(duì)偶和KKT條件為什么非繞這一圈不可直接求解上一小節(jié)的凸二次規(guī)劃問題并非不行但我們要走拉格朗日對(duì)偶這條路主要是因?yàn)閮蓚€(gè)收益一是把原始問題轉(zhuǎn)換成只依賴內(nèi)積的問題二是為核函數(shù)替換鋪平道路。構(gòu)造拉格朗日函數(shù)時(shí)我們把每個(gè)約束乘上一個(gè)非負(fù)的拉格朗日乘子然后加進(jìn)目標(biāo)函數(shù)里。對(duì)拉格朗日函數(shù)關(guān)于權(quán)重向量和偏置分別求偏導(dǎo)令偏導(dǎo)為零就能得到一組最優(yōu)性條件。把這組條件代回拉格朗日函數(shù)原始優(yōu)化變量會(huì)神奇地被消掉最后剩下來的對(duì)偶目標(biāo)函數(shù)只包含樣本兩兩之間的內(nèi)積以及對(duì)應(yīng)的乘子和標(biāo)簽。這個(gè)“只依賴內(nèi)積”的性質(zhì)是整個(gè)核方法的命根子。想象一下如果樣本特征被映射到了一個(gè)更高維的空間那對(duì)偶目標(biāo)函數(shù)里出現(xiàn)的就是映射后的內(nèi)積。只要我們能找到某個(gè)核函數(shù)它在原空間計(jì)算出的值恰好等于映射后空間里的內(nèi)積就可以在不顯式構(gòu)造高維特征的前提下完成優(yōu)化。KKT條件在這條推導(dǎo)鏈里扮演的角色是刻畫對(duì)偶問題與原問題解等價(jià)的橋梁。只有滿足KKT條件的點(diǎn)才能保證我們對(duì)偶問題的解同時(shí)也是原問題的解。同時(shí)KKT條件還帶出一個(gè)關(guān)鍵推論對(duì)于絕大多數(shù)樣本對(duì)應(yīng)的拉格朗日乘子等于零只有那些落在間隔邊界上或者間隔內(nèi)部的樣本乘子才不為零。后者正是支持向量。所以訓(xùn)練結(jié)束后模型可以丟棄所有非支持向量的樣本只保留乘子非零的那一小撮。2.3 軟間隔與正則化參數(shù)C真實(shí)臟數(shù)據(jù)的妥協(xié)之道在線性不可分的數(shù)據(jù)上硬間隔條件過于苛刻。稍微有點(diǎn)噪聲優(yōu)化問題可能直接不可行拉格朗日乘子無法收斂。軟間隔的想法是給每個(gè)樣本一個(gè)松弛變量讓它的函數(shù)間隔可以低于我們期望的最小值但低于的部分要在目標(biāo)函數(shù)里付出代價(jià)。目標(biāo)函數(shù)變成兩部分權(quán)重向量范數(shù)的平方用來控制間隔大小再加上一個(gè)對(duì)所有松弛變量求和的懲罰項(xiàng)。懲罰系數(shù)C用來平衡“間隔盡量大”和“誤差盡量少”兩個(gè)目標(biāo)。C取很大時(shí)松弛變量幾乎不能存在模型近乎硬間隔對(duì)噪聲極其敏感C取很小時(shí)即使許多樣本分類錯(cuò)誤模型也不會(huì)太在意決策邊界會(huì)變得非常平滑但可能欠擬合。實(shí)操中確定C主要靠交叉驗(yàn)證。我習(xí)慣先在指數(shù)網(wǎng)格上搜索比如C取0.01到1000之間、以10為倍數(shù)的若干個(gè)檔。這樣一輪粗搜后再在最優(yōu)檔附近加密搜索。特征經(jīng)過標(biāo)準(zhǔn)化之后C的合理范圍通常會(huì)落在0.1到100之間。如果C已經(jīng)試到很小仍然過擬合那問題多半不在C而在特征選擇或數(shù)據(jù)質(zhì)量上。軟間隔的另一個(gè)理解視角是損失函數(shù)。如果把松弛變量消掉SVM的目標(biāo)函數(shù)等價(jià)于一個(gè)合頁損失加L2正則項(xiàng)。合頁損失的形狀像一個(gè)“開口向右的折線”對(duì)分類正確的樣本沒有懲罰一旦分類置信度不足或者錯(cuò)誤懲罰隨著距邊界的線性距離增加。這個(gè)等價(jià)關(guān)系能幫你更容易跟其他線性模型做對(duì)比也能解釋為什么SVM對(duì)離群點(diǎn)相對(duì)穩(wěn)健懲罰是線性的而不是像對(duì)數(shù)損失那樣對(duì)異常置信度反應(yīng)劇烈。3. 實(shí)操過程與核心環(huán)節(jié)實(shí)現(xiàn)3.1 從零準(zhǔn)備訓(xùn)練集生成線性可分與環(huán)形數(shù)據(jù)為了把理論扎到實(shí)地我建議你親自動(dòng)手生成兩組數(shù)據(jù)一組是線性可分的二維高斯點(diǎn)一組是環(huán)形分布的線性不可分點(diǎn)。二維數(shù)據(jù)的好處是可視化直觀你可以把決策面、支持向量、間隔邊界都畫出來親眼確認(rèn)算法行為然后再換到高維實(shí)驗(yàn)。生成線性可分?jǐn)?shù)據(jù)時(shí)我通常用兩個(gè)不同均值和相同協(xié)方差的高斯分布各采樣200個(gè)樣本正類標(biāo)簽取正一負(fù)類標(biāo)簽取負(fù)一。為了讓效果更清楚兩類均值之間的距離可以稍微拉開一點(diǎn)比如兩個(gè)中心點(diǎn)距離取2到3倍標(biāo)準(zhǔn)差。環(huán)形數(shù)據(jù)則是讓一類樣本服從半徑較小的環(huán)形分布另一類服從半徑較大的環(huán)形分布二者在二維平面上天然不可線性分開這種數(shù)據(jù)最適合用來展示核函數(shù)的威力。數(shù)據(jù)準(zhǔn)備階段有個(gè)特別容易被忽略的步驟特征標(biāo)準(zhǔn)化。SVM對(duì)特征的尺度非常敏感因?yàn)殚g隔的計(jì)算基于歐氏距離如果某個(gè)特征取值從0到1另一個(gè)從0到10000距離度量幾乎被大頭特征主導(dǎo)間隔的意義就被扭曲了。我用的是對(duì)每個(gè)特征減去均值、再除以標(biāo)準(zhǔn)差這樣所有特征都處在同數(shù)量級(jí)間隔的幾何意義才是等權(quán)的。后續(xù)所有實(shí)驗(yàn)包括核函數(shù)實(shí)驗(yàn)都是在標(biāo)準(zhǔn)化之后的數(shù)據(jù)上做的。代碼實(shí)現(xiàn)時(shí)我會(huì)用一個(gè)簡(jiǎn)單的三元組來描述樣本特征數(shù)組、標(biāo)簽數(shù)組、以及一個(gè)樣本索引數(shù)組。樣本索引數(shù)組在小批量SMO實(shí)現(xiàn)里很有用因?yàn)槲覀円磸?fù)通過索引選中違反KKT條件程度最大的樣本進(jìn)行更新。pythonimport numpy as np # 生成線性可分?jǐn)?shù)據(jù) rng np.random.default_rng(42) n_samples 200 mean_a np.array([-1.5, -1.5]) mean_b np.array([1.5, 1.5]) cov np.array([[0.8, 0.1], [0.1, 0.8]]) X_linear np.vstack([ rng.multivariate_normal(mean_a, cov, n_samples), rng.multivariate_normal(mean_b, cov, n_samples) ]) y_linear np.hstack([np.ones(n_samples), -np.ones(n_samples)]) # 標(biāo)準(zhǔn)化 mean X_linear.mean(axis0) std X_linear.std(axis0) X_linear (X_linear - mean) / std # 生成環(huán)形數(shù)據(jù) theta_a rng.uniform(0, 2 * np.pi, n_samples) theta_b rng.uniform(0, 2 * np.pi, n_samples) r_a 1.0 rng.normal(0, 0.08, n_samples) r_b 2.8 rng.normal(0, 0.08, n_samples) X_ring np.vstack([ np.c_[r_a * np.cos(theta_a), r_a * np.sin(theta_a)], np.c_[r_b * np.cos(theta_b), r_b * np.sin(theta_b)] ]) y_ring np.hstack([np.ones(n_samples), -np.ones(n_samples)]) X_ring (X_ring - X_ring.mean(axis0)) / X_ring.std(axis0)如果你跑過上面代碼會(huì)看到兩類高斯樣本在標(biāo)準(zhǔn)化后有明顯的重疊區(qū)這說明就算“線性可分”也不是干干凈凈一條線切開的而是存在天然噪聲。后面你觀察軟間隔C不同取值時(shí)這個(gè)重疊區(qū)到底怎么處理會(huì)非常直觀。3.2 高斯核函數(shù)與核矩陣的實(shí)現(xiàn)細(xì)節(jié)核函數(shù)的選擇是整個(gè)SVM工程里最需要經(jīng)驗(yàn)的地方。線性核適合特征維數(shù)很高、或本身就是稀疏表示的文本數(shù)據(jù)多項(xiàng)式核帶有顯式的次數(shù)與偏置可以建模有限的非線性高斯徑向基核是實(shí)際項(xiàng)目里用得最多的默認(rèn)選項(xiàng)它只有一個(gè)寬度參數(shù)調(diào)節(jié)起來相對(duì)直觀而且在大多數(shù)中等規(guī)模非線性問題上表現(xiàn)穩(wěn)定。高斯核的公式是兩個(gè)樣本在高維空間的內(nèi)積等價(jià)于原空間里距離平方的指數(shù)衰減函數(shù)。這里面的寬度參數(shù)決定了單個(gè)樣本的影響力半徑。帶寬很小的時(shí)候每個(gè)樣本只對(duì)很近的鄰居有影響決策邊界會(huì)非常復(fù)雜容易過擬合帶寬很大的時(shí)候影響力范圍擴(kuò)大邊界趨于平滑甚至退化成近似線性邊界。核矩陣的存儲(chǔ)和計(jì)算是工程上的一個(gè)關(guān)鍵細(xì)節(jié)。核矩陣是N乘N的對(duì)稱矩陣N是樣本數(shù)。當(dāng)樣本量到了一兩萬核矩陣光存儲(chǔ)就是幾個(gè)GB的浮點(diǎn)數(shù)訓(xùn)練已經(jīng)變得很吃力。這也是為什么SVM很難直接擴(kuò)展到百萬級(jí)數(shù)據(jù)的原因之一。寫代碼時(shí)我會(huì)刻意用float32而不是float64存儲(chǔ)核矩陣并且利用對(duì)稱性只計(jì)算上三角省一半時(shí)間如果樣本數(shù)繼續(xù)膨脹就要考慮線性核或近似核映射方案了。pythondef gaussian_kernel_matrix(X, gamma1.0): # 使用二次展開計(jì)算高斯核矩陣避免顯式循環(huán) sq np.sum(X ** 2, axis1).reshape(-1, 1) dist2 sq sq.T - 2.0 * np.dot(X, X.T) np.clip(dist2, 0, None, outdist2) return np.exp(-gamma * dist2)一個(gè)長(zhǎng)期困擾新手的問題是高斯核里的gamma和軟間隔里的C按理說都可以通過交叉驗(yàn)證調(diào)但到底哪個(gè)先調(diào)我的經(jīng)驗(yàn)是先粗定gamma再調(diào)C然后回到gamma精調(diào)。因?yàn)間amma控制的是數(shù)據(jù)映射后的復(fù)雜度它的量級(jí)直接影響C的合理區(qū)間。先用默認(rèn)的經(jīng)驗(yàn)公式給gamma一個(gè)初始值就是取特征維數(shù)的倒數(shù)然后在這個(gè)值附近以對(duì)數(shù)刻度搜索效果通常不會(huì)差。3.3 手寫SMO算法主循環(huán)、KKT篩選與乘子更新序列最小優(yōu)化SMO是讓SVM能真正應(yīng)用到中等規(guī)模數(shù)據(jù)的核心算法。它的總體思路是既然一次優(yōu)化所有乘子很難那就每次只挑兩個(gè)乘子做解析優(yōu)化不斷循環(huán)直到所有乘子都滿足KKT條件。之所以成對(duì)更新是因?yàn)闃?biāo)簽正負(fù)一的情況下所有乘子要滿足一個(gè)線性等式約束一次只變一個(gè)很容易破壞這個(gè)等式。標(biāo)準(zhǔn)SMO代碼的行數(shù)往往不長(zhǎng)但每個(gè)細(xì)節(jié)都有講究。主循環(huán)分兩層外層掃描違反KKT條件最嚴(yán)重的樣本內(nèi)層為這個(gè)樣本尋找一個(gè)配對(duì)的伙伴。配對(duì)選擇的講究在于步長(zhǎng)要盡可能大。步長(zhǎng)可以解析計(jì)算本質(zhì)上是兩個(gè)樣本在高維空間的距離度量找到步長(zhǎng)最大的配對(duì)能讓一次更新幅度最大收斂更快。乘子更新的解析公式看起來有點(diǎn)復(fù)雜但思路其實(shí)很直白先算出誤差項(xiàng)再基于核矩陣值算出步長(zhǎng)分母用舊的乘子和誤差修正出未剪輯的新值最后把新值裁剪到0和C之間。裁剪到0和C之間這一步對(duì)應(yīng)著軟間隔的盒約束。更新完兩個(gè)乘子后偏置也要跟著修正。偏置的更新公式稍微繁一點(diǎn)因?yàn)樗趦蓚€(gè)乘子都不在邊界上的情況下才能直接用誤差算出精確值否則只能用兩個(gè)值的平均來近似。pythondef svm_smo(X, y, C, gamma, tol1e-3, max_passes10): n_samples, n_features X.shape K gaussian_kernel_matrix(X, gamma) alpha np.zeros(n_samples) b 0.0 passes 0 while passes max_passes: num_changed 0 for i in range(n_samples): Ei np.dot(alpha * y, K[i]) b - y[i] # 檢查是否違反KKT條件 if (y[i] * Ei -tol and alpha[i] C) or (y[i] * Ei tol and alpha[i] 0): j np.random.randint(0, n_samples - 1) if j i: j 1 Ej np.dot(alpha * y, K[j]) b - y[j] alpha_i_old, alpha_j_old alpha[i].copy(), alpha[j].copy() if y[i] ! y[j]: L max(0, alpha_j_old - alpha_i_old) H min(C, C alpha_j_old - alpha_i_old) else: L max(0, alpha_i_old alpha_j_old - C) H min(C, alpha_i_old alpha_j_old) if L H: continue eta 2.0 * K[i, j] - K[i, i] - K[j, j] if eta 0: continue alpha[j] alpha_j_old - y[j] * (Ei - Ej) / eta alpha[j] min(C, max(L, alpha[j])) if abs(alpha[j] - alpha_j_old) 1e-5: continue alpha[i] alpha_i_old y[i] * y[j] * (alpha_j_old - alpha[j]) b1 b - Ei - y[i] * (alpha[i] - alpha_i_old) * K[i, i] \ - y[j] * (alpha[j] - alpha_j_old) * K[i, j] b2 b - Ej - y[i] * (alpha[i] - alpha_i_old) * K[i, j] \ - y[j] * (alpha[j] - alpha_j_old) * K[j, j] if 0 alpha[i] C: b b1 elif 0 alpha[j] C: b b2 else: b (b1 b2) / 2.0 num_changed 1 if num_changed 0: passes 1 else: passes 0 return alpha, b這段代碼可以讓你在幾百個(gè)樣本上穩(wěn)穩(wěn)收斂但性能還沒法和成熟的庫(kù)比。原因在于我把內(nèi)層配對(duì)直接用了隨機(jī)采樣沒有做啟發(fā)式優(yōu)化。如果你的目的是理解原理這已經(jīng)足夠了如果你想拿來做工程建議在此基礎(chǔ)上加一個(gè)緩存誤差值的技巧。每輪更新完后把每個(gè)樣本的預(yù)測(cè)誤差緩存在一個(gè)數(shù)組里外層掃描時(shí)就不用重復(fù)計(jì)算整個(gè)核矩陣的乘積速度能提升好幾倍。3.4 決策函數(shù)、可視化驗(yàn)證與測(cè)試集效果訓(xùn)練完成后決策函數(shù)的形式非常簡(jiǎn)潔新樣本的分類置信度等于支持向量對(duì)應(yīng)乘子、標(biāo)簽和核內(nèi)積的加權(quán)和再加上偏置。由于非支持向量的乘子為零實(shí)際求和只需遍歷支持向量。預(yù)測(cè)時(shí)判斷置信度的符號(hào)即可正為正向類別負(fù)為負(fù)向類別。置信度的絕對(duì)值還能當(dāng)作分類置信度使用絕對(duì)值越大離決策面越遠(yuǎn)。為了直觀驗(yàn)證SMO實(shí)現(xiàn)是否正確我把線性可分?jǐn)?shù)據(jù)的決策面畫在一張圖上同時(shí)把支持向量圈出來。你會(huì)看到支持向量的數(shù)量遠(yuǎn)遠(yuǎn)小于樣本總數(shù)而且確實(shí)都落在間隔邊界附近。對(duì)環(huán)形數(shù)據(jù)用線性核畫出來的決策面是混亂的分類準(zhǔn)確率可能只到70%換上高斯核之后決策面變成一條環(huán)形閉合曲線能幾乎完美地把內(nèi)外圈分開準(zhǔn)確率可以拉到98%以上。這一套對(duì)比實(shí)驗(yàn)是所有初學(xué)支持向量機(jī)的人最有成就感的時(shí)刻因?yàn)槟阌H眼看到了核方法從“分不開”到“畫成環(huán)”的轉(zhuǎn)變。我把決策函數(shù)的實(shí)現(xiàn)寫在下面順便加上了一個(gè)返回支持向量索引和間隔寬度的小工具方便你排查問題。pythondef decision_function(X, alpha, b, y, X_sv, gamma): K gaussian_kernel_matrix(X_sv, gamma) # 對(duì)每個(gè)新樣本計(jì)算它與所有支持向量的核內(nèi)積加權(quán)和 scores np.zeros(X.shape[0]) for n in range(X.shape[0]): k_n np.exp(-gamma * np.sum((X_sv - X[n]) ** 2, axis1)) scores[n] np.dot(alpha * y, k_n) b return scores實(shí)驗(yàn)中如果發(fā)現(xiàn)訓(xùn)練準(zhǔn)確率幾乎100%、測(cè)試準(zhǔn)確率卻很低第一反應(yīng)先查標(biāo)準(zhǔn)化參數(shù)是否泄漏。正確的做法是只用訓(xùn)練集的均值和標(biāo)準(zhǔn)差去標(biāo)準(zhǔn)化測(cè)試集絕不能把測(cè)試集混進(jìn)來一起計(jì)算否則測(cè)試集的分布信息偷偷進(jìn)入了模型測(cè)試分?jǐn)?shù)會(huì)虛高。4. 常見問題與排查技巧實(shí)錄4.1 訓(xùn)練不收斂或振蕩C、gamma與容差參數(shù)怎么背鍋手寫SMO最常見的現(xiàn)象是訓(xùn)練循環(huán)一直不滿足停機(jī)條件表現(xiàn)為passes計(jì)到上限仍然沒有收斂。這個(gè)時(shí)候先不要懷疑公式抄錯(cuò)了第一優(yōu)先級(jí)是檢查核矩陣有沒有數(shù)值問題。高斯核矩陣當(dāng)gamma偏大時(shí)對(duì)角元素是1但非對(duì)角元素可能小到接近浮點(diǎn)下溢導(dǎo)致數(shù)值上奇異優(yōu)化步長(zhǎng)計(jì)算失真。我實(shí)際遇到過對(duì)角元素和非對(duì)角元素相差十個(gè)數(shù)量級(jí)的情況最終通過把gamma調(diào)小兩個(gè)數(shù)量級(jí)就解決了。第二優(yōu)先級(jí)是看C的取值是否和標(biāo)簽尺度匹配。別忘了標(biāo)簽是正負(fù)一而特征經(jīng)過標(biāo)準(zhǔn)化后取值范圍通常在負(fù)三到正三之間。如果你把C設(shè)成10000相當(dāng)于每個(gè)樣本允許的誤差懲罰極大SMO為了滿足所有樣本分類正確會(huì)讓大量乘子頂?shù)缴舷迶?shù)值解非常激進(jìn)收斂自然慢。先用C等于1在交叉驗(yàn)證粗搜里起步等于給自己選了一個(gè)相對(duì)溫和的起點(diǎn)。第三優(yōu)先級(jí)才是容差。訓(xùn)練代碼里的tol參數(shù)控制KKT條件檢查的苛刻程度。這里有個(gè)取舍t(yī)ol太小訓(xùn)練時(shí)間顯著變長(zhǎng)tol太大模型還沒真正收斂就停了。經(jīng)驗(yàn)值取1e-3對(duì)大多數(shù)中小規(guī)模數(shù)據(jù)都?jí)蛴萌绻歉呔S稀疏文本特征可以放寬到1e-2視覺上決策面幾乎沒有變化但訓(xùn)練時(shí)間能快一半。訓(xùn)練時(shí)打印每輪的更新次數(shù)也是好習(xí)慣如果更新次數(shù)持續(xù)下降說明正在收斂如果忽高忽低長(zhǎng)時(shí)間不降就要回頭查數(shù)據(jù)預(yù)處理。4.2 預(yù)測(cè)偶發(fā)異常數(shù)值邊界與類別不平衡的隱藏坑有時(shí)訓(xùn)練一切正常但預(yù)測(cè)新樣本時(shí)偶發(fā)返回一個(gè)異常大的置信度絕對(duì)值尤其是特征中出現(xiàn)稀疏高值的時(shí)候。核函數(shù)本身是指數(shù)衰減理論上輸出不可能過大問題往往出在標(biāo)準(zhǔn)化環(huán)節(jié)線上實(shí)時(shí)預(yù)測(cè)時(shí)用于標(biāo)準(zhǔn)化的均值和標(biāo)準(zhǔn)差和訓(xùn)練時(shí)不一致。排查方法很簡(jiǎn)單直接打印線上樣本標(biāo)準(zhǔn)化后的特征向量看是否出現(xiàn)超過十個(gè)標(biāo)準(zhǔn)差的離譜值。類別不平衡在SVM里也是個(gè)隱患。如果正類只有幾十個(gè)樣本負(fù)類有上萬樣本SVM傾向把決策面推離負(fù)類導(dǎo)致正類召回率極低。對(duì)這個(gè)問題我常做的處理是給兩類分別設(shè)置不同的懲罰系數(shù)。實(shí)現(xiàn)時(shí)只需把每個(gè)樣本自己的C乘上一個(gè)類別權(quán)重正類權(quán)重取負(fù)類樣本數(shù)除以正類樣本數(shù)負(fù)類權(quán)重保持為1。這個(gè)“類別加權(quán)”在很多場(chǎng)景里能顯著提升少數(shù)類召回率代價(jià)是多了個(gè)超參數(shù)要調(diào)。還有一個(gè)容易被忽略的點(diǎn)是特征包含常量列。標(biāo)準(zhǔn)化時(shí)常量列的方差為零除出來就是無窮大。我的習(xí)慣是在標(biāo)準(zhǔn)化前先檢查方差小于1e-8的特征直接刪掉。否則訓(xùn)練過程不一定報(bào)錯(cuò)但會(huì)有隱式的數(shù)值警告導(dǎo)致結(jié)果不可復(fù)現(xiàn)。這件事踩過坑的人都懂代碼里加兩行預(yù)處理能省很多排查時(shí)間。4.3 從二分類到多分類一對(duì)一、一對(duì)多與決策值融合SVM天然是二分類器多分類問題需要組合策略。一對(duì)多是最直接的思路類別數(shù)為K就訓(xùn)練K個(gè)二分類器每個(gè)負(fù)責(zé)區(qū)分“當(dāng)前類”和“其余所有類”。預(yù)測(cè)時(shí)選置信度最大那個(gè)類別。這種方案訓(xùn)練K個(gè)模型即可但每個(gè)模型面對(duì)的是不平衡的二分類問題類別數(shù)多時(shí)負(fù)類樣本會(huì)異常龐大訓(xùn)練速度受拖累。一對(duì)一策略則是為每?jī)蓚€(gè)類別組合訓(xùn)練一個(gè)分類器K類就要訓(xùn)練K乘(K減1)除以2個(gè)模型。預(yù)測(cè)時(shí)所有分類器投票得票最多的類別勝出。由于每個(gè)子問題只涉及兩類樣本訓(xùn)練速度和穩(wěn)定性都更好但模型數(shù)量多推理階段要跑大量分類器。在類別數(shù)不超過10的經(jīng)典數(shù)據(jù)集上一對(duì)一通常比一對(duì)多更準(zhǔn)這也是很多成熟庫(kù)默認(rèn)多分類策略選一對(duì)一的原因。實(shí)際工程里我還會(huì)用置信度融合而不是簡(jiǎn)單投票。也就是保留每個(gè)一對(duì)一分類器輸出的置信度絕對(duì)值按類別累計(jì)然后再取最大值。簡(jiǎn)單投票只關(guān)心贏家會(huì)丟失置信度信息尤其在類別間容易混淆時(shí)置信度融合能提高預(yù)測(cè)穩(wěn)定性。不過這套做法不是SVM理論的一部分更像是在工程調(diào)優(yōu)中積累的經(jīng)驗(yàn)我建議你做完基礎(chǔ)實(shí)驗(yàn)后再嘗試。5. 工具選型與性能對(duì)比分析5.1 自研實(shí)現(xiàn)、成熟庫(kù)與近似核怎么選才不踩坑如果你只是學(xué)原理自研SMO就是最佳選擇。它讓你對(duì)每個(gè)變量、每個(gè)公式都有了肌肉記憶后面看任何框架源碼都輕松得多。但把它用到生產(chǎn)環(huán)境就不太明智了因?yàn)槌墒斓膶?shí)現(xiàn)會(huì)做大量工程優(yōu)化比如緩存、工作集選擇、冷熱數(shù)據(jù)分離、稀疏矩陣支持等一個(gè)樸素SMO很難追上。當(dāng)前最常見的選型有幾種。針對(duì)中小規(guī)模數(shù)據(jù)集成熟庫(kù)的經(jīng)典實(shí)現(xiàn)非常成熟而且內(nèi)置了概率校準(zhǔn)和多分類策略適合快速驗(yàn)證以及落地。針對(duì)大規(guī)?;蚋呔S稀疏場(chǎng)景線性SVM專用求解器往往能快幾個(gè)數(shù)量級(jí)因?yàn)樗鼈儾粯?gòu)建完整核矩陣直接用坐標(biāo)下降法或者隨機(jī)平均梯度法優(yōu)化帶L2正則的合頁損失。針對(duì)超大規(guī)模數(shù)據(jù)還有隨機(jī)特征映射這類近似核方法把高斯核用隨機(jī)傅里葉特征近似成有限維顯式特征然后套用線性模型求解訓(xùn)練和預(yù)測(cè)都快很多但特征維數(shù)需要調(diào)。我建議你在三個(gè)層級(jí)上都試一遍。學(xué)原理用自研日常工作用成熟庫(kù)面對(duì)海量用戶行為特征或者在線學(xué)習(xí)任務(wù)時(shí)優(yōu)先考慮線性求解器。不同選型的誤差差距通常在可以接受的范圍但訓(xùn)練時(shí)間的差距可能是幾十倍。真正的經(jīng)驗(yàn)是不要在核SVM上硬扛超大樣本換近似方案往往收益更大。5.2 特征標(biāo)準(zhǔn)化、核函數(shù)選擇與調(diào)參經(jīng)驗(yàn)表做SVM實(shí)驗(yàn)標(biāo)準(zhǔn)化不是一個(gè)可選項(xiàng)而是一個(gè)必選項(xiàng)。線性核的直接后果是權(quán)重向量解釋性變強(qiáng)但如果特征尺度不一超平面會(huì)更偏向數(shù)值大的特征導(dǎo)致模型被無關(guān)特征主導(dǎo)。高斯核對(duì)尺度更敏感特征距離被大尺度方向主導(dǎo)后果更加嚴(yán)重。核函數(shù)選擇上我先給一個(gè)非常實(shí)用的決策次序如果你的特征維數(shù)遠(yuǎn)大于樣本數(shù)直接上線性核因?yàn)楦呔S空間里樣本大概率已經(jīng)近似線性可分如果樣本量遠(yuǎn)大于特征維數(shù)優(yōu)先試高斯核如果特征是圖像直方圖或文本詞頻這類非負(fù)稀疏向量線性核往往出人意料地好。多項(xiàng)式核容易產(chǎn)生數(shù)值不穩(wěn)定尤其是高次項(xiàng)我很少用字符串核或自定義核屬于特殊場(chǎng)景但如果你熟悉核矩陣的定義方式實(shí)現(xiàn)一個(gè)自定義核也不算難。調(diào)參經(jīng)驗(yàn)我整理成一張速查表方便你參考場(chǎng)景核函數(shù)關(guān)鍵超參數(shù)初始搜索范圍備注高維稀疏文本線性C0.01 ~ 100特征標(biāo)準(zhǔn)化可省中等規(guī)模數(shù)值特征高斯核C、gammaC: 0.1 ~ 100gamma: 特征維數(shù)倒數(shù)附近先粗調(diào)gamma再調(diào)C類別不平衡線性或高斯核C、類別權(quán)重C: 0.1 ~ 10給少數(shù)類更高權(quán)重大樣本近似隨機(jī)傅里葉特征映射維數(shù)、C維數(shù)取幾百到幾千訓(xùn)練快但精度略降調(diào)參的順序和耐心很重要。不要上來就網(wǎng)格搜索幾千個(gè)組合而是先在一個(gè)粗略的對(duì)數(shù)網(wǎng)格上跑一遍畫出準(zhǔn)確率熱力圖確定最優(yōu)區(qū)域后再在熱力圖上縮小區(qū)間精調(diào)一次。一個(gè)二維熱力圖就能看清C和gamma之間的相互作用這一步做完你對(duì)數(shù)據(jù)的理解都會(huì)上一個(gè)臺(tái)階。5.3 與邏輯回歸、隨機(jī)森林的對(duì)比心得把SVM和邏輯回歸對(duì)比時(shí)最大的感受是SVM更“摳”支持向量而邏輯回歸會(huì)把所有樣本都拉進(jìn)梯度計(jì)算。邏輯回歸受到全部樣本的影響即便某個(gè)樣本離分類正確邊界很遠(yuǎn)它的梯度依然不為零所以邏輯回歸對(duì)全局分布更敏感。SVM則只關(guān)心邊界上的少數(shù)樣本這讓它在樣本不均衡的場(chǎng)景里更易受到支持向量數(shù)量影響但從另一個(gè)角度看它也更少被遠(yuǎn)離邊界的噪聲拉偏。隨機(jī)森林這類樹模型不需要特征標(biāo)準(zhǔn)化能自動(dòng)處理非線性關(guān)系對(duì)異常值也更魯棒。但它不具備天然的決策面幾何解釋預(yù)測(cè)結(jié)果解釋起來不如SVM直觀。在風(fēng)控場(chǎng)景中SVM的權(quán)重向量在標(biāo)準(zhǔn)化后可以直接展示特征重要性這種線性可解釋性是樹模型很難直接替代的。如果你在做特征工程可以嘗試把SVM的置信度作為一個(gè)新特征拼進(jìn)樹模型。這種做法在我的項(xiàng)目里出現(xiàn)過幾次效果出奇地好因?yàn)镾VM和樹模型捕捉的決策模式不同融合后能夠互補(bǔ)。這也說明不同算法之間并不一定要二選一有時(shí)候把它們當(dāng)作特征生成器反而更有價(jià)值。6. 總結(jié)與擴(kuò)展方向6.1 支持向量機(jī)在高維小樣本場(chǎng)景的獨(dú)特優(yōu)勢(shì)我見過許多團(tuán)隊(duì)在樣本量只有幾百、特征維度卻有一兩萬時(shí)依然用深度模型硬跑結(jié)果過擬合得一塌糊涂。同樣的數(shù)據(jù)交給帶L2正則的線性SVM反而能拿到穩(wěn)定可用的結(jié)果。支持向量機(jī)通過間隔最大化和L2正則的雙重約束在高維小樣本場(chǎng)景里天然具備較強(qiáng)的抗過擬合能力。核方法雖然在大數(shù)據(jù)上受限于核矩陣但線性稀疏特征場(chǎng)景下線性SVM能非常優(yōu)雅地工作在生產(chǎn)環(huán)境。這也解釋了為什么在生物信息學(xué)、文本分類和金融風(fēng)控這些“維度高、樣本少”的領(lǐng)域SVM至今仍有存在感。做算法選型的時(shí)候別只盯著榜上性能第一的模型還要考慮訓(xùn)練數(shù)據(jù)規(guī)模、推理延遲和可解釋性。SVM在這些工程約束下常常是性價(jià)比最高的選擇。6.2 核思想的后續(xù)延展高斯過程、流形學(xué)習(xí)與深度核學(xué)習(xí)核方法并沒有停步于SVM。高斯過程回歸本質(zhì)上是把核函數(shù)當(dāng)作樣本間協(xié)方差的先驗(yàn)?zāi)阍赟VM里熟練的核矩陣計(jì)算換了角度看就是協(xié)方差矩陣的構(gòu)造。流形學(xué)習(xí)里的核主成分分析也是在各種核空間里做PCA尋找非線性主方向。很多帶“核”字的方法底層思想都脫胎于我們?cè)谥С窒蛄繖C(jī)里看到的這個(gè)內(nèi)積替換。近些年也出現(xiàn)了深度核學(xué)習(xí)的研究方向簡(jiǎn)單說就是用深度神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)一個(gè)核函數(shù)再套用到SVM或者高斯過程框架里。這種組合試圖把深度表示學(xué)習(xí)的特征提取能力和核方法的全局優(yōu)化優(yōu)勢(shì)結(jié)合在一起。雖然還談不上全面替代神經(jīng)網(wǎng)絡(luò)但至少說明核技巧的思想有很強(qiáng)的生命力。如果你做完這一章的所有實(shí)驗(yàn)我建議你再做兩個(gè)小擴(kuò)展。一是把自定義損失函數(shù)里的正則化項(xiàng)改成L1范數(shù)看看支持向量的稀疏性怎么變化二是把高斯核換成余弦相似度核用在文本分類上感受一下不同相似度定義對(duì)決策邊界的影響。這兩個(gè)擴(kuò)展能讓你的理解更立體也為后續(xù)其他模型的學(xué)習(xí)打好基礎(chǔ)。6.3 我在實(shí)際項(xiàng)目中用SVM踩過的最后一個(gè)坑最后分享一個(gè)真實(shí)項(xiàng)目里遇到的細(xì)節(jié)。當(dāng)時(shí)某個(gè)文本審核模型的訓(xùn)練準(zhǔn)確率很高上線后卻出現(xiàn)大量誤殺。排查了很久才發(fā)現(xiàn)訓(xùn)練時(shí)我用的是全量數(shù)據(jù)的均值和標(biāo)準(zhǔn)差做標(biāo)準(zhǔn)化但線上推理由另一套代碼負(fù)責(zé)那邊從數(shù)據(jù)庫(kù)讀取特征時(shí)少做了一個(gè)字段的標(biāo)準(zhǔn)化。特征分布不一致導(dǎo)致SVM的決策面瞬間偏移。后來我在模型包里額外存了一份標(biāo)準(zhǔn)化參數(shù)預(yù)測(cè)代碼里強(qiáng)制從模型包讀取才徹底根治。這個(gè)坑與SVM本身沒關(guān)系但它提醒我一件事支持向量機(jī)是一個(gè)對(duì)特征分布極其敏感的模型部署鏈路中任何一環(huán)改變特征計(jì)算方式模型都可能靜默劣化。所以我把這條經(jīng)驗(yàn)寫在這兒希望你在上線之前務(wù)必構(gòu)建一個(gè)完整的端到端驗(yàn)證讓訓(xùn)練代碼和推理代碼共用同一套預(yù)處理模塊。這是所有用SVM做生產(chǎn)的工程師都應(yīng)該養(yǎng)成的基本習(xí)慣。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色色色色色爱| 五月丁香婷婷六月天| se婷97| 99久久高清视频| 亚洲亚洲人成综合网络| 色色热| 丁香五月婷婷激情蜜桃| 99久re热视频精品98| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | www.夜夜操| 九九视频这里只有精品| 久久99热这里只频精品6学生| www.婷婷五月| 国产激情综合五月久久| 久久五月天婷婷| 激情综合婷婷| 天天射影| 就爱射中文字幕资源网| 五月丁香六月天| 丁香五月激情网| 韩国情人在线电视剧免费观看高清版全集| 开心激情婷婷| 综合九九日本| 久久久久思思热| 玖玖爱综合网| 久久婷婷五月天| 日本va欧美va精品发布视频| 思思热精品在线视频| 婷婷五月中文字幕| 玖玖资源站蜜臀| 欧美性生交XXXXX无码小说| 91传媒无码人妻精| 9热超碰| 色婷婷狠| AV九九| 31色区视频免费看| 99丁香五月婷| 97操操| 六月婷婷无码| 日韩婷婷| 91精品丝袜久久久久久| 青青草伊人婷婷| 亚洲另类婷婷五月丁香在线播放| 五月丁香婷婷色| 色欲婷婷夜夜| 大香蕉伊人99| 综合激情啪啪| 久久九九激情五月天 | 性欧美大战久久久久久久83| 亚洲 在线 性爱| 99这里有精品视频| 婷婷丁香五月噜噜噜| 亚洲av成人一区二区电影在线| 丁香五月老师| 国产XXXX搡XXXXX搡麻豆| 九九热91| 久热re视频在线观看网站| 色色色色色色色色综合网| 5月丁香综合图区| 综合网啪| 日本婷婷色日| 99热精品一区| 麻豆AV一区二区三区| 中文精品在| 六月激情网| 字母不卡码人逼| 色狠狠色噜噜AV天堂五区| 九九热在线精品视频| 九九综合色| 九九精品网| 99热这里只有免费| 超碰爱爱爱| 五月花免费视频| 玖玖资源在线视频| 97人人干人人操| 激情五月丁香六月婷婷| 五月丁香啪啪啪| 五月丁香婷婷成人网| 欧洲精品欧洲情| 这里只有精彩小视频视频网站| 综合激情婷婷| 色五月成人在线| www.com操| 婷婷五月天成人动漫| 婷婷五月情色| 高清无码视频网址| 欧美日韩成人在线| 性做爰A片免费视频A片直播 | 日本操碰碰| 婷婷色在线播放| 久久伊人9| 开心五月综合| 直接看的AV| 午夜丁香婷婷| 亚洲无码免费看| 97碰碰九九视频| 亚洲色图啪啪| 深爱五月激情综合| 色五月激情| 久热 91| 亚洲色网络| 777影视理论片大全在线观看| 色青青电影色五月| 丁香五月婷婷啪| 久久精品小视频| 狠狠色婷婷六月激情网| 五月丁香六月婷婷激情网| 亚欧州精品视频| 黄色三级日本| 亚洲综合色婷婷| 99久久9| 97久久婷婷色| 五月香蕉综合| 九九热精品视频九九| 99成人在线观看| 天天做夜夜爽| 99碰| av中文网站| 成人狠狠成人狠狠成人狠狠成人狠狠 | www.婷婷五月天,com| 婷婷五月色情天| 六月伊人婷婷| 玖玖资源在线视频| 久久性刺激| 东北婷婷五月天| 日本婷婷色日| 97综合视频在线| 99视频久久| 亚洲国产精品五月天| 婷婷色基地| 九九热黄色| 色情成人五月天| 综合久久婷婷| 91久久精品无码一区二区三区| 欧美日本日韩| 五月天婷a在线| 色五月在线观看| 天天日天天色| 国产婷婷色五月| 99青青草| 婷婷五月丁香亚洲| 丁香六月亚洲| 伊人久久婷婷| 最新午夜理论片| 久艹大香蕉| 亚洲视频另类| 深爱婷婷丁香五月激情| 午夜丁香久久久久久| 99色在线视频观看| 国产精品电影| 一个色的综合| 丁香六月婷婷综合| 美欧成人视频| 大香蕉欧美在线| 亚洲成人AV一区在线观看| 99这里只有精品视频在线| 综合XX网| 久久九九@| 色五月婷婷五月丁香五月| 99在线精品视频| 99热只有精品综合| 操操啪| 99re热在线视频| 99热成人| 啪啪激情综合| 色五月丁香五月| 精品九九在线观看视频| 8090在线影视少妇| 婷婷五月天熟妇| 国产性av| 五月婷婷激情视频| 激情图片久久| 天天日天天爽| 丁香六月色婷婷欧美| 成人精品在线| 偷拍91九色| 激情五月婷婷丁香综合网| 伊人9在线| 婷婷五月骚厕所| 人人色人人弄人人操| 五月天婷婷自拍图片在线观看| 99视频在线精品| 婷婷永久在线| 超碰人人草| 五月丁香六月日逼| 北条麻妃伊人| 天天日综合| 欧美69色| 99视频这里有精品| 五月丁香六月婷婷亚洲| 国产女生爱爱AA| 99久久性爱| 亚洲天堂爱爱| 91一起艹| 玖玖精品资源| 女人天堂久久| 成人无码精品1区2区3区免费看| 五月婷久久| 91久久久久久久久久18| WWW.99视频| 婷婷欧美激情| 丁香激情网| 激情五月天无码| 国精产品一区一区三区免费视频| 婷婷九月在线| 五月天开心成人网| 婷婷九色| 日韩无码AV电影网站| 日日狠狠久久偷偷四色综合免费| 日本 欧美在线| www.夜夜操| www.热99热| 婷婷婷久久久| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 亚洲另类婷婷五月综合| 伊人碰碰碰| 五月婷婷啪啪网| 色婷丁香91| 亚洲五月天婷婷综合| 在线中文字幕av| 亚洲激情 久久| 欧美超级视频97| 丁香五月AV| 嫩BBB槡BBBB搡BBBB| 色婷婷丁香五月| 91综合国免费久入| 人人摸人人| 夜夜嗨一区二区三区直播内容 | 无码人妻一区二区三区四区| 99热99免费| 久re热视频| 桃色五月天| 激情伍月 欧美| 97操碰在线视频| 五月天婷婷基地| 五月丁香激情综合欧美| 亚洲操精品| 99re思思在线视频| 六月丁香久久| 亚洲乱码日产精品BD| 91亚洲免费片| 特级操b片| 五月婷婷黄网站大全| 欧美色97| 欧美日韩99| 色噜噜狠狠色综合日日免费| 玖玖色综合| 色色aⅤ網| 欧美在线| 久久天天| 97碰操| 思思热热久久| 精品久久久91久久影视网| 五月天在线视频尤物视频在线看| 婷婷六月综合基地| 99在线精品免费视频| 久久国产精品乱子伦_靑青草…| 美国十月色婷婷在线观看| 五月婷婷黄色网址| 大香蕉九九| 国产五月婷| 99色久| 婷婷亚洲天堂| 五月天婷婷丁香| 久久一伦| 女人高潮内射99精品| 一區四區歐美日韓| 九九超碰人人| www.黄色片-久久成人国产精品在线播放-999AV | 日韩精品无码99| 日韩aⅴ视频| 亚洲婷婷五月天| 97色天堂| 99综合视频| 噢美99| 色婷婷操逼| 精品色| site:ornaments52.com| 欧美丁香五月97色| 99热热热国产超碰| 亚洲黄色操逼| 情色婷婷五月天| 色播婷婷五月天| 99热色婷婷| 996er热| 五月丁香婷婷综合久久| 丁香婷婷影院| 99热亚洲| 五月天伊人日日噜影片AV| 久久XX| 91好好热日本在线| 免费播放片大片| 一区二区无码视频| www五月天com| 国产成人精品一区二区三区视频| 婷婷综合色五月天| 操碰久| 精品九九久久| 大香蕉综合| 激情五月激情综合网| 夜夜做夜夜愛| www九九| 天天干电影| 激情综合色播| 26uuu淫色| 99热在线观看| aaaaa不卡| 九九成人视频| 国产黄色在线| 97超级免费无码| 欧美精品狠狠色丁香婷婷| 成人网在线视频| 婷婷在线激情| av在线观看网站| 五月婷婷丁香大陆免费| 色青五月天| 狠狠色丁香| 伊人春天av| 久色五月| 99久久久99久久91熟女| 色欧美日| 天天干,噜噜色,狠狠色| 天天操婷婷| 色情丁香五月婷婷精品| 色伦专区97中文字幕| 色五月婷婷五月天| 99热在线精品播放| 五月婷婷六月丁香在线视频| 国产激情av| 99色天堂| 五月婷婷香蕉视频| 久99久视频精选| 国产精品视频免费看| 永久免费视频| 99热免费| www.99热这里精品| 色欲资源网| 六月丁香网| 99综合熟女| 丁香色婷婷| 婷婷丁香第一页| 狠狠狠狠狠草| 日本丁香久在线| 五月六月播婷婷| 丁香六月婷婷久久综合| 国产超碰在线| 日韩人妻在线观看| 67194线路二在线观看| 五月久久丁香| www.热99热| 色色吧综合| 国产无遮挡又黄又爽免费网站| 欧美内射AAAAAAXXXXX| 久久久99视频| 久久九九免费视频| 另类图片婷婷五月天| 婷婷涩五月| 欧美婷婷精品激情| 亚洲国产精品二二三三区| 久操干| 日本va欧美va精品发布视频| 婷婷色五天| 丁香婷婷色九月| 丁香激情五月天| 亚洲成人丁香花| 国产精品久久99| 99性爱| 五月丁香啪啪网| 99爱精品| 成人超碰Av| 久热精品在看| 色哟哟www| 久久色情| 伊人香大香蕉视频| 五月丁香琪琪| 久鲁鲁色网 | 伊人网大香| 人人做天天爱| 久久精品63| 五月婷婷影| 婷婷五月丁香激情| 五月激情小说| AV动漫不卡无码免费| 五月丁香六月欧美综合网站| 欧美久久婷婷| 激情亚洲婷婷六月| 日本三级成人秘书精品片| www夜夜操comwww| 中文字幕激情综合| 国产精品涩涩涩视频网站| 亚洲、热| 99熟女| 色色亚洲视频| 亚洲色五月| 丁香五月天色婷婷| 免费看欧美成人A片无码 | www色色色com| 草草色情综合网| 爽天天天天天天天| 综合色五月| 怡红院 久久| 色婷婷四虎| 成人国产网站在线免费看| 婷婷色五月天色| 久热这里只有| 成人必爱视| 色狠狠综合| 婷婷五月图片小说视频| 曰曰久久| 99热一本| 能看的av网站| 成人av在线网站| 亚洲第一综合| 69人人操人人爽| 天天做综合| 激情AV| 91在线97视频| 激情内射p| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 超碰婷婷色| 丁香六月av| 久久全色| 五月花激情| 射区导航| 婷婷在线五月天观看| 碰碰操91| 秋霞网在线免费基地五月婷婷丁香| 超碰色色综合| 丁香五月欧美成人| 九九色综合网| 日本WWW九九九| 91九色中文| 五月天·www·com| 九九热99精品在线| 久久视频婷婷视频| 99热爱爱干干日| 色月丁| 三级三久久线久久99久目本WW| 丁香五月天五码婷婷| 秋霞学生妹一二级| 亚洲国产网址| 无语停婷丁香网| 俺去也五月天婷婷| 久久久久久久人妻| 337午夜福利| 人妻久久久久久久久妻久久久久| 婷婷五月天熟妇| 思思久久精品| 可以免费看AV网站| 丁香婷在线| 激情啪啪五月天| 久久机热这里只有精品| 天天干天天干天天操| 婷婷六月天激情影院| www,五月丁,com| 五月婷婷基地| 色色色成人网| 狠狠久久婷五月| 婷婷九月综合| 九九精品9| 亚洲操逼片| 丁香婷婷久久 | 性一交一乱一交A片久久四色| 大香蕉久| 激情久久丁香| 亚洲色啪| 91午夜激情| 久久在线视频免费观看| 色香蕉影院| 亚洲中文字幕翔田千里| 99ri在线观看视频| 影音先锋 91工厂| 人妻操在线看| 欧美一级色| 成人资源在线| 色狠狠激情五月| 9999色色色色| 久久机热这里只有精品| 日本色五月| 久久五月丁香| 午夜福利8055| 4399在线观看免费毛片| 婷婷色五月激情| 五月丁香亚洲校园欧美| 99爱免费在线观看| 97人妻碰碰中文无码久热丝袜| 久久一级AV| 超碰三级片| 婷婷五月色網站| 天天日天天干天天操| 狠狠干综合网| 久久综合综合久久| 精品色色色| 伊人久久丁香五月91| 婷婷丁香18| 噜噜噜噜在线| 婷婷激情图片| sewuyuejiqingwang| 久久怡红院| 狼人婷婷久久| 夜夜夜叫天天天做| 26uuu在线观看| 五月丁香婷婷综合在线| 婷婷射综合| 色天天综合天天综合频道。| 激情99热| 99人人干| 五月天自拍视频| 色五月激情综合网站| 久热这里只精品| 婷婷五月天成人在线视频| 丁香婷婷色五月激情综合| 婷婷综合丁香| 久久婷婷五月综合伊人| 五月丁香婷婷成人版| 激情四射五月天| 婷婷开心激情综合五月天| 婷婷五月丁香综合网| 一级AV片| 激情五月婷婷六月丁香| 久久精品99| 天堂在线伊久| 婷婷丁香97| 国产伦理精品高清在线观看网站一区二区 | 97久久精品| 色99欧洲色19| 亚洲五月婷天天操| 久久九精品| 久青操| 可以看的av| 97干在线免费| 在线国产精品色| 天天天天天天噜| 99热啪啪| 人人叉久| 六月婷婷五月丁香首页| 午夜丁香婷婷| 无人区码一码二码三码医生系列| 色碰干| 一个色的综合| 九九九九九九九热| 五月天啪啪啪| 99毛片| 五月婷婷免费| 六月婷婷五月丁香| 欧美月久久| 丁香五月色色色色| 天天天天天天噜| 狠狠色大香蕉| 亚洲网综合在线| 色婷婷免费观看| 丁香五月天天高清在线| 激情五月色婷婷| 北京熟妇搡BBBB搡BBBB| 91色五月| 全亚洲最大的婷婷五月天网站COM| 午夜丁香| 五月丁花色综合网| 激情深爱五月| 99热20| 夜夜躁婷婷AV| 亚洲蜜乳AV| 亚洲五月花| 婷婷综合性爱网| 91美女啪啪| 成人在线网| 国产精品五月天婷婷| 五月婷婷综合激情网| 丁香六月在线综合| 亚洲色婷婷婷婷人人爽| 色婷婷狠狠18禁| 色婷婷97| 国产精品久久..4399| 综合福利网| 婷婷五月精品中文| 激情开心五月天婷婷基地丁香社区| 亚洲成人综合在线| 色色色婷婷五月天| 九色视频91疯狂| 色婷婷久久综| 色激情五月| 免费AV播放| 啪啪综合网| 色婷婷88| 久久人操-久草婷婷-成人AV| 99热的无码| 久久xx| 激情99。| 婷婷五月综合性爱| 婷婷十月激情综合网| 丁香狠狠色婷婷久久无码视频| 婷婷激情丁五月| 五月丁香激情综合| 日本五月丁香| www.色五月| 激情综合4月| 日本久久精品| 九九热免费观看视频| 五月丁香婷婷成人网| 国产超碰在线| 少妇高潮呻吟A片免费看软件| 开心久久五月天| 婷婷热婷婷色| 激情色五月天| 五月丁香婷婷免费视频| 欧美色99| 99热精品在线观看| 久1色色| 99久久国产宗和精品1上映| 色天天综合色| 99啪视频在线观看| 91色噜噜狠狠狠狠色综合| 96丁香六月婷婷蜜桃综合久久| 一本色道久久综合狠狠躁小说| 婷婷丁香五月天欧美| 熟女色色一区二区| 婷婷五月天Av| 深爱五月天婷综合| 亚洲av无码精品色午夜| 强伦轩人妻一区二区电影| 丁香五月婷婷激情小说| www.色五月| 天天日天天色| 轮奸综合网| 婷婷影院A成人| 人碰人人人玩91| 深爱激情六月| 色婷视频| 久久99草五月婷婷| 午夜大香蕉| 99精品无码网站| 激情中文在线| AV成人在线网站| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 色五月亚洲| 日韩av大全| www.久久爱.c n| www.天天日| 人人爱人人添| 丁香婷婷五月六月久久| 另类在线免费视频| 婷婷五月天丁香| 精品福利911| 欧美乱码国产一级A片| 色99色| 六月婷婷五月丁香| 丁香婷婷五色月| 生活片五区| 性做爰1一7伦| 日本三级中国三级99| 狠狠五月激情在线| 久久丝袜婷婷| 久久3级片| 五月色婷婷综合| 激情五月婷婷综合色播小说| 丁香六月AV| www久久艹| 成人视频网| 免费黄色片子| 婷婷五月18永久免费视频| 天天狠天天狠| 国产午夜精品AV一区二区麻豆| 91碰超| 婷婷五月花西瓜| 99人这里只有精品| 九九视屏| 狠狠色五月| 日日夜夜狠狠婷婷色| 2013AV天堂| 中文字幕乱码亚洲精品一区| 色五月天丁香婷婷| 思思热精品在线视频| 日韩黄黄| 激情五月天综合网站网站网站| 午夜丁香| 超碰三级片| 99噜噜噜| 超碰在线观看三级片| 天天日天天色| 五月开心网| 五月成人网站| 亚洲久久激情| 夜夜撸夜夜骑| 中文在线视频久1| 99热精品一| 欧美性丁香色色五月天| 99精品在| 色五月视频,小说| 亚洲性色XXXXX| www.色窝| 五月婷婷丁香五月婷婷| 婷婷激情啪啪| 色五月美女| 日日爱678| 无码人妻电影| 婷婷五月中文字幕| 婷婷综合网| 色婷婷久久| 天天干天天拍| 26uuu精品国产| 激情视频网址| 开心丁五月| 91人妻人人做人碰人人爽九色| 视频1区2区| 婷婷五月天首页激情| 一区=区操屄高清大全av| 色婷婷丁香AV综合| 热99热久| 久久性刺激| 综合五月婷婷| 伊人春天av| 天天色五月| 久久99网站| 九九色网专区| 婷婷情色激情| 奇米影视在线视频| 91丨九色丨熟女|老版| 五月婷婷9| 青草少妇激情| 婷婷五月天va| 久久9久| 丁香六月综合激情| 色婷婷av综合网| 9久操| 有码人妻久久| 日韩抽插操逼| 激情亚洲网| 二色av| 青青草色在线视频观看| 婷婷五月在线免费| 久久天堂精品| 亚洲精99| 丁香五月婷婷网| 丁香五月天啪啪| 婷婷丁香成人| 99自拍视频| 亚洲精品无人区| 国内婷婷丁香社区在线播放| 国产成人网址| 五月婷婷中文字幕| 99色| 91操人视频| 丁香六月丁香婷婷激情| 香蕉乱插| 中文人妻主播久久| 182TV大香蕉| 日本不卡高字幕在线2019| 久久久九九视频精品18| 五月天快乐开心激情网| 91精品久久久久、久五月天| CHINESE熟女老女人HD视频| 狠狠九九婷婷韩| 99热思思在线观看| www.狠狠干com| 亚洲AV网址| 国产精品电| 操碰97| 亚洲激情色色| 色丁香五月| 丁香五月天社区| av在线免费播放观看| 婷婷六月丁香综合| 亭亭玉月丁香| 丰滿爆乳一区二区三区| 婷婷五月天最新综合你懂的| 99这里只有精品视频| 欧美三级巜人妻互换| 色婷婷久久综合| 这里只精品热在线18| 色五月婷婷五月天| 一本久道综合色婷婷五月| AV操操操| 99热伊人综合| 久久九九免费大视频| 色婷五月天网站| A片一曲| 久久区区一二三av| 婷婷5月天av| 天天色天天| 九九婷婷综合| 亚洲婷婷五月| 激情AV中文| 激情五月四色| 亚洲在线网站| 婷婷五月天少妇| 色播激情婷婷| 婷婷五月丁香性爱| 天天免费日日夜夜夜夜| 月婷婷婷婷五月| 欧美日韩国产成人在线| 丁香五月冃欧美| 内射在线CHINESE| 丁香六月婷婷久久综合| 五月久久婷婷| 丁香激情久久| 99热这里只有精品22| 97操在线视频| 九热视频| 五月婷婷内射网| 精品久久人妻| 激情九月天天天天婷婷| 淑女丝袜bi操逼123| 伊人激情综合| 成人va在线播放| 亚洲人妻电影| 色三级色三级| 色五月婷婷中文字幕| 五月综合无码| 日本9区视频| 亚洲色无码| 在线免费视频caop| 亚洲精品乱码久久久久99| 欧洲亚洲精品| 五月天成人伊人| 天天色中文字幕女优AV| 六月婷婷在线| xxxx久| 五月天啪啪啪| 亚洲VA在线| 色 噜噜 九月 婷婷| 久热这里只有| 婷婷色亚洲| 日本不卡一区二区三区| 五月婷六月婷婷| 超碰在线超碰| www色色com| 亚洲精品久久久久久久久久吃药| 亚洲六月色| 丁香六月色婷婷综合| 综合色吧| 97人人射| 丁香五月另类小说| 六月色 亚洲| 亚洲综合99| 丁香五月天无码AV| 久久九九热re6这里有精品| 综合XX网| www.婷婷,com| 五月花婷婷| 天天干、天天日日| 91精品视频男人的天堂| 五月婷婷AV| 国产成人网| 免费碰碰视频久| 丁香花五月天激情| 婷婷五月欧美AA片免费| 51国精产品自偷自偷综合 | 五月天激情小说婷婷| 51精品国自产在线| 日日夜夜小色哥| 五月天激情影院| 国产毛片操B| 99久在线观看| 五月丁香六月婷婷在线播放| 大香蕉九九热| 婷婷99狠狠躁天天久久久九九九| 天天操夜夜操| 五月丁香六月欧美| 久久久久久久久久婷婷| 天天拍天天操| 日本熟女二区| 情欲综合网| www.97碰碰com| ..真实国产乱子伦毛片 | 超碰超碰在线| 九九精品这里只有| 97香蕉人人在线观看| 久久精品性爱| 综合婷婷五月天| 久久五月天黄色五月天色网址| 综合激情专区| 九九99精品视品| 婷婷五月天伊人| 女人被男人吃奶到高潮| 天天综合亚洲综合| 第四色色六月色综合| 日韩另类在线观看| 丁香操逼| 亚洲三A| 婷婷五月在线观看| 啪啪综合| 婷婷成人视频| 五月婷婷五月天激情网| 激情纯色婷婷五月天在线不卡视频| 《诡秘之主》在线观看 | 97碰成超视频免费视频| 久碰视频| 久热超碰| 色玖玖综合网| 五月花综合视频| 免费观看的AV| 六月婷婷色五月| av婷婷丁香 六月| 狠狠干婷婷| 国产精品操| 99九九热视频免费| 碰超在线九色| 超碰国产一区| 丁香五月激情久久麻豆| 日本精品人妻无码77777| 久久天天| 夜夜骑天天操| 五月婷婷亞洲中文| 五月综合精品| 大香蕉精品视频| 狠狠色九月| 99综合成人视频在线观看| 成人免费120分钟啪啪| 精品久久久人妻| 色综合久久久久| 大香蕉AV在线| 狠狠狠狠狠干| 色婷久久| 亚洲国产精品VA在线看黑人| 天天狠狠夜夜狠狠2023| 色色色综合网| 婷婷丁香十月| 五月丁香六月婷| 欧美 日韩 人妻 高清 中文| 欧美性丁香色色五月天干干| 啪啪黄页网| 天天五月天综合网址| 色久激情在线| 五月婷婷婷婷婷婷艺术| 丁香五月综合久久八| 欧美色婷婷| 色丁香婷婷| 久热视频这里只有精品| 五月第四色| 人妻精品一区二区三区| www.狠狠干com| 丁香五月播播| 怡红院99| 天天插天天草人人玩| 91丨九色丨熟女|新版| 亚洲黄色影视| 日夜夜久久| 99秘 在线| 色综合色欲综合天天免费| 天堂婷婷五月色| 五月天激情小说婷婷| 五月花婷婷| 日日夜夜九九| 色色丁香五月| 丁香五月花影院| 成人AV片播放| 99热综合在线| 丁香五月 综合| 全网最新网黄大秀直播高清,主播国产录屏在线 | 色五月丁香伊人五月| 五月丁香亭亭| 丁香婷婷啪啪| 91亚洲免费片| 996热re视频精品视频| 欧美A级网站| 人人操A| 婷婷五月影院| 人人摸人人搞| 日本韩国视频在线观看社区免费的9| 无码九九九九| 日韩人妻无码一区二区| 五月好婷婷| 久久激情视频| 色吧网综合| 五月婷色| 五月丁香综合在线| 色综合久久天天综合网 | 99视频在线观看地址| 日韩久综合| 99r这里只有精品哦| 青青草激情网| 人人爱人人草| 久久国产AV| 久久曰曰| 天天日天天草| 午夜激情婷婷| 99碰碰。| 五月丁香婷婷无码中文| 黄网在线观看免费| 国产一级片色色| 日韩999| 天天草天天摸| 综合激情视频| 日韩在线成人电影| 97碰人人操| 激情纯色婷婷五月天在线不卡视频| 狠狠摸狠狠摸| 北条麻妃九九九国产精品视频| 亚州色婷婷| 第五色色色婷婷| 男男野外做爰全过程69| 婷婷五月天色色| 欧洲激情精品婷婷| 婷婷丁香综合网| 干婷婷五月天| www夜夜| 综合九色| 五月天激情.com| 亚洲无AV在线中文字幕| 亭亭玉月丁香| 色丁香婷婷| 极品少妇XXXX精品少妇偷拍| 色碰碰视频| 亚洲午夜一区二区| 超爽内射| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 色色色婷婷五月| 久久婷婷六月综合综合| 欧美英丁香开心快乐六月天网| 五月婷啪| 婷婷丁香18| 婷婷色香六月综合激情| 六月婷婷激情图片| 在线观看av网站| 亚洲最大五月天成人网| ..真实国产乱子伦毛片| 欧美久热| 深爱五月激情| 久一网站| 九九色播五月丁香| 31色区视频免费看| 婷婷激情五月天视频在线| 五月丁香六月婷| 无码一区二区三区四区五区| 沈娜娜av| 成人va在线| 六月丁香五月激情网| 日本狠狠色| 久思思热视频在线观看| 人人操99| 婷婷亚洲天堂| 99热国产免费| 久久婷婷色| 天天做天天爱| 色一情一乱一乱91Av| av在线免费网站 | 在线观看亚洲视频影院| 91精品综合久久婷婷九色| 五月丁香六月色| 久久婷丁香五月| 五月丁香六月色| 欧美97色| 亚洲六月婷婷| 五月天婷婷丁香花| 日韩ww| 九九99视频| 丁香五月激情月| 婷婷五月天电影区小说区| 青草视频在线播放| 五月天激情小说婷婷基地| 久久玖玖99| 婷婷五月丁综合| 1级欧美日韩| 天天天摸夜夜夜玩| 潘金莲AAAAAAAAAA| 天天干天天插| 五月丁香激情综合啪啪| 久热久| 日日干夜夜撸夜夜骑| 99热国产在线| 亚洲婷婷五月| 亚洲 日韩色色| 一级片无码| 久久五月天色婷婷| 六月丁香五月婷婷首页| www.亚洲激情.com| 五月丁香操婷逼| 天天干天天操天天上| www.99色在线| 欧美综合激情丁香五月六月婷| 日本久久9| 久久五月天综合| 婷婷噜噜| 97色在线视频| 十二区无码| 久久五月丁香婷婷| 婷婷五月天,影院| 超碰伊人碰婷婷五月| 天天综合网在线| 男人的天堂五月丁香| 久久国产高清| 丁香五月偷拍| 色欲资源网| 9久精品视频| 色五月综合激情网| 夜夜操,天天撸| 91丨九色丨大屁股| www.婷婷久久五月天| 婷婷五月天六点丁香五月| 久热这里| 影音先锋天天日| www.26uuu.com亚洲电影| 日韩人妻在线观看| 人妻激情久久| 综合网亚洲| 五月亚洲| 五月丁香美女| 九九www| 97伦乱| 玖玖综合色| 久9久成人精品视频| 2014天天爽| 免费看欧美成人A片无码| 丁香五月天激情综合网| 久久网日本| 影音先锋男人av资源站| 五月婷婷综合在线| 男人天堂99| WWW,五月| 美女要搞搞天天搞搞搞网站| 丁香伊人网| 国产av天天插天天操天天爽| 99视频在线精品| 色噜噜狠狠色综合网| 五月久久丁香| 欧美天天综合网站上去吧| 丁香六月久久| 久久图色4| 超碰人人在线观看| 午夜精品人妻无码一区二区三区| 在线观看的av| 五月丁香六月婷婷成人电影| 五月婷婷色激情| 婷婷性爱无码视频| 久久最新色色色| 9|无码久久久久久| 色综合大香蕉| 色五月婷婷影视| 婷婷五月丁香青青草在线| 亚洲综合五月天| 丁香五月婷婷激情网| 亚洲激情综合| 五月亭亭直播| 五月丁香婷爱在线| 婷婷五月天六点丁香五月| 免费日韩99| 日日操夜夜操狠狠操| 五月丁婷香| 天天综合色丁香| 久久xx| 成人亚洲精品| 五月丁香亚洲综合| 天天天日天天天干| 99re26视频| 激情久久五月网| 丁香激情婷婷网| 狠狠狠激情网| 欧美群妇大交乱婬网| 人妻操逼视频。| 影音先锋按摩| 天天做天天要天天爱| www.99热视频| 久久98| 99激情视频| 成人做爰高潮A片免费视频| 婷婷丁香六月天| 天天操天天曰| 五月天激情综合| CHINESE熟女老女人HD视频| 99在线精品免费视频| 99re在线精品视频| 日韩999| 色激情五月天| 亭亭五月丁香五月天激情| 日本丁香五月| 五月婷婷啪啪啪啪| 97色一二三| 天天色凹凸| 久久久一级AAA| 91成人看| 91se在线视频| 操操操av| 六月丁香婷婷开心综合基地| 五月天俺去也| 99热12| 五月激情综合网| 久久免片| 国产乱子轮XXX农村| 农村熟妇高潮精品A片| 激情综合网激情五月丁香五月俺也去| 美女伊人久久| 中文激情网| 99久久成人| 天天做天天爱天天爽| 99亚洲精品| 无码激情| 五月丁香花成人社区| 中字幕视频在线永久在线观看免费| 色欲色欲久久宗合网| 99热99在线| 国产中文字幕在线视频免费观看 | 99热天堂| 色婷婷五月天| 伊人在线另类| w婷婷五月婷婷w| 五月天影院婷婷在线观看| 久久99久久久久久| 五月天激情日色在线| 99热这里| 日韩人妻无码专区| 久久婷婷的综合色丁香五月| 97操操| 亚洲性爱区无码区| 九九精品99| 五月天婷婷色播综合在线| 九九精品热播| 精品婷婷五月视| 毛片色五月| 91狠狠综合久久久| 怡红院AV亚洲一区二区三区H| 午夜伊人大香蕉| 五月天综合久久丁香91| 国产,欧美,学生妹,视频| 91精品综合久久久久久五月丁香| 色宗合久久五月婷婷| 安息电影在线观看完整版| 五月丁香婷婷网网网网| 99久久精品色老| 日本色99| 久操大香蕉| 特黄三级片| 99热在线精品观看| 五月天婷婷丁香花| 五月丁香综合| 91精品91久久久中77777| 丰满人妻妇伦又伦精品国产 | 五月天堂色| 九九久久网| 人人射av| 能直接看的av网站| 午夜福利8055| 色五月综合婷婷| 99热这里有精品| 综合五月丁香六月婷婷| 综合激情深爱| 五月天社区| 色5月婷婷色| 影音先锋777xfplay色资源网站| 五月婷婷六月色| 狠狠干最新地址| 久久婷婷成人视频| 另类图片五月天婷婷| 日本色图综合| 日韩人妻无码一区二区| 综合五月激情网| 免费亚洲婷婷五月| 噜噜噜久久| 色婷婷香蕉| 在线中文亚洲| 国产精品久久..4399| 久热 91| 色色日韩无码| 日本久久99| 婷婷婷久久久| 人人摸人人澡人人| 久久婷婷五月综合色和| 色色婷五月天| 日本综合久久| 九九碰九九爱97超碰| 色99色| 五月狠狠| 99爱精品视频| 伊人久久大香| 丁香五月婷中字幕| www.com在线操视频免费观看| 狠狠插日日干撸|