欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

拆解SMO算法:從凸二次規(guī)劃到雙變量解析更新的全程推導(dǎo)

拆解SMO算法:從凸二次規(guī)劃到雙變量解析更新的全程推導(dǎo) 提起 SMO很多人的第一印象是“SVM 庫內(nèi)部那個優(yōu)化器”——調(diào)包調(diào)久了接口后面發(fā)生了什么很少有人細看。但序列最小最優(yōu)化算法SMO值得每一個做機器學(xué)習(xí)的人認真拆一遍它把一個大到近乎無解的二次規(guī)劃問題拆成無數(shù)個只包含兩個變量的子問題而且每個子問題都能用解析公式直接算出不需要任何數(shù)值優(yōu)化庫。這個設(shè)計在今天看來依然非常聰明理解它之后你會對 SVM 的訓(xùn)練過程、支持向量的含義、甚至調(diào)參時那些“說不清但確實有效”的經(jīng)驗有完全不一樣的感覺。這篇文章不準備從零堆數(shù)學(xué)公式而是順著 SMO 的求解思路走一遍先從 SVM 訓(xùn)練為什么難解講起再拆 SMO 的核心機制、兩個乘子的解析求解、啟發(fā)式選擇策略、收斂判定細節(jié)最后給一份可以照著改的 Python 簡化實現(xiàn)以及我在實際調(diào)試中踩過的坑。適合想搞懂 SMO 內(nèi)部邏輯的學(xué)生、面試被問到 SMO 細節(jié)的求職者以及想手動實現(xiàn)一遍而不是只調(diào)庫的工程師。1. 為什么SVM訓(xùn)練必須拆成小問題一個被核矩陣卡死的優(yōu)化困境1.1 從分類超平面到凸二次規(guī)劃SVM 的分類思路是找一個間隔最大的超平面。線性可分情況下這個超平面要滿足所有點都被正確分開同時離它最近的點要盡可能遠。數(shù)學(xué)上這個問題等價于最小化 $\frac{1}{2}||w||^2$約束是 $y_i(w^T x_i b) \ge 1$。但現(xiàn)實數(shù)據(jù)幾乎都不是線性可分的于是引入松弛變量 $\xi_i$ 和懲罰系數(shù) $C$把目標改成$$ \min_{w,b,\xi} \frac{1}{2}||w||^2 C\sum_{i1}^{N}\xi_i $$加上約束 $y_i(w^T x_i b) \ge 1 - \xi_i$、$\xi_i \ge 0$ 之后用拉格朗日乘子法轉(zhuǎn)成對偶問題就會得到下面這個形式$$ \max_{\alpha} W(\alpha) \sum_{i1}^{N}\alpha_i - \frac{1}{2}\sum_{i1}^{N}\sum_{j1}^{N}\alpha_i \alpha_j y_i y_j K(x_i, x_j) $$約束條件有三個$\alpha_i \ge 0$、$\alpha_i \le C$、$\sum_{i1}^{N}\alpha_i y_i 0$。這里的 $K(x_i, x_j)$ 是核函數(shù)也就是把原始特征映射到高維空間后的內(nèi)積。SMO 就是在解這個對偶問題——準確說是在解這個帶約束的凸二次規(guī)劃QP問題。1.2 標準QP方法的內(nèi)存噩夢如果從來沒親手解過 SVM 的對偶問題你可能會說這很簡單啊找個現(xiàn)成的 QP 求解器丟進去不就好了理論上確實如此但一算復(fù)雜度就發(fā)現(xiàn)問題了。對偶目標函數(shù)中有一個 $\alpha_i \alpha_j K(x_i, x_j)$ 的求和項這意味著我們需要一個 $N \times N$ 的核矩陣 $K$。當訓(xùn)練樣本有 1000 個時核矩陣是 1000×1000存下來大約 8MB當樣本數(shù)到 1 萬就是 800MB到 10 萬80GB直接內(nèi)存爆炸。即便你把矩陣稀疏化處理或分塊迭代標準的數(shù)值優(yōu)化方法每一次迭代都要做矩陣運算代價依然高得離譜。這就是 SVM 在早期很難大規(guī)模落地的原因。我記得以前在某高校實驗室跑一個模擬項目數(shù)據(jù)量只有小幾萬直接用內(nèi)點法求解對偶問題內(nèi)存就吃到了好幾個 G而且收斂非常慢。后來換了基于分解思想的優(yōu)化器訓(xùn)練時間從幾十分鐘直接降到了幾分鐘這就是 SMO 這類算法存在的意義。1.3 SMO的做法把大問題切成“一口能吃下去”的小塊SMO 的想法很直接既然一次性解 $N$ 個 $\alpha$ 代價太大那就一次只解其中的一小部分。它每次選擇一個工作集只對這些 $\alpha$ 做優(yōu)化固定其他所有 $\alpha$然后在子問題上求出解析解。關(guān)鍵點在于SMO 選的工作集大小是 2。為什么不能是 1因為約束 $\sum_i \alpha_i y_i 0$ 把整個 $\alpha$ 向量綁在了一個超平面上如果只動一個 $\alpha_i$約束瞬間就破壞了必須同時動另一個 $\alpha_j$ 來“補償”它。所以 2 是保持等式約束可行的最小單位。每優(yōu)化兩個 $\alpha$SMO 只需要計算對應(yīng)的核函數(shù)值不需要存儲整個核矩陣。那些核函數(shù)值可以實時算也可以緩存一部分。空間復(fù)雜度從 $O(N^2)$ 降到了 $O(N)$這是 SMO 能處理大規(guī)模數(shù)據(jù)的最根本原因。2. 為什么每次只動兩個拉格朗日乘子約束下的最小自由度2.1 單變量更新為何走不通很多第一次接觸坐標下降法的人會想那我挨個 $\alpha_i$ 更新不就行了每次固定其他變量只優(yōu)化一個這就是經(jīng)典的坐標下降法。但 SVM 對偶問題里的等式約束 $\sum_i \alpha_i y_i 0$ 是一道硬墻。假設(shè)你固定除 $\alpha_1$ 外的所有 $\alpha$那么 $\alpha_1$ 的值就已經(jīng)被唯一確定沒有任何可調(diào)整空間。同理如果你固定 $\alpha_1, \alpha_3, \alpha_4, \dots$只動 $\alpha_2$$\alpha_2$ 同樣被鎖死。所以單變量子問題在數(shù)學(xué)上不可行必須同時更新兩個變量才能有真正的自由度。這也是為什么 SMO 叫“序列最小優(yōu)化”——每次優(yōu)化的子問題規(guī)模是所有滿足約束的最小子問題也就是兩個變量。2.2 兩個變量的組合方式等式約束下的一條線段當只看兩個變量 $\alpha_1$ 和 $\alpha_2$ 的時候等式約束變成$$ y_1 \alpha_1 y_2 \alpha_2 y_1 \alpha_1^{old} y_2 \alpha_2^{old} \text{常數(shù)} $$這條直線在 $(\alpha_1, \alpha_2)$ 平面上是一條斜線再加上 $0 \le \alpha_i \le C$ 的盒子約束可行域就是這條直線穿過盒子后剩下的線段。換句話說無論我們怎么調(diào)整$\alpha_1$ 和 $\alpha_2$ 都必須落在這條線段上。一旦確定 $\alpha_2$ 的新值$\alpha_1$ 的新值就被這條直線唯一確定這就是 SMO 解析更新公式的幾何基礎(chǔ)。2.3 SMO與坐標下降法的關(guān)系嚴格來說SMO 可以看作坐標下降法在帶等式約束條件下的變體它每次在一個二維坐標平面上做精確的一維搜索但因為約束的存在坐標軸要沿著約束方向“旋轉(zhuǎn)”一下。我當初學(xué)的時候有個直觀的感受坐標下降法就像你在一個有圍欄的山坡上每次都只沿著東西或南北方向走一小步而 SMO 則像是沿著圍欄的方向走每次保證不越界而且每步都能直接走到這個方向的局部最低點。所以 SMO 的收斂速度在多數(shù)情況下是比普通坐標下降快的。2.4 子問題的幾何直覺再往深一層如果 $y_1 y_2$那么等式約束變成 $\alpha_1 \alpha_2 \text{常數(shù)}$可行域是一條斜率為 -1 的線段如果 $y_1 \ne y_2$等式約束變成 $\alpha_1 - \alpha_2 \text{常數(shù)}$可行域是一條斜率為 1 的線段。上下界 $L$ 和 $H$ 就是這條線段兩端被盒子邊界截斷的位置。理解這個幾何關(guān)系對后面推導(dǎo) $L$、$H$ 的公式非常有用。很多教程直接甩兩個 case 的公式讓人背背完就忘理解了截斷原理任何時候都能自己推出來。3. 兩個乘子的解析求解從二次函數(shù)求導(dǎo)到上下界裁剪3.1 拆出與α1、α2相關(guān)的目標函數(shù)現(xiàn)在進入 SMO 最核心的數(shù)學(xué)部分。我們把對偶目標函數(shù) $W(\alpha)$ 中所有含 $\alpha_1$、$\alpha_2$ 的項單獨拆出來其余項因為在本次迭代中不變可以直接消去。展開后目標函數(shù)是$$ W \alpha_1 \alpha_2 - \frac{1}{2} \alpha_1^2 K_{11} - \frac{1}{2} \alpha_2^2 K_{22} - \alpha_1 \alpha_2 y_1 y_2 K_{12} $$ $$y_1 \alpha_1 \sum_{i\ne 1}\alpha_i y_i K_{i1} - y_2 \alpha_2 \sum_{i\ne 2}\alpha_i y_i K_{i2} \text{常數(shù)項} $$其中 $K_{ij} K(x_i, x_j)$常數(shù)項包含所有與 $\alpha_1$、$\alpha_2$ 無關(guān)的部分。由于 $\alpha_1$ 和 $\alpha_2$ 由等式約束綁定我們只需優(yōu)化 $\alpha_2$ 一個變量$\alpha_1$ 是它的函數(shù)。3.2 用等式約束消掉α1令 $s y_1 y_2$等式約束可以寫成$$ \alpha_1 s \alpha_2 \alpha_1^{old} s \alpha_2^{old} \gamma $$于是$$ \alpha_1 \gamma - s \alpha_2 $$把 $\alpha_1$ 代入 $W$目標函數(shù)就變成只關(guān)于 $\alpha_2$ 的一元二次函數(shù)。到這里問題已經(jīng)轉(zhuǎn)化成了高中生的求拋物線極值問題只是別忘了后面還有 $[0, C]$ 的邊界約束。3.3 解析更新公式的推導(dǎo)對一元二次函數(shù)求導(dǎo)并令導(dǎo)數(shù)為 0可以得到未裁剪的 $\alpha_2$ 新值公式$$ \alpha_2^{new, unc} \alpha_2^{old} \frac{y_2(E_1 - E_2)}{\eta} $$其中 $E_i u_i - y_i$ 是第 $i$ 個樣本的預(yù)測誤差$u_i \sum_j \alpha_j y_j K(x_j, x_i) b$ 是當前模型對第 $i$ 個樣本的預(yù)測輸出$\eta K_{11} K_{22} - 2K_{12}$。很多資料里符號跟我這里不太一樣原因在于 $E_i$ 的定義究竟是“預(yù)測減真值”還是“真值減預(yù)測”。我建議統(tǒng)一用“預(yù)測減真值”來記憶推導(dǎo)過程會更順。如果你看到別處的公式符號相反不要慌檢查一下它的 $E$ 定義。$\eta$ 的物理含義是兩個樣本在核函數(shù)映射后的距離平方的一半嚴謹?shù)卣f$\eta ||\phi(x_1) - \phi(x_2)||^2$它衡量了兩個樣本在特征空間中的距離。$\eta$ 越小說明兩個樣本在特征空間里越接近更新的步長就越大$\eta$ 接近 0 時解析解的分母趨近 0這種情況需要單獨處理。3.4 可行域裁剪L和H的計算未裁剪的解不一定落在可行域內(nèi)必須把它裁剪到線段 $[L, H]$ 上。$L$ 和 $H$ 的計算邏輯如下當 $y_1 y_2$ 時$$ L \max(0, \alpha_1^{old} \alpha_2^{old} - C), \quad H \min(C, \alpha_1^{old} \alpha_2^{old}) $$當 $y_1 \ne y_2$ 時$$ L \max(0, \alpha_2^{old} - \alpha_1^{old}), \quad H \min(C, C \alpha_2^{old} - \alpha_1^{old}) $$裁剪得到$$ \alpha_2^{new} \begin{cases} H, \alpha_2^{new, unc} H \ \alpha_2^{new, unc}, L \le \alpha_2^{new, unc} \le H \ L, \alpha_2^{new, unc} L \end{cases} $$然后由 $\alpha_1 \gamma - s \alpha_2$ 反解出$$ \alpha_1^{new} \alpha_1^{old} s(\alpha_2^{old} - \alpha_2^{new}) $$3.5 更新b和誤差的時機$\alpha$ 更新完之后$b$ 也必須同步更新否則模型輸出 $u_i$ 仍然是舊的后續(xù)迭代誤差全都會錯。$b$ 的更新依賴當前 $\alpha$ 的變化量和新舊核值$$ b_1 b - E_1 - y_1(\alpha_1^{new} - \alpha_1^{old})K_{11} - y_2(\alpha_2^{new} - \alpha_2^{old})K_{12} $$$$ b_2 b - E_2 - y_1(\alpha_1^{new} - \alpha_1^{old})K_{12} - y_2(\alpha_2^{new} - \alpha_2^{old})K_{22} $$選擇規(guī)則是若 $0 \alpha_1^{new} C$取 $b b_1$否則若 $0 \alpha_2^{new} C$取 $b b_2$若兩者都在邊界上取 $b (b_1 b_2) / 2$。這個選擇規(guī)則并不是拍腦袋定的。當某個 $\alpha$ 嚴格落在 $(0, C)$ 內(nèi)部意味著該樣本恰好落在間隔邊界上它對應(yīng)的 KKT 條件要求 $y_i u_i 1$因此 $b$ 有唯一確定值如果兩個 $\alpha$ 都在邊界上說明當前迭代沒有提供足夠的約束信息$b$ 可能落在一個區(qū)間內(nèi)這時取平均是最穩(wěn)妥的近似。4. 啟發(fā)式選擇策略決定SMO收斂速度的分水嶺4.1 盲目選擇第一個乘子的代價理論上只要每輪都找一個違反 KKT 條件的乘子對并做一次解析更新SMO 就一定會收斂。但如果每次隨機選收斂速度會慢到讓人崩潰。原因在于隨機選擇的兩點可能已經(jīng)在最優(yōu)值附近更新幅度極小甚至在邊界上連動都不能動白白浪費大量計算。實際工程中選的好不好對迭代次數(shù)的影響是數(shù)量級的差異——同一個數(shù)據(jù)集上好的選擇策略可能 200 次迭代收斂隨機選擇可能 5000 次都不一定停。4.2 外循環(huán)優(yōu)先尋找違反KKT條件的樣本SMO 的外循環(huán)負責(zé)選第一個乘子 $\alpha_i$。它的策略是優(yōu)先遍歷那些違反 KKT 條件最嚴重的樣本。具體做法通常分兩遍走第一遍遍歷所有非邊界樣本也就是 $0 \alpha_i C$ 的那部分。為什么優(yōu)先它們因為這些樣本恰好落在間隔邊界上它們對模型的影響最直接也最容易被 KKT 條件判定為“不合格”。第二遍才遍歷全部樣本。如果第一遍把所有非邊界樣本都檢查完沒有發(fā)現(xiàn)需要更新的乘子再對全部樣本做一次掃描看有沒有漏網(wǎng)之魚。這種“先邊界后全局”的策略可以理解為熟悉的地方先仔細查查不到問題再去整個空間掃一遍。很多實現(xiàn)還會記錄一輪迭代中是否有 $\alpha$ 發(fā)生變化如果有下一輪繼續(xù)優(yōu)先掃描非邊界樣本直到連續(xù)多輪都沒有變化才切換到全局掃描。這個細節(jié)對收斂速度影響非常大。4.3 內(nèi)循環(huán)基于最大步長原則選擇配對乘子外循環(huán)選好 $\alpha_i$ 之后內(nèi)循環(huán)負責(zé)選第二個乘子 $\alpha_j$。SMO 的目標是找一個和 $\alpha_i$ 配對后能產(chǎn)生最大“步長”的 $\alpha_j$。步長可以近似用 $|E_i - E_j|$ 來度量。直覺上如果兩個乘子對應(yīng)的誤差相差很大說明它們對模型當前位置的“不滿意程度”差異很大配對更新往往能帶來更大的修正。反之如果兩個誤差幾乎一樣更新可能非常平緩。實現(xiàn)時需要維護一個誤差緩存數(shù)組 $E$每次更新后同步刷新涉及到的誤差這樣內(nèi)循環(huán)可以在 $O(N)$ 時間內(nèi)掃一遍找到 $|E_i - E_j|$ 最大的 $j$。如果最大步長候選的更新幅度太小SMO 會退而求其次從所有非邊界樣本中隨機挑一個實在找不到能有效更新的配對就結(jié)束當前外層循環(huán)。4.4 誤差緩存和邊界樣本的偏好誤差緩存是 SMO 實現(xiàn)中一個容易被忽略但極其重要的工程細節(jié)。因為內(nèi)循環(huán)要用到 $E_i$ 和 $E_j$ 的差如果每次現(xiàn)算 $u_i$復(fù)雜度是多了一層 $N$ 次核函數(shù)求和內(nèi)循環(huán)整體代價會變成 $O(N^2)$ 量級得不償失。所以成熟實現(xiàn)一般維護一個 $E$ 數(shù)組只有當某個樣本的 $\alpha$ 被更新過才重新計算它的誤差。上文提到的“先邊界后全局”策略在誤差緩存層面也有意義非邊界樣本的 $\alpha$ 頻繁變動緩存更新有實際價值邊界樣本的 $\alpha$ 基本是 0 或 $C$誤差不太會變可以少花心思。4.5 迭代之間的收斂加速技巧我見過一個很實用的加速技巧在外循環(huán)掃描時記錄當前所有非邊界樣本中“剛剛發(fā)生更新”的樣本集合下一輪優(yōu)先處理它們。因為在 SMO 迭代的中后期大部分樣本已經(jīng)滿足 KKT 條件反復(fù)全量掃描會浪費大量算力只有那些剛被調(diào)整過的樣本周圍才最可能還有不滿足條件的鄰居。另一個技巧是給內(nèi)循環(huán)設(shè)置“最大嘗試次數(shù)”。如果連續(xù)多次挑選出的 $j$ 都無法讓 $\alpha_2$ 變化超過閾值就讓內(nèi)循環(huán)跳出換一個外層變量。這個上限可以避免死循環(huán)也可以理解為一個控制計算預(yù)算的開關(guān)。5. 容差、C值、收斂判定SMO調(diào)參中容易被忽略的細節(jié)5.1 KKT條件的數(shù)值松弛tol的本質(zhì)嚴格來說SMO 的收斂條件是所有樣本都滿足 KKT 條件。但浮點數(shù)計算有誤差加上 SVM 的 KKT 條件本身是“硬性”的等式不等式直接零容忍判定會永遠無法收斂。所以實現(xiàn)中都會引入一個容差參數(shù) $\text{tol}$。對于一個樣本 $i$KKT 條件的數(shù)值化判定是$$ y_i u_i 1 - \text{tol} \quad \text{且} \quad \alpha_i C \Rightarrow \text{違反} $$$$ y_i u_i 1 \text{tol} \quad \text{且} \quad \alpha_i 0 \Rightarrow \text{違反} $$$\text{tol}$ 的大小直接影響訓(xùn)練何時停止。太大會導(dǎo)致模型還沒解好就停預(yù)測性能下降太小會讓訓(xùn)練時間暴漲因為最后幾個不符合條件的樣本往往非常頑固。我在實際項目中常用的值是 0.001有時數(shù)據(jù)噪聲比較大時會放寬到 0.01收斂速度會明顯改善分類性能幾乎不掉。5.2 C值對α邊界分布的影響$C$ 是軟間隔中控制“容錯程度”的懲罰系數(shù)。從 SMO 視角看$C$ 直接決定了 $\alpha$ 的取值邊界$\alpha_i$ 被限制在 $[0, C]$ 內(nèi)。$C$ 越大模型越傾向于讓訓(xùn)練樣本都滿足間隔條件$\alpha$ 更容易頂?shù)缴辖?$C$出現(xiàn)更多的邊界樣本$C$ 越小模型越寬容$\alpha$ 更容易落在內(nèi)部或者保持為 0。這也解釋了為什么調(diào)參時 $C$ 對模型復(fù)雜度影響這么大——它實際上在調(diào)節(jié)“有多少樣本成為支持向量”以及“這些支持向量的影響力上限”。5.3 b的選擇策略與多解問題第 3 節(jié)提到了 $b$ 的更新規(guī)則但它背后還有一個更隱蔽的問題當對偶問題存在多個最優(yōu)解時$b$ 的取值不是唯一的。具體來說如果所有 $\alpha$ 都等于 $C$ 或都等于 0沒有任何一個 $\alpha$ 落在 $(0, C)$ 區(qū)間內(nèi)那么支撐間隔的“自由支持向量”就不存在$b$ 可以在一個范圍內(nèi)浮動。SMO 里用 $(b_1 b_2)/2$ 作為一種折中但嚴格的數(shù)學(xué)做法還需要從全部支持向量對應(yīng)的 KKT 條件反解 $b$取所有解的中間值。在實踐里如果發(fā)現(xiàn)訓(xùn)練后的模型在驗證集上表現(xiàn)不穩(wěn)定尤其是界附近的樣本都差不多時可以先檢查一下是不是 $b$ 的選擇不夠合理。5.4 停止條件的判定策略SMO 的標準停止條件是連續(xù)若干輪外循環(huán)都沒有發(fā)生任何 $\alpha$ 更新也就是沒有發(fā)現(xiàn)違反 KKT 條件的樣本就終止迭代。不同實現(xiàn)中也會用“總迭代次數(shù)超過上限”作為保險絲。我個人的經(jīng)驗是不要把停止條件完全托付給“全部滿足 KKT”。數(shù)據(jù)規(guī)模很大時最后 0.1% 的樣本可能反復(fù)出現(xiàn)“輕微違反—更新—又輕微違反”的振蕩如果堅持零違反會白白多跑很多輪。一個實用的做法是記錄上一輪更新的 $\alpha$ 數(shù)量和單次更新的最大變化量當最大變化量低于某個閾值比如 $10^{-5}$時就提前停止效果幾乎不受影響。5.5 超參數(shù)組合在真實數(shù)據(jù)上的表現(xiàn)下面這張表是我在幾個不同類型的模擬數(shù)據(jù)集上跑簡化版 SMO 的粗略感受供參考場景Ctol迭代輪數(shù)收斂卡點線性可分數(shù)據(jù)10.001少無明顯卡點高噪聲數(shù)據(jù)0.10.01中噪聲樣本反復(fù)違反 KKT高維稀疏數(shù)據(jù)100.001中邊界樣本數(shù)量大掃描耗時長近似線性相關(guān)數(shù)據(jù)1000.0001多$\eta$ 接近 0更新幅度小而頻繁這些數(shù)字不是絕對標準但能說明一個問題SMO 的收斂行為和數(shù)據(jù)本身的幾何結(jié)構(gòu)強相關(guān)調(diào)整超參數(shù)時必須結(jié)合數(shù)據(jù)特點來做而不是機械套固定值。6. 一個簡化版SMO的實現(xiàn)從偽代碼到Python核心邏輯6.1 數(shù)據(jù)結(jié)構(gòu)與核矩陣計算的取舍寫簡化版 SMO 時第一個要決定的是要不要緩存核矩陣。全緩存空間大但每次迭代訪問快完全不緩存每次現(xiàn)算內(nèi)循環(huán)掃描 $j$ 的時候復(fù)雜度會飆到 $O(N^2)$。折中方案是只緩存當前外層變量和其他樣本的核函數(shù)值內(nèi)循環(huán)掃描時反復(fù)用這一列這樣時間可控內(nèi)存占用也只有 $O(N)$。我下面的示例為了可讀性每次直接用核函數(shù)現(xiàn)算數(shù)據(jù)量大時你需要自己加緩存原理是相通的。6.2 主循環(huán)的邏輯主循環(huán)就是一個“外循環(huán) 內(nèi)循環(huán)”的嵌套結(jié)構(gòu)外循環(huán)遍歷樣本挑選違反 KKT 條件的 $\alpha_i$。內(nèi)循環(huán)選擇配對 $\alpha_j$計算解析更新。如果發(fā)生更新同步更新 $b$ 和誤差緩存。連續(xù)多輪無更新則停止。下面是核心邏輯的 Python 風(fēng)格示意重點看結(jié)構(gòu)不要直接拿來跑大規(guī)模數(shù)據(jù)import numpy as np def smo_simple(X, y, C, tol, max_passes, kernel): m X.shape[0] alpha np.zeros(m) b 0.0 passes 0 # 簡化版每輪都全量重算誤差不額外緩存 E np.array([predict(X, y, alpha, b, kernel, X[i]) - y[i] for i in range(m)]) # 實際建議用增量更新誤差緩存 def g(i): return np.sum(alpha * y * kernel(X, X[i])) b # 需要矩陣化加速 while passes max_passes: num_changed 0 for i in range(m): Ei E[i] # 檢查第 i 個樣本是否違反 KKT if (y[i] * Ei -tol and alpha[i] C) or (y[i] * Ei tol and alpha[i] 0): # 內(nèi)循環(huán)選 |Ei - Ej| 最大的 j diff np.abs(E - Ei) diff[i] -1 j int(np.argmax(diff)) Ej E[j] alpha_i_old, alpha_j_old alpha[i], alpha[j] # 計算 L 和 H if y[i] y[j]: L max(0, alpha[i] alpha[j] - C) H min(C, alpha[i] alpha[j]) else: L max(0, alpha[j] - alpha[i]) H min(C, C alpha[j] - alpha[i]) if L H: continue eta kernel(X[i], X[i]) kernel(X[j], X[j]) - 2 * kernel(X[i], X[j]) if eta 0: continue alpha_j_new alpha[j] y[j] * (Ei - Ej) / eta alpha_j_new min(H, max(L, alpha_j_new)) if abs(alpha_j_new - alpha[j]) 1e-5: continue alpha[i] y[i] * y[j] * (alpha[j] - alpha_j_new) alpha[j] alpha_j_new # 更新 b b1 b - Ei - y[i] * (alpha[i] - alpha_i_old) * kernel(X[i], X[i]) \ - y[j] * (alpha[j] - alpha_j_old) * kernel(X[i], X[j]) b2 b - Ej - y[i] * (alpha[i] - alpha_i_old) * kernel(X[i], X[j]) \ - y[j] * (alpha[j] - alpha_j_old) * kernel(X[j], X[j]) if 0 alpha[i] C: b b1 elif 0 alpha[j] C: b b2 else: b (b1 b2) / 2 # 全量重算誤差簡化版才這么干 for k in range(m): E[k] g(k) - y[k] num_changed 1 if num_changed 0: passes 1 else: passes 0 return alpha, b這個簡化版忽略了核矩陣緩存、內(nèi)循環(huán)最大嘗試次數(shù)、非邊界樣本優(yōu)先掃描等加速手段但邏輯是完整可跑的。6.3 解析解、裁剪與b更新代碼里 $\alpha_j^{new}$ 的更新公式、$L$ 和 $H$ 的裁剪、$b_1$、$b_2$ 的更新和前面推導(dǎo)的公式完全對應(yīng)。寫代碼時最容易出錯的地方是更新 $\alpha_i$ 的公式里符號搞反。這里有一個驗證技巧更新完之后檢查 $\sum \alpha_i y_i$ 是否保持不變。我在調(diào)試時曾經(jīng)加了一行斷言立刻抓到了符號錯誤。如果你自己寫建議保留類似的檢查直到代碼穩(wěn)定。6.4 玩具數(shù)據(jù)上的跑通與驗證在二維平面生成兩類線性可分的數(shù)據(jù)用高斯核跑一遍簡化版 SMO可以直觀看到支持向量浮現(xiàn)出來。收斂后$\alpha$ 中大部分是 0只有少量樣本的 $\alpha$ 不為 0這些正好是離分類邊界最近的點。用這個結(jié)果畫分類邊界和間隔線你會發(fā)現(xiàn)這類可視化往往能幫助理解 SVM 模型的實際行為。很多初學(xué)者只看到分類邊界忽略間隔線上的支持向量真正畫出散點圖后才能直觀明白“為什么少數(shù)樣本就決定了整個模型”。7. 我在實際訓(xùn)練SMO時踩過的坑與調(diào)試心得7.1 誤差緩存不同步導(dǎo)致收斂慢得離譜我第一次按教程寫 SMO 時最讓人困惑的現(xiàn)象是目標函數(shù)明明在下降但收斂輪數(shù)比預(yù)期多了幾十倍。排查了很久才發(fā)現(xiàn)問題出在誤差緩存沒有即時更新。當時我在更新 $\alpha_i$ 和 $\alpha_j$ 后只重算了這兩個樣本的誤差其他樣本的誤差還留在舊值。SMO 的內(nèi)循環(huán)用 $|E_i - E_j|$ 選配對樣本如果其他樣本的誤差停留在舊狀態(tài)選擇就會被誤導(dǎo)老是選中一些已經(jīng)不需要更新的樣本。這類問題比較隱蔽因為代碼不會報錯只是性能異常。教訓(xùn)是涉及誤差緩存時寧可多算一點也要保證一致性。7.2 eta很小的時候如何處理高斯核下如果兩個樣本完全一樣或者高度相似$\eta K_{11} K_{22} - 2K_{12}$ 會趨近于 0此時 $\alpha_2^{new}$ 的更新公式分母接近 0一除就得到極大的值裁剪之后可能變成邊界值但這不代表真實最優(yōu)。我見過直接用 $\eta 0$ 跳過更新的實現(xiàn)這其實不太夠。更穩(wěn)的做法是當 $\eta$ 小于某個閾值比如 $10^{-12}$時直接比較目標函數(shù)在 $L$ 和 $H$ 兩個端點處的值選一個目標值更大的方向走而不是粗暴跳過。這樣既不崩潰也不會丟掉真正有效的更新機會。7.3 停止條件設(shè)置過嚴導(dǎo)致過擬合有一段時間我在一個比較小的模擬數(shù)據(jù)集上調(diào) SMO把 tol 設(shè)成了 $10^{-5}$結(jié)果模型在訓(xùn)練集上表現(xiàn)很好驗證集上反而變差。原因很簡單SMO 在解對偶問題tol 越小解越逼近數(shù)學(xué)意義上的最優(yōu)但在數(shù)據(jù)本身有噪聲的情況下這個“最優(yōu)”反而過度擬合了訓(xùn)練數(shù)據(jù)。后來我調(diào)整了思路把 tol 看作一個正則化尺度的一部分而不是單純的控制收斂精度。項目里處理噪聲較多的數(shù)據(jù)時用較大的 tol 配合合適的 $C$模型泛化性能通常更穩(wěn)。7.4 核函數(shù)數(shù)值范圍導(dǎo)致的梯度消失問題這個坑跟 SMO 本身無關(guān)但會讓一切調(diào)試無從下手。如果使用多項式核或者 sigmoid 核特征數(shù)值范圍差異很大時核矩陣的元素可能膨脹到 $10^{20}$ 或者縮小到 $10^{-20}$隨之 $\eta$ 和誤差更新都發(fā)生數(shù)值溢出。處理方式是先對特征做標準化再選核函數(shù)。我習(xí)慣在進入 SMO 之前先做一次 min-max 標準化核函數(shù)里再根據(jù)數(shù)據(jù)規(guī)模調(diào)一下參數(shù)。很多人在這上面花過大量時間結(jié)果最后發(fā)現(xiàn)是數(shù)據(jù)預(yù)處理的問題。7.5 工程實現(xiàn)上的其他實用建議最后整理一些偏工程向的建議雖然不復(fù)雜但每個都能幫你省不少時間核函數(shù)計算寫成矩陣形式至少在選內(nèi)循環(huán)配對樣本時用向量化不然純 Python 循環(huán)會慢到懷疑人生。內(nèi)循環(huán)選擇 $j$ 時把當前 $i$ 的誤差排除在外否則可能出現(xiàn)自己配自己的情況。記錄每次迭代中有多少個 $\alpha$ 發(fā)生了更新連續(xù)幾輪更新數(shù)量遞減是收斂的正常信號如果某輪突然暴漲常見原因是誤差緩存不一致。早停并不是越晚越好。大規(guī)模數(shù)據(jù)上不必等到嚴格 KKT 全滿足用“單次最大變化量低于閾值”來停藥訓(xùn)練時間和模型質(zhì)量都很均衡。我自己的使用習(xí)慣是先在一個小的子集上把 SMO 跑通再上全量數(shù)據(jù)避免把調(diào)試時間浪費在等待上。SMO 雖然看起來只是 SVM 的內(nèi)部組件但它把“大問題拆小”這個思想體現(xiàn)得淋漓盡致很多人看完它之后再去看其他分解類優(yōu)化方法都會有一種觸類旁通的感覺。如果你正準備深入學(xué)習(xí)支持向量機或者優(yōu)化算法親手實現(xiàn)一遍 SMO 絕對是最值回票價的一件事。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久亚洲A| 五月丁香六月色| 大香蕉免费9| 97色婷| 国庆精品久久| 久久丁香五月| 婷婷中文字暮| 在线观看中文字幕| 五月天开心网| 五月天婷婷影院影院观看| 热九九精品| JlZZJlZZ8JlZZ亚洲熟女| 五月婷婷日| 再綫Av免费視品| 丁香五月 无码| 色偷偷五月天| 97碰在线| 香蕉婷婷色五月| 婷婷爱综合| www.黄色片-久久成人国产精品在线播放-999AV | 婷婷五月激情四射手| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 五月激情天天干| 色色色色热热| 亚洲激情四射| 午夜一区| 狠狠干狠狠色| 91偷拍视频| 婷婷五月欧美综合| 熟女人妻一区二区三区免费看| 五月天激情四射网站| 99精品视频免费观看,| 九月激情综合| 操日视频| 婷婷久久性爱| www.henhenl| 丁香五月瑟瑟| 色五月婷婷777| 婷婷色在线| 婷婷五月天天爽| 久久这里有精品99| 久久婷婷色五月| 天天日夜夜B久久| 玖玖综合色| 综合爱久久| 玖玖婷婷免费| BlACKEDRAW视频一区二区| 久久久婷婷婷| 久久久国产精品黄毛片| 色无婷婷| 嘿嘿视频免费看9| 欧美成人AAA片一区国产精品 | AV在线二十六页| 国产伦亲子伦亲子视频观看| 色一色综合| 91超级碰碰| www.婷婷五月天| 婷婷色五月在线视频| 久久久精品人妻录| 国产成人亚洲综合A∨婷婷| 夜夜爽日日躁| www.99成人视频| 激情婷婷另类| 五月开心深爱激情网| 深爱丁香激情| 思思热视频在线| www激情婷婷com| 天天射色五月天| 99热青青草| www.99视频| 婷婷五月丁香啪啪| 五月婷婷综合在线| 激情色五月天| 亚洲AV无码成人精品区电影网| 99九九热播在线免费视频| 久久五月婷天天干| 激情丁香五月AV| 免费人人操| 五月天婷婷情色| 精品九九久久| 久久婷色| 婷婷五月天亚洲天堂| 欧美色播综合在线观看| 日本 @ va 免费| 在线综合婷婷| 五月天成人小说| 色色色网站| AV五月丁香| 亚洲天堂热| 影音先锋一区| 96精品成人无码A片观看金桔| 国产精品18久久久| 狠狠99| 丁香五月自拍| 天天干天天操天天上| 亚洲小视频| 丁香五月婷婷网| 亚洲色夜| 清纯唯美 激情四射| 亚洲无码猫咪| 欧美婷婷丁香五月社区| 天天摸天天高潮天天爽| 五月丁香影院| 久热99| Aaa久久| 任你日热视频| 天色综合网站| 欧美熟女99| 可以免费观看的av| 秋霞日本免费毛片A片| 51成人| 色久播播| 日本色狠狠| 99视频内射三四| 双性美人被调教到喷水A片| 另类国产欧美视频| 思恩热国产视频右线观看| av 一区三区四区| 六月丁香综合999| 欧美α√| 国产免费性爱| 黄久久久| 先锋av性爱成人电影| 久久六月天| 五月天狠狠| 激情婷婷激情在线不卡| 亚洲综合激情五月久久| 91se在线观看| 五月婷婷激情啪啪| 亚洲精品网站色视频| 色婷婷丁香五月色综合网| 久久婷婷内射| 婷婷日本在线| 2025天天爽天天摸| 激情综合一| 91婷婷五月丁香碰| 色色cOm| 六月丁香五月天| 九九色网| 狠狠狠狠狠操| 精品一二三区久久AAA片| 99热加勒比| 五月激情丁香五月宗合| 九九热黄色| 色五月自偷自拍婷婷婷婷| 色婷婷4| 五月丁香色婷婷色| 丁香六月av| 久久五月天黄色五月天色网址| 亚洲婷婷丁香| 久久婷婷丁香| 婷婷五月丁香超碰| 五月天婷婷丁香花| 伊人五月综合网| 大地资源色婷婷视频在线| 成人综合视频在线| 免费97碰碰| 爱iii做iiii日日| 丁香五月婷婷呀| 欧美Va婷色| 色五月噜噜| 思思热精品免费视频| 99热在线只有精品| 另类激情综合| 97在线精品视频| 五月天成人网在线观看| 久久大香免费| 国产激情av| 日韩精品VIP| 激情丁香网| 天天射影院| 超碰人人操人人干| 狠狠插狠狠插| 好好日激情五月天| 激情性爱五月天网页| 美臀自射自家人妻| 51精品国自产在线| 99热这里只有精品最新地址获取| 九九精品丁香花| 亚洲中文乱字字幕线在永久| 99久久婷婷国产综合精品电影| 激情婷婷亚洲五月| 日韩成人不卡| 一级黄色尤物综合视频手机在线观看| 色婷婷综合电影| 婷婷五月天啪啪| 日韩五月婷婷久久| 色婷婷狠狠| 亚洲第二AV| 天天久综合| 久热在线观看视频9| 婷婷五月激情视频| 秋霞AV淫| 激情五月综合| 99综合免费视频| 亚洲182在线观看| 激情婷婷五月基地| 97婷婷在线| 色噜噜五月天| AV激情五月| 九九亚洲| 久热播这里只有精品| 久久免费少妇高潮99精品| 色播丁香婷婷五月激情| 狠狠爱婷婷色| 天天爽天天干| 五月天激情.com| 国产首页在线| 五月丁香啪啪综合| 日韩砖区| 精品九九久久| 99亚洲精品视频| 亚洲色爽| 丁香香蕉婷婷| www久久99| 中文字幕日韩无码制服诱或| 99九九视频精彩在线| 丁香久久五月婷综合| 激情综合五月| 97人人操人人拍| 色色色婷婷| 中文字幕在线免费观看视频| 色色色五月天婷婷| 色婷婷97| 5月丁香六月情| 人妻中文av| 9久久婷婷国产综合精品性色| 高清视频一区| 日韩国产AV播放| 色婷久久| 九九爱看亚洲| 色综合综合色| 五月天天综合网色婷婷| 九九精品免费| 色五月激情五月开心五月| 97视频.干com| 亚洲一二三网| 丁香啪啪| 丁香婷婷性久久| 这里只有视频精品| 99碰| 99热午夜精品| 99精品在线| 久久思思热视频| 99久超碰| 国内熟女黄色系列| 99精品成人无码A片观看金桔| 26uuu亚洲欧美日本| 婷婷香香五月| 丁乡久久| 丁香六月激情国产| 亚洲情综合五月天| 婷婷五月六月| 亚洲丁香婷婷丁香五月天激情| 91九色在线| 国产乱轮一区二区三区| 涩涩五月天| 五月天婷婷影院| 五月激情视频网| 丁香五月婷婷欧美激情-中文天堂最新版在线观看 | 婷婷综合视频| 99啪视频在线观看| 97成人操| 日本强伦片中文字幕免费看| 色五月丁香婷婷| 婷婷五月天电影区小说区| 久久五月婷婷电影| av色婷婷| 99九九视频| 99热个人在线| 五月天激情国产综合婷婷婷| 激情五月天影院| 久久免片| 婷婷五月激情天| 99久久久国产大片区| 狠狠五月激情丁香六月| 99热精品10| 99在线视频观看| 婷婷综合五月天| 99精品视频偷拍| 欧美激情综合五月色丁香| 99在线观看视频精品| 五月丁香自拍| 九色91视频| 色五月激情图片| 亚洲国产无线乱码在线观看| 五月丁香色综合| 丁香五月婷婷啪啪啪| 丁香五月天成人网站| www,婷婷五月天,com| 九九99在线观看视频| 激情综合国产| 婷婷五月AV| 五月丁香久久综合色| 久久婷婷五月综合色天| 亚洲图色五月天| 狠狠一日| 二区成人视频| 色婷婷女优有码五月亭| 99久久久久久久| 五月天激情日色在线| 欧美日韩成人h| 亚洲网综合在线| 中国女人做爰A片| 亚洲亚洲人成综合网络| 国产婷伊人| 日本熟妇乱妇熟色A片蜜桃| 国产乱妇无乱码大黄AA片| 激情99| 高清无码网址| 玖玖精品视频| www五月婷婷88导航| 国产精品久久久久久久久久免费| 亚洲黄网AV| 五月丁香色停停啪啪啪| 日本一级大片| 色婷婷久久久| 狠狠操天天操天天操| 激情com| 日日干综合| 色青青视频| 色 五月婷婷基地| 亚洲男人的天堂婷婷色五月| 人人爱人人添| 亚洲乱码在线观看| 久久色情| 五月天婷婷无码| 亚洲国产黄色电影| 大香蕉五月天婷婷| 伊人国产婷婷五月天| 涩五月丁香| se99视频| 99热久| 色香蕉影院| 日欧一片内射VA在线影院| 色色综合网www| 色月丁| 激情99| 丁香五月网站| 九九这里都是精品| 思思热视频在线观看| 亚洲中文字幕在线观看| 久操人| 99操视频| 色了色综合| 五月丁香婷婷综合| 亚洲乱码精品久久久久..| 九月婷婷在线视频| 五月丁香福利| 婷婷丁香激情五月天色色| 天天色天天操天天射| 日韩AV大全| 91人久| 人妻操日日| 天天日天天插天天操| 丁香五月六月欧美| 狠狠穞A片一區二區三區| 伊人丁香在线| 亚洲天堂久久| 五月丁香六月婷婷综合网站 | 色啪网| 久久婷婷五月综合伊人| 亚洲色另类| 色婷婷AV在线观看| 久久亚洲色导航| 26uuu精品一区二区| 色狠狠色| 丁香社92视频| 五月丁香六月色情网欧美| 五月丁香婷婷免费视频| 屁股翘好撅高迎合跪趴| 久久网日本| www.sezonghe| 婷婷色婷婷| 人妖色AV色综合| 五月天婷婷社区久久综合| 亚洲综合色丁香五月天| www婷婷| 97热超碰| 天天色天天爱天天爽| 久久丁香五月天| 99热黄| 欧美成人无码一区二区三区| 亚洲AV成人片无码网站| 亚州激情九月| 99成人小视频| 黄色片久久| 大香蕉520| 婷婷情爱五月天6| 中文字幕 中文字幕明步| 综合精品99| 亚洲综合婷婷| 最新日本A片| 色播激情五月天| 五月天电影网| 婷婷五月天日逼| 九月婷婷| 91超级碰| 激情性爱五月天| 超碰成人AV| 激情激情激情网| 思思热在线视频精品| 九九干视频| 色播激情五月天| 国产精品第一国产精品| 五月婷婷综合激情| 五月天激情网站| 五月天激情四射| 日韩在线视频网站| 丁香婷婷九月| 亚洲综合草草| 99在线视频精品| 日本五月天婷婷丁香| 99久久婷婷国产综合精品| 免费精品66| 色五月在线播放| 久99久精品视频| 色五月婷婷很很操| www.99操| 日日干日日| 91婷婷五月丁香碰| 成人网在线视频| 综合网狠狠| 久久这里只有精品8| 丁香婷婷综合影院| 日日噜狠狠色综合久| 超碰免费人人肏| 婷婷伊人久久综合| 成人免费网站免费看| 日韩视频99| 国产黄色大片| 色色婷婷丁香五月天| 五月综合色| 三级大香蕉网| 操人妻90p| 精品久久久中文字幕大豆网推荐理由| 思思99热在线| 老师高潮流白浆喷水的A片| 99思思热只有在这里看| 青青草五月天| 国产成人在线精品| 婷婷五月综合婷婷| 97精品人人A片免费看| 激情五月图| 三级毛片视频| 五月婷婷,六月丁香| 婷婷性爱视频在线| 久操大香蕉| 色狠狠五月天| 亚洲乱码日产精品BD| 丁香五月激情无码视频| 午夜婷婷久久| 狠狠干,狠狠操| 久久在这里有精品| 在线一起草av| 91成人品| 久久久五月婷婷| 婷婷丁香色性爱| 99re这里| 久草天堂| 激情五月天视频| 色婷婷六月| 天天日天天色| 丁香婷婷色色| 成人无码精品1区2区3区免费看 | 婷婷激情五月天视频在线| 婷婷五月天丁香久久| 婷婷五月综合社区| 欧美性生交A片免费看| 精品无码99| 亚洲人妻Av| 日日夜夜干| 热99精品视频| 淫视馆aV二区一区| 色色色色色色色五月| 丁香五月六月婷婷综合| 成人五月天综合网| 九九中文字幕九| 色久天| 久久66精品| 日本久久性| 专区无日本视频高清8| 欧美黄色AA片哗啦啦啦| 天天日日人| 99热www.| 99re99热| 中文字幕日韩无码制服诱或| 都市激情五月婷婷亚洲| 五月丁香综合网色欲| 欧美S码亚洲码精品M码| 91狠狠综合网| 五月天影院| 涩五月婷婷| 亚洲精品另类| 色综合五月天| 久久婷婷亚洲| 丁香六月婷婷综合缴| 丁香五月六月久久综合| 五月天三级久久| 婷婷五月丁香五月| 久久曰曰| 天天插天天爱| 国内精品玖玖| www.91婷婷| 91丨人妻丨国产丨丝袜| 少妇水多A片太爽了| 99九无网码| 色五月婷婷天天操夜夜操| 97操操操| 26uuu丁香婷婷五月| 欧美成人猛片AAAAAAA| 久草大| 色色色视频| 久色欧美| 激情五月丁香五月| 蒲京久久无码视频| 荫道BBWBBB高潮潮喷| 综合五月婷婷| 天天爽天天干天天| 六月婷色六月| 五月丁香成人版| 99热最新地址在线| www.99久| 日韩综合久久| 9精品视频在线观看| 色碰97| 亚洲第一成人无码A片| 97人人操人人干| 欧美成人精品A片免费一区99| 99热这里只有精品一| 这里只有精品偷拍| 《诡秘之主》在线观看| 亚洲黄色影视| 91超碰人人操| 婷婷91| 成人五月丁香社区| 另类激情五月| 五月婷婷六月天| 伊人久久大香蕉网| 天堂网啪啪| 狠狠做婷婷| 另类图片五月天婷婷| 视频这里只有精品| 九九九九毛片| 欧美日韩123| 91久久久久| 色色亚洲99com| 99热人人艹| 久久人人添人人爽添人人片αV| 亚洲乱码日产精品BD| 日本人人超碰| 99操不停| 久久婷视频| 五月婷啪啪| www.色色五月天.com| 久久999久久999久久999久久| 色色婷婷色色| 99re视频在线播放| 激情综合五月| 99热9| 99热在线观看精品| 亚洲亚洲人成综合网络 | 丁香婷婷久久综合在线| 色婷婷丁香社综合| AV在线观看网站| 色久婷婷五月| 色宗合久久五月婷婷| 久久开心五月婷婷| 九九热在线精品| 色女人久久| 色五月婷婷丁香五月| 夜夜操夜夜姧| 直接看的av| 91九色精品女同系列| 俺去也婷婷| 曰韩少妇内射免费播放| 欧美六月婷婷| 久久大香蕉同僚| 亚洲一个色| 天天做天天双| 丁香六月伊人| 99在线播放视频| 欧美在线操| 久久99国产综合精品免费| 婷婷狠狠青青| 激情六月婷婷| 人妻在线中文字幕久久| 久久人妻视频| 色噜噜综合网| 亚洲免费成人电影AV| 伊人九九热| 色婷网| 婷婷丁香人妻久久在线观看| 玖玖在线| 99国产在线精品视频| 欧美精品久| 99热福利| www.henhengan| 91超级碰碰碰| 插逼综合网| 新激情五月天天在线网| 亚洲天堂碰碰婷婷| 色婷婷五月综合在线| www.五月激情.com| 色狠狠综合网| 婷婷天天综合| av网址在线| 亚洲午夜成人av电影网| 五月丁香婷婷久久| 天天婷婷| 中文字幕丰满孑伦无码专区| 色五月色图| 久久人人人人妻| 91精品久久久久久久| 激情五月综合网丁| 噜噜色天天开心| 色色COm| 欧美精品18| 91在线精品一区二区| 亚洲操逼网| 天天操夜夜橾| 成人做爰A片免费看视频| 日熟女| 这里只有国产精品在线| 啪啪啪综合网| 亚洲一级AV在线免费播放| 婷婷五月天色综合翘| 99在线一区| 91丁香五月| 性 色 婷婷| 五月丁香日本片| 五月六月婷| 日本色色色色色色色色一色二色| 九九色热| 激情久久肏屄视频| 亚洲av网址| Jh7Uf088VHafNm| 日韩啪啪视频| 超碰在线免费| 色五月五月婷婷| 五月久久丁香| 91婷婷五月天综合视频| 97色色网| 97啪啪| 色色色综合| 五月天久久小说| 男人天堂亚洲综合| 日韩成人精品中文字幕| 色性综合| 五月激情啪啪| www.婷婷五月天| 亚洲五月婷婷| 亚洲成片在线观看| 79精品视频在线观看,| 性爱激情五月| 噜噜久| 亚洲人妻一区二区 | 狠狠狠狠狠狠色| 五月丁欧美| 婷婷五月丁香综合激情| 五月婷护士| 99热这里只有精品最新地址获取| www.97视频| 亚洲五月婷天天操| 成人无码精品1区2区3区免费看| 五月伊人综合| 99色色网| 五月天婷婷在看| 强壮公让我夜夜高潮A片视频| 久久99免费视屏| 久久婷婷伊人| 天天五月丁香五月| 亚洲另类电影| 婷婷丁香一月| 天天爱天天天射AV| 婷婷激情五月天小说校园| 激情玖玖综合网| 免费试看小视频 99| 99色综合久久| 色导航色婷婷五月天在线观看| 9|在线观看视频| 人人草人| www.天天色综合| 99ri精品在线| 欧美大香蕉视频| 久碰婷婷视频| a网站免费观看| 日韩日比视频| 婷婷激情图片| 99在线精品视频| 天天狠天天叉| 丁香亚洲婷婷五月| 五月婷婷激情啪啪| 亚洲色婷婷| 操91| 操老逼综合网| 九九视频在线观看| 日本三级日本三级99| 爱射综合| 夜夜骑福利资源| 操操日韩| 丁香五月天.com| 成人深爱丁香五月| 亚洲AV成人无码精品| 人人操五月天| 91碰碰| 久久久久人无码人妻| 激情精品久久| 亚洲综合无码| 成人色五月天| 国产永久一黄| 婷婷六月丁香五月| www.色擼擼.com| 人妻激情视频| 五月激情天| 99乱视频| 他改变了拜占庭| 狠狠色综合无线观看| 91狠狠色色丁香婷婷综合久久| 91se精品国产| 色婷婷精| 淫视馆aV二区一区| 色情激情五月| 综合激情五月天| 婷婷激情六月中文| 亚州操操| 这里只有精品96| 婷婷色五月激情强奸四射| 欧美美女国产日韩一区二区久| www.9色色色| 天天干天天操天天爽| 色欲AV导航| 五月丁香婷婷啪啪| 91九九精品| 91一起操| 人妻啪啪啪| 狠狠色性| 情色五月天网站| 岛国AAAV| 色五月综合| 激情五月婷婷五月丁香五月开心五月| 26uuu.| 射琪琪| 久久五月婷6 9| 97色色色| 国语精品探花| 激情 五月 婷婷 丁香| www.99热这里精品| 99热8在线| 9月色婷婷| 黄色99视频| 亚洲另类视频| 天天插天天爱| 亚洲综合热| 五月婷婷色丁香| 伊九九三级区| 丁香五月开心亚洲| 疯狂做受XXXX高潮A片| 五月天婷婷视频| 天天插天天日| 九九视频这里有精品| va中文资源在线观看| 激情久久肏屄视频| 9久久网| 中文字幕精品无码一区二区| 久青草影院| 五月丁香婷婷久久| 五月婷婷六月情| 99国产小视频| 99精品在线下载| 婷婷美女精品视频| 色碰碰| 狠狠爱婷婷丁香| 996日日爱| 激情 婷婷 丁香五月天| 激情五月图| 99热久| 色婷精品91| 久久99看免费| 久久天堂精品| 99婷婷五月天激情| 六月婷婷AV| 99热这里只有精品5| 十二区无码| 五月开心激情网| 99色人| 亚洲va欧美va国产综合久久久| 91嫩草国产线观看亚洲一区二区| 成人做爰黄A片免费看直播室男男| 亚洲成人免费在线| 五月天综合在线| 亚洲人人操| 亚洲人人操| 婷婷色在线| 91狠狠色丁香婷婷综合久久精品| 欧美激情VA永久在线播放| 青青草成人网| 97在线精品| 亚洲情欲| 超碰v| 成人超碰网| 九月丁香八月婷婷加勒比| 婷色影院| 久婷婷久草| 97人妻人人| 色欲久久久久久综合网综合网| 激情久久久久久久久| 影音先锋91| 五月丁香久| 激情综合区| 99视频色在线观看| 五月婷婷高清| www五月天激情com| 伊人99热| 天天摸天天肏| 五月情丁香色| 激情五月婷婷综合网| 日本va欧美va欧美va| 久久99久久99精品免观看粉嫩| 日本色婷婷| 婷婷五月天激情五月天网站| 天天摸日日舔狠狠添婷婷婷| 丁香五月综合在线视频| 色综合色| 天天人人人人人人人人人人人| 久久xx| 日日夜夜干| 日本久久九| 九九精品热播| 婷婷五月成人| 午夜少妇在线观看视频| 婷婷六月天| 五月激情网站| 色五月久久成人婷婷| 色色欧美色色| 91人人操.COM| 99热综合| se色综合网| 丁香五月综合高清在线| 人妻尝试久久久久久久久久久久| 看片视频在线免费日产在线看| www.99热视频| 日本人妻伦在线中文字幕| 色色丁香五月| WWW色五月天| www夜夜操com| 超碰久热| 日韩不卡123| 九色91视频| 99在线视频在线观看| 婷婷色五月婷| 丁香五月色| 在线91日韩| 亚洲欧洲99| 国产成人精品一区二区三区视频| 青青草激情网| 天天舔天天摸天天射| 亚洲XX网| av免费在线看不卡无毒| 亚洲人妻av| 亚洲成人乱码av网站| 看黄的网站18禁| 六月婷婷亚洲| 国产无套精品一区二区| 天天肏在线视频| 操操碰| 婷婷六月天亚州| 婷婷激情社区| 青草青草久9视频在线视频| 26uuu欧美日韩| 婷婷99狠狠躁| 99噜噜噜在线播放| 91精品又长又大又粗又爽又猛| 婷婷五月天无码视频| 丁香婷婷色色| 99爱在线| 五月激情丁香久久综合网| 极品人妻VideOssS人妻| 狠狠色噜噜狠| 第四色婷婷日本| 可以看的av网站| 日韩成人无码| 99久久99九九九99九他书对| 人人妻久久妻| 中文字幕网伦射乱中文| 亚洲国产精品五月天| 五月丁香婷婷婷激情爱爱| 热热色色五月天婷婷| 99热欧美在线观看| 成人版视频在线观看| 婷婷五月天在线观看第二页| 丰满人妻一区二区三区| 色老久久| 丁香五月Av| 99婷五月| 色情五月天se| 日日操夜夜爽天天天| 久久精品99久久| 一起操最新网址| 久久综合五月天激情小说网站| 99久久久| 色婷婷激情| 性爱久久| 开心五月网 | 99碰超| 97色色综合| 免费成人中文字幕| 狠狠插狠狠| 免费无码毛片一区二区A片| 噜噜色天天开心| 五月综合丁香婷婷| 91视频人人做97| 四色99久久| 色操综合| 国产26uuu视频| 99年操人人爽| 亚洲 在线 性爱 | 丁香狠狠色婷婷久久无码视频| 狠狠狠激情网| 玖玖99婷婷| 激情婷婷五月天在线观看| 一级黄在线| 免费试看小视频 99| 99国产精品久久久久久久久久久| 清色五月天| 最近免费中文字幕大全高清大全1 免费看欧美成人A片无码 | 激情网 久久| 色婷激情网| 国产乱人偷精品人妻A片| 欧美va视频不用播放器的va视频网| 婷婷五月天伊人| 欧美激情五月综合| 久热九九| 五月婷婷视频啪啪美女| 国产精产国品一二三在观看| 开心婷婷五月天激情网| 大香蕉99热| 日本久久天堂| 九色在线五月婷婷网址| 天堂久久大香蕉| 五月香婷婷| 天天操天天操| 婷婷五月天黄色小说| 26uuu丁香婷婷五月| www,色综合| 亚洲中文字幕AV| 看婷婷五月天网| 亚洲爆乳无码精品AAA片蜜桃| 五月天色婷婷小说| 伊人五月婷| 色婷婷社区| 天堂爱啪啪| 日本欧美在线| 久1色色| 色综合久久之分久久| 淫荡综合网| 婷婷五月精品中文| 五月丁香婷中文| 九九热99re8热免费观看| 无码日本精品XXXXXXXXX| 欧美99热| 五月婷无码| 婷婷娌伦网| 色五月天影视| 小香蕉av| www.99成人视频| 99riAv1国产在线观看| 思思热在线视频精品| 操日本人妻视频| 激情五月天婷婷色色色色色色色色色色色| 香蕉操亚洲| 梁铮版《蜘蛛女侠》在线| 色欲久久99精品久久久久久| 九九亚洲| 久久五月丁香伊人青草| 97色视频网| 天天噜噜| 欧美激情综合色综合色| 婷婷激情人妻| 99无码视频| 六月丁香激情| 狠狠色狠狠干| 国产精品成人网站| 97色色色| 五月婷婷激情69| 婷婷激情五月| 久草丁香婷婷五月天婷| 翔田千里无码| 五月天综合色| 五月色丁香| 26uuu亚洲| 天天激情站| 国产精品色色666| 欧美日韩成人高清在线| 性爱综合网| 色久综合| 影音先锋激情网| 无码髙清| 九九婷婷激情综合网| 久久婷婷综合基地| 六月丁香婷婷天堂| 91婷婷色| 夜夜嗨一区二区三区直播内容 | 国产在线aaa片一区二区99| 思思热视频在线| 777久久综合视频| 丁香五月在线自慰| 九久九精品| www.色婷婷| 久久a热| 五月丁香花免费视频| 啪啪91| 日本9区视频| 五月丁香在线| 婷婷久久99| 日韩操| 色五月无码| 激情五月天综合网| 香蕉视频性爱BB做爱| 激情综合久久| 九九视频在线观看| 狠狠色激情综合| 伊人春天av| 中文精品在| 男人的天堂在线婷婷| 婷婷五月天激情网| 99热人人| 丁香六月久| 丁香五月久久综合| 丁香五月狠狠在线观看| 肏屄色播伊人97婷婷| 日日夜夜九九| 久久久天堂国产精品女人| 五月丁香自拍| 六月丁香综合| 狠狠狠狠狠操| 殴美日比视频| 婷婷午夜激情| 91人人操| 狠狠色噜噜狠狠狠狠狠色综合久久| site:pnnrt.com| 超碰国产在线| 在线视频另类| 色偷偷综合| 天天激情| 丁香五月天视频在线播放| 色视五月天婷婷| 丁香五月AV在线| 66精品国产成人| 超碰在线91| 成人精品在线| 五月婷婷av| 欧美在线操| 久久色婷婷| 超碰在线人人| 91人人爽狠狠狠| 伊人色综合影院视频| 97五月婷婷| 99热只有国产在线精品| 五月婷婷 自拍| 91狠狠色色丁香婷婷综合久久| 丁香五月综合色婷婷| 欧美成人在线观看| 欧美激情综合色综合啪啪五月| 亚洲九区| 婷婷香草网| 丁香五月婷婷五月| AV伊人青草丁香六月| 婷婷五月天VI| 91色操| 四五月婷婷| 99视频在线观看视频| 狠狠做深爱婷婷久久综合一区| 色五月婷婷婷婷| 91九色精品| 亚洲V国产V欧美V久久久久久| 婷婷综合五月色播| 黄网网站在线播放| 婷婷五月色播天| 国产97色在线| 五月丁香啪啪综合网| jiuse91在线| 综合五月天| 久久婷婷成人综合色怡春院| 人人爽欧美婷婷久久久五月丁香| 亚洲国产99| 五月天婷婷在线播放| 丁香啪啪| 懂色av粉嫩av蜜臀av| 色综合丁香婷婷| 婷婷五月激情欧美大胆视频| 五月丁香好婷婷A片网| 天天日天天肏天天奸| 丁香大香蕉| 中文字幕婷婷五月天在线观看| 久久久久9| 91久久九| 欧美三级A做爰在线观看| 色婷久久| 精品久久久久久久久久久久人妻| 亚洲国产色婷婷| www激情网站| 一起草av| 国产精品爽爽久久久久久| 青青福利网| 另类的婷婷| 丁香五月六月综合激情| 97香蕉人人在线观看| 国产无套精品一区二区| 亚洲九区| 另类激情五月| 婷婷丁香六月影视| 九九青青草成人| 影音先锋偷偷色男人站| 色约约视频一区二区三区四区五区 | 色噜噜97视频在线观看| 香蕉AV777XXX色综合一区| 成人av免费观看| 丁香五月天狠狠| 婷婷激情五月天小说校园| 五月色婷婷影视在线电影| 亚洲综合网 665566| 怡红院成人AV| 日本色色视频| 超喷97免费在线视频| 91超级碰| 久婷婷婷| 久色激情| 久久人妻视频| 91色情播放| 色射婷婷五月天| 五月婷婷激情色情网| 色五月天.con| 综合色情网| 婷婷丁香激情综合色情| 六月丁香狠狠爱| 日韩AV中文字幕在线| 在线观看日韩12345区| 日本色色色色色色色色一色二色| 99这里只有精品视频| 综合久久六月| 激情五月深爱婷婷| 激情小说之五月| 日本激情五月天‘| 能直接看的AV网站| 五月婷婷自拍| 九九免费精品| 橾逼网| 婷婷五月天狠狠色| 男人天堂99| 色碰碰视频| 玖玖在线视频| 丁香五月综合婷婷| 操一区| 丁香五月香蕉| 99热这里只有精品4| 亚洲无码99| 国产片XXXXA片国语对白| 日本人妻伦在线中文字幕| 任你躁XXXXX麻豆精品| 色五月婷婷7777| 色婷婷亚洲综合天堂| 久久99久久99www| 日本久久9| 狠狠爱婷婷| 免费黄色视频网址| 包操45分钟网站| 婷婷五月丁香基| www五月天激情com| 97超碰在线免费观看| av网址在线| 色色色99| 91高潮喷水久久久久久久久| 99婷婷五月天激情| 涩 五月 婷婷 狠狠| 色色五月婷婷久久| 婷婷放心五日爱| 婷婷丁香五月激情图片| 狠狠色综合网站| 思思久久精品| 九九热AV| 六月激情婷婷| 国产欧美精品AAAAAA片| 久草五月丁香婷婷综合| 亚洲AVwwwwwww| 99热免费精品| 久久亚洲婷婷综合色五月| 亚洲精品性色| 综合大香蕉| 无码一区精品一区视频| 亚洲婷婷综合视频| 最新日本A片| 久久99美女精彩视频| 99这里热| 激情人妻蜜夜系列区| 婷婷六月综合基地| 日韩久久视频| 婷婷五月天免费| 久99久精品| 激情又色又爽又黄的A片| 激情九月丁香婷婷| 香蕉狠狠爱视频| 丁香婷婷五月天色播| 亚洲男女激情| 激情丁香五月婷婷| 色婷婷五月天成人网| 婷婷综合五月天激情| 婷婷五月天av| 日日躁夜夜躁狠狠久久AV| 婷婷五月丁香超碰| 五月天婷婷在看| 久久99网站| 色色色色色色色色色色色色色色,网站| 丁香五月ⅤA久久久| 五月婷亚洲精品AV天堂| 性生活视频98791| 91九色PORNY肉丝在线| 久久久99久久| 日本 @ va 免费| 国产又粗又大又爽又黄| 996精品热视频| 五月天色婷伊人| www.99在线| 久久天堂色| 婷婷五月天视| 欧美啪啪9| 午夜微拍福利| 日 日干 日日做| 五月婷婷黄色| 色综合中文综合网| 激情WWW| 色综合久久88色综合天天99| 97五月天| 婷婷激情六月综合| 99免费| 色婷青青| 日韩人妻无码一区二区| 99亚洲视频| 97ai婷婷| 丁香婷婷六月天| 激情五月婷婷中文字幕| 这里有精品2| 青青久久五月| 婷婷五月激情六月丁香| 五月伊人网| 丁香网五月天激情| 亚洲小视频免费看| 九月丁香亭亭| 色色啊| 超碰免费人人肏| 久婷五月| 99热偷拍| 婷婷丁香18| 色婷婷精品视频| 五月色婷婷影视在线电影| 久久5 9视频免费观看| 伊人在线视频| 五月婷婷偷| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 久久玖玖综合| 久久66er久久| 香蕉人妻AV久久久久天天| 五月婷婷综合网| 99国产er热视频| 日本人妻操| 色五月激情网|