欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

GWO-LSSVM回歸預(yù)測:灰狼算法優(yōu)化最小二乘支持向量機(jī)實(shí)戰(zhàn)

GWO-LSSVM回歸預(yù)測:灰狼算法優(yōu)化最小二乘支持向量機(jī)實(shí)戰(zhàn) 凡是做過回歸預(yù)測的朋友基本都經(jīng)歷過那個(gè)階段模型選了一大堆線性回歸太簡單決策樹又容易過擬合神經(jīng)網(wǎng)絡(luò)調(diào)起來讓人頭皮發(fā)麻。后來用上了支持向量機(jī)結(jié)果勉強(qiáng)能看但光是一個(gè)懲罰系數(shù)和一個(gè)核參數(shù)就能讓你在網(wǎng)格搜索里等到懷疑人生。后來我把目光轉(zhuǎn)向了 LSSVM就是最小二乘支持向量機(jī)再配合灰狼優(yōu)化算法自動(dòng)尋參也就是標(biāo)題里的 GWO-LSSVM整套流程一下子順了很多。這篇博客我就把完整的思路、原理、Python 實(shí)現(xiàn)和踩過的坑一次說清楚希望能給你提供一個(gè)可以直接復(fù)制去用的回歸預(yù)測方案。這套方案適合誰適合那些手頭有中等規(guī)模數(shù)據(jù)集、想要穩(wěn)定回歸精度、又不想在調(diào)參上花太多時(shí)間的工程師和研究者。不管你是做風(fēng)功率預(yù)測、房價(jià)估值、工業(yè)過程軟測量還是用各類傳感器數(shù)據(jù)做狀態(tài)預(yù)測GWO-LSSVM 都是一套值得放進(jìn)工具箱的方案。讀懂這篇文章不需要很強(qiáng)的數(shù)學(xué)基礎(chǔ)我會(huì)盡量用大白話把原理講透代碼也給了最小可用版本你只要會(huì) numpy 和 sklearn 的基本操作就能跑通。1. 項(xiàng)目定位GWO 為什么盯上了 LSSVM 這個(gè)模型1.1 LSSVM 回歸的本質(zhì)與痛點(diǎn)LSSVM 的全稱是 Least Squares Support Vector Machine翻譯過來是“最小二乘支持向量機(jī)”。它和傳統(tǒng)支持向量機(jī)最大的區(qū)別在于傳統(tǒng) SVR 用的是不等式約束求解的是二次規(guī)劃問題數(shù)據(jù)量大一點(diǎn)計(jì)算就會(huì)很慢而 LSSVM 把不等式約束換成了等式約束損失函數(shù)里也不再使用 epsilon 不敏感帶而是直接用誤差平方項(xiàng)。這樣原本的凸優(yōu)化問題就會(huì)退化成一組線性方程的求解速度和穩(wěn)定性都好了很多。這聽起來確實(shí)很香但代價(jià)是模型對超參數(shù)變得更加敏感。LSSVM 的核心參數(shù)有兩個(gè)一個(gè)是懲罰系數(shù) C在 LSSVM 公式里經(jīng)常寫作 gamma控制正則化強(qiáng)度另一個(gè)是 RBF 核的核寬度 sigma也可以換算成 sklearn 里的 gamma。這兩個(gè)參數(shù)一旦設(shè)得不好模型不是過擬合就是欠擬合。更麻煩的是C 和 sigma 對預(yù)測精度的影響是非線性的二維網(wǎng)格搜索雖然能找到大致不錯(cuò)的范圍但計(jì)算量大而且很難精細(xì)定位到最優(yōu)值。我在實(shí)際項(xiàng)目里體會(huì)最深的一點(diǎn)是LSSVM 的訓(xùn)練過程確實(shí)快但調(diào)參過程慢相當(dāng)于“跑步五分鐘找鞋兩小時(shí)”。如果數(shù)據(jù)量只有幾百條網(wǎng)格搜索勉強(qiáng)還能接受一旦樣本上千甚至上萬參數(shù)稍微多一點(diǎn)網(wǎng)格搜索就基本不可行了。所以調(diào)參這個(gè)環(huán)節(jié)必須要自動(dòng)化最好還不依賴梯度信息因?yàn)?C 和 sigma 對目標(biāo)函數(shù)的梯度根本沒法穩(wěn)定計(jì)算。1.2 LSSVM 的兩個(gè)關(guān)鍵旋鈕先說說 C 的作用。如果數(shù)據(jù)里有噪聲或者異常值C 太小模型會(huì)對誤差過于寬容學(xué)到的規(guī)律就很粗糙容易出現(xiàn)欠擬合。如果 C 太大模型會(huì)把每一個(gè)訓(xùn)練點(diǎn)的誤差都當(dāng)成大事拼命去擬合結(jié)果測試集上波動(dòng)很大過擬合風(fēng)險(xiǎn)隨之上升。換句話說C 起到的是一個(gè)“誤差容忍度”的杠桿作用。再說核寬度 sigma。RBF 核的定義是 K(x_i, x_j) exp(-||x_i - x_j||2 / (2 sigma2))。sigma 小的時(shí)候核函數(shù)隨距離衰減很快只有非常近的樣本才會(huì)相互影響模型會(huì)變得非常靈活容易把噪聲也學(xué)進(jìn)去。sigma 大的時(shí)候距離較遠(yuǎn)的樣本也能產(chǎn)生相似度模型變得平滑預(yù)測結(jié)果更穩(wěn)定但可能丟掉細(xì)粒度特征。通俗點(diǎn)說C 決定“模型敢不敢犯錯(cuò)”sigma 決定“模型看問題的視野有多寬”。這兩個(gè)參數(shù)不是獨(dú)立的。同樣的 Csigma 選得不同最優(yōu)規(guī)律也不同同樣 sigmaC 的適應(yīng)區(qū)間也跟著變。所以絕不能簡單地“先定 C 再定 sigma”必須把兩個(gè)參數(shù)放進(jìn)同一個(gè)搜索空間里讓優(yōu)化算法自動(dòng)化去尋優(yōu)。1.3 灰狼優(yōu)化如何解決調(diào)參難題灰狼優(yōu)化算法Grey Wolf OptimizerGWO是 Mirjalili 在 2014 年前后提出的一類群體智能優(yōu)化算法。它的靈感來自灰狼種群的社會(huì)等級(jí)和狩獵行為。算法把候選解分成四個(gè)層級(jí)alpha 狼是當(dāng)前全局最優(yōu)解beta 狼是次優(yōu)解delta 狼是第三優(yōu)解剩下的 omega 狼負(fù)責(zé)在搜索過程中不斷根據(jù)前三者調(diào)整自己的位置。通過迭代更新整個(gè)種群會(huì)慢慢收斂到目標(biāo)函數(shù)最優(yōu)點(diǎn)。用 GWO 調(diào) LSSVM 的思路很簡單把 C 和 sigma 當(dāng)作二維空間中的一個(gè)坐標(biāo)點(diǎn)灰狼的位置就是一組候選參數(shù)目標(biāo)函數(shù)用交叉驗(yàn)證的均方誤差來構(gòu)造?;依钦耀C物就是找“讓驗(yàn)證誤差最小”的那組參數(shù)。相比網(wǎng)格搜索GWO 會(huì)從種群里挑選多個(gè)方向同時(shí)搜索并且在 alpha、beta、delta 三條精英線的引導(dǎo)下動(dòng)態(tài)調(diào)整步長在復(fù)雜參數(shù)空間中往往可以用更少的評估次數(shù)找到更好的結(jié)果。我當(dāng)時(shí)選擇 GWO 而不是粒子群或者遺傳算法主要看中三點(diǎn)一是 GWO 幾乎沒有需要額外調(diào)節(jié)的超參數(shù)初始化非常簡單二是算法結(jié)構(gòu)清晰很容易嵌入模型訓(xùn)練流程三是它在小規(guī)模維度問題上速度很快回歸模型的參數(shù)維度通常只有 2 到 4 個(gè)并不會(huì)陷入高維度危機(jī)。2. GWO-LSSVM 整體設(shè)計(jì)拆解2.1 算法整體流程每次跑 GWO-LSSVM我都習(xí)慣把流程拆成四個(gè)模塊數(shù)據(jù)預(yù)處理模塊、LSSVM 模型模塊、適應(yīng)度評估模塊、GWO 尋優(yōu)模塊。這四個(gè)模塊彼此咬合數(shù)據(jù)預(yù)處理負(fù)責(zé)把原始數(shù)據(jù)變成規(guī)范化矩陣LSSVM 模塊負(fù)責(zé)接收一組參數(shù)并完成訓(xùn)練和預(yù)測適應(yīng)度評估模塊使用 K 折交叉驗(yàn)證計(jì)算誤差指標(biāo)GWO 模塊不斷調(diào)整參數(shù)迭代出最優(yōu)解。數(shù)據(jù)預(yù)處理是最容易被忽略但最關(guān)鍵的模塊。我一般先用StandardScaler或MinMaxScaler對特征做標(biāo)準(zhǔn)化再把目標(biāo)變量也做一個(gè)標(biāo)準(zhǔn)化處理。為什么要做這一步因?yàn)?RBF 核函數(shù)本質(zhì)上依賴樣本之間的距離。如果某個(gè)特征取值范圍是 0 到 100另一個(gè)特征是 0 到 0.01距離計(jì)算就會(huì)被取值范圍大的特征完全主導(dǎo)核函數(shù)學(xué)到的相似度就失真了。標(biāo)準(zhǔn)化之后每個(gè)特征都在大致相同的尺度上LSSVM 才能公平地利用所有特征。整個(gè)尋優(yōu)流程我按照下面的順序執(zhí)行第一步讀取數(shù)據(jù)并劃分訓(xùn)練集和測試集通常按 7:3 或 8:2 劃分第二步對訓(xùn)練集特征做標(biāo)準(zhǔn)化并把標(biāo)準(zhǔn)化參數(shù)保存下來之后應(yīng)用到測試集第三步初始化灰狼種群位置每個(gè)位置對應(yīng)一組 log10(C) 和 log10(sigma)第四步對每個(gè)灰狼個(gè)體解碼出真實(shí)的 C 和 sigma訓(xùn)練 LSSVM 并做 K 折交叉驗(yàn)證第五步用交叉驗(yàn)證誤差更新 alpha、beta、delta 的位置第六步根據(jù)灰狼狩獵策略更新所有個(gè)體位置迭代到最大次數(shù)第七步用最優(yōu)參數(shù)在完整訓(xùn)練集上重新訓(xùn)練 LSSVM對測試集做回歸預(yù)測再計(jì)算 R2、RMSE、MAE 等指標(biāo)。2.2 變量編碼與適應(yīng)度函數(shù)怎么定如果想直接用 GWO 去搜索 C 和 sigma第一個(gè)坑就是搜索范圍不好定。C 的可能最優(yōu)值可能從 0.01 到 1000 跨越五個(gè)數(shù)量級(jí)如果用線性坐標(biāo)直接搜索大量候選解會(huì)集中在很小的數(shù)值區(qū)間邊緣導(dǎo)致搜索效率極低。所以我采用的是對數(shù)編碼灰狼實(shí)際更新的參數(shù)是 p1 log10(C)p2 log10(sigma)。每次計(jì)算適應(yīng)度時(shí)再做一次解碼得到真實(shí)的 C 10^p1sigma 10^p2。采用對數(shù)編碼還有一個(gè)好處就是距離計(jì)算更合理。C10 和 C12 在效果上差異其實(shí)很小但 C0.1 和 C0.3 的差異可能會(huì)非常大。如果用線性尺度灰狼位置之間移動(dòng) 1 個(gè)單位并不能區(qū)分這兩種情況如果用 log10差距體現(xiàn)在同一量級(jí)算法步長才能保持相對穩(wěn)定。適應(yīng)度函數(shù)我常用的是五折交叉驗(yàn)證的均方誤差MSE代碼如下面的思路def fitness_function(params, X_train, y_train): C 10 ** params[0] sigma 10 ** params[1] scores [] kf KFold(n_splits5, shuffleTrue, random_state42) for train_idx, val_idx in kf.split(X_train): model LSSVR(CC, sigmasigma) model.fit(X_train[train_idx], y_train[train_idx]) pred model.predict(X_train[val_idx]) scores.append(mean_squared_error(y_train[val_idx], pred)) return np.mean(scores)注意我這里把 GWO 的目標(biāo)定義為最小化 MSEalpha 狼也就是 MSE 最小的一組參數(shù)。有些教程里會(huì)把適應(yīng)度定義為準(zhǔn)確率或者其他越大越好的指標(biāo)那樣的話 alpha 初始化就應(yīng)該用負(fù)無窮。實(shí)際編碼的時(shí)候一定要分清方向否則整個(gè)進(jìn)化過程會(huì)反著跑那是很讓人摸不著頭腦的問題。2.3 關(guān)鍵參數(shù)推薦GWO-LSSVM 的超參數(shù)并不復(fù)雜但每個(gè)都有講究。我把在實(shí)際實(shí)驗(yàn)中反復(fù)驗(yàn)證過的推薦值整理成了表格參數(shù)常用范圍或取值說明灰狼數(shù)量20 ~ 30數(shù)量太少容易陷入局部最優(yōu)太多會(huì)拖慢速度最大迭代次數(shù)30 ~ 60用于回歸參數(shù)尋優(yōu)時(shí)50 次基本足夠收斂維度2對應(yīng) C 和 sigma如果加上 epsilon 就是 3log10(C) 搜索范圍-3 ~ 3對應(yīng) C 從 0.001 到 1000log10(sigma) 搜索范圍-2 ~ 1對應(yīng) sigma 從 0.01 到 10head 系數(shù) a從 2 線性衰減到 0GWO 原文的標(biāo)準(zhǔn)策略交叉驗(yàn)證折數(shù)5兼顧方差與訓(xùn)練成本比較常用如果你發(fā)現(xiàn)最優(yōu)參數(shù)總貼著搜索邊界比如 C 取到了 1000 這個(gè)最大值說明搜索范圍設(shè)置不合理需要擴(kuò)大邊界或者檢查數(shù)據(jù)標(biāo)準(zhǔn)化是否做到位。這一點(diǎn)值得反復(fù)強(qiáng)調(diào)因?yàn)閷?shí)際項(xiàng)目里出現(xiàn)貼邊最優(yōu)的概率還真不低往往不是算法不行而是邊界把最優(yōu)解給框住了。3. 核心實(shí)操Python 從零跑通 GWO-LSSVM3.1 最小可用的 LSSVM 回歸實(shí)現(xiàn)很多剛接觸 LSSVM 的朋友會(huì)問sklearn 里有現(xiàn)成的 LSSVM 嗎官方?jīng)]有直接提供這個(gè)模型。有一種捷徑是使用 sklearn 的KernelRidge它和 LSSVM 的數(shù)學(xué)本質(zhì)非常接近也是 L2 正則化加核技巧。但在實(shí)際項(xiàng)目中我還是更喜歡寫一個(gè)輕量版的 LSSVM 類既能完全掌控計(jì)算流程也方便替換成自己調(diào)整后的版本。LSSVM 回歸的求解核心其實(shí)很簡潔。給定訓(xùn)練數(shù)據(jù)后需要求解一個(gè)線性方程組[ 0 1^T ] [ b ] [ 0 ] [ 1 Kinv(C) I ] [ alpha ] [ y ]其中 K 是核矩陣I 是單位陣。這個(gè)方程組解出來之后預(yù)測函數(shù)就是核函數(shù)在訓(xùn)練樣本上的線性組合再加一個(gè)偏置項(xiàng)。下面是我在項(xiàng)目里使用的壓縮版實(shí)現(xiàn)總共不到三十行import numpy as np class LSSVR: def __init__(self, C1.0, sigma1.0): self.C C self.sigma sigma def _kernel(self, X1, X2): 計(jì)算 RBF 核矩陣X1 和 X2 都是二維數(shù)組。 用廣播方式計(jì)算兩兩樣本之間的平方距離。 X1_sq np.sum(X1 ** 2, axis1).reshape(-1, 1) X2_sq np.sum(X2 ** 2, axis1).reshape(1, -1) dist_sq X1_sq X2_sq - 2 * np.dot(X1, X2.T) dist_sq np.maximum(dist_sq, 0) return np.exp(-dist_sq / (2 * self.sigma ** 2)) def fit(self, X, y): X np.asarray(X, dtypefloat) y np.asarray(y, dtypefloat).flatten() n len(X) K self._kernel(X, X) A np.zeros((n 1, n 1)) A[0, 0] 0.0 A[0, 1:] 1.0 A[1:, 0] 1.0 A[1:, 1:] K np.eye(n) / self.C Y np.hstack([0.0, y]) self.alpha_b np.linalg.solve(A, Y) self.X_fit X return self def predict(self, X_test): K_test self._kernel(np.asarray(X_test, dtypefloat), self.X_fit) b self.alpha_b[0] alpha self.alpha_b[1:] return np.dot(K_test, alpha) b如果你不是非要用純手寫版本直接使用 sklearn 的KernelRidge(kernelrbf)也能做類似的事。區(qū)別在于 sklearn 內(nèi)部對參數(shù)名和正則項(xiàng)的寫法稍有不同但優(yōu)化目標(biāo)幾乎一致??紤]到篇幅和教學(xué)意義我在項(xiàng)目里往往先用最小版本跑通邏輯再替換成更高效的工程實(shí)現(xiàn)。3.2 GWO 主循環(huán)逐行說明灰狼優(yōu)化的核心代碼寫起來并不復(fù)雜但是更新公式很容易寫錯(cuò)。我建議在實(shí)現(xiàn)之前先把灰狼位置、alpha/beta/delta 的概念在草稿紙上畫一遍。算法中的每個(gè)個(gè)體在每次迭代里都會(huì)根據(jù) alpha、beta、delta 三個(gè)精英個(gè)體計(jì)算新位置然后取平均值這樣既能利用當(dāng)前最優(yōu)信息也能保留一定的探索多樣性。下面是直接可用的灰狼優(yōu)化函數(shù)目標(biāo)函數(shù)是任意一個(gè)輸入二維位置并返回標(biāo)量誤差的函數(shù)import numpy as np import random def gwo_optimize(obj_func, dim2, wolf_num25, max_iter50, lb-3.0, ub3.0): obj_func: 輸入是一維數(shù)組對數(shù)編碼的參數(shù)輸出是越小越好的標(biāo)量 lb, ub: 每個(gè)維度的對數(shù)搜索下界和上界 alpha_pos np.zeros(dim) alpha_score float(inf) beta_pos np.zeros(dim) beta_score float(inf) delta_pos np.zeros(dim) delta_score float(inf) positions np.random.uniform(lb, ub, (wolf_num, dim)) convergence [] for t in range(max_iter): # a 從 2 線性衰減到 0 a 2.0 - t * (2.0 / max_iter) for i in range(wolf_num): fitness obj_func(positions[i]) # 更新三個(gè)精英個(gè)體注意這里是最小化問題 if fitness alpha_score: delta_pos beta_pos.copy() delta_score beta_score beta_pos alpha_pos.copy() beta_score alpha_score alpha_pos positions[i].copy() alpha_score fitness elif fitness beta_score: delta_pos beta_pos.copy() delta_score beta_score beta_pos positions[i].copy() beta_score fitness elif fitness delta_score: delta_pos positions[i].copy() delta_score fitness # 更新每個(gè)灰狼的位置 for i in range(wolf_num): for j in range(dim): r1 random.random() r2 random.random() A1 2 * a * r1 - a C1 2 * r2 D_alpha abs(C1 * alpha_pos[j] - positions[i, j]) X1 alpha_pos[j] - A1 * D_alpha r1 random.random() r2 random.random() A2 2 * a * r1 - a C2 2 * r2 D_beta abs(C2 * beta_pos[j] - positions[i, j]) X2 beta_pos[j] - A2 * D_beta r1 random.random() r2 random.random() A3 2 * a * r1 - a C3 2 * r2 D_delta abs(C3 * delta_pos[j] - positions[i, j]) X3 delta_pos[j] - A3 * D_delta new_pos (X1 X2 X3) / 3.0 positions[i, j] np.clip(new_pos, lb, ub) convergence.append(alpha_score) # 可選打印迭代過程 print(fiter {t1}/{max_iter}, best score {alpha_score:.6f}) best_param alpha_pos best_score alpha_score return best_param, best_score, convergence代碼里最需要留神的是維度問題上統(tǒng)一使用對數(shù)坐標(biāo)。比如更新后的位置是 1.2實(shí)際 C 值就是 10^1.2約等于 15.85。這樣設(shè)計(jì)可以讓搜索從一開始就覆蓋多個(gè)數(shù)量級(jí)不會(huì)在 0 到 1000 里“盲人摸象”。3.3 回歸預(yù)測完整流程為了讓例子有真實(shí)感這里用 sklearn 自帶的加州房價(jià)數(shù)據(jù)集來做演示。這個(gè)數(shù)據(jù)集有八個(gè)特征包括收入中位數(shù)、房齡、房間數(shù)等預(yù)測目標(biāo)是房價(jià)中位數(shù)。我用前五百條樣本做實(shí)驗(yàn)既能體現(xiàn)訓(xùn)練速度又能保持回歸問題的代表性。完整流程如下import numpy as np from sklearn.datasets import fetch_california_housing from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.metrics import r2_score, mean_squared_error, mean_absolute_error from sklearn.model_selection import KFold # 讀取數(shù)據(jù) data fetch_california_housing() X, y data.data[:500], data.target[:500] # 劃分?jǐn)?shù)據(jù)集 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42 ) # 標(biāo)準(zhǔn)化 scaler_X StandardScaler() X_train scaler_X.fit_transform(X_train) X_test scaler_X.transform(X_test) scaler_y StandardScaler() y_train scaler_y.fit_transform(y_train.reshape(-1, 1)).flatten() y_test_scaled scaler_y.transform(y_test.reshape(-1, 1)).flatten() # 適應(yīng)度函數(shù) def obj_func(log_params): C 10 ** log_params[0] sigma 10 ** log_params[1] kf KFold(n_splits5, shuffleTrue, random_state42) mse_list [] for train_idx, val_idx in kf.split(X_train): model LSSVR(CC, sigmasigma) model.fit(X_train[train_idx], y_train[train_idx]) pred model.predict(X_train[val_idx]) mse_list.append(mean_squared_error(y_train[val_idx], pred)) return np.mean(mse_list) # 執(zhí)行 GWO 尋優(yōu) best_log_params, best_mse, convergence gwo_optimize( obj_func, dim2, wolf_num25, max_iter50, lb-3.0, ub3.0 ) print(f最優(yōu) log10(C){best_log_params[0]:.4f}) print(f最優(yōu) log10(sigma){best_log_params[1]:.4f}) print(f最優(yōu)交叉驗(yàn)證 MSE{best_mse:.6f}) # 用最優(yōu)參數(shù)在完整訓(xùn)練集上重新訓(xùn)練 best_C 10 ** best_log_params[0] best_sigma 10 ** best_log_params[1] final_model LSSVR(Cbest_C, sigmabest_sigma) final_model.fit(X_train, y_train) # 預(yù)測并轉(zhuǎn)換回原始量綱 pred_scaled final_model.predict(X_test) pred scaler_y.inverse_transform(pred_scaled.reshape(-1, 1)).flatten() rmse np.sqrt(mean_squared_error(y_test, pred)) mae mean_absolute_error(y_test, pred) r2 r2_score(y_test, pred) print(f測試集 RMSE{rmse:.4f}) print(f測試集 MAE{mae:.4f}) print(f測試集 R2{r2:.4f})回看這段代碼有兩個(gè)細(xì)節(jié)值得專門提一下。第一是目標(biāo)變量標(biāo)準(zhǔn)化之后交叉驗(yàn)證誤差是基于標(biāo)準(zhǔn)化后的 y 計(jì)算但最終報(bào)告測試集誤差時(shí)你需要把預(yù)測值逆變換回去否則 RMSE 的量綱跟實(shí)際業(yè)務(wù)對不上。第二是最優(yōu)參數(shù)要在完整訓(xùn)練集上重訓(xùn)模型因?yàn)榻徊骝?yàn)證只是用來評估參數(shù)并不會(huì)為你產(chǎn)出最終模型兩者之間不要搞混。3.4 訓(xùn)練表現(xiàn)與收斂記錄在我本機(jī) 8 核 CPU 的環(huán)境下25 只灰狼跑 50 次迭代每次適應(yīng)度需要五折訓(xùn)練總共有 6250 次 LSSVM 訓(xùn)練。由于樣本只有幾百條LSSVM 的求解又是小規(guī)模線性方程組整個(gè)過程大概兩三分鐘跑完。收斂曲線通常表現(xiàn)為前期快速下降前 15 次迭代基本能把 MSE 從 0.03 附近壓到 0.005 以下后期則在小范圍內(nèi)震蕩并逐步穩(wěn)定。一次典型實(shí)驗(yàn)結(jié)果最終得到的最優(yōu)參數(shù)大約是 C 50 左右sigma 0.8 左右。對應(yīng)的測試集 R2 可以到 0.75 以上RMSE 在 0.65 左右。作為對比默認(rèn) C1 和 sigma1 的 LSSVM 測試 R2 可能只有 0.65 上下。當(dāng)然這個(gè)差距會(huì)隨著數(shù)據(jù)分布、樣本規(guī)模、特征噪聲而變化并不代表任何情況下 GWO 都能帶來絕對提升但它確實(shí)表現(xiàn)出一種“穩(wěn)定地把參數(shù)拉到合理區(qū)域”的能力而且找到的參數(shù)往往比人工湊出來的更均衡。4. 實(shí)戰(zhàn)中容易踩的坑與排查手冊4.1 目標(biāo)函數(shù)放縮的坑GWO-LSSVM 項(xiàng)目最常見的問題出現(xiàn)在適應(yīng)度函數(shù)構(gòu)造環(huán)節(jié)。如果直接用原始目標(biāo)變量的 RMSE 作為適應(yīng)度那么當(dāng)目標(biāo)變量本身范圍很大時(shí)MSE 可能達(dá)到幾千甚至上百萬alpha 的初始化如果還是用 float(inf) 倒沒問題但收斂曲線的變化會(huì)顯得非??鋸埐焕谂袛嗨惴ㄊ欠裾嬲M(jìn)步。更好的做法是把目標(biāo)變量標(biāo)準(zhǔn)化到均值 0、方差 1或者用 MAE、R2 這類受尺度影響較小的指標(biāo)。只要統(tǒng)一量綱GWO 的每一步迭代都能更有意義地體現(xiàn)參數(shù)變化帶來的影響。這個(gè)坑我早期犯過數(shù)據(jù)集目標(biāo)變量是百分制的評分在標(biāo)準(zhǔn)化之前適應(yīng)度值從 600 多緩慢下降迭代后期始終停在 120 附近我以為是參數(shù)范圍不夠后來才發(fā)現(xiàn)只是目標(biāo)變量尺度太大把細(xì)微改進(jìn)都淹沒了。標(biāo)準(zhǔn)化之后再觀察MSE 的梯度信息一目了然優(yōu)化效果立刻改善。4.2 核函數(shù)參數(shù)初始范圍另一個(gè)高頻問題是搜索邊界設(shè)得太窄。很多算法教程喜歡給 C 和 sigma 設(shè)成 [0.01, 100] 這類范圍看起來沒什么問題但實(shí)際數(shù)據(jù)分布不同最優(yōu)參數(shù)可能落在完全不同的區(qū)域。把邊界設(shè)窄之后灰狼種群會(huì)被迫擠在邊界附近無法探索更遠(yuǎn)的解空間最后得出的所謂最優(yōu)解可能只是“邊界內(nèi)看著最好”并沒有真實(shí)接近全局最優(yōu)。我推薦先做一次粗略試跑觀察優(yōu)化結(jié)果是否貼近上下界。如果發(fā)現(xiàn)最優(yōu)解貼到邊界就在更寬的范圍內(nèi)再跑一次比如 log10(C) 從 -4 到 4log10(sigma) 從 -3 到 2。這種擴(kuò)展搜索范圍的做法代價(jià)很小卻能顯著降低錯(cuò)過最優(yōu)參數(shù)的概率。4.3 常見問題對照表異?,F(xiàn)象可能原因解決辦法交叉驗(yàn)證 MSE 始終很大不下降特征沒標(biāo)準(zhǔn)化或搜索邊界不合理先做特征標(biāo)準(zhǔn)化擴(kuò)大參數(shù)范圍收斂曲線后期仍有劇烈波動(dòng)灰狼數(shù)量太少或最大迭代次數(shù)不夠增加到 30 只50 迭代起步測試集表現(xiàn)遠(yuǎn)差于驗(yàn)證集LSSVM 過擬合C 過大或數(shù)據(jù)量太少縮小 C 范圍嘗試增加樣本或加噪聲魯棒性每次運(yùn)行結(jié)果高度不一致隨機(jī)種子不確定交叉驗(yàn)證劃分不同固定 random_state多次運(yùn)行取平均參數(shù)明明變化但誤差不變搜索空間在對數(shù)編碼時(shí)過于離散步長過大縮小對數(shù)范圍或?qū)ξ恢酶录舆吔缥漳P陀?xùn)練特別慢樣本量超過幾千核矩陣求解復(fù)雜度高使用更高效的求解方式或先降采樣測試對于最后一條如果你的數(shù)據(jù)集已經(jīng)到上萬條LSSVM 的 O(n^3) 復(fù)雜度會(huì)變得很吃力。我建議先用隨機(jī)抽樣跑通流程觀察精度-耗時(shí)平衡再?zèng)Q定是否使用完整數(shù)據(jù)。若數(shù)據(jù)量真的很大GWO 每次迭代都要做交叉驗(yàn)證計(jì)算負(fù)擔(dān)會(huì)比較重這種情況下可以先在少量樣本上尋優(yōu)再在完整訓(xùn)練集上微調(diào)也算一種務(wù)實(shí)做法。5. 把 GWO-LSSVM 進(jìn)一步用好的細(xì)節(jié)思考5.1 和網(wǎng)格搜索、粒子群做橫向?qū)Ρ茸龌貧w預(yù)測項(xiàng)目時(shí)很多人會(huì)問“為什么不直接用 sklearn 的 GridSearchCV”我的體會(huì)是當(dāng)參數(shù)維度只有兩個(gè)時(shí)網(wǎng)格搜索的優(yōu)勢是穩(wěn)定、可復(fù)現(xiàn)但它的缺點(diǎn)是必須預(yù)設(shè)步長。如果步長太粗容易把最優(yōu)參數(shù)落在格子之間步長太細(xì)計(jì)算量指數(shù)上升。GWO 則不同它沒有固定的網(wǎng)格概念搜索過程更像是連續(xù)空間中的智能逼近所以它能在有限的評估次數(shù)內(nèi)走得比網(wǎng)格搜索更細(xì)。那和粒子群算法相比呢GWO 的優(yōu)勢在于參數(shù)更少。粒子群需要設(shè)置慣性權(quán)重、個(gè)體學(xué)習(xí)因子和社會(huì)學(xué)習(xí)因子每個(gè)參數(shù)都需要人為調(diào)聽起來就像一個(gè)“調(diào)參算法還需要調(diào)參”的冷笑話。GWO 只需要設(shè)置種群數(shù)量和迭代次數(shù)收斂性主要依賴系數(shù) a 的自適應(yīng)線性衰減使用門檻低很多。當(dāng)然 PSO 在特定問題上表現(xiàn)也很強(qiáng)但在 LSSVM 這種低維優(yōu)化任務(wù)上GWO 足夠?qū)嵱谩?.2 是否能擴(kuò)展為多目標(biāo)或更多參數(shù)如果某個(gè) LSSVM 變體需要同時(shí)優(yōu)化懲罰系數(shù) C、核寬度 sigma 和 epsilon-SVR 中的 epsilon 參數(shù)那么只需要把 GWO 的目標(biāo)維度從 2 改到 3。此時(shí)搜索空間確實(shí)變大了但灰狼種群的多樣性優(yōu)勢能繼續(xù)發(fā)揮作用。你只需要小心三點(diǎn)一是種群數(shù)量和迭代次數(shù)最好同步增加二是三個(gè)參數(shù)的搜索范圍差異很大但只要你統(tǒng)一使用 log10 編碼就不會(huì)出現(xiàn)某個(gè)維度變化太快而其他維度變化太慢的問題三是可視化時(shí)不要只看二維收斂曲線可以保存每一代的 alpha 參數(shù)軌跡判斷是否存在異常跳變。如果你想要更精細(xì)的優(yōu)化效果也可以把交叉驗(yàn)證的折數(shù)從 5 改成 10。折數(shù)越多驗(yàn)證評價(jià)越穩(wěn)定但訓(xùn)練次數(shù)也隨之增加。個(gè)人建議先用 5 折做快速篩選最后用 10 折對排名前列的參數(shù)組做精排這樣比直接開 10 折更省時(shí)間效果卻不打折扣。5.3 一些實(shí)在的小技巧這里再分享幾個(gè)我自己常用但不容易寫進(jìn)正式論文里的經(jīng)驗(yàn)。第一個(gè)技巧是在交叉驗(yàn)證之前固定數(shù)據(jù)劃分順序。如果不固定每次 GWO 迭代時(shí)交叉驗(yàn)證的訓(xùn)練集和驗(yàn)證集劃分都不同那適應(yīng)度值包含了額外的劃分噪聲灰狼很難穩(wěn)定收斂。最簡單的做法是在每次交叉驗(yàn)證前設(shè)置KFold(shuffleTrue, random_state42)保證同一參數(shù)得到相同誤差。第二個(gè)技巧是每次記錄最優(yōu)參數(shù)對應(yīng)的驗(yàn)證誤差而不是只記錄最終結(jié)果。GWO 收斂到后期時(shí)alpha、beta、delta 往往已經(jīng)很接近如果目標(biāo)函數(shù)不平滑可能出現(xiàn)微小的性能震蕩。保存最優(yōu)位置可以避免迭代后期偶然變差導(dǎo)致最終模型參數(shù)不如中間某次的結(jié)果這種“保存歷史最優(yōu)”的思路和很多優(yōu)化算法的精英保留策略是相通的。第三個(gè)技巧是關(guān)于數(shù)據(jù)量。如果數(shù)據(jù)集非常小比如只有幾十條樣本LSSVM 的交叉驗(yàn)證誤差波動(dòng)會(huì)很大GWO 很難找到穩(wěn)定最優(yōu)。這種情況下我通常先增加驗(yàn)證折數(shù)或者改用留一交叉驗(yàn)證把評估做得更嚴(yán)格。這雖然會(huì)增加訓(xùn)練量但能更真實(shí)反映參數(shù)對未見過樣本的預(yù)測能力。數(shù)據(jù)量很小又想要穩(wěn)定預(yù)測不如試試更簡單的回歸模型先用線性回歸或嶺回歸建立一個(gè)基線如果 R2 已經(jīng)足夠好沒有必要執(zhí)著于支持向量機(jī)這類復(fù)雜模型。根據(jù)我個(gè)人的經(jīng)驗(yàn)任何創(chuàng)新方法都應(yīng)該服務(wù)于“最終業(yè)務(wù)結(jié)果”如果基線已經(jīng)滿足需求調(diào)參再花哨也沒有意義。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月婷婷视频啪啪美女| 欧美99热| 玖玖伦理电影| 激情图片99| 超碰在线国产| 婷婷色色丁香五月天| 全网最新网黄大秀直播高清,主播国产录屏在线 | 超碰99热精品| 五月永久激情| 激情五婷精品网在线观看网址| 亚洲网站观看视频| 色婷婷小说| 天天日综合| 五月婷婷 欧美| 激情婷婷99| 色五月婷婷在线| 婷婷五月天开心激情网| 婷婷色丁香五月| 九九碰九九爱97超| 五月丁香六月婷婷的女人| 狠狠操狠狠插| 91精品久久久久久| 九九99香蕉在线视频播放| 小视频aaa久久久| 2015超碰| 久久久久久99精品无码| 97人妻人人| 99爱爱| 丁香五月婷婷激情蜜桃| 精品人妻久久久久久久| 婷婷五月天伦理| 九九热在线99| 久九九热| 涩涩婷婷五月| 五月亭大香蕉| se99热久久一本| 精品国产乱码久久久久夜深人妻 | 亚洲亚洲人成综合网络| 91久久久久久| 开心激情站| 久久婷狠狠色| 伊人久久大香线蕉av一区| 99久久er| 综合图区激情| 天天情色综合网| 婷婷五月天直播| 五月婷婷色| 蜜臀av粉嫩av懂色av| 亚洲人成网站999综合| 日日夜夜狠狠| 色色丁香| 欧美性猛交99久久久久99按摩| 五月花激情| 久久五月天综合| 天天插天天插天天插| 婷婷丁香视频| 996日日爱| 开心五月深爱五月婷| 综合99在线| 久久er视频6| 精品成人久久久久久久_一二三四视| wWW九九在线播放| 色婷婷五月成人网| 九色91视频| 久9久成人精品视频| 亚洲国产网站| 91玖玖| 97在线刺激| 久久婷婷丁香五月宗合| 色情综合| 色综合久久88色综合天天人守婷| 婷婷亚洲在线| 婷婷中文字幕网| 五月天婷婷小说| 大香蕉欧美在线| 大香蕉欧美在线| 五月婷婷六月丁香| 另类视频一区| 久久人妻少妇嫩草AV| 亚洲精品V天堂中文字幕| 99精色| 99这里| 九九热免费视频| 亚洲成人免费在线| 婷婷99狠| 日韩久久视频| 美女激情婷婷| 神马欧美精| 日韩成人av在线| 激情五月天网| 这里只有精品96| 欧州婷婷五月天综合| 国内自拍97在线| Av在线资源| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 婷婷五月俺要去| 婷婷五月开心中文字幕在线| 丁香激情五月天| 国产欧美第五十五页| 婷婷综合在线| 精品9久| 亚洲天堂制| 《久久综合九色综合97婷婷| 大香蕉手机视频| 天天在线久久综合| 激情爱爱网站超大免费| av国产精品| 96精品成人无码A片观看金桔| 国产成人精品亚洲线观看| 超碰v| 3DAV亚洲香蕉久久 一区二区| 九九热123| 九九色黄色| www.久久久久久久| 午夜爱爱爱成人| 五月天激情国产综合婷婷| 9月色婷婷| 激情综合五月婷婷| 99人人操人人操人人精| 激情www.98com| 人人爽欧美婷婷久久久五月丁香| 丁香五月婷婷在线| 97操男人的天堂| 操操操操操操婷婷五月天| 26UUU在线观看| 色噜噜狠噜噜视频| 乱乱av| 极品九九九九九九| 色五月婷婷、老熟女| 思思热视频在线| 色无码| 婷婷天堂综合网| 另类亚洲2| 五月丁香六月情亚洲| 91成人看片| 极品少妇高潮啪啪AV无码| 大香蕉娱乐| 五月婷婷激情四季| 91Chinese在线| 狠狠婷婷色综合| www色五月| 99热这里只有精品热| 色色色干| 香蕉色色网| 99爱视频精品| 九色PORNY9l原创自拍| 婷婷五月综合性爱| 色欲日日躁| 综合久久9| 99热亚洲只有色| 九九热黄色| 天天爱夜夜爽| 色婷婷91激情小说| 久久在线人妻| 五月婷A V在线| 99啪啪| 婷婷色六月| 任你躁XXXXX麻豆精品| 情色婷婷五月天| se影音资源在线观看| 亚洲国产精品二二三三区| 综合狠狠干| 婷婷六月久久综合导航| 日韩av高清| 热99久久这里只有精品| 亚洲成人在线在线| 五月天播播综合| 香蕉狠狠爱视频| 激情五月天福利| 综合色色婷婷| 第四色色色色色丁香五月天| 国产午夜精品久久久观看| 欧美精品在线观看| www.热99热| 少妇人妻人伦A片| 婷婷五月色| 婷婷涩五月| 激情四射婷婷| 婷婷久久大香蕉| 午夜av网| www.99热在线| 中文字幕在线免费观看视频| 丁香五月天视频| 日日操夜夜爽白洁| 激情五月婷婷| 婷婷五月美女直播| 九九亚洲无码| 九九在线精点品| 九热视频精品| 亚洲另类电影| 99r久久这里只有精品| 久久久久这里只有精品| 婷婷六月丁香久| 99久视频| 婷婷播播五月天| 最近中文字幕2019视频1| 狠狠色性| 五月天婷婷丁香人人操91| 婷婷色五月丁香六月欧美啪| 久久久久99精品成人网站| 五月婷婷丁香俺日污视频| 牛牛色av| 日本99视频| 色呦呦美女| 色婷婷香蕉| 色五月激情视频在线综合| 亚洲综合色色| 亚洲五月天狠狠| 热99色| 五月丁香婷婷中文网| 91在线观看九区| 开心五月激情婷婷| 国产激情综合| 爱穴久久| 99色天堂| 丁香综合网| www.久久9| www.99热在线| 人人色AV| 婷婷丁香九月| 五月丁香综合精品欧美| 婷婷九月亚洲| 综合五月亭亭9| 亚洲视频1区| 成人av在线网站| 蜜臀av无码久久久久久久久 | 俺五月| 色色丁香婷婷五月天| 日日夜夜狠狠操| 七七九色| 午夜成人av在线| 超碰国产在线观看| 我爱宗和色| 东北黄色一级| 香蕉AV777XXX色综合一区| 婷婷五月天激情网站| 99热爱爱干干日| 白人荫道BBWBBB大荫道| 色色色热热热| 色欲五月天| 婷婷99丁香| 九九热视频在线观看| 天天操天天操综合| 久久作爱| 国产婷婷五月| 五月婷婷综合激情| 亚洲综合另类| 日日爽天天| 五月天操逼网| 丁香五月天激情四射网络不好| 久久久18| 激情五月天网| 色五月成人网| 色综合色婷婷色伊人| 欧美69色| 色青青电影色五月| 无码99| 99热这里只有精品免费观看| 日日噜噜久久婷婷五月天| 大伊香蕉玖玖爱| 99亚洲精品| 在线视频99| www好屌操| 日本久久婷| 婷婷五月天99综合网站| 婷婷午夜| 激情五月婷婷五月| 亚洲热热视频| 日日日天天干| 婷婷丁香五月,狠狠综合| 丁香六月婷婷综合激情欧美| 4438全国最大视频成人网站在线观看| 92久久精品一区二区| 久久伦乱| 99热这里只有精品官网| www,色中色| 亚洲一级色电影| 丁香五月婷婷香| 婷婷丁香六月天| 六月婷婷激情| 狠狠色噜噜狠狠狠狠综合| 五月丁香日本片| XX久久| 五月天久久激情| 亚洲精品第一国产综合亚AV| 99在线精品视频| 欧美激情综合色综合啪啪五月| 婷婷五月天六月| a v色婷婷| 大香蕉AV在线| 丁香色五月婷婷17C| 激情五月天福利| 桃色五月婷婷| 亚洲正能量欧美| 亚洲欧美在线观看| 91无码一区人妻A片蜜| 中文激情网| 激情五月综合| 丁香六月激情| www超碰| 综合婷婷| 五月丁香色综合| 色婷婷五月在线| 五月天久久久| 婷婷五月天激情网| 激情五月婷婷| 日本三级99人妇网站| 激婷网| 日韩成人影片网站| 国产性av| 玖色色综合| 五月婷婷国产| 精品久久久999| 久久色9| 九九中文字幕九| 国产av天天插天天操天天爽| 另类婷婷五月天啪帕帕| 色婷婷四色| 日本操片| 激情婷婷内射| 色吧五月婷婷六月丁香| 97深爱伊人综合| 激情五月丁香激情综合网| 丁香婷五月| 99在线视频在线观看| 有码人妻久久| 激情五月天伊人av| 高清视频一区| 少妇人妻人伦A片| 一级AV片| 九九精彩久久| 99热欧美在线观看| 久久婷婷操| 国产VA亚洲VA96| 色播五月天激情| 性色婷婷| 大地资源色婷婷视频在线| 国产熟妇乱子伦hd| 91视频久久久| 天天搞夜夜六| 99久视频| 深爱激情五月天色婷婷| 日本狠狠色| 9999久久久久| 亚洲精品又粗又大又爽A片| 欧美综合激情| 亚洲综合视频在线| 人妻尝试久久久久久久久久久久| 丁香五月AV| 激情九月综合| 国产肥白大熟妇BBBB视频| 超级碰碰97在线| 啪啪色激情五月天| 丁香五月天欧美成人| www狠狠| 天天爽天天摸天天爱| 日韩啪| 办公室少妇激情呻吟A片在线观看| 一本色道久久综合狠狠躁一二三| 97久久精品| 婷婷色五月亚洲| 丁香五月天成人网站| 色欲一区二区三区精品A片| 成 人片 黄 色 大 片| 高潮毛片又色又爽免费| 欧美色99| 五月天婷婷在线观看| 99精品热| www99xxxx五月丁| 密黄站| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 欧美电影在线播放| 在线观看亚洲视频影院| 久久aaaa片一区二区| 99在线免费视频| 午夜成人片400| se99热久久一本| 婷婷五月天.com| 四月婷婷五月丁香| 精品国婬伦V无码久久久| 五月丁香综合| 久久婷婷五月天激情| 成熟妇人A片免费看网站 | 国产67194| 综合五月激情| 天天做天天爱天天爽夜夜揉| 激情综合色婷婷啪啪六月天| 五月激情婷婷偷拍| 青青夜夜狠狠夜夜狠狠| 日韩成人综合网| 综合精品啪啪| 亚洲色色香蕉| 丁香狠狠干| 操一区| 无码任你操| 99精品视频在线观看| 啪啪操超碰| 天天做天天爱天天综合网| 99久久婷婷| 天天综合色丁香| 色婷婷丁香五月综合| 天天弄天天操| 午夜理论片最新午夜理论剧 | 玖玖九九9999在线观看视频精品| 丁香五月激情站| 久久九九色| 99网址在线看| 久热 91| www. 五月. com| 99久久99热这里只有精品| 99精品网| 狠狠色婷婷7| 这里只有精彩视频| 婷婷六月丁香在线| 色婷婷丁香五月天| 久热大香蕉| 91黄操| 热久久色| 久9无码视频| 91精品综合久久久五月天| 亚洲看av的网站| 欧美婷婷| 婷婷五月天深爱| 男妓跪趴把舌头伸进我的嘴巴| 婷婷丁香社区网| 婷婷亚洲色| 日本操碰碰| A片一曲| av国产精品偷| 丁香九月婷婷| 99热20| 日韩aaaaa| 久久激情综合| 玖玖在线视频| 婷婷五月天激情综合深爱| co超碰在线观看| 狠狠色噜噜色狠狠狠综合久久成人波| 日韩美女羞羞网站在线观看| 国产 码在线成人网站| 精热在线综合网| AA片在线观看视频在线播放| 亚洲、热| 99热狠狠操| 99在线资源| 国产亚洲色婷婷久久99精品91| 国产激情久久| 五月丁香少妇网| 激情五月综合网丁| 色噜噜狠噜噜视频| 日本一级一级一级一级| 桃色五月天| 婷婷深爱色五月| 亚洲丁香五冃97色| 亚洲成人av在线播放| 秋霞日本免费毛片A片| 婷婷成人综合| 婷婷综合五月天激情| 激情综合网婷婷五夜| 五月丁香婷婷潮喷中文字幕| 亚洲成人AV在线| 伊人狠狠丁香婷婷综合尤物| 激情综合婷婷| 国产黄色在线| 99成人| 婷婷丁香五月天综合AV| 五月天婷久久| A1片久久久| 俺来也综合网精品一区| 天天日色情| 欧美激情VA永久在线播放| 日本色婷婷| 91妻人人爽人人看片| 九九热在线99| 高清激情av在线观看| 久久五月天丁香| 色99网| 亚洲日日操| 色色综合无码| 婷婷色中文| 国产JK精品白丝AV在线观看| 五月婷婷人人人操| 婷婷丁香五月综合网上| 五月天第四色开心色播| 2017人人操| 日本黄 色 片| 天天操天天干天天日| 深爱激情69热| 丁香五月98| 大香蕉五月天婷婷丁香91| 伊人久久大香线蕉精品| 五月天激情四射| 少妇综合网| 99爱视频在线免费观看| 26UUU一区二区| 色色色9 9 9| 大地资源色婷婷视频在线| 91大神操美女| 婷婷五月天色播| 激情综合网亚洲色图| 久久五月婷| 色五月婷婷伊人| 少妇人妻偷人精品无码视频新浪| 狠狠色综合网| 久久丁香| 91精品久久久久久久| 99热a片免| 麻豆123区| 在线va网站| 人人操97| 成人婷99最新| 色欲九区| 男人的天堂五月丁香| 欧美高潮9| 成人亚洲精品久久久久| 欧美性生交XXXXX无码小说| 五月色影院| 九九这里是免费的视频5| 激情五月,色播五月| 九九亚洲小视频| 五月天激日本色情在线| 婷婷丁香五月av| 日本片日本片祼观看网站在线看中文版网页在线看| 丁香玖玖| 色哟哟精品| www.97干视频| a九九热www| 国产视频福利| 六月色播| 91操人视频| 久久久97| 欧美狠狠草| 天天色天天搡| 日本精品。999| peg 2区三区四区的| 狠狠色噜噜狠狠色噜噜噜999| 91超级碰| 五月香蕉综合| 亚洲日韩26uuu| 九九在线免费观看| 五月天激情子轮| 天天色天天色天天色天天色天天色| 激情五月色综合国产精品| 午夜精品777| 欧洲综合色| 五月丁香狠狠| 高清无码入口| 99热主页日本| 丁香五月五月婷婷| 少妇大叫太大太粗太爽了A片| 精国产品一区二区三区A片| 成人午夜天| www.ywav| 2016日日夜夜操| 中文字幕九九九九| 色婷婷狠狠干| 久久机热这里只有精品| 激情综合激情综合| 99精色| 国产暴力强伦轩1区二区小说| 日本不卡一区二区三区| 中文字幕成人日韩| 天天综合网91| 色婷婷深爱五月| 国色天香伊人狠狠色| 五月六月伦理| 日日夜夜婷婷| 无码视频国内精品久久久| 亚洲精品无码久久| 香蕉久久av一区二区三区| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 国内精品玖玖| 欧美色五月| www.色五月| 九九九激情综合| www.色色com| 丁香六月啪啪啪| 美女婷婷六月色| 久久思思精品| 丁香五月手机在线| 色综合久久8| 日本系列_4页_777FP| 久久精品爱爱| 婷婷开心五月| 色婷婷九月| 91fuliwang| 久婷婷| 丁香五月综合在线播放| 欧美色色色色色色色色色色| 亚洲国产精品VA在线看黑人| 六月丁香停| 国产99精品免费视频| 成人视频婷婷| 丁香六月婷婷| 另类激情五| 深爱激情网婷婷| 99爱爱网| 九月丁香久久网| 天天色图| 九九婷婷网五月天| 精品一区二区三区免费毛片爱| 婷婷五月丁香人妻无码高清| 色噜噜狠狠色综合伊人| 成人丁香五月天Av| 六月婷婷色色网| 99热啪啪| 五月天综合| 老师的粉嫩小又紧水又多A片视频| 99热99操| 欧美婷婷色五月| 狠狠狠狠狠| 超碰国产在线观看| 激情综合亚洲色婷婷五月| www.99热这里只有精品| 久久精品99久久久久久久久| 91啪级电影| 婷婷伊人綜合中文字幕小说| 久久九九婷婷| 成人九九视频| 乱岳熟女50岁| 538午夜激情| 97碰人人操| 丁香五月亚洲综合| 大狠狠在线| 丁香婷婷深情五月亚洲| 超碰93在线观看| 色色哒五月婷婷六月丁香| 五月激情在线| 九九热亚洲中文在线观看免费| 五月激情影视| 大香伊人婷婷影院| 激情五月天色婷婷| 激情性爱五月天网页| 丁香午月AV中文字幕| 婷婷色啪| 色婷婷久久综合久色综| 色综合五月| 久久婷婷桃花五月天| 久久久精久人妻| 亚洲精品无码一区二区| 亚洲99激情| 丁香五月欧美| 欧美狠狠一在草| 99re这里| 九九人妻福利| 99久久综合网| 五月激情六月| 强壮公让我夜夜高潮A片视频| 女人露出p毛视频www网站| 色婷婷操逼| 激情综合国产| 丁香六月久久| 99综合| 9久热| 丁香五月婷婷狠狠色| 另类专区在线观看| 激情久久久| 五月丁香激情综合网| 日本久久99| 婷婷综合网| 天天色天天爽| 人妻丰满精品一区二区A片| 五月丁香六月日逼| 久久人人做人人妻人人玩精品va| 日本九九热| 九九艹女| 色婷婷小说网| 亚洲在线操| 91成人性爱视频| 五月丁香在线视频观看| 极品少妇XXXX精品少妇偷拍| 婷婷丁香五月欧美人| 日韩在线视频9色| 婷婷六月久久综合导航| 高清国产AV| 婷婷五月天堂| 色A网| 婷婷丁香中文字幕| 五月丁香成人视频| 伦乱天堂| 成 人片 黄 色 大 片| 丁香五月丁香伊人| 中文av在线观看| 日本九九视频| 狠狠香婷婷五月| 婷婷综合中文字幕| 五月天婷婷丁香导航| 超碰人人色| 成人国产欧美大片一区| 日日夜夜天天综合| 激情黄色小说色五月| 日本三级韩三级99久久| 五月婷婷我| 久操干| 国产毛片精品一区二区色欲黄A片| 99热99热在线观看| 九九99九九精品视频| 五月婷婷影| 亚洲激情图文小说| 色yeye色综合| 亚洲综合五月| 五月丁香婷婷激情视频| 色色五月婷| 变态 另类 在线| WWW.17C亚洲精品| 五月丁香婷婷福利| 91九色在线观看免费| 婷婷五月丁香五月| 丁香色综合| 色色五月婷| 秋霞九九无码| 天天色天天日| 天天狠天天叉| 99热思思在线观看| 成人网站av免费网站推荐| 色人久久| 五月丁香婷婷导航视频| 色婷婷丁香五月丁香| 超碰爱爱爱| 丰满少妇猛烈A片免费看观看 | 日本在线视频看se99| 无码色| av狠狠操| 国产婷婷五月中文字幕高清| 99色在线观看视频| 欧洲MV日韩MV国产| 四色永久成人网站| 天天爽天天摸人妻综合网| 亚洲一个色| 9 1在线视频| 久久AAAA片一区二区| Av九九| 五月天激情啪啪| 成人视频九九| 久久精品视频99| 亚洲天堂有码| 日本黄色一级| 亚洲色五月| 丝袜激情网| 夜夜操激情| 免费99情趣网视频| 日本综合久久| 五月天激情啪啪| 久久性都花花世界成人免费视频| 在线只有精品| 依人大香蕉| 久久99激情| 欧美色爱五月天| 很很干五月天| 男人天堂亚洲综合| 99热在线观看免费中文| 国产精品色婷婷99久久精品| 人人操婷婷| 精品国产AV色一区二区深夜久久| 亚洲色五月| 欧美视频五区| 天天日天天舔| 日韩aaa| 深爱五月婷| 91人妻视频| 久久久婷丁香五月| 青青热久久综合| 婷婷五月天受日本法律保护| 日韩成人中文字幕| 久超超碰| 99爽视频| 91丨九色丨熟女| 热99在线精品| 丁香五月天激情四射网| 大香婷婷| 日韩三及成人AV片| 色99www.| 99热99天堂| 日韩久综合| 狠狠综合色网| 成人免费在线电影| 97干婷婷| 激情婷婷久久| 欧洲亚洲免费视频9| 99在线观看精品| 熟女网站久久| 国产99久久久| 99 r热| 亚洲五月天第一综合干| 激情综合网络插| 这里只有精品日韩精品| 色婷五月天亚洲| 91视屏在线观看com.wwwvv| 先锋资源996| 欧美英丁香开心快乐六月天网| 婷婷丁香成人网址| 天天干天天爽天天操| www夜夜操com| 色综合九九| 五月婷婷五月天在线| www.色婷婷.com| 九艹在线| 色五月播五月| 国产古装妇女野外A片| 欧美色一级色| 9色操| www一起操| YJLZZJLZZ亚洲乱熟无码| 婷婷综合| 丁香色播五月天| 开心五月天激情网站| 五月开心色| 婷婷五月天AV在线| 亚洲色99| 国产av一区二区三区| 9色操| 999精品乱码77777| 婷婷五月天激情网址| 一本道综合网| 六月丁香五月天| 久热 91| 五月激情综合网| 婷婷丁香无码专区| 国产AV不卡福利| 婷婷激情伍月网| 色色色欧美色色| 欧美激情VA永久在线播放| 91偷拍视频| 偷偷与邻居做爰完整视频| 天天久久九九| 久激情网| 丁香五月婷婷成人网| 九九色热| 国产激情综合| 丁香五夜激情四射夜夜夜| 九色自拍| 五月婷六月天| 久久精品9| 无码免费人妻A片AAA毛片西瓜| AV在线二十六页| 91九色国产| 五月综合激情视频| 超碰大香蕉网| 超碰色热| 人妻熟妇国产精品| 五月婷婷伊人在线| 99热免| av免费在线观看0| 色婷五月| 婷婷六月五月| 久久99综合| 久久天堂婷婷五月| 婷婷五月丁香综合激情小说| 五月婷婷五月天| 久草热8精品视频在线观看| 狠狠综合色网| 欧美五月丁香在线观看| 色婷婷中文在线| 五月天激情美女久久| 婷婷九九| 人人噜天天上| 久久人妻视频| 五月婷婷亚洲| 日日噜狠狠色| 粉嫩AV久久一区二区三区 | 亚洲A片成人无码久久精品青桔| 婷婷色吧| 五月天婷婷高清无码| 婷婷综合久久| 91丨九色丨老农村| 在线A色| 久久久久人妻精品| 五月丁香色婷基地综合久久| 久久性爱网站| 婷婷五月丁香六月| 婷婷九月狠狠色| 五月天激情.com| 久操大香蕉| 综合视频久久| 五月丁香婷婷综合网| 日韩av变天就操逼不卡区| 91爱啪啪| 色香久久| 人人97操| 五月天激情社区| 99热在线观看| 婷婷五月丁香av网站| 久大香蕉| 九九99男女视频在线观看| 婷婷五月天激情视频| A久久| 久久久99视频| 久草a片| 青青草网武则天| 人人人va亚洲视频在线| 色狠狠色噜噜AV天堂五区| 成人精品在线观看| 日韩日比视频| 亚洲情a| 色逼综合网| 五月婷婷五月天天| 国产精产国品一二三在观看| 色丁香五月天射婷婷爱婷婷| 九九99免费理论| 久久丁香五月| 久久婷婷久久| 在线观看欧美| 夜夜大香蕉婷婷丁香| 激情五月天99色| 婷婷狠狠色| 色玖玖网| 五月婷婷六月丁香激情| 婷婷黄色网| 狠狠色噜噜色狠狠狠综合久久成人波 | 日日肏夜夜干| 丁香五月婷婷综合啪啪| 婷婷色五月天综合网| 校花娇喘呻吟校长陈若雪视频 | 久久五月婷婷开心网| 99视频这里有精品| 久热这里只有精品66| av国产精品| 成人网站免费sxj| 婷婷伊人久久无码色五月| 五月丁香久久呀| 99在线资源视频| 久热播这里只有精品| 五月九九综合| 五月天婷婷综合免费| 色五月婷婷伊人| 色婷婷综合影院| 91色噜噜狠狠狠狠色综合| AV网站免费在线| 97超碰综合| 日本片日本片祼观看网站在线看中文版网页在线看 | 久久婷婷五月天激情新地址| 天天插天天射| 亚洲色欲欧美一区二区三区| 国产精品成人AV在线观看春天| 五月丁香在线婷婷蜜桃| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | 97超级操操| 五月天成人综合| 亚洲色色色色色| 成人国产欧美大片一区| anquye五月| 一区二区三区四区牛| AV成人在线播放| 色优久久| 91精品激情9| 久久免费婷婷视频| 一区二区免费看| 色99视频| 天天xxxxxx天天日| 精品久久婷婷| 天天插天天干| 丁香五月停停av| 久热超碰91| 颜射 精品性爱av| 五月丁小婷婷激情四射| 色播播婷婷| 91精品丝袜久久久久久| 最近中文字幕大全免费版在线 | 婷婷五月天免费视频在线观看| 伊人久久中文网| 亚洲天天操| 天天天摸夜夜夜玩| 操逼六区| 亚洲精品又粗又大又爽A片| 热99AV网站| www.zbzhongsen.com| 天天射网站| 婷婷五月天天爽| 丁香激惜男女| 九九综合88| 色综合天天综合成人网| 亚洲人人操BD| 人人97碰| 99se丁香| 欧美99热| 久久精品66| 伊人碰碰碰| 人碰人人人玩91| 色婷婷亚洲婷婷| 久久人妻在线| 99精品视频在线观看免费| 色啪久| 99热6这里只有精品| 五月花婷婷丁香| 99爱视频精品| 亚洲婷婷丁香五月| 国产乱妇无乱码大黄AA片| 久久久久久久人妻| 五月丁香六月激情狠狠| www.黄色片-久久成人国产精品在线播放-999AV | 丁香五月AV综合激情| 色五月婷婷影院| 婷婷香草网| 99久在线精品99re8热| 天天爽日日爽夜夜爽| 九九视频免费| 日本乱论99| 香蕉婷婷五月| 夜夜爽天天爽| 五月婷婷综合网| 色婷五月| 婷婷五月天视| 久婷婷婷| 97人人干。| 专区无日本视频高清8| 二色AV| 婷婷五月天视频亚洲| 天天干夜夜b| 五月丁香婷婷色| 久re热视频| 色九月综合| 免费看欧美成人A片无码| 九九色婷婷| 丁香五月婷婷网| 亚洲免费99| 丁香久久AV| 婷婷性爱| 超碰色婷婷| 欧美123区免| 艹B高清无码| 五月天婷婷小说| www.久久| 亚洲AV人人操| 五月丁香五月婷婷| 淫荡综合网| 五月永久激情| 狠狠色婷婷7| 色色婷婷五月天| 五月间天堂综合| 9l久久久视频| 性爱激情五月| 日韩人妻AV在线| 国产精品久久久久久亚洲毛片| 婷婷九月综合| 丁香成人五月天| 婷婷五月色情天| 色狠狠综合| 很很干五月天| α久久| 97色伦另类图片小说视频| 成人婷婷桔色| 激情深爱婷婷网| 天天插天天狠| 热中文字幕| 99er6免费视频热播| 成人精品在线| 俺去也综合| www.激情五月| 亚洲天堂久久| 91碰碰碰| 五月婷婷六月天| 色综合伊人网| 99在线小视频| 久久激情网| 久久婷婷六月综合综合| 久久久人妻| 色婷婷丁香五月| 99热这里是精品| 99精品偷自拍| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 国产毛片精品一区二区色欲黄A片| 国产FREESEXVIDEOS性中国| 少妇高潮A片无套内谢麻豆传| 五月香婷婷| 国产精品第一国产精品| 97超碰,人人舔,人人操,人人摸| 蜜乳av一级av| 91女人18毛片水多国产| 91日精品| 午夜九九九九九九九九九九九九九| 五月丁香自拍| 久久黄A片| 亚洲AV激情五月综合网| 婷婷丁香激情五月| 综合色激情| 亚洲午夜一区二区| av色婷婷| 99色热| 99热亚洲| 97超级碰| www热久久yy9| 天天爽人人综合免费7799| 国产伊人五月天| 色五月天激情| 五月婷婷五月天在线| 热久久91| 日本天天色| 99久久欧美| 玖玖婷婷婷丁香五月| 欧美日韩99| 99热在这里只有免费精品| 五月丁香六月综合激情网| 精品人妻一区二区三区四区不卡在| 国产婷婷综合| 激情99| 中文AV网站| 99九九视频| 亚洲小说五月婷婷| 五月天婷婷丁香六月| 久久9热| 天天弄天天操| www狠狠爱com| 特黄三级片| 亚洲一区先锋影音| 思思 热 99| 九九色婷婷| 婷婷五月天A V| 91人人超碰在线| 色日本丁香婷婷| 婷婷婷婷婷开心无码播放| 丁香婷婷久久| 青青草原亚洲久| 激情久久肏屄视频| 天天操夜夜玩!| 14色综合婷婷| 99热在线观看| 九九自拍网| 99热日本| 99久在线观看| 久久您您综合网| 久久久91| 激情五月四色| 欧美色色色色色| 日韩欧美婷婷丁| 久久欧洲久久| 色五月天婷婷| 天天日天天爽| 91啪啪网| 九九色99| 九九视频在线观看| 狠狠综合久久综合| 久久久久久草黄色片AV在线观看| www.五月天婷婷| 久久视频婷婷视频| 九月综合| 超碰在线观看三级片| 碰97久久| 五月天激情视频五月天| 久久人妻视频| 久久五月婷婷丁香| 人妻videos人妻高清| 色欲天天综合| 艹色18p| 五月六月丁香婷婷在线观看| 婷婷婷久久久| 久久久久久久久18久久| 99精品无码视频| 开心婷婷中文字幕| 开心色色五月天综合| 天天搞夜夜爽夜夜爽| 久久综合五月天| 日韩人妻AV在线| 日本色噜| 97啪啪| 色色色色色色色色色色色色色色,网站| 五月天激情综合网站| 9热精品| 九一牛视频探花| 久久五月婷综合网| 亚洲第一第二网站| 99人人干人人| 综合色色色色色色| 成人网在线观看视频| 五月综合激情久久| 亚洲综合草草| 九色地址91视频| 噜噜久| 日韩精品视频中文字幕| 丁香五月婷婷综合视频| 色综合五月婷婷狠狠干| 日韩色色视频www| 亚洲妇女熟BBW| 99噜噜噜在线播放| 狼友视频在线观看18| 色欧美日| 五月色色激情网| 97五月婷| 精品一区二区三区木瓜| 桃色五月天| 天天日天天干天天爱| 丁香六月在线| 亚洲一区国产传媒| 婷婷五月在线视频| 国产操逼网站| 少妇人妻综合色6699| 操碰色一区就去操| 激情五月综合ì香亚洲| 成功精品影院| 九九sese| 五月色综合| 精品网站99| www.婷婷五月天| 开心婷婷五月激情网小说| 精品人妻一区| 亚洲性受XXXX五月丁香| 色情婷婷五月天| 天天骑日日爽| 人人摸人人干| 久久精品国产色| 国产毛片精品一区二区色欲黄A片| 99rewww| 婷婷久久综合| 欧美黑人巨大猛烈cuckold| 无遮挡国产高潮视频免费观看| 日韩五月天婷婷| 精品欧美性爱超级爽| 亭亭五月激情亚洲在线| 九月丁香婷婷网| 色五月激情五月天| 大香蕉 伊人夜| 狠狠五月激情丁香六月| 伊人色综合影院视频| 久久色情| 亚洲夜五月| 超pen个人视频97| 久久这里只有精品16| 99久久超级| 日日色综合| 超碰色色综合| 日本va欧美va国产激情| 狠狠夜夜五月丁香| 91精品国产综合久久久不卡电影| 婷婷五月丁香久久| 狠干综合| 色情五月丁香| 五月天六月丁香| 亚洲偷| 婷婷五月天久久| 99碰网站| 五月婷婷激情综合| 亚洲婷婷丁香五月视频| 亚洲成人综合网在线免费观看| nvrentiantang av| 五月大香蕉| 日本人妻伦在线中文字幕| 丁香六月激情综合啪啪| 男女免费视频999| 99re8这里只有精品99re8热视频| 天天舔夜夜操www com| 91无码一起草| 中文AV在线观看| 久久久久久久五月婷婷六月丁香综合,开心激情综合网 | 久久天天天| 国产精品久久久久9999小说| 久久偷拍综合五月天| 九洲一级A片| 丁香五月成人| 丁香色五月婷婷| 九九99免费视频| 久草热8精品视频在线观看| 五月性色| 激情深爱婷婷网| 99艹精品在线观看| 婷婷色导航| 久久婷婷一级片| 五月婷婷影| 无码成人AAAAA毛片AI换脸| 婷婷五月六| 国产亚洲精品人人| 色五月激情综合网站| 婷婷丁香在线| 天天干天天爽天天操| 99在线69| 五月丁香婷婷欧美色图视频五月丁香777电影 | 天天更新天天亚洲| 色狠狠综合入口| 欧美电影在线观看|