欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

PSO-SVR超參數(shù)調(diào)優(yōu):粒子群與網(wǎng)格搜索的工程取舍

PSO-SVR超參數(shù)調(diào)優(yōu):粒子群與網(wǎng)格搜索的工程取舍 簡介這套 PSO-SVR 代碼與實(shí)驗(yàn)材料面向機(jī)器學(xué)習(xí)學(xué)習(xí)者、算法工程師及需要做回歸建模的研究人員圍繞粒子群算法優(yōu)化支持向量機(jī)超參數(shù)懲罰因子與核參數(shù)并同傳統(tǒng) SVR 對比展開。壓縮包共 64 個(gè)文件、約 941KB包含 Java、Python、C 與 MATLAB 實(shí)現(xiàn)及 Makefile、README、可執(zhí)行文件和 heart_scale、data1.mat 等數(shù)據(jù)便于跨語言復(fù)現(xiàn)實(shí)驗(yàn)、查看 libsvm 調(diào)用方式與參數(shù)尋優(yōu)流程。已有 220 人學(xué)習(xí)下載。讀者可據(jù)此理解 PSO 的全局搜索如何替代網(wǎng)格搜索、如何設(shè)置種群與迭代參數(shù)并通過回歸擬合結(jié)果比較模型精度與泛化表現(xiàn)同時(shí)借鑒目錄組織和排錯(cuò)思路用于課程實(shí)驗(yàn)或小型預(yù)測項(xiàng)目。1. PSO-SVR 和裸 SVR 的差距八成在超參數(shù)兩成在算法本身先說結(jié)論在我手上那幾組小樣本回歸任務(wù)里PSO-SVR 相對默認(rèn)參數(shù)支持向量機(jī)回歸的提升八成來自懲罰系數(shù) C 和核參數(shù) gamma 選對了跟粒子群算法本身關(guān)系不大。換句話說你換成網(wǎng)格搜索、隨機(jī)搜索甚至手動(dòng)試只要落在同一片參數(shù)區(qū)域精度差不多。粒子群算法真正的價(jià)值在于參數(shù)維度上去以后——比如同時(shí)調(diào) C、gamma、epsilon網(wǎng)格搜索的組合數(shù)會(huì)指數(shù)級炸開而二十來個(gè)粒子、幾十次迭代就能摸到最優(yōu)區(qū)域附近。這篇就按這個(gè)判斷往下講支持向量機(jī)回歸的超參數(shù)到底怎么影響擬合、PSO 的適應(yīng)度函數(shù)怎么寫才不騙自己、以及在什么數(shù)據(jù)上這套組合值得跑、什么數(shù)據(jù)上是白白浪費(fèi)算力。2. 網(wǎng)格搜索和粒子群的分岔口先算清搜索空間的賬2.1 網(wǎng)格搜索在三維以上為什么撐不住網(wǎng)格搜索的好處很實(shí)在確定、可復(fù)現(xiàn)、好并行、結(jié)論不含隨機(jī)性。你在論文或者實(shí)驗(yàn)報(bào)告里寫「網(wǎng)格搜索得到 C12.9、gamma0.031」別人復(fù)現(xiàn)一遍就是同一組數(shù)。這個(gè)優(yōu)點(diǎn)在小參數(shù)空間里無可替代。壞處是分辨率和范圍天然打架。假設(shè)只調(diào) C 和 gamma為了把量級跨度覆蓋住每個(gè)參數(shù)取 8 個(gè)值就是 64 組組合配上 5 折交叉驗(yàn)證總擬合次數(shù) 320 次。一次 RBF-SVR 在幾千樣本上擬合一秒上下三百多秒還能忍。把 epsilon 也納入優(yōu)化8×8×8512 組5 折就是 2560 次擬合二十分鐘起步。如果為了降低隨機(jī)性再做 3 次重復(fù)直接到小時(shí)級。更難受的是你想精細(xì)一點(diǎn)。范圍從 1e-1 到 1e4 拉滿五個(gè)數(shù)量級8 個(gè)點(diǎn)意味著相鄰兩點(diǎn)差了三倍多最優(yōu)點(diǎn)附近基本靠運(yùn)氣要精細(xì)就得加密到 20 個(gè)點(diǎn)組合數(shù)直接翻到 8000。這就是網(wǎng)格搜索在三維以上撐不住的真正原因——不是它不準(zhǔn)是你付不起那個(gè)算力。粗算一下三種參數(shù)個(gè)數(shù)下的擬合次數(shù)下面的表按 5 折交叉驗(yàn)證、每維 8 個(gè)取值算優(yōu)化參數(shù)組合數(shù)5 折擬合次數(shù)單次 1 秒時(shí)的耗時(shí)量級C、gamma64320分鐘級C、gamma、epsilon5122560二十分鐘級再加核權(quán)重或 tol409620480數(shù)小時(shí)粒子群在這個(gè)賬本上是另一種算法種群 24、迭代 60上限 1440 次擬合而且?guī)г缤?shí)際跑下來經(jīng)常只有 600 到 800 次。參數(shù)從 2 維漲到 3 維擬合次數(shù)幾乎不變——這是它相對網(wǎng)格搜索的核心優(yōu)勢別的都是次要的。2.2 粒子在搜什么把 C、gamma、epsilon 換到對數(shù)空間很多人第一次寫 PSO-SVR 就直接把粒子的位置當(dāng)真實(shí)超參數(shù)用初始化區(qū)間寫成 C ∈ [0.1, 10000]、gamma ∈ [0.0001, 10]然后發(fā)現(xiàn)跑了二十代還在邊界上晃。原因很樸素在 [0.1, 10000] 上均勻撒粒子落進(jìn) [0.1, 1] 這個(gè)區(qū)間的概率不到萬分之一而不少任務(wù)的合理 C 恰恰就在 1 到 100 之間。粒子全擠在大數(shù)那一頭搜索等于沒做。常見的做法是換到對數(shù)空間讓粒子位置的每一位代表「10 的幾次方」。C 在 [1e-1, 1e4] 上采樣就變成位置在 [-1, 4] 上均勻采樣gamma 在 [1e-4, 1e1] 上采樣變成 [-4, 1]。這樣每個(gè)數(shù)量級拿到粒子的機(jī)會(huì)是一樣的收斂曲線也好看得多。epsilon 要多說一句。它是不敏感帶的寬度直接跟目標(biāo)變量 y 的量綱掛鉤y 是幾千塊的金額epsilon 取 0.01 等于沒設(shè)y 標(biāo)準(zhǔn)化到均值 0 方差 1epsilon 取 0.01 又可能過寬。所以要么先把 y 標(biāo)準(zhǔn)化再固定搜索范圍要么按 y 的標(biāo)準(zhǔn)差給 epsilon 定范圍。我一般傾向前者省事。推薦的搜索邊界如下位置列就是粒子實(shí)際使用的坐標(biāo)參數(shù)物理含義原始范圍對數(shù)空間位置調(diào)大之后的表現(xiàn)C懲罰系數(shù)對誤差的容忍度1e-1 ~ 1e4-1 ~ 4越貼訓(xùn)練數(shù)據(jù)越大越過擬合gammaRBF 核寬度倒數(shù)1e-4 ~ 1e1-4 ~ 1單樣本影響范圍變小越大越容易過擬合epsilon不敏感帶寬1e-3 ~ 1e0-3 ~ 0越大擬合越平極端時(shí)把趨勢壓沒這張表不是抄來的固定答案是我踩過幾輪之后收斂下來的默認(rèn)值。你的數(shù)據(jù)如果特征維度特別高幾百維以上gamma 的上界可以往下壓一壓因?yàn)楦呔S下 RBF 核本來就容易過度局部化。2.3 適應(yīng)度函數(shù)用交叉驗(yàn)證的 RMSE別用訓(xùn)練集 RMSE這是整個(gè) PSO-SVR 里最容易騙自己的一步。最省事的寫法是拿訓(xùn)練集 RMSE 當(dāng)適應(yīng)度代碼三行就寫完但它有個(gè)致命問題RBF-SVR 的 C 越大、gamma 越大訓(xùn)練集誤差單調(diào)往下降。粒子群作為一個(gè)最小化算法會(huì)非常忠實(shí)地把所有粒子推到邊界上最后你得到一個(gè)訓(xùn)練集幾乎零誤差、測試集一塌糊涂的模型收斂曲線還特別漂亮。常見的思路是 K 折交叉驗(yàn)證把訓(xùn)練集切 K 份每次用 K-1 份擬合、剩 1 份算 RMSE取平均。5 折是折中10 折更穩(wěn)但貴一倍樣本量小于 200 的時(shí)候 5 折已經(jīng)夠用。切分要 shuffle種子要固定否則每次算出來的適應(yīng)度都帶隨機(jī)抖動(dòng)粒子會(huì)跟著抖。還有一層更隱蔽的標(biāo)準(zhǔn)化必須在交叉驗(yàn)證內(nèi)部做。如果在切分之前就對全量數(shù)據(jù) fit 了 StandardScaler驗(yàn)證折的均值和方差里已經(jīng)混進(jìn)了訓(xùn)練折的信息CV 分?jǐn)?shù)會(huì)偏樂觀PSO 就會(huì)往一個(gè)「看起來很好」的區(qū)域收斂。用 sklearn 的 pipeline 把 scaler 和 SVR 包在一起cross_val_score內(nèi)部會(huì)按折重新 fit這一層就自動(dòng)隔開了。判斷適應(yīng)度有沒有問題看收斂曲線就行。正常的曲線是前五到十代快速下降后面緩慢逼近最后幾乎水平。如果第一代就貼到接近 0先別高興回頭查兩件事是不是把測試集混進(jìn)適應(yīng)度了是不是 scaler 在 CV 外面 fit 了。3. 把 PSO-SVR 跑起來一份能直接改的代碼骨架3.1 數(shù)據(jù)入口與標(biāo)準(zhǔn)化的位置先解決數(shù)據(jù)?;貧w任務(wù)里 SVR 對特征尺度極其敏感同一個(gè) gamma 在標(biāo)準(zhǔn)化前后完全是兩個(gè)模型所以標(biāo)準(zhǔn)化不是可選項(xiàng)。但標(biāo)準(zhǔn)化的位置有講究它必須待在交叉驗(yàn)證內(nèi)部這一點(diǎn)前面說過代碼上用 pipeline 實(shí)現(xiàn)最省心。import numpy as np from sklearn.datasets import load_diabetes from sklearn.model_selection import train_test_split # 442 條、10 維特征的公開回歸數(shù)據(jù)用來演示流程足夠 X, y load_diabetes(return_X_yTrue) # 先切出 20% 做最終驗(yàn)收這份數(shù)據(jù)在整個(gè)調(diào)參過程中一次都不碰 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) print(X_train.shape, X_test.shape) # (353, 10) (89, 10)這段的意義不在于加載數(shù)據(jù)而在于那個(gè)random_state42和「一次都不碰」的約定。測試集在調(diào)參階段被看上一眼你后面所有對比數(shù)字的可信度都要打折扣因?yàn)榱W尤簳?huì)通過你的手間接擬合到測試集上。血淚經(jīng)驗(yàn)是先把測試集切出來、存成文件、調(diào)參腳本里根本不 import 它。要不要順手把 y 也標(biāo)準(zhǔn)化如果 y 的量級跨得大比如從幾十到幾萬標(biāo)準(zhǔn)化能讓 epsilon 的搜索范圍固定下來省掉一輪范圍調(diào)整。代價(jià)是預(yù)測結(jié)果要反變換回來多兩行代碼。3.2 粒子編碼、邊界與速度限幅編碼用上一節(jié)的對數(shù)空間解碼函數(shù)單獨(dú)抽出來方便在實(shí)驗(yàn)記錄里還原真實(shí)超參數(shù)。邊界用數(shù)組存好處是后面裁剪時(shí)一行np.clip搞定不用給每一維寫 if。from sklearn.svm import SVR from sklearn.pipeline import make_pipeline from sklearn.preprocessing import StandardScaler from sklearn.model_selection import KFold, cross_val_score # 粒子位置對數(shù)空間- 真實(shí)超參數(shù) def decode(pos): C 10.0 ** pos[0] # 位置 -1~4 還原成 0.1~10000 gamma 10.0 ** pos[1] # 位置 -4~1 還原成 1e-4~10 epsilon 10.0 ** pos[2] # 位置 -3~0 還原成 0.001~1 return C, gamma, epsilon # 適應(yīng)度只在訓(xùn)練集內(nèi)部做 K 折測試集不參與 def fitness(pos, X, y, n_splits5, seed0): C, gamma, eps decode(pos) pipe make_pipeline( StandardScaler(), # 標(biāo)準(zhǔn)化放在 CV 內(nèi)部 SVR(kernelrbf, CC, gammagamma, epsiloneps) ) kf KFold(n_splitsn_splits, shuffleTrue, random_stateseed) scores cross_val_score(pipe, X, y, cvkf, scoringneg_root_mean_squared_error) return -scores.mean() # 取正越小越好fitness每次調(diào)用會(huì)擬合 5 次模型這就是 PSO 的成本單位。想讓整體快一倍把n_splits降到 3代價(jià)是適應(yīng)度噪聲變大、粒子軌跡變抖一般不建議在樣本量夠的時(shí)候省這一步。速度要限幅這一條很多人漏掉。粒子速度如果不設(shè)上限某一位可能一步跨過好幾個(gè)數(shù)量級位置被np.clip拉回邊界之后速度還很大下一代會(huì)繼續(xù)往邊界撞,粒子就廢了。經(jīng)驗(yàn)值是把速度上限設(shè)成搜索區(qū)間寬度的 15% 到 20%。參數(shù)建議值作用與調(diào)整方向種群規(guī)模20 ~ 30小于 15 容易早熟大于 40 收益遞減迭代次數(shù)50 ~ 100配合早停用多數(shù)任務(wù) 30 代內(nèi)就平了慣性權(quán)重 w0.9 線性降到 0.4前期廣撒網(wǎng)后期精修學(xué)習(xí)因子 c1、c22.0、2.0經(jīng)驗(yàn)值c1 大偏個(gè)體探索c2 大偏群體收斂速度上限區(qū)間寬度的 0.15 ~ 0.2防止粒子一步飛出有效區(qū)域早停 patience8 ~ 12 代gbest 連續(xù)這么多代沒改善就停3.3 主循環(huán)慣性權(quán)重遞減與早停主循環(huán)本身不到三十行但幾個(gè)細(xì)節(jié)決定了它能不能收斂到有用的地方慣性權(quán)重隨代數(shù)線性遞減、速度先限幅再更新位置、gbest 變化小于閾值時(shí)計(jì)一次停滯。def pso_svr(X, y, n_particles24, iters60, seed42, patience10): rng np.random.default_rng(seed) bounds np.array([[-1.0, 4.0], # C 的 log10 范圍 [-4.0, 1.0], # gamma 的 log10 范圍 [-3.0, 0.0]]) # epsilon 的 log10 范圍 lo, hi bounds[:, 0], bounds[:, 1] dim len(lo) # 初始位置在區(qū)間內(nèi)均勻撒點(diǎn)初始速度取小區(qū)間隨機(jī) pos rng.uniform(lo, hi, size(n_particles, dim)) vel rng.uniform(-0.1, 0.1, size(n_particles, dim)) * (hi - lo) pbest pos.copy() pbest_val np.array([fitness(p, X, y) for p in pos]) gi np.argmin(pbest_val) gbest pbest[gi].copy() gbest_val pbest_val[gi] c1 c2 2.0 vmax 0.18 * (hi - lo) # 速度上限按區(qū)間寬度比例給 stall, history 0, [gbest_val] for t in range(iters): w 0.9 - (0.9 - 0.4) * t / iters # 慣性權(quán)重線性遞減 r1 rng.random((n_particles, dim)) r2 rng.random((n_particles, dim)) vel w * vel c1 * r1 * (pbest - pos) c2 * r2 * (gbest - pos) vel np.clip(vel, -vmax, vmax) # 先限速 pos np.clip(pos vel, lo, hi) # 再裁位置 vals np.array([fitness(p, X, y) for p in pos]) better vals pbest_val # 個(gè)體歷史最優(yōu)更新 pbest[better] pos[better] pbest_val[better] vals[better] gi np.argmin(pbest_val) # 群體最優(yōu)更新 if pbest_val[gi] gbest_val - 1e-6: gbest, gbest_val pbest[gi].copy(), pbest_val[gi] stall 0 else: stall 1 history.append(gbest_val) if stall patience: # 連續(xù)多代無改善就收手 print(fearly stop at iter {t}, gbest{gbest_val:.4f}) break return decode(gbest), gbest_val, history調(diào)用的時(shí)候返回的第一個(gè)值是真實(shí)超參數(shù)元組第二是 CV RMSE第三是收斂歷史——第三個(gè)數(shù)別看輕畫出來能一眼看出是早熟還是正常收斂。如果曲線在第五代就平了說明種群多樣性不夠或者邊界給窄了如果是鋸齒狀上下跳多半是 CV 折數(shù)太少或沒 shuffle。3.4 和默認(rèn) SVR、網(wǎng)格 SVR 放在同一張表里比跑完 PSO 不算完得有個(gè)參照系。我一般會(huì)同時(shí)跑三條線默認(rèn)參數(shù)的 SVRC1、epsilon0.1、gammascale、小網(wǎng)格搜索的 SVR、PSO 調(diào)優(yōu)的 SVR。三條線用同一個(gè)random_state切數(shù)據(jù)、同一套評估函數(shù)否則數(shù)字沒法比。from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score import time def evaluate(model, X_train, y_train, X_test, y_test): t0 time.perf_counter() model.fit(X_train, y_train) cost time.perf_counter() - t0 pred model.predict(X_test) return { rmse: mean_squared_error(y_test, pred) ** 0.5, mae : mean_absolute_error(y_test, pred), r2 : r2_score(y_test, pred), fit_time: cost, } # PSO 返回的真實(shí)超參數(shù)直接塞進(jìn)模型標(biāo)準(zhǔn)化仍用 pipeline 包住 (C, gamma, eps), cv_score, hist pso_svr(X_train, y_train) pso_model make_pipeline( StandardScaler(), SVR(kernelrbf, CC, gammagamma, epsiloneps) ) print(evaluate(pso_model, X_train, y_train, X_test, y_test))注意evaluate里的fit_time只算了最后一次擬合不含調(diào)參開銷。真要比較總成本得把pso_svr里所有 fitness 調(diào)用的耗時(shí)累加起來那才是你實(shí)際付出的電費(fèi)。做選型匯報(bào)的時(shí)候這兩個(gè)數(shù)要分開寫不然容易被問住。4. 四個(gè)維度擺一起比PSO-SVR 與 SVR 各自該上場的場景4.1 精度、成本、穩(wěn)定性、可維護(hù)性只比精度是不完整的我在實(shí)際項(xiàng)目里被問得最多的反而是「這套東西上線之后誰維護(hù)」。四個(gè)維度拆開看精度上限。PSO-SVR 通常能比默認(rèn)參數(shù) SVR 好一截但和精調(diào)過的網(wǎng)格 SVR 基本打平差距在噪聲范圍內(nèi)。原因是兩者搜的是同一片參數(shù)空間PSO 的優(yōu)勢在效率不在表達(dá)能力。指望換算法帶來質(zhì)的飛躍大概率會(huì)失望。調(diào)參成本。這是量化差距最明顯的一項(xiàng)。前面算過三維參數(shù)下網(wǎng)格搜索 2560 次擬合PSO 上限 1440 次、實(shí)際常落在 600 到 800 次。批處理任務(wù)里這就是十幾分鐘和兩分鐘的區(qū)別。穩(wěn)定性。PSO 有隨機(jī)性同一個(gè)數(shù)據(jù)集跑三次交叉驗(yàn)證分?jǐn)?shù)能差出百分之幾網(wǎng)格搜索給定同樣的網(wǎng)格結(jié)果是確定的。這一條在需要出報(bào)告的場合很要命解決辦法是固定種子跑三次取均值加減標(biāo)準(zhǔn)差把波動(dòng)亮出來而不是藏起來。可維護(hù)性。PSO 調(diào)完之后落到生產(chǎn)上的一定是一組固定超參數(shù)粒子群本身不會(huì)跟著上線。所以真正的維護(hù)成本在于「數(shù)據(jù)分布漂移之后要不要重調(diào)」。如果數(shù)據(jù)每個(gè)月都在變每次重訓(xùn)都跑一遍 PSO成本會(huì)累積這時(shí)候更常見的做法是離線調(diào)一次、在線只做擬合隔季度再校準(zhǔn)。示意性的對比結(jié)果如下數(shù)字來自一次演示跑量級參考換數(shù)據(jù)必須重測方案關(guān)鍵參數(shù)來源測試集 RMSE測試集 R2擬合次數(shù)調(diào)參耗時(shí)默認(rèn) SVR庫默認(rèn)值基準(zhǔn)基準(zhǔn)1忽略網(wǎng)格 SVR8×8×8 網(wǎng)格 5 折優(yōu)于默認(rèn)略高2560十幾分鐘PSO-SVR24 粒子 × 60 代 早停與網(wǎng)格相近相近約 700兩三分鐘4.2 什么數(shù)據(jù)上 PSO 值得什么數(shù)據(jù)上是白費(fèi)電判斷標(biāo)準(zhǔn)不是「數(shù)據(jù)難不難」而是「參數(shù)維度除以可承受的擬合次數(shù)」。三個(gè)場景我分得很清楚樣本量小、特征維度低幾百條以內(nèi)、十幾維。這種數(shù)據(jù)上默認(rèn) SVR 加上手動(dòng)試幾組 C 和 gamma 就夠了網(wǎng)格搜索 6×6 也就 180 次擬合幾秒鐘的事。上 PSO 屬于殺雞用牛刀還額外引入了隨機(jī)性。樣本量中等、特征維度較高、參數(shù)三個(gè)以上。這是 PSO-SVR 最舒服的區(qū)間。特征上百維之后 gamma 的敏感性陡增粗網(wǎng)格經(jīng)常跳過最優(yōu)點(diǎn)而 PSO 在對數(shù)空間里能細(xì)粒度地摸過去。同時(shí)樣本量還沒大到讓單次擬合變慢整個(gè)搜索在可接受時(shí)間內(nèi)跑完。需要頻繁重訓(xùn)的在線場景。這種場景下 PSO 是負(fù)擔(dān)不是助力。每次數(shù)據(jù)更新都重新跑幾百次 CV 擬合延遲頂不住。合理做法是離線把參數(shù)區(qū)間定下來線上用固定參數(shù)增量擬合隔一段時(shí)間做一次全量校準(zhǔn)。還有一類要警惕目標(biāo)變量噪聲極大、信噪比很低的數(shù)據(jù)。PSO 會(huì)非常努力地去擬合噪聲最后選出的參數(shù)往往是 C 大、epsilon 小驗(yàn)證集上看著還行新樣本上崩得厲害。這種數(shù)據(jù)上 epsilon 的下界要收緊別讓它跑到 1e-3 那種幾乎不容忍誤差的位置。4.3 決策什么情況下選哪一個(gè)把上面的判斷壓成一張表照著填就行你的處境選擇理由參數(shù)只有 C 和 gamma樣本幾千以內(nèi)網(wǎng)格搜索確定性強(qiáng)幾分鐘出結(jié)果參數(shù)三個(gè)及以上或 gamma 敏感性高PSO-SVR維度漲了成本幾乎不變需要寫報(bào)告、結(jié)果必須完全可復(fù)現(xiàn)網(wǎng)格搜索 固定種子PSO 的隨機(jī)性要額外處理頻繁重訓(xùn)、延遲敏感離線調(diào)參 線上固定PSO 只在離線階段出現(xiàn)信噪比低、異常值多先清洗數(shù)據(jù)再談算法換優(yōu)化器救不了臟數(shù)據(jù)一句話結(jié)論P(yáng)SO-SVR 解決的是「參數(shù)多到網(wǎng)格搜不動(dòng)」這個(gè)具體問題不是「讓模型變準(zhǔn)」的通用方案。把它當(dāng)調(diào)參加速器看期望就對了。5. 避坑記錄五個(gè)讓我重跑實(shí)驗(yàn)的翻車現(xiàn)場5.1 收斂曲線漂亮但測試集更差適應(yīng)度泄漏現(xiàn)象PSO 的 gbest 曲線一路平滑下降到第三十代幾乎貼地看著特別舒服。拿測試集一驗(yàn)RMSE 比默認(rèn)參數(shù)的 SVR 還高。原因適應(yīng)度函數(shù)把測試集或者全量數(shù)據(jù)算進(jìn)去了。最常見的寫法是fitness里直接對X, y做 CV而X, y是切分之前的全量數(shù)據(jù)——驗(yàn)證折里含著測試樣本等價(jià)于拿測試集調(diào)參。另一種更隱蔽的是 scaler 在 CV 外面 fit 過信息從驗(yàn)證折漏回訓(xùn)練折。解決適應(yīng)度函數(shù)只接收X_train, y_train測試集在調(diào)參腳本里根本不出現(xiàn)。scaler 一律用 pipeline 包在 CV 內(nèi)部。改完之后曲線會(huì)難看一些但測試集數(shù)字才是真的。5.2 十幾代之后粒子全擠成一團(tuán)早熟收斂現(xiàn)象種群位置的方差迅速縮小二十代不到所有粒子幾乎重合gbest 還在邊界附近明顯沒搜到位。原因初始化區(qū)間太窄粒子一開始就沒有多樣性或者速度上限給小了粒子動(dòng)不起來也可能是慣性權(quán)重降得太快前期沒來得及探索。解決初始化用整個(gè)搜索區(qū)間均勻撒點(diǎn)別用[0, 1]這種歸一化后就忘了反變換的寫法。速度上限提到區(qū)間寬度的 0.18 左右。慣性權(quán)重從 0.9 線性降到 0.4別一上來就固定成 0.5。還不行就加一手多樣性保護(hù)每隔十代把適應(yīng)度最差的兩個(gè)粒子重置到隨機(jī)位置。5.3 驗(yàn)證集 R2 不錯(cuò)但預(yù)測明顯偏高偏低標(biāo)準(zhǔn)化漏做或 epsilon 過寬現(xiàn)象交叉驗(yàn)證分?jǐn)?shù)挺好看實(shí)際拿新樣本預(yù)測整體系統(tǒng)性偏移像被壓平了一樣。原因兩個(gè)可能。一是特征沒標(biāo)準(zhǔn)化量綱大的那幾維主導(dǎo)了 RBF 核的距離計(jì)算模型實(shí)際上只學(xué)到了少數(shù)特征。二是 epsilon 調(diào)得太大不敏感帶把真實(shí)趨勢也一起容忍掉了。解決標(biāo)準(zhǔn)化必做而且要在 pipeline 里做。epsilon 的搜索上界壓到 1e0 以內(nèi)如果 y 沒標(biāo)準(zhǔn)化就按 y 的標(biāo)準(zhǔn)差給范圍別用固定的 0.001 到 1。改完之后先看殘差圖殘差如果均勻分布在零附近就對了。5.4 換臺(tái)機(jī)器結(jié)果就變隨機(jī)種子沒管住現(xiàn)象同一個(gè)腳本同事那邊跑出來一組參數(shù)你這邊跑出來另一組精度還差一截。誰也說不清誰對。原因粒子初始化用了全局隨機(jī)、KFold 沒傳random_state、train_test_split沒固定種子這三處任何一處漏了結(jié)果都不可復(fù)現(xiàn)。另外 numpy 的新舊隨機(jī) API 混用也會(huì)帶來差異。解決種子從入口傳到底np.random.default_rng(seed)生成一個(gè) rng 對象往下傳不要到處調(diào)np.random.rand。KFold 的random_state顯式寫出來。跑三次取均值加減標(biāo)準(zhǔn)差把波動(dòng)公開寫進(jìn)報(bào)告比藏起來強(qiáng)。5.5 PSO 比網(wǎng)格搜索還慢沒開早停、邊界給太寬現(xiàn)象本來指望 PSO 省時(shí)間結(jié)果跑了四十分鐘還沒結(jié)束比網(wǎng)格搜索還慢。原因迭代次數(shù)設(shè)了 200種群 505 折一次不落全跑完。搜索邊界又給得極寬粒子大半時(shí)間在無效區(qū)域游蕩。早停的 patience 設(shè)成 30等于沒設(shè)。解決迭代次數(shù)壓到 60、種群 24、patience 8 到 12 代。先用粗網(wǎng)格快速定位大致量級再把 PSO 的邊界收窄到那個(gè)量級的 ±1.5 個(gè)數(shù)量級。這一步能把搜索空間砍掉一大半效果立竿見影。6. 復(fù)現(xiàn)閉環(huán)在同一份數(shù)據(jù)上把三種方案驗(yàn)一遍調(diào)參調(diào)到最后必須有一個(gè)閉環(huán)把結(jié)論釘死否則過兩周你自己都不記得那些數(shù)字是怎么來的。我的做法是寫一個(gè)獨(dú)立的驗(yàn)收腳本輸入只有固定種子的訓(xùn)練集和測試集輸出一張三行表每次都從干凈狀態(tài)跑。from sklearn.model_selection import GridSearchCV import numpy as np # 三條線共用同一個(gè)切分和同一套評估函數(shù) base make_pipeline(StandardScaler(), SVR(kernelrbf)) grid GridSearchCV( make_pipeline(StandardScaler(), SVR(kernelrbf)), param_grid{svr__C: np.logspace(-1, 4, 8), svr__gamma: np.logspace(-4, 1, 8), svr__epsilon: np.logspace(-3, 0, 8)}, cv5, scoringneg_root_mean_squared_error, n_jobs-1 ) rows [] rows.append((默認(rèn) SVR, evaluate(base, X_train, y_train, X_test, y_test))) grid.fit(X_train, y_train) rows.append((網(wǎng)格 SVR, evaluate(grid.best_estimator_, X_train, y_train, X_test, y_test))) rows.append((PSO-SVR, evaluate(pso_model, X_train, y_train, X_test, y_test))) for name, m in rows: print(f{name:10s} RMSE{m[rmse]:.2f} MAE{m[mae]:.2f} R2{m[r2]:.4f})這個(gè)腳本有兩個(gè)細(xì)節(jié)值得強(qiáng)調(diào)。n_jobs-1讓網(wǎng)格搜索并行不然 2560 次擬合串行跑會(huì)非常難受并行之后網(wǎng)格搜索的墻鐘時(shí)間大幅縮短PSO 的成本優(yōu)勢就沒那么突出了——這一點(diǎn)在選型時(shí)容易被忽略實(shí)際項(xiàng)目里機(jī)器核數(shù)多的話網(wǎng)格搜索往往是更劃算的選擇。另外 PSO 那條線要用前面調(diào)好的固定參數(shù)直接構(gòu)造模型不要在驗(yàn)收腳本里重跑一次優(yōu)化否則每次驗(yàn)收的結(jié)果都不一樣失去了對比意義。跑完之后看三件事。第一PSO-SVR 和網(wǎng)格 SVR 的測試集 RMSE 差多少差在 3% 以內(nèi)基本可以認(rèn)為等價(jià)選誰看維護(hù)成本。第二默認(rèn) SVR 差多少差得遠(yuǎn)說明這份數(shù)據(jù)確實(shí)吃調(diào)參差得近說明這份數(shù)據(jù)的信號本來就弱花在調(diào)參上的時(shí)間不如拿去做特征工程。第三PSO 三次運(yùn)行的 R2 標(biāo)準(zhǔn)差有多大超過 0.02 就得回頭查種子和折數(shù)。從那以后我每次做超參數(shù)調(diào)優(yōu)都強(qiáng)制走一遍「先切測試集、再寫適應(yīng)度、最后同臺(tái)驗(yàn)收」這個(gè)順序中間任何一步想抄近路后面都要用雙倍時(shí)間補(bǔ)回來。這套流程本身沒什么玄學(xué)值錢的地方全在那些不顯眼的約束里——測試集不許碰、標(biāo)準(zhǔn)化關(guān)進(jìn) pipeline、種子從入口傳到底。粒子群只是這套流程里的一個(gè)可選零件換成隨機(jī)搜索、貝葉斯優(yōu)化骨架一模一樣。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
成人无码髙潮喷水A片| caopeng97日韩| 久久婷婷六月综合| 激情五月综合ì香亚洲| 五月色婷婷夜色| 人妻久久久| 日本99在线| 色激情五月| 影音先锋激情网| 99国产精品久久久久久久久久久| 99国产在线| 国产.亚洲.欧洲视频在线| 婷婷婷婷婷婷婷五月丁香| 99色啊| 色综合99无码| 美女天天艹人人爽| 国产精品男人AV不卡| www五月| 九九久久五月天| 120分钟婬片免费看| 夜夜夜叫天天天做| 九热...av| 专区无日本视频高清8| 99热6色| 日本系列_4页_777FP| 99热成人| 狠狠穞A片一區二區三區| 亚洲AV日韩无码| 天天操夜夜操| 另类 在线| 亚洲第一色色色色| 4399在线观看免费毛片| 四川BBB搡BBB爽爽视频| 五夜婷婷| 婷婷丁香五月综合网上| 天天 青草 制服丝袜 在线| 91碰免费视频| 色爱亚洲| 久久久久久性爱视频| 丁香婷婷基地| 亚洲国产黄色电影| 99热这里是精品| 激情六月婷| 91综合国免费久入| 亚韩在线视频| 五月网网站| 伊人激情综合网| 九九亚洲视频| 狠狠色丁香婷婷久久综合| 色婷婷国色天香综合| 超91在线视频| 色135综合网| 久久婷网| 天天影视色综合网| 丁香5月婷婷| 5月婷婷六月丁香| 婷婷自拍| 婷婷99综合| 九九无毛| 婷婷 丁香 精品| 五月天激情站| 996er热| 五月激情四射网站| 五月丁香影视| www,超碰| 五月婷婷六月丁香在线视频| 欧美色播综合在线观看| 操97| 91精品久久久久久久久久久久| 伊人久久婷婷| 欧美婷婷成人| 婷婷六月丁香色| 天天综合五月| 国产成人亚洲综合亚洲| 69精品人人人人| 亚洲乱码在线观看| 狠狠干综合| 99人人操人人摸| 九九热这里只有精品5| 久久九九九九| 色五月婷婷丁香凹凸| 亚洲1区| 99re免费精品视频| 综合伊人久久| 26UUU精品一区二区| www.婷婷,com| 六月丁香射婷婷欧美色图片| 九九Av| 国产永久一黄| 丁香五月激情啪啪啪| 国产精品18久久久| 欧美色色色| 99这里都是精品| 日日舔夜夜操| 人人操人av| 91热er| 无码se| 丁香婷婷五月综合影院| 亚洲人妻电影| 亚洲操B视频| www。五月,com| 免费观看18视频网站| 色婷婷亚洲精品天天综| 操人妻90p| 98永久精品| 婷婷久久爱| 少妇人妻丰满做爰XXX| 久久女婷| 夜夜夜夜夜操| 久久久精品人妻| 久久综合丁香| 青青草tp| 97在线精品| 啪啪黄页网| 怡红院视频| 国产片色| 激情丰满熟妇五月| 亚洲六月婷| 欧洲亚洲免费视频9| 色九月婷婷| 超碰人人操人人干| 97操操操| 五月天激情综合网俺也去| 色色爽爽天天| 97在线/亚洲| 99热69| 久久婷婷东京热大香樵| 久操人| 人操91在线| chaopeng在线人人| 丁香五月婷婷欧美成人色图| 五月亭亭色| 91操黄| 久久九九热re6这里有精品| av五月天婷婷丁香| 婷婷爱五月天| 久草五月婷婷| 夜夜谢天天干| 99综合免费视频| 五月丁香婷婷综合| 久久99热网| 性av| 中文AⅤ大全| 中文字幕91,综合| 激情九色| www99热| 日本a片网址| 六月五月丁香五月欧美| 玖久精品视频9| 激情都市五月天| aaaaaa片| 久久aaaa片一区二区| 99视频网| 97香蕉久久超级碰碰高清版| 丁香五月在线播放| 激情操逼婷婷| 91操屁股| 丁香五月激情婷婷| 五月社区婷婷激情| 激情综合激情五月一起草| 直接看的AV| 五月天淫乱视频| 亚洲综合久| 久久五月天综合| 公的粗大挺进了我的密道| 99热在线这里| 婷婷亚洲五月| www.99热| 久cao香蕉影院| Y11111111111少妇电影院| 97sese婷婷| 日本黄色精品| 粉嫩av懂色av蜜臀av熟妇| 亚洲成人在线播放| 五月涩涩网| 99A片| 日本欧美成人片AAAA| 中文字幕不卡+婷婷五月| www激情| 中文字幕日产A片在线看| 精品99*| 99热国产婷婷| www.天天干.com| 伊人国产婷婷五月天| 亚洲 六月 综合| 婷婷五月天电影区小说区| 99热这里只有精品99| 色墦五月丁香| a免费在线| 综合99久久天天综合| jiujiu热在线视频| 99亚洲无码| 99久视频| 天天插天天干| 视频久久9| 五月天狠狠网站| 久久人人人人妻| 最新色色五月天| 美女亚洲五月丁香| 日本狠狠网| 六月丁香五月天| 天堂婷婷综合| 97资源碰碰| 啪啪五月天啪啪| 九九热只有精品| 丁香五月婷婷啪| 亚洲精品无码99热| 成人亚洲精品| 婷婷五月丁香伊人| 五月婷婷六月激情| 97电影99热| 亚洲 综合中文| 婷婷五月中文字幕国产| 五月婷婷影| 我淫我色婷婷五月天激情四射| 另类丁香综合| 亚洲欧洲自拍图片专区五月天| 色播五月婷婷五月| 五月婷婷五月天| 日韩精品电影| 亚洲看av的网站| 久操97| 狠狠精品干练久久久无码中文字幕| 啪啪五月综合| 五月婷婷六月爱| 99亚州综合精品成人网| 日本一级一级一级一级| 丁香婷婷色| 色久免费| 婷婷激情5月| 91碰| 五月花激情网| 九九久久五月天综合伊人| 黄色成人网站在线播放| 五六月婷婷久久| 色婷婷综合网站| 日日夜夜小色哥| 另类小说五月天| 亚洲天堂有码| 99热这里只有精品23| 九九碰九九爱97超| 一区中文字幕电影| 九色视频这里只有精品| 久久久久9| 香蕉大综综综合久久| 五月天婷婷六月| 97综合在线| 碰久久精品w| va婷婷在线| 在线网黄| 影音先锋男人资源站一区二区| 婷婷五月天日逼| 久久综合五月天| 丁香五月婷婷久久久| 久久亚洲网| 日日干天天射| 1999天天操夜夜操| 夜夜干 夜夜操| 国产肥白大熟妇BBBB视频| 丁香五月综合婷婷| 久综合| 91在线看片| 无毒黄色网址| 日本人妻丁香婷婷久久寝取熟女五月| 91中文在线| 日韩视频女神99| 五月婷婷我| 最近韩国日本免费高清观看| 99热思思久| 超碰93在线观看| 婷婷五月另类网站| 五月天色婷婷基地| 黑人巨粗进入警花疼哭A片| www.激情| 色五月婷婷久久| 超碰人人99| 婷婷五月天综合小说网| 国产69久久久欧美黑人A片| 啪啪一区| 狠狠狠狠狠狠色| 激情婷婷五月天丁香| 第四色婷婷色五月| 国产精产国品一二三在观看| 色人五月婷婷| 大陆极品少妇内射AAAAAA| 亚洲性受XXXX五月丁香| www.99热| 婷婷色五月婷婷姐妹| 大香蕉手机视频| 伊人网碰碰| 五月天狠狠| 97涩婷婷婷婷基地| 99热6色| 日本三级第一页| 能看的AV网站| 五月婷婷影视| 五月天婷a| 精品成人在线| 久久A区B区| 人妻丰满精品一区二区A片| 91丨熟女丨首页| 成人日韩欧美| 色婷婷丁香网| 99热精品一区| 国产精品日本一区二区在线播放| 天天插天天草人人玩| 五月丁香激情综合网| 五月天另类小说亚洲| 99国产在线| 日本三级大片| 婷婷五月色天| 久久黄色免费视频| 9久久狠狠的| 色婷婷五月天激情综合| 一级内射毛片| 欧美性丁香色色五月天干干| 婷婷五月网图片区| 色婷婷AAA| 五月丁香香蕉| 激情六月天| 久久五月丁香六月婷| 激情又色又爽又黄的A片| 五月天堂婷婷| 亚洲超碰中文字幕| 99热免费观看| 第四色激情网| 婷婷成人视频| 五月丁香 啪啪啪| 伊人五月婷| 婷婷五月天激情五月天| 亚洲有码在线视频| 九九香蕉网| 啪啪色激情五月天| 日本无码专区| 五月婷婷人妻| 亚洲免费av在线| 婷婷久久亚洲| 久久视频这里都是精品| 九九色黄色| AV在线中文| 国产一级片| 伊人丁香六月婷婷| 99热99精品在线观看| 激情VA视频| 九九色之九九色之88| 久久精品婷婷| 男人综合网| 亚洲av电影网站| 精品人妻一区| 婷婷伊人| 五月停性愛| 五月婷婷,六月丁香| 99热资源在线| 婷婷五月综合在线| 99热99re6国产在线播放| 色色影院黄大片| 人妻激情在线| 婷婷丁香五月天综合网| 老师把我爽高潮了免费A片| 欧美日比视频| 五月色情婷婷开心五月色情| 六月丁香啪| 日本色天堂| 亚州激情网站无码| 五月天丁香花婷婷| 色日本五月天| 欧美久久婷婷| 九九久久五月天综合伊人| 五月天综合| 天天爽综合网| 久热99| 欧美日本免费一道免费视频| 99ri视频在线播放| 五月丁香WWW| 丁香色情五月综合激情| 91超碰九色| 色婷小说| 五月伊人网| 五月丁香婷婷婷婷综合网| 狠爱婷色| 色婷婷五月综合| 综合五月天完整| 婷婷五月电影院| 久草热8精品视频在线观看| 五月天婷婷丁香| 天天色天天色天天色天天色天天色天天色| 色爱爱综合网| 九九亚洲视频| 丁香婷婷社区| 五月激情婷婷色| 狠狠色大香蕉| 中文字幕有多少字| 超碰色色综合| 久久这里只有欧美| 天天 青草 制服丝袜 在线| 人人操超碰| 99热在线精品观看| 久久婷婷五月免费视频| 激情婷婷人妻| 91成人视频| 91色综合网站在线| 精品色色| 国产精品电影网| 97涩涩丁香五月天| www,久久久| 91丨九色丨首页| 五月丁香婷婷成人网| 四色AVwww| 99久久精彩视频。| 丁香五月色网| 婷婷五月丁香四射| 欧美性爱五月天| 99久在线精品99re5热视频| 97成人视频| AVDV久久| 国产成人AV在线播放| Va另类视频| 婷婷五月天av| 国产资源在线视频| 97日本在线播放| 五月天六月色| 久久网日本| 久久这里只| 色五月在线| 任你爽精品免费视频6| av免费在线观看0| 激情五月综合网| 热99在线精品| 五月天激情av| 五月天五月色| 秋霞午夜理论| 97在线精品| 欧美日韩成人高清在线| 91熟妇大香蕉| 久久五月婷天天干| 国产人妻人伦精品一区二区| www.婷婷五月天.com| 99无码视频| 久久久区区一久久久久久| 综合天天综合| 欧美精品999| 国产精品视频网| 在线视频婷婷| 亚洲无AV在线中文字幕| 中文字幕 中文字幕明步| 激情综合网五月| 激情五月天激情五月天| 婷婷精品性性性性性性性| 99爱这里只有精品| 久久精品色| 日本啪啪网| 婷婷五月天AV在| 五月综合激情| 黄色AAAAA| 狠狠操.COM| 另类综合激情| 99热这里只有精品手机在线观看| AV色五月婷婷| 丁香六月婷婷激情综合| 玖玖在线视频福利| 色噜噜狠狠色综合无码久久欧美| 91色婷婷综合久久中文字幕二区| 99爽视频| 日本97在线| 热九九九九| 中文字幕丰满乱孑伦无码专区 | 亚洲五月天另类小说图片| 婷婷王月天影院| 欧美综合五月丁香六月婷| 色天天久婷婷| 五月丁香综合久久| 婷婷五月天亚洲激情戏精品| 人人爽人人爽人人爽人人爽| 六月婷婷七月丁香| 婷婷五月天激情五月天网站| 99精品爱| 婷婷五月天综合小说网| 五月婷婷片| 色五月首页| 天天干天天色天天干| 丁香六月天色婷婷| 天天爽天天摸| 激情丁香五月天图片| 欧美成人网99网| 99热在线免费| 可以看的av网站| 五月丁香六月色| 天天干天天拍| 五月婷婷影院| www五月| 九九久久精品| 狠狠精品干练久久久无码中文字幕| www.夜夜騎夜夜狠| 亚洲第一精品成人999久久精品| 五月天激情视频五月天| 婷婷五月天伊人网| 五月天色五月| 激情AV| 人妻久久久久久久 | www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 色婷婷色99国产综合精品| 丁香六月久久| 日韩成人无码人妻| 亚洲九区| 狠狠婷婷综合| 久热婷婷在线视频| 黄色五月婷婷| 青青草搞屄视频网站| 色五月aV| 丁香涩涩五月天| 牛牛碰免费| 亚洲精品永久久久久久| 国产这里只有精品| 九九av| 99精品偷自拍| 99热欲| 狠狠色丁香婷婷久久综合| 丁香五月婷婷激情网| 中文精品久久久久人妻不| 色播五月天天| 这里只有精品9| 五月婷婷av| 亚洲操逼片| 色综合婷婷| 秋霞av吧| 久久久久激情网| 级情九色| 激情黄色小说五月天| 99在线精品在线视频| 超碰爱爱爱| 五月婷婷六月丁香综合在线| 韩日另类| 激情五月婷婷| 亚洲亚洲人成综合网络| 国产操逼网站| 色丁香五月天射婷婷爱婷婷| 新激情五月天色播| 久久久婷婷五月亚洲97号色| 伊人在线视频| 九九伦子片| 婷婷爱爱蜜臀天天操| 丁香婷婷久久 | 天天爽天天爽天天爽天天爽天天爽| 99热国产国产| 久久婷婷综合五月天| 国产成人av在线| 国产亚洲精品久久久久久牛牛| 91色色色视频| 久热这里只有精品6官网亚洲| 久久婷婷婷婷伊人| 26UUU欧美激情一区二区| 91狠狠综合久久久| 国产99久9在线+|+传媒| 99色综合| www激情五月天| 91美女被操| 三级黄色大片视频| 亚洲啪啪网| 色青青五月| 99热66| 色噜噜综合网| 中文字幕无码成人电影| www.激情在线| 天天综合色| 北京熟妇搡BBBB搡BBBB | 丁香激激情网| 99色在线视频| www.cao.com久久| 超碰99在线观看| 五月天深爱激情网| 99热色精品| 在线观看日韩12345区| 男女99免费视频| 欧美婷婷五月天综合| 天天噜日日噜综合无码| 国产亚洲AV人片在线| 91超碰在线播放| 很操日本7| 丁香五月综合激情啪啪| www...com黄在线观看| 亚洲激情综合| 国产va视频| 天天干天天射综合网| 综合色五月天| 日韩成人电泉AV| 777久久精品| 久久hd| 五月天福利影院导航| 久久综合五月天| 蜜乳中文字| 色婷婷视频| 人人性久久| 五月婷婷综合潮喷| 亚洲精品99| 国产三级片91| 中文乱子伦视频| 青柠影视免费高清电视剧| 色婷婷六月天| 亚洲激情婷婷| 爱iii做iiii日| 久久99热只有精品| 情色五月天网站| 婷婷中文综合网| 色色色色色色色综合| 久草视频一,二三四| 亚洲啪啪自拍| 九九热视频免费观看| 日日干天天爽| 91久久精品无码一区二区三区| 丁香五月天天高清在线| 大战熟女丰满人妻AV| 午夜婷婷丁香| 中文字幕综合网| 欧美婷婷九月| 五月停停激情网| 精品夜夜澡人妻无码AV| 九九伊人网| 色婷婷色99国产综合精品| 91婷婷视频| 色色婷五月天| 久/久精品99看9| 妇激情基地| 日韩在线99| 久久五月情| 欧美3AaAa大片| 大战熟女丰满人妻AV| 国产精品久久99| 97碰碰人人| 超碰三级片| 国产精品24r| 狠狠五月天婷婷激情网。| 国产真实乱了老女人视频| 激情六月丁香综合| 九色PORNY9l原创自拍| 五月婷婷干干干| 狠狠干婷婷| 五月婷婷色影院| 婷婷大乡焦噜噜| 亚洲色区17| 亚洲久热无码| 九九精品9| 亚洲精品色色色| 成人美女网| 这里只有精9| 六月婷婷中文字幕| 97亚洲色 torrent magnet| 天天肏夜夜肏| 手机在线日韩视频中文字幕| 亚洲婷婷91丁香| 99热久97| 99热成人| 91日日日| 丁香五月欧美激情| 九月影院義母在线播放| 丁香五月自拍| 热99这里只是精品| 五月综合视频| 狠狠干天天内射| av中文在线| 成人婷婷色五月天| 亚洲亚洲人成综合网络| 六月米奇色综合| 成人做爰黄A片免费看直播室男男 A片试看120分钟做受图片 | 五月天婷婷永久免费视频| 激情五月婷婷老师| 五月天 另类图片| 久久九网| 婷婷五月激情天| 丁香花婷婷五月天| 99热首页| 婷婷涩涩五月天| 五夜婷婷| WWW色综合| 国外亚洲成AV人片在线观看| 99.色| 极品人妻VideOssS人妻| 国产亚洲99久久| 激情丁香九九五月综合网| 青青草tp| 久热9| 丁香亚洲婷婷五月| 色99xx| 五月婷婷在线免费观看| 色欲五月婷婷| 婷婷五月激情图片| 综合狠狠干| 依人大香蕉在钱1| 色婷婷狠狠| 久久婷婷五月综合激情国产| 亚洲色网络| 五月婷婷开心激情六月蜜桃| 久久婷婷五月丁香蜜桃网| 另类综合婷婷五月天欧美视频| 日本三级网址| 色婷五月| 人妻在线中文字幕久久| 人人妻人人澡人人爽| 五月丁香影院| 五月丁香久久呀| 丁香久月| 九九黄色网| 婷婷五月18永久免费视频| 91要啪| 天天日天天色| www,色色色网站| 亚洲激情在线| 玖玖婷婷色欲| 日韩精品999| 狠狠色丁婷婷日日,伊人激情综合网| 人人摸人人干| 综合网色| 久久久人妻门| WWW.99热| 97久久婷婷色| 日韩九区| 色婷婷五月天综合网| 婷婷综合视频| 夜夜嗨一区二区三区直播内容| 99色热| 另类色视频| 九九久99免费视频| 亚洲九九视频| 婷婷五月天激情免费在线观看| 99热婷婷| 色综合久久88色综合天天| 久热这里只有精品99re| 欧美成人精品一区二区| 久久久婷婷| 色婷婷在线视频观看| 久久五月综合| 丁香五月a| 26uuu欧美日韩| 欧美超级视频97| 色婷婷五月丁香在线观看| 美国不卡视频| 无码激情AAAAA片-区区| AV在线资源| 大香蕉伊人爱在线| 东北婷婷五月天| 强伦轩人妻一区二区电影| 影音先锋高清无码资源网| 久9热在线视频| www,婷婷五月天,com| 久久99婷婷| 色婷婷激情视频| 色婷久久| 在线成人视频免费| 九九久久视频| 激情另类综合| 男人的天堂五月丁香| 中文字幕婷婷9月天| 婷婷伊人綜合中文字幕| 国产视频婷婷| 婷婷五月丁香五月天| 亚洲激情视频在线观看| 久久全色| 4399无码视频| 天天色天天操天天射| 天天日天天干天天操| 色色aⅤ網| 婷婷五月四狠狠| 人妻激情视频| 久久激情四射| 中文字幕乱码亚洲精品一区| 五月丁香综合| 五月丁香亭亭| 99久久久| 天天干夜夜b| 天天色综合天天| 久大香蕉| 久久sp免费视频| 五月婷婷亚洲天堂97色婷婷| 99色综合| 婷婷色五月天在线观看| 99在线视频免费| www夜夜操comwww| 欧洲日韩一区二区三区| 99噜噜噜在线播放| 变态另类9| 色综合狠狠色| 婷婷丁香五月基地| 波多野结衣不卡AV| 偷偷与邻居做爰完整视频| 欧美丁香婷婷五月| 97色久| 天天色噜| 深爱激情综合网| 日日操,夜夜撸| 婷婷丁香一月| 国内裸舞二区| 99爱视频精品在线观看| 欧美六月| 中文精品在| 伦99热| 伊人久久大香| av网站免费在线| 婷婷六月激情综合| 99视频这里只有久久精品| 婷婷成人综合免费视频| 国产亚洲色婷婷99精品| 久久丁香五月天| 中文精品在| 婷婷五月天亚洲综合| 婷婷五月丁香综合桃花色网| 欧美人人草草| 男女av免费看| 中文字幕丰满乱孑伦无码专区 | 精品无码人妻一区| 欧美日韩大黄| 日本本土色网第一区| 丁香五月网站| a色色色色色| 欧美天天草人人草| 婷婷丁香社区网| 婷婷五月天AV网| 色很很96| 欧美va亚洲va| 色五月无码| 99热6这里只有精品6| 99亚洲综合| 色色色综合视频| 97色色色视屏| 五月婷婷熟女| 婷婷四色五月| 久久婷婷五月天激情唯美| 九九久久视频| 欧美日韩AAA| 精品亚洲VA网站| 亚洲无码色色| 国产精品色色| 综合久久高清| 色丁香五月婷婷| 99爱视频在线观看这里只有精品| 婷婷五月天小说| 色色色网站| 欧美激情综合五月色丁香| 人人人操 超碰| 狠狠色综合图片| 碰碰碰97免费精彩视频| 久久婷婷五月天激情| 伊人www22综合色| 国产67194| 开心婷婷五| 婷婷五月天色网久| 五月天色视频| 色五月欧美| aa久久| 99精品综合| 极品人妻VIDEOSSS人妻| 色色色五月天婷婷| 熟女国产在线一区二区三区四区| 2022人人操人人看| 丁香五月激情棕合| 人妻性爱av网站| 狠狠五月天婷婷| 热这里| 久久综合五月| 久久精品视频99| 五月香婷婷| 色图亚洲91| 碰碰碰91| 超碰人人色| 五月视频日本免费观看| www.俺去也com| 天天日夜夜曹| 婷婷五月色情天| 久久久久9999| 超碰免费人人肏| 91chinese 在线| 久久黄A片| 婷婷丁香激情五月| 综合久久99| 九九黄色网| av国产精品| 欧亚中文A V| 99人碰碰碰| 激情综合网,婷婷| 婷婷干五月综合在线播放| 午夜九九九九九九九九九九九九九| 五月天婷婷丁香| 丁香六月婷婷色XXXX| 狠狠综合色网| 九九国产精视频| 99热最新网址| 激情亭亭五月| 91久久久久久| 激情综合另类| 婷婷色影院| 亚洲久久婷婷丁香五月天| www.五月丁香| 91色婷婷综合久久中文字幕二区| 超碰色碰碰| 男人天堂99| 激情纯色婷婷五月天在线不卡视频| 婷婷色五月在线视频| 亚洲激情综合| 99热草草| 99九九热在线观看| xxx综合在线| 亚洲熟妇无码乱子AV电影| 国产激情综合五月久久| av人人操| 久久最新色色色| 国产玖玖资源| 99亚洲视频| 婷婷五月综合丁香久久| 色狠狠色| 激情五月婷婷综合色播小说| 超碰99热| 日韩人妻在线播放| 色情综合网| 青青草原福利在线| 久草五月天| 一片AV片免费播放| 天天舔天天插天天爱| 夜夜夜夜夜操| 九九Av| 色五月婷婷1| 日日干综合| 91狠狠色色丁香婷婷综合久久| 极品人妻VIDEOSSS人妻| 超碰93在线观看| 国产精品视频网| 青青草a在线| 少妇人妻人伦A片| 免费无码毛片一区二区A片| 91九色熟女| 色色综合视频| 激情影院丁香五月| 日韩xx在线| 六月伊人婷婷| 噜噜噜狠狠色综| 免费一区二区三区| 亚洲综合激情五月天婷婷| 激情丁香五月天| 少妇人妻人伦A片| 亚洲六月婷婷| 天天爽免费视频| 99免费在线视频| 五月丁香欧美综合| 精品三区影院| 精品久热| 婷婷综合97| 天天谢天天操| 中文字幕人妻熟女在线| 婷婷午夜精品久久久| 五月天激情啪啪| 五月天色综合| 成人五月丁香社区| 91婷婷五月天嫩女| 成人国产欧美大片一区| 91精品综合久久久久久五月丁香| 野战毛片三一3| 久久五月天激情| 激情五月开心五月在线视频| enecarbon-materials.com污K127封锁请涟系@wip1688 | 激情又色又爽又黄的A片| 久久久久亚洲AV成人无码电影| 五月天婷婷丁香社区| 搡BBBB搡BBB搡18| 婷婷在线免费| 五月婷婷影院| 丁香花狠狠婷婷亚洲中文字幕| 玖玖色资源站| 中文字幕成人| 九九人人自拍| 亚洲va欧洲va国产va不卡| 国产欧美日韩综合精品一区二区| 五月天社区| 在线观看免费狠狠色丁香香综合| 久久ri精品视频| 四虎99热在线观看网站| 色婷婷久久综合久色| 香蕉综合在线| 色色色区| 激情五月天激情五月天| 婷婷丁香18| 五月婷高清视频| 五月丁香六月欧美综合网站| 美女黄频aⅴ视频| 国产精品色色| 熟女国产在线一区二区三区四区| 激情美女五月天激情在线| 久久99热这里只频精品6学生| 久色网| 色久女| 久久综合影院| 丁香婷婷激情六月五月开心| 97色碰碰公开视频| 99热这里只有精品1998| 一本大道熟女人妻中文字幕在线| 精品国产va久久久久| 九月婷婷综合| 亚洲成人影视在线观看| 久久丝袜婷婷| 操97免费超级视频| 欧美色频| 激情五月综合久久| 天天澡天天狠天天天做| 大香伊人婷婷| 天天爽,夜夜爽| 热99热久| 婷婷日日夜夜| 色婷婷久久9.com| 影音先锋人妻出差| 国产精品电| 激情五月天免费视频| av网址在线播放| 婷婷激情欧美| 激情五月丁香五月色| 激情www.98com| 人妻熟人中文字幕一区二区| 婷婷五月天少妇| 亚洲字幕AV一区二区三区四区| 婷婷六月婷婷| 乱精品一区字幕二区| 伊人婷婷激情| 亚洲欧洲另类图片| 操你av| 中文AV网站| 九九激情视频| 这里只有精彩视| caopeng97日韩| 99在线精品免费视频| 五月天婷婷伊人| 久久久久久久久久久-久五月天婷婷| 五月丁香六月婷婷a v| 色欲色欲久久宗合网| 五月婷婷九月婷婷九月婷婷| 操精品9| 天天操屄网| www.久9| 日本久久精品18| 91超碰在线播放| 玖玖资源在线视频| 丁香激情五月综合网| 亚洲日本韩国| 激情五月,深深爱五月| 色噜婷婷| 天天插天天干| 香蕉综合在线| 综合网激情| 五月天 综合 在线| 丁香8月手机综合| 丁香涩涩爱| 91在线操| 久久XX| 久久人妻乱子伦| 日韩成人中文| WWW,五月| 婷婷五月丁香花综合| 91超级碰碰| 五月丁香好婷婷姑娘综合网| 色六月 婷婷| 久久人妻乱| 4399在线观看免费毛片| 大香蕉AV在线| 五月丁香六月欧美综合| 一本色道久久综合狠狠躁一二三| 婷婷播5月| 五月丁香六月婷婷啪啪| www婷婷| 综合视频五月| 怡红院成人AV| 久操大香蕉| 插插干干干色| 久久青草国| 91精品婷婷国产综合久久| 婷婷五六月丁香| 四虎99热在线观看网站| 开心婷婷中文字幕| 久久久婷婷| 欧美婷婷色| 人人爱人人草| 丁香五月激情宗合| 激情综合色五月丁香| 亚洲国产99| 九九热这里只有精品5| 99热在线观看| 五月丁香婷婷基地| 激情AV| 亚洲va欧洲va国产va不卡| 九热久| 狠狠操天天干| 久久一热| 67194成I人在线观看线路1| 久久er99热精品一区二区| 婷婷五月天欧美| 超碰成人电影| 国产性av| 9有码中文| 婷婷狠狠久久| 无码动漫AV| 亚洲高清在线| 五月婷婷啪| 91精品综合久久久久久五月丁香| 日木WWW视频| 国产97色在线| 亚洲色情激情丁香五月| 91无码高清| 五月激情综合网| 色五月婷婷一二| 夜夜骑日日操| 婷婷激情五月天小说| 97色色网| 色婷婷成人| 丁香六月婷月91婷月| 一区操| 六月丁香五月婷婷| 五月婷婷丁香在线| 777色婷婷爱五月| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 激情久久久久| 成人性爱精品视频| 91热爆在线| 91人妻九色大屁股| 色色五月天激情| 亚洲激情网站| 婷婷五月天AV网| 伊人丁香五月婷婷潮吹| 久久久久9999| 亚洲人人操| 性爱电影科技贸易有限公司| 久久香蕉福利| 狠狠久久婷五月综合色| 五月天婷婷久久| 第四色首页| 国产日批视频| 香蕉婷婷色五月| 影音先锋五月婷婷| 色香欲综合| 综合色播| w婷婷五月婷婷w| 99ri在线视频| 欧洲区自拍| 嫩BBB搡BBBB榛BBBB| 99热主页日本| 亚洲色色香蕉| 久久国产性爱A V| 亚洲午夜电影| 好叼操在线观看| 99精品视频在线观看| 人人摸人人| 森林影视大全,最好看的2019年视频| 内射综合网| 亚洲天堂玖玖| 精品国产AV色一区二区深夜久久| 99精品在线观看视频| www.夜夜.com| 狠狠操天天操| 亚洲最大在线| 牛牛色av| 日韩在线看AV| 六月激情网| 五月丁香婷婷综合视频| 深爱五月婷| 六月香五月婷| 国产韩日亚洲美州欧亚综合在线| 丁香五月婷婷亚洲另类| 综合久久五| 色婷婷亚洲婷婷| 六月婷婷综合| 色婷五月天| 婷婷五月美女直播| 一本久久亚洲五月婷婷 | 熟女网站久久| 99综合成人视频在线观看| 九九综合九| 久久思思热| 久久免片| 99热这里只有精品1025| 亚洲五月天婷婷| www.色五月天.com| 婷婷久久免费看| 91五月天| 91要啪| 日韩色色一区| 97操碰日本女人| www久视频com| 色婷婷综合网| www.狠狠色.com| 只有精品在线观看| 九九精品自拍| 激情五月综合久久| 久久99免费视频| 91丨九色丨国产| 艳妇野外情欲放荡HD| 操91| 另类视频五月天| 精品久久99码| 97操碰视频| 思思99热| 亚洲无码色色| 天天干天天干天天干天天干天| 婷婷五月久久| 婷婷丁香视频| 天天插天天很| 五月婷婷综合激情| 五月香蕉综合| 天天日天天干天天爱| 五月丁香综合啪啪| 99热精品在线| 久久婷婷热| 色五月色五天色情网| av在线观看网站| 99热99久久| 另类伊人婷婷| 亚洲天堂啪啪| 另类图片激情五月| 91精产品自偷自偷综合| 97超级碰碰碰| 天天色综| www,超碰| 九九热在线99| 99啪99| 9久热免费视频99| 激情性爱五月| 91色色色18| AV在线中文| 九久9精品| 日本久久网| 色色热99| 六月丁香五月婷婷首页| 五月亭久久无码视频| 国产69精品久久久久999小说| 99国产精品久久久久久久久久久| 日日干夜夜干| 伊人在线视频| 激情AV网| 91九九九九九九| 91精品久| 国产亚洲色婷婷久久99精品9j| 色色丁香色五月| 久久久久婷 | 丁香五月婷久久| 亚洲成人五月天| 精品人妻一区二区| 婷婷色五月激情强奸四射| av在线免费播放| 久久综合五月| 国产这里只有精品| 91 欧美| 91a片爽| 人人叉久| 26uuu精品一区二区| 97av在线视频| 美女亚洲五月丁香| 婷婷色系婷色| 六月五月婷婷| 色 色 色综合com| 九九人人精品| 丁香五月天堂网| 丁香六月婷婷| 婷婷五月天VI| 操比激情五月| 亚洲综合一区二区| 特黄三级片| 青青夜夜狠狠夜夜狠狠| 丰满人妻一区三区三区| 国产精品日韩十五区| 激情五月婷| 色欲天天综合网| 激情丁香五月婷婷| 婷婷亚洲在线| 日本99视频精品免费播放| 国产67194|