欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

集成學(xué)習(xí)7天實戰(zhàn):Bagging、Boosting與Stacking全攻略

集成學(xué)習(xí)7天實戰(zhàn):Bagging、Boosting與Stacking全攻略 簡介由杰森·布朗利編寫的《Python集成學(xué)習(xí)算法7天速成》中文翻譯版源自MachineLearningMastery系列面向已有Python、NumPy和scikit-learn基礎(chǔ)的開發(fā)者用七節(jié)課快速補齊集成學(xué)習(xí)核心技能。資源共1個PDF文件壓縮包大小481KB便于下載后離線閱讀文檔按課程01至07組織章節(jié)獨立性較強依次講解什么是集成學(xué)習(xí)、裝袋集成、隨機森林、AdaBoost、梯度提升、投票集成和堆疊集成每課設(shè)有明確任務(wù)并提供基于scikit-learn的完整代碼示例可照做預(yù)測建模實驗。針對模型方差、數(shù)據(jù)泄露和融合策略等容易出錯的環(huán)節(jié)書中給出精簡說明幫助讀者把多個模型組合成更可靠的預(yù)測方案也可遷移到Kaggle等競賽場景。目前已有108人學(xué)習(xí)瀏覽適合希望利用一周時間系統(tǒng)掌握集成學(xué)習(xí)并提升模型表現(xiàn)的開發(fā)者。1. 集成學(xué)習(xí) 7 天速成為什么“打群架”的模型通常比單打獨斗更強如果你正打算用 7 天時間把 Python 集成學(xué)習(xí)算法從只會調(diào)庫練到能講清原理、能上手調(diào)優(yōu)、能排查問題這篇筆記就是按這個目標(biāo)寫的。集成學(xué)習(xí)的核心思想一句話就能說透單個模型容易偏、容易抖但把一群各有毛病、又不太一樣的模型湊在一起投票或接力整體誤差通常會被磨平一大截。這也是 Kaggle 競賽里幾乎每支前排隊伍都會在最后一步用上 Stacking 或 Boosting 的原因。7 天速成不是讓你背公式而是按“并行集成 → 串行集成 → 集成之集成 → 避坑調(diào)優(yōu)”這條主線用 Python 生態(tài)里現(xiàn)成的庫把每個環(huán)節(jié)跑通。適合的對象很明確已經(jīng)會用 sklearn 訓(xùn)練單個模型、但對集成學(xué)習(xí)只停留在“聽過名字”階段的從業(yè)者以及想在項目里把模型精度再往上頂一檔的工程師。第一天到第三天你會感受到“多模型投票”帶來的穩(wěn)定收益第四到第六天進入 Boosting 與 Stacking 后更多的功夫要花在防止過擬合和評估偏差上最后一天請務(wù)必留給自己把整個實驗過程固化成可復(fù)現(xiàn)的記錄。接下來我們從最基礎(chǔ)的并行集成開始。2. 并行集成Voting 與 Bagging先讓模型學(xué)會“投團隊票”2.1 集成學(xué)習(xí)的理論地基偏差-方差分解與“三個臭皮匠”邏輯先回答一個新手必然要問的問題為什么多個模型放在一起效果反而比最好的單個模型還穩(wěn)這要從偏差-方差分解說起。一個模型的泛化誤差大致能拆成三項偏差bias、方差variance和不可約噪聲。偏差大說明模型對規(guī)律的理解不夠經(jīng)常欠擬合方差大說明模型對訓(xùn)練數(shù)據(jù)的波動太敏感換個數(shù)據(jù)集表現(xiàn)就劇烈起伏。單棵決策樹是典型的低偏差高方差模型而線性模型則常常反過來。集成學(xué)習(xí)的思路就是在這兩項之間做文章。Bagging 的核心操作是“并行訓(xùn)練 平均”它通過 Bootstrap 采樣讓每個子模型看到不同的訓(xùn)練子集子模型之間天然存在差異最后投票或平均時彼此的高方差部分會互相抵消。這背后的數(shù)學(xué)直覺是如果各基模型誤差是獨立的那么平均后的方差會按子模型數(shù)量下降哪怕基模型之間不完全獨立只要不是完全相關(guān)方差也能被顯著壓縮。這里有一張常用的誤差拆解表方便你對照自己的項目來判斷該用 Bagging 還是 Boosting當(dāng)前問題主要矛盾推薦的集成方向理由單模型欠擬合訓(xùn)練分很低高偏差Boosting / Stacking串行擬合殘差能系統(tǒng)性降低偏差單模型分?jǐn)?shù)不錯但測試集波動大高方差Bagging / RandomForest并行平均能壓低方差數(shù)據(jù)噪聲大特征冗余多方差與偏差都高先用 Bagging 穩(wěn)底再上 Boosting直接 Boosting 容易把噪聲也學(xué)進去“三個臭皮匠勝過諸葛亮”這句話在機器學(xué)習(xí)里是有前提的皮匠們得有自己的判斷不能全是同一個師傅教出來的。如果 10 個模型高度雷同集成只是在放大同一個錯誤毫無意義。這也是整篇筆記里反復(fù)會出現(xiàn)的一條主線多樣性是集成的靈魂。2.2 用 scikit-learn 跑通 Voting 與 Bagging最小可執(zhí)行代碼先動手跑一個最樸素的 Voting 分類器。Voting 分硬投票和軟投票硬投票是每個模型投一票、少數(shù)服從多數(shù)軟投票是每個模型輸出類別概率后加權(quán)平均再取概率最高的類別。數(shù)據(jù)量小、模型校準(zhǔn)良好時軟投票通常更穩(wěn)。下面這段代碼在一個模擬的二分類數(shù)據(jù)集上直接對比單模型與 Voting 的效果from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split from sklearn.ensemble import VotingClassifier, RandomForestClassifier from sklearn.linear_model import LogisticRegression from sklearn.tree import DecisionTreeClassifier from sklearn.metrics import accuracy_score # 生成 2000 個樣本、20 個特征的模擬二分類數(shù)據(jù) X, y make_classification(n_samples2000, n_features20, n_informative15, random_state42) X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, stratifyy, random_state42) # 三個差異明顯的基模型 lr LogisticRegression(max_iter1000, random_state42) dt DecisionTreeClassifier(max_depth5, random_state42) rf RandomForestClassifier(n_estimators50, max_depth8, random_state42) # 軟投票按類別概率加權(quán)平均 voting_clf VotingClassifier( estimators[(lr, lr), (dt, dt), (rf, rf)], votingsoft ) voting_clf.fit(X_train, y_train) for name, model in [(LR, lr), (DT, dt), (RF, rf), (Voting, voting_clf)]: acc accuracy_score(y_test, model.predict(X_test)) print(f{name}: {acc:.4f})這段代碼里最關(guān)鍵的是votingsoft參數(shù)。軟投票要求基模型都有predict_proba方法邏輯回歸和決策樹都滿足。如果你換了某些不支持概率輸出的模型就只能退回到votinghard。我一般會在跑 Baseline 時先用硬投票確認三個模型分?jǐn)?shù)接近后再切到軟投票看是否有提升。接下來是 Bagging 的最小示例。BaggingClassifier 本身是一個通用包裝器你可以把任意基模型塞進去它內(nèi)部通過 Bootstrap 采樣生成多個訓(xùn)練子集并行訓(xùn)練多個副本from sklearn.ensemble import BaggingClassifier from sklearn.tree import DecisionTreeClassifier # 用決策樹作為基模型訓(xùn)練 200 個副本 bag_clf BaggingClassifier( estimatorDecisionTreeClassifier(max_depth10, random_state42), n_estimators200, max_samples0.8, # 每個子模型采樣 80% 的樣本 max_features1.0, # 每個子模型使用全部特征 bootstrapTrue, # 有放回采樣 oob_scoreTrue, # 計算袋外分?jǐn)?shù) n_jobs-1, # 使用全部 CPU 核 random_state42 ) bag_clf.fit(X_train, y_train) print(fBagging OOB Score: {bag_clf.oob_score_:.4f}) print(fBagging Test Accuracy: {accuracy_score(y_test, bag_clf.predict(X_test)):.4f})max_samples0.8意味著每個子模型只看到 80% 的樣本剩下的 20% 沒參與訓(xùn)練正好可以用作天然的驗證集。oob_scoreTrue就是利用這些沒被采到的樣本計算一個袋外分?jǐn)?shù)它約等于交叉驗證的效果但省掉了重復(fù)訓(xùn)練的開銷。對新手來說如果訓(xùn)練集只有幾千條建議把max_samples調(diào)高到 0.9否則每個子模型看到的樣本太少基模型容易欠擬合。2.3 隨機森林Bagging 加特征隨機性以及 OOB 分?jǐn)?shù)的妙用隨機森林可以理解為 Bagging 的一個升級版它在每次節(jié)點分裂時不再從全部特征里找最優(yōu)切分點而是隨機抽取一部分特征再從中選最優(yōu)。這個改動很關(guān)鍵它讓每棵樹學(xué)到的“特長”不同。比如有的樹更依賴特征 A有的樹更依賴特征 B投票時彼此互補整體方差進一步下降。用 sklearn 訓(xùn)練隨機森林只需要改一行from sklearn.ensemble import RandomForestClassifier rf_clf RandomForestClassifier( n_estimators300, max_depthNone, # 不限制深度讓樹自由生長 min_samples_leaf2, # 葉子節(jié)點最少 2 個樣本限制過擬合 max_featuressqrt, # 分類問題默認取特征數(shù)的平方根 oob_scoreTrue, n_jobs-1, random_state42 ) rf_clf.fit(X_train, y_train) print(fRF OOB Score: {rf_clf.oob_score_:.4f}) print(fRF Test Accuracy: {accuracy_score(y_test, rf_clf.predict(X_test)):.4f}) # 查看特征重要性 importance rf_clf.feature_importances_ top_idx importance.argsort()[-5:][::-1] print(Top-5 重要特征索引:, top_idx)max_featuressqrt是分類問題的默認推薦值回歸問題一般用1.0或log2。這段代碼里我把max_depth設(shè)為None配合min_samples_leaf2來讓樹自由生長但葉子不能太純這個組合在中小數(shù)據(jù)集上往往表現(xiàn)不錯。特征重要性feature_importances_是基于“該特征在所有樹中帶來的不純度減少量”累加得到的注意它偏向數(shù)值型特征和取值多的特征只能用作粗篩不能當(dāng)作因果證據(jù)。OOB 分?jǐn)?shù)在這里還有額外價值你不必專門切一塊驗證集就能知道模型大概的水平。做法是先跑一遍不設(shè)置max_depth的隨機森林看 OOB 分?jǐn)?shù)再跑一遍有限制條件的版本對比 OOB 分?jǐn)?shù)漲了說明限制有效跌了說明限制過度。我習(xí)慣把 OOB 分?jǐn)?shù)當(dāng)作調(diào)參時的主要參照省下交叉驗證的大量時間。3. 串行集成Boosting 家族從 AdaBoost 到 GBDT 再到 XGBoost3.1 Boosting 的核心邏輯每個模型負責(zé)“上一輪沒做對的事”如果把 Bagging 比作“并行開會、獨立發(fā)言”Boosting 就是“接力攻堅、步步為營”。它訓(xùn)練一堆模型但順序有先后第 2 個模型重點關(guān)注第 1 個模型做錯的樣本第 3 個模型重點關(guān)注前兩個模型的殘差如此往復(fù)。AdaBoost 的做法是改變樣本權(quán)重——被分錯的樣本權(quán)重變大下一輪模型被迫把注意力集中在這些難樣本上。GBDT梯度提升決策樹換了一種更通用的表述每一輪新增的樹去擬合前面所有樹的負梯度也就是“殘差”。對于回歸任務(wù)殘差就是真實值與當(dāng)前預(yù)測值之差對于分類任務(wù)這個殘差被替換為概率空間上的梯度。為什么擬合殘差有效因為每一輪都在修正當(dāng)前的錯誤方向相當(dāng)于沿著損失函數(shù)下降的方向逐步逼近最優(yōu)解。這里有一個新手容易犯的概念混淆AdaBoost 和 GBDT 都叫 Boosting但 AdaBoost 通過樣本權(quán)重來體現(xiàn)“關(guān)注錯誤”GBDT 通過擬合殘差來體現(xiàn)。前者對異常值極其敏感因為異常點權(quán)重會被不斷放大后者在損失函數(shù)選擇上更靈活因此衍生出了 XGBoost、LightGBM 等一堆工程化實現(xiàn)。理解了這一點你就能明白為什么大多數(shù)比賽和工業(yè)項目最終都選了 GBDT 系算法而不是 AdaBoost。3.2 AdaBoost 與梯度提升的最小實現(xiàn)從 sklearn 到手動理解先用 sklearn 把 AdaBoost 跑通代碼很簡單from sklearn.ensemble import AdaBoostClassifier ada_clf AdaBoostClassifier( estimatorDecisionTreeClassifier(max_depth1, random_state42), # 樹樁 n_estimators200, learning_rate0.5, algorithmSAMME, random_state42 ) ada_clf.fit(X_train, y_train) print(fAdaBoost Test Accuracy: {accuracy_score(y_test, ada_clf.predict(X_test)):.4f})AdaBoost 的基模型在 sklearn 里默認就是深度為 1 的決策樹樁algorithmSAMME是為了兼容多分類的變體。learning_rate0.5表示每一步只按 0.5 的步長采納當(dāng)前模型的貢獻這樣后續(xù)模型還能有修正空間步長太大會導(dǎo)致模型在少數(shù)難樣本上用力過猛太小則訓(xùn)練緩慢。跑完這段代碼后你可以打印ada_clf.estimator_errors_看看每一輪的加權(quán)誤差誤差曲線如果后期開始震蕩說明步長沒調(diào)好或者樹樁太弱。再看回歸任務(wù)的 GBDT 實現(xiàn)同樣是 sklearn 一行搞定from sklearn.ensemble import GradientBoostingRegressor from sklearn.metrics import mean_squared_error gb_reg GradientBoostingRegressor( n_estimators200, learning_rate0.05, max_depth3, subsample0.8, random_state42 ) gb_reg.fit(X_train_reg, y_train_reg) # 回歸數(shù)據(jù)集 pred gb_reg.predict(X_test_reg) print(fGBDT RMSE: {mean_squared_error(y_test_reg, pred, squaredFalse):.4f})subsample0.8是隨機梯度提升的做法每輪只用 80% 的樣本訓(xùn)練當(dāng)前樹。這個參數(shù)不是為了省計算而是引入隨機性來降低與 Bagging 類似的方差同時加快訓(xùn)練。經(jīng)驗上learning_rate與n_estimators必須聯(lián)合調(diào)整學(xué)習(xí)率減半需要的樹數(shù)量大致翻倍。你想快速驗證這一點可以分別跑(0.1, 100)和(0.05, 200)兩組參數(shù)觀察測試分?jǐn)?shù)是否接近。3.3 GBDT 的三件套調(diào)參學(xué)習(xí)率、樹深度與子采樣GBDT 系模型在實踐中最需要關(guān)注的三個參數(shù)就是learning_rate、max_depth和subsample。它們之間是互相牽制的關(guān)系。learning_rate控制每棵樹貢獻的權(quán)重。數(shù)值越小模型越保守需要越多樹來擬合同樣的信號數(shù)值太大前幾棵樹就把訓(xùn)練集學(xué)滿了后面全是噪音擬合。我一般先用固定學(xué)習(xí)率 0.1 跑一遍記錄驗證集分?jǐn)?shù)曲線然后把學(xué)習(xí)率降到 0.05、樹數(shù)量翻倍再對比曲線。如果兩次效果接近說明模型容量足夠問題在別處如果 0.05 顯著更好說明 0.1 時已經(jīng)過擬合了。max_depth在 GBDT 中通常取值 3 到 6遠小于單棵決策樹的深度。原因是 Boosting 每次只擬合殘差不需要太復(fù)雜的樹深度過深反而讓當(dāng)前樹“想太多”把殘差里的噪聲也學(xué)進去。subsample是行采樣比例0.7 到 0.9 之間是常用區(qū)間它對防止過擬合的貢獻在數(shù)據(jù)量小的時候尤其明顯。這三個參數(shù)的正確調(diào)參順序很重要。我建議先固定learning_rate0.1用交叉驗證搜max_depth和subsample找到合適區(qū)間后再把學(xué)習(xí)率降下來、把樹數(shù)量補上去最后微調(diào)早停。順序反了會浪費時間因為你在一個過擬合狀態(tài)下調(diào)學(xué)習(xí)率結(jié)論沒有參考價值。3.4 工程化 BoostingXGBoost 與 LightGBM 該怎么選當(dāng)你從 sklearn 切到真正的工程化 Boosting 庫時先看這張對比表再決定用哪個對比維度XGBoostLightGBM分裂策略預(yù)排序 直方圖近似基于梯度的單邊采樣GOSS 互斥特征捆綁EFB訓(xùn)練速度中等大數(shù)據(jù)集上明顯更快內(nèi)存占用較高更低類別特征支持需手動編碼支持原生類別特征擅長場景中小數(shù)據(jù)、稀疏特征大規(guī)模數(shù)據(jù)、高維特征如果你只是想在 7 天速成里快速拿到可靠結(jié)果我的建議是中小數(shù)據(jù)集優(yōu)先 XGBoost因為它更穩(wěn)定、文檔更成熟數(shù)據(jù)量超過幾十萬行且特征稀疏時直接換 LightGBM速度差距會非常明顯。下面用 XGBoost 的 sklearn 接口做一個最小示例from xgboost import XGBClassifier from sklearn.metrics import roc_auc_score xgb_clf XGBClassifier( n_estimators300, learning_rate0.05, max_depth4, subsample0.8, colsample_bytree0.8, # 每棵樹隨機使用 80% 的特征 eval_metriclogloss, early_stopping_rounds30, random_state42 ) xgb_clf.fit( X_train, y_train, eval_set[(X_test, y_test)], verboseFalse ) print(fXGB AUC: {roc_auc_score(y_test, xgb_clf.predict_proba(X_test)[:, 1]):.4f})這段代碼里early_stopping_rounds30是防止過擬合的關(guān)鍵當(dāng)測試集合上的 logloss 連續(xù) 30 輪沒有提升訓(xùn)練自動終止best_iteration屬性會告訴你最佳樹數(shù)量。colsample_bytree0.8是隨機森林里特征隨機性的 Boosting 版本它迫使每棵樹只依賴部分特征增加多樣性。LightGBM 的接口略有不同它用n_estimators對應(yīng)同樣的概念需要額外設(shè)置num_leaves而不是max_depth。num_leaves理論上可以大于2^max_depth因此它能擬合更復(fù)雜的局部結(jié)構(gòu)但也更容易過擬合。我的經(jīng)驗是先用默認num_leaves31如果驗證集分?jǐn)?shù)不如 XGBoost再逐步調(diào)整而不是一上來就改得面目全非。4. 集成之集成Stacking 與 Blending讓模型預(yù)測值變成新特征4.1 Stacking 為什么能漲點元模型學(xué)的是“誰在哪些樣本上更可靠”Stacking 的思路比 Bagging 和 Boosting 又進了一步Bagging 讓基模型投票Boosting 讓基模型接力而 Stacking 干脆把基模型的預(yù)測結(jié)果當(dāng)作新特征再訓(xùn)練一個元模型來學(xué)習(xí)“在什么情況下應(yīng)該更相信哪個基模型”。舉例來說邏輯回歸可能在樣本 A 上很準(zhǔn)隨機森林在樣本 B 上很準(zhǔn)Stacking 的元模型會學(xué)到這個規(guī)律而不是簡單投票。這里最關(guān)鍵的操作是防止“數(shù)據(jù)泄漏”。如果直接用基模型在訓(xùn)練集上的預(yù)測結(jié)果作為元模型的輸入基模型已經(jīng)見過這些樣本預(yù)測結(jié)果會偏樂觀元模型學(xué)到的就是虛高信號。正確做法是用 K 折交叉驗證為每個訓(xùn)練樣本生成“袋外預(yù)測”O(jiān)ut-of-Fold簡稱 OOF比如 5 折每次用 4 折訓(xùn)練基模型預(yù)測剩下 1 折循環(huán) 5 次后每個訓(xùn)練樣本都拿到一個“沒見過它”的預(yù)測值。測試集上的處理同樣要注意每一折訓(xùn)練好的基模型都要對完整測試集做預(yù)測然后取平均得到測試集的最終預(yù)測特征。很多人第一版 Stacking 漲不了點幾乎都是因為這一步偷懶直接用全量訓(xùn)練模型預(yù)測測試集導(dǎo)致特征分布不一致。4.2 用交叉驗證生成 OOF 預(yù)測完整可復(fù)現(xiàn)代碼下面這段代碼手動實現(xiàn)了 5 折 Stacking 的全流程基模型用隨機森林和邏輯回歸元模型用邏輯回歸import numpy as np from sklearn.model_selection import StratifiedKFold from sklearn.ensemble import RandomForestClassifier from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score # 準(zhǔn)備 OOF 矩陣形狀是 (訓(xùn)練樣本數(shù), 基模型個數(shù)) kf StratifiedKFold(n_splits5, shuffleTrue, random_state42) base_models [ (rf, RandomForestClassifier(n_estimators100, max_depth6, random_state42)), (lr, LogisticRegression(max_iter1000, random_state42)) ] # OOF 預(yù)測和測試集預(yù)測容器 oof_pred np.zeros((len(X_train), len(base_models))) test_pred np.zeros((len(X_test), len(base_models))) for idx, (name, model) in enumerate(base_models): test_fold_pred np.zeros(len(X_test)) # 累計測試集預(yù)測 for train_idx, val_idx in kf.split(X_train, y_train): # 拆出當(dāng)前折的訓(xùn)練集和驗證集 X_fold_train, X_fold_val X_train[train_idx], X_train[val_idx] y_fold_train, y_fold_val y_train[train_idx], y_train[val_idx] # 在當(dāng)前折上訓(xùn)練基模型 model.fit(X_fold_train, y_fold_train) # 對驗證集預(yù)測概率填充 OOF oof_pred[val_idx, idx] model.predict_proba(X_fold_val)[:, 1] # 對完整測試集預(yù)測概率累加后取平均 test_fold_pred model.predict_proba(X_test)[:, 1] / kf.get_n_splits() test_pred[:, idx] test_fold_pred # 訓(xùn)練元模型輸入是基模型的預(yù)測概率 meta_model LogisticRegression(max_iter1000, random_state42) meta_model.fit(oof_pred, y_train) final_pred meta_model.predict(test_pred) print(fStacking Test Accuracy: {accuracy_score(y_test, final_pred):.4f})這段代碼有幾個細節(jié)值得展開。第一StratifiedKFold保證每折的正負樣本比例和全量數(shù)據(jù)一致分類問題必須用分層采樣否則某些折里可能全是一個類別。第二OOF 矩陣的每一列對應(yīng)一個基模型在全部訓(xùn)練樣本上的“干凈預(yù)測”元模型拿到的特征不會包含“記憶過的答案”。第三測試集預(yù)測用的是每一折模型預(yù)測的平均值這一步不可省如果某一折因為隨機種子問題導(dǎo)致某模型沒收斂平均值能平滑掉異常波動。跑通這段代碼后建議你檢查一下 OOF 矩陣兩列之間的相關(guān)性。如果相關(guān)性超過 0.95說明兩個基模型幾乎沒有差異Stacking 提升空間有限。這時候與其繼續(xù)堆模型不如回頭改進基模型的多樣性。4.3 Blending 作為輕量替代五分鐘版 StackingBlending 是 Stacking 的簡化版它不做交叉驗證而是直接把訓(xùn)練集切出一部分比如 10%當(dāng)作“小驗證集”基模型只在剩余 90% 上訓(xùn)練然后對小驗證集和測試集做預(yù)測元模型用小驗證集的預(yù)測結(jié)果來訓(xùn)練。代碼如下from sklearn.model_selection import train_test_split # 從訓(xùn)練集中切出 10% 作為元模型的小驗證集 X_meta_train, X_meta_val, y_meta_train, y_meta_val train_test_split( X_train, y_train, test_size0.1, stratifyy_train, random_state42 ) def get_base_predictions(model, X_fit, y_fit, X_predict): model.fit(X_fit, y_fit) return model.predict_proba(X_predict)[:, 1] # 基模型在小驗證集和測試集上的預(yù)測 rf_meta_val get_base_predictions(RandomForestClassifier(n_estimators100, random_state42, max_depth6), X_meta_train, y_meta_train, X_meta_val) lr_meta_val get_base_predictions(LogisticRegression(max_iter1000, random_state42), X_meta_train, y_meta_train, X_meta_val) rf_test get_base_predictions(RandomForestClassifier(n_estimators100, random_state42, max_depth6), X_meta_train, y_meta_train, X_test) lr_test get_base_predictions(LogisticRegression(max_iter1000, random_state42), X_meta_train, y_meta_train, X_test) # 拼接特征后訓(xùn)練元模型 meta_features_val np.column_stack([rf_meta_val, lr_meta_val]) meta_features_test np.column_stack([rf_test, lr_test]) meta_model LogisticRegression(max_iter1000) meta_model.fit(meta_features_val, y_meta_val) blend_pred meta_model.predict(meta_features_test) print(fBlending Test Accuracy: {accuracy_score(y_test, blend_pred):.4f})Blending 的優(yōu)點是代碼量少、邏輯直白訓(xùn)練成本低適合在時間緊急時快速出一個集成結(jié)果。代價是它比 Stacking 多浪費了 10% 的訓(xùn)練數(shù)據(jù)給元模型小數(shù)據(jù)集上效果可能不如 OOF 方式。我的建議是7 天速成的第 5 天先跑 Blending 理解流程第 6 天再切到完整的 Stacking兩者對比一下就能直觀感受到 OOF 的價值。4.4 基模型多樣性與元模型選擇的實操建議Stacking 漲不漲點一半取決于基模型的選擇一半取決于元模型的設(shè)計。基模型不要全選同類算法否則學(xué)到的錯誤模式高度一致。我常用的組合是邏輯回歸簡單線性基線、隨機森林高方差、并行、GBDT高偏差、串行、XGBoost帶正則的 Boosting。這四個模型的預(yù)測概率相關(guān)性通常能控制在 0.85 以下相當(dāng)于提供了四種不同視角。元模型的選擇沒有統(tǒng)一答案。我的經(jīng)驗是先從邏輯回歸開始因為它訓(xùn)練快、結(jié)果穩(wěn)、不容易過擬合如果把 OOF 特征換成邏輯回歸后驗證分?jǐn)?shù)有明顯提升說明信息融合有效再試更復(fù)雜的元模型。如果你在元模型里加入原始特征比如把訓(xùn)練數(shù)據(jù)的原始數(shù)值特征也拼進 OOF 矩陣效果可能更好但也更容易過擬合因為元模型現(xiàn)在有了直接“看到”原始特征的能力對 OOF 特征的依賴會下降。這一步要不要做建議以驗證集分?jǐn)?shù)為準(zhǔn)。另外一個經(jīng)常被忽略的點如果基模型里有 XGBoost 或 LightGBM它們的predict_proba輸出在極端類別不均衡下可能非常集中比如全是 0.01 或 0.99這會干擾元模型的邏輯回歸擬合。解決辦法是先把 OOF 概率做標(biāo)簽編碼或分位變換再輸入元模型。這個細節(jié)在第 5 章的類別不平衡部分還會再提。5. 集成學(xué)習(xí)避坑指南5 個真實踩坑記錄與排查思路5.1 OOF 與驗證集劃分不當(dāng)導(dǎo)致線下漲點、線上翻車現(xiàn)象在本地用隨機劃分的訓(xùn)練測試集Stacking 之后準(zhǔn)確率提升了 2%一上真實環(huán)境或線上 A/B 測試效果反而比單模型還差。原因數(shù)據(jù)里可能存在時間依賴或分組結(jié)構(gòu)。比如同一條用戶的多條行為記錄被隨機分到了訓(xùn)練集和測試集模型等于“見過”這個人了OOF 預(yù)測和元模型訓(xùn)練都受到了泄漏信號的干擾。解決檢查數(shù)據(jù)里有沒有“同一實體多條記錄”的情況比如用戶 ID、設(shè)備 ID、訂單 ID。有的話用GroupKFold按實體分組切分保證同一個實體的數(shù)據(jù)全部落在同一折里。如果數(shù)據(jù)是按時間產(chǎn)生的直接按時間點切分訓(xùn)練集和測試集并且用時間前移的交叉驗證方式。排查時先畫一張數(shù)據(jù)的時間分布圖如果訓(xùn)練集和測試集的類別分布或特征分布有明顯漂移先處理分布問題再談集成。5.2 基模型多樣性不足集成活成了“復(fù)讀機”現(xiàn)象隨機森林 XGBoost LightGBM 三個模型做了 Stacking結(jié)果和直接用 XGBoost 幾乎一樣。原因這三個模型雖然算法不同但在同一個數(shù)據(jù)集上、用同一套特征工程學(xué)到的主要規(guī)律高度相似。它們對正確樣本的看法一致對錯誤樣本的錯誤方式也雷同元模型沒有差異化信息可用。解決先計算 OOF 預(yù)測之間的相關(guān)性矩陣如果相關(guān)系數(shù)普遍高于 0.9說明多樣性嚴(yán)重不足。這時優(yōu)先調(diào)整方向不是繼續(xù)加模型而是往特征子集、樣本子集或算法類型三個方向制造差異。常見做法是利用特征分組讓模型 A 只用數(shù)值特征模型 B 只用類別特征模型 C 用全部特征或者同一種算法換不同超參數(shù)比如深樹和淺樹。用這種手法把相關(guān)性壓到 0.8 以下Stacking 才有實際意義。5.3 早停與學(xué)習(xí)率n_estimators 加得越多越準(zhǔn)是錯覺現(xiàn)象訓(xùn)練 Boosting 模型時每次把n_estimators翻倍驗證集分?jǐn)?shù)都在漲直到某個點后開始劇烈下降但你看訓(xùn)練集分?jǐn)?shù)還在穩(wěn)步上升。原因Boosting 的每一輪都在擬合當(dāng)前殘差樹的數(shù)量越多模型對訓(xùn)練集的記憶越完整。驗證集分?jǐn)?shù)開始掉頭的那一刻就是模型開始把噪聲當(dāng)成規(guī)律的時刻。解決固定使用early_stopping_rounds同時把learning_rate降到 0.05 或更低。一個常用做法是先用 0.1 的學(xué)習(xí)率找出大致的最佳區(qū)間再把學(xué)習(xí)率減半、樹數(shù)量翻倍繼續(xù)觀察驗證曲線是否改善。注意早停是基于驗證集指標(biāo)不是訓(xùn)練集有些人習(xí)慣用訓(xùn)練集 logloss 做早停等于用開卷考試成績判斷學(xué)生水平不可取。5.4 類別不均衡下 Boosting 的“強者恒強”現(xiàn)象二分類問題正樣本只占 5%負樣本占 95%跑完 XGBoost 后準(zhǔn)確率 95%看起來很高但一看 F1 分?jǐn)?shù)慘不忍睹正樣本幾乎全被預(yù)測成負類。原因Boosting 在每一輪加權(quán)時會把更多權(quán)重放在被分錯的樣本上。但初始階段負樣本數(shù)量壓倒性占優(yōu)模型很容易把全部樣本預(yù)測為負類造成后來的輪次里正樣本權(quán)重雖然上升但整體決策邊界仍偏向負類一側(cè)。解決先換評估指標(biāo)不要用準(zhǔn)確率改用 F1、PR-AUC 或 ROC-AUC。然后給模型傳遞類別權(quán)重參數(shù)XGBoost 里是scale_pos_weight通常設(shè)為負樣本數(shù)除以正樣本數(shù)LightGBM 里用is_unbalanceTrue或scale_pos_weight。如果還不行對少數(shù)類做樣本加權(quán)或上采樣別急著用 SMOTE先看類別權(quán)重能不能把決策邊界拉回來。集成模型內(nèi)部機制復(fù)雜改完權(quán)重后一定要同時觀察訓(xùn)練集和驗證集的分差權(quán)重過大會讓模型在訓(xùn)練集上過擬合多數(shù)類。5.5 隨機種子與多線程集成結(jié)果像開盲盒現(xiàn)象同一份代碼、同一個參數(shù)配置每次運行得到的驗證集分?jǐn)?shù)都不一樣反復(fù)橫跳 0.5% 左右。原因隨機森林的行采樣、Boosting 的子采樣、交叉驗證的分割順序都依賴隨機數(shù)生成器同時n_jobs-1并行訓(xùn)練時線程調(diào)度的隨機性也會影響浮點數(shù)累加順序產(chǎn)生微小差異。解決在代碼里給所有模型統(tǒng)一設(shè)置random_state交叉驗證也用同一個隨機種子如果用了 XGBoost 或 LightGBM把它們的random_state也設(shè)成同一個整數(shù)。不光模型要固定數(shù)據(jù) shuffle 的順序也要固定。如果你發(fā)現(xiàn)固定了所有隨機種子后結(jié)果仍不穩(wěn)大概率是多線程浮點累加導(dǎo)致此時把n_jobs從-1調(diào)成1復(fù)測一次如果結(jié)果穩(wěn)定了說明是并行計算引入的數(shù)值波動。對上線模型我通常用固定隨機種子跑 3 次取均值把這個均值作為提交分?jǐn)?shù)。6. 7 天收尾手法用三份驗收報告鎖定模型效果別把調(diào)參過程當(dāng)黑匣子7 天速成的最后一天千萬不要急著去搜新模型而是做三件事。第一件事是回顧實驗記錄把 7 天里跑過的每一個模型組合、每一組超參數(shù)、對應(yīng)的驗證集分?jǐn)?shù)和 OOF 相關(guān)性整理成一張表。沒有記錄就等于沒做過因為回想不出哪組配置是因為改了哪個參數(shù)才漲的。我習(xí)慣用 Markdown 表格記錄每行是一次實驗列包括基模型列表、關(guān)鍵參數(shù)、驗證分?jǐn)?shù)、OOF 相關(guān)性、訓(xùn)練用時備注里寫當(dāng)時的判斷。這張表就是你下次面對同類問題時的最強參考。第二件事是穩(wěn)定性驗證用一個小腳本對最終選定的集成模型跑 5 次不同隨機種子記錄每次的驗證集分?jǐn)?shù)計算均值和標(biāo)準(zhǔn)差。標(biāo)準(zhǔn)差小于 0.003 才說明模型結(jié)果可復(fù)現(xiàn)如果標(biāo)準(zhǔn)差偏大說明模型容量或數(shù)據(jù)切分本身不穩(wěn)定這時候分析單次分?jǐn)?shù)沒有意義。穩(wěn)定性驗證的目的是讓你在匯報結(jié)果時心里有底漲的那 2% 是真實差異還是隨機波動。第三件事是特征重要性歸因把最終 Stacking 模型里每個基模型的 OOF 預(yù)測重要性輸出出來看看元模型到底在依賴誰。如果某個基模型的 OOF 特征在元模型里的系數(shù)接近零說明它對這個數(shù)據(jù)集沒有貢獻下次可以去掉如果某個特征在隨機森林里重要性極高但在 XGBoost 里很低說明它對不同算法有不同價值這個特征值得保留。用permutation_importance計算擾動每個特征后驗證分?jǐn)?shù)的下降量比內(nèi)置的重要性更直觀。最后分享一個我自己的教訓(xùn)有一次做時間序列預(yù)測花了三天調(diào)好了 Stacking線上效果異常優(yōu)秀但因為實驗中途換過兩次數(shù)據(jù)切分方式?jīng)]有統(tǒng)一記錄復(fù)盤時完全無法確認哪個版本對應(yīng)哪個結(jié)果最終只能重跑一組基礎(chǔ)實驗確認。從那以后我把“當(dāng)天實驗當(dāng)天記錄”定成鐵律調(diào)參過程絕不當(dāng)黑匣子。這 7 天的速成也許不能讓你變成集成學(xué)習(xí)專家但能讓你建立起一套從模型選型到實驗驗收的完整工作流。希望你也能在最后的驗收環(huán)節(jié)里找到自己最順手的那一套記錄格式。希望幫到你。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五六月丁香激情视频| 色五月激情综合网站| 五月开心六月婷婷在线播放网站| 国产精品久久久久久白浆色欲| 嫩草AV久久伊人妇女超级A| 日本三级日本三级99| 亚洲色激情| 色婷婷av在线观看| 亚洲黄色av网站| 色色色99| 亭亭玉月丁香| 色情综合网| 五月丁香婷婷人体| 91嫩草国产线观看亚洲一区二区| 久久总和99| 播播网色播播| 天天舔天天摸天天射| 大战熟女丰满人妻AV| 色色综合网络| 亚洲成人影视在线观看| PORNY九色9l自拍视频成人| 亚洲综合视频天天精品| 性生活视频98791| 欧美内射AAAAAAXXXXX| 九九热这里只有精品在线观看| 都市激情亚洲| 麻豆AV一区二区三区| 色五月超碰| 五月婷婷丁香瑟瑟视频| 99热乎| 碰超在线九色| 四虎99热在线观看网站| 中字幕视频在线永久在线观看免费| 日韩黄色电影| 婷婷伊人五月| 99爱免费在线观看| 色婷婷激情五月天| 色五月综合在线| 五月丁香激情六月| 色综合久久88色综合天天人守婷| 91亚洲免费片| 双性美人被调教到喷水A片| 色婷婷亚洲| 色五月色五天免费视频| 久久网站免费亚洲| 久久激情五月| 9l视频自拍九色9l视频自拍九色9l社区| 99热这里只有精品9| 99热青青草| 久热只有精品| 婷婷五月六月| 五月丁香天天| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | www99精品| 日本五月天婷婷丁香| 五月天精品综合在线| 91丨九色丨东北熟女| 狠狠色五月天| 久久久国产精品黄毛片| 久久这里只有精品视频1| 五月天综合久久丁香91| 99婷婷精品推荐在线视频| 欧洲亚洲免费视频9| 丁香五月中文字幕久色| 九九99在线观看视频| 丁香花婷婷五月天| 欧美高潮9| 色域五月丁香| 99丁香五月| AV成人在线网站| 亚洲色五月天| 五月天伊人综合| 欧美色五月| 特级西西4444www无码| 欧美α√| 天天碰夜夜爽| 26uuu欧美日本| 色停停五月天| 日本五月天网站| 丁香五月成人网| 亚洲中文乱字字幕在线永久| 激情深爱五月天| 97色色色| av在线免费播放| 色五月婷婷av| 婷婷五月色天| 激情性爱五月天| 五月天激情视频| 99热这只有| 亚洲激情电影五月天色婷婷丁香一起草 | 欧美色宗和激情| 国产成人亚洲综合A∨婷婷| site:feetmall.com| 就爱啪啪婷婷| 天天天天做夜夜夜夜做| 99热这里只有精品青草| 大香蕉婷婷色| 亚洲成人网站在线观看| AⅤ网站在线看| 超碰国产一区| 欧美性久| 亚洲婷婷视频| 五月婷婷干| 亚洲激情丁香五月基地| aaaaaa片| 久热网站| 99热这里只有精品22| 99在线观看精品| 久久色情| 开心五月色婷婷综合开心网| 99视频| 色情网综合| 中文字幕黄色电影网址| 另类专区在线| 久久五月网| 狠狠操天天日| 五月天激情视频| 99精品久久久| 99国产精品久久久久久久久久久 | 天天日天天舔| 黄色国久久| 欧美六月婷婷| 99热这里是精品| 婷婷色5月天在线。| 五月婷婷亚洲综合网| 丁香开心深爱| 五月四色婷婷| 人人干99| 高清不卡一区| 五月婷婷啪啪啪| 91狠狠综合久久久久久| 色婷婷影视| 五月丁香啪| 99热官网精品在线| 亚洲激情婷婷| 成片免费观看视频大全| 国产精品国产成人国产三级| 激情综合激情综合| 第六色在线| 色人久久| 国产精品丝| 色婷婷丁香五月| 亚洲小视频免费观看| 色五月大| 99九九玖玖| 大香蕉人人人| 另类视屏| 国产av基地| 99九九在线视频| 97干在线免费| 婷婷五月色花丁香社区| 天天肏视奸| 热久久999| 99爱在线视频| 亚洲 在线 另类| 思思热在线| 狠狠色综合网| 天天做天天爱天天爽| 久久综合婷婷| AVDV久久| 色噜噜狠狠色综无码久久合欧美| 熟女色色一区二区| 婷婷五月天丁香久久| Www.se.久久| 天堂久热| 99热国产婷婷| 日韩操逼大片| 这里只有精品视频222| 丁香综合婷婷开心激情网| 日本综合色图| 狠狠香婷婷五月| 黄色99网| 色色日本| www.婷婷五月| 色婷婷A| 久久久97| 亚洲日韩一页精品发布| 久久九九囯产| 亚洲AV成人片无码网站| 婷婷丁香五月精品| 人妻操逼视频| 五月丁香六月婷婷久久| 婷婷五月在线影院| 国产激情在线观看| 久久无码激情视频| 婷婷丁香五月亚洲综合网在线视频观看| 蜜臀嫩草| 播五月,色五月,开心五月播放器| 久久停停超碰| av国产精品| 日韩99无码| 日亚二欧美| 97色五月丁香婷婷| 九9九9无码| 99操视频| 五月色婷婷激情| 色五月综合| 九九99免费视频| 开心五月婷婷激情| 3DAV亚洲香蕉久久 一区二区| 99久久新视频| 欧美激情五月天婷婷| 五月婷婷九| 五月天婷婷成人网| 亚洲精品V天堂中文字幕| 丁香六月婷婷操逼网| 狠狠色综合网站久久久久| 超碰在线免费9| 大香蕉婷婷丁香视频在线| 色婷婷内射| 五月丁香久人妻中文| 五月激情网五月综合网| 婷婷五月天激情小说| 91人妻人人做人碰人人爽九色| 天天射影院| 中文字幕黄色电影网址| 婷婷丁香高潮了| 精品人妻在线| www.91五月| 综合色色网| 激情色视频| 日本欧美成人片AAAA| 久久免费试看120秒| 99热这里有精品6| 五月婷婷六月丁香玖玖玫瑰91| 天天爽天天| 日韩欧美成人片| 丁香五月激情婷婷| www色色com| 日日影院 | 激情久久久久久久久久| 婷婷色情小说| 狠狠干夜夜干| 国产超碰人人| 激情六月婷| 91啪啪| 色色影院黄大片| 亚洲成人电影aaaa| 婷婷五月天伊人| 欧洲精品爱爱| 99久在线精品99re8| 风流少妇A片一区二区蜜桃| 激情亚洲婷婷| 五月婷婷开心综合| 1000部毛片A片免费观看| 综合色吧| 开心婷婷五月中文字幕组| 婷婷九月色| 91精品婷婷国产综合| WWW.夜夜| 99热成人| 五月综合亚洲色| 人人摸人人澡人人| 狠狠狠狠青草| 99色看| 色五月六月| 亚洲99在线| 色欲AV导航| 99色| 久久er这里只有精品| 人人操人人干AV| 日韩在线看AV| 免费视频舔| 1区2区视频| 婷婷五月丁香图片人人操| 9|无码久久久久久| 亚洲精品视频电影| 色婷婷AV久久| 五月婷婷深爱六月| 色婷婷亚洲婷婷| 婷婷精品在线| 成人五月天在线视频在线观看| 婷婷六月丁| 羞羞嫩草视频| 狠狠狠狠操| 在线只有精品| 久久婷婷青草五月天| 一区二区免费看| 操日本三片99| 2017狠狠干| 色婷婷激情四射视频| 26UUU欧美| 久久九网| www.夜夜.com| 久久久久久久久久久44| 天天插天天插天天插天天插| 伊人九九九久| 欧美VA在线观看| 福利视频在线播放| 色999五月色| 婷婷六月色| 99热热九九| 婷婷综合五月天| 色婷婷AAA| 大香蕉五月丁香| 99九九在线| 五月丁香婷婷色色| 欧美人人操| 91九色熟女| 日韩肏屄网| 五月天婷婷7米| 丁香花五月天婷婷成人社区| 亚洲综合色棒| 日本99视频精品免费播放| 五月天婷婷丁香基地在线观看| 91丨人妻丨国产丨丝袜| 久久久这里有精品| 亚洲在线成人| 五月婷婷香| 碰超在线九色| 五月天六月色| 91性人人| 中文字幕成人影视| 婷婷五月天激情小说| 91婷婷色五月| 久久欧洲久久| 成人做爰高潮A片免费视频| 就爱啪啪婷婷| 久久婷五月影院| 播播网色播播| 久久久思思热| 日韩在线观看网址| 蜜乳国产网站| 99视频日韩| 日本三级中国三级99| 性一交一乱一交A片久久四色| 操一区| 狠狠五月激情婷婷直播片| 99热99在线精品| 91精品久久久久久77777| 99热这里有精品6| 婷婷成人av| 99精品在线| 色婷婷综合网| 97干在线视频精品店| 免费看欧美成人A片无码 | 五月婷护士| 五月天激情四射网站| 三级三久久线久久99久目本WW| 日韩精品无码一区二区| 五月丁香六月婷婷姐| 丁香五月婷婷久久综合激情网 | 久久天堂女人| 综合一区二区三区| 国产精品在线视频| 色五月色情| 五月婷婷色影院| 亚洲成色综合网站免费观看| 亚洲九九99精品视频在线播放| 欧美国产一区二区三区| 婷婷月综合| 亚洲精品99| 日日夜夜爽| 蜜臀丁香黄色婷婷五月天| 久久五月婷天天干| 91操网| 岛国av电影网站| 天天色丁香| 亚洲精品第一国产综合亚AV| 97色干| 在线可以看的av网址| 91色色色| 亚州色综合| 久热久| 婷婷五月色激情欧美激情| 精品视频99看在线视频| 国产激情在线| 超91热| 欧美色频| 久久精彩视频| 欧美天天干天天草| 久99久视频精品| 婷婷激情五月| 丁香六月无码播放| 五月婷婷中字在线| 色开心五月丁香| 久久婷婷五月| aa久久| 中文字幕乱轮| 久久亚洲色导航| 色婷婷AV久久| 激情av| 超碰大香蕉网| www色哟哟| 色色色色综合网| 成人在线视频一区| 五月天俺去也| 五月婷婷开心爱| 婷婷97碰碰| 26uuu成人网| 丁香五月成人社区| 天天综合网站| 欧爱综合视频| 99热综合| 激情五月色综合网| 国产成人精品一区二三区熟女在线| 人妻视频在线| 成年人最刺激的综合网| 午夜丁香五月天综合| 美女100%露全身无挡网站| BT综合在线视频观看| 色综合久久8| 久久免费高| 成人做爰A片免费看网站找不到了 国产露脸150部国语对白 | 久久永久网址| 伊人玖玖婷婷| 久久免费高| 日本色婷婷| 国产成人+综合亚洲+天堂| 综合久色五月| 97丁香视频| 欧美情色电影一区二区| 噼里啪啦在线观看免费完整版视频| www.99视频| 人妻AV在线| 人妻九九九九| 综合网视频| 伊人五月成人| 99在线精品视频免费观看20| 色五月婷婷五月丁香五月| 色优久久| 丁香五月婷婷久久综合激情网| www.色五月.com| 天天色99| 亚洲综合草草| 色色激情五月| 久久伦乱| 91九色网| 五月丁香久久网| Av狠狠色丁香婷| 久草婷婷| 丁香五月日啪| Va另类视频| 久热最新视频| 狠狠操狠狠做| 怡红院视频| 婷婷五月天开心网| 1区2区视频| 色婷婷久久| 4399在线日本A片| 九九re精品视频在线观看| 五月婷婷三级| 99热这里只有精彩| 欧美S码亚洲码精品M码| 亚洲免费综合一区| 久久婷婷原创视频| 97久操| 激情av在线| 色五月激情综合网| 99热99热在线观看| 夜夜操狠狠操天天操| 91wwmm导航| 色爱亚洲| 丁香大香蕉| 婷婷久久亚洲| 久久人人看| 国产99久久久国产精品免费看| 中文字幕无码AV| 91精品刘玥| 亚洲九九99精品视频在线播放| 99热传媒| 九月丁香八月婷婷久久综合久97| 久久多色| 亚洲小视频免费看| 日本狠狠爽| 思思久久99热只有频精品66| 少妇综合网| 9久久久久久久久久久| 九九热视频精品| 国产精品电影| 激情第四色| 91大操| 亚洲成人无码专区| 久久久.www| 中文字幕五月久久婷婷| 五月婷婷激情| 夜夜操少妇| 狠狠插日日干撸| 婷婷五月花丁香| 婷婷六月久久综合导航| 亚洲超碰青涩| 五月天综合久久丁香91| 六月婷婷狠狠色在线观看| 久久丁香五月婷| 婷婷亚洲天堂| 五月婷婷黄网站大全| 欧美日本黄色| wwW天天干| 岛国av电影网站| 激情五月天色播| 99久久久久| www九九免费视频| 五月婷婷深深爱| 婷婷激情小说网| 激情五月深爱婷婷| 91chinese在线| 色综合77777| 超碰在线人妻| 天天摸色吧天天摸色吧| 久久草中文日韩欧美| 爱久久小说下载网| 精品久久99码| 99色免费观看全部| 99九九精品| 日韩日比视频在线| 我爱大香蕉| 国产精品蜜臀99| 亚洲AV激情五月综合网| 99热免| 激情五月久久| 狠爱婷色| 色婷婷手机在线| 日韩99色99| 99视频自拍| a毛片二逼wwwwwwwwww| 丁香六月开心| 丁香五月天在线观看| 九九这里有精品| 九九九AAA热视频| 激情com| 欧美色五月| 2018夜夜草| 婷婷五月天成人在线视频| 激情六月天婷婷| 亚洲亚洲人成综合网络| 久久婷综合| 色五月综合激情| 五月丁香91| 怡红院成人AV| 婷婷丁香色五月久久88| 色五月激情五月| 丁香五月婷婷色情综合| Www,五月天| 精品色色| 碰碰91| 丁香社区婷婷五月| www.色五月| 九月丁香欧美综合| 五月WWW| 色99在线| 日韩成人av在线| 99热这里只有精品最新网址| 秋霞免费视频| 综合天天综合| 欧美色色色色色| 欧美成人AAA片一区国产精品| 黄网免费看| 色色色色色色色色色色色色色97| 超碰自拍天堂| 久热播这里只有精品| 亚洲亚洲人成综合网络| 五月丁香福利| 中文在线成人| 色婷婷啪啪| 人人干Av| 夜夜操加勒比| 天天草天天舔| 99热综合| 久热九九| 99热这里| 婷婷涩涩五月天| 思思久久精品| 成人五月天。COM| henhencao国产在线| 这里只有精品2| 好看的国产精品| 婷婷五月免费视频| 国产中文字幕在线视频免费观看| 色吧五月婷婷六月丁香| 99视频只有精品| 天天插天天插天天操| 99自拍视频| 色五月激情| 日本色综合| 色婷婷色和| 亚洲噜色| 五月丁香久久激情综合| 五月婷婷狠狠干| 亚洲av| 日韩婷婷五月天| 蜜臀AV在线观看| 日韩无码人妻一区二区三区综合| 国精产品一区一区三区免费视频 | 超碰操日| 天天干天天干天天操| 91无码一起草| 国产欧洲欧洲精品久久| 碰97久久| 丁香六月啪啪| 五月丁香婷婷在线综合蜜桃| 亚洲精品V天堂中文字幕| 五月综合婷婷久久在线| 国产探花一片区| 丁香婷婷六月| 五月香婷婷| 激情五月天婷婷| 五月婷婷六月爱| 北条麻妃九九九国产精品视频| 午夜色丁香| 九九九九中文字幕| 射区导航| 丁香色六月婷婷| 色五月色综合| 日日干夜夜干| 永久思思热在线| 国产激情综合五月久久| 五月色丁香激情| 日韩操啪| 岛国AV网| 婷婷九月激情网| 婷婷丁香色五月天| 九九色播五月丁香| WWW五月婷婷| 97大香蕉五月天| 天堂色婷婷| 欧美婷婷五月无砖| 丁香九色不卡aaa| 婷婷八月丁香激情综合| 欧美情月伍月天| 日本eVa一区=区视频| 91狠狠色丁香| 好吊丝aV| 丁乡久久| 熟妇内谢69XXXXXA片| 亚洲热久久| 三级黄网站| 任你爽在线视频| 91干视频| 激情综合另类| 99热这里有精品首页10| 99精品成人无码A片观看金桔| 可以直接看的AV| 亭亭玉立国色天香| 2025超碰| 996热re视频精品视频| 色yeye欧美| 婷婷狠狠18禁久久| 天天在线久久综合 | 国产另类综合| 婷婷色播婷婷| 丁香色色五月| 99超级碰免费视频| 欧美色六月婷婷| 六月色婷婷综合影视| 六月激情婷婷| 婷婷色丁香六月| 色婷五月| 五月天久久色| 亚洲无码另类| 国产婷婷综合在线免费视频| 97婷婷色| 思思久久思思| 影音先锋男人资源站一区二区| 五月天激情小说| 第五色婷婷| 久久99热这里| 91精产品自偷自偷综合| 色五月,com| 五月丁香六月婷| 伊人久久丁香婷婷六月五月综合| 日韩不卡DvD| 丁香婷婷五月综合欧美另类| 综合网亚洲| 99这里只有精品视频免费| 五月色婷婷中文字幕| 开心婷婷五月| 五月天色站| 久久草人妻| 99性爱视频网站| 国产免费一区二区在线A片视频| 色135综合网| 无码yw| 激情综合网婷婷久久| 九九精品视频在线观看| 亚洲操B| 麻豆忘忧草午夜| 97自拍视频在线| 婷婷五月天日日日干干干| 婷婷激情人妻| 一级AV片| 亚洲成人无码网站| 爱的综合网| 久久久香| 九九爱精品网站| 亚洲永久免费| 韩国三级五月天婷婷。| 色色色色热| 久久码久久无清| 日本五月婷婷久久久六月丁香| 天天综合色| 日本欧美成人片AAAA| 99ri精品在线| 激情网婷婷婷| 久久怡红院| 日本三级网址| 2020夜夜操天天爽| 大香蕉综合| 色色综合五月| 思思久ren热| 成人免费高清在线播放| 国产黄色在线观看| 亚洲色情久久| 另类激情首页| 变态 另类 在线| 亚洲午夜AV| 五月天开心婷婷激情网站 | 久久超级碰碰| 成人性生活免费观看。| 久久这里在精品视频| 黄色一级影片| 一级黄色片看看| 天天肏屄夜夜爽| 思思热在线视频精品| 无码一区精品一区视频| 久久五月婷婷电影| 激情网五月天| 人人操9| 99视频久久免费视频| WWW99热| 99视频啪啪| 色婷婷深爱五月| 国产激情av| 丁香五月成人自拍| 五月天色综合服务平台| 99婷婷| 超碰爱爱爱| 五月婷婷之美女图片| 熟妇人妻中文字幕无码老熟妇| 一级性感黄色内射视频| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 性色欲情 网站| 4399亚洲视频| 先锋男人91资源| www,五月丁,com| 激情第四色| 色综合久久综合| 五月丁香狠狠| 亚洲最大成人综合网720P| 26uuu青青| 91青娱乐青青草| 久热9热| 丁香激情婷婷网| 国产精品人人做人人爽人人添| 成人av免费观看| 综合五月丁香六月婷婷| 婷婷伊人綜合中文| 欧美Va在线| 亚洲视频在线观看| 丁香五月在线人妻| 亚洲成人影视在线观看| 日本99视频精品免费播放| 久久99免费视频| 蜜臀久久99精品久久久久久酒店| 色综合播放| 99热都是精品| 亚洲中文字幕av| 综合一区二区三区| 激情五月九九九| 99热久草| av操逼网| 五月丁香激情综合欧美| 99操| 噜噜色五月| 色色色综合网| www.91.com黄| 丁香狠狠色婷婷| 人妻激情视频| 色婷婷小说| 在线视频九色97| 日韩av干| 亚洲欧洲中文日韩久久AV乱码| 五月天天天操天天爽夜夜操| 日本五月婷婷| 97色色婷婷| 欧美日韩99| 婷婷va| 四色五月婷婷| 超碰99热在线观看| 99热99热不卡| 九九综合网| 五月丁香婷婷开心| 99色在线观看视频者| 九月婷婷丁香| 人妻丰满精品一区二区A片| 99re这里只有精品免费| 久久XX| 天天操夜夜啊| 啪啪一区| 在线,国产,色,热视频| 婷婷五月天影院| 色色是色N一| 六月婷婷激情| 天天爽天天爽天天爽天天爽天天爽天天爽天天 | 丁香五月在线观看完整版| 成人五月天综合网| 五月婷六月天| 日韩99无码| 色婷婷在线视频综合| 丁香五月婷婷社区| 久热播这里只有精品| 99热传媒| www.五月天社区| BlACKEDRAW视频一区二区| 婷婷色网站| 久久久五月天婷婷| 激情五月婷婷六月丁香| 99少妇精品| 五月婷婷六月色| 亚洲AV第二区国产精品| 99毛片| 九九99九九99九九99视频网| 亚洲天堂99| www.99热| 久久草大香蕉| 丁香五月亚洲无码| 五月婷婷涩涩爱| 国精产品久久| 黄色aa观看aaguochan| 亚洲另类日本| 天堂久久婷婷| 色色婷婷五月天| WWW,激情五月天,COM| 91精品久久久久久77777| 亚洲精品操一操、噜一噜、摸一摸、爽 | 丁香六月亚洲综合| 亚洲狠狠色丁香婷婷综合久久| 婷婷五月天日日日干干干| 色色五月婷婷狠狠| 毛片毛片毛片毛片| 91人人爽人人操| 啪啪色区| 九九综合九九| www.五月天婷婷| 琪琪理论片| 国产精产国品一二三在观看| A网在线欧洲| 人人操人| 色爱99| 女婷久久| 激情五月婷婷| 天天摸夜夜爽天天做| 影音先锋男人AV资源站| av狠狠操| 欧美精产国品一二三区| 伊人五月天在线| 激情99。| 99热午夜精品| 五月丁香六月婷婷激情视频在线观看免费 | 激情五月丁香五月| 天天日天天狠狠操| www.97视频| 伊人啪啪网| www.色9| 99热综合网| 深爱五月中文字幕| 92久久久| 久99在线视频| 人人草成人视频| 4399啪啪视频| 99热在这里只有精品| 伊人婷婷大香蕉| 丁香婷婷激情| 狠狠干青青草| 久热精品在看| aaa久久| 国产亚洲色婷婷99精品| 超碰日韩人妻在线| 怡红院视频| 五月天天堂久久| 一本色道久久综合狠狠躁小说| 五月天色综合服务平台| 一级黄色操B| 超碰人人操人人干| 婷婷五月欧美综合| 99精品久久久久久久久| 色婷操逼| 色丁香综合影院| 久久蜜臀婷婷| 久久多色| 婷婷五月天在线综合导航| 色婷婷av综合网| 在线中文亚洲| 99re最新地址视频| 五月丁香婷婷钟和色图| 超碰人人干| 99热精品在线观看| 91久久久久久久久久18| 手机免费福利视频| 人妻久久婷婷| 色99色| 思思 热 99| 4399在线日本A片| 亚洲V国产V欧美V久久久久久| 丁香六月婷婷综合啪啪| 婷婷五月丁香六月| 亚洲乱码日产精品BD| 天天日综合| 深爱婷婷基地| 人妻免费网站| 99国产在线精品视频| www.开心激情| 九九综合| 亚洲精品a成人在线播放| 婷婷综合视频| 九九综合精品| 丁香激情五月天| 99久久婷婷| 亚洲五月丁| 五月婷婷导航| 能看的AV| 美女天天爽| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 啪啪丁香五月| 无码人妻AV久久久一区二区三区| 很很干天天干| 99热免费精品热久久66| 五月婷视频在线观看| 欧美操人| 丁香婷在线| 99热自拍| 青青久久五月天丁香婷婷| 99热最新| 欧洲综合色| 亚洲综合婷婷五月| 综合色色五月| 成人av在线网站| 五月香蕉婷婷| 亚洲乱码精品久久久久..| 日韩色五月| 丁香六月婷月91婷月| 色色色色色日韩午夜激情| 99视频在线| 丁香五月婷婷色| 日韩精品999| 五月丁香六月片| 九九AV在线| 激情五月,深深爱五月| 久久综合干| 欧美日本不卡黄色片| 婷婷五月天色| 亚美欧色影院| 亚洲五月天综合色| 久人人操| 激情99| 婷婷五月天成人网| 人人添人人| 超碰操网| 国产高潮白浆一区二区| 成人午夜无码视频| 99热| 亚洲成人乱码av网站| 九九九九国产| 99riAV成人在线视频| 99A片| 538在线精品| 五月天婷婷黄色视频| 丁香五月天天| 免费无码毛片一区二区A片| 操九色| 成人性爱精品视频| 久久五月天激情美女| 99热 在线播放| 刘玥av在线| 色五月综合| 91人人爽久久涩噜噜噜| 女人天堂av| 色域五月婷婷丁香| 丁香五月玖玖| 色五月婷婷亚洲| 九九热精品视频| 婷婷激情蜜桃玖玖丁香| 久热综合| 91 九色 入口| 97一区二区| 99久视频| 久9久成人精品视频| 色吧五月婷婷六月丁香| 日本啪啪网| 五月天另类小说久久小说网| 久久99网站| 亚洲操精品| 开心激情网五月| 久久er+| 337p大胆噜噜噜噜噜91Av| 黄色91在线观看| 国产在线网| 激情综合网激情五月天| 91狠狠色丁香| www.深爱激情| 激情WWW| 伊人婷婷青青cao| 久久9热| 久久丁香网| 欧美成人精品A片免费一区99| 婷婷色播婷婷| 丁香激情五月| 婷婷色5月激情网| 五月婷婷和六月| 99re99在线看| 91肏| 婷婷五月丁香人妻无码高清| 激情图片亚洲| 九九av| 激情五月天色色| 国产婷婷综合| 色婷婷色五月天| 99热综合在线观看| 久久五月丁香伊人青草| 深夜男女福利刺激影院一区完整| 午夜色丁香| 天堂久热| 国产精品涩涩涩视频网站| 丁香色婷婷五月天| 99在线观看视频| 婷婷成人视频| 婷婷丁香在线播放| 色高清无码视频| 日日噜狠狠色综| 狼人久草| 99激情网| 91视频五月丁香| 99九九99九九九视频精品| 91.www综合| 色色色热| 亚洲色在线观看| 精品成人在线观看| 久色五月丁香视频| 婷婷伊人网| 五月天久久丁香| 人人干Av| 五月花婷婷最新| 熟女激情网| 伊人激情| 久久综合激情| 丁香五月影视| 丁香五月成人丝袜| 91传媒无码人妻精| 亚州欧美黄色电影| 日本视频不卡123区| 五月丁香激情综合网| 九九在线精点品| 99热精品在这里| 久久婷五月婷| 婷婷色情网| 99这里热| 婷婷淫淫狠狠六月| 天天综合网网欲色| www五月天激情com| 第一区久久网站| 久久99热精品a片在线观看| 天天拍夜夜爽日日| 天天日狠狠| 琪琪理论片| 五月激情五月丁香| 久久婷婷色色| 五月丁香欧美综合| 九艹在线| 色色色在线| 色女人久久| 9精品视频在线观看| 99热亚洲精品| 91日日日| 丁香五月综合激情性爱| 五月婷婷丁香六月| 97热在线精品| 91综合色| 色色色婷婷五月| 激情久久久久久久久久久| 久久98热re| 久久久久久97| 综合99视频| 中日韩狠狠色| 99在线热视频| 99热精品10| 最新日韩久热免费视频看看| 色色婷婷色色| 99人人操| www.久久爱.com| 99九九综合久久九九| 激情五月天的婷婷| 成人电影在线免费试看| www.97碰碰com| 97狠狠色| 五月婷婷综合激情| 在线观看熟女少妇| 久久er+| 丁香五月综合在线| 婷婷深爱网| 丁香五月无码| 亚洲狠狠干| 99国产精品久久久久久久久久久| www.99日本| 久久五月网| 激情小说五月天| 久久久久人妻网址| 国产免费一区二区在线A片视频| 五月天激情小说| 中文字幕无线久必| 一本到不卡高清DVD| 精品国婬伦V无码久久久| 亚洲成人中文字幕| 秋霞AV美国| 国产日韩av片| 五月停亭六月,六月停亭的英语 | 五月天自拍网| 激情综合网,婷婷五月天| 337午夜福利| 天天久| AV操逼网| 五夜婷婷| 可以直接看的av| 少妇高潮呻吟A片免费看软件| 男女啪啪做爰高潮无遮挡| 操碰色一区就去操| Www.久久| 丁香五月123| AV在线资源| 天天日天天添| 五月丁香婷婷激情在线| 婷婷五月色亚洲| 色偷偷色婷婷| 99自拍视频网站| 久久激情网| 日韩一本操| 啪啪视频99| 色综合久久88色综合天天看| 久久婷色| yazhou seshipin| 天天日天天做天天操| 天天草比天天爽| 99色在线观看视频| 91人妻PORNY九色大屁股| 开心五月婷婷激情| 色婷丁香91| 91操在线观看| 91超级碰碰| 丁香六月 人妻| 亚洲欧美999| www.五月丁香| 99热国产这里只有精品| AA片在线观看视频在线播放| 9色天堂| 99ri久久| 再次出发二| 激情五月六月丁香| 99久久6| 久操无码| 五月婷婷六月天| 亚洲欧洲美女在线观| 亚洲啪啪网| 婷婷五月天AV网| 亚洲成人电影aaaa| 六月丁香VA| 久操人妻| 国产精品第一国产精品| 日韩成人电泉AV| 999婷婷综合| 狠狠做五月婷婷| www五月天com| 99re久久| 色色综合网站| 国产AV网页| 色综合久久44| 色欲日日躁| 思思热精品在线视频| 九九激情综合| 国产精产国品一二三在观看| 丁香六月婷婷久久亚洲天堂| 天天久综合网永久入口17v| 五月婷婷久久开心网| 日日干天天爽| 九九碰九九爱97超碰| 日韩二区搞逼插逼毛片| 九九色院| 精品视频99看在线视频| www,26uuu,c0m,色情| 久久xx| 狠狠婷婷色| 亚洲精品成人片在线播| 99热在线爱| 99热精地址| 五月天啪啪视频| 色欧美一级| 亚卅毛片| 六月丁香射婷婷欧美色图片| 婷婷婷婷婷婷婷婷| 思思热在线| 91成人看| 五月婷丁香| 五月天婷婷激情春色小说| 久久婷婷内射| 五月婷色| 日日夜夜九九| 五月丁香福利| 婷婷深爱网| 成人婷99最新| 91九九九九| 91婷婷丁香五月| 极品人妻videosss人妻| 无码髙清| 伊人综合网站| 日本黄色在线观看| 激情五月丁香色婷婷| 丁香五月婷婷基地| 免费看欧美成人A片无码| 色色婷婷色色| 欧亚色色| 午夜五月天| 婷婷五月天小说网| 国产三级在线播放| 五月丁香六月激情综合网| 夜夜综合色| 日韩啊啊啊| 六月婷婷最新网址| 天天做天天视天天谢| 婷婷丁香五月综合激情视频| 日日夜夜婷婷| 五月婷婷性爱视频| 人人草成人视频| 思思热这里只有精品| 久久九九99| 久久9热| 97色伦另类图片小说视频 | 26uuu| 欧美婷婷五月丁香| 亚洲AV日韩AV永久无码网站| 久久天天天| 婷婷五月天久久| 疯狂做受XXXX高潮A片| 日熟女| 求可以看的AV网址| 大香蕉五月丁香| 色五月色开心开心五月| 丁香婷最新动态| 成人丁香婷婷| 91啪啪| 九九亚洲无码| 99re思思热这里| caop在线视频| 五月做爱| 国产VA播放| 婷婷欧美| 国产AV一区二区三区最新精品| 99久久99视频| 婷婷之六月丁香| www.激情| 91丨九色丨国产打屁股网站| 无码地址| 五月天色五月| 夜夜嗨一区二区三区直播内容 | 丁香五月天啪啪| 五月丁香色六月激情干大屄| 激情五月天无码| 久久激情五月婷婷| 伊人激情AV一区二区三区| 国内一级精品| 天天草天天日| 成人在线日韩| 第1影院之五月婷婷| 激情婷婷丁香五月| 国产avapp 网| 91妻人人爽人人看片| 综合亚洲六月婷婷在线| 五月天综合色| 狠狠爱成人综合网| 丁香五月自拍|