欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

從梯度提升決策樹到CatBoost:類別特征、有序提升與參數(shù)調(diào)優(yōu)實戰(zhàn)

從梯度提升決策樹到CatBoost:類別特征、有序提升與參數(shù)調(diào)優(yōu)實戰(zhàn) 簡介面向具備Python與機(jī)器學(xué)習(xí)基礎(chǔ)的中高級研發(fā)人員、數(shù)據(jù)科學(xué)家這份CatBoost梯度提升決策樹技術(shù)報告聚焦分類、回歸、排序任務(wù)中的模型構(gòu)建與特征優(yōu)化系統(tǒng)展開特征工程、模型調(diào)優(yōu)、并行計算、可視化及可解釋性等高級實踐可幫助讀者高效應(yīng)對金融、醫(yī)療、教育等場景的結(jié)構(gòu)化數(shù)據(jù)建模問題。壓縮包內(nèi)含1個docx文檔包體約14KB文檔按核心概述、技術(shù)架構(gòu)、最佳實踐等模塊編排既涵蓋數(shù)據(jù)清洗、缺失值處理、特征轉(zhuǎn)換、模型定制等完整流程又通過CatBoostClassifier、CatBoostRegressor、CatBoostRanker三類基礎(chǔ)示例以及特征選擇、網(wǎng)格搜索、線程加速等進(jìn)階代碼直觀演示了從數(shù)據(jù)準(zhǔn)備到模型評估的落地路徑。報告還介紹了2026年最新特性包括訓(xùn)練速度與內(nèi)存占用優(yōu)化、Python 3.10支持及安全增強(qiáng)便于開發(fā)者在最新環(huán)境下直接應(yīng)用。已有21人學(xué)習(xí)適合希望結(jié)合pandas、scikit-learn、SHAP生態(tài)構(gòu)建端到端可解釋性機(jī)器學(xué)習(xí)管線的技術(shù)人員為實際項目中的參數(shù)調(diào)整與性能優(yōu)化提供清晰參考。1. 機(jī)器學(xué)習(xí)里重新評估梯度提升決策樹CatBoost 為什么值得單獨跑一遍做點擊率預(yù)估的時候我第一次把 CatBoost 放進(jìn)候選模型里。那批數(shù)據(jù)的類別列占了一半缺失值、字符串、高低基數(shù)混在一起。拿到同樣一份特征LightGBM 需要先做一大堆編碼預(yù)處理CatBoost 這邊卻只要把類別列名傳進(jìn) cat_features訓(xùn)練就能跑起來并且效果沒有往下掉。這種情況在梯度提升決策樹Gradient Boosting Decision TreeGBDT的模型族里不太常見。CatBoost 把兩件事做得很徹底一是類別特征的原生目標(biāo)編碼二是有序提升Ordered Boosting的防泄漏機(jī)制。前者大幅降低特征工程的手工工作后者讓訓(xùn)練過程中的預(yù)測偏差更小所以它在分類、回歸、排序三類任務(wù)上都有一席之地。這篇實戰(zhàn)筆記按照「機(jī)制 → 特征工程 → 參數(shù)調(diào)優(yōu) → 避坑」的順序把基于 CatBoost 的梯度提升決策樹模型構(gòu)建路徑完整過一遍。適合剛跑通 XGBoost 或者 LightGBM、想在真實數(shù)據(jù)上比較模型差異的從業(yè)者也適合從零接觸機(jī)器學(xué)習(xí)、需要一套能解釋原理的可復(fù)現(xiàn)方案的讀者。后面所有代碼我都按可直接粘貼到 Jupyter 或命令行腳本里的方式寫。2. CatBoost 的梯度提升決策樹機(jī)制對稱樹、有序提升與原生類別編碼2.1 對稱樹與有序提升CatBoost 在底層解決的兩個問題梯度提升決策樹的核心是每一輪擬合前一輪損失的負(fù)梯度逐步把殘差壓下來。CatBoost 沒有跳出這個框架它改動的是兩處實現(xiàn)細(xì)節(jié)樹的結(jié)構(gòu)和梯度的計算方式。樹的結(jié)構(gòu)上CatBoost 默認(rèn)使用對稱樹oblivious trees。普通梯度提升樹在每個節(jié)點都可以選不同的特征和閾值而對稱樹在每一層強(qiáng)制使用同一個特征、同一個分裂閾值所有葉子共享這一層的分裂規(guī)則。代價是單棵樹的表達(dá)能力弱一點換來兩個實際好處一是樹的形狀固定預(yù)測時可以用數(shù)組連續(xù)存儲推理速度快二是結(jié)構(gòu)更規(guī)則在小樣本和高噪聲數(shù)據(jù)上不容易把局部模式記死過擬合風(fēng)險低一些。實際調(diào)參時這類樹的深度通常要比 XGBoost 里深一點我常用的起步值是 depth6數(shù)據(jù)量大的時候試過 8。梯度的計算方式上CatBoost 做了件事叫 Ordered Boosting。經(jīng)典 GBM 在計算第 k 個樣本的梯度時用的模型已經(jīng)包含過這個樣本自身的信息這樣會產(chǎn)生預(yù)測偏移訓(xùn)練損失會比真實損失小尤其在小數(shù)據(jù)集上表現(xiàn)明顯。CatBoost 的做法是給樣本做一個隨機(jī)排列對排列中的每個位置只用該位置之前的樣本訓(xùn)練一個臨時模型再用這個模型來更新當(dāng)前樣本的梯度。這樣梯度的估計就“干凈”了不再直接依賴樣本自身的標(biāo)簽訓(xùn)練曲線和驗證曲線也不會拉開得太難看。這兩個機(jī)制疊加再加上類別特征的 Target Statistics 編碼構(gòu)成了 CatBoost 在中小規(guī)模表格數(shù)據(jù)上比 XGBoost 和 LightGBM 更穩(wěn)的底層原因。排序任務(wù)里同一個 query 下的文檔之間是有關(guān)聯(lián)的模型的穩(wěn)定性直接影響最終指標(biāo)這也是 CatBoost 在搜索排序場景被廣泛使用的原因。2.2 用 Pool 組織數(shù)據(jù)cat_features 與 text_features 的顯式聲明CatBoost 訓(xùn)練前我習(xí)慣先把數(shù)據(jù)包成 Pool 對象。Pool 的好處是讓數(shù)據(jù)集、標(biāo)簽、類別特征聲明、分組信息固定在同一份結(jié)構(gòu)里后面訓(xùn)練、驗證、特征重要性計算都復(fù)用它不容易出現(xiàn)切分后“聲明丟失”的問題。from catboost import Pool import pandas as pd df pd.read_csv(sample.csv) X df.drop(columns[label]) y df[label] # 類別特征列字符串或整數(shù)都行但一定要顯式列出來 cat_features [channel, region, device, hour] # text_features 放文本原始內(nèi)容CatBoost 內(nèi)部自己分詞 text_features [title, description] pool Pool( X, y, cat_featurescat_features, text_featurestext_features, )這一段最關(guān)鍵的是聲明順序。cat_features 和 text_features 傳的是列名CatBoost 會自動去 DataFrame 里找對應(yīng)的列如果你喂的是 numpy 數(shù)組就得改成傳列索引否則字符串列在內(nèi)部會被當(dāng)成類別特征以外的東西處理。另一個容易忽略的點是如果某一列你既沒放進(jìn) cat_features又不是純數(shù)值CatBoost 在訓(xùn)練時會直接報錯而不是幫你自動推斷。Pool 里還可以傳 group_id這是排序任務(wù)專用的參數(shù)。后面 4.4 節(jié)會專門講 group_id 在排序任務(wù)里的作用這里先記住一句話凡是多個樣本屬于同一個 query 的排序數(shù)據(jù)group_id 必須和 Pool 綁定否則 CatBoost 找不到組邊界排序損失函數(shù)無從計算。2.3 分類、回歸、排序最小訓(xùn)練代碼從 Logloss 到 YetiRank先看分類任務(wù)。二分類最常用的損失函數(shù)是 Logloss評估指標(biāo)業(yè)務(wù)選 AUC 或者 Accuracy。下面的代碼是能跑通的最小子集from catboost import CatBoostClassifier model CatBoostClassifier( iterations500, learning_rate0.05, depth6, loss_functionLogloss, eval_metricAUC, random_seed42, verbose50, ) model.fit(pool, eval_seteval_pool, early_stopping_rounds50)iterations 是樹的數(shù)量learning_rate 是每棵樹的步長兩者要一起調(diào)。early_stopping_rounds 的作用是當(dāng) eval_set 上的指標(biāo)連續(xù) 50 輪不改善就停避免白跑后面幾百棵樹。depth 是樹的深度CatBoost 的對稱樹結(jié)構(gòu)會讓它比 XGBoost 需要更大的深度我一般從 6 起步?;貧w任務(wù)換成 CatBoostRegressor 即可損失函數(shù)默認(rèn) RMSE評估指標(biāo)可以設(shè) MAEfrom catboost import CatBoostRegressor model CatBoostRegressor( iterations800, learning_rate0.03, depth8, loss_functionRMSE, eval_metricMAE, l2_leaf_reg5, random_seed42, ) model.fit(pool, eval_seteval_pool, early_stopping_rounds80)排序任務(wù)略有不同。需要給數(shù)據(jù)集引入 group_id表示哪些樣本屬于同一次搜索會話或者同一個請求。CatBoost 提供 CatBoostRanker 和 YetiRank 損失函數(shù)我一般這樣寫from catboost import CatBoostRanker, Pool # group_id 和 X、y 長度必須一致 pool Pool( X_train, y_train, group_idtrain_group_ids, cat_featurescat_features, ) model CatBoostRanker( iterations1000, learning_rate0.05, depth6, loss_functionYetiRank, eval_metricPFound, random_seed42, ) model.fit(pool, eval_seteval_pool, early_stopping_rounds100)排序任務(wù)的 y 一般是相關(guān)性分級數(shù)值越大越相關(guān)。group_id 決定了 CatBoost 在哪個范圍內(nèi)構(gòu)造文檔對如果 group_id 傳錯模型會拿不同 query 的文檔互相比較指標(biāo)會變得毫無意義。3. 特征工程實戰(zhàn)類別特征、文本特征與交叉特征的構(gòu)造策略3.1 把類別列交給 cat_features為什么不需要獨熱編碼很多從 XGBoost 轉(zhuǎn)過來的人第一反應(yīng)是給類別列做 Label Encoding 或者 One-Hot Encoding。在 CatBoost 里這一步多數(shù)時候是多余的。CatBoost 對類別特征用的是目標(biāo)統(tǒng)計編碼直接用標(biāo)簽信息去估計每個類別對應(yīng)的目標(biāo)均值再通過一個平滑參數(shù)向全局先驗收縮。類別出現(xiàn)次數(shù)少時編碼值會靠近全局均值不容易把低頻類別的噪聲放大。One-Hot 只在類別數(shù)特別少時由 CatBoost 自己處理由 one_hot_max_size 參數(shù)控制默認(rèn)值是 2。也就是說只有兩個類別的列才會走獨熱其他類別列默認(rèn)交給目標(biāo)統(tǒng)計不需要你手工干預(yù)。# 對比不傳 cat_features字符串列會報錯 # 傳了 cat_featuresCatBoost 內(nèi)部自動完成目標(biāo)統(tǒng)計編碼。 pool Pool(X, y, cat_features[channel, region])實際使用中類別列可以保持原始字符串也可以預(yù)先轉(zhuǎn)成整數(shù)兩者效果幾乎一樣。但有一點要注意如果你把類別列提前做成了整數(shù)又忘了傳給 cat_features它會被當(dāng)成數(shù)值特征做連續(xù)分裂模型會按大小去切割編號這在語義上是完全錯誤的。所以只要類別列進(jìn)入 CatBoost無論原本是什么類型都要顯式聲明。另外目標(biāo)統(tǒng)計編碼會把類別列轉(zhuǎn)換成連續(xù)值參與分裂特征重要性報告里看到的也是編碼后的貢獻(xiàn)度而不是原始類別的貢獻(xiàn)度。這一點在向業(yè)務(wù)解釋模型時要特別說明否則容易出現(xiàn)“你們模型把渠道號當(dāng)成數(shù)值用了”這種誤會。3.2 文本特征與自動分詞原始字符串直接進(jìn)模型CatBoost 另一個不太被注意的能力是原生文本特征支持。你在 Pool 里聲明 text_features 后模型內(nèi)部會按默認(rèn)的分詞規(guī)則把字符串切成詞再統(tǒng)計詞頻或者構(gòu)造 n-gram 特征不需要你自己調(diào)分詞器。對于標(biāo)題、描述這類短文本這個能力非常實用。text_features [title, brief] pool Pool(X, y, cat_featurescat_features, text_featurestext_features)默認(rèn)分詞對英文是按空白切分對中文會按字符切分效果能用于基線但達(dá)不到精心調(diào)過分詞器的水平。如果做搜索、內(nèi)容理解這類文本權(quán)重高的任務(wù)我更傾向先在外部做切詞把切詞結(jié)果用空格拼回去再喂給 CatBoost因為這樣模型能拿到更穩(wěn)定的語義單元。文本特征參與訓(xùn)練后模型大小會明顯膨脹。因為 CatBoost 需要為文本詞表建字典哈希表詞表一大特征維度跟著上去。我遇到過文本特征加入后模型文件體積翻倍的情況所以文本特征一般只用于文本字段特別關(guān)鍵的場景普通表格數(shù)據(jù)里沒必要硬塞。特征重要性輸出時一個 text_features 列會被展開成內(nèi)部多個 bag-of-words 特征。換句話說模型報告的特征數(shù)量會大于你輸入的原始列數(shù)。做特征篩選前要對這個變化有預(yù)期。3.3 構(gòu)造業(yè)務(wù)特征與交叉特征降低模型學(xué)習(xí)成本的兩條路盡管 CatBoost 能原生處理類別和文本手工特征工程依然有效。核心思路有兩條一條是把業(yè)務(wù)規(guī)則組合成密度更高的特征另一條是主動構(gòu)造交叉特征讓模型不用在很深的樹里才能發(fā)現(xiàn)兩個字段的關(guān)聯(lián)。# 時間特征拆出小時再做渠道 x 小時的交叉 df[hour] pd.to_datetime(df[time]).dt.hour df[channel_hour] df[channel].astype(str) _ df[hour].astype(str) # 業(yè)務(wù)比率特征替代兩個原始數(shù)值列的除法關(guān)系 df[amount_per_item] df[amount] / (df[item_count] 1e-6) # 用戶歷史行為的統(tǒng)計特征注意只在訓(xùn)練集上計算 df[user_hist_mean] df.groupby(user_id)[target_appr].transform(mean)這個代碼塊里最容易出問題的是最后一行。如果直接對全量數(shù)據(jù)做 groupby transform驗證集和測試集的目標(biāo)信息會混進(jìn)特征造成目標(biāo)泄漏。正確做法是先切分出訓(xùn)練集在訓(xùn)練集內(nèi)部做統(tǒng)計再把統(tǒng)計結(jié)果映射回驗證集和測試集。我自己的慣例是先建立 fold 劃分再對每個 fold 單獨構(gòu)造這類統(tǒng)計特征。交叉特征不是越多越好?;鶖?shù)高的類別互相交叉會產(chǎn)生大量稀疏的類別組合目標(biāo)統(tǒng)計編碼會因為樣本量不足而變得不穩(wěn)定。遇到這種情況我會用模型的特征重要性先跑一輪把貢獻(xiàn)度很低的人工交叉特征刪掉同時觀察是否有比原始兩個特征更高的增量沒有就撤掉。3.4 特征重要性評估與篩選用 get_feature_importance 決定取舍特征工程做完不要急著堆參。先用特征重要性做一輪減法通常能省下不少訓(xùn)練時間。CatBoost 提供 get_feature_importance 方法默認(rèn)返回每個特征對預(yù)測的平均貢獻(xiàn)度。importance model.get_feature_importance(pool) feature_names pool.get_feature_names() # 按重要性排序打印前 20 個特征 ranking sorted(zip(feature_names, importance), keylambda x: x[1], reverseTrue) for name, score in ranking[:20]: print(f{name}: {score:.4f})PredictionValuesChange 是默認(rèn)的重要性指標(biāo)反映特征取值改變時預(yù)測值平均變化多少。還有一個 LossFunctionChange 類型它衡量刪除該特征后損失函數(shù)的惡化程度計算成本更高但對特征選擇的參考價值更直接??梢杂?type 參數(shù)切換model.get_feature_importance(pool, typeLossFunctionChange)。篩選特征時我一般保留累積貢獻(xiàn)達(dá)到百分之九十幾的那一批丟掉尾部長尾特征。CatBoost 對冗余特征不太敏感去掉一部分也不會讓指標(biāo)明顯下降但能縮短訓(xùn)練時間和模型體積。SHAP 值在核對特征方向時更有用。后面第 6 章會演示如何用 SHAP 值驗證特征和業(yè)務(wù)直覺是否一致這一章先記住一個原則特征重要性是排序參考不是因果證據(jù)別只看排名就下結(jié)論。4. 分類、回歸、排序任務(wù)的模型優(yōu)化損失函數(shù)與參數(shù)配合4.1 學(xué)習(xí)率、迭代次數(shù)與 l2_leaf_reg三個參數(shù)的內(nèi)外關(guān)系CatBoost 的參數(shù)多但真正在分類、回歸、排序任務(wù)里起決定作用的參數(shù)是同一組learning_rate、iterations、depth、l2_leaf_reg。其他參數(shù)多數(shù)是錦上添花這組參數(shù)先定下來模型就穩(wěn)了一半。learning_rate 和 iterations 是一對。學(xué)習(xí)率越小每棵樹的修正量越小就需要越多的樹才能擬合到同樣程度。常見做法是先定一個偏小的學(xué)習(xí)率比如 0.03再用早停找到合適的迭代次數(shù)。反過來如果學(xué)習(xí)率設(shè)成 0.3迭代 500 次很容易過擬合這時候把 iterations 降到 100 也可能夠用。我習(xí)慣先跑小學(xué)習(xí)率加早停拿到 baseline 再去對比性能與訓(xùn)練時間的取舍。depth 影響樹結(jié)構(gòu)的復(fù)雜度。對稱樹因為同一層強(qiáng)制共用分裂表達(dá)能力弱于普通二叉樹所以需要更深。數(shù)據(jù)量大、特征多的時候depth8 甚至 10 都試過配合 l2_leaf_reg 一起控制。l2_leaf_reg 是葉節(jié)點權(quán)重的 L2 正則項默認(rèn) 3數(shù)據(jù)噪聲大時調(diào)到 5 到 10能明顯拉低方差。一個容易踩的坑是把這些參數(shù)單獨調(diào)忽略它們的相互作用。比如 depth 從 6 提到 8樹的容量變大l2_leaf_reg 如果不一起上調(diào)模型很可能過擬合。我現(xiàn)在的流程是先固定 learning_rate 和 iterations然后用網(wǎng)格搜索同時掃 depth 和 l2_leaf_reg這樣比逐個參數(shù)單獨調(diào)省事得多。4.2 分類任務(wù)調(diào)優(yōu)Logloss、AUC 與樣本不平衡處理二分類任務(wù)損失函數(shù)默認(rèn) Logloss評估指標(biāo)一般看 AUC。這里有個微妙之處Logloss 關(guān)心的是概率校準(zhǔn)質(zhì)量AUC 關(guān)心的是排序能力兩者不是一回事。同一個模型 Logloss 降不下來但 AUC 高說明排序正確但概率值整體偏移這時可以考慮在輸出端做溫度縮放而不是改模型參數(shù)。樣本不平衡時CatBoost 提供了 auto_class_weights 參數(shù)。設(shè)成 Balanced 會把少數(shù)類的權(quán)重按樣本量反比放大默認(rèn)是 None。我在正負(fù)樣本比超過 1:10 時一般會開啟同時觀察 Precision-Recall 曲線而不是只看 AUC。from catboost import CatBoostClassifier model CatBoostClassifier( iterations500, learning_rate0.05, loss_functionLogloss, eval_metricAUC, auto_class_weightsBalanced, random_seed42, verbose50, )使用 Balanced 后訓(xùn)練集上的 Logloss 會發(fā)生偏移因為進(jìn)入損失函數(shù)的樣本權(quán)重變了。這時候不要把 train 的 Logloss 和 eval_set 的 Logloss 直接對比只關(guān)心 eval_metric 的走勢即可。多分類任務(wù)同理用 MultiClass 損失函數(shù)auto_class_weights 在多分類上依然有效。類別數(shù)很多的分類任務(wù)比如幾十個類別iterations 會比二分類更高因為每一輪能修正的方向更分散。我常以 1000 起步配 0.03 的學(xué)習(xí)率讓早停來決定最終輪數(shù)。4.3 回歸任務(wù)調(diào)優(yōu)RMSE、MAE 與 Quantile 的選擇回歸任務(wù)的損失函數(shù)選擇本質(zhì)取決于你對異常值的容忍度。RMSE 會被大誤差樣本主導(dǎo)如果你的業(yè)務(wù)對極端誤差敏感比如價格預(yù)測少數(shù)偏差很大的樣本會顯著拉高損失MAE 更穩(wěn)健但它對梯度方向不敏感訓(xùn)練時收斂慢一點。實際使用時我會先看標(biāo)簽分布。長尾嚴(yán)重的標(biāo)簽比如收入、成交量這類直接預(yù)測均值往往被少數(shù)大值帶偏。更好的做法是預(yù)測對數(shù)后用 exp 還原或者改用 Quantile 損失函數(shù)預(yù)測特定分位點。from catboost import CatBoostRegressor model CatBoostRegressor( iterations800, learning_rate0.03, depth6, loss_functionQuantile:alpha0.5, eval_metricMAE, random_seed42, )Quantile 損失通過 alpha 參數(shù)指定分位數(shù)alpha0.5 時等價于 MAE 的中位數(shù)回歸。在某些業(yè)務(wù)里預(yù)測中位數(shù)比預(yù)測均值更符合運營需求比如庫存準(zhǔn)備要考慮需求波動的分位數(shù)而不是均值。這時可以把 alpha 調(diào)到 0.7 或 0.9直接輸出偏保守的上限估計?;貧w任務(wù)的 eval_metric 和 loss_function 可以不同比如用 RMSE 訓(xùn)練、用 MAE 做早停判斷這樣可以避免模型被大誤差樣本過度牽著走。只要保證 eval_metric 是可比較的指標(biāo)就行不需要和損失函數(shù)完全一致。4.4 排序任務(wù)調(diào)優(yōu)group_id、YetiRank 與 PFound排序任務(wù)的輸入結(jié)構(gòu)和分類回歸完全不同。一組樣本屬于一個 query模型的任務(wù)是對組內(nèi)樣本排出正確順序。CatBoost 里這個組信息通過 group_id 傳入訓(xùn)練和評估都必須保證組的完整性。損失函數(shù)方面YetiRank 是 CatBoost 較推薦的排序損失。它在每輪迭代中構(gòu)造文檔對用近似排序的梯度和權(quán)重更新模型對噪聲數(shù)據(jù)更穩(wěn)健。另一個可選的是 PairLogitPairwise它在構(gòu)造配對時更嚴(yán)格數(shù)據(jù)量足夠大時效果也不錯。我的經(jīng)驗是數(shù)據(jù)量小優(yōu)先 YetiRank數(shù)據(jù)量大且排序文檔數(shù)集中時再對比 PairLogitPairwise。from catboost import CatBoostRanker model CatBoostRanker( iterations1000, learning_rate0.05, depth6, loss_functionYetiRank, eval_metricNDCG:top10, random_seed42, )評估指標(biāo)上NDCGtop 和 PFound 是兩種常見選擇。NDCG 位置折扣更重PFound 模擬用戶逐條瀏覽的終止概率。做搜索排序我用 NDCG10 比較多做信息流推薦則用 PFound 更貼近真實用戶行為。排序訓(xùn)練對數(shù)據(jù)質(zhì)量的要求更高。相關(guān)性標(biāo)錯一兩個文檔產(chǎn)生的壞配對可能拖累整個 query 的梯度。所以排序任務(wù)上線前一定要做標(biāo)注一致性校驗比如對同一 query 的兩個標(biāo)注版本計算標(biāo)注員的 Kappa 系數(shù)分?jǐn)?shù)太低時先別急著訓(xùn)模型。4.5 用早停與交叉驗證收尾調(diào)參避免無謂的反復(fù)訓(xùn)練參數(shù)調(diào)優(yōu)的最后一步我建議用 early_stopping 加交叉驗證來收尾而不是手動一次一次跑完整訓(xùn)練。from catboost import cv params { iterations: 1000, learning_rate: 0.03, depth: 6, loss_function: Logloss, eval_metric: AUC, random_seed: 42, } cv_results cv( pool, params, fold_count5, stratifiedTrue, early_stopping_rounds100, verboseFalse, )cv 函數(shù)會在 fold 內(nèi)部自動完成訓(xùn)練和驗證返回每一輪的平均指標(biāo)幫你判斷當(dāng)前參數(shù)組合在數(shù)據(jù)上的泛化能力。分類任務(wù)記得開 stratifiedTrue保證每個 fold 里正負(fù)樣本比例一致。排序任務(wù)不能直接分層切分要按 group_id 分組再切 fold這一點在下一章會展開。早停輪數(shù)通常和學(xué)習(xí)率掛鉤。學(xué)習(xí)率小早停閾值也要放寬否則會在訓(xùn)練曲線還沒走穩(wěn)時就提前停掉。我一般的經(jīng)驗是 learning_rate0.03 時early_stopping_rounds 取 100learning_rate0.1 以上取 50 足夠。5. CatBoost 常見問題與避坑指南泄漏、過擬合與排序數(shù)據(jù)切分的五個坑5.1 特征構(gòu)造階段的目標(biāo)泄漏訓(xùn)練分?jǐn)?shù)高得離譜先別高興現(xiàn)象模型在訓(xùn)練集上 AUC 達(dá)到 0.98驗證集卻只有 0.72兩者差距大得反常。原因特征工程時把包含目標(biāo)信息的統(tǒng)計量誤當(dāng)成了特征。最常見的是用 groupby 構(gòu)造用戶歷史均值時不小心把驗證集和測試集的數(shù)據(jù)也統(tǒng)計進(jìn)去了或者把去重后的標(biāo)簽列直接當(dāng)作特征傳入。解決所有涉及目標(biāo)變量的統(tǒng)計特征一律只在訓(xùn)練折內(nèi)部計算。先劃分 fold再用 transform 或 map 把統(tǒng)計結(jié)果映射到對應(yīng)折的驗證集。更保險的做法是給這類特征取一個名字訓(xùn)練完立刻檢查特征重要性的排名如果用戶 ID 或者行為均值排在最前面說明大概率泄漏了。5.2 沒有 eval_set 的過擬合訓(xùn)練誤差一直在降驗證指標(biāo)卻停滯現(xiàn)象iterations 設(shè)了 2000訓(xùn)練曲線一路下探驗證集指標(biāo)從第 400 輪開始就不動了甚至緩慢下降最終提交的模型效果不升反降。原因沒傳 eval_set也沒設(shè) early_stopping_rounds模型一直訓(xùn)練到最后把噪聲也學(xué)進(jìn)去了。CatBoost 的迭代式訓(xùn)練會讓訓(xùn)練損失單調(diào)下降但泛化能力在某個點后開始惡化這個拐點只能靠驗證集捕捉。解決每次訓(xùn)練前必須保留一份獨立的驗證集傳入 eval_set同時設(shè)置 early_stopping_rounds。訓(xùn)練結(jié)束后用 get_best_iteration() 拿到最佳輪數(shù)再用 shrink 把模型修剪到該輪數(shù)后續(xù)預(yù)測和保存都用修剪后的模型。5.3 忘記顯式聲明 cat_features字符串列直接報錯現(xiàn)象輸入是帶字符串的數(shù)據(jù)集訓(xùn)練時 CatBoost 直接報 Invalid cat_features 錯誤或者你把類別列轉(zhuǎn)成了整數(shù)但沒聲明模型不報錯只是把這些編號當(dāng)成連續(xù)值進(jìn)行分裂效果莫名其妙地差。原因CatBoost 對字符串列要求必須顯式聲明為類別特征否則無法區(qū)分它是文本內(nèi)容還是類別。數(shù)值編碼的類別列更隱蔽CatBoost 默認(rèn)全部按數(shù)值特征處理只有在顯式聲明后才知道它們是類別。解決在 Pool 或 fit 調(diào)用里始終顯式傳 cat_features 參數(shù)。從 DataFrame 切換成 numpy 數(shù)組時要特別注意列名會丟失必須改傳列索引。我習(xí)慣在訓(xùn)練前打印 pool.get_cat_feature_indices() 抽查一遍避免聲明錯位。5.4 排序任務(wù)切分不當(dāng)group_id 被隨機(jī)洗牌打散現(xiàn)象排序模型訓(xùn)練時不報錯但 NDCG 評估結(jié)果明顯偏低查看預(yù)測結(jié)果發(fā)現(xiàn)同一個 query 下面的文檔順序和標(biāo)注幾乎對不上。原因用 sklearn 的 train_test_split 直接按行切分同一 query 的文檔被隨機(jī)分到了訓(xùn)練集和驗證集兩邊。訓(xùn)練時模型看到同一組 query 的部分文檔甚至可能記住了 query 內(nèi)部的標(biāo)注傾向驗證集評估失去意義。解決切分必須按 group_id 粒度進(jìn)行先對 query 集合切分再通過 isin 篩選出對應(yīng)樣本。import numpy as np unique_groups np.unique(df[query_id].values) val_groups set(unique_groups[: int(len(unique_groups) * 0.2)]) train_mask ~df[query_id].isin(val_groups) val_mask df[query_id].isin(val_groups)這樣的切分保證同一個 query 的文檔全部在訓(xùn)練側(cè)或全部在驗證側(cè)排序評估才有意義。5.5 忽略模型文件大小與單次推理耗時上線階段才發(fā)現(xiàn)的意外現(xiàn)象離線調(diào)參時指標(biāo)很滿意上線前發(fā)現(xiàn)模型文件很大單次預(yù)測延遲超過接口耗時預(yù)算或者內(nèi)存占用過高導(dǎo)致服務(wù)分配不下。原因iterations 和 depth 設(shè)置過大文本特征又引入了大量內(nèi)部詞表模型體積被成倍放大。CatBoost 的對稱樹推理比普通 GBDT 快但樹的棵樹成倍擴(kuò)展后延遲依然會超預(yù)算。解決訓(xùn)練結(jié)束后用 shrink 修剪到 best_iteration先把冗余輪數(shù)去掉。如果仍然太大檢查 text_features 是否必要文本詞表往往是體積膨脹的主因。再不行就降 depth配合提高 l2_leaf_reg 補(bǔ)回泛化能力。上線前做一次壓測確認(rèn) P99 延遲滿足要求再發(fā)布。6. 模型優(yōu)化的最后閉環(huán)預(yù)測分布回測與模型瘦身技巧6.1 用 SHAP 與特征重要性核對業(yè)務(wù)假設(shè)模型調(diào)完參數(shù)后我會做一次特征歸因的回讀確認(rèn)模型學(xué)到的邏輯和業(yè)務(wù)直覺一致。CatBoost 可以直接輸出 SHAP 值不需要額外裝庫。shap_values model.get_feature_importance(pool, typeShapValues) # 返回維度為 [樣本數(shù), 特征數(shù) 1]最后一列是基線值 shap_importance np.abs(shap_values[:, :-1]).mean(axis0)拿到 SHAP 值后我重點關(guān)注兩件事一是頭部特征是否和業(yè)務(wù)方判斷一致如果業(yè)務(wù)認(rèn)為價格最重要模型卻把某個 ID 類特征排第一就要警惕泄漏二是看看高 SHAP 值對應(yīng)的樣本手工檢查幾條確認(rèn)預(yù)測沒有反業(yè)務(wù)常識。特征重要性只告訴你“哪個特征有用”SHAP 值還能告訴你“特征往哪個方向推高預(yù)測”。這一步雖然不做進(jìn)訓(xùn)練流程但對上線前的風(fēng)險評估很有價值。6.2 模型瘦身與上線前的驗證習(xí)慣上線前我最后一個動作是把模型修剪到最佳輪數(shù)并做一次端到端預(yù)測驗證。best_iter model.get_best_iteration() model.shrink(best_iter) model.save_model(final_model.cbm) # 加載后做小批量預(yù)測確認(rèn)輸入輸出格式 loaded CatBoostClassifier() loaded.load_model(final_model.cbm) pred loaded.predict(X_test[:100])我習(xí)慣在這里同時記錄三樣?xùn)|西訓(xùn)練時的評估指標(biāo)、特征重要性 Top10、模型文件大小。下次迭代時先對比這三樣如果指標(biāo)漲了但模型體積翻倍就要考慮是不是文本特征或者迭代輪數(shù)膨脹帶來的副作用。現(xiàn)在做新任務(wù)時我總會先跑一個小參數(shù)的完整流程確認(rèn)特征和評估指標(biāo)都合理再放大 iterations 和 depth。這個習(xí)慣幫我避開了無數(shù)次“訓(xùn)練跑了一整晚結(jié)果發(fā)現(xiàn)特征泄漏”的翻車。希望幫到你。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日韩一级A片黄色| 怕怕視頻| 国产成人在线精品| 色9999日韩国产| 婷香五月| 国产欧美第五十五页| 久热69| 婷婷综合另类| 亚洲无码11| 天堂色色色| 免费97碰碰| 99九九视频| 操逼巨乳91| 99色日本| 九九色热| 狠狠干总合| www.婷婷五月天啪啪| 综合在线网| 色狠狠999综合网| 久久婷婷六月| 色婷婷AV在线| 超碰大香蕉网| 女人天堂av| 亚洲色小说在线综合| 日本噜噜色网| 久久免片| 婷婷精品视频| 99精品偷自拍| 伊人大香蕉毛片| 99五丁香月| 激情av网| 亚洲99综合| 婷婷丁香69精华| 伊人五月婷婷| 九九热这里只有精品在线观看| 欧美五月丁香| 9999久久久久| 男女啪啪做爰高潮无遮挡| 婷婷五月天A V| 中文字幕在线播放视频| 色色色综合网| 日B日潘金莲BB| 婷婷五月天大香蕉在线视频观看| 九九狠狠干| 香蕉综合网| 五月天五月色婷婷综合| 五月天电影网| 亚洲人妻Av| 性一交一乱一交A片久久四色| 婷婷五月天综合网| ai97re99一本| 一区视频网站| 色大综合| 久久天堂| 亚洲日韩一页精品发布| 美国不卡视频| 婷婷久久午夜网| 丁香5月啪啪| www,99热| www.夜夜| 91操在线| 日日夜夜狠狠婷婷色| 99热青青草原| 婷婷五月AV| 色色国产| 人人草碰| 操笔无码| 能看的av网站| 婷婷五月天伊人| 玖玖九九超碰| 大香蕉婷婷色| 亭亭五月天成人| 色噜噜狠狠色综无码久久合欧美| 成人视频网| 日本在线观看aaa 99| 大香蕉久久久| 五月丁香花免费视频| 丁香久月| 欧美色男人网站| www.久久久久久久久久久| 久久黄A片| 六月婷婷国产| 99网| 亚洲视频无| 国产乱码久久| 婷婷五月天情色| 99免费在线视频| 97性视频| 婷婷五月综合社区在线| 深爱激情中文五月天av| 久久99网| 人妻熟女一区二区AV| 欧美伊人9| 99色精品视频| 日日干日日| 色色婷婷五月天| 97超级免费无码| 婷婷五月成人| 色五月婷婷小说亚洲中文字幕组| 欧美丰满熟妇BBB久久久| 91岛国片| 婷婷五月色丁香在线看| 欧美色色色色色| 天天综合色99| 午夜九九电影| 思思热在线精品视频| 狠狠色综合无线观看| 精品乱码视频| 天天爽天天爽| 久草婷妨| 五月亭亭六月激情| 婷婷激情五月| 国产综合婷婷| 逼里香不卡| 五月丁香婷婷综合| 91玖玖| 婷婷丁香五月,狠狠综合| 91久久综合亚洲鲁鲁五月天| 亚洲激情Av| 色噜噜狠狠色综| 人人爱人人添| 嫩BBB搡BBBB榛BBBB| 色噜噜97视频在线观看| 色婷婷成人五月| 婷婷五月成人| 性爱综合网| 天天干夜夜想| 国内自拍1区| 激情五月天黄色小说| 婷婷五月天天爽| 精品久久久中文字幕大豆网推荐理由| 五月天久久综合| 六月婷婷影院| 99九九精品| 久99精品视频| 五月丁香六月婷婷久久久综合| 五月天激情国产综合婷婷| 大香蕉人人网| 婷婷五月天首页| 色婷婷激情| 激情视频91| 天天舔天天摸视频| 超碰在线50| 婷婷五月69| 夜色综合网| 超碰免费观看| 99re这里有精品手机在线| www.色五月| 色五月激情五月| 99热1| 色播婷婷五月天| 超碰在线99| 亚洲精品国产成人AV在线| 开心激情网在线| 99国产在线精品视频| 婷婷成人网五月天| 婷婷久久色| 日韩成人AV在线播放| 六月丁香VA| 久久艹 五月天| 五月丁香怕怕综合| 九九热在线观看视频| 色情五月天丁香社区| 色五XX| 超碰只有精品在线| 五月丁香五月天现场视频| 天天爽天天爽| 99亚洲综合| 色婷婷电影| 亚洲小电影在线观看黄999| 五月天婷久精视频| 久久婷婷夜| 亚洲视频99| 色综合视频在线| 丁香五月宝贝激情网| 日韩成人免费电影| 九九精品片一| 色五月激情五月| 欧美丁香婷婷天天操| 91Chinese在线| 成人婷99最新| 色婷婷五月综合| 99热日韩| 成人丁香五月| 可以免费观看的av网址| 99热这里有精力| 97热视频| 99日韩| 91操色| 激情五月综合网| 9久热| 色婷婷av在线观看| 欧美成人无码一区二区三区| 激情又色又爽又黄的A片 | 99热精品99| 亚洲婷婷欧美婷婷| 色婷| 婷婷综合网| 久久久婷| 高清无码网址| 丁香五月天av| 色网站9| 久久免费婷婷视频| 丁香久久久| 97色天堂| 丁香五月天激情网址| 超碰在线人妻| 天天添天天摸天天天天做| 影音先锋美国A| 丁香五月天啪啪激情综和网| 久久天堂婷婷五月| 级情九色| 翔田千里aV中文字幕| 天堂无码人妻精品AV一区| 春色激情第四色| 大香蕉伊人丁香五月| 五月丁香六月婷婷免费视频| 九97免费视频| 91视频一起草| 亭亭丁香久久五月| 免费碰碰视频久| 婷婷综合色播网| 在线91日韩| 97欧美在线| 色婷丁香| 狠狠精品干练久久久无码中文字幕| 99热这里只有精品23| 婷婷香蕉香| 激情五月天婷婷在线网址发给我| 五月婷婷影院| 国产婷婷色综合AV蜜臀AV| 五月天堂在线| 99资源在线视频| 五月丁香大香蕉| 午夜理论片最新午夜理论剧| 99在线看视频| 亚洲99综合| 安息电影在线观看完整版| 婷婷五月天网| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 狠狠狠狠狠狠| 99愛国产| 日本色频| 亚洲XX网| 久久天堂精品| 九热av| 丁香五月激动深爱欧美| 少妇AB又爽又紧无码网站| 色播五月| 亚洲成人五月天| 日本丁香久在线| 最新国产AV| 日本黄色精品| 久久五月天婷婷| 久99热在线观看| 亚洲最大视频| 色婷婷五月天激情在线观看| 丁香五月婷中字幕| 婷婷五月六月| 色播五月婷婷| 婷婷五月六月| 五月婷婷在线视频观看| 九九在线精品| 看全色黄大色大片| 激情亚洲婷婷| 乱码操操| 久碰婷婷视频| 乱码操操| 久久98| 欧洲亚洲免费视频9| 丁香五月在线观看| 九九性爱网| 婷婷久久综合| 99热8| 激情综合激情综合| 人妻激情在线| 91精品婷婷国产综合久久| 26UUU欧美激情一区二区| 婷婷五月天小说| 五月婷婷婷丁香播| 91久久九久久九久久九久久九久久| 色婷婷六月丁香综合欲精品| 综合久久99| 九九热在线视频观看| 婷婷色正月| 激情开心五月天婷婷基地丁香社区| 婷婷丁香在线播放| 成人丁香五月天| 99热在线只有精品| www.99日本| 丁香六月婷婷| 久久综合影院| 一起草Av| 婷婷五月AV| 综合色五月天| 五月天婷婷视频| 久久免片| 亚洲亚洲人成综合网络| 天天肏天天舔AV| 久久日婷婷| 五月丁香亭亭AV女优| 1234操逼网| 97欧美在线| 人妻激情综合| 丁香五月综合久久八| 亚洲色爽| 五月丁香婷中文字幕 | 91九色最新视频| 五月婷婷色色爱| 伊人五月婷| 九月婷婷综合在线| 婷婷久久丁香五月| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 91啪啪视频| 亚洲九九视频| 日本天堂爱爱| 五月丁香综合激情网| 日韩成人精品中文字幕| 黄色av网站在线免费播放| 久久一级免费黄色片| 激情久久久久久久久| 婷婷午夜| 久久这里有精品99| 色色五月天婷婷丁香| 中文字幕激情综合| 天天射影院| 婷婷五月天成人五月天| 五月色情婷婷开心五月色情| 开心五月深爱五月丁香五月激情五月 | 91在线资源| 五月天狠狠色| 婷婷欧美激情综合| 另类小说婷婷色| www.婷婷.com| 天天综合网站| 97luluse| 在线网黄| 成人短视频在线免费观看| 97人人操在线| 婷婷综合五月色播| 五月久久婷婷丁香| 嫩BBB搡BBBB榛BBBB| 91狼友视频网页更新| 婷婷五月丁香香蕉| 安息电影在线观看完整版| 久久欧洲综合网| 天天日天天插| 天天做天天爱天天高潮| 碰超在线九色| 久久亚洲婷婷综合色五月| 天天射夜夜骑| 天天噜日日噜综合无码| 97精品人人A片免费看| 玖玖热99| 日夜操B| 婷婷丁香激情五月| 久草视频一,二三四| 99精品视频在线观看| 婷婷色狠狠| 无码人妻电影| 丁香五月天成人| 97人人操人人| 成人丁香婷婷| 另类图片色五月| 啪啪啪五月天| 91爱啪啪| 久久久久视剧HD| 操一区| 久久久精久人妻| 五月激情网站| 91精选国| www.天天色综合| 婷婷五月视频| 99久久网站| 涩五月丝袜婷婷| 丁香蜜臀黄色婷婷五月天| 2025年最新亚洲在线欧美| 五月丁香综合啪啪| 婷婷桃色网| 大香蕉久操| 婷婷五亚洲| 9久热| 亞洲自怕| 人人色婷婷五月天| 亚洲va欧美va天堂v国产综合| 婷婷伊人綜合中文字幕| 97色婷婷在线观看| 五月WWW| 99操视频| 婷婷丁香社区| 丁香六月婷婷色XXXX| 亚洲美女高潮久久久久久69| 久久99草五月婷婷| 99热思思在线观看| 婷婷五月天影院| 色婷婷精品视频在线播放| 久操婷婷| www.色五月| 中文字幕日产A片在线看| 桃色激情五月天| 99福利视频| 日本五月婷婷| 色五月婷婷1| WWW、日本色丁香、co m| 深夜男女福利刺激影院一区完整| 欧美婷婷综合| 另类小说婷婷色| 九九久久精品| A级毛片高清免费不卡播放谢谢谢谢| 99亚洲大片精品永久在线观看 | 天天狠狠夜夜狠狠2023| 亚洲网在线观看| 激情五月天丁香| 婷婷六月天激情| 国产69久久久欧美黑人A片| 亚洲AV日韩无码| 五月婷婷二月丁香| 久久综合九色综合97婷婷| 婷婷色五月激情| 狠狠操狠狠操AV| 欧美日韩精品人妻狠狠躁免费视频| 99激情网| 色婷婷综合影院| 97人人操人人插| 涩综合在线| 成人电影在线免费试看| 五月丁香久久婷| 激情久久综合网| www.丁香五月| 九九Av| 五月婷婷丁香六月| 9色天堂| 五月天婷婷伊人| 夜夜谢天天干| 亚洲成人一区| 亚洲免费观看高清完整版AV线| 97操碰日本女人| 高清无码一区二区三区四区| 久久伊人五月天| 婷婷激情性爱| 久久视频婷婷| 小泽玛利亚视频一区二区| 久久久五月婷婷| 五月丁香六月婷| 久久久久9| 丁香五月影院| 亚洲操B视频| 色五月综合激情| 字幕网AV中文字幕| 天天色天天干天天插| www色色com| WWW99热| 五月天婷婷7米| 碰久久精品w| 久久机只有这里精品| 99精品视频在线观看| 欧美成性色| 国产一级片| 99热1| 日本熟妇人妻在线| 老司机伊人| 五月天色小说| 丁香五月天殴美激情| 九九99精品| 色五月激情视频在线综合| 精品成人久久久久久久_一二三四视| 国产综合81p| 丁香五月播播| 中文在线视频久9| 乱色色色| 色婷婷精| 丁香激情五月少妇| 九九成年视频| 99er精品视频| 国产成人亚洲综合亚洲| 欧美婷婷精品激情| 伊人久久大香线蕉综合网站| 激情六月天婷婷| 色婷婷影视99| 九九热这里只有精品6| 秋霞网在线免费基地五月婷婷丁香| 日本成人噜噜| 成人五月天。COM| 久久视频在线| 丁香五月九九| 五月丁香综合影院| 色综合中文色综合网| 99资源在线视频| 黄色激情久久| 色五月大香蕉| 久久只有这里精品免费| 色色色com| 婷婷丁香社区网| 中文字幕在线观看视频www| 99亚洲综合| 国产成人一区二区三区在线观看| 九九成人精品| 色婷婷亚洲综合天堂| 五月亭亭六月天| 99碰碰中文| 久久怡红院| cao久久| 色综合五月| 九九视屏| 婷婷午夜精品久久久| 五月丁香婷中文| 天天干天天干天天干天天干天| 婷婷精品| 午夜69成人做爰视频| 思思热精品免费视频| 成人αV视频免费观看| m色激情网| .肏屄视频一区二区| 丁香色婷婷五月天| 香蕉狠狠爱视频| 九九在线精点品| 九九sese| 日B日潘金莲BB| 婷婷激情五月天激情| 亚洲欧洲午夜成人精品av| 色射影院| 激情com| 五月婷婷色欲| 深爱激情六月天| 182TV大香蕉| 九月色婷婷| Av狠狠色丁香婷| 一区二区三区四日本| 五月天激情亚洲| 日韩在线观看亚洲| 99久久这里只有精品| 另类图片 五月激情| 狠狠色噜噜色狠狠狠综合色| 五月花成人网| 亚洲成人日韩无码精品| 99色视频| 五月丁香色色综合| 亚洲日比视频| 91人人操人人爱| 99re99热| 97涩婷婷婷婷基地| 久久九色| 99男人的天堂| 激情综合五| 亚洲行行色色| 久久五月婷婷丁香| 丁香五月激情综合| 五月天婷婷中文字幕在线播放| g00d人体西西| a久久| www.狠狠干com| 日亚二欧美| 六月综合婷婷开心伊人| 九色色| 大香线蕉伊人| 777影视理论片大全在线观看| 色色免费网战视频| 五月激情啪啪啪| 午夜天堂一区人妻| 精品久久人妻| 夜夜躁狠狠| 狠狠狠狠狠狠草| 亚洲在线操| 午夜美女人啪最红院| 波多野结衣成人作品在线| 色婷婷免费观看| 五月婷庭丁香在线| 亚洲天堂啪啪| 久久婷婷色| 色色网站在线| 五月婷婷开心亚洲无| 久热99中文字幕| 97操碰视频| 久久婷婷五月综合色播| 色综合久久88色综合天天看| 国产欧美性成人精品午夜| 婷婷婷婷婷婷婷婷| 天天操天天操综合| 六月丁香色色色| 亚洲精品国产熟女久久久| 殴美综合激情五月天免费视频| 另类五月婷婷| 久久久久婷 | 五月天婷婷久久视频| 五月天色婷伊人| 亚洲国产另类av| 婷婷色六月| 丁香五月婷中字幕| 伊人五月婷婷国产视频| 日韩无码专区| 99热思思| 久久午夜理论| 亚洲色综合| 亚洲图片 丁香婷婷| 色五月在线观看| 久久er99| 欧美激情xxxXX| 大香蕉人在线65| 99免费超碰在线| 九九99热久久精品66中文字幕| 午夜爱爱爱成人| 五月丁香成人| 精品国产a| 人人爱人人草| 14色综合婷婷| 99r这里| 亚洲欧洲99| 婷婷色吧| 久久久高清| 婷婷丁香五月天激情| 激情文学五月丁香六月婷婷| 天天艹夜夜爽| 色五月激情综合网| 成人在线视频男人的天堂4399| 欧美电影在线播放| 玖玖在线视频| 丁香五月成人| 五月丁香六月花| av在线资源| 色婷大香蕉| 亚洲亚洲人成综合网络| 99热.com| 九九婷婷综合| 五月丁香六月情| 色婷婷色五月丁香| 天天色综合天天| 婷婷五月丁香花综合| 日韩野外 无套| 九九精品热| 九九综合九九| 婷婷社区五月天| 六月婷婷色宗合| 最新日本A片| 超碰男人色| 禁片二区| 这里只有精品96| 天天干天天干天天| 丁香婷婷久久 | 大香蕉九操| 激情五月五月婷婷| 99爱视频免费看| WWW五月天| 丁香五月激情宗合网| 超碰二区| 伊人狠狠色婷婷综合丁香一区| 99热人人艹| 欧美黑人巨大性生话| 思思久久精品| 武则天精品久久| 成人va视频| 婷激情五月| 中文字幕丁香五月| 欧美成人无码一区二区三区| 99热精品在线播放| 五月丁香啪啪啪综合网| 色婷婷色九月| 日韩美女羞羞网站在线观看| 天综合日日夜综合7799| 亚洲成人av中文| 91av传媒高清在线视频网| 色色色综合网| 大香蕉九九| 婷婷五月六月丁香| 五月婷婷色| 亚洲成人免费在线| 成人在线网址| www.婷婷亚洲基地| 久综合| 九九热re99re6在线精品| 久久人妻人人| xx人人xx| 亭亭五月丁香五月天激情| 美女妹子后射视频网站在线观看| 九九久久视频| 思思热再线视频| 亚洲男人的天堂婷婷色五月| 国产美女最新VA在线免费观看| 情婷婷五月天在线| 亚洲五月天综合| 婷婷五六日| 亚洲AV激情五月综合网| 99re这里只有精品国产99| 婷婷五月丁香六月伊人网| 色噜噜狠狠色综合AV兰草影视| 日韩另类| 天天操夜夜爽天天操| 久久久婷| 九九国产精视频| www.久久爱| 五月婷五月婷伊人伊人五月婷| 六月丁香婷| 久久免费精品小视频| 免费AAAAA网| 人妻久久久久久久久妻久久久久久久久| 成人视频一区| 激情五月开心五月在线视频| 精品国产人人爱人人| 亚州精品色情在线观看| 五月婷婷综合激情| 婷婷五月丁香色情| 丁香激激情网| 另类五月激情| 六月婷婷色综合| 天天日天天舔| 婷婷激情九月| 天天玩夜夜操| 桃色五月天| 午夜天堂一区人妻| 成人综合视频网址| 五月综合激情图片| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 五月天综合区| 婷婷丁香人妻天天| 婷婷五月天在线视频网站| www久久艹| 人人操99| 99热在线播放| 综合久久丁丁香婷| 1囯产午夜仑鲁鲁| 女人天堂久久| 色综合丁香| 激情五月婷婷免费视频| 九九热区一区二区三区| 看国产探花操逼三级片| 天天爽夜夜爽夜夜爽精品视频| 在线观看免费狠狠色丁香香综合| 超碰91在线| 99这里有精品| 欧美色男人网站| 亚洲99一级无嗎特制在线| AV在线收看| 久久五月丁香婷婷| 99色啊| 亚州精品久久久久AV无码| 99久在线精品99re8| 91黄操| 天天天天干| 黄色片久久| 国产亚洲成人综合| 亚洲色图五月丁香| 播五月婷婷开心| 天天影视色综合网| 五月激情小说| 五月婷婷激情五月| 五月婷久久| 开心婷婷五月| 综合久久激情久久| 色婷亚洲五月丁香| 欧美影院婷婷| 秋霞午夜理论| 66精品成人免费网站在线观看| 俺去也综合| www.五月婷婷久久.com| 超碰人妻在线| 亚韩精品视频1区| 9久热在线视频| 在线观看的av| 激情性爱网站| 久婷五月| 色99综合视频| 欧美色频| 日本狠狠干| 91干网站| 色噜噜狠狠色综合成人网| 丁香五月狠狠在线观看| 一本久道综合色婷婷五月| 97操碰视频| 五月丁香网站| 丁香六月婷婷社区| 天天操天天爱天天日| 婷婷娱乐丁香综合网| 99精品久久久久| 婷婷五月天激情四射| 丁香五月激情五月| 亚洲操操| www.夜夜.com| 婷婷色丁香五月| 亚洲色无码A片一区二区麻豆| 激情骚五月| 青青.com| 色永久| 丁香六月啪啪| 噢美99| 任你爽免费视频| 五月四色婷婷| 中文色婷婷| 亚洲午夜成人av电影网| 9精品视频在线观看| 婷婷五月天激情偷拍| 色婷婷久久综合久色综| 婷婷丁香六月| 亚洲成Av人片乱码色第1集| 久久久久久xxxxx| 色停停五月天| 激情五月婷| 操比激情五月| 99激情网| 99热这里只有精品9| 91狠狠色丁香婷婷综合久久| 1234操逼网| 天天在线天天综合网色| 天天人人人人人人人人人人人| 天天日天天操心| 91精品久久久久久久久| 久久99久久99精品免视看婷婷| 激情爱爱网站| 91麻豆国产三级精品福利在线观看 | 五月综合婷婷久久在线 | www.99色| 欧美激情-区二区三区| 高潮毛片遮挡费高一百度| www激情| 国产日韩欧美| 99热在线精品观看| 欧美综合五月丁香六月婷| 午夜一区| 久久久色情| 久久亚洲色导航| 午夜婷婷久久 | 丁香五月成人| 欧美精产国品一二三区| 麻豆五月丁香婷婷| 色色五月婷| 国产综合丁香五月天| se色99| 在线观看的av| 香蕉色色网| 丁香婷婷偷拍| 中文字幕在线资源| 婷婷丁香综合在线| 婷婷5月天av| 六月婷婷激情| 99热大| 久久A热| 五月天com| 日本3级片一区2区| 第四色婷婷五月| 大香蕉五月天婷婷| 99在线视频精品| 婷婷五月天欧美| 国产人妻777人伦精品HD| 日本欧美在线| 五月天播播中文字幕 | 99∨VTV| 人五月天婷婷喷水| 深爱女色婷婷丁香五月亚洲图区| 91九色丨国产丨爆乳| 亚洲视频另类| 26UUU精品一区二区Com| 日日夜夜干| 五月丁香六月综合基地| 五月婷婷官网色| 五月天婷婷综合色| 久热这里这里有精品| 久久九色| 色五月婷婷五月天激情综合| 婷婷五月深深爱| 538在线精品| 狠狠做六月爱婷婷综合aⅴ| 九九热中文| 人妻五月天激情开心网| 9999色色色色| 亚洲乱码日产精品BD在线观看| 欧美操人| 五月丁香好婷婷A片网| 99视频在线观看视频| 另类视频丁香五月| 亚洲亚洲人成综合网络| 婷婷丁香77777| 久热99| 7超碰自拍| 亚洲成人无码网站| 91综合在线观看| 日韩在线五月天婷婷| 色香蕉精品五夜婷| 欧美久久五月婷婷| 99热这里都是精品| www久久久| 91一起操| 五月婷婷激情性爱| 天天插天天日| 国内久久久精品99| 日日综合网| 五月天大香焦| 久久成人天| 香蕉久久国产AV一区二区| 五月激情精品视频| 啪啪91| 99re热精品视频国| 五月丁香综合网| 99久久a线观| 国产 亚洲 在线| 99干视频| 9l视频自拍9l九色9l成人| av第一二区| 五月天天天天天天天天天天天天天天天婷婷婷| 日日狠狠久久偷偷四色综合免费| 欧洲色区| 丁香五月婷婷色五月| 天天日天天爽| 琪琪秋霞| 能看的av| 婷婷大美在线| 色五月激情五月| 激情婷婷五月黑人| 搡BBBB搡BBB搡18| 人人色AV| 河北真实伦对白精彩脏话| http://www.lingjunshare.com/| 国产精品18久久久| 6月丁香婷婷激情| 无码人妻丰满熟妇奶水区码| 五月天自拍网| Av狠狠色丁香婷| 激情色情五月天| 99惹 精品在线| 色五狠狠| 婷婷五月天丁香久久| 久久人妻高清中文| 婷婷综合天堂| 五月天激情小说欧美激情| 九九热精品视频在线观看| 九九热视频精品2| 五月婷婷在线免费观看| 色狠狠999综合网| 大学生高潮无套内谢视频| 青青五月天婷婷| 日韩av手机在线观看| 这里只有免费的精品| 午夜AV网| 丁香六月在线| 日本色色网站| 激情综合色图| 7777激情基地| 99熟女| 人人干天天操五月丁香| 色综合综合综合| 色狠狠色综合| www.com色播五月天| 99操免费视频| 久久婷婷五月丁香网| 婷婷丁香18| 99这里的视频都是精品| AⅤ网站在线看| 激情五月狠狠| 婷婷色五月天色| 99热久草| 人人色人人摸人人看| 成人精品视频99在线观看免费| 久久99这里只有精品视频| 丁香花狠狠婷婷亚洲中文字幕| 色综合色色| 欧美在线看| 精品久久99码| 五月的丁香六月的婷婷| 丁香九月激情在线视频| 亚洲色五月婷婷| 色伊人婷婷| 激情婷婷五月天| 狠狠操在线视频| 操比激情五月| 欧美色色色色色色色| 开心婷婷中文字慕| 国产肥白大熟妇BBBB视频| 久久这里只| 99热网址| 五月天激情网图片| 五月丁香婷中文字幕| 成人网站高清无码| 99在线观看视频| 激情五月天啪啪视频| 婷婷影视久久| 天天爽天天爽| 秋霞电影一级黄| 国产AV影片| 天天爱综合网| 日韩成人精品中文字幕| 天天射网站| 免费视频99| 五月丁香色情| 影音先锋男人女人| 天天干天天干天天干天天干天天干| 九九九日本熟女| 国产又粗又大又爽又黄| 99爱精品视频| 综合激情在线| 国产精产国品一二三在观看| 91精品综合久久久久久五月丁香 | 丁香六月天| 亚洲欧州色情在线观看| 九热久| 97在线精品| 九月丁香| 亚洲成人AV高清字幕| 九九热精品在线| 九九日本视频| 淫五月停停| 色九亚洲| 色小说婷婷五月天天天| 男人視頻站| 看片视频在线免费日产在线看| 五月丁香六月婷综合成人综合| 99碰网站| 精品人妻午夜一区二区三区四区| 激情五月天综合婷婷网| 欧美久热| 丁香99| 狠狠操综合| av网站中文| 色六月婷婷| 国产在线激情视频| 五月婷婷色播| 欧美毛片www| 六月婷婷网| 99久在线精品99re8热| 17.c黄色| 天天肏夜夜肏| 狠狠爱五月婷婷综合六月| 成人av在线电影| 玖久精品视频9| 国产成人高清| 婷婷色五月91啪啪| 国产97色在线| 国产精品久久久60086| 色婷婷天堂| 青草视频在线播放| 久超超碰| 五月天激情日色在线| 久久女人天堂| 香蕉影院色| 亚洲99热| 日本va欧美va欧美va| 久久只有精| 97久久超视频| 成人国产欧美大片一区| 开心五月激情网| 色婷五月天网站| 97干欧美| 日日夜夜九九| 五月天婷婷久久视频| 婷婷五月天综合色| 欧美色狠婷久| 免费在线a| 亚洲亚洲人成综合网络| 99热99精品| 婷婷五月天成人综合网| www色色com| 亚洲婷婷丁香五月| 婷婷五月天基地| 午夜爱爱网站| 五月天婷婷激情春色小说| 色综合久| 六月婷婷AV| 三十熟女| 香蕉婷婷| 欧美色性色好| 五月色导航| 婷婷丁香宗合888| 日本44久久在线| 五月天啪啪啪| av在线免费网站 | 99热天堂| 久操香蕉| 亚洲另类在线观看| 国产精品电影网| 五月激情婷婷开心| 青青草搞屄视频网站| 久久婷婷五月天激情四射| 99热有精品在线观看| 91久久婷婷| 五月婷婷深深爱| 俺也去在线视频| 狠狠久久婷五月综合色| 日韩黄黄| 久热久re| 婷婷色色网站| 九九热免费视频| xxxx久| 9久久精品| 狠狠色狠狠爱| 激情综合网激情五月婷婷| 亚洲AV成人在线| 另类图片激情五月| 亚洲日日日| 另类小说五月天综合网| WWW.激情| 91se在线视频| 激情综合色婷婷啪啪六月天| 99九九这里有免费视频| 亚洲精品久久久久AV无码| 丁香九月激情| 久9免费视频| 婷婷五月天中文字幕| 伊人五月网| 婷婷激情五月天7| 99re久久| 天天综合色丁香| 九月婷婷激情久久| 婷婷综合性爱网| 国产亚洲精品AAAAAAA片| 五月丁香天堂网| 色综合久久88色综合天天99| 99九九视频| www.开心激情| 人人色AV| 婷婷丁香六月影视| 婷婷成人网五月天| 伊人久久五月天| av在线免费网站| 久青草大香蕉| 亚洲av电影网站| 影音先锋男人女人| 成人无码髙潮喷水A片| 人妻少妇色综合| 九九青青草成人| 欧美三日本三级少妇三99| 五月天成人网在线观看| 丁香月六月| 丁香色情五月综合网站| 丁香五月网| 综合99在线| 丁香色情五月天| 97人人干| www.yw尤物| 亚洲av综合网| 五月丁香操婷逼| 九九性爱网| 色婷婷文字幕| 在线中文字幕免费视频| 亚洲在线免费成人| 国产黄色在线观看| 免费无码毛片一区二区A片| 99色在线| 婷婷五月激情综合| 91丨九色丨国产打屁股| 亚洲热综合| 日本天天色| 激情五月小说婷婷| 婷婷五月六月丁香| 久久99精品久久只有精品| 五月天婷婷色| 婷婷大香蕉| 激情五月六月婷婷| 五月香婷婷| 99爱在线精品视频免费观看| 五月丁香琪琪| 欧美97色| 色五月婷婷久久| 狼人久草| 99色精品| 色五月五月婷婷| 大香蕉AV在线| 五月丁香啪| 成人做爰高潮A片免费视频| 亚洲精品又粗又大又爽A片 | 国产做A爰片毛片A片美国| 免费视频WWW在线观看网站| 国产SUV精品一区二区883| 99热久久这里只有精品| 丁香五月婷婷激情97| 丁香六月丁香婷婷激情| 伊人在线大香蕉网| www狠狠爱com| 人人操操| 五月丁香大相交| 九九99免费视频| 久久综合性| 国产激情久久久| 丁香五月天色综合| 天天噜天天爱| 三十路磁力链接| 五月天激情综合10p| 久久A V无码视频| 人人草人| 成人av在线网址| 99操视频| 看片视频在线免费日产在线看| 五月婷婷色| 精品夜夜澡人妻无码AV| 久99999热视频在线观看免费| 成人.在线日韩| 影音先锋AV资源男人站| 色五月婷婷影视| 丁香五月网| 亚洲中文字幕AV| 丁香六月婷婷久久综合八月| 5月丁香综合网| 日韩欧美骚货| 日本色狠狠| 日本三级中文字幕| 亚洲亚洲人成综合网络| 丁香五月天电影| 夜夜穞天天穞狠狠穞AV美女按摩| 色综合激情图区| 激情综合另类| 9久热在线视频精品| www超碰| 色婷婷成人在线| 婷婷五月俺要去| 夜丁香五月婷婷| 热99在线精品| 激情五月综合| 国产肥白大熟妇BBBB视频| 九九精品9| 97碰碰视频| 99re热99| 丁香亭亭久久| 思思热久久婷婷五月天| 亚洲成人五月天| 婷婷久月| 久久大香蕉| 九月停停| 五月天丁香婷| 视频综合网| 天天干天天射综合网| 婷婷五月天无码| 色色丁香| 精品少妇人妻AV无码专区偷人 | 99九九久久| 亚洲mm色| 婷婷五月天伊人网| 久久久18| 精品人妻午夜一区二区三区四区| 超碰在线资源| 色五月综合在线| 在线五月色播| 五月天精品视频| 色欲久久综合| 五月综合激情婷婷六月色窝| 超碰成人影视| 成人电影在线免费试看| 丁香五月婷婷少妇| 丁香六月婷婷综合啪啪| 99热在线精品观看| 国产成人精品一区二三区熟女在线| 色爱爱综合网| 久久婷婷综| 色五月婷婷成人视频| 婷婷五月美女直播| 欧美一级色| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 亚洲最大在线| 五月夜丁香| 久久久久久久人妻| 五月婷婷,六月丁香| 国产av天天插天天操天天爽| 大香蕉久久草| 精品婷婷五月天| 天天摸天天舔| 久热这里| 狠狠爱丁香婷| www.久久爱| 天天天摸夜夜夜玩| 超碰人人艹| 丁香五月激情图片婷婷| 婷婷操超碰| 人人射av| 久久亚洲无码| http:色情日本com| 婷婷色在线视频| 五月婷婷六月激情在线| 综合XX网| 亚洲国产精品VA在线看黑人| 色九九七七| 在线色五月婷婷| 狠狠色丁香|