欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

賽區(qū)一等獎(jiǎng)到國賽線0.003之差:數(shù)據(jù)競賽完整復(fù)盤與避坑指南

賽區(qū)一等獎(jiǎng)到國賽線0.003之差:數(shù)據(jù)競賽完整復(fù)盤與避坑指南 引言那場比賽結(jié)束后榜單上賽區(qū)一等獎(jiǎng)的綠色標(biāo)記還掛在隊(duì)伍名下可國賽入圍線卻停在差 0.003 的位置像一層透明的玻璃看得見對面指尖卻怎么也按不過去。賽后復(fù)盤了整整三天從數(shù)據(jù)清洗、特征工程到模型調(diào)參、融合策略把每一份日志翻了個(gè)底朝天。最后發(fā)現(xiàn)問題并不是出在某個(gè)“靈光一現(xiàn)”的騷操作上而是一連串看起來不起眼的小細(xì)節(jié)疊加起來把最后那一段分?jǐn)?shù)悄悄吃掉了。這篇文章不是來訴苦的而是把整個(gè)競賽項(xiàng)目的技術(shù)實(shí)現(xiàn)、踩坑過程、評分波動(dòng)原因和復(fù)盤結(jié)論完整拆出來。如果你也在準(zhǔn)備數(shù)據(jù)挖掘或機(jī)器學(xué)習(xí)類競賽或者正在做類似的任務(wù)型建模項(xiàng)目這篇復(fù)盤應(yīng)該能幫你避開不少彎路。我們會按照“背景說明 → 環(huán)境準(zhǔn)備 → 基線建模 → 調(diào)優(yōu)過程 → 翻車復(fù)盤 → 排錯(cuò)思路 → 工程建議”的順序展開代碼盡量完整方便直接復(fù)現(xiàn)。1. 背景與核心概念1.1 這是一場什么類型的競賽這類比賽通常不會直接給你一份干干凈凈的數(shù)據(jù)而是提供一個(gè)經(jīng)過脫敏或匿名化處理的表格型數(shù)據(jù)集。訓(xùn)練集包含若干特征列和一個(gè)目標(biāo)標(biāo)簽列測試集只給特征參賽者需要訓(xùn)練出模型去預(yù)測測試集中的目標(biāo)值主辦方再用預(yù)測結(jié)果和真實(shí)標(biāo)簽對比得到線上評分。這種任務(wù)看起來簡單實(shí)際做起來卻非常折磨人。原因有兩個(gè)特征列被匿名化成f_1、f_2這樣的編號無法從業(yè)務(wù)含義出發(fā)做針對性的特征篩選。評價(jià)指標(biāo)不同策略完全不同。有的比賽看重 AUC有的看重 F1有的則直接使用業(yè)務(wù)自定義的加權(quán)指標(biāo)。本文討論的場景是二分類任務(wù)評估指標(biāo)采用 AUC 和 F1 綜合判斷這和數(shù)據(jù)競賽里最常見的設(shè)定基本一致。1.2 為什么賽區(qū)一等獎(jiǎng)并不等于進(jìn)國賽很多第一次參賽的選手會誤以為“拿了一等獎(jiǎng)就一定晉級”。實(shí)際上不少賽事是分賽區(qū)評獎(jiǎng)同時(shí)在全國范圍內(nèi)劃定統(tǒng)一的晉級分?jǐn)?shù)線。賽區(qū)一等獎(jiǎng)只能說明你在本賽區(qū)相對排名靠前但國賽晉級看的是全國排名或者絕對分?jǐn)?shù)。這就是“賽區(qū)一等獎(jiǎng)國賽門檻卻在指尖擦過”的根本原因相對名次好看絕對分?jǐn)?shù)不夠。從技術(shù)層面來說這種情況往往意味著模型泛化能力沒有想象中強(qiáng)本地交叉驗(yàn)證分?jǐn)?shù)虛高。特征工程后勁不足測試集上的表現(xiàn)受分布變化影響大。模型融合帶來的提升沒有覆蓋掉單模型的不穩(wěn)定性。理解這一點(diǎn)很重要因?yàn)楹罄m(xù)所有的優(yōu)化都應(yīng)該圍繞“絕對分?jǐn)?shù)提升”和“泛化穩(wěn)定性”去做而不是只看本地分?jǐn)?shù)。1.3 這篇文章你能學(xué)到什么一份完整的表格型二分類競賽建模流程。特征工程里容易忽略卻影響很大的坑。本地交叉驗(yàn)證分?jǐn)?shù)與線上分?jǐn)?shù)不一致的常見原因。一份可以直接套用的 LightGBM 訓(xùn)練模板。最后的工程復(fù)盤清單能幫你少踩 80% 的重復(fù)坑。2. 環(huán)境準(zhǔn)備與版本說明2.1 基礎(chǔ)環(huán)境本文示例代碼使用 Python 編寫建議使用 Python 3.8 及以上版本。依賴庫建議如下庫名用途說明pandas數(shù)據(jù)讀取、處理版本 1.x / 2.x 均可numpy數(shù)值計(jì)算配合 pandas 使用scikit-learn交叉驗(yàn)證、評估指標(biāo)版本 1.0lightgbm核心模型3.3.x 及以上版本均可xgboost輔助模型如需做模型融合時(shí)使用matplotlib / seaborn可視化特征分析和結(jié)果展示安裝命令pip install pandas numpy scikit-learn lightgbm xgboost matplotlib seaborn需要說明的是不同版本的 LightGBM 在參數(shù)細(xì)節(jié)和默認(rèn)行為上會有差異比如early_stopping的寫法在新舊版本中就有變化。本文代碼以常見穩(wěn)定版本為準(zhǔn)如果你使用的版本更新需要按官方文檔微調(diào)參數(shù)。2.2 數(shù)據(jù)格式說明競賽提供的數(shù)據(jù)通常長這樣train.csv test.csv sample_submission.csv核心字段約定字段含義id樣本唯一標(biāo)識f_1 ~ f_n匿名特征列l(wèi)abel訓(xùn)練集目標(biāo)列取值為 0 或 1這是非常經(jīng)典的表格型競賽數(shù)據(jù)格式很多實(shí)戰(zhàn)項(xiàng)目里也能遇到類似結(jié)構(gòu)。2.3 評估方式二分類任務(wù)常見評估指標(biāo)包括準(zhǔn)確率Accuracy整體預(yù)測正確的比例適合正負(fù)樣本均衡的情況。AUCArea Under Curve衡量模型把正樣本排在前面的能力對類別不平衡不敏感。F1-Score精確率和召回率的調(diào)和平均對少數(shù)類更敏感。LogLoss衡量預(yù)測概率和真實(shí)標(biāo)簽之間的交叉熵?fù)p失。對于數(shù)據(jù)挖掘類競賽AUC 是最常見的指標(biāo)之一。因?yàn)樾庞每L(fēng)控、用戶流失預(yù)測、廣告點(diǎn)擊率預(yù)測這類場景關(guān)注的重點(diǎn)不是“預(yù)測是否準(zhǔn)確”而是“高風(fēng)險(xiǎn)樣本是否被排在前面”。3. 基線建模從零到第一個(gè)可提交結(jié)果3.1 數(shù)據(jù)加載與基礎(chǔ)檢查先加載數(shù)據(jù)觀察數(shù)據(jù)規(guī)模和缺失情況這是建模的第一步。import pandas as pd import numpy as np train pd.read_csv(train.csv) test pd.read_csv(test.csv) print(train shape:, train.shape) print(test shape:, test.shape) print(train columns:, train.columns.tolist()) print(label distribution:) print(train[label].value_counts()) # 缺失值檢查 missing_train train.isnull().sum() missing_train missing_train[missing_train 0].sort_values(ascendingFalse) print(columns with missing values in train:) print(missing_train)這段代碼做的事情很簡單卻非常重要。訓(xùn)練集和測試集的形狀可以讓我們判斷特征是否對齊標(biāo)簽分布能幫助我們判斷是否面臨類別不平衡問題缺失值統(tǒng)計(jì)結(jié)果則直接決定后續(xù)特征工程需要采用哪種填充策略。3.2 劃分驗(yàn)證集很多新手會直接拿全部訓(xùn)練數(shù)據(jù)訓(xùn)練模型然后在測試集上預(yù)測提交。這是非常危險(xiǎn)的因?yàn)槟銦o法評估模型真正的好壞也無法判斷是否過擬合。正確做法是先劃分出一部分訓(xùn)練數(shù)據(jù)作為本地驗(yàn)證集模擬線上評測。from sklearn.model_selection import train_test_split features [c for c in train.columns if c not in [id, label]] X train[features] y train[label] X_train, X_valid, y_train, y_valid train_test_split( X, y, test_size0.2, stratifyy, random_state42 ) print(X_train shape:, X_train.shape) print(X_valid shape:, X_valid.shape)這里使用stratifyy做分層抽樣保證訓(xùn)練集和驗(yàn)證集中正負(fù)樣本的比例和原始數(shù)據(jù)一致。如果不做分層處理在標(biāo)簽不平衡的數(shù)據(jù)集上驗(yàn)證集可能恰好缺少數(shù)類樣本導(dǎo)致評估結(jié)果失真。3.3 第一版 LightGBM 模型LightGBM 是表格型數(shù)據(jù)建模中最常用的模型之一訓(xùn)練速度快效果穩(wěn)定對缺失值和異常值有一定容忍度。這里先給一版最簡單的訓(xùn)練代碼不做過多的特征工程目的是快速跑通流程拿到一個(gè)可用分?jǐn)?shù)。import lightgbm as lgb from sklearn.metrics import roc_auc_score params { objective: binary, metric: auc, learning_rate: 0.05, num_leaves: 31, max_depth: -1, min_child_samples: 20, feature_fraction: 0.8, bagging_fraction: 0.8, bagging_freq: 1, lambda_l1: 0.1, lambda_l2: 0.1, random_state: 42, verbosity: -1, } d_train lgb.Dataset(X_train, labely_train) d_valid lgb.Dataset(X_valid, labely_valid) model lgb.train( params, d_train, num_boost_round10000, valid_sets[d_valid], callbacks[ lgb.early_stopping(100), lgb.log_evaluation(200) ] ) valid_pred model.predict(X_valid, num_iterationmodel.best_iteration) auc roc_auc_score(y_valid, valid_pred) print(Validation AUC {:.6f}.format(auc))跑完之后用同樣的邏輯預(yù)測測試集把結(jié)果保存成提交格式。test_pred model.predict(test[features], num_iterationmodel.best_iteration) submission pd.DataFrame({ id: test[id], label: test_pred }) submission.to_csv(submission_v1.csv, indexFalse) print(submission.head())第一版模型可能已經(jīng)能拿到一個(gè)不錯(cuò)的分?jǐn)?shù)也就是進(jìn)入賽區(qū)一等獎(jiǎng)門檻的分?jǐn)?shù)。但距離國賽線往往還差一口氣。3.4 基線結(jié)果說明基線版本的作用不是炫技而是建立一個(gè)可參照的起點(diǎn)。之后的任何優(yōu)化都需要和這個(gè)基線做對比否則很難判斷某個(gè)操作到底是提升還是降低。從實(shí)際比賽經(jīng)驗(yàn)來看一份簡單的 LightGBM 基線通常能排進(jìn)中上游位置。真正拉開差距的是后續(xù)的特征工程、交叉驗(yàn)證策略、調(diào)參與融合。4. 特征工程的幾個(gè)關(guān)鍵方向4.1 缺失值統(tǒng)計(jì)特征在匿名特征的數(shù)據(jù)集中缺失值本身往往就是信息。某個(gè)樣本缺失的特征特別多可能表示這個(gè)樣本本身質(zhì)量不高或者它的數(shù)據(jù)來源和完整樣本不同。def add_missing_features(df): df df.copy() df[null_count] df.isnull().sum(axis1) df[null_ratio] df[null_count] / df.shape[1] return df train add_missing_features(train) test add_missing_features(test)4.2 數(shù)值分布聚合特征如果特征列全部是數(shù)值型可以把每一行當(dāng)作一個(gè)向量計(jì)算它的統(tǒng)計(jì)量。這樣做的依據(jù)是在某些數(shù)據(jù)生成場景下同一類樣本的特征分布在均值、方差等統(tǒng)計(jì)量上會呈現(xiàn)出相似的模式。def add_stats_features(df): df df.copy() num_cols [c for c in df.columns if c.startswith(f_)] df[row_mean] df[num_cols].mean(axis1) df[row_std] df[num_cols].std(axis1) df[row_min] df[num_cols].min(axis1) df[row_max] df[num_cols].max(axis1) df[row_range] df[row_max] - df[row_min] df[row_skew] df[num_cols].skew(axis1) return df train add_stats_features(train) test add_stats_features(test)這種行級統(tǒng)計(jì)特征在一些匿名特征競賽里非常有效但要注意不要過度使用否則容易把噪聲也學(xué)進(jìn)去。4.3 特征交互簡單的特征之間的加減乘除組合有時(shí)可以捕捉到單個(gè)特征無法表達(dá)的關(guān)系。def add_interaction_features(df): df df.copy() df[inter_1] df[f_1] * df[f_2] df[inter_2] df[f_3] df[f_4] df[inter_3] df[f_5] / (df[f_6] 1e-6) return df注意交互特征不是越多越好。每一輪新增特征之后都要用交叉驗(yàn)證重新評估。如果分?jǐn)?shù)沒有提升甚至下降了應(yīng)該果斷刪除這部分特征。4.4 特征篩選特征篩選的核心思路是保留對模型預(yù)測有幫助的特征刪除冗余或無用的特征。推薦使用 LightGBM 的特征重要性做初步排序篩選出重要性為 0 的特征然后結(jié)合驗(yàn)證分?jǐn)?shù)去驗(yàn)證刪除這些特征后的效果。importance pd.DataFrame({ feature: model.feature_name(), importance: model.feature_importance(gain) }).sort_values(importance, ascendingFalse) zero_importance importance[importance[importance] 0][feature].tolist() print(zero importance features count:, len(zero_importance)) print(zero_importance[:20])5. 交叉驗(yàn)證策略為什么你的分?jǐn)?shù)會虛高5.1 單次劃分的問題前面我們使用train_test_split劃分了一次訓(xùn)練集和驗(yàn)證集。這種方法速度快適合快速迭代但存在明顯的問題驗(yàn)證結(jié)果對劃分方式敏感。同一個(gè)模型換一個(gè)隨機(jī)種子驗(yàn)證分?jǐn)?shù)可能波動(dòng)很大。沒有充分利用數(shù)據(jù)。訓(xùn)練集只用了 80% 的數(shù)據(jù)信息有浪費(fèi)。5.2 K 折交叉驗(yàn)證K 折交叉驗(yàn)證的思路是把訓(xùn)練數(shù)據(jù)分成 K 份每次用 K-1 份訓(xùn)練1 份驗(yàn)證循環(huán) K 次最終得到 K 組驗(yàn)證分?jǐn)?shù)并取平均。from sklearn.model_selection import StratifiedKFold def train_kfold(X, y, params, n_splits5, seed42): skf StratifiedKFold(n_splitsn_splits, shuffleTrue, random_stateseed) oof np.zeros(len(X)) models [] scores [] for fold, (tr_idx, va_idx) in enumerate(skf.split(X, y)): X_tr, X_va X.iloc[tr_idx], X.iloc[va_idx] y_tr, y_va y.iloc[tr_idx], y.iloc[va_idx] d_train lgb.Dataset(X_tr, labely_tr) d_valid lgb.Dataset(X_va, labely_va) model lgb.train( params, d_train, num_boost_round10000, valid_sets[d_valid], callbacks[ lgb.early_stopping(100), lgb.log_evaluation(500) ] ) fold_pred model.predict(X_va, num_iterationmodel.best_iteration) oof[va_idx] fold_pred fold_auc roc_auc_score(y_va, fold_pred) scores.append(fold_auc) models.append(model) print(ffold {fold 1} AUC {fold_auc:.6f}) print(mean AUC {:.6f} (/- {:.6f}).format(np.mean(scores), np.std(scores))) return oof, models, scores調(diào)用方式oof, models, scores train_kfold(X, y, params, n_splits5)最終oof是所有訓(xùn)練樣本的折疊外預(yù)測結(jié)果用它計(jì)算的整體 AUC 可以作為模型真實(shí)泛化能力的參考。5.3 時(shí)間序列數(shù)據(jù)的特殊處理如果數(shù)據(jù)帶有明顯的時(shí)間順序那么隨機(jī)劃分交叉驗(yàn)證是錯(cuò)誤的選擇。因?yàn)橛?xùn)練集和驗(yàn)證集之間會產(chǎn)生時(shí)間上的重疊導(dǎo)致驗(yàn)證分?jǐn)?shù)虛高。這種情況下應(yīng)該使用時(shí)序劃分訓(xùn)練集使用較早時(shí)間段的數(shù)據(jù)驗(yàn)證集使用較晚時(shí)間段的數(shù)據(jù)。train_time train.sort_values(time_col) cutoff int(len(train_time) * 0.8) train_part train_time.iloc[:cutoff] valid_part train_time.iloc[cutoff:]如果比賽沒有明確給出時(shí)間列可以通過分析特征分布隨樣本序號的變化來判斷是否存在時(shí)序性。6. 調(diào)參經(jīng)驗(yàn)真正有用的幾個(gè)方向6.1 學(xué)習(xí)率與迭代次數(shù)學(xué)習(xí)率越低模型越不容易過擬合但需要的迭代次數(shù)也越多。常見做法是先用一個(gè)較大的學(xué)習(xí)率快速確定大致的迭代范圍再降低學(xué)習(xí)率進(jìn)行細(xì)化訓(xùn)練。一個(gè)常用的技巧是使用帶衰減的learning_rate或者在訓(xùn)練中期手動(dòng)降低學(xué)習(xí)率繼續(xù)訓(xùn)練。6.2 樹模型復(fù)雜度控制如果本地驗(yàn)證分?jǐn)?shù)很高但線上分?jǐn)?shù)明顯低于預(yù)期通常是過擬合了。此時(shí)應(yīng)該增加正則化參數(shù)或者降低模型復(fù)雜度減小num_leaves增大min_child_samples增大lambda_l1和lambda_l2降低feature_fraction和bagging_fraction6.3 類別不平衡處理如果數(shù)據(jù)中正樣本占比很低比如不足 5%需要考慮以下處理方式使用is_unbalanceTrue讓 LightGBM 自動(dòng)調(diào)整樣本權(quán)重。手動(dòng)設(shè)置scale_pos_weight。在評估時(shí)重點(diǎn)關(guān)注 AUC 而不是 Accuracy。對預(yù)測概率做閾值搜索找到 F1 最優(yōu)的閾值。# 計(jì)算正負(fù)樣本比例 pos_num (y 1).sum() neg_num (y 0).sum() params[scale_pos_weight] neg_num / pos_num6.4 為什么不要在參數(shù)上花太多時(shí)間在數(shù)據(jù)挖掘競賽中參數(shù)調(diào)優(yōu)帶來的提升幅度通常有限大概在 0.001 到 0.003 的 AUC 范圍內(nèi)。而一個(gè)穩(wěn)定的交叉驗(yàn)證策略、一份高質(zhì)量的特征工程可能帶來 0.01 甚至更高的提升。因此合理的分配方式是特征工程占 50% 精力。交叉驗(yàn)證與融合策略占 30% 精力。單模型調(diào)參占 20% 精力。7. 翻車復(fù)盤國賽門檻差在哪7.1 本地分?jǐn)?shù)與線上分?jǐn)?shù)不一致這是本次比賽最核心的問題之一。復(fù)盤時(shí)發(fā)現(xiàn)本地交叉驗(yàn)證 AUC 和線上公開榜分?jǐn)?shù)之間始終存在大約 0.004 到 0.006 的差距。造成這個(gè)現(xiàn)象的原因可能有很多可能性說明驗(yàn)證方法數(shù)據(jù)分布不同訓(xùn)練集和測試集來自不同分布比較特征分布、使用對抗驗(yàn)證隨機(jī)種子不穩(wěn)定模型對隨機(jī)種子敏感換 5 個(gè)種子跑多次觀察分?jǐn)?shù)波動(dòng)特征泄漏某些特征間接包含了標(biāo)簽信息檢查特征與標(biāo)簽的異常高關(guān)聯(lián)過擬合模型記住了訓(xùn)練集噪聲增大正則化、減少迭代7.2 對抗驗(yàn)證檢測訓(xùn)練集和測試集是否存在分布偏移對抗驗(yàn)證的思路非常簡單把訓(xùn)練集和測試集分別打上標(biāo)簽 0 和 1然后訓(xùn)練一個(gè)分類器去區(qū)分它們。如果分類器很容易區(qū)分出哪個(gè)樣本來自訓(xùn)練集、哪個(gè)樣本來自測試集就說明兩個(gè)數(shù)據(jù)集存在明顯的分布差異。from sklearn.model_selection import cross_val_score train[is_test] 0 test[is_test] 1 all_data pd.concat([train, test], axis0, ignore_indexTrue) features [c for c in all_data.columns if c.startswith(f_)] X_adv all_data[features] y_adv all_data[is_test] model_adv lgb.LGBMClassifier( n_estimators100, learning_rate0.1, num_leaves31, random_state42 ) scores cross_val_score(model_adv, X_adv, y_adv, cv5, scoringroc_auc) print(adversarial validation AUC:, np.mean(scores))如果對抗驗(yàn)證的 AUC 接近 0.9 甚至更高說明訓(xùn)練集和測試集之間的差異非常大。此時(shí)即使本地分?jǐn)?shù)再高也不能保證線上分?jǐn)?shù)穩(wěn)定。7.3 特征泄漏的排查特征泄漏指的是特征中包含了未來信息或標(biāo)簽信息導(dǎo)致模型在訓(xùn)練時(shí)“偷看”了答案。匿名特征中很難直接發(fā)現(xiàn)泄漏但可以通過以下方式排查查看哪些特征與標(biāo)簽的相關(guān)性異常高。查看有多少特征在訓(xùn)練集和測試集中的分布完全一致。嘗試單獨(dú)使用某個(gè)特征訓(xùn)練模型看 AUC 是否異常高。如果發(fā)現(xiàn)某個(gè)特征單獨(dú)訓(xùn)練就能達(dá)到很高的 AUC比如超過 0.85那么大概率存在泄漏。這種特征在測試集中可能并不可靠。7.4 模型融合的利與弊模型融合通常能提升分?jǐn)?shù)但如果使用不當(dāng)也會帶來負(fù)面影響。本次復(fù)盤發(fā)現(xiàn)在單模型基礎(chǔ)上加入簡單的加權(quán)融合后本地分?jǐn)?shù)提升了 0.002但線上分?jǐn)?shù)反而沒有明顯變化甚至略有下降。原因可能是融合時(shí)使用的權(quán)重過擬合了本地驗(yàn)證集導(dǎo)致融合后的模型泛化能力不如單個(gè)最優(yōu)模型。更穩(wěn)健的做法是在多個(gè)隨機(jī)種子、多個(gè)折上評估融合效果。融合時(shí)采用簡單的平均而非復(fù)雜加權(quán)。避免融合太多相關(guān)性過高的模型。8. 常見問題與排查思路8.1 問題表格問題現(xiàn)象常見原因解決思路本地 CV 很高線上分?jǐn)?shù)低過擬合增大正則化、降低模型復(fù)雜度不同隨機(jī)種子分?jǐn)?shù)波動(dòng)大數(shù)據(jù)量不足或模型不穩(wěn)定增加交叉驗(yàn)證折數(shù)、使用 bagging特征工程加了特征反而掉分特征中帶噪聲或冗余使用特征重要性分析并篩選訓(xùn)練速度越來越慢特征數(shù)量過多或數(shù)據(jù)量增大減少特征、使用 GPU 版本預(yù)測結(jié)果全是同一類閾值選擇不當(dāng)或模型退化檢查預(yù)測分布、調(diào)整閾值LightGBM 訓(xùn)練報(bào)錯(cuò)版本差異導(dǎo)致參數(shù)不兼容檢查參數(shù)名和 API 變化8.2 排查順序建議當(dāng)模型分?jǐn)?shù)不符合預(yù)期時(shí)按以下順序排查檢查評估指標(biāo)是否用錯(cuò)。檢查數(shù)據(jù)預(yù)處理是否泄漏。查看本地交叉驗(yàn)證的穩(wěn)定性。用對抗驗(yàn)證判斷訓(xùn)練集和測試集分布差異。檢查預(yù)測概率分布是否正常。最后才考慮參數(shù)調(diào)優(yōu)和模型融合。這個(gè)順序的核心邏輯是先排除數(shù)據(jù)和評估上的問題再去動(dòng)模型。9. 最佳實(shí)踐與工程建議9.1 實(shí)驗(yàn)記錄與版本管理比賽過程中會嘗試大量的特征組合和模型參數(shù)如果沒有實(shí)驗(yàn)記錄很容易重復(fù)試錯(cuò)白白浪費(fèi)時(shí)間。推薦用一張表格記錄每次實(shí)驗(yàn)的信息實(shí)驗(yàn)版本特征列表模型參數(shù)驗(yàn)證 AUC線上分?jǐn)?shù)備注v1 基線f_1 ~ f_20默認(rèn)參數(shù)0.82310.8204第一版v2 加統(tǒng)計(jì)特征 row_mean 等默認(rèn)參數(shù)0.83100.8277有效同時(shí)每個(gè)版本的代碼最好使用 Git 打上標(biāo)簽方便隨時(shí)回滾。9.2 模型保存與預(yù)測管理每跑完一個(gè)實(shí)驗(yàn)建議把模型、特征列表、預(yù)測結(jié)果都保存下來避免后續(xù)需要重新訓(xùn)練。import joblib # 保存模型 joblib.dump(model, model_v2.pkl) # 保存特征列表 with open(features_v2.txt, w) as f: f.write(\n.join(features)) # 加載模型 model joblib.load(model_v2.pkl)9.3 合理控制時(shí)間分配很多隊(duì)伍在比賽剛開始時(shí)花大量時(shí)間做數(shù)據(jù)可視化在后期才匆忙調(diào)參提交導(dǎo)致時(shí)間分配失衡。建議按以下節(jié)奏第一天讀取數(shù)據(jù)、建立基線、跑通提交流程。前 40% 時(shí)間特征工程。中間 30% 時(shí)間交叉驗(yàn)證、調(diào)參、模型選擇。后 30% 時(shí)間融合、閾值優(yōu)化、細(xì)節(jié)打磨。9.4 關(guān)注泛化能力而不是刷分競賽的終極目標(biāo)不是讓本地驗(yàn)證分?jǐn)?shù)最大化而是讓線上分?jǐn)?shù)盡量高且穩(wěn)定。任何時(shí)候都不要為了刷高本地分?jǐn)?shù)而做出過度擬合驗(yàn)證集的操作。常見的過度擬合行為包括反復(fù)查看驗(yàn)證集結(jié)果并針對驗(yàn)證集調(diào)參。使用過小的驗(yàn)證集導(dǎo)致結(jié)果偶然性過大。在驗(yàn)證集上做特征選擇導(dǎo)致驗(yàn)證集信息泄漏進(jìn)模型。這些行為短期看分?jǐn)?shù)很高一旦換到新的測試集上效果就會打回原形。9.5 留意數(shù)據(jù)安全與合規(guī)如果比賽數(shù)據(jù)包含用戶信息、業(yè)務(wù)敏感字段需要注意不要將數(shù)據(jù)上傳到不可信的第三方平臺。不要將數(shù)據(jù)用于比賽之外的用途。評審論文或開源代碼時(shí)避免公開原始數(shù)據(jù)。對輸出的預(yù)測結(jié)果和模型文件做好權(quán)限控制。對于生產(chǎn)環(huán)境中的數(shù)據(jù)建模更需要遵守最小權(quán)限原則只使用完成任務(wù)所必需的數(shù)據(jù)不額外采集、不保留過期數(shù)據(jù)。10. 總結(jié)與學(xué)習(xí)路線這一場比賽最大的教訓(xùn)是決定晉級的不只是模型的“上限”還有模型的“下限”。賽區(qū)一等獎(jiǎng)靠上限拿到的而國賽門檻考驗(yàn)的是你在各種意外情況下依然能夠穩(wěn)定輸出的能力。從技術(shù)角度來說這次比賽讓我重新梳理了幾個(gè)核心能力也推薦剛接觸競賽的同學(xué)按這個(gè)順序去學(xué)習(xí)和實(shí)踐掌握 pandas 和 numpy 的數(shù)據(jù)處理基本功。熟悉 LightGBM / XGBoost 的原理和常見參數(shù)。學(xué)會交叉驗(yàn)證與對抗驗(yàn)證建立起“分?jǐn)?shù)可信度”的判斷力。多做特征工程練習(xí)理解哪些特征組合能帶來真實(shí)提升。如果還有精力再深入學(xué)習(xí)模型融合和深度學(xué)習(xí)模型。今后再遇到類似的任務(wù)型建模項(xiàng)目我會先花 30 分鐘把數(shù)據(jù)分布、缺失值、標(biāo)簽比例看清楚再動(dòng)手寫模型。先確認(rèn)評估方式再談?wù){(diào)參。這份復(fù)盤如果能幫你少踩幾個(gè)坑或者在你站在國賽門檻前的時(shí)候多一分從容那就很值得了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月丁香 啪啪| 婷婷涩五月| 丁香五月婷婷六月婷| 五月丁香网站| 99热xx| 亚洲激情亚洲激情 | 伊人99久久| 97色永久免费视频| 人妻内射视频| 丁香九月激情在线视频| 综合狠狠干| 九九性爱网| 久久综合66| 99re思思| 久碰视频| 婷婷五月丁香久久| 五月婷婷激情久久| 在线成人视频免费| 激情5月婷婷| 风流少妇A片一区二区蜜桃| 九热精品| 亚洲黄色精品| 婷婷五月18永久免费网站| 极品五月天| 丁香五月激情五月| 天天噜天天插| 婷婷丁香18| 国产精品美女| 九九热免费视频| 日韩不卡123| 成人色色综合| 久久九九网| 亚洲旡码| 国产白丝在线一区| 天堂综合久| 婷婷开心激情五月激情网| 无码 av电影| 天天色综合天天| 婷婷内射视频在线| 99精品人人| 六月婷婷开心| 婷婷久久婷婷| 五月丁香成人网| 色五月激情问网站| 欧美成人网99网| 色吧婷婷五月亚洲| aaa日韩| 五月综合激情| 婷婷五月天六月综合| 狠狠干婷婷| 色婷另类| 亚洲视频五区| 亚洲永久免费| 色五月婷婷五月| 99re在线精品视频| 天天拍夜夜爽日日| 国产乱妇无乱码大黄AA片| 五月天五月色婷婷综合| 激情综合五| 亚洲激情丁香五月天色| 性做久久久久久久免费看 | 五月天五月色婷婷综合| 丝袜大香蕉| ww亚洲ww在线观看| 久久久婷婷| 久久综合丁香五月| 国产精品18久久久| 久久午夜理论| 色婷婷综合久久| 六月婷婷狠狠做| 国产69久久久欧美黑人A片| 五月婷婷综合网在线播放| 婷婷五月天综合网| 婷婷五月丁香色情| 婷婷五月天亚洲综合网| 五月天天天色| 亚洲乱码w在线观看| 五月天六月色| 日韩av在线免费观看| 99热这里只有精品99| 伊人激情网| 亚洲色情网站| 婷婷五月18永久免费网站| 丁婷婷五月天在线播放| w婷婷五月婷婷w| 成人av在线电影| 青青草轻轻操| 日日夜夜天天| 婷婷五月丁香五月天| 天天日中文| 五月婷婷九| 淫视馆av三区| 深爱激情综合| 婷婷五月电影院| 激情久久久| 五月天社区| 丁香五月成人社区| 69午夜成人影片| 丁香久久在线| 五月天色五月| 激情五月综合网| 婷婷五月激情中文字幕| 五月婷在线色视频| 九九久久高清| 五月五婷婷| 亚洲无码免费看| 色五月综合资源推荐| 精品人妻在线| 色无码| 99久久99视频只有精品| 青柠影视免费高清电视剧| www.丁香黄色五月天人与| 久久99草五月婷婷| 色婷婷免费观看| 99综合| 丁香花色色网| sisi热国产| 婷婷在线五月综合| 色色日本欧美| 五月丁香色色综合| 午夜]香婷婷深深爱| 色五月丁香五月| 9l视频自拍9l九色9l成人| 另类专区在线观看| 草婷婷在线| 激情av网| 五月婷婷激情五月| 五月丁香在线婷婷美女| 激情五月丁香社区| 国外亚洲成AV人片在线观看| 亚洲中文乱字字幕在线永久| 日本va欧美va欧美va精品| 怡红院AV亚洲一区二区三区H| 欧洲第一久色| 九九99免费理论| www.婷婷| 99爱在线免费视频| 天天爽成人综合网站| 疯狂做受XXXX高潮A片| 99热这里只有免费| 丁香六月综合激情| 亚洲AV成人在线观看| 九九热精品在线| 超碰人人操人人干| 五月丁香综合色婷婷| 综合图片色色| 91免费在线视频6| 综合久久五月| 欧美色色色色色| 亚洲99在线| 停停五月色宗合| 深爱激情五月婷婷| 五月丁香婷婷三级| 97在线视频观看| 不卡的AV网站| 日本久久天堂| 婷婷色网站| 五月婷婷丁香大陆免费| 无遮羞AV| 中文字幕在线免费观看视频| 伊人9999| 9色在线| 日韩青青| 99热91| 婷婷五月天性| 婷婷激情五月综合| 亚洲国产另类av| 色综合激情| 午夜国产精品AV在线播放| 久久9精品视频| 操操啪| www.henhengan| 99自拍视频| 久久久久9久无码视频| 99热成人精品网站| 欧美婷| 99九九视频| 最近中文字幕在线中文视频| 亚洲成人AV在线播放| 五月婷婷co.m| 久久99婷婷| 9热在线| 99操碰| 成人丁香婷婷五月天| 九九99九九99偷拍视频免费看| 免看黄大片AA | 激情婷婷五月| 丁香五月婷久久| 激情四射五月天偷偷看婷婷| 激情久久丁香| 久热99中文字幕| 涩五月婷婷| 婷婷激情五月色综合| 99re热精品视频国| 一本久道综合99| 涩丁香| 成人视屏在线观看| 人人草开心五月天| 欧美丁香五月天| 99精品自拍视频| 九九99九九精品视频| 91一起操| 玖玖色综合网| 激情欧美丁香五月| 99精品网站| 欧美99| 青青草婷婷久久| www.五月天| 九九人人精品| 五月婷婷激情视频| 开心五月综合激情综合五月| 五月婷婷开心深| 色一情一乱一乱91Av| 亚洲成人影视在线| 操99| 91九色精品熟女内射| 婷婷五月天在线观看免费| WWW夜夜| 大香蕉五月天婷婷丁香91| 婷婷综合在线网| 五月激情在线| 婷婷五月天综合在线| 五月色综合| 99爱免费在线视频| 五月丁香六月婷婷色| 欧美色色色| 97婷婷狠狠久久综合9色| 五月天婷婷综合色| 国产精品18久久久| 99久久9| 97碰碰在线看视频免费| 欧美激情综合色综合啪啪五月| 婷婷之六月丁香| a色色片| 丁香六月啪啪啪| 婷婷五月欧美AA片免费| 美女久久天堂| 九九操屄| 色欲色欲久久宗合网| 色色亚洲| 五月综合激情| 超碰99在线观看| 97中文在线| 这里只有精品久久| 丁香五月六月综合欧美| 激情深爱五月| 狠狠第四色| 碰人人97| 拍色综合| 在线一起草av| 亚洲无码免费看| www,99视频| 三人荫蒂添的好舒服A片| 超碰人人草| 91操操| 婷婷五月综合网| 人人摸人人澡人人| 99视频激情四射| 淑女丝袜bi操逼123| 97色色色色色色色色色色色色色| 五月丁香综合啪啪対白| 五月丁香婷婷激情久久| 精品99爱免费视频在线观看| 色五月天网| 婷婷久久国产视频| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 丁香五婷婷| 婷五月天| 五月精品| 欧美综合五月丁香六月婷| 99.N在线视频| 色99在线视频| 婷婷色五月天在线| 99热免费在线| 开心激情婷婷| 久热超碰| 成人午夜天| 国产高潮A片羞羞视频涩涩| 免费看欧美成人A片无码| 六月丁丁香| 九月丁香| 国产偷人爽久久久久久老妇APP| 婷婷五月天影院| 国产精品色| 五月婷婷六月色| 大香蕉伊人久久| www五月| 色五月婷婷五月天| 超碰成人公开| 久久天堂女人| 久久视频婷婷| 色婷婷综合久久久久| 久久久999精品| 日韩婷婷| 亚洲在线激情婷婷五月| 五月丁香久久久| 开心激情站婷婷五月天| 五月婷婷婷婷| 91丨九色丨熟女| 五月天成人综合| 91碰碰碰| 丁香五月成人| 五月婷婷碰碰| 激情五月婷婷视频一区二区三区| 亚洲最大在线| 五月丁香怕怕综合| 日日懆天天懆| 成年人丁香五月| 久青操| 久久99久久99精品免观看粉嫩| 久久总和99| 可以看的AV| 婷婷五月天AV| 99噜噜噜在线播放| 97超喷视频在线观看| 色婷婷AV在线观看| 五月婷在线| 桃色成人网| 影音先锋五月婷婷| 热久久婷婷| 97碰人人操| 色综合婷婷| 天天五月香欧美| 五月丁香六月婷婷中文版| 伊人久久五月天| 天天摸天天做天天爱天天爽| 天天久久狠狠色综合| 九九在线精点品| 国产午夜精品一区二区三区四区| 无码人妻一区二区一牛影视| 啊V视频在线观看| 99国产小视频免费观看| 五月婷婷激情综合视频| 91要啪| 五月天综合色| 超极99精品| 激情五月婷婷啪啪| 99热只有精品在线播放| 99色一| 国产激情婷婷| 另类小说色婷婷| 草草女人亚洲| 天天综合久久| 二人电影免费版在线观看| 色婷五月| 婷婷五月丁香综合激情| 天天插天天插| 婷婷色情五月| 玖月婷婷爱丁香| 97五月天婷婷| 久久久久久激情| 成人精品视频99在线观看免费| 超碰成人影视| 久久草大香蕉| 5月婷婷激情6月| 五月天.com| 99爱这里只有精品免费视频| 亚洲区在线| 1024操逼视频| 婷婷丁香一月| 9l视频自拍九色9l视频在线观看| 九九热在线视频| 琪琪色网址| 九色91国产| 六月丁香五月激情网| 婷婷五月天激情文学| 天天日,天天插| 久久婷综| 99在线精品观看99| 四色AVwww| 超碰精品在线| 99超级超级超级碰| 婷婷六月丁香在线| 99亚洲精品视频| 丁香婷婷影院| 97狠狠碰| 五月丁香va| 五月丁香六月婷婷激情视频在线观看免费| 日日夜夜干| 九九综合五月欧美| 玖玖资源部在线播放| 美女天天爽| 99久热| 午夜丁香 婷婷| 操笔无码| 日韩在线99| 三人荫蒂添的好舒服A片| www91久久| 五婷婷六月合| 婷婷月综合| 人妻第九页| 色五月色五天色情网| 99热最新网址| 日本va欧美va国产激情| WWW久| 丁香六月av| 国产va视频| 专区无日本视频高清8| 九九热婷婷| 国产99视频永久免费| 天天日天天干天天爽| AV人人操| 在线观看亚洲AV| 激情五月婷婷色综合| 99在线精品视频| 全部老头和老太XXXXX| 色五月偷偷| 五月婷六月丁香| 超碰免费在线| 久久天堂女人| 五月色欧洲| 99色天堂| 亚洲有码在线视频| 五月天堂在线| 婷婷色在线| 日本97在线视频| 丁香六月激情蜜桃| 99色综合| 性生活视频98791| 色噜噜婷婷| 激情五月婷| 免费婷婷| 婷婷八月丁香激情综合| 亚州第一黄网| 色视五月天婷婷| 婷婷丁香久久| 影音先锋男人资源站一区二区| 九九久久五月天综合伊人| 日本五月婷婷| 综合99久久| 五月激情六月宗合| www.丁香黄色五月天人与| 激情网五夜婷婷| 天天综合久久| www.com任你艹| 五月天成人在线| 激情五月丁香五月| www色色色com| 8区视频在线| 久9热插入| 99er在线观看| 国产亚洲精品久久久久久郑州| 五月婷婷久久久| 综合网亚洲| 国产免费一区二区三州老师F1……| 青青草a在线| 99热啪啪| 色婷婷操逼| 丁香五月天激情综合| 欧美日韩成人h| 五月婷婷综合色啪| 99爱视频在线观看这里只有精品| 色婷婷综合久久久久| 色婷婷激情| 9色免费网| 五月丁香六月婷婷网站| 色色色色丁香| 天天爱天天做天天爽| 九九成人视频| www.99热国产| 在线99热| 九九热这里只有精品23| 激情五月天激情小说| 亚洲熟妇AV乱码在线观看| 超碰成人免费| 伊人婷婷五月天| 激情婷婷五月天丁香| 欧美综合激情五月天| 九九成人视频| 成人五月天色天堂| 亚洲激情AV| 久er免费视频| 六月综合婷婷开心伊人| 丁香五月婷婷激情小说| 草草视频91| 99re久久| 97色干| www热久久yy9| 激情丁香五月天图片| www久久久久久久久久久久久久久久久| 丁香婷婷人妻综合网| 成人在线日韩| 五月婷高清视频| 99久在线精品99re8热| 久久永久网址| 日本久久99| 99热这里只有精品在线免费| 天天拍天天操| www.夜夜夜| 被强行糟蹋的女人A片| 99热精品10| 欧洲色色| 激情 婷婷 插| 五月成人丁香av91| 色五月视频,小说| 久久婷婷五月综合色区| 涩五月色婷婷| 99久久婷婷五月| 九九精品在线网| 亚洲超碰青涩| 噜噜噜噜噜色| 91综合在线观看| 丁香五月婷婷香| 国产亚洲成AV人片在线| 国产精品久久久海的味道| 超碰人人99| 夜夜大香蕉婷婷丁香| 精品成人在线观看| 91久久1118| 婷婷大香蕉| 久久性爱视频| 亚洲尤物在线| 色九月丁香婷婷蜜桃在线观看| 99综合一区| 操日本色| 超碰com| 丁香五月婷婷基地| 婷婷五月天网| 日韩久久这里只有精品| 日本99婷婷| 色丁香五月| 草草视频91| 日本99久久| 我爱宗和色| 91蝌蚪窝视频在线| 天堂AV在线看| 97婷婷在线| 综激情网| 亚洲视频在线观看99| 国产精产国品一二三在观看| 激情丁香六月| WWW色色色COm| 99热伊人| 天天综合网亚洲综合网| 丁香五月色情av| 丁香五月天堂| 成人日韩欧美| caop视频| 日日噜狠狠色综合久| 成人一级片| 97操操| 五月丁六月婷| 久久网婷婷| 婷婷久久大香蕉| 99这里只有免费的小视频在线观看| 国产黄大片在线观看画质优化| 亚洲色情网站| 先锋五月婷婷丁香草草| 国产SUV精品一区二区883| 无码色色| 日本欧美成人片AAAA| 激情丁香五月婷婷啪啪| 久久久性爱视频| 99色视频| 夜夜骑夜夜撸| 人人爽天天莫| 182.t午在线观看| 色色五月婷婷久久| 日本狠狠爽| 日本天堂网站99| 热久国产| www.五月激情.com| 九月婷婷综合网| 九九热精品| 99视频一区| 五月婷婷婷综合网| 伊人久久婷婷| 五月丁香性| 五月婷婷激情刺激| 欲色人妻| 99热这里只有精品3| 激情伊人五月婷婷久久| 亚洲超级碰| 美日韩成人| 九月婷婷丁香| 五月丁香婷婷色色色| 无码免费人妻A片AAA毛片西瓜 | 五月丁香中文字幕| 亚洲综合在线伊人婷| 中文字幕日本最新乱码视频 | 香蕉曰比| 精品久久久人妻| 久久99成人性爱高清视频| 久草嫩草在线观看| 色欲色香综合网| 丁香六月婷婷缴情欧美| 久久久五月天| 久艹大香蕉| 婷婷五月天激情电影| 五月天国产婷婷精品视频在线| 人人爱天天摸摸天天爱| 亚洲这里只有精品| 婷婷五月天激情小说网站| AA片在线观看视频在线播放| 婷婷激情六月| 日 日干 日日做| 婷婷五月色图| 狠狠精品干练久久久无码中文字幕| 另类激情五月在线视频欧美| 一本久久亚洲五月婷婷| 欧洲亚洲午夜| 91九色超碰| 亚洲九区| 麻豆五月丁香婷婷| 97人人操人人爽| 97色综合| www.yw尤物| 亚洲五月色| 丁香五月天欧美成人| 六月丁香成人| 成人美女网| www.五月婷婷| av性爱网站| wWw色五月| 婷婷终合色图| 五月天开心色色网| 久久久免费精彩视频| 亚洲色网址| www.狠狠狠.com| 另类激情五月| 综合一啪| 丁香网五月天| 激情深爱五月天| 五月丁香六月婷婷色情| 日本在线噜噜| 五月激情四射婷婷丁香| 九洲一级A片| 色五月激情图片| 亚洲无码99| 97碰| 噜噜色噜噜网| 性 色 婷婷| 人人操97| 91xxxx九色| 色婷婷8| 婷婷91| www.五月天色色.com| 欧美日韩AAA| 色久婷婷网| 无码啪啪| 91嫩草久久| H亚洲| 国产美女无遮挡裸体毛片A片| 伊人久久大香网| 色狠狠婷婷| 开心五月婷婷99| 六月欧美综合色情| 色婷婷丁香五月天| 久久久久8888| 99久久.www| 色天使久久综合| 男男野外做爰全过程69| 可以免费观看的AV| 99综合免费视频| 中文字幕激情综合| 人。妻久久| 蜜桃婷婷五月| 另类图片天天影视在线观看| 98永久精品| 丁香久久激情俄| 色色色com| 国产真人做爰视频免费| 久久五月丁香| 激情色播| 日韩啪啪网| 99热只有| 26uuu精品国产| 五月婷婷婷自由综合| 日本五月丁香| 91操色| 看婷婷五月天网| 九九亚洲无码| 丁香婷婷婷婷十二月在线观看视频| 亚洲视频一区| 中字幕视频在线永久在线观看免费| www.久热| 激情小说在线视频| 天天干天天日天天操| 六月激情婷婷| www久久99| 亚洲av成人在线| 五月天丁香婷婷社区| 99性色| 色婷婷精品| 天天插天天插天天插| 婷婷五月婷婷五月| 久久99久久99精品免观看软件 | 精品9l九九九九九77777| 琪琪色综合网站| 男同91| 成人网在线观看视频| 久热免费视频| 九九热精品| 日亚二欧美| 色色射| 丁香五月六月婷婷殴美综合| 五月开心深爱激情网| 五月丁香无码视频| 婷婷成人五月天成人文学小说| 天天做天天摸| 色色性爱视频| 丁香六月婷婷色播| 色婷六月| 91热在线| 天天天干夜夜夜操| 五月丁香综合| 中文字幕丰满孑伦无码专区| 九九99九九精品免费| 婷婷色五月大香蕉在线| 成人精品免费在线观看| 超级碰碰一区| 亚洲激情| 色婷婷五月综合在线| 久久精品63| www激情| 99er这里只有精品视频| 天天免费成年人视频| 婷婷激情六月中文| 五月婷婷在线观看| 五月天另类小说| 丁香五月人妻| 婷色五月天| 色99日韩| 99热在线播放| 免费观看全黄做爰的视频| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 色九月综合网| 碰97久久| 婷婷色激情网| renre人人操国产超碰在线| 九九热这里只有国产精品| 人人爱人人添| 色婷婷丁香五月| 日本91在线| 思思热在线观看| 亚洲精品一区无码A片| 香蕉影院色| 丁香影院五月综合| 97色在线观看视频| 5月激情天| 国产欧美日韩一区二区三区| 久热网站| 一级精品999WWW| 天天舔天天爽| 婷婷色影音天| 一区无码| 日本全黄一级999| 可似看的AV| www.狠狠艹| 狠狠色成人影片| 欧美久久久久久久久中文字幕| 丁香久久AV| 激情综合网五月天天| 婷婷综合五月色播| 99热成人精品网站| 亚洲第二AV| 婷婷丁香五另类网站| 涩九九九九| 99热九九这里只有精品| 综合热无码| 另类综合色| 青青草成人网| 婷婷五月丁香第四色超碰在线| 久久中国毛毛片爱久久| 另类激情综合| 天天艹夜夜爽| 狠狠干在线| 五月花激情| 成人.在线日韩| 婷婷五月天毛片| 久热九九| 天天草天天日| 殴美激情综合网| 亚洲人人操| 丁香花五月天社区| 日本人妻A片成人免费看片| 婷婷深爱五月亚洲综合| 99热精品免费| 91色五月| 丁香婷婷综合激情五月色| 色婷婷aV四虎| 日韩不卡DvD| 日批在线看| 天天做天天爽| 婷婷大香蕉| 一区中文字幕电影| 久久婷婷五月综合97色一本| 99热这里只有的精品视 | 色婷婷丁香| AV中文网| 99福利导航| 五月丁香成人| 日韩另类在线观看| 99噜噜噜在线播放| 碰碰操91| 久久久久综合激动五月天| 婷婷五月天久久| 操碰91| 艹天天射| 欧美精品久久久久久视频观看| 五月天亚洲色| 五月天色综合| 久久9999| va婷婷在线免费观看| 成人版视频在线观看| 99热 精品在线| 亚洲成人av在线| 五月婷婷伊人久久| 殴美激情综合网| 伊人五月婷| 伊人久久婷婷| 激情深爱五月| 色婷婷五月综合| 99ri视频在线播放| 99色1| 色综合久久天天综合网| 丁香六月丁香婷婷激情| 91丨九色丨东北熟女| 色五月婷婷五月天激情综合| 男人综合网| 另类专区在线| 久久九九国产精品怡红院| 色色色1网址| 免费的日逼视频| 高清无码网址| 日本人妻伦在线中文字幕| 九月婷婷| 另类图片五月天激情| 色婷婷成人丁香| 五月婷婷综合在线| 九九综合影音先锋| 婷婷在线播放av| 狠狠插狠狠插| 色网五月婷婷| WWW,激情五月天,COM| 综合成人小说婷婷| 91妻人人爽人人看片| 丁香五月成人| 五月天开心网| 91人妻九色大屁股| 九九热免费观看视频| 人妻激情综合| 久久精品日| 狠狠色综合777| 色色色欧美| 日本专区久久| 久久婷婷五月天激情唯美| 丁香六月综合激情| 99在线免费视频| 俺去也五月天婷婷| 亚洲V国产V欧美V久久久久久| 在线视频你懂得| 激情五月天小说网| 岛国AAAV| 五月六月丁香婷婷在线观看| 丁香综合网| 中文字幕性爱视频| 。久久久久久久久久久久久久人妻| 色色婷| 丁香五月手机在线| av狠狠操| 天天色中文字幕女优AV| 亚洲性图一区二区三区| 人妻22p| 国产超碰人人| 激情VA视频| 综合久久激情久久| 婷婷色五月亚洲| 99色热| 操B五月天| 丁香五月六月婷婷综合| 97成人视频| 色性日本| 久久99热网| 热99视频精品| 亚洲中文字幕av| 久久9视频| 色婷久九| 精品99在线观看| 99精品小视频| 91婷婷丁香五月亚洲| 九六五月天婷婷| 性无码专区无码| Xx色综合| 激情五月丁香婷婷| 久操婷婷| 国产激情综合| 六月99天天婷婷激情综合| 天天日天天舔| 五月亭亭欧美女人| 99精品在这里| 亚洲婷婷综合视频| 男人的天堂五月丁香| 国产免费一区二区三州老师F1……| 五月丁综合在线观看| 国产av天堂| 碰人人97| 婷婷五月天性| αv中文字幕在线观| 五月婷婷丁香大陆免费| 双性美人被调教到喷水A片| 色色亚洲无码| www.99热| 色日本丁香婷婷| 在线另类| 久久这里只有精品07| 九九RE视频在线精品| 日本熟女视频一区二区| 丁香六月欧美| 怕怕視頻| 激情五月天婷婷| 噜综合| 91.com男女操| 亚洲五月激情| 9999三级片| 九热精品| 人妻av在线| 丁香婷婷五月激情| 婷婷久久亚洲| 久久色情| 六月丁香激情网| 久久之人妻| 色婷婷丁香五月| 凹凸7777操操操| 国产人妻人伦精品一区二区| 丁香五月激情欧欧美| 强辱丰满人妻HD中文字幕| 久久这里只有精品无码| 五月桃花网综合| 五月丁香婷婷俺| 97在线视频 欧美| 色色色.COM| 9999综合99综合人| 狠狠操狠狠| 久久九九玖玖| 色婷婷亚洲精品天天综| 天天日天天狠狠操| 无码人妻精品一区二区蜜桃色欲| 色婷婷色五月色丁香| 日本激情综合| 亚洲色激情| 成人国产网站| 黄色激情五月天| 色色色婷婷| 天天色五月| 欧美性生交XXXXX无码小说| 婷婷五月免费在线| 欧美 色婷婷| 玖玖资源站中文| 九月av在线| 色婷婷a| 97色干| 九九碰九九爱97| 色婷婷五月天激情综合| 五月激情综合婷婷| 色婷婷亚洲婷婷在线观看| 色99在线观看| 久久久久人妻| 三级成人网站| 日本久碰| 午夜九九九九九九九九九九九九九| 亚洲啪啪啪啪| 91狠狠色丁香婷婷综合久久精品| 五月色导航| 五月丁香综合色婷婷| 69色色视频| 婷婷终合色图| 99热精品在线观看| 南京搡BBBB搡BBBB| 五月丁香色色色| 人人摸人人干| 亚洲婷婷视频| 中国操逼99| ss视频xx91| 玖玖婷婷色| 五月丁香人妻| 思思热99er在线视频| 天堂在线伊久| 婷婷综合一二三| 五月天色色激情综合| 中字幕视频在线永久在线观看免费| 亚洲成人黄色网| 99爱99操| 99精品视频在线观看| 天天天天天久久久久久| 69久久99精品久久久久| 色婷婷狠狠18禁| 婷婷综合六| 欧美在线视频9| 香蕉狠狠爱视频| 凹凸7777操操操| 亚洲美女裸体被操在线观看| 久久激情天堂| 思思99热在线| 97人人操人人拍| 激情99| ,99视频久久| 久婷狼色诱惑在线| 丁香五月婷婷av| 激情精品久久| 五月婷婷亚洲综合在线| 99色色网| 天天操天天日天天爽| 久久视频婷婷| 婷婷91| 天天爽天天摸人妻综合网| 超碰九九热| 被强行糟蹋的女人A片| 久久爱婷婷| 免费九九热| 碰碰碰97国产| 1024国产| 五月丁香久久激情网| 婷婷成人AV| 亚洲乱码日产精品BD| 五月婷婷啪啪啪啪| 99在线观看| 色婷婷综合久久| 国产成人亚洲综合A∨婷婷| 亚洲AV网址| 精品一区二区三区四区五区六区| 日本婷婷色日| 精品思思久久| 99riAV成人在线视频| 久久久WWW| 五月婷婷六月激情网| 啪啪操操| 中文字幕丰满孑伦无码专区| 天天日天天操心| 色播五月婷婷综合| 亚州婷婷五月激情综合| 亚洲精品视频在线播放| 婷婷五月av| 色情五月丁香婷婷网| 丁香久久九九99| 色色色网站| 五月婷婷六月激情| 五月天久久婷婷婷| 日韩精品成人在线| 99热在线观看| 99在线69| 开心五月色婷| 日本精品干| 国产偷人爽久久久久久老妇APP| 婷婷成人AV| 深爱婷婷色| 婷婷五月综合网| 亚洲成人在线在线| 99re热在线视频| 激情五月综合网最新| 99精品激情| 91九色无码内射| 99国产精品久久久久久久久久久| 五月天婷婷AV| 秋霞影音91人妻久久| www色色com| 婷婷丁香大香蕉| 色丁香五月婷婷| 色色无码| 俺去也在线www色官网| 久久久这里都是精品| 久久网址99热| 国产精品天天狠天天看| 色五月婷婷av| 超碰熟女拍拍| 人人舔人人色人人高潮| 五月丁香花视频| 久久色情| 色婷婷国产精品综合在线观看| 俺去也在线官网| 六月丁香婷婷色狠狠久久| 色五月中文字幕| 伊人丁香五月天丁香在线婷| 婷婷激情综合| 婷婷性爱五月天| 99热这里只有精品96| 99免费热视频在线| www.9色色色| 国产毛片欧美毛片久久久| 激情六月婷婷| 天天插天天插天天插天天插| 丁香婷婷六月天| 丁香六月婷婷综合激情欧美| 野外99热| 伊人久久大香线蕉精品| 天天做天天爱天天爽| 久久婷婷丁香| www夜夜操com| 久久 这里只有精品1| 男女99免费视频| 六月综合婷婷开心伊人| 9|人妻人人操| 中文字幕按摩做爰| 丁香五月影院| 久久五月天综合| 思思w99| 5月丁香婷婷| 91九色精品熟女内射| 五月天激情啪啪| 中文字幕av网站| 久久婷婷七月丁香| 天天插天天插| 激情五月婷婷五月| 最新av在线观看| 色色com| 另类五月激情| 久久久久99精品成人片| 婷婷五月天在线综合导航| 91玖玖| 变态另类色图| 天天日天天久久青青| 六月丁香婷| 久久综合99| AV在线大香蕉| 九九色图| 五月丁香成人视频| 五月婷婷之美女图片| 六月色五月天天婷婷| 丁香香五月激情免费视频| 婷婷色色五月| 超碰色女人| 激情婷婷丁香色五月| 五月婷护士| 激情五月婷婷老师| 久久精品国产一区二区三区四区 | 99啪啪视频| 91九色小视频| 日韩免费99| 久热视频97AV在线观看| 色青青电影色五月| 操操操97| 精品久久久久成人码免费动漫| 亚洲高清在线| 激情婷婷五月天| 色播五月| 色丁香五月天| 九九热10| 久久久久亚洲AV无码网影音先锋| www.五月天| 狠狠干婷婷| 六月 丁香 视频| 伊人五月成人| 婷婷五月天在线观看第二页| 天天做天天爱天天玩夜夜爽| 麻豆五月丁香婷婷| 色婷婷丁香特级性爱视频| AV 3P| wwccc久久久| 六月五月久久丁香| 亭亭色天香| 噜噜噜噜在线| 大香蕉院线| 丁香5月啪啪| 日日干干天天干| 久久99热精品a片在线观看| 人人色AV| 九色视频这里只有精品| 婷婷免费无视频| 亚洲色vA| 激情五月四色| 夜夜干天天干| 日韩AAAAAAAAAAA片| 亚洲欧美另类在线23p| 操人妻视频91| 六月丁香五月天| 丁香五月婷婷六月丁香| 天天舔天天爽| 亭亭玉月丁香| 色婷婷五月天成人网| 99丁香五月婷| 色五月成人| 一级性爱视频| 六月激情婷婷| 日本欧美成人片AAAA| 丁香婷婷婷五月| 思思久久99热只有频精品66| 开心五月婷婷激情| 日本狠狠干| AAA久久久| 色婷婷99| 色婷婷久久| 五月综合久久| 任你躁XXXXX麻豆精品| 日韩无码专区| 久久久宗合| 久99热| 丁香五月婷婷无码AV| 五月色无码| 亚洲人人操BD| 狠狠色综合精品视频在线| 日本色婷婷| 五月丁香婷草| 婷婷五月天色色| 天天干天天干天天干| 少妇性按摩无码中文A片| 九久久九精品视频| 色五月婷婷影视| 91一道本| 亚洲午夜av| 五月丁香婷婷综合在线| 天天综合天天玩夜夜玩天天玩夜夜玩 | 这里只有精品网| 五月丁香婷色| 狠狠干2007| 玖操97| 开心色五月天久久久久久久| 天天操婷婷| 激情五月综合| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 婷婷五月综合社区| 久草热在线视频| 97啪在线观看视频| 99热丁香五月| caop在线| 久久亚洲色导航| 色J香五月天| 色婷婷88| 99热6精品| 最近中文字幕2019视频1| 日韩野外 无套| 亚洲色婷婷久久99精品91| 五月天婷婷激情在线色图| 色五月综合激情| 亚洲开心激情网| 精品成人无码A片观看香草视频| 深爱激情网综合| 亚洲综合激情五月久久| 五月天丁香婷| 综合色播| 激情影院69| 天天操婷婷| 婷婷婷色五月| 女人天堂 AV| 九色自拍| 激情内射人妻1区2区3区| 亚洲视频1区| 综合久久综合久久| 色天天久婷婷| 99色性爰网络| 日本色色色| 久久性爱网| 久久婷婷五月天激情| 婷婷亚洲五| 国产婷婷五月天| 91婷婷色 | www.久久99| 殴美97色| 影音先锋一区二区三区| 性 色 婷婷| 五月天婷婷色综合| 五月丁香综合在线| 色婷婷在线电影| www.五月婷| 狠狠色丁香久久久婷| 狠狠五月天婷婷激情网。| www.色9| 青草青草视频2免费观看| 99热在线看| 操操操www.com| 久 久9 9 热 视 频| 爱操人妻| 国产精品扒开腿做爽爽爽A片唱戏| 国产亚洲av片| 久久丁香| 色久五月天| 青草五月天|