欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實戰(zhàn)洞察。

高潛用戶購買意向預(yù)測全流程:特征工程與LightGBM調(diào)參實戰(zhàn)

高潛用戶購買意向預(yù)測全流程:特征工程與LightGBM調(diào)參實戰(zhàn) 簡介本資源源自京東JData算法大賽高潛用戶購買意向預(yù)測賽題是一套完整可直接復(fù)跑的機(jī)器學(xué)習(xí)項目。內(nèi)容覆蓋數(shù)據(jù)預(yù)處理、正負(fù)樣本組合、特征生成與篩選、模型訓(xùn)練與驗證等核心環(huán)節(jié)代碼含Python腳本及編譯緩存文件配套項目說明文檔與運(yùn)行教程另有歷史代碼備份包。資源共24個文件以py源碼、pyc緩存、markdown說明及txt使用指南為主壓縮包僅約92KB結(jié)構(gòu)清晰適合人工智能、數(shù)據(jù)科學(xué)等相關(guān)專業(yè)的畢設(shè)、課設(shè)、競賽復(fù)現(xiàn)與入門學(xué)習(xí)。目前已有176人學(xué)習(xí)下載項目中涉及的特征工程與梯度提升樹建模思路對理解電商用戶購買意向預(yù)測的完整流程具有直接參考價值下載后即可對照說明快速運(yùn)行和二次開發(fā)。1. 高潛用戶購買意向預(yù)測為什么這個賽題值得一行行拆著學(xué)在電商營銷和數(shù)據(jù)挖掘的場景里“京東JData算法大賽-高潛用戶購買意向預(yù)測”是一道特別典型的成交建模題給你一批用戶過去一段時間的瀏覽、加購、關(guān)注、下單行為讓你判斷某個用戶對指定商品接下來的購買可能性。它和點擊率預(yù)估最大的區(qū)別是樣本稀疏、正負(fù)樣本懸殊但業(yè)務(wù)價值又比點擊率直接得多做起來很考驗特征功底。這篇文章把完整路線拆開講從字段理解、評估指標(biāo)到特征工程、模型訓(xùn)練和調(diào)參再到最容易翻車的地方。源碼包里的項目說明和資料我會按做這類賽題最常見的實現(xiàn)方式把邏輯補(bǔ)齊你拿到手后可以直接對著改不需要重新推一遍流程。適合兩類人一類是想拿真實比賽練手、把“用戶購買意向預(yù)測”做成完整項目經(jīng)歷的數(shù)據(jù)新人另一類是在做電商轉(zhuǎn)化預(yù)測、總被離線在線指標(biāo)不一致折磨的從業(yè)者。不預(yù)設(shè)你懂很多但從基線到調(diào)優(yōu)每一步都保證能照著復(fù)現(xiàn)。2. 預(yù)測目標(biāo)與數(shù)據(jù)邊界字段結(jié)構(gòu)、評估指標(biāo)和第一個規(guī)則基線做這類賽題最忌諱一上來就訓(xùn)練模型。先把“預(yù)測誰、拿什么預(yù)測、怎么算分”三件事釘死后面的特征和模型才談得上意義。JData 這類比賽的數(shù)據(jù)通常圍繞三個維度組織用戶信息、商品信息、用戶行為日志。用戶信息里常見的是年齡、性別、城市級別這類靜態(tài)屬性商品信息里常見的是商品編號、類別、品牌、價格行為日志則是重頭戲記錄每個用戶對每個商品在什么時間做了什么操作行為類型基本覆蓋瀏覽、加購、關(guān)注、下單幾種。時間跨度上行為日志一般覆蓋三十天左右預(yù)測目標(biāo)落在日志末尾之后比如預(yù)測未來三到五天內(nèi)用戶是否會產(chǎn)生購買。讀數(shù)據(jù)時有一個關(guān)鍵點不能馬虎訓(xùn)練集和測試集的時間邊界。賽題經(jīng)常在這里埋坑比如訓(xùn)練集行為截止日期和測試集不一致或者測試集里混入訓(xùn)練集時間之后才出現(xiàn)的用戶。拿到資料后第一步不是跑模型而是把每張表的日期范圍打出來標(biāo)清楚邊界再繼續(xù)。2.1 字段梳理與數(shù)據(jù)質(zhì)檢先解決臟數(shù)據(jù)再談特征我不建議直接讀完整數(shù)據(jù)。更穩(wěn)妥的做法是寫一個輕量概覽腳本確認(rèn)每張表的主鍵、時間范圍和缺失情況同時把訓(xùn)練集和測試集的結(jié)構(gòu)對齊。這套動作看著基礎(chǔ)但能省掉后面大量排查時間屬于典型的“磨刀不誤砍柴工”。import pandas as pd # 讀入三張原始表路徑按你解壓后的實際目錄修改 users pd.read_csv(data/user_info.csv) items pd.read_csv(data/item_info.csv) actions pd.read_csv(data/user_action.csv, parse_dates[action_time]) # 查看表結(jié)構(gòu)和缺失情況 for df, name in [(users, users), (items, items), (actions, actions)]: print(f {name} ) print(shape:, df.shape) print(缺失情況:) print(df.isnull().sum()) print(字段類型:) print(df.dtypes) # 行為日志的時間范圍這個必須確認(rèn) print(行為日志時間范圍, actions[action_time].min(), -, actions[action_time].max()) # 行為類型取值分布 print(行為類型分布) print(actions[action_type].value_counts())這段代碼沒有任何建模邏輯但它是整個項目的地基。字段類型和時間范圍常常比想象中更坑時間格式不統(tǒng)一、行為類型用數(shù)字編碼、缺失值分布在訓(xùn)練集和測試集之間不一致這些都是常見狀況。確認(rèn)清楚之后再做特征拼接才不會在后續(xù)步驟里報錯或產(chǎn)生莫名其妙的空值。參數(shù)說明parse_dates直接把時間列轉(zhuǎn)成 datetime 類型后續(xù)做時間窗口計算才方便value_counts用于確認(rèn)行為類型有幾種、占比如何。如果發(fā)現(xiàn)訓(xùn)練集有五種行為類型而測試集只有四種后續(xù)做特征時就要按并集處理不是按交集。2.2 評估指標(biāo)AUC 還是 F1決定了你怎么調(diào)閾值這類預(yù)測賽題常用兩類指標(biāo)一類是 AUC 這類排序指標(biāo)只看模型給正樣本打的分是否普遍高于負(fù)樣本另一類是 F1 這類閾值指標(biāo)要在某個分?jǐn)?shù)之上才算正樣本。兩者的差別非常大AUC 高不代表 F1 高因為 F1 還受正負(fù)樣本比例和閾值選擇的影響。在高潛購買意向預(yù)測中正樣本通常只占整體樣本的百分之幾直接算 F1 會很難看必須配合閾值搜索。我一般會先以 AUC 為主優(yōu)化模型的排序能力最后單獨(dú)做一輪閾值搜索把 F1 或業(yè)務(wù)上更關(guān)心的精確率拉起來。這里要提醒一句如果你拿到的資料里官方指標(biāo)是 F1那么訓(xùn)練目標(biāo)就不要設(shè)成分類正確率而是先把模型分?jǐn)?shù)輸出再在驗證集上搜最優(yōu)閾值這兩條路徑最終分?jǐn)?shù)差距可能超過十個點。2.3 第一個基線用“加購未購”做規(guī)則排序很多新手上來就上 LightGBM但第一個基線用規(guī)則更好原因有兩個一是能快速驗證數(shù)據(jù)是否存在泄露或時間錯位二是規(guī)則分?jǐn)?shù)可以當(dāng)作后續(xù)模型的強(qiáng)特征。我通常會先構(gòu)造一個最簡單的預(yù)測邏輯如果用戶在窗口里對某商品加購過但沒有下單就給這個組合一個很高的分?jǐn)?shù)。import numpy as np # actions: user_id, item_id, action_type, action_time # 先把行為表轉(zhuǎn)成用戶-商品對的行為集合 act actions.groupby([user_id, item_id])[action_type].apply(set).reset_index() # 規(guī)則打分加購未購是高意向只瀏覽是低意向 def rule_score(s): if buy in s: # 已購買過存量用戶短期再購概率低 return 0.3 if cart in s: # 加購未購意向最強(qiáng) return 0.9 if fav in s: # 關(guān)注過次強(qiáng) return 0.6 if view in s: # 只瀏覽過弱意向 return 0.4 return 0.0 act[rule_score] act[action_type].apply(rule_score) # 與測試集候選對做左連接得到每個候選的基線分?jǐn)?shù) test pd.read_csv(data/test_candidates.csv) test test.merge(act[[user_id, item_id, rule_score]], on[user_id, item_id], howleft) test[rule_score] test[rule_score].fillna(0.0) # 按分?jǐn)?shù)排序輸出 test.sort_values(rule_score, ascendingFalse).to_csv(baseline_rule.csv, indexFalse)邏輯說明這個基線把行為類型按購買意圖強(qiáng)弱排序加購未購分最高關(guān)注次之只看過的最弱。它不含任何機(jī)器學(xué)習(xí)但能很快暴露兩個問題一是如果加購未購在測試集里大量存在說明意向信號充足模型應(yīng)該重點利用二是如果連這種規(guī)則基線的線下 AUC 都很低說明候選集構(gòu)成可能和訓(xùn)練集差異很大需要先排查數(shù)據(jù)配比。參數(shù)說明rule_score的取值不是硬性的把加購未購調(diào)到 0.95、關(guān)注調(diào)到 0.7不影響排序指標(biāo)但會影響閾值搜索。規(guī)則分?jǐn)?shù)的主要作用是給后面的模型做參照驗證我們構(gòu)造的特征是否超過了這個“常識線”。3. 特征工程把三十天行為日志壓縮成三類特征寬表特征工程是這個賽題真正的重頭戲。行為日志是典型的稀疏長表特征是“壓”出來的不是在原始表上直接學(xué)習(xí)。我習(xí)慣從三個方向分別壓用戶側(cè)、商品側(cè)、用戶-商品交叉?zhèn)茸詈笃闯梢粡垖挶?。主線思路是所有能在業(yè)務(wù)上解釋購買動機(jī)的行為都應(yīng)該被數(shù)字特征顯式表達(dá)而不是讓模型自己從原始日志里找規(guī)律。窗口長度是第一個要決定的事。窗口太短統(tǒng)計不穩(wěn)定窗口太長容易混入過期信息。三十天數(shù)據(jù)我一般同時保留 7 天、15 天和全量 30 天三個窗口這樣模型既能捕捉近期意圖的突變又能保留長期偏好。3.1 時間窗口統(tǒng)計特征不同窗口長度為什么都要留下面這個函數(shù)按窗口天數(shù)做聚合對瀏覽、加購、關(guān)注、購買分別計數(shù)同時把行為天數(shù)、最近一次行為間隔等時間結(jié)構(gòu)也記錄下來。生成三份不同窗口的特征再橫向拼接讓模型自己判斷哪個時間尺度更有效。def window_features(actions, window_days, date_ref): 對截止日期 date_ref 往前 window_days 天內(nèi)的行為做統(tǒng)計 start date_ref - pd.Timedelta(dayswindow_days) mask (actions[action_time] start) (actions[action_time] date_ref) sub actions[mask] feat sub.groupby([user_id, item_id]).agg( view_cnt(action_type, lambda x: (x view).sum()), cart_cnt(action_type, lambda x: (x cart).sum()), fav_cnt(action_type, lambda x: (x fav).sum()), buy_cnt(action_type, lambda x: (x buy).sum()), action_days(action_time, lambda x: x.dt.date.nunique()), last_action_gap(action_time, lambda x: (date_ref - x.max()).days) ).reset_index() feat[action_total] feat[[view_cnt, cart_cnt, fav_cnt, buy_cnt]].sum(axis1) feat[interact_diversity] (feat[[view_cnt, cart_cnt, fav_cnt, buy_cnt]] 0).sum(axis1) feat.columns [user_id, item_id] [fw{window_days}_ c for c in feat.columns[2:]] return feat # 以資料中給定的預(yù)測截止日為例換成你的實際數(shù)據(jù)時間 date_ref pd.Timestamp(2023-05-15) feat_7 window_features(actions, 7, date_ref) feat_15 window_features(actions, 15, date_ref) feat_30 window_features(actions, 30, date_ref) # 合并成寬表 wide feat_7.merge(feat_15, on[user_id, item_id], howouter) wide wide.merge(feat_30, on[user_id, item_id], howouter) print(wide.shape)邏輯說明這個函數(shù)把行為日志按用戶-商品對壓縮成統(tǒng)計量每個窗口都生成瀏覽數(shù)、加購數(shù)、關(guān)注數(shù)、購買數(shù)、行為天數(shù)、最后一次行為距截止日的間隔、行為總量和交互多樣性。其中l(wèi)ast_action_gap特別有用用戶三天前還在反復(fù)看某商品說明注意力還在最后一次行為是二十天前意向大概率已經(jīng)涼了。interact_diversity用來區(qū)分“被動刷到一次”和“多行為類型反復(fù)觸發(fā)”后者的購買意愿明顯更強(qiáng)。參數(shù)說明窗口天數(shù)必須和賽題時間邊界對齊。30 天數(shù)據(jù)里只做 7 天窗口特征會偏稀疏但短期意向信號更強(qiáng)烈。三個窗口都保留而不是只用一個是為了讓模型自己決定在什么時間尺度上做判斷后續(xù)用 feature importance 排查也無從下手。3.2 用戶-商品交叉特征加購未購和瀏覽轉(zhuǎn)加購率交叉特征把用戶、商品兩側(cè)的信息放在同一個對里計算目的是捕捉關(guān)系型信號。最有代表性的兩個特征是“加購未購”和“瀏覽轉(zhuǎn)加購率”。加購未購的含義很直白用戶把商品放進(jìn)購物車但始終沒有下單放到真實業(yè)務(wù)里就是強(qiáng)烈購買意圖但還在猶豫模型拿到這個信號后可以直接把分?jǐn)?shù)拉高。瀏覽轉(zhuǎn)加購率則區(qū)分深度瀏覽和淺層瀏覽看五次才加購和看一次就加購意圖強(qiáng)度完全不同。# 接上一節(jié) wide 表 wide[cart_not_buy] (wide[w30_cart_cnt] 0) (wide[w30_buy_cnt] 0) wide[view_to_cart_rate] wide[w30_cart_cnt] / (wide[w30_view_cnt] 1) # 距離上次加購的時間間隔加購動作離預(yù)測截止日越近意向越新鮮 last_cart_time actions[actions[action_type] cart].groupby([user_id, item_id])[action_time].max() last_cart_gap (date_ref - last_cart_time).dt.days.rename(last_cart_gap) wide wide.merge(last_cart_gap, on[user_id, item_id], howleft) wide[last_cart_gap] wide[last_cart_gap].fillna(999) # 粗略檢查新特征的分布 print(wide[[cart_not_buy, view_to_cart_rate, last_cart_gap]].describe())邏輯說明cart_not_buy直接表達(dá)“加購未購”這個業(yè)務(wù)強(qiáng)信號在成交預(yù)測里屬于少數(shù)高區(qū)分度特征。view_to_cart_rate分母加 1 是為了防止除零同時也讓只有瀏覽沒有加購的樣本得到一個接近 0 的小值而不是 NaN。last_cart_gap用 999 填充空值是為了讓模型能區(qū)分“從未加購”和“加購了很久都沒買”兩類樣本避免缺失值在樹模型中被合并到錯誤的分支。參數(shù)說明999 這個填充值必須遠(yuǎn)大于正常間隔正常加購間隔最多 30 天999 能把缺失值和最大間隔徹底拉開。如果你用 LightGBM缺失值本身可以保留為 NaN但填一個大值在特征重要性和排查階段更直觀不容易讓人誤以為這個字段沒參與分裂。3.3 商品維度特征熱度、價格帶與品牌集中度只從用戶側(cè)做特征模型會缺少對商品本身的理解。同一個用戶對不同商品的行為差異很大但加入商品屬性后模型就能把這種差異解釋清楚。商品側(cè)常用的特征有三類熱度、價格帶、品牌集中度。熱度可以用商品在全部用戶中的瀏覽次數(shù)排名來表示價格帶把商品價格分桶不同價格帶對應(yīng)完全不同的決策周期品牌集中度衡量銷售是否高度集中于爆款集中度高時非爆款單品被直接購買的概率預(yù)期要保守。# 商品側(cè)特征 item_feat actions.groupby(item_id).agg( item_view_cnt(action_type, lambda x: (x view).sum()), item_cart_cnt(action_type, lambda x: (x cart).sum()), item_buy_cnt(action_type, lambda x: (x buy).sum()), item_user_cnt(user_id, nunique) ).reset_index() # 熱度分桶用 rank 而不是直接歸一化減少長尾影響 item_feat[item_hot_rank] item_feat[item_view_cnt].rank(pctTrue) # 和商品信息表合并構(gòu)造價格帶 item_feat item_feat.merge(items[[item_id, price, brand_id, cate_id]], onitem_id, howleft) item_feat[price_level] pd.cut(item_feat[price], bins[0, 100, 500, 1000, np.inf], labels[0, 1, 2, 3]) # 品牌購買集中度品牌下 top1 商品購買量占品牌總購買量比例 brand_buy actions[actions[action_type] buy].merge(items[[item_id, brand_id]], onitem_id, howleft) brand_total brand_buy.groupby(brand_id)[item_id].count().rename(brand_buy_total) brand_top1_share brand_buy.groupby([brand_id, item_id])[action_type].count().rename(item_buy_in_brand) brand_top1_share brand_top1_share.groupby(brand_id).max() / brand_total # 簡化版 item_feat item_feat.merge(brand_total, onbrand_id, howleft) item_feat item_feat.merge(brand_top1_share, onbrand_id, howleft) print(item_feat.head())邏輯說明熱度用 rank 而不是原始瀏覽數(shù)是因為熱門商品的瀏覽量可能是冷門商品的上千倍直接歸一化會讓大部分商品被壓到接近 0。價格帶把連續(xù)價格離散化讓樹模型能清晰區(qū)分不同決策周期的品類。品牌集中度的計算里先統(tǒng)計每個品牌下每個商品的購買次數(shù)再用 top1 商品購買量除以品牌總購買量集中度高時非爆款商品的購買意向預(yù)測要更保守。參數(shù)說明價格分桶邊界不是固定的可以按數(shù)據(jù)分布調(diào)整。如果發(fā)現(xiàn)大部分商品價格集中在 0-100就要把第一檔再切細(xì)成 0-50、50-100。pd.cut的 labels 參數(shù)也不一定非用 0-3樹模型可以吃任意有順序關(guān)系的數(shù)值關(guān)鍵是分桶邊界要貼合商品真實價格分布。4. 建模與調(diào)參把 LightGBM 穩(wěn)定地用在高潛購買預(yù)測上特征寬表構(gòu)造完成之后建模本身反而直接。我的習(xí)慣是先跑一個默認(rèn)參數(shù)的 LightGBM看驗證集 AUC 和特征重要性再按順序調(diào)參。不要一開始就追求 SOTA先把流程完整跑通才有資格談優(yōu)化。4.1 模型選型表格數(shù)據(jù)上為什么優(yōu)先用 GBDT特征工程完成后樣本通常是幾千到幾十萬行的寬表特征是數(shù)值型和少量類別型的混合。這種結(jié)構(gòu)下 GBDT 類模型幾乎總是比深度模型更容易拿到更好的 AUC。原因是表格數(shù)據(jù)里的特征交互可以靠樹的天然分裂機(jī)制表達(dá)不需要像神經(jīng)網(wǎng)絡(luò)那樣手動設(shè)計 embedding 結(jié)構(gòu)而且 GBDT 對特征尺度不敏感數(shù)值型特征直接丟進(jìn)去就好。在幾個 GBDT 實現(xiàn)里我通常先用 LightGBM而不是默認(rèn) XGBoost。LightGBM 訓(xùn)練速度快在這個量級能快速迭代特征它對類別特征有原生支持省掉大量手動編碼工作直方圖算法對內(nèi)存也更友好。這不代表 XGBoost 不好只是起步效率上 LightGBM 更適合這種要頻繁試特征的賽題。4.2 樣本不均衡別急著對負(fù)樣本做極端下采樣購買意向預(yù)測里正負(fù)樣本比例可能達(dá)到 1:20 甚至更懸殊。遇到這種情況很多新手第一反應(yīng)是把負(fù)樣本砍到和正樣本一樣多這是過度反應(yīng)。GBDT 對不均衡的容忍度比想象中高直接使用全部樣本、只調(diào)整評估方式和閾值往往就能取得不錯的效果。如果正樣本實在太少我才會考慮兩種做法一是負(fù)樣本按比例下采樣比如保留負(fù)樣本的 20%-50%同時讓驗證集保持原始比例二是在 LightGBM 里設(shè)置scale_pos_weight本質(zhì)上給正樣本的梯度乘以權(quán)重。兩者相比我更愿意先調(diào)scale_pos_weight而不是采掉大量負(fù)樣本畢竟保留數(shù)據(jù)就是保留信息。4.3 三個關(guān)鍵參數(shù)n_estimators、learning_rate、max_depth下面是最小可用的訓(xùn)練與驗證流程。先固定 learning_rate 從 0.05 開始用 early stopping 決定樹的數(shù)量之后再去動樹的復(fù)雜度。import lightgbm as lgb from sklearn.model_selection import train_test_split from sklearn.metrics import roc_auc_score # X 是前面拼好的寬表特征y 是標(biāo)簽1 表示成交 X wide.drop(columns[user_id, item_id, label]) y wide[label] # 按用戶切分避免同一用戶的數(shù)據(jù)同時出現(xiàn)在訓(xùn)練和驗證里 X_tr, X_va, y_tr, y_va train_test_split(X, y, test_size0.2, random_state42) params { objective: binary, metric: auc, learning_rate: 0.05, max_depth: 6, num_leaves: 31, min_child_samples: 20, scale_pos_weight: (len(y_tr) - y_tr.sum()) / y_tr.sum(), verbosity: -1, seed: 42 } model lgb.train( params, lgb.Dataset(X_tr, y_tr), num_boost_round1000, valid_sets[lgb.Dataset(X_va, y_va)], callbacks[lgb.early_stopping(100), lgb.log_evaluation(50)] ) pred model.predict(X_va) print(驗證集 AUC:, roc_auc_score(y_va, pred))邏輯說明按用戶而不是按行切分驗證集是一個關(guān)鍵決策。購買行為在同一用戶內(nèi)部高度相關(guān)如果同一用戶的一部分行為出現(xiàn)在訓(xùn)練集、另一部分出現(xiàn)在驗證集指標(biāo)會被嚴(yán)重高估。scale_pos_weight按訓(xùn)練集實際正負(fù)比例計算比寫死一個數(shù)更穩(wěn)。early_stopping在驗證集 AUC 連續(xù) 100 輪不提升時停止既防止過擬合也不需要手動糾結(jié)樹的數(shù)量。參數(shù)說明常用體積明細(xì)如下表所示先固根基再動結(jié)構(gòu)。參數(shù)作用建議起點learning_rate控制每棵樹貢獻(xiàn)的步長越小越穩(wěn)越慢0.05max_depth限制樹高防止單棵過深6num_leaves葉子數(shù)上限復(fù)雜度控制核心31min_child_samples葉子節(jié)點最小樣本數(shù)抑制噪聲分裂20scale_pos_weight正樣本權(quán)重緩解不平衡訓(xùn)練集負(fù)/正比例調(diào)參順序建議先固定 learning_rate把num_leaves從 31 調(diào)到 63、127 看驗證集變化再回來把max_depth調(diào)成 8 或 -1最后觀察特征重要性砍掉重要性接近 0 的列重新訓(xùn)練。這套順序能讓調(diào)整可解釋而不是同時動五六個參數(shù)最后連自己都不知道哪一項起了作用。5. 高潛購買意向預(yù)測的 5 個常見坑與排查思路這類賽題做幾輪之后真正決定水平的是避坑能力。以下五個坑按出現(xiàn)頻率排每條都按現(xiàn)象、原因、解決三段式寫清楚。5.1 坑驗證集 AUC 極高提交后分?jǐn)?shù)暴跌現(xiàn)象本地驗證集 AUC 0.85 以上看起來很漂亮一換成測試集就掉到 0.7 附近。原因最常見的是數(shù)據(jù)泄露。行為日志里混進(jìn)了預(yù)測日期之后的數(shù)據(jù)或者某些靜態(tài)字段本身就攜帶未來信息。另一種常見泄露是特征拼接時不小心把用戶-商品對在測試期的行為也算了進(jìn)去。解決做一個固定動作把訓(xùn)練集和測試集的日期邊界重新打印一遍再檢查所有特征的取值分布。具體做法是在建模前把一個時間截止日釘死所有特征只用截止日之前的數(shù)據(jù)如果某個特征使用全量數(shù)據(jù)聚合就要追問它有沒有引用未來的行為。5.2 坑同一用戶既在訓(xùn)練集又在驗證集指標(biāo)虛高現(xiàn)象線下 AUC 穩(wěn)定線上結(jié)果不如預(yù)期回頭檢查發(fā)現(xiàn)切分是按行隨機(jī)切而不是按用戶切。原因同一個用戶的多條行為天然相似隨機(jī)按行切分等于讓模型在訓(xùn)練時見過驗證集用戶的習(xí)慣評估結(jié)果自然虛高。解決使用train_test_split時先按 user_id 分組或者直接用 GroupKFold 做按用戶的交叉驗證。電商場景里我還會額外加按時間切分用前 25 天行為構(gòu)造特征預(yù)測后 5 天而不是在整個時間區(qū)間里隨機(jī)抽樣。5.3 坑特征分布訓(xùn)練和測試不一致現(xiàn)象特征重要性里某個特征排第一但它只在訓(xùn)練集里表現(xiàn)好在測試集里幾乎全為空或分布完全改變。原因常見于價格、庫存、促銷活動相關(guān)字段訓(xùn)練期和測試期對應(yīng)的商品池或時間點不同導(dǎo)致該特征在兩側(cè)覆蓋度不一致。解決特征構(gòu)造完成后做一個分布對比腳本逐列輸出訓(xùn)練和測試的缺失率、均值、分位數(shù)。如果某個特征在測試集缺失率超過 30%要么重新構(gòu)造只用覆蓋率高的字段要么把缺失率本身做成特征讓模型學(xué)會在信息缺失時如何決策。5.4 坑AUC 尚可但 F1 上不去現(xiàn)象AUC 0.72 看著尚可但按閾值搜出來 F1 只有 0.15業(yè)務(wù)完全沒法用。原因正樣本比例太低AUC 主要靠大量負(fù)樣本的低分拉高模型對正樣本的召回嚴(yán)重不足。解決先不要調(diào)模型結(jié)構(gòu)而是做兩件事。一是檢查正樣本里“加購未購”的覆蓋率如果正樣本連加購都沒有過說明特征方向要轉(zhuǎn)向商品側(cè)或用戶側(cè)更宏觀的行為二是單獨(dú)搜閾值而不是默認(rèn)用 0.5。閾值搜索要在驗證集上做且驗證集的正負(fù)比例要和測試集一致否則搜出來的閾值不可遷移。5.5 坑同一個行為類型在不同時間窗里語義不同現(xiàn)象把 30 天內(nèi)的全部行為匯總得出“瀏覽次數(shù)越多越可能買”的結(jié)論但實際情況是最后一周的瀏覽和第一周的瀏覽對購買的影響完全相反。原因用戶第一次瀏覽可能來自首頁推薦屬于被動曝光臨近購買前的再次瀏覽是主動搜索意圖強(qiáng)度差異很大。把不同時間窗的瀏覽壓成一個總和等于抹掉了行為節(jié)奏。解決不要只做總量特征。把行為拆成最近 3 天、最近 7 天、最近 15 天多個窗口分別統(tǒng)計讓模型判斷哪個窗口更重要。也可以再加一個“第一次行為距預(yù)測截止日間隔”字段用來刻畫行為周期的起點。6. 驗證與進(jìn)階滾動時間窗、分桶檢查和提交前復(fù)盤模型和特征穩(wěn)定后最后一步不是直接提交而是做幾件驗證可靠性的工作滾動時間窗驗證、分桶排序檢查、特征重要性復(fù)盤。這三件事做完整個項目的完整度就有了后面迭代和寫說明資料都有明確依據(jù)。6.1 滾動時間窗驗證而不是隨機(jī) K 折隨機(jī) K 折沒有模擬真實的時間先后關(guān)系。真實場景里永遠(yuǎn)是用歷史預(yù)測未來不可能讓模型看未來的數(shù)據(jù)。我會用滾動時間窗比如 30 天數(shù)據(jù)按前 25 天做特征、后 5 天做標(biāo)簽再往前滾一段重新構(gòu)造訓(xùn)練集每段獨(dú)立訓(xùn)練評估最后取均值。from sklearn.model_selection import TimeSeriesSplit # 用行為日志中每個用戶最后一次行為日期作為排序鍵 X[last_action_day] X[user_id].map( actions.groupby(user_id)[action_time].max().dt.date ) tscv TimeSeriesSplit(n_splits5) for train_idx, val_idx in tscv.split(X): X_tr, X_va X.iloc[train_idx], X.iloc[val_idx] # 驗證集時間必須晚于訓(xùn)練集否則檢查排序邏輯 assert X_va[last_action_day].min() X_tr[last_action_day].max()邏輯說明TimeSeriesSplit按數(shù)據(jù)順序遞增地劃分不會把后面的數(shù)據(jù)放進(jìn)訓(xùn)練集。用最后一次行為日期作為排序鍵可以保證驗證集在時間上嚴(yán)格晚于訓(xùn)練集。這個結(jié)構(gòu)比隨機(jī) K 折更有說服力因為測試集本來就在訓(xùn)練集之后。參數(shù)說明n_splits5表示做 5 輪切分第一輪訓(xùn)練集只有 20% 的數(shù)據(jù)越往后訓(xùn)練數(shù)據(jù)越多。樣本量不大時可以跑滿 5 折幾十萬行數(shù)據(jù)時建議調(diào)成 3降低重復(fù)訓(xùn)練的時間開銷。6.2 分桶看預(yù)測分?jǐn)?shù)和實際轉(zhuǎn)化率AUC 只告訴你整體水平不告訴你模型在哪個業(yè)務(wù)切片上好用。我習(xí)慣做一張分組表現(xiàn)表按用戶所在城市級別、商品價格帶、行為活躍度分桶分別統(tǒng)計每個桶的樣本數(shù)、實際購買率和預(yù)測分?jǐn)?shù)分位數(shù)。X[pred_score] model.predict(X[X.columns.difference([pred_score])]) X[pred_bucket] pd.qcut(X[pred_score], 5, labels[1, 2, 3, 4, 5]) result X.groupby(pred_bucket).agg( sample_cnt(pred_score, count), real_buy_rate(label, mean), pred_avg(pred_score, mean) ).reset_index() print(result)邏輯說明這一步看的是分?jǐn)?shù)單調(diào)性——預(yù)測分最高的桶實際購買率應(yīng)該明顯更高。如果第 4 桶的購買率比第 5 桶還高說明這個區(qū)間排序混亂需要回頭補(bǔ)特征。如果某個高價商品桶樣本很少但購買率極高說明部署時要額外加規(guī)則保護(hù)。參數(shù)說明pd.qcut按樣本量等分為 5 桶每個桶樣本數(shù)相同購買率對比更穩(wěn)定。改成 10 桶也可以但樣本少時高桶的統(tǒng)計波動會很大。5 桶起步是我反復(fù)試過更穩(wěn)的方案。6.3 提交前的一輪特征復(fù)盤建模到最后我會把重要性前 20 的特征逐條過一遍這個特征在業(yè)務(wù)上是否解釋得通它和購買意向的邏輯關(guān)系是什么。如果某個重要性極高的特征在業(yè)務(wù)上完全講不通就要警惕是不是數(shù)據(jù)泄露。這一輪復(fù)盤也是給項目說明準(zhǔn)備素材把特征按用戶意圖、商品屬性、交叉行為三類整理每類挑兩個最重要的解釋業(yè)務(wù)含義再附上驗證集指標(biāo)讀者就能理解你的決策過程而不是看到一個黑匣子分?jǐn)?shù)。我習(xí)慣至少準(zhǔn)備兩份結(jié)果一份按模型分?jǐn)?shù)排序一份把加購未購等業(yè)務(wù)強(qiáng)信號的樣本權(quán)重上調(diào)后排序?qū)Ρ冗x擇更穩(wěn)的那份提交。這也是我做過幾輪購買意向預(yù)測之后沉淀下來的習(xí)慣不要只信一個模型也不要只信一個指標(biāo)。希望這次的高潛用戶購買意向預(yù)測拆解能幫到你——從數(shù)據(jù)邊界到特征、從模型調(diào)參到坑位排查拿這套流程去對照你自己的數(shù)據(jù)集能少走很多彎路。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷91| 婷婷深爱五月| 欧美精品999| 九九中文字幕九| 天天操夜夜啊| 色色色婷婷五月天| 久久婷婷电影| 五月天艹天天| 亚洲V国产V欧美V久久久久久| 9久久久久久久久久久| 婷婷五月婷婷五月| 丁香婷婷久久 | 成人做爰A片免费看视频| 99亚洲精美视频在线观看| 五六月丁香激情视频| 俺去也五月天婷婷| 九九99精品视频| 五月天激情综合10p| 丁香婷婷影院| 国产69精品久久久久999小说| 日本久久婷| 五月播播| 人人操9| 做爱夜夜干天天操| 大香蕉婷婷| 九九av在线| 久草xx性爱视频| 一级黄色影片| 91丨熟女丨首页| 久久9视频欧美| 亚洲无码九九九| 深爱丁香激情| 4399无码视频| 日韩一区二区三区无码| 久99热| 亚洲成人高清在线| 欧美三日本三级少妇三99| 亚洲成人综合网在线免费观看| 99爱免费在线观看| 99久视频| 色色色综合视频| 99色综合| 久久综合九九| 另类小说五月天| 日本久热| 久久久久久激情| 亚洲成人无码免费| 99热这里只有精品青草| 亚州第一A片| 色噜噜在线| 被强行糟蹋的女人A片| 色五月激情视频在线综合| 欧美激情VA永久在线播放| 丁香五月婷婷操逼| 天堂草在线观看| 五月婷视频| 日 日干 日日做| 久久婷婷热| 丝袜人妻| 久久狠狠干| 丁香激情五月少妇| 女人天堂AV| 久热AⅤ| 99热这里只有精品18| 69超碰在线| 激情图片婷婷| 天天日天天肏天天奸| 天天婷婷天天| WW婷婷五月天com| www.五月天婷婷姐姐| 亚洲精品一区中文字幕乱码| 五月天亚洲最大成人| 五月天婷婷色色| 天天久久狠狠色综合| 婷婷五月综合网| 亚洲婷婷五月| 婷婷丁香九月| 综合狠狠伊人| 202丰满熟女妇大| 十月丁香婷婷| 国产熟妇的荡欲午夜视频| 九九视频精品这里只有| 99超超碰| 五月丁香六月婷婷在线播放| 强奸幻女毛片| 婷婷五月天激情网站| 中文字幕av久久爽| 婷婷五月天综合网| 中文字幕人妻在线| 婷婷99狠狠| 色波激情五月天| 九九综合久久| 欧美性爱5月天天天看| 国产精品电| 天天操天爱综合| 九九九干精品| 精品色情一区二区三区四区| 搡BBBB搡BBB搡18 | 九九精品网| www.久9| 五月丁香色综合| 99re热在线观看| 久久五月激情| 丁香五月狠狠在线观看| 婷婷五月天综合亚洲| 日本 @ va 免费| 美女爆乳18禁www久久久久久| 婷婷激情五月色综合| 婷婷五月无码| 五月天色图| 亚洲人成网亚洲欧洲无码久久| 伊人99热| 丁香五月开心婷婷| 丁香九月综合| 91狠狠色丁香婷婷综合久久| 久久这里有精品视频在线免费观看| 九一九九黄色| 中文字幕在线免费观看视频| 天天日天天摸天天| 大香人妻| 九九色综合| 开心六月丁香五月婷婷| 99综合色色色| 丁香狠狠色婷婷| 99亚洲天堂| 欧美日韩欧美| 泰州成人视频| 99在线观看视频免费| 69精品人人人人| 综合狠狠五月婷婷| 色97啪啪| 99久久久| 天天做天天双| 五月丁香视频色色| 五月婷婷性爱| 99精色| 超碰色综合| 精品久热| 激情六月天婷婷| 久久婷.com| 天天操夜夜操| 开心五月深爱五月| 五月激情婷婷开心五月| 丁香97综合| 日韩一级片| 色综合五月婷婷狠狠干| 91热视频色网站| 亚洲欧美成人在线| 久久婷婷五月天蜜桃| 狠狠色色| 人人操超碰| 午夜爱爱网站| 无码婷婷五月天| 另类丁香综合| 日本天天色| 99er热精品视频| 天天色天天射天天日| 少妇AB又爽又紧无码网站 | 天天干肏夜夜| 丁香五月首页| 香蕉曰比| 婷婷狠狠操| 99亚洲色| 五月婷成人| 五月婷婷黄网站大全| 色欲婷婷五月天丁香| 79精品在线视频| 99在线小视频| 另类激情综合| 日本五月天网站| 噜噜色五月| 精品婷婷丁香五| 日韩成人av在线| 午夜九九电影| av成人在线播放| 91久久久久久久久18| 五月婷婷网五月在线| 综合色99| 大香伊人婷婷| 嫩草AV久久伊人妇女超级A| 99爱视频| 狠狠草综合网| 九月色婷婷| www.婷婷五月.com| 色综合久| 一起草无码| 色婷婷婷综合五月天| www.99热这里精品| 五月婷婷色色爱| 婷婷伊人网| 婷婷五月天干干| 99激情网| 久久久九九九 99| 91一起操| 夜夜 操无码| 亭亭五月天黑人2014| 人人操日| 亚洲国产另类av| 丁香五月天堂| AV操逼网| 婷婷五月情| 日日干日日s| 91人人超碰在线| 婷婷中文字幕网站| 五月丁香综合网| 99毛片| 免费播放99性爱视频| 五月天婷婷影院| 91日婷婷在线| 婷婷五月激情黄色| 午夜丁香| 久操热| 狠狠草狠狠草| 五月婷婷激情四月| 日日操,日日爽| 欧美99视频| a免费在线| 99久久综合| 色色五月天丁香| 97丁香五月| 五月丁香六月婷婷中合网| 五月婷婷六月天| 丁香五月www| 国产精产国品一二三在观看| 婷香五月激情视频| 中文字幕黄色片| 久色视频| 五月婷婷啪啪啪啪| 亚洲中文乱字字幕线在永久| 婷婷五月天日本国产| 99久在线精品99re8| www.99久久久久99| 婷婷WWW久久| 午夜天堂一区人妻| 二色av| 丁香九月激情| 影音先锋四区| 色婷婷AV在线| 天天人人人人人人人人人人人| 九九热视频思思| 激情5月婷婷狠狠干| 9久精品| 91九色 婷婷| 天堂网亚洲色图| 国产精产国品一二三在观看| 99这里只有精品视频| 亚洲在线资源| 夜夜大香蕉婷婷丁香| 婷婷免费视频| 六月激情婷婷| 色综合色色| 天天干天天爽天天操| 亚洲五月天伊人| Av性爱网站| 久久亚洲婷婷| 丁香五月天堂网| 激情综合五| 日韩xx在线| 狠狠 久久| 99热在线观看| 免费在线观看AV网站| EEUSS鲁片一区二区三区| 91久久久久久久久18| 丁香婷婷久久 | 五月天激情图片| 五月丁香花婷婷玉莉AV| 九九热视频思思| 天天日天天操天天干| 综合激情开心五月| 99热视| www.av视频xx999.com| 色优久久| 第四色色六月色综合| 日本色频| 国产成人VA| 久久一热免费视频| 五月天影院婷婷在线观看| tingting五月天亚洲| 大香蕉啪啪网| 99热 这里只有精品 国产 日韩| 伊人99热| 色狠狠激情五月| www.激情五月天.com| 丁香丁香激情网| 夜夜人妻五月天| 琪琪理论片| 草操网| 99视频精品视频| 五月天开心成人网| 这里只有在线精品| 亚洲天堂AAA| 五月天激情Av| 青青草原99热| 六月综合在线| 五月狠狠| 97色色婷婷| 九九热免费视频| 99精品热| 操大屄五月天视频| 97热超碰| 亚洲小电影在线观看黄999| 大香蕉五月天婷婷丁香91| 亚洲乱码在线观看| 99热这里只有99| 性色播| 99热网站在线观看| 超碰狠狠色| 狠色色狠网| 直接看的AV| 色色国产| 夜夜操天天干| 野战J办公桌椅H| 色欲久久99精品久久久久久| 天天肏天天肏| 97碰碰视频在线观看免费| 久久色婷婷| 噜综合| 日本五月丁香| 亚洲六月色| 五月婷婷婷丁香播| 久久婷婷伊人| 国产精品涩涩涩视频网站| 婷婷丁香91综合| 日韩啪图| 色婷婷久久综合| 精品久久人妻热| 婷婷丁香人妻久久在线观看| 欧美激情五月天| www.91久久| 亚洲色情在线| 日本色色网站| 99综合免费视频| 99热10在线高清播放| 久久丁香婷| 99热日| 婷婷丁香五月天综合AV| 婷婷五月天激情综合深爱| 婷婷五月天激情诱惑| 激情五月天综合婷婷网| 色五月天电影| 久久全意婷婷| 日韩精品超碰在线观看| 人人色婷婷五月天| 深爱五月最新网址| 亚洲人妻Av| 天干夜夜操| 亚洲妇女熟BBW| 日韩成人影片在线观看| 99性视频| 色小说五月婷婷| 99免费在线视频| 天天干 夜夜爽| 日本少妇裸体做爰高潮片| 99热观看| 久久久妻人人人| 亚洲激情五月丁香久久久久| 超碰a女人的天堂| 五月丁香婷婷基地| www.金莲av| 日韩黄色网络| 我要色综合五月婷婷| 五月婷婷69| 夜夜爱网站| 九月激情婷婷丁香| 91久久精品无码一区二区三区| 精品一区二区三区四区五区六区介绍 | 成人网在线视频| 99亚洲精品| 69人人操人人爽| 啪啪啪大香蕉| 婷婷五月成人系列| 亭亭玉月丁香| 人妻在线网站| 99亚洲综合| 五月婷婷中文| 色婷婷影院| 任你干嘛免费视频播放| 99er国产| 激情图片久久| 无码成人播放器| www.五月天色色.com| 亚洲日韩人妻操逼| 欧美性猛交99久久久99| 日本啪啪视频HD| www久久艹| 婷婷色色播五月天| 成人丁香五月| 五月丁香婷婷激情爱爱| 天天操夜夜啊| 五月天婷婷丁香导航| 色婷婷六月| 色综合色婷色基地| 激情婷婷丁香色五月综合| 激情五月天影院| 激情五月婷婷| 五月婷婷深深爱| 另类国产综合| 婷婷五月激情丁香| 天天操五月天| 五月天激情综合10p| 丁香婷婷性爱| 人人草碰| 涩涩五| www.99久久久| 免费99色| 色久五月| 天天日天天舔| aaa久久| 婷婷激情啪啪| 99热18| 亚洲AV第二区国产精品| 日本va视频| 思思re99视频在线观看| 久久久婷婷色五月资源网| 另类五月婷婷| 草草操操| 99丁香五月婷婷在线| 狠狠干在线视频| 五月丁香好婷婷A片网| 婷婷操无码| 综合狠狠伊人| 99精品在线观看视频| 99久久国产综合精品五月天喷水\| 国产亚洲99久久精品| 天天综合亚洲| 欧美情色一区| 人妻性爱| 亭亭五月色男人| 超碰在线观看成人视| 丁香五月宝贝激情网| 丁香五月天啪啪| 激情婷婷九月| 激情五月婷婷丁香综合网| 色播丁香| 色激情综合| 激情五月天偷拍综合网| 综合网精品99| 另类丁香五月天区图| 激情五月综合| 91婷婷色 | 4399亚洲视频| 婷婷玖玖丁香| 天天色天天噜| 人人操av| 五月丁香日本一抹本| 久久婷婷色综合| 九九热99精品| 九九性视频| 久久综合九色综合97婷婷| 久久婷婷精品| 超碰在线视屏| 色五月超碰| 在线综合网| 色色色激情网| 婷婷 亚洲图片 丁香| 热九九精品| 日本久久精品| www.9797国产| 色婷婷91| 天天操综合网| 91丨九色丨国产在线| 五月婷婷色吧!| 丁香五月色| 开心五月激情网| 中文字幕,综合,91| 亚洲第一成人AV| 久久只这里有精品| 91|疯狂丨高潮丨对白| 97亚洲色 torrent magnet| 色综合久久天天综合网| 成年人夜夜喷水| 玖玖热视频| 五月天激情亚洲| 久久九九大香蕉电院| 色www久视频| 久久五月天婷婷视频| 一起草性爱不卡视频| 久久久999精品| 人妻精品在线| 色综合久久中文| 开心五月天激情网| 日韩在线99| 视频一二区| 日韩欧美一道四区中文字幕| 99无吗| 久久99草五月婷婷| 色婷婷六月丁香综合欲精品| 狠狠综合久久综合| 五月丁香六月婷婷色日| 偷偷操99| 91九色国产在线| 欧美日韩成人免费在线| www超碰| 成人电影一区| 久久丁香五月婷婷| 婷婷亚洲五月丁香综合在线 | 丁香婷婷天堂| 亚洲国产va| 久久综合图片| 爽天天天天天天天| 婷婷人人操| 91色久| www.99婷婷| 91丨九色丨高潮丰满日本| 婷婷97碰碰| 黄色AV日韩| 国产免费一区二区在线A片视频| 丁香午夜天| 99热免费网站| 少妇被下春药玩弄A片| 激情婷婷另类| 热99.com婷婷| 五月激情综合网| 久久久久亚洲AV无码网影音先锋| 99在线资源| 色五月网址| 五月天大香蕉| 91久久综合亚洲鲁鲁五月天| 色情五月丁香| 九九热在线观看6| 婷婷在线视频| 国产日日操夜夜操的肉棒视频| 色五月丁香com| 思思久久99热只有频精品66| 婷婷久久18| 91在线日| 99热这里在线精品| 国产真实乱了老女人视频| 久久这里只有国产视频| 免费在线a| 一区二区乱码视频| 人人色人人摸人人看| 午夜天堂一区人妻| 丁香五月区| 金品在线视频99| 香蕉国产2013| 婷婷丁香色五月天久久88| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 99热这里只有精品最新| 超碰99热精品| 亚洲综合色网| 丁香婷婷久久综合在线| 婷婷五月精品中文字幕| 久久激情网| 激情综合婷婷| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 国产视频福利| 这里只有精品免费视频| 国产热精品| 久99久视频精品| 丁香六月激情| 国产精品久久99| 欧美特大片黄| 激情小说五月天| 丁香五月婷婷深爱综合激情| 九月丁香网婷婷| 日本色婷婷| 伊人激情| 国产精品成人网址| 伊人久久大香网| 丁香五月色播中文在线播放| 国模九区| 九九aV| 天天插夜夜爽| 久9视频免费播放| 色色婷婷丁香| 五月天激情婷婷久久| 91人妻人人操人人爽| 狠狠色综合网| 婷婷五月综合激情免费| 久色网| 曰韩五月丁香色婷婷无码| 亚洲va成人va成人va在线观看| 婷婷丁香五月天哟啪| 91嫩草国产线观看亚洲一区二区| 色呦呦美女| 先锋男人99资源| 91久久色| 777精品久无码人妻蜜桃| 久久激情五月婷婷| 久青青久| 九九久久精品國產| 丁香五月天啪啪a日本| 热99这就是精品视频| 伊人五月婷| 色色综合激情| WWW色五月天| 色噜噜狠狠色综无码久久合欧美 | 深爱五月网| 淫视馆aV二区一区| 99久久婷婷国产综合亚洲| 亚洲AV成人在线| 久草xx性爱视频| 综合久久久| 91妻人人爽人人看片| 大香蕉99热| 丁香婷婷六月激情综合| 大香蕉五月天婷婷| 最新婷婷五月丁香| 99精品视频免费观看| 五月丁香在线看| 久久久久久久综合狠狠综合| 1234操逼网| 专区无日本视频高清8| 四月婷婷五月丁香| 襙逼网| 综合久久影院| 婷婷性爱五月天丁香网| 六月丁香久久| 激情综合色婷婷啪啪六月天| 操逼巨乳91| 国产精品天天狠天天看| 丁香婷婷六月天| 亚洲小视频| 99热这里在线精品| 丁香五月黄色| 日韩在线视频9色| 五月天婷婷av| 九九热99热| 九九sese| 久久综合干| 婷婷五月丁香性爱| 国精产品一区一区三区免费视频| 亚洲中文字幕av| 怡红院一二三| 这里只有精品99www| 激情四射五月天| 免费成片在线观看| 色五月综合激情网| 涩涩五月天| 99热99极品观看| 日韩十国产极品久久| 久久99热只有精品| 亚洲AV网址| 殴美97色| 无码激情AAAAA片-区区| 五月天婷婷在线视频| 婷婷在线视频| 久久免费婷婷视频| sewuyuejiqingwang| 女人露出p毛视频www网站| 中文字幕av亚洲| 淫视馆av三区| 亚洲激情久久| 深爱激情综合网| 久久视频婷婷| 精品A√| 亚洲 小说 欧美 激情 另类| 天天天操天天天爰| 东京热免费视频| 久久新| 精品导航在线x不卡| 九色综合网| 性做久久久久久久免费看| 久草五月婷婷| 色婷婷综合影院| 这里精品| 天天干天天叉| 去干网最新版本亚洲版| 欧美色偷偷大香| 精品少妇人妻AV无码专区偷人 | 色婷婷天堂| 伊人久久大香| 97偷拍对白视频| 丁香色婷婷色手机免费在线| 欧美性生交XXXXX无码小说| 俺去也五月| 婷婷伊人久久| 久久婷婷婷| 5五月综合网亚洲| 99热亚洲精品| 亚洲另类噜噜| 久久久精品人妻录| 另类视频丁香五月| 噜噜噜精品欧美成人在线观看| 激情婷婷综合| 五月丁香亭亭成人电影| 最新午夜理论片| 五月综合亚洲色| 大香蕉九九| 91九色视频| 六月婷婷综合激情| 五月天丁香成人社| 五月天激情四射网站| 久久五月天免费网站| 久9热在线免费观看| 天堂美国久久| 香港九九六区八区99| 99色免费观看全部| 久99久视频精品| 久久婷婷综合五月| 99热草草| 九热av| 九九色中文| 在线不卡的视频| 69人人操人人爽| 另类图片五月天婷婷| 五月婷婷之综合激情在线| 激情性爱婷婷| 五月综合久久| 国产特级毛片AAAAAAA高清| 五月综合激情网| 开心激情婷婷| 狠狠精品干练久久久无码中文字幕| 五月丁香色综合| 欧美电影在线播放| 国产欧美日韩综合精品一区二区| 婷婷色色综合| 99热人人操人人操| 婷婷丁香先锋资源网站| 久久婷中文字幕| 激情久久 婷婷| 久99热在线观看| 人伦30P| 五月色网| 狠狠狠婷婷五月综合| 97丁香五月天| 亚洲AAAA网| 五月中旬婷婷丁香六| 激情五月,深深爱五月| 成人超碰Av| 色婷五月天激情| 六月丁香网| 久婷久婷| 狠狠草在线观看| 激情99| 亚洲欧洲另类图片| 婷婷综合伊人| 婷婷激情六月综合| 五月丁香网视频| 色综合爱综合| 99色爱| 激情五月天偷拍综合网| 亚洲成人在线免费| 婷婷五月天网| 99婷婷精品推荐在线视频| 日本网站久久| 91狠狠色丁香| 人妻久久久久| 婷婷五月精品在线| 一级性爱视频| 久草五月婷婷| 操人91| 九九婷婷五月天| 亚洲五月天色色| 97色久| 日韩三级片一区二区| 五月丁香色婷| 天天插天天射| 五月婷婷成人| 狠狠干五月| 狠狠色婷婷7777久综合| 亚洲成人综合在线| 夜夜天天天天天干天天爽| 天天色,天天日,天天做| 日本久久婷婷| 丁香六月天| 97偷拍对白视频| 色五月婷婷在线| 五月天色色网站| 另类图片 五月激情| 久久少妇视频| 综合激情婷婷| 99热国品| 亚洲无码黄色| 天天搞夜夜叫| 色色色色色色色色色色色色色色,网站| 五月激情丁香六月狠狠干| 九九热视频免费| 九色91视频| CHINESE熟女老女人HD视频| 色五月美女| 激情黄色小说色五月| 开心五月婷婷六月丁香| 夜丁香五月婷婷| 在线观看的av| 国产亚洲精品久久久久久久久动漫| 人人干人人操外国| 黄色大片又大粗又爽| 五月天激情美女久久| 在线观看亚洲视频影院| 久色网| 丁香婷婷久久综合在线| 丁香五月激情综合| 成人精品99| 超碰久热| 99热最新国内| 丁香五月婷婷激情网| 亚洲AAAA网| 激情久久久久久久久| 亚洲乱码日产精品BD| 伊人久热91| 五月丁香啪啪啪免费看| 午夜丁香婷婷| 九九碰九九爱97超碰| 99九九免费精品| 色色色777| 丁香五月激情在线| 99久久九九| 色99视| 草操网| 激情五月丁香婷婷| 中文字幕人妻熟女在线| 丁香五月婷婷Av| 狠狠狠激情网| 九九色欲网| 热99视频精品在线| 亚洲午夜AV| 亚洲色情在线| 中文字幕成人| 丁香久久九九99| 天天日夜夜| 伊人综合网站| 久久丁香五月| 国产日日操夜夜操的肉棒视频| 五月色亭丁香| 五月婷婷五月天在线| 色婷婷五月天| 色五月婷婷激情基地| 五月综亚洲| 丁香婷婷六月天| 99精品综合| 丁香色五月直播| 噜噜视频| 三年高清大片免费观看国语| 久久综合综合久久| 天天精品视频在线观看视频| 综合久久99| 影音先锋 一区| 99色播| 亚洲AV免费在线| 九九成年视频| 99综合婷婷五月| 五月婷婷六月天| 天色色综合网| 婷婷六月天精品| 成人网丁香五月| 欧美日韩99| 另类图片五月激情| 天天射射夜| 亚洲人妻av| 碰超在线九色| 五月丁香色播| 热久久这里只有精品| 偷拍91九色| 99热99热在线| 五月丁香久久久| 婷婷五月天激情综合婷婷五月天激情综合 | 中文av网站| 9l视频自拍9l九色9l成人| 热思思| 五月婷婷色在线| 欧美日韩大黄| 激情亚洲网| 99啪99| 久久久久人妻中文| 欧美日本日韩| 色性综合| 97香蕉久久超级碰碰高清版| www.91AV.COM| 人人操人av| 国产精产国品一二三在观看| 97福利视频| 色色色在线观看| 极品嫩草| 五月丁香六月婷婷综合网| 天天操比比| 在线网黄| 成人丁香| www.1024久久| 精品一区二区三区木瓜| 婷婷五月色| 婷婷五月天堂网| 一起草Av| 五月天综合久久丁香91| 色五月天综合网| 九月丁香网婷婷| 五月天成人在线精品| 午夜色婷婷| 玖玖色综合| 情色五月天网站| 亭亭五月基地在线| 激情丁香五月婷婷啪啪| 99热在线观看| 色青青五月| www.色五月| 中文字幕永久免费| 26.uuu丁香五月婷婷| 激情五月天99色| www,婷婷| 五月天另类小说久久小说网| 婷婷五月天日日日干干干| 中文字幕日产A片在线看| 五月花综合网| 婷婷五月激情小说| 亚洲综合字幕色色| 久久99综合| www婷婷| 亚洲综合视频在线| 狼友视频在线观看18| 成人国产综合| 五月激情视频| 丁香五月婷婷网| 激情深爱婷婷网| 九九Av| 丁香婷婷久久激情| 蜜乳av一级av| 五月婷婷开心亚州在线| 亚洲成人精品三区| 丁香五月天论坛| www91久久| 色九亚洲| 99热偷拍| 桃色五月天| 同性gv国产精品一区二区| 免费看欧美成人A片无码| 69午夜成人影片| 99精品丁香五月| 激情六月婷| 日本久久9| 五月丁香色综合| 激情九月综合| 99精品网| 丁香六月视频| 99九九这里有免费视频| 欧美成人网99网| 免费看成人747474九号视频在线观看| 性色婷婷| 大香蕉AV在线| 婷婷五月天在线观看| 五月天婷婷丁香视频| 婷婷热色| 天天爽天天爽| 日本91在线| 成人精品在线观看| 丁香五月天五码婷婷| 日韩人妻在线播放| 亚洲色婷婷五月天| 大香蕉啪啪| 99超级碰免费视频| 五月婷婷六月激情网| 97干在线免费| 色婷婷AV在线| 激情综合5| 国产黄大片在线观看画质优化| 久久亚洲婷婷| 婷婷的色色五月天| 国产一级片| 婷婷五月天va| 亚洲日本三级片| 色色色网站| 九九精品热| 777米奇影视第四色| 欧美草久久五月天91| 2015超碰| 成年人丁香五月| 婷婷五月丁香五月天| 欧亚中文A V| 99操久久| 五月婷婷六月丁香激情综合网| 亚洲欧美综合7777色亭亭| 五月天综合| 伊人91| AⅤ网站在线看| 亚洲这里只有精品| 无码人妻激情| 亚洲国产无线乱码在线观看| 激情五月色在线播放| 91色综合网| 99精品在线| 亚洲视频伍月婷婷| ww久久| 欧美S码亚洲码精品M码| 久久久精品色| 久久综合激情| 97超碰,人人舔,人人操,人人摸| 噜噜国产| 色丁香五月天射婷婷爱婷婷| 影音先锋日本三级资源| 婷婷亚洲综合| 五月份婷婷| 9九九久久精品无码专区| 丁香婷婷91在线观看视频| 丁香五月狠狠在线观看| 日韩精品在线观看9| www色婷婷| 九九视频热| 超碰国产av| AV大香蕉| 亚洲男女激情| 天天爽成人综合网站| 五月天小说激情| 婷婷丁香五月麻豆| 天天日,夜夜爽| 成人视频在线免费播放| 亚洲妇女熟BBW| 五月天婷婷视频小说| 丁香五月婷婷五月天在线| 怡春院天天干| 色爱亚洲| 五月天久久网站| 丁香五月亚洲激情婷婷射| 任我干视频在线观看| 91综合国免费久入| 99久久99热这里只有精品| 毛片新网地| 国产91资源在线| 综合另类视频| 五月天玖玖狠狠色色| 色99在线观看| 久久se 综合网| av在线免费播放| 五月丁香六月花| 日韩欧美颜射| 久久综合9| 99热综合| 精品无吗va视频免费观看| 日韩三级片一区二区| 亚洲精品网址| 亚洲精品又粗又大又爽A片| 色色色综合| 开心五月婷婷在线视频免费观看| 99久精品视频| www.丁香六月婷婷久久天堂影院.con| 综合AV在线| 狠狠草综合网| 九九热这里只有精品7| 激情国产五月| 丁香五月天婷婷激情| 婷婷丁香人妻天天爽| 怡红院院在线导航网 | 人妻操操色| 色色色999| 日本人妻久久| 噼里啪啦完整版中文在线观看| 999久久久国产精品| 26uuu亚洲色| 亚洲av网站| 七七色综合| 成人精品在线观看| 婷婷射综合| 婷婷六月激情在线视频| 久久婷婷五月国产色综合激情| 啪啪东京热| 老美AA片| 色婷婷基地| 婷婷综合网| 婷婷色日本| 91操碰| 色五月大香蕉婷婷| 蜜臀久久99精品久久久久久酒店| 丁香六月婷婷综合| 色欲一二三| 丁香婷婷五色月| 天天情天天狠天天透| 婷婷五月中文字幕| 婷婷五月天 丁香五月天 裸体| 久久99网| 天天肏高清在线| 五月丁香花婷婷玉莉AV| 色欲婷婷夜夜| 人人97碰| 日韩AV一区二区三区| 国产偷人爽久久久久久老妇APP| 婷婷金品综合视频| 丁香五月婷婷六月丁香| 综合五月激情| 欧洲亚洲免费视频区| 久99久在线| 超碰9在| 久久这里只有精品视频15| 丁香六月激情综合| 久热91| www.色五月| 天天操狠狠操| 天天舔天天| 九九激情网| 9久精品视频| 激情亭亭五月| 亚洲中文AV网站| 三级av在线| 六月丁丁香| 色色色色色色色色综合网| 色丁香五月婷婷| 色久五月天| 日日操日日射| 五月婷婷开心色伊人| 蜜臀AV在线成人| WWW.久久久久久久| 五月丁香婷色| 中文AV网站| 91 影音先锋| 丁香五月激情综合| site:pnnrt.com| 综合色色婷婷| 久久人人九| 天天摸天天舔天天天天爽| 婷婷六月色播| 五月综合激情综合久| 婷婷五月天777| 婷婷五月综合婷婷| 亚洲最大在线| 色天堂在线| 五月婷婷综合社区| 岛国资源站| 99热色综合| 九九热狼人| 香蕉婷婷五月| 中文字幕乱码亚洲精品一区| 婷婷亚洲综合| 99热免费| 五月婷婷开心网| 久机视频这只有精品| 婷婷天堂综合| 91超碰在线观看| 91精品国产99久久久久久天美| 五月丁香六月色| 99热精品在这里| 国产午夜一区二区三区| 欧洲第一久色| 天天精品视频在线观看视频| 五月丁香久久呀| 五月天色婷婷图片| 欧美综合婷婷网| 五月天影院婷婷在线观看| 天天在线久久综合| 79亚洲精品少妇| 九九热只有精品6| 亚洲激情淫网| 99视频久久免费视频| 久久丁香五月婷婷激情综合网| 密黄站| 99色区| 五月丁香日本片| 久久人妻久久久久| 欧美日本综合网| 色欲Av五月天| 在线VA视频| 综合色天天| 综合网激情五月天| 五月丁香好婷婷A片网| 男人综合网| 九月婷婷丁香| 五月天激情开心网| 五月丁香六月香综合激情| 丁香久久久| 色婷婷视频在线| 99热在线看| WWW免费视频碰碰碰碰| 欧美精产国品一二三区| 色综合久久综合中文综合网| 99人碰碰碰| 五月丁香啪啪| 九九亚洲| 日日日日日| 91肏肏肏| 1024成人免费看| 色色色五月天激情资源| 日韩三及成人AV片| 成人午夜免费电影| 色琪琪一综合久久激情五月视频| 久久丁香五月天| 色婷婷色五月另类综合| 五月婷婷丁香伦理网| 超碰renrenai| 好激情在线综合网| 人人干人人操人人摸| 99爱爱网| 99久久9| 五月天色图| 欧美成人AAA片一区国产精品| 久久视9精| 国产综合丁香五月天| 操九色| 婷婷色色五月| 天天做天天爱天天爽在| 国产精品蜜臀99| 播四月婷婷六月丁香| 色五月偷偷| 欧美操人| 极品少妇XXXX精品少妇偷拍| 五月丁香本色在线观看| 九热视频免费观看| 九九大香蕉黄色影院| 97色婷| 天天草婷婷五月| 久久欧洲综合网| 人人摸人人澡人人| 狠狠色综合网| 丁香五月激情综合| www天堂99| 激情五月丁香六月综合AVXXXX| 欧美影院婷婷| 激情婷婷五月女| 91人妻视频| 九九99久久| 91色色色| 婷婷丁香社区| www.久久久久久久久久.com| 亚洲精品在线视频| 丁香婷婷人妻| 天天舔天天插天天干| 丁香六月情| 色五月综合激情| 被男人添B超爽视频| H亚洲| 开心五月婷婷婷美女| 婷婷五月小说色综合| 婷婷五月婷婷五月天| 天天婷婷综合亚洲亚洲| www.久久久.com| 国产亚洲精品AAAA片APP| 最熟少妇乱码| 五月丁香精品| 久草五月天电影网| 人人干人人操人人摸| 婷婷九月色| 婷婷色情 | 久久久久久久久久久44| 六月丁香花婷婷| 婷婷五月综合啪| 俺去也婷婷| 日本色狠狠| 91精品综合久久久久久五月丁香| 欧美性猛交XXXX乱大交极品| 精品九九婷婷| 激情AV| Va另类视频| 97五月天| 色欲天天综合网| 色婷婷精品视频在线播放| A片一曲| 26UUU在线观看| 久久久久婷| 俺也去色| 色欧美日| 五月丁香网av| 天天狠狠干| 99这里只有精品|v| 999热视频精品99免费在线| 色碰碰| 六月香五月婷| 天天干天天插| 六月丁香网| 综合亚洲AV| 琪琪秋霞| 成人色五婷婷| 色欲天天综合网| 一区二区三区四区牛| 天天想夜夜爽天天爽| 久色资源网| 99热在线只有精品| 久在线综合69| 狠狠色丁香| 成人性爱无码| 永久精品| 丁香九色不卡aaa| 99色这里| 直接看的AV| 五月丁香婷婷色| 玖玖爱导航| 激情五月婷婷欧美极品 | 综合九九久久| 色色色综合视频| 开心婷婷五月| 欧美性猛交99久久久久99按摩|