欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

數(shù)值與文本混合特征工程實(shí)戰(zhàn):從清洗到模型融合全攻略

數(shù)值與文本混合特征工程實(shí)戰(zhàn):從清洗到模型融合全攻略 做機(jī)器學(xué)習(xí)項(xiàng)目時(shí)我自己最怕遇到的一類數(shù)據(jù)就是“既有文本又有數(shù)值”的混合表格。比如用戶畫像里既有“年消費(fèi)金額”這種數(shù)值列又有“商品評價(jià)內(nèi)容”這種自由文本做退款風(fēng)險(xiǎn)預(yù)測既有“訂單總價(jià)”、“歷史退款率”又有“客服工單描述”、“買家留言”。這類數(shù)據(jù)在真實(shí)業(yè)務(wù)里非常常見但大多數(shù)教程要么只講純數(shù)值表格怎么調(diào)LightGBM要么只講NLP文本怎么進(jìn)BERT很少有人把“數(shù)值和文本怎么揉在一起做特征工程”講透。這篇內(nèi)容我打算用一整篇的篇幅把這套處理思路、工具鏈、實(shí)操路線和踩坑點(diǎn)都盤一遍。如果你想做大數(shù)據(jù)開發(fā)、數(shù)據(jù)挖掘或者準(zhǔn)備大數(shù)據(jù)面試這個(gè)主題其實(shí)是高頻考點(diǎn)值得認(rèn)真看。1. 混合特征難處理的根源在哪里先別急著調(diào)包。要處理混合特征首先要搞清楚一個(gè)問題為什么數(shù)值和文本拼在一起不像“把兩個(gè)DataFrame合并”那么簡單很多新人一上來就把文本用TF-IDF轉(zhuǎn)成稀疏矩陣再和數(shù)值列拼在一起丟進(jìn)模型結(jié)果效果稀爛還找不到原因。其實(shí)問題不在模型而在特征本身的“底層邏輯”完全不一樣。1.1 數(shù)值與文本的底層數(shù)據(jù)性質(zhì)不同數(shù)值特征通常是稠密的、有序的、量綱統(tǒng)一的。比如訂單金額800元、歷史退款次數(shù)2次、用戶停留時(shí)長320秒這些數(shù)字本身就具備“可比較性”和“數(shù)學(xué)運(yùn)算意義”。模型可以直接通過分裂點(diǎn)來捕捉“金額大于500時(shí)風(fēng)險(xiǎn)升高”這種規(guī)律連續(xù)特征還能做分箱、歸一化、多項(xiàng)式交叉都不會(huì)破壞它本身的語義。文本特征則完全不同。文本是離散的、稀疏的、無序的字符串單個(gè)詞匯必須經(jīng)過“向量化”才能被模型理解。把“退款好慢客服態(tài)度差”這句話轉(zhuǎn)成向量時(shí)不同分詞方式、不同詞典大小、不同權(quán)重算法產(chǎn)出的特征空間天差地別。哪怕同樣一句中文用jieba分詞和用字符級切分出來的結(jié)果可能完全不沾邊。而且文本的長度差異極大短的可能只有幾個(gè)字長的能有上千字這種“變長結(jié)構(gòu)”是純數(shù)值表格完全不具備的。也正是因?yàn)橐粋€(gè)稠密連續(xù)、一個(gè)稀疏離散直接把兩者拼起來放進(jìn)單一模型會(huì)讓模型在同一套分裂邏輯里同時(shí)處理兩種截然不同的分布形態(tài)。此時(shí)如果文本特征維度巨大、數(shù)值特征維度很小權(quán)重天然失衡模型很容易被文本側(cè)的高維稀疏信號帶偏而數(shù)值側(cè)真正有區(qū)分度的業(yè)務(wù)字段反而沒有被充分利用。1.2 真正的難點(diǎn)三類隱性矛盾在實(shí)際項(xiàng)目里混合特征真正的難點(diǎn)其實(shí)不只是“拼接”本身而是三類很容易被忽略的隱性矛盾。第一類是“尺度矛盾”。數(shù)值特征做標(biāo)準(zhǔn)化后基本都在0到1之間或者以均值為中心波動(dòng)但TF-IDF的取值區(qū)間是0到某個(gè)正數(shù)而且大量是0少量是幾個(gè)點(diǎn)以上的浮點(diǎn)數(shù)兩者的分布形態(tài)差異極大。如果模型是神經(jīng)網(wǎng)絡(luò)或基于距離的算法如KMeans、KNN尺度不一致會(huì)造成嚴(yán)重的特征淹沒如果是樹模型雖然對尺度不敏感但大量稀疏維度會(huì)顯著拖慢訓(xùn)練速度并降低分裂質(zhì)量。第二類是“語義鴻溝”。數(shù)值特征表達(dá)的語義是“多少、多快、多大”文本特征表達(dá)的語義是“發(fā)生了什么、用戶說了什么”。同樣是“退款”這個(gè)行為數(shù)值列可能只是退款1次、退款金額50元但文本評論里可能寫了“申請退款多次未果客服一直推諉”前者是行為事實(shí)后者是過程體驗(yàn)。如果只靠數(shù)值側(cè)的“退款次數(shù)1”來預(yù)測風(fēng)險(xiǎn)根本捕捉不到用戶情緒和客服處理時(shí)效問題的深層信息。文本的價(jià)值恰恰在于它能補(bǔ)充數(shù)值記錄中沒有的過程細(xì)節(jié)。第三類是“樣本對齊問題”。一個(gè)用戶有10條文本評論、對應(yīng)一條數(shù)值記錄怎么把10條文本聚合成一條文檔向量一個(gè)訂單里有5個(gè)商品標(biāo)題、若干條客服備注怎么融合到訂單粒度去做二分類這種一對多、多對一、甚至多對多的粒度關(guān)系往往比“特征怎么設(shè)”更先決定成敗。2. 數(shù)值側(cè)預(yù)處理別讓基礎(chǔ)字段拖后腿數(shù)值特征雖然看起來簡單但在混合建模里反而是最容易“先入為主”出錯(cuò)的地方。因?yàn)榇蠹叶加X得數(shù)值列不用處理直接讀進(jìn)來就能用。實(shí)際上數(shù)值列的質(zhì)量直接影響文本側(cè)特征能不能發(fā)揮價(jià)值。畢竟模型最后是一個(gè)整體一側(cè)崩了另一側(cè)再強(qiáng)也會(huì)被拖累。2.1 先做業(yè)務(wù)口徑歸一再做統(tǒng)計(jì)變換很多初學(xué)者在處理數(shù)值特征時(shí)分不清“歸一化”和“統(tǒng)計(jì)變換”更不會(huì)去想“這個(gè)數(shù)值在本業(yè)務(wù)里到底代表什么”。第一步我建議先做業(yè)務(wù)口徑歸一。比如“消費(fèi)金額”這個(gè)字段不同渠道傳入的口徑可能不一樣有的含運(yùn)費(fèi)有的不含有的是實(shí)付金額有的是商品原價(jià)“退款金額”有的是正數(shù)有的是負(fù)數(shù)。如果不把業(yè)務(wù)口徑拉齊后面的統(tǒng)計(jì)變換全是白費(fèi)。做這一步時(shí)最好列一個(gè)字段口徑清單每列寫明單位、允許范圍、缺失值的業(yè)務(wù)含義是該用戶沒有記錄還是記錄丟失這個(gè)動(dòng)作能在后面省下大量排查時(shí)間。第二步才是統(tǒng)計(jì)變換。我自己的習(xí)慣是先觀察數(shù)值分布形狀再?zèng)Q定用不用對數(shù)或Box-Cox變換。比如“用戶累計(jì)充值金額”這類偏態(tài)極大的長尾數(shù)據(jù)我一般會(huì)先做np.log1p變換因?yàn)橹苯游乖冀痤~模型的分裂點(diǎn)基本會(huì)被極少數(shù)大額用戶帶跑而大量普通用戶的金額差異在幾百元以內(nèi)反而區(qū)分不開。再比如“距上次登錄天數(shù)”這種本身就是“時(shí)間間隔”語義的字段我更傾向于直接保留原始天數(shù)同時(shí)構(gòu)造“間隔是否超過7天/30天”等業(yè)務(wù)閾值特征因?yàn)殚g隔本身的分界點(diǎn)在業(yè)務(wù)上是可解釋的。歸一化方面有一點(diǎn)要特別注意樹模型不做歸一化沒關(guān)系但一旦后續(xù)要把數(shù)值特征和文本向量同時(shí)送入神經(jīng)網(wǎng)絡(luò)或做距離計(jì)算必須統(tǒng)一做標(biāo)準(zhǔn)化或MinMax縮放。這正是混合建模里最容易埋雷的環(huán)節(jié)——文本側(cè)已經(jīng)做了TF-IDF歸一化數(shù)值側(cè)如果不做兩個(gè)空間就會(huì)歪掉。2.2 離散化與目標(biāo)編碼的取舍數(shù)值特征在混合建模里另一個(gè)重要議題是離散化還是保持連續(xù)該不該用目標(biāo)編碼從純樹模型角度來看連續(xù)數(shù)值會(huì)被自動(dòng)尋找最優(yōu)切分點(diǎn)所以很多情況下我們不需要手動(dòng)分箱。但手動(dòng)分箱有一個(gè)不可替代的好處可以對缺失值單獨(dú)成箱、對異常值單獨(dú)成箱并且能讓模型捕捉“非線性區(qū)間效應(yīng)”。比如“年齡”這個(gè)變量如果沒有業(yè)務(wù)經(jīng)驗(yàn)直接喂連續(xù)值樹模型雖然能找切分點(diǎn)但切出來的區(qū)間可能不符合業(yè)務(wù)認(rèn)知解釋性也不強(qiáng)。如果業(yè)務(wù)上已知“24歲以下和40歲以上退款風(fēng)險(xiǎn)高”可以先做出風(fēng)險(xiǎn)曲線再按曲線拐點(diǎn)分箱這樣每箱都有明確的業(yè)務(wù)標(biāo)簽。目標(biāo)編碼Target Encoding在混合特征場景里也非常好用因?yàn)楸砀駭?shù)據(jù)往往有很少的類別列比如商品類目、店鋪ID、渠道來源等這些本質(zhì)上不是自由文本但可以和文本、數(shù)值構(gòu)成上下文。目標(biāo)編碼就是用“該類別下的目標(biāo)均值全局先驗(yàn)平滑系數(shù)”替換類別本身能夠高效利用類別信息對樹模型尤其友好。不過要切記防止標(biāo)簽泄漏目標(biāo)編碼必須在訓(xùn)練集內(nèi)用K-Fold方式計(jì)算均值再映射到驗(yàn)證集和測試集不能在整份數(shù)據(jù)上直接groupby求均值。我這里給出一段典型的數(shù)值列清洗順序偽代碼能覆蓋大多數(shù)常規(guī)場景import pandas as pd import numpy as np def preprocess_numeric(df, num_cols): for col in num_cols: # 1. 缺失值填充業(yè)務(wù)無記錄填-999讓樹模型單獨(dú)成枝 df[col] df[col].fillna(-999) # 2. 異常值截?cái)喑^99.9%分位的值縮到該分位 upper df[col].quantile(0.999) df[col] df[col].clip(upperupper) # 3. 長尾偏態(tài)分布做log變換 if df[col].skew() 2: df[col] np.log1p(df[col].clip(lower0)) # 4. 高頻類別如渠道等單獨(dú)做頻率編碼或目標(biāo)編碼 return df這段代碼的關(guān)鍵在于第四步渠道、類目這類高基數(shù)類別列不要直接扔給模型做LabelEncoder因?yàn)長abelEncoder只是賦予任意整數(shù)編號樹模型會(huì)誤以為編號有大小關(guān)系。正確做法要么OneHot類別少時(shí)要么目標(biāo)編碼或頻率編碼類別多時(shí)。3. 文本側(cè)表示與向量化方法選擇要跟場景走文本特征處理是混合建模里的重頭戲也往往是耗時(shí)最長的部分。文本側(cè)處理的目標(biāo)不是“把文本轉(zhuǎn)成模型能讀的數(shù)字”就完了核心目標(biāo)是讓文本特征成為數(shù)值特征的“語義補(bǔ)充”而不是“噪聲疊加”。我實(shí)際在項(xiàng)目中按數(shù)據(jù)規(guī)模和應(yīng)用場景把文本處理分成三檔第一檔是統(tǒng)計(jì)型向量TF-IDF/BOW第二檔是詞向量聚合Word2Vec/Doc2Vec第三檔是預(yù)訓(xùn)練語言模型Embedding。三檔方案的選型和調(diào)參思路下面分開說。3.1 TF-IDF是主力方案但關(guān)鍵在調(diào)參在很多真實(shí)業(yè)務(wù)場景中時(shí)間緊、標(biāo)注少、文本短、還要可解釋性TF-IDF其實(shí)是最好的起點(diǎn)。它無需GPU、訓(xùn)練極快、特征含義明確任何一個(gè)維度都能映射回原始詞項(xiàng)方便做錯(cuò)誤分析。但TF-IDF“上限不高下限不低”很多人直接調(diào)用TfidfVectorizer默認(rèn)參數(shù)效果平庸還不知道問題出在哪。我總結(jié)了一套相對穩(wěn)定的調(diào)法。首先一定要按業(yè)務(wù)先清洗文本。中文文本要去除特殊符號、HTML標(biāo)簽、郵箱、網(wǎng)址、連續(xù)數(shù)字和無意義停用詞但不要過度清洗比如“退款”“客服”這種關(guān)鍵詞必須保留。切忌一開始就上完整停用詞表把所有高頻詞干掉因?yàn)楹芏辔谋驹诟哳l詞里恰恰藏著業(yè)務(wù)信號。from sklearn.feature_extraction.text import TfidfVectorizer import jieba def cut_words(text): text re.sub(r[a-zA-Z0-9], , str(text)) words jieba.lcut(text) # 只保留長度2的詞去掉單字和空白 words [w.strip() for w in words if len(w.strip()) 2] return .join(words) tfidf TfidfVectorizer( token_patternr(?u)\b\w\b, max_features3000, min_df5, max_df0.6, sublinear_tfTrue, strip_accentsunicode, ngram_range(1, 2), ) X_tfidf tfidf.fit_transform(corpus)這里幾個(gè)參數(shù)的含義值得展開講一下。min_df5的意思是“一個(gè)詞至少在5條樣本中出現(xiàn)過否則丟棄”這能過濾掉只在一條樣本里出現(xiàn)的噪音詞。max_df0.6的意思是“一個(gè)詞如果在60%以上的樣本里都出現(xiàn)也丟棄”原因是這類詞基本是通用詞區(qū)分能力弱。max_features根據(jù)文本量級定我一般經(jīng)驗(yàn)是數(shù)據(jù)量在幾萬條、文本短時(shí)設(shè)1000到2000足夠數(shù)據(jù)量在幾十萬條、文本較長時(shí)3000到5000比較穩(wěn)。max_features太大容易過擬合且拖慢訓(xùn)練太小又可能丟棄有效詞。sublinear_tfTrue非常關(guān)鍵它用 1log(tf) 替代原始詞頻做子線性縮放能抑制那些在單條文檔中反復(fù)出現(xiàn)的詞的權(quán)重避免“某個(gè)詞出現(xiàn)10次和出現(xiàn)50次被模型視作10倍重要”的失真實(shí)際效果對短文本尤其明顯。ngram_range(1,2) 則是同時(shí)保留單個(gè)詞和相鄰雙詞。比如“客服態(tài)度差”如果不加bigram模型看到的是“客服”“態(tài)度”“差”三個(gè)孤立的詞“差”字很容易被其他場景的“差評”“差異”稀釋。加了bigram后“態(tài)度差”作為一個(gè)整體特征語義強(qiáng)度高出很多。不過bigram會(huì)讓維度飆升所以必須配合max_features做截?cái)唷?.2 詞向量與預(yù)訓(xùn)練模型的適用邊界那什么時(shí)候不用TF-IDF而要使用Word2Vec類方法或預(yù)訓(xùn)練模型呢我的判斷標(biāo)準(zhǔn)很簡單如果文本是短文本、業(yè)務(wù)關(guān)鍵詞明確、需要快速迭代和可解釋性TF-IDF足夠如果文本是長文本、語義復(fù)雜、上下文依賴明顯或者數(shù)值側(cè)本身已經(jīng)包含很強(qiáng)結(jié)構(gòu)化信息而文本是唯一的信息增量來源那么詞向量或BERT類模型值得上。Word2Vec類方法最大的優(yōu)勢是把詞映射成稠密向量保留了部分語義關(guān)系比如“客服”和“售后”的向量距離會(huì)比較近。但用一個(gè)粗糙的Word2Vec直接去Mean Pooling整條文本效果往往不如TF-IDF好。原因是短文本里不同詞的重要性差異很大簡單平均會(huì)把“好的”“不錯(cuò)”這類泛化詞和“漏水”“爆炸”這樣的強(qiáng)情感詞同等對待。我實(shí)測下來如果業(yè)務(wù)沒有那么復(fù)雜用TF-IDF做主特征再用Word2Vec做一個(gè)“語義相似度特征”作為輔助比如計(jì)算文本向量和“風(fēng)險(xiǎn)詞庫”向量的余弦相似度反而更容易帶來增量。至于BERT等預(yù)訓(xùn)練模型適合文本較長、語義理解要求高、且有時(shí)間做微調(diào)的場景。但在大數(shù)據(jù)量、上千維稀疏特征混合建模的場景里我不建議直接把BERT輸出的768維向量和數(shù)值特征粗暴拼接后送進(jìn)XGBoost因?yàn)锽ERT向量空間和TF-IDF空間的性質(zhì)差異太大拼接后解釋性極差也很難做特征篩選。我的折中做法是用BERT對每條文本抽出一個(gè)低維的Embedding比如通過句向量模型壓到128維或256維再和數(shù)值特征混合建模或者直接把BERT當(dāng)作一個(gè)獨(dú)立模型輸出預(yù)測概率再用這個(gè)概率作為新特征加入主模型也就是做Stacking。這種“文本模型吐特征表格模型吃特征”的思路在很多競賽和業(yè)務(wù)項(xiàng)目里都更穩(wěn)定。4. 把兩類特征真正融到一起前面數(shù)值側(cè)和文本側(cè)各自預(yù)處理完畢后接下來的融合環(huán)節(jié)才是整篇內(nèi)容的核心。為什么很多項(xiàng)目做到這一步效果不升反降因?yàn)椤叭诤稀辈恢挥幸环N方案而不同方案對數(shù)據(jù)和模型類型的適配性完全不同。我在項(xiàng)目里把融合方法分成四個(gè)層級從最基礎(chǔ)的拼接一路到深度模型結(jié)構(gòu)設(shè)計(jì)后面分別講清楚適用場景和細(xì)節(jié)。4.1 直接拼接是基線但要注意稀疏度第一種方案也是最基礎(chǔ)的方案——直接橫向拼接。用scipy.sparse.hstack把數(shù)值特征矩陣和TF-IDF稀疏矩陣拼在一起再丟給LightGBM或XGBoost。from scipy.sparse import hstack X_all hstack([X_numeric_scaled, X_tfidf]).tocsr()這是最省事的做法但有幾個(gè)問題必須處理。首先是稀疏度問題。TF-IDF矩陣通常稀疏度在90%以上而數(shù)值列拼進(jìn)去后是稠密的。樹模型在訓(xùn)練時(shí)遍歷特征維度如果稀疏特征占絕大多數(shù)分裂點(diǎn)搜索時(shí)大量時(shí)間花在“判斷是否為0”上訓(xùn)練速度會(huì)明顯下降。解決方案是控制文本維度我一般把max_features控制在3000以內(nèi)并且確保稀疏矩陣以CSR格式存儲(chǔ)訓(xùn)練時(shí)算法庫對CSR的遍歷優(yōu)化會(huì)好很多。其次是特征重要性的誤導(dǎo)。在拼接后的XGBoost特征重要性里TF-IDF的幾千個(gè)維度會(huì)占據(jù)多數(shù)表面看“文本特征貢獻(xiàn)最大”但實(shí)際上可能是文本特征維度多、單維重要性低總和虛高。反觀2到3個(gè)數(shù)值特征雖然每次分裂都能帶來很大的Information Gain卻因?yàn)榫S度少累積重要性反而偏低。因此評估模型時(shí)不要只看gain型重要性還要結(jié)合shap值或permutation importance。4.2 比拼接更穩(wěn)的做法分組建模與交叉特征直接拼接的替代方案是“分組建?!薄?shù)值特征、文本特征分別訓(xùn)練兩個(gè)模型比如一個(gè)LightGBM只吃數(shù)值列一個(gè)LogisticRegression或者LightGBM只吃TF-IDF再把兩個(gè)模型輸出的預(yù)測概率作為新特征放入第二層模型融合。這種做法在Kaggle和實(shí)際業(yè)務(wù)中都非常有效好處有三個(gè)第一避免高維文本淹沒低維數(shù)值第二兩個(gè)子模型可以用各自最擅長的預(yù)處理方式不必強(qiáng)行統(tǒng)一尺度第三第二層模型能學(xué)到“文本側(cè)概率高但數(shù)值側(cè)概率低”這種非線性關(guān)系。數(shù)值分組建模的另一個(gè)重要拓展是構(gòu)造文本與數(shù)值的交叉特征。我舉一個(gè)實(shí)際業(yè)務(wù)案例電商客服工單里用戶輸入文本中出現(xiàn)了“發(fā)票”二字同時(shí)訂單金額字段大于5000元那么大概率是B端企業(yè)客戶需要專票報(bào)銷這個(gè)組合信號比單獨(dú)看任意一側(cè)都強(qiáng)。具體做法是先用文本分類或關(guān)鍵詞規(guī)則給文本打一個(gè)“意圖標(biāo)簽”比如“發(fā)票問題”、“物流問題”、“退款問題”然后做“意圖標(biāo)簽×金額分箱”的交叉特征。如果想讓模型自己學(xué)交叉還可以直接把文本規(guī)則篩選出的樣本ID作為一個(gè)二值特征和數(shù)值列一起進(jìn)樹模型讓樹模型自動(dòng)去找交叉切分點(diǎn)。# 交叉特征示例意圖標(biāo)簽從文本中提取再與數(shù)值分箱做交叉 df[intent] df[text].apply(lambda t: detect_intent(t)) # 關(guān)鍵詞/分類模型均可 df[amount_bucket] pd.cut(df[order_amount], bins[0, 200, 500, 1000, np.inf], labels[0-200, 200-500, 500-1000, 1000]) df[intent_amount_cross] df[intent].astype(str) _ df[amount_bucket].astype(str)這種交叉特征通常能帶來非常顯著的AUC提升遠(yuǎn)高于直接堆更多TF-IDF維度。4.3 時(shí)間窗口類特征文本與數(shù)值混合的高頻場景金融、風(fēng)控、電商場景里時(shí)間窗口類文本數(shù)值混合特征是另一個(gè)大頭。比如歷史上每個(gè)月的文本評價(jià)量、近7天客服投訴關(guān)鍵詞出現(xiàn)次數(shù)、近30天平均退款金額變化率等。這些特征本質(zhì)上已經(jīng)屬于“時(shí)序聚合”范疇處理起來有幾條特別容易踩坑的經(jīng)驗(yàn)。時(shí)間窗口的計(jì)算必須在“樣本時(shí)間點(diǎn)之前”截止嚴(yán)禁使用未來數(shù)據(jù)這是時(shí)序建模的絕對鐵律。我用自己的親身教訓(xùn)舉個(gè)例當(dāng)時(shí)做用戶流失預(yù)警用某個(gè)用戶30天內(nèi)工單文本里的投訴關(guān)鍵詞數(shù)量做特征因?yàn)橛?jì)算腳本在跑全量ETL時(shí)沒有按時(shí)間過濾導(dǎo)致驗(yàn)證集里包含了未來信息離線AUC做到了0.87上線后線上AUC直接跌到0.71。后來排查半天才發(fā)現(xiàn)特征本身存在時(shí)間穿越。處理這類特征的正確做法是在訓(xùn)練集的每個(gè)樣本上用“以該樣本的截止時(shí)間向前回溯窗口”不是先聚好一張全量大寬表再劃分訓(xùn)練集和測試集。時(shí)間窗口通常取多個(gè)長度比如近7天、近14天、近30天因?yàn)闃I(yè)務(wù)上不同行為的影響時(shí)效不同。文本側(cè)可以聚合出“窗口內(nèi)負(fù)面詞數(shù)”、“窗口內(nèi)平均文本長度”、“窗口內(nèi)意圖類別熵”等高層變量再和數(shù)值側(cè)的“窗口內(nèi)消費(fèi)總額”、“最近一次交互間隔”做時(shí)間衰減加權(quán)。因?yàn)槲谋敬髷?shù)據(jù)量聚合計(jì)算量大一般建議先在離線節(jié)流側(cè)把時(shí)間分桶、用戶分組、關(guān)鍵詞分類都做好索引。5. 實(shí)操記錄電商退款預(yù)測中的混合特征全流程理論講了不少下面用一個(gè)可落地的業(yè)務(wù)場景走一遍全流程。場景是電商平臺的退款風(fēng)險(xiǎn)預(yù)測任務(wù)預(yù)測目標(biāo)是“用戶下單后7天內(nèi)是否申請退款二分類”。數(shù)據(jù)布局大概是每行一個(gè)用戶數(shù)值列有歷史訂單數(shù)、歷史退款數(shù)、近30天登錄次數(shù)、客單價(jià)等文本列是用戶最近的客服投訴描述長度從幾個(gè)字到幾百字不等而且不是每個(gè)人都有描述很多人這一欄是空的。這是一個(gè)相當(dāng)?shù)湫偷摹拔谋九c數(shù)值混合特征”場景。5.1 數(shù)據(jù)觀察與指標(biāo)設(shè)定我先做數(shù)據(jù)抽樣質(zhì)檢發(fā)現(xiàn)文本列空值率約為42%。這非常關(guān)鍵因?yàn)槿绻苯影堰@列文本處理成“空字符串”TF-IDF會(huì)把空字符串給一個(gè)全零向量但如果42%都是全零行會(huì)造成特征矩陣底部堆積大量零向量影響后續(xù)的稀疏計(jì)算和模型學(xué)習(xí)。于是我構(gòu)造了一個(gè)二值列“is_text_present”標(biāo)記是否有文本記錄這個(gè)簡單特征本身往往也有很強(qiáng)的業(yè)務(wù)含義因?yàn)闀?huì)留文字投訴的用戶大概率比沉默用戶的退款率更高。業(yè)務(wù)指標(biāo)選什么也很重要。退款預(yù)測這種正負(fù)樣本不平衡任務(wù)正樣本大約只占15%AUC是主要參考指標(biāo)但做特征工程和閾值決策時(shí)還要兼顧召回率和精確率。因?yàn)闃I(yè)務(wù)核心是想提前盯住高風(fēng)險(xiǎn)用戶寧可有部分誤報(bào)也不要漏掉真正會(huì)退款的人所以線下評估時(shí)我通常會(huì)同時(shí)觀察AUC、召回率Precision0.5以及KS值多個(gè)角度驗(yàn)證特征有沒有帶來真正的業(yè)務(wù)增量。5.2 特征構(gòu)建完整流水線整條特征構(gòu)建流水線我是這樣設(shè)計(jì)的拆成四個(gè)模塊模塊一是“用戶靜態(tài)數(shù)值特征”。包括歷史訂單數(shù)、歷史退款數(shù)、退款率、平均訂單金額、近30天登錄天數(shù)等。退款率我做了平滑處理退款率歷史退款數(shù)1/歷史訂單數(shù)5避免新用戶訂單少時(shí)退款率為0%或100%的極端表現(xiàn)。平均訂單金額單獨(dú)保留同時(shí)增加一條“用戶最高訂單額是否大于500”的布爾特征。模塊二是“客服投訴文本特征”。先對文本做分詞清洗再計(jì)算每條描述的TF-IDF。max_features設(shè)為2000min_df設(shè)為5max_df設(shè)為0.6。同時(shí)算了幾個(gè)文本側(cè)統(tǒng)計(jì)特征文本長度、句子數(shù)、負(fù)面詞數(shù)量基于自建負(fù)面詞典、“退款”“賠償”等關(guān)鍵詞數(shù)量。因?yàn)門F-IDF維度只有2000不會(huì)造成過大的稀疏壓力這部分可以直接參與拼接。模塊三是“交叉與目標(biāo)編碼特征”。把“是否投訴過退款”與“歷史退款率分箱”做交叉把“商品是否有售后問題關(guān)鍵詞”的布爾值作為單列加入。另外我針對“最近一次投訴文本”做了目標(biāo)編碼基于K-Fold計(jì)算每個(gè)投訴關(guān)鍵詞組合下的平均退款率。模塊四是“模型輸入拼接”。用ColumnTransformer把數(shù)值列做StandardScaler、把TF-IDF保持稀疏再用scipy.sparse.hstack拼接成總特征矩陣最后喂給LightGBM。from sklearn.preprocessing import StandardScaler from sklearn.pipeline import Pipeline from sklearn.compose import ColumnTransformer from sklearn.feature_extraction.text import TfidfVectorizer import lightgbm as lgb from scipy.sparse import hstack num_cols [history_order, history_refund, avg_order_amount, login_days_30] text_col complaint_text preprocessor ColumnTransformer( transformers[ (num, StandardScaler(), num_cols), (txt, TfidfVectorizer(max_features2000, min_df5, max_df0.6, sublinear_tfTrue, ngram_range(1, 2)), text_col), ], remainderdrop ) X_trans preprocessor.fit_transform(df) y df[is_refund].values model lgb.LGBMClassifier( n_estimators500, learning_rate0.03, num_leaves31, max_depth6, subsample0.8, colsample_bytree0.8, reg_alpha0.1, reg_lambda0.1, ) model.fit(X_trans, y, eval_set[(X_trans, y)], eval_metricauc)5.3 實(shí)驗(yàn)對比三組方案的差異為了驗(yàn)證混合特征方案是否真的有效我同一份數(shù)據(jù)上跑了三組實(shí)驗(yàn)做對照。第一組只使用數(shù)值特征不做任何文本處理。第二組只使用文本TF-IDF不看數(shù)值列。第三組按上面完整流水線拼接了數(shù)值與文本特征。線下AUC結(jié)果分別大約為0.712、0.745和0.823。文本特征單用確實(shí)比數(shù)值強(qiáng)畢竟投訴描述里包含大量直接業(yè)務(wù)信號但第三組的混合拼接提升更大比只拼文本特征提升了約7.8個(gè)AUC點(diǎn)。隨后我又做了消融實(shí)驗(yàn)在第三組的基礎(chǔ)上去掉“歷史退款率與投訴詞交叉特征”AUC跌回0.801去掉文本的is_text_present布爾列AUC再跌0.005。這些細(xì)微變化說明混合特征的價(jià)值不是某一列突然帶來的而是“多組信號交叉覆蓋”的結(jié)果。沒有交叉特征的純拼接文本側(cè)和數(shù)值側(cè)只是并排放置缺少讓模型把兩邊信號“聯(lián)動(dòng)”起來的橋梁效果提升就會(huì)受限。6. 實(shí)際項(xiàng)目中最常見的幾個(gè)坑與排查方法混合特征處理項(xiàng)目里特征本身往往不是最大的坑能成功跑通流程之后真正耗時(shí)的是“排查問題”。我把自己實(shí)踐過程中反復(fù)踩過的幾類問題和排查思路整理成清單這些內(nèi)容在常規(guī)文檔里都很難找到屬于做完幾個(gè)項(xiàng)目后才慢慢沉淀下來的經(jīng)驗(yàn)。6.1 數(shù)據(jù)泄漏陷阱清洗和編碼放錯(cuò)了時(shí)間點(diǎn)典型錯(cuò)誤包括在全量數(shù)據(jù)上用TF-IDF的fit_transform后再切訓(xùn)練集和驗(yàn)證集或者用全量數(shù)據(jù)計(jì)算目標(biāo)編碼均值。這種全局fit操作會(huì)把驗(yàn)證集和測試集的信息帶進(jìn)訓(xùn)練過程導(dǎo)致離線指標(biāo)虛高。正確做法是在Pipeline內(nèi)部完成fit或者手動(dòng)先切分?jǐn)?shù)據(jù)再用訓(xùn)練集fit、驗(yàn)證集只做transform。一個(gè)簡單的檢查方法是在特征工程完成后隨機(jī)抽取一條驗(yàn)證集樣本看它的TF-IDF維度權(quán)重和全量fit出來的權(quán)重是否完全一致如果不一致說明transform鏈路有問題。6.2 詞表不一致線上線下的隱藏殺手另一個(gè)非常隱蔽的坑是詞表不一致。我遇到過這樣的情況離線訓(xùn)練時(shí)用的是全量數(shù)據(jù)分詞得到的詞典包含文本里的縮寫、表情符號、新詞線上服務(wù)時(shí)由于前端清洗邏輯把某些字符轉(zhuǎn)掉了導(dǎo)致線上文本經(jīng)過詞表映射后大量詞匯變成了OOV特征分布和離線完全不一樣。最典型的案例是離線把“000”視為無意義噪聲去除線上卻保留了“000”并映射到某個(gè)維度甚至語義完全變了。解決辦法是提前固定清洗規(guī)則和詞表一般通過joblib保存TfidfVectorizer對象線上加載同一個(gè)對象做transform。如果有增量更新需求也要在離線流程中嚴(yán)格走詞表版本管理。6.3 多值文本融合不當(dāng)如果一個(gè)用戶可以有多條評論不能直接把所有評論拼接成一個(gè)超長文本丟進(jìn)TF-IDF因?yàn)殚L文本的詞頻統(tǒng)計(jì)會(huì)被長度主導(dǎo)而且不同數(shù)量評論的樣本間文本長度差距極大。我在項(xiàng)目里常用的做法是分別計(jì)算每條評論文本的TF-IDF然后做均值池化或者對文本進(jìn)行截?cái)嗝總€(gè)用戶只保留最近2條評論拼接。但截?cái)嗖呗砸Y(jié)合業(yè)務(wù)如果評論包含售后過程和最終解決反饋較早那條可能包含問題產(chǎn)生原因最近一條包含最終結(jié)果兩條都很重要。更穩(wěn)健的折中方案是對用戶的所有評論文本做“先拼接但按條數(shù)歸一化”同時(shí)附加“評論條數(shù)”作為數(shù)值特征。6.4 超大數(shù)據(jù)量下的性能壓力最后補(bǔ)一個(gè)工程向的坑。幾十萬甚至千萬級數(shù)據(jù)量做TF-IDF的fit_transform過程默認(rèn)會(huì)非常占用內(nèi)存因?yàn)閟klearn會(huì)先構(gòu)建完整的詞匯表再轉(zhuǎn)換。如果有幾百萬條長文本即便max_features設(shè)2000分詞階段的內(nèi)存峰值也可能很高。實(shí)測中我會(huì)先用jieba分詞并落盤成parquet格式再抽一個(gè)小樣本來fit詞表最后用已經(jīng)fit好的詞表對整個(gè)大數(shù)據(jù)集做transform并把過程拆成多個(gè)批次。同時(shí)TF-IDF轉(zhuǎn)換的結(jié)果一定用scipy.sparse.csr_matrix保存不要轉(zhuǎn)成numpy數(shù)組否則幾百萬文本乘以2000維會(huì)直接把你機(jī)器的內(nèi)存打爆。7. 從快速實(shí)現(xiàn)到穩(wěn)定落地的一些補(bǔ)充經(jīng)驗(yàn)聊了這么多具體方法和坑點(diǎn)最后補(bǔ)充一些我自己的個(gè)人經(jīng)驗(yàn)尤其是當(dāng)你把混合特征方案放到更大的工程體系里時(shí)需要注意的細(xì)節(jié)。7.1 關(guān)于列名管理在混合特征項(xiàng)目里特征列名一定不能靠記住“第幾列是哪個(gè)”來管理。數(shù)字特征經(jīng)過縮放后拼上txt前綴再追加到稀疏矩陣?yán)飼r(shí)和原本的文本列名、原數(shù)字列名已經(jīng)形成了很長的列名串聯(lián)。如果你要用shap解釋模型、做錯(cuò)誤分析沒有好用的列名映射會(huì)崩潰。我的習(xí)慣是保存一個(gè)“列名列表”文件包含模型輸入時(shí)的全部列名尤其對文本側(cè)每個(gè)TF-IDF維度標(biāo)注出它對應(yīng)的原始詞。這樣在分析某個(gè)特征造成誤判時(shí)能直接找到文本內(nèi)容和權(quán)重來源調(diào)試效率高很多。7.2 先設(shè)一個(gè)快速的弱基線不要一開始就把所有特征工程做完再訓(xùn)練模型。我會(huì)先跑一個(gè)“只用數(shù)值列”的LightGBM基線然后很快跑一個(gè)“只用文本TF-IDF”的基線最后再做拼接和交叉。這樣如果完整方案的性能不如最弱基線能快速定位問題在“融合方式”還是“單側(cè)特征構(gòu)造”上。具體來說第一版跑通以后先看錯(cuò)誤樣本里文本和數(shù)值各自的貢獻(xiàn)等到所有方案性能都提升到穩(wěn)定區(qū)段再回頭給文本加更多語義特征。7.3 文本側(cè)不是模型越多越好最后一句話文本特征處理方案永遠(yuǎn)是“簡單方案先搞通復(fù)雜方案按需上”。在真實(shí)業(yè)務(wù)場景中時(shí)間成本、線上延遲、可解釋性往往比模型精度更值錢。如果一個(gè)TF-IDF加手工交叉特征已經(jīng)讓AUC從0.71升到0.82再加BERT反而可能只提升0.005卻讓線上推理時(shí)間翻了十倍那這筆賬要好好衡量。根據(jù)我個(gè)人的經(jīng)驗(yàn)文本與數(shù)值混合特征項(xiàng)目的成功關(guān)鍵通常在“兩側(cè)特征如何交互補(bǔ)充”而不在于用了多厲害的文本模型。把數(shù)值列吃透、把文本意圖抽準(zhǔn)、把時(shí)間窗口算對往往比盲目套用深度模型更有效。這篇文章里我的核心思路是從工程實(shí)踐出發(fā)盡量把文本與數(shù)值混合特征從清洗、編碼到模型融合的關(guān)鍵環(huán)節(jié)都過了一遍。不管你是剛開始接觸大數(shù)據(jù)特征工程還是在準(zhǔn)備特征工程方向的大數(shù)據(jù)面試題我相信這些方法和案例都能給到一些可以落地的參考。以后你有機(jī)會(huì)拿到真實(shí)的混合特征數(shù)據(jù)可以先用我給的整套流程快速出第一版結(jié)果再基于具體業(yè)務(wù)調(diào)細(xì)節(jié)這個(gè)方向會(huì)比你想象中容易出成績。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷五月天va| 婷婷色亚洲| 久色激情| 六月婷婷亚洲| 婷婷五月激情四月综合| 婷婷 伊人 久久| 99热这里全是精品| 五月天婷婷综合免费| 久热中文字幕| 免费看片在线观看| 婷婷五月色播天| 婷婷性爱网| 美女要搞搞天天搞搞搞网站| 在线成人网站| 91九色小视频| 99精品高潮| 91大神操美女| 第四色五月婷婷| 人人人人人人人人人草| 色播五月丁香| 五月婷婷激情日本| 99热成人| 亚欧州精品视频| 狠狠色激情综合| 婷婷中文在线| 综合久久综合久久| 久久婷婷五月天激情四射| 亭亭五月丁香五月天激情| 婷婷丁香五月视频| 久热成人| 色情综合| 欧美日韩国产一区| 亚洲成人综合网在线免费观看| 午夜性做爰电影| 99热在线精品播放| 色综合丁香| 99精吕视频在线观看了| 久久伊人日日夜夜| 五月婷婷六月爱| 色婷婷久久久| 欧美精品999| 色月丁| 国产偷人爽久久久久久老妇APP| z色五月播播久久| 亚洲天堂AV免费片| 开心久久xxx色| 超碰色婷婷| 婷婷五月丁香人妻无码高清| 人五月天婷婷喷水| 婷婷五月丁香综合桃花色网| 婷婷五月在线| 久久精品一区二区三区四区| 丁香网五月天| 婷婷五月天成人视频| 女人天堂AV| 深夜男女福利刺激影院一区完整| 午夜色婷婷| 欧美大香蕉视频| 五月丁香中文| 久久99热这里只有精品| 婷婷色片| 日日干日日| 国产激情综合五月| 婷婷色五月色妇| 亚洲五月婷天天操| 99热只有这里才是精品| 五月丁香六月激情欧美综合| 五月婷婷丁香| 日本色婷婷| 大香蕉AV在线| 五月天久久久| 开心色色五月天综合| 2018国产大陆天天弄| 久草热在线视频| 日本色爽| 人人色婷婷| 五月激情在线| 国产无套精品一区二区| 国产婷婷色综合AV蜜臀AV | 99热天堂| 生活片五区| 亚洲婷婷婷| 丁香五月婷婷久久久| 97在线日韩| 精品国产AV色一区二区深夜久久 | 精品色色| site:feetmall.com| 99久免费视频| 五月六月激情| 九九热99视频在线| 色色网站免费在线视频| 91九九精品| 日本欧美在线| 色五月大| 一本色道久久88综合日韩精品| 久久天天| 久久9精品视频| www.天天色综合| 91丨九色丨43老版熟女| 欧美高潮9| 99在线精品视频| yazhouzonghesese| 91精品无码| 国产美女无遮挡裸体毛片A片| 婷婷精品性性性性性性性| 激情六月五月婷婷综合网| 五月丁香 啪啪啪| 综合久久人妻| 天天日天天干天天爽| www,com,五月色色| 久久这里有精品在线观看| 天天色天天搡| 91天堂网综合| 天天爽天天爽| 五月丁香亭亭| 婷婷丁香成人色综合| 蜜臀久久99精品久久久久久酒店| 五月丁香激情怕怕| 色宗合久久五月婷婷| 色五月婷婷7777| 五月婷婷无码| 97人妻碰碰中文无码久热丝袜| 精品久久人妻| 99ri在线| aaa9区免费在线观看| 99热人人| 26uuu成人网| 婷香五月激情视频| A片试看50分钟做受视频| 先锋资源91| 亚洲激情五月天| 亚洲AV日韩在线观看| Av在线资源| 99在线精品观看99| 五月天婷婷AV| 六月丁香婷婷大香蕉| 久久婷综合网| 99热精品观看| 九九精品碰| 97综合在线| 777久久综合视频| 天天操天天国产三级片处女学生妹| 久久99视频| 婷婷五月激情五月激情| 婷婷五月18永久免费视频| 99视频在线观看视频| 婷婷综合网在线| 色综合久久天天综合网| 五月天婷婷色播综合在线| 五月婷婷视频啪啪美女| 婷婷五月天网| 99这里只有精品视频在线| 99热新网址| 五月婷综合性中心| 色综合色综合色综合| 色五月综合在线| 欧美日韩成人在线| 成人视频在线免费播放| 毛片新网地| 婷婷五月天激情综合深爱| 强壮的公次次弄得我高潮A片日本 | 亚洲精品中文字幕成人片| 五月天a婷婷伊人| 色99自拍| AⅤ在线播放网| 99视频色在线观看| www.色婷婷| 日本人妻A片成人免费看片| www久久艹| cc精品国产性传播| 狠狠色噜噜狠狠狠777奇米| 欧美一级色| 丁香五月婷中字幕| 亚洲爱婷婷| 亚洲欧美999| 在线观看免费视频| 激情五月丁香六月婷婷| 色爱综合五月| 欧美色五月| 97干在线免费| 99热这里只有精品13| 色综合久久88色综合天天看| 国产亚洲99久久精品熟女| 综合色五月天| 丁香五月婷婷激情97| 99 频99热国里只有精品| 九九九九毛片| 人人色人人摸人人看| 色狠狠综合| 九九99九九99九九99视频网| 97影院一级片| 欧美群妇大交乱婬网| 丁香五月天啪啪| 丁香色色网| 成人在线日韩| 五月综合丁香婷婷| 91日本在线观看| 大香蕉99| 丁香六月婷婷| 天堂AV在线看| 亚洲中字AV电影在线网站| 激情五月天啪啪| 国产AV一区二区三区日韩| 婷婷五月AA五月在线| 人妻丰满精品一区二区A片| 欧美色图45678| 丁香六月在线| 99re热| 成人在线日韩| 伊人狠狠综合| AV大片在线播放| 五月婷在线视频免费播放| 婷婷六月香| 亚洲亚洲人成综合网络| 婷婷六月综合激情| 欧美群妇大交乱婬网| 亚洲成av人影院| 99热在线这里只有精品| 久操干| 丁香六月激情综合| 天天射夜夜骑| 碰碰女| 99在线观看| 26UUU在线观看| 夜精品无码A片一区二区蜜桃 | 色欲久久久久久综合网综合网| 在线观看欧美| 色香五月天| 久久激情婷婷| 九九色精品| 五月丁香在线国产 | 亚洲九九在线| www,久久久| 免费观看全黄做爰的视频| 日日.c| 久久久ww| 精品国婬伦V无码久久久| 亚洲免费婷婷| 婷婷综合网| 亚洲激情网站无码| 婷婷五月天国产传媒| 亚洲男人的天堂婷婷色五月| 九九在线热九九在线热99热| 色亚洲激情| 国产美女无遮挡裸体毛片A片| 国产午夜精品一区二区三区四区| 激情五月综合亚洲另类| 五月综合视频| 色五月激情综合网站| 国产成人一区二区三区在线观看| 五月丁香成人网| 少妇水多A片太爽了| 天天天日天天天干| 久艹久| 五月香婷婷| 有码一区二区三区| 五月激情六月| 91视频精品99| 天天爽日日爽夜夜爽| 97在线/亚洲| 天天拍天天操| 97色片| 狠狠色无码| 91刘玥视频在线观看| 新97人人上人人| 综合网五月天123| 大香蕉婷婷久久| 激情丁香五月| 99热在线精品观看| 激情综合九月| 婷婷五月天AV| 少妇人妻综合色6699| 亚洲无线视频| 97黑人精品区| 丁香啪啪中文字幕| 日日日日日| 色噜噜五月天| 五月激情婷婷播播开心| 国产五月丁香在线| 99精品热视频只有精品10| 玖玖99精品视频| 日韩黄色中文字幕| 精国产品一区二区三区A片| 亚洲aV写真天天综合网久久| 色情免费视频播放| 五月丁香五月天现场视频| 丁香五月婷婷啪啪啪| 人人操人| 激情久久婷婷| 一二区成人电影| 狠狠五月天| 日本操碰碰| www.狠狠操.con| 99热这里在线精品| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 国产看真人毛片爱做A片| 99九九在线| www.夜夜操| 亚洲操b| 99成人小视频| 欧洲免费视频色| 五月天婷综合| 丁香激情四射| 九九综合色| 91九色|疯狂|高潮|对白|| 极品色丁香| 日韩黄色电影| 久色网址| 婷婷色五月综合丁香| 99re热视频这里只有综合亚洲| 激情综合在线播放| 六月婷婷久久| 91成人看片| 久久99综合网| 五月天色小说| 免费看欧美成人A片无码| 亚洲成av人影院| 五月激情网站| 国产成人AV| 亚洲丁香花五月丁香花| 8050一级网| 91re色综合视频| 九九色情网站| 日本久久极品| 久综合色| 丁香五月婷婷六月婷婷| 五月激情四射网站| 99日本精品视频热| 丁香五月精品| 国产成人在线不卡AV| 五月天激情四射| 色色色9| 久草五月婷婷| 99在线er热| 丁香五月综合激情性爱 | 五月丁香久久综合91| 人人操人人爽成人AV| 久久38视频| 狠狠干.com| 色综合色综合色综合| 色五月综合激情网| 五月婷婷婷| 五月婷亚洲精品AV天堂| 好好干av| 啪啪婷婷五月天激情| 婷婷综合激情| 狠狠操狠狠色| 啪啪综合| 思思re视频在线| 五月天成人在线| 99精品在线观看视频| 国产激情综合五月久久| 丁香五月偷拍| 婷婷综合伊人| 天天日,天天射,天天插| 亚洲99在线视频| 99在线免费视频| 激情婷婷五月丁香啪啪啪| www。五月,com| 色丁香五月天| www色中色综合| 色婷婷亚洲婷婷| 丁香五月开心亚洲| 综合xx网| 99A片| 久er7久热| 日韩国产在线精品| Www.激情| 日本天天色| 亚洲综合九九| 一本色道久久88综合日韩精品| 超碰亚洲欧美| 五月综合亚洲色| www开心激情网| 亚洲成人在线播放| 天天综合区| 超碰免费人人肏| 色五月五月婷婷| 丁香六月婷婷| 欧美精品A片一区在线观看| 色九九九九| 天干干夜夜操| 日本天堂免费99| 少妇伦子伦精品无吗| 久久182| 性爱在线播放av| 五月丁香六月激情| 亚洲情欲久久| 激情综合激情五月| 色五月首页| 狼人婷婷久久| 开心激情综合| 亚洲成人日韩无码精品| 久久杏爱视频| 狠狠干无码| 玖玖婷婷色五月| 亚州精品色情在线观看| 五月综合色| 另类丁香综合| 常久最新免费的色吊丝| 免费看欧美成人A片无码| 97干网站| 色碰碰| 日本网站久久| 天天天添天天操| 亚洲综合99| 日本久久婷婷| 午夜成人网站在线观看| 九九re精品视频在线观看| www.99热视频在线观看| 色色色网站| 亚洲天99| 久热黄色| 国产婷婷综合| 青青草轻轻操| 大香蕉五月天婷婷丁香91| 婷婷丁香成人五月天| 91 九色大美女| 综合激情开心五月| 五月丁香成人网| 99碰碰| 超碰免费人妻| 丁香色五月直播| 99欧美| 黄色三级日本| 六月丁香啪啪| 精品国产va久久久久| 国产成人网址| 99在线精品视频观看免费下载| 欧美色婷婷| 影音先锋一区二区三区| 婷婷五月婷婷| 久久伊人日日夜夜| 日韩三十六页| 97 A I色色| 久草网大香视频| 五月婷婷亚洲综合网| 日本色婷婷| 五月丁六月香av| 日韩狠狠色婷婷| 99视频| 人妻性爱| 色色色色色色综合网| 99热777| 沈娜娜av| 久久这里只有精品热在99| 日韩成人电影av| 亚洲激情综合| 激情五月天在线观看婷婷| 色丁香五月婷婷| 久久停停超碰| 中文字幕网伦射乱中文| 丁香色综合| 婷婷色六月| 久久婷婷五月综合激情国产 | 五月丁香偷拍| 亚洲小视频免费播放| 九九综合久久| 婷婷五月丁香色情| 婷婷色在线视频| 五月丁香狠狠爱| 国产色婷婷亚洲| 国产女18毛片多18精品| 超碰色色综合| 伊人六月无码视频| 六月综合婷婷开心伊人| 五月天久久婷婷| 久久99最新| 91久久久久| 久久99大全| 九九99久久| 亚洲无码99| 亚洲永远av在线播放| 99爱视频| 97热在线精品| 五月婷婷色色| 亚洲色婷婷99一9|| 1024亚洲| 婷婷五月天播播| 中文字幕在线日亚州9| 99精品国产在热久久| 五月丁香六月婷婷在线观看| 99热最新地址在线| 欧美日韩中国| 婷婷六月色| 这里只有精品免费视频| 五月丁香激情五月天| 大香蕉视频99| 亚洲无码播放| www.成人婷婷综合| 色婷婷五月天天天天天| 婷婷刺激综合| 97人人干| 午夜激情婷婷| 五月色色激情网| 国产亚洲色婷婷99精品| 东北黄色一级| 激情综合色五月丁香| 综合99综合久久久久久久| 米奇激情婷婷| 99 r热| 性爱网六月丁香| 97精品人人A片免费看| 婷婷五月天成人网| 五月天精品| 操九色| 久操激情| 疯狂做受XXXX高潮A片| 亚洲成人无码免费| 婷婷综合五月| 丁香五月婷婷基地| 婷婷视频在线| 久久er视频6| 久久98| 99九九精品视频| 激情五月婷婷综合网| 国产成人综合在线| 亚洲国产色婷婷| 538在线精品| 五月色欧美| 五月花婷婷丁香| 婷婷色婷婷| 3p九色在线| 婷婷丁香五月天色色| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 国产这里只有精品| 五月天婷婷色综合| 色综合色色| 天天插天天插| 99色视频在线| 久久五月天激情| 密桃激情五月天综合网| 天天综合天天玩夜夜玩天天玩夜夜玩| 婷婷月五天在线在线看| 91操操| 91热视频色网站| 色色色五月| av五月天婷婷丁香| 婷婷六久久| 色五月婷婷五月天| 国产婷婷色综合AV蜜臀AV| 久久五月网| 色色色五月婷| 激情四射网| 超碰97干| 中文字幕在线资源| 综合久久五月天| 五月婷婷狠狠干| 天天干天天操天天干天天操天天干天天操| 99热大香蕉| AV在线免费播放| 九九精品热播| 天堂久久婷婷| 久操操| 在线观看熟女少妇| 9999热精品在线免费播放| 99re熱| 五月在线婷色| 狠狠狠人妻| 五月婷婷免费视频| 欧美色五月天| 九九热免费观看视频| 婷婷久久婷婷色五月| 思思99热在线| 五月天精品综合在线| 黄页大全十八禁| 99在这里有精品| ji'qi'luan'ren'lun| 欧美综合激情五月丁香| 日韩一66精品| 五月丁香激情婷婷综合| 五日激情综合| 91色操| www.99日本| 99性视频| 强伦轩人妻一区二区电影| WWW.99热| 无码免费人妻A片AAA毛片西瓜| 日韩黄在免| 狠干综合| 99久久99久久| 91成人品| 五月丁香AV、伊人业余、性色熟妇| 婷婷日日天天| 婷婷六月综合基地| 久9热| 亚洲六月色| yw国产AV| 五月丁香啪啪啪啪| 丁香五月人妻熟女| 激情亚洲婷婷| 欧美电影在线观看| 丁乡久久| 激情五月丁香色婷婷| 欧美成人网99网| 亚洲综合网 665566| 97操操| 婷婷五月丁香人妻无码高清| 激情五月综合网| 99在线er热| av操一操| 欧美日韩aaa| 波多婷婷久久| 婷婷五月天丁香激情| 婷婷丁香69精华| 色综合综合网| 狠狠草狠狠草| 激情婷婷五月综合| 日韩好吊操| www.狠狠艹| 日本色五月| 婷婷五月综合免费在线| 99色中文| 丁香5月婷婷| 伊人久久艹| 日日夜夜干| 亚洲AV免费国产电影| 熟女乱论网| 五月亭亭六月天| 色婷婷综合网| 五月激情射| 伊人丁香五月| 婷婷丁香五月综合| 97人妻碰碰碰碰碰久久久久久| 9.1综合网| 五月婷婷激清网| 婷婷中文无码| 香蕉五月婷婷| 成人欧美一区二区三区在线观看| 六月丁香婷婷综合狠狠爱夜夜爱| 精品热九九| 婷婷四月 成人 狠狠干| www.五月.com| 五月激情影院| 97在线/亚洲| 五月草影视| 天天操夜夜操| 大香蕉久久伊人婷婷五月丁香| 99久久综合精品五月天| www.色99| 久久激情五月婷婷| 亚洲人人操| 大香蕉啪啪啪| 大香蕉久久久| 婷婷爱五月天人人爱| 99综合网| 黄色三级毛片中字| 丁香婷婷丁香五月欧美人| 97碰碰视频在线观看| 亚洲啪啪精品| 99久久大片| www.9操| 六月丁香久久| 久久色亭亭五月天| 我想看国产大学生口爆吞精的视频| 97操在线视频| 五月丁香欧美综合| 婷婷婷久久久| 色五月av| 伊人成综合五月婷婷| 思思热在线视频99| 亚洲最大成人综合网720P| 婷婷五月激情的图片| 色五月色五天免费视频| 丁香五月色色婷| 丁香九月婷婷色| 疯狂做受XXXX高潮A片| 日本本土色网第一区| 丁香五月手机在线| 激情五月天啪啪视频| 五月婷婷之综合激情| 色99超碰| 欧洲色色| 日本乱子人伦在线视频| 日韩五月天婷婷| 国产欧洲欧洲精品久久| 99热综合在线| 五月丁香 啪啪| 免费观看高清无码| 国产精品久久7777777精品无码| 天天色天天操天天射| 色播丁香| 任你草| 日韩大片艹艹| 午夜丁香综合婷婷| 色啪影院| 天天精品视频免费观看| 综合激情开心五月| 香蕉久久国产AV一区二区| 婷婷五月天熟妇| 五月天综合在线网| 国产淫熟妇| 激情五月天。| 操骚货在线| 成人在线视频一区| 91啪啪视频| 天天射夜夜爽| 久久R激情| 五月综合婷婷五月| 伊人久久大香网| 久草热在线视频| 丁香综合伊人| 久久人人添人人爽添人人片αV | 色色色网站| 夜夜夜夜操| 国产原创视频91九色| 五月婷婷免费在线视频| 丁香狠狠色婷婷| 强伦轩人妻一区二区电影| 丁香婷婷人妻| 青青草青青草五月天| 婷婷五月天在线综合导航| 亚洲偷| 色狠久| 日本久久婷婷| 天天操天天操天天操天天操天天操 | 久久婷婷五月草视频在线播放| 26uuu日韩| 久久婷婷婷婷伊人| 伊人玖玖综合| 久综合网| 色综合激情| 综合玖玖性爱免费视频| 婷久久久| 天天操婷婷| 五月婷婷在线视频免费观看| 色婷婷四虎| 丁香婷婷色五月| 色综合综合色| 免费观看的AV| 在线不卡视频| 思思国产99| 久久9视频| 精品久9| 九九热自拍| 九九碰九九爱97超碰| 91九九九九| 97丁香五月| 激情五月六月丁香| 婷婷九九| 色综啪啪网| 丁香六月啪| 久久性爰视频这里只有精品| 四色永久成人网站| 欧美性爱丁香五月| 开心婷婷五月| 丁香五月天综合| 丁香五月婷婷久久综合激情网 | 操操碰| 免费观看高清无码| 亚洲精品久久久久AV无码| 丁香 久久| 国产一二三四五六七八视频| 色八月婷婷| 97久久精品视频| 久草大| 亭亭五月天成人| 九九干视频| 涩丁香91| 欧美激情性做爰免费视频| www久久艹| 另类国产综合| 梁铮版《蜘蛛女侠》在线| 九九热在线99| 久热精彩视频98| 国产精品久久久久久久久久免费| 色五月琪琪| 色色欧美色色| 桃色激情婷婷伊人网| 六月婷婷色综合| 六月婷婷九月丁香| txt五月激情四射网综合俺也来了| 久久99视频| 玖玖爱综合网| 五月婷婷官网色| 天天舔天天摸天天透| 久久综合激情| 久婷婷婷| 99啪啪网| 九月婷婷综合网| 在线sebiav精品视频| 九月丁香久久网| 九九这里有精品| 久久九色| 久久久WWW| 日韩久热| 欧美黄色韩日网| 欧美A级网站| 9l视频自拍九色9l视频自拍九色9l社区| 婷婷色五月天色| 91亚洲免费片| 无码一级片| 欧美性猛交XXXX乱大交极品| 国产成人综合网| 99无码视频| 天天色播| 日日噜噜夜夜狠狠久久丁香五月| 婷婷色啪| 成人亚洲精品| 任我肏| 亚洲 小说 欧美 激情 另类| 色五月丁香五月五月婷婷| 可以免费观看的av网址| 国产日韩av片| 九九热av| 色色色综合色| 中文字幕成人| www色婷婷久久综合久色| 国产韩日亚洲美州欧亚综合在线| 久久五月天色婷婷| 九九99精品| 欧美日韩成人免费在线| 五月丁香啪啪激情| 日本久久婷| 色五月丁香六月资源站| 六月丁香射婷婷欧美色图片| 久噜久噜| 综合婷婷都市激情| 久久东京热婷婷五月| 色欲av伊人久久大香线蕉影院| 99福利导航| 亚洲精品婷婷| 操B视频在线播放| 丁香亚洲色综合| 色色色五月天婷婷| 久操人| 婷婷五月天六点丁香五月| 久久精彩视频99| 九九亚洲视频| 色综合久久伊伊婷婷五月| SS丁香五月婷婷| 可以看的AV| 五月丁香啪综合| 五月天播播| 久久久天堂国产精品女人| 成人在线二区| 99热免费18| 99九九在线| 五月婷婷六月丁香激情综合网| 国产精品蜜臀99| 精品人妻伦一二三区久久| 婷婷伊人綜合中文字幕| 免费看成人AA片无码视频吃奶| 丁香五月熟女| 日日噜狠狠| 狠狠色狠狠色综合日日91| 狠狠摸狠狠摸| 久久色五月天| 26uuu欧美日本| 色色色干| 97色色色色色色色| 婷婷五月激情片| 色播五月网| 色婷五月天| 婷婷色色宗合网| a级毛片一区二区免费视频| 二级黄色毛片| 99热久久最新地址| 97精品自拍视频| 欧美操人| 九九热精品视频在线观看| 99久久天堂婷婷| 婷婷五月欧美| 欧美噜噜免费观看| 激情综合网五月天| 天天色色天天| 97丁香视频| 久月丁香爱婷婷综合| 99热在这里只有精品| 亚洲色啪| 久久天堂女人| 天天操夜夜啊 | 可以看的AV网站| 99热日本| 国产小网站| 五月丁香综合网色欲| 夜夜做夜夜愛| 午夜丁香| 91狠狠综合网| 婷婷日韩| 婷婷在线五月天观看| 日本色久| 婷婷五月欧美综合| 丁香婷婷人妻| 激情综合五| 免费91久久精品| 免费婷婷| 天天天天天天操| 精品一二三区久久AAA片| 99久久精品色老| 综合五月激情网| 免费视频无码| 色哟哟性爱av| 色色网五月激情| 99国产精品久久久久久久久久久| www.五月天色色.com| 丁香五月婷婷在线观看| 91无码色色| 综合色99| 五月婷婷久久大香蕉| 久久资源综合| 战争与艾拉电影免费观看| 中文AV网| av成人在线播放| 嫩草AV久久伊人妇女超级a| 久热超碰| 超碰免费99| 激情图片五月天| 亚洲AV无码成人电影| 五月天开心色情网| 色五月综合激情| 久久婷婷五月综合啪| 丁香五月激情澎湃一区| 99热精品在线观看| 日本激情ⅩXX免费视频| 婷婷五月综合在线| 操日本99| 丁香六月视频| 五月激情婷婷在线| 97操在线视频| 国产成人AV在线| 久久久大香蕉| 中文字幕视频在线播放| 国产精品操| 丁香五月综合激情性爱| 中文字幕,综合,91| 天堂中文国产| 亚洲精品成人| 五月丁香在线观看| 开心 五月 综合| 六月丁香啪啪| 色婷婷影音| 激情五月天天| 曰日爽日日操| 国产免费av在线| 午夜爱爱网站| 五月天狠狠网站| 99在线精品视频| 97色色色色色色色色色色色色色| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 婷婷五月天精品| 91九色|疯狂|高潮|对白|| 99日本黄站| 激情小说婷婷| 国产韩日亚洲美州欧亚综合在线| 色色亚洲| 激情五月亚洲| 丁香六月成人| 开心激情婷婷| 欧美日韩99| 99热精品免费| 99re热| 色婷婷成人做爰A片免费看网站| 日本特黄aaaaa| 丁香五月瑟瑟| 丁香六月天| 99色色爰| 大地资源色婷婷视频在线| 狠狠色 综合色区| 丁香五月婷婷亚洲激情四射| 99ri在线视频| 五月丁香视频在线观看| www.色色色com| 欧美日韩aaa| 婷婷伊人网| 99re6在线视频精品免费| 五月天六月婷婷电影| 久久激情五月网| 免费亚洲婷婷| 五月丁香激情婷婷| 国产av基地| 风流少妇A片一区二区蜜桃| 深夜激情网| 婷婷五月天综合网| 日日影院 | 欧美25p| 丁香色情五月天| 日韩国产AV播放| 婷色五月| 99精品爱| 六月婷婷综合| 伊久大香蕉| 99热亚洲精品| 欧美综合五月丁香六月婷| 五月香蕉婷婷| 五月婷婷六月天| 99久久这里只有精品| 六月婷婷网| 婷婷五月娱乐在线| 91九色欧美| 五月色情婷婷开心五月色情| 久久婷婷色综合老司机| 泰州成人视频| 狠狠干五月丁香综合网| 伊人久久99| 国产毛片操B| 色婷婷伊人| 亚洲成人乱码av网站| 91九色PORNY中文啦| 色综合丁香| 免费久久这里只有精品99| 国产三级片91| 丁香五月花影院| 天天精品视频免费观看| 99热.com| 狠狠做五月婷婷| 久9视频免费播放| 影音先锋91在线资源站| 久久精品视频99| 日日操夜夜操狠狠操| 久久机热探花| 全部老头和老太XXXXX| 五月天综合| 五月丁香综合久久| 偷拍91九色| 9+1视频网址| 色欧美影院| 天天干、天天日日| 天天激情5月天亚洲| 日本WWW九九九| 婷婷五月久久| 色五月 五月婷婷| 成人视频在线免费播放| WWW.夜夜| 99在线观看视频精品| 五月天a婷婷伊人| 91啪级电影| 丁香五月婷婷AV| 亚洲狠狠爱婷婷| 狠狠色婷婷777| 噜噜色com| 日本色婷婷| 大香蕉伊人99| 五月婷婷激情视频| 熟女人妻视频| 五月丁香香蕉| 天天日天天舔| 大香蕉久久视频久久视频 | 夜夜穞天天穞狠狠穞AV美女按摩| 久久精品日| 六月丁香停| 五月丁香婷婷久久| 九九热在线99| 日本乱子人伦在线视频| 中文aV网| 婷婷六月激情| 婷婷五月丁香基| 激情美女五月天| 五月婷婷天堂| 黑人无码一区| www. 五月. com| 精品9久| 风流少妇A片一区二区蜜桃| 久久与婷婷| 婷婷五月天成人网| 日韩久久欧亚| 99re热视频这里只精品5| 激情婷婷五月天| 三区激情四射av| 九九99久久| 婷婷色一二三区波多野结衣| 99热这里精| 色色网站日本91| 激情久久肏屄视频| 亚洲天堂AV综合网| 丁香五月停停av| 婷婷97C| 狠狠ri| 激情五月婷婷综合网| 蒲京久久无码视频| 色色丁香婷婷五月天| 国产首页在线| www:99热视频| 五月婷婷综合社区| 金品在线视频99| 色婷精品91| 人妻22p| 久久99热这里只有| 久久99大全| 最新久久网址| 亚洲欧美综合7777色婷婷| 97色婷| 人妻狠狠操| 婷婷五月成人有| 色婷婷4| 久热这里只有精品66| 亚洲第一色区| 天天搞天天爽| 婷婷射图| 狠狠狠狠狠干| 色欲一区二区三区精品A片| 狠狠五月婷婷| 丰满少妇猛烈A片免费看观看| av大片在线| 婷婷综合久久综合| 92久操视频| 狼友视频在线观看18| 丁香五月花婷婷开心| 婷婷大美在线| 五月丁香狠狠| 色色色热热热| 91性高潮久久久久久久久| 九九亚洲| 99热9| 精品综合网在线| 狠狠综合区| 五月天婷婷av| 日操五月婷| 久久一热| 色婷婷综合久久久久| 99噜噜噜在线播放| 在线色婷婷| 五月丁香啪啪婷婷| 思思99精品视频在线观看| 丁香五月婷婷成人网| 婷婷五月激情图片| 九九视频这里只有精品| 在线18av | 99热在线资源| 亚洲精99| 99热官网| 777精品久无码人妻蜜桃| 啪啪操网| 久久综合丁香五月| 婷婷五月天BBw| 久久久人妻| 天天射影院| 99五月婷| 日韩按摩二区| 亚洲精品99| 色播五月婷婷| 综合久久婷婷99| 五月婷婷综合久久| 亚洲激情淫网| 色婷婷久久综合久色综| 97色干| 人人干人人操外国| 欧美色骚婷婷五月天| 婷婷丁香18| 丰满人妻妇伦又伦精品国产| 狠狠色五月| 婷婷五月天亚洲激情戏精品| 1024国产| 久久密臀婷婷| 嫩草视频在线观看| 五月丁香婷婷激情视频| 国产色色视频| 亚洲无码yw| 天插天啪天啪天啪| 婷婷五月天久久久| 丁香五月ⅤA久久久| 五月丁香怕啪啪| 五月婷婷丁香大陆免费| 丁香五月色情| 久热99热| 天天干天天干天天干天天干天| 久久人妻视频| 99精品人人| 狠狠操婷婷| 丁香成人五月天| 欧美精品99| 五月婷婷六月丁香在线视频| 欧美精品中文字幕亚洲专区| 五月丁香六月激情综合| 婷婷五月丁香色情| 激情五月天婷婷| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 免费观看的av| 日韩欧美成人片| 婷婷丁香色情| 欧美精品XXXXBBBB| 国产激情AV| 丁香五月婷婷网| 99婷婷综合| WWW五月天| 丁香五月婷婷影院| 99热这里| 婷婷五月色惰| 久久久久97| 99热99这里有免费的精品| www.日日夜夜.com| www,色婷婷| 538在线精品| 五月天久草| 久久欧洲综合网| 五月婷婷丁香91| 五月色丁香成人| 99热97| 欧韩性爱| 午夜丁香婷婷| 97精品综合久久| 久婷婷婷| 九九久久99精品免费观看www| 人人摸人人| 久久婷婷一级片| 2025天天爽天天摸| 伊人久久婷婷| 久热这里只有精品性色AV| 婷婷激情5月| 九九热123| 色。 婷婷婷| 五月天精品| 五月婷婷丁香深深爱| 97欧美在线| 亚洲情色一区| 99.N在线视频| 综合另类视频| 91九色国产在线| AV成人在线播放| 丁香五月婷婷亚洲色图| 99碰视频| 成人AV免费观看| AV在线中文| 丁香五月天激情视频| 久热9| 九九九色综合| 99人碰碰碰| 亚洲丁香花色| 国产精品色色666| 国产伦亲子伦亲子视频观看| 色婷婷色五月丁香| 成人无码髙潮喷水A片| 影音先锋xfplay资源男人网| 九九热最新| 色亚洲婷婷| 色碰97| 色色色热热热| 啊v视频在线观看| www.99热| 亚洲五月天狠狠| 亚洲日本三级片| 五月欧美丁香在线观看| 久久久久8888| 五月婷婷六月丁香玖玖玫瑰91| 九九综舍久久| 五月丁香婷婷色色| 99rewww| 亚洲免费综合一区| 人人操av| www.久久久.com| 天堂无码人妻精品AV一区| 丁香六月成人网| 人人综合91网| 丁香激情久久| 影视av久久久噜噜噜噜噜三级| 九九热黄色| 熟女色专区| 电影91久久久| 538在线精品| 丁香五月1页| 老师高潮流白浆喷水的A片| 亚洲人妻电影| 色噜噜狠狠色综| 日韩AV中文在线观看| 婷婷五月色播| 婷婷五月天视| 精品香蕉99久久久久网站| 色色色色综合| 超碰免费在线| 国精产品一区一区三区免费视频| 婷婷六月五月| 五月天激情综合网俺也去| 亚洲成人日韩无码精品| 久久久.COM| se99在线| 《久久综合九色综合97婷婷|