欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

構(gòu)建高質(zhì)量郵件分類數(shù)據(jù)集:從CSV設(shè)計(jì)到BERT微調(diào)的實(shí)戰(zhàn)指南

構(gòu)建高質(zhì)量郵件分類數(shù)據(jù)集:從CSV設(shè)計(jì)到BERT微調(diào)的實(shí)戰(zhàn)指南 郵件分類數(shù)據(jù)的價(jià)值很多人低估了它。做了幾年郵件安全相關(guān)的數(shù)據(jù)處理和模型訓(xùn)練我最大的體會(huì)是垃圾郵件過(guò)濾這個(gè)賽道真正的門(mén)檻早就不是算法有多花哨而是數(shù)據(jù)有多扎實(shí)。最近我完成了一套原創(chuàng)的電子郵件垃圾郵件過(guò)濾數(shù)據(jù)集構(gòu)建配合深度學(xué)習(xí)模型的微調(diào)實(shí)驗(yàn)從CSV格式設(shè)計(jì)、二元分類標(biāo)簽標(biāo)注到多語(yǔ)言NLP樣本整理、GDPR合規(guī)脫敏再到BERT微調(diào)、釣魚(yú)郵件識(shí)別的完整鏈路都跑了一遍。這篇文章就把整個(gè)過(guò)程中用得順手的方案、踩過(guò)的坑、以及實(shí)測(cè)下來(lái)的關(guān)鍵參數(shù)全部攤開(kāi)來(lái)講。無(wú)論你是剛接觸NLP分類任務(wù)的學(xué)生還是需要給業(yè)務(wù)系統(tǒng)配一套郵件過(guò)濾能力的工程師只要你準(zhǔn)備用BERT這類模型做文本分類這套從數(shù)據(jù)到訓(xùn)練的完整思路都應(yīng)該能給你一些參考。1. 項(xiàng)目概述垃圾郵件過(guò)濾的數(shù)據(jù)難題在哪1.1 核心需求拆解這個(gè)項(xiàng)目的原始需求其實(shí)很樸素構(gòu)建一份高質(zhì)量的郵件分類數(shù)據(jù)集能夠支撐垃圾郵件過(guò)濾算法的優(yōu)化和深度學(xué)習(xí)模型的訓(xùn)練。但高質(zhì)量三個(gè)字背后藏著幾個(gè)很具體的問(wèn)題。第一個(gè)問(wèn)題是樣本形態(tài)。郵件和普通短文本不一樣它天生就是半結(jié)構(gòu)化的有主題、有正文、有發(fā)件人、有HTML結(jié)構(gòu)、甚至還有附件信息。直接拿一個(gè)純文本的語(yǔ)料庫(kù)來(lái)訓(xùn)練模型學(xué)到的只是字面意思學(xué)不到垃圾郵件的行為模式。所以數(shù)據(jù)集在設(shè)計(jì)時(shí)就必須保留足夠豐富的字段但又不能把原始郵件原封不動(dòng)丟進(jìn)去否則隱私合規(guī)這一關(guān)就過(guò)不去。第二個(gè)問(wèn)題是標(biāo)簽質(zhì)量。垃圾郵件分類是一個(gè)典型的二元分類問(wèn)題但兩類樣本的邊界在現(xiàn)實(shí)中非常模糊。營(yíng)銷(xiāo)郵件算不算垃圾帶退訂鏈接的算不算純圖片型廣告郵件怎么標(biāo)注這些問(wèn)題如果沒(méi)有一套明確的標(biāo)注規(guī)范最終做出來(lái)的數(shù)據(jù)集就是給模型喂噪聲。第三個(gè)問(wèn)題是泛化能力。國(guó)內(nèi)外的垃圾郵件在語(yǔ)言習(xí)慣、詐騙話術(shù)、內(nèi)容主題上差異巨大。單一語(yǔ)言的語(yǔ)料只能讓模型在特定場(chǎng)景下好用做不到跨語(yǔ)言遷移。所以這次構(gòu)建數(shù)據(jù)集的時(shí)候我把多語(yǔ)言樣本作為硬性要求之一中文、英文、以及部分歐洲語(yǔ)種的郵件都按比例納入了。1.2 數(shù)據(jù)集定位與技術(shù)選型邏輯明確了需求之后技術(shù)選型就順理成章了。存儲(chǔ)格式選擇CSV而不是JSON或者數(shù)據(jù)庫(kù)主要考慮兩點(diǎn)一是CSV對(duì)訓(xùn)練管線友好pandas直接讀取切成DataFrame就能做數(shù)據(jù)清洗不需要額外的解析邏輯二是CSV天然適合人工審查Excel或者任意文本編輯器都能打開(kāi)標(biāo)簽校驗(yàn)成本低。對(duì)于萬(wàn)級(jí)到十萬(wàn)級(jí)規(guī)模的數(shù)據(jù)集CSV的性能完全不是瓶頸。標(biāo)簽采用二元分類即0代表正常郵件ham1代表垃圾郵件spam這是文本分類中最穩(wěn)的起點(diǎn)。不要一上來(lái)就搞垃圾郵件/釣魚(yú)郵件/營(yíng)銷(xiāo)郵件/正常郵件四分類因?yàn)轭悇e之間邊界模糊標(biāo)注一致性很難保證而且貝葉斯錯(cuò)誤率會(huì)非常高。先做好二分類如果業(yè)務(wù)確實(shí)需要細(xì)分可以在二分類的基礎(chǔ)上再做一次聚類或者規(guī)則細(xì)分。模型選型上我最終以BERT微調(diào)作為主路徑。原因也很直接預(yù)訓(xùn)練語(yǔ)言模型對(duì)語(yǔ)義理解的泛化能力遠(yuǎn)遠(yuǎn)超過(guò)傳統(tǒng)TF-IDF加邏輯回歸的組合尤其是在釣魚(yú)郵件這種需要讀懂話術(shù)意圖的場(chǎng)景里語(yǔ)義級(jí)特征比詞頻統(tǒng)計(jì)可靠得多。提示如果你的數(shù)據(jù)集規(guī)模只有幾百條別碰BERT老老實(shí)實(shí)用TF-IDF加邏輯回歸或者樸素貝葉斯效果反而更好。深度學(xué)習(xí)模型的收益需要數(shù)據(jù)量支撐盲目上大模型只會(huì)得到過(guò)擬合和一片紅的顯存報(bào)錯(cuò)。2. 數(shù)據(jù)集構(gòu)建從原始郵件到高質(zhì)量CSV2.1 CSV字段設(shè)計(jì)與樣本格式數(shù)據(jù)集的字段設(shè)計(jì)是整個(gè)工程的骨架。我這次采用的字段結(jié)構(gòu)如下字段名類型說(shuō)明idstring樣本唯一標(biāo)識(shí)脫敏后生成subjectstring郵件主題已去除個(gè)人隱私信息bodytext郵件正文已去除HTML標(biāo)簽和PIIlanguagestring語(yǔ)言代碼如zh、en、de、frlabelint二元標(biāo)簽0為正常1為垃圾sourcestring數(shù)據(jù)來(lái)源分類僅用于內(nèi)部審計(jì)timestampstring脫敏后的時(shí)間戳精確到天這里有幾個(gè)細(xì)節(jié)值得單獨(dú)說(shuō)。正文字段我保存的是清洗后的純文本而不是原始HTML。原因有兩個(gè)一是BERT的輸入是token序列HTML標(biāo)簽除了極少數(shù)特殊場(chǎng)景外基本是噪聲二是原始HTML中包含大量用戶追蹤像素、個(gè)性化鏈接和隱藏的元數(shù)據(jù)這些都屬于隱私敏感信息必須在入庫(kù)前剝離。實(shí)測(cè)下來(lái)去掉HTML后用正則做一輪基礎(chǔ)清洗模型的F1分?jǐn)?shù)比直接用原始HTML高出大概2到3個(gè)百分點(diǎn)效果非常明顯。subject字段保留了因?yàn)猷]件的主題行往往是判斷垃圾郵件的最強(qiáng)信號(hào)之一。典型的垃圾郵件主題喜歡用限時(shí)優(yōu)惠中獎(jiǎng)通知您的訂單已發(fā)貨這類高誘惑詞匯而正常郵件的主題通常更克制。讓模型同時(shí)看到主題和正文等于給了它兩組互補(bǔ)特征。脫敏后的時(shí)間戳也很重要。如果你的訓(xùn)練集和測(cè)試集切分不當(dāng)比如按照時(shí)間切分時(shí)讓測(cè)試集的時(shí)間范圍落在訓(xùn)練集之前就會(huì)引入數(shù)據(jù)泄漏。保留時(shí)間戳字段方便做時(shí)間序列驗(yàn)證。2.2 二元分類標(biāo)簽的標(biāo)注策略與質(zhì)量控制標(biāo)簽標(biāo)注是整個(gè)數(shù)據(jù)集中最費(fèi)體力、也最決定上限的環(huán)節(jié)。我采用的標(biāo)注策略是三階段流程初標(biāo)、復(fù)審、抽檢。初標(biāo)階段標(biāo)注人員只做一件事判斷是否垃圾郵件拒絕做任何主觀細(xì)分。這聽(tīng)起來(lái)簡(jiǎn)單但實(shí)際執(zhí)行時(shí)會(huì)有大量灰色樣本。我的處理原則是不確定就標(biāo)注為疑似單獨(dú)拎出來(lái)討論絕不硬著頭皮給出文件標(biāo)簽。營(yíng)銷(xiāo)郵件就是典型的灰色地帶大部分用戶會(huì)覺(jué)得是騷擾但從平臺(tái)規(guī)則角度它又確實(shí)是用戶主動(dòng)訂閱的。這種樣本需要單獨(dú)標(biāo)記避免污染核心分類任務(wù)的標(biāo)簽分布。復(fù)審階段我會(huì)隨機(jī)抽取約20%的已標(biāo)注樣本由另一組人獨(dú)立重新標(biāo)注然后計(jì)算標(biāo)注一致性。如果兩人對(duì)某一條樣本的判斷不一致這條樣本會(huì)被標(biāo)記為爭(zhēng)議樣本進(jìn)入仲裁。仲裁規(guī)則很簡(jiǎn)單爭(zhēng)議樣本如果占整體比例超過(guò)3%說(shuō)明標(biāo)注指南本身有問(wèn)題需要先修正指南再繼續(xù)。抽檢階段用規(guī)則做輔助校驗(yàn)。比如正文中包含大量退款轉(zhuǎn)賬驗(yàn)證碼等關(guān)鍵詞但標(biāo)簽是0的樣本全部拉出來(lái)人工復(fù)查。這里的原因很實(shí)際釣魚(yú)郵件和正常郵件在高頻詞分布上有重疊如果人工標(biāo)注時(shí)只看主題不看正文鏈接很容易漏掉釣魚(yú)特征。注意不要迷信開(kāi)源數(shù)據(jù)集自帶的標(biāo)簽。很多公開(kāi)郵件語(yǔ)料庫(kù)的標(biāo)簽標(biāo)注標(biāo)準(zhǔn)非常隨意有的甚至只用發(fā)件域名來(lái)判別這會(huì)導(dǎo)致標(biāo)簽噪聲極高。自己構(gòu)建數(shù)據(jù)集時(shí)寧可樣本量小一點(diǎn)也要保證標(biāo)簽質(zhì)量。臟標(biāo)簽對(duì)模型上限的影響遠(yuǎn)大于樣本數(shù)量不足的影響。2.3 多語(yǔ)言樣本的構(gòu)建細(xì)節(jié)多語(yǔ)言NLP樣本不是簡(jiǎn)單地把不同語(yǔ)言的郵件丟進(jìn)同一個(gè)CSV里就完事。如果直接混合訓(xùn)練你會(huì)發(fā)現(xiàn)模型在參數(shù)量不增加的情況下每種語(yǔ)言的表現(xiàn)在單獨(dú)評(píng)測(cè)時(shí)都不如同等規(guī)模的單語(yǔ)模型因?yàn)樵~表被稀釋了。我這次的處理方式是分層采樣。先說(shuō)目標(biāo)比例中文約40%、英文約40%、其他歐洲語(yǔ)言約20%覆蓋德、法、西、意四種語(yǔ)言每種語(yǔ)言各5%左右。然后在BERT微調(diào)時(shí)使用多語(yǔ)言預(yù)訓(xùn)練模型而不是分別訓(xùn)練多個(gè)單語(yǔ)模型。這樣一來(lái)模型可以共享底層的通用語(yǔ)言表征跨語(yǔ)言時(shí)只需要少量目標(biāo)語(yǔ)言樣本做適配。在構(gòu)建多語(yǔ)言樣本時(shí)有三個(gè)細(xì)節(jié)非常容易被忽略。第一同一個(gè)語(yǔ)義內(nèi)容的垃圾郵件在不同語(yǔ)言里表達(dá)方式完全不同不要嘗試做翻譯對(duì)齊。翻譯過(guò)來(lái)的樣本帶有強(qiáng)烈的翻譯腔模型學(xué)到的不是真實(shí)語(yǔ)境中的垃圾郵件語(yǔ)感而是翻譯噪聲。第二字符編碼處理。中文郵件經(jīng)?;煊腥前虢欠?hào)英文郵件里又有各種Unicode變體。入庫(kù)前統(tǒng)一做NFKC歸一化避免${和$被當(dāng)成兩個(gè)不同token。第三時(shí)區(qū)和文化差異。歐美地區(qū)的垃圾郵件高峰和中文地區(qū)完全不同促銷(xiāo)郵件在黑色星期五前后暴增國(guó)內(nèi)則是在雙十一前后。如果數(shù)據(jù)集構(gòu)建時(shí)不做時(shí)間段上的均勻采樣模型容易學(xué)到時(shí)間段這種虛假特征。import pandas as pd df pd.read_csv(email_dataset.csv) df[body_length] df[body].str.len() print(df.groupby(language)[label].value_counts(normalizeTrue))這段代碼是用來(lái)檢查各語(yǔ)言下標(biāo)簽分布是否均衡的。如果發(fā)現(xiàn)某一種語(yǔ)言下垃圾郵件占比明顯偏高或偏低需要回到原始語(yǔ)料里去重新采樣而不是直接在訓(xùn)練時(shí)做樣本加權(quán)。因?yàn)闃颖炯訖?quán)只能調(diào)整損失函數(shù)的數(shù)值改變不了模型對(duì)該語(yǔ)言語(yǔ)義特征的建模質(zhì)量。2.4 GDPR合規(guī)處理流程GDPR合規(guī)是整個(gè)項(xiàng)目里最容易被忽略、但一旦出錯(cuò)后果最嚴(yán)重的部分。郵件數(shù)據(jù)幾乎天然包含個(gè)人數(shù)據(jù)姓名、郵箱地址、電話號(hào)碼、甚至郵件正文里可能出現(xiàn)的身份證號(hào)和銀行賬號(hào)。如果這些數(shù)據(jù)直接進(jìn)入訓(xùn)練集不僅違反隱私保護(hù)原則在真實(shí)業(yè)務(wù)場(chǎng)景里還會(huì)帶來(lái)法律風(fēng)險(xiǎn)。我的合規(guī)處理流程分四步每一步都單獨(dú)驗(yàn)證。第一步是PII識(shí)別與剔除。先用正則和實(shí)體識(shí)別模型掃描所有字段把郵箱地址、手機(jī)號(hào)、地址、人名等個(gè)人信息的出現(xiàn)位置標(biāo)記出來(lái)。標(biāo)記之后直接替換為占位符比如[EMAIL]、[PHONE]而不是刪除整段內(nèi)容。保留占位符的目的是讓模型知道這里有一個(gè)實(shí)體出現(xiàn)但不知道具體實(shí)體是什么。這一步在釣魚(yú)郵件識(shí)別場(chǎng)景里尤其關(guān)鍵因?yàn)楹芏嗬]件恰好是圍繞郵箱前綴猜測(cè)和定向稱呼來(lái)構(gòu)建的。第二步是差分隱私加噪。不需要整個(gè)數(shù)據(jù)集都做嚴(yán)格的差分隱私這會(huì)破壞語(yǔ)義完整性。我采用的是輕量級(jí)方案在文本向量化的過(guò)程中以極低概率對(duì)高頻詞做詞替換操作破壞可能的指紋關(guān)聯(lián)。實(shí)測(cè)下來(lái)詞替換比例控制在1%以下時(shí)BERT微調(diào)的效果下降可以忽略但外部攻擊者通過(guò)交叉比對(duì)還原個(gè)人信息的難度會(huì)顯著上升。第三步是數(shù)據(jù)最小化。CSV里只保留任務(wù)必需的字段上文提到的八個(gè)字段就是最終保留的全部?jī)?nèi)容。任何與分類任務(wù)無(wú)關(guān)的字段比如郵件原文的完整頭信息、用戶客戶端類型、IP地址一律不入庫(kù)。第四步是訪問(wèn)控制和審計(jì)留存。數(shù)據(jù)集文件本身做了字段級(jí)加密只有通過(guò)內(nèi)部授權(quán)的訓(xùn)練環(huán)境才能讀取。同時(shí)保留source字段用于內(nèi)部審計(jì)追蹤但source字段只記錄數(shù)據(jù)來(lái)源類別不記錄任何個(gè)人標(biāo)識(shí)。提示如果你的訓(xùn)練數(shù)據(jù)來(lái)自公開(kāi)的郵件語(yǔ)料庫(kù)不要以為公開(kāi)可得就等于合規(guī)可用。公開(kāi)語(yǔ)料庫(kù)中的轉(zhuǎn)發(fā)鏈本身就攜帶大量第三方個(gè)人信息必須做同樣的PII清洗否則數(shù)據(jù)集發(fā)布后任何人的個(gè)人信息被識(shí)別出來(lái)責(zé)任都在數(shù)據(jù)處理者身上。3. 深度學(xué)習(xí)模型訓(xùn)練BERT微調(diào)實(shí)操記錄3.1 數(shù)據(jù)準(zhǔn)備切分、清洗、tokenization數(shù)據(jù)準(zhǔn)備好之后正式進(jìn)入訓(xùn)練環(huán)節(jié)。第一步是數(shù)據(jù)切分這里有一個(gè)非常關(guān)鍵的決策不能全量隨機(jī)切分因?yàn)橥环忄]件的變體可能會(huì)出現(xiàn)在多個(gè)樣本里。我遇到的實(shí)際情況是很多垃圾郵件是模板生成的同一模板會(huì)衍生出幾十封僅有細(xì)微差別的變體郵件。如果隨機(jī)切分很有可能同一模板的變體同時(shí)出現(xiàn)在訓(xùn)練集和驗(yàn)證集里導(dǎo)致驗(yàn)證集的指標(biāo)嚴(yán)重虛高。我采用的切分策略是先按郵件模板的哈希值做去重只保留每個(gè)模板下的一到兩條代表性樣本然后對(duì)去重后的數(shù)據(jù)按照時(shí)間先后排序前80%做訓(xùn)練后20%做驗(yàn)證。這種切分方式更接近真實(shí)場(chǎng)景——你永遠(yuǎn)是在用歷史數(shù)據(jù)預(yù)測(cè)未來(lái)到達(dá)的郵件。Tokenization方面直接使用BERT對(duì)應(yīng)語(yǔ)種的tokenizer即可但我增加了兩個(gè)自定義處理。第一個(gè)是超長(zhǎng)文本截?cái)嗖呗浴ERT的序列長(zhǎng)度通常限制在512個(gè)token以內(nèi)而郵件正文很容易超過(guò)這個(gè)長(zhǎng)度。我的處理是不從頭截?cái)喽遣捎檬锥渭游捕纹唇拥牟呗员A羟?28個(gè)token和后256個(gè)token中間的丟棄。原因很實(shí)際垃圾郵件的關(guān)鍵信息大多在開(kāi)頭和結(jié)尾開(kāi)頭是營(yíng)銷(xiāo)話術(shù)結(jié)尾是行動(dòng)號(hào)召和鏈接引導(dǎo)中間往往是湊字?jǐn)?shù)的內(nèi)容。第二個(gè)是URL的特殊標(biāo)記處理。郵件正文中的URL本身是判斷垃圾郵件的重要特征比如短鏈接非常規(guī)域名批量參數(shù)的組合。但直接丟給tokenizer會(huì)被切得七零八落。我先把URL整體替換為[URL_0]、[URL_1]這種帶序號(hào)的占位符然后把URL特征域名長(zhǎng)度、是否IP直連、端口非常規(guī)程度等拼接到token序列的末尾作為附加特征。from transformers import AutoTokenizer tokenizer AutoTokenizer.from_pretrained(bert-base-multilingual-cased) def tokenize_email(row): subject_tokens tokenizer.tokenize(row[subject])[:64] body_tokens tokenizer.tokenize(row[body]) head body_tokens[:128] tail body_tokens[-256:] if len(body_tokens) 384 else body_tokens[128:] final_tokens subject_tokens [[SEP]] head tail final_tokens final_tokens[:510] [[SEP]] return final_tokens這段代碼保存下來(lái)后面所有實(shí)驗(yàn)都復(fù)用同一個(gè)tokenization邏輯保證訓(xùn)練集和推理時(shí)的輸入分布完全一致。3.2 微調(diào)參數(shù)設(shè)計(jì)與實(shí)驗(yàn)過(guò)程BERT微調(diào)的參數(shù)選擇我推薦從相對(duì)保守的配置開(kāi)始。我這次使用的核心參數(shù)如下參數(shù)取值說(shuō)明模型bert-base-multilingual-cased多語(yǔ)言模型覆蓋中英德法西意最大序列長(zhǎng)度512配合首尾截?cái)嗖呗詁atch size16單卡顯存不夠時(shí)可降到8學(xué)習(xí)率2e-5BERT微調(diào)的標(biāo)準(zhǔn)起點(diǎn)warmup比例10%防止早期訓(xùn)練不穩(wěn)定epoch數(shù)3二分類任務(wù)3輪足夠再多會(huì)過(guò)擬合損失函數(shù)CrossEntropyLoss配合類別權(quán)重處理類別不平衡訓(xùn)練過(guò)程我記錄幾個(gè)關(guān)鍵觀察點(diǎn)這些是文檔里不會(huì)寫(xiě)的。第一輪epoch結(jié)束后我觀察到訓(xùn)練集準(zhǔn)確率已經(jīng)接近95%但驗(yàn)證集只有88%左右。這個(gè)差距不是過(guò)擬合而是前面提到的模板變體問(wèn)題訓(xùn)練集里雖然做了模板去重但驗(yàn)證集中仍然有大量全新模板模型對(duì)未見(jiàn)模板的泛化能力還不足。這時(shí)候不要慌更不要提前停止訓(xùn)練讓模型跑完三輪再看。第二輪epoch開(kāi)始驗(yàn)證集指標(biāo)明顯爬升說(shuō)明模型逐步學(xué)會(huì)了模板之外的語(yǔ)義級(jí)特征比如內(nèi)容空洞但強(qiáng)調(diào)緊迫性這類話術(shù)模式。第三輪結(jié)束時(shí)驗(yàn)證集F1穩(wěn)定在0.93左右。對(duì)比實(shí)驗(yàn)里直接用原始文本不做首尾截?cái)嗟姆桨窮1只有0.89說(shuō)明針對(duì)郵件形態(tài)的預(yù)處理策略確實(shí)有效。注意BERT微調(diào)最忌諱頻繁調(diào)整學(xué)習(xí)率。只要loss曲線沒(méi)有出現(xiàn)劇烈震蕩就讓它跑完。我見(jiàn)過(guò)太多人因?yàn)轵?yàn)證集loss輕微上漲就立刻調(diào)參結(jié)果永遠(yuǎn)在訓(xùn)練的前1000步里打轉(zhuǎn)。3.3 釣魚(yú)郵件識(shí)別的專項(xiàng)優(yōu)化釣魚(yú)郵件和普通垃圾郵件雖然share同一個(gè)二元標(biāo)簽體系但它的識(shí)別難度完全不同。普通垃圾郵件靠高頻詞匯就能識(shí)別釣魚(yú)郵件則需要模型理解意圖。釣魚(yú)郵件的典型特征是模仿正常通信冒充銀行、冒充物流公司、冒充內(nèi)部IT部門(mén)。它們?cè)谠~匯層面和正常郵件的重合度極高必須依賴更細(xì)粒度的特征才能區(qū)分。我在這個(gè)項(xiàng)目里做了三層專項(xiàng)優(yōu)化效果比較明顯。第一層是發(fā)件人特征增強(qiáng)。在模型輸入序列的最前面拼接一段特殊的發(fā)件域信息用[FROM_DOMAIN]標(biāo)記。釣魚(yú)郵件最顯著的特征之一是發(fā)件域名的偽裝比如用rnicrosoft.com冒充microsoft.com。BERT本身無(wú)法直接識(shí)別這種視覺(jué)混淆但把這個(gè)信息顯式輸入后模型可以學(xué)到域名真實(shí)性和正文話術(shù)之間的匹配關(guān)系。第二層是鏈接行為特征。釣魚(yú)郵件的正文里通常有一個(gè)點(diǎn)我了解詳情按鈕鏈接指向的卻是完全無(wú)關(guān)的域名。我在數(shù)據(jù)預(yù)處理階段把這些鏈接的落地頁(yè)域名和郵件正文里的聲稱來(lái)源提取出來(lái)計(jì)算兩者的語(yǔ)義相似度相似度分?jǐn)?shù)作為附加特征拼入輸入。這個(gè)特征對(duì)釣魚(yú)郵件的識(shí)別率提升非常顯著F1從0.93提升到了0.96。第三層是緊急催辦類話術(shù)識(shí)別。真實(shí)的釣魚(yú)郵件幾乎都有一個(gè)共性制造緊迫感要求用戶在極短時(shí)間內(nèi)操作。24小時(shí)內(nèi)不處理您的賬戶將被凍結(jié)這種話術(shù)正常業(yè)務(wù)郵件很少使用。我檢查了BERT的注意力分布發(fā)現(xiàn)模型確實(shí)學(xué)會(huì)了把注意力集中在表示時(shí)間壓力和行為壓力等詞匯上這證實(shí)了預(yù)訓(xùn)練模型本身就具備這類語(yǔ)義理解能力只需要訓(xùn)練數(shù)據(jù)里提供足夠多的正例樣本。4. 算法優(yōu)化從基線到高精度分類器4.1 基線實(shí)驗(yàn)與對(duì)比分析任何模型實(shí)驗(yàn)都應(yīng)該從基線開(kāi)始。我這次跑了三個(gè)基線分別是傳統(tǒng)TF-IDF加邏輯回歸、一個(gè)輕量級(jí)的蒸餾BERT模型、以及完整版的多語(yǔ)言BERT。對(duì)比結(jié)果驚醒了很多人。模型驗(yàn)證集F1單條推理耗時(shí)備注TF-IDF 邏輯回歸0.860.5ms高頻詞特征為主蒸餾BERT6層0.908ms速度與效果折中多語(yǔ)言BERT完整0.9320ms語(yǔ)義理解最強(qiáng)多語(yǔ)言BERT 鏈接特征0.9622ms最終方案這個(gè)對(duì)比告訴我們兩件事。第一如果你的業(yè)務(wù)對(duì)延遲敏感、對(duì)GPU資源有嚴(yán)格限制蒸餾BERT已經(jīng)能覆蓋絕大多數(shù)場(chǎng)景0.90的F1在真實(shí)業(yè)務(wù)中已經(jīng)可以攔截絕大部分垃圾郵件。第二完整版BERT多出來(lái)的0.03到0.06個(gè)點(diǎn)的F1來(lái)自對(duì)語(yǔ)義細(xì)節(jié)的把控而這種把控恰恰是釣魚(yú)郵件識(shí)別這種難任務(wù)最需要的。如果只是單純做促銷(xiāo)郵件攔截蒸餾版完全夠用。4.2 類別不平衡問(wèn)題的處理垃圾郵件數(shù)據(jù)集天然存在類別不平衡因?yàn)檎鎸?shí)環(huán)境中正常郵件總是占多數(shù)。我這次的數(shù)據(jù)集中正常郵件占比約60%垃圾郵件占比約40%這個(gè)比例相對(duì)健康。但如果你的數(shù)據(jù)來(lái)源不同垃圾郵件占比可能會(huì)降到10%以下就必須做處理。我推薦的方案優(yōu)先級(jí)是先做數(shù)據(jù)層面的重采樣再做損失函數(shù)層面的調(diào)整。重采樣時(shí)不要簡(jiǎn)單復(fù)制少數(shù)類樣本過(guò)采樣因?yàn)檫^(guò)擬合風(fēng)險(xiǎn)極高。我的做法是對(duì)少數(shù)類樣本做基于同義替換的增強(qiáng)比如把中獎(jiǎng)替換為獲獎(jiǎng)把免費(fèi)替換為贈(zèng)送生成語(yǔ)義不變但token不同的新樣本。這種做法在BERT時(shí)代依然有效因?yàn)樗鼜?qiáng)迫模型關(guān)注語(yǔ)義不變的底層特征而不是記住某個(gè)特定詞匯。數(shù)據(jù)增強(qiáng)無(wú)法彌補(bǔ)時(shí)再考慮損失函數(shù)層面的方案。在CrossEntropyLoss中設(shè)置類別權(quán)重讓少數(shù)類的梯度貢獻(xiàn)更大。我實(shí)測(cè)下來(lái)類別權(quán)重設(shè)為[0.7, 1.3]時(shí)效果最好進(jìn)一步加大權(quán)重會(huì)導(dǎo)致正常郵件的召回率下降。4.3 推理階段的速度優(yōu)化訓(xùn)練完成的模型最終要部署到實(shí)際業(yè)務(wù)里推理速度是繞不開(kāi)的話題。我實(shí)測(cè)的多語(yǔ)言BERT在純CPU環(huán)境下單條推理需要200ms以上這個(gè)速度在低延遲場(chǎng)景下不可接受。優(yōu)化路徑有三條我最終都采用了。第一條是量化。把模型從FP32量化到INT8推理速度提升約3倍F1下降不到0.5個(gè)百分點(diǎn)。對(duì)于垃圾郵件分類這種任務(wù)這個(gè)精度損失完全可以接受。第二條是批處理。實(shí)際業(yè)務(wù)中郵件是持續(xù)到達(dá)的不需要對(duì)每封郵件單獨(dú)推理。我設(shè)置了一個(gè)最多32條的小批次每100毫秒批量處理一次吞吐量提升顯著。第三條是規(guī)則前置過(guò)濾。約35%的極端明顯垃圾郵件可以靠極輕量的規(guī)則直接命中比如已知惡意域名、純圖片郵件、無(wú)正文內(nèi)容只有鏈接的郵件。這類郵件根本不進(jìn)入模型推理環(huán)節(jié)直接攔截。這樣既節(jié)省算力又降低模型被大量低質(zhì)量樣本干擾的概率。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 標(biāo)簽噪聲怎么排查標(biāo)簽噪聲是最隱蔽的問(wèn)題。模型訓(xùn)完后驗(yàn)證集F1很高但上線后實(shí)際效果卻明顯變差這往往是標(biāo)簽噪聲導(dǎo)致的模型偏差。我的排查方法是做標(biāo)簽置信度分析。把驗(yàn)證集樣本的預(yù)測(cè)概率輸出重點(diǎn)檢查模型給出0.9以上高置信度但預(yù)測(cè)錯(cuò)誤、以及0.4到0.6之間模糊區(qū)間的樣本。前者是標(biāo)簽可能標(biāo)錯(cuò)了后者是模型確實(shí)學(xué)得不夠好。逐條復(fù)查后我發(fā)現(xiàn)大約有1.8%的驗(yàn)證集樣本存在標(biāo)簽錯(cuò)誤修正后驗(yàn)證集F1直接從0.93提升到了0.95。還有一個(gè)技巧用模型預(yù)測(cè)結(jié)果和原始標(biāo)注做交叉比對(duì)把不一致的樣本全部導(dǎo)出按照模型正確、標(biāo)注錯(cuò)誤和標(biāo)注正確、模型錯(cuò)誤分類。前者幫我們修正數(shù)據(jù)集后者幫我們定位模型的薄弱場(chǎng)景比如高仿品牌的促銷(xiāo)郵件或含大量英文縮寫(xiě)的中文郵件。5.2 BERT訓(xùn)練中的常見(jiàn)坑顯存不足是第一個(gè)坑。512序列長(zhǎng)度加batch size 16在單張12GB顯卡上勉強(qiáng)裝下如果用更大的模型或者更長(zhǎng)的長(zhǎng)度第一時(shí)間考慮梯度累積而不是直接縮小batch size。梯度累積把有效batch size維持在16而顯存占用只需要4代價(jià)僅僅是訓(xùn)練速度稍慢。還有一個(gè)小技巧是開(kāi)啟gradient_checkpointing用時(shí)間換顯存效果立竿見(jiàn)影。第二個(gè)坑是序列輸入順序。很多人直接把subject body拼在一起就送進(jìn)模型但郵件主題和正文的語(yǔ)義重要性不同隨意拼接會(huì)讓模型把主題內(nèi)容也當(dāng)作正文來(lái)處理。用[CLS] subject [SEP] body [SEP]的結(jié)構(gòu)化輸入讓模型知道這是兩個(gè)獨(dú)立的語(yǔ)義段實(shí)測(cè)F1有直觀提升。第三個(gè)坑是epoch次數(shù)。BERT微調(diào)因?yàn)樽陨眍A(yù)訓(xùn)練模型強(qiáng)大的語(yǔ)言能力往往一兩輪就能夠在訓(xùn)練集上達(dá)到很好的效果但驗(yàn)證集指標(biāo)仍然在緩慢爬升。直接把epoch設(shè)為3到4輪比來(lái)回調(diào)學(xué)習(xí)率可靠得多。5.3 多語(yǔ)言模型評(píng)測(cè)時(shí)的隱藏問(wèn)題多語(yǔ)言模型有一個(gè)非常隱蔽的坑評(píng)測(cè)時(shí)按語(yǔ)言分組還是按整體評(píng)測(cè)結(jié)果差異很大。整體評(píng)測(cè)時(shí)如果中文樣本占多數(shù)F1會(huì)偏向中文表現(xiàn)掩蓋模型在低資源語(yǔ)言上的糟糕表現(xiàn)。正確做法是分語(yǔ)言獨(dú)立評(píng)測(cè)重點(diǎn)觀察每種語(yǔ)言的精確率和召回率是否均衡。我實(shí)測(cè)的模型就是這種情況。整體F1是0.93看著不錯(cuò)但分開(kāi)看時(shí)意大利語(yǔ)和法語(yǔ)的召回率明顯低于中文和英文原因是這兩種語(yǔ)言的訓(xùn)練樣本太少模型學(xué)不到足夠的語(yǔ)言特定特征。解決方法是針對(duì)這兩種語(yǔ)言做額外的樣本增強(qiáng)或者臨時(shí)加入一個(gè)對(duì)抗性語(yǔ)言分類器強(qiáng)制模型學(xué)習(xí)跨語(yǔ)言的通用特征。5.4 數(shù)據(jù)集發(fā)布前的最終檢查清單數(shù)據(jù)集發(fā)布或者投入生產(chǎn)之前我有幾條固定的檢查項(xiàng)建議你也用起來(lái)是否所有PII都已脫敏用正則掃描一遍[A-Za-z0-9._%-][A-Za-z0-9.-]\.[A-Za-z]{2,}這種模式確保郵箱地址已被替換。標(biāo)簽分布是否按語(yǔ)言分層且均衡逐語(yǔ)言打印標(biāo)簽統(tǒng)計(jì)表格確認(rèn)沒(méi)有某種語(yǔ)言出現(xiàn)極端偏差。是否包含模板去重后的變體污染跑一遍文本相似度聚類確保同一模板的變體沒(méi)有同時(shí)出現(xiàn)在訓(xùn)練和驗(yàn)證集。CSV編碼是否為UTF-8多語(yǔ)言場(chǎng)景下CSV文件如果不是UTF-8在其他環(huán)境中讀取必然亂碼。最后再分享一個(gè)實(shí)操中讓我印象很深的小技巧訓(xùn)練完成之后把模型預(yù)測(cè)置信度在0.85到0.95之間的樣本單獨(dú)抽取出來(lái)去觀察模型為什么猶豫。這類樣本往往是模型自己找到了我們沒(méi)意識(shí)到的噪音特征比如某個(gè)特定發(fā)件域名在訓(xùn)練集中幾乎全被標(biāo)為垃圾郵件而真實(shí)業(yè)務(wù)里這個(gè)域名卻是合法發(fā)件方。這種特征泄漏的排查遠(yuǎn)比調(diào)參更能提升模型的實(shí)際效果。做郵件過(guò)濾這一個(gè)方向久了你會(huì)越來(lái)越認(rèn)同一句話數(shù)據(jù)里的問(wèn)題最后都會(huì)在模型效果上暴露出來(lái)。與其反復(fù)折騰模型結(jié)構(gòu)不如多花時(shí)間把數(shù)據(jù)這層地基夯扎實(shí)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
成人短视频在线| 成人婷婷| 亚洲综合1024| 久久色情| 色五月婷婷九月| 色婷婷小说网| 五月天激情网站| 国产真实乱了老女人视频| 国产偷人爽久久久久久老妇APP | 激情 婷婷 丁香五月天| 激情www| 丁香五月欧美色综合| 99综合| 蜜桃五月天| 色欲AVV| 欧美色色日韩| 婷婷五月成年人| 天天天天天天天操| 伊人久久婷婷| 九月色婷婷婷| 丁香五月花婷婷开心| 五月天色婷婷基地| 国产精品久久久海的味道| 欧美综合五月丁香六月婷| 人妻久久久久久| 国产性爱在线| 99色婷婷视频| 夜夜夜夜撸夜夜操| 欧亚成人A片一区二区| 天天肏视奸| 久99久在线观看| 婷婷五月天激情综合| 婷婷五月深爱五月| 欧洲色| 9久热精品在线视频| 无码免费人妻A片AAA毛片西瓜| www.99热视频| 丁香狠狠干| 五月婷婷婷综合网| 这里只有精品视频一区| 婷婷久久亚洲| 伊人久久大香线蕉亚洲五月天,| 国产女18毛片多18精品| 99视频超级精品| 五月婷精品| 色情综合网| 国产九月婷婷| 视色网在线播放| 婷婷五月色天| 丁香婷婷五月激情四射网| 亚洲精品视频在线| 国产精品爽爽久久久久久| 91丨九色丨43老版熟女| 探花搜索结果 - 黄上黄| 深爱五月激情网| 婷婷五月激情丁香| 婷婷婷婷午夜| 综合五月天亚洲婷婷| 99热在线观看免费| 无码AV免费精品一区二区三区| 欧美激情综合色综合啪啪五月| 综合色色色| 伊人九九68| 丁香婷色| 色色色热| 国产性爱大片久久| 99热日| 开心五月激情网| 欧美69久成人做爰视频| 伊人久久激情图区五月| 99色色网| 丁香九月综合激情| 日韩无码色色| 久久XX日本综合| 色色五月婷婷| 久婷| 91.com男女操| 美女丁香五婷婷| 国产精品18久久久| 色情·com| 9久热在线视频精品| 婷婷五月天VI| 665566 无码| 97热久久五月婷婷| 亚洲精品婷婷| 亚洲在线视频321| 337午夜福利| 99热精品在线| 大香蕉啪啪网| 乱码操操| www.超碰在线| 五月婷婷AV| 婷婷丁香五月激情密臀av| 天天成人丁香美女AV| 久久xxxx| 婷婷色五月激情| 狠色色狠网| www.狠狠狠狠| 天天综合五月天| 91色综合| 丰满少妇猛烈A片免费看观看| 五月激情婷婷国产精品久久久久久| 人人干天天舔| 天天色官网| 亚洲日日日| www久热com| 九九热视频精品| 91色涩| 伊人啪啪网| 六月丁香五月婷婷| 综合精品99| 九九热欧美| 丁香婷婷激情五月| 久久性爱视频| 久久婷婷五月天| 天天爽夜夜操| 99热这里有精品首页10| 九九無碼| 久久天天| 中文字幕丰满孑伦无码专区| 在线观看免费狠狠色丁香香综合| 久久色午夜在线导航| 色综合色婷色基地| 丁香五月天激情婷婷丁香六月| 婷婷六月综合基地| 五月婷高清视频| www.五月天社区| 99re视频在线播放| 伊人丁香五月婷婷潮吹| 97干在线看| 成人五月天在线视频在线观看| 丁香综合婷婷开心激情网| 婷婷五月激情在线| 日本狠狠干| 久久久高清| 91精品丝袜久久久久久| 日日撸夜夜操| www.丁香黄色五月天人与| 丁香 亚洲 久久| 五月婷婷五月天激情视频| 丁香狠狠色婷婷久久无码视频| 婷婷五月天激情影片| 欧美五月婷婷| 99热99天堂| 91男同| 亚洲人人操BD| 欧美日韩欧美| 五月天桃色深爱网| 色偷偷人人| 妻久久人久久| 色婷婷99| 伊人久久丁香狠狠婷婷综合香蕉| 97人人超| 嫩BBB槡BBBB搡BBBB视频| 亚洲性受XXXX五月丁香| caopeng97日韩| 香蕉久久国产AV一区二区| 精品成人在线观看| 永久的网站AAAA| 99rewww| 五月丁六月香av| 国产99视频永久免费| 九月色婷婷综合| 欧美爆乳一区二区三区| 99热久| 婷婷五月天福利| 婷婷月综合| 日本不卡中文字幕| 校花娇喘呻吟校长陈若雪视频| 9精品在线| 小视频久久久aaa| 五月丁香五月综合欧美| 99久久性爱| 天天干,天天日| 91re色综合视频| 五月天激情小说| 又大又粗九一在线| 婷婷丁香五月天影院 | 天天狠狠插| 就爱射中文字幕资源网| 欧美性爱中文字幕| 国产精品大香蕉| 色爽干| 久久99激情五月天| 六月99天天婷婷激情综合| 五月久久婷婷| 日日撸日日操| 欧美色五月| 欧美日韩99| 人妻丰满精品一区二区A片| 久久看九九90| 99日本黄站| 大香蕉婷婷久久| A一级操| 婷婷五月天人妻| 五月婷婷视频| 五月丁香综合网| 久久婷婷五月综合色欧美| 大香蕉九九操| 色婷婷AV五月天| 26uuu成人网| 精品在线网站| 991自拍视频| 97人人操人人| 欧美美美女性色视频| 五月天综合在线观看| 9久国产| 国产精品久久久久久喷浆| 九伊人网| 狠狠干总合| 婷婷六月天激情| 尔尔AV一区| 五月婷久草| 日本乱论99| WWW.桔色成人.COM入口| 五月丁香婷婷视频| 中文字幕操比影片| 婷婷天天舔| 色欲婷婷五月天丁香| 乱岳熟女50岁| 久久丝袜婷婷| 涩涩涩五月天| 伊人婷婷大香蕉在线| 91人碰| 亚洲色a| 色五月婷婷av| 97伦乱| 色婷婷五月天激情| 99re免费精品视频| 草草影院爱爱| 久色婷婷200| 蜜桃人妻无码AV天堂三区| wWW九九在线播放| 草婷婷在线| 九九精品热| 91久久免费| 五月色导航| 五月婷婷狠狠干| 久久中文网| 高清无码.com| 色五月婷婷久久| 五月天婷婷久草丁香| 综合丁香婷婷五月天| 六月婷婷国产| 蜜乳久AV| 热久久视频99| se色婷婷视频| 99亚洲大片精品永久在线观看| 深爱五月网| 久久AV无码精品人妻系列试探| 伊人五月婷| 日日噜狠狠色综| www.夜夜操.com| 国产av网| 四色女婷婷| 五月丁香综合网| 激情小说五月天| 超碰人人91| 久热婷婷| 五月丁香色色网| 五月天婷婷AV| www婷婷| 天天舔天天插天天干| 婷婷久久五月| 丁香六月中文| 99人妻碰碰碰久久久久视| 99热最新| 婷婷五月成人| 无码AV免费精品一区二区三区 | 亚洲激情淫网| 婷婷四月 成人 狠狠干| 99综合色色色| 色婷婷内射| 五月亭亭六月色| 色综合激情| 九九热99视频在线| 亚洲欧美婷婷五月色综合| 91AV婷婷| 人妻射精AV| 99色综合| oumeisesewang| 亚洲色色图片| 丁香六月婷月91婷月| 五月婷婷新网站| 99热大全在线观看| 亚洲99激情| 天天搽天天射| 西瓜美女a片| 大伊久久| 五月久久婷婷成人网| 丁香五月六月综合激情| 99热综合在线| 99久久9| 五月婷婷啪啪| 欧美色图片88| www.com色播五月天| 五月丁香花激情啪啪网| 久久五月婷综合网| 国产综合视频婷婷| 五月天丁香六月综合| 99热99网| 国产日日操夜夜操的肉棒视频| 色狠狠999综合| 色狠狠色综合久久久绯色AⅤ影视| 激情五月婷婷综合网| 91丨九色丨国产| 91综合视频在线| 9久9久| 色玖玖爱| 激情五月天在线观看色婷婷| 色综合日日| 五月天精品视频| www色综合| 久色大| 久久草大香蕉| 麻豆五月丁香婷婷| 五月婷婷色影院| 97干97色| 久久婷婷五月草视频| 伊人网色婷婷五月天| YJLZZJLZZ亚洲乱熟无码| 丁香婷婷色色| 99九九精品视频| 婷婷香蕉| av操一操| 26uuu国自产精品| www,奇米影视| 婷婷五月色色| 色999五月色| 激情五月最新网址| 婷婷射丁香| 婷婷激情五月天综合| 99视频| 久久综合五月| www.日日日.com| 国产精品 的国产| 日本三级日本三级99| 乱色色色| 丁香五月天在线观看视频| 97人碰人操| 九九热10| 99精品视频在线6| 免费V片在线| 99色在线视频| 狠狠草狠狠草| 亚洲天堂亚洲色色色| 伊人丁香五月婷婷潮吹| 狠狠草在线观看| 99久久精品网| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 午夜理论片最新午夜理论剧 | 91久操| 婷婷五月丁香青青草在线| www.99热在线观看| 色五月丁香五月天| 色久婷婷网| 六月丁香婷婷大香蕉| 99啪啪视频| 天天爱天天操| 6080av| 色五月天丁香婷婷| 最熟少妇乱码| 国产五月视频| 日本久久精品| 九九综合精品| 亚洲综合五月天| 丁香婷婷五色月| 99九色视频在线观看| 99综合入口| 99国产精品久久久久久久久久久| Www.激情| 欧美综合五月丁香五月天| 97人人超| 国产精品久久久爽爽爽麻豆色哟哟| www天天干| 九九热中文| 伊人久久丁香五月91| 五月激情综合网| 秋霞AV淫| 激情www| 五月丁香啪啪啪啪| 久久天堂网| 丁香婷婷老司机久操| 夜夜爽77777妓女免费下载| 99ri在线| 亚洲成人在线免费| 久久婷婷婷| 午夜五月天| 手机激情网| 在线视频色五月| 中文字幕在线免费| 粉嫩av蜜桃av蜜臀av| 久久狠婷婷| 丁香五月婷婷色综合| 国产成人99久久亚洲综合精品| 视色网在线播放| 另类激情五月天。| 色情综合网| AV在线免费播放| 久久精品天| 五月丁香激情综合网官网| 人与禽A片啪啪| 91婷婷| 日日爽日日| 激情综合网激情五月天| 91成人性爱视频| 天天艹夜夜爽| 婷婷五月色丁香在线看| 五月六月激情| 亚洲热热视频| 激情婷婷亚洲五月| www.久久99| 欧美久久婷婷| 五月丁香婷婷色色| 中文字幕在线不卡| 91男同| 91精品婷婷国产综合久久| aa久久| 丁香大香蕉| 99在线视频播放| 丁香五月六月综合激情| 大香线蕉伊人| 97色色-99久久| 极品色丁香| 五月情丁香色| 六月丁香综合网| 亚洲综合色丁香五月天| 婷婷六月五月天综合| 五月婷av| 日韩色五月| www.婷婷| 九九香蕉网| 伊人综合网站| 97超碰9久热婷婷热| 五月色丁香婷婷综合| 97精品综合久久内射| 久久9热| 99操视频| 激情综合网激情五月欧美| 伍月婷丁香花全集| 99热资源在线| 九九亚洲视频| 丁香五月 性爱| 五月天婷婷激情在线色图| 色色综合网。| 色伊人啪| 这里只有精品,日韩视频| 色色婷婷综合网| 亚洲天天| 91操熟女| 成人免费黄色短视频| 婷婷五月在线| 色婷婷成人| 婷婷五月天激情网址| 五月丁香婷婷人体| 9月色婷婷| 综合五月婷婷| 成人AV综合在线| 欧美久久婷婷| 成人性爱精品视频| 91男同| 99热一区| 色护士综合| 久超超碰| 丁香五月在线视频黑人| 九九AV在线| 538在线精品| 99日在线观看视频| 色婷丁香| 天天操狠狠操| 五月婷婷啪啪啪| 色青青视频| 79精品视频在线观看,| 99热精品观看| 久草丁香婷婷1024| 99人妻碰碰碰久久久久视| 欧美va精品va老师va| 久热A| 性一交一乱一交A片久久四色| 97人凄人人操人人爽| 免费看欧美成人A片无码| 五月婷视频在线观看| 91精品综合久久久久久五月丁香| 婷婷欧美激情综合| 狠狠操性爱av| 九九色热| www.五月婷婷.com| 99色一| 99色干| 九九99精品免费播放| www.五月天色色.com| 襙逼网| www婷婷| 久久日婷婷| 只有精品在线观看| 五月综合色| 国产av一区二区三区| 五月丁香六月婷婷啪啪| 成人开心五月天| 色播播婷婷| 日本不卡一区二区三区| 国产99久久久| 五月婷婷丁香| 97偷拍对白视频| 五月婷婷在线丁香| 丁香婷婷色九月| 超碰69天堂| 伍月婷婷免费视频| 人妻AV在线| 久久九九婷婷| 日日爽天天| 91九色精品熟女内射| 亚洲日韩一页精品发布| 好看的国产精品| 久久久久er热| 91男同视频| 香蕉婷婷| 色天堂A| 婷婷五月综合网激情| 高清无码一区二区三区四区| 91操人视频| 最新av在线观看| 99热手机在线精品| 牛牛澡牛牛爽| 五月激情婷婷六月丁香| 99久久婷婷| 91超级碰碰| 色五月婷婷91| 久9免费视频| 色五月激情五月天| 综合久久8| 五月婷婷视频ab| 国产亚洲精品久久久久久郑州| 人操人| 久久久久久五月天| 99@久久@99精品视频| 天天色伊人| 婷婷色五月激情| 久久精品小视频| 六月丁香停| 伊人综合网站| 久久怡红院| 婷婷丁香花五月天| 婷婷五月丁香六月综合网| 337p午夜影院| 在线观看av网站| 九九在线这里只有精品视频 | 久久香蕉福利| 色婷婷综合影院| 热九九九九| 色色射| 久久五月天丁香花| 欧美va在线观看| 综合五月丁香六月婷婷| 久久婷婷五月综合伊人| 九九香蕉网| 九九热在线99| 人妻丰满精品一区二区A片| 婷婷放心五日爱| 五月天堂色| 激情婷婷色色| 亚洲综合色婷婷| 综合激情五月丁香9999久久精| 超碰成人av| 91色噜噜狠狠狠狠色综合| 五月丁香婷婷综合视频| 久久这里只有精品视频26| 可以免费看av网站| 五月天婷基地| 婷丁五月| 丁香五月狠狠在线观看| www99精品| 一本婷婷丁香久久 | 丁香六月啪啪| 5月丁香综合网| 久久九网| 天天做天天爱天天要| 99热销国产这里有精品| 99在线免费视频| 激情综合5| 国产全是老熟女太爽了| 色99热| 超碰五月婷婷五月天| 美国十月色婷婷在线观看| www.久久久.com| 激情综合亚洲| 99re这里只有精品首页| av第一二区| 99日本黄站| 99热99色| 午夜伊人大香蕉| 夜夜操,天天撸| 97色永久免费视频| BBWCUCKOLD精品熟妇| 综合成人小说婷婷| 丁香六月激情国产| 激情綜合網址| 成片免费观看视频大全| 激情综合五月| 中字幕视频在线永久在线观看免费| 亚洲免费观看高清完整版AV线| 另类激情综合| 日本本土色网第一区| 99热在线播放| 激情丁香五月天图片| 丁香九九九九| 五月婷婷 激情按摩| 五月天婷婷基地| 99噜噜噜在线播放| 婷婷五月天丁香久久| 国产激情综合| 五月婷婷啪啪啪啪| 婷婷色网| 黄色毛片精品| 99亚洲精品| 亚州操人在线视频| 五月天婷综合网站| www.久久9| 欧美精品99久久久| 成人短视频在线免费观看| 五月丁香综合啪啪啪啪啪| 丁香五月 激情文学| 天天天天天日| 99re这里有精品手机在线| sS丁香五月婷婷| 日韩综合大黄| 伊人婷婷色| 色爱综合网| 五月天色综合| 91精品91久久久久77777| 五月天丁香花婷婷| 操碰99| 五月花丁香婷婷| 天天干,天天舔| 99热99思午夜精品| 欧美搡BBBBB摔BBBBB| www.狠狠| 99热这里只有精品最新地址获取| 青青999| 1024人妻| 综合激情五月天| 婷婷久久亚洲| 婷婷色色播五月天| 色婷婷五月天中文字幕| 91人碰| 丁香激情五月| 大香蕉伊人久久| 久久久婷丁香五月天激情综合| 久久久网站| 99视频在线观看网址| 激情五月深爱五月观看| 香蕉婷婷色五月| 91/九色黑人| 女人高潮内射99精品| 人人操91| 91久久久久久久久久久| .青娱乐天天操B| 淫视馆AV在线| 五月天激情美女久久| 99九九精品视频| 99国产精品久久久久久久久久久 | 怡红院精品视频久久久久久久久| 婷婷狠狠综合网入口| 91一起操| 九九色精品| 91成人看片| 丁香五月亚综合图片| 婷婷五月天熟妇| 国产色色网站网址| 青草网在线观看| www、丁香五月天| 五月伊人婷婷999| 97婷婷五月| 九九色婷| 91综合视频丁香| 亚洲精品无码一区二区| 亚洲免费看片| 五月婷婷综合激情| 中文激情网| 色色无码| 成人永久免费视频在线观看| 亚洲激情综合| 丁香在线视频| 欧美丁香五月| 久久99精品久久久久久三级| 在线天堂9| 婷婷丁香人妻天天爽| 色99视| 五月色 亚洲| 欧美乱码国产一级A片| 日本操B视频| VA色婷婷| 五月成人天| 五月婷亚洲精品| 99热99在线| 亚洲成人免费在线| 色五月天堂| 婷婷久久五月| 亚洲天堂热| 丁香激情网| 性爱网五月天| 888久久久| 色丁香五月婷婷综合久久| 五月丁香性爱| 丁香五月天堂网| 日本www免费九九| 色激情综合狠狠婷婷| www.婷婷五月天| 51XX嘿嘿午夜无码| 婷婷五月激情在线视频| 国产AV一区二区三区最新精品| 九九这里是免费的视频5| 99热这里只有精品16| 99热这里只有精品在线观看| 停婷丁五月在线| 日本系列_4页_777FP| 99思思| www.99视频| 亚洲成人影视在线| 久久大大香| www.99免费视频| 色色丁香婷婷综合| 激情五月第四色| 激情五月视频| 日韩一级网站| 激情综合一| 国产人妻人伦精品一区二区| 欧美五月婷婷综合| 99超级碰碰| 日韩综合天堂| 色五月天天| www.五月天激情| 开心五月综合激情网| 亚洲操操| 色色色天堂网| 综合97五月| 婷婷五月天论坛| 5月丁香婷婷激情网| 中文字幕成人| 婷婷五月丁香亚洲| 毛片新网地| 国产Va视频| 99视频热| 九九AV在线| 亚洲无AV在线中文字幕| 51XX嘿嘿午夜无码| 亚洲人妻AV| 狠狠色婷婷丁香五月| 九九色影院| 美妞av| 欧州色色| 看片视频在线免费日产在线看| 婷婷欧美综合| 大天天伊人| 亚洲激情综| 日韩日比视频| 五月丁香啪啪网| 五月丁香激情综合啪啪| 亚洲性爱电影| 激情AV| 天天干天天日天天操| 丁香六月婷婷综合激情欧美 | 色情久久久| 欧美精品在线观看| 六月丁香激情| 乱女乱妇熟女熟妇综合网站| 狠狠色噜噜狠狠狠888| 五月丁香久久| 丁香激情四射| 色综合综合网| 亚洲五月婷| www.com色播五月天| 五月天婷婷久色| 丁香五月在线观看| 色135综合网| 五月婷婷久久综合| 激情五月天婷婷丁香 | 99爱在线视频观看| 97色色色色色| 综合久久六月| 激情五月天网页| 超碰国产在线观看| 欧美搡BBBBB摔BBBBB| 丁香六月天婷婷色| 久久五月婷综合网| 五月天婷婷视频| 黄色99网| 日本三级片片| 久久婷婷热| 26uu| 中文字幕网站在线观看| 婷婷五月天激情电影小说| 天天综合网在线| 超碰在线免费9| 日本社区五月天激情| 日韩成人无码| 天天天天天天天干| 色五月激情综合| 美国天天操无码| 久久性都花花世界成人免费视频| 视频1区2区| 欧美成人精品一区二区 | 97人人操人人| 婷婷色偷拍| 五月草影视| 精品一二三区久久AAA片| 2015好吊操| 久久婷婷综合网| 老妇操B| 99久久激情视频| 99惹 精品在线| 婷婷五月天亚洲激情戏精品| 国产亚洲色婷婷久久99精品91| 999九九九久久久99HD| 久热这里只有精品66| 激情综合色| 色婷婷五月影视| 亚洲永久四色| 六月丁香大香蕉| 99爱在线精品视频免费观看| 国产在线黄色| 五月久久综合| 99久久网站| 精品皮股午夜AV| 九九久久五月天综合伊人| 亚洲五月六月婷婷| 亚州色婷婷| 五月激情五月婷婷五月天在线| 久久伦乱| 丁香五月色五月| 亚洲综合五月| 99热综合在线观看| 亚洲在线播放| 色欧洲| 99热这里只有精品在线观看| 欧美日韓成人亚洲精品另类| 丁香五月婷婷综合精品素人| 91操人| 狠狠色97| 99re思思热这里| 激情四射五月天| 五月婷久草| 香蕉AV777XXX色综合一区| 夜夜 操无码| 国产精品热搜丁香五月婷婷| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 婷婷五月在线观看| 激情综合网激情五月欧美| 9 1超碰九色| 91九色无码内射| 亚洲欧洲中文日韩久久AV乱码| 五月天婷婷丁香六月| 五月激情丁香六月狠狠干| 天堂综合久久| 久久精品99国产精品日本| www.91.com黄| 婷婷性色| 久热a| 丁香五月婷婷久久久| 香蕉久久六月| 97婷婷五月| 噼里啪啦在线观看免费完整版视频| 成年人看Va免费视频| 小视频在线亚洲| 色墦五月丁香| 日本操碰碰| 五月婷婷婷婷| 丁香五月激情性色郤| 丁香五月六月久久综合 | 99re资源在线视频导航| 亚洲成人在线播放| 婷婷综合网| 婷婷激情人妻| 超碰1999| 五月婷婷网站| www.日日夜夜| 99热精品网| 丁香五月亚洲AV| 99操视频| 天堂色婷婷| 久久久A级视频| 东北熟女高潮99综合99| 青吴乐视频| AⅤ网站在线看| 亚洲V国产V欧美V久久久久久| 丁香综合婷婷五月天| 色色色色色色色色色色色色色色,网站| 亚洲五月婷| 99超级碰碰| 婷婷久久影院| 婷婷精品综合| 亚洲AV无码一区二| 婷婷五月天性爱视频| 日本强伦片中文字幕免费看| 久久视频在线视频| 五月婷色| 日本色婷婷| 久青草影院| 看片视频在线免费日产在线看| 99精品大片| 色婷婷丁香五月综合| 五月丁香欧美| 婷婷五月天com| 婷婷成人五月天一区| 99色嘟嘟精品网站| 天天射影院| 久久精品国产色| 九九精品婷| 超碰在线国产| 色五月婷婷五月| 日韩草草草草草草草草草草草草| 久久人妻熟女一区二区| 丁香五月婷婷大香蕉| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 天天做天天爱天天做| 久9视频| 色九月欧美| 九九热在线视频,| 中文字幕成人| 五月花婷婷在线精品视频| 91九色在线| 五月婷婷av| 欧美日韩一区二区三区四区| 奇米影视在线视频| 久婷| 天天婷婷| 久久久久99精品成人片| 91操碰| 免费观看2018www黄色操逼网站| 色噜噜狠狠一区二区三区| 手机看片日日做夜夜| 国产免费AV在线| 1024在线观看免费视频| 五月天色图| 好吊操这里只有精品| 色婷另类| 婷婷五月丁香综合| 人人操av| 亚洲 无码 中文字幕 中出| Blackedraw视频一区二区| 久热这里只有精品在线观看 | 欧美性爱5月天天天看| 免费无码毛片一区二区A片| 五月婷六月丁| 亚洲情欲久久| 亚洲区1| 久99精品视频| 超碰久热| 婷婷六月丁香色| 激情网婷婷婷| 99九九热视频| 婷婷五月天福利| 4399无码视频| 黄色五月婷| 另类专区在线观看| 天天网站天天爽| 久久性爱网站| 五月丁香久久久久| 日本激情91| 人妻性爱av网站| 婷婷综合视频| 天天爽天天干天天| 亚洲精品色色| 亚洲中文乱字字幕线在永久| 亚洲成人中心| 人人操AV| 变天就操逼婷婷五月| 欧美婷婷丁香五月社区| 亚洲婷婷丁香五月天激情小说| 色热久资源| 丁香五月天BBw| 综合狠狠干| 午夜不卡久久精品无码免费 | 五月天丁香花婷婷| 人人操AV| 丁香婷婷五色月| 91se在线观看| 丁香六月婷婷| 青青草网武则天| 极品少妇XXXX精品少妇偷拍| www.97干视频| 色日本丁香婷婷| 久久99热这里只有精品| 五月天社区| 丁香社92视频| 怕怕視頻| 五月婷无码| 五月婷啪啪| 国产日产亚系列精品版优势| 五月婷婷综合影院| 亚州欧美国产久精国产99综合视频| 丁香五月婷婷成人综合| 99伊人婷婷在线| 夜夜骑夜夜撸| 五月天婷婷婷| 色五月xxx| 色婷婷第四色| 丁香五月婷婷六月| 激情校园 亚洲| 久久激情视频99| 五月色欧美| 97资源碰碰| 天天色2017| 人人操99| 婷婷五月花丁香| 亚洲免费看片| 天堂久久性| 亚洲AV无码久久精品色欲| 五月丁香激情综合啪啪| 精品人妻伦九区久久AAA片| 99热精品网| 成人小说 五月天 婷婷| 久久婷婷色综合| 九九草草逼| 狠狠色丁香五月婷巨| 午夜色丁香| 99爱在线视频| 香蕉久久六月| 五月天婷婷中文字幕在线播放| 婷婷久久五月丁香| 中文字幕综合色| 国产色色网址网站| 五月丁香欧美综合| 91/九色黑人| 五月婷婷综合激情| 久久久久9| 婷婷五月天丁香久久| 99综合婷婷五月| 丁香五月综合激情性爱| 欧美一级a| 丁香五月 综合| 婷婷综合五月天| 久久久潮喷-久久久九九-成人AV| 嫩模aV在线| 999热在线视频| 国外亚洲成AV人片在线观看| 婷婷五月天久久| 直接看的AV网站| 666555。COm毛片| 4399亚洲视频| 激情色色色| 伊人天堂婷婷| 伊人久久婷婷五月天激情四射| 久久婷婷视频| 亚洲V国产V欧美V久久久久久| 成人免费高清在线播放| 激情纯色婷婷五月天在线不卡视频| 五月综合激情综合久| 全高清无码视頻| 碰碰人人漕| 91男人资源站| 丁香五月玖玖| 嫩草AV久久伊人妇女超级A| 五月香婷婷| 天天插天天射| 九九在线精品| 五月花婷婷| A久久| 色色婷| 婷婷五月色| 久热这里只有| 超碰在线国产| 天天色天天日| 99热免费| 99无码视频| 天天天天干| 中字幕视频在线永久在线观看免费 | 五月丁香六月玩女人| 天天天操天天天日| 26uuu欧美激情另类| 激情小说 五月天| 婷婷五月天熟妇| www99精品日韩| 香蕉AV777XXX色综合一区| 亚洲V国产V欧美V久久久久久| 97色干| 色天堂在线| 中文字幕不卡+婷婷五月| 九九热只有精品| 夜夜操夜夜操| 色欲色香综合网| 在线理论片| 激情五月四色| 九九色院| 啊V视频在线观看| 2014天天爽| 五月天婷婷丁香视频| 99在这里有精品| 色色AV色色色东莞| 九九色色| 午夜丁香婷婷| 久久久久人妻网址| 最近中文字幕在线中文视频| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 成人无码髙潮喷水A片| 极品人妻VIDEOSSS人妻| 婷婷在线播放| 欧美黄色一级录像| 99啊精典免费视频| 五月婷婷色综图片| 亚洲成人AV在线观看| 五月花婷婷在线精品视频| 亭亭色天香| 99热精品在线观看| 精品人妻一区二区三区四区不卡在| www.99精品在线| 91色久| 婷婷亚洲在线| 久99久视频免费观看| 五月丁香综合网色欲| 性生活久久人妻| 五月婷婷,狠狠操| 久久久久久久久久8888| 亚洲精品无码A片一区二区| 伊人婷婷大香蕉| 久久久久久xxxxx| 国色天香伊人狠狠色| 五月丁香福利| 日本乱子人伦在线视频| 日韩情色在线观看| 色播五月婷婷综合| 激情五月,婷婷五月,丁香五月| 狠狠xx| 六月丁香五月天| 欧美午夜乱妇午夜福利| 超碰在线观看9| 色婷婷五月丁香在线观看| 深爱激清网| 色九月| 日韩五月婷婷| www久久99| 日逼免费视频| 51XX午夜影福利| 亚洲av综合在线| www激情| 99久久久| 精品一二三区久久AAA片| 人人综合91网| 激情综合网激情五月欧美| 五月开心色| 99九九精品| 色原狠狠综合| 久久作爱| 操逼棍操逼| www.色五月| 97日在线视频| 丁香五月精品| 久久婷婷色| 六月激情婷婷综合| 丁香婷婷六月在线资源观看| 超碰久热| 综合久久五月天| 婷婷五月色| 五月丁香久久呀| 日日操人人操| 99亚洲视频| 久久九九玖玖| 亚洲AV色婷婷人禽五月天| 国产偷人爽久久久久久老妇APP| 在线综合亚洲欧美65| 日韩九九视频| 日韩在线视频网站| 亚洲五月六月婷婷| 久久久久9| 无码色| A片天天| WWW、日本色丁香、co m| 婷婷91| 伊人丁香在线| 丁香婷婷六月激情| 狠狠操狠狠爱| 色爱99| 色婷婷五月天视频在线| 丁香花社区av| 欧美美女国产日韩一区二区久| 六月婷婷在线| 色婷婷播放| 婷婷一本和五月丁香| 91狠狠色丁香婷婷综合久久| 97色色色| 色色色com| 久久ri精品| 久久五月婷综合网| 成人丁香| 丁香五月婷婷啪啪啪| 97色天堂| 欧美亚洲成人在线| 热久久99热欧美国产亚洲| 国产黄色在线观看| 成人操呦av| 九九香蕉网| 亚洲激情亚洲激情| 超碰大香蕉网| 96精品久久久久久久久| 超碰免费大香蕉| 国产超碰人人| 51国精产品自偷自偷综合 | 日韩亚洲视频| 99爱这里只有精品免费视频| 色丁香五月| 99激情在线| 人妻精品一区二区三区| 婷婷激情在线| 人人视频人人干人人做| 免费观看全黄做爰的视频| 九九sese| 国产这里只有精品| 婷婷五月大| 亚洲婷婷免费| 五月丁色AV| 久久这里只有精品99| www.25五月婷婷| 1024人妻| 99久久黄色顶级视频| 五月丁香影院| 夜夜爽日日躁| 亚洲宗合激情| 天天干天天色天天干| 国产亚洲成人综合| 思思热精品在线观看| 丁香九月综合在线| 五月婷婷婷丁香播| 91色在线| 五月婷婷AV| 26uuu国自产精品| 福利视频在线播放| 久久只这里有精品| 日韩一级淫乱片一区二区三区| 五月丁香色色综合| 国产亚洲精品AAAAAAA片| 伊人五月天综合网| 亚洲第一综合| 精品综合久久久久久五月天| 射满了还射免费在线观看 -午夜版全集-新视觉影院 | 色五月成人婷婷| 六月婷婷中文字幕| 天天草婷婷五月| 91婷婷视频| 中文字幕成人影视| www.婷婷| 免费在线观看AV网站| 亚洲AV色婷婷人禽五月天| 成人五月天视频| 91pornav在线| 丁香五月先锋| 亚洲性天天| 天天日天天久久青青| 天天色天天日天天舔| www久久99| 五月丁香影视| 99在这里有精品| 超碰免费大香蕉| 99自拍视频在线观看| 66久久视频在线| 五月 婷 久| 91久久婷婷| 色999五月色| 99啪在线| 亚洲色五月婷婷| 久久久精品色色色| 婷久久| 婷色天堂| 97碰人人操| 六月欧美综合色情| 九九色情网五月天| 九九热视频在线观看|