欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

Python虛假新聞檢測(cè):BERT向量融合LightGBM與CatBoost的混合模型實(shí)戰(zhàn)

Python虛假新聞檢測(cè):BERT向量融合LightGBM與CatBoost的混合模型實(shí)戰(zhàn) 簡(jiǎn)介基于Python搭建的多模態(tài)虛假新聞檢測(cè)項(xiàng)目融合文本與圖像特征對(duì)新聞?wù)鎸?shí)性進(jìn)行自動(dòng)識(shí)別面向計(jì)算機(jī)、人工智能、通信工程、自動(dòng)化等專(zhuān)業(yè)的高校學(xué)生和開(kāi)發(fā)者。資源可在畢設(shè)答辯、課程設(shè)計(jì)、項(xiàng)目初期演示中直接使用也適合作為NLP與多模態(tài)學(xué)習(xí)的練習(xí)素材。壓縮包內(nèi)共39個(gè)文件包含16個(gè)Python源碼文件、4份Markdown說(shuō)明文檔、4個(gè)TXT文本文件、3個(gè)Shell腳本、3個(gè)TSV數(shù)據(jù)文件、2個(gè)JSON配置、2個(gè)tfevents訓(xùn)練日志、1個(gè)Jupyter Notebook、1個(gè)checkpoint模型檢查點(diǎn)及許可證文件整體約350KB目錄涵蓋模型、代碼、文檔等模塊便于按需查看。已有296人學(xué)習(xí)下載。源碼經(jīng)測(cè)試運(yùn)行成功包含基于BERT的多模態(tài)識(shí)別、LightGBM與CatBoost融合、預(yù)測(cè)腳本及環(huán)境依賴(lài)說(shuō)明下載后閱讀README可快速了解結(jié)構(gòu)并運(yùn)行適合在此基礎(chǔ)上擴(kuò)展新聞檢測(cè)功能。代碼結(jié)構(gòu)清晰關(guān)鍵步驟有注釋方便定位與修改。1. 用 Python 做虛假新聞多模態(tài)檢測(cè)BERT 向量 樹(shù)模型為什么比單模型更穩(wěn)用 Python 做虛假新聞檢測(cè)最容易翻車(chē)的地方其實(shí)不是模型選型而是把 BERT 當(dāng)成一個(gè)黑匣子數(shù)據(jù)丟進(jìn)去準(zhǔn)確率出不來(lái)也不知道該調(diào)哪。這個(gè)資源走的是「多模態(tài)識(shí)別」路線(xiàn)但這里的多模態(tài)不是圖文拼接而是把文本語(yǔ)義當(dāng)一個(gè)模態(tài)、把統(tǒng)計(jì)和元信息特征當(dāng)另一個(gè)模態(tài)最后用 BERT 向量 LightGBM/CatBoost 混合模型去融合判斷。工程里包含 bert-final.py、lgb_cat_blend_lb9546.py、predict_test.py 和一套 TensorFlow 格式的 BERT 預(yù)訓(xùn)練權(quán)重訓(xùn)練、推理、依賴(lài)安裝腳本都齊。適合計(jì)科、人工智能方向拿來(lái)做畢設(shè)或課程設(shè)計(jì)也適合想復(fù)現(xiàn)一整套文本檢測(cè)管線(xiàn)的入門(mén)者照著跑。2. 項(xiàng)目骨架與數(shù)據(jù)流把源碼包拆成配置、訓(xùn)練、推理三條線(xiàn)解壓 Multi-domain-fake-news-detection-master.zip 之后不要急著跑訓(xùn)練先花十分鐘把文件按職責(zé)分清楚。這個(gè)工程的調(diào)用關(guān)系其實(shí)很清晰先裝依賴(lài)再訓(xùn)練 BERT 抽取語(yǔ)義向量再訓(xùn)練樹(shù)模型做融合分類(lèi)最后用 predict_test.py 出結(jié)果。順序錯(cuò)了后面每一步都會(huì)報(bào)讓你摸不著頭腦的錯(cuò)。2.1 文件清單與職責(zé)劃分從 req.sh 到 predict_test.py每份文件的角色拿到源碼包后我習(xí)慣先列一遍文件把「配置類(lèi)、訓(xùn)練類(lèi)、推理類(lèi)」分到三條線(xiàn)上。下面這個(gè)表是我對(duì)照本項(xiàng)目目錄整理的角色劃分你解壓后可以對(duì)著勾一遍文件/目錄類(lèi)型在管線(xiàn)里的角色req.sh/packages.txt環(huán)境配置安裝 Python 依賴(lài)聲明了項(xiàng)目所需的包列表bert-final.py訓(xùn)練腳本BERT 微調(diào)主腳本負(fù)責(zé)加載預(yù)訓(xùn)練權(quán)重、微調(diào)并抽取語(yǔ)義向量lgb_cat_blend_lb9546.py訓(xùn)練腳本讀取 BERT 向量與統(tǒng)計(jì)特征訓(xùn)練 LightGBM 和 CatBoost 并混合predict_test.py推理腳本對(duì)測(cè)試集做預(yù)測(cè)輸出概率或類(lèi)別結(jié)果train.sh/test.sh一鍵腳本把訓(xùn)練和測(cè)試命令串起來(lái)按順序執(zhí)行model/tf_bert_model模型目錄放 TensorFlow 格式的 BERT 預(yù)訓(xùn)練權(quán)重code子模塊目錄一般放數(shù)據(jù)加載、特征構(gòu)造、工具函數(shù)等catboost_info運(yùn)行產(chǎn)物CatBoost 訓(xùn)練日志和臨時(shí)文件目錄README.md說(shuō)明文檔作者寫(xiě)的運(yùn)行說(shuō)明、環(huán)境要求和參數(shù)備注作者的 README 往往會(huì)把踩過(guò)的坑寫(xiě)在里面下載后先打開(kāi) README.md比在網(wǎng)上搜別人轉(zhuǎn)述的第二手經(jīng)驗(yàn)可靠得多。我習(xí)慣先看 req.sh 里鎖了哪些庫(kù)再去結(jié)合 README 確認(rèn) Python 版本因?yàn)?BERT 這類(lèi)老工程的網(wǎng)絡(luò)結(jié)構(gòu)改動(dòng)大依賴(lài)版本差一個(gè)小版本都可能起不來(lái)。接下來(lái)在項(xiàng)目根目錄執(zhí)行一次目錄確認(rèn)把路徑和環(huán)境看清楚cd Multi-domain-fake-news-detection-master tree -L 2 python --version這段命令的作用是確認(rèn)你當(dāng)前所在目錄就是項(xiàng)目根目錄同時(shí)看出一級(jí)目錄結(jié)構(gòu)是否完整。tree 不存在時(shí)可以用find . -maxdepth 2 -type d代替python --version用于確認(rèn)解釋器版本BERT 相關(guān)代碼用 Python 3.6 或 3.7 最常見(jiàn)如果你本機(jī)默認(rèn)是 3.11后面依賴(lài)安裝很容易出現(xiàn)不兼容。2.2 訓(xùn)練與推理的調(diào)用鏈train.sh 和 test.sh 到底誰(shuí)先執(zhí)行整個(gè)工程不是單文件孤軍奮戰(zhàn)主流程走的是「req.sh → bert-final.py → lgb_cat_blend_lb9546.py → predict_test.py」這條鏈。這里我按這類(lèi)項(xiàng)目最常見(jiàn)的腳本結(jié)構(gòu)還原一下 train.sh你解壓后看到的行數(shù)可能更多但主線(xiàn)就是這三步#!/bin/bash # 1. 先按 packages.txt 安裝依賴(lài) bash req.sh # 2. 用 BERT 微調(diào)文本編碼器并保存抽取好的向量文件 python bert-final.py \ --data_dir data/fake_news.csv \ --bert_dir model/tf_bert_model \ --max_seq_length 128 \ --batch_size 16 \ --num_epochs 3 \ --output_dir output/bert_ckpt # 3. 訓(xùn)練 LightGBM CatBoost 混合模型 python lgb_cat_blend_lb9546.py --mode train這里每一條命令都有明確目的第 1 條是裝依賴(lài)第 2 條做語(yǔ)義編碼第 3 條做分類(lèi)器融合。注意第 2 條的輸出目錄output/bert_ckpt它和第 3 條腳本讀取的特征向量目錄是同一處這個(gè)銜接關(guān)系斷掉混合模型就會(huì)拿到空文件或者直接報(bào)錯(cuò)。test.sh 相對(duì)簡(jiǎn)單一般就是把推理腳本指向測(cè)試集和模型產(chǎn)物#!/bin/bash python predict_test.py \ --test_file data/test.csv \ --model_dir output \ --output result.csv它的輸入有兩個(gè)關(guān)鍵來(lái)源--test_file指向待檢測(cè)的新聞數(shù)據(jù)--model_dir指向第 2 步保存的 BERT 和第 3 步保存的樹(shù)模型。推理腳本會(huì)按特征列名對(duì)齊數(shù)據(jù)列名順序錯(cuò)一位lightgbm 就直接拋特征數(shù)不匹配。2.3 model/tf_bert_model 目錄TensorFlow 預(yù)訓(xùn)練權(quán)重的組織方式這個(gè)項(xiàng)目用的是 TensorFlow 格式的 BERT不是 PyTorch 的 bin 文件。目錄里通常包含三類(lèi)文件bert_config.json定義模型結(jié)構(gòu)vocab.txt是詞表bert_model.ckpt.data-*、bert_model.ckpt.index、bert_model.ckpt.meta是預(yù)訓(xùn)練權(quán)重。拿到權(quán)重后先確認(rèn)文件完整性ls -lh model/tf_bert_model正常情況下列表里能同時(shí)看到bert_config.json、vocab.txt、bert_model.ckpt.index和bert_model.ckpt.data-00000-of-00001。如果只有配置文件沒(méi)有權(quán)重文件說(shuō)明權(quán)重下載不完整加載時(shí)會(huì)在 restore 階段報(bào) checkpoint 找不到。這套權(quán)重在模型加載階段的作用是提供初始參數(shù)微調(diào)之后覆蓋的只是分類(lèi)層和高層語(yǔ)義底層的通用語(yǔ)言知識(shí)是從這份權(quán)重繼承來(lái)的。文件名里的tf_bert_model直接說(shuō)明了它是 TensorFlow 1.x checkpoint 格式這決定了項(xiàng)目里bert-final.py的加載方式用的是tf.train.Checkpoint或tf.train.Saver那一套。后面復(fù)現(xiàn)時(shí)選擇虛擬環(huán)境版本也要跟著這個(gè)格式走。3. 微調(diào) BERT 文本語(yǔ)義編碼器bert-final.py 的加載、訓(xùn)練與特征抽取BERT 在這個(gè)工程里的角色不是最終分類(lèi)器而是把文本變成 768 維語(yǔ)義向量的編碼器。所以我拿到 bert-final.py 后最關(guān)心三件事預(yù)訓(xùn)練權(quán)重怎么加載、微調(diào)參數(shù)怎么設(shè)置、向量怎么抽取和保存。這三件事做完后面的樹(shù)模型才有像樣的輸入。3.1 加載預(yù)訓(xùn)練權(quán)重BertConfig、vocab.txt 和 ckpt 的配合方式加載 TF 版 BERT 的標(biāo)配步驟是用BertConfig.from_json_file讀結(jié)構(gòu)配置用FullTokenizer讀詞表做分詞再用 checkpoint 恢復(fù)權(quán)重。按項(xiàng)目的目錄結(jié)構(gòu)加載部分的核心邏輯可以整理成下面這樣跑之前對(duì)照一下bert-final.py里的函數(shù)名避免接口版本不一致# load_bert_encoder.py import tensorflow as tf from bert.tokenization import FullTokenizer from bert.modeling import BertConfig, BertModel BERT_DIR model/tf_bert_model bert_config BertConfig.from_json_file(BERT_DIR /bert_config.json) tokenizer FullTokenizer(vocab_fileBERT_DIR /vocab.txt) init_checkpoint BERT_DIR /bert_model.ckpt這里三個(gè)輸入的職責(zé)不同bert_config.json告訴模型有多少層、多少頭、隱層維度是多少vocab.txt是分詞用的詞表中英文混合文本的 tokenizer 全靠它切出詞片bert_model.ckpt是初始權(quán)重微調(diào)時(shí)tf.train.Checkpoint.restore會(huì)把預(yù)訓(xùn)練參數(shù)恢復(fù)進(jìn)來(lái)。三者缺任何一個(gè)模型都起不來(lái)。3.2 訓(xùn)練參數(shù)實(shí)測(cè)max_seq_length、batch_size、learning_rate 的推薦配置BERT 微調(diào)沒(méi)有太多玄學(xué)參數(shù)組合基本固定但每個(gè)參數(shù)改錯(cuò)方向損失值都會(huì)給你顏色看。這個(gè)項(xiàng)目在本地復(fù)現(xiàn)時(shí)我建議先按下面這組參數(shù)起步參數(shù)推薦值說(shuō)明max_seq_length128新聞標(biāo)題和短文本 128 足夠長(zhǎng)正文案例可以上調(diào)到 256batch_size16顯存 6G 以下降到 8 或 4learning_rate2e-5BERT 微調(diào)標(biāo)準(zhǔn)量級(jí)1e-5 到 5e-5 之間調(diào)num_epochs3數(shù)據(jù)集小的情況下 2 ~ 4 輪收斂warmup_proportion0.1前 10% 步數(shù)線(xiàn)性預(yù)熱防止前期震蕩這些參數(shù)為什么這樣配BERT 微調(diào)時(shí)學(xué)習(xí)率如果給到普通網(wǎng)絡(luò)的 1e-3第一輪就會(huì) loss 爆炸max_seq_length也不是越大越好所有 token 一次性進(jìn)顯存長(zhǎng)度翻倍顯存占用接近翻倍文本本身只有幾十個(gè)字時(shí)設(shè) 512 純屬浪費(fèi)。首次復(fù)現(xiàn)先用小參數(shù)把流程跑通再改大值提精度這是正確的調(diào)參順序。3.3 把 BERT 輸出轉(zhuǎn)成向量CLS 池化與文本向量化函數(shù)BERT 的骨干網(wǎng)絡(luò)跑完每個(gè) token 位置都有一組隱層向量但樹(shù)模型需要的是一條文本一個(gè)向量而不是二維矩陣。常見(jiàn)做法有兩種取[CLS]位的輸出或者對(duì)所有 token 向量做平均池化。工程里普遍用 CLS 池化處理起來(lái)更直接# text_to_vec.py def bert_encode_and_pool(model, tokenizer, texts, max_seq_length128): input_ids_all, mask_all, segment_ids_all [], [], [] for text in texts: tokens tokenizer.tokenize(text)[: max_seq_length - 2] tokens [[CLS]] tokens [[SEP]] input_ids tokenizer.convert_tokens_to_ids(tokens) padding_len max_seq_length - len(input_ids) input_ids [0] * padding_len mask [1] * len(tokens) [0] * padding_len segment_ids [0] * max_seq_length input_ids_all.append(input_ids) mask_all.append(mask) segment_ids_all.append(segment_ids) input_ids_t tf.constant(input_ids_all, dtypetf.int32) mask_t tf.constant(mask_all, dtypetf.int32) segment_t tf.constant(segment_ids_all, dtypetf.int32) pooled model.get_pooled_output() with tf.Session() as sess: sess.run(tf.global_variables_initializer()) return sess.run(pooled, feed_dict{ input_ids:0: input_ids_t, input_mask:0: mask_t, token_type_ids:0: segment_t, })這段代碼的關(guān)鍵點(diǎn)有三個(gè)一是[CLS]和[SEP]占掉兩個(gè)位置所以原始 token 截?cái)嚅L(zhǎng)度是max_seq_length - 2二是mask里真實(shí) token 記 1、padding 記 0讓模型忽略補(bǔ)零位三是get_pooled_output()拿到的就是 CLS 位的池化向量形狀是(batch_size, 768)。如果發(fā)現(xiàn)向量維度不是 768先檢查bert_config.json里的hidden_size。3.4 訓(xùn)練日志與中斷恢復(fù)看什么指標(biāo)、存哪些 checkpoint訓(xùn)練時(shí)損失值只是參考更重要的是確認(rèn) loss 在 epoch 交界處有沒(méi)有下降趨勢(shì)。BERT 微調(diào)數(shù)據(jù)集往往只有幾萬(wàn)條三個(gè) epoch 的損失曲線(xiàn)如果從一開(kāi)始就亂跳優(yōu)先懷疑學(xué)習(xí)率過(guò)大或數(shù)據(jù)沒(méi)隨機(jī)洗牌。啟動(dòng)訓(xùn)練時(shí)直接用命令行參數(shù)跑python bert-final.py \ --data_dir data/fake_news.csv \ --bert_dir model/tf_bert_model \ --max_seq_length 128 \ --batch_size 16 \ --learning_rate 2e-5 \ --num_epochs 3 \ --output_dir output/bert_ckpt訓(xùn)練中斷很常見(jiàn)顯存不夠、斷電、手動(dòng) CtrlC 都可能讓過(guò)程停在中間。所以跑之前確保output/bert_ckpt目錄是新建的里面不要?dú)埩羯弦淮蔚呐f checkpoint否則恢復(fù)訓(xùn)練時(shí)會(huì)把舊權(quán)重當(dāng)成初始化權(quán)重白跑一輪。我的習(xí)慣是每 500 步打印一次 loss同時(shí)把模型按 step 號(hào)存成ckpt-500、ckpt-1000這種命名斷點(diǎn)續(xù)跑時(shí)用--init_checkpoint指到最近一個(gè) checkpoint。4. 特征融合與 LGB CatBoost 混合lgb_cat_blend_lb9546.py 的集成細(xì)節(jié)模型名lgb_cat_blend_lb9546.py里的 lb 我理解是 leaderboard 的縮寫(xiě)blend 表示混合這種命名在有競(jìng)賽經(jīng)驗(yàn)的工程里很常見(jiàn)。它要解決的問(wèn)題是BERT 向量擅長(zhǎng)語(yǔ)義但虛假新聞里大量線(xiàn)索藏在標(biāo)題長(zhǎng)度、感嘆號(hào)數(shù)量、URL 出現(xiàn)與否這些統(tǒng)計(jì)特征里樹(shù)模型恰好擅長(zhǎng)這些。兩者融合準(zhǔn)確率通常比單一 BERT 微調(diào)分類(lèi)高出兩個(gè)點(diǎn)以上。4.1 為什么混合樹(shù)模型BERT 向量自帶語(yǔ)義但弱在統(tǒng)計(jì)特征單純用 BERT 最后一層向量接 softmax 做二分類(lèi)能抓住「這段話(huà)像不像謠言」但抓不住「標(biāo)題全是感嘆號(hào)」這種強(qiáng)信號(hào)。虛假新聞數(shù)據(jù)集里標(biāo)題帶多個(gè)感嘆號(hào)、正文帶陌生 URL、全是數(shù)字百分比這些特征在統(tǒng)計(jì)層面有區(qū)分度BERT 卻把它們稀釋在語(yǔ)義編碼里了。樹(shù)模型對(duì)小數(shù)據(jù)集和稀疏特征非常友好而且 LGB 和 CatBoost 兩個(gè)模型雖然都是梯度提升樹(shù)內(nèi)部處理類(lèi)別特征和缺失值的方式不同預(yù)測(cè)偏差也不一樣。把它們對(duì)同一批樣本的輸出做加權(quán)平均能抵消一部分各自的過(guò)擬合。這也是這個(gè)工程把 BERT 語(yǔ)義向量維度降到 768 之后還要拼接統(tǒng)計(jì)特征再進(jìn)樹(shù)模型的原因。4.2 特征工程768 維 BERT 向量之外還能拼哪些手寫(xiě)特征特征構(gòu)造是這套多模態(tài)方案里投入產(chǎn)出比最高的一步。我按典型虛假新聞樣本的特性整理了幾個(gè)百搭的統(tǒng)計(jì)特征# features.py import re def build_stat_features(title: str) - dict: if not isinstance(title, str): title features {} features[title_len] len(title) features[num_exclamation] title.count(!) features[num_question] title.count(?) features[has_url] 1 if re.search(rhttps?://, title) else 0 features[digit_ratio] sum(c.isdigit() for c in title) / (len(title) 1) features[word_count] len(title.split()) return features每個(gè)特征的設(shè)計(jì)理由都對(duì)應(yīng)一類(lèi)假新聞套路num_exclamation抓標(biāo)題黨情緒化的感嘆號(hào)轟炸has_url抓誘導(dǎo)跳轉(zhuǎn)鏈接digit_ratio抓那種「99% 的人不知道」的偽科學(xué)數(shù)字化表達(dá)title_len是對(duì)過(guò)短標(biāo)題和超長(zhǎng)標(biāo)題做區(qū)分。這些特征拼接到 BERT 向量的尾部組成最終輸入維度從 768 變成768 len(stat_features)。4.3 五折交叉驗(yàn)證與早停blend 邏輯與權(quán)重選擇混合模型的重點(diǎn)不是分別訓(xùn)練兩個(gè)模型而是讓兩個(gè)模型在同一個(gè)驗(yàn)證集上打分再按權(quán)重融合。標(biāo)準(zhǔn)做法是五折交叉驗(yàn)證每一折分別訓(xùn)兩個(gè)模型各自對(duì)驗(yàn)證折出概率。核心邏輯整理如下# blend_core.py import numpy as np from sklearn.model_selection import StratifiedKFold import lightgbm as lgb from catboost import CatBoostClassifier def oof_blend(X, y, lgb_weight0.6, seed42): skf StratifiedKFold(n_splits5, shuffleTrue, random_stateseed) oof_lgb np.zeros(len(y)) oof_cat np.zeros(len(y)) for train_idx, valid_idx in skf.split(X, y): X_tr, X_va X.iloc[train_idx], X.iloc[valid_idx] y_tr, y_va y.iloc[train_idx], y.iloc[valid_idx] lgb_model lgb.LGBMClassifier( n_estimators800, learning_rate0.05, num_leaves31 ) lgb_model.fit( X_tr, y_tr, eval_set(X_va, y_va), early_stopping_rounds50, verbose0 ) cat_model CatBoostClassifier( iterations800, learning_rate0.05, depth7, eval_metricAUC, verbose0 ) cat_model.fit( X_tr, y_tr, eval_set(X_va, y_va), early_stopping_rounds50 ) oof_lgb[valid_idx] lgb_model.predict_proba(X_va)[:, 1] oof_cat[valid_idx] cat_model.predict_proba(X_va)[:, 1] blend lgb_weight * oof_lgb (1 - lgb_weight) * oof_cat return blend, oof_lgb, oof_cat這段代碼里有三個(gè)參數(shù)值得單獨(dú)說(shuō)。lgb_weight0.6表示 LGB 結(jié)果占 60%、CatBoost 占 40%這個(gè)比例不是拍腦袋定的而是看兩者在驗(yàn)證集上的 AUC 誰(shuí)高誰(shuí)低高的那個(gè)給更高權(quán)重。early_stopping_rounds50的作用是驗(yàn)證集指標(biāo)連續(xù) 50 輪不提升就停止迭代防止訓(xùn)練到后期過(guò)擬合。StratifiedKFold保證每折訓(xùn)練集和驗(yàn)證集里真實(shí)新聞、虛假新聞比例跟全量數(shù)據(jù)一致類(lèi)別不平衡時(shí)這個(gè)分層極其重要。4.4 模型產(chǎn)物與推理輸入把 lgb 和 catboost 模型 save_model 出來(lái)兩個(gè)模型訓(xùn)練完成后需要把模型權(quán)重和特征列名都存到磁盤(pán)供 predict_test.py 加載。只存模型不存特征列順序是后面最容易翻車(chē)的地方# save_models.py import lightgbm as lgb # lgb_model 是上面訓(xùn)練好的 LGBMClassifier lgb_model.booster_.save_model(output/lgb_model.txt) # cat_model 是 CatBoostClassifier cat_model.save_model(output/cat_model.bin) # 把特征列名的順序固定下來(lái)推理時(shí)按這個(gè)順序拼數(shù)據(jù) with open(output/feature_cols.txt, w, encodingutf-8) as f: f.write(\n.join(X.columns))feature_cols.txt是推理階段的對(duì)賬工具。訓(xùn)練時(shí) X 的列順序是 「768 維 BERT 向量 統(tǒng)計(jì)特征」推理時(shí)必須用完全一樣的順序重新拼接。單獨(dú)把列名存成文件就是為了避免每次靠記憶排序一記錯(cuò)推理階段就會(huì)報(bào)特征數(shù)不匹配。以后每訓(xùn)練一版模型這三個(gè)文件要同時(shí)更新只更新其中一個(gè)線(xiàn)上推理用的還是舊特征順序預(yù)測(cè)結(jié)果會(huì)失真。5. 復(fù)現(xiàn)避坑版本、路徑、顯存與 catboost_info 的五個(gè)翻車(chē)現(xiàn)場(chǎng)這套工程整體不復(fù)雜但復(fù)現(xiàn)時(shí)最容易出問(wèn)題的往往不是算法而是環(huán)境。下面的問(wèn)題我基本都親手踩過(guò)一遍每條按「現(xiàn)象 → 原因 → 解決」寫(xiě)清楚你可以直接對(duì)照排查。5.1 TensorFlow 版本過(guò)高AttributeError 和 contrib 找不到現(xiàn)象運(yùn)行bert-final.py還沒(méi)開(kāi)始訓(xùn)練直接報(bào)AttributeError: module tensorflow has no attribute gfile或者M(jìn)oduleNotFoundError: No module named tensorflow.contrib。原因源碼基于 TensorFlow 1.x 編寫(xiě)調(diào)用的是tf.gfile.GFile、tf.contrib這些 1.x 舊接口。TensorFlow 2.x 把tf.contrib整體移除tf.gfile挪到了tf.io.gfile老代碼自然起不來(lái)。解決按照req.sh或packages.txt里的說(shuō)明安裝 TF 1.15 系列優(yōu)先考慮 GPU 版pip install tensorflow-gpu1.15.0如果本機(jī)沒(méi)有 GPU就裝 CPU 版tensorflow1.15.0BERT 微調(diào)慢一些但流程能走通。我建議建獨(dú)立虛擬環(huán)境再裝不要?jiǎng)酉到y(tǒng)里的 Python否則影響其他項(xiàng)目。5.2 項(xiàng)目放在中文路徑vocab.txt 加載失敗與亂碼現(xiàn)象訓(xùn)練腳本能啟動(dòng)但加載vocab.txt時(shí)報(bào)NotFoundError路徑打印出來(lái)是一串看不懂的轉(zhuǎn)義字符。原因tf.gfile在 Windows 下對(duì)中文路徑和特殊字符支持不穩(wěn)定路徑里的中文被錯(cuò)誤編碼文件定位失敗。解決把整個(gè)項(xiàng)目目錄復(fù)制到純英文路徑下比如C:\projects\fake_news_detection確保從根目錄到項(xiàng)目目錄中間沒(méi)有中文和空格。用 PyCharm 的話(huà)右鍵項(xiàng)目根目錄執(zhí)行 Mark Directory as Sources Root讓相對(duì)路徑model/tf_bert_model能穩(wěn)定解析。5.3 顯存溢出CUDA_OUT_OF_MEMORY 不一定只能換顯卡現(xiàn)象訓(xùn)練跑到幾百步報(bào)ResourceExhaustedError: OOM when allocating tensor程序直接中斷。原因BERT 是顯存大戶(hù)max_seq_length設(shè)為 256、batch_size設(shè)為 32 時(shí)一張 6G 顯存的卡根本扛不住。12 層 Transformer 同時(shí)駐留顯存前向傳播和反向傳播都要保存中間激活值。解決優(yōu)先降batch_size到 8 或 4配合把max_seq_length降到 128。每條新聞標(biāo)題通常不超過(guò)幾十個(gè)字128 的長(zhǎng)度限制足夠。顯存還是不夠時(shí)再限制當(dāng)前進(jìn)程只看見(jiàn)一張卡CUDA_VISIBLE_DEVICES0 python bert-final.py \ --max_seq_length 128 --batch_size 4CUDA_VISIBLE_DEVICES0的作用是讓程序只使用索引為 0 的顯卡避免 TensorFlow 把顯存均勻吃滿(mǎn)所有卡造成其他顯存被白白占用。5.4 catboost_info 目錄寫(xiě)不進(jìn)訓(xùn)練中斷在第 0 步現(xiàn)象跑lgb_cat_blend_lb9546.pyCatBoost 剛開(kāi)始訓(xùn)練就退出報(bào)無(wú)法寫(xiě)入catboost_info或learn目錄相關(guān)錯(cuò)誤。原因項(xiàng)目壓縮包里自帶了一個(gè)catboost_info目錄解壓后如果被設(shè)成只讀或者當(dāng)前工作目錄權(quán)限受限CatBoost 默認(rèn)的日志目錄寫(xiě)不進(jìn)去模型直接拒絕訓(xùn)練。解決在腳本開(kāi)頭顯式創(chuàng)建目錄或者指定一個(gè)可寫(xiě)目錄。常見(jiàn)做法是在訓(xùn)練前加上import os os.makedirs(catboost_info, exist_okTrue)exist_okTrue表示目錄已存在時(shí)不報(bào)錯(cuò)不存在時(shí)自動(dòng)創(chuàng)建。這樣就把目錄寫(xiě)權(quán)限問(wèn)題擋在訓(xùn)練啟動(dòng)之前后面 CatBoost 才能正常輸出日志和中間模型。5.5 特征維度對(duì)不上lightgbm 報(bào) feature mismatch現(xiàn)象predict_test.py推理時(shí)lightgbm 報(bào)錯(cuò)提示數(shù)據(jù)特征數(shù)是 812但模型期望 813 個(gè)特征。原因訓(xùn)練階段特征列是「768 維 BERT 向量 統(tǒng)計(jì)特征」共 813 列推理時(shí) BERT 向量正常但統(tǒng)計(jì)特征少拼了一列。最常見(jiàn)的是某條測(cè)試數(shù)據(jù)標(biāo)題為空特征構(gòu)造函數(shù)返回的字典缺了title_len或word_count導(dǎo)致拼接后矩陣少一列。解決推理前用訓(xùn)練階段保存的feature_cols.txt強(qiáng)制對(duì)齊列順序和列數(shù)量import pandas as pd feature_cols open(output/feature_cols.txt, encodingutf-8).read().splitlines() X_test X_test.reindex(columnsfeature_cols, fill_value0)reindex會(huì)把缺失的列補(bǔ) 0多出來(lái)的列自動(dòng)丟棄保證進(jìn)入樹(shù)模型的特征數(shù)量永遠(yuǎn)和訓(xùn)練時(shí)一致。我的習(xí)慣是把這行代碼貼在推理腳本的數(shù)據(jù)準(zhǔn)備部分每次訓(xùn)練完模型先跑一遍 test.sh 驗(yàn)證維度再交付到線(xiàn)上。6. 把 predict_test.py 改造成單個(gè)新聞標(biāo)題的實(shí)時(shí)檢測(cè)入口predict_test.py 默認(rèn)是批處理模式讀一個(gè) CSV 輸出一個(gè) CSV。但實(shí)際使用時(shí)更多場(chǎng)景是拿到一條新聞標(biāo)題馬上判斷真假。把它改造成單條文本的檢測(cè)函數(shù)是最實(shí)用的二次開(kāi)發(fā)。6.1 predict_test.py 原本的輸入輸出格式原腳本做的事是讀取測(cè)試集 → 拼接 BERT 向量和統(tǒng)計(jì)特征 → 加載output目錄里的樹(shù)模型 → 輸出預(yù)測(cè)概率 CSV。改造方向是把「讀整個(gè)測(cè)試集」換成「接收一條字符串」內(nèi)部流程保持不變。6.2 封裝 detect() 函數(shù)從文本清洗到概率輸出改造后的入口函數(shù)可以這樣組織# detect_news.py import pandas as pd import lightgbm as lgb from load_bert_encoder import load_bert_encoder, text_to_vec from features import build_stat_features bert_encoder load_bert_encoder(model/tf_bert_model) lgb_model lgb.Booster(model_fileoutput/lgb_model.txt) feature_cols open(output/feature_cols.txt, encodingutf-8).read().splitlines() def detect(news_text: str): clean_text news_text.strip().replace(\n, ) bert_vec_df text_to_vec([clean_text], bert_encoder, max_seq_length128) stat_feats pd.DataFrame([build_stat_features(clean_text)]) X pd.concat([bert_vec_df, stat_feats], axis1)[feature_cols] prob lgb_model.predict(X)[0] return (虛假新聞 if prob 0.5 else 真實(shí)新聞), float(prob)這個(gè)函數(shù)里去掉了 CSV 讀取把手工特征構(gòu)造和 BERT 向量化封裝成兩個(gè)可復(fù)用函數(shù)輸出是(類(lèi)別, 概率)元組。改造完畢后再包裝成 FastAPI 或 Flask 接口就能對(duì)外服務(wù)。Booster直接加載output/lgb_model.txt比重新訓(xùn)練快得多適合部署時(shí)用。6.3 部署前的檢查清單上線(xiàn)前至少驗(yàn)證三件事拿一條真實(shí)新聞和一條典型假新聞各跑一次確認(rèn)輸出類(lèi)別符合直覺(jué)檢查概率值是否落在 0 到 1 之間超出就說(shuō)明模型輸出沒(méi)做 sigmoid再確認(rèn)feature_cols.txt是最新一版不要和舊模型交叉使用。我自己就吃過(guò)這個(gè)虧訓(xùn)練完新模型忘記同步特征列文件線(xiàn)上推理用舊列順序拼數(shù)據(jù)靜默地出了好幾天錯(cuò)結(jié)果才被發(fā)現(xiàn)。從那以后我每次訓(xùn)練完都強(qiáng)制走一遍「保存模型 → 保存特征列 → 跑單條檢測(cè)函數(shù) → 核對(duì)輸出」再交付給別人用。希望這條流程能幫到你也祝你復(fù)現(xiàn)順利。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色婷婷精品视频在线播放| 99精品偷自拍| www.五月婷婷| 99热视精品| 黄色激情五月天| 五月丁香六月激情| 碰超亚洲| 日本人人xxx| 五月丁香亚州综合网| 五月丁香色婷婷综合| 成人龟情网丁香五月| 青青草护士中出内射-欧美电影在线天堂新版| 亚洲九区| 天天天日天天天干| 視频福利乱色| 中文字幕永久在线| 丁香涩涩五月天| 久久久91精品| av在线激情| 曰曰久久| 超碰亚洲欧美| 色天五月天在线观看视频| a色婷婷| 天天噜| 原琪琪色影院| 亚洲国产精品VA在线看黑人| 五月天综合激情网| 五月天无码| 大香蕉手机视频| 五月天激情网页| 丁香婷婷久| 亚洲成人人人操| 精品爆操| 国产毛片欧美毛片久久久| 婷婷丁香激情五月天色色| 色婷婷91激情小说| 天天干狠狠| 蜜乳.comcom| 热久久99热欧美国产亚洲| 丁香五月天婷婷91| 天天插天天爽| 开心深爱激情网| 亚洲美女高潮久久久久久69| 成人国产欧美大片一区| 婷婷月综合| 激情五月,色五月| 日产精品一线二线三线芒果| 婷婷无码视频| 天天干,噜噜色,狠狠色| 亚洲人成网站999久久久综合| 26uuu另类亚洲欧美日本一| 99热只有精品在线| 精品无码久久久久久久久| WWW,婷婷,COM| 夜夜操夜夜爽| 99啪啪网| 天天色中文字幕女优AV| 开心五月深爱五月| 五月亭亭开心网| 欧美又粗又大一区二区在线观看| 亚洲另类毛片| 五月丁香六月片| 99视频只有精品| 婷婷亚洲日本| 丁香婷婷色情| 综合另类激情| 思思热在线观看| 婷婷激情视频欧美视频自拍视频欧美剧 | 99热在线爱| 俺来也狠狠| 婷婷综合色| 开心激情站婷婷五月天| 欧洲亚洲精品| 丁香五月欧美午夜视频| 思思热久久爱| 激情五月综合免费| 他改变了拜占庭| 五月丁香综合网| 丁香五月婷婷网| 五月婷视屏在线观看| 黄网在线播放| 日韩肏屄网| 国产人妻777人伦精品HD| 五月丁香六月激情在线| 丁香六月天之亚州热女| 狠狠狠激情网| 99,色| 五月深情久久| 婷婷丁香五月天激情四射| 中文AV在线播放| 天天综合社区| 丁香五月婷婷综合网| 狠狠色婷婷777| 久热精品免费视频4| 丁香六月婷婷| 玖玖爱资源站| 内射综合网| 亚洲精品激情| 激情www| 乱抡小BB| 天干夜夜操| 激情小说色五月| 97在线精品| 天天爽天天日| 狠狠干婷婷| 日韩精品色| 五月天婷婷丁香成人网| 色婷婷综合久久久久| 久久九九色| 九热免费视频| 婷婷五月天综合AV| 天天综合五月天| 日日夜夜狠狠干| 九九爱看亚洲| 五月婷婷色吧!| 79精品在线视频| 99热老网站| 欧美日韩精品一区二区三区钱| 国产精品18久久久| 天天日天天操心| www.婷婷| 热久精品| 激情色色色| 久久九精品| 久久久久久人妻| 五月天伊人日日噜影片AV| 九九综合精品| 丁香婷婷五月激情综合| 国产Va视频| 成人va在线观看视频| 久久五月婷| 五月天婷婷av| 丁香五月综合激情久久潮喷| 狠狠色狠狠干| 99re26视频| 2025天天爽天天摸| 99热成人在线| 婷婷丁香五月激情| 五月综合色| 丁香婷婷色五月激情综合| 五月激情六月宗合| 欧美99视频| 婷婷激情五月天激情| 九色色| 欧美性爱5月天天天看| 五月综合777| 天天色伊人| 色高清无码视频| 五月丁香亚洲综合网| 色婷五月| 激情综合网激情五月天| 大香蕉久久| 国产免费一区二区在线A片视频| 热99在线精品| 夜夜干 夜夜操| 9999三级片| 六月丁香久久| 三年高清大片免费观看国语| 日本三级日本黄色| 五月丁香色综合| 九九自拍网| 综合久久五月天| 五月丁香亭亭操逼| www.99热视频在线观看| 婷婷五月天大香蕉在线视频观看| www久久99| 久久这里只有欧美| 色色丁香| 怡红院成人AV| 五月丁香色婷婷基地| jiZZdr| 天搞天天天天天| 激情五月丁香亭亭| 色综合色综合网| 噼里啪啦完整版中文在线观看| 亚洲色情网站| 99在线热| 九九99精品| 丁香五月天社区婷婷| 在线不卡视频| 激情五月婷婷丁香| 色一情一乱一乱一区91| 婷色综合| 99爱视频精品| 婷婷五月天成人小说| 国产97色在线| 色吧网91| WWW色综合| 婷婷五月天狠狠搞干| 99精品亚洲| 亚洲精品亚洲人成人网| 99九九热播在线免费视频| 任你日视频| 久久视频这里都是精品| 99操免费视频| 婷婷无五月无码视频| 操婷婷基地| 色五月综合网| 五月天 无码| 99精品久久久久久久婷婷| 五月丁香| 超碰电影在线播放| 亚洲色vA| 99热| WWW,五月| 99视频网| 人妻久久久| 性爱七区| 91久久婷婷人人澡草 | 成人在线日韩| 婷婷色播婷婷| 99超级碰碰| 婷婷丁香红五月91C| 色五月综合激情| 人人摸人人干人人做| 99视频精品在线| 丁香六月青青草| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 色丁香五月| 精品少妇蜜臀91| 大香网伊人久久综合| 欧美人人草草| 六月丁香激情婷婷| 激情性爱五月天网页| 永久无码色| 五月丁香花视频| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 99热最新精品| 手机在线日韩视频中文字幕| 狠狠狠狠狠狠| 国产黄色av| 激情综合网激情五月欧美| 九九精品自拍| 99热综合网| 深爱激情综合网| 色青青电影色五月| 丁香婷婷综合影院| 开心五月深爱五月婷| 欧美日韩aaa| 色婷婷AV在线| 91碰碰视频| 9久热在线精品| 狠狠五月天婷婷激情网。| 亚洲第一综合| 婷婷五日b| 久久综合五月天| 亚洲AV人人操| 九月激情网| 五月婷婷六月丁香玖玖玫瑰91| 婷婷干五月综合在线播放| 搡BBBB搡BBB搡18 | 综合久久五月| 丁香啪啪中文字幕| 婷婷五月激情在线视频| 久热天堂| 97久人人| 91精品久久久久久77777| 超碰93在线观看| 五月婷婷激情中文字幕| 97热这里精品在线视频| 色色五月婷婷| 99热精品网| 激情综合色| 2014天天爽| 人妻少妇色综合| 九九成人精品免费视频| 国产精品a无线| 亚洲丁香五月深爱五月| 国产99久| 开心婷婷中文字幕| 99热9999| 久色网| 天天操夜夜啊| 美女久久婷婷| 真实亲子乱子伦高清在线观看| 极品嫩草| 免费黄色AV| 日韩综合天堂| 伊人综合网站| 婷婷五月中文在线视频| 婷婷丁香成人五月天| 色女人久久| 超碰色综合| 久草A片| 99,色| 99热这里只有精品9| 插插网爽妇五月丁香| 强辱丰满人妻HD中文字幕| 五月婷婷伊人网| www.ywav| 久久多色| 五月永久激情| 综合九九中文字幕| 亚洲色五月婷婷| 婷婷5月天av| 操大屄五月天视频| 丁香婷婷色九月| 激情婷婷色色| 逼特逼在线免费播放| 日本操逼九九九九58日本操逼| 97在线视频 欧美| 六月丁香色色| 色婷五月天亚洲| 久久激情四射| 色噜噜婷婷| 国产Va视频| 五月婷九月| 播五月,色五月,开心五月播放器| 精a品a视a频| 在线看片h站| 久久a热| av九九| 中文字幕丰满孑伦无码专区| 色色色婷婷| 激情文学 综合 色| 丁香九色不卡aaa| 日本欧美在线| 播五月丁香六月| 在线观看亚洲视频影院| 亚洲午夜成人av电影网| 欧美三级欧美一级| 激情综合网 激情五月天| 九月丁香八月婷婷久久综合久97| 色色99| 欧美草久久五月天91| 另类综合激情| 九九热内射| 开心五月婷婷激情| 色婷五月天激情| 九九色婷婷| 精品九九久久| 99色| 亚洲熟女色| 六月丁香五月激情网| www.9797国产| 97操碰人免费| 99精品视频在线观看| 丁香五月激情在线| 全部老头和老太XXXXX| 五月天综合视频| 久久这里只有精彩| 色播五月综合网| 熟妇人妻中文字幕无码老熟妇 | 狠狠干综合| 婷婷免费精品视频| 亚洲欧美另类在线23p| 日日杆天天| 久爱综合| 色99网站| 嫩BBB搡BBBB榛BBBB| 婷婷久月| 激情婷婷五月天丁香| 九九AV| 婷婷激情人妻| 亚洲激情免费视频观看| www.五月婷婷久久.com| 亚洲激情亚洲激情| 精品激情| 六月婷婷香蕉| 98热精品| 99情色五月天| 久久婷婷五月天丁香| 色999五月色| 欧美超级视频97| 亚洲久热无码| 五月婷婷黄色视频| 五月天快乐开心激情网| 亚洲激情四射| 六月婷久久| 日本三级片片| 激情五月天婷婷丁香| 99视频| 丁香五月天电影| 色色五月天丁香婷婷| 婷婷丁香五月综合激情小说| www开心激情网| 九九成人高清视频| 丁香六月 婷婷六月| 97碰碰视频在线观看| 六月综合婷婷开心伊人| 综合超碰熟| 1024欧美看片| 婷婷五月综合色小姐小说| http:色情日本com| 国产真实乱了老女人视频| 亭亭玉月丁香| 久久久18| 亚洲V国产V欧美V久久久久久| 99热网站| 五月激情小说| 99在线免费视频| 六月婷婷色| 欧美色99| 五月天婷婷激情小说电影| 婷婷操超碰| 婷婷激情视频欧美视频自拍视频欧美剧 | 68热超碰在线| 成人AV在线中文版| 久久A极片| 成人午夜天| 婷婷综合五月天| 九九色热| 九九色综合| 婷婷五月天激情小说| 久久538| 啊V视频在线观看| 99啪啪视频| 欧美 日韩 成人在线| 99精品国产在热久久婷婷| 五月丁香婷婷AV| www.99热这里精品| 激情网五月天| 丁香五月六月综合激情| 人妻AV在线| 第四色五月天| 亚洲精品无码一区二区| 久久久国产精品黄毛片| 欧美日韩国产成人在线| 9热久久| 大香蕉大香蕉在线影院| 久大香蕉| WWW色五月天| 美女婷婷六月色| 色情五月天se| 久久九九99亚洲国产久精综合| 俺去也在线官网| 这里只有精品免费视频在线观看| AV操操操| 开心激情综合| 五月综合激情久久| 奇米四色五月天| 久久看九九90| 一区二区乱码视频| 五月天婷婷激情网| 五月的婷婷六月丁香| 婷婷六月激情在线视频| 久久婷婷亚洲| 中文AV网| 国产成人AV不卡| 人人97操| 91超碰在线观看| 美女丁香五月天| 密桃激情五月天综合网| 成人丁香五月天Av| 人妻人人操| 亚洲xx在线| 五月天婷婷丁香花| 婷婷五月综合婷婷| 久久机热这里只有精品| 六月婷婷激情| www久久久久久久久久久| 人人操人人妻| 91狠狠色| 婷婷激情丁五月| 婷婷五月色播放| 91人人操人人| 婷婷五月天淫荡| 97超级碰碰碰| 亚洲avjiujiur91| 丁香婷婷色五月合集| 开心婷婷五月| 婷婷伊人| 九九热91| 久久综合伊人综合在线| 女人被男人吃奶到高潮| 538在线精品| 久久91久久精品久久| 超碰爱爱爱| 五月天开心激情网色欲无码| 五月开心色| 操操碰| 毛片九九九九九九| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 69激情小说| 超碰网站在线观看| 不卡在线超碰| 婷婷伊人中文字幕| www.夜夜騎夜夜狠| 久久HD| 亚洲第二AV| 亚洲中文无码成人| 五月天堂婷婷| 爆乳熟女-区二区三区| 伊人干综合| 五月天夜夜爱夜夜操| 婷婷综合网站| 伊人热婷婷| 99热在这里只有免费精品| 五月丁香婷婷网在线在线| 久久久久久久人妻| 熟女91九色| 日韩六十路91性交电影| 日本天天操| 国产4P视频精品五区| 亚洲激情校园| 996热| 强奸幻女毛片| 色天天综合色| 97人人干人人操| 在线看AV| 久久婷婷五月草视频在线播放| 中文av网站| 激情五月婷婷视频| 亚洲欧美在线观看| 91精品91久久久中77777久久玖玖九九 | 婷婷五月丁香色色| 色婷婷成人在线| 在线成人网址| www综合久久| 亚洲第一色色色色| 日日夜夜天天| 99啪| 久草狼人| 99九九视频| 亚洲夜夜操| 色欲一区二区三区精品A片| 天天久久66xxx| 99色视频| avv在线| 久久久久久久合一狠狠做深爱| 国产av天堂| 日本99久久| www.9797国产| 六月丁香停| 五月情婷婷| 538在线精品| 久久激情综合| 91丨九色丨大屁股| 亚洲人妻av| 超碰91在线| 免费看无码视频A级| 色欲天天综合| 97人人操人| 狠狠色婷婷六月激情网| 丁香五月天成人| 激情五月婷婷综合视频| 亚洲色无码A片一区二区麻豆| 人人干天天舔| 91丨九色丨国产打屁股| 久色视频首页| 激情综合网激情五月网| 中文字幕丰满孑伦无码专区| 五月丁香婷婷激情久久| 超碰亚洲欧美| 午夜婷婷五月天| 五月Huangsewang| 久久这里只有精品16| 国产真实乱对白精彩| 少妇人妻丰满做爰XXX| AV天堂淫乩| BBWCUCKOLD精品熟妇| 99热欧| 久久九九99| 国产丁香五月天婷婷| 少妇熟女视频一区二区三区| 五月婷婷六月爱| 婷婷六月激情综合| 这里只有精品视频99| 五月天婷婷无码| 五月久久婷婷成人网| www.99久久久久99| 国产免费一区二区三州老师F1F1| 色婷婷777狠狠| 99热超碰在线| 九九热再线九九视频免费在线观看| 欧美大肥婆大肥BBBBB| www.婷婷五月天啪啪| 国产黄大片在线观看画质优化| 99色一| Av在线资源| 五月婷婷激情综合av| 99干视频| 色五月av| 五月天狠狠草| 五月天婷婷色色网| 五月婷婷六月丁香在线| 久久五月婷综合网| 人人看人人97| 成片免费播放| 五月天激情网址| 免费一区二区三区| 久久伦乱| 五月丁香婷婷福利| 九九九九九九热| 日欧大屏操| 久草A片| 婷婷五月天小说| 色婷婷色久综| 99干在线| 婷婷五月激情网| 梁铮版蜘蛛女在线观看| 中字幕视频在线永久在线观看免费 | 99精品久久| 色色丁香五月婷婷| 久久天堂婷婷五月| 五月丁香婷婷成人网| 99热综合在线观看| 91丨九色丨熟女| 九九热视频在线观看| 婷婷五月情色| www.97干视频| A片试看120分钟做受视频红杏 | 操操操AV| 激情五月婷婷| 婷婷五月天成人| 五月激情网站| 丁香五月亚洲激情婷婷射| 91麻豆国产三级精品福利在线观看| 伊人婷婷五月天| 99久热这里只有精品视频删减版| 色婷婷成人色网| 久久艹99| 丁香五月天激情综合网| 久热综合| 91操女| 色婷婷影视| 精品无码99| 97干视频| 99操网站| 激情又色又爽又黄的A片| 国产在这里只有精品| 深爱激情中文五月天av| 99在线播放| 五月天婷婷综合| 亚洲日日操| 天天做天天爱天天日| 综合九色| 国产精品久久久久久久久久| 色综合久久99色| 亚洲AV成人在线观看| 亚洲午夜AV| 欧美Va日本Va| 亚洲性爱99在线| 久久婷婷草| 国产性av| 九九碰九九爱97| 五月色综合| 色五月开心开心五月激情五月| 91尤物九色在线| 一级AV片| 激情五月婷婷综合| 97人人看| 夜夜躁爽日| 天天在线久久综合 | 狼人婷婷久久| 伊人影院久久网| 亚洲妇女熟BBW| 亚洲激情五月| 色5月婷婷色| 国产无套精品一区二区| 99热精品一区| 五月丁香六月婷婷,婷| 久久亚洲无码| 色五月开心久久网| 九九色婷婷五月天| 99热这里| 开心激情婷婷| 人人干av| 97人人干人人操| 66色在线日韩| 天天天操天天天日| 精品成人无码A片观看香草视频| 欧美激情五月综合| 天天肏天天肏| 大香焦啪啪啪| 色综合色综合网| 五月天久久婷婷| 日本狠狠网| 久久视频这里99| 99.色| 激情黄色小说五月天| 五月婷婷激情四季| 另类激情五月| 波多野结衣AV无码Porn| 9色免费网| 丁香花五月天社区| 日本人妻久久| 婷婷丁香黄色| se婷97| 热99.com婷婷| 九九成年视频| 激情国产五月| 97成人丁香| 91干婷婷| 久久性都花花世界成人免费视频| 99热综合| 日本三级成人秘书精品片| 99热这里有精品| AA片在线观看视频在线播放| 性一交一乱一交A片久| 丁香五月影院| www.超碰97| 激情小说色五月| 岛国在线观看91| 苗黎美女四级成人版一级二级毛片| 国产精品涩涩涩视频网站| 综合网色| 久久精品国产AV一区二区三区 | 五月天婷婷激情综合| 亚洲AV另类| 精品国产a| 99偷拍视频在线日本| 久久精品综合色| 色七七九九| 色V狠狠的干| 国产亚洲在线观看| 丁香五月色播中文在线播放| 日日鲁鲁夜夜爽爽| 精久久色| 九九在线视频| 东京热免费视频| 伊人五月天| 一点色成人网| 就爱日五月天| 久久久久99精品成人网站| 中美日韩成人在线| 香蕉婷婷色五月| 五月婷婷久久内射| 色狠狠色噜噜AV天堂五区消防| 夜夜干天天操| www.久久99热地址发布| 99热这里只有精品1| 国自产拍偷拍精品啪啪一区二区| 91干婷婷| 久操福利| 亚洲婷婷月丁香五月| 欧美性色五月天| 婷婷五月综合网| 人妻av在线| 色色色热| 婷婷国产五月天17c| 久久伦乱| 六月婷婷七月丁香| 欧美激情VA永久在线播放| 国产精品国产| 成功精品影院| 五月天丁香欧美激情| 久久激情五月| 激情五月天网页| 五月婷婷在线免费观看| 天天综合精品| Av在线不卡一区| 亚洲av网站| 丁香花五月天| 91久久五月天| 国产精品第一国产精品| 91在线视频综合| 久久国产精品乱子伦_靑青草…| 99久久er| 午夜色婷婷| 我淫我色婷婷五月天激情四射| 婷婷五月天亚洲综合| 久久激情综合| 五月婷婷激情综合av| 亚洲中文字幕网| 色99超碰| 狠狠干天天内射| 深爱五月天天| av在线观看免费| 色综色网| 五月婷婷性爱| 免费观看欧美成人AA片爱我多深 | 九九免费精品在线视频| 五月天激情国产综合婷婷| 九九热精品视频| 免费看片在线观看| 99ER热精品视频| 大香蕉免费9| 亚洲激情网站无码| 久热黄色| 欧美久久婷婷| 深爱五月天天| 激情爱爱网站超大免费| 色播五月| 国产SUV精品一区二区6| 大香蕉久久草| 激情婷婷五月天在线观看| 婷香五月| 野外99热| 我要看激情五月天| 99热精品在线播放| 中文字幕av亚洲| 色射婷婷五月天| 精品久久久人妻| 激情五月婷婷她| 精品九九视频| 99久久99九九99九九九| 99热精品超碰| 久久视频九九视频| 五月天综合在线| 丁香五月123| 九九十99视频| 深爱婷婷丁香五月激情| 夜色综合网| 无码啪啪| 五月丁香六月婷婷不卡免费无码| 日韩黄色中文字幕| 人人噜天天上| 婷婷丁香六月| 色五月丁香com| 激情婷婷五月亚洲| 91男同| 天堂久久大香蕉| 欧美婷婷色五月| 性一交一乱一交A片久| 亚洲国产成人综合| 超碰在线超碰| 91超级碰人人操| 伊人深爱综合| 国产精品成人AV在线观看春天 | 成人综合视频在线| 日本三日本三级少妇三级66| 五月天精品综合在线| 亚洲电影在线观看| 欧美婷婷五月激情| 91久久久久久| 香蕉婷婷色五月| 午夜五月天| 丁香九月久久| 欧美精品啪啪| 综合久久五月天| 久久99精品久久久久久三级| 久热视频97AV在线观看| 成人五月天视频播放| 久久婷婷六月综合国际| 99热这里只有精品69| 玖玖在线视频| 婷婷丁香水多多视频| 99热66| 久久er免费视频| 亚洲激情五月| 成人短视频在线| 综合久久婷婷| 99视频内射三四| 久久丁香五月天| wWwCom夜操wwW| 久久婷五月| caopeng超碰| 五月婷婷色色色| 欧美在线视频99| 六月丁香网| 99er国产| 伊人综合网站| 天天檫天天爽| Av在线不卡一区| 精品久久久人妻| 色婷亚洲五月丁香| 伊人久久婷| 大香蕉综合| 激情五月天视频| 五月丁香视频在线观看| 91男人操女人视频| 激情综合六月| 骚逼视频一区2区| 色婷婷久久综合中文久久一本| 婷婷综合av| 久久Xx| 色五月天丁香| 五月婷婷激情| 亚洲综合狠狠艹| 国产永久一黄| 综合色五月天| 这里只有精品视频在线观看免费| 精品人妻一区| 五月丁香黄色| 国产无人区大片| 激情伊人五月天| 丁香五月亭亭六月综合激情网| 久久激丁香| 99国产在线| 五月丁香六月综合基地| 丁香婷婷色五月| 婷婷五月六月丁香综合| 伊人五月综合网| 色色色成人网| 丁香月五月天婷婷久久| 99riAV成人在线视频| 美女妹子后射视频网站在线观看| 先锋资源91| 99热免费| 五月婷婷综合在线观看| www.91在线观看| 99天堂网| 久机视频这只有精品| 色五月首页| 五月丁香婷婷成人网| 午夜五月天| 五月香婷婷| 激情操逼婷婷| 99日本黄站| 婷婷五月天伦理| 色婷婷最新域名| 久久98| 激情六月天婷婷| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 国产在线另类五月婷婷| 久久婷婷五月综合色丁香| 五月丁香影视| 婷婷五点亚洲| 五月婷婷色播视频| 91九色 熟| 天天色色天天| 婷婷五月天干干| 婷婷色导航| 婷婷丁香成人色综合| 综合色情网| 嫩草AV久久伊人妇女超级a| caop在线视频| www.夜夜爱.com| 色综合五月天| 色婷婷亚洲五月天| 人妻乱码久久久| 欧美操逼天堂| 日韩青青| 久久免片| 色色A| sisi热国产| 超碰色色综合| 天堂美国久久| 91超碰人人操| 色五月婷婷老师| 人妻操逼| 亚洲、欧美、国产另类笫二区| 亚洲亚洲人成综合网络| 丁香花色色网| 国产精品色婷婷AV综合色色| tingting五月天亚洲| 五月天婷婷久草丁香| 99在线精品免费视频| 97人人看| 亚洲五月停停| 激情涩涩网| 欧美在线看| 99碰碰碰| AA片在线观看视频在线播放| 综合久久综合| 五月天成人小说网| 日日干夜夜撸夜夜骑| 97天堂| 亚洲自拍天堂| 最新无码专区| 激情综合五月婷婷| 四色99久久| 人人干av| 九九精品在线网| 广东99色在线| 久热视频A.| 日韩精品无码AV| 另类丁香五月天区图| 久久久激情| 综合色色色| 超碰高清在线| 丁婷婷五月天在线播放| 激情小说之五月| 亚洲 在线 性爱| 中文字幕在线日亚州9| 五月丁了香蕉综合| 91丨九色丨国产| 日韩av手机在线观看| 亚洲精品亚洲人成人网| 婷婷激情五月| 色色网站| 免费五月婷婷网| 99在线视频精品| 国产精品色色666| 日韩成人免费电影| 五月大香蕉| 五月天久久综合| 91在线日本| 国产色香蕉精品五夜婷| 九九精品婷| 婷婷黄色网| 丁香五月天堂婷婷| 激情玖玖sh| 日韩乱轮AV| 午夜不卡久久精品无码免费| 777精品久无码人妻蜜桃| 五月丁香六月欧美综合网站| 五月天综合视频| 久久综合婷婷| 97人人干| 性爱综合网| www.五月天婷婷| 99精品综合| 久色| 99热最新网址| 日本欧美成人片AAAA| 天天揷综合网| 国产黄色在线| 五月丁香六月停停停| 人人操婷婷| 日本97久久久精品| 91人人操| www.超碰在线| 色婷婷五月影视| 涩涩五月天综合| 狠狠看狠狠| 综合色天天| www.五月激情红色| 久久黄色片| 丁香六月激情综合| 丁香五月欧美色综合| 九色无码| av在线观看网站| 五月激情六月丁香| 五月丁香影视| 99亚洲精品综合在线| 另类婷婷五月天啪帕帕| 一起肏在线视频| 色色色地址| 超碰人人在线| 69堂午夜视频最新地址| 99热这里只有精品2016| 99热精品9| 99热官网精品在线| 五月天婷婷色| 久久五月天婷婷| 全部老头和老太XXXXX| 五月丁香综合色婷婷| www.com色播五月天| 成人电影AV在线观看| 啪啪色激情五月天| 色播播之激情五月婷婷| www.狠狠干com| 五月天婷婷无码| 99热在线播放| 影音先锋女人AA鲁色资源| 婷婷久综合| 91n网站cad入口在线观看| 婷婷97碰碰| 九热在线这里有精品6| 婷婷六月天激情影院| av狠狠操| 日韩无码专区| 亚洲成人无码专区| 色99视| 色玖玖| 丁香激情六月天婷婷| 六月天婷婷| 97碰在线视频| 久久综合66| 99ri精品在线| 婷婷五月在线综合| 五月婷婷六月少妇激情| 青青草tp| 91男同视频| 激情婷婷五月天丁香| 女人露出p毛视频www网站| 2025年最新亚洲在线欧美| 日本操碰碰| 成人国产欧美大片一区| 久久综合五月婷婷| 激情五月天啪啪视频| 五月丁香婷婷三级| 婷婷久久免费| 北京熟妇搡BBBB搡BBBB| 五月天AV大香蕉| 亚洲一色色色色色色色色| 人人爽欧美婷婷久久久五月丁香| 亚洲综合成人网| 五月天丁香婷婷网| 天天久久狠狠色综合| 天天草天天日| 99久久极情精品一区| 九九99久久精品| 久超超碰| wwwC0maV五月花| 欧美久久婷婷| 久久综合9| 激情网第九色| 天天日夜夜曹| ..真实国产乱子伦对白在线_欧| 丁香五月婷婷欧美激情-中文天堂最新版在线观看 | www天天色天天射| 五月激情网络| 亚洲综合狠狠艹| 5月婷婷五月天| 色情五月综合婷婷| 天天操综合网| 91色久| 婷婷色在线视频| 亚洲九九免费| 狠狠色综合网站久久久久| 色天天综合天天综合频道。| 另类小说色婷婷| 国产精品美女久久久久AV超清| 久久精品91视频| 婷婷五月天成人基地| 五月丁香婷庭在线| 1024人妻| 性爱网六月丁香| 欧美狠狠地| 成人婷99最新| 91要啪| 开心色色五月天综合| 96精品久久久久久久久| 五月婷婷手机在线| 九九热在线精品| 婷婷久久内射| 五月婷婷九月婷婷九月婷婷| 无码啪啪| 丁香伊人五月色婷婷五十路| 丁香六月婷婷综合麻豆| 亚洲成人影视在线观看| 五月六月播婷婷| 久久人妻视频| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 五月婷婷免费在线视频| 五月婷婷与六月丁香图片激情| 91se在线观看| 丁香五月伊人| 97久久香草精品视频| 婷婷久久精品| 色婷婷精| 亚洲综合狠狠艹| 天天操夜夜操| 久热婷婷| 国产婷婷五月色情综合| 99网址在线观看| 亚洲色婷婷婷婷人人爽| 开心激情站| 九九色色色| 洗浴中心操B视频| 嫩草极品| 99rewww| 六月婷婷激情| 亚洲黄色精品| 五月天婷婷基地综合网| 日韩五月婷婷| 久色五月婷婷综合| CHINESE熟女老女人HD视频| 26uuu青青| 偷偷操99| 婷婷五月天综合AV| 99在线视频在线观看| 亚洲视频一区| 深爱五月天婷综合| 天天做天天爱天天高潮| 大香蕉久久久久| 久久激情五月天| 色综合香蕉| 影音先锋91资源站| 大香蕉狠狠爱主页| 狠狠狠狠狠狠| 国产激情在线观看| 玖玖热视频| 国产精品视频网| 91精品久久久久、久五月天| 狠狠色噜噜色狠狠狠综合色 | 六月婷在线| 婷婷五月天高清无码| 色婷婷啪啪| 天天做夜夜爽| 激情 婷婷| 丁香六月久久| 亚洲五月天,激情视频| 99热手机在线精品| 日本本土色网第一区| 九九综合| 五月婷婷无码专区| 91九九热| 色五月婷婷综合| 开心五月婷婷婷美女| 五月婷婷成人| 婷婷99中文字幕| 久久激情网| 99热91| 极品人妻VIDEOSSS人妻| 久热这里只有精品66| 91久女| 久久婷婷视频| 久久九区| 九九热免费视频| 丁香婷停五月激情综合深爱| av不卡网站| 六月婷婷在线视频| 91网站黄| www.henhenl| 免费国产VA国产免费| 亚洲视频综合网| 五月天婷婷伊人| 热99玖玖99玖玖99九九| 天天爽夜爽| 欧美激情综合色综合啪啪五月| 99久视频| 战争与艾拉电影免费观看| 91猫咪国产在线播放| 久久WW| 丁香色五月 97干| 99热97| 综合99在线| 热婷婷av| 九九视屏| 夜夜www| www.婷婷五月天,com| 亚洲欧美另类在线23p| 一级二级色大片| 99ri国产精品| 亚洲欧州色情在线观看| 丁香九色不卡aaa| 91人人爽狠狠狠| 日本狠狠爽| 久久综合最新网址| 久久久91| 能看的av片| 色婷婷yy久| Av九九| 亚洲色图五月丁香| JAPANRCEP老熟妇乱子伦视频| 婷婷丁香人妻天天久久| 国内一级精品| 日本精品人妻无码77777| 激情五月色婷婷| 只有精品在线观看| 97亚洲精品| 无码色色色| 天天狠狠色综合| 婷婷成人综合| 日本WwW色偷偷丁香花久久久京东热| 中文字幕欧美精品久久| 情婷婷五月天| 强辱丰满人妻HD中文字幕| 国产干逼片| 五月激情在线| 操碰91| 伍月婷丁香花全集| 另类激情五月| 婷婷中文字幕欧美| 五月色婷婷综合| 草做免费在线观看| 久久激情综合| 香蕉伊人综合| 亚洲乱码日产精品BD| 超碰人人射| 丁香九月婷| 亚洲操操| 丁香五月激情啪啪综合| 99热这里只有精品2| 色五月婷婷婷婷| 五月丁香六月婷婷啪啪| 超碰婷婷五月| 色色99| 狠狠五月天婷婷激情网。| 99自拍视频网站| 色综合播放| 婷婷狠狠干| 六月激情婷婷| 亚洲色情激情丁香五月| 亚洲精品视频电影| 97碰碰草| 综合网色| 噜噜噜久久| 人人做人人看人人摸| 天天曰夜夜爽| 色99无码| 青青草原亚洲久| 婷婷五月色| 九九色播五月丁香| 啪啪六月婷婷| 色婷婷精品小视频| 五月丁香毛片| 婷婷五月丁香亚洲| 狠狠色综合网| 密乳视频| 色婷婷先锋| 熟妇国产|