欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

中文命名實(shí)體識(shí)別實(shí)戰(zhàn):BiLSTM+CRF、IDCNN+CRF與BERT模型對(duì)比

中文命名實(shí)體識(shí)別實(shí)戰(zhàn):BiLSTM+CRF、IDCNN+CRF與BERT模型對(duì)比 簡(jiǎn)介面向中文命名實(shí)體識(shí)別NER研究與實(shí)踐的Python源碼資源整合了雙向長(zhǎng)短期記憶網(wǎng)絡(luò)與條件隨機(jī)場(chǎng)BILSTMCRF、膨脹卷積與條件隨機(jī)場(chǎng)IDCNNCRF、預(yù)訓(xùn)練模型BERT結(jié)合雙向長(zhǎng)短期記憶網(wǎng)絡(luò)與條件隨機(jī)場(chǎng)BERTBILSTMCRF三條主流模型路線并附帶人民日?qǐng)?bào)、MSRA等經(jīng)典中文語(yǔ)料的預(yù)處理腳本適合自然語(yǔ)言處理方向的學(xué)生、算法工程師以及以畢設(shè)、課設(shè)為目標(biāo)的初學(xué)者參考。壓縮包內(nèi)共有五十八個(gè)文件核心是十六個(gè)Python腳本涵蓋模型定義、數(shù)據(jù)清洗、訓(xùn)練與預(yù)測(cè)全流程另有十九個(gè)編譯后的緩存文件、九個(gè)文本說(shuō)明、五張示意圖、四個(gè)說(shuō)明文檔和三個(gè)XML工程配置文件整體大小約十三點(diǎn)七五MB目錄結(jié)構(gòu)清晰便于按模塊查閱。代碼均經(jīng)過(guò)運(yùn)行測(cè)試并配有說(shuō)明文檔和可視化結(jié)果圖學(xué)習(xí)與二次開(kāi)發(fā)門(mén)檻較低。目前已有五百二十五人學(xué)習(xí)多模型對(duì)比實(shí)現(xiàn)可幫助讀者直觀理解不同結(jié)構(gòu)在中文實(shí)體識(shí)別任務(wù)中的表現(xiàn)差異也能直接用于畢業(yè)設(shè)計(jì)或課程設(shè)計(jì)、項(xiàng)目初期立項(xiàng)演示。1. 中文命名實(shí)體識(shí)別三套主流模型的 Python 源碼怎么落地先回答最直接的問(wèn)題中文命名實(shí)體識(shí)別到底難在哪難在中文沒(méi)有天然空格分詞、實(shí)體的邊界和類(lèi)別常常要依賴(lài)上下文而常見(jiàn)的規(guī)則匹配和 HMM 在真實(shí)語(yǔ)料上很快就到天花板。這份 NER_DEMO 源碼包把三條主流路線放在一起對(duì)比BILSTMCRF、IDCNNCRF以及熱度最高的 BERTBILSTMCRF并自帶人民日?qǐng)?bào)、MSRA 等數(shù)據(jù)集的預(yù)處理腳本和訓(xùn)練入口對(duì)正在做課程設(shè)計(jì)、畢設(shè)或者剛接觸序列標(biāo)注的開(kāi)發(fā)者來(lái)說(shuō)是少見(jiàn)的能直接跑起來(lái)的完整工程。它解決的是一類(lèi)很具體的問(wèn)題從原始標(biāo)注文本到最終能識(shí)別出人名、地名、組織名的完整鏈路包含數(shù)據(jù)清洗、vocab 構(gòu)建、模型訓(xùn)練、日志輸出和預(yù)測(cè)。適合的人群是已經(jīng)會(huì)寫(xiě) Python、能看懂神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)但沒(méi)完整跑過(guò) NER 項(xiàng)目的同學(xué)或者想快速對(duì)比三種模型效果的候選人。2. 目錄結(jié)構(gòu)和數(shù)據(jù)準(zhǔn)備先看懂這份資源怎么組織再談?dòng)?xùn)練2.1 源碼包的文件清單和職責(zé)劃分拿到 NER_DEMO-master.zip 解壓后第一件事不是急著裝環(huán)境而是把目錄結(jié)構(gòu)摸清楚。整個(gè)工程可以分成四塊模型定義、數(shù)據(jù)預(yù)處理、公共工具、入口腳本。模型定義部分放在根目錄下五個(gè) Python 文件對(duì)應(yīng)五種網(wǎng)絡(luò)結(jié)構(gòu)BILSTM_CRF.py 是最經(jīng)典的 BiLSTM 加 CRF 序列標(biāo)注IDCNN_CRF.py 是膨脹卷積替代 LSTM 的變體IDCNN5_CRF.py 是 IDCNN 的加深版本BILSTM_Attetion_CRF.py 在 BiLSTM 基礎(chǔ)上加了 attention 層BERT_BILSTM_CRF.py 則是用預(yù)訓(xùn)練 BERT 接 BiLSTM 再接 CRF 的最強(qiáng)組合。預(yù)處理腳本在 DataProcess 目錄下msra_preprocessing.py、renminribao_preprocessing.py、data2_preprocessing.py 分別處理不同來(lái)源的數(shù)據(jù)集。process_data.py 負(fù)責(zé)統(tǒng)一流程。工具層是 utils.py 和 path.py前者存放標(biāo)簽映射、數(shù)據(jù)讀取、批次生成這一類(lèi)公共函數(shù)后者統(tǒng)一管理數(shù)據(jù)、模型、日志的文件路徑。入口腳本是 train.py所有模型的訓(xùn)練都從這里啟動(dòng)日志輸出到 log 目錄下。提示先打開(kāi) README.md 再動(dòng)手它會(huì)說(shuō)明當(dāng)前代碼依賴(lài)的深度學(xué)習(xí)框架版本以及各模型對(duì)應(yīng)哪個(gè)數(shù)據(jù)集格式。這能幫你省掉最常見(jiàn)的框架不兼容問(wèn)題。2.2 數(shù)據(jù)集的格式標(biāo)準(zhǔn)和 vocab 構(gòu)建流程N(yùn)ER 訓(xùn)練數(shù)據(jù)的標(biāo)準(zhǔn)格式是每一行一個(gè)詞空行分隔句子標(biāo)簽序列和詞語(yǔ)序列按行對(duì)齊。以人民日?qǐng)?bào)語(yǔ)料為例預(yù)處理腳本會(huì)把原始文本解析成這種格式保存比如“中 國(guó) B-ORG”“人 民 E-ORG”“銀 行 B-ORG”這種 BIESO 標(biāo)注體系。vocab.py 和 process_data.py 負(fù)責(zé)把清洗后的文本轉(zhuǎn)成訓(xùn)練用的 id 序列。vocab 構(gòu)建的核心邏輯是把每個(gè)字符映射到一個(gè)唯一的索引再補(bǔ)充特殊標(biāo)記。常見(jiàn)做法是把 vocab 分成四個(gè)部分pad 用于批內(nèi)補(bǔ)齊、unk 用于未登錄詞、sos 和 eos 用于句子邊界。具體代碼邏輯一般是def build_vocab(files, min_count1): word_count {} for file in files: for line in open(file, encodingutf-8): for char in line.strip(): word_count[char] word_count.get(char, 0) 1 vocab {word: idx for word, idx in zip([pad, unk, sos, eos], range(4))} for word, count in word_count.items(): if count min_count: vocab[word] len(vocab) return vocab這段代碼先統(tǒng)計(jì)所有字符的出現(xiàn)次數(shù)再按最低頻次過(guò)濾低頻字符。min_count 取 1 時(shí)保留全部字符取 2 或 3 時(shí)能過(guò)濾一部分錯(cuò)別字和噪聲但也會(huì)讓模型對(duì)生僻字的泛化能力下降。我一般會(huì)先把 min_count 設(shè)為 1 跑通再看訓(xùn)練集大小決定是否過(guò)濾。2.3 預(yù)處理腳本的參數(shù)含義和實(shí)際用法msra_preprocessing.py 是處理 MSRA 數(shù)據(jù)集的典型例子。原始 MSRA 語(yǔ)料以換行符分隔句子每行是一句完整的中文句子附帶的標(biāo)注文件需要按字符位置對(duì)齊才能生成訓(xùn)練數(shù)據(jù)。python msra_preprocessing.py --input_dir ./data/msra_raw --output_dir ./data2這個(gè)命令把 MSRA 原始文本和標(biāo)注文件轉(zhuǎn)換成統(tǒng)一的 BIO 格式輸出到 data2 目錄。腳本內(nèi)部會(huì)檢查句子長(zhǎng)度、標(biāo)簽對(duì)齊關(guān)系如果發(fā)現(xiàn)字符數(shù)和標(biāo)簽數(shù)不匹配會(huì)自動(dòng)跳過(guò)該句。運(yùn)行完檢查 data2 下的文件行數(shù)是否和原始標(biāo)注數(shù)據(jù)大致匹配如果出現(xiàn)大量句子被跳過(guò)通常是原始標(biāo)注文件里有全角空格或空行需要先做清洗。參數(shù)說(shuō)明--input_dir 指向原始數(shù)據(jù)目錄--output_dir 指向處理后數(shù)據(jù)存放的位置。不同數(shù)據(jù)集腳本的輸入輸出參數(shù)基本一致這套工程的預(yù)處理腳本是按統(tǒng)一接口設(shè)計(jì)的所以換數(shù)據(jù)集時(shí)不需要改模型代碼。2.4 環(huán)境配置和快速驗(yàn)證數(shù)據(jù)完整性訓(xùn)練前先確認(rèn)三件事PyTorch 版本、GPU 是否可用、transformers 庫(kù)是否安裝。BERT 模型需要從 huggingface 加載預(yù)訓(xùn)練權(quán)重而國(guó)內(nèi)網(wǎng)絡(luò)環(huán)境下載中文預(yù)訓(xùn)練模型通常比較慢建議先手動(dòng)下載 chinese_L-12_H-768_A-12 到本地 data 目錄。pip install torch transformers tqdm numpy python train.py --model BERT_BILSTM_CRF --epochs 3 --batch_size 8 --gpu 0注意如果報(bào) transformers 加載權(quán)重超時(shí)直接把預(yù)訓(xùn)練模型下載到 data/chinese_L-12_H-768_A-12 目錄然后修改 path.py 里的預(yù)訓(xùn)練模型路徑指向本地目錄能大幅縮短啟動(dòng)時(shí)間。3. 三種模型的原理和訓(xùn)練配置為什么選 BiLSTMCRF、IDCNNCRF 和 BERTBiLSTMCRF3.1 BiLSTMCRF 的原理和代碼走讀BiLSTMCRF 是序列標(biāo)注領(lǐng)域的經(jīng)典結(jié)構(gòu)很多線上 NER 系統(tǒng)到目前仍是這套組合。BiLSTM 負(fù)責(zé)編碼上下文信息把字符序列轉(zhuǎn)換成每個(gè)位置對(duì)應(yīng)的隱狀態(tài)向量而 CRF 層負(fù)責(zé)學(xué)習(xí)標(biāo)簽之間的轉(zhuǎn)移約束比如“B-PER 后面不能直接跟 E-ORG”這樣的規(guī)則。class BiLSTM_CRF(nn.Module): def __init__(self, vocab_size, tag_size, embedding_dim128, hidden_dim256): super(BiLSTM_CRF, self).__init__() self.embedding nn.Embedding(vocab_size, embedding_dim) self.lstm nn.LSTM(embedding_dim, hidden_dim // 2, num_layers1, bidirectionalTrue, batch_firstTrue) self.hidden2tag nn.Linear(hidden_dim, tag_size) self.crf CRF(tag_size)這段代碼里 embedding_dim 是字符向量維度hidden_dim 是 LSTM 隱層大小因?yàn)槭请p向結(jié)構(gòu)所以 hidden_dim 會(huì)被平分到兩個(gè)方向。CRF 層接收 LSTM 輸出的發(fā)射分?jǐn)?shù)矩陣然后通過(guò)維特比解碼找到最優(yōu)標(biāo)簽序列。訓(xùn)練時(shí)使用負(fù)對(duì)數(shù)似然損失這個(gè)損失由真實(shí)路徑分?jǐn)?shù)減去所有可能路徑的 logsumexp 分?jǐn)?shù)得到。3.2 IDCNNCRF 的結(jié)構(gòu)差異和適用場(chǎng)景IDCNN 是膨脹卷積網(wǎng)絡(luò)的縮寫(xiě)它在普通 CNN 的基礎(chǔ)上引入了不同膨脹率的卷積核讓感受野在不增加參數(shù)量和層數(shù)的情況下指數(shù)級(jí)擴(kuò)大。和 BiLSTM 相比IDCNN 的訓(xùn)練速度更快推理時(shí)也不需要逐步計(jì)算適合對(duì)實(shí)時(shí)性有要求的場(chǎng)景。class IDCNN_CRF(nn.Module): def __init__(self, vocab_size, tag_size, filters128, dilations[1, 1, 2]): super(IDCNN_CRF, self).__init__() self.embedding nn.Embedding(vocab_size, embedding_dim) self.idcnn IDCNN(filtersfilters, dilationsdilations) self.linear nn.Linear(filters, tag_size) self.crf CRF(tag_size)dilations 參數(shù)是 IDCNN 的核心控制項(xiàng)[1, 1, 2] 表示三層卷積的膨脹率分別是 1、1、2。膨脹率為 1 時(shí)是普通卷積膨脹率為 2 時(shí)每個(gè)卷積核的采樣點(diǎn)間隔為 1 個(gè)字符。實(shí)際使用中 IDCNN5_CRF.py 會(huì)疊加更多層以擴(kuò)大感受野。這里的核心權(quán)衡是膨脹率越大感受野越大但過(guò)大會(huì)導(dǎo)致局部信息丟失所以工程上常采用多組小膨脹率的堆疊而不是一組大膨脹率。3.3 BERTBiLSTMCRF 的模型結(jié)構(gòu)和訓(xùn)練技巧BERTBILSTMCRF 是目前效果最好的組合之一原理是先用 BERT 預(yù)訓(xùn)練模型生成融合上下文語(yǔ)義的字符向量再把向量序列輸入 BiLSTM 進(jìn)一步編碼最后由 CRF 解碼。這份源碼里 BERT 部分用的是 chinese_L-12_H-768_A-12即 12 層 transformer、768 維隱層這是 BERT-base 的中文版本。class BERT_BILSTM_CRF(nn.Module): def __init__(self, bert_path, tag_size, hidden_dim256): super(BERT_BILSTM_CRF, self).__init__() self.bert BertModel.from_pretrained(bert_path) self.lstm nn.LSTM(768, hidden_dim // 2, bidirectionalTrue, batch_firstTrue) self.hidden2tag nn.Linear(hidden_dim, tag_size) self.crf CRF(tag_size) def forward(self, input_ids, attention_mask, labelsNone): outputs self.bert(input_ids, attention_maskattention_mask) sequence_output outputs[0] lstm_out, _ self.lstm(sequence_output) emissions self.hidden2tag(lstm_out) if labels is not None: loss -self.crf(emissions, labels, maskattention_mask) return loss return self.crf.decode(emissions, maskattention_mask)訓(xùn)練 BERT 系模型時(shí)有幾個(gè)關(guān)鍵點(diǎn)。一是學(xué)習(xí)率要比 BiLSTM 模型低一等數(shù)量級(jí)BERT 部分的微調(diào)學(xué)習(xí)率一般設(shè)置在 5e-5 到 2e-5而 BiLSTM 部分可以用 1e-3二是 batch_size 受顯存限制通常只能設(shè) 8 到 16所以訓(xùn)練輪數(shù)要相應(yīng)增加三是最耗時(shí)間的不是構(gòu)思模型而是 BERT 預(yù)訓(xùn)練權(quán)重的加載建議固定隨機(jī)種子保證可復(fù)現(xiàn)。3.4 三種模型的選型對(duì)比和場(chǎng)景建議三種模型的效果和代價(jià)差異非常明顯。在一個(gè) 2 萬(wàn)句規(guī)模的中文語(yǔ)料上BiLSTMCRF 訓(xùn)練大約需要 2 到 4 小時(shí)IDCNNCRF 能快 30% 以上而 BERTBiLSTMCRF 在同樣數(shù)據(jù)上可能要多花 4 到 8 小時(shí)但 F1 值通常能高 3 到 8 個(gè)百分點(diǎn)。模型組合訓(xùn)練速度顯存占用精度上限適用場(chǎng)景BiLSTMCRF快低中標(biāo)注數(shù)據(jù)少、硬件受限的場(chǎng)景IDCNNCRF更快低中上需要快速迭代或?qū)崟r(shí)推理的業(yè)務(wù)BERTBiLSTMCRF慢高高追求效果上限硬件資源充裕4. 訓(xùn)練與調(diào)參實(shí)戰(zhàn)從啟動(dòng)命令到日志分析全流程可復(fù)現(xiàn)4.1 訓(xùn)練入口的參數(shù)體系和啟動(dòng)方式train.py 是整個(gè)工程的統(tǒng)一入口通過(guò) --model 參數(shù)選擇不同的模型結(jié)構(gòu)。這個(gè)腳本定義了完整的訓(xùn)練循環(huán)包括批次生成、反向傳播、梯度裁剪、驗(yàn)證集評(píng)估和模型保存。# 訓(xùn)練 BiLSTMCRF 模型 python train.py --model BILSTM_CRF --epochs 10 --batch_size 32 --lr 0.001 # 訓(xùn)練 IDCNNCRF 模型 python train.py --model IDCNN_CRF --epochs 10 --batch_size 32 --lr 0.001 # 訓(xùn)練 BERTBiLSTMCRF 模型 python train.py --model BERT_BILSTM_CRF --epochs 3 --batch_size 8 --lr 5e-5第二個(gè)命令運(yùn)行時(shí)會(huì)在根目錄創(chuàng)建一個(gè) log 目錄每次訓(xùn)練會(huì)生成一個(gè)以時(shí)間戳命名的輸出文件。日志里記錄了 loss 和準(zhǔn)確率等指標(biāo)訓(xùn)練到最優(yōu) F1 時(shí)保存模型權(quán)重。這里 --lr 的選擇很講究對(duì)于 BiLSTM 和 IDCNN0.001 是 Adam 優(yōu)化器的默認(rèn)推薦值BERT 模型必須調(diào)低否則預(yù)訓(xùn)練權(quán)重很快會(huì)被沖掉。提示使用 BERT_BILSTM_CRF 模型前先檢查 python train.py --help 輸出的參數(shù)列表確認(rèn)當(dāng)前代碼里 BERT 相關(guān)參數(shù)名是否帶 bert_ 前綴不同版本的源碼差異很大。4.2 train.py 核心訓(xùn)練循環(huán)的代碼走讀for epoch in range(args.epochs): for batch in train_batches: optimizer.zero_grad() loss model(batch.ids, batch.labels) loss.backward() nn.utils.clip_grad_norm_(model.parameters(), 5.0) optimizer.step() val_f1 evaluate(model, valid_batches) print(fepoch {epoch}, loss {loss.item():.4f}, F1 {val_f1:.4f})這里最關(guān)鍵的是 clip_grad_norm_ 這一行把梯度的 L2 范數(shù)裁剪到 5.0防止 LSTM 在長(zhǎng)序列上出現(xiàn)梯度爆炸。設(shè)置太小會(huì)導(dǎo)致模型收斂變慢設(shè)置太大等于沒(méi)裁剪。在 BiLSTMCRF 的序列標(biāo)注任務(wù)里我一般會(huì)先用 5.0 起步如果 loss 出現(xiàn) NaN 就降到 1.0。evaluate 函數(shù)在驗(yàn)證集上做維特比解碼統(tǒng)計(jì)實(shí)體的精確率、召回率和 F1 值。4.3 驗(yàn)證集和測(cè)試集的劃分邏輯數(shù)據(jù)切分時(shí)訓(xùn)練集、驗(yàn)證集、測(cè)試集的比例按照 8:1:1 劃分驗(yàn)證集用于每個(gè) epoch 結(jié)束后評(píng)估并選擇保存哪一版模型測(cè)試集只做最終評(píng)估不參與調(diào)參。在實(shí)際使用中驗(yàn)證集切分時(shí)需要按句子分而不是按字符分因?yàn)橥痪渥拥淖址瑫r(shí)出現(xiàn)在訓(xùn)練集和驗(yàn)證集會(huì)污染數(shù)據(jù)。此外數(shù)據(jù)文件在預(yù)處理階段就做了隨機(jī)打亂所以訓(xùn)練時(shí) story 層的批次生成不再重復(fù) shuffle。4.4 從日志判斷模型是否正常收斂模型跑起來(lái)后的 30 分鐘內(nèi)基本就能看出問(wèn)題。正常收斂的 loss 曲線是平滑下降的偶爾有小幅波動(dòng)但在合理范圍內(nèi)如果 loss 在前 100 個(gè) batch 內(nèi)直接降到接近 0大概率是標(biāo)簽對(duì)齊錯(cuò)了或者 CRF 層的轉(zhuǎn)移矩陣初始化出了問(wèn)題。另一個(gè)常見(jiàn)現(xiàn)象是訓(xùn)練集 F1 很高但驗(yàn)證集 F1 很低這說(shuō)明過(guò)擬合已經(jīng)出現(xiàn)把 dropout 打開(kāi)或者提前停止訓(xùn)練即可。參數(shù)組合建議語(yǔ)料在 1 萬(wàn)句以下時(shí)用 BiLSTMCRFembedding_dim 設(shè) 128hidden_dim 設(shè) 256dropout 設(shè) 0.5訓(xùn)練 15 輪左右語(yǔ)料在 3 萬(wàn)句以上且 GPU 顯存大于 8G 時(shí)再上 BERTBiLSTMCRFbatch_size 從 4 起步顯存不夠就加梯度累積用 4 個(gè) batch 累積一次反向傳播等效于 batch_size 為 16。5. 避坑與常見(jiàn)問(wèn)題我在復(fù)現(xiàn)這套源碼時(shí)踩過(guò)的五個(gè)真實(shí)坑5.1 Python 版本和依賴(lài)沖突現(xiàn)象是運(yùn)行 train.py 時(shí) import 階段報(bào)錯(cuò)錯(cuò)誤信息顯示某個(gè)庫(kù)的模塊里沒(méi)有需要的函數(shù)比如 transformers 的 BertModel 加載失敗。原因是源碼是基于較老的 PyTorch 版本編寫(xiě)的現(xiàn)代版本的 transformers 接口不再兼容舊版寫(xiě)法。解決辦法是把 transformers 降級(jí)到 4.x 早期版本同時(shí) PyTorch 安裝在 1.8 到 2.0 之間。如果非要使用新版需要手動(dòng)修改 BERT_BILSTM_CRF.py 中的 from_pretrained 調(diào)用方式。5.2 預(yù)處理階段句子被大量跳過(guò)現(xiàn)象是 msra_preprocessing.py 運(yùn)行結(jié)束后輸出文件的行數(shù)比原始標(biāo)注文件少了很多。原因是原始語(yǔ)料里有很多全角空格、連續(xù)換行和編碼不一致的字符腳本在檢查標(biāo)簽對(duì)齊時(shí)會(huì)跳過(guò)這些異常句子。解決方法是先用文本編輯器把原始數(shù)據(jù)統(tǒng)一轉(zhuǎn)成 UTF-8 編碼刪除所有全角空格再重新運(yùn)行預(yù)處理。如果 skip 率還是超過(guò) 5%用 Python 腳本打印幾條被跳過(guò)的樣本看看具體是在哪個(gè)環(huán)節(jié)斷掉的。5.3 BERT 權(quán)重加載超時(shí)現(xiàn)象是第一次啟動(dòng) BERT_BILSTM_CRF 訓(xùn)練時(shí)程序長(zhǎng)時(shí)間卡在 from_pretrained 這一步最后報(bào)網(wǎng)絡(luò)超時(shí)錯(cuò)誤。原因是 huggingface 的預(yù)訓(xùn)練權(quán)重下載地址在國(guó)內(nèi)訪問(wèn)不穩(wěn)定尤其是 chinese_L-12_H-768_A-12 這個(gè)文件體積接近 400M。解決方法是手動(dòng)下載權(quán)重文件后放到 data/chinese_L-12_H-768_A-12 目錄然后在 path.py 或直接用 from_pretrained 指定本地路徑。5.4 Sigmoid 和 Softmax 混淆導(dǎo)致的實(shí)體邊界錯(cuò)誤現(xiàn)象是 BERT_BILSTM_CRF 的 loss 一直在下降但驗(yàn)證集上預(yù)測(cè)出來(lái)的實(shí)體永遠(yuǎn)只有單字不會(huì)有連續(xù)的多個(gè)字。原因是部分實(shí)現(xiàn)把輸出層誤寫(xiě)成 sigmoid 激活然后按閾值判定而不是用線性層輸出發(fā)射分?jǐn)?shù)交給 CRF 解碼。CRF 的維度數(shù)量必須等于標(biāo)簽數(shù)加一因?yàn)槠鹗紭?biāo)記要單獨(dú)占一個(gè)位置這個(gè)細(xì)節(jié)屬于最隱蔽的那類(lèi)問(wèn)題排查時(shí)直接看標(biāo)簽類(lèi)別數(shù)量和預(yù)測(cè)結(jié)果來(lái)定位。5.5 顯存不足和 OOM 崩潰現(xiàn)象是 BERT_BILSTM_CRF 模型訓(xùn)練到第二個(gè) epoch 時(shí)直接報(bào) CUDA out of memory 崩潰。原因是 BERT 本身占用顯存非常高batch_size 設(shè)成 32 對(duì) 12G 顯存來(lái)說(shuō)完全不現(xiàn)實(shí)。解決辦法是把 batch_size 降到 4同時(shí)在 data 加載時(shí)用 num_workers 提高數(shù)據(jù)吞吐。要是還撐不住就檢查訓(xùn)練代碼里是否每個(gè) epoch 結(jié)束后把梯度和中間變量都釋放了這通常能省出 30% 的顯存。6. 進(jìn)階驗(yàn)證與微調(diào)技巧讓三套模型在自定義數(shù)據(jù)集上真正可用6.1 用模型預(yù)測(cè)結(jié)果做人工校驗(yàn)訓(xùn)練好模型后不能只看 F1 值就認(rèn)為完事了。我習(xí)慣準(zhǔn)備一份不帶標(biāo)簽的測(cè)試文本直接跑預(yù)測(cè)來(lái)看實(shí)際輸出。抽取一段新聞文本模型輸出的實(shí)體列表如果能把“北京”“騰訊”“小明”等實(shí)體準(zhǔn)確切分出來(lái)說(shuō)明邊界沒(méi)有問(wèn)題如果連續(xù)出現(xiàn)實(shí)體被拆分或合并大概率是標(biāo)簽體系的 BIO 和 BIESO 不一致。python train.py --model BILSTM_CRF --predict --input_text 小明來(lái)自北京在騰訊擔(dān)任算法工程師。這段偽代碼展示的是預(yù)測(cè)入口的方式。實(shí)際源碼中會(huì)把預(yù)測(cè)邏輯封裝在 eval 分支或者提供單獨(dú)的小腳本讀取訓(xùn)練好的模型參數(shù)。輸出格式通常是一行文字加一行對(duì)應(yīng)標(biāo)簽人工檢查時(shí)重點(diǎn)看三類(lèi)錯(cuò)誤實(shí)體漏召回、實(shí)體內(nèi)多字、實(shí)體間粘連。6.2 自定義數(shù)據(jù)集的標(biāo)簽體系對(duì)齊每個(gè)數(shù)據(jù)集都有自己的一套標(biāo)簽體系。人民日?qǐng)?bào)語(yǔ)料常用 PER、ORG、LOC 三類(lèi)一些金融語(yǔ)料還會(huì)增加 DATE、MONEY 等類(lèi)別。在換數(shù)據(jù)集前必須做兩件事把原始標(biāo)注統(tǒng)一成 BIO 格式標(biāo)簽類(lèi)別映射表要和 utils.py 里的 category_to_index 對(duì)應(yīng)。常見(jiàn)做法是先寫(xiě)小腳本把數(shù)據(jù)轉(zhuǎn)成通用格式標(biāo)簽用 B-xxx、I-xxx、O 這三種基礎(chǔ)標(biāo)記然后在需要的時(shí)候轉(zhuǎn)換成 BIESO 的 B、I、E、S、O 五種標(biāo)記來(lái)切分單字實(shí)體。這里的核心準(zhǔn)則是標(biāo)簽不統(tǒng)一的問(wèn)題要在預(yù)處理階段解決不要指望模型自己適應(yīng)不同標(biāo)簽體系。def convert_bio_to_bieso(labels): # labels 是一串 Bio 標(biāo)簽的列表 converted [] for idx, label in enumerate(labels): if label.startswith(B-): # 如果下一個(gè)是 O 或者 B 開(kāi)頭說(shuō)明這是單字實(shí)體 if idx 1 len(labels) or labels[idx 1] O or labels[idx 1].startswith(B-): converted.append(S- label[2:]) else: converted.append(B- label[2:]) elif label.startswith(I-): if idx 1 len(labels) or labels[idx 1].startswith(B-) or labels[idx 1] O: converted.append(E- label[2:]) else: converted.append(I- label[2:]) else: converted.append(O) return converted這段轉(zhuǎn)換邏輯的處理順序是先判斷是否為單字實(shí)體再?zèng)Q定標(biāo)記是 B、I、E 還是 S。轉(zhuǎn)換完成后必須檢查一下代碼里 CRF 層的標(biāo)簽數(shù)量是否等于五類(lèi)乘實(shí)體類(lèi)別數(shù)加 O否則張量維度就會(huì)報(bào)錯(cuò)。6.3 學(xué)習(xí)率衰減和早停策略如果訓(xùn)練到后期 F1 值一直在 80 到 82 之間震蕩不上升問(wèn)題大概率是學(xué)習(xí)率沒(méi)做衰減。我的習(xí)慣是每?jī)蓚€(gè) epoch 把學(xué)習(xí)率乘 0.8或者在驗(yàn)證集 F1 連續(xù)三個(gè) epoch 不增長(zhǎng)時(shí)把學(xué)習(xí)率減半。早停設(shè)置在驗(yàn)證 F1 連續(xù)五個(gè) epoch 不提升時(shí)直接停止訓(xùn)練并加載歷史上最優(yōu)權(quán)重這個(gè)辦法能明顯減少 BERT 模型在過(guò)擬合邊緣的無(wú)效訓(xùn)練時(shí)間。6.4 多模型集成的一個(gè)輕量技巧資源包里五套模型經(jīng)常被當(dāng)成選擇題其實(shí)可以做成組合。時(shí)間允許的話用同一個(gè)驗(yàn)證集分別訓(xùn)練 BiLSTMCRF、IDCNNCRF 和 BERTBILSTMCRF在預(yù)測(cè)階段把三個(gè)模型的輸出做投票或者對(duì)每個(gè) token 計(jì)算不同模型的概率平均。實(shí)際體驗(yàn)中 BERT 模型的權(quán)重通常要比其他兩個(gè)略高0.5 比 0.3 比 0.2 的組合在多數(shù)數(shù)據(jù)集上效果不錯(cuò)。雖然比單一模型增加了一些推理耗時(shí)但性能不穩(wěn)定時(shí)用 10 分鐘換取幾個(gè)點(diǎn)的準(zhǔn)確率提升是劃算的。這類(lèi)的坑我在每一次換數(shù)據(jù)集時(shí)都會(huì)再踩一遍尤其是標(biāo)簽體系對(duì)齊和預(yù)處理階段的數(shù)據(jù)清洗。后來(lái)養(yǎng)成的習(xí)慣是不管用什么數(shù)據(jù)集先跑完預(yù)處理腳本后馬上檢查行數(shù)和異常樣本再進(jìn)入訓(xùn)練環(huán)節(jié)。從拿到這份源碼到完全跑通我前前后后花了大半天時(shí)間但把里面的坑摸清后后續(xù)換任何數(shù)據(jù)都能在兩小時(shí)內(nèi)完成全流程。希望這份實(shí)戰(zhàn)筆記能幫到你沿著這個(gè)流程走三套模型都能順利跑起來(lái)。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
大香蕉综合| 六月婷五月丁香| 中字幕视频在线永久在线观看免费 | 天堂综合久久| 人人做天天爱| 99色这里| 五月天第四色开心色播| 97电影99热| 色色色色综合网| 午夜电影网VA内射| 夜夜涩涩涩| 99精品视频播放| 97干在线视频| 啪啪激情网| 夜夜操狠狠操| 99爽视频| se99视频| www.五月天| 久久婷婷五月天蜜桃| 日韩色色色色色| 丁香香五月激情免费视频| 97人人搞| 天天肏天天肏| 五月丁香亭亭| 五月天综合网| 蜜乳中文字| 日本久久99久久| 伊人在线视频| 婷婷亚洲天堂| 99精品在| 79亚洲精品少妇| 人碰人人人玩91| 丁香五月色五月| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | www.ppypp| 丁香五月中文字幕| 激情淫乱男女| 精品二区| 婷婷五月天AV| 久久久中文| 丁香激情五月少妇| 婷婷五月天开心激情网| 五月婷婷无码| 人妻久久久久久久久妻久久久久| 九九九精品视频免费观看| 亚洲色综合色网| 少妇被下春药玩弄A片| 超碰操网| 人操综合| 婷婷丁香五月社区亚洲| 9久久精品视频| 中文字幕高清av| 国产精品色色| 99re6久热只有精品6在线直播| 色亭亭五月天丁香综合AV - 百度 - 百度| 婷婷五月天色丁香| 97人人妻人人艹| 国产成人AV| 亚洲韩国日产综合AV| 成人AV中文字幕| 91色碰| 欧美性爱五月天| 五月婷婷 激情五月| 大香蕉520| 丁香五月天日韩无码| 日本高清久久| 亚洲操逼网| 日本在线视频播放91| 人妻久久久久久| 亚洲人妻av伦理| 影音先锋自拍网| 色五月播五月| 婷婷色色网| 另类小说五月天| 成人色色视频| 9在线9在线婷婷在线国产| 99碰碰| 亚洲性爱电影| 五月激情婷婷六月| 九九热精品| 狠狠久久婷五月| 9久久精品| 日本久久婷| 色婷视频| 天天摸色吧天天摸色吧| 伊人色欲五月天| 婷婷五月天Av| 99久久精彩视频。| 久久婷婷六月天| 伊人久久大香网| 丁香五月大香蕉AV| 久久久久久久8| 日韩av手机在线观看| 日本九九九九| 久久性爱视频| 超碰在线94| 丁香婷婷人妻| 99爱免费视频| 狠狠干,狠狠操| 亚洲五月天婷婷| 五月婷婷六月激情| 色色综合网站| 91无码一区人妻A片蜜| 女人高潮内射99精品| 五月婷婷啪啪| 丁香五月天啪啪a日本| 国产成人AV不卡| 一区二区三区XXXXXX| 超碰99成人在线| 99在线免费观看| 国产在线网址1| 久草婷婷在线| 超碰在线精品| 激情五月婷婷开心网| 天天插天天插| 一婬一伦一区二区三区| 久久九九玖玖| 婷婷五月天激情亚洲小说| 五月丁香婷婷激情澎湃四射| www.色9| 日本欧美在线| 丰满少妇乱A片无码| 色综合99色| 五月天大香蕉婷| 中文av在线观看| 久久99热这里只有精品23| 很很干在线视频| 国产精品久久7777777精品无码| 夜色综合网| www.色九月| 久久婷婷色| 99干日本| 久久婷婷精品| 中文aV网| 婷婷五月天激情基地| 夜夜 操无码| 91久久久久久久| 久久婷综合| 九九色video| 99热欧美偷拍| 99re思思精品视频在线观看| WWW,五月| 婷婷久久色五月婷婷久久久| 久久伊人大香蕉| 国产色婷婷亚洲| 就去涩涩丁香五月天| 久久九区| 人人操婷婷| 亚洲熟妇AV综合网五月丁香伊人| 综合激情在线视频| 日韩AV中文字幕在线| 婷婷 久综合| 丁香五月天AV| 午夜少妇在线观看视频| 激情九色| 五月的色婷婷高潮| 丁香五月婷婷香| ji'qing'luan'ren'lun| 成人AV在线电影| 色五月激情五月| 日韩国产在线精品| 亚洲综合在线视频| 欧美日本另类| 操逼五月天| 99视频在线精品| 色99视频| 激情图片婷婷| 9久精品| 久久综合激情五月天| 中文网av| 人人爱操| 久草五月天| 99丁香五月婷| 伊人久久大香线蕉av最新| 色婷视频| 在线综合婷婷| 中字幕视频在线永久在线观看免费| 激情四射五月天| 26uuu.| 激情五月天色爱| 亚洲中文字幕网| a在线观看| 97碰人人操| 日屌日日操日日色| 日韩有码一区| 99热这里只有精品免费观看| 99热这里只有精品9| 97超碰在线免费观看| 六月婷婷色色色| 性欧美日本| 五月天婷综合网站| 久操福利| 97午夜一区二区| 天天操夜夜啊| 久月婷婷| 婷婷色五月婷婷姐妹| 久热这里只有精品99re| 97caop| 97色干| 久热这里| 婷婷综合中文字幕| 色你久久| 超碰国产AV| 国产97色在线 | 日韩| 国产欧美日韩综合精品一区二区| 久久在这里99| 最新丁香六月婷婷| 亚洲精品久久久久久久久久吃药 | 丁香婷婷激情综合五月激情| 五月天婷婷综合免费| 91久久久久久| 成人五月天丁香婷| www.超碰在线| 色五月亚洲五月天| 无码A片一区二区免费| 深爱激情av| 日日爽日日| 人妻无码精品一区| 全高清无码视頻| 小视频aaa久久久| 国产偷人爽久久久久久老妇APP| 丁香五月大香蕉| 丁香社92视频| 五月天精品| 嫩草AV久久伊人妇女超级A| 4399伦理午夜| 26UUU精品一区二区| 天天色粽合合合合合合合| a在线观看| 丁香 亚洲 久久| 五月天综合久久丁香91| 五月激情视频| 婷婷色日本| 九九九干精品| 亚洲五月天综合| 亚洲美女高潮久久久久久69| 久久天堂色| 狠狠草综合网| 丁香五月天导航| 日日干日日| www激情网| 日韩AV在线影片| 91艹人| 96人人操人人操人人| 久久综合影院| 91九色PORNY肉丝在线| 9色天堂| 五月狠狠| www.婷婷| 激情综合网五月| 色狠狠色综合| 国产亚洲精品久久久久久久久动漫| 99热婷婷| 亭亭玉立国色天香| 久久婷婷五月天激情新地址| 噜噜噜噜综合在线| 成人av在线网站| 欧美性生交XXXXX无码小说| 中文字幕激情综合| 直接看的AV| 九九大香视频| 成人午夜天| 六月丁香婷婷视频综合在线观看| 少妇人妻丰满做爰XXX| 99热免费观看| 大香蕉综合网| 欧美电影在线播放| 综合五月天| 丁香五月婷婷狠狠色| 婷婷刺激综合| 26uuu视频欧美| 另类小说五月天| 五月六月婷| 激情婷婷五月天丁香| 99亚洲精品视频在线观看| 夜夜操天天干| 色综合丁香| 六月丁香激情| 久久狠色噜噜狠狠狠狠97| 天天操天天国产三级片处女学生妹| 天天色综合网1| 玖久久网站| www.激情五月天| 激情淫乱男女| 日韩啪| 久久人人九九| 国产精品18久久久| av在线免费网站 | 日本九婷婷| 欧美成人网婷婷综合在线| 婷婷五月天丁香激情| 色婷婷五月色| a色色色色色| 欧美啪啪网| 色婷婷五月综合| 青青热视频| 国产激情一区| 精品爱欲五| 丁香五月六月综合激情| 婷婷五月六月丁香| 这里只有精彩小视频视频网站| 性做爰A片免费视频A片直播| 婷婷俺去也| 99久久高清视频| 伊人婷婷综合| 色,激情五月天| 91婷色| 操人91| 日韩美女羞羞网站在线观看| 懂色av粉嫩AV蜜臀AV| 色婷青青| 伊人婷婷综合| 激情涩涩网| 97碰成超视频免费视频| 激情综合婷婷| 欧美婷婷五月丁香| 深爱五月天婷综合| 2050人人操免费工开爱| 久久久久激情| 国产日韩欧美性生活| 91精品国产综合久久久不卡电影| 五月天另类小说| 亚洲性爱干干| 婷婷伊人综合| 激情综合网五月天| 日本五月天一页| 一级二级色大片| 五月婷婷亚洲色视频| 99热思思在线观看| 大香蕉婷婷色| 亚洲成片在线观看| 人人播| 婷婷丁香十月| 狠狠草综合网| 五月婷婷激情中心| 超碰不卡在线| 99性感视频| 亚洲永久免费| 日本欧美999久久久三级片| 色黑鬼导航| 高清无码网址| 国产日产亚系列精品版优势| 六月色丁香中文字幕| 欧美激情综合色综合啪啪五月| 少妇性按摩无码中文A片| 婷婷中文字幕版| 亚洲九九99精品视频在线播放| 五月天激情无码专区| 国产三级片91| 99热99成人| 天天肏天天肏天天肏| 色六月 婷婷| 五月色网| 99热这里只有精品2| 91日韩在线| 99网| 色五月婷婷九月| 色五月激情网| 99热骚货| 色狠狠综合入口| 五月丁香性| www.狠狠操| 国产三级片91| 色。 婷婷婷| 超碰成人电影| 91精品刘玥| 超碰免费在线| 这里只有精品在线视频在线观看| wwwC0maV五月花| 思思热在线视频观看精品| 男人天堂99| 加勒比日本一区二区三区| 日本三级网址| 五月天色色婷婷| 97福利视频| JAPANRCEP老熟妇乱子伦视频| 99爱免费在线视频| 91在线操| 五月激情综合网| 六月婷婷视频| 婷婷久久爱| 久久精品99久久久久久| 丁香六月天婷婷在线| 九九九干精品| 91丨九色丨高潮丰满日本| 五月天激情综合首页| 丁香五月婷婷av影院| 婷婷五月天综合在线 | 婷婷五月天av| 伊人网欧美在线男人天堂五月丁香| 97精品人人A片免费看| 中文字幕乱轮| 综合久久婷婷| 日本eVa一区=区视频| 99热官网| 亚洲色色图片| 182tv992tv人之初午夜免费观看| 欧日韩成人| 欧洲亚洲免费视频9| 日本nghangse中文字幕| 色色色9| 日日激情网| 另类 在线| 丁香五月婷婷基地| 啪啪小说五月天| 无码激情| 五月丁香激情综合网官网| 丁香九九九九| 天天日天天操天天干| 男人的天堂97| 狠狠干综合| 五月婷婷开心丁香| 超碰九色| 中文字幕人妻一区二区| 91精品91久久久中77777| 激情五月天小说视频| 任你擦免费视频| 国色天香成人网| 丁香婷婷五月天在线视频| 色噜噜狠狠色综| 久久涩视频| 色婷婷A| 五月婷婷六月丁香玖玖玫瑰91| 婷婷五月天亚洲| 九九热视频思思| 综激情网| 丁香五月激情久久麻豆| 日韩成人av在线| 婷婷五月天亚洲图片| 五月丁香久| 日本少妇裸体做爰高潮片 | 亚洲成人网站在线观看| 五月情涩综合婷婷| 丁香五月激情婷婷视频| 久久九九亚洲| 激情五月婷| 91午夜激情| 色色色视频免费无码 | 婷婷丁香五月在线播放| 都市激情蜜桃婷婷五月天| 丁香久久激情俄| 五月天播播| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪 | 激情综合网色播五月| 婷婷激情五月天在线视频| 日韩美女羞羞网站在线观看| AA片在线观看视频在线播放| 99色综合网| 激情五月婷在线精品| 狠狠香蕉| 色综合久久无码| 五月丁香六月婷| 激情五月色婷婷| 色婷婷中文字母五月丁香| 丁香六月av| 99精品人人| 开心激情五月天网| 婷婷的久久网站| 婷婷中文网站| 中文乱子伦视频| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 99色综合久久| 色五月激情婷婷| 涩五月色婷婷| 99热国产国产| 无码人妻电影| 伊人大蕉香| 嫩草AV久久伊人妇女超级A| 人妻视频在线| 国产婷婷五月天| 日日夜夜狠狠婷婷色| 久久婷婷五月综合啪| 日韩AV无码影片| 五月婷婷综合网| 五月丁香天堂网| 色综合色欲综合天天免费| 黄色精品五月婷婷| 极品五月天| 1000部毛片A片免费观看| 69色婷婷| 色婷婷丁香五月综合| 青青草原中文字幕| 丁香五月影视| 亚洲视频无| www久久久久久久久久久| 五月婷婷啪啪| 99热免费| 99爱在线观看视频| 99热最新网址| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 中文字幕无码人妻少妇免费视频| 99在线精品免费视频| 婷婷五月激情六月| 四月婷婷丁香| 99热日| AV堂狠狠干| 123草逼网| 99热偷拍| 五月激情影视| 色婷婷五月天天天干天天操天天爽| 九九综合久久丁香婷婷,开心激情综合网| 色婷婷激情| 啪啪五月综合| 丁香六月婷婷激情| 日韩AV免费电影在线播放| 无码99| 天天操加勒比| 丁香五月a| 无码人妻一区二区三区四区| 五月婷婷五月天激情视频| 欧美在线操| 国产99久9在线| 中文字幕丰满乱孑伦无码专区 | seav天堂| 男男野外做爰全过程69| 超碰av在线| 九九香蕉网| 色激情五月| 五月天亭亭俺也| 五月丁香无码| 五月天欧美激情| 激情五月丁香色婷婷| 丁香六月婷婷综情欧美| www久| 成人一级片| 婷婷七月丁香色色| 99热热热国产超碰| 中文字幕不卡视频| 五月婷婷激情在线| 亚洲182在线观看| 99人妻碰碰久久久禁片| 国产欧美精品AAAAAA片| 国产av天堂| 我爱大香蕉| 99热这里只有精品首页| 亚洲色婷婷| 99热日韩| 91碰视频| 久久六月天| 射久久丁香五月| 人人操AV| 激情五月天小说网| 亚洲精品操一操、噜一噜、摸一摸、爽 | 久热精品免费视频4| 久草热8精品视频在线观看 | 国产日批视频| 婷婷五日b| 久久香蕉网| 9操在线| 激情综合网址| 99热99色| 五月丁香六月综合情在线观看| 久久婷色| 性五月激情| 久久最新色色色| 色丁香五月天射婷婷爱婷婷| 激情五月,色五月| 99久久99视频只有精品| 无码地址| 成人超碰AV| site:minyis.com| 玖玖色资源站| 狠狠狠狠狠狠狠狠草| 天堂五月婷婷| 色。 婷婷婷| 狠狠色丁香婷婷基地| 婷婷五月天色网久| 97涩涩丁香五月天| 精品皮股午夜AV| 996日日爱| 开心五月婷| 久热只有这里精品| 啄木鸟丝袜美女福利视频| 天天搞天天色综合| 人人视频人人干人人做| 久久久久久97| 五月婷婷色影院| 91婷婷在线| 成人丁香五月| 国产99久久久国产精品免费看| 午夜性做爰电影| 搡BBBB搡BBB搡五十| 久久久婷婷五月天| 天天狠狠夜夜狠狠2023| 在线日韩视频| 五月天色色无码| 九九精品大香蕉| 国产亚洲99久久精品熟女| 久久国产AV| 日本色久| 色优久久| 欧美丁香六月在线观看视频| 激情综合网亚洲色图| 狠狠色噜噜| 99精彩视频| 热久精品| 久/久精品99看9| 亚洲免费看片| 狠狠ri| 色色网91| 日韩久热| 国产永久一二一起草| 婷婷五月天伊人网在线观看视频| 拳交大逼| 色婷婷五月色| www.夜夜操| 丁香五月五月婷婷欧美大香蕉| 国产欧美性成人精品午夜| 久久性都花花世界成人免费视频| 欧美激情伊人| 免费黄色视频网址| 婷婷五月天伦理| 深爱五月日韩| 久热91精品| 99精品亚洲| 日本人妻伦在线中文字幕| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | 开心五月激情| 天天爽天天摸| 婷婷五月综合色拍| 五月婷婷色色| 婷婷不卡基地| 激情五月婷婷啪啪| 丁香婷婷久久| 五月丁香啪啪啪啪| 五月天 另类图片| 色婷婷88| 五月天婷婷丁香导航| 丁香九月婷| 乱精品一区字幕二区| 热99.com婷婷| www.99热视频| 一本道综合网| 五月激情站| 在线不卡视频| 少妇水多A片太爽了| 丁香青青五月天| 欧洲亚洲免费视频9| 五月天婷五月天综合网在线观| 婷婷十月丁香| 久久激情五月婷婷| 99精品国产在热久久| 婷婷色一二三区波多野结衣| 色99视频| 丁香五月婷婷色五月| 亚洲天码视频www蛋播视频| 九九精品自拍| 国产午夜精品一区二区三区四区| 九九超日本| 久久免费精品小视频| 天天cha成人综合网| 天天天天干| 五月天伊人| 无语停婷丁香网| 91久久综合亚洲鲁鲁五月天| 亚洲综合丁香五月| 婷婷五月天福利| 五月婷婷在线视频| 97久久精品视频| 五月丁香啪啪激情| 日本成人小说婷婷六月| 九九色人| 久草丁香婷婷1024| 综合99综合久久久久久久| 五月丁香婷婷六月天| www.色婷婷| 亚洲精品字幕在线观看| 哇嘎成人久久| 亚洲五月六丁香激情| www.婷婷五月天.com| 日本人妻A片成人免费看片| 一区二区乱视频码| 免费视频舔| 99热这里只有精品3| 五月天激情婷婷| 国产亚洲成AV人片在线| 六月丁香婷婷拍拍| 久色资源| 熟妇人妻中文字幕无码老熟妇| 日本99婷婷| 激情婷婷内射| 日韩色色视频| 久久综合久色欧美综合狠狠| 91丁香五月| 97色色色色色色色色色色色色色| 欧美色99| A片天天| 成人一级片| 亚洲一区二区无码蜜乳av| 五月婷婷激情| 激情婷婷五月在线合集| 五月天婷婷色五月天| 五月婷婷之婷婷| 欧美黑人巨大性生话| 91人人澡人人爽人人看| 婷婷五月综合啪| 五月丁香久久| 久久久婷婷色五月资源网| 99re这里只有精品免费| 超碰日日操| 五月婷婷影视| 掩去也综合五月视频| 色噜噜狠狠一区二区三区| 五月天开心网| 亚洲综合婷婷五月| 就爱射中文字幕资源网| 26uuu国产| 五月天婷婷激情在线色图| 天天插轮理| 婷婷精品视频| 欧美啪啪网| 操逼福利视频| 79精品视频在线观看,| 婷婷五月天丁香久久| 大波美女VA网站| 亚洲综合网 665566| 激情影院69| 思思热国产视频| 婷婷成人视频| 4438亚洲欧美| 久久66er久久| 婷婷的99视频网站| 日本在线视频看se99| 婷婷成人五月天一区| 五月婷综合| 九月av| 五月丁香婷婷成人综合网| 中文字幕日产A片在线看| 在线看片av| 日日操日日撸| 狼人伊人天堂| Av性爱网| 99九九精品| 在线观看亚洲AV| 天天干天天色天天干| 天天爽天天日| 超碰com| 丁香桃色网| 91性交在线播放| 激情深愛五月視頻| 五月丁香香蕉| 99色五月| 婷婷五月六| 久久大大香| 天天爱天天做天天舔| 亚洲成人免费电影| 性热视频99精品| 26uuu国产激情视频| 国产偷人爽久久久久久老妇APP| 日本老女人黄页在线播放| 欧美天堂久久| 性爱激情小说AV五月丁香花| 色人妻五月| 92久久精品一区二区| 一级黄色影片| 欧洲亚洲免费视频9| 人人操大| 久久精品亚洲一级牲爱综合| 久久久国产精品黄毛片| 婷婷色五月噜噜| 丁香五月影院| 超碰在线免费| 久青操| 色婷婷久久视屏| 天天婷婷色六月| 婷婷六月激情综合| 五月天色综合服务平台| 国内外色色色色色成人视频| 婷婷丁香人妻天久久| 一区二区乱码视频| www.色情五月天.com| 国产资源91在线| 一区二区三区四日本| 天天色伊人| 色播丁香| 婷婷五月天在线看| 日本久久99| 色综合久久天天综合网| 色呦呦美女| 2015超碰| 五月天天天天天天天天天天天天天天天婷婷婷 | 丁香五月天堂婷婷| 森林影视大全,最好看的2019年视频 | 丁香97综合| 日夜夜久久| 99精品综合| 热99re| 美女久久婷婷| 91啪级电影| 欧美日韩中文国产一区发布| 99热欧| 99热亚洲| 久久99热这里只有精品23| 激情第四色| 亚洲精品乱码久久久久99| 成人av免费观看| 精品婷婷五| 99热在线播放| 丁香六月婷婷开心| 婷婷五月天伊人| 99视频地址| 五月天精品| 婷婷另类开心| 国产乱妇无乱码大黄AA片| 99亚洲综合| 人妻内射一区二区在线视频| www,色中色| 2025超碰| 婷婷五月天综合中文| 婷婷激情六月中文| 婷婷丁香五月综合网上| 亚洲激情Av| 五月丁香性| 色玖玖玖| 六月婷婷久久| 六月婷久久| 婷婷91| 婷婷色网| 色五月大香蕉| 插插网爽妇五月丁香| 成人在线二区| 丁香六月无码| 色九月综合网| 激情 婷婷| 91丨九色丨熟女|新版| 婷婷在线免费| 色婷婷五月天中文字幕| 大香蕉啪啪啪| 涩涩五| 碰碰人人人| 婷婷五月天狠狠搞干| 狠干综合| 伊人网碰碰| 丁香五月性| 99热精品在线在线| 欧美色播综合在线观看| 免费无码毛片一区二区A片| 丁香社区婷婷五月| www,久久久人人| 国产亚洲色婷婷久久99精品91| 久艹大香蕉| 97啪啪| 天天爱天天日| 图片区 小说区 区 亚洲五月| 96性爱视频| 中文字幕在线视频播放| 婷婷五月六| 97干免费视频| 熟女激情五月天| 亚洲avjiujiur91| 日韩青青| 能看的av网站| 久久性操| 狠狠色综合网| 开心五月激情站| 西西4r午夜剧场| 狠狠色综合网| 婷婷五月电影院| 99亚洲视频| 狠狠干激情五月| 无码人妻一区二区一牛影视| 日本天堂免费99| 久久久精品视频79| 国产69久久久欧美黑人A片| 色婷亚洲| 97黑人精品区| 婷婷五月无码| 爱草视频在线观看| A片天天| 五月天另类激情在线| 男女99免费视频| 97色吧| 99亚洲无码| www.五月天婷婷| 99热这里只有精品9| www激情网| 99九精品| 看片视频在线免费日产在线看| 免费观看的AV| 五月婷婷九九热| 五月丁香亚洲综合| 丁香五月在线视频黑人| 日本在线wwww| 色婷婷久久| 婷婷玉月丁香五月在线视频| 99热一本久道| 五月婷综合| 爱的综合网| 91丨九色丨老农村| 五月丁香五月综合欧美| 狠狠色 综合色区| 97干婷婷| 91Chinese在线| 色婷婷狠狠干芒果TV| 狼人狠狠操| 精国产品一区二区三区A片| 色色五月婷婷丁香| 二色AV| 欧美五月停| 九九精品热播| 色久婷婷网| 丁香五月婷婷欧美性爱| 久久精品系列| 玖玖伦理电影| 97丁香视频| 婷婷伊人五月天| 亚洲小说欧美激情| 91色吧网| 亚洲国产无线乱码在线观看| 五月婷婷六月丁香在线| 色热久资源| 久热视频97AV在线观看| 日本99久久| AV国产有码| 久久综合首页| 99精彩视频| 色婷婷的五月天| 综合久久婷婷五月丁香| 操b视频在线观看一区二区| 色情综合| 丁香五月六月欧美| 91热在线| 日韩在线视频9色| 激情爱爱网站超大免费| 色五月婷婷五月久久| 91在线操| 免费视频WWW在线观看网站| 思思热这里只有精品| 欧美成人无码高清一区二区三区| 玖玖玖婷婷婷| 这里只有精品在线视频在线观看| 五月丁香亚洲校园欧美| 91麻豆国产三级精品福利在线观看 | 亚洲V国产V欧美V久久久久久| 日韩精品一区二区亚洲AV观看 | 五月婷婷深深爱| 美国少妇性做爰| 日本在线视频播放91| 襙逼网| 男人天堂99| 久久综合五月天激情小说网站| 毛片新网地| 日逼免费视频 | 婷婷五月天Av| 中文字幕黄色电影网址| 亚洲中文字幕在线观看| 亚洲激情.com| 中文人妻主播久久| 啪啪东京热| 成人做爰A片免费看视频 | 婷婷爱五月| 五月激情影视| 国产va在线视频| www.91在线观看| 欧美色片中文字幕久久久久| 狠狠综合久久| 丁香六月婷婷一区二区三区| 美女亚洲五月丁香| 国产免费av在线| 超碰免费成人网站| 国产激情AV| 天天色综网| 99热国产这里只有| 国产婷婷综合在线免费视频| 色五月亚洲| 亚洲激情五月天| 九九视频在线| 99爱免费在线视频| 久久九九怡红院| 九月色婷婷综合| 岛国在线观看91| 深爱激情综合网| 色婷婷在线视频久| 成人版视频在线观看| 性爱激情五月| 天天日天天色| 久久精品系列| 婷婷五月天综合中文| 另类五月婷婷| 97久久久免费福利网址| 日本一级淫| 色色色色热| www.9797国产| 激情五月丁香综合网站| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 久久性爱视频网站| 五月天综合区| 久久之人妻| 91热视频色网站| 97碰 在线视频观看| 欧美 日韩 人妻 高清 中文| 日韩无码成人电影| 五月婷婷在线视频| 综合综合网| 成人精品一区二区三区四区五区 | www超碰com| 欧美激情性做爰免费视频| 欧美99热| 五月婷婷五月天在线| 婷婷亚洲在线| 99er免费在线观看| 日本久久婷| 97婷婷丁香五月天激情图片| 亚洲丁香花五月丁香花| 久久婷婷五月天| www.zbzhongsen.com| 九九综合| 婷婷五月天狠狠| 五月丁香啪啪啪啪| sS丁香五月婷婷| 日本色道视频网站| 色婷婷超碰| 看逼中文字幕| 久久综合66| 99在线精品免费视频| 99热久| 婷婷伊人久久| 五月丁香婷婷免费视频| 五月婷婷伊人在线| 99 这里只有精品| 成人五月天色天堂| 91九色精品女同系列| 欧美、日韩、中文、制服、人妻| 久久丁香婷| 亚洲熟妇AV乱码在线观看| 色播五月天激情| 在线中文av| 91超级碰在线| 亚洲va欧美va天堂v国产综合| 99色 色| 日本成人噜噜噜噜噜| 久热这里这里有精品| 异能之下短剧免费观看全集| 色综合大香蕉| 熟女91九色| 亚洲AV永久无码影院黑人 | 国产色色网站网址| 天天做天天爱天天搞| 丁香五月综合婷婷| 人妻激情在线| 免费播放片大片| 蜜臀99久久精品久久久久| 亚洲狠狠色丁香婷婷综合久久| 97色碰| 色情婷婷五月天| 五月天婷婷久久| 五月丁香大相交| 色五月大| 婷婷五月天激情小说| 色丁香五月| 黄色激情五月天| 五月天天天色| 五月天激情啪啪| 丁香5月婷婷| 天天爽综合| 99热这里只有精品33| www.狠狠干| 五月色 亚洲| 丁香五月婷婷亚洲综合精品在线| 亚洲婷婷月丁香五月| A一级操| 日本的α片xxxwww| 亚洲色婷婷色| 中文字幕丰满乱孑伦无码专区| 九九色欲网| 伊人五月婷婷| 99九九在线观看免费| 棕合影院色色| 国产97色在线| 成人一级片| 五月丁香六月婷婷啪啪| 婷婷午夜激情| 91色五月| 97碰碰视频在线观看| 婷婷色丁香五月| 婷婷中文在线| 亚洲成人综合在线| 九九热黄色| 91人妻人人做人碰人人爽九色| 超碰色综合| 欧美在线97| 99re热99| 97人人干人人操| 91chinese在线| 亚洲综合婷婷五月| 色播丁香| 成人 在线 日韩| 婷婷色色网| 九九蜜臀精品| 视色网在线播放| 综合在线丁香五月| 毛片新网地| 婷婷六月视频| 开心激情网在线| 婷婷五月六月丁香| 色色婷婷丁香五月天| 黄色成人网站在线播放| 激情五月综合亚洲另类| 五月婷婷激情综合| 在线中文亚洲| 高清视频一区| 亚洲婷婷免费| 五月综合无码| 综合婷婷| 噼里啪啦在线观看免费完整版视频 | 久久久久9999| 日韩 中文 欧美| 97人人操人| 99亚洲大片精品永久在线观看 | 婷婷五月天激情综合| 深爱激情网五月天| 国产AV一区二区三区日韩| 99热九九这里只有精品| 欧洲色色| 99热色精品| 久久人人看| 亚洲这里只有精品| 青青草婷婷五月天| 综合色色婷婷| 日本三级中文字幕| 91网站黄| 天天做天天爱| 思思热在线观看| 亚洲激情久久| 天天综合天综合久久网| 色黄啪啪| 91啪啪啪啪| 99ri精品| 丁香午月AV中文字幕| 日日干日日s| 亚洲夜夜操| 久久九九国产精品怡红院| 色婷婷A| 99爱在线免费视频| 国自产拍偷拍精品啪啪一区二区| 激情五月婷婷综合网| 青草青草久9视频在线视频| 日本99色| 久久婷婷五月| 丁香婷婷六月天| 亚美欧色影院| 欧美 日韩 成人| 丁香五月香蕉| 精品夜夜澡人妻无码AV| 久久性都花花世界成人免费视频| 日韩色色一区| 亚洲高清在线| 五月色导航| 婷婷爱五月天人人爱| 丁香婷婷月| 亚洲精品无码久久| 成人做爰A片免费看视频| 影音先锋男士资源网一区| 日熟女| 五月天色色网站| 五月丁香网站在线播放| 亚洲狠狠干| 乱码操操| 天天射影院| 夜夜AVV| 96丁香六月婷婷蜜桃综合久久| 开心亚洲久久开心| 六月色丁香中文字幕| 另类 在线| 激情五月天视频| 99综合色色色| 激情五月色婷婷| 美女丁香五月天| 午夜婷婷五月天| 激情五月天影院| av人人干| 大香蕉在线99热| 97色啪| 天天做综合| www,婷婷| 日韩无码专区| 中文字幕欧美日韩VA免费视频| 国产91在线视频| 97操在线视频| 五月婷婷免费| 97干婷婷| 天天日天天色| 激情综合五月丁香六月婷婷| 日本色图综合| 91dy.av| 噜噜噜久久| 亚洲第一综合| 婷婷五月天丁香久久| 婷婷五月天色色| 开心五月婷婷在线| 五月天开心婷婷激情网站| 99色热视频| 日比网免费国产| 日本免费91| 婷婷另类开心| 人妻久久久久久久 | 婷婷五月色图| 婷婷色系婷色| 综合婷婷五月天| 日本天天色| 丁香五月激情欧美| 久久五月天精品视频| 色J香五月天| 激情五月天网| 五月婷九九草| 久久免费精品小视频| 人妻自慰高清合集| 亚洲激情网| 久操香蕉| 大香蕉综合| 欧美综合五月丁香五月天| 人妻AV在线观看| 国产精品久久久久久久久久 | 久久婷婷五月| 五月天婷婷在线播放免费| 91大神操美女| 日产精品久久久久久久蜜臀| 五月婷婷综合性爱噜噜| 安息电影在线观看完整版| 看片视频在线免费日产在线看| 丁香五月偷拍| 九月大香蕉| 色亚洲中文| 少妇人妻人伦A片| 99超级碰免费视频| 人人操操| 99热日本| 91综合国免费久入| 丁香伍月婷电影全集| 天天色图| 久久aaaa片一区二区| 99久久极情精品一区| 中文字幕高清av| 综合激情啪啪| 久久激情五月| 国产精品国产成人国产三级 | 99国产精品白浆在线观看免费 | 五月婷婷丁香五月亚洲色| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 91碰碰碰久久久久| 丁香六月色香蕉视频| 狠狠做婷婷| 在线观看国产高清视频免费网站 | www.射伊蕉婷婷| 日韩人妻AV在线| 99久久99九九99九九九| 亚美欧色影院| 五月天婷婷色| 色七七九九| 五月婷婷丁香av| 五月丁香久久| 2015WWW永久免费观看播放| 九九视频精品在线免费| 五月丁香色色网| 综合99在线| 色插综合网| 五月丁香色婷婷色| 五月丁香另类网| 色欲Av五月天| 五月婷婷偷拍| 91精选国| 婷婷五月天播| 激情四射婷婷| 九九久久玖玖爱| 色久婷婷五月| 国产.亚洲.欧洲视频在线|