欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

中文命名實體識別實戰(zhàn):BERT+BiLSTM+CRF完整項目解析

中文命名實體識別實戰(zhàn):BERT+BiLSTM+CRF完整項目解析 簡介面向中文命名實體識別任務(wù)融合BERT、BiLSTM與CRF的Python實現(xiàn)方案可對中文文本中的人名、地名、組織機構(gòu)等實體進行端到端識別包含完整源碼、項目說明、預(yù)訓(xùn)練模型與標(biāo)注數(shù)據(jù)適合計算機、人工智能等專業(yè)學(xué)生用于畢業(yè)設(shè)計、課程設(shè)計或NLP實戰(zhàn)練習(xí)。壓縮包共58個文件以16個py源碼、19個pyc編譯文件、9個txt說明為主輔以png結(jié)構(gòu)圖、md筆記、xml工程配置和csv數(shù)據(jù)整體13.75MB目錄按模型、數(shù)據(jù)處理、訓(xùn)練等模塊劃分便于按圖索驥。從現(xiàn)有瀏覽數(shù)據(jù)看已有1209人學(xué)習(xí)下載。工程內(nèi)提供BILSTM_CRF、IDCNN_CRF、BILSTM_Attention_CRF、BERT_BILSTM_CRF等多種對比模型附帶人民日報和MSRA數(shù)據(jù)集預(yù)處理腳本可直接運行訓(xùn)練與測試項目說明詳細且經(jīng)測試運行成功既適合小白逐步練習(xí)也可作為課設(shè)、畢設(shè)或初期項目立項演示能幫助深入理解NER中序列標(biāo)注、特征融合與解碼的完整流程。1. 一個zip里裝著的成熟技術(shù)棧BERTBiLSTMCRF 到底是做什么的看到“基于BERTBILSTMCRF進行中文命名實體識別python源碼項目說明模型數(shù)據(jù).zip”這個打包名字懂行的人會先松一口氣這不是什么玩具 demo而是目前中文命名實體識別NER領(lǐng)域最經(jīng)典、最不容易翻車的三層結(jié)構(gòu)。BERT負責(zé)把每個字的語義編碼成向量BiLSTM在整句話里再做一輪上下文精修CRF在最后給標(biāo)簽序列套上合規(guī)約束。三者的關(guān)系有點像“閱讀理解 上下文潤色 校對排版”。這套技術(shù)棧能解決的具體問題很直接從一段中文文本里自動抽出人名、地名、機構(gòu)名、時間、藥品名、案件名等實體片段。對畢業(yè)設(shè)計、法律文書抽取、醫(yī)療病歷結(jié)構(gòu)化、客服工單打標(biāo)這些場景它都是最穩(wěn)的起點方案。在動手之前我要先幫你看清楚這個結(jié)構(gòu)為什么值得搭、每一步怎么落地、以及哪些地方會白白浪費你兩三天時間。2. 三層神經(jīng)網(wǎng)絡(luò)各司其職為什么非要把 BERT、BiLSTM、CRF 拼在一起2.1 中文NER難在哪邊界、歧義和嵌套中文命名實體識別和英文最大的差別在于“字”和“詞”的關(guān)系。英文里詞天然有空格分隔實體邊界基本等于詞邊界中文沒有這個天然分隔符所以中文NER通常退化成“序列標(biāo)注”問題——每個字給一個標(biāo)簽連起來才構(gòu)成實體。比如“我 在 北 京 上 班”這六個字需要給“北”“京”分別打上“B-LOC”“I-LOC”模型才能拼出“北京”這個地名。邊界還不是唯一難點。中文的歧義很要命“南京市長江大橋”既可以切成“南京市/長江大橋”也可以理解為“南京市長/江大橋”“小米上市了”里的“小米”是公司還是糧食要看句子上下文。更麻煩的是嵌套實體比如“北京大學(xué)附屬醫(yī)院”里同時存在“北京大學(xué)”和“北京大學(xué)附屬醫(yī)院”兩個實體但扁平式標(biāo)注只能選一層。所以一個能干活的NER系統(tǒng)必須同時擁有“理解語義”和“利用上下文修正”的能力這正是三層結(jié)構(gòu)存在的理由。如果把NER比作流水線BERT是看懂了全文語義的閱讀者BiLSTM是把前后文線索反復(fù)咀嚼的校稿人CRF則是最后那道不許標(biāo)簽亂跳的質(zhì)檢閘門。三層各管一段去掉任何一層效果都會肉眼可見地變差。2.2 為什么不能只用 BERT也不能只用 BiLSTMCRF先看只用BERT的情況。BERT經(jīng)過預(yù)訓(xùn)練之后每個字會得到一個帶著整句上下文信息的向量理論上可以直接把這些向量喂給一個全連接層輸出每個字屬于每種標(biāo)簽的概率。這樣做能出結(jié)果但在長句上問題很明顯BERT的解碼端沒有“記住剛才那個字是什么標(biāo)簽”的能力。比如“李華在北京工作”中“李”被識別成B-PER后下一個“華”大概率也應(yīng)該是I-PER但如果只看BERT輸出的概率向量“華”也可能被誤判成B-PER因為詞向量層面它并沒有“我是不是前一個實體的延續(xù)”這個信息。再看只用BiLSTMCRF的情況。BiLSTM能從兩個方向讀取序列信息CRF能約束標(biāo)簽轉(zhuǎn)移這套經(jīng)典組合在十年前是標(biāo)配。但它的天花板在于輸入特征如果還是用隨機初始化的字向量模型對語義的理解非常淺碰到“蘋果發(fā)布新手機”這種句子它很難把“蘋果”歸到ORG還是MISC因為沒有足夠的預(yù)訓(xùn)練知識告訴它“蘋果”在科技新聞里指公司。在實際項目中我見過不少團隊把這三層拆開做對比實驗。結(jié)論很一致BERT單層F1大約在82-86BiLSTMCRF單跑大概在75-80三層疊加能上到90左右。差異來源主要就是“語義理解”和“標(biāo)簽序列約束”這兩個能力缺一不可。另外BERT內(nèi)部其實包含12層Transformer已經(jīng)具備很強的特征提取能力所以疊加的BiLSTM通??梢宰龅脺\一些單層即可作用是對BERT輸出做一次序列級別的平滑聚合而不是重新提取特征。2.3 CRF的轉(zhuǎn)移矩陣沒有它標(biāo)簽會亂跳CRF條件隨機場在NER里的核心作用是一個詞約束。它會學(xué)習(xí)一個標(biāo)簽轉(zhuǎn)移矩陣比如“B-PER后面只能跟I-PER或者O不能直接跟B-LOC”“I-LOC前面必須是B-LOC或者I-LOC”。這種約束用代碼很難手寫全因為標(biāo)簽組合太多而CRF會從訓(xùn)練數(shù)據(jù)里自動統(tǒng)計這些轉(zhuǎn)移概率。具體來說BERTBiLSTM輸出的每個字的標(biāo)簽概率會被送入CRF層CRF會結(jié)合“當(dāng)前字的概率”和“前一個字的標(biāo)簽”這兩部分信息利用維特比算法找出整條句子最優(yōu)的標(biāo)簽路徑。舉個例子“我 在 北 京 上 班”如果沒有CRF模型可能給“北”打B-LOC、給“京”打O因為單獨看每個字“京”被識別成O的概率也不低但CRF知道“B-LOC 后面接 O”的轉(zhuǎn)移概率極低所以會把“京”強行糾正為I-LOC。注意CRF不是用來提升實體識別概率的它是用來壓制不合法序列的。訓(xùn)練過程中你是否正確實現(xiàn)了“損失 真實路徑分數(shù) - log(所有路徑分數(shù)和)”這個公式直接決定了最終實體邊界是否整齊。理解了這個原理你在調(diào)參時才不會把“CRF的學(xué)習(xí)率”和“BERT的學(xué)習(xí)率”混為一談——這是后面實操里非常關(guān)鍵的坑。3. 本地跑通最小源碼環(huán)境、數(shù)據(jù)格式與第一個訓(xùn)練循環(huán)3.1 環(huán)境準(zhǔn)備依賴與預(yù)訓(xùn)練模型下載在你打開那個zip之前先確認機器上已經(jīng)有了最基本的Python環(huán)境。這里的要求不算苛刻Python 3.8以上就可以顯卡有的話最好沒有也能用CPU硬跑只是訓(xùn)練速度會慢很多。下面是我常用的創(chuàng)建環(huán)境命令# 創(chuàng)建獨立環(huán)境并激活避免把系統(tǒng)Python搞亂 conda create -n ner python3.8 -y conda activate ner # 安裝核心依賴按順序執(zhí)行 pip install torch --index-url https://download.pytorch.org/whl/cu118 pip install transformers4.21.3 pip install datasets pip install seqeval pip install tqdm numpy pandas說一下每個依賴為什么要裝torch是BERT和BiLSTM的底層框架transformers負責(zé)加載預(yù)訓(xùn)練模型比如bert-base-chinese注意版本不要追新4.2x系列足夠新版本API差異反而容易讓你從網(wǎng)上抄來的訓(xùn)練代碼報錯datasets用來把原始標(biāo)注文件轉(zhuǎn)成pytorch能讀的Dataset對象seqeval是專門做序列標(biāo)注評估的庫比手寫F1計算省心得多。預(yù)訓(xùn)練模型這塊是很多人卡住的地方。HuggingFace上的bert-base-chinese大約400M如果網(wǎng)絡(luò)不穩(wěn)定建議設(shè)置鏡像環(huán)境變量# Linux/Mac下執(zhí)行 pip install -U huggingface_hub export HF_ENDPOINThttps://hf-mirror.com python -c from transformers import BertTokenizer, BertModel; BertTokenizer.from_pretrained(bert-base-chinese); BertModel.from_pretrained(bert-base-chinese)提示鏡像環(huán)境變量只對當(dāng)前終端有效。如果你用pycharm跑代碼需要在運行配置里同樣把HF_ENDPOINT加進去否則代碼里from_pretrained會重新走默認源卡在下載。判斷預(yù)訓(xùn)練模型有沒有下載成功看緩存目錄即可。Windows默認在C:\Users\你的用戶名\.cache\huggingface\Linux在~/.cache/huggingface/??吹侥P臀募暾稍谀抢锖竺嬗?xùn)練就不會再為下載來回折騰。3.2 數(shù)據(jù)標(biāo)注格式BIOES是什么意思你的數(shù)據(jù)要長什么樣中文NER的數(shù)據(jù)格式通常是“字標(biāo)簽”逐行排列不同句子之間用空行隔開。標(biāo)簽體系有BIO和BIOES兩種BIO標(biāo)簽將所有實體的第一個字標(biāo)為B-后續(xù)字標(biāo)為I-非實體標(biāo)為OBIOES在BIO基礎(chǔ)上多了E和S分別表示實體的結(jié)束字和單字實體。我在項目里優(yōu)先推薦BIOES因為它在實體邊界上的信息量更明確。舉個例子“我在北京上班”這句話的BIOES標(biāo)注長這樣我 O 在 O 北 B-LOC 京 E-LOC 上 O 班 O而“王小明去北京”這種含單字實體的句子就必須用S來標(biāo)單字人名王 S-PER 小 I-PER 明 E-PER 去 O 北 B-LOC 京 E-LOC如果你拿到的是BIO格式可以用一段小腳本轉(zhuǎn)成BIOES但轉(zhuǎn)換邏輯要小心處理“連續(xù)實體緊挨著”的情況BIO里連續(xù)兩個實體“北京上海”的標(biāo)注是“B-LOC I-LOC B-LOC I-LOC”轉(zhuǎn)BIOES時不能只看實體首尾必須判斷上一個字的標(biāo)簽是B還是I否則會把“北京上”誤標(biāo)成一個地名。這個轉(zhuǎn)換函數(shù)建議寫完以后用“北京市朝陽區(qū)”這種帶連續(xù)實體的句子手動驗一遍。3.3 數(shù)據(jù)讀取與標(biāo)簽對齊數(shù)據(jù)格式讀完下一步是把文本轉(zhuǎn)成模型能吃的張量。這一步是整個項目里最容易出錯的地方核心原因是BERT的tokenizer給每個漢字可能拆成多個subword片段而你的標(biāo)注是按“字”給的兩者對不上。我先展示一個最常見的數(shù)據(jù)讀取代碼然后解釋為什么要注意對齊# -*- coding: utf-8 -*- from transformers import BertTokenizer import torch MAX_LEN 128 def load_data(file_path): sentences, labels [], [] with open(file_path, r, encodingutf-8) as f: sentence, label [], [] for line in f: line line.strip() if line : if sentence: sentences.append(sentence.copy()) labels.append(label.copy()) sentence, label [], [] else: parts line.split() # 文件可能是“字 空格 標(biāo)簽”也可能用制表符 sentence.append(parts[0]) label.append(parts[-1] if len(parts) 1 else O) return sentences, labels class NERDataset(torch.utils.data.Dataset): def __init__(self, sentences, labels, tokenizer, label2id, max_len128): self.examples [] for sent, tag in zip(sentences, labels): # 關(guān)鍵點設(shè)置return_offsets_mappingTrue, 才能拿到每個subword對應(yīng)原文字符的映射 encoding tokenizer( sent, is_split_into_wordsTrue, max_lengthmax_len, truncationTrue, paddingmax_length, return_tensorspt, return_offsets_mappingTrue, ) # 標(biāo)簽對齊到subword word_ids encoding.word_ids() aligned_label [] prev_word None for word_id in word_ids: if word_id is None: aligned_label.append(-100) # 特殊token不參與loss計算 elif word_id ! prev_word: aligned_label.append(label2id[tag[word_id]]) else: # 同一個word被拆成多個subword沿用第一個標(biāo)簽 aligned_label.append(label2id[tag[word_id]]) prev_word word_id self.examples.append({ input_ids: encoding[input_ids].squeeze(), attention_mask: encoding[attention_mask].squeeze(), labels: torch.tensor(aligned_label, dtypetorch.long), }) def __len__(self): return len(self.examples) def __getitem__(self, idx): return self.examples[idx]這段代碼的關(guān)鍵在標(biāo)簽對齊邏輯。word_ids()會返回每個token對應(yīng)的原始字索引None表示CLS、SEP、PAD這些特殊token。遇到特殊token時我把標(biāo)簽設(shè)為-100這樣在計算交叉熵損失的時候PyTorch會自動忽略-100所在的位置。遇到同一個字被拆成多個subword的情況后續(xù)subword直接用第一個subword的標(biāo)簽保證標(biāo)簽不串位。注意上面的代碼里有一個容易埋雷的小地方——tokenizer的is_split_into_wordsTrue參數(shù)。如果不把句子傳成詞列表而是直接傳字符串BERT會按自己的規(guī)則重新分詞原本的“字-標(biāo)簽”對應(yīng)關(guān)系就被打亂了。我在剛開始做項目時就在這里吃過虧換句話說是“標(biāo)簽對不上”里最高頻的原因。數(shù)據(jù)集做好后按照8:1:1的比例劃分訓(xùn)練集、驗證集和測試集。劃分的時候要按句子為單位隨機打亂不能按字符打亂否則會造成同一句子的標(biāo)簽泄漏到不同集合里評估結(jié)果會虛高。4. 訓(xùn)練參數(shù)這樣調(diào)batch size、max_len 與學(xué)習(xí)率的三方權(quán)衡4.1 一套默認能跑的參數(shù)模板模型搭建和訓(xùn)練循環(huán)看起來代碼量不小但結(jié)構(gòu)是固定的。下面是一段可以直接套用的訓(xùn)練核心代碼也是大多數(shù)NER項目的通用寫法# -*- coding: utf-8 -*- import torch from torch.utils.data import DataLoader from transformers import BertModel, BertTokenizer, AdamW, get_linear_schedule_with_warmup import torch.nn as nn class BertBiLSTMCRF(nn.Module): def __init__(self, bert_path, num_labels, lstm_hidden256): super().__init__() self.bert BertModel.from_pretrained(bert_path) self.bilstm nn.LSTM( input_sizeself.bert.config.hidden_size, hidden_sizelstm_hidden, num_layers1, bidirectionalTrue, batch_firstTrue, ) self.fc nn.Linear(lstm_hidden * 2, num_labels) self.crf nn.CRF(num_labels) # 如果使用pytorch-crf庫 def forward(self, input_ids, attention_mask, labelsNone): bert_out self.bert(input_idsinput_ids, attention_maskattention_mask) sequence_output bert_out.last_hidden_state lstm_out, _ self.bilstm(sequence_output) emissions self.fc(lstm_out) if labels is not None: loss -self.crf(emissions, labels, maskattention_mask.bool()) return loss else: return self.crf.decode(emissions, maskattention_mask.bool())這段代碼的層次關(guān)系很清晰BERT的輸出維度是768BiLSTM的hidden_size設(shè)為256雙向拼接后是512維再通過全連接層映射到標(biāo)簽數(shù)量。注意CRF層直接放在了模型內(nèi)部loss計算時取負對數(shù)似然解碼時直接調(diào)用decode方法。如果你用的不是pytorch-crf庫也可以手寫維特比算法但既然有成熟的庫我建議直接用pip install pytorch-crf裝上省時又不愛出錯。提示上面對CRF的調(diào)用基于pytorch-crf這個庫。如果你拿到手的zip里是自己實現(xiàn)的手寫CRF類注意檢查它的decode是否接收了mask參數(shù)有些舊版實現(xiàn)不接收mask在padding部分會出現(xiàn)幻覺標(biāo)簽這類問題特別隱蔽。4.2 學(xué)習(xí)率與BERT層凍結(jié)微調(diào)的重心應(yīng)該放在哪訓(xùn)練參數(shù)的首選清單看這張表參數(shù)推薦值說明batch_size16GPU/ 8CPU顯存不夠就減半不要硬扛learning_rateBERT2e-5微調(diào)預(yù)訓(xùn)練模型的標(biāo)準(zhǔn)學(xué)習(xí)率太大容易災(zāi)難性遺忘learning_rateBiLSTMCRF1e-3下游隨機初始化的層需要用更大的學(xué)習(xí)率max_len128超過128的真實句子占少數(shù)長了切掉短了補齊epochs20-30存best模型不需要訓(xùn)滿全部warmup_ratio0.1前10%的step線性升學(xué)習(xí)率穩(wěn)定BERT微調(diào)有關(guān)鍵設(shè)計是分組學(xué)習(xí)率。BERT層用2e-5BiLSTM和CRF這些隨機初始化的層用1e-3這兩組參數(shù)放進同一個優(yōu)化器卻要用不同學(xué)習(xí)率。常規(guī)做法是在構(gòu)造optimizer時傳一個參數(shù)組列表# 構(gòu)造分組參數(shù)BERT層和下游層用不同學(xué)習(xí)率 optimizer_grouped_parameters [ {params: [p for n, p in model.named_parameters() if bert in n], lr: 2e-5}, {params: [p for n, p in model.named_parameters() if bert not in n], lr: 1e-3}, ] optimizer AdamW(optimizer_grouped_parameters, weight_decay0.01)還有一個常被忽略的選項是“凍結(jié)BERT的一部分層”。前幾層Transformer學(xué)習(xí)到的是通用字面特征對領(lǐng)域遷移幫助不大微調(diào)預(yù)算有限的話把第1到第8層的參數(shù)requires_gradFalse只訓(xùn)練后幾層和下游結(jié)構(gòu)往往能省一半顯存、速度提升30%以上效果只掉零點幾個點。第一次把項目跑通時我不建議凍結(jié)先全量訓(xùn)練拿到一個基線成績再說。4.3 訓(xùn)練過程的監(jiān)控指標(biāo)直接點說光看loss是不夠的。BERTBiLSTMCRF這類模型在訓(xùn)練前期loss下降很快到了第3個epoch以后loss就“玄學(xué)”了震蕩到面無波瀾但實體F1還在漲。原因是CRF的loss分母是所有可能路徑的分數(shù)和這個值天然很大loss雖然不再好看但序列約束正在慢慢起作用。正確的監(jiān)控方式是每個epoch結(jié)束后在驗證集上計算實體級F1而不是整個標(biāo)簽級準(zhǔn)確率。標(biāo)簽級準(zhǔn)確率會被“O”標(biāo)簽主導(dǎo)模型全部預(yù)測成O也能有接近80%的準(zhǔn)確率數(shù)值毫無意義。我習(xí)慣在每個epoch跑一遍from seqeval.metrics import classification_report, f1_score def evaluate(model, dataloader, id2label): model.eval() all_true, all_pred [], [] with torch.no_grad(): for batch in dataloader: input_ids batch[input_ids].to(device) attention_mask batch[attention_mask].to(device) true_labels batch[labels].numpy() pred model(input_ids, attention_mask) # 去掉特殊token和padding只看實際標(biāo)簽 for b_idx, word_idx in enumerate(true_labels): true_seq, pred_seq [], [] for i in range(len(word_idx)): if word_idx[i] ! -100: true_seq.append(id2label[word_idx[i]]) pred_seq.append(id2label[pred[b_idx][i]]) all_true.append(true_seq) all_pred.append(pred_seq) print(classification_report(all_true, all_pred, digits4)) return f1_score(all_true, all_pred)注意這里有兩個細節(jié)一是all_true和all_pred里存的是每句話的標(biāo)簽序列不是單個樣本的平鋪數(shù)組因為seqeval要求對每個句子分別計算實體匹配二是跑模型前先model.eval()再包torch.no_grad()否則顯存會被推理時保存的梯度撐爆。如果你希望訓(xùn)練中途自動存最好的模型可以維護一個best_f1變量每輪結(jié)束后對比一次超過就torch.save(model.state_dict(), best_model.bin)??窟@個機制我?guī)缀鯊牟恍枰獮椤癳poch設(shè)多少”糾結(jié)。5. 避坑記錄中文NER最常見的四個翻車現(xiàn)場5.1 標(biāo)簽錯位預(yù)測結(jié)果全是對的但實體全都湊不齊現(xiàn)象模型在訓(xùn)練集上loss正常下降驗證集F1卻一直徘徊在20分以下。把預(yù)測結(jié)果打印出來發(fā)現(xiàn)每個字的標(biāo)簽看起來都有道理但組合成的實體要么缺頭、要么缺尾甚至有“I-PER”開頭的序列。原因這就是“標(biāo)簽對齊”翻車了。最常見的情況是is_split_into_words參數(shù)漏傳tokenizer把“北京”這種連續(xù)字符當(dāng)成了一個詞導(dǎo)致word_ids映射錯位原本“北B-LOC 京I-LOC”的標(biāo)簽被錯誤地跟BERT的piece一一對應(yīng)整個序列往后錯一位。還有一個變體是用了return_offsets_mappingTrue卻完全沒用它等于白拿映射做裝飾。解決在數(shù)據(jù)讀取階段把encoding[word_ids()]打印出來對照原始句子人工檢查前3條樣本??吹絒None, 0, 1, 1, 2, None]這種結(jié)構(gòu)就該意識到第1和第2號字被合并成了同一個word。標(biāo)簽對齊那一段代碼不要直接復(fù)制要逐行理解后敲一遍。5.2 顯存OOM一跑就爆batch減半還是爆現(xiàn)象顯存8G的卡batch_size設(shè)16直接OOM改成8還在OOM最后改到2才勉強跑起來速度又慢得讓人想放棄。原因BERT本身占用不小尤其是max_len設(shè)成512時attention矩陣是平方級增長。8G顯存下batch_size16、max_len512幾乎是必爆配置。另外還有兩個隱形兇手一是paddingmax_length把短句也全補齊到128長度浪費大量顯存二是訓(xùn)練時沒有設(shè)置torch.cuda.empty_cache()碎片累積偶爾也會頂爆顯存。解決把max_len降到128batch_size先設(shè)8短句padding策略臨時改成paddingTrue讓每個batch內(nèi)部對齊不全局補齊。如果想提速可以嘗試在模型里用gradient_accumulation_steps2相當(dāng)于batch_size16但顯存占用只有8。注意梯度累積時loss要除以累積步數(shù)再回傳。5.3 預(yù)訓(xùn)練模型下載失敗每次跑到一半就卡住現(xiàn)象第一次運行BertModel.from_pretrained(bert-base-chinese)進度條走到99%就超時或者直接報ConnectionError。重試幾次大概率仍失敗偶爾成功一次又會發(fā)現(xiàn)下載不完整。原因從HuggingFace官方源下載連接不穩(wěn)定文件接近400M中斷后緩存里的臨時文件會把后續(xù)下載也污染掉。這個問題的根源是網(wǎng)絡(luò)環(huán)境跟代碼沒有任何關(guān)系。解決換鏡像源下載在運行代碼前先執(zhí)行export HF_ENDPOINThttps://hf-mirror.comWindows在命令行里用set HF_ENDPOINThttps://hf-mirror.compycharm需要重啟kernel讓環(huán)境變量生效。如果鏡像也出問題先手動把模型文件下載到本地目錄然后在代碼里指定本地路徑model BertModel.from_pretrained(./chinese_bert_wwm_ext_pytorch/) tokenizer BertTokenizer.from_pretrained(./chinese_bert_wwm_ext_pytorch/)用本地路徑加載時目錄下面至少要包含config.json、pytorch_model.bin、vocab.txt三個文件缺一不可。這也是你從別人那里拷來預(yù)訓(xùn)練模型時最愛踩的坑——他們給你的是一個壓縮包你解壓后發(fā)現(xiàn)缺了vocab.txt代碼跑不了一點。5.4 每個類別的F1差距離譜O標(biāo)簽主導(dǎo)真實實體幾乎被淹沒現(xiàn)象訓(xùn)練20個epoch驗證集標(biāo)簽準(zhǔn)確率96%但entity-level的F1只有55。翻看classification_report發(fā)現(xiàn)模型把幾乎所有token都預(yù)測成了O。原因數(shù)據(jù)里實體占比太少。一個典型的法律文書里“當(dāng)事人”段落人名集中但全文正文大量是“O”標(biāo)簽如果按句子隨機劃分數(shù)據(jù)集可能出現(xiàn)實體稀疏到?jīng)]法學(xué)的局面。更深層的原因是類別不均衡在序列標(biāo)注里被滾動放大了O標(biāo)簽在每個位置都成為超高先驗概率。解決這個現(xiàn)象要從數(shù)據(jù)配比入手。先把實體密度實體字符數(shù)/總字符數(shù)打印出來如果低于10%要考慮換數(shù)據(jù)源或調(diào)整驗證集劃分方式。其次可以在損失函數(shù)里給非O標(biāo)簽更大的權(quán)重但我直接說結(jié)果——調(diào)權(quán)重只能提升1-2個點治標(biāo)不治本。更正經(jīng)的辦法是引入真實實體詞典做注入或者在預(yù)測階段限制維特比解碼器禁止出現(xiàn)I開頭和孤立的E標(biāo)簽。用代碼實現(xiàn)的話前者是在訓(xùn)練前標(biāo)記詞典命中詞的位置并替換那些位置的loss權(quán)重后者是自定義CRF約束條件普通項目用不到那么深。6. 從訓(xùn)練到推理把模型接進真實文本的批量預(yù)測鏈路6.1 加載權(quán)重做單句預(yù)測訓(xùn)練結(jié)束后best_model.bin就是全部成果。加載它做推理時最容易被坑的一點是必須用和訓(xùn)練時完全一樣的tokenizer配置和標(biāo)簽映射表。下面這段代碼是我的標(biāo)準(zhǔn)推理模板# -*- coding: utf-8 -*- from transformers import BertTokenizer import torch def predict_single(text, model, tokenizer, id2label, max_len128): model.eval() # 逐字拆成列表和訓(xùn)練時的is_split_into_words保持完全一致 chars list(text) encoding tokenizer( chars, is_split_into_wordsTrue, max_lengthmax_len, truncationTrue, return_tensorspt, ) with torch.no_grad(): pred_ids model(encoding[input_ids], encoding[attention_mask])[0] # pred_ids是token級別的需要過濾掉特殊token再映射回原文 word_ids encoding.word_ids() entities [] current_entity None for token_id, word_id in enumerate(word_ids): if word_id is None: continue label id2label[pred_ids[token_id]] char chars[word_id] if label.startswith(B-): if current_entity is not None: entities.append(current_entity) current_entity {text: char, label: label[2:], start: word_id, end: word_id} elif label.startswith(I-) and current_entity is not None and current_entity[label] label[2:]: current_entity[text] char current_entity[end] word_id elif label.startswith(E-) and current_entity is not None and current_entity[label] label[2:]: current_entity[text] char current_entity[end] word_id entities.append(current_entity) current_entity None else: if current_entity is not None: entities.append(current_entity) current_entity None if current_entity is not None: entities.append(current_entity) # 去重避免S和B-E并存時重復(fù)輸出 return {text: text, entities: entities}這段推理邏輯最核心的地方在于按B-、I-、E-的標(biāo)簽順序來拼裝實體。注意幾個邊界條件遇到O必須立刻結(jié)束當(dāng)前實體遇到新實體緊挨著舊實體比如一個B-PER后面直接跟一個B-LOC要先把舊實體落盤再開新實體。如果你的標(biāo)簽體系是BIO而不是BIOES格式判斷邏輯要相應(yīng)簡化——但要小心“I實體跨界”的問題也就是I-PER后面接I-LOC這種情況只能靠CRF在訓(xùn)練時從數(shù)據(jù)里學(xué)到轉(zhuǎn)移懲罰推理代碼里沒法徹底兜底。6.2 把實體序列映射回原文字符位置訓(xùn)練時的tokenizer給定的是一個list輸出predict_single里的start/end已經(jīng)是原始字符下標(biāo)了。但如果你想對一整段長文本做批量識別先切句再逐句推理必須記錄每個句子在原段落里的偏移量否則所有實體的start/end都是從0開始的。# 簡單的切句與偏移量對齊策略 import re def segment_with_offset(text): segments [] offset 0 for sent in re.split(r([。]), text): if not sent.strip(): continue segments.append((sent, offset)) offset len(sent) return segments def predict_long_text(text, model, tokenizer, id2label): result [] for sent, offset in segment_with_offset(text): pred predict_single(sent, model, tokenizer, id2label) for ent in pred[entities]: result.append({ text: ent[text], label: ent[label], start: ent[start] offset, end: ent[end] offset, }) return result這個方案只是按標(biāo)點切句如果你處理的文本是PDF抽取出來的注意整段文本因為換行符被切碎的問題——遇到換行符時先做拼接再切句。還有offset的累加邏輯必須基于原始字符串的字符數(shù)不能基于去空格后的文本否則最終位置全部錯位。6.3 用測試集衡量真實召回最后一件事不是寫代碼而是用你的測試集做一次全量推理并看一眼錯誤樣例。我見過太多人訓(xùn)練完只看訓(xùn)練集F1這一看不要緊上線發(fā)現(xiàn)真實文本里大量實體漏檢。正確的姿勢是把測試集的預(yù)測結(jié)果和真實標(biāo)簽逐句打印出來對照閱讀漏檢的句子大多長什么樣是實體長度普遍超過10個字還是大量嵌套結(jié)構(gòu)誤報的實體集中在哪幾個類別比如把“華為”預(yù)測成PER還是ORG模型在短句上的表現(xiàn)和長句上的差異是否巨大對于長實體識別率低的現(xiàn)象最簡單的補救是提高max_len上限到192或256因為BERT在長文本上的注意力分配會稀釋尾部的字符特征。如果仍然無法根治就要考慮對實體做重疊窗口推理——把長文本切出部分重疊的窗口分別預(yù)測再合并結(jié)果合并時以重疊區(qū)域的投票結(jié)果為準(zhǔn)。我自己的習(xí)慣是每個實驗跑完后都把最好的checkpoint單獨保存一份把對應(yīng)的tokenizer和label映射表打個zip放在旁邊日期寫清楚。因為幾周后再回來你大概率會忘記自己的label2id順序是什么忘掉的后果就是推理結(jié)果整個亂了套而且很難定位。保留好一份完整的“模型配置數(shù)據(jù)劃分seed”是這個方向里最實在的后悔藥。這個技術(shù)棧看起來很重但從數(shù)據(jù)準(zhǔn)備好到訓(xùn)出一個能用的模型通常只需要一個晚上。你踩過的坑會讓下一個跑這個項目的人少走很多彎路希望幫到你。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日日鲁鲁夜夜爽爽| 婷婷五月天六月丁香| 99热大全在线观看| 久久人人九九| 91艹人| 伊人丁香在线| 狠狠色综合网站久久久久| 欧美色色色色色| 丁香色播五月天| 91人妻色色网| 色婷婷导航| 天天操精品| 国产精品美女久久久久AV超清| 97福利视频| 日韩九九| 亚洲综合色五月| 丁香五月婷婷亚洲色图| 99在线观看| 欧美日韩成人高清在线| 岛国午夜视频| 色婷婷影视99| 色99综合色88| 亚洲综合另类| 99热在线观看| 这里只有精彩视频| 九九99精品视频在线观看| 六月婷婷综合| 五月丁香六月婷婷网| 国产日日操夜夜操的肉棒视频| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 色激情五月| 涩涩涩五月天| 深爱激情六月| va亚洲中文在线| 狠狠色丁香婷婷基地| 国产精品电影| 91狠狠色丁香婷婷综合久久精品| 97资源欧美日韩大香蕉超碰一区| 97极品在线| 韩国不卡AC视频| 中文字幕欧美日韩VA免费视频| 色欧洲| 婷婷九月激情| 婷婷五月色色| www.夜夜操| 天天操天天日天天操| 狠狠操天天操天天操| 99国产er热视频| 超碰在线观看99| 玖玖精品婷婷| 欧美三级巜人妻互换| 久久激情五月| 九月丁香婷婷| 精品一二三区久久AAA片| 五月丁香色婷婷| 九九热在线视频观看| 97操在线视频| 五月亭亭直播| 丁香六月综合| 亚洲精品又粗又大又爽A片| 五月婷视频| 色色丁香婷婷综合| 五月丁香香蕉| 91蜜桃婷婷狠狠久久综合9色| 久99久在线| 97热这里精品在线视频| 日韩啪| 超碰在线免费9| 小视频aaa久久久| 亚洲Va成人| 日本人妻A片成人免费看片| 庭庭久久内射| 人妻AV在线| 亚洲色综合| 超碰在线成人| 天天肏屄夜夜爽| 久久久色婷婷五月天| 亚洲一个色| 丁香 婷婷 激情 综合 五月| 五月丁香婷婷在线综合蜜桃| 婷婷综合五月激情| 综合色综合| 丁香五月丁香伊人| 丁香五月欧美激情| 激情综合五| 99re热在线视频观看| 天天干天天操天天拍| 丁香午夜天| 26uuu日韩| 色婷婷久久| www.97碰碰com| 综合久久综合久久| 丁香六月激情| 大地资源色婷婷视频在线| AA片在线观看视频在线播放| 综合另类激情| 久久九九99桃花视频| 色色色地址| 亚洲综合视频在线| 这里只有精品在线视频精品| 午夜九九电影| 婷婷色激情五月天| 97丁香五月| 五月婷婷五月天| 日本九九视频| 五月丁香综合网| 色色99| 亚洲成人在线在线| 九月大香蕉| 久久jiuwww| 97碰| 丁香五月婷婷性爱| 不卡影院午夜理论片| 激情五月视频在线婷婷| 国产免费一区二区三州老师F1F1| 日本狠狠色| 色色婷婷五月天| 中文字幕乱码亚洲精品一区| 中文字幕人妻AV| 97精品综合久久内射| 色综合久久中文| 色墦五月丁香| 丁香久久AV| 人人干AV| 五月天色区| 婷婷久月| 久久久亚洲精品一区二区三区浴池| 色婷婷呢狠禁久禁| 十区av| 午夜激情综合| 激情综合色五月六月婷婷| 日日操,夜夜爽| 99re思思久久| 丁香五月婷婷日本| 99re热在线视频| 超碰在线99| 色噜噜狠狠色综无码久久合欧美| 久久婷婷网址| 亚洲操逼片| 午夜美女人啪最红院| 丁香伊人综合| 夜夜爽天天爽| 天天操夜夜操| 日本熟女啪啪| 狠狠爱综合| 69婷婷丁香午夜| 亚洲成人婷婷| 99色视频在线| 五月停停99| 欧美超级视频97| 丁香六月婷婷久久综合| 这里只有精品视频一区| 99日本在线| 99网| 久久五月天网| 99精品视频在线6| 欧美狠狠地| 精品99在线| 激情五月天丁香| 第四色色六月色综合| 亚洲小电影在线观看黄999| 婷婷丁香六月综合激情站| 六月婷婷狠狠做| 婷婷五月天视频| 91精品久久久久| 精品人妻午夜一区二区三区四区 | 激情开心五月婷婷| 久久色亭亭五月天| 超碰在线91| 狠狠狠狠青草| 色,激情五月天| 久久婷婷五月天激情| 色视频五月天| 99热精品在线播放| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | renrencaoni| 综合五月网| 性爱综合网| 婷婷在线五月综合| 亚洲综合色婷婷| 天天舔天天摸天天射| 激情综合丁香五月| 综合婷婷| 丁香五月婷婷Av| 婷婷五月欧美综合| 亚洲情色一区| 亚韩精品视频1区| 久久综合中文| 综合激情五月天六月婷免费视频| 狼人久草| 丁香五月色五月| 婷婷五月天伦理| 五月开心网| 六月婷婷激情| 婷婷综合日本| 亚洲综合婷婷| 久久激情五月| 亚州第一A片| 九九家庭影院| 伊人婷婷色| 精品国产AV色一区二区深夜久久| 日韩精品超碰在线观看| 色婷婷狠狠久久综合五月| 9色在线视频| 九九婷婷激情综合网| 久久婷五月婷| 舔色婷婷| 日韩av一区二区在线/日产精品久久久 | 国产精品国产成人国产三级| 久9久成人精品视频| 婷婷激情五月天亚洲综合| 丁香五月人妻| 在线日本www| 精品婷婷五| 色综合伊人网| 99热在线观看| 亚洲综人色综网| 五月综合婷婷五月| 超碰国产在线播放| 99精品在线| 婷婷精品性视频| 嫩草AV久久伊人妇女超级A| 97干综合网| 综合色综合| 成人丁香| 婷婷99中文字幕| 久久婷婷激情视频| AA片在线观看视频在线播放| 五月丁香六月婷综合成人综合| 99精品免费欧美小视频| 国产毛片精品一区二区色欲黄A片| 五月天综合激情网| 丁香五月Av| 丰满少妇乱A片无码| www.99热在线观看| 色色色色网| 内射在线CHINESE| 9999久久久久| 人妻久热| 啪精品| 亚洲行行色色| 五月天激情婷婷| 亚洲激情综| 成人性爱无码| 黄色中文字目| 激情五婷精品网在线观看网址| 色在线99| 狠狠色噜噜狠狠亚洲A∨| 色婷婷婷综合五月天| 九九九九国产| 97色在线观看视频| 婷香五月激情视频| 五月婷婷综合色啪首页| 色婷五月| 亚洲精品白浆高清久久久久久| 色狠狠综合| 五月婷婷六月天| 婷婷五月综合丁香久久| 国产色婷婷亚洲| 婷婷香蕉| 色五月综合在线| 激情五月综合| 涩涩激情五月婷婷| 色丁香婷婷| 精品一二三区久久AAA片| 超碰99在线| 色色a| 琪琪色网址| 精品综合五月| 日本精品人妻无码77777| 色婷婷五月天亚洲| 色色网站| 久热久| 天天肏在线观看| 亚洲AV无码电影| 中文字幕日韩无码制服诱或| 99热超碰| 天天日夜夜高潮| 色色色色色色色色综合网| 玖玖99免费视频| 99色色视频| 久久99免费视频| 婷婷五月天干干| 97干在线观看视频| 久久久久久久久久久44| 天天搞天天爽| 五月天婷婷久草丁香| 蜜乳中文字| 国产黄大片在线观看画质优化 | 啪啪黄页网| 99精品色| 中文字幕网站在线观看| 日本五月天网站| 91碰九色| 99视频在线观看网址| 五月丁香六月激情网站| 互月天综合| 日本一級黃色一級片| 天天做天天双| 激情五月婷婷| 四色女婷婷| 午夜不卡久久精品无码免费| 思思热在线视频99| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | 97日本在线| 九九久久网| 日韩久久日| 深爱激情六月| 丁香五夜激情四射夜夜夜| 久久99免费视频| 婷婷激情五月天桃花网| 亚州色色色| 精品九九婷婷| 涩涩五月天| 久久新地此| 日91高清无玛| 伊人婷婷大香蕉| 激情爱爱网站超大免费| 91在线日| 五月色丁香| 伊人久热91| 亚洲婷婷免费| 操逼三区| 色情五月婷婷| 婷婷六月丁香在线| 少妇高潮呻吟A片免费看软件 | 欧美色宗和激情| 无码啪啪| 丁香六月婷婷综情欧美| 最近中文字幕2019视频1| 婷婷五月天天| 伊人网色婷婷五月天| 久久久99精品| 欧美日韩精品一区二区三区钱| 色五月综合在线| 五月天婷婷丁香花| 久久伊人婷婷| 色狠狠激情五月| 日本猛少妇色XXXXX猛叫| 五月综合亚洲| 色婷婷丁香AV综合| 婷婷五月天天爽| 色欲九区| 99爱在线免费视频| 婷婷激情鹿城五月天| 色五月激情五月| 婷婷丁香激情五月天色色| 字母不卡码人逼| 五月激情六月丁香| 久久综合激情| 极品人妻VIDEOSSS人妻| 丁香五月第四色88| 热996精品在线观看| 激情婷婷久久| Av狠狠色丁香婷| 熟妇人妻中文字幕无码老熟妇| 天天爱天天做天天爽| 五月天成人小说| 五月丁香亚洲校园欧美| 香蕉久久国产AV一区二区| 国语精品探花| 3p久久| 99综合| 五月天播播综合| 碰超亚洲| 激情五月色婷婷| 九九热这里只有精品7| 人人爱操| 人妻VideOssS人妻| 亚州操逼网| 五月婷婷六月丁香综合在线| 色。 日日日| 色九月综合| 成人网址在线观看| 色情五月婷婷| 婷婷五月天桃花网| 九色无码| peg 2区三区四区的| 丁香婷婷成年| 狠狠爱五月婷婷| 婷婷色网| 九九婷婷热| 亚洲人人操| 97热视频| 精品亚洲国产成AV人片传媒| 久久天天| 26uuu视频欧美| 婷婷色五月91啪啪| 日本女人久久| 九九蜜臀精品| 五月婷婷综合色啪首页| 三级黄网站| 爱草视频在线观看| 五月天丁香综合在线| 开心五月激情网| 婷婷激情鹿城五月天| 激情综合网色播五月| 99热这里只有精品33| 98色丁香五月婷婷综合网| 丁香色五月天| 九九精品在线网| 日本97在线视频| 一起草AV| 五月天播播中文字幕| 性爱动图国产麻豆一区二区三区| 99福利视频导航| 99久在线| 这里只有精品99www| 欧美啪啪五月天| 激情五月久久| 欧美α√| 五月丁香久久网| Caoub青青超碰| 99操99| 天堂草在线观| 久9视频| 激情98色婷婷五| 99.N在线视频| peg 2区三区四区的| 97色五月丁香婷婷| 人妻久久久久久久 | 丁香婷婷五月色成人网站| 国产乱妇无乱码大黄AA片| 欧美丁香婷婷五月天| 99er这里只有精品| 超碰99热在线观看| 天天日夜夜爽| 久热69| 色视五月天婷婷| 五月天婷婷久草丁香| 99视频只有精品| 天天摸天天透天天舔| 婷婷色五月噜噜| 免费成人中文字幕| 人人摸人人澡人人| 一本久久亚洲五月婷婷| 99超级碰碰| 无人区码一码二码三码医生系列| 色情丁香五月婷婷精品| 人人人操97| 五月天丁香网| 97超碰在线观看免费| 热九九精品| 思思热视频| 亚州精品色情在线观看| 99玖玖在线视频| 亚洲中文字幕在线观看| 婷婷伊人| 久久婷婷六月综合| 五月丁香久久精品在线观看| 丁香五月婷婷少妇| 无遮挡国产高潮视频免费观看| 九色无码| 狠狠操狠狠做| 青草性爱视频| 久久五月激情综合| 99热99日天天干| 久热9| 日本色婷婷| 春色激情第四色| 欧美三级欧美一级| 亚洲AV成人在线观看| 丁香五月在线观看| 97色啪| 青青草日本亚洲| 婷婷六月色| 亚洲无码你懂的| 丁香五月激动深爱欧美| 五月天啪啪啪| 九九色色| 另类激情五月| 6月丁香婷婷| www狠狠com| 婷婷五月天97干| 色色色9| 五月久久噜噜| 九九久久五月天| 一本九九色| 伊人在线视频| 婷婷五月天伊人网| 91大屁股精品| 婷婷丁香综合成人| va中文资源在线观看| 亚洲成人AV在线观看| 91日综合欧美| 五月停视频天堂| 另类小说五月天| 九色自拍| 五月丁香影院| 亚洲99精品欧美一区| 亚洲丁香五月美女| 久久综合激情五月天| 激情婷婷久久| 色五月97| 91熟妇大香蕉| 伊人五月婷| 五月婷婷色| 日本片日本片祼观看网站在线看中文版网页在线看 | 国产av天天插天天操天天爽| 九久9精品| 女婷久久| 婷婷色五月开心五月| 这里只有精品免费观看网占| 激情激情激情网| 丁香六月婷婷久久综合| 外国碰视频网站97| 日本97在线| 丁香五月婷婷影视先锋| 97日韩无套内| 粉嫩AV久久一区二区三区| 天天日综合| 久草五月婷婷| 久碰婷婷视频| 五月天淫乱视频| 日本色色视频| 五月天六月婷婷电影| 婷婷五月天777| 一本婷婷丁香久久| 久99999热视频在线观看免费| 久久人人看| 秋霞性爱AV| 91色逼| 99热这里只有精品99| 99热这里只要精品免费| 亚洲人人操BD| 久久99色色| 欧洲激情五月天婷婷| 性色播| 99小视频在线| 99re在线视频精品,这里只有精品18,| 午夜成人AV在线| 一本久道综合99| 久热丁香| 大香蕉娱乐| 99热99日天天干| 久久婷综| 亚韩精品视频1区| 草草色情综合网| 另类少妇人与禽zOZZ0性伦| 99热这里只有精品5| 97天堂| 五月婷婷无码| 亚州操人在线视频| 久久国产色| 丁香六月在线| 婷婷丁香18| 婷婷综合在线| 操人91| 96精品久久久久久久久| 伊人玖玖精品| 婷婷综合亚洲| 97视频久久| 国产 亚洲 在线| 久久综合干| 二色AV| 五月婷久久| av九九| 综合五月婷婷| 大香蕉五月天| 欧美大片免费播放器| 嫩BBB槡BBBB搡BBBB| 日本色综合| 国产密乳av一区二区三区四区| 色五月婷婷久久| WWW.婷婷| 激情婷婷五月天| 狼人婷婷久久| 97婷婷色| 九九热精品| 欧美精品99久久久| 国产精产国品一二三在观看| 江苏少妇性BBB搡BBB爽爽爽| 99天天操夜夜操| 婷婷五月天久| 99热欧美精品| 日本美女上人| 丁香五月1页| 99在线爽| 五月丁香六月婷婷中文版| 综合热无码| WWW激情五月天| 婷婷激情五月天在线| 久久久久久性爱视频| 天天影院色| 大香蕉婷婷久久| 色一情一乱一乱一区91| 久色激情| 4399啪啪视频| 变态另类色图| 成人在线综合| 久久九九爽| www.婷婷网| 草AV9999| 婷婷五月天欧美| 狠狠色噜噜狠狠| 开心五月婷婷激情| 99ER热精品视频| 狠狠爱深色婷婷综合| 97成人在线视频| 婷婷五月天大香蕉| 色综合色五月| 玖玖99福利| 99色在线观看| 久久久噜噜噜久久人妻| 色激情综合| 久久亚洲婷婷| 六月色丁香婷婷| 9 1大香蕉| 色五月天丁香婷婷| 久色视频在线| 天天综合亚洲综合| 99亚洲精品视频| 久操无码| 疯狂做受XXXX高潮A片| 婷婷碰碰| 亚洲啪啪网| 这里只有精品视频视频在线观看| 开心激情久久久久久久| 99热都是精品| 丁香六月五月天| 国产亚洲精品久久久久苍井松| 人人操婷婷| 综合性爱网| 久久无码激情视频| 无码人妻一区二区三区免费九色| 五月天偷拍| 99在线小视频| 丁香五月婷婷av影院| 成人色图情色成人网 www.5b5b5bcom 五月天 | 五月丁香五月天现场视频| 九九色热| 婷婷基地爱| 免费超碰在线观看| 丁香五月网| 99re99热| 99热99热99热99热| 激情婷婷丁香五月天| 亚洲精品99| 强奸幻女毛片| 九色PORNY9l原创自拍| 五月天色导航| 97操碰在线视频| 久久小视频| 丁香五月婷婷操逼| 九九aV| 激情综合婷婷| 九九色图| 99婷婷| 五月天婷婷激情四射综合| 國語久久婷| 丁香六月天婷婷色| 这里只有精品视频| 精品人妻伦九区久久AAA片| 日本高清不卡免费一区二区三区| 色情综合| 婷婷深爱五月丁香网| 性色婷婷| 午夜亚洲AV日韩无码| 色九九综合热99| 深夜婷婷五月丁香| 五月天色综合| 狠狠色综合网| 日韩天堂久久| 丁香五月婷婷亚洲色图| 五月丁香777| 婷婷五月天电影网| 在线播放成人| 99色在线观看免费| 激情五月天在线视频| 久久六月天| 婷婷婷久久| 这里只有精品免费在线视频| 久久久99精品| 日本欧美在线| 狠狠色综合图片| 九热视频| 丁香婷婷婷五月| 99re思思久久| 色婷婷无吗| 天天综合久久| 婷婷亚洲综合| 亚洲欧美在线观看| 久久婷.com| 亚洲 五月 婷婷 成人| 国产成人av在线| 色99综合色88| 97成人丁香婷婷| 九九婷婷五月天| 99热在线播放| 停停综合色色| 五月天小说激情| 99热在线精品播放| 婷婷五月精品| 98毛片| EEUSS鲁片一区二区三区| 少妇人妻偷人精品无码视频新浪| 8区视频在线| 丁香婷婷六月在线资源观看| 九九在线精品| 98永久精品| 五月婷婷色丁香| 亚洲另类婷婷综合| 91n网站cad入口在线观看| 开心五月天私房婷婷| 亚洲五月天另类小说图片| 国产伦亲子伦亲子视频观看| 丁香五月性爱| 成人一区在线观看| 精品九九视频| 俺去也五月天婷婷| 久久天堂精品| 亚洲国产成人裸舞| 人人摸人人| 五月综合丁| 初夜av| 99热这里只有精品2| 婷婷激情啪啪| 第一区久久网站| 综合色色色| 伊人色综合久久久| 色色免费网战视频| 欧洲色色| 亚洲六月婷婷| 亚洲色网址| 成人婷婷色综合| 天天做天天爱天天日| 99乱视频| 丁香熟女乱| 五月婷丁香在线视频在线| 丁香五月大香蕉| 第四色网婷婷| 久久66成人网站| 国产精品久久久久久久久久免费 | 国产精品A片在线| 在线区区区| 久久久久久综合88| 99视频在线观看视频| 五月天在线视频尤物视频在线看| 人人爱操| 1024人妻| 97人人搞| 91pornav在线| 婷婷五月丁香久久| 成人做爰高潮A片免费视频| 丁香综合婷婷开心激情网| 综合啪啪| 婷婷天堂综合网| 久久婷婷色丁香| www.色婷婷| 99ri在线观看视频| 国产97色在线 | 日韩| 欧在线一区| 色婷婷丁香中文在线播放| 亚洲无码99| 婷婷五月色播网| 中美日韩成人在线| 色色综合激情| 思思久久精品| 五月色亭丁香| 日撸夜撸日操| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 六月亚洲婷婷6月中文字幕| 午夜激情综合| 偷拍91九色| 五月激情六月宗合| 秋霞九九无码| 婷婷五月天亚洲图片| 天堂无码人妻精品AV一区| 激情五月深爱五月| 五月丁香综合啪啪| 久婷久婷激情肉| 五月婷婷六月丁香综合在线| 天天操天天插天天射| 五月丁香六月婷婷免费视频| 中文字幕日产A片在线看| 丁香五月天欧美成人| 五月停亭六月,六月停亭的英语| 天天肏高清在线| 激情五月综合| 天天操精品| 丁香六月情| 五月丁香亚州综合网| 婷婷激情五月综合丁香社| 国产真实乱了老女人视频| 亚洲精品欧洲精品| 亚洲人妻av| 天天噜天天插| 激情第四色| 激情五月婷婷免费视频| 色五月婷婷基地| 丁香丁婷五月激情| 色婷婷av在线观看| 色五月激情综合网| 开心激情网在线| 99操视频| 色色网站在线| 欧美在线干| 啪啪91| 六月丁香婷| 亚洲无码色色| 色噜噜狠狠色综合AV兰草影视| 精品久久久久久久人妻| 婷婷丁香91综合| 五月色丁香激情| 亚洲99热| 六月丁香影院| 中文不卡av| 九九爱激情| 色婷婷五月综合色婷婷| 丁香六月婷婷色XXXXX| 97人妻碰碰碰碰碰久久久久久| 综合激情视频| WWW·色色色·COM| 久热99热| 久久九九爽| 婷婷金品综合视频| 婷婷六月丁香在线| 久青草影院| 天干干夜夜操| 91人久| 日本不卡五月婷婷丁香| 伊人喵咪a V| 色五月影视| 五月丁香啪。| 色噜噜狠狠色综合网| 99在线69| 伊人婷婷五月天| 五月天婷婷黄色视频| 天天天天干| 婷婷六月天精品| 91色五月在线观看| 色色色图| 免费AV在线| 啊V视频在线观看| 啪啪色激情五月天| 成人无码精品1区2区3区免费看| 婷五月天在线草| 色噜噜丁香| 久久综合激情婷婷激情| 婷婷综合日本| 亚洲AV人人操| 99视频这里只有免费精品| 99热久久这里只有精品| 婷婷五月天亚洲精品| 精品国产a| 第四色五月婷婷| 五月丁香综合啪啪| 国产这里只有精品| 国产在线另类五月婷婷| 九色综合五月天婷五月| 激情噜噜噜| 色婷婷在线播放| 激情小说五月天| 狠狠色噜噜狠狠狠888了| 秋霞网在线免费基地五月婷婷丁香| www.夜夜操| 久久久久9| 激情五月综合网| 操操操操操电影网| 九九热91| 操一区| 五月天婷亚洲综合在线嫩草网| 欧美三级巜人妻互换| 亚洲综合丁香五月天| 黑人熟妇一区二区三区| 99热这里只有精品66| 爱草视频在线观看| 无码人妻一区二区一牛影视| 噜噜操操| 一区二区中文字幕| 久久视9精| 欧美色性色好| 91久久久久久久| 久热这里| 六月丁香激情综合网| 欧美性色A片免费免费观看的| 天天天天色天天天天天干| 亚洲xx网| 丁香五月天激情综合| 婷婷五月婷婷五月| 操逼巨乳91| 可以看的av| 天天精品视频在线观看视频| 久久色五月天| 精品久久99码| 色呦呦美女| 色五月涩涩婷婷蜜桃| 黄色av网站在线免费播放| 久久精品性爱| 婷婷精品| 成人婷婷色综合| 久久人人妻| 91人人操人人| 97精品人人A片免费看| 激情综合网五月激情网| 九九综合色| 婷婷综合五月天| av免费人人| 夜夜躁婷婷AV| 99国产精品久久久久久久久久久| 色狠狠综合| 五月天久久综合| 国产毛多水多女人A片| WWW.婷婷| 九九热色视频| 婷婷色综合网日韩国产| 亚洲区视频| 99热精这里只有精品| 久热亚洲| 拍真实国产伦偷精品| 亚州操人在线视频| 97人人操在线| 国产婷婷婷| 9l视频自拍9l九色9l成人| 大波美女VA网站| 69人人操人人爽| 婷婷五月色播放| 五月天精品综合| 日本一级一片免费视频| 亚洲成av人影院| 婷婷刺激综合| 五月人妻婷婷| 91|九色|动漫| 青草青草视频2免费观看| 婷婷激情五月| 丁香婷婷射| 99热这里有精品首页10| 三人荫蒂添的好舒服A片| www夜夜| 色之综合网| 大香蕉丁香| 91热爆在线| 婷婷色丁香六月| 五月丁香福利| 91九色PORNY大屁股| 综合色99| 丁香美女主播视频在线观看| 超碰国产在线| 中文字幕欧美精品久久| www.色婷婷| 亚洲精品永久久久久久| 日本在线视频手机播放五月婷| 国产99久9在线| 97干在线| 免费看欧美成人A片无码| 五月激情开心婷婷| 成人中文字幕在线| 人妻第九页| 乱码操操| 天天撸天天干天天插| 99er这里只有精品视频| 狠干综合| 天天日夜夜爽| 激情爱爱网站| 热99热9| 久久这里只有精彩| 91丨九色熟女丨首页| 成人片黄网站色大片免费毛片| 日韩精品一区二区亚洲AV观看 | 婷婷五月精品在线| 久久在这里99| 五月天色色色网| 九九热精品视频在线观看| 五月天婷婷在线视频| 天天肏屄夜夜爽| 国产资源在线视频| 天海翼中文字幕高| 婷婷色网| 综合婷婷都市激情| 日韩av干| 激情久久久| 综合久久伊人| 99色在线| 欧美在线操| jiqingliuyuetian| 激情五月婷婷免费视频| www.久久久久久| 综合色色五月| 99热色精品| 国产精品色婷婷久久久精品| 激情色情五月天| 五月伊人综合| 强伦轩人妻一区二区电影| 亚洲啪| 99re6在线视频精品免费| 在线中文字幕视频| 激情五月天婷婷五月天| 婷婷五月天99| 五月婷婷黄色| 国产av影片| 91欧美日韩| 成人美女网| 久久综合性| 丁香五月在线观看| WWW.色婷婷.COM| 久久99这里| www.久久久.com| 午夜色丁香| 日本4399天堂中出| 操碰91| 五月婷婷日| 六月色丁香中文字幕| 丁香五月亭亭六月综合激情网| 丁香色色色| 国产操肏网站| 色综合网页| 欧洲电影在线观看免费版英语版 | 大婷婷色呦呦噜噜色呦呦噜噜| www.六月丁香看AV| 天天插综合在线| 粉嫩av蜜桃av蜜臀av| 日本视频欧美观看免费| 欧美日韩色色| 在线观看国产高清视频免费网站 | av性爱网站| 另类小说五月天综合| 久久久人妻人伦| 五月丁香婷草| ww超碰在线| 九九操屄| 少妇被下春药玩弄A片| 99在线精品视频| 99re久久| 美国十月色婷婷在线观看| 婷婷久久综合久色| 六月丁香激情婷婷| 天天色五月| 国产中文亚洲欧美日韩性交| 99热播放| 婷婷五月六月丁香| 中文字幕人妻一区二区| 亚洲妇女熟BBW| 拍真实国产伦偷精品| 日日操夜夜撸| 99黄色性生活| 国产成人高清| 丁香婷婷基地| 亚洲色A| 涩涩网五月天| 婷婷激情鹿城五月天| 七七九九色色| 日日干五月天婷婷| 色婷视频| 天天射美女| 91免费看片| 91人人操| 丁香五月婷婷总啪啪| 五月丁香婷婷钟和色图| 天天揷综合网| 校花娇喘呻吟校长陈若雪视频| 亚洲第一综合| 综合婷婷| www.久久久久| 六月丁丁香| 激情五月天视频| 亚洲综合激情五月久久| 99日韩| 色婷婷综合久久久久| 九九青草热| 99激情| 九九热视频在线观看| 丁香婷婷噜噜| 99热这里只有精品22| 欧美色五月天| 天天干天天操| 五月婷婷欲色| 五月丁香婷婷伊人| tingtingzonghewang| 久久成人综合五月天| 思思色综合网站| 久久五月丁香六月婷| 日日爽日日操| 青青草护士中出内射-欧美电影在线天堂新版 | av无码电影| 欧美乱码国产一级A片| www91精品| 国产无人区大片| 亚洲综合视频网| 情色五月天网站| www.超碰在线| 亚洲精品色色| 激情五月天婷婷久久久久久久久久久| 婷婷激情五月吧| 天天草天天爱| 亚洲九九九九| 26uuu欧美激情另类| 天天摸色吧天天摸色吧| 久久婷婷六月综合综合色| 97五月天| 激情另类综合| AV九九| 婷婷色中文字幕| 亚洲视频在线观看| 99热 精品在线| 日本婷婷色| 99国产欧美视频| 日本久草福利| 天天射美女| 伊人五月天综合网| 亚洲色色图片| 69午夜成人影片| 俺去也在线www色官网| 婷婷五月天色| 99爱在线观看视频| 亚洲99热| 99综合| 九九热自拍| www.婷婷五月| 五月婷婷丁香| 婷婷五月久久| 丁香五月 激情文学| 亚洲色图啪啪| 91精品人妻少妇无码影院| 国产激情综合五月久久| 99热www.| 天天干天天色天天干| 五月天.com| 五月丁香六月婷| 91色色色| 婷婷五月色| 亚洲激情四谢| 人操人| 热99精品视频五月| 亚洲激情亚洲激情 | 亚洲AV成人在线| 夜夜涩涩涩| www,色中色| 国产精品热搜丁香五月婷婷| 婷婷五月天视频免费在线观看| 婷婷色中文字幕| 亚洲精品亚洲人成人网| 99年操人人爽| 超碰中文字幕在线| 婷婷中文字幕在线| 久九色| 狠狠操天天操综合| 婷婷五月天99| 中文av网| 五月天.com| 国产又色又爽又黄又免费| 丁香五月伊人| 久久色五月| 激情丁香婷婷六月天| 九九爱看亚洲| 五月天色婷婷综合| 四色永久成人网站| 日本一级一级一级一级| 亚洲精级| 婷婷午夜综合| 色五月婷婷狠狠撸| 开心综合激情综合| 亚洲色热| 日本欧美成人片AAAA| 人人插操| 无码色综合| 婷婷激情中文综合| 美国天天日天天操| 九九热精品| 丁香五月激情五月| 亚洲av综合在线| www.射伊蕉婷婷| 樱花99视频| 这里只有精品视频99| 91久久精品无码一区二区三区| 伊人久久婷婷| 极品五月天| 亚洲色综合| 丁香五月狠狠综合欧美| 日本五月婷婷| 婷婷网五月天| 婷婷操无码| 亚洲色图五月丁香| 五月香蕉婷婷| 99精品性爱| 九九热精品| 91夫妻网站九色| 棕合影院色色| 亚洲日韩26uuu| 99re热在线视频观看| 九九色热| 99热999| 婷婷 久综合| 婷婷五月天亚洲精品| 97碰碰在线看视频免费| 日本少妇裸体做爰高潮片| 天天干,天天操,天天射| 婷婷欧美偷拍综合| 久久婷婷综合五月趴| 五月丁香香蕉| 99热每日| 激情综合婷婷| 久8色色| 欧美影院婷婷| 超碰在线观看三级片| 乱轮A片| 99亚州综合精品成人网| 色综合五月天| 色丁香五月婷婷综合久久| 人妻22p| 激情五月,深深爱五月| 久久婷综合| A短视频免费在线观看| 丁香五月婷婷激情尤物| 色婷婷六月激情| 五月婷婷成人| 日韩成人无码| 99热很操老逼| 色七色九九| 九九99久久| 中文字幕网伦射乱中文| 五月丁香婷婷啪啪网| 丁香五月色色色色| 夜夜撸夜夜骑| 香蕉AV777XXX色综合一区| 久人操| 狠狠狠人妻| 激情伊人| 影音先锋男人av资源站| 亚洲激情网| 99热国产这里只有精品| 色婷婷电影网| 婷婷五月激情的图片| RenRenSe在线视频网站| 成人短视频在线| 97色综合| 这里只有精彩小视频视频网站| 777色色色| 亚洲成av人影院| 色色五月天网站| 丁香五月23111| 丁香五月婷久久| www.色色com| www.sd-xiangsu.cpm| 日韩色久| 色狠狠婷婷| 婷婷五月天激情网址| 久久久免费精彩视频| 日本视频不卡123区| 综合激情在线| 性99网站| 婷婷香蕉| 91视频一起草| 综合久久人妻| 天天拍天天操| 91干视频| 色情综合网| 嫩草AV久久伊人妇女超级A| 婷婷久久精品| 五月激情网综合| 久久久久久久人妻| 日韩日比视频| 五月丁香欧美| 在线99热| 大香蕉99热| 有哪些A片网站| 色婷婷五月天| 操逼视频一区| 中文乱子伦视频| 婷婷在线视频| 大香蕉婷婷色| 精品成人a v无码内射| 搡BBBB搡BBB搡五十| 激情丁香婷婷| 五月天成人在线视频网站| 婷婷综合中文| 亚州精品色情无码A片|