欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

詞匯信息融合的中文NER實(shí)戰(zhàn):從Soft-Lexicon到BiLSTM-CRF全解析

詞匯信息融合的中文NER實(shí)戰(zhàn):從Soft-Lexicon到BiLSTM-CRF全解析 簡介這是一套完整的中文命名實(shí)體識(shí)別課程設(shè)計(jì)項(xiàng)目包面向自然語言處理學(xué)習(xí)者、高年級(jí)本科生及需要復(fù)現(xiàn)模型效果的開發(fā)者。資源圍繞詞匯信息融合這一研究思路以融合詞匯信息的模型為核心分別實(shí)現(xiàn)了基礎(chǔ)模型與條件隨機(jī)場解碼等四種組合并在四個(gè)不同的中文數(shù)據(jù)集上完成實(shí)驗(yàn)對(duì)比讓讀者能清楚看到引入詞匯信息前后的綜合評(píng)估數(shù)值差異。壓縮包共44個(gè)文件大小12.97MB主要內(nèi)容包括模型實(shí)現(xiàn)代碼、訓(xùn)練與預(yù)測腳本、條件隨機(jī)場及評(píng)估度量模塊、數(shù)據(jù)預(yù)處理與詞典樹工具等程序源碼還附帶設(shè)計(jì)報(bào)告文檔、實(shí)驗(yàn)曲線圖片、說明文件、環(huán)境依賴清單和數(shù)據(jù)集壓縮包目錄按數(shù)據(jù)集與模型組織便于快速定位與復(fù)現(xiàn)。已有四百九十二人學(xué)習(xí)適合用于課程設(shè)計(jì)、畢業(yè)設(shè)計(jì)或NLP科研入門。通過閱讀和運(yùn)行源碼還能了解標(biāo)簽平滑、焦點(diǎn)損失等優(yōu)化細(xì)節(jié)并掌握中文NER從數(shù)據(jù)準(zhǔn)備到結(jié)果評(píng)估的完整流程。1. 為什么中文NER繞不開「詞匯信息融合」這個(gè)名字中文命名實(shí)體識(shí)別NER一直有個(gè)老毛病按字切丟失詞義按詞切分詞錯(cuò)誤直接傳導(dǎo)到實(shí)體邊界。Python實(shí)現(xiàn)基于詞匯信息融合的中文NER模型說到底就是給字符級(jí)模型外掛一張「詞典 詞頻」的知識(shí)卡片在判斷某個(gè)字符是不是實(shí)體開頭、中間或結(jié)尾時(shí)把匹配到的詞匯信息作為額外信號(hào)一起送入網(wǎng)絡(luò)。這個(gè)思路近幾年被反復(fù)驗(yàn)證經(jīng)典的Lattice LSTM、FLAT、Soft-Lexicon都是它的變體。這個(gè)方案最適合兩類人一是做中文信息抽取、知識(shí)圖譜構(gòu)建的工程師手里有領(lǐng)域詞典卻不知道怎么喂給模型二是被分詞錯(cuò)誤折磨得想放棄詞特征的NLP初學(xué)者。它不需要大規(guī)模預(yù)訓(xùn)練語言模型的算力核心代碼量能控制在幾百行以內(nèi)唯一硬性要求是你要有一份領(lǐng)域詞典或者愿意花半小時(shí)從詞頻表里篩一份出來。讀完你可以從零實(shí)現(xiàn)一個(gè)基于Soft-Lexicon的中文NER模型并搞清楚不同融合策略的取舍。2. 詞匯信息到底怎么個(gè)「融合」法從Lattice到Soft-Lexicon的演進(jìn)2.1 為什么要繞開「分詞」這座獨(dú)木橋常見做法是先分詞再標(biāo)注實(shí)體但分詞器的錯(cuò)誤會(huì)像多米諾骨牌一樣傳導(dǎo)。比如「南京市長江大橋」分詞器可能切成「南京市/長江大橋」也可能切成「南京/市長/江大橋」——前一種切法實(shí)體邊界正確后一種直接把「市長」這種非實(shí)體詞暴露給NER。字符級(jí)模型不會(huì)犯這種錯(cuò)但它看不見詞邊界遇到「研究生命科學(xué)」這樣的歧義片段不知道「研究」和「生命」哪個(gè)該合起來。詞匯信息融合的核心思路是保留字符級(jí)輸入同時(shí)把每個(gè)字符位置上能匹配到的詞典詞比如「南京」「南京市」「長江」「長江大橋」以某種權(quán)重疊加進(jìn)字符表示。這樣模型既享受了詞邊界信息的紅利又不會(huì)因?yàn)橐淮畏衷~失誤而全盤崩潰。用一句口語說就是給字符特征撒了一把詞典鹽味不夠就多撒味太咸就靠模型自己調(diào)整。2.2 Lattice結(jié)構(gòu)的光環(huán)與代價(jià)2018年ACL的Lattice LSTM是第一個(gè)吃螃蟹的。它在字符LSTM旁邊并行跑一條詞LSTM每個(gè)詞的隱狀態(tài)只喂給詞的最后一個(gè)字符。比如「南京市」這個(gè)詞它的信息只會(huì)流入「市」這個(gè)位置的拼接向量?!甘小雇瑫r(shí)收到「市」字符本身、「南京」和「南京市」兩個(gè)詞的表示由門控機(jī)制決定取舍。這個(gè)設(shè)計(jì)的缺點(diǎn)是結(jié)構(gòu)太重。詞典里的詞數(shù)量不可控LSTM的入邊數(shù)量跟著暴漲單條樣本的詞圖可能有幾十條邊導(dǎo)致批量訓(xùn)練困難推理速度也比普通LSTM慢不少。我自己在復(fù)現(xiàn)時(shí)最頭疼的是動(dòng)態(tài)圖上的順序處理——PyTorch沒法直接對(duì)每句話詞格長度不同的圖做batch并行只能逐句處理或按長度排序塞進(jìn)DataLoader工程上很別扭。2.3 Soft-Lexicon把離散圖結(jié)構(gòu)壓成稠密向量Soft-LexiconAAAI 2020做了個(gè)聰明的簡化不搞圖結(jié)構(gòu)直接對(duì)一個(gè)字符統(tǒng)計(jì)它所屬的詞典詞分四類統(tǒng)計(jì)——詞首B、詞中M、詞尾E、單字詞S。比如句子「南京市長江大橋」里「長」這個(gè)字對(duì)應(yīng)的候選詞有B類長江「長」在詞首E類市長「長」在詞尾S類長詞典里單字成詞M類無匹配對(duì)每一類把所有候選詞向量按詞頻加權(quán)求平均得到四個(gè)定長向量再拼接進(jìn)字符嵌入。公式上就是# 每個(gè)字符的詞匯特征 concat(avg(B類詞向量), avg(M類詞向量), avg(E類詞向量), avg(S類詞向量)) lex_feat torch.cat([b_vec, m_vec, e_vec, s_vec], dim-1) char_with_lex torch.cat([char_emb, lex_feat], dim-1)這個(gè)設(shè)計(jì)的直接收益是結(jié)構(gòu)完全靜態(tài)batch訓(xùn)練暢通無阻推理速度和普通BiLSTM-CRF幾乎持平。代價(jià)是需要維護(hù)一份詞典及其詞頻統(tǒng)計(jì)詞向量也必須預(yù)先用word2vec或fastText在大量語料上練好。如果手頭沒有領(lǐng)域詞向量直接用預(yù)訓(xùn)練的通用詞向量頂著也行但實(shí)體邊界判斷會(huì)鈍一些。2.4 三類融合策略的對(duì)比該抄哪家作業(yè)策略信息粒度工程復(fù)雜度推理速度適合場景Lattice LSTM詞級(jí)圖高慢追求極致精度、能接受復(fù)雜工程FLAT基于Transformer的詞格詞格中中有GPU閑時(shí)、想結(jié)合位置編碼Soft-Lexicon詞級(jí)統(tǒng)計(jì)低快小團(tuán)隊(duì)快速落地、需要頻繁調(diào)詞典實(shí)際項(xiàng)目里沒有強(qiáng)需求我不會(huì)碰Lattice LSTM。它的精度優(yōu)勢(shì)主要體現(xiàn)在通用領(lǐng)域的大規(guī)模詞典上一旦詞典質(zhì)量參差、覆蓋不全圖里缺詞少詞反而讓模型學(xué)習(xí)到噪聲。Soft-Lexicon對(duì)詞典噪聲的容忍度更高——詞頻加權(quán)本身就是一種soft attention低頻垃圾詞自然被壓下去。2.5 一個(gè)反直覺的結(jié)論詞頻比詞向量更重要我做過一組對(duì)照實(shí)驗(yàn)詞向量固定不更新只調(diào)詞頻權(quán)重F1在MSRA數(shù)據(jù)集上掉了不到1個(gè)點(diǎn)但把詞向量換成隨機(jī)初始化F1直接暴跌4個(gè)點(diǎn)以上。這說明詞匯信息融合的核心承載者是詞向量本身的質(zhì)量詞頻只是給不同詞「分豬肉」的權(quán)重。所以落地時(shí)優(yōu)先保證詞典詞的覆蓋率其次才是調(diào)詞頻平滑參數(shù)。3. 手寫一個(gè)Soft-Lexicon中文NER從詞典構(gòu)建到訓(xùn)練全流程3.1 數(shù)據(jù)準(zhǔn)備BIO標(biāo)注和詞典的預(yù)處理用現(xiàn)成的中文NER數(shù)據(jù)集時(shí)第一步是把標(biāo)注轉(zhuǎn)成BIO格式同時(shí)把實(shí)體詞表和更多候選詞合并成詞典。假設(shè)數(shù)據(jù)文件是train.txt每行格式為字 標(biāo)簽空行分隔句子def load_sentences(path): 讀取BIO標(biāo)注文件返回 [(chars, tags), ...] 列表 sentences [] with open(path, encodingutf-8) as f: chars, tags [], [] for line in f: line line.strip() if line : if chars: sentences.append((chars, tags)) chars, tags [], [] else: parts line.split() if len(parts) 2: chars.append(parts[0]) tags.append(parts[1]) if chars: sentences.append((chars, tags)) return sentences # 示例輸入格式每行字符標(biāo)簽 # 南 B-LOC # 京 I-LOC # 市 I-LOC # 長 O # 江 O這里有個(gè)關(guān)鍵點(diǎn)詞典不是只有實(shí)體詞而是盡量覆蓋所有可能成詞的連續(xù)字符組合。一般做法是拿一份通用中文詞表比如維基百科詞頻表和訓(xùn)練集里出現(xiàn)的實(shí)體集合做并集。訓(xùn)練集的實(shí)體詞是硬要求通用詞表用來提升召回。構(gòu)建詞典編碼器時(shí)需要為每個(gè)詞分配一個(gè)穩(wěn)定ID同時(shí)記錄它在句子中的匹配起止位置。這里推薦用「前綴樹」做詞典匹配避免逐詞暴力掃描class TrieNode: 前綴樹節(jié)點(diǎn)用于快速匹配句子里所有詞典詞 def __init__(self): self.children {} self.is_word False self.freq 0 class LexiconBuilder: def __init__(self): self.root TrieNode() def add_word(self, word, freq): node self.root for ch in word: if ch not in node.children: node.children[ch] TrieNode() node node.children[ch] node.is_word True node.freq freq def match_words(self, chars): 返回每個(gè)位置的四類詞典詞ID列表 n len(chars) b_matches [[] for _ in range(n)] m_matches [[] for _ in range(n)] e_matches [[] for _ in range(n)] s_matches [[] for _ in range(n)] for start in range(n): node self.root for end in range(start, n): if chars[end] not in node.children: break node node.children[chars[end]] if node.is_word: word_len end - start 1 if word_len 1: s_matches[start].append((id_of(chars[start]), node.freq)) elif word_len 2: b_matches[start].append(...) e_matches[end].append(...) else: b_matches[start].append(...) m_matches[start 1:end].append(...) e_matches[end].append(...) return b_matches, m_matches, e_matches, s_matches邏輯說明match_words按句子中每個(gè)可能的起止位置在前綴樹中查找一旦遇到is_word標(biāo)記就按詞長度歸類——單字歸S雙字詞的首字進(jìn)B、尾字進(jìn)E三字及以上還要把中間位置全部歸入M。這個(gè)操作的時(shí)間復(fù)雜度接近O(n2)對(duì)平均長度20~40個(gè)漢字的句子完全可接受。詞典規(guī)模超過50萬時(shí)建議改用AC自動(dòng)機(jī)加速但多數(shù)場景不到這一步。3.2 模型結(jié)構(gòu)字符嵌入 詞匯嵌入 BiLSTM CRF模型輸入分兩條線字符序列和對(duì)應(yīng)每個(gè)位置的四類詞匯特征。字符嵌入用預(yù)訓(xùn)練字向量詞匯特征則先從詞向量表里取出每個(gè)詞的向量再按詞頻加權(quán)平均class SoftLexiconNER(nn.Module): def __init__(self, char_vocab_size, char_emb_dim, word_vocab_size, word_emb_dim, hidden_dim, num_tags, drop_rate0.5): super().__init__() self.char_emb nn.Embedding(char_vocab_size, char_emb_dim, padding_idx0) self.word_emb nn.Embedding(word_vocab_size, word_emb_dim, padding_idx0) self.bilstm nn.LSTM(char_emb_dim word_emb_dim * 4, hidden_dim, num_layers1, bidirectionalTrue, batch_firstTrue) self.fc nn.Linear(hidden_dim * 2, num_tags) self.dropout nn.Dropout(drop_rate) self.crf CRF(num_tags, batch_firstTrue) def gather_lex_feat(self, b_ids, m_ids, e_ids, s_ids, word_freqs): 對(duì)每類詞典詞向量做詞頻加權(quán)平均得到4*word_emb_dim的向量 # b_ids: B x L x K (K為該位置匹配到的詞數(shù), 不足padding到固定值) # 實(shí)際實(shí)現(xiàn)需按batch內(nèi)最長匹配數(shù)做mask這里用循環(huán)示意 b_vecs [] for ids, freqs in zip(b_ids, word_freqs): if len(ids) 0: vec torch.zeros(word_emb_dim) else: words torch.tensor(ids) # K個(gè)詞ID freq_t torch.tensor(freqs, dtypetorch.float) freq_t freq_t / freq_t.sum() vec (self.word_emb(words) * freq_t.unsqueeze(-1)).sum(0) b_vecs.append(vec) b_vec torch.stack(b_vecs) m_vec self.gather(m_ids, ...) e_vec self.gather(e_ids, ...) s_vec self.gather(s_ids, ...) return torch.cat([b_vec, m_vec, e_vec, s_vec], dim-1)邏輯說明gather_lex_feat的意圖是對(duì)每個(gè)位置的四類詞向量分別做詞頻加權(quán)求和。代碼里用循環(huán)是為了說清權(quán)重計(jì)算工程實(shí)現(xiàn)時(shí)要用torch.masked_fill處理padding詞位避免循環(huán)拖慢GPU利用率。拼接后的詞匯特征和字符嵌入一拼就送進(jìn)BiLSTM。3.3 訓(xùn)練循環(huán)里的三個(gè)必調(diào)參數(shù)訓(xùn)練時(shí)最容易忽視但影響最大的參數(shù)分別是詞向量凍結(jié)與否、CRF學(xué)習(xí)率倍率、梯度裁剪閾值。# 訓(xùn)練循環(huán)關(guān)鍵片段 optimizer torch.optim.AdamW([ {params: model.char_emb.parameters(), lr: 5e-4}, {params: model.word_emb.parameters(), lr: 1e-4}, # 詞向量慢熱防止災(zāi)難性遺忘 {params: model.bilstm.parameters(), lr: 5e-4}, {params: model.fc.parameters(), lr: 5e-4}, {params: model.crf.parameters(), lr: 1e-3} # CRF收斂慢給大一點(diǎn) ], weight_decay1e-4) # 梯度裁剪BiLSTM對(duì)梯度爆炸敏感經(jīng)驗(yàn)值max_norm5.0 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0)參數(shù)說明里最值得聊的是詞向量學(xué)習(xí)率。如果設(shè)為和主模型一樣大的學(xué)習(xí)率預(yù)訓(xùn)練詞向量會(huì)在前兩個(gè)epoch內(nèi)被大量非實(shí)體樣本「帶偏」等CRF還沒學(xué)會(huì)約束邊界詞向量空間已經(jīng)一團(tuán)糟。把詞向量學(xué)習(xí)率壓到主模型的五分之一相當(dāng)于讓它在細(xì)調(diào)時(shí)保持距離。CRF的轉(zhuǎn)移矩陣參數(shù)很少但梯度更新效率低單獨(dú)放大學(xué)習(xí)率能少跑一兩個(gè)epoch。3.4 推理階段Viterbi解碼和實(shí)體邊界還原CRF解碼用crf.decode即可但實(shí)體抽取時(shí)需要將BIO標(biāo)簽序列還原為實(shí)體列表def decode_entities(chars, tags): entities [] cur_type None cur_start 0 for i, (ch, tag) in enumerate(zip(chars, tags)): if tag.startswith(B-): if cur_type is not None: entities.append((cur_start, i - 1, cur_type)) cur_type tag[2:] cur_start i elif tag.startswith(I-): if cur_type ! tag[2:]: # I標(biāo)簽和前一個(gè)B類型不一致說明標(biāo)注錯(cuò)誤或解碼異常跳過當(dāng)前實(shí)體 cur_type None else: if cur_type is not None: entities.append((cur_start, i - 1, cur_type)) cur_type None if cur_type is not None: entities.append((cur_start, len(chars) - 1, cur_type)) # 合并相同位置的連續(xù)實(shí)體并回填原文 return [(.join(chars[s:e1]), t) for s, e, t in entities]這個(gè)還原函數(shù)看起來簡單但暗含一個(gè)工程陷阱如果標(biāo)簽序列里出現(xiàn)B-PER后面直接跟I-LOC這種跨越類型變化必須中斷當(dāng)前實(shí)體而不是強(qiáng)行合并否則會(huì)抽出「張B-PER / XYZI-LOC」這種拼接怪物。實(shí)踐中CRF很少產(chǎn)生這類錯(cuò)誤但用規(guī)則兜底能避免線上抽出不合法的實(shí)體。4. 避坑從「復(fù)現(xiàn)成功」到「上線能跑」的五個(gè)血淚經(jīng)驗(yàn)4.1 詞典匹配漏詞導(dǎo)致召回崩盤現(xiàn)象驗(yàn)證集P/R曲線全部正常但訓(xùn)練loss遲遲降不下去F1到30%就停滯。原因詞典構(gòu)建時(shí)只收入了訓(xùn)練集實(shí)體詞匯測試集里大量名詞特別是人名、產(chǎn)品名根本不在詞典中詞匯特征全是零向量融合了個(gè)寂寞。解決從外部通用NLP詞表例如百科詞頻、搜狗細(xì)胞詞庫補(bǔ)充至少10萬常用詞再配合停用詞過濾。如果對(duì)召回率有硬指標(biāo)把訓(xùn)練集所有連續(xù)雙字組合加入詞典做保底——寧可有噪聲詞不能沒有詞。4.2 詞頻權(quán)重的長尾爆炸現(xiàn)象詞頻加權(quán)后某些高置信實(shí)體詞比如反復(fù)出現(xiàn)的專有名詞向量模長被放大數(shù)十倍導(dǎo)致該位置字符本身的信息被淹沒。原因原始詞頻分布極度長尾頭部的詞頻是尾部的幾千倍沒做對(duì)數(shù)平滑直接除總頻次權(quán)重還是懸殊。解決對(duì)頻率做對(duì)數(shù)變換后再歸一化我一般用log(1 freq)替代raw freq同時(shí)給所有權(quán)重加一個(gè)最小閾值1e-4避免極端長尾詞影響數(shù)值穩(wěn)定性。4.3 CRF轉(zhuǎn)移矩陣不收斂現(xiàn)象訓(xùn)練到20個(gè)epoch后CRF的轉(zhuǎn)移概率仍然沒有明顯規(guī)律START-B-LOC這類合理轉(zhuǎn)移的得分和B-PER-I-LOC這類非法轉(zhuǎn)移得分幾乎一樣。原因CRF損失函數(shù)被BiLSTM特征主導(dǎo)轉(zhuǎn)移矩陣的梯度信號(hào)相對(duì)太弱。尤其當(dāng)batch_size1時(shí)每個(gè)step更新一次轉(zhuǎn)移矩陣每個(gè)step的更新方向和全局最優(yōu)方向偏差很大。解決batch_size至少調(diào)到16以上CRF單獨(dú)用AdamW而不用SGD如果還不行把LR的warmup步數(shù)拉長到總步數(shù)的10%讓轉(zhuǎn)移矩陣在訓(xùn)練早期就有足夠的收斂時(shí)間。4.4 詞向量OOV詞典有詞但向量表查不到現(xiàn)象訓(xùn)練正常但一測測試集帶詞典匹配的樣本F1反而低于不帶詞典的基線。原因預(yù)訓(xùn)練詞向量覆蓋不足詞典詞ID映射到隨機(jī)初始化向量隨機(jī)向量和訓(xùn)練好的字向量空間分布完全不齊相當(dāng)于在輸入里摻了隨機(jī)噪聲。解決所有OOV詞統(tǒng)一映射到一個(gè)特殊ID之前用詞向量的子詞初始化替代——fastText對(duì)OOV有n-gram回退換成fastText詞向量能救一多半。如果堅(jiān)持用word2vec就回退用該詞的首尾字向量平均做初始化。4.5 預(yù)測階段字典匹配和訓(xùn)練階段不一致現(xiàn)象訓(xùn)練時(shí)F1漂亮部署到服務(wù)上后線上預(yù)測F1直接掉5個(gè)點(diǎn)。原因線上詞典和生產(chǎn)詞典版本不一致。訓(xùn)練時(shí)使用的詞典包含一部分自定義業(yè)務(wù)詞線上詞典更新后少了一批或加了一批匹配結(jié)果直接變化。解決把詞典文件連同模型參數(shù)一起打包鏡像詞典版本做哈希校驗(yàn)任何詞典變更都要重新訓(xùn)練或至少做fine-tune不能只替換詞典文件。我在項(xiàng)目里吃過一次虧線上詞典被運(yùn)營人員手動(dòng)加了一千個(gè)詞沒重訓(xùn)直接上結(jié)果實(shí)體邊界飄了半個(gè)月。5. 把模型調(diào)到「壓榨機(jī)」?fàn)顟B(tài)三個(gè)可遷移的進(jìn)階操作先看如何驗(yàn)證詞匯融合真的在起作用。一個(gè)很實(shí)用的小技巧是把模型輸入中詞匯特征部分的梯度置零requires_gradFalse再跑一遍測試集和原模型對(duì)比F1差多少。如果差值小于0.5個(gè)點(diǎn)說明你的詞典和詞向量質(zhì)量不夠如果差值超過3個(gè)點(diǎn)說明模型已經(jīng)在依賴詞典信息但你還不知道哪些詞典詞在起作用。進(jìn)一步做法是抽一批測試集樣本對(duì)每個(gè)預(yù)測正確位置的反事實(shí)——把該位置的詞匯特征改成空——看模型預(yù)測是否翻轉(zhuǎn)。這個(gè)操作能幫你定位詞典里的「關(guān)鍵詞」讓詞典維護(hù)有的放矢。第二個(gè)操作是給Soft-Lexicon加一個(gè)詞級(jí)注意力門控。原始實(shí)現(xiàn)是直接拼接四類平均向量但它沒有區(qū)分「哪些類對(duì)當(dāng)前決策更重要」。常見做法是給四類向量各學(xué)一個(gè)標(biāo)量權(quán)重用字符當(dāng)前隱狀態(tài)做query算attention。代價(jià)是參數(shù)量增加不大F1能回升1%~1.5%特別是在噪聲詞典場景下。注意門控要加在BiLSTM的輸出層而不是輸入層輸入層門控會(huì)讓梯度傳導(dǎo)路徑變長收斂變慢。第三個(gè)可遷移點(diǎn)是多粒度特征的表征對(duì)齊。如果你后續(xù)想把這個(gè)NER模型并入預(yù)訓(xùn)練語言模型比如讓BERT的輸出和詞匯特征融合注意直接拼接BERT的高維向量和詞向量會(huì)讓前者主導(dǎo)決策詞向量初始化更新不起來。我的習(xí)慣是先用一個(gè)線性層把詞匯特征投影到BERT隱藏層維度的四分之一再經(jīng)過LayerNorm后加到BERT輸出上。這樣既保留了詞匯信息又不會(huì)把BERT主干拖下水。寫到這里回頭看Python實(shí)現(xiàn)基于詞匯信息融合的中文NER模型這個(gè)標(biāo)題里最難啃的骨頭其實(shí)不是模型代碼而是「詞典從哪來、詞向量怎么選、基礎(chǔ)參數(shù)怎么配」。我自己的血淚教訓(xùn)是第一版先用Soft-Lexicon跑通全鏈路再考慮Lattice或FLAT——這比上來就整復(fù)雜結(jié)構(gòu)快三天以上。詞典優(yōu)先覆蓋業(yè)務(wù)高頻實(shí)體詞向量選fastText回退方案訓(xùn)練時(shí)盯住詞向量學(xué)習(xí)率。這套打法救回了我好幾個(gè)項(xiàng)目希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色五月婷婷久久爱| 丁香五月天论坛| 久婷五月| AA片在线观看视频在线播放 | 婷婷淫淫狠狠六月| 久久五月婷| 99爱精品视频| 色婷婷五月六月丁香综合视频| 噜噜噜噜噜日本视频| 人妻操在线看| 丁香五月香蕉| 思思热视频在线观看| 婷婷久久综合| 久久精品亚洲一级牲爱综合| 五月婷婷丁香伦理网| 五月婷婷偷拍| 婷婷中文字幕网| 热思思九九| 思思久久99| 久久综合影院| 天天摸天天舔| 婷婷五月丁香网| 久热这里有精品视频| 日韩不卡DvD| 五月丁香日逼| 婷婷碰碰| 乱精品一区字幕二区| 天天 青草 丝袜制服 在线| 91超级碰碰| 伊人网啪啪| 九九热内射| 99色色| www.五月婷婷久久.com| 超级碰碰碰97免费| 天天干天天拍| 色综合五月天| 五月综合激情网| 99成人免费热视频| 五月婷在线视频免费播放| 激情五月综合免费| 伊人丁香五月| 五月天婷婷久色| 丁香五月天激情网址| 亚洲婷婷91丁香| 91热网址| 国产AV不卡福利| 极品嫩草| 六月婷婷操逼| 99玖玖精品| AAA级久久久精品| 天天综合网站| 国产AV一区二区三区日韩| 色色色综合网| 九九精品热| 99久在线精品99re8热| 色偷偷狠狠| 久久99色色| 五月丁香六月婷婷色| 人人操Av| 色婷婷五月天天天做| 99精品色色| 思思热天天看| 五月婷婷激情四季| 99久久a线观| 久久这里只有国产| 九九这里有精品视频| 这里有精品99| 丁香五月婷婷五月天在线| 久99久在线| 亚州操操| 婷婷九月色| 91九色在线| 九九色人| 六月丁香婷婷拍拍| 第六色在线| 五月综合777| 日日干日日s| 伊人久久婷婷五月天激情四射| 婷婷五月天直播| 婷婷五月蜜桃成人桃色丁香| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 夜夜夜夜操| 人妻性爱| 九九免费在线视频| 久久成人人妻| 天天噜| 激情丁香九九五月综合网| www.91在线观看| 激情综合国产| 色色色综合色| 性av| 伊人大香蕉毛片| 2021日韩无码| 99自拍视频网站| 五月丁香综合啪啪| 久热2025无码| 天堂婷婷丁香六月网| 五月婷婷干| 五月天久久网站| 五月人妻婷婷视频| 影视av久久久噜噜噜噜噜三级| 99精品热视频| 大香蕉九九| 亚洲亚洲人成综合网络| 色婷狠狠| 91色九| 五月丁香综合啪啪| 情欲综合网| 伊人丁香花综合影院| 五月激情开心婷婷| 99色亚洲| 五月婷婷色色色| 天天干天天干天天操| 国产成人网址| 色九四色| 91色逼| aaaaa黄色| 狠狠人人| 天天综合社区| 五月天婷婷影院| 热久久这里只有精品| 任你躁XXXXX麻豆精品| 97色五月丁香婷婷| 91丁香五月| 99久re热视频精品98| WWW色五月天| 久久九精品| 狠狠干在线| 亚洲综合视频网| 五月天色婷婷综合| 婷婷五月天 丁香五月天 裸体| 九九激情| 丁香六月婷婷综合激情欧美| 婷婷五月天激情偷拍| 综合五月激情| 99国产精品久久久久久久久久久| 久久激情网| 亚洲无AV在线中文字幕| 婷五月天六| 91九色国产| 五月婷高清视频| 日日狠狠久久偷偷四色综合免费 | 亚洲9久久精品| 色婷婷在线影院| 色婷操逼| 天天狠狠色| 激情五月五月婷婷| 五月丁香六月激情| 欧美成综合在线观看| www.婷婷.com| 婷婷五月天成人动漫| 激情开心五月天婷婷基地丁香社区| 五月丁香在线| 国产精产国品一二三在观看| 六月婷婷最新网址| 五月天婷婷六月激情网| 婷婷五月天激情基地| 91干| 五月婷A V在线| 亚洲秘 无码一区二区三区妃光/1| 另类在线| 亚洲第一色区| 婷婷大香蕉| 色色五月婷婷狠狠| caop在线| 日日做夜夜爱| 成人 在线 日韩| 亚洲视频在线观看| 狼人婷婷久久| www.色五月天.com| 狠狠爱综合网| 99在线资源视频| 26.uuu丁香五月婷婷| 天天日天天狠狠操| 99久热这里只有精品| 激情小说视频图片| 色婷婷亚洲综合av| 激情五月婷婷免费视频| 五月激情六月丁香| 综合五月天| 色色婷婷婷丁香五月天| 99热在这里只有免费精品| 激情文学五月丁香六月婷婷| 九九黄色网| 性爱五月婷| 婷婷五月色| 丁香五月开心婷婷| 激情五月婷| 婷婷伊人綜合中文| 婷婷五月激情六月丁香| 五月婷婷综合视频| 久久久噜噜噜久久人妻| 丁香六月激情国产| 26uuu.| 色播播婷婷| 欧美日韩999| 色色网91| 婷婷五月天天天日日夜夜| 五月天婷婷视频| 五月婷丁香| 国产三级在线播放| 五月婷免费视频久久久| 欧美日韩成人免费在线| 99热午夜精品| 99惹在线精品免费观看| 色五月天婷婷| 国产偷人爽久久久久久老妇APP| 色九九综合热99| 91视屏在线观看com.wwwvv| 991精品在线视频| 成人美女网| BT综合在线视频观看| 五月丁香色婷| 五月婷婷色播| 综合99久久天天综合| 色 噜噜 九月 婷婷| 开心六月丁香五月婷婷| 麻豆雪千夏| 乱乱av| 色婷婷色99国产综合精品| 婷婷丁香五月天中文字幕| 激情欧美五月丁香| 玖玖五月| 四色AVwww| 99久久精品国产色欲| 69激情小说| 久久新| 中文幕无线码中文字蜜桃| 亚洲热久久| 一起草av| 9|在线观看视频| 五月天婷网| 九九热最新| 国成人网| 亚洲日日日| 99riAV国产精品视频| 玖玖综合色| 九九热思思| 五月丁香综合色婷婷| 天天综合网91| 激情小说五月欧美亚洲丁香| 久久一级片| 国产精品人成A片一区二区| 综合网激情| 久久XX| 97人人操com| 五月婷婷色男女| 激情久久久久| 五夜丁香| 五月开心色| 丰满少妇乱A片无码| 丁香大香蕉| 5月婷婷6月六月丁香| 色欧美色色色| 妻久久久久| 色狠狠综合| 伊人9草在线观看| 丁香六月天色婷婷| 俺去也婷婷| 久久久99视频| 中文字幕丰满人妻无码专区| 99视频在线啪| 六月婷婷久久| 国产av网| 丁香婷婷色五月天| 免费无码毛片一区二区A片| 激情五月天噢美| www.婷婷亚洲基地| 日本操片| 色婷婷小说网| 激情淫乱男女| 久久五月天激情| 六月五月天婷婷涩播在线| 激情网五夜婷婷| 成人看片网站| 影音先锋日本三级资源| 色婷五月天亚洲| 亚洲六月色| 婷婷综合色网| 五月婷婷综合在线| 97热超碰| 99无吗| 亚洲天堂婷婷| 99人妻碰碰碰久久久久视| 91精品久久久久久综合五月天| 四虎婷婷五月天| 黄色大片又大粗又爽| 伊人玖玖综合| 婷婷丁香18| 99视频在线精品免费观看2| 九玖欧洲亚洲| 天天网曰日曰夜夜综合永久免费| 91Chinese在线| 五月青青草综合| 五月婷婷|欧美| 色五月婷婷丁香凹凸| 丁香五月天AV在线| 大香蕉伊人久久| 五月天亚洲最大成人| 婷婷六月激情小说网| 婷婷五月天堂| 亚洲色综久久五月| 五月天婷婷成人网| 久婷自拍视频| 五月丁香六月激情在线| 六月婷婷视频| 在线观看婷婷5月| 色色色五月| 涩婷婷五月天| 综合久久六月| 激情开心五月天| 99色在线视频观看| 色色日本| 亚州综合色| 开心五月天激情网| 久久久99免费视频| caop在线| 成人一级片| 无码啪啪| 丁香五月影院| 丁香啪啪| 五月丁香六月激情网| 国产全是老熟女太爽了| 色婷婷六月开心中文字| 啪啪五月婷婷| 五月天婷婷乱论小说| 五月丁香成年黄色| 婷婷五月天激情小说| 五月色婷| 丁香成人五月天| 都市激情蜜桃婷婷五月天| www.夜夜操| 99热这里只有精品国产免费| 伊人在线视频| 亚洲第一色区| 婷色视频| 色九亚洲| 亚洲婷婷五月天在线激情综合网| 亚洲激情四射| 99精品网站| 亚洲午夜国产成人电影VA国产欧…| 99re这里只有精品首页| 色色色色色日韩午夜激情| 日本色色色| 极品九九九九九九| 亚洲在线操| 亚洲中文字幕网| 色婷婷电影网| 天天色五月| 欧美色图片88| 五月情涩综合婷婷| 丁香五月综合无码趴趴| 久热大香蕉| 99久免费视频| 97资源欧美日韩大香蕉超碰一区| 久久久久久久丁香五月天婷婷| 欧洲色| 天天爽天天日人人爱| 国精产品一区一区三区免费视频 | 色婷婷六月| 婷婷五月天亚洲综合| 青青草网武则天| 丁香色成人| 996热| 亚洲操操| 五月婷婷久草在线视频综合| www.色九月| www.久久99| 天天色综合色色色色色。| 91精品国产综合久久久不卡电影| 亚洲婷婷五月天激情| avv在线| 91超级碰| 人人草人人爱手机视频看看| 日本99色| 亚洲精品一区无码A片| 久re在线| 五月天婷基地| 婷婷中文字暮| 四月婷婷丁香| 婷婷欧美激情| 99热官网| 丁香五月婷婷激情小说| 欧美特大片黄| www.婷婷| 久久九九爽| 日本色色网站| 婷婷五月69| 久久66er久久| 超碰在线视屏| 色色五月婷| 无码se| 六月婷色| 九九家庭影院| 色综合大香蕉| 九九热av| 看黄的网站18禁| 五月天天丁香婷婷在线中| 538在线| 一區四區歐美日韓| 91视屏在线观看com.wwwvv| WWW激情五月天| 九热视频精品| 91avse| 丁香五月色情| 996热| 亚洲欧美日韩VIP| 1024欧美看片| 色综合xx| WWW.婷婷| 超碰9| 色香欲综合| 激情综合亚洲| 99人人操| 激情久久 婷婷| 亚洲激情 久久| 丁香婷婷色五月| 九洲一级A片| 中文字幕按摩做爰| 97五月天| 五月天婷婷在线观看精品男人| 色色欧美色色色| 99色综合| 色婷婷五月基地在线| 91色碰| 99热在线观看| 激情婷婷五月| ,99视频久久| 五月婷婷,六月婷婷| 激情综合网五月婷婷| 色欲资源网| 成人五月丁香社区| 五月激情综合婷婷| 99精品综合| 丁香五月亚洲| 5月色婷婷| 人碰91| 91色久| 日韩成人中文字幕| 99综合网| 91怕怕网| 亚洲色婷婷五月| 丁香六月成人| 99热中文字幕久久| 色综久久AV| 大香蕉伊在| 婷婷五月在线视频| 97人人操| 美女美女美女三级色天天天天天| 激情五月天在线观看婷婷| 99热这里是精品| 五月精品免费XXX| 欧美精品99久久久| 色色色色色五月| 五月天激情网图片| 狠狠摸狠狠摸| 甈你aaaaa| 婷婷五月天激情网| 大香蕉人人网| av免费在线看不卡无毒| www.婷婷五月天,com| 亭亭玉月丁香| 热婷婷在线视频| 思思久热6| 在线看的免费网站| 婷婷综合丁香| 激情小说视频图片| 国产va在线视频| 99干日本| 婷婷狠狠青青| 99精品偷自拍| 99热这里只有精品86| 亚洲久久视频| 亚洲成人网在线观看| 97色五月丁香婷婷| 成人视频网| 日本婷久久| 99热成人在线| 99爱免费在线观看| 99色网站| 激情婷婷网| 97caop| 九九免费视频| 激情久久丁香| 日本熟女内射| 色综合xx| 噜噜噜噜婷婷五月天| 99高级会所久久| 狠狠色噜噜狠狠狠狠综合| 日韩色色色色色| 色噜噜狠狠色综合日日| 69人人操人人爽| 亚洲中文字幕AV| 五月天激情小说电影| 九九色色网| 丁香六月婷婷开心婷婷网| 大香蕉 婷婷| 香蕉综合网| 五月丁香婷婷色色| 九九热思思| 开心五月婷婷激情网| 婷婷五月亚洲激情| 国产 码在线成人网站| 久久综合色五月| AA片在线观看视频在线播放| 九色视频91| 91爱啪啪| 亚洲十月婷婷综合| 日韩av在线免费观看| www.jiujiujiu| 97久久久免费福利网址| 婷婷香蕉| 欧韩性爱| 狠狠色婷婷| 久久综合激情五月天| 99久在线精品99re8热| 9热在线观看| www.夜夜操.con| 思思热在线观看| 五月五月婷婷| 99九九99九九九视频精彩| 免费的日逼视频| 久久精品99国产精品日本| 99热亚洲| 六月丁香婷婷综合狠狠爱夜夜爱| 日韩啊啊啊| 欧美性爱5月天天天看| 人妻操逼| 99久视频| 大香蕉综合| 97婷婷在线| 五月婷婷亚洲色图| 超爽内射| www.一起草av| 9999综合99综合人| 色五月婷婷91在线| 婷婷五月天堂| CHINESE熟女老女人HD视频| 国产精品A片| 色色五月丁香婷婷综合| 亚州操人在线视频| www.99热国产| 8区视频在线| 99色在线观看视频| 日韩另类在线观看| 久9无码视频| 婷婷综合五月| 久久九九国产精品怡红院| 婷婷五月天激情基地| 欧美狠狠地| 欧美毛片www| 五月婷婷成人w| 日韩av干| m色激情网| 精品久久久久久久人妻| 夜丁香五月婷婷| 色六月视频| 久久免费视频62| 天天操九九插| 精品色色网| 日日操日日射| 激情综合色五月丁香六月亚洲| 久久深爱激情网| 99热这里只有精品 搜| 九色七七| 六月丁香五月婷婷| 大香蕉久久久久| 香蕉久日夜| 欧美日韩99| 狠狠色精品综合| 中文字幕AV在线播放| 日韩无码专区| 久久婷五月| 少妇AB又爽又紧无码网站 | WwW天天干| 色五月婷婷视频| 精品人妻久久久久久久| 色婷婷社区| 99热精品在线免费观看| 丁香五月婷婷基地| 超碰在线精品| 99热这里只有精品免费| 嫩BBB槡BBBB搡BBBB| 老美AA片| 996re热精品视频| 久久一品区| 色婷婷888| 性视频久久| 色优久久| 丁香六月激情综合网| 亚洲综合色丁香五月天| 欧美日本一区二区三区| 亚洲色情网站| 成人性爱精品视频| 深爱五月中文字幕| 这里只有在线精品| 9热在线观看| 91se视频| 欧美操人| 五月丁香啪| 婷婷内射视频在线| 久9视频| 久久33视频| 7777久久亚洲中文字幕| 亚洲四色五月| 久9热在线视频| 久久新地址| 婷婷六月激情小说网| 亚洲第一色色色| 激情五月综亚网| 久久精品视频9| 激情五月天小说网| 日韩成人电影AV| 夜夜操狠狠操| 婷婷丁香大香蕉| 激情视频综合| 久99| 五月丁香婷婷婷婷综合网| 五月激情久久| 久9无码视频| 亚洲精品婷婷| 综合色、色综合| 啪啪东京热| 激情五月天综合网| 日本狠狠色| 色色射| 人妻操操色| xxxx五月激情| 少妇丁香婷婷| 五月美女婷婷风骚| 91热在线观看视频| 97人人操| 色五月噜噜| 婷婷色网址| 一区二区三区四日本| 99婷婷精品推荐在线视频| 91操人视频| 五月色综合| 中文字幕不卡+婷婷五月| 亚洲色图五月丁香| 欧美婷婷五月天| 97人妻碰碰碰久久香蕉| 97人人草| 天天拍天天操| 丁香五月亚洲无码| 激情久久肏屄视频| 婷婷97C| 爱久久小说下载网| 中文网av| 人人视频色| 91精品国产99久久久久久天美| 六月激情婷婷| 色色97丁香婷婷五月天| 天天天天干| 六月份天丁香婷婷| 99无码精品| 婷婷狠狠操| 色五月婷婷色五月婷婷色五月婷婷| 色综合天天网| 99久久99视频| 久色视频首页| 99综合| 人人草人人舔| 日韩AV中文字幕在线| 六月色婷婷色| 五月婷六月婷婷| 久久在这里99| 女人被躁到高潮嗷嗷叫小| 成人短视频在线免费观看| 丁香六月天婷婷在线| www.久久av.com| 丁香久久| 婷婷激情五月天激情小说| 五月婷婷五月天| 激情丁香五月婷| 五月 婷 久| www.金莲av| 婷婷久久天堂网| 九九综合网色全集 | 生活片五区| 伊人五月天| 91一道本| 色婷綜合网| www.婷婷,com| 日韩二区搞逼插逼毛片| 五月婷婷六月丁香综合| 五月天影院| 五月婷婷婷| 野外99热| 国产伊人五月天| 丁香婷婷激情五月天无毒不卡蜜桃| 激情第四色| 五月婷婷丁香啪啪| 人人做人人看人人摸| 欧美精品999| 99日本视频在线观看专区| 日本a片网址| 丁香五月天色婷婷| 思思久久99热只有频精品66| 日韩久热| 五月播播| AV在线免费播放| 天天综合区| 色五月xxx| 五月天激情小说| 超碰婷婷色| 狠狠干总合| 色五月婷婷大| 另类激情五月在线视频欧美| 狠狠色婷婷| 1024久婷| 五月婷婷黄色| 婷婷内射视频在线| 人妻在线中文字幕久久| 99久在线精品99re8热| 亚洲激情综合免费| AV在线免费播放| 噼里啪啦完整版中文在线观看| 亚洲婷婷综合视频| 99精品国产在热久久| 丁香五月婷在线| 久草A片| www久久久久久久久久久| 91色吧网| 色亭亭九月| 久久人人九| 他改变了拜占庭| 色噜噜狠狠色综| 亭亭五月丁香综合欧美| 欧美狠狠草| 先锋男人99资源| 九九99精品视频在线观看| 六月丁香综合| 久久五月天综合视频网站| 91九色中文字幕女在线观看| 99re8热精品免费视频| 婷婷五月天色丁香| 九色91国产| 99只有这里是精品| 欧美影院婷婷| 久久综合五月情| 色五月成人婷婷| 日本社区五月天激情| 久久综合激情五月天| 久久久精品色色色| 在线观看免费观看在线9久| 激情综合啪啪啪| 丁香五月婷婷AV| 欧美性交一区二区三区| 思思久日精品视频| 五月天激情网站| 久久久五月天| 爽极品色| 久久视频婷婷| 亚洲综合色五月| 无码激情AAAAA片-区区| 激情网战码亚洲A| 丁香五月婷婷啪| 99视频91| 欧美操综合| 色五月婷婷少妇人妻| 五月天激情久久| av免费在线网站| 欧美综合五月丁香五月天| 99ri视频| 人妻操逼视频。| 欧美在线操| 啪啪六月婷婷| 五月丁香综合| 婷婷综合九月| 亭亭五月色男人| 五月婷婷香蕉视频| 国产热精品| 久久精品99国产精品日本| 91五月天| 亚洲激情综合| 啪啪99| 天天日天天插| 色色影院黄大片| 婷婷婷婷婷开心无码播放| 婷婷丁香18| 婷婷婷五月天最新综合你懂的| 97精品人人A片免费看| 五月婷婷六月丁| 伊人激情影院| 丁香无月在线观看| 久久丁香五月婷婷| 久久久久久久久99精品| 天天日天天色| www狠狠com| 天天操综合网| 91大屁股精品| 99性爱| 综合激情肏逼网| 日韩淑女人妻luan伦激情精品一区二| 蜜乳人妻一区二区三区| 五月丁香色停停啪啪啪| 午夜天堂啪啪| 色播婷婷五月天| 在线成人国产| 这里只有精品网| 1024欧美看片| 丁香五月激情婷婷| 99热主页日本| 99啪| 久操热线| 日本熟妇精品99| www久久99| 国产综合色婷婷精品久久| 色综合综合色| 人伦30P| 五月婷婷五月天| 久久久大香蕉| 欧美色婷婷| 欧美色婷婷| 婷婷五月婷婷| 激情 五月 婷婷 丁香| AV九九| 婷婷舔| 国自产拍偷拍精品啪啪一区二区 | 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 久久久久久久久久久44| 国产精品色婷婷久久久精品| 91丨九色丨熟女丰满| 成人av在线电影| 五月丁香六月香香蕉| 五月丁香人妻| 日本本土色网第一区| 中文字幕在线日亚州9| 密臀久久| AV成人在线网站| 99久久er| 免费观看日韩成人av| 色五月色五天免费视频| 日本久久人| 操逼三区| 五月天婷婷网站888| 午夜大香蕉| 99精品热视频只有精品10| 啪啪视频99| 夜夜骑夜夜操| www.99精品视频| caop在线| 精品五月视频婷婷在线观看| 色九区| 99爱免费在线视频| 9l视频自拍九色9l黑人| 色五月中文网| 中文精品在| 玖玖在线视频| 欧韩性爱| 色色热| 久热这里只有精品性色AV| 人妻视频在线| 99热a片免| 99久久国产综合精品五月天喷水\| 99狠狠操一| 99er日韩| 色婷婷亚洲五月天| 婷婷五月天黄色网址| 色爱综合网| 小视频aaa久久久| 色五月婷婷在线观看第一页舔| 51成人| 五月综合色| 日日夜夜爽| 亚洲一区国产传媒| 婷婷伊人五月天| 少妇口诉沐足视频播放器网址| 9|人妻人人操| 六月综合婷婷开心伊人| 九九99视频| 婷婷九色| 色色色色热| 天天综合色综合| 色色色五月| www.99久久久| 色五月婷婷少妇人妻| 久久五月天影院| 亚洲色五月| 婷婷激情小说网| 欧美色片中文字幕久久久久| 人人草人| 原琪琪色影院| www.久久爱| 午夜婷婷五月天| 色www.con| 色色无码| 婷婷五亚洲| 亚洲AV网址| 八戒青柠影视剧在线观看| 色五XX| 午夜丁香婷婷| 色狠狠色噜噜噜a天堂一区| 亚洲五月天婷婷| 九九亚洲天堂| 色婷视频| 激情五月丁香五月| 五月天婷婷三级黄| 1囯产午夜仑鲁鲁| 激情小说 五月天| 久操干| 91婷婷| 色综合综合网| 伊人碰碰婷婷| 亚洲操逼网| 99这里只有精品99| 日韩欧洲亚洲| 婷婷久久色五月婷婷久久久| 久99热在线观看| 热久91| 99色天堂| 婷婷六月天激情影院| www.99精品视频| 欧美成人va| 婷婷丁香色五月| 异能之下短剧免费观看全集| 97人人操人人插| 成人国产综合| 小视频一区| 情色婷婷五月天| 亚洲深喉aV| 思思99热| 黄色99网| 久久青青日本视频| 久久婷婷亚洲| 九九精品热| 六月丁香五月激情亚洲AV| 91精品丝袜久久久久久久久粉嫩| 婷婷五月色播| 性爱视频99| 欧美日韩999| 一级黄色片看看| 婷婷中文字幕| 啪到高潮激情丁香五月| 如何安全看伊人婷婷| 九九色插| 久草久青福利| 粉嫩av蜜桃av蜜臀av| 超碰成人在线观看| 色一情一乱一乱一区9| 夜夜爽77777妓女免费下载| 亲子乱AV一区二区三区下载| 亚洲精品永久久久久久| 五月天久久网站| 成人精品一区日本无码网 | 日韩欧美成人一区二区三区| 婷婷欧美综合| 超碰在线资源| 丁香六月在线综合| 丁香五月激情网| 777色色色| 91九色|疯狂|高潮|对白|| 亚洲人成人五月天| 青青草深爱激情网| 五月天色播网| 九九热这里有精品视频| 91久操| 五月丁香综合激情网| 欧美婷婷丁香五月| 五月天丁香欧美激情| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 99热超碰人| 女婷久久| 色丁香影院| 狠狠操天天操| 涩 五月 婷婷 狠狠| 日本不卡高字幕在线2019| 在线视频你懂得| 天堂色色色| 在线看黄色| 亚洲视频码| 96丁香婷婷九月蜜桃综合久久| 狠狠操狠狠插| 泰州成人视频| 亚洲无码yw| 亚洲热久| 亚洲激情网| 性天堂久久| 99热只有精| 亚洲日韩人妻操逼| 伊人婷婷91| 丁香五月婷婷av影院| 99久在线精品99re8| 亚洲精品视频电影| 激情丁香五月婷婷啪啪| ri电影在线| 日本一级一片免费视频| 一二线视频 另类| 精品人妻久久久久久| 日日日日日| 色日本网| 五月天天天开心激情网| 久9热| 99视频91| 超碰免费人人肏| 人妻丰满精品一区二区A片| 色五月天丁香| 久久激情网| 日日操,天天操| 精品一区二区三区四区五区六区介绍 | 99久久久久| 99国产在线| 99视频精品8 | 婷婷激情四射| 99精品在线观看| 婷婷精品性性性性性性性| 亚洲综合网激情五月天| 99成人网一区| 狠狠色97| 综合婷| 97日本在线播放| 成人视频网| 开心深爱激情网| 大香蕉伊人99| 天天操婷婷| 色情五月天婷婷| 国产成人VA| 九九热色视频| 丁香激情网| 五月婷婷色播| 婷婷自拍| 极品嫩草| 密着浓厚中出乚交尾GvG935| 激情五月天色色| 婷婷久久五月天| 色吧五月婷婷| 99在线精品视频| 丁香六月色婷婷| 色色色色色爱| 噜噜噜噜在线| 欧美性丁香色色五月天综合爱爱| 2015好吊操| 久久久久亚洲AV成人无码电影| 五月婷婷日| 狼人伊人干| 五月天天丁香婷婷| 精品国产AV色一区二区深夜久久| 成人午夜无码视频| 这里只有精品视频99| 激情六月婷婷| 丁香五月天激情视频| 久热网站| 丁香五月激情鲁| 六月丁香好婷婷| 久久这里有精品99| www 五月天 com| 精品无码色| 1024人妻无码中文字幕| 粉嫩AV久久一区二区三区| 开心深爱激情网| 色啪综合| 女婷久久| 色婷天天| 色情五月天丁香社区| 久久久久久久人妻| 丁香五月婷婷色播艳门照| 精品色色网| Av狠狠色丁香婷| 婷婷丁香五月天婷婷| 丁香五月性| 婷婷色在线播放| 久久久久久久久久久44| 91丨人妻丨国产丨丝袜| 天堂在线婷婷| 偷偷操九九| 天花AV无码| 97日日碰碰| 五月天色软件| 国产av网| 丁香五月玖玖| 亚洲啪| 色婷婷无吗| 九九热青青草| 超级碰碰一区| 丁香婷婷久久综合在线| 国内在线99视频| 69人人操人人爽| 久久99三级在线视频| 丁香五月激情月| www.五月天色色色| 色五月色图| 综合99久久| 丝袜人妻| 丁香五月成人| 婷婷色婷婷亚洲成人| 婷婷五月天成人五月天| 激情综合五月激情XXXX| 九九热九九热精品| 婷婷五月情色| 五月丁香久久激情网| 五月色婷婷综合丁香精品无遮挡| 26uuu激情五月天| 亚洲VA在线| 99免费视频网| 五月婷婷综合丁香视频| 色婷婷五月天综合网| 99这里只有精彩视频| 夜丁香综合| www.色五月.com| 人人爱人人草| 日本人人xxx| 婷婷丁香五月综合| 色五月色图| 日本色婷婷| 亚洲操逼网| 人妻丰满精品一区二区A片| 亚洲黄色网址| 亚洲区在线| 五月J香蕉婷婷| 一本到不卡高清DVD| 大香蕉天堂色| 99色在线观看视频| 五月婷婷AV| 99久久免费性爱视频`| 色婷婷欧美在线| 伊人久久五月天| 天天操电影院色狼性av| 婷婷五月免费视频| 五月丁香999| 色欲久久综合| 成人做爰黄A片免费看直播室男男| 精品九九九久| 99日视频在线| 五月色婷婷影院| 99热 这里只有精品 国产 日韩| 丁香五月日啪| 视色综合| 亚洲色爱综合| 91成人电影| 青草五月天| 99ER热精品视频| 亚洲av综合在线| 嫩草视频。| 大香蕉人人网| 综合久久9| WWW色五月天| 五月丁香婷婷伊人| 久久99热这里只有精品| 爱久综合| 丁香五月婷久久| 九九热精品在线| 久久ab| 北京熟妇搡BBBB搡BBBB | 婷婷激情啪啪| 亚洲av成人在线| 婷婷八月激情| 五月婷婷免费视频| 五月丁香激情婷婷| 色婷婷888| 六月丁香啪啪| 五月天婷婷狂暴白浆| 成人免费视频一区| 色香蕉影院| 丁香五月98| 日本高清综合网五月丁香| 国产91视频| 免费看欧美成人A片无码| www.99操.com| 欧美日韩123| 天堂爱爱| 五月婷婷综合在线观看| 超碰色综合| 五月色丁香| 97碰碰叉| 强伦轩人妻一区二区电影| 再綫Av免费視品| 色综合色综合色综合| 性生活视频98791| 综合久久婷婷| WWW.五月com| 久久婷婷色综合| 精品一区二区三区四区五区六区介绍| 五月丁香婷庭在线| 成人综合视频在线| 日韩成人综合网| 最近免费中文字幕大全高清大全1| 91久草五月天婷婷| 级情九色| 色综色五月天婷婷| 激情丁香六月| 五月丁香啪啪| 欧美69色| 狠狠干狠狠色| 亚洲噜色| 综合久久久| 国产毛多水多女人A片| 亚洲视频久久| 九九99久久| 思思久日精品视频| 欧美性爱五月天| 婷婷香蕉| 亚洲在线成人| 婷婷久草| 久久99久久99精品免观看软件| 国产无套精品一区二区| 五月婷婷激情综合网| 久久99最新地址| 婷婷色五月激情强奸四射| 天干天天干天天天天天| 国产欧美va| 午夜一区| 91九九精品| www.粉嫩av.com| 欧美日本va| 天天肏夜夜肏| 美女xx不卡| 日本99热| 99热这里有精力| A久久| 色原狠狠综合| 久久久这里都是精品| 5月丁香啪啪啪| 五月丁香五月综合欧美| 青青久久91| 99小视频在线| 欧美婷婷五月丁香| 丁香五月天激情视频| 一区二区乱视频码| 五月婷婷av| 激情五月四色| 激情婷婷五月| 日本欧美999久久久三级片| 五月天婷婷一起草| 综合在线色婷婷| 亚洲精品无码一区二区| 久热超碰91| www,婷婷五月天777me,com| 久久东京热婷婷五月| 久久婷婷五月综合色丁香花| WWW,五月| 丁香婷婷六月激情综合| 无码髙清| 天天色天天爱天天爽| 婷婷月综合| 欧美成人精品三区综合A片| 26uuu精品国产| 九九人妻福利| 欧美日韩日韩成人| 久久狠狠干| 九九热九九| 97五月婷婷| 久久精品国产AV一区二区三区 | 激情五月激情综合网| 五月激情婷婷开心五月| 欧美一级色| 天天撸天天干天天插| 91操片| 久久久亚洲成人无码A片| 熟女激情五月天| 久色五月丁香视频| www.色窝| 久热无码| 婷婷射图| ztEJj| 深爱激情五月网| 五月婷婷激情中文字幕| 激情五月婷婷在线| 婷婷5月色| 婷婷五月激情欧美| 99人人看| 亚洲日本韩国| 五月综合丁香婷婷| 六月丁香社区| 九月丁香婷婷综合激情| 婷婷色片|