欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

中文分詞課設(shè)實(shí)戰(zhàn):最大匹配法、HMM與維特比算法全解析

中文分詞課設(shè)實(shí)戰(zhàn):最大匹配法、HMM與維特比算法全解析 簡(jiǎn)介資源為一份完整的中文分詞課程設(shè)計(jì)報(bào)告面向信息安全、自然語言處理相關(guān)專業(yè)的本科生或課程設(shè)計(jì)學(xué)習(xí)者。報(bào)告以中文分詞系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)為主線重點(diǎn)闡述Trie樹結(jié)構(gòu)、DAG有向無環(huán)圖的構(gòu)建方法以及MMSEG等經(jīng)典分詞算法的規(guī)則與優(yōu)化思路內(nèi)容覆蓋從數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)到算法實(shí)現(xiàn)的完整過程。壓縮包共1個(gè)文件為docx格式文檔包體大小約1.69MB便于直接下載查看或在此基礎(chǔ)上進(jìn)行修改擴(kuò)展。資源目前已有58人學(xué)習(xí)瀏覽適合需要參考課程設(shè)計(jì)框架、算法思路或報(bào)告寫作結(jié)構(gòu)的人群。報(bào)告中包含詳細(xì)目錄、關(guān)鍵代碼邏輯、編碼處理及圖形界面設(shè)計(jì)等章節(jié)能夠幫助讀者快速理解中文分詞的核心原理并為撰寫類似實(shí)驗(yàn)報(bào)告或?qū)崿F(xiàn)分詞原型提供較實(shí)用的參考。1. 中文分詞課設(shè)報(bào)告從哪切入先跑通再談優(yōu)化拿到“中文分詞課設(shè)報(bào)告1”這個(gè)課題很多人的第一反應(yīng)是找個(gè)現(xiàn)成庫(kù)調(diào)用一下然后寫幾句“基于詞典的分詞算法”糊弄過去。但真到答辯或驗(yàn)收時(shí)老師問一句“你的分詞器遇到未登錄詞怎么辦”多數(shù)人就卡住了。中文分詞并沒有想象中那么簡(jiǎn)單它不僅是字符串匹配還涉及詞性、歧義、未登錄詞和統(tǒng)計(jì)建模。這篇筆記從課設(shè)最常見的三條路線講起——詞典最大匹配、逆向匹配和基于HMM的序列標(biāo)注給出可直接運(yùn)行的代碼、評(píng)估規(guī)范以及我實(shí)際踩過的幾個(gè)坑適合正在寫報(bào)告但不想只抄庫(kù)的開發(fā)者。文章不會(huì)繞概念直接給結(jié)論和能用的參數(shù)希望能幫你把課設(shè)從“能跑”推到“能講清楚”。2. 分詞算法選型為什么我建議從最大匹配法和統(tǒng)計(jì)模型入手課設(shè)報(bào)告最怕的不是代碼難寫而是算法選型講不出理由。我見過不少同學(xué)選了深度學(xué)習(xí)模型結(jié)果訓(xùn)練一夜還過擬合最后報(bào)告里全是“待優(yōu)化”答辯時(shí)一句都答不上來。反過來如果你把詞典分詞和HMM講透老師反而會(huì)覺得基本功扎實(shí)。下面把三條路線的原理和適用場(chǎng)景擺開你可以根據(jù)報(bào)告深度自己選。2.1 基于詞典的機(jī)械分詞實(shí)現(xiàn)細(xì)節(jié)與適用邊界機(jī)械分詞的核心是“查表”把句子切成若干子串逐一去詞典里找。最常見的實(shí)現(xiàn)是正向最大匹配也就是MM。它的流程是從句子第一個(gè)字符開始取一個(gè)長(zhǎng)度不超過詞典最大詞長(zhǎng)的子串如果詞典里有這個(gè)詞就切出來指針后移如果沒有就把子串去掉最后一個(gè)字繼續(xù)查。舉個(gè)例子句子是“研究生命起源”如果詞典里有“研究生”和“生命”正向最大匹配會(huì)先取“研究生”匹配成功切出剩下的“命起源”繼續(xù)處理最終得到“研究生/命/起源”但正確的切分可能是“研究/生命/起源”。這種歧義是機(jī)械分詞天生解決不了的只能靠統(tǒng)計(jì)信息或規(guī)則來消解。逆向最大匹配RMM是從右往左走同樣按最大詞長(zhǎng)取子串。由于漢語的中心詞往往在尾部RMM在某些場(chǎng)景下準(zhǔn)確率會(huì)略勝M(fèi)M。我通常在課設(shè)里把MM和RMM都做出來然后讓兩者結(jié)果不一致時(shí)再做一次“消歧”比如比較詞頻取總詞頻更高的那組切分。需要特別注意的是機(jī)械分詞對(duì)詞典的覆蓋率非常敏感。如果你只拿了一個(gè)幾百詞的測(cè)試詞典遇到“云計(jì)算”這種詞就會(huì)切成“云/計(jì)算”。這不是算法問題是詞典覆蓋問題。所以在報(bào)告里要寫清楚詞典規(guī)模是多少、未登錄詞率是多少不能只貼一句“準(zhǔn)確率96%”。詞典怎么來也得寫清楚。常見的做法是找一份公開的詞頻表把詞語和頻次讀進(jìn)字典或者自己收集領(lǐng)域文本用人工切分后的數(shù)據(jù)統(tǒng)計(jì)。我建議詞表至少包含兩列詞語、詞頻。詞頻后面用來消歧還可以加詞性幫助識(shí)別專名。讀取時(shí)注意文件編碼最好統(tǒng)一轉(zhuǎn)成UTF-8否則在系統(tǒng)自帶記事本里保存的文本容易亂碼。另外最大詞長(zhǎng)這個(gè)參數(shù)不是越大越好。你把它設(shè)為10詞典里恰好有“科學(xué)計(jì)算”這類四字詞確實(shí)能整詞切出但如果遇到一個(gè)更長(zhǎng)的未登錄詞過長(zhǎng)的窗口反而增加匹配失敗的次數(shù)。我一般建議最大詞長(zhǎng)設(shè)置為4到6并用訓(xùn)練語料里出現(xiàn)的最長(zhǎng)詞長(zhǎng)度來校準(zhǔn)。2.2 基于統(tǒng)計(jì)的序列標(biāo)注從HMM到CRF的取舍統(tǒng)計(jì)分詞把每個(gè)漢字標(biāo)記為四種狀態(tài)之一B表示詞首M表示詞中間E表示詞尾S表示單獨(dú)成詞。比如“我愛編程”對(duì)應(yīng)的標(biāo)注就是“S S B E”。這樣分詞就變成了“給定漢字序列求最可能的標(biāo)注序列”的任務(wù)。HMM模型需要三組概率初始狀態(tài)概率句子第一個(gè)字屬于B/S的概率、狀態(tài)轉(zhuǎn)移概率比如B后面是M或E、發(fā)射概率某個(gè)漢字在某個(gè)狀態(tài)下出現(xiàn)的概率。訓(xùn)練階段用一個(gè)已經(jīng)按詞切分好的語料統(tǒng)計(jì)這些參數(shù)預(yù)測(cè)階段用維特比算法搜索最優(yōu)路徑。HMM最大的優(yōu)點(diǎn)是簡(jiǎn)單、能處理一部分未登錄詞缺點(diǎn)也明顯它假設(shè)當(dāng)前狀態(tài)只依賴上一個(gè)狀態(tài)沒有利用前后更長(zhǎng)的上下文。比如一個(gè)長(zhǎng)地名如果語料里沒出現(xiàn)整體形式但出現(xiàn)了“某城”和“市”HMM可能切出“某城/市”而CRF會(huì)利用相鄰字特征把整體合成一個(gè)詞。但CRF需要手動(dòng)設(shè)計(jì)特征模板訓(xùn)練速度慢課設(shè)周期只有兩三周的話我不太建議直接上。更好的做法是把CRF寫在“改進(jìn)方向”里用實(shí)驗(yàn)數(shù)據(jù)說明HMM的不足這樣報(bào)告反而有討論深度。HMM訓(xùn)練時(shí)還有平滑問題。如果某個(gè)漢字只在測(cè)試集出現(xiàn)訓(xùn)練語料里沒有它的發(fā)射概率維特比會(huì)直接走不通。常見的補(bǔ)救方法是在統(tǒng)計(jì)頻率時(shí)給每個(gè)狀態(tài)都疊加上一個(gè)極小量叫做加一平滑。代碼里可以維護(hù)三個(gè)計(jì)數(shù)器狀態(tài)轉(zhuǎn)移計(jì)數(shù)表、發(fā)射計(jì)數(shù)表、初始計(jì)數(shù)表最后統(tǒng)一除以總數(shù)并做平滑。你還可以把平滑量從1調(diào)到0.5或0.1讓低頻狀態(tài)不至于完全沒有機(jī)會(huì)。這個(gè)細(xì)節(jié)我會(huì)在第三章代碼里體現(xiàn)報(bào)告里也要寫一句“所有概率經(jīng)過加一平滑處理”這是評(píng)分時(shí)的加分項(xiàng)。2.3 兩種路線在課設(shè)中的選擇理由我一般給別人的建議是“MM當(dāng)作baselineHMM當(dāng)作主模型”。原因是第一代碼量適中HMM加維特比一共幾百行足夠展示原理第二評(píng)估時(shí)能形成對(duì)比證明統(tǒng)計(jì)模型確實(shí)有效第三如果老師追問“能不能處理歧義”你可以從HMM的轉(zhuǎn)移概率角度解釋為什么有些歧義能消掉有些不能。反過來如果你一上來就選深度學(xué)習(xí)模型參數(shù)調(diào)不好訓(xùn)練集又小報(bào)告全在講環(huán)境配置反而沒有技術(shù)含量。課程設(shè)計(jì)的評(píng)分標(biāo)準(zhǔn)通常是“算法正確、實(shí)驗(yàn)規(guī)范、報(bào)告有條理”并不是模型越新分越高。另外選型時(shí)還要考慮你能夠拿到的數(shù)據(jù)量。HMM需要至少幾萬個(gè)字的已標(biāo)注語料MM只需要一個(gè)幾萬詞的詞典。如果老師給你的數(shù)據(jù)只有幾百句HMM基本學(xué)不出可靠的發(fā)射概率這時(shí)候強(qiáng)行上統(tǒng)計(jì)模型會(huì)翻車。我的做法是先用詞典法跑通整個(gè)流程確認(rèn)數(shù)據(jù)讀入、分詞、評(píng)估的代碼沒毛病再拿同樣的數(shù)據(jù)訓(xùn)練HMM。這樣即使HMM效果不好你已經(jīng)有一個(gè)能運(yùn)行的基線心態(tài)不會(huì)崩。3. 用Python從零實(shí)現(xiàn)一個(gè)中文分詞器數(shù)據(jù)結(jié)構(gòu)與核心代碼這一章是全文最可抄的部分。我按照“詞典加載 - 正向匹配 - 逆向匹配 - HMM分詞 - 維特比解碼”的順序來寫。每個(gè)函數(shù)都保持短小方便拷進(jìn)課設(shè)報(bào)告。3.1 詞典的構(gòu)建與OOV處理先定義一個(gè)詞典類它負(fù)責(zé)加載詞表、記錄最大詞長(zhǎng)并提供查找方法。詞表文件我用“詞語 詞頻”一行一條的格式詞性可以后續(xù)再加。import os from collections import defaultdict class TrieNode: def __init__(self): self.children {} self.is_word False self.freq 0 class WordDict: def __init__(self, max_word_len6): self.root TrieNode() self.max_word_len max_word_len def load(self, path, encodingutf-8): with open(path, r, encodingencoding) as f: for line in f: parts line.strip().split() if len(parts) 2: continue word, freq parts[0], int(parts[1]) self._insert(word, freq) if len(word) self.max_word_len: self.max_word_len len(word) return self def _insert(self, word, freq): node self.root for ch in word: if ch not in node.children: node.children[ch] TrieNode() node node.children[ch] node.is_word True node.freq freq def search(self, word): node self.root for ch in word: if ch not in node.children: return None node node.children[ch] return node if node.is_word else None這里用字典樹而不是普通字典是為了快速查前綴。search會(huì)沿字符鏈走如果中間斷了就說明詞典里不存在該前綴詞。load時(shí)會(huì)自動(dòng)更新最大詞長(zhǎng)這個(gè)參數(shù)會(huì)直接影響最大匹配的窗口大小。如果你手里的詞典很小比如只有50個(gè)常用詞最大詞長(zhǎng)可能只有2分詞效果會(huì)很難看因此建議用網(wǎng)上能下載到的中文詞頻表規(guī)模至少幾萬詞。OOV即未登錄詞機(jī)械分詞階段沒有真正解決它只能在找不到詞時(shí)把單字輸出。我習(xí)慣在load里額外統(tǒng)計(jì)一個(gè)“OOV閾值”當(dāng)連續(xù)多個(gè)單字出現(xiàn)時(shí)嘗試拼接成新的詞并記錄到報(bào)告里但真正的解決還是要靠后面的HMM。3.2 正向最大匹配和逆向最大匹配的實(shí)現(xiàn)def forward_segment(text, word_dict): words [] i 0 n len(text) max_len word_dict.max_word_len while i n: matched False end min(i max_len, n) while end i: piece text[i:end] if word_dict.search(piece): words.append(piece) i end matched True break end - 1 if not matched: words.append(text[i]) i 1 return words正向匹配的循環(huán)里end從imax_len開始每次縮短1個(gè)字符。如果找到詞典詞就把指針跳到end如果一直找到只剩單個(gè)字符說明是未登錄詞直接切成單字。這個(gè)單字處理很關(guān)鍵不加的話會(huì)產(chǎn)生死循環(huán)。逆向匹配對(duì)稱def backward_segment(text, word_dict): words [] i len(text) max_len word_dict.max_word_len while i 0: start max(0, i - max_len) matched False while start i: piece text[start:i] if word_dict.search(piece): words.append(piece) i start matched True break start 1 if not matched: words.append(text[i-1]) i - 1 words.reverse() return words注意逆向匹配收集到的詞順序是反的最后要reverse。start從i-max_len向右增長(zhǎng)相當(dāng)于窗口不斷縮短。在代碼里i是當(dāng)前子串的右邊界start是左邊界找到詞后把i設(shè)為start繼續(xù)向左處理。兩個(gè)函數(shù)返回的都是正向詞序列。最大詞長(zhǎng)就是word_dict.max_word_len由詞典自動(dòng)計(jì)算。如果你要固定窗口可以手動(dòng)傳參。我一般建議窗口取6因?yàn)槌^6字符的詞在通用詞表中很少固定為6能避免匹配到過長(zhǎng)的地名或機(jī)構(gòu)名。3.3 基于HMM的分詞實(shí)現(xiàn)與參數(shù)估計(jì)HMM第一步是準(zhǔn)備狀態(tài)集合和轉(zhuǎn)移、發(fā)射計(jì)數(shù)器。STATES {B, M, E, S} def build_hmm_params(train_tagged): # train_tagged: list of sentences, each sentence is list of (word, tag) pairs start_cnt defaultdict(int) trans_cnt defaultdict(int) emit_cnt defaultdict(int) state_total defaultdict(int) for sent in train_tagged: start_cnt[sent[0][1]] 1 for j, (word, tag) in enumerate(sent): emit_cnt[(tag, word)] 1 state_total[tag] 1 if j 0: prev_tag sent[j-1][1] trans_cnt[(prev_tag, tag)] 1 if j len(sent) - 1: trans_cnt[(tag, END)] 1 # 加一平滑避免出現(xiàn)零概率 for s in STATES: start_cnt[s] 1 state_total[s] 1 for t in STATES: trans_cnt[(s, t)] 1 trans_cnt[(s, END)] 1 return start_cnt, trans_cnt, emit_cnt代碼中train_tagged是已經(jīng)切好詞的語料每個(gè)字帶標(biāo)簽。start_cnt記錄句子首字的狀態(tài)trans_cnt記錄狀態(tài)之間相鄰出現(xiàn)次數(shù)我把句子結(jié)尾當(dāng)成一個(gè)特殊的END狀態(tài)emit_cnt記錄某個(gè)漢字在某個(gè)狀態(tài)下的出現(xiàn)次數(shù)。加一平滑的作用是確保所有狀態(tài)組合都有非零概率否則維特比會(huì)因此漏掉路徑。如果你手里是“原始文本分詞結(jié)果”的語料可以寫個(gè)函數(shù)把分詞結(jié)果轉(zhuǎn)成BEMS標(biāo)注后面會(huì)給出。這里先要求輸入已標(biāo)注格式。3.4 維特比解碼預(yù)測(cè)一條句子的最優(yōu)標(biāo)注def viterbi(text, start_cnt, trans_cnt, emit_cnt, states): import math n len(text) if n 0: return [] # 計(jì)算對(duì)數(shù)概率 def prob(counter, key): total sum(counter.values()) if total 0: return -100.0 return math.log((counter.get(key, 0) 0.01) / total) dp [{} for _ in range(n)] back [{} for _ in range(n)] for s in states: dp[0][s] prob(start_cnt, s) prob(emit_cnt, (s, text[0])) back[0][s] None for i in range(1, n): for s in states: best -float(inf) best_prev None for prev in states: score dp[i-1][prev] prob(trans_cnt, (prev, s)) if score best: best score best_prev prev dp[i][s] best prob(emit_cnt, (s, text[i])) back[i][s] best_prev # 回溯 last_state max(states, keylambda s: dp[n-1][s]) tags [None] * n tags[n-1] last_state for i in range(n-2, -1, -1): tags[i] back[i1][tags[i1]] return tags這段代碼的prob用了log概率避免下溢。注意我沒有用預(yù)先算好的轉(zhuǎn)移矩陣而是每個(gè)key臨時(shí)求log課設(shè)里這樣寫更好讀但效率稍低量不大無所謂。維特比最后從最后一列找出最大概率狀態(tài)然后通過back指針回溯整條路徑。得到標(biāo)簽后把連續(xù)的B、M、E拼成一個(gè)詞單獨(dú)出現(xiàn)的S也作為一個(gè)詞就完成了分詞。states可以固定為B、M、E、S。如果你發(fā)現(xiàn)訓(xùn)練語料里有其他狀態(tài)需要改。訓(xùn)練語料越大發(fā)射概率越可靠。如果句子中出現(xiàn)訓(xùn)練集沒見過的字prob里的0.01會(huì)讓它不至于完全不可行但結(jié)果會(huì)偏向最常見的狀態(tài)這也是HMM處理OOV的極限。3.5 把分詞結(jié)果從標(biāo)簽恢復(fù)成詞語列表def tags_to_words(text, tags): words [] cur for ch, tag in zip(text, tags): if tag B: if cur: words.append(cur) cur ch elif tag M: cur ch elif tag E: cur ch words.append(cur) cur else: # S if cur: words.append(cur) cur words.append(ch) if cur: words.append(cur) return words這里要注意B出現(xiàn)時(shí)如果cur非空說明上一個(gè)詞沒有正常以E結(jié)束屬于異常情況直接截?cái)?。E結(jié)尾后一定要清空cur。S是單字詞直接輸出。這個(gè)小函數(shù)很容易寫錯(cuò)我見過有人因?yàn)橥浨蹇誧ur導(dǎo)致整個(gè)詞列表錯(cuò)位。整個(gè)第三章包含5個(gè)函數(shù)覆蓋了完整流程。你可以把它們按順序放一個(gè)模塊里然后在主程序里加載詞典-對(duì)測(cè)試句子forward/backward-用HMM訓(xùn)練-viterbi-tags_to_words。最終得到三組切分結(jié)果。if __name__ __main__: wd WordDict().load(dict.txt) text 研究生命起源 print(/.join(forward_segment(text, wd))) print(/.join(backward_segment(text, wd))) train load_train_data(train_tagged.txt) start, trans, emit build_hmm_params(train) tags viterbi(text, start, trans, emit, STATES) print(/.join(tags_to_words(text, tags)))load_train_data你需要自己寫或者用簡(jiǎn)單的pickle讀入。這里的train_tagged.txt至少要幾千個(gè)句子否則HMM幾乎學(xué)不到規(guī)律。4. 課設(shè)報(bào)告的評(píng)估部分精確率、召回率、F1怎么算才算數(shù)很多人寫課設(shè)評(píng)估時(shí)直接用開源庫(kù)自帶的分詞結(jié)果和標(biāo)準(zhǔn)語料比對(duì)然后報(bào)一個(gè)數(shù)字。這其實(shí)有兩個(gè)問題一是開源庫(kù)訓(xùn)練時(shí)用的語料可能已經(jīng)包含了你測(cè)試的句子造成數(shù)據(jù)泄漏二是它輸出的詞性、詞邊界與你自己的標(biāo)注規(guī)范可能不一致。所以課設(shè)里我建議用自己的程序跑一遍評(píng)估哪怕結(jié)果難看至少理直氣壯。4.1 評(píng)估語料的生成與BEMS標(biāo)注要算精確率/召回率必須先有一個(gè)“標(biāo)準(zhǔn)切分”作參照。常見做法是拿一份已人工分詞語料把每句話切成詞序列然后按字標(biāo)注成BEMS序列。def words_to_tags(words): tags [] for w in words: if len(w) 1: tags.append(S) else: tags.append(B) for _ in range(1, len(w)-1): tags.append(M) tags.append(E) return tags注意這個(gè)函數(shù)只處理標(biāo)準(zhǔn)的詞序列。如果詞里有空格或標(biāo)點(diǎn)要提前處理。標(biāo)點(diǎn)符號(hào)在中文里通常單獨(dú)成詞所以“面前出現(xiàn)”會(huì)標(biāo)成“前 面 出 現(xiàn)”其中“”是S。如果你的課設(shè)要求把標(biāo)點(diǎn)排除在指標(biāo)外可以在轉(zhuǎn)BEMS之前先過濾標(biāo)點(diǎn)否則標(biāo)點(diǎn)會(huì)拉低你的F1。4.2 計(jì)算精確率、召回率、F1按字還是按詞分詞的評(píng)估有兩種口徑按字和按詞。按字評(píng)估是比較每個(gè)字的B/M/E/S標(biāo)簽是否一致按詞評(píng)估是比較切分出來的詞語序列是否一致。課設(shè)里我建議兩種都算但報(bào)告要注明你用哪一種因?yàn)閿?shù)字差別很大。def compute_f1(pred_tags, gold_tags): assert len(pred_tags) len(gold_tags) correct sum(1 for p, g in zip(pred_tags, gold_tags) if p g) accuracy correct / len(pred_tags) # 按BEMS狀態(tài)統(tǒng)計(jì) pred_b sum(1 for p in pred_tags if p in (B, S)) gold_b sum(1 for g in gold_tags if g in (B, S)) tp sum(1 for p, g in zip(pred_tags, gold_tags) if p in (B, S) and g in (B, S)) precision tp / pred_b if pred_b else 0 recall tp / gold_b if gold_b else 0 f1 2 * precision * recall / (precision recall) if (precision recall) else 0 return precision, recall, f1這里把B和S都當(dāng)作“詞邊界”。tp是預(yù)測(cè)為邊界且真實(shí)也是邊界的字?jǐn)?shù)。這個(gè)口徑是比較嚴(yán)格的一個(gè)詞斷錯(cuò)位置會(huì)導(dǎo)致多個(gè)字標(biāo)簽錯(cuò)誤F1會(huì)明顯下降。另一種按詞評(píng)估則要求完全相等的詞才算對(duì)實(shí)現(xiàn)更簡(jiǎn)單但區(qū)分度不高。我建議報(bào)告里給出按字F1同時(shí)在附錄里給出幾組分詞樣例。如果只算accuracy可能所有字都切成S都能達(dá)到很高的準(zhǔn)確率因?yàn)榇蟛糠謫巫执_實(shí)可以獨(dú)立成詞這會(huì)導(dǎo)致“看起來準(zhǔn)確率95%”其實(shí)分得稀爛。所以課設(shè)報(bào)告不能只報(bào)一個(gè)整體準(zhǔn)確率必須同時(shí)報(bào)P/R/F1。比如測(cè)試集有1000個(gè)字你的分詞器預(yù)測(cè)了500個(gè)詞邊界其中450個(gè)和標(biāo)準(zhǔn)一致標(biāo)準(zhǔn)邊界是480個(gè)那么P0.9R0.9375F1約0.918。如果只看accuracy可能到98%這顯然掩蓋了真實(shí)水平。4.3 用混淆矩陣定位錯(cuò)誤類型除開F1我推薦你把預(yù)測(cè)結(jié)果和標(biāo)準(zhǔn)結(jié)果做一次對(duì)齊統(tǒng)計(jì)錯(cuò)誤類別。常見的三類錯(cuò)誤是多切把兩個(gè)詞斷開、少切把兩個(gè)詞粘在一起、OOV錯(cuò)誤詞典或模型不認(rèn)識(shí)某個(gè)詞。def error_stats(pred_words, gold_words): pred_set set(pred_words) gold_set set(gold_words) over_seg [w for w in gold_words if not any(w in p for p in pred_words)] # 簡(jiǎn)化預(yù)測(cè)里出現(xiàn)的詞在標(biāo)準(zhǔn)里沒有 mis set(pred_words) - set(gold_words) miss set(gold_words) - set(pred_words) return {多切/錯(cuò)切: len(mis), 漏切: len(miss), 示例: list(mis)[:10]}這個(gè)函數(shù)只做詞級(jí)別集合差雖然不精確但能快速告訴你模型傾向于多切還是少切。比如HMM如果總是把“研究生命起源”切成“研究生/命/起源”說明模型學(xué)到了“研究生”這個(gè)詞但不知道“研究生命”這個(gè)跨詞短語。你可以把這類錯(cuò)誤單獨(dú)列一張表附上原句、標(biāo)準(zhǔn)切分、預(yù)測(cè)切分課設(shè)老師最喜歡看到這種規(guī)范錯(cuò)誤分析。5. 中文分詞課設(shè)避坑指南5個(gè)讓新手翻車的典型場(chǎng)景這一段全部來自我實(shí)際見過的問題每一條都是“現(xiàn)象→原因→解決”的結(jié)構(gòu)。5.1 現(xiàn)象自定義詞典不生效分詞結(jié)果還是老樣子有人明明往詞典里加了“元宇宙”這個(gè)詞但分詞結(jié)果還是“元/宇宙”。原因通常有三個(gè)一是詞典文件編碼不是UTF-8某些文本編輯器保存成ANSI導(dǎo)致中文亂碼二是加載后沒有重新計(jì)算最大詞長(zhǎng)導(dǎo)致“元宇宙”三個(gè)字超過窗口長(zhǎng)度被拆開三是詞表中“元宇宙”放在了最后但程序在加載過程出錯(cuò)提前退出。解決用UTF-8無BOM格式保存詞典WordDict.load里每次插入詞后檢查max_word_len代碼里已經(jīng)做了這一步加載完成后打印詞典大小和max_word_len確認(rèn)。我一般會(huì)加一個(gè)自檢函數(shù)給定一個(gè)已知詞search必須返回True否則就是加載問題。5.2 現(xiàn)象F1值看起來很高但實(shí)際效果一塌糊涂我見過一份報(bào)告F1達(dá)到97%但打開分詞語料一看所有標(biāo)點(diǎn)都被無腦切成單字詞典和測(cè)試語料完全同源。原因是評(píng)估時(shí)用了同一個(gè)數(shù)據(jù)集訓(xùn)練和測(cè)試或者訓(xùn)練集里包含了測(cè)試集的文本。這屬于數(shù)據(jù)泄漏最容易出現(xiàn)在你手工從網(wǎng)上抓語料、隨手切分成訓(xùn)練/測(cè)試的時(shí)候句子可能來自同一篇文章。解決按“來源文本”切分而不是按“句子”切分。同一個(gè)自然段或同一篇文章里的所有句子只能進(jìn)訓(xùn)練集或測(cè)試集不能兩頭跑。在報(bào)告里要寫明訓(xùn)練集規(guī)模、測(cè)試集規(guī)模和劃分方式。另一個(gè)很常見的問題是把分詞結(jié)果直接拼回去變成字符串再用整體是否正確來判定這樣會(huì)引入大量無關(guān)的字符匹配錯(cuò)誤建議只用詞序列比對(duì)。5.3 現(xiàn)象未登錄的人名、機(jī)構(gòu)名被切得七零八落比如“某位歌手”被切成“某位/歌手”“某家公司”被切成“某/家公司”。HMM本身只能靠發(fā)射概率和轉(zhuǎn)移概率如果訓(xùn)練語料里沒有類似結(jié)構(gòu)它很難合起來。原因是你沒有給HMM足夠的上下文特征也沒有做后處理。解決在HMM基礎(chǔ)上加一個(gè)簡(jiǎn)單的規(guī)則后處理如果分詞結(jié)果出現(xiàn)連續(xù)兩個(gè)長(zhǎng)度都為1的漢字且詞典中不存在這兩個(gè)單字詞就嘗試把它們合并或者準(zhǔn)備一個(gè)“專名詞典”對(duì)預(yù)測(cè)結(jié)果做二次匹配。前者實(shí)現(xiàn)簡(jiǎn)單后者能明顯提升人名機(jī)構(gòu)名。但要注意專名詞典過大會(huì)導(dǎo)致過擬合我一般只放幾十個(gè)高頻專名。5.4 現(xiàn)象訓(xùn)練數(shù)據(jù)只有幾千字HMM輸出的基本全是一字詞HMM訓(xùn)練數(shù)據(jù)太少時(shí)B和M狀態(tài)的發(fā)射概率統(tǒng)計(jì)不穩(wěn)定維特比會(huì)傾向選擇S狀態(tài)因?yàn)镾狀態(tài)訓(xùn)練樣本多。結(jié)果就是每個(gè)字都被切成單字F1慘不忍睹。解決要么擴(kuò)充訓(xùn)練語料到至少幾萬個(gè)字要么對(duì)發(fā)射概率做更強(qiáng)平滑。我在build_hmm_params里只加了加一平滑如果數(shù)據(jù)太少可以把平滑值調(diào)大比如從0.01改成0.1讓概率更均勻。同時(shí)把state_total的相關(guān)分母也改掉。注意這只能緩解不能根治課設(shè)報(bào)告要把數(shù)據(jù)量寫在實(shí)驗(yàn)設(shè)置里證明你意識(shí)到了這個(gè)問題。5.5 現(xiàn)象報(bào)告里堆滿公式但缺少實(shí)驗(yàn)對(duì)比有些同學(xué)報(bào)告寫了十幾頁全是最大匹配的流程圖和維特比的公式但實(shí)驗(yàn)部分只有兩行“準(zhǔn)確率90%F1 0.85”沒有對(duì)比、沒有樣例、沒有錯(cuò)誤分析。老師最反感這種“理論論文式課設(shè)”因?yàn)榭床坏侥銓?shí)際動(dòng)手的痕跡。解決至少設(shè)計(jì)三組實(shí)驗(yàn)MM、RMM、HMM在同一個(gè)測(cè)試集上的P/R/F1讓這三組結(jié)果出現(xiàn)在同一個(gè)表格里再挑三個(gè)句子展示各自切分結(jié)果。如果HMM表現(xiàn)沒有顯著優(yōu)于詞典法也要如實(shí)寫出來并分析原因這反而是課設(shè)報(bào)告的價(jià)值點(diǎn)。格式上我習(xí)慣把表格放在“實(shí)驗(yàn)結(jié)果與分析”一節(jié)下面再放兩個(gè)典型錯(cuò)誤句的截圖或文字對(duì)照。6. 把課設(shè)做成能演示的Demo命令行交互與可視化輸出最后一個(gè)進(jìn)階技巧是寫一個(gè)簡(jiǎn)單的命令行入口讓老師和同學(xué)能運(yùn)行你的程序并比較三種分詞器的輸出。這會(huì)讓課設(shè)看起來完成度很高。6.1 一個(gè)腳本完成分詞、評(píng)估、對(duì)比流程import sys def demo(): wd WordDict().load(dict.txt) start, trans, emit build_hmm_params(load_train_tagged(train_tagged.txt)) while True: line input(請(qǐng)輸入句子輸入q退出).strip() if line q: break mm forward_segment(line, wd) rmm backward_segment(line, wd) tags viterbi(line, start, trans, emit, STATES) hmm tags_to_words(line, tags) for name, result in [(正向, mm), (逆向, rmm), (HMM, hmm)]: print(f{name}: { / .join(result)})這個(gè)demo邏輯很簡(jiǎn)單加載一次詞典和HMM參數(shù)然后循環(huán)等待輸入。如果你不需要交互可以直接改成從文件讀一批句子把三個(gè)分詞的輸出寫成三行方便做對(duì)比實(shí)驗(yàn)。6.2 用表格輸出對(duì)比結(jié)果在報(bào)告里我建議把三組分詞結(jié)果用Markdown表格列出來不要只給代碼輸出截圖。例如句子正向最大匹配逆向最大匹配HMM研究生命起源研究/生命/起源研究生/命/起源研究/生命/起源這個(gè)表能直觀體現(xiàn)不同算法的差異。課設(shè)報(bào)告里不需要放花哨的圖表一個(gè)簡(jiǎn)單表格勝過三張截圖。6.3 讓報(bào)告更出彩的進(jìn)階驗(yàn)證增加外部對(duì)比與錯(cuò)誤率分解除了自己的算法我還會(huì)在報(bào)告里加一段“與常見開源工具對(duì)比”把同一測(cè)試集交給某開源分詞器得到它的F1然后分析自己實(shí)現(xiàn)的差距在哪。這不算抄襲而是做對(duì)照實(shí)驗(yàn)。重點(diǎn)不是分?jǐn)?shù)超過它而是解釋為什么比如開源工具用了統(tǒng)計(jì)語言模型和更大詞典而你的HMM訓(xùn)練語料只有幾萬詞。這樣寫出來的報(bào)告有說服力老師也能看到你的工程思維。如果時(shí)間允許可以把5.3提到的專名后處理做成可選參數(shù)比如--use_ner讓程序在HMM結(jié)果上再調(diào)用一次詞典修正。最后我會(huì)提醒自己課設(shè)報(bào)告的結(jié)尾不要寫“我的算法優(yōu)于所有方法”而是寫“在覆蓋XX詞的測(cè)試集上HMM比詞典法高了多少但遇到長(zhǎng)距離依賴時(shí)仍會(huì)出錯(cuò)未來考慮加入CRF特征”。這種定位比吹噓更穩(wěn)。希望這篇筆記能幫你把中文分詞課設(shè)從“交差”做成“能講”少走一些我當(dāng)年走過的彎路。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香六月婷婷色播| 欧美婷婷色五月网| 五月天激情视频网站| 日本欧美成人片AAAA| 五月天婷婷高清无码| 99se丁香| 五月综合视频| 久久东京热婷婷五月| 美女亚洲五月丁香| 久久在线人妻| 好看的国产精品| 香蕉久久国产AV一区二区| 色噜噜狠狠插综合| 97干婷婷五月天| 亚洲国产网站| 国产亚洲AV人片在线| 亚洲蜜乳AV| 日本女人久久| 无码网站视频| 国产婷婷色五月| 人人操9| 超碰在线人人| a久久| 天天草天天日| 天天摸日日舔狠狠添婷婷婷| 色婷婷婷av| 丁香婷婷浪潮AV久久综合| 99色婷婷| 91九色视频| 丁香六月天婷婷色| 丁香五月婷婷婷婷欧美综合| 天天情天天狠天天透| 99热这里有精力| www狠狠com| 五月成人网站| 综合色99| 色综合久| 五月停停激情网| 亭亭玉月丁香| 97人人超| 综合激情网| 我想看国产大学生口爆吞精的视频| 色婷婷色99国产综合精品| 丁香婷婷五月六月天| 精a品a视a频| 久久激情视频| 99网| 久操婷婷| 97干在线| 91丨九色丨国产打屁股| 99性爱| 激情99热| 综合激情五月婷婷| 国产成人网| 99久视频| 第四色五月婷婷| 韩国天天婷婷| 丁香五月婷婷av| 激情5月婷婷| 婷婷五月综合在线视频| 国产色五月| 五月天激情无码高清 | 可以免费看AV网站| 天天色色婷婷| 五月天激情视频五月天| 79色色色色| 丁香婷婷六月| 探花搜索结果 - 黄上黄| 五月天啪啪网| 色婷婷综合成人| 狠狠色大香蕉| 91丨九色丨国产打屁股| 五月婷精品| 久久9久| 久久精品视频99| 国产亚洲色婷婷久久99精品91| 91婷婷伊人牛牛| 99亚洲视频| 激情床戏| 九九热视频免费观看| 激情亚洲五月| 亚洲另类视频| 欧美色频| 97色碰| 五月综合丁香婷婷| 国产亚洲色婷婷99精品| 九九色热视频| 99久99热| 99热这里只有精品13| 五月天激情日色在线| 79精品视频| 狠狠狠狠狠草| 九九九九毛片| 亚洲岛国电影| 久久曰曰| 99爱无码| 天天日综合| 国产午夜成人AV在线播放| 国产亚洲精品久久久久久久久动漫| 久久五月婷天天干| 51XX午夜影福利| 五月开心婷婷中文字幕| 五月激情婷婷在线| 五月天婷婷综合| 99精品无码| 成人αV视频免费观看| 色婷婷六月天| 婷婷五月天色丁香| 九九热最新视频| 色婷五月天| www.久久爱| 综合99久久天天综合| 久99热在线观看| 亚洲情欲| 婷婷色色宗合网| www.99精品视频| 99热大全在线观看| 色五月婷婷在线| 六月婷婷色综合| 91夫妻网站九色| 91热久88| 五月激情另类| 高清不卡一区| 黄色aa观看aaguochan| 亚洲国产99| 99热这里都是精品| 五月丁香六月综合情在线观看| 色色综合视频| 拍真实国产伦偷精品| 双性美人被调教到喷水A片| 五月叮香啪| 99热首页在线30| www99热| 99热这里只有精品最新网址| 天天情色五月天| 国产精品VA在线| 泰州成人视频| 五月综合激情| 五月婷六月婷婷| 91丨九色丨熟女高潮| 久久久久久久人妻| 激情床戏| 激情综合99| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 欧美日韩99| 国产成人精品亚洲线观看| 日本黄色精品| 狠狠干伊人| 91黄操| 依人大香蕉在钱1| 色五月首页| 天天婷婷| 色噜久| 九九九午夜影院成人| 丁香五月中文字幕| 99久精品视频| 久久视频婷婷| 毛v一区二区视频| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 久久视频婷婷视频| 91.com男女操| 久久亚洲无码| 性爱111111| 日韩欧美一区二区三区四区| 婷婷丁香六月天| 久99久精品视频| 日日.c| 操91| 激情婷婷亚洲五月| 99精品国产乱码久久久人妻| 日韩五月天婷婷| 丁香五月婷婷网| 九色自拍| 思思热在线| 综合网狠狠| 天天射综合网夜夜操| 国产看真人毛片爱做A片| 综合激情啪啪| 专区无日本视频高清8| 色婷婷99| 综合久色五月| 五月婷视频| 操日本色| 日韩aaaaa| 性色综合网| 噜噜精品| 无码一级片| 激情综合丁香五月| 久9久成人精品视频| 五月婷婷六月丁香色| 久久看九九90| 五月婷婷之综合激情| 五月桃花网综合| www.五月婷婷久久.com| 久久这里只有精品视频15| 青青草日本亚洲| 色日本颜射| 深爱激情中文五月天av| 99综合网| 天天日日爽| 色九月综合| www,av好吊操| 9人人操人人看| 99日本在线| 五月婷婷丁香综合| 97综合在线| 91超碰九色| 九九色综合| 丁香五月自拍| 97色五月丁香婷婷| 狠狠狠狠狠干| 亚洲国产精品五月天| 99色在线| 五月丁香六月欧美综合网站| 久er免费视频| 97人碰人操| 婷婷十月激情综合网| 色婷婷综合在线| 九月婷婷激情| 精品综合久久久久久五月天| 婷婷五月丁香人妻无码高清| 久久98| 婷婷五月天色综合翘| 色色99| 午夜婷婷五月天在线| 色吧网综合| 婷婷五月在线观看| 99er国产| 久久玖玖综合| 91无码色色| 亚洲综合热| 99色天堂| 久久日本wwww色| 色婷婷六月天| 5月色亭亭视频| 五月激香蕉网| 九九激情| 深爱激清网| 婷婷欧美综合| 亚洲啪啪自拍| 五月婷丁香| 5月丁香啪啪啪| 中文字幕人妻在线| 99热在线这里| 天天在线久久综合| 久久久97| 久久婷婷色综合老司机| 免费无码毛片一区二区A片 | 日韩av在线免费观看| 免费成人va| 婷婷五月综合社区在线| 亭亭五月色男人| 五月色导航| 色婷婷亚洲综合网站| 六月激情婷婷| 天堂婷婷丁香六月网| 97影院一级片| 超碰婷婷色| 色七七九九| 五月丁香色狠狠干大屄| 五月丁香六月婷婷综合在线| 91九色精品| 婷婷丁香六月天| 先锋资源91| 色婷婷丁香五月在线| 久久五月天色婷婷| 婷婷爱五月| 97亚洲视频在线| 影音先锋91| www五月天激情com| 精品一区二区三区木瓜| 免费色色色| 婷婷丁香五月社区亚洲| 老美AA片| 免费看欧美成人A片无码| 天天天在线观看| 六月婷婷狠狠| 亚洲综合无码| 99狠狠色| 大香蕉五月婷婷| 免费无码毛片一区二区A片| 九热...av| 五月丁香婷婷激情视频| 久久婷婷五月综合色播| 激情五月天在线| 99热在线资源| 五月婷久久久| 色婷久九| 91色在线/日韩| 婷婷五月色图| 操比激情五月| 婷婷丁香先锋资源网站| 婷婷色六月| 99热爆在线| 精品一二三区久久AAA片| 秋霞性爱AV| 久久婷婷色五月| wwwxxx五月婷婷小说| 91精品电影18T| 99热婷婷| 色五月xxx| 玖玖婷婷五月| 黄久久久| 无码啪啪| 狠狠色丁香五月婷巨| 9l视频自拍九色9l视频自拍九色9l社区| 五月 婷 久| 婷婷的五月天另类视频| 欧美日本不卡黄色片| 九九爱激情| WwW色婷婷| 婷婷香草网| 亚洲狠狠丁香婷婷香蕉| wwww.色婷婷| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 五月丁香婷婷激情澎湃四射 | 第四色五月天| 天天艹夜夜艹| 五月丁香婷婷色| 五月婷婷色| 99热精品在线| 91re色综合视频| 人妻丰满精品一区二区A片| 强壮的公次次弄得我高潮A片日本 | 色婷婷成人| 在线理论片| 婷婷视频在线| 婷五月天丁香婷五月| 五月色亭丁香| 99re热99| 色色婷五月天| 开心婷婷丁香五月| 日韩无码成人电影| 国产露脸150部国语对白| 免费无码毛片一区二区A片 | 精品久久婷婷五月天| 婷婷五月激情丁香激情| 婷婷五月丁香伊人| 综合色久| 国产内射婷婷| 九九色网| 超碰99在线| 亚洲国产婷婷色五月| 清色五月天| 五月丁香六月婷婷婷婷| 天天日,天天射,天天舔| 久久99综合网| A片试看120分钟做受图片| 色婷婷啪啪综合网| 激情综合网激情五月天| 婷婷无码视频| 色丁香综合影院| 婷婷六月花| av在线免费网站 | 久草热8精品视频在线观看| 色婷婷99| 噜噜五月天综合| 久久婷婷综| 内射激情在线| 婷婷五月电影院| 色欲一区二区三区精品A片| 91VIP在线观看| 97资源碰碰| 婷婷色情小说| 五月天伊人| 亚洲天堂玖玖| site:picc-up.com| 国产性爱一级| 五月丁香综合色婷婷| 亚洲欧洲午夜成人精品av| 97亚洲色 torrent magnet| 国产精品色一哟哟| 另类激情综合| 亚洲亚洲人成综合网络| 99色综合网| 激情婷婷另类| 很很干天天干| 日韩成人电影在线播放| 色婷婷五月天视频在线| 久久五月视频| 婷婷五月中文字幕| 久久欧洲综合网| 国产婷婷五月天| 久久久天天啊| 91色综合久久| 亚洲久热| AV在线免费播放| 91精品刘玥| 亚洲激情亚洲激情| 亚洲无码播放| 中文字幕精品推荐免费在线观| PORNY九色9l自拍视频成人| 色情免费视频播放| 禁欲电影完整版在线播放| 9久久AV| wwwxxx五月婷婷小说| 深爱激情五月婷婷| 色情久久久| 久久少妇视频| 亚洲激情综合| 天天做综合| 91黄操| 99热亚洲综合| 激情5月天天天| 91超级碰碰| 婷婷五月丁香激情图片 | 26uuu成人网| 蜜桃婷婷狠狠久久| 天天综合网站| 蜜臀99久久精品久久久久| 九月色婷婷综合| av在线免费播放| 综合激情sV| 人人看人人摸人人| 99国产精品白浆在线观看免费 | 五月丁香美女视频| 五月婷婷色色| 熟女网站久久| 婷婷五月六| 日韩av高清| www 五月天 com| 九九热AV| 91综合在线| VA色婷婷| 午夜丁香丁香婷婷| 天天综合在线网| 国产欧美大香蕉一区| 五月婷婷丁香色吧网| 老师的粉嫩小又紧水又多A片视频| 欧美超级视频97| 亚洲va欧洲va国产va不卡| 人妻五月天激情开心网| 久久五月视频| 婷婷成人综合| 五月婷久久| 五月天激情综合首页| 久草热在线视频| 天天久久66xxx| 丁香五月色| www色色色com| 婷婷五月情| 国产综合婷婷| 99热丁香| 婷婷香香五月| 婷婷精品| www.91.com处女在线直播| 精品人妻伦一二三区久久| 亚洲五月婷婷在线| 免费一区二区三区| 91色吧网| 天天色天天色天天色天天色天天色天天色| 99re在线播放| 人碰91| 亚洲综合新99视频| 五月婷婷亚洲天堂97色婷婷| 色色网站免费观看| 韩日AV片| 亚洲午夜视频| 久久在线视频只有这里有精品| 色优久久| 深爱女色婷婷丁香五月亚洲图区| 婷婷久久99| 亚洲视99| 在线不卡的视频| 夜夜躁爽日| 97人妻碰碰碰久久久久-最近国语高清| 丁香六月天色婷婷| 色婷婷AV在线| 色婷婷六月天| 丁香五月婷婷在线观看| 好好干Av| 久久99草五月婷婷| 91久久久久久久| 96性爱视频| 欧美操综合| 亚洲久热| 逼里香不卡| 色婷婷97| 影音先锋AV资源男人站| 九九久久精品| 婷婷成人五月天成人文学小说| 91ncm视频| 五月丁香六月| 99在线视频免费| 婷婷丁香18| 五月亭亭六月天| 综合亚洲六月婷婷在线| 欧洲区自拍| 五月天精品| 人人妻久久妻| 色综合久久88色综合天天99| 成人精品一区日本无码网| 天天做夜夜爽| 日韩六十路91性交电影| 五月久久婷婷| 国产人人操| 这里有精品| 天天天干夜夜夜操| 五月丁香九九九综合| 免费观看日韩成人av| 亚洲操B| 五月色色激情网| 热的五码久久精品| 色日本综合| 99视频精品8 | 五月丁香成人视频| 丁香五月婷婷精品视频| 丁香五月天激情| 色97啪啪| 欧洲电影在线观看免费版英语版 | 五月Huangsewang| 五月丁香久久| 丁香色婷婷| 婷婷色5月天在线。| 久久久999精品| 五月伊人91| 九九综合九九| 99爱免费视频| 先锋av性爱成人电影| 激情综合5| 欧洲亚洲午夜| 五月间天堂综合| 精品热九九| 丁香六月婷婷| 亚洲综合色网| 色色色9| 色欲午夜无码久久久久久张津瑜| 5月婷婷五月天| 五月婷婷伊人网| 九九热在线99| 激情婷婷九月| 熟美女麻豆| 韩国97天堂| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 99 这里只有精品| 天天干,天天舔| 五月天AV大香蕉| 五月J香蕉婷婷| 99九九精品| 欧美日韩成人在线| 中文字幕永久在线| www.五月丁香| 色婷婷丁香五月天在线观看| 99综合色| 精品丁香五月天在线播放| 日韩六十路91性交电影| 26UUU精品一区二区c〇m| 丁香五月激情月| 人妻系列久久久久久久久久久| 这里只有精品在线视频精品| 天天 青草 制服丝袜 在线| 黄网在线免费观看| 久久永久网址| 欧美日朝成人| 狠狠色97| 99在线精品观看99| renrencaoni| 激情婷婷五月天。| 激情综合区| 99五月婷| 天堂A∨在线| 婷婷久草| 五月天亚洲最大成人| 激情开心五月婷婷| 婷婷丁香五月激情图片| 五月丁香婷婷中文网| 色色综合视频| 玖玖五月丁香| 亚洲在线资源| 五月婷色啪| 婷婷久久综合久| 淫荡家庭AV| 成人av在线网址| 91成人品| 天天 日综合| 六月丁香激情综合| 2025天天日爽| 九九热超碰| 99欧美| 爱iii做iiii日| AV免费在线网站| 亚州综合色| 久9热在线视频| www.久久| 亚洲免费99| 99热这里是精品| 五月婷婷网五月在线| 青草五月天| 激情AV在线| 99狠狠| 亚洲精品成人| 99热九九九九| 激情五月天婷婷色色色色色色色色色色色| 996er热| 亚洲五月天天| 人妻久久久| 色综合五月天| 九九色婷| 亚洲综合五月天婷婷丁香| 久久免费9| 色视五月天婷婷| 五月婷六月丁香| 婷婷五月综合激情免费| jiZZdr| 超碰97在线观看免费| 丁香久久综合| 婷婷丁香五月六月激情| 丁香六月激情网C0W| 久色资源| 国产乱人偷精品人妻A片| 欧美激情久| 综合五月草 | 五月天在线视频尤物视频在线看| 天天肏天天插| 四月婷婷丁香五月| 超碰人人色| 丁香五月婷婷综合激情哟哟哟| 亚洲无码www| 五月天无码视屏播放| 色婷婷五月天在线| 99视频在线| Caoub青青超碰| 超碰97人人操| 99视频只有这里精品| 日本综合色图| 182无码| 情色婷婷五月天| 天天夜夜操| 日韩在线视频网站| 高清av在线国产| 99视频久久免费视频| 五月婷婷丁香俺日污视频| 开心激情婷婷| 99在线视频免费| 色五月综合网| 五月婷婷丁香六月| 我爱大香蕉| www.九九婷婷| 激情五月色综合国产精品| 99视频在线精品免费观看2| 黄色短视频在线观看| bbwcuckold精品熟妇| 五月天国产婷婷精品视频在线| a网站免费观看| 久久新地址| 日韩aaa| 90色免费视频| 婷婷丁香五月精品| 天天日夜夜| 久久婷婷丁香视频网| 丁香婷婷色五月天| 国产露脸150部国语对白| 久er免费视频| 91精品久久久久| 91久久九久久九久久九久久九久久| 玖玖资源天天无码| 强辱丰满人妻HD中文字幕| 高清无码.com| 中文AV网站| 影音先锋一区二区三区| 97超碰在线免费观看| 伊人青涩网| 人人人人人人人草| 极品人妻VIDEOSSS人妻| 袁子仪视频观看| 开心激情站| 久久99热这里只有| www.夜夜| 激情综合网五月丁香| 婷婷色丁香六月| 大香蕉丁香五月| 亚洲第一色区| 婷婷五月色花丁香社区| 色婷婷综合视频| 激情婷婷。| 99色免费观看全部| 综合五月丁香97| 看片视频在线免费日产在线看| 丁香五月 无码| 丁香婷婷五月六月天| 色婷婷六月| 色情丁香五月天| 国产婷婷色综合AV蜜臀AV| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 亚洲深喉aV| 久久深爱激情网| 五月丁香久久激情综合| 丁香五月五月婷婷| 日本九九视频| 狠狠做深爱婷婷久久综合一区| 色五月天丁香婷婷| 日日.c| 爱之国产色情综合| 美国少妇性做爰| wwwwww.色| 激情五月天99色| 九月婷婷激情| 99热综合在线| av高清无码| 国产玖玖资源| 六月婷久久| 色婷婷五月天偷拍| 99热在线中文字幕| 久激情| 九九这里只有精品| 色噜噜狠狠色综合无码久久欧美| 国产成人精品亚洲线观看| 森林影视大全,最好看的2019年视频 | 97在线日本| 九月丁香婷婷综合| 5月婷婷6月丁香aV| 色色网91| 丁香婷婷社区| 亚洲激情精品| 婷婷丁香成人| 国产超碰在线| 婷婷激情五月综合| 久久99网站| 成人做爰A片免费看视频 | 婷婷六月色| 久久五月天激情| 草草操操| 亚洲中文AV| 午夜免费试看| 久99热| 超碰97免费在线| 成人精品一区日本无码网| 99热这里只有精品1998| 97热这里精品在线视频| 亚洲精品V天堂中文字幕| 五月丁香六月婷婷色日| 天天插综合在线| 婷婷久久婷婷| 色色亚洲| 五月丁香六月| 国产日批视频| av在线中文| 青青草伊人婷婷| 991精品在线视频| 夜夜做天天爽| 亚洲综合色色| 九九色黄色| 亭亭五月丁香五月天激情| 五月天色婷婷基地| 99re视频在线播放| 丁香五月停停av| 五月丁香久人妻中文| www,色中色| 久久曰曰| 久久久九九视频精品18| 蜜桃人妻无码AV天堂三区| 99热资源在线| 99日韩网站| 韩国情人在线电视剧免费观看高清版全集 | 五月天开心激情综合网| 很很干在线视频| 五月激情啪啪啪| 久久天堂色| 人妻丰满精品一区二区A片| 91操片| 五月丁香婷婷在线| 五月丁香偷拍| 婷婷五月天基地| 99热亚洲| 婷婷五月婷婷| 婷婷无码视频| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 在线成人国产| 激情综合色婷婷啪啪五月天| www久久久| 日韩无码专区| 俺去也在线www色官网| 丁香五月在线伊人| 久热久| 射琪琪| 色色色五月| 久久综合66| 五月天丁香| 婷婷五月色色| 丁香五月天视频| 狠狠狠狠狠狠狠狠| va亚洲中文在线| 婷婷天天舔| 激情综合4月| 日本va欧美va欧美va精品| 97资源欧美日韩大香蕉超碰一区| 色哟哟性爱av| www.久久久久久| 五月天婷婷无码| 丁香婷婷欧美综合| 婷婷综合性爱网| 亚洲精品久久久久久久久久吃药| 另类激情综合| 五月丁香婷婷成人网| 91久久| AV在线免费播放| 91色吧网| 91超级碰在线视频| 久久婷婷网站| 无码髙清| 99在线观看精品| 亚洲色另类| 天天插天天插| 亚洲 视频 导航 一区| www.色9| 色一情一乱一乱一区91| 成人 在线 日韩| 九九碰九九爱97| 天天肏视频| 色婷婷影视| 99色色网| 成人无码精品1区2区3区免费看| 被强行糟蹋的女人A片| 99网| av在线免费播放观看| 丁香五月婷婷综合激情哟哟哟| 99婷婷综合| 久草婷妨| AAA久久久AAA久久久AAA| 综合色婷婷| 色月九九| 综合五月丁香久久| 亚洲六月婷| 99综合色| 91九色丨国产丨爆乳| 99热在线中文字幕| 久久综合激情| 亚洲五月六月婷婷| 天综合日日夜综合7799| 日本色99| 欧美激情五月天在线观看| 色婷婷六月精品| 99在线小视频| 五月婷婷色色色| 五月丁香色综合| 日产精品一线二线三线芒果| 男女激情久久| 91色操| 99爱免费在线观看| 亚洲色情网站| 亚洲午夜av| 国外亚洲成AV人片在线观看| 超碰色碰碰| 色婷婷综合电影| 日本三级中国三级99人妇网站| 五月开心六月婷婷在线播放网站| 99热这里只有免费精品| 丁香五月婷婷色情综合| 超碰v| www久久久久| 婷婷色五月噜噜| 天天射夜夜骑| 五月色丁香| 久久人妻视频| Av在线资源| 综合激情在线视频| 六月激情婷婷综合| www.夜夜操.com| www超碰| 4399精品一区二区| 亚洲色色色色色色色色色| 色婷婷丁香五月丁香| 丁香五月天电影| www.久久99| 久久大香蕉丁香| 色一情一乱一乱一区91| 五月丁香 久久久| 超碰不卡在线| CHINESE熟女老女人HD视频| 久久狠婷婷| 五月天堂婷婷| 丁香五月色五月| 欧美日本免费一道免费视频| 一区视频网站| 五月天影院| 色五月婷婷五月天| 五月婷婷九九热| 99秘 在线| 五月综合久久| 亚洲色婷婷久久99精品91| 九九热只有这里精品| 五月天激情亚洲| 五月丁香六月激情| 99在线资源| 天天成人丁香美女AV| 午夜色婷婷| 亚洲综合欧美色丁香婷婷888月图片| 亚洲综人色综网| 天天干天天操天天拍| 国产欧美熟妇另类久久久| 色呦呦美女| 五月丁香性| 婷婷狠狠综合网入口| 久久免费精品小视频| 色综合天天天天做夜夜| 丰满少妇猛烈A片免费看观看| 中文字幕AV网址| 亚洲欧美999| 亚洲成av人影院| 熟女网站久久| 婷婷五月草| 综合福利网| 26UUU成人网| 天天看A片| 色婷婷另类| 五月丁香激情婷婷综合| 激情又色又爽又黄的A片| 久热这里只精品| www.久热| 亚洲天堂AV综合网| 日逼免费视频| 天天操夜夜操| 五月天婷婷黄色视频| 日韩人妻无码精品| 欧美天天搞| 免费不卡狠操美女视频网 | 日亚二欧美| 五月天亭亭俺也| 人人摸人人操人人爱| 精品九九在线观看| 亚州操人在线视频| 五月婷婷亞洲中文| 精品9197碰| 五月婷婷色播网| 五月天婷婷色色| 色综合色五月| 成人 在线 日韩| 久久99网址| 开心激情网五月天| 色色色色色色色色色色色色色五月天| 婷婷综合爱| 怡春院天天干| 五月天婷婷激情小说电影| Www.久久| 五月开行婷婷色五月| 久久免费高| 高清激情av在线观看| 99热| 伊人五月久久| 五月综合激情啪啪啪啪啪| 亚洲性色XXXXX| 一级片无码| 久久久久久性爱视频| 99啪视频在线观看| www.婷婷.com| 色播五月综合网| 91色操| 婷婷丁香亚洲色综合91| 日本狠狠色| 国产精品美女| 亚洲婷婷激情综合激情999精品| 天天肏高清在线| 日韩在线视频中文字幕| 色婷婷五月综合| 性爱综合网| 五月婷婷就去色| 激情五月四色| 天天爽夜夜爽夜夜爽精品视频| 日韩久综合| av色婷婷| 新99思思视频| 丁香六月婷婷基地| 亚洲最大激情无码| 亚洲AV成人无码电影| 综合久久影院| 激情久久肏屄视频| 综合婷婷| 亚洲行行色色| 五月亭久久无码视频| 99久久这里只有精品| 成人在线网| 五月婷婷六月天| 丁香五月婷婷天激情| AV中文字幕夜夜操b天天摸bb | 激情综合网五月| www.色综合| 少妇高潮A片无套内谢麻豆传| 色播婷婷五月天| 欧美色必爱| 婷婷午夜丁香| 丁香五月AV综合激情| 在线成人av播放| 五月婷婷三级| 婷婷五月天伊人在线| 一级AV片| WWW.17C亚洲精品| 亚洲人妻av| 精品一二三区久久AAA片| 另类小说激情五月天| 婷婷综合日本| 婷婷五月天av| 久狠狠| 思思网站| 99婷婷五月天激情| 狠狠干天天日| 激情六月婷| 97操碰| 五月婷婷综合色啪首页| 色吧综合网| 亚洲射激情| 婷婷涩涩五月天| 色色色色欧美| 五月天婷婷色小说| 久久久99视频| 婷婷在线日韩综合| 超碰国产在线| 人人摸人人搞| 婷婷美女精品视频| 1024操逼视频| 91精品91久久久久77777| 99热亚洲| 狠色色狠网| 超碰在线看| 亚洲9久久精品| 久久丁香五月婷婷| 天天肏高清在线| 日日干干天天干| 久久99视频| 人人超碰99| 99久久综合狠狠综合久久| 婷婷伊人网| 色婷婷五月综合| 秋霞电影理论| 超碰碰碰碰| 欧美精品A片一区在线观看| 欧美,日韩成人在线| 久久99精品久久久久久噜噜| 九九草热在线观看| 五月丁香大香蕉| 五月狠狠| 91a片爽| 欧美韩国日本| 99在线免费视频| 国产资源91在线| 激情婷婷五月天网址| 91久久综合亚洲噜噜成人在线| 国产SUV精品一区二区883| 91久久久久久久久久久| 五月婷婷深爱六月| www.25五月婷婷| 97碰碰在线看视频免费| 9热成人在线视频| 成人无码髙潮喷水A片| 99日韩| 五月天堂在线| 色国产五月| 五月婷婷在线短视频| 婷婷丁香五月激情密臀av| 五月天色软件| 五月丁香啪啪啪| 日本色色图| 丁香色成人| 天天婷婷色六月| 色五月综合网| 97色色-99久久| 色婷婷亚洲婷婷| 激情六月丁香| 女操碰| 色婷婷先锋| 九伊人网| 久久婷婷一级片| 丁香婷婷九月在线| 亚洲电影在线观看| 亚洲激情在线| 九九综合久久| 成人在线精品| 五月天丁香成人| 9月色婷婷| 啪啪黄页网| 免费播放片大片| www激情| 亚洲综合激情五月| 五月丁香婷久久| 丁香五月天91| 国产人妻777人伦精品HD| 久久久GOGO无码啪啪艺术| 日本一级黄色电影| av大香蕉| 极品少妇XXXX精品少妇偷拍| 99热官网| 丁香激情五月| 婷婷六月天激情| 五月激情六月综合| 五月天色五月| 99视频在线观看网址| 99免费视频| 久久五月网| 亚洲成人在线免费| 亚洲五月花| 亚洲色五月| www九九| 91精品综合久久久久久五月丁香| 欧美色图天堂网| 五月天激情小说| 色伦专区97中文字幕| 丁香婷婷九月在线| 婷婷丁香五月天色色| 久久久噜噜噜www成人| 这里只有精品99视频| 久久久精品AV| 五月天激情黄色网址| 激情av在线| 激情久久久久久久久久| 激情综合啪啪啪| 99热永久在线观看| 婷婷五月 丁香六月| 特级片神马电影| 五月草视频| 五月天久久久| 最近韩国日本免费高清观看| 夜夜嗨一区二区三区直播内容| 色情成人五月天| 久婷婷五月综合欧美| 欧美日韩一a.无| 六月婷婷狠狠做| 丁香久久综合| 五月丁香婷婷综合网| 婷婷五月丁香激情| 久久久99婷婷久久久久久| 久久婷婷五月综合97色一本| 五月婷婷狠狠干| 久久久999精品| 色丁香五月婷婷| 高清国产一级婬片a免费| 国产成人AV在线| www.十八禁不禁AV.com| 丁香五月先锋| 天天日日夜夜| 中文字幕天天干| 色色色五月婷婷| 婷婷色丁香六月| 大香蕉520| 1024国产在线| 狠狠干五月| 激情亚洲婷婷| www.五月婷婷久久.com| 久久人妻高清中文| 五月婷婷啪啪啪| 久热伊人| 超碰99热在线观看| 九九视频网| 综合色色色| www.狠狠| 玖久久网站| 99色婷婷| 欧美英丁香开心快乐六月天网| 色五月超碰| 久久99最新地址| 97碰| 久久婷婷六月综合资源| 99热这里都是精品| www.天天干| 五月丁香六月婷婷久久肏| 在线99精品| 午夜九九电影| 丁香五月情| 啪啪啪丁香五月| 色五月婷婷激情综合网| 五月婷在线视频免费播放| 99视频在线| 久久AAAA片一区二区| 日本三级日本三级99| 婷婷四色成人综合色视| 久久婷婷六月综合| 五月天久久网站| 日日干天天爽| 亚洲情综合五月天| 99色干| 亚州视频九九99| 996热| 性色做爰片在线观看WW| 在线观看的av| 五月天婷婷影院影院观看| 666555。COm毛片| 伊人99热| 9|无码久久久久久| 欧美A A A A A| 伊人婷婷五月天| 亚洲激情另类| 99久99久| 人妻尝试久久久久久久久久久久| 五月天婷婷激情小说电影| 婷婷丁香社区| 人人看人人摸人人| 婷婷五月天天| 婷婷成人综合免费视频| 狠狠色狠狠操| 97在线/亚洲| 激情五月天婷婷丁香| 免费观看高清无码| 日本五月婷婷久久久六月丁香| 天天天天天天操| 性视频久久| 五月丁香亭亭| CAOBIBI| www.婷婷五月天.com| 九九色插| 婷婷激情蜜桃玖玖丁香| 欧美性猛交99久久久久99按摩| 亚洲成人免费电影| 丁香五月婷久久| 中文精品在| 99精品国产在热久久婷婷| 9色免费网| 美女天天爽| 久久精品日| 天天综合色| 91在线人| 丁香六月激情综合啪啪| 99精品视频播放| 色播五月婷婷综合| 欧美性爱五月天| 九九熱最新視頻| 久久五月激情综合| 插逼综合网| 天天日,天天干,天天操| 超碰97人人操| 六月天婷婷| 狠狠艹狠狠艹| 亚洲成人网站在线观看| 五月婷婷开心深| 国产五月视频| 狠狠狠狠狠操| 色婷婷女优有码五月亭| 婷婷免费视频| 日韩日比视频在线| 美女妹子后射视频网站在线观看| 大香蕉在九| 国内自拍1区| 这里只有精品在线播放| 色婷婷综合网站| 99久久久国产大片区| 99色在线观看| 日韩欧美四五区| 色五月婷婷久久| 综合狠狠五月婷婷| 强壮的公次次弄得我高潮A片日本 | 五月丁香在线精品| 丁香五月婷婷av影院| 激情五月视频在线婷婷| 丁香花婷婷五月天| 婷婷五月天色| 婷婷,五月天,丁香,第一| 亚洲综合网在线| 婷婷五月视频| 操碰久| 久久久婷婷五月亚洲97号色| 91久久久久久久久久| 91人人操.COM| 69五月天视频| 在线中文字幕免费视频| 婷婷六月天激情| 99九九99九九九视频精彩| 五月天婷婷基地| 婷婷色五月情| 婷婷五月天黄色网址| 五月丁香人妻| 99 色色吧| 影音先锋男人av资源站| 亚洲婷婷91丁香| 久久五月天精品视频| 操老逼综合网| 天天色天天| 激情欧美婷五月| 天天视频精品9| 成年人丁香五月|