欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

端到端方面級情感分析:用BRNN精準定位政務(wù)評論中的具體問題

端到端方面級情感分析:用BRNN精準定位政務(wù)評論中的具體問題 簡介面向政務(wù)APP評論挖掘的技術(shù)文檔提出基于雙向循環(huán)神經(jīng)網(wǎng)絡(luò)BRNN的端到端方面級情感分析方法E2E-ALSA將方面實體抽取與情感分類聯(lián)合建模規(guī)避傳統(tǒng)情感詞典與人工規(guī)則覆蓋局限性可服務(wù)于移動政務(wù)治理、用戶行為分析等場景。文檔共1個docx文件壓縮包約556KB內(nèi)容涵蓋研究背景、ALSA方法對比、BRNN模型設(shè)計及應用思路適合自然語言處理方向的研究生、算法工程師及政務(wù)信息化從業(yè)者參考。目前已有118人學習。通過該文檔可快速掌握端到端方面級情感分析的建模要點理解政務(wù)APP在線評論細粒度情感識別流程為改進評價指標、減少強制推廣等非理性現(xiàn)象提供技術(shù)參考。文中對傳統(tǒng)、流水線與端到端三類ALSA方法的流程對比亦有說明有助于讀者理解方法演進與選型思路。1. 這個標題到底在解決什么政務(wù)評論的“好評差評”和“罵的是什么”差著一個端到端政務(wù)APP的評論區(qū)大概是NLP里最不像電商評論的數(shù)據(jù)短、口語化、方言夾雜大量具體業(yè)務(wù)詞“補貼咋還不下來”“老年客戶登錄太費勁了”“窗口電話打不通”這類句子用整句情感分類只能說一句“這是負面”但真正該派單給哪個部門——社保處、技術(shù)部、窗口服務(wù)——完全沒有定位能力。標題里“方面級情感分析”就是干這個的不只要判斷正負還要把評論里的具體方面詞補貼進度、登錄流程、電話接通和它對應的情感極性一起抽出來。而“端到端”指的是不再走“先抽方面詞再判斷極性”的流水線結(jié)構(gòu)讓模型一批訓練只靠“評論文本標簽序列”直接把“哪里什么情緒”同時輸出。BRNN雙向循環(huán)神經(jīng)網(wǎng)絡(luò)在里面承擔的角色是編碼器每個詞都能同時看到左邊的上下文和右邊的上下文“補貼不下來”這種觀點詞和“補貼”這個實體經(jīng)常隔著好幾個字雙向循環(huán)正好能把相隔的詞在隱藏狀態(tài)里拉近。這套方案適合誰我理解是兩類人一類是政務(wù)APP或者公共服務(wù)產(chǎn)品的NLP工程師手頭有一堆評論數(shù)據(jù)但根本沒法依賴外部情感詞典因為詞典里不會有“老年客戶”和“窗口沒人”另一類是做文本挖掘外包項目的人甲方要的不是“準確率93%”的匯報而是“評論里被罵得最多的功能模塊TOP10”這種能直接發(fā)工單結(jié)項的結(jié)果。先說一個反直覺的觀察這類任務(wù)在測試集上跑出0.9的F1并不難難的是拿模型去掃真實評論流出來的方面詞一堆“這個”“那里”這種無意義的代詞極性還偏偏標對了導致業(yè)務(wù)部門看報告一頭霧水。后面會專門講這個問題出在哪以及怎么用端到端的標簽設(shè)計把它壓下去。接下來的內(nèi)容全部以復現(xiàn)一條可用的“評論-方面-極性”生產(chǎn)管線為目標從標注方案、模型結(jié)構(gòu)、訓練參數(shù)一路寫到上線后怎么驗證。2. BRNN做方面級情感分析為什么雙向循環(huán)比“看完再回頭”更適合評論2.1 評論里觀點詞和方面詞的位置關(guān)系決定了“從左到右”不夠用方面級情感分析任務(wù)里模型拿到一句話需要同時解兩個子問題找到“方面詞”的邊界并對每個方面詞給出極性。評論數(shù)據(jù)里一個特別常見的現(xiàn)象是觀點詞經(jīng)常出現(xiàn)在方面詞的前面比如“真的好慢這個件”“太差了你們的登錄”這時候如果編碼器只按從左到右的順序讀一遍模型在讀到“好慢”的時候根本不知道后面會跟一個“登錄”更談不上把它們的表示對齊。BRNN的核心做法就是每個時間步同時做一次正向讀入和一次反向讀入最后把兩個方向的隱藏狀態(tài)拼接起來作為這個詞的上下文表示。這樣反向讀入的那一路在“真的好慢這個件”這個句子里已經(jīng)提前把“件”和“這個”的信息帶給“慢”這個字注意力機制再從拼接后的狀態(tài)里決定“登錄”和“慢”哪個才值得對齊。其實從計算角度看雙向循環(huán)相比后來的雙向Transformer并沒有結(jié)構(gòu)優(yōu)勢但在這種長度一般在50個字符以內(nèi)、句內(nèi)依賴緊密的政務(wù)評論場景BRNN有兩個實打?qū)嵉暮锰幰皇菂?shù)量小幾千條標注數(shù)據(jù)就能訓得動不需要預訓練語言模型動輒上億的參數(shù)量往小數(shù)據(jù)集上硬套二是對錯別字的容忍度比注意力機制好政務(wù)評論里“身辦”“補帖”“都不了”這種錯誤反向掃描時能借助后面的字形信息兜底。當前端到端的思想在NLP里被熱炒從智駕端到端到各種端到端模型本質(zhì)都是“少拆中間步驟”放到這個任務(wù)上就是不要顯式先跑一個NER再跑一個分類器而是直接把“評論序列→標簽序列”的映射一步學出來。2.2 端到端和流水線方案的選型不是越先進越好而是看錯誤怎么傳導早期做方面級情感分析最常見的做法是流水線第一步用NER抽方面詞第二步抽出來的每個方面詞周圍的文本喂給情感分類器判斷正負。每步都有自己的標注模板和模型好處是每一步可以單獨調(diào)優(yōu)但坑在錯誤傳導第一步把“補貼審批”抽成“補貼”和“審批”兩個詞第二步又分別給那兩個詞各判一個極性最后出來一個“補貼正向?qū)徟撓颉边@種結(jié)果在業(yè)務(wù)上根本沒法讀。端到端方案直接把標簽序列定義成“B正面、I正面、B負面、I負面、O”一個解碼器同時輸出邊界和極性錯誤不會從“抽詞”傳導到“判極性”因為它壓根沒有兩個獨立階段。但要注意端到端不等于模型自己什么都能學會。政務(wù)場景里“補貼”往往承載負面情緒因為評論區(qū)里提到補貼基本都是在催極少夸——這種情況模型會學到“補貼”出現(xiàn)就等于負面在樣本不平衡時尤其危險。所以選型時我會先問一個問題線上遇到“補貼發(fā)放及時了”這種少見但確實存在的正面樣本模型有沒有能力糾偏如果數(shù)據(jù)里正面樣本比例低于5%建議在損失函數(shù)里加類別權(quán)重或者把這部分樣本單獨抽樣湊到10%以上再進訓練集這個我在第四章展開。相比之下流水線方案在每一步可以單獨重采樣端到端方案必須以整體標簽序列為單位處理類別平衡這是做數(shù)據(jù)準備時比較容易忽略的一點。2.3 端到端方面級情感分析的標簽體系BIEO序列標注是落地首選端到端方案絕大多數(shù)情況下長成“序列標注”的樣子。把一條評論和同長度的標簽序列對齊常用標簽有三套BIO、BIES、BIEO。B代表方面詞開頭I代表中間或后續(xù)O代表非方面詞而E代表方面詞最后一個字S代表單個字自成方面詞。我的建議是政務(wù)評論場景直接用四標簽BIEO——B、I、E、O就夠了不需要S是因為政務(wù)評論里的方面詞極少是單字“補貼”算兩個字“登錄”兩個字而單字方面詞可以用B直接帶過后面再看CRF層的viterbi解碼怎么修正。表格對比如下標簽體系標簽數(shù)邊界恢復能力適合場景BIO3類×極性子類需要后處理合并連續(xù)標簽粗粒度場景不追求精確方面詞BIEO4類×極性子類強末尾邊界顯式給出端到端ABSA本文采用BIES5類×極性子類最強單字單獨標記長文檔、方面詞長度差異大時極性落在每個標簽上即B_pos、I_pos、E_pos、B_neg、I_neg、E_neg、O一共七種輸出類別。為什么不拆成兩層LSTM一層判邊界一層判極性這種“級聯(lián)式”端到端也有論文支持但實現(xiàn)復雜而且第二層的錯誤來源包含第一層的預測序列訓練時一旦邊界錯了極性層看到的輸入就跟推理時不一致容易累積漂移。單層7類別標注是最保守、最好復現(xiàn)、也不容易死鎖的工程方案如果需要細粒度到“服務(wù)態(tài)度”和“辦事效率”兩個子方面再在標簽上擴展成“方面類別極性”的復合標簽也不遲。3. 政務(wù)APP評論數(shù)據(jù)的四個特點與標注方案落地的完整步驟3.1 先認識數(shù)據(jù)再談模型短句占比高、業(yè)務(wù)名詞集中、情緒內(nèi)斂、錯別字常態(tài)化政務(wù)APP評論和電商評論差別非常大。電商評論里“質(zhì)量太差了客服還不管”這種句子方面詞“質(zhì)量”和“客服”都是通用詞可以靠預訓練模型里的先驗知識。政務(wù)評論則充滿“一網(wǎng)通辦”“掌上辦”“老年專窗”“異地就醫(yī)備案”這類業(yè)務(wù)名詞預訓練語言模型大概率沒有在等價語義上見過這些詞等于把通用知識這個buff直接沒收。另一個顯著特點是情緒往往是含蓄的“弄了半天還是沒有”“本來以為可以結(jié)果不行”這種組合沒有明顯的負向詞但從兩個分句的關(guān)系可以推斷負面。這種委婉表達對基于情感詞典或關(guān)鍵詞匹配的方案來說是災難對端到端學習來說反而是好事只要標注夠一致模型能學到否定和轉(zhuǎn)折之間的隱含模式。錯別字和方言口語是第三、第四個特點。政務(wù)APP的老年用戶占比高拼音輸入錯誤率遠超電商用戶“年審”寫成“念審”“預約”寫成“育約”很常見。處理錯別字的底線做到兩件事一是模型輸入不要用按字級別的預訓練BERT分詞器直接用字作為基本輸入單元這樣“念審”和“年審”在字級別上仍然共享“審”這個字的表示不至于整詞OOV直接掉線二是詞向量初始化如果不用預訓練就自己在大規(guī)模未標注評論上用word2vec的CBOW刷一遍能讓錯別字在向量空間里靠近正確詞。3.2 數(shù)據(jù)標注方案JSONL格式、BIEO標簽和字段設(shè)計進入標注環(huán)節(jié)前最優(yōu)做法是先用規(guī)則快速預標注一批再讓人工修改而不是讓人從頭寫。一個實用樣本格式是每一行一條JSON包含text、id和label三個字段其中l(wèi)abel是和text中的字符一一對應的標簽數(shù)組。以下是一個jsonl格式的樣本示例{id: 20230501-001, text: 補貼審批也太慢了, label: [B_neg, I_neg, E_neg, O, O, O, O, O, O]}文本按字符切分得到“補”“貼”“審”“批”“也”“太”“慢”“了”八個字前三個字“補貼審”并不構(gòu)成完整的方面詞——真正要標記方面詞是“補貼審批”四個字標簽序列里B_neg在“補”上I_neg在“貼”和“審”上E_neg落在“批”上后面“也太慢了”全部是O。這里有個關(guān)鍵約定不做“觀點詞”標注只標“方面詞極性”觀點詞的作用由模型通過注意力機制去學這樣標注成本降低三分之一任務(wù)難度也回歸ABSA的本來定義。翻車點提醒政務(wù)場景里“服務(wù)”這個詞經(jīng)常出現(xiàn)在“政務(wù)服務(wù)”和“服務(wù)態(tài)度很好”兩種語境里前者是泛指后者是具體方面。標注規(guī)范里要明確只有可以被后續(xù)后續(xù)處置的“部門/功能/物料”才是方面詞“政務(wù)服務(wù)”“政務(wù)APP”這種泛稱一律標O否則模型學到的是標簽噪聲。一句話同時出現(xiàn)兩個功能模塊時比如“預約成了但定位老是歪”應該標出“預約”和“定位”兩個獨立的方面詞各自帶極性。3.3 弱標注規(guī)則輔助用關(guān)鍵詞字典預生成候選標簽人工只做修正為了提升標注效率可以先寫一個基于規(guī)則和關(guān)鍵詞匹配的預標注腳本生成候選標簽再由標注人員做批量檢查和修改。腳本邏輯很簡單讀jsonl文件對每條text查找一個關(guān)鍵詞字典比如“補貼”“審批”“登錄”“閃退”對應預設(shè)方面詞字典再配合否定詞和積極/消極詞表來推斷極性。下面是實用實現(xiàn)思路import json import re ASPECT_KEYWORDS [補貼, 審批, 登錄, 定位, 預約, 閃退, 卡頓, 電話, 窗口] POS_WORDS [好, 快, 方便, 順利, 滿意] NEG_WORDS [慢, 難, 煩, 卡, 閃退, 失敗, 不行, 無人, 沒] def weak_label(text): labels [O] * len(text) for k in ASPECT_KEYWORDS: start text.find(k) if start -1: continue end start len(k) for i in range(start, end): if i start: labels[i] B_neg # 默認按負面預標人工修正 elif i end - 1: labels[i] E_neg else: labels[i] I_neg # 如果句中有正向詞人工會在檢查時調(diào)整為B_pos return labels def convert_line(line): obj json.loads(line) labels weak_label(obj[text]) return {id: obj[id], text: obj[text], label: labels}這里默認把命中的方面詞預標成負面而不是先掃描情感詞原因在于政務(wù)場景的真實分布里方面詞與負面同時出現(xiàn)的比例遠高于與正面同時出現(xiàn)的比例預標負面能減少人工修正的擊鍵次數(shù)。人工檢查時如果發(fā)現(xiàn)“補貼審批快”這種句子把B_neg改成B_pos后續(xù)I和E同步改成I_pos和E_pos。注意這個弱規(guī)則腳本只用于“標注輔助”不是線上推理模型千萬不能用規(guī)則結(jié)果直接評估模型效果。標注完成后的質(zhì)檢環(huán)節(jié)我會要求一致性檢查同一批數(shù)據(jù)讓兩個人各標一遍按字符級別的標簽序列算一致性Kappa系數(shù)政務(wù)場景目標是0.8以上如果達不到就回到標注規(guī)范里查定義矛盾點多半出在“泛稱不標”和“復合詞拆不拆”這兩條規(guī)則上。4. 端到端訓練一個最小可用的BRNN方面級情感分類模型4.1 模型結(jié)構(gòu)設(shè)計Embedding層雙向RNN編碼器CRF解碼一個都不能少整個模型的輸入是一條評論字符串輸出是等長的標簽序列。先說結(jié)構(gòu)再給代碼。輸入經(jīng)過一個字符Embedding層把每個字映射成一個300維的向量然后把向量序列喂給一個雙向的GRUBRNN用GRU比LSTM在短文本上更穩(wěn)參數(shù)少一截容易收斂雙向GRU每個時間步把正向和反向兩個隱藏狀態(tài)拼接得到該字符的上下文表示。這個表示再經(jīng)過一個全連接層輸出到七個類別B_pos、I_pos、E_pos、B_neg、I_neg、E_neg、O的發(fā)射分數(shù)最后接一個條件隨機場層在校驗標簽轉(zhuǎn)移合法性的基礎(chǔ)上輸出最優(yōu)序列例如B_neg后面不能直接跟O必須跟I_neg或E_neg。這套結(jié)構(gòu)在學術(shù)界有個常用稱呼“BiGRU-CRF”是比“BiLSTM-CRF”更輕的變體在短文本任務(wù)上效果幾乎持平但收斂速度更快。CRF層在這里不是錦上添花它保證輸出標簽的序列合法性。沒有CRF時模型可能輸出“B_neg O E_neg”這種在標簽界面上無法解析成有始有終方面詞的結(jié)果有了CRF轉(zhuǎn)移矩陣會被約束成“只有合法轉(zhuǎn)移的分數(shù)高”解碼階段用維特比算法找出整體最優(yōu)路徑。下面是訓練腳本里定義網(wǎng)絡(luò)結(jié)構(gòu)的關(guān)鍵部分import torch import torch.nn as nn from torchcrf import CRF class BRNN_ABSA(nn.Module): def __init__(self, vocab_size, emb_size300, hidden_size256, num_labels7): super().__init__() self.embed nn.Embedding(vocab_size, emb_size, padding_idx0) self.gru nn.GRU(emb_size, hidden_size // 2, batch_firstTrue, bidirectionalTrue) self.fc nn.Linear(hidden_size, num_labels) self.crf CRF(num_labels, batch_firstTrue) def forward(self, x, mask, labelsNone): emb self.embed(x) h, _ self.gru(emb) emissions self.fc(h) if labels is not None: return -self.crf(emissions, labels, maskmask) # 負對數(shù)似然損失 return self.crf.decode(emissions, maskmask) # 推理時viterbi解碼這里hidden_size選256雙向GRU把隱藏維切成兩半每向128維拼接后還是256維這樣全連接層的輸入維度跟隱含層輸出自然對齊。batch_firstTrue表示張量形狀為(句子數(shù), 最大句長, 特征數(shù))避免transpose操作帶來的隱性bug。7個標簽的索引順序需要在訓練前固定建議按這個順序排列[O, B_pos, I_pos, E_pos, B_neg, I_neg, E_neg]CRF的轉(zhuǎn)移矩陣會自己學習哪些轉(zhuǎn)移合法不合法轉(zhuǎn)移的分數(shù)會被壓低而不是直接置零這一點和硬規(guī)則Mask有區(qū)別Beam上沒必要做額外約束。損失函數(shù)直接利用CRF的負對數(shù)似然字符串越長CRF得分越低所以mask的作用邊界必須正確填充部分pad位置標簽全是O同時mask把它們掩蓋掉防止CRF統(tǒng)計到無意義的pad轉(zhuǎn)移。4.2 訓練參數(shù)和優(yōu)化器選擇小學習率、梯度裁剪、驗證集優(yōu)先政務(wù)評論數(shù)據(jù)集規(guī)模一般不大幾千條到幾萬條之間。針對這種規(guī)模我通常建議直接用AdamW優(yōu)化器學習率取2e-3級別配合線性warmup前10%的batch做warmup和梯度裁剪。梯度裁剪是BRNN這類循環(huán)網(wǎng)絡(luò)的重中之重原因是雙向GRU在反向傳播時梯度沿時間步流動容易出現(xiàn)爆炸特別在句長參差不齊的batch里長句的梯度活活把短句的normalization沖掉。clip_norm設(shè)為5.0即可。另一個關(guān)鍵參數(shù)是batch size一般取32到64之間如果句子被pad到同樣長度很多算力浪費在O標簽到pad字符的過渡區(qū)域可以按長度排序分桶然后再做mini-batch實際能省將近一半的訓練時間。代碼里需要特別小心的是dataloader的默認行為它按索引直接取樣本不保證一個batch里的句子長度接近。自定義一個簡單的bucket sampler給訓練數(shù)據(jù)排序每輪訓練前shuffle但保持桶內(nèi)順序即可。訓練輪數(shù)epoch設(shè)在30左右早停機制用驗證集F1驗證集不要和測試集混用。端到端模型還有一個常見隱性病訓練集規(guī)模小時標簽分布嚴重偏向O導致模型幾乎把所有token都預測成O方面詞全漏。解決辦法是計算各類別權(quán)重將loss按類別權(quán)重乘一遍或者把負樣本采樣下溢——這句話最實操的意思就是把O類樣本的占比壓到序列長度的70%以內(nèi)比如優(yōu)先保留含方面詞的樣本讓不含任何方面詞的純噪聲評論占比小于總數(shù)據(jù)量的30%。4.3 用驗證集決定訓練停點為什么不看loss要看F1訓練日志里最常見的誤導是loss還在下降但驗證集F1已經(jīng)不再漲甚至掉了。這是因為CRF層的負對數(shù)似然在擬合訓練樣本的具體轉(zhuǎn)移特征而驗證集的方面詞邊界分布和訓練集并不完全一致訓練到后期模型在死記轉(zhuǎn)移規(guī)則而不是泛化。我的習慣是每個epoch結(jié)束跑一次驗證集計算三個指標方面詞級別的精確率、召回率、F1——方面詞級別的意思是把一個完整方面詞當成一個樣本單元比對而不是按字統(tǒng)計這樣才貼合業(yè)務(wù)口徑。按字統(tǒng)計的準確率很容易到98%但那是被O標簽稀釋的水分。方面詞級別的F1低于0.75時模型基本不能直接給業(yè)務(wù)部門用需要回到數(shù)據(jù)或模型結(jié)構(gòu)層面找原因。驗證時的解碼輸出是一組標簽序列解析成方面詞需要做一步后處理從左到右掃描標簽遇到B開頭的標簽啟動一個方面詞候選遇到I繼續(xù)拼接到候選尾遇到E停止并把候選詞與其極性一起存下來若遇到O時上一個候選還沒遇到E說明是個殘次序列直接丟棄該候選。丟棄這些殘次候選有助于防止模型自造方面詞也方便在測試集上分析錯誤模式是邊界錯誤還是極性錯誤。下面的代碼展示了批次推理和結(jié)果解析邏輯def decode_to_aspects(text, labels, id2tag): aspects [] cur None cur_polarity None for ch, tag_id in zip(text, labels): tag id2tag[tag_id] if tag.startswith(B): cur, cur_polarity ch, tag.split(_)[1] elif tag.startswith(I) and cur is not None: cur ch elif tag.startswith(E) and cur is not None: cur ch aspects.append((cur, cur_polarity)) cur None else: cur None if cur is not None: # 出現(xiàn)E缺失直接丟棄 pass return aspects這里id2tag是把數(shù)字索引映射回標簽名的字典例如“2→B_pos”。輸出一個列表每個元素是(方面詞, 極性)。后處理時不保留殘次候選這樣統(tǒng)計F1的分子更干凈也更貼近業(yè)務(wù)需要。測試集上輸出這個結(jié)構(gòu)后可以做各種維度報告比如按極性正誤分列、按方面詞詞頻排序生成“高頻負面方面詞TOP10”這就是前面說的能直接發(fā)工單的結(jié)果形態(tài)。5. 政務(wù)評論端到端方面級情感分析的5個必踩坑與排查方案5.1 標注的坑“服務(wù)”到底是方面詞還是泛稱標準不統(tǒng)一現(xiàn)象訓練集F1很高線上抽取的方面詞列表里卻出現(xiàn)“政務(wù)服務(wù)”“公共服務(wù)”這類沒有處置對象的詞組。原因標注規(guī)范對“泛稱”的定義沒有落到具體詞例上不同標注員各按各的手感隨意標。解決在標注規(guī)范里明確幾類不能標為方面詞的情況類的統(tǒng)稱服務(wù)、辦事、系統(tǒng)、平臺、狀態(tài)詞方便、好用、復雜、否定結(jié)構(gòu)里的否定詞本身。同時準備一份“禁用方面詞清單”清單里的詞即使出現(xiàn)在負面語境里也一律標O線上推理時再用同一個清單過濾一遍輸出結(jié)果雙保險。5.2 沒有企業(yè)級詞表時錯別字把整個模型帶偏現(xiàn)象模型頻繁把“念審”識別成方面詞“念審”且極性負面而正確的“年審”沒有被識別出來。原因字向量里“念”和“年”的距離太遠模型沒有語言先驗把它們拉近。解決在自己的未標注評論語料上用gensim的word2vec跑二十輪CBOW訓練字向量字符級別的共現(xiàn)信息會把經(jīng)常出現(xiàn)在相同上下文的“念”“年”擠到相鄰位置這一步成本極低但受益明顯。如果還不行就把高頻錯別字對做成一個映射表在預處理階段直接做標準形替換。5.3 數(shù)據(jù)太少的場景l(fā)oss飄紅不下降現(xiàn)象用BiGRU-CRF在只有800條人工標注數(shù)據(jù)上訓練驗證F1始終在0.2徘徊loss幾乎不降。原因BRNN的參數(shù)量相對于數(shù)據(jù)量仍然偏大雙層正向反向疊加后更難擬合。解決先把模型縮減到隱藏維128Embedding降到100維然后看訓練集里的標簽分布如果負面樣本占絕對主導可以考慮把O標簽之外的正負樣本過采樣。網(wǎng)絡(luò)結(jié)構(gòu)上還有一個省參數(shù)的做法是共享雙向GRU的權(quán)重兩個方向用同一組參數(shù)但輸入順序反轉(zhuǎn)參數(shù)量直接減半數(shù)據(jù)不足時比滿血版穩(wěn)得多。5.4 “服務(wù)器繁忙”這類噪聲評論把負面極性傳染給“服務(wù)器”現(xiàn)象線上報告里排名最高的負面方面詞是“系統(tǒng)”“服務(wù)器”但業(yè)務(wù)部門反饋沒人投訴過服務(wù)器而是在自動彈窗提示“服務(wù)器繁忙請稍后再試”后抱怨登錄失敗。原因模型把彈窗里的提示文本本身當成用戶輸入的評論彈窗里的“服務(wù)器”“繁忙”被標注成負面方面詞而這根本不是用戶手動輸入的。解決預處理階段加兩條硬規(guī)則過濾掉長度小于5字符的評論過濾掉內(nèi)容完全由彈窗提示、站內(nèi)公告、自動回復組成的文本。更穩(wěn)妥的方案是在數(shù)據(jù)采集時只保留用戶在輸入框里手動提交的內(nèi)容排除系統(tǒng)自動截斷的異常文本。5.5 不要為了省事先去掉CRF層邊界亂飛的根因就在這現(xiàn)象去掉CRF后測試集F1從0.82降到0.76且輸出里頻繁出現(xiàn)“B_neg O E_neg”這類無法收斂的序列。原因沒有CRF約束每個token的分類是獨立的模型沒有學標簽之間的轉(zhuǎn)移關(guān)系。解決把CRF層加回來同時檢查batch里的mask是否跟標簽一致。很多資料里說“CRF是可選優(yōu)化”但在端到端ABSA任務(wù)里它不是優(yōu)化而是標配因為輸出必須結(jié)構(gòu)化成“有始有終”的方面詞序列才可交割。檢查mask和標簽同步的代碼其實就一步把mask張量和標簽中O的位置對齊兩個張量必須嚴格匹配否則CRF會偷偷給pad位置分配極性標簽而不報錯。6. 把模型交給業(yè)務(wù)之前注意力排查、固定短語過濾和驗證集復盤方法模型訓完F1達標并不是交付的終點。政務(wù)評論這個場景有個特殊點業(yè)務(wù)方拿著模型結(jié)果去寫報告他們看不懂注意力機制更看不懂發(fā)射分數(shù)他們要的是抽查時能還原出“為什么這條評論被歸為負面”。這時候有兩個手段最管用一是把每個方面詞的注意力權(quán)重最大的23個上下文詞挑出來生成一個“證據(jù)詞”字段隨同報告一起展示二是把高頻出現(xiàn)的固定說法整理成短語清單比如“怎么還不好”“又崩了”“太慢了”這些作為規(guī)則輔助補充到報告里給業(yè)務(wù)方的直覺判斷打底。如果一條評論被模型標成負面但證據(jù)詞是“挺好”說明邊界標簽或極性標簽標注有錯誤需要回溯到訓練集而不是急著調(diào)模型。驗證集復盤還有個很有效的習慣按方面詞出現(xiàn)的頻次分組看F1。政務(wù)評論里低頻方面詞“跨省結(jié)算”“異地備案”的F1往往比高頻的“登錄”“閃退”低一大截原因不是模型學不會低頻詞而是訓練數(shù)據(jù)里低頻詞的樣本太少CRF學到的是“任何詞只要在負面句子中出現(xiàn)就有概率成為方面詞”這種模糊規(guī)則。應對辦法是給低頻方面詞句子做SMOTE類別的過采樣或者直接用正則把這些固定搭配在預處理時合并成不可拆分的詞根比如“異地就醫(yī)備案”整體作為一個輸入單元。這個操作在推理時同樣生效讓邊界預測少一個不穩(wěn)定因素。最后說說我自己的血淚經(jīng)驗第一版方案在測試集F1達到0.85給業(yè)務(wù)方做現(xiàn)場演示時輸入一條真實評論“弄了半天卡死了還要重新填”模型輸出了“卡死”負面看起來沒問題但業(yè)務(wù)方隨手又補了“錢什么時候到賬”這句話模型完全沒輸出“錢”這個方面詞。原因很直接訓練集里“錢”這個詞出現(xiàn)太少且沒跟“到賬”組合出現(xiàn)。后來我把語料里所有“錢”“到賬”“入賬”“打款”統(tǒng)一歸一化成“MONEY”占位符再進模型這類泛金融詞的召回率從0.5直接拉到0.8。中文NLP里做歸一化常被認為會丟失語義但在這個場景里業(yè)務(wù)方要的“錢什么時候到賬”本身就是一個高頻核心意圖歸一化是讓低頻語義聚焦的正確做法。希望這個思路幫你在類似政務(wù)文本的ABSA項目里少走一段彎路。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
综合99在线| 9热在线观看| 视频这里只有精品| 人人爽天天爽| www久久五月com| 99亚州综合精品成人网| 新99思思视频| 91热视频| 亚洲午夜一区二区| www.久久| 97日韩无套内| 99免费在线视频| 无码动漫av| 99成人| 第1影院之五月婷婷| 婷婷基地爱| 偷拍99在线视频观看| www,婷婷五月天,com| 天天天天天天操| 久99视频在线观看| 色五月婷婷激情综合网| 日本猛少妇色XXXXX猛叫| 中文久久久人妻| 国产精品久久欧美久久一区| 亚洲天堂aaa| 丁香五月欧美婷婷综合| 天天干天天拍| 免费视频舔| 国外亚洲成AV人片在线观看| 亚洲va欧洲va国产va不卡| 日本97人人| 久久六月天| 激情爱爱网站超大免费| 久久久久久人妻| 激情都市五月天| 超碰永久在线| 99久久99九九99九九九| 国产精品噜噜在线视频| 激情婷婷综合网| 热久久这里只有精品| 色色丁香五月天| 婷婷深爱五月天| 夜夜噜夜夜奇| 日本色久| 九九99九九精品免费 | 噜综合| 久久激情网| 黄页大全十八禁| a片在线免费观看一区| 久热黄色| 五月婷婷激情综合拍| 久久九九国产| 国产精品成人AV在线观看春天| 色丁香影院| www,久久久| 免费做A爰片77777| 激情丁香五月婷婷| 99热 免费| 欧美婷婷综合| 99国产精品白浆在线观看免费| 色噜噜婷婷| 欧美精品99| 性无码专区无码| 丁香六月在线| 午夜精品777| 玖玖婷婷色欲| 狠狠色成人影片| 五月婷婷开心亚州在线| 五月开心婷婷网| 婷婷99综合| 人妻无码精品一区| 成人片久久网站| 人人操人人看97干| 欧洲电影在线观看免费版英语版 | 久婷婷色| 亚洲bt丁香五月天婷婷激情小说| 伊人网欧美在线男人天堂五月丁香| 人妻熟人中文字幕一区二区| 9精品在线| www.思思99热| www.天天干.com| 碰超在线九色| yirenjiqingshiping| 99热超碰在线| 97色图片中文字幕视频在线观看| 国内熟女黄色系列| 国精产品一区一区三区免费视频 | 99re这里| 色五月综合在线| anquye五月| 91综合在线| 综合久久久婷| 香蕉五月婷婷| 免费色婷婷| 天天干天天干天天| 91狠狠综合久久| 婷婷五月天激情小说| 99热这里只有精品69| 五月丁香久久久久| 五月天久久综合| 啪啪五月婷婷| 国产肥白大熟妇BBBB视频| 99热地址| 夜夜谢天天干| 成人丁香五月| 99亚州综合精品成人网| 婷婷综合爱| 热99精品视频观看| 亚洲五月天综合色| 久久婷婷综合网| 国产真实乱了老女人视频| 99热这里只有精品99| 五月天自拍视频| 成人精品在线| 99精品综合视频| 五月婷婷六月激情| 丁香五月社区| 国产免费一区二区三州老师F1F1| 噜噜噜久久| 色婷婷五月网| 日本熟女一区二区| 99热成人在线观看| 婷婷五月天黄色小说| 成人色五月天| 99秘 在线| 五月天三级| 激情五月开心五月在线视频| 色色亚洲无码| 色狠狠六月| 婷婷五月天AV网| 色五月婷婷操逼| 伊人三级激情| 成人精品人妻| 色狠狠五月天| 日日干综合| 婷婷五月激情四月综合| 欧美激情xxxXX| 激情色中文| 六月丁香久久| 情五月亚洲婷婷| 久久99这里只有精品| 久久久婷婷| 伊人网欧美在线男人天堂五月丁香| 色综合久久综合中文综合网| 婷婷综合久久| 久久五月婷| 欧美精品999| 色五月婷婷老师| 99热国产这里只有精品| 九九热最新地址| 亚洲操操操| 激情九月综合| 中文字幕欧美日韩VA免费视频| 99精品久久| 色色性爱视频| 91人久| 激情都市另类| 97干婷婷| 久久婷婷丁香五月一二三| 就99这里只有精品| 激情综合色播| 五月婷婷丁香| 丁香五月av| 噼里啪啦完整版中文在线观看| 91 影音先锋| 专区无日本视频高清8| 亚洲视频在线观看| 淫视馆av三区| 九色91视频| 色五月网址| 亚洲丁香五月天在线视频| 开心激情久久久久久久| enecarbon-materials.com污K127封锁请涟系@wip1688 | 色五月激情综合网| www.ppypp| 夜夜爽天天爽| 亚洲精品色| 99操逼| 婷婷D区| 久久六月综合| 伊人婷婷青青cao| 久色五月婷婷综合| 天天爽天天爽| 午夜天堂一区人妻| 久久99精品久久久久久噜噜| 亚洲瑟瑟精品在线| 97色欧美| 99精品视频在线观看| 精品夜夜澡人妻无码AV| 天天综合91入口| 久操婷婷| 99久久综合| 婷婷亚洲影院| 五月刺激丁香月综合| 五月天丁香成人社| 色色色.com| 五月丁香色婷婷综合| 色五月欧美| 五月丁香六月情| 综合久久十三| 九九aV| 亚洲AV激情五月综合网| 婷婷播5月| 91色涩| 国外亚洲成AV人片在线观看| 五月丁香久| 国产美女精品| 91狠狠综合久久久久久| 狠狠色婷婷丁香五月| 久久精品五月天| 久久精品视频99| 一二三区视频韩国| 噜噜噜噜噜日本视频| 人妻自慰高清合集| 99热在线观看免费精品| 射琪琪| 欧美婷婷五月激情| 色玖玖| 丁香婷婷综合影院| 色色丁香五月婷婷| 天天婷婷综合亚洲亚洲| 伊人久久大香线蕉AV最新午夜| 国产成人网站在线观看| 久久少妇视频| 另类图片五月天| 美女伊人久久| 日韩欧美骚货| 亚洲亚洲人成综合网络 | 涩涩五月天| 香蕉久久av一区二区三区| 色欲色天天香综合| 欧美成人精品一区二区| 欧美日韩成卜| 色色热99| 日本色婷婷| 999热这里只有美国精品| 婷婷99狠狠躁天天| 26UUU欧美激情一区二区| 99在线视频网址在线观看| 日韩色色网| 五月天婷婷丁香基地在线观看| 色色热| 97干干干丁香| 热久久思思热思思| 能看的av| 这里只有精品视频在线观看免费| 色五月丁香五月激情五月激情| 色中色综合| 99视频| 五月丁香婷婷在线综合蜜桃| 久久婷婷亚洲| 99欧美| 亚洲综合色色| 欧美成人猛片AAAAAAA| 六月丁香中文字幕| 婷婷色啪| 亚洲AV另类| 亚洲五月天婷婷综合| 熟女人妻一区二区三区免费看| 婷婷中文字暮| 亚洲色网络| 日本成人内射| 激情www| 99久久国产综合精品五月天喷水\| 婷婷国产五月天17c| 五月丁香五月激情综合色综合| 狠狠操狠狠爱| 五月总合激情网| 99热主页日本| 丁香花五月天激情| 狠狠综合| 久久99网址| 国产毛片精品一区二区色欲黄A片| 久久免费干| 99亚洲色| 日本三级第一页| 久久66精品| 久久六月婷婷| 人人看人人摸人人| 综合色视频| 中文资源在线a| 日本社区五月天激情| 国产一级片色色| 狠狠色噜噜狠狠色噜噜噜999| 91美女被操| 色婷婷六月天| 久99热| 91成人看片| 97婷婷丁香| 超碰9| 99这里都是精品6| 亚洲精品色色| 99原创自拍视频在线观看| 色五月激情综合| 超碰国产在线播放| 色综合久久久久久久久五月| 98热精品| 九九综合九九| 五月天色婷婷av| 中国操逼99| 这里只有精彩视| 爆乳熟女-区二区三区| 天天草天天摸| 久久五月婷| 六月丁丁香| 六月色色婷婷| WWW色色色COM| 丁香色色色| 美女va| 色天堂婷婷| 婷婷五月天在线观看第二页| 日本一级特黄大片AAAAA级| 色综久久久| 97久久视频| 丁香色五月 97干| av操B网站| 婷婷五月天久久久| 色色色色色色色色色色色色色色,网站| 久久人操| 久久久久综合激动五月天| 久久99热精品a片在线观看| 国产特级毛片AAAAAAA高清| 久久国产成人9999久久久久| 99热网站| 99热成人永久免费| 伊人在线另类| 99热这里是精品| 丁香五月婷婷色五月| 亚洲成人日韩无码精品| 九九热精品| 五月婷伊人| 亚洲中文字幕翔田千里| wwwss在线观看| 丁香亭亭久久| 激情五月天婷婷丁香| 色婷婷在线播放| 我爱宗和色| 亚洲免费视频网站| av国产精品| 五月婷婷丁香俺日污视频| 操一区| 精品日本视频444| 久久久27操| 精品九九在线观看| 超色欲天天| 色99视频| 婷婷五月天AV在线| 毛片新网地| 九九九热精品| 综久久久| 中字幕视频在线永久在线观看免费| 丁香五月天资源网| 丁香五月天激情综合网| 丁香五月性爱| 婷婷九色| 2025超碰| 99久久综合网| 99热青青草| 99热777| 99re久久| 丁香五月停停基地| 一级内射毛片| 国产成人精品亚洲线观看| 亚州色色色| 色欲人妻综合aaaaaaaa网| 久久天堂女人| 激情图片亚洲| 超碰国产在线| 激情九月婷婷| 播播网色播播| 久久人妻人人槡| 亚洲小视频免费播放| 伊人大香蕉综合在线| 成人无码髙潮喷水A片| 色色色地址| 久久996re热这里只有精品无码| 色婷婷A| 九月婷婷综合色干| jiZZdr| 超碰国产AV| 婷婷综合在线观看视频| 99re思思精品视频在线观看| 亚洲色碰| www,久久久| 五月婷久草| 亚洲国产精品VA在线看黑人| 精品久久99| 色色色热热热| 五月丁香免费看| 这里只有精品99www| 五月丁香亚洲校园欧美| 欧美五月婷婷| 97视频.干com| 99热久久日本| 亚洲AV成人一区二区在线观看| 丁香五月色| 九九热最新| 狠狠激情五月天| 色国产五月| 丁香色六月| 99色干| 免费亚洲成人电影AV| 9l视频自拍九色9l黑人| 久久综合55| 亚洲亚洲人成综合网络| 国产毛片欧美毛片久久久| 亚洲色婷婷| 亚洲AV成人片无码网站| 亚洲AV综合在线观看| 婷婷综合五月天| 五月丁香777| 狠狠色综合久久| 天天操天爱综合| 麻豆123区| 天天操天天操| 丁香五月激情视频在线| 九九热经典视频在线观看| 99热这里只有精品2024| 无码人妻一区二区三区免费九色| 五月天婷婷丁香社区| 9久热这里只有精品| caopeng超碰| 丁香五月AV综合| 爱爱色五月天| 婷婷大美在线| 精品,99| 另类综合婷婷五月天欧美视频| 激情网综合| 人人视频色| 婷婷五月天偷拍| 色人妻五月| 中文字幕婷婷五月天在线观看| 少妇人妻凹凸视频| 99在线精品视频在线观看| 欧美丁香五月| 大香蕉婷婷五月天| 亚洲免费看片| 亚洲中文字幕在线观看| 丁香九色不卡aaa| 99视频在线啪| 色噜噜综合网| 天天色五月| 天天狠狠色| 婷婷五月天综合小说网| 久操97| 97干在线视频| 免费无码毛片一区二区A片| 婷婷香蕉精品| 五月开心久久| 色婷婷狠狠干| 丁香五月激情图片| 亚洲天堂啪啪| 久久婷五月| 电影91久久久| 秋霞日本免费毛片A片| 97色婷婷成人综合在线观看| 色婷婷六月综合| 五月天五月天激情网| 亚洲婷婷五月天| 激情综合色| 欧美激情综合五月色丁香| 91人无码久久久久久| 婷婷久久婷婷色五月| 色婷婷丁香综合中文字幕| 激情深愛五月視頻| 婷婷五月激情五月激情| 思思热视频| 操操综合网婷婷| 超碰不卡在线| 九九九九九无码| 2025年最新亚洲在线欧美| 我去色色网五雨天| 国产成人精品一区二区三区视频| 久久人视频| 天搞天天天天天| 热成人网| 天天天天干| 五月停亭久久电影| 久久久久久久久久8888| 99色免费视频| 337p大胆噜噜噜噜噜91Av| 1024AV视频| 噜噜噜狠狠色综| 色性日本| 色婷婷五月在线| 伊人九九九久| 激情婷婷综合| 中美日韩成人在线| 97久久精品视频| 日本熟女视频一区二区| 久久激情五月婷婷| 99精品视频在线观看| 热99精品视频| 五月激情婷婷女| 激情婷婷| 久久丁香社| 婷婷国产日本欧美| 激情伊人| 精品动漫 无码av| 天天草人人摸| 九九热10| 色99超碰| 婷婷日日天天| 五月婷丁香| 殴美日韩成人| 深爱五月最新网址| 婷婷五月天影院| 五月婷婷深深爱| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 九九热最新| 五月丁香毛片| 五月丁香六月香综合激情| 婷婷五月天激情网| 日韩久久视频| 欧美日韩成人高清在线| 99久久偷拍视频| 夜夜www| 色色色色热| enecarbon-materials.com污K127封锁请涟系@wip1688 | 五月丁香六月色| 五月婷婷九九热| 五月丁香六月婷婷婷婷| 亚洲无AV在线中文字幕| 婷婷久久午夜网| 久久性视频| 玖玖综合色区在线观看| 丁香久久AV| 91成人性爱视频| 九九热re99re6在线精品| 色五月丁香五月婷婷五月成人网| 极品人妻VIDEOSSS人妻| 亚洲小说五月婷婷| 激情五月影院| 五月天激情黄色小说在线观看| 欧美五月婷婷| 亚洲黄3级片网站欧美| 欧美日韩AAA| 天天日中文| 婷婷六月丁香色| 五月天精品| 99热综合| 噜噜噜久久| 97色97干| 婷婷五月天堂| 欧美熟女99| 超碰人人操人人干| 另类 在线| 99啪在线| 婷婷99热| 久操干| 婷婷色在线播放| 色婷婷色和| 开心激情网五月| 拍色综合| 欧美五月婷婷| 99热天堂| 久久久激情视频| 五月婷婷色播| 久久久性爱视频| 亚洲无码11| www999日韩精品| 99精品视频偷拍| 久草大| 色狠狠综合| 天天操无码| 丁香五月性| 久草五月天| 婷婷在线观看五月天在线视频| 人妻啪啪啪| 亚洲丁香婷婷五月天综合色| 激情五月天视频| 天天色天天爱天天舔| 日本啪啪视频HD| 国产淫熟妇| A短视频免费在线观看| 人妻内射麻豆视频| 五月婷婷视频| 欧美VA在线| 热99在线精品| 五月婷婷色五月| oumeisesewang| 亚洲精品第一色色色色色色| 亚洲六月色| 欧美图片丁香五月天| 九九碰九九爱97| 亚洲亚洲激情| 日韩小视频在线99| 久99久视频| 婷婷激情综合无月| 久久丁香婷| 色五月涩涩婷婷| 五月天激情网址| 久久这里都是精品| 丁香婷婷色五月天| 91人妻人人操人人爽| 日本色五月| 九玖欧洲亚洲| 久久影视婷婷五月| 色五月成人| 色婷婷影院| 在线观看免费人成视频无码| 婷婷五月天电影在线| 五月花激情网| 丁香六月综合激情| 99成人精品视频| 99熟女视频| 中文字幕无码人妻少妇免费视频| 五月天色影院| 996er在线观看| 婷婷香蕉香| 综合久| 亚洲 日韩色色| 91男人资源站| 丁香六月五月天| 一级二级香港秋霞欧美欧美秋霞| 中文字幕视频在线播放| 久久91久久精品久久| 色情五月综合婷婷| 五月婷婷在线视频免费观看| 色婷狠狠| 天天综合精品| 久久色天堂| 夫妇交换刺激做爰| 色玖玖爱| 亚城区在线| 五月丁香综合啪啪| 狠狠九九婷婷韩| 97色色网| 日本美女上人| 色婷婷丁香香香蕉视频| 色婷婷大香蕉| 伊人大香久久| 成人精品视频99在线观看免费| 五月丁香啪啪| 欧美日本一区二区三区| 婷婷色网| 香蕉中文在线| 成人国产欧美大片一区| 99操碰| 天天色宗合| 77799热| 午夜爱插插| 婷婷五月成人社区| 色播五月网| 亚洲色综合性| 99精品久久| 久久精品99久久久久久久久| 人人操9| 婷婷色导航| 婷婷五月综合久久中文字幕| 六月综合在线| 开心五月婷| 91九色国产| 人妻中文av| 九九成人电影婷婷| 伊人激情| 开心五月网 | 丁香五月婷婷俺也要去| 中文字幕丁香五月| 婷婷五月天天天日日夜夜| 9l视频自拍九色9l视频在线观看| 婷婷六月偷拍| 亚洲五月婷婷| 91婷婷丁香| 99热这里| 婷婷五月天天天| 天天插天天插天天插| 青青草蜜臀| 99热这里都是精品| 人人人操| 可以看的av| 欧美xx激情视频在线观看| 天插天啪天啪天啪| 99热久久最新地址| 激情综合青草| 狠狠色婷婷7| 日本99视频| 五月婷婷啪啪啪| 亚洲午夜一区二区| 丁香五月激情月| 成人AV播放| 97啪在线观看视频| 欧美色片中文字幕久久久久| 国产看真人毛片爱做A片| 99视频自拍| 久久99热这里只频精品6学生| 成人在线日韩| 色五月激情五月开心五月| 色五月婷婷久久| 欧美日韩aaa| 天天做天天爱天天做| 99久久精品视频女神1| 色情免费视频播放| 青青草原精品久久| 五月情色天| www激情网| 激情综合网 激情五月天| 久久人妻系列| 五月激情婷婷开心| 欧美婷婷五月丁香| 月婷婷婷婷五月| 99免费在线视频| 丁香五月婷婷综合精品素人| 99日在线视频| 成人va在线播放| 五月婷婷片| A在线观看| 色五月婷婷色| 亚洲成人免费电影| 亚洲国产精品二二三三区| 熟女少妇内射日韩亚洲| 色婷婷基地 | 婷婷99视频在线| 亚洲成人电影在线免费观看| 激情五月婷婷老师| 五月丁香亭亭激情操逼网| 丁香婷婷五月天成人| 亚洲啪啪自拍| 色欧美影院| 久99视频| 久久婷婷六月综合资源| 色天天综合| 天天日天天干天天操| 欧美丁香五月97色| 丁香六月激情综合| 影音先锋秋秋五月婷婷| 色婷成人狠干| 在线色色| 婷婷亚洲丁香五月| 人人爱人人摸人人澡| 操九色| 97五月天| AV亚洲在线| 久操干| 色色精品色| 九九热99精品在线| 亚洲九九视频| 婷婷中文字幕| 草了bav视频在线观看| 丁香99| 久9久9热久热| 色色日韩无码| 色欲久久久久久综合网综合网| 婷婷激情图片| 九九伦子片| 九九99精品| 久久这里只有精品无码| 深爱五月天| 99久热| 婷婷伊人五月丁香天堂网| 色欲av伊人久久大香线蕉影院| 五月天婷婷激情网| 色宗合久久五月婷婷| 激情久久丁香| 99热久久这里只有精品| 五月香蕉婷婷| 最新精品视频99| 六月婷婷视频| 国产精产国品一二三在观看| 中文字幕,综合,91| 久久与婷婷| 婷婷丁香色五月| 五月婷婷啪啪啪| 亚洲精品一二三| 中文字幕综合网| 艾小青av| 99精品在线观看| 激情综合网激情五月俺也去| 丁香五月激情棕合| 色人妻五月| 欧美婷婷五月丁香| 99热大| 热久久99视频| 欧美三日本三级少妇三99| 在线18av | 丁香五月欧美成人| 天天色色天天| 欧美大片免费播放器| 久久婷五月综合| 99视频一区| 97操操| 伊人大香蕉综合在线| 激情五月综合六月丁香婷婷狠狠干| 婷婷性色| 久久99最新地址| 东京热伊人| 狠狠草在线观看| 综合天堂AV久久久久久久| 自拍偷窥99热| 久久人妻人人| 亚洲无码影音| 日本美女天天日天天爽| 人人澡玖玖一| 色婷婷女优有码五月亭| 色 丁香婷婷| 丁香九月激情| 久婷首页| 99热精品在线免费观看| 熟妇人妻中文字幕无码老熟妇| 在线中文字幕视频| 色播婷婷五月天| 这里只有精品视频| 日本激情91| 99爱这里只有精品免费视频| 九九色情网站| 人人舔人人色人人高潮| www.99热这里只有精品| 久久精品五月天| 99热激情| 91VIP在线观看| www激情网| 久久久人妻| 五月丁香久久精品在线观看| 4399在线日本A片| 欧美精品A片一区在线观看| 五月婷网站| 天堂伊人干| 激情六月下句是什么| www.婷婷,com| 99国产在线精品视频| 再次出发二| 亚洲视频99| 丁香六月色婷婷| 激情五月婷| 婷婷性爱视频在线| 五月综合无码| 一区二区传媒视频| 色六月天| 热99玖玖99玖玖99九九| 五月丁花色综合网| 99热在线观看| 五月丁香婷婷激情在线| 香蕉AV777XXX色综合一区| 久久99热免费| 99热色精品| 五月丁香六月久久| 色婷婷99| 丁香婷婷综合精品六月初| 丁香五月另类色婷婷麻豆| 91干在线| 丁香五月综合婷婷| 538任你爽| 久久 婷婷 五月天| 91热视频色网站| www.色五月.com| 婷婷亚洲综合| 六月激情婷婷| 丁香五月综合久久八| 免费视频无码| 99热在这里只有免费精品| 亚洲综合色色| 色播五月婷婷| www.色婷婷.com| 99热久久这里只有精品| 八戒青柠影视剧在线观看| 色五月天综合| 五月综合激情婷婷六月色窝| 婷婷五月天人妻| 丁香婷婷久久五月天| 天天插天天插天天插天天插| 啪啪色激情五月天| 色色日本欧美| 五月婷久久| 99热伊人| m色激情网| 青青草原爱爱网| 日本激情91| 婷婷五月天综合激情| 可以看的av| 久久久五月婷婷| 色 五月 天 婷婷 丁香 九月| 五月天色五月| 激情综合亚洲| 性生生活大片又黄又| 五月婷婷久久网| 久久婷婷丁香花综合网| 九九热99精品| 97超喷视频在线观看| 啪色综合| 日本激情ⅩXX免费视频| 无码一区精品一区视频| 色婷婷五月天视频网站| 久久99婷婷| 成人片黄网站色大片免费毛片| 开心五月综合| 99在线观看精品| 丁香五月综合| 六月婷婷国产| 99操无码视频观看| 国产成人片| 天天狠狠色噜噜| 五月丁香六月婷婷久久| 亚洲激情网| 亚洲五月天婷婷在线| 在线网黄| www久久久久久久久久久| 极品人妻VideOssS人妻| 99自拍视频在线观看| 国产成人AV不卡| 操操自拍| 久久午夜理论| 狠狠99| 黑人糟蹋人妻HD中文字幕| 五月亚洲| 久久99热这里只有| 9久热视频| 狠狠干在线| 天天天操天天天日| 亚洲小视频免费播放| 99久久婷婷国产综合精品电影| www.91九色| 国产精品国产VA片国产| 五月丁香自拍| 亚洲视频在线网站| PORNY九色9l自拍视频成人| 色五月婷婷激情五月| 97热精品| 色五月丁香五| 婷婷六月色| 亚洲热久久| 日本啪啪网| 六月五月天婷婷涩播在线| 天天噜噜| 激情婷婷五月天伊人在线观看| 色婷婷综合影院| 久久久99精品免费观看| 超碰女人天堂| 丁香五月开心五月激情| 色五月成人| 久久亭亭电影| 五月色综合| 激情五月天伊人影院| 狠狠色婷婷在线| 色99在线看| ..真实国产乱子伦毛片| 亚洲色网络| 性综合网| 婷婷五月激情在线| 六月丁香视频网站| 亚洲有码在线视频| 五月婷婷影视| 五月丁香六月激情欧美综合| 日本性激情色播| 国产1区2区3区在线观| 日本乱论99| 黄色高清无码| 夫妇交换刺激做爰| 99热这里只有精品首页| 99热日本| 欧美噜噜久久久XXX| www.91婷婷| 红桃91人妻爽人妻爽| 成人免费120分钟啪啪| 操碰91| 久色| 欧美丁香五月天| 一区二区三区四区五区| 久久综合爱| 色婷婷五月天成人网| 伊人影院久久网| 99在线精品免费视频| 99性色| 婷婷五月天黄色| 超碰99资源站| 婷婷五月婷婷| 丁香激情婷婷网| 国产26uuu视频| 五月丁香六月婷婷啪啪| 97人碰人操| 午夜天堂一区人妻| 97综合在线| 婷婷色网| 久热9| 婷婷四色五月| 激情99| 婷婷色在线播放| 精品久久人妻| 天天精品视频免费观看| 99热这里有精品24| 亚洲射激情| 丁香六月婷婷综合激情欧美 | 婷色五月| 97久久视频| 色五月天堂| 天天噜日日噜综合无码| 97干网站| 超碰操网| 99ri精品| 激情五月天婷婷| 久综合网| 亚洲视频99| 免费观看的av| 激情丁香五月婷婷| 大香蕉啪啪啪| 97干婷婷| 婷婷狠狠97| 日韩高清成人| 色啪影院| 激情五月天在线视频| 五月开心激情| 亚洲人妻av| 日日干夜夜干| 中字幕视频在线永久在线观看免费| 丰满少妇乱A片无码| 日本不卡高字幕在线2019| 狠狠色综合五月人人| 99精品久久久久久| 美女爆乳18禁www久久久久久| 色9999综合久久| 伊人久久大香线蕉综合网站| 久re热视频| 久婷自拍视频| WWW嗯嗯啊啊啊啊| 亚洲丁香五月| 久久精品夜色噜噜亚洲a∨| 99ri在线| 综合五月天亚洲婷婷| 色色97丁香婷婷五月天| 青青草伊人婷婷| 婷婷五月深深爱| 五月丁香花激情综合网| 妻久久人久久| 婷婷的99视频网站| 97av在线视频| 97se视频在线| 欧美内射AA| 色色色色色色网| 久久停停超碰| 欧美色色色色色| 夜夜夜叫天天天做| 六月丁香视频网站| 激情五婷精品网在线观看网址| 亚洲99精品九九在线| 9 9热这里有精品| 新久久五月天激情| 婷婷丁香激情综合色情| 任你搞网站| 青青草原亚洲天堂| 亚洲视频在线网站| 久久精品人妻| 久久人妻系列| 99精品视频推荐| 嫩BBB搡BBBB榛BBBB| 丁香五月天AV| 五月天婷婷丁香蜜桃91| 九色婷婷| 色五月婷婷自拍| 伊人99久久| 丁香五月婷婷色| 久久久久久性爱视频| 色色五月天网站| 内射爽无广熟女亚洲| 99久久九九| 天天综合情| 草榴成人影片| 另类小说五月天| 久婷五月| 日本婷婷| 79成人网| 99久久思思| 玖玖在线资源视频| 色婷婷五月在线| www色婷婷com| 国际国外精品欧洲南美洲专区无码不卡| 日韩在线视频网站| 人人干人人操外国| 26UUU欧美| 九九碰九九爱97超| 久久激情五月婷婷| 亚洲最大视频| 五月天婷婷青青草| 久久9视频| 色婷婷丁香综合中文字幕| 男人的天堂99| 久婷婷视平| 色色色1网址| 91 九色 入口| 美女黄频aⅴ视频| 丁香六月婷婷色播| 久久精品63| 色婷婷综合视频| 噜综合| 中文不卡一二区| 五月丁香综合网| 久久婷婷成人综合色怡春院| 丁香五月天啪啪| 亚洲乱码日产精品BD| 超碰人妻公开在线| 久久综合久色欧美综合狠狠 | 久久丁香五月| 99这里只有精品视频免费| 亚洲激情 久久| 99色在线观看免费| 久久这里只有国产| 五月中旬婷婷丁香六| 婷婷涩五月天综合| 婷婷5月九九| 人妻熟妇六区| 亚洲va国产va天堂va综合va| 色色色色色色色色五月先| 97干欧美| 亚洲精品无码一区二区| 五月婷婷激情综合| 超碰在线日夜| 香蕉中文在线| 五月婷婷伦理| 99精品爱| 99操逼视频| 香蕉人妻AV久久久久天天| 亚洲av无码精品色午夜| 伊人久久婷婷| 国产婷婷色综合AV蜜臀AV| www热久久yy9| 精品国产乱码久久久久久免费| 91人妻人人操| 日韩不卡DvD| A A色色| 亚洲AV网站在线观看| 丁香五月婷婷网| 九九激情视频| 婷婷丁香六月五月天| 六月丁香激情综合| 成人婷婷| 色五月噜噜| 伊人青草成人| 玖玖婷婷五月天| 亚洲激情四射| 激情骚五月| 天天射综合网天天插| 亚洲综合色婷婷| 94干大香蕉| 欧美爆乳一区二区三区| 国产日韩欧美| 99综合网| 五月婷婷激情综合网 | 一级片操逼视频| 丁香婷婷久久| 99久久99九九九99九他书对| 我淫我色婷婷五月天激情四射| 色婷婷av在线观看| 这里只有精品在线视频在线观看| 婷婷色色网站| 五月丁香色色网| 99操视频| 丁香六月婷婷综情欧美| 色欲婷婷五月天| 色情婷| 九一99| 99久久亚洲国产| 久久九九热视频| 婷婷五月丁香综合桃花色网| 69午夜成人影片| 午夜伊人大香蕉| 少妇人妻凹凸视频| 九色成人AV在线| 婷婷成人综合免费视频| 99色日本| 99热6色| 97久操| 免费亚洲婷婷| 日本在线视频播放91| 91精品久久久久久久| BT综合在线视频观看| 亚洲色色色| 久久这里只有国产| 天天揷综合网| 六月丁香社区| 色爱综合五月| 久久伊人大香蕉| 日韩99色| 丁香五月综合网| 色色色色网| 91精品91久久久中77777久久玖玖九九| 任你爽精品免费视频6| 色婷丁香| 欧美情色电影一区二区| 亚洲六月婷婷| 九色视频91| 无码日本精品XXXXXXXXX| 五月丁香婷婷激情视频| 九九色综合网| 95精品区一区二| www.日日夜夜.com| 天天性视频| 97在线观看| 人人干99| 丁香五月激情澎湃一区| 五月色情婷婷| 色色色色网| 色婷婷四色| www狠狠| 91ncm视频| 粉嫩AV久久一区二区三区| 久久色五月天激情小说| 九九99男女视频在线观看| 亚洲情欲| 偷拍视频五月天| 丁香五月激情综合婷综| 少妇高潮呻吟A片免费看软件| 五月天婷网| 婷婷五月激情网站| 婷婷五月丁香色综合| 五月丁香婷婷啪啪| 亚洲天堂色色| 免费精品66| 亚洲av网址| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 桃色成人网| 天天插天天插| 五月天久久网站| ri电影在线| 亚洲不卡欧洲| 亚洲综合色激情色五月| 五月色网| 久久九精品| 欧美性爱特黄一级aaaassss| 亚洲综合99| 色香久久| 五月丁香色停停啪啪啪| 色婷婷五月在线| 综合99久久天天综合| nvrentiantang av| 五月综合色播播丁香婷婷| 婷婷五月天成人导航| 色五月首页| 成人婷婷| 五月婷婷深深爱| 91在线看免费 九九九九| 国产精产国品一二三在观看 | 99热这里只有精品5| 婷婷五月天激情丁香| 五月天全国最大成人网| 激情5月婷婷狠狠干| 欧美色骚婷婷五月天| 一夜福利不卡| 五丁香激情综合| 亚洲综合网激情五月天| 干亚洲天堂| www.sd-xiangsu.cpm| 久久伊人大香蕉| www狠狠| 久久综合无| 丁香色五月AV在线| 成人精品免费在线观看| 中文字幕日产A片在线看| 大香蕉伊人久久| 狠狠操狠狠| 日本一級黃色一級片| 最近中文字幕在线中文视频| 久久激情综合| 色播五月天激情| 婷婷五月天av| 成人国产欧美大片一区| 大香蕉 婷婷| 9热久久| 97干在线视频| 日韩狠狠色婷婷| 夜丁香五月婷婷| 99在线观看精品视频| 色综合大香蕉| www.色婷婷| 五月丁香在线| 丁香婷婷综合色五月激情国产基地| 亚洲精品中文字幕成人片| 99精品在线观看视频| 婷婷放心五日爱|