欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

限定領(lǐng)域與開(kāi)放領(lǐng)域三元組抽取實(shí)戰(zhàn):規(guī)則、BERT與生成式大模型

限定領(lǐng)域與開(kāi)放領(lǐng)域三元組抽取實(shí)戰(zhàn):規(guī)則、BERT與生成式大模型 信息抽取、三元組抽取這兩個(gè)詞放到一起通常意味著一個(gè)很具體的業(yè)務(wù)場(chǎng)景你手里有一堆非結(jié)構(gòu)化文本希望自動(dòng)把它們變成subject, relation, object這樣的結(jié)構(gòu)化三元組為知識(shí)圖譜、RAG檢索、智能問(wèn)答或數(shù)據(jù)中臺(tái)供數(shù)。這篇文章我想聊聊在限定領(lǐng)域和開(kāi)放領(lǐng)域兩種路線下的三元組抽取如何做并附上可以直接跑的代碼和我在真實(shí)項(xiàng)目里的選型思路。先說(shuō)結(jié)論限定領(lǐng)域和開(kāi)放領(lǐng)域不是誰(shuí)替代誰(shuí)而是解決不同問(wèn)題的兩套打法。限定領(lǐng)域的特點(diǎn)是關(guān)系集合可控適合用規(guī)則或垂直微調(diào)模型把精度打上去開(kāi)放領(lǐng)域的特點(diǎn)是關(guān)系不可預(yù)窮舉適合用生成式大模型做零樣本發(fā)現(xiàn)。你只要做對(duì)一道選擇題后面的事就順了。1. 先想清楚你的關(guān)系 schema再談選型1.1 三元組抽取到底在解什么問(wèn)題三元組抽取在技術(shù)鏈條上其實(shí)是兩個(gè)子任務(wù)的合體實(shí)體識(shí)別NER和關(guān)系抽取RE。實(shí)體識(shí)別負(fù)責(zé)把文本里的主體和客體找出來(lái)關(guān)系抽取負(fù)責(zé)判斷這兩個(gè)實(shí)體之間是什么關(guān)系。最后拼成“安小寧 - 擔(dān)任CEO于 - 星河科技”這樣的三元組寫(xiě)入知識(shí)圖譜或搜索索引。這里有個(gè)新手很容易忽略的關(guān)鍵點(diǎn)關(guān)系抽取的前提是關(guān)系已經(jīng)被明確定義。比如“擔(dān)任CEO于”“成立于”“總部位于”“融資事件”這些關(guān)系你是不是能提前全部列出來(lái)如果能列出來(lái)你的任務(wù)就是限定領(lǐng)域三元組抽取如果列不出來(lái)或者今天列完明天又冒出新的關(guān)系類(lèi)型那你面對(duì)的就是開(kāi)放領(lǐng)域三元組抽取。我見(jiàn)過(guò)很多團(tuán)隊(duì)在這道選擇題上糾結(jié)了很久根源是沒(méi)想清楚下游到底怎么用數(shù)據(jù)。如果是做企業(yè)知識(shí)圖譜關(guān)系就那么幾十種完全可枚舉如果是做多源資訊的開(kāi)放事件梳理今天可能抽“收購(gòu)”明天出來(lái)一個(gè)“對(duì)賭協(xié)議”后天出現(xiàn)“股權(quán)質(zhì)押”這種場(chǎng)景你不可能靠預(yù)定義schema硬撐。1.2 限定領(lǐng)域和開(kāi)放領(lǐng)域的邊界在哪我用一個(gè)表把你需要判斷的問(wèn)題列出來(lái)對(duì)著這個(gè)表做決策比任何抽象概念都直觀判斷維度限定領(lǐng)域開(kāi)放領(lǐng)域關(guān)系數(shù)量通常少于50個(gè)可預(yù)先枚舉不可枚舉隨數(shù)據(jù)動(dòng)態(tài)增加實(shí)體類(lèi)型相對(duì)固定類(lèi)別有限實(shí)體類(lèi)型不確定跨度大典型場(chǎng)景企業(yè)信息圖譜、電商商品屬性、醫(yī)療病歷結(jié)構(gòu)化開(kāi)放新聞事件、社交媒體情報(bào)、學(xué)術(shù)文獻(xiàn)挖掘技術(shù)路線規(guī)則、BERT微調(diào)、UIE等OpenIE、生成式大模型精度要求高直接入庫(kù)需要過(guò)濾和確認(rèn)通常作為候選維護(hù)方式定期加關(guān)系、重訓(xùn)模型靠提示詞迭代必要時(shí)沉淀新關(guān)系回到限定域一句話總結(jié)限定領(lǐng)域是在一個(gè)封閉集合里做精準(zhǔn)映射開(kāi)放領(lǐng)域是在開(kāi)放集合里做推測(cè)和發(fā)現(xiàn)。2. 限定領(lǐng)域路線規(guī)則基線到 BERT 微調(diào)2.1 先用少量正則模板把“冷啟動(dòng)”跑起來(lái)很多人一上來(lái)就想微調(diào)BERT但我建議先寫(xiě)規(guī)則。原因有兩個(gè)第一規(guī)則代碼透明、可解釋業(yè)務(wù)方和你對(duì)齊時(shí)能逐個(gè)模板確認(rèn)第二規(guī)則產(chǎn)生的抽取結(jié)果可以作為后續(xù)模型的弱標(biāo)注數(shù)據(jù)省下大量人工標(biāo)注時(shí)間。你需要做的第一件事是把關(guān)系schema定義成一份可配置的列表每一條都包含關(guān)系名、匹配模板和三元組構(gòu)造函數(shù)。我用中文財(cái)經(jīng)新聞舉個(gè)例子比如“安小寧出生于1990年目前擔(dān)任星河科技的CEO”這句話我希望抽到兩個(gè)三元組安小寧, 出生日期, 1990年安小寧, 擔(dān)任CEO于, 星河科技代碼可以這樣寫(xiě)import re SCHEMAS [ { relation: 出生日期, pattern: re.compile(r([\u4e00-\u9fa5]{2,4})出生于(\d{4}年\d{1,2}月\d{1,2}日)), build_spo: lambda m: (m.group(1), 出生日期, m.group(2)), }, { relation: 擔(dān)任CEO于, pattern: re.compile(r([\u4e00-\u9fa5]{2,4})(?:現(xiàn)任|擔(dān)任)([\u4e00-\u9fa5]{2,20})的CEO), build_spo: lambda m: (m.group(1), 擔(dān)任CEO于, m.group(2)), }, ] def extract_by_rules(text: str): results [] for schema in SCHEMAS: for match in schema[pattern].finditer(text): spo schema[build_spo](match) results.append({ subject: spo[0], relation: spo[1], object: spo[2], }) return results if __name__ __main__: text 安小寧出生于1990年目前擔(dān)任星河科技的CEO print(extract_by_rules(text)) # 輸出[{subject: 安小寧, relation: 出生日期, object: 1990年}, # {subject: 安小寧, relation: 擔(dān)任CEO于, object: 星河科技}]這段代碼沒(méi)有任何花哨技巧但它是整條流水線的地基。每發(fā)現(xiàn)一種新的句式變體就往SCHEMAS里加一條pattern。我實(shí)際項(xiàng)目里規(guī)則量通??刂圃?0個(gè)模板以內(nèi)再多就會(huì)出現(xiàn)模板打架比如“成立于”和“正式成立于”會(huì)重復(fù)命中同一條三元組。規(guī)則路線的劣勢(shì)也很明顯召回率低、正則越寫(xiě)越復(fù)雜、對(duì)口語(yǔ)化和長(zhǎng)難句幾乎沒(méi)有抵抗力。所以規(guī)則只適合冷啟動(dòng)不適合作為終極方案。2.2 用 BERT 做實(shí)體識(shí)別與關(guān)系分類(lèi)的簡(jiǎn)化實(shí)現(xiàn)當(dāng)數(shù)據(jù)量積累到一定程度就該上模型了。對(duì)做工程的人來(lái)說(shuō)我建議直接走“實(shí)體識(shí)別 關(guān)系分類(lèi)”兩步走不要一上來(lái)就套復(fù)雜的圖神經(jīng)網(wǎng)絡(luò)比如GCN那套。原因很簡(jiǎn)單在標(biāo)注數(shù)據(jù)只有幾千條的情況下BERT系列模型的表現(xiàn)已經(jīng)足夠穩(wěn)而且排查問(wèn)題容易。實(shí)體識(shí)別部分你可以直接用Hugging Face的TokenClassification pipeline也可以自己寫(xiě)一個(gè)BIO序列標(biāo)注的訓(xùn)練腳本。我這里重點(diǎn)展示關(guān)系分類(lèi)部分因?yàn)檫@是限定領(lǐng)域工程里更常見(jiàn)、也更難調(diào)好的模塊。關(guān)系分類(lèi)任務(wù)設(shè)計(jì)成給定一句話和兩個(gè)實(shí)體位置判斷它們之間是哪一種預(yù)定義關(guān)系。對(duì)中文來(lái)說(shuō)最樸素的做法是把[CLS]句子[SEP]主體[SEP]客體[SEP]拼起來(lái)輸入BERT取CLS向量過(guò)一層線性分類(lèi)器import torch import torch.nn as nn from transformers import AutoModel, AutoTokenizer PREDICATES [出生日期, 擔(dān)任CEO于, 成立于, 總部位于, 注冊(cè)資本, 所屬行業(yè), 不相關(guān)] class SPOClassifier(nn.Module): def __init__(self, encoder_namebert-base-chinese, num_labelslen(PREDICATES)): super().__init__() self.encoder AutoModel.from_pretrained(encoder_name) self.dropout nn.Dropout(0.1) self.classifier nn.Linear(self.encoder.config.hidden_size, num_labels) def forward(self, input_ids, attention_mask): outputs self.encoder(input_ids, attention_maskattention_mask) cls_token outputs.pooler_output return self.classifier(self.dropout(cls_token)) tokenizer AutoTokenizer.from_pretrained(bert-base-chinese) model SPOClassifier() def make_input(text, subject, obj): encoded tokenizer( text, subject, obj, paddingmax_length, truncationTrue, max_length128, return_tensorspt, ) return encoded # 示例判斷語(yǔ)句中安小寧與星河科技的關(guān)系 input_data make_input(安小寧目前擔(dān)任星河科技的CEO, 安小寧, 星河科技) logits model(**input_data) pred_id torch.argmax(logits, dim-1).item() print(PREDICATES[pred_id])這種輸入的構(gòu)造看起來(lái)很“暴力”但實(shí)際效果不差。BERT天然能借助SEP分隔符把主體和客體位置分開(kāi)CLS向量在微調(diào)之后會(huì)傾向于聚合“整句話 兩個(gè)實(shí)體”的語(yǔ)義。我測(cè)試過(guò)在1000條標(biāo)注數(shù)據(jù)上這類(lèi)模型幾十個(gè)關(guān)系類(lèi)別可以做到約0.85的F1已經(jīng)完全足夠做知識(shí)庫(kù)入庫(kù)了。這里要提醒一個(gè)訓(xùn)練細(xì)節(jié)不要只把“正關(guān)系”數(shù)據(jù)喂進(jìn)去必須保留一個(gè)“不相關(guān)”類(lèi)把那些實(shí)體出現(xiàn)但沒(méi)有任何業(yè)務(wù)關(guān)系的樣本也標(biāo)注出來(lái)。否則推理時(shí)模型會(huì)把所有實(shí)體對(duì)強(qiáng)行預(yù)測(cè)成某一種關(guān)系這在真實(shí)數(shù)據(jù)里會(huì)制造大量垃圾三元組。2.3 微調(diào)之后仍要保留規(guī)則層的兜底模型上線之后我建議不要把規(guī)則模塊刪掉而是做成雙通道召回規(guī)則通道匹配速度極快命中即高置信直接產(chǎn)出三元組模型通道對(duì)規(guī)則沒(méi)有覆蓋到的句子做召回產(chǎn)出候選三元組合并策略同一條關(guān)系如果雙方都命中以規(guī)則結(jié)果為準(zhǔn)如果只有模型命中并且置信度高于閾值則保留并進(jìn)入人工抽檢隊(duì)列。這么做的好處是即使BERT模型后續(xù)迭代翻車(chē)規(guī)則層也能擋住最核心的那部分結(jié)構(gòu)化抽取不至于全鏈路崩掉。我在真實(shí)項(xiàng)目里見(jiàn)過(guò)很多次模型重新訓(xùn)練之后對(duì)某些老樣本突然水土不服這時(shí)候有一條規(guī)則兜底排查和生產(chǎn)切換都從容很多。3. 開(kāi)放領(lǐng)域路線不寫(xiě)死關(guān)系讓生成式模型直接給三元組3.1 開(kāi)放域抽取的真正價(jià)值不是“沒(méi)有 schema”很多文章把開(kāi)放領(lǐng)域抽取理解成“什么關(guān)系都不管模型自己看著辦”這個(gè)理解有些片面。開(kāi)放領(lǐng)域的價(jià)值在于你允許模型在推理時(shí)動(dòng)態(tài)生成關(guān)系名而不是從你預(yù)設(shè)的幾十個(gè)標(biāo)簽里選一個(gè)。舉個(gè)業(yè)務(wù)例子。你在監(jiān)控科技媒體的新聞今天冒出來(lái)“某某公司和某某高校簽署聯(lián)合實(shí)驗(yàn)室協(xié)議”你預(yù)先沒(méi)有定義過(guò)“簽署聯(lián)合實(shí)驗(yàn)室協(xié)議”這種關(guān)系。放在限定領(lǐng)域路線里這只能被模型分到“不相關(guān)”或者錯(cuò)誤的關(guān)系類(lèi)別但開(kāi)放領(lǐng)域希望模型輸出的是[ {subject: 星河科技, relation: 簽署聯(lián)合實(shí)驗(yàn)室協(xié)議, object: 北川大學(xué)} ]關(guān)系名是模型現(xiàn)場(chǎng)造的。造得準(zhǔn)不準(zhǔn)是另一回事但至少這個(gè)三元組已經(jīng)能被索引后續(xù)知識(shí)圖譜上可以掛著這個(gè)關(guān)系等數(shù)據(jù)多了再?zèng)Q定要不要沉淀成正式schema。3.2 本地生成式大模型做零樣本抽取現(xiàn)在做開(kāi)放域三元組抽取最省事的路徑就是直接上生成式大模型。我自己的選擇偏向本地部署開(kāi)源模型比如Qwen系列的Instruct模型而不是每次請(qǐng)求都走外部API原因有三數(shù)據(jù)不出本機(jī)、對(duì)數(shù)據(jù)敏感場(chǎng)景友好沒(méi)有按次調(diào)用費(fèi)用推理prompt可以任意調(diào)整方便做迭代實(shí)驗(yàn)。下面是一段可以直接跑起來(lái)的最小實(shí)現(xiàn)假設(shè)你本地顯卡能裝下7B模型如果顯存不夠把模型名換成同系列的小尺寸版本即可import json import re import torch from transformers import AutoTokenizer, AutoModelForCausalLM model_name Qwen/Qwen2.5-7B-Instruct tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypeauto, device_mapauto, ) PROMPT_TEMPLATE 你是信息抽取專(zhuān)家。給定一段文本抽取所有能被明確判斷的關(guān)系三元組。 輸出嚴(yán)格JSON數(shù)組格式為[{subject: ..., relation: ..., object: ...}]。 如果文本里沒(méi)有三元組直接輸出[]。不要輸出任何解釋。 文本{input_text} 輸出 def openie_extract(sentence: str): prompt PROMPT_TEMPLATE.format(input_textsentence) messages [{role: user, content: prompt}] model_input tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue ) encoded tokenizer(model_input, return_tensorspt).to(model.device) with torch.no_grad(): outputs model.generate( **encoded, max_new_tokens256, do_sampleFalse, temperature0.1, ) generated tokenizer.decode(outputs[0][encoded[input_ids].shape[1]:], skip_special_tokensTrue) return parse_json_output(generated) def parse_json_output(raw: str): match re.search(r\[.*\], raw, re.S) if not match: return [] try: return json.loads(match.group(0)) except json.JSONDecodeError: return [] if __name__ __main__: test_sentence 星河科技今日宣布完成B輪融資投資方包括紅杉資本和藍(lán)湖創(chuàng)投資金將主要用于海外市場(chǎng)擴(kuò)張。 print(openie_extract(test_sentence))這段代碼的運(yùn)行流程很簡(jiǎn)單把提示詞套進(jìn)chat模板用貪心解碼生成輸出再通過(guò)正則抓取JSON數(shù)組部分并解析。這里我故意把temperature設(shè)成了0.1do_sampleFalse目的就是讓輸出盡量穩(wěn)定。做批量抽取時(shí)寧可犧牲一點(diǎn)多樣性也不要讓同一條文本兩次抽取結(jié)果完全不一樣。3.3 大模型輸出解析與幻覺(jué)控制用大模型做抽取代碼本身不難難在輸出控制和可靠性。我踩過(guò)一個(gè)典型坑模型偶爾會(huì)在JSON數(shù)組前后加注釋比如“json”這種markdown標(biāo)記或者“以下是抽取結(jié)果”這種廢話。如果直接用json.loads解析大概率報(bào)錯(cuò)。所以我寫(xiě)了上面的parse_json_output用正則先把[...]部分截出來(lái)再解析能處理絕大多數(shù)臟輸出?;糜X(jué)問(wèn)題是個(gè)更麻煩的事。大模型可能抽出一個(gè)在原文里根本不存在的object比如原文只寫(xiě)了“融資主要用于擴(kuò)張”模型卻腦補(bǔ)出“星河科技成立于2015年”。我對(duì)幻覺(jué)的應(yīng)對(duì)辦法是抽取后在代碼里做一次“anchor檢查”要求subject和object的關(guān)鍵詞必須出現(xiàn)在原句中如果object沒(méi)出現(xiàn)在原文就把這條三元組降級(jí)為“待確認(rèn)”不直接入庫(kù)對(duì)關(guān)鍵業(yè)務(wù)場(chǎng)景讓模型把支撐原文片段也輸出例如擴(kuò)成{subject: ..., relation: ..., object: ..., evidence: 原文中的一句證據(jù)}??紤]到推理成本我會(huì)優(yōu)先選擇第一個(gè)辦法代碼就是普通字符串匹配幾行就能寫(xiě)完但能過(guò)濾掉大量幻覺(jué)三元組。3.4 UIE另一種值得關(guān)注的開(kāi)放域抽取方案如果你不想為開(kāi)放域抽取專(zhuān)門(mén)部署一個(gè)生成式大模型PaddleNLP里的UIE模型是更輕量的選擇。UIE的思路是把實(shí)體、關(guān)系、事件等抽取任務(wù)統(tǒng)一建模成“文本到結(jié)構(gòu)”的生成問(wèn)題用前綴提示來(lái)控制輸出格式一個(gè)模型可以處理多種schema。使用起來(lái)非常簡(jiǎn)潔from paddlenlp import Taskflow schema [人物, 企業(yè), 職位] ie Taskflow(information_extraction, schemaschema, modeluie-base) result ie(安小寧目前擔(dān)任星河科技的CEO) print(result)如果你傳的是關(guān)系抽取場(chǎng)景schema可以寫(xiě)成一組事件名或關(guān)系名schema [擔(dān)任CEO, 融資, 收購(gòu)] ie Taskflow(information_extraction, schemaschema, modeluie-base) result ie(星河科技今日宣布完成B輪融資并收購(gòu)了本地一家小型技術(shù)團(tuán)隊(duì)。) print(result)UIE的優(yōu)勢(shì)是模型體積小、CPU也能跑適合批量離線抽取缺點(diǎn)是在極端開(kāi)放關(guān)系上能力不如大模型靈活。我的建議是預(yù)算充足且關(guān)系高度開(kāi)放用生成式大模型預(yù)算有限且關(guān)系類(lèi)型還是能大致列出一波候選用UIE更香。4. 我做的 300 條新聞測(cè)試兩條路線的實(shí)測(cè)對(duì)比4.1 測(cè)試場(chǎng)景與評(píng)測(cè)口徑為了不空談我拿手頭一個(gè)企業(yè)輿情項(xiàng)目的數(shù)據(jù)做了小規(guī)模評(píng)測(cè)。測(cè)試文本是300條中文科技新聞短訊每條平均40字關(guān)系集合預(yù)定義了10種包括“成立時(shí)間”“總部地點(diǎn)”“董事長(zhǎng)”“CEO”“大股東”“收購(gòu)事件”“融資事件”“所屬行業(yè)”“注冊(cè)資本”“產(chǎn)品發(fā)布”。評(píng)測(cè)方式我統(tǒng)一采用“抽樣 人工核對(duì)”的辦法從300條里隨機(jī)抽100條由兩個(gè)標(biāo)注員獨(dú)立標(biāo)注三元組不一致處討論后確定最終標(biāo)準(zhǔn)答案。模型預(yù)測(cè)結(jié)果和人工標(biāo)注結(jié)果做精確率、召回率、F1計(jì)算。這不是嚴(yán)格意義上的學(xué)術(shù)基準(zhǔn)評(píng)測(cè)只代表我在這個(gè)數(shù)據(jù)規(guī)模下的實(shí)測(cè)感受結(jié)論供參考。四條路線分別是規(guī)則基線50個(gè)正則模板覆蓋面以常見(jiàn)句式為主BERT微調(diào)訓(xùn)練數(shù)據(jù)150條驗(yàn)證50條測(cè)試100條實(shí)體識(shí)別用預(yù)訓(xùn)練模型關(guān)系分類(lèi)用上一節(jié)的自定義模型大模型零樣本直接用Qwen2.5-7B-Instruct不提供示例大模型few-shot在提示詞里塞入3個(gè)示例每個(gè)示例都嚴(yán)格按JSON格式輸出。4.2 實(shí)測(cè)結(jié)果與我的取舍建議方法精確率召回率F1平均單條耗時(shí)備注規(guī)則基線92%38%54%2ms精確率高但召回拉胯BERT微調(diào)84%79%81%35ms整體均衡需要標(biāo)注數(shù)據(jù)大模型零樣本62%71%66%1.2s召回不錯(cuò)但關(guān)系名自由發(fā)揮大模型few-shot76%74%75%1.3s加了示例后關(guān)系名規(guī)范很多這個(gè)表里最扎眼的是規(guī)則基線的召回率只有38%。原因很好理解真實(shí)新聞里句式千變?nèi)f化“星河科技成立于2015年”“星河科技是2015年創(chuàng)立的”“星河科技創(chuàng)立至今已走過(guò)8年”表達(dá)的是同一件事但正則模板只能覆蓋前兩種比較規(guī)整的形態(tài)。BERT微調(diào)的F1最高說(shuō)明這種垂直場(chǎng)景拿到一小批標(biāo)注數(shù)據(jù)之后微調(diào)仍然是最穩(wěn)的路但它在長(zhǎng)尾關(guān)系上表現(xiàn)一般比如“對(duì)賭協(xié)議”“股權(quán)質(zhì)押”這類(lèi)低頻關(guān)系訓(xùn)練數(shù)據(jù)太少就學(xué)不動(dòng)。大模型few-shot比零樣本F1高出9個(gè)百分點(diǎn)提升主要來(lái)自關(guān)系名的規(guī)范輸出。零樣本時(shí)模型會(huì)創(chuàng)造“宣布完成融資”“獲投資”等和schema不一致的關(guān)系名導(dǎo)致匹配時(shí)被判錯(cuò)加了示例之后模型會(huì)學(xué)著復(fù)現(xiàn)示例里的關(guān)系名比如統(tǒng)一輸出“融資事件”。我的取舍建議是純?nèi)霂?kù)級(jí)精度要求選BERT微調(diào)但一定要?!安幌嚓P(guān)”類(lèi)冷啟動(dòng)或數(shù)據(jù)稀疏直接用大模型few-shot跑候選再人工抽檢規(guī)則不丟掉作為高置信通道精確率高就是它最大的價(jià)值大模型跑出來(lái)的新關(guān)系名定期人工審核后沉淀進(jìn)限定領(lǐng)域的schema形成“開(kāi)放發(fā)現(xiàn) - 限定固化”的閉環(huán)。這個(gè)閉環(huán)我后來(lái)在實(shí)際項(xiàng)目里用得很順每周用大模型對(duì)新到的增量文本跑一遍把模型新造出來(lái)的關(guān)系名和對(duì)應(yīng)三元組拉出來(lái)看如果某個(gè)新關(guān)系出現(xiàn)頻次超過(guò)10次就把它加入BERT的關(guān)系集合安排人工標(biāo)注一批下一輪迭代時(shí)模型就覆蓋住了。5. 落地時(shí)繞不開(kāi)的坑與工程化建議5.1 實(shí)體的邊界與跨句三元組中文實(shí)體切分這件事比大多數(shù)人想的更坑。比如“北京市朝陽(yáng)區(qū)星河科技大廈”這種文本如果實(shí)體識(shí)別階段把“北京市”“朝陽(yáng)區(qū)”“星河科技”“大廈”切成了四段后續(xù)關(guān)系抽取就會(huì)產(chǎn)生四個(gè)候選實(shí)體兩兩組合出16對(duì)關(guān)系對(duì)大部分都是垃圾。我的處理辦法是在實(shí)體識(shí)別后加一層規(guī)則合并根據(jù)后綴詞表把“市”“區(qū)”“公司”“集團(tuán)”“科技”等詞尾合并到前一個(gè)實(shí)體上。合并時(shí)機(jī)要放在關(guān)系抽取之前否則后續(xù)所有實(shí)體對(duì)都會(huì)受影響??缇淙M是另一個(gè)隱蔽問(wèn)題。比如“星河科技團(tuán)隊(duì)在今天發(fā)布了新產(chǎn)品?!毕乱痪涫恰霸摦a(chǎn)品主打AI輔助編程?!薄霸摦a(chǎn)品”指代上一句的“新產(chǎn)品”關(guān)系“發(fā)布”的主體和客體分屬兩個(gè)句子。這種問(wèn)題規(guī)則的解法是維護(hù)一個(gè)簡(jiǎn)單的指代槽位把上一句的實(shí)體名作為候選下一句出現(xiàn)指示詞“該”“其”“它”時(shí)替換成槽位里的實(shí)體。不要在這個(gè)問(wèn)題上追求完美能解決最常見(jiàn)的“該名詞”結(jié)構(gòu)就夠了復(fù)雜指代交給大模型處理更劃算。5.2 實(shí)體對(duì)的組合爆炸關(guān)系抽取階段如果選擇“全實(shí)體對(duì) 分類(lèi)器”的組合一個(gè)句子有10個(gè)實(shí)體就有了90對(duì)pair。即便BERT關(guān)系分類(lèi)的單條推理只有幾十毫秒90對(duì)算下來(lái)也會(huì)明顯拖慢吞吐而且大量pair屬于“完全不相關(guān)”白白消耗算力。我建議先用規(guī)則做“位置鄰近過(guò)濾”只有當(dāng)兩個(gè)實(shí)體在句中的位置距離小于某個(gè)閾值時(shí)才進(jìn)入關(guān)系分類(lèi)器。大多數(shù)關(guān)系的主體和客體在句法上距離很近比如“總部位于”的主客體之間最多隔著兩三個(gè)詞跨過(guò)一整個(gè)從句再發(fā)生關(guān)系的占比很低。這個(gè)過(guò)濾規(guī)則能從90對(duì)里砍掉一半以上準(zhǔn)確率幾乎不受影響。5.3 大模型輸出解析失敗怎么辦生成式模型的輸出解析失敗是每天都要面對(duì)的破事。除了前面提到的前后綴臟內(nèi)容還會(huì)出現(xiàn)輸出的JSON里存在單引號(hào)而不是雙引號(hào)某個(gè)元素末尾漏了逗號(hào)模型把整個(gè)JSON用markdown代碼塊包起來(lái)關(guān)系名里帶著引號(hào)比如relation: 擔(dān)任CEO導(dǎo)致json.loads直接報(bào)錯(cuò)。我最終形成了解析容錯(cuò)節(jié)奏先去代碼塊標(biāo)記再提取最外層的方括號(hào)接著用json.loads嘗試解析失敗后用ast.literal_eval一次最后如果還失敗就直接丟棄并記錄一條日志。丟棄率控制在5%以內(nèi)就不影響整體效果如果超過(guò)5%說(shuō)明提示詞約束不夠或生成長(zhǎng)度太短需要回去調(diào)模板。5.4 從“能抽”到“好用”的三級(jí)漏斗結(jié)構(gòu)化數(shù)據(jù)真正進(jìn)入業(yè)務(wù)系統(tǒng)前我會(huì)把抽取鏈路設(shè)計(jì)成三級(jí)漏斗避免模型把垃圾直接灌進(jìn)知識(shí)庫(kù)第一級(jí)規(guī)則通道秒級(jí)召回結(jié)果高置信直接放行第二級(jí)BERT模型通道百毫秒級(jí)召回置信度超過(guò)閾值的結(jié)果放行其余進(jìn)入待確認(rèn)第三級(jí)大模型通道對(duì)前兩級(jí)都沒(méi)有命中的句子做兜底抽取結(jié)果全部打上“待人工審核”標(biāo)記。三級(jí)漏斗的流量比例大概是40%、50%、10%。前兩級(jí)已經(jīng)覆蓋面足夠大大模型真正要兜底的只是長(zhǎng)尾部分這樣既控制了成本也保證了新關(guān)系能被持續(xù)發(fā)現(xiàn)。我個(gè)人在實(shí)際項(xiàng)目里體會(huì)最深的一點(diǎn)是三元組抽取模型永遠(yuǎn)不可能做到100%準(zhǔn)確與其追求一個(gè)完美的模型不如把流程設(shè)計(jì)成“高精度通道 低成本人工抽檢 持續(xù)沉淀新關(guān)系”的體系。規(guī)則、BERT、大模型三條腿走路彼此互補(bǔ)才是這個(gè)東西真正能落地的形態(tài)。如果你也正卡在開(kāi)放關(guān)系和精確抽取之間的搖擺上我建議你把業(yè)務(wù)數(shù)據(jù)的真實(shí)樣本拉出來(lái)先跑一遍按我這個(gè)對(duì)比框架測(cè)一輪答案會(huì)比你坐在會(huì)議室里拍腦袋清楚得多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷五月av| 午夜电影网VA内射| 久久综合婷婷激情| 99热九九热| 色色五月综合| 久久久久9999| 六月伊人婷婷| 去色色五月天| 五月天激情四射| 五月噜噜噜色综合| 99爱在线| 人妻视频在线| 琪琪秋霞| www.久久99精品| 尔尔AV一区| 五月天综合激情网| 国产精品久久久久久久久久| 丁香五月成人| 人妻熟女一区二区AV| 婷婷丁香激情五月天色色| 自拍视频在线观看9| 黄色一级影片| 色亚洲中文| 色婷婷伊人激情在线观看| 开心五月天激情网站| 狠狠爱五月婷婷| 婷婷中文字幕| www,五月天激情| 99色.com| 丁香五月影院| 久久五月天婷婷| 秋霞成人毛片一级A片| www,天天干| 另类激情四射| 少妇大叫太大太粗太爽了A片| 五月激情五月婷婷五月天在线| 99操免费视频| 人妻体体内射精一区二区| 五月五婷婷| 99网址在线看| 婷婷综合仓库中文| 色五月色五天色情网| 色色99色色| 91聚色综合网| 九九热视频精品| 狠狠色丁香99| ady狠狠入| 中文字幕在线不卡| 思思久热| 玖热精品综合视频| 另类图片五月天婷婷| 久久亚洲婷婷| 亚洲色激情| 色999五月色| 精品一二三区久久AAA片| 五月天激情图片| 色婷婷狠狠干| 无码动漫av| 五月色网| 五月天激情小说网| 偷拍视频五月天| 六月婷婷啪啪| 激情小说色五月| 六月丁香综合| 成 人 色 色| 国产激情视频在线观看| 五月综合激情图片| 天天插天天插| 91精品婷婷国产综合久久| 五月天堂在线| 538午夜激情| 日本在线观看aaa 99| 婷婷五月天丁香花| 五月天色婷婷激情| 天天色伊人| www狠狠com| 无码人妻少妇色欲AV一区二区| 激情五月天综合婷婷网| 六月婷婷私欲| 欧美日韩一a.无| 久久五月天丁香花| 亚洲精品又粗又大又爽A片| 96精品久久久久久久久| 婷婷五月天亚洲综合| 五月婷婷色色| 黄色一级影片| 最新婷婷五月丁香| av亚洲国产小电影| 啪啪啪综合网| 色无码| 情欲综合网| 美女黄频aⅴ视频| 99丁香五月| 九九AV| 人草人人| 色青青视频| 激情九月综合| 色综合色色色色| 欧美性色A片免费免费观看的| 婷婷 丁香 精品| 狠狠擼综合| 99热免费精品| 我想看国产大学生口爆吞精的视频| 99综合视频| 精品99在线观看| 精品三区影院| 五月深爱婷婷| 色五月婷婷 成人| 色噜噜狠狠色综合网| 淫视馆av三区| 久久精品国产精品| 超碰人人草| 五月婷啪啪| 国产精品久久7777777精品无码| 中文字幕婷婷五月天| 五月婷婷婷综合网| 午夜激情久久| 91精品刘玥| 思思热在线| 伊人超碰| 91久久五月天| 亭亭五月丁香五月天激情| 思思热在线精品视频网站| 1024日韩| 欧美三级欧美一级| 五月天婷婷爱| 成人在线网站| 激情综合网站| 中文字幕综合色| 欧美搡BBBBB摔BBBBB| 超碰人人干| 九九在线精点品| 五月综合激情视频| 日韩激情人伦人| WWW.激情| 婷婷色女| 丁香丁婷五月激情| 91碰碰| 丁香六月婷婷综合欧美| 97丁香五月| 丁香五月婷婷www..com| 四季日韩AV无码综合| 玩熟女五十AV一二三区| 国产AV一区二区三区最新精品| 色综合激情| 天天插天天干| 婷婷五月综合体验看| 99热99干| 日韩在线五月天婷婷| 丁香5月啪啪| 888精品福利地址| 99视频自拍| 午夜九九九九九九九九九九九九九| 97人人操人| 综合另类激情| 99视频日韩| 婷婷五月欧美综合| 五月桃花网综合| 怡红院AV亚洲一区二区三区H | 天天日,天天插| 99re在线视频| 九九热99视频| 久久婷婷五月天懂色| 亚洲视频五区| 色五月婷婷中文字幕| 丁香婷婷五月天激情四射| 99爱视频| 五月丁香91| 久久激情五月婷婷| 99综合在线| 丁香婷婷六月天| 日韩在线视频网站| 亚洲丁香花色| 桃色五月天| 香蕉综合在线| 色香欲综合| 婷婷大香蕉| 五月婷丁香| 狠狠干夜夜干| 色综合久| 激情内射人妻1区2区3区| 亚洲精品又粗又大又爽A片| 国产又粗又大又爽又黄| 成人超碰网| 9久热精品在线视频| 少妇性按摩无码中文A片| A片试看120分钟做受视频红杏| 亚州美女| 99热亚洲只有色| 蒲京久久无码视频| 色色五月天com| 色欲婷婷五月天丁香| 五月天天综合| 99碰碰| 色 免费网站视频| 思思热闹这里只有精品| 婷婷久久五月天亚洲欧美国产日韩在线观看| 丁香五月AV综合| 欧美噜噜免费观看| 天天舔天天插天天干| 五月婷六月丁| 婷婷久久色| 国产97色在线 | 日韩| 色播婷婷大香蕉| 久久只有18视频| 亚洲激情在线| 99久久婷婷国产综合精品| 碰久久精品w| 婷婷丁香五月天大香蕉| 婷综合| 99视频超级精品| av在线超清中文| 少妇久久诱惑视频| 夜夜骑夜夜撸| 激情综合无码| 婷婷五月天社区| 影音先锋91网站在线观看| 高清a片基地| 久人人操| 丁香啪啪| 婷婷狠狠久久| 色情综合网| 色播五月天激情| 九色PORNY自拍成人精彩视频| 在线日韩视频| 国产精品天天狠天天看| 九九久久精品國產| 91蜜桃婷婷狠狠久久综合9色| 五月婷婷开心深| 开心五月婷婷在线视频免费观看| 中文AV网站| 五月丁香好婷婷A片网| 思思热视频在线| 风流少妇A片一区二区蜜桃| 日本三级99人妇网站| 天天射色五月天| 亚洲旡码| 妻久久久久| 色五月婷婷啪啪五月| 五月天婷婷成人| 婷婷八月丁香激情综合| 深爱五月激情| 潘金莲AAAAAAAAAA| 综合99综合久久久久久久| 欧美丁香婷婷天天操| 另类激情五月| 亚洲乱码w在线观看| 日韩AV大全| 久久9热好| 色婷婷综合丁香五月天| 亚洲国产精品成人免费一区久久久在线观看AAAA | 噼里啪啦在线观看免费完整版视频 | 中文字幕成人影视| 少妇性按摩无码中文A片| 丰滿爆乳一区二区三区| 99色干| 婷婷五月免费观看| 涩五月婷婷| 99热这里只有精品3| 国产SUV精品一区二区883| Caoporn公开| 五月婷在线影院| 另类图片五月天婷婷| 亚洲亚洲永久无码777777| 亚洲成人在线免费| 色婷丁香91| 亚洲综合在线播放| 五月丁香九九九综合| 婷婷久久精品| 大伊香蕉精品视频在线| 97色欧美| 久久久久99精品成人片| 综合啪啪| av不卡网站| 99热偷拍| 色狠狠色综合| www.激情五月| 九九色插| 国产亚洲在线观看| 99er6热在线观看精品6| 丁香婷婷色五月| 五月婷婷久久大片| 99热最新网址| 天天摸色吧天天摸色吧| 色五月激情综合网| 亚洲精品网址| 五月天播播综合| 五月丁香六月婷婷网| 久久久精品人妻| 久草 tingting| 99成人网一区| 青草少妇激情| 激情五月综合网| 亚洲黄色av网站| 激情丁香久久| 色欧美影院| 激情内射人妻1区2区3区| 色婷婷超碰| 久久婷婷五月激情网站| 97操在线视频| 婷婷五月欧美AA片免费| 五月天天天操天天爽夜夜操| 色综合天天网| 综合一区二区三区| 久久丁香综合香蕉| 亚洲夜五月| 996er热| 五月婷婷深深爱| 99熟女啪啪视频| 国产99视频永久免费| 五月天成人综合| www.色色色com| 婷婷啪啪| 狠狠99| 丁香婷婷成年| 色五月婷婷天天干| 日本99在线视频| 欧美性生交xXxX久久久| 激情五月婷婷丁香六月| 噜啊噜在线| 91 欧美| 久9热| 狠狠干婷婷| 精品无码久久久久久久久| 久99综合婷婷| 色色网站| 日木WWW视频| 丁香五月婷婷亚洲人| 婷婷丁香18| 色欧美色色色| 热的国产,热的综合,热的有码 | 91免费啪视频| 日本在线免费中文com.| 99在线精品观看99| 精品人妻在线| 亚洲99精品欧美一区| 成人国产欧美大片一区| 婷婷五月天最新综合你懂的| 91色综合网| 4399精品一区二区| 五月丁香六月婷婷中合网| 色噜噜狠狠色综合成人网| 熟妇天天综合| 玖久精品视频9| 五月激情小说| AV在线资源| 五月丁香六月激情在线| 婷婷丁香久久网| 亚洲色五月天是什么| 综合大香蕉| 91热手机在线| 丁香五月天啪啪a日本| 成人国产欧美大片一区| 婷婷五月黄色激情在线| 99久久综合网| 婷婷综合亚洲| 丁香久久久| 中文字幕久久婷九女同| 五月婷婷自拍视频| 亚洲精品V天堂中文字幕| 九九99精品视频在线观看| 亚洲激情久久| 综合久久伊人| 婷婷五月天狠狠| 久草婷婷网 | 亚洲五月天婷婷综合| 激情开心五月天| 91超级碰碰碰| 91偷拍视频| 亚洲AVDVD| 亚洲人妻五月丁香婷婷| 亚洲AV在线免费看| 99这里只有精品在线| 色99在线| 九九综合久久丁香婷婷,开心激情综合网| 超碰成人在线观看| 亚洲网站999| 另类激情中文| 亚洲免费在线观看岛国| 天天日天天草| 婷婷五月天大香蕉| 免费亚洲婷婷| 婷婷99丁香| 日本五月婷| 影音先锋一区二区资源站| 丁香五月婷婷成人网| 成人无码髙潮喷水A片| 欧美五月丁香啪啪响视频| 亚洲色综合| 色99在线视频| 99热婷婷| 大香蕉久久伊人婷婷五月丁香| WWW久久久| 9191avse| 六月婷婷综合| 九九热黄色| 五月婷婷激情综合| 中文字幕不卡+婷婷五月| 丝袜激情网| 99色| 日本在线视频播放91| 涩九九九九| 九色无码| www.91.com黄| 五月综合久久| 狠狠操.com| 91操碰| 亚洲一色色色色色色色色| 伊人久久婷婷| 嫩草综合网| 欧亚成人A片一区二区| 欧美色六月婷婷| 亚洲无AV在线中文字幕| 丁香五月六月激情| 丁香六月激情国产| 婷婷在线视频| 九九99精品| 激情丁香五月婷婷| 婷婷五月天天| www,婷婷,com| 夜夜撸日日骑| 色综合香蕉视频| 五月花婷婷| 一级精品999WWW| 中文无码婷婷| 五月丁色AV| 无码日本精品XXXXXXXXX| 色婷婷伦理| 精国产品一区二区三区A片| 很操日本7| 97碰碰九九视频| 色在线视频网2025| 久久9久久| 成人精品在线| 久色视频在线| 婷婷五月色| 99久久思思| 玖玖婷婷五月天毛片| 天天天综合网| 伊人网碰碰| 99热这里只有精品3| 99热精在线九九久久保| 香港九九六区八区99| 在线观看中文字幕| 婷婷无码视频| 九九视频在线观看视频6 | 五月丁香婷婷伊人| 色婷婷五月影视| www.五月天色色.com| 爱射综合| 久久人妻视频| 色性日本| 色月丁| 99热播放| 激情精品久久| 日韩精品一曲二曲三曲四曲五曲| 99噜噜| 九九日本视频| 爱iii做iiii日| 韩国激情五月天综合网| 9l视频自拍9l九色成人| 国产精品第一国产精品| 久久机热/这里只有精品| 狠狠色狠狠| 色情综合网| 亚洲99在线| 日韩精品电影| 色婷婷久久| 少妇激情基地| av大片在线| 婷婷激情六月| 亭亭玉立国色天香| 亚洲精品**不卡在线播he| 天天噜| 久久黄A片| 俺也去五月婷婷丁| 丁香五月成人婷婷| 九九蜜臀精品| 91熟妇大香蕉| 97福利视频| 五月丁香婷婷激情| www.99日本| 五月天com| 婷婷激情啪啪| Av九九| 国产在线aaa片一区二区99| 亚洲AV色婷婷人禽五月天| 日本激情综合| 97色欧美| 国产99精品免费视频| 五月婷婷 自拍| 激情四射五月天| 久色中文| 人人人操| 玖玖色综合色| 玖玖爱资源站| 丁香色播五月天| 无码一级片| 激情五月婷婷五月| 婷婷综合五月天亚洲综合| 亚洲美女高潮久久久久久69| 丁香五月影| 六月婷婷久久| 婷婷丁香激情五月| 久久久精品AV| 久久婷婷五月天丁香| 五月婷婷啪啪啪| 婷婷五月天,影院| www.com亚洲网站在线免费| 婷婷综合| 激情网五月天| 久婷婷五月综合欧美| 亚洲热热视频| 婷婷播5月| 精品99这里有| 国产色香蕉精品五夜婷| 99久久久久| 俺去也在线官网| 激情婷婷丁香五月天| co超碰在线观看| 99色中文| 日韩十国产极品久久| 97在线视频观看| 欧美情色一区| 超碰人人在线| 婷婷五月天小说网| 色五月婷婷天天干| 秋霞日本免费毛片A片| 四川女人毛多水多A片| 五月丁香av中文| 久久欧洲综合网| 91操人| 影音先锋91男人资源在线播放| 欧美激情综合色综合啪啪五月| 婷婷丁香五月激情| 午夜精品777| 棕合影院色色| 九日日夜夜69| 91久久久久久| 婷婷五月激情图片| 99精品免费欧美小视频| 亚洲视频在线观看99| 大伊香蕉玖玖爱| 91人在线观看| 99热9| 五月婷婷丁香俺日污视频| 亚洲综合网激情小说| 欧美日韩成人一区二区| www,setingting| 欧美人妻一区二区| 久久久人妻| 天天肏天天爽夜夜爽| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | yellow视频在线观看91| 久久久久97| 欧美人与性动交CCOO| 99热这里只有精品1025| 色婷婷五月在线| 五月丁香天天| 天天色天天搡| 91肏| 伊人热婷婷| 亚洲成人在线在线| 五月大香蕉| 51XX午夜影福利| 丰满熟女人妻一区二区三| 噜色精品| 91精品久久久久| 亚洲视频无| 色婷婷中文| 九九热在线精品视频| 97中文在线| 天天色天天操天天射| 色五月综合婷婷| 多精窝99在线视频| 婷婷综合欧美| 久久久五月五丁香| 色一情一乱一乱一区9| 亚洲丁香五冃97色| 最近中文字幕2019视频1| 九月丁香婷婷| 五月天开心色情网| 啪啪色区| 天天插综合| AAA亚洲AV| 丁香婷五月天| 99re最新地址视频| 91天天操天天干天天射| 大香线蕉伊人| 婷婷亚州综合| 超碰妻人人| 久久性爱99国产| 深爱激情五月天| 泰州成人视频| 91综合在线| 久久五月网| 久久久噜噜噜久久人妻| 色播五月婷婷五月| 五月丁香激情欧洲啪啪| 99热这里只有精品23| 激情五月激情综合网一级丸片| 久久狠狠欧美| 91操碰| www色五月| 久久草中文日韩欧美| 4399伦理午夜| 人妖色AV色综合| 91碰免费视频| ztEJj| 五月天社区婷婷| 精品久久久91久久影视网| 国精产品一区一区三区免费视频| 精品一二三区久久AAA片| 人人爱人人草| 丁香九月激情| 天天插天天插| 狼人久草| 激情五月天视频| 天天插天天插| 色色婷婷五月| 亚洲精品久久久久AV无码| 国产这里只有精品| 年轻的妺妺伦理HD中文 | 久久综合66| 五月丁香婷婷伊人| 亚洲综合色成丁香五月色| 欧美性生交xXxX久久久| 欧美色图片88| 九九99精品免费播放| 美女久久婷婷| 国产在线网址1| 丁香婷婷久| 伊人丁香五月婷婷潮吹| 日本一级大片| 日韩欧美一道四区中文字幕| 五月综合丁香婷婷| 91碰碰视频| 97人妻碰碰碰久久香蕉| 啪啪激情综合| 激情综合网丁香| 99婷婷五月天| 日本va网站| 五月社区丁香| 五月天婷婷青青草| 天天干天天干天天干天天干天| 免费不卡狠操美女视频网| 开心五月深爱五月| 97在线精品视频| 91色婷婷综合久久中文字幕二区| www.久热| 嫩BBB搡BBBB榛BBBB| 懂色av粉嫩av蜜臀av| 不卡在线超碰| 97干在线免费| 香蕉大综综综合久久| 大香蕉久久草| 五月天激情综合在线| 亚洲激情淫网| 情情五月天色| 六月丁香婷婷尤物| 日韩99精品| 色色com| 色99在线视频| 五月丁香婷婷啪啪| 狠狠精品干练久久久无码中文字幕| 婷婷色色欧美综合网| 人人操超碰| 久久九九精彩| 97色婷| 777久久综合视频| 亚洲色色色色| 婷婷五月天综合久久| 大香蕉婷婷久久| 久久免片| 97丨九色丨国产丨PORNY| 人人操超碰| 欧美乱码国产一级A片| www九九| 五月丁香色婷婷伊人| 婷婷丁香五月天小说| 天天草比天天爽| 久久婷婷内射| 能看的AV| 丁香五月婷婷国产av| 色色五月激情| 九久9精品| 亚洲色欲欧美一区二区三区| 丁香五月激情啪啪| 玖玖爱资源站| 婷婷丁香六月| 婷婷日韩| 國語久久婷| 99er免费在线观看| 婷婷五月天电影区小说区| 色99自拍| 天天干天天做| 五月色婷丁香| 超碰亚洲天堂| 开心五月综合激情综合五月| 色婷婷色99国产综合精品| 色婷婷小说| 欧美成人精品A片免费一区99| 区欧美日韩成人| 国内一级精品| 狠狠色丁婷婷日日,伊人激情综合网| 99re视频精品| 久婷五月| 日韩精品一区二区三区,四区,五区视频| 五月天大香蕉AV| 亚洲色五月| 99热这里有精品2| 久久人人九| 图片区 小说区 区 亚洲五月| 久久九九99.www| 成人在线视频网| 五月天久久成人| 99精品无码| 婷婷五月色| 九九热青青草| 久久机热这里只有精品免费视频| 丁香五月天成人| 亚洲精品国产setv| 亚洲综合网在线| 五月天丁香综合久久国产| 96人人操人人操人人| 人妻操逼视频| 婷婷五月成人| 99欧美热| 大香蕉九九| 久久婷婷色五月| 超碰人人射| 日韩AV中文在线观看| 五月婷婷久久大香蕉| 美女要搞搞天天搞搞搞网站| 九色啦蜜臀| 激情小说五月天| 冬月かえでAV无码播放| 久久亚洲色导航| 婷婷社区五月天| 婷婷五月天福利| 97超级碰碰碰| 五月婷婷开心激情六月蜜桃| 五月丁香六月| 四川BBB搡BBB爽爽视频| www.99热在线观看| 久久在线人妻| 另类视频综合| 性爱激情久久| 色一区高清| 综合网五月| 另类少妇人与禽zOZZ0性伦| 丁香五月激情综合婷综| 丁香五月激情婷婷激情| 久久婷婷啪啪视频| 五月综合激情网| 婷婷99| 99这里只有精品|v| 五月丁香在线| av在线免费网站| 日日射天天射| 婷婷激情社区| 人人操人人看97干| 亚洲成人电影aaaa| 91AV婷婷| 婷色综合| 日本无va视频| 五月婷婷狠狠干| 亚洲永远av在线播放| 亚洲五月天第一综合干| 日日干日日| 久久九九激情五月天| 天天插天天狠| 色五月婷婷五月| 中文字幕无码AV| 五月色在线| 丁香五月社区| 人人妖人人97| 伦乱美欧| 二色AV| 99热99思午夜精品| 丁香五月天婷婷中文| 久久99精品久久只有精品| 色色五月综合| Www.婷婷五月| 亚洲超碰在线| 激情六月婷婷| 亚洲热综合| 超碰婷婷色| 日日噜狠狠色综| 97碰碰在线看视频免费| 午夜在线成人网站免费观看| 成人久久天天x资源站| 婷婷天堂站| 综合网狠狠| 五月开心激情网| 日韩无码成人电影| 日本久久综合| 婷婷六月综合基地| 91精品刘玥| 色婷婷视频| 在线日韩视频| 欧美日韩国产一区| 啪啪小说五月天| 69凹凸成人综合网| 秋霞学生妹一二级| 久久99热这里只有精品| 强伦轩人妻一区二区电影| 天天做好综合色| 99五月香婷婷丁香在线视频| 26uuu美女三级视频| 97精品综合久久| 熟女91九色| 淑女丝袜bi操逼123| 黄色片avv| 五月天色婷伊人| a网站免费观看| 91精品91久久久中77777久久玖玖九九 | 婷婷五月天成人动漫| 丁香五月电影| 14色综合婷婷| 噜啊噜在线| 久久色吧| 日日狠狠久久偷偷四色综合免费| www,奇米影视| 五月久久噜噜| 亚洲五月婷婷| 啪啪啪大香蕉| 久色网址| 伊人久久大香蕉网| 狠狠干综合| 狠狠草网| 亚洲欧洲中文日韩久久AV乱码| 99原创自拍视频在线观看| 九九视频精品这里只有| 五月综合久久| 五月丁香网站| 人妻久久久久| 任你日视频| 国产亚洲精品久久久久苍井松| 影音先锋天天日| 久久婷婷综合五月趴| 亚洲综合色成丁香五月色| 日韩av干| 99久久国产宗和精品1上映| 色久婷婷网| 色婷婷丁香五月| 色墦五月丁香| 99热精品在线播放| 99re在线观看| 九九Av| 激情视频网址| 色色激情五月天| 九九色逼| 五月丁香六月欧美综合网站| 九九亚洲视频| 色婷婷丁香五月| 色999亚洲人成色| 91精品久久久久久久| 在线视频另类| 大香蕉综合在线| 99热这里都是精品| 九九综合精品| av九九| 极品人妻VideOssS人妻| 五月天激情小说婷婷| 色情成人五月天| 香蕉操亚洲| 五月天色综合| 超碰人人艹| 99操| 另类色视频| 开心五月婷婷| 日本成人噜噜噜噜噜| 又大又粗九一在线| 淫水导航| 国产综合A片| 五月综合婷婷五月| 中文在线成人| 国产精品视频免费看| 婷婷五月天中文字幕| 日本婷久久| 先锋五月婷婷丁香草草| 99热这里只有精品2| 97亚洲色 torrent magnet| 色婷婷av在线观看| 丁香伊人综合| 999热视频精品99免费在线| 久久这里有| 婷婷丁香综合| 久久婷婷网| 九九色影视| 九九热精品视频在线观看| 欧美日韓成人亚洲精品另类| 7EzOBIhNq85TO| 五月婷婷之六月丁香| 91九色偷拍| 美女丁香五婷婷| 9精品视频在线| 91九色在线| 五月婷婷丁香啪啪| 99热在线观看| 九九精品在线网| 五月丁香视频色色| 99日本黄站| 激情宗合哪里能看| 天天干天天做| 五月综合婷婷久久在线| 国产AV网页| 99热资源在线| 99re热精品在线视频| 狠狠精品干练久久久无码中文字幕| 噜噜噜色噜噜| 91seAV| 91成人电影| 激情五月天在线观看婷婷| 欧美搡BBBBB摔BBBBB| 日日操天天爽| 青青操丝袜美腿| 亚洲精品无码久久| 99er国产| 另类婷婷五月天啪帕帕| 超碰高清在线| 91婷婷丁香五月天免费视频网站| 国产亚洲精品AAAA片APP| 久久精品视频9| 99色在线观看视频| 99精彩视频| 99热这里有精品2| 91丨九色丨国产在线| 秋霞性爱AV| 狠狠88综合久久久久噜噜噜| 久9精品视频在线| 免费视频99| 综合色播| 91 影音先锋| 五月天久久综合婷婷| 少妇激情基地| 嫩BBB搡BBBB榛BBBB| 日本社区五月天激情| 99久在线观看| 粉嫩AV久久一区二区三区| 996日日爱| 99热精品观看| 这里只有精品久久| 激情五月天伊人av| 婷婷五月天久久| 777精品久无码人妻蜜桃| 丁香久久| 91chinese在线| www免费在线视频| www.色婷婷.com| 99re思思热在线视频| 夜夜嗨一区二区三区直播内容 | 精品人人操| 五月激情综合五月| 九九99在线| 激情综合五月天| 五月激情网站| 久久综合性| 亚洲六月色| 99热综合色图| 妻久久久久| 久久五月天激情婷婷| 婷婷五月天综合在线| 丁香婷婷视频一区二区| 成人电影在线免费试看| 久久久国产精品黄毛片| 播五月,色五月,开心五月播放器| 5月婷婷综合| 操逼五月天| 天天影院色| 天天做天天爱综合| 婷婷亚洲天堂| 婷婷伊人综合| 99精品热| 99er久久| 亚洲色情久久| 天堂在线观看视频| 亚洲99综合| 久久九九99亚洲国产久精综合| 五月婷婷影| 思思re最新视频| 婷婷射图| www.五月激情红色| 另类视屏| 欧美性猛交99久久久久99按摩| 九九热99熟女| 激情WWW| 九九这里是免费的视频5| 亚洲乱码日产精品BD| 天天肏在线观看| 丁香五月激情视频在线| 五月婷婷丁香综合| 色色999三级片| 天天干电影| 欧美成人色婷婷| 日韩成人五月天| 激情爱爱网站超大免费| 午夜精品人妻无码一区二区三区| 五月丁香成人小说| 五月婷婷久久内射| 91无码视频| Www.sesese丁香| 五月婷婷综合激情网| 五月天激情.com| 亚洲婷婷视频| 丁香五月天堂亚洲社区| 久久久久久人妻| 婷婷俺去也| 色 五月俺去也| 91操片| 91丨九色丨老熟女激情| 久久九色| 99ri精品在线| 一本综合丁香日日狠狠色| 婷婷五月激情四月综合| 任你干嘛免费视频播放| 色色五月婷| 欧美色色色色色色| 伍月婷婷六月丁香| 久er免费视频| 伊人狠狠色婷婷综合丁香一区| 国产做爰视频免费播放| 婷婷婷婷色| 色五月婷婷一二| 五月婷婷在线网站| 天天射影| 久色五月天| 婷婷.com| 激情小说五月天| 五月丁香六月婷婷激情网| 91小黄书网址在线观看| 久久中文人妻系列| 偷拍91九色| 亚洲午夜国产成人电影VA国产欧…| 91九色首页| 五月色丁香| 天天日,天天干,天天操| 五月丁花色综合网| site:xmssd.com| 在线观看av网站| 久久婷婷五月丁香蜜桃网| 综合色色网| 五月丁香无码| 婷婷无码五月天| 思思热再线视频| 日韩人妻无码一区二区| 五月婷婷99热| 金品在线视频99| 日韩AC在线免费观看| 五月天另类激情在线| 26uuu精品一区二区| 精品成人a v无码内射| 思思色综合网站| 五月欧美色播| 丁香婷色| 97香蕉人人在线观看| 99精品综合| 日本精品人妻无码77777| 九热视频| 96精品久久久久久久久| 99精品免费| 99热这里只有免费精品| 色情五月天婷婷| 天天粽合合合合| 激情精品久久| 五月丁香手机在线| 亚洲成人免费电影| 噜噜噜狠狠色综| 玖玖精品婷婷| 人人爽欧美婷婷久久久五月丁香| 三日本无码| 伊人婷婷大香蕉在线| 久久综合激情| 久久97| 999激情视频| 六月婷婷五月天| 99热99热99热99热| 亚洲AAAA网| 亚洲另类婷婷五月丁香在线播放| 97干97色| 毛片新网地| 九九色院| 久久婷婷资源| 婷婷五月娱乐在线| 五月婷护士| 激情五月婷婷视频| 精品一二三区久久AAA片| 99精品网| 99热这里只有精品4| 丁香六月啪| www九九| 久久99精品久久久久久噜噜| 色综合另类| 五月天婷婷综合免费| 亚州AV超碰人人操| 五月婷婷激情色情网| 色五月在线| 国内婷婷丁香社区在线播放| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 日本精品久久久久中文字幕| 五月天激情四射| 99只有精品| 99热这里只有精彩| 激情小说视频图片| 丁香六月婷婷| 超碰国产在线| 综合婷婷| 亚洲九九99精品视频在线播放| 五月婷婷六月丁香综合| 国产日日夜夜操| 久热2025无码| 欧美综合婷婷欧美综| 亚洲一色色色色色色色色| 成人婷婷五月天| 综合性视频99| 欧美视频在线观看噜噜| 一本综合丁香日日狠狠色| 丁香色播五月天| 婷婷永久在线| 99久久精品网| 九九精品在线观看视频6| 激情五月天伊人av| 亚洲男女激情| www.五月丁香| 久久九九爽| 色噜噜狠狠一区二区三区| 欧美性爱五月天| 五月天婷婷小说| www.五月天| 婷婷五月丁香青青草在线| 人妻Av在线| 99er热精品视频| 综合久久五月天| 欧美色五月| 狠狠五月激情在线| 五月婷婷久久综合| 校园激情 亚洲| 天天摸色吧天天摸色吧| 天天日夜夜爽| 大香蕉天堂| 玖玖在线视频| 亚洲色久| 久久综合婷婷激情| 99久久高清视频| 亚洲成人网站在线| 99久久网站| 这里只有精品,日韩视频| 大香人妻| 久久久久久久久久久97| 黄网免费观看| 五月天婷婷六月激情网| 久草九一| 国产乱妇乱子在线播视频播放网站| 噼里啪啦完整版中文在线观看 | 亚洲成人在线播放| 五月丁香色婷婷伊人| 婷婷丁香人妻| 99热这里只要精品免费| 久色欧美| 99在线视频资源| 天天爽天天日| 国产精品天天狠天天看| 北条麻妃伊人 | 五月婷婷熟女| 亚洲成人网无码| 婷婷丁香五月六月激情| 99亚洲日韩| 久热 91| 99色在线| 成人在线观看国产| 五月丁香六月婷婷综合| 日韩性视频| 99丁香五月婷| 久久婷婷丁香六月天| 日韩三级高清无码| 99自拍视频| 亚洲最大成人综合网720P| 国产亚洲99久久精品熟| 天堂成人久久| 五月婷婷丁香深深爱| 久久五月婷天天干| 亚洲欧洲午夜成人精品av| 色婷婷小说网| 九七色色六月丁香| 九九色播五月丁香| 久久精品爱爱| 婷婷娱乐丁香综合网| 亚洲婷婷五月天| 日本色五月| 潘金莲AAAAAAAAAA| 激情亚洲婷婷| 久久五月天合网| 亚城区在线| 亚洲欧美成人在线| 午夜天堂一区人妻| 亚洲av午夜精品一区二区| 这里只有精品免费在线视频| 99热人人| 色婷婷六月开心中文字| 色播五月丁香| 五月丁香啪啪啪啪| 亚洲亚洲人成综合网络| 99热观看| 五月天婷婷色| 五月综合影院| 丁香五月婷婷激情尤物| 国产亚洲色婷婷久久99精品91| 日本在线播放97| 色综合丁香婷婷| 极品 少妇 内射| 99热这里都是精品| 超碰精品在线| 婷婷五月激情视频网| 掩去也综合五月视频| 日韩色情亚洲五月天婷婷| 综合激情在线| 色www久视频| 丁香五月婷婷欧美激情-中文天堂最新版在线观看 | 色情五月丁香| 久久se 综合网| 九九人人看| 五月丁香久久网| 26uuu在线观看| 婷婷亚洲天堂| 激情丁香五月综合| 婷婷六月丁香在线| 五月婷婷av| 天天干天天做| a片在线免费观看一区| 99激情网| 丁香九月婷婷色| 26UUU欧美| 久久爱综合| 91婷婷丁香五月天免费视频网站| 开心五月天激情网站| 无码色色色| 黄色AAAAAAA| Av性爱网| 五月婷婷五月天在线 | 99九九久久| 亚洲bt丁香五月天婷婷激情小说| 91狠狠色丁香婷婷综合久久| 婷婷桃色网| 人妻综合网| 色丁香五月天婷婷| 4399成人黄A片| 91 原创 在线 九色| 婷婷五月天激情在线观看| 无码髙清| 69凹凸成人综合网| 日本熟妇精品99| 永久AⅤ1| 超碰免费人人| 五月婷婷综合性爱噜噜| 五月丁香六月婷婷中文版| 热99精品视频五月| 丁香五月花影院| 九九色中文| 久热免费| 国内外色色色色色成人视频| 五月天婷婷社区久久综合| 亭亭社区五月天| 99热只有| 综合色色综合| 在线A色|