欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網運營的一線實戰(zhàn)洞察。

BERT+知識圖譜構建問答系統(tǒng):從語義解析到圖譜查詢實戰(zhàn)

BERT+知識圖譜構建問答系統(tǒng):從語義解析到圖譜查詢實戰(zhàn) 1. 為什么選擇 BERT 知識圖譜做問答系統(tǒng)先從一個真實的場景說起。傳統(tǒng)的關鍵詞搜索和FAQ匹配用戶問“糖尿病人能喝無糖可樂嗎”和“無糖可樂適合糖尿病患者嗎”字面上差得很遠但語義上完全是一個問題。如果你只是做字符串匹配或者簡單的TF-IDF相似度計算這兩條查詢永遠無法關聯(lián)起來。這就是我決定用 BERT 來做問答系統(tǒng)的第一推動力語義理解能力。知識圖譜解決的是另一個問題——實體之間的關系。比如用戶問“李白是哪個朝代的詩人”系統(tǒng)需要知道“李白”是一個詩人實體“唐朝”是他的朝代屬性“詩人”是他在圖譜中的類型節(jié)點。只有把“理解問句”和“查詢圖譜”這兩件事串起來才能構建一個真正可用的問答系統(tǒng)。這兩者結合的技術鏈路大致是用戶輸入自然語言問句 → BERT 模型完成意圖識別和實體抽取 → 解析出結構化的查詢語句如 SPARQL 或 Cypher 等各類圖查詢語言 → 在圖譜中檢索 → 將結果組織成自然語言答案返回。整條鏈路看起來并不復雜但每個環(huán)節(jié)都有不少細節(jié)坑我分章節(jié)詳細拆解。這個項目適合哪些人參考如果你正在做畢業(yè)設計、準備搭建智能客服系統(tǒng)、或者想入門“NLP 知識圖譜”這個交叉方向這篇文章可以幫你少走很多彎路。我會把我實際跑通的方案、踩過的坑、以及調優(yōu)的經驗全部寫出來。2. 系統(tǒng)整體架構與核心模塊設計任何系統(tǒng)在動手寫代碼之前先把架構圖畫清楚至少在心里面清楚。我這個項目的落地架構比較樸素核心聚焦“最小可用”目標。2.1 系統(tǒng)處理的完整流程用戶輸入問句 ↓ 文本預處理清洗、分詞、padding ↓ BERT 編碼 → 意圖分類 實體識別 ↓ 結構化查詢語句生成 ↓ 知識圖譜數(shù)據(jù)庫查詢 ↓ 答案組織與返回整個系統(tǒng)分成五個核心模塊模塊名稱職責技術選型預處理模塊清洗問句統(tǒng)一格式構建 BERT 輸入Python jieba輔助語義解析模塊意圖分類 實體抽取BERT Softmax 分類層查詢生成模塊將解析結果轉換成圖查詢語句規(guī)則模板 動態(tài)參數(shù)填充圖譜存儲模塊存實體、關系、屬性Neo4j答案生成模塊將查詢結果轉成人類可讀的句子模板拼接 后處理設計的時候有一個原則知識圖譜是系統(tǒng)唯一的“事實來源”。也就是說所有答案必須從圖譜中檢索得到不允許模型自由生成內容。這樣保證了答案的可解釋性和可控性也大幅降低了部署風險。2.2 圖譜圖結構的設計思路一個典型的問答圖譜通常包含三類節(jié)點實體節(jié)點、類型節(jié)點、屬性節(jié)點。我用一個健康領域的例子來說明實體節(jié)點比如“糖尿病”“胰島素”“二甲雙胍”類型節(jié)點比如“疾病”“藥物”“癥狀”關系邊(糖尿病)-[屬于]-(疾病)(二甲雙胍)-[治療]-(糖尿病)設計圖譜時核心原則是“查詢友好”。意思是你在設計實體和關系時就要提前想好未來問答系統(tǒng)可能收到的問法。比如用戶可能會問“治療糖尿病的藥物有哪些”那你就需要設計(藥物)-[治療]-(疾病)這樣的關系方向如果用戶問“這個藥治什么病”那反向查詢也要支持。關系設計得不好后續(xù)查詢語句生成階段就會很痛苦。3. BERT 模型選型與語義解析模塊實現(xiàn)這一章是項目的中樞環(huán)節(jié)。語義解析是整個問答系統(tǒng)的“理解大腦”它負責把自然語言問句拆成機器可執(zhí)行的結構化意圖。3.1 為什么要用 BERT 而不是傳統(tǒng)方法傳統(tǒng)做法通常是對問句做分詞然后基于詞典規(guī)則做關鍵詞匹配。你聽起來是不是覺得也挺簡單對但它的天花板很低。舉個例子“哪些抗生素對肺炎鏈球菌敏感”和“肺炎鏈球菌感染用什么藥”傳統(tǒng)關鍵詞提取會得到完全不同的關鍵詞集合因為“抗生素”“藥”“敏感”“感染”這些詞在字面上沒有任何重疊但語義上是強關聯(lián)的。BERTBidirectional Encoder Representations from Transformers能捕捉雙向上下文信息它會把“抗生素”和“藥”映射到語義空間中相近的位置從而理解這兩個問句是在問同一件事。準確說BERT 幫我們解決的是“同義異形”和“指代消解”層面的問題。3.2 意圖分類模塊的代碼實現(xiàn)意圖分類本質是一個文本多分類任務。我把常見問句分成以下幾類query_disease_symptom疾病有哪些癥狀query_drug_disease藥物治療什么疾病query_disease_drug疾病用什么藥物治療query_entity_attribute實體屬性查詢greeting問候語BERT 分類模型的 PyTorch 實現(xiàn)代碼如下import torch import torch.nn as nn from transformers import BertModel, BertTokenizer class BertIntentClassifier(nn.Module): def __init__(self, num_labels, model_namebert-base-chinese): super(BertIntentClassifier, self).__init__() self.bert BertModel.from_pretrained(model_name) self.dropout nn.Dropout(0.3) self.classifier nn.Linear(self.bert.config.hidden_size, num_labels) def forward(self, input_ids, attention_mask): outputs self.bert(input_idsinput_ids, attention_maskattention_mask) pooled_output outputs[1] # [CLS] token 對應的輸出 pooled_output self.dropout(pooled_output) logits self.classifier(pooled_output) return logits注意代碼中的outputs[1]這是 BERT 輸出中[CLS]token 對應的向量。在分類任務中我們習慣使用這個向量作為整句話的語義表示再喂給全連接層做分類。訓練階段用交叉熵損失函數(shù)和 AdamW 優(yōu)化器這個組合在實際項目中表現(xiàn)穩(wěn)定from transformers import AdamW from transformers import get_linear_schedule_with_warmup optimizer AdamW(model.parameters(), lr2e-5) total_steps len(train_dataloader) * epochs scheduler get_linear_schedule_with_warmup( optimizer, num_warmup_stepsint(0.1 * total_steps), num_training_stepstotal_steps )學習率設置為 2e-5 是關鍵。BERT 預訓練模型本身已經收斂得比較好微調階段如果學習率設得太大會破壞預訓練學到的通用語義知識。這個值我做過對比實驗2e-5 在大多數(shù)中文數(shù)據(jù)集上都表現(xiàn)最優(yōu)。3.3 實體抽取的策略與實現(xiàn)實體抽取我采用的是基于 BERT 序列標注的方案用 BIO 標注體系來定位問句中的實體邊界。B 表示實體開始I 表示實體內部O 表示非實體。舉個例子李 白 是 哪 個 朝 代 的 詩 人 B I O O O O O O O這樣模型就能識別出“李白”這個完整實體。SeqLabeling 的 PyTorch 實現(xiàn)和分類模型類似只是輸出層從num_labels維變成了num_labels * 2 1維B、I、O 三類然后對序列中每個 token 做預測。不過我的實測經驗是對于知識圖譜問答這種限定域場景直接上序列標注模型可能有點“殺雞用牛刀”。更高效的替代方案是先把圖譜中所有實體名稱構建成詞典然后用最大匹配算法從問句中提取實體詞配合 BERT 做候選實體消歧。原因是圖譜中實體的命名通常比較規(guī)范、有限比如“糖尿病”“胰島素”“李白”這類專有名詞靠詞典匹配已經有較高準確率。只有當用戶使用別名、口語化表達時比如“消渴癥”指代糖尿病才需要引入模型做指代歸一。推薦做法是詞典優(yōu)先、模型兜底先用最大匹配跑一遍覆蓋率高的問題直接走少量匹配不上的問句再用序列標注模型做補充抽取。這樣既控制了計算開銷又保證了準確率。3.4 數(shù)據(jù)處理自己造訓練數(shù)據(jù)并做增強模型訓練最缺的就是標注數(shù)據(jù)。我當時快速構建訓練集的三個來源基于圖譜關系手工編寫種子問句比如“糖尿病的癥狀有哪些”“治療肺炎的藥物有哪些”用同義詞替換做數(shù)據(jù)增強如“治療”換成“醫(yī)治”“用藥”將簡單問句排列組合成復合結構擴充問法多樣性最終訓練集約 5000 條驗證集 1000 條。這個規(guī)模對 BERT 微調來說基本夠用。另外要提醒一點數(shù)據(jù)和模型的輸出標簽體系必須對齊。如果你在訓練意圖分類模型時定義了 5 個意圖類別那么查詢生成模塊也必須對每一個意圖都有對應的查詢模板否則訓練完模型后才發(fā)現(xiàn)某個意圖沒有后續(xù)處理邏輯整個流程就斷了。這兩邊在設計階段就要同步規(guī)劃好。4. 知識圖譜存儲與查詢語句生成語義解析模塊把問句拆成了意圖和實體接下來要做的就是把“用戶想干什么”翻譯成“圖譜能執(zhí)行什么查詢”。4.1 Neo4j 圖數(shù)據(jù)庫的建庫操作我選用的圖數(shù)據(jù)庫是 Neo4jCommunity Edition。為什么不用關系型數(shù)據(jù)庫因為知識圖譜的本質是多跳關系查詢比如“糖尿病的并發(fā)癥有哪些”“治療這些并發(fā)癥的藥物是什么”這類跨兩跳以上的查詢在 MySQL 里要寫一堆 JOIN而在圖數(shù)據(jù)庫里只需要遍歷邊性能和維護成本都更優(yōu)。建庫的核心語句用 Cypher 編寫CREATE (d:Disease {name: 糖尿病, description: 一種代謝性疾病}) CREATE (m:Medicine {name: 二甲雙胍, dosage: 500mg/次}) CREATE (s:Symptom {name: 多飲多尿}) CREATE (d)-[:HAS_SYMPTOM]-(s) CREATE (m)-[:TREATS]-(d)批量導入時用的是 Neo4j 的LOAD CSV命令將實體表和關系表以 CSV 形式導入。這個命令比逐個 CREATE 快了一個數(shù)量級數(shù)據(jù)量在幾十萬級別時基本可接受。4.2 查詢模板的設計策略對于不同意圖類型我預定義了對應的查詢模板。舉個例子意圖模板說明query_disease_drugMATCH (m:Medicine)-[:TREATS]-(d:Disease {name:$entity}) RETURN m.name查詢治療某疾病的藥物query_disease_symptomMATCH (d:Disease {name:$entity})-[:HAS_SYMPTOM]-(s:Symptom) RETURN s.name查詢疾病癥狀query_entity_attributeMATCH (n {name:$entity}) RETURN properties(n)返回實體所有屬性這里的$entity是參數(shù)占位符由 Python 端在運行時注入實體名稱避免字符串拼接注入風險。4.3 Python 端動態(tài)生成 Cypher 語句關鍵代碼如下from neo4j import GraphDatabase class QueryGenerator: def __init__(self, uri, user, password): self.driver GraphDatabase.driver(uri, auth(user, password)) def generate_sql(self, intent, entity): template_map { query_disease_drug: ( MATCH (m:Medicine)-[:TREATS]-(d:Disease {{name: {entity}}}) RETURN m.name ), query_disease_symptom: ( MATCH (d:Disease {{name: {entity}}})-[:HAS_SYMPTOM]-(s:Symptom) RETURN s.name ), query_entity_attribute: ( MATCH (n {{name: {entity}}}) RETURN properties(n) ) } return template_map[intent].format(entityentity) def query(self, intent, entity): cypher self.generate_sql(intent, entity) with self.driver.session() as session: result session.run(cypher) records [record.values() for record in result] return records這道工序有個非常隱蔽的坑Cypher 模板中已經包含花括號{}Python 的format()方法也會用花括號做占位符。如果在模板里直接寫{name:{entity}}運行時會直接報 KeyError。解決辦法是模板中的普通花括號寫成雙花括號{{}}需要替換的位置保留單花括號。上面代碼已經做了處理但如果你照抄時看漏了就會踩上這個坑。這是我的實操經驗如果你不想糾結花括號轉義干脆用純字符串拼接 參數(shù)化查詢cypher MATCH (m:Medicine)-[:TREATS]-(d:Disease {name: $entity}) RETURN m.name result session.run(cypher, entityentity)Neo4j 官方驅動支持參數(shù)化查詢這樣既規(guī)避了轉義問題也更安全。5. 部署環(huán)境的完整搭建方案說句實話這個項目寫代碼本身不是最難的最難的是把環(huán)境配好。熱詞搜索里“python安裝”“pip安裝庫失敗”這類問題出現(xiàn)頻率極高說明新手大量時間都耗在環(huán)境配置上。這里我給出我驗證過的完整方案。5.1 Python 環(huán)境與依賴版本選擇強烈建議使用 Anaconda 創(chuàng)建獨立虛擬環(huán)境不要直接裝在系統(tǒng) Python 里。conda create -n kgqa python3.9 conda activate kgqa版本選擇上有幾個硬性約束我直接列一個經過驗證可行的組合表依賴庫推薦版本說明Python3.9兼容性最穩(wěn)3.10 以上部分庫有編譯問題PyTorch1.13.1和 CUDA 11.7 配套的版本transformers4.30.2穩(wěn)定且 API 友好neo4j5.9.0官方 Python 驅動scikit-learn1.2.2評估指標計算pandas1.5.3數(shù)據(jù)處理安裝 PyTorch 時要注意 CUDA 版本先運行nvidia-smi查看驅動支持的 CUDA 版本然后到 PyTorch 官網選擇對應安裝命令。如果你只是 CPU 跑測試直接安裝 CPU 版即可BERT-base 在 CPU 上做一個推斷大約耗時 1-2 秒測試是夠用。5.2 常見安裝問題與解決方案問題1pip install 時提示 Timeout 或 SSL 錯誤多半是網絡原因優(yōu)先切換到國內鏡像源pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch問題2安裝 transformers 后 BERT 模型無法下載Hugging Face 下載模型權重時對網絡要求較高有兩個思路。一是手動從 Hugging Face 模型倉庫下載bert-base-chinese的所有文件放到本地目錄然后改用from_pretrained(./bert-base-chinese/)加載二是設置HF_ENDPOINT環(huán)境變量指向鏡像站。這條坑基本每個做中文 NLP 項目的人都會遇到。問題3Neo4j 啟動后無法通過 localhost:7474 訪問檢查端口占用和 Neo4j 配置文件中的監(jiān)聽地址。Windows 上如果默認dbms.connectors.default_listen_addresslocalhost被改過會導致 7687Bolt 協(xié)議端口不可訪問。改回 localhost 再重啟服務即可。6. 項目實測結果與性能調優(yōu)記錄模型訓練和系統(tǒng)集成完成后我在自己構建的中文醫(yī)療知識圖譜測試集上做了性能評估測了 800 條人工問句。6.1 各項指標的實測結果評估維度準確率響應時間CPU意圖識別96.3%約 100ms實體識別詞典優(yōu)先94.8%約 5ms圖譜查詢環(huán)節(jié)100%約 30ms端到端整體問答91.5%約 200msBERT 推理為主從結果分布來看誤差主要出現(xiàn)在實體識別環(huán)節(jié)和意圖判斷邊界模糊的句子上。比如“糖尿病人吃什么藥”意圖里有“疾病”“藥物”兩個實體“吃”“藥”等詞會干擾分類器對意圖的判斷。6.2 從 91% 到 93%我把性能提升做到位的幾個手段第一個手段是給 BERT 輸入增加圖譜實體的先驗標記。比如做序列標注時把詞典匹配到的實體詞直接標記為候選實體讓模型更關注這些位置的上下文而不是從零開始找實體。這個操作讓實體識別 F1 值提升了近 2 個百分點。第二個手段是意圖分類的置信度閾值機制。當模型輸出的意圖概率低于 0.7 時不立即返回結果而是同時返回 Top-2 意圖對應查詢結果讓下游模塊用更長的規(guī)則校驗。比如“糖尿病和高血壓能同時用藥嗎”這個問句它既包含疾病查詢意圖又帶有比較語義單標簽分類天然無法處理。我增加了一個“復合問題”意圖專門應對這種混合問法。第三個手段是構建實體同義詞映射表。用戶在口語中很少使用圖譜中的標準名比如“二甲雙胍”常被說成“二甲雙胍片”“高血糖”和“糖尿病”也經?;煊?。我在實體抽取模塊后面加了一層同義詞歸一層實現(xiàn)如下synonym_map { 二甲雙胍片: 二甲雙胍, 鹽酸二甲雙胍: 二甲雙胍, 高血糖: 糖尿病, } def normalize_entity(entity): normalized synonym_map.get(entity, entity) return normalized這一層不消耗任何模型計算資源純規(guī)則但對端到端準確率的提升非常直觀。6.3 響應延遲的優(yōu)化策略如果你的系統(tǒng)需要部署成 web 服務對響應延遲的要求就會更高。BERT-base 在 CPU 上單條推斷大約 100-200msGPU 上能壓到 20ms 左右。如果只有 CPU 資源幾個優(yōu)化方案用torch.jit.trace將模型轉成 TorchScript 格式免去 Python 層的動態(tài)圖開銷開啟動態(tài) batch 處理多請求同時進來時一次前向傳播處理多條使用 ONNX Runtime 加速BERT 這類 Transformer 結構在 ONNX 上有專門優(yōu)化實測比 PyTorch 原版提速 20%-30%import torch model.eval() traced_model torch.jit.trace( model, example_inputs(input_ids, attention_mask), strictFalse ) traced_model.save(bert_kgqa.pt)使用torch.jit.trace時要注意如果你的模型內部有依賴于輸入形狀的動態(tài)分支邏輯trace 可能會固化錯誤的計算路徑。BERT 模型結構固定基本沒有這個問題但保險起見我還是建議 trace 之后跑一遍完整的評估集確認輸出一致再部署。7. BERT 微調與模型訓練的完整流程訓練數(shù)據(jù)是所有模型的起點。很多同學在這個環(huán)節(jié)非常崩潰因為標注數(shù)據(jù)又累又費時。我總結出一套半自動的標注流水線能大幅減少標注工作量。7.1 訓練數(shù)據(jù)格式與預處理訓練數(shù)據(jù)采用 JSON 格式{ text: 糖尿病的早期癥狀有哪些, intent: query_disease_symptom, entities: [糖尿病] }意圖分類數(shù)據(jù)只需要前兩個字段實體抽取數(shù)據(jù)需要同時包含實體字段。做序列標注時需要把問句轉成 BIO 標簽序列。這里我用 jieba 分詞做前置分割然后用實體位置對齊到 token 級別def tokenize_and_label(text, entities, tokenizer): inputs tokenizer(text, return_tensorspt, truncationTrue, max_length64) offset_mapping tokenizer(text, return_offsets_mappingTrue)[offset_mapping] labels [O] * len(input_ids[0]) for ent in entities: start, end text.find(ent), text.find(ent) len(ent) for i, (s, e) in enumerate(offset_mapping): if e start or s end: continue labels[i] B-ENT if s start else I-ENT return input_ids, attention_mask, labels這里有個大坑tokenizer默認會給文本兩端加[CLS]和[SEP]tokenoffset_mapping的長度和input_ids一致但對特殊 token 的起始位置標記為 0。如果直接用原始文本的find()定位實體坐標和 offset mapping 的對應關系會出現(xiàn)偏差最終導致標簽錯位。保險做法是去掉 offset 為 0 的無效位置或者使用return_offsets_mappingTrue后再手動做映射對齊。7.2 基于 Hugging Face Trainer 的微調流程我最終用 Hugging Face 的 Trainer API 做微調代碼簡潔且自帶評估循環(huán)和斷點續(xù)訓from transformers import Trainer, TrainingArguments training_args TrainingArguments( output_dir./results, num_train_epochs5, per_device_train_batch_size16, per_device_eval_batch_size32, warmup_steps200, weight_decay0.01, logging_dir./logs, logging_steps100, eval_steps500, save_steps500, load_best_model_at_endTrue, metric_for_best_modelaccuracy, ) trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, eval_dataseteval_dataset, ) trainer.train()eval_steps和save_steps設為 500 的好處是每訓練 500 步就保存一次模型訓練過程中如果出現(xiàn) loss 暴增或者過擬合可以從上一個保存點恢復繼續(xù)調參不用從頭再來。7.3 微調時經常遇到的幾個問題過擬合的解決方式5000 條訓練數(shù)據(jù)對 BERT 來說偏少訓練到第 3-4 個 epoch 時驗證集 loss 就可能開始反彈。我加了早停機制并設置 dropout0.3有效緩解了這個問題。另外一個實用技巧是如果訓練集太小只微調 BERT 后 2 層 分類層凍結前面層的參數(shù)。這樣做既省顯存也能抑制過擬合。for name, param in model.bert.named_parameters(): if layer.11 not in name and layer.10 not in name: param.requires_grad False這個操作把可訓練參數(shù)量從 1 億壓到了幾千萬單卡 8G 顯存也能順利跑完訓練。顯存溢出OOMBERT-base 單條樣本的序列長度為 64 時batch_size32 大約需要 11G 顯存。如果你的 GPU 只有 6G 或 8G把 batch_size 降到 8 或 4同時開啟梯度累積training_args.gradient_accumulation_steps 4梯度累積 4 步再更新一次參數(shù)等價于 batch_size32 的效果只是訓練時間延長一些。8. 查詢性能瓶頸與候選答案重排機制圖譜查詢完之后系統(tǒng)面臨一個很實際的問題候選答案可能有很多個怎么排序怎么決定哪個是用戶最想要的答案8.1 BERT 在多候選答案重排中的角色知識圖譜查詢返回的往往是滿足條件的所有實體。比如“治療糖尿病的藥物有哪些”返回 20 種藥用戶不可能全部看一遍而且其中很多藥是二線、三線用藥并不一定對每個用戶都適用。我的做法是引入第二層 BERT 分類器做候選答案排序。具體來說將用戶問句和候選答案拼接用 BERT 判斷這個答案與問句的匹配程度對候選答案按匹配分數(shù)排序取 Top-K 返回def rank_answers(question, candidate_answers): inputs [question [SEP] ans for ans in candidate_answers] # 使用 BERT 計算每對 (問句, 答案) 的語義相似度 scores similarity_model(inputs) ranked sorted(zip(candidate_answers, scores), keylambda x: x[1], reverseTrue) return [ans for ans, score in ranked[:3]]這個做法的原理很好理解BERT 在預訓練階段做過 Next Sentence PredictionNSP任務天然具備判斷兩個句子是否語義連貫的能力。微調后這個模型能有效區(qū)分“治療糖尿病的藥是二甲雙胍”和“治療糖尿病的藥是阿司匹林”哪個更合理。8.2 排序模型的訓練策略排序模型的訓練數(shù)據(jù)可以半自動生成圖譜查詢結果中與用戶問句意圖一致、且實體關系路徑最短的答案作為正樣本隨機采樣圖譜中的無關實體作為負樣本。正負樣本比控制在 1:3 左右。訓練策略上推薦用 pointwise 方式直接用交叉熵訓練實現(xiàn)簡單穩(wěn)定。pairwise 方式如 RankNet效果理論上更好但在數(shù)據(jù)量少時容易過擬合性價比不高。8.3 答案生成模塊的模板拼接最終返回給用戶的答案我采用模板拼接方式。比如if intent query_disease_drug: drugs , .join(top3_drugs) answer f根據(jù)知識圖譜數(shù)據(jù)治療{entity}的常用藥物包括{drugs}。如果你想更自然一點可以再疊加一層句子重寫模塊把模板結果改寫成更口語化的表達。比如“根據(jù)知識圖譜數(shù)據(jù)”這個前綴本身有強烈的機器感實際部署時我把它換成“目前常用于治療{entity}的藥物有”。9. 項目踩坑記錄完整排查鏈路這一節(jié)把我在實際開發(fā)中遇到的三個比較棘手的 bug 完整復盤一遍幫你在遇到類似問題時能快速定位。9.1 坑一BERT 輸入序列被截斷導致實體標簽全部錯位問題表現(xiàn)模型訓練時 loss 正常下降但推理階段實體提取結果完全不對明明問句里有圖譜實體提取結果卻為空。排查鏈路第一步我先打印模型的輸出 logits發(fā)現(xiàn)所有 token 都被預測為 O 類。這說明模型根本沒看到實體信息。第二步檢查輸入數(shù)據(jù)的特征——打印 tokenizer 返回的 input_ids 和標簽序列發(fā)現(xiàn)文本被截斷了。當時我把max_length設置成了 32但圖譜問句有些比較長部分實體詞剛好落在第 32 個 token 之后標簽就被截掉了。第三步把max_length從 32 改到 64同時確認truncationTrue只截斷后半部分、保留開頭。重新驗證后實體提取恢復正常。這個坑的教訓很直接BERT 的輸入長度限制會導致標注數(shù)據(jù)對齊失敗而它不會在你的訓練 loss 曲線中暴露任何異常。這里的預防措施是寫一個校驗函數(shù)統(tǒng)計訓練數(shù)據(jù)中超過 max_length 的樣本比例如果超過 10%就得擴大長度上限或調整數(shù)據(jù)預處理邏輯。9.2 坑二Neo4j 關系方向設計錯了導致查不到結果問題表現(xiàn)圖譜里明明存在“二甲雙胍治療糖尿病”這條關系但用戶問“治療糖尿病的藥物有哪些”時查詢返回空結果。排查鏈路第一步直接在 Neo4j Browser 中執(zhí)行MATCH (m:Medicine)-[:TREATS]-(d:Disease {name:糖尿病}) RETURN m.name返回空說明 CQL 語法層面沒問題問題出在數(shù)據(jù)。第二步執(zhí)行MATCH (m:Medicine)-[r:TREATS]-(d:Disease) RETURN m.name, d.name LIMIT 10發(fā)現(xiàn)這條數(shù)據(jù)根本不存在。第三步檢查 CSV 關系數(shù)據(jù)文件發(fā)現(xiàn)我在生成關系文件時把 head 和 tail 的實體類型標簽搞混了導致很多關系的方向是反的即(d:Disease)-[:TREATS]-(m:Medicine)。這個問題解決起來可以很快但排查它花了幾乎一整個下午。我的建議是建庫后馬上寫一套校驗腳本對每對關鍵關系執(zhí)行正向和反向查詢確保數(shù)據(jù)寫入方向無誤。等于把問題清零在源頭而不是等到問答系統(tǒng)上線后才發(fā)現(xiàn)。9.3 坑三GPU 和 CPU 的模型權重混用問題表現(xiàn)在 GPU 上訓練好的模型傳到 CPU 環(huán)境中推理時一直報RuntimeError: Attempting to deserialize object on a CUDA device。排查鏈路這個坑的原理很明確。PyTorch 保存模型時如果用的是torch.save(model.state_dict(), model.pt)會默認把張量的 device 信息一并保存。在 CPU 環(huán)境加載時它會嘗試往 CUDA 設備上放張量自然報錯。解決方案是保存時指定map_location# 保存時指定為 CPU torch.save({k: v.cpu() for k, v in model.state_dict().items()}, model.pt) # 加載時指定映射到 CPU model.load_state_dict(torch.load(model.pt, map_locationcpu))還有一個更隱蔽的坑如果你在 GPU 上保存的模型包含模型類的定義比如用torch.save(model, ...)來整模型保存那么加載端的代碼環(huán)境必須和保存端的模型定義完全一致否則會報內容不匹配錯誤。最好的習慣是永遠只保存 state_dict而不是整個模型對象。10. 系統(tǒng)的擴展方向與真實落地建議項目做完之后有幾個非常值得做的擴展方向我根據(jù)自己的經驗給出排序和建議10.1 從單輪問答走向多輪對話目前這個系統(tǒng)對每一條用戶問句都是獨立處理的。如果用戶先問“糖尿病的癥狀有哪些”再追問“這些癥狀嚴重嗎”系統(tǒng)無法理解“這些癥狀”指的是上一輪的查詢結果。要支持多輪對話需要引入對話狀態(tài)管理模塊維護用戶的“當前查詢上下文”并將指代消解結果替換到新的查詢語句中。技術上可以借用一個輕量級的做法把歷史問句拼接當前問句一起輸入 BERT 做分類和實體抽取。這種拼接策略雖然簡單但在限定域場景下效果不錯至少能解決“這些”“它”“上面提到的”等常見指代。10.2 用 Vue3 前端做可視化問答界面如果你想做一個看得見、演示效果好的界面結合 Vue3 生態(tài)實現(xiàn)知識圖譜的可視化會非常亮眼。Neo4j 的數(shù)據(jù)可以通過 Bolt 協(xié)議或 REST API 開放前端拿到圖譜 JSON 后用 D3.js 或 AntV G6 庫渲染實體關系圖用戶問完問題后不僅能顯示文字答案還能直接看到答案在圖譜中的位置和關聯(lián)路徑。這對項目答辯、匯報演示來說是一個加分項。熱搜詞里“vue3 實現(xiàn)知識圖譜”出現(xiàn)頻率很高說明這個需求確實很真實。我的建議是后端把圖譜子圖序列化成 JSON 返回前端做渲染不要在 Python 端做圖可視化分離清晰職責單一。10.3 接入更多領域圖譜當前系統(tǒng)是在醫(yī)療領域做的驗證。這套“意圖分類 實體抽取 圖譜查詢 答案重排”的框架本身是領域無關的換一個知識圖譜只需要更新圖譜數(shù)據(jù)和同義詞詞典根據(jù)新圖譜設計意圖類別和查詢模板重新標注一批問句微調 BERT 模型整個遷移周期根據(jù)圖譜規(guī)模不同大概在 2-4 周。如果想快速嘗試可以用公開的金融、歷史、行政治安等領域圖譜做交叉驗證代碼可以完全復用。11. 關于 BERT 與知識圖譜結合的一些個人心得項目做完之后我對“為什么這個組合值錢”有了更深入的體會。BERT 學的是語言知識它知道詞與詞之間的語義關系知識圖譜存的是事實知識它知道實體與實體之間的真實關聯(lián)。語言知識解決“聽懂”事實知識解決“答對”兩者缺一不可。網上經常有人問“ChatGPT 出來后知識圖譜問答是不是就過時了”我的觀點是ChatGPT 這類大模型可以做開放域問答但在需要精確、可追溯答案的垂直領域如醫(yī)療、法律、金融風控知識圖譜的可控性和可解釋性仍然有不可替代的價值。BERT 知識圖譜這個技術組合在大模型的陰影下不僅沒有過時反而因為能提供“有據(jù)可查”的回答企業(yè)級應用需求越來越大。實際訓練中還有一個感受不要一味追求更復雜的模型。BERT-base 在這個場景已經綽綽有余。先把數(shù)據(jù)和圖譜質量做好比堆模型參數(shù)更有性價比。我見過很多項目花大力氣換成了 ERNIE 或 RoBERTa準確率提升不到 1%而數(shù)據(jù)清洗和同義詞詞典帶來的收益輕松超過 5%。數(shù)據(jù)面永遠值得你優(yōu)先投入。這個項目還有一點讓我特別受用實體對齊能力在這個過程中得到了實實在在的鍛煉。從詞典匹配到模型兜底從同義詞歸一化到候選實體消歧每一步的處理都對最終效果有直接影響。如果你也想做 NLP 相關的項目我建議不要只停留在“調用 BERT API”的層面而是把語義解析、圖譜查詢、答案組織這一整條鏈路親手打通一遍——這個過程帶來的經驗比任何教程都值錢。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99成人精品六| 丁香五月激情视频| 五月丁香花婷婷玉莉AV| 91精品综合久久婷婷九色| 久久天天| 久久激情五月| 婷婷色色综合| 91AV婷婷| 九九热短视频在线观看| 婷婷涩涩五月天| 精品久久久人妻| 色婷婷丁香五月天| 九月丁香很很色| 丁香五月婷婷亚洲激情四射| 丁香五月天在线观看视频| 五月天婷五月天综合网在线观| 99热只有国产在线精品| 久久婷婷色色| 激情二色月| 婷婷五月激情视频在线| 五月婷婷综合视频| 大香蕉在线观看9| 丁香五婷婷| 婷婷丁香五月亚洲欧美| 丁香五月色欲| 丁香五月天堂| 亚洲色频| 欧洲婷婷五月天| 激情九九综合网| 五月婷婷六月丁香玖玖玫瑰91| www.色婷婷| 日本人妻伦在线中文字幕| 在线观看日韩12345区| 铁牛TV人妻| 色婷婷狠狠干| 亚洲色优| 久久小说网| 99日在线观看视频| 欧美天天干五月丁香| 九九精品在线观看视频6| 九九热精品99| 九色亚洲| 五月天激情综合首页| 狠狠色精品综合| 午夜成人AV在线| 国产人妻人伦精品一区二区 | 超碰熟女拍拍| 久久综合九九| 国产成人网站在线观看| 美女五月天| 色99日韩| 91久久久久| www,色婷婷| 成人五月天在线视频在线观看| 婷婷亚洲在线| 亚洲成人一区| 国产精品18久久久| 99热精品在线| 久久久久久久人妻| 一起操最新网址| 久久婷婷影院| 久草a片| 狠狠精品干练久久久无码中文字幕 | AV大香蕉| 91九色中文| 天天在线久久综合 | av线电影| 五月开行婷婷色五月| 天天色亚洲| 人人操操97| 最新激情五月天| 精品99在线观看| 俺去也五月| 九九热大香蕉| 天天综合精品| 亚洲一二三网| 深爱婷婷色| 成人AV中文字幕| 久久99激情| 99a级片| 五月婷婷先锋| 思思热热久久| 欧美三级巜人妻互换| 淫视馆aV二区一区| 91精品久久久久久77777| 婷婷丁香黄色| 九九热视频精品| 婷婷91| 日韩啪图| 色色色色网| 五月久久综合| 婷婷五月天成人基地| 久久天天| 天天日天天插天天操| 久久九九@| 色九月丁香婷婷蜜桃在线观看| 精品人妻伦| 丁香激情久久| 亚洲国产成人在线| 激情五月综合网最新| 99五丁香月| 五月丁香 久久久| 婷婷丁香六月天| 色综合丁香| 性综合网| 婷婷成人在线| 精品人妻在线| 黄色五月婷婷| 久热伊人| 色五月婷婷久久爱| 亚洲亚洲人成综合网络| 亚洲综合五月天综合| 久青草影院| 99爱爱| 99九九热在线观看| 91精品无码| 婷婷四色五月| 国产激情综合五月久久| 激情六| 色色网站在线| 久这里只有精品99| 99热99色| 大香蕉综合在线| 激情综合一| 色五月综合97| 欧美精产国品一二三区| 九九RE视频在线精品| 在线99热| 国产精品VIDEOSSEX久久发布| 狠狠狠婷婷五月综合| www.夜夜| 亚洲、热| 久久久精品99| 五月婷婷六月天| 成人电影在线免费试看| 色爱亚洲| 六月丁香综合网| 婷婷综合网站| 91操操操| 久久您您综合网| 热99这里只有精品视频| 色综合av超碰| 操人91| 中美日韩成人在线| 五月婷婷丁香六月| 欧美激情综合色丁香婷婷五月天| 日本欧特黄色刺激一区影视久精品无码| 丁香狠狠色婷婷久久无码视频| 丁五月激情视频免费| 涩五月丝袜婷婷| 五月天天天天天天天天天天天天天天天婷婷婷| 99热这里| 国产精品第一国产精品| 婷婷日日夜夜| 另类视频一区| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | www.色婷婷| 丁香香五月激情免费视频| www。久久久久一b。Cc| 色五月色综合| 国产免费一区二区三区三州老师F1F1.CC | 九九热在线视频| 色情婷婷| 夜夜爽77777妓女免费下载| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 婷婷激情综合网| 狠狠色丁香| 国产亚洲精品久久久久久牛牛| 欧美婷婷六月丁香综合色连续高潮抽搐| 超碰在线看| 婷婷综合五月激情| 亚洲免费av观看| 99久久久久久| 99久久er| 丁香婷婷大香蕉| 成人小说 五月天 婷婷| 香蕉乱插| 少妇人妻人伦A片| 夜夜操,天天撸| 丁香六月| 无码激情AAAAA片-区区| 天天夜夜爽| 在线观看av网站| 99热都是精品| 激情五月综合网最新| 99男人的天堂| 婷婷99综合| 五月天俺去也| 亚洲国产精品成人免费一区久久久在线观看AAAA | www久久久久久久久久久久久久久久久| 婷婷五月天激情基地| 99在线视频资源| 色婷婷成人做爰A片免费看网站| 开心五月婷婷99| 9l视频自拍九色9l视频在线观看| 成人片在线播放| 人人做人人看人人摸| 91大屁股精品| 最新无码专区| 五月天婷婷丁香| 情婷婷五月天| 九九爱这里只有精品| ww超碰在线| 操碰97| 婷婷五月天免费视频在线观看| 久久久91| 丁香网五月天激情| 五月色丁香综合| 久久五月情| 伊人激情| 国产成人综合在线| 五月丁香婷成人网| 久艹伊| 婷婷五月在线观看| 天天情色五月天| 91一起操| 成人资源在线| 丁香五月婷婷综合激情啪啪啪| 五月丁香六月香香蕉| 极品五月天| 婷婷丁香九月| 综合久久综合综合| 少妇人妻偷人精品无码视频新浪| 97干在线| 五月天久久综合| 五月丁香狠狠地噜噜噜噜| 日本片日本片祼观看网站在线看中文版网页在线看 | 婷婷五月天在线观看av| 亚洲另类电影| 97黑人精品区| 久久一伦| 热99色| 九九碰九九爱97| 干一干xxxx| 婷婷五月天成人综合网| 亚洲综合五月天综合| 欧美日韩国产伦精品日韩人妻一| 亚洲天堂制| 亚洲欧洲色色| 中文字幕日韩成人| 婷婷五月天大香蕉| 99热在线爱| 激情性爱五月天网页| 依人大香蕉| 1024国产| 婷婷色操| 五月色综合| 综合深爱五月| 亚洲综合色网站| 欧洲亚洲免费视频9 | 久久伊人大香蕉| 色五月五月天色婷婷色五月| 国产日韩亚洲欧美在线观看| 99成人精品六| 综合婷婷六月| 色综合区| 成人五月天丁香| 91高潮喷水久久久久久久久| 91色色五月天| 黄网在线免费| 日韩成人精品中文字幕电影| 日韩AV无码影片| 婷婷深爱五月| 亚洲综合另类| 久久五月综合| 成人综合网站| 97色碰| 丁香色婷婷| 五月天堂色| 久9视频免费播放| 五月婷婷六月色| 亚洲综合色色色| 久久这里有精品视频| 色五月婷婷五月丁香五月| 狠狠人妻久久久久久综合丁香| 色五月婷婷天天干| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 色天堂婷婷| 免费观看的av| 五月丁香六月综合激情无码软件亮点| 色婷婷色五月天| 五月婷婷久草在线视频综合| 国产VA亚洲VA96| 午夜五月天| 婷婷色激情五月天| rr天天操| 激情综合99| 婷婷色在线视频| 超碰在线观看9| 色色色在线观看| 五月婷婷色播| 久久性爱视频网站| 少妇AB又爽又紧无码网站| 免费做A爰片77777| 91久女| 性爱激情五月| 超级碰碰碰久久网站| 色约约视频一区二区三区四区五区| 中文字幕人妻一区二区| 色一情一乱一乱一区9| yazhochengrenavwang| 成人短视频免费观看| 丁香五月激情月| 婷婷五月色影视先锋| 久久在线大香蕉| 人人爱国产| 婷婷五月激情的图片| 亚洲狠狠爱婷婷| 欧美久久婷婷| 婷婷五月欧美| 天天操天天插天天射| 丁香久久激情俄| 激情五月综合久久| 六月激情婷婷色| 天天爽天天日人人爱| 五月综合婷婷开心网| 26UUU在线观看| 99久久九九| 99热这里只有精品16| 99热这里只有精品8| 人人爱摸视频| 天天射影院| av中文字幕免费观看| 久久九九婷婷| 色色丁香| 99热这里只有精品50| 丁香婷婷六月婷婷六月婷婷六月婷婷| 婷婷涩五月天综合| WWW99热| 婷婷五月天电影网| 亚洲激情四射色| 色9999综合久久| 亚洲性视频| 91久久久久久久久| 婷婷香五月| www.开心激情| 色婷婷丁香五月| 强辱丰满人妻HD中文字幕| www.九九婷婷| 美女va| 丁香五月天视频在线播放| 五月狠狠| 天天干天天干天天干| 99热在线极品极品| 黄网在线播放| 成人电影丁香六月天| 91日日日| 日本无码专区| 久久综合综合久久| 激情五月深爱婷婷| 97AV在线视频| 草榴视频黄色网| 538任你爽| 色情一区二区播放| 在线观看的av| 国产精品成人网址| 色欲人妻综合aaaaaaaa网| 欧美激情2025| 欧美日韩成人在线| 美国不卡视频| 色婷婷狠狠久久综合五月| 久久婷狠狠色| 黄色高清无码| 开心五月天私房婷婷| 色色色9| 综合视频久久| 国成人网| 天天婷婷操| 亚洲人人操| 99精品视频在线观看| 丁香影院五月综合| 涩九九九九| 婷婷综合激情五月综合| 五月婷激情| 丁香五月婷婷综合91| 亚洲第一色色色| 亚洲激情综合| 2015在线中文字幕| 综合网激情五月天| 五月天婷婷免费| 久久精彩视频18| 五月丁香成人网| 婷婷五月天激情免费在线观看| 99热精品在线| 日本精品在线噜噜噜| 丁香五月激情在线| 无码少妇高潮喷水A片免费| 91九色熟女| 五月天久久丁香| 五月婷婷六月丁香| 五月丁香| 男女99免费视频| 欧美亚洲成人在线| 色婷婷裸体色性在线| 久/久精品99看9| 97人操| 天天爽天天做| 五月天综合在线网| 99热在线里有精品| 婷婷在线精品| 青草青草久热这里只有精品| 狠狠爱激情网| …亚洲黄色在线播放日韩、av中文a…| 五月婷婷激清网| 天天爱天天操| 久er免费视频| 五月婷婷,六月丁香| 婷婷 伊人 久久| 日韩AV大全| 激婷网| 99热精品在线播放观看| 色5月婷婷| 丁香色综合| 色五月涩涩婷婷| 婷婷色狠狠| 久久婷婷婷婷伊人| 亚洲午夜在线视频| 精品福利911| 久久精品人妻| 99热99成人| 日本三级中国三级99人妇网站| 超碰成人AV| 国产午夜一区二区三区| 五月天小说激情| 1995年关宝慧版蜘蛛女| 亚洲网综合在线| 夜夜骑日日夜夜| 人妻熟人中文字幕一区二区 | 成人AV在线网站| 91大神操美女| 久久久WWW| 超碰人人操在线| 亚洲秘 无码一区二区三区妃光/1| 婷婷深爱五月丁香| 欧美婷婷精品激| 99热久| 9 9热这里有精品| 婷婷丁香色无五月| 94干大香蕉| 丁香五月婷婷日本| 日韩无码人妻一区二区| 色婷婷丁香五月| 色色九区| 国产午夜精品一区二区| 亚洲久艹| 天天肏高清在线| 丁香狠狠色婷婷| 色婷婷69| 91久久1118| 久久五月天综合| 夜夜躁狠狠 | 综合网亚洲| 中文字幕久久婷九女同| 色色色在线观看| 日本三久久| 人人干av| 草婷婷在线| 天天爽天天操| 天天射夜夜爽| 日韩在线观看网址| 第四色五月天| 另类亚洲2| 色久在| 99精品偷自拍| 婷婷噜噜| 婷婷的99视频网站| 99九九精品| 综合热无码| 神马久久五月天| 色婷婷五月在线| 久久久久久99精品无码| 丁香五月社区| 丁香色情五月综合网站| 久婷视频| www.maotanji.com| 亚洲天堂AV免费片| 9色操| 丁香五月人妻| 亚洲综合新99视频| 字母不卡码人逼| 五月丁香花开综合网| 91a片爽| www.婷婷,com| 99精品这里只有免费视频| 性爱网五月婷婷| 五月丁香五月婷婷| 五月综合视频| 婷婷深爱五月丁香| 成人在线日韩| 亚洲无码影音| 香蕉综合在线| 激情丁香淫荡婷婷| 伊人热婷婷| 五月婷婷六月天| 久久狠狠色| CAOBIBI| 我爱大香蕉| 天天爽天天弄| 美国不卡视频| 武则天精品久久| 色五月开心婷婷| 97在线观视频免费观看| 中文av网| 色婷婷成人丁香| 五月婷婷综合成人| 成年人丁香五月| 五月天成人在线| 91丨九色丨丰满人妖| 99热国品| 五月丁香啪啪啪综合网| 九九热精品6| 亚洲综合激情五月久久| 91操在线| JAPANRCEP老熟妇乱子伦视频| 99热这里只有精品66| 丁香六月开心| 97丁香视频| 五月天精品| 天天操夜夜橾| 五月香蕉婷婷| 玖玖爱综合网| 狠狠色综合无线观看| 99日本在线| 亚洲丁香网| 9l视频自拍9l九色成人| 综合激情四射一theav| 婷婷五月天激情四射| 激情综合网五月天| 七七九九色色| 操操国产| 九月婷婷激情久久| 日日躁夜夜躁狠狠久久AV| 99成人| 5月丁香六月情| 亚洲色人妻| 午夜]香婷婷深深爱| 激情五月婷婷| 激情中文在线| 天天操夜夜肏| 丁香五月亚洲激情婷婷射| 久久丁香网| 天天综合色| 日韩精品一品二区三区的使用体验| 99精品网站| 久久99热这里只有| 91尤物九色在线| 婷婷五月丁香99| 噼里啪啦完整版中文在线观看| 婷婷99视频精品| 欧美婷婷五月| 秋霞网在线观看理论91| 婷婷五月天综合激情| 91操在线| 久久婷婷青青| 日本精品人妻无码77777| 天天色丁香| 九九色综合视频| 狠狠狠狠狠狠狠狠草| 色一情一乱一乱一区91| 婷婷五月天丁香激情| 五月丁香色欲| 色婷婷六月| 99色色网| 久9视频| 99啪啪网| 五月天婷婷成人网| www.minyis.com【JT】实力收量可预付QQ2101460746 | 99男人的天堂| 国产精品 的国产| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | www.婷婷| 五月天婷婷激情小说电影| 婷婷五月激情的图片| 99热九九热| 99热成人在线观看| 五月丁香婷婷激情澎湃四射| 99热这里只有精品2024| 丁香伊人激情| 综合激情五月综合激情五月激情1| www.久久久久| 亚洲成人综合在线| 99热九九这里只有精品| 久久精彩免费视频精彩免费视频| 婷婷五月电影院| 一区视频网站| 99热这里| 91超碰人人操| 婷婷香蕉| 色五月天天在线观看资源站| 无码四色色色| 这里只有精品视频在线观看免费| 激情丁香五月婷| 色噜噜狠狠色综合伊人| 日本色婷婷综合| 色五月婷婷丁香国产在线| WWW·天天操·视频?| 超碰av在线| 色播五月丁香| 婷婷丁香77777| 电影爱拉战争免费观看| 26uuu亚洲色| 五月丁香六月激情网| 五月丁香亭亭成人电影| 亚洲avjiujiur91| 99热思思在线观看| 婷婷五月天伊人网在线观看视频| 久久99这里只有精品视频| 婷婷爱婷婷| 五月好婷婷| 成人开心五月天| 五月天综合在线观看视频| 人人摸人人干| 日本啪啪网| 丁香激情久久| 婷婷久热| 99国产99| 欧美日韩五月婷婷| 碰碰女| 天天射影| 色播五月丁香婷婷| 亚洲色婷婷99一9|| 久久久久久综合五月婷婷| 五月天婷婷在线播放免费| 色综合另类| 五月天夜夜爱夜夜操| 色婷婷色婷婷五月| 婷婷五月天无码| 六月激情婷婷| 狠狠激情五月天| 五月天激情小说| 久久九九热视频| 大地资源色婷婷视频在线| 久综合4| 久久嘟嘟丁香| 亚洲激情亚洲激情 | 中文av网| 久草婷婷在线| 超碰av天堂| 欧洲永久精品| 六月婷婷色宗合| 久久人妻乱| 97色干| 欧美黑人巨大性生话| 久9综合| 精品99在线观看| 伊人婷婷五月天| www.人人操人人看人人想人人摸 人人人人操,COM | 97色天堂| 噼里啪啦在线观看免费完整版视频| 99成人| 五月丁香亭亭激情操逼网| 日韩久综合| 狠狠草天天草| 午夜理论片最新午夜理论剧| 天天日夜夜草进麻麻的子宫| 久久性爰视频这里只有精品| 五月婷婷深深爱| 综合色99| 农村熟妇高潮精品A片| 久久综合五月| 亚洲精品操一操、噜一噜、摸一摸、爽 | 色婷婷狠狠| 狠狠人人| 婷婷五月丁香综合激情| 99精品在线观看| 久久全意婷婷| 久久久激情| 色久综合天天做视频| 91综合国免费久入| 九九成人电影婷婷| 7777激情基地| 26UUU欧美| 亚洲成人一区| 激情玖玖综合网| 六月婷婷激情| 丁香五月无码| 色久综合| 91在线日本| 色玖玖玖| 色五月丁香在线| 亚洲精品99| 1024成人免费看| 自拍偷窥99热| 久久人妻久久| 99ER热精品视频| www.99热在线观看| 99热这里只有精品13| 久久婷婷色色| 亚洲不卡123| 丁香五月自拍| 干一干xxxx| 婷婷色色综合| 久久综合丁香五月| 噜噜久| 成人电影一区| 欧美日本黄色| 天天草天天摸| 女人高潮内射99精品| 99re热99| 综合噜噜| 五月停亭久久电影| 无码激情精品色婷婷久久久久 | 只有久久精品免费| 五月天激情综合| 九九热99精品| 色狠狠色狠狠| 人人播| www一起操| 99热这里只有精品搜| 婷婷五月天在线观看| 色婷婷久久综| 久色资源网| 人妻内射一区二区在线视频| 五月天日日操夜夜操 | 日本久久婷| 婷婷五月天六月丁香| 婷婷丁香综合网| 99亚洲综合| 久久六月天| 丁香婷婷色| 五月丁香六月综合基地| 九色亚洲| 亚洲综合婷婷五月天| 99热66| 婷婷五月播| 亚洲av免费在线| 综合色网站| 婷婷激情综合| 亚洲激情六月丁香| 免费播放99性爱视频| 久99久在线观看| 色婷婷精品视频在线播放| 色欲Av五月天| 激情五月天综合婷婷网| 思思干精品| 精品婷婷五月天| 操人91| 五月丁香日本在线视频观看| 九九热这里只有精品6| 色欲久久综合| 久久久99久久| 97精品在线| 超碰人人干| 亚洲中文字幕在线电影| 亚洲激情精品| 31色区视频免费看| 狠狠五月综合在线| 红桃91人妻爽人妻爽| 五月深爱激情网| 丁香五月亚洲综合丝袜| 秋霞三及片| 91碰操| 午夜婷婷五月天| 国产99久9在线+|+传媒| 亚州操人在线视频| 综合色吧| 丁香婷婷性爱| 噜噜噜噜噜久| 婷婷色婷婷| 精品五月视频婷婷在线观看| 91精品久久久久久77777| 91精品人妻少妇无码影院| 99性爱视频网站| 婷婷丁香五月视频| 日本婷婷| 色99日韩| 五月天综合婷婷| 99视频内射三四| 99热都是精品| 日日婷婷不卡| 婷婷五月天丁香综合网| 国产成人亚洲综合A∨婷婷| 欧美怡红院黄站| 日夜夜久久| 人人爽欧美婷婷久久久五月丁香| 九九热最新| 在线另类视频| 色五月婷婷一二| 99热综合网| 中文av网站| 猫咪伊人久久| 九九99精品| 激情综合婷婷| 九月婷婷综合色干| 91婷婷色| 伊人五月天男人的天堂在线| 99免费超碰在线| 久久五月天激情| 久久视频婷婷| 日本天天色| 亚洲综合婷婷五月| 欧美日韩中国| 色婷婷视频| 天天色天天爽| 极品人妻VIDEOSSS人妻| 婷婷久久婷婷色五月| 成人精品视频99在线观看免费| 婷婷激情啪啪| 国产激情在线| 五月婷婷五月天| 亚洲人妻五月丁香婷婷| 色欲九区| 农村熟妇高潮精品A片| 欧美狠狠地| 伊人五月婷婷| 少妇2做爰HD韩国电影| 婷婷婷五月天最新综合你懂的| 色婷婷色和| 99九无网码| 五月婷婷久久激情| 亚洲精品成人片在线播| 九九这里有精品| 久久久久人妻精选| 亚洲av综合网| 亚洲妇女熟BBW| 五月婷婷天天| 另类五月婷婷| 天堂网色婷婷| 五月婷婷激情综合| 五月天婷网| 婷婷永久在线| 久久久久久久久久久久久久久久一道本| 日本五月婷婷| 五月丁香大香蕉| 超碰色碰碰| 欧美99热| 夜夜撸日日骑| 亚洲在线操| 婷婷伊人五月天| 狠狠色噜噜狠狠狠狠综合| 六月亚洲婷婷6月中文字幕| 狠狠狠狠青草| 亚洲天堂久久| 五月天婷婷视频小说| 99精品自拍| 五月婷婷综合在线视频| 婷婷丁香六月| 色停停五月天| 99热99热在线观看| 六月撸婷婷| 婷婷六月激情综合| 五月天色丁香| 色色色色色网| 一本久久亚洲五月婷婷| 色婷综合| 91色色色| 天天拍久久| 五月丁香婷婷综合网| Caoporn公开| 天天做天天爱| 日本一级一片免费视频| 色色婷婷综合网| 色吧五月| 亚洲AV无码影院| 无码视频国内精品久久久| 亚洲激情网| 99热只有精| 26uuu视频欧美| 97性高潮久久久| 荫道BBWBBB高潮潮喷| 丁香 久久| 丁香五月欧美激情| 丁香五月天婷婷久久| 91精品婷婷国产综合久久| 91干网| 被强行糟蹋的女人A片| 五月精品免费XXX| 激情五月婷婷丁香六月| 日本精品干| 丁香九月色| 婷婷狠狠操| 激情婷婷久久| 五月婷婷69| 欧美欧盟性爱网| 热99久| 97自拍视频网| 国产精品a无线| 六月综合婷婷开心伊人| 亚洲AV中文在线| 丁香桃色网| 亚洲第精品| 色色99色色| 99久久久久| 久久9RE热视频精品98| 北条麻妃伊人| 五月天色色无码| 天天综合色| 国产色网站| 五月婷婷激情综合视频| 六月天无码网址| 免费九九热| 七七九色| 激情性爱网站| 日韩啪啪视品| 久久色大香蕉| 99人妻碰碰久久久禁片| 五月综合激情婷婷六月色窝| 天天舔天天爽| 婷婷综合网| 七七色色综合| 婷婷成人五月天| 开心五月深爱婷婷| www,av好吊操| ri电影在线| 日本色色图| 欧洲亚洲免费视频9| 91丨九色丨熟女|老版| 超级碰碰碰久久网站| 丰满少妇猛烈A片免费看观看| 思思热精品在线视频| 五月天天久久香| 久久久久久久人妻| 五月天涩涩| 色色色色色色色色网站| 99热6这里只有精品| 婷婷色爱| 亚洲天码视频www蛋播视频| 九九精品视频在线观看| 免费播放99性爱视频| 亚洲 五月 婷婷 成人| 激情网婷婷婷| 99思思| 少妇激情五月天| 99只有精品| 天天舔天天插天天干| 九九热a| 丁香五月性爱爱五月| 91久久婷婷| 激情久久肏屄视频| 色婷婷19| 久久9久| 亚洲精品大片| 色色色综合网| 久操热线| 深爱激情六月天| 五月丁香激情啪啪| 99在线精品免费视频| 精品人妻午夜一区二区三区四区 | 五月综合激情图片| 久久 这里只有精品1| 激情综合色五月丁香六月亚洲| 2025年最新亚洲在线欧美| 人人摸人人干人人做| 亚洲婷婷五月天激情| 97色啪| 五月婷婷五月丁香| 超碰免费大香蕉| 九月激情网| 婷婷五月激情图片| 九九激情网| 婷婷五月激情黄色| 亚洲无码AV片| 在线观看中文字幕亚洲| 九月丁香婷婷综合激情| 99精品在| 99这里只有精彩视频| 九色啦蜜臀| 婷婷导航| 婷婷五月天成人| av高清无码| 一区二区你懂的| 亚洲午夜Av| 久久伊人婷婷| 丁香五月婷婷六月婷| 久99热| 狠狠狠狠狠狠色| 丁香五月激情综合| 丁香六月天| ..真实国产乱子伦毛片 | 激情亚洲五月| 99亚洲精美视频在线观看| 日韩无码专区| 三十路磁力链接| 精品久久99码| 五月激情小说| 久久久久9| 久久婷婷艹| 91九色丨国产丨爆乳| 丁香六月av| 99热免| 色啪网| 综合 激情 婷婷| 成人综合视频在线| 色的色综合| 99这里只有精品视频| www.minyis.com【JT】实力收量可预付QQ2101460746 | 丁香五月色| 性爱激情五月| 欧美97色| www,婷婷五月天,com| 丁香婷婷五月六月久久| 在线理论片| 中文在线成人| 色噜噜狠狠色综| 99久久er| 丁香色五月 97干| 婷婷丁香九色| 999热在线视频| 五月婷婷乱| 五月婷婷影院| 国产AV一区二区三区最新精品| 婷婷成人在线| 色97综合婷婷天天色| 五月天婷婷色| 国精产品一区一区三区免费视频| 成人 九九九九| 欧美婷婷六月丁香综合色| 色综合久久88色综合天天| 五月丁香婷婷六月| 99婷婷色| 成人久久天天x资源站| 91日视频| 少妇人妻人伦A片| 久久999久久999久久999久久| 激情5月婷婷狠狠干| 五月天婷婷AV| 99国产精品白浆在线观看免费| 探花搜索结果 - 黄上黄| 婷婷五月丁香在线观看| 99网99热| 亚洲AV影片在线观看| 日韩啪啪网| 99国产视频网| 大地9中文在线观看免费高清 | 天天综合激情| 少妇人妻人伦A片| 婷婷色五月大香蕉在线| 久久五月天婷婷| 开心网五月色婷婷| AA片在线观看视频在线播放| 亚洲六月色婷婷| 天天干天天干天天干天天干天天干天天 | 五月天丁香啪啪综合| 色五月五月天色婷婷色五月| 天天综合精品| 九九精品综合| 色色色色色爱| 夜夜谢天天干| 五月丁香花视频| 夜夜操,天天撸| 九九黄色网| 五月婷中文字幕| 激情色视频| 三级三久久线久久99久目本WW| 99干在线| 天天日夜夜爽。| 丁香激情网| 亚洲另类毛片| www,五月天激情| h在线看免费版在线看| av在线资源| www,com,五月色色| 色婷婷色和| 色噜综| 国产SUV精品一区二区6| 超碰久热| 大香蕉天堂| 综合亚洲AV| 深爱激情网五月天| 乱精品一区字幕二区| 另类视频综合| 日本99在线视频| 爱狠射| 亚洲六月婷| 极品少妇XXXX精品少妇偷拍| 丁香婷婷六月激情文学 | 色噜噜狠狠色综无码久久合欧美| 啪啪九九色| 这里只有九九精品| 97碰碰碰免费公开在线视频| 婷婷五月天播| 桃色激情网| 婷婷五月丁香亚洲| www.com操| 五月婷婷av| 久久天堂色| ss视频xx91| 无码AV久久久久久久久| 96丁香六月婷婷蜜桃综合久久| 婷婷开心久久| 伊人网色婷婷五月天| 天天日,夜夜爽| 中文字幕无码人妻少妇免费视频| 第二色AⅤ| 自拍偷窥99热| 99大香蕉| 97操视频| 大香蕉婷婷丁香天堂AV| 久操福利| 丁香六月青青草| 亚洲最大激情无码| 丁香五月大香蕉AV| 99热这里只有精品8| 婷婷色五月天色| 99精彩视频| 色婷婷五月天无码视频| 思思精品热在线| 天天操天天国产三级片处女学生妹| 五月久久丁香| 大鸡巴伊人网| 夜夜操天天爽| 国产高清视频91九九九久久久| 天天综合天综合| 九九久99免费视频| www.五月.com| 九九综舍久久| 五月婷婷偷拍| 婷婷激情五月视频| 99热精品在线| 思思久久精品| 99久久精| 激情图片亚洲| 亚洲热视频在线| 婷婷五月丁香久久| 99视频激情四射| 综合色五月天| 秋霞少妇毛片| 97人人干| 丁香六月无码| 99热久草| 久99在线| 人人草人| 欧美性猛交99久久久99| 人人操插| 99熟女视频| 天天日天天插| 五月婷婷熟女| 激情五月婷婷| 五月WWW| 亚洲 在线 另类| 五月婷婷啪啪啪啪| 久久在线大香蕉| 丁香九月激情| 亚洲视频在线观看99| 无码少妇高潮喷水A片免费| 丁香五月成人论坛| 99在线精品免费视频| 婷婷开心六月| 99精品久久久久久久| AV人人操| 五月久久噜噜| 91男人资源站| 大香蕉久热| 97人人超| 无码少妇高潮喷水A片免费| 激情婷婷人妻| 天堂va久久久噜噜噜久久Va| 99热99美国在线观看| 婷婷综合欧美| 91se精品国产| 丁香五月天堂网| 久久精品99| 日本色色影片| 99在线观看精品视频| 日熟女| 高清无码视频网址| 中文字幕 久久9999| 99热热热国产超碰| 久久这里只有精品99| 五月丁香久久激情网| 超级碰碰碰91| 天天日夜夜| 黄色99网| 《久久综合九色综合97婷婷| 天天干天天操天天爽| 色色色视频免费无码| 五月天成人免费视频| 天天色综合图片| 91色色色| AA片在线观看视频在线播放| 亚洲 小说 欧美 激情 另类| 热九九精品| 九九热精品视频九九| 九九久久高清| 九九aV| 99热在线精品观看| 99热最新网址| AV片在线观看| 婷婷操逼| 丁香五月婷婷在线视频| 超级碰碰一区| 久久伊人五月天| 久久综合激情婷婷激情| 丁香密臀AV激情网| 极品人妻VIDEOSSS人妻| www.五月天婷婷| 丁香五月情色| 操日本99| 久久人妻久久| 丁香六月在线| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | PORNY九色9l自拍视频成人| 色婷婷在线综合色播网| 亚洲 视频 导航 一区| 99ree6| 在线视频你懂得| 婷婷五月骚厕所| 久久综合丁香五月| 96色婷婷| 丁香婷婷大香蕉| 另类综合色| 天天模,夜夜模夜夜爽| 久热91精品| 美女久久婷婷| 狠狠色综合网站久久久久| 激情五月天伊人av| 91精品熟女| 伊人九九综合| 伊人久久丁香狠狠婷婷综合香蕉| 久久亚洲婷婷| 色五月丁香网| www久久99| 九九热青青草| 极品人妻VIDEOSSS人妻| 久re热视频| 丁香五月图片| 在线观看欧美| 伊人久久大香线蕉亚洲五月天,| 性爱综合网| 伊人婷婷综合| 色婷婷社区| 另类丁香五月天区图| 99啪啪视频| 操精品9| 97五月天| 9l视频自拍9l九色成人| 天天插天天爽| 婷婷娱乐丁香综合网| 热的国产99热| 91色涩| www:99热视频| 91聚色综合网| 蜜桃人妻无码AV天堂三区 | 蜜桃婷婷五月| 婷婷五月激情欧美| 九九热99精品| 久久婷婷五月天大香蕉| 九月丁香| 成人看片网站| 国产成人亚洲综合A∨婷婷| 欧美毛片www| 婷婷五月天成人动漫| 超碰av在线| 第五婷婷伊人丁香色| 人妻中文av| 在线超碰免费| 五月天色综合| 夜夜爽天天爽| 精品激情| 久青操| 九九热在线观看视频| 婷婷色5月激情网| 五月天久久www| 色五月婷婷成人视频| 久久最新色色色| 操人91| 九九九色综合| 99在线视频女女视频| 丁香九月色| 色丁香五月婷婷| 欧美六月| 五月丁香六月激情综合| 婷婷丁香五月综合| 久久久精品人妻| 婷婷综合网|