欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

基于RAG的私有知識(shí)庫(kù)問答系統(tǒng)實(shí)戰(zhàn):從文檔預(yù)處理到檢索增強(qiáng)生成

基于RAG的私有知識(shí)庫(kù)問答系統(tǒng)實(shí)戰(zhàn):從文檔預(yù)處理到檢索增強(qiáng)生成 簡(jiǎn)介這是一套基于RAG檢索增強(qiáng)生成技術(shù)的私有知識(shí)庫(kù)問答系統(tǒng)完整項(xiàng)目面向計(jì)算機(jī)相關(guān)專業(yè)需要完成畢業(yè)設(shè)計(jì)、期末大作業(yè)或課程設(shè)計(jì)的學(xué)生也適合想學(xué)習(xí)RAG落地實(shí)踐的開發(fā)者參考。項(xiàng)目代碼注釋詳細(xì)經(jīng)過嚴(yán)格調(diào)試簡(jiǎn)單部署即可運(yùn)行系統(tǒng)功能完善、界面美觀具備知識(shí)庫(kù)管理、智能檢索問答等核心能力屬于導(dǎo)師認(rèn)可的高分畢設(shè)作品。資源包共545個(gè)文件約126MB以145個(gè)Python源碼文件為核心輔以96個(gè)pyc編譯文件、166個(gè)png界面截圖、23個(gè)md說明文檔同時(shí)包含9個(gè)pdf文檔、35個(gè)js前端腳本及css、yaml、json等配置與依賴文件代碼、文檔、素材一應(yīng)俱全。目前已有1860人學(xué)習(xí)下載。源碼帶有清晰注釋新手也能讀懂可直接作為畢業(yè)設(shè)計(jì)或課程設(shè)計(jì)提交也可在此基礎(chǔ)上擴(kuò)展二次開發(fā)對(duì)理解RAG檢索生成流程、私有化知識(shí)庫(kù)搭建具有很高的參考價(jià)值。1. 基于RAG的私有知識(shí)庫(kù)問答系統(tǒng)畢業(yè)設(shè)計(jì)里最值得一試的“萬(wàn)能殼子”站在畢業(yè)設(shè)計(jì)的選題清單前大多數(shù)人的第一反應(yīng)是做一個(gè)XX管理系統(tǒng)但如果你盯上基于RAG的私有知識(shí)庫(kù)問答系統(tǒng)要交付的就不是又一個(gè)CRUD而是一個(gè)能“看懂”你喂給它的文檔、并按提問給出帶出處回答的系統(tǒng)。RAG檢索增強(qiáng)生成會(huì)把私有文檔切碎、向量化、存進(jìn)向量庫(kù)用戶提問時(shí)先檢索最相關(guān)的片段再讓大模型基于這些片段作答。它直接解決一個(gè)真實(shí)痛點(diǎn)通用大模型不知道你內(nèi)部文檔里的內(nèi)容微調(diào)貴且周期長(zhǎng)RAG用最少的算力把“陌生文檔”變成“可回答的問題”。這個(gè)方向適合想兼顧算法認(rèn)知和工程落地、又不想把畢業(yè)設(shè)計(jì)做成純調(diào)包演示的本科生和研究生源碼和文檔說明寫透了答辯時(shí)連“創(chuàng)新點(diǎn)”都能順著檢索鏈路往下講。2. 先把知識(shí)庫(kù)做成“能檢索的樣子”文檔歸一化、切塊與Embedding選型2.1 私有知識(shí)庫(kù)的常見來源PDF、Word、公眾號(hào)文章怎么歸一化“私有知識(shí)庫(kù)”聽起來高大上落到文件系統(tǒng)里無非是幾十個(gè)PDF、若干Word/Pages文檔、Markdown筆記還有從微信讀書或公眾號(hào)里存下來的網(wǎng)頁(yè)。常見做法是先把所有格式歸一成純文本后續(xù)的切塊、向量化才有統(tǒng)一入口。PDF用pdfplumberWord用python-docxHTML用BeautifulSoup這是我在多個(gè)項(xiàng)目里試下來最穩(wěn)的組合。from pathlib import Path import pdfplumber from docx import Document from bs4 import BeautifulSoup def load_document(path: str) - str: p Path(path) suffix p.suffix.lower() if suffix .pdf: text [] with pdfplumber.open(path) as pdf: for page in pdf.pages: text.append(page.extract_text() or ) return \n.join(text) if suffix .docx: doc Document(path) return \n.join(para.text for para in doc.paragraphs) if suffix in (.html, .htm): soup BeautifulSoup( p.read_text(encodingutf-8, errorsignore), html.parser ) for tag in soup([script, style]): tag.decompose() return soup.get_text(\n) return p.read_text(encodingutf-8, errorsignore)這段代碼做三件事按后綴分發(fā)解析器PDF每頁(yè)單獨(dú)提取并按頁(yè)拼接HTML先刪掉script和style再取文本。邏輯上要注意extract_text()對(duì)掃描件返回空字符串所以給它兜底o(hù)r 避免整頁(yè)內(nèi)容在后續(xù)處理里靜默丟失Word只取段落文本表格里的內(nèi)容會(huì)丟掉如果知識(shí)庫(kù)里有表格型制度文件要看后面避坑章節(jié)的處理方案。把公眾號(hào)文章存進(jìn)知識(shí)庫(kù)我一般不是去爬而是直接復(fù)制全文到Typora或Obsidian里存成Markdown再走上面的Markdown分支。這樣做的好處是保留了小標(biāo)題結(jié)構(gòu)后面按標(biāo)題切塊時(shí)能拿到干凈的語(yǔ)義邊界也天然避開了網(wǎng)頁(yè)里導(dǎo)航、廣告等噪聲文本的干擾。2.2 Embedding模型選型中文私有文檔的四個(gè)候選檢索質(zhì)量的上限由Embedding模型決定不是由大模型決定。這個(gè)順序很多同學(xué)搞反先定LLM然后隨便用一個(gè)Embedding檢索效果差就開始調(diào)Prompt這是本末倒置。建議先做一輪Embedding選型再回去定生成模型。下面這組對(duì)比是我在中文制度類文檔上常用的候選模型維度是否可本地部署中文效果備注BAAI/bge-large-zh-v1.51024是好密集檢索基線需要配合查詢指令前綴BAAI/bge-m31024是好支持多語(yǔ)言和多粒度內(nèi)存占用偏大text2vec-base-chinese768是中資源占用低適合老舊電腦跑演示云端API百煉、千帆等不等否好零部署但要把文檔內(nèi)容傳到外部私有場(chǎng)景慎用私有知識(shí)庫(kù)的核心訴求恰好在“私有”二字上一般優(yōu)先推薦bge-m3或bge-large-zh-v1.5。前者在長(zhǎng)文檔和混合語(yǔ)言場(chǎng)景更穩(wěn)后者單機(jī)幾個(gè)GB內(nèi)存就能跑。選型時(shí)有一個(gè)容易踩的坑不同Embedding模型產(chǎn)出的向量維度不一樣切換模型之后必須重建向量索引否則FAISS加載時(shí)直接把進(jìn)程崩掉這屬于“換了模型忘了索引”的低級(jí)事故避坑章節(jié)里我會(huì)展開講。另外知識(shí)圖譜型知識(shí)庫(kù)KG與RAG知識(shí)庫(kù)是兩條不同的路線。KG適合實(shí)體關(guān)系密集的場(chǎng)景比如公安案件、企業(yè)供應(yīng)鏈關(guān)系查詢但構(gòu)建圖譜的標(biāo)注和抽取成本很高RAG知識(shí)庫(kù)更適合制度文本、操作手冊(cè)這類“一段話講清楚一件事”的內(nèi)容。畢業(yè)設(shè)計(jì)里如果選的是制度問答老老實(shí)實(shí)走RAG就夠了別為了湊創(chuàng)新點(diǎn)硬上KG。2.3 圖片和表格要不要進(jìn)知識(shí)庫(kù)熱搜里常有人問“RAG知識(shí)庫(kù)能存儲(chǔ)圖片嘛”。純文本RAG處理不了圖片像素但有兩種變通一是用多模態(tài)Embedding把圖片和文字一起向量化二是先把圖片轉(zhuǎn)成文字描述再入庫(kù)。畢業(yè)設(shè)計(jì)不建議引入多模態(tài)顯得復(fù)雜且答辯不好講。更實(shí)用的做法是把圖片中的文字用OCR識(shí)別出來跟圖片的上下文文本拼在一起表格則按行轉(zhuǎn)成鍵值對(duì)文本再入庫(kù)。常見做法是把表格轉(zhuǎn)成“列名: 值; 列名: 值”的拼接文本例如“姓名: 張三; 部門: 研發(fā)部”而不是直接喂原始表格。原因在于切塊和Embedding對(duì)純排版結(jié)構(gòu)不敏感鍵值對(duì)文本的語(yǔ)義密度遠(yuǎn)高于帶空格的表格原樣。這一步雖然土但能顯著減少后端生成的幻覺。數(shù)據(jù)清洗時(shí)再順手做兩步去掉連續(xù)空行和亂碼字符按標(biāo)題把一篇長(zhǎng)文檔預(yù)切成小節(jié)這樣切塊器工作的目標(biāo)粒度從“整本手冊(cè)”變成“一個(gè)章節(jié)”召回效果會(huì)明顯提升。3. 用Python把“檢索生成”串起來最小可跑的RAG流水線3.1 本地向量庫(kù)FAISS bge-m3 的建庫(kù)與檢索一個(gè)能拿來答辯的RAG系統(tǒng)最核心的代碼量其實(shí)只有兩百行左右。我強(qiáng)烈建議不要一上來就套LangChain的完整流程畢業(yè)設(shè)計(jì)里要先自己手寫一遍Embedding和檢索哪怕后面用框架重構(gòu)成產(chǎn)品形態(tài)答辯時(shí)也能講清楚“向量從哪來、索引長(zhǎng)什么樣、檢索怎么算相似度”。下面這套最小可跑的組合直接用SentenceTransformer加載本地中文Embedding模型用FAISS建密排索引。from sentence_transformers import SentenceTransformer from langchain_text_splitters import RecursiveCharacterTextSplitter import faiss import numpy as np model SentenceTransformer(BAAI/bge-m3) splitter RecursiveCharacterTextSplitter( chunk_size500, chunk_overlap50, separators[\n\n, \n, 。, , , ], ) def load_documents(file_paths: list[str]) - list[str]: # file_paths 來自上一章 load_document 的歸一化結(jié)果 return [load_document(fp) for fp in file_paths] def build_index(docs: list[str]): chunks [ c for doc in docs for c in splitter.split_text(doc) ] vectors model.encode( chunks, normalize_embeddingsTrue ).astype(float32) index faiss.IndexFlatIP(vectors.shape[1]) index.add(vectors) return index, chunks def search(index, chunks, query, k4): query_vec model.encode( [query], normalize_embeddingsTrue ).astype(float32) scores, idx index.search(query_vec, k) return [ (float(scores[0][i]), chunks[idx[0][i]]) for i in range(k) ]代碼邏輯分三塊切塊器把每個(gè)文檔切成500字的小段段間重疊50字模型把每段變成1024維向量normalize_embeddingsTrue讓向量落在單位球面上檢索用IndexFlatIP也就是內(nèi)積相似度歸一化之后的內(nèi)積等價(jià)于余弦相似度。參數(shù)上chunk_size500對(duì)制度條款類中文文本是安全起點(diǎn)overlap50能避免句子被從中間腰斬。這里有個(gè)容易忽略的細(xì)節(jié)split_text返回的是字符串列表RecursiveCharacterTextSplitter的順序是先按“\n\n”切再按句號(hào)切最后按空格這意味著Markdown的段落邊界會(huì)被優(yōu)先保留比固定長(zhǎng)度硬切合理得多。如果裝不上langchain-text-splitters也可以手寫一個(gè)按標(biāo)點(diǎn)切塊的函數(shù)但多級(jí)分隔符的優(yōu)先級(jí)順序要保留。3.2 生成環(huán)節(jié)Ollama 本地大模型 帶出處約束的Prompt檢索拿到top-k片段之后生成環(huán)節(jié)的任務(wù)是“忠實(shí)復(fù)述”不是“自由發(fā)揮”。我用Ollama跑本地模型比如qwen2.5:7b通過OpenAI兼容接口調(diào)用這樣一個(gè)Client可以在本地和云端API之間平滑切換。Prompt里的核心約束是只能依據(jù)給定資料作答資料里沒有的內(nèi)容要明說不知道。from openai import OpenAI client OpenAI( base_urlhttp://127.0.0.1:11434/v1, api_keyollama, # Ollama 本地服務(wù)不校驗(yàn) key占位即可 ) def ask(query: str, hits: list[tuple[float, str]], top_k: int 3): context \n\n.join([ f片段{i1}{text} for i, (_, text) in enumerate(hits[:top_k]) ]) prompt ( 你是一個(gè)嚴(yán)謹(jǐn)?shù)膯柎鹬?。?qǐng)只根據(jù)下面的資料回答問題。\n 資料中沒有的信息請(qǐng)回答“資料中未找到相關(guān)內(nèi)容”不要編造。\n 回答時(shí)標(biāo)注你引用的片段編號(hào)。\n\n f資料\n{context}\n\n f問題{query} ) resp client.chat.completions.create( modelqwen2.5:7b, messages[{role: user, content: prompt}], temperature0.2, max_tokens512, ) return resp.choices[0].message.content這里temperature0.2是為防止模型在事實(shí)問答里“文采飛揚(yáng)”從而引入幻覺max_tokens512對(duì)大多數(shù)制度問答夠用。讓模型標(biāo)注片段編號(hào)有兩個(gè)作用一是給用戶提供出處答辯時(shí)這是很好的加分項(xiàng)二是當(dāng)模型引用了不存在的片段或半句話你能從編號(hào)反查是切塊問題還是檢索問題。實(shí)際演示時(shí)一個(gè)常見的翻車現(xiàn)場(chǎng)是模型滔滔不絕地把檢索片段之外的知識(shí)也講出來所以Prompt里“不要編造”這五個(gè)字往往比調(diào)大top_k更管用。生成這一步還有個(gè)小技巧把之前的問答歷史拼進(jìn)上下文實(shí)現(xiàn)多輪追問。簡(jiǎn)單做法是維護(hù)一個(gè)messages列表把前一輪的user/assistant內(nèi)容追加進(jìn)去但要注意上下文膨脹超過模型窗口后反而把檢索片段擠掉。我一般只保留最近兩輪對(duì)話再多就截?cái)唷?.3 手寫流水線 vs Dify/開源知識(shí)庫(kù)畢業(yè)設(shè)計(jì)怎么選熱搜里頻繁出現(xiàn)Dify知識(shí)庫(kù)和開源知識(shí)庫(kù)很多同學(xué)會(huì)糾結(jié)畢業(yè)設(shè)計(jì)要不要直接用Dify拉流水線我的看法是Dify適合做產(chǎn)品原型和現(xiàn)場(chǎng)演示但如果論文要求“實(shí)現(xiàn)一個(gè)系統(tǒng)”直接拖節(jié)點(diǎn)很容易被答辯老師問住——你寫進(jìn)論文的“創(chuàng)新點(diǎn)”會(huì)變成“配置點(diǎn)”。手寫代碼的另一個(gè)好處是能精確監(jiān)控每個(gè)環(huán)節(jié)的耗時(shí)和丟失率Dify里的“知識(shí)庫(kù)排隊(duì)中”這類黑匣子狀態(tài)到了答辯現(xiàn)場(chǎng)很難解釋。不過這并不意味著不該了解Dify。它的知識(shí)庫(kù)本質(zhì)就是文檔集、切塊策略、向量庫(kù)、檢索參數(shù)四件套你完全可以在論文的“系統(tǒng)設(shè)計(jì)”章節(jié)畫同樣的四層結(jié)構(gòu)再用自己的Python代碼逐層落地。開源知識(shí)庫(kù)也可以拿來對(duì)比選型但源碼級(jí)研究還是回到FAISS與SentenceTransformer這條主線最省力。底線是界面可以用現(xiàn)成框架套但檢索和生成的鏈路代碼必須能在自己機(jī)器上從零跑通否則論文的“系統(tǒng)實(shí)現(xiàn)”站不住。4. 讓回答從“能跑”到“靠譜”三個(gè)必調(diào)參數(shù)、混合檢索與Reranker4.1 三個(gè)必調(diào)參數(shù)chunk_size、chunk_overlap、top_k把系統(tǒng)跑通只需半天調(diào)參卻可能花掉一周因?yàn)槊總€(gè)參數(shù)都直接影響檢索命中率而命中率又決定生成質(zhì)量。三個(gè)必調(diào)參數(shù)是chunk_size切塊大小、chunk_overlap切塊重疊、top_k送入生成模型的片段數(shù)量。chunk_size語(yǔ)義上等于“模型一次能看到的資料粒度”。設(shè)置太小比如200一個(gè)完整的條款被攔腰拆散檢索到的是殘句設(shè)置太大比如1000向量里混入太多無關(guān)信息相似度被稀釋。中文制度文檔一般從400到600之間起步。chunk_overlap是防止句子被從中間切開導(dǎo)致語(yǔ)義斷裂的緩沖經(jīng)驗(yàn)值是chunk_size的10%到20%。top_k則需要在“上下文完整”和“上下文干凈”之間平衡top_k2時(shí)上下文很干凈但容易漏關(guān)鍵出處top_k6時(shí)召回高但Prompt會(huì)塞進(jìn)噪聲。我常用top_k4做默認(rèn)值再配合重排序修正。調(diào)參不能靠手感要寫一個(gè)離線評(píng)估腳本把幾十個(gè)“問題-標(biāo)準(zhǔn)答案”喂進(jìn)去算召回率。def evaluate_params( docs: list[str], qa_pairs: list[dict], chunk_size: int, overlap: int, top_k: int, ) - float: splitter RecursiveCharacterTextSplitter( chunk_sizechunk_size, chunk_overlapoverlap, separators[\n\n, \n, 。, , , ], ) chunks [ c for doc in docs for c in splitter.split_text(doc) ] # 注意chunk_size 變了之后必須重建索引 vectors model.encode(chunks, normalize_embeddingsTrue).astype(float32) index faiss.IndexFlatIP(vectors.shape[1]) index.add(vectors) hit 0 for item in qa_pairs: hits search(index, chunks, item[question], ktop_k) texts [text for _, text in hits] if any(item[golden] in text for text in texts): hit 1 return hit / len(qa_pairs)這段代碼把“問題-包含答案的片段原文”作為測(cè)試集統(tǒng)計(jì)top_k召回里是否出現(xiàn)答案所在片段。如果數(shù)據(jù)里沒有一塊完整片段包含答案說明chunk_size太小把答案切碎了。這個(gè)“答案落在一個(gè)chunk里”的比率就是檢索系統(tǒng)的底氣比率低于70%先別急著調(diào)Prompt回來調(diào)切塊。參數(shù)說明上chunk_size和overlap在切塊時(shí)就決定了chunk集合的形狀改完必須重建索引top_k只影響檢索讀取多少片段不需要重建索引可以快速掃幾個(gè)值。所以調(diào)參順序是先固定top_k4用腳本掃chunk_size和overlap再固定最優(yōu)切塊掃top_k。批量跑的時(shí)候把結(jié)果記錄成CSV方便寫進(jìn)論文的“實(shí)驗(yàn)與分析”章節(jié)。很多人工標(biāo)注問答對(duì)的同學(xué)會(huì)忽略一點(diǎn)測(cè)試集要和調(diào)參過程分離留出至少10個(gè)“沒用來調(diào)參”的問題做最終驗(yàn)證否則調(diào)參過程會(huì)過擬合到自己這批題上。4.2 混合檢索BM25補(bǔ)上精確匹配的盲區(qū)向量檢索用語(yǔ)義相似度找“意思相近”的片段但對(duì)專有名詞、工號(hào)、公文編號(hào)這類精確字符串并不敏感。比如你問“請(qǐng)找出編號(hào)為ZD-2024-001的制度文件”語(yǔ)義向量很可能把它匹配到“制度文件”上而丟掉編號(hào)?;旌蠙z索的常見做法是對(duì)同一批chunk同時(shí)建BM25倒排索引和向量索引檢索時(shí)分別取結(jié)果再用帶權(quán)重的分?jǐn)?shù)融合合并。from rank_bm25 import BM25Okapi # 中文按字切分最穩(wěn)按詞切分容易切錯(cuò)專有名詞 tokenized_chunks [list(chunk) for chunk in chunks] bm25 BM25Okapi(tokenized_chunks) def hybrid_search(query: str, k: int 4, alpha: float 0.5): vec_scores, vec_idx index.search( model.encode([query], normalize_embeddingsTrue).astype(float32), k * 2, ) bm25_scores bm25.get_scores(list(query)) max_bm25 max(bm25_scores) or 1.0 vec_norm [float(s) for s in vec_scores[0]] max_vec max(vec_norm) or 1.0 combined {} for pos, i in enumerate(vec_idx[0]): combined[i] alpha * (vec_norm[pos] / max_vec) for i in range(len(chunks)): bm25_part (1 - alpha) * (bm25_scores[i] / max_bm25) combined[i] combined.get(i, 0.0) bm25_part top_indices sorted( combined, keylambda i: combined[i], reverseTrue, )[:k] return [(combined[i], chunks[i]) for i in top_indices]上面的權(quán)重融合先把向量分?jǐn)?shù)和BM25分?jǐn)?shù)各自歸一化到0到1再用alpha做線性加權(quán)否則兩類分?jǐn)?shù)量綱不同相加沒有意義。中文場(chǎng)景我建議按單字切分而不是按詞因?yàn)榉衷~器對(duì)制度文本里的新詞很容易切錯(cuò)。alpha控制語(yǔ)義和精確匹配的側(cè)重制度編號(hào)多的文檔alpha取0.4以下口語(yǔ)化問答多alpha取0.6以上?;旌蠙z索不是越復(fù)雜越好但BM25插件的成本極低且在答辯里屬于“檢索策略有改進(jìn)”的加分點(diǎn)。4.3 用Cross-Encoder做重排序粗排精排的經(jīng)典打法向量檢索的第一階段是雙塔結(jié)構(gòu)速度快但精度有限第二階段用Cross-Encoder把查詢和每個(gè)候選片段拼起來打分精度高但慢。RAG流水線里常見做法是向量和BM25各召回幾十分交給重排序模型統(tǒng)一打分再取top_k送入生成。這個(gè)“粗排精排”的思路在搜索引擎里是標(biāo)配放到RAG里一樣成立。from transformers import AutoTokenizer, AutoModelForSequenceClassification import torch tokenizer AutoTokenizer.from_pretrained(BAAI/bge-reranker-v2-m3) reranker AutoModelForSequenceClassification.from_pretrained( BAAI/bge-reranker-v2-m3 ) reranker.eval() def rerank(query: str, candidates: list[tuple[float, str]], top_k: int 3): pairs [(query, text) for _, text in candidates] inputs tokenizer( pairs, paddingTrue, truncationTrue, max_length512, return_tensorspt, ) with torch.no_grad(): scores reranker(**inputs).logits.squeeze().tolist() scored sorted( zip(scores, candidates), keylambda x: x[0], reverseTrue, ) return [item for _, item in scored[:top_k]]Cross-Encoder一次只能處理一對(duì)文本所以它只能在“候選數(shù)量已經(jīng)很小”的環(huán)節(jié)用。我一般讓向量檢索先召回30個(gè)候選重排序后取4個(gè)進(jìn)入生成這樣既保住了檢索的廣度又把生成環(huán)節(jié)的上下文噪聲壓到了最低。這個(gè)設(shè)計(jì)在代碼上成本不高但能在論文里放一張“加Reranker前后回答準(zhǔn)確率對(duì)比”的圖屬于投入產(chǎn)出比很高的優(yōu)化點(diǎn)。需要注意bge-reranker-v2-m3按查詢與片段對(duì)打分分?jǐn)?shù)含義是相關(guān)性不能直接和向量相似度比較。5. 避坑指南最常翻車的五個(gè)地方現(xiàn)象、原因、解決5.1 PDF表格整段消失檢索永遠(yuǎn)命不中現(xiàn)象喂進(jìn)知識(shí)庫(kù)的PDF里有幾張帶邊框的表格任何關(guān)于表格內(nèi)容的問題都檢索不到。 原因pdfplumber的extract_text()只提取文字流邊框表格的單元格文本會(huì)被漏掉或亂序。 解決表格頁(yè)面先用page.find_tables()拿到單元格坐標(biāo)逐格取文本再按行合并也可以直接用page.extract_tables()但合并單元格會(huì)拆成空值。畢業(yè)設(shè)計(jì)數(shù)據(jù)量通常不大我一般優(yōu)先人工整理成Markdown表格再入庫(kù)既不丟信息又省調(diào)錯(cuò)時(shí)間。如果表格實(shí)在太多再用腳本處理別上來就全自動(dòng)否則你會(huì)花一下午查數(shù)據(jù)去哪了。5.2 切塊把句子攔腰截?cái)啻鸢赣肋h(yuǎn)差后半句現(xiàn)象檢索命中的片段總是“半句話”模型生成時(shí)只能說一半怎么調(diào)Prompt都沒用。 原因切塊器按固定字?jǐn)?shù)切分沒有感知句號(hào)逗號(hào)separators里沒放中文標(biāo)點(diǎn)。 解決RecursiveCharacterTextSplitter的separators按順序嘗試邊界要把“?!焙汀啊狈旁诳崭袂懊嫒绻袎K器不支持多級(jí)分隔符就在切之前先給文本做預(yù)分段再按chunk_size聚合。檢查方法是打印前20個(gè)chunk看有多少以句號(hào)結(jié)尾。以我的經(jīng)驗(yàn)中文文本如果chunk里句號(hào)結(jié)尾占比低于80%切塊策略就該調(diào)了。5.3 檢索到了但回答“未找到”Prompt把答案憋壞了現(xiàn)象檢索出的片段明明包含答案模型卻回答“資料中未找到相關(guān)內(nèi)容”。 原因兩個(gè)常見原因一是top_k2導(dǎo)致答案片段被截到上下文之外二是Prompt要求模型“只能根據(jù)資料回答”時(shí)模型過于保守或者max_tokens太小把答案截?cái)嗔恕?解決先打印送入生成模型的context確認(rèn)答案是否真的在context里。若不在調(diào)高top_k若在問題出在生成環(huán)節(jié)把Prompt改為“優(yōu)先依據(jù)資料回答資料不足時(shí)請(qǐng)說明”并調(diào)大max_tokens。這條排查順序非常重要檢索問題先于生成問題不要在沒看context時(shí)瞎調(diào)Prompt。5.4 換Embedding模型后進(jìn)程崩潰索引維度寫死了現(xiàn)象上午用bge-large-zh建好庫(kù)下午換bge-m3程序啟動(dòng)直接段錯(cuò)誤退出。 原因FAISS索引在創(chuàng)建時(shí)確定了向量維度IndexFlatIP(dim)已經(jīng)寫死新模型維度不同index.add()會(huì)內(nèi)存越界。 解決每次切換模型后把索引文件和chunk文本一起重建。建議把模型名和維度寫進(jìn)索引文件名比如index_bge-m3_1024.faiss加載時(shí)先校驗(yàn)維度再加載。FAISS索引文件本身可刪可重建真正怕的是chunk文本和索引順序?qū)Σ簧纤运饕募cchunks的序列化文件要成對(duì)保存。5.5 檢索出“相似但不相關(guān)”的片段長(zhǎng)尾問法搞不定現(xiàn)象用戶用自然口語(yǔ)提問檢索結(jié)果卻總是另一份相似文檔的片段。 原因雙塔Embedding對(duì)字面差異敏感對(duì)語(yǔ)義改寫不夠魯棒或者測(cè)試集里這一類問題本身就少切塊與模型都沒針對(duì)性優(yōu)化。 解決混合檢索里的BM25能兜住字面匹配Reranker能修正語(yǔ)義排序二者疊加后此類現(xiàn)象大幅減少。另一個(gè)有效手段是給查詢加一個(gè)重寫步驟把口語(yǔ)問題改寫成規(guī)范問句再檢索比如“工資什么時(shí)候發(fā)”改寫成“工資發(fā)放時(shí)間”。這個(gè)邏輯可以寫成一個(gè)小函數(shù)也可以讓生成模型在檢索前代為改寫但畢業(yè)設(shè)計(jì)階段用規(guī)則或Few-shot最省錢可控。6. 進(jìn)階用離線評(píng)估和鏈路快照給答辯交一份能復(fù)現(xiàn)的數(shù)字6.1 三個(gè)離線指標(biāo)替代“我覺得變好了”把系統(tǒng)調(diào)到位之后最容易被忽略的是評(píng)估。答辯最怕老師說“這個(gè)效果是你自己調(diào)出來的換一批文檔還能用嗎”。我最后做的一道工序是把評(píng)估腳本固化召回率k、答案中含golden片段的比例、單次問答的生成時(shí)長(zhǎng)中位數(shù)。每改一個(gè)參數(shù)命令行跑一遍輸出對(duì)比表。這里的關(guān)鍵是測(cè)試集要留出一部分“沒參與調(diào)參”的問題防止過擬合到自己這批文檔上。6.2 把一次問答的完整鏈路dump下來另一個(gè)實(shí)用技巧是把每次問答的chunk片段、Prompt、模型輸出全部存成JSON文件翻車時(shí)對(duì)著JSON看是哪一環(huán)出了問題而不是盯著終端猜測(cè)。鏈接口返回異常、檢索為空、生成超時(shí)分別記不同的錯(cuò)誤碼答辯現(xiàn)場(chǎng)出了問題也能說“這是哪一層的日志”。def save_trace(question, hits, final_answer, pathtrace.jsonl): import json record { question: question, hit_chunks: [text[:100] for _, text in hits], answer: final_answer, } with open(path, a, encodingutf-8) as f: f.write(json.dumps(record, ensure_asciiFalse) \n)這段代碼把當(dāng)前問題的檢索片段截?cái)嗪笈c最終答案一起落盤。字段刻意只保留前100字避免日志文件膨脹你要做的就是每改一次參數(shù)后跑一批問題對(duì)比兩次的JSON記錄看答案是變好了還是只是換了個(gè)說法。我最深的教訓(xùn)是第一次做RAG時(shí)花了三周調(diào)大模型最后發(fā)現(xiàn)70%的問題來自切塊和Embedding而不是LLM。所以我強(qiáng)烈建議你先跑通離線評(píng)估再去做界面和包裝。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月丁香成年黄色| 婷婷色五月天色| 五月停停丁香| 97干在线| 超碰色天堂| 五月停亭六月,六月停亭的英语 | 婷婷亚洲综合| 天天撸天天干天天插| 日本久草福利| 美女被肏网站在线看| www.maotanji.com| 五月激情婷婷在线| 九九热这里只有精品12| 激情小说五月天社区丁香| 日日影院 | 久热播这里只有精品| 中文AV在线播放| 风流少妇A片一区二区蜜桃| 久久久久五月丁香| 另类天堂| 天天看A片| 综合视频五月| 婷婷激情蜜桃玖玖丁香| 激情综合网络插| 六月丁香成人| 中文字幕丰满孑伦无码专区| 免费看欧美成人A片无码| 成人永久免费视频在线观看| 丁香六月激情| 77777亚洲午夜久久| 久久丁香| 婷婷五月影院| 99热6这里只有精品| 六月丁香影院| 99热这里只有精品 搜| 九九碰九九爱97超碰| Caoub青青超碰 | 九九人人看| 综合av在线| www.婷婷五月| 激情www| 日韩在线五月天婷婷| 国产色婷婷亚洲| 超碰色色综合| 久久久激情视频| 大香蕉在线99热| 99开心五月五月丁香激情| 日本A片一区| A片试看50分钟做受视频| 9999三级片| 婷婷丁香五月亚洲免费| 人人爱人人草| 精品久热69| 五月天伊人综合| 五月天伊人日日噜影片AV| 婷色五月| 99热99色| 色色网站免费在线视频| 99re这里只有精品国产99| 五月天激情图片| www.激情com| av一区二区电影免费在线观看| 在线理论片| 激情六月婷婷| 亚洲精品V天堂中文字幕| 日日操天天操| 香蕉AV777XXX色综合一区| 另类图片五月天| 99热资源在线| 久热免费| 五月婷婷色色爱| 精品夜夜澡人妻无码AV| 欧美成人一区二区三区在线视频| 婷婷五月激情四射手| www.伊人天堂偷偷婷婷| 人妻肉射免费观看| 亚洲免费99| 久热这里只有精品66| 96性爱视频| 婷婷五月天手机版视频| 美女丁香五婷婷| 99久久玖玖| 婷婷五月激情视频| 久久色天堂| 午夜丁香| 免费看欧美成人A片无码| 成人无码髙潮喷水A片| 国产精品A成V人在线播放| 极品人妻VIDEOSSS人妻| 激情婷婷丁香色五月| 色色综合五月| 妇激情基地| 婷婷丁香社区网| 婷婷开心深爱五月天| 色五月婷婷激情综合网| 久久这里有精品视频在线免费观看| 婷婷精品性性性性性性性| 99热这里只有精品86| 日本美女五月天| 日韩综合天堂| 日本视频久久| 久99久在线| 丁香五月在线伊人| 五月成人网站| 久这里只有精品| 色综合久久伊伊婷婷五月| 久久视频九九视频| 久久久99视频| 真实的国产乱XXXX在线91| 色天堂操| www.伊人天堂偷偷婷婷| 婷婷五月天激情小说| 综合婷婷| 狼人婷婷综合| 久久这里只有精品无码| 67194成I人在线观看线路1| 乱岳熟女50岁| 蜜臀av粉嫩av懂色av| 亚洲成人高清在线| 五月婷婷我| 国产avapp 网| 色约约视频一区二区三区四区五区 | 婷婷综合激情| 丁香婷婷老司机久操| 久综合| 六月丁香婷啪射| 九九色综合九九色| 亭亭五月色男人| 610018岁成人视频| 婷婷月五天在线在线看| 人人草开心五月天| 人人草人人爱手机视频看看 | www.色99| 蜜桃婷婷狠狠久久| 色五月丁香六月欧美综合| 色激情综合| 久久婷青青草原| 91热在线| 欧美VA在线| 激情五月天 婷婷| 色综合9| 另类的婷婷| 天天操天天操天天操天天操天天操| 丁香色婷婷五月天| 五月天婷婷綜合院| 天天操天天操天天操天天操天天操| 五月天激情综合| 久久五月天免费网站| 在线,国产,色,热视频| 久久婷婷综合五月天| 99久久网站| 丁香五月综合久久| 婷婷五月天激情诱惑| 丁香五月天啪啪| 久久新| 婷婷六月色情| 激情五月婷婷| 国产成人VA| 97久久人人操| 中文字幕在线免费| 99热在线精品观看| 久久一品区| 日本欧美成人片AAAA| 婷婷91| 26uuu| 天天射天天插天天干| 在线看片av| 人人摸人人摸| 色噜久| 中文字幕簧片| 亚洲超碰中文字幕| 天天谢天天操| 大战熟女丰满人妻AV| 色色色激情| 亚洲在线综合| 天天做天天爱天天搞| 亚洲网站999| 色色热日| 狠狠人人婷婷| 夜夜久久综合网 | 日韩成人综合网| 丁香五月天激情四射网| 中文字幕综合| 超碰在线91| 五月天激情四射网站| 五月丁香综合久久夜夜| 色停停五月,在线观看| 91在线视频观看午夜福利| 99热99热在线观看| 万月丁香狠狠爱| 亚洲成人乱码av网站| 国产古装妇女野外A片| 日韩成人五月天| 97干在线| 天天色激情| 大香蕉AV电影在线| 青青草成人网| 婷婷综合视频| 9久精品| 99热这里只有精品在线免费| 国产乱妇乱子在线播视频播放网站| 色综合久久五月| 99操碰| 五月丁香美女| 久久五月婷综合| www.开心激情| 99碰超| 九九热视频在线观看| 99热最新精品| 一级内射毛片| 综合色情网| 思思热久久阴99| 91chinese在线| 天天做综合| 五月天婷婷基地| 午夜激情五月| 色色五月天网站| 深爱激情六月天| 丁香六月婷月91婷月| 国产毛片精品一区二区色欲黄A片| 日本噜噜色网| 91九色小视频| 青柠影视免费高清电视剧| 五月婷婷欧美激情| 五月天成人综合| 色色无码| 五月天色社区| 色噜噜狠狠色综| 少妇性按摩无码中文A片| 另类激情五月| 精品婷婷| 999热视频精品99免费在线| 久久怕怕视频| 欧美激情xxxXX| 啪啪视频99| xxxx久| 伊人大香五月天| 色级停停| 五月激情影视| 天天干天天射色综合| 五月丁香欧美综合| 影音先锋男士资源网一区| 综合五月激情网| 伊人激情啪啪| 丁香五月婷婷www..com| 久久99网站| 丁香成人色情五月天| 视频久久9| 狠狠色色| 99久久综合网| 3www激情| 综合激情五月丁香9999久久精| 在线不卡的视频| AAA久久| 五月婷综合性中心| 婷婷亚洲日本| 五月丁香六月婷婷久久肏| av在线资源| 99成人免费热视频| 伊人成人宗合网| 99在线资源| 色色色香蕉五月婷| 超碰在线国产| 久操激情| 五月丁香六月玩女人| 天天成人综合| 亭亭玉立国色天香| 色综合久久44| 亚洲黄3级片网站欧美| 国产偷人爽久久久久久老妇APP| 色色国产| 亚洲视频伍月婷婷| 天天成人综合视频| 色五月丁香激情视频| 久热 91| 无码一区二区三区四区五区91c| 香蕉久久国产AV一区二区| 九九热99热| 26uuu亚洲色| 色99在线| 久久久www| 99热伊人综合| 丁香六月婷婷激情| 婷婷丁香91综合| 亚洲五月婷婷| 亚洲最大视频| 五月色婷婷综合| 激情五月天偷拍综合网| 亚洲mm色| 五月色欧美| 色色永久| 综合五月天亚洲婷婷| 黄网免费看| 蜜臀99久久精品久久久久| 国产精品电| 色婷婷六月| 亚洲色网址| 天天操无码| 超碰成人av| 五月婷婷中文字幕AV| 5月丁香六月婷婷| www.思思99热| 丁香五月婷婷婷婷欧美综合| 成人AV在线电影| 亚洲综合网 665566| 久久婷婷五月天激情四射| www,超碰| 大香蕉中文| 六月婷婷网| 久99精品视频| 色呦呦美女| 成年人夜夜喷水| 五月丁香啪啪综合| VA婷婷| 深爱婷婷基地| 色综合久久天天综合网| 五月丁综合在线观看| 五月婷婷这里都是精品| 99r这里| 色五月婷婷久久| 五月丁香六月情| 日本婷婷色日| 九九色影视| 九九色婷婷| 婷婷欧美激情综合| 秋霞三级色戒| 五月婷婷九| 99热中文字幕久久| 色五月婷婷av| 亚洲V国产V欧美V久久久久久| 国产精产国品一二三在观看| 婷婷五月丁香激情| 中文字幕欧美久久| av 一区三区四区| 深爱激情AV| 天天草天天日| 狠狠爱婷婷爱| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 色噜噜狠狠狠综合曰曰曰| 97韩国久久电影院| 久久久香| 婷婷91| 日韩另类| 婷婷丁香五月天熟女丝袜| www久久艹| 激情五月婷婷丁香六月| 五月天六月婷婷电影| 来吧亚洲综合网| 欧美 日韩 成人 在线| 五月天婷婷激情| 97caop| 91oumei| 综合色图区| 99热精在线九九久久保| 亚洲精品永久久久久久| 五月婷婷六月丁香在线| 丁香五月激情啪啪啪啪| 丁香五月天在线观看视频| 69堂午夜视频最新地址| 久久丁香五月天| 婷婷97碰碰| 色综合天天| 五月黄色婷婷| 9久久精品| 翔田千里无码| 日韩超碰在线| AA片在线观看视频在线播放| 99精品视频偷拍| 亚洲五月综合色播| 综合狠狠干| 天天射影院| 操日视频| 五月天婷婷丁香视频| 女人被男人吃奶到高潮| 99视频在线观看地址| 超碰A V在线| 亚洲综合九九| 九九色热| 狠狠狠狠狠狠| 超碰9| www.五月丁香av| 夜夜大香蕉婷婷丁香| 欧美电影在线观看| 丁香五月婷婷激情小说| 狠狠色丁香| 国产精品99久久久久久久女警| 99日视频在线| 伊人五月丁香| 精品国产乱码久久久久夜深人妻 | 婷婷五月丁香啪啪| 久久狠狠干| 激情99| www.精品99| 国产成人va在线| 天天精品视频免费观看| 九九碰九九爱97超碰| 99色在线视频| 亚洲激情视频在线观看| www.色婷婷.com| 久99久视频精品| 91色综合| 久热黄色| 激情文学第四色婷婷丁香五月| 久一这里有精品国产| 色久女| 九97免费视频| 婷婷五月天成人综合网| 香蕉AV777XXX色综合一区| 99综合网| 色婷婷小说| aaa9区免费在线观看| 不卡影院午夜理论片| 婷婷五月情| 182TV亚洲| 色婷婷www| 丁香五月婷婷av影院| 九九综合精品| 婷婷色婷婷| 婷婷五月天奸女| 色欲婷婷五月天丁香| 欧美成人AAA片一区国产精品| 丁香九月激情| www.99热| 丁香婷婷偷拍| 亭亭社区五月天| 丁香五月激情婷婷| 国产精品五月丁香| 性做爰1一7伦| 欧美婷| 欧美三级巜人妻互换| 天天射夜夜爽| 禁欲电影完整版在线播放| 99小视频| 九九热精品| peg 2区三区四区的| 丁香婷婷久久| 丁香五月婷婷深爱综合激情| www.minyis.com【JT】实力收量可预付QQ2101460746 | 五月天婷婷丁香视频| 九九热99在线视频| 荫道BBWBBB高潮潮喷| 99在线观看精彩视频| 香蕉久久国产AV一区二区| 99五月丁香丁| 国产伦亲子伦亲子视频观看| 亚洲综合色五月| 色就色94欧美setu| 人人操五月天| 婷婷五月天影院| 大香蕉啪啪网| 5月色亭亭视频| 成人无码精品1区2区3区免费看| 天天做天天爰天天爽天天无遮挡| 日本色99网站| 天天爱天天狠天天透| 欧美日韩成人在线网站| 五月丁香福利| 五月婷婷丁香大陆免费| 色五月综合网| 激情五月四色| 五月天久久婷婷| 日韩在线视频网站| 国产99久久久国产精品免费看| 日本本土色网第一区| 99色热综合| 色色色色色色网站| 99久久综合| 疯狂做受XXXX高潮A片动画| 激情五月天开心网丁香无码| 97操资源婷婷| 二色av| 日本五月婷婷久久久六月丁香| 色婷婷小说| 色综合久久伊伊婷婷五月| 欧洲电影在线观看免费版英语版 | 婷婷色无码| 丁香婷婷激情网站| 亚洲区视频| 久久久月丁香| 91操在线观看| 人妻av在线| 婷婷丁香五月天狠狠| 综合99久久天天综合| 91色色色| 99网99热| 天天日人人| 亚洲AV成人精品网站在线播放| 五月天狠狠色| 6080av| 99热99思午夜精品| 色五月网址| 一起草性爱不卡视频| 色婷婷影视| 色婷婷小视频| 九九热免费视频| www99热| www九九热| 双性美人被调教到喷水A片| 操逼国产91| 色五月综合网| 99热1| 婷婷成人综合五月| 婷婷中文字幕| 婷婷丁香成人五月天| 久久er99热精品一区二区| 欧美五月婷婷| 九九操综合网| 色色狼人综合| 丁香九色不卡aaa| 99操| 亚洲色五月天| 九热免费视频| 99爱视频在线| 韩国久久少妇视屏| 久久99热这里只有精品23| 91啪啪网| .comwww在线观看免费操| 色五月婷婷五月天| 婷婷免费视频| 激情床戏| 综合在线色婷婷| 婷婷五月免费在线| 热久久成人| 9久热免费视频99| 91综合色噜噜| 亚洲日本韩国| 久操操| 91九色首页| 激情五月天综合网| 激情综合五月婷婷六月丁香| 99热这里只有精品33| WWW.激情| 婷婷五月激情的图片| 日本99在线视频| 人人操人| 国产a视频| 色色色九九九五月婷婷| 久久综合久色欧美综合狠狠| 亚洲亚洲人成综合网络| 99热9| av中文在线| 色婷丁香| 久久婷婷成人综合色怡春院| 激情床戏| 久久婷五月天| 欧美性丁香色色五月天干干| 99色精品视频| 丁香五月首页| 色狠狠五月天| 久月丁香爱婷婷综合| 久热这里只精品| 色五月成人| 久热 91| 久热黄色| 91视频精品99| 久久九九精彩| 久久精品夜色噜噜亚洲a∨| 激情亭亭五月| 色婷婷免费观看| 97精品自拍| 99,色| 激情综合播播| 99色丁香婷婷综合网| 99视频精品8 | 东北婷婷五月天| 久久只这里有精品| 人人视频色| 99r这里| 九九热最新地址| 婷婷五月天激情综合深爱| 色婷婷激情| 在线成人网站| 日韩抽插操逼| 久久精品亚洲热| 热99在线| 久久久久9| 天天爽天天爽| 丁香网站| 久久久久久久久久婷婷| 丁香五月停停基地| 国产噜一噜天天噜| 99视频在线观看视频| av在线色五月丁香婷区久| 五月六月丁香激情| 五月天停婷基地| 大香蕉人妻| 五月丁香六月激情| 婷婷五月天av小说| 久久婷狠狠色| 五月丁香六月婷婷综合网| 1024你懂的欧美曰韩| 91VIP在线观看| 久99热在线观看| 色V狠狠的干| 婷婷色色综合激情| 美女丁香五婷婷| 在线观看的av| 五月天色色无码| 丁香婷婷老司机久操| 51成人| 六月婷婷五月丁香首页| 激情深爱综合网| 人妻中文在线| 色婷婷狠狠久久综合五月| 秋霞AV淫| 五月婷婷免费| 99日韩| 97爱艹婷婷开心丁香激情综合| 丁香五月婷婷久久久| 九色婷婷| 婷婷五月天美女视频| 丁香婷婷六月天| 亚洲国产精品成人午夜| 色五月综合| 五月丁香久久呀| 日韩久久色| 亚洲精品第一色色色色色色| 五月婷婷婷综合网| 丁香婷婷五月六月天| 五月天婷婷色色网| 99re久久| 久久久99免费视频| 九九久99免费视频| 99热久久最新地址| 久久激情网| 天天操天天国产三级片处女学生妹| 日韩AV在线免费观看| 伊人婷婷五月| 99热99极品观看| 五月天婷久久| 天天插天天插天天日| 天天操综合网| 丁香五月婷婷国产av| 久婷首页| 噜噜久| 天天精品视频免费观看| 欧美婷婷精品激| 伊人婷婷青青cao| 五月好婷婷| 强壮的公次次弄得我高潮A片日本 | 九一九九黄色| 五月丁香婷婷激情在线| 五月激情天| 啪啪99| 99超级超级超级碰| 武则天精品久久| 激情五月婷婷开心网| 免费视频WWW在线观看网站| 久久丁香婷婷五月| 激情五月深爱婷婷| 综合久久激情久久| www.狠狠干| 亚洲天堂色色| 五月婷婷影| 婷婷成人五月天成人文学小说| 午夜69成人做爰视频| 色噜噜婷婷| 96精品久久久久久久久| 久久五月婷婷丁香| 婷婷五月天天天| 97在线天堂| http://www.lingjunshare.com/ | 五月婷婷黄色网址| 99热精品9| 亚洲亚洲人成综合网络| 丁香五月婷婷色综合基地| 97干在线视频| 91操碰| 91丨九色丨熟女|新版| 婷婷色色欧美| 色情五月天丁香社区| 综合www色| 亚洲男女激情| 97操女视频| 最新亚洲色色网| 丁香香蕉射射射| 森林影视大全,最好看的2019年视频 | 日韩色色小视频| 二色av| 色性综合| 无码色| 五月婷婷六月丁香激情综合网| 国产69久久久欧美黑人A片 | 色五月丁香伊人五月| 激情综合另类| WWW.桔色成人.COM| 激情黄色小说色五月| 久久久久9999| 国产激情久久久| 99操99| 欧美这里只有精品| 中文网AV| 美女久久婷婷| 99爱在线免费视频| 91一起艹| 亚洲爆乳无码精品AAA片蜜桃| 五月婷婷中文网| 亚洲天堂制| 天天爱天天爽| 婷婷五月av| 99热综合| 亚洲天码视频www蛋播视频| 五月丁香最新| 99热综合| 九九这里精品| 丁香九月激情久久| 26uuu成人网| 亚洲人妻一区二区| 久久综合婷婷五月| 色五月综合| 婷婷五月天综合中文| 激情 婷婷| 思思精品视频| 激情网五月婷婷| 99视频在线播放大全| 五月香婷婷| 99热这里只有精品在线播放| 五月婷婷熟女| 爆乳熟妇一区二区三区四区| 色噜噜狠噜噜视频| 久久五月天综合视频网站| 8050一级网| 久热超碰91| 久色视频首页| 大伊香蕉玖玖爱| 99天堂网| 99热只有| 99er6免费视频热播| 欧美色激情四射| 亚洲综合网 665566| 婷婷五月丁香高清无码| 日本三级片片| 色色色综合网| 精品人妻在线| 久久有码| 夜夜 操无码| 久久曰9| 激情婷婷六月天| 五月丁香六月婷婷综合网站| 婷婷综合激情五月中文字幕| 碰碰操91| 丁香五月在线视频| 91久女| 五月天综合久久| 婷婷婷婷色| 婷丁香五月天| 激情另类综合| 日本三级片片| 一级AV片| 婷婷五月天AV| 久久精品性爱| 欧美激情2025| 天天日天天插天天操| 99啪在线视频| 激情网 久久| 99热国产精品| 五月天婷婷丁香基地在线观看| 婷婷丁香人妻| 九九热这里只有精品23| 五月婷婷六月综合| 99精品国产在热久久| 亚洲婷婷基地| 婷婷五月伦理网站| 人妻肉射免费观看| 久久久久久久久久久久久久人妻视频| 婷婷六月综合基地| 91九九热| 丁香性爱在线视频| 久草热8精品视频在线观看| 婷婷的99视频网站| 中文字幕激情综合| 五月天另类视频| 1995年关宝慧版蜘蛛女| 久久久97| 8区视频在线| 婷婷丁香五月综合久久| 韩日另类| 99九九久久| 九九伊人网| 亚洲欧美一区二区三区爱爱动图| 色五月之第四色| 亚洲天堂爱爱| 欧美大香蕉视频| 丁香色情五月综合激情| 99久久综合狠狠综合久久| 亚洲精品99| 丁香五月天啪啪| 色丁香五月婷婷| 97超级啪啪在线观看| 久久er99热精品一区二区| 丁香五月激情综合| 色情五月婷婷| 色色色热| 色五月激情五月| 五月天激情网站| 91ncom.色| 亚洲五月婷| 99热这里只有精品9| 99视频在线精品| 成人视频婷婷| 人妻啪啪啪| 丁香激情四射| 婷婷丁香九月| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 久久婷婷视频| 精品久久99| 人人爱操| αv中文字幕在线观| 狠狠色综合无线观看| 超级久久久| 大香婷婷| 婷婷六月综合基地| 国产精典视频在线观看| 亚洲五月婷婷| a69在线视频| 2020久久婷婷五月| 亚洲99在线| www.五月天社区| 婷婷五月色亚洲| 韩国天天婷婷| 9999三级片| 九色PORNY9l原创自拍| 日日夜夜天天| 五月婷三级片| 色色丁香色五月| 激情六月婷婷| 五月婷婷天天色| 思思久久99热只有频精品66| 色色色色色色色色网站| 999久久久国产精品| 激情综合五月| 另类少妇人与禽zOZZ0性伦| 久久se 综合网| 岛国资源站| 色婷婷导航| 丁香五月天婷婷久久| 久久久久丁香婷婷五月天| 99福利导航| 五月丁香综合网| av首页在线| 99精品久久久久| 91精品熟女| 丁香婷婷色情社区成人小说| 99热精品在线| 婷婷啪啪| 婷婷色基地在线看| 蜜臀av无码久久久久久久久| 九九热这里只有精品在线观看| 免费看成人747474九号视频在线观看| 亚洲操b| 久久久久久久11111111111| 人人综合91网| 狠狠色五月激情| 激情综合丁香五月| 天天日天天舔| 久久婷婷五| 久久这里只有精品5| 99视频一区| 亚洲无码99| 极品人妻VIDEOSSS人妻| 欧美色偷拍| 91免费在线视频6| 亚洲va欧美va天堂v国产综合| 婷婷天天日婷婷| 婷婷性爱五月天丁香网| 五月丁了香蕉综合| 夜夜撸日日操| 久热99| 91超级碰在线视频| 丁香六月视频免费观看| 91操操| 久久国产AV| 99热久久这里只有精品| 99在线免费观看| 六月激情网| 国产免费AV在线| 国产色99| 亚洲精品V天堂中文字幕| 久久性刺激| 99热这里只有精品一区| 桃色五月天| 色99婷婷五月天| 日韩一区二区三区无码| 丁香激情网| 大香伊人婷婷影院| 亚洲avjiujiur91| 亚洲婷婷丁香| 精品九九网| 五月精品免费XXX| 99久久综合网| 97婷婷狠狠| 久草五月天| 日本视频不卡123区| 伊人网碰碰| 全国最新疫情| 天天日天天爽| 亚洲综合1024| 婷婷五月色综合| 婷婷色色色| 国产阿姨日皮艹逼内射视频| 丁香六月综合激情| 五月婷久草| 深爱激情网噜噜色| 青青草成人网| 97久久人人| 中文AV在线观看| 国产精品国产| 婷婷五月亚洲一本在线丁香| www.seqingwuyuetian| 婷婷激情伍月网| 五月天激情图片| 激情视频综合| 亚洲另类视频| 久久婷婷大香蕉| 激情五月天www| www.金莲av| 伊人干练久| 午夜一区| 五月婷婷六月丁香激情深爱| 夜夜撸天天操| 99久久婷婷国产综合精品草原| 91成人电影| 玖玖婷婷婷丁香五月| 开心激情网在线| 超碰2021| 久久五月综合| 色婷在线视频| 九九在线视频| 99热在线看| 五月婷婷六月激情| 99热99美国在线观看| 996er热| 91在线视频综合| 婷婷五月影院| 五月天天综合| 99ri在线| 色视频2025| 国产精品涩涩涩视频网站| 超黄亚洲瑟瑟网站| 777影视理论片大全在线观看| 4399在线日本A片| 亚洲AV成人片无码网站| 五月丁香999| A片一曲| 久久五月天精品视频| 大香蕉手机视频| 五月丁香人人婷婷在线观看| 综合久久五| 五月激情六月宗合| 婷婷内射视频在线| 久久ab| 丁香久久AV| 日本色色影片| 99这里只有精品|v| 蜜桃婷婷狠狠久久| 色婷婷网| 中文字幕性爱丰满| 91AV视频| 欧美va视频| 激情综合4月| 欧美日韩二区在线| 婷婷五月花丁香| 亚洲免费观看高清完整版AV线| 婷婷无码视频| 五月六月激情婷婷| 99爱在线| 欧美婷婷日本| 九九这里只这里只有精品| 免费日本aⅴ中文字幕| 五月综合激情网| 99爱视频精品| 操碰色一区就去操| 婷婷综合在线| 99久久婷婷国产综合精品青桔| 高潮毛片又色又爽免费| 色婷婷www| 婷婷色吧| 可以免费观看的AV| WWW.开心五月天.COM| 91丨九色丨国产| 夜色综合网| 婷婷色五月综合丁香| 五月精品99综合| 一区视频网站| 夜夜做天天爽| 激情久久久久久久久久| 开心五月深爱五月| 久久机热这里只有精品| 色欲色天天香综合| 色色色色丁香| 天天操B| 九九九九九九九热| 亚洲AV日韩无码| 久草x色在线观看99| 91色五月| AV国产有码| 91人人操.COM| 狠狠干.com| 色综合丁香| 99成人小视频| 99在线视频色版| 91精选国| 久久这里只有精品8| 99色视频在线| 玖玖色资源站| WWW.久久久久久久| 99视频这里有精品| 亚洲区视频| 久久婷婷五月天亚洲欧美| 亚洲视频a| 九九综合图片网| 婷婷色色综合| 精品久久久人妻| 五月丁香激情综合| 玖操97| 亚洲另类在线观看| 久久九九九九| 欧美日本韩国亚洲| 九九伊人网| 噜噜国产| 久久机只有这里精品| 婷婷月五天在线在线看| 91九九九九九九| 亚洲成人免费电影| 思思热AV| 激情综合网,婷婷五月天| 丁香五月婷婷亚洲综合精品| 99热黄| 99ER热精品视频| 久久婷丁香五月| 色丁香五月天婷婷| 丁香五月激情视频在线| 天天爽天天爽天天爽天天爽天天爽| 久久五月激情| 丁香婷婷午夜| 美女久久婷婷| EEUSS鲁片一区二区三区| 国产熟女一区二区三区五月婷| 丁香午夜天| 久热这里只有精品66| 亚洲综合网区| 激情五月天丁香| 久久久久网站| 啪精品| 啪啪色激情五月天| 97五月婷| 日本欧美成人片AAAA| 日韩人妻无码专区| 成人AV中文字幕| 久久99热这里只频精品6学生| 中文网av| 五月丁香色婷| 激情五月丁香色婷婷| 九九家庭影院| 婷婷丁香五月天综合网| 九九热这里有精品视频| 色五月丁香总合网| 五月天婷婷色五月天| 五月天婷婷久久| 99热国产精品| WWW.婷婷五月天.COM| www.com亚洲网站在线免费| 激情综合婷婷久久| 日本在线wwww| 亚洲免费观看高清完整版AV线| 久久国产高清| 欧美色图天堂网色| 五月亭亭色| 丁香五月综合激情啪啪| 激情综合网五月丁香| www99在线观看视频| 91精品久久久久久| 国产激情久久| 丁香五月亭亭六月综合激情网| 综合激情啪啪| 手机看片日日做夜夜| 激情亚洲五月| AV天堂婷婷五月天| 夜夜爽天操| AV操操操| 开心婷婷五月天激情网| 婷婷五月草| 日本系列_4页_777FP| 丝袜人妻| 五月天色丁香| 91狠狠色丁香婷婷综合久久| 99热在线观看| 丁香五月婷婷图片综合| 欧美三级视频| 国产色99| 另类激情五月| 一区二区乱码视频| 99综合视频| WWW、日本色丁香co m| 色综合五月婷婷狠狠干| 五月香六月婷| 五月丁香婷婷视频| 五月婷婷综合激情网| 99热精品免费| 最新无毒无码AV| 人人色人人弄人人操| 亚洲成Av人片乱码色第1集| 婷婷狠狠18禁久久| 欧日韩AV| 激情五月天色婷婷| 婷婷激情视频| 成人在线视频网| 5月丁香综合图区| 婷婷五月丁香A∨| 97热精品| 亚洲开心激情网| se99视频| 少妇激情五月天| 成人国产欧美大片一区| 日本色色影院| 99在线精品观看99| 思思色综合网站| 婷婷激情视频欧美视频自拍视频欧美剧 | 色色色1网址| 99九九在线观看免费| 678五月丁香亚洲综合| 色婷婷小说| 精品久久人妻| 五月婷九月| 日韩欧美一道四区中文字幕| 激情五月深爱五月观看| 色五月成人在线| 一级黄色影片| 五月久久综合| 色人久久| 俺也去综合| 五月天婷婷操逼视频| 风流少妇A片一区二区蜜桃 | 夜夜撸日日操| 亚洲色区17| 婷婷五月综合婷婷| 欧美va在线| 狠狠色丁香| 色狠狠综合入口| 亚洲精99| 婷婷色五天| 久久久亚洲精品一区二区三区浴池| 在线伦子99热| 热久久99视频| 欧美在线视频免费播放| 九九热123| 91狠狠综合久久久| 婷婷狠狠干| 少妇熟女视频一区二区三区| 亚洲无码成人网| 丁香5月啪啪| 色婷婷网| 欧美日韩五月婷婷| 少妇婷婷五月天| 午夜婷婷| se.久久视频在线观看| 丁香五月天激情小说| 光棍影院日韩精品| 久久99大全| 极品人妻VIDEOSSS人妻| 丁香五月天电影| 久久五月六月| 99热老网站| 久久六月综合| 狠狠狠狠狠草| 五月天激情小说| 碰碰91| 五月天开心婷婷激情网站| 婷婷综合一二三| 五月丁香综合啪啪| AV九九| 无码地址| 99热这里只| 激情五月天色| 五月婷亚洲精品AV天堂| 天天日日人| 国产乱妇无乱码大黄AA片| 免费久久这里只有精品99| 婷婷五月性感| 婷婷五月丁香综合激情| 久久9999| 日本丁香五月| 先锋男人99资源| 日本在线wwww| 婷婷五月天影院| 激情婷婷五月久久| 国产精品18久久久| 色狠狠综合入口| 久人操| 少妇综合网| 深爱开心五月天| 玖玖热99| 99热在线观看精品| 这里只有精品99视频| 婷婷五月天社区| 米奇影视五月天| 九九久久高清| 另类小说五月天| 五月婷庭丁香在线| 99re青青草| 久久五月激情综合| 日日夜夜青青草| 五月天丁香婷婷久久九| 久久综合五月天| 六月亚洲婷婷6月中文字幕| 色色婷婷综合| 人人干女人| 99久久亚洲精品视频| 久久五月婷天天干| 天堂网啪啪| 丁香五月婷婷性爱| 99九九99九九九视频精品| 九九青青草成人| 午夜爱爱爱成人| 五月婷婷婷综合网| 久久9视频| 亚洲婷婷六月天| 色婷久| 另类小说五月天| 综合五月天完整| 久热久色| 日本久久激情| 99热超碰在线| 99亚洲色色| 色婷婷丁香五月天| av人人操| 五月丁香婷婷啪啪| 国产熟女日日骚五月丁香爱| 激情五月色婷婷| 丰满少妇猛烈A片免费看观看| 激情五月天偷拍综合网| 99热这里只有精品手机在线观看| 婷婷丁香黄色| 激情五月天色播| 婷婷婷婷色| 久久婷婷五月国产色综合激情| 国产色99| 色五月婷婷老师| 色J香五月天| 欧美五月丁香在线| 久久综合香蕉国产国产蜜臀AV| 99色综合| 在线综合网| 色小说婷婷五月天天天| 九月影院義母在线播放| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 五月婷婷深深爱| 五月丁香在线婷婷美女| 丁香五月天狠狠操| 97色精品视频| 99爱视频在线| 99这里只有精品视频| 深爱 五月天| 2015超碰| 久久婷婷综合五月| 99热手机在线精品| 91人操人人人操人| 婷婷综合五月色播| 国产VA播放| 视频一二区| 超碰2021| 中文字幕丰满孑伦无码专区| 超碰操网| 五月天伊人网| 这里只有精品在线播放| 国产成人精品亚洲线观看|