欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

RAG實(shí)戰(zhàn)指南:兩天搭好企業(yè)私有知識(shí)庫(kù)問(wèn)答機(jī)器人

RAG實(shí)戰(zhàn)指南:兩天搭好企業(yè)私有知識(shí)庫(kù)問(wèn)答機(jī)器人 最近這半年幾乎每隔幾天就有人拿著公司內(nèi)部文檔來(lái)找我員工手冊(cè)、項(xiàng)目驗(yàn)收?qǐng)?bào)告、新產(chǎn)品培訓(xùn)資料、客服話術(shù)庫(kù)……問(wèn)題都差不多——能不能讓大模型直接基于這些資料回答問(wèn)題做成一個(gè)內(nèi)部問(wèn)答機(jī)器人能而且現(xiàn)在做起來(lái)的成本比大多數(shù)人想象中低很多。答案就是RAG全稱Retrieval-Augmented Generation檢索增強(qiáng)生成。我第一次搭完一套能跑的RAG智能問(wèn)答助手只花了兩天從文檔清洗、切片入庫(kù)到檢索驗(yàn)證、接入對(duì)話模型再上線跑通。這篇文章就把整個(gè)過(guò)程中的關(guān)鍵原理、每一步的具體操作以及運(yùn)行一周后踩到的三個(gè)檢索質(zhì)量坑完整寫出來(lái)。適合有基本Python基礎(chǔ)、正準(zhǔn)備給團(tuán)隊(duì)做私有知識(shí)庫(kù)問(wèn)答的系統(tǒng)開發(fā)者參考。原理部分我用最直白的說(shuō)法講清楚實(shí)操部分直接給可運(yùn)行的代碼。1. 為什么我需要一個(gè)“會(huì)查資料”的問(wèn)答助手1.1 對(duì)話模型再?gòu)?qiáng)也答不好沒讓它看過(guò)的資料先說(shuō)個(gè)我實(shí)際遇到的場(chǎng)景。某公司人力部門想用大模型回答員工關(guān)于考勤、請(qǐng)假、報(bào)銷的問(wèn)題于是直接把員工手冊(cè)扔給通用對(duì)話模型問(wèn)“年假怎么算”。結(jié)果模型給出的答案和公司手冊(cè)對(duì)不上反而更像網(wǎng)上的勞動(dòng)法規(guī)科普。原因并不復(fù)雜。大模型的本質(zhì)是一個(gè)基于海量文本訓(xùn)練出來(lái)的“下一個(gè)詞預(yù)測(cè)器”它記住的是互聯(lián)網(wǎng)上的通用規(guī)律和常識(shí)并不天然知道某個(gè)公司內(nèi)部手冊(cè)里寫了什么。訓(xùn)練數(shù)據(jù)里沒有你的員工手冊(cè)、沒有你的產(chǎn)品文檔、沒有你的項(xiàng)目驗(yàn)收?qǐng)?bào)告它當(dāng)然不可能憑空編出正確答案。更麻煩的是模型存在知識(shí)截止時(shí)間就算你試了很多提示詞技巧它也不可能知道手冊(cè)今年剛修訂的條款。所以想讓模型回答私有領(lǐng)域的問(wèn)題唯一可靠的做法是把相關(guān)資料作為上下文“喂”給它讓它邊查資料邊回答。開卷考試永遠(yuǎn)比閉卷考試靠譜這就是RAG的核心思路。把文檔提前切好、存好等用戶提問(wèn)時(shí)先檢索出相關(guān)片段再讓模型基于這些片段作答。1.2 RAG與微調(diào)的邊界誰(shuí)解決什么問(wèn)題為什么先嘗試RAG很多第一次接觸這個(gè)問(wèn)題的人第一反應(yīng)是“那我去微調(diào)一個(gè)模型”。這我特別理解因?yàn)椤拔⒄{(diào)”聽起來(lái)更像一勞永逸的方案把知識(shí)直接寫進(jìn)模型參數(shù)里之后調(diào)用就不用帶資料了。但實(shí)際做過(guò)幾次微調(diào)項(xiàng)目之后我現(xiàn)在的結(jié)論是除非你的需求是改變模型的行為風(fēng)格、輸出格式或者做特定任務(wù)否則大多數(shù)“想讓模型知道某份資料”的需求都應(yīng)該先試RAG。我這么說(shuō)的理由有三條。第一微調(diào)的成本高且周期長(zhǎng)每次資料更新都要重新訓(xùn)練一輪而RAG只是把文檔重新切塊入庫(kù)幾分鐘就能完成第二微調(diào)容易引入“災(zāi)難性遺忘”模型在學(xué)新知識(shí)的同時(shí)可能把原有的能力搞亂第三微調(diào)并不能根治幻覺模型在回答時(shí)依然可能“憑印象”發(fā)揮因?yàn)樗举|(zhì)上還是在閉卷作答。我之前遇到一個(gè)團(tuán)隊(duì)想做制度庫(kù)問(wèn)答找外部資源微調(diào)了一個(gè)開源模型前前后后花了好幾周。結(jié)果上線后一問(wèn)到訓(xùn)練數(shù)據(jù)里沒覆蓋的新制度模型照樣一本正經(jīng)地胡說(shuō)。后來(lái)?yè)Q成了RAG只做了一件事——把制度文檔切塊入庫(kù)回答時(shí)強(qiáng)制模型引用原文片段問(wèn)題立刻解決。這個(gè)對(duì)比讓我印象很深知識(shí)更新的場(chǎng)景里RAG不是“備選方案”而是“首選方案”。2. RAG四大環(huán)節(jié)拆解從切文檔到生成回答2.1 索引階段把PDF變成一顆“可檢索的樹”整個(gè)RAG管道可以拆成四個(gè)階段索引、檢索、增強(qiáng)、生成。我建議先別急著寫代碼把這四個(gè)環(huán)節(jié)吃透后面遇到問(wèn)題才能定位到具體環(huán)節(jié)。第一個(gè)階段是索引也有人叫“入庫(kù)”。原始文檔通常是一份幾十頁(yè)的PDF或Word模型一次只能讀有限的上下文不能把整本手冊(cè)全塞進(jìn)去。所以第一步是把文檔拆成一個(gè)個(gè)“片段”行業(yè)內(nèi)叫chunk。為什么要切塊如果一整本手冊(cè)作為一個(gè)片段向量的語(yǔ)義信息會(huì)被平均掉檢索時(shí)根本無(wú)法精確找到“年假怎么算”對(duì)應(yīng)的那一頁(yè)如果切得太碎比如按一句話切又容易丟失上下文導(dǎo)致檢索回來(lái)的片段只有半句結(jié)論沒有前因后果。我常用的做法是先把Word或PDF解析成純文本去掉頁(yè)眉、頁(yè)腳、頁(yè)碼和目錄這些噪聲然后按標(biāo)題層級(jí)和段落語(yǔ)義把內(nèi)容切成大約500個(gè)token一個(gè)的chunk每個(gè)chunk會(huì)記錄來(lái)源章節(jié)、頁(yè)碼等元信息。這一步很像給一本書做目錄和小結(jié)只不過(guò)這個(gè)“小結(jié)”是后續(xù)檢索的最小單位。切好塊之后要做的是Embedding也就是把每段文字轉(zhuǎn)成一組向量??梢源直┑乩斫鉃榻o每段文字在“語(yǔ)義空間”里標(biāo)一個(gè)坐標(biāo)語(yǔ)義越接近的文字坐標(biāo)距離越近。這樣用戶提問(wèn)時(shí)我只需要把問(wèn)題也轉(zhuǎn)成向量就能在庫(kù)里找最接近的片段。最后這些向量會(huì)存進(jìn)向量數(shù)據(jù)庫(kù)傳統(tǒng)數(shù)據(jù)庫(kù)按字段查詢向量庫(kù)專門做高維向量的相似度搜索返回“語(yǔ)義上最相似”的TopN條記錄。2.2 檢索階段向量找相近關(guān)鍵詞找精確兩者不矛盾第二個(gè)階段是檢索。用戶輸入一個(gè)問(wèn)題系統(tǒng)先把它做同樣的Embedding再用余弦距離等方式和庫(kù)里的所有片段向量做最近鄰搜索返回得分最高的前幾個(gè)片段。這里有一個(gè)大多數(shù)人第一次做RAG容易踩的認(rèn)知誤區(qū)以為向量檢索能解決一切。其實(shí)向量檢索擅長(zhǎng)的是“語(yǔ)義相似”它對(duì)泛化表達(dá)、同義改寫特別有效。比如用戶問(wèn)“離職要提前多久說(shuō)”手冊(cè)里寫的是“解除勞動(dòng)合同需要提前通知”兩句話沒有共同詞匯但向量檢索能發(fā)現(xiàn)它們語(yǔ)義相近。但它也有明顯短板對(duì)專有名詞、編號(hào)、縮寫、精確型號(hào)很鈍感。公司內(nèi)部系統(tǒng)簡(jiǎn)稱“DSAP”手冊(cè)里全稱“業(yè)務(wù)數(shù)據(jù)支撐平臺(tái)”用戶問(wèn)“DSAP怎么登錄”向量檢索很可能召回不到。這時(shí)候需要關(guān)鍵詞檢索來(lái)兜底比如BM25這種經(jīng)典算法它按字面重合度打分看到“DSAP”就直接命中原文。所以生產(chǎn)級(jí)RAG現(xiàn)在普遍做混合檢索向量召回一批語(yǔ)義相近的關(guān)鍵詞召回一批字面精確的再把兩批結(jié)果合并去重。用生活化的說(shuō)法向量檢索像“靠意思找人”關(guān)鍵詞檢索像“看身份證認(rèn)人”兩者互補(bǔ)才是完整的檢索能力。2.3 增強(qiáng)與生成把“證據(jù)片段”塞進(jìn)提示詞里第三個(gè)階段叫增強(qiáng)很多人把它理解成簡(jiǎn)單的“拼字符串”其實(shí)沒那么簡(jiǎn)單。核心是把檢索到的若干片段整理成有結(jié)構(gòu)的上下文塞進(jìn)提示詞模板里讓模型閱讀這些片段之后再作答。我常用的提示詞模板長(zhǎng)這樣你是一名企業(yè)內(nèi)部知識(shí)庫(kù)問(wèn)答助手。請(qǐng)只根據(jù)以下提供的資料片段來(lái)回答用戶的問(wèn)題。 回答要求 1. 如果資料中有明確依據(jù)請(qǐng)先給出結(jié)論再引用對(duì)應(yīng)片段編號(hào)說(shuō)明依據(jù)。 2. 如果資料中沒有相關(guān)信息請(qǐng)直接回答“資料中未找到相關(guān)內(nèi)容”不要自行推測(cè)。 3. 不要使用資料之外的常識(shí)進(jìn)行補(bǔ)充除非你明確說(shuō)明這是推測(cè)。 資料片段 [1]來(lái)源員工手冊(cè) 第3章 考勤管理 內(nèi)容... [2]來(lái)源員工手冊(cè) 第4章 休假制度 內(nèi)容... 用戶問(wèn)題試用期離職需要提前幾天申請(qǐng)最后一個(gè)階段是生成。模型拿到增強(qiáng)后的提示詞在自己的語(yǔ)言能力幫助下從給定的片段里提取并組織答案。這里有個(gè)關(guān)鍵參數(shù)溫度。我會(huì)在RAG場(chǎng)景里把temperature調(diào)到0或接近0因?yàn)槲覀円氖侵矣谫Y料的答案而不是發(fā)散創(chuàng)造。整個(gè)鏈路的名稱也由此而來(lái)先Retrieval檢索再Augmented增強(qiáng)提示詞最后Generation生成答案。3. 環(huán)境準(zhǔn)備與選型我需要準(zhǔn)備哪些工具和模型3.1 選型對(duì)照三套可落地方案我實(shí)際跑過(guò)的體驗(yàn)了解了原理接下來(lái)是選型。很多教程一上來(lái)就推薦一大堆框架反而把初學(xué)者搞暈。我按落地成本和資源條件把實(shí)際跑過(guò)的組合分成三套方案Embedding模型生成模型向量庫(kù)適合場(chǎng)景方案A全API調(diào)用供應(yīng)商的Embedding接口通用對(duì)話大模型APIChroma本地持久化快速原型驗(yàn)證不想折騰GPU方案B混合部署本地開源Embedding模型CPU可跑通用對(duì)話大模型APIChroma或FAISS數(shù)據(jù)量不大、對(duì)檢索延遲有要求方案C全本地本地開源Embedding模型本地量化開源對(duì)話模型Milvus或Qdrant數(shù)據(jù)敏感、必須離線部署我個(gè)人的建議是第一次跑通直接用方案A或方案B先驗(yàn)證效果不要一上來(lái)就追求全本地。全本地方案要處理GPU資源、模型量化、推理框架等問(wèn)題學(xué)習(xí)曲線陡很多。我曾經(jīng)幫某公司做過(guò)一個(gè)內(nèi)部知識(shí)庫(kù)Demo一開始就上全本地結(jié)果一周時(shí)間大部分花在部署模型上業(yè)務(wù)方連效果都沒看到。后來(lái)改成方案B一天就把Demo跑起來(lái)了效果反饋好之后再慢慢規(guī)劃本地化。Embedding模型方面我常用的做法是優(yōu)先選開源中文表現(xiàn)穩(wěn)定的模型例如bge系列或m3e系列。它們?cè)谥形恼Z(yǔ)義匹配上比很多通用多語(yǔ)言模型更討喜而且支持CPU推理幾百M(fèi)B內(nèi)存就能跑。向量庫(kù)的選擇上入門用Chroma足夠因?yàn)閜ip安裝就能用、數(shù)據(jù)自動(dòng)持久化在本地目錄適合中小知識(shí)庫(kù)數(shù)據(jù)量到百萬(wàn)級(jí)向量以上再考慮Milvus這類分布式方案。框架方面LangChain和LlamaIndex確實(shí)能省不少代碼但我建議第一遍手寫把鏈路里每一行都搞明白之后再?zèng)Q定要不要上框架。3.2 環(huán)境搭建最容易忽略的依賴版本問(wèn)題環(huán)境搭建的坑往往不在邏輯而在依賴版本。我給你們看一份我跑通全鏈路的最低依賴清單python3.10 chromadb0.4.24 sentence-transformers pypdf python-docx rank-bm25 openai我特別想提醒幾個(gè)坑。第一個(gè)是numpy版本沖突chromadb對(duì)numpy版本有要求如果你不小心裝了過(guò)新的numpy啟動(dòng)向量庫(kù)時(shí)大概率會(huì)報(bào)底層庫(kù)加載失敗解決辦法是把numpy固定到兼容版本再裝第二個(gè)是sentence-transformers和transformers、torch三者之間有版本聯(lián)動(dòng)建議在干凈虛擬環(huán)境里一次裝齊不要零散安裝第三個(gè)是中文路徑問(wèn)題Chroma持久化目錄如果包含中文或特殊字符某些版本下會(huì)報(bào)錯(cuò)項(xiàng)目目錄最好用英文。另外如果你手頭沒有獨(dú)立GPU生成模型部分要走API路線這樣開發(fā)機(jī)上只需要跑Embedding一個(gè)普通的CPU實(shí)例就能撐住。如果你堅(jiān)持本地部署7B量級(jí)的對(duì)話模型建議量化到4bit并且準(zhǔn)備至少6GB以上顯存否則推理速度會(huì)讓人失去耐心。裝完環(huán)境后先跑一個(gè)最小的“文檔-檢索-回答”閉環(huán)Demo成功之后再往里填業(yè)務(wù)數(shù)據(jù)這是效率最高的推進(jìn)方式。4. 手把手搭一個(gè)“某公司員工手冊(cè)問(wèn)答”Demo4.1 第一步文檔清洗與切分這一步?jīng)Q定了后面90%的質(zhì)量實(shí)踐部分我以一個(gè)虛擬的“某公司員工手冊(cè)”為例假設(shè)它是大約120頁(yè)的Word文檔包含考勤、休假、薪酬、報(bào)銷、保密等章節(jié)。我會(huì)帶著你把完整鏈路跑一遍。文檔清洗是這個(gè)步驟里最臟最累的活但絕對(duì)值得做。我的標(biāo)準(zhǔn)流程是先用python-docx把Word轉(zhuǎn)成純文本然后用正則把頁(yè)眉、頁(yè)腳、頁(yè)碼、目錄項(xiàng)剝掉再把“第X章”和“X.X”這類標(biāo)題單獨(dú)標(biāo)記出來(lái)。不要小看這一步很多項(xiàng)目后來(lái)檢索效果差查到最后發(fā)現(xiàn)是清洗階段把章節(jié)標(biāo)題弄丟了導(dǎo)致語(yǔ)義單元全亂。清洗完成后就是切分。我寫了一個(gè)比較穩(wěn)的切分函數(shù)原則是“優(yōu)先按標(biāo)題層級(jí)其次按自然段合并”import re def split_into_chunks(text, max_tokens500, overlap_tokens80): # 先把標(biāo)題行識(shí)別出來(lái) lines text.split(\n) chunks [] current_chunk current_title for line in lines: stripped line.strip() if not stripped: continue # 以“第X章”、“X.X”、“X.X.X”為標(biāo)題邊界 if re.match(r^(第[一二三四五六七八九十百千]章|\d(\.\d)*), stripped): if current_chunk: chunks.append({ title: current_title, content: current_chunk.strip() }) current_title stripped current_chunk stripped continue current_chunk \n stripped # 簡(jiǎn)單估算token數(shù)超過(guò)閾值就切一段 if len(current_chunk) max_tokens * 1.3: chunks.append({ title: current_title, content: current_chunk.strip() }) # 保留尾部少量token作為重疊避免邊界斷語(yǔ)義 overlap current_chunk[-overlap_tokens:] current_chunk overlap if current_chunk: chunks.append({ title: current_title, content: current_chunk.strip() }) return chunks這段代碼核心思想是當(dāng)遇到一個(gè)新的章節(jié)標(biāo)題時(shí)把上一個(gè)chunk保存下來(lái)當(dāng)chunk長(zhǎng)度超標(biāo)時(shí)保留最后幾十個(gè)token作為下一個(gè)chunk的開頭這樣“年假滿10年”和“年假滿20年”這類被切到不同塊的內(nèi)容至少會(huì)有一小段交叉不至于徹底斷裂。切分結(jié)果里我給每個(gè)chunk帶了title字段后面檢索時(shí)可以直接展示“來(lái)源章節(jié)”這對(duì)用戶確認(rèn)答案非常有用。4.2 第二步Embedding入庫(kù)與檢索驗(yàn)證切完之后就是向量化入庫(kù)。這里我強(qiáng)烈建議單獨(dú)寫一個(gè)初始化腳本而不是在問(wèn)答主程序里每次重新嵌入因?yàn)镋mbedding幾百個(gè)chunk雖然快但每次啟動(dòng)都跑一遍就太浪費(fèi)了。from sentence_transformers import SentenceTransformer import chromadb # 加載Embedding模型CPU即可第一次運(yùn)行會(huì)下載權(quán)重 model SentenceTransformer(bge-m3) # 創(chuàng)建Chroma客戶端數(shù)據(jù)持久化到本地 ./rag_db 目錄 client chromadb.PersistentClient(path./rag_db) collection client.get_or_create_collection( nameemployee_handbook, metadata{hnsw:space: cosine} # 用余弦距離衡量語(yǔ)義相近程度 ) # 假設(shè)chunks是上一節(jié)切分得到的list ids [fchunk_{i} for i in range(len(chunks))] documents [c[content] for c in chunks] metadatas [{title: c[title]} for c in chunks] # 成批轉(zhuǎn)為向量并寫入 embeddings model.encode(documents, normalize_embeddingsTrue).tolist() collection.add( idsids, documentsdocuments, metadatasmetadatas, embeddingsembeddings )入庫(kù)之后不要急著接大模型先做一步純檢索驗(yàn)證。這一步很關(guān)鍵如果檢索階段拿回來(lái)的片段就是錯(cuò)的后面接什么模型都救不回來(lái)。def search(query, top_k5): q_emb model.encode([query], normalize_embeddingsTrue).tolist() results collection.query( query_embeddingsq_emb, n_resultstop_k, include[documents, metadatas, distances] ) return results # 驗(yàn)證一下“試用期離職”這個(gè)問(wèn)題 results search(試用期員工提出離職需要提前幾天) for i, doc in enumerate(results[documents][0]): title results[metadatas][0][i][title] print(fTop{i1} [來(lái)源:{title}] {doc[:100]}...)我實(shí)際跑這段時(shí)發(fā)現(xiàn)前兩條確實(shí)命中了休假制度相關(guān)章節(jié)但第三條已經(jīng)開始跑偏回到了考勤章節(jié)。這說(shuō)明單靠向量檢索的前3個(gè)結(jié)果里有噪聲正?,F(xiàn)象后面我重排序章節(jié)會(huì)專門處理。但至少這一步能讓你直觀感受到“檢索質(zhì)量”是什么也方便后續(xù)做參數(shù)調(diào)優(yōu)。4.3 第三步把檢索結(jié)果組裝成Prompt并接入對(duì)話模型檢索驗(yàn)證通過(guò)后接生成模型就只剩最后一步了組裝提示詞調(diào)用接口。我習(xí)慣把所有上下文片段編號(hào)然后要求模型在回答時(shí)標(biāo)注編號(hào)這樣用戶能對(duì)照原始文檔也方便排查問(wèn)題。def build_prompt(query, search_results): context_lines [] for i, doc in enumerate(search_results[documents][0]): title search_results[metadatas][0][i][title] context_lines.append(f[{i1}]來(lái)源{title}\n{doc}) prompt f你是一名企業(yè)內(nèi)部知識(shí)庫(kù)問(wèn)答助手請(qǐng)只根據(jù)以下資料片段回答用戶問(wèn)題。 如果資料中沒有明確依據(jù)請(qǐng)回答“資料中未找到相關(guān)內(nèi)容”不要自行推測(cè)。 回答時(shí)先給結(jié)論再引用片段編號(hào)說(shuō)明依據(jù)。 資料片段 {chr(10).join(context_lines)} 用戶問(wèn)題{query} return prompt對(duì)話模型的接入現(xiàn)在大部分服務(wù)端都提供兼容格式的接口調(diào)用方式大同小異。我用一個(gè)通用的OpenAI SDK風(fēng)格示例from openai import OpenAI client OpenAI( api_key你的密鑰, base_url你的模型服務(wù)地址 ) def ask(query): results search(query, top_k5) prompt build_prompt(query, results) resp client.chat.completions.create( model你的模型名稱, messages[ {role: system, content: 你是嚴(yán)謹(jǐn)?shù)闹R(shí)庫(kù)問(wèn)答助手。}, {role: user, content: prompt} ], temperature0.0, # 關(guān)鍵RAG場(chǎng)景追求確定性不要發(fā)散 streamFalse ) answer resp.choices[0].message.content return answer, results # 試一下 answer, results ask(試用期員工提出離職需要提前幾天) print(answer)跑完之后你會(huì)看到模型根據(jù)檢索到的片段給出了帶編號(hào)依據(jù)的回答。這一步完成后一個(gè)最樸素的RAG系統(tǒng)就已經(jīng)能用了。接下來(lái)真正拉開差距的是上線之后那些“看著能用但經(jīng)常出錯(cuò)”的細(xì)節(jié)問(wèn)題。5. 運(yùn)行兩天后遇到的三類檢索質(zhì)量問(wèn)題和我的修復(fù)方案5.1 “答案被攔腰切斷”——chunk邊界設(shè)計(jì)不當(dāng)系統(tǒng)運(yùn)行到第二天有人來(lái)問(wèn)“全年帶薪年假天數(shù)怎么算”。模型回答里只寫了“工作滿1年不滿10年享受5天年假”后半段“滿10年不滿20年享受10天”完全沒出現(xiàn)。用戶一看就反饋“答案不完整”。我第一反應(yīng)是調(diào)大生成模型的上下文沒用。后來(lái)把檢索返回的片段打出來(lái)一看才發(fā)現(xiàn)命中的前3個(gè)chunk里只有第一個(gè)chunk包含了“滿1年不滿10年”的部分而“滿10年不滿20年”位于同一個(gè)小節(jié)的下一段被切分函數(shù)分到了另一個(gè)chunk且那個(gè)chunk的相似度排名掉到了第6名以外。這個(gè)案例讓我意識(shí)到切分不能只看token數(shù)還要考慮語(yǔ)義單元。同一類規(guī)則最好放在同一個(gè)chunk里。我的修復(fù)方案是兩件事第一把“年假規(guī)則”這一類小節(jié)整體設(shè)為一個(gè)chunk而不是機(jī)械地按長(zhǎng)度切第二把默認(rèn)top_k從3提升到召回20條之后再做重排避免因?yàn)榕琶▌?dòng)漏掉關(guān)鍵片段。修復(fù)后重新測(cè)試完整答案回來(lái)了。5.2 “看起來(lái)很有道理但完全不對(duì)”——需要重排序而不是單純信任TopK另一個(gè)經(jīng)典問(wèn)題是“幻覺型錯(cuò)誤”。有員工問(wèn)“如何申請(qǐng)加班調(diào)休”模型居然按照“加班工資”的規(guī)則回答了一大段。單獨(dú)看那一段結(jié)構(gòu)和口吻都很正經(jīng)但完全不是用戶想要的。查日志后我發(fā)現(xiàn)檢索階段返回的片段里確實(shí)包含“加班工資”的段落而且和“加班調(diào)休”的向量相似度很高。問(wèn)題在于向量檢索擅長(zhǎng)找“語(yǔ)義相近”但不擅長(zhǎng)判斷“意圖相關(guān)”。在向量空間里“加班調(diào)休”和“加班工資”的距離可能比“加班調(diào)休”和“請(qǐng)假流程”還近所以單純按照向量相似度排序正確答案經(jīng)常排在錯(cuò)誤答案后面。解決辦法是在向量召回之后加一層重排序。我引入了cross-encoder類型的中文重排序模型比如bge-reranker系列。它的做法不是先轉(zhuǎn)成向量再比距離而是把“用戶問(wèn)題”和“每個(gè)候選片段”一起拼起來(lái)輸入模型逐對(duì)打分精度更高代價(jià)是速度慢所以只對(duì)召回后的候選集做。具體代碼如下from transformers import AutoModelForSequenceClassification, AutoTokenizer rerank_model_name bge-reranker-v2-m3 tokenizer AutoTokenizer.from_pretrained(rerank_model_name) rerank_model AutoModelForSequenceClassification.from_pretrained(rerank_model_name) def rerank(query, candidates): pairs [[query, doc] for doc in candidates] inputs tokenizer(pairs, paddingTrue, truncationTrue, return_tensorspt) scores rerank_model(**inputs).logits.view(-1).tolist() # 返回按得分降序的索引 return sorted(range(len(scores)), keylambda i: scores[i], reverseTrue) # 假設(shè)從向量檢索取回20個(gè)候選 results search(如何申請(qǐng)加班調(diào)休, top_k20) candidates list(results[documents][0]) ranked_idx rerank(如何申請(qǐng)加班調(diào)休, candidates) # 只取重排后前2個(gè)并過(guò)濾低分片段加上重排之后正確答案的排名明顯上升“加班工資”那段被壓下去了。這里還要配合一個(gè)閾值過(guò)濾相關(guān)性得分低于某個(gè)值的片段直接丟棄寧可不答也不要拿無(wú)關(guān)資料硬答。閾值需要在你的具體語(yǔ)料上調(diào)沒有一個(gè)萬(wàn)能值我在這套手冊(cè)上取的是0.4左右。5.3 “明明有文檔卻沒檢索到”——混合檢索補(bǔ)漏第三個(gè)問(wèn)題最隱蔽。有人問(wèn)“班車T3線??磕男┱军c(diǎn)”系統(tǒng)回答“資料中未找到相關(guān)內(nèi)容”但我用關(guān)鍵詞在庫(kù)里人工搜明明有這段寫的是“通勤車三號(hào)線”。這就是我之前提到的向量檢索對(duì)編號(hào)、縮寫的盲區(qū)?!癟3線”這種寫法和“三號(hào)線”在向量空間里的距離并不近尤其是在既有中文字符又有字母數(shù)字混合的情況下。光靠向量召回就是找不到。修復(fù)方案是加混合檢索。我在系統(tǒng)里維護(hù)了一套BM25關(guān)鍵詞索引對(duì)每個(gè)chunk做關(guān)鍵詞打分然后把BM25召回的結(jié)果和向量召回的結(jié)果合并去重后一起進(jìn)入重排階段。這樣即使是完全靠字面匹配才能找到的內(nèi)容也能被撈回來(lái)。核心實(shí)現(xiàn)不復(fù)雜。先對(duì)文檔做分詞然后基于詞頻建立倒排索引查詢的時(shí)候同時(shí)算BM25得分。當(dāng)然生產(chǎn)環(huán)境如果已經(jīng)有了Elasticsearch直接用它的BM25能力會(huì)更省事。我在這套Demo里的做法是引入rank-bm25庫(kù)配合jieba分詞做中文適配代碼大致這樣import jieba from rank_bm25 import BM25Okapi # 初始化時(shí)構(gòu)建BM25索引 tokenized_chunks [list(jieba.cut(c[content])) for c in chunks] bm25 BM25Okapi(tokenized_chunks) def hybrid_search(query, top_k_from_vector20, top_k_from_bm2520, final_top_k5): # 向量召回 vec_results search(query, top_ktop_k_from_vector) # BM25召回 query_tokens list(jieba.cut(query)) bm25_scores bm25.get_scores(query_tokens) bm25_top_indices sorted(range(len(bm25_scores)), keylambda i: bm25_scores[i], reverseTrue)[:top_k_from_bm25] # 合并去重后統(tǒng)一重排 candidate_set set() for doc in vec_results[documents][0]: candidate_set.add(doc) for idx in bm25_top_indices: candidate_set.add(chunks[idx][content]) candidates list(candidate_set) # 進(jìn)入重排階段取前N個(gè)這一版改完之后T3線的問(wèn)題解決了順帶把“DSAP系統(tǒng)無(wú)法登錄”這類縮寫問(wèn)題也解決了一大半。到這一步這個(gè)RAG系統(tǒng)才算真正具備了一點(diǎn)“能用”的底氣。6. 這套系統(tǒng)上線前必須做好的三件事評(píng)估、兜底、成本6.1 用一個(gè)小腳本評(píng)估“有沒有答對(duì)”很多團(tuán)隊(duì)把RAG跑通就上線然后靠用戶罵罵咧咧來(lái)發(fā)現(xiàn)問(wèn)題這個(gè)成本太不可控了。我現(xiàn)在的習(xí)慣是上線前先準(zhǔn)備至少二三十條問(wèn)答測(cè)試集覆蓋典型問(wèn)題、邊界問(wèn)題、否定表述、縮寫問(wèn)題這幾類然后做一個(gè)半自動(dòng)評(píng)估。評(píng)估分兩層。第一層看檢索命中率給定問(wèn)題檢索返回的前幾個(gè)片段里有沒有包含答案所在的原始段落如果檢索都錯(cuò)了生成一定錯(cuò)問(wèn)題出在索引和檢索環(huán)節(jié)第二層看生成正確率模型給出的答案內(nèi)容是否正確、是否忠于引用片段。第一層可以腳本化第二層目前最穩(wěn)的還是人工抽檢或者用一個(gè)獨(dú)立的評(píng)估模型來(lái)打分避免用回答模型自己給自己評(píng)分。我給團(tuán)隊(duì)寫過(guò)一個(gè)簡(jiǎn)單的評(píng)估腳本邏輯就是遍歷測(cè)試集調(diào)用系統(tǒng)拿到答案和引用片段然后讓另一個(gè)模型按1到5分評(píng)估答案和標(biāo)準(zhǔn)答案的一致程度。分?jǐn)?shù)低于3的自動(dòng)進(jìn)入bad case清單每周人工過(guò)一遍。這套機(jī)制價(jià)值不在于精確測(cè)量而在于讓質(zhì)量波動(dòng)可見并且給后續(xù)優(yōu)化提供方向。6.2 兜底策略不知道勝過(guò)一本正經(jīng)胡說(shuō)RAG的底線不是“每個(gè)問(wèn)題都答得很漂亮”而是“答錯(cuò)的成本可控”。我做過(guò)一個(gè)很重要的設(shè)定當(dāng)檢索結(jié)果的最高相關(guān)性得分低于閾值時(shí)系統(tǒng)不進(jìn)入生成環(huán)節(jié)直接返回“資料中暫時(shí)未找到相關(guān)內(nèi)容請(qǐng)補(bǔ)充關(guān)鍵詞或咨詢相關(guān)部門”。這比讓模型硬答更安全尤其是面向企業(yè)內(nèi)部員工時(shí)錯(cuò)誤答案造成的信任損失遠(yuǎn)大于“不知道”帶來(lái)的不便。同時(shí)在提示詞里反復(fù)強(qiáng)調(diào)“未找到就直說(shuō)”并把“不要自行推測(cè)”寫成強(qiáng)制性要求?;卮鸬恼故卷?yè)面上也會(huì)把命中的原文片段一并展示出來(lái)用戶自己能核對(duì)答案出處。這個(gè)設(shè)計(jì)看起來(lái)樸素但對(duì)提升可信度非常有效很多用戶反饋“能看到來(lái)源答錯(cuò)了也敢相信”。6.3 成本賬用300頁(yè)文檔運(yùn)行一個(gè)月大概花多少錢最后算一筆賬讓大家心里有數(shù)。假設(shè)員工手冊(cè)清洗后約有3000到5000個(gè)chunk取決于切分粒度Embedding這一步如果是本地CPU跑基本就是一次性幾十分鐘的電費(fèi)如果走API的Embedding接口按token計(jì)費(fèi)幾千個(gè)chunk總共也就幾十萬(wàn)token費(fèi)用可以忽略。向量庫(kù)存儲(chǔ)更是小頭幾千條向量也就幾MB。真正的成本在問(wèn)答階段。每一輪問(wèn)答需要把用戶問(wèn)題做一次Embedding再把檢索到的幾百上千token片段和生成結(jié)果一起消耗模型token。假設(shè)一次問(wèn)答約消耗1500個(gè)token的總輸入輸出如果每天200次問(wèn)答、一個(gè)月6000次用通用API模型一個(gè)月的花費(fèi)大約在幾十到幾百元量級(jí)具體取決于你選的模型檔位。如果改成全本地部署主要是硬件折舊和電費(fèi)一次投入買一塊消費(fèi)級(jí)顯卡就能撐住不少并發(fā)。聽起來(lái)是不是不算貴但我要提醒RAG真正的隱性成本不是算力而是人工。文檔版本管理、切片邊界維護(hù)、bad case跟進(jìn)、用戶反饋迭代這些都需要有人持續(xù)投入。如果文檔本身寫得含糊不清RAG的上限也就到那里了。上線前最好明確由誰(shuí)負(fù)責(zé)定期更新知識(shí)庫(kù)內(nèi)容這比研究任何技術(shù)參數(shù)都重要。最后分享一個(gè)小經(jīng)驗(yàn)不要等系統(tǒng)上線后才開始積累bad case。從第一天起我就習(xí)慣把每天的query、答案、命中的原文片段全部記錄到日志里每周固定半小時(shí)翻一遍錯(cuò)誤案例。這件事堅(jiān)持下來(lái)你會(huì)發(fā)現(xiàn)大部分問(wèn)題都出在文檔本身寫得不夠清楚或者切塊不合理上而不是模型不夠強(qiáng)。先把手頭文檔整理干凈比換更貴的模型管用得多。RAG系統(tǒng)的價(jià)值上限約等于你文檔整潔程度的上限。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色偷偷色婷婷| 亚洲日韩欧美综合VA| 丰满少妇乱A片无码| 亚洲综合婷婷五月天| 殴美日韩成人| 色天使色综合| 色伦专区97中文字幕| 色综合99| 国际国外精品欧洲南美洲专区无码不卡| 久热婷婷在线视频| 狠狠五月婷婷| 久色网| 狠狠色综合网站| 骚五月婷婷| 99热碰碰热| 五月亭亭六月激情| wWwCom夜操wwW| 亚洲av电影网站| 天天色亚洲| 5月婷婷激情网| 色播五月婷婷| 一级片sese片.COM| 91无码视频| 九九九九九九九九九九九九九九九九九九九在线视频 | 婷婷视频网| 久久人妻久久| 婷婷五月天激情五月天| 五月丁香AV、伊人业余、性色熟妇| 99超级碰碰| 人人叉久| 五月天婷婷免费| 丁香亭亭久久| 久久色午夜在线导航| 久艹大香蕉| 殴美激情综合网| 欧美综合婷婷欧美综| 激情啪啪五月| 极品色丁香| 色99久草在线| 啪啪啪丁香五月| 无码少妇高潮喷水A片免费| 婷婷中文字暮| 亚洲视频图片婷婷五月| 五月婷导航| 熟女激情网| 91婷婷色 | 色99在线视频| 五月丁香六月婷| 色色婷| 日批在线看| 99er精品视频| 久久综合丁香五月| 91婷婷搞| 中文字幕,综合,91| 色婷婷五月天在线| 丁香六月综合激情| 99在线观看视频精品| 亚洲九九99精品视频在线播放| 五月婷婷五月丁香| 久久99久久99精品免视看婷婷| 亚洲图色五月天| 婷婷欧美综合| 婷婷五月天激情在线| 淫视馆AV在线| 五月丁香综合久久夜夜| 丁香五月偷拍| 99色色最新视频| 久久这里只精品66| 99re热视频| 熟女五月天久久综合| 第四色五月激情网| 婷婷五月深爱五月| 久久丁香五月| 久久伊人婷婷| 国产99久久久国产精品免费看| 激情综合网激情五月天| 亚洲V国产V欧美V久久久久久| 性无码专区无码| 国产人妻人伦精品一区二区| 五月丁香婷婷综合久久| 亚洲六月综合激情久久下卡| 日本综合色图| 天天色播| 婷婷激情在线| 婷婷五月草| 六月综和久久| 色婷婷影院| 任我肏视频精品| 婷婷亚洲综合| 人人操五月天| 亚洲操逼网| 婷婷六月丁| 狠狠操天天操天天操| 99毛片| BlACKEDRAW视频一区二区| 五月花激情| 狠狠狠夜夜夜| 99热最新| 色婷婷8| 五月丁香花伦理电影| 五月伊人网| 日韩成人中文| 免费无码毛片一区二区A片| 亚洲综合久| 久久女人天堂| 99思思热只有在这里看| 久色| 午夜无码熟熟妇丰满人妻| 影音先锋一区二区资源站| 五月婷婷www| 黄色片精品| 激情深爱婷婷网| 另类图片婷婷五月天| 五月丁香六月婷婷在线| 五月丁香影院| 七七色色综合| 五月丁香婷婷中文网| 俺去也综合| 五月天婷婷激情小说电影| 另类视频在线| 99色干| 丁香五月婷婷六月婷| 玖玖资源站中文| 色婷婷久久综合| 51精品国自产在线| www.婷婷六月天| 丁香六月av| 日本成人噜噜噜| 色婷婷亚洲婷婷| 婷婷天天五月天| 丁香五月色色| 久久这里只有精品99| 91精品久久久久久77777| 丰滿爆乳一区二区三区| www.激情五月天.com| 噜噜色com| 激情综合婷婷| 97久久久免费福利网址| 日本激情五月天‘| 亚洲综合色婷婷| 婷婷五月天天激情| 1995年关宝慧版蜘蛛女| 五月激情站| 久久爱综合| 激情q青青草在线婷婷| 婷婷五月天影视首页| 亚洲精品久久久久久久久久吃药 | 免费看欧美成人A片无码| 海外网站专业操老外| 五月激情久久综合| 五月天激情四射| 991精品在线视频| 亚洲女婷婷五月基地综合久久久| 欧美激情综合色综合啪啪五月| 九九视频在线观看视频在线播放69| 在线五月婷婷小电影| 久久五月天婷婷| 久久97久久99久久综合欧美| 六月婷伊人| 九九99精品视频在线观看| av电影在线播放| 天天做天天爱天天日| 99热99极品观看| 色色色色色色色五月| 亚洲五月丁香综合网| 日韩狠狠色| 五月天大香蕉视频| www.com五月天| 97色精品视频| 99性爱视频网站| 国产无遮挡又黄又爽免费网站| 97人妻碰碰碰碰碰久久久久久| 热99精品视频观看| 天天日日夜夜| 天天噪夜夜爽| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 成人网丁香五月| 九九热精品| 婷婷天堂综合| 激情婷婷六月天| 91九色在线| 亚洲人妻Av| 激情婷婷综合网| 色婷婷六月天在线| 日本在线观看91| 可以观看的AV| 99亚洲精美视频在线观看| 激情婷婷啪啪| 99久久视频| 人人操人av| 婷婷五月天 丁香五月天 裸体| 人人天堂操| 国产精品第一国产精品| 久久精品亚洲一级牲爱综合| 国产成人亚洲综合亚洲| 99色色| 97热这里精品在线视频| 超级碰碰91| 亚洲综合色色| 7月婷婷六月丁香| 国产无套精品一区二区| 五月婷婷六月丁香激情综合网| 日本一级一级一级一级| www.激情五月天| 亚洲图片 丁香婷婷| www夜夜操comwww| 碰人人97| 色九月婷婷| 婷婷五月小说色综合| 五月婷婷综合激情| 麻豆123区| 国产一级黄色影片,| 欧美α√| 成人短视频在线观看| 五月天天久久香| 五月天婷婷免费| 色婷婷免费视频| 国产在线中文字幕| 午夜天天精品视频| 中文在线成人| 九九99视频精品| 五月婷婷色欲| 狼友视频在线观看18| 91综合在线| 婷婷久久五月| 99啪视频在线观看| 丁香五月天堂网| 狠狠干在线视频| 男女激情久久| 激情图片五月天| 久热这里这里有精品| 成人无码髙潮喷水A片| 久久九九热视频| 欧美天堂久久| 99视频综合| 激情操逼婷婷| 天天干,天天舔| 99热精品10| 天天操天天日天天操| 小视频久久久aaa| 大香蕉婷婷| 色婷婷9| 五月天精品视频| 乱岳熟女50岁| www色婷婷久久综合久色| 久青草影院| 亚洲综合色婷| 五月的丁香六月的婷婷| 亚洲亚洲人成综合网络| 激情五月天激情网| 丁香五月综合| 色综合com| 高清无码入口| 欧美婷婷丁香五月| 色婷婷五月天偷拍| 日操夜操天天操不卡| 多精窝99在线视频| www.狠狠| 九九这里精品| 国产精品电| va中文资源在线观看| 色香欲综合| 成人短视频在线| 操日视频| 8区视频在线| www.天天干| 六月丁香婷婷大香蕉| 五月婷婷伊人在线| 99国产精品久久久久久久久久久| 色小说婷婷五月天天天| 中文字幕无码人妻少妇免费视频| 丁香六月婷婷综合麻豆| 久久久久9久无码视频| 狠狠干2007| 五月丁香六月婷| 深爱 五月天| 九九AV| 色色综合日韩| 激情网 久久| 另类综合网| 久久婷婷原创视频| 六月婷婷五月天| www.婷婷五月天,com| 日本成人噜噜噜噜噜| 久草热8精品视频在线观看| 99r这里只有精品哦| 亚洲九九夜夜| www.五月天。com| 九九9久九9国产视频| 婷婷激情综合网| 亚洲日韩一页精品发布| 婷婷色情六月| 成人在线视频一区| 九月色婷婷| www.五月丁香| 色五月婷婷老师| 日韩 欧美 国产 一区 二区| 九月丁香久久网| 日本色婷婷综合| 国产精品久久久久9999小说| 激情五月丁香六月综合AVXXXX| 亚洲免费电影2| 激情综合五| www.91操| 国产精品18久久久| 99热这里只有精品8| 久碰久操| 婷婷亚洲综合| 久久精品视频9| 另类国产区| 丁香婷婷基地| 丁香五月在线视频黑人| 婷婷丁香五月激情密臀av| 精品久久9| 一起草无码视频| 99国产精品白浆在线观看免费| www五月天激情com| 色九月婷婷综合| 五月天激情四射| 丁香六月激情蜜桃| 人人操人人看97干| 色五月婷婷五月天| 99热成人在线观看| 久9视频| AA片在线观看视频在线播放| 婷婷五月天伊人| 九月婷婷综合| 五月婷婷丁香综合,亚洲天堂| 婷婷丁香九月| 我爱婷婷五月天综合88| 日本久久性| 婷婷成人五月天| 丁香六月伊人| 日日天天天| 丁香五月停停av| 久操综合| 99热日| 9999热在线观看| 激情六月天| 91九色欧美| 婷婷在线精品| 99国产这里只有精品| 色婷婷AAA| 潘金莲AAAAAAAAAA| 思思热视频在线| 婷婷射婷婷舔| 热久久77777| 五月天婷婷久草丁香| 五月天另类激情在线| 99视频只有这里精品| 五月婷婷中文字幕| 久久蜜臀婷婷| 疯狂做受XXXX高潮A片动画| 99精彩视频| 九热在线这里有精品6| 99欧美三级视频| 97色吧| 91久久精品无码一区二区三区| 色狠狠伊人久久五月丁香| 日韩一级网站| 无码AV大香线蕉伊人| 丁香五月手机在线| 深爱综合网| 激情综合网激情五月欧美| 99久在线视频| 欧美亚洲成人在线| 亚洲AV久久久久久久久久久久久久久久| 97精品综合久久| 国产性色蜜乳| 亚洲亚洲激情| 丁香五月,开心五月,成人婷婷| 色婷婷亚洲综合av| 大香蕉在九| 日本色五月| 婷婷五月激情小说| 婷婷五月天激情小说网站| 粉嫩av懂色av蜜臀av熟妇| 日本偷拍九九九| 久久香蕉网| 亚洲av综合网| 五月天成人在线播放| www激情网| 五月丁香爱婷婷深深| 婷婷99热| 天堂爱啪啪| 91婷婷丁香五月亚洲| 99成人| 日韩 中文 欧美| 婷婷伊人五月天| tingtingzonghewang| 开心久久五月天| www.黄色片-久久成人国产精品在线播放-999AV| 91国产精品视频播放| 国产古装妇女野外A片| 色婷婷电影网| 激情綜合W W W,激情五月天| 亚洲色啪| 久热大香蕉| 久久婷婷久久| 日本色爽| 狠狠五月激情丁香六月| 超碰93在线观看| 五月丁香五月婷婷| 9有码中文| 99久在线精品99re8热| 2025年最新亚洲在线欧美| 久久五月天色婷婷| Av性爱网站| aⅤ79成人片| 欧美婷婷日本| 热99久| 色婷婷在线影院| 91人人爱| 热99.com婷婷| 9一精品视频观看| 丁香九色不卡aaa| 九九九AAA热视频| 国产午夜精品AV一区二区麻豆| 99精品热| 天天爽天天干| 国产毛片精品一区二区色欲黄A片| 色色热| 婷婷六月丁香在线| 成人婷婷五月| 欧美成人精品老美女噜噜噜| 五月婷婷官网色| 情趣视频66| 激情五月婷婷六月丁香| 久久在线大香蕉| 久久婷婷色综合| 人妻中文在线| 99在线免费视频| 欧美色综合天天久久综合精品| 精品激情| 免费无码毛片一区二区A片| 天天天天天日| 无码人妻精品一区二区蜜桃色欲| 超碰操日| 91成人看片| 久操热| 丁香午月AV中文字幕| 五月婷婷久久激情| 五月天五月天成人网亭亭成人色网站| 久久综合影院| 91精品在线看| 成人无码精品1区2区3区免费看 | 凹凸探花电影| www.亭亭五月天| 人人干人人看| 色情综合| 久久久久五月丁香| av大香蕉| 天天综合干| 婷婷丁香五月综合激情视频| 久久婷婷五月天激情四射| 色999五月色| 色色五月天激情| 久久99最新地址| 99视频在线看| 五月天无码| 六月色婷婷欧美| 天天日夜夜帕| 综合99视频| 五月色综合| 99天堂在线观看免费视频| 激情综合在线播放| 婷婷五月天激情网址| 噜噜噜噜在线| 欧美激情VA永久在线播放| 99这里都是精品6| 五月丁香六月激情网站| 偷拍91九色| 噜噜噜狠狠色综合| 色播五月丁香| 久久精品性爱| 91成人看| 这里只有精品视频在线观看免费| 色久天| 五月婷婷激情综合| 婷婷五月天性爱视频| 久/久精品99看9| 99九九精品视频| 偷拍91九色| 国产精品第一国产精品| 99超碰在线观看| 日本丁香五月婷婷| 任你操精品免费| 国产成人精品一区二三区熟女在线| 五月天大香蕉视频| 丁香色六月婷婷| 欧美啄木乌丝袜人妻系列| 六月婷婷激情| 一本九九色| 韩国情人在线电视剧免费观看高清版全集 | 五月天婷婷久草丁香| 影音先锋女人av鲁色资源网小说免费| 丁香六月婷婷色播| 91聚色综合网| 亚洲欧洲色色| 黄色五月婷婷| 婷婷综合av| 五月丁香激情五月天| 五月综合激情| 任你干线上免费视频有3吗| 99视频这里只有免费精品| 天天综合网亚洲综合网| 五月激情啪啪| 欧美色图天堂网| 夜夜夜夜夜骑撸| 大地资源色婷婷视频在线| 97精品在线| 欧美日韩AAA| 色综合天天| 五月丁香好婷婷A片网| 精品99网站| 思思热精品在线视频| 超碰人人99| 夜夜操夜夜姧| 亚洲综合在线视频| 91丨九色丨熟女高潮| 激情五月天开心| 国产毛片操B| 狠狠搞五月天| 99久久久免费| 大香蕉啪啪啪啪啪啪| 激情五月天之六月婷婷| 婷婷五月天社区| 99热在线精品播放| 综合性爱网| 五月天久草| 五月之婷婷| 国精产品一区一区三区免费视频| 婷丁香久综合| 97操操操| 丁香五月香蕉| 久久久久人妻精品| 亚洲视频1区| 欧美草久久五月天91| .精品久久久麻豆国产精品| 久久9久| 99福利导航| 伊人五月综合网| 久色欧美| 激情五月黄色| 人人做人人看人人摸| 色五月婷婷亚洲| 婷婷丁香成人| 狠狠色色| av在线超清中文| 亚洲精品婷婷| 丁香五月综合高清在线| 色色色色色色网站| 激情五月天啪啪视频| 色婷婷六月| 国产伦理精品高清在线观看网站一区二区 | 日韩色色视频| 99热成人精品| 午夜无码熟熟妇丰满人妻| 丁香五月AV在线| 婷婷五月天av| 婷婷六月天精品| 亚洲无AV在线中文字幕| 日日夜夜天天爽| 97大香蕉五月天| 99思思热只有在这里看| 久久综合五月情| 五月激激网w'w'w| 亚洲乱码日产精品BD| 爱草视频在线观看| 婷婷久综合| 久热播这里只有精品| 亚洲av成人一区二区电影在线| 五月丁香六月激情欧美综合| 久婷婷五月天影院| 久久婷婷六月综合| 激情久久综合| 青青草免费公开视频| 热99只有精品| 激情婷婷五月综合| 亚洲旡码| 五月丁香综合激情在线观看| 极品少妇XXXX精品少妇偷拍| 五月婷婷久草在线视频综合| 91疯狂操操操操| 91精品久久久久| 婷婷五月天色丁香| 欧美在线ee日韩| 婷婷无码五月天| www..999热久| 青草视频在线观看视频| 五月丁香六月婷综合成人综合| 日都一级A片| 亚洲精品小视频| AV大香蕉| 26UUU精品一区二区Com| 超级碰碰碰碰视频| 99精品无码| 激情激情激情网| 第五婷婷伊人丁香| 91久久婷婷| 久久综合伊人综合在线| 777久久久| 欧美色色色色色| 激情开心五月亚洲| 99色干| 国产精品人人做人人爽人人添| 国产色五月| 激情婷婷久久| 九七色色六月丁香| 丁香九月婷| sewuyue第四色| 热热99爱爱| 狠狠操狠狠插| 天天干天天做| 人人色AV| 五月婷啪| 91制片厂久久久国产电影| 丁香五月天堂网| 日韩一66精品| 狠狠色丁香婷婷久久综合| 五月婷婷六月丁香| 天天综合五月| 丁香五月在线视频黑人| 亚洲综合色婷婷| 91色性感五月婷婷丁香| 久热这里只有精品99re| 五月婷色激情五月| 天天综合亚洲综合网天天αⅴ| 色婷婷小视频| 激情四射五月天| 激情五月丁香亭亭| 日日操日日干| 欧美熟女99| 亲子乱AV-区二区三区| 天天狠天天叉| 久久激情五月婷婷| 狠狠狠狠狠狠狠狠草| 日本色天堂| 六月婷婷天堂| 大地9中文在线观看免费高清| 综合网啪| 色亚洲欧洲| 丁香六月亚洲| 97视频久久| 婷婷五月激情视频网| 五月丁香六月激情综合| 色婷五月| 日本婷婷五月天| 影音先锋人妻出差| 色婷婷五月基地在线| 五月丁香六月婷婷啪啪| wwww.色婷婷| 少妇水多A片太爽了| 婷婷在线视频| 亚洲无码成人| 婷婷五月天国产| 色五月天激情| 天天草婷婷五月| 久久98| 国产亚洲99久久| 五月丁香激情六月| 激情综合五月婷| 六月婷欧美| 五月天天综合网色婷婷| 1024亚洲无码| 欧美大片免费播放器| 五月天婷婷在线AN| 97人人操人人爽| 五月婷视频在线| 国产精品色婷婷AV综合色色| 天天干、天天日日| 婷婷五月丁香成人| 丁香五月天欧美| 青青热久久综合| 五月六月播婷婷| 日韩精品999| 免费人人操| 92久操视频| 另类婷婷五月天啪帕帕| 久久五月婷综合| 少妇高潮呻吟A片免费看软件| 亚洲中文字幕网| 五月丁香六月婷婷啪啪| 激情五月丁香五月| 五月婷婷中文| 九九这里有精品| 欧美日韩一区二区三区四区| 婷婷五月天久久久| 激情五月天影院| 亚州操人在线视频| 婷婷欧美| 亚洲va综合va国产va中文| www.zbzhongsen.com| 夜夜骑夜夜操| 99久久综合网| 中文人妻AV久久人妻18| 欧美三级巜人妻互换| 99精彩视频网站在线| 亚洲精品白浆高清久久久久久| 色色色com| 久久色情| 国产黄大片在线观看画质优化 | 婷婷色情小说| 五月激情综合美女久久| 六月丁香好婷婷| 丁香五月婷婷色偷偷| 五月草视频| 狠狠色丁香| 91综合色| 丁香婷婷六月| 野战J办公桌椅H| 97操碰98| 99婷婷五月天激情| 91在线日| 精品无码色| 亚洲另类婷婷五月综合| 99性视频| 天堂久久精品| 99精品久久| 在线看片h站| 九九综合五月欧美| 亚洲AV中文在线| 五月总合激情网| 婷婷一本和五月丁香| 久久九九蜜| 狠狠穞A片一區二區三區| 六月婷婷激情| 777影视理论片大全在线观看| 美女被操一区二区| 丁香五月色网| 婷婷激情伍月网| 五月天婷爱综合| 亚洲色视频| 91色久| 色噜噜狠狠色综无码久久合欧美| av一区免费看| 九九热九九| 亚洲精品乱码久久久久久综合| 五月天狠狠干| 国产97色在线 | 日韩| 日韩九区| av一区免费看| 日韩成人电影AV| 激情五月婷婷伊人| 婷婷色五天| 色婷婷丁香| 丁香婷婷五月天成人| 超碰com| www.91有码.com| 六月丁香网| 中文AV网站| 亚洲天堂色| 日本久热| 五月天精品综合| 人妻熟妇国产精品| 骚逼视频一区2区| www九九| 五月丁香六月情亚洲| 婷色五月天| 韩国中文字幕91| 三级99热| 狠狠大香婷婷爱| 狠狠操婷婷| 极品另类| 婷婷5月久久综合网站| 九九色欲网| 六月婷婷国产| 久久综合丁香激情五月| 在线一起草av| 久er7久热| 五月天激情四射网站| 河北真实伦对白精彩脏话| aaa久久| 五月婷婷综合色啪首页| 99操视频| 性爱网六月丁香| 五月婷丁香在线视频在线| 丁香狠狠色婷婷| 久久综合五月天激情小说网站| 欧美影院婷婷| 日本熟女一区二区| 操一操干一干| 91无码高清| 激情 婷婷 丁香五月天| 亚洲色视频| 91一道本| 欧美激情-区二区三区| 色综合五月天| 色碰碰| 免费观看的婷婷五月视频在线| 久久六月天| 在线看黄色| 停停色综合伊人| 久久久久9| 在线视频激情网站| 五月天婷婷激情春色小说| 婷婷久久五月天| 99re热99| 天天操屄网| 99婷婷精品推荐在线视频| 欧美性二区| WWW.婷婷五月天.COM| 婷婷五月天丁香久久| 色大综合| 九九综合久久| 五月综合久久| 大香蕉伊人99| 色婷婷色综合激情91| 丁香五月五月婷婷五月天激情四射| 热久久这里只有精品| 91热在线| 久久久大香蕉| 亚洲成人在线综合| 一丁香五月天月AV| 久久99免费视屏| 久久aaaa片一区二区| 精品国产乱码久久久久夜深人妻 | 99er这里只有精品视频| 97碰超级人人看| 色色九九五月天 | 久久五月天激情| 婷婷激情六月中文| www.激情五月天com| 香蕉AV777XXX色综合一区| 久月丁香爱婷婷综合| 五月丁香六月激情在线| 激情五月天丁香| 亚洲无码另类| 五月婷婷丁香| 91久久电影| 五月激情射| 第四色五月婷婷| 五月 激情视频| 99久精品视频| 国产综合视频婷婷| www.五月天| 日熟女| 九月婷婷激情| 色狠狠色综合久久久绯色AⅤ影视| 播五月丁香三月婷婷| 99er热精品视频| 久久狠狠干| 91丨九色熟女丨首页| 久热免费视频| 玖玖99免费视频| 色婷婷大香蕉| 黄色精品五月婷婷| 久操大香蕉| 99热在线爱| 久久婷婷五月天| 能看的av片| 亚洲成AV人片在线观看| www.henhengan| 99热狠狠操| 激情五月天色网站| 色五月丁香六月资源站| 六月丁香啪啪| 六月婷五月丁香| 九月激情婷婷丁香| 日本社区五月天激情| 色婷婷情片| 大香蕉啪啪| 五月天五月色婷婷综合| 免费无码毛片一区二区A片| 五月丁香六月香综合激情| 91精品综合久久久久久五月天| 五月欧美丁香在线观看| 五月天激情四射| 色永久| 婷婷五月丁香色播| 激情文学久久| 狠狠干天天内射| 91蝌蚪窝视频在线| 色五月丁香婷婷| 免费婷婷| 99热9| 停停五月天激情网| 超碰av天堂| 这里只有精品免费视频| 精品综合久久久久久五月天| 热99.com婷婷| 五月丁香啪综合| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 免费AV播放| 人妻体体内射精一区二区| 性生活视频98791| 日本九九视频| 丁香激情网| 99久久免费精品| 人妻中文字幕网| 97色色色色色| 日韩综合大黄| 丁香婷婷色色| 国产小精品| 五月丁香在线观看| 99色区| 五月丁香亚州综合网| 9有码中文| 婷婷五月俺要去| 免费日本aⅴ中文字幕| 99热这里| 五月丁香六月合| 97色永久免费视频| 色情综合网| 思思热视频在线观看| 99热综合在线| 天天视频精品9| 久热91| 五月天黄色激情小说| 婷婷97碰碰| 亚洲成人影视在线| 影视av久久久噜噜噜噜噜三级| 天天爽—爽| 99久久五月丁香野外| 天天日天天爽| 色色色色综合| 欧美色骚婷婷五月天| www91久久| 青青草国产亚洲精品久久| 欧洲色色| 婷婷五月综合激情小说| 五月丁香久久网| 91夫妻网站九色| 五月丁香色| 99无码黄色视频| 婷婷色色综合激情| av无码电影| 五月婷婷丁香91| 婷婷五月成人| 人人干av| 一本久久亚洲五月婷婷 | 日本成人内射| www.99视频| A久久| 婷婷五月天熟妇| www久久久| 大伊香蕉玖玖爱| 5月丁香美女影院| 久热免费| 激情综合网激情五月天| 精品九九视频在线观看| 久久婷五月天| 亚洲xx网| 久久这里只有精品视频15| 99久在线精品99re8热| 色色色五月婷| 婷婷五月天激情网站| 影音先锋女人av鲁色资源网小说免费| 97碰人人操| 丁香五月婷婷香| 99精品国产乱码久久久人妻| 亚洲色综合| 激情五月天婷婷在线网址发给我| 久香草视频在线观看| 深爱五月激情综合| 五月婷婷影院| 五月天停停日日| 大香久久综合网| 亚洲亚洲人成综合网络| 超碰99在线观看| 久久久五月天| 99免费热视频在线| 五月丁香六月婷婷啪啪| 色综合性视频| 五月激情精品视频| 五月丁香| www91在线| 婷婷色基地在线看| 婷婷色综合中心站| 涩丁香| 国产精品久久久久久久久久免费 | AAA亚洲AV| 欧美日韩大黄| 天天肏屄夜夜爽| 久久综合婷婷| 久久婷婷成人| www久久艹| 亚洲午夜Av| 亚洲无码播放| 手机旧版看人妻1025| 色五月婷婷五月| 久久96热| 丁香五月六月婷婷综合激情| 欧美猛片| 日韩婷婷五月天| 婷婷久久国产视频| 婷婷五月天在线综合导航| www.av视频xx999.com| 99热这里在线精品| 久久五月丁香| 久久五月婷婷电影| 激情五月天色| 成人短视频在线观看| 久久婷婷亚洲| 亚洲成人在线播放| 欧韩性爱| 久er7久热| 狠狠色丁香99| 五月婷婷精品视频| www.六月丁香看AV| 六月丁香婷婷尤物| 丁香五月色情| 五月激激激情综合网| 亚洲色情在线| 狠狠色噜噜狠狠狠狠综合| 99综合| 色私五月婷婷| 丁香婷婷网| 99热这里只有精品中文字幕| 激情色色| 午夜丁香| 日韩AV无码影片| 国产精女同一区二区三区久| 大香蕉视频婷婷| ady狠狠入| 五月99久久| 婷婷丁香五另类网站| 99热在这里只有免费精品| 伊人丁香花综合影院| 激情五月婷婷五月丁香五月开心五月| 久久婷狠狠色| 91九九| 久草婷妨| 久久东京热婷婷五月| 日日日日做夜夜夜夜无码| 丁香六月激情蜜桃| 五月天 婷 欧美亚洲| 大香蕉五月天婷婷| 九九热在线视频| 婷婷五月天桃花网| 婷婷伊人五月丁香天堂网| 91婷婷色 | 五月丁香色色网| 精品人妻伦一二三区久久| 在线成人va| 超级97碰碰| 中文字幕av久久爽一区| 亚洲丁香五月天在线视频| 五月天深爱激情网| 日熟女| 96丁香六月婷婷蜜桃综合久久| 夫妇交换刺激做爰| 开心久久网婷婷| 日韩成人网址| 丁香五月久久综合| 五月激情天| 99久久这里只有精品| 五月天丁香婷婷网| 欧美色色色色色色| 六月丁香婷婷综合色播| 丁香5月婷婷| 婷婷五月激情图片| 丁香五月花| 在线免费观看激情视频| 丁香五月婷婷黑人妻黄色电影院| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 任你擦免费视频| 色婷婷内射| 色婷婷亚洲精品天天综| 日本99视频| 国产偷人爽久久久久久老妇APP| 久久五月婷综合网| 激情小说在线视频| 婷婷五月成人社区| www.婷婷五月天,com| 五月婷婷六月丁香色| 色综合色综合网| 日本三级毛片| 插插五月天| 日日夜夜天天综合| 超级碰碰视频无码| 开心久久爱五月天| 91久久1118| 五月丁香A∨在线| 六月色色综合| 色激情综合| 日韩无码亚欧无码| 色久婷婷网| 色婷婷狠狠爱| 天花AV无码| 国产精品色色色色| 人人干人人看| 激情九月天天天天婷婷| 五月婷婷狠狠干| 色婷婷久久| 五月丁香激情综合| 五月丁香六月综合激情| 婷婷五月丁香亚洲| 99热久只有| 综合色99| 熟女啪啪视频| 日韩99色99| XX色综合| 天天爽天天爽天天爽天天爽天天爽天天爽天天| 五月婷婷丁香五月天| 国产毛片操B| 日本狠狠爽| 九九热最新视频| 婷婷中文无码| 国产亚洲色婷婷久久99精品91| 97碰碰叉| 日日射天天射| 丁香五月天视频| 亚洲综合色婷婷| 亚洲欧美成人在线| 久9视频免费播放| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪 | 狠狠色狠狠色综合日日91| 色色色色色色网| 久久9热| 丁香五月激情婷婷婷婷在线观看| 日本91在线播放| 婷婷的五月天另类视频| 天天拍天天操| 97人人超| 五月天婷婷基地综合网| 色婷久| 色屌丝中文字幕| 中文字幕欧美精品久久| 日本激情五月天‘| 7777国产盗摄农村女人| 午夜不卡成人一区二区| 狠狠干狠狠干| 国产精品久久99| 五月婷婷片| 久久婷五月| 97精品自拍| 婷婷五月综激情| 色域五月婷婷丁香| 久久伦乱| 五月天伊人久久久久| WWW·色色色·COM| 天天爽天天爽| 久久婷婷综合国产| 日本va欧美va国产激情| 丁香花操逼| 婷婷五月成人| 色欲婷婷五月天丁香| 五月婷激情| 91无码高清| 9久热在线视频精品| 超碰二区| 久久久香| 成片免费观看视频大全| 亚洲中文乱字字幕在线永久| www色综合亚洲92| 激情六月天| 97超碰人人操| 五月天婷婷丁香| sesesesezonghe| www.婷婷五月天| 免费试看小视频 99| 丁香花社区av| 淫荡综合网| 卡视频1区2区| 激情综合网激情五月天| 综合色情网| 久久停停超碰| 9er热在线精品视频| 国产欧美熟妇另类久久久| 天天插天天日天天爽| 狠狠爱深色婷婷综合| 日本操逼九九九九58日本操逼| 99啪啪骑| 日韩黄色电影| 色五月首页| 成人无码髙潮喷水A片| 色丁香久综合在线久综合在线观看| 人妻无码视频网| 婷婷五月激情在线视频| 国产综合婷婷| 色婷婷五月在线| 精品人妻伦| 丁香亭亭激情四射| 久久久无码精品成人A片小说 | 婷婷99狠狠| 国产美女最新VA在线免费观看| 五月婷婷激情啪啪| 五夜丁香| 97精品综合| 久99999热视频在线观看免费| 色婷婷五月天视频在线| 久操人| 欧美va视频| 色亚洲视频| 久久婷婷五月综合色天| 99视频在线| 99re这里只有精品99| 激情人妻蜜夜系列区| 色综合伊人网| 久久XX| 国产精产国品一二三在观看| 看久久性爱99视频| 色优久久| 国产暴力强伦轩1区二区小说| 天天射综合网夜夜操| www.射伊蕉婷婷| 禁欲电影完整版在线播放| 天天爱夜夜爽| 久久久久久激情| 亚洲视频在线网站| 婷婷九月在线| 婷婷久久免费看| 五月婷婷久久爱| 97干在线视频| 深爱激情av| 婷婷99中文字幕| 内射爽无广熟女亚洲| 五月天婷婷综合免费| 久久66er久久| 大香蕉在线观看9| 大香蕉久久| 99色爱| 久久久com| 99久久国产综合精品五月天喷水\| 丁香五月激情综合| 五月香蕉婷婷| 91肏| 丁香五月天成人| 丁香婷婷社区| 五月激情综合婷婷| 97九色视频| 久久久久久久11111111111| 女同激情久久av久久| 伊人超碰| 91大神操美女| 嫩模草| 99久视频| 国产成人99久久亚洲综合精品| 精品九九在线观看视频| 9热久久在线| 黄桃AV无码免费一区二区三区| 免费观看的婷婷五月视频在线| 丁香五月天激情五月天激情五月天激情网| 97婷婷久久丁香| 激情又色又爽又黄的A片| 九九这里是免费的视频5| 亚洲丁香五月美女| 超碰成人电影| 日韩AV一区二区三区| AA片在线观看视频在线播放| 久久综合首页| 欧美爆乳一区二区三区| 99'无码| 九九热99免费视频| 五月色情婷婷| 亚洲午夜AV| 99热在线观看精品| 五月丁香六月婷婷综合网站| 婷婷六月开心网| 色狠狠综合网| 蜜桃婷婷狠狠久久综合| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 色吧五月婷婷六月丁香| 人人综合久| 热99.com婷婷| 丰满少妇猛烈A片免费看观看| 久综合网| 五月天成人在线视频网站| 精品免费99| 大波美女VA网站| 青草青草久热这里只有精品| www.五月婷| 大香蕉丁香五月| 色.五月综合网| 中文字幕在线免费看线人|