欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

私有化RAG知識(shí)庫(kù)落地全指南:架構(gòu)、踩坑與調(diào)優(yōu)實(shí)踐

私有化RAG知識(shí)庫(kù)落地全指南:架構(gòu)、踩坑與調(diào)優(yōu)實(shí)踐 我們內(nèi)部折騰了兩周把散落在十幾個(gè)共享目錄、Wiki、工單系統(tǒng)里的資料統(tǒng)一收進(jìn)了一個(gè)真正跑在生產(chǎn)環(huán)境的私有化 RAG 知識(shí)庫(kù)。從最開(kāi)始的需求梳理、框架選型到后來(lái)的文檔解析、向量檢索調(diào)優(yōu)再到最后的多租戶權(quán)限隔離和上線運(yùn)維每一步都踩了不少坑。這篇文章就把完整架構(gòu)和數(shù)據(jù)流轉(zhuǎn)鏈路攤開(kāi)講重點(diǎn)說(shuō)清楚那些官方文檔不會(huì)寫的細(xì)節(jié)以及我們自己實(shí)測(cè)下來(lái)覺(jué)得最值得注意的地方。如果你也正準(zhǔn)備在企業(yè)里搭一套私有化 RAG 知識(shí)庫(kù)這篇應(yīng)該能幫你省下一大半試錯(cuò)時(shí)間。1. 為什么必須私有化需求驅(qū)動(dòng)的三個(gè)關(guān)鍵判斷先別急著聊技術(shù)選型。很多團(tuán)隊(duì)拿到“知識(shí)庫(kù)”需求就直接開(kāi)搞結(jié)果做一半發(fā)現(xiàn)數(shù)據(jù)合規(guī)過(guò)不了、模型效果不滿意、迭代改不動(dòng)推到重來(lái)。我們前期花了整整兩天梳理需求最終得出三個(gè)核心結(jié)論所有架構(gòu)決策都圍繞這三個(gè)判斷展開(kāi)。1.1 數(shù)據(jù)出境與合規(guī)風(fēng)險(xiǎn)決定了大方向企業(yè)要入庫(kù)的文檔里有銷售合同、客戶檔案、內(nèi)部研發(fā)方案、財(cái)務(wù)審批材料這些數(shù)據(jù)連傳上公有云都要層層審批更別提直接丟給在線大模型接口做檢索生成。內(nèi)部推演過(guò)一條數(shù)據(jù)流的路徑用戶提問(wèn)→檢索命中→拼接上下文→發(fā)送給在線模型→返回答案。在這個(gè)過(guò)程中原始文檔片段已經(jīng)暴露給了第三方服務(wù)商這在我們這種對(duì)數(shù)據(jù)管控有硬性要求的場(chǎng)景里是絕對(duì)不能接受的。所以私有化不只是“省錢”或者“折騰”而是合規(guī)底線的必然選擇。這也意味著全文檢索鏈路里的每一個(gè)環(huán)節(jié)——embedding 模型、向量數(shù)據(jù)庫(kù)、LLM 推理服務(wù)全部都要落到自己可控的服務(wù)器上。想清楚這一層后面的所有選型標(biāo)準(zhǔn)就清晰了。1.2 “私有化”的現(xiàn)實(shí)定義模型和框架都要可控市面上的開(kāi)源 RAG 框架比如 Dify、MaxKB、FastGPT、RAGFlow還有直接用 LangChain 或 LlamaIndex 自研的都能做私有化部署。但“能部署”和“能生產(chǎn)落地”是兩碼事。我們測(cè)試過(guò)幾個(gè)主流項(xiàng)目發(fā)現(xiàn)它們默認(rèn)的文檔解析邏輯比較理想化遇到掃描件、PPT 轉(zhuǎn)文字、復(fù)雜表格這些真實(shí)企業(yè)文檔效果就會(huì)明顯下滑。后面每一層都需要自己動(dòng)手改或者是寫插件或者是用外部解析服務(wù)替換內(nèi)置邏輯。因此我們定了一個(gè)基本原則框架只承擔(dān)流程編排和底座能力核心環(huán)節(jié)解析、切分、向量化、檢索、重排、生成必須能插拔替換。這也是最終選擇自研內(nèi)層邏輯外面接開(kāi)源組件的原因。1.3 開(kāi)源框架選型對(duì)比Dify 值得用但別迷信開(kāi)箱即用當(dāng)時(shí)認(rèn)真對(duì)比了四個(gè)開(kāi)源項(xiàng)目列表給大家參考框架定位優(yōu)勢(shì)主要瓶頸Dify低代碼 LLMOps 平臺(tái)工作流可視化、生態(tài)成熟、插件多內(nèi)置解析偏弱復(fù)雜生產(chǎn)場(chǎng)景仍需二次開(kāi)發(fā)MaxKB知識(shí)庫(kù)問(wèn)答上手快中文場(chǎng)景做了優(yōu)化靈活性一般重排和權(quán)限控制偏基礎(chǔ)FastGPT知識(shí)庫(kù)問(wèn)答工作流功能全面有商業(yè)化團(tuán)隊(duì)重邏輯定制時(shí)改動(dòng)成本較高RAGFlow文檔深度解析解析排版表現(xiàn)較好自定義鏈路復(fù)雜版本迭代快社區(qū)文檔跟不上我們最后沒(méi)有單選任何一個(gè)而是把其中某個(gè)框架作為管理界面和 API 入口底層的文檔解析、切分策略、向量檢索邏輯都換成了自己的實(shí)現(xiàn)。這樣做的好處是保留社區(qū)的維護(hù)力量同時(shí)關(guān)鍵鏈路全部握在自己手里出問(wèn)題時(shí)能定位到代碼行。2. 兩周時(shí)間線完整架構(gòu)與數(shù)據(jù)流轉(zhuǎn)過(guò)程架構(gòu)設(shè)計(jì)沒(méi)有一步到位是在踩坑過(guò)程中逐步修正的。最終落地的形態(tài)是一個(gè)五層結(jié)構(gòu)每層解決一類問(wèn)題。2.1 總體架構(gòu)五層結(jié)構(gòu)各司其職第一層是數(shù)據(jù)接入層負(fù)責(zé)把散落在共享目錄、Wiki、工單附件、郵箱附件里的文件收集起來(lái)。我們寫了一個(gè)定時(shí)掃描程序按文件指紋md5 大小做增量識(shí)別避免重復(fù)入庫(kù)。第二層是文檔解析與預(yù)處理層。所有文件先進(jìn)統(tǒng)一格式轉(zhuǎn)換PDF 優(yōu)先提取內(nèi)嵌文本沒(méi)有文本層的走 OCRWord 和 PPT 調(diào)用底層轉(zhuǎn)換接口先轉(zhuǎn)成 PDF 再進(jìn)解析管線表格類文檔單獨(dú)標(biāo)記不走默認(rèn)切分邏輯。這一層的產(chǎn)出是“帶層級(jí)結(jié)構(gòu)的純凈文本段落坐標(biāo)元信息”。第三層是切分與向量化層。切分策略選了“Markdown 標(biāo)題層級(jí) 固定窗口兜底”的混合模式。先盡量按文檔的標(biāo)題結(jié)構(gòu)切出大塊再把大塊里的長(zhǎng)段落按 token 窗口二次切分。做完之后每一條切塊都會(huì)保留原始文檔 ID、標(biāo)題路徑、頁(yè)碼供后續(xù)引用溯源使用。第四層是檢索層。檢索邏輯采用了“雙路召回”也就是關(guān)鍵詞檢索和向量檢索并行各自召回一批候選結(jié)果再用重排模型統(tǒng)一打分。關(guān)鍵詞這邊用的 BM25向量那邊用的余弦相似度。雙路召回的意義在于向量檢索擅長(zhǎng)語(yǔ)義相近但字面不同的情況比如問(wèn)“離職流程”匹配到“員工離崗手續(xù)”關(guān)鍵詞檢索擅長(zhǎng)精確匹配專有名詞和編號(hào)比如“GL-2024-013”這類編號(hào)。兩路結(jié)果合并后取 top N 進(jìn)入重排。第五層是生成層。Prompt 模板把我們需要的上下文格式、引用格式、拒答策略都寫死LLM 只做“基于給定內(nèi)容回答”這件事。這里必須強(qiáng)調(diào)LLM 默認(rèn)的“自由發(fā)揮”傾向是知識(shí)庫(kù)問(wèn)答的大敵所以系統(tǒng)提示詞寫得非常嚴(yán)格還加了輸出格式校驗(yàn)不滿足引用要求的回答直接打回重答。一層層拆解下來(lái)數(shù)據(jù)流轉(zhuǎn)的路徑就很清晰了文件系統(tǒng) → 定時(shí)抓取 → 格式轉(zhuǎn)換 → 文本提取 → 標(biāo)題層級(jí)識(shí)別 → 混合切分 → 向量化入庫(kù) 建立倒排索引 → 用戶提問(wèn) → 雙路召回 → 重排 → 組裝上下文 → LLM 生成 → 帶引用的回答返回。2.2 文檔預(yù)處理的隱藏成本格式歸一化比想象中費(fèi)時(shí)間真實(shí)企業(yè)環(huán)境里的文檔格式遠(yuǎn)比教程里的純文本復(fù)雜。我們第一天就把一個(gè) 900MB 的共享目錄全量灌進(jìn)去結(jié)果發(fā)現(xiàn) PDF 文件里混著大量掃描件Word 文檔還帶著各種修訂批注PPT 里的文字是圖形化嵌入的抽取出來(lái)全是亂碼。后來(lái)專門花了三天寫解析適配層掃描 PDF 先用 OCR 服務(wù)轉(zhuǎn)出文本層再走正常流程Word 轉(zhuǎn) PDF 后用版本兼容的處理參數(shù)避免格式丟失PPT 直接按頁(yè)抽文字并保留“標(biāo)題→正文→備注”的結(jié)構(gòu)。每個(gè)格式的處理代碼量不大但邊界情況極多比如圖片型 PDF 的分辨率閾值、表格線的跨頁(yè)截?cái)唷⒍嗉?jí)列表的縮進(jìn)還原這些都是在實(shí)際文件里逐個(gè)磨出來(lái)的。格式歸一化這一層如果沒(méi)做好后面切分和檢索的效果會(huì)被直接拉低一個(gè)檔次。2.3 切分策略混合模式兼顧效率與準(zhǔn)確率切分是決定檢索效果的核心環(huán)節(jié)之一。我們前后試過(guò)純固定窗口256/512 tokens、純語(yǔ)義切分、按標(biāo)題切分三種策略最終選擇了混合模式原因在于純固定窗口雖然實(shí)現(xiàn)簡(jiǎn)單但會(huì)把完整語(yǔ)義塊攔腰切斷。比如一段介紹某系統(tǒng)部署步驟的文本正好被切到兩個(gè)窗口里查詢“部署步驟”時(shí)只能召回片段生成答案就缺少上下文。純語(yǔ)義切分效果好一些但計(jì)算成本高處理長(zhǎng)文檔時(shí)速度讓人著急而且開(kāi)源的語(yǔ)義切分模型對(duì)特定行業(yè)術(shù)語(yǔ)的斷句并不總是準(zhǔn)確?;旌夏J降牟僮髁鞒淌窍茸R(shí)別 Markdown 標(biāo)題結(jié)構(gòu)將文檔按 H1/H2/H3 層級(jí)切出大段對(duì)每個(gè)大段按固定窗口進(jìn)一步切分窗口大小設(shè)為 480 tokens重疊 80 tokens如果某大段的文本長(zhǎng)度小于窗口大小則保留整段每條生成的切塊補(bǔ)寫元數(shù)據(jù)來(lái)源文件、標(biāo)題路徑、頁(yè)碼范圍、切分序號(hào)。這里面有個(gè)容易忽略的細(xì)節(jié)不同企業(yè)的文檔風(fēng)格差異很大有的標(biāo)題規(guī)范比如制度類、操作手冊(cè)類有的標(biāo)題混亂比如歷史項(xiàng)目總結(jié)、外部伙伴發(fā)來(lái)的交付材料。所以還要加一道兜底規(guī)則如果標(biāo)題層級(jí)稀疏就默認(rèn)采用固定窗口切分避免整段大文本入庫(kù)后檢索召回率過(guò)低。2.4 向量化模型與向量庫(kù)的選型效果和資源的權(quán)衡embedding 模型選型直接決定檢索的上限。我們測(cè)試了 OpenAI 的 embedding 接口效果最好但數(shù)據(jù)要出網(wǎng)第一時(shí)間排除了。開(kāi)源的幾個(gè)主流選擇里重點(diǎn)對(duì)比了 BGE 系列、M3E 系列和我們自己微調(diào)的行業(yè)向量模型。測(cè)試結(jié)果匯總?cè)缦聝?nèi)部數(shù)據(jù)評(píng)估集 50 組業(yè)務(wù)問(wèn)題指標(biāo)是命中率 recall5模型命中率平均延遲ms備注BGE-large-zh-v1.50.8218通用性好穩(wěn)定M3E-base0.7612資源占用少但專業(yè)詞匯表現(xiàn)一般bge-m30.8425多語(yǔ)言支持好稍微吃資源自研微調(diào)模型0.8528數(shù)據(jù)量大之后可考慮投入產(chǎn)出比不高實(shí)際生產(chǎn)選了 bge-m3因?yàn)樗鼘?duì)中英文混排的文檔兼容性更好加上公司內(nèi)部有大量雙語(yǔ)材料這個(gè)優(yōu)勢(shì)很關(guān)鍵。向量庫(kù)選了 pgvector沒(méi)有上 Milvus。原因是數(shù)據(jù)量在百萬(wàn)級(jí) token 量級(jí)時(shí)pgvector 足夠穩(wěn)定而且能共用 PostgreSQL 自帶的事務(wù)、權(quán)限、備份機(jī)制少維護(hù)一個(gè)組件。 Milvus 適合千萬(wàn)級(jí)以上的大規(guī)模場(chǎng)景但對(duì)小團(tuán)隊(duì)來(lái)說(shuō)運(yùn)維成本偏重。2.5 重排模塊召回率再高不如排序準(zhǔn)重排是整個(gè)檢索鏈路里投入產(chǎn)出比最高的一環(huán)。最初我們只做向量檢索召回的 top 8 片段直接拼進(jìn) prompt結(jié)果不少回答引用了正確文件但內(nèi)容不精準(zhǔn)。加入重排模型之后候選片段先交給一個(gè)輕量級(jí) cross-encoder 重新打分再取最相關(guān)的 3 到 4 段進(jìn)入生成階段答案連貫性和準(zhǔn)確性都有了顯著提升。重排模型用的是 bge-reranker-base。它有 2.8 億參數(shù)按我們的并發(fā)量放到單張 GPU 上推理延遲在 15 到 30ms 之間完全在可接受范圍內(nèi)。重排這個(gè)環(huán)節(jié)很容易被新手忽略但實(shí)際效果提升非常直觀我建議只要資源允許一定要加。3. 兩周踩坑實(shí)錄最耗時(shí)間的六個(gè)問(wèn)題這一部分是全文最想分享的內(nèi)容。每個(gè)坑都真實(shí)發(fā)生過(guò)寫出來(lái)希望你能繞開(kāi)。3.1 掃描版 PDFOCR 鏈路繞不開(kāi)第一個(gè)坑就是掃描版 PDF。公司共享目錄里有相當(dāng)一部分合同和歸檔材料是掃描件沒(méi)有內(nèi)嵌文本層。最初我們的解析流程只認(rèn)文本層結(jié)果這些文件靜默失敗日志里只有一行“extract text failed”檢索時(shí)這些文檔永遠(yuǎn)召不回來(lái)。排查鏈路先寫腳本批量統(tǒng)計(jì)各 PDF 的文本層提取成功率發(fā)現(xiàn) 18% 的文檔沒(méi)有文本層對(duì)這些文檔抽樣人工檢查確認(rèn)是掃描件接入 OCR 服務(wù)對(duì)分辨率不足 300 DPI 的圖片做了放大預(yù)處理在解析流程里增加“文本層提取失敗則自動(dòng)進(jìn)入 OCR”的 fallback 邏輯?,F(xiàn)在回頭想這批掃描件的正確處理是整個(gè)知識(shí)庫(kù)覆蓋率的基石。沒(méi)有 OCR主要業(yè)務(wù)資料缺失知識(shí)庫(kù)的價(jià)值直接減半。OCR 服務(wù)的內(nèi)存和 GPU 占用也要提前規(guī)劃我們是分批任務(wù)隊(duì)列跑的避免和在線推理服務(wù)搶資源。3.2 表格被切得七零八落標(biāo)題層級(jí)策略的盲區(qū)第二個(gè)坑來(lái)自表格文檔。我們把一份產(chǎn)品規(guī)格說(shuō)明書推進(jìn)知識(shí)庫(kù)里面包含了各種參數(shù)對(duì)照表。默認(rèn)切分邏輯按標(biāo)題段落切分表格部分被當(dāng)成普通文本切成了多個(gè)片段導(dǎo)致用戶問(wèn)“XX 型號(hào)的最大負(fù)載”時(shí)檢索結(jié)果無(wú)法把完整表格行召回回答要么拼錯(cuò)參數(shù)要么只返回半行數(shù)據(jù)。解決方法是給表格單獨(dú)開(kāi)一條預(yù)處理分支識(shí)別出表格塊后用 OCR/表格結(jié)構(gòu)識(shí)別工具還原成 Markdown 表格格式并讓它作為一個(gè)獨(dú)立的不可切分單元整體入庫(kù)。這樣雖然單塊 token 數(shù)變大了但表格的回完整率明顯提高。這個(gè)坑也引出一個(gè)經(jīng)驗(yàn)切分策略一定要考慮文檔的結(jié)構(gòu)類型不能拿一套規(guī)則打天下。3.3 向量檢索召回高但答非所問(wèn)缺少重排第三坑就是前文提到的重排環(huán)節(jié)缺失?,F(xiàn)象是recall5 的命中率已經(jīng)到 0.84很多問(wèn)題能選中正確文檔但生成的答案還是會(huì)跳過(guò)關(guān)鍵信息引用片段和問(wèn)題相關(guān)性不夠緊密。排查鏈路把 RAG 的完整輸入輸出打印出來(lái)逐條對(duì)比命中片段與正確答案發(fā)現(xiàn)很多候選片段本身包含答案出處但排序太靠后prompt 的上下文窗口里塞進(jìn)了無(wú)關(guān)片段加入 bge-reranker 之后把 top 8 重排成 top 3答案質(zhì)量明顯穩(wěn)定。這個(gè)坑給我的教訓(xùn)是指標(biāo)不能只看“召回”和“命中”要實(shí)測(cè)最終的答案準(zhǔn)確率和用戶滿意度。召回只是中間指標(biāo)重排才是連接召回和最終生成質(zhì)量的關(guān)鍵橋梁。3.4 Embedding 模型對(duì)專業(yè)詞匯的識(shí)別不足中文翻譯腔的坑中文專業(yè)術(shù)語(yǔ)有個(gè)特點(diǎn)正式名稱口語(yǔ)叫法差異很大。比如公司內(nèi)部的“營(yíng)運(yùn)資金周轉(zhuǎn)天數(shù)”員工提問(wèn)時(shí)往往說(shuō)“資金周轉(zhuǎn)要多久”兩個(gè)短語(yǔ)的向量距離可能并不近。我們?cè)谧詼y(cè)時(shí)發(fā)現(xiàn) BM25 對(duì)這種差異完全無(wú)能為力向量模型的效果也很依賴訓(xùn)練數(shù)據(jù)里有沒(méi)有類似表達(dá)。這個(gè)問(wèn)題的處理思路有兩個(gè)方向在認(rèn)識(shí)層加一個(gè)同義詞擴(kuò)展模塊給用戶問(wèn)題先做實(shí)體規(guī)范化把口語(yǔ)表達(dá)替換成知識(shí)庫(kù)內(nèi)的標(biāo)準(zhǔn)叫法積累真實(shí)的用戶提問(wèn)數(shù)據(jù)后續(xù)針對(duì)高頻業(yè)務(wù)場(chǎng)景微調(diào)向量模型。第一版先做了詞表擴(kuò)展效果立竿見(jiàn)影。這也說(shuō)明RAG 落地不是純粹調(diào)模型知識(shí)工程術(shù)語(yǔ)表、實(shí)體庫(kù)、別名庫(kù)的建立同樣重要。3.5 并發(fā)與權(quán)限隔離小團(tuán)隊(duì)最容易忽略的硬骨頭第五個(gè)坑是權(quán)限。知識(shí)庫(kù)上線一周后不同部門開(kāi)始高頻使用問(wèn)題就來(lái)了A 部門的銷售合同B 部門的員工通過(guò)知識(shí)庫(kù)的開(kāi)放檢索也能看到摘要。雖然在系統(tǒng)層面我們沒(méi)有開(kāi)放公開(kāi)查詢但內(nèi)部接口的鑒權(quán)邏輯一開(kāi)始寫得比較粗只校驗(yàn)了用戶是否登錄沒(méi)有校驗(yàn)他能看哪些文檔。這里必須講清楚并發(fā)層面的問(wèn)題向量檢索本身很快但 embedding 推理和 LLM 生成都是資源大戶。第一版上線時(shí)我們所有的請(qǐng)求共用一個(gè)向量模型和同一個(gè) LLM 服務(wù)一旦多人同時(shí)提問(wèn)GPU 占滿后請(qǐng)求排隊(duì)猛增首字延遲從 800ms 飆到 8 秒體驗(yàn)非常差。解決方案是把 embedding 服務(wù)和 LLM 推理服務(wù)分開(kāi)部署分別設(shè)置獨(dú)立并發(fā)隊(duì)列限制最大等待時(shí)間給不同部門的數(shù)據(jù)設(shè)置可見(jiàn)性標(biāo)簽檢索前先用元數(shù)據(jù)過(guò)濾數(shù)據(jù)源再做向量查詢對(duì)搜索請(qǐng)求做資源隔離內(nèi)部員工用量大的部門分配獨(dú)立隊(duì)列避免互相擠占。權(quán)限這塊務(wù)必要在架構(gòu)設(shè)計(jì)階段就放進(jìn)去后期補(bǔ)的話要改的鏈路太長(zhǎng)。我們的經(jīng)驗(yàn)是先用“文檔級(jí)權(quán)限”打底后續(xù)再按需細(xì)粒度到段落級(jí)甚至字段級(jí)。3.6 增量更新與臟數(shù)據(jù)不是把文件丟進(jìn)系統(tǒng)就完事第六個(gè)坑來(lái)自“增量更新”。最初我們的數(shù)據(jù)管道是每天全量重建索引文件一變就全部重新跑一遍解析和 embedding。這樣最簡(jiǎn)單但成本高而且當(dāng)某些文件被刪除或更新時(shí)舊版本內(nèi)容還殘留在向量庫(kù)里走查時(shí)會(huì)發(fā)現(xiàn)知識(shí)庫(kù)答案和當(dāng)前版本不一致。后來(lái)調(diào)整成增量更新機(jī)制全量掃描共享目錄比較文件指紋新增的文件走全文解析進(jìn)入向量庫(kù)變更的文件先刪除舊版本的全部切塊再重新入庫(kù)刪除的文件根據(jù)文檔 ID 清除所有切塊。刪除邏輯看起來(lái)簡(jiǎn)單但真做起來(lái)有很多邊界問(wèn)題比如同一文檔在多個(gè)目錄里存在副本、文件名被修改但內(nèi)容沒(méi)變、PDF 屬性導(dǎo)致的指紋判斷失敗。最終我們用了“文件 ID 內(nèi)容 Hash 更新時(shí)間”的組合判定穩(wěn)定性才上來(lái)。數(shù)據(jù)更新還有個(gè)容易漏的細(xì)節(jié)如果同時(shí)更新了 embedding 模型版本舊向量和新向量不能混用。我們踩過(guò)一次全部向量用了新模型重算之后檢索效果才好起來(lái)。這種“模型版本升級(jí)必須重建索引”的流程要寫進(jìn)變更管理文檔。4. 效果評(píng)測(cè)與調(diào)優(yōu)用指標(biāo)說(shuō)話別憑感覺(jué)知識(shí)庫(kù)搭完沒(méi)人敢說(shuō)“看起來(lái)行”就上線。我們搭建了一套內(nèi)部評(píng)測(cè)流程用來(lái)對(duì)比不同參數(shù)和模塊的效果。4.1 評(píng)測(cè)集構(gòu)建50 道真實(shí)業(yè)務(wù)問(wèn)題起步評(píng)測(cè)集是人工整理的真實(shí)業(yè)務(wù)需求分布在 6 個(gè)場(chǎng)景制度查詢、合同要素、項(xiàng)目流程、IT 支持、供應(yīng)商管理、財(cái)務(wù)術(shù)語(yǔ)。每個(gè)場(chǎng)景 8 到 12 個(gè)問(wèn)題總共 50 道。所有問(wèn)題都經(jīng)過(guò)業(yè)務(wù)方確認(rèn)標(biāo)注了標(biāo)準(zhǔn)答案和答案出處文檔。評(píng)測(cè)指標(biāo)主要看三項(xiàng)recallk正確文檔是否出現(xiàn)在前 k 個(gè)召回結(jié)果里答案忠實(shí)度生成答案是否與檢索到的片段一致由人工評(píng)分占比最重用戶滿意度實(shí)際使用反饋比例。這套評(píng)測(cè)集后來(lái)成為我們每次調(diào)優(yōu)的基準(zhǔn)。沒(méi)有評(píng)測(cè)集改參數(shù)就像在黑房間里換燈泡換了也不知道亮沒(méi)亮。4.2 實(shí)測(cè)對(duì)比切分、重排、精排分別帶來(lái)多少提升我們用同一組評(píng)測(cè)集跑了幾輪對(duì)比實(shí)驗(yàn)。結(jié)果給大家參考實(shí)驗(yàn)配置recall5答案忠實(shí)度5分制純固定窗口 256 tokens無(wú)重排0.743.1混合切分無(wú)重排0.813.4混合切分 bge-reranker0.834.2混合切分 bge-reranker 同義詞擴(kuò)展0.864.5這組數(shù)據(jù)很直觀重排和同義詞擴(kuò)展帶來(lái)的提升都是實(shí)打?qū)嵉摹?shí)際工作中建議按這個(gè)順序調(diào)優(yōu)——先做混合切分再加重排最后補(bǔ)術(shù)語(yǔ)和別名庫(kù)每一步都能觀測(cè)到正向效果。4.3 人工回歸測(cè)試自動(dòng)化指標(biāo)之外的最后一道關(guān)卡自動(dòng)化指標(biāo)能篩選出大部分明顯問(wèn)題但真實(shí)用戶體驗(yàn)維度比如回答的語(yǔ)氣是否生硬、引用排版是否清晰、遇到模糊問(wèn)題時(shí)是否合理地追問(wèn)還是要人工走查。我們安排了兩個(gè)業(yè)務(wù)同事和三個(gè)研發(fā)輪流做回歸測(cè)試每個(gè)人根據(jù)自己熟悉的場(chǎng)景提 20 個(gè)問(wèn)題把不滿意的情況錄下來(lái)每周開(kāi)一次會(huì)歸因。這套“A/B 評(píng)測(cè) 人工回歸”雙軌機(jī)制保證了優(yōu)化方向不是拍腦袋也讓業(yè)務(wù)方感知到知識(shí)庫(kù)在持續(xù)變好溝通成本顯著降低。5. 上線部署與后續(xù)演進(jìn)建議知識(shí)庫(kù)從實(shí)驗(yàn)室走到生產(chǎn)環(huán)境有幾個(gè)部署細(xì)節(jié)如果不提前規(guī)劃上線當(dāng)天就會(huì)手忙腳亂。5.1 硬件配置參考中等規(guī)模團(tuán)隊(duì)夠用型先說(shuō)我們用的配置供參考。團(tuán)隊(duì)人數(shù)大約 200 人活躍使用峰值約 40 人并發(fā)。實(shí)際用的算力和存儲(chǔ)如下組件資源配置備注LLM 推理服務(wù)1 張 24GB 顯存 GPU例如 4090實(shí)際負(fù)載在 70% 左右部署 Qwen2.5-14B-Instruct 或同檔位模型Embedding 服務(wù)純 CPU 服務(wù)16 核 32GB 內(nèi)存bge-m3 在 CPU 上推理延遲還可以接受重排服務(wù)1 張 8GB 顯存 GPUbge-reranker-base 沒(méi)有壓力業(yè)務(wù) API 數(shù)據(jù)庫(kù)8 核 16GB 內(nèi)存2 臺(tái)做冗余pgvector 數(shù)據(jù)庫(kù)與業(yè)務(wù) API 同機(jī)部署這里多說(shuō)一句如果不是特別大的并發(fā)不要一上來(lái)就上多卡大模型集群。先跑起來(lái)看真實(shí)負(fù)載再逐步擴(kuò)容成本控制會(huì)好很多。5.2 更新策略增量入庫(kù) 定期全量重建增量更新和全量重建要配合使用。日常工作靠增量更新保證時(shí)效性但每季度要做一次全量重建目的是清理歷史臟數(shù)據(jù)、統(tǒng)一模型版本、重新校準(zhǔn)切分參數(shù)。全量重建的流程我們寫成了腳本化的運(yùn)維任務(wù)整個(gè)過(guò)程大概是停寫操作導(dǎo)出舊庫(kù)備份用新配置跑一遍全量解析和向量化切換新索引庫(kù)保留舊庫(kù)三天的回滾期。整個(gè)流程自動(dòng)化之后運(yùn)維成本非常低。要注意的關(guān)鍵點(diǎn)是全量重建期間查詢服務(wù)不能被阻塞太久。我們的做法是先建新索引庫(kù)最后通過(guò)一個(gè)路由文件把檢索請(qǐng)求切到新庫(kù)切換過(guò)程秒級(jí)完成。5.3 Agentic RAG下一步的演進(jìn)方向第一版知識(shí)庫(kù)上線之后檢索問(wèn)答的準(zhǔn)確率基本可用了但用戶的期待是不斷上升的?,F(xiàn)在大家不再滿足于“你給我一段文檔摘要”而是希望我直接幫忙處理一個(gè)多步驟事務(wù)比如“查一下某供應(yīng)商的最近三份合同里付款條款有什么差異整理成對(duì)比表”。這種需求單靠“一次檢索 一次生成”是搞不定的需要對(duì) query 做任務(wù)拆解、多輪檢索、子問(wèn)題匯總也就是 Agentic RAG 的思路。我們目前正在規(guī)劃把工作流引擎放進(jìn)去讓大模型可以調(diào)用多個(gè)檢索工具、對(duì)比工具、表格生成工具形成端到端的任務(wù)處理鏈路。就目前的實(shí)踐經(jīng)驗(yàn)來(lái)說(shuō)Agentic RAG 的工程復(fù)雜度比單輪 RAG 要高不少但確實(shí)是企業(yè)知識(shí)庫(kù)從“問(wèn)答機(jī)器人”走向“業(yè)務(wù)智能體”的關(guān)鍵一步。后續(xù)有機(jī)會(huì)再單獨(dú)寫一篇把多智能體協(xié)作里的狀態(tài)管理、工具調(diào)用、失敗重試這些細(xì)節(jié)講透。最后再分享一個(gè)我個(gè)人的體會(huì)搭建私有化 RAG 知識(shí)庫(kù)真正的難點(diǎn)從來(lái)不在大模型本身而在于怎么把企業(yè)里雜亂無(wú)章的資料工程化地變成結(jié)構(gòu)化的可用知識(shí)。切分策略、解析鏈路、權(quán)限模型、增量更新、效果評(píng)測(cè)這些“臟活累活”做扎實(shí)之后大模型才有一個(gè)靠譜的地基。而所謂架構(gòu)本質(zhì)上就是在這堆臟活累活之上找一個(gè)最省心、最可控、最可持續(xù)演進(jìn)的組織方式。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
影音先锋偷偷色男人站| 色色精品色| 欧美激情综合色综合色| 国产看真人毛片爱做A片| 五月开心婷婷网| 国产激情AV| 五月丁香av中文| 操日视频| 99精品视频偷拍| www.婷婷| 婷婷五月综合网| 人妻AV在线观看| 91精品久久久久久久久| 激情五月婷| 那里有AV网址| 中文中文在线| 五月丁香激情欧洲啪啪| 亚洲AV免费国产电影| 久久人妻乱| 97伊人综合婷婷| 婷婷五月成人系列| 亚洲成人一区| 少妇性BBB搡BBB爽爽爽视頻| 婷婷五月天高清无码| 青青色com久久| 丁香五月婷婷在线观看| 狠狠综合久久| 风流少妇A片一区二区蜜桃| 五月丁香日本片| 亚洲妇女熟BBW| 色性日本| 久久久婷| 国产精品成人网站| 久久性视频| 99久久66| www.五月婷| 天天色丁香| 激情五月婷婷| 色综合久久8| 丁香五月最新地址| 五月婷婷综合色拍| 久久精品五月天| 婷婷五月天视频| 色狠狠综合网| 亚洲一级色电影| 九九人人操| 丁香五月综合在线| 97人人爱人人操| 色五月激情五月开心五月| 午夜性爱影视一区77| av婷婷丁香| 五月激情影院| 婷婷五月天日本国产| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 天天射色五月天| 色原狠狠综合| 免费视频WWW在线观看网站| 色欲五月婷婷| 九九热色视频| 夜色综合网| 久久九九99| 亚州色色色| 色色操| 99精品视频免费观看近期发布| 五月天天视频| 思思热久久久久思思热| 99男人天堂| 五月激情天| 九月丁香五月婷婷| 成人电影一区| 亚洲有码在线视频| 色色五月天 亚洲| 大香蕉天堂| 国产探花AV在线| 国产婷婷综合| 婷婷五月在线| 国产精品18久久久| 思思久久精品| 五月婷婷激情性爱| 五月婷婷啪啪网| 97香蕉碰碰人妻国产欧美| 99热有精品在线观看| 五月丁香精品| 深爱五月婷婷| 婷婷五月天激情五月天深爱五月天| 996er在线观看| Caoub青青超碰| 亚洲高清在线| 99ri在线观看视频| 婷婷丁香激情五月天色色| 精品久久9| 97色综合| 97久久婷婷色| 国产毛片精品一区二区色欲黄A片| 五月婷婷伊人久久| 无码G高清天| 亚洲国产黄色电影| 亚洲欧洲美女在线观| 婷婷九月激情| 五月丁香久| 国色天香伊人狠狠色| 色欲久久综合| 九九色影视| 麻豆观看夏晴子| 狠狠综合网| 秋霞AV淫| 久久五月激情| 色色色国产| 丁香成人五月天| 色久五月| 99久久精品网| 婷婷激情五月综合丁香社| WWW,激情五月天,COM| 色www.con| 91婷婷视频| 一起草av| 少妇人妻偷人精品无码视频新浪| 久久久婷婷| 综合五月婷婷| 99热这里只有精品2| 五月天亭亭俺也| 色情五月天A片| 五月丁色AV| 日本片日本片祼观看网站在线看中文版网页在线看 | 久99在线视频| 九九RE视频在线精品| 国产.亚洲.欧洲视频在线| 狠狠干五月天| 大香蕉99热| 久久久久这里只有精品| 俺也去在线视频| 婷婷夜夜夜夜| 五月婷婷开心综合| 色色综合网络| 99九九在线视频| 思思国产99| 久久色五月天综合网| 五月天欧美激情| 久久这里都是精品视频| 五月丁香无码视频| 丁香综合婷婷五月天| 开心五月深爱婷婷| 97se视频在线| www久久久| 丁香六月色婷婷| 91欧美日韩综合| 色婷婷天堂| 亚洲AVDVD| 深夜婷婷 丁香| 丰满少妇猛烈A片免费看观看| 丁香六月激情四射| 99视频| 五月丁香色婷婷婷基地| 开心婷婷五月综合| 99热日韩| 婷婷久久六月费| tingtingseav| 9久久久久久久久久久| 色播五月婷婷| 五月天社区婷婷| 久久久久er热| 久久中文人妻系列| 热99.com婷婷| 99A片| 四色 爱 婷婷 精品 亚洲 五月天| 五月天丁香久久综合 | 偷拍91九色| av在线资源| 久久狠狠高潮亚洲精品 天天摸夜夜摸夜夜狠狠摸 | 久久久久久久综合狠狠综合| 亚洲黄色操逼| 色色色色五月| 丁香激情综合| 人人干天天舔| 91丨九色熟女丨首页| 大香蕉婷婷久久| 狠狠色噜噜狠狠色噜噜噜999| 99视频这里有精品| 天天操夜夜操| renre人人操国产超碰在线| 婷婷.com| 婷婷五月天综合久久| 激情综合五月激情XXXX| 九九中文字幕九| 丝袜大香蕉| 天天综合天天玩夜夜玩天天玩夜夜玩| 97人妻碰碰碰久久香蕉| 天久综合91综合首页| 日韩三级高清无码| 狠狠88综合久久久久噜噜噜| 99热销国产这里有精品| 亚洲乱码日产精品BD| 99色网站| 日日色五月天| 九热精品| 国产综合A片| 久久99久久99精品免视看婷| 天天撸天天干天天插| 九九五月天| 97午夜一区二区| 国产综合色婷婷精品久久| 激情www.98com| 色婷成人狠干| 色99综合色88| 任你艹| 国产综合网在线| 久久这里只精品66| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 色五月五月婷婷| 丁香五月婷婷色综合基地| 亚洲熟女乱色综合亚洲网站| 艳妇野外情欲放荡HD| 五月天婷婷免费| 亚洲狠狠丁香婷婷香蕉| 97 A I色色| 色婷婷六月丁香综合欲精品| 五月丁香六月合| 九九热av| 99在线一区| 五月婷婷五月天| 九月色婷婷综合| 五月婷婷久久网| 欧美影院婷婷| 色五月婷婷青娱乐| 婷婷五月综合丁香久久| 精品爱欲五| 99热91| 色五月丁香五月婷婷五月成人网| 丁香五月婷婷成人色区| 五月丁香激情综合啪| 色色影院黄大片| 日韩艹比| 欧美成人猛片AAAAAAA| 丁香色六月婷婷| 常久最新免费的色吊丝| 五月丁香六月合| 色愛综合网| 9热精品| 日韩 mm 不卡| www.亚洲激情.com| 色综合视频在线| 人妻精品一区二区三区| 99看片| 亚洲综合激| 久久视频婷婷视频| 六月丁香综合| 99狠狠色| 97碰碰在线看视频免费| 亚洲性视频| 丁香六月欧美| 久久精99| 久久女人九九| 香蕉中文在线| 大香人妻| 色婷婷第四色| 色婷婷女优有码五月亭| 久久香视频| 97色 五月天丁香| 成人视频网| 婷婷五月天成人| 激情丁香五月天| 99黄色性生活| 99热在这里只有精品| 中文字幕人妻在线| 久久ww| 色玖玖综合网| 人妻久久久久久久 | 色播播五月| 婷婷五月天免费| 午夜青草资源| 天天日天天操天天干| 五月婷婷视频啪啪美女| 日韩久久这里只有精品| 五月婷婷狠狠干| 丁香五月激情六月综合| 色婷婷婷综合五月天| 综合五月丁香久久| 综合激情五月丁香| 婷婷之六月丁香| 婷婷五月色丁香在线看| 色综合天天天天做夜夜| 五月婷婷中文字幕AV| 99久热这里只有精品| 五月天婷婷在线播放| 色婷婷亚洲六月婷婷中文字幕| 欧州色色| 九九免费视频| 综合99久久天天综合| 超碰国产在线观看| 大香蕉av在线| 99国产精品久久久久久久久久久 | 天天爽日日爽夜夜爽| 啪啪六月婷婷| 激情啪啪五月| 五月丁香影视| 激情网 久久| 丁香五月伊人| 99九九视频精彩在线| 五月婷激情影院| 五月婷婷偷拍| 99精品这里只有免费视频| 六月婷婷狠狠| 亚洲精色| 婷婷五月影院| 99热这里只有精品1| 婷婷久草| 任我肏视频精品| 九9九9无码| 91AV婷婷| 五月丁香婷婷国产精品综合| 99在线视频在线观看| 精品99爱免费视频在线观看| 五月婷婷之综合激情| 色丁香五月婷婷| 九九亚洲视频| 香蕉网婷婷| 蜜桃婷婷狠狠久久综合| 六月婷婷综合| 欧美va亚洲va在线播放| 操逼巨乳91| 婷婷五月天激情文学| 日日爽日日| 国产乱子轮XXX农村| 伊人九热| 99人碰碰碰| 亚洲精99| 可以免费观看的av| 婷婷亚洲色| 万月丁香狠狠爱| 99热69| 六月丁香婷婷色狠狠久久| 色综合色欲综合天天免费| 婷婷免费成人视频| 噜噜在线| 激情又色又爽又黄的A片 | 久久与婷婷| 91久久久久久久| 99久久婷婷国产综合亚洲| 99丁香五月婷| 99热在线99| 99久在线精品99re8热| 色婷婷综合网| 久久ri精品视频| 五月丁香久久网| 婷婷五月天深爱| 五月丁六月香| 久久草大香蕉| 九九视屏| 婷婷四色五月| 九月丁香| 日笨久久网| 久热只有这里有精品| 国产婷婷五月天| 99热精品在线| 日本91在线播放| 色欲天天综合| 五月激情六月婷婷| 少妇真实被内射视频三四区| 九九热中文| 五月花亭亭| 超碰九色| 99热欧美精品| www.99热. com这里只有精品| 六月婷婷色综合| 91九色偷拍| 九九人妻福利| 亚洲天天操| 这里只有精品视频视频在线观看| 久久婷.com| 国产在线另类五月婷婷| 亚洲无码99| 在线91日韩| 婷婷成人综合免费视频| 丁香激情五月| AV网址大全在| 五月丁香色五月| 丁香五月首页| 欧美日韩五月婷婷| 婷婷四色五月| 九九色热| 成人短视频在线| 直接看的AV| 少妇大叫太大太粗太爽了A片| 丁香六月激情四射| 色色色无码| 欧美69久成人做爰视频| av网址在线| 插插网爽妇五月丁香| 在线色色| 任你搞网站| 色爱终和网| 大地9中文在线观看免费高清 | 色天五月天在线观看视频| 大地资源色婷婷视频在线| 久久人人看| 超碰在线中文字幕| 丁香五月最新网址| 亚洲AV色婷婷人禽五月天| 熟妇内谢69XXXXXA片| 色综合色综合网| 色色99| 成人在线免费网址| 丁香五月激情视频| 狠狠色噜噜狠| 狠狠干激情五月| 色优久久| 开心 五月 综合| 五月丁香婷婷俺| 天堂成人A片永久免费网站| 婷婷八月激情| 激情五月婷婷网| 91玖玖| 日本色久| 色综合九九色综合88| 免费亚洲婷婷| 婷婷综合色网| 五月婷婷亚洲色视频| 五月天色色色网| 天天综合五月| 狠狠爱深色婷婷综合| 婷婷在线操| 丁香五月婷婷基地| 婷婷基地成人五月天| 激情亚洲婷婷| 九月婷婷综合网| 亚洲va在线∨a天堂va欧美va| 玖玖婷婷五月天毛片| 99成人无码| 男女啪啪做爰高潮无遮挡| 在线五月色播| 久久久久人妻| 五月四色婷婷| 婷婷五月天丁香综合网| 综合五月网| 啪啪五月婷婷| 99久久五月婷婷| 涩婷婷视频快播人妻| 色久五月天| 亚洲国产精品二二三三区| www天天干| 91九色精品熟女内射| 九九久久综合| 久草婷婷| 先锋男人99资源| 任你躁XXXXX麻豆精品| 国产熟女日日骚五月丁香爱| 黄色av网站在线免费播放| 亚洲人成人五月天| 综合色视频| 五月天综合| 五月婷婷影| 久热伊人| 五月天影院婷婷在线观看| 字幕网AV中文字幕| 婷婷淫淫狠狠六月| 亚洲AV日韩无码| 婷婷99狠狠躁天天躁| 天天做天天爱天天日| 国产精品99久久久久久久女警| 婷婷丁香视频| 午夜福利8055| 67194成I人在线观看线路1| 狠狠久久婷| 五月丁香六月激情综合| 99久久黄色顶级视频| 青草视频在线播放| 99视频精品全部观看10| 9久精品| 91久久99久久91熟女精品| 人妻熟妇六区| 色色色色色综合| 婷婷五月天激情综合| 五月婷婷黄色| 9热成人在线视频| 五月天婷婷丁香基地在线观看| 影音先锋一区| 九月婷婷综合| 色婷婷先锋| 殴美日韩成人| 激情婷婷| 99热都是精品| 伍月婷婷免费视频| 啪啪五月婷婷| 丁香九月婷婷| 五月天基地| 久99久精品视频| 色999亚洲人成色| 99色最新在线视频网站| 99热精品10| 特级西西4444www无码| 欧美天天干五月丁香| 五月丁香天堂| 97综合在线| 久狠日av| 超碰chaompinm| 秋霞AV吧| 淫视馆aV二区一区| 亚洲激情精品| 操操啪| 五月婷婷很很色| 91久久综合亚洲鲁鲁五月天| 天天日天天操天天干| 日韩精品超碰在线观看| 亚洲国产精品VA在线看黑人| 在线观看av网站| 亚洲欧洲自拍图片专区五月天| 97操| 日本精品人妻无码77777| 99免费在线视频| 婷婷天天舔| 成人短视频免费观看| 六月丁香久久| 九九精品视频在线6| 久大香蕉| 色天使久久综合| 久久99精品久久只有精品| 婷婷色网站| 思思热天天看| 五月婷婷九九久久| 丁香网五月天| 亚洲操操操| 天天综合中文| 91dy.av| 99热主页日本| 青青草网武则天| 欧美性猛交 XXXX 乱大交| 成人在线日韩欧美| 丁香五月开心婷婷| 色综合色色| 9 1 A v久久久| 丁香五月综合| 91成人电影| 丁香五月天天高清在线| 五月婷婷视频啪啪美女| 91精品婷婷国产综合久久| 99久久婷婷国产综合亚洲| www狠狠| 久久看婷婷| tingting五月天亚洲| 97碰| 五月间天堂综合| 婷婷丁香六月天| 26uuu成人网| 婷婷五月天网| 色色色免费视频| 欧洲激情五月天| 五月丁香狠狠爱| 日本人人干| 亚洲AV日韩AV永久无码网站| 最新无毒无码AV| 色综合区| 99九无网码| 青草少妇激情| 天天夜夜爽| www.日韩艹| 久婷婷婷| 婷婷六月综合| 另类国产区| 99精品久| 激情婷婷五月社区| 最新无码专区| 韩日另类| 五月丁香啪| 99九九在线观看免费| 乱色色色| 久久久久99精品成人片| 91视屏在线观看com.wwwvv| 都市激情蜜桃婷婷五月天| 五月天色图| 五月婷婷偷拍| 99热在线精品播放| 婷婷五月综合网| 婷婷色在线播放| 综合一啪| 色综合久久无码| 色色999三级片| 日本不卡高字幕在线2019| 天天日夜夜爽| 丰满老熟妇BBBBB搡BBB| 2018国产大陆天天弄| 色九区| 亚洲超碰在线| 狠狠精品干练久久久无码中文字幕| 99热这里是精品| 99综合| 另类专区在线观看| 九九Av| 日本五月婷婷| 99精品在线观看| 天天干夜夜谢| 久久婷婷五月天| AV九九| 欧美内射AAAAAAXXXXX| 亚洲无AV在线中文字幕| 91精品国产综合久久久不卡电影| av九九| 亚洲中文字幕在线观看| 天天碰夜夜操| 超碰熟女农村在线69| 在线精品97| 大香蕉在九| 任我干视频在线观看| 超级碰 久久9| 五月亭久久无码视频| 丁香六月婷婷综合啪啪| AV在线大香蕉| 激情综合青草| 五月四色婷婷| 激情综合五月婷婷六月丁香| 99久超碰| 婷婷五月天激情小说| 亚洲综合五月天婷婷丁香| 五月婷婷激情五月| 国外亚洲成AV人片在线观看| 婷婷五月激情在线| 99爱99操| 夜夜躁狠狠 | 97资源欧美日韩大香蕉超碰一区| 丁香五月天AV在线| 五月 丁香 欧美| 天天综合网亚洲网站| 亚洲婷婷五月天激情| 九九热精品视频在线观看| 91精品婷婷国产综合久久| 婷婷五月色| 色色色色色色色色网站| 丁香五月成人| 男人的天堂99| 丁香五月欧美成人| 五月丁香激情综合网官网| 青青草原福利在线| 中文资源在线a| 欧美va在线| 五月天伊人| 99爱在线| 91美女被操| 五月天六月丁香| 密乳视频| 99九九在线视频| 丁香婷婷色五月| 高清资源站日A美A欧亚…| 九月大香蕉| 九九黄色网| 伊人丁香花综合影院| 夜夜撸日日操| 久久婷婷精品| 月丁香久久久| 97视频久久| 天天操夜夜夜拍拍拍| 五月婷婷激情综合拍| 97se视频在线| 亚洲精品无AMM毛片| 婷婷激情啪啪| 成人婷婷桔色| 色色热| 影音先锋女人AA鲁色资源| 五月丁香综合久久夜夜| 五月天激情综合在线| 五月天激情社区| 98永久精品| 大陆极品少妇内射AAAAAA| 99免费青青蜜臀| 五月激情四射婷婷丁香| 色五月激情| 99热国产免费| 91操在线观看| 婷婷在线午夜| 91久久久久久久久| 国产精品 的国产| 99色干| www色中色综合| 操人无码| 丁香六月婷婷开心婷婷网| 国产Va视频| 日本99在线视频| 碰99在线| bbwcuckold精品熟妇| 天天操婷婷| 97色婷婷| 五月婷婷性爱| 五月色天情| 色五月激情综合网| 丁香六月成人网| 丁香伊人激情| 99精品久久| 美女xx不卡| 婷婷色色网| 深爱激情综合网| 国产欧美精品AAAAAA片| 婷婷狠狠97| 深爱五月亚洲| www.丁香五月| 国产激情AV| WWW,五月| 91男同视频| 99视频色在线观看| WWW99热| 亚洲影院婷婷色| 五月丁香综合久久| 日本99久久| 九月大香蕉| 91人妻视频| 99婷婷| 五月婷婷婷| 丁香五月婷婷欧美成人色图| 六月天婷婷| 99免费热视频在线| 五月丁香六月婷婷色情| 五月丁香亭亭A片| 五月丁香啪啪拍| 99热这里是精品| 97色色综合| www,99热| av首页在线| 五月婷婷狠天天色综合| 丁香五月在线播放| 超碰亚洲天堂| 大香蕉婷婷丁香视频在线| 国产44页| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 婷婷色色欧美| 激情5月婷婷| 江苏少妇性BBB搡BBB爽爽爽| 九热在线这里有精品6| 热99在线| 久操操| 五月丁香啪啪啪综合网| 日本久久爽| 欧美Va婷色| 丁香色影院| 能直接看的av网站| se婷97| 夜夜做天天爽| 欧美成人AAA片一区国产精品| 五月网激情| 五月天com| 狠狠舔| www.色99| 婷婷五月天色| 99这里只有精品| 五月天伊人久久久久| 色色a| 久久香蕉婷婷| 99视频只有精品| 婷婷成人在线| 91.com男女操| 99操久久| 依人大香蕉| 色频玖玖五月天| 啪啪综合网| 色情五月天视频网| 色婷婷电影网| 天天激情夜夜干| 99国产精品久久久久久久久久久| 插少妇综合网| 婷婷激情久久| 狠狠干无码| 日本在线wwww| 九九色图| 婷婷五月情| 99热这里全都是精品| 成人va在线观看视频| 激情五月综合网| 久久婷婷五月综合色播| 五月天婷a在线| 欧美色爱五月天| av成人在线播放| 九九99九九99偷拍视频免费看| 91人人操.COM| 久久99热这里只频精品6学生| 五月婷婷综合网| 婷婷色综合| 久久久久人无码人妻| 99久久婷婷综合| 五月激情婷婷国产精品久久久久久| 日本97在线| 婷婷综合| 色五月婷婷开心| 任我肏视频精品| 丰满人妻一区二区三区| 婷婷中文在线| 风流少妇A片一区二区蜜桃| 激情五月丁香六月婷婷| 停停五月色宗合| 五月丁香婷婷啪啪| 欧美色色色| 97综合在线| 五月天艹天天| 色播五月天婷婷老师| 亚洲综合在线视频| 大香蕉精品视频| A片试看50分钟做受视频| 成人AV综合在线| 激情99。| 五月天久久婷婷| 99热免费| 99ri视频在线观看| 婷婷色在线视频| 色五月色综合| 九色婷婷| 狠狠干婷婷| 国产精品色一哟哟| 任你弄在线视频免费| 五月丁香婷婷深深爱| 99热网站| 丁香六月在线综合| 99只有精品| 久久久久久xxxxx| 少妇水多A片太爽了| 久久久免费精彩视频| 五月天无码| 97爱艹婷婷开心丁香激情综合| 色色色热热热| 天天综合网、天天综合色 | 日韩欧美成人片| 夜夜撸日日操| 色欲Av五月天| 天天肏天天肏| 97碰在线视频| 色婷五月天网站| 狠狠干综合网| 精品一二三区久久AAA片| 久久99网| 色宗合,宗合网| 69综合在线| 五月天婷婷小说| 五月丁香五月婷婷| 一个色的综合| 91久久九久久九久久九久久九久久| 国产亚洲精品久久久久久牛牛| 五月亭亭性| 欧美噜噜免费观看| 国产伊人大香蕉| 丁香婷婷五月六月天| 九97免费视频| 婷婷五月av| 丁香婷婷激情五月天无毒不卡蜜桃| 电影蜘蛛女| 九九中文字幕九| 免费无码毛片一区二区A片 | 亚洲第一综合| 日韩超碰在线| 久婷婷五月激情| 人人操人人添人人摸97| 五月丁香综合| 免费五月婷婷网| www.狠狠操.co m| 日本久久99久久| 97在线99| 亚洲超碰在线| 婷婷五月六月丁香| 97色色色色色色色色色色色色色| 4399在线日本A片| 久久久99精品免费观看| 97精品欧美91久久久久久久| 五月丁香青草综合啪啪| 99热婷婷| 91在线操| 99噜噜噜在线播放| 婷婷激情四射| 久久激情五月| 久8色色| 亚洲激情 久久| 欧美天天搞| 91久久网站| 欧洲色| 99热国产精品| 综合网五月| 久久亚洲婷婷| 婷婷,五月天,丁香,第一| 男人的天堂五月丁香| 日韩欧美婷婷丁| 日韩av手机在线观看| www超碰| 色婷婷精品视频| 99亚洲无码| 中文字幕日韩无码制服诱或| 婷婷久热| 99riAV国产精品视频| 色婷婷玖玖影院| 99久久国产宗和精品1上映| 欧美婷婷综合| 九月激情网| 国产激情av| 亚洲色情网站| 一区二区三区四区无码| 九九伊人网| 色黄啪啪| 波多婷婷久久| 99re6在线视频精品免费| 婷婷成人视频| 另类天堂| 中文字幕AV在线| 免费亚洲婷婷| 免费不卡狠操美女视频网 | 超碰狠狠操| 激情久久肏屄视频| 视频1区2区| 超级碰碰视频无码| 日韩黄在免| 农村熟妇高潮精品A片| 五月丁香六月激情欧美综合| 久久综合干| 超碰色综合| 五月综合缴情网| 天天做天天干天天综合网| 亚洲精品乱码久久久久久综合| 91婷婷丁香五月天免费视频网站| 婷婷综合五月| 婷婷的99视频网站| 色综合久久88色综合天天看| 色激情五月| 婷婷久久图片| 伊人婷婷五月天av| 日韩av变天就操逼不卡区| 最近免费中文字幕大全高清大全1| 激情五月综合网| 秋霞免费视频| 精品无码久久久久久久久| 激情婷婷丁香| www.狠狠| 亚洲精品久久久久久久久久飞鱼| 中文字幕不卡+婷婷五月| 国产综合婷婷| 久久这里都是精品| 草五月| 久久大香免费| 欧美在线视频9| 91日韩美女被插视频| 亚洲AV免费国产电影| 激情綜合網址| 色欲丁香| 婷婷欧美色| 黄色三级日本| 开心久久五月天| 在线观看五月婷婷网| 婷婷国产日本欧美| 六月婷婷色宗合| 日夜夜天天| www.五月天。com| 九九精品视频在线6| AV天堂婷婷五月天| 91人人爽久久涩噜噜噜| 激情第四色| 精品人妻一区| 99色综合网| 丁香六月综合激情| 欧美成人va| 色五月激情五月天| 男妓跪趴把舌头伸进我的嘴巴| 专区无日本视频高清8| 亚洲无码99| 欧亚成人A片一区二区| 天天干一干| 精品日本视频444| 中文字幕成人网站| 丁香六月欧美| 色九月婷婷综合| 婷婷色五月激情| 丁香五月六月婷婷综合激情| 五月丁香五月婷婷| 五月丁香黄色视频| 精品夜夜澡人妻无码AV| 狠狠色中色| 国产熟女大叫受不了| 99热丁香五月| 日韩欧美一区二区三区四区| 天天草天天日| 超碰1999| 久久激情视频| 激情AV网| 婷婷色中文| 日韩成人av在线| 五月天无码| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 可以看的AV| 久久99精品九九久久久婷婷| 五月天电影网| 亚洲av网址| 另类激情五月| 熟女色专区| 日韩久久这里只有精品| 五月婷婷在线观看黄| 婷婷俺去也| 婷婷五月激情在线| 久久色区| 日日操,夜夜撸| 五月婷视频| 日本高清久久| 免费成片在线观看| 99热免费精品热久久66| 这里只精品热在线18| 五月天婷婷网站888| 国产古装妇女野外A片| 五月桃花网综合| av第一二区| 激情欧美婷五月| 欧美Va婷色| 久热这里只有| 五月天婷婷色色首页| 99色婷婷视频| 五月婷婷精品视频| 少妇人妻人伦A片| 国产AV国片偷人妻麻豆| 色九月欧美| 五月丁香在线婷婷蜜桃| 五月丁香六月婷婷网| 99久久婷婷国产综合精品草原| 密视AV综合在线| 丁香六月综合激情| 97韩国久久电影院| 99精品在线观看| 五月天丁香啪啪啪啪| 【乱子伦】黄色| 五月天久久婷婷| 国产乱妇无乱码大黄AA片| 婷婷色操| 亚洲噜色| 色情成人五月天| 狠狠狠狠青草| 26uuu色噜噜精品一区| 亚洲尤物在线| 337p大胆噜噜噜噜噜91Av| 婷婷中合| 五月婷婷丁香| 久久99网| 偷拍丁香九月激情| 久久久久久9| 五月婷婷久草在线视频综合| 99视频久久| 99爱在线| 99热精品10| 婷婷五月天堂| 免费超碰在线| 激情五月无码| 激情久久久| 啪啪操操| dingxiangtingtingliuyue| 五月丁香六月婷| 99热最新精品| 亚洲无码色色| 久久五月婷综合| 丁香六月激| 五月丁香六月成人| 蜜臀久久99精品久久久久久酒店| 婷婷丁香五月亚洲欧美| h亚洲| www.久久色.com| 婷婷色五月色妇| 丁香五月播播| 97资源碰碰在线| 伊人啪啪网| 激情五月黄色| 狠狠va| 婷婷丁香18| 日韩AV片| 91热网址| 26uuu成人网| 思思色播| 青青草轻轻操| 婷婷丁香综合色AV| 色射婷婷五月天| 亚洲乱码日产精品BD| 66精品国产成人| 伦乱天堂| 激情性爱网站| 狠狠干综合网| 日本三级99人妇网站| 人人射av| 婷婷五月天小说| 伊人春天av| 伊人碰碰碰| 91九色在线视频| 国产欧美va| 大香蕉 婷婷| 最新五月天婷婷影| 亚洲国产精品VA在线看黑人| www.激情五月天.com| 人妻内射视频| 精品五月视频婷婷在线观看| 九九激情综合| 99久久综合网| 久久激情网| 久久久8| 久久综合激情| 亚洲精品亚洲人成人网| 91Chinese在线| 久久综合爱| 色婷婷小说| 99热伊人| 九九五月天| 538任你爽| 操人91| 丁香六月婷婷开心| 99热这里只有精品1025| 欧日韩成人| 日本成人噜噜噜| 日韩视频女神99| 综合成人小说婷婷| 五月丁香888| 天天色粽合合合合合合合| 操比激情五月综合| 天天操中文字幕| 婷婷色五月大香蕉在线观看| 高清无码入口| 久久久jd| 99热日韩| 久久香蕉网| 色欲久久综合| 午夜性爱影视一区77| 中文成人在线| 欧美3AaAa大片| 俺去婷婷 丁香| 亚洲欧美999| 天天激情站| 国产精品婷婷午夜在线观看| 综合久久8| 五月香婷婷| 五月婷婷欧美| 无码人妻少妇色欲AV一区二区| 亭亭色天香| www.韩日视频| 色综合九九| 色婷婷基地 | 国产精品激情五月天色婷婷| 色yeye色综合| 婷婷五月天综合久久| 人人澡天天色天天做| 99国产精品久久久久久久久久久| 99青青草| 色婷婷五月天成人网| 99热这里精品| 人人干人人操人人摸人人做| 九九热99在线视频| 五月丁香婷婷色色色| 99五月婷| 色狠狠色| 激情五月www| 婷婷久久免费| 激情综合五| 人妻操在线看| 久久婷婷五月综合激情国产| 99色视频| 婷婷伊人久久综合| 国产激情av| 激情五月综合| 色狠狠色综合| 综合啪啪| 无码成人播放器| 欧美色婷婷| 色噜噜狠狠色综合无码久久欧美| 中文字幕网伦射乱中文| 婷婷五月丁香综合激情| 色色婷婷丁香| 五月婷婷丁香91| 久久婷丁香五月| 性婷婷| CAOBIBI| 亚洲色五月| 日日操夜夜骑| 激情五月综合网| 婷婷婷婷婷婷婷婷婷婷丁香| 五月天婷婷AV| 亚洲激情免费久久| 9一精品视频观看| 夜夜干夜夜操| 成 人 色 色| 丁香婷婷五月综合色情| 久久怡红院| 欧美色色色色色色| 色色色在线播放| 五月丁香偷拍| 二色av| 久久人妻伦理| 色情五月天小说| 五月丁香狠狠爱婷婷综合| 99热99色| 丁香六月五月婷婷| 婷色五月| 九九99精品免费播放| 婷婷久久亚洲| 婷婷伊人久久综合| 51成人| 久久这里只有精品视频15| 日韩成人av在线| 狠狠五月激情丁香六月| 五月天婷婷xxx| 激情婷| 五月天激情小说| 色久综合| 99亚洲欧洲| 99热e| 96丁香婷婷九月蜜桃综合久久| 欧美天堂久久| 日韩久久这里只有精品| av九九| 五月婷婷丁香网| 嫩草AV久久伊人妇女超级A| 日日噜噜夜夜狠狠久久丁香六月| 人人看人人摸人人| 亚洲成人一区| 婷婷五月天天激情| 天天日天天色| 丁香九月久久| 天天免费日日夜夜夜夜| 亚洲天堂久久| 激情五月综合第一页| 日韩色色色色| 91成人视频| 涩五月色婷婷| www..com色爱| 极品色丁香| www.com亚洲网站在线免费| 久久成人亚洲欧美电影| 亚洲高清在线| 狠狠综合网| 日本在线噜噜| 婷婷五月花免费视频在线| 国产Va视频| avh片在线观看| 超碰AV在线| 99热久草| 欧美25p| 另类小说婷婷色| 26UUU一区二区| 婷婷五月色综合| 婷婷久久图片| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 亚洲天堂久久| 99亚洲精品| 天天插,天天射| 日日夜夜噜噜爽爽| 狠狠香婷婷五月| 成人短视频在线| 色五月激情综合网站| 69超碰在线| 国产免费一区二区在线A片视频| 中文字幕成人| 99男人的天堂| 91se在线观看| 亚洲热久久| 色综合五月在线| 五月丁香日本片| 婷婷综合网站| 婷婷的色色五月天| 99操网站| 五月天色软件| 超碰免费人| 久久精品99国产精品日本| 啪啪99| 大香蕉久久婷婷精品综合| 人妻久久久| 开心五月网| www一区二区三区| 五月婷婷激情四月| 五月丁香啪啪啪啪| 亚洲AAA| 久久婷婷五月国产激情综合片| 二色av| 四虎成人精品永久免费AV九九| 99精品久久久久| 91久久久久久久久久| 色99超碰| 一本色道久久综合狠狠躁小说| 亚洲AV永久无码影院黑人 | 婷婷激情五月天激情小说|