欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實戰(zhàn)洞察。

從零搭建RAG客服系統(tǒng):知識庫構(gòu)建、混合檢索與大模型生成詳解

從零搭建RAG客服系統(tǒng):知識庫構(gòu)建、混合檢索與大模型生成詳解 1. 開工之前先看懂樂園客服這塊硬骨頭難在哪很多人第一次接觸“RAG系統(tǒng)”這個詞是被客戶或者老板一句話推著走的“做個智能客服吧之前的文檔和FAQ不都現(xiàn)成的嘛?!苯Y(jié)果真開工才發(fā)現(xiàn)最難的壓根不是調(diào)大模型接口而是那些散落在官網(wǎng)、App、指引手冊里的客服知識憑什么能被機(jī)器準(zhǔn)確找到、再組織成一句人話。這篇我就用主題樂園客服這個場景帶你從零到可上線跑通一套RAG系統(tǒng)。整個過程拆成3步主線走整理知識庫、搭檢索鏈路、接大模型生成答案最后再加一輪評測守門。游客在樂園里問客服的問題表面上五花八門實際高度重復(fù)。哪天開門、哪個項目檢修、嬰兒車在哪租、能不能帶自拍桿這類問題占了日常咨詢的很大比例。關(guān)鍵詞搜索不是不能做但游客的表達(dá)方式太隨意了。官方文檔寫的是“禁止攜帶三腳架”游客問的是“我的相機(jī)支架讓不讓帶”文檔寫“煙花秀視天氣情況調(diào)整”游客問的是“今晚燈光秀還放嗎”。這種說法和文檔寫法對不上的情況傳統(tǒng)檢索基本毫無辦法這也是RAG系統(tǒng)能落地生根的原因。1.1 高頻問題很多但每個答案都藏在長篇文檔后面主題樂園的客服知識有個天然特點答案確實存在但分布得零七八碎。票務(wù)規(guī)則在購票頁寄存指引在游客須知里失物招領(lǐng)在服務(wù)頁交通信息在企業(yè)官網(wǎng)的公告區(qū)。你要是讓客服慢慢查當(dāng)然查得到但高峰期一小時幾十個咨詢?nèi)斯じ卷敳蛔?。做RAG的第一步不是寫代碼而是把這些素材當(dāng)資產(chǎn)一樣對待如果知識庫本身就臟、亂、缺后面所有環(huán)節(jié)都是給垃圾做包裝。很多人以為向量檢索和生成模型能“理解”文檔于是就把幾十個PDF直接扔進(jìn)去期待系統(tǒng)自己看明白。這是最典型的小白誤判。RAG里的“R”檢索很老實它只能在一個個文本片段里比相似度。文檔里有頁眉頁腳、表格被拆散、專有名詞不統(tǒng)一檢索質(zhì)量立刻崩盤。所以知識庫整理這一步才是真正決定整個系統(tǒng)上限的地方。我當(dāng)時給一個內(nèi)部團(tuán)隊捋需求時把客服消息記錄拉出來看了一眼發(fā)現(xiàn)大約六成問題都能靠三四十條標(biāo)準(zhǔn)答案解決。這個觀察后來成了整個項目的定心丸不需要追求“什么都能答”先把高頻問題答準(zhǔn)、答穩(wěn)體驗就已經(jīng)比純轉(zhuǎn)人工好太多。1.2 為什么直接拿大模型當(dāng)客服會一本正經(jīng)地胡說有人會問現(xiàn)在的大模型不是挺能聊的嗎直接把全部客服文檔丟給它讓它背下來再回答不就行了這個方法看起來省事實際會在三類場景上翻車。第一類是數(shù)據(jù)時效性問題。樂園的開放時間、項目檢修、防疫要求、臨時公告經(jīng)常變大模型的訓(xùn)練數(shù)據(jù)不可能實時包含這些信息。你問一個昨天剛改的入園政策模型很容易按幾個月前的舊知識答。第二類是長文檔的注意力問題。即便你把所有文檔塞進(jìn)上下文模型面對超過處理能力的內(nèi)容會不自覺忽略關(guān)鍵段落盯著某段相關(guān)性低的內(nèi)容發(fā)揮。第三類最要命就是幻覺模型覺得“大概應(yīng)該這么答”于是編出一個看似合理的寄存點或退改政策。游客按這個答案走到現(xiàn)場發(fā)現(xiàn)完全對不上客服團(tuán)隊還得擦屁股。RAG的思路恰好繞開了這三個問題。它不要求模型記住文檔而是每次有人提問時系統(tǒng)先去外部知識庫里檢索出最相關(guān)的碎片再把“問題 這些碎片”一起交給大模型讓模型只做一件事根據(jù)給定的材料組織語言。相當(dāng)于一個開卷考試資料由檢索環(huán)節(jié)提前翻好模型負(fù)責(zé)把答案念通順而不是閉卷硬背。1.3 RAG的解決思路與3步路線圖順著開卷考試這個比喻整篇文章的路線就很清晰了第一步先把考點資料準(zhǔn)備好也就是把樂園客服文檔清洗成規(guī)范的知識庫第二步給資料建索引讓系統(tǒng)能像翻目錄一樣快速找到相關(guān)段落第三步把找到的資料和游客問題拼成一段提示詞交給大模型生成最終回復(fù)。你以為到這里就結(jié)束了還差一步。上線之前必須用一批已經(jīng)知道正確答案的問題做評測否則系統(tǒng)到底行不行全靠玄學(xué)。這篇我最后會專門講評測指標(biāo)和三個我見過最多的小白翻車點。這套流程目前在企業(yè)知識問答里已經(jīng)非常成熟但絕大多數(shù)教程要么堆概念要么繞開源框架對小白特別不友好。我下面講的是盡量不下放給第三方平臺、你自己能復(fù)現(xiàn)的版本代碼量不大重點講清楚每一步背后的“為什么”。2. 第一步把散落文檔整理成RAG能吃的知識庫2.1 收資料哪些內(nèi)容值得進(jìn)知識庫開工前先盤一下手頭有什么。我做這類知識庫時習(xí)慣列一張“素材清單”把候選文檔分成三類必收、選收、不收。必收內(nèi)容通常包括營業(yè)時間、票價與購票規(guī)則、交通指南、入園安檢規(guī)定、寄存服務(wù)、失物招領(lǐng)流程、常見游客問答。這些都是游客問得最多、答案相對固定的內(nèi)容。選收內(nèi)容包括項目游玩介紹、餐飲購物導(dǎo)覽、會員權(quán)益說明、無障礙服務(wù)信息。這類內(nèi)容有助于提升體驗但不適合一開始鋪太廣。不收的內(nèi)容包括內(nèi)部排班表、供應(yīng)商合同、員工操作手冊、臨時會議記錄。這些要么涉密要么對游客沒有任何意義。有個容易被忽略的點客服聊天記錄里的高頻問題是最有價值但沒有被整理成文檔的內(nèi)容。你可以讓客服團(tuán)隊把近一兩個月的咨詢記錄導(dǎo)出來按問題類型做一次聚類你會發(fā)現(xiàn)很多文檔里根本沒單獨寫出來的問題。比如“園區(qū)里有充電寶嗎”“衛(wèi)生間在哪”“下雨天項目還開嗎”這類問題答案往往能寫成FAQ標(biāo)準(zhǔn)對。2.2 清洗文檔要順手解決的4類臟數(shù)據(jù)所謂清洗不是把文檔換個格式而是把機(jī)器讀起來會困惑的東西處理干凈。我在項目里總結(jié)過四類最常見的臟數(shù)據(jù)。第一類是頁面噪音。網(wǎng)頁導(dǎo)出的文本經(jīng)常帶導(dǎo)航欄、頁腳、版權(quán)聲明、推薦閱讀鏈接。這些東西和答案無關(guān)嵌在段落中間只會污染向量表示。要么人工刪要么用簡單的正則規(guī)則過濾。第二類是表格結(jié)構(gòu)丟失。官方文檔里經(jīng)常有表格比如“不同票種對應(yīng)可攜帶物品”或者“各區(qū)域開放時間”。PDF或網(wǎng)頁轉(zhuǎn)純文本后表格會變成一行行散亂字符串完全失去行列關(guān)系。這種內(nèi)容我建議直接人工重寫為自然語言比如“普通門票可攜帶已封裝食品入園但不包括需加熱、冷藏或具有刺激性氣味的食品”而不是保留純文本格式。第三類是專有名詞不統(tǒng)一。同一個東西不同頁面可能叫“快速通行卡”“速通卡”“FP卡”。我要求知識庫統(tǒng)一口徑同時把其他說法寫進(jìn)關(guān)鍵詞字段方便檢索時命中。第四類是版本混亂。樂園政策經(jīng)常調(diào)整庫里不能同時存在“每天允許攜帶兩個充電寶”和“每天允許攜帶一個充電寶”這種自相矛盾的舊文。清洗時要給每個文檔標(biāo)記生效時間和來源沖突時以最新版本為準(zhǔn)。提示清洗階段投入的每一分鐘都會在后續(xù)評測階段幫你省回十分鐘。垃圾進(jìn)垃圾出在RAG系統(tǒng)里表現(xiàn)尤其明顯。2.3 用“問答對 原文片段”雙軌組織內(nèi)容清洗完之后知識庫內(nèi)容怎么組織我建議走“雙軌制”。第一軌是原文片段也就是政策原文、公告正文、須知條款里拆出來的段落。原文片段的好處是保留細(xì)節(jié)和權(quán)威性適合回答那些沒被FAQ覆蓋到的邊緣問題。第二軌是問答對也就是人工整理的“游客問法 標(biāo)準(zhǔn)回答”。問答對的價值在于它直接把“游客會怎么問”和“標(biāo)準(zhǔn)答案是什么”綁定在一起檢索時往往一擊即中。舉個例子原文里有一句“輪椅與嬰兒車可在正門游客服務(wù)中心租借需繳納押金”。我們可以順手整理出幾條問答對問嬰兒車能租嗎答可以在正門游客服務(wù)中心租借需繳納押金具體以現(xiàn)場辦理為準(zhǔn)。問輪椅在哪租答正門游客服務(wù)中心可租借輪椅需繳納押金??雌饋砗唵蔚@兩條問答對會極大地降低檢索難度。因為游客問法和文檔寫法的相似度天然比“游客問法 vs 原文文檔”要高。不需要模型多聰明余弦相似度都容易命中。有不少團(tuán)隊圖省事只做原文拆塊覺得FAQ太多維護(hù)麻煩。我的建議是用原文片段覆蓋長尾用問答對覆蓋高頻兩者并用。初始階段問答對可以做三五十條之后根據(jù)客服后臺的“未命中問題”持續(xù)補(bǔ)充這相當(dāng)于給系統(tǒng)喂真實需求。2.4 一份可以直接照抄的知識庫字段模板知識庫本質(zhì)上可以做成一個簡單的表格每一行是一個可以獨立檢索的文本單元。我給常用字段列一個模板。表知識庫字段模板字段名類型示例用途id字符串KB_001234全局唯一標(biāo)識doc_type字符串faq / passage / notice區(qū)分問答對和原文片段title字符串嬰兒車租借規(guī)定用于展示和引用content文本正門游客服務(wù)中心提供嬰兒車租借……最終被檢索和喂給大模型的正文keywords字符串列表嬰兒車, 租借, 押金, stroller輔助關(guān)鍵詞檢索source_url字符串http://xxx/help引用來源region字符串樂園正門 / 全園 / 某主題區(qū)元數(shù)據(jù)過濾條件language字符串zh-CN多語言場景留用updated_at日期時間2025-01-10版本管理status字符串a(chǎn)ctive / archived下線舊政策你不需要一開始把所有字段全部填滿但id、content、metadata、updated_at這幾個強(qiáng)烈建議保留。metadata可以做得靈活一點比如你的業(yè)務(wù)里可能需要區(qū)分“門票”“餐飲”“交通”等分類那就再加一列category。檢索時可以通過metadata做過濾比如游客明確問“停車”就只檢索交通分類下的內(nèi)容減少無關(guān)干擾。3. 第二步分塊、嵌入與檢索搭出一條能命中答案的鏈路3.1 分塊策略切得太碎太整都不行知識庫內(nèi)容準(zhǔn)備好之后就要面對分塊Chunking問題。分塊的意思是把長篇文檔切成一個個適合做檢索的片段。分塊大小直接決定檢索質(zhì)量但并沒有一個萬能參數(shù)更多是經(jīng)驗和調(diào)試的結(jié)果。分塊太碎比如切成一兩句話問題在于上下文信息丟失。比如“輪椅可在正門游客服務(wù)中心租借”和“需繳納押金和證件”被切成兩塊檢索到第一塊時答案就不完整。分塊太長比如整篇3000字的政策說明塞成一個塊問題在于相似度打分被稀釋游客問的是寄存塊里前半段講入口規(guī)定、后半段講收費最終相關(guān)性被無關(guān)文字拉低而且喂給大模型后回答容易夾帶多余信息。我在這類中文客服場景里習(xí)慣按“自然段落合并”而不是單純按字?jǐn)?shù)切。做法是先把文檔按標(biāo)題層級拆成若干小節(jié)再把每個小節(jié)里過短的段落合并控制每個塊在150到300字之間。如果相鄰塊之間話題有明顯延續(xù)就保留20到40字的重疊避免關(guān)鍵句子剛好被切斷。分塊完成之后每個塊就對應(yīng)知識庫表格里的一個content字段。后面的索引、檢索、生成全部基于這些塊進(jìn)行。3.2 嵌入模型把文本變成空間里的坐標(biāo)嵌入模型Embedding Model解決的是“語義匹配”問題。它能把一段文字轉(zhuǎn)換成一個高維向量比如幾百維甚至上千維的浮點數(shù)數(shù)組。轉(zhuǎn)換的規(guī)則是語義相近的句子在向量空間里距離更近語義無關(guān)的句子距離更遠(yuǎn)。買票相關(guān)表達(dá)的向量會聚在一起寄存相關(guān)的向量會聚在另一片區(qū)域。游客輸入“嬰兒車可以推進(jìn)園區(qū)嗎”即使知識庫里沒有這句話只有“游客可攜帶嬰兒車入園但不得在項目排隊區(qū)域使用”兩者的向量距離依然很近檢索系統(tǒng)就能把它找出來。對小白來說選嵌入模型不用太糾結(jié)。中文場景下直接選一個在中文語料上表現(xiàn)好的開源嵌入模型即可很多模型支持像“你可以通過模型庫下載到本地”這種方式使用。盡量避免把英文語料訓(xùn)練的模型直接拿來跑中文客服效果通常差不少。注意嵌入模型不是越新越強(qiáng)就一定要換。每次更換嵌入模型意味著庫里所有向量都要重算成本不小。判斷要不要換看評測集上的檢索命中率是否顯著提升別跟風(fēng)。3.3 向量檢索演示50行Python跑通核心鏈路如果你只是想理解原理不用一上來就上重型向量數(shù)據(jù)庫本地用Python列表加余弦相似度就能跑通一個最小演示。下面這段代碼會把知識庫分塊、轉(zhuǎn)換成向量然后對用戶問題檢索出最相關(guān)的Top-K片段。生產(chǎn)環(huán)境可以把這里的“本地向量列表”換成任意主流向量檢索服務(wù)邏輯完全一致。import numpy as np # 這里用占位函數(shù)表示調(diào)用嵌入模型把文本轉(zhuǎn)換成一維向量 def embed_text(text: str) - np.ndarray: # 在實際項目中這里會調(diào)用某個嵌入模型服務(wù) # 返回類似 np.random.rand(768) 這樣的向量。 # 注意不要用隨機(jī)向量這里只是演示函數(shù)簽名。 raise NotImplementedError(請?zhí)鎿Q為真實的嵌入模型調(diào)用) # 假設(shè)知識庫里已經(jīng)有多個分塊文本 chunks [ 正門游客服務(wù)中心提供嬰兒車租借需繳納押金和有效證件。, 游客可在規(guī)定區(qū)域攜帶已封裝食品入園禁止攜帶需加熱或冷藏的物品。, 停車場位于樂園南側(cè)收費標(biāo)準(zhǔn)為每天50元。, # ... 更多分塊 ] # 離線階段為每個分塊生成向量 vectors np.array([embed_text(chunk) for chunk in chunks]) def cos_similarity(a: np.ndarray, b: np.ndarray) - float: return float(np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))) def retrieve(query: str, top_k: int 3): q_vec embed_text(query) # 計算查詢向量與所有分塊向量的余弦相似度 scores [cos_similarity(q_vec, v) for v in vectors] # 按相似度從高到低排序取前 top_k 個 ranked_idx sorted(range(len(scores)), keylambda i: scores[i], reverseTrue)[:top_k] return [(chunks[i], scores[i]) for i in ranked_idx] # 測試檢索 for chunk, score in retrieve(嬰兒車在哪可以租): print(f相似度: {score:.4f} - {chunk})這段代碼的核心邏輯只有三步文本轉(zhuǎn)成向量、算余弦相似度、排序取前K。理解了這三步你就理解了所有向量檢索產(chǎn)品的基礎(chǔ)原理。后面要升級的時候也無非是把“本地數(shù)組”換成分布式索引把“余弦相似度”換成更適合語義匹配的距離度量。3.4 混合檢索向量 關(guān)鍵詞兩條腿走路更穩(wěn)純向量檢索在客服場景下有一個常見尷尬當(dāng)游客問題里包含明確的專有名詞或編號時向量匹配容易被無關(guān)但語義相似的長文本帶偏。比如游客問“L1停車場怎么收費”知識庫里“L1層是室內(nèi)停車場入口在商業(yè)街東側(cè)”這段話雖然包含L1但向量可能把它排到很后面反而是一段講解“停車場收費標(biāo)準(zhǔn)”的文字更靠前。這種問題在客服實操里很常見所以要上混合檢索一條腿是向量語義檢索負(fù)責(zé)捕捉“換個說法”的問法另一條腿是關(guān)鍵詞檢索比如BM25或簡單的詞頻加權(quán)負(fù)責(zé)精確命中產(chǎn)品名、地名、門票種類、數(shù)字編號。兩條路各自召回一批結(jié)果再合并去重分?jǐn)?shù)做歸一化后相加。實際工程里我不建議初始階段就做太復(fù)雜的權(quán)重調(diào)節(jié)。先用一個簡單公式比如最終得分 0.7 × 向量相似度 0.3 × 關(guān)鍵詞得分跑一遍黃金測試集再根據(jù)試錯調(diào)整權(quán)重。關(guān)鍵詞命中往往比向量更準(zhǔn)權(quán)重低一點也能有效糾偏?;旌蠙z索的代碼也不復(fù)雜關(guān)鍵詞部分可以用倒排索引或現(xiàn)成關(guān)鍵詞工具向量部分繼續(xù)沿用上一步的接口。這個組合是目前客服場景下性價比最高的檢索方案能覆蓋大多數(shù)“換個說法”和“精確詞命中”并存的情況。4. 第三步把檢索結(jié)果包裝成大模型能照著回答的素材4.1 提示詞模板沒有好的上下文再強(qiáng)的大模型也白搭檢索鏈路把Top-K片段拿回來之后下一步就是拼提示詞喂給大模型。提示詞模板看起來簡單實際上有很多坑。好的模板要讓大模型知道三件事自己是誰、手頭有什么資料、回答時該遵守什么紀(jì)律。下面是一個我常用的提示詞模板骨架你是某主題樂園的游客服務(wù)中心客服助手。 請只根據(jù)下面提供的“參考資料”回答游客的問題不要使用你自身的背景知識進(jìn)行補(bǔ)充。 如果參考資料中沒有足夠信息請直接說“抱歉我暫時沒有查詢到相關(guān)信息建議轉(zhuǎn)人工客服處理”。 回答請用簡體中文語氣友好但簡潔不要編造價格、時間或地點。 在回答末尾注明你參考的資料編號例如[1][2]。 參考資料 [1] {chunk_text_1} [2] {chunk_text_2} [3] {chunk_text_3} 游客問題{query}為什么要寫得這么死因為大模型默認(rèn)是“知識淵博”的你不加限制它會把自己訓(xùn)練時見過的其他樂園回答混進(jìn)來甚至腦補(bǔ)出“迪士尼有XX項目”之類的內(nèi)容。把回答范圍鎖死在參考資料里是抑制幻覺的最后一道閘門。哪怕參考資料表述不完整讓模型說不知道也比編一個答案好。4.2 重排序把召回量從50壓到3很多人會覺得檢索回來Top-K直接喂給大模型不就行了我建議中間再加一步重排序。為什么因為向量檢索第一次召回目的是“別漏掉”通常會召回幾十條。假設(shè)召回50條里面可能只有兩三條真正命中其余都是泛泛相關(guān)。如果全塞給大模型一方面浪費Token另一方面無關(guān)內(nèi)容會干擾模型判斷。重排序的思路是先用便宜的向量檢索快速篩出候選集比如50條再用一個更精細(xì)的重排序模型Reranker逐條打分把候選壓到3條左右。重排序模型本質(zhì)上是一個更強(qiáng)、更慢的匹配模型它把“問題 片段”拼接起來做深度交互能捕捉到向量相似度忽略的細(xì)微語義關(guān)系。這個環(huán)節(jié)在客服場景里非常值錢。我見過不少項目加了重排序之后答案準(zhǔn)確率從60%左右直接提到85%以上。推薦的做法是把重排序做成獨立步驟而不是調(diào)大向量Top-K完事。工程上具體怎么接簡單說就是向量檢索得出50條候選重排序模型給每條算一個相關(guān)性分取最高的3條進(jìn)入提示詞模板。4.3 生成鏈路調(diào)用大模型接口并保留引用來源生成這一步代碼骨架大概長這樣query 嬰兒車在哪可以租 # 1. 混合檢索召回候選 candidates hybrid_search(query, top_k50) # 2. 重排序精篩 reranked rerank(query, candidates, top_k3) # 3. 組裝提示詞 context_blocks [f[{i1}] {c.content} for i, c in enumerate(reranked)] user_prompt f 你是某主題樂園的游客服務(wù)中心客服助手。 請只根據(jù)下面提供的“參考資料”回答游客的問題不要使用自身背景知識補(bǔ)充。 如果參考資料中沒有足夠信息請直接說“抱歉我暫時沒有查詢到相關(guān)信息建議轉(zhuǎn)人工客服處理”。 回答請用簡體中文語氣友好但簡潔不要編造價格、時間或地點。 在回答末尾注明你參考的資料編號例如[1][2]。 參考資料 {chr(10).join(context_blocks)} 游客問題{query} # 4. 調(diào)用大模型接口這里省略具體平臺參數(shù) answer call_llm(user_prompt, max_tokens300) # 5. 輸出給用戶 print(answer)注意我特意在提示詞里要求模型標(biāo)注參考編號這樣游客和客服都能溯源。有的項目還會在前端做“查看參考來源”的入口點擊后展示原文片段和頁面鏈接信任感會強(qiáng)很多。調(diào)用大模型時還有兩個工程細(xì)節(jié)容易踩坑。第一是Token限制參考資料和回答加起來要在模型上下文窗口內(nèi)建議給max_tokens設(shè)置一個上限避免模型長篇大論第二是超時和重試客服場景需要快速響應(yīng)一般設(shè)置一次生成不超3秒如果失敗就返回兜底話術(shù)而不是讓游客干等。4.4 兜底設(shè)計讓系統(tǒng)學(xué)會說“不知道”越是追求“答得全”越要把“不知道”的路徑設(shè)計好??头鼍爸谢卮疱e誤比回答不了更傷體驗。游客要是沒得到答案最多轉(zhuǎn)人工要是得到一個錯誤的寄存位置可能白跑一趟。兜底判斷可以在兩個環(huán)節(jié)做。一個是在重排序之后如果Top-1的相關(guān)性分低于某個閾值說明檢索結(jié)果本身不可靠直接進(jìn)入兜底話術(shù)。另一個是在大模型輸出后如果模型自己也明確表示“信息不足”同樣走兜底。強(qiáng)行走生成模型往往會把問題硬答出來這就是幻覺重災(zāi)區(qū)。兜底話術(shù)我建議主動給解決方案而不是冷冰冰一句“不知道”。比如“抱歉我暫時沒有查詢到嬰兒車租借的準(zhǔn)確信息。你可以通過官網(wǎng)幫助中心搜索‘嬰兒車’或者撥打游客服務(wù)中心電話咨詢?!边@樣既守住了事實底線又給游客留了下一步動作。提示閾值怎么定用黃金測試集做實驗先統(tǒng)計所有正確樣本的重排序得分選一個能覆蓋90%正確樣本的最低分作為兜底閾值。閾值太高會讓系統(tǒng)動不動就裝死閾值太低又會放行太多錯誤答案。5. 上線之前評測、回歸與小白的3個高頻坑5.1 用“黃金問答集”做回歸別等上線才測RAG系統(tǒng)最怕的就是“感覺還行一上線全跑偏”。所以必須在開發(fā)階段就準(zhǔn)備一套黃金問答集也就是一批已經(jīng)知道標(biāo)準(zhǔn)答案的測試數(shù)據(jù)。數(shù)量不用太多起步50到100條就能發(fā)現(xiàn)大部分問題但質(zhì)量要高。每條測試數(shù)據(jù)建議包含幾個字段游客問題、標(biāo)準(zhǔn)答案、期望引用到的知識庫段落ID、分類門票/交通/寄存/餐飲等。評測時可以跑三個維度檢索命中率、答案準(zhǔn)確率、引用正確率。檢索命中率好理解就是看正確答案的段落有沒有出現(xiàn)在召回結(jié)果里。有一個常見的現(xiàn)象答案準(zhǔn)確但檢索沒命中標(biāo)準(zhǔn)段落說明模型可能是在憑背景知識硬答這種回答時間長了必然翻車。引用正確率同樣關(guān)鍵看模型標(biāo)注的參考編號到底是不是它真正參考的那幾條。有些模型會把引用標(biāo)得很漂亮內(nèi)容卻對不上這種引用對用戶是誤導(dǎo)。評測方式上我推薦每改一次知識庫或檢索參數(shù)就跑一遍整個黃金問答集記錄指標(biāo)變化。不是說每個版本都要人工打分可以先用規(guī)則做自動初篩比如判斷標(biāo)準(zhǔn)答案里的關(guān)鍵實體有沒有出現(xiàn)在回復(fù)中再人工抽檢。5.2 小白最容易踩的3個坑第一個坑是文檔更新不同步。運(yùn)營改了政策知識庫里舊內(nèi)容沒下線新內(nèi)容又加了進(jìn)來。游客一查系統(tǒng)給的是舊規(guī)定這功勞可全砸了。解決辦法是每次更新走固定流程舊文檔標(biāo)archived、新文檔標(biāo)生效時間重新生成向量索引后再放量上線??头F(tuán)隊要養(yǎng)成一個習(xí)慣政策變化當(dāng)天就把舊條目下線。第二個坑是低估同義改寫的威力。你以為自己把FAQ寫得很全了結(jié)果游客來一句“你們家能帶吃的嗎”“園區(qū)里可以吃飯嗎”“自熱火鍋能不能過安檢”系統(tǒng)照樣抓瞎。解決方案有兩個方向持續(xù)補(bǔ)充問答對把高頻問法吸收進(jìn)知識庫或者在上線后收集未命中問題每周做一次問法聚類反哺知識庫。第三個坑是上下文過長導(dǎo)致答案走樣。重排序取回3條段落聽著不多但如果每段幾百字三五千字塞進(jìn)去模型生成時難免注意力渙散。解決辦法是限制每段不超過300字必要時只取Top-2并且要求模型“先直接回答再給出依據(jù)”把結(jié)論放在前面。5.3 從Demo到最小可用服務(wù)當(dāng)你在筆記本上把鏈路跑通接下來要把它變成一個別人可以訪問的系統(tǒng)。最小可用版本通常包含三個接口POST /ask接收游客問題返回回答、引用來源、兜底標(biāo)記POST /refresh用于知識庫更新后重建向量索引GET /health做健康檢查確保服務(wù)在線。實現(xiàn)時用常見的Web框架就能搞定向量存儲可以先用本地文件或輕量級開源服務(wù)不急著上重對象。響應(yīng)時間控制在2秒內(nèi)比較理想檢索部分通常只要幾十毫秒大頭在大模型生成。如果生成太慢可以考慮縮短輸出長度、用更快的模型、或者做緩存——把重復(fù)問題的高頻答案緩存起來命中緩存就直接秒回。6. 最后分享一個我認(rèn)為最關(guān)鍵的工程習(xí)慣整套系統(tǒng)走下來你會發(fā)現(xiàn)最值錢的不是某一個大模型或某個向量組件而是一套能持續(xù)迭代的流程知識庫有人管、更新有版本、評測有數(shù)據(jù)。我自己在接觸這類客服項目時一直堅持“每次改動都跑一遍黃金問答集”的習(xí)慣哪怕只是改了一個標(biāo)點符號。聽起來笨但正是這種笨功夫讓系統(tǒng)越養(yǎng)越穩(wěn)而不是上線后成了沒人敢碰的黑盒子。如果你準(zhǔn)備動手建議先別急著追求大而全挑一個具體場景比如“嬰兒車租賃與寄存”用幾十條問答對把鏈路從頭跑到尾。等這幾十條都答得不錯了再橫向擴(kuò)到全園業(yè)務(wù)。這個順序帶給我很大安全感再復(fù)雜的問題也能拆開吃透了你也可以從最簡單的地方開始。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月天激情社区| 色99视频| 五月天激情黄色小说在线观看 | 日韩一级片| 丁香婷婷少妇| 操一区| 精品一二三区久久AAA片 | 五月丁香激情综合| 五月婷网| 亚洲天堂色色| 99r这里只有精品在线观看| 久久这里只有精品久久| 毛片新网地| 99ER热精品视频| 超碰人人91| 99热在线99| 婷婷五月天天天| 婷婷伊人| 久久婷婷色| 五月天婷婷综合色| 亚洲中文字幕在线观看| 色色色无码| 久久精品视频在这里有| 五月天色视频| 丁香综合伊人AV| 操人久久| 中文字幕丰满乱孑伦无码专区| 成人AV免费观看| 亚洲最大五月天成人网| 激情综合网亚洲色图| 色伊人婷婷| 91九九热| 久久人妻熟女一区二区| 久久激情视频| 操人91| 999影院成人在线影院| 久久视频这里都是精品| 激情桃色网| 日韩黄色电影| 免费99色| 九九综合图片网| 人人色人人弄人人操| 久久久性爱视频| 欧美综合丁香网| 婷婷导航| 狠狠香婷婷五月| 超碰妻人人| 欧美成人AAA片一区国产精品| 精品五月天| www.天天干| 免费久久这里只有精品99| 婷婷五月天激情四射五月天激情| 婷婷五月天激情四射五月天激情| 丁香五月天信号| 91九色国产| 久久精品熟女亚洲AV麻豆| 欧美三日本三级少妇三99| 丁香五月亚综合图片| 色婷婷五月天天天天天天天天天| www.狠狠狠.com| 丁香六月色婷婷欧美| 成人AV在线网站| 亚洲99综合| 丁香五月亚洲| 欧美成人性爱网| 丁香欧美| 丁香激情网| 色婷婷五月天激情在线观看| 人人操AV| 久热超碰91| 丁香五月天激情免费在线观看AV777| 亚洲免费99| 97色伦另类图片小说视频 | 99九无网码| 丁香五月激情啪啪| 女婷久久| 中文毛片无遮挡高潮免费| 国产超碰在线| 激情五月婷婷丁香综合网| 天天草女人| 欧美日韩二区在线| 色色色色色色色色色色色色色色,网站| 色九九综合色| 狠狠爱五月婷婷| 天天搡日日搡aaaaⅩ| 91九色|疯狂|高潮|对白|| 在线看片av| 如何安全看伊人婷婷| 超碰97人人操| 丁香六月天婷婷开心综合| 色爱终和网| 五月六月婷| 日本婷婷在线| 三十熟女| 香蕉大综综综合久久| 六月丁香综合| 婷婷综合五月色播| 天天日日夜夜| 色综合99| 99在线视频免费| 99精品热视频| 色色综合视频| 天天日天天舔| 99视频91| 婷婷五月天激情在线观看| 综合六月激情婷婷| 四色五月婷婷| 色五月97| 欧美另类五月激情| 日本三级韩三级99久久| 狠狠色噜噜狠狠狠777奇米| 五月婷婷日| 99碰网站| 啪啪亚洲综合| 亚洲日韩一页精品发布| 色婷婷五月综合在线| 狠狠综合网| 久久午夜理论| 深爱激情丁香| AV片在线观看| www色婷婷久久综合久色| 国语精品探花| 国产精品人人做人人爽人人添| 亚洲成人影视在线| 欧美日综合| 丁香五月综合福利视频导航| 人妻AV在线| 婷婷视频在线碰| 九九干视频| 丁香婷婷六月激情文学 | 婷婷五月丁香综合激情| 婷婷五月天在线观看免费| 婷婷久久五月| 五月停停色| 激情综合激情五月| 人人播| 六月丁香开心婷婷欧美| 99热日韩这里只有精品| 五月婷婷日| 男男野外做爰全过程69| 99热这里只有精品亚洲| 婷婷六月激情| 久久婷婷内射| 五月天成人在线视频网站| 99爱精品| 大香蕉久操| 激情五月天小说| 成人做爰高潮A片免费视频| 日韩成人中文字幕| 婷婷激情人妻| 啪啪东京热| 五月丁香六月在线欧美| 超碰在线观看99| 9999综合99综合人| 丁香色五月天| 青青草Avb在线| 激情六月丁香综合| 9久久精品| 五月丁香六月婷婷久久肏| 999热成人在线综合网| 五月婷婷啪啪| 琪琪理论片| 伊人久久婷| 丁香五夜激情四射夜夜夜| 人妻久久做| 日本色99| 综合五月婷婷| 少妇激情五月天| 色婷婷综合丁香五月天| 久久天天| 热久久91| 欧美精品999| 亚洲综合视频在线| 婷婷91| www久久久| 九九re精品视频在线观看| 国产色色小草视频| 人人爽天天爽| 99日本视频| 九九亚洲视频| 国产综合婷婷| 99ri视频| 亚洲第一色色色色| 日韩av变天就操逼不卡区| 六月丁香视频网站| 亚洲精品久久久久久久久久飞鱼| 国产婷婷综合| 丁香啪啪中文字幕| 婷婷色五月婷| 99热国产| 少妇高潮呻吟A片免费看软件| 天天更新天天亚洲| 婷婷五月欧美| 欧美综合五月丁香六月婷| 亚洲性视频| 丁香婷婷色九月| 黄网在线免费播放| 激情深爱五月天| 91精品电影18T| www九九| 国产日产成人亚洲欧美国产VA| 97色片| 五夜婷婷| 色亭亭影园| 婷婷五月天亚洲精品| 超pen个人视频97| 伊人影音无码一区二区三区| 免费黄网不卡AV| 深爱五月日韩| 五月天丁香综合| 久久激情五月| 99在线观看这里都是精品| 风流少妇A片一区二区蜜桃| 丁香色播五月天| 另类婷婷五月天啪帕帕| 黄色五月婷婷| 99人人干| 综合网精品99| 婷婷伊人网| 性爱在线播放av| 中国丰满熟女A片免费观| 日日夜夜爽爽| 色图亚洲91| 99久视频| 午夜青草资源| 色五月激情综合| 深爱激情五月网| 色婷婷视频| 97caop| 人人摸人人| 色婷婷亚洲| 精品一二三区久久AAA片| 性天天中文网| 99视频九九热| 六月丁香婷婷爱| 91超级碰在线视频| 五月婷婷伊人久久| 色综合区| 久热天堂| 99A片| 9999色色色色| 精品九九在线观看视频| 婷婷五月丁香色综合| 九色视频91| 99这里只有精品视频在线| 超碰av在| 日本综合久久| 亚洲99在线| 情欲综合网| 五月丁香久久呀| 97高清国语自产拍| 9久久精品| 亚洲精品激情| 五月天色婷婷视频| 国产亚洲99| AVV黄| 无码免费人妻A片AAA毛片西瓜 | 九九九九九无码| 久久9999| 亚洲亚洲人成综合网络| 996热| 嫩草AV久久伊人妇女超级A| 婷婷五月天综合在线| 日本色婷婷综合| 婷婷丁香五月天影院| 国产做爰视频免费播放| 色五月丁香婷婷| 五月天六月婷| 五月天色导航| 五月激情丁香久久综合网| 婷婷丁香视频| 亚洲在线成人| 五月天精品视频| 五月婷婷色五月| 9999三级片| 精品九九九久| 日韩啪啪视频| 桔色成人在线| 这里只有精品网| 色五月开心五月激情五月| 激情AV在线| 丁香五月激情啪啪啪| 色色色网站| 久久性操| 91超碰人人操| 激情九月婷婷| 国产免费一区二区在线A片视频| 天天插天天| 色五月婷婷狠狠撸| 婷婷色五月天第7色| 久久香蕉影院| 热99精品视频在线观看| 久久精品4| 六月激情网| 天天日天天肏天天奸| 日本乱子人伦在线视频| 97综合在线| 天天天天天日| 97色色视频| 来吧亚洲综合网| 99日本黄站| 七七九色| 色婷婷88| 亚洲99热| 蜜臀AV在线观看| 香蕉久久国产AV一区二区| 亚洲AV免费国产电影| 综合激情九月婷婷,激情综合婷婷中文字 | 丁香五月欧美| 无码少妇高潮喷水A片免费| 9月色婷婷| 天天操夜夜操| 丁香五月婷婷六月| 综合久久99| www.五月天婷婷| 思思久久99| 五月丁香影院| 大香蕉五月丁香| 久婷婷| 色九九综合| 婷婷大香蕉| 婷婷亚洲综合| 激情5月婷婷| 国内久久婷婷| 久久综合九色综合88i| 丁香婷婷老司机久操| 日韩AV在线免费| 91九色中文| 色色色地址| 色综合久久99色| 久久大香蕉| 五月丁香va| 婷婷色日本| 亚洲色欲AAAAAA| 五月婷婷久久网| 99热老网站| 亚洲日韩人妻操逼| 六月丁香VA| 五月天社区狠狠| 精品丁香五月天在线播放| 久综合| 亭亭玉月丁香| 五月丁香综合激情| 欧美日本99| 久久婷婷内射| 久久这里只有精品16| 色色网站| 久热9| 无码AV免费精品一区二区三区 | 九九热黄色| 伊人国产婷婷五月天| 天天色域综合网| 五月婷婷久久大香蕉| 五月丁香婷婷色色| 免費观看aV在线网址| 啪啪婷婷五月天激情| 色九月婷婷综合| 草美女在线观看视频在线播放| 丁香五月中文字幕久色| 久久综合五月| 毛片蕉地一二| 五月婷婷成人网首页| 伊人五月天在线| 深爱五月婷婷| 狠狠爱青青草| 蜜臀丁香黄色婷婷五月天| 丁香五月婷婷成人色区| 一区二区乱码视频| 丰滿爆乳一区二区三区| 思思热闹这里只有精品| 五月天婷婷免费视频| 99自拍视频| 婷婷干| 大香蕉婷婷色| 婷婷丁香五月在线播放| 久久久国产精品黄毛片| 97人人操| 26uuu| 国产精品久久久久久久久久| 九九99九九99九九99视频网| 九九99一区| 久99热| 99re8热精品免费视频| 久久九九国产| 五月色影院| 91操碰| 激情四射婷婷色色色| 激情影院免费视频婷婷五月天| 91干视频| 丁香五月天激情四射网络不好| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 亚洲综合婷婷| 第四色五月婷婷| 新五月天婷婷激情电影| 大香蕉伊人久久| 激情综合九月| 婷婷九月在线| 丁香五月欧美婷婷综合| 五月香蕉婷婷| 99免费视频| 五月婷在线影院| 亚洲人人操BD| 性爱激情五月| 国产熟女日日骚五月丁香爱| 婷婷五月天综合网| 色玖玖玖| 狠狠做婷婷| 91精品刘玥| 婷婷99狠狠| 久久人妻视频| 天天综合久久| 96精品久久久久久久久| 欧美超级视频97| 亚洲色模骚货| 激情五月天色色色| 夜夜躁爽日| 665566 无码| 综合热无码| 五月丁香激情综合网| 五月天日日操夜夜操 | 97色婷婷五月天| 激情综合激情五月| 2018夜夜草| 91九色网| 级情九色| www.av视频xx999.com| 狠狠干综合| 六月大香蕉| 六月丁香网| 久久五月婷综合| 第四色婷婷色五月| 色婷小说| 色欲婷婷五月天丁香| 日本久久人| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 丁香婷婷性久久| 久草丁香婷婷五月天婷| 91婷婷色| 久久免费9| 久久激情网| 丁香五月1页| www.minyis.com【JT】实力收量可预付QQ2101460746 | 激情美女五月天| 另类小说色婷婷| 91色逼| www.婷婷,com| 丁香五月婷婷偷拍| 99这里只有精品视频| 亚洲av成人在线| 色五月婷婷五月天激情综合| 久久天堂婷婷五月| 色婷婷视频| 欧美综合激情五月丁香| 色婷婷aV四虎| 久色网址| 日韩激情人伦人| 亚洲三级无码| 婷婷大乡焦噜噜| 男人天堂AV在线一区二区| 99九九在线视频| 激情视频婷婷五月花| 79精品视频在线观看,| 日本五月婷婷久久久六月丁香| 欧美69久成人做爰视频| 丁香五月开心婷婷| 國語久久婷| 搡BBBB搡BBB搡18| 五月丁香婷色| 九九色天堂| www.91.com黄| 色97综合婷婷天天色| 日本wwww在线| 激情图片五月天| 亚洲精品久久久久久久久久吃药| 中文字幕日韩成人| 色婷婷九月| 六月丁AV| 樱花99视频| 草久私拍| 日日夜夜天天| 九九视屏| 五月天玖玖狠狠色色| 国产免费av网站| 婷综合| 色999;丁香五月| 日本天堂爱爱| 99久久97| 99热啪啪| 十一月婷婷激情四射| 五月色婷婷亚洲 | 99日本黄站| 五月久久婷婷丁香| 丁香婷婷五月综合欧美另类| 久热免费| 亚洲综合无码| 婷婷久久综合久色| 丁香六月视频| 久热大香蕉| 久久九九Com| 婷婷丁香五月综合网上| 精品国产va久| 婷婷综合色色| 国产婷婷久久| 天天做天天爱天天爽| 极品五月天| 丁香五月婷婷av| 丁香五月天大香蕉啪啪| 国产超碰在线| 91九色首页| 很很干天天干| 另类视频丁香五月| 午夜不卡成人一区二区| 成人做爰A片免费看网站找不到了| 婷婷亚州综合| 少妇高潮呻吟A片免费看软件 | 青青草原福利在线| 婷婷中文字幕版| 亚洲AV成人无码电影| 天天日天天久久青青| 久久激情五月| 99男人的天堂| 婷婷五月天资源| 麻豆科斗777| 丁香九月综合| 综合激情五月婷婷| Caop在线| 婷婷最新地址| 91精品国产综合久久久不卡电影| 丁香五月激情综合| 婷婷五月天黄色| 色99在线| 久久玖玖综合| 伊人玖玖婷婷| 99精品综合视频| 色婷五月天激情| 五月丁香六月婷婷色| 狠狠色丁香综合| 色综合中文色综合网| 操操精品| 日韩另类在线观看| 9 1大香蕉| 国产操逼视频网站| yirenjiqingshiping| 免费三级黄色| 91re色综合视频| 伊人大综合| 丁香五月激情婷婷| 精品久久艹| 久久久99久久| 色色色综合网| 国产成人精品一区二三区熟女在线 | 日日夜夜狠狠干| 婷婷色情小说| 婷婷五月天免费视频| www.国产色| 五月天色婷婷成人| 久草五月天| 丁香婷婷五月天在线视频| 国产乱妇乱子伦| 99r这里| 97好吊操| 丁香久久| 九九精品自拍| 久久婷婷五月综合| 热久久这里只有精品| 天天插天天射| 亚洲AV久久久久久久久久久久久久久久| 亚洲精品无码久久| 丁香五月激情五月| 亚洲九N| 一级内射毛片| 日韩精品成人在线| 日韩九九视频| 激情丁香五月激情婷婷| 69婷婷丁香午夜| 五月激情网站| 五月丁香久久久久| 色狠狠999综合| 色情综合| 99日韩| 久久五月婷婷综合网| 亚洲国产黄色电影| 色婷婷久久久| 伊人超碰| 激情99| 亚洲男女激情| 精品热青草| 激情综合丁香| 日本啪啪天堂| 97婷婷丁香五月天激情图片| 五月丁香在线观看| av九九| 秋霞电影理论| 丁香婷婷射| 99热免| www色色com| 中国丰满熟女A片免费观| 国产成人一区二区三区在线观看| 波多婷婷久久| 天堂网色色| 99啪啪| 婷婷亚洲丁香五月| 五月婷婷导航| 欧美电影在线播放| 久久中国毛毛片爱久久| 思思99热在线| 丁XX 成人| 天天色情站| 91精产一区三区免费观看| 色五月婷婷少妇人妻| 热99这就是精品视频| 开心五月婷婷激情| 丁香九月色| 婷婷六月激情小说网| 操操操AV| 天天弄天天操| 任你日视频| 国产婷婷综合在线免费视频| WWW.夜夜| 欧洲不卡视频| 久久五月天丁香| www.99视频| 99热777| 亚洲情欲| 狠狠色噜噜狠| tingtingjiqingwuyue| 五月天激情久久| 熟妇无码乱子成人精品| 天天摸天天肏| 日韩九九| 综合久久狠狠| 人妻狠狠操| 99热这里是精品| 色婷婷五月天| 蜜臀av粉嫩av懂色av| 这里只有免费的精品| 大香蕉精品视频| 五月天久久色| 丁香五月狠狠在线观看| 99精品久久久久| 久久五月热| 91avse| 五月天婷婷导航| 國語久久婷| 另类图片五月天激情| 婷婷五月天视| 天天日天天爽| 91干| 亭亭五月丁香五月天激情| 强壮的公次次弄得我高潮A片日本 | 久久在线92| 婷婷性爱五月天| A片试看50分钟做受视频| 看全色黄大色大片| 五月婷婷综合丁香视频| 婷婷五月丁香基| 亚洲色激婷| 九月久久婷婷| 九九免费视频| 成人国产网站| 四月婷婷五月丁香| 夜色综合网| 丁香五月激情婷婷| www.ywav| 天天干天天 亚洲| 夜夜穞天天穞狠狠穞AV美女按摩| 五月丁香综合网色欲| 五月婷婷久久综合| 丁香五月影院| 欧美激情综合色综合啪啪五月| 婷婷久久婷婷色五月| 日韩99色99| 99riav 亚洲| 婷婷综合网伊人| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 九九AV在线| 九九操操| 五月天天天综合| 久久婷婷五月综合| 91欧美| 另类激情五月| 婷婷天堂综合| 99这里只有| 激情五月图| 大香蕉久操| 插插干干干色| 国产做爰视频免费播放| 五月色丁香激情| 丁香五月亚洲综合| 五月丁香婷婷欧美| 棕合影院色色| 婷婷激情综合网| 日日鲁鲁夜夜爽爽| 丁香花五月天社区| 亚洲AV网址| 久久最新色色色| 丰满少妇猛烈A片免费看观看| 美妞av| 91在线操逼视频| 激情内射p| 丁香六月激情四射| 疯狂做受XXXX高潮A片动画| 五月天艹天天| 午夜色丁香| 婷婷深爱五月天| 91精品婷婷国产综合久久| 性综合网| 色色五月婷婷丁香| 欧美图片丁香五月天| 96丁香六月婷婷蜜桃综合久久| 色人五月婷婷| 五月丁香综合色婷婷| 伍月婷丁香花全集| 五月婷婷亚洲| 亚洲亚洲人成综合网络| 久久久精品色色色| 视频一二区| 99色综合| 五月天电影网| 激情五月综合网最新| 双性美人被调教到喷水A片| 丁香成人色情五月天| 日本3级片偷拍网站| 天天日夜夜爽| 久久久久久性爱视频| a在线观看| 久草九一| 综合网五月| 99热这里只有精品国产首页| 欧洲综合视频| 中文字幕人妻一区二区| 九九人人操| 开心四月婷婷在线色播播| 九热视频免费观看| 另类少妇人与禽zOZZ0性伦| 丁香美女主播视频在线观看| 日本色色色| 9久热视频| 免费黄色片子| 婷婷五月激情视频| 欧美性猛交99久久久久99按摩| 色色a| 午夜九九电影| 91操网| 日韩三级视频一区二区| 黄网在线播放| 激情綜合網址| 婷婷激情六月天视频| 综合色久| www.99热这里精品| 五月天丁香久久综合| 中文av网| 国产激情av| 夜夜爽天操| 亚洲 精品 综合 精品| 色婷婷香蕉在线| 九九青青草成人| 亚洲99精品欧美一区| 欧美激情五月天婷婷| 91精产一区三区免费观看| 无码激情AAAAA片-区区| 激情五月丁香五月| 激情丁香九九五月综合网| 激情 婷婷 插| 精品久久人妻热| 激情五月天色网站| 大香蕉Av在线| 久久99日本精品视频免费观看| 九九aV| www.日韩国产| 无套内射极品大美女| 久久五月婷婷电影| 中文字幕,综合,91| 久热天堂| 久久婷婷五月丁香蜜桃网| 丁香五月婷婷啪啪| 亚洲精品电影| 亚艹艹| 思思久热| 成人五月天在线视频在线观看| 在线资源av-超碰中文在线-成人AV| 国产FREESEXVIDEOS性中国| 日韩色色视频| 丁香五月六月综合激情| 99热99干| www.91在线观看| 婷婷五月,偷窥偷拍网| 婷婷五月天激情诱惑| 九月婷婷综合八月丁香在线观看| 色色免费网站| 99久久9| 五月丁香欧美综合| 99噜噜| 婷婷五月网图片区| 色爱亚洲| 丁香五月花| 欧美色偷拍| 丁香五月停停基地| 婷婷五月四狠狠| 久久欧洲综合网| www开心激情网| 五月丁香婷婷欧美色图视频五月丁香777电影 | 99热这里只有精品99| 人妻内射视频| 99精品久久久久久久久| 婷婷激情社区| 婷婷基地爱| 国产在线另类五月婷婷| WWW.色婷婷.COM| 久久视频这里99| 婷婷伊人网| 久久999久久999久久999久久| 99综合网| 婷婷久久久| 欧美性爱五月天| 色婷婷成人做爰A片免费看网站 | 九九综合九九| 久久99精品视频| 无码人妻精品一区二区蜜桃色欲| 精品人妻午夜一区二区三区四区| 久久久aaa| 色噜久| 婷婷五月电影| 婷婷激情伍月网| 立川无码av| 色情五月天婷婷| 天天摸天天舔| 丁香五月电影| 国外亚洲成AV人片在线观看| 国产99久9在线+|+传媒| 日本97在线| 丁香婷婷人妻| 五月久久亚洲| 人人摸人人澡人人| 精品人妻伦一二三区久| 99re欧美精品| 婷婷五月精品中文字幕| 五月激情日本在线| 色性五月天| 99re热在线视频观看| 五月丁香在线观看| 五月婷婷 婷婷五月 一区二区 久久久| 91九九热| 九九精品在线视频观看| 五月天婷婷影院影院| 99热官网精品在线| 思思热精品在线视频| 天天揷综合网| 97色在线观看视频| 99这里只有精品国产| 亚洲色情网站| 亚州操人在线视频| 色综合婷婷99| 超碰在线91| 久99热| 无码任你操| 色欲AVV| 色婷婷欧美| 色婷婷丁香特级性爱视频| 影音先锋天天日| 99网| 99热精品观看| 日日操人人操| 久久九九综合| 97久操| 五月天婷婷一起草| 99热在线只有精品| 熟女人妻一区二区三区免费看| 免费超碰在线| 久久黄色免费视频| 99久久婷婷五月综合| 在线中文AV| 一级黄色影片| 丁香婷婷月| 国产超碰在线| 另类激情四射| 丁香五月激情婷婷| 99热这里只有精品9| 亚洲精品网址| 99热精国产这里只有精品| 日本啪啪天堂| 色综合久久无码| 插插插色综合网| 精品婷婷| 久久免费少妇高潮99精品| 天天肏在线观看| 色综合久久88色综合天天| 色噜噜婷婷| 99啪| 深爱五月激情五月| 丁香六月婷婷色XXXX| 欧洲永久精品| 99在线热| 六月婷婷九月丁香| 狠狠色噜噜| 国产69久久久欧美黑人A片| 日韩成人AV在线| 激情六月色| 91狼友视频网页更新| 丁香婷婷激情五月色| 精品久久99码| 久久婷网| 岛国av网站| 日韩无码亚欧无码| 丁香五月天BBw| 高清一区二区三区日本久| 亚洲AV成人在线| 五月丁香激情婷婷| 婷婷激情综合色五月久久图片| 五月草影视| 综合久久狠狠| 伊人成人宗合网| 97色色网| 色情五月丁香婷婷网| 99热这里只有精品2| 站长推荐无码播放| 丁香五月欧美色综合| 色婷亚洲五月丁香| 草综合14| 拍色综合| www、色色色| 狠狠色噜噜狠狠狠狠狠色综合久久| 国产热精品| 欧美69久成人做爰视频| 丁香五月婷婷丫| 五月天激情小说| 777久久综合视频| 丁香五月天社区| 久久99热这里只有精品23| 99精品网| 五月丁香五月激情综合色综合| 人妻AV中文系列| 丁香五月老师| 色婷婷性爱网| 九九精品在线网| 亚洲色频| 岛国av网站| 91人人网| 人人操AV| 丁香五月激情无码视频| 99久久五月丁香野外| 丁香婷婷五月色成人网站| 国产精品大香蕉| 久久小视频| 激情六月婷| 97色在线观看视频| 日本天天操| www.狠狠狠.com| 国产乱妇无乱码大黄AA片| 噜噜噜噜在线| 991自拍视频| 婷婷激情综合| 色热久| 婷婷色情网| 色色操| 亚洲精品久久久久久久久久吃药| 婷婷五月天综合蜜桃| 三人荫蒂添的好舒服A片| 丁香五月婷婷激情视频播放| 97碰 在线视频观看| 久久丁香综合| 五月婷婷色色| 密黄站| 色五月首页| 丁香婷婷久久激情| 大香蕉丁香| 综合激情视频| 这里只有精彩视| 嫩模aV在线| 亚洲成人AV高清字幕| 日日干天天| 激情精品久久| 丁香五月大香蕉AV| 开心婷婷五月| 五月丁香婷婷视频| 丁香五月另类小说在线阅读| 五月婷婷狠狠久久| 丁香啪啪| 亚洲无码色色| 人妻性爱| 草榴视频网| 激情内射人妻1区2区3区| 99热首页| 五月丁香六月婷婷免费| 五月婷婷婷综合网| 91男人操女人视频| 久久久999精品| 丁香五月精品| 视频这里只有精品| 91一道本| 日本不卡一区二区三区| 亚洲操精品| www,五月天激情| 99视频这里只有免费精品| 亚洲人成网站999久久久综合| 日韩婷婷| 大香蕉久久婷婷| 操丝袜视频影院导航| 99热日韩| 亚洲天堂制| AA丁香综合激情| 啪啪综合| 五月婷婷说| 99热精品10| 91AV婷婷| 欧美男女婷婷| 国产精产国品一二三在观看| 91在线日| 五月婷婷综合视频| 天天做 天天爱| 99在线爽| 久久五月丁香| 九九热99视频在线| 超级碰碰99| 一本色综合色| 99综合免费视频| www.五月婷婷久久.com| 成人色五婷婷| 99亚洲色| www.操逼comm| 亚洲 25P| 66精品国产成人| 99精品视频偷拍| 玖色色综合| 婷婷五月天丁香综合网| 成人午夜视频精品一区| 日日.c| 丁香九九九九| 激情网五月天| 激情小说视频图片| 欧美激情综合色综合色| 天天色,天天操,天天射| anquye伊人| 美女天天艹人人爽| 婷婷五月综合激情| 大香蕉精品视频| 色噜噜狠狠色综合网| 欧美日韩成人在线免费| 99在线爽| 伊人丁香五月婷婷潮吹| 先锋影音男人的天堂AV| 丁香五月婷婷免费视频| 无码日本精品XXXXXXXXX | 99色视频| 激情丁香五月| 嫩草AV久久伊人妇女超级A| 爱射综合| 九九久久精品| 无码少妇高潮喷水A片免费| 五月丁香综合激情| 免费视频无码| 五月丁香婷婷色| 国产这里只有精品| 国产FREESEXVIDEOS性中国| 色五月婷婷网| 中文幕无线码中文字蜜桃| 国产精品a无线| 成人无码精品1区2区3区免费看| 性做爰1一7伦| 婷婷五月在线影院| 伊人九九68| 久久五月婷综合网| 日韩无码人妻一区二区| 色玖玖玖| 久久婷婷五月丁香网| 激情四射五月天| 欧美色狠婷久| 婷婷色五月天第7色| 5月婷婷六月丁香| 人人做天天爱| 亚洲激情五月天| 亚洲成人在线综合| 婷婷色色五月| a久久| 久久婷婷七月丁香| 五月婷九九草| 丁香六月婷婷久久高清| 99久久婷婷| 综合久色五月| 久久亚洲婷婷| 五月丁香婷婷爱| 婷婷五月无码| 欧美成人猛片AAAAAAA| 天天肏在线视频| 噜噜狠狠色综合久| 五月丁香激情综合| 色婷婷深爱五月| 亚洲最大五月天成人网| 激情婷婷五月天| 激情五月天电影| 亚洲乱码日产精品BD| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 五月天成人综合| 色情五月综合婷婷| 欧美韩国日本| 中文字幕综合色| 久婷婷婷| 五月激情综合五月| 久热这里只有精品6| 九九热AV| 韩国中文字幕91| 九九综舍久久| WWW色综合| 婷婷五月天干干| 九九热中文| 国产古装妇女野外A片| 日本人妻久久| 大香蕉伊人久久| 五月天成人在线| 任你爽精品免费视频6| 久久九九99| 精品导航在线x不卡| 九九人人操| 九九综合久久| 超碰人人在线| 日日操夜夜操不卡| 婷婷99狠狠躁天天| 这里只有精品久| 狠狠综合久久| 久综合4| 91玖玖| 国产日日操夜夜操的肉棒视频| 久久最新色| 亚洲AV在线免费看| caop在线视频| 婷婷丁香五月天中文字幕| 激情综合婷婷| 啪啪五月婷婷| 婷婷欧美色| 五月天婷婷基地| 国产在线aaa片一区二区99| 天堂久久性| 天天日天天操天天干| 国产精品久久久久久白浆色欲| 黄色网址五月婷婷| 天天艹天天综合网| 99爱视频在线| 99久久国产宗和精品1上映| av在线观看网站| www,五月天激情| www.天天干| 国产综合婷婷| www.色擼擼.com| 97福利视频| 啪啪 综合网| 天天爽天天日天天舔| 99久久久99久久91熟女| 猫咪伊人久久| 色色色色色色色色综合网| 国产成人网| 99久久精品色老| 97色色色色色| 中文字幕1区2区。| 这里只有精品在线视频精品| 少妇搡BBBB搡BBB搡毛茸茸 | 91久女| 成人欧美一区二区三区在线观看| 玖玖无码中文| 久久天堂婷婷五月| 激情综合色| 禁欲电影完整版在线播放| 色色色婷婷五月天| 激情丁香五月天| 91九色PORNY大屁股| 99er免费在线观看| 99爱视频在线观看这里只有精品| 色婷久| 激情亚洲网| 超碰99热精品在线| 有码人妻久久| 婷婷五月天电影网| 97碰| 啪啪色区| 九九九午夜视频| 女人天堂 AV| 真实的国产乱XXXX在线91| 六月色狠狠色| 色综合色| 色婷婷色五月另类综合| 99热最新网址| ww久久| 欧美色宗和激情| 国产成人AV在线播放| 婷婷深爱五月| 色色五月综合| 无码人妻一区| 国产综合A片| 激情五月婷婷在线| 久久大大香| 26UUU精品一区二区c〇m| 狠狠精品干练久久久无码中文字幕| 四色综合网| 色婷网| 深爱五月激情网| 亚洲色五月| 五月婷成人网| 日本精品人妻无码77777| 天天更新天天亚洲| 在线看的免费网站| 日日干干天天干| 色婷婷呢狠禁久禁| 久久九九大香蕉电院| 日本在线观看99| 五月深爱网| 久青草大香蕉| 99热成人精品网站| 操人久久| www.91久久| 噜噜噜噜噜久| 色婷久久| 提提热五月天婷婷| 播丁香五月婷婷欧美| 丁香五月www| 内射丰满人妻| 丁香五月婷婷天激情| 五月丁香激情六月| 日本nghangse中文字幕| 操操操Av| 九热...av| 色婷婷丁香| 激情五月天之五月婷婷| 97日本在线播放| 色五月激情婷婷| 激情九月天天天天婷婷| 91狠狠综合久久久| 婷婷五月天日本国产| 丁香88AV五月婷婷| 激情五月婷婷丁香| 91九色熟女| 超碰人人色| 开心五月综合激情综合五月| 婷婷丁香黄色| 久久狠狠干| 深爱五月婷婷开心中文字幕| 老妇六区| 这里只有精彩视频| www狠狠| 久久久国产精品黄毛片| 五月天六月婷| 在线中文字幕av| 专区无日本视频高清8| 在线可以看的av网址| 婷婷五月网图片区| 久久九色| 五月婷婷开心亚州在线| 99狠狠| 99色综合| 亚洲色99| 九热视频| 色综合视频在线| 伊人婷婷大香蕉| 色五月婷婷成人视频| 色约约视频一区二区三区四区五区 | 大香蕉五月天| 不卡在线视频| 五月天成人在线播放| 激情深爱婷婷网| 五月色亭丁香| 99re思思久久| 激情综合色婷婷啪啪六月天| 成人版视频在线观看| .精品久久久麻豆国产精品| 色五月婷婷在线| 五月婷成人网| 超碰93在线观看| 欧美成人猛片AAAAAAA|