欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

用Qwen3微調(diào)Embedding模型,全面提升RAG檢索準(zhǔn)確率

用Qwen3微調(diào)Embedding模型,全面提升RAG檢索準(zhǔn)確率 RAG 系統(tǒng)上線后最常被吐槽的是檢索不準(zhǔn)。明明知識(shí)庫里有答案用戶換一種口語化問法向量檢索卻召回一堆無關(guān)段落大模型只能基于錯(cuò)誤上下文硬答于是“答非所問”“回答不專業(yè)”就都來了。問題往往出在 Embedding 模型的能力邊界而不是生成模型本身不聰明。面向 2026 年RAG 優(yōu)化已經(jīng)不只是調(diào)切塊長(zhǎng)度或換個(gè)大模型。越來越多團(tuán)隊(duì)開始走同一條路線借助 Qwen3 構(gòu)造高質(zhì)量訓(xùn)練數(shù)據(jù)對(duì) Embedding 模型做領(lǐng)域微調(diào)讓向量檢索更貼近真實(shí)業(yè)務(wù)語言最終讓大模型回答更專業(yè)。這篇博客會(huì)把這條鏈路拆開講清楚RAG 為什么檢索不準(zhǔn)、Embedding 微調(diào)的基本原理、Qwen3 在數(shù)據(jù)生成和難負(fù)樣本構(gòu)造里的角色、訓(xùn)練代碼怎么寫、接入 Milvus 和 LlamaIndex 時(shí)要注意什么、上線后效果怎么評(píng)估以及生產(chǎn)落地上最容易踩的坑。1. 先理解 RAG 檢索不準(zhǔn)的根因再?zèng)Q定要不要微調(diào) Embedding1.1 檢索不準(zhǔn)往往不是“模型笨”而是“召回偏了”RAG 的完整鏈路通常分三塊知識(shí)庫切塊、文本向量化、向量檢索與排序。大多數(shù)團(tuán)隊(duì)投入精力最少、出錯(cuò)卻最多的是中間那塊 Embedding。Embedding 模型做的事情是把一段文本壓縮成一個(gè)向量讓語義相近的文本在向量空間里距離更近。例如“怎么申請(qǐng)工傷認(rèn)定”和“工傷認(rèn)定申請(qǐng)流程”應(yīng)該是近鄰而“工傷鑒定標(biāo)準(zhǔn)”雖然包含“工傷”兩個(gè)字卻不應(yīng)在用戶問流程時(shí)排在前面。問題在于通用 Embedding 模型是在互聯(lián)網(wǎng)開放語料上訓(xùn)練的它擅長(zhǎng)處理“通用語言”但面對(duì)一個(gè)行業(yè)的簡(jiǎn)稱、系統(tǒng)名稱、產(chǎn)品術(shù)語、客服話術(shù)、中英混排、業(yè)務(wù)單據(jù)編號(hào)時(shí)向量空間的分布可能完全不對(duì)。觀察下面這種典型 badcase用戶 Query檢索結(jié)果是期望結(jié)果我們公司發(fā)票沖紅后稅號(hào)會(huì)變嗎發(fā)票管理辦法關(guān)于紅字發(fā)票的規(guī)定本項(xiàng)目發(fā)票沖紅的具體操作指南XX 系統(tǒng)登錄報(bào) 5001 錯(cuò)誤怎么辦系統(tǒng)使用手冊(cè)目錄XX 系統(tǒng) 5001 錯(cuò)誤碼說明如果把這兩組 Query 和文檔片段丟給通用 Embedding 模型會(huì)發(fā)現(xiàn)相似度分?jǐn)?shù)往往沒有明顯區(qū)分度。問題不是切塊沒切好而是模型根本不知道“5001 錯(cuò)誤碼”在這個(gè)系統(tǒng)里等價(jià)于“登錄鑒權(quán)失敗”。1.2 通用 Embedding 模型的“領(lǐng)域盲區(qū)”長(zhǎng)什么樣行業(yè)內(nèi)比較常見的開源 Embedding 模型包括 BGE 系列、BGE-M3、GTE 系列、M3E 等。它們?cè)谥杏⑽耐ㄓ脵z索任務(wù)上表現(xiàn)很好但一進(jìn)垂直領(lǐng)域就會(huì)暴露幾個(gè)問題。第一專業(yè)術(shù)語語義稀疏。比如“貨描不符”“質(zhì)保單”“T0 回款”這些詞在訓(xùn)練語料里出現(xiàn)頻次不高模型很容易把它們當(dāng)成普通詞語處理向量表征不夠穩(wěn)定。第二口語化和反問句式泛化弱。RAG 系統(tǒng)的真實(shí)用戶不會(huì)按照文檔目錄說話他們經(jīng)常輸入“這個(gè)單子咋走流程”“為什么不能提現(xiàn)”和正式文檔的語言風(fēng)格差異很大。第三同義詞和縮寫關(guān)聯(lián)弱。“結(jié)算單”和“Settlement Note”“結(jié)算憑證”在業(yè)務(wù)里可能指向同一類文件但通用模型不一定能建立這種等價(jià)關(guān)系。用戶搜索“qwen3 embedding 微調(diào)”時(shí)看到的很多教程本質(zhì)上都是在解決這類“領(lǐng)域盲區(qū)”。如果只是換一個(gè)更大的通用模型通常只能緩解問題不能根治。要讓檢索真正貼近業(yè)務(wù)就要讓 Embedding 模型見過業(yè)務(wù)數(shù)據(jù)并針對(duì)業(yè)務(wù) Query 和文檔做過對(duì)比學(xué)習(xí)。1.3 什么時(shí)候該微調(diào)什么時(shí)候先不要?jiǎng)?Embedding微調(diào) Embedding 不是 RAG 優(yōu)化的第一步甚至不是第二步。在投入 GPU 訓(xùn)練之前可以按下面順序排查。排查項(xiàng)檢查方式如果存在問題切塊粒度查看召回文檔是否在中間截?cái)嗾{(diào)整 chunk_size / overlap或按標(biāo)題、段落結(jié)構(gòu)切塊元數(shù)據(jù)過濾是否能用業(yè)務(wù)字段排除明顯無關(guān)文檔增加創(chuàng)建時(shí)間、部門、文檔類型等過濾條件Query 改寫用戶原問是否太口語化、太短用大模型把 Query 改寫成標(biāo)準(zhǔn)檢索詞再走向量檢索Rerank 模型召回 top50 后是否仍然把錯(cuò)誤文檔排在前面加入專門的 Rerank 模型做精排Embedding 領(lǐng)域適配上述手段都做過后 badcase 仍重復(fù)出現(xiàn)再考慮微調(diào) Embedding 模型換句話說微調(diào) Embedding 適合在“檢索鏈路已經(jīng)比較完整、但深層語義匹配能力不足”的階段啟動(dòng)。它的前置條件有三個(gè)一是有一個(gè)可重復(fù)復(fù)現(xiàn)的 badcase 集合二是有辦法評(píng)估召回效果不靠肉眼感覺三是有能力構(gòu)造一批覆蓋業(yè)務(wù)場(chǎng)景的訓(xùn)練數(shù)據(jù)。如果知識(shí)庫總共只有幾百個(gè)文檔檢索效果差主要因?yàn)榍袎K太粗或者沒有元數(shù)據(jù)過濾那么先優(yōu)化這些環(huán)節(jié)性價(jià)比更高。2. 微調(diào) Embedding 的原理對(duì)比學(xué)習(xí)、難負(fù)樣本和 Qwen3 的定位2.1 Embedding 模型訓(xùn)練的本質(zhì)是“拉近正例推開負(fù)例”Embedding 模型本身不是被“教”出所有業(yè)務(wù)知識(shí)的它是在一個(gè)表示學(xué)習(xí)任務(wù)上被優(yōu)化的。微調(diào)時(shí)我們不再訓(xùn)練模型回復(fù)一句話而是訓(xùn)練它把 Query 和對(duì)應(yīng)的文檔片段映射到同一個(gè)向量空間中的相近位置。最常用的訓(xùn)練目標(biāo)是對(duì)比學(xué)習(xí)損失例如 InfoNCE。核心思想是給一個(gè) Query讓模型優(yōu)化相似度使得它和正確文檔的距離更近同時(shí)和一批錯(cuò)誤文檔的距離更遠(yuǎn)。假設(shè)一個(gè) batch 里有 N 個(gè) Query對(duì)應(yīng)的正文檔是同一個(gè) batch 里的 N 個(gè)文檔那么可以構(gòu)造 N×N 的相似度矩陣對(duì)角線是正樣本其余位置是負(fù)樣本。MultipleNegativesRankingLoss 就是這么工作的。一個(gè)簡(jiǎn)單理解score(query_i, positive_i) - 盡量高 score(query_i, negative_j) - 盡量低2.2 難負(fù)樣本比正樣本更影響微調(diào)效果很多人第一次構(gòu)造 Embedding 訓(xùn)練集會(huì)在每個(gè) Query 后面配一個(gè)正確文檔、一個(gè)隨機(jī)文檔然后開始訓(xùn)練。等訓(xùn)練完上線發(fā)現(xiàn)效果幾乎沒變。原因很簡(jiǎn)單隨機(jī)文檔和 Query 大多完全不相關(guān)模型很容易把它們分開訓(xùn)練信號(hào)很弱。真正需要訓(xùn)練的是“看起來相關(guān)、實(shí)際不對(duì)”的難負(fù)樣本。舉個(gè)例子Query發(fā)票沖紅后購買方還能抵扣嗎正樣本發(fā)票沖紅操作指南里關(guān)于購買方抵扣的相關(guān)段落難負(fù)樣本發(fā)票開具流程里關(guān)于“紅字發(fā)票信息表”的段落難負(fù)樣本包含“發(fā)票”“沖紅”“抵扣”等多個(gè)關(guān)鍵詞向量上離 Query 很近但語義和用戶問的不是一回事。只有把這種樣本作為負(fù)例壓下去模型才學(xué)會(huì)區(qū)分“操作流程”和“概念解釋”。這是為什么微調(diào) Embedding 必須有一個(gè)質(zhì)量較高的負(fù)樣本構(gòu)造環(huán)節(jié)而不能只在文件系統(tǒng)里隨機(jī)抽幾個(gè)文件當(dāng)負(fù)樣本。2.3 Qwen3 在這條鏈路里的真實(shí)角色標(biāo)題里寫“通過 Qwen3 對(duì) Embedding 進(jìn)行訓(xùn)練微調(diào)”容易讓人誤以為直接把 Qwen3 結(jié)構(gòu)拿來當(dāng)向量模型訓(xùn)練。這里必須澄清一下技術(shù)定位。Qwen3 是生成式大模型它的輸出是文本不是文本向量。當(dāng)前更穩(wěn)妥、也更常見的做法是用 Qwen3 生成領(lǐng)域 Query把“文檔段落”轉(zhuǎn)成“用戶可能會(huì)問的問題”用 Qwen3 把這些 Query 和候選文檔做相關(guān)性打分找出“分?jǐn)?shù)高但實(shí)際不相關(guān)”的難負(fù)樣本用 Qwen3 改寫 Query制造更多表達(dá)方式不同、語義相同的正樣本用 Qwen3 檢查訓(xùn)練數(shù)據(jù)質(zhì)量去掉噪聲樣本。也就是說Qwen3 是在“數(shù)據(jù)生產(chǎn)”和“數(shù)據(jù)清洗”環(huán)節(jié)起作用真正被微調(diào)的對(duì)象是專用 Embedding 模型比如 BGE-M3、bge-large-zh、GTE 等。如果團(tuán)隊(duì)非要用 Qwen 系列模型做 Embedding也不是不行需要自己接 pooling 層和相似度目標(biāo)對(duì)比訓(xùn)練成本和難度都會(huì)明顯上升。對(duì)于大多數(shù) RAG 項(xiàng)目更理性的選擇是用 Qwen3 生成數(shù)據(jù) 微調(diào)輕量專用 Embedding 模型這樣訓(xùn)練成本低、上線快、維護(hù)也容易。3. 用 Qwen3 構(gòu)造高質(zhì)量 Embedding 微調(diào)數(shù)據(jù)集3.1 先設(shè)計(jì)統(tǒng)一數(shù)據(jù)格式微調(diào) Embedding 的數(shù)據(jù)集一般使用 JSONL 格式每行一個(gè)訓(xùn)練樣本。常見結(jié)構(gòu)是帶一個(gè)正樣本和多個(gè)負(fù)樣本{ query: 發(fā)票沖紅后購買方還能抵扣嗎, positive: 購買方取得紅字發(fā)票信息表后可在增值稅發(fā)票綜合服務(wù)平臺(tái)上進(jìn)行相應(yīng)抵扣處理具體以當(dāng)?shù)囟悇?wù)機(jī)關(guān)要求為準(zhǔn)。, negatives: [ 發(fā)票開具流程中銷售方需在開票系統(tǒng)內(nèi)填開紅字發(fā)票信息表并上傳。, 普通發(fā)票丟失后如何處理納稅人應(yīng)當(dāng)向稅務(wù)機(jī)關(guān)報(bào)告。 ] }推薦把訓(xùn)練數(shù)據(jù)寫成這種格式而不是只用 query-positive 二元組。因?yàn)橐粭l Query 配多個(gè)負(fù)樣本訓(xùn)練效率更高模型也能更快學(xué)會(huì)區(qū)分“業(yè)務(wù)概念”和“業(yè)務(wù)操作”。3.2 用 Qwen3 從文檔段落生成用戶 Query數(shù)據(jù)構(gòu)造的第一步是把知識(shí)庫文檔的每個(gè)段落變成一個(gè)或多個(gè)用戶 Query??梢哉{(diào)用 Qwen3 的 OpenAI 兼容接口也可以在本機(jī)用 vLLM 部署 Qwen3 后按相同接口調(diào)用。下面是一個(gè)用于生成 Query 的 Prompt 示例你是知識(shí)庫檢索訓(xùn)練數(shù)據(jù)的構(gòu)造助手。 我會(huì)給你一段文檔內(nèi)容請(qǐng)你模擬真實(shí)用戶生成 5 個(gè)不同角度的檢索 Query。 要求 1. Query 必須是用戶會(huì)直接輸入的真實(shí)問法避免照抄原文措辭。 2. 至少包含 2 個(gè)口語化或短問法。 3. 不要生成與這段內(nèi)容語義偏差過大的問題。 4. 輸出格式為 JSON 數(shù)組每個(gè)元素是一個(gè)字符串。 文檔內(nèi)容 {chunk_text}對(duì)應(yīng)的 Python 調(diào)用示例import json import openai client openai.OpenAI( base_urlhttp://your-qwen3-server:8000/v1, api_keyEMPTY ) def generate_queries(chunk_text: str) - list[str]: prompt f你是知識(shí)庫檢索訓(xùn)練數(shù)據(jù)的構(gòu)造助手。 我會(huì)給你一段文檔內(nèi)容請(qǐng)你模擬真實(shí)用戶生成 5 個(gè)不同角度的檢索 Query。 要求 1. Query 必須是用戶會(huì)直接輸入的真實(shí)問法避免照抄原文措辭。 2. 至少包含 2 個(gè)口語化或短問法。 3. 不要生成與這段內(nèi)容語義偏差過大的問題。 4. 輸出格式為 JSON 數(shù)組每個(gè)元素是一個(gè)字符串。 文檔內(nèi)容 {chunk_text} resp client.chat.completions.create( modelqwen3, messages[{role: user, content: prompt}], temperature0.7, max_tokens512, ) content resp.choices[0].message.content content content.replace(json, ).replace(, ).strip() return json.loads(content)調(diào)用時(shí)需要注意真實(shí)用戶 Query 和文檔原文的措辭差異越大對(duì) Embedding 微調(diào)的收益越高。如果 Qwen3 生成的問題基本都是照抄文檔里的句子那訓(xùn)練數(shù)據(jù)對(duì)檢索沒有增量?jī)r(jià)值。3.3 構(gòu)造難負(fù)樣本從批量召回結(jié)果里篩選構(gòu)造難負(fù)樣本最實(shí)用的方法是“用當(dāng)前 Embedding 模型先跑一遍檢索然后讓 Qwen3 判斷相關(guān)性”。具體流程對(duì)每一條 Query用當(dāng)前線上 Embedding 模型從知識(shí)庫召回 top 20 個(gè)文檔片段。把這 20 個(gè)片段中相似度分?jǐn)?shù)較高、但在業(yè)務(wù)上不代表正確答案的片段挑出來。讓 Qwen3 逐條判斷“這個(gè)片段是否確實(shí)回答了 Query”給出 0 或 1 標(biāo)簽。標(biāo)簽為 0、但向量相似度靠前的片段作為難負(fù)樣本加入訓(xùn)練集。這個(gè)流程比隨機(jī)負(fù)樣本有效因?yàn)槟P汀板e(cuò)得最厲害”的地方正是它需要被糾正的地方。Prompt 示例請(qǐng)判斷下面的文檔片段能否回答用戶問題。只能回答 0 或 1。 用戶問題 {query} 文檔片段 {chunk_text} 能否回答批量處理時(shí)要注意并發(fā)限制和請(qǐng)求失敗重試。比如本地部署 Qwen3 時(shí)如果接口偶爾超時(shí)可以加上重試邏輯并把結(jié)果記錄到單獨(dú)的日志文件里方便后續(xù)排查數(shù)據(jù)質(zhì)量問題。3.4 數(shù)據(jù)清洗和人工抽驗(yàn)不要拿到 Qwen3 生成結(jié)果就直接訓(xùn)練。常見問題包括Query 和 positive 完全不匹配模型學(xué)不到有效信號(hào)negative 實(shí)際上也回答了 Query造成標(biāo)簽噪聲多條 Query 完全重復(fù)導(dǎo)致模型過擬合到某一種表達(dá)文檔片段過長(zhǎng)或過短超過模型 max_len 限制訓(xùn)練時(shí)被截?cái)?。建議先做一輪自動(dòng)化清洗腳本def filter_sample(sample, min_len10, max_len512): q_len len(sample[query]) p_len len(sample[positive]) if q_len min_len or p_len min_len: return False if p_len max_len * 3: return False if sample[query] in sample[positive]: return False return True然后抽出 5% 到 10% 的樣本人工判斷標(biāo)簽是否合理。如果人工抽驗(yàn)的準(zhǔn)確率低于 90%建議重新調(diào)整 Qwen3 的 Prompt而不是直接擴(kuò)大數(shù)據(jù)量。數(shù)據(jù)規(guī)模上Embedding 微調(diào)的最小有效集通常在幾千條左右。先保證 2000 到 5000 條高質(zhì)量樣本比一次生成 5 萬條低質(zhì)量樣本更有效。4. 選擇開源 Embedding 模型和訓(xùn)練環(huán)境4.1 可微調(diào)的 Embedding 模型選型不是所有 Embedding 模型都適合微調(diào)。使用云廠商 API 的 Embedding 模型通常不開放權(quán)重只能通過官方接口調(diào)用無法針對(duì)業(yè)務(wù)數(shù)據(jù)做訓(xùn)練。要微調(diào)必須選擇開源權(quán)重模型。常見可選模型如下模型特點(diǎn)適合場(chǎng)景注意點(diǎn)BGE-M3支持多語言、長(zhǎng)文本、多粒度檢索中英文混合知識(shí)庫、長(zhǎng)文檔 RAG參數(shù)較多訓(xùn)練顯存相對(duì)高bge-large-zh中文效果穩(wěn)定社區(qū)資料多中文業(yè)務(wù)知識(shí)庫需注意 query 指令前綴bge-base-zh參數(shù)少訓(xùn)練快數(shù)據(jù)量不大、端側(cè)場(chǎng)景效果上限低于 largeGTE 系列部分模型支持中英和多任務(wù)需要統(tǒng)一向量模型的場(chǎng)景需確認(rèn)授權(quán)和版本M3E中文效果不錯(cuò)部署簡(jiǎn)單中文知識(shí)庫快速驗(yàn)證遇到復(fù)雜語義邊界時(shí)可能要換模型推薦第一次做 Embedding 微調(diào)時(shí)選擇 BGE 系列或 BGE-M3。它們有兩個(gè)優(yōu)勢(shì)一是社區(qū)案例多排錯(cuò)資料容易找二是官方模型通常配套了推薦的指令格式訓(xùn)練和推理時(shí)不容易踩配置坑。另外要確認(rèn)模型版本。不同版本的 Embedding 模型輸出維度不同如果后續(xù)要遷移已經(jīng)建好的向量庫需要特別注意維度是否能對(duì)上。4.2 訓(xùn)練框架和依賴準(zhǔn)備Embedding 微調(diào)可以用三種方式實(shí)現(xiàn)sentence-transformers 庫適合快速跑通最小實(shí)驗(yàn)FlagEmbedding 庫BGE 官方微調(diào)工具適合深度定制和難負(fù)樣本訓(xùn)練直接用 transformers 自定義 loss適合徹底控制訓(xùn)練流程。為了快速跑通推薦先用 sentence-transformers。安裝命令pip install -U sentence-transformers pip install torch --index-url https://download.pytorch.org/whl/cu121如果要用 FlagEmbedding還需要額外安裝依賴。實(shí)際項(xiàng)目里要注意 PyTorch、CUDA、transformers 之間的版本兼容不要照抄教程里的版本號(hào)先在當(dāng)前環(huán)境驗(yàn)證一次。4.3 訓(xùn)練超參數(shù)和顯存控制Embedding 模型的參數(shù)量比 Qwen3 這類生成模型小很多訓(xùn)練門檻相對(duì)低。但“全參訓(xùn)練”和“LoRA 微調(diào)”的顯存差別仍然明顯。參數(shù)含義常見取值范圍設(shè)置建議learning_rate學(xué)習(xí)率2e-5 到 5e-5數(shù)據(jù)量小就偏低避免災(zāi)難性遺忘batch_size每個(gè) batch 的 Query 數(shù)量16 到 64顯存不足時(shí)優(yōu)先減小 batch_sizemax_len文本最大長(zhǎng)度256 到 1024根據(jù)知識(shí)庫 chunk 長(zhǎng)度設(shè)置num_epochs訓(xùn)練輪數(shù)1 到 5優(yōu)先 2 輪過擬合很容易warmup_ratio預(yù)熱比例0.05 到 0.1穩(wěn)定訓(xùn)練初期 loss全參微調(diào)對(duì) Embedding 模型來說通??尚械绻阒挥幸粋€(gè) 24G 顯存的 GPU又想訓(xùn)練 BGE-M3 這類大模型建議用 LoRA。sentence-transformers 已經(jīng)支持通過 PEFT 給 Embedding 模型加 LoRA 適配器訓(xùn)練時(shí)先凍結(jié)主干參數(shù)只訓(xùn)練低秩矩陣顯存占用會(huì)明顯下降。5. 微調(diào)訓(xùn)練實(shí)戰(zhàn)用對(duì)比學(xué)習(xí)跑通最小案例5.1 用 sentence-transformers 訓(xùn)練 MultipleNegativesRankingLoss這里以一個(gè)最小可運(yùn)行腳本為例。假設(shè)訓(xùn)練數(shù)據(jù)文件是train.jsonl每條數(shù)據(jù)包含query、positive、negatives三個(gè)字段。import json from sentence_transformers import SentenceTransformer, models, losses, InputExample from torch.utils.data import DataLoader from sentence_transformers.datasets import SentenceLabelDataset base_model BAAI/bge-base-zh-v1.5 word_embedding_model models.Transformer(base_model, max_seq_length512) pooling_model models.Pooling( word_embedding_model.get_word_embedding_dimension(), pooling_mode_cls_tokenTrue, pooling_mode_mean_tokensFalse, pooling_mode_max_tokensFalse, ) model SentenceTransformer(modules[word_embedding_model, pooling_model]) examples [] with open(train.jsonl, encodingutf-8) as f: for line in f: item json.loads(line) texts [item[query], item[positive]] item.get(negatives, []) examples.append(InputExample(textstexts)) train_dataloader DataLoader(examples, shuffleTrue, batch_size32) train_loss losses.MultipleNegativesRankingLoss(model) model.fit( train_objectives[(train_dataloader, train_loss)], epochs2, warmup_steps100, output_path./embedding_model_finetuned, save_best_modelTrue, )這段代碼的核心是MultipleNegativesRankingLoss。每個(gè) InputExample 的第一條文本會(huì)被當(dāng)成 Query第二條是正樣本后面的所有文本是負(fù)樣本。損失函數(shù)會(huì)盡量提高 Query 和正樣本的相似度同時(shí)降低它和負(fù)樣本的相似度。需要注意這里沒有給 Query 加指令前綴。如果模型是 BGE 系列官方推薦的推理方式是給 Query 加指令但訓(xùn)練時(shí)是否加指令取決于數(shù)據(jù)構(gòu)造方式。推薦做法是保持訓(xùn)練和推理一致在訓(xùn)練腳本里統(tǒng)一處理。5.2 使用 FlagEmbedding 訓(xùn)練 BGE-M3 的另一種方式如果選擇 BGE-M3FlagEmbedding 提供了更直接的訓(xùn)練接口。示例代碼from FlagEmbedding import FlagModel model FlagModel( BAAI/bge-m3, query_instruction_for_retrieval為這個(gè)句子生成表示以用于檢索相關(guān)文章, use_fp16True )FlagEmbedding 完整訓(xùn)練腳本一般包含數(shù)據(jù)加載、損失計(jì)算、評(píng)估三個(gè)模塊。由于版本差異較大建議直接參考官方倉庫的examples/finetune/embedder目錄里面提供了帶難負(fù)樣本的訓(xùn)練入口。這里不推薦把別人的訓(xùn)練命令原樣復(fù)制到生產(chǎn)環(huán)境。必須先確認(rèn)自己的模型名、數(shù)據(jù)格式、指令前綴和輸出維度再運(yùn)行訓(xùn)練。5.3 訓(xùn)練日志怎么判斷是否正常訓(xùn)練時(shí)主要觀察兩個(gè)信號(hào)。第一loss 是否在下降。MultipleNegativesRankingLoss最開始時(shí)通常會(huì)在 4 到 6 這個(gè)區(qū)間訓(xùn)練一段時(shí)間后降到 1 以下。如果 loss 一直不降或者出現(xiàn) NaN優(yōu)先檢查數(shù)據(jù)里是否有超長(zhǎng)文本、空文本以及學(xué)習(xí)率是否設(shè)置過高。第二離線檢索效果是否提升。loss 下降不代表檢索效果一定變好。建議在訓(xùn)練腳本里加入一個(gè)小型 eval 集每次 checkpoint 后計(jì)算 Recall10。如果 loss 下降但 Recall 不漲可能負(fù)樣本太簡(jiǎn)單或數(shù)據(jù)噪聲太多。訓(xùn)練輸出的目錄里會(huì)保存模型權(quán)重和 tokenizer。加載微調(diào)后模型時(shí)要用同一個(gè)目錄不能混用原版模型和微調(diào)權(quán)重。from sentence_transformers import SentenceTransformer model SentenceTransformer(./embedding_model_finetuned) emb model.encode(發(fā)票沖紅后還能抵扣嗎, normalize_embeddingsTrue)6. 把微調(diào)后的 Embedding 接回 RAG 檢索鏈路6.1 全量重建向量庫這一步不能省微調(diào)后的模型和舊 Embedding 模型生成的向量分布不一致兩者不能在同一個(gè)向量索引里混用。上線前必須全量重建知識(shí)庫向量不能用“只對(duì)新增文檔生成向量”的方式做增量替換否則新舊向量之間距離比較沒有意義。重建流程從知識(shí)庫導(dǎo)出所有 chunk。用微調(diào)后的 Embedding 模型批量生成向量。將向量寫入新的 Collection 或新的向量索引。線上檢索流量切到新索引。保留舊索引至少一個(gè)版本便于回滾。批量生成向量時(shí)可以控制 batch size避免 GPU 顯存溢出from sentence_transformers import SentenceTransformer model SentenceTransformer(./embedding_model_finetuned) chunks [...] # 所有知識(shí)庫 chunk batch [] embeddings [] for chunk in chunks: batch.append(chunk) if len(batch) 64: vecs model.encode(batch, normalize_embeddingsTrue) embeddings.extend(vecs) batch [] if batch: vecs model.encode(batch, normalize_embeddingsTrue) embeddings.extend(vecs)6.2 寫入 Milvus 或本地 Faiss 索引以 Milvus 為例需要先創(chuàng)建 Collection并指定向量維度。BGE-M3 的維度是 1024bge-base-zh 是 768具體以模型輸出為準(zhǔn)。from pymilvus import ( connections, CollectionSchema, FieldSchema, DataType, Collection ) connections.connect(host127.0.0.1, port19530) fields [ FieldSchema(nameid, dtypeDataType.INT64, is_primaryTrue), FieldSchema(nametext, dtypeDataType.VARCHAR, max_length8192), FieldSchema(namevector, dtypeDataType.FLOAT_VECTOR, dim1024), ] schema CollectionSchema(fields) collection Collection(qa_knowledge_new, schema) data [ list(range(len(chunks))), chunks, embeddings, ] collection.insert(data) collection.create_index(vector, {index_type: IVF_FLAT, metric_type: IP, params: {nlist: 1024}})檢索時(shí)要用同一種向量計(jì)算方式query_vec model.encode([query], normalize_embeddingsTrue)[0] result collection.search( data[query_vec.tolist()], anns_fieldvector, param{metric_type: IP, params: {nprobe: 16}}, limit20, output_fields[text], )6.3 在 LlamaIndex 中接入自定義 Embedding 模型如果用 LlamaIndex 搭 RAG接入自定義模型非常簡(jiǎn)單from llama_index.core import Settings from llama_index.embeddings.huggingface import HuggingFaceEmbedding Settings.embed_model HuggingFaceEmbedding( model_name./embedding_model_finetuned, embed_batch_size64, )設(shè)置好后文檔索引和 Query 檢索都會(huì)使用同一個(gè)embed_model。這一步最容易踩的坑是索引文檔時(shí)用了微調(diào)后模型但 Query 檢索時(shí)誤用了默認(rèn)模型導(dǎo)致查詢向量和文檔向量不在同一空間。6.4 不要丟掉 Rerank 環(huán)節(jié)微調(diào) Embedding 能提高“正確文檔是否能進(jìn) top 20”的概率但不保證正確文檔一定排在第一位。生產(chǎn)級(jí) RAG 仍然應(yīng)該在向量召回后加一個(gè) Rerank 模型對(duì)召回結(jié)果做精排序。推薦鏈路是Query - 向量召回 top50 - Rerank 精排 top5 - LLM 生成Embedding 微調(diào)和 Rerank 不是二選一。前者負(fù)責(zé)提高召回上限后者負(fù)責(zé)提高排序精度。兩者結(jié)合效果通常比只做其中一項(xiàng)更穩(wěn)定。7. 效果評(píng)估與常見問題排查7.1 構(gòu)造最小離線評(píng)估集評(píng)估集不需要很大但需要覆蓋真實(shí)用戶 Query。建議準(zhǔn)備 200 到 500 條真實(shí)或近似真實(shí)的 Query并為每條 Query 標(biāo)注 1 到 3 個(gè)正確文檔。常用指標(biāo)指標(biāo)說明計(jì)算方式RecallK正確文檔是否出現(xiàn)在前 K 條結(jié)果里命中數(shù) / 總 Query 數(shù)MRR第一個(gè)正確結(jié)果所在排名的倒數(shù)按排名取倒數(shù)后求平均Hit Rate1第一條結(jié)果是否就是正確答案命中數(shù) / 總 Query 數(shù)評(píng)估的時(shí)候要把微調(diào)前和微調(diào)后的模型分別跑同一批評(píng)估集保留結(jié)果。不要只憑“感覺變準(zhǔn)了”就上線。7.2 微調(diào)后常見的失敗模式問題現(xiàn)象可能原因排查方式處理建議loss 下降但 Recall 不漲難負(fù)樣本太少或太簡(jiǎn)單檢查訓(xùn)練數(shù)據(jù)中每條 Query 的負(fù)樣本數(shù)量增加難負(fù)樣本構(gòu)造邏輯上線后效果反而變差向量庫未全量重建確認(rèn)新舊向量是否混用全量重建并校驗(yàn)向量維度訓(xùn)練時(shí)顯存不足batch_size 或 max_len 過大查看 GPU 顯存占用降低 batch_size改用 LoRA檢索時(shí) Query 結(jié)果不對(duì)推理時(shí)和訓(xùn)練時(shí)指令前綴不一致對(duì)比訓(xùn)練和推理代碼統(tǒng)一指令前綴和預(yù)處理邏輯負(fù)樣本實(shí)際也是正確答案Qwen3 相關(guān)判斷不準(zhǔn)人工抽驗(yàn)負(fù)樣本標(biāo)簽調(diào)整 Qwen3 打分 Prompt 或加入人工復(fù)核微調(diào)后通用能力下降訓(xùn)練數(shù)據(jù)過于單一觀察泛化指標(biāo)混入一定比例通用檢索數(shù)據(jù)7.3 上線前回歸清單上線前建議按下面清單逐項(xiàng)檢查[ ] 訓(xùn)練數(shù)據(jù)和評(píng)估集是否分開評(píng)估集里沒有出現(xiàn)訓(xùn)練數(shù)據(jù)[ ] Qwen3 生成的 Query 是否覆蓋了真實(shí)用戶高頻問法[ ] 負(fù)樣本是否包含至少一部分“向量相似但語義無關(guān)”的難負(fù)樣本[ ] 訓(xùn)練腳本中 query 指令和推理腳本中 query 指令是否一致[ ] 微調(diào)后模型輸出維度是否和原始模型一致[ ] 向量庫是否全量重建舊索引是否可回滾[ ] 離線評(píng)估指標(biāo)是否記錄并對(duì)比過基線[ ] 是否保留了原 Embedding 模型和原向量索引方便快速回滾。8. 生產(chǎn)環(huán)境落地建議微調(diào)不是唯一的優(yōu)化手段8.1 建議的優(yōu)化順序在團(tuán)隊(duì)資源有限的情況下RAG 優(yōu)化順序可以按下面排列先治理知識(shí)庫切塊和元數(shù)據(jù)加入 Query 改寫解決用戶口語化和指代不清引入 Rerank 模型把 top50 變 top5收集真實(shí) badcase分析檢索失敗原因再用 Qwen3 構(gòu)造數(shù)據(jù)微調(diào) Embedding 模型。這套順序的核心是先用成本低、見效快的手段把明顯問題解決掉再通過微調(diào)處理更深層的語義匹配問題。如果一開始就啟動(dòng) Embedding 微調(diào)很容易把切塊錯(cuò)誤、元數(shù)據(jù)缺失的問題也歸因到模型上導(dǎo)致訓(xùn)練數(shù)據(jù)很臟最終效果也不穩(wěn)定。8.2 建立數(shù)據(jù)回流和定期重訓(xùn)機(jī)制Embedding 微調(diào)不是一次性的。業(yè)務(wù)新名詞不斷出現(xiàn)用戶提問方式也在變化訓(xùn)練數(shù)據(jù)需要持續(xù)更新。生產(chǎn)環(huán)境可以設(shè)計(jì)一個(gè)小閉環(huán)從線上日志采集“低分但用戶點(diǎn)擊/反饋有用的 Query”把用戶反饋和 badcase 匯總到標(biāo)注隊(duì)列每?jī)芍芑蛎吭掠?Qwen3 補(bǔ)充新 Query 和新難負(fù)樣本重新訓(xùn)練 Embedding 模型并跑離線評(píng)估評(píng)估通過后全量重建向量庫并灰度上線。這里的難點(diǎn)是“自動(dòng)判斷用戶是否滿意”。如果沒有顯式反饋可以用業(yè)務(wù)指標(biāo)兜底例如搜索無結(jié)果率、同一會(huì)話的再提問次數(shù)等。8.3 成本控制和 LoRA 選擇Embedding 模型訓(xùn)練成本通常遠(yuǎn)低于生成模型。但如果知識(shí)庫很大向量重建的推理成本會(huì)比訓(xùn)練成本更高。因此訓(xùn)練前要預(yù)估 GPU 總時(shí)長(zhǎng)訓(xùn)練后做一次“向量重建成本”評(píng)估。LoRA 微調(diào)在 Embedding 模型上的收益沒有大語言模型那么夸張因?yàn)?Embedding 模型的參數(shù)量本來就小。但對(duì)于 BGE-M3 這類 5 億參數(shù)以上的模型LoRA 仍然是顯存不足時(shí)的首選。選擇 LoRA 時(shí)要關(guān)注訓(xùn)練后是否能導(dǎo)出合并權(quán)重避免推理時(shí)額外依賴適配器加載邏輯。8.4 再往前走Rerank、Agentic RAG 和圖譜增強(qiáng)Embedding 微調(diào)只是 RAG 優(yōu)化的一個(gè)環(huán)節(jié)。當(dāng)檢索召回率已經(jīng)穩(wěn)定可以考慮下一步用領(lǐng)域數(shù)據(jù)微調(diào)一個(gè)小的 Rerank 模型替代通用 Rerank引入 Agentic RAG讓模型根據(jù)用戶意圖主動(dòng)選擇多路檢索在知識(shí)庫中補(bǔ)充實(shí)體關(guān)系圖譜處理“實(shí)體關(guān)系型問題”對(duì)多輪對(duì)話場(chǎng)景增加 Query 改寫和歷史上下文壓縮。這些方向都需要先有“穩(wěn)定可評(píng)估的檢索鏈路”作為基座。Embedding 微調(diào)的真正價(jià)值是讓基座更貼近業(yè)務(wù)而不是替代其他優(yōu)化模塊。最后給新手的練習(xí)建議不要一上來就微調(diào)一個(gè)大模型先用一個(gè)小型中文知識(shí)庫構(gòu)造 2000 條數(shù)據(jù)微調(diào) bge-base-zh并在 Milvus 里對(duì)比微調(diào)前后 Recall10。這個(gè)閉環(huán)跑通后再逐步加深對(duì)難負(fù)樣本、LoRA、Rerank 和數(shù)據(jù)回流的理解會(huì)比直接堆模塊更有效。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日韩大片艹艹| 97色色-99久久| 大香蕉久久久| 免费久久这里只有精品99| 三男玩一女三A片| 欧洲综合色| 色噜久| 色噜噜狠狠色综合成人99| 亚洲色婷婷色| 色综合久久中文| 色综合五月| 九九爱激情| 大香蕉懂9| 影音先锋色婷婷| 亚洲综合网激情五月天| 色色五月婷婷| 久久精品夜色噜噜亚洲a∨| 色婷婷小说| 五月丁香六月婷婷婷婷| 亚洲激情99| 在线99精品| 99这里只有精品| 激情丁香五月婷婷| 操你av| 久99久在线| 丁香在线视频| 香蕉久久国产AV一区二区| 五月激情婷婷女| 超碰免费人妻| 成人中文字幕在线| 色婷婷丁香社综合| 久久婷婷东京热大香樵| 伊人九九68| 99丁香五月婷| 五月天国产| 午夜丁香婷婷| 99热一本| 狠狠色综合网站久久久久| 91夫妻视频| 五月婷婷色播视频| 丁香六月婷婷色XXXX| 97视频久久| 亚洲精品大片| 欧美色五月| 97色永久免费视频| 激情爱爱网站超大免费| 97视频91| 久久婷婷五月天| 91丨九色丨丰满人妖| 日本色婷婷| 五月天婷婷激情在线色图| 色五月激情五月| 大香蕉五月丁香| 99精品22| 色五月丁香五月天| 综合网视频| 国产精品成人av在线观看春天| 青草网在线观看| 女婷久久| 日本综合久| 婷婷五月色综合| 免费成人中文字幕| 91疯狂操操操操| 久久婷婷大香蕉| 亚洲三A| 99久久综合网| 伊人干综合| 婷婷丁香亚洲五月天| 丁香五月综合激情久久潮喷| 色必久悠悠影院| 久久99这里只有精品| 色婷婷操逼| 久久婷婷色综合| 99色日本| 99人人干| 99色最新在线视频| 青青草深爱激情网| 欧美草久久五月天91| www.26uuu.com亚洲电影| 五月久久亚洲| 另类激情五月在线视频欧美| 97婷婷色| 69精品人人人人| 国产精品电| 丁香五月中文字幕色播| 色婷婷888| 激情五月天色播| 久久六月综合| 99久久性爱| 91精品国产91久久久久青草| 97色在线| 婷婷五月天久草在线| 午夜伊人大香蕉| 97色 五月天丁香| 97成人丁香| 天堂va久久久噜噜噜久久Va| 神马欧美精| 思思热在线视频99| 色色色9| 五月天 另类图片| 99热这里只有精品首页| 另类专区在线观看| 五月天激情日色在线| 性按摩玩人妻HD中文字幕| 热思思九九| 精品99*| AV在线不卡网站| 久久久婷丁香五月天激情综合| 丁香五月综合婷婷| 99爱在线视频观看| 天天日天天操心| 男女99免费视频| 91精品丝袜久久久久久| 丁香五月天大香蕉啪啪| 狠狠色狠狠| 99综合在线| 婷婷五月丁香花综合| 人妻AV在线| 婷婷无码视频| 99re鈥哸鈥唙| 99国产精品久久久久久久久久久 | 这里只有精彩亚洲视频推荐| 91热久久| 日本玖玖在线| 成人必爱视| 色婷婷综合网站| 婷婷五月图片小说网| 婷婷五月大香蕉| 五月天激情四射| 超碰人人妻| 狠狠操狠狠爱| 99久在线精品| 热久免费视频9| 国产 亚洲 在线| 综合欧美五月婷婷| 婷婷五月综激情| 狠狠色丁香| 婷婷丁香六月| 亚洲精品中文字幕成人片| 伍月婷丁香婷| 日本久久性| 国精产品一区一区三区免费视频| 五月婷婷影| 99色这里| 色婷婷五月在线| 超碰狠狠干99| 天天搞夜夜叫| 午夜亚洲国产精品av一区二区| 最近中文字幕2019视频1| 老司机伊人| 六月丁香啪啪啪| 123日本不卡在线| 九月丁香亭亭| 五月天成人手机在线视频| 99热最新网址| 无码色| 九九婷婷综合| 丁香五月婷婷影院| 婷婷六月香| 婷婷久久午夜网| 女人被男人吃奶到高潮| 啪到高潮激情丁香五月| 丁香色综合| 日本人妻伦在线中文字幕 | 99热20| 狠狠色大香蕉| av激情在线| 色六月天| 久久99大| 五月丁香人人婷婷在线观看| 中文字幕有多少字| 婷婷六月丁香色| 97视频久久| 人妻操日日| 免费视频在线观看的网站| 亚洲精品无码一区二区| 精品五月丁香| 欧美性猛交 XXXX 乱大交| 大香蕉伊人99| 婷婷精品在线| 色婷婷91| 婷婷激情六月综合| 情色婷婷五月天| 五月天久久91| 99视频在线观看网址| 噜噜色com| 五月日韩中文字幕| 久久精品亚洲一级牲爱综合| 国产第99页| 国产精品久久7777777精品无码| 操91| 性生活久久人妻| 亚洲第一成人无码A片| 日日操,日日爽| 91操操| 婷婷四月 成人 狠狠干| 婷婷五月六月| 五月激情综合性爱| 日韩九九| 色色婷| 玖玖爱伊人| 丁香五月激情五月| 亚洲熟妇无码乱子AV电影| 97香蕉人人在线观看| 人人摸人人搞| 国产视频福利| 狠狠色狠狠操| 我爱婷婷五月天综合88| 五月天丁香啪啪啪啪| 99久久成人| 久久精品一区二区三区四区| 五月天婷婷人妻| 99九九热播在线免费视频| 五月久久丁香| 丁香五月首页| 五月开心播播网| 中文字幕在线资源| 超碰国产在线观看| 久久一级片| 五月天色婷婷网| 五月婷婷丁香日韩在线| 天天操天天日天天爱| 婷婷五月骚厕所| 国产色色色色| 极品少妇XXXX精品少妇偷拍| 在线播放人妻| 丁香久月| 激情六月日韩| 天天日天天干天天操| 综合网色| 婷婷丁香六月天| 操笔无码| 天天免费日日夜夜夜夜| 91久久久久久久久18| 成人 在线 日韩| 婷婷午夜综合| 熟妇人妻中文字幕无码老熟妇| 天天干天天操天天上| 91se精品国产| 亚洲黄色精品| 婷婷五月色網站| 99热99极品观看| 99视频内射三四| 亚洲成人人人操| 激情五月天啪啪| 思思99热| 91精品婷婷国产综合久久| 精品久久人妻热| 99视频日韩| 亚洲不卡| 丁香五月婷婷激情蜜桃| 五月天开心婷婷久久| 色婷婷四色| 99re思思热久久| 国产露脸150部国语对白| 国产FREESEXVIDEOS性中国| 日本99久久| 欧美日韩aaa| 天天色天天干天天插| 色综合久久久无码中文字幕999| 婷婷热婷婷色| 91高潮喷水久久久久久久久| 亚洲欧美综合7777色婷婷| 婷婷色天香| 99视频在线播放大全| 99热只有精品在线| 免费视频WWW在线观看网站| 深情五月天| 99日在线视频| 亚洲精品白浆高清久久久久久| 99乱视频| 婷婷日日夜夜| 五月婷婷自拍视频| 婷婷激情五月综合丁香社| 欧日美女Va| 成人片在线免费看| 9久久AV| 一级黄色影片| 五月婷av| 五月天伊人久久久久| 五月婷婷开心综合| 丁香五月婷综合网| 丁香狠狠色婷婷久久无码视频| 色婷婷六月激情| www.激情五月天.con| 99噜噜噜在线播放| 99热个人在线| 丁香花大香蕉婷婷综合| 26uuu成人网| 九九操屄| 97碰91| 天天揷综合网| 精品久9| 五月婷婷综合在线亚洲视频| 五月天激情网图片| 婷婷色网| 成人无码精品1区2区3区免费看| 国产精品成人在线| 99热这里有精力| 五月丁香婷婷色色色| 天天操屄网| 九九精品在线网| 婷婷丁香色五月亚洲| 性爱网久久| 亚州精品成人片| 久久婷婷亚洲无码一起| 婷婷天堂综合| 超碰在线国产| 亚洲激情网| 丁香五月婷婷六月婷婷| 精品综合久久久久久五月天| 激情网五月婷婷| 六月丁香VA| 色狠狠六月| 亚洲成人电影aaaa| 丁香婷婷激情五月天无毒不卡蜜桃| 婷婷五月久久| 超碰AV在线| 激情人妻综合| 精品一区二区三区免费毛片爱 | 狠狠干综合网| 婷婷五月大香蕉| 激情四射五月天| 秋霞免费视频| 久99久视频免费观看| 99热99草97| 亚州操操| 激情久久综合网| 少妇综合网| 国产成人网站在线观看| 日韩黄在免| 狠狠狠狠青草| 婷婷色五月激情强奸四射| 色优久久| 婷婷五月婷婷| 欧美日本韩国亚洲| 五月激情婷婷综合| 五月天婷婷Av| 欧美99热| 思思热久久艹| 狠狠狠狠狠| 97婷婷久久丁香| 亚洲AV网站| 日本操逼九九九九58日本操逼| 一月婷婷色色| 九九爱精品网站| www.久久爱.com| 婷婷趴趴| 99re鈥哸鈥唙| 九九色婷婷五月天| 丁香五月婷婷成人综合| 无码人妻激情| 五月婷免费视频| 日韩一区二区在线播放| 婷婷色在线视频| 亚洲第一成人无码A片| 五月 成人 婷婷| 甈你aaaaa| 亚洲五月婷婷| 六月婷婷久久| 日本视频99| 日韩婷婷| 人人干av| 五月婷婷很很色| 婷婷丁香人妻天久久| 五月婷婷之婷婷| 大香焦A∨| 丁香婷婷免费| 天天色视频| 伊人网碰碰| 九九婷婷综合| 色狠狠图片| 91精品综合久久久久久五月丁香| 爱久久小说下载网| 丁香五月大片| 最近中文字幕大全免费版在线| 欧美久热| 99re热视频这里只有综合亚洲| 五月丁香成人网| 激情综合五月天| aaaaa不卡| 精品成人在线观看| 久草视频一,二三四| 色情成人五月天| 黄色AAAA韩国guochansanji | 77799热| 狠狠色大香蕉| 大香蕉狼人久久| 五月花综合视频| 五月J香蕉婷婷| 人人人人人人人人人草| WWW.久久.COM| 五月开心深深爱激情综合| 91色在线/日韩| 亲子乱AV-区二区三区| 亚洲九九99精品视频在线播放| 人人操AV| 狠狠色 综合色区| 日韩无码AV电影网站| 丁香五月天色| 欧美精品在线观看| 丁香六月欧美| 开心色色五月天综合| 日韩av网址大全| 91婷婷丁香五月亚洲| 久久 视频这里只有精总| 婷婷91| 26UUU亚洲欧美| 六月丁花香啪啪激情欧美| 九九在线免费观看| 操人精品| 97人人干人人操| 五月天另类综合网| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | 成人免费网站免费看| 色婷婷六月丁香综合欲精品| 六月婷婷九月丁香| 五月间天堂综合| 久久小说| 综合色综合| 五月天亭亭俺也| WWW99热| 精品网站:999WWW| 做爰丰满少妇1313| 久久精品国产色| 不卡在线视频| 91狠狠色丁香婷婷综合久久| 久久 婷婷 五月天| 五月开心久久| 婷婷五月天奸女| 色婷婷综合网| dingxiangtingtingliuyue| 色情五月天导航| 日本高清久久| 六月综合在线| 久1色色| 丁香五月激情五月| 玖玖99免费视频| 五月天色婷婷av| 大香蕉狠狠爱主页| 成人在线观看精品| 狠狠草狠狠草| 久久婷婷视频| 91久久电影| 蜜桃成语时李时珍 免费| 激情影院免费视频婷婷五月天| 拍色综合| 亚洲国产精品VA在线看黑人| 婷婷综合网| 国产精品久久久99视频| 久婷婷五月天影院| 99re在线观看| 国产9色在线/日韩| 99精品热视频只有精品10| AV操一操| 五月天婷婷在线AN| 免费视频无码| 婷婷综合五月天亚洲综合| 亚洲精品网站色视频| 极品人妻VIDEOSSS人妻| 91日本在线观看| 亚洲俩性性爱图片久久第六页| 久久一级片| 操碰色一区就去操| 婷婷五月天狠狠色| 五月丁香色六月激情干大屄| 婷婷色丁香五月| 97碰碰人人| 婷婷五月天久久| 精品色色网| 91色色色18| 九九精品少妇| 久久性爱激情| 另类图片五月天婷婷| 亚洲亚洲人成综合网络| 丁香六月激情| 日产精品一线二线三线芒果| 99热这里| 狠狠干狠狠干| 在线观看免费视频| 免费视频WWW在线观看网站| AAAA网站| 开心色播色五月婷婷| 国产激情av| 91精品啪| 欧美日韩国产一区| 97电影99热| 少妇性按摩无码中文A片| 成人版视频在线观看| 激情丁香五月天| 五月丁香啪啪啪免费看| 亚洲狠狠爱婷婷| 丰满少妇猛烈A片免费看观看| 狠狠干五月天| 麻豆AV一区二区三区| 天天干夜晚夜操| 天天干天天操天天爽| 午夜激情婷婷| 欧美大奶熟女噜噜噜噜| 亚洲第一黄网| 欧美丁香婷婷天天操| 激情AV| 中美月韩免费A片| 久久精品99久久| 成人亚洲精品| 丁香五月天导航| 五月份婷婷| 99久久黄色顶级视频| 久久色频| 久久婷婷五月天蜜桃| 4399人妻无码久久久| 26UUU欧美激情一区二区| 色99日韩| 午夜不卡成人一区二区| 亚洲激情免费视频观看| 超碰操网| 亚洲乱码日产精品BD| 色五月婷婷在线观看第一页舔| 丁香五月成人社区| 热91久| 色婷婷AV在线观看| 7777精品伊人久久久大香线蕉最新版| 丁香六月情| 俺也去色| 加勒比日本一区二区三区| 五月丁香激情四射综合| 丁香花五月天| 91视频一起草| 九月丁香久久网| 五月天基地| 天天干天天操天天射| 色色五月天激情| xxx综合在线| 国产亚洲色婷婷久久99精品91| 丁香五月婷婷激情网| 丁香婷婷色五月| 丁香伍月婷电影全集| 中文字幕,综合,91| 99色播| 超碰人人操| 人与禽A片啪啪| 色天堂97| 欧美天天干天天草| www.色9| 六月丁香av| 免费观看欧美成人AA片爱我多深| 亚洲一区国产传媒| 中文字幕色色| 五月天婷婷久久| 精品九九久久| 九色七七| 五月六月婷婷| www.色五月| www.射伊蕉婷婷| 人人爽人人爽人人爽人人爽| 色激情综合| 欧洲色| 香蕉网久久| 亚洲五月婷婷在线| 97色碰| 婷婷五月丁香色综合| 五月婷婷免费在线观看| 欧美色频| 91碰碰碰| 九九色色网| 久久综合婷婷| 一级AV片| 亚洲天堂亚洲色色色| 亚洲秘 无码一区二区三区妃光/1| 欧美大片免费观看| 91精品丝袜久久久久久久久粉嫩| 中文字幕日韩无码制服诱或| 五月婷婷成人| 中文字幕在线免费观看视频| 五月丁香久人妻中文| 国产亚洲av片| 噜噜网免费视频| 色五月丁香com| 天天插天天狠| 99在线观看这里都是精品| 五月色婷婷中文字幕| 色五月自偷自拍婷婷婷婷| 天天插天天| 日本欧美成人片AAAA | 99在线精品观看99| 婷婷操逼| 亚洲乱码w在线观看| 热婷婷av| 激情欧美丁香五月| 无码一级片| 性生活视频98791| 天海翼中文字幕高| 天天爽夜夜爽天天爽夜夜爽| 色 色 色综合com| 操操综合网婷婷| 婷婷五月丁香在线观看| 欧美日韩中文国产一区发布| 六月婷婷色五月| 香蕉久久av一区二区三区| 日韩超碰在线| 99综合在线| 91日婷婷在线| 色色com| 97人人干| 很操日本7| 人人爱人人草| 在线另类视频| 俺去也五月| 亚洲精品视频在线播放| 精品久久人妻| 狠狠干激情五月| 一本色综合色| 性爱电影科技贸易有限公司| 玖玖色综合色| 亚洲aV写真天天综合网久久| 色色影院黄大片| 成人免费在线电影| 99久久婷| 操一区| 五月的婷婷六月丁香| 亚洲六月色| 五月色天情| 五月色婷婷影院| 99色在线| 久热这里只有精品66| 色99欧洲色19| 久色资源| 91超碰人人操| 五月婷六月丁香| 亚洲五月天色色| 日日干天天爽| www色婷婷com| 婷色五月天| 婷婷八月激情| 婷婷丁香五月天综合激情| 色情五月婷婷| 色色99色色| 天堂美国久久| 欧美婷婷五月丁香| 日操夜撸| www.久99| 日本久久婷| 色婷婷WWW| 色天堂婷婷| 色婷婷的五月天| 成久综合视频| 婷婷99丁香| 五月丁香色情| 这里只有精品无码| 影音先锋 91工厂| 欧美A片在线视频免费观看| www.色擼擼.com| 婷婷五月丁香基地在线视频官网| 91/九色黑人| 天天拍天天操| 欧美综合激情五月天| 久草婷婷网| 九九成人| 26uuu欧美亚洲日韩| 五月婷婷色白丝| 丁香五月综合| 丁香婷婷五月色成人网站| 97色色色色色色色| 停停五月色宗合| 99热这里只有精品8| 婷婷色Av| 狠狠久久婷五月综合色| 九九久久综合| 九热电影av| 久热一区| 男妓跪趴把舌头伸进我的嘴巴| 色综合色色| 思思色综合网站| 五月Huangsewang| 中美日韩成人在线| 亚洲天堂久久| 亚洲色碰| 五月天色婷婷小说| 永久无码色| 亚洲视频无| 九九色网专区| 香蕉久久国产AV一区二区| 久色欧美| 五月激情网络| 人妻熟妇六区| 激情綜合網址| 美国不卡视频| 无码碰碰| 亚洲无码性爱| 2017狠狠干| 99热在这里只有精品| 亚洲五月天狠狠| 婷婷六月色丁香视频在线观看| A片一曲| 激情视频91| 亚洲综合色成丁香五月色| 丁香五月欧美成人| 色婷婷狠狠18| 精品久久这里热66| 这里只有精彩亚洲视频推荐| 狠狠五月天激情| 五月天婷婷色播在线网| 婷婷五月天色网久| 婷婷综合av| 97精品自拍视频| 国产九九一区二区三区| 99热在线资源| 色综合久久天天综合网| 成人午夜无码视频| 色色色五月婷| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 亚洲最大五月六月丁香婷婷| 四虎婷婷五月天| 超碰人人超碰| 97精品欧美91久久久久久久| 成人精品在线| 啪啪五月综合| 五月丁香婷婷综合久久| av操B网站| 婷婷激情97| 91视频久久久| AV中文在线| 国在线激情网| 亭亭丁香aV| 六月婷婷影院| 色五月婷婷九月| 综合AV在线| 五月丁香啪啪网| 婷婷五月综合激情免费| 99久久网站| 日韩成人电影在线播放| 色婷婷久久| 夜夜夜夜夜操| 亚洲午夜一区二区| 97香蕉久久超级碰碰高清版| 人人操AV| 综合五月丁香97| 色五月天.con| 五月成人综合| 97福利视频| 亚洲熟妇AV乱码在线观看| 91精品视频男人的天堂| 亚洲人妻AV| 亚洲五月天婷婷综合| 99热这里只有是亚洲国产| 色色婷婷丁香五月天| 五月天色婷婷网| 色婷婷狠狠| 久草热在线视频| av婷婷丁香| 婷婷色综合| 婷婷丁香在线播放| 丁香六月色婷婷| 五月激情六月综合| 亚洲最大激情无码| 中文AV网| 97人妻碰碰碰碰碰久久久久久| 色婷婷AAA| 久久在线视频免费观看| 久久综合播放| 六月天六月婷| 激情小说五月天| WWW.国产| 无码人妻激情| 播四月婷婷六月丁香| 色婷婷五月天综合网| 久久精热| 超碰在线观看三级片| 9久久精品视频| 狠狠人妻久久久久久综合丁香| 九九九九中文字幕| 婷婷五月天伊人在线| 人人妻久久妻| 天天狠狠综合精区| 五月丁香激情片| 五月天伊人综合| 久久五月网| 亚洲黄色影视| 五月婷婷天堂| 激情综合网色播五月| 婷婷五月在线观看| 人人叉久| 思思99精品视频在线观看| 丁香五月手机在线| 99国产精品久久久久久久久久久 | renre人人操国产超碰在线| 性色婷婷| 丁香五月婷婷亚洲另类| 天天日婷婷| 91碰碰碰| 激情五月丁香婷婷夜夜操| 五月天婷婷色| 色婷综合| 婷婷五月天中文字幕.| www夜夜| 国产精品人成A片一区二区| 婷婷99狠狠躁天天| 色色色色av色色色色| 天天综合天综合久久网| 五月天婷婷丁香视频| www.激情| 五月天色五月天| 婷婷五月天激情网| wwW天天干| 99久在线精品99re8| www99精品日韩| 激情深爱婷婷网| 五月丁香激情综合| 玖玖99精品视频| 日韩啊啊啊| 亚洲天堂亚洲色色色| 涩五月婷婷| 婷婷九月丁香| 狠狠色色综合| 任你爽精品免费视频6| 日本一级一片免费视频| 999热在线视频| 爆乳熟妇一区二区三区爆乳| 婷婷五月天日日日干干干| 五月丁香婷婷色| www.天天干.com| 色五月婷婷五月天| 久色中文| 丁香情色五月| 亚洲视频99| 激情五月天婷婷播播久久综合91| 天天日夜夜帕| 91激情五月开心| www.精品99| 综合色久| 99热无码首页| h亚洲| 色婷网| 色综合色欲综合天天免费| 亚洲狠狠终合停停终合| 五月丁香亚洲综合网| 欧洲电影在线观看免费版英语版 | 亚洲色99| 日韩99色| 91免费试看| 精品少妇蜜臀91| 99caobi| 99热九九在线| 亚洲精品九九| 婷婷亚洲五月色综合| 超级97碰碰| 99色性爰网络| 超碰无码318604| www.色婷婷| 99热九九在线| 日本97在线视频| 婷婷久久久| 色五月婷婷影院| www.超碰在线| 婷婷丁香91综合| 久久久久久天天日天天爱| 国产精品国产成人国产三级| 久久人妻www| 欧美 日韩 成人| 五月天色五月| 夜夜干夜夜操| 天天色图| 色色色免费视频| 九九99九九99| tingtingcaobi| 伊人久久大香网| 91av色色乱视频| 五月丁香五月综合欧美| 九九热这里只有精品9| 99热很操老逼| www色色com| www.av视频xx999.com| 潮汕成人AV片在线| 色婷婷久久综合| 久色国产| 婷婷五六月丁香| 超碰永久在线| 六月婷婷五月丁香| 激情五月丁香激情综合网 | 五月婷婷亚洲天堂激情在线| 国产免费av网站| 色婷婷狠狠| 妻久久人久久| 色欲影香| 俺也去五月婷婷丁| 色操b| 99热99成人| 色色丁香色五月| 丁香五月天啪啪| 丁香五月另类色婷婷麻豆| 97人妻碰碰碰久久香蕉| 亚洲无码影音| 日韩精品一品二区三区的使用体验| 丁香五月天五码婷婷| 91性人人| 欧美熟女视频 色婷婷| 五月婷婷综合网| www.婷婷五月| 天天色天天干天天插| 五月婷婷色色| 91碰碰视频| 狠狠爱综合网| 五月婷av| 婷婷五月大香蕉| 九九亚洲小视频| 久久这里只有国产| 色色色婷婷五月天| 色婷婷777狠狠| 色九九一二| 婷婷九月久久| 91夫妻网站九色| 国产99视频永久免费| 婷婷综合97| 就爱日五月天| 欧美天堂婷婷日韩| 国产欧美精品AAAAAA片| 五月丁香六月婷综合成人综合| 中文字幕黄色片| 色导航色婷婷五月天在线观看| 五月天在线视频尤物视频在线看| 天天日夜夜草进麻麻的子宫| 天天成人综合| 久久五月婷婷视频| www.色五月| 91久久精品国产91性色TV| www.五月天| 精品久热| 99色色网| 天天搞天天爽| 五月天狠狠色| 九月色婷婷综合| 91久久色| 成人va视频| 日本久久性| 久久激情综合| 这里只有精品免费视频| 色欲天天综合网| 欧美丰满熟妇BBB久久久| 丰满少妇乱A片无码| 久青操| 成人电影一区| 五月停亭六月,六月停亭的英语 | 五月天婷婷激情在线色图| 欧美婷婷六月丁香综合色| 成人综合AV| 九九色中文| 九九成人精品| 亚洲成人人人操| 噜噜色婷婷| 思思 热 99| 亚洲婷婷欧美婷婷| 九九九九国产| 深爱五月婷婷| 疯狂做受XXXX高潮A片动画| 激情五月婷婷老师| 伊人玖玖婷婷| 久久婷婷网站| 色色色婷| 五月丁香亭亭AV女优| 色99最新网址| 任你爽在线视频| 欧美日韩国产一区二区| 97人人操人人爽| 久九色| 婷婷五月俺要去| 九九视频这里有精品| 五月丁香啪啪激情| 婷婷激情五月综合丁香社| 久久999久久999久久999久久| 夜夜谢天天干| 激情狠狠丁香月| 丁香五月成人婷婷| 激情久久久久久| 亚洲亚洲人成综合网络| 大香网伊人久久综合| 亚洲人妻av伦理| 大香蕉伊然在亚洲90| 色婷婷色| 亚洲美女高潮久久久久久69| 五月丁香六月色婷婷| 六月婷婷八月丁香| 五月开心久久| 六月天婷婷| 男人的天堂99| 激情五月天综合网站网站网站| 色色丁香| 六月激情婷婷综合| 婷婷六月丁香久| 99这里只有精品|v| 亚洲亚洲人成综合网络| 婷婷五月天亚洲综合| 五月天婷婷激情四射综合| 99热这里只有精品268| 亚洲第79页| 国产精品电影网| 激情综合网激情五月婷婷| 国产午夜成人AV在线播放| 一级黄在线| 99re热精品视频国| 亭亭玉立国色天香| 天天天天天天操| 欧亚成人A片一区二区| 婷婷操无码| 狠狠色婷婷在线| 婷婷内射视频在线| 丁香激情六月天婷婷| 九九免费视频在线| www.91.com黄| 色婷婷播放| 色99自拍| 久久99性爱| 色色欧美色色色| 丁香五月激情啪啪| 亚洲夜五月| 日操夜撸| 色五月成人| 欧洲色色| 26uuu青青| 亚洲色优| 99久久偷拍视频| 五月五丁香婷婷| 亚洲黄色影视| 国产白丝在线一区| 久久九九婷婷| 5月婷婷五月天| 国产日比| 九九re视频在线视频| 天天综合五月| 人妻少妇色综合| 综合婷婷| 丝袜人妻| 热久久视频99| 亚洲精品午夜国产va久久成人| 99热亚洲精品| 热99热9| 激情涩播| www色中色综合| 日本性激情色播| 亚洲狠狠爱婷婷| 综合性爱网| 久久五月婷婷丁香| 久久与婷婷| 九九婷婷综合| 丁香九月综合| 色婷丁香| 婷婷丁香在线| 中文字幕AV在线播放| 五月丁香婷色| 国产做爰视频免费播放| 国产性爱一级| 国内婷婷丁香社区在线播放| 丁香六月天| 99久久思思| 色五月噜噜| AV激情五月| 九九在线精品| 激情五月综合色婷婷| 婷婷五月丁香五月丁香| 国自产拍偷拍精品啪啪一区二区| 激情五月丁香在线观看直播| www五月婷婷88导航| 日韩操逼小电影| 丰满少妇猛烈A片免费看观看| 天天色,天天操,天天射| 丁香五月电影| 婷婷成人五月天一区| 久操热| 无语停婷丁香网| 五月丁香直播| 丁香五月成人社区| ...婷婷国产成人亚洲日韩| 亚洲V国产V欧美V久久久久久| 思思热再线视频| 狠干综合| 五月丁香六月激情在线| 9久久久久久久久久久| 五月天开心网| 丁香婷在线| 日韩丁香涩| 色性日本| 丁香六月婷婷色播| 色爱五月天| 久久久婷婷五月天| 开心五月网| 97色在线视频| 色五月激情五月| 天天草天天日| 97色永久免费视频| 国产激情久久| 欧美丁香婷婷五月| 激情黄色小说色五月| 久久hd| 丁香五色月婷婷网| 狠狠操狠狠| 六月丁香综合| 色婷婷成人做爰A片免费看网站| 久久最新色色色| 亚洲99热| 996热re视频精品视频| 色婷婷五月基地在线| 色婷婷aV四虎| 亚洲成人av在线| 婷婷久久婷婷色五月| 激情图片五月天| 亚洲情a| 丁香五月在线人妻| 五月天激情日色在线| www.夜夜.com| 丁香五月天在线观看视频| 一级精品999WWW| 亚洲婷婷视频| 亚州婷婷五月激情综合| 丁香色色色| 五月婷婷丁香瑟瑟视频| 五月天婷婷一起草| 99精品国产在热久久婷婷| 八戒青柠影视剧在线观看| 亚洲、热| 欧美日韩成人在线| 丁香久久激情俄| 欧亚洲在线高清视频| 粉嫩AV久久一区二区三区| 99精品久久久久久久婷婷久久 | 人妻久久久久久| 五月天婷婷色播在线网| 久久婷婷原创视频| 婷婷五月在线视频| 91凹凸在线| 婷婷五月丁香在线观看| 大香蕉在线99热| 香蕉综合网| 天天干天天操天天爽| 色五月激情综合| 婷婷涩五月| 九九综合色| 六月婷婷八月丁香| 啪啪操操| 美女被肏网站在线看| 色五月情| 可以看的av| 人妻在线中文字幕久久| 日日天天天| 亚洲色综合| 九月婷婷在线观看| 色啦啦视频| 人人操AV| 丁香婷婷六月天| 婷婷的久久网站| 亚洲六月综合激情久久下卡| 久热免费| 日韩AAAAA| 97超碰在线免费观看| 五月婷婷中文字幕| 99热骚货| 99碰网站| 丁香婷婷色情| 五月丁香色婷婷色| a毛片二逼wwwwwwwwww| 丁香啪啪| AV美美午夜| 五月丁香婷婷六月天| 99精品久| 超碰激情网| 亚洲综合色网| 伊人色综合网| 天天射影视综合网| 色婷婷影院| 九九这里只有精品在线视频| 五六月婷婷| 欧美人久久| 无码区婷婷五月花开| 强伦轩人妻一区二区电影| 棕合影院色色| 亚洲婷婷丁香| 六月丁香中文字幕| 熟女人妻一区二区三区免费看| 99热| 日本人妻A片成人免费看片| xx综合网| 激情六月一二| 婷婷六月综合激情| 婷婷五月色激情欧美激情| 午夜婷婷久久 | 五月丁香婷婷老司机| 日本大逼91| 久久综合色五月| 五月丁香啪。| 亚洲成人网在线观看| 九九热这里只有精品556| 婷婷色系婷色| 午夜丁香五月天综合| 99热在线播放| 日本99热| 日本一毛片| 日本九九九九| 激情五月天小说网| 精品香蕉99久久久久网站| 九九综合久久| 操逼电影免费看| 超级碰碰99| 伊人久久丁香狠狠婷婷综合香蕉| 米奇影视五月天| www一区二区三区| 激情丁香淫荡婷婷| www激情网| 91大屁股| 第五色色色婷婷| 丁香六月婷婷综合在线| 噜噜在线| 九九香蕉网| AV操逼网| 国产午夜精品一区二区三区嫩草| 天天狠天天叉| 色婷婷很很十八禁| 69久久久| 国产精品久久久久久久久久免费| 97日本在线播放| 五月婷婷色影院| 久久久噜噜噜久久人妻| 久久婷婷六月综合国际| www.99热这里精品| 黄色网址五月婷婷| 亚洲成人超碰| 色亚洲色宗合| 深爱五月天 开心网| 天天干天天日天天操| 日本在线视频www色| 婷婷99视频在线| 激情五月天。| 91色干| 婷婷五月天成人五月天| 婷婷色色欧美| 99久久6| 激情久久伊人| www.综合久久.com| 亚洲AV无码一区二| 91久久精品国产91性色TV| 三区激情四射av| 国产成人精品一区二三区熟女在线| 九九99香蕉在线视频播放| 精品人妻伦一二三区久| 丁香激情网| 综合激情婷婷| 99re66热这里只有精品| 激情五月综合| 丁香激情综合| 色综合色五月| 激婷网| 五月婷婷,六月丁香| 成人在线综合| 九九热最新地址| 99精品亚洲| 91一起操| 激情五月黄色| 99在线观看视频| 4438国产免费看| 可以免费观看的AV| 91九色|疯狂|高潮|对白|| 日日日日做夜夜夜夜无码| 九九综合网| av国产精品| 亚洲综合另类| 婷婷丁香五月亚洲| 国产67194| 北条麻妃伊人 | 99啪啪视频|