欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Agentic SFT:從“對(duì)話微調(diào)”到“智能體決策訓(xùn)練”的實(shí)戰(zhàn)指南

Agentic SFT:從“對(duì)話微調(diào)”到“智能體決策訓(xùn)練”的實(shí)戰(zhàn)指南 1. 從一次微調(diào)翻車說(shuō)起Agent場(chǎng)景下SFT為什么不夠用了前幾天我往項(xiàng)目里加Agent能力模型要能自己決定調(diào)哪個(gè)工具、傳什么參數(shù)、看結(jié)果之后決定下一步做什么。一開(kāi)始我很天真想著這不就是指令跟隨的升級(jí)版嗎把工具調(diào)用的輸入輸出整理成對(duì)話樣本跑一輪SFT就完事。結(jié)果模型確實(shí)學(xué)會(huì)了輸出“調(diào)用搜索工具”這幾個(gè)字但參數(shù)經(jīng)常傳錯(cuò)搜索完拿到結(jié)果之后完全不知道該怎么用有時(shí)候甚至在一個(gè)死循環(huán)里反復(fù)調(diào)同一個(gè)接口失敗一次就再來(lái)一次像是被困住了一樣。這個(gè)現(xiàn)象逼著我重新審視一個(gè)基礎(chǔ)問(wèn)題我們平時(shí)說(shuō)的SFT在Agent場(chǎng)景下到底在訓(xùn)練什么傳統(tǒng)SFT的樣本長(zhǎng)這樣用戶問(wèn)“北京的天氣怎么樣”模型答“北京今天晴22度”。一個(gè)輸入一個(gè)輸出答案就結(jié)束了。但在Agent場(chǎng)景里一個(gè)樣本是一條完整的軌跡用戶提出目標(biāo)模型決定先搜索搜索返回結(jié)果模型分析結(jié)果發(fā)現(xiàn)不夠還要再調(diào)用一個(gè)天氣API拿到數(shù)據(jù)后匯總出最終答案。中間每一步都是決策每一步都可能錯(cuò)而且錯(cuò)誤會(huì)像滾雪球一樣累積到最終結(jié)果里。所以Agentic SFT給我的第一課就是它是監(jiān)督微調(diào)但監(jiān)督的不再是“最終的答案”而是“達(dá)成答案的整條決策路徑”。我們要教模型的不只是“該說(shuō)什么”更是“該在什么時(shí)候做什么、做完之后怎么看結(jié)果、結(jié)果不對(duì)勁怎么改”。這篇文章就是我目前對(duì)這個(gè)話題的全部認(rèn)知積累持續(xù)迭代持續(xù)記錄。我盡量寫(xiě)得直白一點(diǎn)把我踩過(guò)的坑、觀察到的現(xiàn)象、還沒(méi)想明白的問(wèn)題都說(shuō)清楚。適合正在做Agent微調(diào)、或者準(zhǔn)備把模型從“對(duì)話模型”改造成“干活模型”的同行參考。2. Agentic SFT到底在“學(xué)”什么從單輪問(wèn)答到多步?jīng)Q策2.1 輸出空間的變化模型從“寫(xiě)答案”變成“做決策”傳統(tǒng)SFT的核心假設(shè)是給定輸入最優(yōu)輸出是唯一的或者至少是高度確定的。SFT要做的就是讓模型去擬合這些輸入輸出對(duì)學(xué)一個(gè)從指令到回復(fù)的映射。Agentic SFT徹底打破了這一點(diǎn)。模型的輸出不再是一段最終回復(fù)而是一個(gè)行動(dòng)序列。它先要判斷“我現(xiàn)在要不要調(diào)用工具”然后決定“調(diào)哪個(gè)工具”再生成“符合接口規(guī)范的參數(shù)”接著閱讀“工具返回結(jié)果”最后綜合所有信息繼續(xù)下一步。這本質(zhì)上是一個(gè)決策過(guò)程而不僅僅是文本生成過(guò)程。舉個(gè)例子一個(gè)典型的Agent軌跡樣本里模型輸出通常長(zhǎng)這樣{ thought: 用戶想知道A股大盤(pán)走勢(shì)我需要先獲取指數(shù)數(shù)據(jù), action: call_tool, tool_name: get_stock_index, params: {index: sh000001, period: today} }關(guān)鍵在于模型要把“調(diào)用工具”這件事當(dāng)成一種正常的文本輸出。它并不真的去調(diào)用任何東西它只是在“生成”一段符合工具接口協(xié)議的結(jié)構(gòu)化文本然后由外層框架去實(shí)際執(zhí)行。這就有意思了我們訓(xùn)練的目標(biāo)本質(zhì)上是讓模型學(xué)會(huì)“說(shuō)人話”之外的另一種語(yǔ)言——工具協(xié)議語(yǔ)言。這就帶來(lái)一個(gè)直接后果SFT的數(shù)據(jù)不能再是簡(jiǎn)單的“問(wèn)題-答案”對(duì)而必須是“目標(biāo)-行動(dòng)-觀察-決策”的完整閉環(huán)。少了任何一環(huán)模型都學(xué)不會(huì)真正的Agent行為。2.2 監(jiān)督信號(hào)的粒度每一小步都要單獨(dú)負(fù)責(zé)傳統(tǒng)SFT里一個(gè)樣本只有一個(gè)監(jiān)督信號(hào)就是最終答案。哪怕模型在中間推理時(shí)胡說(shuō)八道只要最后答案對(duì)了loss就是小的。但Agent場(chǎng)景不一樣錯(cuò)誤會(huì)傳導(dǎo)。我后來(lái)在訓(xùn)練里用了“逐點(diǎn)監(jiān)督”per-step supervision的思路對(duì)軌跡里的每一步分別計(jì)算loss而不是只在最終答案上算loss。具體來(lái)說(shuō)一條軌跡可以拆成多個(gè)訓(xùn)練單元單元一用戶說(shuō)目標(biāo)期望模型輸出“思考調(diào)用工具A”單元二工具A返回結(jié)果期望模型輸出“分析結(jié)果調(diào)用工具B”單元三工具B返回結(jié)果期望模型輸出“匯總最終答案”每一步都是獨(dú)立的監(jiān)督目標(biāo)。這樣做的好處是哪怕最終答案因?yàn)橥獠抗ぞ叩牟淮_定性失敗了模型也能學(xué)到“在這個(gè)狀態(tài)下正確的下一步應(yīng)該是做什么”。這在Agent場(chǎng)景里非常重要因?yàn)楣ぞ邎?zhí)行可能失敗但模型對(duì)于“該調(diào)用哪個(gè)工具”的判斷仍然是有監(jiān)督價(jià)值的。2.3 為什么說(shuō)“會(huì)背答案”不等于“會(huì)用工具”剛跑完第一輪Agentic SFT的時(shí)候我測(cè)了幾個(gè)訓(xùn)練集里的用例表現(xiàn)非常好工具調(diào)用規(guī)范、參數(shù)準(zhǔn)確、多步規(guī)劃也有模有樣。但換到全新的任務(wù)上立馬露餡。后來(lái)我意識(shí)到一個(gè)本質(zhì)問(wèn)題模型在傳統(tǒng)SFT里學(xué)了太多“從問(wèn)題直接到答案”的捷徑。對(duì)Chat模型來(lái)說(shuō)這是優(yōu)點(diǎn)因?yàn)樗芨咝Щ卮?。但?duì)Agent來(lái)說(shuō)這個(gè)先驗(yàn)反而是阻力。模型傾向于自以為是地直接輸出答案而不是先想一想“我需要哪些信息、哪些信息我沒(méi)有、我需要調(diào)用什么工具來(lái)獲取”。我一度以為是數(shù)據(jù)量不夠加了幾千條樣例之后問(wèn)題依然存在。直到我對(duì)比了訓(xùn)練集和評(píng)測(cè)集的分布才發(fā)現(xiàn)模型學(xué)到的是“看到相似的問(wèn)法就模仿相似的軌跡”它并沒(méi)有真正學(xué)到“工具調(diào)用是一個(gè)為了彌補(bǔ)自身知識(shí)不足而采取的手段”。這個(gè)認(rèn)知讓我后來(lái)在設(shè)計(jì)數(shù)據(jù)時(shí)刻意加入了大量“模型不調(diào)用工具就會(huì)答錯(cuò)”的樣例逼迫模型學(xué)會(huì)依賴工具。效果有提升但離真正的泛化還有距離。3. 數(shù)據(jù)為王Agentic SFT的訓(xùn)練數(shù)據(jù)到底怎么造3.1 軌跡數(shù)據(jù)的三種形態(tài)Agentic SFT的數(shù)據(jù)不是天上掉下來(lái)的。目前常見(jiàn)的獲取方式有三種我分別試過(guò)感受很不一樣。第一種人工構(gòu)造軌跡。找?guī)讉€(gè)核心業(yè)務(wù)場(chǎng)景自己模擬Agent的行為手工寫(xiě)完整的多輪軌跡。優(yōu)點(diǎn)是質(zhì)量可控每條數(shù)據(jù)都符合我們想要的Agent行為范式缺點(diǎn)也明顯慢、貴、覆蓋場(chǎng)景有限。適合冷啟動(dòng)不適合撐起大規(guī)模訓(xùn)練。第二種從真實(shí)系統(tǒng)日志里扒軌跡。如果你的Agent已經(jīng)上線跑了一段時(shí)間日志里本身就是大量真實(shí)軌跡。把這部分日志清洗、過(guò)濾挑出高質(zhì)量的會(huì)話記錄下來(lái)直接當(dāng)作訓(xùn)練數(shù)據(jù)。這個(gè)數(shù)據(jù)源最貼近真實(shí)分布但問(wèn)題在于日志里優(yōu)質(zhì)軌跡的比例往往不高需要大量過(guò)濾和重寫(xiě)。而且日志里很多軌跡是帶有外部狀態(tài)依賴的清洗的時(shí)候要額外小心。第三種用更強(qiáng)的模型蒸餾。把任務(wù)描述扔給一個(gè)能力更強(qiáng)的模型讓它扮演Agent生成軌跡然后拿這些軌跡來(lái)訓(xùn)練小模型。這是目前實(shí)踐中最常用、也最容易規(guī)?;囊粭l路。但本質(zhì)上蒸餾是在“壓縮教師模型的行為模式”如果教師模型本身就是錯(cuò)的學(xué)生模型只會(huì)錯(cuò)得更穩(wěn)定。3.2 數(shù)據(jù)里的信號(hào)密度比總量更重要的事我在實(shí)驗(yàn)里發(fā)現(xiàn)一個(gè)反直覺(jué)的結(jié)論Agentic SFT的數(shù)據(jù)量提升帶來(lái)的收益會(huì)迅速進(jìn)入平臺(tái)期但數(shù)據(jù)里的“信號(hào)密度”卻始終顯著影響效果。什么叫信號(hào)密度就是一條軌跡里包含的“關(guān)鍵決策點(diǎn)”的數(shù)量和多樣性。同樣是3000條數(shù)據(jù)如果每條都只有一個(gè)工具調(diào)用、一個(gè)觀察、一個(gè)最終答案模型能學(xué)到的東西非常有限。但如果里面有大量需要三次以上工具調(diào)用、或者中間出現(xiàn)工具失敗和恢復(fù)的軌跡模型的Agent能力會(huì)有質(zhì)的提升。所以我后來(lái)造數(shù)據(jù)時(shí)重點(diǎn)盯這幾個(gè)信號(hào)多步依賴第二個(gè)工具的調(diào)用參數(shù)依賴第一個(gè)工具的輸出而不是獨(dú)立的兩次調(diào)用拼在一起。這類數(shù)據(jù)教會(huì)模型“信息流轉(zhuǎn)”。失敗恢復(fù)工具返回了錯(cuò)誤碼模型需要判斷是換參數(shù)重試還是換工具。這類數(shù)據(jù)教會(huì)模型“容錯(cuò)”。中途改計(jì)劃拿到工具返回后發(fā)現(xiàn)和最初的設(shè)想不一致模型需要基于新信息調(diào)整后續(xù)步驟。這類數(shù)據(jù)教會(huì)模型“plan revision”。拒絕調(diào)用的場(chǎng)景用戶問(wèn)了一個(gè)模型已能回答的問(wèn)題期望模型直接回答而不是非要去調(diào)工具。這類數(shù)據(jù)教會(huì)模型“何時(shí)不應(yīng)該調(diào)用工具”。最后這一點(diǎn)經(jīng)常被忽略。很多團(tuán)隊(duì)造數(shù)據(jù)時(shí)無(wú)限強(qiáng)調(diào)工具調(diào)用結(jié)果模型變成了一個(gè)“調(diào)用工具強(qiáng)迫癥”連“今天星期幾”這種問(wèn)題都要先調(diào)一下日歷API再回答。效率和成本都繃不住。3.3 構(gòu)造數(shù)據(jù)時(shí)我用到的具體配方以我目前在做的客服Agent為例我整理了一套比較實(shí)用的數(shù)據(jù)構(gòu)造流程從歷史工單里挑出100個(gè)高頻場(chǎng)景作為數(shù)據(jù)構(gòu)造的“骨架”對(duì)每個(gè)場(chǎng)景設(shè)計(jì)2到3種不同路徑一條最短路徑、一條帶糾錯(cuò)的路徑、一條需要換工具的路徑人工編寫(xiě)前50條作為質(zhì)量錨點(diǎn)確保風(fēng)格一致把剩余場(chǎng)景交給教師模型批量蒸餾生成后逐條人工審核在最終數(shù)據(jù)集里控制比例多步軌跡不低于40%失敗恢復(fù)軌跡不低于20%單步軌跡控制在30%以下所有工具調(diào)用的參數(shù)值都做隨機(jī)池化防止模型過(guò)擬合具體的參數(shù)字面量這套流程跑下來(lái)的數(shù)據(jù)集規(guī)模也就一萬(wàn)多條但訓(xùn)練出來(lái)的Agent在評(píng)測(cè)集上的表現(xiàn)比我之前用五萬(wàn)條粗糙數(shù)據(jù)訓(xùn)練出來(lái)的結(jié)果要好不少。信號(hào)密度確實(shí)比總量更重要。4. 訓(xùn)練細(xì)節(jié)里藏著魔鬼Loss設(shè)計(jì)與序列建模的取舍4.1 不是所有token都值得同等的監(jiān)督第一版訓(xùn)練我直接把整條對(duì)話歷史拼成一個(gè)序列當(dāng)成普通SFT去fine-tune了。結(jié)果是loss掉得很漂亮但模型行為完全不對(duì)。后來(lái)我才意識(shí)到在Agent軌跡里不同類型的文本監(jiān)督價(jià)值完全不同。用戶指令、工具返回結(jié)果、歷史觀察記錄——這些是模型需要“閱讀”的上下文不應(yīng)該參與loss計(jì)算。模型真正需要學(xué)習(xí)生成的是它的思考、工具調(diào)用指令和最終回復(fù)。如果這部分輸入文本也參與了loss模型會(huì)把大量容量浪費(fèi)在“模仿工具返回格式”這種無(wú)用功上真正要被訓(xùn)練的部分反而被稀釋了。所以第一件事就是加mask。在訓(xùn)練時(shí)把用戶消息、工具返回、系統(tǒng)提示這些部分全部mask掉只對(duì)模型自身生成的token計(jì)算loss。def build_agent_sample(conversation): conversation: List[Dict], 每條記錄包含 role 和 content role 包括 system / user / assistant / tool_result 只對(duì) assistant 的文本計(jì)算 loss其余部分 masked input_ids, labels [], [] for msg in conversation: tokens tokenizer.encode(msg[content]) input_ids.extend(tokens) if msg[role] assistant: labels.extend(tokens) # 參與 loss else: labels.extend([-100] * len(tokens)) # 不參與 loss return input_ids, labels4.2 對(duì)“動(dòng)作關(guān)鍵幀”施加更高的權(quán)重即使是在assistant生成的文本內(nèi)部不同內(nèi)容的重要性也不一樣。思考過(guò)程是軟性的就算措辭不太對(duì)意思到了就行。但工具調(diào)用的參數(shù)是硬性的參數(shù)值一旦錯(cuò)了后面全盤(pán)崩潰。我在實(shí)驗(yàn)里做過(guò)一個(gè)調(diào)整對(duì)工具調(diào)用相關(guān)的token特別是參數(shù)值、函數(shù)名額外提高loss權(quán)重比如乘以2.0。這樣模型會(huì)把更多學(xué)習(xí)容量分配到“準(zhǔn)確生成工具指令”這個(gè)關(guān)鍵行為上。從效果來(lái)看工具調(diào)用的格式正確率有明顯提升而思考部分的質(zhì)量并沒(méi)有因此變差。順帶說(shuō)一句有人會(huì)糾結(jié)要不要給“思考”部分也降低權(quán)重我覺(jué)得不用太極端。思考措辭的質(zhì)量高低對(duì)后續(xù)行為的影響是隱性的保持正常的訓(xùn)練權(quán)重即可重點(diǎn)還是要把工具調(diào)用部分突出出來(lái)。4.3 序列打包的細(xì)節(jié)坑Agent軌跡天然比普通對(duì)話要長(zhǎng)。一條多輪工具調(diào)用軌跡算上所有工具返回結(jié)果動(dòng)輒三四千token。訓(xùn)練時(shí)如果處理不當(dāng)會(huì)遇到兩個(gè)典型問(wèn)題。第一個(gè)問(wèn)題是超長(zhǎng)序列截?cái)?。粗暴截?cái)鄷?huì)把中間的決策上下文切斷模型看到的是前后文不搭的輸入能學(xué)到個(gè)啥。我的做法是滑動(dòng)窗口切分把長(zhǎng)軌跡切成多個(gè)有重疊的窗口保證每個(gè)窗口里都至少包含一個(gè)完整的工具調(diào)用決策段。第二個(gè)問(wèn)題是短軌跡拼接。為了提升訓(xùn)練效率很多框架會(huì)把多段短文本packing到一起。但如果packing不當(dāng)可能會(huì)導(dǎo)致模型跨樣本學(xué)習(xí)本來(lái)不相干的兩段軌跡被模型強(qiáng)行關(guān)聯(lián)。我的處理方式是在packing時(shí)加入分隔符并在計(jì)算attention時(shí)把跨樣本的部分mask掉。如果框架不支持這種mask就干脆不packing單條樣本訓(xùn)練雖然慢一點(diǎn)但穩(wěn)。4.4 超參數(shù)配置的一個(gè)參考基準(zhǔn)我目前的Agentic SFT跑得比較順的超參配置大致是這樣的超參數(shù)值說(shuō)明基礎(chǔ)學(xué)習(xí)率5e-6Agent軌跡訓(xùn)練容易過(guò)擬合務(wù)必用低學(xué)習(xí)率warmup比例3%太少容易前期震蕩太多會(huì)拖慢收斂epoch2超過(guò)2輪loss還在降但評(píng)測(cè)效果開(kāi)始倒退batch size32每條樣本較長(zhǎng)顯存受限時(shí)先用梯度累積工具調(diào)用token權(quán)重2.0突出關(guān)鍵動(dòng)作幀對(duì)話歷史mask開(kāi)啟輸入側(cè)全部不限參與loss這個(gè)配置不一定通用但可以作為起步基準(zhǔn)。我個(gè)人強(qiáng)烈建議從低學(xué)習(xí)率開(kāi)始因?yàn)锳gent軌跡數(shù)據(jù)通常是高度重復(fù)的同樣的工具調(diào)用格式會(huì)反復(fù)出現(xiàn)學(xué)習(xí)率稍微高一點(diǎn)模型就會(huì)開(kāi)始原地打轉(zhuǎn)訓(xùn)練集上的行為非常華麗測(cè)試集上一塌糊涂。5. 評(píng)測(cè)Agentic SFT只看成功率遠(yuǎn)遠(yuǎn)不夠5.1 你測(cè)的到底是“模型的能力”還是“任務(wù)的運(yùn)氣”我一開(kāi)始評(píng)測(cè)Agent效果就盯著一個(gè)指標(biāo)端到端任務(wù)成功率。后來(lái)發(fā)現(xiàn)這個(gè)指標(biāo)單獨(dú)看非常騙人。舉一個(gè)具體的現(xiàn)象。給模型布置一個(gè)“查詢訂單狀態(tài)”的任務(wù)如果最終答對(duì)了我以為是Agent能力好。但翻日志發(fā)現(xiàn)模型第一次調(diào)工具就把訂單ID傳錯(cuò)了工具返回錯(cuò)誤模型居然把錯(cuò)誤信息原樣搬進(jìn)了最終回復(fù)里而用戶恰好能從那段錯(cuò)誤信息里看到訂單狀態(tài)——外部工具的錯(cuò)誤返回“湊巧”包含了正確信息。這種情況下標(biāo)注“成功”會(huì)嚴(yán)重高估模型的真實(shí)Agent能力。所以我現(xiàn)在評(píng)測(cè)時(shí)把成功率拆成多個(gè)維度來(lái)觀察格式合規(guī)率模型輸出的工具調(diào)用是否符合接口規(guī)范是不是每次都能解析出合法的工具名和參數(shù)動(dòng)作正確率在當(dāng)前狀態(tài)下模型選擇的工具是否是合理的工具參數(shù)是否準(zhǔn)確地表達(dá)了用戶意圖信息利用率模型在生成最終回復(fù)時(shí)是否真的用上了工具返回結(jié)果中的關(guān)鍵字段失敗恢復(fù)率工具調(diào)用失敗后模型是選擇了合理的重試/替代方案還是直接擺爛最終任務(wù)成功率整個(gè)流程最終是否解決了問(wèn)題只有這五個(gè)指標(biāo)一起看才能定位所謂的“成功”到底靠的是模型能力還是運(yùn)氣。5.2 構(gòu)建評(píng)測(cè)集的坑不要讓訓(xùn)練數(shù)據(jù)污染評(píng)測(cè)結(jié)果這個(gè)坑我印象太深了。有一次我從同樣的業(yè)務(wù)場(chǎng)景里分別抽訓(xùn)練集和評(píng)測(cè)集只是換了些具體的參數(shù)值、改了點(diǎn)措辭結(jié)果評(píng)測(cè)效果出奇地好。后來(lái)我把訓(xùn)練集和評(píng)測(cè)集的語(yǔ)義相似度算了一下發(fā)現(xiàn)好多評(píng)測(cè)用例和訓(xùn)練用例重疊度很高模型根本就是在模擬訓(xùn)練數(shù)據(jù)里的軌跡評(píng)測(cè)效果自然虛高。正確的做法是評(píng)測(cè)場(chǎng)景必須和訓(xùn)練場(chǎng)景在任務(wù)類型、工具組合、交互模式上有可見(jiàn)的差異。如果訓(xùn)練時(shí)只見(jiàn)過(guò)搜索類工具的調(diào)用評(píng)測(cè)時(shí)就應(yīng)該補(bǔ)充一些調(diào)用計(jì)算器、調(diào)用數(shù)據(jù)庫(kù)查詢接口的場(chǎng)景。另外不要用同一個(gè)Agent框架里的同一條軌跡生成器既產(chǎn)訓(xùn)練數(shù)據(jù)又產(chǎn)評(píng)測(cè)數(shù)據(jù)否則模型的“軌跡模仿”能力會(huì)被誤認(rèn)為Agent規(guī)劃能力。5.3 一個(gè)更細(xì)的做法行為軌跡對(duì)齊我現(xiàn)在在嘗試一種更細(xì)的評(píng)測(cè)方案不再只看結(jié)果而是把模型在評(píng)測(cè)任務(wù)里的完整軌跡和標(biāo)注人員預(yù)寫(xiě)的“專家軌跡”做對(duì)齊。對(duì)齊的計(jì)算方式是序列級(jí)別的編輯距離看模型需要多少步增刪改才能走到專家軌跡的路徑上。這個(gè)指標(biāo)的好處是能區(qū)分兩種看似相同的結(jié)果一種是模型直接完成任務(wù)的路徑和專家路徑一致另一種是模型繞了一大圈、東錯(cuò)西錯(cuò)、最后碰巧完成。兩者的編輯距離差異非常大。前者才是我們想要的行為模式后者說(shuō)明Agent決策質(zhì)量還有很大問(wèn)題。不過(guò)在實(shí)操中要小心一個(gè)點(diǎn)Agent任務(wù)通常有多條合理路徑專家軌跡不能只有一條。我現(xiàn)在的做法是每條評(píng)測(cè)任務(wù)預(yù)寫(xiě)2到3條不同類型的合理路徑只要模型的軌跡和其中任何一條的編輯距離較小就認(rèn)為該步行為合理。6. Agentic SFT和Agentic RAG訓(xùn)練與檢索的分工邊界6.1 Agentic RAG是什么“Agentic RAG”最近被討論得很多簡(jiǎn)單說(shuō)就是讓模型自主決定何時(shí)檢索、檢索什么、從哪個(gè)來(lái)源檢索而不是像傳統(tǒng)RAG那樣在每條用戶請(qǐng)求前面都無(wú)腦做一次向量檢索。區(qū)別于傳統(tǒng)RAG的“固定流程”Agentic RAG是模型根據(jù)問(wèn)題判斷“現(xiàn)在有沒(méi)有足夠信息來(lái)回答”沒(méi)有就去檢索檢索結(jié)果不夠再檢索一輪直到信息充足為止。我在實(shí)踐中的體會(huì)是Agentic RAG里的“Agentic決策”能力恰好就是Agentic SFT需要訓(xùn)練的那部分能力。SFT負(fù)責(zé)把“在信息不足時(shí)主動(dòng)檢索”這件事變成模型的固有能力RAG負(fù)責(zé)提供檢索的基礎(chǔ)設(shè)施和知識(shí)來(lái)源。6.2 SFT和RAG的同與不同能力底座與外部知識(shí)的邊界有人可能會(huì)覺(jué)得既然有了RAG模型不需要再通過(guò)SFT去學(xué)“事實(shí)知識(shí)”SFT就沒(méi)那么重要了。這個(gè)觀點(diǎn)對(duì)傳統(tǒng)RAG場(chǎng)景有一定道理但對(duì)Agent場(chǎng)景完全行不通。需要想清楚一個(gè)分工RAG解決的是“知識(shí)從哪里來(lái)”SFT解決的是“模型如何組織行動(dòng)”。即使查詢都用RAG來(lái)做模型依然需要通過(guò)SFT學(xué)會(huì)“如何格式化一個(gè)檢索查詢”“如何判斷當(dāng)前檢索結(jié)果是否足夠”“如何在檢索結(jié)果不足時(shí)換一種查詢思路”。這些行為模式不是RAG組件能給的而是模型自身需要具備的能力。我做過(guò)一個(gè)對(duì)比實(shí)驗(yàn)在完全相同的RAG檢索鏈路下分別用普通SFT模型和Agentic SFT模型作為控制器前者的檢索行為非常僵化只會(huì)在固定的字段位置做一次檢索而后者的多輪檢索成功率有明顯提升。所以SFT和RAG不是替代關(guān)系而是底座和插槽的關(guān)系。SFT先把“會(huì)檢索”的能力訓(xùn)練出來(lái)RAG再把這個(gè)能力接到真正的知識(shí)源上。6.3 組合使用時(shí)的訓(xùn)練建議我在把SFT和RAG組合到同一個(gè)Agent系統(tǒng)里的時(shí)候有幾個(gè)心得。第一Agentic SFT訓(xùn)練時(shí)不要脫離檢索工具去造數(shù)據(jù)。有些團(tuán)隊(duì)為了簡(jiǎn)化訓(xùn)練把RAG檢索封裝成一個(gè)純文本輸入輸出的黑盒接口只在接口里塞一段檢索結(jié)果。這樣訓(xùn)練出來(lái)的模型對(duì)“檢索結(jié)果可能不完整”“檢索結(jié)果需要二次加工”這類真實(shí)狀態(tài)缺乏感知。建議訓(xùn)練數(shù)據(jù)里的工具返回內(nèi)容盡量保留真實(shí)檢索系統(tǒng)可能產(chǎn)生的不完美狀態(tài)比如返回空結(jié)果、返回低相關(guān)片段、返回超時(shí)錯(cuò)誤讓模型見(jiàn)到真實(shí)世界的噪聲。第二RAG的檢索策略本身也需要SFT數(shù)據(jù)來(lái)覆蓋。我的數(shù)據(jù)里專門(mén)有一類樣本觸發(fā)場(chǎng)景是“第一輪檢索結(jié)果太泛、沒(méi)有命中具體信息”期望模型的行為是“基于第一次的結(jié)果改寫(xiě)檢索詞進(jìn)行第二輪更精確的檢索”。這類行為模型靠提示詞也能寫(xiě)出來(lái)但提示詞控制不穩(wěn)定的情況很多把它作為SFT訓(xùn)練樣本的效果穩(wěn)定得多。第三注意控制“檢索過(guò)快”的行為。我在評(píng)測(cè)時(shí)發(fā)現(xiàn)經(jīng)過(guò)Agentic SFT訓(xùn)練的模型有一種傾向是太容易觸發(fā)RAG檢索什么都想查一下。原因很簡(jiǎn)單訓(xùn)練數(shù)據(jù)里檢索的密度太高了模型的先驗(yàn)變成“看到任務(wù)就先檢索”。所以現(xiàn)在造數(shù)據(jù)時(shí)我會(huì)刻意加入一批“直接回答才是最優(yōu)策略”的樣本告訴模型有些問(wèn)題是可以用自身知識(shí)直接回答的。7. 踩坑實(shí)錄四類典型翻車場(chǎng)景的排查鏈路7.1 翻車一SFT之后模型變“笨”了這是很多做Agent微調(diào)的人都會(huì)遇到的事通用能力跑到Agent能力然后模型在通用任務(wù)上明顯退步。我排查下來(lái)的原因有兩個(gè)方向。第一個(gè)方向是數(shù)據(jù)配比失衡。Agentic SFT數(shù)據(jù)量過(guò)大壓縮了通用數(shù)據(jù)的比例模型把所有容量都花在了擬合工具調(diào)用上把原先學(xué)會(huì)的推理、寫(xiě)作、常識(shí)問(wèn)答技巧沖淡了。解決思路是控制Agentic SFT訓(xùn)練數(shù)據(jù)的配比上限并在訓(xùn)練時(shí)混合一批高質(zhì)量通用指令數(shù)據(jù)。我的做法是7比3的比例七成Agent軌跡數(shù)據(jù)、三成通用對(duì)話數(shù)據(jù)能壓住退化又不影響Agent能力的學(xué)習(xí)。第二個(gè)方向是學(xué)習(xí)率過(guò)高。Agent軌跡里工具調(diào)用格式是高度重復(fù)的高學(xué)習(xí)率會(huì)在極短的步數(shù)內(nèi)把“工具調(diào)用”的模式刻進(jìn)模型同時(shí)把其他能力全部覆蓋掉。把學(xué)習(xí)率降到5e-6甚至更低之后退化現(xiàn)象會(huì)明顯緩解。建議每次微調(diào)前先拿極小的驗(yàn)證集跑一個(gè)50步的實(shí)驗(yàn)觀察通用能力在訓(xùn)練過(guò)程中的變化曲線再做全量訓(xùn)練。7.2 翻車二工具調(diào)用格式像“家族遺傳病”一個(gè)讓我很頭疼的現(xiàn)象當(dāng)訓(xùn)練數(shù)據(jù)里的工具調(diào)用格式統(tǒng)一為“調(diào)用某個(gè)搜索API后將結(jié)果紋絲不動(dòng)粘貼到回答中”時(shí)模型學(xué)到的是“工具調(diào)用就是為了照抄結(jié)果”。換了業(yè)務(wù)場(chǎng)景之后模型的格式完全混亂甚至在沒(méi)有任何工具定義的場(chǎng)景里也隨機(jī)輸出一段形似工具調(diào)用的文本。排查下來(lái)問(wèn)題出在訓(xùn)練數(shù)據(jù)缺乏“對(duì)工具結(jié)果做分析”的樣本。模型只見(jiàn)過(guò)“調(diào)用后原樣搬運(yùn)結(jié)果”沒(méi)學(xué)過(guò)“調(diào)用之后結(jié)合自身理解重新組織答案”。解決方法是造數(shù)據(jù)時(shí)在同一批訓(xùn)練集里增加一類樣本其目標(biāo)行動(dòng)是“閱讀工具返回結(jié)果后提煉關(guān)鍵信息忽略無(wú)關(guān)字段再整合生成回答”。這類數(shù)據(jù)能教會(huì)模型將工具當(dāng)作信息來(lái)源而不是當(dāng)作復(fù)制粘貼的對(duì)象。7.3 翻車三Loss在降評(píng)測(cè)不動(dòng)懷疑人生有一段時(shí)間我的訓(xùn)練loss曲線非常漂亮但評(píng)測(cè)集上的成功率一點(diǎn)沒(méi)變。后來(lái)我把模型在評(píng)測(cè)集上的輸出數(shù)據(jù)和訓(xùn)練集數(shù)據(jù)做了一個(gè)序列相似度對(duì)比發(fā)現(xiàn)模型的高頻輸出軌跡和訓(xùn)練集里的若干條軌跡高度雷同。這個(gè)現(xiàn)象的本質(zhì)是模型把“高頻軌跡”背下來(lái)了而不是把“決策規(guī)則”學(xué)會(huì)了。尤其在數(shù)據(jù)量不多、軌跡模式單一的情況下模型很容易把訓(xùn)練集里有代表性的一條軌跡當(dāng)成標(biāo)準(zhǔn)答案背下來(lái)。于是換一個(gè)場(chǎng)景就崩。解決方法是擴(kuò)充軌跡多樣性。造數(shù)據(jù)時(shí)同一個(gè)任務(wù)多寫(xiě)幾條完全不同的合理路徑訓(xùn)練時(shí)每條軌跡做參數(shù)隨機(jī)化讓相同語(yǔ)義的表達(dá)有不同的措辭。這些手段都能有效壓縮模型“背軌跡”的空間逼它抽象出通用的決策規(guī)則。7.4 翻車四多輪對(duì)話里的上下文污染Agent系統(tǒng)通常要維護(hù)多輪對(duì)話歷史。微調(diào)時(shí)如果沒(méi)有設(shè)計(jì)好跨輪樣本模型很容易被前幾輪會(huì)話里的工具調(diào)用歷史干擾導(dǎo)致行為漂移。我遇到的具體問(wèn)題是第二輪的對(duì)話里模型不該去訪問(wèn)一個(gè)只和第一輪相關(guān)的工具但它還是去了。因?yàn)橛?xùn)練數(shù)據(jù)里很多樣本是從一條完整軌跡直接切出來(lái)的而切分后的第二條樣本的對(duì)話歷史里還殘留著第一輪的“大量工具調(diào)用痕跡”模型就把“看到工具就調(diào)用”的錯(cuò)誤規(guī)則學(xué)回去了。解決方法是構(gòu)造訓(xùn)練樣本時(shí)明確區(qū)分“當(dāng)前任務(wù)的目標(biāo)工具集”和“歷史會(huì)話中已經(jīng)用過(guò)的工具集”。我給每條樣本標(biāo)注了哪些工具在當(dāng)前輪次是可用的哪些是歷史遺留的不可用工具并刻意構(gòu)造一些“歷史工具調(diào)用記錄和當(dāng)前目標(biāo)沖突”的場(chǎng)景。這樣模型才能在真實(shí)的多輪環(huán)境中學(xué)會(huì)正確判斷上下文邊界。8. 持續(xù)記錄的下一步方向目前這套Agentic SFT流程已經(jīng)在我的兩個(gè)項(xiàng)目里跑通了效果穩(wěn)定但遠(yuǎn)談不上終極方案。我還沒(méi)想明白但準(zhǔn)備接下來(lái)重點(diǎn)實(shí)驗(yàn)的問(wèn)題還有幾個(gè)一個(gè)是“軌跡長(zhǎng)度對(duì)泛化的影響”。現(xiàn)有數(shù)據(jù)里決策步數(shù)大多在3到8步之間如果任務(wù)需要12步以上的長(zhǎng)程決策模型表現(xiàn)依舊不穩(wěn)定。我在考慮是否要構(gòu)造更長(zhǎng)鏈條的數(shù)據(jù)但長(zhǎng)軌跡不僅標(biāo)注成本高訓(xùn)練時(shí)也更容易被前面的決策錯(cuò)誤帶偏需要單獨(dú)設(shè)計(jì)對(duì)“偏離修正”的監(jiān)督方式。另一個(gè)是“外部狀態(tài)是否應(yīng)該作為模型輸入的一部分”。比如工具返回的實(shí)時(shí)數(shù)據(jù)、當(dāng)前時(shí)間、用戶所在城市這些外部狀態(tài)變量在訓(xùn)練數(shù)據(jù)里很多時(shí)候是缺位的真實(shí)部署時(shí)又必需。把外部狀態(tài)注入訓(xùn)練樣本理論上能提升模型的泛化能力但具體以什么格式注入、注入哪些狀態(tài)、狀態(tài)缺失時(shí)怎么辦我還在摸索。還要想的是“如何讓SFT和強(qiáng)化學(xué)習(xí)階段配合得更好”。SFT訓(xùn)練出來(lái)的Agent決策穩(wěn)定性直接影響后續(xù)RL階段的探索效率。目前我的思路是把SFT階段做“保守訓(xùn)練”只教會(huì)模型做出正確決策的最低必要能力把更激進(jìn)的探索空間留給RL。但這個(gè)邊界到底劃在哪里還需要更多實(shí)驗(yàn)來(lái)驗(yàn)證。這次關(guān)于Agentic SFT的記錄就先寫(xiě)到這里。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
AV操一操| 人人性久久| 丁香色五月 97干| 国产真实乱了老女人视频| 伊人网啪啪| 亚洲色爽| 婷婷99中文字幕| 丁香五月天天久久综合小说| www.久久| 免费啪啪亚州视频| AAAA网站| 激情色情五月天| 视频这里只有精品| 九九热99视频在线| 中文字幕免费高清电视剧| 五月天婷婷久久| 99re这里只有精品视频了| 另类的婷婷| 97国产精品女人碰碰| 日本欧美成人片AAAA| 综合激情婷婷| 日本啪啪天堂| 久久婷婷五月综合色奶水99啪| 99成人小视频| 精品国产人人爱人人| 色婷婷久久综合久色综| 国产黄色av| 色综合色综合网| 欧美日韩aaa| 五月丁香激情婷婷综合| 深情六月婷婷综合久久| 26.uuu丁香五月婷婷| 激情五月黄色| 免费看欧美成人A片无码| 殴美综合激情五月天免费视频| 2025最新亚洲激情在线| 六月婷婷激情| 六月丁香综合| 日韩成人综合| 欧美日韩国产成人在线| 日本欧美成人片AAAA| 99热免费精品| 婷婷五月天AV在线| 另类小说激情五月天| WWW.桔色成人.COM| 五六月丁香激情视频| 夜夜骑操AV| 国产综合婷婷| 久9热视频| 超碰99热精品在线| 中文字幕网伦射乱中文| 精品久热| 999热这里只有精品| 超碰免费99| 亚洲成人在线五月天| 久久人妻系列| 五月综合缴情网| 狠狠色综合777| 精品成人在线观看| 91AV婷婷| www.五月丁香| 麻豆WWWCOM内射软件| 99在线精品免费视频| 97天堂| 久久婷婷五月天| 久久精品视频在这里有| 伦乱人妻| 拍真实国产伦偷精品| 香焦网五月天| 五月婷啪啪| 大地资源色婷婷视频在线| 99色丁香婷婷综合网| 日本本土色网第一区| 久久精品99| 六月婷婷av| 91在线日本| 五月丁香亭亭激情操逼网| 黄色片久久| 亚洲亚洲人成综合网络| 99亚洲精品| 婷婷亚洲天堂| 狠狠狠狠狠| 色婷婷a v| 综合色影院| 婷婷五月天成人小说| 狠狠色无码| 爱草视频在线观看| 亚洲性爱区无码区| 可以免费看AV网站| 日本五月婷| 五月天婷婷影院影院观看| 思思精品久久艹| 天天cha成人综合网| 色五月成人婷婷| 激情文学天天| 另类激情五月| 五月天婷婷在线播放免费| 天天舔天天摸天天透| 婷婷五月天激情偷拍| 99自拍视频在线观看| 久久久中文| 狠狠99| 欧美天堂久久| 极品色丁香| 99视频这里只有免费精品| 久久五月天合网| 久久婷婷五月天| 狠狠干综合| 99热国产精品| 婷婷五月天777| 欧美色骚婷婷五月天| wuyuedingxiang99| 婷婷五月开心中文字幕在线| 国产精品国产VA片国产| 情久久综合五月天| 深爱激情综合网| 五月婷婷激情| www.色色五月天.com| 婷婷五月天久久| 亚洲色网络| 婷婷综合五月天| 在线视频区| 伊人天堂婷婷| 五月丁香婷色| 九九久久五月天综合伊人| 青青草原亚洲天堂| 99激情视频热| 欧美激情-区二区三区| 噜噜噜噜综合在线| 五月天色区| 欧美日韩123| 九九热啪啪| 五月激情六月宗合| 亚洲春色奇米影视| 成人一区在线观看| 色综合激情| 欧美色图天堂网| 精a品a视a频| 丁香激惜男女| 日日夜夜小色哥| 天天操天天操天天操天天操天天操 | 九九爱精品网站| 婷婷性爱五月天丁香网| 9有码中文| 超碰三级片| 久久伊人大香蕉| 五月丁香六月在线欧美| 五月天激情小说电影| 五月深爱婷婷| 婷婷五月天欧美| 婷婷色五月激情强奸四射| 久久婷婷五月天| 丁香五月影院| 伊人九九九久| 男女99免费视频| 99热国产国产| 99re这里只有精品首页| 日韩在线五月天婷婷| 五月色综合| 丁香五月婷婷AV| 日本三级韩三级99久久| 大鸡巴伊人网| 啊V视频在线观看| 丁香婷婷基地| 久热这里只有精品99re,久热这里只有精品7| 色五月婷婷视频| 夜夜爽天天干| 日韩AV大全| 日韩AV无码影片| #NAME?| 中文字幕av在线播放| 99热老司机| 久久久久综合激动五月天| jiqingliuyuetian| 丝袜激情网| 99色色视频| 五月天婷婷久久视频| 日曰躁夜夜躁2026| 亚洲有码在线视频| 538久久| 九九精品在线网| 五月亭亭狠狠| 性爱综合网| 九九无码AV| 中文字幕人妻AV| 亚洲成人av在线播放| 九九久久五月天综合伊人| 婷五月丁香俺| 成人丁香五月| 狠狠综合网| 色婷婷色综合久久精品V| 日韩美女在线视频19| 婷婷伊人綜合中文字幕| 99性爱视频网站| 亚洲熟妇无码乱子AV电影| 九九人人操| www婷婷色| 99资源人人| 五月婷婷与六月丁香图片激情| 91狠狠综合久久久| 欧美日韩一区二区三区四区| 日本va欧美va精品发布视频| 久久久全国免费视频| 婷婷五月天免费视频在线观看| 免费看片在线观看| 天天色天天色天天色天天色天天色| 亚洲成人在线播放| 99精品视频在线观看| 久久婷婷午夜| a在线观看| 六月丁香五月天| 少妇人妻偷人精品无码视频新浪| 天天做天天爱天天爽夜夜揉| 五月丁香六月玩女人| 亚洲欧美国产高清vA在线播放| 五月丁香黄色视频| 又大又粗九一在线| 男女99免费视频| 精品99爱免费视频在线观看| 中文字幕在线免费| 4399精品一区二区| 五月天 综合 在线| 香蕉国产2013| 91欧美日韩| 久久婷婷视频| 操日挥操日日| 五月激情小说| 丁香五月www| 天天插天天很| 99热自拍| 美腿丝袜AV天堂网| 欧美性爱5月天天天看| 日本色婷婷| 精品久久久中文字幕大豆网推荐理由| 久婷久婷| 欧美综合激情五月| 九九色大香蕉| 91干99| 日韩草草草草草草草草草草草草| 久碰婷婷视频| 久久99大| 天天干,天天舔| 这里只有精品1| 欧美色五月| 久久99综合网| 特级片神马电影| 久久婷婷精品| 丁香九月激情| www,com,五月色色| 九九综合九| 色九月婷婷综合| 婷婷五月天免费视频| 99ER热精品视频| 丁香五月香蕉| 天天色天天日天天舔| 久久综合久色欧美综合狠狠| 丁香六月久久| 五月丁香花婷婷玉莉AV| 老美AA片| 一区二区三区四区五区| 欧美日韩123| 懂色av粉嫩av蜜臀av| 五月婷婷色色色| 九九这里有精品| 六月丁丁香| 九九操操| 97影院一级片| 久久婷婷五月综合97色一本| 播五月丁香三月婷婷| 婷婷五月丁香综合网| 婷婷色在线| 99九九视频| 婷婷久久女人| 99在线er热| 色色五月天网站| 99re免费视频| 操射国产日本| 激情内射人妻1区2区3区| 五月婷婷六月丁香免费| 91一起操| 99久久久久久| www.97碰碰com| 另类图片五月天婷婷| 深爱五月天婷综合| 激情五月婷婷丁香| 中文资源在线a| 我要射综合| 亚洲天堂色色| 色偷偷色婷婷| 激情五月丁香五月| 丁香五月瑟瑟| 女人天堂av| 久久这里只有精品热在99| 成人免费视频一区| 777色色色| 久草婷妨| 综合性视频99| 亚洲精品亚洲人成人网| 97碰久久| 四色永久成人网站| 婷婷伊人中文字幕| 色吧综合网| 婷婷亚洲综合| 激情综合网五月激情| 97香蕉碰碰人妻国产欧美| 九九综合伊人| 国产成人网站在线观看| 久草五月婷婷| 偷拍91九色| 激情亭亭五月| 久久免费操| 国产精品视频| 久久99热这里只有精品23| 婷婷综合色图| www.com色播五月天| 五月天亭亭俺也| 天天插操| 99国产视频网| www.9色色色| 婷婷娱乐丁香综合网| 影音先锋女人AA鲁色资源| 永久99免费视频网站| 欧美大肥婆大肥BBBBB| 婷婷中文在线| 91欧美日韩综合| 九九综舍久久| 99热这里只有精品1025| 国产成人高清| 大香蕉婷婷久久| 激情啪啪五月天| 久久婷婷五月综合| 欧美大香蕉视频| 国产精品色色| 九九99免费视频| 五月色影院| 国产成人网站在线观看| 91精品91久久久中77777| 婷婷五月天 偷拍| 中文字幕成人| 亚洲精品五十一区| 激情综合网婷婷五夜| 五月婷婷亞洲中文| 五月色亚洲| www.色色五月天.com| 另类图片色五月| 五月综合视频| 激情www.98com| 亚洲天堂婷婷| 日本色婷婷| 色婷婷免费观看| 直接看的av| 青青热久精品视频在线观看| 67久久| 开心五月婷婷婷美女| 婷婷丁香综合在线| 久99在线视频| 激情丁香社区| 天天干天天干天天干天天干天天干| 色综久久久| 中文字幕视频色婷婷| 九九亚洲视频| 成年人夜夜喷水| 九九热欧美| 激情文学久久| 国产人妻777人伦精品HD| 五月婷无码| 国外亚洲成AV人片在线观看| 五月草视频| 九九激情视频| 一本道在线电影| 五月亭亭色| 亚洲欧美999| …亚洲黄色在线播放日韩、av中文a…| 亚洲天堂aaaa| 婷婷五月六月丁香| 日韩三级视频一区二区| 激情综合色播| 色综合色| 色五月婷婷91| 国产综合色婷婷精品久久| 五月丁香婷婷欧美色图视频五月丁香777电影| 成人电影在线免费试看| 婷婷99狠狠躁天天躁| 久久这里面只有精品视频| 99热有精品在线观看| 欧美爆乳一区二区三区| 操人视频91| 开心激情站| 国产精品久久..4399| 天天色天天色天天色天天色天天色| 免费碰碰视频久| 涩五月婷婷| 激情综合五| 思思热视频在线观看| 六月婷婷六月天天在线免费| 成人做爰A片免费看视频| 五月丁色AV| 思思干精品| 91成人看片| 97色婷婷| 超碰在线caop| 深爱激情五月婷婷| 亚洲综合视频网| 5月丁香啪啪啪| 婷婷五月天日本国产| 日本婷婷色| 久久性操| 五月天伊人日日噜影片AV| 色色热日| www.精品99| 思思热天天看| 国产性爱在线| 91精品综合久久婷婷九色| 在线区区区| 色五月婷婷丁香凹凸| 五月丁香婷婷在线| 狠狠操天天操天天操| 午夜伊人大香蕉| 任你搞网站| 久久永久网址| 九月丁香久久网| 六月丁香五月天| 婷婷综合色| 五月丁香久久| 婷婷五月天综合在线| 日韩欧美一区二区三区四区| 色yeye色综合| 超碰在线91| 亚洲最大视频| 婷婷八月激情| 91色性感五月婷婷丁香| 狠狠丁香| 成年AAAA色情| 拍色综合| 色婷婷综合网站| 九九九九九九九热| 久久精品99久久久久久| 久久婷婷视频| 婷婷色片| 色99亚洲| 我想看国产大学生口爆吞精的视频| 97久久精品| 人人综合五月人人婷婷| 成人国产欧美大片一区| 超碰com| 婷婷欧美激情综合| 奇米色大香蕉| 99热这里只有精品9| 91午夜激情| 激情欧美婷五月| 97操女视频| 日本欧美成人片AAAA| 天天操夜夜橾| 亚洲九九夜夜| 九九色婷婷Av| 婷婷五月av| 天天爽天天| 色五月丁香激情| 激情床戏| 人人插操| 这里只有精品视频99| 亚洲人妻一区二区| www.五月婷婷.com| 五月天丁香婷婷视频网址| 久久人人超| 色色丁香激情五月| 人人爽天天莫| 91av成人| 色婷婷亚洲精品天天综| 丁香五月婷婷AV在线| 激情校园 亚洲| 99热99干| 99偷拍视频在线日本| 色色色色欧美| 综合激情婷婷| 999婷婷综合| 99精品视频网站| 俺也去婷婷五月天第五色| 色九九九综合| 香蕉久久av一区二区三区| 狠狠操综合| 五月天婷婷久久视频| 丁香婷婷五月天网站| 99日精品视频| 欧在线一区| 丁香婷婷久久 | AV动漫不卡无码免费| 国产九月婷婷| A片试看50分钟做受视频| 激情五月婷婷| 丁香久久五月天视频在线观看 | 啊V视频在线观看| 婷婷无码五月天| 婷婷综合五月天激情| 91色五月| 欧美碰碰碰| 日本熟妇乱妇熟色A片蜜桃| 色色网站| 五月天com| 婷婷五月激情在线| 五月丁香花伦理电影| 超碰狠狠操| 成人电影AV在线观看| 色级婷婷| 亚洲乱码日产精品BD| 久久9视频欧美| 丁香婷婷影院| 五月丁香欧美综合| 激情宗合网激情五月天| 激情五月天啪啪| 亚洲av成人在线| 91大屁股在线| 亚洲乱码日产精品BD在线观看| 久久婷婷五月综合伊人| 亚洲精品婷婷| 99er6热在线观看精品6| 五月天婷婷丁香蜜桃91| 思思99热这里只有精品| 色色婷婷丁香五月天| 无码日本精品XXXXXXXXX | 色综合伊人网| 婷婷涩涩五月天| 青青草原99热| 久久精品小视频| 99久久99视频只有精品| 日韩在线视频中文字幕| 日本久久人| 东北黄色一级| 99在线视频操999| 99久久9| 99热99久久| 激情综合五月婷婷| 丁香五月婷婷六月丁香| 婷婷五月色亚洲| 丁香五月亭亭六月综合激情网| 婷婷五月色播网| 国产婷婷综合| 色色九九五月天 | 五月激情偷拍婷婷| 激情五月婷婷免费视频| 婷婷丁香熟妇综合网| 色玖玖综合网| WWW免费视频碰碰碰碰| 日本性视频| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 激情五月丁香五月色| 色色色综合色| 九九99精品| 亚洲综合1024| 五月色综合| 99这里只有精品99| 色婷婷裸体色性在线| 五月花丁香婷婷| tingting五月天亚洲| 狠狠色综合网| 天天艹天天综合网| 欧美婷婷日本| 狠狠色综合网| 日本久热| 亚洲成人综合在线| 久久婷婷六月| 婷婷天天插天天爱| 成人婷婷五月| 婷婷五月天激情五月天| 五月婷视屏在线观看| 无码任你操| 日韩视频99| 99这里只有精品视频| 蜜桃五月天| 五月天伊人日日噜影片AV| 99在线观看精彩视频| 九月丁香| 成人AV在线网站| 色婷婷操逼| 97色婷婷| 五月天开心成人网| 亚洲综合新99视频| 日日操日日干| 日批在线看| 日日激情网| 激情五月天伊人av| 五月天伊人| 激情综合网五月丁香| 玖玖午夜视频| 日婷婷久久开心| 日本色色视频| 婷婷五月天黄色小说| 久播影院免费观看电视剧大全最新网| 婷婷五月天色综合| 99色最新在线视频网站| 美女天天爽| 九九热只有精品| www.色五月| 九九热视频精品| 婷婷五月天av| 五月丁香好婷婷A片网| 操久久网| 天天干天天干天天干天天干天| 91精品久久久久久77777| 日本丁香五月| 最近中文字幕在线中文视频| 久久久婷婷五月天| 精品一区二区三区三区| 久久性操| 天天插综合在线| 99热精品少| 天天干天天干天天干天天干天天干天天 | 影音先锋色婷婷| 九热...av| 婷婷五月天激情四射五月天激情| 99惹| 婷婷五月噜噜| 婷婷五月丁香基地| 婷婷五月综合社区| 色五月av| 久热视频97AV在线观看| 91肏| WWW.五月天9999| 操你av| 这里只有精彩视频| 久久精品五月天| 亚洲天堂啪啪| 久久激情视频| 一本大道伊人AV久久综合| 国产黄大片在线观看画质优化| 五六月婷婷久久| 人妻在线网站| 婷婷伊人中文字幕| 九九这里只有精品在线视频| 色综合久久天天综合网| 欧美激情凹凸丁香网| 超碰猛烈的性猛交| 天天爽天天透天天爱| 99热6这里只有精品6| 亚洲性爱干干| 亚洲激情综合| 国产精品人成A片一区二区| 色99久草在线| 98色花堂98t.R| 婷婷五月激情综合| 亚洲色域网| 夜夜骑夜夜撸| 狠狠色丁香| 97干在线| 色开心五月婷婷丁香HD| 五月婷婷六月综合| 久久中文人妻系列| 五月综亚洲| 五月天天爽| 激情五月丁香五月| 色色色激情网| 久热精品在看| 六月丁香婷婷视频综合在线观看| 热久久视频99| 亚洲综合五月| 亚洲色另类| AV片一区在线观看| 99婷五月| 综合www色| 《诡秘之主》在线观看| 五月天激情社区| 精品99在线观看| 91碰碰| 99欧美热| 久久久婷婷五月亚洲97号色| 亚洲性图一区二区三区| 日本操逼九九九九58日本操逼| 色情五月天丁香社区| 亚洲五月花| 草榴视频黄色网| 六月色激情| 久久中文人妻系列| 狠狠干思思热| 久久婷婷激情| 亚洲精品V天堂中文字幕| 99热性色| 爱草视频在线| 色亭亭五月天丁香综合AV - 百度 - 百度| 欧美视频五区| 中国丰满熟女A片免费观| 中文字幕五月久久婷婷| 99久久a线观| 人人播| 久久小说| 久热伊人在91| 伦乱美欧| 九九热视频精品| 久久婷婷五月丁香网| 激情涩播| 91婷婷色| 五月婷婷五月丁香综合| 99re6久热只有精品6在线直播| 成人在线日韩| 色久影院| 丁香六月婷婷高清| 任你日视频| 五月婷婷av在线| 丁香婷婷五月激情四射网| 精品一二三区久久AAA片| 国av网| 婷婷五月天六点丁香五月| 天天色爽| www.婷婷五月| 九九RE视频在线精品| 色一情一乱一乱一区9| 色五月婷婷激情综合网| 天天做天天爱| 香蕉97碰碰碰欧美| 91色色色18| 国产另类综合| 色播五月婷婷| 大香蕉久久草| 99免费视频网| 亚洲爆乳无码精品AAA片蜜桃 | 五月婷婷在线视频| 97涩婷婷婷婷基地| 久久五月丁香伊人青草| 婷婷九月亚洲| 婷婷新网址| 天天色综合色| 久久婷婷五月综合啪| 五月停性愛| 色综合久久久久| 丁香婷婷五月天在线视频| 婷婷D区| 综合99综合久久久久久久| 色综合久久88色综合天天看| 91精品综合久久久久久五月丁香| 99九九玖玖| 五月婷婷网站| 亚洲亚洲人成综合网络| 色婷婷丁香五月天| 婷婷五月激情视频在线| 久热在线中文字幕色999舞| 五月狠狠| 丁香六月婷婷综合| 色综合色五月| 九九热在线精品视频| 大地9中文在线观看免费高清| 九九aV| 天天狠狠夜夜狠狠2023| 亚洲精品一区中文字幕乱码| 超碰成人电影| 五月婷婷草| 91传媒无码人妻精| 色婷婷五月天激情久久| 久久xx| 在线你懂的亚洲欧| 思思久久99热只有频精品66| 欧美性色A片免费免费观看的| 视频这里只有精品| 激情五月综合亚洲另类| 九九综合五月欧美| 99性感视频| 99热精品在线| 欧美 日韩 成人在线| 国产色色视频| 香蕉色色网| 伊人久久婷婷五月天激情四射| 综合99视频| 亚洲成人精品三区| 大陆肏屄视频| 国产精品电| 色视五月天婷婷| 久久婷婷五月综合| 五月天伊人综合| 久色资源网| 亚洲经典三级| 天天射综合网站| 91色噜噜狠狠狠狠色综合| 婷婷99丁香| 第四色26uuu| 三十熟女| 成人五月天在线视频在线观看 | 99九九在线观看免费| 五月婷婷婷丁香播| 丁香五月久久社区| 五月婷婷在线综合| 色天使色综合| 性生活视频98791| 91操碰| 伊人婷婷综合| 久久精品系列| 婷婷色偷拍| 色婷婷五月天激情在线观看| 2025超碰| 妻久久久久| 九热视频| 久9无码视频| 婷婷五月天福利| 99色.com| 色婷婷久久综合久色综| 欧洲综合一区| 狠狠狠狠狠狠狠狠狠狠狠色宗合图片| 九九热在线观看视频| 五月婷婷无码| 99网99热| 丁香六月婷| 天天插,天天射| 激情五月丁香五月色| 色五月婷婷开心| 欧美亚洲色色色色| 思思精品久久艹| 成人精品一区日本无码网| 有码人妻久久| 五月婷婷激情| 有码人妻久久| 欧美成人猛片AAAAAAA| 99热只有精品在线播放| 丁香综合网| g00d人体西西| 五月婷婷丁香综合| 国内久久婷婷| 综合色色色| 夜夜爱爱亚洲| 狠色色狠网| 99热免费18| 少妇激情五月天| 色婷婷精| 久久色情综合免费网站| 淫荡A片| 五月丁香色综合| 日本色色影院| 激情深爱五月| 高清国产一级婬片a免费| 99视频在线精品| 婷婷五月天大香蕉在线视频观看| 一级A片天天操夜夜操| 久久婷婷一级片| 很很干夜夜干| 97成人丁香| 激情欧美五月丁香| 99干在线| 久9视频免费播放| 天堂网啪啪| 99热国内精品| 五月丁香六月久久| 99精品在这里| 婷婷丁香六月影视| 九九综合九| 操操操AV| 国产色99| 婷婷激情综合| 伊人五月婷婷| 黄色三级日本| 青青草原亚洲天堂| 丁香五月偷拍| 五月天天天综合| 99综合视频| 五月天色婷婷视频| 色五月激情五月| 国产精品成人av在线观看春天| 久久九网| 丁香五月激情无码视频| 久久久亚洲成人无码A片| 婷婷六月花| www91色网站| 九九热精品6| 91高潮喷水久久久久久久久| 免费看成人747474九号视频在线观看| 久久婷婷五月综合伊人| 丁香五月色色| 五月婷婷在线丁香| 99久久网站| www.五月婷婷久久.com| 香蕉网婷婷| 色婷婷色五月综合| 色婷婷亚洲综合网站| 五月丁香六月婷婷的女人| 九九综合网| 99热.com| 99热精品网| 五月丁香六月婷婷在线观看| 免费看成人747474九号视频在线观看| 婷婷丁香久久| 婷婷性爱无码视频| 丁香六月婷婷久久亚洲天堂| 九月丁香亭亭| 99热综合| 丁香情色五月| 丁香五月婷婷色| 五月99久久| 五月丁香婷婷基地| 五月天激情AAAA| 五月丁香久久综合色| www,天天干| 五月色婷婷影视在线电影| 99热久久这里只有精品| 日本五月婷婷| 亚洲成人综合在线| 91性高潮久久久久久久久| 伊人婷婷五月| 成人免费视频一区| 综合婷| 激情五月婷婷五月丁香五月开心五月| 国产精品人妻欲求不满| 操人91| 五月婷婷开心丁香| 丁香六月激情| 婷婷伊人五月天| 色大综合| 天堂久久性| 五月天伊人网| 可以直接看的av网站| 欧美日韩五月婷婷| 另类小说色婷婷| 中文不卡一二三区| 久久大香免费| 99热精品在线| 色婷婷伦理| 国产亚洲99久久| 开心激情站| 五月婷色激情五月| 九九aV| 欧美综合激情| 婷婷 丁香 精品| 夜夜骑操AV| 狠狠爱成人综合网| 国产成人在线精品| 提提热五月天婷婷| 欧美色偷偷大香| 人人摸人人摸| 色综合色综合网| 操比激情五月综合| 天天拍天天操| 五月婷婷激情综合视频| 久久新地址| 97精品人人A片免费看| 丁香五月欧美激情| 性一交一乱一交A片久久四色| 国外亚洲成AV人片在线观看| 国产亚洲精久久久久| 色婷婷亚洲| 久久久宗合视频88| www.五月天婷婷| 色国产五月| 2017狠狠干| www.丁香五月| 五月婷婷六月开心| www.天天色综合| 丁香五月激动深爱欧美| 精品久久久人妻| 狠狠色噜噜狠狠色噜噜噜999| 国产91在线视频| 久久色区| 人妻操操色| 大香蕉精品视频| 亚洲精品无人区| 九九热在线精品| 久久视频这里都是精品| 天堂综合久| 日本一級黃色一級片| 生活片五区| 激情综合网之激情五月| 久久九九激情五月天 | 99热这里只有免费| 久久综合无| 草草色情综合网| 亚洲综合婷婷| 五月天激情久色| 超级碰碰碰久久网站视频| 俺去也五月天| 天天噜| 九九热99精品| 91超级碰在线| 99国产精品久久久久久久久久久| 97婷婷狠狠| 天天色天天色天天色天天色天天色| 人妻性操逼中文字幕 国产| 十区av| 亚洲欧洲另类| 丁香五月天电影| 五月永久激情| 人人操99| 日本理论久久| 最近中文字幕大全免费版在线 | 婷婷狠狠干| 噜噜狠狠色综无码久久合欧美| 五月综合在线婷婷图片| 久久精品63| AA片在线观看视频在线播放| 91操片| 国产精品香蕉| 激情五月婷婷色综合| 成人婷99最新| 久爱综合| 粉嫩av懂色av蜜臀av熟妇| 激情五月天在线视频| 婷婷热婷婷色| 九九色婷婷| 久久精品系列| 丁香亭亭激情四射| 天堂无码人妻精品AV一区| www.henhenl| 婷婷六月色情| 538在线| 五月丁香婷婷综合久久| 日本久久极品| 色婷婷影视| 五月丁香婷婷色色| 日本天天操| 五月天婷婷在线啪啪视频| 亚洲免费看片| 99热丁香五月| 亚洲天堂制| 99精品性爱| 色婷婷六月天| 日韩99色99| 婷婷五月天影视网址| 色情婷| 综合aV在线| 九九热精品在线| www.91操| 激情影院丁香五月| 17.c黄色| 欧美黑人巨大猛烈cuckold| 99色在线视频观看| 五月叮香啪| 操逼五月婷婷| 99成人| 久久综合性| 美国十月色婷婷在线观看| 深爱五月日韩| 激情五月丁香激情综合网| 色九月婷婷综合| 亚洲激情五月| co超碰在线观看| 99热精品免费| 超碰在线9| 热99热9| 先锋男人99资源| 九九这里有精品视频| 91九色精品熟女内射| 春色激情| 一区二区三区四区无码| 综合久久婷婷五月丁香| 亚洲 欧洲 国产 伦综合| 欧美性色A片免费免费观看的| 五月婷婷影| 开心五月婷婷| 99视频在线精品免费观看2| 久久96热| 五月婷婷久久大香蕉| 色婷婷久久综合中文久久一本 | 日韩五月丁香| 看国产探花操逼三级片| 亚洲精品乱码久久久久久综合| 亚洲小视频免费播放| 天天肏天天肏天天肏| 五月婷婷色在线| 色墦五月丁香| 99爱爱网| 成人va视频| 色播五月天激情| 九九热视频免费| 天天射天天射一道本日本社区| 午夜性爱影视一区77| 婷婷五月天AV| 超碰国产在线| 成人丁香五月| 婷婷五月天情色| 久久久99日本大片| 婷婷va| 色婷婷av综合网| 极品人妻VIDEOSSS人妻| 极品少妇XXXX精品少妇偷拍| 婷婷九月| 激情五月天丁香| 9久久精品| 我爱大香蕉| 五月婷六月| 99re8这里只有精品99re8热视频| 五月欧美丁香在线观看| 婷婷综合在线| 婷婷丁香在线播放| 五月久久丁香| 深爱激情久久| 人人做人人看人人摸| 五月天激情小说婷婷基地| 99久热这里有精品| 丁香五月性爱| 99久在线精品99re8热| 五月婷婷啪| 色婷婷a v| 99日本在线| 香蕉综合在线| 免费黄色视频网址| 99热这里在线精品| 深爱五月月天| 伊人色综合影院视频| 新激情综合| 九九99在线视频| 婷婷五月天综合久久| 欧美啪啪网| 色婷av| 国产五月天婷婷| 成人资源在线| 视频1区2区| 超碰AV成人| 色五月婷婷91在线| 视频1区2区| 婷婷狠狠97| 欧美三级视频下载| 婷婷丁香五月天大香蕉| 色拍九九九| 成人免费视频一区| 久热超碰91| 内射综合网| 99re66热这里只有精品| 玖玖视频福利| 9999久久久久| 日日夜夜狠狠婷婷色| 亚洲小视频免费看| 亚洲精品乱码久久久久久综合| 第四色婷婷最爱| 婷婷狠狠久久| www.狠狠色.com| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 亚洲4区国产欧美| 六月撸婷婷| 婷婷五月天激情电影| 丁香五月天.com| 最新av在线观看| 久久xxxx| 26uuu四色| 九六五月天婷婷| 岛国AV网站| 婷婷在线视频| 五月天.com| 精品一区二区三区四区五区六区| 在线成人va| 五月久久| 色综合色色色色色色综合| 亚洲十月婷婷综合| 怕怕視頻| 韩国婷婷丁香五月| 丁香五月色欲| 六月婷婷在线| 久久网日本| 丁香五月天激情综合| 无码激情AAAAA片-区区| 久热这里只有精品66| 婷婷亚洲在线| 思思久久青草热| 五月天影院| 婷婷亚洲综合| 人妻中文在线| 亚洲无码色| 欧美在线视频99| 伊人激情综合| 国产高潮白浆一区二区| 亚洲久艹| 九九这里是免费的视频5| 亚洲国产精品成人免费一区久久久在线观看AAAA | 亭亭五月丁香五月天激情| 国产精品热搜丁香五月婷婷| 亚洲综合在线播放| 色色色色色色色色综合网| 裸体做A爰片毛片A片免费| 91人无码久久久久久| 大香蕉婷婷丁香| 丁香五月天激情网址| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 九九在线精品| 97色吧| 婷婷五月综合社区在线| 婷婷五月天性爱视频| 大香蕉婷婷五月天| 9999热精品在线免费播放| 激情综合网激情五月欧美| 亚洲综合五月天| 任你爽精品免费视频6| 99在线精品观看99| 久久9情免费| 九月av在线| 大香蕉五月天婷婷丁香91| 亚洲婷婷月丁香五月| 亚洲99在线| 婷婷五月视屏| 九九久久99精品免费观看www| 日本99视频| 丁香五月激情啪啪啪| 丁香六月激情综合| 五月天激情黄色小说在线观看| 天天干-天天日| 超碰a女人的天堂| 丁香在线视频| 精品国婬伦V无码久久久| 人妻AV在线观看| 激情涩涩网| 狠狠五月激情丁香六月| 大香蕉五月天婷婷| 国产一区二区三区影院| 久久九九囯产| 伊人春天av| 丁香五月婷婷激情中文| 日本99色| 丁香五月婷婷基地| wwww.9免费视频| 色色色地址| 日韩人妻无码一区二区| 思思久日精品视频| 在线成人网址| 91九九九九| 婷婷六月视频| 思思久久99热| 丁香六月在线| 日本久久综合| 国内外色色色色色成人视频| 涩丁香91| 婷婷射图| 日韩黄黄| 人人爽亚洲| 激情五月综合网| 大香伊人久色| 九色自拍| 婷婷玉月丁香五月在线视频| 五月丁香激情综合久久| 狠狠狠狠狠干| 中文字幕网站在线观看| 成人AV免费观看| 久久九九大香蕉电院| 99超级碰免费视频| yazhoujiqingav| 亚洲狠狠婷婷| 97婷婷丁香五月天激情图片| 99热亚洲精品| 激情四射五月天| 色综合久久久无码中文字幕999| 8区视频在线| 色五月天成人在线| 成人va视频| 亚洲妇女熟BBW| 婷婷五月综合色中文字幕| 人妻狠狠操| 五月开心久久| 激情综合色| 大香蕉丁香婷婷| 色五月天天在线观看资源站| 久久激情五月婷婷| 99人妻碰碰碰久久久久禁片| 婷婷中文综合网| 影音先锋xfplay资源男人网| 色色色色网站| 激情又色又爽又黄的A片| AV操逼网| 99热九九在线| 激情图片久久| 91久久日日| www.色婷婷| 色五开心五月五月深深爱| 99色在线| 俺去婷婷 丁香| 国庆精品久久| 成人版视频在线观看| 欧美成人一区二区三区在线视频| 9999三级片| 99视频在线精品免费观看2| 91丨九色丨东北熟女| 综合激情在线观看| 午夜青草资源| 久久久婷婷婷| 久久密臀婷婷| 天天插天天插天天日| 五月丁香六月激情综合| 91男同视频|