欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Dify實(shí)戰(zhàn):構(gòu)建帶hindsight反思機(jī)制的AI Agent工作流

Dify實(shí)戰(zhàn):構(gòu)建帶hindsight反思機(jī)制的AI Agent工作流 1. hindsight機(jī)制到底是什么——先搞懂這個(gè)概念1.1 從“事后改進(jìn)”到AI的自我糾錯(cuò)能力“hindsight”這個(gè)詞字面意思是“后見(jiàn)之明”“事后回頭看”。放在大模型應(yīng)用開(kāi)發(fā)的語(yǔ)境里它指的是一類非常實(shí)用但又經(jīng)常被忽略的機(jī)制讓AI在完成一次任務(wù)之后回過(guò)頭去審視自己剛才的執(zhí)行過(guò)程找出哪里做得不好然后在下一次執(zhí)行或同一輪的后續(xù)步驟里修正它。我最早接觸這個(gè)思路是在做客服問(wèn)答機(jī)器人的時(shí)候。當(dāng)時(shí)的機(jī)器人回答用戶問(wèn)題經(jīng)常第一遍就給出一版不夠準(zhǔn)確的答案或者遺漏了用戶真正想了解的信息。單純靠調(diào)prompt、換模型效果都不穩(wěn)定。后來(lái)我就想能不能讓這個(gè)Agent“做完以后再想想”這其實(shí)就是hindsight的核心邏輯不是追求一次性答對(duì)而是允許先做一遍再做一遍兩遍之間插入一個(gè)“自我反思”的環(huán)節(jié)。后來(lái)我在Dify這個(gè)平臺(tái)上把這個(gè)思路完整落地成了一個(gè)可運(yùn)行的Agent工作流。Dify本身提供可視化的工作流編排能力模型調(diào)用、條件分支、變量傳遞、迭代循環(huán)都現(xiàn)成特別適合做這種“執(zhí)行—反思—修正”的閉環(huán)是我個(gè)人認(rèn)為當(dāng)前落地hindsight機(jī)制最順手的一類工具。1.2 為什么通用Agent里缺了“回頭看”就很容易翻車很多剛?cè)腴T(mén)的朋友會(huì)問(wèn)讓模型“多想一步”不就是在提示詞里加一句“請(qǐng)仔細(xì)回答”嗎還真不是。一個(gè)典型的、缺少hindsight機(jī)制的Agent執(zhí)行任務(wù)的路徑是一條直線用戶輸入問(wèn)題模型生成答案直接返回。問(wèn)題在于大模型在生成第一遍答案時(shí)往往存在“確認(rèn)偏差”。模型傾向于沿著自己已經(jīng)生成的前半段思路繼續(xù)往下寫(xiě)哪怕一開(kāi)始的方向就是錯(cuò)的也很少能夠中途自行糾正。我做過(guò)一個(gè)很簡(jiǎn)單的測(cè)試讓一個(gè)沒(méi)有hindsight機(jī)制的Agent去整理一份會(huì)議紀(jì)要并從中提取待辦事項(xiàng)。第一遍它給出了一份看似完整的清單但仔細(xì)核對(duì)原文后發(fā)現(xiàn)它把一條已經(jīng)明確標(biāo)記為“已完成”的事項(xiàng)也列進(jìn)了待辦里。這種錯(cuò)誤靠“請(qǐng)你仔細(xì)一點(diǎn)”這種提示詞是解決不了的因?yàn)槟P筒⒉恢雷约耗睦镥e(cuò)了。hindsight機(jī)制解決的正是這個(gè)問(wèn)題。它不是讓模型在生成前多“想”而是讓模型在生成后“回顧”。通過(guò)將“執(zhí)行”和“評(píng)估”拆成兩個(gè)獨(dú)立步驟并讓評(píng)估步驟參考明確的評(píng)價(jià)標(biāo)準(zhǔn)Agent才能發(fā)現(xiàn)那些“當(dāng)時(shí)沒(méi)意識(shí)到”的問(wèn)題再帶著這些反思結(jié)果去重新生成更準(zhǔn)確的答案。Dify的流程編排給這套機(jī)制提供了天然的落地場(chǎng)所這也是我把hindsight和Dify放在一起討論的關(guān)鍵原因。1.3 hindsight適合解決哪幾類典型場(chǎng)景根據(jù)我這段實(shí)踐下來(lái)的觀察hindsight機(jī)制在以下場(chǎng)景里收益最明顯信息抽取與結(jié)構(gòu)化整理模型第一遍抽取容易漏項(xiàng)或誤判反思環(huán)節(jié)可以對(duì)照原文逐條復(fù)核。多條件約束的任務(wù)比如“按某格式輸出包含某幾個(gè)字段且不超過(guò)一定字?jǐn)?shù)”。第一遍往往顧此失彼反思后可以逐項(xiàng)核對(duì)約束條件。工具調(diào)用類AgentAgent調(diào)用完工具、拿到結(jié)果后第一遍生成經(jīng)常沒(méi)有真正利用好工具返回值反思可以讓它重新整理輸出。長(zhǎng)文本生成篇幅越長(zhǎng)越容易發(fā)生前后不一致、偏離主題。反思環(huán)節(jié)相當(dāng)于給自己的草稿做一次“校審”。反過(guò)來(lái)說(shuō)有些不適合用hindsight的場(chǎng)景我也驗(yàn)證過(guò)比如極低延遲的實(shí)時(shí)問(wèn)答、或者任務(wù)本身簡(jiǎn)單到不太可能出錯(cuò)的場(chǎng)景引入反思反而讓響應(yīng)變慢得不償失。性價(jià)比判斷本身就是這個(gè)機(jī)制的一個(gè)硬門(mén)檻。2. 在Dify里構(gòu)建hindsight閉環(huán)我為什么選這套方案2.1 Dify最吸引我的幾個(gè)能力我用過(guò)不少大模型應(yīng)用開(kāi)發(fā)平臺(tái)最后長(zhǎng)期留在Dify上主要因?yàn)槿c(diǎn)。第一工作流可視化。Dify把Agent的邏輯拆成了節(jié)點(diǎn)每個(gè)節(jié)點(diǎn)負(fù)責(zé)一件事比如“開(kāi)始”“LLM”“條件分支”“代碼執(zhí)行”“模板轉(zhuǎn)換”。hindsight機(jī)制需要把執(zhí)行、反思、修正拆成獨(dú)立的環(huán)節(jié)如果靠寫(xiě)代碼硬實(shí)現(xiàn)得自己維護(hù)狀態(tài)機(jī)在Dify里直接用節(jié)點(diǎn)拖出來(lái)就行看得見(jiàn)、也排得清。第二變量系統(tǒng)清晰。hindsight閉環(huán)里需要讓“第一遍的結(jié)果”“反思意見(jiàn)”“修正后的結(jié)果”在多個(gè)節(jié)點(diǎn)之間流轉(zhuǎn)Dify的變量引用和賦值邏輯足夠直觀我可以在系統(tǒng)內(nèi)置的上下文里看到每個(gè)節(jié)點(diǎn)的輸入輸出調(diào)試起來(lái)效率很高。第三發(fā)布與調(diào)試的閉環(huán)。Dify里每調(diào)整一個(gè)節(jié)點(diǎn)都可以直接在調(diào)試臺(tái)上跑一次完整流程看到每個(gè)節(jié)點(diǎn)的中間結(jié)果。這一點(diǎn)對(duì)hindsight這中多階段的流程來(lái)說(shuō)非常關(guān)鍵因?yàn)槟惚仨毮芸吹椒此脊?jié)點(diǎn)里到底生成了什么才知道后續(xù)的修正節(jié)點(diǎn)有沒(méi)有真正接住這些問(wèn)題。2.2 整體架構(gòu)執(zhí)行—反思—修正三段式閉環(huán)我把hindsight這套機(jī)制落地成三條首尾相連的階段形成一個(gè)閉環(huán)。整個(gè)流程走完之后修正結(jié)果可以作為最終答案也可以進(jìn)入下一輪迭代。第一段是“執(zhí)行”。用戶輸入進(jìn)來(lái)之后由主LLM節(jié)點(diǎn)先產(chǎn)出一版結(jié)果。這一版是“原始答案”代表模型一次性的完成度。第二段是“反思”。反思LLM節(jié)點(diǎn)拿到“原始答案”再結(jié)合原始輸入和一套反思評(píng)估標(biāo)準(zhǔn)做一次全面的復(fù)查。反思節(jié)點(diǎn)輸出的不是最終答案而是一份“問(wèn)題清單”比如“遺漏了XX條件”“輸出格式不符合要求”“遺漏了原文中的XX信息”。第三段是“修正”。修正LLM節(jié)點(diǎn)把“原始答案”和“反思問(wèn)題清單”同時(shí)作為輸入要求它在保留原答案可用部分的基礎(chǔ)上針對(duì)問(wèn)題清單逐項(xiàng)修正最終產(chǎn)出一版“修正答案”。更關(guān)鍵的是Dify里可以用條件分支來(lái)判斷反思節(jié)點(diǎn)輸出的“問(wèn)題清單”里到底有沒(méi)有真問(wèn)題。如果沒(méi)有明顯問(wèn)題直接走結(jié)束節(jié)點(diǎn)返回原始答案省一輪模型調(diào)用如果有問(wèn)題才走修正節(jié)點(diǎn)。這個(gè)判斷不僅是性能優(yōu)化更是一種防止“沒(méi)病亂吃藥”的保護(hù)——反思應(yīng)該發(fā)現(xiàn)問(wèn)題才動(dòng)刀而不是為了改而改。2.3 設(shè)計(jì)這套方案時(shí)我重點(diǎn)考慮的兩個(gè)取舍第一反思到底要不要獨(dú)立成節(jié)點(diǎn)。最省事的做法是在同一個(gè)LLM節(jié)點(diǎn)里讓模型“先思考再回答”靠提示詞引導(dǎo)。但我試下來(lái)效果很不穩(wěn)定。讓模型“先思考”時(shí)它會(huì)把思考和輸出混在一起或者思考完以后還是沿著原本的思路走。把反思拆成獨(dú)立節(jié)點(diǎn)之后反思階段就不負(fù)責(zé)產(chǎn)生最終答案心態(tài)上更接近“挑刺”模型更容易發(fā)現(xiàn)執(zhí)行階段的漏洞。第二反思的標(biāo)準(zhǔn)從哪里來(lái)。讓模型憑感覺(jué)反思它很容易給出“這個(gè)答案挺好的”“基本滿意”這種沒(méi)有營(yíng)養(yǎng)的反饋。必須給反思節(jié)點(diǎn)寫(xiě)清楚評(píng)估維度。我最終在Dify里給反思節(jié)點(diǎn)配置了一套五個(gè)維度的評(píng)估模版后面會(huì)講到。這五個(gè)維度基本上是所有任務(wù)型Agent里最通用的評(píng)估框架如果任務(wù)比較特殊自己改這幾條標(biāo)準(zhǔn)就行。還有一個(gè)細(xì)節(jié)也要提一下。Dify的流程里每個(gè)LLM節(jié)點(diǎn)都可以單獨(dú)選模型和設(shè)置參數(shù)。我的建議是反思節(jié)點(diǎn)和修正節(jié)點(diǎn)可以使用同一個(gè)模型保證“批改標(biāo)準(zhǔn)”和“修正能力”處于同一水平避免出現(xiàn)“水平更差的模型給更好的模型挑毛病”這種尷尬情況。至于溫度參數(shù)反思節(jié)點(diǎn)建議調(diào)低一些比如0.2左右輸出更穩(wěn)定不容易發(fā)散。3. 手把手實(shí)操在Dify里搭一個(gè)帶反思能力的Agent3.1 先搭一個(gè)最簡(jiǎn)骨架驗(yàn)證鏈路通不通我建議不要在開(kāi)始就搞復(fù)雜。先建一個(gè)最簡(jiǎn)單的流程跑通“執(zhí)行—反思—修正”三步再逐步添加細(xì)節(jié)。在Dify里新建一個(gè)空白工作流應(yīng)用后第一步先放四個(gè)節(jié)點(diǎn)開(kāi)始節(jié)點(diǎn)、執(zhí)行節(jié)點(diǎn)的LLM、反思節(jié)點(diǎn)的LLM、結(jié)束節(jié)點(diǎn)。先不要急著加條件分支和修正節(jié)點(diǎn)把鏈路跑起來(lái)再說(shuō)。這一步的真正目的是驗(yàn)證Dify的變量引用邏輯是否理順?lè)此脊?jié)點(diǎn)能不能拿到執(zhí)行節(jié)點(diǎn)輸出的內(nèi)容這是hindsight鏈路里最基礎(chǔ)的一步。開(kāi)始節(jié)點(diǎn)里我習(xí)慣定義一個(gè)輸入變量名字叫query類型是段落。這個(gè)query會(huì)同時(shí)被傳遞到執(zhí)行節(jié)點(diǎn)和反思節(jié)點(diǎn)——反思不能只盯著答案看還要對(duì)照原始問(wèn)題才知道有沒(méi)有跑偏。執(zhí)行節(jié)點(diǎn)的LLM提示詞用最簡(jiǎn)單的版本直接把query接到系統(tǒng)提示詞里。這里的關(guān)鍵操作是設(shè)置執(zhí)行節(jié)點(diǎn)的輸出變量名字我習(xí)慣叫initial_answer。這個(gè)變量必須定義好不然后面反思節(jié)點(diǎn)根本拿不到執(zhí)行結(jié)果。在Dify里L(fēng)LM節(jié)點(diǎn)可以在頁(yè)面下方維護(hù)一個(gè)“輸出變量”區(qū)域定義一個(gè)變量名將模型輸出賦給它。反思節(jié)點(diǎn)的LLM提示詞給一個(gè)類似這樣的引導(dǎo)系統(tǒng)請(qǐng)扮演一名嚴(yán)格的質(zhì)量審核員對(duì)“執(zhí)行結(jié)果”進(jìn)行全面復(fù)查。 原始需求{query} 執(zhí)行結(jié)果{initial_answer} 請(qǐng)從以下五個(gè)維度逐項(xiàng)檢查執(zhí)行結(jié)果 1. 信息完整性是否遺漏了原始需求中的關(guān)鍵信息 2. 格式合規(guī)性是否嚴(yán)格滿足輸出格式要求 3. 邏輯一致性是否存在前后矛盾或明顯錯(cuò)誤 4. 冗余度是否包含無(wú)關(guān)信息 5. 準(zhǔn)確性是否存在事實(shí)性偏差 請(qǐng)輸出一份簡(jiǎn)潔的“問(wèn)題清單”。如果沒(méi)有問(wèn)題直接輸出無(wú)問(wèn)題。跑一次看看。我平時(shí)測(cè)試用的就是一個(gè)會(huì)議紀(jì)要提取任務(wù)輸入一段會(huì)議內(nèi)容讓Agent提取待辦事項(xiàng)。第一次跑完反思節(jié)點(diǎn)能夠列出“缺少負(fù)責(zé)人”“格式未按待辦清單列表”這類問(wèn)題說(shuō)明鏈路通了方向正確。3.2 加入條件分支讓反思結(jié)果真正驅(qū)動(dòng)流程鏈路通了之后第二步是讓流程學(xué)會(huì)“分流”。加一個(gè)條件分支節(jié)點(diǎn)放在反思節(jié)點(diǎn)和后繼節(jié)點(diǎn)之間。在Dify里條件分組特別直觀。我可以設(shè)置一個(gè)條件如果反思節(jié)點(diǎn)的輸出文本中包含“無(wú)問(wèn)題”這個(gè)關(guān)鍵詞就走“通過(guò)”分支否則走“需修正”分支。這一步做完hindsight閉環(huán)就真正建立起來(lái)了。這里有一個(gè)關(guān)鍵詞判斷的坑提醒一下讓反思節(jié)點(diǎn)直接判斷“無(wú)問(wèn)題”會(huì)出現(xiàn)一種情況就是問(wèn)題清單末尾寫(xiě)了一大堆問(wèn)題但最后加了一句“除以上問(wèn)題外其余無(wú)問(wèn)題”導(dǎo)致包含“無(wú)問(wèn)題”三個(gè)字誤導(dǎo)分支走向了通過(guò)。所以我在反思提示詞里加了一條硬約束如果存在問(wèn)題禁止輸出“無(wú)問(wèn)題”字樣。并且在條件分支里我擔(dān)心的方向會(huì)反過(guò)來(lái)——用“不包含‘無(wú)問(wèn)題’”作為進(jìn)入修正分支的條件這個(gè)案例里用包含關(guān)鍵詞去判斷更穩(wěn)?!巴ㄟ^(guò)”分支的處理很簡(jiǎn)單直接將執(zhí)行節(jié)點(diǎn)的initial_answer作為最終答案返回不再調(diào)用多余的模型節(jié)點(diǎn)。這既節(jié)省時(shí)間和token也避免一次未發(fā)生的修正產(chǎn)生“畫(huà)蛇添足”的風(fēng)險(xiǎn)。“需修正”分支才是核心環(huán)節(jié)。這里放一個(gè)修正LLM節(jié)點(diǎn)把原始query、initial_answer、反思結(jié)論三樣一起輸入提示詞大致這樣以下是針對(duì)同一任務(wù)的“原始答案”和“審核意見(jiàn)”。 原始需求{query} 原始答案{initial_answer} 審核意見(jiàn){reflection_result} 請(qǐng)根據(jù)審核意見(jiàn)逐項(xiàng)修正原始答案。 要求 - 保留原始答案中正確、合理的部分 - 針對(duì)審核意見(jiàn)的每一項(xiàng)逐一修正 - 輸出修正后的完整答案不要輸出修正說(shuō)明修正節(jié)點(diǎn)的輸出變量名我定義為final_answer結(jié)束節(jié)點(diǎn)直接引用這個(gè)變量作為最終輸出。到這一步“執(zhí)行—反思—修正”閉環(huán)已經(jīng)可以在Dify里完整跑通了。3.3 找回之前提到的問(wèn)題迭代限制與防抖設(shè)計(jì)閉環(huán)跑通之后馬上會(huì)暴露一個(gè)新問(wèn)題流程只修正一次如果修正完還是有錯(cuò)呢理論上hindsight是一個(gè)可以循環(huán)的機(jī)制一次修正之后還可以把修正結(jié)果再次送進(jìn)反思節(jié)點(diǎn)再做一輪檢查。但實(shí)際工程里無(wú)限循環(huán)是災(zāi)難。所以我做了一個(gè)叫“反思輪次上限”的設(shè)計(jì)。具體做法是在開(kāi)始節(jié)點(diǎn)定義兩個(gè)變量一個(gè)叫reflection_count默認(rèn)值為0另一個(gè)叫max_reflection_count默認(rèn)值為1。執(zhí)行完修正節(jié)點(diǎn)后新設(shè)計(jì)一個(gè)代碼節(jié)點(diǎn)把reflection_count加1。然后在整個(gè)閉環(huán)的入口加條件判斷如果reflection_count小于max_reflection_count就再次進(jìn)入反思節(jié)點(diǎn)否則直接跳出循環(huán)輸出當(dāng)前答案。這個(gè)設(shè)計(jì)相當(dāng)于給反思加了一個(gè)“剎車閘”防止Agent陷入無(wú)休止的自我修改。雖然Dify自帶迭代節(jié)點(diǎn)的能力但循環(huán)控制還是用變量加條件判斷最直觀調(diào)試的時(shí)候上下文中能清楚看到每一輪的數(shù)字變化。另外一個(gè)值得一提的設(shè)計(jì)是“修改置信度”。我在修正分支里加了一個(gè)邏輯讓反思節(jié)點(diǎn)在輸出問(wèn)題清單的同時(shí)輸出一個(gè)“問(wèn)題嚴(yán)重度”字段用高、中、低來(lái)標(biāo)記。如果嚴(yán)重度是“低”修正節(jié)點(diǎn)就會(huì)優(yōu)先保守調(diào)整盡量保持原答案如果嚴(yán)重度是“高”修正節(jié)點(diǎn)就可以大膽重寫(xiě)。這樣防止反思把所有小瑕疵都放大對(duì)這個(gè)機(jī)制的穩(wěn)定性很有用。3.4 關(guān)鍵參數(shù)與變量清單直接抄作業(yè)我把這套hindsight工作流涉及的節(jié)點(diǎn)清單和關(guān)鍵參數(shù)整理了一份表格照著配置就能搭出可用版本。節(jié)點(diǎn)名稱節(jié)點(diǎn)類型關(guān)鍵輸入變量關(guān)鍵輸出變量重要參數(shù)任務(wù)輸入開(kāi)始無(wú)query段落reflection_count0, max_reflection_count1執(zhí)行節(jié)點(diǎn)LLMqueryinitial_answertemperature0.3選用任務(wù)主模型反思節(jié)點(diǎn)LLMquery、initial_answerreflection_resulttemperature0.2與執(zhí)行節(jié)點(diǎn)同模型分流判斷條件分支reflection_result無(wú)包含“無(wú)問(wèn)題”則通過(guò)否則進(jìn)入修正修正節(jié)點(diǎn)LLMquery、initial_answer、reflection_resultfinal_answertemperature0.3與執(zhí)行節(jié)點(diǎn)同模型輪次控制代碼節(jié)點(diǎn)reflection_count、max_reflection_countreflection_count加1后返回最終輸出結(jié)束final_answer無(wú)無(wú)整套流程之所以能用關(guān)鍵就在變量的傳遞鏈路query貫穿全程initial_answer是執(zhí)行產(chǎn)物reflection_result是反思結(jié)果final_answer是修正產(chǎn)物。把這段變量關(guān)系理順后你就能在這套骨架上自由改造塞進(jìn)自己的業(yè)務(wù)邏輯。4. 踩坑實(shí)錄與排查技巧我在這里面試錯(cuò)過(guò)很多次4.1 反思流死循環(huán)一次真實(shí)的事故復(fù)盤(pán)第一次上線帶反思功能的Agent時(shí)我遇到過(guò)一個(gè)很頭疼的問(wèn)題同一個(gè)請(qǐng)求進(jìn)來(lái)流程跑的時(shí)間一次比一次長(zhǎng)最后直接超時(shí)。看日志發(fā)現(xiàn)修正節(jié)點(diǎn)跑完之后反思節(jié)點(diǎn)又開(kāi)始挑毛病修正節(jié)點(diǎn)又改反思又挑……陷入了死循環(huán)。排查過(guò)程其實(shí)不難但很值得復(fù)盤(pán)。我先在Dify的調(diào)試信息里看每一輪的變量變化確認(rèn)是不是reflection_count一直沒(méi)加上去。結(jié)果發(fā)現(xiàn)我最初設(shè)計(jì)的循環(huán)控制代碼里把“重新賦值給reflection_count”這一步漏了——加1以后沒(méi)有寫(xiě)回變量永遠(yuǎn)是0于是條件永遠(yuǎn)滿足死循環(huán)就發(fā)生了。解決方案就是我上面說(shuō)的在代碼節(jié)點(diǎn)里把new_count賦值給reflection_count保證每一輪都更新。之后我還在代碼節(jié)點(diǎn)后加了一個(gè)“最大輪次提示”的文本拼接當(dāng)reflection_count達(dá)到上限時(shí)自動(dòng)在答案末尾追加一行“系統(tǒng)已完成多次反思修正建議人工復(fù)核”。這樣即使答案不夠完美用戶也能知道這個(gè)結(jié)果經(jīng)歷了怎樣的處理過(guò)程比我之前悶頭輸出好很多。4.2 反思把本來(lái)正確的答案改錯(cuò)了死循環(huán)解決后又來(lái)了一個(gè)新問(wèn)題反思有時(shí)候“過(guò)度敏感”。有一次我讓它處理一份請(qǐng)假審批的新規(guī)定提取任務(wù)執(zhí)行節(jié)點(diǎn)第一遍給出的答案其實(shí)已經(jīng)對(duì)了但反思節(jié)點(diǎn)挑了一個(gè)措辭不精確的小毛病修正節(jié)點(diǎn)為了“討好”審查意見(jiàn)把原本準(zhǔn)確的表述改成了一個(gè)模糊的說(shuō)法反而把答案改錯(cuò)了。這個(gè)問(wèn)題讓我意識(shí)到反思機(jī)制必須有一個(gè)“副作用控制”機(jī)制。后來(lái)我做了兩個(gè)調(diào)整。第一修正節(jié)點(diǎn)的提示詞里強(qiáng)調(diào)“如審核意見(jiàn)所述問(wèn)題不存在或不影響正確性保持原始答案不動(dòng)”讓修正節(jié)點(diǎn)在被“帶節(jié)奏”時(shí)具備基礎(chǔ)判斷力。第二反思節(jié)點(diǎn)的輸出結(jié)構(gòu)里塞入“問(wèn)題嚴(yán)重度”字段讓反思端先自我評(píng)估修正節(jié)點(diǎn)只針對(duì)高、中危險(xiǎn)度的問(wèn)題動(dòng)手低危問(wèn)題允許不處理。這兩個(gè)調(diào)整落地之后反思的“誤傷率”明顯降下來(lái)了。我自己測(cè)了一百條樣本修正后正確率從原來(lái)的不到70%提高到了93%左右核心不是讓模型多“想”而是讓流程多了一層糾偏機(jī)制。4.3 模型互相“看不慣”導(dǎo)致的連鎖問(wèn)題還有一個(gè)很有意思的坑。當(dāng)時(shí)我為了省錢(qián)反思節(jié)點(diǎn)用了小參數(shù)模型修正節(jié)點(diǎn)用了大參數(shù)模型。結(jié)果小參數(shù)模型的輸出質(zhì)量明顯低于修正模型的它給出的“反思意見(jiàn)”經(jīng)常是模棱兩可甚至離譜反而嚴(yán)重誤導(dǎo)了修正節(jié)點(diǎn)。這印證了我在2.3里提到的原則反思節(jié)點(diǎn)和修正節(jié)點(diǎn)建議使用同一模型至少不能相差一個(gè)代際。如果預(yù)算確實(shí)有限也盡量不要讓水平差距過(guò)大的模型處于同一決策鏈路上。后來(lái)我把反思節(jié)點(diǎn)換成和修正節(jié)點(diǎn)同型號(hào)的模型之后這個(gè)問(wèn)題的出現(xiàn)頻率低到可以忽略。這個(gè)坑的教訓(xùn)是在hindsight機(jī)制里反思質(zhì)量決定修正效果。如果把反思節(jié)點(diǎn)比喻成“質(zhì)量員”讓一個(gè)水平明顯不足的質(zhì)量員去給優(yōu)秀的工人挑毛病不僅幫不上忙還會(huì)幫倒忙。4.4 一個(gè)小技巧用日志節(jié)點(diǎn)做反思過(guò)程透明化調(diào)試的時(shí)候最困擾我的是流程跑完了但我不知道反思節(jié)點(diǎn)到底基于什么判斷出了問(wèn)題。Dify允許我加一個(gè)“直接回復(fù)”節(jié)點(diǎn)作為臨時(shí)調(diào)試用但正式流程里我沒(méi)有保留這些額外輸出。更好的辦法是在流程分支里加一個(gè)日志節(jié)點(diǎn)把reflection_result完整記錄到系統(tǒng)日志里。線上跑的時(shí)候出問(wèn)題可以快速回看是反思環(huán)節(jié)的判斷失誤還是修正環(huán)節(jié)的執(zhí)行失誤瞬間就能定位問(wèn)題環(huán)節(jié)。這個(gè)習(xí)慣幫我節(jié)省了大量排查時(shí)間。另外利用Dify的“發(fā)布為API”能力我把hindsight工作流做成了一個(gè)內(nèi)部服務(wù)接口。業(yè)務(wù)系統(tǒng)調(diào)一次這個(gè)API傳入用戶問(wèn)題拿到的就是經(jīng)過(guò)反思修正的最終答案。這套對(duì)接方式對(duì)團(tuán)隊(duì)協(xié)作很友好其他同事不需要理解Dify的細(xì)節(jié)也能直接調(diào)用這個(gè)帶反思能力的Agent服務(wù)。5. 從Demo到生產(chǎn)hindsight機(jī)制還能怎么擴(kuò)展5.1 多輪反思與長(zhǎng)任務(wù)記憶上面講的每一輪流程都是針對(duì)單次問(wèn)答的反思。但如果任務(wù)周期拉長(zhǎng)比如讓Agent負(fù)責(zé)一個(gè)持續(xù)一周的項(xiàng)目管理工作每一輪反思結(jié)束后它的表現(xiàn)改善成果就會(huì)歸零。這非??上?。我的擴(kuò)展思路是把“反思結(jié)論”和“修正要點(diǎn)”持久化作為下一輪任務(wù)的調(diào)度上下文。在Dify里這可以通過(guò)會(huì)話變量或者外部數(shù)據(jù)庫(kù)來(lái)實(shí)現(xiàn)。每次反思節(jié)點(diǎn)產(chǎn)出的“問(wèn)題清單”除了用于本次修正之外同時(shí)寫(xiě)入一個(gè)歷史反思記錄字段。下一輪執(zhí)行節(jié)點(diǎn)啟動(dòng)時(shí)把這個(gè)記錄拼進(jìn)系統(tǒng)提示詞里讓Agent從一開(kāi)始就避開(kāi)上次踩過(guò)的坑。這一步的效果非常明顯。我試了一個(gè)連續(xù)做五輪信息整合任務(wù)的Agent激活跨輪記憶之后第五輪的初始答案質(zhì)量比第一輪經(jīng)過(guò)hindsight修正后的答案還要高。這相當(dāng)于把“事后反思”升級(jí)成了“事前經(jīng)驗(yàn)”是最有價(jià)值的擴(kuò)展方向。5.2 引入人工抽檢與評(píng)價(jià)反饋hindsight機(jī)制不是萬(wàn)能的。尤其是當(dāng)反思節(jié)點(diǎn)和修正節(jié)點(diǎn)用同一個(gè)模型時(shí)它們共享了同一套“盲區(qū)”。我遇到過(guò)一種情況執(zhí)行節(jié)點(diǎn)漏掉的某個(gè)細(xì)節(jié)反思節(jié)點(diǎn)也漏掉了因?yàn)閮蓚€(gè)節(jié)點(diǎn)對(duì)原文的理解幾乎沒(méi)有差異。要解決這個(gè)問(wèn)題就需要在Dify里引入人工評(píng)價(jià)節(jié)點(diǎn)讓人參與質(zhì)量的閉環(huán)。我的做法是設(shè)置一個(gè)簡(jiǎn)單的沖刺評(píng)估邏輯當(dāng)我抽查到修正答案仍不達(dá)標(biāo)時(shí)給這個(gè)會(huì)話打上一個(gè)人工標(biāo)記并把人工意見(jiàn)加入到反思提示詞里作樣例引導(dǎo)后續(xù)反思節(jié)點(diǎn)鑒別類似case。這一步的效果提升比單純換模型來(lái)得更直接。hindsight機(jī)制本身也可以往“自動(dòng)生成評(píng)價(jià)標(biāo)準(zhǔn)”方向演進(jìn)。比如針對(duì)特定任務(wù)讓反思節(jié)點(diǎn)在每次修正前先盤(pán)點(diǎn)一遍“本任務(wù)的關(guān)鍵風(fēng)險(xiǎn)點(diǎn)”而不是完全套用我預(yù)設(shè)的五維模板。Dify的變量和模板能力可以輕松支持這種自定義反思策略的動(dòng)態(tài)調(diào)整。5.3 用這條鏈路養(yǎng)成屬于自己的“反思智能體”如果你已經(jīng)跑通了基礎(chǔ)版hindsight流程我強(qiáng)烈建議大家再往前一步讓Agent不僅反思任務(wù)結(jié)果也反思整個(gè)執(zhí)行鏈路。設(shè)計(jì)一個(gè)復(fù)盤(pán)助手在hindsight每次把最終答案返回給用戶的同時(shí)后臺(tái)對(duì)整條流程的執(zhí)行效率也做一次輕量分析比如是否步驟過(guò)長(zhǎng)哪些節(jié)點(diǎn)輸出質(zhì)量低是否可以直接跳過(guò)部分檢查。這樣循環(huán)優(yōu)化你的Dify應(yīng)用本身也會(huì)越變?cè)胶谩N易龅淖詈笠粋€(gè)優(yōu)化是把反思節(jié)點(diǎn)輸出格式改成結(jié)構(gòu)化JSON把問(wèn)題項(xiàng)、嚴(yán)重度、對(duì)應(yīng)原文段落全部字段化。原來(lái)純文本的問(wèn)題清單解析起來(lái)不方便改成JSON之后修正節(jié)點(diǎn)判斷起來(lái)更準(zhǔn)確后續(xù)接數(shù)據(jù)分析也方便。這一步小的重構(gòu)讓整個(gè)hindsight流程上了一個(gè)大臺(tái)階。寫(xiě)在最后的一點(diǎn)體會(huì)我最初接觸hindsight機(jī)制時(shí)覺(jué)得它不過(guò)就是“讓AI自我檢查”。真正做完一輪完整的開(kāi)發(fā)和上線之后我的體會(huì)變了。hindsight落到實(shí)處的關(guān)鍵不是單純讓模型多想一想而是把一個(gè)“事后糾偏”的路徑工程化、流程化給它設(shè)置明確的分工、判斷標(biāo)準(zhǔn)和防錯(cuò)機(jī)制。如果你也打算在Dify里嘗試這個(gè)機(jī)制我建議從小事做起先搭骨架、再跑通鏈路、再逐步加限制條件。千萬(wàn)不要一開(kāi)始就追求完美閉環(huán)先把反思節(jié)點(diǎn)的一輪迭代做扎實(shí)再去想多輪反思和跨輪記憶。等你把基礎(chǔ)鏈路跑順之后再回頭優(yōu)化反思提示詞的質(zhì)量會(huì)省很多力氣。這套方法給我的項(xiàng)目帶來(lái)很明顯的滿意度提升希望它也能幫到你。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
999影院成人在线影院| 爱操人妻| 色人五月婷婷| 一级性感黄色内射视频| 欧美肉大捧一进一出免费视频| 99热这里只有精品国产精品| 亚洲旡码| 亚洲AV日韩在线观看| 少妇高潮一区二区三区99欧美| 婷婷激情五月天亚洲综合| 国产在线黄色| 久久久欧美精品sm网站| 97丁香视频| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 色综合女人99| 精品香蕉99久久久久网站| 五月天婷婷视频| 久久玖玖综合| 九九 激情 网| 五月丁香花视频| 丁香色婷婷五月天| www五月天激情com| 五月丁香婷婷人体| 婷婷色五月色妇| 日日噜噜久久婷婷五月天 | 一本色道久久综合狠狠躁小说| 日逼免费视频| 人人人舔人人人操人人人摸人人人97| 激情98色婷婷五| 六月色国内综合| 婷婷成人五月天成人文学| 国产三级在线播放| www.狠狠操| 九九激情| 99精品热视频| 久这里只有精品99| 丁香婷婷综合影院| 五月播播| 91人人操人人| 九九色逼| 色婷婷色五月另类综合| 伊人玖玖精品| 偷拍九九五月丁香婷婷| 日本狠狠网| 中文字幕婷婷在线| 九九99热| 任你爽精品免费视频6| 激情丁香五月| 久操大香蕉| 中文在线成人| 五月天色图| 色无码| 色五月丁香六月资源站| 99久久国产宗和精品1上映| 伊人大香五月天| 99re6在线视频精品免费| 六月婷伊人| 蜜乳久AV| 丁香蜜臀黄色婷婷五月天| 综合激情视频| 婷婷五月激情综合| 婷婷五月天免费99| 色婷婷激情视频| 激情五月瑟瑟| 国产99久久久| 色婷婷先锋| 九九色插| 99热手机在线精品| 这里只有精品久| 99视频免费播放| se99视频| 啪啪一区| 久久久宗合视频88| 五月狠狠| 九九综合视频在线观看| 影音先锋一区二区三区| 五月丁香激情综合六月涩涩爱| 六月丁香深深爱综合网| 色高清无码视频| 美女五月天| 九九热精品| 99热精品一| 这里只有精品99www| 成人 九九九九| 丁香五月六月婷婷综合| 九九色精品| 婷婷五月天基地| 久久99jiu9| 色婷婷亚洲综合天堂| wwW天天干| 色婷婷丁香花五月天| 色播五月婷婷五月| 99热99久久| 丁香婷婷五月综合色情| 99成人精品| 91精品无码久久久久久五月天| 91久久婷婷| 久久久久久久丁香五月天婷婷| 色色色99| 丁香五月激情站| www九九免费视频| 色综合网址| 99精品在线| 97人人妻人人艹| 337p大胆噜噜噜噜噜91Av| 婷婷久久六月费| 在线va网站| 99re青青草| 粉嫩AV久久一区二区三区| 97人人操| 欧美在线97| 99无码精品| 99热在线这里| www,com,五月色色| 五月天婷综合| 超碰人人色| 成人综合网站| 色999亚洲人成色| 思思热在线| 五月丁香网站| 色综啪啪| 六月婷婷视频| 亚洲精品白浆高清久久久久久| 99爽视频| 天天天干夜夜夜操| 熟女人妻一区二区三区免费看 | 天堂久久精品| 日韩 中文 欧美| 丁香五月五婷| 狠狠操狠狠操| 五月天综合网| 香蕉AV777XXX色综合一区| 久久色情| 日本少妇裸体做爰高潮片| 黄色片久久| 内射人妻视频国内| 亚洲成人在线观看av| www.玖玖九| 美女被肏网站在线看| 五月色激情综合网| 激情久久久久久久久久久| 玖玖爱综合网| 五月婷婷 六月丁香| 婷婷丁香五月天亚洲| 六月欧美综合色情| 丁香婷婷六月天| www.日韩艹| 婷婷激情五月天天天开心| 色婷婷五月天激情| 四色女婷婷| 五月天色视频| 丁香五月首页| 丁香五月色| 亚洲妇女熟BBW| 六月丁香婷婷爱| 超级碰91| 激情精品久久| 婷婷激情综合| 91久久婷婷| 欧美交换配乱吟粗大25P| 婷色五月| 91精品丝袜久久久久久久久粉嫩| 久久99热这里| 999久久久国产精品| 色五月婷婷久久| 国产中文字幕在线视频免费观看| 青青草搞屄视频网站| 99精品久久久久久久婷婷久久| 激情五月婷婷视频一区二区三区| 激情婷婷五月天| 好叼操在线观看| 色综合久久综合中文综合网| 丁香综合网| 久久婷婷五月综合啪| 99久视频| 天天操天天爱天天日| 狠狠色噜噜狠| caopeng97日韩| 秋霞性爱AV| 97爱综合| 色五月五月婷婷| 久久五月热| 99热这里只有精品18| 熟女少妇内射日韩亚洲| 午夜九九电影| 色欲久久综合| 婷婷丁香视频在线观看免费| 婷婷五月婷| 成人在线视频网| 亚洲精品另类| 五月婷婷自拍视频| 日韩综合成人| 射久久丁香五月| 国产成人精品亚洲线观看| 91男同| 荷兰av一级| 亚洲V国产V欧美V久久久久久| www婷婷| 玖玖爱资源站| 久久久久久综合88| 人妻久久久久久久| 五月天日日操夜夜操| 精品人妻伦一二三区久久| 五月天狠狠色| 狠狠操综合| 婷婷成人综合| 韩国真做片在线观看| 丁香婷婷五月激情综合| 怡红院AV亚洲一区二区三区H | 五月丁香激情综合网| 影音先锋91资源站| 99九九精品视频| 欧美人久久| 色99在线视频| 色狠狠激情五月| 任你躁XXXXX麻豆精品| 夜夜撸日日骑| 九九色人| 九九九九九九毛片| 91综合在线| 久鲁鲁色网| 99热在线观看| 婷婷操久久| 精品婷婷五月视| 伊人影院久久网| 丁香五月色| 五月丁香六月合| 黄久久久| 成人AV播放| 激情五月天激情综合网| 婷婷五月天黄色小说| 亭亭色色五月天| 久久99免费视频网站| 国产,欧美,学生妹,视频| 日本久久人| 丁香五月婷婷五月天| 欧美日韩成人综合9| www.操.com| 九九精品自拍| 激情婷婷五月色| 99综合| 另类图片激情五月天| 色天堂婷婷| 婷婷五月天激情五月天| 国产毛片精品一区二区色欲黄A片| 丁香婷婷激情五月色| 久久婷婷超碰| 久久久中文| 婷婷丁香五月天亚洲| 99热欧美偷拍| 最近韩国日本免费高清观看| 五月天网站亭亭| 激情综合区| 国产偷人爽久久久久久老妇APP| 99久久免费精品| 超碰成人av| 亚洲12p| 五月天婷婷7米| 亚洲综合视频天天精品| 伊人久久99| 麻豆精品| 五月婷婷激情啪啪| 婷婷丁香成人| 色综合久| 五月天婷婷青青| 五月天婷婷久久| 婷婷丁香亚洲五月天| www.99久| 97极品在线| 亚洲精品又粗又大又爽A片| 开心婷婷五| 中文字幕丰满乱孑伦无码专区 | 激情久久五月天| 97操在线资源| 国产毛片精品一区二区色欲黄A片| 热99在线精品| 亚洲人妻电影| 九九视频精品视频精品| 日夜操B| 在线五月婷| 51XX午夜影福利| 五月丁香六月情亚洲| 色五月激情综合| 色色999三级片| 亚洲国产精品SUV| 亚洲婷婷丁香| 五月丁香六月婷| 妻久久人久久| 天天操天天插| 亚洲国产成人在线| 婷色五月| 欧美叉叉叉BBB网站| 天天干天天干天天| AA片在线观看视频在线播放 | 一个色的综合| 五月花丁香婷婷| 99热精品在线在线| 最近韩国日本免费高清观看| wwww.9免费视频| 婷婷激情六月中文| 99riAv1国产在线观看| 久久久久9| 极品另类| 、激情六月天| 五月花婷婷最新| 久久这里只有国产精品视频| 99re8在这里只有精品| 色噜噜婷婷| 99re在线这里只有精品视频首页| 欧美激情凹凸丁香网| 久久机只有这里精品| 99re这里只有精品视频了| 国产色99| 色婷| 奇米影视在线视频| 狠狠综合网| 九九精品片一| 青青草五月天| 91玖玖| 国产在这里只有精品| 伊人五月天在线| 五月婷婷激情| 第四色激情网| www.婷婷.com| 五月激情婷婷在线| 操逼视频网址| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 亚洲精品网址| 中文字幕在线免费| 无码一区二区三区四区五区| 99热在线精品观看| 五月丁香激情四射| 亚洲日本韩国| 国产av基地| 日 日干 日日做| 婷婷五月18永久免费视频| 99热网站| 成人资源在线| 色综色网| 久草五月婷婷| www.久久av.com| 大香网伊人久久综合| 最近免费中文字幕大全高清大全1| 色色色五月| 五月丁香成人网| 婷婷开心激情| 男人的天堂99| 思思热在线| 91大屁股精品| 无码色| caopeng97人人| 99国产在线| 九月丁香婷婷基地| 天天爽天天日| 婷婷激情视频| 91婷婷| 99久久a线观| 久久黄A片| 开心激情播播五月天| 九九九色综合| www.久久久久久| 色婷婷色五月综合| 一起草AV| 都市激情久久| 国产成人精品亚洲线观看| 另类图片天天影视在线观看| 天天色视频| 五月婷性爱| 可以直接看的av网站| 婷婷六月啪啪| site:xiongshengzz.com| 久热只有精品| 26uuu国产精品| 99网| 五月婷婷色激情| 久久er99热精品一区二区| 亚洲婷婷五月天综合| 婷婷色六月| 久色成人| 丁香五月天激情四射网络不好| 久久婷婷六月综合综合色| 99re在线免费视频| 97干在线| 天天上天天爽| 亚洲天堂啪啪| 91919191919久久成人视频| 五月天天爽| 激情床戏| 五月天婷婷色色首页| 成人精品一区日本无码网| 五月婷婷九| 婷丁香五月天| 色色色激情网| 色色五月婷婷| 亚洲射激情| 天天看A片| 影音先锋777xfplay色资源网站| av免费在线观看0| 深爱激情九九五月天| 激情五月婷婷综合秋霞| 欧美 日韩 成人| 激情性爱五月天| 成人在线日韩| 青青草视频福利| 男同色五月开心五月激情五月| 思思热性操| 欧美69色| 99燥99日| 大香蕉五月天婷婷| 十一月婷婷激情四射| 开心五月激情| www.99热在线观看| 色婷婷四虎| 九九综合伊人| 99a级片| 五月天激情网图片 - 百度| 欧美人人超级碰| 国产精品久久久久久久久久 | 激情久久久久久久久久久| 五月丁香在线| 久99热| 激情AV在线| 五月婷婷丁香社区| 久久AAAA片一区二区| 99精品偷自拍| 内射人妻视频国内| AA丁香综合激情| 丁香五月婷婷基地| 色人五月婷婷| 中文网婷婷字幕婷| 亚洲视频在线网站| 久久婷婷五月丁香网| 亚洲情a| 超碰AAAAAAV| 色婷婷国色天香综合| 十区AV| 色综合中文色综合网| 日韩精品一区二区刘| 欧美搡BBBBB摔BBBBB| 夜夜爱网站| 亚洲热久久| 亚洲精品午夜国产va久久成人| 丝袜人妻| 久热99| 中文字幕无线久必| 国产av网| 射久久丁香五月| 色色色五月| 色综合日日| 日本熟女内射| 色婷婷精品视频| 日本熟妇精品99| 激情综合网五月婷婷| 国产av天堂| 丁香五婷| 色播五月丁香婷婷| 五月丁香操婷逼| 北京熟妇搡BBBB搡BBBB| 婷婷综合九色伊人| 狠狠大香婷婷爱| 9久热这里只有精品| 91久久九久久九久久九久久九久久| 免费亚洲婷婷| 99精品在线播放| 色综合网址| a网站免费观看| 婷婷狠狠干| 色婷婷AV在线观看| 五月激情五月丁香| 5月婷婷激情在线| 久久只有18视频| 亚洲网站观看视频| 玖玖精品视频| 婷婷综合天堂| 色婷婷丁香五月高清在线| 天天爽天天摸| 国产欧美精品AAAAAA片| 大香蕉久| 天天草比天天爽| 色一情一乱一伦一区二区三区| 碰碰女| www.色婷婷| 五月成人网站| 九九五月天| 亚洲日比视频| 五月天婷婷色综合| 欧美日朝成人| 人人97操| 天天上天天爽| 色九月婷婷| www.99热这里精品| 久久这里有精品视频| 色综合五月天| 亚洲啪啪啪啪| 啪啪综合网| 久久综合色五月| 色五月婷婷婷婷婷婷婷婷婷婷| 国产日批视频免费播放| 天天做天天爱综合| 激情www| 色婷婷性爱网| 26.uuu丁香五月婷婷| 丁香五月婷婷狠狠色| 97色色-99久久| 激情图片99| 五月婷婷黄色| 丁香伊人综合| 九九热黄色| 超碰成人影视| 丁香大香蕉| 五月丁香天堂网婷婷| 色婷婷精品| 99久久玖玖| 日本天天色| 中文字幕高清av| 丁香五月在线人妻| 婷婷成人视频| 九九99九九精品视频| 久久五月天婷婷视频| 婷婷五月综合亚洲| 丁香五月婷婷激情网| 久久91久久精品久久| 久久九九爽| 三区激情四射av| 亚洲九九在线| 五月 成人 婷婷| 精品人妻午夜一区二区三区四区 | 五月婷六月| 五月天五月婷五月激情网| 婷婷久久大香蕉| 啪啪激情综合| 猫咪伊人久久| 黄色一极大片| 亚洲综合色棒| 婷婷五月丁香性爱| 人人人人人人人人人草| 婷婷的色色五月天| 任你爽在线视频| 丁香五月丐人妻| 日本成人小说婷婷六月| 五月丁香六月激情综合| 人妻AV在线| 激情五月天视频| 蜜臀av 粉嫩av 懂色av| 爱草视频在线| 最新高清无码专区| 日本婷婷综合精品| 91蜜桃婷婷狠狠久久综合9色| 色五月婷婷婷婷婷婷婷婷婷婷| 五月丁香久久| 久久丁香| 91色久| 97人妻碰碰碰久久香蕉| 激情五月小说婷婷| 97碰碰草| 99er6| 激情综合网五月天| 色色99| 激情综合色| 成人精品人妻| 中文字幕AV在线播放| 日韩综合久久| 国产激情综合五月久久| 久久久久9| 婷婷网五月天| 婷婷五月AA五月在线| 激情综合五月| 久久九九99亚洲国产久精综合| 日韩久久欧亚| 99久久激情视频| 免费视频舔| 开心五月婷婷| 五月丁香色婷| 麻豆忘忧草午夜| 九九热免费| 激情婷婷五月社区| 国产精品色色| 久久婷丁香五月| 成人精品在线| 亚洲日韩人妻操逼| 色五月色开心开心五月| 五月天成人免费视频| 色情五月天丁香社区| 色播五月婷婷| 99热九九在线| 色一情一乱一乱一区91| 亚洲精品无码一区二区| 丁香激激情网| 玖玖婷婷精品| 嫩草AV久久伊人妇女超级A| 久久激情五月婷婷| 久久九九爽| 久久婷婷色| 爱婷婷久久视频| 五月丁香婷婷啪啪网| 第四色激情网| 激情综合网 激情五月天| 在线五月婷| 久久精品五月天| 91精品国产91久久久久青草| 亚洲综合色网| 五月天播播中文字幕| 啪啪色激情五月天| 国产毛片精品一区二区色欲黄A片| 五月天综合影院| 五月色综合网欧美网| 色婷婷aV四虎| 丁香五月天大香蕉啪啪| 色噜噜狠狠一区二区三区| 久久人妻乱| 亚洲综合色网站| 五月天婷婷狠狠| 成AV人片一区二区三区久久| 亚洲天堂aaaa| 天天综合插插| 96精品久久久久久久久| 日本91在线播放| 婷婷金品综合视频| 人人草人| 思思热久久婷婷五月天| 天天骑日日爽| 丁香色综合| 六月色 亚洲| 色婷五月天| 97色干| 人妻22p| 日本女人久久| 日日噜狠狠色| 激情五月天色婷婷| 影音先锋 婷婷| 综合激情婷婷| 五月久久婷婷丁香| 成人丁香色| 九九热99精品| 五月激情综合网婷婷| 国产亚洲精品AAAAAAA片| 色婷操逼| 4438激情网| 狠狠五月天| 五月花激情| 噜噜色com| 丁香婷婷色五月合集| 日韩一66精品| 99热精品少| 99热乎| 久久精品婷婷| 久久综合婷婷五月| 五月婷婷视频28| 五月婷婷co.m| 狠狠狠狠狠狠狠狠草| 婷婷五月激情六月丁香| 99热乎| 日韩啪啪视频| VA国产在线综合网站| 亚洲婷婷基地| 色六月婷婷| 九九亚洲视频| 丁香六月av| 久久精品视频9| 久久六月综合| 国产精品爽爽久久久久久| 色六月婷婷| 成人版视频在线观看| 国产日韩欧美| 国产精品美女| 亚洲中文av| 泰州成人视频| 国产又色又爽又黄又免费| 天天综合天综合久久网| 六月丁香成人| 色婷五月天| 丁香五月综合在线| 另类激情五月在线视频欧美| 99九九视频| 亚洲精品又粗又大又爽A片 | 性爱五月婷婷| 婷婷永久在线| 丁香六月开心| 互月天综合| 天堂综合久久| 色婷婷av在线观看| 久久久日韩特色特黄AAAA| 区啪精品| 99激情网| 激情五月色播五月| 五月婷在线观看| 五月丁香婷久久| 色九网| 丁香六月亚洲综合| 五月婷婷激情网| 91久久久久久久久久18| 99热在线网站| 久久视频婷婷视频| 夜夜撸日日骑| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 日本色色色| 色色色色丁香| 久热99| 天天爽天天日天天舔| 玖玖精品视频| 丁香五月九九| 五月天色婷婷小说| 色99在线| 一级精品999WWW| 成人丁香婷婷五月天| 天天操夜夜操| 91超级碰碰| 丁香五月天激情综合| AAA久久| 丁香五月天AV在线| 五月天合网| 国产无人区大片| 亚洲成AV人片在线观看| 婷丁香五月天| 午夜丁香| 97碰久久| 99久久九九| 91日视频| 亚洲激情Av| 99精品网站| 99热免费| 99手机在线精品视频| 五月丁香六月婷婷色| 黄网在线免费观看| 99人人操人人操人人精| 五月丁香婷婷激情视频| 丁香五月五月婷婷欧美大香蕉| 九九黄色网| 五月婷久久| 亚洲综合视频网| 激情五月激情综合网| 五月丁香人妻| 五月丁香婷婷综合网| 五月天社区婷婷丁香社区| 五月激情婷婷丁香天堂| 久久九九re热| 五月婷婷婷婷| 色吧婷婷五月亚洲| 五月丁香激情综合六月涩涩爱| 激情婷婷六月天| 亚洲熟女乱色综合亚洲网站| 成人丁香五月| 一级七香蕉| 久色资源| 国产日比| 日韩综合大黄| 伊人丁香五月婷婷潮吹| 色五婷婷在线视频| 激情丁香社区| 777影视理论片大全在线观看| 激情婷婷内射| 久久草大香蕉| www.夜夜操.con| 国产午夜精品AV一区二区麻豆| 婷婷六月插屄激情| 久草丁香婷婷1024| 五月丁香在线看| 亚洲综合1024| 97成人丁香婷婷| 香蕉AV777XXX色综合一区| 色五月丁香五月天| 五月停亭六月,六月停亭的英语 | 99狠狠操一| 欧美日韩成人在线免费| 99色在线视频| 性生活久久人妻| 大香蕉 伊人夜| 99热这里有精品| 深爱激情av| 色婷天天| 久热免费| 久99久热只有精品国产99| 亚洲妇女熟BBW| 久热网站| 九九久久五月天综合伊人| 婷婷五月综合在线| 就爱啪啪婷婷| 五月色亚洲| 欧洲色区| 成人在线精品| 五月婷婷色情| 婷婷五月天色色| 五月久久丁香| 综合激情视频| 国产日批视频免费播放| 亚洲AV成人精品网站在线播放| 深爱激情五月天| 欧美成人无码一区二区三区| 亚洲a片免费观看| 丁香五月第九色| 97人妻人人| 风流少妇A片一区二区蜜桃 | 狠狠色丁香| 丁香五月乱中文字幕| 热99精品视频在线观看| www.金莲av| 色色色色色色色色综合网| 无码人妻一区二区三区四区| 中文字幕综合| 啪啪操操| 操操天堂| 大香蕉五月婷婷| 91人无码久久久久久| 色五月激情| 五月丁香婷婷综合网色欲| 五月丁香久久综合| 先锋男人91资源| 国产性av| 婷婷久久色| 99这里有精品视频| 天天做好综合色| 激情五月婷婷网在线观看| 99热思思久| 久久精品视频99| 欧美色色色色色色| 免费AV在线| 夜夜操加勒比| 狼人久草| 久操婷婷| 狠狠爱综合| 另类小说五月天| 综合久久人妻| WWW五月| 婷婷五月天激情综合网| 丁香婷婷六月激情综合| 日 日干 日日做| 亚洲激情 久久| mmm1717.6dbm人人爱人人操| 激情五月天之六月婷婷| 亚洲色婷婷99一9|| 99高级会所久久| 九九热这里都是精品6| 天天搽天天射| 99er6免费视频热播| 丁香五月激情婷婷视频| 99欧州偷拍视频| 色五月激情| 丁香 亚洲 久久| 影视av久久久噜噜噜噜噜三级| 综合久久高清| 这里只有视频精品| 狠狠五月天婷婷| 色婷婷五月天激情久久| 国产另类综合| 丁香五月中文字幕久色| 婷婷五月丁香伊人| 欧美超级视频97| 五月婷婷AV| 日日日日日| 伊人久久丁香狠狠婷婷综合香蕉 | 综合天堂AV久久久久久久| 丁香婷婷五月天成人| 婷婷五月天久久综合88| 亚洲色色在线| 2025年最新亚洲在线欧美| 日日夜夜婷婷| 几激情五月婷婷色五月色天堂| 97久久超碰| 另类天堂| 4399精品一区二区| 一本久道综合99| 就爱操www com| 天天色色天天| 天天操比比| 婷婷五月开心六月AV| 伊人久久大香线蕉亚洲五月天,| 欧美精品久| 天天五月丁香五月| 天天综合色综合| 丁香五月在线播放| 久久九九热re6这里有精品| 色婷婷综合成人| sS丁香五月婷婷| 天天操狠狠操| 91丨九色丨熟女高潮| 拍真实国产伦偷精品| 亚洲欧洲小视频9| 亚洲操精品| 婷婷激情五月天在线视频| 开心激情网五月天| 开心五月婷婷激情| 97色图片中文字幕视频在线观看 | www.五月激情.com| 色综合综合色| 婷婷黄色网| 丁香六月狠狠| 中文字幕不卡+婷婷五月| 久热re视频在线观看网站| 婷婷五月天丁香花| 国产片色| 激情综合五月婷婷| 99色| 国产一级婬片毛片| 激情五月天社区| 日本九九九九九九| 五月婷婷花| 91碰碰碰| 丁香五月在线伊人| 综合激情在线视频| 国产色色小草视频| 99成人无码| 色在线99| 亚洲第二AV| 丁香六月天堂| 色婷婷丁香五月| 91久久1118| 超碰免费成人| 婷婷五月AV| 色色亚洲视频| 久热天堂| 五月草视频| 欧美日韩国产一二区| 五六月丁香激情视频| 九九人人操| 婷婷深爱色五月| 精品一区久热| 中文字幕婷婷五月天在线观看| 丁香五月婷婷香| 79成人网| 日韩一本操| 26uuu激情五月天| 日本99热| 日本性激情色播| 久久99草五月婷婷| 黄色激情五月天| 国产午夜精品一区二区| 九九热这里只有精品6| 国产91九色| 天天干天天操天天射| 日本久久精品18| 色狠狠综合网| 黄色五月婷婷| 99久久网站| 色五月婷婷啪啪五月| 99精品久久久久久久久| 五月亭亭狠狠| AA丁香综合激情| 天天爱天天操| wwccc久久久| 在线精品97| 婷婷丁香五月综合| 亚洲小视频免费播放| 北京熟妇搡BBBB搡BBBB| 久久婷婷五月综合色丁香| 2020日日干| 久久久网站| 久久这里有精品99| 九九色区| 日韩九区| 极品五月天| 99色中文| 久久性都花花世界成人免费视频| 丁香六月婷婷五月婷婷| 精热在线综合网| a免费在线| 91久久色| 亚洲丁香五月深爱五月| 五月婷婷综合色啪首页 | 激情五月深爱婷婷| 99色在线观看免费| 果冻传媒A片一二三区| 亚洲va欧洲va国产va不卡| 成人综合AV| 国产毛片精品一区二区色欲黄A片| 99热这里只有精品86| VA五月激情在线| 夜夜骑夜夜撸| 成人丁香五月| 69婷婷丁香午夜| 九九综舍久久| 国产一级片色色| 超碰日日操| 三十路磁力链接| 99色在线| 热99免费在线| 香蕉AV777XXX色综合一区| 狠狠99| 五月丁香六月综合基地| 色婷婷婷av | 婷婷丁香五月欧美人| 百度4399有码精品V在线观看| 91超级碰碰| 九九自拍网| 青青草五月天| 丁香激激情网| 免费操超碰| 五月天另类激情在线| 五月丁色AV| 五月丁香六月激情综合| 丁香五月手机视频| 久久全意婷婷| 青柠影视免费高清电视剧| 色5月婷婷色| 麻豆雪千夏| 久久婷婷婷| 99热手机在线精品| 色综合五月天| 国产成人一区二区三区在线观看| 26uuu国产| 色爆五月| 婷婷免费视频| 7777激情基地| 婷婷久久大香蕉| 九九热最新| 黄色热99| 婷婷五月综合免费在线| av操一操| 久久99精品九九久久久婷婷| 另类少妇人与禽zOZZ0性伦| 五月丁小婷婷激情四射| 激情宗合 激情宗合| 97婷婷狠狠| 九九热这里只有精品5| 亚洲色婷婷| 狠狠五月天婷婷激情网。| 亚洲VA口| 少妇熟女视频一区二区三区| 国洲夜色亚热在线久久| 日本三级中文字幕| 色香五月天| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 亚洲XX日本| 99九九在线视频| 这里有精品| 亚州操操| www天天干| 久久久噜噜噜久久人妻| 激情综合网色播五月| 99国产精品久久久久久久久久久| 99操免费视频| 丁香五月播播| 色爱五月天| 亭亭色网| 免费播放99性爱视频| 爆乳熟妇一区二区三区爆乳照片| 狠狠看狠狠| 免费视频无码| WWW、日本色丁香、co m| 婷婷色色综合激情| 色综合五月天| 午夜少妇在线观看视频| 婷婷九月亚洲| 人人爽欧美婷婷久久久五月丁香| 黄急一级视频| 五月天激情无码高清| 午夜天堂一区人妻| 超碰在线人妻| 97欧美在线| 欧美人人超级碰| 国产精品噜噜在线视频| 九九色综合| 欧美婷婷丁香五月社区| 激情久久丁香| 欧美在线操| 天天干天天插| 超碰在线网站| 五月丁香婷婷六月| 亚洲成AV人片在线观看| 色色色视频| 欧美激情综合五月色丁香| 九九热视频免费观看| 五月丁香黄色视频| 香蕉狠狠爱视频| 97碰| 精品五月视频婷婷在线观看| 激情综合网色播五月| .操區COm| WWW.HENHENL.| 最新精品视频99| 丁香花社区av| 天天爽天天摸天天爱| 五月久久婷婷天堂视频| 久9热| 婷婷综合五月激情| 综合色视频| 91婷婷丁香五月| 任你爽视频| 国产又爽又猛又粗的视频A片| 五月天激情小说婷婷| 丁香,开心成人,久久| 六月婷婷综合| 久久性爱视频| 婷婷五月天影院| 五月深爱激情网| 色综合综合色| 免费视频WWW在线观看网站| 天天插AV丝袜中| 婷婷丁香成人五月天| 91干在线| 色五月激情五月丁香五月婷婷啪啪综合 | 在线播放成人网站| 1024人妻| 亚洲亚洲亚洲AAAAAA| 高潮毛片遮挡费高一百度| 久久久国产精品黄毛片| 婷婷五月天影院| 日韩乱玛久久| 九月婷婷综合网| 国产精品一区在线观看你懂的| 五月天婷婷成人网| 五月婷婷五月天天| 久久久久9| 婷婷色色播五月天| 久久男人网婷婷| 九九av| 九九99精品| 99热在线观看| 五月天综合久久| 五月婷婷免费| 天天爽天天爽天天爽天天爽天天爽| 亚洲久久天堂| 荫道BBWBBB高潮潮喷| 欧美在线干| 午夜爱爱网站| 五月天婷婷在线AN| 国产熟女日日骚五月丁香爱| 99r这里只有精品哦| 9久国产精品| 丁香五月香蕉| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 欧美日韩91| 久久婷婷丁香| 色色色色色色色色色色色色色97| 丁香五月视频在线观看| 99ri在线| 丁香五月婷婷啪啪| 天天色综和网| 五月丁香好婷婷A片网| 五月婷啪| 在线播放中文字幕| 色呦呦美女| 久久总和99| 久久婷婷五月国产色综合激情| 91精品丝袜久久久久久久久粉嫩| 视频一区二区在线| 国产精品 的国产| 9999综合99综合人| 久久99免费视频| 亚洲在线操| 91精品91久久久中77777久久玖玖九九| 丁香五月婷婷少妇| 色婷亚洲| 五月色亚洲| 中文字幕成人| 97在线/亚洲| 久操热线| 九九热九九| 丁香五月电影| 99自拍网| 婷婷在线视频| 69人人操人人爽| 真实熟女-91九色| 99色日本| 天天操夜夜爽天天操| 人人舔人人色人人高潮| 日日噜狠狠色| 97干在线| 久久五月热| 91九色熟女| 天天肏屄夜夜爽| 久久人妻视步| 无码人妻一区二区一牛影视| 久久狼人天堂| 青草青青草| 无码日本精品XXXXXXXXX| 三年高清大片免费观看国语| 《久久综合九色综合97婷婷| 丁香伊人激情| 天天色天天日| 久久激情综合| 婷婷第一页| 99思思热只有在这里看| 97干97色| 九九久99免费视频| 亚洲小视频免费播放| 色欲一二三| 亚洲精品久久久久久久久久飞鱼| 婷婷丁香色五月亚洲| 99热这里只有精品2| 99热精品在线观看| 色色综合热| 丁香五月天视频在线播放| 欧美日本国产欧美日本韩国99| 婷婷中文字幕欧美| 天天肏屄夜夜爽| 中文资源在线a | www.99精品视频| 天天夜天天色天天| 婷婷五月丁香综合激情| 九日日夜夜69| 五月丁香色色综合| 婷婷性福五月天| 波多野结衣不卡AV| 五月精品免费XXX| 伊人五月综合网| 天天干天天干天天操| 毛v一区二区视频| 五月丁香花免费视频| 狠狠干狠狠干| 久久这里只有精品07| 99色精品| 婷色人人狠| 丁香五月影视| 亚洲成人高清在线| 五月激情影院| 五月五月婷婷| 播五月开心婷婷欧美综合| 综合www色| 婷婷六月天激情| www.色五月| 91精品久久久久久久| 五月婷婷丁香瑟瑟视频| 久久男人网婷婷| 91人操| 天天做天天爱天天搞| 久热无码| 99热99在线| www.色五月| 亚洲综合婷婷五月| 性爱激情久久| 日日操日日撸| AV在线观看网站| 人妻精品一区二区三区| 婷婷丁香久久五月综合| 中文字幕有多少字| www.99情趣网| 婷婷六月色开| 二色av| 婷婷瑟瑟五月天| 亚洲精品五十一区| 欧美97超碰| 婷婷五月天视频亚洲| 啊V视频在线观看| 久久大香蕉丁香| 丁香五月婷婷啪| 第四色婷婷色五月| 色色九九五月天| 影音先锋一区二区三区| 婷婷丁香水多多视频| 天天综合久久| 亚洲狠狠爱婷婷| 久久久www| 丁香婷婷伊人| AV激情五月| 欧美色碰| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 婷婷五月在线观看| 五月丁香六月日逼| 男人的天堂在线婷婷| 依人大香蕉| www.超碰| 99视频在线精品| 色欲婷婷夜夜| 97人人搞| 色综合色综合色综合| 精品九九九久| 91日本在线| 五月婷婷二月丁香| 婷婷色播六月无码| www色色色com| 五月婷婷国产| 婷婷伊人综合| 成人AV在线中文版| 婷色五月| www.色婷婷.com| 久久综合爱|