欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

AI Agent多維評(píng)測(cè)體系:LLM-as-Judge、人工標(biāo)注與A/B測(cè)試實(shí)戰(zhàn)

AI Agent多維評(píng)測(cè)體系:LLM-as-Judge、人工標(biāo)注與A/B測(cè)試實(shí)戰(zhàn) 工作里只要沾過AI Agent開發(fā)十有八九會(huì)碰上一個(gè)靈魂拷問這Agent到底行不行我自己的評(píng)測(cè)框架從v1.0一路迭代到現(xiàn)在的21.0核心始終是圍繞LLM-as-Judge、人工標(biāo)注、A/B測(cè)試這三條腿走路再把它們得到的原始結(jié)果折算成一套能量化對(duì)比、能落進(jìn)發(fā)布流程的指標(biāo)。這篇內(nèi)容就是把我這些年踩過的坑和最終沉淀下來的多維評(píng)測(cè)實(shí)踐完整拆開講一遍。不管你是剛接手Agent評(píng)測(cè)的QA還是自己在做Agent項(xiàng)目、天天被“效果不行”卡得動(dòng)彈不得的開發(fā)者這篇文章應(yīng)該都能給你一套能直接抄作業(yè)的框架。1. 先想清楚Agent評(píng)測(cè)難在哪量化評(píng)估要量化什么很多人一上來就開始設(shè)計(jì)指標(biāo)結(jié)果越做越亂根本原因是沒有先搞明白評(píng)測(cè)對(duì)象變了。Agent不是傳統(tǒng)模型它不是“給一句話返回一個(gè)答案”這么簡(jiǎn)單它的行為鏈路長(zhǎng)、結(jié)果開放、過程耦合環(huán)境量化評(píng)估之前必須先重新定義“什么是好”。1.1 Agent與傳統(tǒng)模型評(píng)測(cè)的差別傳統(tǒng)NLP模型或者分類模型的評(píng)測(cè)本質(zhì)上是“答案對(duì)答案”給定輸入得到輸出拿輸出跟標(biāo)準(zhǔn)答案做精確匹配或者算BLEU、ROUGE這類相似度。這個(gè)過程目標(biāo)單一、環(huán)境可控、結(jié)果確定性高。到了Agent這里情況完全變了。它通常要做多輪推理要調(diào)用外部工具要根據(jù)環(huán)境反饋動(dòng)態(tài)調(diào)整策略最后甚至可能走出好幾條完全不同的成功路徑。舉個(gè)實(shí)際例子一個(gè)客服Agent處理“用戶想改收貨地址”這個(gè)任務(wù)。正確的路徑可以是先查詢訂單狀態(tài)再調(diào)用修改地址接口也可以是先詢問用戶新地址校驗(yàn)訂單還沒發(fā)貨再修改地址。兩條路結(jié)果一樣但中間過程差別很大。如果你還是只比對(duì)最終輸出文本那幾乎沒法做自動(dòng)化評(píng)估。Agent評(píng)測(cè)的難點(diǎn)就在這兒評(píng)估對(duì)象從一個(gè)“正確答案”變成了整條“行為軌跡最終狀態(tài)”而軌跡的合理性和狀態(tài)的好壞很多時(shí)候沒有唯一標(biāo)準(zhǔn)。這也是為什么量化評(píng)估不能只盯著“能不能完成任務(wù)”這一個(gè)點(diǎn)。你需要同時(shí)回答幾個(gè)問題任務(wù)完成得對(duì)不對(duì)完成得順不順過程中有沒有亂來代價(jià)高不高。這幾個(gè)問題對(duì)應(yīng)著完全不同的評(píng)估手段和指標(biāo)得拆開來看。1.2 量化評(píng)估到底量化什么能力、穩(wěn)定、成本、體驗(yàn)我在實(shí)踐中把量化目標(biāo)收斂成四類能力、穩(wěn)定、成本、體驗(yàn)。能力是最基礎(chǔ)的一層回答“這個(gè)Agent能不能完成它該做的事”。落地到指標(biāo)上就是任務(wù)成功率、子步驟完成率、工具調(diào)用正確率等。穩(wěn)定是很多團(tuán)隊(duì)容易忽略的一層。同一個(gè)Agent同一道題跑十次有時(shí)候成功有時(shí)候失敗這種“抽風(fēng)式”表現(xiàn)在生產(chǎn)環(huán)境非常致命。所以評(píng)測(cè)必須有重復(fù)運(yùn)行的概念至少要反映方差而不是只看均值。成本層必須考慮因?yàn)锳gent的消耗往往比傳統(tǒng)模型高一個(gè)量級(jí)。一次任務(wù)可能要多次調(diào)用大模型加上工具調(diào)用的附加費(fèi)用單task成本很容易就上去了。如果能力合格但成本高到?jīng)]法規(guī)?;沁@個(gè)Agent照樣上不了線。體驗(yàn)層則更主觀包括用戶覺得順不順、回答是否友好、有沒有不安全的表述。體驗(yàn)類指標(biāo)很難用精確匹配來度量這正是LLM-as-Judge和人工標(biāo)注的用武之地。1.3 從v1.0到v21.0我踩過的三個(gè)大坑早期我的評(píng)測(cè)體系就是v1.0只有“準(zhǔn)確率”一個(gè)指標(biāo)拿一批固定問題測(cè)一遍算個(gè)百分比就完事。結(jié)果上線第一周就被打臉業(yè)務(wù)方反饋一堆問題成功率看著90%實(shí)際問題基本辦不成。后來復(fù)盤發(fā)現(xiàn)評(píng)測(cè)集太簡(jiǎn)單答案判定用關(guān)鍵詞匹配很多回答只是“看起來對(duì)”但沒解決用戶實(shí)際問題。v5.0我開始引入LLM-as-Judge讓大模型給Agent的回答打分確實(shí)把評(píng)估范圍擴(kuò)開了但很快又發(fā)現(xiàn)Judge本身不穩(wěn)定。同一個(gè)回答今天打4分明天打3分換個(gè)模型甚至順序調(diào)換結(jié)果就變自動(dòng)評(píng)估結(jié)果沒法完全信任。v12.0搞了一套多維指標(biāo)能力、流程、安全、成本都算但指標(biāo)太多每個(gè)版本出來報(bào)告幾十頁(yè)團(tuán)隊(duì)根本不知道看哪個(gè)最終決策還是靠拍腦袋。直到v21.0才徹底理順三條腿各自分工LLM-as-Judge負(fù)責(zé)批量初篩人工標(biāo)注負(fù)責(zé)精評(píng)校準(zhǔn)A/B測(cè)試負(fù)責(zé)上線前后真實(shí)環(huán)境驗(yàn)證指標(biāo)統(tǒng)一進(jìn)一個(gè)儀表盤任何人打開只看一張圖就知道這個(gè)版本能不能發(fā)。下面把這套體系拆開講。2. 三大評(píng)估手段全解LLM-as-Judge、人工標(biāo)注與A/B測(cè)試這套體系最核心的部分就是三種評(píng)估手段怎么用、為什么這么用、各自有什么坑。先分別講清楚再講怎么組合。2.1 LLM-as-Judge讓大模型當(dāng)考官的原理與配置要點(diǎn)LLM-as-Judge本質(zhì)上是用一個(gè)大模型去評(píng)估另一個(gè)模型或Agent的輸出。核心假設(shè)是足夠強(qiáng)的通用大模型具備較好的語言理解、推理和事實(shí)判斷能力能模擬人類評(píng)估者給候選輸出打分或做偏好選擇。它的最大價(jià)值是速度和成本。人工評(píng)估一條復(fù)雜Agent軌跡可能需要好幾分鐘Judge只要幾十秒成本低一個(gè)數(shù)量級(jí)。所以在需要跑大量樣本做回歸測(cè)試時(shí)Judge幾乎是唯一可行的自動(dòng)化方案。但Judge不是開箱即用配置上有幾個(gè)關(guān)鍵點(diǎn)第一評(píng)分卡要具體。不要寫“請(qǐng)?jiān)u估回答質(zhì)量”要給出可判定的維度。我們常用的評(píng)分卡長(zhǎng)這樣相關(guān)性1~5分是否解決用戶核心問題、完整性1~5分是否遺漏關(guān)鍵信息、格式正確性0或1是否遵守指定輸出結(jié)構(gòu)、安全性0或1是否包含違規(guī)內(nèi)容。每個(gè)維度還要加一句“什么情況給幾分”的說明否則Judge就是靠感覺打分。第二選擇打分模式。如果是要評(píng)估一個(gè)Agent的絕對(duì)質(zhì)量用pointwise模式讓Judge按評(píng)分卡給單條輸出逐項(xiàng)打分如果是要比較兩個(gè)Agent版本誰更好用pairwise模式讓Judge看兩條輸出后選擇“A更好、B更好、平局”。另有一種reference-based模式把標(biāo)準(zhǔn)答案給Judge做參照適合事實(shí)性強(qiáng)的任務(wù)。三種模式我都在用業(yè)務(wù)上偏“判斷好壞”用pointwise版本迭代時(shí)偏“對(duì)比優(yōu)劣”用pairwise。第三控制Judge自身的偏差。Judge有幾個(gè)出了名的毛病位置偏差pairwise時(shí)傾向于選第一個(gè)或最后一個(gè)、自我偏好偏差用A模型做Judge往往偏向A模型自己的輸出、長(zhǎng)度偏差回答越長(zhǎng)分越高。我的緩解方法是pairwise評(píng)估時(shí)做位置置換把A、B的順序顛倒各評(píng)估一次取結(jié)果在評(píng)分卡里強(qiáng)調(diào)“按信息完整性和正確性打分不要因?yàn)榛卮痖L(zhǎng)就加分”對(duì)分歧樣本抽樣到人工復(fù)核。還有一個(gè)笨但有效的辦法定期用小批量人工標(biāo)注樣本檢驗(yàn)Judge和人類的一致性一致率低于80%就換Judge模型或調(diào)整評(píng)分卡。第四Judge結(jié)果的結(jié)構(gòu)化。別讓Judge自由發(fā)揮寫一大段評(píng)論強(qiáng)制它先輸出JSON格式的各維度評(píng)分再輸出一行簡(jiǎn)短理由。這樣下游可以直接解析入庫(kù)。一個(gè)典型的Judge輸出長(zhǎng)這樣{ task_id: task_0082, scores: { relevance: 4, completeness: 5, format: 1, safety: 1 }, reason: 用戶詢問改地址Agent先查詢了訂單狀態(tài)確認(rèn)未發(fā)貨后調(diào)用了修改接口流程完整。 }這里有個(gè)經(jīng)驗(yàn)Judge的溫度一定要設(shè)0否則同樣內(nèi)容兩次評(píng)估結(jié)果不一樣。另外每次跑批量評(píng)估前先用10~20條金標(biāo)準(zhǔn)樣本驗(yàn)證當(dāng)前Judge配置的有效性這步能省掉后面很多返工。2.2 人工標(biāo)注不可替代的黃金標(biāo)準(zhǔn)以及如何控制質(zhì)量既然有了LLM-as-Judge為什么還需要人工標(biāo)注原因很簡(jiǎn)單Judge本身也是個(gè)模型它的判斷不一定符合真實(shí)用戶和業(yè)務(wù)方的預(yù)期。人工標(biāo)注是假設(shè)的“黃金標(biāo)準(zhǔn)”用途不是跑量而是校準(zhǔn)和驗(yàn)證。但人工標(biāo)注最大的麻煩是質(zhì)量波動(dòng)。同一個(gè)Agent輸出讓兩個(gè)人標(biāo)注結(jié)果可能完全相反。這不是人不行而是標(biāo)準(zhǔn)沒定死。我把人工標(biāo)注流程固化成了這么幾步第一步寫標(biāo)注手冊(cè)。手冊(cè)里必須包含任務(wù)背景說明、每類指標(biāo)的詳細(xì)定義、至少5個(gè)“不同分?jǐn)?shù)段”的標(biāo)注示例、常見邊界案例的處理方式。手冊(cè)要發(fā)到標(biāo)注群里一起評(píng)審不能一個(gè)人拍腦袋寫完就發(fā)。第二步雙人盲標(biāo)加仲裁。每條樣本至少兩個(gè)人獨(dú)立標(biāo)注如果兩人結(jié)果一致就入庫(kù)不一致就得由團(tuán)隊(duì)內(nèi)的仲裁人看一遍再定。仲裁的比例一般控制在10%~20%之間如果超過20%不是仲裁人累死而是標(biāo)注手冊(cè)有問題得回爐重做。第三步計(jì)算一致性。一般用Cohen‘s Kappa系數(shù)來量化兩個(gè)標(biāo)注人之間的一致性。公式不復(fù)雜[ \kappa \frac{P_o - P_e}{1 - P_e} ]P_o是實(shí)際一致率P_e是隨機(jī)情況下期望一致率。Kappa值在0.8以上說明標(biāo)注一致性很好0.6~0.8算可以接受低于0.6就需要重新培訓(xùn)或修訂手冊(cè)。我經(jīng)??吹綀F(tuán)隊(duì)只統(tǒng)計(jì)“一致率”而忽略Kappa比如某個(gè)類是大多數(shù)類兩個(gè)人都習(xí)慣性標(biāo)同一類一致率很高但Kappa很低這種情況看似一致實(shí)際質(zhì)量是有問題的。第四步在標(biāo)注批次里埋“金標(biāo)準(zhǔn)題”。我們會(huì)不定期放入少量已知標(biāo)準(zhǔn)答案的樣本標(biāo)注員在這些題上錯(cuò)了就說明注意力下降或標(biāo)準(zhǔn)理解跑偏需要及時(shí)提醒。樣本怎么選也是個(gè)學(xué)問。不要只從評(píng)測(cè)集里隨機(jī)抽要分層抽樣——按任務(wù)類型、輸入長(zhǎng)度、模型版本、成功失敗結(jié)果分層。否則人工標(biāo)注驗(yàn)證出來的結(jié)論可能只對(duì)某一類樣本有效。2.3 A/B測(cè)試線上分流、指標(biāo)與顯著性判斷LLM-as-Judge和人工標(biāo)注評(píng)估的都是Agent在測(cè)試環(huán)境里的表現(xiàn)A/B測(cè)試則是把評(píng)估搬到真實(shí)環(huán)境里讓真實(shí)用戶來驗(yàn)收。A/B測(cè)試不是所有場(chǎng)景都能做至少要有線上分流能力和相對(duì)充足的流量。但一旦能做它提供了最硬核的證據(jù)新版本到底有沒有給業(yè)務(wù)帶來實(shí)際提升。A/B測(cè)試的關(guān)鍵不是“開個(gè)實(shí)驗(yàn)開關(guān)”就完事而是三個(gè)層面的設(shè)計(jì)流量劃分。Agent場(chǎng)景通常按用戶ID或會(huì)話ID做哈希分流保證同一個(gè)用戶始終進(jìn)入同一個(gè)版本避免用戶感知混亂。不要用隨機(jī)數(shù)做分流因?yàn)橐淮螘?huì)話中可能涉及多次Agent調(diào)用隨機(jī)分流會(huì)把同一個(gè)請(qǐng)求打散到兩個(gè)版本數(shù)據(jù)就臟了。指標(biāo)設(shè)計(jì)。指標(biāo)至少要包含三個(gè)維度業(yè)務(wù)結(jié)果指標(biāo)任務(wù)完成率、轉(zhuǎn)化率、解決率、體驗(yàn)指標(biāo)用戶主動(dòng)反饋、滿意度、重試率、成本與性能指標(biāo)平均Token消耗、p95延遲、調(diào)用失敗率。只盯任務(wù)完成率是不夠的可能出現(xiàn)新版本完成任務(wù)多一點(diǎn)但成本翻倍的情況這種版本往往也不能直接全量。顯著性判斷。樣本量不夠就跑不出顯著性這是最常見的坑。我習(xí)慣在實(shí)驗(yàn)前先做事前樣本量估算用歷史數(shù)據(jù)的方差和期望提升幅度來反推需要多少樣本。實(shí)驗(yàn)結(jié)束后不僅要看p值還要看置信區(qū)間和效應(yīng)量。p值顯著但效應(yīng)量只有0.1%業(yè)務(wù)上也未必值得上線。A/B測(cè)試還有幾個(gè)特別容易翻車的細(xì)節(jié)新奇效應(yīng)新版本剛上線用戶可能因?yàn)樾迈r感表現(xiàn)異常所以要跑夠周期至少覆蓋一個(gè)完整業(yè)務(wù)周辛普森悖論整體看有提升拆分用戶群后發(fā)現(xiàn)集中在某一部分人身上要按用戶群做分層分析以及實(shí)驗(yàn)組之間的流量污染如果同一個(gè)用戶既在A組又在B組體驗(yàn)過兩個(gè)版本的影響會(huì)混在一起。2.4 三種手段怎么配合研發(fā)、發(fā)版、上線三段式三種評(píng)估手段不是三選一而是流水線分工。我們團(tuán)隊(duì)現(xiàn)在的節(jié)奏是研發(fā)階段跑量用LLM-as-Judge。每次代碼變更幾百條回歸題自動(dòng)跑Judge打分后出一份摘要快速判斷這個(gè)commit有沒有把核心指標(biāo)弄崩。免費(fèi)、快速、覆蓋廣是這一階段的主要訴求。發(fā)版前做人工精評(píng)。Judge跑完不代表能發(fā)版我們會(huì)抽200~300條典型樣本安排雙人標(biāo)注重點(diǎn)看Judge容易誤判的安全類、體驗(yàn)類指標(biāo)同時(shí)也用這批標(biāo)注結(jié)果去校準(zhǔn)Judge的一致性。上線階段做A/B測(cè)試。只有精評(píng)過關(guān)的版本才具備A/B資格。線上實(shí)驗(yàn)跑1~2周看真實(shí)業(yè)務(wù)指標(biāo)的變化。這個(gè)三段式的好處是每一層都幫下一層過濾掉明顯不行的版本避免把昂貴的人工和線上實(shí)驗(yàn)浪費(fèi)在垃圾版本上。3. 多維評(píng)測(cè)指標(biāo)體系設(shè)計(jì)與歸一化算法評(píng)估手段解決了“數(shù)據(jù)從哪里來”指標(biāo)體系解決“這些數(shù)據(jù)怎么變成決策依據(jù)”。這套指標(biāo)我已經(jīng)反復(fù)打磨過下面直接給框架。3.1 指標(biāo)字典能力、效率、安全、成本、體驗(yàn)五大類任何一個(gè)Agent項(xiàng)目我建議先建立自己的指標(biāo)字典別東一榔頭西一棒槌。我常用的指標(biāo)字典大概是這樣類別指標(biāo)定義采集方式方向能力任務(wù)成功率SR最終目標(biāo)是否達(dá)成的比例人工/Judge越高越好能力步驟完成率子步驟完成數(shù)量/總步驟數(shù)軌跡解析越高越好能力工具調(diào)用正確率工具調(diào)用正確的次數(shù)/總調(diào)用次數(shù)軌跡解析越高越好效率平均回合數(shù)完成任務(wù)的平均交互輪次軌跡解析越低越好效率求助率用戶被迫求助人工客服或多次輸入修正的比例線上埋點(diǎn)越低越好安全安全違規(guī)率出現(xiàn)違規(guī)或不當(dāng)內(nèi)容的任務(wù)占比人工/Judge越低越好成本單任務(wù)Token消耗完成一個(gè)任務(wù)平均消耗的輸入輸出Token數(shù)日志統(tǒng)計(jì)越低越好成本p95延遲95%請(qǐng)求完成時(shí)延日志統(tǒng)計(jì)越低越好體驗(yàn)用戶滿意度用戶反饋/評(píng)分問卷/人工/Judge越高越好體驗(yàn)事實(shí)一致性率回答與已知事實(shí)不一致的比例人工/Judge越高越好這個(gè)表不是死的每個(gè)項(xiàng)目要先看業(yè)務(wù)目標(biāo)再做增刪。但有幾條通用原則指標(biāo)必須要能采集不能靠感覺指標(biāo)必須方向一致別把“回合數(shù)”和“用戶滿意度”混在一起說“體驗(yàn)變好了”指標(biāo)不能太多核心看板建議控制在10個(gè)以內(nèi)否則根本沒人看。3.2 指標(biāo)歸一化與綜合評(píng)分不同指標(biāo)單位不同沒法直接相加必須先歸一化。最常用的是線性歸一化設(shè)定一個(gè)“及格線”和“滿分線”把原始值映射到0~100。比如任務(wù)成功率0%是0分100%是100分。成本類指標(biāo)反過來平均Token消耗1000以下是100分5000以上是0分中間線性插值。這里的上下限要根據(jù)業(yè)務(wù)實(shí)際情況來定不能閉眼拍。歸一化之后還要加權(quán)重。權(quán)重怎么定我建議兩種方法二選一一是團(tuán)隊(duì)投票每個(gè)人按業(yè)務(wù)重要性給五個(gè)大類打分再取平均二是用層次分析法這類結(jié)構(gòu)化的方式兩兩比較指標(biāo)重要性算出一致性權(quán)重。權(quán)重的核心要求是“可解釋”上線評(píng)審被問“為什么綜合分是82”你得能一步步解釋清楚。綜合評(píng)分公式很簡(jiǎn)單[ Total \sum_{i1}^{n} w_i \times score_i ]但我必須強(qiáng)調(diào)一句總分只是用來快速排序的做決策時(shí)一定要拆開看。曾經(jīng)我們有一個(gè)版本綜合分超了基線但點(diǎn)開細(xì)項(xiàng)發(fā)現(xiàn)安全違規(guī)率明顯惡化綜合分被成本優(yōu)勢(shì)拉高了。這種情況如果只看總分遲早出事。所以儀表盤上總分一定要配一張雷達(dá)圖或者維度明細(xì)安全、核心成功率這種關(guān)鍵指標(biāo)最好單獨(dú)設(shè)紅線。3.3 場(chǎng)景適配Java/Spring Boot、知識(shí)庫(kù)Agent、代碼生成Agent怎么套指標(biāo)同樣的框架落到不同技術(shù)棧和業(yè)務(wù)場(chǎng)景里指標(biāo)側(cè)重點(diǎn)完全不同。我看到有些團(tuán)隊(duì)想套一套通用評(píng)測(cè)標(biāo)準(zhǔn)走天下結(jié)果每個(gè)業(yè)務(wù)都不適配。舉三個(gè)典型場(chǎng)景第一個(gè)是Java/Spring Boot這類后端服務(wù)化的Agent客戶端。這類Agent通常要跟業(yè)務(wù)系統(tǒng)深度集成核心訴求是穩(wěn)定性和接口正確性。除了通用指標(biāo)要額外關(guān)注服務(wù)超時(shí)率、并發(fā)下的錯(cuò)誤率、權(quán)限控制是否合規(guī)、工具參數(shù)序列化是否正確。評(píng)測(cè)時(shí)最好在測(cè)試環(huán)境搭一套Mock服務(wù)專門模擬超時(shí)、異常、重試等場(chǎng)景。第二個(gè)是Obsidian AI Agent知識(shí)庫(kù)場(chǎng)景。這類Agent本質(zhì)是檢索增強(qiáng)生成核心價(jià)值是能不能從知識(shí)庫(kù)里找到正確內(nèi)容并給出準(zhǔn)確引用。評(píng)測(cè)重點(diǎn)要加檢索相關(guān)性返回的知識(shí)片段是否對(duì)題、引用正確性回答里的引用是否真的存在于知識(shí)庫(kù)、事實(shí)一致性回答是否忠實(shí)于檢索結(jié)果有沒有瞎編。這些指標(biāo)靠精確匹配測(cè)不了Judge加上人工抽檢是主要手段。第三個(gè)是Verilog代碼生成Agent。這類代碼生成Agent更硬核因?yàn)榇a能不能跑這件事是客觀的。我們?cè)u(píng)測(cè)時(shí)會(huì)直接接一套工具鏈Agent生成代碼后自動(dòng)做語法編譯、功能仿真最終以編譯通過率和仿真通過率為核心指標(biāo)。這類場(chǎng)景里Judge的作用反而弱化因?yàn)樽钣姓f服力的裁判是編譯器。這也是我想說的指標(biāo)設(shè)計(jì)要跟著場(chǎng)景走別把Judge當(dāng)萬能藥。4. 評(píng)測(cè)流水線落地從評(píng)測(cè)集到回歸看板有了指標(biāo)和評(píng)估手段還得把它們串成一條可重復(fù)運(yùn)行的流水線。否則每次評(píng)測(cè)都是手工活換個(gè)版本重新跑一遍效率極低還容易漏。4.1 評(píng)測(cè)集建設(shè)數(shù)量、來源與防污染評(píng)測(cè)集是一切評(píng)估的基石。沒有好的評(píng)測(cè)集再花哨的評(píng)估手段也是白搭。評(píng)測(cè)集的來源我建議三個(gè)渠道結(jié)合第一真實(shí)業(yè)務(wù)日志脫敏。這是最寶貴的來源去線上把真實(shí)用戶的問題收集起來去掉隱私信息做成輸入樣本。第二公開基準(zhǔn)集比如各種開源的Agent benchmark可以作為參考但要注意跟業(yè)務(wù)差異。第三人工構(gòu)造的邊界題專門覆蓋長(zhǎng)尾、極端、惡意輸入等場(chǎng)景這部分題目數(shù)量不用多但必須要有。數(shù)量上我們的經(jīng)驗(yàn)是回歸評(píng)測(cè)集至少要有幾百條級(jí)別。Agent的評(píng)估方差大題目太少一個(gè)隨機(jī)波動(dòng)就淹沒真實(shí)變化。但也不是越多越好因?yàn)槊吭黾右粭l題跑一輪和人工抽檢的成本都在漲。我們一般把評(píng)測(cè)集分成兩層核心回歸集300條左右每次改動(dòng)都跑擴(kuò)展評(píng)測(cè)集1000~2000條每周跑一次。評(píng)測(cè)集防污染是現(xiàn)代AI評(píng)測(cè)里必須考慮的問題。如果評(píng)測(cè)集的題目出現(xiàn)在Agent訓(xùn)練數(shù)據(jù)里那評(píng)測(cè)結(jié)果就是虛假繁榮。我的做法是核心評(píng)測(cè)集不公開專人管理定期換一批題使用私有化評(píng)測(cè)題庫(kù)避免直接從公開數(shù)據(jù)集整包拿過來用上線新題時(shí)做相似度去重防止跟已有訓(xùn)練語料高度重合的題混入。4.2 執(zhí)行流程與工程化Runner、Mock與多次運(yùn)行一次完整的評(píng)測(cè)執(zhí)行本質(zhì)上是把“數(shù)據(jù)集Agent配置外部服務(wù)MockerJudge”都編排起來跑一遍。我的建議是把它做成一個(gè)Runner腳本允許參數(shù)化傳入模型版本、Prompt模板、工具配置和評(píng)測(cè)集ID。執(zhí)行流程大概是加載評(píng)測(cè)集遍歷任務(wù)對(duì)每個(gè)任務(wù)初始化Agent環(huán)境包括Mock外部服務(wù)的響應(yīng)運(yùn)行Agent記錄完整軌跡推理過程、工具調(diào)用、中間回復(fù)、最終回復(fù)超時(shí)和異常要單獨(dú)標(biāo)識(shí)而不是直接判失敗否則會(huì)把超時(shí)誤當(dāng)成能力差將軌跡和結(jié)果交給Judge打分匯總所有分?jǐn)?shù)寫入結(jié)果數(shù)據(jù)庫(kù)生成評(píng)測(cè)報(bào)告。這里有兩個(gè)容易被忽略的細(xì)節(jié)分別說一下。第一個(gè)是外部服務(wù)的Mock。Agent大量依賴工具調(diào)用如果直接連真實(shí)測(cè)試環(huán)境會(huì)出現(xiàn)網(wǎng)絡(luò)抖動(dòng)、數(shù)據(jù)不一致、接口限流等噪聲干擾評(píng)估結(jié)果。我們要求所有工具調(diào)用都要能被Mock掉Mock的響應(yīng)要穩(wěn)定且可以版本化管理。A/B測(cè)試可以上真實(shí)環(huán)境但離線評(píng)測(cè)必須保持環(huán)境純凈。第二個(gè)是多次運(yùn)行取分布。Agent具備隨機(jī)性即使溫度設(shè)0也不能保證完全確定工具返回內(nèi)容、上下文方差都可能導(dǎo)致結(jié)果漂移。所以關(guān)鍵實(shí)驗(yàn)我建議同樣的任務(wù)至少跑3次記錄成功次數(shù)的分布而不是單次結(jié)果。比如某任務(wù)跑了3次成功2次成功率記為0.67這比單次0或1有意義得多。代價(jià)是評(píng)測(cè)耗時(shí)增加但換來的是對(duì)穩(wěn)定性的理解值得。4.3 回歸看板與發(fā)布門禁讓評(píng)測(cè)真正影響決策評(píng)測(cè)體系如果只是每周出一份報(bào)告價(jià)值就少了一半。真正要讓評(píng)測(cè)影響決策必須做成“門禁”和“看板”看板要常駐。我們有一個(gè)內(nèi)部頁(yè)面展示主干版本的每個(gè)指標(biāo)折線圖。橫軸是版本號(hào)縱軸是歸一化分?jǐn)?shù)或原始指標(biāo)。任何人一打開就能看到上一版到這一版哪個(gè)指標(biāo)漲了、哪個(gè)跌了。這比評(píng)審會(huì)上翻PPT高效太多。門禁要硬。在CI/CD流水線里加上評(píng)測(cè)步驟核心回歸集不過不允許merge到主干A/B測(cè)試沒完成不允許全量發(fā)布。具體門檻可以這樣設(shè)置任務(wù)成功率不低于前一個(gè)版本安全違規(guī)率為0p95延遲增加不超過5%單任務(wù)成本增幅不超過10%。這里的安全違規(guī)率我建議設(shè)置成硬性0容忍其他指標(biāo)可以允許小幅波動(dòng)但要解釋原因。回歸看板還有個(gè)作用逼著團(tuán)隊(duì)面對(duì)穩(wěn)定性的問題。如果某個(gè)版本成功率抖動(dòng)很大看板上會(huì)顯示方差變寬這時(shí)候不管是模型還是評(píng)測(cè)集的問題都得停下來查清楚而不是看均值“好像還行”就放過去。5. 常見問題與排查技巧實(shí)錄前面講的都是理想框架實(shí)操中幾乎每一步都會(huì)出幺蛾子。這一節(jié)專門記錄我遇到過的高頻問題每個(gè)都踩過坑希望能幫你少走彎路。5.1 LLM-as-Judge不聽話評(píng)分飄忽、與人類不一致現(xiàn)象一同樣是“很好”的答案換了個(gè)Judge模型就變成低分。排查方案是先看評(píng)分卡是不是足夠客觀。如果評(píng)分卡還在用“請(qǐng)?jiān)u估回答質(zhì)量”那是評(píng)分卡的問題不是Judge的問題。改成帶維度粒度和示例的評(píng)分卡一致性會(huì)明顯提升?,F(xiàn)象二Judge和人工標(biāo)注的一致性只有60%。這種時(shí)候不要硬上Judge先找到分歧集中在哪類樣本。我遇到過Judge對(duì)“間接回答了問題但沒直接給答案”的情況格外嚴(yán)厲而人類覺得這種回答可以接受雙方打分手腕不一樣。解決方案是給Judge加一條“允許Agent追問澄清”的規(guī)則并在標(biāo)注手冊(cè)里同步說明讓人類和Judge對(duì)齊?,F(xiàn)象三Judge自己出現(xiàn)幻覺在理由里寫了一些回答里根本沒有的內(nèi)容。這種情況只能靠更換更強(qiáng)的Judge模型以及增加“回答中是否包含xxx”這種可驗(yàn)證性的評(píng)分維度來緩解。記住Judge也是有幻覺風(fēng)險(xiǎn)的模型不能全盤信任。5.2 人工標(biāo)注質(zhì)量和一致性差最典型的場(chǎng)景是雙人標(biāo)注一致率不到70%Kappa低于0.5。一開始我們以為是標(biāo)注員不認(rèn)真后來復(fù)盤發(fā)現(xiàn)是標(biāo)注手冊(cè)里“邊界案例”太多比如“用戶要求Agent幫忙改寫郵件但保留語氣不變”什么樣算語氣不變不同人理解完全不同。解法分三步第一步把分歧最大的樣本收集起來逐條討論把新確認(rèn)的規(guī)則補(bǔ)進(jìn)標(biāo)注手冊(cè)。第二步對(duì)標(biāo)注員做一次集中培訓(xùn)重點(diǎn)講新增的邊界案例。第三步重新抽一批獨(dú)立樣本測(cè)Kappa。通常這一輪下來一致性會(huì)從0.5拉到0.7以上。如果還不行就得考慮是不是指標(biāo)本身定義太模糊需要換一個(gè)更容易判定的指標(biāo)。5.3 A/B測(cè)試跑不出顯著差異這是最讓人崩潰的場(chǎng)景之一明明離線評(píng)測(cè)有明顯優(yōu)勢(shì)線上A/B就是沒有顯著結(jié)果。我遇到過的原因有三種第一種樣本量確實(shí)不夠。跑了一周就著急看數(shù)據(jù)置信區(qū)間寬得能裝下整個(gè)宇宙。解法是事先算好樣本量耐住性子跑夠時(shí)間。第二種指標(biāo)選錯(cuò)了。離線評(píng)測(cè)用的是任務(wù)成功率線上實(shí)際統(tǒng)計(jì)的是“用戶發(fā)起會(huì)話后有沒有點(diǎn)‘已解決’”這兩者口徑差異很大。我在早期犯過這個(gè)錯(cuò)離線成功率提升10%線上“已解決率”紋絲不動(dòng)最后發(fā)現(xiàn)線上用戶根本不會(huì)主動(dòng)點(diǎn)“已解決”。解法是要用跟業(yè)務(wù)結(jié)果強(qiáng)相關(guān)的指標(biāo)來做A/B而不是直接搬離線指標(biāo)。第三種版本差異被噪聲淹沒。線上流量本身波動(dòng)很大節(jié)假日、活動(dòng)、渠道投放都會(huì)帶來噪聲。建議A/B期間同時(shí)監(jiān)控自然波動(dòng)數(shù)據(jù)或者用分位數(shù)、更長(zhǎng)時(shí)間的窗口來觀察而不是只看每天的均值。5.4 評(píng)測(cè)集污染與線上失真評(píng)測(cè)集被污染的表現(xiàn)是離線分越跑越高線上業(yè)務(wù)指標(biāo)毫無變化甚至下滑。除了訓(xùn)練數(shù)據(jù)可能包含評(píng)測(cè)題之外還有一種常見情況是評(píng)測(cè)集本身構(gòu)建時(shí)帶偏見——偏向某一種回答風(fēng)格或問法導(dǎo)致Agent在評(píng)測(cè)集上練得“過擬合”。防止線上失真的核心是兩條一是評(píng)測(cè)集持續(xù)更新不能一年到頭就那幾百道題二是定期做“盲測(cè)回流”——從線上隨機(jī)抽出真實(shí)用戶請(qǐng)求作為臨時(shí)評(píng)測(cè)樣本跑一輪離線評(píng)估看離線分?jǐn)?shù)和線上真實(shí)表現(xiàn)是否一致。一旦發(fā)現(xiàn)兩者越來越脫節(jié)就要馬上重寫評(píng)測(cè)集或調(diào)整評(píng)測(cè)邏輯。模型在進(jìn)化用戶問題也在進(jìn)化評(píng)測(cè)集不是一次性資產(chǎn)這點(diǎn)一定要有意識(shí)。我個(gè)人在實(shí)際操作中的一個(gè)體會(huì)是評(píng)測(cè)體系做得越久越要警惕“為了好看而評(píng)測(cè)”。指標(biāo)不是越多越好手段也不是越高級(jí)越好關(guān)鍵是能不能幫你在正確的時(shí)間攔住錯(cuò)誤的版本。這些方法組合在一起就是我和團(tuán)隊(duì)目前跑得很順的v21.0方案。它不一定適合所有團(tuán)隊(duì)但至少提供了一條從“憑感覺”走向“用數(shù)據(jù)說話”的可行路徑。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
wWW九九在线播放| site:esunnet.com| 综合色五月| 久久网日本| 97色永久免费视频| 五月丁香猫咪久久婷婷综合视频激情四射网入口| 久久婷婷五月| 99热人人| 丁香激情网| 超碰在线国产| 国自产拍偷拍精品啪啪一区二区| 婷婷五月天激情综合深爱| 欧美槡BBBB槡BBB少妇| 玖玖在线资源视频| 熟女色色一区二区| 五月婷婷婷婷婷婷艺术| 五月婷婷 自拍| 无码任你操| 色婷婷四虎| 天天插天天爱| 婷丁香久综合| 婷婷影视久久| 亚洲视频五区| 久久五月天激情视频| 婷婷五月丁香高清无码| 夜精品无码A片一区二区蜜桃 | 成人人操| 色哟哟精品| 在线视频另类| 中国女人内射6XXXXX| 色视五月天婷婷| 久热99视频在线观看| 79色色| 色色欧美色色| 九九在线精品| 青草青草久热这里只有精品| 先锋影音男人的天堂AV| 一级黄色影片| 色综合色色色色色| 丁香六月久久| 五月六月激情| 超碰人妻在线| 日本97人人| 婷婷五月天视频免费在线观看| 91人人爽狠狠狠| 欧美交换配乱吟粗大25P| 色区域网站视频| 午夜婷婷久久| 色99久草在线| 丁香五月欧美| 激情六月综合| 激情com| 婷婷六月丁香五月图区| 色色五月婷| 2050人人操免费工开爱| 色五月自偷自拍婷婷婷婷| 九九亚洲| 日日操夜夜爽白洁| 91性人人| 成人在线观看精品| 99色在线| 天天舔天天操| 欧洲亚洲免费视频区| 97色 五月天丁香| 久9热视频| 5月丁香婷婷| 高清资源站日A美A欧亚…| 天天操夜夜操| 五月之婷婷| 婷婷五月综合激情| 丁香婷婷色九月| 无码天天操| 色婷婷色| 亚洲一二三网| 99ER热精品视频| 婷婷五月天AV在线| w婷婷五月婷婷w| 中美月韩免费A片| 中文字幕乱码亚洲精品一区| 99操| EEUSS鲁片一区二区三区| 欧日美女Va| 欧美日韩五月婷婷| 最近中文字幕2019视频1| 五月天婷婷在线播放| 激情啪啪五月天| 日本丰满久久| 婷婷婷婷午夜| 一本大道熟女人妻中文字幕在线| 久久九九@| 婷婷视频在线碰| 激情五月丁香六月综合AVXXXX| 天堂婷婷五月色| 在线你懂的亚洲欧| 97干婷婷| 亚洲在线成人| 99在线看视频| 国产成人片| 五月婷婷欧美| 色婷婷成人网| 翔田千里 50岁 无码| 色日本网| 天堂草在线观| 热成人网| 深爱开心五月天| 99久久精彩视频。| 色五月激情视频在线综合| 99五月婷| 亚洲色色五月天| 婷婷五月精品| 五月丁香A片| 丁香五月Av| oumeisesewang| 97碰免费视频在线| 婷婷九月色| 激情综合国产| 91九色视频| 六月婷婷七月丁香| 五月色婷婷中文字幕| 人妻五月天激情开心网| 久热精彩视频98| WWW.婷婷| 欧美性爱五月天| 五月天婷婷网站888| 另类综合色| 五月婷婷丁香俺日污视频| 色了色综合| 五月婷婷六月丁香激情综合网| 色婷婷五月天偷拍| 色综合区| 欧日美女Va| 六月色色| 婷婷爱综合| 亚洲三A| 九九久久99| av色色国产| 大香蕉九九| 久久婷婷五月丁香网| 人妻久久久| 99性爱| 网站免费一站二站| 久久综合性| 97碰碰视频在线观看免费| 色色色图| 96精品久久久久久久久| 婷婷九月色| 天天爽人人综合免费7799| 色欲av伊人久久大香线蕉影院| 狠狠草在线观看| 五月开行婷婷色五月| 天天狠狠色综合| 可以免费看AV网站| 丁香五月亚综合图片| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪 | 久久婷五月天| 深爱激情AV| 久久婷婷六月综合资源| 久狠日av| 亚洲精品视频在线播放| 九九热免费视频| 亚洲激情AV| 精品影院| 欧美综合五月天婷婷tin| 日本三级中国三级99人妇网站| 五月色丁香| 天天插天天干| 97操碰在线97| 九九aV| 日韩AV片| www.精品99| 久久这里只有国产精品视频| 狠狠干狠狠干| 丁香激情五月| 99热999| www.夜夜| 久久AAAA片一区二区| 欧美顶级少妇做爰HD| 99色综合久久| 色播婷婷五月天| 婷久看人爽| 日本成人小说婷婷六月| 成人丁香五月| 大香蕉天堂色| 婷婷五月天美女| 久色网五月| 五月婷婷丁香五月| 琪琪布丁香社区激情五月天| 丁香五月日韩| 六月婷婷久久大全| 久久久久婷婷| WWW·色色色·COM| 五月丁香网中文字幕| 色色婷| 五月天综合| 另类视频综合| 日韩av干| 五月婷在线| 色吧五月婷婷| 99区视频| www.色9| 亚洲激情四射色| 9久热免费视频99| 五月天六月天| 婷婷五月天久久| 五月婷婷伊| 99热啪啪| 天天干电影| 久久视频婷婷视频| 超碰人人艹| 婷婷丁香熟女| 99视频内射三四| 99 频99热国里只有精品| 99玖玖视频| 色婷婷六月| 五月婷综合| 99这里只有免费的小视频在线观看| 怡红院成人AV| 99视频这里有精品| 337p大胆噜噜噜噜噜91Av| 密视AV综合在线| 狠狠操天天干| 亚洲av成人在线| 99er视频在线| www.99热视频在线观看| 91操熟女| www999日韩精品| 一本婷婷丁香久久| 色婷婷影院| 97久久久久| 狠狠色噜噜色狠狠狠综合久久成人波 | 亚洲男女激情| 操丝袜视频影院导航| 九九热黄色| 大香蕉75线| 九九九九操逼| 久热9| 久久婷婷亚洲| 99热这里只有精品青草| 久久综合天天综合| 婷婷丁香五月六月激情| 色综色网| 99婷五月| 丁香五月综合网| 91久久久久久| 色五月丁香五月| 色综合网址| 色色色色色色色色综合网| 无码一区二区三区四区五区| 91热爆在线| 色色色97| 亚洲成人网站在线播放| 久操97| 亚洲激情六月| 国产亚洲成AV人片在线| 婷综合六月| 丁香88AV五月婷婷| 五月婷婷丁香日韩在线| 精品热青草| 激情玖玖sh| 亚洲视频一区| 九九视频在线观看视频6| 很很干天天干| 婷婷久久五月| 欧美成人精品A片免费一区99| 婷婷五月天AV| 激情色色| 色欲一区二区三区精品A片| 天天插天天射| 久久精品99国产精品日本| 九九热99热| 久热成人| 伊人久久艹| 六月天婷婷| 丁香五月Av| 成人精品人妻| 九九亚洲视频| 一起草AV| 噼里啪啦在线观看免费完整版视频| 色丁香五月婷婷| 亚洲九九视频| 国产特级毛片AAAAAAA高清| 欧美黑人巨大性生话| 99热在线观看| 日韩av免费版| 激情婷婷五月综合| 色五月婷婷激情基地| 午夜成人在线免费视频| 欧美色宗和激情| 亚洲第一成人无码A片| 91久久综合亚洲鲁鲁五月天| 另类激情五月天。| 亚洲色爽| 少妇人妻综合色6699| 天天干天天操| 婷婷涩涩五月天| 九色PORNY自拍成人精彩视频| 久久综合影院| 丁香五月激情五月| 久久久99视频| 无码99| 99精品视频在线观看| 欧美黑人巨大性生话| 色五月激情五月| 激情五月丁香五月色| www天堂99| 综合久久伊人| 黄色AV日韩| 淫荡家庭AV| 99re这里只有精品国产99| 呦呦v线| 欧美成人五月天| 色五月av| 丁香五月六月综合激情| 成人五月天综合网| 久久婷婷五月综合成人d啪| 综合久久综合久久| 春色激情第四色| av性爱在线| 天天碰夜夜爽| www.狠狠| 日本三级第一页| 伊人五月综合网| 婷婷91| 色五月婷婷、老熟女| 五月婷婷基地| 99亚洲精品视频| 性生生活大片又黄又| 久热爱大香蕉在线蜜臀悦色 | 免费无码毛片一区二区A片 | 激情视频91| 99re思思热在线视频| 激情五月天之五月婷婷| 色色无码| 天天做天天爱| 久热丁香| 六月婷婷日| 综合网亚洲| 99re8这里只有精品99re8热视频| 九九精品9| 成人AV网站在线| 99爱视频精品在线观看| 六月丁AV| 激情深爱五月天| 五月精品99综合| 99久久久久久| 激情小说 五月天| 激情五月天色播| 九九色精品| av一区免费看| 日韩欧美一区二区三区四区| 99热费观看| 丁香五月婷久久| 丁香亭亭激情四射| 五月亭亭六月色| 常久最新免费的色吊丝| 六月激情婷婷| 色五月婷婷AV| 久久99这里只有精品视频| 丁香五月婷婷AV| 国产成人精品亚洲线观看| 成人网页在线观看| 电影蜘蛛女| 日日操夜夜爽| 激情五月婷婷视频| 久久这里这里有精品免费视频| Www.狠狠| 亚洲第一成人无码A片| 婷婷爱爱蜜臀天天操| 激情综合网亚洲色图| 日日干天天射| 天花AV无码| 五月激情婷婷开心五月| 久操大香蕉| 91久久精品视频| 五月天激情在线视频| 久色大| 中文字幕1区2区。| 五月婷五月婷伊人伊人五月婷| 色五月天在线观看| 久久婷婷九月国产精品| 狠狠操.com| 久久丝袜婷婷| 看逼中文字幕| 激情五月天色婷婷| 国外亚洲成AV人片在线观看| 六月丁香花婷婷| 99国产视频网| 影音 五月 婷婷 久久| 开心久久xxx色| 婷婷综合97| 9精品久久999| 思思久久精品视频| 久久丁香五月天| 日日操夜夜操无码免费| 99无吗| 中文字幕免费高清电视剧| 99九九在线观看免费| 成年人看Va免费视频| http:色情日本com| 丁香婷婷综合五月天| 亚洲av网站| 操婷婷基地| 成人色色视频| 伊人久久丁香狠狠婷婷综合香蕉| 99热 免费| 色婷婷丁香| 婷婷五月丁香超碰| 亚洲五月婷婷| 97操| 综合色播| 九九精品re免费视频| 影音先锋 91工厂| 人人操五月天| 天天操夜夜爽天天操| 色欲久久久久久综合网综合网| 九九99视频精品| 丁香婷婷在线| 综合五月激情| 色999;丁香五月| 午夜69成人做爰视频| 色色网站观看| 国产真实乱了老女人视频| 久久五月婷综合| 96人人操人人操人人| 色婷婷综合久久久久| 欧美色97| 色五月婷婷综合| 玖玖99免费视频| 91视频综合网| 97在线/亚洲| 这里只有精品1| 丁香六月天婷婷| 婷婷日日夜夜| 婷婷五月无码| 久久久99视频| 在线另类| 99在线免费观看| 激情五月六月婷婷综合啪啪| 亚洲不卡欧洲| 色色婷婷五月天| 婷婷色中文字幕| 91九色首页| 狠狠插狠狠插| 激情综合网五月天天| 内射爽无广熟女亚洲| 婷婷黄色五月天在线视频| 大香蕉九九| 色五月av伊人| 91九色偷拍| 五月天精品视频| 无码九九九九| 久久网日本| 久热婷婷| 香蕉AV福利精品导航| 亚洲激情五月婷婷日日| 99热综合在线观看| 久久久噜噜噜久久人妻| 日本 欧美在线| 天天爽夜爽| 99re热| 性做爰A片免费视频A片直播 | 91N 一起草| 色播五月婷婷| 超碰在线成人| 久久小说网| 这里只有精品在线免费视频| www.97干视频| 第五色婷婷| 天天操天天爽天天爱| 色五月丁香五| 97色啪| 五月婷俺去也| yw国产AV| 五月丁香六月欧美综合网站| 97干在线视频| 一级AV片| 日韩淑女人妻luan伦激情精品一区二| 黄色大片又大粗又爽| 中文字幕日本最新乱码视频| 99综合| 亚洲色色色色色色色色色| 久热无码| 人妻久久久久久久 | 色五月婷婷激情基地| 99视频久久| 欧美美女国产日韩一区二区久 | 中文字幕黄色片| 99精品这里只有免费视频| 伊人久久丁香五月91| 综合五月丁香六月婷婷| 丁香六月狠狠| 婷婷丁香www视频日本韩国| 色婷五月天| www婷婷色情网| 亚洲AV成人无码电影| 激情五月天婷婷五月天| 79色色色色| 大香蕉精品视频| 无遮羞AV| 五月色丁香综合| 久月久在线视频| 亚洲在线综合| 综合激情深爱| 天天开心天天色| 激情玖玖综合网| www色色色com| 九九久热| 五月天亚洲最大成人| 97在线干| 国产精品99久久久久久久女警| 色七七色九九| 丁香五月婷婷成人综合| 午夜爱插插| 日韩精品视频中文字幕| 超碰人人操在线| 欧美综合五月丁香五月天| 五月丁香六月成人| 日本A片一区| 色五月激情网| 欧美黄色韩日网| 激情婷婷五六月天| 色v综合网| 婷婷激情五月呦呦| 婷婷九月丁香| 99国产在线| 99人这里只有精品| 亚韩在线视频| 停停六月 综合| 大地资源色婷婷视频在线| 久久激情天堂| 天天射色五月天| 人人爽在线视频综合网| 国产操B视频| 99色在线观看视频者| 五月天狠狠| 九九在线精点品| 高清无码中文字幕aVDV| 激情婷婷内射| 婷婷精品免费久久| Av免费网站在线| 国产亚洲精品AAAAAAA片| 成人电影AV在线观看| 99热日韩| 天天摸夜夜爽天天做| 99啪啪视频| 香蕉大综综综合久久| 色五月丁香91| 拍真实国产伦偷精品| 色婷婷导航| 免费视频99| 性99网站| 色色婷婷综合网| 五月天啪啪| 中文字幕欧美久久| 亚洲国产网站| 永久天堂日本| 久久婷婷五月天大香蕉| 国产做爰视频免费播放| 激情丁香五月婷婷| 99精品在线播放| 大香蕉久久婷婷| 天天插天天插天天插天天插| 五月丁香综合影院| 六月丁香成人| 日韩黄色AV无码| 婷婷9月天| 成人在线观看精品| 91日韩在线| 99热亚洲精品| 日本综合色图| 久久久五月天| 激情五月天在线视频| 99热在线观看精品| 99九九热视频| 激情五月天啪啪| 99热8| 天天干天天色综合| 色色色色网| 一本久道综合色婷婷五月| 五月丁香六月婷婷亚洲| 操一操插一插| 丁香婷婷色五月天| 深爱五月日韩| 丁香五月电影| 婷婷五月天六月丁香| 婷婷狠狠色| 色婷婷五月天偷拍| 超碰在线中文字幕| 激情综合九月| 丁香六月婷婷久久综合| 色五月综合| 六月婷婷五月丁香| 99热这里是精品| 国产成人精品一区二三区熟女在线| 99er视频在线| 色丁香六月| 99精品小视频| 丁香激情网| 国产免费一区二区三区三州老师F1F1.CC | 狠狠婷婷综合| 丁香婷婷综合喷| 超碰色人妾| 99内射视频| 丁香五月天狠狠操| 中文字幕AV在线播放| 九九黄色网| 亚洲性天天| 天天网站天天爽| 中国AV性爱观看| 五月婷婷六月基地| 久久色五月天综合网| 狠狠xx| 99国产精品久久久久久久久久久| 六月丁香综合| 六月激情综合| 99国产在线精品视频| 亚洲岛国电影| 一本色道久久88加勒比—| 六月婷久久| 99热免费精品热久久66| 婷婷激情综合无月| 丁香五月天啪啪激情综和网| 婷婷久久色| 91ncom.色| 成人日韩欧美| 色五月天激情| 成人精品一区日本无码网| 色99综合色88| 日韩精品一区二区亚洲AV观看| 深夜男女福利刺激影院一区完整| 色婷婷五月影视| 久久综合伊人综合在线| 色99网| 超碰91在线| 五月综合视频| 97操男人的天堂| 色碰碰| 久久丁香五月婷婷激情综合网| 开心五月激情五月丁香五月婷婷| www.夜夜操| 伊人激情| 热久久999| 色婷婷丁香九月| 丁香五月天在线视频| 丁香五月av在线| 日本一级特黄大片AAAAA级| 99∨VTV| 婷婷天堂伊人| 亚洲天堂爱爱| 丁香五月天五码婷婷| 婷婷激情五月| 激情深爱五月天| 日本欧美999久久久三级片| 色情五月综合婷婷| 丁香久久久| 亚洲视频五区| 日韩成人中文| 成人亚洲精品| 99热这里有精品6| 婷婷激情性爱| 久色国产| 综合网五月| 人人操婷婷| 久久99免费视屏| 五月丁香六月香综合激情| 97狠狠色| 婷婷情色五月| 久久久久久久久久8888| 婷婷五月天偷拍| 噜噜五月天综合| 97久久精品视频| 国产韩日亚洲美州欧亚综合在线| 久久婷婷六月综合| 精品人妻伦一二三区久久| 婷婷中文字幕在线| www.色窝| 99九色视频在线观看| 潘金莲AAAAAAAAAA| 色一区高清| 少妇综合网| 国产肥白大熟妇BBBB视频| 五月天婷婷綜合院| 五月天色婷婷成人| 亚洲综合激情五月久久| 激情五月天啪啪| 激情都市五月天| 99欧美| 久久码久久无清| 婷婷五月天深爱| 久九色| www.久久色.com| 国内裸舞二区| 色~性~乱~伦~噜| 婷婷免费视频| 丁香六月天婷婷在线| 中文字幕成人影视| 国产乱轮一区二区三区| www.夜夜操.con| 99啪| 碰碰操91| 夜夜夜夜夜操| 播丁香五月婷婷欧美| 亚洲小视频免费观看| www.99日本| 91干| 色婷婷啪啪| 狠狠狠狠狠操| 国产美女无遮挡裸体毛片A片| 日韩综合网络男女香蕉a片| 天天草天天摸| 少妇2做爰HD韩国电影| 99久久99久久综合| 狠狠爱婷婷爱| 久久婷婷资源| 天天做天天爱天天综合网| 四川BBB搡BBB搡多人乱亂| 色丁香五月天射婷婷爱婷婷| 色五月婷婷av| 99热热这里只精品996小说| 2025天天操| 最新无毒无码AV| 婷婷色五月天第7色| 激情综合网五月天| 日韩婷婷| 色婷婷综合视频| 日本高清久| 五月丁香六月婷婷激情网| 丁香五月色激情| 五月天色婷婷基地| 2025超碰| 婷婷五月天激情综合深爱| 色爱综合网| 5月婷婷综合| 五月婷婷六月色| 成人丁香五月| Av大香蕉| 亚洲欧洲另类| 夜夜干 夜夜操| 中文字幕在线观看视频www| 99ri在线观看视频| 九色91国产| 久久婷婷网| 97碰久久| 婷婷大美在线| 成人美女网| 管管補管管紱| 中文字幕有多少字| 免费观看的AV| 狠狠色婷| 综合色播| 日韩精品超碰在线观看| 天天综合五月天| 国产精品色婷婷99久久精品| 久久婷婷五月综合啪| 中文字幕av在线播放| 欧美婷婷日本| 五月天亚洲图片婷婷| 日韩成人电影AV| 久久杏爱视频| AA片在线观看视频在线播放| 精品怡红九九九| 婷婷五月天国产性感美女演员久久久久| 99久久久国产精品免费蜜乳tv| 日韩AC在线免费观看| 婷婷日日夜夜| 碰碰人人漕| av网址在线| site:hcxsz888.com| 婷婷五月色| 色色啊| 超碰亚洲欧美| 嫩草乱码一区三区四区| 九九热99熟女| 很很干天天干| 密乳视频| 久婷自拍视频| 久9久9热久热| 欧美性二区| 午夜天堂一区人妻| 99热99干| 非洲一级AV| 九九精品免费| 深爱丁香激情| 综合亚洲AV| 操操操av| 亚洲精品无AMM毛片| 色五月综合婷婷| 激情啪啪五月天| 激情久久五月天| 思思久ren热| 日本美女97在线视频| 五月亭亭直播| 日韩啪| 久草婷婷| 狠狠五月激情丁香六月| 久综合| 大香蕉AV在线| 激情五月开心五月丁香五月| www九九| 欧美色综合天天久久综合精品| 这里只有久久精99| 成人 视频免费观看网站| 九九色色| www,天天干| 深夜男女福利刺激影院一区| 国产五月视频| 婷婷五月,偷窥偷拍网| xxxx五月激情| 激情丁香五月| 97综合在线| 丁香五月日本| 久久精品系列| 99精品无码| 久久婷婷五月天蜜桃| 婷婷狠狠爱| henhencao国产在线| www.五月.com| 久草嫩草在线观看| 91精品无码| 99精品无码网站| 99色网站| 丁香五月之久操视频| 五月丁香大相交| ss99热| 久久综合婷| 婷婷激情丁五月| 久操福利| 超碰熟女农村在线69| 99热99干| 婷婷五月成人系列| 狠狠做六月爱婷婷综合aⅴ| 狠狠狠狠青草| 婷婷色导航| 婷婷五月天色播| www.夜夜夜| 五月婷婷婷综合网| 亚洲乱码日产精品BD| 99这里| 色五月丁香激情视频| 婷婷六月综合| 综合色图婷婷| 激情五月影院| 天天日天天色| 天天狠狠色| 久久香蕉网| 91婷婷五月丁香碰| 96精品成人无码A片观看金桔| 色偷偷色婷婷| 操射国产日本| 久久99这里| 狼人狠狠操| 97色婷| 国产韩日亚洲美州欧亚综合在线| AV在线免费播放| 色啪综合| www.色五月| 99久久综合网| 99热这里全都是精品| 激情久久天天| 99热热热99精品丁香| 九九精品网站| 五月丁香综合网| 九九九午夜影院成人| 99人人爽| 久久久久久人妻| 超碰成人在线观看| 色色色欧美| 九九热区一区二区三区| 欧美三级大片AA在线看| 99热欧美| 久久小视频| 色区域网站视频| 欧美人人女女精品综合五月天| 色一情一乱一乱一区91| 婷婷五月丁香久久| 99精品在线观看| 天天综合网亚洲网站| 五月婷婷七月丁香| 日本综合色图| 五月天性色| 久久九⑨| 成人va在线播放| 成人在线99| 色综合久久88色综合天天99| 开心五月深爱五月丁香五月激情五月 | 噜噜色com| 99re这里只有精品视频6| 六月婷婷综合| 久久久99婷婷久久久久久| 9久久网| 亚洲影院婷婷色| 综合六月久久| 丁香五月久久| 婷婷色综合| 丁香婷婷大香蕉| 色色激情五月| 色婷婷激情四射视频| 五月婷婷在线免费| 五月激情综合深爱| 热这里| 久久这里只有精品无码| 激情五月综亚网| 久久亚洲色导航| 久热这里这里有精品| 色丁香五月婷婷| 中文字幕在线免费| 91操片| 色色色9| 超碰啪啪网| 婷婷五月天熟妇| 粉嫩AV久久一区二区三区| 九九碰九九爱97超碰| 五月婷啪啪| 99狠狠操一| 91大屁股| 婷婷 亚洲图片 丁香| 中文无码精品一区二区三区| 天天操九九插| 99热这里只有精品23| 天天综合色综合| 精品人妻久久久久久久| 成 久久| 色色 9| 97亚洲色 torrent magnet| 怡红院AV亚洲一区二区三区H| 日韩av在线免费观看| 色色色色色色97| 激情综合五月| 亚洲丁香花五月丁香花| 中文字幕在线免费观看视频| 亚洲第一精品网站| 色婷婷久久综合久色| 91九色国产熟女| 热久久999| 337p大胆噜噜噜噜噜91Av| 色五月五月婷婷| 99视频在线观看视频| 综合色色网| 综合 蜜月 婷婷| 荫道BBWBBB高潮潮喷| 日韩成人AV在线| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 婷婷婷狠狠| 日良久久| 五月激情六月综合| 五月丁婷婷| 婷婷伊人| 色九月婷婷丁香| 99精品久| 最近中文字幕2019视频1| 99ri国产| 丁香五月天狠狠| 人人操A| 婷婷五月蜜桃成人桃色丁香| 九九色综合网| 五月综合激情| 超碰操网| 婷婷色网| 亚洲图片 丁香婷婷| 人人操人人干AV| 大香蕉伊人久久| 久久久婷丁香五月| 色偷偷狠狠| 天天综合色| 天天玩夜夜操| 七月丁香五月婷婷在线| 人人看人人97| 激情五月综合| 狠狠色激情综合| 久久丁香五月天| 日日天天干| 少妇水多A片太爽了| 4399精品一区二区| 91人人操人人| yazhouzonghesese| 久久人妻伦理| 色五月婷婷中文字幕| 强辱丰满人妻HD中文字幕| 热久免费视频9| 五月天婷婷情色| 99惹| 人妻精品一区二区三区| 五月丁香六月情| 九久久婷婷| 久9免费视频| 色婷婷欧美在线| 天天色视频| 免费AV播放| 九九综合五月欧美| 色播五月婷婷| 五月婷婷我| 激情综合久久| 日韩在线99| 亚洲精品激情| 五月丁香婷婷六月| 九九色热| 国产色色视频| 五月婷婷六月丁香| 182tv992tv人之初午夜免费观看 | 操碰97| 欧美啪啪网| 大香蕉视频99| 99欧美热| 99在线小视频| 色婷婷瘦婷婷日韩| 在线你懂的亚洲欧| 九九九日本熟女| 色五月综合网| 开心婷婷五月| 亚洲精品久久久无码| 激情小说色五月| 性欧美大战久久久久久久83| 五月天丁香色色| 色亭亭丁香五月天| 婷婷五月丁香色播| 4399亚洲视频| 久色视频在线| hd五月婷婷在线| 五月天狠狠干| 婷婷九月丁香| 亚洲啪啪啪啪| 色九月| 婷婷五月天桃花网| 九九精品丁香花| 婷婷的色色五月天| 狼人久草| 五月婷婷成人网首页| 国模淫穴色图| 综合五月天| 五月丁香六月激情欧美综合| 久久视频在线视频| 91九色白丝| 99热线观看9| 香蕉久久国产AV一区二区| 亚洲激情五月婷婷日日| 99爱免费视频| 色婷婷婷婷| 婷婷五月av| 亚洲中文字幕在线观看| 五月色亭丁香| 99视频热99| 久久久这里都是精品| 色色色综合网| 婷婷情色五月| WwW天天干| 狠狠色丁香| 色九亚洲| 人妻无码精品一区| 610018岁成人视频| 亚洲激情综合色站| AV在线观看网站| 夫妻超碰在线| 久色国产| 国产伦亲子伦亲子视频观看| 五月花综合| 久操大| 久xxxx| 久久人妻www| 色综合激情图区| 337p午夜影院| 大香网伊人久久综合| 开心五月婷婷婷美女| 五月婷在线播放| 丰满少妇猛烈A片免费看观看| 九九色色| 天天舔天天摸天天射| 性色婷婷| www.com亚洲网站在线免费| 久热这里只有精品视频免费观看| 白人荫道BBWBBB大荫道| 五月丁色AV| 九九热这里| 久久婷狠狠色| 91成人看片| 激情久久丁香| 79精品视频在线观看,| 日韩啪啪自拍| 五月天综合图片| 亚洲无AV在线中文字幕| 日本激情ⅩXX免费视频| 97色婷婷| 国产激情AV| 99无码免费视频| 综合网啪| 色欧美一级| 啊V视频在线观看| 色丁香影院| 97干在线| 亚洲av成人在线| 五月激情啪啪啪| 天堂中文国产| 色综合色五月| 久久九九爽| 好好日激情五月天| 色婷婷综合影院| 潘金莲AAAAAAAAAA| 丁香婷婷精品视频| 99激情| 五月天久久婷| 都市激情久久| 91综合色| YW无码| 婷婷六月天精品| 老司机日日夜夜青草| aaaa.黄| 五月婷AV| 免费无码毛片一区二区A片| 任你爽免费视频| 婷婷综合在线| 99热传媒| 开心久久爱五月天| 99精品自拍视频| 九九久久精品國產| 99久久精品网| 色婷婷成人做爰A片免费看网站| 大香蕉婷婷丁香视频在线| 国産精品| 伊人色综合网| 丁香综合久久| 看久久性爱99视频| 91操女| 人妻久久久久久久久久| 色色欧美色色色| 日操五月婷| 成人国产欧美大片一区| 日本狠狠爽| 婷婷五月天色| 色黑鬼导航| 国产超碰在线| 丁香五月在线视频| 99热99这里有免费的精品| 中字幕视频在线永久在线观看免费 | 伊人五月天97| 日日夜夜干| 久综合九| 大香蕉网站,大香蕉综合| 国产精品美女| 97香蕉久久超级碰碰高清版 | 另类小说五月天| 欧美va在线观看| 五月天婷婷xxx| 色五月婷婷在线观看第一页舔| 夜夜爽天天爽| 色婷婷婷av| 涩丁香91| 综合网色| 婷婷丁香五月,狠狠综合| 色播五月天婷婷老师| 久久久五月天| 国产婷婷五月色情综合| 91欧美| 色色9 9| 99re久久| 五月天婷a| 欧美精品99| 狠狠色噜噜狠| 色色五月天网站| 6080av| 99男人的天堂| 性生生活大片又黄又| 中文久久婷婷| 丁香婷婷六月天| 久久精品91视频| 少妇人妻偷人精品无码视频新浪| 丁香五月婷婷五月天| 五月天六月天| 97日在线视频| 99在线精品免费视频| 91丨九色丨熟女| 深爱五月亚洲| 97干97色| 久久3级片| 亚洲天堂色色| 人人草开心五月天| 婷婷五月深深的爱| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 99色啊| 91色吧网| 婷婷丁香九色| AA丁香综合激情| 婷婷激情社区| 人妻操逼| 日韩人妻无码精品| 99久| 五月综合激情| 九九在线视频| 亚洲 无码 中文字幕 中出 | 韩国三级五月天婷婷。| 久久这里都是精品免费| 色噜久| 操逼五月婷婷| 日本婷婷| 国产综合婷婷| 亚洲免费99| 人人爱干人人爱草| 成人网在线视频| 67194中文在线| 五月综合六月婷婷| 成久综合视频| 色播五月综合网| www日本熟妇99在线视频| 99在线观看精品视频| 五月婷婷丁香五月婷婷丁香| 五月丁香六月停停| 天天综合久久| 91色噜噜狠狠狠狠色综合| 亚洲成人综合网在线免费观看| 噼里啪啦在线观看免费完整版视频| 综合激情在线| 五月天综合婷婷| 白天AV月月| 五月天丁香啪啪综合| 九洲一级A片| 9 9热这里有精品| 婷婷丁香综合网| 久久99热这里只频精品6学生| 久久久91| 亚洲操B| 狠狠干五月丁香综合网| 思思色综合网站| 婷婷五月亚洲激情| 好看的国产精品| 久七香蕉| 激情超碰网| 色啦啦视频| 777精品久无码人妻蜜桃| 色婷婷六月| 91丨九色丨43老版熟女| 日本色久| 久热只有精品| 99精彩视频| 五月婷婷丁香综合网| 嫩草综合网| 狠狠色五月激情| 六月丁香婷| 成人AV免费观看| AV色婷婷| 99熟女啪啪视频| 亚洲AV成人无码电影| 五月婷婷激情在线| 婷婷五月丁香青青草在线| 免费观看欧美成人AA片爱我多深| 思思热在线| 天天做夜夜爽| 丁香九月婷婷| 五月丁香啪啪网| 秋霞性爱AV| 国产操碰| 色综合色五月| 婷婷久月| 亚洲综合九九| 久激情网| 国产成人网站在线观看| 91超碰在线观看| 五月久久婷婷丁香| 成人婷婷| 97色久| 久久停停超碰| 五月丁香六月婷| www.99在线| 1024日韩| 亚洲热综合| 久操热| 99ER热精品视频| 久久综合九色综合97婷婷| 欧美综合激情|