欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

LLM技能自動化測試實(shí)踐:從用例設(shè)計(jì)到CI流水線集成

LLM技能自動化測試實(shí)踐:從用例設(shè)計(jì)到CI流水線集成 把LLM技能當(dāng)成普通函數(shù)來做自動化測試這個(gè)想法我第一次聽的時(shí)候覺得有點(diǎn)“想多了”——模型輸出本來就是概率性的同一句話問兩次答案都能不一樣怎么測但后來真正開始在Agent項(xiàng)目里維護(hù)二十多個(gè)技能模塊每次改一句提示詞都要把十幾個(gè)場景手工點(diǎn)一遍我才意識到不把這件事自動化后面只會越來越痛苦。這篇就是用skillprobe這套工具把LLM技能測試落地的全記錄從測試用例設(shè)計(jì)到指標(biāo)判定再到接進(jìn)CI流水線踩過的坑和驗(yàn)證過的思路都會寫到。如果你正在做Agent類應(yīng)用或者給LLM封裝了各種“技能”RAG檢索、工具調(diào)用、結(jié)構(gòu)化抽取、內(nèi)容生成你大概率也會遇到同一個(gè)問題技能看著能用但改一版提示詞之后到底有沒有改壞別的地方基本靠運(yùn)氣。skillprobe就是拿來解決這個(gè)問題的它的定位很像pytest之于Python——只不過被測對象是LLM技能而不是普通函數(shù)。下面直接進(jìn)入正題。1. 為什么必須給LLM技能上自動化測試1.1 LLM技能不是代碼但它也需要“單元測試”先對齊一下概念。這里說的“LLM技能”指的是你在Agent或應(yīng)用里給大模型封裝好的能力模塊。舉個(gè)例子一個(gè)給客服機(jī)器人用的“訂單查詢技能”它的輸入可能是用戶原話和用戶ID內(nèi)部邏輯是把用戶原話做意圖識別、抽取出訂單號再去調(diào)用訂單系統(tǒng)API最后把結(jié)果整理成自然語言回答。整個(gè)鏈路是“模型提示詞外部工具調(diào)用”的組合而不是一段普通的函數(shù)代碼。普通函數(shù)測試很簡單輸入A斷言輸出是B。但LLM技能不一樣它的輸出是概率性的同一個(gè)輸入配上稍微不一樣的采樣參數(shù)結(jié)果就會有波動。而且它的“正確”也不只是數(shù)值對錯(cuò)還有語義是否正確、格式是否規(guī)范、引用是否能對上原文。所以傳統(tǒng)的單元測試框架直接用不了需要一個(gè)能適配“非確定性輸出”的測試方案。skillprobe做的事就是把LLM技能測試拆成幾層技能注冊和加載是否正常、輸入輸出schema是否匹配、端到端行為是否正確、多次執(zhí)行是否穩(wěn)定。每一層都有對應(yīng)的判定邏輯而不是簡單拿一個(gè)字符串去比對。我自己的體會是LLM技能的維護(hù)成本其實(shí)比普通代碼高得多。普通代碼出問題報(bào)錯(cuò)堆棧一看就明白了。LLM技能出問題往往是“回答得挺流暢但內(nèi)容里有小錯(cuò)”或者“這個(gè)場景回答得很好換一個(gè)說法就不行了”。這些問題單靠開發(fā)時(shí)手動測兩條路徑根本發(fā)現(xiàn)不了。自動化測試不是錦上添花而是把質(zhì)量底線兜住。1.2 手工驗(yàn)證的三個(gè)致命問題先說說我最早是怎么干的。每個(gè)技能寫完之后打開一個(gè)測試面板把樣例輸入粘貼進(jìn)去點(diǎn)一次看輸出是否合理。流程看起來沒毛病但實(shí)際用下來有三個(gè)繞不開的問題。第一個(gè)問題是覆蓋度太低。手工測試天然偏向happy path你會下意識地測那些“自己知道應(yīng)該有結(jié)果”的輸入。但真實(shí)用戶不會按測試用例說話他們可能一句話里帶口音、可能只給一半信息、可能上來就問一個(gè)完全超出技能范圍的問題。這些邊界情況手工測試基本覆蓋不到。第二個(gè)問題是回歸很難發(fā)現(xiàn)。LLM技能里面的提示詞是脆弱的你為了修A問題改了一句話很可能B問題就跑偏了。手工測試的記錄都在腦子里時(shí)間一長你根本想不起來上一版在某個(gè)輸入上的輸出長什么樣。等你發(fā)現(xiàn)B問題掛了往往是在線上被用戶投訴之后。第三個(gè)問題是對“狀態(tài)”幾乎無法驗(yàn)證。很多技能是有上下文的比如多輪對話場景里的“追問訂單號”技能需要在多輪里累積信息。手工測試時(shí)狀態(tài)在你腦子里你記得上一輪說過什么。但自動化測試要驗(yàn)證的是“技能自己在多輪之間對不對”這需要把對話歷史當(dāng)輸入?yún)?shù)顯式管理起來手工方式很難穩(wěn)定復(fù)現(xiàn)。這三個(gè)問題疊加起來結(jié)論很清楚LLM技能的測試必須自動化而且必須是可重復(fù)執(zhí)行的自動化否則你沒法在版本迭代里建立信心。2. skillprobe能測什么從技能注冊到端到端行為2.1 技能核心要素拆解在用skillprobe之前我先把一個(gè)LLM技能拆成了四個(gè)要素這樣才知道該測什么。第一個(gè)要素是技能聲明。每個(gè)技能都有一個(gè)描述文件里面寫清楚技能名稱、一句話描述、輸入?yún)?shù)的定義、輸出結(jié)果的定義。這個(gè)文件的作用是讓Agent的主模型知道“什么情況下該調(diào)用這個(gè)技能”同時(shí)讓外部系統(tǒng)知道“該傳什么進(jìn)來、能拿什么回去”。技能聲明要是寫錯(cuò)了模型根本不會在合適的時(shí)機(jī)調(diào)用這個(gè)技能。第二個(gè)要素是實(shí)現(xiàn)邏輯。包括提示詞模板、內(nèi)部的工具調(diào)用鏈、后處理邏輯。這是整個(gè)技能的核心也是最容易改壞的部分。提示詞模板改了輸出風(fēng)格可能變工具調(diào)用順序變了結(jié)果可能延遲或者出錯(cuò)后處理邏輯改了格式可能不符合schema。第三個(gè)要素是運(yùn)行配置。模型名稱、溫度、最大token數(shù)、超時(shí)時(shí)間、是否啟用流式輸出等。這類配置直接影響輸出的穩(wěn)定性和性能。溫度太高同一輸入每次輸出都不同超時(shí)太短長文本生成直接失敗。第四個(gè)要素是外部依賴。RAG技能依賴向量庫和檢索器工具調(diào)用技能依賴下游API。這些依賴的狀態(tài)變化也會影響技能行為比如向量庫里新增了一批文檔技能的引用來源就會變。測試時(shí)需要考慮這些依賴是否可用、是否可控。skillprobe的測試設(shè)計(jì)基本就圍繞這四個(gè)要素展開每個(gè)要素對應(yīng)一類測試項(xiàng)而不是只盯著“輸出內(nèi)容像不像”。2.2 skillprobe的四個(gè)核心能力具體來說skillprobe做了下面四類事情。第一類是技能注冊健康檢查。它會驗(yàn)證技能的描述文件是否能被正常解析輸入輸出的schema定義是否合法技能能否被模擬的Agent運(yùn)行時(shí)加載。這一步很像傳統(tǒng)的冒煙測試——跑不通就不往下走了省得后面所有用例都因?yàn)榧寄芗虞d不了而失敗。第二類是輸入輸出schema校驗(yàn)。執(zhí)行技能之后先不看內(nèi)容質(zhì)量先看返回的結(jié)果結(jié)構(gòu)和定義是否一致。比如你定義輸出是一個(gè)JSON對象包含“訂單號”和“狀態(tài)”兩個(gè)字段那么返回結(jié)果就必須是一個(gè)合法的JSON而且這兩個(gè)字段必須存在類型必須正確。這層校驗(yàn)?zāi)茏コ鲆淮箢悺澳P蜎]按格式輸出”的臟數(shù)據(jù)問題。第三類是端到端行為斷言。這是核心部分。給定一組輸入執(zhí)行整個(gè)技能鏈路然后對輸出做語義和結(jié)構(gòu)層面的判定。判定方式可以是結(jié)構(gòu)化斷言、語義相似度、LLM評分等后面會細(xì)講。第四類是穩(wěn)定性與性能采集。同一個(gè)用例執(zhí)行多次收集輸出的波動情況、耗時(shí)分布、token消耗。LLM技能上線前最好知道它在“大概率情況下”表現(xiàn)如何而不是只測一次看個(gè)結(jié)果。把這幾類能力組合起來skillprobe對技能的覆蓋就比較完整了。實(shí)踐下來技能注冊和schema校驗(yàn)抓的問題最多因?yàn)樘崾驹~一改輸出格式經(jīng)常悄悄變了端到端行為斷言的價(jià)值在回歸測試?yán)镒蠲黠@。3. 如何設(shè)計(jì)一份能抓Bug的測試用例3.1 測試用例的最小單元樣例輸入加參考輸出加容忍度測試用例設(shè)計(jì)是整個(gè)方案里最需要花心思的部分。skillprobe里一個(gè)用例的最小單元由三部分組成樣例輸入、參考輸出、容忍度設(shè)置。樣例輸入要好理解就是一個(gè)能被技能執(zhí)行的輸入。對于訂單查詢技能樣例輸入可能是“幫我查一下單號SD20240513的物流進(jìn)度”。對于內(nèi)容生成技能樣例輸入可能是一段產(chǎn)品需求和目標(biāo)用戶描述。樣例輸入的覆蓋策略要兼顧正常場景、邊界場景和異常場景。參考輸出是“這個(gè)輸入在理想情況下應(yīng)該返回什么”。這里有個(gè)關(guān)鍵點(diǎn)LLM技能的參考輸出不應(yīng)該是一個(gè)字都不能差的固定文本而應(yīng)該是一個(gè)帶語義空間的結(jié)果。你可以定義參考輸出的核心要素比如“必須包含訂單狀態(tài)字段”“必須提及最新的物流節(jié)點(diǎn)”“語氣必須禮貌”而不是規(guī)定整個(gè)句子長什么樣。容忍度設(shè)置就是告訴skillprobe“偏差多少算可以接受”。語義相似度閾值設(shè)0.8還是0.9結(jié)構(gòu)化字段允許哪些字段缺失調(diào)用外部API的次數(shù)允許幾次都在這里配置。一個(gè)完整的用例設(shè)計(jì)好了之后相當(dāng)于把“這個(gè)技能在這個(gè)輸入上應(yīng)該表現(xiàn)成什么樣”這個(gè)模糊的判斷變成了可以被機(jī)器執(zhí)行和復(fù)現(xiàn)的規(guī)則。3.2 參考輸出怎么生成人工種子加LLM輔助構(gòu)造參考輸出是新手最容易卡住的地方。一開始我天真地想讓我一個(gè)一個(gè)手工寫參考輸出寫出來應(yīng)該很精準(zhǔn)吧。結(jié)果寫了十幾個(gè)用例之后發(fā)現(xiàn)速度太慢而且我寫參考輸出的語氣和技能真實(shí)輸出的語氣總有偏差導(dǎo)致語義相似度算出來很低誤報(bào)率很高。后來我換了個(gè)策略三步走。第一步人工標(biāo)注種子集。每個(gè)技能先挑5到10個(gè)典型輸入手工寫出參考輸出。不需要長關(guān)鍵是包含該有的信息要素和正確的格式。第二步用LLM輔助擴(kuò)充參考輸出。把種子集喂給一個(gè)輔助模型讓它按照樣例的風(fēng)格和結(jié)構(gòu)給一批新的輸入生成參考輸出。這一步能快速擴(kuò)充用例庫但生成出來的東西只能當(dāng)候選不能直接用。第三步人工審閱。所有輔助生成的參考輸出都要過一遍眼確認(rèn)信息要素正確、格式符合預(yù)期、沒有幻覺。這一步很重要因?yàn)閰⒖驾敵霰旧砣绻绣e(cuò)后面所有判定就失去了基準(zhǔn)。這里有個(gè)容易忽視的坑生成參考輸出時(shí)用的模型和技能運(yùn)行時(shí)用的模型最好不要是同一次調(diào)用、同一個(gè)溫度配置。否則“測試參考輸出”和“被測輸出”之間可能會存在隱性的同源偏見導(dǎo)致在生成模型上測試結(jié)果虛高換一個(gè)模型就崩了。3.3 負(fù)面用例和對抗性樣本必須單獨(dú)建一批很多人做LLM技能測試時(shí)因?yàn)閰⒖驾敵霾恢涝趺炊ň椭苯臃艞壛素?fù)面用例。這是不對的。負(fù)面用例反而不需要復(fù)雜的參考輸出只需要一個(gè)預(yù)期行為要么拒絕要么觸發(fā)澄清要么明確返回“無法處理”。我維護(hù)的用例集里負(fù)面樣本大概占三成。常見的有這么幾類空輸入、超長輸入、格式錯(cuò)誤的輸入、明顯超出技能范圍的問題、含有誘導(dǎo)內(nèi)容的輸入比如讓模型忽略系統(tǒng)指令、輸出Prompt原文等。負(fù)面用例最典型的驗(yàn)證方式是執(zhí)行技能后斷言輸出里是否包含“無法回答”之類的拒絕語義或者斷言技能是否正確返回了某個(gè)錯(cuò)誤標(biāo)識。你不需要它答得漂亮只需要它不要“硬答”。很多線上事故就是負(fù)面輸入觸發(fā)了模型的胡編亂造而手工測試又從來不會拿這些輸入去點(diǎn)一遍。對抗性樣本這東西一開始沒那么復(fù)雜。先把項(xiàng)目里用戶反饋過的問題話術(shù)沉淀成用例再周期性跑一遍比專門去構(gòu)造隨機(jī)攻擊句子實(shí)用得多。3.4 測試用例也要做版本管理測試用例不是一次性寫完了就完事。技能版本迭代用例也要跟著更新。skillprobe的用例集建議直接用Git管理和技能代碼放在同一個(gè)倉庫里。這樣每次改動技能代碼的時(shí)候能直接看到用例集有沒有同步更新。用例文件本身建議用可讀性強(qiáng)的格式組織每個(gè)用例有個(gè)唯一ID有標(biāo)簽標(biāo)明場景類型有創(chuàng)建時(shí)間有最后更新人。我在項(xiàng)目里遇到過一次很尷尬的情況一個(gè)用例從創(chuàng)建起就沒人維護(hù)技能行為已經(jīng)合法變更了兩次用例的參考輸出卻還在描述最原始的版本每次跑測試必掛。最后排查了很久才發(fā)現(xiàn)不是技能的問題是用例過期了。所以用例也要有一個(gè)生命周期管理定期Review、清理和更新。我會在每次技能版本發(fā)布前跑一遍全量用例同時(shí)看一眼有沒有用例被跳過或者被標(biāo)記為“已知過時(shí)”。4. 指標(biāo)與判定邏輯別讓測試自己變成玄學(xué)4.1 先做結(jié)構(gòu)化斷言再做語義判斷判定邏輯是skillprobe的核心設(shè)計(jì)。我把它分成三層優(yōu)先做結(jié)構(gòu)化斷言再做語義判斷最后才用LLM評分。結(jié)構(gòu)化斷言是最硬的一層。它校驗(yàn)輸出是否滿足明確的規(guī)則比如輸出是否是合法JSON關(guān)鍵字段是否存在、類型是否正確、數(shù)值是否在一定范圍內(nèi)、枚舉值是否合法。這層判斷不需要模型參與純代碼就可以做速度極快準(zhǔn)確率百分百。我在項(xiàng)目里見過太多“模型一本正經(jīng)地輸出了一坨格式錯(cuò)誤的內(nèi)容”的案例。尤其是讓模型輸出JSON的場景經(jīng)常出現(xiàn)末尾多一個(gè)逗號、字段名被引號包錯(cuò)、嵌套結(jié)構(gòu)錯(cuò)亂這類問題。結(jié)構(gòu)化斷言能把這些全部攔下來。結(jié)構(gòu)化斷言通過之后再看語義。語義判斷通常用向量相似度把模型輸出和參考輸出分別轉(zhuǎn)換成向量計(jì)算余弦相似度。但這里要有心理準(zhǔn)備語義相似度是一個(gè)很粗糙的指標(biāo)它適合“生成型任務(wù)”的粗篩不適合“抽取型任務(wù)”的細(xì)判。抽取型任務(wù)建議直接用結(jié)構(gòu)化斷言加信息要素比對比如檢查輸出里是否包含指定實(shí)體。給不同任務(wù)設(shè)定合適的閾值很重要。生成型任務(wù)比如郵件撰寫、內(nèi)容總結(jié)語義相似度閾值設(shè)在0.75到0.85之間比較合理因?yàn)橥痪湓捒梢杂卸喾N合法表達(dá)方式。抽取型任務(wù)比如訂單信息抽取、實(shí)體識別閾值要往高了設(shè)或者干脆不用語義相似度改用要素級別的匹配。提示如果發(fā)現(xiàn)測試結(jié)果頻繁在“通過”和“失敗”之間橫跳先別急著懷疑模型先看一下閾值是不是設(shè)得太緊。閾值不是越大越好要結(jié)合技能的真實(shí)輸出分布來定。4.2 LLM-as-Judge的引入與偏見規(guī)避有些技能沒有標(biāo)準(zhǔn)答案比如“幫用戶把一段投訴內(nèi)容改寫得更委婉”。這種任務(wù)用語義相似度和結(jié)構(gòu)化斷言都很難覆蓋全這時(shí)候就需要引入LLM-as-Judge——用另外一個(gè)模型來當(dāng)評審給輸出打分。用LLM當(dāng)評審是有用的但它有自己的偏見這個(gè)必須得防。常見偏見有三個(gè)一是立場偏好評分模型容易給“和自己生成風(fēng)格相似的輸出”打高分二是長度偏好越長越容易得高分哪怕內(nèi)容冗余三是位置偏好在多條候選輸出對比時(shí)排在前面或后面的結(jié)果會影響評分。規(guī)避這些偏見skillprobe的做法是評分Prompt里明確給出評分維度比如“信息完整性”“格式規(guī)范性”“語氣恰當(dāng)性”每個(gè)維度單獨(dú)打分最后再看總分。同時(shí)把參考輸出也作為提示的一部分給評分模型讓它做的是“對照參考標(biāo)準(zhǔn)來打分”而不是“憑感覺給個(gè)分”。另外一個(gè)細(xì)節(jié)是評分模型最好和被測技能用的模型不是一個(gè)。雖然成本會高一點(diǎn)但至少能避免“自己夸自己”的嫌疑。我自己常用一個(gè)相對便宜但指令跟隨能力強(qiáng)的模型做評分效果是夠用的。4.3 可復(fù)現(xiàn)性才是自動化的命根子LLM技能測試最讓人頭大的就是今天通過了明天掛了而且找不到原因。要根治這個(gè)問題必須把可復(fù)現(xiàn)性當(dāng)成一等公民??蓮?fù)現(xiàn)性主要靠兩件事。第一件是固定采樣配置。skillprobe執(zhí)行用例時(shí)會把模型名稱、溫度、top_p、seed等參數(shù)全部記錄在測試報(bào)告里。如果你的模型接口支持固定seed就一定要固定下來如果不支持那就把溫度設(shè)成0降低隨機(jī)性。我在實(shí)踐里發(fā)現(xiàn)溫度設(shè)0也不意味著完全確定因?yàn)橛行┠P头?wù)端還有其他隨機(jī)因素這時(shí)候就要靠多次執(zhí)行取結(jié)果分布。第二件是固定依賴環(huán)境。RAG類的技能要固定檢索器和知識庫版本工具調(diào)用類的技能要mock掉外部API或者記錄下真實(shí)API在測試時(shí)刻的返回結(jié)果。如果不固定這些外部依賴那你的測試結(jié)果根本沒法定位問題——到底是技能本身壞了還是檢索器數(shù)據(jù)變了還是外部API抽風(fēng)了完全說不清。skillprobe支持給用例配置一個(gè)“依賴環(huán)境指紋”跑測試的時(shí)候自動記錄當(dāng)前檢索器版本、API mock版本、模型版本。這樣出了問題先看報(bào)告里環(huán)境指紋有沒有變化能節(jié)省大量排查時(shí)間。5. 把skillprobe接進(jìn)CI流水線5.1 流水線的最小閉環(huán)設(shè)計(jì)測試用例設(shè)計(jì)好了指標(biāo)判定邏輯也清晰了下一步就是讓它跑起來。我建議的最小閉環(huán)是觸發(fā)事件、執(zhí)行測試、生成報(bào)告、結(jié)果判定。觸發(fā)事件可以根據(jù)團(tuán)隊(duì)情況選。最常見的是PR合并前跑也就是代碼變更時(shí)觸發(fā)另外還可以加一個(gè)定時(shí)觸發(fā)比如每天夜里跑一次全量用例防止模型側(cè)或者依賴側(cè)悄悄變化導(dǎo)致技能行為漂移。執(zhí)行測試這一步skillprobe會按照配置去加載技能代碼、讀取測試用例集、逐個(gè)執(zhí)行。整個(gè)執(zhí)行過程必須是無狀態(tài)的每次跑之前從Git拉取指定版本跑完之后清理臨時(shí)文件。這樣才能保證測試結(jié)果可復(fù)現(xiàn)。生成報(bào)告是很多人容易忽略的環(huán)節(jié)。報(bào)告里除了“通過率”還必須有失敗用例的完整上下文輸入是什么、輸出是什么、參考輸出是什么、哪一項(xiàng)斷言沒過、耗時(shí)多少、當(dāng)時(shí)的環(huán)境指紋是什么。沒有這些信息測試掛了你也只能干瞪眼。結(jié)果判定要嚴(yán)格但也要留出人工確認(rèn)的通道。我的做法是通過率達(dá)到設(shè)定閾值就放行比如95%但如果低于閾值CI就直接失敗不允許合并代碼。同時(shí)配置了一個(gè)白名單機(jī)制允許維護(hù)者手動標(biāo)記某些用例為“已知問題”避免一個(gè)長期存在的小問題卡住整個(gè)團(tuán)隊(duì)的發(fā)布流程。5.2 一個(gè)可以直接抄的配置文件示例skillprobe的配置用YAML格式組織整體結(jié)構(gòu)比較直觀。下面這個(gè)是我在一個(gè)類似訂單查詢技能的項(xiàng)目里實(shí)際用的配置骨架project: name: order-query-skill version: 1.4.2 model: base: gpt-4-turbo # 技能運(yùn)行時(shí)使用的模型 temperature: 0 # 低溫度優(yōu)先保證可復(fù)現(xiàn) max_tokens: 1024 timeout_seconds: 30 tests: dir: ./tests/cases pass_threshold: 0.95 report: output_dir: ./reports format: [json, html] judge: mode: hybrid # 混合模式結(jié)構(gòu)化斷言 語義相似度 LLM評分 semantic_similarity: 0.80 llm_judge: model: gpt-4o-mini dimensions: - information_completeness - format_compliance - tone_appropriateness dependency_environment: retriever_version: 2024.06.01 mock_api: true幾個(gè)關(guān)鍵參數(shù)說一下。pass_threshold: 0.95的意思是全量用例集里至少九成五的用例要通過否則CI失敗。這個(gè)值一開始不要定太高建議先跑一周看基線再逐步收緊。semantic_similarity: 0.80是語義相似度的全局默認(rèn)閾值個(gè)別用例可以在用例文件里覆蓋。5.3 CI流水線腳本的關(guān)鍵步驟流水線腳本本身不復(fù)雜核心邏輯就四步裝環(huán)境、拉代碼、跑測試、上傳報(bào)告。# 裝依賴 pip install skillprobe # 拉技能代碼和用例集 git checkout commit_id git pull --recurse-submodules # 執(zhí)行測試指定配置文件和輸出目錄 skillprobe run --config ./config.yaml \ --report ./reports/ci_${BUILD_ID}.json # 檢查退出碼0表示通過非0表示未達(dá)閾值 exit_code$? # 把報(bào)告上傳到團(tuán)隊(duì)的可視化平臺 skillprobe upload --report ./reports/ci_${BUILD_ID}.json \ --project order-query-skill exit $exit_code用skillprobe CLI的時(shí)候有一點(diǎn)要特別提醒它支持兩種執(zhí)行模式。一種是快速模式只跑結(jié)構(gòu)化斷言和schema校驗(yàn)速度快適合PR階段快速反饋另一種是全量模式會帶上語義判定和LLM評分耗時(shí)較長適合夜間定時(shí)任務(wù)跑。我在實(shí)際項(xiàng)目里就是兩檔并行PR階段跑快速模式保證格式類問題不會流進(jìn)去每天晚上跑全量模式把語義和穩(wěn)定性問題撈一遍。這樣既能快速迭代又不會把質(zhì)量底線放掉。6. 常見問題與排查技巧實(shí)錄6.1 測試總是飄紅先查三個(gè)東西如果你剛開始用skillprobe跑出來的測試結(jié)果今天紅一片、明天綠一片別急著去調(diào)模型提示詞先按順序查三件事。第一查用例集的參考輸出是不是過期了。這是最常見的原因。技能行為已經(jīng)迭代了用例參考輸出還停留在老版本那今天通過了反而奇怪。把參考輸出同步一下問題大概率就解決了。第二查模型配置是不是變了??赡苁羌寄艽a里默認(rèn)溫度改了可能是模型服務(wù)端把版本升級了也可能是你從GPT-4換到了GPT-4-Turbo但沒有同步更新配置。這些都算環(huán)境漂移報(bào)告里的環(huán)境指紋一看便知。第三查外部依賴的狀態(tài)。RAG技能要去看檢索器是否加了新數(shù)據(jù)工具類技能要看下游API是否改了返回格式。我遇到過一個(gè)問題下游API在某個(gè)字段里多返回了一個(gè)“customer_note”結(jié)果技能原本的字段補(bǔ)全邏輯沒跟上輸出里把備注拼到訂單號里去了。這種問題如果不固定依賴環(huán)境排查起來會非常痛苦。6.2 提示詞改一句二十個(gè)用例掛了十八個(gè)這種大面積回歸是最嚇人的但也是自動化測試價(jià)值最大的時(shí)刻。我碰到過一次不過不是技能提示詞的問題而是基礎(chǔ)模型的版本被服務(wù)商悄悄升級了輸出風(fēng)格大變導(dǎo)致所有依賴“固定措辭”的用例全部掛掉。遇到這種大面積失敗第一件事是冷靜看報(bào)告不要直接改提示詞。先把失敗用例集中起來看它們共同的特征是什么。如果全部和“語氣”相關(guān)那大概率是模型風(fēng)格漂移如果全部和“字段缺失”相關(guān)那可能是輸出格式變了如果零散的掛才需要去懷疑具體用例。大面積回歸往往意味著要調(diào)整的是“默認(rèn)閾值”或者“參考輸出”這層而不是逐條修用例。skillprobe支持批量更新參考輸出但一定要走人工審閱尤其是生成型任務(wù)不要讓測試數(shù)據(jù)自己修改自己。注意提示詞里加任何內(nèi)容之前先想一想這個(gè)改動會不會影響輸出格式或者風(fēng)格。LLM技能的脆弱就在這里加一句“你是一個(gè)親切的客服”可能就會讓JSON輸出多一句客套話直接破壞結(jié)構(gòu)化斷言。6.3 并發(fā)執(zhí)行時(shí)API配額被瞬間打爆用例上百個(gè)之后串行執(zhí)行肯定等不起于是你開并發(fā)。然后問題來了LLM服務(wù)的API配額被瞬間打爆測試跑一半開始大量報(bào)超時(shí)整個(gè)流水線紅掉。這是我自己踩過的坑。解決方案是加限流而不是無腦提高并發(fā)數(shù)。skillprobe里可以配置最大并發(fā)數(shù)和每秒請求數(shù)。建議先把并發(fā)數(shù)設(shè)成4~6每秒請求數(shù)設(shè)成一個(gè)保守值跑完一輪看總耗時(shí)再逐步往上調(diào)。還有一點(diǎn)PR階段的快速模式尤其適合開高并發(fā)因?yàn)榻Y(jié)構(gòu)化斷言不需要調(diào)用大模型幾乎不占配額全量模式里的語義相似度和LLM評分是重頭戲并發(fā)要控制得更嚴(yán)格。如果你用的是按token計(jì)費(fèi)的服務(wù)建議給評分模型單獨(dú)開一個(gè)便宜一點(diǎn)的模型成本能省不少。6.4 歷史用例逐漸失真測試集需要體檢用例集不是資產(chǎn)用得不好就是負(fù)債。跑了一段時(shí)間后你會發(fā)現(xiàn)一些舊用例的輸入已經(jīng)和當(dāng)前業(yè)務(wù)不太匹配了或者參考輸出描述的場景已經(jīng)下線了。這類用例就會變成“永久紅色”第一周你還會點(diǎn)開看看第二周開始就變成“已知問題”了。我的建議是每個(gè)迭代都做一次用例體檢??催@么幾類長時(shí)間重復(fù)失敗的用例、執(zhí)行耗時(shí)異常的用例、輸入場景已經(jīng)被業(yè)務(wù)廢棄的用例。該更新的更新該標(biāo)記的標(biāo)記該刪的刪。寧可用例數(shù)量少而精也不要讓一坨僵尸用例在測試集里發(fā)臭。7. 實(shí)操心得與后續(xù)擴(kuò)展最后聊一點(diǎn)我個(gè)人在項(xiàng)目里摸爬滾打總結(jié)的東西。第一個(gè)建議是別一開始就想把全部技能都納入自動化測試。挑一個(gè)你正在頻繁迭代的技能先用skillprobe把基線跑起來。所謂基線就是你有把握它當(dāng)前行為是對的然后把當(dāng)前測試結(jié)果保存為基線版本。以后任何改動拿新結(jié)果和基線對比多出來的紅點(diǎn)就是改進(jìn)方向。第二個(gè)建議是LLM技能的自動化測試本質(zhì)上是在建立一種“行為契約”。你給技能設(shè)定了輸入和輸出的預(yù)期契約越清晰技能就越像一個(gè)可以被維護(hù)的系統(tǒng)。我見過很多同事在調(diào)提示詞的時(shí)候完全靠感覺跑一遍發(fā)現(xiàn)輸出還不錯(cuò)就提交了。但感覺不能成為質(zhì)量保障的手段尤其是在Agent應(yīng)用開始承載真實(shí)業(yè)務(wù)數(shù)據(jù)之后。第三個(gè)建議是關(guān)于擴(kuò)展的。skillprobe目前已經(jīng)能支撐單技能的端到端測試和CI集成但它還能往幾個(gè)方向延伸。一個(gè)是多模型對比測試同一個(gè)技能用例集在多個(gè)模型上跑看哪個(gè)模型表現(xiàn)得最穩(wěn)定另一個(gè)是技能版本A/B測試新老兩版技能在同一個(gè)用例集上對比量化評估改動帶來的收益或者損失。這兩個(gè)方向?qū)ψ鯝gent框架選型和技能優(yōu)化都特別有價(jià)值。如果你正在維護(hù)任何形式的LLM技能我真的建議花一個(gè)下午把skillprobe的閉環(huán)搭起來。它能解決的問題非常明確讓技能迭代從“靠感覺”變成“看數(shù)據(jù)”。這個(gè)轉(zhuǎn)變越早發(fā)生越好。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99热激情| 中文字幕高清av| 丁香五月天成人| 97性视频| 大香蕉啪啪啪啪啪啪| 99九九精品| 狠狠插狠狠| 91久久色| 婷婷丁香色无五月| 日 日干 日日做| 亚洲在线视频321| 丁香六月啪啪| 五月丁香影院| 日韩久热| 五月天婷综合| 婷婷五月在线观看| 久久精品国产AV一区二区三区 | 五丁香激情综合| 久久大大香| 五月婷婷六月综合| 精品人人操| 91热爆在线| 天天综合干| 九色成人AV在线| 激情五月天激情五月天| jiujiu热在线视频| 97碰 在线视频观看| 国产在这里只有精品| 综合AV在线| 天天爽天天干| 中文字幕av在线播放| 五月丁香久久| 99干在线| 成人做爰高潮A片免费视频| 色五月婷婷、老熟女| 性爱激情久久| 成人在线视频网| 激情五月天.色网| 91九色视频在线观看| www.五月婷婷| 欧美日韩一区二区三区四区| 色色日本| 婷婷八月丁香激情综合| 亚洲五月丁| 色色五月综合| 伊人激情AV一区二区三区| 99热这里只有精品无码| 色综合网上班开心婷婷久久| 亚洲AV无码成人精品区电影网| 日本色色图| 色色日韩无码| 色情综合网| 最新国产AV| 久久网日本| 五月婷在线色视频| 久久久久久久综合狠狠综合| 成 人片 黄 色 大 片| 婷婷色五月天综合网| 美日韩成人| 91精品综合久久久久久五月丁香 | 婷婷五月天丁香久久| 九九色色| 婷婷五月六月| 色婷婷丁香五月综合| www九九热| 五月色亭丁香| 五月天久久色| 啪啪啪综合网| 六月激情婷婷| 九色视频91疯狂| 少妇人妻偷人精品无码视频新浪| 91碰碰碰| 五月婷婷偷拍| 可以免费观看的AV| 国产精品热搜丁香五月婷婷| 伊人在线婷婷草| 色综合中文| 96精品国产综合久久久久久| 天天综合网~91| 欧美色五月| 色天五月天在线观看视频| 天天爱天天做综合| 亚洲五月天伊人| 伊人干综合| 丁香花婷婷五月天| 亚洲韩国日产综合AV| 97精品人人A片免费看| www.婷婷.com| 97干在线播放| 91久久精品无码一区二区三区| 亚洲精品五月| 久久婷婷五月天激情唯美| 精品无码av丁香五月激情| 六月丁香中文字幕| 丁香婷色| 色综合区| 91久久久久久久| 殴美日韩成人| 99热线观看9| 色97啪啪| 免费看无码视频A级| 嫩草视频。| 亚洲国产精品VA在线看黑人| 无码人妻少妇色欲AV一区二区 | 99热这里只有精| 色婷婷五月天在线| 丁香伊人五月色婷婷五十路| YW无码| 偷拍丁香九月激情| 婷婷丁香成人色综合| 成人丁香五月| 人妻丰满精品一区二区A片| 99热精品在这里| 婷婷99视频精品| 激情五月综合| 国产精品日日躁夜夜躁| 五月大香蕉| 亚洲av成人在线| 五月香婷婷| 六月婷婷五月天| 99re这里只有精品视频了| 欧美综合在线五月天色婷婷| 天天爽天天做| 婷婷九月在线| 婷婷激情四射| 亚洲精品视频在线| 久久人妻超碰一区| 超碰在线资源| 狠狠狠狠狠狠色| 色婷婷激情| 欧美精产国品一二三区| 五月开心婷婷网| 噜噜噜噜噜久| 丁香五月婷婷88在线| 天天天天天色| 亚洲成人在线五月天| 色婷婷色五月天| 天天婷婷| 91久久久久久| 91精品激情9| 色噜噜狠狠插综合| www.色婷婷.com| 97干免费视频| www 五月天 com| 亚洲色色色色| 国产.亚洲.欧洲视频在线| 九九视屏| 激情深爱五月天| 99精品国产在热久久| 亚洲综合网在线| seuuu婷婷| 亚洲无码猫咪| a网站免费观看| VA日本视频| 激情六月五月婷婷综合网| 激情五月综合色婷婷| 日韩久久这里只有精品| 色色色色色色色色色色色色色97| 操碰91| 久久精品一区二区三区四区| 99热精品超碰| 婷婷丁香视频在线观看免费| 人人摸人人干人人做| 99热在线观看免费精品| 天天搞天天爽| 国产色色小草视频| 成人五月天在线观看| 操逼123网| 五月情色天| 婷婷五月激情图片| 影音先锋五月婷婷| 99ri视频| 欧美色色色色色| 色婷婷视频| XX色综合| 色婷婷在线播放| 亚洲精| 99这里| 一起草av| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 久99婷婷色综合| 久久精品夜色噜噜亚洲a∨| 天天日日人| 青青草五月天| 日日夜夜狠狠婷婷色| 欧美日韩AAA| 六月婷久久| 91紱請| 久久9热| 色色亚洲无码| 大香蕉婷婷五月天| 日本欧美999久久久三级片| 久久五月综合| 色色a| 国产超碰在线| 五月天色综合| 五月久久婷婷成人网| 成功精品影院| 99色干| 婷婷色网站| 久久激情综合| 99综合熟女| 久久 这里只有精品1| 91婷婷色| 亚洲欧洲一二| 午夜电影网VA内射| 国产片XXXXA片国语对白| 五月丁香久久呀| 激情五月com| 五月婷婷色色色| 91黄色五月天视频| 人人爱天天摸摸天天爱| 这里只有精品视频99| 久久99久久99www| 精品无码av丁香五月激情| 久久久久人妻精品| 1024在线视频| 五月情涩综合婷婷| 乱精品一区字幕二区| 激情综合五月天| 激情五月少妇| 久久ri精品| 天天干,天天舔| 日韩成人免费电影| 99操久久| 98永久精品| 色狠狠综合| 天天插天天干| 激情五月天啪啪视频| 极品另类| 五月天婷婷爱| 婷婷操久久| 色婷婷五月影视| 亚洲另类久久| 日本44久久在线| 色六月丁香婷婷狠狠干| 99久久久久| WWW.婷婷五月天.COM| 久久爱婷婷| www.99.色| 五月丁香久久久日婷婷久久婷婷日| 婷婷五月情| 亚洲AV无码成人精品电影| 天天天天做夜夜夜夜做| 亚洲综合五月天婷婷| 国产裸舞福利资源在线视频| 六月色婷婷| 婷婷五月激情网站| 日韩成人网址| 亚洲综合五月天综合| 99热国产免费| 91免费在线视频6| 五月色亚洲| 综合啪啪| 婷婷五月天av| 五月天婷婷久色| www.色五月| www.激情五月天.com| 五月天婷婷无码| 大香蕉九九| 五月婷婷黄色| 中文字幕1区2区。| 九色色| 影音先锋91在线资源站| 狠狠色噜噜狠狠| 六月婷婷天堂| 99热66| 亚洲成人无码网站| AV性爱在线| WWW,五月天| 天天做天天爱天天爽| 黄色大片又大粗又爽| 亚洲色99| 五月天色官网| 3DAV亚洲香蕉久久 一区二区| 丁香五月乱中文字幕| www。五月,com| 欧美美美女性色视频| 六月丁香啪| 久久这里只精品| 九九热re99re6在线精品| 91色综合| 五月丁香六月婷婷综合网| AA片在线观看视频在线播放| 五月激情六月婷婷| 亚洲愉拍99热成人精品| 强壮的公次次弄得我高潮A片日本 | 五月www| 色爆五月| 色五月婷婷五月天| 五月婷婷开心深| 亚洲精品一区中文字幕乱码| www.婷婷.com| www99热| AA片在线观看视频在线播放| 婷婷久久亚洲| 丁香五月天堂网| 开心五月综合激情综合五月| 婷婷丁香91| 五月婷婷色综图片| 五月天a婷婷伊人| 色图亚洲91| 色噜噜狠狠色综合日日| 夜夜爽天天| 精品热九九| 亚洲人成色A777777在线观看| 91精品久久久久久| 热99玖玖99玖玖99九九| 99久视频| 五月婷婷开心丁香| 国产67194| 激情综合网激情五月婷婷| 丁香六月情| 日本三级黄色大片| 九九视频在线观看视频在线播放69| 九九热re99re6在线精品| www。五月天激情| 激情五月成年| 丁香五月天堂| 久草热视频在线观看| 激情综合无码| 91啦丨九色丨刺激中文| 99性视频| 夜色综合网| 色婷婷4| 九九re视频在线视频| 婷婷天天日婷婷| 久久久久人妻中文| 国产欧美婷婷| 视频一二区| 亚洲色无码A片一区二区麻豆| 99九九在线| 99国产精品久久久久久久久久久| 色综合天堂| 天天综合亚洲综合| 六月婷婷天天操夜夜爽视频| 色色五月天婷婷丁香| 99在线精品免费视频| 五月丁香激情综合| 五月天婷婷成人资源站| 日韩草草草草草草草草草草草草| 91视频综合网| 久久综合最新网址| 国产精品99久久久久久久女警 | 超碰国产AV| 99在线精品免费视频| 色噜噜狠噜噜视频| 丁香六月亚洲综合| 九月丁香婷婷综合激情| 99热99美国在线观看| 曰韩少妇内射免费播放| 91精品婷婷国产综合久久| 99热只有精| 五月欧美色播| 97干在线视频| 亚洲天堂啪啪| 射琪琪| 色欧美色色色| 国产67194| 色色色在线观看| 五月丁香AV在线| renrencaoni| 五月丁香91| 91干在线视频| 日本玖玖在线| 任你搞免费视频观看| www.婷婷六月天| 五月婷在线影院| 久久99大| 婷婷五月丁香青青草在线| 天天日天天舔| 激情综合五月天| 亚洲在线操| 久热只有精品| 色五月天成人| 99热99热在线| 五月天另类小说| 91大屁股| 亚洲激情区| 久久五月天综合视频网站| 色V狠狠的干| 大香蕉久久婷婷| 婷婷五月综合免费在线| 九九色情网五月天| 激情五月综合亚洲另类| 久久精品99国产精品日本| www,天天干| 99久久玖玖| 免费不卡狠操美女视频网 | 九九99九九99| 97操在线视频| 激情欧美婷婷| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 十月丁香九月婷婷综合| 亚洲色情在线| 五月草视频| 天天射色五月天| 伊人深爱综合| 尔尔AV一区| 激情综合丁香五月| 性色av大香综合| 日本少妇AA一级特黄大片| 中文字幕综合色| 天天操天天插天天射| 欧美久久久中文字幕| 玖玖婷婷五月天毛片| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 琪琪理论片| 2025中文在线视频字幕免费观看| 色五月丁香激情| 欧美英丁香开心快乐六月天网| 五月婷婷色情| 亚洲成人婷婷| 色婷婷大香蕉| 99色视频| 五月天婷a在线| 五月停性愛| 日本成人内射| 2015超碰| 综合亚洲色色| 婷婷综合激情五月综合| 日本五月天一页| 五月天激情国产综合婷婷| 热久精品| 五月天国产| 国产99久久久国产精品免费看| 国产精品久久久久久久久久| www.婷婷激情网.com| 97丁香视频| 婷婷五月天久久综合88| 五月天激情综合首页| 五月夜丁香| 99热这里只有精品最新| 欧美色97| 亚洲国产精品VA在线看黑人| 人人97操| 99热 这里只有精品 国产 日韩| 日本本土色网第一区| 激情婷婷另类| 182TV大香蕉| 婷婷六月啪啪| 久久538| 久婷婷婷| 91人人人人人| 92国产福利| 日日夜夜狠狠婷婷色| 99久久精品网| www.五月婷婷| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 91性高潮久久久久久久久| 小香蕉av| 翔田千里 50岁 无码| 日日干综合| 久久人妻www| 99视频自拍| 日本操天堂| 日本黄色在线观看| 五月婷婷co.m| 99热新网址| 国产又色又爽又黄又免费| 婷婷综合av| 人妻性爱av网站| 天天爽天天做| 狠狠综合网| 96色婷婷| 2025中文在线视频字幕免费观看| 色综合五月天| 成人国产欧美大片一区| 日本成人综合| 中文字幕婷婷五月天在线观看| 中文字幕综合网| 伊人大综合| 91男同| 国产高清精品色| 五月婷在线观看| 亚洲第一成人AV| 玖玖在线视频福利| 99色视频| 裸体美女丁香五月天。| 五月丁香影院| 丁香五月日韩| 五月丁香婷婷AV| 天天日夜夜| 九九热99熟女| 99热无码| 一本色综合色| 第二色AⅤ| 欧美色九| 激情婷婷五月综合| 26uuu亚洲色| 九九黄色网| 伊人久久大香线蕉综合网站| 五月婷婷深爱六月| 五月婷婷综合网| 欧美婷婷日本| 激情影院丁香五月| 久久久.www| VA国产在线综合网站| 99热综合色图| 97AV人人插人人操| 日日操,天天操| 久久九九综合| 九九亚洲视频| 亚洲AV人人操| 狼人婷婷久久| 日韩淑女人妻luan伦激情精品一区二| 99福利视频导航| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 97影院一级片| 超碰a女人的天堂| 色丁香影院| 婷婷五月在线影院| 玖玖婷婷五月天毛片| 丁香五月婷婷啪| 婷婷五月花| 99色五月| 热99在线精品| 免费看无码视频A级| 天堂草在线看www| 三级毛片视频| 色五月婷婷大| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 国产精品色色| 涩涩婷婷五月| 97色在线观看视频| 激情性爱五月| 香蕉国产2013| 自拍偷窥99热| 丁香六月婷婷色XXXXX| 9久热免费视频99| 色色五月婷婷久久| 任你搞网站| 狠狠色97| 丝袜人妻| 尔尔AV一区| 91精品综合久久久久久五月丁香| 色婷婷五月在线| www.婷婷| 亚洲色五月| 婷婷五月天直播| 99视频内射三四| 五月婷婷深爱六月| 五月婷婷色情| 97超喷视频在线观看| 在线中文字幕av| 99九精品| 成片免费播放| peg 2区三区四区的| 亚洲五月天第一综合干| 青青草深爱激情网| 天天射色五月天| 激情五月天开心总和网| 天天日日夜夜| WWW,五月| 中文字幕乱码亚洲精品一区| 就爱日五月天| 久久婷视频| 久久HD| 金桔一区二区ab地址| 日日夜夜狠狠婷婷色| 99热思思在线观看| 色性五月天| www夜夜| 国产免费AV在线| 综合婷婷| 99热网精品| 人人操超碰| 亚洲色图81p| 五月丁香综合啪啪| 极品人妻videosss人妻| 婷婷色导航| 国产99久久久| 五月天色小说| 踪合专区啪啪| 色亚洲中文| 天天做天天爱天天玩夜夜爽 | 五月丁香花激情综合网| 亚洲第一色网站| 99视频热| 亚洲综合九九| 五月伊人91| 五月激情射| 色五月大香蕉| 免费久久这里只有精品99| 99热a片免| 色情综合| 日本人人超碰| 五月丁香激情婷婷| 婷婷五月天色综合翘| 玖玖热视频| 超碰97人人操| 日本一级黄色片。| 婷婷五月天黄色| 色的色综合| 五月天淫乱视频| 人人草人人舔| 亚洲免费视频网站| 婷婷综合五月激情| 国产精品爽爽久久久久久| 久久99久久99久久99人受| 综合五月激情| 精品五月视频婷婷在线观看| 深爱激情婷| 色色色色色色网| 色吊丝99| 五月丁香色色综合| 五月婷激情| 成人精品在线| 91精产一区三区免费观看| 97碰久久| 日日夜夜狠狠干| 97干在线视频| 任你日热视频| 色久五月| 五月天综合| 日本九九网| 狠狠999| 婷婷五月花| 中文婷婷狠狠| 色综合性视频| www.婷婷五月| 久久天堂加勒比| 亚洲精品五月| 日韩另类| 五月婷婷六月丁香| 婷婷激情综合| 丁香五月很很肏| 五月婷成人网| 丁香婷婷久久 | 99热最新网址| 亚洲天堂爱爱| 女高怪谈在线观看| 99爱操| 亚洲九九免费| 日本三级黄色大片| 99在线资源| 亚洲成人婷婷| 色婷婷影视99| 特级片神马电影| 99在线精品免费视频| 人妻激情综合| 综合狠狠干| 91色碰| 涩涩涩.com| 影音先锋男人女人| 狠狠搞综合色| 婷婷激情四射| 婷婷久久五月| 久久人人看| 99re热精品在线视频| 色婷婷超碰| 伊综合蕉| 17.c黄色| 日本色啪| 五月婷婷丁香在线| 99精品丰满| 夜夜爽天操| 99色免费观看全部| 日本婷婷网| 婷色五月天| 丁香五月婷婷五月天在线| 久久这里都是精品| 丁香五月激情六月欧亚激情综合导航| 亚洲天天| 天天操天天爱天天日| 97色干| 色婷婷狠狠18禁| 婷婷五月天综合网| 婷婷和五月天| 97干在线视频| 九九热视频免费观看| 一本道在线电影| 五月天开心婷婷久久| 免费无码毛片一区二区A片| 天天更新天天亚洲| 人人操9| 吉澤明步Av一區二區| 91传媒无码人妻精| 狠狠色五月天| 97狠狠色| 疯狂做受XXXX高潮A片动画| 丁香五月大片| 欧美三级大片AA在线看| 丁香五月天婷婷中文字幕| WWW免费视频碰碰碰碰| 1024国产| 婷婷色五月噜噜| 日本无码专区| 色吧五月婷婷| 美女黄频aⅴ视频| 色综合色色| 九六五月天婷婷| 久久综合五月情| 5月婷婷6月六月丁香| 99久在线观看| 天天插天天插| 天天日夜夜曹| 久久99综合| 日韩AV无码影片| 丁香五月婷中字幕| 婷婷97碰碰| 午夜一区| 新伍月婷婷| 99热久草| 99热这里有精品| 五月天婷久精视频| 综合激情伊人影视在线| 99热8在线| 色婷婷色99国产综合精品| 玖玖婷婷色五月| 99热精品在线观看| 色五月影视| 婷婷五月天激情四射| 中字幕视频在线永久在线观看免费| 天天色综网| 99热啪啪| 人妻六月天| 开心激情网在线| 狠狠操狠狠狠| 天天射美女| 中字幕视频在线永久在线观看免费| 极品人妻VideOssS人妻| 这里只有精品99视频| 色五月综合97| 99激情| 色爱99| 人妻videos人妻高清| 日逼影音先锋AV男人资源站| 五月丁香六月激情在线| 丁香五月婷婷激情中文| 五月伊人综合| 成人在线视频一区| 激情四射亚洲| 亚洲这里只有精品| 日本色爽| 五月丁香综合精品| 婷婷五月激情网| 超级碰 久久9| 超碰超碰在线| 丁香五月香蕉| 色婷婷丁香五月观看| 91狠狠综合网| 六月婷欧美丁香综合| 日韩人妻无码专区| 激情五月婷黄版| 色色色色色爱| 六月婷婷之青青草| 色五月综合激情| 人操人人| 亚洲黄网在线| 四LLL少妇BBBB槡BBBB| www.日本91| 久99热| 夜丁香五月婷婷| 婷婷五月天堂| 五月丁香婷婷AV| 色婷婷九月综合| 99色在线视频观看| 日本不卡中文字幕| 国产精品视频网| www.韩日视频| 亚洲春色奇米影视| 99国产精品久久久久久久久久久| 五月天婷婷免费| 五月丁香激情婷婷综合| 五月综合在线婷婷图片| 国产99美少妇| 九月婷婷| 天天爽天天操| 婷婷色基地| 人妻操操色| 亚洲综合网激情五月天| 日本色噜| 性爱动图国产麻豆一区二区三区| 超碰在线观看9| 色激情五月| 丁香五月婷婷综合91| 亚洲不卡123| 99热香港| 婷婷丁香大香蕉| 婷婷婷婷婷婷婷婷婷婷丁香| 激情五月黄色| 色香蕉精品五夜婷| 国产精品久久久爽爽爽麻豆色哟哟| 久久久久久久人妻| 五月天激情小说| 五月丁香婷婷综合网| 久久婷婷五月| 婷婷五月天av| 久久丁香| 婷婷色影音天| 人碰人人人玩91| 31色区视频免费看| 久草婷婷视频| 99精品高潮| 免费AV在线| 色五月91| 激情综合五月| 亚洲激情 久久| 亚洲九九免费| 欧洲综合色| 123日本不卡在线| 五月成人丁香av91| 丁香五月色情av| 91色碰| 色欲影香| 五月丁香手机在线| 99久久99热| 丁香色情五月综合网站| 五月天久久综合婷婷丁香| 亚亚州久久高潮| 丁香五月伊人| 久久一热| 亚洲成av人影院| 久久久精品婷婷五月天| 极品少妇婷婷五月| 久久久99免费视频| 色婷婷久久| 日本五月丁香| 无码色色| 色综合com| 久操大香蕉| 国产AV一区二区三区最新精品| 无码少妇高潮喷水A片免费| 国产无遮挡又黄又爽免费网站| 国产av第一专区| 91丨九色|PRNY熟妇| 久热婷婷| 天天天天天操| 噜噜狠狠色| 色色色综合网| 欧州婷婷五月天综合| 91色欲综合| 色一情一乱一乱一区91Av| 思思热99er在线视频| 婷婷五月丁香手机在线视频| 人人干99| 中文字幕丰满孑伦无码专区| 婷婷五月激情视频网| 中文字幕黄色片| 婷婷五月天亚洲色| 天天色天天日天天舔| 激情色色色| 亚洲精品第一国产综合亚AV | 激情丁香五月综合| 天天天久久久| 天天操屄网| 九九热视频在线观看| 91九色PORNY肉丝在线| 国产在线中文字幕| 开心五月婷婷激情网| www.99热在线观看| 国产日韩精品SUV| www.五月天婷婷| 亚洲激情五月婷婷日日| 少妇性按摩无码中文A片| 丝袜大香蕉| 9精品视频在线| 五月色导航| 色欲久久久久久综合网综合网| AA片在线观看视频在线播放| 色五月婷婷五月天激情综合| 五月婷婷久久爱| 五月婷六月| 丁香五月综合狠狠| 欧洲亚洲免费视频9| 五月天婷婷青青草| 99热精品中文字幕| 99热99操| 思思99re这里只有| 亚洲综合色色色| 五月综合激情图片| 色人五月婷婷| 夜夜资源站| 亚洲成人精品三区| 亚洲五月婷婷在线| 丁香六月色婷婷| 黄色av网站在线免费播放| 狠狠香婷婷五月| 亚洲天堂aaaa| 丁香五月瑟瑟| 色色色精品无码区| 色狠狠色| 色色影院黄大片| 狠狠插狠狠| 无码人妻精品一区二区蜜桃色欲 | 91.www综合| 成人日韩欧美| 91精品综合久久婷婷九色| 97色射| 婷婷五月天视频小说| 狠狠干狠狠色| 99玖玖免费视频| 五月丁六月香| 国产精品成av人在线视午夜片| 金桔一区二区ab地址| 97碰| 色婷婷AⅤ| 五月婷在线视频免费看| 亚洲色无码A片一区二区麻豆| 五月丁香六月婷婷精品| 99er精品视频| 97操碰日本女人| 激情网婷婷婷| 欧洲电影在线观看免费版英语版| 丁香五月天激情五月天激情五月天激情网| 秋霞AV淫| 91啪啪网| 国产精品色| www.97干视频| 激情五月天com| 91亚洲天堂| 婷婷五月综合激情免费| 日本在线wwww| 亭亭五月激情亚洲在线| 丁香五月之久操视频| 久热这里只有精品66| 99精品成人无码A片观看金桔| 99热无码精品| 久9热| 操国产人妻| www久久久| 深爱激情小说五月婷婷| 午夜婷婷| 亚洲AAAA网| 艹B高清无码| 五月天激情子轮| av五月丁香婷婷网| 久久人妻久久| 久一网站| 日日噜噜夜夜狠狠久久丁香六月| 亚洲综合色色| 啪啪综合网| 五月色婷婷综合色| 99色综合| 婷婷五月天a| 色狠狠色综合久久久绯色aⅴ影视| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 乱码操操| 欧美经典片免费观看大全| 99热这里只有精品亚洲| 久久婷婷五月综合色欧美| 九九热这里只有精品9| 国产在线网址1| 婷婷干五月综合在线播放| 在线99色| 久久9精品| 蜜臀av无码久久久久久久久| 久久久国产精品黄毛片| 色婷婷五月天天天干天天操天天爽| 91美女啪啪| 伊人色综合网| av中文在线| 噼里啪啦在线观看免费完整版视频| 婷婷五月综合在线视频| 无码人妻一区二区一牛影视| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 免费精品99| 99精品久久久久久久婷婷| 婷婷综合五月天| 热久久视频99| 另类激情码| 色色色色色色网站| 五月花亭亭| 午夜丁香综合婷婷| 色播五月| 激情五月丁香综合网站| 99日精品视频| 国产欧美精品AAAAAA片| 亚洲成人黄色网| 久99久视频| 春色激情| 超碰色综合| 激情亚洲色图片丁香综合| 99婷婷色| 六月丁丁香| 狠狠色噜噜| 日本综合久久| 人人操人人妻| 91精品国产91久久久久青草| 啪啪五月天啪啪| 人人操91色| 婷婷丁香六月| 五月开心深爱激情网| 6月丁香婷婷| 中文字幕高清av| 可以直接看的AV| 天天干天天射色综合| 久综合色| 色噜婷婷| 九九综合| 怡红院视频| 亚洲激情图文小说| 五月亭亭色| 香蕉久久国产AV一区二区| 日本va欧美va国产激情| 激情亚洲五月| 1024国产| 91美女啪啪| 天天拍天天操| 久久伦乱| 草逼大片| 五月综合激情图片| 六月婷欧美| 人人妖人人97| 婷婷色网| 99九九视频精彩在线| 五月天婷爱综合| 天天艹天天综合网| 日本久草福利| 开心色色五月天综合| 久久99网| 香蕉人在线香蕉人在线 | 丁香婷五月| 激情深爱综合| 狼人婷婷久久| 9999热精品| 色欧美一级| 日本久久99| 99色婷婷视频| 婷婷五月六月| 五月天狠狠干| 77799热| 五月丁香啪| 亚欧州精品视频| 五月婷婷综合色啪首页 | 丁香五月Av| 五月花亭亭| 色五月aV| 日本精品在线噜噜噜| 国产精品视频免费看| 五月丁香婷婷激情爱爱| 99人妻碰碰久久久禁片| 久久久久久人妻| 日本99热| 99re热在线视频| 99热这里只有精品9| 婷婷五月天开心激情网| 色人妻五月| 狠狠色婷婷丁香六月| 亚洲一色色色色色色色色| 五月天激情图片| 9l视频自拍九色9l视频在线观看| 99日在线观看视频| 狼人伊人干| 五月丁香色色色| 4399啪啪视频| 日韩AV免费电影在线播放| 国外亚洲成AV人片在线观看| 天天草天天爽| 五月丁香激情啪啪| 天天天天天天操| 九九九九这里只有精品| 天天婷婷综合亚洲亚洲| 超碰免费人人| 天天操天天曰| 91玖玖| www.色综合| 久99| 婷婷色在线| 五月丁香影视| 国产精品一区在线观看你懂的| 激情五月久久| 五月综合久久| 9999久久久久| 大地资源色婷婷视频在线| 久久久亚洲精品一区二区三区浴池| 久久久人妻| 欧亚成人A片一区二区| 日韩av手机在线观看| 99色爱| 五月婷婷婷色| 一起操 91N.com| 金品在线视频99| 超碰在线视屏| 婷婷五月天综合激情| 久久一热免费视频| 97婷婷丁香五月| 色偷偷狠狠| 色婷婷久久综合中文久久一本 | 日本强伦片中文字幕免费看| 91综合视频丁香| 国产高清视频91九九九久久久| 国产精品岛国片在线观看免费| 色婷婷久久综| 成人在线网| 天天婷婷操| 毛片色五月| 五月丁香啪| 五月丁香六月婷婷啪啪| 亚洲热综合| 久久无码成人| 激情宗合 激情宗合| 色婷婷激情| 99热日韩这里只有精品| 99热在线观看这里只有精品| 美女天天爽| 五月色影院| 东京热五月婷婷| 国产婷婷久久| 日本99久久| 午夜九九电影| 中文字幕 中文字幕明步| 婷婷视频网| 六月丁香五月婷婷| 中文字幕久久婷九女同| 大香蕉520| 超碰AAAAAAV| 伊人五月综合网| 久热超碰| 强奸幻女毛片| 97人人干| 五月色网| 99在线精品视频| 久久99国产综合精品免费| 六月丁香婷婷综合影院| 96丁香六月婷婷蜜桃综合久久| 五月丁香婷婷激情久久| 色综合射婷婷| 夜夜 操无码| 婷婷.com| 五月激情网站| 思99热精品久久只有精品| 99ri精品在线| 天天做天天爱天天高潮| 人人妻人人澡人人爽| 色五月丁香五月激情五月激情| 26uuu另类| 五月丁香色| 欧在线一区| 九九色综合| 美女丁香五婷婷| 午夜69成人做爰视频| www.五月婷| 激情五月综合六月丁香婷婷狠狠干| 婷婷五月天天天| 泰州成人视频| 美国不卡视频| 综合在线丁香五月| 婷婷五月综激情| 曰本久久女| 成人操呦av| 人妻精品一区二区三区| 国产成人精品一区二三区熟女在线| 久久九九@| 欧美超级视频97| 99久久婷婷国产综合精品| 9色在线视频| 激情桃色网 | 岛国在线观看91| 大香蕉 伊人夜| 久热a| 色5月婷婷| 亚洲成人中文字幕| 丁香五月天欧美在线| 120分钟婬片免费看| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 丁香五月 性爱| 五月激情丁香五月宗合| 啊v视频在线观看| 91 久热| 五月婷婷综合色啪首页| 91成人性爱视频| 成人网页在线观看| 色停停影院五月天| 99精品人人| 色99在线视频| 丰满少妇猛烈A片免费看观看| www九九| 婷婷色片| 激情六月天| 亚洲一个色| 综合色五月天| 狠狠色噜噜狠狠| 激情五月天色婷婷| 99视频| 国产99精品免费视频| 草草操操| 9精品在线| 神马欧美精| 亚洲免费电影2| 热热久久99| 任你弄在线视频免费| 99色看这里只有精品| 99热这里只有精品55| 婷婷久热| 国产成人高清| 超碰爱爱爱| 色香久久| 99久久五月丁香野外| 99热在线观看精品免费| 五月婷婷激情啪啪| 婷婷五月丁香网| 天天日色情| 99re在线这里只有精品视频首页| 任你躁XXXXX麻豆精品| 九九成人高清视频| 97人人干| 五月婷婷亚洲综合网| 天天爽夜夜操| 婷婷区日本| 性做爰A片免费视频A片直播| 婷婷丁香五月激情中文字幕版| 丁香五月激情啪啪| 色播五月丁香婷婷| 99视频这里有精品| 天天操天天操| 丰满少妇乱A片无码| 激情婷婷六月| 婷婷五月色播天| 天天摸人人摸| 大香伊人婷婷| 99玖玖在线视频| 午夜九九九九九九九九九九九九九| 综合久久高清| www.99在线| 日韩视频99| 久久五月丁香伊人青草| 日本不卡一区二区三区| 亚洲人人操BD| 国产人人操| 人人干女人| 丁香婷婷网| 伊人五月综合网| 婷婷五月天 偷拍| 99超碰欧美| 色综合99| 久久精品婷婷五月丁香| 综合色播| 美女婷婷六月色| 亚洲成人AV高清字幕| 色五月激情婷婷| 五月天婷婷操逼视频| 婷婷激情小说| 草美女在线观看视频在线播放 | 26uuu欧美日韩| 欧美色婷婷| 丁香5月婷婷| 久久丁香五月| 亚洲午夜AV| 99re这里有精品手机在线| 超碰在线资源| 婷香五月| 色久婷婷网| 日笨久久网| 色999五月色| 天天拍夜夜爽| 国产伊人大香蕉| 97人人射| 天天干天天操天天上| 99久久.www| 久久久精品色| 精品少妇蜜臀91| 色婷婷五月综合在线| 熟女人妻一区二区三区免费看| 思思热久久久在线| 99riAV国产精品视频| 成熟妇人A片免费看网站| 亚洲激情97五月天| 色激情综合| 五月婷三级片| 九九婷婷综合| 婷婷五月天激情在线观看| 人妖色AV色综合| 99热这里只有精品99| 五月婷婷啪啪|