欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

AI Evals實(shí)戰(zhàn)指南:從零搭建LLM應(yīng)用評(píng)估體系與CI/CD集成

AI Evals實(shí)戰(zhàn)指南:從零搭建LLM應(yīng)用評(píng)估體系與CI/CD集成 1. 為什么AI Evals值得你花時(shí)間搞明白做LLM應(yīng)用的人遲早會(huì)撞上同一堵墻模型輸出飄忽不定今天答得好好的明天換個(gè)問(wèn)法就胡說(shuō)八道。你改了一版提示詞感覺(jué)好像好了點(diǎn)但到底好了多少說(shuō)不清。你換了個(gè)更大的模型老板問(wèn)效果提升多少你只能憑感覺(jué)說(shuō)“好像強(qiáng)一些”。這種狀態(tài)在傳統(tǒng)軟件開(kāi)發(fā)里是不可想象的——你改了一行代碼跑一遍單元測(cè)試就知道有沒(méi)有把東西改壞。但到了LLM這里測(cè)試這件事突然變得模糊了。AI Evals就是來(lái)解決這個(gè)問(wèn)題的。它是一套對(duì)LLM應(yīng)用輸出質(zhì)量進(jìn)行系統(tǒng)化評(píng)估的方法論和工具鏈核心目標(biāo)是讓“模型好不好”這件事從主觀(guān)感受變成可量化、可復(fù)現(xiàn)、可追蹤的工程指標(biāo)。不管你在做RAG知識(shí)庫(kù)、Agentic RAG、LLM驅(qū)動(dòng)的業(yè)務(wù)系統(tǒng)還是簡(jiǎn)單的提示詞調(diào)優(yōu)只要你的系統(tǒng)里有LLM參與生成Evals就是你繞不開(kāi)的基礎(chǔ)設(shè)施。這篇文章適合誰(shuí)看如果你正在搭建基于LLM的產(chǎn)品或者已經(jīng)在跑RAG項(xiàng)目但不知道怎么衡量檢索和生成的質(zhì)量又或者你聽(tīng)說(shuō)過(guò)LLM-as-a-Judge但不知道實(shí)際怎么落地那這篇內(nèi)容就是寫(xiě)給你的。我會(huì)從整體設(shè)計(jì)思路講到具體實(shí)操包括評(píng)估集怎么建、評(píng)估器怎么選、怎么接入CI/CD流水線(xiàn)以及我自己踩過(guò)的那些坑。2. AI Evals的整體設(shè)計(jì)思路與方案選型2.1 先搞清楚你要評(píng)估什么很多人一上來(lái)就問(wèn)“用什么工具做Evals”這個(gè)問(wèn)題問(wèn)早了。你得先想清楚評(píng)估對(duì)象是什么。一個(gè)典型的LLM應(yīng)用評(píng)估維度至少可以拆成三層第一層是檢索質(zhì)量。如果你的系統(tǒng)用了RAG檢索環(huán)節(jié)決定了模型能看到什么上下文。檢索質(zhì)量差后面生成再好也是垃圾進(jìn)垃圾出。檢索評(píng)估的核心指標(biāo)包括召回率、精確率、MRR平均倒數(shù)排名等。第二層是生成質(zhì)量。模型基于給定上下文生成的回答是否準(zhǔn)確、是否完整、是否忠于原文、是否有害。這一層是大多數(shù)人最關(guān)心的。第三層是端到端體驗(yàn)。用戶(hù)實(shí)際使用時(shí)的滿(mǎn)意度包括響應(yīng)延遲、格式合規(guī)性、多輪對(duì)話(huà)的一致性等。這三層的評(píng)估方法和工具完全不同。檢索層可以用傳統(tǒng)IR指標(biāo)生成層需要LLM-as-a-Judge或者人工標(biāo)注端到端層則需要結(jié)合線(xiàn)上監(jiān)控和用戶(hù)反饋。如果你把這三層混在一起評(píng)估結(jié)果就是什么都測(cè)了但什么都測(cè)不準(zhǔn)。2.2 為什么選擇LLM-as-a-Judge作為核心方案評(píng)估LLM輸出的方法大致有三種人工評(píng)估、傳統(tǒng)自動(dòng)指標(biāo)如BLEU、ROUGE、LLM-as-a-Judge。人工評(píng)估最準(zhǔn)但成本極高沒(méi)法頻繁跑。傳統(tǒng)自動(dòng)指標(biāo)基于n-gram重疊對(duì)于開(kāi)放式生成任務(wù)幾乎沒(méi)用——兩句話(huà)意思完全一樣但用詞不同BLEU分可能很低兩句話(huà)用詞高度重疊但意思相反BLEU分反而很高。這在RAG場(chǎng)景下尤其致命因?yàn)镽AG的回答需要忠于檢索到的上下文而不是和標(biāo)準(zhǔn)答案做字面匹配。LLM-as-a-Judge的思路是用一個(gè)能力足夠強(qiáng)的LLM來(lái)充當(dāng)評(píng)委按照給定的評(píng)分標(biāo)準(zhǔn)對(duì)輸出進(jìn)行打分或排序。它的優(yōu)勢(shì)在于語(yǔ)義理解能力強(qiáng)能判斷“意思對(duì)不對(duì)”而不只是“字面像不像”可定制評(píng)分維度你可以定義忠實(shí)度、完整性、簡(jiǎn)潔性等任意維度成本可控相比人工評(píng)估便宜幾個(gè)數(shù)量級(jí)可復(fù)現(xiàn)同樣的輸入和評(píng)分標(biāo)準(zhǔn)結(jié)果基本穩(wěn)定但LLM-as-a-Judge也有明顯的坑。評(píng)委模型本身可能有偏見(jiàn)比如傾向于給更長(zhǎng)的回答打高分或者對(duì)某些表達(dá)風(fēng)格有偏好。評(píng)分標(biāo)準(zhǔn)如果寫(xiě)得模糊不同批次的評(píng)分一致性會(huì)很差。這些坑我在后面會(huì)詳細(xì)講怎么處理。2.3 評(píng)估集的設(shè)計(jì)原則評(píng)估集是整個(gè)Evals體系的地基。地基不牢后面所有指標(biāo)都是空中樓閣。我見(jiàn)過(guò)太多團(tuán)隊(duì)隨便找?guī)资畻l數(shù)據(jù)就開(kāi)始跑評(píng)估跑出來(lái)的數(shù)字看著漂亮但上線(xiàn)后用戶(hù)反饋一塌糊涂。評(píng)估集的設(shè)計(jì)要遵循幾個(gè)原則覆蓋核心場(chǎng)景。你的應(yīng)用支持哪些類(lèi)型的查詢(xún)每種類(lèi)型至少要有足夠數(shù)量的樣本。比如一個(gè)RAG知識(shí)庫(kù)查詢(xún)類(lèi)型可能包括事實(shí)型查詢(xún)、比較型查詢(xún)、多跳推理查詢(xún)、否定型查詢(xún)等。每種類(lèi)型都要覆蓋。包含邊界情況。用戶(hù)會(huì)問(wèn)什么奇怪的問(wèn)題輸入為空怎么辦問(wèn)題超出知識(shí)庫(kù)范圍怎么辦問(wèn)題有歧義怎么辦這些邊界情況必須出現(xiàn)在評(píng)估集里。標(biāo)注標(biāo)準(zhǔn)答案。對(duì)于生成任務(wù)你需要一個(gè)參考答案ground truth。這個(gè)答案不一定是唯一的但必須是對(duì)的。標(biāo)注工作最好由領(lǐng)域?qū)<襾?lái)做如果實(shí)在沒(méi)有條件至少要有兩個(gè)人獨(dú)立標(biāo)注然后交叉驗(yàn)證。持續(xù)迭代。評(píng)估集不是建一次就完事了。線(xiàn)上發(fā)現(xiàn)bad case就應(yīng)該把它加進(jìn)評(píng)估集。每次模型或提示詞有重大變更評(píng)估集也應(yīng)該相應(yīng)更新。2.4 工具選型不要重復(fù)造輪子Evals工具鏈這幾年發(fā)展很快主流的開(kāi)源方案包括工具定位適合場(chǎng)景RAGASRAG專(zhuān)用評(píng)估檢索生成聯(lián)合評(píng)估DeepEval通用LLM評(píng)估單元測(cè)試式評(píng)估promptfoo提示詞對(duì)比測(cè)試快速迭代提示詞LangSmith全鏈路追蹤評(píng)估已有LangChain生態(tài)Braintrust評(píng)估實(shí)驗(yàn)管理團(tuán)隊(duì)協(xié)作場(chǎng)景選型的關(guān)鍵不是哪個(gè)功能最多而是哪個(gè)能最自然地融入你現(xiàn)有的開(kāi)發(fā)流程。如果你已經(jīng)在用LangChain做RAGLangSmith的集成成本最低。如果你想要輕量級(jí)的CI/CD集成promptfoo和DeepEval更合適。RAGAS在檢索指標(biāo)上最專(zhuān)業(yè)但它的生成評(píng)估維度相對(duì)固定定制空間有限。我的建議是先用RAGAS或DeepEval快速跑通一個(gè)最小可用評(píng)估流程驗(yàn)證方法論可行之后再根據(jù)實(shí)際需求決定是否遷移到更重的平臺(tái)。3. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)3.1 檢索評(píng)估RAG系統(tǒng)的第一道防線(xiàn)RAG系統(tǒng)的評(píng)估必須從檢索開(kāi)始。原因很簡(jiǎn)單如果檢索沒(méi)找到正確的文檔生成模型再?gòu)?qiáng)也答不對(duì)。檢索評(píng)估的核心是判斷“該找到的文檔有沒(méi)有被找到”。具體操作上你需要為每個(gè)評(píng)估樣本標(biāo)注一組相關(guān)文檔ID。然后跑檢索看返回的Top-K結(jié)果里有多少是相關(guān)的。常用的指標(biāo)包括Hit RateKTop-K里是否包含至少一個(gè)相關(guān)文檔MRRK第一個(gè)相關(guān)文檔排在第幾位倒數(shù)取平均RecallKTop-K里覆蓋了多少比例的相關(guān)文檔PrecisionKTop-K里有多少比例是相關(guān)的這些指標(biāo)的計(jì)算不依賴(lài)LLM純靠文檔ID匹配所以速度快、成本低、結(jié)果穩(wěn)定。我建議每次代碼提交都跑一遍檢索評(píng)估作為CI/CD的第一道關(guān)卡。實(shí)操中有一個(gè)容易忽略的點(diǎn)分塊策略對(duì)檢索指標(biāo)的影響極大。同樣的文檔按512token切和按1024token切檢索結(jié)果可能完全不同。所以評(píng)估檢索時(shí)一定要固定分塊策略否則指標(biāo)波動(dòng)你根本不知道是檢索算法變了還是分塊變了。注意檢索評(píng)估的相關(guān)文檔標(biāo)注需要人工完成這是整個(gè)Evals流程中人力成本最高的環(huán)節(jié)。建議先從100-200條樣本開(kāi)始覆蓋主要查詢(xún)類(lèi)型即可不必追求大而全。3.2 生成評(píng)估LLM-as-a-Judge的落地細(xì)節(jié)生成評(píng)估是Evals中最復(fù)雜也最容易出問(wèn)題的環(huán)節(jié)。核心思路是讓評(píng)委LLM按照評(píng)分標(biāo)準(zhǔn)對(duì)生成結(jié)果打分。但“打分”這件事本身有很多講究。評(píng)分標(biāo)準(zhǔn)的設(shè)計(jì)。不要用“好/中/差”這種模糊標(biāo)準(zhǔn)。每個(gè)維度都要有明確的定義和分檔描述。比如“忠實(shí)度”可以定義為5分回答中所有事實(shí)性陳述都能在給定上下文中找到依據(jù)4分回答中絕大部分事實(shí)性陳述有依據(jù)個(gè)別細(xì)節(jié)有輕微偏差3分回答中有部分事實(shí)性陳述缺乏依據(jù)但核心信息正確2分回答中有明顯的事實(shí)性錯(cuò)誤與上下文矛盾1分回答完全偏離上下文或編造信息這種分檔描述看起來(lái)啰嗦但它是保證評(píng)分一致性的關(guān)鍵。我試過(guò)用模糊標(biāo)準(zhǔn)跑評(píng)估同一批數(shù)據(jù)兩次評(píng)分的一致性只有60%左右換成明確分檔后一致性提升到85%以上。評(píng)委模型的選擇。評(píng)委模型的能力必須顯著高于被評(píng)估模型否則就是讓小學(xué)生批改高中生的卷子。實(shí)操中用GPT-4或Claude 3.5 Sonnet級(jí)別的模型做評(píng)委是比較穩(wěn)妥的選擇。如果成本敏感可以考慮用更強(qiáng)的開(kāi)源模型做評(píng)委但一定要先驗(yàn)證評(píng)分一致性。位置偏見(jiàn)和長(zhǎng)度偏見(jiàn)的處理。LLM評(píng)委有兩個(gè)著名的偏見(jiàn)傾向于給排在前面的選項(xiàng)打高分位置偏見(jiàn)以及傾向于給更長(zhǎng)的回答打高分長(zhǎng)度偏見(jiàn)。處理方法包括對(duì)于位置偏見(jiàn)把同一對(duì)回答交換順序評(píng)兩次取平均分對(duì)于長(zhǎng)度偏見(jiàn)在評(píng)分標(biāo)準(zhǔn)中明確說(shuō)明“簡(jiǎn)潔且完整的回答應(yīng)得高分”或者在評(píng)估時(shí)控制回答長(zhǎng)度差異評(píng)分一致性驗(yàn)證。在正式跑評(píng)估之前先抽20-30條樣本讓評(píng)委模型評(píng)兩次中間隔一段時(shí)間計(jì)算兩次評(píng)分的一致性。如果一致性低于80%說(shuō)明評(píng)分標(biāo)準(zhǔn)或評(píng)委模型有問(wèn)題需要調(diào)整。3.3 評(píng)估集的版本管理評(píng)估集是代碼不是數(shù)據(jù)。它應(yīng)該和你的應(yīng)用代碼一起做版本管理。每次評(píng)估集有變更都要記錄變更原因和影響范圍。我習(xí)慣用Git管理評(píng)估集目錄結(jié)構(gòu)大概是這樣的evals/ datasets/ retrieval_eval_v1.jsonl generation_eval_v1.jsonl configs/ ragas_config.yaml judge_prompts/ faithfulness_v1.txt completeness_v1.txt results/ 2024-01-15_baseline.json 2024-01-20_prompt_v2.json每次跑評(píng)估結(jié)果文件按日期和變更描述命名方便回溯對(duì)比。如果某次評(píng)估結(jié)果異常可以快速定位是評(píng)估集變了、提示詞變了還是模型變了。3.4 評(píng)估指標(biāo)的可視化與追蹤光有數(shù)字不夠你需要能直觀(guān)看到趨勢(shì)。我一般會(huì)用簡(jiǎn)單的折線(xiàn)圖追蹤幾個(gè)核心指標(biāo)隨時(shí)間的變化檢索Hit Rate5生成忠實(shí)度平均分生成完整性平均分端到端響應(yīng)延遲P95這些圖表不需要多精美用matplotlib或者直接導(dǎo)出到Google Sheets都行。關(guān)鍵是讓團(tuán)隊(duì)每個(gè)人都能一眼看到“這次改動(dòng)到底有沒(méi)有讓系統(tǒng)變好”。4. 實(shí)操過(guò)程與核心環(huán)節(jié)實(shí)現(xiàn)4.1 從零搭建一個(gè)最小可用Evals流程假設(shè)你有一個(gè)基于RAG的問(wèn)答系統(tǒng)現(xiàn)在要從零搭建Evals。以下是我驗(yàn)證過(guò)的步驟第一步準(zhǔn)備評(píng)估數(shù)據(jù)。收集100條真實(shí)用戶(hù)查詢(xún)覆蓋主要查詢(xún)類(lèi)型。對(duì)每條查詢(xún)標(biāo)注相關(guān)文檔ID和參考答案。這一步大概需要1-2天取決于領(lǐng)域復(fù)雜度。第二步跑檢索評(píng)估。用RAGAS或自己寫(xiě)腳本計(jì)算Hit Rate5和MRR5。如果Hit Rate低于80%先優(yōu)化檢索不要急著評(píng)估生成。第三步配置生成評(píng)估。選擇評(píng)委模型寫(xiě)好評(píng)分標(biāo)準(zhǔn)提示詞。先用20條樣本驗(yàn)證評(píng)分一致性一致性達(dá)標(biāo)后再跑全量。第四步建立基線(xiàn)。在當(dāng)前代碼版本上跑一次完整評(píng)估記錄所有指標(biāo)作為基線(xiàn)。第五步接入CI/CD。每次PR合并前自動(dòng)跑檢索評(píng)估生成評(píng)估可以按需觸發(fā)或每天定時(shí)跑。4.2 檢索評(píng)估的代碼實(shí)現(xiàn)以下是一個(gè)簡(jiǎn)化的檢索評(píng)估腳本用Python實(shí)現(xiàn)import json from typing import List, Dict def hit_rate_at_k(retrieved_ids: List[str], relevant_ids: List[str], k: int) - float: top_k retrieved_ids[:k] return 1.0 if any(doc_id in relevant_ids for doc_id in top_k) else 0.0 def mrr_at_k(retrieved_ids: List[str], relevant_ids: List[str], k: int) - float: for rank, doc_id in enumerate(retrieved_ids[:k], start1): if doc_id in relevant_ids: return 1.0 / rank return 0.0 def evaluate_retrieval(eval_data_path: str, retriever, k: int 5) - Dict: with open(eval_data_path, r) as f: eval_samples [json.loads(line) for line in f] hit_rates [] mrrs [] for sample in eval_samples: query sample[query] relevant_ids sample[relevant_doc_ids] retrieved retriever.search(query, top_kk) retrieved_ids [doc[id] for doc in retrieved] hit_rates.append(hit_rate_at_k(retrieved_ids, relevant_ids, k)) mrrs.append(mrr_at_k(retrieved_ids, relevant_ids, k)) return { hit_ratek: sum(hit_rates) / len(hit_rates), mrrk: sum(mrrs) / len(mrrs), num_samples: len(eval_samples) }這個(gè)腳本很簡(jiǎn)陋但足夠跑通流程。實(shí)際使用中你需要處理檢索失敗、文檔ID不匹配等異常情況。4.3 LLM-as-a-Judge的提示詞模板以下是我在實(shí)際項(xiàng)目中驗(yàn)證過(guò)的忠實(shí)度評(píng)分提示詞模板你是一個(gè)嚴(yán)格的評(píng)估專(zhuān)家。你的任務(wù)是判斷【回答】是否忠實(shí)于【上下文】。 評(píng)分標(biāo)準(zhǔn) 5分回答中所有事實(shí)性陳述都能在上下文中找到直接依據(jù) 4分回答中絕大部分事實(shí)性陳述有依據(jù)個(gè)別細(xì)節(jié)有輕微偏差但不影響核心信息 3分回答中有部分事實(shí)性陳述缺乏依據(jù)但核心信息正確 2分回答中有明顯的事實(shí)性錯(cuò)誤與上下文矛盾 1分回答完全偏離上下文或編造信息 【上下文】 {context} 【回答】 {answer} 請(qǐng)先給出評(píng)分理由然后輸出評(píng)分僅輸出數(shù)字。這個(gè)模板的關(guān)鍵在于評(píng)分標(biāo)準(zhǔn)分檔明確要求先給理由再給分?jǐn)?shù)強(qiáng)制模型思考輸出格式固定便于解析。4.4 接入CI/CD流水線(xiàn)Evals接入CI/CD的核心原則是快速反饋分層執(zhí)行。檢索評(píng)估跑得快、成本低適合每次PR都跑。生成評(píng)估跑得慢、成本高適合每天定時(shí)跑或者手動(dòng)觸發(fā)。以下是一個(gè)GitLab CI配置示例stages: - test - eval retrieval_eval: stage: eval script: - python evals/run_retrieval_eval.py --dataset evals/datasets/retrieval_eval_v1.jsonl rules: - if: $CI_PIPELINE_SOURCE merge_request_event artifacts: paths: - evals/results/retrieval_latest.json generation_eval: stage: eval script: - python evals/run_generation_eval.py --dataset evals/datasets/generation_eval_v1.jsonl rules: - if: $CI_PIPELINE_SOURCE schedule artifacts: paths: - evals/results/generation_latest.json關(guān)鍵點(diǎn)是設(shè)置閾值告警。如果檢索Hit Rate比基線(xiàn)下降超過(guò)5個(gè)百分點(diǎn)CI應(yīng)該直接失敗阻止合并。生成評(píng)估的閾值可以寬松一些但也要有告警機(jī)制。4.5 評(píng)估結(jié)果的分析與歸因跑完評(píng)估拿到數(shù)字只是第一步更重要的是分析數(shù)字背后的原因。我一般會(huì)做以下幾件事按查詢(xún)類(lèi)型分組分析。整體指標(biāo)可能看起來(lái)還行但某個(gè)類(lèi)型的查詢(xún)可能特別差。比如事實(shí)型查詢(xún)Hit Rate 95%但多跳推理查詢(xún)只有60%。這種細(xì)分分析能幫你精準(zhǔn)定位問(wèn)題。查看bad case。把評(píng)分最低的樣本挑出來(lái)人工看一遍。是檢索沒(méi)找到文檔還是找到了但生成模型沒(méi)用還是評(píng)分標(biāo)準(zhǔn)有問(wèn)題bad case分析往往能發(fā)現(xiàn)指標(biāo)數(shù)字掩蓋不了的問(wèn)題。對(duì)比歷史結(jié)果。如果這次評(píng)估指標(biāo)下降了和上次的結(jié)果做diff看是哪些樣本的評(píng)分變了。這能幫你快速定位是哪個(gè)改動(dòng)導(dǎo)致了退化。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 評(píng)分一致性差怎么辦這是LLM-as-a-Judge最常見(jiàn)的問(wèn)題。同一批數(shù)據(jù)跑兩次評(píng)分差異很大。原因通常有三個(gè)評(píng)分標(biāo)準(zhǔn)太模糊。解決辦法是把每個(gè)分?jǐn)?shù)檔的描述寫(xiě)得更具體最好給出正例和反例。評(píng)委模型能力不夠。如果評(píng)委模型和被評(píng)估模型能力接近評(píng)分就會(huì)不穩(wěn)定。換更強(qiáng)的評(píng)委模型。溫度參數(shù)沒(méi)設(shè)對(duì)。評(píng)委模型的temperature應(yīng)該設(shè)為0或接近0保證輸出穩(wěn)定。5.2 評(píng)估成本太高怎么控制LLM-as-a-Judge的成本主要來(lái)自評(píng)委模型的API調(diào)用??刂瞥杀镜姆椒òㄓ酶阋说哪P妥龀鹾Y只對(duì)邊界樣本用強(qiáng)模型復(fù)評(píng)減少評(píng)估頻率從每次PR改成每天定時(shí)優(yōu)化提示詞長(zhǎng)度減少不必要的token消耗對(duì)檢索評(píng)估這種不需要LLM的環(huán)節(jié)堅(jiān)決不用LLM5.3 評(píng)估指標(biāo)和線(xiàn)上表現(xiàn)不一致這是最讓人頭疼的問(wèn)題。評(píng)估集上指標(biāo)很好但線(xiàn)上用戶(hù)反饋很差。原因通常是評(píng)估集不能代表真實(shí)分布。解決辦法是持續(xù)從線(xiàn)上收集bad case加入評(píng)估集。另外評(píng)估集的查詢(xún)分布應(yīng)該定期和線(xiàn)上查詢(xún)分布做對(duì)比確保沒(méi)有嚴(yán)重偏移。5.4 常見(jiàn)問(wèn)題速查表問(wèn)題可能原因排查方向評(píng)分一致性低于80%評(píng)分標(biāo)準(zhǔn)模糊/評(píng)委模型弱細(xì)化評(píng)分檔描述換更強(qiáng)評(píng)委檢索Hit Rate突然下降分塊策略變更/索引重建檢查分塊配置和索引版本生成忠實(shí)度低但檢索指標(biāo)正常生成模型忽略上下文檢查提示詞是否強(qiáng)調(diào)忠于上下文評(píng)估結(jié)果波動(dòng)大評(píng)估集太小/樣本分布不均擴(kuò)大評(píng)估集檢查樣本分布CI中評(píng)估超時(shí)評(píng)估樣本太多/API限流減少樣本量或增加超時(shí)時(shí)間5.5 幾個(gè)我踩過(guò)的坑坑一評(píng)估集泄露。有一次我把評(píng)估集里的樣本不小心用作了few-shot示例導(dǎo)致評(píng)估指標(biāo)虛高。后來(lái)我嚴(yán)格分離了評(píng)估集和提示詞示例確保沒(méi)有重疊??佣雎詸z索延遲。早期我只關(guān)注檢索質(zhì)量指標(biāo)忽略了檢索延遲。上線(xiàn)后發(fā)現(xiàn)P95延遲超過(guò)3秒用戶(hù)體驗(yàn)很差。后來(lái)在評(píng)估中加入了延遲指標(biāo)把延遲也作為CI的檢查項(xiàng)??尤u(píng)分標(biāo)準(zhǔn)頻繁變更。有段時(shí)間我頻繁調(diào)整評(píng)分標(biāo)準(zhǔn)導(dǎo)致歷史評(píng)估結(jié)果沒(méi)法對(duì)比。后來(lái)我規(guī)定評(píng)分標(biāo)準(zhǔn)變更必須走版本管理每次變更都要記錄變更原因和影響。坑四過(guò)度依賴(lài)單一指標(biāo)。曾經(jīng)有一段時(shí)間我只盯著忠實(shí)度指標(biāo)優(yōu)化結(jié)果發(fā)現(xiàn)回答變得越來(lái)越短、越來(lái)越保守完整性大幅下降。后來(lái)我建立了多指標(biāo)聯(lián)合評(píng)估任何單一指標(biāo)都不能獨(dú)立決定優(yōu)化方向。5.6 評(píng)估流程的持續(xù)迭代Evals不是一次性的項(xiàng)目而是持續(xù)迭代的過(guò)程。我建議每?jī)芍茏鲆淮卧u(píng)估流程的回顧評(píng)估集是否需要新增樣本評(píng)分標(biāo)準(zhǔn)是否需要調(diào)整評(píng)估指標(biāo)是否還反映真實(shí)質(zhì)量CI/CD中的閾值是否需要更新這個(gè)回顧不需要很長(zhǎng)時(shí)間但能保證Evals體系始終和業(yè)務(wù)目標(biāo)對(duì)齊。6. 從Evals到持續(xù)改進(jìn)的閉環(huán)Evals的最終目的不是生成一堆數(shù)字而是驅(qū)動(dòng)系統(tǒng)持續(xù)改進(jìn)。一個(gè)完整的閉環(huán)應(yīng)該是評(píng)估發(fā)現(xiàn)問(wèn)題 - 分析歸因 - 實(shí)施改進(jìn) - 重新評(píng)估驗(yàn)證 - 上線(xiàn)監(jiān)控。在這個(gè)閉環(huán)中最容易斷裂的環(huán)節(jié)是“分析歸因”。很多人跑完評(píng)估看到指標(biāo)下降就慌了但不知道從哪里下手。我的經(jīng)驗(yàn)是先看檢索再看生成最后看提示詞。檢索問(wèn)題通常最容易定位也最容易修復(fù)生成問(wèn)題需要看bad case具體分析提示詞問(wèn)題往往最隱蔽需要對(duì)比不同版本的提示詞效果。另一個(gè)容易忽略的環(huán)節(jié)是“上線(xiàn)監(jiān)控”。評(píng)估集上的指標(biāo)再好也不能保證線(xiàn)上沒(méi)問(wèn)題。線(xiàn)上監(jiān)控應(yīng)該關(guān)注用戶(hù)反饋率、重新生成率、對(duì)話(huà)中斷率等行為指標(biāo)。這些指標(biāo)和評(píng)估指標(biāo)結(jié)合才能全面反映系統(tǒng)質(zhì)量。我個(gè)人在實(shí)際操作中的體會(huì)是Evals這件事起步階段最重要的是跑通流程而不是追求指標(biāo)多漂亮。先用小規(guī)模評(píng)估集把檢索評(píng)估和生成評(píng)估跑起來(lái)建立起基線(xiàn)然后再逐步擴(kuò)大評(píng)估集、細(xì)化評(píng)分標(biāo)準(zhǔn)、接入CI/CD。整個(gè)過(guò)程可能需要幾周時(shí)間但一旦跑通后續(xù)每次迭代都會(huì)變得有據(jù)可依不再靠感覺(jué)做決策。最后分享一個(gè)小技巧如果你不確定評(píng)分標(biāo)準(zhǔn)怎么寫(xiě)可以先找10條樣本自己人工打分然后讓評(píng)委模型也打分對(duì)比兩者的差異。差異大的地方就是評(píng)分標(biāo)準(zhǔn)需要細(xì)化的地方。這個(gè)方法我用了很多次每次都能快速定位評(píng)分標(biāo)準(zhǔn)的模糊點(diǎn)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九九99精品视频在线观看| 99热九九这里只有精品10| 在线资源av-超碰中文在线-成人AV | 久久草大香蕉| 狠狠va| 99∨VTV| 五月天自拍网| 91视频一起草| 97碰碰视频在线观看| 在线日韩视频| 偷拍视频五月天| 婷婷亚州综合| 丁香五月婷婷五月天| 色九九丁香九月色九九色| 日日干日日| 99热国产精品| 五月天综合激情网| 乱色色色| 碰碰人人漕| av九九| 日韩无码亚欧无码| 狠狠狠狠狠狠| 人人爱人人草| 天天爽天天弄| 五月天激情影院| 婷婷狠狠综合网入口| 色欲人妻综合aaaaaaaa网| 欧美人与性动交CCOO| 丁香五月激情无码视频| 婷婷五月天激情在线观看 | 狠狠干狠狠干| 五月色综合| 丁香婷婷五月六月久久| 强壮的公次次弄得我高潮A片日本 | 色区域网站视频| 91久女| www.99成人视频| 亚洲天堂玖玖| 精品久久99码| 狠狠干思思热| 色情婷婷| 五月婷婷在线免费观看| 97操碰碰无码视频| 老美AA片| 婷婷亚洲欧美丁香五月| 色欲五月天| 婷婷五月天丁香成人社区| 色久女| 99久热视频在线| 五月丁香伊人网| tingtingcaobi| 六月色播| 亚洲AV无码久久精品色欲| 天天揷综合网| 亚洲综合色色| 97操碰碰无码视频| 亚洲综合激情五月天婷婷| 色五月综合网站| 婷婷五月天人妻| 婷婷内射视频在线| www.日日日.com| 亚洲在线网站| 婷婷五月天综合久久日美女| 天天久综合网永久入口18| 五月婷婷深爱六月| 青青草原精品久久| 草五月| 色99日韩| 99资源在线| 国产精品久久久爽爽爽麻豆色哟哟 | 亚洲色vA| 五月天婷婷在线播放免费| 婷婷五月天成人动漫 | 五月婷无码| 色婷婷五月天| 丁香五月电影| 日本少妇裸体做爰高潮片 | 99热这里只要精品免费| 久久久97| www91色网站| 国产精品久久欧美久久一区| 激情五月天婷婷播播久久综合91| 疯狂做受XXXX高潮A片| 夜夜AVV| 精品亚洲国产成AV人片传媒| 天天干天天拍| 五月丁香啪啪伦理电影| 一级操逼内射在线视频| www.色擼擼.com| 五月香婷婷| 九九热在线精品| 六月色婷婷欧美| 99热这里都是精品| 超碰在线免费| 久久五月婷综合网| 怡红院91a√| 少妇人妻丰满做爰XXX| 99精品在线观看| 色五月丁香一区在线| 久久久久婷| 白人荫道BBWBBB大荫道| 久久九九re热| 成年AAAA色情| 激情网狠狠干| 久久久久久天天日天天爱| 国产亚洲av片| 激情九月婷婷| 日本在线视频播放91| 五月丁香激情片| 国产免费一区二区三区三州老师F1F1.CC | 91人人爽狠狠狠| 强伦轩人妻一区二区电影| 久热亚洲| 色久五月| 婷婷五月激情欧美大胆视频| 丁香五月手机在线| 九九综合| 伊人99热| 久久香蕉网| 亚洲成人免费在线| 91色五月在线观看| 色婷婷色和| 懂色av蜜臀av粉嫩av永陈冠希| 乱岳熟女50岁| 青青草五月天| 色色爽爽天天| 久久婷婷成人综合色怡春院| 99热这里只有精品3| 久久东京热婷婷五月| 久久精品99| 丁香婷婷大香蕉| 日本韩国视频在线观看社区免费的9| 丁香色婷婷| 丁香五月精品视频| 天天精品视频免费观看| 五月在线| 性天堂久久| 五月天社区婷婷丁香社区| 99久久色| 五月色婷婷亚洲| 天天舔天天摸视频| 久久精品国产一区二区三区四区 | 久久九九re热| 米奇影视五月天| 五月天激情小说网| 国产精品99久久久久久久女警| 偷拍九九热| 色玖玖爱| 丁香婷婷成人在线播放| 99热久久这里只有精品| 激情婷婷人妻| 免费看欧美成人A片无码| 91精品久久久久久综合五月天| 丁香五月婷婷总啪啪| 婷婷五月丁香色综合| 色色五月丁香婷婷| 俺去也在线视频| 超碰不卡在线| 丁香婷婷欧美综合| 激情五月丁香六月综合AVXXXX| 色噜噜夜夜夜综合网| 五月丁香婷婷成人综合网| 日本精品99网站| 日韩高清成人| 久久女人九九| 婷婷激情五月综合丁香社| 色情五月天A片| www超碰| WWW、日本色丁香、co m| 色色影院黄大片| w婷婷五月婷婷w| 啪啪91| 色色色色五月天| 丁香五月精品| 成片免费观看大全| 日韩AV色色色| 少妇性BBB搡BBB爽爽爽视頻| 天天综合五月| 9l久久久视频| 超碰日日操| 五月日韩中文字幕| 亚洲人成网亚洲欧洲无码久久| 五月天综合在线观看视频| 粉嫩AV久久一区二区三区| 色墦五月丁香| 婷婷五月天社区| 国产女生爱爱AA| 色噜噜在线| 久久性综合| 超碰无码318604| 性爱先锋AV| 91精品无码| 久99热在线观看| 五月丁香综合精品| 大香蕉啪啪啪| 五月天激情婷婷五月天久久| 色色五月天 亚洲| 99九九视屏| 色久综合| 色狠狠色综合| 日韩亚洲视频| 激情五月天色网站| 色婷婷五月综合在线| 色青青电影色五月| 九九操操| 这里只有精品偷拍| 国产伊人大香蕉| 天天干,夜夜爽| 97资源碰碰在线| 夜夜 操无码| 婷婷色网| 人人操人人看97干| 日本熟妇乱妇熟色A片蜜桃| 狠狠操综合| 五月丁香婷婷综合| 色五月超碰| 色八月婷婷| 国产午夜精品一区二区三区四区| 五月天淫乱视频| 免费色婷婷| 婷婷人人操| 婷婷五月成人| 玖玖激情网| 综合激情五月丁香| 色五月婷婷亚洲| 伊人久久大香蕉网| 日韩久操婷婷| 久久婷婷五月| 久久天堂网| 久久久久久综合88| 99色热综合| 操操人人| 99九九视频| 亚洲艹网| 日本色色网站| 91色综合久久| 免费无码毛片一区二区A片| 99亚洲视频| 色性综合| 婷婷影院欧美| 精品人妻久久久久久| 激情宗合网激情五月天| 99九九热在线观看| 98永久精品| 丰满少妇猛烈A片免费看观看| 久久五月丁香| 五月六月丁香激情| 国产精品色色666| 激情五月综合久久| 婷婷五月无码| 狠狠色丁香久久婷婷综合五月| 人妻AV中文系列| 五月婷婷69| 丁香性爱在线视频| av大香蕉| 操操国产| 久久9久| 日日爽日日| 超碰成人在线观看| 国产脫衣舞一区二区三区| 九月色婷婷综合亚洲| 精品久久人妻| 久久99热这里只频精品6学生| 久久A热| 草综合网| 日本女天天爽| 亚洲综人色综网| 婷婷五月天丁香社区| 久操大屁股女人av| 五月婷婷色白丝| 久热精品免费视频4| 成片免费播放| 99热1| 色香欲综合| 激情综合网 激情五月天| 婷婷五月丁香av网站| 丁香五月六月综合激情| 99久久喉9| 久久在线视频免费观看| 久草婷婷在线| 特黄三级又爽又粗又大| 色停停香蕉视频| 丁香五月自拍| 中文av网站| 开心五月网| 九九精品综合| 国产精品色色| 久久五月天综合| 色欧洲| 五月天综合在线| 天天摸天天高潮天天爽| 五月婷人妻| 激情激情激情网| 手机激情网| 91超级碰| 亚洲天堂99| 色婷婷五月天中文字幕| 五月天激情Av| 婷婷五月六月丁香| www.超碰| 久久精品国产精品| 99九九热视频免费| 日韩欧美一道四区中文字幕| 26UUU欧美激情一区二区| 色婷婷88| 狠狠色狠狠鲁| 六月合五月婷| 九九热黄色| 亚洲午夜一区二区| 香蕉久久国产AV一区二区| www.久久| 综合99在线| 天天综合网~91综合网| 深爱丁香网| 丁香 婷婷五月| 五月丁香六月色婷婷| 男女久久婷婷五月天| 天天爽综合网| 五月色网| 强辱丰满人妻HD中文字幕| 丁香五月婷婷操逼| 人操91在线| 九九aV| 五月婷六月综合在线观看| 五月婷婷就去色| 可以免费看的AV网站| 操97| 久久这里只有精品视频15| 久久人五月| 成人噜噜网| 婷婷五月天激情综合深爱| 亚洲综合热| 色五月婷婷综合| 99在线精品观看99| 九月av在线| 五月丁香婷婷激情四射迷人| 99re热精品视频国| 九九综合| 波多婷婷久久| 婷婷伊人综合中文字幕| 九九热短视频在线观看| 五月天啪啪啪| 91婷婷在线观看| 五月婷婷视频啪啪美女| 婷婷欧美综合| 综合色、色综合| 九九AV| 色色影院aaaav| 思思热在线视频99| 婷婷五月激情中文字幕| 色九综合| 丁香五月天激情AV| 五月天激情网图片| se99视频| 搡BBBB搡BBB搡18| 91天堂网综合| 久热播这里只有精品| 五月婷婷大香蕉| 日韩久久欧亚| 狠狠人妻久久久久久综合丁香| 五月天色婷婷综合| 天天射网站| 丁香五月婷婷操逼| 噜噜色天天开心| 激情五月婷婷综合| 欧美精品999| 六月综合婷婷开心伊人| 五月丁香六月婷婷在线播放| 丁香婷婷色色| 成人视频在线免费播放| 亚洲黄色网址| 婷婷丁香高潮了| 欧美日本黄色| 丁香五月AV| 伊人五月天在线| 久久加勤综合| 五月开心深深爱激情综合 | 亚洲狠狠干| 玖玖资源站中文| 少妇大叫太大太粗太爽了A片| 91精品久久久久久| 色色五月婷| 噜噜噜噜婷婷五月天| 久久久久久久97| 亚洲三A| 开心婷婷五月天电影院| 婷婷五月天成人| 天天日天天插天天操| 久久天堂网| 啪啪丁香五月| 久久a热| www久久久久| 国产欧美va| 国产免费av在线| 婷婷综合在线| 五月天综合在线| 五月丁香免费看| 九九精品亚洲| 五月开心激情| 这里只有视频精品| 五月天丁香婷婷久久九| 99这里有精品| 欧美日本国产欧美日本韩国99| 色五月激情五月| 婷婷五月综合在线视频| 色色97丁香婷婷五月天| 色综合日日| 99热在线观看| 99视频在线观看网址| 性爱五月婷| 亚洲第一成人无码A片| 亚洲精品电影| 六月丁花香啪啪激情欧美| 激情网五月婷婷| 操人妻AV| 另类 在线| 色欲影香| 五月色 亚洲| 五月天大香蕉婷| 久久久久久久久人妻| 日本黄色在线观看| 色色操| 青青草原福利在线| 99九九久久| 综合激情在线| 婷婷五月色播网| www.丁香黄色五月天人与| www.99成人视频| 99资源人人| 婷婷综合在线| 五月婷婷之综合激情| 婷婷狠狠18禁久久| 丁香美女五月天婷婷| 成人av播放| 日韩婷婷五月| 97高清国语自产拍| 婷婷综合色图| 99久精品视频| av第一二区| 丁香六月情| 色婷婷精| 五月天亭亭俺也| www.9色色色| 99久久激情视频| 精品国婬伦V无码久久久| 男人综合网| 五月激情影院| 五月丁香色婷婷基地| 中国丰满熟女A片免费观| 亚洲激情无码久久| www.五月天| 激情五月六月婷婷综合啪啪| 99热主页日本| 久久丝丝热| 99热一区| 婷婷五月精品在线| 色综合久久88色综合天天| 久热免费| AV操逼网| 六月婷婷色综合| Av狠狠色丁香婷| 无码日本精品XXXXXXXXX| 久久aaa| 成人片黄网站色大片免费毛片| 久久综合丁香五月| 青青草青青草五月天| 久久66精品| 一区二区三区四区牛| 五月丁香六月欧美综合网站| 亚洲av成人在线| 激情六月综合| 99在线看片| 五月婷网| 六月丁香基地| 色在线免费观看| 久久五月丁香| 五月丁香A片| 香蕉AV福利精品导航| 夜夜操狠狠操天天操| 国产九月婷婷| 丁香五月综合婷婷| 色综合夜夜| 日本熟妇乱妇熟色A片蜜桃| 小视频一区| 99艹精品在线观看| 色婷婷六月| 日日噜狠狠色综合久久| 亚洲XX网| 久久五月丁香| 性天天中文网| 国产亚洲在线观看| 精品热九九| 久久亚洲无码| 婷婷丁香五月天综合网| 变态另类色图| 六月丁香婷| 婷婷五月天日日日干干干| 久9热插入| 色99日韩| 亚洲五月丁| 月色色综合婷婷网| 舔色婷婷| 激情综合色五月六月婷婷| 超碰免费电影| 天天插天天插| 色婷婷丁香五月天在线观看| 男人的天堂五月丁香| 乱岳熟女50岁| 天天综合网在线| 国产亚洲色婷婷99精品| 专区无日本视频高清8| 五月丁香六月婷婷网| 亚洲精品网站色视频| 级人人91| 99热精品中文字幕| 五月婷婷开心综合| 五月天婷婷一起草| 99在线爽| 97在线视频观看| 五月色丁香国产在线视频| 青青操成人福利| 五月丁香婷婷激情澎湃四射| 超碰女人天堂| 97搞在线| 夜夜 操无码| 久婷久婷激情肉| 婷婷五月天福利| 91无码色色| 色婷婷呢狠禁久禁| 97操碰在线视频| 天天日夜夜帕| 久热大香蕉| 玖玖午夜视频| 懂色av粉嫩AV蜜臀AV| 婷婷五月色情| 亚洲国产成人裸舞| 婷婷五月天在线看| 色99婷婷五月天| 色婷婷亚洲婷婷| 狠狠色噜噜狠狠狠狠综合| 淫视馆av三区| 欧美S码亚洲码精品M码| 中文字幕在线日亚州9| 日韩99色99| va婷婷在线| 婷婷99丁香| 无码免费人妻A片AAA毛片西瓜| 伊久久婷婷| 激情欧美丁香五月| 99热99精品在线观看| 婷婷五月亚洲综合| 久久久噜噜噜操操操| 欧美成人精品A片免费一区99| 婷婷 丁香 精品| 另类视频丁香五月| 五月婷婷五月丁香综合| 色色六月| 大香蕉综合视频在线| 五月婷婷六月色| 五月丁香六月| 婷五月天| 第五色婷婷| 开心五月婷婷99| 蜜乳.comcom| 亚洲色情久久| 精品久久99码| 99ri精品视频在线观看| 97在线刺激| 7777精品伊人久久久大香线蕉最新版| 久久视9精| 免费无码毛片一区二区A片 | 51精品国自产在线| 丁香五月婷婷啪啪| 九九久久综合| 五月丁香婷婷啪啪| 五月丁香无码| 玖玖无码中文| 伊人www22综合色| 婷婷丁香五月综合免费视频百花| 久久婷五月综合色| 欧美激情五月天婷婷| 综合丁香婷婷五月天| √天堂资源在线人妻熟女| 久久九九国产| 五月丁香色综合| 91无码高清| 色综合播放| 激情婷婷99| 丁香五月综合狠狠| 97caop| 五月丁香激情综合| 五月天婷婷免费| 久久婷网| 色哟哟www| 91大神操美女| 性欧美日本| 亚洲国产成人在线| 久99久在线| 91精品婷婷国产综合久久| 九九99久久| 五月婷婷性爱| 精品在线网站| www,久久久| www.狠狠| 色九亚洲| 成人 在线 日韩| 2017狠狠干| 五月天婷婷爱| 色噜噜狠狠色综合无码久久欧美| AV堂狠狠干| 996er在线观看| wuyuedingxiang99| 天天操夜夜夜拍拍拍| 日本婷婷网| 秋霞影音91人妻久久| 秋霞学生妹一二级| 丁香五月婷婷乱| 丁香婷婷基地| 丁香五月色网| 性爱五月婷婷| 日本欧美成人片AAAA| 五月激情影院| 婷婷五月天综合久久日美女| 婷婷五月中文字幕| www.久久爱| 色欲久久久久久综合网综合网| 人伦30P| 色色操| 欧美色色色色色色色色色色影视| 五月天婷婷永久免费视频| 日日插日日干| 免费观看大片视频 丁香婷婷 六月欧美| 激情综合国产| 激情深爱五月天| 综合久久十三| 高清a片基地| 六月婷婷啪啪| 熟女乱论网| 欧美成人无码一区二区三区| 性天天中文网| 91.com男女操| 97精品人人A片免费看| PORNY九色9l自拍视频成人| 9久精品视频| 天天激情综合| 久久大香蕉同僚| 激情综合五月色在线| 久久婷婷亚洲五月天| 草五月| 精品婷婷| 日本三级99人妇网站| 91色在线| 狠狠va| 色五月丁香婷婷在线观看| 婷婷久久综合| 成 人片 黄 色 大 片| 久久99大| 中文字幕在线观看视频www| 天天操天天操天天操| 久久久噜噜噜久久人妻| 超碰99在线观看| 九九无毛| 婷婷她六月天| 99免费在线视频| 99性视频| 激情五月狠狠喔| 色色色777| 五月天婷婷无码视频| 五月深爱网| 久久人操| 亚洲综合久| 91AV婷婷| 啪啪六月婷婷| 婷婷色偷拍| 99碰碰碰| 天堂呦 呦百度搜索-百度搜索| 天天操天天插| 丁香五月天啪啪| 五月色导航| 99热这里只有精品21| 欧美熟女99| 久七香蕉| 色综合香蕉视频| 97热91| 色婷在线视频| 青草视频在线蜜臀| 一本色道久久综合狠狠躁小说| 第四色色六月色综合| 天天日综合网射| 色综合播放| 99色在线观看视频| 色天天久婷婷| 大香蕉久久伊人婷婷五月丁香| 中文字幕婷婷| 26uuu丁香婷婷五月| 丁香香蕉婷婷| 91九色欧美| 国产成人精品一区二三区熟女在线| 色综合久久88| 婷婷五月色综合| 大香蕉婷婷| 五月婷婷色啪| 99热这里只有免费精品| 搡BBBB搡BBB搡五十| 亚洲av成人在线| 79色色色色| 久久免片| 另类精品视频在线观看| 情婷婷五月天| 久久久天堂国产精品女人| 日本综合久| 丁香激情五月天| 丁香五月熟女| 亚州色综合| 精品无码人妻一区| 九九色热| 天天爽人人综合免费7799| 综合五月天| 婷婷五月色花丁香社区| 这里只有免费的精品| 女人高潮内射99精品| 一起草无码| 亚洲日日日| 五月婷婷色在线| 五月天丁香六月综合| 久久久999精品| 色偷偷人人| 丁香五月开心七月| 秋霞av吧| 欧美三日本三级少妇三99| 丁香五月综合高清在线| 人妻肉射免费观看| 久久婷婷操| 久久婷婷色情7777网站| 丝袜大香蕉| 婷婷五月天激情小说网站| 色五月婷婷亚洲| 色色99| 五月婷婷久草| 五月婷婷激情性爱| 丁香月五月天婷婷久久| www.五月婷婷.com| 日本啪啪视频HD| 97自拍99| 五月综合激情| 丁香五月激情婷婷婷婷在线观看| 五月丁香婷婷激情四射迷人| 色婷婷综合影院| 5五月综合网亚洲| 久久久噜噜噜久久人妻| 五月婷婷六月丁香首页| 久色欧美| 99免费偷拍视频| 人妻丰满精品一区二区A片| www夜夜操wwwcon| 日本久久网| 九九九午夜视频| 99亚洲精品视频| 激情久久综合网| 熟妇无码乱子成人精品| 婷婷丁香久久五月综合| 国产精品美女久久久久AV超清| 日本在线免费中文com.| 在线观看免费观看在线9久| 侠女刀之记忆电影在线看免费| 91狠狠综合久久久久久| 五月婷婷六月丁香| 99热在线观看| 天天插夜夜爽| 五月天婷婷狂暴白浆| 久久婷婷五月综合伊人| 人人操人人添人人摸97| 久热免费视频| 五月天久久久| 五月天成人综合| 日韩激情婷婷五月天| 婷婷91视频| www.五月激情红色| 奇米四色五月天| 亚洲成人乱码av网站| 31色区视频免费看| 色五月大| 亚洲九区| 色色网站| 79色色色色| 互月天综合| 久久五月天激情视频| 狠狠五月激情在线| 97色色综合| 五月丁香六月综合情在线观看 | 91尤物九色在线| 婷婷五月综合网| 青青色com久久| 婷婷五月天成人动漫 | 天天日天天干天天爽| 日本五月视频| 伊人成人宗合网| 色综合爱综合| 人人色性网| 狠狠五月丁香色婷| 亚洲成色综合网站免费观看| 激情综合自拍五月婷婷色五月| 色色爽爽天天| 五月婷婷丁香| 亚洲精品久久久无码| 无码人妻少妇色欲AV一区二区| 成功精品影院| 成人在线视频网| 99爱这里只有精品免费视频| 天天日天天操心| 性做久久久久久久免费看| 国产成人精品123区免费视频| 国产精品第一国产精品| 久久综合五月天| 亚洲色模骚货| 伊人婷婷色| www.日日夜夜.com| 亭亭五月激情亚洲在线| 91色综合网| 日韩AV无码影片| 大香蕉久久婷婷| 人人澡玖玖一| 久久99网站| 99热精品在线| 超碰免费大香蕉| 人妻熟妇国产精品| 在线另类| 三日本无码| 99网址在线观看| 色综合五月天| 亚洲 25P| 婷婷国产欧美97| 92久久精品一区二区| 五月色综合| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 成人性生活免费观看。| 大香蕉婷婷五月天| A久网| 九九五月天| 色欲久久99精品久久久久久| 色情五月婷婷| 婷婷五月视频| 五月天激情综合在线| Caoporn公开| 色综合九九| 小泽玛利亚视频一区二区| 九九久久网| 久热这里只有精品在线观看| www.25五月婷婷| 五月丁香| 五月激情婷婷开心| 91性高潮久久久久久久久| 国产精品久久久久久久久久免费| 97成人丁香| 婷婷色丁香五月| 激情五月天在线观看婷婷| 亚洲欧美成人在线观看| 五月婷婷综合网| 91干视频| 噜噜精品| 久久综合婷婷| 色玖玖玖| 久久综合最新网址| 青青草原99热| 夜夜躁婷婷AV| 色九区| 成人在线视频男人的天堂4399| 日韩AV在线免费观看| 亚洲小视频免费观看| 无码橾| 人人操婷婷| 激情综合久久| 狠狠色综合网| 97五月天| http://www.sd-xiangsu.com/| www。88热在线视频免费观看| 激情综合九月| 亚洲在线视频321| 丁香五月婷婷操逼| 狠狠爱激情网| 五月婷婷开心五月| www.26uuu.com亚洲电影| 丁香婷最新动态| 激情图片久久| 超碰AV成人| 31色区视频免费看| 色人久久| 日熟女| 婷婷五月激情四月综合| 97色婷婷成人综合在线观看| 欧洲S级在线观看| 大香蕉视频婷| 综合狠久久| 青草视频在线播放| 丁香婷婷色五月激情综合| 四虎成人精品永久免费AV九九| 一级二级色大片| 婷婷五月天亚洲精品| 天天干狠狠操| 久久综合激情五月天| 激情综合无码| 色碰碰视频| 日韩不卡DvD| 玖玖婷婷五月| 成人国产网| 亚洲传媒在线观看| 青草视频在线播放| 影音先锋男人女人| 成人超碰网| 亚洲色综合| 亚洲欧美成人在线| 中文字幕在线日亚洲9| www久久99| 九九热在线精品视频| 五月天综合在线观看| 五月丁香色婷婷综合| 五月天激情开心网| 日本熟女内射| 五月婷久久在线| 婷婷玉月丁香五月在线视频| 天天艹夜夜爽| 五月激情婷婷开心五月| 夜夜人妻五月天| 五月激情五月丁香| 激情五月天在线观看色婷婷| 色色热99| 色综合xx| 99热只有国产在线精品| 五六月丁香激情视频| 午夜电影网VA内射| 97亚洲色 torrent magnet| 这里只有精品日韩精品| 婷婷五月天伦理| 久久久久人无码人妻| 色综合播放| 第四色婷婷色五月| 狠狠干总合| 婷婷激情5月| 日本五月天一页| 丁香五月六月综合欧美| 9九色首页| 在线日韩视频| 天天干天天日天天操| 99热综合| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 91色久| 九九色色| 丁香五月婷婷天激情| 牛牛热这里只有jingpin| 麻豆忘忧草午夜| 亚洲成人精品三区| 2020日日干| 免费AV播放| 青青.com| 亚洲噜色| 久热69| 玖玖色综合网| 色噜噜狠狠色综合日日| 激情婷婷五月丁香啪啪啪| 色五月天 丁香| 天天揷综合网| 婷婷丁香五月天操逼| 182TV亚洲| 色婷婷内射| 大地资源色婷婷视频在线| 婷婷五月天在线视频网站| 久久草大香蕉| 欧美激情五月天| 色五月综合在线| 97日韩无套内| 538任你爽视频不一样的| 久久综合九色综合97婷婷| 六月婷婷青青青视频| 色五月天激情| www.狠狠| 婷婷伊人五月| 99在线精品视频| 日日操日日撸| 丁香花大香蕉婷婷综合| 九热久| 婷五月丁香| www.狠狠艹| 深爱激情av| 亚洲乱码成人| 天天爽,夜夜爽| 激情五月天色网站| 中文字幕日产A片在线看| 无码人妻少妇色欲AV一区二区| 伦乱天堂| 人人摸人人干| 色婷婷久久视屏| 亚洲第一色网站| 激情六月天婷婷| 99热在线播放| 97在线视频 欧美| 久草A片| 丁香六月天之亚州热女| 大香蕉中文| 久久久性爱视频| 日韩成人电影AV| 久草九一| 噜噜噜噜婷婷五月天| 可以免费看AV网站| 色色色色综合| 狠狠色九月| 亚洲五月天色| 26uuu亚洲欧美| 91操碰| 亚洲精品婷婷| 97碰碰碰免费公开在线视频| 99热99操| 5月激情天| 色色色色综合| 欧美私人家庭影院| 免费看成人747474九号视频在线观看| 操B无码视频国语| 色性日本| 看片视频在线免费日产在线看| 超碰免费在线| 99热狠狠操| 亚洲天堂aaa| 高清一区二区三区日本久| 97资源欧美日韩大香蕉超碰一区| 丁香桃色网| 五月天色小说| 久er免费视频| 九九热亚洲中文在线观看免费| 九九婷婷五月天| 激情综合五月| 久久五月婷天天干| 婷婷激情四射| 五月丁香激情综合网| 乱岳熟女50岁| 91pornav在线| 天天五月情| 无码99| 国产午夜成人AV在线播放| 六月婷婷综合激情| 在线中文字幕av| 丁香五月最新网址| 激情综合五月丁香六月婷婷| 丁香婷婷大香蕉| 久久性爱视频| 天天天天操| 好激情在线综合网| 婷婷五月天激情在线观看| 九色视频91| 五月激情久久| 亚洲视频在线观看| 激情五月天小说网| 激情丁香社区| 国产免费一区二区三州老师F1F1| 狠狠色无码| 婷婷丁香人妻| 99热这里只有精品21| 婷婷激情肏屄网| 欧美丁香五月| www.婷婷久久五月天| 熟妇内谢69XXXXXA片| 狠狠色综合网| 99热这里有精品| 丁香五月在线观看| 91精品婷婷国产综合久久| 丁香五月第四色88| 丁香5月啪啪| 丁香 婷婷 激情 综合 五月| 9热超碰| 人操综合| 偷偷与邻居做爰完整视频| 久久久久久人妻| 九九人人精品| 久操大| 97丁香婷婷| 色五月综合| 欧美性生交A片免费看| 五月香蕉综合| 色色色色综合网| 大香蕉网站,大香蕉综合| 色七七色九九| 岛国在线观看91| 开心五月天私房婷婷| 91碰碰碰| 97操在线视频| 99九九久久| 久久久久久久久久8888| 九色视频91疯狂| 婷婷香蕉香| 色射婷婷五月天| 五月婷婷六月天| 99免费在线视频| 玖玖资源在线视频| www.99热| 色一情一乱一伦一区二区三区| 另类视频一区| 操91| 综合激情在线| 思思99热这里只有精品| 六月激情婷婷| 婷婷六月激情小说网| 99视频这里有精品| 99re免费精品视频| 久久六月天| 激情五月天婷婷久久久久久久久久久 | 99免费视频久久| 日韩九区| 色播五月丁香综合| 成人午夜无码视频| 五月天色色色| 天天日天天爽夜夜爽| 久久久久久久综合狠狠综合| 日本久久人| 婷婷五月色图| 激情五月丁香五月| 国产熟女大叫受不了| 五月丁香婷婷基地| 亚洲乱码日产精品BD| va中文资源在线观看| 色狠狠色噜噜AV天堂五区| 九九热在视频| 色5月婷婷| 五月 成人 婷婷| 日韩在线婷婷五月天综合| 97婷婷五月激情六月丁香伊人| 久久Xx| 婷婷五月天综合网| 五月丁香拍拍激情综合| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 五月婷婷六月丁香| 欧美日韩国产成人在线| 欧美婷婷日本| 丁香婷婷激情综合五月激情| 深爱激情久久| 五月婷婷激情五月| 激情丁香九九五月综合网| 99在线视频女女视频| 天天综合精品| 五月婷婷av| 精品夜夜澡人妻无码AV| 女性自慰系列第五页| 99色视频| 激情五婷精品网在线观看网址| 思思久久精品视频| 人人草人人视| 日韩成人电影AV| 91色五月在线观看| 最新AV在线观看| 欧美性二区| 亚洲狠狠干| 色婷视频| 色婷婷影视99| 婷婷丁香六月五月天| 丁香六月婷婷色XXXXX| 日本天天色| 91精品国产综合久久蜜芽解析速度| 啪啪一区| 日日夜夜狠狠操| 日本婷久久| 99精品视频播放| 婷婷六月激情| 中文字幕精品在线观看| 五月丁香爱婷婷深深| 99热国产在线| 热热久久精品视频| 天堂久久久久天堂网| 狠狠五月激情丁香六月| 99热国产| 狠狠干综合网| 91精品电影18T| 国产色色色色色| 久99热| 欧美va亚洲va在线播放| 99riAv1国产在线观看| 国产乱妇无乱码大黄AA片| 激情五月婷婷伊人| 成人免费在线电影| 五月天激情四射| 色婷婷激情| 六月丁香婷婷爱| 婷婷五月丁香高清无码| 色三级色三级| 九月av在线| 激情合网婷婷| 在线日韩视频| 99热无码| 99热香港| 激情 婷婷| 婷婷97狠狠成人网站| 五月丁香A片| 五月花婷婷| 来吧亚洲综合网| 国产99精品免费视频| 97干在线看| 一起草av| 女人天堂AV| 丁香五月亚洲婷婷| 99久久五月丁香野外| 日韩99视频| 婷婷五月丁香婷婷| 婷婷色色丁香| 成人精品一区日本无码网| 色丁香五月婷婷| 91porn一起草| 激情五月天天| 婷婷六月久久综合导航| 丁香五月六月综合激情| 538在线| 91碰超| ztEJj| 99视频内射三四| 丁香五月婷婷AV| 婷婷六月五月天综合| 丁香九月综合| 大香婷婷| 色天使久久综合| 五月婷婷丁香六月| 操丝袜视频影院导航| 天天综合五月| 影音先锋五月婷婷| 伊人五月天| 日本VA视频| 玖久精品视频9| 久久视频66| 色婷婷瘦婷婷日韩| 国产毛片操B| 婷婷五月婷婷| 五月丁香婷婷基地| 天天射天天操天天干| 激情五月综亚网| 综合色99| 狠狠看狠狠| 五月综合色播播丁香婷婷| 97在线观视频免费观看| 开心五月深爱五月婷| 九色99视频| 激情 婷婷 丁香五月天| 久热A片| 激情开心五月天婷婷基地丁香社区| 国产亚洲成AV人片在线观黄桃| 亚洲五月婷婷在线| 超碰9799| 激情综合色婷婷六月天| 99人妻碰碰碰久久久久视| 久久视频婷婷| 丁香五月综合激情啪啪| 大香蕉婷婷久久| 色婷婷激情小说网| 91人人妻人人操| 五月婷婷综合在线视频| 日日做A爰片久久毛片A片英语| 婷婷丁香五月婷婷| 九九热免费| 深爱激情四射| 99rewww| 婷婷在线播放av| 欧美在线视频免费播放| 亚洲AV成人一区二区在线观看| 丰满少妇猛烈A片免费看观看| 婷婷五月天AV| 婷婷色色网| 亚洲啪啪网| www.色婷婷.com| 天天做夜夜爽| 五月花免费视频| 激情六月天婷婷| 五月丁香花婷婷玉莉AV|