欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

從零構(gòu)建LLM評(píng)估框架:實(shí)戰(zhàn)Harness實(shí)現(xiàn)與多模型對(duì)比測(cè)試

從零構(gòu)建LLM評(píng)估框架:實(shí)戰(zhàn)Harness實(shí)現(xiàn)與多模型對(duì)比測(cè)試 1. 項(xiàng)目緣起從“黑盒”到“白盒”的探索最近在折騰大模型應(yīng)用開(kāi)發(fā)時(shí)我遇到了一個(gè)挺典型的問(wèn)題手頭有好幾個(gè)不同的LLM大語(yǔ)言模型服務(wù)比如OpenAI的GPT、Claude還有幾個(gè)開(kāi)源的模型。每次想測(cè)試一個(gè)新提示詞Prompt在不同模型上的效果或者對(duì)比不同模型對(duì)同一任務(wù)的響應(yīng)質(zhì)量都得手動(dòng)一個(gè)個(gè)去調(diào)用API然后把返回結(jié)果復(fù)制粘貼到文檔里再人工去比對(duì)。這個(gè)過(guò)程不僅繁瑣低效而且很難做到標(biāo)準(zhǔn)化評(píng)估比如響應(yīng)時(shí)間、輸出格式一致性、成本消耗這些關(guān)鍵指標(biāo)全靠感覺(jué)。這讓我想起了軟件測(cè)試?yán)锏摹皽y(cè)試工具鏈”。我們不會(huì)手動(dòng)去點(diǎn)每一個(gè)按鈕來(lái)測(cè)試功能而是會(huì)用像JUnit、Pytest這樣的框架來(lái)編寫自動(dòng)化測(cè)試用例。那么對(duì)于LLM應(yīng)用是不是也應(yīng)該有這樣一個(gè)“測(cè)試框架”呢這就是我接觸到“Harness”概念的起點(diǎn)。在AI工程領(lǐng)域Harness這個(gè)詞常被用來(lái)指代一套用于評(píng)估、測(cè)試和管理AI模型特別是LLM的框架或工具集。它的核心目標(biāo)是把模型評(píng)估這個(gè)事從隨意、手工的狀態(tài)變成系統(tǒng)化、自動(dòng)化、可重復(fù)的過(guò)程。網(wǎng)上確實(shí)有一些現(xiàn)成的工具比如著名的lm-evaluation-harness現(xiàn)在常被稱為EleutherAI LM Harness。它功能強(qiáng)大覆蓋了海量的評(píng)測(cè)任務(wù)。但我在實(shí)際想用的時(shí)候發(fā)現(xiàn)了一些痛點(diǎn)一是它通常更偏向于學(xué)術(shù)界的基準(zhǔn)測(cè)試對(duì)于我這種想快速驗(yàn)證業(yè)務(wù)場(chǎng)景提示詞效果的開(kāi)發(fā)者來(lái)說(shuō)有點(diǎn)“重”二是它的配置和擴(kuò)展對(duì)于不熟悉其代碼結(jié)構(gòu)的人來(lái)說(shuō)學(xué)習(xí)成本不低三也是最重要的我想徹底搞明白這背后的機(jī)制而不是當(dāng)一個(gè)“調(diào)包俠”。知其然更要知其所以然自己動(dòng)手實(shí)現(xiàn)一個(gè)輕量化的、貼合自身需求的Harness就成了一個(gè)很有吸引力的挑戰(zhàn)。所以這個(gè)項(xiàng)目的標(biāo)題“實(shí)戰(zhàn)復(fù)盤我是如何用代碼實(shí)現(xiàn) Harness 的”就是記錄我從零開(kāi)始用Python設(shè)計(jì)和編碼構(gòu)建一個(gè)屬于我自己的、輕量級(jí)LLM評(píng)估工具鏈的全過(guò)程。它不追求大而全而是聚焦于解決我實(shí)際開(kāi)發(fā)中的痛點(diǎn)自動(dòng)化、標(biāo)準(zhǔn)化地對(duì)比不同LLM API對(duì)同一組提示詞的響應(yīng)。2. 核心設(shè)計(jì)思路一個(gè)輕量評(píng)估框架的藍(lán)圖在開(kāi)始敲代碼之前我得先想清楚這個(gè)自研Harness到底要干什么以及怎么干。大方向是自動(dòng)化評(píng)估但具體落到設(shè)計(jì)上需要拆解出幾個(gè)核心模塊。2.1 需求定義與架構(gòu)選型我的核心需求很明確多模型支持能夠方便地接入不同的LLM服務(wù)提供商如OpenAI、Anthropic、Google等以及本地模型。任務(wù)定義能夠以結(jié)構(gòu)化的方式定義一組“評(píng)測(cè)任務(wù)”每個(gè)任務(wù)包含輸入提示詞Prompt和預(yù)期的評(píng)估標(biāo)準(zhǔn)不一定是標(biāo)準(zhǔn)答案可能是評(píng)分規(guī)則。自動(dòng)化執(zhí)行框架能自動(dòng)遍歷所有任務(wù)調(diào)用配置的模型執(zhí)行推理并收集結(jié)果。結(jié)果收集與比對(duì)將不同模型對(duì)同一任務(wù)的結(jié)果并排收集方便人工或自動(dòng)比對(duì)。需要記錄關(guān)鍵指標(biāo)如響應(yīng)內(nèi)容、耗時(shí)、Token使用量、成本如果API計(jì)費(fèi)等。可擴(kuò)展性易于添加新的模型接口、新的評(píng)估指標(biāo)或新的任務(wù)類型?;谶@些需求一個(gè)典型的分層架構(gòu)浮現(xiàn)在腦海中任務(wù)層 (Task Layer)負(fù)責(zé)定義和管理具體的評(píng)測(cè)任務(wù)。一個(gè)任務(wù)就是一個(gè)(prompt, evaluation_criteria)對(duì)。執(zhí)行層 (Execution Layer)核心引擎。負(fù)責(zé)加載任務(wù)調(diào)用配置好的模型執(zhí)行推理并處理可能的錯(cuò)誤如網(wǎng)絡(luò)超時(shí)、API限流。模型適配層 (Model Adapter Layer)這是實(shí)現(xiàn)多模型支持的關(guān)鍵。為每個(gè)支持的LLM服務(wù)編寫一個(gè)統(tǒng)一的“適配器”Adapter將框架內(nèi)部的通用請(qǐng)求格式轉(zhuǎn)換為特定API所需的格式并解析其返回結(jié)果。結(jié)果層 (Result Layer)定義標(biāo)準(zhǔn)化的結(jié)果數(shù)據(jù)結(jié)構(gòu)并負(fù)責(zé)將不同模型對(duì)同一任務(wù)的結(jié)果聚合、持久化如保存為JSON或CSV文件并生成易于閱讀的報(bào)告如Markdown表格。為什么不直接用langchain這類框架langchain的核心是構(gòu)建復(fù)雜的工作流鏈Chain其LLM類雖然也統(tǒng)一了接口但它的設(shè)計(jì)重心在于鏈?zhǔn)秸{(diào)用和記憶等高級(jí)功能對(duì)于純粹的、批量的、帶對(duì)比的模型評(píng)測(cè)場(chǎng)景封裝得不夠直接。自己實(shí)現(xiàn)可以更聚焦控制每一個(gè)細(xì)節(jié)比如精確計(jì)時(shí)、自定義重試邏輯、更靈活的結(jié)果收集。2.2 關(guān)鍵技術(shù)點(diǎn)與工具選型編程語(yǔ)言毫無(wú)疑問(wèn)是Python。它在AI和數(shù)據(jù)科學(xué)領(lǐng)域的生態(tài)是無(wú)與倫比的有豐富的HTTP客戶端、數(shù)據(jù)處理和序列化庫(kù)。異步 vs 同步考慮到可能會(huì)批量測(cè)試數(shù)十上百個(gè)提示詞使用異步IO可以大幅提升效率尤其是在網(wǎng)絡(luò)請(qǐng)求成為瓶頸時(shí)。Python的asyncio庫(kù)和aiohttp是首選。配置管理模型的API Key、Base URL等敏感信息不能硬編碼。使用pydantic配合.env文件或config.yaml來(lái)管理配置既安全又靈活。數(shù)據(jù)序列化任務(wù)定義和結(jié)果存儲(chǔ)使用JSON格式因?yàn)樗强缯Z(yǔ)言、人類可讀的并且Python的json模塊支持得很好。對(duì)于最終報(bào)告可以結(jié)合pandas將結(jié)果轉(zhuǎn)為DataFrame再輸出為CSV或Markdown。錯(cuò)誤處理與重試網(wǎng)絡(luò)請(qǐng)求不穩(wěn)定API有速率限制。必須實(shí)現(xiàn)健壯的錯(cuò)誤處理和指數(shù)退避的重試機(jī)制。tenacity庫(kù)是一個(gè)很好的選擇。這個(gè)設(shè)計(jì)藍(lán)圖看起來(lái)清晰了接下來(lái)就是把這些模塊用代碼搭建起來(lái)。3. 分步實(shí)現(xiàn)從零搭建代碼Harness我將按照自底向上的順序先實(shí)現(xiàn)最基礎(chǔ)的模型適配器再構(gòu)建執(zhí)行引擎最后定義任務(wù)和結(jié)果處理。3.1 第一步構(gòu)建統(tǒng)一的模型適配器接口適配器的目標(biāo)是對(duì)外提供統(tǒng)一的generate(prompt: str) - str方法對(duì)內(nèi)處理各自API的差異。首先定義一個(gè)抽象基類規(guī)定所有適配器必須實(shí)現(xiàn)的方法。# model_adapters/base.py import abc from typing import Optional, Dict, Any from pydantic import BaseModel class ModelResponse(BaseModel): 標(biāo)準(zhǔn)化的模型響應(yīng)結(jié)構(gòu) content: str # 模型返回的文本內(nèi)容 model_name: str # 模型標(biāo)識(shí)如 gpt-4 prompt_tokens: Optional[int] None completion_tokens: Optional[int] None total_tokens: Optional[int] None latency: Optional[float] None # 請(qǐng)求耗時(shí)單位秒 cost: Optional[float] None # 估算成本單位美元或其他貨幣 class BaseModelAdapter(abc.ABC): 模型適配器抽象基類 def __init__(self, model_name: str, **kwargs): self.model_name model_name # 可以在這里初始化客戶端如OpenAI客戶端 self.client self._initialize_client(**kwargs) abc.abstractmethod def _initialize_client(self, **kwargs): 初始化特定模型的客戶端 pass abc.abstractmethod async def generate_async(self, prompt: str, **generation_params) - ModelResponse: 異步生成文本的核心方法。 :param prompt: 輸入的提示詞 :param generation_params: 模型特定的生成參數(shù)溫度、top_p等 :return: 標(biāo)準(zhǔn)化的ModelResponse對(duì)象 pass # 也可以提供一個(gè)同步版本作為備選 def generate_sync(self, prompt: str, **kwargs) - ModelResponse: import asyncio return asyncio.run(self.generate_async(prompt, **kwargs))接下來(lái)實(shí)現(xiàn)一個(gè)具體的適配器比如OpenAI的。# model_adapters/openai_adapter.py import time from typing import Optional import openai from .base import BaseModelAdapter, ModelResponse class OpenAIModelAdapter(BaseModelAdapter): def _initialize_client(self, api_key: str, base_url: Optional[str] None, **kwargs): # 使用OpenAI官方庫(kù)或直接HTTP請(qǐng)求 client openai.AsyncOpenAI(api_keyapi_key, base_urlbase_url) return client async def generate_async(self, prompt: str, **generation_params) - ModelResponse: start_time time.time() try: # 設(shè)置默認(rèn)參數(shù)并允許通過(guò)kwargs覆蓋 params { model: self.model_name, messages: [{role: user, content: prompt}], temperature: 0.7, max_tokens: 1024, **generation_params # 用戶自定義參數(shù)優(yōu)先級(jí)最高 } response await self.client.chat.completions.create(**params) end_time time.time() latency end_time - start_time # 提取響應(yīng)內(nèi)容 content response.choices[0].message.content # 提取Usage信息 usage response.usage prompt_tokens usage.prompt_tokens if usage else None completion_tokens usage.completion_tokens if usage else None total_tokens usage.total_tokens if usage else None # 簡(jiǎn)單成本估算示例實(shí)際需根據(jù)官方定價(jià)計(jì)算 cost None if total_tokens: # 這里需要根據(jù)具體模型定價(jià)設(shè)置例如 gpt-4o 的輸入輸出價(jià)格 # 僅為示例非真實(shí)計(jì)算 cost total_tokens * 0.00001 return ModelResponse( contentcontent, model_nameself.model_name, prompt_tokensprompt_tokens, completion_tokenscompletion_tokens, total_tokenstotal_tokens, latencylatency, costcost ) except Exception as e: end_time time.time() # 返回一個(gè)包含錯(cuò)誤信息的響應(yīng)而不是直接拋出異常便于框架統(tǒng)一處理 return ModelResponse( contentf[ERROR] {str(e)}, model_nameself.model_name, latencyend_time - start_time )注意成本估算是非常粗略的實(shí)際應(yīng)用中需要根據(jù)每個(gè)模型的官方定價(jià)表如每1000個(gè)輸入/輸出Token的價(jià)格來(lái)實(shí)現(xiàn)精確計(jì)算邏輯并考慮是否區(qū)分輸入和輸出Token。這里僅作演示。同理可以創(chuàng)建AnthropicModelAdapter、GoogleGeminiAdapter等。對(duì)于通過(guò)ollama運(yùn)行的本地模型可以創(chuàng)建一個(gè)OllamaModelAdapter其_initialize_client可能只是一個(gè)配置了基礎(chǔ)URL的httpx.AsyncClient而generate_async方法則向http://localhost:11434/api/generate發(fā)送特定的POST請(qǐng)求。3.2 第二步定義任務(wù)與構(gòu)建執(zhí)行引擎任務(wù)定義很簡(jiǎn)單就是一個(gè)包含提示詞和元數(shù)據(jù)的對(duì)象。# tasks/task.py from pydantic import BaseModel from typing import Optional, Dict, Any class EvaluationTask(BaseModel): id: str # 任務(wù)唯一標(biāo)識(shí) prompt: str # 提示詞 metadata: Optional[Dict[str, Any]] None # 可附加額外信息如類別、預(yù)期答案片段等執(zhí)行引擎HarnessRunner是大腦。它負(fù)責(zé)加載所有任務(wù)初始化所有配置的模型適配器然后并發(fā)地執(zhí)行每個(gè)任務(wù)在所有模型上的推理。# harness/runner.py import asyncio from typing import List, Dict from tasks.task import EvaluationTask from model_adapters.base import BaseModelAdapter from result_collector import ResultCollector # 稍后實(shí)現(xiàn) class HarnessRunner: def __init__(self, model_adapters: Dict[str, BaseModelAdapter]): :param model_adapters: 字典key為模型顯示名value為初始化好的適配器實(shí)例 self.model_adapters model_adapters self.collector ResultCollector() async def run_task(self, task: EvaluationTask, model_name: str, adapter: BaseModelAdapter): 單個(gè)任務(wù)在單個(gè)模型上執(zhí)行 print(fRunning task {task.id} on model {model_name}...) response await adapter.generate_async(task.prompt) # 將結(jié)果存入收集器 self.collector.add_result(task_idtask.id, model_namemodel_name, responseresponse, task_metadatatask.metadata) async def run_all_tasks(self, tasks: List[EvaluationTask]): 并發(fā)執(zhí)行所有任務(wù)在所有模型上 semaphore asyncio.Semaphore(10) # 控制最大并發(fā)數(shù)避免被API限流 async def run_with_semaphore(task, model_name, adapter): async with semaphore: await self.run_task(task, model_name, adapter) # 創(chuàng)建所有協(xié)程任務(wù) coroutines [] for task in tasks: for model_name, adapter in self.model_adapters.items(): coroutines.append(run_with_semaphore(task, model_name, adapter)) # 并發(fā)執(zhí)行 await asyncio.gather(*coroutines, return_exceptionsTrue) # return_exceptions防止單個(gè)失敗導(dǎo)致整體崩潰 print(All tasks completed.) return self.collector這里的關(guān)鍵是使用了asyncio.Semaphore來(lái)控制最大并發(fā)量。無(wú)節(jié)制地并發(fā)調(diào)用API很容易觸發(fā)速率限制Rate Limit導(dǎo)致大量請(qǐng)求失敗。設(shè)置一個(gè)合理的信號(hào)量值比如5或10是保證穩(wěn)定運(yùn)行的重要技巧。3.3 第三步實(shí)現(xiàn)結(jié)果收集與報(bào)告生成結(jié)果收集器需要結(jié)構(gòu)化地存儲(chǔ)數(shù)據(jù)并支持導(dǎo)出。# result_collector.py from typing import List, Dict, Any from model_adapters.base import ModelResponse import pandas as pd import json class ResultCollector: def __init__(self): self.results: List[Dict[str, Any]] [] # 存儲(chǔ)所有結(jié)果的列表 def add_result(self, task_id: str, model_name: str, response: ModelResponse, task_metadata: Dict None): record { task_id: task_id, model: model_name, prompt: task_metadata.get(prompt_snippet, ) if task_metadata else , # 可存提示詞片段 response: response.content, latency: response.latency, total_tokens: response.total_tokens, cost: response.cost, error: [ERROR] in response.content # 簡(jiǎn)單錯(cuò)誤標(biāo)識(shí) } self.results.append(record) def to_dataframe(self) - pd.DataFrame: 將結(jié)果轉(zhuǎn)換為Pandas DataFrame便于分析 return pd.DataFrame(self.results) def save_to_json(self, filepath: str): with open(filepath, w, encodingutf-8) as f: json.dump(self.results, f, ensure_asciiFalse, indent2) def generate_report(self, output_path: str report.md): 生成一個(gè)簡(jiǎn)單的Markdown格式報(bào)告 df self.to_dataframe() if df.empty: report # Evaluation Report\n\nNo results collected. else: # 按任務(wù)ID分組橫向?qū)Ρ炔煌P偷捻憫?yīng) report_lines [# LLM Evaluation Harness Report\n] for task_id in df[task_id].unique(): report_lines.append(f\n## Task: {task_id}\n) task_df df[df[task_id] task_id] # 選擇需要展示的列 display_df task_df[[model, response, latency, total_tokens, cost]] report_lines.append(display_df.to_markdown(indexFalse)) report_lines.append(\n---) report \n.join(report_lines) with open(output_path, w, encodingutf-8) as f: f.write(report) print(fReport generated: {output_path})3.4 第四步組裝與運(yùn)行——一個(gè)完整的示例現(xiàn)在我們把所有部分組裝起來(lái)寫一個(gè)主程序。# main.py import asyncio import yaml from tasks.task import EvaluationTask from model_adapters.openai_adapter import OpenAIModelAdapter from model_adapters.anthropic_adapter import AnthropicModelAdapter # 假設(shè)已實(shí)現(xiàn) from harness.runner import HarnessRunner def load_config(config_path: str): with open(config_path, r) as f: return yaml.safe_load(f) def create_tasks(): 創(chuàng)建評(píng)測(cè)任務(wù)列表 tasks [ EvaluationTask( idtask_1_summarize, prompt請(qǐng)用一句話總結(jié)《三體》的核心矛盾。, metadata{category: summarization, language: zh} ), EvaluationTask( idtask_2_code, prompt用Python寫一個(gè)函數(shù)判斷一個(gè)字符串是否是回文。, metadata{category: code_generation} ), EvaluationTask( idtask_3_reasoning, prompt如果所有貓都怕水而我的寵物Socks是一只貓那么Socks怕水嗎請(qǐng)一步步推理。, metadata{category: logical_reasoning} ), ] return tasks async def main(): # 1. 加載配置API Keys等應(yīng)從環(huán)境變量或安全配置讀取 config load_config(config.yaml) # 2. 初始化模型適配器 model_adapters {} openai_config config[models][openai] model_adapters[gpt-4o] OpenAIModelAdapter( model_namegpt-4o, api_keyopenai_config[api_key] # base_url... 可配置 ) # 同理初始化Claude # model_adapters[claude-3-sonnet] AnthropicModelAdapter(...) # 3. 創(chuàng)建執(zhí)行器 runner HarnessRunner(model_adapters) # 4. 加載任務(wù) tasks create_tasks() # 5. 運(yùn)行所有任務(wù) collector await runner.run_all_tasks(tasks) # 6. 保存結(jié)果和生成報(bào)告 collector.save_to_json(results.json) collector.generate_report(evaluation_report.md) # 7. 快速查看統(tǒng)計(jì)信息 df collector.to_dataframe() print(\n 性能摘要 ) summary df.groupby(model).agg({ latency: mean, total_tokens: mean, cost: sum, error: sum }).round(3) print(summary) if __name__ __main__: asyncio.run(main())對(duì)應(yīng)的config.yaml文件示例# config.yaml models: openai: api_key: ${OPENAI_API_KEY} # 建議通過(guò)環(huán)境變量注入 # base_url: https://api.openai.com/v1 # 默認(rèn) anthropic: api_key: ${ANTHROPIC_API_KEY}運(yùn)行這個(gè)主程序你會(huì)得到一份詳細(xì)的Markdown報(bào)告里面并排列出了GPT-4和Claude如果配置了對(duì)三個(gè)不同任務(wù)的回答、耗時(shí)和Token消耗以及一個(gè)匯總的性能統(tǒng)計(jì)表。4. 進(jìn)階優(yōu)化與功能擴(kuò)展基礎(chǔ)框架跑通后就可以根據(jù)實(shí)際需求添加更多實(shí)用功能了。4.1 實(shí)現(xiàn)復(fù)雜的評(píng)估邏輯之前的評(píng)估主要靠人眼看報(bào)告。我們可以引入自動(dòng)評(píng)估。例如對(duì)于代碼生成任務(wù)可以寫一個(gè)函數(shù)來(lái)運(yùn)行生成的代碼并檢查其正確性。# evaluators/code_evaluator.py import subprocess import tempfile import os def evaluate_python_code(code_snippet: str, test_input: str, expected_output: str) - Dict[str, Any]: 評(píng)估Python代碼片段。 :param code_snippet: 模型生成的代碼字符串 :param test_input: 測(cè)試輸入以字符串形式在代碼中可能需要被讀取 :param expected_output: 期望輸出 :return: 包含通過(guò)與否、實(shí)際輸出、錯(cuò)誤信息的字典 result {passed: False, actual_output: None, error: None} # 將代碼片段包裝在一個(gè)可執(zhí)行的腳本中 full_code f import sys {code_snippet} # 假設(shè)生成的函數(shù)叫 is_palindrome if __name__ __main__: # 這里可以設(shè)計(jì)更復(fù)雜的測(cè)試 test_str \{test_input}\ output is_palindrome(test_str) print(str(output).lower()) # 統(tǒng)一輸出為小寫字符串便于比較 with tempfile.NamedTemporaryFile(modew, suffix.py, deleteFalse) as f: f.write(full_code) temp_file_path f.name try: # 執(zhí)行代碼 process subprocess.run( [sys.executable, temp_file_path], capture_outputTrue, textTrue, timeout5 # 設(shè)置超時(shí)防止死循環(huán) ) actual_output process.stdout.strip() result[actual_output] actual_output if process.returncode 0: # 簡(jiǎn)單比較輸出 result[passed] (actual_output expected_output.lower()) else: result[error] process.stderr except subprocess.TimeoutExpired: result[error] Execution timeout except Exception as e: result[error] str(e) finally: os.unlink(temp_file_path) # 清理臨時(shí)文件 return result然后可以在ResultCollector.add_result方法中根據(jù)任務(wù)元數(shù)據(jù)調(diào)用對(duì)應(yīng)的評(píng)估器并將評(píng)估結(jié)果如eval_passed: True也存入記錄中。4.2 集成更強(qiáng)大的結(jié)果分析與可視化pandas和matplotlib/seaborn是絕配。我們可以輕松地?cái)U(kuò)展報(bào)告生成功能。# result_collector.py (補(bǔ)充) import matplotlib.pyplot as plt import seaborn as sns class ResultCollector: # ... 之前的代碼 ... def generate_visual_report(self, output_dir: str ./reports): 生成可視化圖表 df self.to_dataframe() if df.empty: return os.makedirs(output_dir, exist_okTrue) # 1. 模型平均延遲對(duì)比柱狀圖 plt.figure(figsize(10, 6)) latency_df df.groupby(model)[latency].mean().sort_values() sns.barplot(xlatency_df.index, ylatency_df.values) plt.title(Average Latency per Model) plt.ylabel(Latency (seconds)) plt.xticks(rotation45) plt.tight_layout() plt.savefig(os.path.join(output_dir, avg_latency.png)) plt.close() # 2. 每個(gè)任務(wù)各模型的響應(yīng)對(duì)比分組柱狀圖例如對(duì)比Token消耗 # ... 更多圖表生成代碼 ...4.3 設(shè)計(jì)任務(wù)模板與批量導(dǎo)入手動(dòng)在代碼里寫EvaluationTask列表很麻煩??梢栽O(shè)計(jì)一個(gè)YAML或JSON格式的任務(wù)模板文件。# tasks.yaml tasks: - id: summarize_article_1 prompt: | 請(qǐng)總結(jié)以下文章的主要內(nèi)容 《文章內(nèi)容...》 category: summarization evaluation: type: contains_keywords keywords: [量子計(jì)算, 優(yōu)勢(shì), 挑戰(zhàn)] - id: translate_sentence_1 prompt: | 將以下英文句子翻譯成中文 The rapid advancement of artificial intelligence presents both unprecedented opportunities and significant ethical challenges. category: translation然后寫一個(gè)TaskLoader來(lái)讀取這個(gè)文件批量創(chuàng)建EvaluationTask對(duì)象。這樣非開(kāi)發(fā)人員比如產(chǎn)品經(jīng)理也能通過(guò)編輯YAML文件來(lái)設(shè)計(jì)評(píng)測(cè)集。5. 避坑指南與實(shí)戰(zhàn)心得在開(kāi)發(fā)和使用的過(guò)程中我踩過(guò)不少坑也積累了一些經(jīng)驗(yàn)。5.1 網(wǎng)絡(luò)與API穩(wěn)定性處理指數(shù)退避重試網(wǎng)絡(luò)抖動(dòng)和API臨時(shí)過(guò)載很常見(jiàn)。一定要為重試邏輯設(shè)置隨機(jī)延遲Jitter和最大重試次數(shù)。tenacity庫(kù)讓這一切變得簡(jiǎn)單。from tenacity import retry, stop_after_attempt, wait_exponential, retry_if_exception_type import openai retry( stopstop_after_attempt(3), waitwait_exponential(multiplier1, min4, max10), retryretry_if_exception_type((openai.APITimeoutError, openai.APIError)) ) async def robust_api_call(adapter, prompt): return await adapter.generate_async(prompt)設(shè)置合理的超時(shí)為每個(gè)API請(qǐng)求設(shè)置單獨(dú)的超時(shí)如30秒防止某個(gè)慢請(qǐng)求阻塞整個(gè)流程。asyncio.wait_for可以配合使用。監(jiān)控與熔斷如果某個(gè)模型API持續(xù)失敗可以考慮實(shí)現(xiàn)一個(gè)簡(jiǎn)單的熔斷器Circuit Breaker暫時(shí)跳過(guò)該模型避免浪費(fèi)時(shí)間和配額。5.2 成本控制與用量監(jiān)控精細(xì)化成本計(jì)算前面提到的成本估算是雛形。生產(chǎn)環(huán)境需要根據(jù)每個(gè)模型的官方定價(jià)精確計(jì)算輸入、輸出Token的費(fèi)用。最好將這部分邏輯抽象成一個(gè)CostCalculator類。設(shè)置預(yù)算上限在運(yùn)行大規(guī)模評(píng)測(cè)前根據(jù)任務(wù)數(shù)量和平均Token消耗預(yù)估總成本??梢栽贖arnessRunner中增加一個(gè)預(yù)算計(jì)數(shù)器當(dāng)消耗接近閾值時(shí)發(fā)出警告或停止執(zhí)行。使用日志記錄詳細(xì)記錄每個(gè)請(qǐng)求的Token使用情況和估算成本方便后續(xù)對(duì)賬和分析。5.3 結(jié)果評(píng)估的客觀性挑戰(zhàn)避免主觀偏見(jiàn)人工對(duì)比結(jié)果時(shí)很容易對(duì)某個(gè)模型有先入為主的偏好。嘗試設(shè)計(jì)更客觀的評(píng)估指標(biāo)代碼執(zhí)行像上面那樣自動(dòng)運(yùn)行檢查。文本相似度對(duì)于翻譯、摘要任務(wù)使用ROUGE、BLEU或BERTScore等指標(biāo)與參考答案對(duì)比。規(guī)則檢查對(duì)于要求特定格式如JSON、XML的輸出用解析器檢查其合法性。設(shè)計(jì)多樣化的測(cè)試集測(cè)試用例要覆蓋不同難度、不同領(lǐng)域、不同指令類型創(chuàng)意寫作、邏輯推理、信息提取等避免評(píng)估結(jié)果片面。記錄“軟指標(biāo)”除了正確性在報(bào)告中也可以加入人工標(biāo)注的“流暢度”、“創(chuàng)造性”、“遵循指令程度”等評(píng)分但這些需要多人標(biāo)注來(lái)減少偏差。5.4 性能優(yōu)化技巧異步并發(fā)控制Semaphore的值不是越大越好。需要根據(jù)API的速率限制如RPM, TPM來(lái)調(diào)整??梢韵仍O(shè)置一個(gè)保守值如5觀察請(qǐng)求成功率后再調(diào)整。連接池復(fù)用使用aiohttp.ClientSession或httpx.AsyncClient時(shí)確保在整個(gè)應(yīng)用生命周期內(nèi)復(fù)用同一個(gè)會(huì)話session以利用HTTP持久連接減少TCP握手開(kāi)銷。緩存機(jī)制對(duì)于確定性的提示詞不包含隨機(jī)數(shù)或動(dòng)態(tài)時(shí)間可以考慮將模型的響應(yīng)緩存起來(lái)例如使用diskcache或redis。這樣在多次運(yùn)行或調(diào)試時(shí)可以避免重復(fù)調(diào)用API節(jié)省成本和時(shí)間。自己動(dòng)手實(shí)現(xiàn)一個(gè)Harness的過(guò)程遠(yuǎn)比單純調(diào)用一個(gè)現(xiàn)成工具收獲大。它不僅讓你對(duì)LLM API的細(xì)節(jié)有了更深的掌控更重要的是它迫使你系統(tǒng)化地思考如何評(píng)估一個(gè)AI模型的好壞。這套框架現(xiàn)在已經(jīng)成為我日常工作流的一部分每當(dāng)有新的提示詞策略或需要選型新模型時(shí)跑一遍Harness讓數(shù)據(jù)說(shuō)話決策就變得清晰多了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷成人在线| 97在线99| 五月丁香婷在线| 久久伊人9| 99ri在线播放| 久久人人做人人妻人人玩精品va| 色噜噜狠噜噜视频| www.99热精品99.com| 色婷婷六月| 日日鲁鲁鲁夜夜爽爽狠狠视频97| HD久久精品视频| 丁香综合婷婷五月天| 九九久久五月天综合伊人| 久久这里只有精品热在99| 99在线观看视频蜜臀| 亚洲第一成人AV| 五月婷婷婷| 国产,欧美,学生妹,视频| 狠狠五月天激情| 五月婷婷色播| 色色婷婷综合| 亚洲成人免费电影| 99在线免费视频| 99色色网站| 久热99中文字幕| 玖玖爱综合网| 99无吗| 91超碰在线播放| 欧美激情综合五月色丁香| 婷婷,五月天,丁香,第一| 国产午夜成人AV在线播放| 五月天六月婷婷| 激情综合网五月在线播放| 97色婷婷| 激情综合网五月激情| 五月丁香猫咪久久婷婷综合视频激情四射网入口| 中文字幕丰满孑伦无码专区| 丁香五月天综合| 久久五月天综合| 久久er九九| 99热精品99| 1024欧美看片| 成人做爰黄A片免费看直播室男男| 另类激情中文| 色爱五月天| 色婷婷性爱| 超碰不卡在线| 亚洲啪啪网| 淫荡综合网| 天天色一道本综合婷婷| 丁香六月色香蕉视频| 丁香五月婷婷激情中文| 激情五月最新网址| 婷婷六月偷拍| 91丨九色丨国产打屁股网站| 久久久全国免费视频| 热久精品| 激情四射五月天| 天天综合色丁香| 亚洲亚洲永久无码777777| 99人这里只有精品| 四色 爱 婷婷 精品 亚洲 五月天| 久久婷婷网站| 亚洲精品国产成人AV在线| 91色欲综合| 欧美顶级少妇做爰HD| 99热国产这里只有精品| 裸睡玩奶头(高H)| www久久99| 91九色精品| 婷婷五月天激情五月天深爱五月天| 婷婷婷色五月| 五月婷婷丁香综合| 丁香五月中文字幕色播| 97操在线视频| 婷婷五月六月丁香| 69精品人人人人| 九九色影院| 九九99精品视频在线观看| 五区毛片七区毛片| 色色综合日韩| 国产色99| 婷婷无码视频| 欧美性生交XXXXX无码小说| 亚洲无码99| 日韩性视频| 色婷婷激情| av久热| 天天摸天天肏| 成人免费120分钟啪啪| 99国产精品久久久久久久久久久| 337p大胆噜噜噜噜噜91Av| 丁香五月婷久久| 久热免费视频| www.色色com| 五月伊人婷婷999| 97干在线观看| 婷婷丁香五月av| 777久久综合视频| 国产美女精品| 久久丝袜婷婷| 乱岳熟女50岁| 亚洲性爱电影| 99热这里只有精品69| 人人看人人要| 亚洲AV人人操| 久久婷婷免费| 影音先锋按摩| 色五月在线观看| 婷婷五月在线视频| 99久久九九视频| 欧美久久久久久久久中文字幕| 亚洲有码在线视频| 婷婷色5月天在线。| 天天操天天草天天草天天| 五月亚洲| 亚洲精品又粗又大又爽A片| 狠狠爱深色婷婷综合| 91亚洲视频| 久久亚洲天堂| 五月花婷婷丁香| 99热色精品| 五月婷婷六月丁香| 性热视频99精品| 丁香五月婷婷深五月| 热久久视频99| 色色五月天丁香婷婷| 婷婷激情综合| 亚洲99综合| 天天干天天爽天天爽| 国产精品色婷婷久久久精品| 影音先锋AV资源男人站| 日本丁香五月婷婷| 99热精品在线播放| 啪啪黄页网| 久久99热 这里有精品| 这里只有精品热| 99精品22| 开心色色五月天综合| 色九九丁香九月色九九色| 99久久综合| 亚洲色激情| 婷婷五月激情五月激情| 久久超级碰碰| 婷婷在线播放| 99热99| 色久婷婷网| 丁香五月电影| 伊人久久大香线蕉综合网站| 五月丁香黄色| 色综合99无码| 欧美日本一区二区三区| 日韩成人无码| 六月色狠狠色| 国产精品久久久久9999小说| 狠狠干在线视频| 久久综合爱| 色五月自偷自拍婷婷婷婷| 五六月婷婷| 天天综合精品| 九九大香蕉黄色影院| 久久机只有这里精品| 五月婷婷激情久久| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 色五月婷婷操逼| 亚洲色色精品| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 99re思思热久久| 色五月婷婷影视| 色五月视频,小说| 色爱五月天| 天堂资源欧日浪女在线播放| 超碰在线99| 婷婷五月综激情| 六月丁香婷婷网| 婷婷操逼| 五月天激情综合10p| 伊人五月婷婷| 激情小说婷婷小说| 色一情一乱一伦一区二区三区| 亚洲sesesese| 69超碰在线| WWW.桔色成人.COM入口| 亚洲AV影片在线观看| 九月激情综合婷婷| 色婷五月天| 久99久在线观看| 丁香成人五月天| 色五月中文字幕| 五月婷婷精品无在线| 天天操天天干天天射| 99精品久久久久久久婷婷久久| 天天色天天干天天插| 亚洲精品午夜国产va久久成人| 激情九月天天天天婷婷| 丁香六月啪啪| 国产午夜精品久久久观看| 五月婷婷六月丁香色| 婷婷丁香六月激情综合| 七月丁香婷婷 色色| 久8色色| 丁香操逼| 亚洲成人一区| 婷婷五月天影院| 久久99网| 91艹人| 99综合视频一体| 亚洲国产精品成人免费一区久久久在线观看AAAA| 久久新地址| 六月色日韩| 少妇人妻人伦A片| 伊人丁香婷婷东京| 五月婷婷大香蕉| 色一区高清| 黄色三级毛片中字| 99这里只有精品| 99热免| 怡红院 久久| 国产探花一片区| 色噜噜狠狠色综无码久久合欧美| 色丁香五月天婷婷| av婷婷丁香 六月| 任你爽在线视频| 久久视频婷婷| 五月丁香黄色| 五月婷丁香花| 五月丁香中文婷婷中文| wwwss在线观看| 伊人久久五月天| 嫩草国产| 成人精品免费在线观看| 婷婷狠狠操| 99精品久久久久久久婷婷久久| aaaa.黄| 五月天伊人| 亚洲五月天婷婷在线| 色婷婷888| 日本操B视频| caopeng97日韩| 中文字幕第四色.999| 狠狠操狠狠操| 色婷| 亚洲精品视频电影| 色综合久久88色综合中文字幕| 久久亚洲无码| 色9999综合久久| 色婷五月天| 99热精地址| 超碰免费人人| 99人人操| 大香蕉天堂色| 99色综合久久| 丁香五月婷婷基地| 成人AV中文字幕| 天天操天天日天天爱| 午夜AV网| 婷婷激情啪啪| 深爱五月日韩| 五月天六月色| 天天肏视频| 成人短视频在线免费观看| 亚洲五月天婷婷在线| 午夜婷婷五月天在线| 色情丁香五月天| 婷婷六月色丁香视频在线观看| 一区色色色色网| 丁香婷婷基地| 99久久a线观| 五月丁香婷婷久久| 成人丁香婷婷| 激情综合国产| 777影视理论片大全在线观看| 九久9精品| 91操碰| 激情五月激情综合网| 亚洲综合成人网| 成片免费观看视频大全| 激情五月天婷婷播播久久综合91| 久久综合五月| 五月婷婷黄色| 五月婷婷六月丁香激情| 色欲婷婷五月天| 大香蕉啪啪啪| 久久44| www一起操在线观看| 97色色综合| 91碰| 色五月天网| 小视频久久久aaa| 丁香婷婷六月| 99久久国产宗和精品1上映| 激情文学综合婷婷五月天丁香花| 天天操五月天| www.婷婷五月天啪啪| 五月天婷婷深深爱| 99在线视频播放| 天天爽天天爽| 9999热在线免费观看| 久久久人妻久久久| 深爱激清网| 青青草tp| 日本nghangse中文字幕| 亚洲精品网站色视频| 伊人六月丁香婷婷| 另类视频综合| 97碰操| 色激情综合| 色月视频| 成人精品在线| 91九色成人原创视频| 99久.| 99燥99日| 天天情天天狠天天透| AⅤ色区| 久久亚洲天堂| 久9热视频在线| 婷婷爱爱蜜臀天天操| 色亚洲视频| 五月婷婷亚洲色视频| 人人干av| 久久免费9| 色婷五月丁香久亚洲| 99成人| 刘玥av在线| 97色色色| www热久久yy9| 久久综合9| 深爱婷婷基地| 中文字幕在线免费观看视频| 丁香六月激情毛片| 99综合免费视频| 天天插天天插天天插天天插 | 超碰中文字幕在线| 九九婷婷五月天影视| 亚洲愉拍99热成人精品| 九久久精品视频99| 亚洲色频| 久久日九九| 丁香激情合作五月| 99网| 立川无码av| 五月天久久婷婷| 久久久日韩特色特黄AAAA| 亚洲婷婷开心五月| 午夜一区| 爱之国产色情综合| 91日本在线观看| 亚洲免费观看高清完整版AV线| 久热最新视频| 777影视理论片大全在线观看| 免费国产视频| 激情五月天啪啪| 九九精品丁香花| 五月情婷婷五月| 激情丁香五月天| 丁香五月综合无码趴趴| 婷婷五月综合基地| 色色综合视频| 另类图片五月天婷婷| 婷婷六月天激情影院| 图片区 小说区 区 亚洲五月| 天天做天天爱高潮片| 超碰人人色| 久久92| 日本激情91| 综合五月丁香六月婷婷| 久久久婷婷五月亚洲97号色| 丁香五月中文字幕| 五月天婷婷小说| 入口五月婷婷六月香| 亚洲色啪| 思思久ren热| 久久性视频| 噜综合| 国产乱妇无乱码大黄AA片| 亚洲激情丁香五月天色| 夜夜嗨一区二区三区直播内容 | 久久se 综合网 | 精品色| se.久久视频在线观看| 99热在线这里| 玖玖午夜视频| 九九热在线视频| 五月天色色激情综合| 丁香婷婷影院| 天天开心AV色综合婷婷五月天| 国产精品第一国产精品| 美女天天爽| 欧美色97| 蜜臀AV在线观看| 婷婷综合在线观看视频| 97操碰人人| 色婷婷888| 99热这里只有精品26| 国产人妻人伦精品一区二区| 日日日日操| 性爱五月婷婷| 玖玖热视频| 天堂爱爱| 综合亚洲AV| 婷婷丁香六月| 五月丁香久久久| 久久九⑨| 天天草天天爱| 亚洲无码九九九| 99人妻碰碰碰久久久久禁片| 99久久思思| 国产人人操| 久操无码| 五月六月激情| www。五月天激情| 91久久日日| 婷婷大乡焦噜噜| 激情综合综合综合| 成人永久免费视频在线观看| 色日本颜射| 久久玖玖综合| 色婷婷五月天小说网| 九九热99视频在线| 色五月丁香五| 亚洲精品色| 丁香五月六月婷婷殴美综合| 激情精品久久| 久久人人超| 五月四色激情| 久热99| 九九人人精品| 久久99性爱视频| 五月五婷婷网| 9精品在线| 免费碰碰视频久| 六月丁香五月天| 色婷婷五月天激情在线观看| 激情综合激情五月| 99ri国产| 91要啪| 婷婷狠狠综合网入口| 综合久久婷婷| 97超碰人人操| 狠狠色丁香婷婷久久综合| 五月天激情国产综合婷婷婷| 棕合影院色色| 99精品无码| 久久这里只有精品无码| 色综合色综合色综合高潮| 91久久久久久久久久| 亚洲乱码日产精品BD| 色五月色五天色情网| 丁香五月婷婷色| 好吊操这里只有精品| 九月丁香亭亭| 91热在线| AV中文在线| 99ri精品在线| 日本女人久久| www.五月天婷婷| 东京热人妻一区二区三区在线| 久草热8精品视频在线观看 | 色婷婷伦理| www.sd-xiangsu.cpm| 色婷五月天| 午夜成人综合| 婷婷九月激情| 91九色网| 激情小说五月丁香在线视频观看视频 | 久久99婷婷| www.婷婷.com| 六月激情婷婷| 亚洲五月天第一综合干| 丁香五月婷婷综合视频| 狠狠色狠狠鲁| 色婷婷五月综合网| 色色色图| 丁香五月手机在线| 九九热在线视频观看| 99综合网| 免费观看18视频网站| 可以看的av| 极品少妇高潮啪啪AV无码| 五月丁香网站| 色欧美一级| 婷婷丁香五月天综合在线日韩| 99精品丁香五月| 久久久91精品| 欧美精产国品一二三区| 伊人久久大香网| 丁香五月成人| 国外亚洲成AV人片在线观看| 丁香五月停停av| 久久一伦| 婷婷久久五月| 久久久五月激| 五月天开心婷婷激情网站| 综合色色婷婷| 五月丁香综合激情| 激情婷婷黄色五月| 99九九久久| 激情综合网五月天天| 精品成人无码A片观看香草视频| 这里只有精品免费视频在线观看| 九九99精品视频| 五月丁香偷拍| 97色综合视频| 中文激情网| 97色五月天| 欧美五月丁香| 激情五月天视频| 久cao香蕉影院| 精品人妻在线| 99re这里只有精品首页| 激情图片婷婷| 丁香五月婷婷免费视频| 欧美97色| 四色AVwww| 91人妻人人做人碰人人爽九色| 国产FREESEXVIDEOS性中国| 色婷婷AV在线观看| site:xiongshengzz.com| 五月婷婷六月基地| 色五月亚洲| 国产亚洲99久久精品熟| 青草网在线观看| 婷婷五月天成人综合网| 91精品综合久久久久久五月丁香| 可以免费看AV网站| 91久久久久久久| 五月丁香A∨在线| 欧洲激情网站| 久久艹99| 97操碰在线97| 激情网 五月天| 激情五月天网站| WWW.久久.COM| 丁香五月婷婷久久综合激情网| 色狠狠色狠狠| 天天天天操| 色丁香五月| 五月天激情美女久久| 久久久久9999| 吊色AV男人的天堂| 亚亚州久久高潮| 五月丁香啪啪| 激情婷婷丁香五月天小说| 激情小说在线视频| 丁香五月婷婷久久久| 妻久久久久| 久久色天堂| 国产精品岛国片在线观看免费| 婷婷瑟五月天久久综合| 亚洲天堂久久| 这里只有精品在线视频精品| 五月天久久婷婷| 月丁香久久久| 色五开心五月五月深深爱| 丁香九月婷婷| 精品久久婷婷五月天| 欧美99热| 色五月网址| 亚洲av网站在线观看| 日韩AV一区二区三区| 亚洲中文乱字字幕线在永久| 99热网精品| 激情六月丁香综合| 操一操干一干| site:xiongshengzz.com| 亚韩在线视频| 婷色五月天| 91丁香婷婷综合资源| 色爱五月天| 熟妇国产| 亚洲色网络| 天堂久久大香蕉| 人。妻久久| 丁香青青五月天| 91精品综合久久久久久五月丁香| 99人人干人人操| 天堂草在线看www| 九九热狼人| 丁香五月六月欧美| 激情碰碰碰| 亚州操人在线视频| 97色婷婷在线观看| VA色婷婷| 久久国产精品乱子伦_靑青草…| 久操热线| 五月激情偷拍婷婷| 丁香五月色激情| 天天插天天操| 久久精品五月天| 亚洲在线综合| 天天搞夜夜叫| 九九九激情网| 精品人妻一区二区三区四区不卡在| 婷婷五月精品中文| 久久停停超碰| 另类色视频| 97碰碰碰免费公开在线视频| 婷婷五月丁香伊人| www.99热视频| 成人.在线日韩| 丁香五月婷婷色| 婷婷丁香综合| 五月丁香久久| 日日噜狠狠色| 久操婷婷| 欧美三级韩国三级日本三斤| 日韩精品999| 婷婷色五月丁香六月欧美啪| 五月情婷婷五月| 操逼电影免费看| 丁香 亚洲 久久| 婷婷五月在线免费| 99热这里是精品| 五月丁香婷婷深深爱| 丁香色五月婷婷17C| 婷婷亚洲丁香五月| WWW.99热| 五月天怕怕| 婷婷六月丁香激情综合| 91精品久久久久久| 综合玖玖偷拍| 久久综合激情婷婷激情| 中国丰满熟女A片免费观| 操97免费超级视频| 热99AV网站| 国产肥白大熟妇BBBB视频| 婷婷激情视频| 淑女丝袜bi操逼123| 亚洲亚洲人成综合网络| 丁香婷最新动态| 五月婷婷五月天| 综合久久激情久久| 婷婷五月天天| 色婷婷六月| 原琪琪色影院| 色五月婷婷91| 99热超碰天堂网| 99er久久| 99视频免费播放| 密臀久久| 香蕉AV福利精品导航| 成人电影一区| 久久xxxx| 色色婷| 日韩精品999| 超碰伊人碰婷婷五月| 深夜A片| 色综合99无码| 国精产品一区二区三区| 男人大jjc女人免费视频| 婷婷色色综合激情| 欧美日本VA| 亚洲激情综合网| 97色在线观看视频| 亚洲AV网址| 99日精品视频| 久久9视频欧美| 2017狠狠干| 99在线免费视频| 婷婷五月天首页激情| 丁香成人综合| 风流少妇A片一区二区蜜桃| 国产婷婷综合在线免费视频| 综合色色色| 五月婷婷亚洲综合在线| 精品五月天| 免费日本aⅴ中文字幕 | 久久黄色免费视频| 99re6久热只有精品6在线直播| 中文字幕高清av| 色丁香影院| 色综合中文综合网| 丁香六月婷婷色XXXXX| 六月色 亚洲| 玖玖资源站中文| 色婷婷aV四虎| 射区导航| 亚洲丁香花色| 色播综合| 思思精品久久艹| 久月久在线视频| 另类视频丁香五月| 久艹伊| 五月丁香色婷婷久久| 大香蕉婷婷久久| 人人摸人人摸| 五月丁香久久久日婷婷久久婷婷日| 五月激情综合网| 色婷婷狠狠色| 热久久这里只有三级视频| 激情五月综合| 欧美六月| 久久国产一区二区三区| www.六月丁香看AV| 久久婷婷人人| 激情五月天社区| 人妻熟人中文字幕一区二区| 久久婷婷五月综合啪| 色婷综合| 夜夜夜夜夜操| 五月天婷婷色播| 久久全色| 99热日本| www国产亚洲色婷婷com| 97色婷婷在线观看| WWW.国产| 五月婷激情| 9l视频自拍九色9l视频自拍九色9l社区| 六月激情婷婷| 五月天影院| 色色色色色五月丁香| 五月亭亭开心网| 噜噜噜噜噜色| 久久久18| 亚洲123区高清入口| 五月丁香久久网| 很操日本7| 91婷婷在线观看| 日本猛少妇色XXXXX猛叫| 色综合色综合色综合| 日本美女上人| 久久涩视频| 久久作爱| 这里只有精彩亚洲视频推荐| 97操视频| 丁香伊人五月色婷婷五十路 | 日本色色网站| 久久五月丁香| 人人草人人看| 五月丁六月香av| 成人电影在线免费试看| 日本视频不卡123区| 久久精品五月天| 无码激情精品色婷婷久久久久| 色欲久久久久久综合网综合网| 国产人妻人伦精品一区二区| 久碰婷婷视频| 五月婷婷六月奇米网丁香| 亚洲激情av| 97久久精品视频| 99热都是精品| 天天操狠狠操| 99热日韩这里只有精品| 丁香五月另类色婷婷麻豆| 操大屄五月天视频| av中文在线| 99熟女啪啪视频| 伊人久久丁香婷婷六月五月综合| 五月丁香六月综合情在线观看| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 色爱99| 丁香五月停停av| 亚洲综合在线视频| 日韩AV免费| 成人.在线日韩| 天天色综网| 五月天色色婷婷| 五月激情久久综合网| 天天做天天爱天天爽在| 九九九日本熟女| 婷婷伊人75| 97碰 在线视频观看| 免费观看欧美成人AA片爱我多深| 91综合在线| 久久人人九九| 综合网五月| 五月天激情AV| 激情婷婷五月天在线观看| site:jszngf.com| 97操碰视频| 玖玖婷婷色五月| 色欲色香,www,com| 4399精品一区二区| 90色免费视频| 色婷婷中文| 久久9热好| 少妇AB又爽又紧无码网站| 99亚洲精品视频| 99热99极品观看| 99国产精品久久久久久久久久久 | 精品人妻午夜一区二区三区四区 | 狠狠色丁香99| 激情五月网站| 成人婷婷五月天| 日本婷婷丁香五月| 丁香激惜男女| 很很操很很操| 一个色的综合| 五月丁香色狠狠干大屄| 婷婷综合五月激情| 天天添天天摸天天天天做| 天天干狠狠操| 狠狠色激情综合| 无码婷婷五月天| 欧美va欧美va差| 天天做天天爱综合| 亚洲色五月婷婷| 色偷偷色婷婷| 成人版视频在线观看| 五月丁香亭亭| 免费黄色片子| 婷婷五月 丁香六月| 99国产小视频免费观看| 激情婷婷五月天伊人在线观看| 久久视频婷婷视频| 99在线国| 色色综合网络| 97色97干| 亭亭玉月丁香| 亚洲综合五月天| 人妻第九页| 婷婷五月天渟渟| 亚州激情九月| 久热中文字幕| 激情婷婷色小说| 激情五月亚洲综合网| 五月丁香六月婷婷网站| 激情五月天影院| 日本色道视频网站| 色五月av| 9色天堂| 大香蕉九九热| 久久婷婷丁香五月一二三| 日 日干 日日做| 色五月丁香网| 丁香五月激情啪| 精品久久99| 午夜伊人大香蕉| 91色吧网| 亚洲色婷婷色| 五月婷婷在线综合| 任你日视频| 成熟妇人A片免费看网站| 91久久久久| 色播婷婷五月天| 九九热这里都是精品6| 日韩在线婷婷五月天综合| 任你日视频| 五月花婷婷| 丁香五月婷婷色偷偷| 婷婷色色网| 日本va欧美va欧美| 激情综合五月天| 四川BBB搡BBB搡多人乱亂| 婷婷色一二三区波多野结衣| www.激情五月天。com| 天天干肏夜夜| 丁香六月啪啪啪| AA片在线观看视频在线播放| 在线看黄色| 99热国品免费| 丁香六月五月天| 99热在线观看免费精品| 微拍92| 99热9| 天天日天天爽夜夜爽| 99久久极情精品一区| 99热欲| 丁香五月婷婷激情网| 91jiuseshunv| 国产精品在线视频| 天天干一干| 九九综合影音先锋| 五月丁香激情四射综合| 色色色色色色色色色色色色色色,网站| 中文字幕视频在线播放| 超碰免费观看| 狠狠操之狠狠操| 丰满人妻一区二区三区| 91打屁股免费看| 成人看片网站| 天天搞天天爽| 一二线视频 另类| -91九色大屁股| 色综合激情| 五月天另类激情在线| 久婷自拍视频| 婷激情五月| 九九热最新| 99re在线精品视频| 玖玖资源站中文| 亚洲中字AV电影在线网站| www,久久久| 99热这里只有精品9| 极品人妻VIDEOSSS人妻| 《诡秘之主》在线观看| 人人草人人看| 日本大逼91| 9久热这里只有精品视频| 五月天成人综合| AV色婷婷| 欧美综合激情丁香五月六月婷| 精品亚洲国产成AV人片传媒| 99 热国产在| 人妻AV在线观看| 久久五月情| 婷婷五月天欧美图片在线播放电驴| 欧美日韩999| 五月开心婷婷极品激情| 五月丁香婷草| 婷婷六月综合基地| 成人AV在线网站| 欧美交换配乱吟粗大25P| 掩去也综合五月视频| 色99日韩| 丁香五月综合激情啪啪| 丁香五月六月综合欧美| 久久ri精品视频| 久久成人精品视频| 99ER热精品视频| 婷婷色播六月无码| 欧美韩国日本| 成人色五月天婷婷| 婷婷五月综合在线| 99自拍视频网站| 91热视频色网站| 久久综合色五月| 五月天播播中文字幕| 六月丁香天堂| 99爱在线精品视频免费观看| 色五月婷婷影视| 99视频在线观看网址| 噜噜在线| 婷婷色片| 色五月婷婷五月天| 99re在线视频| 婷婷五月电影| 久久激情五月| 九九99九九99九九99视频网| 丁香六月啪啪啪| 99无码视频| 丁香婷婷久久 | 天堂五月婷婷| 日韩 中文 欧美| 123草逼网| 久久激情五月婷婷| 久久五月婷| 六月天婷婷| 天天操天天爽天天爱| 99网| 五月激情婷婷开心| txt五月激情四射网综合俺也来了| 婷婷五月天色播| 99riAV国产精品视频| 操碰99| 五月天婷婷六月激情网| 99综合视频一体| 九九热这里只有国产精品| 91综合视频丁香| 综合婷婷都市激情| 成人在线网址| 99热在线播放| 99视频一区| 中文字幕五月久久婷婷| 日本啪啪天堂| 激情伊人五月婷婷久久| 欧美97超碰| 久青草影院| 色色色色综合网| 99久久综合| 色久婷婷网| 久久性都花花世界成人免费视频| 网站免费一站二站| 99激情网| 亚洲99热| 另类视频综合| 一區四區歐美日韓| 日本大逼91| 色婷另类| 五月丁香激情综合啪| 狠狠色综合图片| 日本激情91| 婷婷五月天综合蜜桃| 久久99网| 99热免| 伊人AV五月婷| 亚洲最大在线| 五月停性愛| 综合网啪啪| 森林影视大全,最好看的2019年视频 | 99热热热天天人人人超超碰| 香蕉婷婷色五月| 丁香六月婷婷开心| 婷婷伊人綜合| 欧美va视频| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 日本色色网站| 天天舔天天插天天干| 国产亚洲av片| 97干在线| 色色色在线观看| 国产成人VA| 丁香六月婷婷久久高清| 日本三级成人秘书精品片| 日本狠狠干| 少妇久久诱惑视频| 97人妻碰碰碰久久香蕉| 婷婷五月花.97| 六月丁香网| 色播五月丁香综合| 99无码超碰| 六月丁香婷婷爱| 亚洲综合五月天婷婷丁香| 久久这里只有精品网| www色色com| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 六月婷婷激情| 少妇人妻人伦A片| 乱抡小BB| 大香蕉久久伊人婷婷五月丁香| 激情婷婷网| 亚洲欧洲中文日韩久久AV乱码| 99热碰碰热| a久久免费视频| 成人小说 五月天 婷婷| www.超碰在线| 婷婷丁香综合在线| 五月网站| 夜夜操天天干| 久久婷婷五月天激情四射| 五月丁香六月花| 啪啪色激情五月天| 97人妻碰碰碰久久香蕉| 久久99草五月婷婷| 日韩成人无码| 91色久| 久久久久久9| 亚洲五月婷婷| 激情二色月| 色婷婷五月基地在线| 大香蕉九九| 五月丁香婷婷综合视频| 在线91日韩| 日本wwww在线| 久久AAAA片一区二区| AA丁香综合激情| 99自拍视频| 久久综合激情| 成人国产综合| 天天做天天爽| 久久九九热视频| 五月天成人小说网| 婷婷综合伊人丁香| 五月开心啪啪| 五月天婷婷网站| 人人爱干人人爱草| 丁香啪啪| 97碰在线| 综合激情sV| 成年视频免费观看| 99er热精品视频| 2022久久婷婷| 人人看人人97| 碰碰人人漕| 久久综合网桃花| 99热欧美精品| 五月婷婷日| 激情五月丁香六月综合AVXXXX| 五月丁香婷婷啪啪网| 超碰A V在线| 91久久精品视频| 大香蕉人人网| 六月婷婷最新网址| 七七色色综合| 丁香五月激情啪| 婷婷丁香花五月天| 五月丁香婷婷色| 亚洲无线视频| 狠狠综合| 亚洲 激情 中文| 精品视频99看在线视频| 色色综合日韩| 五月丁香六月婷精品视频| 婷婷色5月天在线。| 4399在线观看免费高清电视剧| 久久激情视频99| 久久综合干| 九九色中文| 五月在线婷色| 狠狠999| 亚洲综合婷婷| 欧美爆乳一区二区三区| 狠狠干无码| 天天色天天爱天天爱天天爱y| 色婷视频| 蜜臀99精品| 五月天激情久久| 激情综合网五月激情| 北京熟妇搡BBBB搡BBBB| 中文字幕不卡网站| 超碰京东热av男人的天堂| 天堂中文国产| 77799热| 五月丁香欧美| 婷婷五月天小说| 人人干人人看| 无码少妇高潮喷水A片免费| 思思99热| 天天色天天| 99热这里全都是精品| 日韩欧美成人片| 九九热最新地址| 爱超碰性| 久久精品系列| 亚洲另类在线观看| 严洲天天插| 精品成人在线观看| 午夜丁香| 99精彩视频在线观看| 久久精品婷婷| 午夜九九电影| 激情99| 九九色综合| 激情综合五月丁香六月婷婷| 97在线刺激| 婷婷九月激情网| 99亚州综合精品成人网| 久久激情网| 婷婷影院A成人| 影音先锋偷偷色男人站| 第2色五月婷| 五月丁香六月婷婷网| 狠狠色色| 丁香av网| 日木狠狠干| 战争与艾拉电影免费观看| 久久综合干| 丁香五月婷婷国产av| 超碰在线观看9| 亚洲第精品| 婷婷综合五月天| 亚洲妇女熟BBW| 成人av播放| 99热这里只有精品最新| 久操人妻| 色婷婷人人| 亚州激情网站无码| 思思久久精品| 538在线精品| 丁香六月婷婷久久高清| 五五月五月| 超碰人妻在线| .肏屄视频一区二区| 六月丁香啪啪| 五月丁香色婷婷| 超碰人妻公开在线| 色色五月天丁香| 五月丁香人妻| 丰满人妻妇伦又伦精品国产| 国内在线99视频| 激情亚洲色图片丁香综合| 91chinese在线| 亚洲九九99精品视频在线播放| 99色色| 亚洲第一第二网站| 7EzOBIhNq85TO| 精品久久99码| 色色无码| 九九在线91| 狠狠va| 色婷婷激情| 91人人网| 99无码黄色视频| www,av好吊操| 操人妻AV| 大香蕉AV在线| 久久与婷婷| 久久香蕉婷婷| 色亭亭五月天网扯| 五月丁香六月激情在线| 91婷婷丁香五月| 综合色色色| 秋霞av吧| 婷婷5月天av| 五月丁香婷婷啪啪| 97干免费视频| 极品另类| 丁香五月黄色| 五月六月激情| 久久久av久av久片一区二区| 激情婷婷五月亚洲| 玖玖资源在线视频| 日韩人妻无码精品| 99综合网| 欧美精品A片一区在线观看| 五月天影院| 久久丁香综合精品综合| 色五月六月婷婷| 色五月婷婷影院| 亚洲AV成人在线| 黄网在线免费观看| 丁香五月婷婷亚洲综合精品| 开心五月天激情网| 色噜噜五月丁香婷婷| 九热视频| 色婷婷色丁香色欲av| 亚洲欧州色情在线观看| 91在线视频观看午夜福利| 婷婷激情五月综合丁香社| 亚洲妇女熟BBW| 丁香婷婷人妻综合网| 国产偷人爽久久久久久老妇APP| 九九热这里只有精品556| 热99在线| 久婷婷五月激情| 天天干天天操天天拍| 日日噜人人人做人| 亚洲AV免费在线| 黄色99网| www.色五月| 天天做 天天爱| 久久精品日| 天堂综合久久| 色播播婷婷| 国产成人综合网| 婷婷五月天成人五月天| 五月激情影视| 五月丁香少妇A| 超碰熟女农村在线69| 99er精品视频| 婷婷丁香五月基地| 天天肏高清在线| 99热偷拍| 天天做天天爽| 人人爱天天摸摸天天爱| 丁香五月婷婷啪啪视频| 97 A I色色| 六月婷婷网| 99热国产这里只有精品| 超黄亚洲瑟瑟网站| 九九精品9| 色99网| www.91久久| 国产午夜精品AV一区二区麻豆| 午夜婷婷五月天在线| 久久月天堂| 超碰免费大香蕉| 亚洲激情无码久久| 影音先锋男人av资源站| 丁香五月香蕉| 久久色情| 操人妻AV| 五月开心深爱激情网| 超碰色婷婷| 精品亚洲国产成人A片在线鸭王 | 免费AV在线| 久久久久久xxxxx| 九九草草逼| 9999三级片| 包操45分钟网站| 99操网站| 午夜一区| 丁香五月天综合网| 停停综合色色| 五月婷婷丁香| 五月天色婷婷成人| 五月丁香啪啪啪综合网| 婷婷六月天| 五月丁香六月在线| 九九99在线观看视频| 亚洲国产精品VA在线看黑人| 五月天婷婷婷| 99久热在线精品| 亚洲视频码| 色婷婷丁香| 五月丁香激情婷婷|