欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

從Function Calling到技能編排:Agent工具調(diào)用管理實(shí)戰(zhàn)

從Function Calling到技能編排:Agent工具調(diào)用管理實(shí)戰(zhàn) 去年年底在重構(gòu)一個(gè)內(nèi)部 AI 助手時(shí)我反復(fù)遇到同一個(gè)尷尬模型本身很聰明但它總是用錯(cuò)工具、漏傳參數(shù)甚至在不需要查詢(xún)時(shí)硬去搜索。后來(lái)我把所有工具調(diào)用收攏成一套獨(dú)立管理機(jī)制也就是現(xiàn)在這個(gè)名為 agent-skills 的技能注冊(cè)與調(diào)度體系才真正把會(huì)對(duì)話的模型變成會(huì)辦事的模型。這篇文章不聊空理論只講我實(shí)際怎么設(shè)計(jì)、怎么落地以及中間踩過(guò)的那些坑給準(zhǔn)備做 Agent 技能編排、工具庫(kù)管理、Function Calling 架構(gòu)的同學(xué)一個(gè)可參考的樣本。1. 為什么我會(huì)專(zhuān)門(mén)抽一層技能庫(kù)來(lái)管 Agent 的能力1.1 之前把所有工具寫(xiě)死在代碼里問(wèn)題有多嚴(yán)重最初做 Agent 原型時(shí)我的寫(xiě)法非常直接在系統(tǒng)提示詞里把所有工具描述寫(xiě)進(jìn)去然后代碼里放一堆 if-else 或者 match-case把模型返回的函數(shù)名映射到實(shí)際函數(shù)。這個(gè)方案在只有兩三個(gè)工具時(shí)很好用但一旦超過(guò)十個(gè)麻煩就接踵而至。首先是提示詞越來(lái)越長(zhǎng)每次調(diào)用都要攜帶全部工具描述token 消耗大而且模型對(duì)后邊的工具描述記憶明顯減弱。其次是新增一個(gè)工具要改多處代碼——注冊(cè)、描述、參數(shù)校驗(yàn)、異常處理漏一處就出 Bug。第三是工具之間會(huì)有交叉依賴(lài)比如搜索和抓取網(wǎng)頁(yè)經(jīng)常要組合使用但在硬編碼結(jié)構(gòu)里這種組合邏輯完全沒(méi)法復(fù)用。最后逼我動(dòng)手重構(gòu)的導(dǎo)火索是一次演示翻車(chē)模型明明應(yīng)該調(diào)用查數(shù)據(jù)庫(kù)技能卻因?yàn)槊枋隼镉袀€(gè)模糊詞誤選了搜索文件。那時(shí)候我意識(shí)到不能把工具當(dāng)散兵游勇得把它們變成一個(gè)結(jié)構(gòu)化的技能資產(chǎn)來(lái)治理。1.2 agent-skills 的設(shè)計(jì)目標(biāo)我需要的不是一個(gè)框架而是一套輕量級(jí)的規(guī)范。當(dāng)時(shí)列了幾個(gè)硬性要求每個(gè)技能有獨(dú)立、自描述的結(jié)構(gòu)包含名稱(chēng)、用途、參數(shù)校驗(yàn)規(guī)則、執(zhí)行體。技能注冊(cè)是聲明式的新增技能不需要改動(dòng)調(diào)度主邏輯。模型看到的技能目錄是動(dòng)態(tài)生成的可以根據(jù)對(duì)話上下文裁剪而不是一股腦全塞進(jìn)去。技能之間可以有顯式的依賴(lài)關(guān)系允許一個(gè)技能內(nèi)部調(diào)用另一個(gè)技能。這套規(guī)范我起名叫 agent-skills后面就是按這個(gè)思路一步步實(shí)裝的。它的本質(zhì)是把模型可以調(diào)用什么這件事從代碼中解耦出來(lái)變成可注冊(cè)、可發(fā)現(xiàn)、可度量、可淘汰的資源。1.3 和 Function Calling、插件體系的關(guān)系提一句容易混淆的概念。OpenAI 的 Function Calling 是模型輸出結(jié)構(gòu)化調(diào)用指令的能力LangChain 的 Tool 則是將函數(shù)包裝成模型可用形式的抽象。agent-skills 更接近一個(gè)技能管理層它位于模型和實(shí)際工具函數(shù)之間負(fù)責(zé)技能的登記、索引、描述生成、參數(shù)校驗(yàn)和調(diào)用編排。你可以理解成 Function Calling 是通信協(xié)議Tool 是單個(gè)接口而 agent-skills 是管理這些接口的注冊(cè)中心和調(diào)度器。這樣分層之后換一個(gè)底層模型、換一種 Function Calling 實(shí)現(xiàn)技能定義不用大改上層業(yè)務(wù)代碼也不受影響。2. 技能的標(biāo)準(zhǔn)結(jié)構(gòu)一個(gè)可被模型讀懂和執(zhí)行的單元2.1 核心組成身份、Schema、執(zhí)行體在 agent-skills 里我定義了一個(gè)技能的最小單元它必須有四個(gè)部分name機(jī)器可讀的技能標(biāo)識(shí)用 snake_case比如 web_search。description給模型看的人類(lèi)可讀說(shuō)明必須包含什么時(shí)候用、什么時(shí)候不要用。parameters參數(shù)結(jié)構(gòu)定義使用 Pydantic 模型自動(dòng)生成 JSON Schema。execute異步執(zhí)行函數(shù)負(fù)責(zé)完成具體動(dòng)作并返回結(jié)構(gòu)化結(jié)果。這個(gè)結(jié)構(gòu)參考了 OpenAPI 規(guī)范和 Anthropic 的 tool use 格式但為敏捷開(kāi)發(fā)做了一些簡(jiǎn)化。下面是實(shí)際代碼里 Skill 類(lèi)的核心片段。from typing import Any, Callable, Optional, Type from pydantic import BaseModel, create_model import json class Skill: def __init__( self, name: str, description: str, params_model: Type[BaseModel], execute: Callable[..., Any], category: str general, version: str 1.0.0, ): self.name name self.description description self.params_model params_model self.execute execute self.category category self.version version property def param_schema(self) - dict: # 由 Pydantic 模型直接生成 JSON Schema供模型側(cè)使用 return self.params_model.model_json_schema() async def run(self, **kwargs) - Any: # 入口處統(tǒng)一做參數(shù)校驗(yàn)失敗時(shí)給出可讀錯(cuò)誤信息 validated self.params_model(**kwargs) return await self.execute(**validated.model_dump())這里最容易被忽略的一點(diǎn)是參數(shù)校驗(yàn)不能放到執(zhí)行函數(shù)內(nèi)部做必須在技能入口統(tǒng)一做。因?yàn)槟P头祷氐膮?shù)經(jīng)常有缺漏、類(lèi)型錯(cuò)誤如果每個(gè)技能里各寫(xiě)各的校驗(yàn)很快就會(huì)出現(xiàn)同一個(gè)錯(cuò)誤在不同技能上報(bào)錯(cuò)格式不一致的情況。統(tǒng)一在 run 里做校驗(yàn)后續(xù)做日志審計(jì)、指標(biāo)收集都會(huì)方便很多。2.2 為什么要用 Pydantic 自動(dòng)生成 Schema而不是手寫(xiě) JSON我見(jiàn)過(guò)不少項(xiàng)目直接在代碼里手寫(xiě) JSON Schema比如{ type: object, properties: { query: {type: string, description: 搜索關(guān)鍵詞} }, required: [query] }第一次寫(xiě)沒(méi)問(wèn)題但技能有二十個(gè)以后字段一改手寫(xiě)的 JSON 經(jīng)常忘記同步。模型拿到的 Schema 和實(shí)際執(zhí)行函數(shù)對(duì)不上后果就是調(diào)用時(shí)報(bào)參數(shù)錯(cuò)誤甚至是更隱蔽的漏參。用 Pydantic 之后參數(shù)模型就是唯一事實(shí)來(lái)源。比如我定義搜索技能from pydantic import BaseModel, Field class WebSearchParams(BaseModel): query: str Field(description搜索關(guān)鍵詞盡量精確) max_results: int Field(3, ge1, le10, description返回結(jié)果數(shù)量) region: str Field(zh-CN, description搜索區(qū)域) async def web_search(query: str, max_results: int, region: str) - list[dict]: # 實(shí)際調(diào)用搜索 API ...param_schema會(huì)直接生成{ properties: { query: {description: 搜索關(guān)鍵詞盡量精確, title: Query, type: string}, max_results: {default: 3, description: 返回結(jié)果數(shù)量, maximum: 10, minimum: 1, type: integer}, region: {default: zh-CN, description: 搜索區(qū)域, type: string} }, required: [query], title: WebSearchParams, type: object }這樣寫(xiě)的好處不僅是少改一份文件更重要的是Pydantic 的 Field 約束ge、le、枚舉等會(huì)直接變成模型可讀的約束信息模型生成參數(shù)時(shí)會(huì)更少越界。實(shí)測(cè)下來(lái)參數(shù)非法導(dǎo)致的重試次數(shù)下降了約 40%。2.3 技能描述怎么寫(xiě)模型才聽(tīng)得懂這是整個(gè)技能庫(kù)里最軟但也最關(guān)鍵的部分。我發(fā)現(xiàn)很多團(tuán)隊(duì)把描述寫(xiě)成一句話簡(jiǎn)介比如執(zhí)行搜索模型根本選不準(zhǔn)。我的經(jīng)驗(yàn)是描述里必須寫(xiě)清使用場(chǎng)景和不要使用的場(chǎng)景而且要給出正反例。下面是我常用的一段描述使用場(chǎng)景當(dāng)用戶需要查詢(xún)實(shí)時(shí)信息、獲取最新新聞、查找某個(gè)機(jī)構(gòu)/人物/產(chǎn)品的當(dāng)前情況時(shí)。 不要使用如果用戶只是問(wèn)概念解釋、歷史知識(shí)且不要求最新信息請(qǐng)使用 knowledge_base 技能。這段描述直接把搜索技能和知識(shí)庫(kù)技能區(qū)分開(kāi)了。模型對(duì)什么時(shí)候不要用特別敏感因?yàn)榇罅空`選都發(fā)生在兩個(gè)技能邊界模糊時(shí)。后面我還會(huì)專(zhuān)門(mén)講怎么靠邊界描述來(lái)提升技能選擇的準(zhǔn)確率。3. 注冊(cè)中心與動(dòng)態(tài)發(fā)現(xiàn)讓新建技能像插線板一樣簡(jiǎn)單3.1 基于裝飾器的注冊(cè)機(jī)制有了技能定義下一步是把它們收集到一個(gè)注冊(cè)中心里。我用的方式是在模塊加載時(shí)通過(guò)裝飾器自動(dòng)注冊(cè)。先定義全局注冊(cè)表from typing import Dict from dataclasses import dataclass, field class SkillRegistry: def __init__(self): self._skills: Dict[str, Skill] {} def register(self, skill: Skill) - Skill: if skill.name in self._skills: raise ValueError(fSkill {skill.name} already registered) self._skills[skill.name] skill return skill def get(self, name: str) - Skill: return self._skills[name] def all(self) - list[Skill]: return list(self._skills.values()) registry SkillRegistry() def skill_skill( description: str, category: str general, version: str 1.0.0, ): def wrapper(params_model: Type[BaseModel], execute: Callable): skill Skill( nameexecute.__name__, descriptiondescription, params_modelparams_model, executeexecute, categorycategory, versionversion, ) registry.register(skill) return skill return wrapper具體使用如下skill_skill( description獲取指定城市的當(dāng)前天氣適合用戶詢(xún)問(wèn)天氣、溫度、降雨概率時(shí)。, categoryutility, ) class GetWeatherParams(BaseModel): city: str Field(description城市中文名) async def get_weather(city: str) - dict: ...裝飾器把函數(shù)名作為技能名參數(shù)類(lèi)作為 Schema 定義整個(gè)流程非常輕。新加一個(gè)技能時(shí)只有模塊被 import 進(jìn)來(lái)技能就會(huì)自動(dòng)進(jìn)入注冊(cè)表主調(diào)度邏輯完全不用改。這基本就是插件架構(gòu)的低配版但已經(jīng)能很好地滿足需求。3.2 為什么不用硬編碼列表很多人會(huì)問(wèn)項(xiàng)目不大直接在列表里寫(xiě)清楚不就行了我早期也這么做過(guò)但吃了幾次虧之后決定改用注冊(cè)中心。一次是多人協(xié)作時(shí)同事加了一個(gè)技能但導(dǎo)入了模塊卻忘記在列表里追加結(jié)果模型看不到這個(gè)技能。還有一次是寫(xiě)測(cè)試時(shí)需要隔離技能集合硬編碼列表讓測(cè)試非常別扭。改用注冊(cè)中心后測(cè)試時(shí)可以輕松構(gòu)造一個(gè)臨時(shí) Registry 并注入 mock 技能再也不用擔(dān)心污染公共列表。另外自動(dòng)掃描還有利于做按需加載。大項(xiàng)目里技能可能涉及重依賴(lài)比如 PDF 解析技能要導(dǎo)入一堆庫(kù)。我可以在技能模塊里做懶加載注冊(cè)階段只存描述和 Schema執(zhí)行時(shí)才真正 import 重依賴(lài)庫(kù)。這樣應(yīng)用啟動(dòng)速度和內(nèi)存占用都更可控。3.3 技能間依賴(lài)從重復(fù)實(shí)現(xiàn)到組合調(diào)用技能庫(kù)管理工具多了以后第二個(gè)高頻需求就是技能復(fù)用。比如天氣查詢(xún)和穿衣建議兩個(gè)技能后者應(yīng)該組合前者而不是重新實(shí)現(xiàn)一遍天氣邏輯。我采用的方式是在 Skill 執(zhí)行體里可以直接拿到注冊(cè)表實(shí)例async def dressing_advice(city: str, temp: float) - str: weather_skill registry.get(get_weather) weather await weather_skill.run(citycity) ...這樣調(diào)度核心不關(guān)心技能內(nèi)部怎么組織下游技能只需要知道自己依賴(lài)哪個(gè)技能名。但我會(huì)在技能描述里顯式聲明依賴(lài)比如本技能需要依賴(lài) get_weather 獲取實(shí)時(shí)溫度這樣模型選擇組合型技能時(shí)會(huì)更清楚它背后的成本。不過(guò)這里也要提醒一句技能間調(diào)用會(huì)增加一次模型調(diào)度延遲如果可以盡量在同一個(gè)執(zhí)行函數(shù)內(nèi)并行調(diào)用多個(gè)基礎(chǔ)技能而不是串行依賴(lài)。我后面會(huì)專(zhuān)門(mén)講性能優(yōu)化。4. 讓模型知道用什么技能技能選擇提示詞的組裝策略4.1 全量技能都塞進(jìn) Prompt 是最蠢的做法一開(kāi)始我天真地把所有技能的名字、描述、參數(shù)規(guī)則全部塞進(jìn) system prompt。技能數(shù)量只有五個(gè)的時(shí)候還行到十五個(gè)以后模型的選擇準(zhǔn)確率明顯下降token 消耗也讓人肉疼。后來(lái)我統(tǒng)計(jì)了一次完整對(duì)話的平均 token 消耗系統(tǒng)提示詞里技能描述占了 60% 以上而實(shí)際單輪對(duì)話中模型通常只需要兩三個(gè)技能。也就是說(shuō)絕大部分信息是冗余的反而干擾了模型的注意力。4.2 兩級(jí)索引先選技能再補(bǔ)詳情我的解法是兩級(jí)索引策略。第一級(jí)維護(hù)一個(gè)精簡(jiǎn)的技能目錄每個(gè)技能只保留 name、一句話簡(jiǎn)介、使用場(chǎng)景、參數(shù)約束摘要。這個(gè)目錄盡量控制在模型能一屏看完的規(guī)模目標(biāo)是讓模型快速定位候選技能。第二級(jí)當(dāng)模型在回復(fù)中表示需要調(diào)用技能 X時(shí)調(diào)度器再把技能 X 的完整參數(shù) Schema、詳細(xì)描述、示例注入到下一輪上下文里讓模型嚴(yán)格按 Schema 生成參數(shù)。具體實(shí)現(xiàn)上我在 system prompt 里放這樣的模板可用技能目錄 {skills_catalog} 如果你需要完成某個(gè)操作請(qǐng)先輸出要使用的技能名稱(chēng)以及對(duì)應(yīng)的參數(shù) JSON。def build_skills_catalog(skills: list[Skill]) - str: lines [] for s in skills: lines.append( f- {s.name}: {s.description.split(使用場(chǎng)景)[0].strip()} ) return \n.join(lines) def build_skill_detail(skill: Skill) - str: return ( f技能名稱(chēng): {skill.name}\n f完整描述: {skill.description}\n f參數(shù)Schema: {json.dumps(skill.param_schema, ensure_asciiFalse, indent2)}\n f請(qǐng)嚴(yán)格按照Schema生成參數(shù)。 )調(diào)用流程簡(jiǎn)化為模型閱讀技能目錄判斷需要哪個(gè)技能。模型輸出技能名和參數(shù)摘要也可以直接輸出空參數(shù)。調(diào)度器找到技能詳情拼接到下一輪 prompt。模型輸出最終結(jié)構(gòu)化參數(shù)。調(diào)度器校驗(yàn)并執(zhí)行技能。這個(gè)流程讓模型每次只需要關(guān)注一小段信息準(zhǔn)確率提高非常明顯。代價(jià)是多了一輪交互但很多場(chǎng)景下值得。后續(xù)也可以對(duì)高頻技能做緩存根據(jù)對(duì)話主題直接預(yù)加載幾個(gè)可疑技能減少試探輪次。4.3 上下文裁剪根據(jù)對(duì)話狀態(tài)動(dòng)態(tài)過(guò)濾技能目錄除了兩級(jí)索引動(dòng)態(tài)裁剪也很關(guān)鍵。我的實(shí)現(xiàn)里維護(hù)了一個(gè)context_tags也就是從當(dāng)前對(duì)話中抽取的場(chǎng)景標(biāo)簽比如天氣新聞SQL。然后在構(gòu)建目錄時(shí)根據(jù)標(biāo)簽過(guò)濾掉明顯不相關(guān)的技能。比如用戶問(wèn)今天天氣就沒(méi)必要把數(shù)據(jù)庫(kù)備份這種運(yùn)維技能展示給模型。這個(gè)能力依賴(lài)于對(duì)用戶意圖的初步判斷不一定要很精確只要能把候選集從二十個(gè)降到五六個(gè)模型選擇的準(zhǔn)確度就能上一個(gè)臺(tái)階。我建議用一次快速的輕量分類(lèi)來(lái)打標(biāo)簽而不是讓主 Agent 又做意圖識(shí)別又做技能選擇否則每輪推理成本會(huì)高得離譜。5. 實(shí)測(cè)我把這套技術(shù)寫(xiě)作助手跑起來(lái)之后5.1 場(chǎng)景設(shè)定與技能清單為了驗(yàn)證 agent-skills 不是玩具我做了一個(gè)相對(duì)完整的示例項(xiàng)目一個(gè)技術(shù)寫(xiě)作助手。它需要完成資料搜索、網(wǎng)頁(yè)內(nèi)容摘要、代碼示例獲取、稿件素材整理、保存到 Notion 數(shù)據(jù)庫(kù)這些任務(wù)。當(dāng)時(shí)注冊(cè)的技能包括技能名用途依賴(lài)web_search搜索最新技術(shù)資料無(wú)fetch_webpage抓取網(wǎng)頁(yè)正文并轉(zhuǎn)成純文本無(wú)extract_code從網(wǎng)頁(yè)正文中提取代碼塊fetch_webpagegenerate_summary調(diào)用大模型對(duì)文本生成摘要無(wú)save_to_notion將整理好的內(nèi)容保存到數(shù)據(jù)庫(kù)無(wú)5.2 效果對(duì)比技能選擇準(zhǔn)確率從 68% 提到 94%我準(zhǔn)備了一百條真實(shí)用戶問(wèn)句作為測(cè)試集覆蓋搜索、摘要、保存、組合任務(wù)等類(lèi)型。在沒(méi)做技能庫(kù)管理、所有工具硬編碼、描述也很簡(jiǎn)陋的情況下模型正確選擇技能的比例只有 68%也就是三成的情況下選出了錯(cuò)誤的工具。經(jīng)過(guò)技能結(jié)構(gòu)標(biāo)準(zhǔn)化、兩級(jí)索引、動(dòng)態(tài)裁剪和描述優(yōu)化之后同樣的一百條樣本技能選擇準(zhǔn)確率提升到了 94%。誤選主要發(fā)生在fetch_webpage和extract_code之間的調(diào)用順序上后來(lái)靠強(qiáng)化示例才壓下去。token 消耗方面也有明顯改善。沒(méi)優(yōu)化前每輪對(duì)話平均在系統(tǒng)提示詞上花費(fèi)約 1800 token優(yōu)化后因?yàn)橹蛔⑷肽夸浐捅匾募寄茉斍槠骄档?700 token 左右整體對(duì)話成本下降了約 60%。當(dāng)然這個(gè)數(shù)據(jù)跟具體技能數(shù)量和模型上下文能力有關(guān)系但方向是通用的。5.3 一個(gè)讓我意外的發(fā)現(xiàn)技能執(zhí)行結(jié)果也需要結(jié)構(gòu)化回填做到一半我發(fā)現(xiàn)技能執(zhí)行完返回的數(shù)據(jù)不能原樣丟給模型。直接返回一長(zhǎng)串網(wǎng)頁(yè)全文不僅浪費(fèi) token而且模型難以提取重點(diǎn)。后來(lái)我給技能加了一層format_result讓每個(gè)技能返回結(jié)構(gòu)化且精煉的結(jié)果摘要。比如搜索技能返回的不是完整結(jié)果列表而是每個(gè)結(jié)果的標(biāo)題、URL、時(shí)間、一句話摘要。這個(gè)改動(dòng)讓后續(xù)對(duì)話的上下文變得更干凈模型在引用資料時(shí)也更準(zhǔn)確。我建議給每個(gè)技能準(zhǔn)備一個(gè)result_summary方法或者至少對(duì)返回內(nèi)容做一個(gè) token 上限截?cái)?。這比在主提示詞里寫(xiě)請(qǐng)忽略無(wú)關(guān)內(nèi)容有效得多。6. 最容易翻車(chē)的三個(gè)細(xì)節(jié)與我的完整排查鏈路6.1 現(xiàn)象模型總把參數(shù)類(lèi)型搞錯(cuò)第一次上線時(shí)模型調(diào)用web_search時(shí)把max_results傳成了字符串 5。Pydantic 其實(shí)會(huì)自動(dòng)做類(lèi)型轉(zhuǎn)換但如果是字符串 abc 就會(huì)直接報(bào)錯(cuò)。本來(lái)我以為校驗(yàn)失敗會(huì)讓模型自己重試但發(fā)現(xiàn)模型報(bào)錯(cuò)后經(jīng)常不知道該改成什么。排查鏈路我先在日志里打印每次技能執(zhí)行的validated參數(shù)確認(rèn)錯(cuò)誤來(lái)源是類(lèi)型強(qiáng)制轉(zhuǎn)換失敗。然后檢查 Pydantic 的model_config發(fā)現(xiàn)沒(méi)有禁止字符串強(qiáng)轉(zhuǎn)成數(shù)字。調(diào)整參數(shù)模型增加strictTrue讓多余的類(lèi)型強(qiáng)迫轉(zhuǎn)換直接失敗反而讓模型更容易理解錯(cuò)誤信息。再給校驗(yàn)錯(cuò)誤設(shè)計(jì)了一條清晰的錯(cuò)誤提示包括出錯(cuò)字段、期望類(lèi)型、傳入值要求模型重新生成參數(shù)。這個(gè)鏈路最值得夸的一點(diǎn)是Pydantic 的嚴(yán)格模式一開(kāi)始就要開(kāi)。如果不嚴(yán)格很多隱性類(lèi)型問(wèn)題會(huì)在技能執(zhí)行階段才炸出來(lái)而且定位成本更高。6.2 現(xiàn)象兩個(gè)技能描述太像模型反復(fù)選錯(cuò)有一次模型在查天氣和查空氣質(zhì)量之間反復(fù)橫跳幾乎沒(méi)什么規(guī)律。我把兩個(gè)技能的完整描述拿出來(lái)逐字對(duì)比發(fā)現(xiàn)都寫(xiě)著用于查詢(xún)城市的當(dāng)前環(huán)境信息。這顯然不行。排查鏈路我寫(xiě)了一個(gè)小腳本對(duì)所有技能描述做兩兩相似度計(jì)算用簡(jiǎn)單的關(guān)鍵詞重疊度發(fā)現(xiàn)get_weather和get_air_quality的相似度最高。為每個(gè)技能重寫(xiě)了描述補(bǔ)充明確的邊界場(chǎng)景。比如空氣質(zhì)量技能必須提到AQI、PM2.5、污染天氣技能必須提到溫度、濕度、降雨。在測(cè)試集上加了兩條容易混淆的用例比如今天出門(mén)要不要戴口罩應(yīng)該選空氣質(zhì)量今天會(huì)不會(huì)下雨應(yīng)該選天氣。之后我把技能描述相似度檢查加入了 CI。每次提交代碼時(shí)自動(dòng)跑一遍如果發(fā)現(xiàn)兩個(gè)技能描述相似度過(guò)高就報(bào)警提示人工review。這個(gè)工具對(duì)團(tuán)隊(duì)協(xié)作特別有用。6.3 現(xiàn)象上下文里技能太多模型瞎選有段時(shí)間我的技能數(shù)量增加到二十多個(gè)即便做了目錄精簡(jiǎn)模型還是時(shí)不時(shí)選出一個(gè)跟當(dāng)前話題八竿子打不著的技能。排查鏈路我記錄了模型每次選擇的 log發(fā)現(xiàn)誤選大多發(fā)生在對(duì)話較長(zhǎng)的中后段。進(jìn)一步檢查發(fā)現(xiàn)前置對(duì)話把模型注意力帶偏了尤其是之前提到過(guò)某個(gè)技能模型容易慣性選擇。于是在構(gòu)建新一輪技能目錄時(shí)我顯式把當(dāng)前用戶問(wèn)題放在目錄之前讓模型先明確問(wèn)題再看技能。另外把技能目錄按類(lèi)別折疊默認(rèn)只展示用戶當(dāng)前場(chǎng)景可能相關(guān)的類(lèi)別收起無(wú)關(guān)類(lèi)別。改完以后長(zhǎng)對(duì)話中的誤選率明顯下降。這說(shuō)明技能選擇不是純靠模型理解能力輸入的結(jié)構(gòu)化程度對(duì)結(jié)果影響很大。7. 技能治理版本、評(píng)估與淘汰機(jī)制技能庫(kù)不是一勞永逸的。加了新技能可能擠壓舊技能的選擇空間改了一個(gè)技能的描述可能影響其他技能的邊界。我后來(lái)慢慢把這套東西當(dāng)成一個(gè)需要治理的代碼庫(kù)來(lái)對(duì)待。7.1 每個(gè)技能都要有版本和負(fù)責(zé)人我在 Skill 結(jié)構(gòu)里增加了author和version字段。雖然聽(tīng)起來(lái)不重要但在多人協(xié)作時(shí)版本標(biāo)簽?zāi)茏屓罩纠锏恼{(diào)用記錄對(duì)應(yīng)到一個(gè)明確的代碼版本。線上出問(wèn)題后git blame加version能快速定位是誰(shuí)改過(guò)、什么時(shí)候改的。7.2 建立技能選擇回歸集我強(qiáng)烈建議項(xiàng)目里至少準(zhǔn)備 50 到 100 條標(biāo)注好的意圖 - 技能 - 參數(shù)測(cè)試用例。每次修改技能定義后跑一遍回歸集統(tǒng)計(jì)技能選擇準(zhǔn)確率和參數(shù)生成準(zhǔn)確率。再進(jìn)一步可以給每個(gè)技能單獨(dú)維護(hù)一條技能熱度和技能錯(cuò)誤率。如果一個(gè)技能連續(xù)半個(gè)月沒(méi)被調(diào)用或者調(diào)用后頻頻報(bào)錯(cuò)就該考慮下線或重寫(xiě)描述。我用一張簡(jiǎn)單的表來(lái)跟蹤技能名調(diào)用次數(shù)成功率平均耗時(shí)最后調(diào)用時(shí)間web_search32092%1.2s2025-01-10extract_code2578%3.1s2025-01-08定期看這張表你能發(fā)現(xiàn)很多之前沒(méi)注意的問(wèn)題。比如extract_code調(diào)用次數(shù)少但成功率低說(shuō)明描述可能太窄或者依賴(lài)的fetch_webpage返回內(nèi)容不理想。這種數(shù)據(jù)驅(qū)動(dòng)的迭代比憑感覺(jué)改 prompt 高效得多。7.3 技能描述也要做 A/B 測(cè)試最后分享一個(gè)偏門(mén)但有效的經(jīng)驗(yàn)對(duì)高爭(zhēng)議的技能描述做 A/B 測(cè)試。同一時(shí)間讓一半流量看到描述 A一半看到描述 B統(tǒng)計(jì)技能選擇的準(zhǔn)確率、任務(wù)完成率。我自己測(cè)試過(guò)web_search描述里加不加不要使用約束結(jié)果加了之后誤選率下降了 12%。看似一句話的差別在幾十個(gè)技能并存時(shí)影響會(huì)被放大。如果你沒(méi)有完整 A/B 平臺(tái)至少可以在本地跑一個(gè)小樣本對(duì)比把兩個(gè)描述各跑二十條測(cè)試用例看看哪個(gè)更穩(wěn)。說(shuō)實(shí)話做到這一步agent-skills 已經(jīng)不再是一個(gè)簡(jiǎn)單的工具管理腳本而是一套關(guān)于如何讓模型可靠地使用工具的方法論。它的價(jià)值不在于某個(gè)具體的技能實(shí)現(xiàn)而在于你能把每個(gè)能力變化都變成可測(cè)試、可回滾、可觀測(cè)的過(guò)程。對(duì)我個(gè)人而言這套機(jī)制最直接的好處是我再也不怕業(yè)務(wù)方突然提再加一個(gè)技能的需求了——無(wú)非是寫(xiě)一個(gè)函數(shù)、配一個(gè)描述、跑一遍回歸集的事。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
www.黄色片-久久成人国产精品在线播放-999AV | www.色婷婷| 99久久国产宗和精品1上映| 免费黄色视频网址| 国产精品色色| 久久99久久99精品免视看婷婷| 欧美99| 久久精彩综合视频| 欧美性做爰大片免费看办公室| 亚洲人成网亚洲欧洲无码久久| 九九碰九九爱97超碰| 色娸娸综合网| 精品久久艹| 五月丁香啪啪啪啪| 香蕉AV777XXX色综合一区| 蜘蛛女免费观看完整版高清电影| 岛国在线观看91| 亚洲综合婷婷五月| 视频1区2区| 丁香五月在线播放| 这里只有精品在线视频精品| 亚洲精品国产A久久久久久| 天天操九九插| 综合激情专区| 91色婷婷综合久久中文字幕二区| 国产丁香五月天婷婷| 超碰狠狠干99| 99色色视频| 91综合在线视频| 国产在线黄色| 操逼福利视频| 亚洲免费观看高清完整版AV线| 99九九精品视频| www.91色| 六月婷婷毛片| 亚洲成人高清在线| 成人免费120分钟啪啪| 国产伊人五月天| 精国产品一区二区三区A片| 色婷婷六月精品| 亚洲成人av在线观看| 五月丁香激情综合网| 九热精品| 婷婷97色| 人人爱国产| 婷婷开心青青草| 狠狠狠狠草草| 99色在线| 97色色色| 色婷婷狠狠色| 色色婷婷五月| 丁香五月天亚洲综合| 狼友超碰| 久久99成人性爱高清视频| 成人网页在线观看| 欧美S码亚洲码精品M码| 亚洲精品国产setv| 天天干天天爽天天爽| 天天综合网~91| 天天精品视频免费观看| 婷婷五月情天| 六月婷伊人| 神马久久五月天| 91人人爽狠狠狠| 91艹人| 青青999| 第五色婷婷| 婷婷激情啪啪| 丁香婷婷五月天亚洲| 先锋男人91资源| 婷婷色导航| se99视频| 亚洲99在线视频| 婷婷综合精品| 97伊人综合婷婷| 中文字幕成人| 97资源欧美日韩大香蕉超碰一区| 五月天成人在线播放丁香| 成人精品人妻| 激情五月深爱五月观看| 久久视9精| 99re6久热只有精品6在线直播| 色色日韩| 一婬一伦一区二区三区| 大香蕉婷婷| 99热10在线高清播放| 亚洲综合激情五月久久| 人人看人人要| 五月婷婷,六月激情| 丁香五月手机在线| 五月婷婷丁香综合| 成人小说 五月天 婷婷| 婷婷五月天影院| 九九热99精品| 五月 婷 久| 九九热欧美| 综合色综合| 99re在线观看| 婷婷综合精品| 六月婷婷激情图片| 九九色大香蕉| 97色色综合| 俺去也五月| 99热主页日本| 五月丁香六月婷婷久久肏| 人妻久久久久久久久| 丁香激情久久| 色5月婷婷色| 中文婷婷狠狠| 九久久九精品视频| 九月丁香婷婷基地| 97一区二区| 亚洲操B| 丁香婷婷影院| 日日夜夜狠狠操| 丁香婷婷激情五月色| 五月婷在线影院| 久久精品日| 日韩无码AV电影网站| 99爱这里只有精品免费视频| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 欧洲MV日韩MV国产| 国产毛片欧美毛片久久久| 丁香花五月天激情| 日本99热| www.色99| 国产精品久久久久久久久久 | 丁香六月婷婷综合欧美| 精品操逼一区二区| 五月婷婷爽爽爽| 丁香 亚洲 久久| 深爱开心激情| 五月综合丁香婷婷| 色播综合| 日本久久精品| 性做爰A片免费视频A片直播| 丁香六月婷婷基地| 色婷狠狠| 欧美日韩成人在线网站| 欧洲亚洲免费视频9| 99在线视频资源| 天天色99| 五月天丁香网| 就爱操www com| 丁香五月aV| 婷婷五月丁香在线观看| 丁香五月婷在线观看| 日本激情五月天‘| 色综合五月天| 亚洲99热| 色婷婷五月综合激情中文字幕| 美女久久婷婷| 99re青青草| 99爱爱网| 成人天天爽| 五月情综合| 182.t午在线观看| 色色色五月天婷婷| 午夜丁香综合婷婷| 色综合网上班开心婷婷久久| 五月天色婷婷视频| 五月婷婷婷| 色婷另类| 99精品视频网| 五月久久丁香| 色色免费网站| 丁香六月婷婷综合网| 婷婷五月天熟妇| 人人操人人爱丁香五月| 久久激情五月婷婷| 97精品人人A片免费看| 亚洲久久天堂| 午夜成人网站在线观看| 天天操天天爽天天爱| 777精品成人a v久久| www.丁香五月| 伊人五月天在线| 国产午夜精品一区二区三区嫩草| 岛国资源站| 黄色成人网站在线播放| 婷婷成人五月天一区| 欧美日韩AAA| 99噜噜| 激情五月小说婷婷| 中文字幕高清av| av在线免费网站| 91热久久| 99精品视频免费| 婷婷综合色| 另类在线| 日本操片| 五月丁香婷婷人体| 91五月天| 午夜九九九九九九| 亚洲人人96@| 天天情色综合网| 久久久久激情| 日本97人人| 丁香六月激情综合| 开心激情综合| AA片在线观看视频在线播放| 91碰碰视频| 很很干在线视频| www.操.com| 五月婷婷啪啪| 激情五月,激情综合网| 久久五月天婷婷视频| 天天摸人人摸| 婷婷五月天av| 色色色婷婷五月| 99热骚货| 超碰AV在线| 色级婷婷| 99久久99热这里只有精品| 99热99美国在线观看| 精品一二三区久久AAA片| 性色综合网| 狠色狠色狠狠色综合网| 少妇人妻人伦A片| 欧美性生交A片免费看| 五月婷婷丁香啪啪| 久热网在线视频| 99热亚洲| 久久久91| 久99在线视频| 久久婷婷超碰| 欧美激情五月天在线观看| 丁香婷婷成人网站| 亚洲成人网址在线观看| 婷婷激情鹿城五月天| 在线看片av| 五月天另类小说久久小说网| 丁香五月综合在线| 九九热在线精品视频| 激情久久久久久久久| 婷婷丁香成人网址| 91五月天| 婷婷五月天成人娱乐| 99成人| 成人五月丁香花| 五月丁香六月婷婷精品| 99热最新| 九九色婷婷Av| \\五月天婷婷激情| 亚洲无码色| 五月天堂婷婷| 久草狼人| 六月丁香停| 开心五月婷| 夜夜穞天天穞狠狠穞AV美女按摩| 66精品国产成人| 激情婷婷久久| 色色色区| 久久婷婷五月天激情四射| www.韩日视频| 久播影院免费观看电视剧大全最新网| 六月婷综合| 成人羞羞啪啪 全 视频| 成人精品在线| 99热这里只有精品手机在线观看| 色色丁香| 狠狠狠人妻| 色色热| 激情五月婷婷丁香六月| 欧美25p| 色五月天堂| 十一月婷婷激情四射| 欲求不满的人妻| 天天舔天天摸天天透| 婷婷97狠狠成人网站| 开心五月六月婷婷| 99操逼| 婷婷久久久久久久| 婷婷色色网| 日韩好吊操| 五月天婷婷综合| 操操碰| 色五月大香蕉| 丁香五月婷婷五月天在线| 饮料下药迷倒漂亮女同事强干| 在线看片av| 高清视频一区| 激情综合五月激情17| 99热综合| 婷婷六月激情丁香| 婷婷丁香综合色AV| 婷婷 伊人 久久| 日本在线99| 色婷婷五月在线| 欧美色九| 色无码| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 丁香五月激情综合| 丁香五月老师| 香蕉五月婷婷| 综合久久综合| 五月天六月天| 久在线综合69| 丁香伊人网| 99热综合在线| 丁香狠狠干| 国产色五月| 三级99热| 26UUU精品一区二区| 青青草搞屄视频网站| 日韩成人精品中文字幕电影| 狠狠做婷婷| 九九热re99re6在线精品| 九九视频这里只有精品| 天天综合五月| 91 九色 入口| 婷婷五月天堂| 国产精品色色色色| 欧美日韩国产伦精品日韩人妻一| 免费观看的av| 丁香婷婷色| 丁香婷婷九月| XX色综合| 超碰99热精品| 色天天久婷婷| av最新在线| 久久婷婷色色| 开心五月丁香婷婷| 99丁香五月婷| 97在线观视频免费观看| 丁香狠狠色婷婷| 天天草人人摸| 狠狠色综合网站久久久久| 9久久久久久久久久久| 欧美成性色| 伊人99久久| 天天综合色丁香| 欧韩性爱| 亚洲 欧洲 国产 伦综合| 伊人干综合| 99久久成人| 色婷婷激情四射视频| 国产色色视频| 99精彩视频| 少妇丁香婷婷| 男人的天堂97| 伊人丁香五月天丁香在线婷| 五月激情啪啪啪| 婷婷五月天人妻| 91久久色| 九月婷婷在线视频| 情欲综合网| 五月婷婷之综合激情在线| www色色色com| 99操逼| 99热免费网站| 亚洲婷婷基地| 久久久噜噜噜www成人| 可以直接看的av| 啪到高潮激情丁香五月| 梁铮版蜘蛛女在线观看| 黄色激情久久| 性爱五月婷| 久久婷婷精品| 大香蕉五月婷婷| 天天檫天天爽| 九九热视频网站| 丁香六月激情综合网| 四LLL少妇BBBB槡BBBB| 丁香久久综合| 五月天亚洲色| 日本成人噜噜| 婷婷五月天777| 婷婷欧美激情综合| 在线观看av网站| 色狠狠六月| 婷婷视频网| 碰碰操91| 九九美女视频| 日比视频91| 亚洲成人免费电影| 99久久性爱| 9热在线观看| 五月婷婷六月爱| 激情文学久久| 国产免费一区二区三区三州老师F1F1.CC| 五月婷婷色欲| 欧美大肥婆大肥BBBBB| 超碰超碰在线| 91丨九色丨丰满人妖| 五月天久久丁香| 色国产五月| 综合色播| 九九99精品| 91超级碰在线| 久久最新色| 九九成人电影婷婷| 亚洲AV影片在线观看| 久9视频| 在线看片av| 五月丁香综合激情| 99精品在线观看| 这里只有免费精品| 丁香五月色欲| 777色色色| 九九色热视频| 深爱激情六月| WWW,五月| 99热这里只有精品3| 婷婷五月丁香六月天亚洲综合| 激情五月丁香色婷婷| 99这里的视频都是精品| 99成人精品六| 婷婷丁香五月天小说| 99人这里只有精品| 丁香五月婷婷成人综合| 天天婷婷操| 五月香蕉综合| 五月婷婷,六月激情| 五月婷婷天天色| 成人久久天天x资源站| 天天做天天爱天天日| 色丁香五月天射婷婷爱婷婷| 丁香五月婷婷综合视频| WWW五月天| 激情五月天。| 热久91| 4399精品一区二区| 4399伦理午夜| 任你艹| 婷婷 久综合| 亚洲 精品 综合 精品| 色色99色色| 狠狠五月丁香色婷| 天天日日爽| 丁香五月激情综合网激情五月| 亚洲婷婷婷| 色区域网站视频| 婷婷色5月激情网| 色五月天成人| 丁香婷婷性爱| 国产人妻人伦精品一区二区| 色婷婷很很丝袜| 午夜福利成人AV91| 激情另类综合| 欧美天天干五月丁香| 操你av| 激情五月天伊人影院| 天天干天天干天天| 日日杆天天| 8090在线影视少妇| 美国天天操无码| 伊人网大香| 久草A片| 婷婷的激情五月| 婷婷在线午夜| 色五月婷婷老师| 亚洲午夜AV| 九九AV| yjzz亚洲国产| 人人操插| 天天干天天操天天干天天操天天干天天操| 激情五月婷婷六月丁香| 国产67194| 国产成人片| 天天色凹凸| 丁香五月激情网| 色婷婷五月网| 久久这里有精品视频| 色色色综合网| 怡红院院在线导航网 | 免费成片在线观看| 色综合com| 六月丁香婷婷色综合| www,99热| 97综合在线| 亚洲日本三级片| 亚洲AV网站在线观看| 99热日韩这里只有精品| 色欲一二三| 色吧五月婷婷| 亚洲综合色婷婷文学| 婷婷五月激情欧美| 精品九九视频| 久久久99久久| 亚洲成人网址在线观看| 99视频内射三四| 激情五月婷在线精品| 大香蕉啪啪| 久草婷婷网| 五月丁香成人| 久久色五月天综合网| 色五月婷婷久久| 国产性爱在线| WWW.天天日| 亚洲视频图片婷婷五月| 色吧综合网| 中文AⅤ大全| 国产激情久久| 综合啪啪| 七月丁香婷婷 色色| 91性高潮久久久久久久久| 99福利视频| 欧洲色色| 99热在线观看成人| 色色综合无码| 在线中文字幕av| 九九色插| 五月婷婷丁香五月亚洲色| 另类图片五月天| 久久精品国产AV一区二区三区 | 伊九九三级区| 国产精品国产| 99超级超级超级碰| 久久曰9| 日夜操B| 思思热精品在线| 中国女人做爰A片| 98永久精品| 午夜 外网 精品 在线| 日韩久久色| 亚洲视频在线网| 婷婷五月天少妇| 超碰人人色| 日韩成人电影Av| 久久99这里只有精品视频| 五月丁香激情综合网| 婷婷伊人五月丁香天堂网| 婷婷深爱色五月| 色色色热热热| 午夜丁香婷婷| 亚洲美女网Va| 日本nghangse中文字幕| 天天成人综合视频| 第四色在线观看| 天天操夜夜爽天天操| www.夜夜操| 国产精品24r| 五月开心婷婷| 国产精产国品一二三在观看| 五月激情精品视频| 99久久婷婷国产综合精品草原| 久久伊人婷婷| 亚洲综合久| 色爽九九| 六月色播| 色色五月天丁香| 日本高清综合网五月丁香| A片试看120分钟做受图片| 玖玖伦理电影| 专区无日本视频高清8| 五月丁香六月色婷婷综合五月天| 99性视频| 久久这里只有精品5| 人人操91| 中文字幕在线观看视频www| 欧美 日韩 成人在线| 狠狠色大香蕉| 伊人色综合影院视频| 婷婷大乡焦噜噜| www.yw色| 成人AV在线网站| www.99婷婷| 亚洲成人在线免费| 欧美婷婷六月丁香综合色| 99热在线精品观看| 久婷婷五月激情| 久久香蕉网| 久热91| 婷婷五月激情五月激情| 亚洲五月天综合色| 丰满少妇乱A片无码| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 五月婷婷69| 激情综合文学| 婷婷社区五月天| 久久婷婷东京热| 国产激情在线| 丁香 久久| 久久曰曰| 丁香五月婷婷六月婷| av在线播放网站| 伊人久久丁香婷婷六月五月综合| 操97在线观看| 日本九九视频| 五月婷婷在线丁香| 搡BBBB搡BBB搡五十| 99热久草| 久久WW| 爱射综合| 激情五月婷婷色综合| 久久激情中文| 99视频在线观看网址| 狠狠色狠狠| 久久视屏这里只有久久| 亚洲精品一区无码A片| 色丁香久久久| 在线观看免费狠狠色丁香香综合| www夜夜| 亚洲XX日本| 色级婷婷| 五月天开心网| 99精品视频免费| 99热这里是精品| 琪琪色五月婷婷老师| 丁香五月六月婷婷综合| 国产色色网站网址| 欧美婷婷色五月网| 色哟哟精品| 99久久国产宗和精品1上映| 久久婷婷五月天丁香| 久久综合五月天| WWW.天天日| 精品九九九久| 九九色99| WWW.99热| 婷婷五月天丁香花| 色婷婷很很十八禁| 欧美熟女99| 婷婷六月插屄激情| 亚洲成人另类| 一级片操逼视频| 激情爱爱网站| 国产高清RV综合aVa| www、丁香五月天| 99精品成人无码A片观看金桔| 九九热精品6| 色色色欧美| 九日日夜夜69| 欧美性爱五月天| 婷婷开心五月| 精品婷婷五| 久久女人九九| 99在线精品免费视频| 婷婷五月视屏| 99在线观看视频蜜臀| 婷婷色五月天色| 香蕉久久国产AV一区二区| 天天草比天天爽| 国产成人片| 久久999久久999久久999久久| 国产Va视频| 久久WW| 人操综合| 伊人在线视频| www.久热| 一起草Av| 丁香婷婷情色五月天| A A色色| 婷婷色五月婷婷姐妹| 国产亚洲99久久| 久久99大| 丁香久久在线| 亚洲五月婷婷| 亚洲综合色色色| 五月丁香在线| 丁香五月激情在线| 亚洲色婷婷视频| 人人干天天操五月丁香| 久久久妻人人人| 欧美色色色色色色色| 91天堂网综合| 日本人妻操| 五月天婷婷色综合| 色啪久| 成人午夜天| 激情五月丁香五月| 九九这里都是精品| 午夜丁香| 九月婷婷久久久| 五月婷婷与六月丁香图片激情| 婷婷九月丁香| 五月婷婷亚洲色视频| 久久婷婷综合五月趴| 婷婷五月激情在线| 色婷婷九月综合| 五月色丁香国产在线视频| 99久久黄色顶级视频| 九九热这里只有精品23| 婷婷五月在线免费| 五月久久五月激情| 蜜乳9188| 久久国产性爱A V| 六月五月丁香五月欧美| 亚洲国产精品成人免费一区久久久在线观看AAAA| 五月婷婷偷拍| 色九网| 色综合婷婷| 五月丁香综合啪啪| 日日天天天| 天天弄天天爽| 欧美精品久久久久久视频观看| 国产五月丁香在线| 桃色激情婷婷伊人网| 激情五月无码| 久久九九大香蕉电院| 久久人妻在线| 久久这里都是精品| 午夜婷婷久久| 婷婷丁香久久| 亚洲色综合| 国产成人精品一区二三区熟女在线| 极品少妇XXXX精品少妇偷拍| 日本婷婷激情四射中文字幕在线观看| 碰久久精品w| 嫩草国产| 9久久精品| 婷婷欧美激情综合| 99亚洲大片精品永久在线观看| 婷婷五月天视频在线观看| 亚洲人人操BD| 五月天成人免费视频| 五月婷婷与六月丁香图片激情| 99A片| 99精品国产在热久久| 五月婷婷黄色网址| 97干在线看| 五月色婷| 色播五月丁香综合| 五月丁香免费看| 色色五月天网站| 天天爽天天日| 久久视9精| 啪色综合| 久久亚洲网| 色综合色综合网| 婷婷五月天天爽| 色欲色香综合网| 亚洲精品一区无码A片| 潮汕成人AV片在线| 亚洲在线操| 狠色狠色狠色狠色狠色网| 午夜婷婷五月天| 人妻激情在线| 538在线精品| 丁香六月婷婷色XXXXX| 久久久www| 开心五月婷婷激情网| 五月丁香婷婷爱| AV大香蕉| 午夜日日| 激情综合五月色在线| 噜噜网免费视频| 色噜噜狠狠一区二区三区| 欧美情色电影一区二区| 丁香五婷婷| 国产精品五月丁香| 亚洲激情另类| 亚洲精品久久久久久久久久吃药 | 婷婷色操| 国产99久久久国产精品免费看 | 色播播婷婷| 丁香六月av| 五月婷婷啪啪| 国产精产国品一二三在观看| 中日韩狠狠色| 69婷婷丁香午夜| 日本九九视频| 色一色综合| 天天久综合网永久入口17v| 开心五月婷婷激情网| 女婷久久| 7777久久亚洲中文字幕| 超碰v| 日日操夜夜操无码免费| 五五月五月| 亚洲综合五月天婷婷丁香| 影音先锋日本三级资源| 久久婷婷色| 婷婷色正月| 色婷婷电影| 久久99网址| 五月亭亭综合五码| 欧美性爱五月天| 爆乳熟女一区二区三区爆乳| 丁香婷婷色五月合集| 狠狠色狠狠操| www久久艹| 色五月丁香伊人| 99只有精品| 9l视频自拍9l视频自拍九色学生| 婷婷五月天第四色| www.婷婷| 久久久99久久| www.婷婷五月天| 丁香色婷婷色手机免费在线| 五月花综合| 色婷婷五月天成人网| 亚州成人综合在线| 日操五月婷| 婷婷婷婷婷婷婷五月丁香| 97久久久免费福利网址| 色色色色网色色网色色| 国产做爰视频免费播放| 99热超碰| 超碰成人在线观看| 青996青| 午夜色丁香| 9精品久久999| 婷婷五月天激情偷拍| 91碰碰碰| 一区二区成人电影| 五月天丁香成人| 色婷婷亚洲在线观看| 精品无码99| A片试看120分钟做受图片| 色五月之第四色| 久久98| 久久婷婷综| 五月天丁香成人| 五月天之色情综合网| 九九热国产| 91人妻九色大屁股| 婷婷丁香人妻久久在线观看| 亚洲视频一区| 色婷婷五月天天天做| 99色在线观看| 日日日,com| www.色婷婷.com| 婷婷五月天堂网| 青草五月天| 97人人操人人干| 久久婷婷丁香五月一二三| 欧美婷婷| 久久丝丝热| 色色色成人网| 成人五月天综合网| 色五月播五月| 这里只有精品视频在线观看免费| 91狠狠综合久久久| 成人五月天色天堂| 色99色| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 五月婷婷激情五月| 伊人玖玖网| 日日日日日| 激情四射婷婷色色色| 激情六月丁| 操日视频| 久99| 99精品激情| 精品人妻伦一二三区久| 婷婷她六月天| 91一起操| 五月色无码| 五月丁香色停停啪啪啪| 亚洲五月色| 日本三级片片| 4438激情网| 激情综合网址| 久色网| 日本美女天天日天天爽| 婷婷五月天天| 人人摸人人摸| 五月丁香花视频| 99热手机在线精品| 久热这里只有精品在线观看| www久视频com| 五月婷婷开心亚州在线| 青青日韩| 丁香色五月 97干| 亚洲综人色综网| 无码激情AAAAA片-区区| 色婷婷丁香中文在线播放| 91热在线观看视频| 激情五月婷婷| 婷婷六月激情小说网| 中文字幕 中文字幕明步| 色欲五月天| 六月婷婷日| 日本在线视频播放91| 婷婷五月激情热播| 大色鬼综合| 色色色综合色| 人伦30P| 欧美成人精品三区综合A片| 五月丁香黄色| 丁香玖玖| www五月| 日本va欧美va欧美| 182TV大香蕉| 五月天激情小说| 国产色五月婷婷| 色婷婷丁香五月| 一区二区中文字幕| 热久免费视频9| 五月婷婷|欧美| 天天日天天添| 色色色宗合网| 99九九在线精品热动漫| 五月婷婷视频啪啪美女| 久久婷五月影院| 五月丁香综合啪啪| 欧美激情2025| 91婷婷色| 国产精品第一国产精品| 五月丁香六月婷婷欧美综合| 婷婷五月丁香基地在线视频官网| 国产AV一区二区三区最新精品| 色婷婷久综合久久一本国产AV| 九九青青草成人| 久久人妻少妇嫩草AV| 婷婷五月天情色| 99热久久这里只有精品| 激情丁香五月AV| 国产午夜精品AV一区二区麻豆| 丁香激情五月少妇| 丁香五月天偷拍| 狠狠色综合无线观看| 亚洲色婷婷五月天| 99热这里只有免费精品| 日本久久网| 婷婷五月乱交换| www婷婷| 五月丁香婷婷综合视频| 亚洲激情亚洲激情| av第一二区| 成人无码髙潮喷水A片| 久婷久婷| 色噜噜婷婷| 538午夜激情| 任你日热视频| 久久久婷婷五月天| 99热这里全是精品| 丁香婷婷五月| 色在线五月天免费| 99爱99操| 婷婷丁香黄色| www99热| 玖玖爱综合网| 狠狠操狠狠干综合| 久久五月丁香伊人青草| 97色永久免费视频| 狠狠婷婷综合| 丁香婷婷久久| 五月丁香大相交| 久久人妻伊人| 婷婷深爱五月亚洲综合| 91干| 大香AV| 久久五月婷综合| 99热婷婷| 久久激情视频| 色色com| 深爱激情网综合| 久久五月丁香六月婷| 九色婷婷| 999精品乱码77777| 欧美日韩一区二区三区四区| 99国产精品久久久久久久久久久| 久久久久9| 五月天亚洲色| 久久婷婷五月综合色丁香| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 亚洲深喉AV| www.99色| 亚洲av综合网| 成人开心五月天| 天天夜天天色天天| 丁香五月亭亭六月综合激情网| 九九99九九99九九99视频网| 欧美激情伊人| 日本在线观看aaa 99| 亚州在线中文字幕| 丁香婷婷综合激情五月色| 成人日韩欧美| 99热自拍| 久久99精品久久久久久噜噜| 五月天播播中文字幕 | 婷婷五月草| 婷婷激情五月天视频在线| 蜜臀av在线成人电影| 色婷婷综合五月| 天天搞夜夜叫| 五月天婷a在线| 久草大| 亚州色婷婷| 天天摸天天肏| 成人av在线网址| 大香蕉中文| 九九99精品视频| 狠狠色色综合| www.99热在线观看| 97丁香婷婷| 996精品热视频| 色五月婷婷91| 亚洲成人网站在线播放| 久久久久8888| 婷婷五月丁香久久| 中文精品在| 激情婷婷丁香五月天| 色色色干| 五月婷婷激情综合| 亭亭五月丁香综合欧美| 99自拍视频| 九九热这里有精品视频| 99热无码精品| 天干天天干天天天天天| 色色网站免费观看| 久久婷婷五月天综合| av中文网站| 五月婷婷中文| 人妻操逼视频| 99热这里只有精品免费| 五月玖玖| 综合色播| 五月丁香色综合| 丰满少妇乱A片无码| 亚洲AV在线免费看| 国产免费av网站| 色爱99| 国産精品| av在线超清中文| 欧美色色色| 九九亚洲视频| 久热超碰91| 久久久久人妻精品| 国产67194| 久草热8精品视频在线观看| 香蕉久久国产AV一区二区| 99青青草99| 91干| 婷婷成人视频| 亚洲三A| 亚洲第一av| AV在线免费网站| 99热在线99| 另类激情网| 精品99在线| 国产精品美女| 日本综合99| 77777亚洲午夜久久| 九九aV| 天天色播| 亚洲中文乱字字幕线在永久| 婷婷性爱五月天| 五月婷婷色综图片| 欧美成人精品三区综合A片| 好大好粗嗯啊-一级黄色大片免费观看-成人AV| 99啪啪骑| 久久综合这里只有精品1| 五月天激情.com| 99激情| 五月丁香啪啪啪| 一区操| 久草A片| 成人网丁香五月| 五月天婷婷免费视频| 夜夜骑夜夜操| 伊人喵咪a V| 丁香五月综合婷婷| 午夜九九电影| 少妇性按摩无码中文A片| 亚洲天堂久久| 91人人人人人人人| 九九AV| 色丁香六月| 亚洲精品99| 久久婷婷五月丁香蜜桃网| 日韩久热| www激情网| 色伊人婷婷| 国产av一区二区三区| 国产一区18| 狠狠狠人妻| 欧美综合五月丁香六月婷| 国产乱人偷精品人妻A片| 亚洲AV无码成人精品区电影网| WWW丁香五月| 婷婷久久色| 国产又爽又猛又粗的视频A片| 五月婷婷六月综合| 777久久综合视频 | 激情亭亭五月| 日韩免费视频| 精品久久久999| 五月婷婷我| 99热这里是精品| 久草 tingting| 激情综合4月| 婷婷五月天播播| WWW.久久.COM| 91久久久久久久| 丁香久久久| 色综合五月天| 婷婷在线综合| 五月婷婷丁香色播网| 五月综合激情网| 色婷婷色综合激情91| 五月丁香六月欧美综合| 婷婷午夜精品久久久| 无码AV大香线蕉伊人| 婷色五月| 99这里只有精品| 婷婷色综合网日韩国产| 青青.com| 婷婷五月综合色拍| 日韩av高清| 亚洲色激婷| 婷婷五月丁香综合| 五月天婷婷激情在线色图| 小视频aaa久久久| 伊人久久五月天| 婷婷色六月| 亚洲成人综合网在线免费观看| 激情com| 97综合在线| 香蕉网久久| 色婷婷五月天小说| 亚洲亚洲人成综合网络| 婷婷五月天受日本法律保护| 超碰高清在线| 久久天堂女人| 开心五月婷婷在线| 丁香五月AV| 色欲丁香| 五月丁香激情四射| 中文字幕五月久久婷| 色丁香六月| 激情婷婷五月丁香啪啪啪| 久久久久综合激动五月天| 久久9视频| www999日韩精品| 天天肏高清在线| 婷婷WWW久久| 深爱五月日韩| 中文超碰视在线| 丁香五月在线视频黑人| 99色在线观看| 久久网站免费亚洲| 五月丁香婷婷啪啪| 99干日本| 91婷色| 日韩在线9| 婷婷五月天六月丁香| 中文字幕五月久久婷婷| 五月婷婷在线播放| 婷婷五月天天激情| 久久这里只有欧美| 色色色九九九五月婷婷| 热99这里只有精品视频| 亚洲乱码日产精品BD| 五月婷婷丁香大陆免费| 做爰丰满少妇1313| 秋霞午夜理论| 丁香五月AV| 丁香六月av| 八戒青柠影视剧在线观看| 丁香五月综合色婷婷| 国产成人+综合亚洲+天堂| 色综久久久| 大香蕉av在线| 蜜乳.comcom| 少妇伦子伦精品无吗| 久久婷婷五月综合色播| 免费无码毛片一区二区A片| 六月伊人婷婷| 婷色天堂| 天天天摸夜夜夜玩| 一区二区乱视频码| 五月天婷婷视频小说| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 久久精品63| 亚洲欧洲另类| 丁香婷最新动态| 亚洲视频在线观看| 色 五月婷婷基地| www.韩日视频| 丁香桃色网| 国产精品美女| 丁香六月在线| 久九色| 最近中文字幕大全免费版在线 | 亚洲精品444久久久久久| 直接看的AV| 婷婷人人操| 国产精品色| 99九九视屏| 五月天激情日色在线| 五月婷婷导航| 欧美内射AA| 一起草性爱不卡视频| 五月天激情小说电影| 久月久在线视频| 人人草人人爱| 色色免费网站| 国产毛片欧美毛片久久久| A久网| 婷婷五月色影视先锋| 九月婷婷综合| 色婷大香蕉| 久久五月激情综合| 综合大香蕉| av大香蕉| 色色五月婷婷丁香| 97热这里精品在线视频| 99热这里只有精品96| 五月婷婷丁香在线| 婷婷激情五月天色| 激情性爱网站| 五月婷婷六月激情| 五月丁香婷婷无码中文| 日韩99无码| 日本在线视频播放91| 色婷五月婷婷| 亚洲无码性爱| 成人av中文字幕| 丁香五月婷婷色五月| 色色97丁香婷婷五月天| 色婷婷狠狠爱| 婷婷四色五月| 五月丁香婷婷综合视频| 婷婷亚洲综合| 色欲色香伊人| 久热大香蕉| 播丁香五月婷婷欧美| 99精品视频在线观看| 色之综合网| 99久高清视频| 91久久久久久久| 99爱在线观看视频| 激情五月婷婷丁香六月| 99久久欧美| 激情婷婷五月天| 777久久综合视频| 欧美毛卡| 成人精品视频99在线观看免费| 婷婷色情六月| 久久综合性| AV片在线观看| 九九热在线视频观看| 综合激情五月丁香| 亚洲色图在线视频| 国产一区二区三区影院| 五月天婷婷丁香导航| 六月婷婷日| 久久激情天堂| 新激情婷婷| 色欲一区二区三区精品A片| 99精色| 成人五月天在线观看| 狠狠久久婷| 日欧一片内射VA在线影院| www.五月婷婷.com| 五月丁香在线国产| 激情四射五月天| 大香伊人婷婷| 极品人妻VIDEOSSS人妻| 91丨九色丨熟女|新版| 天天五月情| 夜夜人妻五月天| 国产免费av在线| 少妇性BBB搡BBB爽爽爽视頻| 六月丁香久久| 国产成人亚洲综合A∨婷婷| 五月色情婷婷开心五月色情| 狠狠色九月| 99精彩视频网站在线| 九九黄色网| 婷婷五月天天爽| 日日艹思思热| www.主妇. com| 99黄色在线视频精品熟女| 久久综合55| 极品人妻VIDEOSSS人妻| 玖玖色综合网| 五月天婷婷在线观看| 五月丁香婷中文| 国产裸舞福利资源在线视频| 激情综合色婷婷啪啪六月天| 大香蕉网 久久|