欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Agent-Reach:多智能體協(xié)作的通信底座與消息路由實踐

Agent-Reach:多智能體協(xié)作的通信底座與消息路由實踐 多智能體這塊最近兩年被炒得很熱但真正在項目里把多個Agent拉到同一張桌子上協(xié)作的時候你會發(fā)現(xiàn)一個很尷尬的問題各個Agent之間根本夠不著對方。它們各自封裝在自己的框架里跑在自己的進程里用的是各自的工具調(diào)用協(xié)議消息格式各說各話。我這個項目Agent-Reach就是沖著這個痛點去的——它解決的核心問題是Agent觸達(dá)讓一個Agent能夠發(fā)現(xiàn)另一個Agent的存在、了解它能干什么、然后把任務(wù)和結(jié)果可靠地遞過去。這不是一個華而不實的框架而是一套輕量的、可以直接嵌進現(xiàn)有系統(tǒng)的Agent間通信與發(fā)現(xiàn)基礎(chǔ)設(shè)施。下面我把整個項目的設(shè)計思路、核心實現(xiàn)、踩坑過程都展開聊聊尤其是那些只在真實流量下才會暴露的問題。1. 多智能體協(xié)作的圈地困境Agent成了孤島協(xié)作成了妄想先回顧一下我為什么要做這件事。在做Agent-Reach之前我參與過一個電商客服場景的項目里面有三個Agent一個負(fù)責(zé)售前咨詢的、一個負(fù)責(zé)訂單狀態(tài)查詢的、一個負(fù)責(zé)售后處理建議的。三個Agent分別基于不同的框架搭出來的售前的用了LangChain訂單查詢的是自己寫的一套意圖識別加工具調(diào)用售后那個直接調(diào)外部RPA接口。最開始的設(shè)計是三個Agent串行跑用戶問一句售前Agent判斷該不該轉(zhuǎn)給訂單Agent然后由售前Agent的代碼里寫死一個調(diào)用訂單Agent的函數(shù)。這個方案看似沒毛病跑起來之后全是麻煩。比如訂單Agent換了個部署地址售前Agent的代碼就得跟著改比如想新增一個物流咨詢Agent售前Agent的代碼要重新發(fā)布一版。更頭疼的是三個Agent之間傳消息完全沒有統(tǒng)一格式售前傳過去的是幫我查一下訂單訂單Agent那邊需要的是結(jié)構(gòu)化JSON中間還得套一層轉(zhuǎn)換邏輯。這些小問題疊加在一起就是典型的硬編碼集成之痛。我當(dāng)時理想中的形態(tài)是這樣的Agent之間不直接握手而是通過一個公共的通訊錄互相發(fā)現(xiàn)消息格式統(tǒng)一某個Agent掛掉或者升級的時候不影響其他Agent的整體運行。這就是Agent-Reach立項的最初動機。所以Agent-Reach的第一層價值是解耦第二層價值是標(biāo)準(zhǔn)化。它做的事情不是一個Agent框架而是一個中間層。打個比方Agent-Reach不負(fù)責(zé)教你怎么做Agent它負(fù)責(zé)的是給Agent們發(fā)名片和信箱。從技術(shù)選型上看當(dāng)時有幾個現(xiàn)成方案可以選比如消息隊列Kafka、RabbitMQ加一個服務(wù)注冊中心Consul、Etcd。但我試過之后發(fā)現(xiàn)太重了——Kafka解決的是大數(shù)據(jù)量消息的吞吐問題而我這個場景的消息量一天也就幾萬條而且大部分是短小的一問一答為這個上Kafka有點殺雞用牛刀。Consul那套偏向微服務(wù)治理健康檢查、KV存儲確實都有但Agent之間的消息路由語義——這個任務(wù)該發(fā)給哪個Agent、怎么回傳結(jié)果——它是不懂的我還是得自己在上層寫一套路由邏輯。思來想去與其拼裝兩個輪子不如自己做一個正好合適的輪子。Agent-Reach的本質(zhì)就是一個帶語義能力的Agent注冊與消息路由服務(wù)底層用輕量的消息通道承載通信上層實現(xiàn)了Agent能力描述、發(fā)現(xiàn)、定向投遞和結(jié)果回傳。接下來我會把每一塊設(shè)計拿出來細(xì)講。2. Agent-Reach的定位與總體架構(gòu)不造Agent只疏通Agent之間的路先說清楚架構(gòu)邊界這是后面所有細(xì)節(jié)討論的前提。Agent-Reach包含四個核心模塊Agent注冊表Agent Registry、能力目錄Capability Catalog、消息路由層Message Router、以及客戶端SDKAgent-Reach Client。2.1 注冊表設(shè)計每個Agent都要有一張實名名片注冊表是整個系統(tǒng)的地基。每個Agent接入時向注冊表登記一份元數(shù)據(jù)內(nèi)容包括Agent的全局唯一ID、名稱、描述、能力標(biāo)簽、通信地址比如WebSocket的URL或者消息隊列的主題名、當(dāng)前狀態(tài)、負(fù)載指標(biāo)。這張名片會帶一個版本號Agent每次變更能力或者地址名片版本遞增。這里有個很關(guān)鍵的設(shè)計決策注冊表不要做成AP可用性優(yōu)先模型而要傾向CP一致性優(yōu)先模型。為什么不學(xué)Eureka那套因為Agent發(fā)現(xiàn)一旦讀到過期數(shù)據(jù)消息就會發(fā)到一個已經(jīng)不存在的實例上直接導(dǎo)致任務(wù)失敗。相比之下寧可短暫地發(fā)現(xiàn)不到某個Agent也不要發(fā)現(xiàn)到一個幽靈Agent所以Agent-Reach的注冊表內(nèi)部用了Raft協(xié)議做多節(jié)點同步保證三個副本之間的數(shù)據(jù)強一致。實測下來幾個節(jié)點之間的同步延遲在毫秒級別對Agent發(fā)現(xiàn)這種低頻操作完全夠用。名片信息的具體結(jié)構(gòu)是這樣定義的{ agent_id: order-agent-01, name: 訂單狀態(tài)查詢Agent, version: 3, capabilities: [ { name: query_order, description: 根據(jù)訂單號查詢訂單當(dāng)前狀態(tài), input_schema: { type: object, properties: { order_id: {type: string} }, required: [order_id] }, output_schema: { type: object, properties: { status: {type: string}, eta: {type: string} } } } ], transport: { type: ws, endpoint: ws://10.0.1.12:9201/agent }, status: online, heartbeat_interval_sec: 15, max_concurrent_tasks: 10 }這份JSON就是Agent的名片。消費者也就是其他Agent拿到名片后不需要提前知道調(diào)用細(xì)節(jié)只靠名片里的capabilities就能判斷這個Agent能不能幫我干活、該怎么傳參數(shù)。接口契約的問題在這里就解決了以前是代碼里硬寫函數(shù)調(diào)用現(xiàn)在是數(shù)據(jù)驅(qū)動的動態(tài)路由。2.2 能力目錄與匹配邏輯讓誰該處理這件事變成可計算的注冊表只是存儲能力目錄才是智能的地方。能力目錄負(fù)責(zé)維護能力名到Agent集合的映射并對外提供匹配服務(wù)。比如調(diào)用方傳一個自然語言描述或者結(jié)構(gòu)化的任務(wù)標(biāo)簽?zāi)夸浄?wù)返回能處理這個任務(wù)的Agent列表按匹配度排序。最開始我直接用關(guān)鍵詞匹配能力名后來發(fā)現(xiàn)根本不夠用。同樣是查訂單這件事A Agent管的是B2C訂單B Agent管的是B2B訂單光看能力名query_order分不出來。所以我把匹配升級成了兩層第一層是硬匹配基于能力標(biāo)簽的精確匹配速度快適合已知明確標(biāo)簽的調(diào)用第二層是軟匹配用Embedding做語義相似度計算調(diào)用方發(fā)來的任務(wù)描述和已有Agent能力描述算余弦相似度大于一個閾值才進入候選集。軟匹配的引入讓Agent-Reach對上層應(yīng)用非常友好——調(diào)用方不需要記住每個Agent的能力名只要用一句人話描述任務(wù)系統(tǒng)幫他找Agent。這一步當(dāng)時落地的時候花了不少功夫踩過Embedding模型選型的坑后面會詳細(xì)講。2.3 消息路由層設(shè)計請求/響應(yīng)和異步任務(wù)兩條腿走路消息路由是第三個模塊也是通信語義的核心。Agent之間協(xié)作的模式其實就兩種一種是同步的請求/響應(yīng)比如幫我查一下訂單12345的狀態(tài)立刻要結(jié)果另一種是異步任務(wù)投遞比如幫我把這批1000個訂單做異常回訪不用立刻出結(jié)果完成后通知我。Agent-Reach對兩種模式分別做了通道設(shè)計。同步通道直接走WebSocket長連接實現(xiàn)上類似一個輕量RPC異步通道則持久化到內(nèi)嵌的消息存儲里Agent上線后拉取積壓任務(wù)。之所以不用外部隊列是因為異步任務(wù)數(shù)量和Agent會話狀態(tài)有強關(guān)聯(lián)存到注冊表同一套存儲里反而簡單——Agent斷線期間的任務(wù)會在它恢復(fù)心跳后自動補發(fā)。路由決策本身也不復(fù)雜按照這個優(yōu)先級處理調(diào)用方顯式指定了agent_id直接定向投遞調(diào)用方傳了能力名路由層查能力目錄取匹配度最高的在線Agent調(diào)用方什么都沒傳只有一段任務(wù)描述路由層走語義匹配如果候選Agent都在忙達(dá)到max_concurrent_tasks上限任務(wù)進入等待隊列而不是直接失敗。前三條都好理解第四條值得多說一句。Agent-Reach默認(rèn)不丟任務(wù)有背壓機制。調(diào)用方發(fā)來一個任務(wù)如果目標(biāo)Agent繁忙這個任務(wù)會在路由層排隊由調(diào)用方?jīng)Q定等待超時時間。實際項目里我會建議調(diào)用方設(shè)置一個合理的超時默認(rèn)30秒超過就返回繁忙請稍后再試由上層Agent決定是換個Agent還是告訴用戶稍等。2.4 客戶端SDK的邊界只做三件事絕不多做客戶端SDK的設(shè)計初衷是接進去簡單拿到別的Agent的能力簡單發(fā)消息簡單。所以SDK只封裝了三類能力注冊與心跳、發(fā)現(xiàn)與訂閱拿到名片、監(jiān)聽Agent上下線事件、消息發(fā)送與接收同步和異步兩種模式。有個很刻意的設(shè)計SDK不做Agent能力編排不做多步流程控制也不內(nèi)置提示詞模板。這些交給上層Agent框架或者業(yè)務(wù)流程去處理。Agent-Reach是一個路由器而不是大腦大腦應(yīng)該屬于每個Agent自己這也是我堅持的原則。如果SDK越界做了編排Agent的自主性就被架空了那就跟傳統(tǒng)ESB服務(wù)總線沒有本質(zhì)區(qū)別了。3. 核心模塊逐行拆解注冊表、心跳與路由的實現(xiàn)細(xì)節(jié)這一節(jié)直接上實現(xiàn)。Agent-Reach服務(wù)端我用Go寫的原因很簡單單機并發(fā)吞吐高、部署就是一個二進制文件、內(nèi)存占用小。客戶端SDK先做了Python版本因為接Agent的團隊主力語言就是Python后來補了TypeScript版本給前端低代碼平臺用。3.1 注冊表存儲結(jié)構(gòu)一張表搞定所有元數(shù)據(jù)注冊表底層用SQLite單機模式或TiKV集群模式存儲但對外暴露的是內(nèi)存視圖。Agent的元數(shù)據(jù)維護在內(nèi)存里的一個并發(fā)安全Map里key是agent_idvalue是完整的元數(shù)據(jù)對象。每次寫入或者更新時同時寫持久化存儲并廣播變更事件。Go語言里這個結(jié)構(gòu)大致是這樣type Registry struct { mu sync.RWMutex agents map[string]*AgentMeta byCaps map[string]map[string]struct{} // capability - set of agent_id watchers map[string][]chan AgentEvent } type AgentMeta struct { AgentID string json:agent_id Name string json:name Version int json:version Capabilities []Capability json:capabilities Transport TransportInfo json:transport Status AgentStatus json:status LastHeartbeat time.Time json:last_heartbeat } type AgentEvent struct { Type string // registered, updated, offline, online AgentID string Meta *AgentMeta }byCaps這個反向索引是匹配性能的關(guān)鍵。能力匹配的請求一來先按能力名取Agent集合再逐個看狀態(tài)和負(fù)載避免了全表掃描。注冊、更新、心跳都通過mu.Lock()保護這個鎖在低并發(fā)下毫無壓力但到了Agent數(shù)量上百、心跳頻率高的場景單把大鎖會成為瓶頸。我后來做了分片鎖優(yōu)化按Agent ID哈希分成32個分片各自獨立加鎖吞吐量提升明顯。3.2 心跳機制與僵尸Agent清理心跳的設(shè)計要回答兩個問題多久算超時超時了誰負(fù)責(zé)清理我的做法是Agent默認(rèn)每15秒發(fā)一次心跳注冊表在3個心跳周期45秒沒收到就標(biāo)記為offline再過2個周期75秒還沒恢復(fù)就把Agent從活躍列表里移除并廣播下線事件。這個時間窗口不是拍腦袋定的跟Agent的業(yè)務(wù)類型有關(guān)系——客服Agent 45秒沒心跳基本就是進程掛了但如果是有長耗時任務(wù)的Agent比如批量處理回訪進程活著但主線程被阻塞心跳發(fā)不出去也是常事。所以我在心跳API之外還加了一個獨立的/ping探活接口路由層的健康檢查用這個接口注冊表的離線判定用心跳兩者分離。僵尸Agent的清理邏輯我建議做成軟刪除。不直接從agents里抹掉元數(shù)據(jù)而是只在byCaps活躍索引里摘除元數(shù)據(jù)保留24小時方便排查問題。線上問題排查時你會感激這個設(shè)計——Agent崩潰后你想查它崩潰前的元數(shù)據(jù)版本如果被物理刪了就得從頭查日志。3.3 消息路由的投遞語義At-Least-Once與去重Agent之間消息投遞的語義我直接定成了At-Least-Once至少一次。這不是偷懶是成本權(quán)衡下的理性選擇。Exactly-Once在高吞吐消息系統(tǒng)里要靠事務(wù)消息或冪等消費來逼近對Agent協(xié)作這個場景來說成本太高。At-Least-Once配合消息里的全局唯一ID讓接收方做冪等去重效果足夠。每個消息的骨架長這樣{ message_id: uuid-v7-xxxx, trace_id: trace-abc-123, task: { type: sync, capability: query_order, input: { order_id: 20250101001 }, timeout_ms: 30000 }, source: { agent_id: pre-sale-agent-01, session_ref: chat-session-7788 }, target: { agent_id: order-agent-01 } }message_id是全局去重的依據(jù)UUID v7自帶時間排序?qū)懭氪鎯Φ臅r候?qū)λ饕押谩race_id用來串起一次跨Agent協(xié)作的完整鏈路——用戶的一個問題可能觸發(fā)三個Agent先后處理靠trace_id能把整個鏈路的行為日志撈出來。這個字段特別值得重視沒有它排障就是大海撈針。路由層接收到消息后按如下流程處理校驗target.agent_id是否在線在線則通過WebSocket把消息推送過去等待接收方ACKACK不代表任務(wù)完成只代表消息被Agent進程收到了如果30秒內(nèi)沒有ACK標(biāo)記為投遞失敗重試最多3次重試仍失敗消息進入死信表同時給調(diào)用方返回一個投遞超時響應(yīng)。這里有個小坑WebSocket連接本身可能假死。TCP連接還在但Agent進程已經(jīng)卡死消息發(fā)過去沒有響應(yīng)。所以ACK超時機制必須存在不能只靠TCP層面的連通性判斷。3.4 Python SDK的接入代碼三行登記一行發(fā)消息Python SDK的目標(biāo)是讓接入成本降到最低。Agent上線時的注冊代碼from agent_reach import AgentReachClient, SyncCall client AgentReachClient(registry_urlws://reach-server:8800/registry) # 聲明能力完成注冊 client.register( agent_idorder-agent-01, name訂單狀態(tài)查詢Agent, capabilities[ { name: query_order, description: 根據(jù)訂單號查詢訂單當(dāng)前狀態(tài), input_schema: {...}, output_schema: {...} } ] ) # 處理入站請求 client.on_capability(query_order) def handle_query_order(input_data: dict) - dict: order_id input_data[order_id] status query_order_db(order_id) return {status: status, eta: 2025-02-01 14:00} # 啟動監(jiān)聽開始接收消息 client.start()再看出站調(diào)用一個Agent想調(diào)用另一個Agent的能力時result client.call_sync( capabilityquery_order, input{order_id: 20250101001}, timeout_ms30000 ) # Business 語義錯誤 if result.get(error_code): fallback_to_another_agent(capabilityquery_order_v2) print(result[data][status])call_sync內(nèi)部封裝了能力發(fā)現(xiàn)、路由請求、等待響應(yīng)、超時重試這幾件事。對上層調(diào)用方來說就是一行函數(shù)調(diào)用完全不用感知對方Agent到底在哪臺機器上、用的是什么框架、內(nèi)部怎么實現(xiàn)的。這種動態(tài)發(fā)現(xiàn)統(tǒng)一契約的體驗比自己在代碼里寫死HTTP調(diào)用要舒服得多改一個Agent的部署位置系統(tǒng)里的其他Agent什么都不用動。4. 接入真實業(yè)務(wù)三類Agent跨框架協(xié)作的完整通路設(shè)計講完了來看實際接入效果。當(dāng)時我們在測試環(huán)境搭了三類AgentA跑在LangChain上B是CrewAI里定義的角色型AgentC是一套完全自研的規(guī)則加LLM混合Agent。三個框架各走各的唯一共性就是都裝了Agent-Reach的Python SDK。4.1 LangChain Agent接入用Tool封裝打通最省事LangChain Agent本身有一套Tool機制它把外部功能抽象成Tool來調(diào)用。我做的事很簡單把Agent-Reach的call_sync封裝成一個LangChain的BaseTool。from langchain.tools import BaseTool from agent_reach import AgentReachClient class ReachTool(BaseTool): name: str agent_reach_query description: str ( 當(dāng)用戶需要查詢訂單狀態(tài)時使用。 輸入為訂單號字符串輸出為訂單狀態(tài)與預(yù)計送達(dá)時間。 ) def _run(self, order_id: str) - str: client AgentReachClient(...) result client.call_sync( capabilityquery_order, input{order_id: order_id}, timeout_ms20000 ) return json.dumps(result, ensure_asciiFalse)這樣LangChain的Agent在推理時如果判斷需要查詢訂單就會自動調(diào)用這個ToolTool內(nèi)部走Agent-Reach把任務(wù)路由到訂單Agent。整個過程對LangChain是無感知的——它只覺得自己調(diào)用了一個普通Tool實際上背后的目標(biāo)Agent跑在另一個框架里。4.2 CrewAI角色Agent接入同步轉(zhuǎn)異步避免阻塞CrewAI的多Agent是角色扮演式協(xié)作Agent之間通過Task傳遞工作。這里遇到一個實際問題CrewAI的Agent執(zhí)行任務(wù)時如果卡在一個同步調(diào)用上很久整個流程會變慢。所以我給CrewAI的Agent封裝的是Agent-Reach的異步調(diào)用模式。具體做法是CrewAI的Agent啟動時注冊進Agent-Reach并聲明自己的角色能力當(dāng)CrewAI內(nèi)的Agent遇到需要外部協(xié)作的任務(wù)通過call_async發(fā)出消息不等結(jié)果立刻返回任務(wù)已提交。CrewAI流程繼續(xù)推進外部Agent完成后再通過回調(diào)通知結(jié)果把結(jié)果喂回對應(yīng)的session。這條路跑通之后效果很好CrewAI的內(nèi)部流程沒有被跨框架通信阻塞住整個協(xié)作節(jié)奏更接近真實的團隊工作方式。4.3 自研Agent接入最大的阻力是對話輪次的傳遞自研Agent接入時遇到一個有意思的問題那套規(guī)則加LLM混合Agent里每次對話都要攜帶上下文輪次。一開始我把整個對話歷史塞進消息input里結(jié)果消息體積動不動就幾十KB路由和存儲的壓力都上來了。后來我調(diào)整了消息契約input里只傳必要字段和會話指針真正完整的對話歷史存在Agent自己的持久層里。Agent-Reach的消息體里只帶一個session_ref字段接收方拿到引用后自己去共享存儲里撈上下文。這么一改消息體積降到幾KB幾乎不影響路由性能業(yè)務(wù)側(cè)也更清爽。這個經(jīng)驗很重要消息通道不是數(shù)據(jù)倉庫別把該存庫的東西塞進消息里。跨Agent的消息應(yīng)該是任務(wù)指令必要的參數(shù)引用而不是整包的數(shù)據(jù)搬運。4.4 前端低代碼平臺的TypeScript SDK后來低代碼平臺也要接Agent所以補了TypeScript SDK。瀏覽器的WebSocket客戶端和服務(wù)端交互能力發(fā)現(xiàn)API、消息發(fā)送API都支持。前端腳本里可以這樣寫import { AgentReachClient } from agent-reach/sdk; const client new AgentReachClient({ registryUrl: wss://reach-server/registry, }); await client.connect(); const availableAgents await client.listOnlineAgentsByCapability(query_order); const res await client.callSync({ capability: query_order, input: { order_id: 20250101001 }, timeoutMs: 30000, });低代碼平臺做一個拖拽流程編排每個節(jié)點綁定一個能力調(diào)用幾十種業(yè)務(wù)流程都能拖著拖著就配完不用再為每種流程寫專門的集成代碼。5. 上線前必須面對的五個坑從超時風(fēng)暴到消息亂序上面聽起來一切順利但生產(chǎn)環(huán)境跑起來之后問題一個接一個。我按踩坑的時間順序梳理了五個最典型的問題每個都有實際的思考過程和解決路徑。5.1 坑一注冊表讀寫鎖引發(fā)的超時風(fēng)暴系統(tǒng)上線第一周就出事。某個中午流量高峰突然大量調(diào)用方報超時。查日志發(fā)現(xiàn)注冊表的API響應(yīng)時間從正常2毫秒飆升到800毫秒再一看注冊表的鎖等待嚴(yán)重。根因是這樣的我當(dāng)時byCaps反向索引和agents主Map共用一把大鎖mu。Agent心跳每15秒一次幾十個Agent的心跳本來沒壓力但有個Agent在頻繁更新元數(shù)據(jù)——它的調(diào)用方每次調(diào)完就更新一次最近調(diào)用統(tǒng)計這個統(tǒng)計寫在元數(shù)據(jù)里。高峰期每秒鐘幾十次更新跟心跳的寫鎖、調(diào)用的讀鎖互相排隊鎖競爭直接拖垮了API。解決方式分兩步。第一步把最近調(diào)用統(tǒng)計從Agent元數(shù)據(jù)里拆出去單獨放到Redis里跟注冊表完全解耦第二步把大鎖拆成32個分片鎖按Agent ID哈希分片不同分片的讀寫互不阻塞。改完后單機壓測從原先的每秒約2000次注冊表操作提升到約1.6萬次后續(xù)再也沒在這個位置出過問題。這個坑給了一個教訓(xùn)別把高頻率的統(tǒng)計信息跟低頻的元數(shù)據(jù)放在同一個存儲結(jié)構(gòu)里讀多寫多互相攪和遲早出事。5.2 坑二語義匹配的Embedding模型選型失誤能力目錄的軟匹配最初用的是本地部署的一個通用中文Embedding模型當(dāng)時貪它體積小、部署簡單。上線后發(fā)現(xiàn)匹配效果很差售后退款流程和查詢訂單狀態(tài)明明在業(yè)務(wù)上是強相關(guān)的模型算出來的相似度才0.35低于我設(shè)的0.65閾值導(dǎo)致Agent匹配失敗率高調(diào)用方經(jīng)常收到找不到可用Agent的錯誤。后來做了個對照實驗同一批測試樣本換成當(dāng)前主流的商用Embedding接口相似度直接跳到0.7以上效果好了不止一個檔次。差距主要在于模型的語料覆蓋和訓(xùn)練規(guī)模通用小模型對行業(yè)術(shù)語和業(yè)務(wù)流程的理解深度遠(yuǎn)不夠。最后我采用了雙模型策略離線場景批量任務(wù)、異步分析用本地小模型因為對實時性要求不高、又不依賴外部服務(wù)在線場景同步Agent調(diào)用用小模型先快速粗篩再用大模型精排。粗篩閾值放低到0.5精排閾值0.7這樣既保實時性又保準(zhǔn)確率。5.3 坑三Agent重啟后的狀態(tài)錯亂這個坑很隱蔽。某次訂單Agent發(fā)布新版本重啟后進程起來了SDK自動重新注冊狀態(tài)很快變成online。但老版本進程還沒完全退出它還持有一個舊的WebSocket連接路由層手上的Agent地址是新的老連接也沒斷干凈。于是老進程在半死狀態(tài)下偶爾還能收到新連接建立之前就在途的消息處理完往回發(fā)結(jié)果時結(jié)果發(fā)到了已失效的舊連接上調(diào)用方就丟了響應(yīng)。后來我在SDK里加了一個優(yōu)雅退出流程Agent進程收到SIGTERM信號后先發(fā)一個deregistering事件給注冊表注冊表把該Agent標(biāo)記為draining路由層不再給它發(fā)新任務(wù)只等已有任務(wù)跑完最后SDK再關(guān)閉連接。整個過程強制要求在10秒內(nèi)完成超時就強殺。加上這個機制后發(fā)布期間的丟消息問題基本絕跡。5.4 坑四消息亂序引發(fā)的臟數(shù)據(jù)異步任務(wù)場景下調(diào)用方給目標(biāo)Agent連發(fā)了多條消息——比如批量更新多個訂單狀態(tài)。到了目標(biāo)Agent那邊處理線程是并發(fā)跑的兩條消息的處理完成順序和發(fā)送順序不一致導(dǎo)致先發(fā)起的更新反而后落地最終數(shù)據(jù)庫里的狀態(tài)成了舊的。這個問題在單機單線程的Agent內(nèi)部不會出現(xiàn)但Agent內(nèi)部一旦用線程池并發(fā)處理就必然出現(xiàn)。解決方式在消息語義上做了兩件事一是支持給消息加sequence序號接收方按序處理同一session內(nèi)的消息二是提供一個同步屏障選項——發(fā)送方可以要求只有前一條消息處理完成才允許投遞下一條。這兩種方式實際上把并發(fā)還是順序的選擇權(quán)交還給業(yè)務(wù)方對順序敏感的消息走同步屏障對順序不敏感的批量任務(wù)繼續(xù)保持并發(fā)提升吞吐。5.5 坑五WebSocket連接的半開問題WebSocket連接假死是分布式系統(tǒng)的老熟人。某一端進程還活著但事件循環(huán)卡死了TCP層面看起來連接還在實際上消息已經(jīng)發(fā)不過去。排查這類問題特別費勁因為撥測連通性沒問題但業(yè)務(wù)消息就是石沉大海。我在Agent-Reach里加了心跳Ping/Pong機制路由層每隔30秒給每個Agent連接發(fā)PingAgent收到后必須回Pong。如果連續(xù)3次Pong沒回來路由層就主動斷開連接并標(biāo)記離線。同時Agent側(cè)SDK也加了空閑連接探活——如果Agent覺得自己空閑超過60秒主動發(fā)一個輕量探活消息確保連接不只是看起來活著。這套雙端探活機制上線后假死連接不用再靠人工重啟解決。6. 結(jié)合真實負(fù)載的調(diào)優(yōu)經(jīng)驗從配置參數(shù)到架構(gòu)演進項目跑到第二個月系統(tǒng)漸漸穩(wěn)定了。這時候我回頭看有些參數(shù)和架構(gòu)選擇如果在一開始就能明確能少走不少彎路。6.1 關(guān)鍵參數(shù)清單與建議值很多同學(xué)拿到手第一句話就是參數(shù)該怎么配我總結(jié)了一張常用表都是實測下來比較穩(wěn)的值參數(shù)建議值說明心跳間隔15秒太短會放大無效請求太長導(dǎo)致離線感知過慢離線判定45秒3個周期保證在漏判和誤判之間取平衡同步調(diào)用超時30秒低于這個值慢Agent容易被誤殺高于這個值調(diào)用方體驗差投遞重試次數(shù)3次一次投遞失敗大概率是目標(biāo)Agent抖動3次足夠覆蓋能力匹配TopN3匹配度排名前3的Agent里挑一個可用性最高的消息體大小上限1MB大于1MB的應(yīng)該走共享存儲而不是塞消息體這些參數(shù)不是死的每個業(yè)務(wù)場景要根據(jù)Agent的響應(yīng)耗時和可用性預(yù)期調(diào)整。核心原則是超時時間不要低于Agent的P99響應(yīng)時間否則你會經(jīng)常殺掉那些只是慢但沒壞的Agent。6.2 單機部署到集群部署的平滑過渡Agent-Reach服務(wù)端支持從單機到三節(jié)點的平滑演進。單機模式下所有模塊跑在一個進程里配置一個node_rolestandalone集群模式下節(jié)點分為registry-leader和registry-followerRaft協(xié)議負(fù)責(zé)選主和數(shù)據(jù)同步消息路由層則完全無狀態(tài)可以水平擴展。路由層是無狀態(tài)的這點很重要——它不保存任何會話數(shù)據(jù)所有狀態(tài)都在注冊表里所以水平擴容就是在前面加負(fù)載均衡器后面起新節(jié)點不需要遷移任何數(shù)據(jù)。如果未來想進一步擴展可以把消息的可靠存儲拆到獨立的消息隊列里路由層進一步瘦身成純粹的轉(zhuǎn)發(fā)邏輯。但就目前這個項目的負(fù)載來看日均消息量幾萬條峰值幾十條/秒單機加一個從節(jié)點做故障切換完全夠用沒有必要為了高級感上重型基礎(chǔ)設(shè)施。6.3 可觀測性trace_id是排障的生命線最后強調(diào)一下可觀測性。Agent-Reach給Agent-Reach自己加了一整套鏈路追蹤每次跨Agent調(diào)用都生成一個trace_id從調(diào)用方發(fā)出、路由層接收、目標(biāo)Agent處理、結(jié)果回傳全鏈路日志都打上這個trace_id。排查問題時一條trace_id就能把整條鏈路的時間線拉出來。我強烈建議任何Agent協(xié)作系統(tǒng)都要把鏈路追蹤作為第一優(yōu)先級能力而不是可有可無的錦上添花。Agent協(xié)作的排障難度和單體應(yīng)用完全不同單體應(yīng)用一行堆棧就能定位Agent協(xié)作要跨三四個進程如果沒有貫穿全鏈路的trace_id一個用戶說響應(yīng)慢的問題你可能要花半天時間才能定位到是哪個環(huán)節(jié)慢。加上trace_id后三分鐘就能定位。7. 關(guān)于Agent-Reach后續(xù)演進的一些個人思考項目到現(xiàn)在已經(jīng)跑了幾個月Agent-Reach的價值已經(jīng)驗證過了三個不同框架的Agent通過它實現(xiàn)了互相調(diào)用、動態(tài)發(fā)現(xiàn)、統(tǒng)一契約團隊不再為Agent之間的接口變更和部署位置變更做無休止的聯(lián)調(diào)。我自己在維護過程中總結(jié)了幾件下一步值得做的事。第一是把動態(tài)編排能力加進來。現(xiàn)在系統(tǒng)只解決發(fā)現(xiàn)和路由但Agent之間的協(xié)作流程還是寫死的。如果引入簡單的編排描述語言比如一份JSON定義先調(diào)用A Agent再根據(jù)A的結(jié)果決定調(diào)B還是C那么業(yè)務(wù)流程的變化就不需要改代碼只改編排配置。這個方向我看好但對正確性的要求會高很多得處理好編排流程和業(yè)務(wù)狀態(tài)的一致性問題。第二是多租戶隔離?,F(xiàn)在所有Agent在同一個注冊表里。如果業(yè)務(wù)線多了不同團隊的Agent天然應(yīng)該隔離——A團隊的Agent不能用B團隊的能力。方向是引入租戶概念注冊表按租戶分域能力目錄和消息路由按租戶權(quán)限做校驗。這塊做起來不復(fù)雜但涉及權(quán)限模型設(shè)計得想清楚跨租戶協(xié)作這種邊界情況怎么處理。第三是Agent質(zhì)量度量。系統(tǒng)跑著跑著注冊表里會有大量歷史數(shù)據(jù)——哪些Agent被調(diào)用得多、哪些Agent經(jīng)常超時、哪些能力匹配總是失敗。這些數(shù)據(jù)可以加工成Agent可用性報告、質(zhì)量評分。如果能做出來對上層做Agent調(diào)度決策會是很好的數(shù)據(jù)支撐。最后說說對Agent生態(tài)的一點個人體會。Agent-Reach這類基礎(chǔ)設(shè)施的價值不在于讓單個Agent變聰明而在于讓多個Agent能夠像同一個團隊一樣協(xié)作——各自有專長、知道隊友能干什么、消息能可靠送達(dá)。單Agent的能力天花板終究有限真正的質(zhì)變發(fā)生在協(xié)作層。這個項目讓我比較欣慰的地方是它沒有跟任何具體Agent框架綁定是一個獨立的中間層。等以后Agent框架之間的邊界越來越模糊類似Agent-Reach這樣的通信底座可能會成為Agent架構(gòu)里不可或缺的一塊。如果你手上也有幾套割裂的Agent在跑試試把發(fā)現(xiàn)、路由、契約這三件事抽出來做成一個獨立服務(wù)你會明顯感受到集成成本和變更成本同時降下來。這就是Agent-Reach最核心的一句話總結(jié)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷久久午夜网| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 国av网| 99re这里只有精品视频6| www.yw尤物| 激情五月亚洲综合网| 97大香蕉五月天| 天天爽天天做| 亚洲精品视频在线播放| 精品一二三区久久AAA片| 五月天激情日色在线| 啪啪啪丁香五月| 婷婷婷婷婷婷婷婷| 丁香婷婷六月激情文学| 九色综合网| 五月激情婷婷在线| 99玖玖在线视频| 日韩视频99| 精品婷婷五月视| 噢美99| 亚洲色五月天| 婷婷五月天另类视频| www99热| 丁香五月婷婷骚视屏| txt五月激情四射网综合俺也来了 五月天婷婷丁香人人操91 | 成人丁香色| 99热在线精品观看| 97色色在线视频| 亚洲无线视频| 色婷婷8| 色色网站在线| WWW.夜夜操.com| 人妻有码乱操| 五月婷婷六月色| 亚洲综合在线丁香五月| 成人 在线 日韩| 狠狠精品干练久久久无码中文字幕| 另类小说激情五月天| 九九狠狠干| 欧美人与性动交CCOO| 激情婷婷啪啪| 丁香婷婷综合五月天| 中字幕视频在线永久在线观看免费| 亭亭五月色男人| 9热在线视频精品| 激情久久久久| 九九九九这里只有精品| 婷婷激情五月天综合| 热99玖玖99玖玖99九九| A久久| 欧美成人精品一区二区| 99热99久久| 九九碰九九爱97超碰| Jh7Uf088VHafNm| 久久精品91视频| 天天拍天天操| 久草A片| 九月婷婷丁香| 色综合久久久久| 丁香色婷婷色手机免费在线| 99热在线观看精品| 日韩AAAAA| 99爱视频精品在线观看| 91丨九色丨老农村| 黄色网址五月婷婷| 婷婷五月天激情四射| 丁香色婷婷| 欧美五月丁香在线| 激情人妻综合| 99ri视频在线观看| 天天爽天天操| 久热久| 婷婷射丁香| 狠狠五月激情在线| 9久久久久久久久久久| 丁香五月婷婷av影院| 久久久婷婷婷| 色婷久久| 婷婷综合五月天亚洲综合| 激情六月婷婷| 亚洲一级AV在线免费播放| 中文字幕日产A片在线看| 噜啊噜在线| 五月婷婷伊人网| 国产在线黄色| 99热超碰天堂网| 国产欧美精品AAAAAA片| 97色色色| 日本一级| 婷婷成人五月天| 狠狠操狠狠狠| 久久er+| 玖玖综合网| 97性高潮久久久| 国产又爽又猛又粗的视频A片| 婷婷五月丁香六月| 婷婷六月激情| 天天做天天摸| 丁香六月天之亚州热女 | 婷婷久月| 婷婷色九月| 欧美激情综合五月色丁香| 色五月婷婷视频| 六月丁香婷婷综合色播| 婷婷五月天成人| 大香av| 精品操逼一区二区| 久久久久视剧HD| 亚洲乱码日产精品BD| 色五月欧美| AV在线观看网站| 亚洲天码视频www蛋播视频| 欧美99热| 五月激情婷婷六月丁香| 99热这里只有精品在线免费| 丁香五月欧美成人| 中文字幕黄色片| 99资源在线| 一级黄色片看看| 99国产精品久久久久久久久久久 | 欧美超碰亚洲| 色约约视频一区二区三区四区五区 | 国产午夜精品一区二区三区四区| 五月激情六月综合| 丁香五月激情网| 五月丁香性| 思思久热6| 99成人无码| 五月丁香综合伦理片| 伊人网欧美在线男人天堂五月丁香| 色五月偷偷| 一级性感毛片| 婷婷丁香五月色偷偷| 超碰在线资源| 99久久.www| 丁香婷婷综合色五月激情国产基地| 日本韩国视频在线观看社区免费的9| 最近中文字幕在线中文视频| 香蕉久久国产AV一区二区| 97色碰| 久久久97| 亚洲日本韩国| 99热超碰人| 色婷婷激情Av久久久| 可以免费观看的AV| 国产午夜精品AV一区二区麻豆| 涩五月婷婷| 无码AV免费精品一区二区三区 | 91av视频在线观看最新网址| 婷婷刺激综合| 亚洲精品国产成人AV在线| 国产成人av在线播放| 久久六月天| 五月天丁香综合| 超碰免费人人| 99热欧| 五月色婷婷综合丁香精品无遮挡| 色99欧洲色19| www.激情五月| 操逼视频一区| 五月天婷婷久久| 99在线观看精品视频| 夜夜骑夜夜操| 99熟女| 九九99免费理论| 欧美日韩99| 亚洲区视频| 99热最新| 另类在线| 在线色婷婷| 超碰在线94| 9999热在线免费观看| 久久99精品日本| 人人摸人人操人人爽| 伊人99热| 丁香六月天婷婷色| 天天玩夜夜操| 亚洲人妻av| 另类专区在线观看| 亚洲成人丁香花| 91 原创 在线 九色| 肏屄色播伊人97婷婷| 狠狠色丁香| 99热99热在线观看| 国产日日操夜夜操的肉棒视频| www.久久五月天.com| 久久成人天| 五月婷婷色五月| 色久九| 开心五月婷婷| 午夜av网| 97成人丁香婷婷| 久久99久久99精品免视看婷婷| 九九热精品6| 色深爱五月| 第四色五月婷婷| 中文AV网| 97碰操| 久草A片| 色婷婷六月激情| 思思久热| 日韩九区| 欧美婷婷色| 婷婷五月天毛片| 日本一区二区三区精品视频| 99热这里只有精品26| 亚洲性图一区二区| 99热偷拍| 黄色av网站在线免费播放| 91视频免费后入强操| 九九色色| 色婷婷小说| 草草操操| 草榴成人影片| 丁香婷婷人妻| 久久这里都是精品| 婷婷五月天激情网| 偷偷操99| 五月婷婷花| 久久婷婷五月天| 影音先锋一区| 99视频免费播放| 五月伊人婷婷999| 六月丁香婷婷综合色播| 丁香婷婷情色五月天| 五月婷婷深深爱| 色婷婷四虎| 国产一级片| 婷婷婷色五月| 六月丁香婷婷色狠狠久久| 麻豆AV一区二区三区| 5月丁香婷婷激情网| 色婷久久| 人人操操97| 五月婷婷,六月激情| 日日.c| 国产色丁香| 天天拍天天操| 日韩操逼大片| 欧美色五月| 婷婷五月天性| 草榴视频网| 色综合色综合网| 色五月婷婷久久爱| 婷婷五月天国产性感美女演员久久久久| 日日日日操| 97超级碰碰碰| 九九色逼| 99久久激情视频| 91日日日| 亚洲亚洲人成综合网络| 丁香婷婷深情五月亚洲| 五月丁香久久| 人五月天婷婷喷水| 99这里都是精品| 久热精品视频在线观| 超碰在线国产| 丁香六月成人| 亚洲婷婷在线播放十月| 久综合九综合99| 夜夜大香蕉婷婷丁香| 久久婷婷激情五月天一区二区| 韩日另类| 丁香蜜臀黄色婷婷五月天| 成人精品视频99在线观看免费| 激情五月www| 亚洲一区国产传媒| 五月天色色无码| 色色五月婷婷丁香| 五月天激情综合网俺也去| 黄色国久久| 高清无码入口| 久er免费视频| 99在线小视频| www.狠狠| www,com,五月色色| 97色伦另类图片小说视频 | 五月伊人婷婷999| 欧美va在线| 色婷五月| www.99热| 黄色成人AV在线| 天天日天天摸| 午夜色丁香| 大香蕉综合在线| 欧美 色婷婷| 亚洲 视频 导航 一区| 色久在| 中文字幕无码成人电影| 五月婷婷激情久久| 久久人妻乱| 九月丁香| 一级七香蕉| 五月婷婷激情网| 五月天另类小说| 丁香婷婷人妻| 五月婷婷六月丁香首页| 国外亚洲成AV人片在线观看| 91精品久久久久久77777| 精品皮股午夜AV| 婷婷伊人久久| 成人国产网站| 精品欧美性爱超级爽| 激情综合网五月| 五月天狠狠干| 日日干日日色| 超碰资源在线| 久9热在线免费观看| 婷婷色五月激情| 色欲久久久久| 婷婷五月激情丁香激情| 超碰a女人的天堂| 成人草榴视频| 色一情一乱一乱一区91Av| 99视频只有精品| 丁香伊人综合| 婷婷五月天免费小说| 久久aaaaa| 国产高潮A片羞羞视频涩涩| 91大神操美女| 五月开心深爱激情网| 思思热99er在线视频| 久久人人九| 久久99激情五月天| 婷婷爱五月| 久久婷婷91| 夜夜操,天天撸| 婷婷六月网| 97资源碰碰| 色爱综合五月| 色www99| 99激情视频| 猫咪伊人久久| 五月欧美丁香在线观看| 色婷婷社区| 思思热性操 | 99视频在线观看网址| 蜜乳av一级av| 久久久国产精品黄毛片| 久热九九| XX色综合| 久久婷婷五月综合色奶水99啪| 九九热免费| 六月丁香基地| 噜噜色天天开心| 九色 在线| 欧美色偷偷大香| 成人在线观看精品| 一本大道熟女人妻中文字幕在线| 色噜噜狠狠色综无码久久合欧美| WWW免费视频碰碰碰碰| 色五月首页| 婷婷激情区| 丁香五月丐人妻| 婷婷五月香蕉| 伊人色综合影院视频| 久久丁香婷婷五月| 四川操逼站| 色婷婷狠狠18yy| 超碰免费人| 99热官网| 国产精品一区在线观看你懂的| 久久伊人五月天| 婷婷六月综合基地| 影音先锋91| 这里只有精彩视频| 殴美综合激情五月天免费视频| 色婷婷AV久久久久久久| 亚洲经典小视频| 99精品在线下载| 五月天六月天| 亚洲五月天伊人| 99热这只有| 丁香五月婷婷少妇| 国产精品久久99| 婷婷综合五月| 丁香五月天AV在线| 婷婷丁香视频在线观看免费| 亚洲色色爱| 五月丁香六月婷婷,婷| 久久丁香| 亚洲丁香婷婷五月天综合色| 99人这里只有精品| 色五月丁香激情| 欧美韩日AAA网站| 夜夜操夜夜姧| 99视频精品8| 99热这里只有精品69| 色亚洲色宗合| 亚洲激情免费视频| 丁香五月五月婷婷| 九九性爱网| 射久久丁香五月| 午夜成人综合| 99久视频| 五月天激情影院| 99热9| 538在线精品| 99视频这里有精品| 香蕉AV福利精品导航| 99∨VTV| 欧美电影在线观看| www超碰com| 婷婷五月日本| 午夜av网| 婷婷九月亚洲| 色婷婷91激情小说| 五月婷婷免费视频| 99热在这里只有精品| 99热精品免费| 综合久久婷婷| 五月婷婷六月丁香| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 五月天大香蕉| 99国产在线精品视频| 99网址在线观看| 99久高清视频| 五月丁香六月婷婷久久肏| 五月天激情小说| 午夜 外网 精品 在线| 天天操天天日天天操| 婷婷五月婷婷| 日日撸夜夜操| 极品精品一区二区三区在线| 五月婷婷婷| 五月丁香影院| 99热这里只有精品23| 五月婷婷综合在线视频小说| 婷婷激情四射| 色婷婷综合久久| WWW·色色色·COM| 激情啪啪五月天| 婷婷五月天a| 丁香激情五月天| 人人干av| 影音先锋91视频| 久久激情五月婷婷| 成人狠狠成人狠狠成人狠狠成人狠狠 | 开心网五月色婷婷| 丁香婷婷社区| 色婷小说| 桃色五月婷婷| 五月天五月天成人网亭亭成人色网站| 色丁香久久| 免费观看全黄做爰的视频 | 久久婷婷久久| 影音先锋91在线资源站| 色婷婷先锋| 激情五月丁香综合蜜桃| 婷婷婷婷婷开心无码播放| 婷婷精品在线| 久久您您综合网| 超碰93在线观看| 日本va欧美va精品发布视频| 激情五月天综合网| 久久99国产综合精品免费| 亚洲热久| 天天草天天爱| 夜色综合网| 蜜桃五月天| 天天操五月天| 亚洲婷婷丁香五月视频| 久久人人九九| 91碰碰视频在线观看| 久久东京热婷婷五月| 密乳视频| 狠狠综合| 色五月开心久久网| 第二色AⅤ| 五月天激情婷婷| 99精品成人无码A片观看金桔| CAOBIBI| 婷婷丁香五月天色播网站| 五月婷婷六月丁香激情| 少妇性按摩无码中文A片| 99热色婷婷| 六月婷伊人| 久9久成人精品视频| 99免费超碰在线| 九九AV在线| 亚洲综合色棒| 天堂成人A片永久免费网站| 国产91九色| 天天舔天天| 色九九综合| 影院久久久| 另类图片激情五月天| 色香久久| 人妻在线观看视频| 色婷婷丁香五月高清在线| 久久综合首页| 奇米影视在线视频| 五月丁香色五月| 啪啪激情综合| 99热99思午夜精品| 婷婷丁香五月激情中文字幕版| 丁香五月影视| AV在线收看| 久久草婷婷丁香网站| 大香蕉伊人久久| 亚洲精品444久久久久久| 五月丁香啪啪拍| 成人在线视频网| 91精品国产色猫| 夜夜天天天天天干天天爽| www.色婷婷。com| 激情五月综合| 91互操| 久久这里只有欧美| 激情五月婷婷| 色欲Av五月天| 色情五月丁香| 蜜桃婷婷狠狠久久| 日本五月婷婷| 9 7总站超级碰免费视频| Av性爱网| 天天插综合网| 五月丁香婷婷色色| 99riAv1国产在线观看| 任你干线上免费视频有3吗| 亚洲丁香五月深爱五月| 丁香五月激情综合| 五月丁香婷婷色色| 丁香五月网址| 婷婷久久免费| 色色色热| 一级黄色操B| www五月天激情com| 欧美久久婷婷| 婷婷丁香成人色综合| 无码毛片992367| 亚洲午夜av| 亚洲免费看片| 久久女婷| 91久久久久久久久18| 婷婷情色五月天| 91丨九色熟女丨首页| 人妻久久久久久久久久久| 亚洲六月色| 森林影视大全,最好看的2019年视频 | 丁香六月在线| 97在线精品| caop在线| 天天操B| 日本一级特黄大片AAAAA级| 中文字幕黄色电影网址| 色色色色色色色色网站| 狠狠色噜噜狠狠亚洲A∨| 丁香五月激情鲁| 综合色图婷婷| 综合五月天婷婷色| 在线中文字幕免费视频| 夜夜操,天天撸| 人妻免费网站| 色狠久| 五月色情婷婷| 丁香婷婷深情五月亚洲| 色欧美日| 桃色五月天| 婷婷综合网性| 婷婷五月综合社区| www.五月婷婷久久.com| 激情视频网址| 毛片网站谁有| 亚洲激情综合| 手机AVAV天堂看网| 婷婷五月性感| 天天色综合图片| 婷婷六月天| 五月丁香六月欧美综合网站| 99色日本| 99ri国产| 久热久色| 大地9中文在线观看免费高清| 欧洲亚洲免费视频区| 国产亚洲精品久久久久久豆腐| 亚洲婷婷丁香五月天激情小说 | 日韩欧美性爱| 色色色色色网| 99色色| 91九色国产| 久久丁香五月综合六月激情红杏视频| 色五月首页| 六月米奇色综合| 丁香综合日产精品久久| 日韩在线婷婷五月天综合| 色婷婷啪啪| 日本九婷婷| 996热re视频精品视频| 91丨九色丨东北熟女| 久久色频| 另类在线免费视频| 99热这里只有精品86| 99亚洲精品视频| 色~性~乱~伦~噜| 99re思思| 韩国中文字幕91| 久久色五月天激情小说| 国产无人区大片| 99综合| 久久国产精品乱子伦_靑青草…| 三级片AAA久久久AAA久久久AAA| 骚货艹网站视频| www.com色播五月天| www.色五月.com| 婷婷丁香视频在线观看免费| av中文字幕免费观看| 五月天精品视频| 九九热99熟女| 久久久97| 五月天影院| 激情五月天的婷婷| 综合久久婷婷| 丁香六月婷婷综合在线| 非洲一级AV| 五月丁香六月天| 久久久区区一久久久久久| 狠狠色噜噜色狠狠狠综合色 | 天天爱天天做天天| 久久五月丁香婷婷| 好吊兆人妻| 色色综合激情| 色爱综合视频| 色色色五月| 97色婷婷| 这里只有精品在线免费视频| 狼人婷婷综合| 久草热久草在线视频| 五月婷婷激情久久| 久操人妻| 六月婷婷综合网2| 久久五月天网| 五月色丁香成人| 色五月色情| 啪啪啪大香蕉| 欧美天天干天天草| 99精品久久久| 香蕉婷婷五月| 日本色图综合| 第四色婷婷五月| 九九热在线99| 国产精品久久欧美久久一区| 天天插天天射| 欧美婷婷五月激情| 色婷婷国产精品综合在线观看| 九九热精品| 99热在线成人网站| AV色五月婷婷| 国洲夜色亚热在线久久| 婷婷五月天激情网| 日本狠狠网| 亚洲激情丁香五月天色| 91久久九色| 久久久五月天| nvrentiantang av| 欧美激情xxxXX| 五月香蕉婷婷| 亚洲深喉aV| 中美日韩成人在线| 色综合综合网| 五月婷婷激情综合在线| 1024你懂的欧美曰韩| 婷婷五月色| 五月婷婷69| 亚洲AV激情五月综合网| 任你擦免费视频| 日韩一级一片内射视频4K| 大香蕉啪啪| 99这里只有精彩视频| 婷婷在线视频| 激情丁香五月AV| 无码AV免费精品一区二区三区 | 婷婷五月婷| 综合激情啪啪| 蜜臀av粉嫩av懂色av| 乱乱av| 人妻AV在线| 激情五月天激情小说| 丁香婷婷免费| 任你爽免费视频| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 精品婷婷| 久久激情五月婷婷| 亚洲成人在线五月天| 成人婷婷桔色| 特黄三级片| www,99色| 欧美色片中文字幕久久久久| 婷婷五月天久久久| 婷婷五月天综合网| 色六月视频| 亚洲色色图片| 色婷婷免费观看| 日韩性爱无码| 婷婷五月丁香图片人人操| 深爱激情五月天| 99乱视频| 永久精品| 日韩色情亚洲五月天婷婷| 亚洲中文丁香| 亚洲综合视频在线| 9伊人网| 超碰人人插| 综合五月天| 久久五月婷| 色综合色| 色播五月婷婷五月| 亚洲激情区| 热的国产,热的综合,热的有码| 久久99婷婷| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 天天干狠狠| 五月婷婷六月奇米网丁香| 五月天婷亚洲综合在线嫩草网| 六月婷婷激情| 九九色大香蕉| 少妇婷婷五月天| 久久38视频| 婷婷五月天天| 欧美顶级少妇做爰HD| 久久99精品视频| 丝袜大香蕉| WWW99热| 婷婷五月丁香五月| www夜夜| 丁香五月a| 丁香婷婷色五月合集| 婷婷开心青青草| 伊人五月婷婷| 婷婷五月黄色激情在线| 婷婷啪啪| 99热这里是精品| 亚洲操逼片| 99九九综合久久九九| 热99在线精品| www.99热在线| 国产超碰人人| 9精品视频在线| 欧美丁香五月| 97成人在线视频精品| 天天透天天干| 伊人玖玖综合| 人妖色AV色综合| 综合色视频| 五月丁香偷拍| sewuyuetingtingiii| 99人人看| 久久精品天| 99久高清视频| 五月天婷婷久草丁香| 久久九⑨| 91色在线 | 日韩| 亚洲秘 无码一区二区三区妃光/1| 狠狠九九婷婷韩| 91性高潮久久久久久久久| 99亚洲精品视频| 色情五月综合婷婷| 国产成人综合网| 九九色色| 中国女人做爰A片| 中文字幕成人网站| 一本婷婷丁香久久| 1024在线视频| 高清国产AV| 婷婷色在线播放| 五月停停999| 网色99| 狠狠香蕉| 婷婷四月 成人 狠狠干| 久久性爱视频免费| 99在线视频精品| 丁香五月天啪啪激情综和网| 五月婷精品| 色色a| 欧美五月婷婷| 九九色综合九九色| 丁香五月天激情| 国产肥白大熟妇BBBB视频| 丁香五月欧美婷婷综合| 精品国产a| 成人短视频在线免费观看| 熟女网站久久| 亚洲小视频免费观看| 婷婷色天香| 伍月婷丁香花全集| 欧美综合激情丁香五月六月婷| 天天干,夜夜爽| www.五月婷婷| 久操热| 97日韩无套内| 91刘玥视频在线观看| 91九色国产熟女| 97色碰| 九九激情视频| 91九色小视频| 丁香婷最新动态| 婷婷色系婷色| 深爱激情网五月天| 五月婷婷深深爱| 午夜婷婷| 国产精产国品一二三在观看| av一区二区电影免费在线观看| 天堂爱啪啪| 激情综合五月婷| 久久五月丁香激情综合| 天天插天天插天天插| 五月天另类激情在线| 91丨九色丨东北熟女| 欧美 日韩 人妻 高清 中文| 丁香婷婷久| 大香蕉久热| 久久99热这里只有| 狠狠狠狠狠操| 色播五月综合网| 五月天激情小说| 久久丁香综合香蕉| 婷婷婷久久久| 五月丁香婷成人网| 亚洲欧美999| 超碰人人操人人干| 久久精品国产AV一区二区三区 | 色婷婷a| 伊人大香五月天| www.色擼擼.com| 婷婷丁香花五月天| 69精品人人人人| 狠狠久久婷| 久久精彩免费视频精彩免费视频| 久久人妻情侣| 色老久久| 国产成人精品一区二区三区视频| 色五月综合97| 只有精品在线观看| 毛片毛片毛片毛片| 91日本在线观看| 亚洲偷| 九月婷婷色色| 婷婷丁香五另类网站| 色五婷婷在线视频| av九九| 欧美三级视频下载| 另类的婷婷| 五月婷婷五月天激情网| 五月天播播| 欧美日韩一区二区三区四区| 日本一级黄色电影| 激情五月天www| 97福利视频| 五月婷婷六月激情| 亚洲综合久| 国产精品婷婷午夜在线观看| 激情色色| 9色天堂| 婷婷五月天成人五月天| 99热最新| 91狠狠综合久久久久久| 五月丁香六月婷婷综合| 思思99精品视频在线观看| 天天爽天天| 白人荫道BBWBBB大荫道| 色情五月天。| 六月婷婷狠狠做| 五月丁香六月香香蕉| seuuu婷婷| 久久婷婷五月天懂色| 五月丁香婷婷潮喷中文字幕| 五月丁香六月婷婷网| 激情色情五月天| 久婷婷五月激情| 99热精品在线观看| 日韩色色色色| 五月婷婷大香蕉| 婷婷六月丁香欧美视频在线| JAPANRCEP老熟妇乱子伦视频| 99熟女啪啪视频| 国产片色| 涩五月婷婷| 婷婷va| 色婷婷狠狠色| 97色色视频| 天天综合网~91| 99视频精品8| 亚洲操操| 丁香五月性爱爱五月| 99热这里只有精品13| www.色婷婷| 九九精品婷| 中国AV性爱观看| 日韩操人| 97久操视频| 六月婷婷国产| 97操操| 色色色综合色| 丁香午夜天| 精品久久久久成人码免费动漫 | 国产成人网址| av色婷婷| 色五月播五月| 操精品9| 色婷婷深爱五月| 99热这里只有精品22| 六月激情婷婷综合| 九九在线这里只有精品视频| 亚洲国产精品VA在线看黑人| 婷婷五月天在线看| 91碰碰视频| www亚洲无码| 欧洲高清免费久久| 色爱综合网| 99久久精| 久久9视频欧美| 婷婷色六月| 五月丁香激情在线| 国产精产国品一二三在观看| 久久久婷| 夜夜资源站| 777久久久| 婷婷五点亚洲| 丁香,开心成人,久久| 久久综合热17c| 久久精品这里只有精品免费首页| 九九99精品视频| 天天插综合网| 超级久久久| 可以直接看的AV网站| 99国产精品白浆在线观看免费| 久久视这里只有精品| 婷婷午夜精品久久久| 色婷婷狠狠久久YY| 久久这里只有精品99| 最熟少妇乱码| 久久久久久久久久人妻| 97色五月婷婷在线| 人人天堂操| 大地资源色婷婷视频在线| 婷婷五月天成人娱乐| 色综合激情| 欧美在线干| 91热在线| 亚洲综合草草| 伊人久久大香蕉网| 综合一区二区三区| 色色亚洲| 丁香五月婷婷偷拍| 婷婷五月天福利| 欧美色碰| 欧美精品18| 啪啪东京热| 色婷婷丁香五月在线观看| 91主播在线| 噜噜久| 另类图片五月天激情| 久热网站| 亚洲激情六月| 99久久玖玖| 日韩天堂久久| 色综合色色| 激情五月婷婷啪啪| 五月天成人小说| 日本情色一区二区| 26uuu亚洲| 影音先锋 一区| 亚洲操操操| 婷婷狠狠97| 婷婷久久精品| 婷婷久久综| 亚洲精品无码久久| 色情五月婷婷| 色婷婷六月天| 精品婷婷五月视| 久久人妻熟女一区二区| 色色婷婷综合网| www.一区二区三区| 亚洲99精品欧美一区| 丁香婷婷婷五月综合色情| 婷婷五月花| 亚韩在线视频| 97色色综合| 五月香蕉综合| 久久精品一区二区三区四区| 热这里| 99热99日天天干| 婷婷狠狠操| 久色激情| 久久婷婷伊人| 五五月丁香花激情综合网| 少妇被躁爽到高潮无码文| 五月天色在线| 婷婷五月欧美| 亚洲精品视频电影| 亚洲欧美婷婷五月色综合| 国产日韩欧美性爱| 婷婷五月激情片| 天天日日| 激情综合五| 婷婷午夜精品久久久| 五月天国产| 五月婷婷丁香大陆免费| 黄色激情网站在线观看| 亚洲色五月婷婷| 久久久精品AV| 99色视频| 伊人丁香婷婷东京| 亚洲中文字幕在线电影| 色综合五月| 激情九月婷婷| 1000部毛片A片免费观看| 99久久综合精品五月天| 五月天色站| 欧美婷婷丁香五月社区| 九九热只有这里精品| 久久97久久99久久综合欧美| www99热| www.91.com黄| 91五月天| 五月草影视| 成人午夜免费电影| 婷婷俺去也| 丁香八月综合激情| 色综啪啪啪啪啪啪| 九九色色网| 国产成人AV人人爽人人澡Va| 亚洲超碰中文字幕| 9有码中文| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | www一起操在线观看| 日本色色色| 五月丁香综合伦理片| 噜噜五月天综合| 亚洲网视屏| 天天操夜夜夜拍拍拍| 大香蕉丁香| 五月丁香六月婷婷久久| 婷婷五月天99| 《久久综合九色综合97婷婷| www婷婷| 九九精品在线网| 色婷婷a v| 国产FREESEXVIDEOS性中国| 色99热| 色射影院| 苗黎美女四级成人版一级二级毛片| 综合噜噜| 久久人妻久久久久| 亚洲成人av中文| 九九aV| 婷婷四色五月| 日本99色| 五月天婷婷小说| 噜噜色噜噜网| 五月丁香六月在线欧美| 99热综合在线观看| 欧美精品99| 99爱最新免费视频在线观看| 97色色综合| 丁香婷婷综合激情五月色| 五月婷婷五月丁香| 天天做天天爱天天爽夜夜揉| 九九伦子片| 色五月天在线观看| 丁香五月a| 五月丁香啪| 9|在线观看视频| 丁香六月五月天| 亚洲欧州色情在线观看| 91男同| yw国产AV| 夜夜操天天干| 岛国AV网| 丁香五月自拍| 欧美啪啪五月天| 五月婷婷激情网| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 99re8这里只有精品99re8热视频| 99热这里只有精品 搜| 色啪网| 天天久久九九| 99热官网| 婷婷久久丁香| 亚洲丁香五月深爱五月| 色欲五月婷婷| 青青草婷婷五月天| 99热91| 狠狠狠狠狠狠狠狠| 久热这里只有精品在线观看| 99久久久久久久| 青草青草视频2免费观看| 成人五月天丁香婷| 99思思热只有在这里看| 五月丁香六月婷婷综合在线| 激情婷婷丁香色五月| 日日干夜夜干| 婷婷在线综合| 丁香婷婷激情网站| 狠狠操天天操| 婷婷涩涩五月天| 日本美女97在线视频| 五月婷婷成人| 五月天成人综合| 激情五月婷婷啪啪| 亚洲午夜AV| 久99精品视频| 91性交在线播放| 天天色视频| 天天综合色| 天天成人丁香美女AV| 天天想夜夜爽天天爽| 色播五月天婷婷老师| 五月停视频天堂| 在线不卡视频| 97干免费视频| 亚亚州久久高潮| 狠狠色狠狠鲁| 思思99热这里只有精品| 五月天另类图片区99| 丁香五月综合网| 超碰免费在线| 久月婷婷| 五月丁香六月婷婷姐| 激情 婷婷 丁香五月天| 久久久色婷婷五月天| 久久与婷婷| 婷婷久久色| 激情性爱五月天网页| 色人久久| 91操网| www.五月丁香| 丁香五月婷婷在线视频| 日本精品。999| 欧美日韩91| 六月色激情| Www.Av网9| 久久黄色片| 777精品久无码人妻蜜桃| 99热精品在线| 日韩成人电影在线播放| 天天狠狠夜夜狠狠2023| 天堂草在线观| 精品综合久久久久久五月天| 色婷婷黄色网络| 亚洲成人AV在线播放| 狠狠草网| 大香蕉伊然在亚洲90| 天堂久久丁香| 人妻内射一区二区在线视频| 色色色色网| 午夜免费试看| 欧美超级视频97| 99热这里是精品| 九九色综合视频| 久久视频九九视频| 五月婷婷色丁香| 天天拍夜夜撸| 婷婷丁香五月亚洲欧美| 日本久热| 外国碰视频网站97| 色99在线| 婷婷五六日| 五月天第四色开心色播| www.丁香五月| 在线婷婷| 日本色天堂| 五月丁香在线观看99| 婷婷久久婷婷| 操婷婷基地| 96色婷婷| 丁香六月婷婷久久亚洲天堂| 色操综合| 大香蕉丁香五月| JlZZJlZZ8JlZZ亚洲熟女| 美女久久婷婷| 伊人五月婷| 五月天丁香婷婷久久九| 婷婷婷婷午夜| 热久久999| 91操黄| 五月停视频天堂| 人五月天婷婷喷水| 九久九精品| 操逼电影免费看| 国产首页在线| 色综合网页| 另类图片五月天激情| 日本操B片| 丁香五月 无码| 久色大香蕉| 牛牛色av| 色情五月| 第四色网婷婷| 日韩精品一区二区亚洲AV观看| 99久操| 午夜爱插插| 亚洲精品视频在线播放| 九九九这里只有精品| 婷婷久久欧美| 精品国产人人爱人人| 天天干天天日天天插| 狠狠干激情五月| 日韩欧美骚货| 99热这里只有精品2| 99热在线只有精品| 欧美丁香五月| 丁香五月综合激情啪啪| 第四色激情网| 夜夜爽天天干| 婷婷视频网| 久久视频在线视频| 春色激情| 亚洲婷婷综合视频| 婷婷色操| 婷婷的99视频网站| 丁香六月开心| 婷婷六月综合在线| 综合色色婷婷| 日韩爱操视频| 影音先锋天天日| 婷婷五月天久久久| 五月丁香五月综合欧美| 国产精品VIDEOSSEX久久发布| 中文字幕无码AV| 97操碰日本女人| 五月婷婷综合影院| 婷婷五月丁香综合| 丁香婷婷五月天色综合| 深爱开心激情网| 99成人小视频| 五月婷婷视频在线观看| 综合大香蕉| 色99视频| 色狠狠婷婷| 丁香五月综合首页| 色婷婷在线播放| 新99思思视频| 99热这里只有精品1998| 色婷婷五月在线| 超碰女人天堂| 五月婷丁香| 日韩不卡123| 中日韩狠狠色| 欧美噜噜噜草| 六月天无码网址| WWW.婷婷| 四色永久成人网站| 无码AV免费精品一区二区三区| 欧美三级韩国三级日本三斤| 精品99在线观看| 六月丁香婷| 精品99爱免费视频在线观看| 十月色综合| 大香蕉综合| 成人美女网| 丁香色影院| 超碰免费在线| 五月四色婷婷| 这里只有精品视频在线| 俺去也五月| 五月天丁香婷婷久久九| 色色综合激情| 五月丁香久久综合| 99热久草| 猫咪伊人久久| 亚洲婷婷五月天| 久久六月综合| 激情小说五月天| 激情五月天婷婷视频| 97色天堂|