欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

多Agent通信底座Agent-Reach:基于路由表與收件箱的可靠消息投遞實(shí)踐

多Agent通信底座Agent-Reach:基于路由表與收件箱的可靠消息投遞實(shí)踐 1. 從一場(chǎng)聯(lián)調(diào)事故說(shuō)起Agent 之間為什么總失聯(lián)上個(gè)月我們內(nèi)部做一次多 Agent 協(xié)作的壓測(cè)場(chǎng)景很簡(jiǎn)單一個(gè)規(guī)劃 Agent 接到用戶需求后拆出三個(gè)子任務(wù)分發(fā)給檢索 Agent、代碼生成 Agent 和質(zhì)檢 Agent。聽起來(lái)很常規(guī)對(duì)吧結(jié)果第一次跑通就翻了車。規(guī)劃 Agent 拿著子任務(wù)的執(zhí)行結(jié)果去做匯總發(fā)現(xiàn)三個(gè)子 Agent 的響應(yīng)里有兩個(gè)超時(shí)一個(gè)返回了別的主線的中間結(jié)果。日志里全是Connection refused和Task not found。當(dāng)時(shí)我們幾個(gè)工程師對(duì)著監(jiān)控面板面面相覷每個(gè) Agent 單測(cè)都是好的服務(wù)也都活著為什么一協(xié)作就變成一鍋粥問(wèn)題出在一個(gè)被絕大多數(shù)人忽視的環(huán)節(jié)Agent 之間的尋址和投遞完全是裸奔的。單體 Agent 內(nèi)部怎么調(diào)函數(shù)都行一旦拆成多個(gè) Agent 獨(dú)立部署、各自維護(hù)狀態(tài)你面對(duì)的就是一個(gè)分布式系統(tǒng)最經(jīng)典的三個(gè)難題——服務(wù)發(fā)現(xiàn)、可靠投遞、失敗恢復(fù)。當(dāng)時(shí)市面上有不少編排框架但要么太重強(qiáng)制你上全套工作流引擎要么太輕只做 HTTP 轉(zhuǎn)發(fā)真正適合中小團(tuán)隊(duì)自建 Agent 網(wǎng)絡(luò)的通信底座幾乎是空白。我花了三周時(shí)間寫了一個(gè)叫 Agent-Reach 的協(xié)調(diào)層組件用來(lái)解決上面這堆破事。這篇文章就把它的設(shè)計(jì)思路、核心實(shí)現(xiàn)、以及我在真實(shí)壓測(cè)中踩過(guò)的坑全部攤開講。適合正在搭多 Agent 系統(tǒng)、被互聯(lián)互通折磨得想罵人的同學(xué)參考。它不是銀彈但能讓你從天天救火變成睡個(gè)安穩(wěn)覺。2. 設(shè)計(jì)之前先把Agent 通信這件事拆明白2.1 三種通信模式你混用了嗎動(dòng)手寫代碼之前我先把 Agent 之間的通信模式梳理了一遍。幾乎所有協(xié)作場(chǎng)景都逃不出這三種第一種是請(qǐng)求-響應(yīng)規(guī)劃 Agent 派活給執(zhí)行 Agent等它干完把結(jié)果拿回來(lái)。這是最常見的模式也是最容易出問(wèn)題的因?yàn)橐淮握?qǐng)求的完整鏈路包含派活、執(zhí)行、回傳、確認(rèn)任何一環(huán)斷了對(duì)調(diào)用方來(lái)說(shuō)都是超時(shí)。第二種是事件廣播比如一個(gè) Agent 監(jiān)測(cè)到配置變更需要通知所有相關(guān) Agent 刷新緩存。這種模式對(duì)送達(dá)的要求沒(méi)那么嚴(yán)格漏一兩個(gè)訂閱方可以接受但你不能把關(guān)鍵事件也做成廣播——那純粹是給自己埋雷。第三種是流式推送適合長(zhǎng)時(shí)間運(yùn)行的任務(wù)比如代碼生成 Agent 每產(chǎn)出一個(gè)文件就往倉(cāng)庫(kù) Agent 推一條消息。流式場(chǎng)景里真正難的不是推而是斷點(diǎn)續(xù)傳和消費(fèi)位點(diǎn)管理。Agent-Reach 的核心思路很簡(jiǎn)單所有模式統(tǒng)一抽象成消息只不過(guò)消息的投遞語(yǔ)義不同。請(qǐng)求-響應(yīng)是request類型廣播是event類型流式推送是stream類型再加上一個(gè)ack類型專門做確認(rèn)回執(zhí)。類型一收攏后面的存儲(chǔ)、路由、重試邏輯就都能統(tǒng)一處理了。當(dāng)時(shí)我自己的踩坑經(jīng)歷是第一版把所有通信都 HTTP 同步調(diào)以為最簡(jiǎn)單。結(jié)果廣播一多Agent 之間互相等鏈路一長(zhǎng)就雪崩。后來(lái)才意識(shí)到同步調(diào)用只能用于請(qǐng)求-響應(yīng)事件廣播和流式推送必須走異步隊(duì)列這是架構(gòu)層面的紅線不是優(yōu)化層面的喜好。2.2 注冊(cè)中心不Agent-Reach 用路由表 租約很多人的第一反應(yīng)是上 ZooKeeper 或者 etcd 做服務(wù)發(fā)現(xiàn)。但我做 Agent-Reach 時(shí)的約束條件很明確不想引入額外的基礎(chǔ)設(shè)施團(tuán)隊(duì)里沒(méi)人愿意專門維護(hù)一個(gè)注冊(cè)中心集群。所以我把服務(wù)發(fā)現(xiàn)做成了基于租約lease的輕量路由表直接嵌在協(xié)調(diào)節(jié)點(diǎn)進(jìn)程里。每個(gè) Agent 啟動(dòng)時(shí)向 Agent-Reach 的協(xié)調(diào)節(jié)點(diǎn)注冊(cè)自己注冊(cè)信息包括Agent 編號(hào)、服務(wù)名、能力標(biāo)簽比如capability:codegen、回調(diào)地址、以及一個(gè) TTL 租約。協(xié)調(diào)節(jié)點(diǎn)維護(hù)一張內(nèi)存路由表Agent 每隔 TTL/2 的時(shí)間續(xù)租一次。租約過(guò)期沒(méi)續(xù)上路由表就把這個(gè) Agent 標(biāo)記為不可用再等一個(gè)寬限期就徹底剔除。這套機(jī)制跟注冊(cè)中心比犧牲了跨節(jié)點(diǎn)容災(zāi)和歷史變更追溯換來(lái)了零依賴、毫秒級(jí)感知故障對(duì)小規(guī)模 Agent 網(wǎng)絡(luò)幾十個(gè)節(jié)點(diǎn)以內(nèi)完全夠用。你要問(wèn)我什么時(shí)候該上 etcd當(dāng) Agent 數(shù)量超過(guò)一百、協(xié)調(diào)節(jié)點(diǎn)需要多活、或者你需要嚴(yán)格的版本兼容管理的時(shí)候再考慮不遲。路由表里還有一個(gè)容易被忽略的設(shè)計(jì)能力路由。調(diào)用方不指定具體 Agent 編號(hào)只聲明我要一個(gè)能做代碼生成的 Agent。協(xié)調(diào)節(jié)點(diǎn)會(huì)根據(jù)能力標(biāo)簽、當(dāng)前負(fù)載、租約新鮮度三個(gè)維度打分選一個(gè)最合適的投遞目標(biāo)。這個(gè)設(shè)計(jì)讓 Agent 網(wǎng)絡(luò)具備了一定的彈性——某個(gè) Agent 掛了能力路由會(huì)自動(dòng)把任務(wù)分給同能力的另一臺(tái)。2.3 為什么必須引入收件箱我見過(guò)不少團(tuán)隊(duì)做 Agent 通信直接在回調(diào)地址上做 POST然后把任務(wù) ID 掛在 URL 上。表面看能跑但有一個(gè)致命問(wèn)題Agent 執(zhí)行任務(wù)期間可能重啟、可能斷網(wǎng)重啟之后回調(diào)地址可能都變了。這時(shí)候任務(wù)狀態(tài)就丟了你根本不知道它執(zhí)行到哪一步。Agent-Reach 給每個(gè) Agent 維護(hù)一個(gè)持久化收件箱。所有發(fā)往該 Agent 的消息先進(jìn)收件箱Agent 處理完一條彈出一條。收件箱的存儲(chǔ)我用的是本地嵌入式數(shù)據(jù)庫(kù)SQLite 就夠用單機(jī)場(chǎng)景沒(méi)必要上 PostgreSQL每條消息記錄message_id、type、payload、status、create_time、attempts六個(gè)字段。消息的流轉(zhuǎn)狀態(tài)機(jī)是pending → processing → done或者pending → processing → failed → pending待重試。收件箱的價(jià)值在于Agent 的消費(fèi)進(jìn)度不依賴進(jìn)程內(nèi)存重啟后從數(shù)據(jù)庫(kù)里接著干。這本質(zhì)上就是 Outbox 模式在 Agent 場(chǎng)景的應(yīng)用。我當(dāng)時(shí)想明白這一點(diǎn)之后很多任務(wù)神秘消失的問(wèn)題都迎刃而解了。3. Agent-Reach 的核心實(shí)現(xiàn)注冊(cè)、路由、投遞、回執(zhí)3.1 注冊(cè)與租約續(xù)期的代碼骨架Agent 端的啟動(dòng)注冊(cè)邏輯我用 Python 寫了個(gè)示例實(shí)際項(xiàng)目里不管什么語(yǔ)言套路是一樣的import asyncio import time import httpx class AgentClient: def __init__(self, agent_id, coordinator_url, callback_url, ttl30): self.agent_id agent_id self.coordinator_url coordinator_url self.callback_url callback_url self.ttl ttl self.lease_task None async def register(self, capabilities): payload { agent_id: self.agent_id, callback_url: self.callback_url, capabilities: capabilities, ttl: self.ttl } async with httpx.AsyncClient() as client: resp await client.post(f{self.coordinator_url}/register, jsonpayload) if resp.status_code 200: self.lease_task asyncio.create_task(self._keep_lease()) async def _keep_lease(self): interval self.ttl / 2 while True: await asyncio.sleep(interval) async with httpx.AsyncClient() as client: await client.post( f{self.coordinator_url}/renew, json{agent_id: self.agent_id} )這里有一個(gè)細(xì)節(jié)續(xù)租間隔我特意設(shè)為 TTL 的一半而不是 TTL。網(wǎng)絡(luò)抖動(dòng)是常態(tài)如果間隔設(shè)成接近 TTL一次偶發(fā)超時(shí)就會(huì)導(dǎo)致 Agent 被誤判下線然后能力路由把任務(wù)發(fā)給別的 Agent造成重復(fù)執(zhí)行。TTL30 秒、每 15 秒續(xù)租一次既能容忍一定網(wǎng)絡(luò)波動(dòng)又能讓故障感知控制在 30 秒內(nèi)算是一個(gè)經(jīng)過(guò)壓測(cè)驗(yàn)證的平衡值。協(xié)調(diào)節(jié)點(diǎn)那端維護(hù)租約的數(shù)據(jù)結(jié)構(gòu)也很直接class LeaseRegistry: def __init__(self): # agent_id - {capabilities, callback_url, last_renew, status} self.agents {} def renew(self, agent_id): if agent_id in self.agents: self.agents[agent_id][last_renew] time.time() self.agents[agent_id][status] online def sweep(self, now, ttl, grace_period): # 定期清掃過(guò)期租約 for agent_id in list(self.agents.keys()): last self.agents[agent_id][last_renew] if now - last ttl: self.agents[agent_id][status] suspect if now - last ttl grace_period: del self.agents[agent_id]grace_period這個(gè)參數(shù)我吃過(guò)虧后面專門講。現(xiàn)在先記住一個(gè)原則判定下線要慢標(biāo)記可疑要快真正剔除要更慢。寧可讓一個(gè) Agent 被短暫重復(fù)投遞也不能讓一個(gè)活著的 Agent 被永久剔除。3.2 消息投遞的三段式入隊(duì)、分揀、回執(zhí)消息從調(diào)用方發(fā)出到被 Agent 消費(fèi)Agent-Reach 的處理管線是三段式的第一段入隊(duì)。調(diào)用方調(diào)用POST /dispatch協(xié)調(diào)節(jié)點(diǎn)把消息寫入目標(biāo) Agent 的收件箱狀態(tài)置為pending然后立刻返回一個(gè)message_id。注意這里不是同步轉(zhuǎn)發(fā)無(wú)論目標(biāo) Agent 是否在線消息都已經(jīng)落庫(kù)了。這個(gè)設(shè)計(jì)保證調(diào)用方不需要等目標(biāo) Agent 就緒消息一定不會(huì)丟。第二段分揀。Agent 端有一個(gè)長(zhǎng)輪詢的消費(fèi)者線程每隔幾百毫秒向協(xié)調(diào)節(jié)點(diǎn)拉取自己收件箱里statuspending的消息。為什么用拉而不是推因?yàn)橥颇J较?Agent 重啟期間推送的消息會(huì)堆積在協(xié)調(diào)節(jié)點(diǎn)的內(nèi)存緩沖里Agent 恢復(fù)后容易重復(fù)消費(fèi)或漏消費(fèi)。拉模式天然支持?jǐn)帱c(diǎn)續(xù)傳Agent 重啟后從數(shù)據(jù)庫(kù)里恢復(fù)自己的消費(fèi)位點(diǎn)再繼續(xù)拉。這就是前面說(shuō)收件箱的價(jià)值落地。第三段回執(zhí)。Agent 處理完消息后調(diào)用POST /ack傳message_id和處理結(jié)果。協(xié)調(diào)節(jié)點(diǎn)把消息狀態(tài)從processing改為done。如果 Agent 處理失敗調(diào)用POST /nack協(xié)調(diào)節(jié)點(diǎn)根據(jù)attempts字段判斷是重試還是進(jìn)入死信。調(diào)用方怎么拿到最終結(jié)果每個(gè)request類型消息都有一個(gè)reply_to字段指向調(diào)用方自己的收件箱。目標(biāo) Agent 處理完結(jié)果作為一條reply消息進(jìn)調(diào)用方的收件箱調(diào)用方拉取即可。你會(huì)發(fā)現(xiàn)每個(gè) Agent 既是消息的生產(chǎn)者也是消費(fèi)者整個(gè)網(wǎng)絡(luò)是對(duì)稱的。這個(gè)設(shè)計(jì)讓 Agent-Reach 天然支持多級(jí)流水線Agent A 派活給 BB 的回復(fù)進(jìn) A 的收件箱A 繼續(xù)往下派。3.3 重試策略指數(shù)退避與死信隊(duì)列消息重試是最容易拍腦袋設(shè)計(jì)的部分。我第一版寫的是固定間隔重試 3 次每次間隔 5 秒。實(shí)測(cè)下來(lái)問(wèn)題很大如果目標(biāo)服務(wù)因?yàn)檫^(guò)載而拒絕固定 5 秒重試三次等于在人家最忙的時(shí)候又捅了三刀。正確姿勢(shì)是指數(shù)退避加抖動(dòng)。重試間隔 base_interval * 2^attempt再乘以一個(gè)隨機(jī)因子比如在 0.8 到 1.2 之間浮動(dòng)。base_interval 建議 2 秒起最大間隔封頂 120 秒。同時(shí)設(shè)置max_attempts超過(guò)之后進(jìn)死信隊(duì)列由人工或其他兜底 Agent 處理。這是我實(shí)測(cè)下來(lái)的重試參數(shù)表可以直接抄參數(shù)值說(shuō)明base_interval2s首次重試的基礎(chǔ)等待時(shí)間max_interval120s重試間隔封頂避免無(wú)限拉長(zhǎng)backoff_factor2指數(shù)增長(zhǎng)的底數(shù)jitter0.8 ~ 1.2隨機(jī)抖動(dòng)避免驚群max_attempts5超過(guò)進(jìn)死信隊(duì)列dead_letter_ttl7d死信消息保留時(shí)間還有一個(gè)坑重試要盡量在協(xié)調(diào)節(jié)點(diǎn)做不要在 Agent 端做。如果你讓 Agent 自己重試Agent 重啟后重試狀態(tài)就丟了而且無(wú)法全局控制重試頻率。協(xié)調(diào)節(jié)點(diǎn)統(tǒng)一管重試才能和路由表聯(lián)動(dòng)——目標(biāo) Agent 已經(jīng)下線了就直接把消息重新路由給另一個(gè)能力相同的 Agent而不是傻等。4. 壓測(cè)中踩過(guò)的三個(gè)坑你以為穩(wěn)了其實(shí)全是隱患4.1 坑一租約寬限期設(shè)置不當(dāng)導(dǎo)致的腦裂式重復(fù)消費(fèi)第一次壓測(cè)跑 50 個(gè)并發(fā)任務(wù)時(shí)我觀察到一個(gè)詭異現(xiàn)象同一份任務(wù)被執(zhí)行了兩遍而且兩個(gè)執(zhí)行 Agent 都不認(rèn)為自己有問(wèn)題。查下來(lái)的根因是租約寬限期設(shè)太短。我當(dāng)時(shí) TTL 設(shè) 15 秒寬限期設(shè) 5 秒。某次壓測(cè)時(shí)協(xié)調(diào)節(jié)點(diǎn)的 GC 停頓了 8 秒期間所有 Agent 的續(xù)租請(qǐng)求都沒(méi)處理。等 GC 結(jié)束協(xié)調(diào)節(jié)點(diǎn)認(rèn)為所有 Agent 都過(guò)期了把任務(wù)重新路由給備用 Agent。原 Agent 其實(shí)只是沒(méi)續(xù)上租任務(wù)還在正常執(zhí)行于是兩邊同時(shí)處理產(chǎn)生重復(fù)結(jié)果。修復(fù)方案分兩層。第一層寬限期改成 TTL 的兩倍也就是至少 30 秒讓 GC 之類的偶發(fā)停頓不至于引起大規(guī)模誤判。第二層投遞時(shí)帶上execution_tokenAgent 每次真正開始執(zhí)行前要把 token 從pending搶到processing這個(gè)操作是原子的。誰(shuí)搶到 token 誰(shuí)執(zhí)行搶不到的自動(dòng)放棄。這相當(dāng)于給消息投遞加了一把分布式鎖重復(fù)路由的問(wèn)題從根上被堵住了。4.2 坑二Agent 間循環(huán)調(diào)用引發(fā)的消息風(fēng)暴Agent 協(xié)作系統(tǒng)有一個(gè)特別隱蔽的陷阱循環(huán)調(diào)用。A 給 B 派活B 處理不了轉(zhuǎn)給 CC 覺得應(yīng)該找 A于是一圈一圈轉(zhuǎn)下去。由于每條消息都在收件箱里有記錄這個(gè)循環(huán)不會(huì)造成傳統(tǒng)意義上的死循環(huán)——它是會(huì)結(jié)束的但每一步都在產(chǎn)生新消息最終把協(xié)調(diào)節(jié)點(diǎn)的消息表?yè)蔚綆资f(wàn)行。我在壓測(cè)里設(shè)計(jì)了一個(gè)查不到數(shù)據(jù)就轉(zhuǎn)給上一個(gè) Agent 補(bǔ)充的流程結(jié)果三條消息在四個(gè) Agent 之間轉(zhuǎn)了幾十輪消息表膨脹到十幾萬(wàn)條SQLite 的寫入性能崩了。解法有兩個(gè)缺一不可。第一個(gè)是跳數(shù)上限每條消息加一個(gè)max_hops字段默認(rèn) 10每經(jīng)過(guò)一次轉(zhuǎn)發(fā)減一歸零就把消息丟進(jìn)死信。第二個(gè)是轉(zhuǎn)發(fā)軌跡追蹤協(xié)調(diào)節(jié)點(diǎn)在消息的trace字段里記錄所有經(jīng)過(guò)的 Agent 編號(hào)每次轉(zhuǎn)發(fā)前檢查 trace如果發(fā)現(xiàn)目標(biāo) Agent 已經(jīng)在自己這條軌跡里說(shuō)明出現(xiàn)了環(huán)直接終止并告警。這兩個(gè)機(jī)制加起來(lái)循環(huán)調(diào)用最多造成一條死信消息不會(huì)拖垮整個(gè)系統(tǒng)。4.3 坑三回調(diào)地址漂移收件箱成了幽靈信筒第三個(gè)坑來(lái)自一個(gè)很日常的操作某個(gè) Agent 因?yàn)橐獢U(kuò)容用同樣的 Agent ID 在新機(jī)器上重新部署。新機(jī)器 IP 變了回調(diào)地址自然變了。老機(jī)器的進(jìn)程沒(méi)完全退干凈還在續(xù)租于是路由表里出現(xiàn)了兩個(gè)相同 Agent ID 的條目一個(gè)指向新地址一個(gè)指向舊地址。舊地址的收件箱消息全部投遞失敗新地址的 Agent 卻完全不知道有人給它發(fā)過(guò)消息。排查了很久才發(fā)現(xiàn)問(wèn)題出在注冊(cè)協(xié)議太寬松Agent ID 相同就直接覆蓋注冊(cè)信息不做版本校驗(yàn)。修復(fù)方案是給注冊(cè)請(qǐng)求加一個(gè)instance_id機(jī)器級(jí)唯一 ID協(xié)調(diào)節(jié)點(diǎn)發(fā)現(xiàn)同一 Agent ID 重復(fù)注冊(cè)時(shí)強(qiáng)制要求新的注冊(cè)帶上epoch字段epoch 必須大于舊實(shí)例否則拒絕。老實(shí)例的租約續(xù)期請(qǐng)求也會(huì)被拒絕因?yàn)樗鼣y帶的 instance_id 已經(jīng)不是當(dāng)前活躍實(shí)例了。這個(gè)坑給我的教訓(xùn)是Agent ID 只能標(biāo)識(shí)邏輯身份不能標(biāo)識(shí)物理實(shí)例。凡是涉及物理實(shí)例的注冊(cè)、續(xù)租、回調(diào)都必須以 instance_id 為準(zhǔn)。有點(diǎn)類似 HTTP 的 ETag 機(jī)制——光靠 URL 尋址不夠還得校驗(yàn)版本。5. 穩(wěn)定性之外的進(jìn)階優(yōu)化負(fù)載感知、局部分片、可觀測(cè)性5.1 負(fù)載感知路由別把所有任務(wù)堆給同一個(gè) Agent能力路由如果只看在線有對(duì)應(yīng)能力壓測(cè)時(shí)就會(huì)暴露一個(gè)問(wèn)題所有任務(wù)被均勻地其實(shí)是輪詢地分發(fā)給所有 Agent但每個(gè)任務(wù)的復(fù)雜度差別巨大。處理簡(jiǎn)單任務(wù)只要 200 毫秒的 Agent 和處理 5 分鐘重度任務(wù)的 Agent 被同樣對(duì)待忙的忙死閑的閑死。我在 Agent-Reach 里加了一個(gè)體重指標(biāo)每個(gè) Agent 在續(xù)租時(shí)上報(bào)自己的實(shí)時(shí)負(fù)載包括隊(duì)列深度收件箱 pending 消息數(shù)、最近一分鐘處理耗時(shí) P95、當(dāng)前并發(fā)數(shù)。協(xié)調(diào)節(jié)點(diǎn)在能力路由打分時(shí)這三個(gè)指標(biāo)各占權(quán)重 30%、40%、30%選得分最優(yōu)的 Agent 投遞。這個(gè)優(yōu)化上線后壓測(cè)里的 P95 延遲直接降了 37%。原理不復(fù)雜從誰(shuí)有空轉(zhuǎn)給誰(shuí)變成誰(shuí)最快把活干完轉(zhuǎn)給誰(shuí)。負(fù)載感知本質(zhì)上做的是全局調(diào)度而不是簡(jiǎn)單的負(fù)載均衡。5.2 收件箱局部分片單 Agent 收件箱的一百萬(wàn)條消息問(wèn)題壓力測(cè)試做到單個(gè) Agent 收件箱超過(guò) 100 萬(wàn)條消息時(shí)SQLite 的select * from inbox where statuspending limit N開始出現(xiàn)明顯的性能退化。原因是 pending 消息和已處理消息混在同一張表里沒(méi)有索引覆蓋全表掃描越來(lái)越慢。修復(fù)方法很粗暴但很有效按status做局部分區(qū)。pending消息存一張只有幾百條記錄的熱表done消息定期歸檔到冷表failed消息單獨(dú)存放。熱表因?yàn)轶w積小查詢永遠(yuǎn)是毫秒級(jí)冷表只做歷史追溯不在乎慢。這個(gè)優(yōu)化帶出一個(gè)通用經(jīng)驗(yàn)任何消息系統(tǒng)熱數(shù)據(jù)和冷數(shù)據(jù)必須物理分離。不要因?yàn)閿?shù)據(jù)量還沒(méi)那么大就偷懶等到 100 萬(wàn)條再處理代價(jià)是幾小時(shí)的遷移和一堆線上事故。5.3 消息軌跡的三種監(jiān)控視圖最后一個(gè)大家容易忽略的模塊是可觀測(cè)性。Agent 通信鏈路比單體接口長(zhǎng)得多出問(wèn)題的時(shí)候如果沒(méi)有軌跡追蹤排查一天都不一定有結(jié)果。Agent-Reach 里我實(shí)現(xiàn)了三種監(jiān)控視圖都是在消息的trace字段基礎(chǔ)上做的鏈路視圖輸入一個(gè)message_id畫出它從發(fā)出、經(jīng)過(guò)哪些 Agent、最終完成的完整時(shí)間線每一跳的耗時(shí)都標(biāo)出來(lái)。排查任務(wù)到底卡在哪一步時(shí)這張圖是救命稻草。隊(duì)列視圖每個(gè) Agent 的收件箱 pending 數(shù)量、處理速率、平均等待時(shí)間實(shí)時(shí)展示。隊(duì)列深度暴漲往往比接口延遲更能提前暴露系統(tǒng)瓶頸。失敗歸因視圖所有 failed 消息按失敗類型聚類看看是超時(shí)、連接拒絕、還是處理異常。如果連續(xù)五分鐘超時(shí)占比超過(guò) 20%自動(dòng)告警。這三種視圖加起來(lái)讓我從事后看日志變成了事前看趨勢(shì)。有一次壓測(cè)中發(fā)現(xiàn)某個(gè) Agent 的隊(duì)列深度緩慢上漲但接口延遲正常順著隊(duì)列視圖往下查發(fā)現(xiàn)是這個(gè) Agent 在處理某個(gè)特定類型的消息時(shí)出現(xiàn)線性重試每次都要等滿 120 秒。如果沒(méi)有隊(duì)列視圖這個(gè)問(wèn)題要等用戶投訴才能發(fā)現(xiàn)。6. 收尾Agent-Reach 適用的邊界以及我最后的建議寫了這么多得說(shuō)點(diǎn)實(shí)在話收個(gè)尾。Agent-Reach 不是什么高大上的框架它的定位就是自建多 Agent 系統(tǒng)時(shí)的一塊通信拼圖。我最初做它是因?yàn)閷?shí)在受不了 Agent 之間裸連 HTTP 導(dǎo)致的各種玄學(xué)問(wèn)題其實(shí)一點(diǎn)都不玄全是分布式系統(tǒng)的基本問(wèn)題只是分散在 Agent 場(chǎng)景里顯得特別難查。適用邊界說(shuō)一下Agent 數(shù)量在幾十個(gè)量級(jí)、部署在同一個(gè)內(nèi)網(wǎng)、不需要跨數(shù)據(jù)中心強(qiáng)一致性的團(tuán)隊(duì)用它最合適。如果你的場(chǎng)景是幾百上千個(gè) Agent、要求多區(qū)域容災(zāi)、需要嚴(yán)格的消息事務(wù)語(yǔ)義那么建議直接考慮成熟的 MQ 或工作流引擎Agent-Reach 的能力模型會(huì)變成你的限制。最后分享幾個(gè)我實(shí)際用下來(lái)的體會(huì)第一先把失敗場(chǎng)景想清楚再寫正邏輯。Agent 通信 90% 的代碼都是在處理消息丟了怎么辦Agent 掛了怎么辦重復(fù)消費(fèi)怎么辦。我第一版把正邏輯寫得很漂亮后來(lái) 80% 的時(shí)間都在補(bǔ)失敗路徑。如果重來(lái)我會(huì)先寫故障注入測(cè)試。第二給每條消息留下足夠的元數(shù)據(jù)。message_id、trace、max_hops、execution_token這些字段看似廢話但每一個(gè)都在實(shí)際事故里救過(guò)我。別嫌消息頭重寧多重十個(gè)字段不要在排查時(shí)因?yàn)闆](méi)有 trace 而看半天。第三把重試、超時(shí)、路由這些邏輯統(tǒng)一收斂在協(xié)調(diào)節(jié)點(diǎn)。Agent 端保持無(wú)狀態(tài)是最好的這樣你隨便怎么縮擴(kuò)容都不用擔(dān)心 Agent 端的本地狀態(tài)丟失。Agent-Reach 的核心價(jià)值就是把穩(wěn)做到了協(xié)調(diào)層而不是指望每個(gè) Agent 自己自覺。如果你也在搭 Agent 網(wǎng)絡(luò)希望這篇分享能幫你少踩幾個(gè)坑。通信底座穩(wěn)了Agent 的智能才能真正發(fā)揮出來(lái)——不然再聰明的 Agent消息都送不到對(duì)方手里那不叫協(xié)作叫互相折磨。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99综合网| 2022人人操人人看| 天天碰天天插天天操| 97综合在线| 精品久色| 性欧美大战久久久久久久83| 久久aaaa片一区二区| 日韩AC在线免费观看| 婷婷五月天综合蜜桃| 天天日日夜夜| 中国AV性爱观看| 99国产精品久久久久久久久久久 | 91性高潮久久久久久久久| 91热在线| 国产美女无遮挡裸体毛片A片| 婷婷五月激情基地| 任我肏视频精品| 亚洲国产精品VA在线看黑人| 99热只有精品综合| 成人αV视频免费观看| 九九九九九九九热| 婷婷成人AV| 91青娱乐青青草| 狼人婷婷久久| 国产成人精品一区二三区熟女在线| 天天干天天日天天插| 欧美五月停| 天天爽综合网| 热九九精品| 免费无码毛片一区二区A片| 夜夜操狠狠操天天操| 色婷婷精| 五月天啪啪啪| 天天摸色吧天天摸色吧| 99久在线精品99re8热| 婷婷综合五月| 成人五月天视频| www热久久yy9| 国产精产国品一二三在观看| 成人网址在线观看| 南京搡BBBB搡BBBB| 大香蕉五月天婷婷丁香91| 91超碰人人操| 五月婷婷福利| 99久热| 天天爽天天操| 婷婷五月天视频免费在线观看| WWW.夜夜| 狠狠久久婷五月综合色| 狠狠色情婷婷| www.激情五月天com| 九月婷婷综合八月丁香在线观看| 五月婷高清视频| 色婷婷狠狠爱| 99精品视频免费在线播放| 婷婷七月丁香色色| 超碰97在线观看免费| 亚州操人在线视频| 婷婷五月天激情在线观看| 九九99九九精品视频| 久久久性爱视频| 五月综合视频在线| 成人在线综合| httpwww色com日本| 99精品久久| 亚洲色在线观看| 99九色视频在线观看| 五月婷婷六月丁香激情深爱| 超碰人人在线| 婷婷五月天亚洲色| 激情五月婷婷色| 五月丁香婷庭在线| 91午夜激情| 色婷婷色五月综合| 天天综合网站| 99综合视频| 另类图片天天影视在线观看| 这里只有精品视频| 亚洲mm免费| 五月天婷婷成人网| 婷婷五月丁香激情图片 | 久久五月天大美女| 2w在线视频| 天天成人丁香美女AV| 伊人五月丁香| 五月婷啪| 免费看欧美成人A片无码| 99精品国产在热久久| 亚洲欧美在线观看| 丁香六月婷| 99乱视频| 很很干在线视频| 色婷婷激情五月天在线观看| 色婷丁香| 久热91| 日本欧美成人片AAAA| 国产五月视频| www久久艹| 五月丁香六月婷婷婷婷| 亚洲五月天第一综合干| 99精品在线播放| 久久五月婷婷视频| 五月婷婷性爱视频| 99热在线极品极品| 九九久久9 9在线观看| 狠狠色成人影片| 五月天婷婷AV| 思思热在线| A A色色| 五月婷婷丁香啪啪| 婷婷丁香社区网| 在线成人视频免费| 国产精品人妻在线网址| 九九九午夜视频| 91午夜婷婷狠狠久久综合9色| 激情五月天色色网| 开心五月婷婷激情| 亚洲欧洲中文日韩久久AV乱码| 六月婷婷激情| 色九月婷婷丁香| 久久婷婷五月综合伊人| 六月丁香社区| 99超级碰免费视频| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 婷婷五月天免费99| 噜噜色天天开心| 色亚洲视频| 激情婷婷另类| 网站免费一站二站| 久艹大香蕉| 五月婷婷伊人网| 色色色热热热| 玖玖婷婷五月天毛片| 色婷婷狠狠爱| 这里只有精彩视频| 五月婷婷爽爽爽| 丁香 久久| 四虎婷婷五月天| 色五月婷婷丁香婷婷| 大陆肏屄视频| 99色热综合| 九九久久99| 中文无码精品一区二区三区| www夜夜操wwwcon| 人人做人人看人人摸| 丁香六月无码| 国产精品色婷婷AV综合色色| 四月婷婷五月丁香| www.丁香五月| 亚洲国产精品VA在线看黑人| 一区二区三区四区牛| 99热大| 91综合视频在线| www.五月婷| 玖玖婷婷色| 超碰在线综合| 天天摸.天天mo| 五月天婷婷在线观看精品男人| 午夜丁香六月婷| 综合热无码| 五月婷婷综合久久| WWW.婷婷五月天.COM| 99热9| 另类小说五月天| 国产精产国品一二三在观看| 热久久色| 色综合久久之分久久| 久久9热好| 激情五月丁香六月综合AVXXXX| 六月丁香激情网| 超碰国产在线观看| 丁香婷婷影院| 成人网站av免费网站推荐| 五月婷婷自拍视频| 色综合久久8| 亚洲五月丁| 99热在线播放| 亚洲精品小视频| 开心婷婷五月| \\五月天婷婷激情| 丁香五月综合网| 丁香九月婷婷色| 色情五月停停丁香| 五月丁香六月情| 九月婷婷综合| 超碰国产av| 黄色aaaaa| 九九热这里只有精品一| 色色五月丁香婷婷| 8050一级网| 棕合影院色色| 五月综合六月婷婷| 五月丁香五月综合欧美| 1024你懂的欧美曰韩| 丁香五月天婷婷大香蕉| 综合亚洲色色| 欧美婷婷成人| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 成人网址在线观看| 大香蕉久久伊人网| 五月婷婷久久激情 | 再綫Av免费視品| 一级黄色影片| 99热这里只有是亚洲国产| 爱操人妻| 色都都狠狠色都都色综合色| 狠狠丁香| 91婷婷五月天嫩女| 亚洲第一综合| 五月天婷婷操逼视频| 深爱网深爱综合网| 亚洲综合五月天婷婷丁香| 欧美叉叉叉BBB网站| 久久色五月天| 色噜噜婷婷| 精品久久人妻| w婷婷五月婷婷w| tingtingzonghewang| 操人91| 少妇人妻凹凸视频| 日本色99| 亚洲国产另类av| anquye伊人| 五月天婷婷成人网| 亚洲狠狠丁香婷婷香蕉| 婷婷五月中文在线| 九九性爱网| 免费看欧美成人A片无码| 激情综合无码| 丁香五月激情综合| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 婷婷六月丁香激情| 怡红院AV亚洲一区二区三区H| 思思热在线精品视频网站| 99噜噜噜在线播放| 久久五月激情综合| 丁香五月综合在线观看| 色色综合成人网| 91 影音先锋| 99在线精品视频| 天天插天天狠| 狠狠色丁香久久婷婷综合五月| 色丁香五月婷婷| 九九综合久久| 激情久久四色| 丁香六月婷婷久久高清| 就爱日五月天| 婷婷五月花| 综合一区二区三区| 丁香五月欧美色综合| 五月天停停日日| 蜜桃人妻无码AV天堂三区| 啪啪小说五月天| 亚洲性受XXXX五月丁香| 99视频热99| 综合久久99| 美女主播野战视步页| 干一干xxxx| 日韩AV免费看| www.久久爱| 天天色天天日| www.91AV.COM| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 影音先锋四区| 99自拍视频网站| 亚洲午夜一区二区| 九九九热精品| 国产激情久久久| aaa久久| 色婷婷AⅤ| 亚洲成人婷婷| 99久久精品国产色欲| 五月天激情婷婷| se色综合网| 婷婷五月综合网激情| 97性视频| 五月婷婷综合社区| 日日夜夜狠狠干| 狠狠五月天| 丁香婷婷老司机久操| 人人九色| 亚洲av成人一区二区电影在线| 婷婷六月视频| 91亚洲天堂| 九九婷婷五月天| 色吧婷婷五月亚洲| 婷婷五月激情六月| 国产在线黄色| www激情| 亚洲激情无码久久| 人妻久久久久久久久妻久久久久| 伊人久久大香蕉网| 九九成人精品| 日本黄色三级片内射| 久久久人妻门| www.五月天婷婷| 欧美欧盟性爱网| 九月婷婷| 天天天日天天天干| 中文字幕五月久久婷| av在线激情| 九九aV| www五月| 亚洲视频丁香网va| 狠狠九九婷婷韩| 色婷婷五月综合在线| 久久婷婷啪啪视频| 人妻丰满精品一区二区A片| 99热在线观看这里只有精品| 日韩欧美老妇性视频91久久久| 五月激情站| 伊人狠狠综合| 激情综合在线观看| 亚洲第一成人无码A片| 99日韩网站| 久久视频婷婷| 大香蕉综合| 婷婷五月天干干| 好色婷婷| 无码人妻精品一区二区蜜桃色欲| 国产精品人人妻人人爽| 丁香色五月直播| 国外亚洲成AV人片在线观看| 久热一本| 久久思思热视频| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 天天日天天爽夜夜爽| 久久色天堂| 99国产在线精品视频| 日韩aaa| 五月丁香成人网| 婷婷五月丁香亚洲| 人妻内射视频| 九九精品在线视频观看| 天天色情站| 热热久久99| 开心五月激情网| 欧美色图片88| 成人午夜无码视频| 久久人妻伦理| 久久狠色噜噜狠狠狠狠97| 色99婷婷五月天| 五月综合视频| 久久精品性爱| 天天日夜夜夜操操操操| 国产26uuu视频| 最新无码专区| 五月婷婷六月丁香| 丁香五月婷婷五月| 五月婷婷综合色拍| 色五月激情视频在线综合| 五月天另类小说久久小说网| 色综合久久五月| 九色综合网| 婷婷色综合| 久久人妻www| 激情综合五月激情XXXX| 日本97在线视频| 欧美性生交XXXXX无码小说| 天堂综合久| 色五月天视频| 五月婷婷激情综合在线| 色噜噜狠狠色综合成人99| 五月婷婷综合激情小说| 色墦五月丁香| 天天做天天爱| 久久综合爱| 99热在线这里| 天天夜天天色天天| 99热综合在线| 色欲天天综合网| 99热在线网站| 丁香五月婷婷色综合| 丁香五月人妻| 97人人草| 91viP在线看| 五月丁香六月婷婷国产视频| 丁香五月婷婷色综合基地| 99热青青草| 超碰色天堂| 婷婷丁香五月综合| 91丨九色丨东北熟女| av人人干| 日本五月婷婷| 六月丁香五月天| 日逼免费视频| 狠狠色婷婷六月激情网| www.俺去也com| 久久综合网免费视频| 丁香九月婷| 五月婷婷综合性爱噜噜| 色婷婷AⅤ| 丁香五月瑟瑟| 91n啪啪| 性色九九| 久久久久久久97| AA片在线观看视频在线播放| 婷婷五月天激情四射五月天激情| 亚洲啪啪视频| 色呦呦在线| 欧美婷婷| 丁香婷婷六月| 思思久久99热只有频精品66| 狠狠操天天干| 少妇AB又爽又紧无码网站| 俺去也综合| 人妻熟妇国产精品| 99热成人| 风流少妇A片一区二区蜜桃 | 国产美女无遮挡裸体毛片A片| www.婷婷五月天| 97色色视频| 思思久久精品| 五月天成人在线播放丁香| 99久热这里只有精品| 久久久99精品免费观看| 伊人六月无码视频| 极品精品一区二区三区在线| 丁香五月在线视频黑人| 九久久婷婷| 韩国婷婷丁香五月| 玖玖99婷婷| 白天AV月月| 97五月婷婷| 亚洲精品另类| www.99久久久久99| 激情综合五| 五月激情啪啪啪| 9+1视频网址| 久久五月丁香婷婷| yazhou seshipin| 婷婷六月色丁香视频在线观看| 五月综合婷婷开心网| 丁香五月老师| 亚洲99热| 婷婷五月综合久久中文字幕| 色五月av| chaopengdaxiangjiao| www.97干视频| 五月天激情四射| 亚洲超碰在线| 91久久久久久久| 狠狠干天天内射| 天天干天天干天天干| a69在线视频| 婷婷色五月激情| 少妇综合网| 日本不卡一区二区三区| 一起草av在线观看| 99惹在线精品免费观看| 丁香 婷婷五月| 五月婷婷天天| 丁香婷婷五月天激情四射| 另类小说五月天| 日日日日日| 欧美日本国产| 天天肏视频| 第四色五月激情网| 亚洲欧美一区二区三区爱爱动图| 婷婷五月综激情| 99热8| 婷婷五月在线影院| 日韩久久视频| 色色亚洲| 二级黄色毛片| 思思99精品视频| 丁香六月无码播放| 国产精品大香蕉| 亚洲九N| 去色色五月天| 丁香蜜臀黄色婷婷五月天| 天天舔日日肏夜夜爽| 播五月丁香三月婷婷| 亭亭色网| 久月久在线视频| 九九自拍网| 丁香五月性| 色婷婷色人人射| 国产免费一区二区三州老师F1F1| 99国产在线精品视频| 亚州综合色| 五月婷婷丁香深深爱| 婷婷五月丁香六月综合网| 六月丁香激情网| 婷婷丁香成人色综合| 激情综合网五月丁香| 狠狠狠狠狠狠狠狠狠狠狠色宗合图片| 99热天堂| 高清a片基地| 亚洲AV网站| 色综合日日| 97色碰| 91无码一区人妻A片蜜| 日本高清久| 色婷婷五月亚洲| 日本91在线| 超碰婷婷色| 久久精品视频99| 五月草影视| 99热这里只有精品免费| 吊色AV男人的天堂| 五月婷导航| 国产伦亲子伦亲子视频观看| 色色亚洲| 开心激情网五月| 玖玖色资源站| 热99在线精品| 色99久草在线| 免费看欧美成人A片无码| 婷婷激情四射| 婷婷激情五月天激情小说| 六月丁香五月亭亭| 婷婷五月天丁香| 日韩在线视频中文字幕| 色五月婷婷av| 这里只有精彩视频| 天天久久婷婷| 日日操,夜夜爽| a在线观看| 91人人网| 激情五月综合亚洲另类| 色爱综合五月| 欧美人人草| 免费看欧美成人A片无码| 大香蕉五月婷婷| 婷婷五月天激情电影小说| 色婷婷六月| 98毛片| 玖玖在线视频| 色99视频| 久热伊人| 色婷丁香| 久热欧美| 色婷婷电影网| 天天色色天天| 91偷拍视频| 久久精品系列| 超碰97色| 五月久久丁香| 超级碰碰一区| WWW五月| 亚洲av综合在线| 五月婷婷婷婷婷| 色色色香蕉五月婷| 五月天婷婷高清无码| 国产精产国品一二三在观看| 99热首页在线30| 99精品偷自拍| 99视频精品全部免费 在线| 欧美三级A做爰在线观看| 色婷婷五月天天天天天| 日日夜夜干| 日韩成人五月天| 大伊香蕉精品视频在线| 日逼免费视频| 婷婷五月天渟渟| 天天操人人干| 久久婷婷五月综合伊人| AV九九| 色婷婷九月| 亚洲超级碰| 五月激情天| 婷婷丁香五月天影院 | 日本三级大片| 综合色播| 婷婷天天综合| 在线超碰精品| 久9久成人精品视频| 美女激情综合| 天天插天天爱| 五月综合六月丁| 久久婷综| 国产精品久久久海的味道| www.日韩国产| 五月丁香激情综合| 七月丁香婷婷 色色| 少妇2做爰HD韩国电影| 婷婷操无码| 色婷在线视频| 久久99热这里只有精品首| 这里只有精9| 婷婷六月天激情影院| 色婷婷基地| 婷婷精品在线| 强辱丰满人妻HD中文字幕| 天天色天天操天天射| 色婷婷无吗| 久99综合婷婷| 99re这里| 久久婷婷综合拍| 99视频内射三四| 伊人久久婷婷五月天激情四射| 久久久久久久久久久jjjj| 天天日天天插| 狠狠88综合久久久久噜噜噜| 极品少妇婷婷五月| 色吧五月婷婷| 天天撸夜夜爽| 色色A| 婷婷五月开心中文字幕色| 97婷婷五月丁香| 91碰| 美国天天日天天操| 综激情网| 91中文狠狠综合| 免费观看大片视频 丁香婷婷 六月欧美| 色色操| 天天操天天干天天射| WWW,五月| 五月综合六月丁| 99热综合色图| 国产一区二区av免费| 九玖欧洲亚洲| 中文av网| 欧洲毛片基地c区| 国产精品第一国产精品| 五月花婷婷| 开心婷婷五月激情网小说| 午夜色丁香| 日本一级一级一级一级| 天天爽夜夜爽天天爽夜夜爽| 久久XX| 秋霞九九无码| 日韩操人| 超碰99热精品| 99热综合在线观看| 婷婷综合网| 色五月丁香五月| 99久久超级| 五月天天天天天天天天天天天婷婷婷| 亚洲综合成人网| 中文字幕丰满人妻无码专区| 激情五月四色| 日本精品人妻无码77777| 五月天婷基地| www.五月丁香| 成人va在线观看视频| 97五月久久丁香婷婷| 一起草av| 五月丁香啪啪综合网| 成人欧美一区二区三区在线观看| 亚洲激情另类| 丁香五月婷婷成人色区| 92国产福利| 99色免费观看全部| 99久久九九| 五月丁香六月激情综合| 综合五月天婷婷色| 丁香五月视频在线观看| 啪啪啪综合网| 久久在线92| 五月天丁香婷婷网| 婷婷久久综合| 中美日韩成人在线| 色色AV色色色东莞| 开心五月婷婷激情网| 欧美在线干| 在线资源av-超碰中文在线-成人AV| 1024国产在线| 这里只有精品视频在线| 婷婷爱五月天| 国产激情综合五月久久| 99成人| 欧美婷婷五月| www.日韩艹| 丁香五月天啪啪| 欧美操逼天堂| 久久婷五月影院| 99热久久这里只有精品| 91热爆在线| 另类图片色五月| 久色大| 五月激情综| 丁香五月激情鲁| sewuyuejiqingwang| 五月婷婷丁香五月亚洲色| 久草大| 香蕉久久国产av一区二区| 综合日本婷婷| 九月婷婷综合在线| 五月丁香婷婷激情爱爱| 五月停视频天堂| 狠狠干在线| 香蕉久久国产AV一区二区| 99久在线精品99re5热视频| 深爱激情综合网| 五月婷婷免费| 99国产性感视频| 色欲资源网| 无码人妻一区二区三区免费九色| 天天爽天天干天天| 涩婷婷五月天| 五月丁花六月丁香综合| 婷婷六月天激情| AV性爱网| 99热资源在线| 九色自拍| 538在线精品| 五月婷婷五月天| 婷婷99狠狠躁天天躁| 日本久久网| 欧美性猛交99久久久久99按摩| 午夜少妇在线观看视频| 久久综合久色欧美综合狠狠| 欧美日韩成人在线| 99视频| 丰滿爆乳一区二区三区| 日韩久久欧亚| 久久九九国产| 中文字幕在线免费观看视频| 成人操呦av| 日韩抽插操逼| 五月丁香五月天现场视频| 五月丁香无码视频| 色婷婷亚洲六月婷婷中文字幕| 中文字幕 久久9999| 色色色色色色色色网站| 婷婷久久五月天丁香| 91大屁股精品| 欧美日韩999| 夜夜嗨一区二区三区直播内容 | 超碰在线人妻| 亚洲操操操| 五月天丁香婷婷久久九| 久碰婷婷视频| 六月丁香视频网站| 久久99久久99精品免视看婷婷| 丁香六月伊人| 欧美va视频| 91丨九色丨大屁股| 老司机视频lsj爱就色| 91岛国片| 五月婷婷与六月丁香图片激情| 四色女婷婷| 综合图片色色| www.夜夜操.com| 北条麻妃九九九国产精品视频| 丁香色婷婷色手机免费在线| 99热性色| 五月婷婷视频啪啪美女| 很很干天天干| 精品人妻伦一二三区久久| 久久九九热38| 97干视频| 五月丁香色婷婷综合| 中文字幕激情综合| 五月天偷拍| 亚洲国产成人AV在线| 色色五月婷婷| 啄木鸟丝袜美女福利视频| 色综合综合色| 日韩三级高清无码| 91天天操天天干天天射| 另类综合国产| www.91在线观看| 日本欧美成人片AAAA| 成人在线高清| 天天色爽| www.色九月| 国精产品一区一区三区免费视频| 人人插9| 五月天婷婷久色| 国产精品电影网| 国产真人做爰视频免费| www,久久久| 久久色五月天综合网| 老司机伊人| 欧美黄色一级录像| 婷婷99狠狠躁天天躁| 天天爽天天摸人妻综合网| 人人摸人人摸| 色婷婷五月成人网| 天天操天天操| 开心五月婷婷激情| 97色综合视频| 丁香桃色综合网| 九色91国产| 91日婷婷在线| ...婷婷国产成人亚洲日韩| 夜色综合网| 国产偷人爽久久久久久老妇APP| 91丨九色丨熟女丰满| 色婷婷AV五月天| 丁香五月香蕉| 久久人人九| 天天日日爽| 六月丁香久久| 1024手机在线观看看片_日韩精品| 国色天香伊人狠狠色| 五月丁香综合在线| 91日日日| 久久婷婷成人综合色怡春院| 国产成人精品亚洲线观看| 婷综合| 天天干天天拍| 另类国产欧美视频| 99这里只有精品在线| 五月婷婷,六月丁香| www.婷婷五月天| 丁香婷婷色五月激情综合| 丁香婷婷激情网站| sewuyuejiqingwang| 天天干天天拍| 色丁香五月婷婷| 无码动漫av| 99视频在线看| 亚洲 六月 综合| 开心五月色婷婷综合开心网| wwwss在线观看| 九九综合伊人| 综合久久高清| 超碰人人干| 淫荡A片| 色久丁香五| 丁香五月ⅤA久久久| 99亚洲色| 久久丁香网| 色婷婷五月天综合网| 99ER热精品视频| 99热6这里只有精品6| 99热只有| 激情五月婷婷免费视频| 亚洲av骚货| 色五月婷婷中文字幕| 成人亚洲精品| 97久操视频| 夜夜骑天天操| 五月激情综合性爱| 五月天婷婷无码视频| jiujiuxiangjiaowang| 思思热再线视频| 五月婷婷色五月| 日韩黄色网络| 久操福利| 97久久人人| www.日日夜夜.com| 综合五月婷婷| 久久六月综合| 天天舔夜夜操www com| 丁香五月天啪啪| 丁香五月AV在线| 成人无码精品1区2区3区免费看| 色亭亭五月天网扯| 国产一区二区av免费| 日本va欧美va欧美| 91日综合欧美| 色五月涩涩婷婷| 97色女人在线| 91九色精品熟女内射| 99惹在线精品免费观看| 六月丁香五月婷婷| 五月丁香六月激情综合啪啪| 国产高清av黄色看片| 五月丁香六月香综合激情| 婷婷五月天亚洲综合网| 国产偷人妻精品一区| 丁香激情五月| 九九人人操| 色婷婷五月天天天天天天天天天| 国产精品91抖高| 99免费热视频| 久久伦乱| 九久9精品| 日本成人噜噜噜噜噜| 狠狠色综合无线观看| 色五月五月天色婷婷色五月| 亚洲综合婷婷五月| 蜜臀AV在线观看| 色婷婷色婷婷五月| 男人天堂AV在线一区二区| 丁香五月婷婷www..com| 天天综合网在线| 婷婷色色网| 性生生活大片又黄又| 日韩在线aaa| 五月婷婷激情性爱| 国内外色色色色色成人视频| 亚洲激情精品| 97操碰碰无码视频| 色丁香五月婷婷| 婷婷激情五月天在线| 日本激情91| 九热视频| 综合网五月天123| 超碰二区| 怡红院AV亚洲一区二区三区H| 五月综合激情视频在线| 成人丁香五月| 在线视频婷婷| 久久久99免费视频| 插插干干干色| 丁香综合久久| 亚洲操b| 99成人免费视频| 99手机在线精品视频| 国产精品国产成人国产三级| 狠狠做婷婷| 这里都是精品99| 182tv992tv人之初午夜免费观看| 婷婷久久五月丁香| wwwxxx五月婷婷小说| 婷婷五月激情在线| 99综合网| 日韩十国产极品久久| 久操97| 五月天婷婷成人网| 色婷婷激情| 丁香狠狠| 97碰碰在线观看视频| 欧洲第一无人区观看| 97精品自拍视频| WWW、日本色丁香、co m| 九色视频入口91| 26uuu国产| 中文久久婷婷| 五月六月激情| 久热久色| 色婷九九九| 丰满女老板BD高清A片| 久草狼人| 五月丁香最新| 99re6在线视频精品免费| 五月婷在线| 丁香激激情网| 丁香婷婷六月激情文学 | 国产精品18久久久| 亚洲va综合va国产va中文| 婷色成人| 91人人爽狠狠狠| 久久99免费视频网站| 开心五月婷婷| AV在线观看网站| 五月激情网站| 亚洲射激情| 日本三级黄色大片| 99热99| 色综合久久久综合久久网| 亚洲成人在线播放| www.色婷婷.com| 欧美婷| 五月天五月色婷婷综合| 97久人人| 色色97丁香婷婷五月天| 五月丁香啪啪啪| 婷婷伊人久久| 色色色色色色网站| 丁香五月六月欧美| 六月综和久久| 成人av中文字幕| 日本天堂久久| 色五月丁香A欧美com | 一级黄色操B| 伊人五月婷| 色情成人五月天| 色婷婷色99国产综合精品| 激情丁香五月婷婷| 99av视频| 深爱激情网噜噜色| 久婷婷久草| 六月婷婷之青青草| 五月天日日操夜夜操 | 99热99精品在线观看| 国产伦理精品高清在线观看网站一区二区 | 99久久9| 激情五月婷婷综合| 十月丁香九月婷婷综合| 色人妻五月| 天天爽曰日爽| 婷婷婷五月天最新综合你懂的| 欧美激情 日韩无码 婷婷 五月天| 91vip在线观看| 午夜丁香综合婷婷| 日本97久久久精品| 伊人大香蕉综合在线| 97成人丁香| 婷婷99视频全集高清| 操操综合网婷婷| 5月丁香美女影院| 99精日本久久| 色五月丁香com| 99精品国产在热久久| 青青青在线视频国产| 91九色网| 久久九九综合| 丁香婷婷久久| 色狠狠综合| 色色色色色色色色网站| 五月婷婷天| 免费婷婷| av久热| 这里只有精品视频一区| 色婷婷狠狠久久综合五月| 99久久er| 色99欧洲色19| 综合网激情五月天| 99视频精品全部免费观看| 五月丁香六月情婷婷久久| 天天综合网亚洲综合网| 丁香五月激情鲁| 亚洲热综合| 婷婷久久精品| 97人人操人人| 久久只有18视频| 狠狠五月天| 狠狠狠狠狠干| 91色色五月天| 五月天大香焦| 色色影院黄大片| 国产无人区大片| 秋霞免费三级片| 九九综合精品| 久久成人精品视频| 99热无码首页| 99re视频在线播放| 在线综合网| 国产AV国片偷人妻麻豆| xxx.色婷婷| 五月婷视频| 另类激情五月| www.婷婷| 婷婷99视频在线| 综合 蜜月 婷婷| 色婷天天| 五月丁香成人日| 色5月婷婷| www久久艹| 夜夜爽天天爽| 999热在线观看视频| 久久婷婷五| 精品久热| 思思热久在线观看视频| 成人婷婷深爱综合网| 五月婷婷伊人久久| 99热这里只有精品免费观看| 99re热视频这里只精品| 色偷偷五月天| 色婷久| 97久久视频| 六月婷婷五月丁香| 婷婷五月综合中文字幕| 色婷婷色九月| 高清无码 一区 二区 三区| 这里只有精品久| www.日日夜夜.com| 婷婷射丁香| 欧美内射AAAAAAXXXXX| 人妖色AV色综合| 色色色婷婷五月天| 日韩婷婷五月天| 一本色道久久综合狠狠躁小说| 欧美va在线| 综合色五月亭亭| 久久九九re热| 天天舔天天插天天爱| av五月天婷婷丁香| 国产成人+综合亚洲+天堂| 久久加勤综合| 91色五月| 99成人免费热视频| 亚洲色99| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 韩国真做片在线观看| 超碰人人操人人9| 激情五月天视频| 内射丰满人妻| 9l视频自拍9l九色9l成人| 男人操女人高潮91视频| 色婷婷777狠狠| 丁香丝袜五月| www.zbzhongsen.com| 色色草97| 99er这里只有精品视频| 丁香五月在线播放| 粉嫩AV久久一区二区三区| 色九亚洲| 啪啪啪五月天| 五月停亭六月,六月停亭的英语| 99久久欧美| 天天情天天狠天天透| 亚洲精品婷婷| 国自产拍偷拍精品啪啪一区二区| 欧洲综合视频| 色99热| 少妇被下春药玩弄A片| 五月丁香婷草| 久久成人人妻| 麻豆AV一区二区三区| 超碰99在线| 精品国产a| 国产婷婷五月中文字幕高清| 国产成人精品一区二三区熟女在线| 被强行糟蹋的女人A片| 在线天堂9| 天天天天天久久久久久| 久久久999精品| 色婷婷aV四虎| 天天插天天很| 久久久婷| 婷婷色情五月| 日日做天天操夜夜爽| 这里只有精品视频免费在线观看| 天堂五月婷婷| 婷婷色情小说| 丁香五月综合激情啪啪| 9|在线观看视频| 26UUU亚洲欧美| 婷婷五月色播放| 日韩 中文 欧美| 丁香五月激情五月开心五月| 三人荫蒂添的好舒服A片| 婷婷色中文| 五月婷婷色丁香| 婷婷综合网| 91超碰在线播放| 思思久久精品| 国产乱人偷精品人妻A片| 欧美色色色| 超碰在线观看9| 琪琪狠狠干| 99性爱无码| 中文字幕乱码亚洲精品一区| 深爱五月月天| 日韩视频99| 婷婷射丁香| 色噜噜狠狠色综合成人99| 人妻中文av| 久久婷婷激情视频| av一级棒av| 丁香五月婷婷色综合基地| 99热8| 久九色| 久久永久视频| 欧美精品99| 99干日本| 六月婷婷av| 久久精品99久久久久久| 五月婷婷六月丁香首页| 99无吗| 激情婷婷。| 99热这里只有免费精品| 色婷婷色综合| 久久精彩视频99| 亚洲人成人五月天| 五月婷婷伊| 99热视精品| 97操资源婷婷| 日韩抽插操逼| 九九色色| 99热99精品在线观看| 在线观看免费视频| 啪啪干伊人婷婷| 国产伦亲子伦亲子视频观看| 无码天天操| 国产特级毛片AAAAAAA高清| 婷婷成人在线| 国产又爽又猛又粗的视频A片| 另类图片五月天婷婷| 国产FREESEXVIDEOS性中国| 丁香五月丐人妻| 拍真实国产伦偷精品| 天天橾日日橾夜夜橾17| 婷婷中文字幕欧美| 99乱视频| 日韩有码一区| 丁香婷婷激情五月天无毒不卡蜜桃| 欧美色碰| 日本色99| 婷婷午夜| 岛国AV网| 久久五月天激情视频| 色欲色欲久久宗合网| 99综合激情久久精品久久| 激情网婷婷五月天| 婷婷伊人75| 成人五月丁香社区| 丁香五月网络网络| 国产偷人爽久久久久久老妇APP| 五月丁香欧美综合免费视频| 丁香五月婷婷图片综合| 五月婷婷69| 久久婷婷内射| 久久婷婷五月| www久久五月com| 超PEN精品在线| 五月丁香六月激情欧美综合| 五月婷婷,狠狠操| 91久久久久久| 亚洲色婷婷婷婷人人爽| 人人操婷婷| 激情綜合網址| WWW五月婷婷| 操人无码| 狠狠五月天激情| 大香蕉九九操| 欧美人妻一区二区| 五月婷婷在线丁香| 91干婷婷| 婷婷玖玖五月天| 六月丁香婷婷色狠狠久久| 欧美性色A片免费免费观看的| 丁香婷在线| 久久五月激情综合| 99操99| 婷婷深爱五月丁香| 亚洲av成人在线| 做爰丰满少妇1313| 婷婷综合色播网| 婷婷涩五月| 青草视频在线播放| 婷婷免费视频| 国产超碰在线| 97超碰免费超级在线观看| 五月婷婷成人| 青青操绿aaa一区日v| 99九九免费精品| 五月伊人网| 26uuu另类| 伊人久久婷婷| 色99久草在线| 99热这里只有精品3| 99视频这里只有久久精品| 亚洲色夜| 99在线精品免费视频| 精品色色| 夜夜涩涩涩| 毛片蕉地一二| 丁香五月天啪啪| www色婷婷com| 无码一区二区三区四区五区| 国产精品第一国产精品| aa久久| 婷婷六月综合在线| 91一道本| 无遮羞AV| 亚洲六月色婷婷| 99久久综合网| 婷婷久久丁香五月| 毛片九九九九九九九九18| 情色五月天网站| 国产美女最新VA在线免费观看| 婷婷九月激情| 五月婷性爱| 国产亚洲色婷婷久久99精品91| 天天综合网亚洲综合网| 九九RE视频在线精品| 丁香,开心成人,久久| 婷婷射图| www.狠狠狠.com| 黄色激情久久| 在线精品97| 婷婷色导航| 99精品久久久| 五月婷婷久草在线视频综合| 人妻久久久久久久久妻久久久久久久久| 日韩精品一曲二曲三曲四曲五曲| 欧美性爱五月天| 91九色在线视频| 婷婷五月中文字幕国产| 9+1视频网址| 99热久久日本| 综合色七七| 涩涩五月天| 久久综合中文字幕| 天天草天天摸| 另类国产综合| 狠狠人人|