欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

Agent-Reach:多AI代理觸達(dá)與調(diào)度中間層的設(shè)計(jì)與實(shí)踐

Agent-Reach:多AI代理觸達(dá)與調(diào)度中間層的設(shè)計(jì)與實(shí)踐 如果你也試過(guò)把兩個(gè)以上的AI代理拼在一起干活你大概率碰到過(guò)這種場(chǎng)景代理A從用戶(hù)問(wèn)題里抽出了一個(gè)訂單號(hào)需要讓代理B去查數(shù)據(jù)庫(kù)C去調(diào)用售后接口D負(fù)責(zé)匯總輸出。問(wèn)題是A怎么找到BB的接口地址寫(xiě)在哪調(diào)用失敗了要不要重試B忙不過(guò)來(lái)會(huì)不會(huì)把A卡死C返回的結(jié)果格式和A預(yù)期不一致怎么辦這些問(wèn)題單靠“給每個(gè)代理寫(xiě)死對(duì)方地址”能撐過(guò)前期驗(yàn)證規(guī)模一上來(lái)就全崩。Agent-Reach就是我在這個(gè)背景下折騰出來(lái)的一套代理間觸達(dá)與調(diào)度中間層這篇文章我會(huì)把它的設(shè)計(jì)思路、核心實(shí)現(xiàn)、實(shí)測(cè)數(shù)據(jù)和踩過(guò)的大坑完整記錄下來(lái)。先交代一下背景我所在的團(tuán)隊(duì)做的是面向企業(yè)客戶(hù)的客服智能化系統(tǒng)原來(lái)只有一個(gè)大模型代理在跑意圖識(shí)別和問(wèn)答。隨著業(yè)務(wù)擴(kuò)張這個(gè)“全能代理”開(kāi)始暴露問(wèn)題——單代理需要掛幾十個(gè)工具每次請(qǐng)求的上下文幾乎被撐爆響應(yīng)延遲肉眼可見(jiàn)地上升而且任意一個(gè)工具出錯(cuò)都會(huì)影響整體可用性。于是我們決定拆成多個(gè)專(zhuān)職代理訂單代理、售后代理、知識(shí)庫(kù)代理、工單代理、報(bào)表代理等等每個(gè)代理只負(fù)責(zé)自己那一畝三分地。代理數(shù)量從1個(gè)變成十幾個(gè)再到幾十個(gè)之后原先“把所有邏輯寫(xiě)在一個(gè)進(jìn)程里”的做法徹底行不通了。Agent-Reach這個(gè)項(xiàng)目就是為了解決“代理之間如何可靠地互相觸達(dá)”而生的。1. 為什么需要Agent-Reach單代理很強(qiáng)代理之間很亂1.1 代理編排的三種“常規(guī)做法”及各自的極限在動(dòng)手寫(xiě)Agent-Reach之前我把市面上常見(jiàn)的多代理協(xié)作方案挨個(gè)試了一遍大致可以歸成三類(lèi)。第一類(lèi)是中心化調(diào)度器。也就是用一個(gè)總控Agent接收所有請(qǐng)求再由它判斷該調(diào)用哪個(gè)子代理把結(jié)果輾轉(zhuǎn)傳遞。這種做法在代理數(shù)量不超過(guò)五六個(gè)的時(shí)候很好用因?yàn)檎{(diào)度器的上下文能覆蓋所有子代理的能力說(shuō)明。但代理一多調(diào)度器自己就變成了新的瓶頸——它既要理解每個(gè)子代理的能力邊界又要維護(hù)它們的狀態(tài)上下文消耗比原來(lái)的單代理方案還夸張。第二類(lèi)是直連調(diào)用也就是代理A的代碼里直接寫(xiě)死代理B的HTTP地址用最原始的方式互相調(diào)接口。好處是快壞處是維護(hù)成本隨代理數(shù)量呈指數(shù)級(jí)上升。我實(shí)際數(shù)過(guò)十幾個(gè)代理兩兩之間如果都要打通連線(xiàn)條數(shù)能到幾十條每次改一個(gè)代理的接口格式波及面大得嚇人。這種方案純粹是“能跑”和“能維護(hù)”之間的距離在拉大。第三類(lèi)是消息隊(duì)列廣播。所有代理訂閱同一個(gè)Topic誰(shuí)聽(tīng)了誰(shuí)知道。這個(gè)方案解耦是解耦了但帶來(lái)了兩個(gè)新問(wèn)題一是消息無(wú)差別廣播每個(gè)代理都要把每條消息過(guò)一遍上下文去判斷“這跟我有關(guān)嗎”浪費(fèi)極其嚴(yán)重二是沒(méi)有響應(yīng)的概念A(yù)問(wèn)B要數(shù)據(jù)B算完了怎么把結(jié)果準(zhǔn)確送回給A簡(jiǎn)單場(chǎng)景可以靠correlation ID硬湊但一旦涉及多跳傳遞、條件分支這套機(jī)制基本不夠看。1.2 Agent-Reach的核心設(shè)計(jì)前提分工自治、觸達(dá)統(tǒng)一折騰完上面三種方案我得出的結(jié)論是多代理系統(tǒng)需要的是代理之間保持自治但觸達(dá)路徑統(tǒng)一。什么意思所謂自治就是每個(gè)代理內(nèi)部可以有自己獨(dú)立的模型配置、提示詞體系、上下文管理策略和工具集我不需要也不應(yīng)該把它們強(qiáng)行統(tǒng)一成一個(gè)模板。所謂觸達(dá)統(tǒng)一則是代理之間的“尋址、路由、消息傳遞、狀態(tài)同步、錯(cuò)誤處理”這五件事不能由每個(gè)代理各自實(shí)現(xiàn)一套必須收斂到一個(gè)公共層來(lái)做。Agent-Reach的定位就是這個(gè)公共層。它不替代任何代理的決策能力也不約束代理內(nèi)部怎么運(yùn)行它只負(fù)責(zé)兩件事第一讓每個(gè)代理能夠注冊(cè)自己的能力和當(dāng)前可用狀態(tài)第二讓任意代理發(fā)出的一條觸達(dá)請(qǐng)求能夠在合適的時(shí)機(jī)、以合適的方式送達(dá)合適的代理并拿到響應(yīng)。這個(gè)設(shè)計(jì)原則聽(tīng)著簡(jiǎn)單落地的時(shí)候牽扯出的細(xì)節(jié)非常多。后面幾節(jié)我會(huì)逐一拆開(kāi)講這里先把一個(gè)最容易犯的誤區(qū)說(shuō)掉很多人一聽(tīng)“公共層”就覺(jué)得要搞成ESB企業(yè)服務(wù)總線(xiàn)那樣的大而全中間件把消息轉(zhuǎn)換、協(xié)議適配、流程編排全部塞進(jìn)去。我個(gè)人的強(qiáng)烈建議是——千萬(wàn)別這么做。Agent-Reach只做“觸達(dá)”層面的活凡是涉及到業(yè)務(wù)語(yǔ)義轉(zhuǎn)換、數(shù)據(jù)格式適配的東西都推給代理自己處理。公共層越薄越容易穩(wěn)定。2. Agent-Reach的架構(gòu)與協(xié)議設(shè)計(jì)2.1 控制面與數(shù)據(jù)面分離的總體思路Agent-Reach的架構(gòu)沿用了網(wǎng)絡(luò)設(shè)備里很經(jīng)典的控制面/數(shù)據(jù)面分離思路??刂泼尕?fù)責(zé)“知道該往哪發(fā)”數(shù)據(jù)面負(fù)責(zé)“把消息實(shí)實(shí)在在傳過(guò)去”。兩者分開(kāi)部署、分開(kāi)擴(kuò)容互不拖累。控制面核心是一個(gè)注冊(cè)中心。每個(gè)代理啟動(dòng)時(shí)向注冊(cè)中心發(fā)送自己的能力聲明Capability Declaration內(nèi)容包括代理ID、可處理的請(qǐng)求類(lèi)型、當(dāng)前負(fù)載等級(jí)、健康狀態(tài)、回調(diào)地址等。注冊(cè)中心把這些信息整理成路由表同時(shí)通過(guò)心跳機(jī)制持續(xù)探測(cè)每個(gè)代理的存活狀態(tài)。這里有一個(gè)關(guān)鍵設(shè)計(jì)路由表不是由某個(gè)中心節(jié)點(diǎn)“下發(fā)”給代理而是代理在需要觸達(dá)時(shí)實(shí)時(shí)查詢(xún)。我最初做成下發(fā)模式結(jié)果每次路由表更新都要推送幾十個(gè)代理消息風(fēng)暴和處理延遲都上來(lái)了。改成查詢(xún)模式之后只有真正發(fā)出觸達(dá)請(qǐng)求的代理才會(huì)去拉取路由信息壓力小了一個(gè)量級(jí)。數(shù)據(jù)面則是一套輕量級(jí)消息傳輸通道。每個(gè)代理通過(guò)Agent-Reach SDK與本地的Reach Node我習(xí)慣叫它觸達(dá)節(jié)點(diǎn)簡(jiǎn)稱(chēng)RN建立長(zhǎng)連接觸達(dá)請(qǐng)求統(tǒng)一交給RN轉(zhuǎn)發(fā)。RN之間可以點(diǎn)對(duì)點(diǎn)直連也可以走中轉(zhuǎn)具體路徑由控制面路由表決定。這里有個(gè)細(xì)節(jié)值得展開(kāi)觸達(dá)消息走的路徑和路由查詢(xún)走的路徑是完全獨(dú)立的兩條鏈路。路由查詢(xún)是HTTP同步請(qǐng)求觸達(dá)消息則是異步長(zhǎng)連接推送。為什么這么設(shè)計(jì)因?yàn)榇淼挠|達(dá)消息往往帶有明顯的請(qǐng)求-響應(yīng)特征但又不像傳統(tǒng)RPC那樣要求毫秒級(jí)返回——AI代理處理一條消息動(dòng)輒幾秒鐘同步阻塞等待的代價(jià)極高。異步推送配合后續(xù)的回執(zhí)機(jī)制才能把復(fù)雜的觸發(fā)鏈?zhǔn)秸{(diào)用撐起來(lái)。2.2 能力注冊(cè)與發(fā)現(xiàn)讓代理學(xué)會(huì)“自我介紹”注冊(cè)中心里存儲(chǔ)的不是簡(jiǎn)單的“代理地址表”而是能力目錄。每個(gè)代理在注冊(cè)時(shí)必須用一段結(jié)構(gòu)化描述聲明自己能處理什么類(lèi)型的請(qǐng)求。比如訂單代理可以聲明{ agent_id: agent-order-01, capabilities: [ { type: query_order, params_schema: { order_id: string, include_items: boolean }, return_schema: { status: string, order_info: object }, estimated_latency: 3s }, { type: cancel_order, params_schema: { order_id: string, reason: string }, danger_level: high, require_approval: true } ], load: 0.4, status: healthy }為什么必須用結(jié)構(gòu)化schema而不用自然語(yǔ)言描述我一開(kāi)始確實(shí)試過(guò)用自然語(yǔ)言寫(xiě)“我能查訂單、能取消訂單、能改收貨地址”讓發(fā)出的代理通過(guò)大模型去理解。效果非常不穩(wěn)定同一個(gè)描述在上下文長(zhǎng)度不同的時(shí)候被解析出來(lái)的結(jié)果差異很大。后來(lái)改成JSON Schema路由匹配用規(guī)則判斷而不是模型推理準(zhǔn)確率一下就到了99%以上。這也印證了前面說(shuō)的公共層的邏輯要盡量用確定性算法把大模型的靈活性留給代理內(nèi)部。2.3 觸達(dá)消息的三類(lèi)模式請(qǐng)求、廣播、回執(zhí)Agent-Reach的觸達(dá)消息定義了三種模式覆蓋了我在實(shí)際業(yè)務(wù)中遇到的所有協(xié)作場(chǎng)景。第一種是請(qǐng)求/響應(yīng)模式。代理A向代理B發(fā)送一條帶唯一消息ID的請(qǐng)求B處理后回復(fù)對(duì)應(yīng)ID的結(jié)果。這是最基礎(chǔ)的模式適合“幫我查一下訂單狀態(tài)”“把這份工單轉(zhuǎn)給售后”這類(lèi)一對(duì)一的協(xié)作。第二種是廣播/聚合模式。代理A向滿(mǎn)足某個(gè)能力條件的多個(gè)候選代理同時(shí)廣播消息然后收集所有回復(fù)再做聚合。這個(gè)模式特別適合做方案對(duì)比比如用戶(hù)問(wèn)“最快能什么時(shí)候發(fā)貨”發(fā)貨代理可以同時(shí)觸達(dá)庫(kù)存代理、物流代理和訂單代理把三家返回的時(shí)間拼在一起算最優(yōu)解。需要注意廣播模式對(duì)候選代理的篩選必須嚴(yán)格依賴(lài)能力目錄不要搞成全量廣播否則上下文和計(jì)算資源都會(huì)被白白吃掉。第三種是回執(zhí)/回調(diào)模式。代理A發(fā)出觸達(dá)請(qǐng)求后不等待立即返回而是告訴對(duì)方“算完了你回調(diào)我”。這種模式適合耗時(shí)長(zhǎng)、需要多步處理的任務(wù)比如售后代理讓報(bào)表代理生成一份復(fù)雜的分析報(bào)告報(bào)表代理可能要跑好幾分鐘不可能讓觸達(dá)通道一直保持占用。Agent-Reach里的回執(zhí)是可以攜帶上下文的也就是說(shuō)B在回調(diào)A時(shí)A可以要求附帶上一次交互的會(huì)話(huà)片段避免A這邊已經(jīng)聊過(guò)好幾輪之后B卻只拿著一份孤立結(jié)果回來(lái)導(dǎo)致A上下文斷層。3. 核心實(shí)現(xiàn)路由、隊(duì)列與超時(shí)控制這部分是整個(gè)Agent-Reach最花功夫的地方因?yàn)槲覐囊婚_(kāi)始就認(rèn)定理論設(shè)計(jì)再漂亮最終都要落實(shí)到具體的路由策略、隊(duì)列策略和超時(shí)策略上這三樣?xùn)|西直接決定了系統(tǒng)跑起來(lái)順不順。3.1 路由表的構(gòu)建能力匹配而非硬編碼地址Agent-Reach的路由匹配分兩層。第一層是類(lèi)型匹配根據(jù)請(qǐng)求里的capability_type在能力目錄里找到所有聲明支持的代理。第二層是約束過(guò)濾過(guò)濾條件包括代理當(dāng)前負(fù)載、健康狀態(tài)、距離上次心跳的時(shí)間、以及調(diào)用方指定的優(yōu)先級(jí)。約束過(guò)濾里面有一個(gè)很實(shí)用的手段給每個(gè)代理設(shè)置“最大并發(fā)觸達(dá)數(shù)”。一個(gè)正在處理五條請(qǐng)求的忙碌代理按理說(shuō)應(yīng)該從路由候選中摘掉但實(shí)操中發(fā)現(xiàn)完全摘掉也不行——有些能力只有這個(gè)代理有摘掉了請(qǐng)求就直接失敗。所以我改成了軟摘除機(jī)制不是不讓它接活而是給它降權(quán)。路由返回的候選列表會(huì)帶上每個(gè)代理的負(fù)載優(yōu)先級(jí)發(fā)起方可以自己決定是等待還是換一個(gè)。這個(gè)“降權(quán)而非摘除”的設(shè)計(jì)在代理數(shù)量少、能力高度專(zhuān)精的場(chǎng)景里非常救命。路由表還有個(gè)隱藏問(wèn)題緩存一致性。每個(gè)觸達(dá)節(jié)點(diǎn)都會(huì)本地緩存一份路由表來(lái)減少對(duì)注冊(cè)中心的高頻查詢(xún)但代理上下線(xiàn)、負(fù)載變化是隨時(shí)發(fā)生的緩存必然有滯后。我的做法是給每條緩存記錄加一個(gè)TTL同時(shí)注冊(cè)中心在代理狀態(tài)發(fā)生跳變時(shí)主動(dòng)推送一個(gè)增量更新信號(hào)。TTL設(shè)成5秒推送負(fù)責(zé)秒級(jí)響應(yīng)兩者配合實(shí)測(cè)下來(lái)路由信息的誤差窗口能控制在幾百毫秒以?xún)?nèi)。3.2 隊(duì)列與背壓別讓慢代理拖垮全局代理之間的處理速度天然是不均衡的。知識(shí)庫(kù)代理查一篇文檔可能只要一兩秒報(bào)表代理跑一份聚合分析可能要幾十秒如果前者瘋狂向后者的隊(duì)列里塞觸達(dá)消息后者的內(nèi)存和上下文池很快就爆了。Agent-Reach在每個(gè)觸達(dá)節(jié)點(diǎn)里維護(hù)了一個(gè)有界隊(duì)列隊(duì)列長(zhǎng)度上限是可配置的默認(rèn)1000條。當(dāng)隊(duì)列塞滿(mǎn)時(shí)新到的觸達(dá)請(qǐng)求不會(huì)直接丟而是進(jìn)入“背壓模式”——向發(fā)送方的RN返回一個(gè)明確的backpressure信號(hào)發(fā)送方收到這個(gè)信號(hào)后會(huì)暫緩發(fā)送同時(shí)降低自己的請(qǐng)求頻率。這里有個(gè)容易踩坑的細(xì)節(jié)很多初版實(shí)現(xiàn)為了省事背壓信號(hào)和正常響應(yīng)用的是同一個(gè)返回碼結(jié)果發(fā)送方傻傻分不清是“處理完了”還是“別發(fā)了”直接把語(yǔ)義搞亂。Agent-Reach里背壓和正常響應(yīng)在協(xié)議層就是兩種不同的消息類(lèi)型發(fā)送方一看到背壓就立刻切換策略絕不能混在一起。隊(duì)列的調(diào)度策略我最終選了帶優(yōu)先級(jí)的WQ加權(quán)隊(duì)列改進(jìn)型而不是最簡(jiǎn)單的FIFO。原因是客服場(chǎng)景里有些觸達(dá)請(qǐng)求是用戶(hù)在線(xiàn)等著答案的有些則是后臺(tái)異步任務(wù)兩者混在一個(gè)FIFO里會(huì)導(dǎo)致在線(xiàn)體驗(yàn)被后臺(tái)任務(wù)堵死。我給在線(xiàn)類(lèi)請(qǐng)求一個(gè)高優(yōu)先級(jí)權(quán)重后臺(tái)任務(wù)雖然也能進(jìn)隊(duì)列但出隊(duì)速率會(huì)被限流。實(shí)測(cè)下來(lái)高優(yōu)先級(jí)請(qǐng)求的P99延遲從6秒降到了2秒左右后臺(tái)任務(wù)的總吞吐量只損失了不到10%。3.3 超時(shí)與重試參數(shù)一組實(shí)測(cè)下來(lái)的穩(wěn)妥配置超時(shí)策略大概是這個(gè)項(xiàng)目里被問(wèn)得最多、也最容易被拍腦袋決定的部分。我給出自己測(cè)過(guò)的一組數(shù)據(jù)供參考但強(qiáng)烈建議大家按自己業(yè)務(wù)調(diào)整別直接抄。首先是單跳觸達(dá)超時(shí)從A的RN發(fā)出請(qǐng)求到B的RN確認(rèn)接收這一段的超時(shí)我設(shè)的是3秒。注意這里只算“確認(rèn)接收”不算“處理完成”因?yàn)锽接收之后可能要花很久做內(nèi)部推理那不屬于觸達(dá)層的職責(zé)。其次是處理完成超時(shí)A允許B在多長(zhǎng)時(shí)間內(nèi)返回結(jié)果我設(shè)的是60秒超過(guò)這個(gè)時(shí)間A會(huì)默認(rèn)這次觸達(dá)失敗并自行處理。這個(gè)值定得比較寬因?yàn)閳?bào)表類(lèi)代理確實(shí)可能跑很久寧可在業(yè)務(wù)層容忍慢也不能在觸達(dá)層過(guò)早掐斷。然后是重試參數(shù)這里踩坑最深。早期我設(shè)的是“失敗后重試3次間隔1秒、2秒、4秒”聽(tīng)著還算合理但在故障場(chǎng)景下這組參數(shù)會(huì)害死人。舉例訂單代理因?yàn)閿?shù)據(jù)庫(kù)連接池耗盡而拒絕新觸達(dá)結(jié)果另外五個(gè)代理同時(shí)發(fā)現(xiàn)它失敗每個(gè)代理按自己的節(jié)奏重試疊加起來(lái)等于每秒鐘有幾十條重試請(qǐng)求涌向訂單代理本來(lái)還能慢慢恢復(fù)的連接池直接被擊穿。后來(lái)我把重試策略改成了指數(shù)退避抖動(dòng)首次重試等2秒之后按指數(shù)翻倍并在上下30%范圍內(nèi)隨機(jī)抖動(dòng)單次任務(wù)的總體重試上限是3次。同時(shí)加了一條關(guān)鍵約束——重試只允許在發(fā)送方RN這一層發(fā)生不允許業(yè)務(wù)代理無(wú)限重試。你可能會(huì)問(wèn)為什么不讓業(yè)務(wù)代理感知重試因?yàn)闃I(yè)務(wù)代理感知得越多每一層都可能自作主張重試重試風(fēng)暴就是這么來(lái)的。把重試收斂到公共層之后行為可控多了故障期間的請(qǐng)求量立刻平穩(wěn)下來(lái)。4. 我踩過(guò)的三個(gè)大坑及完整排查過(guò)程4.1 循環(huán)調(diào)用A找BB找CC又找回A這個(gè)坑是Agent-Reach上線(xiàn)后遇到的第一起線(xiàn)上事故印象極其深刻。起因是一個(gè)新加入的運(yùn)營(yíng)配置小助手代理它發(fā)現(xiàn)用戶(hù)問(wèn)“我的優(yōu)惠券為什么不能用”時(shí)自己拿不準(zhǔn)于是觸達(dá)了訂單代理。訂單代理為了確認(rèn)優(yōu)惠券對(duì)應(yīng)的訂單狀態(tài)又觸達(dá)了運(yùn)營(yíng)配置代理——因?yàn)樗J(rèn)為優(yōu)惠券規(guī)則是運(yùn)營(yíng)配置代理維護(hù)的。兩個(gè)代理就這么你來(lái)我往每條消息都有合法的唯一ID每次觸達(dá)都在超時(shí)時(shí)間內(nèi)返回從單次看沒(méi)有任何問(wèn)題。但半小時(shí)后這兩條代理通道之間的消息積壓了好幾萬(wàn)條系統(tǒng)資源直線(xiàn)飆升。排查鏈路是這樣的我先在監(jiān)控面板上看到這兩個(gè)代理的RN隊(duì)列長(zhǎng)度異常隨后在日志里抓到了它們互相觸達(dá)的消息軌跡打印出來(lái)一看一個(gè)完整的循環(huán)鏈條清晰可見(jiàn)。當(dāng)時(shí)第一反應(yīng)是加“每個(gè)請(qǐng)求最大跳數(shù)”的限制但這個(gè)方案只能止損不能根治——因?yàn)檠h(huán)觸達(dá)的消息ID每次都是新的跳數(shù)限制只能限制鏈條長(zhǎng)度沒(méi)法阻止它們持續(xù)生成新消息。真正的修復(fù)是兩步。第一步在每個(gè)代理的上下文里顯式聲明**“我當(dāng)前正在處理的任務(wù)上下文”**觸達(dá)請(qǐng)求必須攜帶這個(gè)上下文ID當(dāng)接收方發(fā)現(xiàn)自己已經(jīng)在上下文中處理過(guò)這條鏈路時(shí)直接返回一個(gè)“dependency loop detected”的信號(hào)不再繼續(xù)往下傳遞。第二步更底層注冊(cè)中心會(huì)根據(jù)每個(gè)代理過(guò)去5分鐘內(nèi)的行為計(jì)算“依賴(lài)熵”如果發(fā)現(xiàn)兩個(gè)代理之間存在高頻雙向觸達(dá)自動(dòng)在控制面打出告警并降級(jí)其中一條觸達(dá)鏈路的優(yōu)先級(jí)。這套組合拳上線(xiàn)后再也沒(méi)出現(xiàn)過(guò)循環(huán)風(fēng)暴。4.2 狀態(tài)不同步導(dǎo)致“幽靈觸達(dá)”代理以為會(huì)話(huà)已結(jié)束第二個(gè)坑和代理的會(huì)話(huà)狀態(tài)管理有關(guān)問(wèn)題隱藏得很深花了將近兩周才徹底定位清楚?,F(xiàn)象是用戶(hù)在網(wǎng)頁(yè)端關(guān)閉了對(duì)話(huà)窗口但后臺(tái)仍然每隔幾分鐘就有一條觸達(dá)消息從訂單代理發(fā)往知識(shí)庫(kù)代理去查那些已經(jīng)沒(méi)人關(guān)心的文檔。第一直覺(jué)是前端沒(méi)有正確發(fā)送會(huì)話(huà)關(guān)閉信號(hào)但我翻遍了前端代碼信號(hào)確實(shí)發(fā)了。接著懷疑是會(huì)話(huà)狀態(tài)存到了Redis但沒(méi)設(shè)置過(guò)期時(shí)間翻代碼發(fā)現(xiàn)也做了。直到我靜下心打印了訂單代理的完整日志鏈路才發(fā)現(xiàn)問(wèn)題出在代理內(nèi)部的對(duì)話(huà)循環(huán)機(jī)制上訂單代理處理用戶(hù)問(wèn)題時(shí)先自己推理了一輪然后觸達(dá)知識(shí)庫(kù)代理知識(shí)庫(kù)返回之后訂單代理又做了一輪推理并輸出了回復(fù)。用戶(hù)關(guān)閉窗口后訂單代理的推理循環(huán)并沒(méi)有被外部信號(hào)打斷——它認(rèn)為“這次對(duì)話(huà)還沒(méi)完成我的回復(fù)用戶(hù)還沒(méi)看到”于是繼續(xù)執(zhí)行后續(xù)的觸達(dá)計(jì)劃。說(shuō)白了觸達(dá)請(qǐng)求的生命周期綁定錯(cuò)了對(duì)象。它應(yīng)該跟隨“用戶(hù)會(huì)話(huà)”的生命周期而不是跟隨“代理推理循環(huán)”的生命周期。修復(fù)方案是在Agent-Reach的SDK里增加了一個(gè)會(huì)話(huà)心跳檢查接口任何代理在發(fā)出觸達(dá)請(qǐng)求前必須先校驗(yàn)當(dāng)前會(huì)話(huà)是否仍然活躍如果會(huì)話(huà)已關(guān)閉則直接中止后續(xù)動(dòng)作并回收上下文資源。同時(shí)我在注冊(cè)中心加了一份“會(huì)話(huà)活躍表”由業(yè)務(wù)前端在會(huì)話(huà)生命周期變化時(shí)推送狀態(tài)。這個(gè)修復(fù)除了解決幽靈觸達(dá)還意外地省了一大筆模型上下文費(fèi)用——之前那些無(wú)效觸達(dá)背后都跟著一輪又一輪的模型請(qǐng)求錢(qián)就是這么悄悄流走的。4.3 重試風(fēng)暴一次瞬時(shí)故障引發(fā)的連鎖雪崩第三個(gè)坑就是前面3.3節(jié)提到的重試風(fēng)暴那次事故的完整排查過(guò)程值得再細(xì)說(shuō)一遍。那天訂單數(shù)據(jù)庫(kù)發(fā)生了一次40秒的主從切換按理說(shuō)業(yè)務(wù)影響不應(yīng)該太大但Agent-Reach初版的重試策略立刻讓事態(tài)升級(jí)。先是訂單代理收到數(shù)據(jù)庫(kù)連接失敗它自己內(nèi)部有一個(gè)重試機(jī)制嘗試了3次。與此同時(shí)客服主代理、售后代理、庫(kù)存代理都在自己的推理流程里觸達(dá)了訂單查詢(xún)接口每個(gè)代理都各自重試每輪重試失敗之后還觸發(fā)下一輪的“重新分析”。最多的時(shí)候四個(gè)代理同時(shí)對(duì)訂單代理發(fā)出每秒上百次的查詢(xún)觸達(dá)。我在監(jiān)控面板上看到訂單代理的請(qǐng)求量曲線(xiàn)像坐火箭一樣往上沖第一時(shí)間把業(yè)務(wù)代理的入口全部切到了降級(jí)模式才把請(qǐng)求量按下來(lái)。事后復(fù)盤(pán)時(shí)我畫(huà)了一條請(qǐng)求量時(shí)間線(xiàn)系統(tǒng)正常時(shí)峰值請(qǐng)求量是每秒30次左右故障期間最高沖到每秒470多次其中真正用戶(hù)產(chǎn)生的請(qǐng)求只有不到5%剩下全是代理之間的自愈性重試。這次事故之后我把重試機(jī)制整個(gè)重構(gòu)了一遍所有代理SDK內(nèi)置的重試邏輯全部移除統(tǒng)一交給RN層處理。RN層設(shè)置每對(duì)觸達(dá)關(guān)系獨(dú)立的重試計(jì)數(shù)器而不是全局共享一個(gè)同時(shí)引入故障熔斷——如果某個(gè)目標(biāo)代理在10秒內(nèi)的失敗率超過(guò)50%RN會(huì)直接短路所有指向它的觸達(dá)請(qǐng)求快速失敗返回給上游而不是繼續(xù)傻等或者傻重試。熔斷狀態(tài)每30秒嘗試放行一次探測(cè)請(qǐng)求成功一次就慢慢恢復(fù)流量。這些機(jī)制組合起來(lái)之后再做了一次故障演練同樣殺訂單數(shù)據(jù)庫(kù)40秒系統(tǒng)P99響應(yīng)時(shí)間只從1.8秒升到了4.2秒沒(méi)有出現(xiàn)任何雪崩。5. 權(quán)限與安全邊界代理能觸達(dá)的不等于可以執(zhí)行多代理系統(tǒng)帶來(lái)的一個(gè)隱性問(wèn)題是觸達(dá)范圍的擴(kuò)大直接等于攻擊面的擴(kuò)大。在一個(gè)單體應(yīng)用里一個(gè)函數(shù)能不能調(diào)用另一個(gè)函數(shù)編譯器替你管著在多代理系統(tǒng)里每次觸達(dá)都是一次跨信任邊界的調(diào)用必須有明確的權(quán)限控制。5.1 信任分級(jí)與令牌傳遞Agent-Reach把代理之間的信任關(guān)系分成三個(gè)級(jí)別。L1級(jí)是核心代理群包括訂單、支付這些涉及到錢(qián)的代理它們之間的觸達(dá)必須使用雙向mTLS認(rèn)證同時(shí)每次觸達(dá)請(qǐng)求都要附帶由注冊(cè)中心簽發(fā)的短期令牌。L2級(jí)是常規(guī)業(yè)務(wù)代理觸達(dá)時(shí)只需要單向認(rèn)證加令牌。L3級(jí)是外部插件代理它們?cè)谏诚洵h(huán)境中運(yùn)行只允許通過(guò)受限的API接口對(duì)外觸達(dá)且所有觸達(dá)內(nèi)容都要過(guò)內(nèi)容審計(jì)。令牌傳遞的設(shè)計(jì)我踩過(guò)一次坑最初為了省事令牌的有效期設(shè)成了24小時(shí)結(jié)果某天一個(gè)代理的日志泄露到了測(cè)試環(huán)境攻擊者直接拿著有效令牌在內(nèi)部網(wǎng)絡(luò)里橫向觸達(dá)了好幾個(gè)代理。后來(lái)我把令牌有效期縮到15分鐘同時(shí)規(guī)定令牌只能由發(fā)起觸達(dá)的代理持有禁止目標(biāo)代理將令牌轉(zhuǎn)發(fā)給第三方。要做級(jí)聯(lián)觸達(dá)時(shí)目標(biāo)代理必須重新向注冊(cè)中心申請(qǐng)新的令牌而不是復(fù)用上游傳來(lái)的令牌。這樣每個(gè)跳轉(zhuǎn)鏈路都是獨(dú)立的憑證鏈單一環(huán)泄露不會(huì)導(dǎo)致整條鏈?zhǔn)Э亍?.2 高危動(dòng)作的雙人復(fù)核閘門(mén)能力目錄里我在聲明時(shí)加了一個(gè)danger_level字段就是為了在觸達(dá)層做高危操作的攔截。比如“取消訂單”“發(fā)起退款”“刪除工單”這些操作不允許因?yàn)槟硞€(gè)代理被另一個(gè)代理觸達(dá)就能直接執(zhí)行。Agent-Reach里實(shí)現(xiàn)了一個(gè)復(fù)核閘門(mén)機(jī)制當(dāng)目標(biāo)代理接收到danger_levelhigh的觸達(dá)請(qǐng)求時(shí)它不會(huì)直接執(zhí)行操作而是向操作審批服務(wù)發(fā)起一個(gè)復(fù)核請(qǐng)求。審批服務(wù)會(huì)在企業(yè)IM群里拉起一條審批卡片需要指定的業(yè)務(wù)負(fù)責(zé)人點(diǎn)擊確認(rèn)后操作才會(huì)繼續(xù)執(zhí)行。這個(gè)看起來(lái)“不AI”的設(shè)計(jì)實(shí)際運(yùn)行中反而給整個(gè)系統(tǒng)帶來(lái)了更多信任度——業(yè)務(wù)方終于不再把代理之間的自動(dòng)觸達(dá)看成黑盒怪物了。有一件印象很深的事上線(xiàn)復(fù)核閘門(mén)的第一周某天下午突然有一條“批量發(fā)送優(yōu)惠券”的高危觸達(dá)請(qǐng)求發(fā)起復(fù)核審批群里一個(gè)主管點(diǎn)了同意事后發(fā)現(xiàn)其實(shí)是運(yùn)營(yíng)誤操作觸發(fā)了一個(gè)錯(cuò)誤的消息鏈路。因?yàn)橛写竽P蛥⑴c的推理過(guò)程本身可能有幻覺(jué)這種閘門(mén)給了人類(lèi)一個(gè)糾錯(cuò)窗口成本和收益相比完全劃算。6. 性能實(shí)測(cè)與調(diào)優(yōu)記錄最后用實(shí)測(cè)數(shù)據(jù)收個(gè)尾這部分直接關(guān)系到Agent-Reach到底能不能扛住真實(shí)業(yè)務(wù)流量。6.1 端到端延遲與吞吐量壓測(cè)壓測(cè)環(huán)境是20個(gè)代理節(jié)點(diǎn)分布在同一地域的三臺(tái)服務(wù)器上每臺(tái)服務(wù)器跑了一個(gè)RN節(jié)點(diǎn)和6-7個(gè)代理進(jìn)程。壓測(cè)場(chǎng)景模擬了客服系統(tǒng)的混合負(fù)載60%的簡(jiǎn)單觸達(dá)單跳查詢(xún)30%的鏈?zhǔn)接|達(dá)兩跳A→B→C10%的廣播聚合觸達(dá)。結(jié)果是場(chǎng)景QPSP50延遲P95延遲P99延遲單跳觸達(dá)50045ms90ms180ms兩跳鏈?zhǔn)接|達(dá)200220ms500ms920ms廣播聚合5個(gè)目標(biāo)501.2s2.4s3.6s注意這里測(cè)的只是觸達(dá)層的延遲不包含代理內(nèi)部調(diào)用大模型的時(shí)間。實(shí)際生產(chǎn)環(huán)境中跨代理調(diào)用大模型會(huì)把P95拉到十幾秒這時(shí)候觸達(dá)層的幾百毫秒延遲基本被淹沒(méi)但它決定了系統(tǒng)的穩(wěn)定上限——如果觸達(dá)層都在抖后面的大模型推理就不可能穩(wěn)定。我個(gè)人的判斷標(biāo)準(zhǔn)是觸達(dá)層P95延遲必須控制在代理自身推理時(shí)間的十分之一以?xún)?nèi)這層才算是合格的。6.2 三個(gè)最有效的調(diào)優(yōu)點(diǎn)調(diào)優(yōu)過(guò)程中有三個(gè)改動(dòng)效果特別明顯給后面想做類(lèi)似系統(tǒng)的人一個(gè)參照。第一個(gè)是把路由查詢(xún)從同步阻塞改成異步預(yù)取。最初代理發(fā)出觸達(dá)請(qǐng)求時(shí)RN會(huì)先去注冊(cè)中心查路由查完再轉(zhuǎn)發(fā)整個(gè)過(guò)程是串行的。后來(lái)改成RN本地緩存路由表并周期性預(yù)取絕大多數(shù)觸達(dá)請(qǐng)求不需要再實(shí)時(shí)訪(fǎng)問(wèn)注冊(cè)中心單跳延遲直接降了60%以上。第二個(gè)是使用連接池復(fù)用來(lái)替代每條消息新建連接。這個(gè)是很樸素但收益巨大的一步。RN之間的長(zhǎng)連接保持Time wait狀態(tài)處理得好不好直接影響系統(tǒng)的并發(fā)上限。我專(zhuān)門(mén)看了一下連接復(fù)用之前的TIME_WAIT套接字?jǐn)?shù)量在高峰期能到3000多復(fù)用之后降到幾十。第三個(gè)是壓縮廣播聚合的冗余回執(zhí)。廣播模式很容易出現(xiàn)5個(gè)目標(biāo)代理都回了內(nèi)容但最終聚合時(shí)只用到2-3個(gè)結(jié)果的情況。我從兩個(gè)方向優(yōu)化一是在廣播請(qǐng)求里附加“已有結(jié)果摘要”其他目標(biāo)代理看到摘要后可以決定是否還要認(rèn)真計(jì)算二是聚合階段做了流式處理先返回的結(jié)果先參與判定如果前兩個(gè)結(jié)果已經(jīng)能形成明確答案就不再等待剩余回執(zhí)。這兩個(gè)優(yōu)化讓廣播聚合的平均完成時(shí)間縮短了大約1倍。Agent-Reach這個(gè)項(xiàng)目的核心收獲說(shuō)來(lái)說(shuō)去就是一句話(huà)多代理協(xié)作的復(fù)雜度不以代理數(shù)量線(xiàn)性增長(zhǎng)而是以觸達(dá)關(guān)系的數(shù)量指數(shù)級(jí)增長(zhǎng)。與其把精力花在讓每個(gè)代理變得更聰明上不如先確保代理之間的每一條通路都可靠、可控、可觀測(cè)。我現(xiàn)在已經(jīng)不太擔(dān)心某個(gè)代理的推理能力不夠了反而更擔(dān)心哪條觸達(dá)鏈路在無(wú)人注意的角落里悄悄累積風(fēng)險(xiǎn)。這個(gè)項(xiàng)目后續(xù)我會(huì)接著做故障注入演練和更精細(xì)的鏈路追蹤等有新的進(jìn)展再寫(xiě)文章分享。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
91久久五月天| 五月丁香婷婷激情| 色婷婷五月综合| 涩五月婷婷| 亚洲成人综合网在线免费观看| 亚洲激情丁香五月天色| 狠狠干夜夜干| 狠狠色丁香| 激情视频网址| 五月天天丁香婷婷在线中| 激情综合色婷婷啪啪六月天| 拍真实国产伦偷精品| w婷婷五月婷婷w| 色情综合网| 国产99热| 五月丁香久久色| 求可以看的AV网址| 国产FREESEXVIDEOS性中国| 激情婷婷五月| 婷婷五月天伦理| 五月www| 人妻精品一区二区三区| 99热这里都是精品| 久久久99视频| 他改变了拜占庭| 丁香五月婷婷六月| 99视频久久免费视频| 五月激情婷婷在线| 操91| 亚洲无码99| 九九热这里只有精品5| 亚欧州精品视频| 成人电影在线免费试看| 日本精品99网站| 99热九九这里只有精品| 97天堂| 大香蕉操操| 亚洲精品色| 超级碰碰碰91| 殴美激情综合网| 丁香五月天导航| 亚洲AV网站| 66久久视频在线| 丰满少妇乱A片无码| 婷婷五月色情| 天天干狠狠艹| 影音先锋91资源站| 亭亭玉月丁香| 日本久久爱| 狠狠xx| 九九精品re免费视频| 婷香五月激情视频| 888久久久| 99热综合在线| 天天噪夜夜爽| 金品在线视频99| 婷婷五月激情图片| av网站中文| 日韩av网站在线观看| 久久人人九| 成人噜噜网| 色婷婷yy久| www久久艹| 丁香九月婷| 人人人操B超碰| 婷婷色五月丁香六月欧美啪| 婷婷婷婷色| 九九色人| 亚洲av成人电影在线观看| 99视频精品在线| 日逼免费视频 | 国产看真人毛片爱做A片| 天天操,天天插| 日韩人妻无码精品| 婷婷色综合网日韩国产| 国外亚洲成AV人片在线观看| 另类视频在线| 9久久久久| 99操逼| 精品乱码视频| 黄色激情久久| 激情啪啪五月天| 激情四射五月天| 五月天久久婷婷| 激情六月日韩| 国产资源91在线| www.狠狠干| 婷婷综合另类| 青青草Avb在线| 99热国产免费| 五月丁香色婷基地综合久久| 丁香五月综合激情啪啪| 棕合影院色色| 蜜臀99精品| 五月婷婷激情四月| 五月丁香婷中文| www.国产亚洲69ty.久久久久久久久久久久| 婷婷五月丁香亚洲| 最近中文字幕大全免费版在线 | 天天做天天爱| 亚洲五月丁香六月婷婷| 97碰精品| 国产1区2区3区| 免费视频在线观看的网站| 超碰大香蕉网| 91热久久| 天天色色天天| 欧美99| 操逼巨乳91| 婷婷五月天免费| 五月天激情婷婷丁香| 四色综合网| 91蜜桃婷婷狠狠久久综合9色| 亚洲成人在线播放| 日韩在线视频中文字幕| 婷婷丁香六月| 丁香六月婷婷高清| 五月丁香在线精品| 丁香五月色综合色播五月| 九九热中文| 激情开心五月天| 996er热| 九九成人| 日韩有码一区| 91久久久久久| 噜噜色五月| 色爱综合网| 久婷| 丁香五月激情六月综合| 丁香六月欧美| 99热啪啪| 五月婷婷在线观看黄| 久99久视频| 午夜丁香婷婷| 丁香五月激情五月| www.久久爱.c n| 五月色婷| 99热只有这里才是精品| 丁香五月天激情综合| 日日操天天操| 丁香五月婷婷激情完整版| 亚洲综合另类| 激情亚洲婷婷六月| 五月天激情小说欧美激情| 欧美久久婷婷| 天天日中文| 开心婷婷中文字幕| 99在线观看| 欧美三级大片AA在线看| 色色色五月婷| 日本操逼九九九九58日本操逼| 久久婷婷六月综合| 婷婷五月影院| 99久久久久久| 国产精品热搜丁香五月婷婷| 日日操天天操| 天堂呦 呦百度搜索-百度搜索| Av在线不卡一区| 色色热99| 久久亚洲无码| 五月香婷婷| 婷婷色五月天在线观看| 亚洲欧洲另类图片| 婷婷五月天开心激情网| 另类少妇人与禽zOZZ0性伦| 久久探花91swag| 综合激情专区| 丁香五月婷婷狠狠色| 中文字幕成人影视| 69er小视频| 色色色色热| 五月 激情视频| 99只有精品9| 狠狠狠狠狠狠狠狠狠狠狠色宗合图片| 九九视频在线| 欧美一级毛卡片无码| 九九视频免费| 色婷婷久久综合| www.久久爱.c n| 天天爽天天草| 久久婷婷五月天丁香| 91精品婷婷国产综合| 九一99| 激情五月天电影| 久热爱大香蕉在线蜜臀悦色 | WW婷婷五月天com| 激情综合丁香六| 婷婷亚洲丁香五月| 天天拍天天操| 亚洲人妻av| 激情五月天综合网| 五月天夜夜爱夜夜操| 五月天色官网| 五月丁香六月婷婷久久| 91久女| 激情色五月天| 草草色情综合网| 免费操超碰| 襙逼网| 国产毛片精品一区二区色欲黄A片 国产人妻777人伦精品HD | 丁香九色不卡aaa| 色色COm| 日韩有码一区| 中文字幕av在线播放| 操B视频在线播放| 色99免费视频中文| 婷婷六月天亚州| 亚洲精品国产熟女久久久| 九月婷婷久久久| 五月婷婷二月丁香| 一本色综合色| 奇米四色五月天| 婷婷五月丁香基地在线视频官网| 99色视频| 婷婷五月AV| 一级二级色大片| 六月婷婷AV| 这里只有精品1| 成人必爱视| 高清不卡一区| 26uuu四色| 1024久婷| 99久久婷婷国产综合| 91九色国产| 91日韩在线| 97色婷婷五月天| 久婷婷五月综合欧美| 99色色热| 就要爱综合| 国产精自产拍久久久久久蜜| 色色综合五月| 日韩av干| 超碰色色综合| 五月天天天综合| 91久久九九| 激情六月丁| 五月网激情| 另类 在线| 超碰人人射| 狠狠综合| 婷婷五月天久久| 久久99精品久久久| 97色婷婷| 国产91视频| 激情五月综合网| 99久久性爱| 99热精品9| www99精品| 日本 色综合| www.色综合.com| www.狠狠操.com| 欧美丁香六月激情视频| 九月婷婷综合| 人人摸人人| 激情五月天婷婷激情| 九伊人网| 91九色 熟| 香蕉AV福利精品导航| 在线可以看的av网址| 99久在线精品99re8| 色香久久| 九九99久久| 欧洲亚洲欧洲99久久| 99九九视频精彩在线| 丁香六月啪| 色婷婷AV在线观看| 色七色九九| www.色五月| 日日日日做夜夜夜夜无码| 老师把我爽高潮了免费A片| 婷婷久久色| 丁香六月婷婷开心| 69久久99精品久久久久| www.91.com黄| 9久热在线视频精品| 丁香深五月婷婷| 婷婷丁香五月天激情| 五月婷在线| 玖玖色资源站| 日韩久久这里只有精品| va婷婷| 狠狠干五月天婷婷网| 天天激情5月天亚洲| 97在线日本| 丁香,开心成人,久久| 五月婷婷免费在线视频| 五月激情婷婷综合| 天天肏夜夜肏| 婷婷丁香人妻天天爽| 丁香六月无码| 激情丁香五月天图片| 色欲一二三| 亚洲色99| 五月天啪啪| 五月婷婷久久网| 蜜乳AV成人| 日韩无码性爱| www超碰| 思思热久久艹| WWW.99热| 天天干天天干天天干天天干天天干天天干天天 | 免费视频WWW在线观看网站| ..真实国产乱子伦毛片| 91色情播放| 成年人99热| 狠狠色综合久久| 青青草五月天| 色情五月婷婷| 丁香五月婷婷色| www激情| 亚洲欧洲另类图片| 亚洲一级色电影| 婷婷九月狠狠色| 婷婷免费精品视频| 免费色色色| 天天操狠狠操| www.久久| 婷婷丁香无码专区| 大香蕉五月天婷婷| 色婷婷丁香五月天激情综合网| 色婷婷九月| 亚洲久久婷婷| 五月综合激情婷婷六月色窝| 五月丁香激情综合六月涩涩爱| 亚洲综合五月天婷婷丁香| 99re热视频这里只精品5| 日韩啪啪网| 日本WWW九九九| 婷婷丁香五月天婷婷| 五月天婷婷在线AN| 色色99| 伊人超碰在线| 狠狠操之狠狠操| 亚洲视频99| 激情网 久久| 碰碰91| 婷婷激情综合无月| 综合网亚洲| 五月噜噜| 亚洲成人网站在线观看| 99a级片| 91高潮喷水久久久久久久久| 婷婷永久在线| 五月丁香六月婷婷操操操| 午夜不卡久久精品无码免费| 99精品热| 99久久99九九99九九九| 日本九九九九九九| 九九热精品| 欧美精品999| 婷婷五月综合社区| 色玖玖| 激情五月天偷拍综合网| 国外亚洲成AV人片在线观看| 国产激情久久久| 超碰猛烈的性猛交| 亚洲无码99| 成人短视频免费| 五月婷婷香蕉| 五月婷视频| 五月天综合在线| 99精品自拍| 五月天丁香成人社| 欧美超级视频97| 九九久久综合网站| 丁香五月av在线| 久久九九99.www| 亚洲激情精品| 亚洲丁香婷婷| 99热在线播放| av在线中文| 丁香五月综合婷婷| 丁香美女主播视频在线观看| 色婷婷成人做爰A片免费看网站| 五月婷婷九| 97在线视频观看| 亚州色婷婷| 天天干-天天日| 风流少妇A片一区二区蜜桃 | 丁香五月天激情综合| 开心五月深爱五月| 欧美色色色色色色色色色色影视| 久久99最新| 五月丁香五月婷婷| 欧美色骚婷婷五月天| 97操资源婷婷| 99久.| 久久久18| 天天日综合| 狠狠 婷婷| 天天爽日日爽夜夜爽| 丁香五月天大香蕉啪啪| 97碰碰在线观看视频| 亚洲视频五区| 97在线观视频免费观看| 婷婷六月综合在线| 日韩欧美一道四区中文字幕| 青青草五月天| 99热.com| 91久久五月天| 色五月婷婷久久| 影音先锋 婷婷| www.无码com| 亚洲熟女色| 五月激情开心婷婷| 无码少妇高潮喷水A片免费| 五月丁香六月婷婷网站| 亚欧州精品视频| 色99综合视频| 亚洲综合在线伊人婷| 丁香五月婷婷激情蜜桃| 色播五月丁香| www.ppypp| 五月丁香花激情综合网| 久久这里有精品| 五月丁香手机在线| 婷婷色情五月| 激情98色婷婷五| 丁香五月婷婷大香蕉| 狠狠色狠狠鲁| 99热综合网| 风流少妇A片一区二区蜜桃| 婷婷午夜综合| 五月婷婷香蕉| 婷婷丁香激情五月| 午夜婷婷丁香| 国产成人精品一区二三区熟女在线 | WWW.夜夜操.com| 日韩有码一区| 久久激情综合| 亚洲成人高清在线| 99色综合| 婷婷五月天成人网| 91操片| 激情丁香九九五月综合网| 久久久久亚洲AV无码网影音先锋| 久久丁香婷婷色情综合| 久99| 婷婷精品| 亚洲乱码日产精品BD| 九九亚洲视频| 五月天停停成人网| site:feetmall.com| 色五月婷婷婷婷婷婷婷婷婷婷| 久婷五月| 婷婷开心综合人妻小说网址| 久久黄色免费视频| 激情图片婷婷丁香五月| 一二线视频 另类| 天天草天天爽| 五月天婷婷基地丁香| dingxiangtingtingliuyue| 久久人人人人妻| 激情五月丁香五月| 开心五月激情| 婷婷色香六月综合激情| 99久热这里有精品| 色丁香久综合在线久综合在线观看| 日日干日日色| 性生活久久朋友人妻| 开心五月深爱激情| 白人荫道BBWBBB大荫道| 婷婷酒色网| 欧美丁香五月| 九九色精品| 色婷婷网| 六月丁香婷婷尤物| 97成人在线视频精品| 久久九九99.www| 五月婷婷成人| 久久久免费图片视频| 国产日韩av片| 最新色色五月天| 天天拍天天操| 欧洲亚洲午夜| 亚洲亚洲人成综合网络| 9色免费网| 久久婷婷六月综合| 97精品在线| 五月丁香六月婷婷免费视频| 玖玖在线资源视频| 中文av网站| 天天想夜夜爽天天爽| 涩婷婷五月天| 久热婷婷| 亚洲成人在线播放| 狠狠爱成人综合网| 97一区二区| 六月丁香啪啪啪| 99爱免费视频| 婷婷亚洲欧美丁香五月| 中文激情网| 狠狠色婷婷777| 婷婷五月天色色| 国产又色又爽又黄又免费| 久久A极片| 亚洲激情AV| 久久婷婷五月| 久热大香蕉| 丁香婷婷六月| www·五月天| 亚洲黄色影视| 丁香五月 激情文学| 久久婷青青草原| 99热在线观看| 日本狠狠干| 婷婷综合日本| 九九精品视频在线6| 99热伊人| 天天肏夜夜肏| 91干婷婷| 色五月大| 五月婷婷色综图片| 爆乳熟妇一区二区三区爆乳| 九九在线视频| 久久丁香五月天| 亚洲激情网| 日本精品人妻无码77777| 秋霞免费视频| 六月色激情| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 天天天天色天天天天天干| 99在线国| 99综合| 五月婷婷天| 日韩黄色电影| 九九视频这里只有精品| 日韩熟女啪啪视频| 欧美色色色色色色色色色色| www.日韩国产| 五月丁香婷婷综合久久| 久热这里只有精品在线观看 | 日日操天天爽| 五月天婷婷AV| 国产性爱一级| 99人妻碰碰久久久禁片| 99综合| 丁香六月久久| 免费观看全黄做爰的视频| 久久亚洲激情五码| 六月激情婷婷综合| 人人做天天爱| 婷婷五月天欧美| 五月天婷婷视频| 日本少妇裸体做爰高潮片 | 综合网啪| 九九精品9| eeuus五月婷| 性爱电影科技贸易有限公司| 国产成人网| 九九视频在线观看视频6| 91人久| 亚洲欧洲色色| 婷婷色日本| 97操在线视频| 色婷婷AV久久| 夜夜噜夜夜奇| 六月丁香婷婷综合狠狠爱夜夜爱| 超碰chaompinm| 色情综合网| 午夜成人片400| 久久久久婷婷| 9 9热这里有精品| 色狠久| 99热在这里只有精品| 色婷五月| 人人视频人人干人人做| 97色视频网| 久久精品小视频| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 五月天综合网| 超碰在线个人观看| 丁香五月综合激情啪啪| 午夜无码熟熟妇丰满人妻| 丁香五月婷婷社区| 变态另类9| 五月天激情网图片| 久久九精品| 久久丁香久久| 五月丁香综合| 99在线精品视频| 五月天激情图| 5月丁香婷婷| 97碰碰叉| 99综合网| www.五月婷婷| 丁香五月激情啪啪| 久思思热视频在线观看| 大香蕉九九| 久久HD| 婷婷丁香成人| 91丨九色丨丰满人妖| 亚洲第一色区| 第四色色色色色丁香五月天| 色婷婷五月天综合网| 国产精品美女| 97欧美在线| 婷婷99| 第二色AⅤ| 在线中文av| 六月婷婷香蕉| 色五月欧美| 婷婷五月天激情综合| 九月停停| 超碰免费人| 激情五月天伊人影院| 超碰成人电影| 激情五月天婷婷视频| AA片在线观看视频在线播放| www.yw色| 97色97干| 9热网站| 天天舔天天摸| 热久久这里只有三级视频| 色情·com| 97干在线免费| 综合久久高清| 婷婷色五月亚洲| 五月丁香综合激情网| XX色综合| 操逼巨乳91| 婷婷五月天在线看| 激情啪啪五月天| 天天肏在线| 久色网| 丁香网五月天| 日本成人噜噜噜噜噜| 亚洲亚洲人成综合网络| 99热e| 综合激情视频| 婷婷五月无码| 婷婷99综合| 亚洲色另类| 5月丁香六月婷婷| 国产性爱一级| http:色情日本com| 色综合天天综合成人网| 丁香五月婷婷大香蕉| 亚洲午夜视频| 五月丁香六月婷婷激情四射| 亚洲综合五月天| 婷婷五月天堂网| 九九精品丁香花| 激情五月婷婷视频| 九月激情网| 五月激情另类| 男女免费视频999| 8090在线影视少妇| 婷婷综合五月天激情| 丁香五月 综合| 97日日碰碰| 精品操逼一区二区| 五月婷婷香蕉| 综合色色色| AV操操操| 我爱va亚洲va52| 国产精品成人AV在线| 九九99偷拍视频| 色播五月综合网| 91黄址| 人人色婷婷| 成人综合视频在线| 亚洲有码在线视频| 91久久电影| 五月天三级久久| www,99热在线观看| 99色天堂| 无毒黄色网址| 99色热| 激情综合色婷婷啪啪六月天| 99热九九在线| ...婷婷国产成人亚洲日韩| 99热都是精品| 成人资源在线| 97婷婷五月激情六月丁香伊人| 婷婷网影院| 婷婷五月电影院| 97资源碰碰在线| 亚洲 精品 综合 精品| 热久91| 九九色综合| 天天做天天爱天天爽综合网| 久久杏爱视频| 婷婷五月丁香香蕉| 狠狠爱婷婷丁香| 五月婷婷色色| 99在线观看视频精品| 天天干com| www.婷婷五月| 月月AV| 六月丁香婷婷开心综合基地| 天天拍天天操| 精品免费99| 丁香九月婷| 国产高清视频91九九九久久久| 日韩无码系列| 激情色播| 婷婷玉月丁香五月在线视频| 五月丁香av在线| 久操97| 开心日韩丁香婷婷五月| 婷婷狠狠干| 五月婷婷在线观看黄| 狠狠操天天干| 91蜜桃婷婷狠狠久久综合9色| 欧美色色干| 97精品综合久久| 六月婷婷无码| 五月激情五月婷婷五月天在线| 激情五月天网| 色色婷婷丁香| 99热精品在线| 九九亚洲无码| 精品少妇蜜臀91| 国产亚洲精品AAAA片APP| 不卡在线视频| 中文字幕无码人妻少妇免费视频| 九九99九九精品视频| 伊人色综合影院视频| 五月丁香六月婷婷综合免| 日日干夜夜撸夜夜骑| 艾小青av| 97影院一级片| 精品色色| 在线成人国产| 蜜桃婷婷丁香五月天狠狠久久综合| 天堂综合久| 婷婷午夜| 久久综合香蕉国产国产蜜臀AV| 丁香五月激情鲁| 五月激情影视| 日本wwww在线| 天天爽天天爽视频| 玖玖婷婷五月天| 9月色婷婷| 色婷婷激情五月天在线观看| 射久久丁香五月| 欧美激情五月天| 黄色片avv| 色婷婷丁香网| 大香蕉网站,大香蕉综合| 欧美25p| 五月婷婷电影院| 婷婷五月AV| 国内自拍97在线| 色婷婷成人| 98国产精品综合一区二区三区| 九九精品视频免费在线| 色色免费网站| 日本色图综合| 天天操人人干| 人人添人人| 天天躁日日躁狠狠躁日日躁2022年5月9日| wwccc久久久| 无码激情AAAAA片-区区| 婷婷六月天| 久久久8| 久草热久草在线视频| 狠狠操婷婷| 九九热婷婷| 五月婷婷丁香大陆免费| 五月丁香黄色| 婷婷情色开心五月天99| 色婷婷丁香五月天在线观看| 久久99这里只有精品| 丁香五月婷婷色| 激情都市五月天| 91丨九色丨高潮丰满日本| 激婷网| 激情五月天小说网| 五月丁香婷庭在线| 九九九九中文字幕| 欧美激情五月天| 激情影院丁香五月| 啪到高潮激情丁香五月| 久久婷婷伊人| 亚洲九九99精品视频在线播放| 91丨九色熟女丨首页| 九九久久五月天| 丁香五月激情六月| 人人人人人人人草| 99色婷婷| 色色999三级片| 青青草tp| 五月天亚洲最大成人| 99色色| 日日夜夜九九| 天天操天天干天天日| 99高级会所久久| 色色狼人综合| 日操夜操天天操不卡| 婷婷综合五月激情| 激情小说五月天| 国产激情av| 人人叉久| 五月J香蕉婷婷| 91丨九色丨熟女丰满| 婷婷六月天亚州| 襙比视频| 婷婷色天香| 久久3p| 日本黄色精品| 欧美激情久| 成人国产欧美大片一区| 日韩色色视频| 天天综合色| WWW.婷婷| 欧美色色色色色| 九九99精品视频| www.婷婷五月天| 99在线精品视频| 九九热av| 在线观看免费狠狠色丁香香综合| 欧美成人性爱网| tingtingseav| 国产精产国品一二三在观看| 99在线热| 97色色色色色| 五月天另类激情在线| 开心激情婷婷| 激情五月天色色网| 青青草成人网| 欧洲不卡视频| 女人天堂AV| 男女啪啪做爰高潮无遮挡| 久久97久久99久久综合欧美| 日韩黄在免| 婷婷五月欧美| 久久久精品婷婷五月天| 人妻中文av| 精品9久| 久久精品日| 五月天停停日日| 91在线日| 26uuu亚洲欧美另类| 六月婷婷五月丁香首页| 深爱激情九九五月天| 婷婷视频在线| 夜夜资源站| 97欧美在线| 色爱综合网| 极品 少妇 内射| 丁香五月天AV| 大香蕉九九| 超碰国产在线| 九月丁香久久网| 91日韩美女被插视频| 久久与婷婷| 五月天色婷婷小说| 99综合网| 天天爽天天操| 任你躁XXXXX麻豆精品| 天堂美国久久| 最新av在线观看| 这里只有免费的精品| 欧美狠狠色| 成人做爰高潮A片免费视频| 色色影院黄大片| 丁香婷婷五月天色综合| 亚洲成人噜噜| 婷婷午夜精品久久久| 性无码专区无码| 亚洲情欲久久| 国产亚洲在线观看| 激情五月天小说| 久久婷婷综合网| 亚洲综合视频八| 亚洲国产成人在线| 久热网站| 人妻久久久久久| 狼人婷婷久久| 天天操夜夜橾| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 国产欧美日韩综合精品一区二区| 婷婷激情97| 91小黄书网址在线观看| 九九热精品视频在线观看| 国产古装妇女野外A片| 成人欧美日韩| 天天看夜夜看| 91日本在线观看| 伊人婷婷大香蕉在线| 2015好吊操| 久久综合五月天| 色区久久| 久久新地址| 婷婷久久色| 无码激情AAAAA片-区区| 狠狠香蕉| 国精产品一区一区三区免费视频 | 97人人看一| 这里只有在线精品| 超碰99在线观看| 久婷视频| 久热爱大香蕉在线蜜臀悦色 | 婷婷激情丁香五月婷婷激情丁香五月婷婷| m色激情网| 97精品人人A片免费看| 婷婷天堂综合| 91一起艹| 婷婷丁香在线| 亚洲久久激情| 99狠狠色| www.yw尤物| 超碰人人操人人干| 99色网站| 秋霞九九无码| 天天综合 99久久婷婷| 中文字幕成人| 丁香六月婷婷综合激情欧美 | 久久91久久精品久久| 精品久久久91久久影视网| 婷婷五月天天天| 少妇达人正片在线播放_ikun_福利吧| 色五月成人| 26uuu国产精品| 伊人在线视频| 五月丁香成人日| 91无码色色| 在线1青婷| 久久天堂加勒比| 这里只有精品视频99| 91人人人人人人人| 99在线看视频| 亚洲视频码| www.wuyuetian啪啪| 91人妻人人操| 极品人妻VIDEOSSS人妻| 深爱激情综合网| 饮料下药迷倒漂亮女同事强干| 久色| 大香焦A∨| 婷婷五月综合激情免费视频| 色 五月 天 婷婷 丁香 九月| 九九99九九99九九99视频网| 99色色网| 天天揷综合网| 五月丁香操婷逼| 色八月婷婷| 亚洲区在线| www.99热在线观看| 俺去也在线视频| 亚洲天堂啪啪| 激情小说色五月| 色婷婷精品视频| 激情综合网五月在线播放| 国产精品99久久久久久久女警| 五月www| 天天搞天天爽| 超碰在线99| 丁香五月成人网| 99九九视屏| 日本色99| 国产毛片精品一区二区色欲黄A片| 99热无码| 另类精品视频在线观看| 99综合久久| 超碰在线91| 五月丁香花开综合网| 五月婷婷五月天亚洲无码| 欧美婷婷精品激情| 丁香婷婷啪啪| 香蕉久久国产AV一区二区| 亚洲视频一区| 91a片爽| 99色干| 99热在线观看亚洲区| 九九热99re8热免费观看| 六月丁香视频网站| 99精品视频推荐| 玖玖99免费视频| 激情视频综合| 五月亭亭六月色| 久色五月| 五月婷婷丁香瑟瑟视频| 欧洲综合视频| BBWCUCKOLD精品熟妇| 任你搞免费视频观看| 任你干嘛免费视频播放| 九九婷婷综合| 九九免费精品在线视频| 开心五月婷婷激情网| 色婷婷五月天在线| 五月婷婷深深爱| 欧美性爱五月天| 五月刺激丁香月综合| AA久久| 丁香六月 人妻| 丁香五月欧美午夜视频| 婷婷久久五月丁香| 日韩久久色| 六月丁香婷婷五月天| 成人午夜免费电影| 91视频人人做97| 日韩成人电泉AV| 91婷婷视频| 亚洲狠狠爱婷婷| 97热91| 99在线精品视频免费观看20| 五月丁香激情四射| 五月婷婷综合激情小说| 五月丁香久久综合91| 久久性刺激| 欧美毛片www| 亚洲第一成人无码A片| 五月丁香综合激情| 亚洲另类AV| 色婷六月| 五月亭亭六月色| 欧美天天草人人草| 人妻久久久久| 丁香六月婷| 五月婷婷偷拍| 久久五月天视频| 六月丁香啪啪啪| av中文在线| 婷婷在线五月天观看| 天天激情5月天亚洲| 激情五月婷婷丁香六月| 五月丁香婷婷激情久久| 立川无码av| 婷婷丁香人妻天天| 79精品视频在线观看,| 久久亚洲激情五码| 欧美成人精品老美女噜噜噜| 五月网激情| 天天操天天日天天爱| 激情网站综合五月天| 五月丁香六月婷婷免费视频| 天天草狠狠擦| 秋霞三及片| 嫩草综合网| www.夜夜操.con| 亚洲综合婷婷| 狠狠xx| 79精品视频在线观看,| 久久久国产精品黄毛片| 色欲天天综合| 天天日天天做天天舔| 婷婷综合在线观看视频| 热思思| 亚洲操逼片| AV九九| 久久99大| 色停停香蕉视频| 9999热精品在线免费播放| 六月丁香社区| 91精品丝袜久久久久久| 青草视频在线观看视频| 五月婷婷色啪| 91色九| 六月色色婷婷| 五月婷婷综合网| 高清一区二区三区日本久| 日韩成人电影在线播放| 五月丁香AV、伊人业余、性色熟妇| 九九热精品在线| 国产成人精品一区二区三区视频 | 99在线观看免费精品视频| 人人操AV| 9 1在线视频| 色婷婷www| 精品热青草| 日本狠狠爽| 超碰在线人人| 亚洲AV影片在线观看| 亚洲成人一区| 久久久久久五月天| 五月婷婷之综合激情| 沈娜娜av| 九九色欲网| 天天插天天| 五月丁香免费视频| 亲子乱AV-区二区三区| 九九热视频首页/这里只有精品| 美女va| 97人人操人人爽| 人人综合久| 日韩色五月| 2025超碰| 激情影院免费视频婷婷五月天| 国产毛片精品一区二区色欲黄A片| 999婷婷综合| 色色日本| 超碰伊人碰婷婷五月| 丁香五月婷综合网| 91婷婷丁香五月亚洲| 99热99免费| 色婷婷视频在线| 丁香久久久| 五月激情婷婷女| 色.五月综合网| 中文字幕AV在线播放| 99看片| 国产亚洲精品AAAAAAA片| 中文字幕日本最新乱码视频 | www.色五月| 丁香激惜男女| 99ri国产在线| 欧美色必爱| 饮料下药迷倒漂亮女同事强干| 中文字幕黄色片| 超碰国产AV| 色激情五月| 99九九热视频免费| 五月天婷婷xxx| 九九视频这里有精品| 精国产品一区二区三区A片| 一本狠婷婷综合| 亚洲成人免费电影| 五月婷婷九月婷婷九月婷婷| 嫩草AV久久伊人妇女超级A| 久草五月天电影网| 熟女少妇内射日韩亚洲| 五月丁香六月情婷婷久久| 激情五月丁香五月| 丁香六月婷婷操逼网| 天天日天天色| 最新va在线播放| 久久一级片| 色婷婷AV在线| www.99免费视频| 免费看成人747474九号视频在线观看| 丁香五月激情网| 五月色婷婷中文字幕| 精品久热| 天天日日夜夜| 91精品人妻少妇无码影院| 亚洲色图五月丁香| 日本3级片一区2区| 九九re精品视频在线观看 | 久久九九色| 自拍视频在线观看9| 婷婷八月丁香激情综合| 99爱视频精品| 亚洲乱码精品久久久久.. | 国产在线黄色| 婷婷色影院| 婷婷五月天com| 国产真人做爰视频免费| 婷婷亚洲日本| 五月丁久久| 欧美婷婷精品激情| 久久婷婷五月综合精品蜜芽| 五月天成人综合| 无码婷婷五月天| 97碰碰碰| 色五月婷婷综合| 婷五月天在线草| 人妻丰满精品一区二区A片| 欧美激情综合色综合色| 中文字幕丰满人妻无码专区| 天天干天天操天天拍| 色综合色五月| 六月婷久久| 五月丁香婷婷AV天堂| 国洲夜色亚热在线久久| 色色激情网| 激情内射人妻1区2区3区| 日韩一区二区A片免费观看| 亚洲第一成人无码A片| 欧美人妻一区二区| 九九视频精品在线免费 | 亚洲成人av在线观看| 五月婷A V在线| 96精品久久久久久久久| 99热这里是精品| 五月天婷婷五月| 色色色999| 热996精品在线观看| 国内久久婷婷| av九九| 黄色五月婷婷| 色综合久久88色综合天天99| 97好吊操| 激情五月婷婷在线区| 激情丁香久久| 97碰 在线视频观看| 97日本在线播放| 情色五月天网站| 深爱激情综合| 开心激情婷婷| 97色色色色色色色| 免费观看全黄做爰的视频| 91seAV| 亚洲无aV在线中文字幕| 日本综合99| 丁J香六月首页| 九久9精品| 亚洲乱码精品久久久久.. | 涩五月婷婷| 亚洲亚洲人成综合网络| 婷婷五月在线观看| 天天摸天天日天天舔| 欧洲亚洲免费视频9| 亚洲无码www| 九九爱精品网站| 成人无码髙潮喷水A片| 超碰色色综合| 天天色图| 俺也去婷婷五月天第五色| 97碰在线免费观看| 真实的国产乱XXXX在线91| 欧美顶级少妇做爰HD| 久久只有精| 激情综合网激情五月俺也去| 懂色AⅤ| 激情五月天激情网| 久碰婷婷视频| 一本大道伊人AV久久综合| 国产资源91在线| 夜夜天天天天天干天天爽| 影音先锋色婷婷| 就要去操亚洲成人精品五月天丁香婷婷| 99这里只有免费的小视频在线观看| 另类激情五月| 色综合色色| 91碰碰| 99热这里有精品| 欧美搡BBBBB摔BBBBB| 99久久婷婷国产综合精品草原| 激情五月综合网| 偷拍五月丁香| 99只有精品| 婷婷五月天情色| 五月天婷婷综合网| 性爱电影科技贸易有限公司| 九月色婷婷| 99精品激情| 91精品久久久久久77777| 天天操天天爱天天日| 久久五月婷婷电影| 性爱激情小说AV五月丁香花| 91N 一起草| 大香蕉网站,大香蕉综合| CAoub青青超碰| AV操一操| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 9l视频自拍九色9l黑人| 能直接看的av网站| 色在线视频网2025| www.人人操人人看人人想人人摸 人人人人操,COM | 五月天成人综合| 天天舔天天爽| 91日韩在线| 最新日韩久热免费视频看看| 狠狠爱综合| 丁香五月激情综合婷综| 99热新网址| 99久久99视频| 综合激情五月四射婷婷| 五月天色婷婷av| 久久久区区一久久久久久| 婷婷五月另类网站| 99久久玖玖| 亚洲色综合| 在线观看亚洲视频影院| 久久伊人五月天| 精品人妻在线| 五月婷婷成人| 天天干天天操天天爽| 伊人色欲五月天| 五月天丁香六月综合| 色综合伊人网| 激情五月综合网| 99久久综合狠狠综合久久|