欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Agent-Reach:企業(yè)級多Agent統(tǒng)一觸達與治理平臺實踐

Agent-Reach:企業(yè)級多Agent統(tǒng)一觸達與治理平臺實踐 如果你手頭只維護兩三個AgentAgent-Reach對你可能沒什么用。但如果你像我一樣在一家公司同時看到了客服Agent、推薦Agent、文檔審閱Agent、工單分類Agent、數(shù)據(jù)報表Agent……每個都由不同團隊維護接口協(xié)議各不相同有的走HTTP、有的走gRPC、有的通過WebSocket主動推送你就會明白“對內(nèi)Agent越來越多調(diào)用入口千奇百怪”這件事有多痛。Agent-Reach是我們內(nèi)部孵化的一個項目名字直譯過來就是“智能體觸達”——它解決的核心問題不是“Agent能做什么”而是“Agent怎么被找到、被穩(wěn)定地調(diào)用、被安全地治理”。簡單說它像一個企業(yè)級Agent的“統(tǒng)一通訊錄路由調(diào)度器健康管家”把注冊、發(fā)現(xiàn)、路由、鑒權、熔斷、觀測全部收攏成一套標準機制。這篇文章就把Agent-Reach從設計到落地的全過程拆開講適合做企業(yè)AI基礎平臺、Agent編排、或者正被大量Agent接口集成搞得焦頭爛額的工程師參考。1. 為什么需要Agent-Reach——多Agent時代的“連接”難題1.1 Agent增速背后的隱性成本連接比能力更先失控Agent的數(shù)量增長往往比大家預期的快得多。最開始團隊里只有一個意圖識別Agent所有調(diào)用都直接寫死IP三個月后業(yè)務側(cè)引入了一個供應商的文檔Agent算法組上線了推薦Agent運維自己用LLM做了個告警摘要Agent。這時候再按老辦法做集成問題立刻暴露每個Agent的鑒權方式不一樣有的用API Key有的用內(nèi)部SSO token還有的壓根沒有任何鑒權直接掛在內(nèi)網(wǎng)每個Agent的接口定義也不統(tǒng)一同樣是“傳一句話進對話框”A要求JSON里叫queryB規(guī)定叫message。最讓人頭疼的是故障定位——調(diào)用鏈跨了三個團隊的系統(tǒng)業(yè)務方反饋“推薦沒出來”你根本說不清是哪個Agent超時了、哪個Agent返回了臟數(shù)據(jù)、還是服務注冊中心里的地址已經(jīng)過期了。這些問題的本質(zhì)不是單個Agent質(zhì)量不行而是缺少一個統(tǒng)一的“觸達層”。Agent-Reach就是在這個背景下立項的。我們的目標很明確讓上游業(yè)務方不用關心下游Agent用什么協(xié)議、部署在哪臺機器、鑒權體系是什么只要通過Agent-Reach暴露的標準化接口傳入Agent名稱和參數(shù)剩下的尋址、路由、重試、鑒權、日志全部由平臺承擔。這聽起來像是一個“網(wǎng)關”但實際上比網(wǎng)關多做了一層Agent領域的語義抽象后面具體展開。1.2 觸達一個Agent遠比“調(diào)一下API”要復雜我經(jīng)常用一個比喻內(nèi)部有幾十個Agent之后調(diào)用一個Agent和呼叫一個分布在全國各地的外包同事差不多。你得知道誰在上班健康狀態(tài)、誰是負責這件事的能力標簽、怎么聯(lián)系到人協(xié)議地址、對方認不認你的工牌鑒權、對方忙不過來時怎么辦限流排隊、對方突然離職了怎么交接版本下線。這五個環(huán)節(jié)任意一個出問題集成方就要花大量精力去處理而且每個Agent都是獨立的一套邏輯問題會被放大幾十倍。具體來說一個Agent要被穩(wěn)定觸達至少需要解決以下問題尋址Agent部署實例有多份需要知道當前存活的實例地址列表協(xié)議轉(zhuǎn)換上游統(tǒng)一走HTTP/gRPC但下游可能是WebSocket、MQTT甚至需要SSE流式返回路由策略同一能力可能有多個Agent提供按什么規(guī)則挑一個最優(yōu)的故障處理超時、重試、熔斷、降級不能把下游的一次抖動放大成上游的連環(huán)報錯安全治理每個Agent需要有獨立的身份和訪問控制不能一把鑰匙開全部門的門變更管理Agent版本升級、實例伸縮、下線通知需要平滑過渡不能改一個Agent把整個調(diào)用方都拉下水。這些能力如果每個團隊自己實現(xiàn)一遍絕對是一場災難。Agent-Reach扮演的角色就是把它們從“每家都要造的輪子”變成“平臺統(tǒng)一提供的基礎設施”。1.3 劃清邊界Agent-Reach不解決什么任何一個平臺項目最怕的就是什么都想干最后什么都干不好。Agent-Reach在立項時我們就明確了三個“不碰”第一不碰Agent內(nèi)部能力。它不關心Agent具體是調(diào)用LLM還是跑傳統(tǒng)模型也不參與Agent內(nèi)部的推理邏輯只負責“把請求可靠地送到Agent手里再把結果拿回來”。邊界清晰系統(tǒng)才簡單。第二不替代上層的Agent編排引擎。像LangGraph、Dify這類編排工具更關注“多個Agent如何協(xié)同完成一個復雜任務”而Agent-Reach關注的是“單個Agent如何被可靠地調(diào)用”。兩者可以配合編排引擎負責工作流Agent-Reach負責底層觸達。第三不做數(shù)據(jù)面的內(nèi)容理解。它不會去解析業(yè)務payload里面是什么情感、什么意圖只把它當作不透明的字節(jié)流來轉(zhuǎn)發(fā)。這樣既保持通用性也避免平臺層過度耦合業(yè)務。把這個邊界劃清楚之后我們后來的很多設計決策都變得簡單了能用標準組件解決的不自研能做通用抽象的不綁定具體場景。2. 整體架構注冊、發(fā)布、路由、監(jiān)測四段主鏈路2.1 控制面與數(shù)據(jù)面分離為什么必須拆開剛開始設計Agent-Reach的時候我們犯過一個低級錯誤把路由判定邏輯直接寫在了請求轉(zhuǎn)發(fā)的代碼里。結果每次調(diào)整路由規(guī)則都要重新發(fā)布網(wǎng)關節(jié)點線上流量直接就抖一次。后來我們才把架構改成經(jīng)典的控制面/數(shù)據(jù)面分離??刂泼尕撠煛爸烙惺裁碅gent、它們的狀態(tài)如何、請求應該發(fā)到哪”主要包括注冊中心、元數(shù)據(jù)管理、路由規(guī)則管理、健康檢查調(diào)度、權限配置。數(shù)據(jù)面負責“真正把請求轉(zhuǎn)發(fā)出去”是一個無狀態(tài)的Agent Gateway集群。兩者通過一組內(nèi)部接口通信路由規(guī)則和Agent狀態(tài)變更實時同步到網(wǎng)關節(jié)點。這樣拆分的好處很實際控制面變更不會影響正在跑的流量網(wǎng)關節(jié)點可以隨意橫向擴縮容任何一臺網(wǎng)關掛掉也不影響整體服務——因為無狀態(tài)。后面健康檢查、灰度發(fā)布等機制都是建立在這個基礎之上的。2.2 四層架構與核心模塊Agent-Reach整體分四層每層職責單一我們從下往上捋接入層Agent Adapter負責連接各種各樣的Agent實例。每種協(xié)議對應一個適配器HTTP/REST、gRPC、WebSocket/MQTT、SSE流式都有單獨的Adapter。新接入一種協(xié)議時只要新增一個Adapter不需要動上層邏輯。路由調(diào)度層Router Dispatcher核心決策模塊。根據(jù)請求中攜帶的Agent標識、能力標簽、路由規(guī)則結合注冊中心的實時狀態(tài)選出一個目標實例隨后執(zhí)行協(xié)議轉(zhuǎn)換、超時控制、重試、熔斷等動作。注冊與治理層Registry Governance這層就是控制面的核心負責Agent的注冊、心跳、元數(shù)據(jù)存儲、版本管理、健康檢查、權限校驗。所有Agent的“身份檔案”都存在這里。觀測與運營層Observability Operation向上提供統(tǒng)一的可觀測能力——調(diào)用鏈路Trace、Prometheus指標、審計日志以及Web控制臺、告警規(guī)則配置、灰度發(fā)布操作入口。簡而言之接入層解決“什么協(xié)議都能連”路由層解決“發(fā)給誰”注冊層解決“誰還活著、誰能被信任”觀測層解決“出了事怎么查”。2.3 關鍵選型與權衡etcd、Redis、gRPC各自承擔什么角色選型這塊我們踩了一些坑最終落地的方案可以給大家做個參考組件選擇作用為什么這么選注冊中心存儲etcd存放Agent元數(shù)據(jù)、路由規(guī)則、健康狀態(tài)自帶Watch機制Agent狀態(tài)變更可以實時推給網(wǎng)關節(jié)點比定時拉取快得多路由規(guī)則緩存Redis網(wǎng)關節(jié)點本地緩存之外的一級緩存存放路由規(guī)則快照和限流計數(shù)讀多寫少Redis的原子計數(shù)能力適合做分布式限流網(wǎng)關節(jié)點內(nèi)部通信gRPC控制面和數(shù)據(jù)面之間的同步接口強類型、支持流式適合Agent狀態(tài)變更的事件推送Agent間調(diào)用默認協(xié)議gRPC HTTP/JSON兩種都支持由Agent自身決定現(xiàn)實情況是魚龍混雜不能強制統(tǒng)一服務發(fā)現(xiàn)自研 etcd Watch網(wǎng)關本地維護一份“可用Agent地址表”不引入太重的Service Mesh保持部署簡單一個比較大的教訓是不要一開始就上太重的服務網(wǎng)格。我們考慮過把Agent-Reach直接架在Istio上后來發(fā)現(xiàn)大部分Agent根本沒有容器化到位而且Agent級的路由語義按能力、按版本、按調(diào)用方灰度服務網(wǎng)格并不能直接表達。自己做一個輕量的控制面配合SDK和側(cè)邊Agent Gateway反而更好落地。3. Agent-Reach核心實現(xiàn)從注冊到觸達的每一環(huán)怎么落地3.1 定義Agent身份一套能被路由系統(tǒng)理解的元數(shù)據(jù)Agent必須在注冊中心有一個“身份檔案”否則路由系統(tǒng)根本不知道怎么找到它。但“身份檔案”到底包含什么不同團隊定義不一樣。我們先定義了一套JSON Schema作為標準核心字段包括{ agent_id: customer-service-v2, name: 客服意圖識別Agent, version: 2.3.1, namespace: business/cs, owner: algorithm-csexample.com, endpoints: [ { type: grpc, addr: grpc://10.20.3.11:9000, protocol: grpc/standard, weight: 80 }, { type: http, addr: https://agent-cs.internal.local:8443, protocol: http/json, weight: 20 } ], capabilities: [intent.recognition, dialogue.state], routing_tags: { env: prod, team: algorithm, priority: p1 }, timeouts: { connect_ms: 500, read_ms: 3000 }, auth: { mode: mtls, token_version: 3 } }三個字段特別值得注意。capabilities是給路由用的語義標簽調(diào)用方不需要說“我要調(diào)用customer-service-v2”只要說“我要一個能做意圖識別的Agent”系統(tǒng)就能通過能力匹配找到合適的Agent。這一點讓上層的編排引擎非常舒服因為編排引擎不用寫死Agent名只描述需要什么能力。endpoints支持多個實例地址和權重。比如v2.3.1這個版本有三臺實例分別在不同端口權重高的實例承擔更多流量同時支持同時暴露gRPC和HTTP兩種協(xié)議適配不同調(diào)用場景。routing_tags是靈活的輔助路由維度比如env: prod表示生產(chǎn)環(huán)境team: algorithm表示歸屬算法團隊?;叶劝l(fā)布時可以根據(jù)這些標簽設置規(guī)則例如“只把5%流量導到version: 2.4.0的實例上”。提示agent_id一旦確定就不要改。我們早期有個Agent改了ID導致歷史Trace、調(diào)用記錄、告警規(guī)則全部對不上號排查問題非常痛苦。ID是不可變標識版本號才是可變信息。3.2 路由策略按能力、按標簽、按調(diào)用方做精細化分發(fā)路由是Agent-Reach最核心的部分我們實現(xiàn)了三種基礎路由策略組合使用。第一種是能力路由。調(diào)用方在請求中聲明需要的capability系統(tǒng)在注冊中心里查所有包含該能力的Agent再根據(jù)可用狀態(tài)過濾。比如“抽取工單里的日期和金額”這個能力如果三個Agent都支持全部進入候選池。第二種是標簽路由。在候選池之上用路由規(guī)則里的routing_tags進行過濾。例如內(nèi)部調(diào)用方標記env: prod只命中生產(chǎn)實例標記tenant: a只路由到A客戶專屬實例。標簽路由的價值在于隔離——你可以讓數(shù)據(jù)敏感的Agent只對特定調(diào)用方可見。第三種是負載策略。候選池確定后按照配置從三個策略里選一個route_rules: - agent_ref: customer-service match: by_capability: [intent.recognition] by_tag: env: prod selector: weighted_round_robin sticky: by_consistent_hash(user_id)weighted_round_robin按元數(shù)據(jù)里的weight權重輪詢適合無狀態(tài)、對結果一致性不敏感的請求consistent_hash按請求里的某個穩(wěn)定標識如用戶ID做一致性哈希確保同一個用戶始終打到同一個Agent實例。這對有會話狀態(tài)、需要連續(xù)上下文的Agent非常重要random_with_limit隨機選擇加并發(fā)上限控制用于大規(guī)模請求的流量攤平。一個比較值得說的細節(jié)是一致性哈希要配合“虛擬節(jié)點”來用。如果哈希環(huán)上的真實節(jié)點只有兩三個實例擴縮容的時候會導致大量請求重新分配用戶會明顯感覺到會話被切換。我們把每個實例映射成150個虛擬節(jié)點擴縮容影響面小了很多實測會話保持率從92%提升到99.5%左右。3.3 健康檢查、熔斷與故障轉(zhuǎn)移參數(shù)怎么定才不矯枉過正穩(wěn)定性這塊我們一開始的參數(shù)設置很保守結果反而把事情搞砸了。最初我們設置“連續(xù)5次健康檢查失敗就把Agent摘掉”間隔時間是10秒一次也就是說Agent要連續(xù)掛50秒才會被剔除。對于一個實時性高的客服場景來說50秒的故障窗口還是太長。后來調(diào)整為“主動探測 被動熔斷”雙重機制主動探測每15秒對Agent的/healthz端點發(fā)一次探活請求超時2秒算失敗連續(xù)3次失敗約45秒就把實例標記為不健康移出路由候選池。被動熔斷網(wǎng)關這邊統(tǒng)計每個Agent近1分鐘的請求錯誤率如果錯誤率超過5%且請求量不小于10就會觸發(fā)熔斷停止向該Agent發(fā)流量熔斷時間默認30秒。熔斷結束后放少量試探流量恢復則繼續(xù)失敗則重新熔斷每次熔斷時間翻倍最大5分鐘。這套機制上線后我們看到了一個很典型的現(xiàn)象Agent進程還沒完全掛掉但內(nèi)部依賴的數(shù)據(jù)庫連接池已經(jīng)耗盡表現(xiàn)為接口超時率飆升。主動探測測不出這種“半死狀態(tài)”因為/healthz依然返回200反而是被動熔斷的5%錯誤率閾值先把這個惡化中的Agent摘掉了避免把故障擴散給周邊系統(tǒng)。故障轉(zhuǎn)移還有一個容易忽略的環(huán)節(jié)當首選Agent熔斷時請求不能簡單直接報錯。我們在路由層實現(xiàn)了“候選池內(nèi)自動降級”——如果一個請求需要“意圖識別”能力首選Agent熔斷了系統(tǒng)自動尋找候選池里另一個具有同樣能力的Agent進行請求轉(zhuǎn)發(fā)。前提是調(diào)用方在請求里允許降級通過一個fallback: true字段控制因為有些業(yè)務場景對“必須是官方客服Agent”有硬性要求不能隨便降級到第三方Agent。3.4 安全觸達mTLS、令牌輪換和最小權限審計Agent-Reach管理著企業(yè)里大量Agent的訪問入口安全這塊必須從第一天就設計進去后面補會很痛苦。我們做到了三層防護。第一層是身份認證網(wǎng)關和Agent之間的所有通信強制走mTLS雙向證書校驗Agent側(cè)不信任沒有任何身份憑證的請求第二層是權限控制每個Agent定義獨立的訪問策略分為public所有內(nèi)部調(diào)用方可用、restricted僅白名單調(diào)用方可用、private僅特定負責人可調(diào)用第三層是令牌輪換注冊時下發(fā)的AccessToken默認有效期24小時Agent實例通過SDK自動續(xù)期最大化降低令牌泄露的影響面。審計方面Agent-Reach對每一次敏感操作注冊、修改路由規(guī)則、下線Agent、修改權限、令牌輪換都產(chǎn)生不可篡改的審計日志存到獨立的日志存儲。這樣即使內(nèi)部出現(xiàn)配置變更導致的故障也能快速定位“誰在什么時間改了什么”。有一次我們排查一個線上Agent突然不能被調(diào)用的問題最后就是靠審計日志發(fā)現(xiàn)是某個同學在控制臺誤改了路由規(guī)則把目標Agent踢出了候選池。這個案例后面會細講。4. 落地實操把第一個Agent接入Agent-Reach4.1 最小化部署清單先跑起來再談優(yōu)化Agent-Reach的控制面依賴etcd、Redis和消息隊列數(shù)據(jù)面網(wǎng)關是無狀態(tài)的。最小化部署需要的組件如下組件數(shù)量最低配置說明etcd3節(jié)點生產(chǎn)至少3單機測試1即可2核4G注冊中心存儲生產(chǎn)建議配SSDRedis1節(jié)點2核4G路由緩存和限流計數(shù)可HAAgent Gateway2節(jié)點起步4核8G無狀態(tài)可橫向擴縮容Web Console1節(jié)點2核4G管理控制臺可獨立部署Prometheus AlertManager1套按量評估指標采集和告警消息隊列1套按量評估異步事件通知、審計日志傳輸部署順序上建議先etcd后Redis然后啟動Gateway最后開Console。Gateway啟動時會從etcd拉全量Agent元數(shù)據(jù)并建立本地緩存同時啟動Watch監(jiān)聽變更事件等Gateway全部就緒后其他組件再啟動就不會遇到“網(wǎng)關還沒準備好就收到注冊事件”的邊界問題。4.2 接入一個HTTP Agent的完整示例假設我們要把一套“合同摘要Agent”接入Agent-Reach。這個Agent只有一個HTTP接口地址是http://contract-agent.internal:8080/analyze接收JSON返回JSON。接入過程分三步第一步在Agent側(cè)引入SDK并初始化。以Python為例from agent_reach import AgentReachClient client AgentReachClient( agent_idcontract-summarizer, namespacelegal/contract, tags{env: prod, team: legal}, ) client.register( version1.0.0, endpointhttp://contract-agent.internal:8080/analyze, protocolhttp/json, capabilities[contract.summarize, clause.extract], health_path/healthz, ) def analyze(payload): # 這里是Agent本來就有業(yè)務邏輯 pass client.start()這段代碼做的事情是實例啟動時自動向Agent-Reach的注冊中心注冊登記版本、地址、能力標簽同時啟動健康檢查和令牌續(xù)期的后臺任務。第二步在控制臺上配置路由規(guī)則。目標規(guī)則是上游請求聲明capability: contract.summarize時命中這個Agent生產(chǎn)環(huán)境默認全部流量進1.0.0版本但預留canary標簽給灰度實例。第三步驗證連通性。直接在控制臺的調(diào)試界面發(fā)起一個測試請求傳入{document_id: DOC-10001}正常response回傳摘要結果。此時檢查Trace信息可以看到請求經(jīng)過了Agent-Reach Gateway、到達了目標實例、耗時多少、哪個環(huán)節(jié)耗時最長。這一步非常有用它相當于在正式聯(lián)調(diào)前先做了一次“體檢”。注意如果Agent有多個環(huán)境dev/staging/prod必須在注冊時通過tags區(qū)分。我們之前遇到過一個事故——開發(fā)環(huán)境的Agent實例沒有打env標簽結果被默認路由規(guī)則把生產(chǎn)流量打了過去差點把測試數(shù)據(jù)混入生產(chǎn)環(huán)境。env這類基礎標簽建議做成必填項。4.3 灰度發(fā)布與優(yōu)雅下線版本升級不打斷業(yè)務Agent及其依賴的模型版本迭代非常快我們一個星期可能升級兩三次。為了不打斷業(yè)務Agent-Reach把“灰度發(fā)布”做成了標準操作流程。發(fā)布新版本1.1.0時先注冊新實例但給它打上version: 1.1.0和canary: true標簽。配置一條臨時路由規(guī)則只有調(diào)用方請求頭里帶X-Canary: allow的請求才會命中新版本其余流量全部走舊版本1.0.0。新產(chǎn)品可以先在內(nèi)部走一波驗證流確認效果符合預期后再把規(guī)則改成“5%的普通流量進新版本”逐漸放大到100%。優(yōu)雅下線同樣重要。直接在治理層“下線”一個Agent聽起來很簡單但如果這個Agent正在處理長耗時任務強殺會導致調(diào)用方拿不到結果并且可能造成數(shù)據(jù)不一致。我們實現(xiàn)了一套“排空機制”控制面先把實例標記為overloaded狀態(tài)不接收新請求正在處理的請求正常完成直到活躍連接數(shù)為0實例上報告idle狀態(tài)控制面再將它從地址表中移除并關閉連接。這套機制要求Agent側(cè)SDK配合處理一個“等待排空”的信號。實際執(zhí)行下來最長的排空時間只有幾十秒因為大多數(shù)Agent的單次請求都在秒級完成不太會出現(xiàn)動輒幾分鐘的長任務。4.4 關鍵指標與告警不看這四類指標等于白做Agent-Reach上線后我建議團隊優(yōu)先盯四類指標別一上來就搞幾十個監(jiān)控面板看不過來也守不住。第一類是請求量類reach_request_total按agent_id和result_code維度統(tǒng)計。通過流量曲線可以快速判斷是不是有異常流量或Agent下線導致請求堆積。第二類是性能類reach_request_duration_seconds的P50、P95、P99。P99很重要我們觀察到很多Agent的P50很漂亮但P99經(jīng)常爆表說明實例內(nèi)部有偶發(fā)的長尾請求可能是GC、模型推理波動或者外部依賴慢查詢。第三類是穩(wěn)定性類reach_agent_unhealthy和reach_circuit_breaker_open。這兩個指標一旦非零就要立刻看是探活失敗還是熔斷觸發(fā)是單個實例問題還是整個Agent集群問題。第四類是注冊與路由變更審計reach_registry_change_total這個指標不常有人提到但我強烈建議加上。它統(tǒng)計注冊中心里Agent注冊、下線、路由規(guī)則變更等事件的數(shù)量和類型。很多莫名其妙的問題根源都是“配置被人改過”有這個指標加上審計日志能快速定位是不是變更導致的故障。告警規(guī)則我們直接用PromQL實現(xiàn)舉幾個典型的例子# Agent不健康超過1分鐘觸發(fā)告警 sum by (agent_id) (reach_agent_unhealthy) 0 # 某Agent P99延遲超過2秒持續(xù)5分鐘 histogram_quantile(0.99, sum by (le) (rate(reach_request_duration_seconds_bucket[5m]))) 2 # 請求錯誤率超過5%持續(xù)2分鐘 sum by (agent_id) (rate(reach_request_total{result_codeerror}[2m])) / sum by (agent_id) (rate(reach_request_total[2m])) 0.055. 踩坑記錄與排查方法實錄5.1 注冊成功但一直路由失敗元數(shù)據(jù)標簽不一致上線初期我們遇到一個非常詭異的問題某個Agent在控制臺上明明顯示“已注冊”“健康”但通過Gateway發(fā)起調(diào)用時卻報“無可用實例”。排查過程是這樣的。先看注冊表元數(shù)據(jù)正常再看健康檢查狀態(tài)也是active最后看網(wǎng)關節(jié)點的路由日志發(fā)現(xiàn)它根本沒有把這個Agent放進候選池。定位到最后是路由規(guī)則的by_tag寫的是env: prod而這個Agent注冊時打的標簽是Environment: prod——注意標簽Key的命名不一致一個用小寫env一個用首字母大寫Environment。Agent-Reach對標簽匹配是精確匹配大小寫不敏感這個需求我們當時覺得“不會有人用錯”結果真的就發(fā)生了。后來我們在控制臺校驗環(huán)節(jié)加了標簽Key的白名單和自動提示并且在文檔里明確規(guī)范標簽Key一律小寫下劃線例如env、team、version標簽Value不影響匹配但建議統(tǒng)一小寫。另外Schema校驗器會在注冊時自動檢查標簽Key是否符合規(guī)范不符合直接拒絕注冊。5.2 一次由心跳超時導致的“幽靈雪崩”事故這是一次印象非常深刻的故障。某個中午客服Agent的調(diào)用突然大面積失敗而且不是全部失敗是間歇性失敗。第一反應是Agent掛了但去Agent所在服務看進程明明活著日志也沒什么異常。查到最后問題出在健康檢查的主動探測和Agent的GC上。Agent是Java服務默認使用G1垃圾回收器在內(nèi)存壓力大的時候發(fā)生了連續(xù)幾次Full GC每次停頓都超過了2秒。Agent-Reach的健康探測超時正好也是2秒于是探測請求超時被判為失敗連續(xù)3次失敗后實例被摘除。等Agent側(cè)GC恢復、服務重新響應時調(diào)度系統(tǒng)又把它加回來。這個過程反反復復形成“摘除-恢復-摘除-恢復”的抖動對調(diào)用方來說就是間歇性失敗。這里的關鍵洞察健康檢查的超時值不能和業(yè)務接口的超時值劃等號。健康檢查的目的是判斷“這個實例還能不能接流量”但它不應該因為一次短暫的GC停頓就被摘掉——這反而放大了故障。我們后來把健康探測超時調(diào)整為3秒連續(xù)失敗閾值調(diào)整為5次并且給熱點Agent配置了GC暫停時長告警兩套機制配合這類問題基本絕跡。5.3 跨Agent調(diào)用鏈Trace丟失上下文傳遞要做對Agent-Reach的Gateway作為統(tǒng)一入口天然適合接入鏈路追蹤。但有一個問題非常隱蔽當請求從Agent A內(nèi)部繼續(xù)調(diào)用Agent B時Trace上下文經(jīng)常傳遞失敗。原因是很多團隊的Agent代碼在調(diào)用下一個Agent時只傳了業(yè)務參數(shù)沒有把traceparent之類的W3C Trace上下文頭透傳過去。結果就是整條調(diào)用鏈在Agent A那里斷掉你在觀測平臺看到的只有兩段孤立的Trace根本串不起來。解決方法分兩步第一步Agent-Reach SDK在發(fā)起調(diào)用時自動注入W3C Trace上下文第二步接入方在Agent內(nèi)部再調(diào)用其他Agent時必須保證HTTP頭部原樣透傳traceparent字段。我們做了規(guī)范檢查在測試環(huán)境跑了一輪“全鏈路Trace完整性”用例把那些偷懶沒透傳上下文的Agent全部揪出來修正。之后跨Agent的排障效率高了一個量級出問題不再需要“猜”直接在鏈路圖里看哪一跳慢了。5.4 常見問題速查表現(xiàn)象可能原因排查路徑解決方案Agent顯示已注冊但調(diào)用失敗路由規(guī)則標簽和注冊標簽不一致查看路由規(guī)則解析日志統(tǒng)一標簽Key命名規(guī)范啟用Schema校驗間歇性調(diào)用失敗健康檢查參數(shù)過緊導致抖動查看Agent GC日志和健康檢查記錄調(diào)整超時和失敗閾值配置GC告警新版本發(fā)布后流量沒有進入灰度規(guī)則的canary標簽沒生效檢查請求頭是否攜帶灰度標識確認調(diào)用方正確透傳X-Canary頭調(diào)用延遲偶發(fā)飆高Agent實例存在長尾請求查看P99耗時和實例指標排查GC、外部依賴慢查詢等長尾因素Trace在某個Agent斷了上下文頭沒有透傳在SDK日志里查traceparent按規(guī)范透傳W3C上下文頭5.5 做完Agent-Reach之后的一些個人體會如果讓我總結這個項目最重要的經(jīng)驗不是技術棧也不是架構設計而是“命名和規(guī)范先行”。Agent的數(shù)量一旦上來命名混亂、標簽隨意、版本語義不清晰會消耗掉比實現(xiàn)本身更多的時間?,F(xiàn)在我們的新Agent接入Agent-Reach平均只需要半天而早期是三天以上核心差異就是規(guī)范被固化成了平臺的默認約束。另一個體會是觸達層這種基礎設施必須從一開始就把可觀測性當作一等公民而不是事后補。Trace、指標、審計日志這三樣東西如果等項目上線才想起來加后面要補的話工作量至少要翻倍。而且沒有觀測數(shù)據(jù)你連“要不要補”都沒法判斷。最后想說的是Agent-Reach給我們帶來的最大變化是讓上層編排和業(yè)務接入變得簡單了。大家不再糾結“怎么連上這個Agent”而是開始把精力放在“這個Agent的能力怎么用得更好”上。這大概就是基礎設施該有的樣子——讓難的那部分變得平庸讓有價值的部分被看見。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99re在线免费视频| 狠狠干天天内射| www.激情| 九九操操| 久热99| 欧美成性色| 成人片在线播放| 啊v视频在线观看| 色99视频| 超碰人人操人人干| 天天日天天操心| 最新午夜理论片| 久久丁香| 热99re| 人碰人人人玩91| 天天操夜夜橾| 九九热中文| 婷婷爱五月天| 99久久免费性爱视频`| 人人干av| 日本 @ va 免费| 丁香五月婷婷久久久| 九九在线这里只有精品视频 | 激情综合网址| 97色碰| 开心深爱五月天| 五月婷婷激情| 激情综合网激情五月丁香| 亚洲成人丁香花| 天天爽天天摸| 91久久综合亚洲鲁鲁五月天| 日本欧美成人片AAAA| 日本在线噜噜| 91精品国产日韩91久久久久久国模| 激情小说之五月| 黄色成人AV在线| a久久| 91丨九色丨熟女|老版| 久久草大香蕉| 婷婷五月天综合小说网| 色综合激情| 99热国品| 久久久久久97| 婷婷五月天日日日干干干| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 久久五月婷天天干| 成人av在线网址| AA丁香综合激情| 99色丁香婷婷综合网| 五月激情婷婷偷拍| 五月天成人在线视频网站| 天天久久综合| 337p大胆噜噜噜噜噜91Av| 成人午夜天| 亚洲色99| 亚州欧美国产久精国产99综合视频| 思思热在线播放| 男人天堂亚洲综合| 五月丁香六月婷婷久久肏| 激情五月婷婷| 久久性爱视频网站| 婷婷一本和五月丁香| 91丨九色丨首页| 欧美综合五月丁香六月婷| 久久这里在精品视频| 影音先锋男士资源网一区| 99爱在线视频| 99亚洲色| 高清激情av在线观看| 丁香五月天亚洲综合| 深夜男女福利刺激影院一区完整| 国产成人片| 人人草人人视| 激情网第四色| 婷婷五月丁香av网站| 色婷网站| 五月丁香免费看| 婷婷五月开心中文字幕色| 婷婷五月丁香色播| 天天肏天天舔AV| 色99在线| 九九热10| 开心激情婷婷| 婷婷五月伦理| 99热大片| 久久精品国产色| 久久婷婷丁香| 丁香五月天av| 久热2025无码| 久久精品爱爱| 在线观看亚洲视频影院| 日本高清不卡免费一区二区三区| 欧美激情综合色综合啪啪五月| 综激情网| 91ncm视频| 一本到不卡高清DVD| 天天日天天爽| 五月激情啪啪啪| 日日爱699| 丁香六月婷婷综合激情欧美 | 色天堂A| 色色色.com| 婷婷五月天丁香社区| 成人做爰高潮A片免费视频| 成人丁香五月天| 亚洲天堂亚洲色色色| 99视频在线观看网址| 天天草女人| 色五月丁香婷婷| 欧美婷婷成人| 丁香婷婷激情五月天无毒不卡蜜桃| 婷婷五月天激情网| 黑人熟妇一区二区三区| 玖玖色资源| 国产69精品久久久久999小说| 天天爱天天做天天| 色五月婷婷一二| 五月丁香婷婷无码A∨| 91丨九色丨白浆秘| 91美女被操| 久久久婷婷五月亚洲97号色| 婷婷丁香五月激情密臀av| 日韩五月婷婷久久| 亚洲成av人影院| 91成人品| 色优久久| 97精品综合久久| 99在线视频资源| 婷婷伊人五月天| 婷婷十月丁香| 五月色丁香激情| 婷婷瑟五月天久久综合| 99热九九这里只有精品10| 久久久五月天婷婷| 91九色超碰正在播放| ai97re99一本| 五月婷婷九九久久| 婷婷伊人75| 婷婷五月激情视频网| 国产偷人爽久久久久久老妇APP| 久久久久久久久99精品| www.久久久久久久| 五月婷婷五月| 成人国产欧美大片一区| 天久综合91综合首页| 亚洲乱码日产精品BD| 99无码精品| 九月婷婷久久| 在线观看免费视频| YW无码| 九久久九精品视频| 五月婷婷激情日本| 男人天堂99| 国产精品社区| 色五月久久成人婷婷| 五月婷婷久久爱| 五月天激情国产综合AV| 密臀久久| 99自拍网| 久久与婷婷| 婷婷六月天精品| 色色99色色| 538午夜激情| 五月婷色丁香| 日本高清综合网五月丁香| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 久久国产成人9999久久久久| 国产资源在线视频| 激情五月天综合网站网站网站| 久久精品五月天| 欧美激情综合| 丁香久久五月天视频在线观看| 五月婷婷丁香深深爱| 婷婷五月天堂| 思思热性操| 婷婷瑟瑟五月天| 性色天| 啊V视频在线观看| 深爱激情五月天| 精品国产一区二区三区四区阿崩 | 99re8这里只有精品99re8热视频| 99亚州综合精品成人网| 操91综合网| 丁香五月婷婷99| 99久久99九九九99九他书对| 狠色狠色狠色狠色狠色网| 99精品22| 日日操夜夜撸| 《久久综合九色综合97婷婷| 五月婷婷六月丁香激情综合网| 婷婷月五天在线在线看| 色色色色色色色色色色色色色色,网站| www。五月天。com| 大香蕉久久婷婷| 国产又粗又大又爽又黄| 日本高清久| 青青草a在线| 亚洲人成人五月天| 99久视频| 五月婷天堂视频| www.yw色| 精品一区二区三区木瓜| 国产99久久久| 天堂在线婷婷| 日韩成人五月天| 国语精品探花| 北京熟妇搡BBBB搡BBBB| www.五月婷婷| 五月天激情婷婷丁香| 狠狠99| 国产午夜成人免费看片无遮挡| 国产av一区二区三区| 欧美色九| 久久婷婷一级片| 粉嫩av懂色av蜜臀av熟妇| 中文字幕网伦射乱中文| 久热9| 五月丁香婷婷激情在线| www99精品| 99九九这里有免费视频| 9999热精品在线免费播放| 99成人在线观看| 丁香五月社区| 激情五月综合网| 思思精品视频| 亚洲中文字幕在线电影| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 亚洲日日操| 在线看片av| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 婷婷亚洲久久| 久久婷婷五月草视频| 97综合在线| 91人在线观看| 99热国内| 色综合婷婷| 91视频久久久| 欧美xx激情视频在线观看| 亚洲综合五月天| www.com亚洲网站在线免费| 激情纯色婷婷五月天在线不卡视频| 五月第四色| www婷婷色情网| 丁香婷婷九月| 成人免费高清在线播放| 天天操婷婷| 超91热| 26uuu视频欧美| 26uuu| 91啦丨九色丨刺激中文| 丁香五月激情图片| 四季8848精品成人免费网站| 婷婷色五月色妇| 婷婷中文字幕| 777.色色| 俺也去色| 亚洲综合色丁香婷婷六月| 97色色色色色| 色一区高清| 色综合色五月| 操操熟女| 亚洲人人操| 日韩精品99久久| 国产精品激情五月天色婷婷| 激情婷婷护士激情| 亚州操人在线视频| 超碰精品国产首页| 99在线免费观看| 五月情涩综合婷婷| 五月六月婷婷| 超级碰 久久9| 日日操天天操| 久久久性爱网| 狠狠色噜噜狠狠狠狠综合| 精品99在线观看| WWW.99热| 丁香五月天激情四射网| 日本一级| 激情丁香五月天综合| 夜夜资源站| 月丁香久久久| 婷婷导航| 办公室少妇激情呻吟A片在线观看| 亚洲精品中文字幕成人片| 久久五月综合| 91精品国产99久久久久久天美| renrencaoav| 成人午夜天| 一本久久亚洲五月婷婷| 午夜丁香久久久久久| 亚洲综合丁香五月天| 五月天色欧美| 大香蕉婷婷五月天| 91精品啪| 99自拍视频| 色色亚洲无码| 婷婷在线日韩综合| 五月婷婷成人| 激情美女五月天| 色噜噜综合网| 凹凸操Av| 热99精品视频| 天天做天天爱| 综合色五月天| 热久久视频99| 月色色综合婷婷网| 色播丁香| 丁香五月婷婷欧美成人色图| 超碰人人妻| 99色在线| 中文久久久人妻| 91九色PORNY肉丝在线| 99久久er| 99ri久久| 影音先锋美国A| 激情五月丁香六月综合AVXXXX| 狠狠CAO日日穞夜夜穞AV| 六月狠狠综合| www.久久久久| 久久综合五月情| 深爱开心激情| 操久久网| 九一娱乐在线观看视频| 99人人干| 婷婷久久亚洲| 激情五月婷婷丁香六月| 依人大香蕉在钱1| 综合图片色色| 色婷婷婷av| 久久久五月天婷婷| 五月婷婷中文| 色色色色色色网站| 综合激情五月丁香9999久久精| 日韩成人网址| 六九色综合婷婷五月天| 亚洲AV激情五月综合网| 色色五月丁香婷婷综合| AA片在线观看视频在线播放 | www.婷婷亚洲基地| 日韩啪啪视品| 欧洲色| 热热久久99| 亚洲天堂热| se色婷婷视频| 久久xx| 九九视频精品视频精品| 色 免费网站视频| 成人AV播放| www久久99| 凹凸操Av| 丁香激情五月综合网| 99热www| 亚洲九九视频| 五月天停婷基地| xx色综合| 久色网| 99精品丰满| 久久综合激情| 久久婷婷成人| 99久在线精品99re8热| 综合激情五月综合激情五月激情1| 午夜不卡久久精品无码免费| 中文字幕成人| 在线天堂9| 亚洲九九99精品视频在线播放| 亚洲精品V天堂中文字幕 | 国产成人网址| 超碰爱爱爱| 色色色色色色色色综合网| 99色最新在线视频网站| 久久er九九| 99 re视频一区| 色五月婷婷777| 99无码视频| 激情欧美丁香五月| 五月精品免费XXX| 99在线精品视频观看免费下载| 超碰婷婷色| 激情五月天小说网| 天天干夜夜谢| 91操网| 99热a片免| 欧美va| 丁香六月婷婷综合激情欧美 | 久久精品婷婷| www.99热精品| 五月亭亭欧美女人| 丁香五月婷婷免费视频| 国产AV一区二区三区最新精品 | 亚洲视频二区| 中文字幕精品在线观看| 五月天成人在线视频网站| 天天日天天干天天插天天射| 久久草婷婷丁香网站| 性色人人爽| 色婷婷久久综| 99热狠狠操| 涩玖玖免费视频| 日本综合九九| H亚洲| www.91av.com| 中文字幕精品无码一区二区| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 狠狠爱综合| 中文字幕av在线播放| 色五月婷婷小说亚洲中文字幕组| www.婷婷五月天啪啪| 一本久道综合99| 超碰在线免费9| 精品久久婷婷| 色哟哟性爱av| 色五月色五天色情网| 日本WWW九九九| 久久影视婷婷五月| 丁香六月婷婷社区| 天堂中文国产| 丁香五月婷婷亚洲人| 99视频内射三四| 99五月丁香丁| 五月www| 色婷婷五月天激情综合| 777.色色| 成人九九视频| 亚洲另类日本| 色色色国产| 激情小说视频图片| 午夜少妇在线观看视频| 日本三级99人妇网站| 91九九九色在| 91九色视频在线观看| 性色婷婷| 操国产人妻| 婷婷六月天精品| 五月综合六月婷婷| 性爱久久| 丁香五月综合| 春色激情| 亚洲免费av在线| 超碰操网| 亚洲狠狠狠色婷婷综合激情久久久| 丁香色五月 97干| 久久9精品| 婷婷她六月天| 色欲资源网| 亚洲精品激情| 久久久婷婷婷| 少妇出轨做爰高潮A片| 丁香五月玖玖| 久久综合五月天| 99色最新在线视频| http://www.sd-xiangsu.com/| 久色网五月| 色婷婷狠狠| 婷婷五月丁香91| 婷婷深爱五月| 99操不停| 99久久久免费| 丁香花五月天| 激情五月天婷婷| 色99在线观看| 激情婷婷黄色五月| WWW.天天日| 婷婷开心激情综合五月天| 久久99热这里只有精品| 91婷婷丁香| 久色| 久9草在线观看视频| 日本久久人人| 天天射夜夜骑| 欧洲不卡视频| www.狠狠| 成人永久免费视频在线观看| 六月色狠狠色| www色五月| 97亚洲视频在线| 黄色av高清| 人人97碰| 亚洲激情综合免费| 色丁香五月婷婷| 丁香五月婷婷天激情| 六月丁香婷婷综合狠狠爱夜夜爱| 玖玖婷婷五月天| 深爱丁香激情| 九九99精品视频在线观看| 99在线视频。| 人人玩人人橾| 91九色在线视频| 91精品激情9| 成人电影AV在线观看| 这里只有免费的精品| 五月色婷婷影院| 极品精品一区二区三区在线| 久久婷婷五月综合精品蜜芽| 99热这里只有精品最新| 婷婷五月激情图片| 精品国婬伦V无码久久久| 色婷久久| 99热成人| 爱iii做iiii日日| 这里只有精品在线视频精品| 亚洲免费观看高清完整版AV线| 26uuu精品国产| 超碰97色| 99色爱| 在线网黄| 超爽内射| 五月综合激情视频| 嫩草AV久久伊人妇女超级A | 色婷婷欧美| 天天色凹凸| 婷婷激情肏屄网| 日日夜夜天天| 精品自拍99| 丁香月五月天婷婷久久| 婷婷伊人网| 日本久久人| 日日夜夜综合| 狠狠干最新地址| 久青青久| 婷婷五月丁香香蕉| 先锋资源91| 色婷婷狠狠色| 影音先锋91在线资源站| 丁香六月av| 五月成人网站| 97在线精品| 91AV婷婷| 激情五月天啪啪| 天天爽天天透天天爱| 狠狠综合| 丁香五月天在线视频| 国产操碰| www久久99| 色久综合| 九九综合网色全集| www.色五月| 天天插天天干| 日本狠狠爽| 久久综合五月天| 2020日日干| 色婷婷电影网| 天堂爱啪啪| 99久久综合网| 国产午夜成人免费看片无遮挡| www.综合久久.com| 久久久大香蕉| 亚洲成人网在线观看| 视频一二区| 国产三级片91| 亚洲成人av在线播放| 亚洲第一av| 丁香五月人妻| 久久性刺激| 亚美欧色影院| 99热99| 五月天婷婷成人网| 夜夜躁婷婷AV| 色婷婷综合网站| 五月婷婷无码| 五月天成人综合| 丁香五月天色综合| 69凹凸成人综合网| 五月丁香六月激情啪| 嘿嘿视频免费看9| 熟女激情五月天| 久久久久久久97| 成人在线综合| 天天色宗合| 色五月激情综合网| 久久久天堂国产精品女人| 干婷婷五月天| 欧美成人AAA片一区国产精品| 九九99免费理论| 色五月人妻| 日韩狠狠色婷婷| 成人av在线网| 欧美色婷婷| 激情婷婷丁香五月天| 噜噜噜狠狠色综合| 亚洲激情五月婷婷日日| 性爱111111| 丁香五月AV| 99日韩| 五月激情小说| www.丁香五月| 日韩 中文 欧美| 无码99| 开心五月丁香啪| 色吊丝av中文字幕| 精品久久99| 色天天综合天天综合频道。| 丁香六月婷婷操逼网| 色偷偷色婷婷| AV色五月婷婷| 人人操人人妻| 六月丁香网| 久这里只有精品99| 五月婷婷欧洲| 人妻人人操| 五月永久激情| AV操逼网| 日本色婷婷久久99精品91| 五月婷婷碰碰| 色欲丁香| 丁香五月婷婷欧美成人色图| 婷婷五月娱乐在线| 六月丁香五月天| 婷婷五月天激情影片| 停停综合色色| 国产在线aaa片一区二区99| 射久久丁香五月| 五月丁香欧美综合| 久久精品国产精品| 六月色播| 五月婷庭丁香在线| 五月综合丁香婷婷| 婷婷丁香日韩五月| 色色色欧美| 婷婷五月天激情AV影院| 久久久久久久97| 草草女人亚洲| A在线观看| 国产探花AV在线| 久超超碰| 婷婷五月综合免费在线| 色色五月丁香| 五月丁香六月婷| 丁香六月婷婷综合激情欧美| www.玖玖九| 99热免费精品| 六月婷婷色综合| 丁香五月图片| www.91九色| 高清a片基地| 五月激情综合网| 丁香婷婷综合激情五月色| 色综合久久天天综合网| 丁香五月婷婷高清| 色婷婷小说| 五月丁香六月婷婷啪啪| 天天舔天天摸天天透| 五月婷俺去也| 日都一级A片| 午夜不卡久久精品无码免费 | 五月婷婷伊人网| 9精品在线| 婷婷激情综合色五月久久91| 91操操| 超碰在线人人| 99热的无码| 婷婷五六月丁香| AA久久| 亚州精品成人片| 99国产精品白浆在线观看免费 | 九九色情网站| 99re在线观看| 久久这里只有精品8| 丁香六月婷婷色播| 日日操夜夜骑| 色99欧洲色19| 99久久99九九九99九他书对| 五月婷久久草| 影音先锋91视频| 牛牛热这里只有jingpin| 色婷婷香蕉| 婷婷在线视频| 婷婷五月激情图片| 99色免费观看全部| 婷婷色成人| 亚洲五月婷婷在线| 婷婷欧美色| 第四色婷婷日本| 综合久久久| 一级黄色操B| 乱乱av| 天堂无码人妻精品AV一区| 狠狠穞A片一區二區三區| 操碰99| 色私五月婷婷| 色婷婷19| 9l视频自拍九色9l视频自拍九色9l社区| 天天干肏夜夜| 五月丁香色播| 色婷婷a三区麻| 99只有这里是精品| 六月婷婷影院| 丁香五月中文字幕久色| 日日撸天天干| 五月婷婷花| 色射婷婷五月天| 天天色天天舔天天爱天天爽| 婷婷五月天深爱| 丁香六月视频| 青青草视频福利| 伊人狠狠操| www.色擼擼.com| 99热这里只有精品50| 开心日韩丁香婷婷五月| 新激情五月天色播| 欧州色色| 色色性爱视频| 激情丁香六月| 九九热在线视频观看| 婷婷丁香18| 久久99热久久99精品| 日本色狠狠| 色婷六月| 久久亚洲婷婷| 日本三级黄色大片| 亚洲第一综合| 少妇被下春药玩弄A片| 在线视频婷婷| 婷婷丁香五月天熟女丝袜| www.99精品视频| 久久综合无| 色情婷| 91精品丝袜久久久久久| 九热在线这里有精品6| 综合狠狠五月婷婷| 五月婷婷激情综合拍| 国产欧洲欧洲精品久久| 九九色影视| 久热婷婷| 久久视频在线视频| 亚洲成人av在线观看| 9热在线观看| 97婷婷狠狠| 96人人操人人操人人| 五月婷婷综合网在线播放| 日本AAAAAAAAAAAAAA片| 婷婷久久综合久色| 狠狠综合久久| 综合av在线| 9999热在线| 色噜噜夜夜夜综合网| 再綫Av免费視品| 99视频网| 五月婷婷丁香五月| 天天舔天天爽| 欧美久久久中文字幕| 91热手机在线| 色五月婷婷天天干| 欧美精品熟女一区二区| 五月色网| 国产精品久久久久久久久久免费| 亚洲精品无AMM毛片| 精品一区二区三区三区| 色婷婷伊人| 99热思思在线观看| 色色色色网| 六月丁香五月婷婷| 99操网站| 99热这里在线精品| 色五月婷婷激情| 国产午夜一区二区三区| 色播jjjj| 久久丁香| 狠狠色丁香久久婷婷综合五月| 五月婷婷色激情| 99视频在线| 国产69久久久欧美黑人A片| 人操人| 亚洲国产精品五月天| 99热这里只有精品最新地址获取| 色婷婷亚洲精品天天综| 中文字幕综合| 99在线资源视频| 五月婷婷av| 五月丁香欧美综合| 婷婷香五月天| 亚洲天堂制| aaaaa黄色| 人人视频色| 五月丁香在线观看| 操操精品| 日日激情网| www夜夜操| 综合亚洲AV| 2025天天爽天天摸| 丁香五月久久| 熟美女麻豆| 欧洲婷婷五月天| 欧美性猛交99久久久99| 国产精品一区在线观看你懂的| 欧美性爱专区| 色爱综合视频| www.99在线| 99热精品超碰| 99久久综合精品五月天| 五月丁香偷拍| 久9热视频在线观看| 蜜臀嫩草| 色欲一区二区三区精品A片 | 九九99精品视频| 五月天婷婷Av| 婷婷区日本| 色啪网| 性色av大香综合| 天天插天天干天天舔| 五月丁香在线| 亲子乱AV一区二区三区下载| 婷婷五月天激情综合深爱激情| 久操大| 强奸幻女毛片| 日韩欧美四五区| 天天精品视频免费观看| 9999热在线观看| 五月婷婷在线网站| 99热久久这里只有精品| 婷婷五月激情四月综合 | 九九热视频免费| 超碰人人草| 青草青草久热这里只有精品| 免费啪啪亚州视频| 成人资源在线| 天天插插天天| 男人的天堂在线婷婷| 91小黄书网址在线观看| 风流少妇A片一区二区蜜桃 | 开心婷婷五月| 久久99jiu9| 天天插天天插天天插| 国产精产国品一二三在观看| 婷婷六月丁香在线| 狠狠草在线观看| 操99| 第四色五月天| 婷婷四色五月| 色狠狠综合| 激情婷婷在线中文字幕| 久久丁香五月| 亚洲色激情| 九九热re99re6在线精品| 激情亭亭五月| 国产资源91在线| 日韩日比视频在线| 婷婷色5月激情网| 国产精品黑丝| 天天干夜夜谢| 久久9热好| 精品人妻久久久久久久| 亚洲亚洲人成综合网络| 久久ER视频com| 国外亚洲成AV人片在线观看| 五月人妻婷婷| 久久五月婷综合| 69婷婷丁香午夜| 亚洲春色奇米影视| 我爱va亚洲va52| 日韩ww| 深爱激情久久| 97久久精品视频| 色99网站| 亚州色综合| 天天搞天天色综合| 婷婷丁香久久| 99超级碰免费视频| 色五月之第四色| 久久精品国产精品| 亚洲综合婷婷| 日本在线wwww| 91AV婷婷| 丁香五月天激情婷婷丁香六月 | 丁香五月a| 色婷婷文字幕| 亚洲激情av| 成人婷婷色五月天| 久久激情五月| 欧美日韓成人亚洲精品另类| 成人精品在线观看| 99精品爱| 综合激情九月婷婷,激情综合婷婷中文字| 26UUU精品一区二区c〇m| 欧美一级a | 日日夜夜亚洲一区| 91九色欧美| WWW久久久| 99热在线观看免费精品| 人人色性网| 秋霞九九无码| 天天操中文字幕| 人妻狠狠操| 六月婷婷综合网2| 99视频在线| 日韩啪啪网| 狠狠色 综合色区| 这里只有精品免费观看网占| 五月婷六月| 九九aV| 五月丁香狠狠| 久9视频免费播放| 婷婷91| 久久五月综合| 天天久综合网永久入口17v| 激情丁香五月天| 色六月天| 日本久久高清| 超碰婷婷色| 亚洲视频操| 婷丁五月| 久久九九思思| 色五月综合网| 久久这里只有欧美| 婷婷色影院| 97超级碰人人| 久草五月| 日日插日日干| 婷婷放心五日爱| 久久99网| www.久久久久久久| 97九色视频| 色狠狠色噜噜AV天堂五区| 婷婷狠狠干| 九热在线这里有精品6| 最新AV在线观看| 丁香六月婷婷综合| 99思思| 激情婷婷内射| 99情色五月天| 六月激情综合| 五月婷婷激情五月| 色播五月丁香婷婷| 五月婷婷综合久久| 丁香五月色情av| 亚洲综合五月天| 深爱五月日韩| 久久五月丁香伊人青草| 亚洲色图81p| 色和综合网| 99视频内射三四| 亚美欧色影院| 5月婷婷6月丁香aV| 丁香激情网| yw国产AV| 亚洲无码99| 在线看片av| 天堂草在线看www| 天天干狠狠操| 99丁香五月婷| 久久久久九九九九视屏小说88| 终合激情网| 97亚洲色 torrent magnet| 人人97操| 中文字幕成人网站| 精品婷婷| 六月激情网| 国语精品探花| 日本五月丁香| 婷婷偷拍网| 色娸娸综合网| 99国产欧美视频| 九九婷婷五月天| 五月天婷婷六月激情网| 久久激情网| 色噜噜狠噜噜视频| 色婷婷五月天| 亚洲精品永久久久久久| 午夜无码精品色综合久久| 六月丁香婷| 色综合视频| 激情五月天色色色| 久久大大香| 激情丁香五月婷婷| 五月丁香福利| 91.com男女操| 亚洲无码99| 婷婷五月深深爱| 色宗合,宗合网| 久久er免费视频| 婷婷五月天激情网| 精品99在线看| 99精品97| 五夜丁香| av激情在线| 91刘玥视频在线观看| 成人国产网| 91在线观看九区| 99热个人在线| 在线精品97| 欧州婷婷五月天综合| 性做爰A片免费视频A片直播| 婷婷五月天网| 色婷婷成人做爰A片免费看网站| 99热精品无码| 这里只有精品在线视频在线观看| 97色色色视屏| 久热这里只有精品6官网亚洲| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 五月天色色色| 九九無碼| 天天日天天舔天天摸| 亚洲国产婷婷色五月| 五月天色色激情综合| WWW.国产| 99久久综合网| 中文字幕在线免费看线人| 中文字幕丰满孑伦无码专区| 少妇人妻丰满做爰XXX| 综合福利网| 九月色婷婷婷| 色色婷婷婷丁香五月天| 婷婷成人AV| 色婷婷成人网| 久久婷婷亚洲| 婷婷五月花免费视频在线| 天天日夜夜夜操操操操| 色综色五月天婷婷| 天天操夜夜橾| www.91操| www.夜夜操| 八戒青柠影视剧在线观看| WwW色婷婷| 久久亭亭电影| 丁香五月最新地址| 成人电影在线免费试看| 五月婷婷激情综合在线| 六月婷婷色五月| 天天色综合网吨吧| 久久婷婷五月天激情四射| 亚洲激情网| 无码人妻少妇色欲AV一区二区| 99欧美| 久久艹 五月天| 五月色婷婷夜色| 久久aaaaa| 91操碰| 丁香亚洲婷婷五月| Www.激情| 婷婷丁香色五月| 嫩草AV久久伊人妇女超级A| 丁香五月 性爱| 久久九区| 青青草深爱激情网| 久机视频这只有精品| 成人短视频在线观看| 欧洲色区| 久久免费干| a网站免费观看| 六月天六月婷| 噜一噜在线| 99色综合| 欧美超碰亚洲| 五月色网| 亚洲婷婷乱乱丁香| 久久婷婷丁香| 婷婷五月天社区| 婷婷5月久久综合网站| 97精品在线| 五月亭亭六月激情| 人人爱人人草| 欧美大肥婆大肥BBBBB| 另类国产欧美视频| 日韩成人电影AV| 婷婷.com| 欧美日韩成人在线| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 五月丁香天堂网婷婷| 色色色9| 96精品久久久久久久久| 亚洲精品久久久无码| 91超级碰人人操| 五月婷丁香花| 五月天婷婷色综合| 大香蕉五月天婷婷| 九九热99久久99| 日本va欧美va精品发布视频| 婷婷丁香人妻天天爽| 欧美性爱五月天| 久久综合网桃花| 色爱综合视频| 狠狠操天天干| 日本熟妇乱妇熟色A片蜜桃| www.91在线看| 第六色在线| 天天日天天操心| 98国产精品综合一区二区三区| 婷婷视频在线碰| 九九人人操| 六九色综合婷婷五月天| 成人精品视频99在线观看免费| 91性交在线播放| 黄色aaaaa| 九九热精品视频| 成人免费120分钟啪啪| 日本综合色色| 色婷婷社区| 久热这里| 九九久久免费视频44| 五月丁香综合久久| 大香蕉精品视频| 五月色激情综合网| 亚洲成人电影aaaa| 久久激情五月| 黄色99热| 日日夜夜狠狠干| 婷婷五月天基地| 婷婷色情网| 婷婷欧美| 在线五月婷| 99久久a线观| 婷婷激情四射| 色香久久| 五月婷婷丁香综合网| 国产免费性爱| 性色欲情 网站| 亚洲综合五月| 好大好粗嗯啊-一级黄色大片免费观看-成人AV| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 婷婷五月天BBw| 国产亚洲精品久久久久久牛牛| 9l视频自拍九色9l黑人| 夜夜操夜夜爽| 天天爱天天操| 婷婷色九月| 狠狠的日| 激情久久月| 5月婷婷五月天| 婷婷99狠狠躁天天久久久九九九| 色色色五月婷| 色色网站在线| 少妇人妻丰满做爰XXX| 噜一噜免费视频| 操99| 亚洲无码www| 婷婷五月天AV| 超级久久久| 日本色色色| 婷婷碰碰| 天天成人丁香美女AV| 96自拍视频九色在线观看| 国产激情综合五月| 丁香五月天激情视频| 激情五月综合网| 婷婷久久网| 五月丁香啪综合| www.婷婷.com| 久久综合色五月| 99热天堂| 色五月婷婷综合在线| 99免费在线视频| 五月婷婷,狠狠操| 九九热最新| 五月婷六月| 99在线精品视频| 色碰干| 激情色播| 色色五月婷| 亚洲日日操| 五月婷婷伦理| www.久久| 激情五月,色五月| 色婷婷久久| 五月婷婷啪啪| 五月婷婷天| 99久久精彩视频。| 91丨九色丨43老版熟女| 婷婷久久大香蕉| 色综合激情| 丁香六月婷婷综合色| 激情五月天综合网| 激情网开心网| 99久久国产综合精品五月天喷水\| 99色综合网| 久99热| 中文不卡一二三区| 激情网 久久| 天天五月天综合网址| 婷婷久久伊人| 五月婷婷无码| 激情啪啪五月天| 国产美女无遮挡裸体毛片A片| 婷五月天天| 无码少妇高潮喷水A片免费| www.婷婷网| 久久婷婷六月综合国际| 激情五月深爱婷婷| 色婷婷先锋| 色欲久久综合| 久久香蕉网| 日韩黄在免| 午夜五月天| 大香蕉啪啪| 婷婷午夜| 激情五月com| 伊人大蕉香| 伊人网大香| 天天舔天天摸天天射| 69热91天堂| 色婷天天| Se.婷婷五月天| 三人荫蒂添的好舒服A片| WWW,五月| 在线看片av| 亚洲中文字幕在线观看| 日本社区五月天激情| 超碰成人电影| 99精品视频在线观看| 亚洲第一色区| 变态另类9| 专区无日本视频高清8| 婷婷五月天激情五月天| 中日韩美欧成人一区二区精品在线| 久久婷婷五月草视频在线播放| 亚洲精品婷婷| 久久99这里只有精品视频| 综合色网站| 日韩操人| 天天综合中文| 婷婷操逼| 性爱激情综合网| 五月婷婷啪啪啪| 国产99精品免费视频| 男人天堂 久久| 五月婷婷激情五月| 久久九九在线视频| 丁香六月狠狠干| 99在线精品免费视频| 天天噜| 77799热| 九九人人自拍| 97精品人人A片免费看| 99在线免费观看| 91精品熟女| 九热网站| 99精品热| 日日夜夜久| 色色99色色| 亚洲AV成人无码电影| 99∨VTV| 天天爽天天日| 白天AV月月| 五月天久久www| 91男女视频在线观看| 九九综合九九| 天天射夜夜骑| 亚洲婷婷五月天在线激情综合网| 久久久中文| 26uuu欧美日本| 深情六月婷婷综合久久| 看逼中文字幕| 苗黎美女四级成人版一级二级毛片| 色情综合网| VA国产在线综合网站| 五月婷婷色啪| 99久久喉9| 婷婷俺去也| 日本五月天网站| 一區四區歐美日韓| 亚洲人人操| 成人国产网| www.天天干| 五月丁香久| 丁香五月五婷| 天天肏天天插| 99ri国产| 五月丁香婷婷成人版| 亚洲欧洲另类图片| 九九热免费视频| 99视频只有精品| 五月天激情社区| 玖玖伦理电影| 久热九九| 超碰在线综合| 色婷婷丁香AV综合| 少妇人妻偷人精品无码视频新浪|