欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Agent系統(tǒng)觸達(dá)層架構(gòu)設(shè)計(jì):Agent-Reach解決工具調(diào)用連不上的問(wèn)題

Agent系統(tǒng)觸達(dá)層架構(gòu)設(shè)計(jì):Agent-Reach解決工具調(diào)用連不上的問(wèn)題 做Agent落地的朋友大概率都遇到過(guò)這樣一個(gè)尷尬場(chǎng)景模型已經(jīng)能用自然語(yǔ)言規(guī)劃任務(wù)了工具調(diào)用的函數(shù)定義也寫(xiě)得清清楚楚可Agent真正跑起來(lái)的時(shí)候有一半時(shí)間都耗在夠不到上——要么連不上內(nèi)部數(shù)據(jù)庫(kù)要么第三方API鑒權(quán)過(guò)期要么請(qǐng)求發(fā)出去之后等不到響應(yīng)。我去年主導(dǎo)了一個(gè)內(nèi)部Agent平臺(tái)項(xiàng)目被這個(gè)問(wèn)題折磨了好幾周最后干脆從架構(gòu)層面做了一個(gè)觸達(dá)層Agent-Reach。這東西解決的核心問(wèn)題只有一個(gè)——讓智能體對(duì)底層系統(tǒng)的觸達(dá)路徑變得可見(jiàn)、可控、可度量。如果你是做Agent編排、工具調(diào)用網(wǎng)關(guān)的工程師或者正在折騰多Agent協(xié)作但苦于系統(tǒng)接入臟活太多這篇文章值得你花十分鐘看完。1. 為什么Agent項(xiàng)目往往卡在夠不到這一層1.1 模型能力過(guò)剩系統(tǒng)觸達(dá)能力不足2025年了大模型的推理能力早就不是瓶頸。你丟給它一個(gè)復(fù)雜任務(wù)它能給你拆出七八個(gè)子任務(wù)每個(gè)子任務(wù)需要調(diào)哪些工具、傳哪些參數(shù)它門(mén)兒清。但真正把Agent放進(jìn)生產(chǎn)環(huán)境你會(huì)發(fā)現(xiàn)最扎心的一個(gè)規(guī)律Agent的失敗絕大多數(shù)不是想錯(cuò)了而是夠不到。我見(jiàn)過(guò)太多團(tuán)隊(duì)把精力花在Prompt調(diào)優(yōu)、RAG召回率、模型微調(diào)上結(jié)果上線第一天Agent調(diào)用內(nèi)部ERP系統(tǒng)的接口直接超時(shí)重試三次還是超時(shí)最后整個(gè)任務(wù)鏈路崩掉。模型再聰明工具夠不到一切都白搭。這里的夠不到是個(gè)很寬泛的說(shuō)法背后其實(shí)是一堆工程問(wèn)題被塞在了一起網(wǎng)絡(luò)策略沒(méi)放通、憑據(jù)不存在或已過(guò)期、接口協(xié)議不匹配、數(shù)據(jù)格式對(duì)不上、上游服務(wù)過(guò)載……這些問(wèn)題單拎出來(lái)都不難但疊加在一起就成了Agent工程化落地最消耗人力的部分。我在做第一個(gè)Agent PoC項(xiàng)目的時(shí)候光是把三個(gè)內(nèi)部系統(tǒng)接進(jìn)來(lái)就花了兩周其中一半時(shí)間在排查為什么Agent調(diào)不通。當(dāng)時(shí)我就意識(shí)到Agent和系統(tǒng)之間的觸達(dá)問(wèn)題需要被單獨(dú)抽象出來(lái)做成一個(gè)獨(dú)立的設(shè)施而不是讓每個(gè)Agent業(yè)務(wù)代碼自己去處理。Agent-Reach就是在這樣的背景下產(chǎn)生的。1.2 四種典型的夠不到場(chǎng)景我在不同團(tuán)隊(duì)反復(fù)看到相同的四類(lèi)問(wèn)題它們幾乎組成了Agent觸達(dá)失敗的全部原因場(chǎng)景類(lèi)型典型表現(xiàn)為什么隱蔽網(wǎng)絡(luò)隔離業(yè)務(wù)系統(tǒng)在VPC內(nèi)網(wǎng)Agent服務(wù)在另一個(gè)VPC安全組/防火墻沒(méi)放通聯(lián)調(diào)環(huán)境能通生產(chǎn)環(huán)境不通環(huán)境差異導(dǎo)致憑據(jù)散落每個(gè)系統(tǒng)的AK/SK、Token、證書(shū)散落在不同配置文件或環(huán)境變量里憑據(jù)輪換一次所有Agent調(diào)用全部失敗但報(bào)錯(cuò)不明顯協(xié)議不匹配目標(biāo)系統(tǒng)只暴露SOAP/XML-RPC/私有TCP協(xié)議Agent工具層只支持HTTP/JSON需要寫(xiě)協(xié)議適配層但沒(méi)人愿意為臨時(shí)接入寫(xiě)膠水代碼數(shù)據(jù)契約變化上游字段改名、類(lèi)型變換、枚舉值變化文檔沒(méi)同步調(diào)用返回200但解析結(jié)果完全錯(cuò)亂成功的失敗最要命你發(fā)現(xiàn)沒(méi)有這四類(lèi)問(wèn)題有一個(gè)共同特征它們都不是模型能力問(wèn)題而是工程基礎(chǔ)設(shè)施問(wèn)題。用傳統(tǒng)的一次開(kāi)發(fā)一次接入的思路去解決每次新接一個(gè)系統(tǒng)都要重復(fù)踩一遍坑。Agent-Reach的思路是把這些觸達(dá)能力做成統(tǒng)一的中間層讓Agent側(cè)只面對(duì)一套穩(wěn)定的接口契約讓系統(tǒng)側(cè)只面對(duì)一個(gè)接入網(wǎng)關(guān)。2. Agent-Reach整體架構(gòu)與核心組件拆解2.1 核心抽象Route與ProviderAgent-Reach整個(gè)設(shè)計(jì)圍繞兩個(gè)最核心的抽象概念展開(kāi)Route路由和Provider提供方。Route定義的是一次觸達(dá)動(dòng)作的全部信息從哪個(gè)Agent來(lái)、要訪問(wèn)哪個(gè)系統(tǒng)、用什么協(xié)議、依賴(lài)什么憑據(jù)、超時(shí)和重試策略是什么。你可以把Route理解成快遞面單——上面寫(xiě)清楚了寄件人、收件人、包裹內(nèi)容和投遞要求而真正干活的是底層的快遞網(wǎng)絡(luò)。Provider就是那個(gè)快遞網(wǎng)絡(luò)。它是一組真正與系統(tǒng)打交道的適配器負(fù)責(zé)把Agent的語(yǔ)義化請(qǐng)求翻譯成目標(biāo)系統(tǒng)能理解的協(xié)議調(diào)用。一個(gè)Provider只負(fù)責(zé)一類(lèi)協(xié)議比如HTTP Provider、SQL Provider、消息隊(duì)列Provider互不干擾。這兩者分開(kāi)的設(shè)計(jì)是我認(rèn)為Agent-Reach最明智的地方。Agent業(yè)務(wù)方只需要聲明我要觸達(dá)工單系統(tǒng)的創(chuàng)建工單能力Route完全不需要關(guān)心后端是走HTTP還是走消息隊(duì)列也不需要關(guān)心目標(biāo)系統(tǒng)的認(rèn)證方式。而接入方要新增一個(gè)系統(tǒng)只需要實(shí)現(xiàn)一個(gè)Provider然后注冊(cè)到對(duì)應(yīng)Route上。契約和實(shí)現(xiàn)徹底分離新系統(tǒng)接入不再需要改動(dòng)Agent側(cè)的代碼。2.2 連接器Connector體系連接器是Provider下面的具體執(zhí)行單元。如果Provider是快遞網(wǎng)絡(luò)那Connector就是某一輛具體的快遞卡車(chē)。每個(gè)Connector封裝了一套獨(dú)立的連接生命周期管理連接的建立與復(fù)用連接池管理憑據(jù)的獲取、緩存、輪換協(xié)議的編解碼超時(shí)控制與重試策略熔斷狀態(tài)管理這里最有價(jià)值的一點(diǎn)是連接池和憑據(jù)生命周期是內(nèi)置的不需要每個(gè)接入方自己維護(hù)。比如內(nèi)部某系統(tǒng)要求每30分鐘輪換一次Access Key如果沒(méi)有Agent-Reach你得在每個(gè)調(diào)用方服務(wù)器上寫(xiě)一個(gè)定時(shí)任務(wù)去拉取新Key。有了Agent-Reach連接器內(nèi)部自動(dòng)處理輪換調(diào)用方完全無(wú)感知。我自己的經(jīng)驗(yàn)是連接器的數(shù)量不需要做太多覆蓋HTTP(S)、gRPC、MySQL/PostgreSQL、Kafka/RabbitMQ、Redis這五類(lèi)就夠覆蓋絕大多數(shù)企業(yè)系統(tǒng)了。剩下那些實(shí)在特殊的協(xié)議可以寫(xiě)一個(gè)自定義Connector實(shí)現(xiàn)Agent-Reach提供了一套標(biāo)準(zhǔn)的SPI接口照著接口實(shí)現(xiàn)四個(gè)方法就能掛載進(jìn)去。2.3 策略引擎Policy Engine策略引擎是Agent-Reach的交通規(guī)則執(zhí)行順序在Route匹配之后、Connector調(diào)用之前。它主要做三件事限流每個(gè)Agent或每個(gè)系統(tǒng)能承受的QPS不同策略引擎按Route粒度配置限流規(guī)則防止一個(gè)Agent的任務(wù)風(fēng)暴把下游系統(tǒng)打掛熔斷連續(xù)N次調(diào)用失敗或者錯(cuò)誤率達(dá)到閾值自動(dòng)熔斷該Route避免對(duì)已經(jīng)故障的系統(tǒng)持續(xù)施壓審計(jì)所有觸達(dá)請(qǐng)求的出入?yún)?shù)、結(jié)果、耗時(shí)都被記錄下來(lái)便于追溯和安全審計(jì)我見(jiàn)過(guò)很多團(tuán)隊(duì)一開(kāi)始沒(méi)重視策略引擎覺(jué)得Agent調(diào)用量小限流熔斷沒(méi)必要。直到有一次一個(gè)Agent在循環(huán)處理2000條工單數(shù)據(jù)時(shí)把下游工單系統(tǒng)打到CPU 100%人家運(yùn)維直接找到頭上問(wèn)你們這系統(tǒng)是不是被攻擊了。從那之后我就明白了Agent比人更擅長(zhǎng)制造流量也比人更不知道怎么收斂。策略引擎不是可選項(xiàng)是必選項(xiàng)。3. 從零部署Agent-Reach環(huán)境依賴(lài)與最小配置3.1 環(huán)境依賴(lài)與部署方式Agent-Reach在工程實(shí)現(xiàn)上選擇了Go語(yǔ)言這個(gè)選型在當(dāng)時(shí)沒(méi)有爭(zhēng)議跟OpenTelemetry Collector的選型邏輯一致部署簡(jiǎn)單、單二進(jìn)制運(yùn)行、高并發(fā)表現(xiàn)好。整個(gè)服務(wù)無(wú)外部依賴(lài)連配置都用YAML文件本地加載所以部署方式非常靈活。官方推薦的部署方式是Docker Compose但也支持裸機(jī)部署和Kubernetes Helm包。我這里以Docker Compose為例因?yàn)榇蟛糠制髽I(yè)內(nèi)網(wǎng)環(huán)境不管有沒(méi)有容器平臺(tái)至少都能跑Docker。# 拉取鏡像 docker pull ghcr.io/agent-reach/agent-reach:latest # 建立工作目錄 mkdir -p /opt/agent-reach/config cd /opt/agent-reach你只需要一個(gè)二進(jìn)制或一個(gè)容器不需要數(shù)據(jù)庫(kù)不需要Redis不需要消息中間件。Agent-Reach的運(yùn)行時(shí)狀態(tài)全部在內(nèi)存中配置變更通過(guò)熱加載完成。3.2 最小配置文件詳解下面這個(gè)是我目前生產(chǎn)環(huán)境在用的最小化配置去掉了與業(yè)務(wù)相關(guān)的敏感信息保留了核心結(jié)構(gòu)server: listen: :8080 # Agent側(cè)統(tǒng)一入口 read_timeout: 30s write_timeout: 60s router: mode: rule_based # 路由模式規(guī)則優(yōu)先還支持path和header模式 routes: - name: internal_ticket_api provider: http_provider endpoint: http://ticket-service.internal:8082/api timeout: 10s retry: max_attempts: 3 backoff: exponential max_wait: 5s policy: rate_limit: 200 # 每秒最多200次調(diào)用 circuit_breaker: failure_threshold: 20 reset_timeout: 60s credentials: type: bearer_token source: env:TICKET_API_TOKEN - name: user_profile_db provider: sql_provider endpoint: userdb.cluster.internal:3306 database: user_profile query_timeout: 5s pool: max_open: 50 max_idle: 20 max_lifetime: 30m policy: rate_limit: 100 circuit_breaker: failure_threshold: 10 reset_timeout: 30s credentials: type: username_password source: env:USER_DB_CREDENTIALS connectors: - type: http name: http_provider options: max_idle_conns: 200 max_idle_conns_per_host: 32 idle_conn_timeout: 90s tls_handshake_timeout: 10s - type: mysql name: sql_provider options: parse_time: true charset: utf8mb4幾個(gè)關(guān)鍵配置我想單獨(dú)說(shuō)下因?yàn)樾率趾苋菀撞瓤拥谝籺imeout的設(shè)置一定要小于Agent側(cè)的超時(shí)設(shè)置。如果LLM Agent框架設(shè)置了總超時(shí)30秒那么Agent-Reach的Route超時(shí)最好設(shè)置20秒留出10秒給模型側(cè)的處理時(shí)間和網(wǎng)絡(luò)往返。否則Agent這邊先超時(shí)了Agent-Reach還在服務(wù)端等上游響應(yīng)連接直接被打沒(méi)。第二retry的backoff用指數(shù)退避而不是固定間隔。固定間隔重試會(huì)導(dǎo)致一種很糟糕的現(xiàn)象多個(gè)Agent請(qǐng)求同時(shí)失敗然后同時(shí)重試形成高頻沖擊波打到下游系統(tǒng)上。指數(shù)退避加上一些隨機(jī)抖動(dòng)能讓重試請(qǐng)求均勻散開(kāi)。第三憑據(jù)不要直接寫(xiě)在配置文件里。說(shuō)實(shí)話(huà)連environment: env:這種方式我都覺(jué)得不夠安全生產(chǎn)環(huán)境建議用Vault或KMS拉取。配置文件只是應(yīng)用入口真正的憑據(jù)存放和加載邏輯應(yīng)該在Agent-Reach的憑據(jù)Provider上做文章。我們生產(chǎn)環(huán)境就做了一個(gè)Vault插件每次Connector啟動(dòng)時(shí)拉取一次然后緩存在內(nèi)存中按計(jì)劃輪換。3.3 啟動(dòng)與自檢配置寫(xiě)好之后直接啟動(dòng)docker compose up -dAgent-Reach內(nèi)置了一個(gè)/healthz端點(diǎn)但我不建議只依賴(lài)它。它只能告訴你進(jìn)程活沒(méi)活不能告訴你觸達(dá)鏈路通不通。我們內(nèi)部會(huì)額外做一個(gè)定期連通性探測(cè)任務(wù)——用一個(gè)模擬請(qǐng)求去調(diào)Agent-Reach的每個(gè)Route檢查所有下游系統(tǒng)是否在預(yù)期時(shí)間內(nèi)響應(yīng)。只有這個(gè)探測(cè)通過(guò)我們才認(rèn)為Agent-Reach處于健康狀態(tài)。這個(gè)習(xí)慣幫我提前發(fā)現(xiàn)過(guò)兩次事故都是第三方的測(cè)試環(huán)境在半夜被回收而線上Agent早晨第一次調(diào)用時(shí)才發(fā)現(xiàn)觸達(dá)失敗。如果依賴(lài)人工在上班時(shí)才去檢查Agent任務(wù)積壓已經(jīng)無(wú)法挽回了。4. 接入業(yè)務(wù)系統(tǒng)三種連接器模式與選型邏輯4.1 HTTP/API直連模式這是最常用的模式適合所有暴露HTTP/REST接口的系統(tǒng)。接入邏輯很簡(jiǎn)單在Agent-Reach里注冊(cè)一個(gè)http_provider類(lèi)型的Route配置好上游端點(diǎn)、超時(shí)時(shí)間、鑒權(quán)方式Agent側(cè)就可以通過(guò)統(tǒng)一的接口發(fā)起調(diào)用了。我實(shí)踐中的一個(gè)建議是不要把原始HTTP請(qǐng)求直接透?jìng)饕欢ㄒ贏gent-Reach層做一層契約轉(zhuǎn)換。比如工單系統(tǒng)創(chuàng)建工單的原始接口長(zhǎng)這樣{ operation: saveWorkOrder, param: { userId: 12345, categoryId: abc, detail: text } }而Agent通過(guò)工具調(diào)用傳進(jìn)來(lái)的參數(shù)可能是一個(gè)更接近自然語(yǔ)義的JSON。Agent-Reach的Connector可以做一個(gè)模板映射把Agent傳入的語(yǔ)義化參數(shù)轉(zhuǎn)換成上游需要的接口字段格式。這樣做的好處是當(dāng)上游重構(gòu)接口、字段改名時(shí)只需要改Agent-Reach的映射模板Agent側(cè)的代碼完全不動(dòng)。4.2 數(shù)據(jù)庫(kù)/SQL直連模式很多人一開(kāi)始聽(tīng)到Agent直連數(shù)據(jù)庫(kù)都會(huì)皺眉擔(dān)心安全問(wèn)題。但當(dāng)企業(yè)內(nèi)部的AI應(yīng)用需要實(shí)時(shí)讀取業(yè)務(wù)數(shù)據(jù)、且沒(méi)有現(xiàn)成的API時(shí)SQL直連往往是最快路徑。Agent-Reach的SQL Provider做了兩層隔離我建議所有接數(shù)據(jù)庫(kù)的場(chǎng)景都別繞過(guò)第一層是賬號(hào)隔離。Agent使用的數(shù)據(jù)庫(kù)賬號(hào)嚴(yán)格遵循最小權(quán)限原則只授予需要的表的SELECT權(quán)限寫(xiě)操作一律不開(kāi)放。第二層是語(yǔ)句隔離。在SQL Provider里可以配置規(guī)則只允許執(zhí)行SELECT開(kāi)頭的語(yǔ)句并且強(qiáng)制帶上LIMIT子句防止全表掃描。更嚴(yán)格的做法是可以配置一個(gè)表白名單只能訪問(wèn)指定的幾張表。在性能上連接池參數(shù)值得細(xì)調(diào)。我們一個(gè)用戶(hù)畫(huà)像庫(kù)日均Agent查詢(xún)量不到一萬(wàn)其實(shí)完全不算高但初始max_open設(shè)太大導(dǎo)致數(shù)據(jù)庫(kù)連接數(shù)一直積壓。后來(lái)調(diào)成max_open: 50、max_idle: 20加上每30分鐘自動(dòng)清理一次空閑連接數(shù)據(jù)庫(kù)負(fù)載平穩(wěn)多了。4.3 事件訂閱模式第三種模式適合異步觸達(dá)場(chǎng)景。比如Agent處理完一個(gè)任務(wù)之后需要通知下游系統(tǒng)數(shù)據(jù)已就緒或者觸發(fā)一個(gè)異步工作流。這種場(chǎng)景如果走同步HTTP調(diào)用反而會(huì)讓Agent阻塞等待降低了整體吞吐。事件訂閱模式通過(guò)消息中間件解耦A(yù)gent-Reach的Provider把Agent的觸達(dá)請(qǐng)求投遞到Kafka/RabbitMQ的指定topic下游消費(fèi)者自己去取。我在項(xiàng)目中比較喜歡用這個(gè)模式來(lái)處理通知類(lèi)觸達(dá)Agent完成數(shù)據(jù)分析后把結(jié)果封裝成一個(gè)事件發(fā)到消息隊(duì)列報(bào)表系統(tǒng)和消息通知服務(wù)分別訂閱這個(gè)topic。整個(gè)過(guò)程是異步的不占用Agent的等待時(shí)間下游各自消化也不互相影響。4.4 三種模式怎么選我整理了一個(gè)選型表基本可以覆蓋決策過(guò)程判斷維度HTTP直連SQL直連事件訂閱上游是否有現(xiàn)成API有無(wú)有但不適合同步實(shí)時(shí)性要求高秒級(jí)高秒級(jí)中毫秒級(jí)投遞但消費(fèi)可能延遲數(shù)據(jù)量/頻率低-中中高安全要求中需控制權(quán)限高需強(qiáng)隔離中依賴(lài)消息中間件安全典型場(chǎng)景創(chuàng)建工單、查狀態(tài)讀用戶(hù)畫(huà)像、查訂單明細(xì)任務(wù)完成通知、數(shù)據(jù)變更廣播我的經(jīng)驗(yàn)法則是有API用API沒(méi)API但只是讀數(shù)據(jù)用SQL催得太急或者根本不需要回復(fù)的用事件。不用貪多三種模式吃透已經(jīng)能覆蓋90%的企業(yè)系統(tǒng)觸達(dá)場(chǎng)景了。5. 一次真實(shí)的觸達(dá)失敗排障從一坨502日志說(shuō)起5.1 故障現(xiàn)場(chǎng)上線Agent-Reach第三周某個(gè)周五下午運(yùn)維群里開(kāi)始有同事反饋客服Agent突然不好使了。我登錄Agent-Reach的管理端一看最近15分鐘internal_ticket_api這個(gè)Route的錯(cuò)誤率從0.5%飆升到了37%大量返回502。第一反應(yīng)是檢查上游工單系統(tǒng)是不是掛了。我直接curl了一下工單系統(tǒng)健康檢查接口一切正常響應(yīng)時(shí)間12ms。上游是健康的問(wèn)題一定出在我們這一層。5.2 完整排查鏈路按照從外到內(nèi)的順序一步一步追蹤第一步看Agent側(cè)的調(diào)用日志。日志顯示Agent調(diào)用Agent-Reach的請(qǐng)求本身都成功了說(shuō)明Agent-Reach網(wǎng)關(guān)本身還活著沒(méi)有拒絕請(qǐng)求。第二步看Agent-Reach的路由日志。大量請(qǐng)求被轉(zhuǎn)發(fā)到了上游但在返回響應(yīng)時(shí)丟失了連接。這個(gè)線索很關(guān)鍵——請(qǐng)求發(fā)出去了響應(yīng)回不來(lái)。第三步抓Agent-Reach訪問(wèn)上游的實(shí)際網(wǎng)絡(luò)包。這里我要說(shuō)句實(shí)話(huà)很多時(shí)候解決問(wèn)題的關(guān)鍵不是什么高深知識(shí)而是老老實(shí)實(shí)去看TCP連接的狀態(tài)。抓包發(fā)現(xiàn)一個(gè)規(guī)律連接在TCP層已經(jīng)正常建立了TLS握手也完成了HTTP請(qǐng)求也發(fā)出去了但等待響應(yīng)時(shí)連接被服務(wù)端提前關(guān)閉了。第四步查上游工單系統(tǒng)的負(fù)載均衡器配置。這一查發(fā)現(xiàn)問(wèn)題了——負(fù)載均衡的keepalive_timeout設(shè)置的是60秒而Agent-Reach這邊HTTP連接器的idle_conn_timeout默認(rèn)是90秒。5.3 根因定位整個(gè)問(wèn)題的因果鏈?zhǔn)沁@樣的Agent-Reach復(fù)用了一個(gè)已經(jīng)空閑了70秒的連接去發(fā)送請(qǐng)求由于連接在60秒時(shí)已經(jīng)被上游的負(fù)載均衡器判定超時(shí)并回收了這個(gè)請(qǐng)求實(shí)際上被發(fā)送到了一個(gè)不存在的連接上。TCP層表現(xiàn)正常畢竟負(fù)載均衡器還在但HTTP層收不到有效響應(yīng)最終在Agent-Reach這側(cè)表現(xiàn)為502。這類(lèi)問(wèn)題的隱蔽之處在于它不是必現(xiàn)的只在連接空閑超過(guò)60秒且又被重新使用時(shí)才發(fā)生。Agent的調(diào)用頻率不是均勻的高峰時(shí)連接一直活躍反而沒(méi)事低谷期一過(guò)第一批復(fù)用空閑連接的請(qǐng)求就會(huì)集體踩雷。5.4 修復(fù)與驗(yàn)證修復(fù)方案很簡(jiǎn)單把HTTP連接器的idle_conn_timeout從90秒改成45秒讓Agent-Reach在連接空閑達(dá)到45秒時(shí)就主動(dòng)關(guān)閉連接下次請(qǐng)求重新建連。這樣保證復(fù)用的連接一定在上游回收之前。connectors: - type: http name: http_provider options: max_idle_conns: 200 max_idle_conns_per_host: 32 idle_conn_timeout: 45s # 必須小于上游keepalive_timeout tls_handshake_timeout: 10s改完后觀察了一個(gè)小時(shí)錯(cuò)誤率回落到0.3%以下。我特意讓Agent在低峰期跑了一輪批量任務(wù)也沒(méi)有再出現(xiàn)502。這個(gè)坑給了我很深的教訓(xùn)也讓我養(yǎng)成了一個(gè)習(xí)慣接入任何新Route時(shí)第一件事是確認(rèn)上游所有網(wǎng)絡(luò)設(shè)備的超時(shí)時(shí)間然后反推我們的連接池參數(shù)。凡是涉及連接復(fù)用的組件這個(gè)配置沒(méi)對(duì)齊早晚會(huì)出事。6. 觸達(dá)質(zhì)量的度量與調(diào)優(yōu)不只看成功率6.1 關(guān)鍵指標(biāo)定義Agent-Reach跑起來(lái)之后怎么判斷它好不好光看成功率遠(yuǎn)遠(yuǎn)不夠。我內(nèi)部長(zhǎng)期追蹤三個(gè)核心指標(biāo)可達(dá)率Reachability Rate請(qǐng)求成功觸達(dá)目標(biāo)系統(tǒng)并拿到有效響應(yīng)的比例。注意有效響應(yīng)不等于HTTP 200業(yè)務(wù)邏輯上成功的才算P95觸達(dá)延遲從Agent請(qǐng)求進(jìn)入Agent-Reach開(kāi)始到Agent-Reach返回響應(yīng)給Agent之間的耗時(shí)。這個(gè)指標(biāo)直接決定了Agent的響應(yīng)速度感錯(cuò)誤分布把所有失敗按錯(cuò)誤類(lèi)型分類(lèi)——超時(shí)、連接拒絕、鑒權(quán)失敗、限流、熔斷、5xx。通過(guò)分布可以快速定位是上游問(wèn)題還是Agent-Reach配置問(wèn)題這三個(gè)指標(biāo)組合起來(lái)能比較客觀地反映觸達(dá)層的健康度。如果成功率99%但P95延遲從200ms漲到2sAgent體驗(yàn)仍然會(huì)非常糟糕因?yàn)橛脩?hù)感知到的是變慢了不是偶爾失敗。6.2 可觀測(cè)性設(shè)計(jì)Agent-Reach原生支持OpenTelemetry協(xié)議每個(gè)觸達(dá)請(qǐng)求都會(huì)產(chǎn)生一段SpanSpan里帶有Route名稱(chēng)、Provider類(lèi)型、目標(biāo)系統(tǒng)地址、HTTP狀態(tài)碼、耗時(shí)等關(guān)鍵信息。這段鏈路有三個(gè)消費(fèi)場(chǎng)景Trace查詢(xún)當(dāng)某個(gè)Agent任務(wù)執(zhí)行失敗順著Trace可以定位到具體是哪一次觸達(dá)失敗連續(xù)額網(wǎng)絡(luò)延遲是多少指標(biāo)聚合用Prometheus的histogram類(lèi)型收集觸達(dá)延遲分布按Route標(biāo)簽聚合Dashboard上能看到不同系統(tǒng)的表現(xiàn)日志關(guān)聯(lián)Span的trace_id會(huì)透?jìng)鞯较掠蜗到y(tǒng)的日志里排查跨系統(tǒng)問(wèn)題時(shí)可以做到全鏈路串聯(lián)我們把所有觸達(dá)日志都接入到統(tǒng)一的日志平臺(tái)配合告警規(guī)則當(dāng)某個(gè)Route的錯(cuò)誤率連續(xù)5分鐘超過(guò)5%或者P95延遲連續(xù)10分鐘超過(guò)500ms就觸發(fā)告警。6.3 限流與熔斷的實(shí)踐參數(shù)最后聊聊我們?cè)谏a(chǎn)環(huán)境壓測(cè)后確定的調(diào)優(yōu)參數(shù)不一定適合所有場(chǎng)景但可以直接作為起點(diǎn)參考policy: rate_limit: 200 burst: 400 # 允許短時(shí)突發(fā)避免誤殺正常突峰 circuit_breaker: failure_threshold: 20 # 連續(xù)20次失敗觸發(fā)熔斷 reset_timeout: 60s # 60秒后進(jìn)入半開(kāi)狀態(tài)嘗試恢復(fù) half_open_max_calls: 5 # 半開(kāi)狀態(tài)最多放5個(gè)試探請(qǐng)求有幾個(gè)值得注意的細(xì)節(jié)。burst這個(gè)參數(shù)很關(guān)鍵如果只設(shè)置固定的rate_limit沒(méi)有burstAgent在處理一批短平快任務(wù)時(shí)很容易誤觸限流。但burst也不宜設(shè)太大否則限流形同虛設(shè)。我們用burst設(shè)為rate_limit的兩倍。熔斷的failure_threshold不宜設(shè)太小。我見(jiàn)過(guò)有人設(shè)成3結(jié)果下游偶發(fā)一次抖動(dòng)比如數(shù)據(jù)庫(kù)主從切換那幾秒熔斷就開(kāi)了Agent所有觸達(dá)被擋在門(mén)外反而把一個(gè)小問(wèn)題放大成大故障。熔斷要容忍偶發(fā)抖動(dòng)只對(duì)持續(xù)性故障生效。半開(kāi)狀態(tài)的half_open_max_calls控制的是熔斷恢復(fù)節(jié)奏設(shè)成5比較合理——5個(gè)試探請(qǐng)求全部成功后立即恢復(fù)全流量3個(gè)及以上失敗則重新熔斷。這個(gè)參數(shù)要根據(jù)下游服務(wù)的承受能力來(lái)定如果下游服務(wù)很脆弱試探請(qǐng)求數(shù)量就要更少。Agent-Reach這套觸達(dá)層上線至今我最大的體會(huì)是Agent工程化到了一定階段真正的復(fù)雜度不在模型側(cè)而在系統(tǒng)與系統(tǒng)之間的物理距離和邏輯隔閡上。觸達(dá)層解決的就是這部分臟活累活但它絕對(duì)不是簡(jiǎn)單的HTTP轉(zhuǎn)發(fā)而是一個(gè)需要認(rèn)真對(duì)待連接生命周期、憑據(jù)安全、流量治理、可觀測(cè)性的基礎(chǔ)設(shè)施。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久 视频这里只有精总| 五月天婷a在线| 色色色网站| 超碰免费观看| 99热久久这里只有精品| www热久久yy9| 七七九九色色| 99毛片| 色五月综合网| 色99无码| 99操视频| 日操五月婷| 国产69久久久欧美黑人A片| 五月天另类综合网| 欧洲电影在线观看免费版英语版| 人人人操B超碰| 亚洲天堂青草| 99热老网站| 久久久久久9| 婷婷综合精品| 丁香久久AV| 97干在线| 伊人五月丁香| 婷婷综合网性| 五月综合激情网| 综合综合色色| 日操夜操天天操不卡| 五月婷婷我| 婷婷六月香| 婷婷开心五月| 久久最新色| 久婷| 天天 日综合| 亚洲精品无人区| 天天日天天操天天干| 色综合99无码| 人人操AV| 人妻五月天激情开心网| 最新日韩久热免费视频看看| 五月丁香影院| 激情五月,色播五月| 婷婷五月六月丁香| 久久99精品视频| 亚州精品久久久久AV无码| 久久久噜噜噜www成人| 中文久久婷婷| 插插插色综合网| 欧美槡BBBB槡BBB少妇| 婷婷五月综合视频| 日本综合久久| 99艹精品在线观看| 九九热精品| 激情图片婷婷| 久久婷狠狠色| 日韩二区搞逼插逼毛片| 日韩无码专区| 激情婷婷色五月| 五月久久婷婷天堂视频| 北条麻妃九九九国产精品视频| 五月婷婷六月综合| 梁铮版蜘蛛女在线观看| 9久久久| 亚洲va综合va国产va中文| 思思热99在线| 五月天色图| 性按摩玩人妻HD中文字幕| 亚洲精品永久久久久久| 狠狠操天天操天天操| 风流少妇A片一区二区蜜桃 | 久久久久久18| 久久女婷| 99热| 伊人五月网| 色婷婷88| 日韩欧美性爱| 亚洲亚洲人成综合网络| 色婷网| 人人干AV| 天天舔夜夜操www com| 欧在线一区| 综合激情视频| www.色五月.com| 丁香五月视频在线观看| 五月丁香综合激情| 中文字幕不卡视频| 丁香婷婷九月在线| 五月丁香影院| 99熟女| 婷婷五月花丁香| 天天做综合| 超级碰 久久9| 超碰操日| 美国少妇性做爰| 成人丁香婷婷五月天| 色婷婷丁香五月高清在线| 九九草草逼| 在线视频99| 欧美一级色| 国产日产亚系列精品版优势| 婷婷午夜精品久久久| 江苏少妇性BBB搡BBB爽爽爽| 五月丁香色情| 思思热久久艹| 97久久超碰| 99热天堂| 婷婷五月成人社区| 日本五月天激情| 丁香五月 综合| 久久色吧| 碰97久久| 久久99热网| 狠狠香婷婷五月| 激情性爱网站| 1024在线视频| av超碰在线| 99年操人人爽| 国产69久久久欧美黑人A片| 人妻综合网| 五月天成人综合| 丁香五月婷婷俺也要去| 激情婷婷五月色| a色色色色色| 五月天久久www| 精品自拍97| 偷拍丁香九月激情| 亚洲六月综合激情久久下卡| 淫五月停停| 亚洲精品色| 99精品视频免费观看| 日韩高清成人| 日本三级大片| 99九九在线视频| 久久婷婷五月天蜜桃| 五月激情丁香| 精品亚洲VA网站| 密桃激情五月天综合网| 96五月丁香熟女| 五月丁香欧美综合免费视频| 婷婷五月婷婷五月| 国产午夜一区二区三区| 天天插天天日| 亚洲综合色色| 五月婷婷中文字幕| 九九热精品视频在线观看| 淫视馆aV二区一区| 九九热只有精品| 婷婷丁香人妻天天爽| 任我肏| 狠狠色五月| 婷婷丁香亚洲色综合91| 色色色欧美| 色5月婷婷| 五月丁香婷婷成人网| 天堂久久婷婷| 天天综合网在线| 人人爱人人草| 天堂伊人干| 91操人人操| 精品欧美性爱超级爽| 婷婷五月天国产传媒| 丁香婷婷AV| 婷婷丁香91综合| 激情电影五月婷婷| 91成人电影| 色999;丁香五月| 人妻操逼视频。| 亚洲五月天,激情视频| 狠狠大香婷婷爱| 99在线观看亚洲| 天天上天天爽| 热99这就是精品视频| 丁香婷婷六月男男| 99在线观看| 超碰在线91| 性色九九| 人人操插| 欧美噜一噜| WWW.99热| 亚洲婷婷91丁香| 色婷婷亚洲婷婷| 精品国产一区二区三区四区阿崩 | 丁香五月婷婷啪| www久久久| 青青青在线视频国产| 日韩av一区二区在线/日产精品久久久| 欧美五月婷婷综合| 久久综合爱| 国产avapp 网| 婷婷丁香五月久久| 激情五月天com| 色综合丁香| 色婷五月天| 超碰妻人人| 五月天久久www| 色七色九九| 99成人免费热视频| 精品久久久人妻| .青娱乐天天操B| av无码电影| 99精品在线观看| 五月婷丁香久久久| 超碰99在线观看| 五月婷婷亚洲天堂97色婷婷| 日本九九九九| 96五月丁香熟女| 婷婷伊人综合中文字幕| 婷婷丁香五月天之开心少妇| 99热色无码| 99热这里只有精品50| 天天综合网网欲色| 91热久久| 毛片九九九九九九| 六月激情婷婷综合| 亚洲色碰| 色青五月天| 思思热思在线精品视频| 激情图片婷婷| 久久黄色片| 国产激情在线| 久久九九视频| 国产精品色情AAAAA片软件| 人操人| 五月天婷婷色五月天| 天天日天天做天天操| 免费AV播放| 狠狠爱丁香婷| 五月婷婷六月激情在线| 色色婷婷五月| 欧美、日韩、中文、制服、人妻| 第四色婷婷五月| 97久久精品| chaopengdaxiangjiao| 狠狠色噜噜狠狠狠狠综合| 色青五月天| 日本综合色色| 九九久久9 9在线观看| 五月大香蕉| 亚洲婷婷五月天激情| 搡BBBB搡BBB搡18| 五月激情射| 婷婷五月天亚洲图片| 丁香六月啪啪| 中文资源在线a | 婷婷五月天色色| Www.久久| 六月狠狠综合| 五月天久久婷| 婷婷综合成人五月天| www九九| 96色婷婷| 五月综合六月丁| 五月天综合| 婷婷性爱视频在线| 久久机热/这里只有精品| 日日操天天操| 婷婷综合另类小说| 婷婷99狠狠| 六月99天天婷婷激情综合| 丁香色五月天| 激情性爱婷婷| 丁香五月色| www99精品日韩| 五月色 亚洲| 色婷婷丁香五月| 97精品欧美91久久久久久久| 激情丁香六月| 色色国产| 九热视频| 激情五月综合色婷婷| 高清一区二区三区日本久| www.丁香黄色五月天人与| www.激情com| 99热这里有精力| 91chinese在线| 天天干天天做| 欧美丁香五月夫妻天| 噼里啪啦完整版中文在线观看| 午夜免费高清AV片| 色狠狠999综合| 日日色综合| 综合婷婷都市激情| 99九九免费精品| 思思热久热| 五月天激情黄色网址| 青青草日本亚洲| 丰满老熟妇BBBBB搡BBB| 18av天堂| AV大片在线播放| 五月丁香婷中文字幕| 粉嫩AV久久一区二区三区| WWW夜夜| 激情五月综合| 国产高清RV综合aVa| 乱岳熟女50岁| 操逼巨乳91| 亚洲综合1024| 少妇激情基地| 欧美情色电影一区二区| 26uuu亚洲| 99热网址| 一起草av| 激情婷婷色五月| 91视频久久久| 日本色天堂| 婷婷五月天在线看| 狠狠人妻色综合| 丁香五月性爱| 久99视频| 狠狠色官网| 1024成人在线观看| 久久99免费视频| 久久五月天综合| www久久艹| 色五月综合激情| 亚洲色精彩| 91 九色大美女| 开心五月天激情网站| 五月婷婷激情日本| 99自拍视频在线| 五月天伊人手机在线播放AV| 91人人操人人看| 情色五月天网站| 婷婷欧美偷拍综合| 色9999综合久久| 久久婷婷五月天亚洲欧美| 婷婷五月色图| 成人做爰高潮A片免费视频| 丁香五月亚洲天堂| 亚洲精品亚洲人成人网| 91碰碰视频在线观看| 五月天婷婷影院| 色五月丁香五月激情五月激情| 国产69久久久欧美黑人A片| 五月天婷婷开心| 久久人操-久草婷婷-成人AV| 性爱视频久久| 天天干天天插| 日日干日日s| 亚洲日本三级片| 色99在线视频| 久久精品视频9| 99色日本| 桃色五月婷婷| 91精品久久久久久77777| 婷婷玉月丁香五月在线视频| 九洲一级A片| 99操逼| 99热这里只有精品最新网址| 亚洲色色色色色色色色色| 免费无码毛片一区二区A片| 精品人妻伦一二三区久久| 丁香午月AV中文字幕| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 伊人青草成人| 日日夜夜干| 99热在线观看免费| 亚洲婷婷丁香五月在线| 久久婷婷五月天激情| 九九黄色网| 婷婷俺去也| 开心深爱五月天| 丁香婷婷婷| 超碰91在线| 五月丁香婷婷综合| 日撸夜撸日操| 97色色色视屏| 99五月婷| 91 久热| 色色亚洲视频| 久色五月丁香视频| 五月婷婷六月丁香在线视频| 国产亚洲在线观看| 婷婷情色五月天| av网站免费在线| 色综合天天综合成人网| 色噜噜狠噜噜视频| 激情五月六月婷婷| 婷婷五月天深爱| 久99久视频| 日笨久久网| 亚洲成av人影院| 久草a片| 伊人五月天婷婷| 色黑鬼导航| 大香蕉人人网| 夜色.cnm| 99日本视频在线观看专区| www五月| 中文字幕在线免费观看视频| 久久总和99| 久久久97| 欧美影院婷婷| 婷婷伊人綜合中文字幕小说| 色婷婷丁香综合中文字幕| 亚洲国产色婷婷| 国内精品99| 国产乱妇无乱码大黄AA片| 午夜五月天| 日本视频99| 99久久6| 五月丁香欧美在线| 五月丁香色婷婷伊人| 99热老司机| 超碰资源在线| 日韩在线视频网站| 日韩成人中文字幕| 日韩高清成人| 97人人看| 九九国产视频| 欧洲永久精品| 婷婷久久国产视频| 中文字幕簧片| 欧美性色五月天| 操逼123网| 亚洲激情电影五月天色婷婷丁香一起草| 欧美五月婷婷| 五月丁香啪啪啪| 91丨九色丨43老版熟女| 婷婷五月深情丁香深爱日韩| 欧美婷婷| 色色色综合网| www.夜夜| 国产精品a无线| 99这里都是精品| 婷婷丁香六月| 国产精品第一国产精品| 天天干在线播放| 高清一区二区三区日本久| 日日夜夜狠狠| 无码99| 97色色视频| 99精品视频在线观看| 亚洲精品久久久久久久久久吃药| 日韩黄色影院| 久久国产AV| 97人妻碰碰碰久久| 久婷婷| 国产日产成人亚洲欧美国产VA| 婷婷五月色综合| 色婷网| 久月丁香爱婷婷综合| 婷婷她六月天| 襙逼网| 五月天 另类图片| 久久这里只有国产视频| 六月婷婷中文字幕| 97碰碰视频在线观看| 综合色五月| 狠狠 久久| 欧美人妻一区二区| 开心四月婷婷在线色播播| 久久99网站| 六月激情丁香一道本7777| 久久婷婷五月天激情四射| 久草视频大香蕉99| 婷婷色中文字幕| 99在线观看视频| 激情丁香五月天| 六月丁香开心婷婷欧美| 色色色色色级无码| 无码视频国内精品久久久| 琪琪色综合网站| 亭亭色色五月天| www.99热| 美女被肏网站在线看| 思思热99er在线视频| 久久久久久丁香五月| 日本妈妈乱| 高清成人综合| 久久这里只有国产视频| 日本3级片一区2区| 中文字幕婷婷在线| 成人深爱丁香五月| 日本美女天天日天天爽| 亚洲bt丁香五月天婷婷激情小说| 婷婷狠狠干| 伊人网大香| AV在线收看| 有哪些A片网站| 91成人视频| 天天摸天天爽| 婷婷99狠狠| 丁香色婷婷| 欧美成人在线观看| www、丁香五月天| 包操45分钟网站| 欧美大肥婆大肥BBBBB| 狠狠综合网| 激情com| 激情内射人妻1区2区3区| 久久精品人妻| 精品影院| 丁香五月天资源网| 婷婷五六月丁香| 99热只有这里有精品| 久久综合九九| 婷婷在线五月综合| 丁香综合婷婷开心激情网| 久久总和99| 婷婷五月激情欧美| 五月天丁香婷婷社区| 五月色婷婷亚洲| 婷婷五月天天aV| 日韩狠狠色| 99九九这里有免费视频| 激情综合网五月在线播放| 国色天香伊人狠狠色| 色色五月天激情| 天天干天天日蜜臀av| 婷婷天堂站| 玖玖资源站蜜臀| www.日本91| 俺来也狠狠| 色欲婷婷夜夜| 亚洲精品视频在线播放| 操草草草| 婷婷丁香高潮了| 久久性视频| 人妻六月天| 人人干AV| 在线观看国产高清视频免费网站 | 狠狠色综合网站| 国产这里只有精品| 99玖玖在线视频| 操日本人妻视频| 色情五月综合婷婷| 碰人人97| 丁香婷婷激情五月色| 在线资源av-超碰中文在线-成人AV| 九九九九中文字幕| 日本黄色在线观看| 综合大香蕉| 熟女啪啪视频| 五月天成人综合| 99五月婷| 国产婷婷久久| 99狠狠色| 年轻的妺妺伦理HD中文| 激情五月丁香在线观看直播| 日韩成人精品中文字幕| 丁香婷婷色| 99er精品视频| 91精品久久久久久久| 在线观看亚洲视频影院| 亚洲婷婷激情五月天| 99热精品在线在线| 丁香五月激情网| 这里只有精彩视频| 婷婷丁香五月天大香蕉| sS丁香五月婷婷| 婷婷五月天激情文学| 99九九在线视频| 天天色天天| 9色小视频在线观看| 五月之婷婷| 国产偷人爽久久久久久老妇APP| 久久久久9999| 五月丁香五月综合欧美| 伊人五月天男人的天堂在线| 另类视频一区| 99热99ai| 四色永久成人网站| 久久这有这里精品| 成人国产欧美大片一区| 五月天婷婷色播在线网| 色99久草在线| 五月六月丁香激情| 丁香五月天五码婷婷| 国产欧美va| 欧美一级色| 内射人妻视频国内| 亚洲午夜电影| 99亚洲色| 国产精品久久久久久久久久免费 | www.久9| 影音先锋91在线资源站| 日本色五月| 深爱激情五月网| 大香蕉久久久久| 另类视在线| 五月丁香六月色婷婷| 超碰在线观看9| 97人人干| 强辱丰满人妻HD中文字幕| 精品久热69| 激情综合网激情五月天| 99热骚货| 影音先锋AV男人站| 超碰日日操| 超碰色色综合| 五月天婷婷av| 91操色| 色婷婷性爱网| 91激情五月开心| 狠狠色丁香久久久婷| 国产FREESEXVIDEOS性中国| 这里只有精品在线免费视频| 婷婷玖玖五月天| 久久久这里有精品| 五月天激情图| 色天使色婷婷| 最近中文字幕在线中文视频| 成人丁香五月| 色狠狠五月天| 国产熟妇的荡欲午夜视频| 99久久久免费| 五月婷婷综合网| 天天性视频| 无码髙清| 射区导航| 国产亚洲99久久精品| 伊人婷婷大香蕉| 噜噜五月天综合| 播播网色播播| 99久久婷婷| 91干婷婷| 九九色图| 狠狠操综合| 99riAV国产精品视频| 五月香婷婷| 欧美婷婷综合网| 丁香六月婷婷一区二区三区| 噜噜操操| 亲子乱AV-区二区三区| 狠狠干2007| 天天天天天天操| 九九人人精品| 午夜不卡久久精品无码免费 | 夜夜干夜夜操| 男同91| 欧美成人无码一区二区三区| 一区二区乱码视频| 玖玖婷婷色| 色情成人五月天| 成人丁香五月婷| 色色com| 99久久.www| 99热免费| 天堂资源欧日浪女在线播放| 五月婷婷综合网| 吊色AV男人的天堂| 婷婷五月天视频| 超碰97免费在线| 中文字幕在线不卡| 91啪啪| 色五月婷婷网| 丁香婷婷社区| 婷婷丁香五月激情图片| 亚洲AV无码成人精品区电影网| 丁香九月婷婷色| 99碰碰中文| 国产在这里只有精品| 婷婷六月色情| 99久99久| 67194中文字幕| 91碰碰视频| 夜夜嗨一区二区三区直播内容 | 99久操| 天天色天天日| 狠狠操性爱av| 丁香婷婷丁香五月欧美人| 牛色色碰| 五月香婷婷| 99色视频在线观看| 色娸娸综合网| 亚洲精品a成人在线播放| 久久激情视频| 婷婷五月天狠狠| 4399在线观看免费高清电视剧| 婷婷五月天精品| 国产人妻777人伦精品HD| www.婷婷五月| 婷婷五月婷婷五月天| 五月天丁香网| 欧美啪啪网| 婷婷五月天av| 五月天婷婷综合网| 丁香婷停五月激情综合深爱| 99热资源在线| 久久婷婷五月天蜜桃| 九九九九精品精| 成人精品在线观看| 婷婷五月天激情诱惑| 激情99。| 六月丁香视频网站| 激情五月天在线观看婷婷| 亚洲蜜乳AV| 伊久大香蕉| 男女啪啪做爰高潮无遮挡| 色五月首页| 精品久久久人妻| 色婷婷a三区麻| 亚洲天天免费| 综合五月婷婷| 夜夜夜天天操| 五月天综合视频网| 都市激情蜜桃婷婷五月天| 久久丝丝热| wwwss在线观看| 欧美激情综合| 99er这里只有精品| 26UUU成人网| 亚洲激情 久久| www.天天色综合| 99欧美| 伊人网欧美在线男人天堂五月丁香| 久久最新色色色| 色五月激情五月丁香五月婷婷啪啪综合 | 丁香婷婷色| 91精品电影18T| 五月激情婷婷国产精品久久久久久| 操b视频在线观看一区二区| 婷婷五月天免费小说| 国在线激情网| 激情小说五月天中文字幕| 五月丁香va| 激情com| 婷婷5月天激情综合| 先锋资源 996| 五月天影院| 五月天激情网图片| 色99色| 五月婷婷,六月丁香| 五月婷婷丁香瑟瑟视频| Av九九| AV人人操| 激情性爱五月天| 五月天婷婷综合| 激情丁香五月| 色婷婷网大全在线| 久热无码| 婷婷丁香九色| 婷婷丁香www视频日本韩国| 五月天婷婷AV| 精a品a视a频| 伊人大香五月天| 五月综合亚洲婷婷| 99热精品9| 五月花婷婷| 激情九九这里只有精品| 任你搞网站| 99热99ai| 色五狠狠| 97碰在线视频| 99色综合| 婷婷久久天堂网| 99日韩| 婷婷五月丁香av网站| 色小说五月婷婷| 天天操天天干天天日| 激情五月天电影| 精品日本视频444| 91丨九色丨国产在线| 丁香六月色婷婷欧美| 色婷綜合网| 婷婷五月天六月丁香| 久久久精品人妻| 婷婷五月激情基地| 亚洲综人色综网| 一级二级香港秋霞欧美欧美秋霞| 996热re视频精品视频| WWW.桔色成人.COM| 激情图片99| 五月色情婷婷开心五月色情| 色婷婷基地 | 99免费偷拍视频| 开心五月网| 九九九激情网| 九色视频91| 亚洲热久久| 岛囯综合激情网| 丁香社区婷婷五月| 任你爽视频| 六月丁香综合| 亚洲成Av人片乱码色第1集| 九九精品免费| 色偷偷五月天| 91操操| 97色婷| 色婷婷最新域名| 五月丁香九九| 人人综合五月人人婷婷| 丁香六月啪啪啪| 婷婷操逼| 欧美色色色色色色色色色色| 这里只有精品视频在线看| 激情久久久| 一级黄色操B| 丁香五月激情六月综合| 欧美日韩一区二区三区四区| 丁香五月九九| 激情婷婷另类| 婷婷五月电影院| 丁香社92视频| 手机AVAV天堂看网| 可以免费观看的AV| 成人在线网址| 欧洲色色| 五月丁香狠狠爱婷婷综合| 婷婷五月丁香影院| 97av在线视频| www狠狠com| 色色丁香激情五月| 性色做爰片在线观看WW| 中文字幕黄色片| 九九精品热播| 丁香五月激情五月开心五月| 中文字幕日产A片在线看| 永久的网站AAAA| 97资源欧美日韩大香蕉超碰一区| 狠狠色婷婷色| 丁香五月成人论坛| 79精品视频在线观看,| 色玖玖玖| 亚洲精品大片| 久久六月婷婷| 成人网丁香五月| 久久九九综合| 性日本激情| 日韩精品一区二区亚洲AV观看 | 99久久婷婷五月综合| 色欲色香伊人| 99视频综合网| 中文字幕久久一区二区三区| 三级av在线| 五月丁香花伦理电影| 人妻AV在线| 熟女色专区| 丁香五月久久| 97se视频在线| 香蕉人在线香蕉人在线 | 99视频在线观看视频| 日日爱激情| 亚洲视频码| 天天插AV丝袜中| 婷婷五月激情在线| 五月天婷婷无码视频| 精品综合网在线| 97韩国久久电影院| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 五月丁香自拍| 操操自拍| 五月婷亚洲精品AV天堂| 婷婷伊人网| 五月天婷婷激情| 国内裸舞二区| 九九热视频在线观看| 天天舔天天| 人五月天婷婷喷水| 99热在线精品观看| 超碰a女人的天堂| 99亚洲视频| 国产操B视频| 成人短视频在线| 青青草性爱视频| 嫩草AV久久伊人妇女超级A| 99aese| 亚洲区1| 超碰色综合| 婷婷五月天在线看| 亚洲无码色| 思思精品久久艹| 久热精彩视频98| 五月丁香六月玩女人| 久久婷婷成人| 久久作爱| 亚洲超碰在线| www.av视频xx999.com| 四LLL少妇BBBB槡BBBB| 久99久热只有精品国产99| 好叼操在线观看| 五月婷婷av| 综合久| 96精品成人无码A片观看金桔| 激情综合网激情五月丁香| 亚洲 欧洲 国产 伦综合| 五月欧美丁香在线观看| 伦乱天堂| 国产偷人爽久久久久久老妇APP| 97丁香五月天| WWW久久99久久99久久| 日韩精品一区二区亚洲AV观看 | 色五月婷婷亚洲最大| 97五月婷婷| 淫视馆aV二区一区| 久久久久久久人妻| 成人婷婷深爱综合网| 激情五月婷| 五月丁香 啪啪啪| 超碰伊人碰婷婷五月| 九九Av| 71在线精品视频一区| 丁香五月激情网| 这里只有精品视频在线看| 91九色视频在线观看| 色五月丁香五月| 丁香狠狠色婷婷久久无码视频| 综合激情在线| 综合天堂AV久久久久久久| 五月婷婷激情五月| 另类A片| 大色鬼综合| 伊人超碰| 激情婷婷五月天在线观看| 爆乳熟女一区二区三区爆乳| 99热免费| 国产色99| 天天综合情| 丁香影院五月综合| 99爱在线精品视频免费观看| 97干婷婷五月天| 人妻视频一区而且二区| 91性高潮久久久久久久久| 婷婷丁香五月天狠狠| 中文婷婷狠狠| 日本熟女二区| 激情99热| 99精品97| 免费无码毛片一区二区A片| 国产午夜精品一区二区| 亚洲小视频免费播放| 婷婷色资源| 99色在线视频| 色综合久久88色综合天天99| 色情·com| 色情五月天丁香社区| 天天揷综合网| 亚洲精品在线视频| wwwC0maV五月花| 丁香五月色| 青青草原爱爱网| 99热这里只有精品8| 欧美性色视频| 秋霞三及片| 五月天天丁香婷婷在线中| 色五月婷婷激情基地| 青青草视频免费观看| 婷婷丁香色五月| 五月天婷婷久久视频| 综合激情五月丁香| www.91久久| 丁香花婷婷五月天| 亚洲综合五月天| 色在线99| 九九色综合视频| 婷婷五月情色| 日韩成人AV在线| 久re在线| 五月天开心色色网| www.色婷婷.com| 97干网站| 天天干天天干天天干| 丁香激情婷婷网| 亚州激情网站无码| 丁香五月日韩| 97爱综合| 婷婷丁香五月社区亚洲| 中字幕视频在线永久在线观看免费| 夜夜夜夜夜骑撸| 久久 这里只有精品1| 亚洲小视频免费观看| 综合色五月| 五月综合色| 五月综合视频| 丁香六月啪| 五月综合激情| www.夜夜操.com| 五月六月婷婷| 九九黄色网| 9999三级片| 碰碰人人漕| 五月婷婷亚洲色图| 97se在线视频| 91聚色综合网| 日韩成人影片网站| 国产69久久久欧美黑人A片| 色人久久| 色婷婷小说| 色婷婷19| 五月天开心色情网| 色婷婷基地| 另类激情五月| AV电影在线播放| 五月婷婷AV| 五月综合色播播丁香婷婷| 九九热短视频在线观看 | www.99日本| 停停综合色色| 久婷久婷激情肉| 色九月欧美| 啪啪丁香五月| 日本一级特黄大片AAAAA级| 91疯狂操操操操| 97碰碰在线看视频免费| 成年人夜夜喷水| 大天天伊人| 秋霞成人毛片一级A片| 色婷婷中文在线| 成人av中文字幕| 91热99| 五月天天天综合| Av性爱网| 五月社区婷婷激情| 美女100%露全身无挡网站| 色婷婷色五月色丁香| 五月天伊人日日噜影片AV| 婷婷激情欧美| 五月丁花六月丁香综合| 丁香婷婷六月| 日熟女| 综合啪啪| 激情五月天色播| 国产午夜精品一区二区三区四区| 91丁香色| 98色丁香五月婷婷综合网| 午夜丁香 婷婷| 91久久综合亚洲噜噜成人在线 | 99免费在线视频| 婷婷射图| 精品视频这里只有精品| 开心婷婷五月花| 五月伊人婷婷| 五月婷婷激情五月| 99热这里只有精品1025| 婷婷色中文字幕| 51精品国自产在线| 九月丁香婷婷网| 色色婷婷丁香五月天| 久久99久久99精品免视看婷婷| 五月丁香色婷婷婷基地| 色五月天成人在线| 色色色色色色综合| 色日本五月天| 婷婷五月六月丁香| 中字幕视频在线永久在线观看免费| 182tv992tv人之初午夜免费观看| 丁香综合久久| 天天爱天天做天天日| 日日操夜夜爽天天天| 六月色丁香中文字幕| 天天日天天干天天操| 九九成人视频| 人妻丰满精品一区二区A片| 日韩啪图| 五月天国产成人| 色五月视频无码播放| 女高怪谈在线观看| 另类视频五月天| 超碰自拍天堂| 97碰成超视频免费视频| 99热精品在线| 婷婷五月天在线观看第二页| 婷婷天堂综合| www免费在线视频| 日本99视频精品免费播放| 综合天天综合| 久久人妻高清中文| 色热久| 伊人高清无码| 在线观看亚洲视频影院| www.25五月婷婷| 亚洲欧美999| 亚洲色婷婷五月天| 亚洲中文字幕网| 欲求不满的人妻| 99re99在线看| 婷婷婷婷婷开心无码播放| www激情| 亚洲亚洲人成综合网络| 超碰97久久| 丁香五月天人体| 中文资源在线a | 亚洲久久天堂| 九九热视频精品2| 日本色爽| 少妇性按摩无码中文A片| 成人一区在线观看| 538久久| 久久人人超| 久久5 9视频免费观看| 五月色色网| 性天天中文网| 天天日天天插| 激情五月婷婷综合网| 九九碰九九爱97超| 婷婷婷婷婷开心无码播放| 婷婷五月激情综合| 六月色 亚洲| 色狠狠999综合网| 免费视频无码| 99精品视频在线观看| 精品99视频| 五月婷综合网| 久久人人妻| 极品九九九九九九| 五月激情综合激情五月| 成人一级片| 绿色小导航AV| 婷婷成人综合五月| 夜夜夜夜夜操| 超碰人人91| 国产精品久久久丁香五月八戒视频| 婷婷激情图片| 狠狠色五月| 色综合久久久久久久久五月| 99啪啪| 五月婷婷日| 婷婷色爱| 超碰人人摸人人操| 综合97五月| 日韩 中文 欧美| Www.se.久久| 狠狠干伊人| 天天操夜夜操| 婷婷香蕉| renre人人操国产超碰在线| AV人人操| 91久久精品无码一区二区三区| 丁香成人色情五月天| 国产毛多水多女人A片| 九月婷婷激情| www.五月.com| 婷婷五月丁香人妻无码高清| 丁香婷婷五月六月天| 激情网五月天| 色婷婷XXXXX| 五月丁香无码| 日韩美女羞羞网站在线观看| 99热这里只有是亚洲国产| 国产91资源在线| 91操操操| 国产精产国品一二三在观看| 99re在线视频精品,这里只有精品18,| 综合一区二区三区| 久久伊人婷| 俺也去综合| 被强行糟蹋的女人A片| 120分钟婬片免费看| 欧美激情综合色综合啪啪五月| 激情丁香五月AV| 婷婷激情丁五月| 任你艹| 婷婷激情五月天在线视频| 99免费在线视频| 五月婷婷丁香深深爱| 五月丁香网站| 国在线激情网| 天天搞天天爽| 欧美色图天堂网| 色色婷婷丁香| 亭亭五月丁香综合欧美| 欧美成人A片AAA片在线播放| 99在线热| 中文字幕永久免费| 色停停香蕉视频| 五月婷婷六月激情| 婷色视频| 五月天婷婷小说| 亚洲视频国产一区| 精品久热69| 99男人的天堂| 天天综合网91| 五月色网| 深爱五月婷婷| 成人久久天天x资源站| 精品一二三区久久AAA片| 久色资源| 欧美性生交XXXXX无码小说| 综合婷婷六月| 精品成人在线| 日本熟女一区二区| 1级欧美日韩| 亚洲、热| 久久婷婷网址| 婷婷久久免费| 婷婷导航| 99精品免费| 五月婷婷婷婷婷婷艺术| 精品99*| 色J香五月天| aaa久久| 五月丁香婷婷啪啪| 美女亚洲五月丁香| www免费在线视频| 亚洲情a| 人人肏逼视频在线一区二区| 五月丁香六月综合基地| 天天色中文字幕女优AV| 97色色色色色| 激情五月天福利| 亚洲色视频| 综合另类视频| 久久HD| 噜噜噜色噜噜| 亚洲激情Av| WWW.17C亚洲精品| 99自拍视频在线观看| 九九热在线精品| 婷婷六月激情小说网| 天天天天干| 小视频在线亚洲| 影音先锋AV资源男人站| 婷婷五月色激情欧美激情| 91人妻人人做人碰人人爽九色| 婷婷久久大香蕉| 66精品国产成人| 五月天激情色色| 婷婷播5月| 9久热| 丝袜熟女一区二区三区| 久久综合影院| 五月在线婷色| 国产激情一区| 综合色五月| Www.婷婷五月| 一区二区成人电影| 五月婷婷色吧!| 91丨九色丨丰满人妖| 中文中文在线| 五月天俺去也| 色五月综合激情| 人人摸人人干| 操一操| 日本3级片偷拍网站| 国产伦亲子伦亲子视频观看 | 这里只有精品无码| 999婷婷综合| 婷婷影院A成人| 99ri精品视频在线观看| 丁香 婷婷 亚洲 熟女| 久久9视频欧美| 色99xx| 亚洲无AV在线中文字幕| 激情五月天综合婷婷网| 久久婷婷五月天蜜桃| 久久这里这里有精品免费视频| 日韩99视频| 免费观看高清无码| 久久激情五月| 久久综合干| 天天色域综合网| 天天做天天要天天爽| 五月丁香色婷基地综合久久| 天天天天干| 99热官网| 丁香五月色欲| 99国产er热视频| 久久婷婷五月丁香网| 99热黄| 夜夜骑夜夜操| 中国无码av| 欧美日韩成人在线网| 丁香五月婷婷色情综合| 日韩啪啪网| 丁香成人色情五月天| 久久黄色网扯| 中文字幕,综合,91| 少妇被下春药玩弄A片| 亚洲网站999| 婷婷五月天偷拍| 99 热国产在| 久艹大香蕉| 97干资源在线观看| 99九色视频在线观看| 五月深爱激情网| 五月婷色激情五月|