欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

輕量級消息路由與任務(wù)執(zhí)行引擎 hermes-agent 的設(shè)計與實踐

輕量級消息路由與任務(wù)執(zhí)行引擎 hermes-agent 的設(shè)計與實踐 1. 項目緣起為什么我會自己寫一個叫 hermes-agent 的東西先聊聊名字。Hermes 是希臘神話里的信使神腳上長著翅膀負責(zé)在眾神之間傳遞消息。我當(dāng)時給這個項目起名的時候想的就是這一層含義——在一個系統(tǒng)越來越復(fù)雜的時代消息的傳遞、路由、分發(fā)、執(zhí)行就是數(shù)字世界的信使工作。所以我管它叫 hermes-agent一個專門負責(zé)消息接入、規(guī)則匹配和自動執(zhí)行的小型智能體框架。這個項目的背景很具體。我手里維護著好幾套內(nèi)部服務(wù)有定時任務(wù)、有外部回調(diào)、有用戶行為事件還有各類監(jiān)控告警。這些消息源格式五花八門有的是 JSON有的帶簽名需要驗簽有的是純文本塞在 Webhook 里。早期我的處理方式是在每個服務(wù)里各寫各的入口邏輯A 服務(wù)收到回調(diào)就更新數(shù)據(jù)庫B 服務(wù)收到事件就調(diào)用某個內(nèi)部 APIC 服務(wù)收到告警就發(fā)釘釘通知。問題是一旦消息處理邏輯發(fā)生變化我需要同時改好幾個服務(wù)重新部署排錯的時候還要挨個翻日志非常被動。后來我認(rèn)真想了一下這些場景的本質(zhì)其實是一樣的源頭把事件拋出來中間需要有一套穩(wěn)定的機制接住再根據(jù)規(guī)則決定接下來讓誰去干活。這正是 agent 最擅長的事情。于是 hermes-agent 的雛形誕生了——一個運行時基于 Python asyncio、存儲用 SQLite生產(chǎn)環(huán)境可以換 Postgres、規(guī)則配置走 YAML 的輕量級消息代理與任務(wù)執(zhí)行引擎。它不依賴重量級框架部署就是拉代碼起進程非常適合中小型團隊內(nèi)部自動化場景。這篇文章我會把整個項目的設(shè)計思路、運行模型、核心代碼、踩坑記錄和演進方向都攤開來講。如果你也在做 Webhook 統(tǒng)一接入、任務(wù)分發(fā)、事件驅(qū)動型自動化或者單純想看看一個 agent 框架應(yīng)該怎么設(shè)計這篇內(nèi)容應(yīng)該對你有幫助。對于基礎(chǔ)偏弱的讀者我會盡量把涉及到的基礎(chǔ)概念一并講清楚不預(yù)設(shè)你已經(jīng)掌握 Python 異步編程或者消息隊列的完整知識。2. 核心架構(gòu)消息路由與任務(wù)編排的運行模型2.1 三層模塊劃分接入層、規(guī)則層、執(zhí)行層hermes-agent 從設(shè)計之初就是三層結(jié)構(gòu)這個分層思路不是我拍腦袋決定的而是從實際需求里自然長出來的。第一層是接入層Collector。它負責(zé)統(tǒng)一接住各種來源的消息。常見的 Collector 有 HTTP Webhook Collector、定時器 Collector、文件監(jiān)聽 Collector 和隊列消費 Collector。對于 HTTP 類型的 Collector我會封裝成一個獨立的 Web 服務(wù)進程只做一件事把收到的請求體轉(zhuǎn)成統(tǒng)一格式的 Event 對象寫入消息隊列或存儲然后立刻返回響應(yīng)給上游。這樣上游接口的響應(yīng)速度不會受到下游處理邏輯的影響這是個很關(guān)鍵的設(shè)計。第二層是規(guī)則層Router。它負責(zé)判斷一條消息應(yīng)該交給誰處理。判斷依據(jù)可以從消息內(nèi)容、消息來源、消息優(yōu)先級等多個維度提取。每一條規(guī)則本質(zhì)上是一組條件和動作的映射。條件支持等值匹配、正則匹配、JSONPath 取值匹配等多種模式。動作則是指定執(zhí)行器名稱和參數(shù)。第三層是執(zhí)行層Executor。它負責(zé)真正干活。執(zhí)行器是一段可插拔的代碼單元接收 Event 對象執(zhí)行具體業(yè)務(wù)邏輯。比如 HttpExecutor 把 Event 轉(zhuǎn)成 HTTP 請求發(fā)給內(nèi)部系統(tǒng)PythonExecutor 直接執(zhí)行一段配置好的 Python 腳本ShellExecutor 跑一條命令NotifyExecutor 發(fā)送通知到釘釘或者郵件。這樣的好處是接新場景時你不需要動框架本身只需要寫一個新的 Executor 注冊進去再配一條規(guī)則。這三層之間通過一個消息存儲默認(rèn) SQLite生產(chǎn)建議 Postgres和進程內(nèi)的消息通道串起來。實際運行的時候接入層進程把消息寫進存儲并標(biāo)記為 pending處理進程輪詢 pending 消息交給規(guī)則層判斷再調(diào)用執(zhí)行層完成任務(wù)并回寫狀態(tài)。2.2 一次消息從接入到執(zhí)行完成的完整生命周期我用一個實際例子說明整個流程。假設(shè)你有一個電商訂單系統(tǒng)用戶支付成功后訂單服務(wù)會調(diào)用你配置的 Webhook 地址通知支付結(jié)果。這個地址就是 hermes-agent 暴露出的 HTTP 接入點。第一步訂單服務(wù) POST 一條 JSON 到/hooks/payment內(nèi)容大概是{order_id: ORD20250101, status: paid, amount: 99.5}。HTTP Collector 收到請求后先做格式校驗提取必要的元信息來源標(biāo)記、接收時間、原始內(nèi)容然后封裝成 Event 對象dataclass class Event: event_id: str # 全局唯一ID用于冪等 source: str # 來源標(biāo)記比如 payment_webhook event_type: str # 事件類型比如 payment.paid payload: dict # 原始消息內(nèi)容 received_at: datetime priority: int # 優(yōu)先級默認(rèn)0越大越優(yōu)先第二步Collector 把 Event 寫入消息存儲。同時進程內(nèi)會立即觸發(fā)一次路由判斷但注意這里不是同步阻塞的。寫入成功后 HTTP 接口立刻返回 200處理邏輯全部在后臺繼續(xù)。這個異步設(shè)計能保證上游的 Webhook 調(diào)用不會被你這邊慢邏輯拖死。第三步處理進程從存儲中輪詢到這條 pending 消息進入 Router。Router 讀取已加載的規(guī)則集合并找到匹配項。rules: - name: payment_paid_order_finish match: event_type: payment.paid actions: - executor: python_executor params: script_path: ./scripts/order_finish.py timeout: 30第四步執(zhí)行器運行后腳本讀取 Event把訂單狀態(tài)更新為已完成、發(fā)送短信通知用戶、調(diào)用倉儲系統(tǒng)的出庫接口。執(zhí)行結(jié)果回寫到消息存儲狀態(tài)從 pending 變成 success 或者 failed。如果失敗會進入重試隊列按配置的退避策略重新執(zhí)行。整個生命周期最核心的原則是消息不丟失。消息無論是在接收階段還是在處理階段每一步的狀態(tài)更新都落盤保存絕不在內(nèi)存里直接處理完不記錄。這樣即使進程中途崩潰重啟之后依然可以從 failed 或者 pending 狀態(tài)恢復(fù)執(zhí)行。2.3 數(shù)據(jù)模型與存儲選型邏輯存儲這塊我是從簡單出發(fā)最初直接用 SQLite。直到現(xiàn)在如果場景是單機處理SQLite 完全夠用。表結(jié)構(gòu)非常簡潔CREATE TABLE events ( id INTEGER PRIMARY KEY AUTOINCREMENT, event_id TEXT UNIQUE NOT NULL, source TEXT NOT NULL, event_type TEXT NOT NULL, payload TEXT NOT NULL, status TEXT NOT NULL DEFAULT pending, priority INTEGER NOT NULL DEFAULT 0, retry_count INTEGER NOT NULL DEFAULT 0, created_at TIMESTAMP NOT NULL, updated_at TIMESTAMP NOT NULL ); CREATE INDEX idx_events_status_priority ON events(status, priority, created_at);這個表承擔(dān)了消息隊列和狀態(tài)存儲的雙重職責(zé)。很多剛接觸這個項目的朋友會問為什么不直接用 RabbitMQ 或者 Kafka答案是看場景。對于內(nèi)部自動化、Webhook 統(tǒng)一接入這類日吞吐量在幾萬條以下的任務(wù)引入獨立消息中間件會增加部署成本和運維成本。而且 SQLite 表天然支持 SQL 查詢消息審計、問題排查非常方便。當(dāng)你真的需要橫向擴容時把這個表換到 Postgres再對處理進程做多實例部署改動成本并不高。選擇存儲方案的一個重要標(biāo)準(zhǔn)是你的消息量級是否值得引入一套額外的分布式系統(tǒng)。如果答案是不確定就用最簡單可靠的方案起步。這個原則后來幫我省了非常多的時間。3. 規(guī)則引擎核心中的核心3.1 規(guī)則配置與條件匹配的設(shè)計思路Router 是整個 hermes-agent 的決策大腦而規(guī)則引擎中的匹配條件則是大腦的每一個神經(jīng)元。我把條件匹配設(shè)計成三種形式覆蓋了絕大多數(shù)實際需求。第一種是 exact 等值匹配。就是消息某個字段的值等于某個固定值。適合場景來源是某個固定系統(tǒng)、事件類型是某個固定字符串。第二種是 regex 正則匹配。適合場景訂單號以 AB 開頭、用戶郵箱屬于某個域名、請求路徑符合某個模式。正則匹配可以配置在 JSONPath 取值后的字符串上。第三種是 expression 表達式匹配。這是最靈活但也是我最謹(jǐn)慎使用的一種。你可以寫一段簡單的布爾表達式內(nèi)部通過受限的 eval 執(zhí)行不提供任意代碼執(zhí)行能力。屬性取值通過 JSONPath 實現(xiàn)。統(tǒng)一配置方式如下rules: - name: high_value_order match: $type: all conditions: - field: $.payload.amount op: gt value: 5000 - field: $.event_type op: eq value: payment.paid priority: 90 actions: - executor: notify_executor params: channel: dingtalk template: high_value_order這條規(guī)則的意思是當(dāng)消息的 payload.amount 大于 5000且 event_type 等于 payment.paid就觸發(fā)一個高價值訂單的通知動作。priority 決定多條規(guī)則同時匹配時誰先執(zhí)行。這個字段在設(shè)計早期被忽略過后來有人反饋說同時命中財務(wù)通知和庫存通知時希望財務(wù)先跑才補上的。3.2 規(guī)則匹配的反向查詢優(yōu)化規(guī)則多了以后如果每條消息都遍歷所有規(guī)則去匹配性能會逐漸變差。我后來做了一項優(yōu)化反向索引。具體做法是啟動時把所有規(guī)則的 event_type 條件提取出來建立字典然后按 event_type 快速定向到候選規(guī)則再進一步做深度匹配。這個優(yōu)化把規(guī)則匹配的復(fù)雜度從 O(N) 降到接近 O(1)。實現(xiàn)上也很簡單就是預(yù)處理階段class RuleIndex: def __init__(self, rules): self.event_type_map {} for rule in rules: for each_type in rule.get_match_event_types(): self.event_type_map.setdefault(each_type, []).append(rule) def find_candidates(self, event): types get_event_types(event.event_type) rules [] for t in types: rules.extend(self.event_type_map.get(t, [])) return deduplicate(rules)對于一條消息先用 event_type 快速篩出候選規(guī)則集合然后再逐條深度檢查完整條件極大減少了不必要的規(guī)則遍歷。從實際效果看規(guī)則數(shù)在三位數(shù)以內(nèi)時匹配耗時基本可以忽略。3.3 匹配失敗與未命中消息的處理策略做過通知系統(tǒng)的朋友應(yīng)該都有經(jīng)驗最怕的就是消息沒匹配到規(guī)則然后靜默丟失。你根本不知道它丟了直到業(yè)務(wù)方來問為什么我沒有收到消息。hermes-agent 對這一塊的處理是未命中的消息不丟棄統(tǒng)一進入 unmatched 表同時提供管理接口可以查詢。這樣你可以定期復(fù)盤是否有新的消息類型需要添加規(guī)則。我見過不少系統(tǒng)從一開始的忽略異常到后來接二連三出問題根源就是沒有負面消息的可見性。我的建議是把未命中消息當(dāng)成一等公民對待它們和正常消息一樣重要。4. 執(zhí)行器的設(shè)計與實踐從腳本到插件的演進4.1 執(zhí)行器接口設(shè)計與注冊管理執(zhí)行器是 hermes-agent 真正干活的部分。我定義了一個非常簡潔的抽象接口class BaseExecutor: async def execute(self, event: Event, params: dict) - ExecResult: raise NotImplementedError每個執(zhí)行器只需要實現(xiàn)一個 execute 方法。事件通過參數(shù)傳入執(zhí)行參數(shù)通過 params 傳入。返回值是一個 ExecResult包含 success、output、message、duration_ms 等字段方便持久化和追蹤。注冊機制方面我通過一個全局注冊表實現(xiàn)EXECUTOR_REGISTRY {} def register_executor(name): def decorator(cls): EXECUTOR_REGISTRY[name] cls return cls return decorator然后在每個執(zhí)行器文件里加上裝飾器??蚣軉訒r把所有執(zhí)行器文件 import 一遍注冊表里就有了全量執(zhí)行器。規(guī)則配置里指定 executor 名稱Router 就能根據(jù)注冊表找到對應(yīng)類并實例化調(diào)用。新增執(zhí)行器完全不需要修改框架代碼做到了可插拔。4.2 幾個常用執(zhí)行器的實現(xiàn)細節(jié)HttpExecutor 是最常用的執(zhí)行器之一。它負責(zé)把事件轉(zhuǎn)發(fā)給其他內(nèi)部服務(wù)。具體實現(xiàn)時有兩個細節(jié)容易踩坑超時控制和重試策略。register_executor(http_executor) class HttpExecutor(BaseExecutor): async def execute(self, event, params): url params.get(url) method params.get(method, POST) payload event.payload timeout params.get(timeout, 10) async with aiohttp.ClientSession() as session: try: async with session.request(method, url, jsonpayload, timeoutaiohttp.ClientTimeout(totaltimeout)) as resp: body await resp.text() return ExecResult(successTrue, outputbody, messagefstatus{resp.status}) except asyncio.TimeoutError: return ExecResult(successFalse, messageftimeout after {timeout}s)重試不用在 HttpExecutor 里做因為重試是消息處理框架層面的職責(zé)。執(zhí)行器只負責(zé)返回結(jié)果框架根據(jù)結(jié)果和配置決定要不要重試。這個職責(zé)邊界從設(shè)計之初就明確下來了避免執(zhí)行器里塞進太多與業(yè)務(wù)無關(guān)的邏輯。PythonExecutor 比較特殊它允許在規(guī)則配置里指定一段腳本路徑框架動態(tài)加載并執(zhí)行。這里有一個安全邊界腳本等同于本地代碼執(zhí)行權(quán)限等同于框架進程本身。所以它只適合內(nèi)部環(huán)境下執(zhí)行可信代碼不適合對外開放成多租戶執(zhí)行能力。NotifyExecutor 負責(zé)發(fā)送通知。支持釘釘、企業(yè)微信、郵件、飛書這些常見的通知渠道??紤]到外部 API 不穩(wěn)定這類執(zhí)行器最容易失敗所以通知類消息的重試策略通常配置得比較積極。4.3 執(zhí)行器的超時控制、并發(fā)與資源限制處理消息的時候最怕某個執(zhí)行器出問題導(dǎo)致整個進程卡死。所以從第一天起超時控制就是執(zhí)行器運行的關(guān)鍵約束??蚣転槊看螆?zhí)行器調(diào)用都包裹了 asyncio.wait_for強制超時try: result await asyncio.wait_for(executor_instance.execute(event, params), timeouttimeout) except asyncio.TimeoutError: result ExecResult(successFalse, messageexecutor timeout)并發(fā)控制方面hermes-agent 支持配置最大并發(fā)數(shù)。默認(rèn)是 20也就是同一時間最多 20 個任務(wù)在跑。超過的部分排隊等待。這個設(shè)計是為了避免某個瞬間大量消息涌入時打爆下游系統(tǒng)。對于危險操作類的執(zhí)行器比如刪除文件、清理數(shù)據(jù)庫數(shù)據(jù)我建議在 Executor 內(nèi)部增加二次確認(rèn)邏輯。規(guī)則配置里需要顯式設(shè)置confirm: true否則直接返回失敗。雖然增加了配置復(fù)雜度但在生產(chǎn)環(huán)境里這個保障非常重要。5. 可靠性設(shè)計重試、冪等與死信隊列5.1 重試策略與退避算法消息處理不可能永遠一次成功。網(wǎng)絡(luò)抖動、下游服務(wù)重啟、第三方接口超時這些都是常態(tài)。重試策略是整個可靠性設(shè)計中最重要的部分。hermes-agent 里的重試策略是四級退避第一次失敗后等 5 秒第二次 30 秒第三次 5 分鐘第四次 30 分鐘。超過四次仍然失敗消息進入死信隊列。這個策略的經(jīng)驗依據(jù)是大部分瞬時故障在前幾次重試時就能恢復(fù)如果 30 分鐘后還不行大概率不是瞬時問題了沒必要無限重試。實現(xiàn)上我把重試信息放在消息的元數(shù)據(jù)里dataclass class RetryPolicy: max_retries: int 4 base_delay: int 5 multiplier: int 6 max_delay: int 1800每次重試的延遲時間 base_delay * multiplier^retry_count不超過 max_delay。這個算法簡單明了不需要引入復(fù)雜的指數(shù)退避庫。5.2 冪等設(shè)計避免重復(fù)執(zhí)行帶來副作用重試機制帶來的一個直接問題是消息可能被處理不止一次。比如執(zhí)行器成功了但是由于網(wǎng)絡(luò)原因響應(yīng)沒有及時寫回框架判斷超時后重試于是同一個事件被執(zhí)行了兩次。這是所有分布式任務(wù)系統(tǒng)都躲不開的問題唯一的解法就是冪等設(shè)計。冪等有兩種做法。第一種是業(yè)務(wù)層冪等你在自己的業(yè)務(wù)代碼里判斷這個訂單是否已經(jīng)被處理過了處理過就什么都不做直接返回成功。這種做法需要業(yè)務(wù)方配合。第二種是框架層冪等框架記錄每條消息的執(zhí)行指紋指紋相同的結(jié)果直接用不實際執(zhí)行。hermes-agent 在框架層面做了一個簡單的保護。給每條事件生成 event_id這個 ID 在消息源頭生成并隨消息攜帶。事件表里 event_id 是唯一索引同一事件重復(fù)寫入直接失敗。處理成功之后這個 ID 會回寫到一個已處理表再次收到同 ID 的事件時直接返回成功。但要注意框架層的冪等保護沒法覆蓋執(zhí)行器已經(jīng)開始干活但是結(jié)果沒記錄這種情況。所以我的建議是所有 Executor 在編寫時都把事件已經(jīng)處理過當(dāng)成正常情況來處理不要拋出異常。把冪等當(dāng)成一種設(shè)計習(xí)慣而不是框架約束。5.3 死信隊列與人工介入流程死信隊列DLQ是消息系統(tǒng)的最后一道防線。我已經(jīng)設(shè)置了合理的重試次數(shù)和退避策略如果消息最終還是處理失敗就說明靠自動重試解決不了問題。此時消息進入 DLQ等待人工介入或后續(xù)補償腳本。在 hermes-agent 的管理界面上DLQ 消息可見、可查詢、可重新投遞。我通常的做法是先查詢 DLQ 里的消息內(nèi)容和失敗原因確認(rèn)問題后修復(fù)比如配置錯誤、依賴服務(wù)恢復(fù)然后在界面上點擊重新投遞消息會重新進入 pending 狀態(tài)再走一遍處理流程。這里我給一個建議DLQ 里的消息需要定期檢查不要讓它靜默增長??梢栽?hermes-agent 旁邊掛一個簡單的 cron每天統(tǒng)計 DLQ 數(shù)量超過閾值就發(fā)告警給你。不然時間久了積壓的失敗消息會變成一座沒人想動的山。6. 實戰(zhàn)項目搭建一個統(tǒng)一的 Webhook 接收器6.1 場景與需求定義這個實戰(zhàn)項目來自一個真實需求。我們內(nèi)部有好幾個服務(wù)需要暴露 Webhook 給第三方調(diào)用包括支付回調(diào)、物流狀態(tài)回傳、短信狀態(tài)報告。每個服務(wù)的回調(diào)地址不同、驗簽方式不同、處理邏輯不同。最麻煩的是某些第三方平臺的 Webhook 對響應(yīng)時間要求極高超過 2 秒就判定失敗并開始重試。需求匯總下來有三點統(tǒng)一 Webhook 入口一個地址接收所有第三方事件?;卣{(diào)立刻返回 200具體邏輯異步處理。驗簽邏輯可配置消息處理結(jié)果可追溯。6.2 配置實戰(zhàn)多來源接入與驗簽我在 hermes-agent 里配置了三個 Collector分別監(jiān)聽三個路徑/hooks/payment、/hooks/logistics、/hooks/sms。每個 Collector 綁定一個來源名稱同時可以配置該來源的驗簽規(guī)則。為了演示我用支付回調(diào)的 HMAC-SHA256 簽名方式作為例子。collectors: - name: payment_hook path: /hooks/payment source: payment_callback verify: type: hmac_sha256 secret_env: PAYMENT_HOOK_SECRET header: X-Signature body_from: raw驗簽邏輯不算復(fù)雜。第三方平臺用密鑰對請求體做 HMAC-SHA256 簽名放在 Header 里傳過來。hermes-agent 收到請求后用同樣的算法和密鑰計算簽名和 Header 里的值做比對。不一致就返回 401保持一致則繼續(xù)處理。這個驗簽過程看起來簡單但實際有一個非常重要的細節(jié)驗簽必須使用原始請求體不能先解碼 JSON 再重新序列化。因為 JSON 鍵值順序變化會導(dǎo)致簽名不一致。我在代碼里專門保留了原始 body 字節(jié)用于驗簽解析 JSON 放在驗簽通過之后。這個坑非常隱蔽希望看到這里的讀者能記住。6.3 實戰(zhàn)踩坑第三方回調(diào)的響應(yīng)超時問題這個項目的第一個線上問題就出在回調(diào)響應(yīng)超時上。某個物流平臺的 Webhook 配置了 HTTP 超時時間為 2 秒。hermes-agent 收到回調(diào)后需要驗簽、解析、寫入 SQLite 數(shù)據(jù)庫、再返回 200。正常情況下整個過程在幾十毫秒內(nèi)完成。但某個時間段內(nèi)由于服務(wù)器的磁盤 I/O 出現(xiàn)偶發(fā)高延遲SQLite 寫入超過了 2 秒導(dǎo)致上游平臺判定超時并重試。重試又帶來了重復(fù)消息處理邏輯里冪等沒做好部分物流狀態(tài)被重復(fù)回寫。這個問題的教訓(xùn)是雙重的。第一Webhook 接口的數(shù)據(jù)庫寫入不能放在返回響應(yīng)的路徑上。我的修復(fù)方案是HTTP Collector 先寫內(nèi)存隊列立刻返回 200后臺異步批量沖刷到 SQLite。內(nèi)存隊列的可靠性可以通過定時持久化快照來保障。第二冪等保護在任何可能重試的入口都必須做好即使你認(rèn)為概率很低。7. 性能優(yōu)化與壓測結(jié)果7.1 基于 asyncio 的并發(fā)模型背后的選擇理由我在最初選擇 asyncio 而不是多線程核心原因是這個項目的 IO 密集特性非常明顯接收 HTTP 請求、讀寫 SQLite、調(diào)用第三方接口、發(fā)送通知。這些都是 IO 等待沒有明顯的 CPU 密集計算。asyncio 在單線程內(nèi)用事件循環(huán)處理海量并發(fā)開銷遠小于線程切換且沒有線程安全問題。代價是要小心不要寫阻塞代碼。比如不要在 Executor 里用 requests 同步調(diào)用必須用 aiohttp不要直接調(diào) time.sleep必須用 await asyncio.sleep數(shù)據(jù)庫操作要么用異步驅(qū)動要么把阻塞操作丟給線程池。初期我在這上面踩了不少坑比如某個 Executor 里用了同步 SQLite 查詢結(jié)果整個事件循環(huán)被卡住所有消息處理都跟著變慢。7.2 單機壓測數(shù)據(jù)吞吐與延遲表現(xiàn)在一臺 4 核 8GB 的普通云服務(wù)器上我用 locust 對 hermes-agent 做了壓測。模擬客戶端持續(xù) POST 請求每條消息大小約為 1KB。事件處理邏輯為空操作只做規(guī)則匹配和落庫。壓測結(jié)果穩(wěn)定狀態(tài)下每秒處理約 500 條消息P95 延遲為 60 毫秒P99 延遲為 120 毫秒。消息從接收到進入 pending 隊列再被處理完成整體耗時平均在 300 毫秒左右。如果把規(guī)則匹配加上每條消息平均匹配 50 條規(guī)則吞吐量下降到 300 QPS但 P99 延遲仍在 200 毫秒以內(nèi)。對于內(nèi)部自動化場景這個性能完全足夠。7.3 壓測中暴露的瓶頸與優(yōu)化過程壓測暴露的第一個瓶頸是 SQLite 單條插入性能。每條消息獨立 INSERT 提交在事務(wù)開銷上浪費了不少時間。優(yōu)化方案是批量插入攢一批消息后統(tǒng)一提交使寫入吞吐量提升了一倍以上。這個批次大小我調(diào)到了 100 條一批平衡了延遲和吞吐。第二個瓶頸是規(guī)則深度匹配中的正則表達式操作。正則匹配雖然靈活但 CPU 開銷明顯高于等值匹配。優(yōu)化方案是給規(guī)則增加條件預(yù)篩階段先用 JSONPath 取出的值做一次快速數(shù)據(jù)類型和長度判斷過濾掉明顯不匹配的規(guī)則再進入正則不歸。實際效果是把規(guī)則匹配整體耗時降低了 40%。第三個優(yōu)化是熱點路徑上的日志修改。壓測時 statsd 和日志輸出占用了不少 CPU。我把每條消息處理的 DEBUG 日志改成按采樣率輸出比如每 100 條記錄一次整體性能提升明顯。對于日志這個點線上環(huán)境和壓測環(huán)境最大的區(qū)別就是線上大量無意義日志會把系統(tǒng)拖垮保留關(guān)鍵日志、關(guān)閉頻繁的 DEBUG 日志才是工程化做法。8. 部署與運維實踐8.1 單機 Docker 部署方案hermes-agent 的部署很簡單。我提供了一個 Dockerfile基于 python:3.11-slim 構(gòu)建體積控制在 200MB 以內(nèi)。整個鏡像只暴露一個端口通過環(huán)境變量注入配置。FROM python:3.11-slim WORKDIR /app COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt COPY . . ENV HERMES_CONFIG/app/config/config.yaml EXPOSE 8080 CMD [python, -m, hermes_agent]啟動命令也簡單docker build -t hermes-agent:latest . docker run -d --name hermes-agent \ -p 8080:8080 \ -v /data/hermes:/app/data \ -e HERMES_CONFIG/app/config/config.yaml \ --restart unless-stopped \ hermes-agent:latest將數(shù)據(jù)目錄掛在宿主機上的好處是升級鏡像時數(shù)據(jù)不丟排錯時可以直接查看 SQLite 文件和日志。8.2 配置管理環(huán)境變量與敏感信息配置管理這一塊我遵循的原則是非敏感配置放 YAML 文件敏感配置放環(huán)境變量。支付密鑰、數(shù)據(jù)庫密碼這類信息直接寫在 YAML 里并且提交到代碼倉庫是極其危險的做法一旦代碼泄漏全部密鑰跟著泄漏。在實際部署中我通過環(huán)境變量注入這些敏感信息配置文件中只引用變量名。import os from dotenv import load_dotenv load_dotenv() PAYMENT_HOOK_SECRET os.getenv(PAYMENT_HOOK_SECRET)建議在 CI/CD 流水線中把生產(chǎn)環(huán)境的密鑰存儲在專門的密鑰管理服務(wù)中運行時注入。即使是內(nèi)部系統(tǒng)的密鑰也不能因為覺得沒那么重要就放松管理。8.3 日志規(guī)范與健康檢查接口hermes-agent 的日志統(tǒng)一輸出為 JSON 格式字段包括時間、級別、event_id、source、event_type、執(zhí)行器名稱、耗時、結(jié)果狀態(tài)。方便接入 ELK 或 Loki 做日志搜索。統(tǒng)一的 JSON 日志格式我堅持了很久因為排查問題的時候跨字段關(guān)聯(lián)查詢比在純文本日志里用 grep 高效得多。健康檢查接口在/healthz上返回 200。檢查內(nèi)容包括進程是否存活、SQLite 是否能正常讀寫、掛起的 pending 消息數(shù)量是否超過閾值、最近 10 分鐘的錯誤率等。K8s 或 Docker Compose 的健康檢查探針可以把它配置為探活地址。8.4 消息積壓與延遲的監(jiān)控指標(biāo)運營 hermes-agent 的過程中我最關(guān)心的指標(biāo)有三個pending 消息數(shù)、處理延遲和執(zhí)行失敗率。這三個指標(biāo)分別對應(yīng)消息積壓、系統(tǒng)健康度和執(zhí)行質(zhì)量。pending 消息數(shù)可以通過一條 SQL 獲取SELECT status, COUNT(*) FROM events GROUP BY status;處理延遲指標(biāo)我通過記錄消息從 received_at 到 updated_at 的時間差在管理儀表盤上畫出分位數(shù)值。正常情況下 P95 應(yīng)該在 2 秒以下。如果某段時間 P95 突然上升基本可以判斷是某個執(zhí)行器變慢或者下游服務(wù)出現(xiàn)問題。9. 項目演進與多實例擴展9.1 從 SQLite 遷移到 Postgres當(dāng)消息量增大到日均幾十萬條時單機 SQLite 開始成為瓶頸。遷移到 Postgres 是自然的演進方向。我在存儲層抽象了一個接口SQLite 和 Postgres 各實現(xiàn)一份切換時只需要改配置。表結(jié)構(gòu)幾乎不變只有數(shù)據(jù)類型上做了一些調(diào)整比如 TIMESTAMP 帶時區(qū)、JSON 字段用 JSONB 類型。storage: type: postgres dsn: postgresql://hermes:passwordlocalhost:5432/hermes9.2 多實例運行時的任務(wù)鎖與消息分區(qū)Postgres 版本支持多實例部署也就是多個 hermes-agent 進程同時消費同一個消息表。這里的關(guān)鍵問題是不能讓兩個實例同時拿到同一條 pending 消息。解決辦法是使用 Postgres 的行級鎖通過 SELECT FOR UPDATE SKIP LOCKED 實現(xiàn)安全的消息領(lǐng)取。SELECT * FROM events WHERE status pending ORDER BY priority DESC, created_at ASC LIMIT 1 FOR UPDATE SKIP LOCKED;這個 SQL 的意思是鎖定并返回一條 pending 消息如果該行已經(jīng)被其他事務(wù)鎖定則跳過它不會阻塞等待。這讓多個實例可以并行安全地消費消息無需額外引入分布式鎖。實際測試中3 個實例部署時吞吐量基本能線性擴展到 1200 QPS。9.3 多執(zhí)行器協(xié)作的編排能力單條規(guī)則只能綁定一個動作這個限制在復(fù)雜場景下會顯得不夠用。例如用戶下單后需要同時完成扣庫存、通知發(fā)貨、記錄財務(wù)流水這三個動作如果失敗其中一個其他兩個應(yīng)該如何處理這就需要編排能力。為此我在新版本里引入了 action chain 的概念actions: - executor: inventory_executor params: operation: deduct - executor: financial_executor params: operation: record - executor: notify_executor params: channel: dingtalk template: order_created默認(rèn)情況下同一規(guī)則下的多個動作按順序執(zhí)行前一個失敗則后續(xù)中斷。你也可以配置為并發(fā)執(zhí)行或者允許部分失敗繼續(xù)。這個編排能力讓 hermes-agent 從單純的消息轉(zhuǎn)發(fā)進化為一個輕量級的任務(wù)調(diào)度引擎。9.4 多智能體協(xié)作模式的探索目前版本的 hermes-agent 支持讓執(zhí)行器反過來向消息隊列寫入新事件這為多智能體協(xié)作提供了可能。例如一個訂單超時監(jiān)控執(zhí)行器發(fā)現(xiàn)訂單存在異常它可以生成一條新事件交給另一個專門處理異常的執(zhí)行器處理。Agent A 處理完自己的部分把結(jié)果作為新消息發(fā)布出來Agent B 接住再處理下一環(huán)。這樣的好處是處理鏈路上每個節(jié)點都清晰可追蹤天然支持分布式部署。這個模式我目前還在實踐中探索比如用于消息分片后的并行處理、跨部門業(yè)務(wù)鏈路的自動化等場景。對于已經(jīng)上手的團隊這可能是把 hermes-agent 能力翻倍的關(guān)鍵方向。10. 遇到問題時的排查思路與實操經(jīng)驗10.1 消息處理失敗但日志沒有明顯報錯這種情況遇到過好幾次。排查的第一步是先確認(rèn)事件目前的狀態(tài)是 failed 還是 success如果是 failed去 events 表里看 retry_count 字段判斷是執(zhí)行器主動返回失敗還是框架重試后放棄。第二步查看失敗執(zhí)行器的 message 字段框架會把 Executor 返回的失敗原因記錄進去。第三步看 framework 日志重點查找該 event_id 對應(yīng)的執(zhí)行記錄和異常堆棧。這類問題的根源往往是 Executor 內(nèi)部吞掉了異常返回了一個本該拋出的結(jié)果。實際排查一次之后定位到某個腳本里用了 try...except... 把異常吃掉并直接返回成功導(dǎo)致框架認(rèn)為執(zhí)行成功但實際上業(yè)務(wù)處理并沒有完成。這個教訓(xùn)后來讓我養(yǎng)成了一個習(xí)慣執(zhí)行器內(nèi)部絕不允許無差別捕獲異常后靜默通過必須顯式返回失敗結(jié)果。10.2 消息重復(fù)消費問題消息重復(fù)消費的排查思路我每次都是先確認(rèn)事件表里 event_id 是否存在重復(fù)記錄。如果存在說明消息源頭或接入層已經(jīng)產(chǎn)生了重復(fù)事件。如果不存在但業(yè)務(wù)層面處理了兩次說明是執(zhí)行器冪等設(shè)計有問題。一個具體的案例是某執(zhí)行器在調(diào)用下游接口時由于框架超時重試同一事件被執(zhí)行了兩次但兩次執(zhí)行都改了不同字段所以業(yè)務(wù)數(shù)據(jù)變得不一致。解決辦法是在執(zhí)行器里增加一個基于 event_id 的處理記錄表每次執(zhí)行前先檢查是否已經(jīng)執(zhí)行過。10.3 規(guī)則匹配結(jié)果和預(yù)期不符規(guī)則匹配問題是日常排查里見得最多的一類。寫規(guī)則的時候想的是應(yīng)該匹配這類消息結(jié)果實際運行時不匹配或者錯誤匹配了。排查步驟一般是先在管理界面查看實際消息的完整內(nèi)容確認(rèn) event_type、source 等關(guān)鍵字段值再打開 Debug 模式輸出規(guī)則匹配時的條件逐項判斷結(jié)果看具體是哪個條件不滿足或誤匹配。有一次排查到最后發(fā)現(xiàn)問題竟然出在 YAML 配置文件里有人把鍵的縮進寫錯了導(dǎo)致條件層級與預(yù)期不同匹配邏輯完全變了。這類問題光看配置很難發(fā)現(xiàn)最好給規(guī)則文件加一個本地校驗工具在 CI 階段檢查 YAML 格式和必需字段。11. 個人經(jīng)驗總結(jié)與未來方向這個項目從最初的一個內(nèi)部腳本逐漸演化成了帶規(guī)則引擎、執(zhí)行器插件、重試機制和管理界面的輕量級 agent 框架。整個過程中我最深的體會有三點。第一輕量是王道。能用一個進程解決的事情就不要引入一整個微服務(wù)架構(gòu)。很多項目在初期規(guī)模很小的時候就把組件拆得滿天飛實際上每個組件都增加了排查問題的復(fù)雜度。hermes-agent 選擇用 SQLite 起步、用 YAML 做配置這個能不依賴就不依賴的理念幫助它快速落地并且在真實場景中穩(wěn)定運行。第二消息處理系統(tǒng)的核心價值在于可追蹤性。消息從哪兒來、被誰處理、處理成功還是失敗、失敗原因是什么這些信息必須完整記錄。很多系統(tǒng)出問題無法定位就是因為消息處理鏈路黑盒化。我設(shè)計 hermes-agent 時花費了大量精力在事件狀態(tài)、執(zhí)行結(jié)果、日志格式這些看起來不性感但實際極其重要的細節(jié)上最終實踐證明這些都是值得的。第三冪等設(shè)計比重試機制更重要。沒有業(yè)務(wù)冪等做支撐重試機制反而會放大問題。無論你用的是消息隊列、定時任務(wù)還是 Webhook都要養(yǎng)成同一事件可以重復(fù)執(zhí)行且結(jié)果一致的設(shè)計習(xí)慣。如果你也想自己實現(xiàn)一個類似的 agent 框架我建議你從最基礎(chǔ)的消息類型和狀態(tài)流轉(zhuǎn)開始做先跑通一條完整鏈路再逐步加規(guī)則、執(zhí)行器、重試這些復(fù)雜度。直接在項目初期設(shè)計一個面條式的大框架容易讓自己陷入細節(jié)不可自拔。一個穩(wěn)定可靠的小系統(tǒng)遠勝過一個看起來功能完整但處處漏風(fēng)的大架構(gòu)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷婷色五月| 色婷婷五月天偷拍| 色婷婷五月天激情在线播放| www,超碰| 日本狠狠干| 五月四色婷婷| 婷婷第六色| 99久久婷婷五月| 伊人久久婷| 人妻久久久久久久久妻久久久久| 久久亚洲婷婷| 91日精品| 北条麻妃九九九国产精品视频| 婷婷五月综合色拍| 五月性色| 色五月亚洲开心网| 色九月激情综合网| 久久无码激情视频| av久热| 电影蜘蛛女| www.yw尤物| 79精品视频在线观看,| 91中文在线| 午夜福利8055| 9色小视频在线观看| 九九在线精品| 亚洲精品视频在线| 五月久久婷婷丁香| www.99热| 国产精品色婷婷AV综合色色| 精品国产人人爱人人| 日韩美女在线视频19| 丁香五月天婷婷激情| 夜夜躁爽日日| 老司机日日夜夜青草| 激情六月丁香综合| 成人色站,在线视频,看片-SS1AV| 色婷婷综合久色AV五色最新| 久久五月天激情美女| 伊人综合婷婷| 亚洲在线成人| 亚洲一级AV在线免费播放| 国产成人AV| 99在线观看精品| 天天综合在线网| 久久五月天激情视频| 五月天婷婷中文字幕在线播放| 蜜臀AV在线成人| 欧美色碰| 大香蕉五月天婷婷丁香91| chaopeng在线人人| 大香蕉丁香| 国产一级视频a| www99热| 色综合丁香| 无人精品在线视频| 激情性爱五月| 激情AV| 无码区婷婷五月花开| 五月天激情网图片| 日本一级特黄大片AAAAA级| 五月婷婷开心综合| 人人摸人人干| 激情综合久久| 99操视频| 99久久九九视频| 成人做爰A片免费看视频| wwwss在线观看| 久久久久久综合88| 可以免费观看的AV| AA片在线观看视频在线播放| 色婷网站| 久久婷婷丁香五月宗合| 久久新地此| 99在线看视频| 大香线蕉伊人| 久久六月综合| 亚洲乱码日产精品BD| 精品一二三区久久AAA片| 99久久婷婷国产综合精品草原| 蜜臀A∨在线水帘洞| 五月丁香六月在线欧美| 另类激情五月| 天天做天天爱天天要| 都市激情五月婷婷亚洲| 色欲久久久久久综合网综合网| 九九色播五月丁香| 99九九热在线观看| 亚洲情综合五月天| 男人視頻站| 99只有精品9| 国产女18毛片多18精品| 色五月天丁香婷婷| AV天堂淫乩| 欧美影院婷婷| 综合网五月天123| 六月色播| www夜夜操| 亚洲精品又粗又大又爽A片| 国精产品一区一区三区免费视频| 日韩综合久| 九色PORNY自拍成人精彩视频| 国产激情综合五月| 怡红院视频| 五月天啪啪啪| 伊人久久婷婷| 国产免费av在线| 二色AV| 丁香婷婷人妻| 性爱视频99| 日本婷久久| 色婷婷久久| 91av传媒高清在线视频网| 五月天久久小说| 日韩99视频| 人妻AV在线| 五月丁综合在线观看| 噜噜噜噜噜色| 色婷婷综合网站| 亚洲AV免费在线| 日本三级日本黄色| 国产精品久久99| 丁香五月六月激情| 婷婷伊人五月天| 不卡在线视频| 国产精品久久99| 天天色天天舔天天爱天天爽| 九九久久网| 亚洲国产精品VA在线看黑人| 超碰97人人操| 日本丁香五月| www免费在线视频| 天天综合五月天| 久久这里只有精品07 | 欧美成人一区二区三区在线视频| 99久re热| 丁香五月天AV| 欧美天堂婷婷日韩| 丁香婷婷免费| 久久婷婷综合五月天| 五月天福利影院导航| 五月天久久www| 五月婷婷无码专区| 婷婷五月天激情网| 99热超碰在线| 99热在线中文字幕| 香蕉伊人综合| 色中色综合| 国产做爰视频免费播放| 六月婷婷天天操夜夜爽视频| 九九婷婷综合| 大香蕉久久草| 五月婷婷亚洲色视频| 丁香六月综合激情| 婷婷丁香视频在线观看免费| 我爱大香蕉| 国产综合丁香五月天| 色婷婷欧美在线| 综合色色婷婷| 91日韩美女被插视频| 久久99热免费| 高清一区二区三区日本久| www99精品| 亚洲国产精品综合色区| 91人人爱| 色综合天天天天做夜夜| 亚洲成人av在线观看| 99热九九这里只有精品10| 欧美丁香五月97色| 热久国产| 久久丁香五月婷婷| 97色在线| 色色综合色视频| 狠狠操综合| 婷婷丁香六月天激情四射网| 婷婷五月天电影区小说区| WWW.久久.COM| www.亭亭五月天| 成人精品视频99在线观看免费| 久久婷婷五月综合色奶水99啪| 狠狠操狠狠操| 超碰在线9| 可以看的av网站| JlZZJlZZ8JlZZ亚洲熟女| 蜜臀av无码久久久久久久久| 激情又色又爽又黄的A片| 丁香五月久久| www.婷婷| 久久这里只有国产视频| 免費观看aV在线网址| 99这里只有免费的小视频在线观看| 91爱啪啪| 日韩狠狠色婷婷| 日狠狠| www.99在线| 久久精典| 五月婷婷色情| 精品一二三区久久AAA片| 丁香色五月婷婷17C| 五月天色区| 99久久99九九99九九九| 天天干,夜夜爽| 激情五月天的婷婷| 日韩在线观看亚洲| 亚洲午夜AV| 激情综合五月天| 九热久| 色情五月婷| 97久久草草超级碰碰碰| 激情丁香九九五月综合网| 色婷婷在线视频| 天天综合情| 六月丁香五月婷婷| 婷婷六月视频| 色婷婷丁香| 五月天com| 99激| 一区二区传媒视频| 亚洲天堂久久| 青草激情在线| 思思热久久艹| 久久婷婷七月丁香| 97干网站| 激情综合婷婷| 超碰不卡在线| 夜夜穞天天穞狠狠穞AV美女按摩| 天天拍夜夜爽日日| 五月天激情网址| 久久伊人大香蕉| 天天做综合| 丁香综合日产精品久久| 狠狠操狠狠插| 五月丁香六月婷婷免费| 五月天另类图片区99| 六月色色| 99成人无码| 色婷婷色综合激情91| 91九九| 丁香六月视频| 日本久久爽| 色色色热| 99热免费精品| 清色五月天| 97香蕉人人在线观看| 91狠狠综合久久久久久| av操一操| 欧日韩AV| 亚洲AV人人操| 99丝袜精品视频网站| 99久久网站| 五月丁香 久久久| 婷婷激情五月视频| 国产特级毛片AAAAAAA高清| 婷婷五月天精品| 五月天激情综合网俺也去| 久久丁香综合香蕉| 九九热免费| 性99网站| 深爱丁香网| 超碰人人草| 99久久综合精品五月天| 欧美大奶熟女噜噜噜噜| 大香蕉网站,大香蕉综合| av九九| 国产在这里只有精品| 超碰人人摸人人操| 色5月婷婷| 天天综合网站| 五月丁香亚洲校园欧美| 97碰碰草| 丁香五月天视频| 五月婷婷丁香六月| 丁香五月天啪啪a日本| 碰久久精品w| 久久久五月天| 丁香五月在线播放| 99热日本| 色婷婷导航| 色婷婷丁香五月在线观看| 亚洲色五月天在线| 国内婷婷丁香社区在线播放| 久久精品爱爱| av国产精品偷| 91丨九色丨熟女丰满| 超碰免费人人肏| 婷婷激情五月综合| 天天搞天天色综合| 六月婷婷日| 婷婷五月激情的图片| 天天综合色丁香| www..999热久| 天天射影院| 九九久热| 成人深爱丁香五月| 立川无码av| www色色com| 99久久精品国产色欲| 亚洲无码影片| 亚州成人综合在线| 免费操超碰| 另类在线| 国产69久久久欧美黑人A片| 另类在线| 99爱爱| 99综合视频| 五月天啪啪视频| 婷婷亚洲综合| 五月婷激情影院| 思思99热| 日韩成人av在线| 色综合天天综合成人网| 久久婷婷久久| 婷婷色中文字幕| 婷婷五月情| 日韩99视频| 狠狠色噜噜狠狠狠狠综合| 另类五月激情| 91日视频| 九九热精品在线| 99思思| 大香蕉五月丁香| 日韩成人精品中文字幕| 思思99热| 五月婷婷综合在线视频| 啪啪色区| 66精品国产成人| 九九热精品| 天天玩天天摸| 6080av| 五月丁香婷婷激激激综合网色播| 色色色色色色网站| 大香蕉婷婷| 99免费热视频在线| 色五月综合| 天堂成人A片永久免费网站| 色五月丁香五月| 亚洲色视频| 激情綜合W W W,激情五月天| 无码成人AAAAA毛片AI换脸| 天天天天干| 少妇大叫太大太粗太爽了A片| 日本V在线观看不卡视频网站| 女同在线9| 888久久久| 五月五月婷婷| 五月丁香日本一抹本| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 99精品在线观看视频| 婷婷色综合| 91操黄| 香蕉曰比| 五月婷婷色播| 国产综合激情五月久久| 五月婷婷免费视频| 亚洲热热视频| 久99久在线| 色丁香五月婷婷| 性爱激情五月| 五月婷色色| 就爱操www com| 操人妻视频91| 可以直接看的AV| 久久婷婷老| 超碰爱爱爱| 色婷婷婷av | 色99在线| 色99免费视频中文| 婷婷色播六月无码| 任我肏| 国产精品扒开腿做爽爽爽A片唱戏| 狠狠色婷婷色| 岛国资源网| 久久久这里有精品| 亚洲日韩一页精品发布| 在线看片av| 色丁香久久久| 婷婷五月色| 99久久亚洲国产| www.99热视频在线观看| 激情综合国产| 久久ri精品视频| 亚洲另类在线观看| 激情深爱五月| 国外亚洲成AV人片在线观看| 伊人久久艹| 热热久久99| 日韩成人网址| 久久婷婷五月综合伊人| AV性爱在线| 激情综合久久| www色五月| 五月婷婷之美女图片| 亚洲综合视频网| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV| 深爱婷婷基地| 国产成人综合在线| 狠狠综合色网| 五月丁香黄色视频| 91在线观看九区| 国产五月丁香在线| 色综合大香蕉| 色五月婷婷激情基地| 丁香婷婷啪啪啪| 狠狠操综合| 久人操| 久久综合激情婷婷激情| 六月色丁香婷婷| 久久视这里只有精品| 欧美在线视频免费播放| 婷婷五月激情五月丁香五月| 色深爱五月| 人人色人人弄人人操| 人人色人人摸人人看| 国产精品视频| 在线网黄| 婷婷五月天久久久| 色99视频| 少妇激情五月天| 久久精品天| 99性视频| 伊人久热91| 日日夜夜小色哥| 夜夜嗨一区二区三区直播内容| 九九色中文| 激情爱爱网站超大免费| 国产激情av| www.99精品在线| 国产肏屄大片| 亚洲在线操| 操逼综合网| 久久丁香久久| 丁香综合久久| 婷婷五月在线视频| 香蕉伊人综合| 色五月五月婷婷| 99精品国产在热久久婷婷| 五月色丁香| 久久视9精| 天天热夜夜操| 大香蕉娱乐| 丁香五月在线| 日本色天堂| 99热国产精品| 久热只有这里有精品| 色九九综合| 色色日韩无码| 五月丁香毛片| 开心婷婷五月| 五月天深爱激情网| 91人人操| 99这里有精品| 天天色天天噜| 色爱99| www.99久| 丁香六月 人妻| 久久丁香综合香蕉| www.狠狠| www.粉嫩av.com| 国产精产国品一二三在观看| 丁香五月在线观看完整版| 欧美色色色色色色色色| 婷婷伊人綜合中文字幕| 九九九九九九九热| 婷婷色操| 婷婷大香蕉| 天天爽夜夜爽夜爽精品| 性热视频99精品| 久久激情视频| 深爱婷婷色| 在线五月婷| 激情丁香九九五月综合网| 九九亚洲视频| 九九99视频精品| 丁香五月欧美色综合| 五月总合激情网| 亚洲第一成人无码A片| 亚洲综合婷婷六月丁香五月| AV在线大香蕉| 97午夜一区二区| 激情五月天色网站| 欧美日韩AAAA| 2020久久婷婷五月| 人妻AV在线观看| 色色色色色色综合网| 啪啪操超碰| 丁香综合伊人AV| 五月婷婷婷综合网| yjzz亚洲国产| 色综合久久888| 激情五月天激情五月天| 五月久久亚洲| 欧美va亚洲va| 久久九九@| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 色综合中文色综合网| 女人被躁到高潮嗷嗷叫小| 九九99九九99九九99视频网| 五月激情六月宗合| 婷婷六月久久| 综合欧美五月婷婷| 国产成人av在线播放| 国产干逼片| 精品色色| 色色色色色色色色综合网| 激情五月天伊人av| 五月婷婷激情69| 97色婷婷| 亚洲成人AV在线观看| 丁香五夜激情四射夜夜夜| 免费精品99| 91九色国产| 99热这里只有精品9| 色99综合视频| 色亚洲婷婷| 思思99热热热99| 超碰在线国产9| 婷婷综合伊人| 丁香花综合永久入口| 日本不卡高字幕在线2019| 9l视频自拍九色9l视频自拍九色9l社区 | 97九色视频| 五月激情久久| 精品无码99| 欧美色六月婷婷| 在线视频色五月| 久久激情综合| 色婷婷导航| 综合一区二区三区| 六月色播| 欧美色久| 9色在线| 丁香婷婷九月| 激情婷婷丁香五月天| 99热销国产这里有精品| 秋霞AV淫| 丁香婷婷黄网站| 激情四射网| 五月丁香色婷婷色| 丁香婷婷五月激情| 综合网色| 色五月丁香五月五月婷婷| 丁香五月电影| 26uuu淫色| 激情五月天在线观看色婷婷| 26uuu四色| 操人妻90p| 精品人妻伦| 久久婷婷五月草视频在线播放| 美女亚洲五月丁香| 色情播放| Www.激情| 九九热re99re6在线精品| 天堂综合久久| 激情五月婷婷综合| 99无码精品| 国产亚洲精品AAAAAAA片| 中文字幕按摩做爰| 日韩人妻在线播放| 99日精品视频| 538午夜激情| 这里只有在线精品| 五月天久久综合婷婷丁香| 色色色色色综合| 97操碰在线视频| 91色五月| 六月婷婷综合| 丁香深五月婷婷| 亚洲婷婷激情综合激情999精品| 五月天婷婷色色网| 精品五月丁香| 99亚洲色色| 日本久久精品18| 天天色综网| 欧美顶级少妇做爰HD| 婷婷五月丁香青青草在线| WWW.久久久久久久久久久久久| 色丁香五月| 99免费成人网| 天天射色五月天| 久9视频免费播放| 色噜噜狠狠色综合日日| 日韩一级| 国产精品久久..4399| 亚洲色欲欧美一区二区三区| 99这里只有精品视频| 日本久久婷| 99国产精品白浆在线观看免费| 91怕怕网| a色色色色色| 丁香五月天啪啪激情综和网| 五月婷婷啪啪网| 欧洲第一无人区观看| 久久免费干| 色99视频| 五月播播| 九九99久久| 欧美六月婷婷| 影音先锋女人av鲁色资源网小说免费| 激情五月开心五月丁香五月| 99热这里只有精品99| 日韩啪啪视品| 国产欧美婷婷| 五月婷在线| 丰满女老板BD高清A片| 99视频在线观看视频| 五月丁香美女| 人人干女人| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 免费观看的婷婷五月视频在线| 六月婷婷开心| 欧美啪啪五月天| 99久久a线观| 精品99在线观看| 亚洲无AV在线中文字幕| 97超碰综合| 久久这里都是精品| 无码人妻丰满熟妇奶水区码| 爱射综合| 激情影院丁香五月| 天天干天天av天天射| 欧美激情丁香五月| 成人丁香色| 91男人资源站| 日韩婷婷五月天| 9l视频自拍九色9l视频自拍九色9l社区 | 五月丁香激| 99热这里只有精品最新地址获取| 成人精品在线| 九九色影院| 久久538| 婷婷五月丁香青青草在线| 激情五月天在线观看婷婷| 日韩综合久| 久热精彩视频98| 99热日本| 久久久99精品免费观看| 夜夜爽天天| 婷色五月天| 麻豆精品| 青青草Avb在线| 好吊丝aV| 国产精品涩涩涩视频网站| 色婷婷狠狠爱| 高清不卡一区| 婷婷人人操| 天天噜| 五月天丁香花婷婷| 99成人精品视频| 超碰婷婷色| 九九草热在线观看| 免费观看全黄做爰的视频| 最新日本A片| 五月丁香色| 91热爆在线| 91精品国产91久久久久青草| 九九热啪啪| 99久久久久久| 五月丁香婷婷在线| 激情综合亚洲| 99视频色在线观看| 色九区| 99色综合网| 亚洲精品视频在线播放| wwW天天干| 色情婷婷| 俺也去综合| 狠狠色色色| 五月网在线| 激情五月天情色| 五月丁香六月婷婷欧美综合| 99噜噜噜| 99热爱爱干干日| 深夜男女福利刺激影院一区完整| 精品国产va久久久久| 久久性爱视频网站| 五月丁香亭亭成人电影| 国产麻豆视频| 欧美日韩一区二区三区四区| 亚州综合色| 成人五月天丁香| jiqingtaose五月天| 99热这里都是精品| 婷婷五月丁香婷婷| 九九九九中文字幕| 99九九99九九九视频精彩| 思思热久久艹| 国产av天堂| 色色亚卅| 九九偷拍网| 影音先锋一区| 久久99热这里| 99热伊人综合| 91操在线视频| 丁香五月天人体| 91久女| 色色色在线观看| 热99国产精品| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 天天操B| 综合丁香婷婷五月天| 天天躁日日躁狠狠躁日日躁2022年5月9日 | 亚洲午夜av| 色九月激情综合网| 久99精品视频| 99热这里只有精品在线| 亚洲AV成人无码久久精品老人法拉利| 99草视频在线观看| 五月天激情综合| 五月丁香激情婷婷综合| 美女黄频aⅴ视频| 人妻久久人妻久久第一区| 91中文狠狠综合| 丁香五月天啪啪| 91碰碰碰久久久久| 久综合色| 97色97干| 欧美成人一区二区三区在线视频| 亚洲va欧美va天堂v国产综合| VA色婷婷| 久久综合55| 337p大胆噜噜噜噜噜91Av| 五月婷婷无码专区| 91人人网| 久久性都花花世界成人免费视频 | 欧美色爱五月天| 久久婷婷五月综合| 亚洲免费电影2| 九久9精品| 丁香五月婷婷香| 久久er九九| 色老久久| 99在线视频网址在线观看| 午夜一区| 日本色狠狠| 五月婷婷久久激情| 亚洲啪啪视频| 欧美三级大片AA在线看| 91碰碰| 五月天激情网图片| 丁香五月天激情AV| 婷婷色播色五月五色五月天色妇| 麻豆精品| 亚洲AV日韩在线观看| 天天操综合网| 伊人激情综合网| 99热成人在线观看| 婷久看人爽| 成人在线网| 色噜久| 久久视9精| 激情五月天丁香| 丁香色五月 97干| 舔色婷婷| av免费人人| 婷五月天在线草| 五月婷婷基地| 亚洲视频操| 9色免费网| 色婷婷激情Av久久久| 国产成人综合网| 中文字幕av在线| 国产偷人妻精品一区| 99免费视频在线观看爱| 99精品视频在线| 99热无码精品| 久热久| w婷婷五月婷婷w| 日韩精品电影| 色婷婷91激情小说| 丁香五月天AV在线| 激情五月丁香五月色| JAPANRCEP老熟妇乱子伦视频 | 激情AV| 天天插天天射| 色五月婷婷在线| 九九99精品视频在线观看| 全网最新网黄大秀直播高清,主播国产录屏在线 | 五月停停99| aaaa久久| 影音先锋男人AV资源站| 丁香六月成人| 91九色偷拍| 91色五月在线观看| 五月色情婷婷| 青青草五月天| 亚洲av无码精品色午夜| 97热久久| 中文资源在线a| 9热视频在线观看| 99ri久久| 99小视频| 国产色色网址网站| 五月激情网五月综合网| 激情伊人五月婷婷久久| 天天橾日日橾夜夜橾17| 严洲天天插| 五月停停激情网| 五月婷婷69| 五月丁香六月婷婷激情网| 综合99视频| 亚洲不卡| 五月丁香六月| 中文字幕免费高清电视剧| 香蕉久久av一区二区三区| 青青草青青草五月天| 国产精品成人网址| 99热色婷婷| 青青草色在线视频观看| 五月丁香婷婷色| 久热2025无码| 色五月婷婷久久大| 天天天综合网| 九九色色网| 日本久久99| 激情五月天色爱| 99re思思久久| 九色91国产| 激情av| 香蕉影院色| 性爱人人网| 亚洲成人综合在线| 丁香五月视频在线观看| 五月丁香婷婷三级| 综合啪啪| 另类在线| 激情五月天色色色| 色婷婷久久综合| 亚洲激情免费久久| 午夜色丁香| 色碰碰视频| 久久99国产综合精品免费| 极品五月天| 色999五月色| 婷婷免费无视频| 色综合99| 婷婷伊人綜合中文字幕| 97超喷视频在线观看| 五月丁香激| 蜜乳.comcom| 狠狠草在线观看| 99热这里精品| 视频一区二区在线| 婷婷五月天影院| 色五月色综合| 玖玖在线视| 99久久国产宗和精品1上映| 亚洲成片在线观看| 日韩狠狠色婷婷| 九九在线精品| 蜜桃人妻无码AV天堂三区| 国产婷婷五月| 五婷婷六月合| 五月天婷婷免费视频| 国产成人精品一区二三区熟女在线| 五月天堂六月丁香亚州中文字幕久久 | 亚洲不卡| 国内熟女黄色系列| 婷婷综合另类小说| 可以免费观看的av| 久久久99精品免费观看| 99热在线观看精品| 久久免费视频62| 另类激情中文| 超级碰碰碰碰视频| 婷婷成人综合五月| www.超碰| 亚洲色婷婷久久99精品91| 天天 日综合| 九月婷婷久久久| 五月丁香日逼| 亚洲激情高潮| 91爱啪啪| 五月婷婷亚洲色图| 99热精这里只有精品| 丁香婷婷性爱| 色情五月| 五月精品免费XXX| 日韩成人网址| 99啪| 久久天天| 草榴视频黄色网| 色婷婷五月基地在线| 91超碰九色| 亚洲AV成人无码电影| 色五月婷婷丁香婷婷| 五月丁香啪啪综合| 丁香五月婷婷激情四射| 综合色综合| 成人国产欧美大片一区| 丁香婷婷六月激情文学| 婷婷五月激情图片| 99久久五月丁香野外| 婷婷五月天男人影院色色网| 国产精品18久久久| 99热色无码| 亚洲av综合网| 国产AV不卡福利| 婷婷久久综合久色| 丁香五月狠狠在线观看| 天天综合干| 日本一级黄色电影| 26uuu青青| 国产成人网| 97资源欧美日韩大香蕉超碰一区| 99久久这里只有精品| 9999热在线| 亚洲婷婷成人五月天| 无码人妻丰满熟妇奶水区码| 丁香激惜男女| 色五月综合网| 丁香女人五月天| 激情五月婷婷视频一区二区三区| 91爱操| 91欧美日韩综合| 美女黄频aⅴ视频| 96精品久久久久久久久| xxxx久| 亚洲综合视频网| 淫视馆AV在线| 91色五月| 亚洲综合字幕色色| 中文av网| site:wpjngj.com| 五月激情小说| www.伊人天堂偷偷婷婷| 久草热8精品视频在线观看| 97色色色色色色色色色色色色色| 亚洲日本韩国| 六月婷婷国产| 97男人天堂| 久久久久久人妻久久久久久久久久人妻久久久 | 国产SUV精品一区二区6| 亚洲综合色丁香婷婷六月| 天天躁日日躁狠狠躁日日躁2022年5月9日| 啪啪五月天啪啪| 草草色情综合网| 色J香五月天| www久久久久久| 亚洲色图五月丁香| 亚洲另类在线观看| 公的粗大挺进了我的密道| 婷婷五月丁香色情| 9久热视频| 五月天激情综合| 亚洲色综合| 婷婷五月天影院| 五月丁香婷婷三级| 激情九九六月激情免费视频| 日良久久| 婷婷婷色五月| 日韩精品一曲二曲三曲四曲五曲| 久久丁香综合| 99久久精| 超碰婷婷色| 五月丁香激情综合网| 久久婷婷五月天懂色| 亚洲经典三级| 色色射| 色色丁香| 五月婷婷电影院| 五月丁香在线| 天天舔夜夜操www com| 99久久综合狠狠综合久久| 五月天婷婷丁香| www激情| 人妻日日日| 激情五月六月| 九九激情网| 日韩AV成人电影| 91精品丝袜久久久久久| 99re热久久| 99啪啪网| 青草青草视频2免费观看| www,天天干| 五月婷婷六月丁香激情深爱| 午夜在线成人网站免费观看| 激情综合婷婷| 另类激情五月| 日本啪啪网| 丁香六月婷婷缴情欧美| 超碰免费大香蕉| 噜噜噜色噜噜| 激情综合九月| 爱iii做iiii日| 大香蕉久| 五月激情婷婷六月| 亚洲国产精品成人免费一区久久久在线观看AAAA| 欧美十二区| 五月天色色色| 26uuu亚洲欧美日本| 九九人妻福利| 日韩国产在线免费观看| 日本欧美成人片AAAA| 色婷婷激情| 婷婷射图五月天| 99婷婷| 六月婷婷AV| 欧美成人AAA片一区国产精品| 色婷婷丁香五月| 天天操夜夜玩!| 成片免费观看视频大全| 丁香五月婷综合| av国产精品| 日韩成人中文字幕| 另类综合婷婷五月天欧美视频| 亚洲另类婷婷五月丁香在线播放| 久久码久久无清| 亚洲午夜成人av电影网| 永久精品| 中文字幕精品在线观看| 婷婷色成人| 日本五月婷婷久久久六月丁香| 六月婷久久| 九月婷婷在线观看| AⅤ网站在线看| 99成人| 久久与婷婷| 久久人妻www| 丁香婷婷啪啪啪| 狠狠色婷婷7| 久9久9久9久9久9久9| 五月天婷婷色色首页| 97久久久久久久久久久| 激情五月婷婷| 国产激情视频在线观看| 色婷婷日本| 天堂草在线看www| 秋霞影音91人妻久久| 五月天婷婷久久日| 操99| 综合久久久| 九九综合网色全集| 操操操91| 就去色色五月丁香婷婷久久久| 国产精品第一国产精品| 色一情一乱一乱一区91Av| 大香蕉啪啪啪| 久久五月网| 色婷婷五月综合在线| 另类激情综合| 久久a热| 五月婷婷激情综合网| 激情网五月婷婷| 五月花亭亭| 26UUU亚洲欧美| 停停色综合伊人| 91久久综合| AV成人在线播放| 伊人色综合久久久| 啪啪黄页网| 99热全是精品| 激情宗合 激情宗合| 青青草Avb在线| 超碰69天堂| 1769在线观看欧美国产| 99热97美女| 国产精产国品一二三在观看| 成人在线日韩| 亚洲亚洲人成综合网络| 怡红院AV亚洲一区二区三区H| 久久婷色| 激情丁香社区| 开心激情婷婷| 蜜桃人妻无码AV天堂三区| 国产精品久久久久久久久久| 婷婷97| 91精品激情9| 91av视频| 91fuliwang| 性爱激情小说AV五月丁香花| 五月丁香婷婷啪啪综合| www.精品久9| 色综合丁香婷婷| 激情综合网五月婷婷| 97碰| 日日日日做夜夜夜夜无码| 久色视频首页| 色五月成人在线| 日日爽天天| 五月性色| 丁香五月婷婷基地| 精品色| 国产成人AV| 超碰99成人在线| 青青999| 久婷婷婷| 亚洲成色综合网站免费观看| 狠狠干激情五月| 激情色视频| 天天肏高清在线| 色丁香五月| 超碰av在线| 五月婷婷久久网| 4399在线观看免费高清黄色视频| 97碰成超视频免费视频| 亚洲黄色影视| 国产又黄又爽又激情不遮挡视频在线观看| 五月香六月婷| 99热8| 五月激情小说| 色五月丁香五| 色婷婷影音| 激情五月天在线观看婷婷| 久久婷婷婷婷伊人| 色色网五月激情| 97碰| 99精品偷自拍| 五月丁香人妻| 99久久综合网| 狠狠干五码| 97香蕉久久超级碰碰高清版 | 九九99精品| 亚洲情欲久久| 超碰99久久| 丁香五月网| 亚洲精品在线视频| 97香蕉碰碰人妻国产欧美| 九月丁香婷婷网| 丁香五月婷婷色| 这里只有精品9| 任我肏| 五月综合激情久久| 亚洲第一成人无码A片| 思思99热在线| 久草热在线视频| 国产成人精品亚洲线观看| 激情AV中文| 五月丁香久久网| 亚洲色五月婷婷| 国产成人精品一区二三区熟女在线 | 欧美电影在线播放| 98永久精品| www.99热视频在线观看| 91色在线 | 日韩| 久久精品国产精品| 色婷婷免费观看| www.十八禁不禁AV.com| 婷婷99视频精品| 婷婷五月丁香国产| 亚洲激情在线| 五月婷亚洲精品| 免费无码毛片一区二区A片 | 91丨九色丨东北熟女| 久久香视频| 婷婷丁香六月影视| 97丁香婷婷| 蜜乳久AV| 婷婷,五月天,丁香,第一| 中文成人在线| www.seqingwuyuetian| 狠狠舔| 亚洲性爱99| 久久草中文日韩欧美| Aaa久久| 草操网| 啪啪操超碰| 91九九热| tingtingzonghewang| 五月天婷婷在线观看| 久久精品日| 色色婷婷综合网| 97综合在线| 操日本色| 69色色视频| 怡红院AV亚洲一区二区三区H | 人妻少妇色综合| 丁香五月www| 一级二级香港秋霞欧美欧美秋霞| 综合色播| 综合天天综合| 久久精品夜色噜噜亚洲a∨| 啪啪视频99| 丁香五月综合在线播放| 这里只有精品视频在线| 日韩黄色网络| 丁香五月在线| 久久玖玖99| 色婷丨日丨天丨综合久久| 91九色精品熟女内射| 操一区| 婷婷视频网| 婷婷五月天AV在线| 99爱视频免费| 99天堂网最新| 五月婷婷在线播放| 欧美综合五月天婷婷tin| 激情婷婷五月黑人| 国产AV一区二区三区最新精品| 色五月丁香五月激情五月激情| 色99日韩| 亚洲 视频 导航 一区| 国产亚洲精品久久一区二区三区| 99在线综合视频| 这里只有精品9| 99在线看视频| 99久久激情视频| 超级碰人人操人人干| 99人人操人人摸| 天堂美国久久| 丁香五月婷婷手机| 色色色色色日韩午夜激情| 99人人操人人摸| 刘玥精品一区| 色丁香影院| 第1影院之五月婷婷| 亚洲aV写真天天综合网久久| 丁香六月成人| 99国产这里只有精品| 久久婷婷大香蕉| 久久99热免费最新版| 91丨人妻丨国产丨丝袜| 色偷偷五月天| 久久人人九| 综合色图区| 婷婷天堂综合| 99热这里是精品| 天天上天天爽| 激情五月天久久| 五月天社区狠狠| 婷婷激情五月视频| 色综合久久44| se99高清无码| 六月丁香啪啪| 婷婷四色五月| 狠狠综合久久综合| 久色大| 久久久香| 欧美色色色色色| 日本熟女三区| 日韩久久系列| 天天做天天爱天天高潮| 91丁香五月| 综合久久综合| www.激情.com.| ..真实国产乱子伦对白在线_欧| www.ppypp| 亚洲婷婷基地| 开心激情网五月天| 色青青视频| 日韩情色在线观看| www.99色| 久久这里只有精品网| 五月天啪啪| 婷婷五月丁香欧洲| 99这里有精品视频| 天堂草在线观| 9热久久在线| 婷婷五月电影| 激情五月天综合图片小说网站| 亚州第一黄网| 人人操99| 综合久色五月| 五月丁香综合网| 激情综合久久| 人人看人人要| 大香蕉99热| 亚洲黄色影视| 精品人妻久久久久| 啪啪啪大香蕉| 国内熟女黄色系列| 激情婷婷五月| 婷婷欧美偷拍综合| 4438全国最大视频成人网站在线观看| 久9热在线视频| 日本熟女一区二区| 女操碰|