欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

多Agent串行流水線:節(jié)點自治與狀態(tài)外置的斷點續(xù)跑實踐

多Agent串行流水線:節(jié)點自治與狀態(tài)外置的斷點續(xù)跑實踐 1. 為什么要把一個任務拆成 Pipeline 節(jié)點鏈1.1 從一把梭到分段跑的思維轉(zhuǎn)變最早做自動化任務的時候我的習慣是把所有邏輯塞進一個函數(shù)里讀數(shù)據(jù)、調(diào)模型、處理結(jié)果、寫文件一氣呵成。跑通了很爽但一旦中間某一步失敗整個流程就得從頭再來。最要命的是調(diào)模型那一步一次調(diào)用可能幾十秒甚至幾分鐘重跑一次成本極高而且前面已經(jīng)成功的結(jié)果全部作廢。后來我開始接觸多 Agent 協(xié)作的場景發(fā)現(xiàn)問題的本質(zhì)不是能不能跑通而是跑掛了之后怎么辦。一個任務如果涉及三到五個 Agent 依次處理每個 Agent 都有自己的輸入輸出和失敗模式把它們?nèi)喑梢慧绱a調(diào)試和維護都是災難。于是就有了串行流水線這個思路把一個大任務拆成若干個獨立的 Pipeline 節(jié)點每個節(jié)點只負責一件事節(jié)點之間通過明確的數(shù)據(jù)契約傳遞結(jié)果任何一個節(jié)點失敗都可以單獨重試整個流水線可以從斷點續(xù)跑。這個思路聽起來簡單但真正落地的時候有一堆細節(jié)要處理節(jié)點之間怎么傳數(shù)據(jù)、失敗怎么判定、重試幾次、狀態(tài)存哪里、怎么保證冪等。下面我把自己踩過的坑和最終跑通的方案完整拆一遍。1.2 什么樣的場景適合這種架構(gòu)不是所有任務都值得上流水線。如果一個任務總耗時不到幾秒、失敗率極低、重跑成本可以忽略那直接寫一個函數(shù)就夠了引入 Pipeline 框架反而是過度設計。真正適合拆節(jié)點鏈的場景通常滿足這幾個特征單次執(zhí)行耗時長整個任務跑完要幾分鐘甚至更久重跑的時間成本讓人心疼。步驟之間有明顯的階段劃分比如采集→清洗→分析→生成→校驗這種天然的分段。某些步驟失敗率高或成本高比如調(diào)用外部模型、訪問不穩(wěn)定的接口這些步驟需要獨立的重試策略。需要人工介入中間結(jié)果有時候跑完前兩步想先看看結(jié)果對不對再決定要不要繼續(xù)。多個 Agent 各司其職不同節(jié)點可能由不同的 Agent 負責職責邊界清晰。我做過的一個典型項目是內(nèi)容處理流水線第一個 Agent 負責從原始素材里抽取結(jié)構(gòu)化信息第二個 Agent 基于結(jié)構(gòu)化信息做分析和歸納第三個 Agent 生成最終文案第四個 Agent 做質(zhì)量校驗。四個節(jié)點串行執(zhí)行每個節(jié)點都可能失敗每個節(jié)點的輸出都是下一個節(jié)點的輸入。這種場景如果不用 Pipeline調(diào)試起來簡直是噩夢。1.3 核心設計原則節(jié)點自治 狀態(tài)外置整個架構(gòu)最關(guān)鍵的兩個設計決策我總結(jié)成八個字節(jié)點自治狀態(tài)外置。節(jié)點自治的意思是每個節(jié)點是一個獨立的執(zhí)行單元它不關(guān)心自己前面是誰、后面是誰只關(guān)心給我輸入我還你輸出。節(jié)點內(nèi)部可以有自己的重試邏輯、超時控制、異常處理對外只暴露一個統(tǒng)一的執(zhí)行接口。這樣做的好處是節(jié)點可以單獨測試、單獨替換、單獨優(yōu)化不會牽一發(fā)而動全身。狀態(tài)外置的意思是流水線的執(zhí)行狀態(tài)不存在內(nèi)存里而是持久化到外部存儲。每個節(jié)點執(zhí)行完就把結(jié)果和狀態(tài)寫下來下一個節(jié)點從存儲里讀。這樣即使整個進程崩潰重啟也能從上次成功的節(jié)點繼續(xù)跑而不是從頭再來。狀態(tài)外置還帶來一個額外好處你可以隨時查看每個節(jié)點的中間產(chǎn)物排查問題的時候一目了然。這兩個原則說起來容易做起來有很多取舍。比如狀態(tài)存哪里存文件、存數(shù)據(jù)庫還是存對象存儲節(jié)點之間的數(shù)據(jù)契約怎么定義用 JSON 還是別的格式重試的時候怎么保證不重復執(zhí)行有副作用的操作這些后面會逐個展開。2. 節(jié)點鏈的核心細節(jié)與實操要點2.1 節(jié)點數(shù)據(jù)契約的設計節(jié)點之間傳遞的數(shù)據(jù)格式是整個流水線的接口協(xié)議。這個協(xié)議設計得好后面擴展和維護都輕松設計得爛改一個字段就要動好幾個節(jié)點。我的做法是定義一個統(tǒng)一的節(jié)點輸出結(jié)構(gòu)所有節(jié)點都必須遵守。這個結(jié)構(gòu)至少包含四個部分狀態(tài)標識、業(yè)務數(shù)據(jù)、元信息、錯誤信息。狀態(tài)標識告訴調(diào)度器這個節(jié)點是成功還是失敗業(yè)務數(shù)據(jù)是給下一個節(jié)點用的實際內(nèi)容元信息記錄執(zhí)行時間、重試次數(shù)、使用的模型版本等錯誤信息在失敗時填充方便排查。# 節(jié)點輸出的統(tǒng)一數(shù)據(jù)結(jié)構(gòu)示意 node_output { status: success, # success / failed / skipped data: { # 業(yè)務數(shù)據(jù)下一個節(jié)點的輸入 structured_info: {...}, raw_text: ... }, meta: { node_name: extract_agent, duration_ms: 3420, retry_count: 0, timestamp: 2025-01-01T10:00:00Z }, error: None # 失敗時填 {type: ..., message: ...} }這里有個容易忽略的點業(yè)務數(shù)據(jù)要盡量保持純數(shù)據(jù)不要塞入任何跟執(zhí)行環(huán)境相關(guān)的東西比如文件句柄、數(shù)據(jù)庫連接、臨時路徑。這些應該放在元信息里或者干脆不傳。原因是業(yè)務數(shù)據(jù)需要被序列化存儲如果里面有不可序列化的對象整個狀態(tài)持久化就會失敗。我早期就犯過這個錯把一個自定義對象塞進 data 里結(jié)果存的時候直接報錯排查了半天。另一個要點是數(shù)據(jù)契約要向前兼容。意思是當你在某個節(jié)點新增一個字段時不應該導致下游節(jié)點崩潰。做法是下游節(jié)點讀取字段時永遠用取不到就給默認值的方式而不是假設字段一定存在。這個習慣能省掉大量因為版本不一致導致的詭異 bug。2.2 狀態(tài)持久化的選型與實現(xiàn)狀態(tài)存哪里直接決定了流水線的可靠性和復雜度。我試過三種方案各有適用場景。方案一本地文件系統(tǒng)。每個節(jié)點的輸出寫成一個 JSON 文件文件名帶上節(jié)點名和序號。優(yōu)點是零依賴、實現(xiàn)簡單、方便人工查看。缺點是并發(fā)能力差多進程同時寫可能沖突而且換臺機器就跑不了。適合單機、單人使用的小型流水線。方案二關(guān)系型數(shù)據(jù)庫。建一張表字段包括流水線 ID、節(jié)點名、狀態(tài)、輸出數(shù)據(jù)、時間戳。優(yōu)點是查詢方便、支持并發(fā)、事務保證一致性。缺點是數(shù)據(jù)量大的時候 JSON 字段存起來有點笨重而且需要維護數(shù)據(jù)庫。適合需要多任務并行、需要查詢歷史記錄的場景。方案三對象存儲 輕量索引。大塊的業(yè)務數(shù)據(jù)存對象存儲狀態(tài)和索引存數(shù)據(jù)庫或緩存。優(yōu)點是擴展性好、存儲成本低。缺點是架構(gòu)復雜需要處理對象存儲的最終一致性問題。適合數(shù)據(jù)量大、需要長期保存中間產(chǎn)物的場景。我目前的主力方案是方案二用一張簡單的表搞定。表結(jié)構(gòu)大概是這樣字段名類型說明pipeline_idstring流水線實例唯一標識node_namestring節(jié)點名稱node_indexint節(jié)點在鏈中的位置statusstringpending/running/success/failedoutput_datatext節(jié)點輸出的 JSON 序列化retry_countint已重試次數(shù)created_atdatetime創(chuàng)建時間updated_atdatetime更新時間關(guān)鍵點是pipeline_id node_name 建唯一索引這樣重試的時候可以直接 upsert不會產(chǎn)生重復記錄。另外 status 字段要支持running這個中間態(tài)用來標記節(jié)點正在執(zhí)行防止重復觸發(fā)。注意寫狀態(tài)的時候一定要先寫running再執(zhí)行節(jié)點邏輯執(zhí)行完再更新為success或failed。如果進程在執(zhí)行過程中崩潰重啟后看到running狀態(tài)的節(jié)點就知道這個節(jié)點可能執(zhí)行了一半需要根據(jù)冪等性決定是重試還是跳過。2.3 重試策略的粒度控制重試不是簡單地失敗了再跑一次里面有很多講究。我的經(jīng)驗是把重試分成三個層次每個層次處理不同的問題。第一層節(jié)點內(nèi)部重試。針對那些瞬時故障比如網(wǎng)絡抖動、接口限流。這種重試在節(jié)點內(nèi)部完成對調(diào)度器透明。通常用指數(shù)退避第一次等 1 秒第二次等 2 秒第三次等 4 秒最多重試 3 次。超過 3 次還失敗就把節(jié)點標記為 failed交給上層處理。第二層節(jié)點級重試。當節(jié)點內(nèi)部重試耗盡后調(diào)度器可以決定是否重新執(zhí)行整個節(jié)點。這一層重試通常針對那些重跑一次可能就好了的情況比如模型返回了不合規(guī)的內(nèi)容、外部服務臨時不可用。節(jié)點級重試要配合冪等性設計確保重復執(zhí)行不會產(chǎn)生副作用。第三層流水線級重試。從某個失敗的節(jié)點開始重新跑后續(xù)所有節(jié)點。這一層通常由人工觸發(fā)或者由定時任務在檢測到失敗后自動觸發(fā)。流水線級重試的關(guān)鍵是從斷點續(xù)跑而不是從頭再來。# 重試策略配置示意 retry_policy { extract_agent: { max_internal_retry: 3, # 節(jié)點內(nèi)部重試次數(shù) internal_backoff: exponential, max_node_retry: 2, # 節(jié)點級重試次數(shù) retryable_errors: [timeout, rate_limit, parse_error] }, generate_agent: { max_internal_retry: 2, internal_backoff: fixed, max_node_retry: 1, retryable_errors: [timeout, content_rejected] } }這里有個關(guān)鍵判斷哪些錯誤值得重試哪些不值得。超時、限流、臨時不可用這些值得重試參數(shù)錯誤、數(shù)據(jù)格式錯誤、權(quán)限不足這些重試多少次都沒用應該直接失敗并報警。我見過有人把所有錯誤都無腦重試結(jié)果一個明顯的配置錯誤被重試了十幾次浪費了大量時間和資源。2.4 冪等性重試的安全底線冪等性是重試的前提。如果一個操作重復執(zhí)行會產(chǎn)生副作用那重試就是危險的。比如給用戶發(fā)通知這個操作重試一次就多發(fā)一次用戶會收到重復消息。保證冪等的常見做法有三種。第一種是天然冪等比如把某個字段更新為固定值執(zhí)行多少次結(jié)果都一樣。第二種是去重標識每次執(zhí)行前先檢查這個操作是否已經(jīng)做過用一個唯一 ID 標記。第三種是狀態(tài)機約束只有處于特定狀態(tài)時才允許執(zhí)行執(zhí)行后狀態(tài)改變重復執(zhí)行會被拒絕。在流水線場景里我通常給每個節(jié)點操作分配一個基于 pipeline_id 和 node_name 生成的冪等鍵。節(jié)點執(zhí)行前先查這個鍵對應的記錄如果已經(jīng)成功執(zhí)行過就直接返回上次的結(jié)果不再重復執(zhí)行。這個檢查要放在節(jié)點邏輯的最前面而且要保證檢查和執(zhí)行之間的原子性否則并發(fā)場景下還是可能重復。實操心得冪等鍵的生成要穩(wěn)定不能包含時間戳或隨機數(shù)否則每次生成的鍵都不一樣去重就失效了。我一般用pipeline_id : node_name作為冪等鍵簡單可靠。3. 完整實操流程與核心環(huán)節(jié)實現(xiàn)3.1 流水線調(diào)度器的骨架實現(xiàn)調(diào)度器是整個流水線的大腦它負責按順序執(zhí)行節(jié)點、處理失敗、管理狀態(tài)。我寫了一個簡化版的調(diào)度器骨架核心邏輯不到一百行但覆蓋了主要場景。class PipelineRunner: def __init__(self, nodes, state_store, retry_policy): self.nodes nodes # 節(jié)點列表按執(zhí)行順序排列 self.state_store state_store # 狀態(tài)存儲 self.retry_policy retry_policy def run(self, pipeline_id, initial_input): # 從狀態(tài)存儲里讀取已完成的節(jié)點實現(xiàn)斷點續(xù)跑 completed self.state_store.get_completed_nodes(pipeline_id) current_input initial_input for node in self.nodes: if node.name in completed: # 該節(jié)點已成功執(zhí)行過直接讀取上次的輸出 current_input completed[node.name][data] continue # 執(zhí)行節(jié)點帶重試 result self._execute_with_retry(node, current_input, pipeline_id) if result[status] ! success: # 節(jié)點最終失敗記錄狀態(tài)并中斷流水線 self.state_store.save(pipeline_id, node.name, result) return {status: failed, failed_node: node.name} self.state_store.save(pipeline_id, node.name, result) current_input result[data] return {status: success, final_output: current_input} def _execute_with_retry(self, node, input_data, pipeline_id): policy self.retry_policy.get(node.name, {}) max_retry policy.get(max_node_retry, 0) for attempt in range(max_retry 1): # 先標記為 running防止重復觸發(fā) self.state_store.mark_running(pipeline_id, node.name) try: result node.execute(input_data) if result[status] success: return result except Exception as e: result {status: failed, error: str(e)} if attempt max_retry: time.sleep(self._backoff(attempt, policy)) return result這個骨架有幾個設計點值得說明。第一斷點續(xù)跑是通過讀取已完成節(jié)點實現(xiàn)的每次 run 都先查一遍哪些節(jié)點已經(jīng)成功跳過它們。第二節(jié)點執(zhí)行前先標記 running這樣如果進程崩潰重啟后能看到哪些節(jié)點處于中間狀態(tài)。第三重試邏輯封裝在 _execute_with_retry 里節(jié)點本身不需要關(guān)心重試。3.2 單個節(jié)點的標準寫法每個節(jié)點都要遵循統(tǒng)一的接口這樣調(diào)度器才能無差別地調(diào)用它們。我定義的節(jié)點接口很簡單一個 execute 方法接收輸入數(shù)據(jù)返回標準格式的輸出。class ExtractAgentNode: name extract_agent def __init__(self, model_client): self.model_client model_client def execute(self, input_data): start time.time() try: raw_text input_data[raw_text] # 調(diào)用模型抽取結(jié)構(gòu)化信息 structured self.model_client.extract(raw_text) # 校驗抽取結(jié)果不合格就拋異常觸發(fā)重試 if not structured.get(key_points): raise ValueError(抽取結(jié)果為空可能模型輸出異常) return { status: success, data: {structured_info: structured}, meta: { node_name: self.name, duration_ms: int((time.time() - start) * 1000) }, error: None } except Exception as e: return { status: failed, data: None, meta: {node_name: self.name}, error: {type: type(e).__name__, message: str(e)} }這里有個細節(jié)節(jié)點內(nèi)部要做結(jié)果校驗。模型調(diào)用成功不代表結(jié)果可用可能返回了空內(nèi)容、格式錯誤、或者明顯不合理的結(jié)果。這些情況應該在節(jié)點內(nèi)部就判定為失敗觸發(fā)重試而不是把垃圾數(shù)據(jù)傳給下游。我一般會在節(jié)點里加幾個斷言比如關(guān)鍵字段不能為空、結(jié)果長度在合理范圍內(nèi)。另一個細節(jié)是異常要捕獲并轉(zhuǎn)成標準格式不要讓異常直接拋到調(diào)度器。這樣調(diào)度器處理起來統(tǒng)一而且錯誤信息能被完整記錄到狀態(tài)里。當然如果是那種完全無法恢復的異常比如配置錯誤也可以選擇直接拋出讓調(diào)度器快速失敗。3.3 節(jié)點間的數(shù)據(jù)傳遞與轉(zhuǎn)換節(jié)點之間的數(shù)據(jù)傳遞看起來簡單實際上是最容易出問題的地方。上游節(jié)點輸出的數(shù)據(jù)結(jié)構(gòu)下游節(jié)點不一定能直接用中間往往需要一層轉(zhuǎn)換。我的做法是在每個節(jié)點的入口處做一次輸入適配。下游節(jié)點不直接依賴上游節(jié)點的原始輸出而是通過一個適配函數(shù)把上游輸出轉(zhuǎn)成自己需要的格式。這樣做的好處是當上游節(jié)點的輸出結(jié)構(gòu)變化時只需要改適配函數(shù)不用動下游節(jié)點的核心邏輯。def adapt_extract_to_analyze(extract_output): 把抽取節(jié)點的輸出適配成分析節(jié)點的輸入 structured extract_output[data][structured_info] return { points: structured.get(key_points, []), context: structured.get(background, ), source_length: len(structured.get(raw_text, )) }適配函數(shù)要處理字段缺失的情況。上游節(jié)點可能因為版本不同、或者某些可選字段沒生成導致下游需要的字段不存在。適配函數(shù)里用.get()加默認值比直接索引安全得多。我踩過的坑就是上游改了字段名下游直接 KeyError整個流水線掛掉排查了半天才發(fā)現(xiàn)是字段名對不上。還有一個實踐是在適配函數(shù)里做數(shù)據(jù)量控制。上游可能輸出了很長的文本下游如果直接全量處理可能超出模型的上下文限制。適配函數(shù)里可以截斷、摘要、或者只取關(guān)鍵部分。這個邏輯放在適配層比放在節(jié)點內(nèi)部更清晰。3.4 斷點續(xù)跑的完整驗證斷點續(xù)跑是這套架構(gòu)的核心價值但驗證它是否真的工作需要專門設計測試。我的測試方法是在流水線跑到中間某個節(jié)點時人為殺掉進程然后重新啟動看它是否從斷點繼續(xù)而不是從頭再來。具體操作是在第三個節(jié)點執(zhí)行前加一個time.sleep(30)然后在 sleep 期間手動 kill 進程。重啟后觀察日志如果前兩個節(jié)點被跳過、直接從第三個節(jié)點開始說明斷點續(xù)跑生效了。這個測試我建議每個流水線都做一遍因為斷點續(xù)跑的邏輯很容易因為狀態(tài)存儲的 bug 而失效。驗證的時候要特別注意狀態(tài)寫入的時機。如果節(jié)點執(zhí)行完了但狀態(tài)還沒寫入就崩潰了重啟后這個節(jié)點會被重新執(zhí)行。這本身不是問題只要冪等但會導致重復計算。更糟的情況是狀態(tài)寫入了但節(jié)點實際沒執(zhí)行完重啟后節(jié)點被跳過結(jié)果就是數(shù)據(jù)不完整。所以狀態(tài)寫入必須放在節(jié)點執(zhí)行成功之后而且要保證寫入的原子性。實操心得我習慣在狀態(tài)里額外記錄一個節(jié)點輸出摘要比如輸出數(shù)據(jù)的哈希值。重啟后如果發(fā)現(xiàn)狀態(tài)是 success 但摘要對不上說明狀態(tài)可能被污染了這時候可以選擇強制重跑這個節(jié)點。這個檢查能發(fā)現(xiàn)一些隱蔽的狀態(tài)不一致問題。4. 常見問題與排查技巧實錄4.1 節(jié)點卡死與超時處理節(jié)點卡死是流水線最常見的問題之一。表現(xiàn)是某個節(jié)點一直處于 running 狀態(tài)既不成功也不失敗整個流水線就停在那里。原因通常是節(jié)點內(nèi)部有阻塞操作比如網(wǎng)絡請求沒有超時設置、模型調(diào)用卡住、或者死循環(huán)。解決方法是給每個節(jié)點加超時控制。超時控制要分兩層節(jié)點內(nèi)部的操作超時和調(diào)度器層面的節(jié)點超時。節(jié)點內(nèi)部的操作超時比如 HTTP 請求設置 30 秒超時模型調(diào)用設置 120 秒超時。調(diào)度器層面的節(jié)點超時是給整個節(jié)點執(zhí)行設一個上限比如 5 分鐘超過就強制中斷并標記為失敗。# 調(diào)度器層面的超時控制 import signal def execute_with_timeout(node, input_data, timeout_seconds): def handler(signum, frame): raise TimeoutError(f節(jié)點 {node.name} 執(zhí)行超時) signal.signal(signal.SIGALRM, handler) signal.alarm(timeout_seconds) try: result node.execute(input_data) finally: signal.alarm(0) # 取消鬧鐘 return result超時時間怎么定我的經(jīng)驗是取正常執(zhí)行時間的 3 倍。比如某個節(jié)點正常跑 30 秒超時就設 90 秒。這樣既能容忍正常的波動又不會讓卡死的節(jié)點拖太久。如果某個節(jié)點執(zhí)行時間波動很大那就取 P99 耗時的 2 倍。4.2 狀態(tài)不一致的排查思路狀態(tài)不一致的表現(xiàn)是流水線報告某個節(jié)點成功了但下游節(jié)點拿到的數(shù)據(jù)是空的或者格式不對。這種問題往往很隱蔽因為表面上流水線是成功的。排查這類問題我一般按這個順序查先看狀態(tài)存儲里該節(jié)點的 output_data 是否完整再看下游節(jié)點的輸入適配函數(shù)是否正確處理了這份數(shù)據(jù)最后看下游節(jié)點是否真的收到了數(shù)據(jù)。很多時候問題出在適配函數(shù)上比如字段名寫錯了、默認值給得不合理。還有一種狀態(tài)不一致是并發(fā)寫入導致的。如果同一個流水線被觸發(fā)了兩次兩個進程同時寫狀態(tài)可能互相覆蓋。解決辦法是給狀態(tài)寫入加鎖或者用數(shù)據(jù)庫的唯一索引 upsert 來保證原子性。我傾向于后者因為不依賴應用層的鎖更可靠。問題現(xiàn)象可能原因排查方法節(jié)點一直 running節(jié)點卡死或進程崩潰查進程狀態(tài)看是否有超時控制下游拿到空數(shù)據(jù)適配函數(shù)字段名錯誤打印上游輸出和適配后輸入對比狀態(tài)被覆蓋并發(fā)寫入檢查是否有重復觸發(fā)加唯一索引重試后結(jié)果重復冪等性失效檢查冪等鍵生成邏輯斷點續(xù)跑失效狀態(tài)寫入時機錯誤檢查狀態(tài)寫入是否在節(jié)點成功后4.3 重試風暴的預防重試風暴是指大量節(jié)點同時失敗并同時重試導致下游服務被瞬間打爆。這種情況在批量處理場景里特別常見比如一次性提交了一百個流水線某個外部服務掛了一百個流水線同時重試直接把服務打得更掛。預防重試風暴有幾個手段。第一是加隨機抖動重試的等待時間加上一個隨機值避免所有重試同時發(fā)生。第二是限制并發(fā)同一時間只允許一定數(shù)量的節(jié)點在執(zhí)行超出的排隊等待。第三是熔斷機制當某個外部服務的失敗率超過閾值時暫時停止調(diào)用它等一段時間再恢復。# 帶抖動的指數(shù)退避 import random def backoff_with_jitter(attempt, base1.0, max_wait60.0): wait min(base * (2 ** attempt), max_wait) jitter random.uniform(0, wait * 0.3) # 加 30% 的隨機抖動 return wait jitter熔斷機制我一般用一個簡單的計數(shù)器實現(xiàn)記錄最近 N 次調(diào)用的失敗次數(shù)如果失敗率超過 50%就打開熔斷開關(guān)后續(xù)調(diào)用直接返回失敗不實際調(diào)用等 60 秒后再半開放幾個請求試探。這個邏輯不復雜但能有效防止雪崩。4.4 中間結(jié)果的清理策略流水線跑多了中間結(jié)果會越積越多占滿存儲。清理策略要根據(jù)業(yè)務需求來定。如果中間結(jié)果需要長期保留用于審計或回溯那就不能隨便刪得做歸檔。如果只是臨時數(shù)據(jù)跑完就可以清理。我的做法是給每個流水線實例設置一個 TTL生存時間默認 7 天。超過 TTL 的實例其狀態(tài)和中間結(jié)果會被定時任務清理。對于需要長期保留的在創(chuàng)建實例時標記為持久化跳過清理。清理任務本身也要冪等重復執(zhí)行不會誤刪。實操心得清理之前先做一次冷備份把要刪的數(shù)據(jù)導出到低成本存儲。我吃過虧有一次清理任務寫錯了條件把還在用的數(shù)據(jù)刪了幸好有備份才恢復過來。從那以后所有刪除操作都先備份再刪。5. 多 Agent 協(xié)作下的節(jié)點編排進階5.1 串行之外的編排模式雖然標題說的是串行流水線但實際項目里經(jīng)常需要更靈活的編排。我在串行的基礎(chǔ)上擴展了兩種模式條件分支和并行匯聚。條件分支是指根據(jù)上游節(jié)點的輸出決定走哪條下游路徑。比如質(zhì)量校驗節(jié)點發(fā)現(xiàn)內(nèi)容不合格就跳到重新生成分支而不是繼續(xù)往下走。實現(xiàn)方式是在節(jié)點輸出里加一個next_node字段調(diào)度器根據(jù)這個字段決定下一個執(zhí)行誰。并行匯聚是指多個節(jié)點同時執(zhí)行都完成后匯聚到一個節(jié)點。比如同時調(diào)用三個不同的模型生成候選內(nèi)容然后由一個選擇節(jié)點挑出最好的。實現(xiàn)方式是調(diào)度器維護一個依賴圖只有所有前置節(jié)點都完成匯聚節(jié)點才能執(zhí)行。# 條件分支的節(jié)點輸出 { status: success, data: {...}, meta: {node_name: quality_check}, next_node: regenerate_agent # 指定下一個節(jié)點 }這兩種模式讓流水線從一條直線變成了一張圖表達能力大大增強。但復雜度也上去了所以我建議先用串行跑通有明確需求再引入分支和并行。過早引入復雜編排調(diào)試成本會成倍增加。5.2 節(jié)點版本管理與灰度當流水線跑了一段時間后你可能會想優(yōu)化某個節(jié)點比如換個更好的模型、調(diào)整提示詞。直接改節(jié)點代碼有風險因為正在跑的流水線可能受影響。我的做法是給節(jié)點加版本號新版本和舊版本并存通過配置決定用哪個版本。灰度發(fā)布的流程是先讓新版本處理 10% 的流水線觀察成功率和輸出質(zhì)量沒問題再擴大到 50%最后全量切換。如果新版本出問題改配置切回舊版本即可不用改代碼重新部署。版本管理還有一個好處是可追溯。每個流水線實例記錄它用的是哪個版本的節(jié)點出問題的時候能精確定位到具體版本。我一般把版本號存在節(jié)點輸出的 meta 里方便查詢。5.3 監(jiān)控與告警的關(guān)鍵指標流水線跑起來之后必須有一套監(jiān)控否則出了問題都不知道。我關(guān)注的指標有這么幾個節(jié)點成功率每個節(jié)點的成功比例低于 95% 就要警惕。節(jié)點耗時 P9595% 的請求在多少時間內(nèi)完成用來發(fā)現(xiàn)性能退化。重試率重試次數(shù)占總執(zhí)行次數(shù)的比例高重試率說明有系統(tǒng)性問題。流水線完成率成功跑完的流水線占總提交量的比例??ㄋ拦?jié)點數(shù)處于 running 狀態(tài)超過閾值的節(jié)點數(shù)量。告警策略上我設置了兩級警告級和嚴重級。警告級發(fā)通知但不打斷比如成功率降到 95% 以下。嚴重級直接打電話比如成功率降到 80% 以下或者有節(jié)點卡死超過 10 分鐘。告警要帶上下文比如是哪個節(jié)點、哪個流水線實例、錯誤信息是什么這樣排查起來快。6. 從零搭建時的幾個關(guān)鍵決策6.1 自研還是用現(xiàn)成框架市面上有不少工作流編排框架功能很全但我的建議是先用自研的輕量方案跑通有明確痛點再考慮引入框架。原因是框架有學習成本和適配成本而且很多框架為了通用性做了大量抽象調(diào)試起來反而更麻煩。自研方案的核心代碼其實不多一個調(diào)度器加一個狀態(tài)存儲幾百行就能搞定。等你的流水線復雜到需要 DAG 編排、需要可視化界面、需要復雜的權(quán)限控制時再考慮引入框架也不遲。我見過不少項目一上來就上重型框架結(jié)果大部分功能用不上反而被框架的約束綁住了手腳。6.2 狀態(tài)存儲的容量規(guī)劃狀態(tài)存儲會隨著流水線數(shù)量增長而膨脹。一個流水線實例如果有 5 個節(jié)點每個節(jié)點的輸出平均 10KB那就是 50KB。一天跑 1000 個實例就是 50MB。一年下來接近 20GB。這個量級用普通數(shù)據(jù)庫完全扛得住但要注意索引和查詢優(yōu)化。如果數(shù)據(jù)量更大比如一天跑十萬個實例那就要考慮分庫分表或者用專門的時序數(shù)據(jù)庫。不過大多數(shù)場景到不了這個量級我建議先按單表設計等真的遇到性能瓶頸再優(yōu)化。過早分片會讓架構(gòu)復雜化得不償失。6.3 團隊協(xié)作下的接口約定如果流水線是多人協(xié)作開發(fā)的節(jié)點之間的接口約定就特別重要。我的做法是維護一份節(jié)點契約文檔每個節(jié)點明確寫清楚輸入需要哪些字段、輸出會提供哪些字段、可能拋出哪些錯誤、重試策略是什么。這份文檔是節(jié)點開發(fā)的依據(jù)也是排查問題的參考。契約變更要走流程先改文檔再改代碼通知所有相關(guān)方。我見過因為某個節(jié)點偷偷改了輸出字段導致下游節(jié)點集體掛掉的事故。有了契約文檔和變更流程這類問題能大幅減少。7. 我踩過的幾個印象深刻的坑7.1 狀態(tài)寫入順序?qū)е碌挠撵`成功有一次流水線報告某個節(jié)點成功了但下游拿到的數(shù)據(jù)是空的。排查了半天發(fā)現(xiàn)是狀態(tài)寫入的順序有問題代碼先寫了 success 狀態(tài)再寫 output_data結(jié)果寫 output_data 的時候失敗了狀態(tài)卻已經(jīng)是 success。重啟后調(diào)度器看到 success 就跳過了這個節(jié)點下游拿到空數(shù)據(jù)。修復方法很簡單把狀態(tài)和輸出數(shù)據(jù)放在一次寫入里要么都成功要么都失敗。如果存儲不支持原子寫入那就先寫數(shù)據(jù)再寫狀態(tài)狀態(tài)寫入作為提交動作。這個教訓讓我明白狀態(tài)管理里的順序問題能造成很隱蔽的 bug。7.2 冪等鍵包含時間戳的慘案早期我生成冪等鍵的時候順手加了個時間戳想著每次執(zhí)行都是新的。結(jié)果重試的時候因為時間戳變了冪等鍵也變了去重完全失效同一個操作被執(zhí)行了多次。更糟的是這個操作有副作用導致數(shù)據(jù)重復。修復方法是把冪等鍵改成只包含穩(wěn)定標識比如 pipeline_id 和 node_name。時間戳這種每次都變的東西絕對不能進冪等鍵。這個坑讓我對什么該進冪等鍵有了深刻認識只有那些在同一次邏輯執(zhí)行中保持不變的東西才能進。7.3 超時設置過短導致的誤判有個節(jié)點正常執(zhí)行需要 45 秒左右我一開始把超時設成了 60 秒想著留點余量。結(jié)果高峰期的時候節(jié)點執(zhí)行時間漲到 70 秒頻繁超時。超時后重試重試又超時陷入了惡性循環(huán)。后來我把超時改成 180 秒問題解決了。教訓是超時時間要基于實際觀測的 P99 耗時來定而不是拍腦袋。而且要考慮高峰期的影響留足余量。超時設得太短會把正常的慢請求誤判為失敗反而增加系統(tǒng)負擔。8. 后續(xù)可以繼續(xù)擴展的方向這套流水線跑穩(wěn)定之后我陸續(xù)加了一些擴展。一個是節(jié)點緩存對于輸入相同的節(jié)點直接返回緩存結(jié)果省掉重復計算。緩存鍵用輸入數(shù)據(jù)的哈希緩存有效期根據(jù)業(yè)務定。這個優(yōu)化讓重復任務的耗時降低了一大半。另一個是人工審核節(jié)點。有些關(guān)鍵步驟需要人工確認比如生成的內(nèi)容要人工審核后才能發(fā)布。我加了一種特殊的節(jié)點執(zhí)行時把任務掛起等人工在界面上點通過或拒絕后再繼續(xù)。這個節(jié)點讓流水線能處理需要人工介入的場景。還有一個方向是流水線的可視化。把每個節(jié)點的狀態(tài)、耗時、輸出用圖形界面展示出來排查問題的時候一目了然。這個我還在做目前是用簡單的 HTML 頁面渲染狀態(tài)數(shù)據(jù)夠用但不夠好看。這套架構(gòu)的核心思想其實就一句話把復雜任務拆成可獨立重試的小步驟把狀態(tài)外置以便隨時恢復。理解了這一點具體用什么技術(shù)實現(xiàn)都是次要的。我在實際項目里用這套思路處理過內(nèi)容生成、數(shù)據(jù)處理、報表生成等多種場景每次都能顯著降低調(diào)試成本和重跑成本。如果你也在做類似的多步驟任務不妨試試這個思路先從最簡單的兩三個節(jié)點開始跑通了再逐步擴展。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久精品性爱| 日本色天堂| 天天五月情| 五月婷婷免费在线观看| 久久久99精品| 超碰熟女拍拍| 久久综合首页| 久热超碰| 欧美性做爰大片免费看办公室| 色婷婷在线视频| 色五月天综合网| 97人人射| 国产午夜精品AV一区二区麻豆| 色婷婷亚洲精品天天综| 人妻22p| 九九精品网| 色五月综合网| 日本三级片片| 少妇AB又爽又紧无码网站| 五月婷婷在线免费观看 | a69在线视频| 亚洲操操操| 国产日韩av片| 五月婷婷婷| 99在线精品观看99| 久草五月| 色狠狠色综合久久久绯色aⅴ影视| 国产真实乱了老女人视频| 一本色道久久88加勒比| 91操在线| 五月天综合久久| 香蕉久久国产AV一区二区| 激情五月丁香五月| 精品九九视频在线观看| 天天操天天操天天操天天操天天操天天操| 26uuu欧美日本| 久久丁香五月天| 91九色精品| WWW.桔色成人.COM入口| 99思思热只有在这里看| 色综合丁香婷婷| 色婷视频| 国产午夜精品AV一区二区麻豆| AA片在线观看视频在线播放| 五月丁香婷婷99| 五月天另类图片区99| 色玖玖综合| 五月丁香啪啪啪综合网| 激情五月天之五月婷婷| 五月丁香六月婷婷欧美综合| 婷婷99狠狠躁天天躁| 激情综合五月| 亚洲愉拍99热成人精品| 91九色成人原创视频| 五月丁香少妇| 99在线视频免费| 啪啪啪啪五月天| 欧美日本国产欧美日本韩国99| Av九九| 久青青久| 婷婷五月天成人小说| 五月天丁香成人| 久婷婷| 少妇高潮呻吟A片免费看软件| 密着浓厚中出乚交尾GvG935| 六月婷色| 国产va在线视频| 日日爽天天| 五月婷婷激情| 99色色| 嫩草哈哈操| 91人操| 人人亚洲| 丰满熟女人妻一区二区三| 久操大| 欧美日韩成人在线| 激情图片99| 婷婷亚洲日本| 人人爱国产| 五月天开心色情网| 婷婷五月久久| 色婷婷亚洲| 五月天开心婷婷久久| 五月天涩涩| 狠狠操天天干| 婷婷香蕉| 99热超碰天堂网| www九九热| 久久这里只有精品16| 亚洲中文乱字字幕在线永久| 思思热在线| 密视AV综合在线| 另类的婷婷| 五月婷婷丁香在线| 夜夜夜夜夜操| 久久丁香社| 狠狠操之狠狠操| 国产精品色婷婷AV综合色色| 日韩中文欧美| 另类激情四射| 99爱在线观看视频| 色婷婷丁香五月| 在线成人国产| 色五月激情五月丁香五月婷婷啪啪综合 | 99精品热视频| www.五月天激情| 1024日韩| g00d人体西西| 五月婷综合性中心| 99热国产这里只有精品| 婷婷五月综合色中文字幕| Se.婷婷五月天| 激情婷婷六月天| 丁香五月综合| 丁香婷婷六月天| 亚州视频九九99| 97热精品| 超碰五月婷婷五月天| 中文网AV| 婷婷综合精品| 久久亭亭电影| 操逼在线视频| 日本人妻A片成人免费看片| 天天综合91入口| 狠狠久久婷五月综合色| 五月天婷婷激情小说电影| 在线不卡的视频| 影音先锋女人av鲁色资源网小说免费| 日本一级一片免费视频 | 香蕉久久国产AV一区二区| 久久色五月| 99色在线观看视频| 色播五月天激情| 操碰久| 呦呦AV| 亚洲中文字幕网| 色色色五月| 激情五月丁香色婷婷| 久久久精品AV| 婷婷色中文| 亚洲va欧美va国产综合久久久| 五月丁香久久| 99久久精品色老| 激情综合亚洲色婷婷五月| 婷婷五月激情中文字幕| 九九色精品| 国产日韩欧美| 久久月天堂| 丁香六月婷婷综合麻豆| 五月丁香啪啪啪| 日韩欧洲亚洲| 99热偷拍| 五月丁香久久久久| 日本色99| 色婷婷五月在线| 精品国产va久久久| 九九色婷| 天天拍久久| 丁香五月大香蕉| 丁香五月中文字幕| 亚洲成人在线免费| 九色自拍| 97干视频在线| 国产AV不卡福利| 五月激情久久综合网| 色婷婷亚洲婷婷| 伊人久久大香网| 欧美日本另类| 激情性爱网站| 九九成人视频| 99热色婷婷| 免费观看欧美成人AA片爱我多深 | 欧美三级A做爰在线观看| 欧美激情综合| 开心激情婷婷| 色黑鬼导航| 成人丁香五月| 狠狠操.com| 99网| 色色成人網| 天天爽天天操| 99爱视频精品| 婷婷丁香人妻天天爽| 99热大香蕉| 五月综合丁香婷婷| 日韩久久色| 男女免费视频999| 激情熟女网| 五月激情小说网| 丁香花五月天社区| 99色| 五月婷婷激情| 天天色色天天| 嫩草AV久久伊人妇女超级A| 天天操天天曰| 五月激情六月| 国内一级片| 99色播| 激情五月婷婷| 狠狠色丁香久久婷婷综合五月| 五月天丁香婷婷视频网址| 人人干Av| 久久五月天 91| 婷婷六月视频| 久久99三级在线视频| 99视频网| 国产精品人妻在线网址| 色一情一乱一乱一区91| 久久这里这里有精品免费视频| 婷婷色六月| 激情综合五月激情| av免费在线看不卡无毒| 日日爽日日爽| 久久婷婷久久| 亚洲欧洲国产精品| 五月天天天综合| 狠狠精品干练久久久无码中文字幕 | 大香网伊人久久综合| 人人色性网| 四川女人毛多水多A片| 婷婷开心激情综合五月天| 久久婷婷原创视频| 欧美丁香五月| 国产精品操| 99热日韩| 激情99热| 色 噜噜 九月 婷婷| 桃色五月天| 狠狠狠狠狠狠色| 久久六月天| 韩国情人在线电视剧免费观看高清版全集| 丁香五月大香蕉在线99| 天天操婷婷| 中文字幕97超级碰| 91丨九色丨东北熟女| 婷婷玉月丁香五月在线视频| 狠狠久久婷| 五月天色区| 亚洲成人在线观看网址| 日本久久高清| 午夜精品777| 婷婷五月天综合久久日美女| 亚洲婷婷欧美婷婷| a色色色色色| 老美AA片| 欧美狠狠一在草| 国产乱子轮XXX农村| 欧美va欧美va差| 五月婷婷 激情按摩| 第四色婷婷丁香五月| 9月色婷婷| 丁香色婷婷五月天| 亚洲小说欧美激情| 五月婷婷七月丁香| 永久精品| 这里只有精品网| 九九色之九九色88| 亚洲精品一区中文字幕乱码| 性爱视频久久| 丁香六月av| 五月天婷婷网站| 激情综合在线观看| 色婷婷五月婷婷五月婷婷五月| 无码一级片| 99自拍视频在线| 99人这里只有精品| 九月激情综合婷婷| 婷婷六月丁香五月| 五月激情综合美女久久| 色五月综合网| 丁香五月婷婷影视先锋| 九九色综合九九色| 五月婷婷丁香瑟瑟视频| 五月丁香手机在线| 免费成人中文字幕| AA丁香综合激情| 五月丁香六月婷婷久久| 六月丁香视频网站| 婷婷中文字幕在线| 国产成人一区二区三区在线观看 | 99国产这里只有精品| 影音先锋四区| 婷婷五月激情综合网| 99热青青草| 99爱免费视频在线观看| 亚洲第一黄网| 亚洲殴洲精品Av在线| 少妇高潮一区二区三区99欧美| 亚洲激情色色| 99er日韩| 4399伦理午夜| 男人操女人高潮91视频| 99自拍视频在线| 99综合一区| 久久综合性| 9热成人在线视频| 久热这里| 五月天激情综合10p| 色婷婷久久综合| 97操碰98| 色播五月丁香| 91碰超| 色婷婷五月综合在线| 伊人色综合影院视频| 91紱請| 日韩性视频| 日本欧美国产| 丁香五月色综合色播五月| 97碰人人操| 亚洲狠狠终合停停终合| 99精品无码| 天天操天天曰| 五月天久久www| 99色色网| 野外99热| 国产精品18久久久| 天天天天天天操| 精a品a| 五月丁香综合激情| 丁香久月| 国产欧美大香蕉一区| 成年人丁香五月| 丁香六月婷婷五月婷婷| 婷婷涩五月天综合| 99热视| 丁香婷婷五月色成人网站| 五月婷婷香蕉| 9久精品| 性色婷婷| 色色欧美色色| 亚洲婷婷婷| 另类亚洲2| 精品国产a| 色婷婷香蕉| 色婷婷a v| 深爱激情婷| 天天拍夜夜爽| 怡红院院在线导航网 | 久久99精品视频| 99碰在线视频| 91re色综合视频| 91色色色| 无码激情| 色五月婷婷影院| 淫水导航| 日日激情网| 欧美99| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 婷婷社区五月天| 亚洲九九九九| 亚洲舔观看| 婷婷色色狠狠| 亚洲色9| 日本色99| 激情文学第四色婷婷丁香五月| 色综合色色色色色色综合| 影音先锋高清无码资源网| 超碰99在线| 91ncom.色| 婷婷五月天天爽| 婷婷六月丁香欧美视频在线| 天堂草在线观看| 青青草六月丁香| 色播播之激情五月婷婷| 综合欧美五月婷婷| 9热在线观看| 人人叉久| 97碰成超视频免费视频| 国产婷婷五月| 狠狠色丁香久久婷婷综合五月| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 99这里只有免费的精品| 欧美婷婷日本| 五月天伊人日日噜影片AV| 激情五婷网| 久色大| 婷婷视频网| 97色在线视频| 日韩成人电影AV| 欧美日韩91| 五月婷婷手机在线| 久久婷婷东京热大香樵| 五月婷婷丁香综合| 综合五月丁香久久| 丁香五月激情综合| 日本丁香五月| 中文字幕成人| 婷婷五月天在线观看免费| 婷婷五月天久久久| 激情小说五月天| 超碰色色综合| 精品人妻伦九区久久AAA片| 六月婷婷开心| 日本精品。999| 久久精品在线| 91超级碰人人操| 99婷婷色| 激情六月一二| 操操碰| 婷婷五月激情小说| 狠狠色官网| 热91久| 中文字幕日本最新乱码视频| 丁香五月自拍| 婷婷成人AV| caopeng超碰| 欧美成人日韩| 丰满人妻一区二区三区| 老司机日日夜夜青草| 思思热99er| 超碰人人91| 色欲婷婷五月天丁香| 伊人久久大香线蕉av一区| 99性爱视频| 99婷婷国产最新视频| 色域五月婷婷丁香| 996er热| 人妻久久久| 一级片操逼视频| 欧美日韩成人综合9| 青青久久91| 婷婷五月丁香香蕉| 在线视频激情网站| 亚洲AV综合在线观看| 色很很96| 天天日狠狠| 亚洲噜色| 日本爆乳片手机在线播放| 玖玖爱伊人| 九九伊人网| 99爱精品| 久久久久9久无码视频| 成人AV综合在线| 大香蕉中文| 色情五月天视频网| 丁香五月 六月婷婷首页| 激情文学五月丁香六月婷婷| 久久婷婷色| 我爱大香蕉| WWW色五月| 五月丁香视频色色| 狠狠色丁香久久久婷| 天天干夜夜操A片| 精品99爱免费视频在线观看| 五月色天情| 五月婷婷啪啪网| 五月丁香五月综合欧美| 少妇人妻人伦A片| 日本天堂爱爱| 99自拍网| 99视频35精品视频在线观看| 色婷婷九月综合| 丁香婷婷色情| 色婷婷色综合| 激情碰碰碰| 黄网在线播放| 九九精品热| 婷香五月| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 亚洲熟妇AV乱码在线观看| 色综合久久五月| 人妻久久久久久久久妻久久久久久久久 | 狠狠干综合| 激情性爱婷婷| 中文av网站| 色婷婷久久久| 色五月婷婷在线| 日本一级一级一级一级| 五月色色激情网| 五月天婷婷在线AN| 婷婷爱五月天| 人妻Av在线| 影音先锋女人av鲁色资源网小说免费| 四色99久久| 日本欧美成人片AAAA| 亚洲乱码日产精品BD| AV成人在线网站| 思思热闹这里只有精品| 丁香婷婷六月在线资源观看| 久操综合| 欧美性生交XXXXX无码小说| 97色色网| 91久久1118| 青草青青草| 五月天社区| 99热九九在线| henhencao国产在线| AV色婷婷| 51精品国自产在线| WWW,激情五月天,COM| 日本色综合| 九九爱激情| 99免费综合网| 99九九在线观看免费| 疯狂做受XXXX高潮A片| 色婷婷在线影院| 这里只有精品热| 97干免费视频| 森林影视大全,最好看的2019年视频| 日本久久爱| 婷婷激情综合网| 五月色丁香婷婷综合| 久热这里精品免费| 五月天婷婷激情| 深爱婷婷基地| 5月婷婷6月六月丁香| 激情综合五月天| 99热情这里只有精品在线播放| 思思热99热| 色欲色香,www,com| 天天色伊人| 青草激情综合| 国产熟女大叫受不了| 久久婷婷综合五月天| 中文字幕按摩做爰| www激情网站| 99热.com| 久久精品99久久久久久久久| 色播五月丁香婷婷| 少妇人妻偷人精品无码视频新浪| 《战争与艾拉》完整版| 五月天成人小说| 99精品在线观看| 涩五月婷婷| 九九99热| 色综合婷婷| 亚洲免费视频网站| 亚洲综合激情五月| 久久九网| 五月天婷婷人妻| 日本V在线观看不卡视频网站| xxxx五月| 超PEN精品在线| 婷婷五月天在线综合导航| 中文字幕婷婷| 日本3级片偷拍网站| 综合婷婷都市激情| 国产色网站| 日韩另类| AV伊人青草丁香六月| 色香欲综合| 国产永久一二一起草| 综合色久| 丁香六月天AV| 免费看欧美成人A片无码| 婷婷五月综合婷婷| 国内一级片| 99激情在线| 色射影院| 色婷婷五月基地在线| 蜜臀AV在线观看| 五月婷婷狠狠干| 99天堂网| 色婷婷丁香五月| 五月丁香婷婷福利| www.射伊蕉婷婷| 国产首页在线| 天天色99| 色五月久久成人婷婷| 99热这里有精力| 五月丁香久久综合色| 久久爱婷婷| 一起肏在线视频| 大香蕉久热| 99热最新网址| 成 人片 黄 色 大 片| 亚洲成人乱码av网站| 婷婷综合仓库中文| 天天综合影院| 国产永久一黄| 丁香五月影院| www亚洲无码| 天天肏视频| 俺来也综合网精品一区| 人人摸人人摸| 国产片色| 婷婷综合激情| 在线观看日韩12345区| 亚洲AV中文在线| 国产在线中文字幕| 婷婷深爱网| 中文字幕性爱视频| A片试看120分钟做受视频红杏 | 欧美丁香五月天| 人人插9| 国产精品久久久久久喷浆| 六月丁香五月婷婷| 99视频在线观看欧| 天堂五月婷婷| 欧美肉大捧一进一出免费视频| 99爱视频在线播放| 狠狠色狠狠干| 欧美日韩色色| 亚洲成人免费在线| 久久人人九| 99色最新在线视频网站| 天天操夜夜啊| 日本欧特黄色刺激一区影视久精品无码| 色色色色色五月丁香| 久久久久9999| 五月天婷婷亚洲| 操操操AV| 丁香五月色激情| 丁香五月色| 狠狠色综合网站| 2015超碰| 欧美性生交XXXXX无码小说| 五月天久久网站| 久久五月丁香婷婷| 成人无码精品1区2区3区免费看| 五月丁香六月婷婷综合| 狠狠色丁香99| 激情综合女人网五月播播| 日本97在线看片| 久久久婷婷| 99re视频精品| 深爱五月月天| 久久全色| 少妇熟女视频一区二区三区| 五月婷婷AV| 亚洲第精品| 日韩久久视频| 久99热在线观看| 久久99免费视频| www.激情五月| 五月婷婷黄色| www,天天干| 婷婷五月综合啪| 综合综合色色| 婷婷玖玖五月天| se色婷婷视频| 97日韩无套内| 精品久久久久成人码免费动漫| 超碰99在线| 婷婷99| 六月丁香久久| 99精品综合| 五月天激情啪啪| 婷婷久久免费看| 亚洲99在线| 色播色丁香五月| 日韩AV在线电影| 九九AV| 另类在线| 五月开心播播网| 97精品人人A片免费看| 色色色色色综合| 99色婷婷视频| 四色永久成人网站| 大地9中文在线观看免费高清 | 丁香五月玖玖| 亚洲国产网址| 9伊人网| 亚洲成人av在线观看| 六月丁香啪啪| 久久国产一区二区三区| 五月丁久久| 天天综合区| 99这里有精品视频| AV大香蕉| 免费无码毛片一区二区A片| 综合欧美五月婷婷| 久久国产高潮白浆免费观看99| 东北熟女视频99| 色9月| 五月婷婷激情综合| 九九这里只有精品在线视频| 快乐激情五月色婷婷| 婷婷亚洲综合| 丁香五月综合在线| 激情六月五月婷婷综合网| 日韩草草草草草草草草草草草草| 色色精品色| 99热国产精品| 婷婷五月天改成什么了| 婷婷 激情 五月| 精品久久久久久久人妻| 婷婷综合色五月天| 大香蕉久久婷婷精品综合| 97很鲁在线视频| 伊人丁香五月婷婷潮吹| 亚洲中文字幕在线观看| 毛片色五月| 五月天开心激情综合网| 森林影视大全,最好看的2019年视频| 国产一区18| 一级性爱大片| 色综合久久无码| 国产毛片操B| 五月开心激情| 色99在线| 五月丁香五月综合欧美| 色噜噜狠狠色综合日日| www久久久久久久久久久| 天天日天天操心| 六月婷婷毛片| 婷婷色一二三区波多野结衣| 综合亚洲AV| 亚州色婷婷| 国产1区2区3区在线观| 99惹| 91婷婷五月天综合视频| 日日夜夜小色哥| 99在线精品免费视频| 婷婷五月丁香久久| 五月丁香激情综合| 狠狠色丁香乆乆| 成人毛片在线免费观看| 亚洲激情四射| 99视频精品全部免费 在线| 五月丁香六月激情狠狠| 色五月天激情| 久久色五月天综合网| 色播激情五月天| 99热99在线| 亚洲成av人影院| 日韩五月婷婷久久| 综合99久久天天综合| 色婷丁香| 五月婷婷熟女| 久热免费| www.色婷婷.com| 99九九99九九九视频精品| 国产精品日日躁夜夜躁| 国产阿姨日皮艹逼内射视频| 色婷婷先锋| 激情五月六月婷婷| 五月天婷婷无码| www.久9| 久久久这里都是精品| 激情综合网激情五月欧美| 免费在线观看欧美激情xx小视频| 亚洲综合色色色| 五月丁香天堂| 五月天婷婷网站888| 青草视频在线蜜臀| 亚洲AV网址| 日本强伦片中文字幕免费看| 中文字幕婷婷在线| 99精品视频在线6| WWW五月| 国产成人精品一区二三区熟女在线| 亚洲午夜在线视频| 五月色网| 九九久久网| AV九九| 婷婷五月天综合亚洲| 欧美激情五月综合| 色婷婷的五月天| 丁香五月社区| 第五婷婷伊人丁香色| 色综合开心五月深爱五月| 思思热精品在线| 北条麻妃伊人 | 日韩aaaaa| 蜜桃人妻无码AV天堂三区| 欧美久久婷婷| 婷婷免费视频| a级毛片一区二区免费视频| 久久视频66| 天天日天天色| 无码一区二区三区四区五区91c| 久久婷色| 丁香花五月天激情| 国产无套精品一区二区| 啪啪啪大香蕉| 玖玖热视频| 综合超碰熟| 国产综合网在线| 婷婷五月色| 婷婷五月亚洲综合| 亚洲综合色色| 色色五月天丁香婷婷| 丁香激情五月天| 另类五月激情| 色青青五月| 色婷婷六月| 99日本精品视频热| 26uuu日韩| 亚洲精品电影| 五月丁香综合激情网| 日本黄色在线观看| 狠狠操狠狠操AV| 九月婷婷综合色干| 久久久久久久久久人妻| 爱穴久久| 婷婷五月天久久久| 婷婷五月天天激情| 国产这里只有精品| 99久热精品在线| 中文在线成人| 丁香 亚洲 久久| 综合婷婷五月天| 9精品视频在线| 丁香婷婷五月| 91丁香| 激情VA视频| 免费91久久精品| 伊人AV五月婷| 欧美日韩国产一区二区| 九九九色综合| 人人草成人视频| 日本欧美成人片AAAA| 五月成人网天天| 超碰成人在线免费观看| 激情久久五月天| 另类在线| se色婷婷视频| 久久99热这里只有精品| 天天干,天天操,天天射| 久久婷婷亚洲| 婷婷另类开心| 99碰碰中文| 色情婷婷五月天| 欧洲不卡视频| 婷婷丁香五月亚洲17cao| 久久女婷| 久操香蕉| 久久美女五月天| 成人精品在线| 婷婷狠狠操| 超碰狠狠色| 九热网站| 大香蕉婷婷五月天| 婷婷五月丁香色情| 激情五月婷婷丁香综合网| 久久丁香五月婷婷| 丁香六月婷婷综合麻豆| 玖玖婷婷色欲| 开心激情网五月天| 国产成人av在线播放| 成熟妇人A片免费看网站| 涩婷婷五月天| 99久久66| 五月婷婷精品视频| 思思热久久艹| 亚洲行行色色| 午夜色丁香| 久99视频| 丁香六月婷婷综合缴| 五月婷婷久久激情| 色吊操色妞| 婷婷五月天久久久| 婷婷激情网五月天| 色久婷婷五月| av首页在线| 丁香九九九九| 欧美精品熟女一区二区| 日韩久综合| 岛国AAAV| 丁香九月激情| 五月天丁香成人社| 亚洲 无码 中文字幕 中出| AV无码免费| 五月丁小婷婷激情四射| 狠狠人人婷婷| 丁香五月亚洲综合| 99黄色性生活| 人妻视频在线| 久久婷婷艹| 五月天色图| 色中色综合| 色播五月丁香综合| 大香蕉五月| 色色色五月天婷婷| 色综合久久久久| 91久久精品无码一区二区三区| www.夜夜.com| 99这里的视频都是精品| 92久久| 婷婷日韩| 午夜成人av在线| 高清一区二区三区日本久| 在线成人网址| 这里只有精品视频免费在线观看| 五月天性色| 狠狠干综合| 丁香婷色| 婷婷五月天精品| A片天天| 岛国AAAV| 欧美三级巜人妻互换| 天天日夜夜爽| 久久99精品久久久久久噜噜| 六月色播| 五月亚洲| 婷婷狠狠五月综合| w婷婷五月婷婷w| 激情婷婷五月天伊人在线观看| 五月丁香怕怕综合| 婷婷射图五月天| 九热免费视频| 丁香五月激情网| 色五月综合在线| 4438激情网| 9 1超碰九色| 五月丁香激情四射综合| 色色色激情| 五月天久久久| 超碰av在线| 狠狠干狠狠干| 人人操91| 五月婷婷中文字幕AV| 91婷婷搞| 99热狠狠操| 成人AV中文字幕| 五月丁香啪啪啪综合网| 97人人操人人干| 亚洲激情高潮| 五月天激情AAAA| 亚洲视色| 99亚洲视频| 超碰国产在线| 五月天激情网图片| 亚洲成人在线观看av| 五月天伊人| 欧美婷婷色| 91色五月在线观看| 九九中文色色| 色色网91| 婷婷五月天影院| 电影爱拉战争免费观看| 五月婷婷花| 国产色色视频| 91丨九色丨东北熟女| 97色色色| 123日本不卡在线| 97色射| 97色碰碰公开视频| 久久免费9| 98毛片| 天天日日夜夜爽。| 久久久香| 五月天社区| 激情五月婷| 欧美性生交XXXXX无码小说| 五月天婷久久| 9福利性视频欧美| 激情开心五月婷婷| 色婷婷五月天在线| 五月丁香六月婷婷啪啪| 内射爽无广熟女亚洲| 丁香婷婷天堂| 中文字幕av在线| 色婷婷在线视频久| 五月天影院| 久久丁香五月| 99精品视频免费观看近期发布| 99热在线网站| 天天插天天插天天日| 婷婷五月伦理网站| 婷婷五月综合在线| av中文网| 激情小说五月天社区丁香 | 99爱最新免费视频在线观看| 激情五月天电影| 五月天激情婷婷| 色婷婷无吗| 国产VA播放| 丁香五月六月婷婷综合| 午夜天堂一区人妻| 超碰男人色| 五月丁香婷婷六月天| 在线中文字幕视频| 精品国婬伦V无码久久久| 99热热九九| 超碰男人色| 五月激情综合美女久久| 激情综合网五月激情| 丁香五月影视| 色久综合天天做视频| 99精品亚洲| 99久久亚洲国产| 人人视频色| 国产成人亚洲综合A∨婷婷| 久久一伦| 快乐婷婷五月天| AV色婷婷| 久久九九囯产| av人人操| 99综合网| 99久久久免费| 欧美影院| 97精品综合久久内射| 69五月天视频| 99热播放| 97婷婷丁香| 99精色| 91婷婷视频| 91精品国产色猫| 深爱五月日韩| 五月丁香影视| 六月激情婷婷色| 久久综合爱| 久久婷婷丁香| a久久| 超碰网站在线观看| 色婷婷丁香五月在线观看| 天天干天天日蜜臀av| 五月久久婷婷| www.99热在线观看| 日韩天堂久久| 色色网五月激情| 伊综合蕉| 婷婷五月六月丁香综合| 韩日AV片| 五月激情五月婷婷五月天在线| 日本91在线播放| 日日噜狠狠色综合久久| 九九av| 色婷婷五月天天天天天| 丁香五月婷婷基地| 丁香五月色播中文在线播放| 亚洲色色香蕉| 久久男人网婷婷| 久热网站| 欧美精品A片一区在线观看| 久久天天| 97碰在线| a在线观看| 五月开心激情网| 苗黎美女四级成人版一级二级毛片| www.五月天。com| 色色综合网www| 日日懆天天懆| www.九九婷婷| 婷婷丁香综合成人| 成人一区在线观看| 91九色中文| 美女丁香五月天| 成人草榴视频| 亚洲欧美一区二区三区爱爱动图 | 91操片| 五月天综合久久| 五月六月丁香婷婷在线观看| 国产精品成av人在线视午夜片| 亚洲五月花| 九九精品在线视频观看| 五月丁香综合| 国产日日操夜夜操的肉棒视频| 亚洲激情五月| 九热视频| 婷婷成人丁香色情基地30| 国产色色小草视频| 色色无码| 99热 这里只有精品 国产 日韩| 色五月AV| 色婷婷五月天激情综合| 97精品综合久久内射| 可以免费观看的AV| 都市激情久久| 碰久久精品w| 婷婷色六月| 婷婷深爱网| 国内久久亭亭| 婷婷五月天成人网| 五月丁香综合在线| 成人噜噜网| 开心久久网婷婷| 97操操| 亚洲色色香蕉| 久久五月天色婷婷| 成人精品视频99在线观看免费| 九九性爱网| 色五月av伊人| 天堂中文国产| 天天插天天干| www.五月天激情| 亚洲五月丁香综合网| 丁香五月激情啪啪综合| 四色女婷婷| 97资源碰碰| 伊综合蕉| 婷婷五月天av| 激情五月婷黄版| 99秘 在线| 久久刺激网| 日本在线观看91| 天天操天天干天天日| 欧美丁香婷婷五月天| 五月天无码视屏播放| 九九热99视频在线| 999热这里只有美国精品| 亚洲综合五月| 久久婷婷五月天激情四射| WWW丁香五月| 啪色综合| 99视频在线看| 成人精品视频99在线观看免费| 9色在线| 色五月婷婷色五月婷婷色五月婷婷| 国产综合激情五月久久| 9l视频自拍九色9l视频在线观看| 久久婷婷五月综合色丁香花| 色播丁香| AV性爱在线| 久久婷婷五月综合色奶水99啪| 激情六月天婷婷| 成人网站免费在线播放| 91 久热| 五月天婷婷社区| 色色狼人综合| 五月婷激情| 99免费在线| 色色网站| 婷婷五月天BBw| 狠狠操狠狠干综合| 天天爽日日爽夜夜爽| 天天操天天操综合| 婷婷大美在线| 国产日批视频免费播放| 六月丁香啪啪| 99re最新地址视频| 99,色| 99久久99久久综合| 99riAV国产精品视频| 久久综合色五月| 丁香婷婷五月综合影院| 人操91在线| 丁香五月影| 97色精品视频 | 精品婷婷五月天| 成人精品一区二区三区四区五区 | 天天爽,夜夜爽| 五月天啪啪啪| 日本九九视频| 婷婷国产成人| 日韩 中文 欧美| 99热6精品| 涩五月婷婷| 射婷婷中文字幕| 337久久| 色综合99无码 | 欧洲亚洲免费视频9| 九九aV| www.激情在线| 久久这里只有国产精品视频| 婷婷五亚洲| 国产视频婷婷| 五月婷色色| 色999亚洲人成色| 91热爆在线| 丁香九月婷婷| 99无码视频| 亚洲国产精品二二三三区| www.天天干| 国产av一区二区三区| 色色色色色色综合网| 色yeye色综合| 亚洲精品国产setv| www.五月婷婷久久.com| 人妻久久久久| 婷婷射图五月天| 人妻操操色| 九九无码| 五月天婷婷基地| 九九精品9| 91干视频| 婷婷综合成人五月天| 99爱视频在线观看这里只有精品| 97欧美在线| 欧美色图天堂网| A片试看120分钟做受视频红杏| 超碰99热精品在线| 色五月婷婷av| 色五月婷婷婷婷| 综合久久高清| 成人做爰高潮A片免费视频| 人人爽人人爽人人爽人人爽| 99精品在线播放| 99久久思思| 九九热视频精品| 午夜爱爱网站| 国产成人AV不卡| 久久香蕉丁香| sewuyuejiqingwang| 五月天激情综合| 成人中文网| 美欧日韩国产成人在战| 天天日夜夜草进麻麻的子宫| 91久久精品无码一区二区三区| 亚洲综合五月| 中文网婷婷字幕婷| 婷久看人爽| 伊人久久大香线蕉av一区| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 欧美S码亚洲码精品M码| 五月天婷婷网站| 网色99| 久久久大香蕉| 五月丁香狠狠地噜噜噜噜| 成人在线网址| 色色色色色色色色色色色色色五月天| 激情婷婷五月天网址| 日日日天天干| 婷婷综合久久| 亚洲色图日韩网址| 啪啪五月天啪啪| 五月丁香免费看| 亚洲av无码精品色午夜| 777.色色| 亚洲午夜AV| 综合激情九月婷婷,激情综合婷婷中文字 | 国内外色色色色色成人视频| 99热这里有精品首页10| 天天做天天爱天天综合网| 大学生高潮无套内谢视频| 久久99婷婷| 伊人超碰| 青青艹b| 婷婷丁香在线播放| 91聚色综合网| 久久色频| 99色热| 99色激| 丁香婷婷基地| 大香蕉久久久久| 色九月婷婷综合| 色呦呦美女| WWW免费视频碰碰碰碰| 色综合色色色色色色综合| 色色婷婷综合网| 欧美顶级少妇做爰HD | 激情文学第四色婷婷丁香五月| 色情五月天婷婷| 精品亚洲国产成AV人片传媒| 色五月丁香激情视频| 丁香五月激情综合| 久久久中文| 五月天婷婷在线观看| 成人日韩欧美| 婷婷色播婷婷| 丁香五月情色| 色色色色综合网| 狠狠综合| 国产精品美女久久久久AV超清 | 色综合久久综合中文综合网| 婷婷综合五月天| 97色97干| 婷婷综合在线| 7月婷婷六月丁香| 激情五月天影院| 怕怕av| 碰碰碰97国产| 激情五月丁香六月| 婷婷综合色网| 色五月琪琪| 九九视频精品这里只有| 欧洲色区| 五月激情网站| 国产性爱一级| 色狠狠综合| 色网站99| 亚洲日比视频| 五月丁香六月激情视频| 99九九综合久久九九| 狠狠干婷婷| 精品色色网| 牛牛色av| 婷婷五月丁香综合| 五月丁香啪啪拍| 天天日天天肏天天奸| 影音先锋777xfplay色资源网站| 国产免费一区二区三区三州老师F1F1.CC | 九九99精品视频在线观看| 亚洲六月色|