欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

LangGraph斷點恢復(fù)與冪等執(zhí)行:生產(chǎn)級Agent穩(wěn)定性實踐

LangGraph斷點恢復(fù)與冪等執(zhí)行:生產(chǎn)級Agent穩(wěn)定性實踐 做完十幾個 Agent demo 之后你會發(fā)現(xiàn)一個殘酷的事實在 Jupyter Notebook 里跑得挺順的智能體一上生產(chǎn)就原形畢露。用戶刷新一下頁面任務(wù)重跑一遍錢扣了兩次凌晨三點模型調(diào)用超時整個流程從頭再來前面寫進(jìn)數(shù)據(jù)庫的狀態(tài)全得重建更頭疼的是人工審批環(huán)節(jié)——Agent 運行到一半要等領(lǐng)導(dǎo)點個按鈕結(jié)果進(jìn)程一重啟圖的狀態(tài)沒了。LangGraph 斷點恢復(fù)和冪等執(zhí)行就是專門治這三類毛病的。這篇文章我把這套東西從原理到落地一次講透代碼能直接抄。在正式動手之前有必要先說說 LangGraph 在整個技術(shù)棧里的位置?,F(xiàn)在搜 LangGraph 教程十個里有八個會糾結(jié)它和 LangChain 的區(qū)別。我的理解很簡單LangChain 是一把瑞士軍刀里面全是工具函數(shù)、模型封裝、Prompt 模板這些零件而 LangGraph 是裝刀的戰(zhàn)術(shù)背心它關(guān)心的是你身上這些裝備怎么按順序掏出來、掏到一半被打斷能不能塞回去、事后能不能從某個位置繼續(xù)掏。它通過狀態(tài)圖的方式組織 Agent 的執(zhí)行流讓每一步都有跡可循、可停可續(xù)而且把狀態(tài)和檢查點作為一等公民內(nèi)置進(jìn)了框架。本文會從斷點恢復(fù)的底層機(jī)制講起然后進(jìn)入冪等執(zhí)行這個工程化繞不開的命題最后用一個 FastAPI LangGraph 的實戰(zhàn)項目把它們串起來。這個方案適合正在把 Agent 從 Demo 推向生產(chǎn)的開發(fā)者也適合被AI 下地干活折磨得懷疑人生的后端工程師。1. 先搞清楚一個前提LangGraph 到底在解決什么問題1.1 LangGraph 和 LangChain 的本質(zhì)區(qū)別很多人問 LangChain 和 LangGraph 的面試題怎么答其實就是一行話的事LangChain 提供了與模型、工具、文檔交互的抽象能力LangGraph 則是把這些能力組織成一張可執(zhí)行、可暫停、可恢復(fù)的狀態(tài)圖。LangChain 的 Chain 也有順序執(zhí)行的邏輯但這種執(zhí)行是一把梭的——鏈一旦啟動要么跑完要么失敗重來中間不保留可以被外部干預(yù)的狀態(tài)。LangGraph 則把執(zhí)行過程建模成由節(jié)點Node和邊Edge構(gòu)成的有向圖每個節(jié)點就是一次計算或一個工具調(diào)用邊定義了流轉(zhuǎn)規(guī)則。關(guān)鍵差異在于LangGraph 里的圖在每次節(jié)點運行前后都會生成一個狀態(tài)快照也就是 checkpoint你可以通過它實現(xiàn)時間旅行、條件分支重放以及人工介入。這種差異帶來的直接感受是用 LangChain 寫 Agent像在流水線上干活從頭到尾一氣呵成用 LangGraph 寫 Agent像在玩有存檔的游戲任何時刻都能存一檔、讀一檔、改一檔再繼續(xù)玩。建議學(xué)習(xí)路徑也很直接先用pip install langgraph跑通官方手冊中文版里的 ReAct 示例理解節(jié)點、邊、狀態(tài)這三個核心概念再看本篇文章涉及的狀態(tài)持久化和中斷機(jī)制最后再上手真實業(yè)務(wù)改造。1.2 斷點恢復(fù)的本質(zhì)把圖執(zhí)行變成可中斷事務(wù)斷點恢復(fù)聽起來很高端本質(zhì)上就是數(shù)據(jù)庫事務(wù)里 Savepoint 和 Rollback 的思想搬到了 Agent 編排層。LangGraph 在執(zhí)行一個節(jié)點前會檢查是否有可恢復(fù)的 checkpoint如果有它不會從頭跑而是直接恢復(fù)到上次中斷后的節(jié)點繼續(xù)執(zhí)行。這里涉及三個核心概念thread_id、checkpointer、checkpoint_id。thread_id 是會話標(biāo)識LangGraph 用它區(qū)分不同的對話和任務(wù)同一個 thread 的多次執(zhí)行共享狀態(tài)checkpointer 是存儲后端決定 checkpoint 和狀態(tài)持久化到哪里比如內(nèi)存、SQLite、Postgrescheckpoint_id 則是每次圖執(zhí)行生成的狀態(tài)版本號相當(dāng)于游戲存檔的時間戳。你可以這樣理解thread_id 是游戲存檔的文件名checkpointer 是硬盤checkpoint_id 是存檔的時間點。一個 Agent 應(yīng)用對應(yīng)多個 thread_id每個 thread 有自己的一系列 checkpoint_id當(dāng)你用同一個 thread_id 再次調(diào)用圖時LangGraph 會找最新的 checkpoint 作為起點。這套機(jī)制天然適合 human-in-the-loop 場景Agent 執(zhí)行到需要人工審批的節(jié)點先暫停把狀態(tài)寫好存檔然后告訴外部我需要人來確認(rèn)人類做出決定后應(yīng)用再用同一個 thread_id 調(diào)用續(xù)跑接口LangGraph 會從斷點接著走而不是把之前的工作推倒重來。2. 斷點恢復(fù)的落地姿勢從圖級斷點到節(jié)點級中斷2.1 編譯期斷點 interrupt_before / interrupt_after用 LangGraph 實現(xiàn)斷點最直觀的方式是在編譯圖的時候指定斷點位置。interrupt_before表示進(jìn)入指定節(jié)點前暫停interrupt_after表示離開指定節(jié)點后暫停。這種方式適合流程固定的場景比如必須先審核、后下單。代碼層面非常簡單from langgraph.graph import StateGraph, START, END # 假設(shè)我們定義了一個簡單的 Agent 圖 graph StateGraph(MyState) graph.add_node(plan, plan_node) graph.add_node(execute, execute_node) graph.add_node(review, review_node) graph.add_edge(START, plan) graph.add_edge(plan, execute) graph.add_edge(execute, review) graph.add_edge(review, END) checkpointer SqliteSaver.from_conn_string(checkpoints.db) # 編譯時指定斷點 app graph.compile( checkpointercheckpointer, interrupt_before[review], # 進(jìn)入 review 前停住 interrupt_after[execute], # execute 完成且寫入狀態(tài)后停住 )這樣編譯完之后你調(diào)用app.invoke(input, config{configurable: {thread_id: order_001}})圖會一路執(zhí)行到 execute 節(jié)點然后停在進(jìn)入 review 之前。此時圖的狀態(tài)保存在 checkpoints.db 里進(jìn)程掛了也不怕。要恢復(fù)只需要再次調(diào)用同一個圖不需要重新傳完整輸入。很多人這里會踩坑以為恢復(fù)是重新調(diào)用一次原來的輸入其實 LangGraph 的邏輯是只要 thread_id 一致且該 thread 存在未完成的執(zhí)行調(diào)用就會嘗試從最近的 checkpoint 續(xù)跑??梢韵胂蟪梢粋€斷點續(xù)傳的過程恢復(fù)時只需要傳你需要注入的外部決定比如審批結(jié)果result app.invoke( None, # 或傳審批結(jié)果取決于業(yè)務(wù)邏輯 config{configurable: {thread_id: order_001}} )執(zhí)行會從interrupt_before指定的節(jié)點重新開始先執(zhí)行 review再繼續(xù)后續(xù)邊。編譯期斷點的缺點是死板一旦編譯就固定了如果業(yè)務(wù)流程是動態(tài)的這種方式就不夠靈活。2.2 節(jié)點內(nèi)中斷 interrupt() 與 Command(resume)LangGraph 提供了更靈活的動態(tài)中斷方式在節(jié)點內(nèi)部調(diào)用interrupt()函數(shù)。這個函數(shù)的作用相當(dāng)于在任意指定的執(zhí)行點舉手暫停它會把一個 payload 暴露給外部系統(tǒng)比如前端頁面等待外部通過Command(resume...)把決定塞回來。說一個真實業(yè)務(wù)Agent 在幫用戶下單前需要確認(rèn)價格是否可接受。你在確認(rèn)價格這個節(jié)點里寫from langgraph.types import interrupt, Command def confirm_price_node(state): # 準(zhǔn)備好給用戶看的報價信息 payload { order_id: state[order_id], total_price: state[total_price], items: state[items], } # 中斷把 payload 暴露出去等待用戶確認(rèn) decision interrupt(payload) if decision.get(approved): return {status: approved} else: return {status: rejected, reason: decision.get(reason)}interrupt()被調(diào)用后圖的執(zhí)行立刻暫停不會繼續(xù)往下走。此時如果你用app.get_state(config)查看狀態(tài)會發(fā)現(xiàn)圖處于中斷狀態(tài)且可以拿到interrupt里的 payload。外部應(yīng)用比如 FastAPI 接口把這個 payload 展示給用戶用戶點同意或拒絕應(yīng)用把決定作為參數(shù)傳回from langgraph.types import Command # 用戶點了“同意” app.invoke( Command(resume{approved: True}), config{configurable: {thread_id: order_001}} )Command(resume...)會喚醒中斷的圖把值傳給interrupt()的返回值。執(zhí)行會接著 confirm_price_node 往下走。這種方式實現(xiàn)了真正意義上的動態(tài)暫停和外部介入LangGraph 官方叫它 human-in-the-loop是斷點恢復(fù)最強(qiáng)的一個用法。2.3 狀態(tài)檢查、修改與跳過執(zhí)行除了暫停和恢復(fù)我們經(jīng)常需要在恢復(fù)前修改圖的狀態(tài)或者臨時跳過某個節(jié)點。LangGraph 提供了get_state和update_state兩個接口用途很像數(shù)據(jù)庫里的查詢和 UPDATE。config {configurable: {thread_id: order_001}} # 查看當(dāng)前 state 和 checkpoint snapshot app.get_state(config) print(snapshot.values) # 當(dāng)前狀態(tài)字段 print(snapshot.next) # 下一步會執(zhí)行哪些節(jié)點 # 手動修改 state app.update_state(config, {customer_name: 張三}, as_nodeplan)修改 state 的值會生成一個新的 checkpoint后續(xù)執(zhí)行基于新的狀態(tài)繼續(xù)。這里有個細(xì)節(jié)update_state時你可以通過as_node指定以哪個節(jié)點的名義寫入這會影響圖的狀態(tài)更新規(guī)則。如果你希望跳過某個節(jié)點可以在中斷后手動 update_state把該節(jié)點要寫入的狀態(tài)直接寫進(jìn)去再恢復(fù)執(zhí)行即可。日常開發(fā)里我通常把查看狀態(tài) 人工修改 恢復(fù)執(zhí)行三個動作做成三個獨立 API方便前端根據(jù)業(yè)務(wù)場景自由組合。從實踐來看這種設(shè)計比把所有邏輯都塞進(jìn)一次 invoke 調(diào)用更可靠。3. 冪等執(zhí)行讓 Agent 重復(fù)跑也不會出事3.1 為什么 LangGraph 不保證冪等斷點恢復(fù)解決了流程中斷的問題但引出了下一個問題既然執(zhí)行可以被暫停、恢復(fù)、甚至重放那么同一個節(jié)點被重復(fù)執(zhí)行怎么辦LangGraph 本身沒有內(nèi)置冪等機(jī)制。原因很直接框架層面無法判斷你的工具調(diào)用是不是冪等的。比如一個節(jié)點里調(diào)用了發(fā)送短信的接口這個接口天然不是冪等的但另一個節(jié)點里只是做一次本地計算重復(fù)執(zhí)行也沒關(guān)系??蚣懿恢肋@些所以它選擇把決定權(quán)交給你。但是 LangGraph 提供了實現(xiàn)冪等的關(guān)鍵信息。每次 invoke 都會生成一個 runtime run_id每次節(jié)點執(zhí)行后生成 checkpoint_id。你可以把它們當(dāng)作執(zhí)行某段邏輯的流水號結(jié)合業(yè)務(wù)側(cè)的冪等鍵就能判斷某段副作用是否已經(jīng)執(zhí)行過。這里強(qiáng)調(diào)一句config里傳入的thread_id是會話維度不是請求維度同一 session 里有多次 invokerun_id 每次都會變。所以不要拿 run_id 或 checkpoint_id 當(dāng)業(yè)務(wù)冪等鍵它們只適合做內(nèi)部調(diào)試和狀態(tài)追蹤。3.2 冪等設(shè)計三件套冪等鍵、副作用登記、唯一約束要讓 Agent 的執(zhí)行變得冪等我的實戰(zhàn)經(jīng)驗是用三件套入口生成冪等鍵、副作用處先登記后執(zhí)行、數(shù)據(jù)庫加唯一約束。第一步在 Agent 任務(wù)創(chuàng)建時生成全局唯一的冪等鍵這個鍵要貫穿整個執(zhí)行流通常叫run_id但注意是自己生成的業(yè)務(wù) run_id不是 LangGraph 內(nèi)部的 run。可以放在 state 最外層一路往下傳。第二步在節(jié)點執(zhí)行副作用發(fā)消息、扣積分、調(diào)用外部下單接口之前先往 operation_log 表插一條記錄字段包括 run_id、操作類型、操作參數(shù)、狀態(tài)。如果插入的時候拋唯一約束沖突說明同一 run 下這個操作已經(jīng)執(zhí)行過直接跳過副作用邏輯并復(fù)用上次的結(jié)果。第三步在數(shù)據(jù)庫里給(run_id, op_key)建立唯一索引。這里的 op_key 可以是通知用戶扣減庫存這樣的操作標(biāo)識也可以是 action 名稱加參數(shù)哈希。這樣即使代碼邏輯漏判了數(shù)據(jù)庫也會攔住第二次執(zhí)行。落地到 LangGraph 節(jié)點里基礎(chǔ)設(shè)施可以做成一個裝飾器def idempotent_node(op_key): def decorator(func): def wrapper(state): run_id state[run_id] log lookup_operation(run_id, op_key) if log: return log[result] # 已執(zhí)行過直接返回緩存結(jié)果 result func(state) # 首次執(zhí)行副作用 record_operation(run_id, op_key, result) # 寫執(zhí)行記錄 return result return wrapper return decorator idempotent_node(deduct_inventory) def deduct_inventory_node(state): # 真正的扣減邏輯 return {inventory_left: state[inventory] - 1}這套方案的巧妙之處在于它把冪等從框架層下沉到了業(yè)務(wù)層。無論 LangGraph 怎么重放節(jié)點、怎么斷點續(xù)跑只要 run_id 不變?nèi)魏胃弊饔枚紩粩?shù)據(jù)庫的唯一約束擋住。3.3 工具調(diào)用層的冪等LangGraph 里最常見的副作用集中在工具調(diào)用上。函數(shù)調(diào)用tool calling模型會給每個工具調(diào)用生成一個唯一的tool_call_id這個 ID 在單輪對話內(nèi)是唯一的。但問題是如果圖執(zhí)行重放同一個工具調(diào)用可能會被再次觸發(fā)LangGraph 自帶的 ToolNode 會再次執(zhí)行該工具。好在 LangGraph 的 ToolNode 有內(nèi)置的消息去重機(jī)制。當(dāng)你用langgraph.prebuilt.ToolNode時如果某個tool_call_id已經(jīng)出現(xiàn)在歷史消息里ToolNode 會直接使用歷史結(jié)果而不會再次執(zhí)行工具。這個行為依賴于 checkpointer 保存的消息列表。所以只要你的圖啟用了 checkpointer并且工具節(jié)點用的是官方 ToolNode一定程度上已經(jīng)具備按 tool_call_id 去重的能力。但如果你沒用 ToolNode而是自己寫節(jié)點處理工具調(diào)用那就必須自己實現(xiàn)冪等。我的做法是在工具執(zhí)行前檢查當(dāng)前 tool_call_id 是否已經(jīng)在狀態(tài)里的 tool_results 字段中出現(xiàn)過出現(xiàn)過就直接拿結(jié)果沒出現(xiàn)過才執(zhí)行真正的調(diào)用。def smart_tool_executor(state): messages state[messages] last_ai_msg messages[-1] results [] for tool_call in last_ai_msg.tool_calls: existed state[tool_results].get(tool_call[id]) if existed is not None: results.append(existed) # 復(fù)用歷史結(jié)果 continue result real_executor.invoke(tool_call) # 真正執(zhí)行 state[tool_results][tool_call[id]] result results.append(result) return {tool_results: state[tool_results], messages: results}這套邏輯在你需要給工具調(diào)用加緩存、加審計、加限流的場景下更實用官方 ToolNode 的自動去重就不夠用了。特別是當(dāng)你對接的資金、積分系統(tǒng)有自己一套冪等憑證體系時用 tool_call_id 做聯(lián)動往往比重新建一套更直接。4. 落地實戰(zhàn)FastAPI LangGraph 的生產(chǎn)級斷點恢復(fù)服務(wù)4.1 架構(gòu)與存儲選型從 SQLite 到 Postgres斷點恢復(fù)依賴于 checkpointer所以選什么存儲就決定了你能恢復(fù)到什么程度以及能扛多大并發(fā)。我把常用三個存儲后端放在一起對比根據(jù)部署規(guī)模直接挑存儲后端典型場景并發(fā)能力生產(chǎn)可用性備注MemorySaverDemo、本地調(diào)試單進(jìn)程單線程低進(jìn)程重啟狀態(tài)全丟慎用于生產(chǎn)SqliteSaver單機(jī)小規(guī)模服務(wù)受限于單機(jī)中注意線程鎖和文件鎖配套代碼簡單門檻低PostgresSaver多副本、高可用環(huán)境高高是生產(chǎn)推薦方案需要數(shù)據(jù)庫連接池和遷移腳本單機(jī)場景直接上 SQLite 就夠了連接字符串傳一個路徑即可。多副本部署、要做負(fù)載均衡的話建議直接上 Postgres。LangGraph 提供了 AsyncPostgresSaver異步接口配合 FastAPI 的 async 路由非常順滑。需要強(qiáng)調(diào)一點postgres_saver 使用前必須創(chuàng)建表結(jié)構(gòu)官方提供了checkpoint_ddl腳本不要用 SQLite 的表結(jié)構(gòu)去 Postgres 里跑字段類型和索引都對不上踩一次坑少說浪費半小時。4.2 核心代碼構(gòu)建帶審批的人類介入 Agent用 FastAPI LangChain LangGraph 組合做一個審批后通知的 Agent。業(yè)務(wù)路徑是創(chuàng)建任務(wù) - 模擬扣減積分 - 人工審批 - 審批通過后發(fā)通知。重點演示斷點恢復(fù)與冪等抑制。# app.py —— 完整示例骨架 import os from typing import TypedDict, Annotated from fastapi import FastAPI from langgraph.graph import StateGraph, START, END from langgraph.checkpoint.sqlite import SqliteSaver from langgraph.types import interrupt, Command import sqlite3 class AgentState(TypedDict): run_id: str user_id: str points_deducted: bool approval: str notified: bool conn sqlite3.connect(agent_state.db, check_same_threadFalse) conn.execute( CREATE TABLE IF NOT EXISTS operation_log ( run_id TEXT, op_key TEXT, result TEXT, PRIMARY KEY (run_id, op_key) ) ) conn.commit() checkpointer SqliteSaver(conn)注意連接池的check_same_threadFalse默認(rèn)的 SQLite 連接不能跨線程用FastAPI 是并發(fā)模型不關(guān)掉會各種報 thread error。下面定義三個節(jié)點。第一個節(jié)點扣積分有工程量第二個節(jié)點做人工審批中斷第三個節(jié)點發(fā)通知冪等保護(hù)。def deduct_points_node(state: AgentState): run_id state[run_id] # 冪等查操作日志 row conn.execute( SELECT result FROM operation_log WHERE run_id? AND op_key?, (run_id, deduct_points), ).fetchone() if row: return {points_deducted: True} # 已扣過不重復(fù)扣 # 真正扣減積分的代碼這里用 print 模擬 print(f真實扣減積分user{state[user_id]}) conn.execute( INSERT INTO operation_log (run_id, op_key, result) VALUES (?, ?, ?), (run_id, deduct_points, ok), ) conn.commit() return {points_deducted: True} def approval_node(state: AgentState): decision interrupt({ message: 是否允許扣減積分并發(fā)送通知, user_id: state[user_id], run_id: state[run_id], }) return {approval: decision.get(decision, denied)} def notify_node(state: AgentState): if state[approval] ! approved: return {notified: False} run_id state[run_id] row conn.execute( SELECT result FROM operation_log WHERE run_id? AND op_key?, (run_id, send_notify), ).fetchone() if row: return {notified: True} print(f真實發(fā)送通知user{state[user_id]}) conn.execute( INSERT INTO operation_log (run_id, op_key, result) VALUES (?, ?, ?), (run_id, send_notify, ok), ) conn.commit() return {notified: True}構(gòu)建圖并編譯builder StateGraph(AgentState) builder.add_node(deduct, deduct_points_node) builder.add_node(approval, approval_node) builder.add_node(notify, notify_node) builder.add_edge(START, deduct) builder.add_edge(deduct, approval) builder.add_edge(approval, notify) builder.add_edge(notify, END) app builder.compile(checkpointercheckpointer)FastAPI 路由部分提供三個接口from fastapi import FastAPI, HTTPException server FastAPI() server.post(/runs) def create_run(user_id: str): import uuid run_id str(uuid.uuid4()) # 啟動圖執(zhí)行運行到 approval 節(jié)點會自動中斷 app.invoke( {run_id: run_id, user_id: user_id}, config{configurable: {thread_id: run_id}}, ) return {run_id: run_id} server.get(/runs/{run_id}/state) def get_run_state(run_id: str): snap app.get_state({configurable: {thread_id: run_id}}) return { status: snap.next, values: snap.values, interrupts: [i.payload for i in snap.interrupts] if snap.interrupts else [], } server.post(/runs/{run_id}/resume) def resume_run(run_id: str, decision: str): snap app.get_state({configurable: {thread_id: run_id}}) if not snap.interrupts: raise HTTPException(status_code400, detail當(dāng)前狀態(tài)不可恢復(fù)) app.invoke( Command(resume{decision: decision}), config{configurable: {thread_id: run_id}}, ) return {status: resumed}這樣前后端就能完成創(chuàng)建任務(wù) - 查詢審批信息 - 審批 - 恢復(fù)執(zhí)行。整個生命周期里SQLite 里的 checkpoint 保存了每一步狀態(tài)operation_log 確保了扣減積分和發(fā)通知這兩個副作用不會被重復(fù)執(zhí)行。4.3 完整調(diào)用流程演示用 curl 走一遍完整流程你會很直觀看到斷點恢復(fù)和冪等是怎么協(xié)同的。創(chuàng)建一次任務(wù)圖會一路跑到 approval 節(jié)點然后自動暫停curl -X POST http://localhost:8000/runs?user_idu_100 # 返回 {run_id: abc-123}查詢狀態(tài)你會看到interrupts里有審批的 payloadnext指向 approval 之后要執(zhí)行的下一個節(jié)點curl http://localhost:8000/runs/abc-123/state人工審批通過恢復(fù)執(zhí)行curl -X POST http://localhost:8000/runs/abc-123/resume \ -H Content-Type: application/json \ -d {decision: approved}此刻的關(guān)鍵點來了如果你再次手動調(diào)用扣積分節(jié)點比如誤操作operation_log 里已經(jīng)存在(abc-123, deduct_points)這條記錄節(jié)點會直接返回{points_deducted: True}不會真的扣第二次積分。同理send_notify也不會重復(fù)發(fā)通知。這個就是業(yè)務(wù)層的冪等兜底。如果把整條鏈路里的每一步都記錄到數(shù)據(jù)庫你甚至可以做重放審計——某個 run 到底扣了多少次積分、哪一步是冪等跳過的、哪一步真實執(zhí)行了一查便知。5. 實戰(zhàn)中的坑與排查經(jīng)驗5.1 斷點恢復(fù)常見的報錯與解決辦法工程落地會遇到各種邊界情況我把自己常遇到的幾個問題整理成了速查表報錯/現(xiàn)象根因處理方式Checkpointer required圖里使用了 interrupt 但在 compile 時沒傳 checkpointercompile(checkpointer...)恢復(fù)調(diào)用不生效從頭開始執(zhí)行thread_id 不一致或使用了不同的 config key確認(rèn) token 不變檢查 config 拼寫Cannot update non-existent node...update_state 時 as_node 傳了一個圖里不存在的節(jié)點名查看圖節(jié)點列表確保 as_node 合法resume 后狀態(tài)不是預(yù)期值Command(resume) 傳參結(jié)構(gòu)不對檢查 interrupt() 返回值的接收語義SQLitedatabase is locked多線程并發(fā)寫同一個 SQLite 文件開啟 WAL 模式或改用 PostgresSaver恢復(fù)后節(jié)點重復(fù)執(zhí)行業(yè)務(wù)副作用沒有做冪等保護(hù)用 3.2 節(jié)的三件套去攔截SQLite 的鎖是最常見的坑尤其是 FastAPI 多 worker 部署時。建議在初始化連接后執(zhí)行PRAGMA journal_modeWAL;能明顯減少并發(fā)讀寫的鎖沖突。但說到底多 worker 部署就別用 SQLite 了上 PostgresSaver 是正道。5.2 冪等沒生效的幾個隱蔽原因冪等邏輯看著簡單實際有幾種隱蔽情況會導(dǎo)致失效。最常見的是冪等鍵沒有貫穿整個調(diào)用鏈。比如你的 run_id 在 create_run 接口生成了但某個工具節(jié)點內(nèi)部又自己 new 了一個 uuid那節(jié)點側(cè)查 operation_log 時主鍵永遠(yuǎn)對不上每次都會執(zhí)行真實副作用。建議把冪等鍵放到 state 的頂層字段節(jié)點里只管 read不許 write。第二個隱蔽原因是副作用執(zhí)行成功但記錄寫入失敗。比如真實扣減積分接口調(diào)用成功了但 operation_log 的 INSERT 因為某種異常沒提交此時 Agent 拋錯重試業(yè)務(wù)邏輯發(fā)現(xiàn)日志里沒有記錄又扣了一次。解決辦法是把副作用執(zhí)行和副作用登記放在同一個事務(wù)邊界里最好的方式是把扣減積分與記錄日志放到同一個數(shù)據(jù)庫事務(wù)要么都成功要么都失敗。第三個隱蔽原因是參數(shù)變化導(dǎo)致的冪等繞過。比如 op_key 只取了操作名但操作里包含了金額參數(shù)第一次扣 100第二次改成扣 50唯一約束認(rèn)為這是同一條記錄直接跳過了扣 50 的請求。這就要求 op_key 的設(shè)計要包含關(guān)鍵的參數(shù)指紋一般是用action hashlib.md5(sorted_params)。5.3 生產(chǎn)部署檢查清單最后給一份我每次上線 Agent 服務(wù)前都會過一遍的清單照著做能少走很多彎路生產(chǎn)環(huán)境 checkpointer 是否選擇了 PostgresSaver并創(chuàng)建了正確的 checkpoint 表所有有外部副作用的節(jié)點是否都經(jīng)過冪等裝飾器或等效邏輯保護(hù)operation_log表是否建了(run_id, op_key)唯一索引關(guān)鍵工具調(diào)用是否用 tool_call_id 做了去重或緩存恢復(fù)接口是否做了并發(fā)控制避免同一個 thread_id 被兩個人同時 resume是否對get_state、update_state做了操作審計方便排查人工干預(yù)的記錄是否有兜底超時機(jī)制比如 Agent 長期處于中斷狀態(tài)或恢復(fù)失敗時有守護(hù)任務(wù)負(fù)責(zé)清理或告警關(guān)于第 4 條里提到的并發(fā)控制簡單做法是在恢復(fù)接口層加一把 Redis 鎖鎖的 key 是resume:{thread_id}保證同一時刻只有一個 resume 請求真正驅(qū)動圖繼續(xù)執(zhí)行。否則兩個請求同時Command(resume...)狀態(tài)會亂成一鍋粥。6. 斷點狀態(tài)設(shè)計與冪等鍵命名的一些心得這里講一個容易被忽略的細(xì)節(jié)斷點恢復(fù)時interrupt()的返回值本質(zhì)上是從Command(resume)里透傳過來的它不會自動做校驗。如果你在審批節(jié)點里期望收到一個 dict但恢復(fù)端傳了字符串節(jié)點代碼可能直接報TypeError。所以我習(xí)慣在 interrupt 節(jié)點里加一層簡單的 schema 校驗比如用 Pydantic 解析解析失敗就拋一個自定義異常FastAPI 層捕獲后返回 400。這能避免生產(chǎn)環(huán)境出現(xiàn)匪夷所思的恢復(fù)錯誤。冪等鍵命名同樣有講究。業(yè)界慣例會區(qū)分request_id客戶端發(fā)起請求時生成的 ID用于端到端全鏈路追蹤。idempotency_key專門用于冪等控制的業(yè)務(wù)鍵同一業(yè)務(wù)動作多次重試時保持不變。run_idAgent 任務(wù)內(nèi)部流轉(zhuǎn)用的標(biāo)識可以就是idempotency_key但注意它不是 LangGraph 框架的 runtime run_id。我通常直接讓入口生成的 UUID 同時充當(dāng)request_id、idempotency_key和thread_id三合一減少概念數(shù)量降低溝通成本。你可以在日志里同時打印這個值和 LangGraph 內(nèi)部的 checkpoint_id方便追蹤狀態(tài)對應(yīng)關(guān)系。# 日志示例 [RUN abc-123] checkpoint 9f2e... 到達(dá)人工審批 [RUN abc-123] checkpoint 9f2e... 恢復(fù)執(zhí)行審批結(jié)果 approved [RUN abc-123] 冪等跳過 send_notify原因已執(zhí)行最后再分享一個我在實戰(zhàn)中堅持的習(xí)慣所有 LangGraph 節(jié)點都寫成純函數(shù)風(fēng)格不直接操作外部全局狀態(tài)只通過 state 的輸入輸出做數(shù)據(jù)流轉(zhuǎn)。副作用統(tǒng)一收斂到獨立的工具層或服務(wù)層節(jié)點只做編排。這樣做的好處是當(dāng)你要加斷點、加冪等、加審計時改動面非常小每個節(jié)點就像積木一樣可以自由插拔組合。這套理念配合 LangGraph 的 checkpointer基本能滿足絕大多數(shù)生產(chǎn)級 Agent 服務(wù)的需求。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
91丨九色丨白浆秘| 丁香五月欧美| 中文av网| 欧美综合五月丁香五月天| 成人精品在线| www.henhenl| 久久婷婷青青草| 色99视频| 九九久久网| 色无码| 天天操夜夜夜拍拍拍| 午夜日韩久久久网站| 97超级碰碰碰| 99色视频在线观看最新| 超碰精品国产首页| 亚洲久热| 9久久久久久久久久久| 婷婷五月天激情综合深爱激情| VA婷婷| 97精品自拍视频| 五月天操逼激情| 九九成人| 色婷婷小说网| 日韩AV大全| site:xmssd.com| 99啪啪网| 影音先锋 一区| 久久丁香网| 中字幕视频在线永久在线观看免费| 精品久久久人妻| 激情五月天啪啪| 五月激情婷婷丁香天堂| 色欲色香伊人| 亚洲激情精品| 激情综合色婷婷啪啪六月天| 思思热在线视频99| 色五月婷婷激情五月| 草操AV在线| 欧美日朝成人| 久热大香蕉| 丁香五月婷婷亚洲色图| 7777精品伊人久久久大香线蕉最新版| 99热亚洲综合| 丁香婷婷五月人体| 丁香婷婷综合色五月激情国产基地| 91九色最新视频| 五月丁香影院| 欧美成人AAA片一区国产精品| 日本91在线| 丁香婷婷性久久| 久久久精品色| 婷婷五月激情五月激情| 五月人妻婷婷视频| 天天干,夜夜爽| 99热成人在线观看| 99精品爱| 久久在线人妻| 伊人狠狠操| 啪啪干伊人婷婷| www.99热日韩.com| 六月激情婷婷色| 午夜婷婷丁香| 日日日日做夜夜夜夜无码| 婷婷月五天在线在线看| 五月天婷婷久久日| 开心亚洲久久开心| 综合热无码| 性 色 婷婷| 99黄色性生活| 色色综合成人网| 亚洲AV成人精品日韩在线播放| 97碰久久| 丁香五月激情六月欧亚激情综合导航| 99免费视频久久| 丁香六月开心| 天天 青草 制服丝袜 在线| 天天狠狠婷婷在线| 99小视频在线| 五月天婷婷一起草| 好吊操这里只有精品| 激情五月天婷婷直播| 无码se| 五月丁香猫咪久久婷婷综合视频激情四射网入口| 五月天堂色| 亚洲区视频| 99精品在线| 俺来也综合网精品一区| 婷婷色五月天第7色| 亚色网站小视频| 亚洲天天免费| 开心五月激情五月丁香五月婷婷| www.成人婷婷综合| 五月丁香婷婷综合| 久色网址| 人妻AV在线| 亚洲精品99| 怡红院AV亚洲一区二区三区H | 色999五月色| 婷婷五月天AV激情| 99热视精品| 亚洲最大五月天成人网| 十一月婷婷激情四射| www.99热这里精品| 久久新地址| 五月大香蕉| 夜夜谢天天干| 三级毛片视频| 久久玖玖99| 97操在线资源| 伊人婷婷大香蕉| 亚洲色综合| 激情色中文| 六月亚洲| 五月婷精品| 九九热这里只有精品6| 国产精品色婷婷久久久精品| 狠狠干综合| 99热只有| 97超级碰人人| 97超碰在线免费观看| 97香蕉久久超级碰碰高清版| 包操45分钟网站| 人妻肉射免费观看| 婷婷五月激情视频在线| 国产免费一区二区三区三州老师F1F1.CC| 狠狠香蕉| 国产看真人毛片爱做A片| 九九热狼人| 久久99日本精品视频免费观看| 伊人综合色干| 丁香五月婷婷激情小说| 久久婷婷五月草视频| 狠狠xx| 99九九热在线观看| 狠狠精品干练久久久无码中文字幕 | 91九色国产熟女| 久久曰曰| 美国少妇性做爰| 婷色综合| 大香蕉综合| 亚洲性爱干干| 狠狠狠狠狠草| 色色无码| 天天爽夜夜操| 色爱爱综合网| 五月丁香婷婷基地| 九九久久综合网站| 超碰色综合| 我爱大香蕉| 日日噜噜夜夜狠狠久久丁香五月| 九九99香蕉在线视频播放| 色综合久| 99久久九九| 五夜丁香| 午夜69成人做爰视频| 五月婷婷丁香五月| 五月丁香爱婷婷深深| 婷婷五月天论坛| 伊人五月天| 五月天亭亭俺也| 国产成人综合电影| 任你日视频| 五月婷婷播| 中文字幕色色色| 久久亚洲无码| 欧美成人一区二区三区在线视频| 婷婷大乡焦噜噜| 久久五月天激情婷婷| 玖玖资源站视频| 碰碰女| 99ER热精品视频| 黄色91在线观看| 99精品热| 丁香五月激情在线| 九九色热| 影音先锋偷偷色男人站| 思思热在线视频观看精品| 日日操天天爽| 99综合视频一体| 激情综合网激情五月婷婷| www.五月天婷婷| 99热这里只有精品98| 日日舔夜夜操| 99热婷婷| 99热碰碰| 色色色色色色97| 久久草中文日韩欧美| 欧美性色A片免费免费观看的| 丁香五月黄色| 六月丁香综合网| 五月天婷婷网站888| 青柠影视免费高清电视剧| 正宗黄色毛片| 色丁香久综合在线久综合在线观看| 丁香五月婷婷亚洲色图| 亚洲日韩久久婷婷伊人| 99视频内射三四| 天天做天天爱综合| 婷婷99狠狠| 成人 九九九九| 激情婷婷五月亚洲| 少妇搡BBBB搡BBB搡毛茸茸 | 少妇人妻偷人精品无码视频新浪| 婷婷综合色色| 婷婷五月天视频亚洲| 激情综合久久| 免费播放片大片| 激情综合婷婷| 亚洲中文乱字字幕在线永久| 停停综合色色| 色五月天激情| 91久久久久久久| 婷婷色色欧美| 精久久色| 九热视频| av色婷婷| 色狠狠婷婷| 免费视频WWW在线观看网站| 九九狠狠干| 五月婷婷色吧!| 超碰99在线| 精品国产a| 99亚洲综合| 综合激情五月婷婷| 69凹凸成人综合网| 高清无码.com| 婷婷性爱网| av首页在线| 噜综合| 99热精品在线| 91操黄| 丁香六月婷婷综合色| 影音先锋偷偷色男人站| 色五月综合网站| 日日日,com| 色婷婷a| 伊人久久大香线蕉精品| 丁香色情五月天| 97性视频| 99热这里都是精品| 精品99在线| 丁香六月婷婷综合在线| 久久精品A片777777| 五月天啪啪视频| 91人人爽久久涩噜噜噜| 九九九九操逼| 98毛片| 欧美丁香五月97色| 亚洲成人av在线播放| 五月天激情无码高清 | 色婷婷精品视频| 五月天丁香婷婷网| 天天爽天天弄| 99热只有| www.91色| 99九九在线观看免费| 9精品国产在热久久| 成人小说 五月天 婷婷| 99热66| 99日精品视频| 欧美日韩aaa| 99se丁香| 99色视频在线观看| 开心五月婷婷| 色欲Av五月天| 天天综合网在线| 99干视频| 色综合久久88色综合天天看| 国内久久久精品99| 桃色激情网| 色99综合色88| 五月青青草综合| 色综合伊人网| 丁香九月激情| 日韩操人| 99热国产精品| 久久综合中文| 91操片| www.婷婷五月天| 91九九热| 99久久久| 色呦精品| 亚洲99手机免费看视频| 最近免费中文字幕大全高清大全1| 天天做天天爱天天摸| 伊人久久婷婷| 国产激情综合| 五月婷婷中文| 亚洲色婷婷| 超碰人人射| 啪啪丁香五月| 2017人人操| 五月天婷婷久草丁香| 婷婷五月天成人小说| 国产一区二区av免费| 五月婷婷成人网首页| 天天操天天插| 国产伊人五月天| 色播五月网| 99热老网站| 色噜噜狠狠色综合成人99| 另类激情码| 久久99热这里只频精品6学生| 六月综合婷婷开心伊人| 另类视频五月天| 五月丁了香蕉综合| 日日夜夜干| jiuse91在线| 五月天伊人综合| 99久久天堂婷婷| 深爱激情69热| 久久久久久久久久久久63| 五月婷婷天| 97婷婷久久丁香| 色五月丁香五月天| a色婷婷| 久婷五月| 五月婷婷色影院| 99综合久久| 色综合综合色| 激情丁香五月婷婷| yazhou seshipin| 99热在线观看| 五月丁香六月婷婷亚洲激情综合| 国产精产国品一二三在观看| 黄页大全十八禁| 九九九九操逼| 丁香五月在线观看完整版| 精品综合网在线| 日本va欧美va欧美va| 丁香婷婷婷婷十二月在线观看视频| 噜噜噜久久亚洲精品国产品91| 强奸幻女毛片| 久久综合婷婷五月| 激情视频网址| 综合激情五月天| 丁香五月婷婷动漫视频| 综合久久激情久久| 欧美五月丁香| 五月综合丁香婷婷| 精品久久99码| 丁香五月婷婷成人综合| 91色综合网站在线| 婷婷淫淫狠狠六月| 热久69| 棕合影院色色| 婷婷成人网五月天| 国产古装妇女野外A片| 狠狠干青青草| 999精品久久久久久久| 色综合天天综合成人网| 色综合网址| 96丁香六月婷婷蜜桃综合久久| www.激情五月天.com| 夜夜操加勒比| 色五月色五天免费视频| www.黄色片-久久成人国产精品在线播放-999AV | 天天久| 久久婷婷丁香| 天天日天天舔| 久久久人人人妻丝丝丝| 婷婷九月丁香天堂丁香天堂| 色综合激情| 欧美狠狠一在草| 一本色道久久88加勒比| 五月丁香色六月激情干大屄| 九九热大香蕉| 丁香五月电影| 五月丁香六月婷婷综合网缴情| 久久五月婷综合网| 特黄三级片| 五月丁香网视频| 国产偷人爽久久久久久老妇APP| 5月丁香六月婷婷| 人人操人人看97干| 九九色综合| 婷丁香五月天| 婷婷五月在线| 国产综合色婷婷精品久久| 五月伊人综合| 五月婷婷黄网站大全| 欧美成人精品A片免费一区99| 91九色国产| 亚洲视频在线观看| 久久这里都是精品| 99热精品在线播放| 婷婷色五月大香蕉在线| 久久久久激情网| 五月婷婷色色色| 天天日天天插| 久久久噜噜噜久久人妻| 欧美性二区| 五月Huangsewang| 丁香五月婷婷AV在线| 婷婷伊人綜合中文字幕| 怡红院AV亚洲一区二区三区H| 99免费视频在线观看爱| 中文字幕av在线| 最近中文字幕2019视频1| 婷婷精品综合| 丁香婷婷久久 | www.久久五月天.com| 五月黄色婷婷| 婷婷深爱五月| 色狠狠色综合| 亚洲精品视频在线| 碰99在线| 二色AV| 色小说婷婷五月天天天| 伊人久久综合| 天天天天干| 五月婷婷激情视频| 国产片天天爽夜夜爽| 538在线精品| 久久怡红院| 第2色五月婷| 99精品综合在线| 综合激情婷婷| 久热A| 大香蕉啪啪| 国产精品天天狠天天看| 婷婷综合五月天| 激情五月激情综合网一级丸片| 亚洲人成网站999综合| 激情久久综合| 亚洲综合色五月| 91干视频| 婷婷大香焦| 激情综合九月| 99爱视频免费看| 亚洲成人一区| 99精品久久久久久久久| 人妻久久久| 婷婷五月天视频亚洲| 激情五月激情综合俺也去婷婷小说| 色综合女人99| 久久一热| 激情五月综合视频| 婷婷五月天丁香社区| 国产美女无遮挡裸体毛片A片| www.狠狠操| 五月激情网五月综合网| 九九亚洲综合| 久久丁香婷| 九九这里有精品| 99久久6| anquye伊人| 婷婷中文字幕网| 丰满人妻妇伦又伦精品国产| 色婷婷免费观看| 中文无码精品一区二区三区| 爱久综合| 五月婷婷丁香综合,亚洲天堂| 丁香婷婷六月| 热99在线精品| 都市激情小说婷婷| www.激情五月天.com| 日韩高清久久| 99热99精品在线观看| 丁香色婷婷五月天| 日本婷婷五月天| 婷婷射图| 91聚色综合网| 亚洲成人免费电影| 色婷婷天堂| 精品51XX| 玖玖在线资源视频| 色婷操逼| 日hao1区| www婷婷色| 思思热99热| 五月激情六月丁香| 九色色| 麻豆科斗777| 9精品视频在线观看| 蜜臀综合久草| 国产精品色色| 97久久超碰| 亚洲婷婷免费| 大伊久久| 成人婷婷色五月天| 婷婷五月天激情网| 狠狠爱五月婷婷| 九九综合九色欧美狠狠| 超碰v| 久久久激情| 五月天婷婷综合| 色噜综| AA丁香综合激情| 国产综合81p| 操精品9| www.色五月| 久久99婷婷| 婷婷性色| 五月天婷婷丁香六月| www.99热视频在线观看| a网站免费观看| 婷婷刺激综合| 大香蕉天堂色| 五月天丁香啪啪网| 日本少妇裸体做爰高潮片| 激情五月天在线视频| 98永久精品| 丁香五月婷婷六月| 婷婷五月天首页| 婷婷天天插天天爱| 99er这里只有精品视频| 日本美女上人| 综合99久久天天综合| 欧美成综合在线观看| 丁香婷婷九月在线| 四LLL少妇BBBB槡BBBB| 伊人五月天在线| 激情婷婷久久| 99激情| 天天爽天天爽视频| va亚洲中文在线| 综合逼五月激情婷婷| 九九日本视频| 99精品在线| 九色PORNY自拍成人精彩视频| 狠狠久久婷婷| 天天综合色99| 婷婷九九色| 五月天激情色色| 99热超碰在线| 久久久久9999| 激情五月天婷婷| 综合久久婷婷| 久久精品4| 成人在线综合| 激情中文在线| 操逼三区| 噜噜操操| 美女激情综合| 国产综合色婷婷精品久久| 色色网站免费| 五月激情六月宗合| 激情五月天无人视频在线| 久久有码| 久久婷婷欧美| 玖玖九九99| 婷婷5月色| eeuss人妻| 欧美情月伍月天| 久月婷婷| 色色婷婷五月天| 日本综合久久| 久久五月丁香| 亚洲色涩视频| 色七色九九| 七七九九色色| 狠狠做五月婷婷| 91精品熟女| a69在线视频| 九九热这里都是精品6| 噜综合| 婷婷,五月天,丁香,第一| 9色资源在线| 我淫我色婷婷五月天激情四射| 日韩一区二区A片免费观看 | 激情深爱五月| 99热在这里只有精品| 九九婷婷网五月天| 综合激情站| 色噜噜狠狠一区二区三区| 综合久久99| 五月丁香六月婷婷色日| 玖玖婷婷综合| 久99久在线| 开心激情综合| 五月婷久久| 亚韩在线视频| 开心婷婷中文字慕| 国庆精品久久| 丁香五月骚喷水视频| 人人射av| 色综合综合网| 欧美婷婷成人| 五月天色色婷婷| 亚洲啪视频| 五月婷婷婷| 99熟女| 久久久国产精品黄毛片| 九九精品大香蕉| 99综合99| 九九99在线| 久久久性爱网| 亚洲小视频免费播放| 丁香无五月网| 亚洲AAAA网| 岛国av电影网站| 久久99性爱| 五月婷婷婷丁香播| www激情| 久久人妻精品| 国产精品天天狠天天看| 99热人人艹| 丁香花五月天社区| 五月天丁香成人| 五月天大香蕉| 国产精品噜噜在线视频| 丁香六月天之亚州热女 | 五月丁香在线| 久99热| 九九色热| 伊人狼人干| 99资源人人| 啪啪99| 久久中文人妻系列| 开心五月综合激情综合五月| 999热在线视频| 婷婷的色色五月天| 激情深爱五月天| 国产精品日本一区二区在线播放| 婷婷丁香综合色AV| 任你日视频| 婷激情五月天视频导航| 婷婷五月色网| www.婷婷六月天| 91丨九色丨熟女高潮| 成人国产欧美大片一区| 色婷婷AV在线观看| 99热最新精品| 欧美日韩大黄| 五月丁香操亭亭网| 99热官网| 六月丁丁香| 久久R激情| 一起操 91N.com| 五月丁香婷婷在线| 国产Va视频| 五月草影视| 五月天成人综合| 九九热精品| 国产精品久久久久9999小说| 影音先锋综合网| 亚洲网视屏| 五月深爱婷婷| 婷婷五月天六月丁香| 婷香五月| 色狠狠色噜噜AV天堂五区| 成人免费网站免费看| 色五月婷婷中文字幕| 九九热这里只有精品12| 婷婷五月天av| 99热精品在线观看| 秋霞av不能| 六月丁香婷婷视频综合在线观看| 婷婷丁香人妻久久在线观看| 啪啪婷婷五月天激情| 亚洲视频一区| 狠狠色丁香婷婷五月| 99久热| 99热只有精| 97干97色| 丁香五月婷婷色综合| 久青操| 欧美激情丁香五月天久久婷婷一区| 激情美女五月天激情在线| 激情丁香九九五月综合网| 无码激情AAAAA片-区区| 久热亚洲| www.五月天性.com| 婷婷的色色五月天| 熟女人妻一区二区三区免费看| www.99热这里精品| 蜜臀av无码久久久久久久久| 综合图片色色| 亚洲综合激情五月久久| 综合亚洲AV| 天天日夜夜B久久| 五月丁香在线观看| 99色在线| 一婬一伦一区二区三区| 精品久久人妻热| 婷婷久久色| 97热这里只有精品| 9在线9在线婷婷在线国产| 99热这里只有精品26| 久久视频这里99| 婷婷五月激情丁香| 丁香六月欧美| 99热在线里有精品| 少妇性按摩无码中文A片| 农村熟妇高潮精品A片| 黑人熟妇一区二区三区| 色五月五月丁香| 五月婷婷三级| 婷婷在线日韩综合| 特黄三级片| 亚洲狠狠狠| 日日操夜夜爽| 色五月大| 五月综合激情综合久| 亚洲五月天婷婷| 123日本不卡在线| 亚洲一个色| 丁香五月六月综合欧美| 欧美顶级少妇做爰HD| 久久精品4| 婷婷六月五月天综合| 九九热精品视频在线观看| 九九99在线视频| AⅤ色区| 五月丁香六月激情综合| 黄色中文字目| 色狠狠五月天| 天天日天天爽| 久9热视频在线| 五月婷婷新网站| 久久99大全| 99热爆在线| 色波激情五月天| 午夜成人综合| 日本三级第一页| 丁香五月天天| 欧美A片在线视频免费观看| 久久综合中文字幕| 狠狠另类视频| 五月天婷婷操逼视频| 三男玩一女三A片| 综合九九中文字幕| 欧美va国产va| 超碰97免费在线| 97夫妻超碰| 日韩性视频| www.五月婷婷久久.com| 丁香婷婷深情五月亚洲| 操人91| 欧美这里只有精品| 久久婷婷五月综合| 丁香六月天婷婷色| 色色色色色五月| 色色婷| 激情综合视频| 色欲九区| www.婷婷五月天.com| 色综啪啪网| 麻豆科斗777| 曰曰久久| 最新日韩久热免费视频看看| 性生活久久朋友人妻| 亚洲视频一区| 色五月婷婷婷婷婷婷婷婷婷婷| 五月天婷婷色色网| 超碰在线观看caop| 伊人婷婷五月天av| 日本欧美成人片AAAA| 色玖玖| 97人人操| 97婷婷狠狠久久综合9色| 久久综合激情婷婷激情| 天天射天天插天天干| 色激情综合狠狠婷婷| 九九人人操| 97热精品| 色色国产| 91九色成人原创视频| 日日日影院| 九九视频在线观看视频6| 激情婷婷色小说| 天天综合在线网| 99啪| 99热在线看| 国产无遮挡又黄又爽免费网站| 午夜成人AV在线| 欧美色99| 99热99久久| 人人妻久久妻| 久久a热| 欧美成人AAA片一区国产精品| 超碰男人色| 成人无码精品1区2区3区免费看| 五月丁香毛片| 婷婷六月啪啪| 激情九九九九| 26UUU欧美| 五月婷婷视频| 色久五月| 丰满人妻妇伦又伦精品国产| 91热er| 色婷婷小说| 五月亭亭六月色| 婷婷天天日婷婷| 国产亚洲色婷婷久久99精品91| 婷婷五月丁香六月| 五月丁香好婷婷A片网| 伊人玖玖婷婷| 射区导航| 国产精品色婷婷久久久精品| 日本九九网| 色婷婷丁香五月| 亚洲午夜Av| 久草热在线视频| 婷婷久久图片| 久久久久人妻网址| 无码动漫AV| 五月天婷久精视频| 色婷婷丁香社综合| 日韩啊啊啊| 蜜乳人妻一区二区三区| 99激情视频| 99热性色| 五月丁香激情综合啪啪| 亚洲婷婷基地| 91成人视频| 超碰操网| 天天综合在线网| 如何安全看伊人婷婷| 丁香婷婷五月| 亚洲色婷婷色| 99性爱| 色的色综合| 第九色区av天堂| 四五月婷婷| www.婷婷com| 夜丁香五月婷婷| 五月丁香综合网| 99精品在线观看视频| 国产婷婷综合| 4399在线日本A片| 久久香蕉影院| 色综合久| 人妻久久久久久久久妻久久久久| 潘金莲AAAAAAAAAA| 综合五月丁香六月婷婷| www久久久久| 爆乳熟妇一区二区三区爆乳| 色情五月综合婷婷| 色五月婷婷中文字幕| 丁香五月六月久久综合| 偷偷与邻居做爰完整视频| 五月丁香六月婷婷亚洲| 五月婷婷天| 思思热久久阴99| 日产精品久久久久久久蜜臀| 99精品爱| 激情婷婷五月社区| 五月天激情国产综合婷婷婷| 91大神操美女| 色情五月丁香| 男人综合网| 老师高潮流白浆喷水的A片| 九九婷婷五月天| 九九精品热播| 丁香婷婷基地| 少妇婷婷五月天| 成人AV片播放| 久久九精品| 狠狠爱综合网| 国产亚洲成AV人片在线观黄桃| 婷婷五月色丁香在线看| 超级碰碰视频无码| 婷婷伊人五月| 五月天色小说| 五月丁香婷婷激情久久| av五月天婷婷丁香| 六月激情综合| 9久久精品| 天天综合网站| 婷婷五月天资源| 日韩国产在线免费观看| www久| 再次出发二| 六月婷婷综合网2| 日韩aaa| 91精品无码| 色婷婷激情| 成人丁香婷婷五月天| 色色日本欧美| 人人摸人人摸| Jh7Uf088VHafNm| 久久婷婷五月综合一| 97碰免费视频在线| 2025最新亚洲激情在线| 欧在线一区| 中文字幕,综合,91| 丁香无五月网| 99色嘟嘟精品网站| 亚洲成人中心| 丁香六月婷婷五月天| 碰碰碰97国产| 九九激情| 成人精品在线观看| 日韩黄在免| www婷婷| 五月丁香美女视频| 日韩黄色影院| 26uuu欧美| 99开心五月五月丁香激情| 婷婷五月丁香亚洲| 99这里都是精品| 婷婷五月天最新综合你懂的 | 99色在线视频| 免费三级黄色| 五月丁香婷婷综合在线| 国产操B| 区美毛片子| 五月婷无码| 日本久久9| 99免费热视频在线| 久久深爱激情网| 五月婷婷偷拍| 91九色最新视频| 久色激情| 五月丁香色色综合| 天天网曰日曰夜夜综合永久免费| 五月激情六月综合| 深爱五月最新网址| 五月丁香香蕉| aaa久久久| 国产免费AV在线| 天天干天天干天天干天天干天天| 91打屁股视频网站| 97人人射| 99爱视频在线观看| 第四色色六月色综合| 97人人妻人人艹| 婷婷性爱影院| 五月丁香青草综合啪啪| 超碰日日操| 亚洲亚洲人成综合网络| 操人久久| 五月丁香六月婷婷a v| 久久丝袜婷婷| 亚洲乱码日产精品BD| 中文资源在线a| 狠狠干在线视频| 五月婷婷激情久久| 激情图片亚洲| 99福利导航| 五月婷婷视频ab| 超碰在线视屏| www...com黄在线观看| 9l视频自拍9l九色成人| 丁香婷婷成人在线播放| 91婷婷丁香五月天免费视频网站| 婷婷五月丁香性爱| 五月天激情丁香| 天天爱夜夜爽| 欧美又粗又大一区二区在线观看| 99re青青草| 嫩BBB槡BBBB搡BBBB| 色婷婷精品视频| 精品福利911| 黄色片区子| 色婷婷丁香女女| 91九九| 色停停五月天| 美女五月天婷婷| 99热销国产这里有精品| 精品人妻午夜一区二区三区四区| 黄网免费观看| 26uuu欧美激情另类| 九九熱最新視頻| 丁香六月青青草| 欧美大肥婆大肥BBBBB| 思思99热| 26UUU精品一区二区Com| 色色色欧美| 激情婷| 国产精自产拍久久久久久蜜 | 久久九九99.www| 91狠狠综合久久| 欧美影院| 超碰人人干| 99re资源在线视频导航| 亚洲无码99| 日本婷婷五月天| 色综合久久88色综合中文字幕| 亚洲、欧美、国产另类笫二区| 五月丁香婷婷激情图片| 一起草av| 欧美婷婷丁香五月社区| 五月婷婷激清网| 婷婷丁香视频在线观看免费| 91精产品自偷自偷综合| 日韩啪啪视品| 五月婷色| 高清不卡一区| 色情婷婷五月天| 色五月五月丁香| 天天色月| 另类视在线| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 日本99婷婷| 亚洲精品又粗又大又爽A片| 欧美熟女99| 丁香五月成人av| 亚州日本欧州韩美高青高潮一| 天天日天天舔天天摸| 五月丁香激情片| 色五月 五月婷婷| 都市激情蜜桃婷婷五月天 | www九九热| 色99婷婷五月天| 91日在线视频| 9久久精品| 国产精品日日躁夜夜躁| VfJxEwPH| 婷婷五六日| 色色色激情| 97色婷婷在线观看| 99精品久| 老美AA片| 26uuu精品国产| 伊人婷婷色| 亚洲成人在线五月天| 黄涩毛片| 五月婷婷综合热| 99热碰碰热| 操人精品| 91九九热| 草草色情综合网| 五月丁香在线| 99久久婷婷国产综合| 色色亚洲| 99热这| 天天免费日日夜夜夜夜| 六月丁香婷婷色综合| 99热成人永久免费| 色婷婷久久综合| 99久久久久久www| 色五月婷婷丁香凹凸| 国产AV影片| 蜜桃人妻无码AV天堂三区| www.婷婷五月| 日本色五月婷婷| 这里精品| 丁香五月天成人| 人人爽人人爽人人爽人人爽| 亚洲第一色色色| 婷婷五月丁香av网站| 任我肏| 五月 成人 婷婷| 婷婷九月在线| 九九热最新视频| 女婷久久| 91人人操人人爱| 99久久这里只有精品| 亚洲狠狠干| 欧美草久久五月天91| 六月婷婷色宗合| 丁香五月婷婷六月婷| 色五月婷婷五月丁香五月激情五月视频 | 久大香蕉| 小色小蛇伊人婷婷色香五月| 偷偷操九九| 31色区视频免费看| 中文字幕操比影片| 玖玖色综合色| 免费黄网不卡AV| 嫩草AV久久伊人妇女超级A| 人人爱国产| 激情小说五月天| 婷婷综合五月| 99精品在线观看视频| 99九九在线视频| 色综合天天| 丁香六月婷婷姐网| 婷婷射婷婷舔| 亚洲最大五月天成人网| 天天干天天干天天干天天干天天干天天干天天| 婷婷激情六月综合| 婷婷五月成年人| 丁香五月婷婷综合视频| 成人五月天在线观看| 伊人婷婷青青cao| 丁香婷婷六月激情文学| 深爱五月月天| 亚洲小视频免费看| 丁香六月色婷婷欧美| 天天日天天狠狠操| 久久色五月| 99在线视频免费| 五月色婷婷影视在线电影| 国产精品久久在线观看技巧| 99区视频| 久久婷婷六月综合资源| 国产丁香五月天婷婷| 极品人妻videosss人妻| 少妇人妻凹凸视频| 久久九九蜜| 十月丁香九月婷婷综合| 九九视频这里只有精品| 玖玖热视频| 国产精品久久久海的味道| 天天干,天天日| 黄网在线观看免费| 91成人视频| 99久久婷婷国产综合精品草原| 激情综合婷婷| 日韩无码色色| 大香蕉久操| 五月婷婷丁香| 51精品国自产在线| 亚洲愉拍99热成人精品| 综合久久婷婷99| 色婷婷亚洲综合天堂| 色婷大香蕉| 久久全色| 国产婷婷久久| 日本女人久久| 玖玖爱伊人| 久久这里只有精彩| 韩国情人在线电视剧免费观看高清版全集 | 久久激情五月婷婷| 草草视频91| 99久视频| 777精品久无码人妻蜜桃| WW婷婷五月天com| 亚洲人成网站999综合| 99玖玖精品| 综合性爱网| 激情九月婷婷| 婷婷激情丁香五月天综合| 狠狠操之狠狠操| 五月天色五月天| 巴基斯坦粉嫩无码视频| 夜夜骑夜夜操| 操日视频| 久久99网站| 色五月婷婷网| 激情综合网激情五月婷婷| 久草视频大香蕉99| 天天综合久久| 另类视频综合| 精品一区二区三区四区五区六区介绍| 综合热无码| 这里只有久久精99| 丁香五月婷婷丫| 五月婷婷开心亚州在线| 激情www| 亚韩在线视频| www.色婷婷| 91在线就要啪| 蜜臀综合久草| 在线综合91| 91黄址| 国产伊人五月天| 色色色色色色综合| 婷婷六月综合激情| 9l视频自拍9l九色9l成人| 丁香六月欧美| 搡BBBB搡BBB搡18| 9|在线观看视频| 超碰93在线观看| 九九成人精品免费视频| 丁香五月婷婷色五月| 欧美激情综合色丁香婷婷五月天| 26uuu丁香婷婷五月| 开心婷婷五月| 久久人人添人人爽添人人片αV| 婷婷五月天情色| 成人五月天在线观看| 99热这里有精品24| 天天舔天天摸| 婷色五月天| 久久丁香综合精品综合| 九九大香蕉黄色影院| 另类五月婷婷| 天天摸色吧天天摸色吧| 成人av播放| 极品少妇XXXX精品少妇偷拍| 丝袜熟女一区二区三区| 天堂色婷婷| 好好日激情五月天| 五月开心色| 操一区| 成人做爰A片免费看网站找不到了| 91无码视频| 色色色干| 91热er| av无码电影| 九九热视频精品2| 丁香五月天视频在线播放| 激情婷婷丁香五月天| 久草热久草在线视频| 狠狠综合久久综合| 五月天婷婷色在线视频免费观看| 五月停停丁香| 久久久WWW| 美女久久婷婷| 亚欧州精品视频| 天天爱天天做天天舔| 久久99热在线观看| 99在线精品视频| 丁香五月婷婷亚洲天堂| 99色综合网| 婷婷草| 成人av免费观看| 99久久超级| 日韩一级片| 激情综合色婷婷啪啪六月天| 婷婷五月花| 伊人九热| 99热欧美| 米奇影视五月天| 丁香五月久久| 成人性生活免费观看。| 久草五月| 79色色| 婷婷五月天av| 婷婷五月激情综合啪啪| 中文精品久久久久人妻不| 亚洲狠狠干| www.狠狠| 久久99看免费| 激情五月婷婷伊人| 秋霞A V毛片| a性生活久久无| 久9热在线视频| 九九无码视屏| 天天色天天| 涩 五月 婷婷 狠狠| 最新激情五月天| 欧美色色色色色色色色色色| 亚洲天堂婷婷丁香| 97干欧美| 婷婷五月图片小说视频| 色偷偷五月天| 777久久久| 亚洲五月天伊人| 一起草Av| 日日夜夜九九| 九九热只有这里精品| 五月婷婷成人| 亚洲精品白浆高清久久久久久| 在线观看免费狠狠色丁香香综合| 九月婷婷丁香| 色色婷婷五月| 六月婷在线| 综合五月亭亭9| 五月丁香激情四射| 午夜在线成人网站免费观看| VA婷婷| 五月天激情啪啪| 婷婷五月性感| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 久久性爱网| 99小视频在线| 丁香五月婷婷视频| 色www久视频| 99综合视频一体| 国产密乳av一区二区三区四区| 这里只有精品视频| 91日视频| 五月婷婷福利| 五月婷婷六月色| 五月丁香无码| 五月婷六月| 激情内射人妻1区2区3区| 激情AV| 99免费| 桃色五月婷婷| 五月丁香综合啪啪啪啪啪| xxxx久| 婷婷五月天渟渟| 五月婷婷天天色| 亚洲天堂爱爱| 四川操逼站| 五月丁香色婷婷基地| 五月丁香综合啪啪| 99色中文| 99久久玖玖|