欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

GUI Agent測試失敗診斷:基于軌跡分析的根因定位與系統(tǒng)可靠性提升

GUI Agent測試失敗診斷:基于軌跡分析的根因定位與系統(tǒng)可靠性提升 1. 項目概述當GUI Agent“翻車”時我們?nèi)绾尉珳试\斷在AI驅(qū)動的軟件自動化測試領(lǐng)域GUI Agent圖形用戶界面智能體正成為一股顛覆性的力量。想象一下一個能夠像人類一樣操作瀏覽器、點擊按鈕、填寫表單的AI7x24小時不知疲倦地執(zhí)行測試用例這聽起來像是質(zhì)量保障工程師的終極夢想。然而夢想照進現(xiàn)實時我們常常會遇到一個令人頭疼的問題當測試失敗時我們很難快速、準確地知道“為什么”。傳統(tǒng)的軟件評估方法無論是基于腳本的自動化測試還是人工測試在失敗時通常能提供清晰的錯誤堆?;虿僮魅罩?。但GUI Agent的行為由大語言模型LLM驅(qū)動其決策過程像一個“黑盒”。一次測試失敗可能源于多種復雜因素的疊加可能是LLM錯誤理解了屏幕上的一個圖標可能是頁面加載延遲導致Agent點擊了錯誤的位置也可能是測試任務(wù)本身的描述存在歧義。簡單地報告“任務(wù)失敗”毫無意義我們真正需要的是可解釋的、根因明確的診斷報告。這就是“DiagEval: Trajectory-Conditioned Diagnosis for Reliable Software Evaluation with GUI Agents”這個項目試圖解決的核心痛點。它不是一個全新的測試框架而是一個構(gòu)建在現(xiàn)有GUI Agent工作流之上的診斷與評估增強層。其核心思想是“軌跡條件診斷”——即利用Agent執(zhí)行任務(wù)過程中產(chǎn)生的完整交互軌跡包括截圖、操作序列、LLM的思考過程結(jié)合特定的診斷模型對失敗原因進行歸因和分析從而讓軟件評估變得可靠、可信。簡單來說DiagEval想讓每一次測試失敗都“死得明白”并且能告訴我們下一步該修復Agent、優(yōu)化環(huán)境還是澄清任務(wù)。這對于將GUI Agent從實驗室原型推向真實的、大規(guī)模的工業(yè)級軟件測試場景至關(guān)重要。2. 核心思路拆解為什么“軌跡”是診斷的關(guān)鍵要理解DiagEval首先要拆解其名稱中的兩個關(guān)鍵詞“Trajectory-Conditioned”軌跡條件和“Diagnosis”診斷。2.1 什么是GUI Agent的“軌跡”在強化學習或機器人領(lǐng)域軌跡通常指智能體在環(huán)境中從起點到終點所經(jīng)歷的狀態(tài)、動作序列。對于GUI Agent而言這個定義被完美映射狀態(tài)State在每一個決策步驟Agent所“看到”的屏幕截圖或經(jīng)過處理的視覺特征以及可能從頁面中提取的文本、可操作元素列表。動作ActionAgent執(zhí)行的操作如CLICK [id‘submit-btn’]、TYPE [selector‘#search’] “hello”、NAVIGATE “https://...”。思考過程Reasoning Trace這是由LLM驅(qū)動的Agent所獨有的。許多先進的Agent框架如AutoGPT、WebGUM等會讓LLM輸出其決策的“鏈式思考”Chain-of-Thought。例如“當前頁面有一個登錄表單。我需要先輸入用戶名。用戶名輸入框的ID是‘username’。因此我將執(zhí)行動作 TYPE [id‘username’] ‘test_user’?!?這部分信息是理解Agent意圖和錯誤的關(guān)鍵。一個完整的任務(wù)軌跡就是由一系列(狀態(tài) 思考 動作)三元組構(gòu)成的序列。這個序列包含了Agent完成任務(wù)的全過程信息遠比一個簡單的“通過/失敗”標簽豐富得多。2.2 “軌跡條件診斷”解決了什么根本問題傳統(tǒng)的評估指標如任務(wù)成功率、完成步驟數(shù)是標量且后驗的。它們只告訴結(jié)果不解釋過程。當成功率從80%跌到70%時我們面臨一系列無法回答的問題是Agent的視覺理解能力變差了嗎是網(wǎng)站的前端UI發(fā)生了改動嗎是任務(wù)指令描述得不夠清晰嗎還是測試環(huán)境如網(wǎng)絡(luò)延遲不穩(wěn)定導致的軌跡條件診斷的核心思路是將診斷任務(wù)本身定義為一個條件生成或分類問題其條件就是任務(wù)執(zhí)行軌跡。通過分析軌跡一個專門的診斷模型可以學習將復雜的、多模態(tài)的軌跡數(shù)據(jù)映射到結(jié)構(gòu)化的失敗原因分類上。這帶來了幾個關(guān)鍵優(yōu)勢可解釋性診斷報告可以明確指出失敗是因為“在第三步Agent將‘保存草稿’按鈕誤識別為‘提交’按鈕”。歸因精準可以將問題歸因到具體模塊如“視覺定位錯誤”、“任務(wù)規(guī)劃邏輯缺陷”、“環(huán)境異?!薄V笇Ц倪M為開發(fā)者提供明確的改進方向。如果是視覺問題可能需要增強截圖預處理或微調(diào)視覺編碼器如果是規(guī)劃問題可能需要優(yōu)化提示詞工程或采用更好的任務(wù)分解策略。2.3 DiagEval的系統(tǒng)級視角從系統(tǒng)架構(gòu)看DiagEval并非取代現(xiàn)有的GUI Agent如使用Playwright LLM的Agent而是與之協(xié)同工作。一個典型的工作流如下軌跡收集GUI Agent在待測軟件Web/桌面應(yīng)用上執(zhí)行一系列評估任務(wù)。每個任務(wù)執(zhí)行時不僅記錄最終的成敗還全程高保真地記錄下完整的軌跡數(shù)據(jù)屏幕錄像或高頻截圖、DOM快照、操作日志、LLM的思考鏈。軌跡存儲將軌跡數(shù)據(jù)以結(jié)構(gòu)化的格式例如包含時間戳的序列化JSON存儲到數(shù)據(jù)庫中并與任務(wù)ID、環(huán)境配置等信息關(guān)聯(lián)。診斷引擎對于失敗的任務(wù)診斷引擎被觸發(fā)。它加載對應(yīng)的軌跡數(shù)據(jù)運行診斷模型可能是另一個微調(diào)過的LLM或一個多模態(tài)分類模型對軌跡進行分析。報告生成診斷引擎輸出結(jié)構(gòu)化的診斷報告包括失敗根因分類、導致失敗的關(guān)鍵步驟截圖、Agent錯誤思考的引用、以及可能的修復建議如“建議在提示詞中明確區(qū)分按鈕A和按鈕B的功能”。評估看板所有任務(wù)的原始結(jié)果和診斷報告匯總在一個評估看板中提供宏觀的可靠性指標如各類錯誤的發(fā)生率和微觀的案例審查。注意這里存在一個“雞生蛋還是蛋生雞”的問題。要訓練一個診斷模型我們需要大量已標注診斷結(jié)果的軌跡數(shù)據(jù)。因此DiagEval的實踐往往從“基于規(guī)則的診斷”或“利用強大LLM如GPT-4進行零樣本診斷”開始積累初始數(shù)據(jù)再逐步迭代訓練更專、更高效的診斷模型。3. 核心模塊深度解析從數(shù)據(jù)到診斷報告要實現(xiàn)上述思路DiagEval包含幾個關(guān)鍵的技術(shù)模塊。每一個模塊的設(shè)計都直接影響最終診斷的準確性和實用性。3.1 軌跡數(shù)據(jù)的規(guī)范化與存儲軌跡數(shù)據(jù)是多模態(tài)且高維的高效存儲和快速檢索是首要挑戰(zhàn)。數(shù)據(jù)格式設(shè)計{ task_id: login_test_001, instruction: 使用用戶名‘a(chǎn)dmin’和密碼‘123456’登錄系統(tǒng)。, trajectory: [ { step: 0, timestamp: 2023-10-27T10:00:00.000Z, screenshot_path: /data/screenshots/login_test_001_step0.png, dom_snapshot: html...input idusername.../html, extracted_elements: [ {id: username, type: textbox, bounds: [100, 200, 300, 250]}, {id: password, type: textbox, bounds: [100, 300, 300, 350]} ], llm_thought: 我需要找到用戶名輸入框。根據(jù)截圖和DOM有一個ID為‘username’的文本輸入框。我將在此輸入用戶名。, executed_action: TYPE [idusername] admin, action_success: true }, { step: 1, timestamp: 2023-10-27T10:00:02.500Z, screenshot_path: ..., llm_thought: 用戶名已輸入?,F(xiàn)在需要找到密碼輸入框并輸入密碼。, executed_action: TYPE [idpassword] 123456, action_success: true }, // ... 更多步驟 ], task_success: false, final_state: 頁面顯示‘密碼錯誤’提示信息。 }關(guān)鍵字段llm_thought和extracted_elements是診斷的黃金信息源。前者揭示了意圖后者提供了環(huán)境事實。存儲策略大文件如截圖、錄像建議使用對象存儲如S3/MinIO并存儲鏈接元數(shù)據(jù)和文本字段存入時序數(shù)據(jù)庫或文檔數(shù)據(jù)庫如MongoDB便于按任務(wù)和時間查詢。實操心得高頻截圖 vs 事件驅(qū)動截圖每一步都截圖數(shù)據(jù)量大但信息完整??梢哉壑忻恳徊奖卮婵s略圖僅在action_successfalse或關(guān)鍵步驟時存儲高分辨率截圖以平衡存儲成本和診斷需求。DOM快照的取舍DOM信息對于理解頁面結(jié)構(gòu)至關(guān)重要但可能很龐大??梢灾淮鎯εc當前步驟關(guān)注區(qū)域相關(guān)的部分DOM或存儲經(jīng)過清理和簡化后的版本。3.2 診斷模型的選型與訓練這是DiagEval的技術(shù)核心。診斷模型需要理解多模態(tài)軌跡并做出判斷。主要有幾種技術(shù)路徑基于規(guī)則/啟發(fā)式的方法做法預先定義一系列規(guī)則。例如如果軌跡中連續(xù)出現(xiàn)三次“元素未找到”的錯誤則診斷為“頁面加載不穩(wěn)定或元素定位策略失效”如果LLM的思考中出現(xiàn)“我認為這個按鈕是X”但截圖顯示按鈕文字是Y則診斷為“視覺/文本理解錯誤”。優(yōu)點簡單、透明、無需訓練數(shù)據(jù)、快速上線。缺點規(guī)則難以覆蓋所有復雜情況維護成本高無法處理模糊和未知錯誤?;诖笮驼Z言模型LLM的零樣本/少樣本診斷做法將軌跡數(shù)據(jù)特別是LLM思考和動作序列以文本形式組織成提示詞Prompt提交給一個強大的通用LLM如GPT-4、Claude-3要求其分析失敗原因。提示詞示例“你是一個GUI測試診斷專家。以下是AI Agent執(zhí)行登錄任務(wù)的軌跡。任務(wù)失敗了最終頁面顯示‘密碼錯誤’。請分析軌跡指出Agent可能在哪里出錯了并給出根因分類。軌跡[插入軌跡的文本摘要]”優(yōu)點非常靈活能處理未見過的錯誤模式利用了LLM強大的推理和自然語言理解能力。缺點成本高API調(diào)用費延遲大診斷結(jié)果可能不穩(wěn)定且嚴重依賴提示詞工程。訓練專用的多模態(tài)診斷模型做法這是DiagEval論文中可能探討的進階方向。收集大量帶標注診斷結(jié)果的軌跡數(shù)據(jù)訓練一個端到端的模型。這個模型以軌跡序列圖像序列文本序列為輸入輸出診斷分類和解釋。模型架構(gòu)猜想視覺編碼器如ViT處理每一步的截圖。文本編碼器如BERT處理LLM思考和動作文本。時序融合模塊如Transformer或LSTM將多步的視覺和文本特征融合理解整個軌跡的上下文。診斷頭一個分類層輸出根因類別如視覺理解錯誤、動作執(zhí)行錯誤、任務(wù)規(guī)劃錯誤、環(huán)境問題同時可接一個文本生成頭如使用LLaMA架構(gòu)來生成自然語言的診斷描述。優(yōu)點一旦訓練好診斷速度快、成本低、結(jié)果一致可針對特定領(lǐng)域優(yōu)化。缺點需要大量高質(zhì)量的標注數(shù)據(jù)訓練成本高模型開發(fā)和維護復雜。在實際項目中一個混合策略往往是明智的初期用規(guī)則和LLM API快速搭建原型積累數(shù)據(jù)中期用積累的數(shù)據(jù)微調(diào)一個中小型開源模型如Qwen-VL或LLaVA進行初步分類后期數(shù)據(jù)量足夠大時再考慮訓練更定制化的模型。3.3 診斷分類體系的設(shè)計一個定義清晰的診斷分類體系是產(chǎn)出 actionable 報告的基礎(chǔ)。分類不宜過粗如“Agent錯誤”或過細難以標注。一個實用的分類體系可能包括大類子類描述可能的原因/修復方向感知錯誤視覺定位失敗Agent無法在截圖中找到正確的UI元素。截圖模糊、元素樣式變化、視覺編碼器能力不足。需增強視覺特征或加入DOM信息輔助。文本識別錯誤Agent錯誤識別了屏幕上的文字如將“Cancel”看成“Confirm”。OCR錯誤或LLM視覺理解偏差。需改進OCR或提供更清晰的文本提示。狀態(tài)判斷錯誤Agent錯誤判斷了頁面狀態(tài)如認為已登錄成功實際失敗。缺乏對成功/失敗狀態(tài)的明確定義。需在提示詞中加入更明確的狀態(tài)檢查指令。規(guī)劃與推理錯誤任務(wù)分解錯誤Agent將復雜任務(wù)分解成了錯誤的子步驟序列。LLM對任務(wù)領(lǐng)域的常識不足。需提供任務(wù)分解的few-shot示例或采用更高級的規(guī)劃器。邏輯推理錯誤Agent在單步推理中得出錯誤結(jié)論如“這個灰色按鈕應(yīng)該是可點擊的”。LLM的推理幻覺。需通過思維鏈CoT自我驗證或引入外部知識驗證。上下文遺忘Agent在長軌跡中忘記了之前步驟的關(guān)鍵信息。LLM的上下文窗口限制或注意力機制問題。需設(shè)計更好的記憶模塊或總結(jié)機制。動作執(zhí)行錯誤動作參數(shù)錯誤動作指令正確但參數(shù)錯誤如點擊坐標偏移。坐標計算不準或頁面動態(tài)變化。需采用更魯棒的元素定位方式如相對定位。環(huán)境交互失敗動作本身正確但環(huán)境未響應(yīng)如點擊無反應(yīng)。前端框架延遲、元素未處于可交互狀態(tài)。需增加重試機制和等待條件。環(huán)境與任務(wù)問題環(huán)境不穩(wěn)定網(wǎng)絡(luò)超時、頁面崩潰、測試數(shù)據(jù)被污染。非Agent問題。需優(yōu)化測試環(huán)境穩(wěn)定性和數(shù)據(jù)隔離。任務(wù)指令歧義人類提供的任務(wù)描述本身存在多種解釋。需求方問題。需與需求方澄清并優(yōu)化任務(wù)指令的編寫規(guī)范。這個分類體系需要在實際項目中不斷迭代和細化。4. 實操構(gòu)建指南從零搭建一個簡易DiagEval理論說了很多我們來點實際的。假設(shè)我們已有一個基于Playwright和GPT-4 API的簡易GUI Agent現(xiàn)在要為其增加DiagEval診斷能力。我們將采用“規(guī)則引擎 LLM零樣本診斷”的混合模式。4.1 環(huán)境準備與架構(gòu)搭建技術(shù)棧選擇Agent執(zhí)行端Python, Playwright (用于瀏覽器自動化) LangChain/自定義Agent框架 (用于組織LLM調(diào)用)。軌跡記錄器在Agent的每個動作執(zhí)行前后插入鉤子函數(shù)記錄所需數(shù)據(jù)。存儲層SQLite (用于原型快速開發(fā)存儲元數(shù)據(jù)) 本地文件系統(tǒng) (存儲截圖)。診斷引擎Python, 內(nèi)置規(guī)則引擎 調(diào)用OpenAI API (用于復雜診斷)??梢暬窗錝treamlit (快速構(gòu)建交互式Web應(yīng)用)。目錄結(jié)構(gòu)diageval_project/ ├── agent/ # GUI Agent核心代碼 │ ├── __init__.py │ ├── gui_agent.py # 主要的Agent類 │ └── actions.py # 定義所有可執(zhí)行動作 ├── trajectory/ # 軌跡記錄與管理 │ ├── recorder.py # 軌跡記錄器 │ ├── models.py # 軌跡數(shù)據(jù)模型 (Pydantic) │ └── storage.py # 存儲到SQLite和文件 ├── diagnosis/ # 診斷引擎 │ ├── engine.py # 診斷引擎主入口 │ ├── rule_based.py # 基于規(guī)則的診斷器 │ ├── llm_based.py # 基于LLM的診斷器 │ └── categories.py # 診斷分類定義 ├── evaluation/ # 評估任務(wù)管理 │ └── task_loader.py # 從YAML/JSON加載測試任務(wù) ├── dashboard/ # 可視化看板 │ └── app.py # Streamlit 應(yīng)用 ├── config.yaml # 配置文件 (API keys, 路徑等) └── requirements.txt # 依賴包列表4.2 實現(xiàn)軌跡記錄器軌跡記錄器的核心是“非侵入式”地嵌入到Agent的執(zhí)行循環(huán)中。# trajectory/recorder.py import json from datetime import datetime from pathlib import Path from .models import TrajectoryStep, TaskTrajectory from .storage import TrajectoryStorage from PIL import ImageGrab # 或使用playwright截圖 class TrajectoryRecorder: def __init__(self, storage: TrajectoryStorage, screenshot_dir: Path): self.storage storage self.screenshot_dir screenshot_dir self.screenshot_dir.mkdir(parentsTrue, exist_okTrue) self.current_trajectory [] def start_task(self, task_id: str, instruction: str): 開始記錄一個新任務(wù) self.current_task_id task_id self.current_instruction instruction self.current_trajectory [] print(f[Recorder] Started recording for task: {task_id}) def record_step(self, step_data: dict): 記錄單步數(shù)據(jù)。 step_data 應(yīng)包含screenshot, dom_snapshot, llm_thought, action, action_success step_num len(self.current_trajectory) timestamp datetime.utcnow().isoformat() # 保存截圖 screenshot_path None if step_data.get(screenshot): # 這里簡化處理實際可能用playwright的page.screenshot() filename f{self.current_task_id}_step{step_num}.png screenshot_path self.screenshot_dir / filename step_data[screenshot].save(screenshot_path) # 假設(shè)screenshot是PIL Image # 構(gòu)建步驟對象 step TrajectoryStep( stepstep_num, timestamptimestamp, screenshot_pathstr(screenshot_path) if screenshot_path else None, dom_snapshotstep_data.get(dom_snapshot), llm_thoughtstep_data.get(llm_thought, ), executed_actionstep_data.get(action, ), action_successstep_data.get(action_success, True), extracted_elementsstep_data.get(extracted_elements, []) # 從DOM解析的可操作元素 ) self.current_trajectory.append(step) def end_task(self, task_success: bool, final_state: str ): 結(jié)束任務(wù)將完整軌跡存入存儲 trajectory TaskTrajectory( task_idself.current_task_id, instructionself.current_instruction, trajectoryself.current_trajectory, task_successtask_success, final_statefinal_state ) self.storage.save(trajectory) print(f[Recorder] Saved trajectory for task: {self.current_task_id}, success: {task_success}) self.current_trajectory []在GUI Agent的主循環(huán)中需要集成這個記錄器# agent/gui_agent.py (部分代碼) class GUIAgent: def __init__(self, llm_client, recorder): self.llm llm_client self.recorder recorder def execute_task(self, task_instruction: str): task_id generate_task_id() self.recorder.start_task(task_id, task_instruction) # Agent的核心執(zhí)行循環(huán) for step in range(MAX_STEPS): # 1. 觀察環(huán)境截圖獲取DOM screenshot, dom self._observe_environment() # 2. LLM思考并決定動作 llm_thought, action self._think_and_plan(screenshot, dom, task_instruction) # 3. 執(zhí)行動作 action_success self._execute_action(action) # 4. 記錄這一步 step_data { screenshot: screenshot, dom_snapshot: dom, llm_thought: llm_thought, action: action, action_success: action_success, extracted_elements: self._extract_elements(dom) # 輔助函數(shù) } self.recorder.record_step(step_data) if self._is_task_completed(): break final_success self._check_final_success() final_state self._get_final_state_description() self.recorder.end_task(final_success, final_state) return final_success4.3 實現(xiàn)混合診斷引擎診斷引擎在任務(wù)結(jié)束后被調(diào)用或者由一個后臺服務(wù)定期處理失敗任務(wù)的軌跡。# diagnosis/engine.py from .rule_based import RuleBasedDiagnoser from .llm_based import LLMBasedDiagnoser from .categories import DiagnosisResult class HybridDiagnosisEngine: def __init__(self, rule_diagnoser: RuleBasedDiagnoser, llm_diagnoser: LLMBasedDiagnoser): self.rule_diagnoser rule_diagnoser self.llm_diagnoser llm_diagnoser def diagnose(self, trajectory: TaskTrajectory) - DiagnosisResult: 診斷流程先用規(guī)則進行快速、確定的診斷 如果規(guī)則無法確診或置信度低則調(diào)用LLM進行深度分析。 # 階段1: 規(guī)則診斷 rule_result self.rule_diagnoser.analyze(trajectory) if rule_result.confidence 0.8: # 設(shè)定一個置信度閾值 print(f[Diagnosis] Rule-based diagnosis confident: {rule_result.root_cause}) return rule_result # 階段2: LLM診斷 print(f[Diagnosis] Rule-based inconclusive, invoking LLM...) llm_result self.llm_diagnoser.analyze(trajectory) # 可以結(jié)合規(guī)則和LLM的結(jié)果例如LLM結(jié)果覆蓋規(guī)則結(jié)果 return llm_result規(guī)則診斷器示例# diagnosis/rule_based.py class RuleBasedDiagnoser: def analyze(self, trajectory: TaskTrajectory) - DiagnosisResult: # 規(guī)則1: 檢查連續(xù)動作失敗 consecutive_failures 0 for step in trajectory.trajectory: if not step.action_success: consecutive_failures 1 if consecutive_failures 3: return DiagnosisResult( root_cause環(huán)境與任務(wù)問題/環(huán)境不穩(wěn)定, details連續(xù)三個動作執(zhí)行失敗可能頁面未加載完成或網(wǎng)絡(luò)異常。, confidence0.9, problematic_steps[step.step for step in trajectory.trajectory[-3:]] ) else: consecutive_failures 0 # 規(guī)則2: 檢查LLM思考與動作的一致性 for step in trajectory.trajectory: if 點擊 in step.llm_thought and CLICK not in step.executed_action: # 思考說要點擊但實際執(zhí)行了其他動作 return DiagnosisResult( root_cause規(guī)劃與推理錯誤/邏輯推理錯誤, detailsf步驟{step.step}: LLM思考意圖為點擊但實際執(zhí)行了‘{step.executed_action}’??赡艽嬖谥噶罱馕鲥e誤。, confidence0.7, problematic_steps[step.step] ) # ... 更多規(guī)則 # 默認返回未知 return DiagnosisResult( root_cause未知, details規(guī)則引擎無法確定根因。, confidence0.0 )LLM診斷器示例# diagnosis/llm_based.py import openai # 或使用其他LLM SDK from .categories import DiagnosisResult class LLMBasedDiagnoser: def __init__(self, api_key: str, model: str gpt-4-turbo): self.client openai.OpenAI(api_keyapi_key) self.model model def analyze(self, trajectory: TaskTrajectory) - DiagnosisResult: # 將軌跡轉(zhuǎn)換為LLM可理解的文本摘要 trajectory_summary self._format_trajectory_for_llm(trajectory) prompt f 你是一個資深的GUI自動化測試診斷專家。請分析以下AI Agent執(zhí)行任務(wù)的軌跡找出任務(wù)失敗的根本原因。 任務(wù)指令{trajectory.instruction} 最終狀態(tài){trajectory.final_state} 任務(wù)結(jié)果{成功 if trajectory.task_success else 失敗} **執(zhí)行軌跡摘要** {trajectory_summary} 請根據(jù)以下分類給出最可能的失敗根因并簡要說明理由。如果你的判斷不屬于已知分類請輸出“其他”并描述原因。 **根因分類** 1. 感知錯誤 - 視覺定位失敗 2. 感知錯誤 - 文本識別錯誤 3. 感知錯誤 - 狀態(tài)判斷錯誤 4. 規(guī)劃與推理錯誤 - 任務(wù)分解錯誤 5. 規(guī)劃與推理錯誤 - 邏輯推理錯誤 6. 規(guī)劃與推理錯誤 - 上下文遺忘 7. 動作執(zhí)行錯誤 - 動作參數(shù)錯誤 8. 動作執(zhí)行錯誤 - 環(huán)境交互失敗 9. 環(huán)境與任務(wù)問題 - 環(huán)境不穩(wěn)定 10. 環(huán)境與任務(wù)問題 - 任務(wù)指令歧義 請以JSON格式輸出包含以下字段 - root_cause: (字符串從上述10個分類中選擇格式如“規(guī)劃與推理錯誤 - 邏輯推理錯誤”) - confidence: (浮點數(shù)0.0到1.0) - reasoning: (字符串詳細解釋你的診斷理由引用軌跡中的具體步驟) - suggested_fix: (字符串給開發(fā)者的修復建議) try: response self.client.chat.completions.create( modelself.model, messages[{role: user, content: prompt}], temperature0.1, # 低溫度保證輸出穩(wěn)定 response_format{ type: json_object } # 要求JSON輸出 ) result_json json.loads(response.choices[0].message.content) # 將LLM輸出映射到我們的DiagnosisResult對象 return DiagnosisResult( root_causeresult_json.get(root_cause, 未知), detailsresult_json.get(reasoning, ), confidencefloat(result_json.get(confidence, 0.5)), suggested_fixresult_json.get(suggested_fix, ) ) except Exception as e: print(fLLM診斷失敗: {e}) return DiagnosisResult(root_cause診斷失敗, detailsstr(e), confidence0.0) def _format_trajectory_for_llm(self, trajectory: TaskTrajectory) - str: # 簡化軌跡只保留關(guān)鍵信息避免token超限 summary_lines [] for step in trajectory.trajectory[:20]: # 限制步數(shù) summary_lines.append(f步驟{step.step}:) summary_lines.append(f 思考: {step.llm_thought[:200]}...) # 截斷 summary_lines.append(f 動作: {step.executed_action}) summary_lines.append(f 結(jié)果: {成功 if step.action_success else 失敗}) summary_lines.append() return \n.join(summary_lines)4.4 構(gòu)建評估看板使用Streamlit可以快速構(gòu)建一個可視化界面。# dashboard/app.py import streamlit as st import pandas as pd from pathlib import Path import sys sys.path.append(str(Path(__file__).parent.parent)) from trajectory.storage import TrajectoryStorage from diagnosis.engine import HybridDiagnosisEngine st.set_page_config(layoutwide) st.title(DiagEval - GUI Agent 評估診斷看板) # 初始化組件 storage TrajectoryStorage(trajectories.db) diagnosis_engine HybridDiagnosisEngine(...) # 側(cè)邊欄任務(wù)篩選 st.sidebar.header(篩選條件) task_status st.sidebar.selectbox(任務(wù)狀態(tài), [全部, 成功, 失敗]) if st.sidebar.button(運行診斷針對所有失敗任務(wù)): failed_tasks storage.get_tasks_by_success(False) for task in failed_tasks: if not task.has_diagnosis: # 假設(shè)軌跡對象有一個標記 result diagnosis_engine.diagnose(task) storage.save_diagnosis(task.task_id, result) # 主界面 st.header(任務(wù)執(zhí)行概覽) all_tasks storage.get_all_tasks() if task_status ! 全部: all_tasks [t for t in all_tasks if t.task_success (task_status 成功)] df pd.DataFrame([{ 任務(wù)ID: t.task_id, 指令摘要: t.instruction[:50] ..., 狀態(tài): ? 成功 if t.task_success else ? 失敗, 步驟數(shù): len(t.trajectory), 診斷結(jié)果: t.diagnosis_result.root_cause if hasattr(t, diagnosis_result) else 未診斷 } for t in all_tasks]) st.dataframe(df, use_container_widthTrue) # 點擊查看詳情 selected_task_id st.selectbox(選擇任務(wù)查看詳情, [] [t.task_id for t in all_tasks]) if selected_task_id: task storage.get_task(selected_task_id) st.subheader(f任務(wù)詳情: {selected_task_id}) col1, col2 st.columns(2) with col1: st.text_area(完整指令, task.instruction, height100) st.write(f**最終狀態(tài)**: {task.final_state}) with col2: if task.diagnosis_result: st.info(f**診斷根因**: {task.diagnosis_result.root_cause}) st.write(f**置信度**: {task.diagnosis_result.confidence:.2f}) st.text_area(診斷詳情與建議, task.diagnosis_result.details \n\n建議: task.diagnosis_result.suggested_fix, height150) # 展示軌跡步驟 st.subheader(執(zhí)行軌跡) for step in task.trajectory: with st.expander(f步驟 {step.step}: {step.executed_action} ({成功 if step.action_success else 失敗})): col1, col2 st.columns(2) if step.screenshot_path and Path(step.screenshot_path).exists(): col1.image(step.screenshot_path, captionf步驟{step.step}截圖, use_column_widthTrue) col2.text_area(f思考過程, step.llm_thought, height150)運行streamlit run dashboard/app.py一個具備基本任務(wù)概覽、篩選、診斷觸發(fā)和軌跡詳查功能的看板就啟動了。5. 避坑指南與進階思考在實際構(gòu)建和運用DiagEval系統(tǒng)的過程中你會遇到許多預料之外的問題。以下是我從實踐中總結(jié)的一些關(guān)鍵教訓和進階方向。5.1 常見陷阱與解決方案軌跡數(shù)據(jù)“海嘯”問題每個任務(wù)每一步都存高清截圖和完整DOM數(shù)據(jù)量增長極快幾天就能占滿磁盤。解決方案分層存儲原始數(shù)據(jù)如4K截圖存冷存儲如S3冰川用于事后深度分析。診斷引擎使用實時生成的低分辨率縮略圖或視覺特征向量。智能采樣不是每一步都存。只在動作失敗時、或每隔N步、或在關(guān)鍵決策點根據(jù)LLM思考的置信度判斷存儲完整數(shù)據(jù)。數(shù)據(jù)生命周期管理自動清理超過一定時間的原始軌跡數(shù)據(jù)只保留診斷結(jié)果和元數(shù)據(jù)。診斷模型的“幻覺”與不一致性問題基于LLM的診斷器有時會“胡言亂語”給出與軌跡明顯不符的診斷或者相同軌跡兩次診斷結(jié)果不同。解決方案提示詞工程這是關(guān)鍵。在提示詞中嚴格要求LLM“引用軌跡中的具體證據(jù)”。例如“你的診斷必須基于軌跡中第X步的思考‘...’和第Y步的動作‘...’之間的矛盾?!弊晕乙恢滦詫ν卉壽E進行多次LLM診斷采樣temperature0取多數(shù)票結(jié)果可以提高穩(wěn)定性。引入驗證器訓練或設(shè)計一個簡單的二分類模型判斷LLM的診斷理由是否在軌跡中有據(jù)可查過濾掉“無源之水”的診斷。診斷分類體系難以覆蓋所有情況問題總會出現(xiàn)一些奇怪的錯誤無法歸入預先定義的類別。解決方案設(shè)立“其他”類別并強制要求診斷模型或人工標注員用自然語言描述。定期復盤與迭代每周review“其他”類別下的案例從中抽象出新的錯誤模式補充到分類體系中。這是一個持續(xù)演進的過程。層次化分類采用兩層甚至三層分類。第一層大類感知/規(guī)劃/動作/環(huán)境第二層細分類第三層允許自由文本描述。這樣既有結(jié)構(gòu)又保留了靈活性。性能瓶頸問題LLM診斷延遲高無法用于大規(guī)模測試的實時反饋。解決方案異步診斷任務(wù)執(zhí)行和診斷解耦。Agent執(zhí)行完即返回診斷作為后臺作業(yè)慢慢跑。緩存診斷結(jié)果對相似的軌跡可通過軌跡特征向量計算相似度復用之前的診斷結(jié)果。小模型優(yōu)先用規(guī)則和微調(diào)的小模型處理大部分常見錯誤只將疑難雜癥交給大LLM。5.2 從診斷到自愈系統(tǒng)的閉環(huán)演進DiagEval的終極價值不僅僅是“發(fā)現(xiàn)問題”而是“推動系統(tǒng)自我改進”。這需要形成一個閉環(huán)診斷驅(qū)動提示詞優(yōu)化如果大量錯誤被歸類為“任務(wù)指令歧義”系統(tǒng)可以自動建議修改任務(wù)描述模板。如果是“視覺定位失敗”集中發(fā)生在某類UI組件上可以自動生成針對該類組件的額外描述加入Agent的上下文。診斷驅(qū)動Agent再訓練將診斷出的錯誤軌跡特別是那些明確歸因于Agent能力不足如特定視覺識別錯誤的作為高質(zhì)量的訓練數(shù)據(jù)用于微調(diào)Agent本身的視覺編碼器或規(guī)劃模塊。診斷驅(qū)動測試用例生成發(fā)現(xiàn)某個交互流程容易出錯如“提交訂單后支付頁面跳轉(zhuǎn)”可以自動生成更多圍繞該流程的邊界測試用例強化測試覆蓋??煽啃远攘颗c預警通過長期收集診斷數(shù)據(jù)可以計算各類錯誤的“發(fā)生率”趨勢。當“環(huán)境不穩(wěn)定”錯誤率突然飆升時可能意味著測試基礎(chǔ)設(shè)施出了問題可以自動告警。5.3 評估什么超越“成功率”的可靠性指標有了DiagEval我們對GUI Agent的評估就可以從單一的“任務(wù)成功率”進化到一套多維度的可靠性指標體系脆弱性分析統(tǒng)計各類錯誤的比例。例如“感知錯誤”占40%“規(guī)劃錯誤”占30%。這直接指明了Agent改進的優(yōu)先級。可診斷率有多少比例的失敗任務(wù)可以被診斷引擎明確歸因這個指標衡量了診斷系統(tǒng)本身的有效性。平均診斷時間從任務(wù)失敗到產(chǎn)出診斷報告的時間。影響修復效率。誤診率需要人工復核一部分診斷結(jié)果計算診斷錯誤的比率?;貧w檢測靈敏度當Agent新版本發(fā)布后通過對比新舊版本在相同任務(wù)集上的診斷分布可以敏銳地發(fā)現(xiàn)引入的新類型錯誤即使總體成功率變化不大。構(gòu)建DiagEval這樣的系統(tǒng)初期投入確實不小但它帶來的透明度和可操作性是將GUI Agent從玩具變?yōu)榭尚刨嚨纳a(chǎn)力工具的關(guān)鍵一步。它迫使開發(fā)者以更嚴謹、更系統(tǒng)化的方式思考智能體的失敗模式而這正是工程化AI應(yīng)用的基石。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久婷婷夜| 色婷婷第四色| 日本精品。999| 中文字幕在线免费| 人人综合久| 天天色天天操天天射| 国内自拍1区| 久久婷婷亚洲五月天| 在线观看免费观看在线9久| 99热热九九| 97碰在线视频| 丁香久色| 无码人妻AV久久久一区二区三区| 热99热9| 精品久久人妻| 青草青草视频2免费观看| 色播丁香| 国产在线激情视频| 色狠狠色综合| 精品99在线看| 蜜桃人妻无码AV天堂三区| 久久久久99精品成人网站| 五月六月婷| 五月丁香视频色色| 久久伊人大香蕉| 欧美日韩99| 99视频只有精品| 天天想夜夜爽天天爽| 婷婷五月天激情文学| 99热99成人| CHINESE熟女老女人HD视频| 99国产小视频2013| 无码日本精品XXXXXXXXX| 六月婷伊人| 色婷青青| 开心婷婷五月| 欧洲亚洲免费视频9| 激情五月天综合网| 久久久五月四色| 噜噜五月天综合| 色5月丁香婷婷| 久啪欧美| 色播五月丁香| 亚洲另类久久| 人人妻人人澡| 国产精品久久欧美久久一区| 亚洲色网络| 午夜丁香综合婷婷| 思思热视频| 五月丁婷婷| 激情综合五月丁香六月婷婷| 91操片| 九九综合视频在线观看| 欧美69久成人做爰视频| 色色色色色色网站| 蜜臀av无码久久久久久久久| 99色在线视频观看| 99视频精品全部观看10| 天天免费成年人视频| 不卡在线视频| 成人片在线播放| 激情五月婷婷五月| www、色色色| 日韩久久色| 国产肥白大熟妇BBBB视频| 天天搞天天色综合| 五月天天天综合| 五月停停大香蕉| 婷婷丁香五月婷婷| www.狠狠狠狠| 九九热超碰| 99色精品| 五月婷六月| 思思热思在线精品视频| 大香蕉啪啪| 九九综合影音先锋| 亚洲成人一区| 激情都市丁香婷婷| 天天透天天摸天天舔| 色综合狠狠色| 精品无码久久久久久久久| 五月婷婷六月激情| 五月婷婷六月丁香在线视频| 99热国产国产| 色婷久久| 日本九九视频| 99久久偷拍视频| 99色天堂| 97性视频| 99视频这里只有精品10| 日韩狠狠色婷婷| 在线免费观看激情视频| 99这里只有| 人妻VideOssS人妻高清| 婷婷丁香五月精品| 久久五月综合| 99热99精品| 久久99大| 农村熟妇高潮精品A片| 91视频精品99| 播播网色播播| 狠狠插狠狠操| 99九九精品| 色在线五月天免费| 国产做爰视频免费播放| 色爱亚洲| 色色网站| 亚洲黄色影视| 色婷| 黄网在线免费观看| 激情六月天婷婷| 五月六月婷婷| 丁香六月婷婷综合欧美| 亚洲激情免费视频| 思思久久青草热| 深爱五月婷婷开心中文字幕| 色五月丁香五月| 日韩伊人大香蕉| 最新高清无码专区| 九九亚洲视频| 99久久6| 91丨九色丨熟女丰满| 深爱五月日韩| www.henhengan| 婷婷香五月综合激情| 一根材五月婷成人| 国产精品色色色色| 69五月天视频| xfplayav在线| 伊人久久五月天综合| 婷婷五月天深爱| 婷婷在线观看五月天在线视频| 97精品欧美91久久久久久久| 色色丁香| 婷婷成人在线| 婷婷五月天日日日干干干| peg 2区三区四区的| 日韩不卡DvD| 超级黄色片| g00d人体西西| 色99色| 亚洲成人另类| 五月婷婷性爱| 亚洲开心激情网| 亚洲色五月天在线| www.五月瑟| 婷婷精品综合| 天天干天天干天天干| 五月婷婷综合视频| 欧美va在线观看| 99热综合网| 亚洲熟妇无码乱子AV电影| 丁五月激情视频免费| 久操97| 一区视频网站| 五月综合久久| 色99久草在线| AV色婷婷| 玖玖伦理电影| 亚城区在线| 天天日夜夜曹| 色色婷婷丁香| 性爱久久| 婷婷丁香五月天操逼| 狠狠爱婷婷色| 五月花综合网| 五月天 另类图片| 狠狠五月天婷婷激情网。| 岛国AV网| 99无码黄色视频| 97在线视频人妻九色| 婷婷婷婷婷婷婷五月丁香| 色色色五月婷婷| 亚洲乱码日产精品BD| 日韩乱轮AV| 九九伦子片| 日本WWW九九九| 五月丁香婷婷99| 色七七九九| 五月天婷婷免费| 九九熱最新視頻| 高清无码.com| 亚洲无码色色| 日本久久网| 任你躁XXXXX麻豆精品| 亞洲自怕| 91久久人人操| 狠狠做五月| 激情五月天综合图片小说网站| 五月天基地| 六月婷婷视频| 人妻丰满精品一区二区A片| 草草色情综合网| 久re热视频| 99re热精品视频国| 狠狠干无码| 9l视频自拍9l九色成人| 日本波多野结衣视频| ady狠狠入| 天天开心天天色| 伊人深爱综合| 婷婷五月天福利| 99爱在线| 新99思思视频| 玖操97| 色婷婷国产精品综合在线观看| 激情第四色| av人人操| 五月婷婷熟女| 色婷久九| 就爱日五月天| 天天草天天舔| 日本片日本片祼观看网站在线看中文版网页在线看 | 五月婷久久在线| 国产日韩欧美性爱| 99五月香婷婷丁香在线视频| 秋霞电影一级黄| 婷婷五月激情视频在线| 国产成人网址| 99ri久久| 五月天色丁香| 性爱网五月婷婷| 亚洲欧美成人在线| 激情五月五月五月婷婷| 狠狠草在线观看| 久久综合66| 99色天堂| 91久久五月天| 2021日韩无码| 青青草视频福利| 婷婷激情社区| 超碰免费99| 天天做天天爱综合| 亚洲精品又粗又大又爽A片 | 六月丁香啪啪| 丁香激情四射| 加勒比日本一区二区三区| 99久热这里有精品| 婷婷五月天综合网| 九九成人精品免费视频| 超碰97免费在线| 色青青电影色五月| 99热99精品在线观看| 天天摸天天透天天舔| 久久精品A片777777| 婷婷大香蕉| 99久久网站| 影音先锋美国A| 夜夜操夜夜爽| 久热9| 成人在线精品| 狼友超碰| 五月 激情视频| 五月天激情视频网站| 成人AV在线电影| 丁香五月婷婷激情尤物| 影音先锋91| 91 久热| 5月婷婷激情6月| 婷婷综合网站| 99爱这里只有精品| 精品一区二区三区免费毛片爱| 色五月天.con| 99热这里只有精品8| 91九色丨国产丨爆乳| 欧美人妻一区二区| 亚洲4区国产欧美| http://www.sd-xiangsu.com/| 熟女人妻视频| WWW.夜夜| 国产九月婷婷| 婷婷丁香五月高清| 色吧婷婷五月亚洲| 婷婷娱乐丁香综合网| 亚洲亚洲人成综合网络| 色五月六月婷婷| 97日韩无套内| 九九热99热| 操比激情五月| 第四色首页| 婷婷热色| 丁香六月天| 久久久久久99精品无码| 91色久| 五月婷婷性爱| 精品国产乱码久久久久久免费| 99在线观看视频蜜臀| 天天综合精品| 涩涩网五月天| 欧美电影在线观看| 亚洲五月天婷婷在线| 日韩99无码| 天天摸日日舔狠狠添婷婷婷| 夜色爱爱亚洲| 激情综合网激情五月天| 成人av在线电影| 大香蕉啪啪网| 五月婷婷久久内射| 9精品一区| 五月丁香六月婷婷网| 激情综合在线播放| 天天天干夜夜夜操| 99热最新网址| 精品香蕉99久久久久网站| 五月天激情综合10p| 九97免费视频| 久热91| 天天综合激情| 丁香五月激情啪啪啪啪| 久久在这里99| 婷婷激情五月天7| 中文av网| 99re最新地址| 91精品久久久久久77777| 大香蕉人妻| 色七色九九| 日韩二区搞逼插逼毛片| 五月丁香婷婷欧美| 五月婷婷与六月丁香图片激情| 99热只有| 日本五月婷| 亚洲旡码| 国产精产国品一二三在观看| 思思久久99| 原琪琪色影院| 日韩av一区二区在线/日产精品久久久 | 人人干天天操五月丁香| 五月天婷婷激情六月久久| 香蕉人在线香蕉人在线 | 国产色色在线| 久久综合综合综合| 网站免费一站二站| www.com五月天| 深爱婷婷基地| 欧美精品久| 99精色| 激情婷婷亚洲五月| 99久久新视频| 全部老头和老太XXXXX| 婷婷淫淫狠狠六月| 夜夜操夜夜爽| 另类视屏| 久久久国产精品黄毛片| 人人操AV| 激情亚洲婷婷六月| 狠狠色五月| 人妻AV在线| 久久这里只有欧美| 婷色人人狠| 人人操人| 另类图片五月天| 九九激情| 亚洲婷婷丁香五月视频| 九洲一级A片| 秋霞少妇AV网站| Av九九| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 天天日天天干天天天| 亚洲精品国产成人AV在线| 91中文狠狠综合| 欧美丁香五月97色| 五月天色网站| 91欧美| 九九九激情网| 欧美日韩aaa| 五月天玖玖狠狠色色| 97资源欧美日韩大香蕉超碰一区| 婷婷五月激情基地| 五月丁香| 婷婷精品| 激情亚洲婷婷| 婷婷五月在线播放| 中出内射的人妻视频| 丁香五月影视| 色开心五月婷婷丁香HD| 夜夜操天天爽| 五月丁香五月激情综合色综合| 91超碰在线观看| 香蕉五月婷婷| 国模狼狼| 清纯唯美 激情四射| 99综合网| 九九99免费理论| 色五月天在线观看| 噜噜色com| 狠狠色婷婷丁香六月| 日本三级韩三级99久久| 99热亚洲精品| 色婷婷精品视频| H亚洲| 亚洲色无码A片一区二区麻豆| 五月婷婷六月丁香| 大香蕉久操| 秋霞AV淫| 五月婷中文字幕| 五月天激情婷婷| 思思国产99| 5月婷婷激情6月| 色婷婷WWW| 超碰人人艹| 亚洲AV成人精品网站在线播放| 香蕉AV福利精品导航| 色色性爱视频| 91操碰| 9999三级片| 狠狠色丁香久久婷婷综合五月| 五月天堂婷婷| 噜综合| 99久热这里有精品| 久久视频66| 99成人网一区| 国内一级精品| www久久久久| 1024操逼| 97luluse| 夜色热久| 色色色com| 五月婷婷电影院| 4438亚洲欧美| 九久久婷婷| 性欧美大战久久久久久久83| 欧美日韩一区二区三区四区| 激情丁香五月天图片| 丁香五月激情婷婷视频| 激情啪啪五月天| 中文字幕婷婷五月天| 久久性操| 国产亚洲精品人人| 欧美熟女乱又伦| 天堂婷婷丁香六月网| 啪啪啪五月天| 婷婷五月美女直播| 五月激情综合激情五月| 色婷婷五月亚洲| 狠狠88综合久久久久噜噜噜| 深情六月婷婷综合久久| 色噜噜狠狠色综合日日免费| 九九熱最新視頻| 五月婷婷xxx| 丁香五月婷婷啪| www.91.com处女在线直播| 五月丁色AV| 精品无码人妻一区| 婷婷五月天论坛| 婷婷情色激情| 99视频35精品视频在线观看| 可以免费观看的AV| 婷婷色五月综合| Av中文在线| 五月综合丁| 久久婷.com| 成人五月天在线观看| 婷婷大美在线| 久久99成人性爱高清视频| 激情综合色婷婷六月天| 玖玖爱伊人| 99re在线精品视频| 婷婷99狠狠| 丁香五月婷婷啪啪视频| 99精品一二三四视频| 亚洲综合激情五月天婷婷| 天天舔天天| 天天日天天草| 色色婷婷丁香| 中文字幕五月久久婷婷| 婷婷六月丁香在线| 六月丁香婷婷五月| 爱射综合| 亚洲va久久久噜噜噜久久天堂| 日韩成人电影av| 久99热| 五月丁香在线国产| 综合色影| 久久五月天激情| 成人网站av免费网站推荐| 久思思久视频| 婷婷五月综合网| 精品久久9| 狠狠综合网| 超碰成人影视| 五月丁香六月婷婷,婷| 天天搞天天色综合| 色情成人五月天| 在线五月婷| 久久婷婷综| 日日噜狠狠色综合久久| 啊v视频在线观看| 无码成人AAAAA毛片AI换脸| 精品综合爱| 激情五月婷婷网在线观看| 99热这里是精品| 欧美经典片免费观看大全| 欧美人人超级碰| 伊人大香五月天| 亚洲精品99| 江苏少妇性BBB搡BBB爽爽爽 | 久久91久久精品久久| 亚州操操| 天天干com| 婷婷五月丁香六月| 久久99jiu9| 人妻乱码久久久| 久久98热re| 丁香五月天91| 综合激情五月丁香9999久久精| 播播网色播播| 日韩一级| 婷婷激情六月综合| 一级性爱视频| 五月综合丁香婷婷| 噜噜五月天综合| 少妇高潮A片无套内谢麻豆传| 国产免费一区二区三区三州老师F1F1.CC| 岛国资源网| 久久久999精品| 欧美69色| www.ppypp| 婷婷啪啪| 丁香五月婷婷激情小说| 五月婷婷,狠狠操| 视频一区二区在线| 久久99热精品a片在线观看| 天天插综合网| 婷婷久久亚洲| 六月丁香综合| 日韩美女羞羞网站在线观看| 色综合久久88色综合天天| 国产又黄又爽又色的免费| 婷婷精品免费久久| 亚洲AV中文在线| 成人AV综合在线| 天天操夜夜爽| 日碰日| 色狠狠伊人久久五月丁香| 亚洲激情五月| 另类天堂| 色色五月天婷婷| 婷婷五月,偷窥偷拍网| 日本五月视频| 三级毛片视频| 久久精彩视频99| 婷婷五月天小说| 午夜大香蕉| 五月婷婷五月天| 激情综合99| 久久九精品| 色色婷婷丁香五月天| 人人爱国产| 伊人大香蕉爱聚| 久久婷婷五月综合啪| 日本一級黃色一級片| 丁香5月啪啪| 久久久99精品免费观看| 五月丁香色婷婷基地| 黄桃AV无码免费一区二区三区| 七七九九色色| 国产人妻777人伦精品HD| 久久丁香五月综合六月激情红杏视频 | 婷婷99丁香| 五日激情综合| 亚洲小电影在线观看黄999| 色五月大| 日本久热| 开心激情五月天网| 亚洲欧洲色色| 一二线视频 另类| 婷婷五月中文字幕国产| 墨西哥毛片内射精| 爽天天天天天天天| 久久久99视频| 九九黄色网| 五月天天丁香婷婷在线中| 99热伊人| 日日天天操| 超碰操日| 高清无码网址| 狠狠操狠狠爱| 一本大道熟女人妻中文字幕在线| 九月婷婷丁香| 婷五月天丁香婷五月| 超碰在线观看9| 另类视频一区| 大战熟女丰满人妻AV| m色激情网| 色月丁| 天天综合网91| 五月丁色AV| 大香蕉伊人丁香五月| www,色色色网站| 在线观看欧美| 久久激情网| 丁香色情五月综合网站| 五月婷天堂视频| 五月丁香综合激情网| 99热最新精品| 99色嘟嘟精品网站| 久久婷五月天| 99热无码| 九九香蕉网| 日日躁夜夜躁狠狠久久AV| 五月婷婷我| 五月丁香婷婷综合网色欲| 黄色五月婷婷| 天天拍夜夜爽日日| 91人碰| 91狠狠色丁香婷婷综合久久| 99热精品在线播放| jiujiu热在线视频| 亚洲黄网在线| 26uuu精品国产| 色五月综合网| 色爱综合网| 色五月丁香A欧美com| 五月激情在线| 爱草视频在线观看| 91超级碰在线| 久久综合久色欧美综合狠狠| 99操免费视频| 狠狠狠狠狠狠狠狠草| 骚五月婷婷| 九色视频91| 精a品a| 快乐婷婷五月天| 九九99偷拍视频| 99精在线| 天天爱天天吃狠天天透| 99er免费在线观看| 色玖玖导航| 九九成人电影婷婷| 99热综合| www五月| 色婷婷五月基地在线| 久久在线大香蕉| 色五月激情五月| 99综合自拍| 五月亭亭综合五码| anquye伊人| 激情综合网站| 亚洲网综合在线| 中文字幕婷婷| 99这里只有精| 色婷婷香蕉丁丁网| 久热无码| WWW,五月| 五月天激情日色在线| 99精品久久久久| 婷婷五月天亚洲综合| 他改变了拜占庭| 99久精品| 丁香婷婷五月天成人| 99这里只有精品| 色色色国产| 天天插天天插天天插| 天天爱天天日| 大香蕉精品视频| 99久久亚洲国产| 日本婷婷激情四射中文字幕在线观看| 色五月天电影| www超碰| 99久久这里只有精品| 青草激情在线| 狠狠狠狠狠狠狠狠狠狠狠色宗合图片 | 日本三久久| 五月婷婷综合丁香视频| 天天色综合综合| 婷婷五月天色综合翘| 偷偷狠狠久久婷婷五月天| 天堂中文国产| 五月天激情啪啪| 久久ri精品视频| 色综合久久之分久久| 九九亚洲视频| 能看的av| 色婷婷在线视频| 九九碰九九爱97| 婷婷激情九月| 超碰在线视屏| 五月丁香色色| 久久婷丁香五月| 九九大香蕉黄色影院| 色综合色综合色综合色综合| 亚洲欧美国产高清vA在线播放| 婷婷五月天手机版视频| 五月天小说激情| 狠狠干总合| www久久五月com| 婷婷六月色| 26uuu青青| 99视频内射三四| 操操啪| 啪啪91| 日韩亚洲视频| 国产欧美日韩性爱| 婷婷色五月偷拍| 久久五月六月| 天天摸天天舔天天爽| 欧洲亚洲免费视频区| 99热精品在线播放观看| 婷婷五月天六月综合| 五月丁香网av| www,欧美干干干干干干| 怡红院院久久| 精品无码99| 婷婷精品综合| 五月天婷婷无码| 五月天开心网| 另类视频一区| 九九AV| 深夜婷婷 丁香| 一区二区三区四区牛| 色色色色色综合| 久久色五月| 草综合网| 人妻熟妇六区| 亚洲精品午夜国产va久久成人| 久狠狠狠| 丁香九月婷| 极品人妻VIDEOSSS人妻| 婷婷五月激情视频网| 98色花堂98t.R| 久久97| 99精品在线下载| 成年人最刺激的综合网| 99在线观看精品视频| 国产AV国片偷人妻麻豆| 狠狠色九月| 婷婷综合激情| 午夜爱爱爱成人| 夜夜操天天干| 激情小说视频图片| 疯狂做受XXXX高潮A片动画| 综合色七七| 琪琪色热色色| 天天日日人| 激情五月天色婷婷| 丁香九九九九| 粉嫩AV久久一区二区三区| 久久XX日本综合| 99久久99久久| 婷婷五月欧美综合| 综合色色色| 国产精品色色| 青青操日本摸摸看看| 99热 在线播放| 7月婷婷六月丁香| 婷婷五月天色综合| 久久婷狠狠色| 思思久久99热只有频精品66| 99日在线观看视频| 激情深愛五月視頻| 日日.c| 丁香六月激情| 亚洲激情Av| 玖玖视频福利| 色婷婷五月中文字幕在线dvd| 五月天丁香综合| 欧美性生交XXXXX无码小说| 91嫩草久久| 日日日,com| 日本色狠狠| 激情五月天网| 国产婷婷久久| 99er6| 91精品久久久久久久久| 日欧一片内射VA在线影院| 97日在线视频| 米奇影视资源777狠狠色婷婷五月天激情网| 九九热精品| 国外亚洲成AV人片在线观看| 婷婷 伊人 久久| 亚洲丁香五月美女| 深夜A片| 色婷婷六月天| 婷婷爱五月| 国产亚洲精品人人| 女人天堂 AV| 丁香五月久久| 五月天丁香久久| 第一区久久网站| 亚洲另类在线观看| 四射综合网| 亚洲久久婷婷丁香五月天| 超碰大香蕉网| 玖玖玖婷婷婷| 五月丁香婷婷六月天| 97人人干人人操| 四川操逼站| 天天操夜夜啊| www.99热在线| 新激情五月天| 九九视频这里是精品五月| 天天综合 99久久婷婷| 婷婷五月天VI| 99r这里只有精品哦| 亚洲啪啪网| 六月色 亚洲| 国产26uuu视频| 色婷婷视频在线| 射久久丁香五月| 麻豆五月丁香婷婷| 五月婷婷丁香| 丁香五月天啪啪| 色玖玖导航| 五月婷婷黄色毛片| 激情婷婷丁香色情五月天| 日韩综合久| 激情五月狠狠喔| 色婷五月| 狠狠精品干练久久久无码中文字幕| 激情婷婷五月天| 伊人婷婷大香蕉| 一级性感毛片| 精品无码99| 日韩AV免费看| 激情婷婷人妻| 五月天伊人| 丁香五月婷婷深爱综合激情| 91婷婷色五月| 踪合专区啪啪| 五月丁香综合激情| 99五丁香月| 亚洲九九九九| 久久A极片| 五月综合激情图片 | www.玖玖婷婷在线| 久久这里只有精品22| 日韩av一区二区在线/日产精品久久久 | 天天爽夜夜爽夜夜爽精品| 三级三久久线久久99久目本WW| 久久综合影院| 久久婷婷内射| 91.com男女操| 亚洲不卡| 五月婷婷丁香| 六月久久婷婷| 午夜丁香综合婷婷| 五月丁香婷婷爱| 日韩伊人大香蕉| 激情丁香五月婷婷| 九九精品热播| 亚洲在线操| 婷色五月天| 国产精品久久..4399| 操B五月天| 丁香婷婷性爱| 伊人婷婷青青cao| 狠狠做深爱婷婷久久综合一区| www.91.com黄| 婷婷久久综合| 六月丁香五月激情亚洲AV| 丁香激情五月| 久一这里有精品国产| 成人综合网站| 久久这里只有国产精品视频| 欧美A片在线视频免费观看| 五月丁香AV在线| 超碰A V在线| 人人操av| 久久精品五月天| 日日干日日| 99久久久免费| 久久丁香| 色欲资源网| 日本在线观看91| 婷婷五月综合啪| 中文字幕在线不卡| 国产67194| 五月丁香少妇网| 日比视频91| 婷婷五月天六月丁香| 99 re视频一区| 99热婷婷| 五月婷婷综合网在线播放| 色综合综合综合| 婷婷五月花丁香| 99riAV国产精品视频| www夜夜操| 九九热这里只有精品12| 9 1大香蕉| 人人97碰| 天天综合插插| 99在线爽| 小视频久久久aaa| 色99视| tingtingseav| 日本美女上人| 深爱激情九九五月天 | 黄色片区子| 99热都是精品| 这里只有精品在线看| 五月婷久久草| 五月婷婷综合在线| 五月天天爽| 一区二区三区视频| 日韩人妻白浆视频系列| 九九热精品99| 91艹人| 亚洲韩国日产综合AV| 综合网天天| 噜噜色五月| 九九色黄色| 大香蕉久久| 五月停停丁香| 丁香花色色网| 久月久在线视频| 婷婷五月情| 六月丁香婷婷在线波多| 色综合久久44| 黄色网址五月婷婷| 午夜免费试看| 亚洲狠狠操| 狠狠色婷婷7777久| 91a片爽| av九九| 99性感视频| 色啪影院| 五月日韩中文字幕| 五月婷婷啪啪啪| 精品三区影院| 怡红院 久久| 97碰碰九九视频| 99在线观看| 激情亚洲网| 熟女婷婷网站一婷婷五月一丁香婷婷一婷婷激情网 | 久久91久久91色欲精品| 专区无日本视频高清8| 日韩黄色电影| 激情综合网 激情五月天| 亚洲成人综合在线| 国产综合丁香五月天| 久久97久久99久久综合欧美| 亚洲五月婷婷| 69色婷婷| 国产婷婷五月在线视频| 丁香五月婷婷激情123| 99综合网| 国产精品成人AV在线| 中文超碰视在线| 九九av| 丁香花五月天激情| 99热在线这里| 色婷綜合网| 五月婷五月婷伊人伊人五月婷| 日韩五月婷婷| 草草夜夜操| 天天干天天日天天操| 激情五月天网站| 一级二级香港秋霞欧美欧美秋霞| 天天插天天狠| 久久草中文日韩欧美| 99超级超级超级碰| 大色鬼综合| 婷婷五月天小说| 99热爱爱干干日| 亚洲色视频| 久久伊人日日夜夜| 亚洲色婷婷色| 日本99视频| 久久综合丁香| 91se精品国产| 色综合天天| 国产一级片| 综合久久综合久久| 狠狠操狠狠操| 五月天综合在线观看| 99亚洲色| 丁香五月激情澎湃一区| WWW.五月天9999| 一级片sese片.COM| 九九AV在线| 激情综合网五月| 色情婷| 99精品高潮| 玖玖爱导航| 狠狠色噜噜狠狠亚洲A∨| 久久久久久久久久久久久久久久一道本| www.yw尤物| 狠狠五月天| 丁香六月激情综合| 97操操| 狠狠爱婷婷丁香| 五月丁香成人小说| 狠狠插狠狠插| 特级西西4444www无码| 婷婷五月丁香基地| 五月天涩涩| 色色色图| 五月天色区| 久草热在线视频| 婷婷激情视频欧美视频自拍视频欧美剧| av人人操| 婷婷五月天在线观看第二页| 丁香六月婷婷姐网| 成人五月天视频播放| 这里只有精品网站| 五月丁香黄色视频| 五月婷亚洲精品| 亚洲男女激情| 碰97久久| 婷婷丁香五另类网站| 久久在线大香蕉| 日日杆天天| 婷婷色片| 丁香五月欧美成人| 99精在线| 五月天婷婷小说| 国外亚洲成AV人片在线观看| 任你躁XXXXX麻豆精品| 男人大jjc女人免费视频| 爱操天堂| 97婷婷五月丁香| 热婷婷在线视频| 涩涩婷婷五月| 婷婷成人综合| 91色色色| 九九热九九| 伦99热| xxx.色婷婷| 色天堂A| 俺去也综合| 99欧美| 亚洲丁香花五月丁香花| 狠狠综合久久综合| 色婷婷五月在线| 久这里只有精品99| 久久午夜理论| 99热6这里只有精品| 国产97色在线 | 日韩| 99热啪啪| 欧美性生交A片免费看| 亚洲av成人一区二区电影在线| 婷婷五月天久久综合88| 天天肏在线观看| 综合激情开心五月| 婷婷深爱五月丁香网| 99爱在线视频| 久久久久人妻网址| 性欧美大战久久久久久久83| 婷婷六月丁综合| 中文字幕不卡+婷婷五月| 五月婷视频久久| 五月天无码视屏播放| 婷婷五月天激情丁香| 97色在线观看视频| 五月天婷婷基地| 色亭亭九月| 91se在线视频| 米奇激情婷婷| 久久久久久久人妻| 色婷婷导航| 涩丁香| 99色五月| 婷婷五月天影视网址| 激情五月天综合| 可以直接看的AV| 影音先锋 萱萱| 婷婷操超碰| 日韩99色| 五月开心色| 天天爽天天日| 国产亚洲AV人片在线| 欧洲亚洲免费视频9| 中国AV性爱观看| 久色大| 亚洲精品久久久无码| 99热欧美精品| 深爱五月激情网| 丁香五月婷婷欧美成人色图| 99久热在线精品| 99re热视频这里只精品| 超碰av天堂| 丁香六月av| 性爱久久| 亚洲视频一区| 日韩天堂久久| 99在线观看这里都是精品| 日本婷婷| 国产做爰视频免费播放| 婷婷六月天天| 欧美亚洲操逼| 久操婷婷| 五月婷婷亚洲综合在线 | 夜色综合网| 操人妻AV| 久久综合性| 丁香激情综合| 欧美色色色| 丁香婷婷超碰 | 天天日天天久久青青| 久月婷婷| 五月天综合在线观看| 婷婷色网| www.色综合.com| www一区二区三区| 99性色| 涩涩婷婷五月| 亚洲精品性色| 九九亚洲| 91精品人妻少妇无码影院| 欧美日本一区二区三区| 日本三级日本三级99| 丁香激情五月天| 人人干人人操人人摸人人做| 亚洲五月婷| 在线99精品| 懂色AⅤ| 亚洲国产精品SUV| 丁香六月婷婷综情欧美| 亚洲另类久久| 久久丁香五月| 久久大香蕉同僚| 五月丁香婷婷综合视频| 乱乱av| WWW.99热| 俺去也综合| 婷婷丁香五月天之开心少妇| 蜜桃婷婷五月| 色综合激情| 色九九九九| 丁香五月激情五月开心五月| 国外亚洲成AV人片在线观看| 五月丁香日本在线视频观看| 99热这里只有精品首页| 久9久视频精品| 五月天婷婷爱丁香中文字幕| 99∨VTV| 国产激情久久| 色色色色色色色色五月先| 日本 色综合| 狠狠色噜噜狠狠| 色婷婷五月综合激情中文字幕| 欧美激情Va| 婷婷五月激情网| 日本片日本片祼观看网站在线看中文版网页在线看 | 无码yw| 人人操AV| 婷婷性爱五月天丁香网| 热的无码综合视频| 国产精品涩涩涩视频网站| 婷婷五月综合婷婷| 色婷婷亚洲精品天天综| 伊人久久大香蕉网| 久久精品系列| 久久婷视频| 大香蕉欧美在线| 无码yw| 亚洲av骚货| 婷婷色一二三区波多野结衣| 天天色色天天| 久久爱综合| 日韩视频99| 超碰色人妾| 精品成人a v无码内射| 大香伊人婷婷影院| 天天久综合| 色婷九九九| 久久激情五月| 九九久久精品國產| 天天日天天草| www.久久爱.c n| 日本激情91| 亚洲旡码| 91久久99久久91熟女精品| 99九九久久| 超碰91在线| 天天干狠狠| jiqingtaose五月天| www.五月.com| 五月婷婷色播视频| 疯狂做受XXXX高潮A片| 婷婷六月天精品| A片天天| 九热视频| 婷婷五月网图片区| 97色在线视频| 色色热99| 久久久国产精品黄毛片| 亚洲日日操| 亚洲超级碰| 色播五月天激情| 天天干天天干天天干天天干天天| 五月婷婷之综合激情在线| 9久国产精品| 丁香无月在线观看| 亚洲九N| 色综合色| 天天人人综合| 久婷狼色诱惑在线| 中文成人在线| 热99这里只是精品| 乱岳熟女50岁| 亚洲欧美另类在线23p| 在线看黄色| 99操无码视频观看| 99啪啪| 熟女少妇内射日韩亚洲| 欧美VA在线| 亲子乱AV一区二区三区下载| 成人精品视频99在线观看免费| 国产三级秋霞| A片一曲| 爆乳熟妇一区二区三区四区| 另类激情五月在线视频欧美| 伊人五月天综合网| 超碰69天堂| 五月天婷综合| 五月婷婷开心深| 极品五月天| 极品人妻VideOssS人妻| 久久精品视频9| 99超级碰免费视频| 黄色热99| 99热在线中文字幕| 五月天婷婷导航| 黄色成人网站在线播放| 日本不卡高字幕在线2019| 久久hd| 天天噜天天爱| 丁香五月激情网| 牛色色碰| 97人人操人人爽| 丁香五月中文字幕久色| 91精品丝袜久久久久久| 久久综合久色欧美综合狠狠| 久99久精品视频| 久久99久久99精品免观看软件 | 最新午夜理论片| 日韩淑女人妻luan伦激情精品一区二| 99精品久久| 思思热在线| 婷婷丁香五月六月激情| 91人人爽狠狠狠| 丁香婷婷综合激情五月色| 色丁香五月婷婷| 色 五月婷婷基地| 狠狠色综合网| 欧美婷婷丁香五月| 无遮挡国产高潮视频免费观看| 九九热精品99| 五月天综合色| 久久丁香五月| 婷婷成人丁香色情基地30 | 天天日天天肏天天奸| www.99在线| 激情五月婷婷网| 伊人国产婷婷五月天| 玖玖综合网| 久久 中文 日本| 久久久久久久人妻| 五月天激情图片| 这里只有精品免费| 狠狠干激情五月| 九九热视频精品2| 超碰不卡在线| 色婷婷激情视频| 亚洲激情在线| 91碰视频| 天天狠狠夜夜狠狠2023| 丁香五月激情六月综合| 欧亚色色| 激情久久综合| 亚洲成人av在线播放| 综合aV在线| 婷婷色综合| 久草嫩草在线观看| 久青青久|