欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

只改Harness不換模型:提升LLM編碼能力的工程實(shí)踐

只改Harness不換模型:提升LLM編碼能力的工程實(shí)踐 在實(shí)際的 LLM Coding 評測和 Agent 開發(fā)中有一個(gè)很反直覺的現(xiàn)象模型權(quán)重完全沒動(dòng)提示詞也沒改只是把模型外層的執(zhí)行腳手架從“單次生成答案”改成“生成代碼 - 運(yùn)行測試 - 返回報(bào)錯(cuò) - 讓模型修改”的閉環(huán)許多不同模型的編碼指標(biāo)會同時(shí)上升。標(biāo)題里的 “Only the harness changed” 說的就是這個(gè)場景。harness 在這里不是模型參數(shù)也不是 prompt 模板而是包裹在模型之外負(fù)責(zé)輸入構(gòu)造、工具調(diào)用、代碼執(zhí)行、結(jié)果反饋和重試策略的一整套工程系統(tǒng)。這篇文章會圍繞 harness 展開先說明它是什么為什么能影響 15 個(gè)模型的編碼表現(xiàn)再一步步實(shí)現(xiàn)一個(gè)最小可復(fù)現(xiàn)的 coding harness并用它批量評估多個(gè) LLM。適合正在做模型評測、編碼 Agent、AI 編程工具鏈的工程師閱讀。讀完以后你可以把這套方案復(fù)制到自己的項(xiàng)目里用同一套 harness 橫向?qū)Ρ炔煌P鸵材芾斫鉃槭裁础皳Q模型不如換 harness”。1. Harness 到底是什么模型之外的執(zhí)行與評測系統(tǒng)1.1 從一個(gè)“模型集體變強(qiáng)”的現(xiàn)象說起如果只看結(jié)果很多人會以為某個(gè)新版本模型“一夜之間變強(qiáng)了”。但標(biāo)題里的現(xiàn)象并不是模型參數(shù)升級而是推理時(shí)的運(yùn)行方式變了??梢赃@樣理解同樣是做一張數(shù)學(xué)卷子之前要求直接寫答案現(xiàn)在允許在草稿紙上演算、檢查、改正最后再上交。草稿紙沒有改變考生大腦里的知識但確實(shí)提高了最終得分。LLM 也一樣。同一個(gè)模型在同樣的權(quán)重下如果外部系統(tǒng)允許它先執(zhí)行代碼、看到報(bào)錯(cuò)、再修改答案它的 coding 指標(biāo)就可能明顯提升。這就是 harness 的作用它不是一個(gè)更大的模型也不是更長的 prompt而是把“推理一次”擴(kuò)展成“推理、執(zhí)行、反饋、再推理”的完整循環(huán)。這里要特別說明不同評測集、不同模型供應(yīng)商、不同任務(wù)難度下harness 帶來的提升幅度并不一樣。不要把這個(gè)現(xiàn)象理解成“任何模型都能被 harness 救活”。模型本身的能力仍然是上限harness 負(fù)責(zé)把已經(jīng)存在但未被充分利用的能力釋放出來。1.2 Harness 在 LLM Coding 場景中的技術(shù)定位在 LLM coding 場景里harness 通常包含幾個(gè)核心部分輸入構(gòu)造把題目、代碼模板、歷史錯(cuò)誤、測試結(jié)果組裝成模型能理解的上下文。動(dòng)作執(zhí)行讓模型有機(jī)會運(yùn)行代碼、執(zhí)行命令、讀取文件而不是只輸出靜態(tài)文本。環(huán)境反饋把執(zhí)行后的 stdout、stderr、退出碼、測試斷言結(jié)果返回給模型。迭代控制決定最大嘗試次數(shù)、何時(shí)停止、何時(shí)切換策略。結(jié)果評估用隱藏測試、靜態(tài)檢查、人工規(guī)則判斷最終答案是否真正正確。模型、prompt、harness 是三個(gè)不同層面的東西。用一張表可以看得更清楚層面決定因素典型改動(dòng)影響范圍模型權(quán)重和架構(gòu)換模型、微調(diào)基礎(chǔ)語言理解、代碼生成能力Prompt輸入文本和示例改任務(wù)描述、Few-shot 示例模型對當(dāng)前任務(wù)的理解方式Harness外部執(zhí)行和反饋循環(huán)增加測試執(zhí)行、工具調(diào)用、重試模型能否利用執(zhí)行結(jié)果自我修正很多團(tuán)隊(duì)在優(yōu)化 coding 效果時(shí)第一反應(yīng)是換更大模型或?qū)懜?prompt 示例。實(shí)際上如果模型生成的代碼經(jīng)常只差一個(gè)邊界條件harness 里加一輪“跑測試再修復(fù)”通常更便宜、更穩(wěn)定。1.3 Harness 與 Agent 的關(guān)系A(chǔ)gent 是 harness 的高級形態(tài)但二者不是一回事。最小可用的 coding harness 可以只有四步生成、執(zhí)行、反饋、重試。Agent 則在此基礎(chǔ)上增加了更復(fù)雜的規(guī)劃、記憶、多工具選擇和長期目標(biāo)維護(hù)。換句話說Agent 框架本質(zhì)上是一套加強(qiáng)版 harness。理解 harness 的底層邏輯再去看 LangChain、自研 Agent、MCP 等工具時(shí)會更容易抓住核心它們都在解決“模型如何觀察外部世界、如何行動(dòng)、如何根據(jù)反饋調(diào)整”的問題。所以這篇文章先從一個(gè)最小 harness 開始。它不需要復(fù)雜的 Agent 框架也能實(shí)驗(yàn)出“只改 harness 就能提升多個(gè)模型”的效果。2. 為什么只改 Harness 就能提升多個(gè) LLM 的編碼能力2.1 單次生成的盲區(qū)模型看不到運(yùn)行結(jié)果不接 harness 時(shí)LLM 編碼是單向過程用戶給題目模型給代碼結(jié)束。如果代碼有語法錯(cuò)誤、邊界條件錯(cuò)誤、邏輯缺陷模型完全沒有機(jī)會看見。它只能依賴訓(xùn)練時(shí)見過的相似問題模式來推斷。這種模式適合“短答案生成”但不適合“程序必須可運(yùn)行”的場景。一個(gè)函數(shù)能否通過所有測試用例不取決于生成時(shí)看起來是否合理而取決于在真實(shí) Python 環(huán)境中的執(zhí)行結(jié)果。模型無法運(yùn)行代碼就無法獲得這一關(guān)鍵信息。2.2 反饋回路讓“試錯(cuò)”成為推理的一部分接入 harness 后模型的每次錯(cuò)誤都不是終點(diǎn)而是下一步推理的輸入。舉個(gè)例子模型第一次生成def two_sum(nums, target): for i in range(len(nums)): for j in range(len(nums)): if i ! j and nums[i] nums[j] target: return [i, j]用樣例測試[2, 7, 11, 15], 9可以通過但用邊界測試[3, 2, 4], 6會失敗因?yàn)檎_答案是[1, 2]而雙重循環(huán)可能先返回[0, 0]這種非法組合。如果不執(zhí)行測試模型永遠(yuǎn)不知道這個(gè)問題。加了 harness 后反饋信息里會包含斷言失敗assert res [1, 2] failed: expected [1, 2], got [0, 0]模型看到這個(gè)反饋后通常會在下一次生成時(shí)修正邏輯讓內(nèi)層循環(huán)從i 1開始。這個(gè)過程非常接近人類工程師調(diào)試代碼。2.3 工具調(diào)用擴(kuò)展了模型的信息邊界更強(qiáng)的 harness 不只是運(yùn)行代碼還可以讓模型讀取文件、執(zhí)行 shell 命令、查詢 API 文檔、搜索代碼倉庫。模型訓(xùn)練數(shù)據(jù)里沒有的依賴版本、內(nèi)部 API 簽名、最新框架用法都可以通過工具調(diào)用即時(shí)獲取。這也解釋了為什么 15 個(gè)模型都能從 harness 改動(dòng)中受益它們不需要共享同一套秘密技巧只需要共用同一個(gè)能執(zhí)行、能反饋、能搜索的外部系統(tǒng)。每個(gè)模型都會根據(jù)自己的能力從反饋中提取信息最終整體通過率上升。2.4 更合理的評判標(biāo)準(zhǔn)交付前先驗(yàn)證很多模型在 benchmark 上得分高但實(shí)際交付時(shí)仍然需要工程師修改。原因之一是評測只檢查“模型輸出是否看起來對”而不檢查“代碼是否真的能運(yùn)行通過”。harness 改變了評判方式不是模型生成完就交卷而是生成后先進(jìn)入沙箱執(zhí)行測試測試通過后才算完成。如果失敗就繼續(xù)反饋和重試。這樣最終產(chǎn)物是經(jīng)過執(zhí)行驗(yàn)證的代碼而不是一段沒有運(yùn)行過的字符串。對于 Coding 類任務(wù)這種“執(zhí)行優(yōu)先”的評判思路比單純比較生成文本相似度可靠得多。3. 動(dòng)手實(shí)現(xiàn)一個(gè)最小可復(fù)現(xiàn)的 Coding Harness3.1 場景與工作機(jī)制我們要實(shí)現(xiàn)一個(gè)最小但有完整閉環(huán)的 harness。它接收一個(gè)編程題目和若干測試用例調(diào)用任意 OpenAI 兼容接口的 LLM 生成 Python 代碼在本地沙箱中執(zhí)行測試。如果測試失敗就把錯(cuò)誤信息返回給模型讓模型繼續(xù)修復(fù)最多重試若干次。技術(shù)棧選擇Python 3.10 以上openaiPython SDK用于調(diào)用 OpenAI 兼容接口PyYAML用于讀取配置文件subprocesstempfile用于隔離運(yùn)行模型生成的代碼學(xué)習(xí)環(huán)境下使用subprocess加超時(shí)已經(jīng)足夠。生產(chǎn)環(huán)境要換成 Docker 容器或云沙箱不要直接在本機(jī)執(zhí)行不受信任的模型代碼。3.2 環(huán)境準(zhǔn)備與依賴安裝先創(chuàng)建虛擬環(huán)境并安裝依賴python -m venv .venv source .venv/bin/activate pip install openai pyyamlOpenAI 兼容接口的模型可以通過環(huán)境變量配置export OPENAI_API_KEY替換為你的 API Key export OPENAI_BASE_URLhttps://api.deepseek.com/v1這里使用OPENAI_BASE_URL的好處是可以平滑切換到任意兼容 OpenAI 協(xié)議的網(wǎng)關(guān)。模型名在配置文件中單獨(dú)指定例如deepseek-chat、qwen-plus、gpt-4o-mini等。實(shí)際運(yùn)行時(shí)要把密鑰和域名替換成自己環(huán)境對應(yīng)的值。3.3 數(shù)據(jù)模型與配置文件為了讓評測可重復(fù)先用配置文件管理模型參數(shù)和 sandbox 參數(shù)# config.yaml model: deepseek-chat temperature: 0.2 max_tokens: 2048 max_attempts: 3 sandbox_timeout: 10 test_timeout: 5 truncate_feedback: 2000字段含義參數(shù)默認(rèn)值示例作用modeldeepseek-chat指定要調(diào)用的模型名temperature0.2控制生成隨機(jī)性越低越穩(wěn)定max_tokens2048限制單次輸出長度max_attempts3允許模型修復(fù)代碼的最大輪數(shù)sandbox_timeout10每次運(yùn)行測試腳本的超時(shí)時(shí)間單位秒truncate_feedback2000截?cái)喾祷亟o模型的錯(cuò)誤信息長度避免上下文膨脹任務(wù)文件用 JSON 保存題目和測試用例{ id: two-sum, instruction: 實(shí)現(xiàn)函數(shù) two_sum(nums, target)返回兩個(gè)下標(biāo)組成的列表使兩個(gè)數(shù)之和等于 target。, entry_point: two_sum, tests: [ {args: [[2, 7, 11, 15], 9], expected: [0, 1]}, {args: [[3, 2, 4], 6], expected: [1, 2]}, {args: [[0, 4, 3, 0], 0], expected: [0, 3]} ] }這里測試用例不僅僅是樣例。[0, 4, 3, 0], 0這種邊界測試會暴露“返回相同下標(biāo)”的錯(cuò)誤是評測 harness 必須覆蓋的場景。3.4 核心代碼實(shí)現(xiàn)先定義數(shù)據(jù)類# harness.py import argparse import json import os import subprocess import sys import tempfile import textwrap from dataclasses import dataclass from openai import OpenAI import yaml dataclass class TestCase: args: list expected: object dataclass class Task: id: str instruction: str entry_point: str tests: list[TestCase] dataclass class HarnessConfig: model: str temperature: float 0.2 max_tokens: int 2048 max_attempts: int 3 sandbox_timeout: int 10 test_timeout: int 5 truncate_feedback: int 2000加載任務(wù)和配置def load_task(path: str) - Task: with open(path, r, encodingutf-8) as f: data json.load(f) tests [TestCase(argst[args], expectedt[expected]) for t in data[tests]] return Task( iddata[id], instructiondata[instruction], entry_pointdata[entry_point], teststests, ) def load_config(path: str) - HarnessConfig: with open(path, r, encodingutf-8) as f: data yaml.safe_load(f) return HarnessConfig(**data)構(gòu)造測試腳本。這里把用戶代碼和斷言拼成一個(gè)獨(dú)立腳本通過subprocess執(zhí)行def build_test_script(user_code: str, task: Task) - str: parts [user_code, ] for idx, t in enumerate(task.tests): args_repr , .join(json.dumps(arg) for arg in t.args) expected_repr json.dumps(t.expected, ensure_asciiFalse) parts.append(fres {task.entry_point}({args_repr})) parts.append( fassert res {expected_repr}, fcase {idx} failed: expected {expected_repr}, got repr(res) ) parts.append(print(PASS)) parts.append(print(ALL_PASS)) return \n.join(parts) def run_tests(user_code: str, task: Task, timeout: int) - dict: test_script build_test_script(user_code, task) with tempfile.TemporaryDirectory() as tmpdir: try: proc subprocess.run( [sys.executable, -I, -c, test_script], capture_outputTrue, textTrue, timeouttimeout, cwdtmpdir, ) except subprocess.TimeoutExpired: return { passed: False, stdout: , stderr: TimeoutExpired: 代碼運(yùn)行超時(shí), } if proc.returncode 0 and ALL_PASS in proc.stdout: return {passed: True, stdout: proc.stdout, stderr: proc.stderr} stderr proc.stderr or proc.stdout return {passed: False, stdout: proc.stdout, stderr: stderr}從模型輸出中提取代碼。為保證兼容性允許模型輸出 Markdown 代碼塊import re def extract_code(raw_output: str) - str: pattern r(?:python)?\s*(.*?) match re.search(pattern, raw_output, re.S) if match: return match.group(1).strip() return raw_output.strip()核心重試循環(huán)def solve_task(client: OpenAI, config: HarnessConfig, task: Task) - dict: messages [ { role: system, content: 你是一個(gè) Python 編程助手。只輸出可運(yùn)行的 Python 代碼不要添加多余解釋。, }, {role: user, content: task.instruction}, ] attempts [] for attempt in range(1, config.max_attempts 1): resp client.chat.completions.create( modelconfig.model, messagesmessages, temperatureconfig.temperature, max_tokensconfig.max_tokens, ) raw_output resp.choices[0].message.content or code extract_code(raw_output) result run_tests(code, task, config.sandbox_timeout) attempts.append( { attempt: attempt, code: code, passed: result[passed], stderr: result[stderr][-config.truncate_feedback :], } ) if result[passed]: return {status: solved, attempts: attempts, final_code: code} feedback f第 {attempt} 次運(yùn)行失敗請修復(fù)代碼\n{result[stderr][-config.truncate_feedback:]} messages.append({role: assistant, content: code}) messages.append({role: user, content: feedback}) return {status: failed, attempts: attempts, final_code: None}最后是命令行入口def main(): parser argparse.ArgumentParser() parser.add_argument(--task, requiredTrue, help任務(wù) JSON 文件路徑) parser.add_argument(--config, defaultconfig.yaml, helpharness 配置文件路徑) args parser.parse_args() config load_config(args.config) task load_task(args.task) client OpenAI( api_keyos.getenv(OPENAI_API_KEY), base_urlos.getenv(OPENAI_BASE_URL), ) result solve_task(client, config, task) print(json.dumps(result, ensure_asciiFalse, indent2)) if __name__ __main__: main()這段代碼有幾個(gè)關(guān)鍵點(diǎn)需要解釋模型輸出先經(jīng)過extract_code再進(jìn)入沙箱執(zhí)行避免模型在代碼塊外添加解釋導(dǎo)致運(yùn)行失敗。每次失敗后把模型自己的代碼和報(bào)錯(cuò)一起追加到對話歷史中讓模型在同一上下文里繼續(xù)修改。truncate_feedback防止巨型 traceback 撐爆上下文。-I參數(shù)讓 Python 以隔離模式運(yùn)行忽略當(dāng)前 PYTHONPATH 影響降低環(huán)境干擾。3.5 運(yùn)行與驗(yàn)證保存好config.yaml、task.json、harness.py后執(zhí)行python harness.py --task task.json --config config.yaml如果一切正常會輸出類似下面的 JSON{ status: solved, attempts: [ { attempt: 1, passed: false, stderr: assert res [1, 2] failed: expected [1, 2], got [0, 0] }, { attempt: 2, passed: true, stderr: } ], final_code: def two_sum(nums, target):\n seen {}\n for i, n in enumerate(nums):\n if target - n in seen:\n return [seen[target - n], i]\n seen[n] i\n }注意status是solved只代表模型通過了任務(wù)里配置的測試用例。它不能證明代碼在所有情況下都正確。這個(gè)區(qū)分很重要后面專門講。4. 用同一套 Harness 評估 15 個(gè) LLM 的流程設(shè)計(jì)4.1 為什么必須使用同一套 Harness如果你要橫向?qū)Ρ榷鄠€(gè)模型必須讓 harness 完全一致。因?yàn)椴煌闹卦嚧螖?shù)、不同的測試用例、不同的沙箱超時(shí)都會直接影響最終得分。有些模型在 1 次嘗試內(nèi)表現(xiàn)不佳但如果在 3 次嘗試中能通過最終排名就會不一樣?!爸桓?harness 就提升 15 個(gè) LLM”的場景里提升幅度并不只屬于某一個(gè)模型。所有模型共享同一個(gè)改進(jìn)后的執(zhí)行反饋機(jī)制。如果你在評測時(shí)給 A 模型 5 次重試給 B 模型 1 次重試那結(jié)果沒有可比性。統(tǒng)一內(nèi)容至少包括同一個(gè)任務(wù)集和測試用例。同一個(gè)max_attempts。同一個(gè)temperature。同一個(gè)沙箱超時(shí)時(shí)間。同一個(gè)反饋截?cái)嚅L度。同一個(gè)系統(tǒng)提示詞。任何一項(xiàng)不一致都應(yīng)視為不同 harness而不是不同模型的真實(shí)對比。4.2 評測集與判定規(guī)則評測集不能只有公開樣例還要包含隱藏測試用例。最簡單的方式是像前面task.json一樣把每個(gè)任務(wù)拆成“展示給模型的 instruction”和“模型看不到的 tests”兩部分。模型自己不能提前看到全部測試否則它可能生成專門針對測試用例的硬編碼。更完整的評測集應(yīng)該覆蓋基礎(chǔ)功能正常輸入。邊界條件空數(shù)組、最小值、最大值、重復(fù)元素。異常輸入不符合題目約束的數(shù)據(jù)是否被合理處理。性能約束大數(shù)據(jù)量下是否超時(shí)。不同難度的題目混合在一起能看出模型在不同復(fù)雜度下的表現(xiàn)差異。如果只有一個(gè)簡單樣例15 個(gè)模型可能全都滿分無法區(qū)分 harness 的作用。4.3 批量評估與指標(biāo)輸出批量評估腳本可以循環(huán)遍歷任務(wù)文件和模型列表。為了控制成本建議把配置參數(shù)單獨(dú)抽取出來python evaluate.py \ --task-dir tasks/ \ --models deepseek-chat qwen-plus gpt-4o-mini \ --config config.yaml \ --concurrency 4 \ --output report.jsonl評估腳本內(nèi)部可以這樣組織def evaluate_one(client, config, task, model): result solve_task(client, config, task) return { task_id: task.id, model: model, status: result[status], attempt_count: len(result[attempts]), token_usage_estimate: estimate_tokens(result[attempts]), } def evaluate_all(client, config, tasks, models): records [] for model in models: for task in tasks: cfg HarnessConfig(**{**config.__dict__, model: model}) records.append(evaluate_one(client, cfg, task, model)) return records收集完記錄后可以統(tǒng)計(jì)每個(gè)模型的首次通過率、最終通過率和平均嘗試次數(shù)指標(biāo)計(jì)算方式首次通過率第 1 次嘗試即通過的任務(wù)數(shù) / 總?cè)蝿?wù)數(shù)最終通過率在max_attempts內(nèi)通過的任務(wù)數(shù) / 總?cè)蝿?wù)數(shù)平均嘗試次數(shù)所有已通過任務(wù)的嘗試次數(shù)平均值平均耗時(shí)單任務(wù)從開始到結(jié)束的墻鐘時(shí)間平均值注意這里展示的表格結(jié)構(gòu)是通用指標(biāo)設(shè)計(jì)不是任何特定模型的真實(shí)分?jǐn)?shù)。你在自己的評測集上得到的結(jié)果可以作為內(nèi)部選型依據(jù)。4.4 成本與并發(fā)控制批量評估 15 個(gè)模型時(shí)token 消耗會迅速增加。每個(gè)失敗嘗試都會額外消耗一次模型調(diào)用和一次反饋上下文??刂瞥杀究梢詮膸追矫嫒胧窒拗苖ax_attempts一般 3 到 5 次足夠。對相同請求做緩存相同模型、相同任務(wù)、相同重試不必重復(fù)調(diào)用。使用并發(fā)時(shí)控制請求速率避免觸發(fā)限流。記錄每次調(diào)用的 prompt token 和 completion token便于核算成本。并發(fā)不是越高越好。限流和超時(shí)會導(dǎo)致評測結(jié)果不穩(wěn)定最終浪費(fèi)更多重試。更穩(wěn)妥的做法是先單線程跑通一個(gè)小樣本確認(rèn)流程穩(wěn)定后再加大并發(fā)。5. Harness 關(guān)鍵參數(shù)與調(diào)優(yōu)5.1 重試次數(shù)、溫度與最大 token這幾個(gè)參數(shù)直接影響評測結(jié)果和成本。參數(shù)取值范圍參考調(diào)小的影響調(diào)大的影響max_attempts1 - 5成本低但模型沒有自糾機(jī)會成本高可能在簡單錯(cuò)誤上反復(fù)打轉(zhuǎn)temperature0 - 0.7輸出穩(wěn)定但容易重復(fù)相同錯(cuò)誤探索更多但可能引入隨機(jī)錯(cuò)誤max_tokens512 - 4096代碼較長時(shí)容易被截?cái)噍敵龈暾赡苌啥嘤鄡?nèi)容sandbox_timeout5 - 30 秒快速失敗但誤殺復(fù)雜計(jì)算減少誤殺但死循環(huán)會拖慢評測在實(shí)際調(diào)優(yōu)中不要一開始就追求高重試次數(shù)。先把max_attempts設(shè)為 1看模型在不自糾時(shí)的基線水平再逐步增加到 3 和 5觀察通過率提升和成本增長曲線。如果 3 次到 5 次的通過率提升很小說明繼續(xù)增加重試的意義不大。5.2 測試用例生成策略測試用例來源有三種人工編寫質(zhì)量最高但覆蓋不全成本高。從題目約束自動(dòng)生成用枚舉、隨機(jī)、邊界值生成覆蓋性好。讓另一個(gè) LLM 生成速度快但可能出現(xiàn)錯(cuò)誤斷言。更推薦先人工寫題目和核心邊界再用腳本補(bǔ)充隨機(jī)測試。模型生成的測試用例可以作為補(bǔ)充但必須經(jīng)過人工審查。絕不能把 LLM 生成的測試直接當(dāng)成 ground truth否則可能出現(xiàn)“錯(cuò)誤測試認(rèn)定正確代碼”的情況。5.3 反饋信息的長度控制多輪重試時(shí)上下文會越來越長。如果每次都把完整 traceback 塞給模型幾輪之后 prompt 會膨脹模型容易丟失最早的任務(wù)描述。推薦做法只保留最后一次異常的最后 1000 到 2000 字符。把重復(fù)出現(xiàn)的相同錯(cuò)誤去重避免模型反復(fù)看同一個(gè) traceback。在反饋中明確告訴模型當(dāng)前是第幾次嘗試避免它生成“這是第一次”的回答。如果上下文仍然過長可以把歷史反饋壓縮成“之前嘗試過的修改摘要”。5.4 沙箱安全與資源限制模型生成的代碼不可信。學(xué)習(xí)環(huán)境里用subprocess和超時(shí)只是為了快速驗(yàn)證思路生產(chǎn)環(huán)境必須做更強(qiáng)的隔離。生產(chǎn)環(huán)境至少做到使用 Docker 容器運(yùn)行模型代碼限制 CPU、內(nèi)存和網(wǎng)絡(luò)。設(shè)置timeout和內(nèi)存上限避免死循環(huán)和內(nèi)存耗盡。模型代碼沒有網(wǎng)絡(luò)訪問權(quán)限除非任務(wù)明確需要。所有執(zhí)行結(jié)果先落盤再?zèng)Q定是否返回給模型。不要用宿主機(jī)的高權(quán)限賬號運(yùn)行任意生成代碼。注意如果你的 harness 會執(zhí)行模型生成的代碼安全性是第一優(yōu)先級。寧可犧牲一點(diǎn)執(zhí)行速度也不要讓不可信代碼直接接觸宿主機(jī)。6. 常見問題與排錯(cuò)路徑6.1 模型輸出不是合法代碼現(xiàn)象run_tests報(bào)錯(cuò) NameError 或者無法解析??赡茉蚰P蜎]有按“只輸出代碼”的要求返回。模型把代碼放在 Markdown 代碼塊中但extract_code沒匹配到。模型返回了 JSON 包裝的字符串。檢查方式打印raw_output確認(rèn)模型實(shí)際返回內(nèi)容。處理建議增強(qiáng)解析函數(shù)。支持去掉python標(biāo)記如果模型返回 JSON先嘗試解析code字段如果仍然失敗可以讓模型輸出固定格式例如BEGIN_CODE ... END_CODE6.2 同一個(gè)錯(cuò)誤反復(fù)重試現(xiàn)象max_attempts用完但每次錯(cuò)誤相同??赡茉蚍答佇畔⒈唤?cái)嗟酵耆珱]有錯(cuò)誤細(xì)節(jié)。temperature0導(dǎo)致模型每次都輸出相同結(jié)果。模型沒有真正“看到”反饋因?yàn)橄㈨樞蚧蚪巧O(shè)置錯(cuò)誤。檢查方式查看attempts中每一輪返回給模型的stderr。處理建議把temperature提高到 0.2 到 0.4確認(rèn)反饋中保留最后一行錯(cuò)誤類型和斷言信息如果錯(cuò)誤信息過長只保留后半段。6.3 公開測試通過但隱藏測試失敗現(xiàn)象harness 輸出solved但人工復(fù)測時(shí)發(fā)現(xiàn)代碼不正確??赡茉驕y試用例太少模型恰好通過了所有用例。模型學(xué)會了針對測試樣例硬編碼。測試用例只有正常輸入沒有邊界。檢查方式把模型生成的final_code放到更大的隱藏測試集上執(zhí)行。處理建議評測集必須分離公開樣例和隱藏測試。最終指標(biāo)以隱藏測試為準(zhǔn)一次評測同時(shí)加入邊界、隨機(jī)、性能三類用例。6.4 API 調(diào)用超時(shí)或限流現(xiàn)象批量評估時(shí)大量請求報(bào)錯(cuò)??赡茉虿l(fā)過高觸發(fā) API 限流。部分模型響應(yīng)慢超過客戶端默認(rèn)超時(shí)。網(wǎng)絡(luò)抖動(dòng)。檢查方式查看client.chat.completions.create拋出的異常類型和錯(cuò)誤碼。處理建議加入指數(shù)退避重試降低并發(fā)數(shù)為每次調(diào)用設(shè)置合理 timeout對相同請求做緩存避免重復(fù)調(diào)用。6.5 沙箱卡死與資源耗盡現(xiàn)象單個(gè)任務(wù)執(zhí)行時(shí)間特別長甚至整機(jī)變卡。可能原因模型生成死循環(huán)代碼。代碼創(chuàng)建超大列表或遞歸無終止。subprocess的timeout沒有覆蓋到子進(jìn)程內(nèi)部再創(chuàng)建的子進(jìn)程。檢查方式檢查 sandbox 日志確認(rèn)是否出現(xiàn)TimeoutExpired。處理建議在subprocess.run中設(shè)置嚴(yán)格 timeout生產(chǎn)環(huán)境用 Docker 的--memory和--pids-limit限制資源不要相信模型生成的代碼天然安全。排錯(cuò)路徑可以按這個(gè)順序走先檢查輸入任務(wù)文件、測試數(shù)據(jù)、配置格式。再檢查解析模型輸出是否正確提取。再檢查執(zhí)行沙箱能否運(yùn)行最簡單的腳本。再檢查反饋模型是否收到了完整報(bào)錯(cuò)。再檢查限制超時(shí)、token、并發(fā)是否導(dǎo)致假失敗。最后檢查評測集測試用例本身是否可靠。7. 生產(chǎn)環(huán)境 Harness 的最佳實(shí)踐與擴(kuò)展方向7.1 從評測腳本走向在線編碼 Agent最小 harness 是評測工具但它的核心結(jié)構(gòu)可以直接擴(kuò)展成生產(chǎn)級的編碼 Agent。區(qū)別在于生產(chǎn)系統(tǒng)需要更多工程能力支持多文件倉庫模型可以讀取目錄、打開文件、修改文件。支持工具協(xié)議模型能調(diào)用格式檢查、靜態(tài)分析、測試運(yùn)行、git 操作。支持持久記憶保存模型已經(jīng)嘗試過的方案避免重復(fù)犯錯(cuò)。支持人工介入在自動(dòng)修復(fù)多次失敗后把任務(wù)轉(zhuǎn)給工程師處理。支持版本回滾模型對代碼庫的所有修改都記錄 diff異常時(shí)可以回滾。這些能力本質(zhì)上都是“在模型外面加 harness”。模型還是那個(gè)模型但外部系統(tǒng)越完善它能完成的任務(wù)越復(fù)雜。7.2 評測前檢查清單把下面這份清單當(dāng)作可復(fù)用模板每次開始新的評測前過一遍測試用例是否包含隱藏用例而不是只給模型公開樣例。所有模型是否使用完全相同的max_attempts、溫度、超時(shí)和系統(tǒng)提示詞。反饋信息是否保留異常類型和關(guān)鍵斷言而不是只返回“失敗”。錯(cuò)誤信息是否做了長度截?cái)喾乐股舷挛呐蛎洝I诚涫欠裨O(shè)置了超時(shí)、內(nèi)存和 CPU 限制。是否記錄每輪 attempt 的原始輸出、最終代碼和錯(cuò)誤日志。是否固定依賴版本和模型版本保證結(jié)果可復(fù)現(xiàn)。是否使用passk多次采樣而不是只跑一次。是否區(qū)分“通過公開測試”和“通過隱藏測試”兩個(gè)指標(biāo)。是否把隨機(jī)種子、并發(fā)數(shù)、API 端點(diǎn)寫入實(shí)驗(yàn)記錄。這十項(xiàng)做完你的評測結(jié)果才有橫向?qū)Ρ葍r(jià)值。7.3 擴(kuò)展方向MCP、RAG 與更豐富的工具層再往前走h(yuǎn)arness 可以連接 MCP 協(xié)議、向量檢索、內(nèi)部文檔庫和外部 API。模型在編碼時(shí)不再只依靠訓(xùn)練記憶而是能實(shí)時(shí)獲取依賴文檔、歷史代碼、團(tuán)隊(duì)規(guī)范和安全策略。例如harness 里增加一個(gè)search_code工具模型在寫某個(gè)函數(shù)前先搜索項(xiàng)目里已有的相似實(shí)現(xiàn)再生成代碼。另一個(gè)read_docs工具讓模型在不確定某個(gè) SDK 參數(shù)時(shí)先查官方文檔。這些能力都會影響編碼結(jié)果而它們?nèi)匀粚儆凇澳P椭獾南到y(tǒng)”。學(xué)習(xí)建議是先把這個(gè)最小 harness 跑通再逐步加入一個(gè)工具、一個(gè)記憶模塊觀察每次改動(dòng)對多個(gè)模型的影響。你會慢慢理解為什么“只改 harness”能提升 15 個(gè)模型——因?yàn)?harness 改變的不是參數(shù)而是模型與外部世界互動(dòng)的方式。這種工程能力比單純追新模型版本更可控也更值得長期投入。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
www五月天激情com| 九九黄色网| 日产精品一线二线三线芒果| 337p大胆噜噜噜噜噜91Av| 日本三级网址| 操操国产| 欧美天天五月丁香免费观看| 黄桃AV无码免费一区二区三区 | 五月婷婷欧美| 99碰碰| 狠狠爱激情网| 538午夜激情| 色五月首页| 91精品无码久久久久久五月天| 亚洲天堂aaa| 丁香五月伊人| 老司机日日夜夜青草| 91 久热| 99日韩网站| 九八Av| 五月天婷婷黄色| 五月天婷婷色播综合在线| 人人摸人人射| 男人天堂 久久| 天天狠狠六月婷丁香影院| 日本黄色在线观看| 狠狠色97| 思思久ren热| 久久五月综合| 婷婷色狠狠| 免费超碰在线| 无码99| 五月天色狠狠| 丁香五月天影院| 欧美伊人9| 亚洲六月婷婷| av大香蕉| 丁香五月综合狠狠| www.91操| 久久婷婷五月综合色播| AV网在线观看| 4399亚洲视频| 激情久久五月网| 久久色吧| 91九色精品熟女内射| 婷婷综合成人五月天| 最近免费中文字幕大全高清大全1| 狠狠干青青草| 九伊人网| 裸睡玩奶头(高H)| 日本五月丁香| 五月丁香啪啪综合网| 操人无码| av操一操| 五月婷婷与六月丁香图片激情| 粉嫩AV久久一区二区三区| 婷婷激情六月天视频| 97操| 国产精产国品一二三在观看 | 激情视频网址| 丁香五月婷婷影院| 4399在线观看免费高清电视剧| 精品成人无码A片观看香草视频| 五月丁香花婷婷玉莉AV| 精热在线综合网| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 天天拍天天操| 日91高清无玛| 天天干天天射综合网| enecarbon-materials.com污K127封锁请涟系@wip1688 | 婷婷色色宗合网| 99热成人精品网站| 精品乱码视频| 97成人丁香| 午夜婷婷久久| 青青草蜜臀| 色站9/| 激情五月综合网| 26UUU精品一区二区c〇m| 五月婷婷综合社区| 婷婷性爱五月天丁香网| 日本色五月| 丁香五月开心婷婷| 免费的日逼视频| 五月婷婷精品视频| 黄网在线免费观| 成人在线不卡| 第四色大香蕉| 夜夜干 夜夜操| 亭亭玉立国色天香| 玖玖在线视频| 伊人AV五月婷| 色婷婷视频| 91精品又长又大又粗又爽又猛| 免费看欧美成人A片无码| 超碰人人干| 亚洲丁香五月美女| 婷婷的激情五月| 天天肏高清在线| 精国产品一区二区三区A片| 丁香五月婷婷六月丁香| 开心激情网五月| 26UUU成人网| 成人在线综合| 日韩啪图| 91热久| 欧美成人精品三区综合A片| 俺去也婷婷| 五月婷婷花| WWW,激情五月天,COM| 超碰97色| 五月婷中文娱乐综合| 色婷婷五月天| 男女啪啪做爰高潮无遮挡| 丁香五月婷婷五月天| 色婷婷五月天在线| 亚洲九九在线| 国产片色| 六月婷婷狠狠做| 丁香五月久久| 婷婷综合网| 99re8在这里只有精品| 激情丁香五月婷| 国产精品成人AV在线| 亚洲a片免费观看| 免费无码毛片一区二区A片| 成人电影AV在线观看| 日日.c| 成人色站,在线视频,看片-SS1AV| 色区久久| 狠狠色丁香五月婷巨| 久久精品系列| 久久久久久激情| 丁香五月黄色| 91久久电影| 任你干嘛免费视频播放| 七月激情六月婷婷综合在线播放| 97色女人在线| 9 1超碰九色| 色婷婷啪啪啪啪啪啪| 啪啪东京热| 热久久婷婷| 亚洲综合色激情色五月| 国产美女主播vip| 成人免费网站免费看| 亚洲视频在线网| 五月天另类小说久久小说网| 超级碰91| 东京热伊人| 五月丁香婷婷色色色| 黄网在线免费播放| 狠狠舔| 色婷婷88| 婷婷在线播放av| 久久五月视频| 狠狠干在线视频| 婷婷色播综合五月| 国产婷婷五月天| 91精品久久久久久综合五月天| 久久久精品色色色| 综合网啪| 天天日天天插| 激情98色婷婷五| 久久免费婷婷视频| 91视频五月丁香| 538在线精品| 亚洲无码99| 九九热re99re6在线精品| 九九视屏| 激情綜合W W W,激情五月天| 成人国产欧美大片一区| 99日视频在线| 亚洲综合激情五月久久| wwwxxx五月婷婷小说| 色五月成人网| 久色激情| 深爱激情五月天| 97色干在线观看| 逼特逼在线免费播放| 超碰2021| 丁香九月久久| 五月色亭丁香| 激情VA视频| 97色天堂| 五月婷婷影院| 精品二区| 激情亭亭五月| 79亚洲精品少妇| 丁香激情婷婷网| 丁香五月婷婷AV在线| 99热天堂| 99热在线观看| 色欲九区| 欧美天天干天天草| 天天干 夜夜爽| 丁香五月综合婷婷| 少妇人妻综合色6699| 色999;丁香五月| 色综合色综合色综合色综合| 九久9精品| 国产毛片操B| 色老久久| 好好干av| 五月婷婷之综合激情| 四川女人毛多水多A片| 婷婷五月天丁香久久| 婷婷中文在线| 五月丁香综合激情网| 五月丁香综合激情| 黄色av高清| 丁香五月中文字幕| 爱婷婷久久视频| 色色无码| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 国产午夜成人AV在线播放| 色色九区| 六月婷婷色宗合| 97碰| 91人人爽人人操| av五月天婷婷丁香| 色五月婷婷丁香国产在线| 九九婷婷网五月天| 一本色道久久88综合日韩精品| 国产成人亚洲综合亚洲| 密臀久久| 任你草| 日本成人内射| 色五月激情问网站| 色人久久| 婷婷午夜综合| 婷婷五月天黄色小说| 夜夜爽天天爽| 日本激情91| 久久机只有这里精品| 四虎成人精品永久免费AV九九| 9久久狠狠的| 九月丁香亭亭| h在线看免费版在线看| 风流少妇A片一区二区蜜桃| 全高清无码视頻| 激情五月天婷婷视频| 色婷婷婷婷| 视频久久9| 婷婷色日本| 婷婷六月天天| 99干免费视频| 欧美综合在线五月天色婷婷| 天天操夜夜操| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 久啪欧美| 色五月六月| 免费无码毛片一区二区A片 | 91中文狠狠综合| 中文网AV| 激情开心五月天| 超碰色婷婷| 五月天激情小说欧美激情| AA片在线观看视频在线播放| 七七九九色色| 亚洲激情AV| 欧亚洲在线高清视频| yellow视频在线观看91| 免费国产视频| 五月天堂婷婷| 天天色天天射天天日| 久久久久久久人妻| 99精品久久久久久久| 五月丁香六月综合激情无码软件亮点| AV变态另类一区二区| 丁香婷婷五月六月天| 激情五月综合| 秋霞电影理论| 99国产99| 色中色综合| 天天操天天插天天射| AV79| 9999综合99综合人| 涩涩五月天| 日韩五月婷婷| 成人AV中文字幕| 色婷婷综合电影| 国产精品香蕉| 五月天激情啪啪| 99热综合| 六月婷欧美| 开心激情网五月天| 久久久香| 色色色综合网| 五月婷六月天| 丁香五月成人丝袜| 天天综合网91| 天天日天天狠狠操| 超碰97在线操| 这里只有精品9| 五月色情精品| 久久久久亚洲AV无码网影音先锋| 婷婷色网| 婷婷99综合| 五月综合色播播丁香婷婷| 亚洲天堂制| 思思热精品在线| 激情婷婷九月| 久久久久久久人妻| 五月色丁香激情| 五月天婷婷激情四射综合| 丁香月六月| 大胆伊人久久| 玖玖婷婷五月天| 青青热久久综合| 亚洲精品白浆高清久久久久久| 婷婷五月色丁香在线看| 婷婷伊人75| 日韩操人| 五月天欧美激情| 九九热99在线视频| 色婷婷亚洲精品天天综| 99热这里只有精品50| 丁香五月婷婷亚洲激情四射| 九热视频| 伊人久久五月天综合| 97碰在线免费观看| 日韩无码色色| 五月激情五月婷婷五月天在线| 亚洲九九婷婷| 婷婷五月天网| 五月精品| 丁香五月日啪| 超碰97免费在线| 色综合婷婷| 日本精品。999| 色婷婷五月综合色婷婷| 国产99久久久| 五月丁香六月欧美| 99热偷拍| 97色综合视频| 97色干| 久热网在线视频| 高清视频一区| 九九色插| 色综合久久久久| 亚洲色情网站| 婷久看人爽| 99九九99九九九视频精品| 六月丁香综合| 丁香五月天五码婷婷| 亚洲无aV在线中文字幕 | 色色婷婷丁香| 激情婷婷丁香色五月| 天天舔天天爽| 婷婷五月天福利| 电影爱拉战争免费观看| 超碰在线9| 亚洲亚洲人成综合网络| 色色免费网站| 婷婷六月五月天综合| 依人大香蕉| 欧美日本国产| 99国产精品久久久久久久久久久| 色久九| 婷婷久久亚洲| 婷婷久久免费看| 九九精品婷| 亚洲五月婷婷| 大香蕉伊人99| 战争与艾拉电影免费观看| 激情九月综合| 亚洲4区国产欧美| 色婷婷成人做爰A片免费看网站| 五月丁香五月婷婷| 这里只有精品在线免费视频| 99热这里在线精品| 伊人五月婷婷| 色色婷婷色色| 五月天婷婷Av| 婷婷久久综合久| 性视频久久| 伊人深爱综合| 操日本人妻视频| 99精品视频在线观看免费| 色婷婷六月天| 亚洲色激情| 亚州激情网| a九九热www| 五月天婷婷无码| 99精品在线观看| 午夜成人AV在线| 特级片神马电影| 欧美成人无码一区二区三区| 棕合影院色色| 色五月婷婷伊人| av大片在线| 成人短视频在线观看| 激情五月久久| 热久精品| 激情六月色| 六月婷婷九月丁香亚洲综合| 狠婷婷五月| 青青夜夜狠狠夜夜狠狠| 色五月综合网| 激情丁香六月| 丁香五月激情网| 亚洲成人丁香花| 色色无码| 精品一二三区久久AAA片| 亭亭玉月丁香| 激情五月天综合网| 五月婷婷丁香五月| 激情久久久| 狠狠五月天| 色五月婷婷中文字幕| 亚洲成人高清在线| 亚洲精品99| 秋霞成人毛片一级A片| 囯产精品久久欠久久久久久九大| 玖玖资源在线视频| 日日操天天操| 操97免费超级视频| 五月天啪啪| 天天搡日日搡aaaaⅩ| www.久久爱.com| 99黄色在线视频精品熟女| 综合伊人久久| 婷婷中文在线| 天天操夜夜爽天天操| 色噜噜狠狠色综合日日| 激情综合5月| 狠狠狠婷婷五月综合| 欧美激情五月天婷婷| www。狠狠干。com| 操操操操操电影网| 综合久久六月| 五月天社区婷婷丁香社区| 偷偷操99| 欧美性爱五月天| 中文字幕不卡+婷婷五月| 婷婷人人操| 色五月六月| 99熟女| 成人国产欧美大片一区| 97ai婷婷| 午夜一区| 天天操天天操| 夜夜爽天天干| 91色婷婷综合久久中文字幕二区| 中文激情网| 中文字幕1区2区。| 五月婷婷狠狠久久| 伊人久久婷婷| 人妻尝试久久久久久久久久久久| 婷婷色色婷婷| 99这里| 亚洲情综合五月天| 婷婷成人在线| 99爱视频精品在线观看| 欧洲高清免费久久| 激情综合国产| 欧美槡BBBB槡BBB少妇| 色噜噜狠狠狠狠色综合久欧美| 狠爱婷色| 如何安全看伊人婷婷| 中文字幕+乱码+中文字幕在线观看| 99热热九九| 久久性爱视频久久性爱视频| 97热这里精品在线视频| 久久久精品人妻录| 91人人操人人爱| 欧美色色色色色| yazhoujiqingav| 综合亚洲AV| 丁香色婷婷| 九九久久综合网站| 色色色国产| 96精品成人无码A片观看金桔 | 新99思思视频| 五月天婷婷影院影院观看| 99热91| 超碰在线50| 丁香婷婷色色| 九月婷婷丁香| 亚洲五月婷| 日韩av变天就操逼不卡区| 丁香六月激情综合网| 五月丁香猫咪久久婷婷综合视频激情四射网入口| 99高级会所久久| 九九视频这里只有精品| 色久综合| 色色五月天丁香婷婷| 色欲五月天| 婷婷五月天成人网| 国色天香成人网| 99精品97| 婷婷五月天电影在线| 色婷婷操逼| 丁香婷婷激情网站| 看黄的网站18禁| 亚洲视色| 精品欧美一区二区三区久久久| 色色色地址| 婷婷色五月天综合网| 亚洲免费99| 九九九九九九热| 亚洲综合1024| 99亚州综合精品成人网| 婷婷香草网| 色色色国产| 色婷婷激情视频| 激情网站五月| 亚洲成人中心| 国产亚洲99久久精品熟女| 激情五月伊人婷婷| 欧美人人操| 激情婷婷五月天丁香| 婷婷大美在线| 99亚洲天堂| 日韩黄色AV无码| 美女激情婷婷| 亚洲人妻av伦理| 97碰碰视频在线观看| 欧美爆乳一区二区三区| 六月色色| 色五月婷婷基地| 操骚货在线| 99re欧美精品| 五月丁香999| 午夜五月天| 日熟女| 少妇人妻综合色6699| 五月天婷婷色| 综合亚洲色色| 99爱视频免费| 少妇高潮一区二区三区99欧美| 99re6久热只有精品6在线直播| 久久涩视频| 色天天久婷婷| 成人精品视频99在线观看免费| 色色免费网站| 久久停停超碰| 亚洲成人AV在线播放| 开心婷婷五月| 亚洲色综久久五月| 九色啦蜜臀| 色久一| 情久久综合五月天| 狠狠 久久| 五月深爱激情网| 久久婷婷七月丁香| www.夜夜騎夜夜狠| 激情综合网激情五月俺也去| 丁香五月婷婷乱| 国产AV一区二区三区最新精品| 亚洲欧美日韩VIP| 婷婷激情丁香五月天综合| 丁香色色网| 日本91在线| 丁香九月婷| 色色色9 9 9| 色亭亭五月天丁香综合AV - 百度 - 百度| 九热视频免费观看| WWW.17C亚洲精品| 国产亚洲99久久| 五月天激情国产综合婷婷婷| 99狠狠| 91黄操| 色婷婷97| 五月丁香婷婷啪啪| 色欲日日躁| 一本色道久久综合狠狠躁一二三 | 五月婷婷综合热| 91丨九色丨东北熟女| AA丁香综合激情| 久久九九网| 天天人人天天爽| 91打屁股免费看| 国产精品视频久久99| 有码一区二区三区| 噜噜在线| 999热在线视频| 思思精品视频| 伊人日日干| 色婷婷色综合久久精品V| 99亚洲无码| 激情婷婷五月天丁香| 婷婷六月综合基地| 久久久人妻人伦| 麻豆AV一区二区三区| 九九热短视频在线观看| 欧美123区免| 五月天狠狠色| 亚洲 精品 综合 精品| av网站不卡在线| 五月亭亭六月天| 9l视频自拍9l九色9l成人| 五月天综合在线| 婷婷午夜| 婷婷狠狠综合网入口| 五月天色不卡| 天天爽夜夜爽夜夜爽精品| 无码免费人妻A片AAA毛片西瓜| 天天谢天天操| 久久性爱视频| 九月丁香久久网| 久久hd| 伊人大香五月天| 色操综合| 开心激情五月天网| 狠狠干五月丁香综合网| 久热婷婷| 色五月天 丁香| 九九99九九99| 久久婷婷五月激情网站| 久热无码| 开心激情久久久久久久| XX久久| 欧美S码亚洲码精品M码| 久久思思热| 色六月丁香婷婷狠狠干| 五月丁香毛片| 免费无码毛片一区二区A片| 熟女激情五月天 | 99这里只有精| 精品婷婷五月天| 97AV人人插人人操| 这里有精品| 久久综合丁香激情五月| 影音先锋一区| 日本综合九九| 激情欧美五月丁香| 国产五月天欧美色| 欧美大奶熟女噜噜噜噜| 铁牛TV人妻| 亚洲亚洲人成综合网络| 99A级片| 操丝袜视频影院导航| 99色综合网| 色色色色色九九九九九| 天天日天天插| 991国产精选视频在线播放下载| 能看的AV网站| 亚洲综合在线伊人婷| 久碰久| 99精品国产乱码久久久人妻| 九热视频| 午夜丁香综合婷婷| 深爱激情69热| 一本道综合网| 97人人草| 欧美日比视频| 影院久久久| 亚洲成av人影院| 色丁香五月天| 99精品综合| 99亚洲色| 色欲丁香久久| 99热只有精品在线播放| 中文资源在线a| 99re视频在线精品| 久操欧美在线观看97| 婷婷婷婷婷婷婷五月丁香| 丁香五月天色婷婷| 亚洲色综合性| 五月综合激情综合久| 开心婷婷中文字慕| 亚洲成人AV在线播放| 手机在线视频观看9| 日本一级黄色片。| .精品久久久麻豆国产精品| 91碰视频| 丁香五月激情婷婷婷婷在线观看| 婷婷丁香激情五月天色色| 久久丁香五月婷婷激情综合网| 久久人人九九| 日本WWW九九九| 婷婷丁香婷婷97| 北条麻妃伊人| 激情五月丁香六月综合AVXXXX| 五月天婷a在线| 91九色首页| 久久色五月| WWW·色色色·COM| 金品在线视频99| 色色综合院| Caoub青青超碰 | 综合 激情 婷婷| 日本人妻伦在线中文字幕| 人妻少妇色综合| 九九色热| 国产亚洲精品AAAAAAA片 | 99视频在线播放大全| 91久久免费| 色色五月丁香婷婷综合| 亚洲天堂九九九| 色欲色香综合网站| ...婷婷五月综合不卡,国产在线手机| 成人视频免费观看高清完整版在线观看| 操逼五月婷婷| 91久久久久| 人人综合色| 丁香五月婷婷久久久| 九九草草逼| 精品五月花| 热99热久| 老妇操B| 五月天色色婷婷| www.91.com黄| 九九色综合| 再次出发二| 思思久久96热在精品国产,| 激情五月天色爱| 天天爽天天摸| 婷婷五月天六月丁香| 久久色五月天| 五月婷婷之综合激情| 色色五月丁香| 久久婷婷五月天激情新地址| 亚洲AV成人精品网站在线播放| 丁香五月熟女| 久99热在线观看| 中文字幕永久免费| 欧美日韩大黄| 开心婷婷五月中文字幕组| 久久婷婷五月综合啪| 日韩视频99| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 深爱五月激情网| 色五月丁香激情| 久久婷婷五月综合啪| 丁香花婷婷五月天| 日本色天堂| 成人天天爽| 天天干天天操天天上| 99re思思久久| 色婷婷香蕉| 99国产精品久久久久久久久久久| tingtingseav| 99热综合在线| 国产Va视频| 亚洲第79页| 五月丁香啪啪激情| 亚洲精品一区无码A片| 亚洲成人av在线观看 | 亚洲第一成人无码A片| 综合激情五月丁香| 偷拍99在线视频观看| 99日本黄站| 综合狠狠五月婷婷| 色婷婷狠狠| 色五月激情综合网| 久久婷婷午夜| 久久婷婷五月综合精品蜜芽| 69五月天视频| 免费视频99| 六月丁香五月婷婷| 欧美十二区| 精品牛仔裤超碰| 亚洲五月六丁香激情| 日日天天干| 丁香五月天视频| 五月婷综合| 激情综合播播| 久久久免费精彩视频| 色播综合| www.久久婷婷| 激情影院免费视频婷婷五月天| 婷婷丁香五月网| 欧美大片免费播放器| 五月丁香综合成人社区| 色五月天综合| 亚洲综合婷婷| 在线播放成人| 99极品视频| 久操97| www。久久久久一b。Cc| 99久在线精品| 色播五月婷婷五月| 另类少妇人与禽zOZZ0性伦| 71在线精品视频一区| 天天网站天天爽| 强伦轩人妻一区二区电影| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品| 亚洲网站999| www久热com| 五月丁香六月| 久久香蕉福利| 99久久激情视频| 婷婷在线播放| 婷婷丁香五月综合| 99视频在线观看网址| 丰满老熟妇BBBBB搡BBB | 丁香婷婷色六月| 婷婷激情综合网| 色五月婷婷91| 五月婷婷丁香在线| XX色综合| 天天看片日日夜夜| 婷婷天堂综合| 日本网站久久| 九九视频精品在线免费| 99热66| 欧美精品99| 狠狠操狠狠操| 一片AV片免费播放| 久热视频这里只有精品68| 天天日天天插| 妇激情基地| 五月久久婷婷天堂视频| 丁香五月天亚洲综合| 秋霞簧片| 嫩草AV久久伊人妇女超级A | 99自拍视频网站| 九九re视频在线视频| 婷婷丁香人妻久久在线观看| 五月天婷婷小说| 九九色影视| 97色啪| 欧美婷婷精品激| av中文网站| 丁香婷婷九月在线| 五月综合777| 欧美日韩999| 就是色婷婷五月亚洲色| 久久思思热| 东北熟女视频99| 精品三区影院| 久久婷婷六月综合国际| 色婷婷五月婷婷五月婷婷五月| 99性视频| 婷婷四月 成人 狠狠干| 色婷婷香蕉| 中文网AV| 狼人久草| 六月婷婷狠狠| 91凹凸在线| www夜夜操com| 婷婷色五月在线视频| 五月婷九月| 六月色国内综合| 婷婷激情五月呦呦| 亚洲性爱区无码区| 激情文学综合婷婷五月天丁香花| 99综合一区| 日日操日日干| 91AV婷婷| 夜色爱爱亚洲| 北京熟妇搡BBBB搡BBBB| 久99在线视频| 无码色色| 婷婷丁香成人在线视频| www.97碰碰com| 久久婷综| 色综合激情| 成人五月天视频| 天天日夜夜高潮| 综合久久六月| 免费无码毛片一区二区A片| 中文AV在线播放| 久久人妻视步| 爱草视频在线| 九九热在线观看6| 任你干嘛免费视频播放| .青娱乐天天操B| 久热只有精品| 日韩av在线免费观看| 五月丁香狠狠| www.夜夜夜| 色五月首页| 2015超碰| 久久久久久久,99精品视频| 天天日天天插| 狠狠色综合网站久久久久| 能看的AV| 99热这里只要精品免费| 伦乱美欧| 黄色片精品| 国产探花一片区| 色色色免费视频| 这里只有精品在线视频精品| 亚洲亚洲人成综合网络| 五月婷婷五月天激情网| 婷婷五月天Av| 五月天偷拍| 91成人性爱视频| 呦呦v线| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 婷婷久久国产视频| 黄桃AV无码免费一区二区三区| 操啊操av| www.婷婷.com| 五月丁香综合激情| 婷婷五月丁香五月天| 日韩av在线播放综合网| 日本激情91| 久草久青福利| 久久久久久久久久久久63| 色欲婷婷五月天| 亚洲狠狠婷婷综合久久久| 狠干综合| 天天日天天色| 婷婷激情五月色综合| 婷婷射综合| www.五月天| 五月丁香色六月激情干大屄| 久久婷婷五月天激情新地址| AV在线免费观看不卡| 在线看片av| 色婷婷色情| 91人人操人人爱| 国产午夜成人AV在线播放| 色噜噜狠噜噜视频| 国产va在线视频| 69色婷婷| 51精品国自产在线| 狠狠爱婷婷爱| 婷婷亚洲在线| 超碰97干| 中文字幕免费高清电视剧| 午夜婷婷久久| 26uuu国产精品| 男人天堂99| 婷婷最新地址| 91五月天| 五月激情黄色小说| 精品色色色| 五月婷天天搞视频| 色五月天电影| 99在线视频免费| 97干免费视频| 五月天色色色| 欧美精品999| 噼里啪啦在线观看免费完整版视频| 激情深爱五月天| 五月花婷婷| 丰满少妇乱A片无码| 婷婷.com| www狠狠爱com| 久久综合婷婷五月| 五月丁香综合啪啪| 天天弄天天爽| 色亚洲婷婷| 战争与艾拉电影免费观看| 国产色色色色| 天天干天天做| 97色婷婷成人综合在线观看| 激情五月天 婷婷| 性无码专区无码| 综合福利网| 九月大香蕉| 九九热大香蕉| www.主妇. com| 五月丁香六月激情狠狠| 亚洲激情精品| 天天噜噜| 五月激情综合网| 久久久婷| 成人性生活免费观看。| 丁香婷婷色五月| 999热在线视频| 日批在线看| 婷婷五月蜜桃成人桃色丁香| 色综合激情| 九月av在线| 五月婷婷色色色| 99热精品10| 久久这里只有国产视频| 五月色色激情网| 亚洲激情网| 99热都是精品| 色色色香蕉五月婷| 综合色婷婷| 久久婷婷青草五月天| 五月婷在线色视频| 亚洲人成色A777777在线观看| 99久久激情视频| 丁香婷婷五月份| 激情宗合 激情宗合| 激情婷婷五月久久| 婷婷五月天激情五月天| 日本系列_4页_777FP| 五月婷色| 免費观看aV在线网址| 国产成人综合在线| 亚洲综合干| 天天干夜晚夜操| 夜夜撸日日操| 美女被肏网站在线看| 99无码超碰| 久久久久99精品成人片| 国产激情在线| 成人国产欧美大片一区| 九九99男女视频在线观看| 亚洲va日| 天天五月天综合网址| 丁香婷婷五月综合色情| 免费在线观看AV网站| 久久性刺激| 26UUU欧美激情一区二区| 国产精品爽爽久久久久久| 色婷婷五月天| 99色日本| 婷婷六月丁香1| 中文精品在| 午夜天堂啪啪| 俺也去婷婷五月天第五色| 久久久99久久| 超碰97人人操| 天天操天天操综合| 大香蕉婷婷久久| 日本黄色一级| 97碰免费视频在线| 五月天婷婷在线播放免费| 激情五月婷婷五月| 久久婷婷综合色丁香| 99热精品网| 综合一区二区三区| 亚洲乱码日产精品BD| 99狠狠| 婷婷五月天激情影片| 99热九九热| 99碰碰中文| 婷婷一本和五月丁香| 丁香五月婷婷激情网| 亚洲视频另类| 99爱免费在线观看| 日本天堂爱爱| 丁香九月色| 超黄亚洲瑟瑟网站| 91色色色18| 婷婷成人av| 开心激情色婷婷五月天| 婷婷五月综合社区| www.久久久久久久久久.com| 九九99久久| 婷婷丁香激情综合色情| 麻豆AV一区二区三区| 久久婷婷五月丁香网| 2025色婷婷| 91精品久久久久久久久久| 国产亚洲色婷婷久久99精品91| 五月天久久婷婷| 国产69精品久久久久999小说| 9999久久久久| 人人爱人人草| 99天堂在线观看免费视频| 五月婷婷开心深| 99热这里| www.99热这里精品| 午夜婷婷六月天| 超碰chaompinm| 日日夜夜天天| 99re视频在线精品| 大香蕉婷婷丁香天堂AV| 性色欲情 网站| www色中色综合| 婷婷丁香五月亚洲17cao| 婷婷久久性爱| 亚洲色视频| 无码字幕中文| 色五月激情基地| 天天干天天爽| 这里只有精彩小视频视频网站| 成人五月天丁香婷| www.cao.com久久| 色婷婷五月天堂资源| 午夜不卡久久精品无码免费 | 色五月婷婷老师| 九九AV在线| 99免费| 九一九九黄色| 激情五月天婷婷视频| 欧美内射AAAAAAXXXXX| 婷婷激情五月天天天开心| 九九热只有精品| 9 1超碰九色| 久久婷婷色综合| 综合色影院| 五月婷婷丁香社区| 91丁香婷婷综合久久欧美| 欧美性色五月天| 国产成人AV不卡| 提提热五月天婷婷| 另类少妇人与禽zOZZ0性伦| 色五月xxx| 免费亚洲婷婷| 久久九九网| 97色久| 丁香五月综合婷婷| 婷婷无码视频| 另类A片| 亚洲九区| 久久婷婷热| www,婷婷五月天777me,com| 疯狂做受XXXX高潮A片| 狠狠色噜噜狠狠色噜噜噜999| 亚洲综合99| 天天噜天天插| 久久99久久99久久99人受| 久久精品国产色| 日本的α片xxxwww| 激情综合九月| αV电影| 五月天婷婷三级黄| 激情五月天婷婷五月天| 99精品视频在线观看| 思思热在线精品视频网站| 爱99干99| 婷婷五月天美女视频| 99久久婷婷综合| 午夜丁香婷婷| 婷婷九月在线| 五月天天久久香| 99热新网址| 五月综合色| 1024日韩| 天天插天天日| 色五月在线| 亚洲精品一二三| 99热在线这里| 草榴视频网| www.91色| 亚洲精品乱码久久久久99| 亚洲妇女熟BBW| 伊人五月丁香| 2015WWW永久免费观看播放| 五月婷婷亚洲色视频| 久99在线视频| 日日干四虎| 99精品热视频只有精品10| 青草青草久热这里只有精品| 99久久久| 亚洲一区二区无码蜜乳av| Y11111111111少妇电影院| 看片视频在线免费日产在线看| 婷婷97碰碰| 久热91| 99热日| 99久高清视频| 婷婷中文在线| 婷婷五月激情基地| 2015在线中文字幕| 99啪啪网| 噜噜色五月| 久久A V无码视频| 国产精品久久久久久久久久| 深夜男女福利刺激影院一区完整| 91碰超| pom538精品视频| 丁香五月激情鲁| 99少妇精品| 99久久性爱| 九九热视频网站| 99色嘟嘟精品网站| 精品99在线| AAAA亚洲| 99久久婷婷五月| 五月婷婷啪| 欧洲综合视频在线观看。欧洲,亚洲综合食品在线观看。 | 国产午夜伦鲁鲁| 夜夜干 夜夜操| 九九99免费视频| 国产午夜伦鲁鲁| 亚洲激情久久| 天天搞夜夜叫| 超级碰碰碰久久网站| 久久综合爱| 综合性视频99| 97碰成超视频免费视频| 91Chinese在线| 伊人婷婷色激情丁香| 99啪99| 一本大道嫩草AV无码专区| 亚洲激情婷婷| 99视频在线| 久热A片| 91色久| 婷婷五月天激情五月天网站| 成年人夜夜喷水| 国产婷婷婷| 亚洲AV人人操| 五月丁香六月婷婷不卡免费无码 | 激情网五月天| 99区视频| 一区二区aV电影免费看| 丁香五月色| 99国产小视频| 久月婷婷| 日本色色色色色色色色一色二色| 97碰碰视频| 成人丁香色| 色哟哟精品| 久久这里都是精品免费| 婷婷精品| 玖玖资源天天无码| 天天网曰日曰夜夜综合永久免费| 欧美天堂久久| 婷婷五月深情丁香深爱日韩| 日韩一区二区A片免费观看| 久久婷婷五月免费视频| 久久色婷婷| 黄色视频网站在线播放| 亚洲最大视频| 九月婷婷综合八月丁香在线观看| 五月色婷婷影院| 97人人操com| 免看黄大片AA | 婷婷五月天开心网| 狠狠爱五月婷婷| 26uuu欧美激情另类| 婷婷基地成人五月天| 99九九综合久久九九| 丁香五月天亚洲综合| 国产69久久久欧美黑人A片| 婷婷啪啪| 色五月偷偷| 小视频久久久aaa| 日日操日日干| 久久婷婷五月国产色综合激情| 色婷婷综合综合网| 九月婷婷激情久久| 综合色色五月| 99色色网| 色综合激情| 激情AV在线| 99热97| 丁香五月天天高清在线| 五月天成人在线精品| 99er这里只有精品| 99干视频| av免费在线网站| 六月丁香开心婷婷欧美| 亚洲五月六月婷婷| 国产亚洲精品AAAAAAA片| 亚洲无码色色| 丁香婷婷网| 婷婷五月电影| 久狠狠| 开心激情网五月天| 天天情色综合网| 五月婷婷六月激情网| 久久在这里有精品| 五月婷婷丁香啪啪| 久久激情视频| 99在线热| 五月天激情久久| 黑人无码一区| 正宗黄色毛片| av操一操| 婷婷成人在线| 婷五月天| 激情骚五月| 色偷偷人人| 婷婷五月天天激情| 色婷婷狠狠18yy| 91免费啪视频| 六六久久黄色| 丁香五月天91| 九久九精品| 日本三级99人妇网站| 婷婷综合婷婷| 综合色图婷婷| 激情五月婷婷视频| 久婷狼色诱惑在线| 丁香五月婷婷社区| yjzz亚洲国产| 丁香深五月婷婷| 人人操大| 啪啪色区| 91久久综合亚洲噜噜成人在线|