欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

LLM從原理到落地:本地部署、微調(diào)評(píng)測(cè)與Agent容錯(cuò)全路線

LLM從原理到落地:本地部署、微調(diào)評(píng)測(cè)與Agent容錯(cuò)全路線 我現(xiàn)在刷信息流的時(shí)候滿屏都是“LLM是什么”“大模型框架”“本地跑 GGUF”“LLM as Judge”“Agent 出錯(cuò)怎么排查”這類熱搜詞??聪聛?lái)最大的感受是想學(xué) LLM 的人很多但真正能一條線走通的人很少。大部分人卡在同一個(gè)路口——概念看了不少真到自己動(dòng)手做一個(gè)能用、能評(píng)、能穩(wěn)定上線的應(yīng)用又不知道從哪里下手。這個(gè)系列我就打算按一條完整的路線來(lái)寫《深入學(xué)習(xí) LLM(一)》先解決“地基”問(wèn)題——模型到底是什么、工具鏈怎么選、本地怎么跑、數(shù)據(jù)怎么微調(diào)、效果怎么評(píng)測(cè)、Agent 怎么做可靠。后面再逐步展開更深的內(nèi)容。內(nèi)容偏工程實(shí)踐適合三類人剛?cè)腴T的開發(fā)者、準(zhǔn)備在業(yè)務(wù)里落地大模型應(yīng)用的工程師、以及想搞明白“大模型項(xiàng)目為什么總在最后一步翻車”的產(chǎn)品和技術(shù)負(fù)責(zé)人。這一篇的信息量會(huì)比較大我會(huì)盡量少講空話多放可以直接抄走的判斷標(biāo)準(zhǔn)、參數(shù)和踩坑記錄。1. 先把基礎(chǔ)打?qū)LM 到底是什么1.1 從“預(yù)測(cè)下一個(gè)詞”到“能力涌現(xiàn)”很多人對(duì) LLM 的第一印象是“特別聰明、什么都會(huì)”。但如果只保留一句準(zhǔn)確的話來(lái)描述它應(yīng)當(dāng)是LLM 是一個(gè)做“下一個(gè)詞預(yù)測(cè)”的概率模型。給定一段上文它計(jì)算下一個(gè)最可能出現(xiàn)的詞嚴(yán)格來(lái)說(shuō)是 token是什么然后不斷重復(fù)這個(gè)過(guò)程生成整段內(nèi)容。這個(gè)本質(zhì)決定了它的很多脾氣。比如它會(huì)一本正經(jīng)地編造不存在的引用因?yàn)閷?duì)它來(lái)說(shuō)“編一個(gè)像樣的引用”和“說(shuō)出真實(shí)引用”在概率上都是合法的延續(xù)它也不擅長(zhǎng)算術(shù)因?yàn)榘褦?shù)字拆成 token 之后計(jì)算路徑并不穩(wěn)定。理解這一點(diǎn)能避免你對(duì)模型產(chǎn)生不切實(shí)際的期待。支撐這一能力的基礎(chǔ)架構(gòu)是 Transformer。它最關(guān)鍵的設(shè)計(jì)是自注意力機(jī)制Self-Attention簡(jiǎn)單理解就是模型在處理某個(gè)詞的時(shí)候會(huì)動(dòng)態(tài)計(jì)算它和序列中其他詞的相關(guān)程度從而決定“該重點(diǎn)參考哪些上下文”。這也是為什么 LLM 能做“根據(jù)前文理解后文”而不是像老式 n-gram 模型那樣只看緊鄰的幾個(gè)詞。在訓(xùn)練流程上主流模型基本都走“三段式”預(yù)訓(xùn)練在海量文本上做自監(jiān)督學(xué)習(xí)目標(biāo)是預(yù)測(cè)下一個(gè)詞。這一步讓模型獲得語(yǔ)言能力和世界知識(shí)。指令微調(diào)SFT用大量“用戶問(wèn)題 標(biāo)準(zhǔn)回答”對(duì)模型做監(jiān)督訓(xùn)練讓它學(xué)會(huì)服從指令、用對(duì)話形式回答。對(duì)齊RLHF / DPO 等讓模型輸出更符合人類偏好比如更有幫助、更安全、更簡(jiǎn)潔。到了指令微調(diào)之后模型才表現(xiàn)出大家熟知的指令跟隨Instruction Following、**上下文學(xué)習(xí)In-Context Learning和一定程度的思維鏈Chain-of-Thought**能力。這些能力被統(tǒng)稱為“涌現(xiàn)能力”聽起來(lái)很玄但從工程視角看你可以把它們理解為“模型在語(yǔ)料中見過(guò)足夠多類似模式后產(chǎn)生的一種復(fù)雜模式匹配”。不需要把它當(dāng)成魔法只需要知道這是一把雙刃劍——模式匹配既讓它靈活也讓它容易“幻覺(jué)”。1.2 為什么大模型這么“聽話”指令對(duì)齊與提示工程“聽話”這個(gè)詞很形象。一個(gè) Base 模型只有預(yù)訓(xùn)練階段的模型你問(wèn)它問(wèn)題它大概率會(huì)續(xù)寫一段百科式文本而不是正經(jīng)回答你。真正讓它“變成對(duì)話助手”的是對(duì)齊階段的數(shù)據(jù)和訓(xùn)練方式。所以你在寫 Prompt 時(shí)本質(zhì)上是在和“對(duì)齊后的默認(rèn)行為”打交道。常用 Prompt 結(jié)構(gòu)包括三部分System 指令定義模型角色、任務(wù)目標(biāo)、輸出格式。User 輸入具體請(qǐng)求。Assistant 輸出模型回答。實(shí)操中我強(qiáng)烈建議你對(duì)任何生產(chǎn)級(jí) Prompt 都顯式寫 System 指令哪怕很簡(jiǎn)單。這能明顯減少模型“自由發(fā)揮”的概率。舉個(gè)最簡(jiǎn)單的例子你讓它“總結(jié)會(huì)議紀(jì)要”如果只給一句原文它可能輸出一個(gè)帶小標(biāo)題的長(zhǎng)篇總結(jié)如果 System 里寫明“只輸出 5 條結(jié)論每條不超過(guò) 20 字不要解釋”輸出就會(huì)穩(wěn)定得多。幾個(gè)經(jīng)常被忽略但很重要的參數(shù)意識(shí)Temperature控制隨機(jī)性。做抽取、分類、代碼生成時(shí)建議調(diào)到 0~0.2做創(chuàng)意寫作、頭腦風(fēng)暴可以 0.7~1.0。上下文窗口窗口越大不等于效果越好。模型對(duì)中間內(nèi)容的關(guān)注度往往弱于開頭和結(jié)尾這在技術(shù)上稱為“l(fā)ost in the middle”。需要長(zhǎng)上下文時(shí)把關(guān)鍵指令放在 System 或末尾比堆在中間更有效。輸出長(zhǎng)度限制 max_tokens 能顯著避免模型啰嗦也可以降低成本。提示入門階段做一個(gè)“溫度對(duì)比實(shí)驗(yàn)”特別有幫助。用同一個(gè)高質(zhì)量 Prompttemperature 分別設(shè)為 0.2 和 0.9各生成 10 次觀察輸出的穩(wěn)定程度。你會(huì)發(fā)現(xiàn)不少業(yè)務(wù)場(chǎng)景里低 temperature 的穩(wěn)定性遠(yuǎn)比你想象的重要。2. 學(xué)習(xí)路線與工具鏈選型框架不是萬(wàn)能的2.1 先跑通 API再碰本地模型我發(fā)現(xiàn)很多新人一上來(lái)就想本地部署大模型理由通常是“不想花錢”“有隱私需求”或“聽起來(lái)很酷”。這些理由可以理解但從學(xué)習(xí)效率看第一條路徑應(yīng)該是調(diào)用 API。原因很簡(jiǎn)單API 讓你把精力集中在 Prompt、邏輯、評(píng)估這些真正重要的工程問(wèn)題上而不是被 CUDA 版本、內(nèi)存不足、量化效果這些環(huán)境問(wèn)題勸退。等你用 API 跑通一個(gè)完整小應(yīng)用比如“文檔問(wèn)答”或“角色扮演機(jī)器人”之后再回到本地部署你會(huì)更明白本地模型該調(diào)什么、不該調(diào)什么。否則你會(huì)在模型下載和依賴安裝上花掉一周卻連“這個(gè)模型的效果到底好不好”都判斷不了。什么時(shí)候需要用 LangChain 這類框架我認(rèn)為有清晰判斷標(biāo)準(zhǔn)需要串聯(lián)多個(gè)模型調(diào)用或工具調(diào)用時(shí)比如“先判斷意圖 → 再查數(shù)據(jù)庫(kù) → 再生成回答”的工作流框架的 Chain / Graph 能力確實(shí)省事。需要多種模型切換時(shí)LiteLLM 這類工具能統(tǒng)一 API 格式切換到不同供應(yīng)商不修代碼。需要成熟組件時(shí)比如文檔切分、向量檢索的封裝LlamaIndex 比你自己寫更穩(wěn)。什么時(shí)候不適合用框架當(dāng)你的邏輯只有“一個(gè) Prompt 進(jìn)去一個(gè)輸出出來(lái)”時(shí)別用框架。直接調(diào)用 SDK 更簡(jiǎn)單、更好排查、依賴更少??蚣艿膬?yōu)勢(shì)在抽象和編排但代價(jià)是隱藏細(xì)節(jié)。一旦輸出不符合預(yù)期你得先判斷是模型的問(wèn)題、Prompt 的問(wèn)題、還是框架內(nèi)部做了你不知道的變換。這會(huì)浪費(fèi)大量時(shí)間。我自己的項(xiàng)目里大概 70% 的調(diào)用是直接寫 SDK 完成的只有 30% 涉及多步編排才引入框架。這個(gè)比例供你參考。2.2 主流框架和個(gè)人“LLM Wiki”給還沒(méi)接觸過(guò)框架的讀者列一個(gè)快速對(duì)比工具/框架定位適合場(chǎng)景注意點(diǎn)LangChain通用編排框架多步驟 Agent、工具調(diào)用、復(fù)雜工作流版本升級(jí)快API 變動(dòng)頻繁鎖定版本LlamaIndex數(shù)據(jù)檢索與知識(shí)庫(kù)文檔問(wèn)答、RAG 場(chǎng)景對(duì)結(jié)構(gòu)化數(shù)據(jù)的索引能力較強(qiáng)LiteLLM統(tǒng)一 API 網(wǎng)關(guān)多模型切換、成本管理簡(jiǎn)單場(chǎng)景沒(méi)必要引入LM Studio本地 GUI 推理工具本地快速體驗(yàn)?zāi)P托Чm合調(diào)試不適合生產(chǎn)服務(wù)Ollama本地推理服務(wù)一鍵跑 GGUF 模型部署極簡(jiǎn)單但精細(xì)控制偏弱這里多提一句熱詞里的“LLM Wiki”。我認(rèn)識(shí)不少高質(zhì)量從業(yè)者幾乎每個(gè)人都有自己的“LLM 筆記庫(kù)”內(nèi)容不是概念抄錄而是項(xiàng)目記錄模型名字和版本、Prompt 版本、參數(shù)配置、評(píng)測(cè)結(jié)果、失敗樣例、成本記錄。這種做法非常重要因?yàn)?LLM 應(yīng)用的調(diào)試是高度實(shí)驗(yàn)性的沒(méi)有記錄你等于沒(méi)有積累。我建議你也建一個(gè)個(gè)人 LLM Wiki核心字段至少包括任務(wù)目標(biāo)、數(shù)據(jù)來(lái)源、模型與參數(shù)、Prompt 全文、評(píng)測(cè)指標(biāo)、失敗案例。每次實(shí)驗(yàn)都記錄一個(gè)月后回看你會(huì)發(fā)現(xiàn)自己避開了大量重復(fù)的坑。3. 本地部署實(shí)戰(zhàn)GGUF 量化和安卓手機(jī)運(yùn)行3.1 為什么選 GGUF 格式本地部署繞不開一件事怎么把動(dòng)輒幾十 GB 的模型塞進(jìn)你的顯卡或者內(nèi)存里。這時(shí)候 GGUF 格式就派上用場(chǎng)了。GGUF 是 llama.cpp 項(xiàng)目推出的模型格式核心特點(diǎn)是把所有東西打包成一個(gè)文件模型的權(quán)重、tokenizer 配置、特殊 token、元信息都包含在內(nèi)。相比傳統(tǒng)的 safetensors 格式GGUF 更適合 CPU 推理和邊緣設(shè)備因?yàn)樗鼘?duì)權(quán)重的編碼方式做了量化優(yōu)化。量化這個(gè)詞如果你第一次見可以用圖片來(lái)類比一張 4K 照片原圖很大壓成 JPEG 后變很小肉眼看差別不大。模型的量化也類似把原本用 16 位浮點(diǎn)數(shù)表示的權(quán)重轉(zhuǎn)成 4 位或 8 位表示模型體積大幅縮小推理時(shí)占用的內(nèi)存或顯存也降低很多質(zhì)量略有損失但通??山邮堋3R姷牧炕燃?jí)和取舍我放在表里量化等級(jí)位數(shù)模型體積7B 模型參照質(zhì)量損耗適用場(chǎng)景Q4_K_M4bit約 4.1G低消費(fèi)級(jí)顯卡/內(nèi)存的均衡選擇Q5_K_M5bit約 4.8G較低內(nèi)存稍充足時(shí)優(yōu)先Q6_K6bit約 5.7G很低質(zhì)量敏感場(chǎng)景Q8_08bit約 7.2G接近無(wú)損顯存足夠時(shí)的首選選型口訣顯存/內(nèi)存決定上限質(zhì)量敏感度決定檔位。8GB 顯存跑 7B 模型選 Q4_K_M 是最穩(wěn)的如果你確定模型質(zhì)量下降明顯再考慮降低模型規(guī)模比如換成 3B 或 1.5B而不是硬上高量化。3.2 在電腦上快速跑起來(lái)本地推理我建議從 Ollama 開始它是我試過(guò)對(duì)新手最友好的工具。安裝后拉模型即可# 拉取一個(gè)量化好的 7B 模型 ollama pull qwen2.5:7b-instruct-q4_K_M # 運(yùn)行并進(jìn)入交互式對(duì)話 ollama run qwen2.5:7b-instruct-q4_K_MOllama 支持通過(guò) Modelfile 自定義參數(shù)例如設(shè)置 temperatureFROM qwen2.5:7b-instruct-q4_K_M PARAMETER temperature 0.2如果你更愿意用底層一點(diǎn)的 llama.cpp流程也簡(jiǎn)單從 GitHub 克隆源碼編譯后直接用命令行推理。編譯前確認(rèn)架構(gòu)N 卡用 CUDA 加速純 CPU 則用原生版本git clone https://github.com/ggerganov/llama.cpp cd llama.cpp cmake -B build -DGGML_CUDAON cmake --build build --config Release -j 4實(shí)測(cè)下來(lái)影響推理速度的最大因素是內(nèi)存帶寬而不只是 CPU 算力。筆記本在純 CPU 情況下跑 7B Q4大約能到 5~8 token/秒能接受但不算流暢桌面高性能 CPU 能到 10 token/秒。如果你的預(yù)期是“像 ChatGPT 一樣秒回”本地小模型目前很難滿足這一點(diǎn)務(wù)必提前想清楚。提示跑本地模型時(shí)一定要確認(rèn)你使用的是量化版模型文件。很多人下載了一個(gè) 14GB 的原版 7B 模型還在抱怨內(nèi)存爆掉——量化和非量化的差別跑之前先看清楚。3.3 安卓本地運(yùn)行支持 Android 8 的方案熱詞里有“安卓本地運(yùn)行 GGUF 格式 LLM支持安卓 8”這個(gè)我專門驗(yàn)證過(guò)答案是可行但需要管理預(yù)期。最穩(wěn)的方案是 Termux。Termux 是安卓上的終端模擬器可以把它理解成手機(jī)上的一臺(tái) Linux 小機(jī)器。在 Termux 里編譯 llama.cpp 的 Android 版本然后加載你下載好的 GGUF 模型文件。步驟大致如下# 在 Termux 中 pkg update pkg install git cmake build-essential git clone https://github.com/ggerganov/llama.cpp cd llama.cpp # 在安卓上編譯 CPU 版本即可不需要 CUDA cmake -B build cmake --build build --config Release -j 4之后把 GGUF 文件放到手機(jī)存儲(chǔ)中運(yùn)行./build/bin/llama-cli -m /sdcard/Download/your-model.Q4_K_M.gguf -p 你好介紹一下你自己針對(duì) Android 8 的兼容性有幾點(diǎn)實(shí)測(cè)經(jīng)驗(yàn)盡量選擇aarch64 體系的手機(jī)也就是近幾年的主流 arm64 機(jī)型不要用老舊的 32 位系統(tǒng)。模型體積控制在2GB 以內(nèi)推薦 1.5B~3B 的 Q4 量化版本。7B 在手機(jī)上體驗(yàn)很差每生成一個(gè) token 都要等很久。手機(jī)內(nèi)存至少4GB 起步低于這個(gè)值建議放棄本地運(yùn)行的念頭。使用過(guò)程中手機(jī)會(huì)明顯發(fā)熱這是 CPU 滿載導(dǎo)致的正常現(xiàn)象長(zhǎng)時(shí)間運(yùn)行注意散熱。這類方案適合你“在通勤時(shí)研究一下 prompt 邏輯”但把手機(jī)當(dāng)成正經(jīng)推理服務(wù)器目前還不太現(xiàn)實(shí)。4. 用聊天記錄精調(diào) LLM從數(shù)據(jù)到 LoRA 的一條線4.1 為什么聊天記錄是好數(shù)據(jù)如果你想做一個(gè)特定風(fēng)格的對(duì)話機(jī)器人比如客服助手、特定人設(shè)的聊天機(jī)器人拿真實(shí)聊天記錄做微調(diào)是性價(jià)比很高的方案。理由很直接聊天記錄就是用戶和助手互動(dòng)的真實(shí)樣本里面包含你想要的語(yǔ)氣、問(wèn)題類型、回答風(fēng)格比人工編造的數(shù)據(jù)要自然得多。但聊天記錄不能直接用原因有三隱私風(fēng)險(xiǎn)大聊天記錄可能包含姓名、手機(jī)號(hào)、地址等敏感信息必須先脫敏。噪聲多大量消息是“嗯”“好的”“收到”這類無(wú)效內(nèi)容需要過(guò)濾。格式不統(tǒng)一不同來(lái)源的記錄字段都不一樣要整理成模型訓(xùn)練需要的結(jié)構(gòu)。一個(gè)簡(jiǎn)單的數(shù)據(jù)轉(zhuǎn)換思路是把原始記錄格式化成統(tǒng)一的 JSONL。假設(shè)原始聊天日志長(zhǎng)這樣[ {from: user, text: 你們發(fā)貨用哪家快遞}, {from: assistant, text: 默認(rèn)用順豐您下單后我會(huì)把單號(hào)發(fā)給您。} ]轉(zhuǎn)換成訓(xùn)練格式后每行是一條完整對(duì)話樣本符合 System/User/Assistant 結(jié)構(gòu){messages: [{role: system, content: 你是某店鋪的售后客服回答簡(jiǎn)短友好。}, {role: user, content: 你們發(fā)貨用哪家快遞}, {role: assistant, content: 默認(rèn)用順豐您下單后我會(huì)把單號(hào)發(fā)給您。}]}做數(shù)據(jù)清洗時(shí)我建議按這四步走去重同一條消息反復(fù)出現(xiàn)會(huì)放大模型對(duì)該內(nèi)容的過(guò)擬合。過(guò)濾刪除過(guò)短的、無(wú)意義的、純表情的對(duì)話。脫敏用規(guī)則或正則把手機(jī)號(hào)、郵箱、地址替換為占位符。重組把多輪對(duì)話切成不超過(guò)目標(biāo)上下文長(zhǎng)度的獨(dú)立樣本。注意任何來(lái)源的聊天記錄只要不是你自己生產(chǎn)的都要確認(rèn)數(shù)據(jù)合規(guī)性。清洗完數(shù)據(jù)再拿給模型訓(xùn)練是個(gè)人和團(tuán)隊(duì)都應(yīng)該養(yǎng)成的習(xí)慣。4.2 LoRA 微調(diào)實(shí)操注意點(diǎn)全量微調(diào)一個(gè)大模型對(duì)于個(gè)人開發(fā)者來(lái)說(shuō)不現(xiàn)實(shí)顯存不夠是一個(gè)方面另一個(gè)方面是你也不需要。用LoRALow-Rank Adaptation是目前的主流做法。它的思路是凍結(jié)原有模型參數(shù)只額外訓(xùn)練一小部分“旁路”參數(shù)。你可以把它想象成給模型加了一個(gè)“可拆卸的適配器”效果只影響你訓(xùn)練過(guò)的領(lǐng)域還會(huì)保留原有模型的通用能力。實(shí)際操作中我會(huì)優(yōu)先用這兩個(gè)訓(xùn)練方案LLaMA-Factory界面友好內(nèi)置了大量數(shù)據(jù)集格式支持適合快速實(shí)驗(yàn)。HuggingFace PEFT TRL更底層適合需要定制訓(xùn)練邏輯的團(tuán)隊(duì)。LoRA 的幾個(gè)關(guān)鍵參數(shù)直接給結(jié)論rank秩通常 8~32 之間。rank 越大可學(xué)習(xí)的參數(shù)越多但也更容易過(guò)擬合。對(duì)話風(fēng)格類任務(wù)8~16 夠用。alpha一般為 rank 的 2 倍是 LoRA 輸出的縮放因子。學(xué)習(xí)率1e-4 到 2e-4 是常見區(qū)間不要太大否則容易崩。epochs對(duì)話數(shù)據(jù)量幾千到幾萬(wàn)條時(shí)2~3 輪即可更多的輪次很容易過(guò)擬合。另外一個(gè)特別容易被忽略的細(xì)節(jié)是訓(xùn)練數(shù)據(jù)的對(duì)話格式必須與模型自帶的 chat template 完全一致。很多模型微調(diào)后出現(xiàn)“回答前言不搭后語(yǔ)”的詭異現(xiàn)象原因不是模型沒(méi)學(xué)會(huì)而是訓(xùn)練時(shí)用的格式和模型原本的格式不一致導(dǎo)致模型在推理時(shí)不知道該按什么規(guī)則生成。訓(xùn)練前先確認(rèn)對(duì)應(yīng)模型的 chat template 長(zhǎng)什么樣再把你的數(shù)據(jù)傳成同樣的格式。驗(yàn)證階段我強(qiáng)烈建議單獨(dú)留出一批“模型在訓(xùn)練時(shí)沒(méi)見過(guò)的聊天記錄”做測(cè)試。微調(diào)前后的同一個(gè)問(wèn)題各跑一遍對(duì)比回答風(fēng)格、信息準(zhǔn)確性、是否產(chǎn)生“記憶錯(cuò)亂”。如果在測(cè)試集上回答質(zhì)量明顯提升、但常識(shí)能力下降說(shuō)明過(guò)擬合了這時(shí)候可以混入 20%~30% 的通用指令數(shù)據(jù)一起訓(xùn)練能有效緩解。5. 評(píng)測(cè)、LLM as Judge 和基于 LLM 的自動(dòng)化單元測(cè)試5.1 怎么客觀評(píng)估一個(gè) LLM 應(yīng)用大多數(shù)團(tuán)隊(duì)在大模型項(xiàng)目上翻車不是模型選錯(cuò)了而是沒(méi)有一套評(píng)測(cè)方法。大家往往靠“肉眼看看回答怎么樣”來(lái)判斷效果這種感性判斷在 Demo 階段可以但一旦要上線會(huì)變得非常不可靠——因?yàn)橥粋€(gè) Prompt 換一次輸入輸出質(zhì)量波動(dòng)可能非常大。我建議哪怕是小項(xiàng)目也先建一個(gè)基礎(chǔ)評(píng)測(cè)集包含三類樣本標(biāo)準(zhǔn)正確樣本輸入明確了預(yù)期答案可以用字符串匹配或模型判斷對(duì)錯(cuò)。邊界樣本比如空輸入、超長(zhǎng)輸入、包含錯(cuò)誤信息的輸入。對(duì)抗樣本故意誘導(dǎo)模型輸出不安全內(nèi)容、幻覺(jué)內(nèi)容。評(píng)測(cè)指標(biāo)可以分成四類指標(biāo)類型例子說(shuō)明準(zhǔn)確性抽取結(jié)果的 F1、分類準(zhǔn)確率有標(biāo)準(zhǔn)答案時(shí)使用內(nèi)容質(zhì)量完整性、相關(guān)性、可讀性需要人評(píng)或 LLM 評(píng)穩(wěn)定性同一輸入多次輸出的方差越低越穩(wěn)生產(chǎn)環(huán)境重點(diǎn)看成本性能延遲、tokens 數(shù)、失敗率直接決定可持續(xù)性其中“穩(wěn)定性”我特別想強(qiáng)調(diào)很多項(xiàng)目的 Prompt 在評(píng)測(cè)集上效果不錯(cuò)但日志顯示用戶反饋時(shí)好時(shí)壞。原因通常就是 temperature 偏高且沒(méi)有做多輪抽樣測(cè)試。穩(wěn)定性測(cè)試方法很簡(jiǎn)單固定輸入和參數(shù)重復(fù)調(diào)用 10 次計(jì)算輸出的差異程度。5.2 LLM as Judge 的正確用法人工評(píng)測(cè)樣本量一大就吃不消于是“用強(qiáng)模型評(píng)價(jià)弱模型輸出”的思路被廣泛應(yīng)用這就是 LLM as Judge。它在主觀任務(wù)上很有用比如摘要質(zhì)量、文案吸引度、代碼風(fēng)格這類沒(méi)有唯一正確答案的場(chǎng)景人工打分又貴又慢LLM 反而能給出相對(duì)一致的評(píng)分。但 LLM as Judge 有三個(gè)已知偏差使用前務(wù)必了解自偏好偏差它對(duì)“和自己風(fēng)格相似的輸出”打分會(huì)偏高。長(zhǎng)度偏差更長(zhǎng)的回答往往得到更高分哪怕內(nèi)容啰嗦。位置偏差兩個(gè)回答放在前還是放后會(huì)影響裁判的判斷。緩解手段也很明確用Rubric 評(píng)分細(xì)則在 Prompt 里寫清楚每個(gè)分?jǐn)?shù)檔位對(duì)應(yīng)的標(biāo)準(zhǔn)。多次交換候選回答順序取平均分。使用多個(gè)不同模型交叉打分消除單一模型偏好。引入少量人類標(biāo)注做校準(zhǔn)發(fā)現(xiàn) Judge 偏移時(shí)及時(shí)調(diào)整 Prompt。實(shí)際用的時(shí)候比如評(píng)價(jià)一個(gè)摘要模型Judge 的 Prompt 可以長(zhǎng)這樣請(qǐng)根據(jù)以下評(píng)分標(biāo)準(zhǔn)為摘要打分1-5分 - 5分信息完整、語(yǔ)言流暢、沒(méi)有冗余 - 3分核心信息保留但有明顯冗余或遺漏 - 1分關(guān)鍵信息丟失或內(nèi)容錯(cuò)誤 【原文】 {original_text} 【候選摘要】 {candidate_summary} 只輸出分?jǐn)?shù)和一句簡(jiǎn)短理由。注意Judge 本身也會(huì)受到溫度影響建議 temperature 設(shè)為 0并且同一對(duì)輸出跑多次取均值。5.3 用 LLM 生成單元測(cè)試編程方向的讀者應(yīng)該對(duì)“基于 LLM 的單元測(cè)試”這個(gè)熱搜詞很感興趣。思路是用 LLM 自動(dòng)生成測(cè)試用例輔助工程師提升覆蓋率。比如你寫了一個(gè)函數(shù)自己懶得枚舉邊界條件可以讓模型先看代碼再生成測(cè)試計(jì)劃和用例。我的實(shí)踐是先讓模型做兩步輸出而不是直接讓它寫完整測(cè)試文件第一步生成測(cè)試計(jì)劃下面是函數(shù)代碼請(qǐng)列出 5 個(gè)最有價(jià)值的測(cè)試場(chǎng)景包含正常輸入、空輸入、邊界值、異常輸入并說(shuō)明每個(gè)場(chǎng)景的預(yù)期行為。 {code}第二步再根據(jù)測(cè)試計(jì)劃生成測(cè)試代碼。這樣生成出來(lái)的代碼可理解性遠(yuǎn)高于一步到位生成。如果你用的是 Python pytest生成的測(cè)試大致長(zhǎng)這樣import pytest def test_normal_input(): assert my_function(10) 20 def test_empty_input(): with pytest.raises(ValueError): my_function() def test_boundary_value(): assert my_function(0) 0但 LLM 生成單測(cè)有幾個(gè)繞不開的坑我踩過(guò)之后總結(jié)如下幻覺(jué)斷言模型會(huì)生成“看起來(lái)很有道理但實(shí)際是編的”預(yù)期值。這種用例跑起來(lái)可能因?yàn)閿嘌藻e(cuò)誤而失敗反而誤導(dǎo)你去改正確的代碼。邊界遺漏模型更習(xí)慣生成常見輸入對(duì)極端類型比如超大整數(shù)、None、嵌套結(jié)構(gòu)經(jīng)常漏掉。代碼與測(cè)試不匹配如果函數(shù)簽名或行為發(fā)生變化舊測(cè)試不會(huì)自動(dòng)更新容易累積成問(wèn)題。排查這類問(wèn)題的方法就是先審測(cè)試計(jì)劃再生成測(cè)試代碼最后跑測(cè)試看失敗原因。不要讓 LLM 生成的測(cè)試用例直接進(jìn)入 CI一旦出現(xiàn)“紅了一片”先判斷是測(cè)試錯(cuò)了還是代碼錯(cuò)了。另外一個(gè)很常見的工程報(bào)錯(cuò)是LLM request failed: provider rejected the request schema or tool payload.這個(gè)報(bào)錯(cuò)通常出現(xiàn)在給函數(shù)傳入工具定義時(shí)。原因是工具調(diào)用function calling的 JSON Schema 不符合模型 API 的要求比如缺少 required 字段、參數(shù)類型寫錯(cuò)、或者附加了 API 不支持的字段。排查思路很簡(jiǎn)單把發(fā)送給 API 的完整工具定義打出來(lái)用 JSON Schema 的校驗(yàn)器查一圈再對(duì)照 API 文檔逐一核對(duì)字段名。大多數(shù)情況下問(wèn)題出在“你以為的字段名”和“API 真正要求的字段名”不一致。6. LLM 智能體、容錯(cuò)控制與安全紅線6.1 從“聊”到“做”Agent 的基本骨架LLM 本身只能“說(shuō)”不能“做”。Agent 的出現(xiàn)本質(zhì)上是把 LLM 放到一個(gè)循環(huán)里讓它能調(diào)用外部工具、觀察結(jié)果、再?zèng)Q定下一步動(dòng)作。目前業(yè)界最常見的一種骨架是 ReAct 模式流程如下思考Thought模型分析當(dāng)前狀態(tài)決定該做什么。行動(dòng)Action模型輸出一個(gè)工具調(diào)用請(qǐng)求比如“查詢天氣 API參數(shù) city北京”。觀察Observation系統(tǒng)執(zhí)行工具把結(jié)果返回給模型。循環(huán)模型根據(jù)觀察結(jié)果繼續(xù)思考直到達(dá)到終止條件。工程實(shí)現(xiàn)時(shí)你需要維護(hù)一個(gè)“工具集”和一個(gè)“循環(huán)控制器”。工具集是 JSON Schema 描述的函數(shù)列表循環(huán)控制器負(fù)責(zé)調(diào)用模型、解析輸出、執(zhí)行工具、拼接歷史。這個(gè)看似簡(jiǎn)單的循環(huán)實(shí)際在生產(chǎn)環(huán)境里會(huì)遇到大量問(wèn)題。最常見的幾類包括模型輸出了格式錯(cuò)誤的工具參數(shù)導(dǎo)致解析失敗。模型陷入了循環(huán)反復(fù)調(diào)用同一個(gè)工具而不推進(jìn)任務(wù)。工具執(zhí)行超時(shí)但模型還在等待結(jié)果。模型給出的下一步動(dòng)作明顯不合理但系統(tǒng)沒(méi)有攔截機(jī)制。6.2 構(gòu)建可靠的容錯(cuò)控制系統(tǒng)要構(gòu)建真正可用的 Agent關(guān)鍵是容錯(cuò)控制。我看熱詞里那篇論文標(biāo)題講的就是“LLM 智能體自主容錯(cuò)控制構(gòu)建可靠 AI 系統(tǒng)的工程實(shí)踐”這一類問(wèn)題在真實(shí)業(yè)務(wù)里非常值得重視。我的建議是給 Agent 加上五道防護(hù)超時(shí)與重試每次工具調(diào)用設(shè)置超時(shí)時(shí)間建議根據(jù)工具平均耗時(shí)動(dòng)態(tài)調(diào)整超時(shí)后重試一次再失敗則讓模型換路徑。最大步數(shù)限制防止模型失控地?zé)o限循環(huán)。一般任務(wù)不要超過(guò) 10 步。循環(huán)檢測(cè)記錄最近的工具調(diào)用序列如果同一工具、同一參數(shù)重復(fù)出現(xiàn)多次直接終止或切入人工提示。格式校驗(yàn)在模型輸出傳給工具之前用 JSON Schema 做一次校驗(yàn)格式不對(duì)就返回錯(cuò)誤信息讓模型自己修正。輸出護(hù)欄對(duì)模型最終輸出做敏感詞過(guò)濾或規(guī)則校驗(yàn)避免錯(cuò)誤信息直接給用戶。這里特別想提一下“記憶與知識(shí)庫(kù)投毒”的安全風(fēng)險(xiǎn)。業(yè)界已經(jīng)出現(xiàn)類似 AgentPoison 的研究攻擊者通過(guò)在 Agent 的記憶庫(kù)或知識(shí)庫(kù)中注入惡意內(nèi)容誘導(dǎo) Agent 在后續(xù)決策時(shí)輸出攻擊者想要的結(jié)果。通俗來(lái)說(shuō)Agent 會(huì)“讀什么信什么”如果你直接讓它檢索外部知識(shí)庫(kù)或長(zhǎng)期記憶而沒(méi)做來(lái)源可信度校驗(yàn)它很可能把注入的假信息當(dāng)成事實(shí)用于決策。防御思路不是不用知識(shí)庫(kù)而是做幾件事檢索結(jié)果白名單只允許 Agent 讀取可信來(lái)源的內(nèi)容。來(lái)源標(biāo)注讓檢索結(jié)果帶上來(lái)源 IDAgent 輸出時(shí)標(biāo)注引用。最小權(quán)限Agent 調(diào)用的工具只給完成任務(wù)所需的最小權(quán)限不要把數(shù)據(jù)庫(kù)寫權(quán)限也交付給模型。輸入輸出過(guò)濾對(duì)寫入記憶庫(kù)的內(nèi)容先做一遍敏感詞和格式審查。注意安全不是上線前才考慮的事。只要你的 Agent 涉及外部數(shù)據(jù)或用戶數(shù)據(jù)就應(yīng)該在架構(gòu)設(shè)計(jì)階段把這些防護(hù)加進(jìn)去。后期補(bǔ)防護(hù)成本會(huì)高很多。最后再分享一個(gè)我的經(jīng)驗(yàn)這個(gè)系列的第一篇我從模型原理寫到了工具鏈、本地部署、微調(diào)、評(píng)測(cè)和 Agent 容錯(cuò)內(nèi)容跨度很大。但我最想讓你帶走的一句話是大模型項(xiàng)目真正的難點(diǎn)從來(lái)不是模型本身而是模型之外的數(shù)據(jù)、評(píng)測(cè)和工程邊界。我自己早期做項(xiàng)目時(shí)把大量時(shí)間花在“換更強(qiáng)的模型”上結(jié)果效果不穩(wěn)定問(wèn)題根本不是模型不夠強(qiáng)而是評(píng)測(cè)集太隨意、Prompt 沒(méi)版本管理、Agent 沒(méi)有容錯(cuò)設(shè)計(jì)。后來(lái)一點(diǎn)點(diǎn)把“LLM Wiki”建起來(lái)每一個(gè)實(shí)驗(yàn)都記錄、每一次失敗都?xì)w因項(xiàng)目的進(jìn)展反而變快了。建議你從今天開始做一件很小的事建一個(gè)文檔把你下一個(gè) LLM 實(shí)驗(yàn)的任務(wù)目標(biāo)、數(shù)據(jù)、模型、參數(shù)、測(cè)評(píng)結(jié)果和失敗案例記錄下來(lái)。等這個(gè)系列寫到后面幾篇你再回頭看這份記錄會(huì)發(fā)現(xiàn)它比任何教程都有價(jià)值。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
狠狠色婷婷丁香六月| 精品婷婷五月天| AA丁香综合激情| 亚洲美女婷婷五月天| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 97婷婷五月天| 五月丁香六月综合激情| 九九热狼人| 九九色院| 日本成人噜噜噜噜噜| 99日这里只有精品| 99热网站| 五月丁香天堂| 天天爱天天做天天舔| 79色色色色| 99精品热视频| 碰碰碰碰碰99| WWW丁香五月| 色色免费网战视频| 99热久| 丁香情色五月| 婷婷色综合| 性爱电影科技贸易有限公司| www.91操| 日韩欧美婷婷丁| 丁香婷婷性爱| 五月色综合网| 超碰免费成人网站| 色婷婷五月天激情| 偷拍91九色| WWW.桔色成人.COM| 色99网| 日韩久久这里只有精品| 婷婷五月色播放| 日本性视频| 色999;丁香五月| 日本黄色精品| 九九热这里只有精品12| 色色网站| 成人网在线视频| 婷婷激情五月天在线视频| 色色日本| 北条麻妃伊人| 综合激情五月丁香| 天天爽天天爽| 玖玖色综合网| 丁香五月影院| 色播激情婷婷| 狠狠干激情五月| 色狠狠色| 久久婷婷人人| 天天爽天天摸天天爱| 伊人婷婷色激情丁香| 99热综合网| 深爱五月婷婷| 九九综合视频在线观看| 丁香五月另类色婷婷麻豆| 99国产99| 思思热99在线| 99这里有精品视频| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 日本九九热| 五月天开心色情网| 97五月婷婷| 五月婷婷乱| 五月天成人小说| 色婷成人狠干| 天天日天天干天天天| 精品一区二区三区四区五区六区| 久久er视频6| 色5月婷婷| 91干网| 蜜臀av无码久久久久久久久| 色色色欧美| 精品九九久久| 99热这里只有精品最新| 97啪在线观看视频| 色五月婷婷大| 婷婷综合中文| 色高清无码视频| 久热这里只有精品99re| 日本久久99| 操骚货在线| 国产干逼片| A片试看120分钟做受视频红杏| 91色噜噜狠狠狠狠色综合| 思思re99视频在线观看| 久久99久久99www| 亚洲精品小视频| 天天干天天做| 无码G高清天| 思思热在线视频精品| BT综合在线视频观看| 99热这里只有精品55| 狠狠ri| 亚洲婷婷月丁香五月| 91一起操| 天天色情站| 欧美va在线| 粉嫩av蜜桃av蜜臀av| 欧美性爱五月天| 在线综合啪| 5月丁香六月情| 国产SUV精品一区二区6| 人人爽人人爽人人爽人人爽| 9热超碰| 伊人国产婷婷五月天| 欧美交换配乱吟粗大25P| 婷婷五月色| 色婷婷综合网站| 五月婷婷色情| 丁香五月电影| 人人操超踫| 久久一级AV| a免费在线| 97久久香草精品视频| 国产毛片精品一区二区色欲黄A片| 丁香色情五月天| 色婷婷激情| a色色片| 婷婷五月天色| 五月天社区狠狠| Caoub青青超碰| 五月天另类图片| 婷婷不卡基地| 超碰高清在线| 丁香五月天激情| 直接看的AV| 婷丁香久综合| 久99久视频精品| 激情五月www| 五月天婷婷丁香人人操91| 丁香五月天激情免费在线观看AV777| www.com色播五月天| 五月香婷婷| 久热91精品| 久久综合丁香激情五月| 九九这里精品| 久久婷婷丁香视频网| 香焦网五月天| 激情啪啪五月天| 亚洲人妻av伦理| 99热在线这里只有精品| 久热爱大香蕉在线蜜臀悦色 | 激情婷婷五月天丁香| 夜夜操夜夜操| 思思热这里只有精品视频666| 成人AV在线电影| 亚洲婷婷婷| 亚洲视频另类| 天天天天天日| www.色五月天.com| 婷婷丁香五月激情密臀av| 久久人人九| 九九av| 老师的粉嫩小又紧水又多A片视频| 婷婷色色网| 欧美婷婷综合网| 色99日韩| 五月天婷婷五月| 婷婷五月激情综合啪啪| 狠狠干婷婷| 最新精品视频99| 国产亚洲99久久精品熟女| 五月婷婷综合网| 深爱激情中文五月天av| 超级碰 久久9| 99精品无码| 五月天婷a| www.99热在线| 成人av在线网| 久久久久9| 欧洲激情五月天婷婷| 天堂va久久久噜噜噜久久Va| 亭亭玉月丁香| 泰州成人视频| 色久婷婷网| 99在线小视频| 久久久国产精品黄毛片| 欧美精品啪啪| 欧美成人精品一区二区| 99热大全在线观看| www.com.色色| 大香蕉久久青青| 综合噜噜| Jh7Uf088VHafNm| 婷婷九月亚洲| 啪啪五月婷婷| 影音先锋女人AA鲁色资源| 色亚洲欧洲| 综合激情五月四射婷婷| 国产色网站| 中字幕视频在线永久在线观看免费 | 婷婷五月婷婷| 九九婷婷五月天影视| 丁香五月123| 久久久婷婷婷| 99视频久久| 五月丁香久久丝袜啪啪| 美女天天艹人人爽| 91久久综合亚洲鲁鲁五月天| 综合九色| 婷婷色色综合| 伊人五月天| 亚洲成人网站在线播放| 激情五月丁香综合网站| 国产日韩欧美性生活| 丁香六月| 超碰A V在线| 五月天激情视频| 99久久网站| 天天拍久久| 婷婷九月色| 丁香五月www| 久久综合九色综合97婷婷| 五月丁香综合| 狠狠人妻色综合| 天天搞天天色综合| 99色1| 91人妻色色网| 色色色婷婷五月天| 91大屁股精品| 色婷婷色五月综合| 91av成人| 韩国中文字幕91| 色色色综合网| 欧美激情综合| 欧美丁香五月97色| 五月天天天天天天天天天天天婷婷婷| 五月婷婷之美女图片| 婷婷综合网在线| 97碰碰视频在线观看| 日本人妻操| 91性交在线播放| 欧美色五月| 婷婷月综合| 永久精品| 久久丁香五月天| 日日激情网| 国产va在线视频| 丁香婷婷六月激情文学 | 99热| 婷婷97狠狠成人网站| 色播五月丁香| 天天干电影| 91精品久久久久久| 久久综合干| 欧洲色色| 操操自拍| 国产在线黄色| 日本三级黄色大片| 99视频精品| 亚洲秘 无码一区二区三区妃光/1| 丁香 婷婷 亚洲 熟女| 噜噜噜噜在线| 国际国外精品欧洲南美洲专区无码不卡| 综合激情五月丁香9999久久精| 丁香婷婷六月天| 久久久99免费视频| 婷婷伊人久久| 五月天色色激情综合| 超碰免费大香蕉| 97碰碰在线观看视频| 久婷首页| 97色久| 国产激情在线| 久久九九爽| 日韩99视频| 98永久精品| 高清国产AV| 玖玖五月丁香| 大香蕉九操| 色综合九九| 亚洲精品国产成人AV在线| 婷婷色啪| 五月综合亚洲色| 激情网五夜婷婷| 99'无码| 丁香五月天婷婷久久| 插插插色综合网| 五月天性色| 婷婷丁香基地在线| 欧美成人A片AAA片在线播放| 五月丁香综合中文| 99免费在线| 久久精品99| 欧美性猛交 XXXX 乱大交| 亚洲妇女熟BBW| 丁香久久在线| 天堂网色婷婷| 久热9| 思思热国产视频| 欧美特大片黄| 超碰在线资源| 国产av基地| 日韩另类| 五月婷综合性中心| 丁香六月五月天| 26uuu欧美| 激情九月婷婷| 日本欧美成人片AAAA| 一本婷婷丁香久久 | 色婷婷99| 9久热在线视频| 国产精品视频网| 五月综合丁香婷婷| 丁香五月婷婷六月婷| 99精品在线下载| 99er热精品视频| 日本天堂免费99| 91久操| 夜丁香五月婷婷| 天天爽天天日| 99色综合| 国产AV网页| 激情五月,激情综合网| 天天操夜夜爽天天操| 天天开心AV色综合婷婷五月天| 五月丁香婷婷激情澎湃四射| 碰碰女| 狠狠操综合| 99re资源在线视频导航| 五月婷婷av| 男人天堂亚洲综合| 色五月婷婷在线| 五月丁香五月综合欧美| 五月天堂六月丁香亚州中文字幕久久| 九九激情网| 亚洲六月婷| 亚洲五月丁香六月婷婷| 精品国产一区二区三区四区阿崩| 久久激情五月天| 五月丁香网中文字幕| 久久狠狠干| 操操碰| 九九操屄| 99热情这里只有精品在线播放| 婷婷亚洲在线| www.婷婷五月| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 综合色播| 冬月かえでAV无码播放| 五月天婷婷丁香花| 国产成人在线精品| 影音先锋一区二区资源站| 97碰超级人人看| 久久成人天| 99re免费精品视频| 另类婷婷五月天啪帕帕| 青青夜夜狠狠夜夜狠狠| 色五月偷偷| 曰韩少妇内射免费播放| 色欲色香综合网| 色综合女人99| 五月色丁香国产在线视频| 美欧日韩国产成人在战| 婷婷天天五月天| 欧美五月丁香在线| 久久婷婷色综合| 碰碰碰97国产| 亚洲久久视频| 超碰在线精品| 97婷婷久久丁香| site:picc-up.com| 色吧综合网| 久99久视频精选| 五月丁香婷婷AV天堂| 99精品在线观看视频| 大香蕉 婷婷| 丁香五月天在线观看视频| 丁香婷婷五月| 超碰cap| 五月丁香日本片| 成人网址在线观看| 九九99精品视品| 噜噜噜狠狠色综| 婷婷五月天激情诱惑| www色色色com| 色综合久久天天综合网| 色综合色综合色综合色综合| 影音先锋男人av资源站| 婷婷五月天色综合翘| 欧美日本国产欧美日本韩国99| 日本欧美成人片AAAA| 日韩成人网址| 91ncm视频| 日本在线观看99| 五月天成人在线视频丁香| 九九碰九九爱97超| 五月激情网站| 操逼视频一区| 天天色99| 99九九视频| 9视频在线成人网站| 日韩五月婷婷| 91九色精品熟女内射| 99九精品| 天天日天天舔| 婷婷狠狠97| 五月婷婷之美女图片| 99精品国产在热久久| 99五月丁香丁| 国产 码在线成人网站| 99久久精品国产色欲| 婷婷五月天视频亚洲| 九九99精品视品| 五月婷婷色男女| 九月激情网| 亚洲视频操| 综合图片色色| 色爱综合五月| 日本天天色| 91综合在线观看| 狠狠干思思热| 五月婷婷久久爱| 思思精品久久艹| 亚洲亚洲人成综合网络| 伊人丁香花综合影院| 免费看欧美成人A片无码| 久久视屏这里只有久久| 超碰在线99| 婷婷五月天伊人在线| 天天插天天干| 99r久久这里只有精品| www.yw尤物| 日本99在线视频| 婷婷色操| 97碰| 欧美色婷婷| 婷婷开心深爱五月天| 国产亚洲99久久精品| 99操久久| 伊人五月天在线| 人人人操Av| 99色视频在线| 日本婷婷综合精品| 五月婷婷爽爽爽| 婷婷日日天天| 五月做爱| 国产无人区大片| 色五月天堂| 99热这里全都是精品| 五月激情五月丁香| 欧美日本韩国亚洲| 99性爱视频网站| 五月婷婷九九久久| 婷婷久久五月丁香| 热99这里只是精品| 三年高清大片免费观看国语| 九九免费精品| 激情啪啪五月| 人妻人人操| 月婷婷亚洲| 婷婷99视频在线| 色五月丁香六月婷婷| 久久婷婷五| 色婷另类| 色色热99| 操精品9| 久久国产色| 99热综合在线| 8090在线影视少妇| 五月天天爽| 亚洲婷婷婷| 五月丁香久久| 激情狠狠丁香月| 婷婷激情综合色五月久久91| 激情床戏| 婷婷色播色五月五色五月天色妇| 潘金莲AAAAAAAAAA| 97人妻碰碰中文无码久热丝袜| 天天日夜夜拍| 国产精品色一哟哟| 99精品97| 国产特级毛片AAAAAAA高清| 欧美婷婷五月天综合| 熟美女麻豆| 欧美久久婷婷| 夜夜骑日日夜夜| 激情文学 综合 九月| 日本一级一片免费视频| 激情五月天开心网丁香无码| 夫妻超碰在线| 色婷久久| 色亚洲欧洲| 婷婷伊人久久| 激情电影五月婷婷| 天天干天天色综合| 狠狠搞亚洲| 丁香婷婷91在线观看视频| 99这里有精品| 色五月婷婷亚洲最大| 欧美99热| 人人射人人高潮| 中文字幕av久久爽一区| AⅤ网站在线看| 亚洲综合在线播放| 国产熟女日日骚五月丁香爱| 中文精品在| 色色99| 五月婷婷综合在线视频小说| 婷婷五月中文在线| 亚洲婷婷综合视频| 成人无码髙潮喷水A片| 丁香五月婷婷影院| 天天舔夜夜操www com| 亚洲视频久久| 亚洲人妻av伦理| 日本色婷婷| 久久五月天精品视频| 91人无码久久久久久| 性爱视频99| 婷婷丁香五月综合激情小说| 看婷婷五月天网| 操b视频在线观看一区二区| 色区久久| 天天干天干| 色综合色综合婷婷热| 丁香激情五月少妇| 亚洲成人AV高清字幕| 成人婷99最新| 深爱激情五月婷婷| www.99热视频在线观看| 亚洲综合视频网| 抽插特写| 欧美精品XXXXBBBB| 99在线视频免费| 天天综合天天玩夜夜玩天天玩夜夜玩| 操人无码| www.韩日视频| 99精品偷自拍| 丁香五月伊人| 最新久久网址| 九九热在线精品| 亚洲 小说 欧美 激情 另类| 91操人视频| 亚洲综合成人网站| 日本综合99| 大香蕉五月天| 欧美日综合| 五月综合无码| 婷婷激情五月综合丁香社| 国产欧美日韩性爱| 婷婷午夜丁香| 色婷婷五月天偷拍| 玖色色综合| 97超碰免费超级在线观看| 99爱在线免费视频| 五月天激情四射网站| 久热只有这里精品| 91啪级电影| 丁香六月婷婷久久综合| www,色婷婷| 人人操碰| 亚洲精品第一国产综合亚AV | 久久激情五月天| 久碰久| 最新高清无码专区| 激情五月激情综合网| 99re思思热久久| 久99在线视频| 丁香五月婷婷基地| 2025色婷婷| 五月天综合图片| 婷婷精品在线| 青青草蜜臀| 色五月丁香五月激情五月激情| 九洲一级A片| 1024成人在线观看| 大香蕉Av在线| 亚洲XX网| 丁香五月色网| 熟女网站久久| 婷婷综合色| AV操逼网| 激情四射网| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 丁香五月花| 欧美色五月| 天天射影院| 亚洲欧洲另类| 少妇性BBB搡BBB爽爽爽视頻| 操91| 另类少妇人与禽zOZZ0性伦| 日韩999| 天天操天天干天天日| 99热.com| 五月天综合网| 精品国产一区二区三区四区阿崩| 天天日天天色| 青草五月天| 色五月婷婷在线| 日日日日日| 二色av| 日日爱699| 欧美综合五月丁香六月婷| 99性感视频| 丁香五月婷婷手机| 婷婷五月丁香手机在线视频| 九九色热| 色播婷婷五月天| 美日韩成人| 狠狠搞狠狠操| 国产毛多水多女人A片| 国产偷人爽久久久久久老妇APP| 少妇高潮呻吟A片免费看软件 | 激情五月婷婷色综合| 丁香99| 94干大香蕉| 九九色色网| 日韩色色小视频| 美女100%露全身无挡网站| 四色女婷婷| 五月丁香在线看| 日本色爽| 婷婷婷婷婷婷婷五月丁香| 婷婷视频网| 综合色、色综合| 亚洲视频码| 丁香五月婷婷色偷偷| 99网址在线看| 99久久国产宗和精品1上映| 激情色情五月天| 欧美婷婷五月天| 9999三级片| 丁香六月婷婷久久综合| 五月九九综合| 玖玖五月丁香| 亚洲色色图片| 桔色成人在线| 91狠狠综合网| 97色吧| 99情色五月天| 久久婷婷青草五月天| 午夜不卡成人一区二区| 婷婷五月天狠狠色| 噜噜在线| 日日操夜夜操不卡| 久久精品9| 天天成人综合| 天天狠天天叉| AV性爱在线| www九九免费视频| 九九精品亚洲| 午夜婷婷丁香| 成人性爱无码| 日韩另类| 精品人妻一区二区三区在| 狠狠干在线| 狠色狠色狠狠色综合网| 五月欧美丁香在线观看| 人妻av在线| 91日婷婷在线| Av性爱网站| 欧美成人网99网| 99热这里只有精品22| 天天色中文字幕女优AV| 婷婷五月花| 久久思思热视频| 五月丁香操婷逼| 粉嫩AV久久一区二区三区| 伊人综合婷婷| 婷婷激情鹿城五月天| 超碰国产在线观看| 激情AV网| 日韩一级片| 婷婷五月天日本无码| 色婷婷视频| 丁香婷婷老司机久操| 性爱AV天堂| 泰州成人视频| 在线中文AV| 91精品国产91久久久久青草| Www.激情| 日本猛少妇色XXXXX猛叫| 丁香六月婷| 伊人色欲五月天| 婷婷导航| 91视频久久久| 国产寻花在线| 五月天大香蕉| 亚洲国产网址| 久久激情综合| 色婷| 九九精品婷| 天天爽天天弄| 午夜免费试看| 免费成人中文字幕| 婷婷开心综合人妻小说网址| 色爱五月天| 成人永久免费视频在线观看| 成人丁香婷婷五月天| 色婷婷色99国产综合精品| 九九色院| 97丁香五月| 欧美成人一区二区三区在线视频| 色五月网址| 性综合网| 99资源人人| 激情五月婷婷啪啪| 天天操夜夜操| 热中文字幕| 婷婷激情视频| 综合激情九月婷婷,激情综合婷婷中文字| 国产Va视频| 九九综合精品| 亚洲色人妻| 激情欧美五月丁香| 五月天操逼激情| 六月欧美综合色情| 激情小说五月天| 五月天婷综合| 2025色婷婷| 久久婷婷五月天丁香| 婷五月天天| 色欲久久综合| 丁香婷婷91在线观看视频| 毛片色五月| 在线视频婷婷| 色婷五月天亚洲| 天天综合网站| 色综合色色| 婷婷色九月| 五月天狠狠色| 丁香久久五月婷综合| 狠狠综合区| www.五月瑟| 久久综合66| 九九亚洲小视频| 全部老头和老太XXXXX| 日本色婷婷综合| 婷婷99狠狠| 婷婷色五月噜噜| 五月天丁香综合久久国产| 91视频人人做97| 噜噜网免费视频| 日韩AV中文字幕在线| 婷婷香五月天| 六月丁香开心婷婷欧美| 99爱在线精品视频免费观看| www99精品亚| www99热| 一本九九色| 六月丁香啪啪啪| 色婷婷在线影院| 五月婷婷亚洲色视频| www.AV在线| 色色色色五月| 亚洲xx网| 91精品无码| 97视频久久| 亚洲情欲| 五月天激情网图片 - 百度| 婷婷丁香六月天| 五月激情综合婷婷| 七月婷婷色香综合网| 国产精品在线视频| 在线观看免费视频| 狠狠色激情综合| 亚洲人成播放网站| 俺去也综合| 丁香五月婷婷AV| www99热| 99丁香五月婷| 日韩黄在免| 婷婷 月 丁香| 六月婷婷色色色| 久久久久久久97| 激情综合网五月在线播放| 亚洲天堂99| 亚洲五月天综合| 精品综合网在线| 五月丁香婷婷综合| 91色在线/日韩| 五月婷婷综合视频| 激情综合网激情五月欧美| 丁香五月激情五月色综合| 看片视频在线免费日产在线看| 91精品人妻少妇无码影院| 人妻啪啪啪| 色 五月俺去也| 99小视频在线观看| 成人在线视频网| 天天爽日日搞| 色很久综合| 成人在线网址| 丁香五月激情六月综合| 91综合色噜噜| 九九久久网| 精品人妻久久久| caopeng97人人| 日日干天天爽| www.色窝| 在线看av| 丁香六月婷| 久久免费婷婷视频| 激情四射五月天| 亚洲最大成人综合网720P| 99热精地址| 九九热99视频在线| 91精品综合久久久久久五月丁香| 五月天深爱激情网| 99九九玖玖| 99精彩视频| 六月合五月婷| 新97人人上人人| 三年高清大片免费观看国语| 日本色色网站| 欧洲婷婷五月天| www:99热视频| 五月婷婷五月| 99久久性爱| 久久er视频6| 日韩av免费版| 丁香九月婷婷| 五月婷婷人妻| 天天舔天天插天天爱| 亚洲丁香婷婷| 色99视频| 人人干人人看| 婷婷丁香人妻| www.色9| 五月天色五月| 亚洲精品99| 色宗合,宗合网| 超碰99热精品| 色噜噜狠狠色综无码久久合欧美| 亚洲人成色A777777在线观看| 五月网激情| 久久九九re热| 伊人无码高清| 偷拍91九色| 六月婷婷七月丁香| 成人五月丁香社区| 五月婷婷婷色| 久久九九网| 九九热国产| 综合亚洲五月天| 韩国19 主播内部福利vip免费播放| 一本道在线电影| 9久久久久| 色五月丁香六月欧美综合| 激情综合女人网五月播播| 成人AV网站在线| 国产av一区二区三区| 91九色精品熟女内射| 婷婷五月天免费视频| 欧美成人无码高清一区二区三区| 9999热在线免费观看| 精品成人无码A片观看香草视频| 婷婷午夜精品久久久| 五月婷婷免费| 桃色Av色哟哟| 伊人9在线| 99在线看视频| 国产精自产拍久久久久久蜜| 九九综合| 激情开心五月天| 99热这里只有精品33| 亚洲1区| 4399欧美另类视频| 五月丁香色欲| 五月激情影院| www.丁香五月| 色老久久| 五月婷婷综合在线视频小说| 操嫩逼电影| 亚洲无码成人网| 日本久久视频| 婷婷色五月天色色| 婷婷五月天国产性感美女演员久久久久| 直接看的av| 二色AV| 丁香五月欧美午夜视频| 九九久热| 热久久国产视频| 婷婷深爱五月天在线| 久久视网36| 性一交一乱一交A片久久四色| 操日本三片99| 开心五月婷婷综合在线精品素人| 亚洲精品无码A片一区二区| 老美AA片| 99re在线播放| 久久怡红院| 天天玩夜夜操| 99热只有这里有精品| 91ncom.色| 色停停香蕉视频| 99啪99| 国产精品国产| 日本色婷婷| 天天爱天天吃狠天天透| 婷婷五月天在线观看免费| 中国激情网| 操啊操av| 婷婷五月丁综合| 五月婷婷九| 操逼棍操逼| 五月天婷婷在看| 五月丁香色五月| 日韩99色| 婷婷五日b| 婷婷五月天色综合翘| 这里只精品| 亚洲色色在线| 色六月天天激情综合网| 国产99美少妇| 91狠狠综合久久| 人妻综合网| 成人一级片| 亚洲天堂热| 熟女激情网| 99re在线视频精品,这里只有精品18,| 狠狠五月天| 九九av| 五月丁香亭亭| 久久久久久久久久久-久五月天婷婷| 国产精品第一国产精品| 草草女人亚洲| 岛国AAAV| 六月婷婷最新网址| 最新日韩久热免费视频看看| 天天肏高清在线| 香蕉狠狠爱视频| 日日爱678| 天天插综合在线| 婷婷激情五月天在线视频| 五月天婷婷丁香蜜桃91| 久色网五月| 五月开心深爱激情网| 五月天婷婷色综合| WWW.婷婷| 婷婷欧美激情综合| 色日本五月天| 双性美人被调教到喷水A片| 激情五月婷婷综合网| av操B网站| 五月婷婷九九久久| 日本天堂免费99| 五月丁香啪啪激情| 五月婷丁香| 五月婷婷综合网在线播放| 丁香六月婷婷开心| 日日操,天天操| 可以直接看的AV网站| 99精品视频免费观看| 国产婷婷综合| 99热在线看| AA片在线观看视频在线播放| 久草 tingting| 97干在线看| 五月丁香久久久久| 色色色视频免费无码 | 怎么样可以看免费的一级av| www.激情五月天.con| 99re热99| 婷婷亚洲五月丁香综合在线| www天天干| 婷婷淫淫狠狠六月| www.婷婷六月天| 色婷婷在线视频久| 天天操电影院色狼性av| 婷婷五月天激情电影| 97色色婷婷| 人妻视频一区而且二区| 久久婷婷五月综合色奶水99啪| 五月丁色AV| 激情五月天无人视频在线| 国产在线黄色| 野战J办公桌椅H| 五月丁香综缴情性爱| 六月丁香大香蕉| 日韩欧美四五区| 99色精品| 99啪啪视频| 色色六月| 婷婷伊人| 精品无码99| 天天影院色| 婷婷五月天久久久| 五月天激情亚洲| 五月丁香网站| 午夜青草资源| 五月精品| 蜜桃人妻无码AV天堂三区| 激情淫乱男女| 亚洲视频a| 婷婷五月天啪啪| 五月婷婷激情综合网| 久9久视频精品| 婷婷五月电影| 人人摸人人射| 激情久久五月天| 丁香久久在线| 亚洲五月婷婷| 亚艹艹| 婷婷操逼| 亚洲啪| 五月婷俺去也| 五月丁香五月婷婷| 婷婷色五月激情| 成人色图情色成人网 www.5b5b5bcom 五月天| 婷婷成人网五月天| 五月成人网站| 国产亚洲精品久久久久久郑州| 日本97在线| 亚洲99激情| 无码99| 99视频这里有精品| 久久东京热婷婷五月| 淫水导航| 久久这里有精品| 美国不卡视频| 狠狠色综合777| 婷婷精品免费久久| 最新日韩AV中文字幕| 五月丁香六月婷婷,婷| 五日激情综合| 人妻丰满精品一区二区A片| 亚洲天堂大香蕉| 五月丁香另类网| 亚州色婷婷| 六月激情丁香一道本7777| 五月丁香直播| 九九综合九九| 久操大屁股女人av| 狠狠五月天婷婷| 97人妻碰碰中文无码久热丝袜| 亚洲无码影片| 五月天婷婷久色| 日本视频99| 日本一区二区三区精品视频| 丁香 婷婷五月| 色五月成人| 日本在线99| 牛牛碰免费| 日韩少妇内射免费播放| 大香蕉网站,大香蕉综合| 色色com| 婷婷丁香五月综合网| 性爱先锋AV| 亚洲最大在线| 色99视| 五月停停激情网| 黑人巨粗进入警花疼哭A片| 五月婷婷激情刺激| 婷婷中文无码| 婷婷综合另类| 久久久久久久合一狠狠做深爱| 伊人色综合网| 这里只有精品偷拍| 激情婷婷五月| cao视频,现在观看| 少妇人妻凹凸视频| 日本乱子人伦在线视频| 操操操操操操婷婷五月天| 伊人网啪啪| 伊人9草在线观看| 99视频只有这里精品| 亚洲国产精品VA在线看黑人| 亚洲艹网| 99热这里只有精品22| 99干视频| 9久热免费视频99| 人妖色AV色综合| 亚洲视频伍月婷婷| 久热精品免费视频4| 丁香五月宝贝激情网| 天天操天天操天天操天天操天天操| 大香蕉久久久| 五月天激情四射网站| 99热全是精品| 思思热精品在线| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV| 婷婷五月天成人动漫| 国产99久久久国产精品免费看| 精品思思久久| 色五月播五月| 精品久久9| 九九99免费理论| 丁香婷婷基地| 久久婷五月婷| 99re在线视频精品,这里只有精品18,| 五月丁香久久| 99色激| 久久婷婷视频| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 日韩九九| AV六月丁香| 日本婷婷色日| 婷婷九月狠狠色| 69色婷婷| 亚洲精品影视| 99在线精品观看99| 久久久97| 丁香五月婷婷啪啪| 丁香五月婷婷呀| 老师的粉嫩小又紧水又多A片视频| 五月丁香综合伦理片| 欧美激情综合五月色丁香| 日日夜夜噜噜爽爽| 精品综合网在线| 激情五月,婷婷五月,丁香五月| 色婷婷五月影视| 久久99精品久久久久久三级| 影音先锋偷偷色男人站| 外国碰视频网站97| 久久久久久久久久8888| 九九热视频这里只有精品| 第四色色六月色综合| 亚洲精品久久久久久久久久吃药| 最新亚洲色色网| WWW.HENHENL.| 五月婷婷免费在线视频| 亚洲旡码| 丁香婷婷激情| 久久人妻系列| 91碰九色| 色狠狠999综合| 99久久99视频只有精品| 色婷婷五月天| 深夜A片| 丁香五月婷婷偷拍| 久久9视频| 五月六月丁香婷婷在线观看| 99国产精品白浆在线观看免费| 婷婷五月天婷婷| 亚洲av无码精品色午夜| 婷婷人人操| 色久婷婷网| www.91AV.com| 伊人婷婷大香蕉| 99 色色吧| 婷婷干| 丁香婷婷九月| 丁香丁香激情网| 久久久婷丁香五月| 六月婷婷五月丁香| 五月欧美色播| 欧美综合激情| 日本欧美成人片AAAA| 亚洲一级色电影| 色优久久| www激情com| 五月婷婷色综图片| 九九热在线精品视频| 思思re99视频在线观看| 久热综合| 日本精品人妻无码77777| 五月开心激情网| 婷婷丁香五月天操逼| 五月天社区婷婷丁香社区| 久久无码激情视频| 99热超碰人| 国产99久久久| 亚洲综合婷婷五月| 婷婷性爱视频在线| 色婷婷综合视频| 深爱开心激情| 久久婷青青草原| 色婷婷丁香特级性爱视频| 99热久久日本| 九九这里有精品| 丁香美女主播视频在线观看| 亚洲小电影在线观看黄999| 人妻丰满精品一区二区A片| 五月丁香婷婷AV| 99久久99视频只有精品| 九九九九成人| 色婷婷五月天在线观看| 天天日夜夜帕| 超碰在线超碰| 国产做爰视频免费播放| 婷婷五月天BBw| 欧美在线看| http://www.com久久久精品一区| 免费不卡狠操美女视频网| 婷婷五月激情的图片| 日韩AV在线免费| 国产99热| 9999热这里只有精品| 色婷婷A| 激情五月天天| 五月丁香 啪啪| 婷婷五月天激情综合深爱| 五月玖玖| 丁香五月玖玖| 五月天婷婷色综合| 热久视频| 激情五月天婷婷久久久久久久久久久| 黄色毛片精品| 婷婷五月天成人| 亚洲综合激情五月| 色五月婷婷狠狠撸| 伊人婷婷五月天av| 人妻体体内射精一区二区 | 色婷婷六月天| 婷婷99狠狠躁天天久久久九九九| 亚洲在线综合| 九九热只有精品| 色综合天天网| 久久婷五月综合| 91九九热| 欧美电影在线播放| 91大神操美女| 婷婷五月花丁香| 五月天婷婷在线观看精品男人| 久久精品99久久久久久| 玖玖伊人网| 激情五月婷婷| 五月婷婷激情日本| 另类五月激情| 青草视频在线蜜臀| 掩去也综合五月视频| 光棍影院日韩精品| 成人草榴视频| 激情第四色| 97色色婷婷| 五月婷视频在线| 欧美日韩AAAA| 婷婷玉月丁香五月在线视频| 五月丁香久久| 日韩久热| 五月婷婷婷综合网| 玖玖@三月天天丁香婷婷| 99精品国产乱码久久久人妻| 激情小说婷婷| 九九99九九99偷拍视频免费看| 色天五月天在线观看视频| 丁香五月激情综合啪啪| 在线五月色播| 99热只有精品综合| 亚洲在线资源| 97资源碰碰在线| 婷婷激情综合色五月久久91| 五月丁香六月激情网站| www.色五月| 大香蕉手机视频| 激情五月丁香婷婷| 欧美在线视频99| 亚洲色婷婷视频| 狠狠插狠狠| 99惹精品视频| 五月丁香好婷婷A片网| 深爱五月激情网| 激情五月天噢美| 天天爽爽日日做做| 九九色欲网| 九九人人精品| 精品99视频| 色播五月丁香综合| 在线看AV| 久99在线| 色综合久久久无码中文字幕999| 欧美性生交XXXXX无码小说| 九九视频在线| 综合网天天| 九九色综合九九色| 日夜操B| 可以直接看的AV| 99色在线视频| 五月婷婷深深爱| 国产激情在线| 开心婷婷五月| 天天日综合|