欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

大模型微調(diào)實(shí)戰(zhàn)指南:從LoRA、QLoRA到數(shù)據(jù)工程與避坑策略

大模型微調(diào)實(shí)戰(zhàn)指南:從LoRA、QLoRA到數(shù)據(jù)工程與避坑策略 很多人第一次接觸大模型微調(diào)上來就翻各種開源代碼庫找一堆訓(xùn)練腳本跑到一半發(fā)現(xiàn)顯存爆了、Loss不降、效果還不如基座模型。這種挫敗感我太熟悉了。其實(shí)大模型微調(diào)本身并不神秘它就是把一個(gè)已經(jīng)在海量數(shù)據(jù)上預(yù)訓(xùn)練好的大模型用你自己領(lǐng)域的數(shù)據(jù)再“補(bǔ)一課”讓它更懂你的業(yè)務(wù)、你的語氣、你的知識(shí)體系。這篇內(nèi)容我想從基礎(chǔ)概念講起把數(shù)據(jù)準(zhǔn)備、參數(shù)高效微調(diào)、完整訓(xùn)練流程、常見陷阱和效果評(píng)估一次說透希望能幫你少走那些我走過的彎路。這件事適合誰如果你是剛接觸大模型應(yīng)用開發(fā)的工程師或者已經(jīng)在用開源模型做推理、想進(jìn)一步定制模型行為的算法同學(xué)又或者只是對(duì)“微調(diào)”這個(gè)詞好奇、想搞清楚它和RAG、Prompt Engineering到底什么關(guān)系的技術(shù)愛好者這篇文章都能給你一個(gè)比較完整的坐標(biāo)系。1. 微調(diào)前必須想清楚的問題你真的需要微調(diào)嗎不少同學(xué)一遇到模型效果不好第一反應(yīng)就是“微調(diào)吧”。但我的經(jīng)驗(yàn)是微調(diào)是成本最高、周期最長(zhǎng)、風(fēng)險(xiǎn)也最大的模型適配方式它應(yīng)該是你最后的選擇而不是第一選擇。在動(dòng)手之前建議先花點(diǎn)時(shí)間做三個(gè)判斷。1.1 先問自己模型效果差差在哪模型回答不理想原因可以分成好幾類。如果是知識(shí)不夠新、不夠全那大概率是檢索增強(qiáng)生成RAG能解決的問題——給模型外掛一個(gè)知識(shí)庫讓它“開卷考試”如果是模型不理解你的指令格式或者輸出風(fēng)格不對(duì)那可能是提示詞工程沒做到位換一種Prompt寫法、給幾個(gè)Few-shot示例往往就能改善只有在模型本身的推理能力、底層行為模式、領(lǐng)域語言習(xí)慣確實(shí)不符合要求時(shí)微調(diào)才是對(duì)癥下藥。判斷方法很簡(jiǎn)單你先用市面上表現(xiàn)最好的通用模型比如通過API調(diào)用頂級(jí)的閉源模型配上精心設(shè)計(jì)的Prompt去跑你的任務(wù)。如果效果很好說明任務(wù)本身是通的只是小模型的指令跟隨能力不夠這時(shí)候可以考慮微調(diào)小模型去逼近大模型的效果如果連頂級(jí)模型都搞不定那微調(diào)開源模型大概率也救不了你問題可能出在任務(wù)定義、數(shù)據(jù)質(zhì)量或者評(píng)估標(biāo)準(zhǔn)上。1.2 算一筆賬微調(diào)的綜合成本微調(diào)的成本不只是GPU機(jī)器費(fèi)用它還包括數(shù)據(jù)標(biāo)注的人力成本、訓(xùn)練調(diào)試的時(shí)間成本、以及模型部署后的維護(hù)成本。我們簡(jiǎn)單算一筆賬假設(shè)你想微調(diào)一個(gè)7B參數(shù)的模型用單張24G顯存的消費(fèi)級(jí)顯卡即使做LoRA這類參數(shù)高效微調(diào)一次完整訓(xùn)練跑下來可能要幾個(gè)小時(shí)到幾天不等如果你想全參數(shù)微調(diào)至少需要4張以上專業(yè)顯卡做數(shù)據(jù)并行或模型并行訓(xùn)練時(shí)間單位直接變成天甚至周。再加上清洗數(shù)據(jù)、標(biāo)注數(shù)據(jù)、多次實(shí)驗(yàn)迭代的人力投入整個(gè)項(xiàng)目的周期通常以“周”為單位。對(duì)比之下Prompt工程可能只需要幾個(gè)小時(shí)RAG系統(tǒng)搭建可能只需要幾天。所以我的建議是用最小成本的方案先跑通基線。先寫Prompt不行加RAG再不行才考慮微調(diào)。如果非要微調(diào)先用小模型如3B、7B級(jí)別驗(yàn)證可行性再?zèng)Q定是否上更大規(guī)模的模型。1.3 微調(diào)真正擅長(zhǎng)的場(chǎng)景有哪些根據(jù)我的實(shí)際項(xiàng)目經(jīng)驗(yàn)微調(diào)在以下幾類任務(wù)上表現(xiàn)突出第一類是風(fēng)格與格式的遷移。比如把模型調(diào)教成某種固定的話術(shù)風(fēng)格讓它寫營(yíng)銷文案時(shí)一律用“你”開頭、結(jié)尾帶行動(dòng)號(hào)召或者讓它輸出嚴(yán)格格式化的JSON保證每個(gè)字段都有值、沒多余文字。第二類是領(lǐng)域術(shù)語和知識(shí)注入。在法律、醫(yī)療、金融等垂直領(lǐng)域通用模型經(jīng)常用詞不準(zhǔn)或理解偏差。通過微調(diào)模型能學(xué)會(huì)“對(duì)賭協(xié)議”“靶向治療”“供應(yīng)鏈金融”這些術(shù)語的上下文用法。第三類是任務(wù)模式的強(qiáng)化。比如讓模型學(xué)會(huì)“先分析、再回答”的思維鏈模式或者學(xué)會(huì)在不確定時(shí)說“我不知道”而不是一本正經(jīng)地胡說八道。第四類是人設(shè)與對(duì)話風(fēng)格的定制。做客服機(jī)器人、教育輔導(dǎo)助手、游戲NPC微調(diào)可以顯著提升角色一致性和交互體驗(yàn)。記住微調(diào)不是讓模型“記住知識(shí)”的工具——知識(shí)更新應(yīng)該靠RAG微調(diào)的核心價(jià)值是行為對(duì)齊讓模型學(xué)會(huì)怎么說話、怎么思考、怎么按你的規(guī)矩辦事。2. 微調(diào)的核心原理與主流方法對(duì)比早期做深度學(xué)習(xí)模型微調(diào)大家都是把所有參數(shù)從頭到尾重新訓(xùn)練一遍也就是全參數(shù)微調(diào)。這在模型還只有幾億參數(shù)的時(shí)代完全可行但到了大模型時(shí)代動(dòng)輒幾十億、上百億的參數(shù)規(guī)模全參數(shù)微調(diào)不僅要巨大的算力還面臨災(zāi)難性遺忘、訓(xùn)練不穩(wěn)定等一系列問題。于是各種參數(shù)高效微調(diào)方法應(yīng)運(yùn)而生。2.1 要理解微調(diào)先理解預(yù)訓(xùn)練與微調(diào)的關(guān)系簡(jiǎn)單打個(gè)比方預(yù)訓(xùn)練階段像是送一個(gè)學(xué)生去讀通識(shí)教育讓他掌握語言、常識(shí)、邏輯推理這些通用能力微調(diào)階段則是送他去上專業(yè)課比如學(xué)法律條文、學(xué)編程規(guī)范、學(xué)客服話術(shù)。專業(yè)課不能推翻通識(shí)課打下的基礎(chǔ)只能在這個(gè)基礎(chǔ)上修修補(bǔ)補(bǔ)、強(qiáng)化某些技能。微調(diào)的本質(zhì)是在預(yù)訓(xùn)練模型的參數(shù)空間里尋找一個(gè)更貼近你任務(wù)需求的“局部最優(yōu)區(qū)域”。全參數(shù)微調(diào)等于允許模型在參數(shù)空間的任何方向隨意移動(dòng)很容易跑偏而參數(shù)高效微調(diào)相當(dāng)于給模型套上一個(gè)約束讓它只能在靠近原始位置的范圍內(nèi)調(diào)整既保留原有的語言能力又學(xué)習(xí)新的任務(wù)模式。2.2 全參數(shù)微調(diào)什么時(shí)候才值得選全參數(shù)微調(diào)是效果上限最高的方案因?yàn)槟P退袑?、所有參?shù)都會(huì)針對(duì)你的數(shù)據(jù)更新。但它有三個(gè)硬傷顯存開銷極大需要存儲(chǔ)梯度、優(yōu)化器狀態(tài)通常要數(shù)倍于模型本身的內(nèi)存訓(xùn)練極不穩(wěn)定學(xué)習(xí)率稍高一點(diǎn)就容易災(zāi)難性遺忘甚至Loss直接發(fā)散部署成本高每次微調(diào)產(chǎn)出一個(gè)完整的新模型不能像LoRA那樣一個(gè)小文件到處插拔。建議只有滿足以下兩個(gè)以上條件時(shí)才考慮全參數(shù)微調(diào)你的訓(xùn)練數(shù)據(jù)量足夠大比如超過10萬條高質(zhì)量對(duì)話你有充裕的算力資源你需要模型在能力上限上有顯著提升你微調(diào)的是自家從零訓(xùn)練或深度改造的底座模型而不是直接拿公開開源模型來改。大多數(shù)場(chǎng)景下我強(qiáng)烈建議你從參數(shù)高效微調(diào)開始。2.3 LoRA與QLoRA目前最主流的微調(diào)方案LoRA的核心思想非常巧妙凍結(jié)預(yù)訓(xùn)練模型的所有原始參數(shù)然后在模型的線性層旁邊并聯(lián)兩個(gè)低秩矩陣一個(gè)降維、一個(gè)升維訓(xùn)練時(shí)只更新這兩個(gè)小矩陣。這樣實(shí)際訓(xùn)練的參數(shù)量往往只有原模型的0.1%到1%顯存需求大幅下降訓(xùn)練速度也顯著提升。LoRA為什么有效因?yàn)榇罅垦芯勘砻鞔竽P驮谙掠稳蝿?wù)適配時(shí)參數(shù)更新其實(shí)集中在一個(gè)很低的“內(nèi)在維度”上——你不需要調(diào)整那么多人參數(shù)只要在關(guān)鍵方向上微調(diào)就夠了。兩個(gè)低秩矩陣就像是給模型加了一個(gè)“任務(wù)專屬方向盤”不影響發(fā)動(dòng)機(jī)和底盤。QLoRA則是LoRA的進(jìn)一步優(yōu)化。它在加載模型時(shí)先把模型量化到4-bit精度省下大量顯存然后在前向傳播時(shí)反量化回16-bit計(jì)算反向傳播時(shí)只更新LoRA參數(shù)。這一套組合拳讓單張普通顯卡微調(diào)7B甚至13B模型成為現(xiàn)實(shí)。我們團(tuán)隊(duì)之前在一個(gè)24G顯存的單卡上成功微調(diào)了13B模型用的就是QLoRA。2.4 P-Tuning與Prompt Tuning更輕量但應(yīng)用場(chǎng)景有限P-Tuning和Prompt Tuning的思路是在輸入層加一組可學(xué)習(xí)的“軟提示”向量訓(xùn)練時(shí)只更新這組向量。它們比LoRA更輕量但效果天花板也更低通常在模型本身能力已經(jīng)很強(qiáng)、只是需要快速適配某種指令格式的場(chǎng)景下使用。我自己實(shí)際業(yè)務(wù)中很少單獨(dú)用它們因?yàn)長(zhǎng)oRA在任何指標(biāo)上都表現(xiàn)更好而訓(xùn)練成本差距也不大。理解這些方法的原理是有價(jià)值的但實(shí)際選型時(shí)不推薦。下面我用一個(gè)表格幫大家快速比較主流的微調(diào)路線方法可訓(xùn)練參數(shù)量顯存需求效果上限適用場(chǎng)景全參數(shù)微調(diào)100%極高最高大算力、超大規(guī)模數(shù)據(jù)LoRA0.1%-1%中等接近全參數(shù)大多數(shù)業(yè)務(wù)場(chǎng)景首選QLoRA0.1%-1%低接近LoRA顯存受限、單卡訓(xùn)練P-Tuning0.01%-0.1%極低有限輕量適配不推薦凍結(jié)微調(diào)部分層低中等結(jié)構(gòu)特殊層適配我的選型結(jié)論非常明確優(yōu)先LoRA顯存不足就QLoRA永遠(yuǎn)不輕易碰全參數(shù)微調(diào)。這個(gè)原則幫我避開了大量算力和時(shí)間上的浪費(fèi)。3. 數(shù)據(jù)工程微調(diào)效果的分水嶺很多人以為微調(diào)就是把幾條問答數(shù)據(jù)丟給模型改改寫寫就完事了。這是最大的誤區(qū)。我經(jīng)手過的微調(diào)項(xiàng)目里至少一半以上的效果問題根源都不在訓(xùn)練參數(shù)而在數(shù)據(jù)質(zhì)量。數(shù)據(jù)工程在整個(gè)微調(diào)流程里我認(rèn)為應(yīng)該占到60%的工作量。3.1 微調(diào)數(shù)據(jù)的三種主流形態(tài)指令微調(diào)最常用的是對(duì)話格式數(shù)據(jù)。以ChatML格式為例一條訓(xùn)練樣本長(zhǎng)這樣|im_start|system 你是一個(gè)嚴(yán)謹(jǐn)?shù)姆勺稍冎只卮鹨镁唧w法條。|im_end| |im_start|user 勞動(dòng)合同到期后公司不續(xù)簽員工能拿到補(bǔ)償金嗎|im_end| |im_start|assistant 根據(jù)《勞動(dòng)合同法》第四十六條勞動(dòng)合同期滿終止除用人單位維持或者提高勞動(dòng)合同約定條件續(xù)訂勞動(dòng)合同勞動(dòng)者不同意續(xù)訂的情形外用人單位應(yīng)當(dāng)向勞動(dòng)者支付經(jīng)濟(jì)補(bǔ)償。|im_end|這種格式的好處是結(jié)構(gòu)清晰模型能學(xué)會(huì)區(qū)分系統(tǒng)指令、用戶輸入和助手回復(fù)三種角色。不同的底座模型可能要求不同的模板格式比如有的用[INST]有的用s開始前務(wù)必查閱模型卡中的文檔直接用錯(cuò)模板會(huì)嚴(yán)重?fù)p害效果。除了對(duì)話格式還有純補(bǔ)全格式適合讓模型續(xù)寫文本比如代碼補(bǔ)全、文章生成和多輪對(duì)話格式適合客服、助手等涉及上下文理解的應(yīng)用。多輪對(duì)話數(shù)據(jù)要注意角色交替的連續(xù)性不能只給單輪問答。3.2 數(shù)據(jù)清洗的實(shí)戰(zhàn)清單數(shù)據(jù)清洗做得好不好直接決定了模型會(huì)不會(huì)“學(xué)壞”。我從實(shí)際項(xiàng)目中總結(jié)了一套清洗清單第一去重。重復(fù)數(shù)據(jù)會(huì)讓模型對(duì)某些樣本過擬合導(dǎo)致生成內(nèi)容單一化。我常用句子向量做相似度去重閾值一般設(shè)在0.85以上即超過這個(gè)相似度就認(rèn)為是重復(fù)樣本。第二過濾低質(zhì)內(nèi)容。HTML標(biāo)簽殘留、亂碼符號(hào)、過短的文本比如少于20個(gè)字、明顯的機(jī)器翻譯痕跡這些都要清理掉。我寫過一個(gè)簡(jiǎn)單的規(guī)則過濾腳本配合人工抽檢。第三校驗(yàn)答案準(zhǔn)確性。這一步最貴但最關(guān)鍵。指令數(shù)據(jù)里的“答案”是模型學(xué)習(xí)的標(biāo)桿如果答案是錯(cuò)的模型會(huì)學(xué)錯(cuò)。建議對(duì)高影響數(shù)據(jù)做雙重標(biāo)注即兩個(gè)人分別標(biāo)注再對(duì)比一致性對(duì)于不一致的樣本由第三人仲裁。第四注意指令多樣性。很多自建數(shù)據(jù)集最常見的毛病是“一個(gè)指令模板套幾千條數(shù)據(jù)”。比如所有樣本都是“請(qǐng)解釋以下概念XXX”。這會(huì)導(dǎo)致模型對(duì)措辭變化非常敏感換個(gè)問法就聽不懂。我去重指令的文本相似度保證在模板層面有足夠多的變化。第五控制數(shù)據(jù)比例。業(yè)務(wù)數(shù)據(jù)、通用數(shù)據(jù)、安全數(shù)據(jù)要搭配著來。純業(yè)務(wù)數(shù)據(jù)的風(fēng)險(xiǎn)是模型喪失通用能力純通用數(shù)據(jù)又達(dá)不到領(lǐng)域適配的目標(biāo)。我的經(jīng)驗(yàn)比例是業(yè)務(wù)數(shù)據(jù)60%-70%通用對(duì)話數(shù)據(jù)20%-30%安全與拒答數(shù)據(jù)10%左右。3.3 數(shù)據(jù)量到底需要多少這是最常被問到的問題。我的回答分為三個(gè)梯度如果你只是想改變模型輸出的“風(fēng)格和格式”例如讓它總用JSON回答、固定某種語氣那500到2000條高質(zhì)量樣本通常足夠。注意我指的是“高質(zhì)量”而不是“高數(shù)量”。如果你想讓模型學(xué)會(huì)某個(gè)具體任務(wù)的推理模式比如從一段病歷中提取結(jié)構(gòu)化信息或者根據(jù)用戶描述做故障診斷大概需要2000到10000條數(shù)據(jù)。如果你想在某個(gè)垂直領(lǐng)域達(dá)到準(zhǔn)專家的效果比如法律咨詢、醫(yī)學(xué)問答、金融分析那么數(shù)據(jù)量通常要5萬條以上而且還要持續(xù)迭代。少于這個(gè)量級(jí)模型很難真正建立起領(lǐng)域知識(shí)的語義關(guān)聯(lián)。不要迷信“數(shù)據(jù)越多越好”。10000條低質(zhì)量數(shù)據(jù)的效果大概率打不過1000條高質(zhì)量數(shù)據(jù)。我自己就走過這樣的彎路花了一周時(shí)間扒了幾萬條網(wǎng)上的問答對(duì)模型訓(xùn)完后的輸出仍然空洞反而因?yàn)閿?shù)據(jù)噪聲太大導(dǎo)致生成內(nèi)容前言不搭后語。3.4 一個(gè)人怎么做數(shù)據(jù)主動(dòng)學(xué)習(xí)與“種子數(shù)據(jù)”策略很多個(gè)人開發(fā)者或小團(tuán)隊(duì)一聽到“標(biāo)注”就頭大沒人力、沒預(yù)算、也沒時(shí)間。這里分享一個(gè)我的做法。先用一個(gè)現(xiàn)成的強(qiáng)模型API調(diào)用或大型開源模型結(jié)合精心設(shè)計(jì)的Prompt自動(dòng)生成一批“種子數(shù)據(jù)”。然后人工篩選和修正其中100-500條質(zhì)量最高的作為初始訓(xùn)練集。用這批種子數(shù)據(jù)微調(diào)你的目標(biāo)小模型得到一個(gè)“初版模型”。接著用這個(gè)初版模型去處理更多的原始材料比如文檔、日志、歷史對(duì)話生成候選答案再人工標(biāo)注或修正。每修正一批就混入訓(xùn)練集重新微調(diào)一次。如此循環(huán)往復(fù)模型越訓(xùn)越好你的人工標(biāo)注效率也會(huì)越來越高因?yàn)樾枰拚腻e(cuò)誤越來越少。這個(gè)策略本質(zhì)上是主動(dòng)學(xué)習(xí)用模型輔助人做標(biāo)注而不是純?nèi)斯牧汩_始。它能用最少的人力做出質(zhì)量還不錯(cuò)的領(lǐng)域數(shù)據(jù)。4. 完整的實(shí)戰(zhàn)流程從環(huán)境配置到模型產(chǎn)出好前面把理論鋪墊得差不多了接下來進(jìn)入實(shí)際操作環(huán)節(jié)。我會(huì)以一套最通用的技術(shù)棧來做示范Python Hugging Face Transformers PEFT庫 一個(gè)開源底座模型。這套流程適用于絕大多數(shù)個(gè)人開發(fā)者和小型團(tuán)隊(duì)。4.1 環(huán)境準(zhǔn)備和模型選型我建議使用Python 3.10以上的版本PyTorch 2.x。核心依賴就是你選用的深度學(xué)習(xí)框架、Transformers庫、PEFT庫、以及加速和量化相關(guān)的幾個(gè)工具庫。對(duì)于顯存低于16G的機(jī)器建議使用量子化工具庫加載4-bit模型顯存充足的話直接用16-bit加載就好。安裝依賴是常規(guī)操作這里不多說。要注意的關(guān)鍵點(diǎn)是版本兼容性不同版本的Transformers和PEFT有時(shí)接口會(huì)變動(dòng)建議查看你所用框架的官方文檔來確認(rèn)。如果是全新安裝直接安裝最新穩(wěn)定版本通常沒問題。模型選型方面我的建議是7B級(jí)別是個(gè)人開發(fā)者的“甜點(diǎn)”效果和資源消耗比較平衡3B-4B級(jí)別適合快速驗(yàn)證和輕量部署13B級(jí)別效果更好但至少需要24G顯存才能跑QLoRA。底座模型選哪個(gè)需要遵循一個(gè)原則與你任務(wù)類型匹配。做中文任務(wù)優(yōu)先選擇中文語料占比高的模型做代碼任務(wù)選擇專門的代碼模型做數(shù)學(xué)推理選擇數(shù)學(xué)能力強(qiáng)的模型。不要拿一個(gè)偏英文對(duì)話的模型硬做中文法律問答那是拿自己的時(shí)間和算力開玩笑。4.2 配置文件級(jí)別的要點(diǎn)解析完成數(shù)據(jù)準(zhǔn)備和環(huán)境搭建后接下來就是訓(xùn)練配置。訓(xùn)練參數(shù)主要分為三大類優(yōu)化器與學(xué)習(xí)率、序列長(zhǎng)度與批大小、以及LoRA本身的配置。學(xué)習(xí)率是微調(diào)里最敏感的超參數(shù)。全參數(shù)微調(diào)通常用1e-5到2e-5而LoRA微調(diào)因?yàn)橹桓律倭繀?shù)學(xué)習(xí)率可以放寬到1e-4到5e-4。我的通用經(jīng)驗(yàn)是從2e-4起步如果Loss震蕩太大就降到1e-4或5e-5如果模型學(xué)得太慢再小心地往上調(diào)。批大小受顯存限制。總批大小batch_size × gradient_accumulation_steps建議在8到32之間。總批大小太小訓(xùn)練不穩(wěn)定太大收斂速度反而變慢。gradient_accumulation_steps是一個(gè)很有用的參數(shù)顯存不夠時(shí)用梯度累積來模擬更大的批大小。LoRA配置的核心是r秩和alpha縮放因子。r決定了低秩矩陣的寬度8到16之間最常用r設(shè)成64甚至更高確實(shí)能提高模型容量但顯存和訓(xùn)練時(shí)間也隨之上漲而且不一定帶來效果提升。alpha通常設(shè)為r的兩倍這是一個(gè)比較穩(wěn)的經(jīng)驗(yàn)值。還有一個(gè)關(guān)鍵參數(shù)是target_modules決定把LoRA掛在哪些層上。默認(rèn)情況下掛在注意力層的q和v投影矩陣上就夠用但如果數(shù)據(jù)量充足我建議把q、k、v、o以及前饋網(wǎng)絡(luò)的兩個(gè)全連接層都加上效果會(huì)更好。下面是我一份常用LoRA訓(xùn)練參數(shù)的模板可以參考{ lora_r: 16, lora_alpha: 32, lora_dropout: 0.05, target_modules: [q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj], learning_rate: 2e-4, batch_size: 4, gradient_accumulation_steps: 4, num_epochs: 3, max_seq_length: 1024, warmup_ratio: 0.03, lr_scheduler_type: cosine }max_seq_length要根據(jù)你的數(shù)據(jù)長(zhǎng)度分布來定。設(shè)太短會(huì)截?cái)嚓P(guān)鍵信息設(shè)太長(zhǎng)會(huì)浪費(fèi)顯存。我一般先統(tǒng)計(jì)訓(xùn)練樣本的長(zhǎng)度的分布選擇能覆蓋90%以上樣本的長(zhǎng)度作為設(shè)定值。如果你的數(shù)據(jù)比較長(zhǎng)不要盲目跟從默認(rèn)值。4.3 訓(xùn)練過程中的實(shí)時(shí)監(jiān)控與斷點(diǎn)恢復(fù)正式啟動(dòng)訓(xùn)練后不要傻等。我最??磶讉€(gè)指標(biāo)第一是Loss曲線。訓(xùn)練初期Loss應(yīng)該在穩(wěn)步下降。如果Loss出現(xiàn)突然的尖峰多半是學(xué)習(xí)率過高或某個(gè)batch混入了異常樣本如果Loss下降極慢甚至不動(dòng)可能是學(xué)習(xí)率太低或數(shù)據(jù)噪聲太大。第二是梯度范數(shù)。如果梯度范數(shù)突然飆到很大值說明訓(xùn)練快“爆炸”了這時(shí)候需要裁剪梯度或調(diào)低學(xué)習(xí)率??梢栽谟?xùn)練配置中設(shè)置一個(gè)梯度裁剪閾值這是一個(gè)非常有效的穩(wěn)定手段。第三是驗(yàn)證集表現(xiàn)。每隔一定步數(shù)用驗(yàn)證集做一次預(yù)測(cè)順著訓(xùn)練時(shí)的設(shè)定做例如每200步做一次人工查看生成的答案質(zhì)量。Loss下降不等于效果變好有過擬合時(shí)Loss可能還在微降但生成內(nèi)容已經(jīng)開始重復(fù)或跑題。訓(xùn)練中斷是常態(tài)。顯存溢出、斷電、代碼Bug、云服務(wù)器重啟都可能讓訓(xùn)練白跑。所以一定要定期保存檢查點(diǎn)權(quán)重并保證后續(xù)可以從最近的檢查點(diǎn)恢復(fù)訓(xùn)練而不是從頭再來。一個(gè)有用的提醒LoRA訓(xùn)練時(shí)底座模型參數(shù)雖然凍結(jié)著但前向傳播仍然會(huì)占用大量顯存。如果顯存確實(shí)吃緊除了開量化還可以試試減少max_seq_length、減小批大小、或者降低LoRA的r值。4.4 模型合并、導(dǎo)出與部署訓(xùn)練完成后你得到的是LoRA權(quán)重文件訓(xùn)練過程中選用的基礎(chǔ)模型必須保留合并或者運(yùn)行時(shí)加載才能用于推理。合并方式很簡(jiǎn)單用腳本把LoRA權(quán)重合并回基礎(chǔ)模型保存成一個(gè)完整的模型文件。合并之后模型就不需要額外的LoRA組件了可以直接用常規(guī)流程做推理。部署導(dǎo)出時(shí)有一個(gè)容易忽視的問題4-bit量化狀態(tài)下訓(xùn)練的LoRA合并時(shí)建議先恢復(fù)成16-bit再合并否則會(huì)產(chǎn)生額外的精度損失。我見過有人直接合并4-bit狀態(tài)下的權(quán)重結(jié)果輸出質(zhì)量明顯下降。推理格式也要保持一致。訓(xùn)練時(shí)用的對(duì)話模板在推理時(shí)也要用同樣的模板否則模型會(huì)“看不懂”輸入。很多效果問題其實(shí)出在這一步模型的訓(xùn)練格式和推理格式不一致導(dǎo)致回答質(zhì)量劇烈下降。用一個(gè)真實(shí)的例子來說一個(gè)用戶微調(diào)時(shí)用自己的模板推理時(shí)卻忘了加系統(tǒng)提示詞結(jié)果模型表現(xiàn)很差加上之后效果馬上恢復(fù)。這個(gè)坑非常常見排查優(yōu)先級(jí)很高。5. 那些容易踩的坑我的血淚經(jīng)驗(yàn)清單做微調(diào)做了這么久我把踩過的坑做一個(gè)“不一定踩到、踩到就很疼”的清單希望你不用再走一遍。5.1 災(zāi)難性遺忘與通用能力退化微調(diào)后模型在目標(biāo)任務(wù)上表現(xiàn)變好卻開始“忘記”通用能力比如數(shù)學(xué)變差、常識(shí)錯(cuò)誤增多、對(duì)話變僵化。這是微調(diào)最常見的問題之一。我的應(yīng)對(duì)辦法有三個(gè)。一是在訓(xùn)練數(shù)據(jù)里混入一批通用數(shù)據(jù)占比10%-30%保住基礎(chǔ)能力二是控制訓(xùn)練輪數(shù)通常3個(gè)epoch以內(nèi)不要追求把訓(xùn)練集Loss壓到極致三是用LoRA這類參數(shù)高效微調(diào)天然比全參數(shù)微調(diào)更抗遺忘。如果你需要同時(shí)適配多個(gè)任務(wù)一個(gè)可行的方案是把多個(gè)任務(wù)的訓(xùn)練數(shù)據(jù)混合在一起聯(lián)合微調(diào)而不是分多次連續(xù)微調(diào)。后者會(huì)讓模型一次次被不同任務(wù)“拉著跑”遺忘風(fēng)險(xiǎn)成倍增加。5.2 模型“學(xué)傻”了過擬合的表現(xiàn)和補(bǔ)救如果你發(fā)現(xiàn)模型的輸出開始重復(fù)、回答越來越短、或者總是繞著幾個(gè)固定句式打轉(zhuǎn)那很大概率是過擬合了。它的本質(zhì)是模型把訓(xùn)練數(shù)據(jù)里的“表面模式”記住了而沒有學(xué)到真正的“任務(wù)規(guī)律”。過擬合的高危信號(hào)包括驗(yàn)證Loss不再下降但訓(xùn)練Loss一直降生成文本的多樣性明顯變差同一問題多次提問回答雷同率極高。補(bǔ)救方向先降低訓(xùn)練輪數(shù)或?qū)W習(xí)率然后檢查數(shù)據(jù)重復(fù)率把相似樣本去重再增大lora_dropout從0.05提到0.1最后可以降低LoRA的r值減少模型的“容量”空間。5.3 量化、數(shù)值精度與訓(xùn)練穩(wěn)定性的糾纏QLoRA雖然省顯存但也有代價(jià)——4-bit量化本身會(huì)引入精度損失而梯度計(jì)算時(shí)如果數(shù)值不穩(wěn)定特別容易在低精度下“原地爆炸”。我見過幾次Loss變成NaN的情況排查下來基本都是梯度溢出。預(yù)防辦法打開梯度裁剪調(diào)整學(xué)習(xí)率讓它不要過高檢查數(shù)據(jù)里有沒有異常值——比如超長(zhǎng)文本、大量重復(fù)符號(hào)、包含不可見字符的樣本。如果Loss還是NaN先排查是哪個(gè)環(huán)節(jié)引入的。用一個(gè)極小的訓(xùn)練子集比如64條數(shù)據(jù)做一遍完整的訓(xùn)練流程如果小數(shù)據(jù)訓(xùn)練正常那問題出在數(shù)據(jù)或參數(shù)設(shè)置上如果小數(shù)據(jù)也NaN那就是環(huán)境或模型加載的問題需要檢查各個(gè)依賴庫的版本兼容性。5.4 評(píng)估陷阱指標(biāo)好看不等于效果能用微調(diào)的最終評(píng)價(jià)必須回到真實(shí)業(yè)務(wù)場(chǎng)景。很多人在測(cè)試集上看到指標(biāo)挺高以為成功結(jié)果上線被用戶一問就露餡。一方面的原因是測(cè)試集太“像”訓(xùn)練集了模型實(shí)際上是在“背答案”另一方面是因?yàn)锽LEU、ROUGE這些指標(biāo)對(duì)語義正確性的判斷很弱。我建議的評(píng)估方式是人機(jī)結(jié)合先用自動(dòng)化指標(biāo)篩出一批“可疑樣本”再用人工質(zhì)檢。人工質(zhì)檢不僅看答案對(duì)不對(duì)還要看表達(dá)是否自然、上下文是否連貫、有沒有胡編亂造。有條件的話引入對(duì)抗性測(cè)試——故意換一種問法、增加噪聲信息、提出邊界或極端問題看模型會(huì)不會(huì)“露怯”。一個(gè)通過不了對(duì)抗性測(cè)試的模型上線前一定要慎之又慎。6. 進(jìn)階微調(diào)、RAG與Prompt的最佳協(xié)作姿勢(shì)微調(diào)不是萬能的但它和RAG、Prompt工程也從來不是對(duì)立關(guān)系。一個(gè)成熟的業(yè)務(wù)系統(tǒng)通常需要三者的協(xié)同配合。6.1 一套組合拳讓三者發(fā)揮最大合力我的架構(gòu)設(shè)計(jì)原則是RAG負(fù)責(zé)知識(shí)Prompt負(fù)責(zé)指令微調(diào)負(fù)責(zé)風(fēng)格和思維模式。舉個(gè)例子。假設(shè)你要做一個(gè)企業(yè)內(nèi)部的智能客服。你用RAG把產(chǎn)品文檔、售后政策、常見問題全部塞進(jìn)知識(shí)庫讓模型能“查到”答案你用Prompt規(guī)定回答的結(jié)構(gòu)——先給結(jié)論、再給依據(jù)、最后給建議你再用微調(diào)教模型學(xué)會(huì)企業(yè)的語氣比如“親”“感謝您的耐心”這類風(fēng)格以及復(fù)雜投訴場(chǎng)景下“先安撫、再解決”的思維路徑。這樣做的好處是知識(shí)更新直接刷新知識(shí)庫就行不用重新微調(diào)模型業(yè)務(wù)風(fēng)格調(diào)整到一定程度才會(huì)觸發(fā)一次新的微調(diào)Prompt則起到“每次請(qǐng)求的臨時(shí)規(guī)則”的作用。三層各有分工互不干擾。6.2 持續(xù)迭代機(jī)制像養(yǎng)植物一樣養(yǎng)模型很多團(tuán)隊(duì)做微調(diào)像是“一次性項(xiàng)目”訓(xùn)完就上線上線后就再也沒人管。但模型會(huì)慢慢“腐爛”——數(shù)據(jù)分布變了、用戶問題變了、業(yè)務(wù)口徑變了模型的回答就會(huì)逐漸不適用。我建議的模式是“數(shù)據(jù)回流—評(píng)估—定期重訓(xùn)”的閉環(huán)。線上模型每處理一次用戶請(qǐng)求都把數(shù)據(jù)沉淀下來定期對(duì)數(shù)據(jù)進(jìn)行挖掘找出用戶問得多但模型答得不好的case把這些問題case補(bǔ)充到訓(xùn)練集里做增量微調(diào)然后通過評(píng)估系統(tǒng)對(duì)比新舊版本決定是否發(fā)布。模型不是做出來就完事的產(chǎn)品它需要像養(yǎng)植物一樣定期澆水、施肥、剪枝。6.3 成本控制與規(guī)?;慕?jīng)驗(yàn)如果你想做多套垂直模型比如同時(shí)對(duì)不同的業(yè)務(wù)線分別出模型不要一開始就為每條業(yè)務(wù)線分別微調(diào)一個(gè)獨(dú)立模型。更好的策略是先做一個(gè)通用的“領(lǐng)域基座模型”用全領(lǐng)域數(shù)據(jù)做一次比較大范圍的微調(diào)然后針對(duì)每條業(yè)務(wù)線做輕量LoRA適配。這樣底層共享、上層隔離既能控制成本也方便獨(dú)立迭代。另外一個(gè)成本控制的經(jīng)驗(yàn)是在訓(xùn)練前先做一次小規(guī)模的“試訓(xùn)”比如只用幾千條數(shù)據(jù)跑幾個(gè)epoch評(píng)估一下模型能不能在這些數(shù)據(jù)上學(xué)到東西。如果幾千條數(shù)據(jù)都學(xué)不到明顯效果那幾萬條也不會(huì)有奇跡先回頭查數(shù)據(jù)質(zhì)量。做微調(diào)這件事技術(shù)門檻其實(shí)不是最高的那一關(guān)。真正決定項(xiàng)目成敗的是你對(duì)業(yè)務(wù)問題的理解深度、對(duì)數(shù)據(jù)質(zhì)量的把控、以及踩過坑之后沉淀出來的判斷力。我也見過不少人拿到最好的模型、最快的顯卡但因?yàn)閿?shù)據(jù)一塌糊涂折騰一個(gè)月最后還是放棄。反過來也有人用一個(gè)很小的模型、幾千條高質(zhì)量數(shù)據(jù)把一個(gè)垂直場(chǎng)景做得有模有樣用戶評(píng)價(jià)比一些大模型API還好。所以我最后的建議是從一個(gè)小而具體的場(chǎng)景切入控制成本做一次端到端的微調(diào)實(shí)驗(yàn)親手感受一次“數(shù)據(jù)變化如何影響模型行為”。這個(gè)過程中的體感比你看一百篇教程都有價(jià)值。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色99网| 色五月在线播放| 国产成人在线精品| 无码日本精品XXXXXXXXX| 婷婷开心激情综合五月天| 丁香青青五月天| 婷婷婷久久久| 五月婷婷熟女| 91久久综合亚洲噜噜成人在线 | 婷综合| 久久免费9| 激情综合五月色在线| 五月综合缴情网| 99狠狠| 欧美色五月| 久久全意婷婷| 久久这里精彩免费在线观看| 天天插天天插天天插天天插| 依人大香蕉| 婷婷干| 中文字幕在线免费| 深爱激情六月| 99综合网| 91黄址| 热99这里只有精品视频| 色香欲综合| 97碰碰草| 亚州激情网站无码| 久久伦乱| wuyuedingxiang| 草综合网| 丁香久久综合| YW无码| 99re66热这里只有精品| 五月婷婷丁香五月婷婷丁香| 亚洲激情四射色| 五月丁香六月色| 色欲香综合网| 色色A| www.久久色.com| 激情丁香久久| 99人碰碰碰| 风流少妇A片一区二区蜜桃| 99玖玖在线视频| 色九区| 五月丁香婷婷中文网| 婷婷久久精品| 国产精品成人网址| 最近中文字幕大全免费版在线| 婷婷丁香成人五月天| 久激情网| 日韩无码91| 天天日天天色| 欧美熟女99| 婷婷五月天综合色| 色色色综合视频| 热996精品在线观看| 婷婷社区五月天| 综合性爱网| 天天色·欧美| 97色射| 五月丁香色婷婷熟女| 九九色色| 久久9热综合| 清色五月天| 亚洲最大在线| 影音先锋91| 热99热9| 五月天婷婷久久视频| 欧美男女婷婷| 丁香五月天的网址。| 久久99综合| 人人草碰| 伊人五月婷| 五月激情小说网| 九九九九这里只有精品| 色婷婷五月天激情综合| 亚洲另类婷婷五月丁香在线播放| 26UUU欧美激情一区二区| 婷婷色色综合| 久久久天堂国产精品女人| 五月丁香综合中文| 噜噜色噜噜网| 狠狠色丁香久久婷婷综合五月| 丁香 婷婷 激情 综合 五月| 日本在线视频播放91| 五月丁香日本在线视频观看| 欧美性色视频| 思思久日精品视频| 六月丁香狠狠爱| 妻久久久久| 色色操| 久久精品系列| www.9797国产| 天天射天天干天插色综合| 激情五月天伊人影院| 91中文狠狠综合| 婷婷五月天美女| 精品婷婷| 99无码视频| 久热99热| 99精品自拍| 色情丁香五月婷婷精品| 天天日夜夜操五月| 天堂婷婷五月在线| 婷婷色播色五月五色五月天色妇| 91九九| 在线只有精品| 狠狠色婷婷777| 亚洲无码yw| 超碰熟女拍拍| 久久影视婷婷五月| 九艹在线| 大香蕉五月天| 婷婷亚洲天堂| 色婷婷激情小说网| 婷婷色色网站| 无码 色| 九九草草逼| 色五月激情问网站| 婷婷色情 | 五月天自拍网| Av中文在线| 色五月成人在线| 我淫我色婷婷五月天激情四射| 五五月五月| 成人午夜视频精品一区| 婷婷五月图片小说网| 超碰网站在线观看| 久久精品99久久久久久| 亚洲情欲| 五月丁香天天| 99精品久久久久久久久| 中文字幕激情综合| 日本色频| 久久无码成人| 天天天干夜夜夜操| 日韩性视频| 开心激情五月天网| www,色中色| 五月停性愛| 婷婷五月天香蕉| 91大神在线免费看视频全集男男一起操| 国产婷婷色综合AV蜜臀AV| 欧美婷婷综合网| 天天日夜夜曹| 亚洲色久| 四季8848精品成人免费网站| 五月丁香六月婷婷无码| 亚洲情色一区| 这里有精品| 东北婷婷五月天| 久久成人亚洲欧美电影| 久久婷婷久久| 成人色五月天| 人人叉久| 夜夜干 夜夜操| 99久久久国产大片| 亚洲AV日韩在线观看| 这里只有精彩视频| 欧洲永久精品| 丁香综合久久| 六月激情网| 日韩六十路91性交电影| 久久加勒比| 中文av网站| AV国产有码| 久久婷婷东京热大香樵| 六月丁香网| 色综合久久88色综合中文字幕| 伊人大香蕉毛片| 新激情五月天天在线网| 99小精品| 婷婷丁香成人五月天| 99热激情| 久久这里都是精品| 99热在这里只有免费精品| 成人超碰网| 人妻久久久久久| www.狠狠| 99精品网址| 伊人干综合| 超碰精品手机在线| 黄网网站在线播放| 四色五月婷婷| 99热这里只有精彩| 中文乱子伦视频| 91狠狠综合久久| 香蕉人妻AV久久久久天天| 深爱激情六月天| 五月久久婷婷| 亚洲电影中文字幕| 99啪啪视频| 婷婷玉月丁香五月在线视频| 啪啪综合| WWW久久99久久99久久| 久久永久视频| 五月六月激情| 五月婷婷开心深| 久久激情婷婷| 精品国产一区二区三区四区阿崩 | 五月婷婷六月激情在线| 婷婷五月电影| 日本韩国视频在线观看社区免费的9| 大香线蕉伊人| 婷婷欧美激情| 色播五月天天| 91久久99久久91熟女精品| 久久婷婷老| 色婷丁香| 五月婷婷激情综合av| 丁香5月综合啪啪| 大香蕉人在线65| 性欧美大战久久久久久久83| 色色色综合色| 啪啪99| 婷婷五月天亚洲精品| 亚洲九区| 婷婷六月综合| 色婷婷丁香社综合| 久久久全国免费视频| 五月丁香啪啪网| 79精品视频在线观看,| 99热这只有| 精品亚洲国产成AV人片传媒 | 九九热99热| 久久人妻爱爱| 丁香婷婷激情综合五月激情| 亚洲成人在线免费| 中文字幕av亚洲| 久热伊人91| 久久九九综合| 五月婷婷六月色| 99婷婷国产最新视频| 青草激情在线| 亚洲综合色丁香婷婷六月| 操一区| 玖玖婷婷婷丁香五月| 日本V在线观看不卡视频网站| 色婷婷五月综合| 五月天玖玖狠狠色色| 人妻性爱av网站| 婷婷丁香色情| 另类激情码| 激情婷婷狠狠干综合| 色婷婷电影| 超碰猛烈的性猛交| 久操97| 久久久精品色| 欧美成人网99网| 五月天婷婷乱| 色青青视频| 九九综合久久丁香婷婷,开心激情综合网| 久99在线视频| 六月丁香综合| 在线成人网址| 伊人久久99| 99re在线视频| 五月婷婷色播| 九九AV在线| 亚洲色激情| 久久亚洲无码| 色私五月婷婷| 操操国产| 中文字幕成人| 久久er免费视频| 婷婷欧美综合| 久久刺激网| 色女人久久| 成年视频免费观看| 色色综合激情| 91人人网| 99色视| se99视频| 九九视频在线| 久久久久久人妻| 婷婷综合激情| 最近中文字幕大全免费版在线| 丁香五月六月综合激情| 五月婷婷六月激情| 丁香婷婷天堂| 91精品综合久久久久久五月天| 久久99热这里只频精品6学生| 色色综合网站| 亚洲春色奇米影视| 丁香五月天社区婷婷| 色婷婷狠狠18yy| 五月丁香婷久久| 亚洲久久激情| 国产精品18久久久| 久久精品熟女亚洲AV麻豆| 五月婷婷 激情按摩| 日日操天堂| 色噜噜狠狠狠狠色综合久欧美| 99re资源在线视频导航| 任你日热视频| 五月天婷婷久久| 久热人妻| 激情伊人六| 丁香五月婷婷色综合基地| 天天色,天天操,天天射| 九九亚洲视频| 九九亚洲综合| 久9热| 婷婷五月在线视频| 五月丁香婷婷钟和色图| 1024你懂的欧美曰韩| 男人的天堂97| www激情| 狠狠操天天操| 久久成人人妻| 色婷婷久久综合| 五月天开心激情综合网| 色青青电影色五月| 97碰碰视频| 人妻av在线| 欧美va视频不用播放器的va视频网| 青青草a在线| 深爱丁香激情| 九色七七| 精品国产AV色一区二区深夜久久| 亚洲殴洲精品Av在线| 色五月婷婷影院| 另类视频在线| 天天射综合网夜夜操| 五月天成人小说| 2017人人操| 天天操天天操天天操天天操天天操| 大战熟女丰满人妻AV| 99热欲| 久久九区| 热99精品视频| 国产亚洲99久久精品| 69精品人人人人| 色色色色色日韩午夜激情| 久久九九玖玖| 综合色天天| 天天撸天天干天天插| 另类精品视频在线观看| 日韩黄色中文字幕| 碰碰女| 岛国资源网| 思思热在线精品视频| 天天精品视频免费观看| 日本玖玖在线| 五月丁香日本片| 99热这里只要精品免费| 天天色视频| 91人妻九色大屁股| 99色在线观看免费| 丁香六月婷婷综合缴| 五月综合视频| www一起操| 深爱激情AV| 天天色天天日天天舔| 涩综合婷婷| 亚洲韩国日产综合AV| 九九99精品视频在线观看| 丁香五月骚喷水视频| 激情丁香五月天图片| 天天插天天插天天插天天插| 超碰69天堂| 五月大香蕉| 性生活久久人妻| 狠狠色色| 99精品高潮| 丁香久色| 丁香五月自拍| 亚洲第二AV| 色婷丁香五月| 久久久久亚洲AV成人无码电影| 欧美三级巜人妻互换| 五月丁香花激情综合网| www.色色色色| 襙比视频| 丁香五月电影| 欧美乱码国产一级A片| 久久五月婷综合网| 色综合激情| 99久免费视频| 激情婷婷丁香色五月| 五月婷婷开心网| 伊人影院久久网| 最新午夜理论片| 99啪99| avh片在线观看| 狠狠 婷婷| 五月婷婷基地| 热久久999| 色婷婷五月天中文字幕| 五月丁香色婷婷久久| 高清免费在线视频| 亚洲另类婷婷五月综合| 99精品偷自拍| 蜜乳9188| 99热在线精品观看| 亚洲色图在线视频| 五月丁香龟婷婷| 禁欲电影完整版在线播放| 91尤物九色在线| 丁香涩涩爱| 爱99干99| 五月天色导航| 欧美激情综合五月色丁香| 性五月激情| 日本婷婷五月天| 久久久99精品免费观看| 亚洲日韩人妻操逼| 99热官网| 日韩欧美婷婷丁| 啪啪黄页网| 伊人丁香五月天丁香在线婷| 国产精品久久久久久久久久免费| 色色色99| 婷婷99狠狠躁天天躁中文| 99精品在线播放| 99热一本久道| 激情综合色网| 另类五月婷婷| 亚洲精品99| www色综合| 五月天另类小说亚洲| 丁香五月综合婷婷| 婷婷五月天资源| 五月丁香色婷婷| 99热全是精品| 综合六月激情婷婷| 亚洲国产精品五月天| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 国产在线网址1| 涩五月婷婷| 播五月开心婷婷欧美综合| 色五月婷婷、老熟女| 91九色视频| 激情婷婷丁香色五月| 九九Av| 狠狠的日| 婷婷精品综合| 玖玖午夜视频| 激情人妻综合| 久久婷综合| 狠狠五月天| 开心五月婷婷激情网| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 五月激情综合性爱| 欧美色97| 色婷婷视频| 五月丁香婷婷伊人日韩| 日本久久高清| 婷婷性爱| 爆乳熟妇一区二区三区爆乳照片| 天天干天天拍| 美女激情综合| 99爱在线观看视频| 亚洲艹网| 97色婷婷成人综合在线观看| www.激情五月天。com| 丁香六月婷婷| 这里只有免费的精品| 五月丁香狠狠爱婷婷综合| 色综合激情| 日本久草福利| 激情99热| 中文字幕成人网站| 五月婷婷之综合激情| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 99热亚洲| 深爱激情丁香| 色播婷婷五月天| 大香蕉综合| 激情综合网激情五月婷婷| 五月天婷婷丁香人人操91| 色九月欧美| 日日噜人人人做人| 婷婷丁香激情| 99久久玖玖| 五月丁香婷婷综合| av网址在线播放| 亚洲AV无码一区二| 天天 青草 制服丝袜 在线| 人人做人人看人人摸| 国产AV一区二区三区日韩| 五月婷婷六月丁香玖玖玫瑰91| 精品婷婷五月天| 国产精品色婷婷99久久精品| 丁香五月天大香蕉啪啪| 五月天天天色| 五月天社区狠狠| 激情影院内射| 五月丁香激情综合六月涩涩爱| 在线18av | 99er6免费视频热播| 丁香网五月网| 夜色综合网| 久久XX日本综合| 激情开心五月天| 思思99久久| 激情伊人五月天| 五月丁香久久久| 99国产小视频2013| 欧美日比视频| 国产操逼网站| 丁香五月婷婷五月基地| www.色五月| 99精品在线观看| 五月丁香婷婷色色| 久色资源网| 新激情五月天色播| 丁香五月天婷婷久久| 婷婷五月天av| 丁香午夜天| 日日爱激情| 人人做天天爱| 五月丁香六月婷婷综合网| 五月天激情综合网站| 综合网色| av久热| 日本波多野结衣视频| 婷婷五月天.com| 思思热精品在线| 玖玖激情五月天| 玖玖热视频| 婷婷五月天大香蕉| 天天插天天插| 四川BBB搡BBB搡多人乱亂| 激情五月激情综合网| 色五月色五天色情网| 99无吗| 69凹凸成人综合网| 99久久99热这里只有精品| 99re熱| 丁香六月亚洲| 第四色婷婷色五月| 五月丁香网中文字幕| 婷婷五月丁香综合激情小说| 色婷婷在线视频久| 丁香五月狠狠综合欧美| 五月开心婷婷| 五月天久久www| 99性爱精品| 久久国产色| 久超超碰| 久久网站免费亚洲| 五月丁香婷婷综合| 色婷綜合网| 99青青草| 久草热视频在线观看| 久操97| 九九视频这里只有精品| 爽tv | 婷婷天天综合| 在线中文字幕免费视频| 日本婷婷| 伊九九三级区| 亚洲亚洲人成综合网络| 五月丁香日本片| 亚洲V国产V欧美V久久久久久| 欧美色骚婷婷五月天| 99久久国产宗和精品1上映| 99热在线免费观看精品| 91热视频| 五月丁香婷婷视频| PORNY九色9l自拍视频成人| 亚洲色另类| 六月丁香综合网| 婷婷性爱五月天丁香网| 99热亚洲精品| 1024国产| 日本黄色一级| 激情图片久久| 欧美婷婷六月丁香综合色| 亚洲成av人影院| 熟女激情五月天 | 亚洲熟女色| 丁香五月花| pom538精品视频| 涩涩涩婷婷| va婷婷在线| 婷婷色五月天色| 裸体做A爰片毛片A片免费| 天天做天天爱天天爽在| 玖玖婷婷五月天毛片| 五月花综合视频| 欧美草久久五月天91| 在线视频你懂得| 婷婷午夜激情| 99热这里在线精品| 天天干天天爽天天操| 精品九九视频| 天天做天天爱| 色五婷婷在线视频| 99热最新精品| 国产乱妇乱子在线播视频播放网站| 99日韩| 久99久99精品免| 开心五月激情| 久婷婷久草| 成人免费黄色短视频| 激情五月天无人视频在线| 色婷婷狠狠18| 能看的av片| 99在线视频精品| 青青草六月丁香| 乱轮A片| 亚洲日韩26uuu| 亚洲人人96@| 色婷婷电影网| 激情五月天在线观看婷婷| 女性自慰系列第五页| 五月丁香综合激情在线观看| 丁香婷婷五月激情综合| 深爱五月激情综合| 丁香狠狠| 99热在线观看这里只有精品| 色婷婷综合视频| 亚洲avjiujiur91| 激情五月色播五月| 婷婷色情 | 九九成年视频| 色婷婷久久综合| 五月情丁香色| 色五月婷婷天堂| 天天色综网| 激情六月婷婷| 色欧美一级| 老师高潮流白浆喷水的A片| 亚洲成人综合网在线免费观看| 影音先锋91男人资源在线播放| 色蜜婷婷| 青青草色在线视频观看| 婷婷基地成人五月天| 婷婷五月天激情视频| 色激情五月| 婷婷五月大香蕉| 五月丁香啪| 久久久久久久久月丁| 久9综合| 婷婷第一页| 狼友视频在线观看18| 99热 免费| 丁香欧美| 婷婷中文无码| www.婷婷五月天| 欧美性爱丁香五月| 色99视| 亚洲激情AV| 亚洲婷婷丁香五月视频| 婷婷色婷婷| 五月天色色网站| 五月天婷婷青青草| 国产精品日日躁夜夜躁| 婷婷色系婷色| 人妻久久久久久久久久| 亚洲AV网址| 极品人妻VIDEOSSS人妻| 婷婷五月18永久免费网站| 婷婷五月av| 色综色五月天婷婷| 色停停香蕉视频| 国产在线aaa片一区二区99| 久热婷婷在线视频| 青青热久久综合| 99精品视频免费| 超碰狠狠操| a级毛片一区二区免费视频| 日韩性视频| 五月婷婷婷婷婷| 超碰人人操| 国产亚洲精品AAAAAAA片| 3DAV亚洲香蕉久久 一区二区| 亚洲美女高潮久久久久久69| 丁香色五月婷婷91桃色| 久久3p| 青青久在线视频免费观看| 非洲一级AV| 丁香五月激情视频在线| 日韩成人AV在线| 九九爱激情| 99九九在线视频| 天天日日人| 色五月五月天色婷婷色五月| 激情内射人妻1区2区3区| 久久久.COM| AV79| 狠狠色丁香| 丁香五月激情网| 午夜无码精品色综合久久| 超碰人人艹| 97干资源在线观看| www.五月激情.com| 欧美99热| ww超碰在线| 日本五月婷婷久久久六月丁香| 精品久久人妻| 五月丁香婷婷钟和色图| 久久99网站| 五月激情婷婷国产精品久久久久久| 成AV人片一区二区三区久久| 激情综合色图| 色区域网站视频| 67194国产| 99玖玖人人| 99免费视频精品| 亚洲久久激情| 生活片五区| 日本人人xxx| 亚洲成人AV电影在线| 色五月婷婷中文字幕在线观看 | 五月天开心网| 一区二区传媒视频| 襙逼网| 99久久9| 日韩成人av在线| 狠狠狠狠狠干| 久热99视频在线观看| 丁香六月av| 99精品在线观看| 九九精品热播| 五月天六月色| 国产欧美日韩综合精品一区二区| 91久久综合亚洲鲁鲁五月天| 996er热| 97超级碰碰碰久久久| 五月香蕉综合| 高清无码入口| 色五月激情综合网| 91色噜噜狠狠狠狠色综合| 另类丁香五月天区图| 夜夜做天天爽| 欧美叉叉叉BBB网站| 丁香丁婷五月激情| 久久一热| 啪啪黄页网| 色欲午夜无码久久久久久张津瑜| 开心久久网婷婷| 色婷婷影音| 亚洲乱码日产精品BD| 五月丁香久久综合| 另类专区在线观看| 五月花综合| 91天天操天天干天天射| 99ri国产| WWW,五月| 久久精品性爱视频,| 婷婷综合精品| 午夜成人综合| 激情久久丁香| 色九月欧美| 欧洲色| 六月婷婷天堂| 国产26uuu| 丁香五月区| 久久婷婷人人| 激情综合五月天| 色综合色五月| 中文字幕成人| 人妻久久做| 五月香婷婷| VA国产在线综合网站| 99热这里只有精品9| 色色综合日韩| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 日逼免费视频| 五月停性愛| 婷婷五月天狠狠| 卡视频1区2区| 色播五月天激情| 久久3p| 久久久www| 色色综合无码| 国产欧美性成人精品午夜| 色婷婷六月开心中文字| 色婷婷婷婷| 蜜臀99久久精品久久久久| 婷婷五月综合网| 色播五月天婷婷老师| 粉嫩av懂色av蜜臀av熟妇| 26uuu青青| 97精品人人A片免费看| 色色色色色色色色色999| 九九无码AV| 五月婷婷人妻| 婷婷综合色网| 天天操天天操天天操天天操天天操| 一级片sese片.COM| 九九热在线99| 五月激激网w'w'w| 亚洲成人av中文| 能看的av网站| 激情网站五月| 午夜天天精品视频| 综合激情站| 中文字幕不卡+婷婷五月| 久99| 日日操日日爽| 視频福利乱色| 狠狠综合网| www久久五月com| 性爱激情五月| 五月综合丁香婷婷| 色激情综合狠狠婷婷| 99久久超级| 婷婷在线播放| 色五月xxx| 婷婷五月综合丁香久久| 香蕉狠狠爱视频| 久久狠色噜噜狠狠狠狠97| 婷婷六月丁香五月图区| 91干在线| 激情五月天之六月婷婷| 99啪啪骑| 亚洲av综合网| 超碰精品手机在线| 日韩在线一级| 99精品成人无码A片观看金桔| 五月婷婷我| 五月天丁香网站| 欧美性猛交 XXXX 乱大交| 久久99免费视频| 久久99视频| 日日操夜夜操不卡| 婷婷久久网| 狠狠狠人妻| 国产日韩av片| 怡红院AV亚洲一区二区三区H | 丁香狠狠色婷婷| 久草婷婷在线| 一区二区三区XXXXXX| 五月天啪啪视频| 婷婷丁香社区网| 九九热精品视频九九| 色综合天天综合成人网| www,婷婷,com| 亚洲色热| 丁香婷婷六月天| Av九九| 国产精产国品一二三在观看| 国产色视频网站2| 久久五月丁香婷婷| 丁香五月天BBw| 97婷婷丁香| 天天干,夜夜爽| 午夜日韩久久久网站| 丁香六月综合激情| 欧美日韩AAAA| 亚洲精品电影| 国产成人综合电影| 99热久久日本| 免费视频舔| 久久婷色| Xx色综合| 超碰亚洲天堂| va中文资源在线观看| 99热这里只有国产精品| 色香欲综合| 色五月色五天色情网| 欧美精品99久久久| 色五月丁香婷婷在线观看| 狠狠操天天操| 丁香激情网| 四虎99热在线观看网站| 亚洲中文字幕网| 久操97| 婷婷五月天少妇| 亚洲AV成人片无码网站| 婷婷五月天小说| 99热资源在线| 激情五月www| 激情丁香五月| AV在线资源| 丁香桃色网| 97在线观视频免费观看| 久婷婷五月丁香在线观看| 亚洲黄色精品| www久久久久久| 五月天激情小说婷婷基地| 成人在线二区| 亚洲综合网激情小说| 色色色五月婷| 99精品久久久久久| 激情五月婷婷视频一区二区三区| 色月丁| 色婷插| 五月婷丁香| 婷婷五月天美女21p| 人人操超碰| 五月丁香无码视频| 久久九九网| 99色 色| 五月噜噜噜色综合| 久久久婷婷婷| www.91操| 天堂色婷婷| 另类亚洲电影| 婷婷五月精品中文字幕| 天天综合精品| 亚洲va日| 丰满少妇猛烈A片免费看观看 | 91久久久久久| 婷婷六月偷拍| 欧美搡BBBBB摔BBBBB| 99色| 无码色色色| 91热网址| 亚洲婷婷免费| 天天干夜夜想| 日日操,夜夜爽| 五月天成人网婷婷| 九月丁香| 午夜丁香婷婷| 久久99综合| 啊V视频在线观看| 久婷| 第四色激情网| 亚洲免费看片| 99re66热这里只有精品| 色墦五月丁香| 五月天婷婷激情网| 9 7总站超级碰免费视频| 亚洲亚洲人成综合网络| 色五月情| 国产日韩欧美| 狠狠CAO日日穞夜夜穞AV| 青青久在线视频免费观看| www.激情| 婷婷五月综合欧美在线播放| 9l视频自拍九色9l黑人| 99视频这里只有久久精品| 99视频极品在线香蕉| 欧美大香蕉视频| 97人人干人人操| www.婷婷| 狠狠色狠狠干| 99ri视频在线播放| 婷婷欧美激情综合| 婷婷五月综激情| 玖玖爱伊人| 久久电影4399| 五月综合色| 九九热九九| 国产五月天激情小说| 狠狠色激情综合| 天天综合社区| 天天做好综合色| 操日视频| 99热这里只有精品10| 99久久99热| 婷婷婷五月天最新综合你懂的| 色色日韩无码| 丁香六月色婷婷| 丁香五月天在线| 青青草原伊人网| 亚洲色夜| 色99在线| 久久综合99综合| www.91AV.com| 玖玖五月| 色五月综合网| 伊人超碰| 丁香色五月天| www.射伊蕉婷婷| 99毛片| 夜夜爽天天干| 久久久GOGO无码啪啪艺术| 久久婷婷五月丁香蜜桃网| 婷婷色情五月| 欧美激情综合| 玖操97| 天天日天天干天天天| 日韩色情亚洲五月天婷婷| 97碰免费视频在线| 久热精品免费视频4| AV在线免费网站| 五月婷婷婷婷网| 五月婷丁香久久久| 手机旧版看人妻1025| www.一起草av| 丁香五月六月婷婷综合| 天天噜| 五月丁香六月成人| 激情五月激情综合网| 色婷婷网大全在线| 久久图色4| 激情视频婷婷五月花| 色五月视频无码播放| 操一操干一干| 99久久这里只有精品| 九月丁香婷婷网| 久色激情| 桃色伊人在线| 国产另类综合| 大香蕉五月丁香| 美国少妇性做爰| 亚洲啪啪网| 日本在线免费中文com.| www.五月天婷婷| 亚洲综合五月天婷婷丁香| 婷婷综合天堂| 日本一级一级一级一级| 99爱无码| 久草五月天| 久婷婷视平| 67194成I人在线观看线路1| 深爱激情网噜噜色| 91综合国免费久入| 色狠狠综合网| 九月丁香八月婷婷加勒比| 狠狠色噜噜狠狠狠狠狠色综合久久| 大香蕉久久草| 激情涩涩网| 亚洲亚洲永久无码777777| 伊人五月综合网| 五月丁香六月综合图| 色噜噜五月丁香婷婷| 国产夫妻操逼内射视频| 色播五月综合网| 欧洲亚洲精品| www五月| 久久久久激情| 色色国产| 91色在线/日韩| 久久综合激情| 五月天com| 伊人久久大香线蕉av最新| 亚洲无码成人| 亚洲国产精品SUV| 99综合视频| 狠狠干狠狠操狠狠爱| 色狠狠999综合网| 思思精品热在线| 综合色色网| 九色地址91视频| 在线色五月婷婷| 99超级碰免费视频| 色色色五月| 婷婷丁香五另类网站| 久久新地址| 亚洲无码九九九| 天天狠狠色噜噜| 深爱激情五月网| 97操碰在线视频| 丁香五月色情| 婷婷激情四射| 丁香五月综合婷婷| 色色色com| 熟妇人妻中文字幕无码老熟妇| 色五月婷婷自拍| 九九精品视频在线6| 狠狠五月激情丁香六月| 成人AV片播放| 夜夜天天久久婷婷| 丁香五月在线观看| 五月天色欧美| 婷婷六月激情丁香| 色五月激情综合网| www九九| 99久久玖玖| 曰韩五月丁香色婷婷无码| 婷婷五月天改成什么了| 91狠狠色丁香婷婷综合久久| 狠狠色噜噜狠狠| 亚洲99热| 99热有精品在线观看| 久热这里只精品| 五月天播播中文字幕| 中文字幕成人版| 五月婷婷六月激情在线| 丁香五月人妻| 天天色播| 99热中国| 97人妻碰碰中文无码久热丝袜| 婷婷免费视频| 99热这是里只有精品| 噜啊噜在线| www.丁香五月| 五月婷激情| 色色色五月| 99区视频| 亚洲超碰在线| 久狠日av| 久久91久久精品久久| 色丁香综合影院| 色九九综合| 九月婷婷在线视频| 五月综合婷婷开心网| 超碰AV在线| 日本三日本三级少妇三级66| 日韩六十路91性交电影| 婷婷激情六月视频| 26uuu成人网| 丁香五月婷婷六月婷| 大香蕉520| 丁香五月婷婷天堂大香蕉| 99国产小视频| 疯狂做受XXXX高潮A片| 99这里有精品久久97| 激情六月综合| 天堂呦 呦百度搜索-百度搜索| 在线视频另类| 色色综合激情| 中文字幕欧美精品久久| 九九视频在线免费视频| 婷婷五月激情综合| 欧美毛卡| 99久久玖玖| 婷婷午夜| 中文字幕AV网址| 这里只有精品9| 超碰国产在线播放| 五月婷婷就去色| 五月婷中文字幕| 天天色·欧美| 丁香五月激情综合| 五月开心深深爱激情综合| 日碰日| 五月婷婷伊人在线| www.婷婷五月天,com| www.久热| 91要啪| 国产无套精品一区二区| 激情丁香久久| 五月丁香啪啪| 丁香五月婷婷激情蜜桃| 性日本精品| 大香蕉网 久久| 日日爽天天| 五月刺激丁香月综合| 丁香六月婷| 中文字幕黄色电影网址| 超碰猛烈的性猛交| 99re思思| 国内裸舞二区| 黑人巨粗进入警花疼哭A片| 开心五月丁香婷婷| 月丁香久久久| 激情五月色婷婷| 丁香5月激情网| A片试看120分钟做受视频红杏| 青青福利网| 久久久91精品| 国产精品色色| 婷婷九月色| 午夜69成人做爰视频| 丁香五月天激情小说| 99ri国产精品| 九九精品自拍| 五月丁香激情五月天| 丁香五月婷婷色综合| 日韩AAAAA| 另类图片色五月| 超碰v| 99热99色| 97色97干| 天天天天干| 色五月影视| 综合AV在线| 色综合婷婷| 激情婷婷五月基地| 天天综合五月| 香蕉综合网| 五月天成人在线| 国产综合81p| 婷婷五月天在线观看| 六月丁香激情婷婷| 9l视频自拍九色9l视频在线观看| 国产精产国品一二三在观看| 综合一本道| 色呦呦免费观看| 亚洲欧洲中文日韩久久AV乱码| 99热这里只有精品免费| 久热只有这里有精品| 99综合成人视频在线观看| 日韩人妻操逼视频| 玖玖色综合网| se色婷婷视频| 一区二区免费看| 婷婷深爱色五月| 综合色婷婷| 九九av| 无套内射极品大美女| 丁香五月在线自慰| 大伊香蕉精品视频在线| 五月婷激情| 五月丁香激情五月天| 97人妻碰碰碰碰碰久久久久久| 丁香五月情| 视频这里只有精品16| 婷婷色五月开心五月| 久草热在线视频| 天天夜夜爽| 婷婷精品在线| 99@久久@99精品视频| www99热| 五月天综合激情网| 激情深愛五月視頻| 亚洲视频另类| 99在线精品免费视频| 深爱激情五月婷婷| 天天综合亚洲综合网天天αⅴ| 99热超碰人| 久久婷婷五月综合| 狠狠操狠狠干综合| 99日本精品视频热| 久久五月婷综合网| 久青草影院| 久久久久网站| 丁香五月a| 久久综合热17c| 丁香五月AV| 久久久婷丁香五月| 婷婷导航| 亚洲天天| 人妻久久做| 婷婷欧美激情综合| 性爱网五月婷婷| 97久久草草超级碰碰碰| 五月丁香六月婷婷视频| 婷婷五月天天天日日夜夜| 久碰婷婷视频| 色域五月丁香| 看片视频在线免费日产在线看| 五月婷婷激情| www.操逼comm| 99,色| 久久99精品日本| 激情文学综合婷婷五月天丁香花| 性天堂久久| 婷婷六月激情在线视频| 激情文学天天| 综合色色网| 五月婷婷综合性爱噜噜| 九九精品免费视频99| 嫩BBB搡BBBB榛BBBB| 国产无套精品一区二区| 囯产精品久久欠久久久久久九大| 日日色五月天| 丁香婷婷六月激情文学| 丁香五月激情网| 夫妇交换刺激做爰| 婷婷丁香18| 玖玖色综合网| 激情综合五月| 五月天成人小说网| 可以直接看的av网站| 欧亚洲在线高清视频| 丁香五月开心亚洲| 青吴乐视频| 97在线观视频免费观看 | 99热这里只有的精品视| 色网站99| 色六月天天激情综合网| 婷婷色九月| av激情在线| 超碰不卡在线| 日韩精品电影| 免费无码毛片一区二区A片 | 五月丁香中文婷婷中文| 日本三级第一页| 国产精品日本一区二区在线播放| 99成人在线观看| 91精品久久久久久综合五月天| 亚洲丁香婷婷丁香五月天激情| 亚洲最大五月六月丁香婷婷| www,五月丁,com| 色婷婷综合五月| 日日夜夜青青草|