欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

SFT監(jiān)督微調(diào)實戰(zhàn):從數(shù)據(jù)構(gòu)建到LoRA訓(xùn)練踩坑全解

SFT監(jiān)督微調(diào)實戰(zhàn):從數(shù)據(jù)構(gòu)建到LoRA訓(xùn)練踩坑全解 在本地部署過幾個開源基座模型之后很多程序員的感受其實高度一致模型確實能跑起來但回答總不如官方Demo里那么“聽話”。你問它東它給你續(xù)寫西你要它按JSON格式輸出它偏要自由發(fā)揮加一段解釋。這個差距十有八九出在監(jiān)督微調(diào)SFT這一環(huán)上。SFT全稱是Supervised Fine-Tuning簡單說就是拿一批人工標注好的“指令-回答”數(shù)據(jù)對預(yù)訓(xùn)練基座模型做有監(jiān)督的再訓(xùn)練讓模型學(xué)會人類期望的交互方式。這篇內(nèi)容我會把SFT的原理、數(shù)據(jù)構(gòu)造、超參數(shù)、訓(xùn)練配置、實操流程和踩坑記錄一次性講透。它不是泛泛的科普而是對著能做事的實踐總結(jié)寫下來之前已經(jīng)在多臺機器上反復(fù)驗證過建議直接存下來備查。1. 先搞清楚SFT在整條鏈路里的位置1.1 基座模型只會“續(xù)寫”不會“干活”很多人第一次玩開源基座模型時都會有這個困惑模型明明很大常識也很豐富為什么跟它對話就特別別扭這是因為基座模型在預(yù)訓(xùn)練階段的唯一目標函數(shù)是“下一個詞預(yù)測”。它學(xué)到的本質(zhì)是詞與詞之間的統(tǒng)計關(guān)聯(lián)你輸入一段文本它就按照統(tǒng)計規(guī)律往后接最可能的詞而不是“理解你的問題然后給出答案”。拿生活化的例子來說基座模型像一個博覽群書但沒參加過考試的學(xué)生。你問他一道題他憑記憶和語感展開長篇大論卻不知道答案應(yīng)該是一句話、一段代碼還是一個JSON對象。他不知道考試有固定格式、有標準答案、有答題邊界。這些“約定俗成”的東西預(yù)訓(xùn)練階段沒有專門教過只能靠SFT來補課。這種能力差距在實際部署中非常致命。比如你打算做一個代碼助手希望模型根據(jù)需求生成Python腳本基座模型可能會輸出一大段自然語言解釋再夾幾行偽代碼甚至把問題換個說法又重復(fù)一遍。而經(jīng)過SFT的模型才知道用戶問代碼時應(yīng)該先給代碼塊再給簡要說明。所以SFT解決的是“形式對齊”和“指令跟隨”問題不是知識注入問題。1.2 SFT、預(yù)訓(xùn)練和RLHF的分工關(guān)系大模型從零到可用的鏈路一般可以拆成三個階段預(yù)訓(xùn)練、SFT、偏好對齊常見手段是RLHF/DPO。這三者分工完全不同。預(yù)訓(xùn)練負責(zé)往里灌知識讓模型具備語言能力、事實記憶和推理基礎(chǔ)這一步成本最高通常需要幾千億token和成百上千張顯卡。SFT負責(zé)教模型“怎么把知識組織成用戶想要的樣子”用幾千到幾萬條高質(zhì)量的指令數(shù)據(jù)就能完成任務(wù)。偏好對齊則更進一步它解決的是“模型知道答案是什么但不一定知道哪個答案更符合人類品味”的問題。SFT給的是標準答案就像教科書上的參考答案偏好對齊給的是一堆答案排序就像閱卷老師告訴你“這個回答比那個更流暢、更有用”。SFT是基礎(chǔ)沒有好的SFT模型偏好對齊做起來會非常吃力因為模型連基本的指令格式都沒學(xué)好。我見過不少團隊為了省事跳過SFT直接嘗試用偏好優(yōu)化方法調(diào)基座模型結(jié)果模型學(xué)會了說漂亮話但依然不會嚴格按要求辦事。原因很簡單排序?qū)W習(xí)只能調(diào)整回答風(fēng)格的傾向無法補上“格式不對齊就是聽不懂人話”這個根本短板。SFT是讓模型“聽得懂人話”的最低成本方案。1.3 為什么SFT數(shù)據(jù)不多卻能改變模型行為一個值得思考的問題預(yù)訓(xùn)練看了幾千億token為什么SFT只用幾萬條數(shù)據(jù)就能明顯改變模型行為這里的關(guān)鍵在于SFT改變的不是知識量而是“概率分布的輸出模式”。模型在預(yù)訓(xùn)練階段其實已經(jīng)見過大量問答類文本它具備回答問題的潛力只是不知道怎么判斷“當前這是在問我問題我應(yīng)該認真回答而不是繼續(xù)編故事”。SFT相當于給模型做了行為示范看到指令停止發(fā)散按格式輸出。因為預(yù)訓(xùn)練已經(jīng)給了它足夠的語言能力和知識儲備SFT只需要“撥動開關(guān)”把回答模式從續(xù)寫切換到指令跟隨。這也是為什么SFT數(shù)據(jù)不需要海量但必須高質(zhì)量、格式統(tǒng)一、覆蓋充分。理解了這一點就不會盲目堆數(shù)據(jù)量了。2. SFT數(shù)據(jù)工程成敗的關(guān)鍵不在模型而在數(shù)據(jù)2.1 數(shù)據(jù)長什么樣三種主流格式必須掌握SFT數(shù)據(jù)的組織方式目前大體上有三種主流格式。第一種是“instruction/input/output”三段式適合任務(wù)型微調(diào)一條樣本就是一個獨立問題可以附帶輸入內(nèi)容。第二種是messages對話格式按角色區(qū)分user和assistant消息適合訓(xùn)練多輪對話能力。第三種是ShareGPT風(fēng)格用conversations數(shù)組保存完整對話歷史很多開源訓(xùn)練框架默認用這種格式。我在實際項目中習(xí)慣把數(shù)據(jù)統(tǒng)一轉(zhuǎn)成對話格式因為即便單輪任務(wù)也可以看成一輪對話。統(tǒng)一格式的好處是方便后續(xù)增加多輪樣本模型在推理時也容易保持上下文連貫。這里有個新手經(jīng)常踩的坑不同格式混在一起喂給模型模型會學(xué)到混亂的交互預(yù)期。今天學(xué)的是“首輪直接答”明天學(xué)的是“設(shè)身處地寒暄兩句”最后表現(xiàn)就是時靈時不靈。舉個例子一條標準的對話格式樣本大概長這樣{ conversations: [ {role: system, content: 你是一個專業(yè)的Python開發(fā)助手。}, {role: user, content: 寫一個函數(shù)輸入一個整數(shù)列表返回所有偶數(shù)的平方。要求用列表推導(dǎo)式。}, {role: assistant, content: python\ndef square_evens(nums):\n return [x*x for x in nums if x % 2 0]\n\n\n這個實現(xiàn)用列表推導(dǎo)式一次完成過濾和映射兩個操作時間復(fù)雜度為O(n)。} ] }這個格式里system字段很重要它定義了模型的人設(shè)和行為約束。很多項目為了省事不寫system模型也能跑但泛化性和穩(wěn)定性會差很多。我通常會讓每條樣本都帶system并且準備一個默認的system兜底避免推理時傳空值導(dǎo)致模板錯亂。2.2 數(shù)據(jù)從哪來開源數(shù)據(jù)集、日志清洗與模型構(gòu)造SFT數(shù)據(jù)來源大致有三條路。第一條是直接用社區(qū)已有的開源SFT數(shù)據(jù)集適合快速驗證流程。但這類數(shù)據(jù)集往往質(zhì)量參差不齊可能有回答錯誤、格式混亂、重復(fù)過高等問題直接拿來訓(xùn)練模型很容易學(xué)到臟模式。第二條是從自己業(yè)務(wù)里撈真實數(shù)據(jù)這是最推薦的方式。比如你做客服機器人就把歷史工單里優(yōu)質(zhì)的“用戶問題-客服回答”對挑出來清洗。真實業(yè)務(wù)數(shù)據(jù)與目標場景高度匹配微調(diào)效果通常是最好的。第三條是用強模型構(gòu)造數(shù)據(jù)思路是用能力更強的模型批量生成問答對再人工或者自動篩選。這種方式能快速擴充數(shù)據(jù)規(guī)模但有個隱患強模型自己可能也會犯錯錯誤會原樣傳給學(xué)生模型。我見過有團隊用這種方式一天造了幾萬條數(shù)據(jù)訓(xùn)完模型回答流暢但事實錯誤率很高最后排查才發(fā)現(xiàn)數(shù)據(jù)源頭就錯了。所以用強模型造數(shù)據(jù)抽樣審核環(huán)節(jié)必須跟上。還有一個值得注意的點數(shù)據(jù)構(gòu)造時要考慮分布。如果你做的助手要覆蓋技術(shù)問答、閑聊、拒答三類場景數(shù)據(jù)比例就要和實際使用場景接近。我見過有項目把閑聊數(shù)據(jù)堆到80%結(jié)果模型變得很油滑正事不愛干了。數(shù)據(jù)分布偏了就改不回來重訓(xùn)成本非常昂貴。2.3 清洗與質(zhì)量控制這些細節(jié)決定微調(diào)上限數(shù)據(jù)清洗是SFT里最枯燥但最重要的一環(huán)。我一般按下面的順序處理先做全局去重重復(fù)樣本會讓模型對特定句式過擬合訓(xùn)練時看起來loss很低實際泛化很差。然后做長度過濾過短的樣本沒有學(xué)習(xí)價值過長的樣本會拖慢訓(xùn)練還要處理超過max length的截斷問題。接著做格式標準化統(tǒng)一標點符號、統(tǒng)一換行、統(tǒng)一代碼塊的標記語言讓模型學(xué)到干凈的模式。更關(guān)鍵的是內(nèi)容校驗。如果數(shù)據(jù)里有明顯的錯誤答案模型會當作正確答案來學(xué)。這塊我建議人力抽檢加規(guī)則過濾雙管齊下。比如代碼類數(shù)據(jù)可以嘗試直接執(zhí)行樣本來驗證正確性知識類數(shù)據(jù)可以用關(guān)鍵詞匹配或交叉驗證來做粗篩。用腳本刪掉明顯答非所問的樣本比多訓(xùn)幾百條數(shù)據(jù)有用得多。另外提醒一下編碼問題中文數(shù)據(jù)最容易在清洗時踩這個坑。統(tǒng)一轉(zhuǎn)成UTF-8去掉不可見字符和亂七八糟的空格檢查有沒有打斷JSON解析的轉(zhuǎn)義符。這些小事在幾百條數(shù)據(jù)時看不出問題數(shù)據(jù)量到幾萬條時任何一個臟字符都可能讓訓(xùn)練中斷或者模型輸出亂碼。2.4 用多少數(shù)據(jù)最合適不是多多益善SFT數(shù)據(jù)量沒有一個固定標準但可以給一個經(jīng)驗區(qū)間場景單一的任務(wù)型微調(diào)幾千條高質(zhì)量樣本就夠通用助手的對話能力微調(diào)一到三萬條比較合適再往上增加數(shù)據(jù)收益會明顯遞減。原因前面說過SFT主要是行為對齊模型不需要通過SFT學(xué)海量新知識它只需要足夠多的示范來理解你的指令格式和輸出偏好。我實操下來的體會是數(shù)據(jù)質(zhì)量每提升一檔對最終效果的影響遠大于數(shù)據(jù)量翻倍。同樣一萬條數(shù)據(jù)粗洗和精洗之后的模型效果完全不是一個級別。寧可只有五千條高質(zhì)量數(shù)據(jù)也別硬湊兩萬條垃圾數(shù)據(jù)。額外的數(shù)據(jù)有時反而會引入噪聲讓模型在部分場景下的表現(xiàn)倒退。還有一個容易被忽略的事情驗證集的劃分。SFT不是用完全部數(shù)據(jù)就萬事大吉要留出一部分樣本做驗證。我在每次訓(xùn)練前都固定切出5%-10%的數(shù)據(jù)做驗證集訓(xùn)練過程中持續(xù)觀察驗證集loss。如果訓(xùn)練集loss在降驗證集loss在漲那就說明過擬合了及時停掉可以省下大量時間。3. 訓(xùn)練配置與超參數(shù)把SFT跑穩(wěn)的核心3.1 全參微調(diào)還是LoRA看條件選方案SFT的實現(xiàn)方式主要分成全參微調(diào)和參數(shù)高效微調(diào)兩大類LoRA是后者的典型代表。全參微調(diào)是讓基座模型的全部參數(shù)都參與更新效果上限最高但顯存和算力要求也最狠。以7B模型為例全參微調(diào)用AdamW優(yōu)化器動輒需要60GB以上的顯存單張消費級顯卡基本做不了。LoRA則是凍結(jié)原始權(quán)重只訓(xùn)練注入的低秩矩陣顯存占用大幅下降7B模型的LoRA訓(xùn)練在24GB顯存下就能跑起來。從效果角度說如果數(shù)據(jù)量足夠大、任務(wù)足夠復(fù)雜全參微調(diào)確實能學(xué)到更多細微變化。但對于大多數(shù)業(yè)務(wù)場景LoRA的效果已經(jīng)非常接近全參微調(diào)而且資源消耗少一個量級。我個人的選擇標準是24GB以下顯存無腦用LoRA能上全參微調(diào)的資源優(yōu)先把多余算力投給數(shù)據(jù)清洗和評估而不是一味追求全參更新。LoRA還有一個額外優(yōu)勢就是多個adapter可以共用一個基座模型不同任務(wù)切換非常方便。不過LoRA有個小坑如果基座模型本身難以通過低秩更新達到理想效果比如領(lǐng)域知識嚴重不足LoRA的表現(xiàn)就會比全參微調(diào)差一截。這種情況你得先評估是“不會聽指令”還是“不懂這個領(lǐng)域”前者LoRA能解決后者可能需要考慮增量預(yù)訓(xùn)練或者換更強的基座。3.2 關(guān)鍵超參數(shù)選擇與背后的邏輯SFT常用的超參數(shù)并不復(fù)雜但每個參數(shù)的取值范圍和背后邏輯一定要清楚。學(xué)習(xí)率是第一個要小心設(shè)置的參數(shù)。全參微調(diào)一般用1e-5到2e-5LoRA則可以用到1e-4到2e-4。因為LoRA只更新很少的參數(shù)學(xué)習(xí)率可以步子大一點。如果學(xué)習(xí)率設(shè)得太高模型會快速忘掉預(yù)訓(xùn)練學(xué)到的知識表現(xiàn)出來就是loss降低很快但輸出開始胡言亂語。訓(xùn)練輪數(shù)同樣需要克制。高質(zhì)量SFT數(shù)據(jù)集2到4個epoch是比較穩(wěn)的范圍。數(shù)據(jù)量很大時甚至1個epoch就夠了。這里有個常見的認知誤區(qū)多訓(xùn)幾輪不一定是好事。模型反復(fù)看過同一批樣本后會對訓(xùn)練集的表達方式過度擬合導(dǎo)致泛化能力下降。我在訓(xùn)練時會同時盯著訓(xùn)練loss和驗證loss一旦驗證loss開始回升就立即停止通常能比固定epoch訓(xùn)練得到更好的結(jié)果。批大小和梯度累積對SFT也很關(guān)鍵。因為顯存限制單卡一般只能放很小batch但batch太小會導(dǎo)致梯度噪聲大、訓(xùn)練不穩(wěn)定。解決辦法是設(shè)置一個較小的per_device_batch_size然后用梯度累積湊到等效batch size。比如per_device_batch_size1gradient_accumulation_steps16等效batch size就是16。我習(xí)慣把等效batch size控制在32到64之間既穩(wěn)定又不會太慢。權(quán)重衰減一般設(shè)為0.01warmup ratio設(shè)0.03左右這些是經(jīng)驗值大多數(shù)場景直接照用不會出錯。學(xué)習(xí)率調(diào)度器推薦cosine它在訓(xùn)練末期能把學(xué)習(xí)率平滑降到很低有助于收斂到更好的局部最優(yōu)。3.3 LoRA的rank、alpha和target_modules怎么定LoRA的rank是低秩矩陣的維度直接影響可訓(xùn)練參數(shù)量和表達能力。常見的實踐值是8、16、32。rank太小模型學(xué)不到足夠復(fù)雜的映射rank太大訓(xùn)練參數(shù)變多但收益不一定成比例提升。我通常先用16跑一個小實驗觀察效果后再決定要不要加大。alpha是縮放系數(shù)一般設(shè)置為rank的兩倍比如rank16時alpha32。這個比例在大多數(shù)情況下表現(xiàn)良好。target_modules的選擇是個容易被忽視的細節(jié)。在Transformer結(jié)構(gòu)里L(fēng)oRA可以注入到自注意力層的q/k/v/o投影矩陣也可以注入到前饋網(wǎng)絡(luò)的gate/up/down投影。我測試下來同時注入注意力模塊和前饋模塊效果比只注入注意力要好尤其在做中文指令跟隨任務(wù)時。原因是前饋網(wǎng)絡(luò)承擔(dān)了大量知識記憶的功能通過低秩更新微調(diào)這部分能讓模型更快適應(yīng)訓(xùn)練數(shù)據(jù)里出現(xiàn)的表達習(xí)慣。還有兩個細節(jié)值得提。第一bias參數(shù)通常設(shè)成not update保持和基座模型一致減少訓(xùn)練參數(shù)總量。第二lora_dropout建議設(shè)置0.05到0.1防止過擬合但如果驗證集表現(xiàn)正常dropout設(shè)小一點也能提升收斂速度這個可以微調(diào)。3.4 顯存與訓(xùn)練穩(wěn)定性配置跑SFT之前先想清楚兩個問題用不用梯度檢查點用不用混合精度。梯度檢查點是個顯存換速度的手段開啟后顯存占用可以降低大約30%-40%代價是訓(xùn)練速度變慢。對7B模型加LoRA的場景我建議開啟它因為顯存往往比時間更緊張?;旌暇确矫嬗ミ_較新的卡建議直接用bf16它的動態(tài)范圍和穩(wěn)定性都優(yōu)于fp16不容易出現(xiàn)loss溢出為NaN的問題。老顯卡只支持fp16時記得加上loss scale策略并持續(xù)監(jiān)控訓(xùn)練日志。序列長度max seq length是另一個需要仔細權(quán)衡的配置。它決定模型能看到多長的上下文。設(shè)得太短長對話會被截斷模型學(xué)不到完整的依賴關(guān)系設(shè)得太長顯存占用隨長度線性增長訓(xùn)練速度也會下降。我建議先統(tǒng)計一下訓(xùn)練數(shù)據(jù)中最長的樣本長度然后設(shè)定為覆蓋80%-90%樣本的長度值剩下的長樣本做截斷處理這樣性價比最高。還有兩個工程層面的配置容易出問題。一個是保存間隔建議同時按“步數(shù)”和“時間”兩個維度設(shè)置長時間訓(xùn)練時至少每小時能看到一個可用的checkpoint避免意外中斷后白白浪費時間。另一個是日志打印頻率打開日志打印每10步打一次loss監(jiān)控文本生成。因為有時候loss很漂亮實際生成的文本已經(jīng)完全崩壞只看數(shù)字發(fā)現(xiàn)不了問題。4. 完整實操從原始問答到微調(diào)上線4.1 環(huán)境準備與最低硬件要求實操第一步是準備環(huán)境。我的建議是先建一個獨立的Python環(huán)境避免依賴沖突。核心依賴就是深度學(xué)習(xí)框架、模型加載庫、數(shù)據(jù)集庫和LoRA庫這幾樣就能跑通整個流程。GPU方面如果你想微調(diào)7B量級的開源基座模型24GB顯存是甜點位用LoRA加梯度檢查點可以比較舒服地跑起來。如果顯存只有16GB可以通過4bit量化加載基座模型仍然能完成LoRA訓(xùn)練只是量化后訓(xùn)練精度略有損失。這里有個建議第一次跑通全流程時不要直接上大模型。先用幾億參數(shù)量級的小模型跑通數(shù)據(jù)加載、訓(xùn)練、保存、推理的閉環(huán)再換成目標模型。小模型調(diào)試成本低跑完一個epoch只需幾分鐘任何代碼問題都能快速暴露。我每次接到新任務(wù)都先用小模型驗證數(shù)據(jù)和代碼確認無誤后再換大模型訓(xùn)練這套流程幫我省下了大量調(diào)試時間?;P瓦x擇的核心原則是中英文、代碼、數(shù)學(xué)能力匹配你的目標場景且盡量選擇指令跟隨能力已經(jīng)不錯的版本。如果底子太差SFT要補的課太多效果必然受限。4.2 數(shù)據(jù)格式轉(zhuǎn)換腳本不管原始數(shù)據(jù)是Excel、JSON還是數(shù)據(jù)庫導(dǎo)出的CSV第一步都要統(tǒng)一轉(zhuǎn)成訓(xùn)練框架能讀入的格式。下面這個腳本可以把簡單的“問題-答案”列表轉(zhuǎn)成對話格式的JSONL文件import json # 原始數(shù)據(jù)假設(shè)每條是 {question: ..., answer: ...} raw_data [ { question: 什么是列表推導(dǎo)式, answer: 列表推導(dǎo)式是Python中一種簡潔地創(chuàng)建列表的語法格式為 [表達式 for 元素 in 可迭代對象 if 條件]。 }, # 更多樣本... ] SYSTEM_PROMPT 你是一個專業(yè)的中文技術(shù)助手請用簡潔準確的語言回答用戶的問題。 def convert_to_sharegpt(item): return { conversations: [ {role: system, content: SYSTEM_PROMPT}, {role: user, content: item[question]}, {role: assistant, content: item[answer]}, ] } with open(sft_train.jsonl, w, encodingutf-8) as f: for item in raw_data: f.write(json.dumps(convert_to_sharegpt(item), ensure_asciiFalse) \n) print(f轉(zhuǎn)換完成共 {len(raw_data)} 條樣本)轉(zhuǎn)換腳本的核心邏輯就是把每條樣本包成system、user、assistant三段。有人問system每次都要寫嗎我的建議是默認都寫哪怕內(nèi)容一樣。這樣模型在訓(xùn)練中會穩(wěn)定學(xué)習(xí)到“先讀人設(shè)再看問題”的行為模式。另外寫入文件時一定加ensure_asciiFalse否則中文會被轉(zhuǎn)成\uXXXX的Unicode轉(zhuǎn)義序列可讀性極差后續(xù)檢查數(shù)據(jù)非常痛苦。4.3 訓(xùn)練腳本與關(guān)鍵配置數(shù)據(jù)準備好之后訓(xùn)練腳本的核心部分如下。這個腳本以加載基座模型為基礎(chǔ)套上LoRA配置然后通過訓(xùn)練參數(shù)控制訓(xùn)練過程from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training from datasets import load_dataset # 1. 加載基座模型和tokenizer # base_model_path 換成你手中的基座模型路徑 model AutoModelForCausalLM.from_pretrained( base_model_path, torch_dtypebf16, device_mapauto, ) tokenizer AutoTokenizer.from_pretrained(base_model_path) # 2. 設(shè)置pad token。如果tokenizer沒有pad token用eos代替 if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token model.config.pad_token_id tokenizer.eos_token_id # 3. 配置LoRA lora_config LoraConfig( r16, lora_alpha32, target_modules[ q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj, ], lora_dropout0.05, biasnone, task_typeCAUSAL_LM, ) model get_peft_model(model, lora_config) model.print_trainable_parameters() # 打印可訓(xùn)練參數(shù)量 # 4. 定義訓(xùn)練參數(shù) training_args TrainingArguments( output_dir./sft_checkpoints, per_device_train_batch_size1, gradient_accumulation_steps16, learning_rate1e-4, num_train_epochs3, logging_steps10, save_steps200, save_total_limit3, bf16True, gradient_checkpointingTrue, optimadamw_torch, lr_scheduler_typecosine, warmup_ratio0.03, weight_decay0.01, report_tonone, ) # 5. 加載數(shù)據(jù)集并按模板格式處理 dataset load_dataset(json, data_filessft_train.jsonl, splittrain) def format_chat(example): # 把conversations拼成模型需要的模板文本 # 這里用簡單的拼接方式實際項目中建議使用tokenizer.apply_chat_template messages example[conversations] text for msg in messages: role msg[role] content msg[content] if role system: text f系統(tǒng){content}\n elif role user: text f用戶{content}\n else: text f助手{content}\n text 助手 return {text: text} tokenized_dataset dataset.map( lambda x: tokenizer( format_chat(x)[text], truncationTrue, max_length2048, paddingFalse, ), remove_columnsdataset.column_names, ) # 6. 創(chuàng)建Trainer并開始訓(xùn)練 trainer Trainer( modelmodel, argstraining_args, train_datasettokenized_dataset, tokenizertokenizer, ) trainer.train()這套配置有幾個數(shù)值值得解釋一下。per_device_train_batch_size1配gradient_accumulation_steps16的組合是為了在24GB顯存下跑7B模型的同時保持batch size不至過小。學(xué)習(xí)率1e-4是LoRA的常見起點如果你發(fā)現(xiàn)訓(xùn)練早期loss出現(xiàn)明顯波動可以降到5e-5繼續(xù)試。max_length設(shè)2048是因為大多數(shù)SFT樣本并不需要那么長的上下文這個長度在顯存和表達能力之間比較均衡。另外訓(xùn)練時打印可訓(xùn)練參數(shù)量是一個好習(xí)慣。一個7B模型的LoRA訓(xùn)練可訓(xùn)練參數(shù)通常只在幾千萬到一億左右占比不到2%??吹竭@個數(shù)字你就明白為什么LoRA這么快了。4.4 推理驗證與adapter合并訓(xùn)練完成后LoRA的權(quán)重是單獨保存的并不會直接寫回基座模型。推理之前需要先加載adapter驗證效果。加載方式有兩種一種是直接生成適合快速驗證另一種是把adapter合并回基座模型生成一個新模型適合部署上線。from peft import PeftModel # 加載基座模型 base_model AutoModelForCausalLM.from_pretrained( base_model_path, torch_dtypebf16, device_mapauto, ) tokenizer AutoTokenizer.from_pretrained(base_model_path) if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token # 加載訓(xùn)練好的LoRA adapter model PeftModel.from_pretrained(base_model, ./sft_checkpoints/checkpoint-600) model.eval() # 合并adapter到基座模型部署時推薦 merged_model model.merge_and_unload() merged_model.save_pretrained(merged_model) tokenizer.save_pretrained(merged_model)合并這一步值得多說兩點。第一合并后的模型體積和基座模型一樣大但推理時不再需要額外的adapter管理可以直接用常規(guī)方式加載和部署。如果你用的是vLLM這類推理框架合并后的模型兼容性更好。第二合并操作會修改全部權(quán)重所以合并前一定要把原始基座模型備份好。有一次我誤操作直接覆蓋了原始權(quán)重只能重新下載模型那個下載時間足夠?qū)懸黄虏┛土恕r炞C模型效果時我建議同時準備三組測試用例第一組是訓(xùn)練數(shù)據(jù)里沒見過的類似題目看模型泛化能力第二組是訓(xùn)練數(shù)據(jù)里出現(xiàn)過的原題看模型記住了沒有第三組是稍微挑戰(zhàn)指令格式的用例比如要求它用表格輸出、用特定語氣回答看它是不是真的理解了指令跟隨。5. 常見問題與排查技巧實錄5.1 Loss降了模型反而變傻了這個現(xiàn)象出現(xiàn)過太多次了。訓(xùn)練日志上loss一路下降看起來非常健康結(jié)果拿出去一測模型回答質(zhì)量反而比微調(diào)前更差。遇到這種情況第一個懷疑對象就是數(shù)據(jù)質(zhì)量。SFT模型會把訓(xùn)練數(shù)據(jù)中的錯誤、噪聲和格式混亂原樣學(xué)進去。如果loss降得很快說明模型記性好把臟數(shù)據(jù)也記住了。第二個懷疑對象是數(shù)據(jù)分布。比如訓(xùn)練數(shù)據(jù)里80%都是“知識問答”20%是“代碼生成”模型自然會偏向知識問答的輸出風(fēng)格代碼能力反而不升反降。檢查一下訓(xùn)練數(shù)據(jù)的類別占比把比例往目標場景調(diào)整往往是這一類問題最簡單的解決辦法。第三個原因可能是驗證集劃分不合適。如果你留出的驗證集和訓(xùn)練集高度相似驗證loss會一直很樂觀等到真正上線面對新數(shù)據(jù)時才暴露問題。我建議驗證集盡量和線上場景保持一致而不是隨機抽樣。5.2 災(zāi)難性遺忘怎么控制災(zāi)難性遺忘是SFT最頭疼的問題之一表現(xiàn)是微調(diào)后模型對目標場景表現(xiàn)很好但通用能力明顯倒退比如數(shù)學(xué)變差、常識錯誤增多。根本原因在于SFT訓(xùn)練數(shù)據(jù)分布和預(yù)訓(xùn)練數(shù)據(jù)分布差距太大模型在擬合訓(xùn)練數(shù)據(jù)的過程中把原有的知識表達式覆蓋掉了。控制遺忘的方法有幾個第一個是降低學(xué)習(xí)率。學(xué)習(xí)率越高權(quán)重改動幅度越大遺忘越嚴重。我遇到過把學(xué)習(xí)率從1e-4降到5e-5之后目標任務(wù)效果只差一點點但通用能力明顯變好。第二個方法是混合通用數(shù)據(jù)。在目標SFT數(shù)據(jù)里摻入10%-20%的通用指令數(shù)據(jù)或者預(yù)訓(xùn)練語料讓模型在原分布附近“鞏固記憶”。第三個方法是做多任務(wù)混合訓(xùn)練。把多個場景的數(shù)據(jù)混在一起訓(xùn)而不是只訓(xùn)一個單獨任務(wù)模型對指令的理解會更穩(wěn)健。如果你已經(jīng)訓(xùn)練完了發(fā)現(xiàn)模型通用能力受損還有一個補救手段用低學(xué)習(xí)率在通用數(shù)據(jù)上做幾輪“恢復(fù)訓(xùn)練”通常能讓通用能力回來一部分但要謹慎控制輪數(shù)恢復(fù)過頭了目標任務(wù)的收益又會丟掉。5.3 輸出成了復(fù)讀機或者出現(xiàn)亂碼生成階段出現(xiàn)復(fù)讀機很多人第一反應(yīng)是調(diào)采樣參數(shù)比如降低temperature、調(diào)整repetition penalty但從SFT側(cè)來看根因常常在訓(xùn)練階段。學(xué)習(xí)率過高是常見元兇模型在訓(xùn)練集上過擬合生成的token序列容易掉進重復(fù)循環(huán)。把學(xué)習(xí)率降下來重新訓(xùn)練復(fù)讀現(xiàn)象經(jīng)常自動消失。數(shù)據(jù)里的重復(fù)樣本也值得排查。如果某條樣本在數(shù)據(jù)集中重復(fù)了幾十次模型對它的記憶特別深輸出時就容易反復(fù)橫跳。用去重腳本把完全重復(fù)和近似重復(fù)的樣本清理掉能有效緩解這個問題。至于亂碼問題優(yōu)先檢查tokenizer的pad token設(shè)置。很多基座模型的tokenizer沒有pad token訓(xùn)練時如果不指定系統(tǒng)會拿eos token來湊可能導(dǎo)致注意力掩碼錯亂。另一個檢查點是數(shù)據(jù)文本本身確認沒有混入非法字符或者編碼不一致的文本。5.4 顯存OOM的排查路線訓(xùn)練中途報CUDA out of memory是最常見的工程問題但解決辦法并不復(fù)雜按順序處理就好。先減per_device_batch_size從4減到2再減到1。如果batch1還是OOM說明單條樣本太大檢查max_length是不是設(shè)得過高適當截斷長樣本。接著開啟gradient_checkpointing這個能省不少顯存。還不行就考慮換LoRA或者上量化。從全參微調(diào)切到LoRA顯存占用能下降一半以上LoRA再加4bit量化加載7B模型的訓(xùn)練甚至可以壓到16GB顯存以內(nèi)。有一點要提醒batch變小后訓(xùn)練穩(wěn)定性會變差記得同步調(diào)大gradient_accumulation_steps把等效batch size維持住。用大batch換穩(wěn)定用累積換等效是解決顯存問題的通用思路。5.5 微調(diào)效果怎么評估才靠譜很多團隊評估SFT效果只看訓(xùn)練loss這是遠遠不夠的。loss只能說明模型有沒有擬合訓(xùn)練數(shù)據(jù)不能說明模型能不能解決真實問題。我自己的評估體系分三層第一層是規(guī)則指標如果任務(wù)是分類或者抽取計算準確率、F1這些客觀指標第二層是生成質(zhì)量指標比如代碼任務(wù)的passk、文本摘要的ROUGE分但這些只能做參考不能完全替代人工第三層是人工評測準備幾十條覆蓋各場景的測試用例逐個看模型輸出按有用性、正確性、格式規(guī)范度打分。人工評測雖然費時但它最能暴露問題。我通常會讓不直接參與訓(xùn)練的人來做評測這樣能避免“自己訓(xùn)的模型怎么看都好”的主觀偏差。打分表也不要搞得太復(fù)雜三到五個維度足夠了重點看有沒有出現(xiàn)答非所問、格式混亂、事實錯誤這三類致命問題。模型上線前至少做兩輪評估第一輪發(fā)現(xiàn)問題并重訓(xùn)第二輪確認修復(fù)效果這樣形成閉環(huán)才算真正跑完一次SFT。最后說一個我個人的習(xí)慣每次SFT訓(xùn)練跑完之后把所有配置、數(shù)據(jù)統(tǒng)計結(jié)果和評測記錄整理成一個簡單的文檔留檔。別小看這一步模型效果不好時想回溯原因這份記錄能幫你快速定位是數(shù)據(jù)問題、參數(shù)問題還是訓(xùn)練代碼問題。我做過的項目里好幾輪模型效果倒退都是靠文檔記錄快速查出了原因。如果你正準備開始自己的SFT實驗建議也養(yǎng)成這個習(xí)慣。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九九激情| 狠狠干综合| 婷婷综合日本| 色综合五月天| 婷婷欧美激情综合| 九九精品在线网| 中文字幕精品在线观看| 69热91天堂| 欧美激情凹凸丁香网| 9999综合99综合人| www、色色色| 天天射天天射一道本日本社区| 色天天综合| 五月婷婷激情综合av| 超碰在线中文字幕| 中字幕视频在线永久在线观看免费| 亚洲精品又粗又大又爽A片| 丁香五月欧美婷婷综合| 亚洲在线播放| 五月激情五月丁香| 5月丁香婷婷激情网| 久久免费操| www超碰| 国产AV一区二区三区最新精品| 大香蕉婷婷五月| 日韩成人电影AV| 激情五月综合婷婷| 91丨九色丨43老版熟女| 一级AV片| 性爱视频久久| 久久玖玖综合| 最新va在线播放| 狠狠干在线| 色婷婷影视| 亚洲、热| 天天草狠狠擦| AV伊人青草丁香六月| 97干资源在线观看| 无码字幕中文| 五月丁香色停停啪啪啪| 亚洲av| 日夜操B| 五月五婷婷| 丁香五月天在线观看视频| 婷婷中文字幕网| 婷婷色色综合| 成人 在线观看国产| 亚洲天堂大香蕉| 亚洲亚洲永久无码777777| 亚洲成色综合网站免费观看| 99超在线| 深爱激情九九五月天 | 色五月av伊人| 婷婷六月激情丁香| WWW.99热| 欧美成人性爱网| 色五月激情综合| 91精品久久久久久综合五月天| 香蕉网久久| 激情玖玖综合网| 亚洲精品又粗又大又爽A片| 天天操天天曰| www.yw尤物| 噜噜五月天综合| 狼友超碰| 亚洲色五月婷婷| 97操碰在线视频| 久久精彩综合视频| 丁香大香蕉| 另类亚洲电影| 思思热热久久| 婷婷六月激情丁香| 五月综合激情综合久| 另类激情综合| 热99免费在线| 婷婷综合五月天| 丁香五月激情五月| 另类图片天天影视在线观看| 丁香五月综合激情性爱| 激情婷婷22月间| 99人这里只有精品| 亚洲操逼网| 99综合自拍| 米奇影视资源婷婷狠狠色激情欧美五月丁香 | 色婷婷超碰| 色婷婷yy久| 狠狠va| 伊人AV五月婷| 国产精品大香蕉| 亚洲黄网在线| 91操屁股| 婷婷色啪| 色五月激情基地| 99热12| 五月婷婷之综合激情| 久久性爱视频| 欧美性生交XXXXX无码小说| 中文毛片无遮挡高潮免费| 亚洲午夜成人av电影网| 日本99在线视频| 综合五月婷婷| 99视频只有这里精品| 婷婷五月六月丁香| 丁香六月激情综合| 丁香久久九九99| WWW99热| 婷婷综合网站| 色欲资源网| 开心激情综合| 五月丁香网站| 97超碰在线免费观看| 噜噜噜噜噜在线| 欧美久久五月婷婷| 亚韩在线视频| 日韩欧美成人网| www、丁香五月天| 九九av| 69午夜成人影片| 日本激情五月天‘| 99在线小视频| 色爽九九| 这里只有精品亚洲| 色情综合网| 欧美日韩成人在线观看| 久久视屏这里只有久久| 色欲婷婷夜夜| 色婷婷五月天在线观看| 开心日韩丁香婷婷五月| 丁香婷婷六月| 香蕉久久国产AV一区二区| 婷婷五月综合激情| 国精产品一区一区三区免费视频| 日日鲁鲁夜夜爽爽| WWW.五月com| 婷婷五月天在线综合| 国产一区二区av免费| 色天天综合色| 热久久这里只有三级视频| 九八Av| 成年人99热| 国产精品第一国产精品| 久色| 91精品国产综合久久蜜芽解析速度| 人人爽人人射-美女久久久久久久久久-成人AV | 婷婷D区| 丁香六月婷婷综合激情欧美| 婷婷五月中文在线视频| 激情性爱五月天网页| 六月丁香大香蕉| 天天操狠狠操| 五月天综合在线观看视频| 亚洲日韩国产黑丝黑丝AVAV一区二区三区| 99热这里有精力| 狠狠色噜噜狠狠狠狠综合| 国产亚洲色婷婷久久99精品91| Blackedraw视频一区二区| 久久九⑨| 97人人干| 婷婷六月色开 | 婷婷激情四射| 婷婷中文字幕| 亚洲精品视频在线| 96丁香六月婷婷蜜桃综合久久| 色色综合视频| 日韩AC在线免费观看| 色婷婷免费观看| 六月丁香婷| 狠狠干婷婷| 91色性感五月婷婷丁香| 五月天综合网| 天天插天天插天天日| 影音先锋91在线资源站| 影音先锋91在线资源站| 影音先锋 婷婷| 日本人妻伦在线中文字幕| 操熟女成人网| 99久久综合网| 清纯唯美 激情四射| 色综合激情| 亚洲综合1024| 成人精品免费在线观看| 97人妻碰碰中文无码久热丝袜| 激情综合网,婷婷| 九九色插| 无码99| 人人看人人草人人摸| 日韩操女| 欧美性生交A片免费看| 五月综合激情视频在线| 欧美婷婷丁香社区在线播放| 亚洲第一色网站| 国产高清视频91九九九久久久| 99久在线精品99re8热| 极品色丁香| 99热精品在线| 99热人人| 99久久综合网| 婷婷激情五月综合丁香社| 亚洲天堂婷婷丁香| 五月天四色房丁香亭亭| 99热播放| a久久| 成人小说 五月天 婷婷| 婷婷五月天视频免费在线观看| 九九热这里只有精品5| av中文网| 五月婷婷综合网| 日日操天天| 日本精品在线噜噜噜| WWW.HENHENL.| 婷婷五月天激情综合婷婷五月天激情综合 | 五月婷婷开心色伊人| 国产毛片欧美毛片久久久| 五月丁香六月婷婷免费| www,99色| 久久激情五月| 日本噜噜色网| 91se在线观看| 大香蕉手机视频| 99爱精品视频| 婷婷五月天黄色| 天天爽天天日| www.ppypp| 天堂综合久| 丁香六月色婷婷| 精品婷婷五| 色婷婷综合视频| www久久99| 久久婷婷内射| 99爱在线| 日本天堂免费99| 9久久精品| 深爱激情中文五月天av| 99久久婷婷综合| 玖玖在线| 激情宗合网激情五月天| 一级性感黄色内射视频| 久久五月天激情| 蜜乳中文字| www色五月| 亚洲AV永久无码影院黑人| 天天日天天爽| 五月丁香影院| 97五月天| 欧美群妇大交乱婬网| 91狠狠综合久久久久久| 亚洲人人操| 丁香五月AV| 久久涩视频| 色婷婷综合网站| 99精品热视频| 991国产精选视频在线播放下载| 色99色| 婷婷五六日| 另类激情综合| 99内射视频| 九九综合久久| 丁香五月激情综合| 依人大香蕉| 99超级碰碰| 婷婷伊人网| 婷婷五月天免费视频在线观看| 日本五月丁香| 99视频在线观看地址| 国产人妻人伦精品一区二区| 无码任你操| 无码人妻电影| 亚洲另类视频| 五月婷婷色播网| 玖玖婷婷精品| 国产婷婷久久| 亚洲精品九九| 91丨九色丨国产| 五月天色区| 婷婷六月色| 亚洲五月综合色播| 日日爽日日操| 五月丁香久久网| 色九月婷婷丁香| 伊人五月婷| 五月色网| 黄色AV日韩| 天天噜| 欧美色欲色欲天天天www| 亚洲五月天综合色| 金桔一区二区ab地址| 丁香婷婷综合激情五月色| 五月激情综合婷婷| 婷婷综合玖玖五月| 日韩人人操| 九七色色六月丁香| 国产女18毛片多18精品| 任你搞免费视频观看| 中字幕视频在线永久在线观看免费| 久九色| 99热精品99| 丁香五月香蕉| 五月婷婷激情网| 99热亚洲精品| 噜噜狠狠色综无码久久合欧美| 五月丁香婷婷中文网| 色五月av伊人| 中文字幕 久久9999| 广东99色在线| 九色视频这里只有精品| 色五月婷婷激情| 婷婷五月天综合中文| 午夜九九电影| 国产精品视频久久99| 天天日天天操天天干| 亚洲另类婷婷五月综合| 99爱免费视频| 天天日天天操心| 激情五月婷| 婷婷五月激情小说| 另类精品视频在线观看| 91久久婷婷| av狠狠操| 久九色| www久| 亚洲五月天狠狠| 丁香五月在线观看| 人人艹艹艹| 欧美精品A片一区在线观看| 午夜成人AV在线| 五月丁香婷婷激情| 黄色片区子| www.婷婷| 9婷婷内射| 热九九在线| 婷婷五月丁香基地| h在线看免费版在线看| 国产成人亚洲综合亚洲| 手机看片日日做夜夜| 九九热视频在线观看| 亚洲中文字幕在线观看| 伊人久久大香网| 丁香色情五月综合网站| 精品人妻一区| 原琪琪色影院| 色五月婷婷基地| 国产精品色色| 7超碰自拍| 天天看夜夜看| 国产看真人毛片爱做A片| 99九九在线观看免费| 婷婷五月天日日日干干干| 97碰碰在线看视频免费| 色综合久久综合| 婷婷丁香视频| CHINESE熟女老女人HD视频| 亚洲熟女乱色综合亚洲网站| 六月综合在线| 色色草97| 婷婷丁香五月高清| 色综久久久| 色婷婷五月天天天做| 99热这里只有精品1025| 91精品久久久久久久久久久久| 日日操,夜夜撸| 五月丁香影视| ...婷婷国产成人亚洲日韩| 五月天堂婷婷| 一区视频网站| av网址在线| 天堂爱啪啪| 五月婷婷色激情| 婷婷五月丁香青青草在线| www.25五月婷婷| 婷婷中文在线| 激情综合网五月在线播放| 丁香五月婷婷大香蕉| 五月婷婷综合激情| 伊人久久婷婷| 激情综合色| 俺来也综合网精品一区| 婷婷综合视频| 婷婷婷色五月| 这里只有精品96| 99热首页在线30| 在线观看免费视频| 国产精品热搜丁香五月婷婷| www狠狠爱com| 亚洲免费观看高清完整版AV线| 激情五月丁香六月综合AVXXXX| 欧洲激情精品婷婷| www999日韩精品| WWW久久久| WWW.天天日| 色五月综合在线| 激情欧美婷婷| 人人插操| 无码99| 91啪啪网| 丁香五月偷拍| 天天射夜夜骑| 亚洲精品视频电影| www.91色| 婷婷五月深爱五月| 99热亚洲综合| 色综合色色| 五月天婷婷久久日| 综合狠久久| 人人摸人人搞| 天堂久久大香蕉| 狠狠高潮精品亚洲1| 激情啪啪五月| 精品一二三区久久AAA片| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 五月丁香五月天现场视频| 99热99热不卡| 五月情综合| 久久精品国产AV一区二区三区 | 丁香婷婷人妻综合网| 中文字幕视频色婷婷| 五月丁香六月婷婷a v| 国外亚洲成AV人片在线观看| 色99网站| 丁香5月啪啪| 久久日韩婷婷五月| 99精品国产在热久久| 欧美激情综合色综合| 伊人五月婷婷| 91精品丝袜久久久久久久久粉嫩| av人人操| 91精品刘玥| 大狠狠在线| .精品久久久麻豆国产精品| 五月婷婷激情刺激| 五月丁香六月婷婷啪啪| 亚洲激情图文小说| 性无码专区无码| 99 色色吧| www.激情| 婷婷五月天色综合翘| 婷婷伊人綜合中文字幕| 日日色五月天| 日韩黄色中文字幕| 天天色天天爱天天爽| 香蕉狠狠爱视频| 亚洲xx网| 人妻人人操| www.zbzhongsen.com| 激情丁香婷婷六月天| www.99热视频| 狠狠色婷婷7| 久久综合激情| 五月天成人在线精品| 欧美日本日韩| 中国激情网| 五月天婷婷深深爱| 99在线精品观看99| 五月色精品| 精品无码久久久久久久久| 五月天婷婷丁香花| 色国产五月| 五月丁香久久丝袜啪啪| 日韩AV成人电影| 五月激情小说| 大香蕉伊人久久| 99在线资源| 第四色首页| 色五月婷婷五月久久| 色色色99| 在线成人网站| 日本三级韩三级99久久| 狠狠五月激情丁香六月| 亚洲bt丁香五月天婷婷激情小说| 碰碰碰97国产| 国产精品久久久久9999小说| 一起草av| 开心五月深爱五月| 97操碰免费视频| 色情五月停停丁香| 看婷婷五月天网| 亚洲第二AV| 美女久久天堂| 中文婷婷狠狠| 99re热久久| 色色网站毛片| 疯狂做受XXXX高潮A片| 九九热最新| 丁香五月六月婷婷怡红院| 五月婷婷伊人久久| 色婷婷丁香五月天在线观看| 91丨九色丨丰满人妖| 色色五月婷| 秋霞网在线观看理论91| 91女人18毛片水多国产| www.91操| 人妻操操色| 欧美网站视频4399| 五月天婷婷激情| 99er精品视频| 99热99网| 五月婷视频在线观看| 伊人久久99| 一二三区视频韩国| 99久久精品国产色欲| 天天日天天舔| 五月亭亭直播| 亚洲天堂亚洲色色色| 丁香五月最新地址| 男人天堂99| 99热91| 综合激情视频| 亭亭玉月丁香| 99热免费网站| 91在线操| 婷婷五月天天| 超碰chaompinm| 日日噜狠狠色综合久久| 久9热| 六六久久黄色| 丁香婷婷久| 91人妻九色大屁股| 九九色婷婷| 欧美成性色| 婷婷五月天人妻| 天天天综合网| 五月婷婷开心网| 强辱丰满人妻HD中文字幕| 色婷视频| www.夜夜夜| 国内一级精品| 精品国婬伦V无码久久久| 丁香五月色| 热久精品| 九九免费视频在线| 丁香五月色情| 开心深爱激情网| 婷婷丁香五月天综合激情| 六月丁香停| 99热日韩这里只有精品| 激情文学五月丁香六月婷婷| 国产精品一区在线观看你懂的| 五月丁香婷久久| 亚洲成人免费电影| 婷婷五月天伊人网在线观看视频| 五月伊人网| 欧美黄色一级录像| 激情欧美婷婷| 激情五月天视频| 激情99| 人妻激情视频| 久久aaaa片一区二区| 色色五月天婷婷| 久久久9久| 色色永久| 丁香五月色情| 色婷亚洲五月丁香| 婷婷九月| 亚洲综合成人网站| 亚洲综合狠狠艹| 六月丁香五月天| 狠狠爱青青草| 99在线看片| 日韩无码色色| 成人短视频在线| 狠狠色丁香| 超碰日韩人妻在线| 丁香五月成人论坛| 色五月丁香五月| 日本乱论99| 色婷五月丁香久亚洲| 天天搡日日搡aaaaⅩ| 99热在线网站| 99热精品10| 五月婷婷啪啪网| 2005天天干天天1| 欧洲综合视频在线观看。欧洲,亚洲综合食品在线观看。 | 综合激情五月丁香9999久久精| 婷婷色五天| 9|在线观看视频| 五月天婷婷永久免费视频| 亚洲天天| yw国产AV| 综合天堂AV久久久久久久| 色综合综合色| 久草热视频在线观看| 另类在线免费视频| 五月天成人在线| 国产婷婷色综合AV蜜臀AV | 亚洲精品影视| 五月婷婷99热| www.色婷婷| 久久综合丁香激情五月| 丁香五月激情六月欧亚激情综合导航 | 涩涩涩五月天| 百度4399有码精品V在线观看| 五月综合精品| 综合精品99| 婷婷网五月天| 森林影视大全,最好看的2019年视频 | 激情 婷婷 丁香五月天| 丁香五月色| 久久这有这里精品| 国产黄大片在线观看画质优化| 丁香婷婷久久激情| 久久5 9视频免费观看| 婷婷五月天激情在线观看| 99久久久免费| 在线中文av| 亚洲天堂热| 激情综合色五月六月婷婷| 无码成人AAAAA毛片AI换脸| 婷婷久久在线| 大香蕉啪啪| 国产Va视频| 激情四射五月天| 91啪啪| 69精品人人人人| 人妻操在线看| 日韩日比视频| 色婷婷九月| 日日射天天射| 亚洲色婷婷五月天| 色99视频| 五月天六月婷| 成人精品在线观看| 色伦专区97中文字幕| 五月激情久久综合网| 九色 在线| 五月丁香免费看| 玖玖精品视频99| 日韩无码性爱| www.夜夜| 欧美性丁香色色五月天干干| 久久五月天激情美女| 操碰色一区就去操| 九九操操| 日本欧美国产| 在线99热| 免费看片在线观看| 啪啪91| 五月天婷婷在线播放| 色综合色色| 五月婷婷香蕉视频| 乱码操操| 亚洲成人网站在线观看| 九九综合久久| 精品五月丁香| 激情网婷婷婷| 99热这里全都是精品| 五月婷婷在线视频| 国产毛多水多女人A片| 四射综合网| 丁香六月婷婷高清| 久久激情综合| 五月天色色激情综合| 久久精彩视频| 秋霞av不能| 国精产品一区二区三区| 人妻熟人中文字幕一区二区| 丁香婷婷精品视频| 91精品丝袜久久久久久| 国产成人AV在线播放| 亚美欧色影院| av中文字幕免费观看| 爱爱色五月天| 丁香六月综合激情| 久久激情五月婷婷| 综合欧美五月婷婷| 99久久99九九99九九九| 十区AV| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 人人操婷婷| 超碰人人在线| 色久天| 在线观看av网站| 丁香 婷婷 亚洲 熟女| 激情综合五月激情| 婷婷六月丁香激情| 丁香五月大香蕉| 久久久久久久8| 狠狠狠狠青草| 操逼电影免费看| 国自产拍偷拍精品啪啪一区二区| 五月丁香色婷婷色| 开心五月深爱婷婷| 99热日本| 天天干-天天日| 九九热免费观看视频| 国产免费一区二区在线A片视频| 婷婷综合视频| 丁香五月综合激情啪啪| 九艹在线| 色婷婷免费视频| 人人干99| 综合亚洲六月婷婷在线| 婷婷开心深爱五月天| 婷婷久久五月| 天天做天天爱天天摸| 精品五月视频婷婷在线观看| 中文精品久久久久人妻不| 婷婷丁香五月天哟啪| ay2区| 69人人操人人爽| 色婷婷基地 | www.狠狠| 人妻AV在线| .精品久久久麻豆国产精品| 97在线精品| 婷婷久久综合久| 99热这里是精品| 精品夜夜澡人妻无码AV| 午夜69成人做爰视频| 开心激情站| 99热在线观看| 玖玖婷婷免费| 性爱网六月丁香| 97干综合网| 久久久97| AV 3P| 天天操综合网站| 思思99热| 久热久| 99在线观看| 在线观看免费人成视频无码| 97超喷视频在线观看| 亚洲在线视频321| 久久女人天堂| 天天摸天天舔天天爽| 日本eVa一区=区视频| 欧美搡BBBBB摔BBBBB| 拍真实国产伦偷精品| 蜜桃婷婷丁香综合久久开心亚洲| 五月天色欧美| 五月激情啪啪| 欧美私人家庭影院| 99色视频| 色欲丁香久久| 97欧美在线| 婷婷五月天堂| 日本精品。999| 九九精品9| 婷婷激情视频| 天天色,天天操,天天射| 亚洲婷婷激情综合激情999精品| 狠狠狠狠狠干| 亚洲色视频| anquye伊人| 色色婷婷色色| 九九99久久精品| 五月 成人 婷婷| 丁香五月激情综合网激情五月| 国产视频福利| 热99色| 99色在线观看| 思思 热 99| 激情综合网址| 亚洲色五月| 深爱激情五月天色婷婷| 五月丁香六月激情综合| 熟女强人妻一区二区三区四区无| 九九色综合网| 综合五月网| 99热这里只有精品9| 天天综合网色欲香| 丁香五月激情站| 99ri精品视频在线观看| 中文字幕欧美精品久久| av第一二区| 欧洲色区| 中文字幕,综合,91| 欧美3AaAa大片| 久久99网站| 久久一伦| 色婷婷五月天不卡| 青草热视频这里只有精品| 欧洲色色| 亚洲岛国电影| site:minyis.com| 久青操| 99爱在线| 91操色| 亚洲无码99| 六月丁香中文字幕| 丁香婷婷视频在线| 天天日日| 丁香五月丁香伊人| 婷婷成人基地| 99热这里只有在线播放| 亭亭玉月丁香| 97精品综合| 婷婷成人AV| 少妇婷婷五月天| 天天综合中文| 精品夜夜澡人妻无码AV| 超碰三级片| 五月婷婷六月丁香在线| 大鸡巴伊人网| 蜜乳中文字| 7777国产盗摄农村女人| 噜噜噜色噜噜| 成人无码精品1区2区3区免费看| 五月天色色激情综合| 中文字幕不卡+婷婷五月| 色色色色色综合| 激情五月天在线视频| 色综合网页| 激情五月狠狠| 91干在线视频| 五月天六月色| 欧美性猛交99久久久99| 久久婷婷五月综合色奶水99啪| caopeng97人人| 婷婷爱五月天| 婷婷五月天综合久久| 激情五月婷| 91人人爽狠狠狠| 日韩成人网址| 99er这里只有精品| 欧美成人精品A片免费一区99| 九九精品在线视频观看| 五月天婷婷基地综合网| 亚洲va欧美| 无码色| 99热综合在线| Www.sesese丁香| 99性爱精品| 狠狠久久婷| www.色九月| 日韩综合网络男女香蕉a片| 狠狠插狠狠操| 狠狠草婷婷| 婷婷丁香红五月91C| 欧美色爱五月天| 蜜臀av粉嫩av懂色av| 婷婷啪啪| 清色五月天| 日韩三级高清无码| 成人av在线网址| 五月天激情国产综合婷婷婷就去爱| 欧美成人精品A片免费一区99| 一级A片天天操夜夜操| 在线亚洲综合网| 五月停停色色丁香| 情情五月天色| 97婷婷狠狠久久综合9色| www.99婷婷| 色色综合成人网| 色婷婷性爱网| 久久天堂| 99热视| 96精品国产综合久久久久久| 色婷婷超碰| 婷婷射图| 中文AV网站| 99热亚洲| 99爱最新免费视频在线观看| 69人妻人人澡人人爽久久| 狠狠色色| 激情综合网激情五月丁香| 久碰婷婷视频| 日韩av手机在线观看| 99色 | 久久ww| 91a片爽| 天天操婷婷| 激情综合五月婷婷六月丁香| 日本精品在线噜噜噜| 丁香五月停停av| 激情五月六月婷婷| www.国产色| 精品久久人妻热| 波多野结衣AV无码Porn| 激情综合五| 天天日天天舔| 思思热再线视频| 日韩不卡DvD| 丁香婷婷老司机久操| 亚洲激情av| 五月天婷婷在线播放| 欧美五月丁香啪啪响视频| W色综合| 成人在线日韩| 婷婷五月天免费视频在线观看| 大香蕉婷婷丁香天堂AV| 另类图片五月天激情| 99久久国产宗和精品1上映| 婷婷五月天在线综合| 一个色的综合| 激情久久久| 94干大香蕉| 国产精品黑丝| 亚洲在线免费成人| 99精品久久| w婷婷五月婷婷w| 激情婷婷五月社区| 99热99这里有免费的精品| 怡红院 久久| 久久刺激网| 婷婷色基地在线看 | 五月激情综合美女久久| 天天日夜夜草进麻麻的子宫| 成人精品一区二区三区四区五区 | 天堂草在线观看| 99热国产这里只有| 欧美久久婷婷| 五月丁香成人| 免费AV在线| 99资源在线| 亚洲精品另类| 亚洲综合碰| 五月天婷婷无码| 91se精品国产| 五月停性愛| www.91av.com| 激情综合网激情五月丁香五月俺也去| 国产精品人成A片一区二区| 五月天色区| 六月激情网| 99精品视频网| 97久久久| 九久9精品| 五月天大香蕉| 日本久久99| 丁香桃色网| 色欧洲| 天天插综合网| 五月婷婷丁香| 激情五月激情综合网| 在线只有精品| 欧美精品中文字幕亚洲专区| 成 人片 黄 色 大 片| 性无码专区无码| 538在线精品| 丁香五月婷婷综合啪啪| 五月丁香激情综合网官网| 久草婷| 五月天另类小说久久小说网| 亚洲成人av在线观看| 99视频在线观看视频| www激情网站| 色丁香五月天| 就要去操亚洲成人精品五月天丁香婷婷| 无码色色色色色| 有码人妻久久| 婷婷香五月综合激情| 色婷婷丁香五月天在线观看| www.色婷婷.com| 国产激情久久| 国产精品扒开腿做爽爽爽A片唱戏| 天天久综合网永久入口18| 超级碰 久久9| 99九九视频| 色墦五月丁香| 九色视频这里只有精品| www,天天干| 久久久中文| 色欲一区二区三区精品A片| 九九精品丁香花| 综合激情肏逼网| 色噜噜狠狠色综合AV兰草影视| 天天色五月| www.婷婷五月| 99热这里只有精品1| 婷婷丁香红五月91C| 日本丁香久在线| 色综合爽| 色欧美色色色| 久久婷婷网站| 丁香亚洲婷婷五月| 五月天婷婷基地| 五月婷婷激情五月| www。五月,com| 色五月婷婷av| 99色热综合| 欧洲色色| 麻豆AV一区二区三区| 免费成人网在线观看| 亚洲综合视频天天精品| 欧美xx激情视频在线观看| 色九月婷婷| 久超免费视频| 综合激情在线| 色婷婷五月天小说| 激情视频网址| 操比激情五月| 天天舔夜夜操www com| 成人丁香婷婷| 99re在线观看| 黄色一级影片| 伊人狠狠干| 九九热在线精品| 狠狠狠狠青草| henhencao国产在线| 天天插天天插| 91久女| 9久久精品| 99热在线这里| 99免费视频| 色综合久久99色| 深夜激情网| 嫩草AV久久伊人妇女超级A| www,色婷婷| 欧美va欧美va差| www.激情| 五月丁香啪啪啪啪| 99这里只有精| 欧美电影在线观看| 亚洲色色色色色色色色色| 99热首页| 68热超碰在线| 性小说五月天| 色优久久| 色噜噜狠狠色综合网| 婷婷深爱五月丁香| 超碰婷婷五月| 天天色天天干天天插| 91色色色| 综合性爱网| 天天做 天天爱| 五月婷婷色欲| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 婷婷激情六月| 日本网站久久| 婷婷丁香五月天狠狠| 国外亚洲成AV人片在线观看| 精品人妻在线| 五月六月婷婷| 婷婷六久久| 天天操夜夜爱| 丁香伍月婷电影全集| 三级成人网站| 精品人妻午夜一区二区三区四区| 日韩 欧美 国产 一区 二区| 五月天综合婷婷| www.99热视频| 激情性爱五月天| 亚洲熟女色| 婷婷黄色| 99热线观看9| 日日撸夜夜操| 青青草原伊人网| 噜啊噜在线| 天堂爱啪啪| 色婷婷激情四射视频| 免费97碰碰| 男人天堂99| 97久久久| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 97se在线视频| 婷婷五点亚洲| 色站9/| 狠狠色五月| 五月丁香久久网| 97操碰| 在线VA视频| 超碰av在| 日本五月天一页| 懂色av蜜臀av粉嫩av永陈冠希| 日本在线99| 少妇高潮一区二区三区99欧美| 久草热在线视频| 99视频精品视频| 欧美性生交A片免费看| 日日做夜夜爱| 9999热免费视频视频| 这里只有精彩亚洲视频推荐| 五月天婷婷激情在线色图| 婷婷九月亚洲| 五月丁香| 一起草AV入口| 强伦轩人妻一区二区电影| 日本精品干| 日本va欧美va国产激情| 婷婷婷五月天最新综合你懂的| 伊综合蕉| 99爽视频| 亚洲激情电影五月天色婷婷丁香一起草 | 久热爱大香蕉在线蜜臀悦色 | 夜夜爽天天爽| 日本三级中国三级99人妇网站| 亚洲天堂婷婷丁香| 天天色视频| 亚洲小视频免费播放| 丁香性爱在线视频| 99视频精品全部观看10| 久操热线| 激情人妻蜜夜系列区| 五月天成人在线播放| 色八月婷婷| www狠狠爱com| 激情五月综合网| 呦呦视频无码播放| WWW.99视频| 俺去也五月| 在线视频99| 色国产五月| 色9月| 4399无码视频| 五月丁香婷中文| 久热这里只有精品66| av在线播放网址| 国产欧美熟妇另类久久久| 思思久久99| 97激情五月天| 超碰av天堂| 疯狂做受XXXX高潮A片| 五月婷婷丁香社区| 狠狠五月天婷婷| 先锋资源91| 碰99在线| 激情五月天视频| 九九这里有精品| 婷婷5月天av| 中文字幕在线免费| 无毒黄色网址| 色婷网| 在线观看av网站| 九玖欧洲亚洲| 91日本在线| 99干在线| 老妇六区| 99热国产这里只有精品| 激情综合网五月天| 亚洲成人乱码av网站| 久久久人妻不卡| 亚洲AV无码成人精品区电影网| 欧美99| 五月婷婷草| 99在线视频在线观看| 激情五月天久久丁香| 日本久久超碰| 久久丁香九| 色综合激情图区| www.天天干| 色999亚洲人成色| 久久婷婷人人| 99免费在线| 青青福利网| 色五月婷婷久久爱| 大香蕉520| 九九色网| 亚洲无AV在线中文字幕| 五月丁香六月激情欧美综合| 久热超碰91| 久机视频这只有精品| 亚洲丁香五月在线观看| 五月丁香久久久日婷婷久久婷婷日| 99热老网站| 丁香五月最新地址| av第一二区| 香蕉97碰碰碰超视精品| 日韩有码一区| 国产小精品| 婷婷丁香熟妇综合网| 久久狠狠干| 色丁香五月婷婷| www.婷婷五月天.com| 九九婷婷综合| 99爽视频| 曰曰久久| 婷婷五月丁香综合| 丁香六月婷婷综合| 五月丁香好婷婷A片网| 另类小说色婷婷| 日本九九视频| www.婷婷亚洲基地| 超碰女人天堂| 日本综合久久| 色色色成人网| 开心五月婷婷| 欧美交换配乱吟粗大25P| 九九碰九九爱97超碰| 丁香五月成人| nvrentiantang av| 亚洲综合另类| 色一情一乱一乱一区91| 婷婷久久综合久| 成人在线99| 风流少妇A片一区二区蜜桃 | 色婷婷电影| 亚洲经典三级| 五月婷婷欧洲| 六月婷婷视频| 99热国产精品| 激情五月丁香综合蜜桃| 玖玖精品资源| 色婷婷亚洲在线| 99这里都是精品| 五月色婷| 中文字幕网伦射乱中文| 天天色2017| 婷婷自拍| 婷婷久久五月丁香| 在线视频你懂得| 欧美69色| 久久99久久99精品免观看粉| 激情图片婷婷丁香五月| 99在线免费视频| 亚洲综合视频天天精品| 婷婷五月天手机版视频| 思思热视频| 91爱啪啪| 九九视频在线观看视频6| 九九九九成人| 婷婷激情五月| 思思色综合网站| 五月丁香免费看| 草草操操| 日本不卡高字幕在线2019| 高清av在线国产| 91热在线| 99热大片| 噜噜狠狠色| 青草视频在线播放| 天天综合久久| 天天搞夜夜六| 婷婷国产成人| 99re在线观看| 激情啪啪五月| 麻豆五月丁香婷婷| 超碰亚洲天堂| 丁香五月婷婷激情中文| Av性爱网| 伊人网碰碰| 最新婷婷五月丁香| 99爱这里只有精品| 一级二级色大片| 99亚洲精品综合在线| aaa丁香五月天| 碰97久久| 91主播在线| 综合久色五月| 99碰碰| 五月婷婷色啪| 思思热国产| 丁香五月激情啪啪| 潘金莲AAAAAAAAAA| 都市激情久久| 婷婷五月天影院| 超碰免费人| 色情婷婷| 亚洲色网址| 乱岳熟女50岁| 99人人干| 婷婷五月色天| 欧美婷婷色| 欧美va精品va老师va| 99色色| 一区二区乱视频码| 婷婷五月天 偷拍| 色色五月丁香婷婷| 久久婷婷激情四射五月天| 激情婷婷五月色| 丁香五月欧美| 综合玖玖偷拍| 激情综合丁香五月| 逼特逼在线免费播放| 天天激情综合| 久久五月视频| 99热网址| 老司机伊人| 亚洲精品久久久久久久久久吃药| 都市激情久久| 超碰精品在线| 色综合中文色综合网| 六月丁香激情网| 九九精品9| 国产片色| 亚洲综合网在线| 六月婷五月丁香| 玖玖色综合|