欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

ChatGLM3-6B LoRA微調(diào)實(shí)戰(zhàn):從環(huán)境搭建到推理部署全流程指南

ChatGLM3-6B LoRA微調(diào)實(shí)戰(zhàn):從環(huán)境搭建到推理部署全流程指南 簡介大語言模型微調(diào)是行業(yè)落地的核心技術(shù)環(huán)節(jié)。LoRA作為一種高效參數(shù)微調(diào)方法通過凍結(jié)基座模型權(quán)重并訓(xùn)練低秩增量矩陣顯著降低顯存占用使6B級別模型在普通顯卡上也能完成業(yè)務(wù)定制。ChatGLM3-6B作為中文場景中表現(xiàn)優(yōu)秀的基礎(chǔ)模型配合LoRA可在知識問答、領(lǐng)域?qū)υ挼热蝿?wù)上快速適配。本文完整梳理了從環(huán)境搭建、數(shù)據(jù)清洗、訓(xùn)練參數(shù)配置到推理驗(yàn)證的工程流程并針對顯存溢出、過擬合、loss異常等常見問題給出可操作的排查方案為開發(fā)者提供一套可直接復(fù)現(xiàn)的微調(diào)實(shí)踐路徑。 做AI應(yīng)用落地這幾年我最大的感受是模型底座要選對但真正決定業(yè)務(wù)體驗(yàn)的往往是最后那一步定向調(diào)教。ChatGLM3-6B是我常用的底座之一通用對話、知識問答都能打可一旦牽扯到具體的行業(yè)術(shù)語、輸出格式、角色人設(shè)直接拿原版模型上線就會顯得官方而空洞。這篇就把我的完整跑通方案記錄下來——基于ChatGLM3-6B模型用LoRA方法做微調(diào)從環(huán)境搭建、數(shù)據(jù)處理到訓(xùn)練、推理每一步都給出可復(fù)現(xiàn)的源碼和參數(shù)并且把我在實(shí)操中踩過的坑一并講清楚。先說這套方案適合誰。如果你準(zhǔn)備在自己的顯卡上把一個大模型拉向垂直場景手頭有一張24G顯存左右的卡或者幾張消費(fèi)級卡做數(shù)據(jù)并行想把模型從什么都能聊變成你的領(lǐng)域?qū)<夷沁@篇文章就是給你準(zhǔn)備的。LoRA的核心價值在于不跟那60億參數(shù)硬碰硬而是訓(xùn)練一組規(guī)模極小的增量矩陣讓模型在保持原有能力的同時學(xué)會你要的說話方式。我的實(shí)測結(jié)論是在1千到1萬條高質(zhì)量業(yè)務(wù)數(shù)據(jù)下LoRA微調(diào)的效果跟全參微調(diào)已經(jīng)非常接近但訓(xùn)練資源需求卻低了一個數(shù)量級。1. 項(xiàng)目背景與整體設(shè)計思路1.1 為什么選ChatGLM3-6B當(dāng)?shù)鬃疫xChatGLM3-6B有幾個非常實(shí)際的考量。首先是參數(shù)規(guī)??ㄎ缓芎线m6B這個量級既不像70B那樣需要多卡集群伺候也不會像幾百M(fèi)的小模型那樣微調(diào)完還是顯得笨。它在中文上的表現(xiàn)尤其是在指令遵循和上下文理解方面明顯好于同體量的多數(shù)開源模型這對我做的業(yè)務(wù)問答、文本潤色、結(jié)構(gòu)化抽取這類任務(wù)來說特別重要。其次ChatGLM3的對話協(xié)議是固定的一套模版格式。官方微調(diào)腳本里已經(jīng)對這種格式做了完整支持包括system prompt、多輪歷史、工具調(diào)用這些字段。這意味著你在微調(diào)時不需要自己發(fā)明輪子只要把數(shù)據(jù)整理成對應(yīng)的對話結(jié)構(gòu)剩下的交給模型。最后社區(qū)的生態(tài)成熟度也是個隱性優(yōu)勢。transformers、peft、datasets這些主流庫對ChatGLM3支持得很到位踩坑時隨便一搜就能找到答案這一點(diǎn)對新手來說價值很大。說到生態(tài)我還要多提一句很多人以為選底座只看榜單分?jǐn)?shù)但實(shí)際開發(fā)里庫的兼容性和社區(qū)活躍度往往是決定能否按時交付的關(guān)鍵。我早期用過一些小眾模型文檔不全、加載報錯、社區(qū)沒人回答折騰一周還在環(huán)境階段。后來統(tǒng)一收斂到ChatGLM3這類有官方微調(diào)倉庫、有大量第三方教程的模型上交付效率明顯上來了。1.2 選LoRA而不選全參微調(diào)核心邏輯在哪這里我要把方案選型講透因?yàn)楹芏喑鯇W(xué)者上來就糾結(jié)我到底該用LoRA還是全參微調(diào)。我自己的判斷標(biāo)準(zhǔn)很簡單先看你的硬件再看你的數(shù)據(jù)量。全參微調(diào)意味著6B模型的所有參數(shù)都要參與梯度更新。以AdamW優(yōu)化器為例光優(yōu)化器狀態(tài)就要占掉兩倍模型參數(shù)量的內(nèi)存加上模型本身、梯度、激活值一張24G的卡根本塞不下通常需要A100 80G級別的設(shè)備。LoRA的做法是凍結(jié)所有原始參數(shù)只訓(xùn)練插入在attention層里的低秩矩陣。以r8為例ChatGLM3-6B可訓(xùn)練參數(shù)大概只有800萬到1000萬級別只占全部參數(shù)的1%左右。訓(xùn)練時的顯存大頭是模型本身的權(quán)重和推理帶來的激活值所以24G單卡就能很舒服地跑起來。再從數(shù)據(jù)量的角度說全參微調(diào)在數(shù)據(jù)量不足時特別容易災(zāi)難性遺忘——模型把原來的通用能力全忘了只知道你的業(yè)務(wù)話術(shù)。LoRA因?yàn)樵紮?quán)重不動相當(dāng)于在保持常識基礎(chǔ)的同時疊加一個業(yè)務(wù)適配層一千條高質(zhì)量數(shù)據(jù)就能看到效果而且訓(xùn)練完的LoRA權(quán)重只有幾十MB切換任務(wù)時只要把a(bǔ)dapter換掉就行不需要維護(hù)多個完整模型副本。P-Tuning v2也是官方推薦的一種輕量方案它通過在模型輸入側(cè)加連續(xù)型prompt來實(shí)現(xiàn)微調(diào)。但它對長文本、復(fù)雜推理場景的適配不如LoRA靈活而且每次推理都要多走一段連續(xù)prompt的學(xué)習(xí)路徑。我綜合對比后LoRA在大多數(shù)業(yè)務(wù)場景下是性價比最優(yōu)的選擇這也是這篇文章為什么用LoRA來實(shí)戰(zhàn)的原因。2. 環(huán)境準(zhǔn)備與依賴安裝2.1 硬件評估顯存到底怎么算在你開始敲pip install之前先把機(jī)器的情況摸清楚。我的運(yùn)行環(huán)境是這樣的單張RTX 4090 24G系統(tǒng)是Ubuntu 22.04CUDA 12.1PyTorch 2.1。這個配置可以很輕松地跑ChatGLM3-6B的LoRA微調(diào)實(shí)際峰值顯存約21GB左右。如果你用的是16G顯存的卡比如RTX 4080或者4090 Laptop也能跑但要開啟gradient checkpointing并調(diào)小batch size。這里我給大家一個粗略的顯存估算公式。6B模型在FP16下權(quán)重占用約為12GB60億參數(shù) × 2字節(jié)。LoRA訓(xùn)練時這12GB是固定的因?yàn)槟銉鼋Y(jié)了原始權(quán)重額外的開銷來自LoRA參數(shù)、梯度緩存、優(yōu)化器狀態(tài)和激活值。以per_device_train_batch_size1、max_length1024為例激活值大約占3~5GBLoRA參數(shù)及其優(yōu)化器狀態(tài)不到1GB模型梯度凍結(jié)層不需要存基本可忽略。所以整體算下來18~23GB是一個比較現(xiàn)實(shí)的區(qū)間。你準(zhǔn)備硬件之前可以拿這個公式粗算一下別等啟動訓(xùn)練才發(fā)現(xiàn)OOM。如果你只有一張12G的卡也并非完全不行。可以嘗試量化為4bit加載用bitsandbytes配合peft的load_in_4bitTrue把模型權(quán)重壓到3GB左右騰出空間給訓(xùn)練。當(dāng)然4bit量化會稍微損失精度訓(xùn)練出來的效果比16bit略差但確實(shí)能讓你在低端卡上跑通整個流程。2.2 環(huán)境搭建和依賴清單依賴這塊我直接給出經(jīng)過我驗(yàn)證的版本組合避免大家被各庫之間的版本沖突折磨Python 3.10transformers 4.36.0低于4.30會有ChatGLM3的tokenizer兼容問題peft 0.7.0datasets 2.16.0accelerate 0.26.0bitsandbytes 0.42.04bit量化用可選項(xiàng)sentencepiece 0.1.99protobuf 3.20.3這個版本很關(guān)鍵后面的版本會跟ChatGLM的tokenizer依賴沖突創(chuàng)建虛擬環(huán)境后用pip安裝這些包即可。有條件的話我建議用conda裝PyTorch然后pip裝其他庫。conda create -n glm3-lora python3.10 conda activate glm3-lora pip install torch2.1.0 --index-url https://download.pytorch.org/whl/cu121 pip install transformers4.36.0 peft0.7.0 datasets2.16.0 accelerate0.26.0 sentencepiece0.1.99 protobuf3.20.3裝完之后先把模型下載到本地。注意模型文件不小6B的FP16權(quán)重大約12GB提前留好磁盤空間。git lfs install git clone https://huggingface.co/THUDM/chatglm3-6b提示如果網(wǎng)絡(luò)不穩(wěn)定也可以從ModelScope的鏡像倉庫下載代碼上只要把model_name_or_path換成對應(yīng)的本地路徑就行。這一步踩過的坑也順便說一下protobuf版本不對時tokenizer加載會報TypeError: Descriptors cannot not be created directly我當(dāng)時卡了差不多半天最后鎖定到3.20.3才正常。別小看依賴版本微調(diào)項(xiàng)目大部分時間都耗在這些不起眼的小問題上。3. 數(shù)據(jù)準(zhǔn)備與預(yù)處理3.1 數(shù)據(jù)結(jié)構(gòu)讓模型看懂你的業(yè)務(wù)LoRA微調(diào)成敗的第一決定因素是數(shù)據(jù)而不是模型。ChatGLM3-6B的官方微調(diào)腳本期望的數(shù)據(jù)是對話格式的JSON。我通常使用ShareGPT格式每個樣本是一個多輪對話數(shù)組[ { conversations: [ { role: system, content: 你是云運(yùn)維助手熟悉Kubernetes、Docker、Prometheus等工具。 }, { role: user, content: Pod一直處于Pending狀態(tài)我該怎么排查 }, { role: assistant, content: 首先用 kubectl describe pod pod-name 查看事件重點(diǎn)看調(diào)度失敗原因。常見情況包括節(jié)點(diǎn)資源不足、節(jié)點(diǎn)被污點(diǎn)污化、PVC沒有綁定等。 } ] } ]注意這里有幾個細(xì)節(jié)。第一system字段可以顯式設(shè)定人設(shè)這是ChatGLM3相對早期模型的一大增強(qiáng)如果你要的是某個垂直領(lǐng)域的問答助手建議每個樣本都保留這個字段。第二多輪對話要保留完整的上下文不要只給單輪切出來的片段否則模型學(xué)不到記住前文的能力。第三字段名必須是conversations里面每輪的role只能是system、user、assistant三種之一連大小寫都不能錯。對于數(shù)據(jù)量我給個經(jīng)驗(yàn)區(qū)間。如果只是做風(fēng)格遷移或角色扮演兩三百條高質(zhì)量樣本就夠看到明顯變化如果是行業(yè)知識問答建議至少準(zhǔn)備一千條覆蓋主要問法的樣本最好是三千到一萬條的效果更穩(wěn)。數(shù)據(jù)再多的話普通LoRA可能就有點(diǎn)吃力了需要配合增量預(yù)訓(xùn)練或者調(diào)整數(shù)據(jù)采樣策略。3.2 數(shù)據(jù)清洗與質(zhì)量檢查這一步極其容易被忽略但恰恰決定了微調(diào)效果的天花板。我拿到原始數(shù)據(jù)后的處理順序是這樣的先做格式清洗再做內(nèi)容去重最后做質(zhì)量抽檢。格式清洗包括JSON解析驗(yàn)證、剔除空content的樣本、把內(nèi)容中的多余空白和不可見字符清掉、統(tǒng)一全角半角標(biāo)點(diǎn)。很多從業(yè)務(wù)數(shù)據(jù)庫里摳出來的數(shù)據(jù)格式亂得讓人頭大但模型學(xué)的就是這些文本垃圾進(jìn)垃圾出所以這一步不能省。內(nèi)容去重我用的是datasets庫的Dataset.from_list配合簡單的hash去重。因?yàn)橹貜?fù)樣本會在訓(xùn)練時被反復(fù)加權(quán)導(dǎo)致模型對某幾條回答過擬合降低泛化能力。實(shí)際操作中我還遇到過一種隱蔽問題文本內(nèi)容不同但語義高度重復(fù)的樣本比如K8s是什么和Kubernetes是什么同時大量出現(xiàn)這會讓模型對特定說法過度敏感。處理這類問題沒有捷徑只能靠人工抽樣看所以我的習(xí)慣是第一步先按字面去重第二步再抽檢語義重復(fù)率實(shí)在太多就做聚類后挑代表樣本。最后的人工抽檢是必須的。我習(xí)慣從清洗后的數(shù)據(jù)里隨機(jī)抽20~30條逐條看答案是否準(zhǔn)確、是否包含明顯錯誤信息。大模型微調(diào)最怕的就是數(shù)據(jù)本身有毒——模型一旦學(xué)進(jìn)去錯誤知識很難通過后續(xù)手段擦除。這塊用一句話總結(jié)就是寧可少十頁數(shù)據(jù)不要一條臟數(shù)據(jù)。4. LoRA微調(diào)核心實(shí)現(xiàn)4.1 LoRA參數(shù)到底怎么設(shè)在寫代碼之前先得對LoRA的幾個關(guān)鍵參數(shù)心里有數(shù)不然一行代碼都看不懂。LoRA的核心思想是把權(quán)重更新量拆成一個低秩矩陣的乘積即ΔW BA其中B的維度是d×rA的維度是r×k。訓(xùn)練時只更新B和A這個r就是秩。參數(shù)名推薦值作用備注r8低秩矩陣的秩決定可學(xué)習(xí)容量數(shù)據(jù)量大可加大到16新手別一上來就64lora_alpha32縮放因子控制LoRA影響強(qiáng)度和r搭配實(shí)際縮放系數(shù)為alpha/rlora_dropout0.1隨機(jī)失活比例防過擬合數(shù)據(jù)量小、過擬合時加到0.15target_modulesquery_key_value指定插入LoRA的網(wǎng)絡(luò)層ChatGLM3核心attention模塊biasnone是否訓(xùn)練偏置項(xiàng)一般設(shè)為none省參數(shù)省顯存這些參數(shù)不是拍腦袋定的我在不同任務(wù)上做過對比。r8配上alpha32在客服對答、知識抽取、文案改寫這些任務(wù)上都能拿到不錯的效果。如果你想追求更極致的推理速度可以把r降到4alpha調(diào)成16模型體積會小不少但表達(dá)能力的上限也會相應(yīng)降低。另外特別提醒一下target_modules不要亂加。有人為了充分微調(diào)把dense、dense_h_to_4h全都加上結(jié)果訓(xùn)練時間翻倍、顯存暴漲效果卻沒有明顯提升因?yàn)榇蟛糠挚蛇w移的知識就集中在attention層的value投影里。4.2 訓(xùn)練主流程代碼下面直接上核心代碼。首先是加載基座模型和tokenizerimport torch from transformers import AutoTokenizer, AutoModel, TrainingArguments, Trainer from peft import LoraConfig, get_peft_model model_name THUDM/chatglm3-6b tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) model AutoModel.from_pretrained( model_name, torch_dtypetorch.float16, trust_remote_codeTrue, device_mapauto ) # 如果顯存緊張用下面的方式加載4bit量化模型 # from transformers import BitsAndBytesConfig # bnb_config BitsAndBytesConfig(load_in_4bitTrue, bnb_4bit_compute_dtypetorch.float16) # model AutoModel.from_pretrained(model_name, quantization_configbnb_config, trust_remote_codeTrue)然后配置LoRA并注入模型lora_config LoraConfig( r8, lora_alpha32, lora_dropout0.1, target_modules[query_key_value], biasnone, task_typeCAUSAL_LM ) model get_peft_model(model, lora_config) model.print_trainable_parameters() # 輸出類似: trainable params: 8,388,608 || all params: 6,258,278,400 || trainable%: 0.134數(shù)據(jù)處理部分需要把對話樣本拼成ChatGLM3的prompt格式。這里的關(guān)鍵是讓tokenizer正確處理特殊token。我建議自己實(shí)現(xiàn)一個拼接函數(shù)這樣對batch處理更友好ChatGLM3的chat模板長這樣def build_prompt(conversations): system 你是一個智能助手 if conversations[0][role] system: system conversations[0][content] conversations conversations[1:] prompt [gMASK]sop system \n for msg in conversations: if msg[role] user: prompt |user|\n msg[content] |assistant|\n else: prompt msg[content] \n return prompt訓(xùn)練時我們對整條拼接后的文本做tokenize把user部分對應(yīng)的token在labels里設(shè)為-100忽略loss只讓模型學(xué)習(xí)assistant的回答部分。實(shí)現(xiàn)時可以用tokenizer(prompt, return_tensorspt)然后手動構(gòu)造labels數(shù)組凡是user位置的token label都置為-100。接著配置TrainingArgumentstraining_args TrainingArguments( output_dir./glm3-lora-checkpoints, per_device_train_batch_size1, gradient_accumulation_steps8, num_train_epochs3, learning_rate2e-4, warmup_ratio0.03, logging_steps10, save_steps500, evaluation_strategysteps, eval_steps500, fp16True, gradient_checkpointingTrue, report_tonone ) trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, eval_dataseteval_dataset, tokenizertokenizer, ) trainer.train()這些參數(shù)里per_device_train_batch_size1加gradient_accumulation_steps8等效batch size是8但顯存壓力卻被控制得很好。gradient_checkpointingTrue會以少量計算換顯存實(shí)測能省下4GB左右的占用。learning_rate用2e-4是LoRA微調(diào)常見的起點(diǎn)比全參微調(diào)的1e-5到5e-5要大一兩個量級原因很簡單可訓(xùn)練參數(shù)太少學(xué)習(xí)率太小根本學(xué)不動。這個經(jīng)驗(yàn)我在多個模型上驗(yàn)證過用1e-5訓(xùn)練LoRAloss基本貼著原地不動。這里插一句非常重要的經(jīng)驗(yàn)不要盲目開大batch size。LoRA微調(diào)時batch size影響的是LoRA那一小部分參數(shù)的梯度估計8的等效batch已經(jīng)足夠。過大反而讓模型傾向于復(fù)刻訓(xùn)練集的常見回答損失多樣性模型會變得油嘴滑舌但缺乏真正的泛化能力。4.3 訓(xùn)練過程中的幾個坑這塊是純實(shí)操經(jīng)驗(yàn)了。第一個坑是loss不下降或下降極慢。我遇到過最典型的原因就是learning_rate設(shè)成了全參微調(diào)的1e-5LoRA參數(shù)更新本身就小1e-5基本等于沒訓(xùn)練。改成2e-4甚至5e-4后loss明顯開始往下走。排查時先看learning_rate再看target_modules是否正確注入最后看數(shù)據(jù)加載是否真的打到了模型上。第二個坑是顯存突然爆炸。有時候開始訓(xùn)練正常跑了幾百步之后OOM。這一般是激活值累積或者某個batch的文本特別長導(dǎo)致的。我后來習(xí)慣在數(shù)據(jù)集里加一個長度上限過濾比如超過2048 tokens的樣本直接截斷或丟棄訓(xùn)練穩(wěn)定性會好很多。具體做法是在preprocess函數(shù)里判斷l(xiāng)en(input_ids) max_length就跳過。第三個坑是梯度檢查點(diǎn)跟某些庫的兼容問題。如果你在加載模型時用了prepare_model_for_kbit_training又同時開啟gradient_checkpointing在模型反向傳播時可能報RuntimeError: None of the inputs have requires_gradTrue。這個問題的根源是4bit量化后部分參數(shù)被設(shè)為不需要梯度解決方法是確保你只對model.base_model調(diào)用gradient_checkpointing_enable()并檢查所有需要梯度的參數(shù)是否都在LoRA的adapter里。這個報錯信息看著嚇人其實(shí)原因非常具體按這個思路排查基本都能解決。5. 模型評估與推理部署5.1 模型保存與合并訓(xùn)練完成后trainer會直接把LoRA adapter保存在output_dir里。這里面有幾個文件adapter_config.json、adapter_model.bin還有tokenizer相關(guān)文件。adapter_model.bin通常只有幾十MB這就是你辛苦訓(xùn)練的成果。保存LoRA其實(shí)就夠了因?yàn)橥评頃r你可以在基座模型上臨時加載這個adapter。但如果你的最終目的是部署到生產(chǎn)環(huán)境不希望每次啟動都多一步加載adapter的邏輯那就需要把a(bǔ)dapter合并回原始模型from peft import PeftModel model PeftModel.from_pretrained(model, ./glm3-lora-checkpoints/checkpoint-1500) merged_model model.merge_and_unload() merged_model.save_pretrained(./glm3-lora-merged) tokenizer.save_pretrained(./glm3-lora-merged)合并后的模型跟普通ChatGLM3-6B的結(jié)構(gòu)完全一樣只是權(quán)重已經(jīng)被業(yè)務(wù)數(shù)據(jù)微調(diào)過可以用常規(guī)方式加載和部署。這樣在推理服務(wù)里就不需要依賴peft庫也能省掉adapter疊加的運(yùn)行時開銷。如果你的服務(wù)框架不支持peft合并導(dǎo)出幾乎是唯一的選擇。需要提醒的是合并操作會把LoRA權(quán)重加到原始權(quán)重上結(jié)果是一個新的6B完整模型磁盤占用又回到12GB左右。如果你同時維護(hù)多個業(yè)務(wù)場景的LoRA建議保留adapter文件按需加載合并而不是每個場景都存一份完整模型磁盤開銷會大很多。5.2 推理驗(yàn)證效果好不好自己先聊幾輪模型微調(diào)完光看loss曲線是不夠的loss低不代表效果好可能是過擬合了。我自己習(xí)慣先做一組固定的測試問題集蓋上訓(xùn)練分布專門測模型的遷移能力。比如我訓(xùn)練了一個客服助手測試時會問幾個訓(xùn)練數(shù)據(jù)里完全沒出現(xiàn)過的同義問題看它能否給出合理回答。推理測試的代碼很簡單model AutoModel.from_pretrained(./glm3-lora-merged, trust_remote_codeTrue, devicecuda) response, history model.chat(tokenizer, 你熟悉Kubernetes嗎請用一個例子說明Pod調(diào)度原理。, history[]) print(response)測試時重點(diǎn)看三個維度一是回答是否跟業(yè)務(wù)口徑一致二是多輪對話是否還能記得前面的內(nèi)容三是是否出現(xiàn)通用能力退化比如原本能做的數(shù)學(xué)題現(xiàn)在做不出來了。第三個維度很多人會忽略但恰恰是衡量LoRA微調(diào)是否健康的關(guān)鍵指標(biāo)。我在一個項(xiàng)目里就遇到過微調(diào)后模型對領(lǐng)域問題的回答非常漂亮但一讓它算11都開始胡說這就是典型的災(zāi)難性遺忘。解決方案是訓(xùn)練時在數(shù)據(jù)里摻10%左右的基礎(chǔ)通用數(shù)據(jù)效果立竿見影。后來我每次準(zhǔn)備數(shù)據(jù)都會刻意留出這個比例確保模型既懂業(yè)務(wù)又不丟常識。我還會把微調(diào)前后的回答放在一起做對比。用同一組問題先問原版ChatGLM3再問微調(diào)后的模型輸出差異一目了然。這個對比過程不只是看結(jié)果好壞還能幫你理解LoRA到底改了什么。比如我看到過原版模型回答你怎么看云原生時會給出標(biāo)準(zhǔn)百科式的定義而微調(diào)后模型的回答變成了結(jié)合業(yè)務(wù)場景的具體建議這就是LoRA在起作用。6. 常見問題與排查技巧實(shí)錄6.1 顯存不足怎么辦這個問題出現(xiàn)的頻率最高。如果你遇到CUDA out of memory按下面的順序排查確認(rèn)已經(jīng)開啟gradient_checkpointing這是性價比最高的手段。把per_device_train_batch_size降到1。檢查max_length設(shè)置很多數(shù)據(jù)里有個別超長樣本會在某個step突然撐爆顯存可以先把max_length設(shè)成512或768試跑。考慮4bit量化加載模型。我在一張24G卡上用上面的組合可以跑batch_size1 grad_accum8 max_length1024的訓(xùn)練顯存峰值不到22GB。如果這么調(diào)還是OOM那基本得換更大的卡或者減少數(shù)據(jù)長度了不要指望靠玄學(xué)優(yōu)化繞過物理限制。6.2 過擬合與欠擬合怎么判斷過擬合看eval loss。如果訓(xùn)練loss持續(xù)下降但eval loss先降后升那就是過擬合的典型信號。LoRA微調(diào)數(shù)據(jù)量一兩千條時過擬合非常容易發(fā)生。我的對策是加大lora_dropout到0.15降低學(xué)習(xí)率到1e-4訓(xùn)練輪數(shù)減少到2輪同時用early stopping回調(diào)來早停。如果過擬合嚴(yán)重到訓(xùn)練集loss都快到0了建議先別急著調(diào)參回到數(shù)據(jù)處理環(huán)節(jié)看是不是重復(fù)樣本太多、對話模式太單一。欠擬合則相反訓(xùn)練loss降不下去模型的回答還是跟原版差不多。這多半是學(xué)習(xí)率太小、訓(xùn)練輪數(shù)不夠或者LoRA的r設(shè)得太小??梢韵仍囍裭earning_rate提到5e-4觀察幾輪再決定。注意欠擬合和過擬合的調(diào)參方向是相反的別搞混。我見過有人把欠擬合誤判成過擬合加了dropout、降了學(xué)習(xí)率結(jié)果問題越來越嚴(yán)重。6.3 Loss變成NaN或訓(xùn)練崩潰Loss出現(xiàn)NaN最常見的原因是學(xué)習(xí)率過大導(dǎo)致梯度爆炸或者是fp16混合精度下的loss scale出了問題。處理方式先把lr降到1e-5確認(rèn)穩(wěn)定后再往上調(diào)。如果還不行把fp16關(guān)掉用純fp32訓(xùn)練顯存壓力會大但能排除精度問題。另外數(shù)據(jù)里如果混入了特別臟的文本比如超長亂碼也可能導(dǎo)致數(shù)值異常清洗數(shù)據(jù)時要把這類內(nèi)容過濾掉。還有一個容易被忽略的問題tokenizer的pad token沒設(shè)置好。ChatGLM3的tokenizer默認(rèn)沒有pad_token而Trainer在batch時需要對樣本pad到相同長度。解決辦法是在訓(xùn)練前顯式設(shè)置tokenizer.pad_token tokenizer.eos_token不設(shè)置的話可能報錯或訓(xùn)練行為異常這是我見很多人卡住的點(diǎn)。另外如果用了DataCollatorForSeq2Seq記得把paddingTrue開啟否則pad邏輯不會生效。這些小細(xì)節(jié)看著不起眼但往往就是它們決定了你能不能順利跑通一次訓(xùn)練。6.4 訓(xùn)練速度太慢怎么辦如果你覺得訓(xùn)練速度慢先別懷疑顯卡性能大概率是數(shù)據(jù)長度太長或者小batch拖累的。LoRA訓(xùn)練的計算量主要集中在attention的前向反向傳播上輸入token越長計算復(fù)雜度增長越快。我建議先統(tǒng)計一下訓(xùn)練數(shù)據(jù)的平均長度如果大部分樣本都能控制在512 token以內(nèi)就不要把max_length設(shè)成2048白白增加計算量。另外檢查一下數(shù)據(jù)加載是否有瓶頸比如每次都在內(nèi)存里重新讀寫大JSON換成datasets庫的內(nèi)存映射機(jī)制會快很多。還有一個訓(xùn)練加速的技巧在數(shù)據(jù)預(yù)處理時提前把所有樣本tokenize好并緩存到磁盤訓(xùn)練時直接加載預(yù)處理后的token可以省掉運(yùn)行時的tokenize開銷。數(shù)據(jù)量幾千條時這個優(yōu)化不明顯但如果數(shù)據(jù)量到了幾萬條能省下不少時間。我的習(xí)慣是第一次跑數(shù)據(jù)預(yù)處理時花些時間緩存之后每次調(diào)參訓(xùn)練都不用重復(fù)處理數(shù)據(jù)。這些坑回頭看看都不復(fù)雜但確實(shí)會一個接一個地消耗時間。我把它們整理成一張速查表方便你排查現(xiàn)象首要懷疑點(diǎn)處理建議顯存OOM激活值過大開gradient checkpointing、降batch、裁長文本Loss不降學(xué)習(xí)率太小調(diào)大到2e-4乃至5e-4Eval loss反彈過擬合加dropout、減訓(xùn)練輪數(shù)、查數(shù)據(jù)重復(fù)LossNaN學(xué)習(xí)率過大或fp16不穩(wěn)降lr、關(guān)fp16試跑、清理臟數(shù)據(jù)訓(xùn)練報pad相關(guān)錯誤未設(shè)置pad_token顯式設(shè)置tokenizer.pad_token自己在實(shí)際項(xiàng)目里把這一整套流程跑下來之后我最大的體會是LoRA微調(diào)這個事代碼層面還真不難難的是數(shù)據(jù)整理和對效果的系統(tǒng)驗(yàn)證。源碼和參數(shù)照著抄都能跑通可如果你的數(shù)據(jù)是臟的或者壓根沒有一套效果評估方法那微調(diào)出來的模型很可能只是看起來在訓(xùn)練實(shí)際離上線還有很大距離。我現(xiàn)在的固定流程是先花一天整理數(shù)據(jù)再花半天配環(huán)境訓(xùn)練一晚上第二天上午做定向測試對比微調(diào)前后在業(yè)務(wù)問題上的回答差異。這個節(jié)奏在我做過的幾個項(xiàng)目里都挺穩(wěn)定。如果你準(zhǔn)備在自己的場景里上手ChatGLM3-6B的LoRA微調(diào)我建議從小數(shù)據(jù)量開始跑通全流程再逐步加數(shù)據(jù)、調(diào)參數(shù)這樣可以省下很多不必要的試錯時間。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲视频二区| 婷婷色六月| 99热这里只有精品50| 综合99在线| 丁香五月亚洲AV| 超碰在线91| 伊人色综合影院视频| 激情五月色婷婷| 五月天婷婷激情在线色图| 亚洲久艹| 在线成人网址| 激情婷婷内射| 26uuu91| 婷婷玉月丁香五月在线视频| 成人性爱无码| 人妻久久久久久| √天堂资源在线人妻熟女| 亚洲色综久久五月| 亚洲欧洲另类| 五月丁香在线国产| 精品久久久人妻| 婷婷香五月天| www久久99| 亚洲午夜av| 激情六月婷婷| 丁香综合| 婷婷五月天中文字幕| 色五月婷婷影院| 99ri国产在线| 日韩狠狠色婷婷| 色高清无码视频| 色婷婷色婷婷五月| 大香蕉网站,大香蕉综合| 国产超碰在线| 无遮羞AV| 日本视频欧美观看免费| 久99热| 激情综合五月激情XXXX| 久草xx性爱视频| 婷婷色五月色| 久久香蕉影院| 噼里啪啦完整版中文在线观看| 日韩丁香涩| 99久久五月婷婷| 亚洲熟女乱色综合亚洲网站| 丁香午月AV中文字幕| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 国产精品电影| 99视频这里只有久久精品 | 丁香婷婷色色| 欧美激情性做爰免费视频| 婷婷丁香日韩五月| 婷婷丁香五月天影院 | 五月天色色网站| 亚洲丁香五月综合| 五月婷婷影| 婷婷五月天激情电影| 天天操婷婷| 99噜噜| 99色综合| 九九色情网站| 亚洲亚洲人成综合网络| 一二线视频 另类| 色色无码| 亚韩精品视频1区| 亚洲综合网在线| 激情五月婷婷| 久久国产成人9999久久久久| 永久热91| 婷婷天堂综合| 婷婷舔| 噜噜色五月| 婷婷开心深爱五月天| 思思热天天看| 日本成人噜噜噜噜噜| 五月婷婷丁香大陆免费| 婷婷丁香五月天亚洲| 亚洲噜色| 色情久久久| 亚洲精品99| www久久久| 激情六月婷婷| 欧美叉叉叉BBB网站| 欧美性生交xXxX久久久| 婷香狠狠爱五月| 五月伊人婷婷999| 精品爆操| 99热这里只有精品98| 国产Va视频| A一级操| 99色丁香婷婷综合网| 99视频精品全部免费 在线| 六月婷婷日| 色婷婷色五月综合| 久久婷婷丁香| 国产精品久久久爽爽爽麻豆色哟哟| 国产精品天天狠天天看| 大香蕉久久草| 亚洲色a| 激情五月天无人视频在线| Www.狠狠| 91性高潮久久久久久久久| 婷婷九月色| 91操操| 狠狠色噜噜狠狠狠777奇米| 91久久人人操| 色婷婷婷av| 第四色婷婷五月| av性爱网站| 亚洲啪啪啪啪| 五月婷婷婷色| 99热成人永久免费| 婷婷狠狠干| 国产美女视频久| 成人精品在线观看| 涩婷婷视频快播人妻| 中文字幕av亚洲| 婷婷激情五月综合| 综合婷婷都市激情| 疯狂做受XXXX高潮A片| 9999热在线| 97久久精品| 这里只精品| 人人爱人人添| 色色五月丁香| 久久五月天网| 婷婷五月天亚洲丁香| 播播网色播播| 中日韩美欧成人一区二区精品在线 | 五月天激情在线视频| 99色色色色| 91人人操人人| 性爱七区| 激情都市五月天| 99日在线视频| 日韩在线观看亚洲| 久久色五月天激情小说| 老师的粉嫩小又紧水又多A片视频 粉嫩AV久久一区二区三区 | 黄网免费看| 91九色最新视频| 五月婷婷我| 五月丁香啪啪啪| 色99婷婷五月天| 六月婷婷狠狠做| 五月天婷婷久久视频| 狼友超碰| 激情五月天网站| 天天干人人奸97| 久这里只有精品99| 777色色色| 99热网址| 99国产精品久久久久久久久久久| 五月丁香六月婷婷综合| 亚洲第79页| 射婷婷中文字幕| 第四色色六月色综合| 99爽视频| 国产精品18久久久| 天天操天天日天天爱| 深爱激情丁香| 国产永久一黄| 色婷婷五月天激情在线观看| 91九色无码内射| 亚州日本欧州韩美高青高潮一| 人人草人人舔| www.激情.com.| 97久久精品| 久久婷综合网| 激情丁香五月| 婷婷情色五月天| 婷婷五月天电影网| 99情色五月天| 欧美成人性爱网| 丁香五月久久| AAA久久| 天天摸天天透天天舔| 性爱久久| 三级99热| 97碰超级人人看| 久久99热这里只有精品首| 十月丁香婷婷| 人人妻久久妻| 丁香花色色网| 骚逼视频一区2区| 亚洲成人在线播放| 中文字幕一色哟哟哟哟| 丁香九月色| 丁香五月97视频| 激情五月,激情综合网| 九九综合色| 国产综合激情五月久久| 天天爽天天| 色停停香蕉视频| 国内外色色色色色成人视频| 国内在线99视频| 91|九色|动漫| 五月天婷婷丁香蜜桃91| 另类激情五月在线视频欧美| 九热视频这里只有精品| 91日视频| 欧美性猛交XXXX乱大交极品| 天天操天天曰天天射| 激情五月综合网| 五月亭亭六月激情| 久久视频婷婷| 色色色色欧美| 永久免费视频| 天天爽夜夜爽| 色五月激情婷婷| 五月婷婷涩涩爱| 正宗黄色毛片| 久热最新视频| 亚洲精久久| wWwCom夜操wwW| 激情综合4月| 五月婷婷|欧美| 五月丁香激情综合六月涩涩爱| 专区无日本视频高清8| 97碰成超视频免费视频| 天天综合五月天| 伊人久久大香线蕉av一区| 91.com男女操| 思思热在线| 五月丁香啪啪综合网| 综合九九久久| 99精品在线| 可以免费看的av网站| 91久久九| 色综合久久伊伊婷婷五月| wwwC0maV五月花| 激情亭亭五月| 欧美色爱五月天| 五月天婷婷基地| 校园春色亚洲色| 丁香婷婷激情综合五月激情 | 91九九九九九九| 激情综合亚洲| 五月婷婷久久综合| 久久五月天激情| 99久在线精品99re8| 丁香五夜激情四射夜夜夜| 国产9色在线/日韩| www激情com| 日本片日本片祼观看网站在线看中文版网页在线看 | 操丝袜视频影院导航| 激情综合九月| 蜜桃婷婷狠狠久久综合| www.狠狠色.com| www.久久综合| 91久久精品视频| 天天爽—爽| 9精品在线| 五月婷婷影视| 久久在这里有精品| 激情小说视频图片| 六月婷久久| 天天日天天日天天搞| 激情综合亚洲| 久久精品综合色| 婷婷开心青青草| 五月天丁香综合| 日逼影音先锋AV男人资源站| 可以直接看的av网站| 亚洲最大在线| 99精品国产在热久久婷婷| 五月综合六月丁| 狠狠色成人影片| 铁牛TV人妻| 99热这里只有精品2024| 五月综合激情婷婷六月色窝| 丁香五月婷婷久久综合激情网| 性色天| 91男人操女人视频| 亚洲丁香五月美女| 这里只有精品在线免费视频| 久久精品国产精品| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 欧美成人A片AAA片在线播放| A在线观看| 99九九精品视频| 色丁香五月婷婷| 97人人干| 婷婷五月色播放| 色婷婷瘦婷婷日韩| 国产性爱亚洲是图| 9九九久久精品无码专区| 99人这里只有精品| 五月丁香激情综合| 人妻操逼| 丁香久久| 天天噜天天爱| 成人无码髙潮喷水A片| 青青热视频| 免费黄色AV| www,超碰| 五月天婷婷伊人| 色99免费视频中文| 偷拍五月丁香| 一级二级色大片| 丁香五月天AV| 人人综合91网| 九九热在线99| 青青草原伊人网| 四色五月婷婷在线观看| 久久九九99.www| 超碰97久久| 自拍盗摄 另类| 日韩啪啪自拍| 丁香色婷婷| 色婷婷色综合| 噜噜色婷婷| 97超级免费无码| 五月丁香黄色视频| 99久久.www| 婷婷色导航| 久久五月婷婷视频| 色婷婷综合影院| 色玖玖玖| 超碰在线视屏| 色五月婷婷婷婷婷婷婷婷婷婷| 亚洲在线操| 伊人色综合影院视频| 五月天激情图片| 九九99免费理论| 日日.c| 超碰久热| 99久久99久久综合| 丁香婷五月| 婷婷五月丁香基| 天天色综合网1| 婷婷六月成人| 天天爽天天操| 久久久99久久| 97精品人人A片免费看| 激情影院免费视频婷婷五月天 | 色五月亚洲开心网| 久操人| 日日噜噜夜夜狠狠久久丁香六月| 久婷| 免费视频WWW在线观看网站| 26uuuavcom| 99视频免费播放 | 色五月天激情| 婷婷亚洲激情在线观看视频 | 激情色情五月天| 亚洲综合九九| 天天做天天要天天爱| 国产精产国品一二三在观看| 亚洲激情97五月天| 91网站黄| 欧美激情性做爰免费视频| 婷婷五月天激情视频| 99九九99九九九视频精品| 五月丁香激情综合久久| 久久久精品视频79| 亚洲精品白浆高清久久久久久| 久久人妻在线| 丁香五月91| 日韩一级片| 丁香婷婷啪啪啪| 偷拍99在线视频观看| 五月天com| 香蕉久久国产AV一区二区| 婷婷五月天伊人| 99热最新网址| 26UUU欧美激情一区二区| 夜夜撸天天操| 99r这里| 久久精品夜色噜噜亚洲a∨| AV中文在线| 91婷婷五月天综合视频| 激情综合在线播放| www.狠狠操| 五月天成人小说网| 网色99| 中文人妻AV久久人妻18| 99热只有这里有精品| 五月婷色| 色天使色综合| 26UUU精品一区二区| 99色在线观看| 97视频91| 色综合另类| 思思热久久艹| 日韩三级高清无码| 日本WWW九九九| 操国产人妻| 久久婷婷综合拍| 色色操| 丁香婷婷深情五月亚洲| 日本色噜| 先锋资源婷婷| 久久综合婷婷激情| 婷婷久久网| 天天热夜夜操| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 婷婷五月天AV| 另类激情综合| 色五月婷婷丁香婷婷| 久久视频婷婷| 性色九九| 色色婷婷五月天| 天天干天天干天天操| 国产精品色色666| 丁香五月激情综合婷综| 亚洲第一成人无码A片| 操97免费超级视频 | 99久久99久久综合| 婷婷自拍| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 成人一级片| 99热综合在线观看| 开心五月激情网| 婷婷丁香五月激情密臀av| 欧美婷婷五月无砖| 热九九精品| 偷偷操九九| 久久人人妻| 中文字幕 中文字幕明步| 五月激情另类| 欧美日本VA| 97成人超碰免| 类似婷婷激情综合网站| 五月天久久成人| 婷婷久久五月| 99在线热视频| 婷婷色综合中心站| 中文幕无线码中文字蜜桃| 中美日韩成人在线| 天天搞天天色综合| 五月丁香婷婷激情久久| 激情综合啪啪啪| WWW,五月| 99热欧美精品| 久久无意婷婷| 密着浓厚中出乚交尾GvG935| 久色网| 色情五月天丁香社区| aaa日韩| 99精品成人无码A片观看金桔| 丁香五月AV综合激情| 色婷丁香| 淫视馆AV在线| www.99热精品| 五月婷婷精品| 亚洲一区二区 成人网站戴套| 国产69久久久欧美黑人A片| 思思热精品在线视频| 色婷久| 欧美成人性爱网| 五月开心婷婷| 婷婷丁香社区网| AA久久| 9久久网| 免费一区二区三区| 婷婷五月天免费99| 亚洲日韩操B| 激情深爱五月天| 色五月婷婷综合| 影音先锋噜一噜| 99在线免费观看| 色色色色色色色色色色色色色色,网站| 久久九九99字幕| 久久综合热17c| 影音先锋色色色资源色资源色| 色女人久久| 国产亚洲网站在线| 色五月婷婷综合在线| 另类丁香综合| 啪精品| 青青操丝袜美腿| 人人超碰99| 99热个人在线| 婷婷99视频在线| 超碰在线caop| 丁香六月婷婷色XXXX| 极品人妻VIDEOSSS人妻| 无码99| www夜夜| 色情综合| 五月天丁香| 久色激情| 青青草国产亚洲精品久久| 精品人妻伦一二三区久久| 丁香五月影院| 香蕉久久国产AV一区二区| 欧美性猛交99久久久久99按摩| 色婷婷五月天| 色噜噜丁香| 嫩模草| 丁香六月综合| 成人资源在线| 色色丁香色五月| 日韩AV中文字幕在线| 中文字幕性爱视频| aaa久久| 色色丁香婷婷| 另类色视频| 天天人人天天爽| 色五月天综合| 99爱视频免费看| 国产一区18| 日本97在线| 婷婷五月天激情电影| 五月丁香激情四射| 狠狠色综合网| 思思99精品视频在线观看| 南京搡BBBB搡BBBB| 五月天激情啪啪| www,五月天激情| 成人免费va| 国产激情在线| 久久婷婷视频| 日韩久久成人| 中文字幕第四色.999| 亚洲精品网址| 九九五月天| 亚洲欧洲色色| 色五月综合激情| 久久精彩视频| 久久性爱视频| 99热超碰人| 亚洲操B视频| 色欲婷婷五月天| 亚洲综合99| jiujiu无码五区| 婷婷六月天精品| 视频色色色色色色| 99视频35精品视频在线观看| 欧美激情综合| 国产九月婷婷| 综合久久9| 一區四區歐美日韓| 99久在线精品99re8热| 九九热视频在线观看| 五月天激情四射| av亚洲国产小电影| 色综合久久综合| 久草大| 激情亚洲色图片丁香综合| 狠狠做深爱婷婷久久综合一区| 丁香激情五月| 99日这里只有精品| 超碰在线免费| 日本欧美成人片AAAA| 久久综合五月婷婷| 开心久久xxx色| 激情色视频| 97超碰人人操| 丁香花社区av| 色色丁香婷婷综合| 欧美va亚洲va在线播放| 丁香五月日韩| 91 影音先锋| 超碰在线超碰| 色婷婷色五月色丁香| 激情丁香五月婷婷| 99热综合| av第一二区| 日韩一区二区在线播放| 亚洲操操操| 婷婷激情综合网| 婷婷久久天堂网| 大功率国产在线| 五月丁香婷婷激情澎湃四射| 99热这| 99久久久精品| 亚州激情网| 婷婷激情视频欧美视频自拍视频欧美剧| 99视频内射三四| 99A片| 色婷婷在线播放| 综合五月天婷婷色| 国产 码在线成人网站| 新激情婷婷| 婷香五月| 色婷婷五月天视频在线| 五月天激情婷婷| 婷婷丁香大香蕉| 久久九九怡红院| 色五月丁香五月| 99色热| 99热色婷婷| 丁香色啪综合| 丁香五月电影| 亚洲视频1区| 九久九精品| 久久婷五月天| 婷婷五月天AV| 亚洲久久天堂| www色婷婷久久综合久色| 日本高清综合网五月丁香| 久久婷色| 97精品欧美91久久久久久久| 五月天综合激情网| 亚洲亚洲人成综合网络| 五月婷婷三级| 日韩色色视频| 综合狠久久| 丁香五月在线伊人| 97久久草草超级碰碰碰| 人人97操| 人人做人人看人人摸| 涩五月婷婷| 九月婷婷激情| 婷婷激情社区| 色五月丁香A欧美com| 丁香五月婷婷婷婷欧美综合| 丁香五月综合婷婷| 婷婷伊人綜合中文| 丁香六月毛片| 久久丁香五月天| 色丁香五月天| 99.N在线视频| 欧美久人人| 天天干-天天日| 99精在线| 五月激情综合网| 人妻啪啪啪| 性爱激情五月| 婷婷五月天深爱| 色播五月天激情| 大香蕉九九操| 99久在线精品99re8热| 五月婷三级片| 内射激情在线| 蜜臀AV在线观看| 毛片网站谁有| 天天狠天天叉| 激情五月丁香色色去久久| 五月丁香六月婷婷亚洲激情综合| 综合激情五月丁香| 婷婷色女| 激情综合网五月天| 日本三级黄色大片| 九九碰九九爱97超| 99久久五月婷婷| 欧美激情-区二区三区| ..真实国产乱子伦对白在线_欧| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | www.henhenl| 九九青草热| 伊人五月综合网| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 五月综合缴情网| 婷婷五月天99综合网站| 午夜爱爱爱成人| 色婷婷小说| 欧洲精品欧洲情| 99热91| 色狠狠999综合网| 色综合久久久久| 丁香婷婷综合精品六月初| 色情五月丁香| 色情性爱视频网址| 九九香蕉网| 五月丁香网av| 极品人妻VideOssS人妻| 五月丁香婷婷综合在线| 操91| 五月永久激情| 久久久宗合视频88| 天天添天天摸天天天天做| 无码 av电影| 九九热这里只有精品一| 色啦啦视频| 人人摸人人干人人做| 97午夜一区二区| 亚洲六月色| 欧美月久久| 99玖玖在线视频| 综合久久综合久久| 久久精品性爱| 久久久月丁香| 久久婷婷免费| 91婷婷五月天嫩女| 91人人澡人人爽人人看| 91一起操| 精品乱码视频| 亚洲精品一区中文字幕乱码| 婷婷伊人五月| 激情五月婷婷色色| 五月天婷婷AV| 激情五月天婷婷直播| 婷婷激情五月综合| 天天舔天天| av操B网站| 深爱婷婷网| 久综合色| 超碰人妻在线| 这里只有免费的精品| 久久久噜噜噜操操操| 色色99| 色色五月丁香| 情欲禁地| 色五月天成人| 9l视频自拍9l九色成人| 国产欧美精品AAAAAA片| 婷婷五月天激情在线| 久婷婷五月天影院| 亚洲色频| 日撸夜撸日操| 五月天婷婷社区久久综合| 久久九九综合| 色婷婷五月婷婷五月婷婷五月| AV在线二十六页| 成人网在线视频| 91操片| 麻豆AV一区二区三区| 天天谢天天操| 一起草Av| 无码激情AAAAA片-区区| 欧美中文五月天| 中文激情网| 大战熟女丰满人妻AV| 欧洲综合色| 成人网站av免费网站推荐| 99re8在这里只有精品| 丁香色五月婷婷17C| 婷婷欠久少妇| 99色热视频| 午夜美女人啪最红院| 丁香婷婷综合影院| 久久婷婷色| 丁香五月天激情小说| 久操97| 五月丁香六月激情欧美综合| 色婷婷丁香中文在线播放| 色色色五月婷| 中文字幕成人| 色播五月婷婷| 色婷婷基地| 嫩草免费视频| 五月婷婷六月丁香| 色五月丁香六月婷婷| 国产操碰| 婷婷五月天亚洲综合网| av九九| 26uuu欧美激情另类| 五月丁香免费视频| 国产av第一专区| 久久伊人大香蕉| 另类小说婷婷色| 伊人五月综合网| 最近韩国日本免费高清观看| 欧美大道不卡| sS丁香五月婷婷| 99久久亚洲国产| 777精品久无码人妻蜜桃| 欧美成人网99网| wWw色五月| 91好好热日本在线| 蜜桃五月天| 久99久热| 综合激情深爱| 丁香五月成人| 99热 在线播放| 另类小说五月天| 五月婷婷深深爱| 激情黄色小说五月天| 99ri精品视频在线观看| 中文字幕日本最新乱码视频| 538任你爽| 99r这里| 97在线视频观看| 九九热99在线视频| 久久精品99国产精品日本| av在线激情| 五月激情网站| 深爱激情九九五月天| 婷婷五月激情欧美| www.91热久久| 99综合视频一体| 思思热视频| 人人色AV| 五月婷婷干干干| 啪精品| www日本熟妇99在线视频| 激情图片五月天| 国产激情在线| 99re思思热久久| 人妻久久久久久久久妻久久久久| 婷婷激情五月| 99碰网站| 色 噜噜 九月 婷婷| 国产精品18久久久| 激情五月天视频| 五月天综合激情网| www.婷婷.com| 丁香五月婷婷成人网| 久久久久久天天日天天爱| 日韩精品999| 午夜]香婷婷深深爱| 一起草av| 99久久久久| 丁香久久久| 99国产这里只有精品| 亚洲十月婷婷综合| 久久五月天色婷婷| 99在线观看视频| 91人人操人人看| 久久色吧| 1024欧美看片| 岛国在线观看91| 99久热| 亚洲操操| 在线色色| 99精品久久久| 色婷婷五月天| 激情五月婷| 久久人妻伦理| 操射国产日本| 伊人色欲五月天| 激情五月天综合图片小说网站| 99热这里在线精品| 97色婷| 91九色国产在线| www.com任你艹| Av在线不卡一区| 一级片操逼视频| 99视频| 国产午夜精品AV一区二区麻豆| 久久a热| 91操碰| www.超碰在线| 亚洲天堂热| 丁香五月AV| 亚洲成人无码网站| 欧美性爱中文字幕| 丁香六月婷婷久久综合| 色99在线| www.久久99热地址发布| 久婷五月| 少妇激情五月天| 激情五月丁香五月| 99热在线精品观看| 婷婷五月天免费视频| 丁香六月婷婷综合欧美| 天天操天天日天天爽| 色九月激情综合网| 婷婷五月婷婷五月天| 天天久久综合| 婷婷丁香激情五月天色色| 人人操人av| 久久精品视频9| 五月天婷婷丁香社区| 九九机热| 丁香五月电影| 丁香五月天婷婷中文字幕| 激情五月天激情综合网| 色丁香六月| 天天狠狠夜夜狠狠2023| 亚洲人人操| 天天操加勒比| 九九热在线99| 欧美在线视频99| 超碰av在线| 免费看欧美成人A片无码| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品 | 欧美色激情四射| 99久久婷婷综合| 婷婷五月丁香A∨| 99人妻碰碰久久久禁片| 99九九精品视频推荐| av一级棒av| 婷婷综合久久综合| 日韩久综合| 99ri国产在线| 婷婷丁香色五月亚洲| AV天堂淫乩| 婷婷综合网伊人| SESE无码AV| 看国产探花操逼三级片| 五月天啪啪啪| 色婷网| 可以免费观看的av| www婷婷色| 九色PORNY在线精品酒店| 96精品久久久久久久久| 超碰chaompinm| hd五月婷婷在线| 婷婷五月激情视频| 色噜噜狠狠色综合成人网| 色综合久| 91碰免费视频| 婷婷97碰碰| 五月丁香六月婷婷啪啪综合 | 黄色99视频| 狠狠操在线视频| 狠狠久综合| 天天日天天舔| 五月天婷婷久久| http://www.com久久久精品一区| 色在线99| 欧美日韩aaa| 97高清国语自产拍| 99久久色| 99色视频| 五月婷人妻| 国产婷婷五月色情综合| 婷婷色导航| 成人.在线日韩| 五月天激情图片网| 五月婷婷免费在线| 五月婷婷五月天天| 国产亚洲色婷婷久久99精品91| 九九色99| 日韩成人影片网站| 综合性爱网| 99在线爽| 五月花在线观看视频| 天天综合网91| 亚洲综合五月| 久在线综合69| 成人AV在线电影| 色情一区二区播放| 亚欧州精品视频| 少妇2做爰HD韩国电影| www综合久久| 丁香五月天欧洲在线| 五月丁香六月香综合激情| 九九99香蕉在线视频播放| 看逼中文字幕| 开心六月婷| 五月天激情无码专区| a在线观看| 丁香婷婷成年| 五月婷网| www色五月天| 操骚货在线| 偷偷操九九| 伊人影音无码一区二区三区| 色爱亚洲| 婷婷五月色| 免费播放片大片| 深爱激情五月天色婷婷| 婷婷五月丁香久久| 99精日本久久| 99热九九这里只有精品| 久久视频这里99| 日日噜噜夜夜狠狠久久丁香五月| 婷婷激情五月天小说校园| 综合激情婷婷| 性无码专区无码| 久久女婷| 久久婷色| 大香蕉220| 狠狠综合久久| 香蕉AV777XXX色综合一区| 狠狠五月天| 日本久久9| 天干天天干天天天天天| 亚洲激情视频在线观看| 91人人人人人人人| 五月丁香A片| 国产激情综合五月久久| 成人无码精品1区2区3区免费看| 久热69| 99热777| 日本色色网| 99婷婷国产最新视频| 九九精品在线网| 夜夜撸日日操| 婷婷丁香五月天影院 | 五月激情丁香五月| 99∨VTV| 五月天久久婷| 日本高清久久| 欧美激情VA永久在线播放| 色哟呦av| 婷婷五月激情热播| 人人操人人干AV| 色色综合网。| 激情五月六月婷婷综合啪啪| www.99在线| 狠狠色网| 丁香五月婷婷欧美成人色图| 极品人妻VIDEOSSS人妻| 久久丁香五月婷婷| 天天射影院| 色爱爱综合网| 26uuu激情五月天| 激情五月五月婷婷| 3p久久| 深爱婷婷丁香五月激情| 午夜精品久久久久久久爽| 乱码操操| WWW.桔色成人.COM| 久久33视频| 亚洲五月天狠狠| 国产暴力强伦轩1区二区小说| 九九热av| 天天色99| 丁香五月婷婷欧美成人色图| 爱婷婷五月| 乱精品一区字幕二区| 婷婷丁香六月综合激情站| 日本三级中文字幕| 色日本综合| 丁香婷婷深情五月亚洲| 日韩一级淫乱片一区二区三区| 婷婷五月情色| 天天拍天天操| 久久这里只有国产| 久久免片| 变态另类9| 激情综合99| 欧美日韩国产日本精品四虎网网站物| 99热精品6| 操操操B| 综合五月亭亭9| 色噜噜婷婷| 天天日日夜夜爽| 五月丁香婷婷色| 五月玖玖| 91九色丨国产丨爆乳| 久婷久婷| 99啪99| 91在线日本| 97碰人人操| 99热色婷婷| 狠狠穞A片一區二區三區| 亚洲成人av在线播放| 思思热视频在线| 97操碰在线视频| 色五月婷婷在线| 久久嘟嘟丁香| 99re这里只有| 92久操视频| 欧美人妻一区二区| 亲子乱av一区二区三区的| 思思国产99| 99视频综合网| 久久久久久久合一狠狠做深爱| 校园春色亚洲色| 99色在线观看视频| 亚洲AV无码成人电影| 五月成人综合| 欧美激情-区二区三区| 开心激情综合| 9999热在线免费观看| 激情五月丁香社区| 久九色| 色婷婷狠狠| 亚洲 综合中文| 国产暴力强伦轩1区二区小说| 日本va网站| 婷婷久久色五月婷婷久久久| 五月天夜夜爱夜夜操| 婷婷五月丁香第四色超碰在线| 天天爽夜夜爽| 变态另类色图 | 丁香五月天婷婷大香蕉| 五月天色影院| 99热天堂| 日韩啪啪视频| 毛片网站谁有| 午夜少妇在线观看视频| 中文不卡一二区| 激情婷婷22月间| 五月天色影院| 亚洲精品中文字幕成人片| 天天综合五月| 婷婷6月综合网| 大地资源色婷婷视频在线| 亚洲色vA| 久久中国毛毛片爱久久| 精品女人九九九| 五月天婷婷色色| 五月婷激情| 亚洲色婷婷网站| 91国产精品视频播放| 五月天播播中文字幕| 久久婷婷热| 久久久婷婷| 五月激情黄色小说| 婷婷久久图片| 婷婷色情网| 98毛片| 久久密臀婷婷| 日韩另类在线观看| 五月天六月丁香| 国产精品色情AAAAA片软件| 亚洲亚洲永久无码777777| 久久新地此| 亚洲1区| 人人做天天爱| 丁香婷婷五月六月久久| 欧美日韩99| Www.婷婷五月| 精品久久婷婷| 五月丁香六月婷婷网| 91婷婷五月天综合视频| 无码一级片| 九色视频91| 婷婷五月天人妻| 婷色视频| 丁香五月天精品| 极品嫩草| 另类专区在线观看| 伊人成人宗合网| 欧美日韩国产日本精品四虎网网站物 | 天天射综合网站| 色播五月丁香婷婷| 99综合成人视频在线观看| 婷婷丁香人妻天天爽| 婷婷丁香六月影视| 亚洲无码AV片| 亚洲六月色| 99人人操人人摸| 一本久道综合99| 麻豆AV一区二区三区| 五月天婷婷社区| 六月亚洲婷婷6月中文字幕| 五月停性愛| 久操激情| 色五月婷婷激情五月| 人妻中文字幕精品| 丁香五月社区| 五月婷婷激情中心| www999日韩精品| 色狠狠婷婷| 97久久人人操| 色宗合久久五月婷婷| 91色在线| 狠狠插.com| 99ri在线观看视频| 五月丁香AV在线| 另类图片天天影视在线观看| 六月五月天婷婷涩播在线| 欧美在线97| 嫩BBB槡BBBB搡BBBB视频| 色色五月天丁香婷婷| 无码AV久久久久久久久| 婷婷激情在线| 婷婷天天综合| 九月影院義母在线播放| 伊人香大香蕉视频| 中文字幕成人| 99热这里只有精品搜| 婷婷丁香色五月亚洲| 成人 九九九九| 成人综合网站| 夜夜资源站| 男女久久婷婷五月天| 人人操人人操919999| 婷婷情色五月| 丁香五月天社区| 天天插天天日| 五月丁香激情在线| 玖玖综合色| 婷婷婷五月香蕉| 九月婷婷久久| 狠狠插狠狠插| 综合性视频99| 91狠狠综合久久久| 超级碰碰碰久久网站| av在线资源| 色婷婷的五月天| 襙比视频| 99热免费精品热久久66| 色综合狠狠色| 五月婷婷欧洲| 日日夜夜狠狠| 久久九九网| 五月天网站亭亭| 第四色婷婷最爱| 午夜激情婷婷| 亚洲天堂九九九| 成人美女网| 激情五月丁香五月| 婷婷刺激综合| 五月丁香六月香综合激情| 综合久色五月| 少妇高潮一区二区三区99欧美| 影音先锋天天日| 99精品成人无码A片观看金桔 | 五月天婷婷影院影院观看| 六月婷婷无码观看| 色色操| 任你操精品免费| 五月婷婷综合成人| 色偷偷AV亚洲男人的天堂| 丁香五月在线观看| 六月婷婷在线| 天天久久综合| 五月天婷婷日日爱| 另类图片激情五月| 99爱在线| 精品无码久久久久久久久 | 操操国产| 香蕉久久国产AV一区二区| www.色色五月天.com| 色色色免费视频| 99精品视频免费观看,| 九九热AV| 欧美日韩国产一区| 91色欲综合| 伊人网色婷婷五月天| 五月天婷婷久久| 操97| 五月丁香在线| xfplayav在线| 欧美久久五月婷婷| 色丁香五月天射婷婷爱婷婷| 91丨九色丨东北熟女| 亚洲成人AV一区在线观看| 超碰9799| 日韩视频99| 任你日视频| WWW免费视频碰碰碰碰| 99精品在这里| 精品一区二区三区木瓜| 五月婷婷色男女| 天天做天天爱天天日| 操碰91| 五月丁香久久网| 99碰网站| 色婷婷五月成人网| 亚洲av无码精品色午夜| 久久久噜噜噜www成人| 综合五月激情| 少妇性按摩无码中文A片| 日本久久99| 天天综合网在线| 99久久极情精品一区| 欧美日韩成人| 啪啪91| 丁香五月在线播放| 丁香五月五月婷婷| 天天干天天操天天拍| 伊人啪啪网| 亚洲99热| 五月天婷婷色色| 开心婷婷五月| 人妻久久久| 天天插天天射| 色五月婷婷网| 天天日天天操心| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 精品在线网站| 99ri视频| 日本狠狠网| 开心婷婷中文字幕| 色情久久久| 超碰人人操人人干| 亚洲成人综合在线| 人妻AV在线观看| 五月婷婷影院| 精品人妻伦一二三区久| 成人AV在线电影| 内射人妻视频国内| 婷婷丁香六月天| 五月婷婷 婷婷五月 一区二区 久久久 | 91色色色| 成人网站在线观看视频| 任你爽视频| oumeisesewang| 狠狠色婷婷丁香六月| 99爱免费在线观看| 久久这里99| 色色综合网络| 九九 激情 网| 色播播五月| 亚洲第一黄网| AV中文在线|