欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

QLoRA單卡微調(diào)實(shí)戰(zhàn):4-bit量化與低秩適配讓7B模型訓(xùn)練不再OOM

QLoRA單卡微調(diào)實(shí)戰(zhàn):4-bit量化與低秩適配讓7B模型訓(xùn)練不再OOM 1. 為什么要糾結(jié)單卡微調(diào)算力門檻與QLoRA的破局思路去年年底我接手一個內(nèi)部對話系統(tǒng)優(yōu)化任務(wù)第一版方案用了全參微調(diào)結(jié)果直接被顯存問題卡住。手頭只有一張24GB的卡加載7B模型的全量權(quán)重就逼近20GB更別提反向傳播時激活值、梯度和優(yōu)化器狀態(tài)的額外開銷。模型甚至還沒開始訓(xùn)練OOM已經(jīng)先來問候了。身邊不少同學(xué)遇到同樣的情況——最流行的開源模型動輒7B、13B起步單卡跑推理勉強(qiáng)及格微調(diào)就是一個奢侈的愿望。后來切換到QLoRA之前那個幾乎判了死刑的項(xiàng)目才真正跑起來。QLoRA全稱是Quantized Low-Rank Adaptation核心思路是先對預(yù)訓(xùn)練模型做4-bit量化壓縮再在低秩層面插入可訓(xùn)練的適配器。一句話概括把模型凍在低精度位寬下只在旁邊搭一條輕量的可訓(xùn)練支路。這樣做不會對原始權(quán)重做任何梯度更新因此優(yōu)化器狀態(tài)、梯度這些顯存大戶全部被排除在主干之外顯存占用大幅下降。我之前也試過直接用LoRA它本身已經(jīng)很省顯存但FP16下基座模型權(quán)重仍然占著一大塊空間。QLoRA更進(jìn)一步把基座壓到4-bit后又用分頁優(yōu)化器管理偶發(fā)的顯存波動硬生生把門檻往下拉了一檔。在同一張顯卡上體驗(yàn)非常明顯7B模型從推理勉強(qiáng)、微調(diào)妄想變成訓(xùn)練輕快、還有余力跑驗(yàn)證。這篇文章不聊空泛概念直接給一套可以照抄的單卡微調(diào)作業(yè)。核心內(nèi)容包括QLoRA省顯存的底層原理、環(huán)境依賴的坑、訓(xùn)練腳本每個參數(shù)的含義以及我在幾個主流模型上實(shí)測的顯存與效果數(shù)據(jù)。無論你是剛接觸LLM微調(diào)的新手還是被OOM困擾已久想找替代方案的老手這篇都值得花幾分鐘看完。2. 顯存賬本參數(shù)凍結(jié)、4-bit量化、低秩適配如何疊出省顯存三重奏很多人以為QLoRA只是LoRA加個低精度實(shí)際上這里面的變化并不像看起來那樣簡單。它里面至少疊加了三層省顯存機(jī)制每層都有自己的貢獻(xiàn)。2.1 第一重低秩適配器把訓(xùn)練參數(shù)從億級降到百萬級LoRALow-Rank Adaptation的核心操作是在原模型權(quán)重旁邊掛兩個小矩陣。如果原矩陣是d×dLoRA不直接更新全部參數(shù)而是訓(xùn)練兩個小矩陣Ad×r和Br×dr通常只有8、16、64。前向傳播時輸出變成原權(quán)重輸出加上AB組合的增量。這個低秩假設(shè)來自于一個經(jīng)驗(yàn)觀察大語言模型在下游任務(wù)上的參數(shù)變化本身處在一個很低的固有維度中并不需要動全量參數(shù)。以7B模型為例全參微調(diào)要更新70億個參數(shù)LoRA通常只訓(xùn)練一兩千萬個參數(shù)參數(shù)量縮了三十到五十倍。訓(xùn)練過程中只有這兩個小矩陣有梯度和優(yōu)化器狀態(tài)顯存壓力從源頭下降一個量級。更妙的是基座權(quán)重完全凍結(jié)不參與計(jì)算圖更新在顯存里它只需要存放一份前向推理的數(shù)據(jù)不用額外預(yù)留梯度空間。2.2 第二重4-bit量化讓基座權(quán)重瘦身到八分之一光有LoRA還不夠因?yàn)閮鼋Y(jié)的基座權(quán)重本身也有體積。FP16下一個參數(shù)占2字節(jié)7B模型光權(quán)重就是14GB這還沒算KV Cache和中間激活。QLoRA的關(guān)鍵在于把基座模型量化到4-bit一個參數(shù)只占0.5字節(jié)同樣是7B模型權(quán)重體積直接降到3.5GB左右整卡顯存開銷立刻舒服了很多。這里要注意的是QLoRA用的不是普通4-bit量化而是專門為LLM設(shè)計(jì)的兩項(xiàng)技術(shù)其一4-bit NormalFloatNF4。它基于分位數(shù)量化把數(shù)值映射到正態(tài)分布的分位數(shù)上。相比傳統(tǒng)均勻量化NF4在權(quán)重分布接近正態(tài)的Transformer層中保留了更多有效精度。實(shí)際體感是在多數(shù)評測集上NF4的困惑度劣化明顯小于直接砍到4-bit整型。其二雙量化Double Quantization。量化過程本身需要保存一組量化常數(shù)scale和zero-point這組常數(shù)如果用FP32存也是一筆不可忽視的開銷。QLoRA把這組常數(shù)再做一次8-bit量化整體省下大約0.37GB/7B模型的額外顯存。這招非常摳門但積少成多在24GB卡上影響不小。這兩項(xiàng)經(jīng)過HF社區(qū)廣泛驗(yàn)證你不需要自己重新訓(xùn)練量化器直接用官方封裝就能拿到質(zhì)量不錯的4-bit基座。2.3 第三重分頁優(yōu)化器解決梯度的偶發(fā)尖峰訓(xùn)練過程中最大的顯存刺客不是常態(tài)數(shù)據(jù)而是偶爾出現(xiàn)的顯存尖峰——某個batch里偶然出現(xiàn)特別長的序列或某個層的梯度異常膨脹瞬間把顯存推上去。傳統(tǒng)優(yōu)化器只能看著OOM干瞪眼。QLoRA結(jié)合了分頁優(yōu)化器的設(shè)計(jì)思路它借鑒了操作系統(tǒng)虛擬內(nèi)存的分頁機(jī)制。當(dāng)顯存不足時優(yōu)化器狀態(tài)會暫存到CPU內(nèi)存等顯存釋放后再自動換回GPU。實(shí)際操作中這套機(jī)制極少被觸發(fā)但它成為一道安全網(wǎng)給本來就捉襟見肘的單卡場景提供了兜底保護(hù)。這三重機(jī)制疊加后顯存賬本從模型權(quán)重梯度優(yōu)化器狀態(tài)激活值變成了4-bit權(quán)重小型低秩矩陣梯度小型優(yōu)化器狀態(tài)激活值。以7B模型為例4-bit基座約3.5GBLoRA參數(shù)不到0.2GB中間激活取決于上下文長度通??刂圃?~4GB以內(nèi)??傦@存占用大約6~8GB這就是24GB卡可以真正跑起來的原因。3. 環(huán)境準(zhǔn)備與模型選型哪些坑不踩后面能少折騰一天3.1 硬件的真實(shí)底線不是看顯存大小寫這篇文章之前我看到不少教程說QLoRA只需要8GB顯存就能微調(diào)7B模型。這句話理論上成立但實(shí)際使用中體驗(yàn)不太一樣。我個人的建議是模型規(guī)模最低顯存理論推薦顯存順滑上下文長度限制1B類小模型4GB6~8GB可開8K7B類主流模型8GB12~16GB建議不超過4K13B模型12GB24GB建議不超過2K70B模型48GB64GB極限制約8GB能跑7B純推理但要加LoRA訓(xùn)練建議還是準(zhǔn)備12GB起步。理由很簡單訓(xùn)完要留空間跑驗(yàn)證和推理采樣8GB卡在batch size1、max_seq_len2048的情況下都已經(jīng)非常逼近極限稍微出現(xiàn)序列長度波動就直接OOM。3.2 依賴版本搭配這里坑最密集環(huán)境裝好后報(bào)錯大半來自版本不匹配。我這里給出一套我反復(fù)驗(yàn)證過可以穩(wěn)定運(yùn)行的組合Python 3.10 或 3.11CUDA 11.8 或 12.1 均可注意驅(qū)動不要太老PyTorch 2.x2.1以后對顯存管理有明顯優(yōu)化transformers 4.35peft 最新版0.7以上bitsandbytes 0.43acceleratetrl如果你打算用SFTTrainer做指令微調(diào)datasets用于加載訓(xùn)練數(shù)據(jù)可選flash-attn 2如果訓(xùn)練速度太慢值得裝這里提一個容易踩的坑bitsandbytes版本與CUDA版本的匹配非常敏感。如果導(dǎo)入庫時報(bào)CUDA SETUP: TODO或者libbitsandbytes_cuda117.so not found這類錯誤第一反應(yīng)不是重裝CUDA而是檢查bitsandbytes是不是與你當(dāng)前的PyTorch/CUDA版本匹配。我建議通過from bitsandbytes.cuda_setup import get_cuda_version之類的接口查看編譯信息也可以直接卸載后pip install --upgrade bitsandbytes拉最新版編譯包。另外transformers版本也不能太舊因?yàn)?-bit量化依賴BitsAndBytesConfig這個類在較新的transformers中才被完整支持。老版本在某些模型上會靜默降級回8-bit甚至FP16你以為在用QLoRA實(shí)際顯存占用根本沒降。3.3 模型選型的一個建議從指令微調(diào)版本入手很多QLoRA教程讓你直接加載基座模型去微調(diào)。但如果你做的是對話任務(wù)我更推薦用已經(jīng)經(jīng)過Chat/Instruction版本作為底座。原因很樸素基座模型在對話格式上沒有基礎(chǔ)你要同時教它格式和任務(wù)目標(biāo)QLoRA本身的容量有限學(xué)習(xí)負(fù)擔(dān)更重。而指令微調(diào)過的模型已經(jīng)會用問答格式輸出你只需要注入特定領(lǐng)域知識收斂速度和效果通常都會更好。比如做中文領(lǐng)域任務(wù)可以根據(jù)你的業(yè)務(wù)場景從Hugging Face上選合適的指令微調(diào)版本。需要注意驗(yàn)證其許可證是否允許商用或自定義二次微調(diào)不同的模型條款差異比較大這塊建議正式開發(fā)前弄清楚。4. 核心腳本拆解從四比特基座到可訓(xùn)練適配器的完整組裝流程理論部分說完了真正動手時最關(guān)鍵的環(huán)節(jié)就是把訓(xùn)練腳本的每一行看明白。我直接給出一套修改過多次、已經(jīng)跑通幾個模型的模板然后逐段講透參數(shù)意圖。4.1 基礎(chǔ)準(zhǔn)備加載4-bit基座模型import torch from transformers import ( AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig ) bnb_config BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_quant_typenf4, bnb_4bit_use_double_quantTrue, bnb_4bit_compute_dtypetorch.bfloat16, ) model AutoModelForCausalLM.from_pretrained( model_name, quantization_configbnb_config, device_mapauto, trust_remote_codeTrue, ) tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue)幾個關(guān)鍵參數(shù)逐一說一下load_in_4bitTrue告訴transformers按4-bit方式裝載權(quán)重。這是開啟整條QLoRA鏈路的核心開關(guān)。bnb_4bit_quant_typenf4指定用NF4量化。另一個選項(xiàng)是fp4兼容性更好但精度稍低。不是特殊需求直接用nf4即可。bnb_4bit_use_double_quantTrue開啟雙量化。能把量化常數(shù)二次壓縮省顯存建議開著。bnb_4bit_compute_dtypetorch.bfloat16這一項(xiàng)常被忽略但它決定計(jì)算精度?;鶛?quán)重以4-bit存儲但做矩陣乘法時會被臨時反量化到bfloat16/float16來運(yùn)算以保證訓(xùn)練穩(wěn)定性。如果計(jì)算精度設(shè)成float32反量化的臨時張量會變大顯存優(yōu)勢減弱一半。這里還想多提一句用device_mapauto時模型會被自動分布到GPU和CPU上以顯存容量為優(yōu)先。如果你希望在單卡上強(qiáng)制完整加載也可以手動指定device_map{: 0}。單卡場景下這兩種寫法效果接近但后者的顯存分配路徑更明確適合想精細(xì)控制的時候使用。裝載完成后建議做一個簡單打印檢查print(model.hf_device_map) print(model.memory_usage)這一步能確認(rèn)模型權(quán)重確實(shí)進(jìn)入了量化后的瘦身狀態(tài)。如果意外看到模型被分配到CPU上的層數(shù)過多訓(xùn)練速度會非常受影響。4.2 LoRA配置r、alpha和target_modules的選擇邏輯基座就位之后接下來掛LoRA適配器。以下是我常用的配置from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training model prepare_model_for_kbit_training(model) lora_config LoraConfig( r16, lora_alpha32, target_modules[q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj], lora_dropout0.05, biasnone, task_typeCAUSAL_LM, ) model get_peft_model(model, lora_config) model.print_trainable_parameters()這里幾個參數(shù)怎么理解r是LoRA矩陣的秩直接控制可訓(xùn)練參數(shù)量。r16在7B模型上大約引入一千萬到兩千萬可訓(xùn)練參數(shù)性價(jià)比比較高。r8更省顯存但表達(dá)容量變小r32表達(dá)更強(qiáng)但顯存和訓(xùn)練時間同步增加。我的經(jīng)驗(yàn)是先從r16開始如果訓(xùn)練損失降不下去再往32調(diào)始終把r16作為第一基準(zhǔn)。lora_alpha是縮放因子實(shí)際生效的LoRA增量為(alpha / r) * AB。alpha設(shè)置為r的兩倍是一種常見起始配置。重點(diǎn)提醒a(bǔ)lpha不是越大越好。它調(diào)大相當(dāng)于放大了適配器的初始學(xué)習(xí)率如果任務(wù)數(shù)據(jù)量不大很容易出現(xiàn)訓(xùn)練后期損失震蕩。target_modules決定哪些模塊掛LoRA。對LLaMA類架構(gòu)常見配置是投影矩陣q/k/v/o和MLP部分的gate/up/down。更激進(jìn)的做法是連embedding層也加入訓(xùn)練但實(shí)際收益不顯著顯存開銷卻明顯增加。這里給出一個通用原則優(yōu)先覆蓋attention和MLP的核心線性層覆蓋全比覆蓋精更重要某些層分支以后發(fā)現(xiàn)效果不行再精簡也不遲。prepare_model_for_kbit_training這行必須講清楚它會做兩件事一是把已經(jīng)量化過的模型基座內(nèi)部所有參數(shù)設(shè)置為requires_gradFalse二是把輸入層的數(shù)據(jù)類型統(tǒng)一到計(jì)算精度比如bfloat16避免因量化反序列類型不一致導(dǎo)致前向傳播報(bào)錯。漏掉這行會在訓(xùn)練啟動后不定時爆出LayerNorm kernel error或者expected scalar type Half but found Float一類的底層錯誤。最后model.print_trainable_parameters()會打印類似trainable params: 16,384,512 || all params: 6,742,327,296 || trainable%: 0.2430的信息??吹娇捎?xùn)練占比在0.1%~0.5%之間說明LoRA裝配成功。4.3 訓(xùn)練器參數(shù)batch、梯度累積與學(xué)習(xí)率調(diào)節(jié)模型裝好了下一步是配置訓(xùn)練參數(shù)。建議直接使用TRL中的SFTTrainer它專門為指令跟隨類微調(diào)做了封裝省去自己寫數(shù)據(jù)整理的麻煩from trl import SFTTrainer from transformers import TrainingArguments training_args TrainingArguments( output_dir./output, per_device_train_batch_size2, gradient_accumulation_steps8, gradient_checkpointingTrue, learning_rate2e-4, num_train_epochs3, logging_steps10, save_steps200, save_total_limit3, remove_unused_columnsFalse, fp16True, report_tonone, optimpaged_adamw_8bit, warmup_ratio0.03, lr_scheduler_typecosine, ) dataset load_dataset(json, data_filesyour_data.jsonl, splittrain) trainer SFTTrainer( modelmodel, argstraining_args, train_datasetdataset, tokenizertokenizer, max_seq_length2048, dataset_text_fieldtext, )這里面的核心動作再說透一點(diǎn)。per_device_train_batch_size配合gradient_accumulation_steps。單卡場景batch不能設(shè)太大2是7B模型上比較安全的值。很多人看到batch2就擔(dān)心效果不好其實(shí)這里的等效batch_size等于2×816只是在梯度累積中把大batch拆成了若干個小的前向-反向步驟。注意梯度累積會增加訓(xùn)練時間但它能緩解單卡小batch帶來的訓(xùn)練不穩(wěn)定問題同時把有效優(yōu)化步數(shù)保持在合理范圍。gradient_checkpointingTrue繼續(xù)省顯存。它在前向傳播時只保存少量中間結(jié)果反向傳播時重新計(jì)算激活值。代價(jià)是訓(xùn)練速度下降約30%但顯存節(jié)省非??捎^。沒有它長序列微調(diào)大概率還是站不住。optimpaged_adamw_8bit正是前面提到的分頁優(yōu)化器。傳統(tǒng)AdamW優(yōu)化器狀態(tài)要占用兩倍參數(shù)量的顯存先用8-bit把狀態(tài)壓縮到原來的四分之一再用分頁機(jī)制兜底顯存尖峰在QLoRA流程中屬于標(biāo)配設(shè)置。max_seq_length2048不是越大越好。長度翻倍激活值顯存也大約翻倍。如果訓(xùn)練數(shù)據(jù)多數(shù)是短文本開4096純屬浪費(fèi)。先按數(shù)據(jù)分布取p95分位再往上加一檔余量是比較務(wù)實(shí)的選法。dataset_text_fieldtext是SFTTrainer特定的文本字段指定它會把數(shù)據(jù)自動按塊切分并拼接成模型輸入的格式。如果你的數(shù)據(jù)已經(jīng)是小塊獨(dú)立問答對不想被自動拼接打斷可以提前把數(shù)據(jù)拼成帶模板的文本交給這個字段處理。整理好后啟動訓(xùn)練觀察loss曲線。正常情況下第一輪loss就應(yīng)該有明顯下降到第二輪后半段逐漸平穩(wěn)。如果loss一直不降先回頭檢查是不是learning_rate設(shè)太高或數(shù)據(jù)格式本身有問題不急著動r和alpha。5. 實(shí)測數(shù)據(jù)常見模型在單卡上的顯存占用與微調(diào)效果只看參數(shù)配置還不夠直接看實(shí)測更有說服力。我將同樣的LoRA配置r16, alpha32, batch2, max_seq_len2048分別跑在幾個常見模型上24GB單卡環(huán)境下獲得如下數(shù)據(jù)基座模型量化顯存占用微調(diào)額外顯存總顯存峰值單步耗時7B級別1B級模型0.8GB2~3GB約3.5GB約0.8秒7B級模型LLaMA類架構(gòu)4.2GB4~6GB約10GB約1.5秒13B級模型7.8GB7~10GB約18GB約2.8秒70B級模型需雙卡或多卡35GB10~15GB/卡約48GB數(shù)秒級幾點(diǎn)實(shí)踐感受7B模型在24GB卡上最從容batch2、seq_len2048下還有余量把batch提到4甚至開8K上下文也能勉強(qiáng)塞進(jìn)去。如果你現(xiàn)在不確定從什么規(guī)模下手7B是安全牌。13B模型在24GB卡上能用但基本到了極限。max_seq_len超過4096容易觸發(fā)分頁機(jī)制把優(yōu)化器狀態(tài)暫時挪到CPU內(nèi)存性能明顯下降。日常實(shí)驗(yàn)建議控制在3072以下。微調(diào)效果方面幾個領(lǐng)域的區(qū)分度很直觀。代碼生成任務(wù)中7B經(jīng)過QLoRA后的效果能逼近同模型全參微調(diào)九成以上套入特定知識問答時效果與全參微調(diào)的差距會稍微拉大但遠(yuǎn)強(qiáng)于直接套提示詞模板。LoRA容量本身是有限的如果真的遇到復(fù)雜推理任務(wù)需要同步考慮用更大的基座模型配合數(shù)據(jù)篩選而不是一味堆訓(xùn)練時長。6. 推理階段處理微調(diào)完的模型如何保存、加載和實(shí)際使用訓(xùn)練結(jié)束后最常見的新手操作是把整個model直接save_pretrained下來得到一個完整的量化模型。這實(shí)際上是冗余的你只是訓(xùn)練了LoRA適配器沒必要把幾GB的基座權(quán)重再復(fù)制一份。更標(biāo)準(zhǔn)的操作是model.save_pretrained(./output/lora_adapter) tokenizer.save_pretrained(./output/lora_adapter)這樣保存下來通常只有幾百M(fèi)B只包含可訓(xùn)練的LoRA權(quán)重。下次推理時先加載4-bit基座再掛載LoRA適配器from peft import PeftModel base_model AutoModelForCausalLM.from_pretrained( model_name, quantization_configbnb_config, device_mapauto, ) model PeftModel.from_pretrained(base_model, ./output/lora_adapter) model model.merge_and_unload()這里解釋一下merge_and_unload。它會嘗試把LoRA增量合并回基座權(quán)重然后卸載掉Peft封裝。合并后模型的推理速度通常比基座LoRA前向增量的組合方式更快因?yàn)樗辉偈莾蓷l支路相加而是直接使用融合后的權(quán)重矩陣做單次乘法。有一個舊版本遺留問題值得注意某些情況下4-bit量化基座不支持直接merge因?yàn)楹喜⒑蟮慕Y(jié)果無法無損地再塞回4-bit存儲。如果merge時報(bào)類型錯誤可以放棄merge用原始的PeftModel包裝層直接做生成效果一樣只是單次前向略慢一點(diǎn)。合并后是否需要重新量化我的建議是如果最終模型要部署到低資源環(huán)境先merge成FP16再量化成4-bit是比較穩(wěn)妥的路線。直接在4-bit基座上merge某些模型會出現(xiàn)導(dǎo)出的文件類型混亂。如果你只是本地實(shí)驗(yàn)驗(yàn)證效果不merge、直接加載LoRA層運(yùn)行生成也沒問題。另一個小細(xì)節(jié)推理時的do_sampleTrue、temperature0.7、top_p0.9這類生成參數(shù)未必適用于你自己的任務(wù)。做知識問答時temperature設(shè)低一點(diǎn)0.2~0.3更可控做創(chuàng)意寫作再拉高。不要照抄網(wǎng)上生成參數(shù)模板。7. 微調(diào)之外的擴(kuò)展合并LoRA、多輪對話格式與硬件升級判斷回到這個主題的邊界。QLoRA解決的是有卡但不夠用的困境但它不是一個萬能答案。如果你后續(xù)有更強(qiáng)的算力全參微調(diào)肯定更好——因?yàn)榭捎?xùn)練的參數(shù)量更多、對特定任務(wù)的擬合上限更高、對數(shù)據(jù)分布的適配也更深。QLoRA的價(jià)值是讓大多數(shù)只有單卡的個人開發(fā)者和中小團(tuán)隊(duì)也能在一個晚上迭代出能用的垂直模型。這個能用和上限更高之間的取舍取決于你的業(yè)務(wù)目標(biāo)——是快速做出一個Demo還是要追求該基座模型在某條數(shù)據(jù)分布上的極致表現(xiàn)。實(shí)際開發(fā)中另一個常見需求是把LoRA合并進(jìn)基座后做私有化部署。前面提到合并且重新量化后部署比部署原Peft形式的模型要省心很多——沒有額外依賴也不用處理加載時各種封裝層的兼容問題。我在多輪對話項(xiàng)目的二次開發(fā)中發(fā)現(xiàn)把上個session的對話歷史拼進(jìn)text字段本身就是一個微調(diào)可優(yōu)化點(diǎn)。與其設(shè)定一堆多輪模板參數(shù)不如直接在數(shù)據(jù)里體現(xiàn)多輪樣式讓模型在訓(xùn)練中自然學(xué)習(xí)對話結(jié)構(gòu)。這個思路對任意基座模型都適用碰到什么參數(shù)沒效果時先回頭審視數(shù)據(jù)的組織方式。8. 踩過的坑和最后的一點(diǎn)心得文章最后把實(shí)際使用中遇到頻率較高的幾個問題列出來免得后面的人再繞路??右籓OM發(fā)生在評估階段而不是訓(xùn)練階段。訓(xùn)練loss正常但eval時突然OOM多半是評估batch設(shè)置太大評估時沒有開啟gradient_checkpointing。解決方法是把eval_batch_size降成1或者把評估的max_length限制到訓(xùn)練長度以內(nèi)。評估時的KV Cache開銷往往比訓(xùn)練想象中還高??佣炕? 多GPU時device_map分配不均。如果機(jī)器上有兩塊卡device_mapauto有時會把模型按層數(shù)大致對半分配而QLoRA的LoRA參數(shù)全部跟著基座層走導(dǎo)致一塊卡只負(fù)責(zé)前向計(jì)算的一部分層另一塊卡反而承擔(dān)了主要權(quán)重顯存利用率不均衡。解決方案是啟用transformers的uniform_device_map策略或者干脆用單卡訓(xùn)練雙卡推理??尤?yàn)證集上效果不錯但真實(shí)數(shù)據(jù)上效果很差。這個鍋通常不在QLoRA而在數(shù)據(jù)配比。如果驗(yàn)證集和訓(xùn)練集同源同分布指標(biāo)有欺騙性真實(shí)數(shù)據(jù)的分布偏移會把那些背答案而非學(xué)能力的模型打回原形。建議訓(xùn)練前留出一部分帶時間戳的真實(shí)請求做盲測至少能看出來模型是在泛化還是在過擬合??铀?-bit基座在CPU上做推理非常慢。如果你開發(fā)機(jī)上沒顯卡想在CPU上快速驗(yàn)證微調(diào)效果加載4-bit模型會跑得很痛苦??梢韵绒D(zhuǎn)成8-bit或者直接用FP16推理反正只是驗(yàn)證效果顯存不再是瓶頸。用QLoRA訓(xùn)練自己的第一個單卡微調(diào)模型全過程走通后你會發(fā)現(xiàn)它不像論文里寫的那樣神秘本質(zhì)就是把量化壓縮存儲和低秩增量訓(xùn)練組合起來讓單個GPU重新成為個人級LLM微調(diào)的可行平臺。即使以后算力更充裕了這套流程和排查思路也依然有用——畢竟訓(xùn)練LLM這件事永遠(yuǎn)是資源越省實(shí)驗(yàn)越多迭代越快。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色婷婷色五月丁香| 婷婷色情网| 国产无套精品一区二区| 精品一区二区三区木瓜| 日韩五月婷婷久久| 99热只有这里才是精品| 亚洲网综合在线| 亚洲精品小视频| 免费无码毛片一区二区A片 | 99亚洲天堂| 色婷婷五月在线| 色狠狠999综合| 台湾无码A片一区二区| 97干婷婷| 五月婷婷六月丁| 91精品丝袜久久久久久| www激情网| 538在线精品| 这里只有精品99www| 精品亚洲国产成AV人片传媒| 婷婷五月天小说网| 久操激情| 综合网色| 丁香五月婷婷激情123| 亚洲亚洲人成综合网络| 久久开心五月天激情| 九九九AAA热视频| 四月丁香五月婷婷久久| 伊人久久婷婷| 色青青电影色五月| 操操自拍| 欧美毛片www| 色婷婷狠狠禁久久| 亚洲在线操| 五月丁香日本在线视频观看| 色99久草在线| 婷婷五月天黄色| 开心婷婷五月激情网小说| 亚洲亚洲人成综合网络| www.com五月天| 欧美在线操| 五月丁香六月综合激情| 日日夜夜狠狠干| 大香蕉久久婷婷| 99热国产精品| 天堂婷婷丁香六月网| 99精品久久久久久久久| 激情丁香五月天| 五月色丁香婷婷中文字幕| 久久综合站| 激情综合网五月| 中文字幕+乱码+中文字幕在线观看| 五月婷伊人| 日本4399天堂中出| 91丨九色丨白浆秘| 思思热在线视频99| 综合色色网| 久久婷婷五月天| 思思热久热| 狠狠色婷婷777| 色五月激情五月| 思思久久99| 色播五月婷婷| sewuyuetingtingiii| 中文av网站| 天天肏天天爽夜夜爽| 亚洲性爱电影| 色婷婷激情视频| 五月婷婷啪啪网| 99热热九九| 日本人妻伦在线中文字幕| 深爱五月亚洲| 少妇丁香婷婷| 4399在线日本A片| 天天日天天久久青青| 婷婷中文字幕网| 丁香五月婷婷综合视频| 91丨九色丨熟女|老版| 丰满老熟妇BBBBB搡BBB| 丁香激情五月| 婷婷五月天精品| 六月色婷婷色| 中文字幕欧美久久| 五月情涩综合婷婷| 激情 久久 婷婷| 99热这里全是精品| 国产精品色色| 激情五月婷婷色| 婷婷五月天AV网| 婷婷伊人綜合| 色九月丁香婷婷蜜桃在线观看| 久久五月天婷婷| 久久九九大香蕉电院| 婷婷五月丁香五月| 色综合区| 久久婷丁香五月| 久久久天堂国产精品女人| 91操在线视频| 久青操| 色五月成人网| 草婷婷在线| 丁香五月第四色88| 婷婷六月激情| 韩日AV片| 午夜福利8055| 婷婷伊人綜合中文| 涩玖玖免费视频| 香蕉人在线香蕉人在线 | 99在线观看这里都是精品| www色婷婷久久综合久色| 狠狠干综合网| 月色色综合婷婷网| 五月丁香网站| 五月婷婷成人| 久久伊人9| 最新AV在线观看| 五月婷婷六月丁香在线视频| 久久玖玖99| 色色COm| 色色9 9| 大伊久久| 激情丁香久久| 九九无码| 99色综合网| 欧美日韩成人在线网站| 久9视频免费播放| 五月婷婷五月天| 天堂网色婷婷| 久久色这里只有精品| 91人人爱| 五月丁香性| AV成人在线网站| 日韩野外 无套| 五月天婷婷六月| 国产精品久久久久久亚洲毛片| 超黄亚洲瑟瑟网站| 国产精女同一区二区三区久| 欧美丁香五月夫妻天| 91怕怕网| 色色色婷婷五月天| 《战争与艾拉》完整版| 久久性都花花世界成人免费视频| 五月婷婷丁香五月| 成人日韩欧美| 日本精品人妻无码77777| 天天成人综合视频| 亚洲无码AV片| 激情六月综合| www.五月天。com| 亚洲午夜成人av电影网| 婷婷久久色| 色99自拍| 香蕉AV777XXX色综合一区| 97色色色色色色色色色色色色色| 婷婷日本色| 九九大香蕉黄色影院| 另类图片激情五月| 中文字幕日产A片在线看| 婷婷五月天免费| 艹色18p| 婷婷丁香色五月久久88| 国産精品| 五月丁香六月片| 99色视频免费在线规看| 欧美色99| 91人久| 婷婷五月天干干| 综合久久综合综合| 97色色婷婷| 五月综合六月婷婷| 五月婷婷丁香综合| 深夜婷婷 丁香| 天天狠天天叉| 久色视频在线| 久久丁香社| 26uuu精品国产| www.五月天性.com| 日韩欧美一道四区中文字幕| 99国产精品久久久久久久久久久| 色五月综合| 亚洲综合99| 国产精品久久久久久久久久免费| 久久99精品久久久久久三级| 思思热久在线观看视频| 99色久| 99热在线播放| 免费观看的婷婷五月视频在线| 丁香五月中文字幕| 99热8在线| 婷婷丁香九月| 狠婷婷五月| 五月丁香黄色视频| 另类激情网| 成人色图情色成人网 www.5b5b5bcom 五月天| 婷婷五月天色色| 五月丁香亚洲综合网| 成人AV中文字幕| 亚洲V国产V欧美V久久久久久| 五月激情天天干| 丁香五月色色| 青青久久91| 综合久久99| 欧美久久婷婷| 色婷婷五月天激情久久| 色久影院| WWW.五月com| 久久五月婷| 天天日天天做天天操| 五月天天堂久久| 99热在线观看| 天天干狠狠| 天天日天天做天天操| 久99久热| 9在线9在线婷婷在线国产| 天天操天天操天天操天天操天天操 | 黄网在线免费观| 五月丁香六月香香蕉| 性生活久久人妻| 丁香五月婷婷天堂大香蕉| 色九区| www.色婷婷| 丁香婷婷六月激情| 色五月网址| 狠狠干狠狠操狠狠爱| 99热99精品在线观看| 97热在线精品| 大香蕉久久久久久久久| 超碰人妻公开在线| 久久er99热精品一区二区 | 九九人人操| 五月丁香花激情啪啪网| 麻豆AV一区二区三区| 99ri在线| 舔色婷婷| dingxiangtingtingliuyue| 天天日日人| 丁香婷婷色色| 在线sebiav精品视频| 中文成人在线| 婷婷综合激情| 激情丁香五月| 另类激情中文| 67194成I人在线观看线路1| 97色色色色色| 婷婷五月花西瓜| 婷婷丁香第一页| 日本九九视频| 91人碰| 热91久| 成人日韩欧美| 97色色网| 婷婷色导航| 91免费看片| 六月丁香VA| 五月丁香六月情婷婷久久| 丁香丁香激情网| www色五月| 九九九九综合| 六月丁香综合| 日韩av在线电影| 欧美丁香五月夫妻天| 色女伊人| 日撸夜撸日操| 六月婷婷久久大全| 停停五月丁香| 激情婷婷六月天| 天天爽日日爽夜夜爽| 色噜综| 五月丁香在线婷婷蜜桃| 婷婷五月天激情综合深爱| se色99| 久久婷婷五月综合97色一本| 六月婷婷深深爱| 99热精品在线播放| 天天狠天天狠| 天天 日综合| 激情啪啪五月天| 天天综合情| 欧美天天草人人草| 欧洲亚洲免费视频9| 另类的婷婷| 青青.com| 欧美婷婷五月激情| 操丝袜视频影院导航| 天天射天天射一道本日本社区 | 久久伊人婷婷| 天天人人综合| 婷婷六月丁香激情| 无码天天操| 青娱乐美女福利视频美臀| 99er在线观看| 五月婷av| 99热新网址| 亚洲综合99| 丁香六月激情| 五月天操逼激情| 婷婷久久爱| 91精品啪| 777精品久无码人妻蜜桃| 9999久久久久| 蜜臀av 粉嫩av 懂色av| 六月色激情| 亚洲视频五区| 婷婷六月爽| www.婷婷,com| 人人干av| 丁香婷婷基地| 五月丁香| 91伦| 亚洲av网站| sS丁香五月婷婷| 婷婷中文字幕版| 精品无码99| www.99热这里精品| 大香蕉啪啪网| 激情图片亚洲| 五月丁香六月婷婷久久肏| 色射影院| 亚洲Av入口| 婷婷五月天无码熟女| 色婷婷综合网站| 丁香六月婷婷综合| 五月婷婷色| 午夜在线成人网站免费观看| 99A级片| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 日本色婷婷| 五月婷婷av在线| 国精产品一区二区三区| 天天操天天日天天爱| 天天色,天天操,天天射| 色99视频| 国产真人做爰视频免费| 亚洲免费av观看| 激情第四色| 成人.在线日韩| 99啪在线| www.日日日.com| 婷婷婷婷婷婷婷五月丁香| 婷婷丁香激情综合色情| 久久五月天激情| 伊人网啪啪| 久久这里只有国产| 五月丁香婷婷AV| 色色射| 伊人五月婷| 成人电影在线免费试看| 欧美97p| 69久久99精品久久久久婷婷| 9久久狠狠的| 五月丁香婷婷啪啪综合| 六月丁香婷啪射| 亚洲VA口| 亚洲情综合五月天| 热久久91| ji'qi'luan'ren'lun| 五月激情六月丁香| 日韩伊人大香蕉| 天天做综合| 五月婷婷六月丁香在线| 99精品偷自拍| 色欲婷婷五月天| 五月开心激情网| 丁香五月电影| 99热99| 国产伊人五月天| 99爱视频在线| 婷色影院| 婷婷五月丁香六月伊人网| 五月婷婷丁香网| 九九在线视频| 色婷婷丁香九月| 9999色色色色| www.操.com| 亚洲视频久久| 色婷婷a三区麻| 婷婷五月天色色| 国产色香蕉精品五夜婷| 天天爽综合| 丁香五月亭亭六月综合激情网| 五月人妻婷婷视频| 天天干天天日蜜臀av| se99高清无码| 婷婷丁香五月综合| 人人肏逼视频在线一区二区| 日本va网站| 级情九色| 久久精品五月天| 噜噜久| 久久精品99国产精品日本| 超碰在线免费| 激情五月婷黄版| 中文字幕日本最新乱码视频| 天天爱天天日| 大香蕉五月婷婷| AV六月丁香| 久久这里只有精品网| 六月丁丁香| 五月婷婷激情久久| 五月丁香综合| 五月色丁香婷婷综合| 五月的婷婷六月丁香| 五月在线| 1024操逼视频| 狠狠狠狠狠| 岛国AAAV| 五月丁香久久丝袜啪啪| 久操欧美在线观看97| 婷婷五月天激情文学小说| 久久狠狠干| 青青草婷婷久久| 人人做天天爱| 成人在线观看国产| 五月婷婷无码专区| 五月J香蕉婷婷| 婷婷五月丁香狠狠| 精品国产AV色一区二区深夜久久| 欧美狠狠草| 二色av| 99热免| 91丁香五月| 五月丁香啪啪网| 久久综合55| 草做免费在线观看| 超碰一区二区| 婷婷六月久久综合导航| 九九久久偷拍| 色色色色色色网| 丁香五月婷婷激情中文| 狠狠摸狠狠摸| 婷婷六月综合| 婷婷亚洲色| 丁香花色色网| 欧美99热| 青青五月天婷婷| 欧美顶级少妇做爰HD| 日韩99色| 九九精品9| 日韩人妻操逼视频| 亚洲在线成人| 五月久久婷婷丁香| 91九色精品熟女内射| 久久久婷| 无码天天操| 大香蕉综合视频在线| 激情综合亚洲色婷婷五月| 久777| 婷婷五月天亚洲综合网| 精品动漫 无码av| 色婷婷久久| 91精品91久久久中77777久久玖玖九九| 天天插天天射| 亚韩在线视频| 免费黄色视频网址| 天天色,天天操,天天射| www.久操| 99热爱爱干干日| 综合久久99| 激情五月综合网| 丁香五月天欧美| 991国产精选视频在线播放下载| 成人免费在线电影| 激情欧美五月丁香| 久色中文| 五月丁香九九| 五月丁香综合激情| 思思热再线视频| av五月丁香婷婷网| 成人婷婷| 欧美va国产va| 操逼综合网| 久久99久久99精品免观看粉嫩| 久/久精品99看9| 欧美韩国日本| 婷婷天天色| 久久婷婷五月综合色奶水99啪| 日日色综合| 亭亭色天香| 亚洲第二AV| 久久婷婷影院| 五月噜噜| 99色五月| 日韩成人无码| 99无码视频| AV九九| 婷婷91视频| 五月婷婷丁香婷婷| 婷婷伊在线| 婷婷五月丁香国产| 淫视馆aV二区一区| 婷婷五月天综合色| 人人操AV| 波多婷婷久久| 色色五月婷| www.五月婷婷久久.com| 婷婷久久精品| 国产av一区二区三区| 综合网啪| 久热这里只有精品66| www.com亚洲网站在线免费| 六月婷婷综合| 亚洲婷婷欧美婷婷| 波多婷婷久久| 亚洲激情AV| 激情亚洲婷婷六月| 综合久久婷婷| 久久综合综合综合| www.夜夜操| 五月天播播中文字幕 | 色情综合网| 99热精品在线免费观看| 久久久妻人人人| 婷婷五月丁香人妻无码高清| 久久九九综合| 涩婷婷五月天在线精品视频| 六月丁香婷婷网| 九月综合| 在线中文字幕免费视频| 丁香在线视频| 91九色视频在线观看| 岛国资源网| 日本婷久久| 99热国产在线| 色色婷婷五月天| 性爱久久| 97韩国久久电影院| 99热精品在线| 精品久久婷婷| 九九九九九九九九九九九九九九九九九九九在线视频 | 天天se在线视频| 狠狠爱深色婷婷综合| 超碰人人艹| 激情五月视频在线婷婷| 狠狠色丁香99| 五月丁香手机在线| 婷婷婷久久久| 免费V片在线| 国产av天堂| 日本久久婷| 婷婷五月天开心激情网| 五月丁香六月婷婷色| 日本色色网| 大天天伊人| 99riAV成人在线视频| 九九热在线视频| 大香蕉婷婷久久| 激情丁香六月| 五月婷综合网| 伊人婷婷激情| 99热精品少| 欧洲毛片基地c区| 五月色激情综合网| 精品热九九| 99色爱| 六月丁香成人| 99精品自拍| 五月婷婷,狠狠操| 超碰成人公开| 99re热视频这里只精品| 在线不卡视频| 99热在线观看精品| 五月婷色色| 五月天色色婷婷| 九九热免费| 色狠狠综合| 亚洲婷婷婷| 日本www五月婷婷| 天天插天天狠| 九九国产精视频| 久久综合色情网站| 久久婷婷激情四射五月天| 2015在线中文字幕| 婷婷9月天| 婷婷中文字幕网站| 色色五月婷婷网| 熟妇人妻中文字幕无码老熟妇| 99激情视频| 五月丁香| 99爱在线免费视频| 99热这里只有精品5| 五月婷婷偷拍| 99re在线精品视频| 国产成人高清| 99这里有精品视频| 狼人久草| 色偷偷综合| 激情小说婷婷| 丁香五月成人| 青草青草视频2免费观看| 色婷婷成人做爰A片免费看网站| www久久99| 久草婷婷| 热久久这里只有精品| www.天天干| 亚洲综合成人网| 99精品在线播放| 亚洲精品又粗又大又爽A片| 久久99网站| 1024日韩| 免费三级黄色| 激情综合丁香| WWW.久久久久久久久久久久久| 久久免费高| 丁香婷婷五月天成人| 超碰免费电影| 大香蕉五月| 爆乳熟妇一区二区三区爆乳照片| 成年人夜夜喷水| 婷婷五月激情综合| 激情五月天啪啪视频| 思思热99er在线视频| 丁香色啪综合| 婷婷五月天成人综合网| 丁香五月在线| 久久99精品视频| 色色性爱视频| 少妇性按摩无码中文A片| 婷婷五月丁香亚洲| 九伊人网| 九九热AV| 91婷婷五月天综合视频| 五月婷天天搞视频| 激情婷婷久久| 狠狠五月天| 狠狠精品干练久久久无码中文字幕| 天天狠狠夜夜狠狠2023| 天堂综合久| 九九热只有精品| 成人午夜天| 神马久久五月天| 99热丁香| 丁香五月天激情五月天激情五月天激情网| 99色热综合| 久久综合五月天| 色99网站| 超碰在线网站9| 久久婷婷资源| 激情五月丁香婷婷夜夜操| 人妻在线中文字幕久久| 五月丁香六月色| 91狠狠综合久久久久久| 婷婷五月激情黄色| 亚洲第二AV| 婷婷九月色| 五月综合激情综合久| 婷婷五月天影视首页| 色噜噜狠狠色综合日日| 婷婷视频在线碰| 玖玖五月| 99久久精彩视频。| 色色网五月激情| 久热9| 婷婷综合九色伊人| 激情综合五月天| 亚洲AAAA网| 99视频网址| 全部老头和老太XXXXX| HD久久精品视频| 亚洲午夜精品久久久久久人妖| 伊人色综在线| 欧美色图天堂网| 色色色五月天婷婷| 男女99免费视频| 亚洲五月天婷婷综合| 成人 视频免费观看网站| 国产精品成人AV在线观看春天| 久久99精品久久久久久三级| 色婷婷视频| 六九色综合婷婷五月天| 99在线精品免费视频| 天天干天天操天天射| 伊人日日干| 丁香婷婷色色| 国产精产国品一二三在观看| 综合五月丁香六月婷婷| 婷婷色5月天在线。| 4438激情网| 国产精品18久久久| 色婷婷丁香综合中文字幕| www.激情五月天.com| 激情五月综合网| 婷婷综合精品视频97| 91丨九色丨国产打屁股| 色综合中文色综合网| 五月丁香婷中文字幕| www.丁香五月| 日韩色色一区| 五月丁香六月花| www.色婷婷| 五月天婷婷社区久久综合| 99色热综合| 97色婷| 九月丁香欧美综合| 天天操天天日天天爽| 97色碰| 久久婷婷激情久久| 9999色色色色| 超碰在线成人| 99人碰碰碰| www五月天激情com| 99视频内射三四| 色五月97| 日韩在线aaa| 无码激情AAAAA片-区区| 这里只有精品亚洲| 91视频精品99| 色色婷婷色色| 成人丁香婷婷| www.91热久久| 狠狠狠激情网| 婷婷五月天激情网| 五月天亚洲图片婷婷| 99啪99| 69人人操人人爽| 亚洲 小说 欧美 激情 另类| 殴美激情综合网| 丁香婷婷五月天色播| 天天爽日日爽夜夜爽| 久久精品99国产精品日本| 欧美日本VA| 五月丁香激情四射| 婷婷五月天精品| 婷婷精品性视频| 色综合99无码| WWW.夜夜| 激情色五月天| 亚洲婷婷五月草久| 亚洲综合成人网| 婷婷五月播| www.超碰| 日本色道视频网站| 91一起操| 日韩无码专区| 婷婷九九| 国产成人+综合亚洲+天堂| 中文精品在| 九色无码| 99re久热只有精品6在线直播.com| 色五月激情| 婷婷五月综合免费在线| 久久久久久久合一狠狠做深爱| 91性交在线播放| 丁香六月视频| 六月成人网| 激情五月五月五月婷婷| 国产SUV精品一区二区6| 天堂五月婷婷| 五月婷婷色欲| 这里只有精品视频一区| 九九热狼人| 五月开心深深爱激情综合 | 色色网五月激情| 超级碰碰碰久久网站视频| www.深爱激情| 欧美日本高清视频99| 天天色天天操天天射| 天天se在线视频| 99热免费精品| www.zbzhongsen.com| 激情综合网五月| 亚洲小视频免费播放| 丁香六月啪| 色婷婷伦理| 亚洲操女| 裸体美女丁香五月天。| 97日在线视频| 99综合| 丁香六月 婷婷六月| 老师的粉嫩小又紧水又多A片视频| 丁香亚洲婷婷五月| 久热99狠| 激情五月天综合网| 色五月婷婷综合| 色婷婷久久| 五月丁香狠狠爱婷婷综合| 色插人人| 婷婷娌伦网| 人妻aV在线| 综合五月婷婷| 26UUU在线观看| 久久婷婷原创视频| 婷婷欧美| 热99这里只是精品| 少妇2做爰HD韩国电影| 99热12| 人人干女人| 偷拍五月丁香| 狠狠操.COM| 无码动漫av| 秋霞性爱AV| 少妇人妻偷人精品无码视频新浪 | 色色97丁香婷婷五月天| 婷婷午夜综合| 婷婷在线免费| 成人精品一区日本无码网 | 色五月婷婷中文字幕| 色五月激情五月| 丁香六月毛片| 97超级碰碰碰| 天天干天天拍| 久久视频这里99| 五月婷婷亚洲| 少妇2做爰HD韩国电影| 激情综合激情五月一起草| 超碰资源在线| 97色吧| 久色资源| 狠狠看狠狠| 成人五月天。COM| 一起草av| 婷婷五月天小说网| 激情综合女人网五月播播| 狠狠色狠狠色综合日日91| 亚洲热视频在线| 五月婷婷六月丁香在线视频| 五月色在线| 婷婷五月天大香蕉在线视频观看| 久久亚洲婷婷| 激情五月www| 九九99免费视频| 天天日天天肏天天奸| 超碰国产在线观看| 狠狠色婷婷丁香六月| 中文字幕av亚洲| 精品夜夜澡人妻无码AV| 午夜婷婷久久 | 青青草五月天| 五月婷婷开心色伊人| 九热视频精品| 国产精品第一国产精品| 国产精品美女| 欧美噜一噜| 97视频久久| 色啪久| 九九婷婷网五月天| 色婷婷狠狠18| 激情综合4月| 婷婷中文网站| 97在线观看| 亚洲另类婷婷综合| 婷婷五月视频| 99r这里只有精品哦| 婷五月天丁香婷五月| 五月天婷婷综合| 99热这里只有精品55| 激情五月天综合图片小说网站| 伊人久久大香线蕉av一区| 99丁香婷婷综合网| av在线超清中文| 五月丁香激| 国产97在线日韩亚洲女人被黑人巨大| 思思热视频在线观看| 婷婷五月丁香六月综合网| 五月综合婷婷开心网| 亚洲黄色精品| 久久免费少妇高潮99精品| 五月天com| 色5月丁香婷婷| 第一区久久网站| 91狠狠综合久久| 国产亚洲色婷婷久久99精品9j| 激情综合色| av在线免费网站| 欧美va欧美va差| 国产精品噜噜在线视频| 丁香花五月天激情| 99 福利 导航| 99久久97| 欧美日本日韩| 俺去也综合| 久久婷婷五月综合激情国产| 亚洲热热视频| 日韩欧美一级大黄网站| 午夜无码精品色综合久久| 激情婷婷五月天伊人在线观看| 99er6免费视频热播| 丁香五月在线自慰| 久久在线92| 色噜久| 人妻在线网站| 欧美成综合在线观看| 99色综合久久| av大片在线| 人妻丰满精品一区二区A片| 九九色精品| 婷香五月激情视频| 五月天色色色| 97色干| 99色在线视频| 99色亚洲| 99热久| 五月天啪啪啪| 婷婷激情六月| 色婷婷婷婷| 99爱视频在线| 99热综合| 色五月亚洲| 午夜不卡久久精品无码免费| 五月天婷婷色| 在线观看免费视频| 国产午夜成人免费看片无遮挡| 国产成人精品一区二区三区视频 | 五月天激情网图片| 日本狠狠干| 91凹凸在线| 综合激情在线视频| 丁香六月婷婷综合激情欧美| 中文字幕在线资源| 东京热免费视频| 六月婷婷色综合| 日韩啪啪网| 成人精品一区日本无码网| 大地资源色婷婷视频在线| 大伊香蕉精品视频在线| 亚洲狠狠爱婷婷| 亚洲精级| 日韩无码性爱| 成人丁香色| 开心五月婷婷激情| 天天综合久久| 五月色欧美| 开心五月深爱激情| 欧美丁香婷婷五月| 色爽九九| 国产成人99久久亚洲综合精品| 另类视频五月天| 青柠影视免费高清电视剧| 激情文学综合婷婷五月天丁香花| 性爱网五月婷婷| 丁香五月婷婷少妇| 99热天堂| 五月婷婷免费在线| 婷婷丁香一月| 婷婷激情五月色综合| 色偷偷综合| 丁香六月婷婷综合激情欧美| 99这里只有免费的小视频在线观看| 色插综合网| 日韩在线五月天婷婷| 五月丁香影院| 99这里只有| 熟妇内谢69XXXXXA片| 拍色综合| 最新久久网址| 丁香五月天天| 9999色色色色| 婷婷五月天伊人| 99热在线精品观看| 四川女人毛多水多A片| 日韩啪啪自拍| 欧洲亚洲免费视频9| 天天日夜夜高潮| 思思久久青草热| 五月 激情视频| 久久九九国产精品怡红院| 九九丁香社区欧美激情| 99热销国产这里有精品| 久久这里只精品66| 丁香五月婷婷综合网| 久久99精品久久久久久三级| 国产成人网站在线观看| 另类丁香五月天区图| 1024操逼视频| 丁香五月婷婷姐| 激情五月天伊人影院| 黄网在线免费观看| A片试看120分钟做受图片| 九热电影av| 激情网五夜婷婷| 天天爽天天草| 91九色精品熟女内射| 国产精品91抖高| 99久久玖玖| 色播五月天天| 丁香五月天亚洲视频| 99操视频| 色五月色五天色情网址| 九月婷婷| 午夜五月天| 婷婷五月天伊人网| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 99热在线精品观看| 97热这里只有精品| AV操一操| 婷婷五月天中文字幕.| 婷婷六月视频| 丁香色五月天| www.久久色.com| 综合欧美五月婷婷| 六月综合婷婷开心伊人| 久青草影院| 日本色色网站| 五月婷色丁香| 婷婷精品在线| 激情婷婷五月在线合集| 综合色播| 色五月丁香网| 亚洲天堂99| 97操碰在线视频| 婷婷色五月久久| 99re免费精品视频| 任我肏视频精品| 亚洲成人在线在线| 婷婷免费无马| 看久久性爱视频| 欧美激情综合色综合啪啪五月| www.爱婷婷.com| 精品无码色欲AV| 婷婷情色五月天| 1024欧美看片| 777久久精品| www.91在线观看| 影音先锋AV资源男人站| 5月婷婷视频网站综合| 婷婷五月丁香超碰| 久久久久久久91| 立川无码av| 外国碰视频网站97| 色情成人五月天| 五月丁香六月婷婷在线小说视频| 狼友视频在线观看18| www.久久99精品| 婷婷色无码| 91精品丝袜久久久久久| 五月丁香中文婷婷中文| 丁香五月天五码婷婷| 综合网五月| 亚洲无码11| 五月丁香人妻| 婷色天堂| 免费AV黄在线播放| 亚洲天堂热| 金品在线视频99| 中文字幕av网站| 五月婷婷先锋| 婷婷五月天伦理| 99热免费在线| 国产精品成人AV在线| 亚洲日日操| 久久久久久久久久久-久五月天婷婷| 激情网战码亚洲A| 丁香六月啪啪啪| 欧美婷婷精品激| 亚洲亚洲亚洲AAAAAA| 国产99久久久国产精品免费看| 久热这里只有精品6官网亚洲| 超碰在线观看9| 婷婷久久婷婷色五月| 99热最新网址| 国产肥白大熟妇BBBB视频| 99在线观看视频免费| 97精品综合久久| 五月婷婷偷拍| 天天日日夜夜| 无码动漫AV| 婷婷五月天黄色小说| 91操黄| 婷婷婷五月天最新综合你懂的| 大香蕉综合网| 五月天激情综合网站| 久久只有18视频| 无码人妻激情| 亚洲另类婷婷综合| 991精品在线视频| 丁香婷婷激情| 91精产一区三区免费观看| 色五月婷婷一二| 丁香五月天堂网AV| 五月婷婷丁香网| 亚洲天堂九九九| 天天天天天日| 国产探花一片区| 亚洲天天综合| 免费观看高清无码| 无码色色| 日韩成人电泉AV| 国产无套精品一区二区| txt五月激情四射网综合俺也来了 五月天婷婷丁香人人操91 | 久久人妻超碰一区| 五月天婷爱综合| 秋霞少妇AV网站| 婷婷五月色丁香在线看| 大香蕉AV电影在线| 五月婷丁香亚洲| 五月天大香焦| 久久五月天色| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 五月婷婷欲色| 亚洲一二三网| 人妻操逼视频| 大香蕉九九操| 日韩成人AV在线播放 | 三日本无码| 99精品视频网站| av第一二区| 色呦呦美女| 激情五婷网| 综合色播| 欧美色播综合在线观看| 国产精品第一国产精品| 亚洲综合狠狠艹| 丁香六月激情国产| 五月婷视频在线| 情色五月天网站| 天天玩夜夜操| 狠狠五月天婷婷| 超碰在线观看三级片| 婷婷五点亚洲| 色婷婷色综合激情91| 91婷婷在线| 激情综合婷婷五月| 国产真实乱了老女人视频| 久久成人综合五月天| 第四色五月婷婷| 超碰色综合| 成人看片网站| 色婷婷丁香五月| 这里只有精品视频一区| AV网址大全在| 99热国内精品| 热99这里只是精品| 疯狂做受XXXX高潮A片| 婷婷丁香五月天在线视频| 国产成人综合电影| 怡红院一二三| 五月丁香色婷基地综合久久| 99久久网站| 色国产五月| 亚洲av另类在线观看| 激情综合网五月激情| 色五月激情问网站| 丁香综合日产精品久久| 97超碰在线免费观看| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 少妇搡BBBB搡BBB搡毛茸茸| 日本人妻伦在线中文字幕| 天天上天天爽| Aaa久久| 丁香婷婷激情| 九九人妻福利| 亚州成人综合在线| 另类色网| 天天操综合网| 久播影院免费观看电视剧大全最新网| 五月天激情网址| 91狠狠综合久久| 一级操逼内射在线视频| 99re热99| 九九九激情综合| 美国十月色婷婷在线观看| 六月99天天婷婷激情综合| 激情 久久 婷婷| 大香蕉婷婷五月| 手机看片日日做夜夜| 色五月婷婷激情基地| 综合色播| 五月天伊人网| 99精品在这里| 五月婷婷欲色| 亚洲99综合| 九九九九精品精| 九色七七| 久久这里只有精品网| 色五月婷婷91| 亚洲情综合五月天| 99色| 色播五月丁香婷婷| 97碰碰在线观看视频| 成 人片 黄 色 大 片| 天天爱天天爽| 五月激情开心婷婷| 婷婷五月色惰| 极品少妇XXXX精品少妇偷拍| 五月婷婷亚洲色视频| 99热这里只有精品21| 六月综合婷婷开心伊人| 久热超碰| 色五月成人| 九九九午夜影院成人| av在线观看网站| 久婷狼色诱惑在线| a网站免费观看| 五月婷婷激情视频| 成人超碰AV| 中文AV在线观看| 激情五月黄色| 大香蕉九九| www.五月.com| 天干干夜夜操| 欧美在线看| 婷婷丁香五月视频| www.色五月| 婷婷五月天激情电影| 婷婷激情啪啪| 五月丁香美女| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 日韩性视频| AV在线二十六页| 成人无码精品1区2区3区免费看| 女人被男人吃奶到高潮| 色婷婷五月天堂资源| 久热九九| 婷婷六月综合基地| 六月婷综合| 97久久超碰| 婷婷伊人综合中文字幕| 色色色色色网站| www·五月天| 五月丁香六月激情综合网| 99五月婷| 好叼操在线观看| 国产肥白大熟妇BBBB视频| 九月丁香婷婷综合| 免费不卡狠操美女视频网| 色婷婷五月天成人网| 97色色色色| 色婷婷中文在线| 国产亚洲av片| 久久婷婷五月丁香蜜桃网| 久久婷婷五月综合| 操人91| 婷婷的色色五月天| 激情五月婷婷丁香综合网| 国产又黄又爽又激情不遮挡视频在线观看| 另类专区在线| 久久久27操| www.玖玖婷婷在线| 色婷婷中文| 少妇伦子伦精品无吗| 九九热视频在线观看| 婷婷五月天综合网| 色色99| 五月丁香六月情| 五月丁香婷婷俺| 婷婷五月天视频在线观看| 日韩无码一区二区三区四区| 在线另类| 亚洲中文字幕AV| 日本在线视频播放91| 婷婷娌伦网| 94干大香蕉| 爆乳熟女-区二区三区| 91免费啪视频| 五月丁香亭亭电影久久| 久久久99精品免费观看| 久久丁香五月天| www.夜夜操| jiZZdr| 久久激情五月婷婷| 97人人射| 丁香五月婷婷六月| 狠狠色色| 婷婷五月天精品| 超碰人人色| 综合五月婷婷| 日本九九九九| 91超级碰碰| 丁香五月婷婷啪啪啪| 成人国产综合| 亚洲最大在线| 超碰激情网| 久久九九网| 天天激情站| 岛国av网站| 在线另类| 精品夜夜澡人妻无码AV|