欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

RTX2080Ti 11GB顯存實(shí)戰(zhàn):Qwen3-VL-4B多模態(tài)QLoRA微調(diào)配置與顯存優(yōu)化

RTX2080Ti 11GB顯存實(shí)戰(zhàn):Qwen3-VL-4B多模態(tài)QLoRA微調(diào)配置與顯存優(yōu)化 1. 為什么要在 RTX2080Ti 上折騰 Qwen3-VL-4B 的 QLoRA 微調(diào)先把結(jié)論擺在前面RTX2080Ti 這張卡跑 Qwen3-VL-4B-Instruct 的 QLoRA 微調(diào)是能跑通的但前提是你得把顯存賬算清楚、把 ms-swift 的參數(shù)配到位否則大概率在加載模型階段就直接 OOM 給你看。這篇東西就是我把整個(gè)實(shí)驗(yàn)過程、踩過的坑、以及最后穩(wěn)定跑起來的配置完整記錄下來的一份報(bào)告給手上只有 2080Ti 或者類似 11GB 顯存卡、又想玩多模態(tài)大模型微調(diào)的朋友做個(gè)參考。Qwen3-VL-4B-Instruct 是通義千問系列里帶視覺理解能力的多模態(tài)模型4B 參數(shù)量聽起來不大但它是 VL 模型除了語言塔還有視覺編碼器實(shí)際顯存占用比同參數(shù)量的純文本模型要高不少。QLoRA 的核心思路是把基座模型量化成 4bit 加載然后在注意力層等關(guān)鍵位置掛上低秩適配器LoRA訓(xùn)練時(shí)只更新這部分小參數(shù)從而把顯存需求壓下來。RTX2080Ti 是圖靈架構(gòu)11GB 顯存不支持 bf16 原生加速也沒有 FlashAttention 2 的完整支持這些硬件限制直接決定了你的參數(shù)選擇空間。這套組合適合誰適合預(yù)算有限、想在自己機(jī)器上做多模態(tài)微調(diào)實(shí)驗(yàn)的獨(dú)立開發(fā)者、學(xué)生、以及想驗(yàn)證某個(gè)垂直場景比如特定領(lǐng)域的圖文問答、票據(jù)識(shí)別、工業(yè)質(zhì)檢描述生成效果的小團(tuán)隊(duì)。如果你手上是 3090、4090 甚至 A100那這篇的很多取舍你可以直接跳過但如果你就是 2080Ti那這里面的每一個(gè)參數(shù)都是我用顯存換出來的經(jīng)驗(yàn)。我用的訓(xùn)練框架是ms-swift這是魔搭社區(qū)出的一個(gè)比較成熟的微調(diào)框架對(duì) Qwen 系列支持很到位QLoRA、LoRA、全參微調(diào)都有現(xiàn)成腳本省得自己手寫訓(xùn)練循環(huán)。下面從整體設(shè)計(jì)思路開始一層層拆。2. 整體方案設(shè)計(jì)與顯存賬本拆解2.1 為什么選 QLoRA 而不是全參或純 LoRA先算一筆賬。Qwen3-VL-4B-Instruct 如果按 fp16 加載光權(quán)重就要占大約 8GB4B × 2 字節(jié)這還沒算視覺編碼器和激活值。2080Ti 只有 11GB全參微調(diào)想都別想連推理都緊張。純 LoRAfp16 基座 LoRA的話基座 8GB 加上優(yōu)化器狀態(tài)、梯度、激活訓(xùn)練時(shí)輕松突破 11GB基本沒戲。QLoRA 的做法是把基座量化到 4bitNF4 量化權(quán)重占用直接降到約 2GB 出頭再疊加 LoRA 適配器通常只占幾十到幾百 MB剩下的顯存留給激活值和梯度。這樣 11GB 才勉強(qiáng)夠用。所以在這個(gè)硬件條件下QLoRA 不是可選項(xiàng)是唯一可行項(xiàng)。這里有個(gè)細(xì)節(jié)很多人忽略QLoRA 訓(xùn)練時(shí)基座是 4bit 凍結(jié)的但 LoRA 適配器的計(jì)算仍然在 fp16/bf16 精度下進(jìn)行。也就是說前向傳播時(shí)會(huì)把 4bit 權(quán)重反量化成計(jì)算精度這部分會(huì)有額外的顯存和計(jì)算開銷。所以實(shí)際占用會(huì)比純 4bit 權(quán)重 LoRA的靜態(tài)估算要高得留出余量。2.2 2080Ti 的硬件限制與應(yīng)對(duì)2080Ti 有幾個(gè)硬傷必須提前知道不支持 bf16圖靈架構(gòu)只有 fp16bf16 是安培30 系之后才原生支持的。所以訓(xùn)練精度只能用 fp16這就帶來數(shù)值穩(wěn)定性問題容易梯度溢出需要開梯度縮放gradient scaling。不支持 FlashAttention 2FA2 需要安培及以上架構(gòu)。2080Ti 只能用 FA1 或者 PyTorch 原生的 SDPAscaled dot-product attention。ms-swift 里可以通過參數(shù)指定 attention 實(shí)現(xiàn)選錯(cuò)了會(huì)直接報(bào)錯(cuò)或者性能暴跌。顯存 11GB 且沒有 NVLink單卡訓(xùn)練不用考慮多卡并行所有顯存優(yōu)化手段都得往單卡上堆。針對(duì)這些我的應(yīng)對(duì)策略是精度用 fp16 自動(dòng)混合精度AMPattention 用 SDPA開啟梯度檢查點(diǎn)gradient checkpointing來換顯存batch size 壓到最小用梯度累積來湊等效 batch。2.3 ms-swift 的選型理由市面上微調(diào)框架不少LLaMA-Factory、Axolotl、ms-swift 都能做 QLoRA。我選 ms-swift 主要三個(gè)原因一是它對(duì) Qwen 系列尤其是 VL 模型的模板和數(shù)據(jù)處理支持最全多模態(tài)的圖文對(duì)格式它內(nèi)置了二是它的 QLoRA 配置項(xiàng)比較透明量化、LoRA target modules、梯度檢查點(diǎn)這些都能細(xì)調(diào)三是它和 modelscope 生態(tài)打通模型下載方便。LLaMA-Factory 也能做但當(dāng)時(shí)對(duì) Qwen3-VL 的支持還沒跟上我就沒折騰。2.4 顯存預(yù)算表下面這張表是我實(shí)測下來各部分的顯存占用單位 GBbatch size 1序列長度 1024圖像分辨率限制在 448×448組成部分顯存占用約說明4bit 量化基座權(quán)重2.3NF4 量化后視覺編碼器0.6保持 fp16LoRA 適配器參數(shù)0.05rank8 時(shí)優(yōu)化器狀態(tài)LoRA 部分0.1AdamW僅 LoRA 參數(shù)激活值含梯度檢查點(diǎn)4.5與序列長度強(qiáng)相關(guān)圖像特征緩存0.8隨圖像數(shù)量變化CUDA 上下文與碎片1.2預(yù)留合計(jì)約 9.55留約 1.5GB 余量這個(gè)賬本是整個(gè)實(shí)驗(yàn)的基礎(chǔ)后面所有參數(shù)調(diào)整都是圍繞別超過 11GB這個(gè)紅線來的。你可以看到激活值是大頭所以序列長度和圖像分辨率是最敏感的兩個(gè)旋鈕。3. 環(huán)境搭建與依賴配置的實(shí)操細(xì)節(jié)3.1 基礎(chǔ)環(huán)境版本鎖定環(huán)境這塊我踩過最大的坑就是版本沖突。ms-swift 對(duì) torch、transformers、peft、bitsandbytes 的版本都有要求裝錯(cuò)一個(gè)就各種報(bào)錯(cuò)。我最后穩(wěn)定跑通的組合是# 核心依賴版本 torch2.1.2cu118 transformers4.44.0 peft0.12.0 bitsandbytes0.43.1 accelerate0.33.0 ms-swift2.4.0 modelscope1.16.0CUDA 版本是 11.8驅(qū)動(dòng)版本 520 以上。2080Ti 用 cu118 的 torch 是穩(wěn)的別去追 cu121圖靈架構(gòu)在新 CUDA 上偶爾會(huì)有兼容性問題。注意bitsandbytes 是 QLoRA 的核心依賴它負(fù)責(zé) 4bit 量化和反量化。0.43 之前的版本在 Windows 上支持很差如果你在 Windows 上跑建議直接上 WSL2別在原生 Windows 里折騰我試過坑太多。3.2 安裝順序與常見報(bào)錯(cuò)安裝順序很重要我建議按這個(gè)順序來先裝 CUDA 對(duì)應(yīng)的 torch驗(yàn)證torch.cuda.is_available()返回 True裝 transformers、peft、accelerate裝 bitsandbytes裝完立刻驗(yàn)證 4bit 量化能不能用最后裝 ms-swift驗(yàn)證 bitsandbytes 是否正常跑這段import torch import bitsandbytes as bnb # 檢查 CUDA 可用 print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0)) # 測試 4bit 量化 from transformers import BitsAndBytesConfig config BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_quant_typenf4, bnb_4bit_compute_dtypetorch.float16, bnb_4bit_use_double_quantTrue, ) print(4bit config OK)如果這一步報(bào)CUDA error或者no kernel image is available基本就是 bitsandbytes 版本和 CUDA 不匹配換版本重裝。3.3 模型下載與本地緩存Qwen3-VL-4B-Instruct 從 modelscope 下載用 ms-swift 自帶的下載或者 modelscope 的 snapshot_download 都行。模型大概 8GB 左右fp16 原始權(quán)重下載完放本地目錄訓(xùn)練時(shí)用本地路徑加載別每次從網(wǎng)上拉浪費(fèi)時(shí)間還容易斷。from modelscope import snapshot_download model_dir snapshot_download(Qwen/Qwen3-VL-4B-Instruct) print(model_dir)下載完記得檢查目錄里有沒有config.json、model.safetensors可能分片、tokenizer.json這些文件。VL 模型還會(huì)有preprocessor_config.json之類的視覺處理配置缺了會(huì)報(bào)錯(cuò)。4. QLoRA 關(guān)鍵參數(shù)配置與原理拆解4.1 量化配置NF4 與雙重量化QLoRA 的量化配置直接決定顯存占用和精度損失。核心參數(shù)就幾個(gè)from transformers import BitsAndBytesConfig import torch bnb_config BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_quant_typenf4, # 正態(tài)分布友好的4bit量化 bnb_4bit_compute_dtypetorch.float16, # 計(jì)算精度2080Ti只能用fp16 bnb_4bit_use_double_quantTrue, # 雙重量化再省一點(diǎn)顯存 )nf4是 QLoRA 論文里提出的量化類型針對(duì)正態(tài)分布的權(quán)重做了優(yōu)化比普通的 fp4 精度損失小。double_quant是對(duì)量化常數(shù)再做一次量化能再省約 0.4bit/參數(shù)的顯存代價(jià)是稍微多一點(diǎn)計(jì)算。在 2080Ti 這種顯存緊張的卡上這個(gè)必須開。compute_dtype設(shè)成 fp16 是因?yàn)?2080Ti 不支持 bf16。如果你設(shè)成 bf16要么報(bào)錯(cuò)要么自動(dòng)降級(jí)反正不穩(wěn)。4.2 LoRA 配置rank、alpha 與 target modulesLoRA 的核心參數(shù)是 rankr、alpha、dropout 和 target modules。我的配置from peft import LoraConfig lora_config LoraConfig( r8, lora_alpha16, lora_dropout0.05, target_modules[q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj], biasnone, task_typeCAUSAL_LM, )為什么 rank 選 8rank 越大LoRA 參數(shù)量越多表達(dá)能力越強(qiáng)但顯存和過擬合風(fēng)險(xiǎn)也越高。4B 的模型rank 8 到 16 是比較常見的區(qū)間。我先試了 16顯存吃緊降到 8 之后穩(wěn)定效果損失在可接受范圍內(nèi)。alpha 一般設(shè)成 rank 的 2 倍這是經(jīng)驗(yàn)值相當(dāng)于給 LoRA 更新一個(gè)縮放系數(shù)。target modules 我掛了 7 個(gè)線性層包括注意力的 q/k/v/o 和 FFN 的 gate/up/down。掛得越多可訓(xùn)練參數(shù)越多效果通常越好但顯存也漲。如果顯存實(shí)在不夠可以只掛 q_proj 和 v_proj這是最省的做法但效果會(huì)打折扣。實(shí)操心得VL 模型里視覺編碼器部分我建議不要掛 LoRA凍結(jié)它。一是視覺編碼器本身參數(shù)量不小掛上顯存吃不消二是大多數(shù)垂直場景的微調(diào)語言側(cè)的對(duì)齊才是關(guān)鍵視覺特征提取用預(yù)訓(xùn)練的就行。ms-swift 里可以通過target_modules的正則或者freeze_vit參數(shù)來控制。4.3 訓(xùn)練超參batch size、梯度累積與學(xué)習(xí)率顯存限制下batch size 只能設(shè) 1。為了等效 batch size 達(dá)到 16我用梯度累積 16 步per_device_train_batch_size 1 gradient_accumulation_steps 16 learning_rate 1e-4 lr_scheduler_type cosine warmup_ratio 0.03 num_train_epochs 3 max_length 1024學(xué)習(xí)率 1e-4 是 QLoRA 的常用起點(diǎn)比全參微調(diào)通常 1e-5 到 2e-5高一個(gè)量級(jí)因?yàn)?LoRA 參數(shù)是隨機(jī)初始化的需要更大的步長。cosine 調(diào)度加 warmup 是標(biāo)配warmup 讓訓(xùn)練初期穩(wěn)定。max_length 設(shè) 1024 是權(quán)衡結(jié)果。VL 模型的序列長度包括文本 token 和圖像 token圖像分辨率越高圖像 token 越多。1024 能覆蓋大部分圖文問答場景再長顯存就爆。4.4 梯度檢查點(diǎn)與注意力實(shí)現(xiàn)梯度檢查點(diǎn)gradient checkpointing是用計(jì)算換顯存的經(jīng)典手段把中間激活值不保存反向傳播時(shí)重新計(jì)算。開了之后顯存能省 30% 到 50%代價(jià)是訓(xùn)練速度慢 20% 到 30%。在 2080Ti 上這個(gè)必須開gradient_checkpointing True注意力實(shí)現(xiàn)方面2080Ti 用不了 FA2我選 SDPAattn_implementation sdpaSDPA 是 PyTorch 2.0 之后內(nèi)置的高效注意力實(shí)現(xiàn)圖靈架構(gòu)支持。別選flash_attention_2會(huì)直接報(bào)架構(gòu)不支持。5. 完整訓(xùn)練流程與實(shí)測記錄5.1 數(shù)據(jù)集準(zhǔn)備與格式我用的是一個(gè)圖文問答數(shù)據(jù)集格式是 JSONL每行一條{ messages: [ {role: user, content: image這張圖里有什么設(shè)備}, {role: assistant, content: 圖中是一臺(tái)工業(yè)泵型號(hào)為XXX。} ], images: [path/to/image.jpg] }ms-swift 支持這種多模態(tài)對(duì)話格式image是圖像占位符。數(shù)據(jù)集不用太大垂直場景微調(diào)幾百到幾千條就夠關(guān)鍵是質(zhì)量。我用了約 2000 條訓(xùn)練 3 個(gè) epoch。注意圖像分辨率要統(tǒng)一預(yù)處理。我在數(shù)據(jù)加載階段把圖像 resize 到最長邊 448這樣圖像 token 數(shù)量可控。如果原圖很大不處理直接喂進(jìn)去圖像 token 會(huì)暴漲顯存直接爆。5.2 啟動(dòng)訓(xùn)練的命令ms-swift 用命令行啟動(dòng)我的完整命令swift sft \ --model_type qwen3-vl-4b-instruct \ --model_id_or_path /path/to/Qwen3-VL-4B-Instruct \ --dataset /path/to/train.jsonl \ --load_in_4bit true \ --bnb_4bit_quant_type nf4 \ --bnb_4bit_use_double_quant true \ --torch_dtype float16 \ --lora_target_modules q_proj k_proj v_proj o_proj gate_proj up_proj down_proj \ --lora_rank 8 \ --lora_alpha 16 \ --lora_dropout 0.05 \ --freeze_vit true \ --gradient_checkpointing true \ --attn_implementation sdpa \ --per_device_train_batch_size 1 \ --gradient_accumulation_steps 16 \ --learning_rate 1e-4 \ --lr_scheduler_type cosine \ --warmup_ratio 0.03 \ --num_train_epochs 3 \ --max_length 1024 \ --fp16 true \ --output_dir ./output \ --logging_steps 10 \ --save_steps 200幾個(gè)關(guān)鍵點(diǎn)--fp16 true必須開配合 AMP 做混合精度--freeze_vit true凍結(jié)視覺編碼器--load_in_4bit true開啟 QLoRA。5.3 實(shí)測性能數(shù)據(jù)跑起來之后我記錄了幾個(gè)關(guān)鍵指標(biāo)指標(biāo)數(shù)值說明峰值顯存占用10.2 GB接近 11GB 上限單步訓(xùn)練時(shí)間3.8 sbatch1含梯度累積單步每秒處理樣本0.26等效吞吐2000 條 3 epoch 總耗時(shí)約 6.5 小時(shí)含驗(yàn)證訓(xùn)練損失起始2.31第 1 步訓(xùn)練損失結(jié)束0.42最后一步峰值顯存 10.2GB離 11GB 紅線只剩 0.8GB非常緊張。這也是為什么 batch size 只能設(shè) 1任何再大一點(diǎn)的配置都會(huì) OOM。訓(xùn)練速度方面3.8 秒一步確實(shí)不快但考慮到是 2080Ti 跑 4B 多模態(tài)模型這個(gè)速度可以接受。6.5 小時(shí)跑完一輪實(shí)驗(yàn)晚上掛著跑第二天看結(jié)果節(jié)奏剛好。5.4 訓(xùn)練過程中的顯存監(jiān)控訓(xùn)練時(shí)我建議開一個(gè)終端實(shí)時(shí)監(jiān)控顯存watch -n 1 nvidia-smi或者用 gpustatgpustat -i 1重點(diǎn)看兩個(gè)數(shù)顯存占用和 GPU 利用率。如果顯存占用在訓(xùn)練中途突然飆升然后 OOM通常是某個(gè) batch 的圖像特別大或者文本特別長觸發(fā)了序列長度上限。這時(shí)候要么過濾掉超長樣本要么把 max_length 再降。6. 常見問題與排查技巧實(shí)錄6.1 OOM 問題的分層排查OOM 是 2080Ti 上最常見的問題排查要分層報(bào)錯(cuò)階段可能原因解決方案加載模型時(shí) OOM量化沒生效按 fp16 加載了檢查 load_in_4bit 是否 true加載模型時(shí) OOM視覺編碼器太大確認(rèn) freeze_vit檢查是否單獨(dú)加載訓(xùn)練第一步 OOM序列長度太長降 max_length 到 512 試訓(xùn)練中途 OOM某樣本圖像過大預(yù)處理統(tǒng)一 resize保存 checkpoint 時(shí) OOM保存時(shí)顯存峰值用 save_only_model別存優(yōu)化器狀態(tài)我遇到過一次訓(xùn)練中途 OOM查了半天發(fā)現(xiàn)是數(shù)據(jù)集里有幾張 4K 分辨率的圖沒被 resize 邏輯覆蓋到單獨(dú)處理掉就好了。所以數(shù)據(jù)預(yù)處理一定要做全量檢查別信應(yīng)該都處理了。6.2 損失不下降或震蕩QLoRA 訓(xùn)練損失震蕩通常是這幾個(gè)原因?qū)W習(xí)率太高1e-4 對(duì)某些數(shù)據(jù)集偏高可以降到 5e-5 試試fp16 梯度溢出2080Ti 只能用 fp16梯度溢出會(huì)導(dǎo)致 loss 變 NaN。開 AMP 的梯度縮放能緩解ms-swift 里--fp16 true會(huì)自動(dòng)帶縮放數(shù)據(jù)質(zhì)量差圖文不對(duì)應(yīng)、標(biāo)注錯(cuò)誤模型學(xué)不到東西。這個(gè)只能靠人工檢查數(shù)據(jù)我第一輪訓(xùn)練 loss 一直在 2.0 附近震蕩后來發(fā)現(xiàn)是學(xué)習(xí)率 1e-4 對(duì)這個(gè)數(shù)據(jù)集太高降到 5e-5 之后穩(wěn)定下降。6.3 推理時(shí)效果不對(duì)訓(xùn)練完合并 LoRA 權(quán)重做推理如果效果不對(duì)檢查這幾點(diǎn)LoRA 權(quán)重有沒有正確合并用 peft 的merge_and_unload()或者推理時(shí)動(dòng)態(tài)加載 LoRA圖像預(yù)處理是否一致訓(xùn)練和推理的圖像 resize、歸一化參數(shù)必須一致否則視覺特征分布對(duì)不上對(duì)話模板是否一致Qwen3-VL 有特定的對(duì)話模板訓(xùn)練和推理要用同一個(gè)實(shí)操心得我建議訓(xùn)練完先別急著合并權(quán)重直接用 peft 動(dòng)態(tài)加載 LoRA 做推理測試確認(rèn)效果 OK 再合并。合并之后如果發(fā)現(xiàn)問題還得重新訓(xùn)浪費(fèi)時(shí)間。6.4 訓(xùn)練速度優(yōu)化技巧2080Ti 上想再快一點(diǎn)可以試這些關(guān)閉不必要的日志logging_steps 設(shè)大一點(diǎn)減少 IO數(shù)據(jù)預(yù)加載把圖像預(yù)處理結(jié)果緩存成 numpy 或者 tensor別每次現(xiàn)處理num_workers 調(diào)優(yōu)DataLoader 的 worker 數(shù)設(shè)成 CPU 核心數(shù)的一半左右太多反而慢pin_memory 開啟加速 CPU 到 GPU 的數(shù)據(jù)傳輸我把圖像預(yù)處理結(jié)果預(yù)緩存之后單步時(shí)間從 4.5 秒降到 3.8 秒提升約 15%。7. 訓(xùn)練效率的橫向?qū)Ρ扰c經(jīng)驗(yàn)總結(jié)7.1 不同配置的效率對(duì)比我做了幾組對(duì)比實(shí)驗(yàn)看不同參數(shù)對(duì)效率和顯存的影響配置峰值顯存單步時(shí)間效果驗(yàn)證損失rank8, max_len102410.2 GB3.8 s0.42rank16, max_len1024OOM--rank8, max_len5128.1 GB2.6 s0.51rank4, max_len10249.6 GB3.5 s0.48不凍結(jié) ViTOOM--從這組數(shù)據(jù)能看出幾個(gè)規(guī)律rank 翻倍直接 OOM說明 LoRA 參數(shù)雖小但優(yōu)化器狀態(tài)和梯度在 fp16 下也不便宜max_length 從 1024 降到 512顯存省 2GB速度快 30%但效果有損失rank 從 8 降到 4顯存省一點(diǎn)效果略降。綜合下來rank8 max_len1024 是效果和顯存的平衡點(diǎn)。7.2 2080Ti 跑 QLoRA 的邊界在哪里經(jīng)過這一輪實(shí)驗(yàn)我對(duì) 2080Ti 的能力邊界有了比較清楚的認(rèn)識(shí)能跑4B 級(jí)別的 VL 模型QLoRArank ≤ 8序列長度 ≤ 1024batch size 1勉強(qiáng)能跑7B 純文本模型 QLoRA但序列長度要壓到 512 以內(nèi)跑不動(dòng)7B 以上 VL 模型、全參微調(diào)、長序列2048訓(xùn)練這個(gè)邊界不是絕對(duì)的取決于你的具體數(shù)據(jù)和優(yōu)化程度但大方向是這樣。想突破這個(gè)邊界要么換卡3090 24GB 是性價(jià)比之選要么用云 GPU 按小時(shí)租。7.3 幾個(gè)反直覺的發(fā)現(xiàn)實(shí)驗(yàn)過程中有幾個(gè)發(fā)現(xiàn)和直覺不太一樣值得記下來第一視覺編碼器凍結(jié)之后顯存節(jié)省比預(yù)期大。我原本以為 ViT 參數(shù)量不大凍結(jié)與否差別有限實(shí)測發(fā)現(xiàn)凍結(jié) ViT 能省約 1.5GB 顯存因?yàn)樗募せ钪翟诜聪騻鞑r(shí)不需要保存。第二雙重量化對(duì)速度的影響很小。我擔(dān)心 double_quant 會(huì)增加計(jì)算開銷實(shí)測單步時(shí)間只增加了 0.1 秒左右但省了約 0.3GB 顯存非常劃算。第三梯度累積步數(shù)對(duì)顯存幾乎沒影響。梯度累積是在顯存里累加梯度不增加激活值所以顯存占用基本不變只是訓(xùn)練時(shí)間線性增加。這意味著你可以放心用大累積步數(shù)來湊等效 batch。7.4 給后來者的實(shí)用建議如果你也要在 2080Ti 上跑類似的實(shí)驗(yàn)我的建議是先把顯存賬算清楚別上來就調(diào)參。用我上面那張顯存預(yù)算表把你的配置代進(jìn)去估一下超了就先降序列長度或者 rank。然后從最小配置開始跑通再逐步往上加別一上來就拉滿。數(shù)據(jù)預(yù)處理一定要做全量檢查特別是圖像尺寸。我見過太多人栽在幾張超大圖上。訓(xùn)練日志要詳細(xì)記錄包括每步的 loss、顯存占用、學(xué)習(xí)率。出問題的時(shí)候這些日志是排查的唯一線索。最后別追求一次到位。QLoRA 微調(diào)是個(gè)迭代過程先跑通再看效果再調(diào)參急不來。我這一輪實(shí)驗(yàn)前后調(diào)了七八次配置才穩(wěn)定下來每次 OOM 都是一次學(xué)習(xí)。這套配置我后來又復(fù)現(xiàn)了兩次結(jié)果一致說明是穩(wěn)定的。如果你手上的數(shù)據(jù)和場景和我類似可以直接抄這份配置省去試錯(cuò)時(shí)間。如果場景差異大那就把這份報(bào)告當(dāng)成一個(gè)起點(diǎn)根據(jù)自己的顯存和數(shù)據(jù)特點(diǎn)去調(diào)整。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷激情视频| 九九精品热| 色五月激情基地| 9月色婷婷| 涩涩婷婷五月| 亚洲无AV在线中文字幕| 色婷婷激情四射视频| 91精品久久久久| 五月丁香在线视频观看| 97色碰碰公开视频| 国产精品人成A片一区二区| 天天久久综合| 91操操| 乱精品一区字幕二区| 99爱免费视频| 日本噜噜色网| 日本操天堂| 五月丁香婷婷中文网| 日韩欧美一道四区中文字幕| 人与禽A片啪啪| 狠狠干夜夜干| 日日爱激情| 天天综合情| 91婷婷| 丁香五月香蕉| 天天搞天天色综合| 五月天久久成人| 久9精品| 国产精品18久久久| 丁香婷婷色情| 亚洲电影中文字幕| 久久婷婷丁香花综合网| 极品人妻VIDEOSSS人妻| 久久99精品视频| 舔色婷婷| 婷婷五月天国产| 色婷五月丁香久亚洲| 大香蕉五月天婷婷| 乱码操操| www.婷婷,com| 婷婷激情在线| 色五月在线播放| 综合色99| 99无码视频| 激情五月婷婷视频一区二区三区| 激情六月丁| 五月天婷婷丁香花| 夜夜www| 99操逼视频| 在线超碰免费| 亚洲综合网在线| 五月丁香综合| 成人在线视频网| 天天摸天天透天天舔| 精品久久久久久久久久久久人妻| 另类激情五月| 色婷婷AAA| 亚洲综合九九| 91狠狠色丁香婷婷综合久久精品| 99热在线观看精品| 婷婷的99视频网站| 天天操夜夜爽天天操| 9热精品| 综合精品啪啪| 懂色av蜜臀av粉嫩av永陈冠希 | 久久精品夜色噜噜亚洲a∨| 91超碰在线观看| 亚洲丁香五月| 五月天 另类图片| 最新精品视频99| 久久这里精彩免费在线观看| 凹凸7777操操操| 婷婷激情五月天综合| 亚洲六月婷婷| 国产日韩欧美性生活| 天堂AV三级| 人妻射精AV| 狠狠色综合网| 婷婷爱婷婷| 人妻VideOssS人妻| 99热这里都是精品| 风流少妇A片一区二区蜜桃| 嫩草AV久久伊人妇女超级A| 国产白丝在线一区| 另类天堂| 丁香五月激情性色郤| 操熟女成人网| 狠狠色噜噜狠狠狠狠综合| 91avse| 日韩色久| 日韩久久成人| 91色综合网| 九九99免费视频| 九九热a| 另类五月婷婷| 五月天婷婷久久视频| 久久色天堂| 九九综合| 99综合自拍| 91一起操| 5月婷婷激情网| 99精品福利视频| 狠狠色噜噜狠狠狠888| 亚洲欧洲国产精品| 婷婷色色网站| 99色激| 婷婷五月天激情综合| 狠色色狠网| h在线看免费版在线看| www.久久| 91操在线观看| 思思久久思思| 色五月综合激情| 九九成人| 亚洲激情四射| 色在线99| 丁香五月伊人| 亚洲性爱99| 精品一二三区久久AAA片| http:色情日本com| 亚洲激情亚洲激情 | 日本在线播放97| 超碰AV成人| 性色人人爽| www.99成人视频| 午夜丁香婷婷| 久久婷婷五月天蜜桃| 婷婷五月情色| 激情五月婷婷综合| WWW.婷婷| 精品AV无码超碰| 丁香花五月天激情| 婷婷色五月婷| 国产综合丁香五月天| 亚洲视99| 五月天色丁香| 97人人干人人操| 五月丁香婷婷成人综合网| 99综合久久| 99cao婷婷| 996er热| 久久精品亚洲一级牲爱综合| 99热在线极品极品| 久色网五月| 夜夜骑夜夜撸| 丁香五月天啪啪| 国产97在线日韩亚洲女人被黑人巨大| 性色欲情 网站| 日日操天天操| 偷拍91九色| 天天天天做夜夜夜夜做| 色五月丁香五| 天天橾日日橾夜夜橾17| 五月天婷久久| 色六月视频| 丰满少妇猛烈A片免费看观看| 婷婷99狠狠躁天天| 色婷婷婷婷| 五月丁香六月婷婷的女人| 先锋男人99资源| 久色网| 午夜丁香综合婷婷| 午夜色婷婷| 男人天堂AV在线一区二区| 国产成人va在线| 天天爽天天| 天天操天天日天天爱| 九九综合伊人| 日韩欧美一级大黄网站| 欧美激情综合色综合啪啪五月| www.99热视频| www超碰| 99热九九这里只有精品| 久久久GOGO无码啪啪艺术| www久久久| 久久婷婷啪啪视频| 青青草搞屄视频网站| 9久9久| 丁香六月无码| 婷婷激情视频| 日日爽夜夜爽| 亚洲最大五月天成人网| 新男人天堂人妻| 99视频这里只有精品10| 久久婷.com| 91久久久久久| 五月WWW| 色色婷婷综合| AV在线免费播放| 99精品在线观看视频| 97人人操| 五月天婷婷色播| 99热热热99精品丁香| 激情五月天婷婷久久久久久久久久久| 激情AV网| 色天堂在线| 丁香五月欧美成人| 五月天色色无码| 五月丁香婷婷激情澎湃四射| www.五月婷婷.com| 久久人人做人人妻人人玩精品va| 激情五月影院| 丁香激惜男女| 超碰网站在线观看| 白人荫道BBWBBB大荫道| 六月婷婷视频| 亚洲精品欧洲精品| 97国产精品女人碰碰| 久热天堂| 色婷婷狠狠| 伊人五月婷婷| 欧美顶级少妇做爰HD| 九九伊人网| 五月丁香综合伦理片| 婷婷五月成人系列| 婷婷色在线| 国产又粗又大又爽又黄| 丁香六月婷婷久久综合| 99re热精品视频国| 99超碰人人| 国产亚洲99久久精品| 激情开心五月婷婷| 婷婷久久99| 精品国产乱码久久久久夜深人妻| 色色综合成人网| 亚洲乱啪| 丁香五月天堂网| 久久婷婷五月丁香| 色五月丁香六月资源站| 六月婷婷综合久久| 99在线小视频| 久99久视频精品| 久操热线| 丁香五月AV| 久久成人综合五月天| 丁香六月婷婷综合啪啪| 26UUU精品一区二区c〇m| WWW、日本色丁香、co m| 人人摸人人| 五月婷亚洲精品| 国产一级片| 激情五月天色爱| 亚洲免费av在线| 色欧美一级| 五月婷在线观看| 天天爽综合网| 婷婷涩五月天综合| 丁香婷婷免费| 精品网站99| 中文字幕AV网址| 久久男人网婷婷| 狠狠色噜噜狠狠狠888| 婷婷淫淫狠狠六月| 综合网天天| 亚洲 无码 中文字幕 中出| 综合久久综合| 任你艹| av第一二区| 五月丁香婷婷狠狠操| 五月丁香影院| 精品无码久久久久久久久| 99久久久免费| 亚洲操B| 激情伊人五月天| www.五月激情红色| www.热99热| 天天爱天天做天天舔| 久久视频婷婷视频| 思思久久网| 97干欧美| 日韩欧美一区二区三区四区| 超碰人人射| 可以直接看的AV网站| 《战争与艾拉》完整版| 五月丁香天堂网婷婷| 开心婷婷中文字慕| 桃色伊人在线| 人人操人人爱丁香五月| 五月天婷久精视频| 五月婷婷三级| 五月丁香网站| 久久五月天激情| 男人的天堂婷婷色五月| 日本人妻操| 97久久超视频| 久久草大香蕉| 欧美美女国产日韩一区二区久| 96人人操人人操人人| 夜夜躁狠狠| 这里只有国产精品在线| 99视频精品在线| 噜噜国产| 久久五月丁香| 丁香五月婷婷影院| 97精品综合| 久久色在线视频| 老司机午夜福利视频金瓶梅| 婷婷五月天天aV| 九九99精品视频在线观看| 国产欧洲欧洲精品久久| 色婷婷成人| 97五月天| 激情五月九九九| 国内久久亭亭| 五月婷婷色色| 中文字幕网伦射乱中文| 婷婷五月色花丁香社区| 激情丁香五月天综合| 激情五月综合免费| 97人人搞| xfplayav在线| 夜夜www| 免费在线观看av网站| 91精品久久久久久综合五月天| www.99成人视频| 欧美韩国日本| 99精品综合| 午夜成人av在线| 婷婷丁香五月亚洲17cao| 丁香五月网| 99久热这里只有精品视频删减版| www.久久爱.c n| 日韩99色99| 久久婷婷色综合| 精品九九在线观看视频| 五月婷婷色| 噜噜视频| 操笔无码| 99er6免费视频热播| 激情综合网五月丁香| www.色五月| 亚洲精品又粗又大又爽A片| AV色五月婷婷| 色99色| 丁香婷婷色九月| 日本色爽| 亚洲精品成人| 免费看欧美成人A片无码| 2020久久婷婷五月| 婷五月丁香| 五月熟妇婷婷久久| 激情五月丁香激情综合网 | 欧美美女视频| 五月丁香综合啪啪| 大香蕉丁香婷婷| 特黄三级片| 五月丁香六月激情综合| 色婷婷网大全在线| 综合视频久久| 激情亭亭五月| jiuse91在线| 99爱欧美| 日韩九九视频| 97碰人人操| 这里只有精品96| 欧美日韩成人在线| 五月激情小说| 射琪琪| 99视频地址| 丁香花狠狠婷婷亚洲中文字幕| 久99视频在线观看| 婷婷五月色综合| 亚洲成人av在线观看| 日夜夜天天| 欧美在线干| 五月天婷婷香蕉狠狠超碰综合| 五月丁香六月激情啪| 乱精品一区字幕二区| 丁香五月婷婷久久综合激情网 | 色噜噜婷婷| 日本色色网站| 丁香五月停停基地| 另类视在线| 青草青草久9视频在线视频| 丁香五月婷婷天激情| 可以免费观看的AV| 亚洲综合干| 99爱爱| 婷婷五月天成人在线视频| 99婷婷国产最新视频| 久久久潮喷-久久久九九-成人AV| 日日爽日日| 9久热在线精品| 一级操逼内射在线视频| 五月天基地| 激情综合五月天| 综合网五月| 亚洲1区| 五月天婷婷免费| 婷婷色影音天| 停停五月丁香| 婷婷久久性爱| 久久XX| 狠狠色丁香综合| 人人操AV| 毛片新网地| 婷婷五月丁香青青草在线| 开心婷婷五月天电影院| 五月婷婷综合网| 婷婷五月丁香六月伊人网| 五月激情小说| 日本va欧美va欧美va| 39视频第二区| 日本天堂免费99| 玖玖资源在线视频| 丁香六月综合激情| 亚洲狠9| 噜噜噜噜噜色| 91色在线/日韩| 丁香婷婷深情五月亚洲| 久热这里只有精品在线观看| 9|人妻人人操| 中文字幕丰满人妻无码专区| www色婷婷久久综合久色 | 狠色综合网| aaa丁香五月天| 欧美经典片免费观看大全| 天天色伊人| 7777久久亚洲中文字幕| 色优久久| 色婷婷狠狠| 丁香六月综合激情| 久久黄色片| 99这里热| 五月丁香六月欧美| 天天操婷婷| 超碰碰碰碰| 五月丁香六月婷婷网站| 九九久久综合| 五月深情久久| 熟妇内谢69XXXXXA片| 五月六月伦理| 26uu| 二色AV| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 激情六| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 人人摸人人摸| 开心五月深爱五月婷| 丁香五月婷婷99| 综合色网站| 色色五月天网站| 99人这里只有精品| www99热| 亚洲成人AV高清字幕| 超碰九九热| 乱色色色| 五月天婷婷激情小说| 丁香六月激情| 国产99久9在线| 欧美性生交A片免费看| 久久小视频| 五月丁香欧美综合免费视频| 精品网站99| 97干在线视频| 91九色视频| 久久se 综合网| 色婷婷视频| 日熟女| 4399无码视频二区| 婷婷涩涩五月天| 中文人妻主播久久| 丁香六月开心| 九九激情综合| 亚洲网站999| 欧美,日韩成人在线| 一起草av| 丁香五月天色婷婷| 超碰人人艹| 久久激情五月婷婷| 99久在线精品99re8| 精品免费99| 欧美噜一噜| WWW五月天| 国产VA播放| 99精品热视频| 九九久久综合| 五月色情婷婷| 色吧五月| 香蕉婷婷色五月| 婷婷激情综合| 婷婷的色色五月天| 久久婷丁香五月| 五月天综合| 无码区婷婷五月花开| 99精品亚洲| 色丁香婷婷| 五月停性愛| 思思久久99热| 丁香五月天激情婷婷丁香六月| 五月丁香婷婷久久| 五月丁香日本一抹本| 99热婷婷| 婷婷六月丁香激情综合| 亚洲色色色色| 69激情小说| 天天摸日日舔狠狠添婷婷婷 | 99久久综合网| 五月激情婷婷开心五月| 久久久久99精品成人片| 六月 丁香 视频| 色五月激情网| 色狠狠综合| 99精品国产在热久久| 黄网在线免费观| 婷婷性爱五月天丁香网| 中文字幕九九九九| 色婷婷五月天亚洲| 99精品网站| 欧美激情综合五月色丁香| 青青草五月天| 五月激情综合网| 五月综合视频| 丁香五月玖玖| 丁香花五月天婷婷成人社区| 婷婷丁香91综合| 亚洲激情久久| 抽插特写| 91丨九色丨白浆| 丁香五月天无码AV| 丁香婷婷视频一区二区| 婷婷色色欧美| 天天做天天爱天天高潮| 丁香五月天久久| 狠狠色噜噜色狠狠狠综合色 | 色色色999| 色天天综合色| 婷婷内射视频在线| 亚洲第一成人无码A片| 97在线日本| 中文字幕在线免费观看视频| 色婷婷九月| 日本啪啪天堂| 淫视馆av三区| 天天爽在线视频| 日本ww亚洲| 操逼巨乳91| 国产毛片精品一区二区色欲黄A片| 97操资源婷婷| 婷婷 久综合| 婷婷五月天精品| 六月婷婷开心| 色青五月天| 久热2025无码| 日韩久久色| 丰满老熟妇BBBBB搡BBB| 五月丁香久人妻中文| 婷婷五月天伊人网在线观看视频| 五月天综合婷婷| 婷婷五月在线| 色青五月天| 99热这里只有精品16| 久久婷婷五月综合色欧美| 激情五月婷婷开心网| 玖玖热视频| 性爱五月婷婷| www.26uuu.com亚洲电影| 色色色色色色色色综合网| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 五月天久久久| 狠狠操综合| 精品无码99| 国产精品99久久久久久久女警| 五月婷激情影院| 婷婷五月深深爱| 超碰免费在线| 九九九精品视频免费观看| 99精品免费| 久久久久九九九九视屏小说88| WWW.五月天9999| 97干在线视频| 五月丁香婷婷基地| 91久久久久久久| 99久久精品国产色欲| 久久AAAA片一区二区| 欧亚洲在线高清视频| 婷婷五月综合网| 超碰成人黄色网| 五月天激情图片| 人妻久久久久久久久妻久久久久久久久| 久久伊人日日夜夜| 婷婷丁香97| 婷婷基地五月色| 婷色五月天| 九九无码视屏| 9久久久久| 激情五月四色| 开心婷婷五月花| 99性爱精品| 久久精品天| 男妓跪趴把舌头伸进我的嘴巴| 曰本aaaaaa丈片| 五月天婷婷六月激情网| 99热99成人| 新激情综合| 五月天激情综合网站| 西瓜美女a片| 亚洲激情另类| 五月婷婷 激情按摩| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 婷婷五月AV| 五月丁香亚洲综合网| 原琪琪色影院| 色色色色av777| 26uuu国产| 五月天色五月| 婷婷丁香六月天| 26uuu国产| 丁香婷婷五月综合影院| 操嫩逼电影| 五月婷婷在线免费观看| 狠狠色性| 天天摸日日舔狠狠添婷婷婷| 久久香蕉婷婷| 丁香五月激情综合啪啪| 99热综合| 色婷婷成人影片| 日本99色| 精品久久婷婷| 丁香五月天视频| 婷婷激情五月天小说| 婷婷五月天美女视频| 国产精品国产成人国产三级| 综合天天综合| 三级三久久线久久99久目本WW| 热99在线精品| 丁香五月婷婷基地| 九九色99| 九九色逼| 亚洲99在线| 97五月天婷婷综合激情网| 久久久久久18| 99久在线精品99re8| 五月丁香花激情啪啪网| 色人久久| 爽极品色| 91人妻视频| 天天做天天爱天天爽| AAA久久| 91人操| 色婷婷丁香五月| 色一情一乱一乱一区91Av| 婷婷狠狠久久| 99se丁香| 国产精品噜噜在线视频| 婷婷丁香五月天激情| 91九色在线| 中文AV在线播放| 98国产精品综合一区二区三区| 国产精品视频免费看| 亚洲精品成人| 色综合九九| 深爱婷婷网| 4399人妻无码久久久| 婷婷五月激情五月激情| www.com五月天| wwww.色婷婷| 五月天久久久| 五月丁香久| 综合久久99| 日日操夜夜爽| 久久精品亚洲一级牲爱综合| 九伊人网| 亚洲另类AV| 久久se 综合网| 91热在线观看视频| 九九视频在线观看| 丁香六月婷婷五月天| 99热免费18| 成人亚洲精品久久久久| 五月丁香激情深爱婷婷| 热热久久久久久久久| 久热9热| 五月天丁香久久综合| 日韩成人精品中文字幕| 丁香五月av| 天天干夜晚夜操| 激情综合五月| 色五月天丁香婷婷| 国产99久久久| 亚洲综合五月| 婷婷中文字幕在线| 激情综合网五月婷婷| 久久这里有精品视频在线免费观看| 天天爽爽日日做做| 亚洲色婷婷激情| 91丨九色丨熟女丰满| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 99视频热99| 中文字幕人妻AV| 欧美久人人| 亚洲日比视频| 青青色com久久| 婷五月天影院| 天天色情站| 日韩成人无码| 亚洲殴洲精品Av在线| 五月开心播播网| 五月婷中文娱乐综合| 99超碰在线观看| 九九热色视频| 婷婷中文字暮| 久久99网| 狠狠精品干练久久久无码中文字幕| BBWCUCKOLD精品熟妇| 成人精品网站在线观看| 啪啪婷婷五月天激情| 激情五月天视频| 狠狠va| 99.色| 91九色网| 久久婷婷丁香| 婷婷激情六月中文| 五月婷婷另类| 操操操97| 91色性感五月婷婷丁香| 久久婷婷五月综合色奶水99啪| 91丨九色丨熟女丰满| 天天爽人人爽| 99热这里只有精品5| 丁J香六月首页| 波多野结衣AV无码Porn| 激情五月婷婷丁香综合网| 99色性爰网络| 婷丁五月| 99热色精品| 五月丁香网站| 六月丁香激情| 人人草人人视| 五月停视频天堂| 久久久久久久五月| 精品人妻在线| 欧美色爱五月天| 草AV9999| 91精品国产综合久久久不卡电影| 综合婷婷久久| 婷婷亚洲色| 秋霞免费三级片| 色色激情网| a免费在线| 操九色| 蒲京久久无码视频| 涩涩涩.com| 久综合4| 久久机只有这里精品| 99热这里是精品| 亚洲av网站在线观看| 久久色天堂| 日韩成人电影AV| 欧美黄色AA片哗啦啦啦| 久久这里只有精品5| 激情六月综合| 大香蕉人人人| 婷婷色啪| 综合97五月| 国产激情久久久| 五月天婷婷久色| 婷婷伊人五月天| 99A片| 激情综合区| 欧美成人AAA片一区国产精品| 婷婷五月激情综合| 丁香五月AV综合激情| AAA级久久久精品| 激情小说五月天中文字幕| 亚洲欧洲一二| 伊人激情综合网| 人人操91| WWW.桔色成人.COM| 久久 视频这里只有精总| 久久国产高清| 99精品成人无码A片观看金桔| 亚洲综合新99视频| 婷婷 丁香 久久| 色婷婷狠| 五月婷婷开心六月激情小说| 九九九九综合| 天天综合网色欲香| 熟妇无码乱子成人精品| 久久婷婷内射| 开心婷婷五月中文字幕组| 99综合免费视频| 久久九九思思| 成人精品视频99在线观看免费 | www久久99| 。久久久久久久久久久久久久人妻| 丁香婷婷色色| 婷婷色在线观看| 婷婷婷婷色| 伊人婷婷色激情丁香| 国产99热在线看| 欧美色激情四射| 天堂久久精品| 91大屁股| 激情美女五月天激情在线| 综合久久婷婷五月丁香| 婷婷伊人网| 五月婷激情影院| 我淫我色婷婷五月天激情四射| 能看的av网站| 26uuu国产| 色色色热热热| 激情99| 丁香婷婷视频一区二区| www久久艹| 九月婷婷综合网| 婷婷丁香成人五月天| 激情五月天社区| 久久大香蕉| 99视频在线看| 久9久成人精品视频| 久9精品| 超碰在线免费9| 丁香六月啪| 色情综合网| 爱草视频在线观看| 婷婷五月丁香综合人妻| 五月丁香六月婷婷综合伊人| 丁香五月天激情小说| 丁香五月另类小说| 久99久精品| 婷婷精品| 97碰碰草| 婷婷五月天成人在线视频| 开心五月六月婷婷| 第四色五月激情网| 婷婷五月天第四色| 丁香五月先锋| 99热在线观看| 日日噜噜夜夜狠狠久久丁香五月| 婷婷五月天av小说| A在线观看| 婷婷六月激情啪啪| 99热免费观看| 九久9精品| 天堂久久久久天堂网| 99视频网址| 亚州激情在线视频| 深爱五月天 开心网| 色婷婷久久综合久色| 五月天另类激情在线| 99资源在线| 久久婷中文字幕| 97干在线观看视频| 97操在线视频| 99久.| 天天操天天草天天草天天| 99爱最新免费视频在线观看| 久久怡红院| 亚洲乱码日产精品BD| 99五丁香月| 成人电影一区| 思思久久青草热| 激情99| 99热精品在线| 丁香五月六月久久综合 | 97久久久久| 99思思热只有在这里看| 做爰丰满少妇1313| 超级碰 久久9| 日本三级中国三级99人妇网站| 亚洲欧美日韩另类| 六月婷婷亚洲| 狠狠色成人影片| 9福利性视频欧美| www色中色综合| 九九九激情综合| 99er精品| 女人高潮内射99精品| 91超碰在线播放| 激情综合国产| 伊人久热91网| 26uuu亚洲| 92国产福利| 亚洲AV网址| a网站免费观看| 天天做夜夜爽| 激情婷婷综合| 久久婷婷五月综合色丁香花| 先锋男人99资源| 欧洲永久精品| 激情五月图| 超碰人人在线| 日韩欧美不卡| 天天综合.com| 99ri6在线视频| 99在线观看精品视频| 日本人人超碰| 激情中文在线| 色综合网上班开心婷婷久久| 99热免费| 丁香涩涩爱| 久久久精品99| 99色热| 国产xxxxx在线观看| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 九九这里是免费的视频5| 在线视频你懂得| 久久久久久久人妻| 天天干天天曰天天射| 丁香五月在线自慰| 99热这里只有精品一| 色五月婷婷影院| 99精品成人无码A片观看金桔| 狠狠五月天婷婷| 99人碰碰碰| 日韩黄色影院| 色色色网站| 婷婷五月六月丁香| 深爱婷婷色| 97人妻碰碰碰久久香蕉| 99久久婷婷国产综合| 狠狠五月激情婷婷直播片| 丁香婷婷网| 曰本aaaaaa丈片| 五月丁香影视| 最新久久网址| 色五月激情综合| 亚洲激情校园| 97自拍视频网| 99爱爱| 精品久久久久久久久久久久人妻| 天天情天天狠天天透| 亚洲综合激情五月| 丁香色啪综合| 日日操夜夜操狠狠操| 91vip在线观看| 韩日AV片| 成人做爰A片免费看视频| 久久只有18视频| 激情丁香九九五月综合网| 啪啪六月婷婷| 中文字幕色色| AV79| 噜噜噜色噜噜| 亚洲激情高潮| 久草天堂| 中文字幕有多少字| 天天色天天操天天射| 婷婷久久亚洲| 永久精品| 色五月综合| 日本色色图| 九九热精品| 成人在线日韩| 亚洲色另类| wwwss在线观看| 久久性爱视频| 婷婷六月丁香五月| 欧美啪啪9| 色综合天天| 亚洲综合网在线| 秋霞少妇毛片| 五月丁香婷婷色色色| 99re在线视频精品,这里只有精品18,| 日韩AV片| 色婷婷五月天激情综合| 久久婷婷五月天蜜桃| 六月丁香婷婷在线波多| 色色操| 天天操无码| 97人人草| www.91久久| 激情六月丁香综合| 天天干,天天舔| 亚洲免费婷婷| 粉嫩AV久久一区二区三区| 99精品热| 色情综合| 五月天伊人| 欧美人人草草| 久久九九re热| 久热播这里只有精品| 天堂婷婷丁香六月网| 亚洲欧洲色色| 99在线观看这里都是精品| 天天日天天草| 岛国AV网| 99啪啪网| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 二级黄色毛片| 激情小说五月天社区丁香| 黄色99网| 亚洲精品影视| 五月激情天| www.99热在线| 婷婷色五月久久| 碰97久久| 中文超碰视在线| www.久久爱| 97婷婷色| 欧美婷婷综合| 亚洲AV成人无码久久精品老人法拉利| 五月丁香影院| 我爱大香蕉| 久久97| 99re视频在线精品| 婷婷五月丁香网| 五月婷在线| 激情AV| 91九色熟女| 国产激情在线观看| 婷婷五月在线视频| W色综合| 五月色综合网| 丁J香六月首页| 99re思思热久久| 八戒青柠影视剧在线观看| 91超级碰| 伊人网大香| 五月婷婷伊| 国产亚洲精品久久一区二区三区| av网站免费在线| 99热网站| 久久久久久久久久久97| 五月丁香好婷婷A片网| 另类在线| 色综合丁香| 天天天久久久| 五月丁香综合| 丁香六月爱综合| 亚洲另类在线观看| 五月网网站| 在线另类视频| 丁香六月婷婷| 天天狠狠色| 精品人妻在线| 六月婷婷综合激情| 午夜九九电影| 97操男人的天堂| 五月天色综合| 天天综合五月天| 草综合网| 最新久久网址| 开心色色五月天综合| 91精品久久久久久久久| 丁香婷婷丁香五月欧美人| 精品夜夜澡人妻无码AV| 79色色| 五月丁香无码| 激情四射亚洲| 五月丁香啪啪啪| 国产伊人五月天| 激情九九九九| 天天插天天插天天插天天插| 天天视频亚洲| 色色色999| 五月婷婷精品视频| 欧美日韩成人| av在线中文| www.91在线观看| 直接看的AV| 日本色色色| 精品五月花| 色墦五月丁香| 色综合天天| 九九婷婷网五月天| 六月丁香激情| 天天激情| 五月丁香久久呀| 亚洲色情在线| 色五月婷婷丁香五月| 天天操天天操综合| 亚洲丁香五月天在线视频| 丁香婷婷色情| 久热超碰91| 91干视频| 大香蕉久艹| 日本狠狠爽| 激情婷婷五月色| 亚洲激情高潮| 婷婷五月天无码熟女| 色久在| 黄页大全十八禁| 99精品福利视频| 99爱在线精品视频免费观看| 久久机热/这里只有精品 | www.精品99| 五月丁香激情综合网| 五月婷啪| 南京搡BBBB搡BBBB| 视色综合| 天天摸天天透天天舔| 婷婷五月激情综合| 97人人超| 丁香五月偷拍| 日本天堂网站99| 色色五月天丁香婷婷| 欧美成人Va| 色色色色色色97| xx人人xx| 99热国产这里只有精品| 婷婷丁香五月综合| 激情AV中文| Av在线资源| 日韩黄黄| 国产无套精品一区二区| 婷婷丁香人妻天天爽| 九九Y精品热播| 久久久久9| 五月精品免费XXX| 色99网| 日韩操啪| 激情五月婷婷综合网| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 五月综亚洲| 五月激情网站| 五月丁香六月婷婷亚洲综合| caop在线视频| 成人va在线| 久久久99精品| 五月丁香网站| 婷婷九月综合| 丁香五月乱中文字幕| 丁香五月伊人| 国产成人网站在线观看| 亚洲国产色色| 午夜天天精品视频| 久思思久视频| 久久婷婷网站| 99在线视频免费| 超碰人人操| 9视频1在线| 色色丁香激情五月| 久久婷婷五月综合网| 爱草视频在线| 激情五月婷婷综合秋霞| 一区二区中文字幕| 99久久网站| 丁香色六月婷婷| 欧洲第一无人区观看| 天天在线久久综合 | 色九月婷婷综合| 日本超碰在线| 99操| 玩熟女五十AV一二三区| 色情·com| 狠狠爱青青草| 五月丁香 啪啪啪| 91九九热| 色婷婷五月天激情在线观看| 色婷婷激情五月天| 久草大| 九九热99精品| 微拍92| 色婷婷基地| 亚洲综合99| 色婷婷六月| 色五月婷婷五月天激情综合| www久久久久| 九九热免费| 日日干日日s| 五月天丁香成人社| 99热自拍| 久久精品视频在这里有| 天天搞天天色综合| 内射在线CHINESE| 99视频在线精品| 天天插天天日天天爽| 色99久草在线| www.婷婷五月| 九九热在线99| 丁香五月天在线视频| 无码一级片| 五月婷婷六月丁香| 天天成人丁香美女AV| 欧美性猛交99久久久99| 性爱网五月婷婷| 五月天久久久| 色五月婷婷综合| 99热这里精品| 3p日韩网站视频| 久久九九@| 色婷婷丁香AV综合| 丁香五月综合激情啪啪| 激情五月天www| 成人色站,在线视频,看片-SS1AV| 五月丁香福利| 三日本无码| 五月天婷婷色播综合在线| 狠狠干婷婷| 这里只有精品无码| 亚洲人人操BD| 久久久久人妻中文| 国产五月丁香在线| 久久这里只有精品07| 怡红院 久久| 日韩啪啪网| 天天更新天天亚洲| 五月综合激情图片| 99久久国产宗和精品1上映| 91操人| 国产人妻操逼| 丁香五月第九色| 精品网站99| 涩涩涩.com| 天天日日综合| 久久久久久丁香五月| 99久久国产宗和精品1上映| http://www.lingjunshare.com/ | 五月婷婷六月丁香在线视频| 丁香六月五月天| 日本 @ va 免费| 99精品在线观看视频| 影音先锋天天日| 婷婷午夜精品久久久| 色爽九九| 丁香五月花| 婷婷五月欧美| 99热乎| 九九精品网| 久久久激情| 专区无日本视频高清8| 天天日中文| 激情五婷网| 色五月天天| 大香蕉婷婷| 狠狠干.com| 五月婷婷色播视频| 人人爽亚洲| 五月婷婷激情| 国内一级精品| 99色激| 夜夜爽天天日| 国产67194| 91久久久久久久91| 五月色情婷婷开心五月色情| 五月色天情| 色婷婷影院| 九色色| 色婷婷基地 | 超碰av在线| 激情五月天电影| 无码99| 婷婷色播色五月五色五月天色妇| 久久aaaa片一区二区| 五月婷婷丁香| 1024操逼视频| 狠狠色狠狠操| 国产麻豆视频| 蜜乳.comcom| 99视频久久| 婷婷丁香六月天激情四射网| 99er国产| 91色五月| 色色婷婷五月天| 五月激情影院| 91九色小视频| 五月天五月天成人网亭亭成人色网站| 亚洲无AV在线中文字幕| 婷婷AV丁香| 激情五月综合| 五月天激情综合在线| 大香蕉九九| 丁香婷婷五月天网站| 大香蕉综合在线| 超碰av在线| 91精品综合久久久久久五月丁香| 乱码操操| 另类图片天天影视在线观看| 伊人婷婷青青cao| 少妇AB又爽又紧无码网站| 婷婷在线免费| 久久丁香婷婷色情综合| 色无码| 激情六月天婷婷|