欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

DeepSpeed多卡ChatGLM微調(diào)實(shí)戰(zhàn):從顯存優(yōu)化到LoRA選型

DeepSpeed多卡ChatGLM微調(diào)實(shí)戰(zhàn):從顯存優(yōu)化到LoRA選型 簡(jiǎn)介面向需要上手大模型微調(diào)的開(kāi)發(fā)者與研究者這份資源以DeepSpeed多卡訓(xùn)練為主線(xiàn)完整覆蓋ChatGLM微調(diào)實(shí)戰(zhàn)流程并提供可直接運(yùn)行的模塊化源碼與流程教程。項(xiàng)目包含詳細(xì)的環(huán)境搭建、數(shù)據(jù)準(zhǔn)備與格式化、LoRA/P-tuning/Freeze等多類(lèi)微調(diào)方案同時(shí)講解ds_config.json等關(guān)鍵配置參數(shù)、訓(xùn)練啟動(dòng)腳本寫(xiě)法和常見(jiàn)踩坑點(diǎn)有助于讀者跨越單卡顯存限制快速搭建多卡并行訓(xùn)練環(huán)境。壓縮包共17個(gè)文件以Python訓(xùn)練腳本11個(gè)、Shell啟動(dòng)腳本3個(gè)、JSON配置文件2個(gè)和Markdown說(shuō)明文檔1個(gè)為主大小僅118KB目錄劃分明確便于按模塊對(duì)照學(xué)習(xí)。已有267人瀏覽學(xué)習(xí)。借助源碼中的模型加載、數(shù)據(jù)加載、訓(xùn)練循環(huán)、推理腳本和評(píng)估測(cè)試等模塊讀者不僅能復(fù)現(xiàn)ChatGLM多卡微調(diào)還能理解DeepSpeed的內(nèi)存優(yōu)化與梯度累積機(jī)制是一份可直接落地的優(yōu)質(zhì)實(shí)戰(zhàn)教程。1. 多卡ChatGLM微調(diào)為什么大家都卡在DeepSpeed這一關(guān)把ChatGLM-6B塞進(jìn)一張A100-80G里做推理是輕松的但一旦開(kāi)始全量微調(diào)Adam優(yōu)化器的狀態(tài)一上來(lái)顯存立刻不夠用。很多人對(duì)“多卡微調(diào)”的第一反應(yīng)是插4張卡等于4倍顯存真正跑起來(lái)才發(fā)現(xiàn)權(quán)重、梯度、優(yōu)化器狀態(tài)這堆東西不切開(kāi)4張卡也只是各自抱著同一份副本在空轉(zhuǎn)。DeepSpeed就是為解決這個(gè)問(wèn)題出現(xiàn)的它把模型狀態(tài)切到各卡上讓基于DeepSpeed的多卡ChatGLM微調(diào)從“跑得動(dòng)”變成“跑得起”。這篇實(shí)戰(zhàn)筆記按環(huán)境搭建、LoRA與全量選型、deepspeed_config.json參數(shù)、多卡啟動(dòng)和踩坑排查的順序給出一套可以直接復(fù)制到你自己機(jī)器上的完整流程。適合手里有2到8張GPU、想把ChatGLM微調(diào)成垂直場(chǎng)景模型的算法工程師和獨(dú)立開(kāi)發(fā)者。2. 微調(diào)前的選型全量微調(diào)和LoRA微調(diào)先算一筆賬2.1 全量微調(diào)為什么在多卡上這么貴全量微調(diào)意味著模型每一層參數(shù)都在更新訓(xùn)練過(guò)程中需要同時(shí)存放五樣?xùn)|西權(quán)重本身、梯度、優(yōu)化器的一階動(dòng)量、二階動(dòng)量以及混合精度下的FP32主權(quán)重。工程上常用一個(gè)近似數(shù)來(lái)算賬每1B參數(shù)大約要占16GB的模型狀態(tài)。ChatGLM-6B換算下來(lái)光是參數(shù)、梯度和優(yōu)化器狀態(tài)就要接近96GB。一張A100-80G單卡裝不下即便勉強(qiáng)裝下batch只能設(shè)為1訓(xùn)練效率低到?jīng)]法看。多卡場(chǎng)景里最直接的做法是Data Parallel也就是每張卡復(fù)制一份完整模型各自算梯度再做一次allreduce合并。4張卡就是4份96GB顯存不僅沒(méi)省反而因?yàn)橥ㄐ砰_(kāi)銷(xiāo)變得更慢。DeepSpeed在這里的核心價(jià)值是ZeRO它把原本每張卡都保存一份的優(yōu)化器狀態(tài)、梯度甚至參數(shù)切分到不同卡上通信只發(fā)生在真正需要同步的時(shí)刻。這也是“多卡微調(diào)為什么繞不開(kāi)DeepSpeed”的最直接原因?qū)τ谝粋€(gè)6B量級(jí)的模型光模型狀態(tài)就已經(jīng)超過(guò)單卡物理上限不用ZeRO只能靠堆顯存解決而堆顯存的性?xún)r(jià)比太低。這里還需要區(qū)分一個(gè)概念模型狀態(tài)和激活值。模型狀態(tài)指的是參數(shù)、梯度、優(yōu)化器狀態(tài)激活值是前向傳播過(guò)程中每一層輸出的中間張量。很多人以為開(kāi)了DeepSpeed就能解決所有顯存問(wèn)題結(jié)果發(fā)現(xiàn)batch一大照樣OOM這就是激活值在瓶頸上。后面第4章會(huì)給出一個(gè)完整的顯存估算方法先把模型狀態(tài)算明白再結(jié)合batch和序列長(zhǎng)度去反推激活值的余量。2.2 LoRA微調(diào)是什么意思參數(shù)少到什么程度剛接觸大模型微調(diào)的人常問(wèn)LoRA微調(diào)是什么意思。簡(jiǎn)單說(shuō)LoRA凍結(jié)原模型的全部權(quán)重在每一層通常是注意力層的線(xiàn)性映射旁邊掛一組低秩矩陣A和B只訓(xùn)練這兩個(gè)小矩陣。最終更新量等于alpha/r乘以AB的結(jié)果再疊加到原始權(quán)重上。由于原始權(quán)重完全不更新可訓(xùn)練參數(shù)量會(huì)從6B級(jí)別直接掉到百萬(wàn)級(jí)別。以ChatGLM-6B為例在query_key_value上掛LoRAr設(shè)為8可訓(xùn)練參數(shù)大約只有三百萬(wàn)到四百萬(wàn)比原始參數(shù)小了三個(gè)數(shù)量級(jí)。這會(huì)帶來(lái)兩個(gè)直接好處一是模型狀態(tài)顯存占用大幅下降因?yàn)樾枰4娴膮?shù)、梯度和優(yōu)化器狀態(tài)都只針對(duì)這小部分可訓(xùn)練參數(shù)二是訓(xùn)練過(guò)程不容易把基座的語(yǔ)言能力帶偏特別適合數(shù)據(jù)量不大、目標(biāo)明確的垂直微調(diào)場(chǎng)景。from peft import LoraConfig, get_peft_model lora_config LoraConfig( r8, # 低秩矩陣的秩常用 8/16/32 lora_alpha16, # 縮放系數(shù)實(shí)際更新量乘 alpha/r target_modules[query_key_value], # ChatGLM 注意力層線(xiàn)性映射的參數(shù)名 lora_dropout0.1, biasnone, ) model get_peft_model(model, lora_config) model.print_trainable_parameters()這里有幾個(gè)參數(shù)需要根據(jù)實(shí)際任務(wù)調(diào)r太小表達(dá)能力不夠r太大可訓(xùn)練參數(shù)變多顯存優(yōu)勢(shì)和微調(diào)“安全邊際”都會(huì)縮水。lora_alpha和r的比值決定LoRA更新的影響幅度一般alpha取r的1到2倍。target_modules要根據(jù)模型結(jié)構(gòu)改ChatGLM的注意力層里query、key、value是合并在一個(gè)名為query_key_value的線(xiàn)性層里的所以要寫(xiě)這個(gè)參數(shù)名如果微調(diào)ChatGLM2或ChatGLM3這個(gè)名稱(chēng)可能不同先打印模型結(jié)構(gòu)確認(rèn)再填。對(duì)比全量微調(diào)LoRA微調(diào)的選擇邏輯可以歸納為數(shù)據(jù)量小、任務(wù)垂直度高、希望快速迭代選LoRA數(shù)據(jù)量足夠大、顯卡資源充足、追求極限效果才考慮全量微調(diào)。對(duì)于多數(shù)真實(shí)項(xiàng)目LoRA都是第一版方案因?yàn)樗茉谝粋€(gè)晚上跑完而且效果差距往往沒(méi)有想象中大。對(duì)比項(xiàng)全量微調(diào)LoRA微調(diào)更新參數(shù)范圍全部參數(shù)低秩矩陣模型狀態(tài)顯存約16GB/B參數(shù)約0.1GB/B參數(shù)訓(xùn)練速度慢快3到5倍基座能力保持容易遺忘較好適用場(chǎng)景數(shù)據(jù)量大、資源足垂直微調(diào)、快速迭代2.3 ChatGLM的數(shù)據(jù)拼接和標(biāo)簽掩碼Prefix-LM結(jié)構(gòu)下的labelsChatGLM是Prefix-LM結(jié)構(gòu)左側(cè)的輸入可以做雙向注意力右側(cè)的生成部分只能看左側(cè)。這和GPT的Causal-LM不一樣訓(xùn)練數(shù)據(jù)不能直接當(dāng)普通CausalLM來(lái)拼接。社區(qū)里最常見(jiàn)的做法是把指令和回答拼成一條完整文本在回答開(kāi)始的位置之前把標(biāo)簽全部設(shè)為-100計(jì)算loss時(shí)這些位置被忽略。def pack_chat_input(tokenizer, source, answer, max_len2048): # 拼接格式和ChatGLM官方prompt模板保持一致 text 問(wèn) source \n答 answer tokenizer.eos_token ids tokenizer.encode(text, max_lengthmax_len, truncationTrue) # 計(jì)算prompt部分的長(zhǎng)度這部分不參與loss計(jì)算 prompt 問(wèn) source \n答 prompt_len len(tokenizer.encode(prompt)) labels [-100] * len(ids) # 先把所有位置設(shè)為-100 labels[prompt_len:] ids[prompt_len:] # 回答部分保留真實(shí)token return {input_ids: ids, labels: labels}這段代碼的核心邏輯是“回答token要學(xué)習(xí)指令token不學(xué)習(xí)”。-100是PyTorch CrossEntropyLoss約定俗成的ignore索引模型在算loss時(shí)會(huì)自動(dòng)跳過(guò)這些位置。注意這里的prompt_len用的是tokenizer.encode不是字符長(zhǎng)度因?yàn)橹形奈谋镜膖oken切分不是按字來(lái)的。訓(xùn)練循環(huán)里有一個(gè)特別容易翻車(chē)的細(xì)節(jié)用了DeepSpeed之后反向傳播和參數(shù)更新必須交給engine不能直接調(diào)model.backward()或optimizer.step()。原因在于ZeRO把模型狀態(tài)切到了多張卡上只有engine知道當(dāng)前rank上持有哪部分狀態(tài)。for step, batch in enumerate(dataloader): outputs engine( input_idsbatch[input_ids].cuda(), labelsbatch[labels].cuda(), ) engine.backward(outputs.loss) engine.step()這里的engine就是deepspeed.initialize返回的模型包裝對(duì)象。前向接口和原始模型基本一致但backward和step必須走engine。如果自己額外再調(diào)一次optimizer.step()輕則梯度更新錯(cuò)亂重則訓(xùn)練過(guò)程直接崩掉。3. 環(huán)境搭建與最小復(fù)現(xiàn)從安裝deepspeed到多卡啟動(dòng)3.1 安裝deepspeed包先過(guò)CUDA這一關(guān)搜索“安裝deepspeed包一直報(bào)錯(cuò)”你會(huì)發(fā)現(xiàn)十個(gè)里有八個(gè)是同一個(gè)原因pip在安裝時(shí)嘗試編譯CUDA拓展但系統(tǒng)里找不到CUDA工具鏈。報(bào)錯(cuò)信息里通常會(huì)有一大段gcc、nvcc相關(guān)的日志很多人看到就懵了其實(shí)解決辦法很簡(jiǎn)單先確認(rèn)PyTorch的CUDA版本再檢查nvcc能不能用。# 先確認(rèn)torch的CUDA版本再?zèng)Q定裝哪個(gè)deepspeed python -c import torch; print(torch.version.cuda) # 安裝前確認(rèn)nvcc可用 nvcc --version # 常規(guī)安裝方式 pip install deepspeed如果pip直接從源碼編譯導(dǎo)致報(bào)錯(cuò)可以先用預(yù)編譯的wheel包緩解。另一個(gè)常見(jiàn)做法是設(shè)置CUDA_HOME環(huán)境變量指向CUDA Toolkit的安裝目錄再執(zhí)行pip install deepspeed。安裝完成后用ds_report命令檢查deepspeed是否識(shí)別到當(dāng)前GPU、CUDA版本和NCCL版本。這個(gè)命令會(huì)打印一份環(huán)境診斷報(bào)告看到“OK”字樣說(shuō)明基礎(chǔ)環(huán)境沒(méi)有問(wèn)題。需要注意deepspeed會(huì)在第一次啟動(dòng)訓(xùn)練時(shí)做JIT編譯編譯一些CUDA算子到緩存目錄所以第一次啟動(dòng)多等一兩分鐘是正常的。如果多次啟動(dòng)都卡在同一處編譯多半是系統(tǒng)缺了gcc或者編譯依賴(lài)看日志里的具體報(bào)錯(cuò)再補(bǔ)裝對(duì)應(yīng)依賴(lài)。3.2 寫(xiě)一個(gè)最小訓(xùn)練腳本train_chatglm_lora.py環(huán)境就緒后先別急著上全量微調(diào)我一般用LoRA把整個(gè)鏈路先跑通。下面這個(gè)腳本是完整可運(yùn)行的最小版本把模型加載、LoRA包裝、DeepSpeed初始化和訓(xùn)練循環(huán)放在一起總共不到40行。import torch import deepspeed from transformers import AutoTokenizer, AutoModel from peft import LoraConfig, get_peft_model def train(): model_name THUDM/chatglm-6b tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) # bf16要求Ampere及以上架構(gòu)V100等舊卡請(qǐng)改成fp16 model AutoModel.from_pretrained( model_name, trust_remote_codeTrue, torch_dtypetorch.bfloat16, ) # 用LoRA凍結(jié)大部分參數(shù)只訓(xùn)練query_key_value上的低秩矩陣 model get_peft_model(model, LoraConfig( r8, lora_alpha16, target_modules[query_key_value], lora_dropout0.1, biasnone, )) # 梯度檢查點(diǎn)用計(jì)算換顯存多卡顯存緊張時(shí)建議打開(kāi) model.gradient_checkpointing_enable() engine, optimizer, _, lr_scheduler deepspeed.initialize( modelmodel, model_parameters[p for p in model.parameters() if p.requires_grad], configds_config.json, ) for step, batch in enumerate(dataloader): outputs engine( input_idsbatch[input_ids].cuda(), labelsbatch[labels].cuda(), ) engine.backward(outputs.loss) engine.step()這段代碼里有兩個(gè)地方最容易出錯(cuò)。一是AutoModel.from_pretrained必須帶trust_remote_codeTrue因?yàn)镃hatGLM的模型結(jié)構(gòu)通過(guò)遠(yuǎn)程代碼加載二是deepspeed.initialize的model_parameters參數(shù)只傳可訓(xùn)練參數(shù)LoRA模式下就是那幾個(gè)低秩矩陣不要傳model.parameters()的完整列表否則DeepSpeed會(huì)把凍結(jié)參數(shù)也納入優(yōu)化器管理白白浪費(fèi)顯存。dataloader需要配合第2.3節(jié)的pack_chat_input函數(shù)把每條樣本處理成input_ids和labels。注意collate時(shí)要?jiǎng)討B(tài)padding到batch內(nèi)最長(zhǎng)而不是固定到2048否則顯存大部分都被無(wú)效的padding token吃掉了。3.3 啟動(dòng)命令單機(jī)多卡和多機(jī)多卡的差異訓(xùn)練腳本寫(xiě)好后啟動(dòng)方式用deepspeed命令不是python命令。單機(jī)4卡的最簡(jiǎn)命令如下deepspeed --num_gpus 4 --master_port 29500 train_chatglm_lora.pymaster_port是分布式訓(xùn)練的控制通信端口默認(rèn)29500。如果同一臺(tái)機(jī)器上同時(shí)跑多個(gè)訓(xùn)練任務(wù)端口會(huì)沖突啟動(dòng)時(shí)會(huì)報(bào)端口被占用的錯(cuò)誤換一個(gè)比如29501就行。如果你用的是SLURM之類(lèi)的調(diào)度系統(tǒng)還要帶上deepspeed_multinode腳本一起用這里不展開(kāi)。多機(jī)多卡稍微復(fù)雜一點(diǎn)每臺(tái)機(jī)器上都要執(zhí)行啟動(dòng)命令區(qū)別只在node_rank和master_addr# 在第一個(gè)節(jié)點(diǎn)執(zhí)行 deepspeed --num_nodes 2 --num_gpus 8 --node_rank 0 \ --master_addr 192.168.1.10 --master_port 29500 train_chatglm_lora.py # 在第二個(gè)節(jié)點(diǎn)執(zhí)行 deepspeed --num_nodes 2 --num_gpus 8 --node_rank 1 \ --master_addr 192.168.1.10 --master_port 29500 train_chatglm_lora.py多機(jī)場(chǎng)景下master_addr必須填第一臺(tái)機(jī)器的IP而且兩臺(tái)機(jī)器要能互相訪(fǎng)問(wèn)。這里有個(gè)容易踩的坑如果機(jī)器之間只有以太網(wǎng)沒(méi)有InfiniBand通信速度會(huì)成為訓(xùn)練瓶頸需要顯式設(shè)置NCCL_SOCKET_IFNAME指向?qū)嶋H網(wǎng)卡接口名。判斷方法是在訓(xùn)練日志里看NCCL初始化時(shí)用了哪塊網(wǎng)卡如果是lo或docker0訓(xùn)練速度大概率不正常。4. deepspeed_config.json先設(shè)這幾個(gè)參數(shù)再談?dòng)?xùn)練收斂4.1 ZeRO Stage選1、2還是3zero123的區(qū)別第一次寫(xiě)deepspeed_config.json卡住最多的問(wèn)題就是deepspeed zero123的區(qū)別。簡(jiǎn)單說(shuō)Stage 1只切分優(yōu)化器狀態(tài)Stage 2在Stage 1基礎(chǔ)上連梯度也切分Stage 3更進(jìn)一步把模型參數(shù)本身也切分到各卡上。Stage越高顯存越省但卡間通信量越大訓(xùn)練速度越慢。ChatGLM-6B微調(diào)我的建議是優(yōu)先Stage 2。6B模型的參數(shù)量不算特別大Stage 2已經(jīng)能把優(yōu)化器狀態(tài)和梯度的重復(fù)存儲(chǔ)省掉顯存能被壓到接近“每卡只存一份完整權(quán)重部分狀態(tài)”的水平。Stage 3雖然有額外收益但通信開(kāi)銷(xiāo)會(huì)拖慢迭代速度在4卡或8卡規(guī)模下性?xún)r(jià)比不高。只有當(dāng)顯存實(shí)在不夠、batch小到?jīng)]法看的時(shí)候才考慮Stage 3或者把優(yōu)化器狀態(tài)offload到CPU。DeepSpeed初始化時(shí)會(huì)打印一份運(yùn)行配置摘要里面包括當(dāng)前用的是哪個(gè)Stage、每張卡預(yù)估的顯存使用量。啟動(dòng)日志不要直接跳過(guò)這些信息比任何第三方工具都準(zhǔn)。Stage 3還要注意一個(gè)問(wèn)題參數(shù)被切分后前向和反向過(guò)程中需要?jiǎng)討B(tài)收集參數(shù)所以eval和保存模型時(shí)要額外處理對(duì)新手來(lái)說(shuō)這是比顯存更麻煩的坑。4.2 我習(xí)慣先寫(xiě)好的幾個(gè)配置項(xiàng)下面這份ds_config.json是我做ChatGLM微調(diào)時(shí)最常使用的配置模板每一項(xiàng)都直接影響訓(xùn)練能否收斂。{ train_batch_size: 32, gradient_accumulation_steps: 4, gradient_clipping: 1.0, bf16: { enabled: true }, zero_optimization: { stage: 2, offload_optimizer: { device: cpu } }, scheduler: { type: WarmupDecayLR, params: { warmup_min_lr: 0, warmup_max_lr: 2e-5, warmup_num_steps: 200 } }, steps_per_print: 20 }第一眼要搞清楚的是train_batch_size、gradient_accumulation_steps和實(shí)際每卡batch三者的關(guān)系。train_batch_size是全局batch也就是所有卡累積多少條樣本做一次參數(shù)更新。實(shí)際每卡micro batch的計(jì)算公式是train_batch_size除以卡數(shù)再除以梯度累積步數(shù)。以這份配置為例4卡、累積4步、全局32那么每卡micro batch是2。很多人在這一步憑感覺(jué)填數(shù)字結(jié)果實(shí)際batch大小和預(yù)期完全不是一回事loss曲線(xiàn)自然不對(duì)。配置項(xiàng)取值建議作用train_batch_size16到64全局batch決定每次更新用多少樣本gradient_accumulation_steps2到8梯度累積步數(shù)等效增大batchgradient_clipping1.0防止梯度爆炸微調(diào)大模型必備bf16enabled: true半精度訓(xùn)練A100及以上建議開(kāi)offload_optimizerdevice: cpu優(yōu)化器狀態(tài)放內(nèi)存顯存緊張時(shí)開(kāi)warmup_max_lr1e-5到5e-5峰值學(xué)習(xí)率6B模型別超過(guò)5e-5bf16和fp16的區(qū)別也值得多提一句。bf16在A100、H100這些Ampere之后架構(gòu)的卡上效果更好指數(shù)位更多不容易出現(xiàn)loss溢出V100等舊架構(gòu)不支持bf16只能開(kāi)fp16這時(shí)要額外關(guān)注loss scale防止訓(xùn)練中期loss變成NaN。4.3 用顯存公式反推可用的batch和序列長(zhǎng)度顯存占用粗略分為兩塊模型狀態(tài)加激活值。模型狀態(tài)可以用第2.1節(jié)的16GB/B參數(shù)估算激活值則和micro batch大小、序列長(zhǎng)度、模型層數(shù)強(qiáng)相關(guān)。ChatGLM-6B在max_seq_len為2048時(shí)激活值隨batch增長(zhǎng)的斜率非常明顯很多人以為batch設(shè)2沒(méi)問(wèn)題結(jié)果跑到第100步就OOM。我建議的排查順序是先固定序列長(zhǎng)度把micro batch調(diào)到1跑一輪用nvidia-smi看顯存占用基線(xiàn)再逐步往上加。# 每秒刷新一次顯存情況觀察訓(xùn)練過(guò)程中的峰值占用 watch -n 1 nvidia-smi看重點(diǎn)不是顯存總量而是進(jìn)程占用那一欄。如果micro batch為1時(shí)已經(jīng)用了接近全部顯存說(shuō)明瓶頸在激活值這時(shí)候調(diào)低max_len或者關(guān)掉冗余輸入更有效。如果micro batch為1時(shí)顯存還有余量才把batch往上加。DeepSpeed在啟動(dòng)時(shí)也會(huì)給一個(gè)顯存預(yù)估可以和實(shí)際觀測(cè)對(duì)照幫助判斷配置是否生效。這里有一個(gè)容易誤判的地方打開(kāi)了offload_optimizer之后訓(xùn)練剛開(kāi)始時(shí)顯存會(huì)明顯下降但CPU內(nèi)存占用會(huì)漲上去。如果服務(wù)器內(nèi)存本身不多offload反而可能引發(fā)內(nèi)存交換訓(xùn)練速度驟降。觀察指標(biāo)時(shí)不能只看GPU顯存還要帶著看內(nèi)存占用。5. DeepSpeed多卡微調(diào)ChatGLM的四個(gè)典型踩坑現(xiàn)場(chǎng)5.1 NCCL超時(shí)卡在Waiting for the barrier現(xiàn)象啟動(dòng)多卡訓(xùn)練后日志卡在分布式初始化階段幾分鐘后拋NCCLTimeoutError或者某個(gè)rank直接掛掉。原因最常見(jiàn)的是master_addr或master_port配置不對(duì)多卡之間的控制通信建立不起來(lái)其次是機(jī)器上有多塊網(wǎng)卡NCCL選錯(cuò)了網(wǎng)卡導(dǎo)致通信走了一個(gè)慢速通道甚至在不通的網(wǎng)口上。還有一種情況是防火墻攔了分布式訓(xùn)練的端口單機(jī)多卡時(shí)不太會(huì)遇到多機(jī)多卡時(shí)概率很高。解決先確認(rèn)所有節(jié)點(diǎn)能互相ping通再檢查deepspeed啟動(dòng)命令里的master_addr和master_port是否一致。多機(jī)場(chǎng)景顯式指定通信網(wǎng)卡export NCCL_SOCKET_IFNAMEeth0 export NCCL_IB_DISABLE1NCCL_IB_DISABLE1是讓NCCL不走InfiniBand只走以太網(wǎng)。如果機(jī)器之間的IB網(wǎng)絡(luò)沒(méi)有正確配置與其讓它自動(dòng)探測(cè)失敗不如直接關(guān)掉。日志里能看到NCCL初始化時(shí)用的網(wǎng)卡名字如果發(fā)現(xiàn)選錯(cuò)了再用NCCL_SOCKET_IFNAME強(qiáng)制指定。5.2 訓(xùn)練中途OOM先分清是激活值還是模型狀態(tài)壓爆的現(xiàn)象訓(xùn)練能啟動(dòng)但跑到某個(gè)step突然報(bào)CUDA out of memory而且每次崩的位置不一樣。原因大多數(shù)時(shí)候是動(dòng)態(tài)padding沒(méi)有生效batch里某條樣本特別長(zhǎng)把激活值峰值瞬間拉高。另一個(gè)常見(jiàn)原因是micro batch算錯(cuò)了以為設(shè)置了梯度累積batch就小了實(shí)際上每卡的micro batch仍然是全局batch除以卡數(shù)沒(méi)有除以累積步數(shù)。解決先按第4.3節(jié)的方法把micro batch降到1試跑如果不再OOM說(shuō)明是batch和序列長(zhǎng)度的問(wèn)題如果batch為1仍然OOM說(shuō)明模型狀態(tài)部分還有優(yōu)化空間。此時(shí)從三個(gè)方向同時(shí)壓打開(kāi)gradient_checkpointing啟用梯度檢查點(diǎn)、把offload_optimizer設(shè)備設(shè)為cpu、以及確認(rèn)沒(méi)有把凍結(jié)參數(shù)傳進(jìn)優(yōu)化器。這三招用完ChatGLM-6B的LoRA微調(diào)在24GB顯存卡上都可以跑起來(lái)。注意開(kāi)了gradient_checkpointing之后前向速度會(huì)變慢這是正常的它本質(zhì)上是犧牲計(jì)算換顯存。5.3 loss不降或亂跳學(xué)習(xí)率、warmup和數(shù)據(jù)順序一起背鍋現(xiàn)象訓(xùn)練了上千步loss要么原地不動(dòng)要么忽高忽低看起來(lái)完全沒(méi)有收斂特征。原因把之前訓(xùn)練小模型的經(jīng)驗(yàn)搬到大模型上學(xué)習(xí)率用1e-4甚至更高對(duì)6B模型來(lái)說(shuō)步長(zhǎng)太大loss自然亂跳。另一個(gè)是warmup步數(shù)太少或沒(méi)設(shè)置調(diào)度器一上來(lái)就給滿(mǎn)學(xué)習(xí)率。還有一個(gè)容易被忽略的點(diǎn)dataloader沒(méi)有shuffle模型反復(fù)看到同一條指令loss曲線(xiàn)會(huì)出現(xiàn)周期性波動(dòng)。解決把warmup_max_lr降到2e-5warmup_num_steps設(shè)為總步數(shù)的5%到10%。檢查dataloader是否設(shè)置了shuffleTrue。如果用的是fp16而不是bf16還要觀察訓(xùn)練日志里的loss scale出現(xiàn)NaN或不正常跳變說(shuō)明fp16的精度控制出了問(wèn)題建議升級(jí)到支持bf16的顯卡或者調(diào)整fp16配置。這里要特別說(shuō)一個(gè)誤區(qū)不要因?yàn)閘oss在下降就認(rèn)定訓(xùn)練正常。大模型微調(diào)初期loss下降可以很快但真正的考驗(yàn)是第6章的驗(yàn)證環(huán)節(jié)生成質(zhì)量和loss下降并不完全掛鉤。5.4 微調(diào)完導(dǎo)出eval時(shí)模型像沒(méi)訓(xùn)練過(guò)現(xiàn)象訓(xùn)練日志里loss已經(jīng)降得很低但eval時(shí)模型回答和原版幾乎一樣甚至更差。原因最常見(jiàn)的是保存模型時(shí)只保存了DeepSpeed的引擎權(quán)重沒(méi)有保存LoRA adapter。DeepSpeed的save_checkpoint保存的是引擎狀態(tài)直接拿去推理完全用不上。另一個(gè)原因是沒(méi)有merge LoRA權(quán)重推理時(shí)忘了加載adapter。解決訓(xùn)練結(jié)束后用PeFT的save_pretrained保存LoRA權(quán)重推理時(shí)先加載adapter再合并# 訓(xùn)練結(jié)束保存LoRA權(quán)重 engine.module.save_pretrained(lora_adapter) # 推理時(shí)加載并合并 from transformers import AutoModel model AutoModel.from_pretrained(THUDM/chatglm-6b, trust_remote_codeTrue) model.load_adapter(lora_adapter) model model.merge_and_unload()注意推理時(shí)加載基座模型的精度要和訓(xùn)練時(shí)一致否則merge可能出現(xiàn)數(shù)值不匹配的問(wèn)題生成結(jié)果看起來(lái)就像沒(méi)訓(xùn)練過(guò)。eval時(shí)使用訓(xùn)練時(shí)的prompt模板也很關(guān)鍵微調(diào)時(shí)用的格式是“問(wèn)xxx\n答”eval時(shí)如果換成其他格式模型生成質(zhì)量會(huì)受到影響。6. 從loss下降走向業(yè)務(wù)能用驗(yàn)證流程和一個(gè)顯存技巧6.1 用固定prompt集驗(yàn)證效果別只看loss訓(xùn)練loss下降只是“模型記住了訓(xùn)練數(shù)據(jù)”的必要條件不是充分條件。我的做法是準(zhǔn)備一組固定業(yè)務(wù)問(wèn)題訓(xùn)練過(guò)程中每隔幾百步用生成模式跑一遍觀察回答質(zhì)量的變化趨勢(shì)。這一步能比loss曲線(xiàn)更早暴露出模型是否過(guò)擬合、是否丟失了對(duì)話(huà)能力。生成測(cè)試代碼可以?huà)煸谟?xùn)練循環(huán)里def eval_generate(engine, tokenizer, questions, max_new_tokens128): engine.module.eval() with torch.no_grad(): for q in questions: prompt 問(wèn) q \n答 inputs tokenizer(prompt, return_tensorspt).to(engine.device) out engine.module.generate( **inputs, max_new_tokensmax_new_tokens, do_sampleFalse, ) print(tokenizer.decode(out[0], skip_special_tokensTrue)) engine.module.train()固定prompt集的規(guī)模不用大10條左右就夠了但要覆蓋正常提問(wèn)、邊界提問(wèn)和易混淆提問(wèn)三類(lèi)。do_sample設(shè)為False保證可對(duì)比如果模型訓(xùn)練中關(guān)了dropout這一步的生成結(jié)果是完全確定的。每500步跑一次保存生成結(jié)果到日志文件后面就可以回看不同訓(xùn)練階段的質(zhì)量變化。另外把一部分?jǐn)?shù)據(jù)留作held-out集驗(yàn)證集loss比訓(xùn)練loss更早上升就是過(guò)擬合信號(hào)。6.2 把顯存再壓一檔動(dòng)態(tài)padding和梯度檢查點(diǎn)組合第5.2節(jié)提到動(dòng)態(tài)padding能解決一部分OOM問(wèn)題這里給出一個(gè)可用的collate實(shí)現(xiàn)。核心思路是把batch內(nèi)的樣本padding到同一長(zhǎng)度同時(shí)用-100掩蓋無(wú)效的標(biāo)簽位置。def collate_batch(batch): max_len max(len(x[input_ids]) for x in batch) input_ids [] labels [] for x in batch: pad_len max_len - len(x[input_ids]) input_ids.append(x[input_ids] [0] * pad_len) labels.append(x[labels] [-100] * pad_len) return { input_ids: torch.tensor(input_ids), labels: torch.tensor(labels), }這里把padding token的id直接寫(xiě)成了0是因?yàn)镃hatGLM的pad_token_id就是0。如果換了其他模型記得用tokenizer.pad_token_id獲取不要寫(xiě)死。梯度檢查點(diǎn)配合動(dòng)態(tài)padding是當(dāng)前單卡24GB或4卡121GB這種中低配環(huán)境里把ChatGLM-6B LoRA微調(diào)跑起來(lái)的關(guān)鍵組合。我自己在做這類(lèi)多卡微調(diào)項(xiàng)目時(shí)養(yǎng)成了一個(gè)習(xí)慣每次改完配置先跑一個(gè)100步的smoke test只驗(yàn)證三件事——loss下降方向?qū)Σ粚?duì)、顯存占用是否有大幅波動(dòng)、保存下來(lái)的checkpoint能不能重新加載。三關(guān)全過(guò)再放長(zhǎng)訓(xùn)練。這個(gè)習(xí)慣幫我在多機(jī)多卡場(chǎng)景下避開(kāi)了大量看似玄學(xué)的翻車(chē)很多問(wèn)題其實(shí)早在小規(guī)模測(cè)試階段就會(huì)暴露。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
少妇婷婷五月天| 久久视频在线| 丁香丁香激情网| 国产激情视频在线观看| 色婷婷五月天中文字幕| 婷婷丁香午夜综合影视| 狠婷婷五月| 日韩美女羞羞网站在线观看| 啪精品| 日韩成人综合| av在线观看网站| 婷婷久久在线| 色丁香婷婷| 伊人久久艹| 亚洲精品无码久久| 人人人操Av| 激情五月天婷婷久久久久久久久久久| www·五月天| 丁香六月亚洲| 色五月在线| 五月综合婷婷网| 五月丁香婷婷国产精品综合| 婷婷六月色播| 久热免费| 99热啪啪| 五月丁香网站| 亚洲av另类在线观看| 波多婷婷久久| 91人人澡人人爽人人看| 99热这里只有99| 五月天激情在线视频| er99免费视频在线| 99久久网站| 五月天天天天天天天天天天天婷婷婷| 日韩色五月| 亚洲色啪| 丁香五月激情综合| 久艹大香蕉| 九九操操| 黑人巨粗进入警花疼哭A片| 亚洲偷| 伊人在线大香蕉网| 欧美婷婷丁香五月社区| 秋霞学生妹一二级| 婷婷久久综合久色| 91精品久久久久| 激情综合五| 风流少妇A片一区二区蜜桃| 久热伊人91| 久久影视婷婷五月| 色五月婷色彩免播放器| AAA亚洲AV| 超碰国产在线观看| 丁香五月影院| 9久9久9久女女女九九九一九| 色婷婷五月丁香色| 人妻av在线| 丁香开心深爱| 久久精品人妻| 伊人久久婷婷| 久久色吧| 激情啪啪五月天| 五月开心激情网| 深爱激情丁香五月| www.zbzhongsen.com| 日本欧美成人片AAAA| 丁香久久激情俄| 91人人操人人爱| 只有精品视频在线观看| 99操逼| 九九色人| 精品AV无码超碰| WWW.99视频| 色频玖玖五月天| www,av好吊操| 综合激情站| 国产精产国品一二三在观看| 婷婷丁香五月天熟女丝袜| 综合色五月天| 天天干天天射综合网| 天天天天干| 久热9| 高清a片基地| 91狠狠色色丁香婷婷综合久久| 77799热| 五月花综合视频| 日本色色图| 欧美婷婷色| 91在线观看www| 五月婷色| 色色亚洲视频| 中文字幕一色哟哟哟哟| 九月丁香亭亭| 丁香色婷婷| 五月婷婷六月激情| 五月停停色| 五月激情综合激情五月| 五月激情视频| 亚洲另类AV| 九九九日本熟女| 国产精品色色色色| 国産精品| 操逼综合激情网| 狠狠色丁香久久久婷| 五月网在线| 99热这里只有精品在线观看| 狠狠情色| www.26uuu.com亚洲电影| 色综合综合色| 先锋五月婷婷丁香草草| 国产乱码久久| 偷偷操99| 四色五月婷婷| 色五月亚洲五月天| 婷婷伊人五月天| 激情五月丁香五月色| 婷婷99狠狠躁天天| 五月天国产婷婷精品视频在线| 亚洲第一综合| 日本久久性| 久久久区区一久久久久久| 亚洲视频在线观看99| 噜噜噜噜噜色| 三年高清大片免费观看国语| 99免费综合网| 五月花免费视频| 五月丁香激情综合网| 金品在线视频99| 五月婷婷影视| 丁香激情网| 99热国内精品| 网站免费一站二站| 五月婷婷婷色| 五月天激情婷婷丁香| av色色国产| 激情文学 综合 九月| 另类小说五月天综合| 99热这里有精品| 亚洲字幕AV一区二区三区四区 | 超碰99在线观看| 五月综合影院| 51精品国自产在线| 国产乱码久久| 婷婷五月天亚洲| 天堂网啪啪| ss五月天激情| 五月天社区| 久久激情五月天| 五月天天爱| 欧洲色色| 丁香丁香激情网| 99久久网站| 人人操人人看97干| 色婷婷婷婷五月天| 日本91在线播放| 五月天开心激情网色欲无码| 伊人网欧美在线男人天堂五月丁香| 第五色婷婷| 97日本操| 色婷婷九月| 色五月激情五月| 色综合久久综合中文综合网| 欧美色色色色色色色色色色| 99久精品视频| 婷婷五月色情天| 丁香五月激情图片婷婷| 另类国产综合| 国产麻豆视频| 久久草婷婷丁香网站| 九九热在线精品| 影音先锋一区二区三区| 色综合久久天天综合网| 色播婷婷大香蕉| 国产婷婷五月色情综合| 国产毛片操B| 青青五月天婷婷| 婷婷色影院| 色九月婷婷| 91成人品| www.99视频| 97久久久久| 99热99久久| 天天干天天拍| 超碰三级片| 久久婷婷成人综合色怡春院| 超碰免费电影| 五月天色影院| 五月丁香婷婷综合视频| 26UUU欧美激情一区二区| 99免费偷拍视频| 五月丁香婷婷综合网| 亚洲精品第一国产综合亚AV | 亚洲色夜| 日本三级中文字幕| AA丁香综合激情| 97操在线视频| 久久性爱视频| 五月丁香婷婷激情在线| 人碰人人人玩91| 97热久久| 99热综合在线| 五月天日日操夜夜操| 天天日天天干天天操| 婷婷五月激情四月综合 | 欧美色97| 在线观看中文字幕| 色婷婷在线视频久| 日韩久久系列| 亚洲另类视频| 久久激情天堂| 大香蕉啪啪啪| 久久这里只有精品07| 99热久久这里只有精品| 五月天电影网| 丁香五月综合首页| 99久热| 99久久久国产大片| 可以看的av| 亚洲综合丁香五月| 91九色在线观看免费| 天天色天天日| 色婷操逼| 五月天激情国产综合婷婷婷| 这里只有精品在线免费视频| 欧美WW在线网| 97干在线| 天天日狠狠| 成人精品视频99在线观看免费| 影音先锋 婷婷| 26uuu色五月| 色噜噜狠狠一区二区三区| 婷婷五月丁香花综合| 99热这里只有精品国产免费| 亚洲九九99精品视频在线播放| av操一操| 99热播放| 香蕉久久国产AV一区二区| 天天爽,天天操。| 99久久婷婷国产综合精品| 免费播放99性爱视频| CAOBIBI| 五月婷婷开心网| 久久婷狠狠色| 国产美女无遮挡裸体毛片A片| www.五月丁香av| www.色色com| 久热这里| 亚洲美女婷婷五月天| 婷婷综合性爱网| 五月丁香六月欧美综合网站| 日日爱678| 黑人糟蹋人妻HD中文字幕| 日在线V视频在线播放| 丁香五月婷婷综合激情啪啪啪啪啪啪啪 | 九九色色| 狠狠艹狠狠艹| 26uuu成人网| 先锋资源91| 五月天日日操夜夜操 | Av狠狠色丁香婷| www五月天com| 狠狠搞五月天| 亚洲精品九九| 色婷婷色五月综合| 99热最新精品| 成人无码免费一区二区中文| 亚洲AV综合在线观看| 婷婷五月天在线观看av| www.com亚洲网站在线免费| 婷婷大香蕉| 天天碰天天插天天操| 九九九午夜视频| 丁香色色色| 狠狠干在线视频| 亚洲色色五月天| 人人摸人人干| 国产精品色| 噜综合| 美女爆乳18禁www久久久久久| 丁香九九九九| 激情婷婷另类| 99热在线播放| 碰碰碰91| 内射人妻视频国内| 天堂在线9| 5月色亭亭视频| 色玖玖玖| 91 影音先锋| 欧美日本黄色| 丁香五月天天高清在线| 狠狠草天天草| 99丁香五月婷| 好吊兆人妻| 超碰在线人妻| 久久久久人妻网址| 丁香婷婷久久激情| 激情五月天色网站| 狠狠狠狠青草| 丁香五月性| 九九综合精品| 综合九九中文字幕| 亚洲精品白浆高清久久久久久| 中文字幕成人影视| 战争与艾拉电影免费观看| 天天久久狠狠色综合| 九久久九精品视频| 91Chinese在线| 天天干,天天日| 超碰AAAAAAV| 影音先锋一区二区三区| 日本人妻操| 婷婷久久五月| 日韩狠狠色| 色狠狠色噜噜噜a天堂一区| 人妻中文在线| AAA久久久AAA久久久AAA| 亚洲成av人影院| 日本天天操| 婷婷丁香五月天小说| 亚洲激情网| 丁香六月成人网| 国产小精品| 丁香色色色| 久久九九免费视频| 99热精国产这里只有精品| 六月丁香av| 狠狠狠狠草草| 丰满少妇猛烈A片免费看观看| www婷婷| 色五月丁香网| 国产精品久久久丁香五月八戒视频| 色婷婷五月开心六月综合| 色天堂97| www.爱婷婷.com| 五月婷婷开心网| 天天干天天操天天干天天操天天干天天操| 丁香五月天欧美成人| 真实熟女-91九色| 久久久久9| 欧美啪啪9| 色五月激情婷婷| 九九热在线视频,| 五月丁色AV| 五月丁香激情四射| 色婷婷综合成人| 免费观看高清无码| 婷婷九月丁香中文| 超碰只有精品在线| 色婷婷电影网| 五月天开心网| 99视频精品在线| www久久久久久久97| 裸体美女丁香五月天。| 激情综合色播| 亚洲色情在线| 婷婷五月天综合中文| 五月激情久久综合| www,欧美干干干干干干| 狠狠操天天操| 激情小说婷婷小说| 婷婷五月天播| 开心婷婷五月激情网小说| 狠狠久久婷五月| 9色免费网| 色.五月综合网| 成人看片网站| 国产67194| 六月天婷婷| 天天爽人人综合免费7799| 99热99美国在线观看| 色五月色五天免费视频| 超碰人人操人人干| 久久五月激情综合| 九月丁香婷婷综合| 超碰人人草| 成人一级片| 麻豆精品| 99国产欧美视频| 天天色凹凸| 丁香九月色| 激情 久久 婷婷| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 99精品在线观看视频| 玖玖午夜视频| 秋霞成人毛片一级A片| 人妻视频在线| 久久99久久99精品免观看粉| 99综合视频一体| 91综合在线| 99re热精品在线视频| 色色色999| 婷婷五月大香蕉| 婷婷九月激情| 五月丁香六月在线欧美| wwW天天干| 青青草a在线| 深爱激情网五月| 麻豆科斗777| 亚洲国产精品五月天| 婷婷五月在线综合| 很操日本7| 婷婷五月色丁香在线看| 五月天婷婷视频| 狠狠狠狠狠干| 99久久婷婷五月综合| 国产成人高清| 五月天激情图片| 五月天婷婷基地| 99热这里都是精品| 五月天婷婷丁香成人网| 亚洲第一av| 色五月婷婷综合在线| 婷婷精品免费久久| 天天爽—爽| 婷婷五月天影视| 丁香婷婷综合激情五月色| 国产色色色色| 伊人久久大香蕉网| 99热综合| 精品99*| 91综合视频在线| 加勒比久热| 九九亚洲无码| 99re最新地址视频| 色综合网综合| 五月婷婷啪啪| 色五月婷婷影院| 777精品久无码人妻蜜桃| 99燥99日| 噜噜狠狠色综合久| 婷婷五月在线免费| 色大综合| 五月丁香婷婷免费视频| 六月激情综合| 久9综合| www.com亚洲网站在线免费| 99热这里都是精品| 日本的α片xxxwww| 日韩精品无码99| 丁香五月天电影| 六月丁香啪啪| 亚洲精品又粗又大又爽A片 | 四射综合网| 97碰碰人人| 亚州激情网| 五月丁香六月综合激情网| 六月激情婷婷| 中文av网| 九热av| 五月丁香婷婷色色色| 第四色五月激情网| 天天婷婷综合亚洲亚洲| 六月婷婷激情| 奇米影视在线视频| 淫荡家庭AV| 亚洲综合狠狠艹| 超碰在线综合| 国产在线aaa片一区二区99| 国产女人十八水真多1| -91九色大屁股| 久久6这里只有精品| 综合色五月| 日本片日本片祼观看网站在线看中文版网页在线看 | 成人必爱视| 六月丁香VA| 久久这里只有精品99| 久久综合66| 九九99精品视频| 五月色欧洲| 五月婷婷成人| 另类在线免费视频| av在线播放网址| 天天干天天日日| 天天爽天天操| 国产在线aaa片一区二区99| 99丁香五月婷婷在线| 久久之人妻| 开心五月深爱五月丁香五月激情五月 | 变态 另类 在线 | 3p九色在线| 操人91| 天天综合影院| 97久久视频| 婷婷综合在线视频| 婷婷五月天六月综合| 91免费看片| 性生生活大片又黄又| 丁香六月激情四射| 久狠日av| 99这里都是精品| 九九色天堂| 色五月婷色彩免播放器| 色婷婷五月天视频在线| 粉嫩AV久久一区二区三区| 91久久久久久久91| 五月婷婷婷自由综合| 91精品综合久久久久久五月丁香| 青青草婷婷久久| 六月婷婷五月丁香首页| 日韩色五月| 五月丁香亭亭电影久久| 这里只有精品视频视频在线观看| 五月丁香综合网| 亚洲春色奇米影视| 99热老网站| 激情五月天小说| 噼里啪啦在线观看免费完整版视频| 六月婷婷香蕉| 情婷婷五月天| 色狠狠综合| 亚洲视频码| 丁香五月天在线观看视频| 久热这里| 丁香六月天婷婷色| 精品国产va久| 色情婷婷五月天| 五月天婷婷久草丁香| 色小说婷婷五月天天天| 亚洲色五月| 婷婷五月无码| 亚洲综合狠狠艹| 五月天婷婷久久| 人妻视频在线| 日本社区五月天激情| 风流少妇A片一区二区蜜桃 | 久久久这里有精品| 五月丁香婷草| 日韩aaa| 98国产精品综合一区二区三区| 91视频五月丁香| 激情亚洲婷婷六月| 丁香婷婷啪啪| 日韩在线成人电影| 五月天影院| 人妻丰满精品一区二区A片| 五月丁香六月综合基地| 一级二级色大片| 97操男人的天堂| 色色色色色色综合| 高清资源站日A美A欧亚…| 人人爽人人射-美女久久久久久久久久-成人AV | 99在线精品免费视频| 青青夜夜狠狠夜夜狠狠| 亚洲视频99| 色婷婷激情| www.五月天| 国产原创视频91九色| 五月丁香久久呀| 丁香五月av| 丁香六月婷婷五月天| 成人 在线 日韩| 日本黄色在线观看| 亚洲久久激情| 亚州第一A片| 99精品免费欧美小视频| 十二区无码| 久久人妻系列| 久久久久久久11111111111| 婷婷5月天激情综合| 亚洲色综合| 丁香五月香蕉在线| 99ri视频| 91色色色| 天天综合在线网| 激情久久久久久久久| 能看的av| 九九青草热| 91精品久久久久、久五月天| 激情综合婷婷久久| www.五月天婷婷| 色婷婷玖玖影院| 成人精品亚洲性爱| 1024你懂的欧美曰韩| 久久这里有精品在线观看| 香蕉人妻AV久久久久天天| 色之综合网| 这里只有精品在线观看视频| 1024人妻| 996热| 久久久久婷婷五月热综合| 亚洲五月婷婷| 清色五月天| 成人午夜天| 人人干Av| 91av无码| 99精在线| 久久精品五月天| 成人va在线播放| www一起操| 婷婷综合五月天| 国产操碰| 丁香六月综合激情| 天天摸夜夜爽天天做| 色欲色欲久久宗合网| 五月天色视频| 欧美WW在线网| 超碰成人电影| 天天爽天天爽天天爽天天爽天天爽| 五月天色五月| 五月婷婷婷婷婷婷艺术| 国内精品99| 久久99性爱| 激情 婷婷| www.婷婷亚洲基地| 五月丁香日本一抹本| 婷婷五月综合在线| 五月天婷婷狂暴白浆| 五月丁香六月婷婷不卡免费无码 | 天天爽夜夜爽夜夜爽精| 青青草青青草五月天| 久热网站| 热婷婷久| 91九色国产| 亚洲婷婷在线播放十月| 五月色情| 五月丁香五月婷婷在线观看| 亚洲操B视频| 97色婷| 五月激情丁香久久综合网| 99婷婷狠狠成为人免费视频| 激情五月色播五月| 超碰人人操在线| 五月天色图| 亚洲激情无码久久| 五月丁香婷婷激情爱爱| 综合久久综合久久| 99热欧| 五月天另类小说久久小说网| 99熟女啪啪视频| 天天色天天搡| 五月天丁香啪啪网| 中文AV在线观看| 久久亚洲婷婷| 综合久久狠狠| www.久久99热地址发布| 再綫Av免费視品| 色99综合色88| 久久久久久久久99精品| 激情丁香五月婷| 色一情一乱一伦一区二区三区| 五月丁香色婷婷熟女| 色婷婷亚洲综合网站| 五月丁香六月激情| 久久99久久99久久99人受| 97干干干丁香| 激情爱爱网站超大免费| 十月丁香婷婷| 久久九九亚洲| 91色五月| 99re久热只有精品6在线直播| 色婷婷精品视频在线播放| 亚洲av成人在线| 六月丁香婷婷天堂| 色九月国产| 99re在线观看| 另类综合色| 3pAV| 99热只有精品在线| 99热这里是精品| 色婷婷久久综合中文久久一本| 色色五月天丁香婷婷| 被强行糟蹋的女人A片| 久久久噜噜噜久久人妻| 久久这里这里有精品免费视频| 久草 tingting| 国产日比| 99热99热不卡| 婷婷放心五日爱| 国产91在线视频| 99久久激情视频| 在线可以看的av网址| 久久久久久综合88| 内射在线CHINESE| 色婷五月天| 在线综合婷婷| 丁香五月中文字幕| 五月天激情四射网站| 色之综合网| 99热在线爱| 人妻久久久| 丁香婷婷性久久| 婷婷色五月噜噜| 婷婷六月色情| http:色情日本com| 五月天婷婷av| 五月网网站| 激情五月综合| 字母不卡码人逼| 九九热精品| 五月天色婷婷综合| 亚洲无码成人性爰网| 欧美熟妇一区二区三区| 黄桃AV无码免费一区二区三区 | 99热这里只有在线播放| 免费啪啪亚州视频| 丁香婷婷五月激情四射网| 99性爱视频| 69色婷婷| 婷婷射婷婷舔| 丁香月五月天婷婷久久| 9 1超碰九色| 五月婷婷丁香综合,亚洲天堂| 亚洲欧美成人在线| 婷婷五月综激情| 九九九九九九九热| 99这里有精品久久97| 婷婷五月天综合AV| 婷婷在线五月综合| 色色五月天婷婷| 99.N在线视频| 天天夜夜爽| 激情五月综合视频| 久99久精品| 97操碰日本女人| 99re6在线视频精品免费| 久热中文字幕| 欧美色性色好| 激情性五月天免费小说视频| 色情五月天se| 五月天天天综合| 玖玖爱综合网| 99日在线观看视频| 99国产精品久久久久久久久久久| 色综合天天综合成人网| 超碰九九热| 丁香五月婷综合网| 久热a| 99热九九这里只有精品10| 亚洲av无码精品色午夜| 五月婷久久综合| 最近中文字幕2019视频1| 97人人超| 色五月综合在线| 原琪琪色影院| 无码动漫av| 亚洲婷婷五月天激情| 天插天啪天啪天啪| 丁香六月婷婷综合麻豆| 五月天婷婷色紫薇阁| 91操片| 91在线操| 免费播放AV| 刘玥精品一区| 丁香五月综合网| 国产看真人毛片爱做A片| 久热免费视频| 丁香五月天激情| 99热免费在线| 色综合色综合网| 偷偷操99| 色婷婷五月天成人网| 五月丁香六月婷婷色情| 色五月天综合网| 丁香五月婷久久| 5月婷婷激情网| 日日夜夜综合| 深爱五月日韩| 久久视频这里99| 色色五月婷婷丁香| 国产成人+亚洲+欧洲| 99国产小视频| 久久精彩视频99| www.五月激情红色| 五月婷婷手机在线| 五区毛片七区毛片| 日撸夜撸日操| 五月天激情社区| 思思热99在线| 天天日天天日天天搞| 婷婷五月天av网| 熟女色专区| 婷婷五月色情天| 亚州精品色情无码A片| 天天干,天天舔| 精品在线| 五月人人丁香婷婷五月人人丁香| 26uuu.| 五月香蕉综合| 狠狠狠激情网| 密桃激情五月天综合网| 精品色色网| 伊人婷婷五月| 2025年最新亚洲在线欧美| 五月天社区狠狠| 五月婷婷片| 五月婷婷视频| 日韩AV片| 九九这里有精品| 人人爱操| 日本久久天堂| 三年高清大片免费观看国语| www.9操| 99精品视频在线观看| 内射在线CHINESE| 99久久婷婷国产综合精品| 亚洲色频| 啪啪操超碰| 99狠狠色| 婷婷在线观看五月天在线视频| 9999热精品在线免费播放| 思思99热在线| 日日激情网| 能直接看的av网站| 综合伊人久久| 丁香六月在线| 青柠影视免费高清电视剧| 激情都市另类| 日韩成人综合| 激情伊人| oumeisesewang| 久久机热这里只有 | jiujiujiuwuyuetian| 91婷婷丁香五月| 亚洲综合网 665566| 欧洲永久精品| 甈你aaaaa| 人妻久久久久久久 | 色99在线看| 综合色99| 亚色网站小视频| 丁香婷婷在线| 男人的天堂五月丁香| 五月婷婷六月丁香综合在线| 亚洲精品无人区| www.91AV.com| 日本三级日本三级三级人妇四虎| 国产精品久久在线观看技巧| 99视频精品全部免费观看| 婷婷五月成人系列| 思思热在线视频精品| 九热视频| 96精品成人无码A片观看金桔| www,99视频| 综合www色| 九九热大香蕉| WWW五月天| 丁香五月婷老师| 九九这里只有精品| 五月婷婷丁香六月| 国产精品久久久久9999小说| 五月婷九月| 日本专区久久| 丁香五月综合色婷婷| 成人电影丁香六月天| 五月婷婷深深爱| 天堂成人A片永久免费网站| 97日本在线播放| 月色色综合婷婷网| 婷婷六月激情小说网| 天天干天天操天天爱| 狠狠爱婷婷| 天天干天天干天天干| 极品五月天| 婷婷五月天色色| 情涩婷婷五月天| 亚洲综合五月天婷婷丁香| 国产精品第一国产精品| 亚洲免费av观看| 五月天色婷好好| 婷婷五月天欧美| 午夜丁香婷婷| 99久久久精品| 久久永久网址| 五月婷婷激情久久| 在线观看的av| 免费在线观看AV网站| 99riAv1国产在线观看| 五月丁香直播| www.久久99热地址发布| 激情内射人妻1区2区3区| 激情五月天啪啪| 成人网站免费sxj| 日本激情91| 99国产精品久久久久久久久久久| 丁香香蕉婷婷| 激情亚洲五月| 99re视频在线播放| 教师性爱毛片| aaaaa黄色| 99热精品中文字幕| 九九在线视频| 久久色五月天| 五月丁香六月停停| 色吧综合网| 97色五月婷婷在线| 97操操操| 婷婷色五月丁香六月欧美啪| 玖玖婷婷五月天| 亚洲人人操| 91操操操| 99热9| 久久精品噜噜噜成人A∨色欲| 人人操Av| 99热1| 亚洲av电影网站| 欧美日韩一a.无| 丁香五月天资源网| 久久精品一区二区三区四区| 亚洲色碰| 天天色色天天| 亚洲欧洲中文日韩久久AV乱码| 色99热| 成人综合伍月天| 激情五月天色播| 五月丁香激情四射| 五月天国产婷婷精品视频在线| 天天日天天爽| 日韩色久| 情趣视频66| WWW.久久.COM| 91精品综合久久久久久五月丁香| 99综合| 九九在线热九九在线热99热| 91九色视频| 天天激情欧美美女| 影音先锋自拍网| 欧美操人| 成人视频在线免费播放| 亚洲色图五月丁香五月婷婷| 六月激情婷婷综合| 97色在线| 国产日韩av片| 青草激情综合| 秋霞少妇AV网站| 天天综合激情| 色爱99| 丁香五月综合激情久久潮喷| 婷婷五月天99| 久操大香蕉| 91狠狠色| 日本在线99| site:publishdd.com| 狠狠操狠狠狠| 99热777| 激情综合五月婷婷| 综合久久99| 久久激情五月婷婷| 一操久久| 开心激情网在线| 成人片黄网站色大片免费毛片| 日韩人妻无码专区| 超碰不卡在线| 狠狠色婷婷综合开心影视| 婷婷丁香五月天小说| 久久精品99| 香蕉国产2013| 玖玖婷婷色五月| 我想看国产大学生口爆吞精的视频| 伊人天天色| 91色婷婷综合久久中文字幕二区| 丁香五月婷婷激情网| 中文字幕 中文字幕明步| 97人人操人人拍| 激情婷婷丁香色五月| 久久AAAA片一区二区| 色噜噜狠狠狠狠色综合久欧美| AV大香蕉| 成人av免费观看| 久久五月激情| AV在线观看网站| 亚洲无码九九九| 天天日天天做天天操| 国产亚洲精品AAAA片APP| 久久婷婷五月国产色综合激情| 成人在线日韩| 综合99久久天天综合| 五月婷婷激情五月| 99免费青青蜜臀| 久久开心五月天激情| 亚洲成人AV一区在线观看| 中国激情网| 伊人狼人干| 久久久五月婷婷| 久久婷婷六月综合国际| 亚洲色色色色| 国产又粗又大又爽又黄| 五月婷婷六月丁香综合视频在线| 伊人五月天| 天天综合激情| 丝袜大香蕉| 草美女在线观看视频在线播放| 五月天婷婷小说| 77799热| 人人爱操| 91艹人| 伊人在线视频| 色五月婷婷丁香婷婷| 国产麻豆视频| 思思久久99热只有频精品66| 丁香五月欧美婷婷| 九九热免费| 青青草Avb在线| 色综合久久五月天| 99久久99视频| 中文字幕在线播放视频| www.久久99| 亚洲中文av| 日韩三级高清无码| 婷婷干五月综合在线播放| xxxx五月天色色| 丁香五月天色婷婷| 99人妻碰碰碰久久久久| 成人电影在线免费试看| 欧美三日本三级少妇三99| 久99热| 丁香五月天偷拍| 情欲禁地| 丁香综合网| 狠狠色九月| 91人操人人人操人| 99色在线| 精品国产乱码久久久久夜深人妻| 激情五月六月丁香| 97超碰9久热婷婷热| 色播五月天激情| 婷婷五月激情图片| 99热都是精品| 国产亚洲99久久精品| 天天日日夜夜| 激情5月天天天| 五月丁香偷拍| 久久久91| 激情综合女人网五月播播| 日本人妻伦在线中文字幕| www五月天激情com| 精品99在线观看| 国产67194| 另类图片五月天婷婷| 婷婷亚洲在线| 五月婷婷片| 丁香五月综合久久综合| 日本久久网| 狠狠色情婷婷| 热久免费视频9| 成人综合AV| 激情久久久久久| www色色色com| m色激情网| 91嫩草久久| 青草五月天| 激情综合网亚洲色图| 伊人久久综合| 99热在这里只有精品| 五月婷婷在线网站| av一区免费看| 91黄址| 无码G高清天| 9久热在线精品| 91超级碰在线视频| 久久这有这里精品| 99久热在线精品99re6热| 日本色99| 亭亭丁香久久五月| 9久久狠狠的| 亚洲精品永久久久久久| 婷婷五月深情丁香深爱日韩| 日本WwW色偷偷丁香花久久久京东热| 99热这里只有精品青草| 九九热这里只有精品23| 婷婷六久久| 婷香五月| 天天射天天射一道本日本社区 | 99热这里只有免费精品| 91视频精品99| 国外亚洲成AV人片在线观看| 5月丁香婷婷激情网| 久热精品视频在线观| 黄色片avv| 婷婷大乡焦噜噜| 国产婷婷综合| 哇嘎成人久久| 亚洲乱码精品久久久久..| 色婷婷激情五月天| 久久9视频| 97超碰婷婷五月天| 色99热| 婷婷色五月天综合网| 久99热在线观看| 国产全是老熟女太爽了| 丁香五月天社区| 99热国产这里只有| 五月天久久激情| 亚洲激情av| 亚洲成人噜噜| 精品久久99码| 激情玖玖综合网| 开心激情网五月天| 五月婷婷天| 秋霞黄色一级久久| 无码一级片| 97操碰| 婷婷五月色播| xx综合网| 久久月天堂| 五月天开心网| 色播五月网| 激情婷婷亚洲五月| 亚洲成人在线综合| 日本色色影片| www色婷婷| 婷婷色五月色| 激情啪啪五月天| 国内久久婷婷| 激情五月综合网| 丁香婷婷色九月| 狠狠五月激情婷婷直播片| 婷婷激情四射| 极品五月天| 天天干天天爽| 婷婷五月大香蕉| 欧美激情综合色综合| 九九九这里只有精品| 狠狠情色| 久久婷婷老| 日日撸夜夜操| 免费精品99| 成年人99热| 激情五月天在线观看婷婷| 五月婷婷黄色毛片| 青柠影视免费高清电视剧| 激情五月天啪啪| 五月天堂在线| 再綫Av免费視品| 超碰人人操| 超碰熟女农村在线69| 六月丁香激情网| 色天五月天在线观看视频| 午夜精品777| 色五月激情视频在线综合| 丁香五月婷婷亚洲另类| 日本操天堂| 激情五月天小说网| 亚洲热视频| 久久这里99| 激情综合女人网五月播播| 26.uuu丁香五月婷婷| 99久久五月婷婷| 99在线精品免费视频| 狠狠操狠狠爱| 天堂AV在线看| 久大香蕉| 中文字幕成人日韩| 极品人妻VIDEOSSS人妻| 国产9色在线/日韩| 激情第四色| 欧美成人五月天| 99热久久最新地址| 色色自拍视频网站| 97久久精品| 五月天婷婷亚洲| 国产古装妇女野外A片| 丁香五月婷婷五月| 欧美97色| 玖玖爱综合网| 99热都是精品| Www,五月天| 深爱五月亚洲| www.sd-xiangsu.cpm| 99热r| 婷婷五月天奸女| 91人碰| 欧美婷婷| 中文AV网站| 爱操人妻| 亚州操操| 99热这里有精品| 亚洲激情.com| 成人丁香婷婷五月天| 丁香5月啪啪| 色婷婷XXXXX| 九九色中文| 国产精品社区| 91九色 婷婷| 成人在线视频一区| 中文字幕欧美精品久久| 丁香六月天婷婷色| 日本精品人妻无码77777| 最近韩国日本免费高清观看| 五月天婷婷视频| www,色婷婷| 99精品在线观看视频| 亚洲亚洲永久无码777777| 99亚洲色| 亚洲开心激情网| 六月激情婷婷综合| 六月色日韩| 伍月婷婷免费视频| 天天激情5月天亚洲| 久久黄A片| 殴美日比视频| 五月丁香福利| 1024国产| 97久久人人操| 丁香五月婷婷亚洲综合精品| 亚洲情色一区| 日本一级特黄大片AAAAA级| 久久大香蕉视频| 91亚洲视频| 久草网大香视频| 97在线干| 日本视频99| 最新av在线观看| 99热这里只有精品1025| 黄色三级日本| 久久久18| 色狠狠综合网| 婷婷五月天成人| 亚洲免费婷婷| 久久综合激情| 亚洲视频一区| 久久久国产精品黄毛片| 国产无遮挡又黄又爽免费网站| 99超超碰| 亚洲AV日韩在线观看| 丁香五月天日韩无码| 中文字幕天天干| 好色婷婷| 成人电影在线免费试看| 久热综合| 综合色图区| 丁香 婷婷五月| 在线综合婷婷| www狠狠| 蜜桃五月天| 99热在线看| 天堂色婷婷| 色五月在线观看| 久色网| 99ree6| www.第四色99| 久久一伦| 激情人妻综合| 久久久www| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 日本97人人| 久久桃花网色婷婷| 中文AⅤ大全| 亚洲色五月婷婷| 婷婷射图| 天天舔天天插天天爱| 婷婷五月天AV激情| 色丁香五月婷婷在线| 夜夜骑天天操| 玖玖爱综合网| 色噜噜狠狠色综无码久久合欧美| 日韩av手机在线观看| 潘金莲AAAAAAAAAA| 青青草婷婷久久| 六月色播| henhencao国产在线| 狠色狠色综合久久| 久久精品夜色噜噜亚洲a∨| 久色网| 九九九九操逼| 91人人人人人人人| 啪啪激情综合| 日韩婷婷五月天| 99亚洲日韩| www.99热在线观看| 丁香五月成人| 九九伦子片| 六月婷婷综合久久| 五月天激情综合首页| 日本婷婷丁香五月| 六月丁AV| 日本久久人人|