欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

OpenRig實(shí)戰(zhàn):配置驅(qū)動(dòng)的大模型微調(diào)與分布式訓(xùn)練指南

OpenRig實(shí)戰(zhàn):配置驅(qū)動(dòng)的大模型微調(diào)與分布式訓(xùn)練指南 很多人第一次看見 OpenRig 這個(gè)名字第一反應(yīng)多半是Rig 不是鉆井平臺(tái)的意思嗎一個(gè)開源項(xiàng)目起個(gè)鉆機(jī)的名字做什么我當(dāng)初也這么嘀咕過直到自己動(dòng)手用這個(gè)開源的大模型微調(diào)框架跑完一輪任務(wù)才明白這個(gè)名字有多貼切。鉆井平臺(tái)是把埋在地層深處的油抽到地面OpenRig 這個(gè)項(xiàng)目做的事也很像——把分布式訓(xùn)練這套原本藏在 DeepSpeed 和各種底層基礎(chǔ)設(shè)施里的重型裝備組裝成一個(gè)能讓你直接操作的完整的訓(xùn)練平臺(tái)。你只需要準(zhǔn)備好數(shù)據(jù)、寫好配置剩下的多卡并行、梯度同步、斷點(diǎn)保存這些事情它都替你扛下來。這篇文章就直接講我的實(shí)操經(jīng)歷從選型、環(huán)境準(zhǔn)備、配置拆解到單卡跑通、多卡訓(xùn)練、踩坑排錯(cuò)。如果你想用自己的業(yè)務(wù)數(shù)據(jù)微調(diào)一個(gè)開源底座模型又不想一上來就去啃 DeepSpeed 那套晦澀的文檔那這篇內(nèi)容應(yīng)該能幫你少走很多彎路。后面涉及的所有步驟都是基于我在實(shí)際項(xiàng)目里的用法配置思路同樣適用于其他配置驅(qū)動(dòng)型的微調(diào)框架OpenRig 只是我把整個(gè)鏈路跑通的那個(gè)載體。1. 為什么是 OpenRig微調(diào)工具鏈的現(xiàn)狀與選型邏輯1.1 微調(diào)一個(gè)模型通常有哪幾條路現(xiàn)在的開源大模型微調(diào)生態(tài)基本分成三個(gè)流派各有各的取舍。第一類是全家桶式的整合工具比如市面上常見的微調(diào)工廠類項(xiàng)目。這類工具的好處是開箱即用界面化或命令行化內(nèi)置了大量數(shù)據(jù)集格式和模型適配連 LoRA 的 rank 都幫你預(yù)設(shè)好。缺點(diǎn)是封裝層比較厚一旦訓(xùn)練過程出了奇怪的問題你想深入到分布式那一層去看會(huì)發(fā)現(xiàn)自己被框架擋住了很多底層參數(shù)改不動(dòng)出了問題也不容易定位。第二類是自己手寫訓(xùn)練腳本。很多資深工程師習(xí)慣用 HuggingFace 的 Trainer 或者自己寫一個(gè) PyTorch 訓(xùn)練循環(huán)只依賴 transformers 庫再加一個(gè)推理腳本。這條路最靈活你能控制每一步。但它的成本也很明顯分布式支持要自己接梯度累積、梯度檢查點(diǎn)、混合精度、斷點(diǎn)續(xù)訓(xùn)這些機(jī)制都要自己搭等這些基建全部就緒真正調(diào)模型的時(shí)間已經(jīng)被壓縮掉一大半。第三類是直接使用 DeepSpeed 這類分布式引擎提供的接口。它的能力是最完整的像 ZeRO 分片、CPU offload、NVMe offload、張量并行這些重型能力都有。但 DeepSpeed 的配置文件即使到今天也仍然給人一種可編程基礎(chǔ)設(shè)施的感覺——你必須非常清楚每個(gè)字段背后的內(nèi)存模型和通信模式才敢動(dòng)手改。它面向的是平臺(tái)工程師而不是每天要跑好幾版實(shí)驗(yàn)的微調(diào)算法工程師。1.2 OpenRig 的定位一臺(tái)配置驅(qū)動(dòng)的訓(xùn)練鉆井平臺(tái)OpenRig 給我的感覺是它刻意站在了全家桶和裸 DeepSpeed中間的位置。項(xiàng)目的名字取得很直白Open 是開放Rig 是鉆井平臺(tái)上那種重型設(shè)備的總稱。它不是一個(gè)用來發(fā)明新訓(xùn)練算法的框架而是把分布式訓(xùn)練里那些高頻、易錯(cuò)的動(dòng)作標(biāo)準(zhǔn)化成配置和命令。你面對(duì)的仍然是一個(gè)相對(duì)簡(jiǎn)單的 YAML 文件但在這個(gè)配置文件里你能感受到 DeepSpeed 的影子——ZeRO 的級(jí)別、offload 的策略、梯度累積的步數(shù)這些都沒有被藏起來而是明明白白地?cái)[在配置項(xiàng)里讓你決定。這種設(shè)計(jì)解決了我的一個(gè)很現(xiàn)實(shí)的痛點(diǎn)實(shí)驗(yàn)的可復(fù)現(xiàn)性。之前我用腳本方式訓(xùn)練時(shí)經(jīng)常出現(xiàn)這種情況——一個(gè)實(shí)驗(yàn)跑完過兩周再想復(fù)現(xiàn)發(fā)現(xiàn)當(dāng)時(shí)的命令行參數(shù)已經(jīng)不全了或者代碼已經(jīng)改得面目全非。用 OpenRig 這類配置驅(qū)動(dòng)的方式整個(gè)實(shí)驗(yàn)的全部要素都固化在了一份配置文件里。模型路徑、數(shù)據(jù)路徑、訓(xùn)練參數(shù)、分布式策略全都寫在同一處代碼基本不需要改。跑完一個(gè)實(shí)驗(yàn)把配置文件歸檔就等于把這次實(shí)驗(yàn)的 DNA 保存下來了。1.3 我最終選擇它的三個(gè)判斷標(biāo)準(zhǔn)這里順帶說一下我挑微調(diào)框架的三個(gè)標(biāo)準(zhǔn)供你參考。第一是可讀性。配置文件的每一行我自己能不能不看文檔就理解它是在做什么。如果一份配置里充滿了只有框架作者才懂的縮寫那我用它的熱情會(huì)立刻減半。OpenRig 的配置項(xiàng)命名接近 DeepSpeed 和 transformers 的習(xí)慣經(jīng)歷過這兩個(gè)生態(tài)的人幾乎可以零成本上手。第二是可控性。訓(xùn)練中途我想切換到 ZeRO stage 3或者想臨時(shí)打開 CPU offload或者想調(diào)整梯度累積步數(shù)這些改動(dòng)是否只需要改配置而不需要改代碼。OpenRig 在這點(diǎn)上是滿足我的——分布式策略的切換確實(shí)只動(dòng) YAML 就行。第三是可監(jiān)控性。訓(xùn)練期間我要能拿到每個(gè) GPU 的顯存占用、loss 曲線、樣本吞吐量。這一點(diǎn)我單獨(dú)放在后面一章節(jié)里展開講因?yàn)樗鼪Q定了你排障的效率。2. 把 rig 立起來環(huán)境準(zhǔn)備與顯存估算2.1 先算賬你的顯卡夠不夠跑全參數(shù)微調(diào)這一步是整個(gè)項(xiàng)目里最不該跳過的地方。很多人上來就 pip install結(jié)果數(shù)據(jù)跑起來幾分鐘后直接 OOM才回頭研究顯存浪費(fèi)時(shí)間。顯存估算其實(shí)有一個(gè)很簡(jiǎn)單的經(jīng)驗(yàn)公式。全參數(shù)微調(diào)的時(shí)候顯存消耗主要來自四塊項(xiàng)目量級(jí)估算以 7B 模型、FP16 為例模型權(quán)重參數(shù)量 × 2 字節(jié)約 14GB梯度參數(shù)量 × 2 字節(jié)約 14GBAdam 優(yōu)化器狀態(tài)參數(shù)量 × 12 字節(jié)FP32 副本 動(dòng)量 方差約 84GB激活值前向計(jì)算中間結(jié)果取決于 batch size 和序列長(zhǎng)度通常數(shù) GB 到幾十 GB看這個(gè)表你就明白了7B 模型做全參數(shù)微調(diào)光權(quán)重、梯度和優(yōu)化器狀態(tài)加起來就已經(jīng)超過 100GB 顯存單張 24GB 的消費(fèi)級(jí)顯卡根本放不下。所以如果你手頭只有一兩張消費(fèi)卡又想跑 7B 以上模型第一反應(yīng)應(yīng)該是做 LoRA 或 QLoRA而不是硬扛全參數(shù)微調(diào)。LoRA 只需要訓(xùn)練低秩適配器優(yōu)化器狀態(tài)只跟 LoRA 參數(shù)有關(guān)顯存需求可以壓到原來的幾分之一。反過來如果你有 4 張或 8 張 80GB 的加速卡且模型在 7B 到 13B 這個(gè)量級(jí)那全參數(shù)微調(diào)就是可行的配合 ZeRO stage 2 或 stage 3顯存壓力會(huì)進(jìn)一步緩解。我當(dāng)時(shí)就是先拿 OpenRig 在一張卡上用 LoRA 把流程跑通然后再上多卡做全參數(shù)微調(diào)這樣每一步的變量都足夠少出了問題容易定位。2.2 軟件環(huán)境版本搭配決定了你能走多遠(yuǎn)OpenRig 本身不是一個(gè)獨(dú)立于 PyTorch 生態(tài)的項(xiàng)目它的底座仍然是標(biāo)準(zhǔn)的技術(shù)棧。我用的環(huán)境是 Python 3.10、CUDA 12.1、PyTorch 2.1、DeepSpeed 0.12 左右transformers 保持在一個(gè)相對(duì)較新的版本。這里我踩過一個(gè)坑transformers 版本如果和底座模型的 tokenizer 格式不匹配會(huì)出現(xiàn)加載模型時(shí)報(bào)莫名其妙的 key 錯(cuò)誤而且錯(cuò)誤信息通常不會(huì)直接告訴你版本不兼容而是報(bào)某個(gè) shape 對(duì)不上。我的建議是首先把 PyTorch 和 CUDA 版本對(duì)齊這兩者不一致會(huì)導(dǎo)致整個(gè)訓(xùn)練在第一步就出錯(cuò)。其次把 transformers 的版本固定在某個(gè)你測(cè)過的版本上不要隨手升級(jí)到最新版。最后OpenRig 的安裝我用的是本地源碼方式也就是 git clone 下來之后 pip install -r requirements.txt。這樣做的理由很實(shí)際微調(diào)框架本身迭代快升級(jí)有可能改變配置項(xiàng)的行為固定源碼版本能讓實(shí)驗(yàn)真正可復(fù)現(xiàn)。2.3 目錄規(guī)劃別把所有東西都堆在一個(gè)文件夾里訓(xùn)練項(xiàng)目的目錄結(jié)構(gòu)看起來是小事但做實(shí)驗(yàn)做到后面你就會(huì)知道一個(gè)干凈的目錄結(jié)構(gòu)能救你多少時(shí)間。我習(xí)慣這樣組織project/ ├── configs/ # 每次實(shí)驗(yàn)的 YAML 配置歸檔 ├── data/ # train.jsonl / valid.jsonl ├── models/ # 底座模型權(quán)重本地路徑 ├── output/ # 訓(xùn)練產(chǎn)物checkpoint、tokenizer、日志 └── scripts/ # 啟動(dòng)腳本、評(píng)估腳本每次實(shí)驗(yàn)跑完我會(huì)把對(duì)應(yīng)的 YAML 配置復(fù)制到 configs 目錄以時(shí)間名稱命名。這個(gè)習(xí)慣讓我在三個(gè)月后仍然能準(zhǔn)確判斷這次實(shí)驗(yàn)到底用的是什么學(xué)習(xí)率和什么數(shù)據(jù)分布而不是靠聊天記錄里的只言片語去猜。3. 配置文件里的門道核心字段逐個(gè)拆解3.1 模型與數(shù)據(jù)讓訓(xùn)練有東西可學(xué)OpenRig 的配置里模型部分通常會(huì)指定一個(gè)model_name_or_path。我強(qiáng)烈建議你把底座模型下載到本地目錄然后用本地路徑加載。理由有兩個(gè)一是訓(xùn)練時(shí)如果每次都走 HuggingFace 下載網(wǎng)絡(luò)抖動(dòng)會(huì)導(dǎo)致加載時(shí)間變得很長(zhǎng)二是本地路徑天然就是不可變快照模型版本不會(huì)在你訓(xùn)練到一半時(shí)突然變化。數(shù)據(jù)集方面最常用的是 JSONL 格式每一行是一條樣本。以指令微調(diào)為例行內(nèi)通常包含 instruction、input、output 這幾個(gè)字段OpenRig 在加載數(shù)據(jù)時(shí)會(huì)根據(jù)你配置的 prompt 模板來拼接。舉個(gè)例子一條樣本可能是{instruction: 解釋一下什么是梯度累積, input: , output: 梯度累積是將多個(gè)小 batch 的梯度累加后再進(jìn)行一次參數(shù)更新的策略。}這里有個(gè)非常關(guān)鍵但容易被忽略的細(xì)節(jié)拼接模板的時(shí)候output部分一定要作為標(biāo)簽被參與 loss 計(jì)算而instruction部分通常要 mask 掉也就是說模型在生成答復(fù)之前看到的所有文本都不應(yīng)該反向傳播誤差。如果你的框架沒有自動(dòng)處理這一點(diǎn)你需要自己檢查拼出來的訓(xùn)練樣本確認(rèn) loss 只在 output 部分計(jì)算。我見過太多人因?yàn)橛?xùn)練模板拼錯(cuò)模型最后學(xué)會(huì)的是復(fù)述問題而不是回答問題。3.2 訓(xùn)練超參數(shù)從 lr 到 batch size 的聯(lián)動(dòng)關(guān)系很多人第一次接觸配置文件會(huì)一個(gè)個(gè)參數(shù)單獨(dú)去理解這樣容易忽略它們之間的聯(lián)動(dòng)關(guān)系。舉一個(gè)最典型的例子global batch size。global_batch_size per_device_batch_size × gradient_accumulation_steps × 顯卡數(shù)量這公式?jīng)Q定了每一次參數(shù)更新的實(shí)際樣本量。假設(shè)你每張卡per_device_batch_size2梯度累積步數(shù)為 8使用 4 張卡那么 global batch size 就是 2 × 8 × 4 64。這個(gè)值會(huì)直接影響訓(xùn)練的穩(wěn)定性以及學(xué)習(xí)率的選擇。常見的做法是當(dāng) global batch size 變大時(shí)learning rate 也可以適當(dāng)調(diào)大但不要一次調(diào)太多否則 loss 曲線直接起飛。學(xué)習(xí)率的量級(jí)全參數(shù)微調(diào)我一般從 1e-5 到 2e-5 起步LoRA 微調(diào)則通常從 1e-4 到 3e-4 起步。這里面的道理在于LoRA 每次只更新一小部分新增參數(shù)可以承受更大的更新步長(zhǎng)而全參數(shù)微調(diào)動(dòng)的是整個(gè)模型的全部權(quán)重步子邁大了很容易破壞底座模型已經(jīng)學(xué)到的能力。max_length這個(gè)參數(shù)也要好好選。它決定了每條樣本在 token 化后會(huì)被截?cái)嗟蕉嚅L(zhǎng)。我實(shí)戰(zhàn)中的經(jīng)驗(yàn)是訓(xùn)練數(shù)據(jù)里大約 5% 到 10% 的樣本會(huì)超過你設(shè)定的長(zhǎng)度這是正常的但如果超過一半的樣本都被截?cái)嗟?max_length說明這個(gè)值設(shè)得太短模型根本看不完你給它的完整上下文。你需要先對(duì)數(shù)據(jù)集做一次長(zhǎng)度分布統(tǒng)計(jì)再確定 max_length 的數(shù)值。3.3 分布式策略ZeRO 的每一級(jí)都在做什么既然 OpenRig 定位是鉆井平臺(tái)那么分布式策略就是它身上最核心的機(jī)械設(shè)備。DeepSpeed 的 ZeRO 分為幾個(gè) stage很多人每次都靠死記硬背我換個(gè)說法讓你一次記住。ZeRO stage 1把優(yōu)化器狀態(tài)切分到多張卡上。每張卡只管一部分參數(shù)的優(yōu)化器狀態(tài)算完梯度后需要跨卡做一次通信。這是性價(jià)比最高的起步選項(xiàng)顯存省得不多但實(shí)現(xiàn)簡(jiǎn)單、通信開銷低。ZeRO stage 2在 stage 1 基礎(chǔ)上把梯度也做切分。每張卡只保存自己負(fù)責(zé)的那部分梯度進(jìn)一步降低顯存。ZeRO stage 3把模型參數(shù)本身也切分到多張卡。每一層只存在于某一張卡上用到時(shí)才通過通信把參數(shù)廣播給其他卡。顯存省得最多但通信開銷也最大訓(xùn)練吞吐量往往會(huì)有明顯下降。配置時(shí)你需要根據(jù)顯存壓力來選擇。我的經(jīng)驗(yàn)是如果顯存足夠優(yōu)先 stage 2因?yàn)樗∠碌娘@存足以支撐全參數(shù)微調(diào)而且訓(xùn)練速度比 stage 3 快很多。只有當(dāng)模型大到 stage 2 也放不下時(shí)才上 stage 3或者配合 CPU offload。offload 是把優(yōu)化器狀態(tài)或參數(shù)搬到內(nèi)存里顯存是省了但訓(xùn)練速度會(huì)受到明顯影響能不用就盡量不用。4. 實(shí)操記錄從單卡驗(yàn)證到多卡訓(xùn)練4.1 先跑通再求快單卡小模型驗(yàn)證整個(gè)鏈路我在正式提交大規(guī)模訓(xùn)練任務(wù)之前有一個(gè)雷打不動(dòng)的習(xí)慣先用單卡、小模型、小數(shù)據(jù)量把整條鏈路跑一遍。具體來說選一個(gè)比目標(biāo)模型小一兩檔的模型數(shù)據(jù)只取幾百條把 epoch 設(shè)為 1跑幾個(gè) step 看日志輸出是否正常。這一步的目標(biāo)不是訓(xùn)練出什么效果而是確認(rèn)三件事——數(shù)據(jù)加載正常、prompt 模板拼出來的樣本內(nèi)容確實(shí)正確、loss 在第一步后是下降的而不是變成 NaN。這里有個(gè)小技巧我會(huì)在配置里打開一個(gè)打印樣本的開關(guān)把 token 化之后拼接出來的文本直接打印到控制臺(tái)。肉眼確認(rèn)一下 instruction 和 output 中間沒有混入奇怪的換行符或特殊 token。很多排錯(cuò)工作在這一步就能提前終結(jié)。4.2 多卡啟動(dòng)命令幾個(gè)容易寫錯(cuò)的地方鏈路驗(yàn)證完畢就可以上多卡了。OpenRig 這類框架通常依賴 DeepSpeed 的啟動(dòng)器來分配進(jìn)程。我常用的啟動(dòng)命令長(zhǎng)這樣deepspeed --num_gpus 4 ./run_train.py --config ./configs/sft_7b.yaml也可以使用 torchrun 的方式OpenRig 基于 PyTorch 生態(tài)通常兩種都能支持torchrun --nproc_per_node4 ./run_train.py --config ./configs/sft_7b.yaml第一次跑多卡時(shí)最容易出的問題反而不是命令本身而是環(huán)境變量。比如CUDA_VISIBLE_DEVICES設(shè)錯(cuò)了會(huì)導(dǎo)致明明有 8 張卡實(shí)際只有 2 張可用。排查這類問題啟動(dòng)前先用nvidia-smi確認(rèn)當(dāng)前機(jī)器上卡的編號(hào)和顯存占用情況再設(shè)置對(duì)應(yīng)的可見變量能省很多事。多機(jī)訓(xùn)練時(shí)還需要額外注意節(jié)點(diǎn)之間的網(wǎng)絡(luò)互通。第一次跑分布式訓(xùn)練我不建議直接開多機(jī)先把單機(jī)多卡跑穩(wěn)。單機(jī)多卡的通信走的是 PCIe 或 NVLink穩(wěn)定性和速度都有保障多機(jī)多卡一旦涉及網(wǎng)卡、防火墻、主機(jī)名解析問題的復(fù)雜度會(huì)瞬間上一個(gè)量級(jí)。4.3 訓(xùn)練過程的監(jiān)控loss 之外還要看什么很多人只看 lossloss 一降就覺得萬事大吉。實(shí)際上分布式訓(xùn)練中有三個(gè)指標(biāo)應(yīng)該時(shí)刻盯著。第一是 GPU 利用率。如果你發(fā)現(xiàn)某張卡的利用率一直很低而其他卡很高很可能數(shù)據(jù)加載成了瓶頸或者數(shù)據(jù)在卡間分配不均。第二是顯存占用。如果顯存占用在訓(xùn)練過程中一路緩慢上漲而不是穩(wěn)定在某個(gè)值附近大概率有顯存泄漏跑兩三個(gè)小時(shí)后 OOM 幾乎是必然的。第三是吞吐量比如每秒處理多少樣本或者每秒處理多少 token。這個(gè)指標(biāo)尤其重要它能告訴你當(dāng)前配置下的訓(xùn)練成本是多少方便你決定是否要做調(diào)整。我習(xí)慣用一個(gè)終端專門開一個(gè)監(jiān)控面板實(shí)時(shí)刷新每張卡的利用率、顯存、溫度然后在訓(xùn)練日志里觀察 loss 和吞吐量。訓(xùn)練的前一個(gè)小時(shí)不建議走開因?yàn)榍耙粋€(gè)小時(shí)往往是問題的高發(fā)期。4.4 checkpoint 的管理斷電斷網(wǎng)都不怕OpenRig 這類框架在做 checkpoint 保存時(shí)會(huì)同時(shí)保存模型權(quán)重、優(yōu)化器狀態(tài)、學(xué)習(xí)率調(diào)度器狀態(tài)、當(dāng)前步數(shù)這些內(nèi)容。這樣才能做到真正的斷點(diǎn)續(xù)訓(xùn)。你在配置里設(shè)置好保存間隔比如每 500 步保存一次。訓(xùn)練中斷后重啟命令里指定從最近的 checkpoint 恢復(fù)即可。有一個(gè)細(xì)節(jié)值得留意如果你改了配置里的模型結(jié)構(gòu)相關(guān)參數(shù)比如改了 max_length 或者換了一個(gè)不同的數(shù)據(jù)集那從舊 checkpoint 恢復(fù)時(shí)可能因?yàn)?shape 不匹配而報(bào)錯(cuò)。斷點(diǎn)續(xù)訓(xùn)的前提是你恢復(fù)的是一個(gè)相同實(shí)驗(yàn)的現(xiàn)場(chǎng)而不是一個(gè)半路改了配置的新實(shí)驗(yàn)。我在項(xiàng)目里會(huì)為每次實(shí)驗(yàn)單獨(dú)建目錄checkpoint 按實(shí)驗(yàn)?zāi)夸浉綦x這樣就不會(huì)出現(xiàn)恢復(fù)錯(cuò)了現(xiàn)場(chǎng)的低級(jí)錯(cuò)誤。5. 踩坑記錄OOM、loss 不降、訓(xùn)練卡死5.1 OOM 的三種常見場(chǎng)景顯存溢出大概是微調(diào)過程中出現(xiàn)頻率最高的問題。它有三個(gè)主要來源處理方式完全不同。第一種是激活值導(dǎo)致的 OOM。前向計(jì)算中每一層的中間結(jié)果都需要占用顯存序列越長(zhǎng)、batch 越大激活值占用越高。解決方法是打開梯度檢查點(diǎn)gradient checkpointing用重計(jì)算的方式騰出顯存或者減小max_length與per_device_batch_size。第二種是優(yōu)化器狀態(tài)導(dǎo)致的 OOM。這一般發(fā)生在全參數(shù)微調(diào)場(chǎng)景權(quán)重和優(yōu)化器狀態(tài)加起來超過了顯存。解決方法是升級(jí) ZeRO stage或開啟 offload或者換成 LoRA 方案。第三種是數(shù)據(jù)長(zhǎng)度極端導(dǎo)致的 OOM。假設(shè)你的max_length設(shè)為 2048數(shù)據(jù)里絕大多數(shù)樣本都是幾百 token但偏偏有極少數(shù)樣本長(zhǎng)度逼近 2048那這少數(shù)幾個(gè)樣本就會(huì)讓顯存占用出現(xiàn)尖峰導(dǎo)致 OOM。這種問題的特點(diǎn)是不穩(wěn)定——有時(shí)跑幾十步?jīng)]事忽然某一步就炸了。我的經(jīng)驗(yàn)和做法是在數(shù)據(jù)處理階段就按長(zhǎng)度做直方圖統(tǒng)計(jì)把長(zhǎng)度明顯超標(biāo)的尾巴樣本單獨(dú)過濾掉而不是把風(fēng)險(xiǎn)留在訓(xùn)練過程中。5.2 loss 不降或者震蕩先查數(shù)據(jù)再查參數(shù)訓(xùn)練開始后最讓人焦慮的莫過于 loss 長(zhǎng)時(shí)間不降。這種問題我的排障順序永遠(yuǎn)是先查數(shù)據(jù)再查代碼最后才動(dòng)訓(xùn)練參數(shù)。數(shù)據(jù)層面第一個(gè)要確認(rèn)的是模板拼接是否正確。把打印出來的樣本逐條人工檢查確認(rèn) input 和 output 沒有倒置。第二個(gè)是確認(rèn)數(shù)據(jù)是否被隨機(jī)打亂。如果訓(xùn)練數(shù)據(jù)是純按類別排列的前面幾千條都是同一類樣本模型在早期只會(huì)看到單一分布loss 曲線就會(huì)呈現(xiàn)出奇怪的周期性波動(dòng)甚至長(zhǎng)時(shí)間下不去。代碼層面確認(rèn)是否只有 output 部分參與了 loss 計(jì)算。如果你把整個(gè)拼好的文本都拿去做交叉熵模型的目標(biāo)函數(shù)會(huì)變成預(yù)測(cè)問題本身訓(xùn)練出來的模型效果會(huì)非常差表現(xiàn)為生成時(shí)大量復(fù)述。如果數(shù)據(jù)和代碼都沒問題再考慮學(xué)習(xí)率。全參數(shù)微調(diào)學(xué)習(xí)率過大時(shí)loss 會(huì)劇烈震蕩過小時(shí)loss 則下降得極其緩慢。有一個(gè)比較實(shí)用的判據(jù)第一個(gè) step 的 loss 應(yīng)該和隨機(jī)初始化的困惑度差不太多如果第一個(gè) step 就出現(xiàn)極大或極小的數(shù)值通常是數(shù)據(jù)或精度設(shè)置出了問題。5.3 分布式訓(xùn)練里的假死不是卡死是等待多卡訓(xùn)練時(shí)最讓人崩潰的往往不是報(bào)錯(cuò)而是整個(gè)訓(xùn)練看起來完全停住日志半天不動(dòng)。這里我先提醒一句分布式訓(xùn)練里進(jìn)程通信的等待是常態(tài)并不是真的死機(jī)所以不要立刻 kill 進(jìn)程。你首先要確定的是它在通信等待還是真的無響應(yīng)。如果是第一次多卡通信NCCL 初始化階段經(jīng)常要花一兩分鐘建立連接日志停留時(shí)間較長(zhǎng)是正常的。如果超過十分鐘仍然一動(dòng)不動(dòng)通常問題出在網(wǎng)絡(luò)層面——比如主機(jī)名無法互相解析、防火墻阻擋了通信端口或者網(wǎng)卡選錯(cuò)。這時(shí)可以把NCCL_DEBUGINFO打開重新啟動(dòng)日志里會(huì)輸出非常詳細(xì)的通信過程你能看到是哪個(gè)節(jié)點(diǎn)連不上。還有一個(gè)容易被忽略的問題多卡訓(xùn)練時(shí)各卡的工作負(fù)載不均衡。DeepSpeed 在 ZeRO 下會(huì)把各層分配到不同卡上如果數(shù)據(jù)長(zhǎng)度分布不均勻某些卡負(fù)責(zé)的層激活值特別大就會(huì)成為顯存瓶頸導(dǎo)致其他卡在等它算完整體吞吐量上不去。這種隱性不均衡不像 OOM 那樣直接報(bào)錯(cuò)但會(huì)表現(xiàn)為訓(xùn)練速度遠(yuǎn)低于預(yù)期。應(yīng)對(duì)辦法是盡量讓數(shù)據(jù)長(zhǎng)度均衡或者在數(shù)據(jù)處理階段按長(zhǎng)度做分桶 padding。6. 跑通之后的收尾實(shí)驗(yàn)管理、效果評(píng)估與下一步擴(kuò)展6.1 實(shí)驗(yàn)管理讓每個(gè)結(jié)果都經(jīng)得起回溯訓(xùn)練跑完僅僅是開始的一半。我會(huì)為每一次成功實(shí)驗(yàn)做三件事第一把最終使用的配置文件復(fù)制一份存檔文件名加上實(shí)驗(yàn)編號(hào)和日期第二把訓(xùn)練日志保存下來確保 loss 曲線可以被后續(xù)可視化第三記錄一張簡(jiǎn)短的結(jié)果卡包括數(shù)據(jù)集規(guī)模、訓(xùn)練步數(shù)、最終 loss、驗(yàn)證集上的評(píng)測(cè)指標(biāo)、模型輸出示例。這三樣?xùn)|西合起來才是一次實(shí)驗(yàn)的完整閉環(huán)。為什么要強(qiáng)調(diào)這一點(diǎn)因?yàn)槲⒄{(diào)項(xiàng)目里你大概率要面對(duì)數(shù)十次乃至上百次實(shí)驗(yàn)。如果沒有這套歸檔習(xí)慣你很容易陷入這次效果好但不知道為什么好的境地。配置驅(qū)動(dòng)框架的最大優(yōu)勢(shì)就是所有變量都在配置里只要你同步歸檔任何一組結(jié)果都能精確復(fù)現(xiàn)。6.2 評(píng)估模型不要只信 loss要跑到生成那里去看很多初學(xué)者的通病是看到訓(xùn)練 loss 下降就覺得模型已經(jīng)訓(xùn)練好了。實(shí)際做指令微調(diào)時(shí)loss 和真實(shí)生成質(zhì)量之間并不總是完全一致。原因很簡(jiǎn)單loss 是一個(gè) token 級(jí)別的平均交叉熵它反映的是模型對(duì)訓(xùn)練分布的整體擬合程度但不直接代表模型在真實(shí)請(qǐng)求上的表現(xiàn)。我的做法是保留一份專門的評(píng)估集里面的樣本在訓(xùn)練時(shí)絕對(duì)沒有出現(xiàn)過。訓(xùn)練結(jié)束后我用這批樣本的 instruction 部分去觸發(fā)模型生成然后人工檢查生成結(jié)果。重點(diǎn)看三件事格式是否符合預(yù)期、是否出現(xiàn)復(fù)述問題而不是回答問題、生成內(nèi)容是否安全可控。做完這輪人工評(píng)估才敢把模型交給下游推理鏈路。6.3 下一步擴(kuò)展從 SFT 到繼續(xù)預(yù)訓(xùn)練、長(zhǎng)文本、部署銜接跑通一輪 SFT 后OpenRig 這類配置驅(qū)動(dòng)框架的擴(kuò)展空間還是挺大的。最常見的方向有三個(gè)。方向一是繼續(xù)預(yù)訓(xùn)練。SFT 用的是指令問答數(shù)據(jù)繼續(xù)預(yù)訓(xùn)練用的是大量領(lǐng)域文檔數(shù)據(jù)這兩種任務(wù)的配置差異主要在數(shù)據(jù)格式、學(xué)習(xí)率和訓(xùn)練步數(shù)。你只需要準(zhǔn)備符合格式的語料調(diào)整訓(xùn)練參數(shù)框架層面基本不用改動(dòng)。方向二是更長(zhǎng)上下文的訓(xùn)練。底座模型的默認(rèn)上下文長(zhǎng)度往往有限如果你想針對(duì)長(zhǎng)文檔場(chǎng)景做適配需要把max_length調(diào)大同時(shí)開啟 DeepSpeed 的序列并行相關(guān)能力顯存壓力會(huì)增加不少可能需要配合梯度檢查點(diǎn)來平衡。我記得自己在做長(zhǎng)文本適配時(shí)光是顯存估算就來回調(diào)了好幾輪最后還是靠減小 batch size 才穩(wěn)定跑起來。方向三和部署銜接。微調(diào)產(chǎn)物如果是 LoRA 這類增量權(quán)重推理前需要把增量權(quán)重合并回底座模型或者用支持 LoRA 的推理框架直接加載。這一步看似簡(jiǎn)單卻經(jīng)常因?yàn)榘姹静灰恢庐a(chǎn)生詭異的問題。給底座模型和微調(diào)框架做版本鎖定的價(jià)值在部署那一刻會(huì)體現(xiàn)得淋漓盡致只要版本一致合并動(dòng)作就是確定的不會(huì)有任何意外。我自己在跑完第一輪完整的 OpenRig 微調(diào)項(xiàng)目時(shí)最大的感受其實(shí)不是工具好用而是終于不用把大量精力花在分布式訓(xùn)練的基建上了。之前我至少要花上兩三天去配置 DeepSpeed、調(diào)試多卡啟動(dòng)、處理 checkpoint 恢復(fù)用配置驅(qū)動(dòng)的框架之后這些時(shí)間被壓縮到半天以內(nèi)。省下來的時(shí)間全都投在了數(shù)據(jù)清洗、樣本審查和生成效果評(píng)估上——而這些恰恰是微調(diào)項(xiàng)目里真正決定最終質(zhì)量的部分。如果你正準(zhǔn)備開始自己的微調(diào)項(xiàng)目我的建議很簡(jiǎn)單一開始不要追求最大的模型、最多的卡先把一套小模型、小數(shù)據(jù)量、完整鏈路的方案跑通。把 rig 架穩(wěn)了再往上加設(shè)備才不會(huì)被各種地基問題反復(fù)絆倒。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲中文字幕av| 蜜桃五月天| 97热这里只有精品| 五月丁香亚洲综合网| 婷婷色网| 亚洲天堂啪啪| 综合精品99| 久草热8精品视频在线观看| 日本三级韩三级99久久| 99久在线精品99re5热视频| 五月婷婷丁香色播网| 天天爱天天日| 狠狠综合| 婷婷五月情| 五月香蕉网| www.seqingwuyuetian| 五月丁香免费看| 久热这里| 色五月婷婷在线观看| 色色日韩无码| 亚洲开心激情网| 91久久久久久久久久久| 国产精品社区| 丁香九月综合| 久久9热| 嫩草免费视频| 九色视频91疯狂| 五月婷婷丁香瑟瑟视频| 婷婷五月天综合色| 国产另类综合| 色婷婷九月综合| 蜜臀A∨在线水帘洞| 91黄址| 久久亚洲无码| 婷婷的色色五月天| 亚洲成人av在线观看| 欧美三级巜人妻互换| 色色色色网站| 日本久久网| 久热99热| 色久影院| 神马欧美精| 第五色色色婷婷| 深爱激情网综合| 成人欧美Va| 变天就操逼婷婷五月| 亚洲亚洲人成综合网络| 亚洲精品国产A久久久久久| 色婷网| 色优久久| www激情| 色五月天丁香| 日本三级日本三级99| 超碰在线中文字幕| 久久久久网站| 久综合| 五月天六月色| 一级二级色大片| 激情五月婷婷开心网| 热成人网| 国产亚洲精久久久久| 狠狠五月激情婷婷直播片| 第六色在线| 婷婷五月天va| 伊人丁香婷婷东京| 婷婷五月天com| 婷婷五月丁香高清无码| 五月婷婷久久爱| 都市激情五月婷婷综合| 中文不卡一二三区| 亚洲国产成人裸舞| 国产精品日韩十五区| aaa日韩| 亚洲综合婷婷五月天| 亚洲天堂AAA| 深爱开心激情网| 五月天小说激情| 26uuu亚洲欧美另类| 丁香六月婷婷高清| 五月丁香婷庭在线| 第五色色色婷婷| 五月丁香婷婷成人网| 可似看的AV| 六月婷婷在线| 日韩成人电影在线播放| 99九九精品| 五月天大香蕉| 天天天天天日| 激情五月丁香五月| 狠狠色成人影片| 人人操AV| 久操热| 成人看片网站| 色五月 五月婷婷| 国产成人亚洲综合A∨婷婷| 综合色色色| 久久色情| 婷婷五月天免费99| 久热爱大香蕉在线蜜臀悦色| 丁香六月婷婷综合啪啪| 天天噜日日噜综合无码| 激情啪啪五月天| 婷婷六月丁香激情综合| 五月婷婷丁香色播网| 久久婷婷五月综合色和| 婷婷综合视频| 国产免费一区二区在线A片视频| 久久精品性爱| 亚洲乱码日产精品BD| 亚洲综合色成丁香五月色| 丁香操逼| 久久综合影院| 爱性综合网| 日日操夜夜爽白洁| 人人人操97| 色情五月婷婷| www狠狠| 五月丁香六月激情在线| 四川女人毛多水多A片| 久久多色| 色婷婷久久| 国产FREESEXVIDEOS性中国| 综合久久激情久久| 五月婷婷六月综合| PORNY九色9l自拍视频成人| 色婷婷综合网站| 五月花综合网| 色五月视频,小说| 亚亚州久久高潮| 久久婷五月综合| 色色五月婷婷| 粉嫩AV久久一区二区三区| 玖玖色综合色| 六月丁香婷婷色狠狠久久| 色一情一乱一乱一区91| 五月综合婷婷网| 美女美女美女三级色天天天天天| 超碰在线免费9| 色色婷婷丁香| 四季8848精品成人免费网站| 人人草碰| 大香蕉五月丁香| 日韩欧美一区二区三区四区| 五月丁香婷婷伊人| 九九干视频| 国产欧洲欧洲精品久久| 中日韩美欧成人一区二区精品在线 | 狠狠xx| 翔田千里 50岁 无码| 九九热精品视频在线观看| 婷婷99视频在线| 九热电影av| 99re热精品在线视频| 天天婷婷操| 吉澤明步Av一區二區| 中文字幕综合| 亚洲情综合五月天| 美欧成人视频| 欧美亚洲999| 丁香五月开心婷婷| 99精品在线| 精品国产乱码久久久久久免费| 午夜激情四射影院| 六月丁香啪啪| 情婷婷五月天| 九九视频这里只有精品| www...com黄在线观看| 海外网站专业操老外| 欧美噜噜噜草| 婷婷五月天开心激情网| 婷婷亚洲综合| 亚洲国产另类av| 婷婷伊人久久| 免费播放99性爱视频| 亚洲不卡欧洲| 色噜噜丁香| 97干在线播放| 操日本人妻视频| 色婷五月天| 六月综合婷婷开心伊人| 91九色成人原创视频| 中文激情网| 色人妻五月| 思思99久久| 成人精品视频99在线观看免费| 色吧网91| 丁香色情五月综合激情| 日本成人噜噜噜| 激情五月婷婷| 激情综合色婷婷啪啪六月天| 五月天婷婷自拍图片在线观看| 91婷婷五月天嫩女| 国产乱子轮XXX农村| 久久婷婷资源| 色青青视频| 五月婷婷导航| 婷婷伊人五月天| 丁香六月激情| 婷婷五月丁香网| 五月婷婷中文字幕| 五月天丁香欧美激情| 欧美婷婷六月丁香综合色连续高潮抽搐| 日婷婷久久开心| 狠狠干狠狠色| 99碰网站| 色久五月天| 九九在线精品| 99狠狠| 久热最新视频 | 日韩999| 婷婷香蕉精品| 99操| 狠狠色五月天| 在线播放人妻| 婷婷成人网五月天| 深爱五月天| 99热在线观看| 99久久亚洲精品视频| 亚城区在线| 久久久久久久人妻| 日本不卡中文字幕| 深爱激情综合网| 五月天激情视频| 黑人熟妇一区二区三区| 毛片毛片毛片毛片| 久久人妻熟女一区二区| 玖热精品综合视频| 日本3级片一区2区| 影音先锋男人av资源站| 色婷婷成人影片| 影音先锋一区二区三区| 99热99| 五月丁香网中文字幕| 狠狠综合网| 91在线看片| 久久黄色网扯| 超碰人人操人人干| 丁香密臀AV激情网| 五月婷婷激情久久| 一本色道久久88加勒比| 国产xxxxx在线观看| 91人人爽久久涩噜噜噜| 国产毛片精品一区二区色欲黄A片| 九九九九综合| 深爱五月激情五月| 九久久九精品视频| xx色综合| 天天天干夜夜夜操| 人人干99| 欧美日本另类| 九月色婷婷综合亚洲| 六月婷伊人| 色综合久久888| 久久区区一二三av| 婷婷在线免费| 日本视频不卡123区| 婷婷丁香人妻天久久| 超碰网站在线观看| 人人操人人添人人摸97| 国产资源91在线| 日日夜夜狠狠| 91久久久久久久| 亚洲美女网Va| 国产三级在线播放| 天天插天天插天天插| 成人做爰高潮A片免费视频| 99色视频| 丁香激情久久| 久久99久久99精品免观看粉嫩| 五月丁香六月婷婷无码| 9999热在线| 狠狠干狠狠干狠狠干狠狠干| 桃色成人网| 美女va| 色99在线| 国产激情AV| 丁香激情五月| 97人人爱人人操| 99精品福利视频| 67194中文在线| 久久婷婷五月综合色播| 超pen个人视频97| 开心丁五月| 97人人射| www久| 婷婷综合亚洲| 日韩人妻无码精品| 丁香五月婷婷五月天| 五月久久丁香| 另类视频丁香五月| 新激情婷婷| 色99自拍| www,com,五月色色| 91久久九久久九久久九久久九久久| 九九热这里| 伊人大香蕉毛片| 小视频一区| 国产欧美精品AAAAAA片| 天天拍夜夜爽日日| 九九九九精品精| 亚洲综合网激情五月天| 强辱丰满人妻HD中文字幕| 69堂午夜视频最新地址| 天天日天天插| 九九九午夜影院成人| 中国女人做爰A片| 色色色色色色色综合| 亚洲第一综合| 天天日天天干天天爱| 色婷婷亚洲婷婷| 97色射| 丁香五月色情| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | 2016日日夜夜操| VfJxEwPH| se色综合网| 爱草人视频| 伊人热婷婷| 五月激情站| 婷婷久久影院| 成人精品人妻| 丁香五月婷婷色| 丁香六月婷| 五月丁香色婷婷伊人| 99久在线精品99re8热| 色五月丁香五月五月婷婷| 婷婷五月天丁香| 国产色色网站网址| 五月激情丁香啪啪| 六月丁香VA| 丁香五婷| 天天射综合网站| 淫视馆aV二区一区| 婷婷五月天小说| 久久机热这里只有 | 婷婷五月天网| 欧美性爱5月天天天看| 激情婷婷护士激情| 五月激情天| 久久婷婷五月丁香网| 99欧美| 激情美女五月天| 免费观看欧美成人AA片爱我多深| 丁香婷婷十月| 婷婷五月中文字幕| 99re思思久久| 天天拍夜夜爽日日| 久久天堂女人| 9久久婷婷国产综合精品性色| 五月天婷婷婷| 99精品在这里| 五月丁香激| 婷婷五月成人| er99免费视频在线| ady狠狠入| 色爱99| 97av在线视频| 99精品偷自拍| 婷婷五月天高清无码| 97久久五月丁香婷婷| 91啪啪视频| 99精品视频在线免费观看| 亚洲三级无码| 久久久噜噜噜久久人妻| 丁香五月激情婷婷视频| 99婷婷狠狠成为人免费视频| 色屌丝中文字幕| 夜夜 操无码| 五月婷视频| 99思思热只有在这里看| 色玖玖综合| 激情婷婷六月天| 伊人丁香婷婷东京| 蜜乳人妻一区二区三区| 激情五月天在线视频| 一本道综合网| www.久久久久久久久久久| 五月丁香婷婷色色| www好屌操| 狠狠干狠狠操狠狠爱| 五月丁香久久久久| 丁香婷婷五月天色播| 狠狠狠狠青草| 久久99热这里只有精品| www.六月丁香看AV| 九九色综合网| 免费视频WWW在线观看网站| 噜噜色婷婷| 大香蕉久| 99久99久| www.99在线| 婷婷六月激情啪啪| 五月婷婷六月丁香首页| 五月丁香大香蕉| 五月天,激情四射,婷婷频道| 超碰在线人妻| 色综合色香蕉网| 九九热re99re6在线精品| 久热只有这里有精品| 九一娱乐在线观看视频| 91九色精品熟女内射| 玖操97| 久操97| 五月丁香大香蕉| 激情深爱综合网| 人妻操逼视频。| 久月久在线视频| 色狠狠999综合| 激情五月天综合图片小说网站| 国产亚洲av片| 依人大香蕉| 婷婷激情小说| 久久网站观看免费欧洲国产| 综合久久久婷| 做爰丰满少妇1313| 98永久精品| 日本婷婷丁香五月| 99热这里有精品首页10| 亚洲乱码日产精品BD| 香蕉人在线香蕉人在线 | 五月婷婷综合激情| 色综合中文色综合网| 丰满少妇猛烈A片免费看观看| 亚洲欧美丁香五月天亚洲欧美| 五月丁香激情五月天| 92久操视频| 天天色播| 久久婷婷五月综合啪| 激情婷婷亚洲五月| 婷婷丁香九月| 99热草草| 99精品综合视频| 九九热免费| 久久精品性爱视频,| 丁香五月婷婷老师网站| 五月丁香婷婷综合网| 日本五月婷婷| 天天狠狠插| 99久久久久久www| 无人区码一码二码三码医生系列| 色一情一乱一乱一区91| 中文字幕婷婷五月天在线观看| 99自拍视频在线观看| 色爱爱综合网| 午夜不卡久久精品无码免费| www,久久久| 天天爽夜夜爽天天爽夜夜爽| 五月天天天综合| 99热九九在线| 五月婷婷视频| 国产这里只有精品| 91视频五月丁香| 婷婷五月婷婷五月天| 九月激情网| 婷综合六月| 色99视频| 色热久| 婷婷五月天欧美图片在线播放电驴| 丁香五月婷婷深爱综合激情| 影音先锋91| 96丁香婷婷九月蜜桃综合久久| 亚洲男女激情| 久久色五月天| 五月天影院| 伦乱美欧| 丁香婷婷久久 | 婷婷丁香91综合| 99热首页| 91色噜噜狠狠狠狠色综合| 狠狠色婷婷六月激情网| www.sd-xiangsu.cpm| 99精品在线观看视频| 色婷婷亚洲综合网站| 天天做天天爱天天爽| 人妻AV在线观看| 婷婷丁香在线播放| 人人爽人人爽人人爽人人爽| 精品视频这里只有精品| 亚洲综合婷婷五月| www.99热这里精品| 日本丰满久久| A短视频免费在线观看| 天天爽天天爽| 99天堂网| 激情五月综合亚洲另类| 99er热精品视频| 亚洲mm色| 99区视频| 五月丁香爱婷婷深深| 日本久久人人| 欧美丁香五月| 超爽内射| 免费在线观看av网站| 欧美人与性动交CCOO| 五月丁香在线观看| 亚洲天堂热| 丁香五月AV| 人草人人| 婷婷丁香综合| 思思热久久久久思思热| 天天天天天色| 台湾综合丁香五月蜜桃| 五月丁香另类图片| 九洲一级A片| 91色碰| 狠狠色中色| 久99999热视频在线观看免费| 亚洲综合五月天| 久久婷婷人人| 99热国产免费| 午夜丁香五月天综合| 五月婷婷中文网| 久鲁鲁色网 | 蜜臀99久久精品久久久久| 九九精品9| 一本色道久久88综合日韩精品| 五月天婷婷激情| 婷婷五月亚洲综合| 97热精品| 亚洲综合在线播放| 五月婷婷草| 五月丁香猫咪久久婷婷综合视频激情四射网入口| 激情综合网激情五月天| 成人在线视频一区| 97sese婷婷| 人人操婷婷| 激情五月丁香五月色| 粉嫩AV久久一区二区三区| 久久婷婷色| 婷婷金品综合视频| 狠狠色综合网| 五月婷婷av| 色婷婷a v| 欧美va在线观看| 激情五月婷婷五月丁香五月开心五月| 色婷婷综合视频| 天天色激情| site:feetmall.com| 丁香五月天婷婷中文| 亚洲激情五月婷婷日日| 天天免费成年人视频| 婷婷的激情五月| 五月天激情小说婷婷| 国产成人综合网| 日韩av在线电影| 激情综合五| 色99自拍| 嫩草视频在线观看| 中文字幕丰满孑伦无码专区| 国产特级毛片AAAAAAA高清| 嫩草AV久久伊人妇女超级A| 五月婷婷激情综合| 99国产精品久久久久久久久久久 | 涩五月婷婷| 六月丁香五月天| 天天操比比| 色偷偷色婷婷| 激情六月色| 停停五月色宗合| 人妻久久久久久| 婷婷丁香五月亚洲| 天天操婷婷| 婷婷五月天天天| 天天插天天插| 色播婷婷五月天| 婷婷丁香九月| 成人 在线 日韩| 日本高清久久| 久久亚洲婷婷| 欧美大肥婆大肥BBBBB| 国产古装妇女野外A片| 精品香蕉99久久久久网站 | 欧美VA视频| 99riAv1国产在线观看| 色婷婷六月天| 人妻久久久久| www.五月激情.com| 亚洲色vA| 五月天天天色| 色女人久久| 92久久| 色五月欧美| 五月天偷拍| 亚洲乱码日产精品BD| 人碰人人人玩91| 久久爱综合| 婷婷综合日本| 亚洲操逼片| 久操b网| 开心五月丁香综合久久| 亚洲激情网站| 99色热| 五月丁香久久网| 99热手机在线精品| 亚洲妇女熟BBW| 久久密臀婷婷| 国产黄色一级片| 五月丁香婷婷综合久久| 丁香五月狠狠在线观看| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 日本不卡中文字幕| 狠狠干在线| 亚洲妇女熟BBW| 九色99视频| 久热婷婷在线视频| 亚洲成人综合在线| www.久久五月天.com| 亚洲人成人五月天| 久婷婷色| 99热在线播放| tingtingcaobi| 一起草aV| 日本三级黄色大片| 婷婷综合成人五月天| 丁香五月a| 丁香五月在线自慰| 91Chinese在线| 丁香8月手机综合| 亚洲AVDVD| 婷婷五月色| 婷婷五月天六月综合| 欧美日韩aaaa| 婷婷五月综合久久中文字幕| 成人午夜无码视频| 波多婷婷久久| 97极品在线| xxxx五月| 九九精品在线观看视频6| 九九色大香蕉| 1000部毛片A片免费观看| 五月天婷婷青青草| 五月色丁香| 玖玖99福利| 狠狠撸激情综合丁香五月天俺来啦| 五月婷婷五月天| 五月天播播| 伊人久久婷婷五月综合97色| 国产无人区大片| 888精品福利地址| 亚洲情a| 九九re精品视频在线观看 | 久热 91| 成人无码髙潮喷水A片| 婷婷伊人綜合中文| 99视频在线| 五月天色婷婷图片| 玖玖午夜视频| 亚洲日韩一页精品发布| 免费成人网在线观看| av九九| 五月天夜夜爱夜夜操| 99爽视频| 国产古装妇女野外A片| 99久久久久久久| 亚洲丁香婷婷五月天综合色| 婷婷久久综合久色| 性综合网| 激情五月天福利| 综合激情五月天| 夜夜撸日日骑| 99在线观看| 伊人免费视频9| 综合99久久| 99视频在线观看欧| 99在线热| 丁香五月开心七月| 8区视频在线| 欧美噜一噜| 五月婷婷偷拍| 色逼综合网| 大香蕉久久久久| 久久久人人人妻丝丝丝| www久久99| 久久久久久久久月丁| 久草大| 久久五月婷天天干| 色99在线| 51精品国内探花| 丁香五月婷婷亚洲人| 丁香五月婷婷影院| 色色五月天激情| 色婷婷综合在线| 99热精品网| 国产欧美va| 亚洲成av人影院| 一起草无码| 99热这里有精品24| 亚洲AV免费在线| 亚洲精品九九| 九九综合精品| 九九re精品视频在线观看| 5月丁香综合图区| 99精品热| 婷婷深爱五月| 色天堂婷婷| 女婷久久| 五月天另类小说| 天天干天天拍| 久久久99婷婷久久久久久| 久久99成人性爱高清视频| 国产超碰在线| av成人在线播放| 中文aV网| 久久久999精品| 极品少妇婷婷五月| 色婷婷婷综合五月天| 日本久久高清| 中文字幕久久婷九女同| 天天色五月| 亚洲AV成人片无码网站| 99在线一区| 五月丁香激情综合六月涩涩爱| 人人操日| 色久99| 婷婷五月激情欧美大胆视频| 激情五月天电影| 日本3级片一区2区| 女力报到正好爱上你| 久久久婷婷| 久婷婷婷| 天天插天天爱| 色色五月婷婷网| 色五月婷婷 成人| 大香蕉久久久| 久久久人人操A V| 西瓜美女a片| 六月婷婷五月天| www五月天com| 婷婷丁香五月综合激情小说| 精品一二三区久久AAA片| 久热欧美| 丁香婷五月天开心六月| 第四色色六月色综合| 色婷婷成人在线| 九九碰九九爱97| 亚洲欧洲午夜成人精品av| 99热这里只有精品最新地址获取| 99在线精品免费视频| 五月丁香六月婷| 天天摸天天舔天天天天爽| 激情五月成年| 色婷婷丁香五月高清在线| 丁香五月激情综合| 国产综合婷婷| 精品色| 九九热视频精品999| 色婷婷色五月另类综合| 99热国产精品| 91久久电影| 欧美VA在线| 日韩欧美成人一区二区三区| 我爱宗和色| 三级三久久线久久99久目本WW| 亚洲综合久| 久热69| 亚洲黄色av网站| 99热99这里只有精品| 中国丰满熟女A片免费观| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 欧美日韩99| 色五月综合激情| 超碰人人干| 色婷婷影音| 国产午夜精品久久久观看| 五月四色激情| 操日本人妻视频| 色偷偷AV亚洲男人的天堂| 婷婷激情丁香五月天综合| 五月婷在线观看| 婷婷丁香宗合888| 丁香婷婷激情| 色综合偷拍| 亚洲va在线∨a天堂va欧美va| 国产av第一专区| 思思re视频在线| 色爆五月| 9久热这里只有精品视频| 国产67194| 五月丁香婷婷无码中文| 综合网亚洲| 丁香六月啪啪| 色色激情| 婷婷丁香久久| 成人看片网站| 五月丁香美女视频| 五月天综合视频| 九九热九九| 婷婷激情社区| 在线日韩视频| 思思久久99| 激情图片亚洲| 五月婷婷丁香| 另类五月婷婷| 99热这里有精品| 婷婷丁香五月天欧美| 五月天激情网图片| 99这里只有精品视频在线| 亚洲免费看片| 欧美婷婷五月无砖| 国产毛片欧美毛片久久久 | 影视av久久久噜噜噜噜噜三级| 狼人婷婷久久| 97人人搞| 五月婷婷啪啪| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 日日日日做夜夜夜夜无码| 99亚洲精品| 99热99热在线观看| 久久精品国产一区二区三区四区| 一區四區歐美日韓| 97精品人人A片免费看| 美女激情婷婷| 久久XX日本综合| 亚洲激情免费视频| 9久热在线精品| 亚洲激情网| 丁香婷婷91在线观看视频| 超碰不卡在线| 在线观看中文字幕亚洲| 久草天堂| 一起草无码视频| 激情丁香五月| 五月天婷婷久久综合| 97碰碰免费.视频| 五月丁香在线综合| 国产综合81p| 成人五月天丁香婷| 色婷婷av在线观看| 色色婷婷丁香| 婷婷久久五月天丁香| 91碰碰视频| 这里只有精品视频222| 久热9| 九九热视频免费观看| 热99玖玖99玖玖99九九| 天天操天天爱天天玩| 毛v一区二区视频| 五月丁香六月婷婷久久肏| 99自拍视频在线观看| 天天干天天插| 婷婷五月天99| 色综合99色| 激情99| 玖玖综合色| 天天日夜夜爽| WWW.夜夜| 久久99久久久| 99久久99九九九99九他书对| 五月丁香婷婷综合在线| 99热在线观看| 五月婷婷丁香在线| 九月婷婷色色| 色五月激情五月开心五月| 婷婷五月俺要去| 超碰2021| 一级二级色大片| 99re在线观看| 日韩一区二区A片免费观看| 色五月丁香伊人| 婷婷网影院| 99热久| 婷婷五月天色网久| 涩涩激情五月婷婷| 婷婷综合五月天| 久久久久久天天日天天爱| 丁香五月婷婷天激情| 99这里只有精| 日韩成人网址| 四川BBB搡BBB搡多人乱亂| 婷婷五月花丁香| www.日韩国产| 大香蕉九九| 丁香五月综合亚洲| 亚洲成人av在线播放| 99热精品在线播放| 亚洲男人的天堂婷婷色五月| 成人在线高清| 亚洲色频| 午夜电影网VA内射| 久久婷网| 五月天婷婷综合| 久久人妻伦理| 成人短视频在线| 99在线精品免费视频| 久久综合五月| 色性综合| 深夜婷婷 丁香| 亚洲五月丁香六月婷婷| 99热只有精品在线播放| 狠狠色婷| 五月丁香啪啪啪综合网| 提提热五月天婷婷| 婷色视频| 婷婷五月天视频| 欧美激情凹凸丁香网| 久久婷婷五月天蜜桃| 久久小视频| 五月天激情久久| AV中文在线| 香蕉曰比| 五月婷婷影院| www.思思99热| 国产性爱一级| 99re6在线视频精品免费| 久久综合人妻| 久久五月六月| 日本欧美999久久久三级片| 婷婷免费视频| 五月丁香无码视频| 色吧综合网| 碰99在线| 超碰久热| 97五月天婷婷| 丁香五月综合| 五月婷婷电影院| 成人在线精品| 狠狠色噜噜狠狠狠888了| 天天综合网91| 国产婷婷色综合AV蜜臀AV | 丁香五月婷婷亚洲色图| 青青草a在线| 婷婷久久婷婷色五月| www.五月丁香| 国产精品热搜丁香五月婷婷| 五月婷婷六月丁香免费| 香港九九六区八区99| 日本五月婷| 婷婷五月噜噜| 天天久久66xxx| 激情婷婷激情在线不卡| 五月激情六月综合| 狠狠插日日干撸| 婷婷开心深爱五月天| 五月激情综合婷婷| 欧美色色色色色| 男人的天堂五月丁香| site:xmssd.com| 五月色激情综合网| 五月丁香成人网| 色噜噜狠噜噜视频| 丁香成人综合| 99久久www| 五月丁香婷婷色啪| 九九综合伊人| 天天做天天爱综合| AV伊人青草丁香六月| av在线观看网址| 国产又黄又爽又色的免费| 五月天社区| 欧美综合在线五月天色婷婷| 久月婷婷| 99在线爽| 九九视频在线观看视频6 | 91九色无码日韩| 婷婷五月天第四色| 天天想夜夜爽天天爽| 美女91一起草| 五月久久婷婷天堂视频| 亚洲射激情| 色啪影院| 色色色色色色色色色色色色色色,网站| 久久久五月天| 婷婷色五天| 五月天婷婷导航| 五月久久五月激情| 久久婷婷五月激情综合| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 99欧美| 精品久久人妻| www.91有码.com| 99热综合| 色婷婷香蕉丁丁网| 久久精品无码一区| 99色在线视频| 先锋资源婷婷| 久久这里只有欧美| 久久久久久久久久久久久久人妻视频| 亚洲色图五月丁香| 99精品久| 久久久99精品免费观看| 色综合色综合网| 人人播| 日本在线噜噜| 国产永久一二一起草| 国产精品色婷婷99久久精品| 久久久久9久无码视频| 天天天天操| 五月色色色| 五月丁香六月婷婷网| 欧美另类五月激情| 激情五月图| 九热精品| 伊人色五月| 丁香花大香蕉婷婷综合| 91碰碰碰| www.久久爱| 九月色婷婷综合| 婷婷丁香五月综合网上| 狠狠色综合777| 午夜婷婷| 色婷婷久久综| 婷婷久久色| AV成人在线网站| 五月丁香久久| 欧美丁香婷婷五月| 欧美99视频| 亚洲色五月婷婷| 97色色色视频| WWW、日本色丁香、co m| 狠狠干五月天婷婷网| 人人97碰| 久久九九99桃花视频| 久久婷五月影院| 久久精品无码一区| 日日干日日| 99∨VTV| 99久久综合网| 91要啪| 激情5月婷婷| 99国产小视频| 99久久精品网| 丁香五月婷婷色综合基地| 婷婷免费精品视频| 99综合久久| 99久精品视频| 久久午夜丁香| 日日操无码| 天堂二区| 又大又粗九一在线| 99国产精品白浆在线观看免费| 激情第四色| 色播五月网| 9久久精品| 五月丁香啪啪啪综合网| 色你久久| 五月丁香成年黄色| 激情五月天视频| 99热99热在线| 天天操屄网| 亚洲成人黄色网| 亚洲综合狠狠艹| 99精品7| 亚洲AV无码久久精品色欲| jiujiu无码五区| 天天激情综合| 人人爱干人人爱草| 六月丁香激情综合网| 色色五月婷| 9999久久久久| 大香蕉五月丁香| 99九色视频在线观看| 99九九精品视频| 狠狠爱婷婷| 婷婷情色五月天| 丁香婷婷五月综合影院| 熟女网站久久| www.婷婷,com| 色情婷婷。| 97色永久免费视频| 久久新| 五月综合激情| 亚洲无码成人| 九九99免费理论| 丁香五月婷婷基地| 亚洲无码另类| 婷婷精品| 婷婷色色五月| 色色色777| caopeng超碰| 五月天婷婷久久日| 丁香婷婷丁香五月欧美人| 99热思思在线观看| 亚洲色五月天在线| 久久99热 这里有精品| 我爱宗和色| 99九九视屏| 一本伊人色婷| 狠狠色噜噜色狠狠狠综合久久成人波| 丁香五月激情视频| 99av视频| 综合色播| 久热免费视频| 婷婷九月亚洲| 激情五月天视频| 狠狠做深爱婷婷久久综合一区| 天天婷婷综合亚洲亚洲| 深爱五月天| 成人做爰高潮A片免费视频| 国外亚洲成AV人片在线观看| 亚洲偷| 婷婷五月丁香性爱| 91日综合欧美| 99久久久久久www| 丁香婷婷五月天激情四射| www色色色com| 蜜桃婷婷五月| 丁香五月日本| 激情综合五月色丁香婷婷| 噜噜网免费视频| 激情开心五月天| 丁香婷婷色| 在线观看欧美| 激情亚洲网| 国外亚洲成AV人片在线观看| 99热国品| 中文AV网站| 国产小网站| 色玖玖导航| 丁香婷婷人妻| 亚洲天天免费| AAA亚洲AV| 五月丁香激情综合网| 九九干视频| 五月婷婷香| 欧美成人AAA片一区国产精品| 香蕉婷婷五月| 日本久久9| 激情六月天婷婷| 天天舔天天插天天爱| 色青青视频| 五月婷婷久| 天天综合 99久久婷婷| 婷婷五月丁香基地| 日韩成人免费电影| aV直接看| 加勒比久热| 琪琪色五月天| 538在线| 最新亚洲色色网| www.com五月天| A片一曲| 综合色播| 91久女| WWW·色色色·COM| 香蕉综合在线| 五月婷成人网| 日本熟女一区二区| 激情深爱五月天| 精品色| 无码人妻丰满熟妇奶水区码| av人人操| 色色丁香婷婷综合| 美女五月天婷婷| 五月丁香六月婷婷网站| 人人操人人干AV| 亚洲热综合| 色五月亚洲| 大香蕉伊在| 精品久久99| 噜噜噜色噜噜| 五月六月婷| 91窝窝| 99干在线视频| 影音先锋91| 深爱五月婷婷开心中文字幕| 2w在线视频| 天天做天天爱| 狠狠搞狠狠操| 最新无毒无码AV| 久久久99日本大片| 五月天开心激情网色欲无码| 五月天婷婷成人资源站| 六月婷婷色色色| 伊人激情| 丁香五月熟女| 九九AV在线| 天天射射夜| 噜噜国产| 激情五月丁香婷婷| 热久久999| 综合性爱网| 亚洲丁香五月天在线视频| 五月婷婷激情久久| 天天射美女| 天天揷综合网| 久9视频免费播放| 久久五月六月| 五月天天天色| 五月丁香六月婷婷网| 婷婷六月天国产综合| 日韩99视频| 噜噜色五月| 色欲久久久久| 99A片| 韩国中文字幕91| 中文字幕综合| 婷婷玉月丁香五月在线视频| 天天日本夜夜谢| 五月丁香久久| 9999热精品| 日韩欧美颜射| 丁香五月天成人| 久9热| 久热一区| 婷婷九月综合| 开心五月综合激情综合五月| 性色天| 欧美人与性动交CCOO| 任你日热视频| 五月丁香爱婷婷深深| 99九九精品| 丁香婷婷激情| 婷婷五月另类网站| 快乐激情五月色婷婷| 久久婷婷六月综合| 色播丁香| 免费在线观看av网站| 九九热在线观看6| 激情99在线视频| 夜夜操夜夜操| 婷婷久久天堂网| 夜夜人妻五月天| 狠狠干在线| 99国产精品久久久久久久久久久| 操碰久| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 伊人综合婷婷| 六月婷伊人| 狠狠爱婷婷丁香| 91色色五月天| 色情五月综合婷婷| www色综合| 婷婷色六月| 亚洲色色五月| 天天操九九插| 色色丁香婷婷综合| 久草免费福利视频| 99热99网| 色婷婷久久综合久色综| 无码人妻AV久久久一区二区三区| 97操碰碰无码视频| 亚洲精品五月| 99热这里只有精品1| 婷婷久久婷婷| 思思热性操| 玖玖综合网| 中文字幕精品推荐免费在线观| 五月婷婷亚洲天堂激情在线| 五月天天天天天天天天天天天天天天天婷婷婷 | 天天干天天干天天干| 久久se 综合网 | 99视频在线观看视频| 五月天婷婷激情干干| 91操片| 综合另类激情| 思思视频精品| 婷婷五月天综合网| 第四色色色色色丁香五月天| 爱爱色五月天| www.jiujiujiu| 久久久久久久久18久久| 国产激情综合五月| 99福利导航| 99综合色色色| 五月天国产成人| 五月婷婷深深爱| 婷婷五月激情在线| 人妻性爱| 五月天婷婷网站888| 色婷婷aV四虎| 久久狠色噜噜狠狠狠狠97| 色婷婷成人网| 激情五月天色色色| 日韩六十路91性交电影| 夜夜撸天天操| 99热丁香五月|