欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

在昇騰NPU上用vLLM-ascend加速GRPO強(qiáng)化學(xué)習(xí)訓(xùn)練

在昇騰NPU上用vLLM-ascend加速GRPO強(qiáng)化學(xué)習(xí)訓(xùn)練 最近在昇騰NPU上折騰 vLLM-ascend 配合 GRPO 強(qiáng)化學(xué)習(xí)訓(xùn)練也就是很多人常掛在嘴邊的“GPRO”訓(xùn)練。實(shí)際上 TRL 框架里對應(yīng)的是 GRPO群體相對策略優(yōu)化。這段鏈路跑通之后采樣速度比直接用原生生成方法快了五六倍整個(gè)訓(xùn)練迭代節(jié)奏完全不一樣了。先說明這套東西是干什么用的一個(gè) LLM 在 SFT 之后通常還要用強(qiáng)化學(xué)習(xí)做一輪偏好對齊。GRPO 這類輕量算法不需要像 PPO 那樣額外維護(hù)價(jià)值網(wǎng)絡(luò)而是通過對同一個(gè) prompt 采樣一組回答用組內(nèi)相對獎(jiǎng)勵(lì)來更新策略。TRL 已經(jīng)實(shí)現(xiàn)了 GRPO 的訓(xùn)練流程但默認(rèn)采樣還是走 transformers 的 generate。對于大規(guī)模 RL 任務(wù)采樣本身是最大的開銷所以這里引入 vLLM-ascend 作為生成引擎利用它的連續(xù)批處理和 PagedAttention 來加速采樣。這篇內(nèi)容主要面向兩類人一是想在昇騰 NPU 上跑 LLM 對齊訓(xùn)練的同學(xué)二是在其他國產(chǎn)芯片上搞推理優(yōu)化、需要理解 vLLM 與訓(xùn)練框架如何銜接的朋友。我會(huì)把環(huán)境搭建、版本匹配、訓(xùn)練代碼、模型部署、性能調(diào)優(yōu)和踩坑記錄都講清楚盡量給出能直接照抄的配置。1. 整體方案設(shè)計(jì)與技術(shù)選型1.1 這條鏈路到底要解決什么問題在昇騰 NPU 上做 LLM 強(qiáng)化學(xué)習(xí)常規(guī)思路是直接用 PyTorch transformers 訓(xùn)練采樣也靠 transformers 的 generate 方法。但 GRPO 有個(gè)特點(diǎn)每個(gè) prompt 要采樣多組輸出如果組大小 n 設(shè)為 4意味著模型離線生成的數(shù)量是訓(xùn)練更新數(shù)量的 4 倍。如果采樣過程太慢訓(xùn)練會(huì)一直等生成NPU 利用率上不去。同時(shí)transformers 原生的 generate 在 NPU 上對動(dòng)態(tài) batch 和長序列的支持沒有專門優(yōu)化很容易出現(xiàn)顯存碎片和低吞吐。vLLM-ascend 是 vLLM 在昇騰上的適配版本它把連續(xù)批處理和 paged KV cache 帶到了 NPU。這個(gè)方案要解決的就是在單卡 NPU 上把“采樣”和“更新”兩個(gè)環(huán)節(jié)串起來互不拖后腿。實(shí)話說一開始我把問題想簡單了。我以為只要把 TRL 的 device 參數(shù)改成 npu 就能跑結(jié)果發(fā)現(xiàn) TRL 的生成后端還是走 transformers 的接口采樣速度根本沒上去。直到我把use_vllmTrue打開并把vllm_device指到npu:0才真正把 vLLM-ascend 的能力接進(jìn)訓(xùn)練流程。1.2 為什么選 TRL 的 GRPO 而不是其他方案RLHF 類方案里PPO、DPO、GRPO 是最常被提到的三個(gè)。PPO 需要額外的 critic 模型除了策略模型還要在每一步估計(jì)價(jià)值函數(shù)顯存占用高在昇騰上的算子適配也更復(fù)雜。DPO 雖然簡單但它是離線偏好優(yōu)化沒有在線探索通常放在 RLHF 之前做輕量對齊。GRPO 介于兩者之間它在線采樣但沒有 critic 模型顯存占用顯著降低訓(xùn)練穩(wěn)定性也不錯(cuò)。我最終選 TRL 的 GRPOTrainer還有一個(gè)現(xiàn)實(shí)考慮它把 vLLM 生成后端集成得比較干凈。在GRPOConfig里開啟use_vllmTruetrainer 內(nèi)部就會(huì)創(chuàng)建一個(gè) vLLM 引擎來采樣。這個(gè)設(shè)計(jì)讓我不需要魔改訓(xùn)練主循環(huán)只要把 vLLM 的 device 指到 NPU并把模型路徑傳給 vLLM 就行。相比自己寫一個(gè)采樣進(jìn)程再和訓(xùn)練進(jìn)程通信這個(gè)方案更省事。當(dāng)然TRL 的 GRPOTrainer 也不是沒有缺點(diǎn)。它內(nèi)部封裝了很多細(xì)節(jié)報(bào)錯(cuò)信息比較抽象一旦 vLLM 和 trainer 之間的接口版本不匹配問題很難定位。所以選擇它之前必須接受“版本鎖死”這件事。1.3 vLLM-ascend 在訓(xùn)練鏈路里的定位一個(gè)完整 GRPO step 包含采樣、打分、更新三步。vLLM-ascend 只負(fù)責(zé)第一步采樣。它會(huì)常駐在訓(xùn)練進(jìn)程內(nèi)接收 prompt 列表返回采樣完的文本列表。TRL 拿到這些文本后再交給獎(jiǎng)勵(lì)函數(shù)打分。vLLM-ascend 帶來的提升主要來自三個(gè)方面連續(xù)批處理能動(dòng)態(tài)拼接長短不同的請求減少等待浪費(fèi)PagedAttention 把 KV cache 拆成固定大小的 page顯存利用率比原生 generate 高很多昇騰上有針對 flash attention 和全連接算子的融合優(yōu)化長序列生成時(shí)開銷更穩(wěn)定。在訓(xùn)練鏈路里vLLM-ascend 不是額外起一個(gè)服務(wù)進(jìn)程而是以庫的形式被 import 進(jìn)來。這么做的好處是數(shù)據(jù)和參數(shù)都在同一個(gè) Python 進(jìn)程內(nèi)交互不需要把文本序列化成 JSON 走網(wǎng)絡(luò)省掉通信開銷。訓(xùn)練進(jìn)程和 vLLM 引擎共享同一塊 NPU 顯存這是它最有價(jià)值也最容易翻車的地方。1.4 版本匹配的教訓(xùn)這條鏈路最大的坑就是版本組合。vLLM-ascend 是緊接著某個(gè) vLLM 版本發(fā)布適配包的TRL 內(nèi)部對 vLLM 的調(diào)用接口又會(huì)隨版本變化。我一開始裝的是比較新的 TRL 開發(fā)版結(jié)果它對 vLLM 的初始化參數(shù)變了vLLM-ascend 還沒同步導(dǎo)致啟動(dòng)即報(bào)錯(cuò)。這個(gè)問題的本質(zhì)是三方項(xiàng)目版本聯(lián)動(dòng)的滯后。要等 TRL 先適配新參數(shù)然后 vLLM-ascend 再跟上來中間往往有窗口期。所以版本不是越新越好穩(wěn)定才是第一優(yōu)先級。我建議固定一個(gè)“經(jīng)過驗(yàn)證的組合”。比如Python 3.10 torch 2.1 對應(yīng)版本的 torch_npu CANN 7.x vLLM-ascend 某穩(wěn)定版 TRL 0.10 到 0.14 之間。在跑真實(shí)訓(xùn)練前先用一個(gè)小模型跑 20 步小實(shí)驗(yàn)確認(rèn)生成和訓(xùn)練都沒問題再上大規(guī)模任務(wù)。版本沖撞的時(shí)候優(yōu)先看 vLLM-ascend 的 release notes它支持的 vLLM 版本范圍是硬邊界。2. 昇騰NPU上的環(huán)境搭建與驗(yàn)證2.1 基礎(chǔ)環(huán)境準(zhǔn)備CANN、torch_npu和Python環(huán)境昇騰 NPU 上的 PyTorch 應(yīng)用依賴兩層底層組件CANN 提供算子庫和 runtimetorch_npu 是 PyTorch 的昇騰擴(kuò)展插件。安裝順序不能亂先裝 CANN再裝 torch_npu。如果你用的是 Docker 鏡像從官方鏡像啟動(dòng)會(huì)比較快但版本也要和宿主機(jī)驅(qū)動(dòng)匹配。我習(xí)慣用 conda 創(chuàng)建一個(gè)專門的 Python 3.10 環(huán)境不污染系統(tǒng)環(huán)境。依賴裝完后先做一個(gè)最小驗(yàn)證python -c import torch, torch_npu; print(torch.npu.device_count())輸出不為 0說明驅(qū)動(dòng)和插件基本可用。然后手動(dòng)把一個(gè)隨機(jī)模型放到npu:0上跑一次 forward 和 backward確認(rèn)梯度能正?;貍鳌_@一步雖然基礎(chǔ)但能避免后續(xù)把環(huán)境問題誤判成代碼問題。我見過不少人在同一個(gè)腳本里既跑 transformers 又跑 vLLM最后報(bào)錯(cuò)是 torch_npu 和 PyTorch 版本沖突白白排查一整天。2.2 安裝 vLLM-ascend 與 TRLvLLM-ascend 的安裝有兩種方式預(yù)編譯 wheel 包和源碼編譯。如果你的 CANN 版本和 Python 版本都在它支持的列表里優(yōu)先用預(yù)編譯包省時(shí)間。源碼編譯需要 cmake、gcc 等工具鏈時(shí)間較長但遇到 wheel 沒有對應(yīng)架構(gòu)時(shí)就得走這條路。pip install vllm-ascendTRL 的安裝也很簡單但版本一定要提前鎖定。我在實(shí)驗(yàn)中用穩(wěn)定版然后強(qiáng)制把 transformers 退回到一個(gè)和 torch_npu 兼容的版本pip install trl0.10,0.15 pip install transformers4.40.0為什么這么在意 transformers因?yàn)?TRL 依賴 transformers而 transformers 新版本可能會(huì)調(diào)用 torch_npu 還沒實(shí)現(xiàn)的新接口。我遇到過幾次莫名其妙的 SEGV最后定位都是 transformers 版本太新。所以鎖版本不是保守是在給后續(xù)調(diào)試減少變量。2.3 用一個(gè)小模型驗(yàn)證鏈路環(huán)境裝好后先別急著寫 GRPO 訓(xùn)練代碼而是先用一個(gè)小模型單獨(dú)驗(yàn)證 vLLM-ascend 能否正常加載和生成。我用的是某個(gè)開源 2B instruct 模型tokenizer 和權(quán)重都從本地目錄讀取from vllm import LLM, SamplingParams llm LLM( modelpath/to/2b-model, devicenpu, gpu_memory_utilization0.3, max_model_len2048, trust_remote_codeTrue, ) params SamplingParams(n4, max_tokens256, temperature0.6) outputs llm.generate([請用一兩句話解釋什么是相對策略優(yōu)化], params) for o in outputs: for out in o.outputs: print(out.text)這里n4是 GRPO 里最常用的做法對同一個(gè) prompt 采樣 4 條回答。如果這段代碼能在 NPU 上順利跑完說明 vLLM-ascend 的生成引擎沒問題。這一步最容易翻車的地方是device參數(shù)。vLLM-ascend 早期版本要求寫devicenpu新版又改成了通過環(huán)境變量VLLM_TARGET_DEVICEnpu來聲明。不同版本行為不一樣一定以你本地版本的文檔為準(zhǔn)。如果兩個(gè)都寫上通常會(huì)報(bào)重復(fù)配置。2.4 環(huán)境變量與運(yùn)行時(shí)配置昇騰環(huán)境下有幾個(gè)環(huán)境變量會(huì)影響整條鏈路。ASCEND_RT_VISIBLE_DEVICES用于指定當(dāng)前 Python 進(jìn)程可見的 NPU 卡號類似 CUDA_VISIBLE_DEVICES。PYTORCH_NPU_ALLOC_CONF可以控制顯存分配策略例如expandable_segments:True能減少碎片化。在啟動(dòng)訓(xùn)練腳本之前我通常會(huì)在 shell 里做一套統(tǒng)一設(shè)置export ASCEND_RT_VISIBLE_DEVICES0 export PYTORCH_NPU_ALLOC_CONFexpandable_segments:True export VLLM_TARGET_DEVICEnpuexpandable_segments:True這個(gè)參數(shù)我用下來比較關(guān)鍵。GRPO 訓(xùn)練時(shí)張量頻繁申請和釋放顯存會(huì)逐漸碎片化最終導(dǎo)致明明還有富余卻申請失敗。開啟后頁面碎片減少但也會(huì)帶來一點(diǎn)額外內(nèi)存開銷需要自己權(quán)衡。3. GRPO訓(xùn)練與vLLM-ascend的聯(lián)合實(shí)現(xiàn)3.1 準(zhǔn)備訓(xùn)練數(shù)據(jù)與獎(jiǎng)勵(lì)函數(shù)GRPO 訓(xùn)練首先需要一組訓(xùn)練數(shù)據(jù)格式可以很簡單每條數(shù)據(jù)包含一個(gè) prompt 和對應(yīng)的參考答案。獎(jiǎng)勵(lì)函數(shù)我一般先用規(guī)則版因?yàn)樵谝粋€(gè)開源 2B 模型上驗(yàn)證鏈路不需要加載額外的獎(jiǎng)勵(lì)模型跑通了再換真實(shí) RM。示例獎(jiǎng)勵(lì)函數(shù)判斷回答長度是否在合理區(qū)間以及是否包含關(guān)鍵標(biāo)志詞。獎(jiǎng)勵(lì)分?jǐn)?shù)取 0 到 1 之間的浮點(diǎn)數(shù)然后 GRPO 會(huì)在組內(nèi)做歸一化。from datasets import Dataset train_data [ {prompt: 一列火車每小時(shí)行駛120公里行駛360公里需要多少小時(shí), answer: 3小時(shí)}, {prompt: 如果一個(gè)矩形的長是6米寬是4米面積是多少, answer: 24平方米}, ] dataset Dataset.from_list(train_data) def reward_func(prompts, completions, **kwargs): rewards [] golden kwargs.get(answer) for completion in completions: score 0.0 if 10 len(completion) 200: score 0.5 if golden and golden in completion: score 0.5 rewards.append(score) return rewards有幾個(gè)細(xì)節(jié)容易被忽略獎(jiǎng)勵(lì)函數(shù)接收的prompts和completions都是 list必須返回同樣長度的 list。如果用了kwargs.get(answer)訓(xùn)練數(shù)據(jù)里必須有answer字段并且獎(jiǎng)勵(lì)函數(shù)要在初始化時(shí)允許接收額外參數(shù)。3.2 初始化策略模型、參考模型和獎(jiǎng)勵(lì)模型GRPO 里用于更新的策略模型和用于約束結(jié)果的參考模型初始權(quán)重是同一個(gè)模型所以代碼里要加載兩份權(quán)重。昇騰上加載 transformers 模型時(shí)我把它們放到 NPU 上from transformers import AutoModelForCausalLM, AutoTokenizer model_path path/to/2b-model tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) policy_model AutoModelForCausalLM.from_pretrained( model_path, device_mapauto, trust_remote_codeTrue ) ref_model AutoModelForCausalLM.from_pretrained( model_path, device_mapauto, trust_remote_codeTrue )這里有個(gè)容易忽略的點(diǎn)TRL 內(nèi)部更新策略模型時(shí)會(huì)保留一份“凍結(jié)”的參考模型所以即使初始權(quán)重一樣兩個(gè)對象必須獨(dú)立不能用同一個(gè)對象反復(fù)賦值否則參考模型會(huì)被意外更新。如果你的 NPU 顯存比較緊張參考模型可以包在torch.inference_mode(modeTrue)里運(yùn)行減少梯度相關(guān)開銷。不過 TRL 的 GRPOTrainer 內(nèi)部也會(huì)對 ref_model 做凍結(jié)處理所以大部分情況直接用就行。3.3 配置 GRPOTrainer 和 vLLM 生成后端接下來是核心配置。TRL 的GRPOConfig支持很多參數(shù)這里只列重點(diǎn)from trl import GRPOConfig, GRPOTrainer training_args GRPOConfig( output_dir./grpo_ascend_logs, per_device_train_batch_size4, gradient_accumulation_steps2, max_steps80, learning_rate5e-6, adam_beta10.9, adam_beta20.99, warmup_steps5, use_vllmTrue, vllm_devicenpu:0, vllm_gpu_memory_utilization0.35, vllm_max_model_len2048, vllm_dtypeauto, logging_steps1, ) trainer GRPOTrainer( modelpolicy_model, ref_modelref_model, reward_funcsreward_func, argstraining_args, train_datasetdataset, processing_classtokenizer, ) trainer.train()use_vllmTrue這一步就是讓 TRL 不再走原生 generate而是創(chuàng)建一個(gè) vLLM-ascend 引擎。vllm_device必須寫成npu:0如果寫成 cpu 或 cuda會(huì)直接報(bào)錯(cuò)。vllm_gpu_memory_utilization是關(guān)鍵設(shè)太大會(huì)導(dǎo)致后面訓(xùn)練進(jìn)程 OOM設(shè)太小采樣會(huì)很慢。如果你的 TRL 版本里沒有use_vllm這個(gè)參數(shù)說明版本偏舊需要升級或者改用vllm_config的方式。升級前先看 vLLM-ascend 支持的版本范圍別盲目升到最新。3.4 訓(xùn)練循環(huán)里發(fā)生了什么采樣、獎(jiǎng)勵(lì)歸一化、策略更新跑起來之后訓(xùn)練器每步大致做這些事從訓(xùn)練集取一個(gè) batch 的 prompt送到 vLLM-ascend 的引擎對每個(gè) prompt 采樣 n 條回答拿到 completions 后獎(jiǎng)勵(lì)函數(shù)批量計(jì)算分?jǐn)?shù)然后在組內(nèi)做零均值化得到每個(gè) token 位置的優(yōu)勢值最后用策略梯度更新策略模型。組內(nèi)歸一化是 GRPO 的核心。假設(shè)一個(gè) prompt 采樣了 4 條回答獎(jiǎng)勵(lì)分?jǐn)?shù)分別是 0.6、0.5、0.5、0.2歸一化后就是相對獎(jiǎng)勵(lì)。這樣訓(xùn)練信號來自“這條回答比同組的其他回答好多少”不依賴絕對分?jǐn)?shù)也不需要額外的基線模型。這個(gè)過程里vLLM 生成的 tokens 數(shù)量會(huì)直接影響每一步的時(shí)間。我自己實(shí)測在 2B 模型、max_new_tokens256、單卡昇騰上vLLM-ascend 采樣 128 個(gè) prompt 平均耗時(shí)約 3 秒而原生 transformers generate 大概要 16 秒。換用 vLLM 后訓(xùn)練瓶頸從生成變成了反向傳播這更符合預(yù)期。3.5 踩坑記錄vLLM與Trainer之間的設(shè)備沖突聯(lián)調(diào)階段最典型的問題是 vLLM 引擎和訓(xùn)練進(jìn)程出現(xiàn)設(shè)備爭搶。vLLM-ascend 啟動(dòng)時(shí)會(huì)申請一部分 NPU 顯存作為 KV cache這部分顯存不會(huì)立刻釋放。如果訓(xùn)練時(shí)再加載優(yōu)化器顯存很容易超。我第一次跑的時(shí)候把vllm_gpu_memory_utilization設(shè)成 0.6結(jié)果訓(xùn)練到第 3 步直接 OOM。后來調(diào)成 0.35并把訓(xùn)練 batch 從 8 改成 4才穩(wěn)定下來。另一個(gè)坑是 tokenizer 不一致。TRL trainer 用自己的 tokenizer 對 prompt 做 encodevLLM 生成時(shí)也會(huì)有自己的 tokenizer 配置。如果兩個(gè) tokenizer 并不是同一個(gè) checkpoint 的同一個(gè)版本生成結(jié)果里會(huì)出現(xiàn)亂 token。解決辦法是顯式給 GRPOTrainer 傳入和 vLLM 同樣的 tokenizer 路徑并確保 trust_remote_code 一致。4. 訓(xùn)練產(chǎn)物部署從checkpoint到推理服務(wù)4.1 checkpoint的保存與導(dǎo)出訓(xùn)練結(jié)束后TRL 會(huì)在輸出目錄保存 checkpoint。如果想用 vLLM-ascend 做線上推理最好把權(quán)重導(dǎo)出成 vLLM 能直接加載的格式比如 safetensors并確保 tokenizer 文件在同一目錄。通常trainer.save_model()會(huì)把模型和 tokenizer 都保存到指定目錄。保存完之后檢查一下目錄結(jié)構(gòu)確認(rèn)有config.json、tokenizer.json和*.safetensors。如果沒有 tokenizer 文件vLLM 啟動(dòng)時(shí)會(huì)嘗試從 model 目錄找找不到就報(bào)錯(cuò)。我一般還會(huì)單獨(dú)做一次本地加載測試用 transformers 加載保存出來的模型跑一次生成確認(rèn)權(quán)重沒有損壞。這一步雖然多花幾分鐘但能避免部署階段才發(fā)現(xiàn) checkpoint 不完整。4.2 用 vLLM-ascend 啟動(dòng)推理服務(wù)線上推理和訓(xùn)練時(shí)的 vLLM 配置不一樣線上沒有訓(xùn)練進(jìn)程搶顯存可以把gpu_memory_utilization調(diào)高給 KV cache 留更多空間。我用下面的命令啟動(dòng)vllm serve /path/to/saved-model \ --device npu \ --max-model-len 2048 \ --gpu-memory-utilization 0.85 \ --enable-prefix-caching \ --trust-remote-code如果希望用 Python 代碼控制服務(wù)生命周期也可以直接寫from vllm import LLM, SamplingParams llm LLM( model/path/to/saved-model, devicenpu, gpu_memory_utilization0.85, max_model_len2048, enable_prefix_cachingTrue, trust_remote_codeTrue, )啟動(dòng)后可以用 curl 測試接口確認(rèn)模型能正常響應(yīng)curl http://localhost:8000/v1/completions \ -H Content-Type: application/json \ -d {model: saved-model, prompt: 你好介紹一下你自己, max_tokens: 64}4.3 部署時(shí)的性能配置與注意事項(xiàng)線上推理的顯存分配邏輯和訓(xùn)練完全不同但有幾個(gè)點(diǎn)值得專門提醒。max_model_len不能拍腦袋。它決定了 KV cache 的上限設(shè)太大會(huì)浪費(fèi)顯存設(shè)太小會(huì)把長 prompt 截?cái)?。我?huì)先統(tǒng)計(jì)線上請求的序列長度分布取 P99 值加上生成的最大 tokens 數(shù)再留一點(diǎn)余量。max_num_seqs控制同一時(shí)刻能并發(fā)幾條序列。這個(gè)值太大會(huì)導(dǎo)致 GPU 算不過來反而增加排隊(duì)延遲太小又浪費(fèi)顯存。建議從小往大調(diào)觀察請求的 end-to-end 時(shí)延。enable_prefix_caching對多輪對話場景很有效。當(dāng)用戶發(fā)新消息時(shí)歷史消息的前綴 KV cache 可以復(fù)用減少重復(fù)計(jì)算。但在純單輪生成場景中收益不明顯。5. 性能優(yōu)化與問題排查實(shí)操5.1 先量化瓶頸生成吞吐和訓(xùn)練吞吐怎么測性能調(diào)優(yōu)不能靠感覺建議先把兩個(gè)指標(biāo)拆開生成吞吐tokens/s和訓(xùn)練吞吐samples/s。生成吞吐可以通過 vLLM 的 log 直接看或者用llm.generate跑一批固定長度的生成長度然后用總 token 數(shù)除以耗時(shí)。訓(xùn)練吞吐可以用trainer.state里的 global_step 和運(yùn)行時(shí)間來算或者直接盯日志里的step打印。我一般會(huì)單獨(dú)測兩步先測 vLLM 生成 200 條 completion 的耗時(shí)再測訓(xùn)練端一個(gè) step 更新權(quán)重的耗時(shí)。誰的耗時(shí)高瓶頸就在誰身上。舉個(gè)例子如果生成 200 條 completion 花了 8 秒而一個(gè) step 更新權(quán)重只花 2 秒那生成端就是瓶頸優(yōu)先調(diào) vLLM 參數(shù)。反過來如果生成只要 1 秒但 step 更新要 5 秒那就要從訓(xùn)練側(cè)優(yōu)化比如梯度累積和混合精度。5.2 生成端調(diào)優(yōu)max_model_len、gpu_memory_utilization、前綴緩存生成端最重要的參數(shù)是max_model_len。它決定了 KV cache 能覆蓋的最大序列長度。我的做法是先統(tǒng)計(jì)訓(xùn)練數(shù)據(jù)里最長的 prompt 長度加上 max_tokens取 1.1 倍余量再向上取整。gpu_memory_utilization則是給 vLLM 劃多少顯存。在訓(xùn)練鏈路里它不是越高越好。我最終的取值是 0.35相比默認(rèn)的 0.9 會(huì)損失一部分并發(fā)能力但換來了訓(xùn)練側(cè)的穩(wěn)定。如果你的訓(xùn)練 batch 很小可以適當(dāng)提高到 0.5。vLLM 的 prefix caching 也很值得開。GRPO 里同一個(gè) prompt 會(huì)反復(fù)采樣多個(gè) completion前面前綴的 KV cache 可以復(fù)用。開啟之后在固定 prompt 集合的反復(fù)采樣場景下生成延遲能再降 20% 左右。對應(yīng) vLLM 啟動(dòng)參數(shù)是--enable-prefix-caching在 GRPOConfig 里可以傳一個(gè) dict 到vllm_extra_args。5.3 訓(xùn)練端調(diào)優(yōu)批量大小、梯度累積、混合精度訓(xùn)練端一個(gè)常見誤區(qū)是把per_device_train_batch_size調(diào)得很大來提升吞吐。但在 GRPO 訓(xùn)練里batch 大會(huì)導(dǎo)致 vLLM 一次性要生成大量 completions顯存壓力反而更大。建議保持 batch 在 4 到 8 之間再用gradient_accumulation_steps把有效 batch 撐大?;旌暇壬蠒N騰 NPU 對 FP16 和 BF16 支持比較完整。策略更新階段用 BF16 比 FP16 更穩(wěn)避免 loss 突然 NaN。設(shè)置 transformers 的torch_dtypebfloat16同時(shí)把GRPOConfig.bf16True打開。如果某些算子不支持 BF16可以給關(guān)鍵模塊單獨(dú)保持 FP16但這會(huì)增加代碼復(fù)雜度。還有一個(gè)容易忽略的點(diǎn)學(xué)習(xí)率的設(shè)定。GRPO 訓(xùn)練中策略模型很容易被獎(jiǎng)勵(lì)信號推偏學(xué)習(xí)率不要太大。我在 2B 模型上用 5e-6配合 warmup效果比較穩(wěn)。如果獎(jiǎng)勵(lì)函數(shù)本身噪聲大可以再降到 1e-6。5.4 顯存分配策略vLLM與訓(xùn)練進(jìn)程如何共存一張 NPU 里跑兩個(gè)進(jìn)程不現(xiàn)實(shí)因?yàn)?TRL 的訓(xùn)練進(jìn)程和 vLLM 引擎在同一個(gè)進(jìn)程內(nèi)它們共享同一塊顯存。顯存分配的核心是給 vLLM 的 KV cache 留一個(gè)合理上限同時(shí)給訓(xùn)練權(quán)重、梯度、優(yōu)化器狀態(tài)預(yù)留出明確空間。以 2B 模型、BF16 單卡為例模型權(quán)重約 4GBAdamW 優(yōu)化器狀態(tài)約 8GB梯度約 4GB一共 16GB如果 NPU 總顯存是 32GB那 vLLM 最多用 10GB大約 0.3 到 0.4 的 util。這個(gè)比例不是死的要按模型大小重新算。我建議寫一個(gè)簡單的腳本統(tǒng)計(jì)每部分峰值??梢韵汝P(guān)掉 vLLM只跑訓(xùn)練看訓(xùn)練側(cè)的顯存峰值再單獨(dú)跑 vLLM看生成側(cè)的峰值。兩邊相加小于總顯存才算留出了安全余量。很多 OOM 都是因?yàn)榈凸懒擞?xùn)練側(cè)的 AdamW 狀態(tài)這部分往往比模型權(quán)重還大。5.5 常見問題速查表現(xiàn)象可能原因解決辦法vLLM 啟動(dòng)報(bào) device 不匹配未設(shè)置devicenpu或環(huán)境變量檢查 vLLM-ascend 文檔統(tǒng)一用devicenpu訓(xùn)練到第幾步就 OOMvLLM 顯存分配太大調(diào)低vllm_gpu_memory_utilization減小訓(xùn)練 batch生成結(jié)果亂碼tokenizer 不一致給 vLLM 和 Trainer 傳同一個(gè) tokenizer 路徑算子不支持報(bào)錯(cuò)transformers 或 torch_npu 版本過新回退到 vLLM-ascend release 鎖定的版本loss 出現(xiàn) NaNFP16 溢出切換 BF16檢查 reward 是否出現(xiàn) infvLLM 和訓(xùn)練速度差距過大prefix caching 未啟用開啟緩存并復(fù)用同 prompt 的采樣顯存碎片嚴(yán)重反復(fù)調(diào)整 util 導(dǎo)致設(shè)置PYTORCH_NPU_ALLOC_CONFexpandable_segments:True部署接口響應(yīng)慢max_num_seqs 或 gpu_memory_utilization 不合理調(diào)大gpu-memory-utilization控制并發(fā)序列數(shù)這些是我實(shí)際調(diào)試中高頻出現(xiàn)的問題。如果你也在昇騰 NPU 上跑這條鏈路大概率會(huì)碰到其中幾個(gè)。6. 實(shí)測效果與優(yōu)化心得6.1 性能數(shù)據(jù)對比用某開源 2B 模型單一昇騰 NPUprompt 長度為 128max_new_tokens256GRPO 組大小 n4我這邊實(shí)測的數(shù)據(jù)大致如下配置采樣耗時(shí)128 prompt一個(gè)訓(xùn)練 step 總耗時(shí)原生 generate約 16s約 22svLLM-ascend 默認(rèn)約 5.2s約 8.1svLLM-ascend 開 prefix cache約 3.9s約 6.7s數(shù)據(jù)不算驚艷但對一個(gè) 2B 規(guī)模的實(shí)驗(yàn)來說采樣部分提速約 4 倍整個(gè)訓(xùn)練 step 提速約 3 倍。如果你的 prompt 更長、采樣數(shù)量更多提速會(huì)更明顯。6.2 可復(fù)用的優(yōu)化經(jīng)驗(yàn)第一版本鎖死比追新重要。vLLM-ascend 和 TRL 的組合每換一個(gè)版本都可能帶來接口變化我建議把整套依賴版本寫進(jìn) requirements 或 docker 鏡像不要散落在個(gè)人環(huán)境里。第二顯存分配要有預(yù)算表。先算訓(xùn)練側(cè)峰值再給 vLLM 定 util別讓 vLLM 一上來吃掉大塊顯存。你會(huì)發(fā)現(xiàn)顯存預(yù)算表比調(diào)參日志更有用。第三獎(jiǎng)勵(lì)函數(shù)盡量先用規(guī)則版跑通鏈路再換獎(jiǎng)勵(lì)模型。規(guī)則函數(shù)簡單、可控能快速暴露鏈路問題一上來就用大 RM遇到問題會(huì)分不清是采樣問題還是打分問題。6.3 后續(xù)擴(kuò)展與個(gè)人體會(huì)如果你打算把這個(gè)方案往更大模型和更長序列上遷移還有幾個(gè)方向可以嘗試用托管內(nèi)存做更大 KV cache把 vLLM 引擎放到獨(dú)立進(jìn)程通過跨進(jìn)程通信傳 completion這樣訓(xùn)練進(jìn)程和設(shè)備分配更干凈或者考慮多卡版本用數(shù)據(jù)并行把采樣任務(wù)切分到多個(gè) NPU 上。我個(gè)人接下來準(zhǔn)備把獎(jiǎng)勵(lì)模型替換成可學(xué)習(xí)的 RM并對比不同采樣組大小對訓(xùn)練穩(wěn)定性的影響。最后再分享一個(gè)小技巧無論你用什么版本組合第一步永遠(yuǎn)先跑通 100 步小實(shí)驗(yàn)不要上來就全量訓(xùn)練。小步實(shí)驗(yàn)?zāi)軒湍惆扬@存、梯度、采樣三塊都看到峰值再放大規(guī)模心里就有底了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷久久免费| 婷婷五月天av| 激情综合网五月| 99热只有这里才是精品| 五月天播播综合| 婷婷性爱网| 97色射| 色综合天天| 亚洲精品色| 69综合在线| 婷婷色情 | 思思热在线播放| 99热这里是精品| 九九热视频免费观看| 久久99免费视屏| 婷婷色中文| 91麻豆国产三级精品福利在线观看| 欧美日韩aaa| 久久婷婷综合五月天| 婷婷四色五月| 婷婷丁香午夜综合影视| 国产乱码久久| www,五月天com| 久久香蕉福利| 国产精品国产| 婷婷久久图片| 影音先锋91男人资源在线播放| 日逼AV影音先锋男人资源站| 亚洲欧洲中文日韩久久AV乱码| 久热九九| 97色婷婷成人综合在线观看| 久久婷婷五月丁香网| 婷婷丁香五月激情| 这里只有精品免费观看网占| 这里只有精彩视| 5月丁香综合网| 婷婷丁香射射| 99国产er热视频| 99激情在线| 久久丁香九| 大香蕉丁香五月| 色五月婷婷网| 激情综合五月婷婷| 五月天成人综合| 色~性~乱~伦~噜| 激情久久丁香| 成人网址在线观看| 99综合网| 99国产精品久久久久久久久久久| 婷婷激情综合| 天天爱天天秀天天做| 久久婷婷成人综合色怡春院| 婷婷五月天亚洲| 丁香五月色欲| 美女丁香五婷婷| 久久视频在线| 国产婷婷五月色情综合| 激情影院丁香五月| 激情图片久久| www.精品99| 99视频激情四射| 色99在线观看| 久草大| 九九99久久| 日日插日日干| 99re鈥哸鈥唙| 欧美狠狠色| 婷婷五月天综合在线 | 国产亚洲精品久久久久久牛牛| 五月天婷婷激情| 五月婷婷激情五月| 色优久久| 亚洲精品一区中文字幕乱码| 操日本99| 午夜激情久久| 91啪啪啪啪| 丁香五月成人丝袜| 日本99在线| 玖玖爱导航| 激情综合在线播放| 国产成人高清| 久久色区| 天天色·欧美| 成人AV在线网站| 2025天天爽天天摸| 久久99免费视频| 六月丁香色婷婷| 六月丁香激情网| 亚洲视频99| 亚洲中文乱字字幕在线永久| 噜噜狠狠色综合久| 丁香六月婷婷久久综合| 九九热视频在线观看| 丁香五月成人| 精品日本视频444| 超碰成人影视| 五月天婷婷久草丁香| 久久综合播放| 午夜大香蕉| 99在线观看视频免费| 日韩无码一区二区三区四区| 婷婷玉月丁香五月在线视频| 九九色综合视频| 天天激情欧美美女| 亚洲成人一区| 色色五月天婷婷| 内射干少妇亚洲69XXX| 专区无日本视频高清8| 日韩精品一区二区三区,四区,五区视频| 国产婷伊人| 伊人大香蕉毛片| 99热久久日本| 日韩无码成人电影| 激情五月天综合图片小说网站| 激情亚洲婷婷六月| 99免费热视频在线| 99热最新| 丰满少妇猛烈A片免费看观看| 五月丁香婷婷欧美色图视频五月丁香777电影| 五月激情综合婷婷| 六月婷婷色色色| 婷婷五月综合在线| 春色激情第四色| 人人视频色| 五月天狠狠网| 色情综合网| 五月丁香影院| 五月婷婷久久网| 亚洲色色五月| 九九热视频精品2| 五月丁香AV、伊人业余、性色熟妇| 可以直接看的AV网站| 五月丁花六月丁香综合| 97人人操人人干| 丁香激情网| 亚洲色图欧美色图日本视频| 综合伊人久久| 色色色99韩| 亚州性爱99| 人人干人人操人人摸| 久久婷婷五月综合伊人| 免费看欧美成人A片无码| 精品一区久热| 婷婷丁香激情综合色情| 99色看这里只有精品| 天天操天天爱天天玩| 99视频激情四射| 五月婷婷综合网| 麻豆AV一区二区三区| 1024你懂的欧美曰韩| 日本啪啪天堂| WWW.夜夜| 久操大香蕉| 怡红院AV亚洲一区二区三区H| 国产操逼视频网站| 久久亚洲婷婷| 欧美久久婷婷| 91热99| 思思久久99热只有频精品66| 哇嘎成人久久| 99这里只有免费的精品| 丁香婷婷五月| 五月丁香婷婷啪啪| 色拍九九九| 操B五月天| 婷婷五月开心中文字幕色| 欧美VA在线| 伊人干综合| 亚洲AV影片在线观看| 天堂爱啪啪| 激情无码五月天| 婷婷综合在线观看视频| 色婷婷香蕉| 亚洲亚洲人成综合网络| 91人在线观看| 91九色熟女| 亚洲婷婷月丁香五月| 丁香五月天啪啪a日本| 丁香六月啪啪| 九九综合88| 久久伊人大香蕉| AV天堂婷婷五月天| 91chinese在线| 色婷青青| 成片免费观看视频大全| 五月色网| 国产日韩欧美性爱| 热久69| 五月色丁香综合| 丁香五月天在线观看| 99综合网| 超碰京东热av男人的天堂| 色综合网上班开心婷婷久久| 久久五月天婷婷| 婷婷丁香五月综合| 中文字幕综合| 婷婷五月丁综合| 91欧美| 色五月噜噜| 99欧美| www激情com| 开心五月深爱五月| 日韩色色一区| 天天射天天射一道本日本社区 | 久久久性爱视频| 开心五月色婷| 亚洲这里只有精品| 婷婷的色色五月天| 久久66精品| 大香蕉人妻| 婷婷丁香精品视频在线观看| 二人电影免费版在线观看| 96丁香六月婷婷蜜桃综合久久| 99网| 一逼色综合| 播五月丁香六月| 亚洲综合色色色| 激情婷婷黄色五月| 日本熟妇人妻在线| 丁香五月成人社区| 婷婷丁香五月激情密臀av| 五月开心六月婷婷在线播放网站| 免费观看亚洲AV片| 人妻五月天激情开心网| 久热最新视频 | 色噜噜狠狠色综无码久久合欧美| 九色91视频| 日韩欧美一级大黄网站| 99re6在线视频精品免费| 一月婷婷色色| 激情五月综合网最新 | 亚洲国产精品二二三三区| 婷婷久久综| 婷婷丁香激情| 狠狠操狠狠| 久热91精品| 激情五月婷婷色播网| 九九热精品| 九九99香蕉在线视频播放| 色五月视频无码播放| 欧美va在线| 狠狠色综合网站久久久久| 激情综合网,婷婷五月天| 伊人啪啪网| 亚洲在线视频321| 五月欧美色色五月| 99热综合| 操操操操操操婷婷五月天| 深爱激情五月网| 久久一级AV| 免费AAAAA网| 五月婷婷激情久久| 丁香六月激情毛片| 久久这里有精品视频| 国产精品VIDEOSSEX久久发布| 97操操操| 五月激情网站| 日韩久综合| 五月天基地| 午夜天堂一区人妻| 久久综合丁香五月| 另类视频一区| 色九月婷婷综合| 久久伊人五月天| 玖玖色综合色| 玖玖资源网站最新站| 色9999日韩国产| 大香蕉久久久久| 五月激情影视| www.玖玖婷婷在线| 日日操天天| 成人做爰A片免费看网站找不到了| 色五月婷婷中文字幕在线观看 | 停停综合色色| www激情婷婷com| 久久久aaa| 激情五月婷婷在线区| 强伦轩人妻一区二区电影| 成人综合视频在线| 99啪99| www.99免费视频| 五月丁香狠狠| 99精品久久| 一本色道久久88加勒比—| 五月花综合视频| 色婷婷很很丝袜| 热99视频| 激情5月婷婷| 夜夜www| 亚洲成人噜噜| 激情综合在线观看| 玖玖爱导航| 影音先锋777xfplay色资源网站| 中文字幕在线aⅴ免费观看| 丁香五月天人体| 26UUU欧美| 影音先锋色婷婷| 九九自拍网| 五月丁香六月婷婷成人| 色99热| 六月婷婷啪啪| 婷婷五月丁香啪啪| AV在线免费播放| av在线观看网站| 99综合自拍| 看全色黄大色大片| 91视频人人做97| 久草热在线视频| 欧美婷婷综合网| 婷婷丁香色情| 操婷婷基地| 五月天综合视频| 91怕怕网| 这里只有精品无码| 国产亚洲99久久| 播五月开心婷婷欧美综合| 五月激情射| 婷婷丁香五月激情密臀av| 五月激情婷婷国产精品久久久久久| 五月丁香六月激情视频| 日本WWW九九九| 秋霞AV淫| 大香蕉五月天婷婷| 九九在线视频| 亚洲国产精品五月天| 色五月亚洲| 五月天婷婷三级黄| 少妇性按摩无码中文A片| 提提热五月天婷婷| 在线精品97| 日日肏夜夜干| 亚洲成人无码免费| 97性视频| 婷婷大香蕉| 天天插天天日| 五月色导航| 天天久综合网永久入口18| 五月激情综合深爱| 色五月中文字幕| 日本va欧美va国产激情| 九九综合伊人| 九九aV| 99人这里只有精品| 婷婷丁香日韩五月| 婷婷五月丁香基地| 色哟哟精品| 99热这里只有精品2| 888精品福利地址| 日韩丰满少妇无码内射| 综合五月激情网| 夜色.cnm| 欧美色九| 开心六月丁香五月婷婷| 欧美日韩二区在线| 色噜噜五月天| 五月丁香综合啪啪| 无码成人AAAAA毛片AI换脸| 久久精品66| 性爱七区| 淫视馆aV二区一区| 开心婷婷五月花| 182无码| 五月婷婷六月丁香在线| www.五月婷婷久久.com| 色色色综合网| 欧美爆乳一区二区三区| 色五月婷婷91| 97啪啪| 婷婷五月天777| 久热精品免费视频4| 色五月天成人| 五月天色图| 99热久久这里只有精品| 久久人妻伦理| 久九色| 激情五月综合亚洲另类| 五月精品免费XXX| 日韩性爱无码| 六月丁香婷| 影音先锋女人av鲁色资源网小说免费| 亚洲精品第一国产综合亚AV | 99久久五月婷婷| 99热这里精品| 久久综合中文| 99热在线观看| 久久久噜噜噜久久人妻| 性爱先锋AV| 91蝌蚪窝视频在线| 九月婷婷激情| 亚洲婷婷丁香五月天激情小说 | 精品影院| 五月天婷婷成人网| 激情99热| 色涩影院六月丁香| 婷婷五月成人| 思思热精品在线视频| 色综合久久88色综合天天99| 97在线观视频免费观看| 69色婷婷| caobi四区| 精品动漫 无码av| 亚洲欧洲另类| 欧美啄木乌丝袜人妻系列| 99精品热视频| 99热10在线高清播放| 99男人的天堂| 久久人妻情侣| 色久女| 欧美成人AAA片一区国产精品| 日本色狠狠| 538午夜激情| 免費观看aV在线网址| 久9视频| 热99这里只有精品视频| 九九九热精品| 大香蕉丁香五月| 91超级碰碰| 五月天激情美女久久| 久久色天堂| 亚洲色图欧美色图日本视频| AV在线观看网站| 色婷丨日丨天丨综合久久| 色蜜婷婷| 久99999热视频在线观看免费| 91视频综合网| 色色色.com| 国产精品视频免费看| 青草视频在线播放| 九九操操| 五月第四色| 九玖视频这里只有精品| 99小视频在线观看| 亚洲精品久久久久久久久久吃药| 亚州操操| 99国产小视频| 天堂AV三级| 亚州激情九月| 国产日产亚洲系列最新| 99九九久久| 五月婷婷二月丁香| 激情com| 九热视频精品| www.色多多婷| 五月丁香六月激情综合| 天天综合精品| site:feetmall.com| 亚洲综合字幕色色| 久热婷婷在线视频| 秋霞少妇AV网站| 色5月婷婷| 丁香色五月天| sewuyue第四色| 任你爽免费视频| 99精品久| 97高清国语自产拍| 99在线精品观看99| 高清无码入口| 天天爱天天做天天爽| 99热国产精品| 亚洲4区国产欧美| av国产精品| 超碰在线成人| 日日操夜夜爽| 婷婷五月丁香综合人妻| 99人这里只有精品| 五月婷婷激情网| 久久99精品久久久| 五月婷啪啪| 色欲资源网| 天堂婷婷五月在线| 另类专区在线| 婷婷激情五月视频| 91精品91久久久久77777| 激情婷婷六月天| 殴美日韩成人| 99热6色| 日韩av大全| 久久婷婷五月综合97色一本| 91九色无码日韩| 99热免费18| 久久小说网| 99综合免费视频| 99久久五月婷婷| 五月天激情综合10p| 五月激情四射婷婷丁香| 久久综合中文| 五月丁香色婷婷久久| 九九99偷拍视频| 国自产拍偷拍精品啪啪一区二区| 激情深爱五月天| 俺去也在线www色官网| 激情六月下句是什么| 伊人五月婷婷| 91丨九色|PRNY熟妇| www久久久久久久久久久久久久久久久| 丝袜大香蕉| 色婷五月| 五月婷婷亚洲| 97五月天| 玖玖资源在线视频| 激情五月天激情综合网| 欧洲高清免费久久| 一本道综合网| 欧美日韩大黄| 久久婷婷六月| 丁香无月在线观看| 亚洲99综合| 伊人碰碰婷婷| 日韩无码乱轮| 欧美碰碰| 婷婷免费视频| 久久久亚洲成人无码A片| 超pen个人视频97| 天天做天天爱| 日本三级大片| 激情婷婷五月天| 色色色欧美| 日韩成人中文字幕| 操九色| 狠狠狠色激情综合适合| 激情五月天 婷婷| 亚洲日日操| 久久这里有精品视频在线免费观看| 我爱宗和色| ,99视频久久| 五月色婷婷综合色| 婷婷五月天视| 草操网| 久久最新色色色| 思思热天天看| 一起草无码视频| www99热| 五月天大香蕉| 五月丁香香蕉| 久久五月丁香| 亚洲思思热久| 秋霞三级色戒| 深爱 五月天| 久久这里只精品66| 六月丁香视频网站| 国语对白性爱视频播放| 丁香五月网络网络| 亚洲丁香婷婷五月天综合色| www色婷婷久久综合久色| 色婷丁香五月| 翔田千里aV中文字幕| 六月婷婷五月丁香首页| 亚洲激情网站无码| 人人色性网| 狠狠色激情在线| 天天在线久久综合| 开心激情久久久久久久| 特级片神马电影| 五月婷婷婷婷婷| 欧美成人精品一区二区 | 就爱日五月天| 丁香五月婷婷高清| 九九人人看| 97碰碰视频| 久久久久久97| 超碰操网| 亚洲无码成人网| 丁香五月婷婷综合视频| 26uuu激情五月天| 这里只有免费的精品| 五月花亭亭| 性天天中文网| 婷婷五月在线播放| 亚洲无码yw| 成人五月丁香社区| 亚洲色99| 色婷婷小说| www.色五月| 99日热在线视频| 99re在线免费视频| 日韩另类在线观看| 九九久久综合| 亚洲精品乱码久久久久久综合| 丁香五月瑟瑟| 96精品久久久久久久久| 99久久婷婷| 五月天激情站| 色色婷婷综合网| 免费视频这里只有精品| 婷婷免费视频| 婷婷的99视频网站| 九九黄色网| 久久性爱网| 日韩久久日| 9久久精品视频| 影音先锋一区| 激情久久四色| 久热中文字幕在线线观看| 五月婷婷六月丁香在线视频| 91热视频色网站| 丁香五月久久| 被强行糟蹋的女人A片| 天堂美国久久| 91九色欧美| 任你爽视频| 国产视频久色| 无月播播激情在线观看视频| 五月婷婷综合视频| 综合激情五月丁香| 亚洲精品一区无码A片| 丝雨一区二区| 五月天婷婷香蕉狠狠超碰综合| 99色激| 97色色色色色色色色色色色色色| 99热这里有精力| 丁香五月婷婷AV| 六月丁香久久| 精品AV无码超碰| 91精品综合久久婷婷九色| 日木狠狠干| 5月丁香六月情| 人人干人人操人人摸| 精品人人操| 亚洲国产精品SUV| 一区=区操屄高清大全av| 99精品久久久久| 五月婷婷在线视频免费观看| 青青草原福利在线| 久久综合丁香| 青草青草视频2免费观看| 免费播放AV| 玖玖在线视| 天天做天天爰天天爽天天无遮挡| 天天婷婷| 99热手机在线精品| 偷拍九九热| 五月天激情四射网站| 亚洲色婷婷色| 综合激情站| 超碰狠狠操| 秋霞AV吧| 五月天丁香综合久久国产| 思思久久精品视频| 色婷婷狠狠| 国产无套精品一区二区| 九九热这里只有精品9| 欧美在线看| 久久9999| 99国产小视频免费观看| 五月天精品视频| 大香蕉啪啪啪| 日本色色视频| 欧美在线干| 五月丁香六月欧美| 婷婷五月丁香综合| 伊人爱爱日本| 九九色人| 五月情涩综合婷婷| 级情九色| 在线播放 精品| 日韩另类| 五月久久丁香| 99性视频| 亚洲AV日韩AV永久无码网站| 婷婷丁五月| 激情婷婷色五月| 婷婷综合激情| 亚洲第二AV| 99精品热视频只有精品10| 九九久热| 国产成人综合网| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 五月婷婷深深爱| sewuyue第四色| 9l视频自拍9l九色9l成人| 中文字幕免费高清电视剧| 狠狠99| 五月天成人手机在线视频| 啪啪综合| 北条麻妃伊人| 天天玩天天摸| 亚洲国产精品VA在线看黑人| 八戒青柠影视剧在线观看| 婷婷网影院| 五月丁香久久激情网| 99久久综合网| 免费观看日韩成人av| 丁香婷婷五月天网站| 丁香婷婷影院| 欧美日本日韩| 99日本黄站| 人人摸人人干人人做| 久久综合99| 亚洲婷婷丁香五月| 五月丁香综合久久| 婷婷色影院| 国产精品A片在线| 色播五月婷婷综合| 五月天丁香成人社| 色色999三级片| 激情宗合哪里能看| 激情中文在线| 中文字幕人妻一区二区| 国产三级在线播放| 久久视频这里都是精品| 色伊人婷婷| 99九九热播在线免费视频| 激情综合网之激情五月| 一区视频网站| Av在线资源| 欧洲亚洲免费视频区| 91视频一起草| 狼人伊人干| 五月婷伊人| 大香蕉综合在线| 91刘玥视频在线观看| 呦呦v线| 99欧美| 婷婷五月,偷窥偷拍网| 色婷婷五月综合网| 五月婷婷五月天| 狠狠丁香| 免费精品99| 成人久碰| site:picc-up.com| 五月大香蕉| 欧美操逼天堂| 思思热精品在线观看| 无码AV久久久久久久久| www.色婷婷| www.yw色| 婷婷六月天| 丁香六月天色婷婷| 五月婷婷丁香| 丁香激情久久| 99色在线| 五月深情久久| 色五月激情基地| 婷婷五月丁香五月| 国产亚洲99久久精品| 色色色五月婷| 激情婷婷综合网| 青青草视频福利| 99激情| 精品久色| 91无码视频| 日本三级网址| 久久免费婷婷视频| 伊久大香蕉| 一本久久亚洲五月婷婷| 可以看的av| 噜噜干日本| 九九大香蕉黄色影院| 中文字幕婷婷在线| 九九精品视频在线观看| Aaa久久| 丁香婷五月| 五月丁香影院| 免费观看高清无码| 色五月婷婷久久大| 人人艹艹艹| 九九综合久久丁香婷婷,开心激情综合网| 久99久视频| 婷婷爱爱蜜臀天天操| 99热只有| 99色.com| 日本熟女二区| 久久九九一區| 国产色色色色| 97操碰在线97| av中文网站| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | www超碰com| 天天射天天射一道本日本社区| 疯狂做受XXXX高潮A片动画| 天天激情综合| 色婷婷网| 成人va在线观看视频| 夜夜骑夜夜操| 99,色| 天天操天天曰| 婷婷激情中文综合| 五月婷综合| 99 热国产在| 九九99久久| 色五月综合网| 五月天另类小说| 五月丁香婷婷色| 丁香五月影院| 五月丁香婷婷色| 五月丁香六月婷婷久久| 91久久婷婷| 婷婷色导航| 综合激情五月天| 丁香六月在线| 伊人春天av| 婷婷91| anquye伊人| 婷婷中文字幕| 五月天婷婷六月| 中文成人在线| 欧美亚洲婷婷五月| 果冻传媒A片一二三区| 人人操人av| 丁香五月伊人| 第四色婷婷丁香五月| 丁香五月WWW| 色五月五月婷婷| h亚洲| 欧美色99| 五月婷婷黄色| 色吧五月婷婷| 色原狠狠综合| 夜夜干天天操| 久久最新色| 五月丁香婷婷基地| 快乐激情五月色婷婷| 婷婷久久大香蕉| 天天草天天爱| 在线成人va| 五月婷婷丁香狠狠撸久久| 超级碰碰99| 日日噜噜夜夜狠狠久久丁香五月| 天天综合网~91综合网| 日本久久综合| 思思视频久久| 亚洲精品久久久久久久久久吃药| 日夜夜天天| 99综合入口| 九九热精品视频| 4399人妻无码久久久| 中文字幕成人| 九九热免费观看视频| 97caop| 精品51XX| 七月激情六月婷婷综合在线播放| 超碰日日操| 99热在线播放| 国产精品99久久久久久久女警 | 久大香蕉| 丁香五月婷婷深爱综合激情| 风流少妇A片一区二区蜜桃| 久久网思思| 精品国产a| 另类 在线| 久操操| 白人荫道BBWBBB大荫道| 停停五月天激情网| 综合激情专区| 色婷婷基地| 五月综合婷婷开心网| 色涩视频久久| 日本色爽| 色婷婷五月色| 91操人视频| 久久久区区一久久久久久| 亚洲免费电影2| 97色片| 思思热思在线精品视频| 国产99久| 五月婷婷丁香六月| 一起草av| 99超超碰| 国产激情综合五月久久| 99久久99九九99九九九| 婷婷五月天av| 99热中文字幕久久| 久99在线视频| 91欧美| 丁香 婷婷 亚洲 熟女| 久婷久婷激情肉| 色色色色网站| 久久99久久99精品免观看软件 | 日本婷婷综合精品| 七七久久综合| 丁香五月婷婷AV| 99在线观看视频精品| 色操综合| 日本美女上人| 99这里只有精品视频在线| 狠狠色婷| 久久综合干| 五月婷婷久久综合| 五月天婷婷涩涩| 激情五月天婷婷| 五月丁香六月婷婷a v| 高清国产AV| 丁香六月婷婷综合| 九九综合久久| 日本久热| 高潮毛片又色又爽免费| 99re这里只有| 亚洲色9| 三日本无码| 97婷婷狠狠| 色插综合网| 久久狠婷婷| 99激情| 日本五月天一页| 婷婷五月丁香综合| 97caop| 色播五月综合网| 激情综合网婷婷久久| a片在线免费观看一区| 夜夜撸天天操| 天天做天天爱综合| 色9999日韩国产| 婷婷久久色五月婷婷久久久| AV在线免费网站| 思思热在线精品视频网站| 丁香五月婷婷欧美激情-中文天堂最新版在线观看| 色色99| 色婷婷www| 久久这里只有精彩| 热久91| 五月丁香六月婷婷网| 丁香色综合| 开心五月婷婷激情| 国产精品成av人在线视午夜片| 大香蕉久艹| 五月天婷婷永久免费视频| 人人操插| 97啪在线观看视频| 丁香婷婷五月天激情四射| 五月天伊人日日噜影片AV| 色色色五月婷| AA片在线观看视频在线播放| 婷婷五月综激情| 五月丁香婷中文字幕| 日本久久性| 综合色图婷婷| 久九色| 激情婷婷综合五月少妇| 91操操| 婷婷六月久久| 婷婷伊人綜合中文字幕| 婷婷丁香五月婷婷| 日本在线免费中文com.| 久久精品99久久| 青青久久五月| 色噜噜狠狠一区二区三区| 狠狠看狠狠| 奇米网大香蕉| 成人无码髙潮喷水A片| 这里只有精品视频| 激情二色月| 色五月激情综合网| 久久香视频| 丁香五月成人| 色五月色图| 永久地址 色| 看黄的网站18禁| 69精品人人人人人人| 日欧一片内射VA在线影院| 综合久久97| 蜜桃五月天| 色五月涩涩婷婷蜜桃| 久热丁香| 激情五月天。| 丁香五月综合| 97热在线精品| 欧美久久婷婷| 五月天快乐开心激情网| 婷婷五月电影| www。五月,com| 91日韩在线| www.色9| 天天色天天色天天色天天色天天色| 99色精品视频| 中文字幕丰满人妻无码专区| 665566 无码| 99在线观看| 五月丁香激情四射| 久久 视频这里只有精总| 七七九九色色| 午夜亚洲国产精品av一区二区| 久久丁香综合精品综合| 99精品无码| 五月婷婷av| 狠狠高潮精品亚洲1| 国产精品色色色色| 影音先锋色色色资源色资源色| 免费人人操| 九九婷婷热| 婷婷色网| 婷婷综合激情| 丁香五月天激情综合| 激情综合色五月丁香六月亚洲| 婷婷五月色花丁香社区| 久久久久亚洲AV无码网影音先锋| 色婷婷精| 国产AV一区二区三区最新精品| 国产精品成人在线| 日日干天天| 热99久久这里只有精品| 婷婷中文字幕| 色婷婷777狠狠| 91人人爽人人操| 中文字幕一色哟哟哟哟| 激情综合五月天| 91精品无码| 丁香六月在线| 日日肏天天操| 久久99激情| 五月丁香啪啪| 婷婷五月综合久久中文字幕| 亚洲成人综合网在线免费观看| 午夜精品久久久久久久爽| 六月婷婷五月丁香| 婷婷综合精品| 蜜臀99精品| 丁香六月无码播放| 爱的综合网| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 伊人久久婷婷五月综合97色| 热99这就是精品视频| 在线网黄| 人人操AV| 五月天久久丁香| 五月婷婷影视| 91热er| 色婷婷黄色网络| 97碰碰视频在线观看| 日韩黄色电影| 伊人青涩网| 激情婷婷激情在线不卡| 在线成人va| 无码人妻少妇色欲AV一区二区| 五月婷婷在线免费观看| 色色色色综合网| 欧美日韩成人在线网| 99热精品在这里| www.狠狠干com| 丁香五月婷婷六月婷| 六月婷婷网| 色啪网| 九九热av| 色婷婷av在线| 色www.con| 超碰精品国产首页| 五月婷综合激情| 色九月丁香婷婷蜜桃在线观看| 日韩乱轮AV| 五月日韩中文字幕| 精品夜夜澡人妻无码AV| 色色色网站| 九九激情网| 天天操天天干天天日| 99热在线精品观看| 午夜大香蕉| 色色丁香五月天| 五月丁香无码| 婷婷丁香九月| 久久综合婷婷五月| 天堂久久性| 色播播五月天| 99热在线只有精品| 天天干天干| 久色婷婷200| 久久小片| WWW,五月| 丰满熟女人妻一区二区三| 丁香五月亚洲| 天天婷婷色六月| 欧美色色网| 思思热高清在线观看| 久久少妇视频| 丁香五月成人社区| 五月婷视屏在线观看| 狠狠色综合精品视频在线| 亚洲另类视频| 99国产这里只有精品| 激情五月婷在线精品| 婷婷激情六月天视频| 婷婷情色激情| 玖玖资源站蜜臀| 五月丁香在线综合| 天天久| 色五月丁香五月| 六月丁香网| 神马欧美精| 五月婷婷深深爱| 婷婷综合五月天| 久久丁香五月天| 五月天婷婷色色| 色色射| 91久久婷婷| 国产成人一区二区三区在线观看| 亚洲视频一区| 日韩黄色中文字幕| 九九九九热99超碰| 免费V片在线| 亚洲久艹| 色情婷| 亚洲综合五月天婷婷丁香| 99re免费精品视频| 久久五月丁香| 美妞av| 亚洲综合丁香婷婷六月天| 天天檫天天爽| 五月激情综合美女久久| 女人天堂av| 婷婷夜夜夜夜| 亚洲色情网站| 狠狠操天天干| 天堂在线9| 一起草性爱不卡视频| 五月天综合在线| 国产精品扒开腿做爽爽爽A片唱戏| 91|疯狂丨高潮丨对白| 丁香八月综合激情| 天天综合网~91| 色五月五月婷婷| 思思热天天看| 五月花成人网| 亚洲精品性色| 亚洲日日日| 五月激情婷婷综合| 人人操AV| 99精品无码| 麻豆AV一区二区三区| 丁香色色五月| 久久一级片| 人人摸人人操人人爽| 就要去操亚洲成人精品五月天丁香婷婷| mmm1717.6dbm人人爱人人操| 欧洲高清免费久久| 亚州色色色| 五月丁香婷草| 婷婷深爱五月天| 99ree6| 91热久| 九九re精品视频在线观看| 91精品91久久久中77777| www.色窝| 亚洲人成人五月天| 天天综合五月天| 日韩啊啊啊| 日韩黄在免| 综合激情四射一theav| 色99热| 丁香五月自拍| 五月丁香六月婷婷a v| 狠狠人人婷婷| www久| 青草视频在线播放| 精品操逼一区二区| 九九九九综合| 中文字幕+乱码+中文字幕在线观看| 色婷五月| 99在线热视频| 丁香五月影院| 婷婷五月五月丁香| av第一二区| 亭亭五月丁香综合欧美| 26UUU精品一区二区c〇m| 久久只有18视频| 九色自拍| 亚洲国产精品二二三三区| 99玖玖精品| 丁香五月中文字幕| 丁香五月婷婷六月婷| 丁香五月Av| 思思re99视频在线观看| 无码免费人妻A片AAA毛片西瓜| 停停六月 综合| 99精品热| 三级成人网站| 日本狠狠干| 五月丁香色情| 亚洲性爱AV| 亚洲综合网 665566| 婷婷五月天深爱| 久久五月丁香| 国产67194| 久久婷婷网址| 婷婷久久亚洲| 婷婷五月天激情视频| 99热| 丁香五月影院| 欧美碰碰| 怕怕視頻| 婷婷五月美女直播| 婷婷性爱影院| 九月激情婷婷丁香| 日韩99视频| 激情五月天婷婷图| 五月丁香花婷婷玉莉AV| 色色三级视频| 99精品视频免费观看近期发布| 色情五月天导航| 天天色月| 久久婷婷激情视频| 天天日,天天插| 婷婷丁香无码专区| 精品成人在线观看| 亚洲 小说 欧美 激情 另类| 在线视频激情网站| 日日爽夜夜爽| www.99热精品99.com| 天天插天天玩天天干| 五月婷婷性| 欧美25p| 天天综合网~91| 日本综合色图| 成人综合伍月天| 99视频精品在线| 久久久五月天婷婷| 欧美性二区| 色五月女| 大香蕉久操| 欧美色色日韩| 九热在线这里有精品6| 九九热最新| 精品无码久久久久久久久| av在线免费网站 | 97超碰在线免费观看| 很操日本7| 五月婷婷啪啪网| 99在线视频操999| yellow视频在线观看91| 亭亭五月激情亚洲在线| 久久九九综合| 国产超碰av| 日韩a热| 五月天久久综合婷婷| 国外亚洲成AV人片在线观看| 色色色婷| 色色色色色色97| 婷婷丁香成人| 九九久99免费视频| 开心深爱五月天| 啪色综合| 日韩成人影片网站| 超碰在线看| 色婷婷www| 少妇高潮呻吟A片免费看软件| 色色丁香五月| 99色热综合| 五月天婷婷视频| 成人人操| 色之综合网| 综合99久久天天综合| 国产毛片操B| 综合激情五月四射婷婷| 丁香六月婷婷五月婷婷| 欧洲色区| 久久99激情| 天天爽天天草| 欧美日韩99| 久久久久婷| 五月婷婷开心六月激情小说| 亚洲中文乱字字幕在线永久| 婷婷丁香五月激情密臀av| 欧洲激情五月天| 五月丁香六月婷婷久久| 丁香花成人区| 91小黄书网址在线观看| 久久激情网| 天天干天天操天天射| 亚洲精品色色色| 丁香五月综合| 182TV亚洲| 五月综合色播播丁香婷婷 | 色狠狠综合| 1024欧美日韩精品久久久| 五月的婷婷六月丁香| 婷婷五月天精品| www.99精品视频| 丁香六月婷婷姐网| 免费无码毛片一区二区A片|