欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

昇騰大模型訓(xùn)練調(diào)試調(diào)優(yōu):從環(huán)境配置到性能優(yōu)化實(shí)戰(zhàn)

昇騰大模型訓(xùn)練調(diào)試調(diào)優(yōu):從環(huán)境配置到性能優(yōu)化實(shí)戰(zhàn) 很多做AI訓(xùn)練的朋友第一次拿到昇騰機(jī)器時(shí)第一反應(yīng)是“這不就是個(gè)NPU嘛代碼改改就能跑?!钡日嬲鲜植虐l(fā)現(xiàn)從PyTorch代碼遷移、數(shù)據(jù)管線適配到集群通信調(diào)優(yōu)、訓(xùn)練穩(wěn)定性排查整套流程盤(pán)下來(lái)需要踩的坑比想象中多得多。這篇文章我就圍繞“昇騰大模型訓(xùn)練調(diào)試調(diào)優(yōu)”這條主線把模型訓(xùn)練全流程里的關(guān)鍵環(huán)節(jié)、實(shí)操方法和排查經(jīng)驗(yàn)一次性說(shuō)透希望能幫準(zhǔn)備上手昇騰的朋友少走幾個(gè)彎路。本文既不是官方文檔的復(fù)制也不是純理論分析而是基于真實(shí)的工程實(shí)踐經(jīng)驗(yàn)。內(nèi)容適合這幾類讀者一是剛拿到昇騰算力、想把手頭模型跑起來(lái)的算法工程師二是已經(jīng)在跑訓(xùn)練但經(jīng)常遇到“卡住、掉卡、Loss不降”等問(wèn)題的同學(xué)三是準(zhǔn)備做集群規(guī)模訓(xùn)練、正在做技術(shù)選型的架構(gòu)師。我會(huì)按實(shí)際操作的先后順序展開(kāi)從環(huán)境準(zhǔn)備、數(shù)據(jù)加載、模型遷移到訓(xùn)練啟動(dòng)、性能調(diào)優(yōu)和故障排查每一段都會(huì)給出可直接落地的建議。1. 環(huán)境準(zhǔn)備與框架選型第一步就決定后續(xù)效率很多人以為昇騰訓(xùn)練就是裝上驅(qū)動(dòng)就能跑其實(shí)最關(guān)鍵的在于CANN版本、PyTorch版本、torch_npu版本三者之間的對(duì)齊關(guān)系。這三者就像齒輪組版本不匹配時(shí)輕則報(bào)一堆詭異的算子錯(cuò)誤重則設(shè)備直接掉線。1.1 版本匹配是頭號(hào)大事昇騰的訓(xùn)練軟件棧底層是CANNCompute Architecture for Neural Networks往上依次是PyTorch框架、torch_npu插件再往上才是用戶的訓(xùn)練代碼。CANN版本決定了NPU驅(qū)動(dòng)和運(yùn)行時(shí)環(huán)境而torch_npu則負(fù)責(zé)把PyTorch的算子調(diào)用翻譯成CANN能理解的指令。這個(gè)鏈路里的任何一環(huán)版本不對(duì)齊都會(huì)讓訓(xùn)練進(jìn)程崩潰。我實(shí)測(cè)下來(lái)比較穩(wěn)妥的選型思路是先確定CANN版本再反推torch_npu和PyTorch的對(duì)應(yīng)關(guān)系。比如CANN 7.0.RC1通常搭配torch_npu 2.1.0.post6和PyTorch 2.1.0而更新一些的CANN 8.0.RC1版本則支持PyTorch 2.3.1或更新版本。具體組合建議直接看官方發(fā)布的版本配套表不要自己隨意組合。注意昇騰生態(tài)里很多坑都源于“默認(rèn)安裝最新版”這個(gè)習(xí)慣。不要圖新鮮裝最新CANN優(yōu)先選已經(jīng)在生產(chǎn)環(huán)境被驗(yàn)證過(guò)的穩(wěn)定組合。1.2 兩種開(kāi)發(fā)模式的取舍現(xiàn)在昇騰上跑大模型訓(xùn)練主流有兩條路線一條是基于torch_npu做PyTorch代碼最小改造保留原有代碼結(jié)構(gòu)本質(zhì)上是把昇騰當(dāng)成一個(gè)“加速卡”來(lái)用另一條是用MindSpore MindFormers全家桶從框架層適配昇騰能更充分地發(fā)揮硬件特性。這兩條路線怎么選取決于你手頭的代碼現(xiàn)狀。如果你有成熟的PyTorch代碼庫(kù)團(tuán)隊(duì)也熟悉PyTorch生態(tài)那走torch_npu路線成本最低。改造量通常相對(duì)可控但遇到不支持的算子時(shí)還是得手動(dòng)適配如果是從零開(kāi)始訓(xùn)新模型或者團(tuán)隊(duì)本來(lái)就打算深度定制訓(xùn)練邏輯那用MindFormers自帶的并行策略、混合精度控制、斷點(diǎn)續(xù)訓(xùn)功能會(huì)更順手底層優(yōu)化也更省心。我自己做模型訓(xùn)練時(shí)前期用torch_npu快速驗(yàn)證思路中期穩(wěn)定后部分場(chǎng)景切到MindFormers做長(zhǎng)穩(wěn)訓(xùn)練這樣兩頭的好處都能占到。2. 數(shù)據(jù)準(zhǔn)備與加載優(yōu)化訓(xùn)練瓶頸往往不在計(jì)算大模型訓(xùn)練的瓶頸經(jīng)常被人忽略很多人都盯著計(jì)算卡上的算子耗時(shí)卻忘了數(shù)據(jù)加載可能正拖著整個(gè)訓(xùn)練后退。昇騰訓(xùn)練場(chǎng)景下數(shù)據(jù)管線的表現(xiàn)和GPU生態(tài)有明顯差異如果沿用GPU上的數(shù)據(jù)加載寫(xiě)法很容易出現(xiàn)NPU在等數(shù)據(jù)的情況。2.1 數(shù)據(jù)管線的常見(jiàn)“隱形殺手”最常遇到的問(wèn)題有三個(gè)。一是用普通的文件讀取配合Pillow等庫(kù)做在線解碼CPU端解碼速度跟不上NPU的消費(fèi)速度二是DataLoader的num_workers設(shè)置不合理過(guò)多或過(guò)少都會(huì)影響吞吐三是缺少預(yù)取機(jī)制每一步訓(xùn)練都要等數(shù)據(jù)從磁盤(pán)換上來(lái)。解決思路是把數(shù)據(jù)預(yù)處理盡量“離線化”也就是把清洗、解碼、Token化等操作在訓(xùn)練前批量完成訓(xùn)練時(shí)直接讀取已經(jīng)處理好的數(shù)據(jù)。對(duì)NLP模型來(lái)說(shuō)可以預(yù)先將文本轉(zhuǎn)成Token ID并緩存為二進(jìn)制格式對(duì)CV模型來(lái)說(shuō)可以提前做Resize、歸一化等操作。這樣訓(xùn)練時(shí)只需做最簡(jiǎn)單的讀取和搬移CPU壓力會(huì)大幅下降。2.2 MindRecord與昇騰數(shù)據(jù)加速方案如果用MindSpore框架推薦用MindRecord格式來(lái)存儲(chǔ)訓(xùn)練數(shù)據(jù)。這種格式的讀取效率比通用文件格式高不少原因在于它按樣本做了索引、支持隨機(jī)讀取和分布式分片避免了大量小文件隨機(jī)讀帶來(lái)的IO開(kāi)銷。在torch_npu場(chǎng)景下雖然還用PyTorch的DataLoader但建議關(guān)注自定義Dataset的耗時(shí)占空比。一個(gè)很實(shí)用的排查方法訓(xùn)練啟動(dòng)后在日志里打印每個(gè)Step的時(shí)間如果Step耗時(shí)出現(xiàn)明顯波動(dòng)先檢查Host側(cè)數(shù)據(jù)加載耗時(shí)是否過(guò)高。我遇到過(guò)一次訓(xùn)練速度突然下降的問(wèn)題排查到最后發(fā)現(xiàn)是數(shù)據(jù)加載時(shí)做了一次多余的復(fù)制操作。處理方法是直接把數(shù)據(jù)加載的Tensor改為非阻塞拷貝并保證數(shù)據(jù)在Host上預(yù)處理完再拷到NPU減少重復(fù)內(nèi)存搬運(yùn)。這里想強(qiáng)調(diào)的是數(shù)據(jù)管線是否優(yōu)化到位直接影響大規(guī)模訓(xùn)練的整體吞吐不能只盯著算子在算。3. 模型遷移適配從GPU到昇騰的完整轉(zhuǎn)換模型遷移是昇騰大模型訓(xùn)練最核心的一步也是問(wèn)題最密集的一環(huán)。PyTorch模型遷移到昇騰核心目標(biāo)是用最小改動(dòng)讓模型能在NPU上正常跑通訓(xùn)練并保持?jǐn)?shù)值精度與收斂效果。3.1 最小改造基于torch_npu的適配路徑如果你的代碼是標(biāo)準(zhǔn)的PyTorch實(shí)現(xiàn)那么遷移的第一步通常是替換設(shè)備標(biāo)識(shí)。最簡(jiǎn)單的方法是定義全局device變量然后通過(guò)model.to(device)把模型和Tensor放到昇騰設(shè)備上。import torch import torch_npu # 在代碼初始化階段指定設(shè)備 device torch.device(npu:0) model model.to(device) data data.to(device) # 原有的訓(xùn)練邏輯基本不用改 output model(input_tensor) loss loss_fn(output, target) loss.backward() optimizer.step()這段代碼看起來(lái)很簡(jiǎn)單但實(shí)際項(xiàng)目中的問(wèn)題很少出在設(shè)備遷移本身更多出在算子兼容性上。PyTorch里某些算子尤其是一些高級(jí)索引、自定義Op在昇騰上可能沒(méi)有對(duì)應(yīng)的原生實(shí)現(xiàn)torch_npu會(huì)自動(dòng)走CPU回退或報(bào)錯(cuò)。遇到這種情況優(yōu)先做法是改寫(xiě)模型代碼用昇騰原生支持的算子組合替代不支持的算子。3.2 用MindSpore做重寫(xiě)遷移的時(shí)機(jī)如果你的模型有很多自定義結(jié)構(gòu)或者需要高性能并行策略直接遷移到MindSpore可能更劃算。MindSpore提供了模型遷移工具可以輔助轉(zhuǎn)換PyTorch模型結(jié)構(gòu)但仍需要手工校驗(yàn)算子的數(shù)值一致性。重寫(xiě)遷移的優(yōu)勢(shì)在于后續(xù)訓(xùn)練可以直接使用MindSpore的自動(dòng)并行、內(nèi)存復(fù)用、圖模式編譯等能力對(duì)大規(guī)模訓(xùn)練來(lái)說(shuō)性價(jià)比更高。舉個(gè)例子PyTorch的nn.Module在MindSpore里要對(duì)應(yīng)改寫(xiě)成nn.Cell前向計(jì)算寫(xiě)在construct方法里import mindspore import mindspore.nn as nn from mindspore import Tensor class MyModel(nn.Cell): def __init__(self): super().__init__() self.fc nn.Dense(768, 1024) self.act nn.GeLU() def construct(self, x): x self.fc(x) x self.act(x) return x這種改寫(xiě)雖然是“重復(fù)造輪子”但換來(lái)的是后續(xù)訓(xùn)練腳本的極大簡(jiǎn)化。MindSpore提供了一系列高階API比如TrainOneStepCell、Model.train可以直接接管混合精度、梯度累積、分布式并行等細(xì)節(jié)。3.3 算子適配時(shí)的三個(gè)重要檢查點(diǎn)算子適配是整個(gè)遷移過(guò)程中最磨人的階段但核心檢查點(diǎn)也不復(fù)雜一是檢查模型里有沒(méi)有類似index_put_、scatter這類高級(jí)索引算子這類算子很容易出問(wèn)題。建議改成masked_fill或循環(huán)加切片賦值等價(jià)的邏輯拿到昇騰上跑得更順二是檢查L(zhǎng)oss計(jì)算中是否混用了FP32和FP16計(jì)算這會(huì)導(dǎo)致梯度數(shù)值異常。建議把Loss計(jì)算整體統(tǒng)一到FP32只在模型前向部分啟用混合精度三是檢查是否用到了自定義autograd.Function這類代碼往往基于CUDA實(shí)現(xiàn)昇騰無(wú)法直接運(yùn)行需要改寫(xiě)為昇騰兼容的算子或在CPU上做回退。我踩過(guò)一次最深的坑是模型里用了某個(gè)第三方庫(kù)做位置編碼內(nèi)部實(shí)現(xiàn)了一個(gè)自定義CUDA算子。遷移到昇騰后代碼沒(méi)有報(bào)錯(cuò)但Loss始終不下降。后來(lái)用Profiling工具定位才發(fā)現(xiàn)這個(gè)自定義算子被靜默回退到了CPU執(zhí)行數(shù)據(jù)往返拷貝導(dǎo)致梯度計(jì)算完全錯(cuò)亂。實(shí)操建議遷移完成后先跑一次固定隨機(jī)種子的短Step訓(xùn)練對(duì)比GPU和NPU上的Loss曲線。Loss曲線趨勢(shì)一致且差距在可接受范圍才說(shuō)明遷移正確。這一步別省。4. 訓(xùn)練腳本編寫(xiě)與全流程調(diào)試從單機(jī)到集群模型遷移完成只是開(kāi)始真正把訓(xùn)練腳本寫(xiě)好并調(diào)通才是全流程調(diào)試的重頭戲。整個(gè)訓(xùn)練腳本里分布式初始化、混合精度控制、梯度累積、Loss縮放這幾個(gè)環(huán)節(jié)每一個(gè)都值得認(rèn)真對(duì)待。4.1 分布式訓(xùn)練的初始化細(xì)節(jié)昇騰上做分布式訓(xùn)練通信依賴HCCLHuawei Collective Communication Library。與NCCL類似HCCL也需要初始化一個(gè)全局通信域。如果是通過(guò)torch_npu路徑走PyTorch分布式初始化代碼基本是import torch.distributed as dist import torch_npu dist.init_process_group(backendhccl, init_methodenv://)單機(jī)多卡或集群場(chǎng)景下通過(guò)環(huán)境變量傳入MASTER_ADDR、MASTER_PORT、WORLD_SIZE和RANK。有一點(diǎn)特別容易踩坑WORLD_SIZE必須和實(shí)際參與訓(xùn)練的NPU數(shù)量一致否則HCCL初始化會(huì)一直卡在等待對(duì)端上。有一次我在多機(jī)場(chǎng)景下忘了同步各節(jié)點(diǎn)的RANK編號(hào)導(dǎo)致HCCL建鏈直接失敗排查了很久才發(fā)現(xiàn)是rank分配錯(cuò)誤。集群環(huán)境下依賴rank_table文件來(lái)管理設(shè)備信息也可以通過(guò)環(huán)境變量ASCEND_RT_VISIBLE_DEVICES來(lái)指定每臺(tái)機(jī)器上參與訓(xùn)練的NPU編號(hào)。建議訓(xùn)練腳本里加一段啟動(dòng)自檢邏輯先遍歷所有npu:0到npu:7用簡(jiǎn)單的AllReduce測(cè)試通信建鏈再做正式訓(xùn)練。4.2 混合精度、梯度累積與Loss縮放大模型訓(xùn)練幾乎都會(huì)開(kāi)啟混合精度將FP32計(jì)算替換為FP16/BF16以提升計(jì)算速度和顯存利用率。昇騰對(duì)FP16和BF16的支持都很成熟但用戶需要自行管理Loss Scaling防止梯度下溢。在torch_npu路徑下可以使用torch.cuda.amp的替代實(shí)現(xiàn)昇騰提供了對(duì)應(yīng)的混合精度接口。一個(gè)可行的實(shí)現(xiàn)是from torch_npu.amp import GradScaler, autocast scaler GradScaler() with autocast(): output model(input_tensor) loss loss_fn(output, target) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()梯度累積則是把小Batch的梯度累加起來(lái)再更新參數(shù)效果上近似大Batch能在不增加顯存的情況下提升訓(xùn)練穩(wěn)定性。實(shí)現(xiàn)時(shí)要特別注意累積梯度前要用optimizer.zero_grad()清零累積過(guò)程中不要執(zhí)行optimizer.step()直到累積Step數(shù)達(dá)到設(shè)定值再更新并重新清零。結(jié)合混合精度時(shí)梯度縮放涉及動(dòng)態(tài)范圍變化容易踩坑。我的習(xí)慣是啟動(dòng)時(shí)設(shè)置固定Scale值并開(kāi)啟動(dòng)態(tài)調(diào)整前幾個(gè)Step觀察溢出情況穩(wěn)定后再切換到動(dòng)態(tài)模式。4.3 斷點(diǎn)續(xù)訓(xùn)與訓(xùn)練穩(wěn)定性大模型訓(xùn)練動(dòng)輒幾天甚至幾周斷點(diǎn)續(xù)訓(xùn)不是“加分項(xiàng)”而是“必選項(xiàng)”。昇騰場(chǎng)景下斷點(diǎn)保存的核心是保存三樣?xùn)|西模型權(quán)重、優(yōu)化器狀態(tài)、隨機(jī)數(shù)生成器狀態(tài)。如果漏掉隨機(jī)數(shù)狀態(tài)恢復(fù)訓(xùn)練后數(shù)據(jù)順序會(huì)變化雖然不一定讓訓(xùn)練失敗但會(huì)造成結(jié)果不可復(fù)現(xiàn)。保存優(yōu)化器狀態(tài)時(shí)要注意優(yōu)化器里可能包含指數(shù)移動(dòng)平均、動(dòng)態(tài)學(xué)習(xí)率等輔助狀態(tài)這些都要一并保存?;謴?fù)訓(xùn)練時(shí)還需要重新初始化HCCL通信域某些情況下如果斷點(diǎn)保存了通信域的拓?fù)湫畔⒒謴?fù)時(shí)也要一并恢復(fù)。實(shí)測(cè)下來(lái)最可靠的斷點(diǎn)保存方式是每N個(gè)Step保存一次到本地磁盤(pán)同時(shí)定期同步到共享存儲(chǔ)避免單點(diǎn)故障導(dǎo)致整個(gè)訓(xùn)練白跑。另外恢復(fù)訓(xùn)練后建議先跑幾個(gè)Step驗(yàn)證Loss正常再全速跑別一恢復(fù)就直接進(jìn)入長(zhǎng)穩(wěn)階段。5. 性能調(diào)優(yōu)實(shí)戰(zhàn)從“能跑通”到“跑得快”模型能正常跑起來(lái)、Loss也在正常下降這是第一階段的勝利。但一旦進(jìn)入大規(guī)模訓(xùn)練階段“跑得快”就比“跑得通”更重要。昇騰性能調(diào)優(yōu)的核心思路是先定位瓶頸在計(jì)算還是通信再針對(duì)性地做優(yōu)化不盲目調(diào)參數(shù)。5.1 用Profiling工具定位瓶頸昇騰提供了Profiling工具可以采集訓(xùn)練過(guò)程中的算子耗時(shí)、通信耗時(shí)、Host側(cè)耗時(shí)等信息。具體有兩種路徑一種是MindSpore Profiler適合MindSpore框架另一種是msprof工具適合整體系統(tǒng)層面的性能分析。拿到Profiling報(bào)告后我一般按照以下順序去看先看Step 耗時(shí)如果Step之間波動(dòng)較大優(yōu)先排查數(shù)據(jù)加載和Host側(cè)邏輯再看通信耗時(shí)占比如果通信占比超過(guò)30%說(shuō)明同步開(kāi)銷太大需要調(diào)整并行策略或使用通信壓縮最后看算子耗時(shí)分布找出耗時(shí)Top 10的算子逐一判斷能否被融合或替換。有一次我優(yōu)化一個(gè)千億參數(shù)模型的訓(xùn)練發(fā)現(xiàn)AllReduce占了整個(gè)Step耗時(shí)的40%多。后來(lái)把純數(shù)據(jù)并行改成張量并行加流水線并行混合模式情況才明顯好轉(zhuǎn)。通信和計(jì)算的重疊也很重要HCCL允許通信和計(jì)算并行執(zhí)行但要通過(guò)合適的Stream配置實(shí)現(xiàn)。簡(jiǎn)單來(lái)說(shuō)就是要確保數(shù)據(jù)搬運(yùn)計(jì)算和通信的過(guò)程盡量重疊不要讓NPU在等通信也不要在通信時(shí)讓NPU閑著。5.2 通信優(yōu)化減少數(shù)據(jù)搬運(yùn)次數(shù)通信優(yōu)化的核心原則是“減少數(shù)據(jù)搬運(yùn)次數(shù)、提高單次搬運(yùn)效率”。具體手段包括梯度壓縮對(duì)大梯度做量化或稀疏化處理后再通信減少通信數(shù)據(jù)量梯度分組AllReduce將梯度按層分組小梯度先通信、大梯度后通信錯(cuò)開(kāi)通信峰值更合理的并行策略將數(shù)據(jù)并行與模型并行結(jié)合純數(shù)據(jù)并行下每Step都要同步全量梯度通信量最大。在昇騰平臺(tái)上HCCL的效率與拓?fù)浣Y(jié)構(gòu)密切相關(guān)。單機(jī)8卡的Ring AllReduce性能通常好于跨機(jī)通信所以設(shè)計(jì)模型并行時(shí)盡量把通信量大的Tensor放在同一臺(tái)機(jī)器上??鐧C(jī)通信時(shí)網(wǎng)卡和交換機(jī)的帶寬也要提前確認(rèn)避免因?yàn)榫W(wǎng)絡(luò)帶寬有限導(dǎo)致大規(guī)模加速比不理想。5.3 顯存優(yōu)化與計(jì)算優(yōu)化顯存是另一個(gè)瓶頸尤其在大模型訓(xùn)練場(chǎng)景。昇騰上顯存優(yōu)化手段包括重計(jì)算Recompute把前向激活值只保存一部分反向需要時(shí)重新計(jì)算換取顯存節(jié)省混合精度把不需要高精度的Tensor切到FP16/BF16存儲(chǔ)顯存碎片整理調(diào)整分配策略減少碎片化提高顯存利用率流水線并行把模型切分成多個(gè)Stage放在不同設(shè)備上每臺(tái)設(shè)備只保存一部分參數(shù)和激活值。計(jì)算優(yōu)化層面算子融合是最直接的方式。昇騰提供了一個(gè)算子融合能力可以把多個(gè)連續(xù)的小算子融合成一個(gè)大的融合算子顯著減少內(nèi)核調(diào)度開(kāi)銷。常見(jiàn)做法是把LayerNorm、Residual Add、Activation融合成一個(gè)算子或者把QKV運(yùn)算合并成一個(gè)大的矩陣乘減少內(nèi)核啟動(dòng)次數(shù)。同時(shí)矩陣乘的Shape對(duì)性能影響也很大建議把張量的形狀盡量對(duì)齊到昇騰的矩陣計(jì)算單元偏好。6. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄大模型訓(xùn)練調(diào)試是一場(chǎng)持久戰(zhàn)我把自己實(shí)際操作中遇到頻率最高的四類問(wèn)題整理成速查表方便你直接對(duì)照排查。問(wèn)題現(xiàn)象可能原因排查思路訓(xùn)練剛開(kāi)始就報(bào)算子不存在模型里有昇騰不支持的算子查看報(bào)錯(cuò)信息中的算子名稱改寫(xiě)或替換Loss曲線異常不收斂、NaN混合精度Loss Scaling設(shè)置不當(dāng)學(xué)習(xí)率過(guò)大梯度計(jì)算錯(cuò)亂先關(guān)閉混合精度試跑幾個(gè)Step再逐步打開(kāi)檢查L(zhǎng)oss計(jì)算是否統(tǒng)一在FP32訓(xùn)練到某一步突然卡住HCCL通信超時(shí)數(shù)據(jù)加載線程死鎖顯存溢出查看日志中的通信超時(shí)信息用Profiling看卡的Step位置多卡訓(xùn)練加速比很低通信占比過(guò)高負(fù)載不均數(shù)據(jù)加載成了瓶頸用Profiling確認(rèn)通信和計(jì)算耗時(shí)優(yōu)化并行策略6.1 訓(xùn)練卡住的定位方法訓(xùn)練“卡住”是全流程調(diào)試?yán)镒钭屓祟^疼的問(wèn)題。表面上看進(jìn)程沒(méi)有退出但Step數(shù)不再往前走。遇到這種情況我一般按這個(gè)順序排查先看NPU的利用率如果利用率很低而CPU很高大概率是數(shù)據(jù)加載卡住了檢查DataLoader和文件系統(tǒng)IO如果CPU和NPU利用率都很低大概率是卡在通信環(huán)節(jié)看看是不是有的卡掉線或通信組網(wǎng)異常如果只有某一張卡利用率異常檢查是不是模型并行不均某個(gè)Stage的計(jì)算量特別大拖慢了整體。這里要特別提一下HCCL建鏈問(wèn)題。多機(jī)訓(xùn)練時(shí)不同節(jié)點(diǎn)的設(shè)備互相通信需要走網(wǎng)卡而HCCL默認(rèn)會(huì)使用某個(gè)網(wǎng)卡進(jìn)行建鏈。如果這個(gè)網(wǎng)卡不通通信就會(huì)一直卡住。排查方法是在訓(xùn)練啟動(dòng)前用簡(jiǎn)單的hccl_tools.py測(cè)試腳本驗(yàn)證節(jié)點(diǎn)間的通信連通性確認(rèn)沒(méi)問(wèn)題再啟動(dòng)正式訓(xùn)練。6.2 梯度異常的定位方法梯度異常通常表現(xiàn)為兩種情況梯度爆炸導(dǎo)致Loss變成NaN或者梯度消失導(dǎo)致Loss長(zhǎng)時(shí)間不下降。排查的第一步是逐層打印梯度數(shù)值找到異常梯度的位置。實(shí)操上可以在模型注冊(cè)一些Hook來(lái)打印各層梯度的范數(shù)值for name, param in model.named_parameters(): if param.grad is not None: grad_norm param.grad.norm().item() if grad_norm 1e4: print(fLarge grad: {name}, norm {grad_norm})這個(gè)方法雖然簡(jiǎn)陋但能迅速縮小問(wèn)題范圍。如果是某些層梯度持續(xù)異常優(yōu)先檢查這些層有沒(méi)有被混合精度影響如果是全層梯度異常則優(yōu)先檢查L(zhǎng)oss計(jì)算和梯度累積邏輯。還有一個(gè)容易被忽略的問(wèn)題權(quán)重初始化。如果某些層的初始化方差過(guò)大一開(kāi)始梯度就容易爆炸尤其是在深層Transformer結(jié)構(gòu)里。所以遇到訓(xùn)練初期就出NaN的情況除了檢查混合精度也要確認(rèn)初始化方式是否合理。6.3 日志分析與定位調(diào)試昇騰訓(xùn)練日志分析能力是基本功。建議訓(xùn)練腳本統(tǒng)一用logging模塊輸出帶時(shí)間戳的日志打印每個(gè)Step的耗時(shí)和Loss。如果出現(xiàn)Step耗時(shí)突然上升需要結(jié)合日志時(shí)間線回溯當(dāng)時(shí)的數(shù)據(jù)加載和通信狀態(tài)。另外昇騰的運(yùn)行時(shí)日志默認(rèn)帶級(jí)別可以通過(guò)環(huán)境變量調(diào)整日志級(jí)別比如把部分調(diào)試信息打開(kāi)便于觀察算子執(zhí)行順序和耗時(shí)。日志量會(huì)顯著增加建議只在定位問(wèn)題時(shí)臨時(shí)打開(kāi)平時(shí)保持默認(rèn)級(jí)別。7. 大模型訓(xùn)練全流程的經(jīng)驗(yàn)沉淀整套昇騰大模型訓(xùn)練調(diào)試調(diào)優(yōu)走下來(lái)我的體感是昇騰已經(jīng)是一套成熟度頗高的訓(xùn)練平臺(tái)不再是需要“硬啃文檔”的試驗(yàn)品但它和GPU生態(tài)的差異是客觀存在的關(guān)鍵要掌握它的規(guī)律。給我留下最深的幾個(gè)經(jīng)驗(yàn)第一版本對(duì)齊是“地基工程”不要在環(huán)境配置上求快一步錯(cuò)后面全是連鎖反應(yīng)。拿到新機(jī)器后第一件事就是確認(rèn)CANN、框架和插件的版本配套關(guān)系并保留環(huán)境配置文件方便后續(xù)復(fù)現(xiàn)。第二算子遷移是最需要耐心的環(huán)節(jié)建議把模型里所有自定義算子、第三方CUDA算子統(tǒng)一梳理出來(lái)逐個(gè)驗(yàn)證昇騰兼容性。把這個(gè)工作前置到訓(xùn)練啟動(dòng)前能省下大量試錯(cuò)時(shí)間。第三性能調(diào)優(yōu)要有數(shù)據(jù)支撐別憑感覺(jué)調(diào)參。Profiling工具一定要學(xué)會(huì)用讓數(shù)據(jù)告訴你瓶頸在哪。很多時(shí)候我們以為的計(jì)算瓶頸實(shí)際是通信或數(shù)據(jù)加載瓶頸。第四訓(xùn)練穩(wěn)定性比訓(xùn)練速度更重要。大模型訓(xùn)練動(dòng)輒數(shù)天一次掉卡造成的損失遠(yuǎn)大于優(yōu)化帶來(lái)的收益。把斷點(diǎn)續(xù)訓(xùn)、日志監(jiān)控、健康檢查這些“保命”功能做好優(yōu)先級(jí)高于一切花哨的優(yōu)化技巧。最后再分享一個(gè)我個(gè)人的習(xí)慣每輪全流程調(diào)試后把遇到的問(wèn)題、根因、解決方案整理成一份內(nèi)部文檔形成團(tuán)隊(duì)自己的“避坑手冊(cè)”。昇騰生態(tài)迭代很快這些一手經(jīng)驗(yàn)往往比官方文檔更貼近實(shí)戰(zhàn)也能幫助下一次訓(xùn)練啟動(dòng)時(shí)少走彎路。這套“調(diào)試—沉淀—復(fù)用”的方法才是訓(xùn)練全流程經(jīng)驗(yàn)真正復(fù)利的地方。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
伊九九三级区| 色色五月丁香婷婷| 99色这里| 激情久久网 | 婷婷伊人综合中文字幕| 潘金莲AAAAAAAAAA| 五月婷婷综合激情| 色综合久久88色综合天天99| 激情六月色| 激情99热| 五月天第四色开心色播| 91色色色| 99爱视频| 五月丁香花免费视频| 欧美日韩国产一区| 91jiuseshunv| 在线色婷婷| 伊人婷婷五月天| 都市激情小说婷婷| 激情综合五月色丁香婷婷| 午夜九九九九九九九九九九九九九| 色综合久久久久| 天天日天天草| 天天天操天天天日| 欧美亚洲操逼| 久久机只有这里精品| 久久久久久久五月婷婷六月丁香综合,开心激情综合网 | 丁香五月婷中字幕| 激情五月婷婷色| 欧美 日韩 成人 在线| 99热在线观看| 久久久全国免费视频| 狠狠综合久久| 色区久久| 人妻久久久久久久 | 天天免费成年人视频| 色色射| 欧洲不卡视频| 成人五月天丁香| 丁香五月天影院| 九九在线视频| 秋霞AV吧| av操B网站| 天天揷综合网| 99热午夜精品| 任你干嘛免费视频播放| 亚洲色图81p| 九九热内射| 丰满老熟妇BBBBB搡BBB| 伊人激情综合| 婷婷五月天中文字幕| 久久综合最新网址| 成人网在线视频| 2005天天干天天1| 超碰av在| 天啪色| 久久性爱激情| 成人一级片| 99.N在线视频| 五月丁香婷婷色| 天天操夜夜爽天天操| 色色色国产| 99五月婷| 色五月婷婷 成人| 99热只有精品在线播放| 五月激情综合深爱| 91久久精品无码一区二区三区| 久热这里只有精品6| 激情AV网| 黄页免费一级视频懂色| 久久综合综合久久| 东北婷婷五月天| WwW天天干| 79色色免费| 丁香网五月网| 99日本黄站| 九九久久99精品免费观看www| 任你爽精品免费视频6| 亚洲综合网 665566| 99热精品在线播放| 婷五月天影院| 五月婷婷久久综合| 一级二级香港秋霞欧美欧美秋霞| 五月天婷婷AV| A片天天| 激情综合网站| 欧美五月丁香在线| 丁香五月播播| 国产一区二区三区影院| 人人妻人人澡人人爽| 久热AA| 丁香婷婷色五月| 色青青五月| 亚洲精品国产精品乱码不99| 99精品久久| 亚洲国产精品SUV| 婷色影院| 国产激情综合五月| 成人网址在线观看| 99人妻碰碰久久久禁片| 五月婷婷激情综合| 丁香午夜天| 婷婷情色五月天| 日本人妻A片成人免费看片| 婷婷激情五月呦呦| 狠狠操天天操| 日韩人妻无码专区| 五月丁香六月婷婷综合网缴情| 婷婷婷婷色| 国产67194| 五月丁香六月片| 97视频91| 天天爽天天爽| 99热 在线播放| 在线区区区| 六月婷婷综合| 色综合色综合色综合| 中文字幕成人| 99ri精品| 五月综合激情| 激情五月天视频| 久9视频| 99视频极品在线香蕉| 永久无码色| 婷婷五月天激情在线| 五月天婷婷色色| 1024成人免费看| 中文字幕 码精品视频网站| 人妻VideOssS人妻| 欧美日韩成卜| 日日操,日日爽| 9l视频自拍9l视频自拍九色学生| 99草视频在线观看| 五月天播播中文字幕| 久久婷婷五月| 蜜臀A∨在线水帘洞| 久久五月网| 久久无意婷婷| 青青草激情网| 婷婷激情综合色五月久久图片| 婷婷五月天色网久| 欧美性爱丁香五月| 五月婷婷激情久久| 精品综合爱| 五月婷婷六月奇米网丁香| 国产综合视频婷婷| AV九九| 五月丁香色综合| 天天插,天天射| 婷婷操无码| site:esunnet.com| 丰满少妇猛烈A片免费看观看| 亚洲国产精品成人免费一区久久久在线观看AAAA | 亚洲亚洲人成综合网络| 久久婷婷亚洲五月天| 午夜大香蕉| 五月总合激情网| A片一曲| 婷婷五月丁香香蕉| 久久人人看| www.婷婷五月天| 人人摸人人| 婷婷五月中文字幕| 亚洲综合激情五月久久| www.人人操人人看人人想人人摸 人人人人操,COM | 久久久久久久久久久44| 97精品综合久久| 婷婷九月综合| 久久婷婷亚洲| 热久视频| 五月丁香日本一抹本| 97碰碰在线看视频免费| 成人在线不卡| 青青青在线视频国产| 五月色综合网欧美网| 十月色综合| 热99精品视频| 色色综合热| 天天爽,夜夜爽| 国产精品24r| 天天爽夜夜爽天天爽夜夜爽| 亭亭玉月丁香| 五月激情影视| 日日肏夜夜干| 日良久久| 一本大道熟女人妻中文字幕在线| 激情综合亚洲色婷婷五月| 婷婷五月激情欧美大胆视频| 可以看的av网站| 中文字幕人妻AV| 99热这里全都是精品| 免费成片在线观看| 五月色婷婷综合| 五月亭亭激情综合| 久久玖玖综合| 97五月天| 五月丁香五月综合欧美| 欧美欧盟性爱网| 欧美大片免费播放器| 五月天婷婷黄色| 久久网址99热| 无码成人AAAAA毛片AI换脸| 五月丁香色五月| 婷婷综合久久综合| 五月婷婷之综合激情| 六月色日韩| 男人先锋久久| 久久婷婷影院| 精品五月天| 欧美久久婷婷| 91久久九九| 婷婷五月激情图片| 俺去啦综合网| 91精品丝袜久久久久久| www.lingjunshare.com| 久久九九爽| 97很鲁在线视频| 2017人人操| 秋霞黄色一级久久| 91狠狠色丁香| 超碰97在线观看免费| 婷婷久月| 五月丁花色综合网| 日本精品在线噜噜噜| 欧美成人AAA片一区国产精品| 久久ab| 激情深爱婷婷网| 4438全国最大视频成人网站在线观看 | 色欲一区二区三区精品A片| 九九热这里只有精品在线观看| 国产精品操| 超碰只有精品在线| www.久久| 五月天婷婷无码| www色综合| 丁香五月激情婷婷视频| 久久久99视频| 婷婷丁香五月91| 亚洲激情四射色| 深爱五月激情| 五月婷婷影院| 97人人操| 婷婷娌伦网| 激情五月婷婷啪啪| 天天干,噜噜色,狠狠色| 日本一道久久| 涩五月婷婷| 激情婷婷另类| 色婷婷AV五月天| 亚洲九九夜夜| 久久久久久欧美精品se一二三四| 婷婷久久精品| 六月婷婷九月丁香| 婷婷趴趴| 天堂久久大香蕉| AV片在线观看| 1024你懂的欧美曰韩| 96精品成人无码A片观看金桔| 精品99在线| 激情综合网五月婷婷| 久久婷婷欧美| 婷婷五月深深爱| 妻久久久久| 第2色五月婷| 在线成人网址| www色色色com| 播五月婷婷开心| 性欧美日本| 丁香九月激情久久| 激情六月婷婷| 91人人操人人| 韩国情人在线电视剧免费观看高清版全集| 丁香六月婷婷综合激情欧美 | 天天干天天日天天插| 亚洲午夜av| 成人电影在线免费试看| 女性自慰系列第五页| 97人人干| 婷婷五月天色综合翘| 日本的α片xxxwww| 夜夜夜夜操| 丁香成人综合| 激情五月天小说| 天天舔天天操| 天天做天天爱天天玩| aaa久久| 婷婷五月精品中文字幕| 色婷婷9| 久久大香蕉伊人| 亚洲天堂九九九| 青青草五月天| 婷婷久久大香蕉| 婷婷精品视频| 六月久久狠狠| 91狠狠综合网| 五月综合激情网| 被强行糟蹋的女人A片| 538在线精品| 一本色综合色| 九色七七| 日日干日日s| 五月婷婷二月丁香| 五月天激情四射| 99精品在线| 八戒青柠影视剧在线观看| 综合aV在线| 综合久久综合综合| 99免费成人网| 亚洲激情久久| 开心激情婷婷| 69久久99精品久久久久| 日本五月丁香| 婷婷丁香五月综合| 香蕉久日夜| 嫩草视频观看| 高清无码一区二区三区四区| 99热爱爱干干日| 99色婷婷| 日本视频欧美观看免费| 爱爱色五月天| 99热超碰| 91性人人| 嫩草AV久久伊人妇女超级A| 9久热在线视频| 色情五月综合婷婷| 天天干 夜夜爽| 亚洲熟女色| 久操欧美在线观看97| 婷丁香五月天| 五月丁香狠狠| 成人精品一区日本无码网 | 五月丁香六月在线| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 色久九| 激情综合亚洲色婷婷五月| 嫩草视频在线观看| 成人在线日韩欧美| 操射国产日本| 天天艹夜夜艹| 超碰在线视屏| 2050人人操免费工开爱| 狠狠五月激情在线| 午夜丁香| 久99热在线观看| 狠色狠色狠色狠色狠色网| 五月婷婷婷丁香播| 五月婷婷色啪| 99久久极情精品一区| 九九热在线视频| 99免费热视频在线| 五月婷婷导航| 丁香婷婷婷五月综合色情| 婷婷深爱五月亚洲综合| 国产精品色情AAAAA片软件| 啪啪婷婷五月天激情| 婷婷五月天资源| 啪啪一区| 91色操| 超级碰碰碰久久网站| 五月丁香婷婷综合在线| 色色亚洲| 色五月成人婷婷| 97热精品| 婷婷无码视频| 激情综合亚洲| 婷婷色亚洲| 综合色激情| 国产97在线日韩亚洲女人被黑人巨大| 色亚洲婷婷| 日日干夜夜干| 日本va网站| 成人做爰A片免费看视频| 天天射综合网站| 五月天婷婷綜合院| 日本美女上人| 99爱这里只有精品免费视频| 26UUU一区二区| 日本天堂爱爱| 国産精品| 亚洲综合婷婷| 九九视频热| 熟妇人妻中文字幕无码老熟妇| 人妻性操逼中文字幕 国产| 97操视频| 五月丁香成人| 激情婷婷五月综合| 久久婷婷内射| 99久久精彩视频。| 欧美私人家庭影院| 自拍盗摄 另类| 人妻操日日| 51国精产品自偷自偷综合| 热99AV网站| 久久婷综| www99在线观看视频| 天堂久久精品| 丁香六月综合激情| 丁香五月婷婷乱| 亚洲成人日韩无码精品| 成人短视频在线免费观看| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 女人天堂AV| 婷婷四色五月| 天堂网色色| 91玖玖| 五月天激情黄色小说在线观看| 免费视频无码| 五月天婷婷视频| 激情文学第四色婷婷丁香五月| 青草五月天| 六月天六月婷| 五月婷婷偷拍| 日本少妇裸体做爰高潮片 | 婷婷色五天| 色域五月婷婷丁香| 日韩黄在免| 激情五月小说婷婷| 五月丁香成人| 97资源欧美日韩大香蕉超碰一区| 极品人妻VIDEOSSS人妻| 丁香六月色婷婷| 人妻九九九九| 伊人久久丁香狠狠婷婷综合香蕉 | av在线免费播放观看| 99九九视频| 九九家庭影院| 99热天堂| 深爱五月天 开心网| 五月色丁香婷婷综合| 婷婷五月电影| 色五月丁香六月欧美综合| 色V狠狠的干| 在线观看免费观看在线9久| 五月天激情小说欧美激情| 久久五月天激情美女| 精品9久| 色色五月丁香婷婷| 欧美成人色婷婷| 丁香五月天天哦| 96色婷婷| 激情深爱五月天| 六月丁香网| 99色热视频| 99在线资源| 99re8热精品免费视频| 大香蕉AV在线| 亚洲色图五月丁香| 丁香五月天婷婷激情| 亚洲精品五十一区| 国产一级片| 色五月自偷自拍婷婷婷婷| 熟妇无码乱子成人精品| 五月婷六月| 九九热在线视频| 五月精品免费XXX| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 五月丁香综合网| 婷婷色香六月综合激情| 激情五月深爱五月观看| 六月婷婷av| 亚洲操B视频| 亚洲精级| 九久九精品| 色色色色热热| 99热偷拍| 九九精品视频免费在线| AV九九| 人橾人| 亚洲婷婷综合视频| 丁香五月色色婷| 五月婷婷黄色网址| 99在线视频观看| 日韩丁香涩| 曰韩少妇内射免费播放| 99精品国产乱码久久久人妻| 亚洲国产精品SUV| 丁香六月啪| 天天干夜夜谢| 天堂成人A片永久免费网站| 丁香婷婷大香蕉| 99久久激情视频| 综合网色| 亚洲另类电影| 九九婷婷五月天| 成人无码精品1区2区3区免费看| 99成人| a在线观看| 久久婷婷六月综合| 中文字幕 中文字幕明步| 亚洲妇女熟BBW| 丁香五月花影院| 九九无码AV| 激情人妻蜜夜系列区| 性欧美大战久久久久久久83| 欧美,日韩成人在线| 青柠影视免费高清电视剧| 97久久人人人干| 99热爆在线| 国产精品男人AV不卡| 亚洲99热| 美女黄频aⅴ视频| 国产色网站| 来吧亚洲综合网| 久久色亭亭五月天| 97啪啪| 欧美S码亚洲码精品M码| 日美三级| 五月婷婷 欧美| 色大综合| 激情爱爱网站超大免费| 六月丁香五月婷婷| 亚洲视频在线网| 久re热视频| 色色综合色视频| 久久久区区一久久久久久| 思思re99视频在线观看| 久99久在线| 五月天色图| WWW.久久99| 91人人爽狠狠狠| 狠狠做五月婷婷| 成人色色视频| 99自拍视频在线观看| 国产毛片欧美毛片久久久| 免费看片操逼| 日本色婷婷五月天成人电影| 91成人性爱视频| 五月丁香六月婷婷久久| 色综合中文综合网| 五月激激网w'w'w| 欧美婷婷综合| 伊人在线视频| 久久作爱| 丁香五月婷婷激情蜜桃| 在线色色| 538任你爽视频不一样的| 成人精品一区二区三区四区五区 | 97超级操操| 五月婷婷六月丁香激情深爱| 99热这里只有在线| 99视频内射三四| 婷婷综合另类| 久久这里只有精品无码| 五月丁香激情啪啪| 中文字幕丰满乱孑伦无码专区| 色玖玖| 色婷婷成人| 色婷婷在线视频| 久久在线92| 丁香色情五月综合网站| 99ER热精品视频| 日韩999| 丁香五月六月婷婷殴美综合| 少妇高潮呻吟A片免费看软件| 五月久久婷婷天堂视频| 狠色狠色综合久久| www.婷婷| 6月丁香婷婷| 五月成人丁香av91| 国产精品噜噜在线视频| 九九色婷婷| 99伊人婷婷在线| 丁香五月亚洲婷婷| 成人做爰A片免费看视频| 色婷婷狠| 9热精品| 狠狠久久婷婷| 超碰1999| 人操人| 思思久热6| 国外亚洲成AV人片在线观看| 久久与婷婷| 99无码视频| 久婷五月| 五月婷婷啪啪| 丁香综合婷婷开心激情网| 亚洲五月婷| 欧美天堂久久| 玖玖爱伊人| 色哟哟www| 亚洲六月色婷婷| 99久久99久久| AV在线资源| 久久性刺激| 碰97久久| 91精品国产91久久久久青草| 久热免费| 另类五月婷婷| 风流少妇A片一区二区蜜桃 | 成人短视频在线观看| 婷婷色九月| 免费国产视频| 激情五月天在线视频| 大香蕉久久| 婷婷伊人綜合中文字幕小说| 97婷婷丁香五月天激情图片| 婷婷五月丁香亚洲| 99在线精品视频免费观看20| 狠狠干狠狠操狠狠爱| 干婷婷五月天| 91综合色噜噜| 99玖玖免费视频| 丁香五月综合| CHINESE熟女老女人HD视频| 久久五月天精品视频| 爱99干99| 丁香婷婷激情五月天无毒不卡蜜桃| 色噜久| 婷婷五月色情天| 五月天丁香啪啪综合| 爆乳熟妇一区二区三区四区| 婷婷五月天堂| 任你爽免费视频| 91精品久久久久久77777| 五月婷婷co.m| 九九大香视频| 69精品人人人人| 九九精品视频在线观看| 97香蕉久久超级碰碰高清版 | 99热这里只有精品在线观看| 26UUU欧美激情一区二区| 人妻无码视频网| 直接看的AV| 久热成人| av五月丁香| 9久精品| 在线五月色播| 大香av| 五月天婷婷影院| 99热这里只有精品国产精品| 色婷婷久久综合| 久热99中文字幕| 丁香五月婷婷亚洲综合精品| 99九九视屏| 日韩在线99| 国产精品成人AV在线观看春天| 婷婷五月天天爽| 99热这只有| 婷婷五月丁香欧洲| AAA级久久久精品| 五月丁香无码| 婷婷丁香综合| 色婷婷五月天天天天天| 天堂综合久久| 久操乱| 丁香五月天社区| 五月婷婷之婷婷| 久久6这里只有精品| 69色婷婷| 五月丁香在线| 日韩一级片| www,av好吊操| 这里只有在线精品| 99久久婷| 亚洲免费观看高清完整版AV线| 免费无码毛片一区二区A片| 天天综合五月| 99精在线| 青青草原福利在线| 99热精品一| 五月色婷婷在线观看| 啪啪六月婷婷| 综合99在线| 婷婷天堂伊人| 夜夜嗨一区二区三区直播内容| 婷婷色在线观看| 99在线免费视频| 99热在线免费| 五月婷婷六月少妇激情| www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | www.色色com| 色吧婷婷五月亚洲| 色婷婷基地 | 色99色| 色色日本| 丁香五月影院| 五月色综合| 九九碰九九爱97超| 六月丁香av| 97AV在线视频| 色欲天天综合网| 99精品一二三四视频| 免费在线观看欧美激情xx小视频| 九九婷婷网五月天| 五月天亚洲色| 五月丁香婷婷视频| www.91婷婷| 九九亚洲综合| 五月停亭六月,六月停亭的英语| 国产性爱一级| 五月婷婷99热| 色综合99| 色色欧美色色色| 久99999热视频在线观看免费| 三男玩一女三A片| 国产熟妇的荡欲午夜视频| 亚洲性爱AV在线| 丁香五月天AV在线 | 青青操绿aaa一区日v| 五月婷婷丁香五月亚洲色| 日本色婷婷久久99精品91| 日本va欧美va精品发布视频| 激情五月婷婷在线区| 五月婷婷欲色| 国产成人va在线| 99久久成人| 久久九九在线视频| 亚洲最大激情无码| 丁香婷婷色五月| 99热超碰在线| 69热91天堂| 人人操碰| 天天爽爽日日做做| 艾小青av| 久久视频婷婷| 亚洲成人免费在线| 成人在线免费网址| 色热久| 综合婷婷六月| 99九九精品视频| 亚洲乱码w在线观看| 青青草成人网| 成人久碰| 欧美日韩99| 91精品国产综合久久密臀| XX色综合| 天天综合精品| 日美三级| 人妻内射麻豆视频| 人妻久久人妻久久第一区| 久久女婷| 久久成人亚洲欧美电影| 99久热| 人妻精品久久久久久| 激情99| 精品一区二区三区四区五区六区| 激情伊人网| 久久婷婷丁香| 先锋av性爱成人电影| 五月天激情啪啪| 色狠狠综合| 国产99久9在线| 婷婷色五月激情| 这里只有精品免费| 久久99婷婷| 国产九月婷婷| 影音先锋xfplay资源男人网| 婷婷五月天AV| 99在线视频网址在线观看| 99啪| 99视频这里只有精品10| 99久久婷婷国产综合精品草原| 操操精品| 亚洲久久婷婷| 激情小说在线视频| 99久精品| 色色色色五月| 国产国产乱老熟女视频网站97| 久久九九@| 战争与艾拉电影免费观看| 久久综合激情| 色综合中文色综合网| 亚洲欧州色情在线观看| 免费视频无码| 思思久久网| 99久在线精品99re5热视频| 国产视频色色色色色色色| 五月丁香色色网| 色欲五月婷婷| 色站9/| 超碰renrenai| 色五月av| 99精品热| 99啪啪视频| 色综合久久中文| 九九热在线观看视频| 男人的天堂婷婷色五月| 九九热再线九九视频免费在线观看| 亚洲在线操| 九色地址91视频| 婷婷开心激情五月激情网| 国产精产国品一二三在观看| 婷婷激情综合无月| 91丨九色丨国产打屁股| 青草青草久热这里只有精品| 九九色热| 丁香婷婷基地| 亚洲AV成人精品日韩在线播放| 7777精品伊人久久久大香线蕉最新版| 橾逼网| 婷婷狠狠爱| 天天色综合网吨吧| 91九九九色在| 色婷婷小说| 成人 AV播放| 色婷婷六月丁香综合欲精品| 激情骚五月| 婷婷丁香小说| 婷婷大乡焦噜噜| 亚洲天堂大香蕉| 另类图片色五月| 色色综合网站| 天天日日人| www.99在线| 蜜乳.comcom| 欧美性生交XXXXX无码小说| 午夜性爱影视一区77| 激情九月婷婷九月| 亚洲情a| 色约约视频一区二区三区四区五区| 呦呦v线| 日韩啪啪视品| 99热久| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 香蕉伊人综合| 久99久在线| 婷婷五月天激情网址| 99亚洲视频| 五月天婷婷网站| 夜色爱爱亚洲| 九九热re99re6在线精品| 五月天激情久久| 欧美丁香五月97色| 玖玖资源站国产| 成人精品视频99在线观看免费| 天天操天天日天天爽| 婷婷六月丁综合| 丁香五月人妻| 五月婷婷六月丁香激情深爱| 99热99干| 婷婷色丁香五月| 五月亭亭色| www.色99| 五月丁香花婷婷玉莉AV| 五月丁香在线观看99| 深爱激情综合网| 丁香五月激情六月欧亚激情综合导航| 超碰在线免费观看日韩| 色五月av| 天天拍夜夜撸| 婷婷激情综合色五月久久图片| 97人人干| 激情五月综合网最新 | 99热综合| 婷婷五月天黄色网址| 欧美精品XXXXBBBB| 婷婷五月天伊人| 久久五月天精品视频| 欧美日韩中国| 亚洲黄色影视| 色色a| 色综合久久888| 丁香五月婷婷欧美成人色图| 婷婷九月亚洲| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 狠狠狠狠狠狠| 日本精品。999| www98日本小时间到了| 欧美三级巜人妻互换| 超碰人人操| 五月激情网综合| 久操操| 9 1大香蕉| 99ER热精品视频| 亚洲中文字幕AV| 97色色在线视频| 狠狠色噜噜狠狠色噜噜噜999| 91精产一区三区免费观看| 婷婷五月天社区| 爽极品色| pom538精品视频| 五月丁香欧美综合免费视频| 99自拍视频在线观看| 久久一级片| 综合色、色综合| 色色com| 五月丁香六月婷婷啪啪| 久8色色| 婷婷五月天.com| 日本啪啪天堂| 激情综合在线观看| 成人片在线免费看| 久久久91精品| 激情五月婷婷视频| 亚洲视频在线观看| 夜夜爽天天干| 人妻无码精品一区| 99热综合网| 色久丁香五| 六月色播| 天天爽天天日天天舔| 天天 日综合| 天天噜天天爱| 五月丁香六月婷婷综合在线| 狠狠色狠狠| 国产avapp 网| 啪啪99| 久热丁香| 九月久久婷婷| 亚洲成人超碰| 97色操| 超碰免费人人肏| 人人操9| 色色五月婷婷网| 婷婷五月天基地| 白人荫道BBWBBB大荫道| 久久怡红院| 9久精品| 天天射影院| 日本不卡高字幕在线2019| AV电影在线播放| 最近中文字幕在线中文视频| 丁香六月啪啪| 无码少妇高潮喷水A片免费| 91 欧美| www.99色在线| 二区成人视频| 久久久婷婷五月亚洲97号色| 色噜噜五月天| 色哟哟精品| 五月婷五月婷伊人伊人五月婷| aaaaa黄色| 亚洲五月丁香综合网| 久久五月丁香激情综合| 天天日夜夜操五月| 激情婷婷五月天日本系列| 久久天天| 亚洲无码另类| 婷婷五月天成人| 思思干精品| 欧美啪啪五月天| 日本99在线| 99热欧美在线观看| 综合在线丁香五月| 日韩在线五月天婷婷| 9有码中文| 亚洲久久激情| 99婷婷精品推荐在线视频| 亚洲欧洲一二| 最新色色五月天| 九九人妻福利| 可似看的AV| 午夜成人网站在线观看| 欧美在线干| 婷婷综合玖玖五月| 丁香五月六月综合激情| 91爱操| 天天摸天天高潮天天爽| 99热这里只有精品9| 婷婷丁香五另类网站| 五月天激情网站| 久久久精品免费啪啪国| 丁香六月激情四射| 狠狠五月丁香色婷| 狠狠色综合网站久久久久| 五月天社区| 亚洲视频在线网站| 色情婷婷。| 狠狠色丁香婷婷综合久久97AV| 天天爱夜夜爽| 激情丁香五月天| 成人无码中文| 五月天激情综合在线| 五月丁香婷在线| 成人丁香五月| 99久久婷婷国产综合亚洲| 色99在线视频| 天天橾夜夜爽| 亚洲色婷婷五月天| 色综合久久8| AV美美午夜| 超碰人人91| 懂色av粉嫩AV蜜臀AV| 99日本精品视频热| 69色色视频| 大香蕉啪啪啪| 97干视频在线| 亚洲成人乱码av网站| 99热首页| 国产激情在线观看| 五月色视频| 久艹大香蕉| 久99久视频精品| 天天日天天干天天爱| 天天做天天爱天天玩| 国外亚洲成AV人片在线观看 | 五月天激情四射| 操骚货在线| 人人色人人弄人人操| 99综合在线| www.99精品在线| 黄色av网站在线免费播放| 九九成人精品免费视频| www.色九月| 26uuu成人网| bbwcuckold精品熟妇| VA色婷婷| 大香蕉75线| AⅤ色区| 操骚货在线| 色五月婷婷综合在线| 婷婷五月丁香在线视频| 亚洲中字AV电影在线网站| 桃色五月婷婷| 日本色色色| 久热久操久热久草国产91| 这里只有精品99www| 成人视频网| 五月综合亚洲色| www.天天日| 人人操日| 99九九玖玖| 日本女人久久| 婷婷五月天激情小说| 亚洲欧美国产A片免费观看| 丁香五月婷婷成人网| 亚洲视频一区| 久久奄也去色色网站| 99热官网| 久久久精品99亚洲综合| 欧美性丁香色色五月天干干| 婷婷午夜精品久久久| 色了色综合| 色婷婷精| 丁香五月婷婷手机| 伊人久热91网| 天天干夜夜想| 丁香六月色| 久久五月天激情| 91久久九九| 人人爱国产| 激情小说色五月| 日日操天天| 91在线看片| 99九九精品| 色色色色色综合| 俺去也综合| 五月天婷婷影院| 婷婷午夜| 丁香六月婷婷开心| 国产性av| www.深爱激情| 好叼操在线观看| 99热中文字幕久久| av在线观看网址| 九九热99视频| 激情丁香婷婷六月天| 国产超碰在线| 久久综合天天综合| 久久婷婷综合色丁香| 亚洲无线视频| 99久热在线精品| 性欧美大战久久久久久久83| 丁香五月婷婷骚视屏| 综合久久综合五月天婷婷| 人人干av| 97人妻碰碰碰久| www.夜夜操| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 五月丁香狠狠地噜噜噜噜| 最新久久99视频网站| 色噜噜狠狠色综合网| 婷婷五月天777| 婷婷色综合网日韩国产| 夜夜久久综合网| 99久久国产宗和精品1上映| 潘金莲AAAAAAAAAA| 九九热中文| 5月婷婷综合| 久久99国产综合精品免费 | 天天干天天干天天干| www激情com| 五月丁香久久久久| 久久a热| 婷婷涩涩五月天| 91久久| 爱超碰性| 五月丁香成年黄色| 五月婷婷新网站| 艹色18p| 色五月在线播放| 日韩无码人妻一区二区三区综合| 大香蕉伊然在亚洲90| 久久97| 五月婷婷婷婷网| 99re最新地址视频| 日韩 mm 不卡| 天天射影院| 丁香婷婷视频| 99久久a线观| 亚洲色婷婷久久99精品91| 欧美成人精品A片免费一区99| 天天做天天爱天天要| 日本系列_4页_777FP| 91在线就要啪| 无码人妻电影| 嫩草乱码一区三区四区| 色五月丁香总合网| 欧美日本黄色| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 五月天婷婷激情| 成人短视频在线| 久久这里有精品视频| 久久这有这里精品| 国产avapp 网| 日韩黄色影院| 99无码视频| 91精品综合久久婷婷九色| 色五月婷婷内射| 丁香六月婷婷开心| 色婷久久| 高清国产AV| 婷婷激情97| 白人荫道BBWBBB大荫道| 日韩成人AV在线| 婷婷五月天亚洲五码| 色婷五月| 可以直接看的av网站| 天天色播| 婷婷四色五月| 光棍影院日韩精品| www.婷婷五月.com| 中文字幕日本最新乱码视频| 亚洲小电影在线观看黄999| 五月天丁香综合| 色五月亚洲开心网| 综合热无码| 激情婷婷内射| 久久色在线视频| 五月丁香欧美综合| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 九九热这里都是精品6| 丁香婷婷六月激情文学| 久久久久久99精品无码| 中文字幕高清av| 五月婷婷综合在线视频| 97在线观视频免费观看| 少妇人妻丰满做爰XXX| 91九色精品熟女内射| 五月婷婷激情网| 欧美色婷婷| 久久国产色| 人人摸人人搞| 99在线精品视频免费观看20| 激情小说视频图片网| 色狠狠综合| 色色 亚洲| 天天色综网| 六月丁香啪啪啪| 人妻久久久久久| 黄色成人网站在线播放| 丁香五月色网| 激情av在线| 六月婷婷综合激情| 99热这里只有精品86| 丁香综合婷婷五月天| 五月婷视频| 久操人妻| 五月开心激情| 青青青在线视频国产| BBWCUCKOLD精品熟妇| 超碰九热| 91色欲综合| 激情五月天综合网| 国产精品久久..4399| 色情五月丁香婷婷网| 欧美天天综合网站上去吧| 狠狠看狠狠| 久久人妻爱爱| 五月中旬婷婷丁香六| 色五月天婷婷| 久久 婷婷 五月天| 婷婷五月天基地| 精品亚洲国产成AV人片传媒| 激情综合文学| 色婷婷情片| 超碰在线91| 人人射av| 天天色天天日天天舔| 久久人操| 一本色道久久88加勒比| 日本wwww在线| 97久久超碰| 综合在线丁香五月| 99激情视频| 五月丁香免费看| 五月婷婷色在线| 开心久久网婷婷| 91狠狠综合久久久| 五月丁香亚洲五月| 蜜桃人妻无码AV天堂三区| 色五月婷婷久久| 丁香婷婷成年| 狠狠色丁香久久| 十月丁香婷婷| 久久婷婷六月综合| 91狠狠色丁香| www.zbzhongsen.com| 1024操逼| 婷婷性爱网| 天天日狠狠| 久久与婷婷| 五月丁香激情综合| 色婷婷91| .操區COm| 九色无码| 第四色五月天| 性爱五月婷婷| 九九热av| 五月天开心激情综合网| 亚洲成人免费在线| 99综合入口| 六月色色| 思思久久精品| 五月天激情图片| 超碰无码老师| 九九热黄色| 嫩草乱码一区三区四区| 久热大香蕉| 91 久热| 91精品久久久久| 人妻无码精品一区| 120分钟婬片免费看| 久99精品视频| 精品少妇蜜臀91| 91丨九色丨东北熟女| 久久综合五月| 五月婷婷,六月激情| 成年人丁香五月| 97成人超碰免| 婷婷综合五月色播| 五月天国产| 97碰碰视频在线观看| 俺也去在线视频| 亚洲av| 亚洲性受XXXX五月丁香| 五月天天综合| 婷色综合| 五月天激情无码高清| 日本久久婷| www99xxxx五月丁| 狠色狠色综合久久| 五月婷婷综合激情| 超碰成人电影| 亚洲色热| 久久日九九| 亚洲免费99| 五月开心播播网| 久思思热视频在线观看| 超碰色色综合| 狠狠久久婷婷| 5月丁香婷婷激情网| 国外亚洲成AV人片在线观看| 色狠狠999综合网| 俺去也婷婷| 丁香婷婷五月综合色情| 91大神操美女| 97婷婷在线| 婷婷成人视频| 97操男人的天堂| 欧美25p| 色婷婷色和| 久热只有精品| 丁香五月激情啪啪啪啪| 五月天成人在线播放丁香| 综合久久婷婷99|