欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Model-Optimizer實(shí)戰(zhàn):從loss不收斂到顯存OOM的完整優(yōu)化方案

Model-Optimizer實(shí)戰(zhàn):從loss不收斂到顯存OOM的完整優(yōu)化方案 先說一個(gè)讓人頭疼的場(chǎng)景我在訓(xùn)練一個(gè)中文生成模型batch size開到16就OOM開到8倒是穩(wěn)了但一個(gè)epoch要跑將近兩天。更氣人的是loss曲線前半段像心電圖后半段像便秘——要么不降要么突然跳水然后又彈回去。當(dāng)時(shí)我就明白一件事光把模型搭出來遠(yuǎn)遠(yuǎn)不夠真正決定項(xiàng)目能不能落地的是優(yōu)化這層功夫。后來我花了很長(zhǎng)時(shí)間折騰Model-Optimizer把訓(xùn)練過程中的梯度更新、學(xué)習(xí)率調(diào)度、顯存分配、精度策略這些環(huán)節(jié)一個(gè)一個(gè)拆開來看最終沉淀出一套可以復(fù)用的優(yōu)化框架。這篇文章不聊論文式的理論推導(dǎo)只聊我在實(shí)際項(xiàng)目中踩過的坑、驗(yàn)證過的配置、以及最終跑通的方案。如果你正在被loss不收斂、顯存不夠、訓(xùn)練太慢這些問題折磨這篇文章應(yīng)該能給你一些直接可抄的作業(yè)。1. 為什么我要自己折騰一個(gè)Model-Optimizer1.1 現(xiàn)成優(yōu)化器解決不了的實(shí)際問題先說結(jié)論P(yáng)yTorch自帶的AdamW、SGD這些優(yōu)化器本身沒做錯(cuò)什么但它們只是梯度更新規(guī)則這一個(gè)環(huán)節(jié)。實(shí)際訓(xùn)練一個(gè)稍微像樣的模型你會(huì)發(fā)現(xiàn)瓶頸根本不在這一個(gè)環(huán)節(jié)上。我當(dāng)時(shí)遇到的是三個(gè)具體問題優(yōu)化器狀態(tài)占用顯存過高。AdamW需要維護(hù)一階動(dòng)量和二階動(dòng)量這兩個(gè)緩存張量跟模型參數(shù)一樣大。一個(gè)7B參數(shù)的模型光優(yōu)化器狀態(tài)就得多吃將近56GB顯存按BF16算這還沒算梯度和激活值。學(xué)習(xí)率調(diào)度器和優(yōu)化器狀態(tài)脫節(jié)。模型中途恢復(fù)訓(xùn)練時(shí)如果只保存了模型權(quán)重而沒有保存優(yōu)化器的step計(jì)數(shù)和動(dòng)量狀態(tài)重新加載后學(xué)習(xí)率會(huì)跳回初始值訓(xùn)練節(jié)奏直接廢掉。loss曲線反復(fù)震蕩。batch size小的時(shí)候梯度噪聲大AdamW雖然能自適應(yīng)調(diào)整更新幅度但遇到個(gè)別梯度特別大的batch還是會(huì)出現(xiàn)loss尖刺。Model-Optimizer這個(gè)項(xiàng)目的出發(fā)點(diǎn)就是把優(yōu)化器從單一的參數(shù)更新算法擴(kuò)展成一套包含梯度處理、學(xué)習(xí)率策略、顯存優(yōu)化、狀態(tài)管理在內(nèi)的完整訓(xùn)練優(yōu)化解決方案。1.2 Model-Optimizer的設(shè)計(jì)目標(biāo)我在設(shè)計(jì)這個(gè)框架時(shí)給自己定了幾個(gè)原則模塊化組合每個(gè)優(yōu)化組件可以獨(dú)立開關(guān)和替換比如梯度裁剪可以單獨(dú)用也可以和混合精度配合??捎^測(cè)性優(yōu)先訓(xùn)練過程中的學(xué)習(xí)率、梯度范數(shù)、參數(shù)更新幅度等關(guān)鍵指標(biāo)必須能實(shí)時(shí)看到??床灰娋驼{(diào)不了。狀態(tài)可恢復(fù)任何時(shí)候中斷訓(xùn)練重新加載后應(yīng)該能精確恢復(fù)到中斷時(shí)的狀態(tài)包括學(xué)習(xí)率的step位置。很多人覺得模塊化這些是老生常談但真到自己寫訓(xùn)練腳本時(shí)全都圖省事直接調(diào)torch的默認(rèn)API結(jié)果出了問題只能干瞪眼。1.3 這個(gè)框架適合誰(shuí)如果你只是跑跑MNIST、CIFAR這種玩具數(shù)據(jù)集那完全不需要折騰這些。但如果你在訓(xùn)練GPT風(fēng)格的語(yǔ)言模型、Diffusion模型、或者任意超過1B參數(shù)的大模型你就會(huì)發(fā)現(xiàn)這里面的每個(gè)細(xì)節(jié)都在影響最終效果。我做這個(gè)項(xiàng)目時(shí)的基準(zhǔn)場(chǎng)景是單機(jī)多卡訓(xùn)練一個(gè)3B參數(shù)的對(duì)話模型這也是我認(rèn)為Model-Optimizer最適用的場(chǎng)景。2. 模型優(yōu)化器里的三大關(guān)鍵旋鈕2.1 梯度更新算法怎么選這不是三言兩語(yǔ)能說清的但我可以分享自己的選型經(jīng)驗(yàn)。首先是AdamW和SGD的對(duì)比。SGD配合momentum在CV領(lǐng)域一直表現(xiàn)穩(wěn)定尤其經(jīng)過長(zhǎng)時(shí)間訓(xùn)練后泛化性往往更好。但SGD對(duì)學(xué)習(xí)率太敏感需要在訓(xùn)練過程中頻繁調(diào)整而且自適應(yīng)能力弱遇到稀疏特征或者不同尺度的參數(shù)時(shí)表現(xiàn)不太穩(wěn)定。AdamW在NLP和生成模型里幾乎成了默認(rèn)選擇。它的優(yōu)勢(shì)是每個(gè)參數(shù)都有獨(dú)立的學(xué)習(xí)率縮放前期的訓(xùn)練速度明顯更快。但AdamW也有個(gè)很多人不知道的問題它對(duì)權(quán)重衰減的處理雖然比原始Adam規(guī)范但如果你把weight_decay設(shè)得太高比如0.1以上參數(shù)范數(shù)會(huì)被壓得特別小最終模型的表達(dá)能力會(huì)下降。我自己在Model-Optimizer里的默認(rèn)配置是優(yōu)化器: AdamW beta1: 0.9 beta2: 0.95 epsilon: 1e-8 weight_decay: 0.01這個(gè)配置在大多數(shù)語(yǔ)言模型任務(wù)上表現(xiàn)都比較穩(wěn)。beta2從默認(rèn)的0.999調(diào)低到0.95是我實(shí)測(cè)下來很管用的一個(gè)改動(dòng)——它讓二階動(dòng)量對(duì)梯度變化的響應(yīng)更快能明顯減少訓(xùn)練后期的loss尖刺問題。2.2 學(xué)習(xí)率調(diào)度的魔鬼細(xì)節(jié)學(xué)習(xí)率調(diào)度表面上看只是一個(gè)衰減曲線實(shí)際里面全是坑。我踩得最深的一個(gè)坑是warmup步數(shù)設(shè)置。剛開始訓(xùn)練3B模型時(shí)我沒加warmup直接用1e-4的學(xué)習(xí)率開跑。結(jié)果前500步loss不僅沒降反而從5.2漲到了5.8梯度范數(shù)一度飆到正常值的30倍。后來查資料才意識(shí)到模型參數(shù)剛初始化時(shí)分布不理想梯度統(tǒng)計(jì)量也不穩(wěn)定此時(shí)直接上大學(xué)習(xí)率會(huì)讓AdamW的動(dòng)量估計(jì)迅速偏移后面需要用很多步才能糾正回來。正確做法是加一個(gè)線性warmup讓學(xué)習(xí)率從0逐步升到目標(biāo)值。這個(gè)階段的主要作用是預(yù)熱優(yōu)化器的動(dòng)量狀態(tài)而不是真正學(xué)習(xí)。我在Model-Optimizer里的推薦配置學(xué)習(xí)率峰值: 3e-43B模型 warmup步數(shù): 總步數(shù)的1%約500步 衰減策略: cosine退火到峰值的1/10峰值學(xué)習(xí)率的選擇是另一個(gè)大頭。它和下一條直接相關(guān)——優(yōu)化器的更新幅度取決于學(xué)習(xí)率和梯度范數(shù)的乘積。我在實(shí)踐中的一個(gè)經(jīng)驗(yàn)是如果訓(xùn)練中出現(xiàn)loss前期不降不要盲目加大學(xué)習(xí)率先看看梯度范數(shù)。如果梯度范數(shù)本身在1e-2這個(gè)量級(jí)上下浮動(dòng)那3e-4的學(xué)習(xí)率是合理的如果梯度范數(shù)只有1e-3說明梯度太小考慮去掉梯度裁剪或者調(diào)整網(wǎng)絡(luò)初始化方式而不是去調(diào)學(xué)習(xí)率。2.3 混合精度和梯度累積的配合這兩兄弟配合好了能大幅提升訓(xùn)練效率配合不好會(huì)讓你懷疑人生。混合精度用的是PyTorch的torch.cuda.amp.autocast和GradScaler。核心邏輯是前向和反向計(jì)算用FP16加速但優(yōu)化器更新保留FP32的主權(quán)重副本同時(shí)用動(dòng)態(tài)loss scaling避免FP16下梯度過小被下溢吞掉。我在實(shí)際使用中踩過一次動(dòng)態(tài)scale失靈的問題。訓(xùn)練到第2000步時(shí)loss突然變成NaN程序卻沒報(bào)錯(cuò)。排查后發(fā)現(xiàn)是GradScaler的scale因子在反復(fù)迭到overflow后自動(dòng)變小但我的某個(gè)層在FP16下梯度一直下溢導(dǎo)致該層的權(quán)重長(zhǎng)時(shí)間不更新數(shù)值漂移越積越大最后整個(gè)模型崩了。解決辦法是給Model-Optimizer加了兩層保險(xiǎn)對(duì)特別容易下溢的層比如attention里的softmax和layer norm后的全連接層單獨(dú)走FP32計(jì)算不參與混合精度。作法是在模型前向里用with autocast(enabledFalse):包住這些層。實(shí)時(shí)檢測(cè)每個(gè)參數(shù)的梯度更新量如果連續(xù)100步某個(gè)參數(shù)組的梯度范數(shù)為0就告警提示。梯度累積的設(shè)置相對(duì)簡(jiǎn)單但有一個(gè)容易被忽略的點(diǎn)梯度累積會(huì)改變實(shí)際batch size進(jìn)而影響loss的尺度。如果你的累積步數(shù)是4那等效batch size就是單卡batch size乘4再乘卡數(shù)。模型更新一步時(shí)的梯度是所有微批次梯度的平均這時(shí)的學(xué)習(xí)率理論上也需要相應(yīng)放大。我實(shí)測(cè)的通用做法是梯度累積步數(shù)和學(xué)習(xí)率不聯(lián)動(dòng)保持學(xué)習(xí)率不變但warmup的步數(shù)可以適當(dāng)增多因?yàn)榈刃atch變大了梯度統(tǒng)計(jì)更穩(wěn)定warmup階段可以更平滑。3. 從loss曲線倒推優(yōu)化器配置問題的排查鏈路這是Model-Optimizer項(xiàng)目里最讓我覺得有價(jià)值的部分也是我踩坑最多的地方。調(diào)優(yōu)化器不能靠感覺要有系統(tǒng)的排查路徑。3.1 現(xiàn)象一loss前期紋絲不動(dòng)有次訓(xùn)練多模態(tài)模型前300步loss一直在5.4附近徘徊小數(shù)點(diǎn)后都看不出變化。我當(dāng)時(shí)的第一反應(yīng)是調(diào)大學(xué)習(xí)率但沒急著動(dòng)手。先查了三個(gè)東西第一個(gè)是梯度范數(shù)。打印出來發(fā)現(xiàn)是1.5e-4小得離譜這解釋了為什么參數(shù)更新幾乎為0。但梯度為什么這么小第二個(gè)是loss的絕對(duì)值。5.4對(duì)應(yīng)的是交叉熵還是MSE如果是交叉熵一個(gè)詞表大小為32k的模型隨機(jī)初始化的loss大約是log(32768)10.45.4已經(jīng)比隨機(jī)好很多了。這說明模型已經(jīng)學(xué)了一些東西只是速度慢。第三個(gè)是輸入輸出的數(shù)據(jù)分布。最后發(fā)現(xiàn)是某個(gè)預(yù)訓(xùn)練特征提取器把梯度傳到后面時(shí)幾乎衰減沒了——問題出在網(wǎng)絡(luò)連接方式而不是優(yōu)化器。這個(gè)排查給我留下的經(jīng)驗(yàn)是loss不降先看梯度再看loss的絕對(duì)水平最后看數(shù)據(jù)是否有效不要一上來就動(dòng)學(xué)習(xí)率。3.2 現(xiàn)象二訓(xùn)練中期loss尖刺訓(xùn)練到總進(jìn)度的40%左右loss曲線每隔幾百步就跳出個(gè)尖刺高了0.2-0.3。這種情況通常不是隨機(jī)噪聲而是某種可復(fù)現(xiàn)的系統(tǒng)性異常。我在Model-Optimizer里加了一個(gè)診斷工具當(dāng)單步loss超過該batch之前100步的平均值2倍以上時(shí)自動(dòng)記錄當(dāng)時(shí)的學(xué)習(xí)率、梯度范數(shù)、以及l(fā)oss最大的樣本對(duì)應(yīng)的樣本ID。后來發(fā)現(xiàn)尖刺往往集中在某些語(yǔ)義模糊的訓(xùn)練樣本上它們的特征是包含大量生僻詞或者超長(zhǎng)文本。處理方式有兩個(gè)層面對(duì)優(yōu)化器層面梯度裁剪是必須的。我用的max_grad_norm1.0把所有參數(shù)的梯度范數(shù)限制在這個(gè)值內(nèi)。注意這不等同于把每個(gè)參數(shù)clip到絕對(duì)值1.0效果差很多。對(duì)數(shù)據(jù)層面這種異常樣本即使梯度被裁剪仍然會(huì)污染模型的狀態(tài)最好是在數(shù)據(jù)預(yù)處理階段就把這類樣本單獨(dú)分桶或者降低其采樣權(quán)重。3.3 現(xiàn)象三訓(xùn)練集收斂但驗(yàn)證集差這是一個(gè)典型的泛化問題但我發(fā)現(xiàn)很多人把它歸咎為過擬合后就結(jié)束了沒有往優(yōu)化器配置上想。實(shí)際上優(yōu)化器的某些配置會(huì)明顯影響模型的泛化能力。我對(duì)比過同一模型在相同數(shù)據(jù)下的兩組實(shí)驗(yàn)配置項(xiàng)實(shí)驗(yàn)A實(shí)驗(yàn)Bweight_decay0.010.1最終loss2.12.3驗(yàn)證集準(zhǔn)確率68%72%梯度噪聲中等低實(shí)驗(yàn)B的訓(xùn)練loss更高但驗(yàn)證集表現(xiàn)更好。這不是巧合。weight_decay本質(zhì)上是給模型參數(shù)加了一個(gè)L2正則項(xiàng)約束參數(shù)范數(shù)不至于過大從而讓模型對(duì)訓(xùn)練集的特定噪聲不敏感。所以如果你發(fā)現(xiàn)驗(yàn)證集和訓(xùn)練集差距過大先別急著加dropout試著把weight_decay從0.01提上去也許效果更直接。3.4 一整套排查順序我把這段時(shí)間的排查經(jīng)驗(yàn)整理成一套固定順序現(xiàn)在調(diào)任何模型的優(yōu)化器配置都按照這個(gè)來看loss的初始值確認(rèn)它是否符合隨機(jī)初始化的理論預(yù)期。不符合先查數(shù)據(jù)管道和loss計(jì)算邏輯??辞?00步的梯度范數(shù)曲線。如果梯度范數(shù)趨近于0問題大概率在模型結(jié)構(gòu)或數(shù)據(jù)喂入方式而不是優(yōu)化器。看warmup結(jié)束后400步內(nèi)的loss變化趨勢(shì)。如果loss立刻上升考慮是通過降低峰值學(xué)習(xí)率或者增加warmup步數(shù)來緩解。如果訓(xùn)練后期出現(xiàn)尖刺檢查是否是特定batch導(dǎo)致的并考慮梯度裁剪和數(shù)據(jù)清洗。對(duì)比驗(yàn)證集指標(biāo)和訓(xùn)練集指標(biāo)的gap如果gap過大優(yōu)先調(diào)節(jié)weight_decay再考慮數(shù)據(jù)增強(qiáng)或dropout。這套排查鏈路不需要用到什么高級(jí)工具核心就是log好每一步的關(guān)鍵指標(biāo)。我在Model-Optimizer里默認(rèn)記錄了以下字段step、loss、lr、grad_norm、update_norm、loss_scale、顯存占用、當(dāng)前batch的樣本平均長(zhǎng)度。有了這些每次出問題都能對(duì)照歷史曲線快速定位。4. 顯存和吞吐的平衡術(shù)優(yōu)化器這個(gè)東西看起來只是更新參數(shù)的算法但實(shí)際上它站在顯存和吞吐的交叉點(diǎn)上。4.1 優(yōu)化器狀態(tài)本身就在吃顯存說個(gè)具體數(shù)字。我訓(xùn)練3B模型參數(shù)占用約6GBBF16如果不用任何顯存優(yōu)化完整訓(xùn)練狀態(tài)包括狀態(tài)項(xiàng)占用BF16/FP32模型參數(shù)約6GB梯度約6GBAdamW一階動(dòng)量約12GBFP32AdamW二階動(dòng)量約12GBFP32激活值動(dòng)態(tài)數(shù)GB到數(shù)十GB不等看到?jīng)]優(yōu)化器狀態(tài)占的顯存是模型參數(shù)本身的4倍。這也是為什么大模型訓(xùn)練框架里優(yōu)化器狀態(tài)往往是最先被優(yōu)化的對(duì)象。Model-Optimizer提供了兩種降顯存方案Adafactor替代AdamW。它的核心思路是只保存參數(shù)的逐行和逐列二階統(tǒng)計(jì)量而不是每個(gè)參數(shù)的完整二階動(dòng)量。顯存占用比AdamW減少約60%效果在部分任務(wù)上略有折扣但差距在可接受范圍內(nèi)。優(yōu)化器狀態(tài)offload到CPU。利用DeepSpeed的Zero-Offload類似思路把優(yōu)化器狀態(tài)放CPU內(nèi)存GPU只保留權(quán)重和梯度。我實(shí)測(cè)這個(gè)方法能在單卡上訓(xùn)練原本需要雙卡的模型代價(jià)是訓(xùn)練速度下降約30%。4.2 梯度檢查點(diǎn)和激活值重計(jì)算的取舍激活值的顯存占用經(jīng)常被忽略但實(shí)際上對(duì)3B模型來說激活值才是那個(gè)可能直接壓垮顯存的元兇。我遇到過一個(gè)典型情況batch size設(shè)為4時(shí)顯存剛好夠設(shè)5就OOM加的那一個(gè)batch把激活值的占用推到了極限。梯度檢查點(diǎn)的思路是前向傳播時(shí)不要保存所有激活值只保存關(guān)鍵的幾個(gè)錨點(diǎn)反向傳播時(shí)再?gòu)倪@些錨點(diǎn)重新計(jì)算需要的激活值。這個(gè)方案能把激活值顯存下降好幾倍但會(huì)讓訓(xùn)練時(shí)間增加約20%-30%。我個(gè)人的建議是先檢查你的模型是否能通過調(diào)整batch size和平行策略來規(guī)避OOM。如果實(shí)在繞不開再使用梯度檢查點(diǎn)而且只對(duì)最耗顯存的幾個(gè)模塊開啟不要全模型無(wú)腦開。4.3 batch size與吞吐的實(shí)測(cè)數(shù)據(jù)很多人以為batch size越大吞吐越高其實(shí)不完全是。我用3B模型做了幾組對(duì)比測(cè)試配置吞吐樣本/秒顯存峰值batch4無(wú)檢查點(diǎn)18.238GBbatch8無(wú)檢查點(diǎn)20.1溢出batch8梯度檢查點(diǎn)13.436GBbatch8激活重計(jì)算優(yōu)化16.839GBbatch4梯度累積2步17.938GB關(guān)鍵數(shù)據(jù)是最后一行用batch4加上梯度累積2步效果等效于batch8吞吐幾乎沒有下降顯存也沒有變大。原因很簡(jiǎn)單——梯度累積規(guī)避了激活值的峰值而吞吐瓶頸主要在計(jì)算單元不在batch size本身。結(jié)論是當(dāng)顯存有限時(shí)優(yōu)先用梯度累積不要優(yōu)先開梯度檢查點(diǎn)。5. 這套優(yōu)化策略在不同任務(wù)上的實(shí)測(cè)表現(xiàn)5.1 圖像分類任務(wù)ResNet-50ImageNet子集Model-Optimizer的第一個(gè)實(shí)測(cè)場(chǎng)景是一個(gè)經(jīng)典圖像分類任務(wù)。我拿它跟一個(gè)固定lr0.1的SGDmomentum配置做對(duì)比。兩組都訓(xùn)練90個(gè)epoch。Model-Optimizer用的是默認(rèn)的AdamWcosine退火學(xué)習(xí)率從0.001線性warmup到0.01再退火。結(jié)果很有趣SGD組在訓(xùn)練集上準(zhǔn)確率和AdamW組接近但驗(yàn)證集上SGD高了0.8個(gè)百分點(diǎn)。這和SGD本身的隱式正則有關(guān)。這個(gè)結(jié)果提醒我Model-Optimizer不能無(wú)腦用同一套配置。我在框架里加入了按任務(wù)類型切換優(yōu)化器預(yù)設(shè)的功能CV分類任務(wù)默認(rèn)切回SGDmomentum文本和生成任務(wù)才用AdamW。5.2 語(yǔ)言模型訓(xùn)練3B GPT風(fēng)格模型這是Model-Optimizer的主場(chǎng)。和原始配置AdamWlr3e-4無(wú)warmup相比加了線性warmup和cosine退火后的配置在15B token的訓(xùn)練數(shù)據(jù)上最終困惑度從16.8降到了15.2。關(guān)鍵是訓(xùn)練過程幾乎沒有出現(xiàn)過NaN和尖刺模型的恢復(fù)點(diǎn)都快了很多。在訓(xùn)練過程中我還嘗試過把beta2進(jìn)一步從0.95降到0.9困惑度略微提升到15.4但訓(xùn)練穩(wěn)定性更好了。如果你對(duì)loss曲線的心電圖感非常介意可以試試這個(gè)改動(dòng)。5.3 推薦排序模型DIN架構(gòu)淘寶風(fēng)格數(shù)據(jù)推薦模型的特點(diǎn)是特征極度稀疏embedding表巨大而且正負(fù)樣本比例懸殊。這種場(chǎng)景下AdamW的表現(xiàn)中規(guī)中矩但embedding層的梯度更新存在頻繁抖動(dòng)的問題。我給Model-Optimizer加了按層學(xué)習(xí)率的功能embedding層的更新步長(zhǎng)是主網(wǎng)絡(luò)學(xué)習(xí)率的0.3倍梯度裁剪只作用于主網(wǎng)絡(luò)不對(duì)embedding層做額外裁剪。這個(gè)配置讓AUC從0.78提升到0.79且訓(xùn)練速度提升10%因?yàn)閑mbedding層的更新變慢后顯存中的緩存命中率反而變高了。6. 踩過這么多坑之后寫下的經(jīng)驗(yàn)筆記最后這部分不按章節(jié)來了就寫幾條我在實(shí)際使用中最想告訴后來者的話。關(guān)于學(xué)習(xí)率的調(diào)節(jié)一次只動(dòng)一個(gè)變量。我最開始調(diào)優(yōu)化器配置時(shí)經(jīng)常同時(shí)改學(xué)習(xí)率、weight_decay、beta2結(jié)果loss變好了也不知道是哪個(gè)改動(dòng)起的作用變差了也不知道該回退到哪個(gè)配置。后來強(qiáng)制自己每次只動(dòng)一個(gè)變量記錄在案效果才能復(fù)現(xiàn)。Model-Optimizer的配置文件里我保留了每次實(shí)驗(yàn)的完整變更記錄這個(gè)方法幫我躲過了大量返工。關(guān)于日志越詳細(xì)越好但別讓日志本身拖垮訓(xùn)練速度。我的做法是把關(guān)鍵指標(biāo)每50步打印一次同時(shí)把更細(xì)粒度的數(shù)據(jù)每500步寫一次文件。這樣既能看到實(shí)時(shí)變化又不至于產(chǎn)生海量文件。關(guān)于恢復(fù)訓(xùn)練優(yōu)化器狀態(tài)必須和模型權(quán)重同步保存。我之前吃過虧覺得保存模型就足夠了結(jié)果恢復(fù)訓(xùn)練后warmup重新走了一遍前1000步完全在浪費(fèi)計(jì)算資源。Model-Optimizer里直接打包保存了model_state_dict、optimizer_state_dict、scheduler_state_dict、step任何時(shí)刻中斷都能無(wú)縫續(xù)跑。最后一個(gè)不起眼但很實(shí)用的小技巧訓(xùn)練開始前先跑一個(gè)50步的熱身測(cè)試。用極小的數(shù)據(jù)量、極短的時(shí)間把訓(xùn)練循環(huán)完整跑通一遍重點(diǎn)看有沒有NaN、顯存是否夠、日志是否正常。這個(gè)熱身測(cè)試能幫你避免在正式訓(xùn)練跑了幾小時(shí)后才發(fā)現(xiàn)配置錯(cuò)誤這種最痛苦的情況。我每次新接一個(gè)模型都會(huì)先用這個(gè)方式確認(rèn)環(huán)境再長(zhǎng)跑訓(xùn)練。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天狠狠夜夜狠狠2023| 婷婷97色| 99久在线精品99re8热| 玖玖婷婷五月| 午夜少妇在线观看视频| 天天色丁香| 日日噜噜久久婷婷五月天 | 五月天婷婷丁香| 69婷婷丁香午夜| 欧美五月丁香| 久久99激情| 冬月かえでAV无码播放| 色综久久久| 99这里有精品视频| 久久这里只有精品无码| 做爱夜夜干天天操| 色色五月天婷婷| 婷婷综合干| 婷婷五月色| 中文在线视频久1| 天天爽在线视频| 手机在线视频观看9| 激情五月综合网| 99热99色| 97五月天婷婷| 1995年关宝慧版蜘蛛女| 深爱激情九九五月天 | 婷婷五月成人| 内射综合网| 亚洲区在线| 九九精品热| 激情小说五月天| 色五月婷婷DVD| a网站免费观看| 操婷婷久久| 99热这里只有精| 久综合色| 超碰成人免费| 婷婷激情丁香五月天综合| 亚洲天堂碰碰婷婷| 五月婷婷综合色啪首页 | 丁香五月伊人| 人妻久久久| 天天日天天舔| 99无码| 六月丁香激情婷婷| 日本激情综合| 五月丁香婷婷六月| 久久这里只有精品热在99| 婷婷之六月丁香| 天天爽天天爽天天爽天天爽天天爽天天爽天天| 在线观看熟女少妇| 五月丁香啪啪激情| 另类综合国产| 人。妻久久| 色婷婷裸体色性在线| 亚洲第一色色色色| 色五月天在线| 五月亭亭直播| 五月激情婷婷综合| 婷婷五月激情网| 任你日视频| 成人综合视频在线| 激情五月天婷婷| 99色干| 日本天天操| 欧美色偷偷大香| av大片在线| 免费无码毛片一区二区A片| 丁香五月综合| 99re资源在线视频导航| 丁香久久九九99| 性爱五月婷| 91九色PORNY中文啦| 日韩无码人妻一区二区| www99精品| 日本久热| 99热这只有| jiujiu无码五区| 婷婷丁香六月影视| 亚洲色婷婷五月天| 五月丁香激情综合网| 天天色天天操天天射| 亚洲综合99| 狠狠操狠狠插| 影音先锋五月天婷婷丁香在线观看| 免费日本aⅴ中文字幕| 4399在线观看免费高清毛片| 婷婷丁香花五月天| 2020夜夜操天天爽| 天天搞天天色综合| 9久热精品在线视频| 蜜乳av一级av| 成人在线综合| 伊人六月丁香婷婷| 超碰免费大香蕉| 午夜亚洲国产精品av一区二区| 伦乱天堂| 小视频一区| 婷婷五月天开心激情网| 色婷婷先锋| 亚洲午夜视频| 激情人妻蜜夜系列区| 婷婷九月久久| 丁香六月AV| 亚洲99手机免费看视频| 欧洲亚洲免费视频9| 99热91| 婷婷综合国产| 九九热免费观看视频| 亚洲丁香五月| 久久人人看| 丁香av网| 激情文学天天| 毛片新网地| 六月激情网| 色情五月综合婷婷| 99热这里有精品首页10| 久久机只有这里精品| 天天插天天日| 90色免费视频| 这里只有精品视频在线观看免费| 欧美丁香五月夫妻天| www.国产色| 91丁香色| 美女亚洲五月丁香| 色99日韩| 色五月丁香91| 丁香五月天堂网| 天堂久久久久天堂网| 日本99在线| 俺五月| 五月天开心激情综合网| 日本强伦片中文字幕免费看| 久久精品爱爱| 热久久91| 99热网址| 婷婷九月丁香| 影音先锋91视频| 秋霞日本免费毛片A片| 激情五月天综合网站网站网站| 婷婷综合色五月天| 色和综合网| 亚洲激情综合色站| 色欲av伊人久久大香线蕉影院| 亚洲xx在线| 99熟女| 五月丁香六月情| 9+1视频网址| 人妻视频在线| 女人天堂AV| 午夜天天精品视频| 丁香婷婷五月激情综合| 丁香五月婷婷影院| 婷婷综合色| 日韩AAAAAAAAAAA片| 最近中文字幕大全免费版在线 | 思思久久99热| 色五月激情五月开心五月| 人人爽天天爽| 丁香婷婷六月| 5月婷婷五月天| 人人爱操| 九九99视频精品| 91黄址| 婷婷激情五月天小说| 色婷婷在线综合色播网| 人妻久久久| 婷婷91| 色欲丁香久久| 国产精品第一国产精品| 激情五月激情综合网一级丸片| 色婷婷伊人| 久久伊人婷| 婷婷五月天欧美图片在线播放电驴| 婷婷五月综合网| 五月天操逼网| 婷婷成人视频| 99热这里只有精品98| 五月天网站亭亭| 97色五月丁香婷婷| 桃色五月天| 99伊人婷婷在线| 99热这里只有精品最新地址获取| 91碰碰碰久久久久| 亚洲五月天另类小说图片| 亚洲 成人 电影av在线观看| av性爱在线| 中文字幕在线免费看线人| 激情五月婷婷免费视频| 综合久久99| 亚洲网视屏| 久热AA| 色欲五月婷婷| jiujiu热在线视频| 婷婷成人基地| 婷婷五月丁香伊人| 亚洲六月色婷婷| 天天操B| 婷婷黄色| 夜精品无码A片一区二区蜜桃 | 五月天激情网站| 亚洲色色在线| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 99热精品10| 九九热在线视频观看| www99热| 激情第四色| 中文字幕在线日亚州9| 97久久视频| 这里只精品| 国产真实乱了老女人视频| 色色色色色爱| 成人综合视频在线| 久久精品99国产精品日本 | 国产精品五月丁香| 九九激情视频| 五月丁香婷婷综合| 热久久视频99| 99在线视频精品| 综合色播| 天天舔天天摸天天射| 中字幕视频在线永久在线观看免费| 五月婷婷婷自由综合| 婷婷久久欧美| 六月丁香网| 欧美久久婷婷| 超碰人人艹| 日本欧美成人片AAAA| 99热久草| 九九無碼| 五月丁香六月婷婷激情四射| 日日噜噜夜夜狠狠久久丁香五月| 丁香婷婷色情社区成人小说| 五月天啪啪| wwwav大香蕉| 一起草性爱不卡视频| 九九这里是免费的视频5| 久热免费视频| 天天综合 99久久婷婷| 亚洲无码成人网| 成人在线二区| 亭亭玉月丁香| 99九九视频精彩在线| 99热99在线| 婷婷五月超碰| 思思久久99| 色婷婷在线视频综合| 日本婷婷在线| 伊人激情啪啪| 这里只有精品免费视频| 色狠狠伊人久久五月丁香| 狠狠五月婷婷| 久久婷婷亚洲| 婷婷丁香五另类网站| 99热这里只有精品50| 婷婷五月色综合| 淫五月停停| 99性视频| 欧美五月丁香啪啪响视频| 婷婷五月丁香综合桃花色网| 大香蕉久久视频久久视频| 中文字幕丰满人妻无码专区| 99爱视频在线播放| 婷婷射图五月天| 久操大香蕉| 日韩在线观看网址| 另类少妇人与禽zOZZ0性伦| 色色五月天网站| 五月天婷婷六月| 99碰碰视频| 丁香婷婷久久五月天| 日日操夜夜撸| 色色色色色色色色网站| 91色在线/日韩| 99re热免费观看视频精品| 亚洲色色色色色色色色色| 九九热9| 亚洲色婷婷| 国产九九一区二区三区| 五月天激情丁香| 九九热这里只有精品12| 2023天天日夜夜爽| 婷婷五月天成人在线视频| 九九偷拍网| 黑人糟蹋人妻HD中文字幕| 亚洲99综合| 丁香婷婷五月天在线视频| 婷婷五月天成人动漫| 亚洲人妻av| 日韩99视频| 婷婷丁香黄色| 五月天婷婷色综合| 色婷婷无吗| 婷婷丁香五月天综合在线日韩| 人人草人人舔| 丁香激情五月天| 五月天激情综合| 97av在线视频| 色无码| 亚洲综合久| 色五月婷婷老师| 狠狠操在线视频| 天天橾日日橾夜夜橾17| 色综合综合网| rr天天操| 99在线精品视频免费观看20| 丁香五月人妻| 五月丁香亭亭操逼| 五月婷婷色五月| 亚洲最大五月六月丁香婷婷| 色色色色av色色色色| 色婷婷综合网站| 欧美国产一区二区三区| 欧美色频| 天天插天天射| 99欧美| www.国产色| 色色色色网| 婷婷深爱五月| 99精品视频免费观看近期发布| 香蕉久久国产AV一区二区| 国产乱子轮XXX农村| 婷婷色情 | 玖玖九九超碰| 26.uuu丁香五月婷婷| 欧美天堂久久| 激情com| 婷婷九月色| 月色色综合婷婷网| AA片在线观看视频在线播放| 亚洲婷婷91丁香| 丁香啪啪| 色婷婷网大全在线| 91疯狂操操操操| 亚洲av成人在线| 99免费热在线精品| 五月丁花色综合网| 激情五月婷黄版| www色色色com| 丁香五月婷婷社区| 人人澡玖玖一| 99黄色| 婷婷五月天电影网| 91丨九色丨大屁股| 91中文狠狠综合| 伊人五月天久久| 亚洲综合无码| 第四色婷婷五月| 综合网视频| 国産精品| av不卡网站| 久久丝袜婷婷| 9999热精品在线免费播放| 99热这里只有精品国产免费| 色五月丁香五月天| 五月天综合在线| 另类图片五月激情| 2025最新亚洲激情在线| 91日视频| 无码人妻精品一区二区蜜桃色欲| 懂色av蜜臀av粉嫩av永陈冠希| 亚洲综合字幕色色| 啪到高潮激情丁香五月| 激情综合五月| 六月婷婷操逼| 婷婷午夜激情| 大香蕉院线| 啪啪 综合网| 97色在线| 婷婷丁香五月天大香蕉| 日本精品在线噜噜噜| 狠狠狠五月婷婷六月丁香| 五月激情婷婷综合| 人妻有码乱操| 色情·com| 五月色综合网| 91在线操逼视频| 色婷婷www| 日日操日日爽| 91蜜桃婷婷狠狠久久综合9色| H亚洲| 超碰在线99| 五月天色社区| 久久久天堂国产精品女人| 91人人网| 婷婷激情综合| 国产av第一专区| 色婷婷婷av| 91婷婷色| www.com久久久久久久久久久久久久久久久| 任你操精品免费| 九九热免费观看视频| 日本天堂免费99| 天天综合天综合久久网| 天天成人综合| 五月天激情网图片| 丁香婷婷网| 五月叮香啪| 噜噜在线| 色欲Av五月天| 九九热在线精品视频| 成人网在线视频| 久久九九热视频| AⅤ网站在线看| 天堂中文国产| 啪啪婷婷五月天激情| 天天色2017| 狠狠久久婷五月综合色| 日本人妻A片成人免费看片| 东北黄色一级| WWW.桔色成人.COM| 97资源碰碰在线| 26uuu欧美日本| 婷婷天堂伊人| 婷婷干五月综合在线播放| 国产午夜成人AV在线播放| 亚洲va欧美| www.精品99| 丁香六月婷| WWW,五月| aaa9区免费在线观看| 99热在线中文字幕| 日木WWW视频| sewuyuejiqingwang| 五月婷婷综合在线| 欧美激情五月天在线观看| 色色色综合色| a69在线视频| 色色婷| 爱操人妻| 精品一二三区久久AAA片| 丁香五月天天哦| 五月婷婷啪啪网| 色五月 婷婷, 大香蕉| 99热九九在线| 婷婷综合仓库中文| 99热精品中文字幕| 久久五月天免费网站| 六月婷婷在线| 香蕉婷婷色五月| 日本啪啪网| 色久女| 激情婷婷| WwW天天干| 五月婷婷香蕉视频| 青草少妇激情| 久久99精品久久久久久三级| 99热这里只有精品2| 日本激情91| 婷婷香五月天| 玖玖伦理电影| 九一九九黄色| 丁香六月激情| 久久永久网址| 性爱综合网| 五月丁香六月日逼| 综合日本婷婷| 日日爽日日| 这里只有精品视频国产| 午夜激情久久| 久久精彩视频| 9久视频| 欧美成人va| 思99热精品久久只有精品| 国产欧美精品AAAAAA片| 久久色这里只有精品| 大香蕉狼人久久| 99热综合| 五月香蕉综合| 久久综合五月婷婷| www色婷婷| 激情九九这里只有精品| 欧美日韩成人在线观看| 色色国产| 婷婷色五月开心五月| 九九热这里精品| 免費观看aV在线网址| 日日夜夜天天爽| 26.uuu丁香五月婷婷| 99热婷婷| 婷婷五月亚洲一本在线丁香| 婷婷六月丁香在线| 欧美精品狠狠色丁香婷婷| 天天操加勒比| 5月色亭亭视频| 黄色毛片精品| 色婷婷丁香五月| 国产精品香蕉| 大香蕉九九| 欧美顶级少妇做爰HD| 婷婷性福五月天| 99热在这里只有免费精品| 西西4r午夜剧场| 色欲天天综合网| 国产高清精品色| 五月丁香琪琪| Av在线不卡一区| 丁香婷婷色五月| 99热99思午夜精品| 99网址在线看| 婷婷综合干| 欧洲色| 97极品在线| 这里只有国产精品在线| 大香网伊人久久综合| 亚洲成人在线在线| 欧美性爱五月天| 五月天综合视频| 丁香五月天在线直播观看| 久99综合婷婷| 综合五月丁香97| 一级黄在线| 色五月天丁香婷婷| 色色色色色色色色网站| 六月婷婷网站| 狠狠五月天婷婷| 色五月婷婷基地| 日韩精品99久久| 亚洲视频综合网| 99ri在线视频| 在线只有精品| 色九月婷婷丁香| 热久视频| 99re在线这里只有精品视频首页| 五月丁香婷婷国产精品综合| 97久人人| 超碰资源在线| 99在线视频免费| 久久综合九色综合88i| 日欧一片内射VA在线影院| 婷婷五月激情丁香| 丁香六月啪啪| 色色色色色色色色网站| 亚洲操逼网| 在线天堂9| 操骚货在线| 六月婷婷私欲| 小视频一区| 五月丁综合在线观看| 激情综合青草| 影音先锋女人av鲁色资源网小说免费| 久久之人妻| 在线中文亚洲| 丁香婷婷六月天| 99丁香五月婷| 操97| 色五月婷婷 成人| 亚洲婷婷五月天在线激情综合网| 99re熱| 久久98| 91免费看片| 日本久久视频| 色婷婷影视| 日本美女上人| 青草网在线观看| 激情文学 综合 色| 中文字幕丁香五月| 婷婷丁香五月天中文字幕| 激情五月四色| 手机旧版看人妻1025| 激情亚洲婷婷| 永久精品| 国产精品成人AV在线观看春天| 色区久久| 9热超碰| 婷婷五月色花丁香社区| 99人人操人人爱久久久| 九九色逼| 天天干-天天日| 亚洲激情精品| 夜夜大香蕉婷婷丁香| 九九久久五月天| 久久激情五月| 久久综合五月天激情小说网站| 亚洲视频码| 91精品又长又大又粗又爽又猛| 久久99免费视屏| 精品夜夜澡人妻无码AV| 九一牛视频探花| 九月婷婷综合网| 久久99精品久久久久久青青AR| 欧美日韩成人一区二区| 美女五月激情| 99er热精品视频| 26uuu国产| 自拍偷窥99热| av在线播放网站| 99在线播放| 区啪精品| 久久99热这里只有| 色丁香六月| 久久久精品AV| 国产AV一区二区三区最新精品| 办公室少妇激情呻吟A片在线观看| 182.t午在线观看| 五月天丁香婷| 亚洲婷婷丁香五月视频| 五月婷婷色综图片| 91 影音先锋| 特级操b片| 国产阿姨日皮艹逼内射视频| 丁香五月手机在线| 欧美激情综合色综合啪啪五月| 超碰69天堂| 五月婷婷丁香啪啪| 五月天婷婷色| 啪啪操操| 五月综合激情图片| 中文字幕综合| 操精品9| 婷婷久久五月天丁香| 激情婷婷丁香五月| 日本综合色色| 亚洲欧美日韩另类| 婷婷在线观看五月天在线视频| 天天爽天天日天天舔| 国产成人99久久亚洲综合精品| 婷婷五月视频| 丁香五月电影| 成人一区在线观看| 蜜乳A√| 超碰在线精品| www.五月婷| 丁香五月综合图片在线观看| 九九色欲网| 先锋影音av色五月天资源站| 欧美日本黄色| 九九热99热| 国产特级毛片AAAAAAA高清| 丁香五月AV| 婷婷五月伦理| 大香蕉九九| 久久久久久久久99精品| 五月婷婷开心综合| 黑人巨粗进入警花疼哭A片| 超碰在线国产9| 亚洲第一色网站| 激情综合在线观看| 久久婷中文字幕| 天天日天天干天天插天天射| 国产毛片精品一区二区色欲黄A片| 免费观看2018www黄色操逼网站| 美女婷婷六月色| 色婷婷19| 婷婷精品综合| 婷婷欧美| 色婷婷色| 久久久这里有精品| 婷婷五月天亚洲综合网| 激情综合色五月六月婷婷| 丁香五月激情综合| 婷婷色情网| 日本九九视频| ady狠狠入| 另类视频丁香五月| 丁香六月在线综合| 久久99热这里只有精品首| 激情六月婷婷| 丁香婷婷五月色成人网站| 亚洲美女网Va| 久久玖玖综合| 狠狠色大香蕉| 人人看人人97| 五月婷婷六月天| 停停五月色宗合| 亚洲婷婷欧美婷婷| 91丨人妻丨国产丨丝袜| 久久人妻乱| 日韩成人电影av| 五月天 无码| 欧美超碰亚洲| nvrentiantang av| 五月停性愛| 99re在线这里只有精品视频首页| 色婷婷五月天| 日日干日日s| 欧美性生交XXXXX无码小说| 国产色色网址网站| 免费视频WWW在线观看网站| 天天日天天摸天天| 色情五月丁香| 色婷婷XXXXX| 99热免费| 五月婷婷免费在线观看| 国产真实乱对白精彩| 99久久综合精品五月天| 无码视频国内精品久久久| 色色亚卅| 五月丁香激情啪啪网| 91九色欧美| 大香蕉婷婷丁香视频在线| 婷婷五月天久久久| 六月婷婷无码观看| 丁香五月婷婷社区| 丁香婷婷激情五月天无毒不卡蜜桃| 婷婷人妻激情| 天天日,天天插| 丁香六月色情| 大香蕉久久久久久久久| 五月丁香五月婷婷| 久久激情综合| av国产精品| 丁香五月婷久久| 91视频精品99| 五月天婷婷丁香| 色视五月天婷婷| 中文字幕人妻AV| 色99热| 99热这里只有精品国产免费| 无码91中文字幕| 五月色综合网| 丁香五月情色| 色吧网综合| 五月婷婷啪啪啪| 好好日激情五月天| 操碰色一区就去操| 久久婷网| 春色激情第四色| 伊人9草在线观看| 天天骑天天操| 天天色,天天日,天天做| 色色五月天婷婷| 在线观看视频1区| 色婷婷免费观看| 天色综合网站| 色玖玖玖| 丁香六月婷婷开心| 婷婷综合网站| 欧美激情综合| 九九视频在线观看视频在线播放69| 99在线热| 成人五月天视频播放| 99热自拍| 青青久久91| 五月开心网| 丁香五月激情婷婷婷婷在线观看| 狠狠看狠狠| 国产精品成av人在线视午夜片| 婷婷五月天网| 色婷激情网| 99久久99九九99九九九| 中文字幕人妻AV| 久久激情网| 日本操B视频| 99热香港| 日本久久婷| 日韩成人中文| 久久精彩免费视频| 婷婷六月天天| 婷婷六月久久综合导航| 天天色综合色| 日本一级一级一级一级| 婷婷五月丁香香蕉| 伊人大香蕉爱聚| 五月丁香综合| 五月婷婷av| 亚洲婷婷免费| 日逼免费视频| 五月天第四色开心色播| 五月婷婷与六月丁香图片激情| 亚洲成人AV电影在线| 天天操综合网| 67194成I人在线观看线路1| 天天日日爽| 久热视频A.| 欧美日韩成人免费在线| 玖玖@三月天天丁香婷婷| 天天爽天天| 久久激情五月婷婷| 六月丁丁香| 丁香六月天之亚州热女| 开心婷婷五月天电影院| 婷五月丁香俺| 99色激| 四虎成人精品永久免费AV九九| 九97免费视频| 亚洲日比视频| 99婷五月| 玖玖爱伊人网| 五月天婷久久| 99性视频| 日本三级中国三级99人妇网站| 九九人人精品| 欧美日韩成人高清在线| 久久这里只有精品热在99| 五月天婷婷深深爱| 五月丁香婷婷无码A∨| 99爱视频精品在线观看| 五月天狠狠网站| 182TV亚洲| 欧美成人AAA片一区国产精品| 亚洲免费看片| 五月丁香啪啪网| 超碰在线人妻| 亚洲综合激情五月久久| 婷婷五月色播放| 激情五月天在线视频| 精品人妻一区二区三区四区不卡在| WWW.99热| 思思热在线视频精品| 色五月婷婷色| av一级棒av| 开心色色五月天综合| 双性美人被调教到喷水A片| 日日影院 | 影音先锋91网站在线观看| 色五月激情五月| 五月丁香久久| 久久精品99国产精品日本 | 日本狠狠干| 五月激情小说| 五月婷婷影院| 国产精品成人在线| 青青草国产亚洲精品久久| 日本三级成人秘书精品片| 亚洲精品无码A片一区二区| 91精品激情9| 国产欧美日韩综合精品一区二区| 中文字幕无线久必| 丁香五月很很肏| 亚洲碰碰碰| 91五月天| 激情欧美婷五月| 岛国资源网| 亚洲成人人人操| 性天堂久久| 色色亚洲视频| 激情操逼婷婷| 91精产一区三区免费观看| 久久九区| 丁香久久| xfplayav在线| 可以免费观看的av| 婷婷五月色播放| 天天射网站| 婷婷五月天丁香综合网| 在线观看av网站| 色色丁香| www.六月丁香看AV| 久久久99免费视频| 九九色色| 艹色18p| 熟女激情网| 五月婷婷色综图片| 99热网站| 天天综合色| 综合欧美五月婷婷| 69久久99精品久久久久婷婷| 婷婷婷色五月| 99爱视频在线观看这里只有精品| 伊人久久婷婷| 五月丁香婷婷五月色| 超碰97免费在线| 国语对白性爱视频播放| 欧美五月婷婷| 国产精品久久久60086| 五月婷激情影院| 蜜桃五月天| 好色婷婷| 婷婷五月天av网| 婷婷涩涩五月天| 99色在线观看| 亚洲无AV在线中文字幕| 九九热精品99| 26uuu欧美亚洲日韩| 久久婷婷丁香| 亚洲无码影音| 丁香九月婷婷| 久久成人人妻| 99热这里只有精| 五月婷婷www| 丁香五月 综合| 国产美女视频久| av中文字幕免费观看| 国产精品国产| 亚洲精品国产精品乱码不99| 色七七九九| 九九九激情网| 99丁香五月婷| 婷婷五月天综合网| 欧美熟女视频 色婷婷| 色五月超碰| 五月天色婷婷伊人网| 亚洲天堂热| 色婷婷天堂| 天天干com| 精品一二三区久久AAA片| 啪啪激情网| 日日爽夜夜爽| 第四色色色色色丁香五月天| 人人操Av| 婷婷五月天成人网| 伊人玖玖网| 五月综亚洲| 伊人在线视频| 影音先锋五月天婷婷丁香在线观看| VA日本视频| 天天操B| 五月丁香六月婷婷激情四射| 第一区久久网站| 激情九月婷婷| 五月丁香免费视频| 丁香五月天视频| 亚洲精品另类| 永久地址 色| 亚洲字幕AV一区二区三区四区| 97碰碰电影| 欧洲第一久色| 丁香香蕉射射射| 草美女在线观看视频在线播放| 荷兰av一级| 加勒比久热| 九九热精品6| 欧美日本免费一道免费视频| 五月丁香美女| 狠狠色婷婷7777久| 久久人人超| 亚洲综合在线播放| 99ri精品在线| 激情亚洲婷婷六月| 疯狂做受XXXX高潮A片| 99热久久这里只有精品| 六月婷婷五月丁香| 久久久久久久综合狠狠综合| 99热这里只有精品4| 丁香六月啪啪啪| YJLZZJLZZ亚洲乱熟无码| 五月 成人 婷婷| 色婷婷888| 99干日本| 97色女人在线| WWW.婷婷五月天.COM| 国产免费一区二区三区三州老师F1F1.CC| www.激情五月天.con| 深爱激情综合网| 亚洲色色五月| 另类图片五月天| 五月天激情啪啪| 婷婷五月另类网站| 99婷五月| 伊人久久五月天| 26uuu色噜噜精品一区| 久久婷婷亚洲| 久草久青福利| 99原创自拍视频在线观看| 亚洲色域网| 屁股翘好撅高迎合跪趴| AV79| 伊人9草在线观看| 思思热99热| 丁香婷婷五月人体| 伊人色综合久久久| 色婷婷狠狠爱| 大香蕉伊人久久| 色五月婷婷激情五月| 中文字幕日产A片在线看| 六月丁香五月亭亭| 91久女| 婷婷五月天国产| 黄色短视频在线观看| 亚洲成人网站在线播放| 久99| 少妇2做爰HD韩国电影| 色婷婷丁香AV综合| 六月丁香婷婷综合影院| 欧美婷婷日本| 99热国产在| aaaa久久| 丁香激情五月| 色婷婷五月天激情| 激情5月婷婷| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 婷婷五月综合婷婷| 99丁香婷婷综合网| 99这里有精品视频| 在线国产精品色| 99久久超级| av狠狠操| 五月丁香色色| 日韩AV无码影片| 国产亚洲色婷婷久久99精品91| www。五月天激情| 日韩一区二区A片免费观看| 五月天综合视频网| 久久色五月天| 2018国产大陆天天弄| 夜夜做夜夜愛| 99在线69| 91se精品国产| 91干| 狠狠干思思热| 91色色色| a性生活久久无| 五月天成人在线视频网站| 九九热av| 五月婷婷很很色| 久久久99久久| 99热久久这里只有精品| 色99xx| 天天色天天日| 五月丁香六月婷婷网| 色波激情五月天| 五月花激情网| 九九综合色| 日日夜夜狠狠操| 天天激情综合| 天天肏高清在线| 91色呦哟| 九九久久网| 天天xxxxxx天天日| 婷婷五月激情的图片| 色99xx| www色色色com| 五月天狠狠| 俺来也综合网精品一区| 九九九九九九毛片| 91男女视频在线观看| 色色婷婷五月天| 婷婷丁香小说| 久久只这里有精品| 九九av| 久久亚洲无码| 另类丁香五月天区图| 五月丁香六月婷| 婷婷五月大香蕉| 激情综合色| 九九av在线| 中文字幕日本最新乱码视频| 亚洲成人免费在线| 狠狠色成人影片| 一级A片天天操夜夜操| 成人午夜免费电影| 激情五月天婷婷播播久久综合91| 色狠狠综合| 九九热免费视频| www,五月天激情| 国产Va视频| 丁香五月影院| 97碰碰视频在线观看免费| 丁香婷婷老司机久操| 丁香情色五月| 蜜臀AV在线观看| 久操人妻| 丁香五月Av| 丁香激情六月天婷婷| 99精品视频在线免费观看| 超碰在线99| 大香蕉伊人99| 色婷另类| 国产肏屄大片| 97色97干| 久久9999| 美欧成人视频| 男人天堂AV在线一区二区| 欧美97超碰| 九九色婷婷五月天| 99激情视频| 色99网| 九九综合久久| 六月久久婷婷| 欧美性丁香色色五月天干干| 九九色综合九九色| www.91.com处女在线直播| 超黄亚洲瑟瑟网站| 天天搡日日搡aaaaⅩ| 五月天色综合| 中文字幕激情综合| 婷婷丁香五月天影院 | 狠狠穞A片一區二區三區| 五月WWW| 激情婷婷五月黑人| 热久久这里只有精品20| 婷婷五月天伊人网在线观看视频| 在线观看玖玖资源免费观看| 91大屁股| 国产婷婷五月天| www,婷婷| 五月人妻婷婷视频| 五月丁香六月婷婷色情| 综合网啪| 日本三级韩三级99久久| 99热这里只有精品22| 五月丁香六月激情综合| 国产精品色色| 97日韩无套内| 精品九九网| 99婷婷国产最新视频| 久久婷婷丁香视频网| 97色欧美| 99综合网| 男人的天堂999| 开心五月婷婷六月丁香| 日本精品。999| 激情五月综合色婷婷| 天天做 天天爱| 婷婷五月天AV| 亚洲婷婷基地| 五月天啪啪啪| 欧美槡BBBB槡BBB少妇| 九九Y精品热播| 婷婷久久性爱| 激情综合女人网五月播播| 五月天成人伊人| 天天干天天干天天干天天干天| 色色 亚洲| 大香蕉综合在线| 天天看A片| 八戒青柠影视剧在线观看| 99热最新国内| 丁香五月婷婷偷拍| 97综合在线| 伊人狠狠狠综合| 婷婷五月av| 操一区| 成人做爰A片免费看视频| 香蕉99网| 婷婷终合色图| 激情四射五月天偷偷看婷婷| 伊人色欲五月天| 大香蕉欧美在线| 婷婷久久五月天| 六月丁香啪| 九九精品视频免费在线| 五月丁香好婷婷A片网 | 天天插天天爽| 精品国婬伦V无码久久久| 欧日韩成人| 97色伦另类图片小说视频 | 五月天久久婷婷婷| www.夜夜操.com| 五月天大香蕉| tingtingseav| 欧洲亚洲免费视频9| 五月欧美色色五月| 殴美激情综合网| 玩熟女五十AV一二三区| 丁香激情四射| 热的无码综合视频| 五月激情啪啪啪| 99丁香婷婷综合网| 久久九九99视频| www九九热| 婷婷精品综合| 亚洲婷婷免费| 色五月婷婷久久| 色五月婷婷青娱乐| 看黄的网站18禁| 日日操天天| 五月综合视频| 94干大香蕉| 欧美日韩大黄| 婷婷情爱五月天6| 五月婷婷大香蕉| 夜夜久久综合网| 九九热精品6| 五月停亭六月,六月停亭的英语| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 那里有AV网址| 婷婷综合一二三| 九月婷婷在线视频| 色色综合成人网| 五月天综合在线观看视频| 成人午夜天| 99啪啪视频| 激情婷婷五月| 99自拍视频在线| www.91在线观看| 婷婷丁香五月综合激情视频| 射久久丁香五月| 久久婷婷视频| 91九色无码内射| 97干婷婷五月天| 99九九久久| 亚州综合色| 99热99热不卡| 国产亚洲精品AAAAAAA片| 91超碰在线观看| 五月在线| 天天躁日日躁狠狠躁日日躁2022年5月9日| 超碰免费成人| 五月婷在线| 九月婷婷综合在线| 色色色色色色色综合| 日韩成人AV在线| 久久久久婷| 激情六| 婷婷天堂综合| 成人AV中文字幕| 五月丁香婷婷成人网| 九九热精品| 久99久视频| 丁香六月狠狠干| 色婷婷四色| 成人综合伍月天| 香蕉曰比| 五月天激情在线视频| JAPANRCEP老熟妇乱子伦视频| 激情欧美婷婷| 五月丁香色综合| 婷婷99视频精品| 天天操天天操天天操天天操天天操 | z色五月播播久久| 操婷婷基地| 久久激情五月天| 色噜噜狠狠狠狠色综合久欧美| 五月婷色丁香| 另类小说五月天| 丁香午月AV中文字幕| 性爱视频99| 开心五月婷婷五月| 色婷久久| 操操啪| 久久99热这里只有精品| 九九黄色网| www.黄色片-久久成人国产精品在线播放-999AV| 91seAV| 天天摸天天透天天舔| 二区成人视频| 伊人五月综合网| 玖玖综合色区在线观看| 久久久人妻门| 亚洲韩国日产综合AV| 婷婷丁香五月天中文字幕| 狠狠爱丁香婷| 五月涩涩网| 色婷婷狠狠18yy| 婷婷成年人免费视频| 97人人操人人插| 人人操人av| 9 1 A v久久久| 综合五月网| 超碰av天堂| 六月婷婷五月天| 亚洲一级色电影| 91操片| 天天做天天爱高潮片| 久久精品性爱| 五月深爱婷婷| 性做爰A片免费视频A片直播 | 激情丁香五月婷| 91无码色色| 九九精品视频在线观看| 青青999| 婷婷色五月激情强奸四射| 久久五月婷婷电影| av亚洲国产小电影| 天天干天天射综合网| 伊人激情综合| 久久婷婷网站| 怕怕av| 久久er99热精品一区二区| 五月婷婷综合潮喷| 9久久久| 99热免| 婷婷五月丁香激情色情| 婷婷碰碰| 成人网在线视频| 色婷婷久久综合久色| 丁香五月婷中字在线| jiZZdr| site:hcxsz888.com| 中字幕视频在线永久在线观看免费 | 婷婷五月激情视频网| 精品激情| 人人看人人草人人摸|