欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

深度學(xué)習(xí)訓(xùn)練實(shí)戰(zhàn):優(yōu)化器、學(xué)習(xí)率調(diào)度與過擬合排查全攻略

深度學(xué)習(xí)訓(xùn)練實(shí)戰(zhàn):優(yōu)化器、學(xué)習(xí)率調(diào)度與過擬合排查全攻略 前兩篇筆記我寫的是正經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和數(shù)學(xué)推導(dǎo)反向傳播怎么推、卷積怎么算、注意力機(jī)制的內(nèi)積為什么除根號d。那會(huì)兒覺得自己什么都懂了直到開始在真實(shí)數(shù)據(jù)集上訓(xùn)練模型才發(fā)現(xiàn)真正折磨人的不是公式而是那些訓(xùn)練過程里“玄學(xué)”一樣的細(xì)節(jié)。這篇筆記換個(gè)角度不聊網(wǎng)絡(luò)設(shè)計(jì)專門記錄我這幾個(gè)月調(diào)模型攢下來的實(shí)戰(zhàn)經(jīng)驗(yàn)包括優(yōu)化器選型、學(xué)習(xí)率調(diào)度、過擬合排查、訓(xùn)練不收斂的解決思路還有遷移學(xué)習(xí)里容易被忽略的坑。內(nèi)容主要來自我自己跑實(shí)驗(yàn)的訓(xùn)練日志和踩坑記錄適合已經(jīng)掌握深度學(xué)習(xí)基礎(chǔ)、正在動(dòng)手訓(xùn)練自己模型的讀者也適合那些理論看了不少但一上手就loss亂飄的人。1. 先從優(yōu)化器說起不是所有任務(wù)都適合默認(rèn)配置1.1 三個(gè)常用優(yōu)化器的本質(zhì)區(qū)別很多人拿到一個(gè)模型就默認(rèn)“優(yōu)化器用Adam就行”這沒有錯(cuò)但不夠聰明。我自己在這個(gè)問題上吃過虧所以先搞清楚三個(gè)主流優(yōu)化器到底差在哪。第一是帶動(dòng)量的SGD。它的核心思想很簡單在梯度下降的基礎(chǔ)上引入一個(gè)速度項(xiàng)讓更新方向不只依賴當(dāng)前梯度還參考之前幾步的運(yùn)動(dòng)方向。這么做能抑制震蕩尤其在loss曲面比較狹長的場景里效果很明顯。缺點(diǎn)是學(xué)習(xí)率要自己調(diào)得很小心而且對參數(shù)的每個(gè)維度用同一個(gè)學(xué)習(xí)率適應(yīng)性差一些。第二是Adam。它在SGD動(dòng)量思路上更進(jìn)一步給每個(gè)參數(shù)單獨(dú)維護(hù)一階動(dòng)量梯度均值和二階動(dòng)量梯度平方的均值相當(dāng)于每個(gè)參數(shù)都有自己的自適應(yīng)學(xué)習(xí)率。這個(gè)特性讓它對初始學(xué)習(xí)率的敏感度低很多很多新手上來設(shè)1e-3也能跑起來。但Adam有個(gè)問題它在訓(xùn)練后期容易出現(xiàn)極端的學(xué)習(xí)率泛化能力理論上不如調(diào)好的帶動(dòng)量SGD。第三是AdamW本質(zhì)上是把權(quán)重衰減從梯度更新中解耦出來。在傳統(tǒng)Adam里權(quán)重衰減會(huì)被除以二階動(dòng)量的平方根導(dǎo)致大梯度參數(shù)衰減得多、小梯度參數(shù)衰減得少這其實(shí)是錯(cuò)的。AdamW直接把權(quán)重衰減單獨(dú)作用在參數(shù)上不參與動(dòng)量的歸一化計(jì)算行為更可控。幾乎所有Transformer類模型都用它不是沒道理的。這里有個(gè)我在實(shí)際項(xiàng)目里體會(huì)很深的例子。有一回我訓(xùn)練一個(gè)圖像分類模型主干網(wǎng)絡(luò)用的是預(yù)訓(xùn)練的卷積網(wǎng)絡(luò)剛開始圖省事直接上了Adam初始學(xué)習(xí)率1e-3訓(xùn)練50個(gè)epoch驗(yàn)證集準(zhǔn)確率卡在86%左右上不去。后來把優(yōu)化器換成AdamW權(quán)重衰減設(shè)5e-2同樣的epoch數(shù)準(zhǔn)確率漲到了89%。原因就是AdamW的權(quán)重衰減作用得更干凈沒有和自適應(yīng)學(xué)習(xí)率攪在一起。1.2 學(xué)習(xí)率調(diào)度才是重頭戲優(yōu)化器決定了參數(shù)往哪個(gè)方向走、走多快但怎么走完全程要看學(xué)習(xí)率調(diào)度。我目前用得最多的是兩個(gè)階段組合先把學(xué)習(xí)率從一個(gè)很小的值線性升到目標(biāo)值warmup階段再用余弦退火慢慢降下來。為什么要warmup因?yàn)橛?xùn)練初期模型參數(shù)是隨機(jī)狀態(tài)梯度方向噪聲很大如果一上來就用大學(xué)習(xí)率很容易把參數(shù)推到某個(gè)不合適的區(qū)域后面很難收回來。尤其是在用Adam類優(yōu)化器時(shí)初期二階動(dòng)量估計(jì)不夠準(zhǔn)確學(xué)習(xí)率偏大容易產(chǎn)生震蕩。warmup相當(dāng)于讓模型先試探性地走幾步等梯度方向穩(wěn)定了再加速。余弦退火的理由比較直觀訓(xùn)練后期需要更細(xì)膩的步長來落入好的局部最優(yōu)解余弦曲線前半段緩慢下降、后半段快速下降正好符合訓(xùn)練由粗到細(xì)的節(jié)奏。我也試過Step Decay每30個(gè)epoch減半效果其實(shí)也不差但它需要手動(dòng)設(shè)定衰減節(jié)點(diǎn)不同數(shù)據(jù)集的最佳節(jié)點(diǎn)還不一樣不夠省心。warmup加余弦退火的實(shí)現(xiàn)非常簡單用PyTorch可以這樣寫import math from torch.optim import AdamW from torch.optim.lr_scheduler import LambdaLR def linear_warmup_cosine_decay(step, warmup_steps, total_steps): if step warmup_steps: return float(step 1) / float(warmup_steps) progress float(step - warmup_steps) / max(1, float(total_steps - warmup_steps)) return 0.5 * (1.0 math.cos(math.pi * progress)) total_steps 10000 warmup_steps 500 optimizer AdamW(model.parameters(), lr2e-4, weight_decay0.05) scheduler LambdaLR( optimizer, lr_lambdalambda step: linear_warmup_cosine_decay(step, warmup_steps, total_steps) )這段代碼配合一個(gè)逐step調(diào)用的循環(huán)就行注意這里lambda接收的是step計(jì)數(shù)而不是epoch因?yàn)椴煌琤atch size下每個(gè)epoch的步數(shù)不一樣按step調(diào)度更均勻。1.3 我常用的參數(shù)參考表下面是我在幾種常見任務(wù)上試出來比較穩(wěn)的初始配置可以作為起點(diǎn)再細(xì)調(diào)任務(wù)類型優(yōu)化器初始學(xué)習(xí)率調(diào)度器權(quán)重衰減CNN圖像分類SGD(動(dòng)量0.9)0.1配合batch size 256余弦退火1e-4CNN圖像分類AdamW1e-4warmup余弦0.05Transformer文本分類AdamW2e-5到5e-5warmup線性衰減0.01目標(biāo)檢測微調(diào)SGD(動(dòng)量0.9)0.001Step Decay1e-4生成對抗網(wǎng)絡(luò)Adam2e-4不衰減或固定0需要注意一個(gè)關(guān)聯(lián)變量初始學(xué)習(xí)率不是孤立設(shè)定的它和batch size成正比關(guān)系。經(jīng)驗(yàn)法則是batch size翻倍學(xué)習(xí)率大致也要翻倍因?yàn)樘荻裙烙?jì)更穩(wěn)定了可以承擔(dān)更大的更新步長。我一開始不懂這個(gè)batch size從32調(diào)到128的時(shí)候沒動(dòng)學(xué)習(xí)率結(jié)果訓(xùn)練非常慢白白浪費(fèi)了一個(gè)下午。2. 過擬合訓(xùn)練集漲、驗(yàn)證集跌最讓人頭疼的問題2.1 先判斷是不是真的過擬合過擬合這個(gè)事判斷錯(cuò)了比不判斷還麻煩。我之前有過一次經(jīng)歷看到驗(yàn)證集準(zhǔn)確率停下來就急著加各種正則手段結(jié)果把模型壓得太狠訓(xùn)練集都不收斂了。后來認(rèn)真看曲線才發(fā)現(xiàn)訓(xùn)練集loss還在下降驗(yàn)證集loss已經(jīng)反彈這才是典型的過擬合信號。判斷過擬合的幾條標(biāo)準(zhǔn)訓(xùn)練集loss持續(xù)降低驗(yàn)證集loss先降后升中間出現(xiàn)拐點(diǎn)。訓(xùn)練集準(zhǔn)確率接近甚至超過驗(yàn)證集準(zhǔn)確率并且差距越來越大。模型權(quán)重的L2范數(shù)在訓(xùn)練后期明顯增大說明部分參數(shù)被“撐”得很大。過擬合的根本原因是模型容量相對于數(shù)據(jù)量偏大模型把訓(xùn)練集里的噪聲也當(dāng)成規(guī)律學(xué)進(jìn)去了。所以對策有兩個(gè)方向一是減小模型有效容量二是增加數(shù)據(jù)的多樣性和數(shù)量。正則化手段的本質(zhì)都是在限制模型對訓(xùn)練數(shù)據(jù)的過度擬合程度。2.2 正則化手段怎么組合正則化不是堆得越多越好關(guān)鍵要看任務(wù)類型。Dropout是注意力模型里幾乎必用的手段一般加在Feed-Forward層和注意力輸出的殘差連接之后dropout率取0.1或0.2就夠。但在CNN主干網(wǎng)絡(luò)里Dropout的效果遠(yuǎn)沒有在Transformer里明顯因?yàn)榫矸e本身帶有空間共享的天然正則效果。我見過有人給ResNet50強(qiáng)行加了很多Dropout準(zhǔn)確率不升反降就是這個(gè)道理。如果要在CNN里用建議只加在全連接層之前而且概率不要超過0.5。權(quán)重衰減是最省心的正則手段它的對偶理解就是給參數(shù)空間畫了一個(gè)約束球防止參數(shù)變得過大。權(quán)重衰減系數(shù)的選擇我建議做一次快速小規(guī)模搜索比如在1e-5、1e-4、1e-3、0.01、0.05這幾個(gè)量級里對比。我踩過的一個(gè)坑是在AdamW里權(quán)重衰減設(shè)得太小比如1e-4幾乎不起作用設(shè)得太大又會(huì)欠擬合所以這個(gè)參數(shù)一定要放在和任務(wù)類型相關(guān)的上下文里調(diào)。標(biāo)簽平滑是另一個(gè)容易被忽視的正則技巧。傳統(tǒng)交叉熵在訓(xùn)練時(shí)要求模型對正確類別輸出接近1的置信度模型容易變得過度自信。標(biāo)簽平滑把正確類別的目標(biāo)概率從1降到比如0.9剩下的0.1分?jǐn)偨o其他類別相當(dāng)于告訴模型“不要那么絕對”。這在分類任務(wù)里基本沒有副作用我一般設(shè)0.1。早停是性價(jià)比最高的止損失控手段。驗(yàn)證集loss在連續(xù)N個(gè)epoch不下降時(shí)直接停掉保存歷史最優(yōu)的模型。這里有個(gè)細(xì)節(jié)早停不是看驗(yàn)證集loss本身而是看它有沒有打破歷史最低記錄比如連續(xù)7個(gè)epoch沒有新低就停止。我用的是保存最優(yōu)權(quán)重加記錄“最優(yōu)epoch序號”的方式而不是簡單淘汰模型文件。這幾種手段可以組合但要注意主次手段適用場景常見系數(shù)/參數(shù)備注DropoutTransformer、MLP0.1-0.2CNN主干慎用權(quán)重衰減所有任務(wù)1e-4到0.05AdamW里不要設(shè)太小標(biāo)簽平滑分類任務(wù)0.05-0.1對噪聲標(biāo)簽也有好處早停所有任務(wù)patience 5-10配合模型保存梯度裁剪訓(xùn)練不穩(wěn)定時(shí)裁剪閾值1.0不是正則但防爆炸2.3 數(shù)據(jù)增強(qiáng)的正確姿勢數(shù)據(jù)增強(qiáng)是隱形的正則化它通過改變訓(xùn)練樣本的形態(tài)讓模型學(xué)到更本質(zhì)的特征而不是輸入表面的統(tǒng)計(jì)模式。對圖像任務(wù)我常用隨機(jī)水平翻轉(zhuǎn)、隨機(jī)裁剪、顏色抖動(dòng)亮度、對比度、飽和度的組合。顏色抖動(dòng)對光照變化明顯的場景很有效但也別把顏色變到失真否則模型學(xué)不到真實(shí)分布的紋理。增強(qiáng)強(qiáng)度是個(gè)需要把握的度。過度增強(qiáng)會(huì)導(dǎo)致訓(xùn)練集樣本和真實(shí)數(shù)據(jù)分布差距過大模型在驗(yàn)證集上表現(xiàn)反而下降。我的經(jīng)驗(yàn)是先從標(biāo)準(zhǔn)增強(qiáng)開始比如水平翻轉(zhuǎn)加隨機(jī)裁剪觀察曲線形態(tài)如果過擬合明顯再逐步加入顏色抖動(dòng)、旋轉(zhuǎn)、尺度變換每一步都記錄驗(yàn)證集的變化。對Transformer類模型我現(xiàn)在用得比較多的是隨機(jī)掩碼。具體做法是對輸入嵌入的序列在時(shí)間維度上隨機(jī)mask掉一部分這能增強(qiáng)模型對缺失輸入的魯棒性。注意mask的比例不要超過15%否則訓(xùn)練信號太稀疏收斂很慢。3. 訓(xùn)練不收斂怎么辦一套可復(fù)制的排查流程3.1 先看loss曲線形態(tài)模型訓(xùn)練不收斂的時(shí)候最忌諱的就是盲目改參數(shù)。我現(xiàn)在的做法是先看loss曲線長什么樣不同形態(tài)對應(yīng)完全不同的病因。loss曲線形態(tài)可能原因排查方向一直不降在初始值附近震蕩學(xué)習(xí)率太低或數(shù)據(jù)沒配對好檢查數(shù)據(jù)、提高學(xué)習(xí)率loss直接跳NaN梯度爆炸、除零、數(shù)值溢出檢查模型數(shù)值穩(wěn)定性、用梯度裁剪快速下降后反彈并且震蕩劇烈學(xué)習(xí)率過高降低學(xué)習(xí)率或加warmup訓(xùn)練loss正常驗(yàn)證loss亂竄overfitting或驗(yàn)證集太小檢查數(shù)據(jù)劃分、加正則降到某個(gè)平臺(tái)就是不動(dòng)陷入局部極值或?qū)W習(xí)率太小換優(yōu)化器、重啟訓(xùn)練、cosine退火我印象最深的一次排查是loss一直不降試了很多辦法都沒用。后來抱著懷疑的心態(tài)打印了一批訓(xùn)練樣本發(fā)現(xiàn)輸入x和標(biāo)簽y在數(shù)據(jù)加載時(shí)對齊錯(cuò)了x還是第一版的索引y已經(jīng)換成了新版本。這種低級錯(cuò)誤最耗時(shí)間因?yàn)樗粓?bào)錯(cuò)損失只是不降而已。所以排查不收斂時(shí)第一件事永遠(yuǎn)是檢查數(shù)據(jù)。3.2 從數(shù)據(jù)側(cè)排查數(shù)據(jù)問題排在模型問題前面因?yàn)閿?shù)據(jù)比模型更容易出錯(cuò)。我整理了自己常用的排查清單確認(rèn)x和y的對應(yīng)關(guān)系隨機(jī)打印幾個(gè)樣本人工核對標(biāo)簽。檢查數(shù)據(jù)是否每個(gè)epoch都進(jìn)行了shuffle。如果不shuffle模型會(huì)學(xué)到樣本順序的假規(guī)律驗(yàn)證集表現(xiàn)會(huì)很不穩(wěn)定。檢查樣本分布是否極端不均衡。某個(gè)類占比超過90%時(shí)模型會(huì)傾向全部預(yù)測成這個(gè)類看起來loss在降但實(shí)際沒學(xué)到東西這時(shí)候需要class weight或重采樣。檢查歸一化方式。圖像一般用均值0.5、標(biāo)準(zhǔn)差0.5歸一化到[-1,1]或者用數(shù)據(jù)集自身的均值方差。文本任務(wù)里padding mask有沒有正確傳給損失函數(shù)也容易被忽略。這里有個(gè)容易踩的坑在驗(yàn)證集上也使用了訓(xùn)練時(shí)的數(shù)據(jù)增強(qiáng)。增強(qiáng)會(huì)在驗(yàn)證時(shí)給同一個(gè)樣本引入隨機(jī)性導(dǎo)致每次驗(yàn)證結(jié)果都不一致你根本分不清模型是變好了還是變壞了。驗(yàn)證階段必須關(guān)閉所有隨機(jī)增強(qiáng)只保留確定性預(yù)處理。3.3 從模型側(cè)排查數(shù)據(jù)檢查完沒問題就該看模型內(nèi)部的數(shù)值情況。我最常用的手段是打印每一步的梯度范數(shù)。訓(xùn)練不收斂的模型梯度范數(shù)要么小到接近0要么大到幾千。梯度接近0說明梯度在反向傳播過程中消失了常見原因是網(wǎng)絡(luò)太深、激活函數(shù)選擇不當(dāng)或者初始化不當(dāng)導(dǎo)致輸出飽和梯度很大說明反向傳播時(shí)梯度越積越大層數(shù)多的時(shí)候尤其容易發(fā)生梯度爆炸。具體檢查方法是在每個(gè)step的backward之后、optimizer.step之前把各層參數(shù)的梯度范數(shù)打印出來total_norm 0.0 for p in model.parameters(): if p.grad is not None: param_norm p.grad.data.norm(2) total_norm param_norm.item() ** 2 total_norm total_norm ** 0.5 print(fgrad norm: {total_norm:.4f})如果發(fā)現(xiàn)某一層的梯度和別層差了好幾個(gè)數(shù)量級基本就是數(shù)值不穩(wěn)定的根源。解決方案通常是梯度裁剪把整體梯度范數(shù)限制在1.0或5.0以內(nèi)torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)初始化方式也值得檢查?,F(xiàn)代網(wǎng)絡(luò)結(jié)構(gòu)一般自帶默認(rèn)初始化但如果是自己搭的非常規(guī)結(jié)構(gòu)要用Kaiming或Xavier初始化來匹配激活函數(shù)的尺度。我見過一個(gè)自己寫的MLP用了全零初始化結(jié)果訓(xùn)練了200步loss紋絲不動(dòng)換成Kaiming初始化后馬上開始下降這種問題從數(shù)值上查是最快的。3.4 關(guān)于隨機(jī)種子的執(zhí)念排查不收斂的時(shí)候我還有一個(gè)習(xí)慣固定隨機(jī)種子。不固定的種子會(huì)讓每次運(yùn)行結(jié)果都有細(xì)微不同排查問題的時(shí)候很難判斷改動(dòng)到底有沒有效果。建議在訓(xùn)練腳本開頭固定所有相關(guān)種子import random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed)但我也要提醒一點(diǎn)固定種子只是排查和復(fù)現(xiàn)實(shí)驗(yàn)的手段不是解決不收斂的方案。如果模型在好幾個(gè)不同的種子下訓(xùn)練結(jié)果波動(dòng)巨大那說明訓(xùn)練本身不穩(wěn)定光靠固定種子是在掩蓋問題真正的病因可能是學(xué)習(xí)率太高或者數(shù)據(jù)太少。4. 遷移學(xué)習(xí)與微調(diào)小數(shù)據(jù)集救星但不是無腦加載權(quán)重4.1 什么時(shí)候適合微調(diào)手上數(shù)據(jù)量少的時(shí)候從頭訓(xùn)練一個(gè)大模型基本是死路。預(yù)訓(xùn)練模型已經(jīng)在海量數(shù)據(jù)上學(xué)到了通用的底層特征比如邊緣、紋理、形狀結(jié)構(gòu)這些知識(shí)對小數(shù)據(jù)集很有價(jià)值。我的經(jīng)驗(yàn)判斷標(biāo)準(zhǔn)是如果訓(xùn)練集只有幾千張圖或幾萬條文本從頭訓(xùn)練很難達(dá)到滿意的效果微調(diào)幾乎必然優(yōu)于從頭訓(xùn)練。當(dāng)數(shù)據(jù)量達(dá)到百萬級時(shí)從頭訓(xùn)練才可能和微調(diào)打平。在數(shù)據(jù)量為中等規(guī)模比如幾萬到幾十萬微調(diào)依然是最省時(shí)間的方案。4.2 凍結(jié)與解凍策略微調(diào)最忌諱的是直接用一個(gè)大學(xué)習(xí)率去更新全部參數(shù)尤其是預(yù)訓(xùn)練模型的底層特征已經(jīng)足夠通用大更新會(huì)把它們破壞掉。我常用的策略分兩步走第一步凍結(jié)backbone部分參數(shù)只訓(xùn)練新加的任務(wù)頭。比如圖像分類時(shí)凍結(jié)卷積網(wǎng)絡(luò)的所有層只訓(xùn)練global pooling和最后的全連接層。這一步讓任務(wù)頭先適應(yīng)預(yù)訓(xùn)練特征輸出大約訓(xùn)練5到10個(gè)epoch。凍結(jié)的實(shí)現(xiàn)很簡單for param in model.backbone.parameters(): param.requires_grad False optimizer AdamW(filter(lambda p: p.requires_grad, model.parameters()), lr1e-3)第二步解凍backbone但用一個(gè)小得多的學(xué)習(xí)率比如1e-5到3e-5和任務(wù)頭一起繼續(xù)訓(xùn)練。這么做是為了讓預(yù)訓(xùn)練特征在目標(biāo)任務(wù)數(shù)據(jù)上做細(xì)微調(diào)整又不至于偏離太遠(yuǎn)。有些任務(wù)甚至全程都只訓(xùn)任務(wù)頭就夠了尤其是任務(wù)和預(yù)訓(xùn)練任務(wù)比較接近、數(shù)據(jù)量很小的時(shí)候。我還試過一種變體把參數(shù)分成兩個(gè)組backbone一個(gè)組用低學(xué)習(xí)率任務(wù)頭一個(gè)組用正常學(xué)習(xí)率用一個(gè)optimizer就能管理optimizer AdamW([ {params: model.backbone.parameters(), lr: 1e-5}, {params: model.head.parameters(), lr: 1e-3}, ], weight_decay0.05)這種分層學(xué)習(xí)率的方法比手動(dòng)凍結(jié)解凍更方便適合一次跑完整個(gè)流程。4.3 經(jīng)驗(yàn)坑BN層在微調(diào)時(shí)的行為微調(diào)時(shí)最容易被忽略的是BatchNorm層。BN層在訓(xùn)練時(shí)維護(hù)一組running mean和running variance這是從訓(xùn)練數(shù)據(jù)上積累出來的統(tǒng)計(jì)量。如果你的batch size比較小比如8或16BN統(tǒng)計(jì)量會(huì)很不穩(wěn)定因?yàn)樗挥卯?dāng)前batch的均值和方差來歸一化小batch本身噪聲就大。剛才說的“先凍結(jié)backbone只訓(xùn)分類頭”對含BN的網(wǎng)絡(luò)要格外小心。凍結(jié)參數(shù)只是不再更新scale和shift但BN的running stats在訓(xùn)練模式下還是在更新的這可能導(dǎo)致預(yù)訓(xùn)練模型統(tǒng)計(jì)量被小batch小數(shù)據(jù)帶偏。我踩過這個(gè)坑微調(diào)一個(gè)帶BN的卷積網(wǎng)絡(luò)時(shí)凍結(jié)backbone解凍head驗(yàn)證集準(zhǔn)確率反而下降就是因?yàn)锽N統(tǒng)計(jì)量被污染了。解決辦法有兩個(gè)方向。一個(gè)是把BN層也凍結(jié)通過設(shè)置requires_grad之外再維護(hù)一個(gè)“只跑前向不更新統(tǒng)計(jì)量”的模式另一個(gè)是batch size盡量保持適中不要太小讓BN統(tǒng)計(jì)量有足夠的樣本支撐。如果顯存不允許大batch建議干脆用LayerNorm替代BN結(jié)構(gòu)的模型或者使用GroupNorm這類不依賴batch大小的歸一化方式。還有個(gè)更典型的坑是解凍全部層之后驗(yàn)證集準(zhǔn)確率反而下降。這往往發(fā)生在目標(biāo)數(shù)據(jù)和預(yù)訓(xùn)練數(shù)據(jù)分布差異比較大的場景。比如預(yù)訓(xùn)練模型是從通用圖像數(shù)據(jù)上學(xué)的你的任務(wù)是某種特定的醫(yī)學(xué)影像淺層特征雖然通用但高層特征差異很大。此時(shí)要謹(jǐn)慎解凍最后幾層或者學(xué)習(xí)率設(shè)得更低比如1e-6量級同時(shí)加上早停在驗(yàn)證集最優(yōu)的時(shí)候及時(shí)停止。5. 實(shí)驗(yàn)管理別讓結(jié)果無法復(fù)現(xiàn)5.1 日志記錄與模型保存訓(xùn)練深度學(xué)習(xí)模型實(shí)驗(yàn)管理做得越好后期效率越高。我最早訓(xùn)練模型時(shí)只在控制臺(tái)打印日志模型只保存最后一個(gè)checkpoint結(jié)果想分析某個(gè)epoch為什么效果最好時(shí)根本沒有數(shù)據(jù)可用?,F(xiàn)在我的習(xí)慣是至少記錄三樣?xùn)|西每個(gè)epoch的loss和指標(biāo)、模型的歷史最優(yōu)權(quán)重、完整的配置參數(shù)。模型保存方面我建議保存歷史最好的幾個(gè)checkpoint而不是只保留最后一個(gè)。可以用類似這樣一個(gè)簡單邏輯每個(gè)epoch結(jié)束后在驗(yàn)證集上評估如果指標(biāo)超過歷史最優(yōu)就把當(dāng)前權(quán)重存成best_model.pth同時(shí)把epoch號寫在文件名里。這樣即使后面訓(xùn)練崩了也還有最優(yōu)模型兜底。配置參數(shù)一定要保存成獨(dú)立文件和模型權(quán)重放在同一個(gè)目錄下。很多復(fù)現(xiàn)不了實(shí)驗(yàn)的問題都是因?yàn)檫^了一周自己都忘了當(dāng)時(shí)用了什么學(xué)習(xí)率、什么batch size、什么增強(qiáng)方式。用PyTorch的話可以在啟動(dòng)訓(xùn)練時(shí)把所有超參數(shù)整理成字典存成JSONimport json config { optimizer: adamw, lr: 2e-4, weight_decay: 0.05, batch_size: 64, epochs: 30, warmup_steps: 500, loss: cross_entropy, seed: 42, model_name: resnet50, } with open(config.json, w) as f: json.dump(config, f, indent2)5.2 對比實(shí)驗(yàn)的變量控制做對比實(shí)驗(yàn)時(shí)最大的敵人是變量不干凈。我見過別人滿懷信心地跟我說某技巧提升了兩個(gè)點(diǎn)但仔細(xì)一問他同時(shí)改了學(xué)習(xí)率調(diào)度、改了數(shù)據(jù)增強(qiáng)、還換了優(yōu)化器這根本沒法歸因。正確的打開方式是一次只改一個(gè)變量其余全部保持一致。具體執(zhí)行時(shí)我習(xí)慣給每輪實(shí)驗(yàn)編一個(gè)簡短的名字比如baseline_v1、aug_v2、adamw_v3然后把每輪實(shí)驗(yàn)對應(yīng)的config文件和日志文件都存好。橫向比較時(shí)固定評價(jià)指標(biāo)和評估數(shù)據(jù)集比如只用驗(yàn)證集上的top-1準(zhǔn)確率做比較。不要一會(huì)兒看準(zhǔn)確率一會(huì)兒看loss這兩個(gè)指標(biāo)關(guān)心的問題不一樣。這里有個(gè)我自己的小習(xí)慣每次實(shí)驗(yàn)前先在表格里記下“這次要改的變量是什么、預(yù)期效果是什么、對照組是哪個(gè)”。雖然看起來有點(diǎn)繁瑣但它能逼著你想清楚每個(gè)實(shí)驗(yàn)的目的避免白白浪費(fèi)算力在無意義的試錯(cuò)上。實(shí)驗(yàn)編號改動(dòng)變量固定不變的因素驗(yàn)證集指標(biāo)baseline_v1無全部默認(rèn)86.2%aug_v2增加顏色抖動(dòng)默認(rèn)其余全部87.1%adamw_v3換成AdamW默認(rèn)增強(qiáng)調(diào)度89.0%lr_v4學(xué)習(xí)率降到1e-4同上88.4%這張表看起來簡單但堅(jiān)持記錄下來你會(huì)發(fā)現(xiàn)幾輪實(shí)驗(yàn)之后完成了一套很有價(jià)值的“經(jīng)驗(yàn)地圖”哪些改動(dòng)對當(dāng)前任務(wù)有效、哪些無效一目了然。結(jié)束語這篇筆記寫到這里其實(shí)還沒有把我想記錄的都寫完比如分布式訓(xùn)練、混合精度、模型量化這些話題都還沒展開以后有機(jī)會(huì)再單獨(dú)寫。但從我自己這半年的實(shí)戰(zhàn)感受來說深度學(xué)習(xí)訓(xùn)練中真正拉開差距的往往不是誰看了更多論文而是誰能在loss不降的時(shí)候冷靜地一步步排查在過擬合出現(xiàn)的時(shí)候找到正確的組合拳在微調(diào)的時(shí)候尊重預(yù)訓(xùn)練模型的“體質(zhì)”。如果你是正在自己動(dòng)手跑模型的讀者我建議把優(yōu)化器、學(xué)習(xí)率調(diào)度、早期停止、種子固定這幾件事先踏踏實(shí)實(shí)做扎實(shí)大部分訓(xùn)練問題都能在這些基礎(chǔ)設(shè)置里找到答案。最后再分享一個(gè)小技巧每次訓(xùn)練前先在驗(yàn)證集上跑一個(gè)epoch看看模型能不能快速用少數(shù)樣本過擬合這一步看起來多余但它能幫你快速確認(rèn)代碼鏈路沒有低級錯(cuò)誤省下來的時(shí)間遠(yuǎn)比訓(xùn)練一次多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
人人添人人| 国产精品日日躁夜夜躁| 久久精品63| 影音先锋色婷婷| 99精品视频在线观看| 色狠狠综合| 五月天综合色| 狠狠狠狠狠狠草| 4399精品一区二区| 丁香五月婷婷色| 热久久思思热思思| 天天日综合| 亚韩在线视频| 九九九激情综合| 五月婷久久综合| 亚洲无码影片| 欧美内射AA| 99精品视频在线免费观看| 婷婷日日天天| 色色综合网站| 百度一下国产精品A| 日韩在线一级| 丁香五色月婷婷网| 天天操中文字幕| 亚洲精品视频在线播放| 1024亚洲| 色五月开心五月激情五月| 五月情色天| 天天操婷婷| 香蕉AV福利精品导航| 久久九网| 亚洲小视频免费观看| 操丝袜视频影院导航| 翔田千里 50岁 无码| 婷婷五月深情丁香深爱日韩| 思思 热 99| 久久久久9| 超碰在线日夜| 五月色在线| 久久深爱激情网| 婷婷色色丁香五月天| 国产激情综合五月久久| 97极品在线| 69婷婷丁香午夜| 色爱综合网| 国产又黄又爽又色的免费| 殴美97色| 秋霞电影一级黄| 五月婷婷免费看| 色五月播五月| 婷婷99热| 国产午夜一区二区三区| 亚洲亚洲人成综合网络| 丁香五月激情婷婷视频| 五月天婷婷久久| 欧美人与性动交CCOO| 久久婷婷人人| 五月婷婷花| 97色婷婷成人综合在线观看| 亚洲第二AV| 丁香五月天色| 婷婷丁香久久| 9精品视频在线| 色五月丁香激情| 成人国产综合| 久久 中文 日本| 色噜噜,噜噜色| 五月婷婷草| 最近中文字幕2019视频1| 性爱激情小说AV五月丁香花| 五月丁香亚洲综合网| 99精品在线观看视频| 男妓跪趴把舌头伸进我的嘴巴| 日韩无码性爱| 丁香五月亚综合图片| 99热超碰在线| 中文网AV| 五月天播播中文字幕| 伊人在线视频| 99在线免费视| 五月丁香婷婷色| 97人人干。| 99re这里只有精品视频6| 婷婷射图| 五月综合丁香婷婷| 久久久无码精品成人A片小说| 五月天婷婷综合| 热久69| 3p日韩网站视频| 人人干av| 九月婷婷激情| 九九干视频| 亚洲电影中文字幕| 九九视频这里只有精彩| 欧美 日韩 人妻 高清 中文| 色综合久| 九九婷婷网五月天| www.99色| 色婷网| 婷婷五月色情天| 超碰国产在线观看| 综合久久首页| 婷婷五月成人| 中文字幕AV网址| 天天干狠狠| 久9综合| 综合激情开心五月| 天天干天天做| 人人舔人人色人人高潮| 国产美女无遮挡裸体毛片A片 | 婷婷五月小说色综合| 五月激情婷婷丁香天堂| 色99视| 99亚州综合精品成人网| 天天综合五月天| 日本在线va| 色婷狠狠| 999久久久国产精品| 丁香六月av| 狠狠搞狠狠操| 91精品婷婷国产综合久久| 六月丁丁香| WWW、日本色丁香、co m| 人人干天天操五月丁香| 日韩国产AV播放| 国产精品A片| 色婷婷呢狠禁久禁| 丁香六月成人| 99 re视频一区| 色五月婷婷综合| 久久久久久久久久久97| 婷婷午夜激情| 超碰AV在线| 婷婷操逼| 五月婷婷婷婷婷| 久久小说| 婷婷色色欧美| 久久久久99精品成人网站| 六月综合婷婷开心伊人| 五月天色综合| 少妇性按摩无码中文A片| 五月天激情网址| 中文字幕一色哟哟哟哟| 五月丁香婷婷综合视频| 天天操B| 91无码视频| 激情五月天丁香| 五月婷婷AV| 婷婷五月天美女| 熟女人妻一区二区三区免费看| 五月天综合区| 97婷婷丁香五月天激情图片| 亚洲色综合| 99五月丁香丁| 亚洲人操亚洲人| 婷婷六月色情| 7777精品伊人久久久大香线蕉最新版| 久久久久久激情| 9精品一区| 91丨九色丨熟女丰满| 涩 五月 婷婷 狠狠| 日日撸日日操| 91大神在线免费看视频全集男男一起操| 五月久久婷婷成人网| 这里只有精品96| www色综合| 五夜丁香| 1000部毛片A片免费观看| 欧美噜一噜| 天天日本夜夜谢| 久久婷婷五月综合啪| 婷婷五月无码| 夜夜操天天爽| 免费九九热| 午夜天堂一区人妻| 日本一级一片免费视频| 色情播放| 桃色激情五月天| 亚洲精品亚洲人成人网| 亚洲人妻五月丁香婷婷| 久久99精品九九久久久婷婷| 久久免费少妇高潮99精品| 天天干天天干天天干| 99er这里只有精品视频| 婷婷五月娱乐在线| 亚洲午夜av| 五月丁香六月激情啪| 97婷婷在线| 国产精品成人在线| 少妇人妻人伦A片| 欧美成人无码一区二区三区| 97超级碰碰碰| 亚洲视频在线观看| 超碰九九热| 精品人妻久久久| 国产精品丝| 人人摸人人干| 色五月激情| 国产丁香五月天婷婷| 一级韩国产精品毛| 嫩草视频在线观看| 99视频地址| 亚洲AV无码一区二| 精品人妻午夜一区二区三区四区| 啊V视频在线观看| 久久成人精品视频| 亚洲欧洲99| 婷婷中文字暮| 在线播放人妻| 丁香五月天啪啪| 91色情播放| 欧美激情 日韩无码 婷婷 五月天| 色婷婷aV四虎| 丰满老熟妇BBBBB搡BBB| 99无码黄色视频| 久久视频这里99| 欧美日本VA| 婷婷五月六月丁香| 婷婷最新地址| 丁香激情网| 丁香婷婷色色| 婷婷天天色| 五月色情婷婷开心五月天| 综合 蜜月 婷婷| 激情五月天网| 国产成人av在线播放| 五月天成人网婷婷| se99高清无码| 天天色天天射天天日| 激情5月婷婷| 日本丁香五月| 婷婷五月天成人网| 日日操夜夜撸| 婷婷五月天综合小说网| 久久婷婷五月天激情| 96精品久久久久久久久| www,超碰| 伊人九九68| 久色资源| 五月丁香婷婷成人网| 99在线小视频| 99re思思久久| 伊人婷婷五月| 思思99精品视频在线观看| 99热99美国在线观看| 久草热久草在线视频| 久久综合干| 视频色色色色色色| 青青草原福利在线| 26uuuuuuuu国产| 婷婷丁香成人在线视频| 91精品电影18T| 97色在线| 大功率国产在线| 久久五月天色婷婷| 色欲影香| Www99热| 五月情涩综合婷婷| 九九久热| 丁香五月婷婷色| 99视频在线观看视频| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 久久人妻精品| 五月天综合在线| 国产 亚洲 在线| 五月丁香激情综合啪啪| 99精品一二三四视频| 国产va视频| 久久婷婷综合五月趴| 亚洲丁香五月深爱五月| 婷婷永久在线| 26uuu亚洲欧美另类| 99在线观看免费精品视频| 婷婷中文字幕| 另类专区在线观看| 99re6热在线精品视频播放速度| 99日本视频| 亚洲AV另类| 五月丁香亭亭AV女优| 黄色AAAAAAA| 六月婷婷天堂| 激情五月色综合网| 99re热在线观看| 婷婷九月狠狠色| 色色五月婷婷久久| jiqingtaose五月天| 99福利导航| 婷婷的久久网站| 九九干视频| 激情久久婷婷| 婷婷色九月| 亚洲国产成人在线| 激情综合青草| 99精品爱| 热久精品| 丁香五月色网| www.五月天| 日日操天天操| 天天综合网~91| tingtingseav| 日本成人综合| 超碰在线人妻| 激情www.98com| 99综合免费视频| 五月色色激情网| 99爱视频在线观看| 夜夜干夜夜操| 99精品偷自拍| 婷婷五月激情综合啪啪| a在线观看| 色区久久| 五月天婷婷深深爱| 夜夜爱伊人| 天天狠天天叉| 成熟妇人A片免费看网站 | 色综合色综合色综合| 国产精品视频网| 亚洲综合草草| 天天噪夜夜爽| 婷婷六月色开| 色色亚洲| 久久蜜臀婷婷| 99久热在线精品| 国产色色网站网址| 婷婷网五月天| 色九区| www.99操| 热九九精品| 婷婷色五月久久| 亚洲婷婷综合视频| 日本99久久| 久久婷婷五月综合色播| 色情五月婷| 欧美日韩999| 99A片| 最新av在线观看| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 亚洲无aV在线中文字幕 | 成人精品视频99在线观看免费| 成人性生活免费观看。| 五月丁香综合啪啪| 五月开行婷婷色五月| 丁香五月天.com| 色婷婷影院| 色婷婷人人| 人妻人人操| 色色网站免费观看| 美女五月天| 丁香五月色情av| 五月色婷婷中文字幕| 色婷婷深爱五月| 99热精品中文字幕| 拍真实国产伦偷精品| 天天射色五月天| 丁香5月激情网| 这里只有精品网| 人妻久久久久久久 | 色五月婷婷视频| 在线观看亚洲视频影院| 丁香五月狠狠在线观看| 性爱AV天堂| 99热99热在线| 国产精品扒开腿做爽爽爽A片唱戏| 91久久久久久久久久| 色婷婷五月天激情在线播放| 久综合色| 奇米四色五月天| 丁香五月天激情婷婷丁香六月| 成人开心五月天| 伊人婷婷五月天| www热久久yy9| 午夜婷婷五月天| 色五月五月婷婷| 色综合av超碰| 狠狠干五码| 五月丁香婷婷综合网| 国产人人操| se色99| 久久电影4399| 99久久.www| 久久这里只有精品视频26| 99免费视频久久| 亚洲激情婷婷| 五月天另类小说久久小说网| 五月亭亭六月激情| 九九99久久| 4399亚洲视频| 婷婷丁香五月婷婷| 五月天综合色| 婷婷五月天天aV| 亚洲无码99| 丁香六月色婷婷| 色色色色色色色色网站| 色香蕉婷婷| 欧美在线骚货| ww久久| 亚洲a片免费观看| 色婷婷婷综合五月天| 99精品自拍| 日韩综合久| 婷婷五月花西瓜| 成人无码精品1区2区3区免费看| 伊人99热| 9色在线| 99超碰在线观看| 色五月婷婷丁香五月| 又大又粗九一在线| 97色五月天| 九九热在线精品| 婷婷五月色综合| 日本五月婷婷| 影音先锋91男人资源在线播放| 丁香六月激情综合网| 色情五月综合婷婷| AA丁香综合激情| 中文字幕不卡+婷婷五月| 一操久久| 另类小说五月天| 婷婷综合干| 五月丁香久久丝袜啪啪| 日比视频91| 天天做综合网色综合| 99精品视频在线观看| 久久成人性爱| 疯狂做受XXXX高潮A片| 日夜操B| 日本三级中国三级99| 91互操| 人妻久久久久久| 日韩AV一区二区三区| 色五月激情婷婷| 五月刺激丁香月综合| 久久精品国产色| 国产免费一区二区在线A片视频| 99视频这里只有免费精品| 中文字幕在线观看视频www| 丁香六月激情| 欧美va在线| 五月丁香六月婷婷精品| 99视频自拍| 狠狠五月丁香色婷| 亚洲久久天堂| 国产精品久久久海的味道| 91天堂网综合| 爱久综合| 五月婷婷伦理| 玖玖爱伊人网| 噜噜网免费视频| 婷婷色偷拍| 天天爽天天| 五月丁香亭亭操逼| 伊人激情影院| 五月丁香啪啪啪啪| Caoporn公开| 99热这里只有精品青草| 91seav| 在线只有精品| 国产热精品| 1024成人免费看| 日本婷婷色日| 久久久8| 久久五月视频| 婷婷丁香激情| 九九人人看| 九热...av| 国产片天天爽夜夜爽| 亚洲亚洲人成综合网络| 婷婷色爱| 71在线精品视频一区| 99狠狠操一| 婷婷五月天国产精品| 国外亚洲成AV人片在线观看 | 亚洲在线成人| 久久9视频| 99国产小视频免费观看| 1024在线视频| 五月丁香综合激情| 激情丁香五月激情婷婷| se.久久视频在线观看| 色播婷婷大香蕉| 色婷婷内射| 91麻豆国产三级精品福利在线观看| 亚洲99精品欧美一区| 超碰成人av| 色狠狠色| 天天日,天天插| 色色色婷婷五月天| 99人妻碰碰久久久禁片| 久久九九热视频| 欧美精品啪啪| 大香蕉在九| 五月天激情啪啪| 激情小说五月丁香在线视频观看视频| 色色色丁香| 九九黄色网| AV五月丁香| 婷婷色综合| xxxx五月激情| 大香蕉丁香| 五月丁香婷婷综合视频| 狠狠88综合久久久久噜噜噜| 亚洲人人操| 天天色播| 欧洲色色| 日韩按摩二区| 欧美婷婷丁香五月社区| 日本久久九| 99久re热视频精品98| 人妻在线中文字幕久久| 久久五月激情| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 婷婷六月综合| 99热国产在线| 五月丁香六月在线| 人人摸人人| 六月香五月婷| 丁香五月婷婷黑人妻黄色电影院| 久久丁香婷| 开心激情综合| 99这里热| 激情婷婷另类| 成人天天爽| 71在线精品视频一区| 99精品偷自拍| 我爱大香蕉| 婷婷色爱| 色婷婷丁香五月在线| 日本三级毛片| 99碰碰。| 六月婷婷激情| 婷婷丁香久久| 狠狠操狠狠插| 婷婷五亚洲| 蜜臀av无码久久久久久久久| 久久久jd| 天天肏天天肏| 波多婷婷久久| 少妇做爰免费视看片| 五月丁香激情四射| 丁香六月情| 婷婷丁香高潮了| 99久.| 九九精品少妇| 欧美色必爱| 激情五月天色播| 美女激情综合| 九九色色| 五月天色婷婷网| 色。 婷婷婷| 久久精彩综合视频| 玖玖爱伊人| 亚洲av午夜精品一区二区| 黄色国久久| 任你草| 九九99免费理论| 热99在线| 五月激情偷拍| 亚洲激情网站| 亚洲一区二区无码蜜乳av| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 中文字幕第四色.999| 色色色色色色综合网| www.zbzhongsen.com| 婷婷精品在线| 激情綜合網址| 欧美大香蕉视频| 狠狠摸狠狠摸| 欧美色色色色色| 亚洲五月天婷婷在线| 大狠狠在线| 色综合播放| 天天日天天插天天操| 日夜操B| 久久五月网| 精品99在线| 国内久久亭亭| 一级二级色大片| 久久9RE热视频精品98| 99热人人操人人操| 亚洲精品另类| 欧在线一区| 欧美,日韩成人在线| 人妻激情久久| 蒲京久久无码视频| 99视频日韩| 潘金莲AAAAAAAAAA| 狠狠爱五月婷婷综合六月| 激情98色婷婷五| 久久se 综合网| 亚洲国产精品SUV| 丁香网站| 国产黄色在线观看| 成人国产欧美大片一区| 日本视频不卡123区| 天堂伊人干| 中国丰满熟女A片免费观| 大香蕉在九| 婷婷五月天激情在线| 天天日夜夜操五月| 丁香五月亚洲综合| 九九亚洲视频| 熟女激情五月天| 五月丁香啪啪| 超碰激情网| 天天插天天插天天插天天插| 97在线精品| 四虎国产精品永久在线国在线| 丁香五月AV| av国产精品| 色五月丁香com| 91九九热| 人人搡人人| 欧美在线看| 大香蕉AV在线| 青青草蜜臀| www.夜夜.com| 亚洲成人网站在线播放| 久久丁香| 爱超碰性| 婷婷黄色五月| 伊人玖玖网| 婷婷六月综合| 黄网在线播放| 天天摸天天舔天天爽| 色婷婷丁香特级性爱视频| 天天干天天操| 开心婷婷五月天激情网| 人妻激情在线| www.99视频| 蜜臀综合久草| 天天日夜夜欢| 日韩抽插操逼| 激情深爱五月| www.91久久| AA丁香综合激情| 五月丁香婷婷狠狠操| www色综合亚洲92| 丁香五月天啪啪| 色插综合网| 激情六月婷| 人妻AV在线观看| 国产人妻777人伦精品HD| 婷婷激情六月中文| 天天久久狠狠色综合| 五月丁香婷婷成人伊人网| 亚洲视频色婷婷| 深爱激情丁香| 精品国婬伦V无码久久久| 9久热在线视频精品| 99热在线免费观看精品| 综合激情视频| 五月婷婷综合在线| 天天色综| 久久婷出差欧美色两性综合网| 色色色9| 九九色综合| 亚洲丁香花色| 高清不卡一区| 激情综合视频| 久久九九综合| 天天操天天操天天操天天操天天操天天操| 九九综合九九| 91人人爱| 久久精品婷婷| 九九热视频精品| 五月丁香婷婷综合| 91天堂网综合| 日日夜夜青青草| 狼人婷婷综合| 丁香五月婷婷色综合| 中文字幕网站在线观看| \\五月天婷婷激情| A片一曲| 亚洲美女裸体被操在线观看| 综合啪啪| 青青草激情网| 亚洲亚洲人成综合网络| 另类图片激情五月| 激情婷婷网| 日本人妻A片成人免费看片| 九月婷婷激情久久| 五月婷高清视频| 视频一二区| 桃色五月婷婷| 九九色人| 色色色色色色网站| 国产高潮A片羞羞视频涩涩| 9福利性视频欧美| 天天成人综合视频| 欧洲色| 五月丁香花激情综合网| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪 | 五月天色色色网| 热九九在线| 99这里有精品| 五月婷婷 婷婷五月 一区二区 久久久 | 射琪琪| 色婷五月| 国产99久久久国产精品免费看| 久久总和99| 九九视频这里有精品| 五月婷婷影院| 国产超碰在线| 日本三级中文字幕| 婷婷的五月天另类视频| 精品九九在线观看| 五月丁香黄色视频| 色色色在线| www.婷婷五月| 思思热99er| 色综合久久天天综合网| 99在线精品视频| 亚洲旡码| 久久视频婷婷| 色五月自偷自拍婷婷婷婷| 精品成人无码A片观看香草视频| 久久丁香五月婷婷| 99久热| 91碰| 丁香九月综合| 这里有精品| 亚洲色图啪啪| 开心五月天激情网站| 色五月丁香com| 激情网站五月| 亚洲综合五月天婷婷丁香| 五月花激情网| 婷婷丁香人妻天天爽| 丁香啪啪中文字幕| 婷婷五月丁香久久| 操大屄五月天视频| 久久66精品| 亚洲国产精品二二三三区 | 丁香五月婷婷www..com| 婷婷五月色網站| 五月丁香色欲| 亚洲第一视频 久久| 性按摩玩人妻HD中文字幕| 亚洲综合视频天天精品| 午夜色婷婷| 五月婷婷色播视频| 色婷婷亚洲精品天天综| 中文字幕成人| 天天综合在线网| 天天色天天搡| 爱射综合| 久久视频婷婷视频| 99激情视频| 人人色性网| 国产亚洲精品AAAAAAA片| 综合激情五月综合激情五月激情1| www.射伊蕉婷婷| 五月丁香久| 久婷五月| 五月天日日操夜夜操 | 五月丁香六月激情| 如何安全看伊人婷婷| 五月婷婷说| 亚洲激情六月丁香| 丁香六月婷婷| 五月激情射| 婷婷五月大香蕉| 超碰99热| 激情第四色| 五月婷婷影视| 日韩啪啪自拍| 九九亚洲| 97碰在线视频| 丁香五月影院| 婷婷色色网| 精品热青草| 能看的av| 九九99久久| 97色吧| dingxiangtingtingliuyue| 91综合视频在线| 天天干夜夜想| 色色激情五月| 操一区| 亚洲激情区| 激情av网| 日本久久婷| 五月丁香美女| 色色婷婷综合| 综合婷婷五月天| 婷婷久久综合久| 国产亚洲精品久久久久苍井松| www一区二区三区| 超碰色女| 97人人操在线| 99视频在线观看视频| 五月色激情综合网| 激情久久综合| 五月色情婷婷开心五月色情| 国产婷婷婷| 五月婷婷开心网| 色情综合网| 先锋影音av色五月天资源站| 泰州成人视频| 五月丁香 啪啪| 爱99干99| 99九九在线视频| 色色婷| 婷婷丁香熟女| 中文字幕,综合,91| 包操45分钟网站| 久久精品熟女亚洲AV麻豆| 操逼巨乳91| www色婷婷久久综合久色 | 色综合狠狠色| 天天干天天插| 婷婷情爱五月天6| 五月丁香六月综合情在线观看| 蜜臀久久99精品久久久久久酒店| 狠狠色五月天| 婷婷丁香五月天色播网站| 久久精99| 人人操91| 99亚洲色| 9色在线| 操97在线观看| 婷婷色五月激情| 激情综合五月色丁香婷婷| AV在线观看网站| av在线播放网站| 原琪琪色影院| 激情五月婷婷中文字幕| 五月婷婷久久大香蕉| 欧美三级巜人妻互换| 日本99在线| 噜噜噜噜在线| 五月婷婷黄色| 亚洲AV无码电影| 97碰啪啪| 丁香激情五月少妇| 再綫Av免费視品| 伊人玖玖综合| 国产古装妇女野外A片| 人妻久热| 五月婷婷激情综合视频| 婷婷成人网五月天| 色婷婷操逼网| 强辱丰满人妻HD中文字幕| 97超碰在线免费观看| 丁香五月天五码婷婷| 六月婷婷香蕉| 91狼友视频网页更新| 成人午夜无码视频| 开心激情网在线| 色色色色热热| 成人在线综合| 操逼电影免费看| 婷婷俺去也| 99视频只有精品| 亚洲综合色网站| 亚洲色图在线视频| 五月天婷婷婷| 99热最新网址| 热久久91| 网站免费一站二站| 性色99| 九九精品片一| 五月丁香婷婷色色| 九月婷婷综合在线| 超碰狠狠干99| 五月香婷婷| 国产综合婷婷| 91精品综合久久久久久五月丁香 | 色色色999| 啪啪综合| 狠狠草在线观看| 五月天在线视频尤物视频在线看| 丁香六月AV| 久久婷婷五月综合精品蜜芽| 色级婷婷| 午夜成人片400| 另类激情中文| 999婷婷综合| 丁香六月激情| 狠狠狠狠狠狠狠狠| 射久久丁香五月| 色婷婷五月天天天天天天天天天| 欧美一级色| 伊人久久大香线蕉av一区| www.婷婷com| 国产乱人偷精品人妻A片| 亚洲激情五月天| 久久综合丁香| 色婷婷成人五月| 五月婷婷六月婷| 色五月开心开心五月激情五月| 色综天天综合| 玖玖婷婷五月天| 96精品久久久久久久久| 97色啪| 精品九九网| 亚洲性爱AV在线| 第九色区av天堂| 任你爽视频| 久久机热/这里只有精品| 色婷婷19| 伊人网碰碰| 色激情五月| 九九在线精品| 狠狠操狠狠操| 五月天影院婷婷在线观看| 日本天天综合| 五月婷婷视频啪啪美女| 婷婷五月丁香狠狠| 五月丁香天天| 五月婷丁香久久久| 色婷婷五月网| 婷婷射图五月天| 色5月婷婷| 色婷婷五月天天天干天天操天天爽| 天天久久综合| 亚洲女婷婷五月基地综合久久久| 亚洲成人电影aaaa| 九九成人精品| 婷婷丁香五月天亚洲| 久草xx性爱视频| 26uuu四色| 天色综合网站| 婷婷五月激情在线| 色女伊人| 婷婷狠狠操| 91色吧网| 伊人久久大香线蕉av一区| 超碰免费大香蕉| 九九热视频在线观看| 亚洲精品视频电影| 国产精品久久..4399| 99在线精品观看99| 色情五月丁香| 538在线精品| 波多婷婷久久| A1片久久| 久99视频| 色色啊| 丁香五月在线视频黑人| 婷婷久久亚洲| 午夜丁香综合婷婷| 香蕉久久国产AV一区二区| 色情婷婷五月天| 碰97 久| 国产黄色大片| 久久婷婷五月天激情四射| 色播五月综合网| 97色婷婷成人综合在线观看| 九九综合精品| www激情| 精品九九在线观看| 激情婷婷丁香色五月| 五月婷婷六月丁香激情| 69久久99精品久久久久婷婷| 亚洲色视频| 丁香五月花| 免费观看日韩成人av| 91人人超碰在线| 久去色色| 999热成人在线综合网| 91午夜激情| 超碰人人草| 五月婷婷丁香综合| 亚洲日韩一页精品发布| 一区中文字幕电影| 精品人人操| 亚洲色情一区二区三区四区| 日韩AV大全| 久久色婷婷| 青草青草视频2免费观看| 色婷婷亚洲综合天堂| 91九色无码日韩 | 婷婷五月天成人小说| 久久精品4| 禁欲电影完整版在线播放| 我淫我色婷婷五月天激情四射| 激情婷婷激情在线不卡| 久久婷婷五月综合啪| 亚洲 综合中文| 久久亚洲婷婷| 色婷网| 逼特逼在线免费播放| 婷婷九色| 狠色狠色狠色狠色狠色网| 久久婷婷综合五月天| 亚洲久久激情| 亚洲色图五月丁香五月婷婷| 久久多色| 亚洲AV免费国产电影| 99视频在线| 特级片神马电影| 99色热视频| 91久久久久久久| 2021日韩无码| 五月天丁香啪啪综合| 天天爽综合| 色情五月婷| 最近中文字幕大全免费版在线| 大香蕉人人网| 777久久综合视频| 激情婷婷六月天| 日本乱子人伦在线视频| 九九九九九九毛片| 色丁香五月天射婷婷爱婷婷| 99这里只有精彩视频| 97色色色色色| 婷婷WWW久久| 99色精品视频| 亚洲激情五月| 欧美槡BBBB槡BBB少妇| 免费啪啪亚州视频| 久久机只有这里精品| 91超碰在线观看| 182tv992tv人之初午夜免费观看| 色五月首页| 成人精品亚洲性爱| 色五月综合网| 综合狠狠干| 五月色俺婷婷| 天天做天天爱天天高潮| 玖玖婷婷色| www激情网| 亚洲色久| 色原狠狠综合| 99色色最新视频| 草草视频91| 欧美婷婷丁香五月| 呦呦v线| 五月天开心网| 亚洲色热| 免费啪啪啪网站| 另类天堂| 五月婷婷在线视频观看| 国外亚洲成AV人片在线观看| AV在线大香蕉| 开心五月网 | 五月激情丁香五月| 色婷婷在线视频| XX色综合| 久久久人妻不卡| 狠狠干综合| 男同色五月开心五月激情五月| 99热欧美在线观看| 五月婷婷色| 婷婷色资源| 日本精品。999| 婷婷五月天AV| 91免费看片| 国产午夜精品久久久观看| 午夜不卡久久精品无码免费 | 五月天丁香综合在线| 五月丁香啪啪综合网| 超碰狠狠操| 大香蕉人妻| 色婷婷偷拍| 97久久超视频| 亚洲A色| 超碰成人公开| 久er7久热| 丁香五月手机在线| 久久综合干| 五月激情站| 超级碰 久久9| 狠狠撸激情综合丁香五月天俺来啦| 国产精产国品一二三在观看| 99综合视频在线| 日韩在线视频网站| 91久久久久久久久久| www.99情趣网| 狠狠插.com| 天天干天天操天天干天天操天天干天天操 | 丁香婷婷激情综合五月激情| 五月婷婷狠狠干| 丁香五月激情综合婷综| 天天做夜夜爽| 五月天色欧美| 婷婷瑟瑟五月天| 伊人大香蕉爱聚| av网站中文| 日本视频久久| 亚洲综合新99视频| 丁香五月婷婷色| 欧美色狠婷久| www.久久爱| 色呦呦免费观看| 99ri国产在线| 久久婷.com| 亚洲综合五月天婷婷丁香| 六月丁香六月婷婷欧美| 五月丁香色婷婷色| 色情激情五月婷婷| 天天干天天爽天天操| 久热re视频在线观看网站| 9999热这里只有精品| 成人国产欧美大片一区| 森林影视大全,最好看的2019年视频 | 中文字幕丰满人妻无码专区| 自拍盗摄 另类| 久久一伦| 九九在线精点品| 久久综合色五月| 五月丁香久| 殴美激情综合网| 激情综合无码| 日韩成人综合网| 色五月激情五月| 亚洲免费看片| 五月婷婷五月天| 激情综合网,婷婷| 色五月婷婷在线| 五月丁香婷婷婷婷综合网| 美女久久婷婷| 激情五月天伊人av| 色色色色色色五月婷婷| 婷婷五月花西瓜| 九九九九九九综合| 综激情网| 日韩色色网| 99热这里有精品| 9999热精品在线免费播放| 色香蕉婷婷| 丁香六月欧美| 久久激情五月天| 亚洲免费婷婷| 五月丁香色婷婷色| 色色五月婷| 丁香五月AV综合| 69色色视频| 婷婷va| 热99精品视频五月| 久久这里只有精彩| 香蕉AV777XXX色综合一区| 激情五月婷婷综合视频| 国产高潮白浆一区二区| 性热视频99精品| 丁香五月影院| 狠狠精品干练久久久无码中文字幕 | 婷婷综合五月天激情| 丁香五月大香蕉在线99| 亚洲欧美一区二区三区四区爱爱动图| 婷婷丁香五月色偷偷| 99热.com| 伊人五月人妻精品| 久久全色| 99ri国产| 色婷婷综合中心| 亚洲免费电影2| 五月激情啪啪啪| 丁香五月视频在线观看| 超碰啪啪网| 色婷婷97| 亚洲 在线 性爱| 人妻操日日| 综合色播| www.思思99热| 婷婷五月丁香香蕉| 狠狠综合网| 激情无码五月天| 99re资源在线视频导航| 九九干视频| 俺来也综合网精品一区| 婷婷无五月无码视频| 99色视频在线| 韩日在线熟女| 九月色婷婷综合亚洲| 色婷婷综合久久久久| 婷婷永久在线| 五月激情综合婷婷| 欧美色色色色色| 艹| 婷婷五月乱交换| 91一起操| 99热这里全是精品| 国产婷婷色五月| 色噜噜丁香| 欧美丁香五月| 丁香激情五月综合网| 日韩 mm 不卡| 狠狠穞A片一區二區三區| 婷婷色香六月综合激情| 操逼巨乳91| 日本女天天爽| 丁香婷婷综合激情五月色| 五月婷六月丁| 亚洲黄色精品| 99原创自拍视频在线观看| 日本婷婷在线| 欧美熟女乱又伦| 久久婷婷人人| 香蕉人妻AV久久久久天天| www.婷婷.com| 午夜无码精品色综合久久| 九九精品自拍| 人与禽A片啪啪| 丁香婷婷五月天激情四射| 日日夜夜爽爽| 五月色网| 久久婷婷东京热大香樵| 五月婷婷综合在线| 久色婷婷200| 亚洲五月天天| 色你久久| 波多野结衣不卡AV| 性综合网| 狠狠干综合| 噜噜噜精品欧美成人在线观看| 99久久综合网| 丁香五月婷婷亚洲激情四射| 日日干夜夜干| 台湾无码A片一区二区| 五月天婷婷激情小说| 黄色五月婷婷| 99热日本精品| 免费无码毛片一区二区A片| 九九在线精品| www.夜夜.com| 久久久久久久久久久久久久人妻视频| 99色日本| 欧美韩国日本| 99九无网码| 激情小说视频图片网| 这里只有精品热| 中文字幕,综合,91| 九九久久玖玖爱| 性色做爰片在线观看WW| 99热这里是精品| 色五月天在线观看| 五月婷婷久久内射| 婷婷五月天成人导航| 波多野结衣AV无码Porn| 天天日中文| 国产成人精品亚洲线观看| 97人妻碰碰中文无码久热丝袜| 久热免费| 五月天国产婷婷精品视频在线| 精品一区二区三区四区五区六区介绍| 久久婷婷亚洲无码一起| 人碰人人人玩91| 亚洲久热| 丁香午夜天| 色婷婷A| 天天久| 激情五月开心五月丁香五月| 综合色色婷婷| 五月综合激情图片| 色五月婷婷中文字幕| 97五月婷婷| 久久ri精品视频| 激情人妻蜜夜系列区| 色啪网| 开心激情综合| 久婷婷| 中文av网| 五月丁香婷婷欧美| 五月激情久久综合网| 婷婷五月激情欧美大胆视频| 五月丁香综合啪啪対白| 色色色在线免费视频| 久久五月婷婷电影| 婷婷精品免费久久| 综合婷婷| 天天爽在线视频| 99色视频| 丁香五月在线伊人| 激情综合五月激情|