欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

PyTorch模型微調(diào)實(shí)戰(zhàn):凍結(jié)層參數(shù)的原理、策略與踩坑指南

PyTorch模型微調(diào)實(shí)戰(zhàn):凍結(jié)層參數(shù)的原理、策略與踩坑指南 不少朋友第一次接觸模型微調(diào)時(shí)都會(huì)遇到一個(gè)困惑為什么大家都在說(shuō)“凍結(jié)網(wǎng)絡(luò)”、“freeze層參數(shù)”這個(gè)詞聽(tīng)起來(lái)很玄乎其實(shí)說(shuō)白了就是讓某些層的權(quán)重在訓(xùn)練過(guò)程中保持不變只更新剩下的部分。PyTorch里做這件事非常靈活可以用requires_grad False控制梯度也可以在優(yōu)化器里手動(dòng)過(guò)濾參數(shù)還可以配合eval()模式處理BatchNorm這類有狀態(tài)層的坑。這篇文章我想把這套東西徹底講明白。我會(huì)從為什么要凍結(jié)參數(shù)講起然后展示幾種常見(jiàn)的凍結(jié)姿勢(shì)再結(jié)合一個(gè)貼近真實(shí)業(yè)務(wù)的多任務(wù)模型例子把“凍結(jié)哪些層、怎么解凍、學(xué)習(xí)率怎么配”這些實(shí)操細(xì)節(jié)全部過(guò)一遍。你可能是剛?cè)腴TPyTorch的新手也可能已經(jīng)在做遷移學(xué)習(xí)但總被BN層坑得頭皮發(fā)麻這篇文章的思路和踩坑經(jīng)驗(yàn)對(duì)你應(yīng)該都有直接幫助。1. 為什么要凍結(jié)網(wǎng)絡(luò)參數(shù)從省顯存到防過(guò)擬合先說(shuō)結(jié)論凍結(jié)參數(shù)這個(gè)操作本質(zhì)上是在干預(yù)優(yōu)化過(guò)程。神經(jīng)網(wǎng)絡(luò)靠反向傳播更新參數(shù)每一步都需要計(jì)算損失函數(shù)對(duì)各層權(quán)重的梯度。如果把某些層的requires_grad設(shè)為False梯度根本不會(huì)流到那里參數(shù)自然保持不動(dòng)。這一招最常見(jiàn)的應(yīng)用場(chǎng)景有三個(gè)。第一個(gè)場(chǎng)景是遷移學(xué)習(xí)。你拿一個(gè)在大規(guī)模數(shù)據(jù)集上預(yù)訓(xùn)練好的模型當(dāng)特征提取器比如圖像分類里的ResNet、文本分類里的BERT這些模型底層已經(jīng)學(xué)會(huì)了通用的視覺(jué)紋理或句法結(jié)構(gòu)。下游任務(wù)的訓(xùn)練數(shù)據(jù)往往只有幾千張圖、幾萬(wàn)條文本如果從零開(kāi)始訓(xùn)練所有層模型很容易把訓(xùn)練集里的噪聲背下來(lái)。把預(yù)訓(xùn)練部分的參數(shù)凍住只訓(xùn)練最后新增的分類頭相當(dāng)于站在巨人肩膀上做微調(diào)。這個(gè)思路在數(shù)據(jù)量小、任務(wù)與預(yù)訓(xùn)練任務(wù)相似度高的場(chǎng)景下尤其好用。第二個(gè)場(chǎng)景是顯存和算力限制。訓(xùn)練一個(gè)大規(guī)模模型顯存消耗主要來(lái)自中間激活值和優(yōu)化器狀態(tài)。凍結(jié)部分層之后PyTorch在前向傳播時(shí)依然需要算這些層的輸出但反向傳播不再為它們緩存激活值優(yōu)化器也不再為這些層保存動(dòng)量或二階矩估計(jì)。我實(shí)測(cè)過(guò)一個(gè)約3億參數(shù)量的模型凍結(jié)掉底部80%的層之后訓(xùn)練峰值顯存直接降了將近一半單卡跑批大小也能翻倍。第三個(gè)場(chǎng)景容易被人忽略——防止災(zāi)難性遺忘。在做增量學(xué)習(xí)或者多任務(wù)學(xué)習(xí)時(shí)如果希望模型在完成新任務(wù)的同時(shí)不丟掉舊任務(wù)的能力凍結(jié)掉共享底層參數(shù)是性價(jià)比最高的方案之一。我在某個(gè)多語(yǔ)言文本分類項(xiàng)目中一開(kāi)始讓所有層都參與訓(xùn)練結(jié)果發(fā)現(xiàn)模型在新語(yǔ)言上的指標(biāo)上去了舊語(yǔ)言的F1值卻掉得厲害。后來(lái)把共享編碼器的前幾層凍住只訓(xùn)練頂層和任務(wù)專屬的分類分支舊任務(wù)的表現(xiàn)就穩(wěn)定下來(lái)了。當(dāng)然凍結(jié)參數(shù)不是萬(wàn)能的它也有明顯的適用邊界。比如預(yù)訓(xùn)練模型和下游任務(wù)差異巨大時(shí)底層特征完全不更新會(huì)導(dǎo)致模型學(xué)不到任務(wù)相關(guān)的特定表示。再比如你對(duì)某個(gè)任務(wù)的標(biāo)注數(shù)據(jù)足夠多那讓所有層都參與微調(diào)通常能拿到更好的最終精度。所以實(shí)際操作中我一般不會(huì)一上來(lái)就把模型焊死而是先做幾組“全量微調(diào) vs 部分凍結(jié)”的對(duì)照實(shí)驗(yàn)看指標(biāo)差距再?zèng)Q定。2. 核心機(jī)制拆解requires_grad、優(yōu)化器過(guò)濾與訓(xùn)練/評(píng)估模式要把凍結(jié)參數(shù)玩明白先得弄懂PyTorch底層那套梯度傳播邏輯。很多人只知道設(shè)requires_gradFalse就行但對(duì)它背后的機(jī)制、和eval()的搭配、還有優(yōu)化器行為之間的關(guān)系并不清楚結(jié)果總是遇到“明明凍住了參數(shù)怎么還在變”這種怪事。2.1requires_gradFalse的傳播阻斷原理PyTorch的自動(dòng)求導(dǎo)引擎基于計(jì)算圖工作。每當(dāng)你做一次前向傳播框架會(huì)記錄哪些張量參與了運(yùn)算反向傳播時(shí)沿著這個(gè)圖把梯度從損失函數(shù)一路傳回各層的權(quán)重矩陣。requires_gradFalse的作用非常直接這個(gè)張量不會(huì)再出現(xiàn)在計(jì)算圖的葉子節(jié)點(diǎn)列表里反向傳播經(jīng)過(guò)它時(shí)直接跳過(guò)梯度傳不到它身上參數(shù)自然紋絲不動(dòng)。這里有個(gè)細(xì)節(jié)值得說(shuō)透——即使你凍結(jié)了某一層前向傳播仍然會(huì)正常計(jì)算該層的輸出結(jié)果這個(gè)結(jié)果會(huì)被繼續(xù)送入后續(xù)層。也就是說(shuō)網(wǎng)絡(luò)結(jié)構(gòu)沒(méi)有變“前向推理路徑”是完整的只是“參數(shù)的更新路徑”被切斷了。我在給別人講這個(gè)概念時(shí)經(jīng)常打一個(gè)比方凍結(jié)參數(shù)相當(dāng)于把一臺(tái)機(jī)器里某個(gè)調(diào)節(jié)旋鈕擰緊并鎖死機(jī)器還在運(yùn)轉(zhuǎn)產(chǎn)品還是會(huì)出來(lái)只是這個(gè)旋鈕以后不會(huì)再被工人調(diào)整了。寫代碼時(shí)要注意requires_grad必須遞歸設(shè)置到所有子模塊上。比如你用了torchvision.models.resnet50想凍結(jié)整個(gè)特征提取器只寫model.layer1.requires_grad_(False)可不夠因?yàn)閘ayer1里面還有若干個(gè)Bottleneck模塊每個(gè)模塊里面又有多個(gè)卷積層和BN層。正確的做法是遍歷模塊遞歸設(shè)置def freeze_module(module): for param in module.parameters(): param.requires_grad False這個(gè)函數(shù)會(huì)遍歷傳入模塊的所有子模塊并凍結(jié)其參數(shù)比直接操作某個(gè)模塊要穩(wěn)妥得多。2.2 優(yōu)化器里的“隱形坑”參數(shù)過(guò)濾與緩存狀態(tài)很多人在凍結(jié)參數(shù)后忽略了一個(gè)關(guān)鍵步驟——優(yōu)化器需要重新構(gòu)建。假設(shè)你先創(chuàng)建了一個(gè)優(yōu)化器傳入所有參數(shù)然后才把某些層設(shè)成requires_gradFalse那么優(yōu)化器內(nèi)部依然保留著這些參數(shù)的引用并且會(huì)在每個(gè)step里試圖更新它們。雖然由于梯度為0參數(shù)實(shí)際上不會(huì)變化但這會(huì)白白浪費(fèi)計(jì)算和顯存而且沒(méi)有意義的動(dòng)量狀態(tài)累積起來(lái)還可能留下隱患。正確做法是先用requires_gradFalse凍結(jié)參數(shù)再創(chuàng)建優(yōu)化器并且只把那些仍然requires_gradTrue的參數(shù)傳進(jìn)去frozen_params [] trainable_params [] for name, param in model.named_parameters(): if param.requires_grad: trainable_params.append(param) else: frozen_params.append(param) optimizer optim.Adam(trainable_params, lr1e-4)這里我用named_parameters()而不是parameters()目的是拿到每個(gè)參數(shù)的名字方便后續(xù)打印、篩選或者按層名稱做精細(xì)化的學(xué)習(xí)率分組。而且把這個(gè)參數(shù)列表打印出來(lái)你會(huì)很清楚當(dāng)前到底哪些層在訓(xùn)練、哪些層是凍結(jié)的。另一個(gè)容易踩的坑是優(yōu)化器緩存。某些優(yōu)化器比如SGD的動(dòng)量、Adam的一階二階動(dòng)量是根據(jù)參數(shù)狀態(tài)來(lái)維護(hù)緩存的。你雖然已經(jīng)設(shè)了requires_gradFalse但舊優(yōu)化器里關(guān)于這些參數(shù)的緩存可能依然存在。更穩(wěn)妥的做法是只要你調(diào)整了凍結(jié)范圍就直接重新創(chuàng)建一個(gè)優(yōu)化器實(shí)例不要復(fù)用舊的。這不用寫多少代碼但能有效避免很多詭異的問(wèn)題。2.3train()與eval()模式不只是Dropout的開(kāi)關(guān)初學(xué)者很容易把參數(shù)凍結(jié)和model.eval()混為一談。它倆的確有交集但完全是兩碼事。model.eval()會(huì)把模型切到評(píng)估模式影響的是Dropout、BatchNorm這類在訓(xùn)練和推理時(shí)行為不同的層但它不會(huì)把任何參數(shù)設(shè)成requires_gradFalse。也就是說(shuō)即使你調(diào)用了model.eval()只要優(yōu)化器里還有這些參數(shù)它們照樣會(huì)被更新。反過(guò)來(lái)凍結(jié)參數(shù)也不意味著你要把整個(gè)模型切到eval()模式。這里有個(gè)典型誤區(qū)很多人凍結(jié)了特征提取層之后習(xí)慣性地調(diào)用了model.eval()結(jié)果BN層在推理時(shí)用的是全局統(tǒng)計(jì)量而不是當(dāng)前batch的統(tǒng)計(jì)量這反而影響了訓(xùn)練效果。更常見(jiàn)的做法是只對(duì)含BatchNorm的部分單獨(dú)處理或者干脆將BN層也放在訓(xùn)練模式下但凍結(jié)其中的可學(xué)習(xí)參數(shù)。在動(dòng)手之前請(qǐng)務(wù)必弄清楚這幾件事的邊界requires_gradFalse控制的是梯度計(jì)算和參數(shù)更新optimizer決定哪些參數(shù)參與更新model.train()/model.eval()控制的是層的行為模式。參數(shù)凍結(jié)時(shí)我一般會(huì)把最終要訓(xùn)練的那部分模塊保持train()模式但會(huì)根據(jù)BN層是否會(huì)被凍結(jié)來(lái)單獨(dú)處理。3. 實(shí)操?gòu)囊粋€(gè)多任務(wù)模型看不同凍結(jié)策略的代碼落地理論說(shuō)得再多不如看一個(gè)完整的實(shí)戰(zhàn)例子。我在很多業(yè)務(wù)場(chǎng)景中會(huì)遇到這樣的情況模型需要同時(shí)完成一個(gè)主任務(wù)和一個(gè)輔助任務(wù)但輔助任務(wù)的標(biāo)注數(shù)據(jù)非常有限如果讓所有參數(shù)都參與優(yōu)化很容易在輔助任務(wù)上過(guò)擬合。下面我用一個(gè)簡(jiǎn)化版本的多任務(wù)分類模型來(lái)演示不同的凍結(jié)策略。3.1 搭建一個(gè)共享底層、多分支輸出的模型假設(shè)我們有一個(gè)眾包標(biāo)注平臺(tái)需要同時(shí)預(yù)測(cè)圖片的“主類別”和“質(zhì)量分?jǐn)?shù)”。主類別的標(biāo)注數(shù)據(jù)很充裕質(zhì)量分?jǐn)?shù)的標(biāo)注卻比較少。一個(gè)合理的模型結(jié)構(gòu)是共享一個(gè)ResNet風(fēng)格的編碼器然后分出兩個(gè)分類頭。這個(gè)模擬項(xiàng)目X的目標(biāo)就是驗(yàn)證“凍結(jié)共享編碼器、只訓(xùn)練兩個(gè)分類頭”能否在輔助任務(wù)上取得更好的泛化效果。import torch import torch.nn as nn from torchvision import models class MultiTaskModel(nn.Module): def __init__(self): super().__init__() self.backbone models.resnet18(pretrainedTrue) self.backbone.fc nn.Identity() # 去掉原來(lái)的全連接層 self.head_main nn.Sequential( nn.Linear(512, 128), nn.ReLU(inplaceTrue), nn.Linear(128, 10) ) self.head_aux nn.Sequential( nn.Linear(512, 64), nn.ReLU(inplaceTrue), nn.Linear(64, 1) ) def forward(self, x): feat self.backbone(x) out_main self.head_main(feat) out_aux self.head_aux(feat) return out_main, out_aux這個(gè)模型很典型共享編碼器是預(yù)訓(xùn)練好的ResNet18兩個(gè)任務(wù)各有一個(gè)小分類頭。現(xiàn)在我們要把策略落在代碼上。3.2 策略一只訓(xùn)練分類頭凍結(jié)全部backbone參數(shù)這個(gè)策略最簡(jiǎn)單也是我早期最常用的方法。整個(gè)預(yù)訓(xùn)練編碼器一筆不動(dòng)只訓(xùn)練兩個(gè)新增的全連接分支。這樣做的好處是訓(xùn)練速度極快baseline跑起來(lái)特別快幾分鐘就能看到路線是否可行。def freeze_encoder_and_train_heads(model): # 凍結(jié)backbone for name, param in model.backbone.named_parameters(): param.requires_grad False # 只把head里的參數(shù)傳給優(yōu)化器 trainable_params [] for name, param in model.named_parameters(): if param.requires_grad: trainable_params.append(param) optimizer torch.optim.Adam(trainable_params, lr1e-3) return optimizer這里有個(gè)很容易被忽略的細(xì)節(jié)我們用的是model.named_parameters()但param.requires_grad是直接讀的參數(shù)屬性。如果某些層之前已經(jīng)被設(shè)置為不可訓(xùn)練這里會(huì)自動(dòng)跳過(guò)它們無(wú)需額外過(guò)濾。訓(xùn)練時(shí)你可以順手打印當(dāng)前正在訓(xùn)練的層名確認(rèn)自己的意圖真正落到了代碼層面for name, param in model.named_parameters(): if param.requires_grad: print(訓(xùn)練中的參數(shù):, name)3.3 策略二凍結(jié)backbone的前幾層解凍后面高層并設(shè)置差異化學(xué)習(xí)率凍結(jié)全部backbone最省事但上限也不高。如果任務(wù)和預(yù)訓(xùn)練任務(wù)差距比較大底層特征完全不動(dòng)的話最終精度往往不夠理想。實(shí)踐中我會(huì)用一個(gè)更精細(xì)的策略底層的淺層特征比如邊緣、顏色、紋理這些通用結(jié)構(gòu)完全凍結(jié)高層的語(yǔ)義特征比如跟具體物體部件相關(guān)的特征解凍微調(diào)兩個(gè)分類頭用更高的學(xué)習(xí)率backbone的高層用較低學(xué)習(xí)率。def partial_freeze_with_lr(model): # 凍結(jié)layer1和layer2解凍layer3和layer4 for name, param in model.backbone.named_parameters(): if name.startswith(layer1) or name.startswith(layer2): param.requires_grad False else: param.requires_grad True optimizer torch.optim.Adam([ # 分類頭大學(xué)習(xí)率 {params: model.head_main.parameters(), lr: 1e-3}, {params: model.head_aux.parameters(), lr: 1e-3}, # backbone高層小學(xué)習(xí)率 {params: filter(lambda p: p.requires_grad, model.backbone.layer3.parameters()), lr: 1e-5}, {params: filter(lambda p: p.requires_grad, model.backbone.layer4.parameters()), lr: 1e-5}, ]) return optimizer差異化學(xué)習(xí)率是這策略的靈魂。底層特征通用性強(qiáng)、更新風(fēng)險(xiǎn)高就完全鎖死高層特征與具體任務(wù)相關(guān)性強(qiáng)可以適當(dāng)更新但預(yù)訓(xùn)練的知識(shí)也別丟得太多所以用一個(gè)很小的學(xué)習(xí)率。分類頭是隨機(jī)初始化的要從頭學(xué)所以給它最大的學(xué)習(xí)率。這樣一組參數(shù)在分類準(zhǔn)確率和訓(xùn)練穩(wěn)定性上都比較平衡。關(guān)于解凍的邊界一個(gè)穩(wěn)妥的方法是觀察每層特征圖的激活變化。你可以拿一個(gè)固定batch的數(shù)據(jù)在前向傳播時(shí)打印每層輸出的均值方差對(duì)比凍結(jié)前后哪些層的輸出變化最大。如果發(fā)現(xiàn)layer2解凍后輸出分布已經(jīng)亂得不成樣子說(shuō)明學(xué)習(xí)率太高了或者干脆把它凍回去更穩(wěn)。3.4 策略三在凍結(jié)狀態(tài)下做“冷啟動(dòng)”再用“解凍全網(wǎng)微調(diào)”做熱階段有些任務(wù)雖然數(shù)據(jù)量一般但遷移學(xué)習(xí)的起點(diǎn)非常關(guān)鍵。我慣用的一個(gè)方法是兩階段訓(xùn)練第一階段讓backbone全面凍結(jié)只訓(xùn)練分類頭目標(biāo)是讓分類頭在預(yù)訓(xùn)練特征上找到一個(gè)大致的解第二階段解凍全部參數(shù)用一個(gè)非常小的學(xué)習(xí)率做全網(wǎng)微調(diào)。這比直接從隨機(jī)初始化訓(xùn)練整個(gè)網(wǎng)絡(luò)要穩(wěn)定不少也能明顯提升最終精度。# 階段一只訓(xùn)練head def stage_one(model): for p in model.backbone.parameters(): p.requires_grad False return torch.optim.Adam(model.head_main.parameters(), lr1e-3) # 階段二全部解凍 低學(xué)習(xí)率 def stage_two(model): for p in model.backbone.parameters(): p.requires_grad True optimizer torch.optim.Adam(model.parameters(), lr1e-5) return optimizer這里的關(guān)鍵點(diǎn)是階段一和階段二之間除了學(xué)習(xí)率變化最好把階段一的優(yōu)化器丟棄掉重新建一個(gè)新的。原因前面提過(guò)優(yōu)化器緩存里還保存著階段一的狀態(tài)突然換到全網(wǎng)微調(diào)時(shí)那些狀態(tài)可能會(huì)干擾更新方向重新創(chuàng)建更干凈。4. BN層、參數(shù)加載與多卡訓(xùn)練的連環(huán)坑凍結(jié)參數(shù)看起來(lái)是個(gè)小操作但在真實(shí)項(xiàng)目里總會(huì)碰到各種“看著沒(méi)事、跑起來(lái)就掛”的情況。這里面的坑我基本都踩過(guò)一遍一個(gè)個(gè)說(shuō)。4.1 BatchNorm層只凍結(jié)可學(xué)習(xí)參數(shù)遠(yuǎn)遠(yuǎn)不夠這是最容易踩、也最隱蔽的坑。BatchNorm層雖然是通過(guò)weight和bias學(xué)習(xí)縮放和平移但它的行為還依賴兩個(gè)“狀態(tài)量”——running_mean和running_var。這兩個(gè)量不是靠反向傳播更新的而是在每次前向傳播時(shí)用一個(gè)動(dòng)量系數(shù)在線更新的。所以即使你設(shè)了requires_gradFalse只要model.train()模式下這個(gè)BN層還在跑前向計(jì)算running_mean和running_var就會(huì)不斷被當(dāng)前batch的統(tǒng)計(jì)量更新。這在訓(xùn)練和推理時(shí)會(huì)出現(xiàn)嚴(yán)重的分布漂移問(wèn)題。如何正確凍結(jié)BatchNorm層我給你一個(gè)標(biāo)準(zhǔn)做法def freeze_bn(mod): for m in mod.modules(): if isinstance(m, nn.BatchNorm2d): m.eval() # 讓BN層使用全局統(tǒng)計(jì)量而不是更新running_mean for p in m.parameters(): p.requires_grad False這樣做的本質(zhì)是讓BN層切到評(píng)測(cè)模式前向傳播時(shí)直接使用running_mean和running_var不再用本batch的統(tǒng)計(jì)量更新它們。這樣才能做到真正的“凍結(jié)”。很多人只設(shè)了requires_gradFalse卻忘了讓BN層切模式結(jié)果模型在訓(xùn)練時(shí)表現(xiàn)正常、在驗(yàn)證時(shí)指標(biāo)掉得厲害八成就是這里出了問(wèn)題。那到底要凍結(jié)BN嗎需要分場(chǎng)景討論。如果凍結(jié)的是整個(gè)backboneBN層務(wù)必按上面這種方式處理因?yàn)樗鼉?nèi)部的統(tǒng)計(jì)數(shù)據(jù)如果持續(xù)變化會(huì)干擾凍結(jié)層輸出的特征一致性如果模型很小、任務(wù)分布和預(yù)訓(xùn)練分布差別很大BN也可以保持默認(rèn)的跟蹤更新只是這時(shí)它沒(méi)有被真正凍結(jié)你需要心里有數(shù)。4.2 加載預(yù)訓(xùn)練權(quán)重時(shí)嚴(yán)格對(duì)齊參數(shù)名和形狀用別人訓(xùn)練好的權(quán)重來(lái)微調(diào)如果你的模型結(jié)構(gòu)是從torchvision.models.resnet18(pretrainedTrue)直接加載的那名字天然對(duì)得上。但如果你自己改了結(jié)構(gòu)比如把fc換成一個(gè)雙分支頭加載權(quán)重時(shí)就很可能報(bào)size mismatch的錯(cuò)。這類報(bào)錯(cuò)原因很直接預(yù)訓(xùn)練權(quán)重的某個(gè)層形狀和你的模型對(duì)不上。比如原始的ResNet18最后一個(gè)全連接層是(512, 1000)形狀你把它換成了(512, 10)那加載時(shí)就肯定會(huì)沖突。解決辦法是strictFalse只加載能對(duì)上的部分checkpoint torch.load(pretrained_weights.pth) model.load_state_dict(checkpoint, strictFalse)但這里要小心strictFalse會(huì)把無(wú)法匹配的層全部忽略包括你本來(lái)想加載的層。要確保想加載的特征提取層能被正確覆蓋我建議加載前先打印一下檢查一下model.load_state_dict(checkpoint, strictFalse) for name, param in model.named_parameters(): print(name, param.shape, param.requires_grad)另外如果你是自己動(dòng)手做的模型加載之前還應(yīng)該確認(rèn)state_dict里的鍵名是否跟模型里的一致。比如某層以前叫backbone.conv1.weight后來(lái)你重構(gòu)成了encoder.conv1.weight鍵名就對(duì)不上了得手工做一下映射。最省事的做法是在模型保存和加載時(shí)都使用同一套命名規(guī)則別在中間改名。4.3 多卡訓(xùn)練時(shí)凍結(jié)邏輯與All-Reduce的交互使用DataParallel或DistributedDataParallel時(shí)凍結(jié)參數(shù)還有一個(gè)需要提前想清楚的地方??蚣茉诿看畏聪騻鞑r(shí)會(huì)對(duì)梯度做跨卡同步All-Reduce。如果你只在一張卡上凍結(jié)參數(shù)而在其他卡上沒(méi)有保持一致梯度同步就會(huì)出問(wèn)題最終導(dǎo)致更新行為完全不可控。而且要特別注意在DistributedDataParallel模式下歸一化層和同步層本來(lái)就是全局同步的。如果通過(guò)某些方式把BN層也帶上了同步邏輯你凍結(jié)時(shí)也要考慮sync BN的行為。我的經(jīng)驗(yàn)是在做多卡訓(xùn)練前先把凍結(jié)參數(shù)的全部邏輯固定下來(lái)讓所有進(jìn)程在完全一致的參數(shù)狀態(tài)下進(jìn)入訓(xùn)練在訓(xùn)練過(guò)程中不要?jiǎng)討B(tài)增刪requires_grad的凍結(jié)范圍否則每個(gè)step之間的行為會(huì)出現(xiàn)不可復(fù)現(xiàn)的差異。如果你的顯存足夠而DistributedDataParallel在凍結(jié)部分層的條件下依然會(huì)因?yàn)椤澳承﹨?shù)雖然requires_gradFalse但依然侵入同步邏輯”而產(chǎn)生警告可以設(shè)置find_unused_parametersTrue但要注意這會(huì)在每次前向時(shí)多花一點(diǎn)點(diǎn)時(shí)間做探測(cè)。這不是安全問(wèn)題但會(huì)讓你多排查一會(huì)兒。4.4 凍結(jié)后驗(yàn)證參數(shù)真的“凍住”了有時(shí)候你按照教程寫了凍結(jié)代碼模型跑起來(lái)也挺正常卻拿到的結(jié)果不對(duì)。別急著調(diào)整超參數(shù)先花10秒鐘確認(rèn)參數(shù)到底有沒(méi)有在變。一個(gè)非常實(shí)用的檢查手段是記錄訓(xùn)練前后參數(shù)矩陣的差異def check_frozen_param_change(model, before_state, after_state, name_prefix): changed [] for name, param_before in before_state.items(): if name.startswith(name_prefix): param_after after_state[name] if not torch.equal(param_before, param_after): changed.append(name) return changed這能幫你迅速排查到底是哪一層參數(shù)被動(dòng)過(guò)。另一個(gè)快速的檢查手段是訓(xùn)練幾百個(gè)step之后直接查看某個(gè)凍結(jié)層權(quán)重的數(shù)值變化有多小。如果在雙精度下依然完全沒(méi)有變化那說(shuō)明確實(shí)凍住了如果有微小變化說(shuō)明它其實(shí)還在更新得去優(yōu)化器和requires_grad上找原因。5. 常見(jiàn)問(wèn)題速查表與排查指南最后把這些年實(shí)際遇到過(guò)的問(wèn)題整理成一個(gè)速查表方便你直接對(duì)照定位?,F(xiàn)象常見(jiàn)原因排查方法設(shè)置了requires_gradFalse但參數(shù)還在變化優(yōu)化器是之前創(chuàng)建好的仍包含這些參數(shù)引用重新創(chuàng)建優(yōu)化器只傳入requires_gradTrue的參數(shù)模型訓(xùn)練表現(xiàn)正常驗(yàn)證指標(biāo)卻很差BN層還在用當(dāng)前batch統(tǒng)計(jì)量更新running_mean將含BN的模塊切到eval()模式并凍結(jié)其可學(xué)習(xí)參數(shù)load_state_dict報(bào)size mismatchfc等層結(jié)構(gòu)調(diào)整后和預(yù)訓(xùn)練權(quán)重形狀不匹配使用strictFalse并手動(dòng)確認(rèn)能匹配的層數(shù)量多卡訓(xùn)練時(shí)某個(gè)batch的loss不正常各卡凍結(jié)范圍不一致梯度同步出問(wèn)題保證所有進(jìn)程的凍結(jié)邏輯一致避免動(dòng)態(tài)增刪凍結(jié)層明明把某個(gè)層凍住了但顯存沒(méi)有降低凍結(jié)并不會(huì)修改前向傳播路徑激活值仍會(huì)緩存想省顯存需要結(jié)合torch.no_grad()或重寫前向邏輯凍結(jié)后訓(xùn)練不收斂分類頭學(xué)習(xí)率過(guò)大或凍結(jié)范圍過(guò)大導(dǎo)致模型表達(dá)能力不足調(diào)低學(xué)習(xí)率或者部分解凍backbone高層換數(shù)據(jù)集后效果反而更差預(yù)訓(xùn)練特征與目標(biāo)領(lǐng)域差異較大增加解凍層范圍或改用更大學(xué)習(xí)率微調(diào)高層驗(yàn)證時(shí)使用了隨機(jī)初始化參數(shù)忘記加載預(yù)訓(xùn)練權(quán)重就開(kāi)始訓(xùn)練初始化加載后再凍結(jié)并訓(xùn)練這張表看起來(lái)簡(jiǎn)潔但每一個(gè)現(xiàn)象背后我都交過(guò)“學(xué)費(fèi)”。尤其是BN層那條我早期做遷移學(xué)習(xí)時(shí)反反復(fù)復(fù)被它折磨后來(lái)才意識(shí)到requires_gradFalse和BN.eval()是兩件必須同時(shí)做的事。另一個(gè)值得單獨(dú)提一下的建議是在凍結(jié)參數(shù)時(shí)把訓(xùn)練過(guò)程分成熱身階段再進(jìn)入正軌。比如先只訓(xùn)練分類頭10個(gè)epoch再用很小的學(xué)習(xí)率解凍全部參數(shù)微調(diào)5個(gè)epoch很多任務(wù)上效果都會(huì)比從頭全量微調(diào)更穩(wěn)。我自己的經(jīng)驗(yàn)是這種“先冷后熱”的做法通常不額外增加太多訓(xùn)練耗時(shí)但收斂效果和最終指標(biāo)都會(huì)明顯更穩(wěn)。最后再分享一個(gè)小技巧如果你在跑一個(gè)現(xiàn)有項(xiàng)目的代碼別人已經(jīng)把凍結(jié)邏輯寫好了但你并不確定它凍結(jié)了哪些層那就直接在第一個(gè)step之后把全部參數(shù)快照打印出來(lái)就是前面那個(gè)對(duì)比函數(shù)一眼就能看出實(shí)際生效范圍。這個(gè)習(xí)慣幫我避免過(guò)至少十次無(wú)效訓(xùn)練。關(guān)于固定網(wǎng)絡(luò)這件事本質(zhì)上不復(fù)雜但也不是“設(shè)一行requires_gradFalse”就完事了。它和優(yōu)化器、BatchNorm、模型結(jié)構(gòu)、加載邏輯、分布式訓(xùn)練全都牽涉在一起。只要你把層次搞清楚遇到問(wèn)題時(shí)按上面這張表對(duì)號(hào)入座絕大多數(shù)坑都能邁過(guò)去。希望這篇分享對(duì)你接下來(lái)的訓(xùn)練項(xiàng)目有幫助。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
精品夜夜澡人妻无码AV| 丁香五月婷婷影视先锋| 九热网站| 日本色噜| 大香蕉啪啪| 碰久久精品w| 天天爱天天做天天爽| 激情综合网五月| 欧美性猛交 XXXX 乱大交| 夜夜夜夜操| 日日杆天天| 丁香五月综合婷婷| 99爱这里只有精品免费视频| 婷婷伊人綜合中文字幕| 99 这里只有精品| 久久性爱视频| 激情婷婷综合五月少妇| 九色地址91视频| 99热这里只有精品13| A片试看120分钟做受图片| 一区二区三区四区五区| 九热av| 色狠狠综合入口| 91a片爽| 99热国产这里只有精品| 玖玖综合网| 婷婷六月丁| 成片免费观看视频大全| 久久丁香综合香蕉| 五月婷啪| 日韩无码人妻一区二区三区综合| 久久精彩视频99| 狠狠色噜噜狠狠狠888| 丁香五月综合激情性爱| 亚洲天堂久久| 免费在线观看欧美激情xx小视频| 人人玩人人橾| www久久久久久久| 精品人妻在线| 六月丁香婷婷色69| 在线不卡的视频| 夜色综合网| 激情综合色| 最近中文字幕大全免费版在线| 久久婷婷丁香五月一二三| 激情四射五月天| 色噜噜婷婷| 无码动漫av| www.日日夜夜.com| 欧美xx激情视频在线观看| 99色.com| 艳妇野外情欲放荡HD| 激情五月天电影| 综合99综合久久久久久久| 中文字幕综合网| 激情网狠狠干| 色欲婷婷五月天| 疯狂做受XXXX高潮A片动画| 久久人妻乱| 亚洲视频在线网站| 9色视频在线| 婷婷玉月丁香五月在线视频| www.99久久久| av在线不卡播放| 思思热精品在线视频| 9999热精品在线免费播放| 精品操逼一区二区| 少妇人妻丰满做爰XXX| 婷婷五月天激情免费在线观看| 精品久久99码| av成人在线播放| 激情综合网五月激情| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 99久久超级| 亚洲AV综合网| 伊人色综在线| 五月色丁香婷婷综合| 亚州操操| 99热这里只有精品中文字幕| 丁香五月婷婷成人网| 色哟哟www| AA片在线观看视频在线播放| 激情综合婷婷| av在线免费网站 | 久久精品99| 亚洲图片 丁香婷婷| 激情五月影院| 无码动漫av| 男人综合网| 欧美在线看| 97碰碰草| 久久五月婷天天干| 熟女人妻一区二区三区免费看| 日91高清无玛| 色色色婷婷| 色色免费网战视频| 热热久久久久久久久| 久久草大香蕉| 亚洲啪啪啪啪| 丁香玖玖| 色播播婷婷| 在线中文AV| 亚洲六月色| 婷婷五月免费视频| 亚洲视色| 色播五月婷婷五月| 婷婷丁香五月天在线| 色欲Av五月天| wuyuedingxiang99| 丁香亭亭久久| 亚洲激情综合色站| 中文字幕综合网| 超碰成人AV| 百度一下国产精品A| 国色天香成人网| 婷婷伊人网| 婷婷五月精品中文字幕| 涩涩五月天| www激情网| 久久黄色网扯| 久久66er久久| 26uuu淫色| 久久综合干| 亚洲黄3级片网站欧美| 国产91在线视频| 狠狠插.com| 超碰免费在线| 亚洲成人影视在线| 色八戒操婷婷| 亚洲AV无码影院| 97干在线免费| 婷婷 丁香 久久| 丁香狠狠色婷婷久久无码视频| 天天射影院| 人人爱人人草| 国产伦亲子伦亲子视频观看| 琪琪色网址| 亚洲乱码日产精品BD在线观看| 五月婷婷开心网| 狠狠色丁香| 婷婷五月天综合AV| 婷婷中文字幕| 欧美三级A做爰在线观看| 深爱激情五月天| 色婷婷丁香五月| 思思re99视频在线观看| 色色色综合网| 秋霞性爱AV| 337p大胆噜噜噜噜噜91Av| 九九综合色| 亚洲成人一区| 精品久久99码| 欧美性生交XXXXX无码小说| 国产又粗又大又爽又黄| 成人无码中文| 97色婷婷成人综合在线观看| 99热国产这里只有| 5月婷婷性视频| 丁香五月天欧美| 新99思思视频| 久热这里精品免费| 五月六月伦理| 婷婷爱五月天| ai97re99一本| 久操97| 91色噜噜狠狠狠狠色综合| 亚洲精品影视| 亚洲 精品 综合 精品| 亚洲mm色| 无码区婷婷五月花开| 激情五月婷婷综合| 99色色网| 综合一啪| 他改变了拜占庭| 六月婷婷视频| 欧美成人精品A片免费一区99| 天天日天天做天天操| 深爱激情网婷婷| 99热亚洲精品66| 五月丁香六月婷婷欧美综合| 丁香五月在线观看| Www.se.久久| 久久看婷婷| 热99这里只是精品| 色婷婷裸体色性在线| 欧美精品熟女一区二区| 色吧五月| 五月婷性爱| 97五月天婷婷综合激情网| 欧美激情综合色综合啪啪五月| 第四色婷婷日本| 丁香五月婷婷呀| 99精品7| 婷婷丁香五月综合免费视频百花| 亚洲人妻AV| 三十熟女| 99视频自拍| 久久AV电影| 色色色99| 国外亚洲成AV人片在线观看| 99精品久久久| 开心五月深爱五月丁香五月激情五月| 亚洲综合草草| 丁香花狠狠婷婷亚洲中文字幕| 婷婷五月综合中文字幕| 激情五月天婷婷激情| 人人人人人人人草| 五月激情啪啪| 久久久性爱网| 中文字幕婷婷五月天在线观看| 五月丁香| 色99在线观看| 无码碰碰| 色综合xx| 五月丁香六月激情欧美综合| wwww.9免费视频| www.色五月| 韩国三级五月天婷婷。| 少妇性按摩无码中文A片| 日韩欧美性爱| 欧美成人网婷婷综合在线| 97色在线观看视频| 99精品网址| 青青热久精品视频在线观看| 午夜一区| 亚洲在线成人| 就爱射中文字幕资源网| 欧美经典片免费观看大全| 99色在线观看视频| 六月丁香久久| 国产毛片操B| 亚洲色五月| 激情五月天伊人影院| 开心激情站| 人橾人| 色区域网站视频| 日日干天天| 天天干,天天操,天天射| 亚洲AV无码成人精品区电影网| 婷婷久久五月| 婷婷五月天精品| 久久狠婷婷| 激情综合网激情五月欧美| 成人在线网址| 亚洲无码播放| 超碰97免费在线| 日韩在线视频9色| 538午夜激情| 婷婷色操| 香蕉中文在线| 色婷婷丁香五月天在线观看| 天天躁日日躁狠狠躁日日躁2022年5月9日| WWW色五月天| 丁香花色色网| 色五月综合激情| 99久在线精品99re8热| 国精产品一区一区三区免费视频| 国产亚洲99| 韩国19 主播内部福利vip免费播放| 能看的AV网站| W色综合| 亚洲色激婷| 99精品视频偷拍| 超碰成人AV| 中国激情网| 99久久99久久综合| 日本天天综合| 97色干在线观看| 91狠狠综合久久久久久| 五月丁香综合激情网| 丁香激情网| 超碰在线超碰| 久久九色| 激情AV| 久久综合五月天| 中文字幕综合| 九九精品热| 天天爽人人综合免费7799| 伊人激情综合网| 99精品网| 五月丁香啪综合| 99在线观看精品| 操97免费超级视频| 日夜操B| www.久久久久久久| 色99视频| a色色色色色| 天天色亚洲| 激情综合五月天| 99热这里有精力| 玖热精品综合视频| 五月婷婷爽爽爽| 婷婷射图五月天| 久久男人网婷婷| 丁香五月综合在线视频| 色婷婷天堂| 26uuu丁香婷婷五月| 九色七七| 99成人| 丁香亚洲婷婷五月| 久久丁香九| 日日干日日| 97久久草草超级碰碰碰| 九九性视频| 深爱丁香激情| 伊人大香蕉在线视频| 久久久久网站| 人人操Av| 伊人久热91| 91人人操人人| 五月丁香久久久日婷婷久久婷婷日| 成人做爰A片免费看网站找不到了| 色天天综合色| 九月色婷婷综合| 五月天婷婷av| 色宗合久久五月婷婷| 婷婷五月丁香成人网| 五月婷婷av| 十区AV| 大香蕉AV在线| 日本成人噜噜噜噜噜| 五月丁香综合久久夜夜| 日日噜噜夜夜狠狠久久丁香六月| 超碰成人在线观看| 色五月丁香五| 五月婷婷三级| 热99只有精品| 超碰国产av| 天天插天天插| 高清无码入口| 婷婷综合五月激情| 欧美碰碰碰| 爆乳熟妇一区二区三区爆乳照片| 欧美五月丁香在线| 久久3级片| 99激情在线| 亚洲综合色网站| 99在线资源视频| 99综合网| 六月天无码网址| 久久婷婷五月激情综合| 少妇人妻偷人精品无码视频新浪| 97丁香五月| 性小说五月天| 综激情网| 亚洲影院婷婷色| 日韩AV大全| 淫水导航| 色婷婷影视| 精品日本视频444| 99色综合网| 五月天五月婷五月激情网| 91婷色| 丁香网五月天| 99热这里有精品| 久久人妻视步| 激情六月五月婷婷综合网| 久久久欧美精品sm网站| 久久婷婷综合五月| 亚洲综合五月天婷婷丁香| 99热色精品| 五月色欧洲| 丁香五月日韩| 婷婷五月天丁香激情| 久热9| 五月婷婷婷丁香播| 精品久久66| 美女天天久久| 亚洲欧洲国产精品| 成人网丁香五月| 成人亚洲精品久久久久| 五月天成人在线视频网站| 五月综合婷婷五月| 亚洲第一精品网站| 综合综合网| 天天综合激情| 99热最新地址在线| 久久 婷婷 五月天| www.9797国产| 国产中文字幕在线视频免费观看| 亚洲狠狠丁香婷婷香蕉| 日韩一区二区A片免费观看| 成人亚洲精品| 99婷婷国产最新视频| 色欲天天综合| 精品久久久久久久久久久久人妻| 日韩狠狠色婷婷| 九色婷婷| 五月婷婷三级| 激情婷婷丁香五月天| 丁香五月婷婷国产av| 9l视频自拍9l九色成人| 99re这里只有| 在线只有精品| 五月天婷婷丁香| www.99热视频| 五月婷精品| 99热免费| 天天综合色丁香| 激情综合网五月激情网| 深爱五月激情| 人人操av| 久久五月天色婷婷| 丁香色综合| 精品99视频| 夜夜干天天操| 99热网址| www久久99| 天天操加勒比| 久久婷婷视频| 丁香五月手机在线| 伊人五月天| 婷婷五月天视频| 丁香婷婷社区| 被男人添B超爽视频| 六月婷婷色综合| 亚洲这里只有精品| 天天综合色| 六月丁丁香| 激情第四色| 国产肥白大熟妇BBBB视频| 亚州美女| 日韩AC在线免费观看| 欧美三级视频| 98色丁香五月婷婷综合网| 婷婷之玖玖| 七月激情六月婷婷综合在线播放| 91精品国产99久久久久久天美| 五月婷婷深深爱| 4438激情网| 色婷婷AAA| 玖玖国产视频一区| 99热日本| www.henhengan| 五月婷婷色播| 97精品欧美91久久久久久久| 丁香五月婷婷基地| 久久R激情| a毛片二逼wwwwwwwwww| 99在线看片| 9久9久| 国产在线黄色| 亚洲在线激情婷婷五月| 婷婷丁香五月亚洲综合网在线视频观看| 人人噜天天上| 欧美影院婷婷| 少妇做爰免费视看片| 色婷婷综合久久| 色综合网页| 婷婷激情五月天激情小说| 婷婷终合色图| 丁香五月1页| 超碰精品手机在线| 九九热思思| 五月色色色| 国产av天堂| 深爱激情网婷婷| 婷婷色五月情| 婷婷在线综合| 99精品视频在线观看| 丁香五月欧美婷婷| 国产91视频| 五月丁香激情婷婷综合字幕| 一级操逼内射在线视频| 亚洲精品视频在线| 欧美熟女视频 色婷婷| 伊人五月综合网| 久久人人看| 天天拍夜夜爽| 操日视频| 性欧美大战久久久久久久83| 婷婷天堂视频| 伊人六月无码视频| 久久总和99| 五月天社区| 五月天怕怕| 97干在线视频| 久热视频这里只有精品| 丁香六月激情综合| 综合色婷婷| 五月天合网| 这里只有精品1| 79精品视频在线观看,| 国产欧美精品AAAAAA片| 久久WW| 亚洲丁香五月天在线视频| 玖玖婷婷五月天| 亚洲操操| 99在线观看精品| 99亚洲欧洲| 婷婷五月综激情| 五月网站| 色呦呦美女| 狠狠狠狠狠操| 性爱久久| 亚洲第二AV| 五月天激情啪啪| 婷婷五月天社区| 婷婷五月天99综合网站| 91啪级电影| 丁香性爱在线视频| 五月综合在线| 九九99九九精品免费| WWW99视频| 26uuuavcom| 五月婷中文字幕| 狠狠操狠狠色| 2w在线视频| 日欧大屏操| 成人国产欧美大片一区| 美女亚洲五月丁香| 久久婷婷五月综合激情国产| 综合久久婷婷| 亚洲AV第二区国产精品| 婷婷王月天影院| 人妻熟女一区二区AV| 大香蕉久| 极品另类| 免费观看2018www黄色操逼网站| 99热日韩这里只有精品| 日韩av在线电影| 色护士综合| 九九一综合精品| 天天综合色| 久99在线视频| 99热这里只有精品8| 日本美女97在线视频| 亚洲午夜精品久久久久久人妖 | www.91av.com| 热这里只有精| 五月婷婷激情| 五月婷婷六月丁香激情深爱| 玖玖无码中文| 99婷婷国产最新视频| 在线观看中文字幕| 9 1 A v久久久| 九九机热| 1024欧美看片| 五月丁香花激情综合网| 色婷婷成人色网| 9精品久久999| 无码网| 日本色婷婷| 亚洲综合五月天婷婷丁香| 婷婷激情图片| 激情久久月| www.开心激情| yw.av| 五月激情婷婷开心| 久久婷婷五月综合色和| 久热这里只有精品在线| 国产成人网| 丁香婷婷老熟女综合网| 六月丁香婷婷尤物| 激情操逼婷婷| 性生活久久人妻| 色综合99无码| 99免费视频网| 影音先锋男人资源站一区二区| 日日操夜夜骑| 日韩一级网站| 丁香五月欧美激情| 日韩中文欧美| 亚洲视频另类| 97碰久久| 九九色热| 99热这里| 五月婷激情| 五月天综合网| 无码人妻丰满熟妇奶水区码| 国产高清RV综合aVa| 国产精品人人做人人爽人人添| 99高级会所久久| A片试看50分钟做受视频| 久久婷婷欧美| 超级碰碰碰久久网站| 成人精品亚洲性爱| 亚洲精品影视| 国产乱子轮XXX农村| 婷婷五月天影视| 欧美日本国产| 婷婷五月激情的图片| 91久久1118| 六月丁香久久| 五月婷婷丁香av| 国产永久一黄| 欧美99| 狠狠狠狠狠狠草| 97操碰人免费| 极品少妇婷婷五月| 激情爱爱网站| 国产五月丁香在线| 级人人91| 婷婷五月精品中文字幕| 色噜噜狠狠色综合无码久久欧美| 欧类av怡春院| www.夜夜操.com| 色综合色五月| 五月开心播播网| 玖玖热视频| 婷婷五月天堂| 日本色色色色色色色色一色二色| 五月天激情久久| 久热AA| 综合激情站| sewuyuejiqingwang| 九九Y精品热播| 亚洲午夜一区二区| 青青草a在线| 碰超在线九色| 丁香六月婷婷综合| 六月婷婷中文字幕| 色吧综合网| 亚洲av| 欧美丁香五月夫妻天| 欧亚色色| 色婷婷亚洲在线观看| 色色com| 日韩99精品| 亚洲色精彩| 久超免费视频| 亚洲精品视频在线| 99热这里只有精品8| 色区久久| 98热精品| 婷婷成人基地| 99热精品99| 色婷五月丁香久亚洲| 2017人人操| 免费无码毛片一区二区A片| 久婷婷色| 人人视频色| 婷婷激情五月| 久久丁香社| 97福利视频| 9l视频自拍九色9l视频在线观看| 狠狠色狠狠色综合日日91| 玖玖在线视| 日本色啪| 国产精品美女| 色色色在线观看| 这里只有精品久| 99热久草| 亚洲在线播放| 20253AV| 无码色色色| 五月激情综合网| 丁香欧美| 欧美婷婷五月无砖| 第四色激情网| 大香av| 99精品视频在线观看| 99热偷拍| 天天日天天插| 亚洲99精品欧美一区| 国产99美少妇| 亚洲旡码| 婷婷色情网| 狠色色狠网| 婷婷五月激情丁香激情| 九九热色视频| www久久99| 伊人色五月| 97碰碰草| 日本操天堂| 激情丁香婷婷| 97色碰| 久久99精品久久久久久噜噜| se99视频| 九九热视频思思| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 激情久久久久久| 色五月婷婷影院| 五月天色在线| 99爱视频精品| 在线观看的av| 亚洲免费观看高清完整版AV线| 天色色综合网| 激情五月婷婷色色| www色哟哟| 老司机视频lsj爱就色| 综合av在线| 国产精品第一国产精品| 激情文学综合婷婷五月天丁香花| 日本欧美成人片AAAA| 婷婷五月天福利| 五月天开心网| 亚洲无码成人| 激情五月丁香社区| 五月婷婷啪啪网| 五月婷婷色综图片| 色五月婷婷av| 九九色大香蕉| 另类视频综合| 色婷婷丁香五月| 色五月在线播放| 久久这里只有精品热在99| WWW.婷婷| 天天日天天舔| 综合av在线| 色六月 婷婷| 99国产99| 色婷婷五月综合色婷婷| 午夜日日| 91亚洲免费片| 99人人操人人操人人精| 免费观看亚洲AV片| 天天做天天爱天天爽夜夜揉| 六月丁香基地| 激情宗合网激情五月天| 五月婷婷自拍视频| 婷婷综合精品视频97| 99热精品无码| av在线观看免费| 天天弄天天操| 嫩BBB搡BBBB榛BBBB| 美国少妇性做爰| 天天色中文字幕女优AV| 夜色.cnm| 人人性久久| 91丨九色丨老农村| 欧美色片中文字幕久久久久| 亚洲V国产V欧美V久久久久久| 丁香,开心成人,久久| 97福利视频| 无人区码一码二码三码医生系列| 嫩草AV久久伊人妇女超级A | 色5月婷婷| 色综合久久无码| 94干大香蕉| 9久久久久久久久久久| 人人操91色| 亚洲小电影在线观看黄999| 97中文在线| 99热这里只有精品在线免费| 99人人操人人摸| 色五月五月婷婷| 99国产精品久久久久久久久久久| 中美日韩成人在线| 日本人妻伦在线中文字幕 | 婷婷五月色情天| 第五色婷婷| 色吧婷婷五月亚洲| 成人AV网站在线| 久久精品爱爱| www.深爱激情| 婷婷综合久久| 色婷婷综合久久| 超碰97干| 亚洲 无码 中文字幕 中出 | 亚洲激情97五月天| 五月天综合在线| 国产做爰视频免费播放| 四季AV综合网| 成人婷婷五月天| 激情文学五月丁香六月婷婷| 久久激情综合| 久久久五月天婷婷成人网| 超碰93在线观看| 狠狠搞综合色| 99在线观看精品| 色伊人91在线视频| 亚洲小电影在线观看黄999| 情欲综合网| 99热免费| AA片在线观看视频在线播放| 激情文学第四色婷婷丁香五月| 亚洲色婷婷99一9|| 中文字幕,综合,91| 91色呦哟| 五月丁香婷婷爱激情综合网| 99国产这里只有精品| 91无码高清| 亚洲妇女熟BBW| 久久婷婷国产| 日日夜夜天天爽| 99这里| 日韩精品无码AV| 丁香五月天偷拍| 深爱激情综合| 极品人妻VIDEOSSS人妻| 99九九综合久久九九| 玖玖福利视频资源| 激情小说五月天| 狠狠久综合| 欧美色小说婷婷| 俺去也五月| 日本欧特黄色刺激一区影视久精品无码| 欧美五月丁香啪啪响视频| 婷婷综合在线| 久久R激情| 亚洲色涩视频| 一区二区免费看| 99碰碰碰| 5月婷婷6月丁香aV| 99久久婷婷国产综合精品草原| 婷婷五月综合丁香久久| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 久久久免费精彩视频| 蜜臀AV在线观看| 99精品自拍| 色婷婷电影网| Www.se.久久| 逼逼AV| 色五月综合| 久久色天堂| 五月激情站| av婷婷丁香| 丁香亚洲婷婷五月| 97操操| 久热伊人| 操久久网| www.五月天色色.com| 桔色成人在线| www.99色在线| 五月丁香综合伦理片| 久久久久久欧美精品se一二三四| 大香蕉综合在线| 国产色网站| 日本欧特黄色刺激一区影视久精品无码| 色五月婷婷啪啪五月| 疯狂做受XXXX高潮A片动画| 五月婷婷五月天| 色J香五月天| 在线观看视频1区| 日本九九热| 国产成人精品一区二区三区视频| 天天拍夜夜撸| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 欧美日韓成人亚洲精品另类| 欧洲色色| www.婷婷网| 久色激情| 91丨熟女丨首页| 涩五月婷婷| 丁香五月天激情网址| 天天日天天色| 激情久久四色| 97干在线| 深爱激情五月天色婷婷| 精品亚洲国产成AV人片传媒| 狠狠狠狠狠狠草| 99热亚洲| 天天色综合色色色色色。| av九九| 深爱网深爱综合网| 变态 另类 在线 | 日韩青青| 五月天婷婷人妻| 黄桃AV无码免费一区二区三区| 97色伦另类图片小说视频| 最新高清无码专区| 久久婷婷亚洲五月天| 欧美三级视频| 丁香六月五月天| 色色五月天婷婷丁香| 丁香婷婷五月| 欧美日韩国产一区| 亚洲成人免费电影| 婷婷久久五月| 婷婷D区| 婷婷五月天黄色小说| 九色在线观看91av| 久久精典| 丁香五月婷婷六月婷婷| 69精品人人人人| 三级大香蕉网| 欧美激情伊人| 超碰九色| 色婷婷五月天激情久久| 免费观看欧美成人AA片爱我多深| 五月婷婷丁香色播网| 婷婷亚州综合| 殴美日比视频| 99热国产国产| 91午夜婷婷狠狠久久综合9色| 激情六月天婷婷| 91se在线视频| 国产亚洲精品久久久久久郑州| 婷婷色五月色妇| 色婷婷性爱| 在线不卡视频| 五月丁香激情综合六月涩涩爱| 五月停停99| 日韩99视频| 热久久思思热思思| 热久91| 天天爽人人综合免费7799| 99热99成人| 182tv992tv人之初午夜免费观看| 天天插天天插| 99在线观看视频精品| 北条麻妃伊人| 亚洲九区| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 色999五月色| 亚洲乱码成人| 婷婷激情五月天激情小说| 亚洲另类婷婷综合| 我爱宗和色| 婷婷五月18永久免费网站| 精品久久艹| 色婷婷色人人射| 婷婷五月丁香六月| 五月婷视频| 大香蕉久久久久| 五月丁香好婷婷A片网| 婷婷五月丁香超碰| 中文字幕日产A片在线看| 五月天综合视频| 婷香五月网在线| 婷婷色色丁香| 天天操夜夜操| 大天天伊人| 天天操天天操综合| 久久五月婷婷丁香| 综合福利网| 国产成人网址| 情久久综合五月天| 天天弄天天爽| 中文字幕av亚洲| 亚洲激情av| 成人精品亚洲性爱| 丁香婷婷免费| 97人人看| 色综合久久88色综合天天| 色婷婷亚洲婷婷| 婷婷五月天视频| 国熟女视频| 91久操| 99色.com| 丁香五月花| 久久婷婷精品| 99亚州综合精品成人网| 这里只有精品热| 欧美在线看| 天啪天啪天啪天啪| 欧美性猛交AAAA片黑人 | 91干| 婷婷五月天美女21p| 五月综合亚洲| 丁香色六月婷婷| 日本少妇AA一级特黄大片| 伊人综合网站| 99热在这里只有精品| 色五月色五天免费视频| 天天插天天草人人玩| 丁香激情网| 超碰成人AV| 丝雨一区二区| 国产在线aaa片一区二区99| 久热九九| 久草狼人| 人人噜天天上| 草婷婷在线| 99热 免费| 成片免费播放| 激情婷婷网| 人人操超碰| 九九九九操逼| 99这里只有精品| 26uuu| 亚洲精品无码久久| 色五月婷婷综合| 日韩无码人妻一区二区三区综合| 亚洲激情AV| av在线观看网站| 九九综舍久久| 黄色99热| 操操操91| 超级碰碰一区| 亚洲日比视频| 狠狠干天天日| 久久机热/这里只有精品| www.日韩国产| 激情图片婷婷| 97精品自拍视频| 99网99热| 日日干日日| 天天爽—爽| 久青青久| 激情五月黄色小说| 丁香午月AV中文字幕| 99成人网一区| 丁香五月,开心五月,成人婷婷| 丁香婷婷五月综合色情| 国产成人av在线| 97人人干人人操| 99ri在线视频| 99操逼视频| 97碰碰在线看视频免费| 婷婷综合色图| 国产综合色婷婷精品久久| 亚洲、欧美、国产另类笫二区| 99亚洲精美视频在线观看| 激情婷婷激情在线不卡| 亚洲永远av在线播放| 亚洲成人AV一区在线观看| 久久婷婷网址| 中文字幕五月久久婷婷| 久久久五月天网站| 97超碰在线免费观看| 天堂亚洲 在线| 伊人9在线| 亚洲AV综合网| 九九色逼| 五月天国产成人| 日韩狠狠色婷婷| 婷婷永久在线| 丁香五月六月激情| 婷婷色色网| 色五月五月天| 狠狠色综合五月| 亚洲精品午夜国产va久久成人| 色综合久久88色综合天天99| 这里只有精品久久| 五月婷婷狠狠干| 亚州色色色| EEUSS鲁片一区二区三区| www.超碰97| 青青草99re| 欧美性猛交99久久久99| 8区视频在线| 色婷婷婷av| 色婷婷五月天激情在线播放| 五月丁香五月天现场视频| 人人妻久久妻| 日韩在线9| 99啪| www.婷婷六月天| 伊人香大香蕉视频| 久久婷中文字幕| 91精品无码| 亚洲1区| 国产寻花在线| 激情婷婷五月社区| 成人版视频在线观看| 六月丁丁香| 色婷插| 伊人婷婷色| 色色激情五月天| 视频这里只有精品16| 欧美日韩一区二区三区四区| 99九九视频精彩在线| 丁香色五月 97干| 182tv992tv人之初午夜免费观看| 久久9999| 电影蜘蛛女| 五月熟妇婷婷久久| 2025年最新亚洲在线欧美| 丁香五月开心亚洲| 99色在线| 伊人大香蕉在线视频| 金桔一区二区ab地址| 天天爽天天透天天爱| 五月丁香六月婷婷啪啪| 婷婷丁香十月| 操精品9| 成人欧美日韩| 五月婷六月天| 国产.亚洲.欧洲视频在线| 丁香五月激情啪啪| 亚洲无码性爱| 六月婷婷久久| 五月天婷婷丁香蜜桃91| 亚洲第一第二网站| 久久激情五月婷婷| 五月婷婷丁香日韩在线| 大香蕉99热| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | WWW.桔色成人.COM| 97碰超级人人看| 亚洲午夜成人av电影网| 激情图片婷婷丁香五月| 天天日天天添| 婷婷丁香人妻天天爽| 激情五月婷婷综合| 久久 无毛。| 夜夜夜夜做天天天做无码视频| 啪啪婷婷五月天激情| 又大又粗九一在线| www一起操| 久热中文字幕在线线观看| 婷婷五月色天| 香蕉久久av一区二区三区| 婷婷激情六月综合| 丁香色情五月综合网站| 五月激情婷婷丁香| 亚洲成人AV在线| 五月色丁香国产在线视频| 成人国产综合| 99视频综合网| 国产视频久色| 丁香激情五月| 丁香五月狠狠在线观看| 色噜噜狠狠色综合AV兰草影视| www.minyis.com【JT】实力收量可预付QQ2101460746 | 色婷婷伊人| 天天综合网网欲色| 五月激情小说| 久久精品婷婷| 久久九九色| 涩丁香| 亚洲中文无码成人| 激情婷婷五月天| 成人做爰A片免费看视频| 午夜婷婷久久 | 五月婷婷丁香av| 欧美日韩99| 秋霞A V毛片| 丁香六月欧美| 丁香五月婷婷国产av| 日本色噜| 九月婷婷久久久| 丁香五月天天| 五月天婷婷丁香社区| 国产在线aaa片一区二区99| 五月婷婷干干干| 超碰日日操| 男人視頻站| 欧美亚洲操逼| 四色五月婷婷| 日本操片| 婷婷五月丁香综合激情| 91麻豆国产三级精品福利在线观看| 成人天天爽| 狠狠丁香| 综合激情在线| 色综合五月天| 色玖玖网| 成人网站免费sxj| 疯狂做受XXXX高潮A片| 99精品久久久久久久婷婷| 久久丝袜婷婷| 国产精品色婷婷久久久精品| 开心网五月色婷婷| 碰人人97| 亚洲国产色色| www.金莲av| 婷婷久久视频| 欧美精品XXXXBBBB| 亚洲丁香五月综合| 天天拍天天操| 玖玖资源站国产| 九九热视频精品| 九九色婷婷| 五月天久久久| 一起草AV| se99视频| 噜噜噜狠狠色综合| 97操碰| 日本久热| 婷婷综合五月| 国产免费一区二区在线A片视频| 五月天社区婷婷丁香社区| 婷婷五月成人色综合| 99热这里只有精品9| 草草视频91| 思思热在线视频精品| 久色网| 激情五月天婷婷| 中文字幕成人| 开心五月天激情网| 五月丁香五月丁香| 成人免费120分钟啪啪| 6080av| 婷婷.com| 久播影院免费观看电视剧大全最新网| 久久ri精品| 天天操电影院色狼性av| 五月天久草| 色婷婷日本| 99九九热在线观看| 色色射| 天天色月| 成人日韩欧美| 日日噜狠狠色综| 国产露脸150部国语对白| 婷婷五月综合在线视频| 久草 tingting| 99综合| 久久婷.com| 婷婷五月成人| 91啪级电影| 久久综合九色综合88i| 天天做天天爱| 激情爱爱网站超大免费| 狠狠爱婷婷爱| 色婷婷电影网| 99国产精品白浆在线观看免费 | 99这里有精品视频3| 国产JK精品白丝AV在线观看| 色五月婷婷激情五月| 97超碰色| 久操福利| 侠女刀之记忆电影在线看免费| 97在线观看| 这里只有视频精品| 久久精彩视频18| 激情综合另类| 天堂网色色| 狠狠狠狠狠狠狠狠| 丁香五月激情婷婷激情| 久久青草国| 99在线视频精品| 五月天婷综合网站| 九九九激情网| 五月婷婷六月丁香玖玖玫瑰91| jiqingtaose五月天| 影音先锋91网站在线观看| www.国产色| 99久久久久久| 久久婷婷热| 亚洲成人噜噜| 丁香婷婷五月综合| 99色综合| 五月丁香在线看| 婷婷久久久| 婷婷中合| 五月天婷婷免费| 婷婷六月丁香久| 91久久精品视频| 色色a| 人妻操操色| 天堂爱啪啪| 欧美大肥婆大肥BBBBB| 天天日夜夜曹| 久操b网| 操日本色| 操操碰| 综合网亚洲| www.minyis.com【JT】实力收量可预付TG@LXSPSW8 | 国产九九一区二区三区| 五月丁香六月| 色五月综合| 99在线免费视| 五月丁香久久色| 中国丰满熟女A片免费观| 天天影院色| 五月婷婷和六月| 狠狠九九婷婷韩| 另类图片色五月| 热99只有里视频| 欧美婷婷六月丁香综合色| 九九色中文| 播播网色播播| 26uuu日韩| 婷婷五月深深的爱| WWW.99视频| www.91av.com| 中文激情网| 无码人妻一区| 激情五月网站| 五月丁香91| 色情五月| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 丁香婷婷网| 狠狠色综合网站久久久久| 欧美婷婷五月激情| 九九热中文| 欧美婷婷精品激| 天天日中文| 黄网在线播放| 五月天婷婷基地综合网| 五月激情综合深爱| 欧洲亚洲免费视频9|