欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

預(yù)訓(xùn)練模型遷移學(xué)習(xí):特征提取與部分微調(diào)怎么選

預(yù)訓(xùn)練模型遷移學(xué)習(xí):特征提取與部分微調(diào)怎么選 1. 先把兩個(gè)概念掰開誰在訓(xùn)練誰被凍住做遷移學(xué)習(xí)的時(shí)候模型部分微調(diào)和特征提取這兩個(gè)詞幾乎天天出現(xiàn)在討論里但很多人第一次接觸時(shí)會(huì)把它們當(dāng)成一回事。我在帶新人做圖像分類任務(wù)時(shí)最常聽到的一句話就是“我把預(yù)訓(xùn)練模型加載進(jìn)來了然后呢”。這個(gè)問題看著簡(jiǎn)單背后其實(shí)是一個(gè)關(guān)于“信任程度”的決策你到底有多信任預(yù)訓(xùn)練權(quán)重學(xué)到的表示愿意讓它在新數(shù)據(jù)上改動(dòng)多少。特征提取的做法是把主干網(wǎng)絡(luò)當(dāng)成一個(gè)固定的、不可修改的特征變換器參數(shù)全部?jī)鏊乐挥?xùn)練后面新加的那一小截分類頭部分微調(diào)則是把主干的一部分層解開讓它們跟著新任務(wù)一起更新通常是解凍靠后的幾個(gè)stage或者最后一個(gè)block前面保留凍結(jié)。這個(gè)區(qū)別在定義上只有一句話但落到實(shí)驗(yàn)結(jié)果、訓(xùn)練時(shí)長(zhǎng)、顯存占用、可復(fù)現(xiàn)性上差異相當(dāng)明顯。我先把結(jié)論擺在這里特征提取本質(zhì)上是在做“換頭”部分微調(diào)本質(zhì)上是在做“換頭加局部改造”。前者假設(shè)預(yù)訓(xùn)練模型已經(jīng)學(xué)到了足夠通用的表示你只需要一個(gè)線性分類器把它映射到新標(biāo)簽空間后者假設(shè)預(yù)訓(xùn)練表示大體可用但和新任務(wù)之間存在語義偏移需要讓高層特征重新適應(yīng)。這個(gè)假設(shè)成立與否跟你的數(shù)據(jù)量、數(shù)據(jù)和新任務(wù)的距離、以及算力預(yù)算直接相關(guān)。寫這篇文章我想把這兩條路從原理到代碼到踩坑都拆一遍盡量讓剛?cè)腴T的朋友看完能直接上手也讓已經(jīng)在做項(xiàng)目的人對(duì)選型有個(gè)清晰的判斷依據(jù)。不管你現(xiàn)在是在做工業(yè)質(zhì)檢的小樣本分類、還是做文本多分類、還是給一個(gè)小數(shù)據(jù)集做快速基線這兩個(gè)方案都是你繞不開的起點(diǎn)。1.1 一句話區(qū)分代碼層面到底差在哪幾行如果只看代碼兩者的差異小到讓人意外核心就是requires_grad和優(yōu)化器收哪些參數(shù)。特征提取的典型寫法是這樣加載預(yù)訓(xùn)練權(quán)重把主干所有參數(shù)的requires_grad設(shè)成False然后替換掉最后的全連接層新建的層默認(rèn)requires_gradTrue優(yōu)化器只接收新層的參數(shù)。部分微調(diào)則是在這個(gè)基礎(chǔ)上把指定的若干層重新設(shè)回True再把這些解凍的參數(shù)以更小的學(xué)習(xí)率交給優(yōu)化器。注意這里有個(gè)很多新手會(huì)掉的坑優(yōu)化器是在凍結(jié)之前構(gòu)造的那么即使你后續(xù)把requires_grad改成False那些參數(shù)雖然不會(huì)更新因?yàn)樘荻仁荖one但仍然會(huì)掛在優(yōu)化器里占著狀態(tài)內(nèi)存還可能被 weight decay 之類的邏輯誤傷。所以正確順序永遠(yuǎn)是先凍結(jié)、再建優(yōu)化器。再往細(xì)里說特征提取還有一個(gè)更徹底的加速版本既然主干完全不更新那它對(duì)同一張輸入永遠(yuǎn)輸出同一個(gè)向量那就干脆不要在每個(gè) epoch 重復(fù)跑前向直接一次性把所有樣本的特征算出來存起來后面只訓(xùn)練一個(gè)線性層或者甚至用邏輯回歸。這個(gè)做法在數(shù)據(jù)量不大幾萬張以內(nèi)、增強(qiáng)策略比較溫和的場(chǎng)景下非常好用原本要跑幾個(gè)小時(shí)的訓(xùn)練幾分鐘就出結(jié)果而且能讓你快速判斷“這套預(yù)訓(xùn)練特征到底有沒有信息量”。當(dāng)然它也有代價(jià)后面會(huì)詳細(xì)說。部分微調(diào)的代碼差異主要是參數(shù)分組。你需要把參數(shù)按層級(jí)拆成幾組分別給不同的學(xué)習(xí)率通常主干靠后的層給1e-5到1e-4新加的頭給1e-3到1e-2形成一種從“幾乎不動(dòng)”到“放開訓(xùn)練”的梯度。這個(gè)做法在業(yè)內(nèi)叫判別式微調(diào)思路來源于一個(gè)很樸素的觀察靠前的層學(xué)的是邊緣、顏色、紋理這種通用東西基本不需要改靠后的層學(xué)的是語義組合最需要適配新任務(wù)。所以給它們不同的步長(zhǎng)比一視同仁地設(shè)一個(gè)學(xué)習(xí)率更穩(wěn)。1.2 從反向傳播看本質(zhì)梯度流經(jīng)的范圍決定了成本要理解兩者為什么性能和成本都不同得從反向傳播的路徑上看。特征提取時(shí)因?yàn)橹鞲蓞?shù)requires_gradFalse并且輸入也不需要梯度PyTorch 的自動(dòng)微分機(jī)制在主干部分根本不會(huì)記錄中間激活值前向算完就釋放。這意味著顯存占用里最大的一塊激活值幾乎不占只有新加的頭部會(huì)保存中間結(jié)果。部分微調(diào)則不同只要某一層參數(shù)需要梯度它前面的所有計(jì)算圖節(jié)點(diǎn)都得保留直到反向傳播走完。哪怕你只解凍最后一個(gè) block前面所有層的激活仍然要存著因?yàn)樘荻纫宦穫骰厝ユ準(zhǔn)角髮?dǎo)。這是很多人沒意識(shí)到的點(diǎn)解凍最后一層省下的顯存遠(yuǎn)比你想象的少省下的是計(jì)算量而不是顯存。我做過一個(gè)粗略的對(duì)比以常用的 50 層殘差網(wǎng)絡(luò)為例輸入 224×224全量微調(diào)在單卡上大概能開 batch size 64 左右就頂?shù)斤@存上限換成只訓(xùn)練分類頭同樣顯存能開到 256 甚至更高。但如果你只是解凍最后一個(gè) stagebatch size 大概只能提到 80 到 96提升有限。這個(gè)實(shí)測(cè)結(jié)果和很多人的直覺相反他們以為“我只解凍一點(diǎn)點(diǎn)顯存應(yīng)該接近特征提取”實(shí)際不是。所以如果你的瓶頸是顯存特征提取才是真正的解法如果你只是想省訓(xùn)練時(shí)間部分微調(diào)的加速效果也就那樣。另一個(gè)從反向傳播角度看的重要差異是梯度尺度。新加的分類頭是隨機(jī)初始化的訓(xùn)練初期梯度很大如果主干也一起放開這些大梯度會(huì)順著鏈?zhǔn)椒▌t一路污染主干權(quán)重把預(yù)訓(xùn)練學(xué)到的表示沖垮。這就是為什么微調(diào)必須用很小的學(xué)習(xí)率或者先凍結(jié)主干訓(xùn)幾輪頭再解凍業(yè)內(nèi)管這個(gè)叫預(yù)熱。特征提取天然沒有這個(gè)問題因?yàn)橹鞲蓧焊唤邮仗荻取?.3 為什么會(huì)有這兩種做法遷移學(xué)習(xí)的譜系位置把視野拉遠(yuǎn)一點(diǎn)看特征提取和部分微調(diào)其實(shí)是“遷移學(xué)習(xí)”這條譜系上的兩個(gè)點(diǎn)而不是兩個(gè)孤立的技術(shù)。譜系的一端是完全凍結(jié)、只訓(xùn)頭另一端是全量微調(diào)中間還有逐層解凍、分層學(xué)習(xí)率、加輕量適配層等一串變體。選擇哪個(gè)點(diǎn)本質(zhì)上是在回答三個(gè)問題新數(shù)據(jù)和預(yù)訓(xùn)練數(shù)據(jù)的分布差多少、新數(shù)據(jù)有多少、你能接受多大的訓(xùn)練成本。分布差得遠(yuǎn)、數(shù)據(jù)又少就往凍結(jié)那頭靠因?yàn)榉砰_訓(xùn)練容易過擬合分布差得遠(yuǎn)、數(shù)據(jù)挺多反而應(yīng)該多解凍因?yàn)榕f的高層語義確實(shí)不管用了分布接近、數(shù)據(jù)少凍結(jié)就夠分布接近、數(shù)據(jù)多全量微調(diào)最省心。這個(gè)譜系思維很關(guān)鍵因?yàn)樗屇悴槐卦凇疤崽卣鳌焙汀安糠治⒄{(diào)”之間做二選一而是可以設(shè)計(jì)一條漸進(jìn)路線先用特征提取跑一個(gè)基線看看模型到底能到什么水平如果欠擬合明顯再逐步解凍。這個(gè)流程我在實(shí)際項(xiàng)目里用了很多次比一上來就調(diào)微調(diào)超參要高效得多因?yàn)榛€跑得快你能在半天內(nèi)摸清數(shù)據(jù)的難度上限。2. 凍結(jié)參數(shù)到底改變了什么原理與幾個(gè)隱藏坑2.1 requires_grad 與優(yōu)化器參數(shù)組一個(gè)必須理清的關(guān)系很多人以為設(shè)了requires_gradFalse就等于“這層不參與訓(xùn)練”這個(gè)說法大方向沒錯(cuò)但細(xì)節(jié)上有幾層含義需要分清。第一層是計(jì)算圖層面參數(shù)不需要梯度前向過程中不會(huì)為該參數(shù)的操作保存反向所需的中間量所以顯存和計(jì)算都省。第二層是優(yōu)化器層面如果這個(gè)參數(shù)被傳進(jìn)了優(yōu)化器即使梯度是None優(yōu)化器仍然會(huì)在step()時(shí)跳過它PyTorch 里p.grad is None時(shí)直接 continue但優(yōu)化器內(nèi)部為它分配的動(dòng)量緩沖、二階矩緩沖依然占顯存對(duì)大的主干網(wǎng)絡(luò)來說這筆開銷不小。第三層是權(quán)重衰減層面有些實(shí)現(xiàn)會(huì)在外部手動(dòng)做參數(shù)衰減如果不加過濾凍結(jié)的層也會(huì)被緩慢改動(dòng)雖然幅度小但會(huì)讓“凍結(jié)”名不副實(shí)。所以標(biāo)準(zhǔn)做法是寫一個(gè)過濾函數(shù)在構(gòu)造優(yōu)化器之前明確收集需要訓(xùn)練的參數(shù)def trainable_params(model): return [p for p in model.parameters() if p.requires_grad] optimizer torch.optim.AdamW(trainable_params(model), lr1e-3, weight_decay1e-4)如果想驗(yàn)證凍結(jié)是否生效可以在第一個(gè) epoch 結(jié)束后打印一下凍結(jié)層權(quán)重的范數(shù)和初始值對(duì)比差異應(yīng)該是零。這個(gè)小檢查我在調(diào)試時(shí)經(jīng)常做比看 loss 曲線更直接。還有一種情況是加載預(yù)訓(xùn)練權(quán)重之后requires_grad被重置了比如某些封裝庫在load_state_dict之后會(huì)重建模塊這時(shí)候要重新設(shè)置一遍。2.2 train 與 evalBN 統(tǒng)計(jì)量和 Dropout 的隱形漂移這是我認(rèn)為最容易翻車、但文檔里往往一筆帶過的地方。批歸一化層有兩類東西一類是可學(xué)習(xí)的縮放和平移參數(shù)weight、bias屬于參數(shù)另一類是滑動(dòng)平均的均值和方差running_mean、running_var屬于緩沖區(qū)不是參數(shù)。你把參數(shù)requires_grad設(shè)成False緩沖區(qū)依然會(huì)在model.train()模式下根據(jù)當(dāng)前 batch 更新。也就是說你以為自己“凍結(jié)了整個(gè)主干”實(shí)際上主干里的歸一化統(tǒng)計(jì)量正在被新數(shù)據(jù)慢慢改寫。這個(gè)行為在兩種情況下會(huì)帶來麻煩。第一種是新數(shù)據(jù)的分布和預(yù)訓(xùn)練數(shù)據(jù)差得比較遠(yuǎn)比如預(yù)訓(xùn)練用的是自然圖像你的是灰度工業(yè)圖統(tǒng)計(jì)量被新數(shù)據(jù)改寫后原本適配的歸一化就偏了特征質(zhì)量下降。第二種是 batch size 很小比如只有 8 或 16用這么小的 batch 估計(jì)出來的均值和方差噪聲很大會(huì)污染滑動(dòng)平均導(dǎo)致驗(yàn)證時(shí)表現(xiàn)抖動(dòng)。這兩種情況我都在項(xiàng)目里遇到過現(xiàn)象都是“訓(xùn)練 loss 在降但驗(yàn)證集不漲甚至掉”排查半天最后發(fā)現(xiàn)是歸一化統(tǒng)計(jì)量在作祟。解決辦法是訓(xùn)練時(shí)把歸一化層強(qiáng)制留在評(píng)估模式def freeze_bn(module): if isinstance(module, torch.nn.modules.batchnorm._BatchNorm): module.eval() model.apply(freeze_bn)但要注意model.train()會(huì)遞歸地把所有子模塊設(shè)回訓(xùn)練模式所以如果你在每個(gè) epoch 開頭調(diào)用model.train()這個(gè)凍結(jié)就失效了。常見的處理是每個(gè) epoch 訓(xùn)練前先model.train()然后立刻再調(diào)用一次上面的凍結(jié)函數(shù)或者干脆重寫模型的train方法。Dropout 也是類似的邏輯不過 Dropout 在推理時(shí)本來就關(guān)閉訓(xùn)練時(shí)開啟是正常行為一般不需要特殊處理除非你想讓凍結(jié)主干的輸出完全確定。2.3 特征分布偏移為什么越靠后的層越“認(rèn)死理”深度網(wǎng)絡(luò)有一個(gè)被反復(fù)驗(yàn)證的現(xiàn)象淺層學(xué)的東西通用性強(qiáng)深層學(xué)的東西任務(wù)相關(guān)性強(qiáng)。淺層提取的是邊緣、角點(diǎn)、顏色對(duì)比這類東西無論你識(shí)別貓還是識(shí)別電路板缺陷這些基元都在用深層組合出來的可能是“貓耳朵”“車輪”這種具體概念換到新領(lǐng)域就完全對(duì)不上。這就是為什么特征提取在小樣本、域差異大的場(chǎng)景下常常表現(xiàn)平庸——你用的恰恰是最不適配的那一層特征。我用過一個(gè)比較直觀的診斷方法把主干最后幾層的輸出特征做一次降維可視化看新數(shù)據(jù)的兩類樣本在這上面是否可分。如果特征提取的線性探針準(zhǔn)確率明顯低于隨機(jī)猜測(cè)加一點(diǎn)說明高層特征幾乎完全失效此時(shí)只訓(xùn)頭就是徒勞必須解凍。反過來如果線性探針能到八成以上說明特征本身攜帶信息問題出在分類頭的容量或者正則上這時(shí)候繼續(xù)加深微調(diào)收益不大。這個(gè)判斷比盲目調(diào)參有用得多而且成本極低。3. 兩套可復(fù)現(xiàn)的實(shí)現(xiàn)骨架3.1 特征提取把主干當(dāng)成固定變換器最基礎(chǔ)的實(shí)現(xiàn)方式是每個(gè) epoch 跑一遍完整前向。這種寫法簡(jiǎn)單但浪費(fèi)算力因?yàn)橹鞲奢敵鰧?duì)同一張圖是恒定的增強(qiáng)隨機(jī)性除外。更實(shí)用的寫法是先做一次全量特征緩存然后用緩存訓(xùn)練分類頭。這樣做有個(gè)前提你的數(shù)據(jù)增強(qiáng)不能是強(qiáng)隨機(jī)的否則同一張圖在不同 epoch 應(yīng)該是不同視圖緩存就把增強(qiáng)固定住了。實(shí)踐中我的做法是緩存階段只用 resize 加中心裁剪這種確定性變換訓(xùn)練頭的時(shí)候不加增強(qiáng)或者只加很輕的噪聲。import torch import torch.nn as nn from torch.utils.data import DataLoader torch.no_grad() def extract_features(backbone, loader, device): backbone.eval() feats, labels [], [] for images, targets in loader: images images.to(device, non_blockingTrue) out backbone(images) feats.append(out.cpu()) labels.append(targets) return torch.cat(feats), torch.cat(labels) # 主干只保留到池化層去掉原始分類頭 backbone torchvision.models.resnet50(weightsDEFAULT) backbone.fc nn.Identity() backbone backbone.to(device) train_feats, train_labels extract_features(backbone, train_loader, device) val_feats, val_labels extract_features(backbone, val_loader, device)緩存下來之后訓(xùn)練分類頭就是純矩陣運(yùn)算一個(gè) epoch 幾百毫秒可以把學(xué)習(xí)率、正則強(qiáng)度、頭結(jié)構(gòu)掃個(gè)遍。存儲(chǔ)上算一筆賬50 層殘差網(wǎng)絡(luò)池化后是 2048 維float32 每個(gè)樣本 8KB十萬張圖就是 800MB用 float16 降到 400MB內(nèi)存里放得下如果是百萬級(jí)數(shù)據(jù)就得落盤或者用分塊訓(xùn)練。這個(gè)成本換來的收益是數(shù)量級(jí)的迭代速度提升我個(gè)人覺得非常值。如果任務(wù)需要空間信息比如分割、檢測(cè)、或者細(xì)粒度定位那緩存的池化向量就不夠用了因?yàn)樗芽臻g結(jié)構(gòu)壓沒了。這時(shí)候你需要中間層的特征圖尺寸可能是原圖的 1/32一個(gè) 512×7×7 的張量。這種情況下“特征提取”實(shí)際上退化成“凍結(jié)主干 訓(xùn)練下游結(jié)構(gòu)”仍然省計(jì)算但沒法緩存成緊湊向量顯存占用也會(huì)回升因?yàn)橄掠谓Y(jié)構(gòu)要讀取大張量。3.2 部分微調(diào)分層解凍與差異學(xué)習(xí)率部分微調(diào)的關(guān)鍵在于“解凍哪些、給多大學(xué)習(xí)率”。按名字匹配是最省事的做法model torchvision.models.resnet50(weightsDEFAULT) model.fc nn.Linear(model.fc.in_features, num_classes) # 先全部?jī)鼋Y(jié) for p in model.parameters(): p.requires_grad False # 只解凍最后一段和分類頭 for name, p in model.named_parameters(): if name.startswith(layer4) or name.startswith(fc): p.requires_grad True groups [ {params: [p for n, p in model.named_parameters() if n.startswith(layer4)], lr: 1e-5}, {params: [p for n, p in model.named_parameters() if n.startswith(fc)], lr: 1e-3}, ] optimizer torch.optim.AdamW(groups, weight_decay1e-4)學(xué)習(xí)率的比例關(guān)系有個(gè)經(jīng)驗(yàn)值主干解凍部分的學(xué)習(xí)率是新頭部的十分之一到百分之一。這個(gè)比例的來由是梯度尺度差異頭是隨機(jī)初始化的梯度大需要大步長(zhǎng)主干是預(yù)訓(xùn)練好的只需要小步長(zhǎng)微調(diào)步長(zhǎng)太大會(huì)把已有表示沖掉。我一般在數(shù)據(jù)量幾千到幾萬的場(chǎng)景下用 1:100數(shù)據(jù)量上萬之后可以放寬到 1:30 甚至 1:10。另一個(gè)細(xì)節(jié)是解凍的粒度。按殘差網(wǎng)絡(luò)的四個(gè) stage 來解凍比較自然只解凍layer4是穩(wěn)妥起點(diǎn)效果不夠再解凍layer3。從后往前逐層放開配合更小的學(xué)習(xí)率這就是逐層解凍的樸素版本。它比一次性解凍全部要穩(wěn)因?yàn)槊恳徊降母膭?dòng)都比較小你能觀察到驗(yàn)證集在哪一步開始變差從而確定解凍的深度上限。3.3 算力與顯存把賬算清楚再動(dòng)手以常用的 50 層殘差網(wǎng)絡(luò)為例總參數(shù)量約 2560 萬。如果做十類分類新的全連接層是 2048×10 加 10 個(gè)偏置約 2 萬個(gè)參數(shù)占總量的萬分之八。這個(gè)數(shù)字放在一起看很直觀特征提取方案實(shí)際訓(xùn)練的參數(shù)量只有全量微調(diào)的萬分之八訓(xùn)練速度快一個(gè)數(shù)量級(jí)是理所當(dāng)然的。前向計(jì)算量方面單張 224×224 輸入的前向大約 4 GFLOPs特征提取每個(gè)樣本只需要一次前向全量微調(diào)需要前向加反向反向大約是前向的兩倍所以約 12 GFLOPs。顯存方面激活值是大頭粗略估算按每層輸出張量的大小累加輸入分辨率和 batch size 都成正比。實(shí)際的數(shù)字跟實(shí)現(xiàn)框架的優(yōu)化策略有關(guān)我建議你在自己的環(huán)境里跑一次實(shí)測(cè)用torch.cuda.max_memory_allocated()打點(diǎn)比自己推導(dǎo)更靠譜。實(shí)測(cè)的方法是固定 batch size 逐步增大看什么時(shí)候拋顯存不足兩個(gè)方案各測(cè)一次把結(jié)論記在項(xiàng)目筆記里下次換任務(wù)直接復(fù)用。還有一點(diǎn)容易被忽略訓(xùn)練時(shí)間不只是計(jì)算量決定的。特征提取能通過緩存把 IO 和數(shù)據(jù)增強(qiáng)的開銷也省掉實(shí)際提速往往超過理論值而部分微調(diào)時(shí)數(shù)據(jù)加載如果跟不上GPU 利用率會(huì)掉到五六成這時(shí)候提升 dataloader 的 worker 數(shù)量比優(yōu)化模型更有效。3.4 兩套方案的訓(xùn)練配置對(duì)照表維度特征提取部分微調(diào)可訓(xùn)練參數(shù)僅新分類頭約萬分級(jí)頭部加主干后段百萬級(jí)主干梯度無激活不保存有全部前向激活需保存典型顯存占用低可開大 batch中高受分辨率影響大單輪訓(xùn)練耗時(shí)秒級(jí)緩存后分鐘級(jí)過擬合風(fēng)險(xiǎn)低參數(shù)少中高需要早停與正則對(duì)域差異的適應(yīng)弱中到強(qiáng)超參敏感度低主要是正則強(qiáng)度高學(xué)習(xí)率比例影響大復(fù)現(xiàn)難度極低中隨機(jī)種子與凍結(jié)順序都要固定適合的數(shù)據(jù)量幾百到幾萬幾千到幾十萬適合的域差異小到中中到大這張表不是教條但能幫你在項(xiàng)目開始時(shí)快速定一個(gè)起點(diǎn)。我的習(xí)慣是無論什么任務(wù)都先跑特征提取拿到基線數(shù)字再?zèng)Q定是否要往表的下半部分走。4. 選型不同場(chǎng)景下怎么定4.1 決策依據(jù)數(shù)據(jù)量、域差異、算力與交付周期選型不該憑感覺我一般看四個(gè)量。第一個(gè)是標(biāo)注數(shù)據(jù)量幾百到幾千條的時(shí)候可訓(xùn)練參數(shù)越少越穩(wěn)特征提取幾乎是唯一選擇幾萬條可以開始嘗試解凍最后一兩個(gè) stage十萬條以上才值得考慮全量微調(diào)。第二個(gè)是域差異用公開自然圖像預(yù)訓(xùn)練的權(quán)重去做醫(yī)學(xué)影像或者遙感影像低層特征還能用高層基本失效這時(shí)候只訓(xùn)頭往往卡在七成準(zhǔn)確率上不去需要解凍中后段。第三個(gè)是算力如果只有一張消費(fèi)級(jí)顯卡、還要和別的任務(wù)共享訓(xùn)練時(shí)長(zhǎng)直接影響你能做多少輪實(shí)驗(yàn)特征提取那種十幾分鐘出一版結(jié)果的節(jié)奏對(duì)小團(tuán)隊(duì)更友好。第四個(gè)是交付周期如果一周內(nèi)要出可用模型先特征提取交付第一版再慢慢迭代微調(diào)版本這個(gè)策略在項(xiàng)目排期緊的時(shí)候特別實(shí)用。還有一個(gè)容易被忽視的維度是驗(yàn)證集的可信度。小樣本場(chǎng)景下驗(yàn)證集本身就只有幾百條微調(diào)版的方差會(huì)很大同一個(gè)配置換個(gè)隨機(jī)種子可能差三四個(gè)點(diǎn)這時(shí)候你很難判斷微調(diào)到底有沒有收益。特征提取的參數(shù)少、方差小結(jié)論更可靠。我在數(shù)據(jù)少于兩千條的項(xiàng)目里基本不看微調(diào)結(jié)果因?yàn)樵肼暠刃盘?hào)大。4.2 典型場(chǎng)景拆解小樣本工業(yè)缺陷分類是很典型的例子。缺陷樣本往往只有幾百張而且圖像是灰度的、高對(duì)比度的和預(yù)訓(xùn)練用的自然圖像差異極大。這種場(chǎng)景下很多人第一反應(yīng)是解凍整個(gè)網(wǎng)絡(luò)微調(diào)結(jié)果過擬合嚴(yán)重驗(yàn)證準(zhǔn)確率來回震蕩。我的做法是特征提取先跑同時(shí)把輸入預(yù)處理改成三通道復(fù)制加歸一化調(diào)整讓統(tǒng)計(jì)量盡量貼近預(yù)訓(xùn)練分布如果線性探針只能到六成說明高層特征確實(shí)不管用再解凍最后一個(gè) stage學(xué)習(xí)率壓到1e-6級(jí)別配合強(qiáng)增強(qiáng)和早停。這套組合在我手上比直接全量微調(diào)穩(wěn)定得多。文本分類是另一個(gè)常見場(chǎng)景。用預(yù)訓(xùn)練語言模型做下游任務(wù)時(shí)特征提取對(duì)應(yīng)的是取池化輸出接一個(gè)線性層部分微調(diào)對(duì)應(yīng)的是解凍最后幾層 Transformer block。經(jīng)驗(yàn)上情感分析這類和預(yù)訓(xùn)練目標(biāo)比較接近的任務(wù)凍結(jié)后幾層就能拿到很好的效果而領(lǐng)域術(shù)語密集的任務(wù)比如專業(yè)文檔分類高層語義偏移明顯解凍兩到四個(gè) block 收益顯著。這里還要注意歸一化層的位置Transformer 里的 LayerNorm 不涉及跨樣本統(tǒng)計(jì)凍結(jié)與否的影響比卷積網(wǎng)絡(luò)里的 BatchNorm 小很多這一點(diǎn)常被混淆。分割和檢測(cè)這類密集預(yù)測(cè)任務(wù)是特征提取的“例外區(qū)”。因?yàn)檩敵鲂枰臻g分辨率你不能只用池化向量必須用中間特征圖而中間特征圖接上采樣和解碼器之后梯度雖然不回傳到主干但主干前向的激活要保留給解碼器讀取顯存優(yōu)勢(shì)就沒了。這類任務(wù)我基本直接上凍結(jié)主干的完整微調(diào)框架或者只解凍解碼器把“特征提取”這個(gè)詞換成“固定編碼器”更準(zhǔn)確。搞清楚這個(gè)區(qū)別能避免你在檢測(cè)任務(wù)上照著分類的教程去緩存特征白折騰半天。4.3 折中路線先提特征再解凍、逐層解凍、輕量適配層實(shí)際項(xiàng)目里我更常用的是漸進(jìn)路線而不是一開始就二選一。第一步凍結(jié)主干訓(xùn)練頭跑到收斂記下驗(yàn)證指標(biāo)這是下限。第二步解凍最后一個(gè) stage學(xué)習(xí)率設(shè)成頭部的百分之一再訓(xùn)若干輪看指標(biāo)有沒有超過下限一個(gè)閾值比如兩個(gè)點(diǎn)以上。如果沒有說明瓶頸不在主干表示可能是數(shù)據(jù)質(zhì)量問題或者標(biāo)簽噪聲繼續(xù)解凍只會(huì)更糟。第三步如果確有提升再往前解凍一層重復(fù)判斷。這個(gè)流程的好處是每一步都有對(duì)照你能清楚知道收益來自哪一層而不是一鍋端地調(diào)參。另一個(gè)折中思路是加輕量適配結(jié)構(gòu)比如在凍結(jié)主干之后插入一個(gè)小的瓶頸層或者低秩適配矩陣只訓(xùn)練這部分參數(shù)。這種做法的參數(shù)量介于純特征提取和小范圍微調(diào)之間顯存占用接近特征提取但表達(dá)能力比純線性頭強(qiáng)。實(shí)現(xiàn)上就是在主干輸出后接一個(gè)降維再升維的小模塊維度壓縮比取 8 到 32參數(shù)量控制在幾萬到幾十萬。我在顯存吃緊又要提升精度的場(chǎng)景下用過幾次收益比純線性頭穩(wěn)定高出一到三個(gè)點(diǎn)。5. 踩坑實(shí)錄與排查清單5.1 訓(xùn)不動(dòng)或掉點(diǎn)時(shí)的排查順序遇到微調(diào)后驗(yàn)證指標(biāo)不如特征提取基線我按這個(gè)順序查。先看學(xué)習(xí)率主干學(xué)習(xí)率是不是設(shè)太大了把預(yù)訓(xùn)練權(quán)重沖掉了直接現(xiàn)象是訓(xùn)練 loss 快速下降但驗(yàn)證集在第二三個(gè) epoch 就開始惡化。然后看歸一化層是不是沒凍結(jié)統(tǒng)計(jì)量batch 又小。接著看數(shù)據(jù)預(yù)處理訓(xùn)練和驗(yàn)證的歸一化參數(shù)是否一致這一點(diǎn)在手工實(shí)現(xiàn)時(shí)經(jīng)常出錯(cuò)。最后看解凍范圍是不是一次解凍太多層。這個(gè)順序不是隨便排的是按出現(xiàn)頻率排的我遇到的案例里學(xué)習(xí)率和歸一化兩類占了絕大多數(shù)。還有一個(gè)隱蔽的原因是類別不平衡下的采樣策略。特征提取時(shí)因?yàn)橹挥?xùn)線性頭模型容量小對(duì)不平衡的敏感度低換成微調(diào)后容量變大模型會(huì)迅速偏向多數(shù)類看起來像“掉點(diǎn)”實(shí)際是閾值問題。這時(shí)候調(diào)損失函數(shù)的類別權(quán)重比調(diào)解凍范圍更有效。5.2 特征提取效果上不去的常見原因線性探針準(zhǔn)確率卡住先懷疑預(yù)處理不匹配。預(yù)訓(xùn)練模型對(duì)輸入的均值方差、通道順序、顏色空間是有預(yù)期的你把灰度圖直接塞進(jìn)去或者歸一化用了另一套參數(shù)特征質(zhì)量會(huì)明顯下降。其次是分辨率預(yù)訓(xùn)練用 224 但你把圖縮到 128高層感受野對(duì)不上特征會(huì)失真。第三是池化方式全局平均池化對(duì)小目標(biāo)不友好如果任務(wù)關(guān)注局部細(xì)節(jié)換成最大值池化或者拼接多種池化結(jié)果可能有改善。第四是特征層選錯(cuò)用最后一層的輸出未必最好中間層的特征有時(shí)線性可分性更強(qiáng)值得把幾個(gè) stage 的輸出都取出來做一次探針對(duì)比。我做過一次系統(tǒng)的探針實(shí)驗(yàn)把四個(gè) stage 的輸出分別接線性分類器結(jié)果中間層的準(zhǔn)確率比最后一層高出五個(gè)點(diǎn)原因就是最后一層的語義太偏向原始任務(wù)的類別體系。這個(gè)實(shí)驗(yàn)成本很低但能幫你選到更合適的特征層比盲目加深網(wǎng)絡(luò)有效。5.3 顯存、速度與復(fù)現(xiàn)性問題顯存爆掉的時(shí)候先確認(rèn)有沒有多余的梯度記錄。特征提取階段忘了加torch.no_grad()或者在評(píng)估時(shí)沒切到eval()都會(huì)讓顯存翻倍。部分微調(diào)階段可以試試梯度檢查點(diǎn)用時(shí)間換顯存代價(jià)是訓(xùn)練變慢兩三成。速度慢的話先看數(shù)據(jù)加載是不是瓶頸用nvidia-smi看 GPU 利用率低于七成基本就是數(shù)據(jù)管道拖后腿增加 worker、預(yù)取、把增強(qiáng)放到 GPU 上做都能改善。復(fù)現(xiàn)性問題主要來自三處隨機(jī)種子沒固定全包括數(shù)據(jù)增強(qiáng)的隨機(jī)數(shù)生成器、凍結(jié)順序在不同運(yùn)行里不一致、以及非確定性算子。前兩個(gè)靠代碼規(guī)范解決把凍結(jié)邏輯寫成一個(gè)函數(shù)在入口調(diào)用一次第三個(gè)在調(diào)試階段可以開啟確定性模式雖然會(huì)慢一點(diǎn)但至少能保證兩次運(yùn)行結(jié)果一致。5.4 問題速查表現(xiàn)象可能原因處理方式微調(diào)后驗(yàn)證指標(biāo)低于特征提取基線主干學(xué)習(xí)率過大降到頭部學(xué)習(xí)率的百分之一訓(xùn)練 loss 降但驗(yàn)證抖動(dòng)大歸一化統(tǒng)計(jì)量被小 batch 污染訓(xùn)練時(shí)凍結(jié)歸一化層為評(píng)估模式特征提取探針準(zhǔn)確率很低預(yù)處理與預(yù)訓(xùn)練預(yù)期不匹配對(duì)齊均值方差、通道數(shù)、分辨率顯存占用遠(yuǎn)超預(yù)期主干激活被記錄檢查是否遺漏無梯度上下文同一配置兩次結(jié)果差異大種子未固定或凍結(jié)順序不一致統(tǒng)一入口凍結(jié)并固定全部隨機(jī)源微調(diào)收斂極慢頭部初始化尺度過小或?qū)W習(xí)率過低檢查頭部初始化頭部學(xué)習(xí)率單獨(dú)放大解凍多層后性能反而下降解凍范圍超出數(shù)據(jù)支撐能力回退到只解凍最后一層這張表我貼在項(xiàng)目筆記首頁新同事上手時(shí)照著查能省掉大量重復(fù)的排查時(shí)間。表格里的每一條都是從實(shí)際報(bào)錯(cuò)和曲線異常里總結(jié)出來的不是理論推演。最后分享一點(diǎn)個(gè)人體會(huì)。這幾年做下來我發(fā)現(xiàn)選型的難點(diǎn)不在技術(shù)本身而在于你對(duì)自己數(shù)據(jù)的判斷有多準(zhǔn)。同樣是小樣本任務(wù)有的數(shù)據(jù)雖然少但標(biāo)注質(zhì)量高、類間差異明顯特征提取就能到九成有的數(shù)據(jù)量不小但標(biāo)簽噪聲大、類間混淆嚴(yán)重微調(diào)再怎么調(diào)也就七成出頭。所以在動(dòng)手調(diào)參之前花半天時(shí)間看看錯(cuò)樣本、算算類間距離、跑一次線性探針比后面幾天的調(diào)參都值。我現(xiàn)在的習(xí)慣是任何新任務(wù)先花兩小時(shí)做這三件事基本就能判斷該走哪條路剩下的時(shí)間都花在數(shù)據(jù)清洗和驗(yàn)證集構(gòu)建上。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香九月综合在线| 亚洲激情婷婷| 丁香五月网址| 久久久www| 婷婷久久五月| 这里只有精品在线播放| 成年视频免费观看| 色婷婷在线视频| 久久五月天激情婷婷| 中文字幕在线日亚洲9| 日韩欧美四五区| 九月丁香网婷婷| 久热网在线视频| 国产超碰人人| 亚洲中文字幕在线观看| 五月天成人在线播放丁香| 91啪啪啪啪| 九九久久99精品免费观看www| 九九伊人网| 专区无日本视频高清8| 婷婷免费成人视频| 97碰碰电影| 91色久| 亚洲久久视频| 99热销国产这里有精品| 色五月六月| 天天日综合网射| 婷婷五月五月丁香| 67194中文字幕| 激情六月丁香| 182无码| 色五月婷婷激情综合网| 琪琪色网在线| 狠狠干夜夜干| va中文资源在线观看| 91干婷婷| 啪啪激情网| 五月天五月色婷婷综合| 狠狠色综合网站久久久久| 任你草| 在线A色| www.五月天婷婷| 五月天婷婷影院| 婷婷色日本| 久久99精品久久久久子伦| 99噜噜噜在线播放| 國語久久婷| 99亚洲综合| 五月婷婷丁香五月| 51精品国自产在线| 99亚州综合精品成人网| 九九热这里只有精品6| 18av天堂| 一本久道综合99| 高潮毛片又色又爽免费| 色爱亚洲| 99久视频| 婷激情五月| 久久婷婷综合色丁香| 九九99热| 影音先锋777xfplay色资源网站| 站长推荐无码播放| 无码一区二区三区四区五区91c| 五月婷婷三级| 天天干狠狠艹| 婷婷丁香五月天欧美| www,99色| 久久综合久色欧美综合狠狠| 五月天婷婷视频| 另类激情网| 亚洲中文字幕av| 激情AV综合| 五月丁香色情| 六月丁香久久| 大波美女VA网站| 99啪在线| 操97在线观看| 五月天精品| 日韩啊啊啊| 婷婷五月激情基地| 久/久精品99看9| 激情操逼婷婷| av狠狠操| 婷婷六月啪啪| 97色操| 99色免费视频| 久色五月婷婷综合| www.夜夜夜| 丁香 久久| 欧类av怡春院| 99久久网站| 99riAV国产精品视频| 五月www| 亚洲成人影视在线观看| 丝袜激情网| 一级黄色片看看| 99热最新网址| 婷婷丁香六月| 日日操夜夜撸| 丁香五月婷婷网| 五月 激情视频| 五月天涩涩| 六月丁香综合网| 日日操夜夜爽白洁| 色婷婷综合久色AV五色最新| 97操操| 五月婷色丁香| 婷婷在线日韩综合| ..真实国产乱子伦毛片 | 桃色五月天| 99色热视频| 九九热这里只有精品23| 99re66热这里只有精品| 五月色综合| 色九月婷婷丁香| 丁香六月婷婷久久亚洲天堂| 99国产精品久久久久久久久久久| 日本片日本片祼观看网站在线看中文版网页在线看 | 永久AⅤ1| 亚洲色色香蕉| 可以看的AV| 天天干天天射色综合| 丁香五月婷婷天激情| 五月丁香美女| 大香网伊人久久综合| 一区二区免费看| 精品无码片| 婷婷.com| www.lchjjc.com| 色999;丁香五月| 99热97| 色综合久久久久| 丁香五月欧美午夜视频| 女人天堂AV| 另类图片五月天| 亚洲第一第二网站| 婷婷 伊人 久久| 久色激情| 丁香六月啪| 日韩精品999| 激情爱爱网站超大免费| 色久九| 亚洲av网站| www.婷婷五月| 在线只有精品| 97高清国语自产拍| 九九99视频精品| 精品无码片| 99视频日韩| 97偷拍对白视频| 五月丁香A∨在线| 99在线播放| 欧美婷婷综合| 久久99网址| 91黄操| 91Chinese在线| 久久久中文| 婷婷丁香视频在线观看免费| 678五月丁香亚洲综合| 天天色天天爱天天舔| 播五月婷婷开心| 久这里只有精品| 热久久思思热思思| 人妻久久久久久久久久| 天天综合网站| 久久婷婷五月天激情| 色5月婷婷色| www.婷婷五月天.com| 国产67194| 丁香激情网| 五月婷婷六月色| 性无码专区无码| 99婷五月| 国产成人在线不卡AV| 丁香九月婷婷综合| 丁香五月色播中文在线播放| 深爱激情丁香五月| 97碰在线| 色婷婷久久| 国产精品大香蕉| 无码少妇高潮喷水A片免费| 亚洲AV日韩在线观看| 色五月婷婷影视| 婷婷情色五月天| 五月丁香综合啪啪| 米奇影视资源婷婷狠狠色激情欧美五月丁香| 五月天色裸体视频| 在线播放成人网站| 午夜不卡久久精品无码免费 | 桃色五月天| 欧美精品999| 五月婷婷激情综合| 99啪在线视频| 色婷婷成人| 激情伊人五月婷婷久久| 日本va欧美va国产激情| 120分钟婬片免费看| 91丁香色| 日本超碰在线| 色丁香在线视频| 婷婷色基地| 六月久久狠狠| 九九無妻| 五月天激情日色在线| 伊人网碰碰| 激情美女五月天| 99re这里只有精品视频了| 啪啪激情综合| 人碰人人人玩91| 成人精品人妻| 日韩精品超碰在线观看| 婷婷五月天久久久| 日韩精品无码99| 婷婷五月,偷窥偷拍网| 色欲久久综合| 色综合香蕉| 天天弄天天爽| 色婷婷亚洲婷婷在线观看| 26uuu亚洲| 色色综合网www| 超碰免费大香蕉| 天天添天天摸天天天天做| 天天爽天天操| EEUSS鲁片一区二区三区| 97操女视频| 五月大香蕉| 婷婷五月丁香六月天亚洲综合| 久久婷婷五月天激情| 丁香欧美| 久热九九| 色情网综合| 久久总和99| 天天操,天天插| 亚洲视频99| 丁香五月天啪啪| 婷婷五月欧美| 天天操天天操| 日韩啊啊啊| 久久丁香九| 久久黄色免费视频| 99综合在线| Www.久久| 深爱激情九九五月天| 久久精品五月天| 婷婷六月激情综合| www.激情在线| 97资源碰碰| 9l视频自拍九色9l黑人| 五月天婷婷一起草| 99re思思久久| 超pen个人视频97| 91综合在线视频| 激情激情激情网| 欧美性爱五月天| 色色色色色色色色色色色色色五月天| 五月婷婷无码专区| 丁香五月天堂网| 三级av在线| 九九成人精品免费视频| 亚洲婷婷91丁香| 少妇性按摩无码中文A片| 五月婷婷色综图片| 亚洲激情精品| 色婷婷呢狠禁久禁| 99国产小视频免费观看| 激情五月综合网| 毛片蕉地一二| 999热在线视频| 五月丁香六月天| 97色在线观看视频| 色噜噜狠噜噜视频| 色九九一二| 深爱五月亚洲| 五月丁香婷婷色色| av在线观看网站| 婷婷色欧美激情| 天天干天天干天天干天天干天天干| 青青久久大香蕉| 天天色,天天操,天天射| 精品无码久久久久久久久| 色综合激情| 玖玖资源站中文| 色婷婷五月天| 日本色频| 日本在线视频www色| 亚洲蜜乳AV| 五月婷婷丁香狠狠撸久久| 99亚州综合精品成人网| 丁香五月亚洲激情婷婷射| 精品皮股午夜AV| 激情久久久久久久久久久| 97搞在线| 五月开心婷婷网| 日本色五月婷婷| 色色色99| 九月婷婷久久久| 丁香五月成人婷婷| 操比激情五月综合| 日本女人久久| 黄色片精品| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪 | 国产人妻777人伦精品HD| 狠狠干综合| 五月香婷婷| 五月婷婷九九久久| 日本3级片一区2区| 丁香五月综合激情啪啪| 99在线热| 7777激情基地| 天天插天天干| 五月丁香久久久日婷婷久久婷婷日| 婷婷久久色| 99re66热这里只有精品| 日本九九网| 国产黄色一级片| 狠狠色成人影片| 天堂亚洲 在线| 5月婷婷6月六月丁香| 色九月丁香婷婷蜜桃在线观看| m色激情网| 久99婷婷色综合| 99热精品在线观看| 久热婷婷| 五月丁香美女| 性做爰1一7伦| 婷婷五月天熟妇| 国自产拍偷拍精品啪啪一区二区| 婷婷激情丁五月| 亚洲亚洲人成综合网络| 天天摸天天日天天舔| AV中文字幕夜夜操b天天摸bb| 九九久热| 中美月韩免费A片| 99自拍视频在线| 99热精品无码| 99热欧| 五月婷婷色播| 婷婷综合在线观看视频| 大香蕉在线观看9| 夜夜撸夜夜骑| 亚洲婷婷丁香| 九热视频| 精品无码视频| 久久久久8888| 成人电影一区| av性爱在线| www.99免费视频| 五月天婷婷免费| 久久婷婷色| 色情综合| 六月丁香社区| 五月丁香婷婷综合久久| 久草热8精品视频在线观看| 日日射天天射| 另类亚洲视频| 亚洲综合婷婷| site:publishdd.com| 五月天丁香看婷婷| 国产成人+综合亚洲+天堂| 99久久66| 99操不停| 激情性爱五月天| 亚洲天堂AV免费片| 综合精品99| 国产精品成人在线| 深爱激情五月天婷婷网| 色色丁香色五月| 深爱激情网婷婷| 九色91视频| 久久精品99久久久久久| 婷婷六月爽| 亚洲成人av在线观看| 亚洲熟女色| 噜噜综合网| 日本玖玖在线| 9色在线视频| 青草青草久热这里只有精品| 丁香六月婷婷缴情欧美| 另类视在线| 婷婷色五月激情| 超碰在线免费9| 人妻丰满精品一区二区A片| 久久久区区一久久久久久| 5Www色5夜| 激情五月五月婷婷| www色综合亚洲92| 久久久人妻门| 婷婷五月天激情网| 天天色2017| www.婷婷,com| 色婷婷六月精品| 九九干视频| 91九色超碰| 欧美综合激情五月丁香| 色激情五月天| 亚洲综合草草| 五月婷婷免费在线| 五月丁香综合网| 极品少妇高潮啪啪AV无码| 免费AV播放| 高潮毛片又色又爽免费| 色婷婷五月天小说| 97香蕉碰碰人妻国产欧美| www.婷婷五月.com| 色色五月激情| 综合久久婷婷| 草综合14| www.久久久久| 婷婷五月色天| 99热777| 中文字幕网伦射乱中文| 那里有AV网址| 香蕉婷婷| 99这里只有免费的小视频在线观看| 久热大香蕉| 色深爱五月| 婷婷五月激情图片| 婷婷午夜激情| 午夜成人网站在线观看| 色狠狠综合| 亚洲va在线∨a天堂va欧美va| 97日韩无套内| 五月丁香六月欧美综合网站| 亚洲在线操| 99热这里只有免费精品| 色综合久久伊伊婷婷五月| 欧美久久久中文字幕| 免费无码毛片一区二区A片| 丁香五月婷婷六月婷| 国产精品丝| 成人无码精品1区2区3区免费看| 欧美三日本三级少妇三99| 欧美综合激情五月| 99r久久这里只有精品| www.婷婷,com| 五月天丁香成人社| 婷婷WWW久久| 996热| 在线另类视频| 丁香婷婷五月天在线视频| 色亭亭五月天网扯| 五月丁香亭亭成人电影| 五月天四色房丁香| 丁香丁香激情网| 五月天综合在线网| 开心五月深爱五月丁香五月激情五月 | 婷婷五月性感| 人人妻久久妻| 超碰无码318604| 无码字幕中文| 久久大香蕉丁香| 久久久婷| 99色综合| 涩五月婷婷| 丁香激情久久| 26uuu最新地址| 五月婷六月天| 色播丁香婷婷五月激情| www.日韩艹| 激情综合自拍五月婷婷色五月| 超碰免费人妻| 色狠狠色综合久久久绯色AⅤ影视| 九月av在线| 亚洲愉拍99热成人精品| 五月婷婷综合在线| 丁香五月天堂| 丁香五月电影| www.97视频| 丰满少妇猛烈A片免费看观看| 免费啪啪啪网站 | 亚洲一区二区无遮挡A片| 白度黄视频| 影音先锋日本三级资源| 婷婷伊人久久无码色五月| 日韩AV大全| 婷婷性爱| 久99视频在线观看| caop视频| 国产99久| 久久久日韩特色特黄AAAA| 日日影院 | 天天操天天操天天操天天操天天操| 狠狠色综合777| 五月天婷婷色播综合在线| 婷婷五月天影院| 亚洲在线播放| 亚洲综合网区| 色婷婷丁香| 99色精品| 成人视频网| 超碰AV成人| 久久最新色色色| 亚洲V国产V欧美V久久久久久| 久久99久久99久久99人受| 久久激情五月| 狠狠穞A片一區二區三區| 色综合五月天| 色日本颜射| 色啪久| 九九热内射| 丁香五月婷婷少妇| 欧洲一区二区| 91欧美| 99热网站在线观看| 五月综合影院| 久色视频| 天天爽人人综合免费7799| 天天搞天天爽| 中文字幕免费高清电视剧| 九九色婷| 大香蕉人人网| 久久久人妻人伦| 五月天 综合 在线| 这里只有精品在线免费视频| 夜夜躁爽日日| 99欧美| 五月天精品| 亚洲狠狠爱婷婷| 在线成人国产| 1024手机在线观看看片_日韩精品| 中文激情网| WWW·天天操·视频?| 五月天欧美 另类小说| 婷婷伊人久久综合| 五月天天综合| 五月婷婷激情| 九九热这里只有精品9| 久九九热| 伊人五月成人| 五月天婷婷社区| 99热销国产这里有精品| 亚洲国产色色| 五月天综合在线网| www.精品久9| 99亚洲天堂| 操日挥操日日| 久久久天堂国产精品女人| 婷婷五月天基地| 色播六月| 九九九九精品精| 无码成人AAAAA毛片AI换脸| 亚洲色图五月丁香五月婷婷| 人人操97| 国产五月婷| 久久亚洲天堂| 六月丁香婷婷视频综合在线观看| 九色视频这里只有精品| 狠狠爱婷婷丁香| 99这里有精品| 亚洲午夜在线视频| 综合一区二区三区| 开心四月婷婷在线色播播| 天天五月情| 亚洲熟女色| 欧洲色区| 国产精品色婷婷久久久精品| 亚洲 激情 中文| 97色色综合| 婷婷五月天影院| 丁香五月激情五月| 涩五月丝袜婷婷| 精品99这里有| 天天日夜夜草进麻麻的子宫| 九九视屏| 国产日韩欧美| 日韩AV在线免费观看| 综合久色五月| 五月天婷婷丁香基地在线观看| 色色色网站| av人人操| 亚洲第一色色色| 五月天精品视频| 九九精品免费| 9热在线视频精品| 激情五月图| 六九色综合婷婷五月天| 久久久天堂国产精品女人| 丁香婷婷婷五月综合色情| 久热这里只有精品在线观看 | 亚洲射激情| 狠狠干狠狠干| 琪琪布丁香社区激情五月天| 我爱大香蕉| 丁香六月天堂| 超碰人人色| 色婷婷电影网| 国产亚洲99久久精品熟女| 激情四射五月天偷偷看婷婷| 婷婷综合在线| 美女久久婷婷| 天天骑日日爽| 激情综合网激情五月天| 99久久国产综合精品五月天喷水\| 色 免费网站视频| 久色资源| 玖玖色综合色| 久久婷婷丁香五月一二三| 五月天婷婷激情| 色综合久久久无码中文字幕999| 狠狠综合久久| 五月婷婷六月丁香在线| 成人国产欧美大片一区| 91超级碰碰| 亭亭五月丁香五月天激情| 另类少妇人与禽zOZZ0性伦| 五月婷婷人人人操| 婷婷伊人网| 99超超碰| 五月天日日操夜夜操 | 亚洲综合网激情小说| 91色综合| 九艹在线| 五月丁香六月婷婷网| 久久久国产精品黄毛片| eeuus五月婷| 欧美久久婷婷| 五月丁香婷婷啪啪综合| 婷婷五月天在线观看第二页| 九八Av| 超碰人人操在线| 欧美激情综合色丁香婷婷五月天| 色五月丁香婷婷| 久久婷婷内射| 色偷偷色婷婷| 影音先锋男士资源网一区| 天天舔天天摸天天射| 思思精品视频| 久久女婷| 深夜男女福利刺激影院一区完整| 日韩久综合| 五月婷在线播放| 激情五月丁香五月综合| 国熟女视频| 99久热| 色婷婷五月天亚洲| 久久五月天婷婷| 色欲丁香| 超碰人人干| 九久九精品| 亚洲 无码 中文字幕 中出| 91日韩在线| 婷婷五月四狠狠| 99这里只有精品|v| 五月丁香综合啪啪| 伊人激情| 99色色热热| 五月婷婷丁香大陆免费| 天天综合 99久久婷婷| 饮料下药迷倒漂亮女同事强干| 久久玖玖99| www.夜夜騎夜夜狠| 五月天激情色色| 99热 在线观看| 久久9视频| 九九热亚洲中文在线观看免费| 九九综合色| 久久久com| 狠狠干婷婷| 婷婷久久五月| www.激情五月| 婷婷五月成人有| 99操逼| 色情五月天小说| 色情五月婷婷| 亚洲综合激情五月久久| 六月婷婷色综合| 亚洲综合九九| 激情网五月天| 婷婷五月天激情在线观看 | 超碰在线人人| 婷婷综合在线| 伍月婷丁香婷| 国产午夜精品一区二区三区四区| 久久有码| 丁香五月天日韩无码| 99国产视频网| 99re免费在线视频| 91热在线| 婷婷五月色花丁香社区| 激情内射人妻1区2区3区| 欧美综合激情五月| av不卡网站| 婷婷色丁香六月| 婷婷五月,偷窥偷拍网| 久操婷婷| 丁香婷婷啪啪| 色亚洲婷婷| 2018夜夜草| 亭亭五月色男人| 久久天堂女人| 91色逼| 26uuu青青| 这里只有精品久久| 视色综合| 97婷婷狠狠久久综合9色| 中文AV在线播放| 97亚洲色 torrent magnet| 青青久在线视频免费观看| 99在线看片| www,久久久人人| 国产成人高清| 99,色| 国产无套精品一区二区| 久久婷婷综合五月趴| 99综合一区| 婷色五月| 天天橾日日橾夜夜橾17| 激情久久综合网| 久热九九| 永久99免费视频网站| 精品热九九| 九九亚洲| 欧美激情五月天婷婷| 夜色五月天| 日日撸夜夜操| 思思99热热热99| 久久婷婷免费| 影音先锋四区| 天天综合天天做天天综合| 天堂va久久久噜噜噜久久Va| 丁香六月久久| 秋霞簧片| 4438国产免费看| 久久婷婷伊人| 天天檫天天爽| 久久婷婷五月天蜜桃| 97色婷婷| 国产va视频| eeuss人妻| 碰人人97| 五月亭亭六月天| 丁香五月冃欧美| 欧美啪啪五月天| 在线只有精品| www.99热这里只有精品| 2015好吊操| 综合福利网| 午夜九九九九九九九九九九九九九| 丁香六月婷婷缴情欧美| 人操人人| 欧美成人精品A片免费一区99| 婷婷五月色丁香在线看| 六月丁香av| 疯狂做受XXXX高潮A片动画| 99热这里只有精品99| 亚州激情网站无码| www.九九婷婷| 99碰碰| 婷婷色六月| 538在线| 婷婷丁香成人色综合| 成人 在线 日韩| 天天日日爽| 99色综合| 丁香五月九九| 五月婷婷婷| 五月天色社区| 2050人人操免费工开爱| 人人操女人| 桃色五月婷婷| 日本色五月| 六月丁香激情网| 亚洲性图一区二区三区| 91婷婷色| 激情五月丁香五月色| 成人精品在线| 六月丁香综合| 甈吧vv| 99精品久久| 色婷婷综合在线| 性做久久久久久久免费看| 一区视频网站| 99热的无码| 婷婷,五月天,丁香,第一| av操一操| 99精品久久久久久| 大香蕉九九| 婷婷综合亚洲| 午夜丁香五月天综合| 凹凸探花电影| 日本综合色色| 国产欧美大香蕉一区| 激情综合丁| 五月丁香六月婷婷精品| 碰碰操91| 超碰69天堂| 亚洲第一综合| av在线观看网站| 色了色综合| 99热在线99| 四色永久成人网站| 热99在线精品| 日本丰满久久| 一本大道嫩草AV无码专区| www.狠狠| 超碰99久久| 六月婷婷色综合| www.激情五月天com| 国外亚洲成AV人片在线观看| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 午夜激情四射影院| 操碰97| 99热6精品| 激情AV在线| 成年人丁香五月| 天天高潮夜夜爽| 婷婷激情五月综合丁| 热这里只有精| 五月丁香免费视频| 色女人久久| 婷婷综合日本| HD久久精品视频| 久久婷青青草原| 色吧五月| 深爱激情五月天| 五月丁香人妻| Av大香蕉| 九九综合九九| 國語久久婷| 五月天婷婷小说| 777色色色| 亚洲欧美另类在线23p| 亚洲、热| 丁香激激情网| 婷婷深爱五月丁香网| 丁香五月天人体| 538午夜激情| 国产免费一区二区在线A片视频| 九色91美女| 97久人人| 91丨九色丨熟女| 玖玖五月丁香| 色婷婷色综合激情91| 琪琪色影音先锋| 五月丁香偷拍| 97操碰人人| 伊人五月婷婷国产视频| 综合激情sV| 停停五月色宗合| 日本乱论99| 自拍视频在线观看9| 91无码色色| 亚洲午夜在线视频| 亚洲综合色成丁香五月色| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 七月丁香五月婷婷在线| 99热这里有精品| 国产成人精品一区二三区熟女在线| 九九成人| 国产精产国品一二三在观看| 久久无码成人| 色域五月丁香| 婷婷丁香九色| 99re视频在线精品| 综合网网欲色| 国产精品视频| 色色色五月婷婷| 亚洲综合婷婷五月| 激情婷婷| 色婷婷五月影视| 色色啊| 夜夜操夜夜姧| 襙比视频| 综合图区激情| 色色日本| av在线激情| 九九碰九九爱97超碰| 婷婷久久久| 国产激情综合| 狠狠色综合网| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 婷婷色五月综合丁香| 色五月婷婷、老熟女| 中文网av| 婷婷丁香18| 亚洲不卡| 色五月激情五月天| 少妇AB又爽又紧无码网站| 久操香蕉| 五月丁香六月婷婷久久| 色婷婷狠狠爱| 丁香婷婷激情五月| 在热视频精品| 婷婷五月色激情欧美激情| 97在线视频人妻九色| 丁香六月婷| 爱99干99| 9热久久| 综合久| 色色综合成人网| 亚洲无码成人性爰网| 五月天,激情四射,婷婷频道| 97人妻碰碰碰久久香蕉| 欧美激情VA永久在线播放| 超碰免费人| 开心五月婷婷伊人| 久久总和99| 婷婷伊人| www.热99热| 激情噜噜噜| 这里只有精彩视频| 91精品久久久久久久久久| 久久综合五月婷婷| 9久久精品| 国产26uuu视频| 99热97| 26uuu精品一区二区| 99国产精品白浆在线观看免费 | 五月婷婷基地| av免费在线看不卡无毒| 狠狠色婷婷7777久综合| 99综合久久| 色九月激情综合网| 五月天偷拍| 天天日夜夜| 综合六月久久| 五月丁香啪啪综合| 人人色AV| 国产无人区大片| 黄桃AV无码免费一区二区三区| 婷婷五月超碰| 五月婷婷在线视频免费观看| 热热久久久久久久久| 五月丁香成年黄色| 丰满少妇乱A片无码| 丁香五月成人自拍| 中文网AV| Www.狠狠| 狠狠操狠狠| AV大片在线观看| 日韩婷婷五月| 天天爽夜夜爽天天爽夜夜爽| 五月丁香婷婷色| httpwww色com日本| 六月婷婷色综合| www.五月瑟| 中文av网| 国产亚洲色婷婷久久99精品9j| 国产婷婷色五月| 人妻无码精品一区| 日本色色色| 综合网狠狠| 色很很96| 五月婷婷啪啪| 婷婷五月六月丁香| 天天综合色99| 99热精品网| 日韩精品一品二区三区的使用体验| 少妇大叫太大太粗太爽了A片| 色五月婷婷影院| 26UUU精品一区二区c〇m| 九九碰九九爱97超| 九九色网| 五月婷婷综合网在线播放| 操九色| 婷婷六月激情综合| 操操操操操操婷婷五月天| av人人干| 亚洲精品又粗又大又爽A片| 影音先锋一区| 狠狠五月激情丁香六月| 免费观看的av| 九九AV在线| 开心五月婷婷99| 亚洲综合婷婷| 六月丁香六月婷婷欧美| 色5月婷婷| 色婷婷综合网站| 大香蕉99| 色色色图| 黄色三级毛片中字| WWW,色五月| 日本天堂爱爱| 99精品视频播放| 亚洲成人色五月婷婷综合| 五月天综合激情网| 激情婷婷黄色五月 | 欧洲不卡视频| 日本九九九九九九| 婷婷五月天激情影片| 日日噜狠狠| 18久久| 五月丁香六月婷综合成人综合| 97人人射| 丁香六月婷婷综合欧美| 99热在线观看精品| 亚洲爆乳无码精品AAA片蜜桃| 玖玖综合色| 久久精品夜色噜噜亚洲a∨| av五月天婷婷丁香| 就爱干 在线| 激情婷婷五月天| 久久HD| 婷婷五月激情的图片| 丁香香蕉婷婷| 久热视频这里只有精品| 国产精自产拍久久久久久蜜| 只有精品在线观看| 日韩啪啪视频| 另类A片| 激情婷婷五月天| 91色欲综合| 天天干天天色综合| 婷婷中文综合网| 婷婷丁香亚洲五月天| 无码少妇高潮喷水A片免费| 欧美五月丁香在线| 人人摸人人搞| 婷婷综合色色| 婷婷五月丁香久久| 六月婷婷综合激情| 色五月成人| 综合www色| 婷婷色网站| 色婷婷综合久久| 丁香五月婷婷激情123| 无码少妇高潮喷水A片免费| 久久99热只有精品| 色婷婷五月天偷拍| 大香网伊人久久综合| 综合网啪| 另类在线观看视频| 色色色色网| 97人人干。| 久久人妻久久| 精品国产a| 涩涩涩.com| 狠狠爱深色婷婷综合| 99成人精品六| 无码人妻少妇色欲AV一区二区| 天天拍夜夜撸| 大学生高潮无套内谢视频| 99热热九九| 91碰碰| 丁香六月婷婷久久综合| 色色色色色色色色网站| 99re99在线看| 激情小说五月天| 婷婷五月天中文字幕.| 天天日天天舔| 这里只有精品,日韩视频| 91一起操| 色婷婷4| 国产一区二区av免费| 狠狠狠狠狠狠狠狠狠狠狠色宗合图片 | 色婷婷AV在线观看| 色小说五月天| 日本波多野结衣视频| 丁香六月激情网C0W| 超碰免费成人网站| 1010日日无码| 日本色超碰| 色五月播五月| 伊人玖玖精品| 综合色久| 丁香香五月激情免费视频| 日本人妻A片成人免费看片| 婷婷五月天无码熟女| 亚洲欧洲中文日韩久久AV乱码| 狠狠色丁香婷婷综合久久97AV| 五月丁香色婷婷| 99热网站在线观看| 国产成人综合亚洲| 婷婷开心激情五月激情网| 欧美激情久| 荷兰av一级| 综合激情婷婷| 开心激情站| 天天色综合综合| 免费观看日韩成人av| 99∨VTV| 久久九九玖玖| 激情综合婷婷| 久久久区区一久久久久久| 激情内射人妻1区2区3区| 天天橾夜夜爽| 97色图片中文字幕视频在线观看| 97操操操| va婷婷在线| 五月天婷婷Av| 五月天影院| 五月天停停日日| 婷婷婷婷色| 伊人五月人妻精品| 字幕网AV中文字幕| 色五月丁香婷婷| 久久久香| 黑人糟蹋人妻HD中文字幕| 26uuuuuuuu国产| 婷久久| 国产AV一区二区三区日韩| 亚洲日韩欧美综合VA| 9久久久久久久久久久| 丰满少妇猛烈A片免费看观看| 五月丁香激情婷婷综合| 97黑人精品区| 任你草| 婷婷深爱五月亚洲综合| 日本三日本三级少妇三级66| 无码人妻激情| 成人深爱丁香五月| 亚洲9久久精品| 免费亚洲婷婷中文字幕| 婷婷五月天激情综合婷婷五月天激情综合| 婷婷操无码| 99精品一二三四视频| 五月天影院婷婷在线观看| 伊人久久大香线蕉综合网站| 色婷婷六月天| 国产色色色色| 狠狠做六月爱婷婷综合aⅴ| 色呦呦在线| 丁香激情网| 色婷婷丁香五月色综合网| 99视频35精品视频在线观看| 国产偷人爽久久久久久老妇APP| 真实亲子乱子伦高清在线观看| 丁香六月婷婷| 日韩AV在线免费| 色综合激情| 99爱这里只有精品免费视频| 婷婷四月 成人 狠狠干| 六月丁香成人| 五月天亭亭俺也| 激情综合色播| 国内婷婷丁香社区在线播放| 91在线日本| 中国女人做爰A片| a久久| 色综合久久伊伊婷婷五月| 91丨九色熟女丨首页| 国产偷人爽久久久久久老妇APP| 九九热在线精品视频| 五月婷婷六月爱| 香蕉婷婷色五月| 日本久久久97| 丁香久久| www.狠狠艹| 乱女乱妇熟女熟妇综合网站| 久久人人九| 丁香五月激情啪啪综合| 激情九月婷婷| 五月天婷婷丁香六月| 色八月婷婷| 婷婷五月天午夜激情影院| 成人国产欧美大片一区| 五月婷婷丁香综合| 99色 | 婷婷娌伦网| 综合久久五月| 噜噜色天天开心| 2015WWW永久免费观看播放| 婷婷天堂站| 五月 激情视频| 99热这里只有精品国产精品| 青青草搞屄视频网站| 99精品久久久久久久| 精品热青草| 国产人妻人伦精品一区二区| 日韩九区| 五月色婷婷综合| 深爱开心五月天| 五月开心婷婷极品激情| 996热re视频在线观看视频| 大地9中文在线观看免费高清| 婷婷五月色激情欧美激情| 色射婷婷五月天| 五月色婷婷亚洲 | 91色久| 色五月,婷婷大香蕉| 国外亚洲成AV人片在线观看| 99热婷婷| 五月天婷久精视频| 亚洲欧洲色色| 99热老网站| 久久婷婷人人| 婷婷五月丁香综合桃花色网| 粉嫩AV久久一区二区三区| 97色婷| 久综合色| 99热亚洲| 天天激情| 丁香婷婷五月六月天| 热无码A∨| 99在线精品视频观看免费下载| 婷婷99视频精品| 猫咪伊人AV| 中字幕视频在线永久在线观看免费| 亚洲免费婷婷| 久久9热| 五月婷婷丁香瑟瑟视频| 婷婷六月激情丁香| 米奇激情婷婷| 五月婷婷久久开心网| 九九精品视频免费在线| 久婷| 五月天久久网站| 男人的天堂97| 强奸幻女毛片| 91干99| 五月激情婷婷偷拍| 久久婷婷五月综合色欧美| 久草婷婷| 丁香五月婷婷五月| 激情av| 婷婷伊人久久| 欧美性爱中文字幕| 99在线视频免费| 婷婷的色色五月天| 操逼巨乳91| 天天色综合图片| 人人操人av| 成人色色视频| 五月婷婷自拍| 丁香五月激情无码视频| 色青五月天| 亚洲综合婷婷| 亚洲精品性色| 久久机热思思热| VA婷婷亚洲| 色婷亚洲| 激情五月婷婷综合色播小说| 久久99成人性爱高清视频| av网站中文| 久久99久久99精品免观看软件| 五月丁香亚洲综合网| 婷婷天天综合| www.av骚货| 欧美性爱5月天天天看| 五月开心激情网| 狠狠五月综合在线| 婷婷激情六月天视频| 天堂婷婷丁香六月网| www.lingjunshare.com| 五月天激情视频网站| 深爱婷婷丁香五月激情| 第四色首页| 九九热在线99| 91热网址| 日韩啪啪网| 六月丁香五月婷婷| 五月在线| 国产美女无遮挡裸体毛片A片 | 婷婷五月天影院| 极品人妻VIDEOSSS人妻| 色欲一区二区三区精品A片| 国产一二区爆乳_1国产日韩一区二区三-成人AV | 久久激情天堂| 爱操人妻| 日本色婷婷| 92久久精品一区二区| 夜夜嗨一区二区三区直播内容 | 婷婷丁香97| 天天人人综合| 久久这里在精品视频| 六月丁香五月激情网| 五月情涩综合婷婷| 日本成人噜噜噜| 91avse| jiZZdr| 亚洲精品无码一区二区| 超pen个人视频97| 五月天婷婷丁香人人操91| jiujiujiuwuyuetian| 六月丁香激情综合网| 婷婷五月天在线综合导航|