欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

CNN圖像分類實(shí)戰(zhàn):從理論到PyTorch完整訓(xùn)練流程

CNN圖像分類實(shí)戰(zhàn):從理論到PyTorch完整訓(xùn)練流程 從書桌抽屜里翻出那本已經(jīng)翻得卷了邊的深度學(xué)習(xí)教材時(shí)我習(xí)慣性地在目錄頁(yè)寫下了一個(gè)編號(hào)deeplearningbook_007。這是我給自己布置的第七個(gè)讀書實(shí)踐任務(wù)——圖像分類。而這篇博文要聊的是這個(gè)編號(hào)的后半段也就是 007-2把卷積神經(jīng)網(wǎng)絡(luò)CNN從理論書里搬進(jìn)真實(shí)代碼用一套完整流程訓(xùn)練出一個(gè)能用的分類模型。很多朋友讀 CNN 章節(jié)時(shí)的狀態(tài)我太熟悉了卷積是滑動(dòng)窗口池化是降采樣反向傳播公式也能手推一遍可真要打開編輯器寫第一個(gè)模型光標(biāo)停在第一行就不知道往哪兒落了。007-2 就是為這個(gè)尷尬期準(zhǔn)備的。我會(huì)把從數(shù)據(jù)準(zhǔn)備、模型搭建、訓(xùn)練配置到調(diào)優(yōu)排錯(cuò)的整個(gè)過程完整走一遍并且說清楚每個(gè)設(shè)計(jì)決策背后的原因。這篇內(nèi)容適合兩類人一類是剛讀完 CNN 理論、正準(zhǔn)備動(dòng)手實(shí)踐的新手另一類是已經(jīng)能跑通基礎(chǔ)模型、但總覺得哪里沒搞透的進(jìn)階學(xué)習(xí)者。1. 項(xiàng)目定位007-2 到底要解決什么問題1.1 從讀書到動(dòng)手為什么需要第二部分理論學(xué)習(xí)和實(shí)際落地之間有一條深深的溝這條溝不是靠再讀一遍書能填平的。我在 007-1 里做的事是手動(dòng)實(shí)現(xiàn)卷積運(yùn)算、推導(dǎo)感受野計(jì)算公式、逐層統(tǒng)計(jì)參數(shù)量這些工作幫我建立了對(duì) CNN 底層機(jī)制的直觀理解。但到了真要訓(xùn)練一個(gè)能分類圖片的模型時(shí)我發(fā)現(xiàn)自己仍然不知道從哪兒開始數(shù)據(jù)怎么加載損失函數(shù)選哪個(gè)學(xué)習(xí)率定多少007-2 就是用來填這條溝的。它能解決三個(gè)具體問題第一把書上抽象的概念映射到框架里的真實(shí) API比如把卷積層對(duì)應(yīng)到 Conv2d把批歸一化對(duì)應(yīng)到 BatchNorm2d讓知識(shí)真正落地第二把數(shù)據(jù)預(yù)處理、模型設(shè)計(jì)、訓(xùn)練、評(píng)估這條鏈路完整地走通一遍以后遇到任何圖像任務(wù)都可以復(fù)用這一套方法論第三把訓(xùn)練過程中那些書上不會(huì)寫的問題暴露出來——過擬合、不收斂、顯存不夠——這些問題只有親手踩一遍才知道怎么處理。我自己的體會(huì)是這種先手動(dòng)實(shí)現(xiàn)底層、再用框架快速搭建的兩段式學(xué)習(xí)法特別適合深度學(xué)習(xí)。手動(dòng)實(shí)現(xiàn)讓你理解原理框架搭建讓你專注解決問題本身兩者互補(bǔ)缺一個(gè)都會(huì)讓能力樹長(zhǎng)歪。1.2 數(shù)據(jù)與任務(wù)設(shè)定007-2 選的任務(wù)很樸素對(duì)一組公開的花卉圖片做分類。一共 5 個(gè)類別每類大概 600 張圖片圖片尺寸不太統(tǒng)一大部分在 200x200 到 500x500 像素之間。選這個(gè)任務(wù)有三個(gè)原因5 分類問題是展示 CNN 能力的合理規(guī)模既不會(huì)像千分類那樣需要龐大訓(xùn)練資源和很長(zhǎng)時(shí)間又能清楚展現(xiàn)特征提取、分類決策的完整過程?;ɑ軋D片在顏色、紋理、形狀上差異明顯非常便于觀察模型到底學(xué)到了什么特征也方便用熱力圖做可視化分析。數(shù)據(jù)量不大即使用 CPU 訓(xùn)練簡(jiǎn)單模型也能在合理時(shí)間內(nèi)跑完一個(gè) epoch適合反復(fù)調(diào)試。任務(wù)目標(biāo)我定得很明確在測(cè)試集上達(dá)到 90% 以上的準(zhǔn)確率同時(shí)記錄清楚訓(xùn)練過程中 loss 和 accuracy 的變化曲線能夠解釋每一次調(diào)參操作帶來的影響。這個(gè)目標(biāo)比單純跑通代碼高一個(gè)層次——不只是讓模型動(dòng)起來而是要建立改動(dòng)到結(jié)果的因果鏈條這種能力在真正的工作中比背下來幾個(gè)網(wǎng)絡(luò)結(jié)構(gòu)值錢得多。注意我這里用花卉數(shù)據(jù)集舉例是因?yàn)樗悇e清晰、容易上手。如果你有更貼合自己業(yè)務(wù)的數(shù)據(jù)直接把路徑和標(biāo)簽替換掉即可整套流程完全通用。2. 核心組件拆解CNN 里的每一個(gè)設(shè)計(jì)決策2.1 卷積核大小與通道數(shù)的選擇依據(jù)搭建 CNN 時(shí)第一個(gè)要拍板的是卷積核大小。我見過不少新手直接照搬經(jīng)典網(wǎng)絡(luò)的 3x3 卷積卻不清楚這個(gè)尺寸為什么流行。答案有兩層從感受野的角度看兩個(gè) 3x3 卷積堆疊等效于一個(gè) 5x5 卷積的感受野但參數(shù)更少。計(jì)算一下就知道兩個(gè) 3x3 卷積的參數(shù)是 2 x 3 x 3 18 個(gè)而一個(gè) 5x5 卷積是 5 x 5 25 個(gè)后者多出近 40%。更關(guān)鍵的是兩個(gè) 3x3 中間夾了一次非線性激活網(wǎng)絡(luò)表達(dá)能力反而更強(qiáng)。從工程角度看3x3 是眾多硬件和深度學(xué)習(xí)框架深度優(yōu)化的尺寸計(jì)算效率高。但 3x3 不是唯一答案。輸入圖片很小的場(chǎng)景比如常見的小圖數(shù)據(jù)集那種 32x32 規(guī)格第一層直接用 5x5 或 7x7 卷積可以更快擴(kuò)大感受野減少網(wǎng)絡(luò)層數(shù)輸入圖片很大時(shí)比如 500x500 以上第一層用大卷積核配合步長(zhǎng) 2 做快速降采樣也很常見可以省掉一層池化。通道數(shù)的設(shè)計(jì)我習(xí)慣用一個(gè)從窄到寬再收窄的規(guī)律來理解。淺層用較少通道比如 32、64提取邊緣、顏色等基礎(chǔ)特征中層逐漸加寬128、256提取紋理、局部形狀等組合特征最后通過全局池化或全連接層把特征映射到類別空間。每經(jīng)過一個(gè)降采樣層通道數(shù)翻倍這是一個(gè)經(jīng)典的經(jīng)驗(yàn)法則特征圖尺寸減半通道數(shù)就加倍既控制參數(shù)量又保證信息不丟失。007-2 里的具體配置是輸入圖片統(tǒng)一縮放到 128x128像素值歸一化到 [0,1]。卷積塊 1Conv2d(3, 32, kernel_size3, padding1) BatchNorm ReLU MaxPool2d(2)卷積塊 2Conv2d(32, 64, kernel_size3, padding1) BatchNorm ReLU MaxPool2d(2)卷積塊 3Conv2d(64, 128, kernel_size3, padding1) BatchNorm ReLU MaxPool2d(2)分類頭GlobalAvgPool Dense(128, 5)這個(gè)結(jié)構(gòu)總參數(shù)量不到 50 萬非常輕量但在小型數(shù)據(jù)集上足以跑出不錯(cuò)的準(zhǔn)確率。設(shè)計(jì)它時(shí)我刻意避開了那些動(dòng)輒上千萬參數(shù)的經(jīng)典網(wǎng)絡(luò)因?yàn)閷?duì)數(shù)據(jù)和算力都有限的學(xué)習(xí)項(xiàng)目來說理解架構(gòu)設(shè)計(jì)的思路比復(fù)現(xiàn)一個(gè)大模型更有價(jià)值。2.2 池化層的存在價(jià)值與替代方案很多初學(xué)者把池化看作簡(jiǎn)單的圖片縮小操作這其實(shí)低估了它。池化層有兩個(gè)核心作用降維壓縮特征圖尺寸減少后續(xù)層計(jì)算量同時(shí)成倍擴(kuò)大下一層的感受野。平移不變性池化讓模型對(duì)輸入的小幅平移、局部變化不那么敏感這對(duì)圖像分類很有利因?yàn)樵谡鎸?shí)圖片里目標(biāo)和鏡頭相對(duì)位置總在變。不過我想說清楚一件事池化不是卷積網(wǎng)絡(luò)里必不可少的組件。我在 007-1 手動(dòng)實(shí)現(xiàn)時(shí)發(fā)現(xiàn)帶步長(zhǎng)的卷積完全可以完成降采樣任務(wù)所以現(xiàn)代網(wǎng)絡(luò)里出現(xiàn)了兩種派別。經(jīng)典派是卷積分支后用池化下采樣結(jié)構(gòu)直白容易調(diào)試現(xiàn)代派用 stride2 的卷積替代池化信息保留更完整殘差網(wǎng)絡(luò)里就是這么干的。007-2 中考慮到調(diào)試方便我選擇了經(jīng)典的 MaxPool2d。MaxPool 和 AvgPool 的選擇也有講究。MaxPool 保留區(qū)域內(nèi)最強(qiáng)的響應(yīng)適合中間層提取邊緣紋理這類強(qiáng)特征AvgPool 對(duì)區(qū)域整體求平均適合最后做全局特征聚合。我自己的經(jīng)驗(yàn)是中間層用 MaxPool最后一層用 GlobalAvgPool 替代 Flatten 加 Dense后者的優(yōu)勢(shì)非常明顯——它會(huì)強(qiáng)制讓每個(gè)通道對(duì)應(yīng)一種語義特征同時(shí)參數(shù)量幾乎降為原來的十分之一還天然帶有正則化效果。這個(gè)改動(dòng)在 007-2 里讓驗(yàn)證準(zhǔn)確率穩(wěn)定提升了將近 2 個(gè)百分點(diǎn)而且模型對(duì)輸入尺寸的變化也更魯棒了。2.3 激活函數(shù)與歸一化的組合拳激活函數(shù)的選擇直接決定訓(xùn)練過程的穩(wěn)定性。ReLU 是目前默認(rèn)選項(xiàng)但我在實(shí)踐里遇到過一個(gè)非常典型的問題學(xué)習(xí)率稍微調(diào)大一點(diǎn)網(wǎng)絡(luò)里就有一批神經(jīng)元的輸出永遠(yuǎn)變成 0梯度也永遠(yuǎn)為 0模型徹底死掉一部分表達(dá)能力。這個(gè)現(xiàn)象叫 Dead ReLU本質(zhì)是負(fù)輸入?yún)^(qū)間沒有梯度通路一旦神經(jīng)元落入負(fù)區(qū)就再也回不來。應(yīng)對(duì) Dead ReLU 的常用手段有三個(gè)換用 LeakyReLU 或 ELU給負(fù)半軸一點(diǎn)斜率讓梯度有機(jī)會(huì)回傳。用合理的權(quán)重初始化比如 He 初始化讓卷積輸出的分布不過于集中避免大量神經(jīng)元一開始就落入負(fù)區(qū)??刂瞥跏紝W(xué)習(xí)率不要為了追求快速收斂而設(shè)得太大。007-2 里我最終用了 ReLU 加 He 初始化初始學(xué)習(xí)率設(shè)為 0.001配合余弦退火調(diào)度。這里要特別強(qiáng)調(diào)批歸一化BatchNormalization的放置位置它應(yīng)當(dāng)放在卷積層之后、激活函數(shù)之前而不是很多人以為的激活之后。原因是 BN 的作用是穩(wěn)定卷積輸出的分布讓激活函數(shù)的輸入落在合適區(qū)間如果先過了非線性激活分布已經(jīng)被打亂BN 的效果會(huì)大打折扣訓(xùn)練時(shí)還會(huì)出現(xiàn)奇怪的震蕩。注意BN 在小 batch size 下效果會(huì)明顯變差。如果顯存只允許 batch size 設(shè)為 8 甚至更小我建議改用 GroupNorm或者干脆去掉 BN、靠調(diào)整學(xué)習(xí)率來維持穩(wěn)定。不要盲目迷信 BN它也是有適用條件的。3. 實(shí)操全流程從數(shù)據(jù)到模型的完整落地3.1 數(shù)據(jù)準(zhǔn)備數(shù)據(jù)集劃分與預(yù)處理細(xì)節(jié)寫模型代碼之前數(shù)據(jù)準(zhǔn)備環(huán)節(jié)直接決定后續(xù)調(diào)試的體驗(yàn)。我把處理流程分成四步每一步都有明確的坑要避。第一步是劃分?jǐn)?shù)據(jù)集。按照 8:1:1 的比例切成訓(xùn)練集、驗(yàn)證集、測(cè)試集并且用分層抽樣保證每個(gè)類別的樣本比例在三個(gè)集合里一致。這一步用訓(xùn)練測(cè)試分割工具加 stratify 參數(shù)就能輕松實(shí)現(xiàn)。為什么單獨(dú)留測(cè)試集因?yàn)轵?yàn)證集在調(diào)參過程中被反復(fù)使用模型已經(jīng)間接見過它的信息了如果拿驗(yàn)證集當(dāng)最終成績(jī)會(huì)高估模型的真實(shí)泛化能力。測(cè)試集只能最后用一次這是鐵律。第二步是統(tǒng)一尺寸。我選的是 128x128。這個(gè)尺寸的確定背后有考量太小比如 64x64會(huì)丟失花瓣紋理等關(guān)鍵細(xì)節(jié)太大比如 256x256計(jì)算量會(huì)翻好幾倍。128 對(duì)這個(gè)小數(shù)據(jù)集來說是精度和速度的平衡點(diǎn)訓(xùn)練一輪的時(shí)間也剛好在可接受范圍內(nèi)。第三步是歸一化。把像素值從 [0,255] 縮放到 [0,1]。這個(gè)操作看起來簡(jiǎn)單很多人卻會(huì)漏掉。不歸一化的話輸入數(shù)值范圍過大會(huì)讓損失函數(shù)對(duì)權(quán)重初始化極其敏感訓(xùn)練初期非常容易出現(xiàn) loss 震蕩甚至直接發(fā)散。歸一化之后模型對(duì)初始化的容忍度會(huì)高很多。第四步是數(shù)據(jù)增強(qiáng)。訓(xùn)練集上我做了幾種隨機(jī)變換水平翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn) 15 度、隨機(jī)裁剪到 112x112 再縮放回 128x128、調(diào)整亮度和對(duì)比度。驗(yàn)證集和測(cè)試集只做縮放和歸一化絕不做增強(qiáng)。增強(qiáng)的目的是讓模型看到更多變體相當(dāng)于免費(fèi)擴(kuò)充數(shù)據(jù)集對(duì)防止過擬合有立竿見影的效果。這里踩過一個(gè)坑增強(qiáng)到底在歸一化之前還是之后做我的結(jié)論是先做幾何變換翻轉(zhuǎn)、旋轉(zhuǎn)、裁剪再做歸一化。因?yàn)閹缀巫儞Q涉及像素插值先歸一化再插值會(huì)產(chǎn)生細(xì)微數(shù)值偏差雖然通常不影響最終精度但養(yǎng)成熟練的先后順序能省掉很多不必要的疑惑。3.2 模型搭建用框架寫出一個(gè)可訓(xùn)練的 CNN下面就是 007-2 里實(shí)際使用的模型代碼結(jié)構(gòu)非常簡(jiǎn)潔核心邏輯全部在這。import torch import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes5): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 32, kernel_size3, padding1), nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(32, 64, kernel_size3, padding1), nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(64, 128, kernel_size3, padding1), nn.BatchNorm2d(128), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), ) self.classifier nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Flatten(), nn.Linear(128, num_classes) ) def forward(self, x): return self.classifier(self.features(x))我解釋一下這個(gè)模型里的幾個(gè)關(guān)鍵設(shè)計(jì)點(diǎn)AdaptiveAvgPool2d(1) 是個(gè)很省心的操作。無論前面特征圖的尺寸是多大它都會(huì)輸出 1x1 的向量省去了手動(dòng)計(jì)算全連接層輸入維度的麻煩。如果以后想把輸入分辨率從 128 改成 96模型代碼完全不用動(dòng)。BatchNorm 的位置嚴(yán)格按照卷積之后、激活之前排列這也是前面反復(fù)強(qiáng)調(diào)過的請(qǐng)務(wù)必養(yǎng)成這個(gè)習(xí)慣。最后一層沒有加 Softmax。這是個(gè)非常典型的看著對(duì)其實(shí)是多余的操作。框架里的交叉熵?fù)p失函數(shù)內(nèi)部已經(jīng)包含了 Softmax 和 log 運(yùn)算如果在前向里提前做了 Softmax損失函數(shù)會(huì)再次計(jì)算導(dǎo)致數(shù)值不穩(wěn)定甚至梯度錯(cuò)誤。模型參數(shù)量用sum(p.numel() for p in model.parameters())可以查出來我這個(gè)結(jié)構(gòu)大概在 43 萬左右。對(duì) 3000 張級(jí)別的小數(shù)據(jù)集來說這個(gè)規(guī)模很合適容量夠用又不會(huì)因?yàn)閰?shù)過多而輕松過擬合。3.3 訓(xùn)練配置優(yōu)化器、學(xué)習(xí)率與訓(xùn)練循環(huán)模型搭好之后訓(xùn)練配置是另一塊容易出問題的地方。007-2 的配置如下優(yōu)化器AdamW初始學(xué)習(xí)率 0.001權(quán)重衰減設(shè)為 0.0001。損失函數(shù)交叉熵?fù)p失。批次大小32。訓(xùn)練輪數(shù)50。學(xué)習(xí)率調(diào)度余弦退火總周期 50 輪。為什么選 AdamW 而不選經(jīng)典的 SGD 加動(dòng)量這兩個(gè)的取舍值得說清楚。SGD 加動(dòng)量在超參數(shù)調(diào)好后往往能收斂到更好的結(jié)果但它對(duì)學(xué)習(xí)率太敏感手動(dòng)調(diào)整的成本很高而且訓(xùn)練過程的穩(wěn)定性差一些。AdamW 是 Adam 的改進(jìn)版把權(quán)重衰減從梯度更新里分離出來既保留了 Adam 快速收斂的優(yōu)點(diǎn)又緩解了 L2 正則與 Adam 相互作用導(dǎo)致的過擬合問題。對(duì)于 007-2 這種需要快速驗(yàn)證想法、反復(fù)迭代的場(chǎng)景AdamW 是更省心的選擇。訓(xùn)練循環(huán)的骨架長(zhǎng)這樣for epoch in range(epochs): model.train() train_loss 0.0 correct 0 total 0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() train_loss loss.item() * images.size(0) _, preds torch.max(outputs, 1) correct (preds labels).sum().item() total labels.size(0) model.eval() val_loss 0.0 val_correct 0 val_total 0 with torch.no_grad(): for images, labels in val_loader: images, labels images.to(device), labels.to(device) outputs model(images) loss criterion(outputs, labels) val_loss loss.item() * images.size(0) _, preds torch.max(outputs, 1) val_correct (preds labels).sum().item() val_total labels.size(0) scheduler.step() train_acc 100.0 * correct / total val_acc 100.0 * val_correct / val_total print(fEpoch {epoch1:02d} | fTrain Loss {train_loss / total:.4f} | Train Acc {train_acc:.2f}% | fVal Loss {val_loss / val_total:.4f} | Val Acc {val_acc:.2f}%)這段代碼有兩個(gè)細(xì)節(jié)是新手的常見盲區(qū)model.train() 和 model.eval() 必須成對(duì)出現(xiàn)。train 模式下批歸一化層會(huì)統(tǒng)計(jì)當(dāng)前 batch 的均值和方差eval 模式下它才使用訓(xùn)練階段積累的全局統(tǒng)計(jì)量。如果漏了 model.eval()驗(yàn)證集的 loss 會(huì)忽高忽低甚至出現(xiàn)驗(yàn)證準(zhǔn)確率像是隨機(jī)猜測(cè)的假象之前的調(diào)試工作全都白費(fèi)。驗(yàn)證階段必須用 torch.no_grad() 包起來。這個(gè)作用有兩個(gè)節(jié)省顯存因?yàn)椴辉俦4嬷虚g計(jì)算圖加快驗(yàn)證速度因?yàn)椴恍枰?jì)算梯度。我還故意把驗(yàn)證集的 loss 除以樣本總數(shù)而不是 batch 數(shù)這樣得到的是每個(gè)樣本的平均損失和訓(xùn)練集對(duì)比起來才公平。3.4 評(píng)估與結(jié)果分析訓(xùn)練 50 輪之后我拿到的曲線大致是這樣的訓(xùn)練準(zhǔn)確率從初始的 60% 左右快速爬升到第 10 輪已經(jīng)接近 92%驗(yàn)證準(zhǔn)確率在第 20 輪左右達(dá)到峰值大概 91%之后訓(xùn)練準(zhǔn)確率還在緩慢上升驗(yàn)證準(zhǔn)確率則穩(wěn)定在 90% 到 92% 之間沒有明顯掉頭。最終測(cè)試集準(zhǔn)確率 91.6%。這個(gè)結(jié)果告訴我兩件事模型沒有明顯過擬合泛化能力符合預(yù)期訓(xùn)練曲線的走勢(shì)整體健康沒有大幅震蕩。如果訓(xùn)練準(zhǔn)確率 97%、驗(yàn)證準(zhǔn)確率只有 88%說明過擬合已經(jīng)出現(xiàn)了需要加數(shù)據(jù)增強(qiáng)、加正則化或者降低模型容量。除準(zhǔn)確率外我還多算了一步混淆矩陣。分析后發(fā)現(xiàn)模型最容易把玫瑰和月季搞混這兩類在視覺上確實(shí)高度相似。這種細(xì)顆粒度的分析在真實(shí)業(yè)務(wù)里非常有用——如果分類錯(cuò)誤的代價(jià)很高你就知道該優(yōu)先收集哪些易混淆類別的數(shù)據(jù)或者給損失函數(shù)里的稀有類別加上權(quán)重。4. 訓(xùn)練調(diào)優(yōu)的實(shí)戰(zhàn)心得與踩坑記錄4.1 過擬合的判斷與應(yīng)對(duì)策略判斷過擬合我從來不只看 loss 曲線而是盯住訓(xùn)練準(zhǔn)確率和驗(yàn)證準(zhǔn)確率的差距。差距超過 5 個(gè)百分點(diǎn)就要開始警惕超過 10 個(gè)點(diǎn)基本可以確診。007-2 的模型差距始終控制在 3 個(gè)點(diǎn)以內(nèi)所以沒有太擔(dān)心。如果確實(shí)過擬合了我的應(yīng)對(duì)策略按優(yōu)先級(jí)排序第一優(yōu)先加強(qiáng)數(shù)據(jù)增強(qiáng)。比如隨機(jī)旋轉(zhuǎn)從 10 度加到 20 度或者引入隨機(jī)遮擋。這個(gè)手段成本最低效果卻常常最好因?yàn)樗谋举|(zhì)是擴(kuò)大訓(xùn)練集的有效多樣性。第二優(yōu)先在全連接層前加一個(gè) Dropout比率 0.3 左右。我見過不少模型靠這一招把驗(yàn)證準(zhǔn)確率拉回 2 到 3 個(gè)點(diǎn)。第三優(yōu)先降低模型容量。比如去掉 128 通道的那個(gè)卷積塊讓模型沒有能力去背下訓(xùn)練集。第四優(yōu)先調(diào)大權(quán)重衰減從 0.0001 試到 0.0005。這里想特別提醒一句數(shù)據(jù)增強(qiáng)不是越狠越好。我貪心過一次把翻轉(zhuǎn)、旋轉(zhuǎn) 30 度、隨機(jī)裁剪、顏色抖動(dòng)、隨機(jī)遮擋全部疊加驗(yàn)證準(zhǔn)確率反而掉了。原因很直白增強(qiáng)過猛會(huì)讓訓(xùn)練樣本的分布偏離真實(shí)數(shù)據(jù)分布模型學(xué)到的特征被增強(qiáng)痕跡帶偏了。正確做法是每次只加一種增強(qiáng)觀察驗(yàn)證集曲線變化再?zèng)Q定要不要繼續(xù)加。4.2 損失不下降的排查清單訓(xùn)練中損失卡著不掉是讓新手最崩潰的場(chǎng)景。這里分享一份我反復(fù)用到的排查清單按順序檢查能省掉大量瞎試的時(shí)間檢查數(shù)據(jù)預(yù)處理歸一化做了沒有標(biāo)簽是不是從 0 開始連續(xù)編號(hào)有沒有混入損壞的圖片文件檢查損失函數(shù)分類任務(wù)用的是交叉熵?fù)p失而不是均方誤差前者才適合離散類別。檢查學(xué)習(xí)率太小了損失下降會(huì)慢得讓你懷疑人生太大了初期會(huì)震蕩然后卡住。我建議做一次學(xué)習(xí)率掃描實(shí)驗(yàn)快速找到合適區(qū)間。檢查模型輸出單獨(dú)跑一個(gè) batch 的前向確認(rèn)輸出形狀是 (batch_size, num_classes)別搞成 (batch_size,) 或者 (num_classes,)。檢查梯度每隔幾個(gè) step 打印參數(shù)梯度的范數(shù)如果始終為 0說明梯度根本沒有回傳問題大概率出在權(quán)重初始化、激活函數(shù)或者模型結(jié)構(gòu)上。我印象最深的一次排錯(cuò)經(jīng)歷是這樣的某個(gè)自定義數(shù)據(jù)類里忘了歸一化結(jié)果損失一直停在 2.3 附近模型輸出的概率幾乎是均勻分布怎么看都不對(duì)。排查了一下午最后才發(fā)現(xiàn)是數(shù)據(jù)值太大數(shù)值計(jì)算把梯度搞崩了。所以檢查數(shù)據(jù)預(yù)處理這條一定要放在第一位它不是走過場(chǎng)。4.3 顯存優(yōu)化與訓(xùn)練速度提升技巧如果顯存不夠我的處理順序是這樣的調(diào)小 batch size同時(shí)把學(xué)習(xí)率也相應(yīng)調(diào)低一點(diǎn)因?yàn)樾?batch 的梯度噪聲更大維持原來的學(xué)習(xí)率容易震蕩。開啟混合精度訓(xùn)練AMP讓部分計(jì)算自動(dòng)切換到半精度顯存占用通常能直接降三分之一左右。檢查代碼里有沒有多余的顯存占用比如驗(yàn)證階段忘了開 torch.no_grad()或者訓(xùn)練循環(huán)里保留了用不到的中間張量。以上都不夠就降低輸入分辨率從 128 降到 96。分辨率降低對(duì)準(zhǔn)確率的影響往往小于 1 個(gè)百分點(diǎn)但顯存節(jié)省非常顯著。訓(xùn)練速度方面一個(gè)容易被忽視的細(xì)節(jié)是數(shù)據(jù)加載的并行度。我剛開始把加載器參數(shù)留成默認(rèn)值 0結(jié)果每個(gè) epoch 的數(shù)據(jù)加載時(shí)間比模型訓(xùn)練時(shí)間還長(zhǎng)。改成并行數(shù)為 4 并且打開內(nèi)存釘住之后整個(gè)訓(xùn)練時(shí)間縮短了將近一半。如果你的機(jī)器核心多還可以繼續(xù)調(diào)大但要注意不同操作系統(tǒng)下并行加載可能和主程序進(jìn)程相關(guān)遇到奇怪報(bào)錯(cuò)就調(diào)回 0 試試。4.4 常見問題速查表現(xiàn)象可能原因排查方向損失一直不降數(shù)據(jù)未歸一化 / 學(xué)習(xí)率不當(dāng) / 標(biāo)簽錯(cuò)位檢查預(yù)處理、損失曲線、梯度范數(shù)訓(xùn)練準(zhǔn)確率高、驗(yàn)證準(zhǔn)確率低過擬合增強(qiáng)數(shù)據(jù)增強(qiáng)、加 Dropout、降低容量驗(yàn)證損失波動(dòng)大忘了 eval 模式 / 批次太小 / 批歸一化失效切換模型模式、增加批次、考慮分組歸一化顯存溢出批次過大 / 未開混合精度 / 多余中間變量調(diào)小批次、開 AMP、檢查代碼某類別準(zhǔn)確率特別低類別不均衡 / 類別特征相似計(jì)算類別權(quán)重、收集更多該類數(shù)據(jù)訓(xùn)練時(shí)間過長(zhǎng)加載并行度為零 / 未用 GPU / 分辨率過高開多進(jìn)程加載、升級(jí)硬件、降低分辨率這張表是我自己調(diào)試時(shí)反復(fù)翻看的總結(jié)里面很多現(xiàn)象其實(shí)是同一個(gè)根因。你可以把表存下來遇到問題時(shí)按行去對(duì)照比從零開始猜要高效得多。5. 從 007-2 到下一個(gè)實(shí)踐的擴(kuò)展思路5.1 把單模型變成可解釋的系統(tǒng)007-2 跑通一個(gè) 91% 準(zhǔn)確率的模型之后我做的第一件事并不是拼命刷準(zhǔn)確率而是回頭研究模型到底學(xué)到了什么。用類激活映射CAM生成熱力圖觀察分類向日葵時(shí)模型關(guān)注的是花盤的哪個(gè)區(qū)域、分類玫瑰時(shí)又聚焦在哪些結(jié)構(gòu)上。這個(gè)步驟讓我對(duì) CNN 的理解又上了一個(gè)臺(tái)階它不是簡(jiǎn)單記住模板而是在提取顏色、紋理、形狀的組合特征。如果你也在做類似的圖像分類項(xiàng)目我強(qiáng)烈建議把可視化當(dāng)成必做項(xiàng)它會(huì)幫你快速驗(yàn)證模型學(xué)到的特征是否合理也能在結(jié)果異常時(shí)提供最直觀的線索。5.2 后續(xù)可以嘗試的三個(gè)方向遷移學(xué)習(xí)把預(yù)訓(xùn)練模型拿來做特征提取只訓(xùn)練自己數(shù)據(jù)的分類頭。在數(shù)據(jù)量只有一兩千張的小數(shù)據(jù)集上遷移學(xué)習(xí)往往能把準(zhǔn)確率從 90% 直接拉到 96% 以上省時(shí)省力是性價(jià)比極高的升級(jí)路徑。目標(biāo)檢測(cè)把這張圖是什么擴(kuò)展為圖里有什么、在哪里用檢測(cè)框架把每朵花的位置和類別都框出來。這個(gè)方向邏輯遞進(jìn)非常自然也是從學(xué)術(shù)練習(xí)走向?qū)嶋H應(yīng)用的常見一步。模型壓縮用剪枝、量化等手段把模型從幾十萬參數(shù)壓到幾萬參數(shù)在準(zhǔn)確率下降可接受的前提下?lián)Q一個(gè)更輕量、更適合部署的版本。對(duì)真實(shí)產(chǎn)品落地來說這一步幾乎是必經(jīng)之路。5.3 一個(gè)值得養(yǎng)成的習(xí)慣實(shí)驗(yàn)記錄最后分享一個(gè)這段時(shí)間讓我受益非常大的習(xí)慣給每次實(shí)驗(yàn)做記錄。我會(huì)把每次改動(dòng)的內(nèi)容、最終準(zhǔn)確率、訓(xùn)練耗時(shí)、顯存占用全部寫進(jìn)一個(gè)簡(jiǎn)單的表格里。這個(gè)習(xí)慣在調(diào)參階段的價(jià)值最明顯——你不用反復(fù)嘗試已經(jīng)試過的配置也能清晰地知道到底哪個(gè)改動(dòng)帶來了真實(shí)的提升。記錄模板通常包含這幾項(xiàng)實(shí)驗(yàn)編號(hào)與日期、模型結(jié)構(gòu)改動(dòng)點(diǎn)、數(shù)據(jù)增強(qiáng)策略、優(yōu)化器與學(xué)習(xí)率等超參數(shù)、最終的訓(xùn)練與驗(yàn)證與測(cè)試準(zhǔn)確率、訓(xùn)練耗時(shí)與顯存占用、備注這次實(shí)驗(yàn)想驗(yàn)證什么假設(shè)。有了這個(gè)表你會(huì)發(fā)現(xiàn)憑感覺調(diào)參和有依據(jù)地調(diào)參差距巨大后者得到的模型更穩(wěn)定也更容易復(fù)現(xiàn)。007-2 只是整個(gè)深度學(xué)習(xí)讀書實(shí)踐系列里的一個(gè)節(jié)點(diǎn)但這個(gè)記錄習(xí)慣會(huì)陪你走完后面所有項(xiàng)目。個(gè)人經(jīng)驗(yàn)角度再說一句深度學(xué)習(xí)教材里的每個(gè)模塊只有親手放到一個(gè)具體項(xiàng)目里跑通一遍才能真正體會(huì)到設(shè)計(jì)的精妙和那些藏在代碼縫隙里的坑。如果你現(xiàn)在正卡在理論階段看不進(jìn)去別再硬啃找一個(gè)像 007-2 這樣的小項(xiàng)目動(dòng)手跑起來等回頭再看書里那些公式你會(huì)體驗(yàn)到一種完全不同的豁然開朗。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美日韩欧美| 无码人妻少妇色欲AV一区二区 | 六月天婷婷| 丁香六月激情四射| 丁香久久| 天天射综合网站| 婷婷成人综合免费视频| 五月丁香啪综合| 中文字幕有多少字| 少妇综合网| 五月婷婷视频ab| av在线激情| 夫妇交换刺激做爰| 4399成人黄A片| 美女激情婷婷| 国产99久久久| 免费观看2018www黄色操逼网站| 五月天婷婷影院| 六月丁香婷婷色狠狠久久| 毛片九九九九九九九九18| 日本va欧美va欧美精品88| 综合天天综合| 六月婷婷激情| 丁香五月综合久久| 色五月激情综合网站| 国产一级片| 热思思| 色色热日| 真实的国产乱XXXX在线91| 91大神操美女| 婷婷丁香综合成人| 97色伦另类图片小说视频 | 色婷婷久久9.com| 无码操B| 丁香五月婷婷色五月| 97五月天婷婷综合激情网| 亚洲AV成人在线| av性爱在线| 丁香五月色色色色| 玖玖伊人网| 91五月天| 思思久久精品| 九九色婷婷| 思思热国产在线| 九九热九九热精品| 欧美日韓成人亚洲精品另类| 大香蕉九九| 丰满人妻妇伦又伦精品国产 | 色五月综合激情网| 亚洲无码影音| 精品热九九| 色婷婷av在线观看| 色色色色色色网| 婷婷 伊人 久久| 激情婷婷五月色| 激情婷婷五月亚洲| 就爱啪啪婷婷| 99热这里只有精品热| 伊人青草成人| 丁香五月综合久久八| 97在线精品视频| 婷婷狠狠97| 色婷婷精| 日本色色网站| 伊人网大香| 九九性爱网| 五月天激情图片网| 99re视频在线播放| 国产在线6| 91色色色| 色月视频| 婷婷丁香色情| 97丁香五月| 热久久这里只有精品| 毛片新网地| 激情婷婷五月黑人| 这里只有精品在线免费视频| 网站免费一站二站| 婷婷综合激情| 精品国产AV色一区二区深夜久久 | 天天综合91入口| 丁香五月婷婷激情中文| 久天综合| 啪啪色激情五月天| 先锋av性爱成人电影| 久热这里只有精品66| 婷婷五月综合激情小说| www.夜夜操| 青草激情综合| 97在线精品视频| 亚洲AV网址| 婷婷五月丁香综合| http://www.com久久久精品一区| 亚洲美女裸体被操在线观看| WWW.久久久久久久| 天天 日综合| 激情九九综合网| 九九这里都是精品| 色色a| AV性爱网| 激情碰碰碰| 九九十99视频| 天天综合五月| 婷婷人人操| 91啪啪视频| 色5月婷婷| 国产黄大片在线观看画质优化| 婷婷色色网站| 丁香色六月婷婷| 久久五月天精品视频| 色情丁香五月天| 久热这里只有精品视频免费观看| 99热.com| 丁香情色五月| 丁香六月婷婷| 久久久性爱视频| 人人干女人| 综合色图区| www天堂99| 五月丁香久久色| 91viP在线看| 99久久久99久久91熟女| 婷婷综合色网| 丁香婷婷综合激情五月色| 婷婷五月丁香五月天| 国产日韩欧美| 成熟妇人A片免费看网站| 99在线小视频| 丁香六月成人网| 九九色大香蕉| 一区=区操屄高清大全av| 中文字幕在线日亚州9| 五月色情婷婷开心五月色情| 色色婷婷丁香| 操碰久| 久久五月天激情婷婷| 天天插天天操| 伊人综合网站| XX久久| 停停色综合伊人| 色丁香婷婷| 婷婷伊人综合中文字幕| 九九九干精品| 丁香婷婷六月天| 欧洲亚洲免费视频9| 精品久久久91久久影视网| 亚洲无码yw| 欧洲激情五月天婷婷| 五月天激情小说网| 黄色高清无码| 婷婷五月天改成什么了| 狠狠爱综合| 97操碰日本女人| 丁香五月婷婷久久久| 五月天婷婷乱论小说| 另类天堂| 中文字幕在线日亚洲9| 丁香六月婷婷综合在线| 成人精品视频99在线观看免费| 丝袜熟女一区二区三区| 久色五月| 五月停视频天堂| 激情综合五月婷婷六月丁香| 欧美丁香五月天| 最新久久网址| 极品精品一区二区三区在线| 婷婷六月视频| 婷婷五月俺要去| 一级二级香港秋霞欧美欧美秋霞| 91精品婷婷国产综合久久| 色久九| 九九热思思热| 色狠狠999综合网| 婷婷操逼网| 日韩在线观看网址| 婷婷五月激情综合啪啪| 色婷婷啪啪啪啪啪啪| 性色婷婷| 99热乎| 亚洲第一精品网站| 色色色婷婷| 狠狠色色综合| 丁香花五月天| 欧美超级视频97| 五月天色婷婷网| 欧美色五月| 婷婷综合网站| 日本色色色| tingtingcaobi| 男人的天堂97| 丁香五月视频在线观看| 久久99热这里只频精品6学生| 97碰| 日韩不卡123| 五月丁香黄色| 久久伊人日日夜夜| 操逼巨乳91| 狠狠狠狠狠狠| 超碰爱爱爱| 就要去操亚洲成人精品五月天丁香婷婷| 99精品在线观看| 国产一二区爆乳_1国产日韩一区二区三-成人AV | 丁香婷婷月| 亚洲热久久| 国产av网| 91热er| WWW激情五月天| 伊人玖玖婷婷| 被男人添B超爽视频| 亚洲综合成人网站| 五月丁香久久呀| 天天做天天爽| 开心五月婷婷伊人| 婷婷五月天激情在线观看 | 久久婷婷久久| 操人妻视频91| 九九色色| 久九色| 色婷婷五月天天天做| 免费观看大片视频 丁香婷婷 六月欧美| 婷婷丁香五月综合| 亚洲AV成人在线观看| 五月天小说激情| 色色色999| 五月激情网五月综合网| 丁香五月色| 久xxxx| 午夜成人综合| 狠狠狠狠狠狠狠狠| 欧美色99| 丁香五月激情五月开心五月| 五月丁香六月情| 婷婷香五月天| 91精品久久久久久综合五月天| 超pen个人视频97| 国产成人一区二区三区在线观看 | 玖玖爱资源站| 91久久18| 久久色六月| 亚洲乱啪| 丁香婷婷伊人| 涩五月婷婷| 99在线观看精品| 丁香六月婷婷综合啪啪| 婷婷五月欧美综合| 日韩无码人妻一区二区三区综合| 久久五月天婷婷| 婷婷色在线视频| 6080av| 九九色色| 五月丁香激情片| 日本色99| 天堂综合久久| 激情网五月天| 超碰猛烈的性猛交| 99视频九九热| 人妻久热| 久久99网| 热热99爱爱| 五月丁香婷婷激情澎湃四射| 国产精品久久久久久久久久免费| 思思久久精品视频| 河北真实伦对白精彩脏话| 久久精品性爱视频,| 五月婷婷综合在线| www.综合久久.com| 26uuu精品一区二区| 久久精品五月| 亚洲丁香婷婷丁香五月天激情| 丁香五月婷婷国产在线| 色六月视频| 超碰在线caop| 五月丁香操亭亭网| 精品欧美一区二区三区久久久| 色七色九九| 五月综合激情网| 亚洲AV成人片无码网站| 六月婷婷综合| 久久婷婷色| 26uuu淫色| 超级碰碰视频无码| 另类在线免费视频| 九九亚洲| 久热只有精品| 狠狠色噜噜狠狠狠狠狠色综合久久| 五月丁香激情综合啪啪| 激情综合五月| 99在线小视频| 天天干在线播放| 伊人AV五月婷| 五月天激情网址| 久久九九网| 色激情综合| 啪啪综合| 丁香六月伊人| 深爱激情AV| 激情五月天的婷婷| 国产干逼片| 成人草榴视频| 99热1| 午夜成人天堂久久无码日韩久久| 亚洲激情综合| 国产精品久久久久久久久久免费| 婷婷色5月激情网| 九月大香蕉| 丝袜激情网| 亚洲欧美成人在线| 搡BBBB搡BBB搡五十| 日本成人噜噜噜噜噜| 激情五月天天| AA久久| 色婷婷基地| 少妇AB又爽又紧无码网站| 99精品7| 日韩精品在线观看9| 99色性爰网络| 午夜丁香婷婷| 色综合77777| www.狠狠| 狠狠色丁婷婷日日,伊人激情综合网 | www.五月天婷婷| www.99热| 婷婷五月天亚洲综合| 色婷婷四色| 一起草av| 99热精品在线播放| 婷婷五月综合婷婷| 卡视频1区2区| 色欲九区| 免费看欧美成人A片无码| 五月激情六月婷婷| 色频玖玖五月天| 玖玖婷婷色欲| www.夜夜操.com| 色婷婷五月天在线| 五月天大香蕉| 婷婷五月综合免费在线| 色色无码| 这里只有精品久久| 婷婷成人丁香色情基地30| 超碰伊人碰婷婷五月| 思思热视频在线观看| 五月涩涩网| 婷婷性爱网| 清纯唯美 激情四射| 色综合丁香婷婷| 久热这里精品免费| 婷婷五月天在线看| 日本WWW九九九| 日本熟妇乱妇熟色A片蜜桃| 激情五月五月婷婷| 天天色天天噜| 综合五月草| 97在线/日本| 色噜噜狠狠色综无码久久合欧美| 超碰成人av| 九九久久这里只有精品XB| 啪啪黄页网| 中字幕视频在线永久在线观看免费 | 91seav| 伦99热| 亚洲区视频| 五月丁香婷婷伊人日韩| 成人视频网| 五月激情婷婷综合| 久久 视频这里只有精总| 亚洲av综合网| 久久久久视剧HD| 亚洲激情在线| 欧美婷婷| 久9免费视频| 婷婷五月天免费| 亚洲乱码在线观看| 五月激情射| 2050人人操免费工开爱| 激情五月色综合网| 免费在线观看av网站| 亚洲五月婷婷| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 五月婷婷丁香91| 激情丁香婷婷| 99资源在线视频| 婷婷亚洲欧美丁香五月| 欧美色五月| 丁香五月综合狠狠| 99热这里只有精品98| 五月丁香在线偷拍视频| 少妇大叫太大太粗太爽了A片| 就要爱综合| 夜夜谢天天干| 国产无套精品一区二区| 人人操AV| 激情五月天com| 天天干天天插| 色五月婷婷在线| 97av在线视频| 精品无吗va视频免费观看| 成人网站免费sxj| 97碰在线视频| 婷婷九月激情| 在线观看亚洲视频影院| 一月婷婷色色| 91丨九色丨熟女丰满| 久久久香港| 久久婷婷五月综合一| 99热这里只有精品国产免费| 婷婷久久丁香五月| 婷婷丁香成人五月天| 亚洲色激婷| 久久婷婷影院| 9久国产精品| 噜噜吧天天爱| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 久久99jiu9| 岛囯综合激情网| 日本韩国视频在线观看社区免费的9| 激情文学综合婷婷五月天丁香花| 9色婷婷| www.久久色.com| 亚洲中文丁香| 九月综合| 欧美日韩123| 丁香五月综合婷婷| 99精品在线观看| 色婷婷视频在线| 99久视频| 国产一级视频a| 欧美大片免费观看| 婷久久综合| 在线99精品| 五月天激情四射网站| 99噜噜噜| 日本久久精品| 婷婷丁香第一页| 操逼福利视频| 五月丁六月香| 激情丁香六月| 99视频内射三四| 精品亚洲VA网站| 久久在线视频免费观看| 亚洲综合婷婷五月天| 99热个人在线| 五月婷婷视频| 成人电影AV在线观看| 黄网在线播放| 国产做爰视频免费播放| 综合网色综合| 久久色婷婷| 桃色五月天| 麻豆123区| 色综合色| 99热欧美在线观看| 五月丁香综合激情| 五月天 另类图片| 欧美三级视频下载| 五月天婷婷无码| 色色色综合视频| 9色91视频| www.久久av.com| 婷婷综合影院| 91九九| 六月色色婷婷| 吊色AV男人的天堂| 丁香五月天啪啪| 色婷婷五月综合网| 色婷婷色综合激情91| 久久久久久激情| 99久久精彩视频。| 亚洲第一av| 任你搞网站| 五月激激网w'w'w| 综合成人小说婷婷| 丁香五月婷婷色| 91久久久久久| peg 2区三区四区的| 五月丁香婷婷钟和色图| 亚洲色图五月丁香| 丁香八月综合激情| 免费人人操| 97人人草| 丁香五月激情网| 久久这里只有精品07| 人人操超碰| www.色9| 欧美色六月婷婷| 丁香五月天堂亚洲社区| 久久丁香| 天天爽,夜夜爽| WWW.婷婷五月天.COM| 性爱视频久久| 国产精品成人AV在线| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | www.久久99热地址发布| 色综合久久久无码中文字幕999| 综合九九久久| 五月天啪啪| 人妻在线中文字幕久久| 五月天久久婷婷| 婷婷丁香日韩五月| 日韩aaaaa| 婷婷五月综合网| 色婷婷在线视频久| 精品成人在线观看| 99在线一区| 天天日天天插| 九九综合伊人| 第五色色色婷婷| 99热精品在线播放观看| 久久女人天堂| 《久久综合九色综合97婷婷| 丁香五月激情婷婷| 8区视频在线| 婷婷五月天激情五月天深爱五月天| 丁香九月婷婷| 五月丁香自拍| 欧美婷婷精品激| 少妇AB又爽又紧无码网站| 色综合久久99色| 丁香六月婷婷一区二区三区| 日本片日本片祼观看网站在线看中文版网页在线看| 色综合综合网| 五月久久丁香| tingtingjiqingwuyue| 米奇影视资源婷婷狠狠色激情欧美五月丁香 | 人人爱操| 综合色图区| 天天综合五月天| 欧美五月丁香在线观看| 99超级超级超级碰| 日韩aaaaa| 天天干天天爽天天操| 热99视频精品在线| 欧美性色A片免费免费观看的 | 狠狠操婷婷| 日日夜夜天天综合| 日本久热| 丁香婷婷五月六月久久| 久久99精品久久久久久三级| 婷婷免费视频| 丁香六月成人| 婷婷无码视频| 内射激情在线| 五月丁香六月婷婷精品| 99九九综合久久九九| 色婷婷丁香社综合| 丁香五月123| 欧洲区自拍| 99ri6在线视频| 免费观看全黄做爰的视频| 欧洲色色| 嫩草AV久久伊人妇女超级A| www色色com| 狠狠色色| 亚洲最大成人综合网720P| 99热精品在线| 久久精品国产AV一区二区三区 | 日韩成人中文| 日本91在线播放| 九月丁香婷婷基地| 拍色综合| 97热在线精品| 99久在线精品99re8| 996re热精品视频| 婷婷干| 久久久av久av久片一区二区| 丁香情色五月| 久艹久| 一区二区三区四区牛| 在线色婷婷| 99热10在线高清播放| 婷婷五月天av| 影音先锋一区二区资源站 | 婷婷色播色五月五色五月天色妇| 激情婷婷五月久久| 婷婷五月天天天日日夜夜| 丁香五月婷婷无码AV| 国产夫妻操逼内射视频| 五月婷婷乱| 五月丁香无码视频| 大香蕉伊人爱在线| 日韩aaa| 少妇高潮呻吟A片免费看软件| 久久人妻熟女一区二区| 狠狠 久久| 丁香五月123| 亚洲精品中文字幕成人片| 9l视频自拍9l视频自拍九色学生| 国产色色在线| 天天五月情| 精品99在线| 国产激情综合五月久久| 色综啪啪啪啪啪啪| 久久WW| 五月色婷婷中文字幕| 色五月激情综合网| 丁香花社区av| 六月丁香色色| 婷婷丁香久久五月综合| 黄色毛片精品| 久久久性爱视频| 久久五月婷婷开心网| www,久久久| 日日肏天天操| 91丨九色丨熟女|新版| 97干在线| 五月激情影视| 五月婷婷与六月丁香图片激情| 亚洲 在线 另类| 五月婷婷丁香五月天| 看婷婷五月天网| av中文在线| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 人妻激情综合| 色色网站日本91| 婷婷五月av| 色狠狠999综合| 熟女91九色| 色色A| 婷婷色成人| 夜夜 操无码| 欧美婷婷色| 夜夜骑夜夜操| 97碰久久| 天天搞夜夜叫| 另类专区在线| 伊人五月综合网| 成人婷婷五月| 久久99网站| 99人人操人人爱久久久| 丁香五月亚洲婷婷| 六月丁香网| 丁香五月天堂网AV| 成年人99热| 五月婷婷色五月| 色99免费视频中文| 俺去也在线www色官网| 99视频这里有精品免费观看| 99热这里只有精品1025| 激情国产五月| 激情五月天小说网| 欧美 日韩 成人| 婷婷丁香五月六月激情| 日韩ac不卡无码| 我想看国产大学生口爆吞精的视频| 婷婷五月天网址| 99热这里| 丁香激情五月综合网| 丁香六月激情| 亚洲精久久| 中文字幕按摩做爰| 色色色干| 五月丁香亚洲婷婷| 夜夜做天天爽| 精品在线| 色五月婷婷中文字幕| 综合超碰熟| 99热这里都是精品| 婷婷在线精品| 九九人人精品| 婷婷激情图片| 日日操天天| 求可以看的AV网址| 久久九九99| 九色无码| 婷婷色基地在线看| 国产精品18久久久| 色综合色综合网| 婷婷 丁香 精品| 国产精品A片| 丁香激情合作五月| 中文字幕丁香五月| 热99精品视频在线观看| 国产亚洲在线观看| 五月婷婷深深的爱| 99热在线观看免费精品| 激情五月综合六月丁香婷婷狠狠干| 99精品国产在热久久婷婷| 激情AV中文| 99国产欧美视频| 五月丁香婷婷爱激情综合网| 99这里只有精品| 色五月aV| 综合 激情 婷婷| 色丁香影院| 热996精品在线观看| 色五月色图| 大香蕉啪啪网| 99婷婷| 天天综合亚洲综合| 久久视频在线视频| 色五月婷婷久久| 九月丁香| 96自拍视频九色在线观看| 精品国产一区二区三区四区阿崩 | 国产亚洲AV人片在线| 丁香婷婷成人网| 丁香五月婷婷激情蜜桃| 五月丁香六月婷综合成人综合 | 日本色婷婷| 色婷婷777狠狠| 婷婷香蕉视频| 国产熟女大叫受不了| 91狠狠综合网| 色丁香五月天射婷婷爱婷婷| 五月天无码视屏播放| 国产高清RV综合aVa| 丁香成人色情五月天| 婷婷五月婷| 亚洲色夜| 玖玖资源在线视频| 国产XXXX搡XXXXX搡麻豆| 久草热8精品视频在线观看| 97人人操人人插| 91熟妇大香蕉| 亚洲六月色婷婷| 久久久大香蕉| 婷婷基地成人五月天| 9999色色色色| 久久国产色| 九九综合九九| 日韩免费视频| 人妻操日日| 97操操操| 婷婷五月天,影院| ji'qi'luan'ren'lun| 99ri视频在线播放| caobi四区| 五月天激情美女久久| 亚洲AV网址| www婷婷亚洲| 久9热视频在线观看| 99热精品在线| 99ri精品视频在线观看| www色婷婷com| 日韩抽插操逼| 色综合久久44| 91啦丨九色丨刺激中文| AA丁香综合激情| 激情綜合W W W,激情五月天| 5月丁香婷婷| 开心五月色婷| 九色自拍| 丁香花操逼| 夫妇交换刺激做爰| 九色婷婷| 五月亭亭网成人在线视频| 五月丁香WWW| 亚洲操精品| 五月激情久久| 八戒青柠影视剧在线观看| 婷婷丁香激情综合色情| 五月婷婷网站| 久久伊人日日夜夜| 色色色色色热| 99热丁香五月| 第四色色六月色综合| 色婷婷丁香A片区毛片区女人区| 国产精品美女| 99视频只有精品| 综合五月激情网| 天天婷婷操| 婷婷久久网| 天天肏在线观看| 伊人99久久| 国产精自产拍久久久久久蜜| 婷婷丁香五月综合| 激情综合色网| 五月天婷婷基地综合网| 人人摸人人摸| 色丁香婷婷| 啪啪啪五月天| 亚洲婷婷五月草久| 五月天天天操天天爽夜夜操| 婷婷五月丁香啪啪| 九久久精品视频99| 九九偷拍网| 国外亚洲成AV人片在线观看| 另类少妇人与禽zOZZ0性伦| 日韩AAAAA| 五月婷婷激情网| 色色色色色色色色五月先| 日本婷婷| 国产精品国产| www.婷婷| 97婷婷狠狠| 五月丁香婷婷色色| 性色婷婷| 1024日韩| 激情五月天婷婷五月天| 色色五月天婷婷| 五月天婷婷基地综合网| 五月婷婷香| 香蕉久操| 情婷婷五月天在线| 99免费| 踪合专区啪啪| 国产婷婷色综合AV蜜臀AV| 国产真实乱了老女人视频| jiujiu热在线视频| 色婷婷色五月另类综合| 大香蕉五月天婷婷丁香91| 久99综合婷婷| 亚洲无线视频| 九九成人精品免费视频| 激情综合五月色在线| 激情五月综合色婷婷| 日本va视频| 国产婷婷五月天| 婷婷丁香五月亚洲17cao| www.婷婷六月天| 亚洲操精品| 五月婷婷六月丁香在线| 99视频精品| 伊人久久丁香狠狠婷婷综合香蕉 | 日韩人妻在线观看| 欧美日韩中文国产一区发布| 99视频精品视频| 狠狠色狠狠操| 亚洲1区| 操操啪| 色播六月| 67194国产| 2015好吊操| 久久亚洲激情五码| 久久丝丝热| 99热6这里只有精品6| 天天舔天天摸天天射| 色婷婷色婷婷五月| 99精品在线观看视频| 激情伊人五月天| 九九超碰人人| 99九九热视频| 熟女91九色| 五月丁香色婷婷久久| 久久婷婷五月综合成人d啪| 天天插天天射| 日韩狠狠色| 99热一区| 无码成人AAAAA毛片AI换脸| 五月激情视频网| 亚洲乱码日产精品BD| 另类小说五月天综合网| 韩国中文字幕91| 婷婷五月天色综合| 蜜乳AV成人| 欧美激情五月| jiuse91在线| 亚洲第一综合| 99九九精品| 色婷婷免费观看| 天天草天天爱| 久草大| 欧洲色区| 婷婷午夜激情| 欧美激情综合色综合啪啪五月| AV79| 激情文学综合婷婷五月天丁香花| 色婷婷情片| 97丁香五月| 狠狠搞五月天| 亚洲精品又粗又大又爽A片| 五月婷深深爱激情网| www.金莲av| 激情深爱五月天| 成人看片网站| 欧美顶级少妇做爰HD| 久久99性爱视频| 99爱爱网| 亚洲激情四射| 五月天狠狠草| 91视频人人做97| 天天操天天插| 欧美综合五月丁香五月天| 九九www| 99九九视频精彩在线| 日木狠狠干| 潘金莲AAAAAAAAAA| 狠狠干综合| 激情综合五月婷| 九九热视频精品999| 伊人五月天| 日韩色色小视频| 97人人妻人人艹| 五月婷在线| 久久性爱视频免费| 五月天婷婷综合色| 天天综合久久| 狠狠操天天操天天操| 热久91| 中文AV网| 婷婷夜夜操| 99热播放| 99精品视频播放| 97干免费视频| 五月天综合区| 91免费看片| 99色在线| 99久精品视频| 婷婷之六月丁香| 五月丁香激情怕怕| 丁香婷婷天堂| 日韩成人av在线| 色五月五月天| 婷婷午夜| 大香蕉操操| 人人摸人人| 秋霞网在线免费基地五月婷婷丁香| 色婷婷五月天天天天天天天天天| 婷婷五月天激情小说| 99啪啪视频| 久久99久久99精品免观看粉嫩| 五月婷婷色啪| 五月婷婷综合在线视频小说| 日日操夜夜操中国无码| 六月丁香婷婷五月| 欧美婷婷丁香社区在线播放| 久久99久久99精品免视看婷婷| 国产亚洲成AV人片在线观黄桃| 久久久久久xxxxx| 丁香五月天视频| 操操操操操操婷婷五月天| 丁香五月成人社区| 开心五月天私房婷婷| 婷婷九月| 99亚洲综合| 在线只有精品| 欧美色骚婷婷五月天| 日本熟妇乱妇熟色A片蜜桃| 狠狠va| 51精品国自产在线| 色婷婷丁香五月天激情综合网| 97精品人人A片免费看| 五月天激情无码高清| 亚洲va久久久噜噜噜久久天堂| 五月婷婷花| 丁J香六月首页| 可以免费观看的AV| 99超级碰碰| 天天肏视频| 婷婷的激情五月| 丁香六月天| 怡红院精品视频久久久久久久久| 激情综合网激情五月婷婷| 国产色99| 麻豆雪千夏| 激情AV在线| 精品99这里有| 99国产精品白浆在线观看免费| 亚洲 在线 性爱| 婷婷五月开心六月AV| www.日本91| 婷婷色中文字幕| 国产精品美女久久久久AV超清| 激情WWW| 在线观看视频1区| 亚洲激情另类| 久久久婷婷婷| 亚洲中文字幕在线观看| 伊人啪啪网| 九月婷婷激情| 99热最新网址| 五月婷婷婷婷网| 激情爱爱网站| 精品夜夜澡人妻无码AV| 久久久五月四色| 97黑人精品区| 婷婷五月成人| 色婷婷丁香| 精品成人在线观看| 99色婷婷视频| 99re在线观看视频| 爱穴久久| 91超碰在线观看| 入口五月婷婷六月香| 五月伊人91| 大香蕉九操| 久久老码第一| 亚洲啪啪精品| 99热都是精品| 国产高清精品色| 91se在线视频| 丁香婷婷成年| 黄网在线观看免费| 色婷婷丁香五月丁香| 亚州欧美黄色电影| 91se在线视频| 天天操夜夜肏| 亚洲操逼片| 狠狠插.com| 激情综合五月丁香| 五月丁香六月情婷婷久久| 欧美人人女女精品综合五月天| 九九热在线视频| 婷婷六月五月| wWwCom夜操wwW| 婷婷五月天首页激情| 久草热在线视频| 99色免费观看全部| 大香蕉综合网| 日韩成人电影av| 欧美日韩成人在线| 五月婷婷在线视频| 丁香成人综合| 丁香五月色五月| 中文字幕视频色婷婷| 六月丁香五月天| 99re视频精品| 一丁香五月天月AV| 九九热视频在线观看| 色色色婷婷五月天| 99re8这里只有精品99re8热视频| 久久怕怕视频| 激情小说五月天| 天天干天天日蜜臀av| 9色操| 伊人九九热| 天天肏夜夜肏| 99热最新国内| 婷婷五月情| 99re这里只有| 色噜综| 丁香五月天欧洲在线| 婷婷五月天网址| 日噜噜色| 国产SUV精品一区二区6| 91日韩在线| 亚洲啪啪网| 激情开心五月天婷婷基地丁香社区| 这里只有精品视频在线观看免费| 中文精品在| 丁香婷婷综合色五月激情国产基地| 大地9中文在线观看免费高清| 另类视频一区| 五日激情综合| 天天爱夜夜爽| 亚洲亚洲激情| 日本三级日本三级99| 狠狠色丁香久久| 伊人香大香蕉视频| 婷婷久久性爱| sisi热国产| 五月婷婷AV| 97香蕉碰碰人妻国产欧美| 日本人人超碰| 97久操视频| 深爱五月月天| 色色网五月激情| 日韩性视频| 亚洲综合色婷婷| 爱iii做iiii日日| 天堂资源欧日浪女在线播放| caobi四区| 色小说五月天| 青草五月天| 狠狠狠狠青草| 天天爱天天做天天日| 伊人六月丁香婷婷| 五月丁香综合激情网| 国产成人精品一区二三区熟女在线| 免费看欧美成人A片无码| 五月天婷婷丁香花| 婷婷爱综合| 丁香五月手机在线| 中文字幕人成乱码在线观看| 综合激情九月婷婷,激情综合婷婷中文字 | 午夜婷婷丁香| 中国激情网| 丁香五月天啪啪| 五月天色欧美| 干亚洲天堂| 九九99久久| 免费无码毛片一区二区A片| 99色.com| 天天 日综合| 99热爱爱干干日| 日碰日| 激情视频婷婷五月花| 永久精品| AA片在线观看视频在线播放| 久久久久久久久久91| 99国产性感视频| 亚洲狠狠婷婷| 丁香婷婷色九月| 九九色综合| 天天色天天爱天天舔| 激情五月天视频| 色五月中文网| 五月天婷婷婷| 99久久9| 欧美人妻一区二区| 精品夜夜澡人妻无码AV| 国产精产国品一二三在观看| 九九热AV| 久9综合| 97热在线精品| 九九色逼| 伊人狠狠狠综合| 人。妻久久| 播五月开心婷婷欧美综合| 国产一级片| 大战熟女丰满人妻AV| 欧美一级毛卡片无码| 五月丁香啪。| 天天五月丁香五月| 丁香婷婷五月六月天| 夜夜撸天天操| 色色色9| 三级黄色大片视频| 超碰五月婷婷五月天| 成年人夜夜喷水| 婷婷五月AA五月在线| 激情丁香五月激情婷婷| 久久色这里只有精品| 色狠狠色| 婷婷丁香综合网| 日韩啪图| 婷婷在线免费| 日韩在线aaa| 五月丁香无码| 99精品成人无码A片观看金桔| 九九精品少妇| 99熟女| 婷婷5月九九| 丝袜人妻| 久777| 内射综合网| 色婷婷丁香五月丁香| 婷婷久久精品| 狠狠精品干练久久久无码中文字幕| 五月天婷婷基地| 香蕉婷婷| 婷婷五月天渟渟| 丁香五月1页| 99热在线观看亚洲区| 九九久久99精品免费观看www| 日本女色人人| 婷婷五月丁香啪啪| 噜噜噜噜在线| 五月丁香六月激情欧美综合| 色色热日| 免费AV播放| 色五月丁香五月婷婷五月成人网| 久久怕怕视频| 综合五月丁香六月婷婷| 六月丁婷婷| 99热久草| 人人操超碰| 丁香五月WWW| 六月婷婷网| 激情啪啪五月| 久久久婷丁香五月| 97久久视频| 播五月,色五月,开心五月播放器| 91夫妻视频| 狠狠色狠狠干| 欧美久久网| 丁香五月婷婷高清| 天天艹天天色| 成人看片网站| 91日综合欧美| 99久久成人| 99热都是精品| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 综合网啪| 久久日本wwww色| 天天干天天干天天干天天干天天干天天 | 天天综合五月天| 日本久久爱| 国产精品久久久久久久久久久久| 日韩一级A片黄色| 狠狠干,狠狠操| 色级停停| 婷婷六月激情啪啪| 日韩黄黄| 欧美色图天堂网色| 五月丁香婷婷三级| 国产成人精品一区二三区熟女在线| 丁香九月婷婷综合| 五月天停婷基地| 丁香婷婷婷| 亚洲色五月| 欧美婷婷日本| WWW·色色色·COM| 泰州成人视频| 五月天婷婷基地| 久热超碰| 热99精品视频五月| 国产精品色婷婷久久久精品| http://www.lingjunshare.com/| 婷婷丁香五月综合| 丁香成人五月天| 99操碰| 外国碰视频网站97| 婷婷五月丁香91| 九九re视频在线视频| 免费不卡狠操美女视频网| 五月婷婷激情网| 精品视频这里只有精品| 丁香五月电影| 91婷婷丁香五月天免费视频网站| 成人短视频在线免费观看| 欧亚中文A V| 天天日综合| 久久9999| 欧美丁香婷婷五月天| 高清免费在线视频| 久色欧美| 五月丁香久久色| 午夜色丁香| 国产亚洲99久久精品熟| 久色欧美| 五月婷婷六月综合| 26UUU欧美激情一区二区| 金品在线视频99| 日韩色久| 伊人91| 国产精品a无线| 久久er+| 狠狠干最新地址| m色激情网| 涩玖玖免费视频| 五月综合婷婷五月| 亚洲人人操| 丁香婷婷六月天| 99久re热视频精品98| 国产综合网在线| 婷婷va| 香蕉综合在线| 五月在线婷色| 成人无码髙潮喷水A片| 色五月 激情婷婷 综合五月天| 92久久精品一区二区| 五月天婷婷中文字幕在线播放| 婷婷五月综合社区在线| 色欲色香综合网| 免费啪啪亚州视频| 国产精品久久久久久白浆色欲| 玖玖综合玖玖| 成人网在线视频| 思思99热这里只有精品| 婷婷五月天av| www.五月天婷婷.com| 无码人妻AV久久久一区二区三区| 综合图区激情| 午夜成人在线免费视频| se99视频| 日日干夜夜撸夜夜骑| 成人五月天。COM| 成人网站免费在线播放| 久久XX| 亚洲乱码日产精品BD| 99热这里只有精品国产精品| 六月丁香色色| 色色国产| 五月成人网天天| 五月香蕉网| 婷婷五月婷婷| 精品国产va久久久| 激情啪啪五月天| 日本三级日本三级99| 密臀久久| 无码髙清| 野战J办公桌椅H| nvrentiantang av| 国产在线中文字幕| 色135综合网|