欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

AlexNet網(wǎng)絡(luò)結(jié)構(gòu)逐層拆解與PyTorch實戰(zhàn)

AlexNet網(wǎng)絡(luò)結(jié)構(gòu)逐層拆解與PyTorch實戰(zhàn) 前幾天有個剛?cè)腴T的朋友問我都這個年代了YOLO系列已經(jīng)迭代到v11Transformer在各種任務(wù)上橫掃榜單再回頭啃一個2012年的AlexNet網(wǎng)絡(luò)結(jié)構(gòu)是不是有點浪費時間我當(dāng)時沒直接回答而是讓他先說說AlexNet里第一個卷積層的卷積核尺寸是多少、步長是多少、輸出特征圖是多大——他卡住了。這個場景我見過太多次很多人上手就是調(diào)庫、跑demo模型能訓(xùn)起來但對網(wǎng)絡(luò)結(jié)構(gòu)內(nèi)部的信息流動毫無概念一旦遇到shape不匹配或者想改結(jié)構(gòu)就徹底懵掉。AlexNet恰恰是解決這個問題的最佳切口它的網(wǎng)絡(luò)結(jié)構(gòu)足夠簡單直白五層卷積加三層全連接沒有任何花哨的殘差連接或者注意力機(jī)制每一層的張量形狀都能手算出來。這份內(nèi)容我會帶著你把AlexNet網(wǎng)絡(luò)結(jié)構(gòu)從頭到尾拆一遍再用PyTorch把網(wǎng)絡(luò)結(jié)構(gòu)的實現(xiàn)完整寫出來順帶把訓(xùn)練里踩過的坑和排查思路一起交代清楚。不管你是剛學(xué)完P(guān)yTorch張量基礎(chǔ)想找個完整項目練手還是已經(jīng)能跑通pytorch官方的分類示例、但對底層結(jié)構(gòu)一知半解這份內(nèi)容都值得你花時間讀完。1. 2012年的AlexNet放到今天到底還值不值得啃1.1 它在深度學(xué)習(xí)歷史上的坐標(biāo)位置2012年的ImageNet大規(guī)模視覺識別挑戰(zhàn)賽上AlexNet拿下了top-5錯誤率15.3%的成績而那一年的第二名錯誤率是26.2%差了將近11個百分點。這個差距在競賽語境下是碾壓級別的也正是從這一年開始卷積神經(jīng)網(wǎng)絡(luò)正式取代了以SIFT、HOG特征加SVM分類器為主的傳統(tǒng)視覺方案成為圖像識別的主流路線。這個成績背后有兩個當(dāng)時看來非常奢侈的條件一是120萬張帶標(biāo)注的訓(xùn)練圖片二是兩塊GTX 580顯卡提供的算力。前者讓模型有足夠的樣本去學(xué)習(xí)后者讓研究者第一次能把一個6000萬參數(shù)的深層網(wǎng)絡(luò)真正訓(xùn)起來。我一直覺得理解AlexNet的歷史處境比記住它的結(jié)構(gòu)更重要。那個年代顯存只有3GB一塊卡根本放不下整個網(wǎng)絡(luò)所以論文里才出現(xiàn)了分組卷積這種把網(wǎng)絡(luò)切成兩半、分別放在兩塊卡上跑的設(shè)計。今天你在PyTorch里寫groups2只需要一個參數(shù)但當(dāng)年這是一個被硬件逼出來的工程妥協(xié)。搞明白這一點你看后面的ResNet、Inception、DenseNet這些結(jié)構(gòu)演進(jìn)時就能理解每一個設(shè)計決策背后的約束條件是什么而不是死記硬背網(wǎng)絡(luò)結(jié)構(gòu)圖。1.2 手寫一遍和直接調(diào)torchvision的區(qū)別torchvision.models.alexnet(pretrainedTrue)這行代碼三秒鐘就能給你一個能用的模型那我為什么還建議你手寫一遍原因很直接調(diào)庫版本和你手寫的版本在細(xì)節(jié)上是有差異的而這些差異恰恰是理解網(wǎng)絡(luò)結(jié)構(gòu)的關(guān)鍵。torchvision里的AlexNet為了適配224×224的輸入和現(xiàn)代訓(xùn)練習(xí)慣把第一層的64個卷積核改成了64原論文是96并且在分類器前面加了一個AdaptiveAvgPool2d。你要是直接拿這個版本去對照論文里的結(jié)構(gòu)圖會發(fā)現(xiàn)對不上號然后就開始懷疑自己是不是看錯了資料。手寫一遍還有個隱性收益你會被迫去算每一層的輸出尺寸。我見過太多人寫網(wǎng)絡(luò)時把卷積層堆在一起最后一個Linear層的輸入維度靠試錯湊出來報錯了就改數(shù)字改到不報錯為止。這種寫法在簡單網(wǎng)絡(luò)上能蒙對但一旦網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜一點或者你想插入一個新的模塊就徹底玩不轉(zhuǎn)了。自己動手推一遍(H 2p - k) / s 1這個公式把每一層的輸出形狀寫在紙上這個習(xí)慣的價值遠(yuǎn)超一次性的代碼復(fù)現(xiàn)。2. 拆解網(wǎng)絡(luò)結(jié)構(gòu)從227×227到1000類的那條鏈路2.1 輸入尺寸的爭論227還是224這里有個很多人忽略的細(xì)節(jié)。原始論文里寫的輸入是227×227×3但你在各種教程和開源實現(xiàn)里看到的輸入尺寸經(jīng)常是224×224包括PyTorch官方版本用的也是224。這不是誰抄錯了而是歷史遺留問題。227這個數(shù)字的來源是這樣的ImageNet的原始圖片尺寸不一論文里先把圖片縮放到256×256然后隨機(jī)裁剪出224×224的區(qū)域送進(jìn)網(wǎng)絡(luò)。但227×227這個數(shù)字出現(xiàn)在論文的表格里是因為當(dāng)時那個表格統(tǒng)計的是不同的輸入設(shè)定。真正影響你實現(xiàn)的是你選227還是224會直接決定后面所有層的張量形狀。選227的話第一層卷積輸出是56×56選224的話輸出是55×55。聽起來只差1但經(jīng)過三次池化之后227路線得到的特征圖是6×6224路線得到的是6×6因為(55-3)/21 27再經(jīng)過兩層池化變13再池化變6兩者最終都能對上9216這個全連接輸入維度。所以兩種輸入在PyTorch里都能跑通這也是為什么大家不太在意這個差別。提示如果你打算加載預(yù)訓(xùn)練權(quán)重務(wù)必用224×224的輸入因為預(yù)訓(xùn)練權(quán)重是在這個尺寸下訓(xùn)練出來的。用227去加載雖然形狀能對上但特征分布會有細(xì)微偏移精度會掉一點。2.2 逐層形狀推演與手算過程我把整個前向傳播的形狀變化整理成了一張表你對照著看會非常清楚每一步發(fā)生了什么。卷積輸出尺寸的計算公式是out floor((in 2 * padding - kernel_size) / stride) 1池化層同理。層名操作卷積核/窗口步長填充輸出形狀輸入----3×227×227conv1卷積11×11, 964296×56×56pool1最大池化3×32096×27×27conv2卷積分組25×5, 25612256×27×27pool2最大池化3×320256×13×13conv3卷積3×3, 38411384×13×13conv4卷積分組23×3, 38411384×13×13conv5卷積分組23×3, 25611256×13×13pool3最大池化3×320256×6×6flatten展平---9216fc1全連接---4096fc2全連接---4096fc3全連接---1000拿第一層舉例手算過程是(227 2*2 - 11) / 4 1 220 / 4 1 55 1 56。注意這里220除以4正好是55是整除的所以沒有向下取整的損失。第二層的池化(56 - 3) / 2 1 26.5 1這里必須向下取整成26所以結(jié)果是27。這個取整操作是最容易出錯的地方PyTorch默認(rèn)的floor行為和論文一致但你自己手算的時候要記得取整。2.3 分組卷積被顯存逼出來的巧妙設(shè)計分組卷積這個概念在今天看來有點陌生因為現(xiàn)在顯存動輒24G、80G很少有人還需要靠拆分網(wǎng)絡(luò)來塞進(jìn)顯卡。但在AlexNet那個年代這是必需的。具體做法是把卷積核和輸入通道都分成兩組每組只處理自己那一半的輸入通道兩組之間不通信最后把輸出拼接起來??催@張對比表會更直觀層是否分組每組輸入通道每組輸出通道實際意義conv1否396輸入通道太少分不了conv2是48128兩塊卡各算一半conv3否256384跨組連接信息融合conv4是192192再次分組conv5是192128輸出前最后一次分組conv3這一層特別有意思它是唯一一個把兩組信息重新連通的卷積層。前兩層分組算完之后如果繼續(xù)分組下去兩組特征就永遠(yuǎn)不交流了模型的表達(dá)能力會嚴(yán)重受限。所以論文在中間插了一個不分組的conv3把256個輸入通道全部連接起來做一次信息融合然后再分組往下走。這個設(shè)計思路其實和后來Inception里的分支融合、ResNet里的殘差連接有異曲同工之處都是在解決分支之間如何交流這個問題。2.4 參數(shù)量分布6000萬參數(shù)都藏在哪我算了一下每一層的參數(shù)量結(jié)果非常顛覆直覺層權(quán)重參數(shù)量占總參數(shù)比例conv134,8480.06%conv2307,2000.50%conv3884,7361.45%conv4663,5521.09%conv5442,3680.73%fc137,748,73661.9%fc216,777,21627.5%fc34,096,0006.7%五個卷積層加起來只有233萬參數(shù)占總量的3.8%而三個全連接層吃掉了剩下的96%。這個數(shù)據(jù)我第一次算出來的時候也愣了一下。原因在于卷積層的權(quán)重是共享的一個11×11×3的卷積核掃過整張圖參數(shù)量只有363個而全連接層每個神經(jīng)元都要和上一層的每一個輸出相連9216×4096這一層就堆了3775萬個參數(shù)。這個發(fā)現(xiàn)直接解釋了AlexNet為什么容易過擬合、為什么dropout這么關(guān)鍵。論文在前兩層全連接后都加了dropout概率0.5就是為了壓住這部分參數(shù)量帶來的過擬合風(fēng)險。后來的網(wǎng)絡(luò)結(jié)構(gòu)演進(jìn)中全連接層被逐步削減直到ResNet之后基本被全局平均池化替代本質(zhì)上就是在解決參數(shù)冗余的問題。3. PyTorch落地實現(xiàn)一份能直接跑通的代碼3.1 環(huán)境準(zhǔn)備與版本選擇先把環(huán)境弄干凈。我的習(xí)慣是用conda單獨建一個環(huán)境避免和系統(tǒng)的Python環(huán)境互相污染conda create -n alexnet python3.10 -y conda activate alexnet現(xiàn)在裝PyTorch。這里有個高頻的踩坑點不要直接pip install torch那樣裝到的可能是CPU版本也可能因為源的問題裝到和你的CUDA不匹配的版本。先查一下你的CUDA版本nvidia-smi假設(shè)輸出顯示CUDA Version是12.1那就裝對應(yīng)的版本pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121如果你機(jī)器上根本沒有NVIDIA顯卡或者只想先在CPU上把結(jié)構(gòu)跑通那就用pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu裝完之后一定要驗證一下import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0) if torch.cuda.is_available() else CPU only)注意如果這里報了OSError: [WinError 1114] 動態(tài)鏈接庫(DLL)初始化例程失敗絕大多數(shù)情況下是VC運行庫缺失去裝一個微軟的Visual C Redistributable就能解決。還有一種可能是conda環(huán)境和pip混裝導(dǎo)致的DLL沖突這時候最簡單粗暴的辦法是刪掉環(huán)境重建全程只用pip裝PyTorch。關(guān)于anaconda和PyCharm的配合我個人的建議是不要在PyCharm里創(chuàng)建虛擬環(huán)境而是在終端里用conda建好環(huán)境然后在PyCharm的項目解釋器設(shè)置里指向這個環(huán)境的python.exe。這樣環(huán)境管理會清晰很多換編輯器的時候環(huán)境照樣能用。3.2 從零搭建網(wǎng)絡(luò)層下面這份代碼是忠實還原論文結(jié)構(gòu)的版本包括分組卷積import torch import torch.nn as nn class AlexNet(nn.Module): def __init__(self, num_classes1000): super(AlexNet, self).__init__() self.features nn.Sequential( # conv1: 3 - 96, 11x11, stride 4, pad 2 nn.Conv2d(3, 96, kernel_size11, stride4, padding2), nn.ReLU(inplaceTrue), nn.MaxPool2d(kernel_size3, stride2), # conv2: 96 - 256, 5x5, groups2 nn.Conv2d(96, 256, kernel_size5, padding2, groups2), nn.ReLU(inplaceTrue), nn.MaxPool2d(kernel_size3, stride2), # conv3: 256 - 384, 3x3, 跨組連接 nn.Conv2d(256, 384, kernel_size3, padding1), nn.ReLU(inplaceTrue), # conv4: 384 - 384, groups2 nn.Conv2d(384, 384, kernel_size3, padding1, groups2), nn.ReLU(inplaceTrue), # conv5: 384 - 256, groups2 nn.Conv2d(384, 256, kernel_size3, padding1, groups2), nn.ReLU(inplaceTrue), nn.MaxPool2d(kernel_size3, stride2), ) self.classifier nn.Sequential( nn.Dropout(p0.5), nn.Linear(256 * 6 * 6, 4096), nn.ReLU(inplaceTrue), nn.Dropout(p0.5), nn.Linear(4096, 4096), nn.ReLU(inplaceTrue), nn.Linear(4096, num_classes), ) def forward(self, x): x self.features(x) x torch.flatten(x, 1) x self.classifier(x) return x這份代碼里有幾個地方值得單獨說。inplaceTrue這個參數(shù)是省顯存的小技巧ReLU直接修改輸入張量而不新建一個在顯存緊張的場景下能省下不少空間代價是副作用會覆蓋原始輸入調(diào)試時看不到激活前的值。torch.flatten(x, 1)里的1表示從第1維開始展平保留batch維度這是最容易寫錯的地方寫成torch.flatten(x)會把batch也拍平后面全連接層的維度就對不上了。3.3 權(quán)重初始化與形狀自檢AlexNet論文里給了一個明確的初始化方案權(quán)重用均值為0、標(biāo)準(zhǔn)差0.01的高斯分布第二、四、五層卷積和全連接層的偏置初始化為1其余層的偏置初始化為0。這個偏置為1的細(xì)節(jié)是為了給ReLU提供正輸入避免大量神經(jīng)元在訓(xùn)練初期就死掉。def init_weights(m): if isinstance(m, nn.Conv2d) or isinstance(m, nn.Linear): nn.init.normal_(m.weight, mean0.0, std0.01) if m.bias is not None: nn.init.constant_(m.bias, 0) model AlexNet(num_classes1000) model.apply(init_weights) # 把第二、四、五層卷積和全連接層的bias置為1 for name, module in model.named_modules(): if name in [features.3, features.8, features.10, classifier.1, classifier.4]: nn.init.constant_(module.bias, 1)寫完一定要做形狀自檢這里一個小技巧就夠用x torch.randn(1, 3, 227, 227) out model(x) print(out.shape) # 期望 torch.Size([1, 1000]) # 統(tǒng)計參數(shù)量 total sum(p.numel() for p in model.parameters()) print(fTotal params: {total:,}) # 期望約 61,000,000 上下如果形狀報錯用逐層打印的方式定位x torch.randn(1, 3, 227, 227) for i, layer in enumerate(model.features): x layer(x) print(flayer {i}: {layer.__class__.__name__} - {x.shape})這個方法比看報錯信息快得多一眼就能看出是哪一層開始對不上的。3.4 分組卷積在PyTorch里的寫法與幾個細(xì)節(jié)groups2這個參數(shù)看起來簡單但有幾個約束條件必須記住輸入通道數(shù)和輸出通道數(shù)都必須能被groups整除。conv2里輸入96除以2得48輸出256除以2得128都整除沒問題。如果你手改網(wǎng)絡(luò)結(jié)構(gòu)時把輸出通道改成255程序會直接報錯。第一層為什么不能分組因為輸入只有3個通道3除以2不是整數(shù)PyTorch會直接拋異常所以那些Caffe版本里第一層帶分組參數(shù)的配置在PyTorch里需要把輸入先復(fù)制成兩份6通道這顯然不劃算官方實現(xiàn)也就放棄了。分組卷積的一個副作用是組間信息不流通。如果你在兩層分組卷積之間不插入不分組層模型相當(dāng)于在并行訓(xùn)練兩個獨立的子網(wǎng)絡(luò)表達(dá)能力會明顯下降。這就是為什么conv3必須存在。你在自己改結(jié)構(gòu)做實驗的時候如果打算用分組卷積來減少參數(shù)量一定要規(guī)劃好哪一層做融合否則精度會掉得很厲害。4. 訓(xùn)練側(cè)的調(diào)參經(jīng)驗與論文超參對比4.1 論文里的超參數(shù)還原論文給的訓(xùn)練配置在今天的代碼里需要做一些調(diào)整才能復(fù)現(xiàn)。我把關(guān)鍵參數(shù)整理如下超參數(shù)論文取值現(xiàn)在復(fù)現(xiàn)的建議優(yōu)化器SGDSGD暫時不用Adam動量0.90.9權(quán)重衰減0.00050.0005batch size128128顯存不夠降到64初始學(xué)習(xí)率0.010.01學(xué)習(xí)率衰減驗證誤差不降時除以10ReduceLROnPlateau訓(xùn)練輪數(shù)約90輪視數(shù)據(jù)集而定dropout0.50.5這里有個細(xì)節(jié)論文里用了一個手動觸發(fā)的學(xué)習(xí)率衰減策略當(dāng)驗證集錯誤率不再下降時把學(xué)習(xí)率除以10。在PyTorch里我一般用ReduceLROnPlateau來實現(xiàn)optimizer torch.optim.SGD(model.parameters(), lr0.01, momentum0.9, weight_decay5e-4) scheduler torch.optim.lr_scheduler.ReduceLROnPlateau( optimizer, modemin, factor0.1, patience3, verboseTrue)每輪訓(xùn)練結(jié)束后調(diào)用scheduler.step(val_loss)它就會自動判斷要不要降學(xué)習(xí)率。patience3表示驗證損失連續(xù)3輪不下降就降一次。另外論文里提到LRN層局部響應(yīng)歸一化用在conv1和conv2之后但我在實際復(fù)現(xiàn)時基本都省略掉了。原因是LRN對精度的提升很小論文里說貢獻(xiàn)了1.4%的top-1而計算開銷不小后來的BatchNorm在這方面的效果全面碾壓LRN。如果你想忠實還原加兩行nn.LocalResponseNorm(size5, alpha1e-4, beta0.75, k2.0)也行但沒必要。4.2 數(shù)據(jù)增強與歸一化的實際做法論文的數(shù)據(jù)增強方案有兩塊一是隨機(jī)裁剪加水平翻轉(zhuǎn)二是PCA顏色抖動。第二塊在今天的實現(xiàn)里基本被顏色抖動ColorJitter替代了效果差不多但實現(xiàn)簡單得多。from torchvision import transforms train_transform transforms.Compose([ transforms.Resize(256), transforms.RandomCrop(224), transforms.RandomHorizontalFlip(), transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) val_transform transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ])驗證集用CenterCrop而不是RandomCrop這是為了評估的穩(wěn)定性和可復(fù)現(xiàn)性。歸一化用的這組均值方差是ImageNet的統(tǒng)計值如果你換了自己的數(shù)據(jù)集最好重新統(tǒng)計一下尤其是醫(yī)學(xué)影像或者工業(yè)質(zhì)檢這類和自然圖像分布差異很大的場景直接套用ImageNet的歸一化參數(shù)會讓訓(xùn)練初期很不穩(wěn)定。4.3 學(xué)習(xí)率調(diào)度與優(yōu)化器選擇我知道你可能想問為什么不用Adam。我的答案很直接在AlexNet這種結(jié)構(gòu)上SGD加動量訓(xùn)練出來的模型泛化性通常更好尤其是配合dropout和權(quán)重衰減的時候。Adam收斂快但容易在小數(shù)據(jù)集上過擬合而且對權(quán)重衰減的處理方式和SGD不一樣你需要重新調(diào)超參。如果你只是想快速驗證結(jié)構(gòu)能不能跑通用Adam也無妨但如果是要認(rèn)真復(fù)現(xiàn)一個結(jié)果老老實實用SGD。還有一個高頻問題batch size能不能改。能改但學(xué)習(xí)率要跟著調(diào)。經(jīng)驗法則是batch size翻倍學(xué)習(xí)率也翻倍左右線性縮放規(guī)則。比如你把batch size從128降到64學(xué)習(xí)率可以從0.01降到0.005。這是粗略估計實際還要看你的數(shù)據(jù)集大小和訓(xùn)練輪數(shù)。如果你的數(shù)據(jù)集很小比如只有幾千張圖我建議直接加載預(yù)訓(xùn)練權(quán)重然后微調(diào)而不是從頭訓(xùn)。凍結(jié)前面幾層卷積、只訓(xùn)練后面的分類器是個常用的做法for name, param in model.named_parameters(): if features in name: param.requires_grad False這樣訓(xùn)練速度快很多顯存占用也小幾百張圖就能拿到不錯的效果。5. 踩坑實錄那些報錯信息和它們的解法5.1 形狀不匹配的排查套路最常見的報錯就是RuntimeError: mat1 and mat2 shapes cannot be multiplied出現(xiàn)在全連接層。根因八成是卷積輸出展平后的維度和nn.Linear的輸入維度對不上。排查順序是這樣的先確認(rèn)輸入圖片尺寸對不對再逐層打印卷積輸出形狀最后反推全連接層應(yīng)該填多少。我在3.3節(jié)給的那個逐層打印方法在這里特別好用比盯著報錯信息瞎猜高效得多。還有個隱蔽的坑是AdaptiveAvgPool2d。如果你從torchvision的AlexNet源碼里抄了一部分可能會帶上這個層它會讓特征圖自動縮放到指定尺寸從而掩蓋輸入尺寸不匹配的問題。用起來方便但你就不清楚真實的特征圖尺寸是多少了。學(xué)習(xí)階段我建議先不要用它等你能把固定尺寸的流程跑通了再說。5.2 分組卷積相關(guān)的報錯ValueError: in_channels must be divisible by groups這個報錯就是因為通道數(shù)不能被整除。改通道數(shù)的時候記住這個約束。另一個容易忽略的點是權(quán)重加載。如果你手寫的分組版本想去加載torchvision的預(yù)訓(xùn)練權(quán)重會直接失敗因為torchvision版本沒有分組對應(yīng)的參數(shù)張量形狀完全不一樣。這種情況要么放棄加載權(quán)重要么手動寫一個映射腳本把官方權(quán)重的通道切分成兩半填進(jìn)去工作量不小。5.3 顯存爆炸與batch size選擇AlexNet那6000萬參數(shù)里有9600萬是發(fā)生在全連接層的中間激活值上9216×128這個中間張量如果batch size是128單個樣本就是9216個float乘以4096個輸出顯存占用很容易爆。如果你在4G或6G顯存的卡上跑把batch size降到32甚至16是必須的。另外可以開啟混合精度訓(xùn)練來省顯存from torch.cuda.amp import autocast, GradScaler scaler GradScaler() with autocast(): output model(images) loss criterion(output, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()混合精度大概能把顯存占用降到原來的六成左右訓(xùn)練速度也能提升代價是數(shù)值精度略有損失對分類任務(wù)來說基本無感。5.4 訓(xùn)練不收斂的幾種典型癥狀訓(xùn)練不動、loss一直卡在高位通常有幾個原因。學(xué)習(xí)率太大導(dǎo)致loss震蕩甚至發(fā)散這時候把學(xué)習(xí)率降一個數(shù)量級試試權(quán)重初始化不合理導(dǎo)致梯度爆炸或消失尤其是如果忘了做初始化、用了PyTorch默認(rèn)的Kaiming初始化而不是論文里的0.01標(biāo)準(zhǔn)差高斯前幾輪的loss曲線會很難看數(shù)據(jù)沒有做歸一化輸入值域在0-255之間梯度會非常大收斂幾乎不可能還有一種情況是標(biāo)簽出錯比如分類任務(wù)的標(biāo)簽從1開始而不是從0開始CrossEntropyLoss會直接報越界或者給出錯誤結(jié)果。我把常見問題和排查方向整理成了一張表癥狀可能原因排查動作loss不下降學(xué)習(xí)率過大降一個數(shù)量級重試loss變NaN梯度爆炸加梯度裁剪、檢查學(xué)習(xí)率訓(xùn)練準(zhǔn)但驗證差過擬合加大dropout、加數(shù)據(jù)增強顯存不足batch太大降batch、開混合精度形狀報錯輸入尺寸或通道不匹配逐層打印張量形狀加載權(quán)重失敗結(jié)構(gòu)不一致分組、通道數(shù)對比參數(shù)形狀逐層檢查注意遇到報錯不要第一反應(yīng)就是改代碼先把報錯信息完整讀兩遍。PyTorch的報錯信息其實寫得很詳細(xì)往往直接點出了是哪一層、哪個維度出了問題只是很多人看到紅色就慌了。5.5 一個容易被忽視的評測細(xì)節(jié)訓(xùn)練完最后一輪的時候一定要用model.eval()切換到評估模式同時用torch.no_grad()包住推理過程。前者讓dropout和BatchNorm進(jìn)入評估行為后者禁止梯度計算從而省顯存。很多人忘了model.eval()結(jié)果驗證精度比實際低了十幾個點還以為模型沒訓(xùn)好排查半天才發(fā)現(xiàn)是這個開關(guān)沒切。這個坑我踩過不止一次現(xiàn)在寫訓(xùn)練腳本第一件事就是把評估模式的代碼塊寫好訓(xùn)練循環(huán)里復(fù)制粘貼。6. 從AlexNet延伸出去的一些想法6.1 LRN為什么被淘汰了LRN這個層在AlexNet里做了局部響應(yīng)歸一化思路是讓相鄰?fù)ǖ乐g形成側(cè)向抑制模擬生物神經(jīng)元的競爭機(jī)制。但后來的實踐發(fā)現(xiàn)它的收益有限計算開銷卻不小而且BatchNorm在歸一化這件事上做得更徹底、更穩(wěn)定。BatchNorm是在一個batch內(nèi)對每個通道做標(biāo)準(zhǔn)化直接解決了內(nèi)部協(xié)變量偏移問題效果遠(yuǎn)好于LRN。現(xiàn)在你看任何一個現(xiàn)代網(wǎng)絡(luò)都找不到LRN的影子了。這個案例說明一個問題不是所有論文里的設(shè)計都值得保留理解它存在的原因和它被替代的原因比記住它的公式更重要。6.2 結(jié)構(gòu)演進(jìn)的一條線索從AlexNet往后看網(wǎng)絡(luò)結(jié)構(gòu)演進(jìn)有一條很清晰的線索減少全連接層的參數(shù)、增加卷積層的深度和復(fù)雜度、引入跨層連接。VGG把卷積核統(tǒng)一成3×3并堆到19層參數(shù)依然龐大ResNet用殘差連接把網(wǎng)絡(luò)推到上百層同時用全局平均池化干掉了大部分全連接參數(shù)到了MobileNet這類輕量網(wǎng)絡(luò)干脆用深度可分離卷積把參數(shù)量壓到極致。而YOLO這類檢測網(wǎng)絡(luò)backbone的設(shè)計思路其實就是在分類網(wǎng)絡(luò)的基礎(chǔ)上做剪裁和改造AlexNet的那套卷積加池化的堆疊方式,在YOLO的早期版本里還能看到影子。理解這條線索的好處是你學(xué)新網(wǎng)絡(luò)的時候不會覺得是全新的東西。看到Y(jié)OLOv11的網(wǎng)絡(luò)結(jié)構(gòu)你能認(rèn)出哪些部分是繼承自經(jīng)典分類網(wǎng)絡(luò)的backbone思想哪些部分是針對檢測任務(wù)做的專門設(shè)計。這種遷移能力靠死記硬背是練不出來的一定要從最基礎(chǔ)的結(jié)構(gòu)開始一行行地推。6.3 我個人的一些實踐體會我剛開始學(xué)深度學(xué)習(xí)那陣子也犯過和開頭那個朋友一樣的錯誤覺得老網(wǎng)絡(luò)過時了不值得看。后來做項目的時候遇到一個網(wǎng)絡(luò)結(jié)構(gòu)改不動的情況回頭把AlexNet重新推了一遍才發(fā)現(xiàn)問題在于自己一直沒建立起張量形狀在層間怎么流動的直覺。這個直覺建立起來之后改任何網(wǎng)絡(luò)都不慌了不管是插入一個注意力模塊還是替換backbone都能快速定位到需要改哪一層的參數(shù)。如果你正在學(xué)PyTorch我的建議是把AlexNet當(dāng)做一個解剖標(biāo)本自己從頭到尾寫一遍、跑一遍、改一遍。改什么都可以把卷積核尺寸改小、把分組數(shù)量改成4、把全連接層換成全局平均池化看看輸出形狀怎么變、精度怎么變。這種折騰帶來的理解深度是看十篇教程也換不來的。等你把這個網(wǎng)絡(luò)吃透了再去看那些復(fù)雜的結(jié)構(gòu)會發(fā)現(xiàn)它們不過是同一套基本操作的組合和變體沒你想的那么可怕。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99re免费精品视频| 久久人妻系列| 第四色色六月色综合| 天天檫天天爽| WWW.激情| 色伊人啪| 亚洲精品视频在线| 亚洲啪啪视频| 色色色色色色网站| 亚洲小视频免费看| 97在线日本| 99在线精品观看99| 五月激情六月宗合| 欧美日韓成人亚洲精品另类| 中文字幕在线免费| 玖玖婷婷精品| 日本在线观看aaa 99| 99热老司机| 五月综合激情综合久| 超碰日韩成人| 乱精品一区字幕二区| 婷婷五月天免费视频| 亚洲精品99| 无码字幕中文| 思思9久久| 无码橾| 开心四月婷婷在线色播播| 97婷婷丁香五月天激情图片| 精品五月花| 女人天堂AV| 综合五月丁香六月婷婷| 五月婷婷激清网| 91精品婷婷国产综合久久| 五月伊人91| 婷婷97碰碰| 婷婷综合成人五月天| 天天操无码| 97大香蕉五月天| 狠狠色成人影片| 婷婷丁香九月| WWW99热| 久久视频这里99| 精品九九在线观看| 思思视频这里是精品| 日本在线wwww| 久久久全国免费视频| 年轻的妺妺伦理HD中文| 免费看欧美成人A片无码| 婷婷色片| 亚洲av免费在线| 五月天婷久精视频| 99热官网精品在线| 五月婷婷六月丁香激情| 欧美日本另类| 久综合| 久久久久久天天日天天爱| www.日日夜夜.com| 久久丁香五月| 久久九九99| 丁香五月欧美激情| 国产激情久久久| 超碰国产AV| 色综合激情| 99热精品一| 久热2025无码| sewuyuejiqingwang| 五月丁色AV| 色9999日韩国产| 五月天AV大香蕉| 99精品在线| www.色婷婷| 26uuu成人网| www.99视频| 9久热| 六月激情婷婷| 精品国产AV色一区二区深夜久久| 色狠狠色噜噜AV天堂五区 | 亚洲亚洲人成综合网络| 美女网黄| 精品香蕉99久久久久网站| 99热在线观看| 91oumei| 色日本综合| 久久天堂加勒比| 婷婷色色欧美| 天天操天天爱天天日| 九九国产精视频| 欧亚色色| 色爱五月天| 美女五月天| 色五月大| 九九成人视频| 久久99免费视频| 五月天激情综合网| 天天干,天天舔| 熟女婷婷网站一婷婷五月一丁香婷婷一婷婷激情网 | www久久久久久久久久久| av人人操| 国产老熟妇亲子乱对白| 五月丁香久久综合精品| 色五月av| 久久 这里只有精品1| 婷婷丁香十月| 色99网站| 成人国产欧美大片一区| 日本人人xxx| 五月婷亚洲精品| 另类小说五月天| AV九九| 亚洲亚洲人成综合网络| 激情五月婷婷她| 99九九在线| 噜噜噜噜噜日本视频| 五月丁香六月合| 五月婷婷亚洲| 国产毛片精品一区二区色欲黄A片| 婷婷五月丁香亚洲| 五月丁香狠狠爱| 丁香五月另类小说在线阅读| 五月婷婷激情网| 色色日本| 婷婷五月18永久免费网站| 120分钟婬片免费看| 五月五丁香婷婷| 天天干天天操天天拍| 五月婷婷AV| 校花娇喘呻吟校长陈若雪视频 | 五月成人网站| 97夫妻超碰| 婷婷色中文| 久热这里这里有精品| 丁香六月成人网| www999日韩精品| 久久亚洲网| 狠狠高潮精品亚洲1| 婷婷色五月丁香六月欧美啪| 91丁香| 热久久77777| 激情五月影院| 99久久婷婷精品视频| 亚洲无码你懂的| 丁香五月大片| 99久久综合网| 99视频久久| www.99成人视频| 丁香婷婷激情| 色444综合网| 精品久久人妻热| 婷婷色在线视频| 五月丁香黄色视频| 超碰97久久| 天天日人人| 爽极品色| 伊人狠狠丁香婷婷综合尤物| www.五月丁香| 天天爽天天草| 大香焦啪啪啪| 五月丁香婷婷中文网| 99精品视频在线观看| 色噜噜狠狠色综合日日| 五月天婷a在线| 婷婷狠狠操| 人妻AV在线| 亚洲色激情| 26uuu欧美日本| 国产AV一区二区三区最新精品| 亚洲99一级无嗎特制在线| 天天综合.com| 久久精品A片777777| 在线不卡视频| 热99这就是精品视频| 色播五月丁香综合| 99热官网| 99九九视频| 天天精品视频免费观看| WWW久| 亚城区在线| 天天干人人奸97| 亚洲视频丁香网va| 能看的av| 伊人婷婷激情| 碰超亚洲| 丁香五月婷久久| 九色在线五月婷婷网址| 五月天激情社区| 日本不卡高字幕在线2019| 做爱夜夜干天天操| 色狠狠色噜噜AV天堂五区| 久久这里只有精品久久| 九九热精品在线| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 91操碰| 大香蕉婷婷五月天| 色情五月天小说| 五月天婷婷在线视频| 久久性视频| 色情五月婷婷| www婷婷色情网| 极品少妇XXXX精品少妇偷拍| 五月婷婷五月天亚洲无码| 人妻熟人中文字幕一区二区| 五月六月婷婷| 区美毛片子| 久久狼人天堂| 2014天天爽| 久99久视频| 国产精品社区| 六月色婷婷欧美| 国产人妻777人伦精品HD| 欧洲激情五月天| 婷婷色色综合| 综合狠狠干| 97在线精品视频| 可以看的av| 丁香激情合作五月| 91精品啪| 91精品久久久久久综合五月天| 好好日激情五月天| 99碰碰中文| 91热在线| 一本伊人色婷| 亚洲无码播放| 九九热9| 色色色色综合| 天天综合色丁香| yjzz亚洲国产| 亚洲综合另类| 色婷婷丁香特级性爱视频| 色婷婷色丁香色欲av| 日日夜夜天天| 婷婷色五月色妇| se婷97| 91超碰在线观看| 五月天综合缴情网网站0| 日本三级大片| 婷婷五月影院| 欧美婷婷五月激情| 97操碰碰无码视频| 97精品人人A片免费看| 舔色婷婷| 五月婷婷,六月激情| 日本三级毛片| 九九亚洲天堂| 亚洲人人操BD| 天天摸天天舔在线视频| 99热99| 狠狠干综合| 婷婷精品性性性性性性性| 久久免费操| 最近中文字幕2019视频1| 天天精品视频免费观看| 91啪级电影| 伊人婷婷五月天av| 熟惀91九色在线| 超碰国产AV| 精品无码人妻一区| 亚洲成人在线免费| 激情五月天99色| 777精品久无码人妻蜜桃| 99热6精品| 99色这里| 久久色情| 波多野结衣AV无码Porn| 五月六月伦理| 俺去也在线www色官网| 国产精品视频免费看| 国产精产国品一二三在观看| 亚州色婷婷| 丁香六月无码| 日本在线噜噜| 久久午夜理论| 色五月婷婷丁香国产在线| 婷丁香五月天| 39视频第二区| 五月激情丁香啪啪| 日韩二区搞逼插逼毛片| 国产精品天天狠天天看| 五月香婷婷| 丁香婷婷六月天| 九九九成人在线视频| 欧美久久九九| 婷婷成人基地| 可以看的av| 久久东京热婷婷五月| 五月天婷婷丁香六月| 日韩99色| 久久五月丁香六月婷| 99re这里只有精品国产99| 五月狠狠| 九九在线精点品| 停停五月天激情网| 夜夜做夜夜愛| 丁香五月婷婷色播艳门照| 天天摸,天天爽| 538午夜激情| 伊人久久婷| 婷婷六月成人| 色婷婷无吗| 综合久久十三| 丁香五月天影院| 9精品久久999| 超碰人人摸AV| 91色欲综合| 亚洲行行色色| 亚洲婷婷激情888精品久| 五月天小说激情| 天天舔夜夜操www com| 九九伊人网| 亚洲操操| 久久丁香五月天| 五月婷婷无码| 久久与婷婷| 婷婷五月色花丁香社区| 人妻狠狠操| 婷婷五月天综合激情| 九色91美女| 大香蕉五月丁香| 一起草Av| 日本五月婷婷久久久六月丁香| 欧美va亚洲va| 99热九九在线| 97色色色| 99视频内射三四| 99ri精品在线| 大香蕉九九| 丰满人妻妇伦又伦精品国产 | 五月天成人综合| 日本一级| 色天天综合色| 2025天天操| 天天干天天操天天拍| 天天舔天天摸| 91超级碰碰碰| 欧美日本韩国亚洲| 99精品超在线播放| 天天爽爽日日做做| 丁香五月WWW| 久99久视频精选| 色色热| 日本九九网| 激情五月天综合网| 欧美在线视频99| 青青草国产亚洲精品久久| 精品香蕉99久久久久网站| 婷婷激情五月天激情小说| 激情五月天色婷婷综合| 69热在线| 婷婷五月丁香手机在线视频| 99综合视频| 亚洲国产精品VA在线看黑人| 色婷婷AV久久| 亭亭玉立国色天香| 婷婷五月天激情基地| 国产成人AV在线播放| 婷婷丁香六月| 色五月色开心开心五月| 人人操插| 婷婷五月天美女视频| 九九热99熟女| 日韩在线观看网址| 91超碰人人操| 激情五月天www| 婷婷综合亚洲| 国产精品色情AAAAA片软件| 狠狠爱婷婷丁香| 久久五月天激情婷婷| 激情99热| 99热国内精品| 大香蕉太香蕉视频97| 99久久婷婷| 九色视频91| 极品五月天| 婷婷色播婷婷| 午夜日日| 婷婷综合六月| 午夜天堂一区人妻| AV色婷婷| 色天使色综合| 思思久久精品视频| 夜夜爱伊人| 综合色、色综合| 大香蕉五月天婷婷| 99热这里只有精品55| 26uuu国产| 亚洲永远av在线播放| 五月激情丁香五月| 五月综合无码| 久操操| 久久大香蕉视频| 九九爱看亚洲| 丁香五月影院| 少妇高潮一区二区三区99欧美| 婷婷五月噜噜| 国外亚洲成AV人片在线观看| 久久99最新| 婷婷在线激情| 五月丁香婷婷老司机| 久热9| 播五月,色五月,开心五月播放器 | 99操无码视频观看| 日婷婷| 超碰日韩成人| 爱草视频在线| 超碰久热| 激情综合网五月在线播放| 这里只有精彩视| 天天干天天干天天干| 久色88| www夜夜操comwww| 成AV人片一区二区三区久久| 婷婷六月丁香在线| 婷婷亚洲综合| 超碰二区| 91婷婷在线| www.99热这里只有精品| 国产三级在线播放| 思思热99热| 激情五月天婷婷播播久久综合91| 啊V视频在线观看| 96丁香六月婷婷蜜桃综合久久| 91碰碰视频在线观看| 亚洲夜五月| 婷婷综合久久| 777色婷婷爱五月| 91成人看片| 91se在线观看| 色婷婷成人网| 亚洲国产婷婷色五月| 99热这里| 99色精品视频| 99热思思| 婷婷开心激情综合五月天| 激情文学综合婷婷五月天丁香花| 99热精在线九九久久保| 青草视频在线播放| 婷婷精品性性性性性性性| 91人妻人人操| 99亚洲视频| 99色在线观看视频者| 日日色五月天| 色吊丝99| 丁香六月激情| 五月天婷婷三级黄| 青青草婷婷五月天| 五月丁香婷婷综合网| 亚洲成人网站在线播放| 亚洲综合五月天| 五月天婷婷六月激情网| 激情第四色| 狠狠色丁香五月婷巨| 色99色| 婷婷狠狠操| 99操免费视频| www.夜夜操.con| 日韩黄色影院| 婷婷六月激情| 中文字幕 码精品视频网站| 天天操天天操天天操天天操天天操 | 色伦专区97中文字幕| 色丁香五月综合网| 亚洲久艹| 欧美色频| 五月天婷婷视频| Www99热| 久久丁香五月| 激情五月婷婷| 强伦轩人妻一区二区电影| 69久久99精品久久久久婷婷| 国产高潮A片羞羞视频涩涩| 天天天摸夜夜夜玩| 丁香婷婷六月天| 五月丁香啪啪啪| 色色亚卅| 色色色婷婷五月天| 超碰日韩人妻在线| 五月久久婷婷丁香| 国产伦理精品高清在线观看网站一区二区 | 开心色色五月天综合| 五月婷婷开心五月| 五月亚洲激情| www.婷婷.com| 亚洲午夜在线视频| 激情五月影院| 婷婷涩涩网| 老师把我爽高潮了免费A片| 激情五月天啪啪| 青草青草久热这里只有精品| 成人国产欧美大片一区| 超碰色综合| 婷婷开心青青草| 中文AV在线观看| 乱岳熟女50岁| 99久久久久| 天天做天天爱综合| 激情五月黄色小说| 手机在线日韩视频中文字幕| 亚洲精品无人区| 亚洲综合1024| 色亚洲激情| bbwcuckold精品熟妇| 熟美女麻豆| 五月天婷婷激情在线色图| 五月丁香花激情综合网| 丁香婷婷精品视频| 9热精品| 国产,欧美,学生妹,视频| 色婷婷成人网| 人人操大| 婷婷五月花| 婷婷色网站| 国产色色色色| 狠狠色性| 久热这里只有国产| 色婷婷久久综合久色综| 婷婷五月激情小说| 亚洲午夜在线视频| 成人精品在线观看| 久超超碰| 婷婷五月婷婷| 色婷视频| 色999;丁香五月| 五月婷婷在线短视频| 色九月婷婷综合| 激情久久综合| 日本69日人视频| 亚州激情九月| 久久9热综合| 欧美情色电影一区二区| 女人高潮内射99精品| 五月天啪啪| 色婷婷AV在线| 热九九在线| 五月丁香综合激情网| 91seAV| 伊久大香蕉| 国产成人精品一区二区三区视频| 九九色色网| 激情六月色| 97色色色色色| 97婷婷五月天| 天天爽夜夜爽天天爽夜夜爽| 日本熟女一区二区| 思思热久久久在线| 亚洲亚洲亚洲AAAAAA| 极品嫩草| 操人妻90p| 26uuu亚洲| 思思热久久艹| 99精品综合| 色婷小说| 五月天激情视频网站| 中文字幕无码AV| 超碰在线看| 夜夜爽天天干| 99热只有这里有精品| 思思热久热| 九九性视频| 俺去也在线www色官网| 99色热视频| 在线色五月婷婷| 午夜性爱影视一区77| 婷婷综合网在线| 色月视频| 色另类五月天| 久久机热思思热| 久久丁香五月婷| 激情五月婷婷网| 婷婷六月激情| 天天日天天色| 国产在这里只有精品| 九九这里有精品| 婷婷丁香六月| 婷婷在线日韩综合| 第五婷婷伊人丁香| 人伦30P| 丁香色色网| 五月天天丁香婷婷在线中| 一级片sese片.COM| 婷婷丁香成人在线视频| 五月婷婷色播网| 人人看人人要| 色五月大| www.久久爱| 五月婷婷 婷婷五月 一区二区 久久久 | 久热69| 99综合一区| www.91色| 九九成年视频| 婷婷五月天综合网| 桃色激情婷婷伊人网| 六月丁香婷婷五月| 激情婷婷五月| 亚洲成av人影院| 好大好粗嗯啊-一级黄色大片免费观看-成人AV | a在线免费v| 久久这里这里有精品免费视频| 99久久婷婷| 99综合网| 九色综合网| 伊人青涩网| 91碰碰视频| 亚洲色欲欧美一区二区三区| 丁香五月婷婷五月| 成人做爰A片免费看视频| 欧美69色| 五月香蕉综合| 偷拍91九色| 国外亚洲成AV人片在线观看| 停停五月色宗合| 欧美色色色色色色色色色色影视| 久久婷婷综合五月天| 日日操日日撸| 久久综合香蕉国产国产蜜臀AV| 9久热在线精品| ss五月天激情| 久久五月天色婷婷| 久久大大香| 久久98| 欧美猛片| 婷婷五月无码| 99啪啪骑| 五月丁香六月婷婷玖玖| 五月天久久久| 久久色9| 丁香五月丁香伊人| 99热这里只有精品3| 狠狠操狠狠色| jiujiu热在线视频| 五月婷婷之美女图片| 99这里有精品视频| 日本久久视频| 久久性爱视频网站| 婷婷无五月无码视频| 五月丁香久人妻中文| 99爱无码| 最近中文字幕2019视频1| 涩涩激情五月婷婷| 色噜噜狠狠色综合日日免费| 五月丁香六月色| 久久久久9久无码视频| 狠狠做六月爱婷婷综合aⅴ| 婷婷在线激情| www.久操| 淫荡综合网| 久久性爱视频| 玖玖国产视频一区| 亚洲网视屏| 百度4399有码精品V在线观看| 天天操天天操| 能看的AV| 狠狠草天天草| 天天舔天天爽| 五月激情丁香五月| 丁香婷婷九月| 久久九九婷婷| 欧美色五月天| 婷婷五月综合色小姐小说| 日日夜夜青青草| 五月丁香在线| VA婷婷| 深爱激情五月婷婷| 五夜婷婷| 香蕉综合在线| 久热 91| 97色色综合| 另类激情网| 999热在线观看视频| 青青草日本亚洲| 日日躁夜夜躁狠狠久久AV| 99热久只有| 丁香五月大香蕉| 五月激情五月丁香| 久久久中文| a在线观看| 99热综合| 六月婷婷六月天天在线免费| 色婷婷久久| 婷婷五月综合欧美在线播放| 国外亚洲成AV人片在线观看| 日本三级中国三级99人妇网站| 日本在线视频www色| 91丨九色丨白浆秘| 狠狠色综合网| 六月丁香成人| 激情玖玖sh| 色性五月天| 久久婷婷色综合老司机| 66成人网| 激情综合无码| 天天干一干| 久久五月天色婷婷| 国产成人精品一区二区三区视频| 五月丁香五月天现场视频| 亚洲成AV人片在线观看| 婷婷五月天第三页| 激情综合网五月丁香| 26uuu最新地址| 狠狠操天天操| 无码AV免费精品一区二区三区 | 九九香蕉网| 午夜不卡久久精品无码免费| 六月婷婷成人| 色综啪啪网| 激情综合五月婷婷六月丁香| 狠狠色大香蕉| 人人操av| 五月丁香婷婷三级| 69人人操人人爽| 噜噜色五月| 婷婷开心深爱五月天| 欧美性生交XXXXX无码小说| 另类综合婷婷五月天欧美视频| 亚洲色婷婷五月天| 六月丁香网| 丁香五月激情澎湃一区| bukadeavzaixian| 九九综合| 天天成人丁香美女AV| 色婷婷五月影院| 久久五月综合| 欧美性色五月天| 99ri在线播放| 婷婷丁香社区| 色婷婷色九月| 色五月首页| 亚洲va欧美va国产综合久久久| 欧美在线视频9| 丁香六月婷婷色XXXXX| 69激情小说| 91porn一起草| A片试看120分钟做受图片| 色婷婷在线视频| 欧日美女Va| 丁香五月婷婷激情四射深爱激情| 婷婷六月亚洲综合| 青青草护士中出内射-欧美电影在线天堂新版 | 九九视频免费| 丁香五月激情欧美| 91精品丝袜久久久久久| 丁香婷婷六月激情| 亚洲AV网站在线观看| 中字幕视频在线永久在线观看免费| 另类小说激情五月天| 亚洲午夜精品久久久久久人妖| 伊人激情综合| 另类在线| 91丨九色丨丰满人妖| 色情·com| 欧美激情中文字幕| 99啪啪| 激情五月色播五月| 五月丁香AV、伊人业余、性色熟妇| 色婷婷瘦婷婷日韩| 丰满少妇猛烈A片免费看观看| 五月丁香六月激情| 九九操综合网| 五月激情日本在线| 91九色国产在线| 天天天干夜夜夜操| 夜夜夜夜夜骑撸| 精品综合久久久久久五月天| 婷婷五月天av| 99色五月| 午夜九九九九九九| 人人人操 超碰| 亚洲美女网Va| www.com操| 色色自拍视频网站| 五月天开心色情网| 日韩在线成人电影| 婷婷综合伊人| 91久女| 99热亚洲精品| 色5月婷婷色| 色五月婷婷一二| 久久aaaa片一区二区| 99区视频| 婷婷丁香五月亚洲欧美| 好看的国产精品| 丁香五月天婷婷91| 欧美日韩精品一区二区三区钱| 怡红院AV亚洲一区二区三区H| 丁香五月六月综合激情| 91一起艹| 久久9视频欧美| 超91热| 亚洲啪啪视频| 婷婷五月丁香综合激情| 另类图片五月天| 日本va欧美va欧美精品88| 综合五月天天天天天五月| 伍月激情天| 亚洲婷婷月丁香五月| 六月五月丁香五月欧美| 久久视频婷婷| 超碰电影在线播放| 全高清无码视頻| 亚洲乱码w在线观看| 热久久色| 亲子乱AV一区二区三区下载| 久99在线视频| 五月丁香亭亭操逼| PORNY九色9l自拍视频成人| 综合99久久| 日本69日人视频| 热九九精品| 婷婷激情伍月网| 97操在线视频| 97干在线| 韩国情人在线电视剧免费观看高清版全集 | 色婷婷香蕉| 免费精品99| 亚洲妇女熟BBW| 日本二级毛片二级毛片| 啪啪啪丁香五月| 亚洲av成人一区二区电影在线| 秋霞少妇AV网站| 日本三级99人妇网站| 国产AV网页| 丁乡久久| 99久久婷婷国产综合精品青桔| 色噜噜狠狠色综合伊人| 五月丁香综合伦理片| 五月丁香久久丝袜啪啪| 俺去也五月| AV在线大香蕉| 色五月av| 男女啪啪做爰高潮无遮挡| 潘金莲AAAAAAAAAA| 91久久免费| 婷婷天堂站| 欧美综合婷婷欧美综| 久久久五月婷婷| 26uuu国产| 五月激情婷婷丁香| 99精品视频在线观看| 国内久久婷婷| 色停停香蕉视频| 色的色综合| 丁香五月激情综合啪啪| 欧美三级欧美一级| 99热这里只有精品8| 婷婷五月天久草在线| 91丁香| 天天 青草 制服丝袜 在线| 狠狠操在线视频| 激情五月婷婷视频一区二区三区| 777色色色| 久久婷婷六月综合国际| 久久9久久| 久久与婷婷| 色亚洲激情| 婷婷久久综合| 亚洲成人无码免费| 色八月婷婷| 婷婷五月视屏| 激情五月天综合网| 97人人操人| 狠狠色丁香综合| 五月婷婷丁香网| 五月激情视频| 狠狠色婷婷7777久综合| 色插综合网| 激情性爱五月| 六月五月天婷婷涩播在线| 日本色99| 五月丁香婷婷激激激综合网色播| 婷婷视频网| 人人操人人妻| 天天 青草 制服丝袜 在线| 婷婷99狠狠躁| 色五月五月婷婷| 超碰av天堂| 另类小说五月天综合网| 久久99久久99精品免视看婷婷| 日韩一级| 五月情丁香色| 久久色五月天| 超碰69天堂| 日本a片网址| 停婷丁五月在线| aV直接看| 在线,国产,色,热视频| 99这里只有精品| 精品一二三区久久AAA片| 996精品热视频| 午夜国产精品AV在线播放| 色综合久久44| 婷婷色色丁香| 热99只有精品| 一起草av| 超碰在线看| 九九这里只有精品| 丁香五月色情av| 五月丁香久久久日婷婷久久婷婷日| 五月天激情久久| 琪琪色五月婷婷老师| 久热中文字幕| 99综合| 超碰国产一区| 操逼福利视频| 五月丁香久久| 久草婷婷| 五月色网| 久久婷丁香五月| 另类激情五月天| 婷婷丁香色五月天| 五月丁香婷婷综合激情基地| 天天操综合网| 91一起操| 激情综合网五月婷婷| 五月丁香在线观看99| 久久这里只有精品8| 色婷婷很很十八禁| 深爱丁香激情| 99视频这里有精品| 丁香五月婷婷六月婷| 色婷婷视频在线| 激情久久五月天| 五月天色在线| 95精品区一区二| 五月激情婷婷播播网| 风流少妇A片一区二区蜜桃| 国产精品色色666| 国产精品色色| 99这里有精品免费| 国产免费一区二区在线A片视频| 99 热国产在| 狼友视频在线观看18| 精品成人久久久久久久_一二三四视| 涩涩五月天| 久操干| 91婷色| 亚洲精品无码久久| 1024人妻| 婷婷免费精品视频| 色色色色五月| 另类激情码| 色五月综合在线| 久久久久婷| 久99久精品视频| 丁香六月啪啪啪| 色5月婷婷| 婷婷成人综合| 亚洲乱码精品久久久久.. | 丁香成人五月天| 免费啪啪亚州视频| 啪啪 综合网| 久热伊人| 欧美激情综合色综合啪啪五月| 日本婷婷综合精品| 婷婷五月激情黄色| 久狠日av| 婷婷色色欧美| 啊V视频在线观看| 99精品在线观看| 亚洲色色色| 天天射综合网夜夜操| 十二区无码| 播五月丁香三月婷婷| 97碰超级人人看| 99精品在线观看| 五月丁香六月花| 丁香av网| 欧美在线视频99| 欧美综合激情五月丁香| 久久男人网婷婷| 天天色天天操天天射| 色五月天丁香| 四LLL少妇BBBB槡BBBB| 国产婷婷五月天| 久久久激情视频| JAPANRCEP老熟妇乱子伦视频 | 婷婷色成人| 激情人妻综合| 99热91| 99热这里只有是亚洲国产| 踪合专区啪啪| 激情综合网激情五月天| 99热亚洲精品66| 一月婷婷色色| www.色多多婷| 深夜男女福利刺激影院一区完整| 狠狠五月天婷婷| 九九综合88| 99热99在线| 色色色色网色色网色色| av色婷婷| 性爱网五月婷婷| 久久草中文日韩欧美| 五月亚洲激情| 无码色综合| 色婷婷久久| 五月天涩涩| 五月丁香六月色婷婷综合五月天| 亚洲激情四谢| 欧美五月婷婷| 五月婷婷深爱六月| 色色婷婷色色| 综合色99| 99久超碰| 婷婷五月色丁香在线看| 99精品热视频| 182tv992tv人之初午夜免费观看| 超碰在线观看99| 五月天第四色开心色播| 激情综合婷婷久久| 99国产精品白浆在线观看免费| 天天做天天爱| 99精品视频在线| 亚洲最大在线| AV变态另类一区二区| 91色色色| 日韩成人电影在线播放| 91人妻视频| 激情久久久| 99色.com| 色五月情| 日本五月婷婷| 久久这里只| 狠狠88综合久久久久噜噜噜| 国产99久久久| 日韩久久日| 最近韩国日本免费高清观看| 亚洲综合视频在线| 久久久精品色| 青青草护士中出内射-欧美电影在线天堂新版 | 色六月婷婷| 人妻肉射免费观看| 蜜乳9188| 婷久久| 97国产精品女人碰碰| 亚洲精品又粗又大又爽A片 | 91超级碰碰碰| 第四色五月婷婷| 十月丁香九月婷婷综合| 99er6| 99综合| 99爱99操| 色婷婷91激情小说| 三级毛片视频| 国产日比| 五月色婷婷影院| 久久999久久999久久999久久| 99热视精品| 激情综合五月.....| 久久九九综合| 亚洲操逼片| 久久久99免费视频| 五月香蕉网| 婷婷九月丁香中文| 婷婷五月天VI| 99久久99综合| 欧美精品XXXXBBBB| 九九热精品视频在线观看| 九九综合精品| 五月色色色| 丁香五月激情网| 狠狠操综合| 五月丁香六月婷婷网| 色丁香影院| 丁香六月色婷婷综合| 色婷婷色五月色丁香| 九九热99精品| 久久这里只有精品无码| 99精品视频在线| 第四色婷婷最爱| 亚洲五月婷婷在线| 99高级会所久久| 99热最新精品| 99色精品视频| wWw色五月| 激情婷婷五六月天| 激情欧美婷五月| 开心五月激情站| 五月天无码视屏播放| 五月丁激情| 大伊久久| 丁香婷婷婷五月| 人人摸人人摸| 久碰婷婷视频| 色蜜婷婷| 久久五月激情综合| 9久久精品| 国产色色在线| 色婷婷丁香五月高清在线| 天天干天天日日| 色婷婷婷综合五月天| 久色国产| 亚洲中文乱字字幕在线永久| 色色五月婷婷久久| 大香蕉九九| 激情五月天视频| 六月五月天婷婷涩播在线| 丁香五月瑟瑟| 日韩视频女神99| 色欲丁香| 成人色五月天婷婷| 五月的婷婷六月丁香| 色人妻五月| 五月丁香婷婷综合| 丁香婷婷网| 亚洲色网络| 一二线视频 另类| 丁香五月婷综合| 美国不卡视频| 9色视频在线| 五月亭亭六月激情| 六月丁香社区| 碰碰女| WWW.婷婷| 中文字幕欧美日韩VA免费视频| 草草色情综合网| 2015WWW永久免费观看播放| 久久久久久久丁香五月天婷婷| 6080av| 天天操天天操天天操天天操天天操 | 丁香六月狠狠| 五月天婷网| 五月综合无码| 欧美婷婷五月丁香| AV片一区在线观看| 日韩黄色电影| 综合在线网| 婷婷俺去也| 欧美在线干| 大香蕉伊然在亚洲90| 婷婷色色欧美| 色色综合网站| 深爱激情婷| 五月婷婷婷婷| #NAME?| 婷婷和五月天| 五月婷婷久久内射| 色五月大| 五月婷婷在线网站| 六月丁香色色| 色噜噜狠狠色综合日日| 超碰激情五月| 538午夜激情| 九九热经典视频在线观看| 成人短视频在线观看| 丁香五月瑟瑟| 丁香六月婷婷激情综合| 91精品综合久久久久久五月丁香| 91久久久久久| 婷婷五月激情小说| 天天综合久久| 婷婷亚洲综合| 五月天com| 激情久久网 | 婷婷精品| 丁香五月婷中字在线| 97婷婷丁香五月天激情图片| 国产视频久色| 91九色丨国产丨爆乳| 亚洲无码影片| 激情五月天啪啪视频| 人人草人人舔| 五月丁香色停停啪啪啪| 激情五月婷婷丁香六月| 日韩五月丁香| 欧美交换配乱吟粗大25P| 久久伊人婷婷| 婷婷十月激情综合网| .精品久久久麻豆国产精品| 99ri久久| 成人五月天视频| 国产黄大片在线观看画质优化| 亚洲第一黄网| 婷婷五月情| 婷婷六月色| 免费九九热| 九九99热| 九九成年视频| 色五月激情基地| 欧美在线干| 综合色图区| 五月丁香色综合| 色色热日| 99久久免费精品| 国产美女无遮挡裸体毛片A片| 97久久久| 亚洲六月色婷婷| 天天综合久久| 婷婷五月花丁香| 玖玖色综合色| 好好日激情五月天| 97 A I色色| 九九综合伊人| 美欧成人视频| 色婷婷女优有码五月亭| 噜噜久| 99视频在线观看地址| site:minyis.com| 婷婷丁香人妻天天爽| 2017人人操| 激情五月色播五月| 亚洲天堂青草| 激情综合婷婷| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 国产精品久久久久9999小说| 丁香5月激情网| 99ri精品视频在线观看| 婷婷综合亚洲| 99干日本| 性生活视频98791| 五月丁香做爱视频| 亚洲激情Av| 婷婷丁香五月综合网上| 五月天婷婷无码| 婷婷丁香五月亚洲综合网在线视频观看| 第四色激情网| 午夜免费试看| 狠狠狠狠狠狠狠狠| YJLZZJLZZ亚洲乱熟无码| 综合另类视频| AV中文在线| 五月天婷婷久久视频| 五月天婷婷综合久久| 伊人在线视频| 五月丁香久久久久| 丁香五月性爱| 久久五月婷婷电影| 久久婷婷视频| www.五月激情.com| 婷婷五月,综合伊人| 九九热经典视频在线观看| www.婷婷五月.com| 这里只有精品免费视频| 色吊丝av中文字幕| 日本五月婷| 大香蕉操操| 大香蕉精品视频| 丁香六月色婷婷| 天天爽天天日| 婷婷五月天另类视频| se色婷婷视频| 这里只有精彩亚洲视频推荐| 欧美婷婷精品激| 久久久.COM| 天天日天天做天天舔| 国产精品色色| 激情亚洲网| 五月天激情久久| 天天日夜夜爽| 色婷婷激情视频| 欧美色色色色色色| 手机旧版看人妻1025| 五月婷婷干干干| 天天日天天久久青青| 丁香五月天之婷婷影院| 人人操AV| 老师的粉嫩小又紧水又多A片视频| 五月丁香六月婷婷亚洲| 99久久超级| 婷婷五月天成人网| 成人短视频在线| 黄桃AV无码免费一区二区三区| 久久婷婷五月天激情唯美| 久久五月天网| 婷婷色婷婷| 这里只有精品,日韩视频| 99色在线免费观看视频| 激情综合五月丁香| 婷婷日日天天|