欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

簡(jiǎn)易CNN與ResNet搭建:Python源碼入門與實(shí)踐

簡(jiǎn)易CNN與ResNet搭建:Python源碼入門與實(shí)踐 簡(jiǎn)介從零搭建CNN與ResNet的入門實(shí)戰(zhàn)代碼包面向深度學(xué)習(xí)初學(xué)者和想厘清“ResNet與CNN關(guān)系”的開發(fā)者可直接用于計(jì)算機(jī)視覺自學(xué)或課程設(shè)計(jì)參考。資源共24個(gè)文件包含5個(gè)Python訓(xùn)練與工具腳本、6個(gè)h5格式數(shù)據(jù)集文件交通標(biāo)志、手勢(shì)、笑臉等另有PyCharm工程配置xml/iml與運(yùn)行生成的pyc緩存壓縮包整體約25.27MB代碼按“第一周CNN、第二周ResNet”兩階段組織目錄清晰便于逐周學(xué)習(xí)。目前已有1099人學(xué)習(xí)下載。源碼完整展現(xiàn)了CNN的卷積層、池化層、全連接層以及ResNet殘差塊、跳躍連接和批量歸一化的實(shí)際寫法可直接運(yùn)行查看訓(xùn)練過程配套h5數(shù)據(jù)集支持從數(shù)據(jù)加載、模型搭建到損失計(jì)算與驗(yàn)證的完整閉環(huán)幫助讀者快速掌握PyTorch/TensorFlow建模思路并深入理解殘差連接如何緩解深層網(wǎng)絡(luò)梯度消失問題。1. 先解決最大困惑ResNet到底是不是CNN第一次看到“簡(jiǎn)易CNN和ResNet搭建Python源碼”這份資源時(shí)我腦子里最大的問號(hào)不是“怎么搭建”而是一個(gè)更基礎(chǔ)的問題ResNet是CNN嗎如果你也有同款困惑那這篇入門文章就是寫給你的。CNN和ResNet的關(guān)系可以類比成同一道菜的基礎(chǔ)版和改良版CNN是深度學(xué)習(xí)里最常用的圖像識(shí)別模型ResNet是在CNN骨架上加裝了“殘差塊”的升級(jí)型號(hào)所以它本質(zhì)上還是CNN只不過更聰明、更適合往深了堆。這份資源里的代碼用Python帶你按兩周的節(jié)奏搭出這兩個(gè)模型。今天我們不急著刷原理我?guī)惆阉x成能上手的東西先搞懂兩個(gè)概念再看看資料里到底有什么最后落在你電腦上能跑通的第一個(gè)例子。2. 先搞懂地基CNN是怎么“看”一張圖的不管第一周還是第二周你寫的每一段代碼都是在做同一件事讓電腦從圖片里認(rèn)出東西來。CNN解決的就是這個(gè)問題它仿照人眼的工作方式一層一層地從圖里找特征——先找邊緣再找紋理最后拼出“這是一只貓”的結(jié)論。要理解ResNet你得先知道CNN的四個(gè)積木塊下面我們一塊一塊來。2.1 圖像在電腦眼里是一堆數(shù)字你在屏幕上看到的照片對(duì)電腦來說只是一個(gè)巨大的數(shù)字矩陣。一張灰度圖就是一個(gè)二維數(shù)組每個(gè)數(shù)字代表一個(gè)像素點(diǎn)的亮度范圍通常是0到2550是純黑255是純白。彩色圖則稍微復(fù)雜一點(diǎn)它由三個(gè)矩陣疊在一起組成分別對(duì)應(yīng)紅、綠、藍(lán)三個(gè)顏色通道。你可以用幾行代碼親手驗(yàn)證這件事。打開任意一個(gè)Python文件敲進(jìn)下面這段import numpy as np # 用隨機(jī)數(shù)模擬一張 4x4 的灰度圖 fake_image np.random.randint(0, 256, size(4, 4)) print(fake_image)跑一下你就會(huì)發(fā)現(xiàn)圖像在程序眼里根本不是“畫面”而是一張寫滿數(shù)字的網(wǎng)格。這里有兩個(gè)值得記住的點(diǎn)第一這張數(shù)字網(wǎng)格就是CNN的“輸入層”接收的數(shù)據(jù)第二數(shù)字的取值范圍很關(guān)鍵后面你訓(xùn)練網(wǎng)絡(luò)時(shí)經(jīng)常要把這些數(shù)字除以255讓它們落在0到1之間這個(gè)操作叫歸一化很多新手漏了這一步導(dǎo)致模型怎么訓(xùn)都不收斂。2.2 卷積層用一個(gè)小窗口“掃描”整張圖既然圖是數(shù)字網(wǎng)格那怎么從中找出特征最笨的辦法是把所有數(shù)字拉平成一條長(zhǎng)向量交給全連接層處理。但這樣做有個(gè)致命問題一張100×100的圖拉平后有一萬個(gè)數(shù)字全連接層要為每個(gè)數(shù)字配一大堆權(quán)重參數(shù)數(shù)量爆炸訓(xùn)練極慢還容易過擬合。卷積層換了個(gè)思路它不用看整張圖只用一個(gè)小窗口比如3×3的小方塊在圖上滑動(dòng)每滑到一個(gè)位置就做一次“逐點(diǎn)相乘再求和”得出來的結(jié)果構(gòu)成一張新的小圖叫特征圖。這個(gè)小窗口就是濾波器也叫卷積核。一個(gè)濾波器只能找一種特征——有的負(fù)責(zé)找豎線有的負(fù)責(zé)找橫線有的負(fù)責(zé)找拐角。想讓網(wǎng)絡(luò)認(rèn)識(shí)更復(fù)雜的東西就多放幾個(gè)濾波器所以卷積層的輸出通常有好多張?zhí)卣鲌D每一張是“某個(gè)特征在圖上哪里出現(xiàn)了”的地圖。這里有兩個(gè)概念會(huì)在代碼里反復(fù)出現(xiàn)步長(zhǎng)和填充。步長(zhǎng)就是窗口每次往右或往下挪幾格步長(zhǎng)越大輸出圖越小填充是在原圖四周補(bǔ)一圈0用來控制輸出尺寸。比如輸入是32×32的圖卷積核是3×3填充設(shè)為1輸出還是32×32如果不填充輸出就變成30×30。動(dòng)手改代碼時(shí)常會(huì)因?yàn)檫@兩個(gè)參數(shù)沒算清楚導(dǎo)致后面全連接層維度不匹配這個(gè)是后話你現(xiàn)在先有個(gè)印象。2.3 激活函數(shù)和池化層給特征“表態(tài)”再“瘦身”卷積層是線性操作就算堆一百層本質(zhì)上還是線性變換的組合學(xué)不到復(fù)雜規(guī)律。這時(shí)候就需要激活函數(shù)出場(chǎng)。CNN里最常用的是ReLU公式極其簡(jiǎn)單負(fù)數(shù)全部變0正數(shù)原樣保留。import torch # 模擬ReLU把負(fù)數(shù)清零 x torch.tensor([-2.0, -1.0, 0.0, 1.0, 3.0]) y torch.relu(x) print(y) # 輸出: tensor([0., 0., 0., 1., 3.])為什么要把負(fù)數(shù)清零因?yàn)榍辶悴僮饕肓朔蔷€性讓網(wǎng)絡(luò)有能力擬合各種彎彎曲曲的邊界。你可以把ReLU理解成“表態(tài)”這個(gè)位置沒找到特征就直接閉嘴輸出0找到了就大聲報(bào)數(shù)。池化層接在卷積和激活后面最常見的是最大池化在一個(gè)2×2的小窗口里取最大值然后窗口滑過整張圖。這樣做的效果是圖像尺寸縮小一半但最強(qiáng)的特征被保留下來計(jì)算量也大幅下降。而且池化讓網(wǎng)絡(luò)對(duì)輕微的位移不那么敏感——小貓?jiān)谡掌锷晕⑵税雮€(gè)像素提取到的特征幾乎不變。要注意的是池化層沒有可學(xué)習(xí)的參數(shù)它是個(gè)純“瘦身”操作新手常誤以為它和卷積一樣需要訓(xùn)練。2.4 全連接層收尾把特征“拉平投票”經(jīng)過幾輪“卷積→激活→池化”之后原始圖片已經(jīng)變成一堆小而深的特征圖。接下來要做的是把這些特征圖拉平成一維向量送進(jìn)全連接層做最終判斷。全連接層就像一個(gè)投票委員會(huì)每個(gè)輸入特征有權(quán)重經(jīng)過加權(quán)求和后輸出每個(gè)類別的得分。分類任務(wù)通常在最后一層接softmax把這些得分換算成概率比如“是貓的概率0.8是狗的概率0.2”。完整的CNN流程你可以記成一句話輸入→卷積→激活→池化→重復(fù)若干次→拉平→全連接→輸出概率。下面用一個(gè)極簡(jiǎn)的CNN把這句話落到代碼上import torch import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self): super().__init__() # 卷積塊1輸入3通道彩色圖輸出8個(gè)特征圖 self.conv1 nn.Conv2d(in_channels3, out_channels8, kernel_size3, padding1) self.pool1 nn.MaxPool2d(kernel_size2, stride2) # 卷積塊2輸入8個(gè)特征圖輸出16個(gè)特征圖 self.conv2 nn.Conv2d(in_channels8, out_channels16, kernel_size3, padding1) self.pool2 nn.MaxPool2d(kernel_size2, stride2) # 全連接層把拉平后的特征映射到10個(gè)類別 self.fc nn.Linear(16 * 8 * 8, 10) def forward(self, x): x torch.relu(self.conv1(x)) # 先卷積再ReLU激活 x self.pool1(x) # 池化縮小尺寸 x torch.relu(self.conv2(x)) x self.pool2(x) x x.view(x.size(0), -1) # 拉平成一維向量 x self.fc(x) # 全連接輸出10個(gè)類別的分?jǐn)?shù) return x上面這段代碼里的模型假設(shè)輸入是32×32的彩色圖。數(shù)據(jù)流向是這樣的32×32輸入經(jīng)過conv1padding1還是32×32經(jīng)過pool1變成16×16再走一輪變成8×8這時(shí)有16個(gè)特征圖拉平后就是16×8×81024個(gè)數(shù)全連接層把這1024個(gè)數(shù)映射到10個(gè)類別。如果你想換個(gè)數(shù)據(jù)集只需要改兩處全連接層的輸入維度以及最后的輸出類別數(shù)。第一次跑模型時(shí)建議在forward里加一行print(x.shape)看看每一步數(shù)據(jù)尺寸變成什么樣這是理解CNN最快的方式。3. ResNet為什么是CNN的升級(jí)版殘差塊到底在做什么現(xiàn)在你已經(jīng)知道CNN的四個(gè)積木塊了。但你可能有個(gè)疑問既然卷積、池化、全連接一套流程能把貓和狗分開那為什么還要搞一個(gè)ResNet出來答案很簡(jiǎn)單因?yàn)槿藗儼l(fā)現(xiàn)CNN越深反而越難訓(xùn)練而ResNet專治這個(gè)毛病。這一章我們解決兩個(gè)問題普通CNN到底遇到了什么困難以及殘差塊是用什么思路化解困難的。3.1 普通CNN加深后為什么會(huì)“翻車”直覺告訴我們層數(shù)越多網(wǎng)絡(luò)應(yīng)該越強(qiáng)——畢竟能提取更細(xì)的特征。但研究者實(shí)驗(yàn)后發(fā)現(xiàn)普通CNN在層數(shù)超過一定值之后訓(xùn)練集上的錯(cuò)誤率反而升高了不是過擬合是根本學(xué)不動(dòng)。我第一學(xué)到這里時(shí)也不懂后來才明白主要有兩個(gè)原因在搗亂。第一個(gè)原因是梯度消失。深度學(xué)習(xí)靠“反向傳播”更新參數(shù)誤差要從最后一層傳回第一層每經(jīng)過一層就要乘一次梯度。如果梯度值小于1乘上幾十次之后傳到前面的梯度已經(jīng)小到接近0前面的卷積層幾乎學(xué)不到東西陷入“癱瘓”。第二個(gè)原因是退化問題理論上更深的網(wǎng)絡(luò)至少應(yīng)該能模仿淺層網(wǎng)絡(luò)的性能只要后面幾層學(xué)“什么都不做”就行但實(shí)踐證明讓普通網(wǎng)絡(luò)學(xué)會(huì)“什么都不做”這件事本身就非常困難??偨Y(jié)成一句話層數(shù)加深后網(wǎng)絡(luò)不是不想學(xué)是傳不下去、學(xué)不動(dòng)。這時(shí)候需要的不是更復(fù)雜的結(jié)構(gòu)而是一條能讓信息“抄近路”的通道。3.2 殘差塊的設(shè)計(jì)思路y F(x) xResNet解決這個(gè)問題的辦法看起來簡(jiǎn)單到讓人懷疑在模塊外面加一條短路把輸入直接加到輸出上。一個(gè)殘差塊的輸出不是“經(jīng)過卷積之后的結(jié)果”而是“卷積結(jié)果加上原始輸入”。用公式寫就是y F(x) x其中F(x)是幾層卷積和激活的組合。這條加法操作網(wǎng)上各種文章叫“跳躍連接”“恒等映射”“shortcut”聽起來很高深其實(shí)你只需要理解它給了網(wǎng)絡(luò)一條短路通道信息可以不經(jīng)過中間的卷積層直接往后傳。這樣一來即使某一層卷積學(xué)得很差原始輸入x也能原樣保留。更妙的是如果這一層確實(shí)沒什么可學(xué)的網(wǎng)絡(luò)只需要讓F(x)趨近于0輸出就約等于輸入x相當(dāng)于這一層自動(dòng)變成了“透明層”。相比之下普通CNN沒有這條通道每一層都必須“硬學(xué)”一個(gè)結(jié)果學(xué)不好反而添亂。打個(gè)比方普通CNN像一條必須每道工序都做好的流水線ResNet則在每段工序旁邊修了一條應(yīng)急通道師傅狀態(tài)不好時(shí)東西可以直接滑到下一站不影響整體進(jìn)度。這就是為什么ResNet能堆到50層、101層甚至更深而普通CNN堆到20多層就學(xué)不動(dòng)了。3.3 用一張表回答“ResNet是CNN嗎”很多人糾結(jié)這個(gè)問題其實(shí)答案很明確是的ResNet就是CNN的一種是CNN的改進(jìn)版本。那種“ResNet和CNN是兩套東西”的感覺來自對(duì)比時(shí)把“普通CNN”默認(rèn)成了“CNN”本身。下面這張對(duì)比表幫你把關(guān)系看清楚。對(duì)比維度普通CNNResNet基本積木塊卷積、激活、池化、全連接同樣是卷積、激活、池化、全連接特殊結(jié)構(gòu)沒有跳躍連接在卷積塊之間加了殘差連接shortcut能加深嗎十幾層后容易梯度消失可以輕松堆到幾十上百層典型代表簡(jiǎn)易CNN、VGG系列ResNet-18、ResNet-50訓(xùn)練難度淺層好訓(xùn)加深后變難深度較大時(shí)依然穩(wěn)定所以如果你在新手期聽人說“ResNet不是CNN它和CNN是兩種網(wǎng)絡(luò)”那這話是錯(cuò)的。更準(zhǔn)確的說法是ResNet屬于CNN家族它是為了解決CNN加深時(shí)“學(xué)不動(dòng)”的問題在結(jié)構(gòu)上做的一個(gè)巧妙升級(jí)。搞懂這一點(diǎn)你就不會(huì)再被這兩個(gè)詞繞暈了。3.4 動(dòng)手寫一個(gè)殘差塊BasicBlock說了這么多不如直接看代碼。下面是PyTorch里一個(gè)最基礎(chǔ)的殘差塊對(duì)應(yīng)的是ResNet-18這類淺層ResNet里使用的結(jié)構(gòu)通常叫BasicBlockimport torch import torch.nn as nn class BasicBlock(nn.Module): def __init__(self, in_channels, out_channels, stride1): super().__init__() # 兩個(gè)3x3卷積每個(gè)后面跟一個(gè)批量歸一化 self.conv1 nn.Conv2d(in_channels, out_channels, kernel_size3, stridestride, padding1, biasFalse) self.bn1 nn.BatchNorm2d(out_channels) self.conv2 nn.Conv2d(out_channels, out_channels, kernel_size3, stride1, padding1, biasFalse) self.bn2 nn.BatchNorm2d(out_channels) # 當(dāng)輸入輸出形狀不一致時(shí)用1x1卷積調(diào)整x的形狀 self.shortcut nn.Sequential() if stride ! 1 or in_channels ! out_channels: self.shortcut nn.Sequential( nn.Conv2d(in_channels, out_channels, kernel_size1, stridestride, biasFalse), nn.BatchNorm2d(out_channels) ) def forward(self, x): identity x # 先保存原始輸入這就是“跳躍連接”的起點(diǎn) out torch.relu(self.bn1(self.conv1(x))) out self.bn2(self.conv2(out)) out identity # 關(guān)鍵一步卷積結(jié)果和原始輸入相加 out torch.relu(out) return out和上一章的SimpleCNN相比這個(gè)殘差塊多了三樣?xùn)|西批量歸一化、identity變量、相加操作。批量歸一化的作用是在每層卷積之后把數(shù)據(jù)分布拉回正規(guī)范圍讓訓(xùn)練更穩(wěn)定這也是ResNet敢訓(xùn)練得很深的原因之一。identity保存的是剛進(jìn)入模塊時(shí)的原始數(shù)據(jù)它沒有經(jīng)過任何卷積操作相當(dāng)于抄了近路。最后out identity這一行就是跳躍連接本身它會(huì)先在通道數(shù)上對(duì)齊兩個(gè)矩陣如果通道不一致shortcut里的1×1卷積會(huì)負(fù)責(zé)把identity調(diào)整成和out一樣的大小再逐元素相加。把幾個(gè)這樣的BasicBlock串起來最后接一個(gè)全連接層就組成一個(gè)微型ResNet。你在第4章會(huì)看到項(xiàng)目第二周做的事情本質(zhì)上就是重復(fù)練習(xí)組裝這種殘差塊。4. 拿到這份Python資源之后先認(rèn)識(shí)文件再準(zhǔn)備環(huán)境概念有了代碼也見過了接下來該真正動(dòng)手了。但打開資源包的那一刻很多新手會(huì)被嚇一跳又是“1第一周”又是“2第二周”里面還有一堆以.idea、.iml結(jié)尾的陌生文件。別慌這一章我?guī)阒饌€(gè)認(rèn)門把文件夾里每一類文件是干什么的弄清楚然后裝好環(huán)境讓代碼跑起來。4.1 資源里到底有什么按文件夾認(rèn)門這份代碼是按兩周的學(xué)習(xí)節(jié)奏組織的兩個(gè)文件夾的名字已經(jīng)說明了內(nèi)容第一周搭簡(jiǎn)易CNN第二周搭ResNet。下面這張表把核心文件列出來你對(duì)照著看就不迷路。文件/文件夾作用備注1第一周/test.py第一周的訓(xùn)練/測(cè)試主流程從這里開始看1第一周/cnn_utils.pyCNN相關(guān)的輔助函數(shù)包含數(shù)據(jù)加載、參數(shù)初始化等1第一周/datasets/train_signs.h5第一周訓(xùn)練數(shù)據(jù)集手勢(shì)數(shù)字圖片1第一周/datasets/test_signs.h5第一周測(cè)試數(shù)據(jù)集用來驗(yàn)證訓(xùn)練效果2第二周/resnets_utils.pyResNet相關(guān)的輔助函數(shù)第二周的核心工具文件2第二周/kt_utils.py笑臉數(shù)據(jù)加載工具配合train_happy使用2第二周/datasets/train_happy.h5第二周附加數(shù)據(jù)集笑臉識(shí)別任務(wù).idea、*.iml、workspace.xmlIDE配置文件可以完全忽略pycachePython運(yùn)行緩存可以完全忽略你可能會(huì)注意到第二周的datasets里也有train_signs.h5。這說明同一個(gè)手勢(shì)數(shù)據(jù)集被兩套模型各跑了一遍正好可以用來對(duì)比普通CNN和ResNet誰的準(zhǔn)確率更高、訓(xùn)練過程更穩(wěn)這是一個(gè)非常直觀的體驗(yàn)設(shè)計(jì)。至于kt_utils.py和train_happy.h5它們是另一個(gè)小任務(wù)——區(qū)分圖片里是笑臉還是非笑臉適合你在學(xué)會(huì)ResNet之后拿來做二次練習(xí)。第一次看代碼時(shí)我建議你先打開test.py別看細(xì)節(jié)只追主線加載數(shù)據(jù)→建立模型→訓(xùn)練→測(cè)試。你會(huì)發(fā)現(xiàn)流程和上一章的SimpleCNN幾乎一樣區(qū)別只是模型換成了ResNet。輔助函數(shù)先不細(xì)讀等主線通了再回頭看效率會(huì)高很多。另外資源里的緩存文件名帶了cpython-37字樣說明作者在Python 3.7版本下運(yùn)行過你現(xiàn)在用更新的Python版本大概率也能跑但要注意依賴庫(kù)的版本兼容。4.2 跑起來之前先裝好三樣?xùn)|西動(dòng)手前需要準(zhǔn)備的東西不多就三樣Python環(huán)境、PyTorch庫(kù)和h5py庫(kù)。如果你的電腦里還沒有打開終端執(zhí)行下面這條命令可以一次裝齊pip install torch h5py numpy matplotlib裝完之后建議你先用下面兩行代碼驗(yàn)證環(huán)境是否正常import torch import h5py print(torch.__version__)能打印出torch的版本號(hào)說明環(huán)境沒問題了。這里有個(gè)重要的心態(tài)調(diào)整新手階段完全可以用CPU訓(xùn)練不需要急著買顯卡。第一周的CNN模型很小用CPU跑幾分鐘也能完成訓(xùn)練足夠你看清楚整個(gè)流程。為什么要提這一點(diǎn)因?yàn)榻?jīng)常有新手第一反應(yīng)是“我沒有GPU是不是學(xué)不了”然后在配環(huán)境中卡了三天。事實(shí)是你只需要先把邏輯跑通GPU是后面提速的事不是入門的門檻。如果你電腦上同時(shí)裝了多個(gè)Python環(huán)境建議用虛擬環(huán)境工具比如conda或venv給這個(gè)項(xiàng)目單獨(dú)開一個(gè)環(huán)境。虛擬環(huán)境相當(dāng)于給項(xiàng)目一個(gè)獨(dú)立的“小房間”里面裝的庫(kù)互不干擾以后出問題了直接扔掉重建比在全局環(huán)境里折騰省心得多。這也是我踩過坑之后才養(yǎng)成的習(xí)慣——曾經(jīng)因?yàn)槿汁h(huán)境里某個(gè)庫(kù)版本沖突連續(xù)兩次安裝失敗后來一律開新環(huán)境再?zèng)]遇到過這個(gè)問題。4.3 讀懂h5數(shù)據(jù)項(xiàng)目里的第一道關(guān)卡安裝好環(huán)境之后你碰到的第一個(gè)實(shí)際障礙大概率是數(shù)據(jù)集文件。這套資源的所有數(shù)據(jù)都打包在.h5文件里新手看到這種格式往往不知道從哪下手。簡(jiǎn)單說.h5就是一種可以同時(shí)存儲(chǔ)多個(gè)數(shù)組的文件格式里面數(shù)據(jù)按“鍵值對(duì)”組織類似一個(gè)字典。要查看文件里有哪些鍵用h5py寫幾行代碼就行import h5py # 先打開文件看看里面存了什么 with h5py.File(1第一周/datasets/train_signs.h5, r) as f: print(list(f.keys()))運(yùn)行后你會(huì)看到類似[train_x, train_y]這樣的鍵名列表。這時(shí)你再讀取就順理成章了import h5py import numpy as np with h5py.File(1第一周/datasets/train_signs.h5, r) as f: X np.array(f[train_x]) # 圖像數(shù)據(jù) y np.array(f[train_y]) # 標(biāo)簽 print(X.shape, y.shape)打印出來的形狀信息非常重要一般你會(huì)看到(樣本數(shù), 高, 寬, 通道數(shù))這種結(jié)構(gòu)。這里埋伏著新手最容易踩的一個(gè)坑h5文件里存的圖像維度順序是“高、寬、通道”而PyTorch的卷積層要求輸入是“通道、高、寬”。如果你不管三七二十一直接把數(shù)據(jù)喂給模型會(huì)立刻報(bào)維度錯(cuò)誤。解決辦法是交換軸的順序代碼寫成X np.transpose(X, (0, 3, 1, 2))同時(shí)再除以255做歸一化。項(xiàng)目里的utils文件通常已經(jīng)把這些工作封裝好了所以新手第一周直接用現(xiàn)成的加載函數(shù)最穩(wěn)等你理解了這個(gè)步驟再自己去寫也不遲。5. 避坑指南搭CNN和ResNet最容易翻車的五個(gè)坑代碼看得再多不如自己報(bào)錯(cuò)一次學(xué)得快。我下面列出的五個(gè)坑幾乎每個(gè)新手都會(huì)踩中至少兩三個(gè)每一個(gè)我都會(huì)按“現(xiàn)象→原因→解決”的順序講清楚你碰到時(shí)可以一條條對(duì)著排查。5.1 環(huán)境與路徑還沒開始訓(xùn)練就卡住的兩個(gè)坑坑1找不到數(shù)據(jù)集文件。現(xiàn)象是運(yùn)行test.py時(shí)拋出FileNotFoundError提示找不到datasets/train_signs.h5。原因是代碼里寫的是相對(duì)路徑而你是從別的目錄啟動(dòng)腳本的Python按照當(dāng)前工作目錄去找文件自然找不到。解決方法是先確認(rèn)你當(dāng)前的運(yùn)行目錄在代碼里加一行import os; print(os.getcwd())看輸出是不是項(xiàng)目所在目錄如果不是用os.chdir(項(xiàng)目絕對(duì)路徑)切換過去或者把數(shù)據(jù)路徑改成絕對(duì)路徑。另外提醒一句文件夾名帶了“1第一周”這種中文極少數(shù)情況下在某些開發(fā)環(huán)境會(huì)出編碼問題穩(wěn)妥的做法是進(jìn)到文件夾內(nèi)部運(yùn)行不要從外部拼接層次過深的路徑???提示缺少模塊?,F(xiàn)象是報(bào)ModuleNotFoundError: No module named h5py或類似錯(cuò)誤。原因很簡(jiǎn)單新環(huán)境里沒有安裝全依賴庫(kù)。解決方法是執(zhí)行pip install h5py補(bǔ)齊缺失的庫(kù)。但我更推薦的做法是不要挨個(gè)手動(dòng)裝先把環(huán)境中已裝的庫(kù)導(dǎo)出成清單文件以后換電腦直接一鍵還原。如果你發(fā)現(xiàn)torch裝好后導(dǎo)入報(bào)錯(cuò)先檢查是不是裝成了CPU版本但想用GPU或者反過來入門階段統(tǒng)一裝CPU版本即可省去一堆CUDA配置問題。5.2 維度與數(shù)據(jù)格式一跑就報(bào)錯(cuò)的經(jīng)典原因坑3矩陣乘法維度不匹配。現(xiàn)象是訓(xùn)練腳本跑到forward時(shí)報(bào)RuntimeError: size mismatch。原因大多是你改了網(wǎng)絡(luò)結(jié)構(gòu)或輸入圖片尺寸但全連接層的輸入維度沒有跟著算清楚。我在第2章說過全連接層的輸入等于“最后一個(gè)池化層輸出的特征圖數(shù)量×寬×高”這個(gè)值只要卷積、步長(zhǎng)、池化任何一處改動(dòng)數(shù)字就會(huì)變。解決方法是給網(wǎng)絡(luò)寫一個(gè)“維度探測(cè)”流程在forward里臨時(shí)插入print(x.shape)跑一次就能看到每一層輸出的實(shí)際尺寸確定后再把數(shù)字填進(jìn)全連接層。剛學(xué)的時(shí)候覺得加print很笨但它比閉眼硬算快得多。坑4圖像數(shù)據(jù)的維度順序不對(duì)?,F(xiàn)象是數(shù)據(jù)能加載但送給模型時(shí)shape是(64, 64, 3)而模型期望(3, 64, 64)報(bào)錯(cuò)信息看起來像“Expected 4D input, got 3D input”。原因是h5文件里存的是“高、寬、通道”順序而PyTorch卷積層要的是“通道、高、寬”。解決方法是做一次軸交換np.transpose(X, (0, 3, 1, 2))把通道維從最后挪到第二位。這也是項(xiàng)目里utils文件的核心功能之一所以你用現(xiàn)成函數(shù)時(shí)會(huì)覺得很順自己重寫時(shí)就容易翻車。5.3 訓(xùn)練不收斂跑起來了但loss不降坑5loss一直不下降。現(xiàn)象是訓(xùn)練了好幾個(gè)epoch損失函數(shù)值幾乎沒變準(zhǔn)確率還在瞎猜的水平。原因通常是下面幾個(gè)中的一個(gè)輸入數(shù)據(jù)沒歸一化像素還停留在0~255、學(xué)習(xí)率設(shè)得太離譜太大震蕩、太小蝸牛、或者輸出層接法有問題。解決方法是按順序排查檢查輸入數(shù)據(jù)有沒有除以255把學(xué)習(xí)率調(diào)到0.001這個(gè)常用起點(diǎn)如果用了CrossEntropyLoss交叉熵?fù)p失網(wǎng)絡(luò)最后一層不要再額外加softmax因?yàn)檫@個(gè)損失函數(shù)內(nèi)部已經(jīng)包含了softmax操作重復(fù)加會(huì)導(dǎo)致梯度異常。如果你想讓實(shí)驗(yàn)結(jié)果可復(fù)現(xiàn)還可以在代碼開頭加上torch.manual_seed(42)固定隨機(jī)種子這樣每次跑出來的結(jié)果基本一致不會(huì)出現(xiàn)“明明沒改代碼效果卻忽好忽壞”的玄學(xué)情況。6. 下一步怎么學(xué)從跑通代碼到真正吃透ResNet到這里你已經(jīng)知道CNN和ResNet是什么關(guān)系也能看懂資源里的文件結(jié)構(gòu)了。接下來的學(xué)習(xí)路徑我建議你按下面這張表的順序走步驟任務(wù)目標(biāo)第一步運(yùn)行第一周的test.py完整走通“加載數(shù)據(jù)→訓(xùn)練→測(cè)試”流程第二步精讀cnn_utils.py讀懂?dāng)?shù)據(jù)加載和參數(shù)初始化細(xì)節(jié)第三步自己寫一個(gè)SimpleCNN不看源碼也能搭出CNN第四步運(yùn)行第二周的ResNet代碼感受殘差塊的訓(xùn)練效果第五步改寫一個(gè)BasicBlock能解釋每一行在干嘛每一步的驗(yàn)收標(biāo)準(zhǔn)都很明確能跑通且能向別人講清楚代碼在做什么。特別是走到第四步時(shí)建議你在同一份手勢(shì)數(shù)據(jù)集上分別用第一周的CNN和第二周的ResNet訓(xùn)練對(duì)比兩者的最終準(zhǔn)確率和loss曲線。你大概率會(huì)發(fā)現(xiàn)ResNet收斂得更穩(wěn)、準(zhǔn)確率更高——這種“親手看到差距”的體驗(yàn)比背十遍理論都管用。走完基礎(chǔ)流程后可以試著把數(shù)據(jù)集換成train_happy.h5做一次笑臉識(shí)別。這仍然屬于分類任務(wù)但數(shù)據(jù)分布變了你會(huì)被迫去檢查維度、類別數(shù)、歸一化方式這些細(xì)節(jié)。接著可以挑戰(zhàn)一下傳說中的ResNet-18它其實(shí)就是把你學(xué)過的BasicBlock串聯(lián)4組每組分別重復(fù)2次再接全連接層。你在第3章見過的每個(gè)零件到這里全部派上用場(chǎng)。如果想更進(jìn)一步試著把學(xué)習(xí)率從0.001改成0.0001或者把batch size從32改成64觀察訓(xùn)練曲線變化建立對(duì)超參數(shù)的“手感”。最后說點(diǎn)我自己的教訓(xùn)。剛上手時(shí)我總喜歡跳過看數(shù)據(jù)這一步拿起來就訓(xùn)練結(jié)果經(jīng)常被維度報(bào)錯(cuò)和loss不降折騰一晚上。后來我強(qiáng)制自己每次拿到新項(xiàng)目先打印數(shù)據(jù)shape、再打印標(biāo)簽類別數(shù)、最后才寫模型。這個(gè)習(xí)慣讓我少走了很多彎路。從那以后每次拿到新項(xiàng)目我都會(huì)先走一遍這個(gè)流程再開始跑代碼。希望幫到你——現(xiàn)在放心地去跑你的第一個(gè)test.py吧跑通的那一刻你會(huì)覺得這一切并不難。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天成人综合视频| 日本精品人妻无码77777| 日逼AV影音先锋男人资源站| 五月天婷婷网站888| 五月色婷婷影视在线电影| 婷婷草| 五月天激情影院| 日本黄 色 片| 久久激情视频| 激情文学五月丁香六月婷婷| 99无码视频| www.色色com| 夜夜操夜夜爽| 日本高清综合网五月丁香| 激情五月影院| 色婷婷色综合激情91| 久久99热这里| 乱码操操| 婷婷五月六月| 深爱五月天天| 色五月天综合网| 成人五月天。COM| 亚洲五月天,激情视频| 特级片神马电影| 五月香婷婷| 偷拍九九热| 久热大香蕉| 五月丁香五月激情综合色综合| 超碰97免费在线| 国产熟妇乱子伦hd| 五月天婷婷一起草| 色综合丁香婷婷| 免费看欧美成人A片无码| 色婷婷五月天成人网| 亚洲mm色| 99热在线看| 婷香狠狠爱五月| jiujiu无码五区| 五月丁香婷婷综合| 精品9久| 性五月激情| 天天影院色| 午夜不卡久久精品无码免费| 成人五月丁香社区| 综合网天天| 青青草视频免费观看| 久久婷狠狠色| 综合色播| 丁香五月玖玖| 天天舔天天插天天干| 伊人婷婷五月天| 久热爱大香蕉在线蜜臀悦色| 久久久久99精品成人片| 天天爽天天爽| 无码九九| 久久性爱视频| www,色婷婷| 天天摸天天日天天舔| 97在线精品| 亚洲婷婷丁香| 婷婷五月天视频| 极品人妻VIDEOSSS人妻| 丁香综合伊人| 激情五月综合婷婷| 97在线精品| 66成人网| 97人人干。| http://www.lingjunshare.com/| 99在线精品观看99| 久9热| 丁香五月婷婷大香蕉| 日本性视频| 日本在线免费中文com.| 97自拍视频在线| 九九热re99re6在线精品| 国产午夜精品久久久观看| 人妻丰满精品一区二区A片| 狠狠搞五月天| 久久久18| 妇激情基地| 婷婷色婷婷| 久久月天堂| 天天日夜夜夜操操操操| 日日做A爰片久久毛片A片英语| 99热国产精品| 色丁香五月婷婷| WWW·色色色·COM| 超碰人人干| 大香伊人婷婷影院| 丁香五月香蕉| 六月丁香婷婷大香蕉| 丁香五月天啪啪激情综和网| 国产成人精品一区二三区熟女在线| 大香蕉综合网| 99热精品中文字幕| 毛片网站谁有| www.zbzhongsen.com| 久久草大香蕉| 天天狠狠夜夜狠狠2023| 婷婷丁香69精华| 99综合久久| www.日本91| 五月丁香六月情| 啪啪视频99| 六月婷婷影院| 青青久久五月| 婷婷五月天六月| 乱精品一区字幕二区| 六月丁香基地| 国产成人精品一区二区三区视频| 97色伦另类图片小说视频 | 51XX午夜影福利| 国产AV不卡福利| 99热免费看| 亚洲色频| 九九精品在线观看视频6| 99@久久@99精品视频| 天天狠狠色综合| 丁香五月激情图片婷婷| 婷婷五月成人系列| 国产4P视频精品五区| 九九無妻| www.五月天色色.com| 中文成人在线| www久久99| 欧美日韩999| 久久亚洲婷婷| 狠狠色婷婷| oumeisesewang| 天天做天天爱天天爽| 思思久久精品视频| 欧美搡BBBBB摔BBBBB| WWW五月天| 国产午夜精品一区二区三区嫩草| 丁香五月六月婷婷综合激情| 六月综合婷婷开心伊人| 亚洲av综合网| 婷婷综合在线| 国产激情久久| 夜夜做天天爽| 97婷婷丁香五月综合| 六月综合在线| 91色综合网| 七七九色| 9.1综合网| 五月婷婷婷婷| 无码四色色色| 丁香婷婷五月份| 天天舔日日肏夜夜爽| 国产av网| 色色无码| 丁香六月久久| 大战熟女丰满人妻AV| 激情综合网 激情五月天| 91黄色五月天视频| 在线观看免费狠狠色丁香香综合| 丁香五月色情| 国产精产国品一二三在观看| 五月天六月婷婷电影| 超碰免费电影| 99精品自拍| 亚洲一个色| 亚洲欧洲另类| 第四色首页| 99免费偷拍视频| 综合99综合久久久久久久| 色丁香久久| 超碰91在线| 五月的丁香六月的婷婷| 丁香色影院| 91婷婷色五月| 日本五月婷婷久久久六月丁香| 综合色色五月| 丁香久久五月婷综合| 日木狠狠干| 激情内射人妻1区2区3区| 97丁香五月| 成人AV中文字幕| 开心激情网五月天| 丁香婷在线| 99免费在线视频| 色五月大香蕉| 激情5月天天天| 狠狠情色| 久久久天堂国产精品女人| 99热在线观看亚洲区| 97干97色| 五月丁香直播| 色婷婷瘦婷婷日韩| 精品国产AV色一区二区深夜久久| 丁香五月冃欧美| 婷婷五月色色| 国外亚洲成AV人片在线观看| 天天激情欧美美女| 久久99这里只有精品| 1024国产在线| 婷婷久久99| 在线VA视频| 热久91| 色综合综合色| 5月丁香六月婷婷| 欧美超级视频97| 可以免费观看的av| 99视频精品在线| 激情综合网五月在线播放| 日本啪啪视频HD| 能看的av| 五月天无码视屏播放| 99热色综合| 丁香婷婷久久 | 女人天堂av| 色婷婷影音| 五月婷婷色五月| 99久久精品网| 亚洲av免费在线| 超碰在线免费观看日韩| 综合色图区| 6080av| 日本久久精品18| 天天拍天天操| 99A片| 337p大胆噜噜噜噜噜91Av| 大色鬼综合| 97在线刺激| 婷婷五月精品在线| 热九九精品| 日本三级日本黄色| www99热| 五月激情站| 狠狠88综合久久久久噜噜噜| 日本久久性| 久久激丁香| 99人人干| 五月丁香777| 色婷婷五月基地在线| 婷婷九月狠狠色| 五月婷婷色欲| 色情五月综合婷婷| 久热AA| 天天插天天| 久/久精品99看9| 97AV人人插人人操| 中文字幕无线久必| 五月激情天| 狠狠狠狠狠狠色| 五月丁香色婷婷基地| 大香蕉五月天婷婷| 伊人玖玖综合| 超级碰碰碰久久网站视频| 99碰碰| 五月激情网站| 亚洲精品婷婷| 五区毛片七区毛片| 99成人精品| 97人妻碰碰碰久| 狠狠色狠狠爱| 九九精品丁香花| 99综合免费视频| 伊人玖玖精品| 五月天国产| 国产片色| 色婷婷婷婷成人网| 熟女色专区| 一起草无码| 99精品久久久久久| 五月婷婷视频| 亚洲精品一区中文字幕乱码| 99在线观看视频| 99视频精品全部观看10| 久狠日av| 天天日天天日天天搞| 国产色丁香| 在线观看的av| 中文字幕综合| 亚洲av无码精品色午夜| 色开心五月丁香| 清纯唯美 激情四射| 九九亚洲视频| 国产欧洲欧洲精品久久| 热久久99热欧美国产亚洲| 丁香五月激情综合| 六月激情综合| 丁香激情五月| 99热这里只有精品99| 久久这里有精品视频| 久热这里只有精品99re,久热这里只有精品7| 这里只有精彩小视频视频网站| 久久久久8888| 天堂爱啪啪| 人妻中文字幕网| 91夫妻网站九色| 国产乱妇乱子在线播视频播放网站| 婷婷五月天色播| 国产91视频| 九九人人精品| 国产激情av| 激情五月天色播| 丁香婷婷成人网| 丁香五月在线视频黑人| 人妻肉射免费观看| 深爱激情网噜噜色| 六月色国内综合| 丁香五月婷婷色五月| 日本色噜| wwxx日本| 人人玩人人橾| 99久久国产成人精品| 激情五月,色五月| 99视频内射三四| 97在线视频人妻九色| 99精品在线观看视频| www.yw色| 一起草无码| 丁香久月婷| 五月婷婷综合性爱噜噜| 丁香五月色网| 色色五月天丁香| 亚韩在线视频| 亚洲成人免费电影| 婷五月天天| 九九人妻福利| 国产精品久久在线观看技巧| va婷婷在线免费观看| 五月丁香天天| www,色中色| 久久婷婷一级片| 五月婷婷久久网| 久久aaaa片一区二区| 99热精品6| 五月天婷婷无码视频| 久热播这里只有精品| 激情久久综合网| 五月天久久丁香| 婷婷丁香在线播放| 欧美精品18| 色五月欧美| 成人婷99最新| 丁香五月天视频| 五月丁香影视| 香蕉久日夜| 日韩久久日| 五月天激情图片网| 成人电影AV在线观看| 另类亚洲视频| 91九九| 久热精品视频在线观| 天天天操天天天爰| 五月噜噜| 婷婷五月天电影网| 99操久久| 婷婷久久综合| 天久综合91综合首页| 久久九九99视频| 亚洲第二AV| 日韩精品成人在线| 色色综合色视频| 日日干综合| 天天操天天爱天天玩| 色五月天在线观看| 色婷婷免费观看| 婷婷五月婷婷| WWW色五月| 青青操丝袜美腿| 成人电影在线免费试看| 狠狠色狠狠干| 丁香五月激情图片| 久久精品系列| 久久99久久99久久99人受| 日本欧美成人片AAAA| 五月婷婷综合在线视频| 亚洲天堂大香蕉| 国产精品久久99| 婷婷激情区| 丁香五月六月婷婷殴美综合| 日韩九区| 欧美成人猛片AAAAAAA| 五月婷天堂视频| 亚洲综合婷婷五月| 超碰免费在线| 天天看片日日夜夜| 婷婷五月精品在线| 99色一| 日在线V视频在线播放| 久久久婷丁香五月| 五月丁香六月婷婷亚洲| 5月婷婷激情网| 色99视频| 99碰碰| 丁香五月天社区| 亚洲欧洲中文日韩久久AV乱码| 风流少妇A片一区二区蜜桃| 人与禽A片啪啪| 日韩AAAAA| 欧美黄色AA片哗啦啦啦| 婷婷五月天av| 激情综合网五月激情| 99热啪啪| 淫视馆av三区| 色狠狠999综合| 婷婷五月激情四月综合| 6月丁香婷婷激情| 亚洲99在线| 久久婷婷五月免费视频| 激情婷婷久久| 丁香九月激情| 狠狠干.com| 色吊丝99| 久久婷丁香五月| 天天插天天狠| www激情网| 色五月天成人| 亚洲成人综合在线| 超碰在线免费观看日韩| 久久码久久无清| 丁香色五月 97干| 狠狠操天天操天天操| 热99精品视频| 伊人久久99| 亚洲另类在线观看| av超碰在线| 9久国产| 成年AAAA色情| 精品亚洲VA网站| 久九色| 中文字幕按摩做爰| 午夜日韩久久久网站| 色啪综合| 五月丁香色婷婷基地| 婷婷五月综合体验看| 激情五月婷婷网| www久久久久久久久久久| www.99精品视频| 丁香九月激情| 天天拍久久| 天天天在线观看| 色色色999| www.com在线操视频免费观看| 夜夜 操无码| 激情综合网,五月| 国产婷婷色综合AV蜜臀AV| 亚洲综合99| 日本综合99| 91疯狂操操操操| 激情五月综合色婷婷| 亚洲美女婷婷五月天| 成人欧美Va| 精品久久人妻| .精品久久久麻豆国产精品| 精品一区二区三区三区| 婷婷的激情五月| 九九热免费| 亚洲午夜AV| 色色五月天 亚洲| 亚洲AV综合在线观看 | 狠狠操天天操综合| 99在线免费视频| 丁香五月色| 五月激情久久| 日本的α片xxxwww| 日狠狠| 4399成人黄A片| 久久日曰| 狠狠色狠狠鲁| 美女精品一级不卡视频| 激情五月天久久| 婷婷综合精品| 天天色综合综合| 丁香九月婷婷| 婷婷九月丁香中文| 色色99色色| 伊人五月天在线| 亚洲视频在线观看| 久久婷五月综合| 欧美色色色色色色色色色色影视| 色五月婷婷在线| 九九99九九精品免费 | 天天做天天爽| 久草网大香视频| 思思99精品视频在线观看| 五月婷激情| 欧美大片| 五月婷婷天堂| 人人干av| 无码激情AAAAA片-区区| 99色中文| 天天综合天综合| 99精品无码| 色九月国产| 五月色丁香婷婷中文字幕| 色婷婷五月天偷拍| 亚洲亚洲人成综合网络| 婷色五月| 五月婷丁香| 年轻的妺妺伦理HD中文 | 天天色播| 久草热在线视频| 久久AV无码精品人妻系列试探| 丁香六月婷婷综合| 综合成人小说婷婷| 六月激情婷婷| 国产欧美大香蕉一区| 亚洲激情无码久久| 碰碰女| 中文字幕综合色| 夜夜骑日日夜夜| 国产成人综合网| 精品久久婷婷| 另类激情五月天| 蜜桃五月天| 婷婷天堂综合| 成人视频婷婷| 狠狠久久婷五月综合色| 天堂美国久久| 99热国产国产| 五月天婷婷在线视频| 丁香5月激情网| 中文字幕AV在线播放| 大香蕉啪啪网| 久久97| 日本九九九九| 五月天社区| 日日婷婷不卡| 最新婷婷五月丁香| 五月天激情婷婷久久| 日韩aⅴ视频| 丁香五月天色婷婷| 色婷婷69| 99热这里只有精品中文字幕| 人妻性爱| 婷婷五月天色| 深爱激情九九五月天 | 九九黄色网| 91丨九色丨高潮丰满日本| 五月婷婷激情综合| 深爱五月激情综合| 激情内射人妻1区2区3区| 亚洲色婷婷激情| 俺也去五月婷婷丁| 五月丁香花开综合网| 69久久久| 久久精品五月天| 色色色色五月天| 亚洲精品V天堂中文字幕| 91人操人人人操人| 另类激情中文| 99热官网精品在线| 狠狠狠狠狠狠狠狠| 激情五月,激情综合网| 五月天成人手机在线视频| 韩国婷婷丁香五月| 九九九午夜影院成人| 色五月激情五月丁香五月婷婷啪啪综合 | 99热99在线精品| www.婷婷com| 国产真实乱对白精彩| 中文字幕丰满孑伦无码专区 | 久久92| 久久婷婷成人综合色怡春院| 99久久6| 无码任你操| 妻久久人久久| 99视频自拍| 中文字幕 码精品视频网站| 天天插天天狠| 99热国产精品| 婷婷色女| 99久久婷婷综合| 五月丁香婷婷AV| 丁香激情网| 五月天激情小说| 五月婷婷丁香狠狠撸久久| 人人超碰99| 99re热视频这里只精品| 亚洲色综合性| 噼里啪啦完整版中文在线观看| www.色擼擼.com| 婷婷色九月| 亚洲婷婷五月天| 成人丁香婷婷| 亚洲国产精品成人免费一区久久久在线观看AAAA | www.激情| 无码人妻一区二区三区免费九色| 免费AV在线| 亚洲人妻av| 婷婷精品综合| 日本女天天爽| 天天网曰日曰夜夜综合永久免费| 丁香婷婷五月综合色情| 亚洲精品小视频| 国产九九一区二区三区| 国产精品美女久久久久AV超清| 99re6久热只有精品6在线直播| 99在线er热| 婷婷五月丁香色播| 国产日产亚系列精品版优势| 丁香五月六月婷婷综合| 六月婷婷影院| 九九九热精品| 五月婷婷黄色毛片| 亚洲成人电影aaaa| XX色综合| 五月婷婷开心丁香| www.久久9| www久久99| 日韩色色小视频| 丁香五月婷婷欧美性爱| 夜夜骑夜夜撸| 婷婷五月丁香六月| 日日夜夜狠狠| 久久66成人网站| 青青操成人福利| 97色在线观看视频| 日韩 欧美 国产 一区 二区| 五月桃花网综合| 99久久玖玖| 国产.亚洲.欧洲视频在线| 狠狠操狠狠插| 五月丁香六月合| 六月天六月婷| 天堂久久婷婷| 五月亭亭色| 色婷青青| 五月天婷婷综合网| 激情网站五月| 五月天色影院| 超碰人人插| www.色色五月天.com| 任你草| 亚洲性图一区二区| 九九性爱网| 热99这就是精品视频| 日韩啪图| 九九99九九99九九99视频网| 插插五月天| 午夜丁香综合婷婷| 白人荫道BBWBBB大荫道| 99久久久精品| 婷婷九月色| 欧美激情-区二区三区| 99精品视频偷拍| 风流少妇A片一区二区蜜桃| 9热在线视频精品| 五月六月播婷婷| 夜夜综合色| 国产激情综合| 99日本视频| 婷婷五月色| 久热只有这里精品| 六月激情婷婷| 99热亚洲综合| 五月天社区| 91人人爽久久涩噜噜噜| 五月天婷婷久久| 婷婷五月丁香香蕉| 五月婷婷综合色拍| 青青草伊人婷婷| 天天插天天射| 丁香婷最新动态| 9色在线| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | 婷婷五月丁香99| 日韩成人电影AV| 五月开心婷婷| 91丨九色丨东北熟女| 婷婷中文字幕网站| 婷婷综合激情| 久久开心五月天激情| 久久久久久激情| 婷婷丁香五月综合网| 97干视频| 野战毛片三一3| av亚洲国产小电影| 丁香亭亭久久| 超碰97免费在线| 国产av天天插天天操天天爽| 激情网站五月| 五月婷婷真爱激情网| 午夜天堂一区人妻| 色婷婷五月综合| 五月丁香五月婷婷在线观看| 99久久九九视频| 五月丁香无码| 综合网亚洲| 9热网站| 2017人人操| 都市激情小说婷婷| 婷婷色综合| 婷婷五月天成人导航| 人妻啪啪啪| 曰本久久女| 日本色婷婷综合| 亚洲激情AV| 超碰97在线观看免费| 人妻系列久久久久久久久久久| www,com,五月色色| 91日综合欧美| 岛国av电影网站| 色五月综合激情网| 月月AV| 大香蕉久| 综合www色| 激情都市五月天| 99热在线观看| 色情性爱视频网址| 色婷婷中文在线| 五月天AV大香蕉| 天天做天天摸| 五月婷婷丁香91| 婷婷丁香色五月天久久88| 97干在线| 97碰成超视频免费视频| 色五月婷婷五月天| 就爱日五月天| 伊人五月成人| 成人无码免费一区二区中文| 丁香五月激情综合在线观看| 亚洲精品又粗又大又爽A片| 五月天婷婷网站| 8090在线影视少妇| 欧美日韓成人亚洲精品另类| 久久五月丁香| 色视五月天婷婷| 九月丁香亭亭| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 五月婷婷六月丁香综合在线| 久综合色| 激情五月婷婷丁香综合网| 99国产小视频免费观看| 97碰碰人人| 狠狠色丁香久久婷婷综合五月| 久久加勤综合| 国产无遮挡又黄又爽免费网站| 天天干夜晚夜操| www.色九月| 五月激情婷婷六月| 丁香婷婷色五月合集| 这里只有精品99视频| 九九热超碰| 五月天天堂久久| 丁香五月性| 婷婷性福五月天| 婷婷天天婷婷天天澡| 五月综亚洲| 超碰国产在线| 97色干| 亚洲一级AV在线免费播放| 2021日韩无码| chaopengdaxiangjiao| 亚州美女| 五月天婷婷久久视频| 色欲天天综合| 青草五月天| 婷婷色网站| 五月婷婷色吧!| hd五月婷婷在线| www.狠狠色.com| 色婷丁香五月| 成人五月天色天堂| 天天搞夜夜叫| 99视频精品视频| 天天色综合色色色色色。| 淫荡家庭AV| 丁香色五月 97干| A1片久久久| 9福利性视频欧美| 久久看婷婷| 国产性爱一级| 操碰久| 五月天婷婷社区久久综合| 无码一级片| 99ri国产精品| 大香蕉人人网| 99热高清在线| 色偷偷色婷婷| 婷婷丁香五月天影院 | www.第四色99| 清纯唯美 激情四射| 一本色综合色| 思思re最新视频| 97超碰,人人舔,人人操,人人摸| 99国产精品白浆在线观看免费| 双性美人被调教到喷水A片| 99色在线| 性一交一乱一交A片久| 国产一二区爆乳_1国产日韩一区二区三-成人AV| 99热18| 色99色| 日本欧美成人片AAAA| 国产精品久久久久久久久久| 久久综合久色欧美综合狠狠| 男人的天堂婷婷色五月| 色呦呦在线| 99玖玖精品| 伊人久久大香天蕉亚洲特级| 久久人妻精品| 深夜婷婷五月丁香| 久久婷婷电影| 久久性爱视频| 五月婷婷久久内射| 五月天久久激情| 99在线69| xx色综合| AⅤ在线播放网| 欧美久久婷婷| 丁香五月婷婷88在线| 久久青草国| 99热在这里只有精品| 6080av| 操逼三区| 伊人综合网站| 97色啪| 5月婷婷综合| 久久天堂婷婷五月| 狠狠色综合网站久久久久| 激情五月天www| 色色五月天网站| 久9热视频在线| ..真实国产乱子伦对白在线_欧| 色噜噜狠狠狠狠色综合久欧美| 婷五月天| 国产精品操| 天天操天天爱天天日| 久久成人综合五月天| 九九这里都是精品| 四月婷婷五月丁香| 国产婷婷色五月| 丁香五月婷婷社区| 综合五月婷婷| 色色射| 夜夜人妻五月天| 亚洲色婷婷久久99精品91| 99热超碰| 超碰猛烈的性猛交| 久久人妻情侣| 激情六月婷婷| 特黄三级又爽又粗又大| 99精品在这里| 天天操婷婷| 丁香5月综合啪啪| 91色在线 | 日韩| 99久久人妻精品无码二区| 亚洲操精品| 久久开心五月婷婷| 久久久思思热| 婷婷久久婷婷| 内射爽无广熟女亚洲| 色色激情五月| 99乱视频| 激情五月六月婷婷综合啪啪| 六月婷婷综合激情| A片天天| 婷婷五月色综合| 丁香五月天成人| 日日爱678| 色综合婷婷| 思思热闹这里只有精品| 开心激情站婷婷五月天| 色九月婷婷丁香| 欧美操人| 色婷婷玖玖影院| 99re熱| 欧美啄木乌丝袜人妻系列| 九九热精品视频在线观看| 这里只精品| 久久电影4399| 9精品视频在线| 九一九九黄色| 亚洲无码性爱| 国产99久| 久久伊人五月天| 狠狠狠狠狠狠色| 婷婷丁香激情综合色情| 天天色综合色| 婷婷六月激情小说网| 91精品又长又大又粗又爽又猛| 99网址在线观看| 国产一级片| 丁香五月婷婷色| 人妻aV在线| 尔尔AV一区| 婷婷色系婷色| 99久热这里有精品| 99久久久99久久91熟女| 在线观看亚洲视频影院| www久久久久| 五月做爱| 97热91| 欧美在线| 丁香六月色婷婷| 亚洲熟妇AV乱码在线观看| 91疯狂操操操操| 五月婷婷co.m| 在线色色| 九九九九九九热| 777久久综合视频| 五月丁香六月婷婷网| 丁香五月天视频| 久久大香蕉伊人| 99久久五月天| 中国女人内射6XXXXX| 深爱五月激情五月| 狠狠色婷婷777| 色五月激情五月天| 欧美色宗和激情| 日韩黄色电影| 亚洲第一综合| 五月婷视屏在线观看| av免费人人| 亚洲色综久久五月| 色综合色欲综合天天免费| 一區四區歐美日韓| 婷婷五月天视频在线观看| 袁子仪视频观看| 噜噜噜噜噜在线| 七七九九色色| 色色五月丁香| 婷婷激情五月综合| 色五月之第四色| 色婷婷五月影视| 六月丁香婷婷五月天| 玖玖爱综合网| 欧美六月| 婷婷伊人綜合中文字幕小说| 色噜噜狠狠色综| 欧美噜噜久久久XXX| 久久久久8888| 成 久久| 在线播放成人网站| 婷婷激情九月| 。久久久久久久久久久久久久人妻| 激情丁香五月婷婷| 日韩精品一品二区三区的使用体验 | 五月色婷婷亚洲 | 婷婷深爱五月丁香网| 视频这里只有精品16| 天天干天天日日| 好好干av| 五月丁香在线婷婷蜜桃| 99性爱无码| 九九热手机在线视频| 九九视频这里只有精彩| 激情丁香图片| jiZZdr| 久9视频| 可以看的AV| 欧美丰满熟妇BBB久久久| 香蕉AV777XXX色综合一区| 色啪久| 欧在线一区| www综合久久| 超碰9在| 久久hd| 天天爱天天做天天日| 97色色色色| 色狠狠六月| 婷婷激情社区| 天天干天天干天天| 日本九婷婷| 噜噜视频| 国产无套精品一区二区| 九九婷婷激情综合网| 9l久久久视频| 五月伊人综合| 大香蕉520| 啪啪丁香五月| 国产精品色色| 99热一本久道| 婷婷五月天亚洲精品| 亚洲中文字幕在线观看| 亚洲另类婷婷五月丁香在线播放| 激情综合婷婷| 亚洲欧洲中文日韩久久AV乱码| 99热国品| 五月色激情综合网| 亚洲成人无码网站| 激情五月天婷婷图| 这里只有视频精品| 激情五婷网| 91九色国产熟女| 99在线观看精品视频| 成人做爰A片免费看视频| 天天综合网~91| 久99久精品| 国产亚洲99久久精品| 婷婷六月久久| 99热九九热| 久久五月激情综合| 日本猛少妇色XXXXX猛叫| 日日操无码| 99热最新| 五月婷婷co.m| 先锋资源91| 99在线观看| 欧美三级韩国三级日本三斤| 久久久人妻不卡| 99在线观看免费精品视频| 丁香五月天激情网| 四色五月婷婷| 亚洲av电影在线| 五月丁香激情四射| 亚洲99激情| 丁香五月天资源网| 色99网| 日韩AV免费| 俺来也综合网精品一区| 中出内射的人妻视频| 丁香五月六月婷婷综合| 婷婷五月天激情网| 任你搞在线观看视频| 99热这里只有99| 啪到高潮激情丁香五月| 五月天婷婷基地| 中文字幕日产A片在线看| 9色免费网| 婷婷综合五月天激情| AA丁香综合激情| 日韩丰满少妇无码内射| 九九re精品视频在线观看| 五月丁香六月婷婷综合免| 五月天成人免费视频| 日韩aaaaa| 啪啪九九色| 无码地址| 五月第四色| 99热精品在线播放| 成人国产网| 亚洲精品99| 丁香婷婷六月激情综合| 九九这里都是精品| 激情婷婷22月间| 狠狠看狠狠| 99在线免费视频| 国产成人一区二区三区在线观看| 免费看成人747474九号视频在线观看| 天天日日人| 精品久久久人妻| 婷婷日韩| 丁香五月激情五月| 99碰超| www激情| 亚洲狠狠狠色婷婷综合激情久久久| 丁香五月大香蕉在线99| 99热6这里只有精品| 综合色吧| 色婷婷A| 日本色色网| 精品人妻伦九区久久AAA片| 5月丁香六月情| 狠狠干狠狠操狠狠爱| 久久久精品色| 激情综合五月婷婷| 成人网站免费在线播放| 久久人妻高清中文| 亭亭五月丁香五月天激情| 新激情综合| 丁香婷婷综合激情五月色| 日本九九九九| 日本久久性| 丁香六月婷婷综合| 丁香五月激情综合久久| 99热精品在线| 亚洲美女网Va| 99精品成人无码A片观看金桔| 狠狠人妻色综合| 日本久久爱| 亚洲乱码日产精品BD| 色色色色色色色综合| 婷婷五月,偷窥偷拍网| 婷婷天堂伊人| 人人人人人人人草| 欧美韩国日本| 思思热久在线观看视频| 日本99久久| 日韩av在线播放综合网| 天天天摸夜夜夜玩| 人妻内射视频| 五月婷婷啪啪网| 五月婷婷六月天| 9l久久久视频| 99这里只有精品99| 超碰国产在线播放| 五月丁香色婷婷伊人| 99热这里只有精品9| 丁香激情四射| 婷婷开心激情| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 欧美精品啪啪| 小视频久久久aaa| 岛国AV网站| 久操大| 任你躁XXXXX麻豆精品| 99热九九热| 五月天激情四射| 超碰永久在线| 欧美婷婷五月丁香| 亚洲五月情| 久久东京热婷婷五月| 99热青青草| 五月婷久久草| 综合网激情| 成人免费网站免费看| 日本高清综合网五月丁香| 香蕉色色网| 婷婷五月天六月丁香| 91人人看| 婷婷金品综合视频| 激情综合网婷婷五夜| 中出内射的人妻视频| 香蕉影院色| 丁香五月婷婷成人网| A片天天| 五月丁香六月婷婷在线播放| 青青久在线视频免费观看| 丁香五月狠狠在线观看| 激情五月天色播| 亚洲在线激情婷婷五月| 久久久中文| 九九精品这里只有| 又大又粗九一在线| 开心激情色婷婷五月天| 国产亚洲精品久久久久久久久动漫| 秋霞电影理论| 日本精品人妻无码77777| 99这里只有精品99| WWW.久久99| 色欲婷婷五月天丁香| 综合AV在线| 91肏| 另类色网| 婷婷五月精品| 99热自拍| 欧美色97| 激情五月综合网最新| 啊V视频在线观看| 97超级啪啪在线观看| 九九在线视频| 丁香五月激情五月| 久久丁香五月婷婷| 五月婷婷无码| 久久99大| 性爱综合网| 五月天丁香成人社| 久久思思精品| 超碰久热| 日韩操人| 婷婷激情中文综合| 五月丁香啪| 五月婷婷影视| 亚洲精品九九| 99碰碰| 午夜成人天堂久久无码日韩久久| 噼里啪啦在线观看免费完整版视频| 九九久久99| 夜色.cnm| 色综合久久88色综合天天看| 久热91| 久草热8精品视频在线观看| 亚洲人妻一区二区| 色色九九五月天 | 久久丁香婷婷色情综合| 婷婷涩涩五月天| 欧美色色色色色色| 丁香六月婷婷久久综合| 天天天天天天天操| 日本全黄一级999| 狠狠爱婷婷爱| 亚洲一色色色色色色色色| 丁香五月激情婷婷婷婷在线观看| 五月天综合色| 色播五月网| 思思视频这里是精品| 九九九九中文字幕| 97人凄人人操人人爽| 色婷婷色五月另类综合| 午夜天天精品视频| 影音先锋色婷婷| 五月天婷婷导航| 碰人人97| 色日本综合| 婷婷激情鹿城五月天| 久久久天堂国产精品女人| 涩涩五月天| 99亚色色色| 91色色色视频| 国产综合婷婷| www.狠狠狠.com| 超碰9在| 午夜婷婷| 噜噜五月天综合| 色色激情五月| 色婷婷8| www.色九月| WWW.桔色成人.COM| 99精品视频推荐| 裸睡玩奶头(高H)| 日韩在线婷婷五月天综合| 午夜激情综合| 能看的AV| 无人精品在线视频| 久九色| www.金莲av| 91色婷婷综合久久中文字幕二区| 五月天婷婷导航| 玖玖视频福利| 鲁鲁色五月| 91成人看片| 草综合网| 亚洲不卡123| 干一干xxxx| 人妻系列久久久久久久久久久 | 激情婷婷色色| 婷婷五月天777| 人妻精品在线| 丁香六月婷婷久久综合| 丁香六月婷婷久久综合| 久久人妻乱子伦| 丁香五月婷婷偷拍| 亚洲人妻av伦理| 色五月首页| 99热国产在线| 激情综合五月婷| 另类五月激情| 狠狠操狠狠操AV| 久色欧美| 亚洲第一色色色| 伊人玖玖网| 五月花婷婷| 欧美色色色色色| 五月香蕉婷婷| 九九热99熟女| 开心色色五月天综合| www夜夜| 精品丁香五月天在线播放| 九九蜜臀精品| 天天干天天操天天射| 婷五月天| 久久99综合| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 一级二级香港秋霞欧美欧美秋霞| 天天综合网、天天综合色| 久久的爱大香蕉| 久久婷婷老| 美日韩成人| 婷婷激情在线| 99热精品少| 激情婷婷在线中文字幕| 婷婷丁香五月天综合在线日韩| 97干在线视频| 久久久精品人妻录| 性小说五月天| 婷婷伊人中文字幕| 9色免费网| 丁香五月中文字幕色播| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 深爱激清网| 97五月天婷婷| 激情五月天网| 99九九精品| 五月丁香六月成人| 久草视频一,二三四| 91九色无码日韩| 欧美日韩成人高清在线| 色五月丁香婷婷| 欧美日综合| 亚洲精品无码一区二区| 亚洲亚洲人成综合网络|