欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

基于ResNet的CIFAR10圖像分類實(shí)戰(zhàn):殘差網(wǎng)絡(luò)原理與調(diào)參指南

基于ResNet的CIFAR10圖像分類實(shí)戰(zhàn):殘差網(wǎng)絡(luò)原理與調(diào)參指南 簡(jiǎn)介面向深度學(xué)習(xí)初學(xué)者和圖像分類任務(wù)開(kāi)發(fā)者該壓縮包提供了一份基于ResNet實(shí)現(xiàn)CIFAR-10分類的完整算法工程。代碼分為模型定義、數(shù)據(jù)加載、訓(xùn)練與推理四個(gè)Python腳本并附有說(shuō)明文檔共五個(gè)文件體積僅三KB結(jié)構(gòu)精簡(jiǎn)、無(wú)額外依賴便于快速閱讀和二次修改。當(dāng)前已有七百余人瀏覽學(xué)習(xí)。實(shí)現(xiàn)中重點(diǎn)涵蓋了殘差塊的跳躍連接、批量歸一化、全局平均池化、交叉熵?fù)p失以及帶動(dòng)量的隨機(jī)梯度下降優(yōu)化器并引入了隨機(jī)裁剪、水平翻轉(zhuǎn)等數(shù)據(jù)增強(qiáng)手段。讀者可以對(duì)照訓(xùn)練腳本直觀理解ResNet如何通過(guò)恒等映射緩解深層網(wǎng)絡(luò)的梯度消失問(wèn)題并掌握針對(duì)三十二乘三十二像素小尺寸圖像的分類管線設(shè)計(jì)方法。適合作為高校深度學(xué)習(xí)課程作業(yè)、競(jìng)賽入門或論文復(fù)現(xiàn)的參考代碼。1. ResNet CIFAR10一個(gè)小數(shù)據(jù)集上的經(jīng)典分類實(shí)戰(zhàn)做深度學(xué)習(xí)圖像分類的人遲早都會(huì)跟 CIFAR10 打交道。這個(gè)數(shù)據(jù)集只有 10 個(gè)類別、6 萬(wàn)張 32×32 的小圖但想在它上面把準(zhǔn)確率推到 90% 以上并不是隨便疊幾層卷積就能做到的事。這份資源不是簡(jiǎn)單的“調(diào)庫(kù)跑通”而是一個(gè)從數(shù)據(jù)加載、模型搭建到訓(xùn)練調(diào)參都完整落地的 ResNet 實(shí)現(xiàn)——你拿到的是一整個(gè)能跑出結(jié)果的算法工程而不是一段粘貼即用的碎片代碼。它適合兩類人一類是剛學(xué)完卷積神經(jīng)網(wǎng)絡(luò)、想看看殘差連接到底怎么解決網(wǎng)絡(luò)退化問(wèn)題的新手另一類是想在自己的分類任務(wù)里快速遷移 ResNet 結(jié)構(gòu)的開(kāi)發(fā)者。下文會(huì)按“它怎么設(shè)計(jì) → 核心代碼長(zhǎng)什么樣 → 怎么跑起來(lái) → 踩了哪些坑 → 怎么改成自己的模型”的順序把這份源碼逐層拆開(kāi)。2. 項(xiàng)目架構(gòu)與數(shù)據(jù)流從 32×32 輸入到 10 類輸出2.1 目錄結(jié)構(gòu)一覽模型、訓(xùn)練、數(shù)據(jù)三塊分離拿到壓縮包解壓之后先別急著跑花兩分鐘把目錄結(jié)構(gòu)過(guò)一遍。這個(gè)項(xiàng)目的組織方式是典型的“單腳本訓(xùn)練 模塊化模型定義”比把幾百行代碼塞進(jìn)一個(gè) main.py 要清晰得多。resnet-cifar10/ ├── model/ │ ├── resnet.py # ResNet 網(wǎng)絡(luò)結(jié)構(gòu)定義 │ └── __init__.py ├── data/ │ ├── dataset.py # CIFAR10 數(shù)據(jù)加載與增強(qiáng) │ └── __init__.py ├── train.py # 訓(xùn)練主腳本 ├── test.py # 測(cè)試與評(píng)估腳本 ├── config.py # 全局超參數(shù)配置 └── checkpoints/ # 模型權(quán)重保存目錄運(yùn)行時(shí)生成我一般拿到別人的項(xiàng)目會(huì)先看 config.py因?yàn)槌瑓?shù)往往是整個(gè)工程最“玄學(xué)”的部分。這個(gè)項(xiàng)目的 config.py 里定義了初始學(xué)習(xí)率、batch size、訓(xùn)練輪數(shù)、權(quán)重衰減系數(shù)還有數(shù)據(jù)增強(qiáng)開(kāi)關(guān)。數(shù)據(jù)部分獨(dú)立成模塊意味著你后續(xù)想換成自己的數(shù)據(jù)集只需要改動(dòng) dataset.py 里的數(shù)據(jù)加載邏輯模型和訓(xùn)練腳本都可以不動(dòng)。2.2 數(shù)據(jù)加載與增強(qiáng)CIFAR10 的預(yù)處理細(xì)節(jié)CIFAR10 的圖片分辨率只有 32×32這意味著不能直接套用 ImageNet 那套 224×224 的預(yù)處理流程。dataset.py 里做了幾個(gè)關(guān)鍵操作先將 PIL 圖像轉(zhuǎn)為 Tensor再做標(biāo)準(zhǔn)化三個(gè)通道的均值是 (0.4914, 0.4822, 0.4465)標(biāo)準(zhǔn)差是 (0.2023, 0.1994, 0.2010)。這一組數(shù)值是 CIFAR10 數(shù)據(jù)集的全局統(tǒng)計(jì)量是官方計(jì)算好的直接拿來(lái)用就行不要自己重新算否則會(huì)引入不必要的偏差。# data/dataset.py 核心代碼 transform_train transforms.Compose([ transforms.RandomCrop(32, padding4), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize( mean[0.4914, 0.4822, 0.4465], std[0.2023, 0.1994, 0.2010] ) ]) transform_test transforms.Compose([ transforms.ToTensor(), transforms.Normalize( mean[0.4914, 0.4822, 0.4465], std[0.2023, 0.1994, 0.2010] ) ])這段代碼里訓(xùn)練集和測(cè)試集的預(yù)處理差異是刻意設(shè)計(jì)的訓(xùn)練集做了 RandomCrop 和 RandomHorizontalFlip屬于數(shù)據(jù)增強(qiáng)目的是讓模型在有限的 5 萬(wàn)張訓(xùn)練圖上學(xué)到更魯棒的特征測(cè)試集只做標(biāo)準(zhǔn)化不做任何隨機(jī)變換保證評(píng)估結(jié)果的可復(fù)現(xiàn)性。RandomCrop 的 padding4 表示在圖片四周填充 4 個(gè)像素后再隨機(jī)裁剪回 32×32這是 CIFAR10 上最經(jīng)典也最有效的增強(qiáng)手段幾乎沒(méi)有之一。2.3 訓(xùn)練主循環(huán)學(xué)習(xí)率調(diào)度與梯度更新train.py 里的訓(xùn)練循環(huán)寫得比較規(guī)矩每個(gè) epoch 遍歷訓(xùn)練集計(jì)算損失、反向傳播、更新權(quán)重然后每個(gè) epoch 結(jié)束在驗(yàn)證集上評(píng)估一次。值得留意的是學(xué)習(xí)率調(diào)度策略這個(gè)項(xiàng)目用了余弦退火CosineAnnealingLR初始學(xué)習(xí)率 0.1隨著訓(xùn)練輪數(shù)逐步衰減到接近 0。相比固定學(xué)習(xí)率余弦退火在 CIFAR10 上通常能多漲 12 個(gè)點(diǎn)的準(zhǔn)確率屬于性價(jià)比很高的改動(dòng)。# train.py 訓(xùn)練核心邏輯 for epoch in range(config.epochs): model.train() for batch_idx, (inputs, targets) in enumerate(trainloader): inputs, targets inputs.to(device), targets.to(device) optimizer.zero_grad() outputs model(inputs) loss criterion(outputs, targets) loss.backward() optimizer.step() scheduler.step() # 每個(gè) epoch 結(jié)束后在測(cè)試集上評(píng)估 accuracy evaluate(model, testloader, device) print(fEpoch {epoch1}/{config.epochs}, Acc: {accuracy:.2f}%)這里的 device 變量通過(guò)config.device控制支持 GPU 和 CPU 兩種模式。如果機(jī)器上沒(méi)有 CUDA代碼會(huì)自動(dòng)回退到 CPU 訓(xùn)練但 200 個(gè) epoch 跑下來(lái)會(huì)比較慢建議還是在有 GPU 的環(huán)境下運(yùn)行。criterion用的是 CrossEntropyLoss這是多分類任務(wù)的標(biāo)準(zhǔn)損失函數(shù)它內(nèi)部已經(jīng)包含了 Softmax 操作所以模型最后一層不需要額外加 Softmax。3. 核心算法拆解ResNet 的殘差連接與瓶頸塊實(shí)現(xiàn)3.1 BasicBlock兩層卷積的殘差學(xué)習(xí)單元這個(gè)項(xiàng)目采用的是 ResNet 的 CIFAR 版本變體網(wǎng)絡(luò)結(jié)構(gòu)比 ImageNet 版本要輕量得多。核心組件是 BasicBlock由兩個(gè) 3×3 卷積組成中間夾一個(gè) BatchNorm 和 ReLU最后有一條恒等映射shortcut把輸入直接加到輸出上。殘差連接的意義在于當(dāng)網(wǎng)絡(luò)層數(shù)加深時(shí)恒等映射提供了一個(gè)“高速公路”讓梯度可以無(wú)損回傳從而緩解梯度消失問(wèn)題。# model/resnet.py BasicBlock 實(shí)現(xiàn) class BasicBlock(nn.Module): def __init__(self, in_channels, out_channels, stride1): super(BasicBlock, self).__init__() self.conv1 nn.Conv2d(in_channels, out_channels, kernel_size3, stridestride, padding1, biasFalse) self.bn1 nn.BatchNorm2d(out_channels) self.conv2 nn.Conv2d(out_channels, out_channels, kernel_size3, stride1, padding1, biasFalse) self.bn2 nn.BatchNorm2d(out_channels) # 輸入輸出通道不一致時(shí)用 1x1 卷積對(duì)齊維度 self.shortcut nn.Sequential() if stride ! 1 or in_channels ! out_channels: self.shortcut nn.Sequential( nn.Conv2d(in_channels, out_channels, kernel_size1, stridestride, biasFalse), nn.BatchNorm2d(out_channels) ) def forward(self, x): residual x out torch.relu(self.bn1(self.conv1(x))) out self.bn2(self.conv2(out)) out self.shortcut(residual) out torch.relu(out) return out這里的biasFalse是 BatchNorm 的搭配慣例——卷積層后面緊跟 BatchNorm 時(shí)偏置項(xiàng)會(huì)被 BN 層歸一化掉留著只會(huì)增加參數(shù)冗余。shortcut 分支的 1×1 卷積用于兩種場(chǎng)景一是 stride2 時(shí)特征圖尺寸減半需要 1×1 卷積同時(shí)降采樣并對(duì)齊通道數(shù)二是通道數(shù)翻倍時(shí)需要 1×1 卷積把恒等映射的通道數(shù)擴(kuò)到和主分支一致否則兩個(gè)張量無(wú)法相加。3.2 網(wǎng)絡(luò)組裝堆疊 BasicBlock 構(gòu)建深度模型整個(gè) ResNet 的組裝邏輯在于各階段的下采樣。CIFAR 版本的 ResNet 輸入層通常先用一個(gè) 3×3 卷積而不是 ImageNet 的 7×7MaxPool因?yàn)?32×32 的輸入分辨率太小大卷積核會(huì)過(guò)早縮小特征圖。項(xiàng)目里默認(rèn)的是 ResNet20結(jié)構(gòu)是一層初始卷積 三層 BasicBlock 組每組分別堆疊 3、3、3 個(gè)塊通道數(shù)從 16 開(kāi)始逐階段翻倍為 16→32→64。# model/resnet.py ResNet 主體結(jié)構(gòu) class ResNet(nn.Module): def __init__(self, block, num_blocks, num_classes10): super(ResNet, self).__init__() self.in_channels 16 self.conv1 nn.Conv2d(3, 16, kernel_size3, stride1, padding1, biasFalse) self.bn1 nn.BatchNorm2d(16) self.layer1 self._make_layer(block, 16, num_blocks[0], stride1) self.layer2 self._make_layer(block, 32, num_blocks[1], stride2) self.layer3 self._make_layer(block, 64, num_blocks[2], stride2) self.avg_pool nn.AdaptiveAvgPool2d((1, 1)) self.fc nn.Linear(64, num_classes) def _make_layer(self, block, out_channels, num_blocks, stride): strides [stride] [1] * (num_blocks - 1) layers [] for s in strides: layers.append(block(self.in_channels, out_channels, strides)) self.in_channels out_channels return nn.Sequential(*layers)_make_layer這個(gè)函數(shù)有一個(gè)容易看懵的細(xì)節(jié)每組第一個(gè) block 的 stride 負(fù)責(zé)下采樣后面的 block 保持 stride1。比如 layer2 傳入 stride2那么這一層第一個(gè) BasicBlock 的卷積 stride2特征圖從 16×16 降到 8×8同時(shí) shortcut 也要做一次 stride2 的 1×1 卷積來(lái)匹配尺寸。后面的兩個(gè) block 維持 8×8不斷提取更深層的語(yǔ)義特征。3.3 參數(shù)量對(duì)比為什么 CIFAR 版本要輕如果你拿這個(gè)網(wǎng)絡(luò)和標(biāo)準(zhǔn)的 ResNet50 對(duì)比會(huì)發(fā)現(xiàn)參數(shù)量差了一個(gè)數(shù)量級(jí)。ResNet50 的參數(shù)大約 2500 萬(wàn)而這里的 ResNet20 只有約 27 萬(wàn)參數(shù)。原因是 CIFAR10 的圖只有 32×32信息量遠(yuǎn)小于 ImageNet 的 224×224把網(wǎng)絡(luò)做得過(guò)深反而會(huì)過(guò)擬合。實(shí)際經(jīng)驗(yàn)是ResNet20 在 CIFAR10 上就能達(dá)到 92% 左右的準(zhǔn)確率ResNet32 能到 93%再往上加到 ResNet56 收益就開(kāi)始邊際遞減了訓(xùn)練時(shí)間卻成倍增長(zhǎng)。網(wǎng)絡(luò)尾部用了AdaptiveAvgPool2d((1, 1))而不是傳統(tǒng)的 FlattenMaxPool這樣不管輸入分辨率怎么變?nèi)B接層的輸入維度始終是 64。這個(gè)設(shè)計(jì)在你遷移到其他尺寸的數(shù)據(jù)集時(shí)非常有用——比如你想改成 48×48 的輸入網(wǎng)絡(luò)結(jié)構(gòu)不用動(dòng)只需要改數(shù)據(jù)加載部分。4. 運(yùn)行與調(diào)參指南一次完整的訓(xùn)練流程復(fù)現(xiàn)4.1 環(huán)境準(zhǔn)備與依賴安裝在跑這個(gè)項(xiàng)目之前先確認(rèn)環(huán)境里有 Python 3.8 以上的解釋器以及 PyTorch 和 torchvision。我推薦用 conda 創(chuàng)建獨(dú)立環(huán)境避免把系統(tǒng) Python 搞亂。安裝命令如下# 創(chuàng)建虛擬環(huán)境并安裝依賴 conda create -n resnet-cifar10 python3.9 conda activate resnet-cifar10 pip install torch torchvision # 如果需要 GPU 版本按官網(wǎng)命令安裝 pip install numpy tqdm matplotlib如果你的機(jī)器有 NVIDIA GPU建議安裝 CUDA 版的 PyTorch訓(xùn)練速度會(huì)快 2030 倍。沒(méi)有 GPU 也沒(méi)關(guān)系這個(gè)項(xiàng)目在網(wǎng)絡(luò)和 batch size 上都做了 CPU 友好的設(shè)定只是 200 個(gè) epoch 可能需要跑幾個(gè)小時(shí)耐心等就好。安裝完成之后在項(xiàng)目根目錄執(zhí)行python train.py腳本會(huì)自動(dòng)下載 CIFAR10 數(shù)據(jù)集到本地首次運(yùn)行需要聯(lián)網(wǎng)約 170MB。4.2 超參數(shù)含義與調(diào)整建議config.py 里的超參數(shù)不是隨手填的每個(gè)都對(duì)應(yīng)一個(gè)訓(xùn)練效果的關(guān)鍵變量。下面這個(gè)表列了最核心的幾個(gè)參數(shù)以及我的調(diào)參經(jīng)驗(yàn)參數(shù)名默認(rèn)值含義調(diào)整建議epochs200訓(xùn)練輪數(shù)少于 100 輪模型欠擬合多于 300 輪收益極小batch_size128單次前向傳播的樣本數(shù)顯存不夠時(shí)降到 64同時(shí)可適當(dāng)降低學(xué)習(xí)率learning_rate0.1初始學(xué)習(xí)率batch size 減半時(shí)學(xué)習(xí)率也應(yīng)減半weight_decay5e-4L2 正則化系數(shù)過(guò)擬合加重時(shí)調(diào)大到 1e-3momentum0.9SGD 動(dòng)量一般不動(dòng)0.9 是默認(rèn)最優(yōu)值這里有一個(gè)新手常犯的錯(cuò)誤直接套用 ImageNet 分類的初始學(xué)習(xí)率 0.01。在 CIFAR10 ResNet 的組合下0.01 的初始學(xué)習(xí)率會(huì)導(dǎo)致收斂極其緩慢因?yàn)?batch size 小、梯度噪聲大。項(xiàng)目默認(rèn)的 0.1 配合帶動(dòng)量的 SGD前幾個(gè) epoch 就能看到損失顯著下降。如果你想用 Adam 替代 SGD建議把學(xué)習(xí)率降到 1e-3因?yàn)?Adam 對(duì)學(xué)習(xí)率的敏感度更高。4.3 訓(xùn)練輸出解讀與斷點(diǎn)恢復(fù)訓(xùn)練過(guò)程中每個(gè) epoch 都會(huì)打印準(zhǔn)確率和損失值。正常的訓(xùn)練曲線應(yīng)該是這樣的前 10 個(gè) epoch 準(zhǔn)確率快速?gòu)?10%隨機(jī)猜測(cè)水平爬到 70% 左右之后增速放緩100 個(gè) epoch 左右達(dá)到 90% 以上隨后進(jìn)入平臺(tái)期靠余弦退火把最后的幾個(gè)點(diǎn)“磨”出來(lái)。Epoch 1/200, Acc: 32.45%, Loss: 2.310 Epoch 10/200, Acc: 69.87%, Loss: 0.982 Epoch 50/200, Acc: 87.23%, Loss: 0.354 Epoch 100/200, Acc: 90.18%, Loss: 0.271 Epoch 200/200, Acc: 92.37%, Loss: 0.189如果你看到 Loss 一開(kāi)始就不降或者波動(dòng)劇烈多半是學(xué)習(xí)率問(wèn)題。此外項(xiàng)目里還寫了斷點(diǎn)保存邏輯——每 20 個(gè) epoch 保存一次 checkpoint存放在 checkpoints/ 目錄下。中途中斷后想繼續(xù)訓(xùn)練可以用python train.py --resume加載最近的權(quán)重不用從頭開(kāi)始。5. 避坑指南訓(xùn)練 CIFAR10 時(shí)的五個(gè)常見(jiàn)問(wèn)題5.1 準(zhǔn)確率卡在 85% 上不去現(xiàn)象訓(xùn)練 Loss 正常下降但測(cè)試集準(zhǔn)確率始終在 85% 左右徘徊超過(guò) 20 個(gè) epoch 都沒(méi)有突破。原因這一般是數(shù)據(jù)增強(qiáng)不足導(dǎo)致的過(guò)擬合。CIFAR10 的訓(xùn)練集只有 5 萬(wàn)張圖如果只做 ToTensor 和 Normalize模型的泛化能力會(huì)比較差。解決確認(rèn) train.py 里確實(shí)用上了 RandomCrop 和 RandomHorizontalFlip。如果已經(jīng)用了還卡住可以再加一個(gè) Cutout隨機(jī)遮擋一小塊區(qū)域或者 MixUp 增強(qiáng)這兩個(gè)技巧在 CIFAR10 上往往能再漲 1~2 個(gè)點(diǎn)。5.2 訓(xùn)練 Loss 變成 NaN現(xiàn)象Loss 在某個(gè) epoch 突然變成 NaN之后所有參數(shù)都跟著變成 NaN。原因?qū)W習(xí)率太大導(dǎo)致梯度爆炸。0.1 的初始學(xué)習(xí)率配合 SGD 在大多數(shù)情況沒(méi)事但如果你把 batch size 調(diào)小了比如 32而學(xué)習(xí)率沒(méi)變梯度更新的方差會(huì)變大容易把權(quán)重推到數(shù)值溢出的區(qū)域。解決檢查最近改了什么參數(shù)優(yōu)先把學(xué)習(xí)率降到 0.05 或者 0.01 重試。另一個(gè)技巧是給模型加梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm5)。5.3 從零訓(xùn)練比官方準(zhǔn)確率低了 3 個(gè)百分點(diǎn)現(xiàn)象訓(xùn)練完成后準(zhǔn)確率在 89% 左右但論文或者 README 里寫的 baseline 是 92%。原因這種差距絕大多數(shù)來(lái)自兩個(gè)地方一是訓(xùn)練輪數(shù)不夠論文里的 200 個(gè) epoch 是有必要的二是學(xué)習(xí)率調(diào)度沒(méi)有生效。很多簡(jiǎn)化項(xiàng)目的代碼里學(xué)的是 step decay每隔 60 個(gè) epoch 衰減一次而這個(gè)項(xiàng)目用的是 CosineAnnealingLR兩者在同一網(wǎng)絡(luò)上的差距能到 1~2 個(gè)點(diǎn)。解決確認(rèn)scheduler.step()是在每個(gè) epoch 結(jié)尾調(diào)用而不是在每次 batch 迭代里調(diào)用。用余弦退火時(shí)學(xué)習(xí)率是平滑下降的如果寫在錯(cuò)誤的位置調(diào)度器會(huì)在一個(gè) epoch 內(nèi)就把學(xué)習(xí)率耗盡模型后半程基本白學(xué)。5.4 測(cè)試集和訓(xùn)練集預(yù)處理不一致現(xiàn)象模型訓(xùn)練完測(cè)試準(zhǔn)確率很高95%但實(shí)際部署到業(yè)務(wù)場(chǎng)景里表現(xiàn)很差或者跑 test.py 時(shí)結(jié)果異常高。原因測(cè)試階段混入了數(shù)據(jù)增強(qiáng)。有的同學(xué)圖省事在 transform_test 里也加上了 RandomCrop 或 RandomHorizontalFlip導(dǎo)致評(píng)估結(jié)果虛高。解決test.py 里的 transform 必須和 transform_test 一致只包含 ToTensor 和 Normalize。另外驗(yàn)證的時(shí)候用model.eval()關(guān)閉 dropout 和 BatchNorm 的更新否則 BN 層的統(tǒng)計(jì)量會(huì)亂掉。這是新手最容易忽略的細(xì)節(jié)。5.5 GPU 顯存不足現(xiàn)象batch_size128 時(shí) CUDA out of memory。原因如果你改過(guò)網(wǎng)絡(luò)結(jié)構(gòu)比如把 BasicBlock 的通道數(shù)從 16 翻到 32參數(shù)量和中間特征圖的顯存占用會(huì)成倍增長(zhǎng)。解決先把 batch_size 降到 64 或 32 試試。如果還想保持較大 batch可以用torch.cuda.amp混合精度訓(xùn)練顯存占用能降低約 40%。在這個(gè)項(xiàng)目里把model.half()和inputs.half()加上大部分 4GB 顯存的卡都能跑起來(lái)。6. 二次開(kāi)發(fā)把 CIFAR10 分類器改成你的私有數(shù)據(jù)分類工具6.1 替換數(shù)據(jù)集換數(shù)據(jù)不換模型做二次開(kāi)發(fā)最常見(jiàn)的需求是把這個(gè)分類工程遷移到自己的數(shù)據(jù)集上。CIFAR10 是 10 類的 32×32 小圖而你手頭的數(shù)據(jù)可能是貓狗分類2 類、工業(yè)缺陷檢測(cè)5 類或者某種特定場(chǎng)景的圖片。改動(dòng)其實(shí)很小主要集中在兩個(gè)位置dataset.py 的數(shù)據(jù)加載函數(shù)和 model 最后一層的輸出維度。# 修改數(shù)據(jù)集加載為自定義圖片文件夾結(jié)構(gòu) # 目錄結(jié)構(gòu)data/train/class1/*.jpg, data/train/class2/*.jpg from torchvision import datasets train_dataset datasets.ImageFolder( rootdata/train, transformtransform_train ) test_dataset datasets.ImageFolder( rootdata/test, transformtransform_test )改完之后要注意兩個(gè)連帶問(wèn)題一是num_classes要改成你自己的類別數(shù)比如貓狗分類就是 2只需要把ResNet(block, num_blocks, num_classes10)里的 10 改成 2二是全連接層的輸入尺寸不需要改因?yàn)锳daptiveAvgPool2d已經(jīng)把特征壓縮成固定 64 維了。如果你的圖片不是 32×32比如是 128×128就在 transform 里加一個(gè)transforms.Resize((32, 32))模型完全不用動(dòng)。6.2 保存并復(fù)用模型從訓(xùn)練到推理訓(xùn)練好的模型不能只活在訓(xùn)練腳本里最后總歸要導(dǎo)出成可部署的形式。常見(jiàn)的做法是直接保存整個(gè)模型狀態(tài)字典然后在推理腳本里重新構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)再加載權(quán)重。# 訓(xùn)練完成后保存 torch.save(model.state_dict(), resnet20_cifar10.pth) # 推理時(shí)加載 model ResNet(BasicBlock, [3, 3, 3], num_classes10) model.load_state_dict(torch.load(resnet20_cifar10.pth)) model.eval() # 單張圖片預(yù)測(cè) def predict(image_path): img Image.open(image_path).convert(RGB) img transform_test(img).unsqueeze(0) with torch.no_grad(): output model(img) pred output.argmax(dim1).item() return class_names[pred]這里model.eval()再?gòu)?qiáng)調(diào)一遍不是可選項(xiàng)。加載權(quán)重后如果不切換到 eval 模式BatchNorm 層的均值和方差還是會(huì)用訓(xùn)練時(shí)積累的統(tǒng)計(jì)量但 dropout 層的行為會(huì)保持訓(xùn)練模式導(dǎo)致推理結(jié)果不穩(wěn)定。上述代碼里no_grad()是另一個(gè)關(guān)鍵點(diǎn)它告訴 PyTorch 不要構(gòu)建計(jì)算圖節(jié)省內(nèi)存且加速推理。6.3 換個(gè)更大的網(wǎng)絡(luò)從 ResNet20 到 ResNet56當(dāng)你覺(jué)得當(dāng)前準(zhǔn)確率還不夠卷的時(shí)候增大模型容量是最直接的思路。項(xiàng)目里已經(jīng)預(yù)留了這個(gè)擴(kuò)展點(diǎn)——num_blocks參數(shù)就是用來(lái)控制深度的。把實(shí)例化代碼從ResNet(BasicBlock, [3, 3, 3])改成ResNet(BasicBlock, [5, 5, 5])就是 ResNet32改成[9, 9, 9]就是 ResNet56。# 在 config.py 中增加網(wǎng)絡(luò)深度配置 model ResNet(BasicBlock, [5, 5, 5], num_classes10) # ResNet32改網(wǎng)絡(luò)深度時(shí)其余超參數(shù)不用變但訓(xùn)練時(shí)間會(huì)顯著增加——ResNet32 大約是 ResNet20 的 1.6 倍。另外有個(gè)經(jīng)驗(yàn)值網(wǎng)絡(luò)越深weight_decay 的作用越明顯。如果 ResNet56 的效果反而不如 ResNet32優(yōu)先檢查是不是過(guò)擬合了把 weight_decay 從 5e-4 調(diào)到 1e-3同時(shí)增加一點(diǎn)數(shù)據(jù)增強(qiáng)的強(qiáng)度。6.4 部署到 TorchScript 獲取加速最后一個(gè)技巧是把訓(xùn)練好的模型轉(zhuǎn)成 TorchScript這樣可以在沒(méi)有 Python 環(huán)境的 C 端部署或者通過(guò) LibTorch 做推理加速。轉(zhuǎn)換過(guò)程很簡(jiǎn)單但建議在 eval 模式下完成避免把 BN 層的訓(xùn)練行為固化進(jìn)腳本。# 導(dǎo)出 TorchScript 模型 script_model torch.jit.script(model) script_model.save(resnet20_torchscript.pt)我一般會(huì)把這一步放在模型最終確定之后。有個(gè)血淚教訓(xùn)是在 model.train() 模式下導(dǎo)出模型之后部署時(shí)輸出結(jié)果總是和驗(yàn)證集差一點(diǎn)排查了很久才發(fā)現(xiàn)是 BN 層的 running_mean 和 running_var 被凍結(jié)成了非最優(yōu)狀態(tài)。從那以后我每次導(dǎo)出模型都強(qiáng)制先走一遍 eval 模式再驗(yàn)證一整個(gè)測(cè)試集的準(zhǔn)確率沒(méi)掉點(diǎn)才放心。這份資源雖然針對(duì)的是 CIFAR10但它的代碼結(jié)構(gòu)和模塊劃分方式足夠撐起你后面大半年的分類任務(wù)改造希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
91丨九色丨东北熟女| 色播五月丁香婷婷| 9操在线| 亚洲成人网址在线观看| 欧美大片免费播放器| 亚洲在线综合| 国产欧美va| 啪啪干伊人婷婷| 91se在线视频| 丁香六月婷婷开心婷婷网| 国产乱子轮XXX农村| 五月丁香啪啪啪综合网| 丁香五月六月婷婷综合| 天天爽天天摸天天爱| 色五月视频无码播放| 久久9视频| 91九色超碰正在播放| 99热每日| 无码视频国内精品久久久| 五月激情六月综合| 中文字幕成人| 久人操| 色婷婷色五月天| 精品综合久久久久久五月天| 精品在线| 思思99热热热99| 91精品综合久久婷婷九色| 奇米色大香蕉| 色九月综合| 最近中文字幕大全免费版在线 | 色色婷| 日本高清久久| 综合激情五月天| 久久综合影院| 九色啦蜜臀| 色五狠狠| 丁香六月亭亭久久综合| 天天色综合网1| 欧美综合丁香网| 日韩一区二区在线播放| 3pAV| 99在线免费视| 婷婷六月丁香在线| 超碰三级秋霞| 激情色中文| 亚洲成人综合在线| 综合五月婷婷| 五月婷婷深深的爱| 深爱丁香网| 五月丁香| 婷丁五月| 亚洲色婷婷99一9|| 色小说婷婷五月天天天| a v色婷婷| 六月丁香五月婷婷首页| mmm1717.6dbm人人爱人人操| 五月丁香视频在线观看| 丁香六月婷婷高清| 五月婷婷综合色啪首页| 日撸夜撸日操| 天天日夜夜帕| 天天爱天天吃狠天天透| 五月婷婷综合在线| 中文字幕,综合,91| 开心婷婷五月| 久99综合婷婷| 99久久九九| 99自拍视频在线观看| 色5月婷婷色| 99操免费视频| 日本三级韩三级99久久| 超碰精品在线| 欧美激情五月天| 丁香六月综合| 日本精品久久久久中文字幕| 色色色在线观看| 亚洲操B| 日本高清综合网五月丁香| 色色网站| 成人永久免费视频在线观看| 超碰色色综合| 亚洲九区| 久操热| 亚洲激情综合| 五月婷三级片| 91综合网| 婷婷久久性爱| 99久久久99久久91熟女| 久久久er热| 婷婷五月天Av| 激情网综合| 天天操综合网站| 婷婷五月综合视频免费播放| 色综合天天| 99精品免费视频| 久久亚洲无码| 无码人妻激情| 日韩成人综合网| 超碰在线99| 搡BBBB搡BBB搡18| 亚洲成av人影院| 六月婷婷毛片| 五月情涩综合婷婷| 9人人操人人看| 亚洲第一成人无码A片| 亭亭色色五月天| 99久久精彩视频。| 日韩AAA| 天天日天天日天天搞| 天天做天天爱天天做| 婷婷久久丁香| 久久激情网| 五月天色色色| 婷婷丁香五月综合久久| WWW,五月| 丁香六月色婷婷欧美| 97激情五月天| 色色综合网络| 久久人人超| 五月丁香婷婷综合| 丁香婷婷九月在线| 97碰免费精采视频| 丁香五月天信号| 襙逼网| 综合激情网激情五月。| 欧美 日韩 成人 在线| 99欧州偷拍视频| 国产成人亚洲综合A∨婷婷| 99这里都是精品| 婷婷丁香六月天| www久久久久| 中文字幕日韩成人| 开心激情色婷婷五月天| 综合久久人妻| www.超碰| 狠狠一日| 激情婷婷五月| 色狠狠六月| 这里只有精品视频99| 综合99综合久久久久久久| 五月婷婷丁香六月| 日本三级99人妇网站| 婷婷99丁香| 色墦五月丁香| 五月婷婷福利| 超碰人人干| 青柠影视免费高清电视剧| 久久月天堂| 激情AV在线| 97成人丁香婷婷| 婷婷五月开心中文字幕在线| 九九热精品99| 成人国产欧美大片一区| 在线看黄色| 激情欧美婷婷| 99热在线成人网站| 天天干天天干天天干天天干天天干| 大伊香蕉精品视频在线| 婷婷色吧| 伊人综合网4| av色色国产| 人人操99| 久久婷婷一级片| 97丁香五月| 色色色色色级无码| 婷婷五月丁香六月| 亚洲综合激情五月久久| 大香蕉九九操| 337p午夜影院| 美女激情综合| 九九成人电影婷婷| 五月丁香婷婷基地| 欧美天天干天天草| 99热免| 婷婷狠狠干| aaa久久| 五月天五月色| 久久婷婷综合基地| 久综合4| 99熟女啪啪视频| 久草久青福利| www.99热在线| 中字幕视频在线永久在线观看免费 | 99re视频在线播放| 开心五月综合| 天天舔天天爽| 大香蕉狠狠爱主页| 五月婷婷co.m| 久久久久9| 色欲色欲久久宗合网| 99久久www| 色婷婷丁香五月天在线视频| 香蕉婷婷色五月| 99欧美| 亚洲色五月婷婷| 丁香六月狠狠| 丁香五月综合激情性爱| 欧美综合激情| 这里只有精品视频222| 欧美狠狠地| 亚洲成人五月天| 婷婷五月综合社区在线| 爱爱色五月天| 啪啪 综合网| 欧美性生交XXXXX无码小说| 4438成人电影| 五月婷婷花| 色五月婷婷综合| 99ri精品在线观看| 色小说婷婷五月天天天| 中文字幕在线不卡| 9色免费网| 99爱免费在线观看| 色婷婷狠狠爱| 色综合久久88| 丁香五月天成人| 九九热免费| 在线综合91| 丁香五月 综合| 日日日日日| 久久综合婷婷激情| 色五月婷婷五月丁香五月激情五月视频| 99精品热| 超碰人人在线观看| 日本色婷婷久久99精品91| 亚洲AV人人操| 亚洲热久| 色婷婷六月天在线| 男妓跪趴把舌头伸进我的嘴巴| 色综合九九色综合88| 五月天久久成人| 另类天堂| 五月天丁香综合久久国产| 五月天婷婷高清无码| 久久久久人妻| 色三级色三级| www.色婷婷.com| 久久性综合| 九九蜜臀精品| 日韩久久色| 精品国产a| 五月激情丁香五月宗合| 五月天啪啪| 狠狠综合区| 五月婷婷综合色啪首页| 色综合久久888| 久久99精品久久久久久噜噜| aaaaaa片| 五月婷婷,六月丁香| 好色婷婷| 99在热线免费视频| 97超级碰| 久久久婷丁香五月| 极品人妻VIDEOSSS人妻| 五月天日日操夜夜操| 色五月欧美| 第四色色色色色丁香五月天 | 少妇人妻凹凸视频| 嫩草AV久久伊人妇女超级A| 香蕉综合在线| 激情婷婷丁香五月天| 九九色黄色| 天天爽人人爽| 天天色情站| 五月丁香综合激情网| 九九视频这里有精品| 六月成人网| www.五月天婷婷.com| 五月婷婷五月天| 综合久久六月| 嫩草乱码一区三区四区| 婷婷五月激情综合网| 另类小说婷婷色| 婷婷丁香18| 五月丁香婷婷五月色| 久久成人性爱| 东京热免费视频| 丁香五月天啪啪| 丁香五月91| 九伊人网| 可以免费观看的av| 色婷在线视频| 深爱激情五月网| 人人操人人妻| 26uuu另类| 色哟呦av| 五月天欧美激情| 五月天久久久| 精品一区二区三区三区| 亚洲小视频免费播放| 91操片| 九月婷婷激情| 丁香五月情| 婷婷99狠狠躁天天躁中文| 婷婷综合网| 久久蜜臀婷婷| 99爱视频在线| 99婷婷五月天激情| 婷婷综合一二三| 丁香婷婷婷五月综合色情| 五月天影院| 中文字幕操比影片| 狠狠五月激情丁香六月| 99综合成人视频在线观看| 79色色色色| 婷婷情色五月| 欧美人妻一区二区| 色射7856五月天激情四射| 精品成人a v无码内射| 狠狠色综合无线观看| 色色色国产| 久久91久久精品久久| 丁香五月色情| 色婷婷久久9.com| 日日艹思思热| 久久码久久无清| 天天噜噜| 婷婷伊人75| 99综合| www.99热精品| 丁香五月另类色婷婷麻豆| 婷色五月天| 五月色网| 色婷婷婷av| 五月天婷婷社区| 丁香五月网络网络| 国产亚洲成AV人片在线观黄桃| 春色激情第四色| 乱乱av| 人妻精品久久久久久| 色九月综合| 五月草视频| 六月丁香成人| 日韩操逼大片| 婷婷丁香五月天婷婷| 久久这里只有精品热在99| 婷婷欧美色| 俺也去色| 天天干天天爽天天操| 夜色.cnm| 天天爽天天摸天天爱| Caoub青青超碰| 狠狠插狠狠操| 婷婷五月激情图片| 丁香六月婷婷综合| 另类激情五月| 五月久久| 五月丁香成人小说| 色99视频| A片试看50分钟做受视频| 婷婷六月激情丁香| 激情丁香五月天图片| 免费看欧美成人A片无码| 激情综合五月天| 中文字幕 码精品视频网站| 天天搞夜夜爽夜夜爽| 综合五月天| 激情美女五月天激情在线| 新男人天堂人妻| 精品久热69| 成人精品在线| 人妻熟女一区二区AV| 亭亭五月天成人| 亚洲成AV人片在线观看| 丁香五月六月婷婷综合| 这里只有精品在线视频精品| 婷婷无五月无码视频| 99视频这里只有精品10| 狼人婷婷综合| 丁香五月成人| 丁香5月婷婷| 日本3级片一区2区| 五月婷婷久久综合| 思思热久久久在线| 综合久久高清| 五月天综合在线| 青草激情在线| 丁香婷婷色情| 人人操AV| 拳交大逼| 免费黄色视频网址| 丁香五月天成人| 色婷婷五月综合| 99久久婷婷| 国产69精品久久久久999小说| 一本久道综合色婷婷五月| 五月天久久综合| 亚洲色综合| 丁香五月婷婷成人网| 丁香五月大香蕉AV| 大香蕉伊人久久| 5月丁香六月婷婷| 亚洲婷婷五月| 玖玖在线视频| 99爱视频在线观看这里只有精品| 99色在线| 草榴视频黄色网| 天堂中文国产| 婷婷丁香五月激情图片| 狠狠色丁香久久婷婷综合五月| 99这里都是精品6| 日本性激情色播| 99熟女啪啪视频| 婷婷九月色| 婷婷六月情| 国产精品久久..4399| 三十熟女| 国产精品视频| 六月丁香婷啪射| 久久九九婷婷| 91操人| 激情小说五月欧美亚洲丁香| 99熟女| 五月婷婷电影院| 91九色无码日韩| 插插干干干色| 婷婷九月狠狠色| 夜夜穞天天穞狠狠穞AV美女按摩| 天天在线XXX| 激情精品久久| 99视频在线观看网址| 五月天久久久| 婷婷性福五月天| 五月天婷亚洲综合在线嫩草网| cao视频,现在观看| 色99视频| 久久久噜噜噜久久人妻| 亚洲舔观看| 亚州综合色| 开心五月婷婷| 一区二区免费看| 色婷婷国色天香综合| 激情婷婷九月| 午夜不卡久久精品无码免费| 黄色成人网站在线播放| 91人妻视频| 大香蕉伊人99| 91人妻人人操| 婷婷五月色播| www.天天干| 2023天天日夜夜爽| 网色99| 五月天婷婷Av| 日本黄色在线观看| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 五月狠狠| 丁香五月婷婷激情视频播放| 亚洲欧美综合7777色婷婷| 久9综合| 中文字幕 码精品视频网站| va亚洲中文在线| 99久久久免费| 玖玖玖婷婷婷| 人人摸人人干| 激情第四色| 99这里只有精品在线| www.91操| 五月天激情影院| 激情五月天网站| er99免费视频在线| 五月婷婷无码| 伊人五月综合网| 俺也去五月婷婷丁| 99这里只有精品|v| 色婷婷丁香五月| 成 久久| 中文字幕在线日亚洲9| 99ri精品在线观看| 粉嫩AV久久一区二区三区| 夜色综合网| 色婷五月| 99精品视频免费在线播放| 五月天婷婷色色网| 九九Y精品热播| 五月婷丁香| 色婷婷9| 这里只有精品网| 五月丁香啪啪拍| 五月婷婷丁香综合| 色色色色区| 1024操逼| 婷婷成人五月天成人文学| 婷婷五月天视频| 六月婷色六月| 色婷婷五月开心六月综合| 婷婷久久伊人| 99热亚州综合| 狠狠五月婷婷| 丁香六月激情| av中文在线| 99热免费| 五月色影院| 五月四色婷婷| 色必久悠悠影院| 久久久ww| 国产精品人妻在线网址| 五月婷婷综合色啪首页| 99这里有精品视频| 激情99热| 亚洲热综合| 一本伊人色婷| 婷婷激情六月中文| 久久在线视频只有这里有精品| 丁香激情久久| 台湾无码A片一区二区| 国产亚洲99久久精品熟女| 亚洲日韩一页精品发布| 婷婷五月天基地| 九九热视频精品| 五月停停999| 狠狠摸狠狠摸| 五月丁香六月婷婷的女人| 色综合开心五月深爱五月| 五月婷婷与六月丁香图片激情| 天天综合五月| 超碰在线综合| 婷婷久久18| 亚洲欧洲美女在线观| 丁香五月综合| 九九婷婷网五月天| 超碰在线免费| 久久9热| 婷婷干五月综合在线播放| 婷婷丁香五月欧美人| 狠狠五月天婷婷| 婷婷六月丁香开心深深爱| 色五月综合网| 超碰人人艹| 97在线/亚洲| 日本久久9| 五月婷视频在线观看| 婷婷丁香久久网| 久久五月婷综合| 中文字幕无码AV| 少妇水多A片太爽了| 思思热在线观看| 五月天激情小说| 亚洲热视频| 99热精品在线观看| 色婷婷婷婷| 狼人狠狠操| 99人妻碰碰碰久久久久视| 日本五月天网站| 俺去也综合| 五月婷婷婷婷| 五月天综合图片| 亚洲情a| 河北真实伦对白精彩脏话 | 99热骚货| 久久WW| 色婷网| 99re思思在线视频| 国产精品岛国片在线观看免费| 久久33视频| 天天操天天干天天射| 亚洲婷婷性爱| 1024成人免费看| 五月精品99综合| 久久se 综合网| 久久婷婷五月丁香蜜桃网| 丁香六月在线综合| 亚洲无码性爱| 婷婷狠狠爱| 婷婷丁香黄色| 97偷拍在线视频| 久久大香蕉伊人| 丁香久月婷| 人妻aV在线| 日良久久| 国产伦理精品高清在线观看网站一区二区| 激情五月婷婷免费视频| 精品婷婷五月天| 亚洲AAA| 九九九九九九九热| 思思久日精品视频| 久久精热| 中文字幕丰满人妻无码专区| 伊人干综合| 综合久久99| 久热无码| 婷婷五月在线影院| 超碰免费电影| 九九99热| 国产免费AV在线| 久久丁香| www.夜夜夜| 天天摸日日舔狠狠添婷婷婷| 国精产品一区二区三区| 五月婷婷综合在线视频小说| 五月天丁香婷| 99热在线播放| 亚洲精品视频在线| 91中文狠狠综合| www...com黄在线观看| bukadeavzaixian| www.maotanji.com| 97碰 在线视频观看| 丁香五月 无码| 伊人网啪啪| 成人在线视频网| 黄色99视频| 管管補管管紱| 99色一| 欧美成人性爱网| 日本色爽| 五月丁香综合啪啪| 高清一区二区三区日本久| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 99爱操| 免费成人中文字幕| 免费婷婷| 天天拍天天做视频| 国产玖玖资源| 91人人操人人爱| 丁香五月手机在线| 婷婷五月丁香激情| 中文字幕在线人妻| 91精品91久久久中77777久久玖玖九九| 99成人网一区| 丁香激情六月天婷婷| 五月色综合网| 男人天堂99| 99久久99久久综合| 九月性爱网| 99热1| 六月丁婷婷| 日日操日日爽| 97精品在线| 九九在线视频| 色玖玖网| 婷婷丁香五月综合| 狠狠狠人妻| 日韩五月丁香| 俺去也五月天婷婷| 丁香五月婷婷社区| 手机在线日韩视频中文字幕| 99热在这里只有免费精品| 天天爽天天摸| 黄色AV日韩| 免费看欧美成人A片无码| 国产婷婷久久| 中文网AV| 五月婷婷激情中心| 超碰色综合| 99这里有精品| 亚洲天堂色| AV操逼网| 五月色丁香国产在线视频| 日本色视| 97人人超| WWW、日本色丁香、co m| 色欲婷婷五月天| 夜夜爽日日躁| 91狠狠色丁香| 99超级碰碰| 玖玖无码中文| 超碰av在| 涩综合网| 99惹精品视频| 97在线/亚洲| 五月开心网| 婷婷综合在线网| 欧美久久婷婷| 精品三区影院| 国产日比| 91碰碰视频在线观看| 夜夜 操无码| 五月综合在线婷婷图片| 婷婷八月丁香激情综合| 婷婷六月天| 欧美在线视频9| 婷婷第六色| 亭亭五月色男人| 亚洲九九视频| a片在线免费观看一区| 99久久网站| 永久地址 色| 亚洲激情在线| 日本丰满久久| 美女天天久久| 亚洲国产精品VA在线看黑人| 内射爽无广熟女亚洲| 国产精品丝| 色婷婷在线视频久| 色噜噜五月天| 午夜天堂一区人妻| 色狠狠综合网| 婷婷五月天亚洲丁香| 超碰在线99| 色色热日| 97久久五月丁香婷婷| 丁香五月花婷婷开心| 99九九视屏| av性爱在线| 亚洲色色香蕉| 五月婷婷六月情| 五月香婷婷| 成人综合网站| 婷婷丁香五月天熟女丝袜| 在线观看996精品| 99综合色色色| 五月色综合网欧美网| 2050人人操免费工开爱| 樱花99视频| 激情五月婷婷伊人| 四川操逼站| 99综合成人视频在线观看| 无码地址| 狠婷婷五月| 色五月丁香婷婷| 97成人超碰免| 丁香婷五月| av中文在线| 超碰色女| 开心深爱五月天| 天天干天天操天天爱| 强伦轩人妻一区二区电影| 日韩成人av在线| 99综合99| www.婷婷亚洲基地| 亚洲色婷婷五月| 五月丁香激情综合网| 激情图片婷婷| 婷婷久久亚洲| 免费视频WWW在线观看网站| 久久伊人婷婷| 五月婷婷五月天在线| 超碰免费成人网站| 婷婷五月天天天日日夜夜| 991精品在线视频| YW无码| 婷婷丁香五月精品| 久久婷综合| 色婷亚洲五月丁香| 热99热9| 激情小说婷婷| 99爽视频| 性爱视频99| 免费无码毛片一区二区A片 | 色婷婷888| 日韩十国产极品久久| 五月婷婷激情| 在线观看的av| www.狠狠操| 玖玖婷婷五月天毛片| 色播五月丁香婷婷| 五月激情六月综合| 九九色大香蕉| 婷婷五月六| 91久久久久| 婷婷玉月丁香五月在线视频| 91chinese在线| 婷婷五月综合在线| 99在线免费视频| 99热在线只有精品| YJLZZJLZZ亚洲乱熟无码| 色视频五月天| 五月婷婷av在线| 婷丁香五月天| 婷婷久久网| 91热在线| 久久婷丁香五月| 97人妻碰碰碰久久久久-最近国语高清| 五月婷婷开心色伊人| 六月婷婷综合| 欧美一级色| 婷婷激情性爱| 91久久综合亚洲噜噜成人在线 | 激情五月色综合| 天天操综合网| 久久婷婷六月天| 五月丁香婷婷啪啪| 亚洲AV网址| www.五月天婷婷| 六月婷婷AV| 久久黄色片| 开心婷婷五月综合| 天天舔天天摸天天透| 日韩黄色中文字幕| 婷婷色五月久久| 无码AV免费精品一区二区三区| 伊人五月天男人的天堂在线| 婷婷六月啪啪| 色呦呦美女| 久热69| 九色无码| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 九九这里只这里只有精品| 久久免片| 天天五月丁香五月| 丁香五月五月婷婷| 久久久中文| 色色婷婷丁香| 丁香五月综合婷婷| 久久久激情视频| 五月丁香无码| 玖玖综合色| 欧美99热| 久久婷婷视频| 欧美99| 亚洲中文乱字字幕在线永久| 婷婷五月激情的图片| 激情五月婷婷五月| 99爱视频精品| 欧美日韩aaa| 久久这里只有国产| 婷婷激情综合网| 爱爱色五月天| 北京熟妇搡BBBB搡BBBB| 丁香婷婷丁香五月欧美人| 国产精品国产成人国产三级| 五月丁香五月丁香| www五月| 婷婷丁香高潮了| 精品色色| 26uuu国产精品| 色欲色欲久久宗合网| 五月激情丁香| 日韩AC在线免费观看| 色色色色色网站| 激情淫乱男女| 狠狠狠狠狠狠| 中文资源在线a| 色五月五月婷婷| 色婷婷在线播放| 中文av网站| 日日噜狠狠色综| 四LLL少妇BBBB槡BBBB| 丁香五月天av| 超碰人人射| 五月丁香色色网| www.婷婷六月天| 九九九九九无码| 99精品偷自拍| 另类综合网| 久久99jiu9| 九九精品免费| 97欧美在线| 超碰九色| 夜夜骑日日操| 日韩成人不卡| 夜夜干天天干| 大香av| 超碰亚洲天堂| 丁香五月婷婷婷婷欧美综合| 亚洲成人AV高清字幕| 久热视频这里只有精品| 日本天堂免费99| 啊v视频在线观看| 天天爽天天爽天天爽天天爽天天爽| 免费视频WWW在线观看网站| 日本va视频| 97偷拍在线视频| 99狠狠操一| 无码se| 超碰久热| 深爱激情av| 超碰免费电影| 婷婷五月天在线观看| 色五月综合激情| 这里只有精品久久| 啪啪激情网站| 色吊丝av中文字幕| 大香蕉五月婷婷| 激情五月天啪啪视频| 久久se 综合网 | 影音先锋 一区| 99A级片| 亚洲五月丁香综合网| 91久久精品国产91性色TV| 五月丁香六月婷婷综合网站 | 人人草成人视频| 日本色色影片| 天天在线XXX| 99热综合| 色五月婷婷在线观看第一页舔| 99九九视频| 99精品在线观看| 久久婷婷五月天| www.激情五月天| 婷婷久久免费| 欧美日韩aaa| 久久婷婷欧美| 国产色视频网站2| 亚洲最大视频| 色婷婷丁香中文在线播放| 热久久色| 天天色粽合合合合合合合| www.五月丁香av| 天天插天天射天天干| 日韩人妻无码专区| 婷婷五月天欧美图片在线播放电驴| 超级碰碰碰碰视频| 久久久久久人妻| 五月婷婷丁香在线| 日本久久精品| 日韩国产在线精品| 午夜婷婷久久| 欧美色色色色色色色色色色影视| 精品九九久久| 久久亚洲婷婷| 五月丁香六月情婷婷久久| 99人妻碰碰碰久久久久视| 婷婷亚洲综合| 五月情色天| 丁香色婷婷| 五月婷婷丁香日韩在线| 99热大香蕉| 涩涩五| 五月丁香网站| 亚洲精品一区无码A片| www.天天干| 天天操夜夜啊| 日韩AV一区二区三区| 热99在线| 色综合射婷婷| 六月婷婷综合| 影音先锋秋秋五月婷婷| 性欧美日本| 亚洲国产精品成人va在线观看| 91日视频| 激情小说在线视频| 99er这里只有精品| 久久九九经典| 久久久久久久人妻| 婷婷五月丁香在线视频| 亚洲色色色色色| 亚洲情欲久久| 天天日天天摸| 久久婷婷综合五月趴| 激情五月天久久丁香| 久久38视频| 亚洲热视频在线| 久久视频在线| 久热久色| 开心五月婷婷综合在线精品素人| 久久9视频| 天天爱天天做天天操| 精品一二三区视频立| 中文字幕性爱视频| 国产精品久久欧美久久一区| 久久九精品| 思思热性操| 97人操人免费视频| 五月丁香婷婷五月色| 91Chinese在线| 久狠日av| 综合激情五月丁香9999久久精| 奇米网大香蕉| 久久小说网| 国产在线黄色| 色久五月天| 日本女va| 色婷婷色九月| 日韩色色色色| 五月丁香| 天天干天天干天天操| 婷婷黄色五月天在线视频| 五月丁香激情综合六月涩涩爱| 色.五月综合网| 狠狠综合| 网站免费一站二站| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 婷婷五月天色色| 激情五月天婷婷丁香| 成人五月天在线视频在线观看| 97热这里精品在线视频| 超碰色热| 激情五月婷婷综合| 婷婷五月丁香91| 五月激情网站| 5月丁香婷婷| 成人五月丁香社区| 91伦| 天天射影院| 婷婷久热| 人人爱人人草| 六月婷婷私欲| 五月开心婷婷中文字幕| 久九九热| 五月天丁香婷婷视频网址| 五月丁香六月欧美综合网站| 日本色爽| 激情网婷婷婷| 日本无va视频| 无码se| www,com,五月色色| 九色1区视频在线| 色五月激情五月| 久久国产色| 婷婷丁香五月综合| 79色色色色| 精品国产va久久久久久久| 亚洲区视频| 激情碰碰碰| 黄色片久久| 337p大胆噜噜噜噜噜91Av| 久草五月婷婷| 99热地址| 五月婷婷九月婷婷九月婷婷| 激情五月综合免费| 99热e| 久久宗合影| 久久3级片| 无码成人AAAAA毛片AI换脸| 99热这里只有精彩| 99热亚洲精品| 天天干天天操| AⅤ色区| www.激情com| 人妻视频一区而且二区| 97色色色| 热久久91| 五月天久久网站| 天天婷婷色六月| 九九热短视频在线观看| 五月停停直播| 噜噜狠狠| 欧洲不卡视频| 99精品国产在热久久婷婷| 1024在线视频| 激情5月婷婷| 五月婷视频| 婷婷九月| 亚洲av成人在线| 99热成人精品网站| 五月丁香六月婷婷开心网| 色婷婷狠狠色| 插插干干干色| 五五月丁香花激情综合网| 99综合| 五月丁香激情婷婷| 婷婷中文网站| 狠狠爱丁香婷| 国产免费一区二区三州老师F1……| 极品少妇XXXX精品少妇偷拍| 色色色999| 色五月天婷婷| 亚洲综合在线视频| 外国碰视频网站97| 五月丁香婷婷综合视频| 五月天开心网| 激情五月影院| 五月成人天| 99热日韩| 五月综合精品| 日日夜夜小色哥| 开心五月激情五月丁香五月婷婷| 婷婷六月中文字幕| 六月色狠狠色| 激情合网婷婷| 五月丁香啪啪激情| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 亚韩精品视频1区| 少妇人妻丰满做爰XXX| 丁香六月天| 久热这里| 欧美在线| 99热综合| 超碰v| 日日做A爰片久久毛片A片英语| CHINESE熟女老女人HD视频| 97操碰碰无码视频| 五月丁香大相交| 开心五月综合激情网| 亚洲精品永久久久久久| 色五月av| 五月天偷拍| 丁香六月婷| 五月婷婷六月色| 五月婷婷天天| 五月婷婷开心五月| AV性爱在线| 丁香五月天综合| 四月丁香五月婷婷久久| 色色色com| 九九热免费视频| 六月丁香五月婷婷| 夜夜谢天天干| 色色色网站| www.射伊蕉婷婷| 伊久久婷婷| 亚洲av免费在线| 超碰碰碰碰| 婷婷在线精品| 色综合婷婷| 天天干天天干天天| 亚洲日韩乱码一区二区三区四区| 欧美叉叉叉BBB网站| 欧美 色婷婷| 色天使久久综合| 久人人操| 欧美激情中文字幕| 影音先锋四区| 成人色五月天婷婷| 99在线爽| 五月天久久www| 激情五月天色婷婷| 一级黄色尤物综合视频手机在线观看| 五月婷婷五月天| 黄色成人网站在线播放| 91精品综合久久久久久五月丁香| 婷婷五月综合网| 人妻久久久| 色婷婷五月综合激情中文字幕| 色情婷婷久久五月天| 射琪琪| 激情亚洲婷婷| 激情婷婷| 日日干综合| 色久五月| 洗浴中心操B视频| 日本社区五月天激情| 激情五月婷| 欧美日综合| 99久在线精品99re8| 中文字幕网伦射乱中文| 久热一区| 六月色 亚洲| www.久久99热地址发布| 亚洲欧美成人在线| 草美女在线观看视频在线播放| 亚洲日韩26uuu| 亚洲色婷婷视频| 色婷婷久久| 婷婷色中文字幕| 婷婷综合视频| 亚州成人综合在线| 日韩色色一区| 久久五月天婷婷| 丁香六月中文| 天天xxxxxx天天日| 色五月婷婷网| 亚洲色五月| 内射干少妇亚洲69XXX| 日本三级日本黄色| 久久久久久久久久久月丁| 中文AV在线播放| 五月天六月丁香| 伊人婷婷色激情丁香| 免费观看的婷婷五月视频在线| 中文资源在线a| 五月天激情综合| 一级黄在线| 丁香五月WWW| 日韩欧美一级大黄网站| 99区视频| 人人爱人人添| 色综合中文| 婷婷导航| 99五丁香月| 久9热视频在线观看| WWW色综合| 99日这里只有精品| 久久婷网| 在线不卡视频| 99色人| 大香蕉婷婷五月| 五月天六月丁香| 国产精品成人av在线观看春天| 综合婷婷五月天| 日本精品99网站| 亚洲1区| 性爱技巧五月| 性生活视频98791| 婷婷丁香五月天欧美| 久久黄色片| 色情综合| 黄色国久久| 91碰九色| 国产韩日亚洲美州欧亚综合在线| 久久99久久99精品免观看软件| www.天天干| 五月婷婷六月丁香| 婷婷五月超碰| 久久久久9999| 蜜桃五月天色| 久久综合婷婷五月| 色五月网址| 四川操逼站| 色色色综合色| 96性爱视频| 九九性爱网| 91操碰| 免费啪啪啪网站| 五月婷婷丁香成人网| 日本 @ va 免费| 色五月网址| 伊人狼人干| 婷婷色九月| 9999热这里只有精品| 婷婷五月天激情开心网| 久久九九国产精品怡红院| 91av色色乱视频| 淫视馆aV二区一区| 人人人操B超碰| 久久激情五月| 91色性感五月婷婷丁香| 97精品在线| 久色成人| 色婷婷久久| 极品人妻VIDEOSSS人妻| 丁香五月123| 99在线爽| 色播播婷婷| 色五月婷婷网| 日韩成人综合| 操操操www.com| 色五月激情五月| 五月天综合色| 国产三级在线播放| 色之综合网| 婷婷五月丁香五月综合网| 色丁香五月婷婷| 欧美日韩国产日本精品四虎网网站物| 五月天婷综合网站| 伊人激情影院| 国产精品扒开腿做爽爽爽A片唱戏| 97人妻碰碰碰久久久久-最近国语高清| 综合五月草 | 天天成人综合视频| 久婷婷| 国产AV成人精品| 思思99热热热99| 99免费| 五月天婷婷影院| 大香蕉狼人久久| 五月天婷婷色小说| 97操视频| www.99操.com| 99啪啪视频| 午夜色丁香| AA丁香综合激情| 182TV大香蕉| 26UUU在线观看| 99热精品在线播放| 五月天婷婷丁香人人操91| 五月天激情小说婷婷| 国产中文亚洲欧美日韩性交| 操逼三区| yazhouzonghesese| 色婷婷欧美| 在线五月婷| 1024人妻| 涩涩涩五月天| 激情婷婷五月天| 色久综合天天做视频| 亚洲色色图片| 久草五月婷婷| 色婷婷a v| 色婷婷四虎| 无码激情AAAAA片-区区| 久操热| 日日射天天射| 超碰97人人操| 九九婷| 99色在线| 九九婷婷网五月天| 狠狠激情五月天| SESE无码AV| 性日本精品| 五月天成人综合| 内射人妻视频国内| 97久久人人操| 丁香六月婷婷综合缴| 色爽干|