欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

從零搭建手寫數(shù)字識別工程:MNIST與PyTorch實戰(zhàn)全解析

從零搭建手寫數(shù)字識別工程:MNIST與PyTorch實戰(zhàn)全解析 簡介圖像分類是機(jī)器學(xué)習(xí)中最基礎(chǔ)也最具代表性的任務(wù)之一手寫數(shù)字識別作為入門經(jīng)典能夠直觀展示從數(shù)據(jù)預(yù)處理、模型構(gòu)建到訓(xùn)練推理的完整流程。MNIST數(shù)據(jù)集是這一領(lǐng)域的基準(zhǔn)其28x28灰度圖像和標(biāo)準(zhǔn)的訓(xùn)練測試劃分讓研究者可以快速驗證算法效果。本文以PyTorch工程實踐為主線介紹如何將原始二進(jìn)制數(shù)據(jù)解析、歸一化處理、全連接網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的選型對比、訓(xùn)練調(diào)參與模型部署等環(huán)節(jié)串聯(lián)成一套可復(fù)用的工程框架。此外通過分析驗證集loss曲線與準(zhǔn)確率波動讀者能理解過擬合與欠擬合的典型形態(tài)并掌握模型保存、單張圖片推理和打包發(fā)布的工程化技巧。在此基礎(chǔ)上這套方案可輕松遷移到Fashion-MNIST或更復(fù)雜的圖像分類任務(wù)從而理解深度學(xué)習(xí)工程的通用范式。1. 拿到工程文件后先搞明白這套代碼到底在做什么先說個我經(jīng)常在帶新人時遇到的場景很多人下了一堆“手寫數(shù)字識別”的代碼解壓之后直接雙擊train.py看到屏幕上滾出幾個epoch、打出一行accuracy就覺得“跑通了”。但你要是讓他說清楚這套工程的文件結(jié)構(gòu)為什么這么拆、模型輸入為什么是784維、訓(xùn)練集為什么要除以255他大概率答不上來。這套Python手寫數(shù)字識別項目本質(zhì)上是一套完整的圖像分類工程。它的業(yè)務(wù)目標(biāo)很樸素給定一張包含手寫數(shù)字的圖片讓程序判斷它到底是0到9中的哪一個。但“工程化”這三個字意味著代碼不只是能跑通而是要覆蓋從數(shù)據(jù)預(yù)處理、模型構(gòu)建、訓(xùn)練驗證到推理部署的全鏈路并且每一條路徑都有清晰的輸入輸出約定。整個工程的核心鏈路可以拆成四段數(shù)據(jù)管線手寫數(shù)字圖片 - Numpy數(shù)組 - 歸一化 - 張量模型主體一個接收784維輸入、輸出10類概率的分類器訓(xùn)練引擎通過交叉熵?fù)p失和梯度下降不斷修正權(quán)重推理服務(wù)加載訓(xùn)練好的權(quán)重對新圖片做預(yù)測并輸出可視化結(jié)果。我見過很多初學(xué)者的誤區(qū)是把“訓(xùn)練”和“工程”畫等號其實訓(xùn)練只是其中一環(huán)。真正決定這套代碼能不能被別人復(fù)現(xiàn)、能不能遷移到別的任務(wù)上取決于文件組織是否合理、配置項是否獨立、數(shù)據(jù)路徑是否可配置。判斷一套工程文件優(yōu)劣最簡單的方法把你電腦上的絕對路徑全部換成相對路徑看代碼還能不能跑起來。能跑說明工程底子合格不能跑說明這只是個腳本合集不是工程。2. MNIST數(shù)據(jù)集的獲取與預(yù)處理實操別讓數(shù)據(jù)拖了后腿手寫數(shù)字識別最經(jīng)典的數(shù)據(jù)集就是MNIST。它包含60000張訓(xùn)練圖片和10000張測試圖片每張圖片是28x28像素的灰度圖。這里有個很多教程沒強(qiáng)調(diào)的細(xì)節(jié)MNIST原始文件不是圖片格式而是特定的二進(jìn)制文件格式。你下載下來會看到四個文件分別是train-images-idx3-ubyte.gz、train-labels-idx1-ubyte.gz、t10k-images-idx3-ubyte.gz和t10k-labels-idx1-ubyte.gz雖然網(wǎng)友整理版可能已經(jīng)幫你解壓并轉(zhuǎn)換成了圖片但工程中更推薦直接處理原始二進(jìn)制。2.1 為什么工程里要保留原始二進(jìn)制文件的解析邏輯因為二進(jìn)制的讀取速度遠(yuǎn)遠(yuǎn)快于逐張讀取圖片文件。圖片格式意味著系統(tǒng)要調(diào)用圖像解碼庫把JPEG或PNG的數(shù)據(jù)解碼成像素矩陣這個I/O開銷在批量訓(xùn)練時是很可觀的。而二進(jìn)制文件本身已經(jīng)是按固定字節(jié)結(jié)構(gòu)排列的像素值你只需要按偏移量切片再用Numpy的frombuffer轉(zhuǎn)成數(shù)組速度會快一個量級。工程文件里通常會在data_loader.py中封裝這樣一個函數(shù)import numpy as np import struct def load_mnist_images(filepath): with open(filepath, rb) as f: magic, num, rows, cols struct.unpack(IIII, f.read(16)) data np.frombuffer(f.read(), dtypenp.uint8).reshape(num, rows * cols) return data def load_mnist_labels(filepath): with open(filepath, rb) as f: magic, num struct.unpack(II, f.read(8)) labels np.frombuffer(f.read(), dtypenp.uint8) return labels這里有個比較隱蔽的坑文件頭部的magic number是按大端序存儲的所以解包必須用IIII。我見過不少人的代碼在這里用IIII解包結(jié)果第一個數(shù)字讀出來是個異常值整個數(shù)據(jù)集的shape都亂了。還有一點labels文件只有兩個頭部字段不像images有rows和cols多讀一個字段就會導(dǎo)致buf偏移錯誤。2.2 像素歸一化到底在做什么MNIST原始像素值的范圍是0到255。如果直接喂給神經(jīng)網(wǎng)絡(luò)有兩個問題數(shù)值量級太大會讓初始化權(quán)重對應(yīng)的梯度更新變得不穩(wěn)定不同維度的輸入范圍不一致會讓模型收斂變慢。所以工程里幾乎無例外都會做歸一化把像素值壓到0到1之間。做法很簡單X_train X_train.astype(np.float32) / 255.0 X_test X_test.astype(np.float32) / 255.0如果你用PyTorch還需要再做一步把Numpy數(shù)組轉(zhuǎn)成Tensor并且把標(biāo)簽也轉(zhuǎn)成LongTensor。這里有個和后續(xù)模型匹配的概念必須講清楚標(biāo)簽是0到9的標(biāo)量不是one-hot向量。模型最后一層輸出的是10個類別的logitsPyTorch的CrossEntropyLoss函數(shù)會內(nèi)部幫你組合LogSoftmax和NLLLoss所以直接喂標(biāo)簽索引就行如果你自己把標(biāo)簽轉(zhuǎn)成one-hot向量再和Softmax輸出算損失就要自己實現(xiàn)對應(yīng)的損失函數(shù)容易出錯。2.3 數(shù)據(jù)維度怎么確認(rèn)接數(shù)據(jù)的時候最好打印一次數(shù)據(jù)的shape和dtype不要憑記憶。我調(diào)試過不少次問題最后都出在某個環(huán)節(jié)維度對不上圖片load出來是(60000, 784)標(biāo)簽是(60000,)網(wǎng)絡(luò)前向傳播需要的輸入是(batch_size, 784)如果batch_size為32那么一個batch的tensor shape就是(32, 784)。如果維度對不上會直接報矩陣乘法錯誤。工程文件里一般會在主訓(xùn)練腳本開頭加一行斷言assert X_train.shape[0] y_train.shape[0] assert X_train.shape[1] 28 * 283. 模型選型與訓(xùn)練細(xì)節(jié)從全連接網(wǎng)絡(luò)到卷積網(wǎng)絡(luò)的實測差異很多手寫數(shù)字識別工程會從多層感知機(jī)開始。這個選擇是有道理的數(shù)字識別是入門任務(wù)用全連接網(wǎng)絡(luò)可以清晰理解網(wǎng)絡(luò)的前向過程、反向傳播和參數(shù)更新不會一開始就被卷積、池化等概念淹沒。但如果你想在MNIST上拿到比較好看的準(zhǔn)確率純?nèi)B接網(wǎng)絡(luò)和簡單CNN的差距還是存在的。3.1 多層感知機(jī)怎么設(shè)計最穩(wěn)一個典型的MLP結(jié)構(gòu)可以設(shè)計成三層輸入層784個神經(jīng)元、隱藏層128個神經(jīng)元、輸出層10個神經(jīng)元。中間加ReLU激活函數(shù)和Dropout正則化。在PyTorch里寫出來是這樣import torch.nn as nn class MLP(nn.Module): def __init__(self): super().__init__() self.fc1 nn.Linear(784, 128) self.relu nn.ReLU() self.dropout nn.Dropout(0.2) self.fc2 nn.Linear(128, 10) def forward(self, x): x x.view(x.size(0), -1) x self.fc1(x) x self.relu(x) x self.dropout(x) x self.fc2(x) return x很多人拿到工程文件后最關(guān)心的一個問題是為什么第一層要view因為訓(xùn)練時輸入進(jìn)來的tensor形狀可能是(batch_size, 1, 28, 28)如果直接丟給Linear層會報錯必須把它壓平成(batch_size, 784)。這個view操作其實就是把28x28的矩陣?yán)梢粭l784維的向量。MLP在MNIST上做到97%左右的準(zhǔn)確率沒有問題我當(dāng)時實測大概在97.2%。但再往上就比較費勁了因為它丟失了圖像的空間結(jié)構(gòu)信息每個像素位置都是獨立特征無法捕捉相鄰像素之間的空間相關(guān)性。3.2 什么時候該上CNN如果你想在MNIST上沖擊99%以上的準(zhǔn)確率就得換CNN。一個經(jīng)典的LeNet-5結(jié)構(gòu)可以很好地完成任務(wù)。它的核心思想是用卷積核在圖像上滑動提取局部特征。對于28x28的MNIST圖片第一層卷積可以輸出多個特征圖每個特征圖捕捉一種模式比如橫線、豎線、圓角等。我自己的工程里用的是LeNet-5的變體class LeNet5(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(1, 6, kernel_size5, padding2) self.pool1 nn.MaxPool2d(2) self.conv2 nn.Conv2d(6, 16, kernel_size5) self.pool2 nn.MaxPool2d(2) self.fc1 nn.Linear(16 * 5 * 5, 120) self.fc2 nn.Linear(120, 84) self.fc3 nn.Linear(84, 10) def forward(self, x): x self.pool1(torch.relu(self.conv1(x))) x self.pool2(torch.relu(self.conv2(x))) x x.view(x.size(0), -1) x torch.relu(self.fc1(x)) x torch.relu(self.fc2(x)) x self.fc3(x) return x注意這里x.view(x.size(0), -1)是在全連接層之前展平特征圖。初始輸入是(1, 28, 28)經(jīng)過一次卷積和池化變成(6, 14, 14)經(jīng)過第二次卷積和池化變成(16, 5, 5)展平后是1655400維。后接120、84、10的三層全連接。這個結(jié)構(gòu)在MNIST上輕輕松松就能達(dá)到99%以上。CNN和MLP的差異用一句話概括MLP是把整個圖像揉成一團(tuán)丟掉空間關(guān)系CNN是通過滑動窗口保留“哪里有什么形狀”的信息。對書寫數(shù)字這種高度依賴形態(tài)特征的任務(wù)CNN優(yōu)勢非常明顯。3.3 訓(xùn)練輪次、損失函數(shù)、優(yōu)化器怎么配超參數(shù)配置在工程里通常是單獨抽出來的。為什么單獨抽因為你不會只想跑一次你需要反復(fù)調(diào)整把配置集中到一個文件或一段常量區(qū)域調(diào)整成本會低很多。我常用的配置是這樣的參數(shù)取值說明batch_size64顯存占用適中梯度的隨機(jī)性合適learning_rate0.001Adam優(yōu)化器下比較穩(wěn)epochs10數(shù)據(jù)集不大10輪足夠收斂optimizerAdam自帶動量收斂速度快loss_fnCrossEntropyLoss多分類標(biāo)準(zhǔn)損失訓(xùn)練循環(huán)需要注意的細(xì)節(jié)是每一輪epoch結(jié)束時要區(qū)分訓(xùn)練集和驗證集的loss。不能只看訓(xùn)練集準(zhǔn)確率因為模型可能已經(jīng)過擬合了。工程里一般會在每個epoch后把模型切到eval模式關(guān)閉dropout用驗證集算一次準(zhǔn)確率然后存下best_model。這里有個用PyTorch的常見細(xì)節(jié)訓(xùn)練時要調(diào)用model.train()eval時要調(diào)用model.eval()否則Dropout和BatchNorm的行為會不一致導(dǎo)致結(jié)果偏高。另外學(xué)習(xí)率衰減也很重要。前期用0.001快速收斂后期降到0.0001精細(xì)微調(diào)能再拉高一點準(zhǔn)確率。實現(xiàn)上用PyTorch的torch.optim.lr_scheduler.StepLR每3個epoch乘以0.1即可。4. 訓(xùn)練過程的完整調(diào)參與評估從loss曲線到準(zhǔn)確率波動的解讀訓(xùn)練代碼能跑不代表訓(xùn)練過程健康這是很多初學(xué)者的一個認(rèn)知死角。工程文件里通常提供訓(xùn)練過程的可視化腳本輸出loss曲線和準(zhǔn)確率曲線但更重要的是你要會看這些曲線理解梯度和過擬合的跡象。4.1 loss曲線的三種典型形態(tài)訓(xùn)練過程結(jié)束之后我們把每個epoch的loss值和驗證準(zhǔn)確率畫出來。這里我總結(jié)三種常見的曲線形態(tài)你在自己的訓(xùn)練中也會碰到相同的模式理想形態(tài)訓(xùn)練loss和驗證loss同步下降最后都收斂到較低水平驗證準(zhǔn)確率穩(wěn)定在99%上下。這說明模型容量、數(shù)據(jù)量、學(xué)習(xí)率三者匹配得很好不需要做額外調(diào)整。過擬合形態(tài)訓(xùn)練loss持續(xù)下降但驗證loss下降到某個點后開始反彈。這個轉(zhuǎn)折點提示你模型開始“記”訓(xùn)練數(shù)據(jù)而不是“學(xué)”規(guī)律。應(yīng)對方案是增加Dropout強(qiáng)度、增加數(shù)據(jù)增強(qiáng)或者減少隱藏層神經(jīng)元數(shù)量。欠擬合形態(tài)訓(xùn)練loss和驗證loss都居高不下驗證準(zhǔn)確率一直在97%以下徘徊。這說明模型容量不夠或者學(xué)習(xí)率太小、收斂太慢。此時優(yōu)先增加網(wǎng)絡(luò)層數(shù)或每層的神經(jīng)元數(shù)量。4.2 為什么驗證集準(zhǔn)確率比訓(xùn)練集重要工程里看模型好壞標(biāo)準(zhǔn)不是訓(xùn)練集上的表現(xiàn)而是驗證集上的表現(xiàn)因為模型未來遇到的是沒有見過的數(shù)據(jù)。MNIST數(shù)據(jù)集本身已經(jīng)劃分好了train和test但很多工程還會再從train中切一個validation出來。如果你不想額外切直接用test集做驗證也是可以的但嚴(yán)格來說測試集應(yīng)該只用于最終評估不能進(jìn)訓(xùn)練循環(huán)否則你在根據(jù)測試結(jié)果調(diào)參的過程中其實已經(jīng)發(fā)生了信息泄漏。我當(dāng)時在自己的工程里是按照6:1的比例從訓(xùn)練集中切分驗證集保留的10000條數(shù)據(jù)作為測試集。這樣每輪epoch都能直觀看到驗證準(zhǔn)確率最后再用測試集跑一次得到的是模型真實的泛化能力。4.3 訓(xùn)練過程中的穩(wěn)定性和收斂性觀測除了準(zhǔn)確率還要看一下訓(xùn)練過程中的數(shù)值穩(wěn)定性。比如loss如果出現(xiàn)NaN基本是學(xué)習(xí)率過大或者數(shù)據(jù)預(yù)處理出了問題要立即停止排查。數(shù)值穩(wěn)定性的另一個常見問題是梯度爆炸或梯度消失全連接網(wǎng)絡(luò)在層數(shù)較深時更容易出現(xiàn)但在MNIST這種淺層模型中比較少見到。我在工程里還加了一行邏輯在測試集上評估準(zhǔn)確率時最好設(shè)置一個閾值比如0.98如果低于這個值則打印警告。這個不是給機(jī)器看的是給人看的提醒你是不是該調(diào)參了。工程化的意義就在于此它不替你判斷但它把判斷依據(jù)信息以清晰方式暴露給你。5. 模型保存與單張圖片推理的工程化處理訓(xùn)練完成只是上半場模型要能給別人用必須解決兩個問題權(quán)重文件怎么存、別人拿一張新圖片怎么預(yù)測。很多工程文件在這里的代碼比較亂我重點說一下合理的做法。5.1 保存PyTorch模型時別只保存state_dictPyTorch有幾種保存方式常見的是torch.save(model.state_dict(), mnist_cnn.pt)只保存權(quán)重torch.save(model, mnist_cnn.pth)保存整個模型結(jié)構(gòu)加權(quán)重onnx.export(model, dummy_input, mnist_cnn.onnx)導(dǎo)出成跨框架的ONNX格式。我強(qiáng)烈建議在工程里使用state_dict因為它和模型結(jié)構(gòu)解耦加載時必須先創(chuàng)建相同結(jié)構(gòu)的模型實例再load。雖然比直接保存整個模型多一步但它在版本遷移、結(jié)構(gòu)修改的時候更靈活。你在每個最佳epoch保存best_model.pt之外最好同時保存一份final_model.pt以免中途訓(xùn)練中斷丟了最佳結(jié)果。5.2 單張手寫數(shù)字圖片的預(yù)處理流程推理階段最容易翻車的點不是模型代碼而是圖片預(yù)處理。用戶傳過來的圖片不可能是標(biāo)準(zhǔn)的MNIST格式它可能是手機(jī)拍的、用畫圖工具畫的、或者從PDF截圖的。所以工程里推理部分的預(yù)處理器必須做下面這幾件事順序也不可隨意調(diào)換讀取圖片轉(zhuǎn)為灰度圖反色處理如果背景是白色、筆跡是黑色但MNIST是黑底白字需要顛倒縮放到28x28二值化或保持灰度值歸一化到0到1加一個batch維度(1, 1, 28, 28)。這里最容易被忽略的是反色。我剛開始做推理Demo的時候用畫圖工具寫了個“7”預(yù)測出來是“1”排查半天發(fā)現(xiàn)白色背景255直接變成了高亮值模型看到的是“白字黑底”輸入分布完全顛倒。加一步cv2.bitwise_not()或者在歸一化時用1 - img/255.0就能解決。這屬于那種不踩一次坑就不知道的細(xì)節(jié)。完整的推理代碼大致長這樣import cv2 import torch import numpy as np def preprocess_image(image_path): img cv2.imread(image_path, cv2.IMREAD_GRAYSCALE) img cv2.bitwise_not(img) # 反色 img cv2.resize(img, (28, 28), interpolationcv2.INTER_AREA) img img.astype(np.float32) / 255.0 img torch.from_numpy(img).unsqueeze(0).unsqueeze(0) return img model LeNet5() model.load_state_dict(torch.load(mnist_cnn.pt, map_locationcpu)) model.eval() with torch.no_grad(): img preprocess_image(test_7.png) output model(img) pred torch.argmax(output, dim1).item() print(f預(yù)測結(jié)果: {pred})訓(xùn)練時的model.eval()同樣適用在推理階段。這里如果漏了torch.no_grad()模型還是會正常給出結(jié)果但會記錄梯度圖白白消耗內(nèi)存推理時間也會變長。5.3 用OpenCV畫圖板實時測試模型圖片文件推理只是工程的一部分實際應(yīng)用里還有實時輸入的需求。我當(dāng)時又做了一層簡單的GUI用OpenCV創(chuàng)建一個窗口鼠標(biāo)按住畫數(shù)字松開后按Enter鍵進(jìn)行識別結(jié)果實時顯示在窗口標(biāo)題上。雖然不能和TensorFlow的Playground對比但代碼量很少、依賴很少非常適合作為工程演示的一部分。實現(xiàn)思路也不復(fù)雜先標(biāo)記鼠標(biāo)按下時在Canvas上畫圓結(jié)束后把Canvas區(qū)域作為輸入圖片傳給同一套預(yù)處理流程。這個改進(jìn)讓你不用每次都準(zhǔn)備圖片文件調(diào)試手感提升非常明顯。6. 工程文件的目錄組織、依賴管理與打包發(fā)布既然標(biāo)題寫的是“工程文件”那這章必須認(rèn)真講。一個合格的手寫數(shù)字識別工程目錄不能是一堆.py文件堆在根目錄。我推薦的結(jié)構(gòu)是這樣的mnist_project/ ├── checkpoints/ # 保存訓(xùn)練好的模型權(quán)重 ├── data/ # MNIST原始數(shù)據(jù)或下載腳本 ├── models/ # 網(wǎng)絡(luò)結(jié)構(gòu)定義 │ └── lenet5.py ├── utils/ # 數(shù)據(jù)處理、可視化工具 │ ├── data_loader.py │ └── visualizer.py ├── config.py # 超參數(shù)集中管理 ├── train.py # 訓(xùn)練入口 ├── predict.py # 單張圖片推理入口 ├── requirements.txt └── README.md這套結(jié)構(gòu)的好處是職責(zé)清晰網(wǎng)絡(luò)結(jié)構(gòu)、數(shù)據(jù)處理、訓(xùn)練流程、推理流程各自獨立換網(wǎng)絡(luò)結(jié)構(gòu)時不用動數(shù)據(jù)代碼換數(shù)據(jù)時不用動模型代碼。很多教程代碼喜歡把所有函數(shù)都放進(jìn)一個文件跑通是快但后續(xù)擴(kuò)展和維護(hù)的代價很大。如果它是一個給別人下載的工程那更要注意這一點。requirements.txt的內(nèi)容至少要包含torch numpy opencv-python matplotlib這幾樣是缺一不可的。建議在文件里固定版本號避免不同用戶環(huán)境差異導(dǎo)致的問題。我自己一般會寫torch2.0,2.3這樣的范圍既兼容新版又不會因為某個大版本API變化直接報錯。關(guān)于打包發(fā)布如果你想讓沒有Python環(huán)境的用戶也能直接運行可以嘗試用PyInstaller把inference腳本打包成exe。這里有個和資源路徑有關(guān)的坑PyTorch的模型文件在打包時不會自動包含進(jìn)去需要在spec文件里把checkpoint作為data文件加進(jìn)去運行時通過sys._MEIPASS獲取臨時解壓路徑。如果忘記這一步別人雙擊exe時會報“文件不存在”的錯誤。打包命令大概是這樣pyinstaller -F predict.py --add-data checkpoints/mnist_cnn.pt;checkpoints --hidden-importtorch --hidden-importcv2注意Windows下--add-data的文件分隔符是分號Linux和macOS是冒號。這個細(xì)節(jié)卡了我差不多一個下午你不遇到真的不會想到。7. 推理結(jié)果的可視化與交互讓工程看起來更完整一套工程如果只有命令行輸出總感覺差點意思。當(dāng)時我把可視化部分補(bǔ)上之后整個項目的完整度明顯提升了。用Matplotlib把待預(yù)測圖片顯示出來同時把10個類別的預(yù)測概率用條形圖展示能直觀看出模型對某個數(shù)字的置信度。特別是當(dāng)模型預(yù)測錯誤時看概率分布能立刻定位問題。我在工程里實現(xiàn)了一個predict_multiple.py腳本支持傳入一個文件夾批量識別所有外部圖片并生成一張匯總圖。匯總圖左邊是原始圖片右邊是預(yù)測概率分布如果某個數(shù)字的置信度低于70%就把預(yù)測結(jié)果標(biāo)紅。這個做法在文檔演示和教學(xué)場景里都很有用能直觀體現(xiàn)模型的可靠邊界。如果后續(xù)想更進(jìn)一步可以用Flask做一個簡單的Web服務(wù)。前端頁面上放一個Canvas鼠標(biāo)手寫數(shù)字點擊識別按鈕后通過POST請求把圖片base64編碼發(fā)給后端后端把圖片解碼、預(yù)處理、推理返回預(yù)測結(jié)果。核心服務(wù)代碼和本地推理幾乎一致只是加了一層HTTP封裝。這樣做的好處是演示的時候不用裝Python環(huán)境打開瀏覽器就能用。不過在工程里引入Web層時要留意請求體大小限制和并發(fā)處理。手寫數(shù)字圖片很小一般不會出問題但如果你把這個架構(gòu)遷移到更大圖片的分類任務(wù)上就需要在服務(wù)端做圖片壓縮和隊列化處理了。8. 實測踩坑記錄數(shù)據(jù)、訓(xùn)練、打包三層里的常見問題寫到最后把我在整個工程實施過程中遇到過的幾個真實問題整理一下希望能幫你少走彎路。8.1 數(shù)據(jù)集加載的坑訓(xùn)練時如果發(fā)現(xiàn)loss完全不下降第一件事檢查數(shù)據(jù)有沒有喂對。我之前遇到過一次圖片讀進(jìn)來之后忘記除以255網(wǎng)絡(luò)訓(xùn)練前幾步loss在2.3左右訓(xùn)到最后只降到1.2準(zhǔn)確率卡在85%。就是因為像素值范圍不對梯度方向被大數(shù)值主導(dǎo)了收斂極慢。還有一種更隱蔽的情況是標(biāo)簽和圖片錯位通常發(fā)生在你手動從網(wǎng)上找數(shù)據(jù)集、目錄文件名和標(biāo)簽映射錯的時候。判斷方法是打印前20張圖片的標(biāo)簽并同時輸出數(shù)組第一個像素的平均值肉眼對應(yīng)一下。8.2 推理結(jié)果不準(zhǔn)的坑模型在測試集上準(zhǔn)確率99%但識別自己手寫的數(shù)字卻總出錯。這大概率是預(yù)處理不夠規(guī)范。手寫輸入和MNIST原始訓(xùn)練集的差異包括字體粗細(xì)、位置偏移、筆畫噪聲。其中位置偏移影響最大MNIST訓(xùn)練集里數(shù)字是居中顯示的如果畫圖時數(shù)字偏上或偏下識別準(zhǔn)確率就會下降。緩解辦法之一是在預(yù)處理時做一次質(zhì)心平移計算出前景像素的均值坐標(biāo)把質(zhì)心移到圖像中心。代碼非常簡單coords cv2.findNonZero(img) x, y, w, h cv2.boundingRect(coords) img img[y:yh, x:xw] img cv2.resize(img, (20, 20)) canvas np.zeros((28, 28), dtypenp.uint8) canvas[4:24, 4:24] img這個操作的本質(zhì)是模擬MNIST的預(yù)處理方式。加了這個步驟后識別率會明顯提升。8.3 打包exe的坑除了前面提到的--add-data路徑分隔符問題還有一個常見坑是打包出來的exe體積異常大動輒幾百MB。這是因為PyTorch和OpenCV依賴庫本身體積很大PyInstaller默認(rèn)把它們?nèi)看蜻M(jìn)去。如果只是給內(nèi)部演示用其實無所謂如果真的很在意體積可以考慮用ONNX Runtime替代PyTorch做推理把模型導(dǎo)出成ONNX格式這樣依賴庫會小很多。我把模型用torch.onnx.export導(dǎo)出后用onnxruntime推理打包體積從440MB降到了80MB左右。8.4 隨機(jī)種子固定問題工程復(fù)現(xiàn)的另一個隱藏要求是固定隨機(jī)種子。如果不加torch.manual_seed(42)每次運行結(jié)果會有細(xì)微差異雖然準(zhǔn)確率都差不多但別人復(fù)現(xiàn)時看到的曲線可能不一致容易被誤以為是代碼bug。在train.py開頭固定種子是個好習(xí)慣import random import numpy as np import torch random.seed(42) np.random.seed(42) torch.manual_seed(42)9. 從數(shù)字識別到其它分類任務(wù)這套工程能怎么擴(kuò)展手寫數(shù)字識別是一個基準(zhǔn)項目但它完全可以作為模板擴(kuò)展到其他分類任務(wù)這也是這套工程文件真正的延伸價值。最簡單的擴(kuò)展是換數(shù)據(jù)集。比如把MNIST的數(shù)據(jù)加載換成Fashion-MNIST只需要調(diào)整類別名模型結(jié)構(gòu)基本不用變就能識別衣服、鞋子、包等10類物品。因為Fashion-MNIST的圖片尺寸和通道數(shù)和MNIST完全一致。這個遷移成本非常低非常適合驗證你的工程結(jié)構(gòu)是否足夠通用。如果想識別中文字符問題會復(fù)雜一些。中文字符類別數(shù)多動輒上千類且筆畫結(jié)構(gòu)復(fù)雜28x28的分辨率可能不夠需要把輸入尺寸擴(kuò)大到64x64或者更大同時模型也要加深。此時卷積層的kernel size、池化層的步長都可能需要調(diào)整。但整體工程的骨架依然是通用的你只需要改數(shù)據(jù)管線和模型結(jié)構(gòu)訓(xùn)練流程、驗證邏輯、推理框架都能復(fù)用。更進(jìn)一步如果輸入不是灰度圖而是彩色圖片比如識別水果種類就需要在第一層卷積前把輸入通道從1改成3同時數(shù)據(jù)預(yù)處理階段要保留RGB三個通道。這個改動也不復(fù)雜但要注意歸一化方式RGB圖像的均值和標(biāo)準(zhǔn)差和灰度圖不一樣工程里一般會提前計算訓(xùn)練集的通道均值后再歸一化??傊ㄓ霉こ涛募恼軐W(xué)是把不同任務(wù)里相同的那部分抽出來把差異化的那部分通過配置暴露出來。你訓(xùn)練的是手寫數(shù)字但復(fù)用的是工程框架。在這個基礎(chǔ)上每當(dāng)你要接一個新任務(wù)要改的只有數(shù)據(jù)和模型定義訓(xùn)練、評估、保存、推理那套鏈路幾乎不用動。這才是我理解的“完整工程文件”的意義。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
超碰A V在线| 欧美va在线| 免费视频在线观看的网站| 成人丁香五月| 综合激情婷婷| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 久久免费操| 色色99| 色五月婷婷大| 欧美丁香婷婷天天操| 第九色区av天堂| 亚洲色情在线| 久久久久久久五月婷婷六月丁香综合,开心激情综合网 | 99热在线观看精品| 亚洲精品五月| 97热精品| 欧洲色区| 99热在线观看免费精品| 婷婷开心青青草| 五月丁色AV| 久久九九网| 久久丁香综合香蕉| 六月婷婷综合| 1995年关宝慧版蜘蛛女| 97精品综合久久| 俺去也婷婷| 婷婷四色五月| 色婷婷色综合久久精品V| 人人干99| 亚洲人妻电影| 久久您您综合网| 天堂久久精品| 五月婷婷六月综合| 日本激情ⅩXX免费视频| 欧美碰碰| 丁香婷婷影院| 五月婷久久| 精品无码99| 99只有这里是精品| 色色自拍视频网站| 婷婷五月综合社区| 色婷婷基地| 日本美女97在线视频| 婷婷五月天偷拍| 日本天堂久久| 六月婷婷激情图片| 丁香五月婷婷影院| 996er热| 日本三级日本黄色| 激情婷婷在线中文字幕| 日本三级韩三级99久久| 日日天天天| 人人人操 超碰| 五月天开心网| VA婷婷亚洲| 五月激情婷婷图片基地| 婷婷丁香91| 狠狠色噜噜| 久久小说网| 五月天成人综合| 婷婷五月丁香成人网| 狠狠色丁香99| 欧美啪啪五月天| 五月婷婷熟女| 亚洲人妻av| 久久免费操| www,婷婷五月天777me,com| Www.Av网9| 国产精品久久久久久久久久免费 | av操B网站| 国产精品色一哟哟| 草草视频91| 99人人干| eeuus五月婷| 亚洲操操| 色婷婷色综合激情91| 国产26uuu| 久久久久久久久18久久| 久久女人天堂| 无码人妻少妇色欲AV一区二区 | 五月婷婷精品无在线| 久久婷视频| 综合五月激情| 亚洲Av成人在线观看| 狠狠色婷婷| 久99热| 色婷婷成人| 玖玖在线视| 99re这里只有精品首页| 激情六月婷| 天天做天天爰天天爽天天无遮挡| 最新色色五月天| 怡红院AV亚洲一区二区三区H| www.五月婷婷.com| 91九色视频在线观看| www.伊人天堂偷偷婷婷| 五月丁香六月激情综合网| 五月丁香花激情啪啪网| 欧美搡BBBBB摔BBBBB| 丁香五月在线| 开心五月婷婷激情网| 玖久久网站| 五月婷婷亚洲| 99热这里全都是精品| 激情网 五月天| 午夜不卡成人一区二区| 激情的五月| 人妻性操逼中文字幕 国产| 丁香五月久久| 色综合综合色| 激情网婷婷五月天| 丁香五月天视频| 婷婷激情鹿城五月天| 99久在线精品99re5热视频| 色色综合网站| 亚洲AV影片在线观看| 久久综合中文字幕| 在线视频另类| 五月丁香六月激情| 色五月激情网| 安息电影在线观看完整版| 欧美激情 日韩无码 婷婷 五月天| 激情五月综合| 国产精品激情AV久久久青桔| 激情五月婷婷| 91久久人人操| 五月丁香啪啪综合网| 成人AV在线电影| 26uuu国产精品| 婷婷成人网五月天| 久久99婷婷| 天堂色色色| 激情五月份婷婷| 国成人网| 超碰精品国产首页| 影音先锋激情网| 久久与婷婷| 五月花激情网| 婷婷偷拍网| 天天爱天天做综合| 丁香久色| 橾逼网| 亚洲无码色色| 天堂在线婷婷| 91丨九色丨大屁股| 米奇影视资源婷婷狠狠色激情欧美五月丁香| 丁香五月婷婷天| 深爱激情综合网| 狠狠操天天日| 99热资源在线| 婷婷丁香激情五月天色色色| 激情综合五月| 久久香蕉影院| 日本女天天爽| 欧美激情综合色丁香婷婷五月天| 色玖玖综合| 亚洲综合无码| 婷婷伊人欧美| 日本女va| 五月 激情视频| 色婷婷电影网| 丁J香六月首页| 久久五月天激情美女| 无码激情| 婷婷五月天激情综合婷婷五月天激情综合 | 婷婷婷婷婷婷婷婷| 婷婷五月天综合网| 婷婷五月情| 91操碰| 欧美槡BBBB槡BBB少妇| 国产26uuu视频| 97香蕉久久超级碰碰高清版 | 天天免费日日夜夜夜夜| 婷婷五月激情五月激情| 欧美日韩99| 激情婷婷六月天| 久久九九@| 国产精品国产| 九热视频免费观看| 久久ri精品视频| 中文精品在| 亚州色综合| co超碰在线观看| 殴美97色| 午夜福利成人AV91| 91在线看片| 久久综合最新网址| 秋霞A V毛片| 2020日日干| 人人操Av| 2025色婷婷| 日日干天天爽| 久久六月婷婷| 久久免费试看120秒| 一区二区三区四区牛| 亚洲精品成人| 五月丁香久久久| 爱久综合| 五月婷婷香蕉| 99色视频| 九九九九无码| 五月开心婷婷网| 婷婷月五天在线在线看| www.99视频| 色呦呦美女| 99色在线| 狠狠色婷婷色| 久久久人妻久久久| 五月丁香手机在线| 亚洲欧州色情在线观看| 五月丁香六月婷综合成人综合| 亚洲精品一区中文字幕乱码| 操操熟女| 精品无码人妻一区| 日韩啪啪视频| 五月丁香六月激情网站| 天天想夜夜爽天天爽| 亚洲人人操BD| 婷婷亚洲综合| 色婷婷小说| 久久久99精品免费观看| 亚洲午夜av| wwW天天干| 狠狠干夜夜干| 日日夜夜干| 成人超碰网| www.久9| 97碰免费视频在线| 色狠狠五月天| 婷婷五月天综合蜜桃| 丁香五月激情啪啪| 婷婷六月天| 99riAV成人在线视频| 狠狠做五月婷婷| 九月婷婷激情| 色九九九九| 色色色.com| 99只有精品| 超碰一区二区| 五月开心婷婷网| 久久激情五月婷婷| 亚洲九N| 俺去也综合| 亚洲色啪| 月色色综合婷婷网| 久久作爱| 五月网在线| 国产精品久久久久9999小说| 激情丁香九九五月综合网| 久草五月天电影网| 五月婷性爱| 99在线视频在线观看| 操逼巨乳91| 婷婷99热| 日韩精品视频中文字幕| 五月婷婷五月丁香综合| 久久久婷婷婷| 99@久久@99精品视频| 大香蕉久久伊人婷婷五月丁香| 天天干天天爽天天操| 丁香 久久| 神马欧美精| 婷婷婷婷婷婷婷婷| 99日本视频| 婷婷丁香激情| 超碰在线免费观看3 9| 久久综合干| 人人爱人人摸人人澡| 婷婷开心综合人妻小说网址| 色五月综合在线| 538在线精品| 啪啪婷婷五月天激情| 色婷婷先锋| 五月婷视频| 国产精品在线视频| 国产精品色情AAAAA片软件| 日韩黄色网络| 另类激情网| 国产做爰视频免费播放| 超碰在线人人| 久久婷婷啪啪视频| av在线资源| 婷婷激情综合| 五月天久久激情| 婷婷色香六月综合激情| 日日综合网| 色五月天影视| 婷婷激情在线| 精品乱码视频| 婷婷综合| 亚洲综合色婷婷| 九九自拍网| 99精品在线观看视频| 五月久久五月激情| 五月婷在线| 操比激情五月| 青青草婷婷综合五月| 久99热| 丁香五月婷婷狠狠色| 这里只有精品网站| 伊人综合网站| 激情小说 五月天| 最新高清无码专区| 五月天婷婷开心| 天天干天天拍| 国产伦理精品高清在线观看网站一区二区 | 九九aV| 一区中文字幕电影| 五月丁香五月综合欧美| 五月丁香久久综合色| 玖玖资源站蜜臀| 九九热在线视频观看免费10| 99久在线精品| 丁香五月自拍| 91狠狠色丁香婷婷综合久久| 99热一本久道| 五月天婷婷久色| 五月丁香激情综合| 国产精品久久7777777精品无码| 五月丁香A∨在线| 67194成I人在线观看线路1 | 99r这里只有精品在线观看| 欧美丁香婷婷五月| 五月色 亚洲| 狠狠色婷婷丁香五月| 色宗合久久五月婷婷| 欧美综合激情| 天天日天天色| 色婷婷A| 色色网站| 91精品又长又大又粗又爽又猛| 欧美婷| 久久性爱视频| 天天爽天天摸| chaopeng在线人人| 美女美女美女三级色天天天天天| 日韩五月婷婷久久| 五月综合精品| 五月丁香| 99热中文字幕久久| 国产美女无遮挡裸体毛片A片| 综合婷婷| 影音先锋91在线资源站| 欧美成人性爱网| 亚洲第二AV| 五月婷婷丁香| 婷婷五月亚洲激情| 九九热精品在线| 五月的色婷婷高潮| 国产67194| 丁香五月色综合色播五月| 国产偷人爽久久久久久老妇APP| 五月丁香在线婷婷蜜桃| 综合色婷婷| 婷婷五月色亚洲| 丁香五月天影院| 天天爽天天爽视频| 婷婷色色丁香五月天| 色婷婷狠狠18| 丁香婷婷五月天色播| 久久激情五月婷婷| 伊人六月无码视频| 91超级碰在线| 可以免费观看的AV| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 综合激情五月四射婷婷| 99久久人妻精品无码二区| 天天肏天天爽夜夜爽| 99久久婷婷国产综合| 思思精品久久艹| 最近免费中文字幕大全高清大全1| 99热这里精| 97操碰人人| 少妇伦子伦精品无吗| 丁香五月天BBw| a毛片二逼wwwwwwwwww| 成人国产欧美大片一区| www.深爱激情| 五月丁香久久精品在线观看| 91色色色18| 这里只有精品视频免费在线观看| 999热在线视频| 97碰操| 久久激情五月婷婷| 伊人狠狠综合| 亚洲啪啪视频| 丁香五月婷婷婷桃花影院| 激情第四色| www.五月婷婷.com| www久久艹| 国产av基地| 成年人丁香五月| 99热精品综合| 五月丁香毛片| 亚洲精品白浆高清久久久久久| 天花AV无码| 五月婷婷大香蕉| 成人精品99| 九热视频| 97丁香五月| 国产精品社区| 婷婷丁香色情| 九九sese| 9色免费网| 五月天激情图片| 日本五月天激情| 中文字幕永久在线| 七七色综合| 五月丁香六月欧美综合网站| 五月婷婷六月丁香在线| 激情五月天社区| 色婷婷a三区麻| www.25五月婷婷| 超碰婷婷五月| 五月天婷婷久久| 久久精彩视频| 91综合色| 狠狠综合| 五月天精品| 九色色| 婷婷五月天xxx| 婷婷五月激情的图片| 免费看成人AA片无码视频吃奶| 综合网五月| 九九国产视频| 成人小说 五月天 婷婷| 五月丁香 啪啪| 超碰v| 在线中文字幕av| 337午夜福利| 激情啪啪五月天| 超碰a女人的天堂| 大香蕉 婷婷| 97综合视频在线| 在线99热| 色五月偷偷| 丁香六月久久| 婷婷五月中文字幕国产| www激情五月天| tingting五月天亚洲| 色偷偷色婷婷| 国产精品久久..4399| 婷婷天堂伊人| 五月丁香久久| 激情六月色| 久综合九| 亚洲综合在线播放| 9精品一区| 大香蕉综合网| 99色视频在线| 色色婷婷五月天| 五月婷婷影| 中文字幕婷婷| 丁香五月先锋| 亚洲成人影视在线观看| 五月激情影院| 天天色99| 五月婷婷六月天| 天天色丁香| 狠狠色噜噜狠狠狠狠综合| 色色婷婷丁香五月天| 婷婷成人丁香色情基地30| 五月天日日操夜夜操| av性爱网站| 天天综合天天玩夜夜玩天天玩夜夜玩 | 五月婷婷激情四季| 这里只有免费的精品| 99精品在线观看| 国产熟女一区二区三区五月婷| 丁香五月婷婷五月天| 色婷婷五月视频| 97五月久久丁香婷婷| 大香蕉久久婷婷精品综合| 五月婷婷开心综合| 国产VA播放| 综合五月天天天天天五月| 思思国产99| 欧美日韩成人在线网| 国产亚洲精品久久一区二区三区| 激情爱爱网站超大免费| 五月天激情小说网| 91精品刘玥| 色色色宗合网| 国产在线视频1234| 久久久九九九 99| 丁香九色不卡aaa| 丁香 久久| WWW.婷婷五月天.COM| 婷婷五月激情丁香激情| 丁香五月激情视频在线| 婷婷丁香五月高清| 激情五月婷婷| 日韩av网站在线观看| 亚洲免费观看高清完整版AV线| 99黄色在线视频精品熟女| 在线视频另类| 99re26视频| 丁香五月激情婷婷婷婷在线观看| 色狠狠综合| 成熟妇人A片免费看网站| 精品国婬伦V无码久久久| 激情五月天.色网| 亚洲国产网站| 亚洲欧洲另类| 色婷婷亚洲在线| 日韩在线视频中文字幕| 五月婷婷综合网| 香蕉AV福利精品导航| 日韩AV片| 五月丁香色综合| 婷婷五月天电影网| 日本一级淫| 日本三日本三级少妇三级66| 色婷婷狠狠爱| www.俺去也com| 久久伦乱| 成年人丁香五月| 91碰操| 色热久| 丁香六月激情综合| 亚洲成人免费电影| 天天色视频| 色播五月| 欧美va亚洲va| 欧美激情性做爰免费视频| 久月丁香爱婷婷综合| 色婷婷欧美| 亚洲无aV在线中文字幕 | 91久久九九| 五月婷婷激情久久| 淫五月停停| 色五月av伊人| 日本WwW色偷偷丁香花久久久京东热| 天天色天天舔天天爱天天爽| 丁香色情五月天| 亚洲六月婷婷| 国产精品社区| 国外亚洲成AV人片在线观看| 亚洲久久婷婷| 亚洲婷婷激情888精品久| 美女100%露全身无挡网站| 五月婷婷开心深| 秋霞电影一级黄| 五月开心婷婷网| 开心五月婷婷激情| 中文字幕在线日亚州9| 中文无码婷婷| 狠狠色丁香婷婷久久综合| 久久se 综合网| 91青娱乐青青草| 久久久久亚洲A∨成人乱码电影| 99亚洲精品综合在线| 天堂综合久| 99久re热视频精品98| 亚洲狠狠爱婷婷| www.9797国产| 可以免费看av网站| 丁香婷婷婷婷十二月在线观看视频| 五月婷婷之综合激情| 精品五月花| 91热网址| 五月丁香久久网| 玩熟女五十AV一二三区| 涩涩五月天| 亚洲激情另类| 日日噜噜夜夜狠狠久久丁香五月| 天天噪夜夜爽| 狠狠色噜噜狠狠狠狠综合| 丁香五月综合AV在线| 中文字幕久久婷九女同| 大香蕉综合在线| 五月色色色| 六月丁香激情网| 五月色综合网| 五月花婷婷| 亚洲无码成人| 丁香五月香蕉| 99精品偷自拍| 精品久9| 婷婷色狠狠| www,99色| 色人久夂| 日本久久99| 激情久久四色| 2020夜夜操天天爽| 婷婷五月激情在线视频| 狠狠干五月天| 国产avapp 网| 性爱视频99| 五月天婷婷小说| 99燥99日| 69人人操人人爽| 97人人看一| 国产成人综合在线| 亚洲国产精品成人免费一区久久久在线观看AAAA| 日韩欧美一区二区三区四区| 色插综合网| 色婷婷六月天在线| 人人摸人人澡人人| 九九九九综合| 91九色精品熟女内射| 成人精品视频99在线观看免费| 婷婷视频在线碰| 色综合久久88色综合天天| 婷婷久久免费| 日本三级中国三级99人妇网站| 永久99免费视频网站| 久99久热只有精品国产99| 99九九精品| 丁香五月天亚洲视频| 婷综合| 爱射综合| 99色嘟嘟精品网站| 91丁香婷婷综合资源| 99热在线精品播放| 久久综合激情五月天| 色婷婷六月综合| 丁香激情综合| 免费黄色AV| 天天综合色| 大香蕉综合视频在线| 日本在线观看91| 婷婷操久久| 99在线观看亚洲| 婷婷综合激情五月综合| 99热在线观看免费精品| 婷婷五月天综合在线| 91妻人人爽人人看片| 丁香久久九九99| 99热自拍| 亚洲色综久久五月| 丁香五月婷婷偷拍| 97人人草| 色婷婷激情Av久久久| 很操日本7| 综合激情五月丁香| 婷婷五月天成人小说| 欧洲综合视频| 日韩中文字幕| 欧美三级级99久久| 久久视这里只有精品| 婷婷五月天首页| 韩国激情五月天综合网| 婷婷五月色天| 影音先锋AV资源男人站| 大香蕉五月婷婷| 99在线精品视频| 日日干夜夜干| 色婷婷色和| 伊人久久婷婷| 亚洲婷婷五月天激情综合| 久久92| 亚洲综合五月天| 97丁香视频| 色播五月婷婷| 五月激情六月婷婷| 狠狠色噜噜狠狠狠狠综合| 粉嫩AV久久一区二区三区| 婷婷之玖玖| 激情五月,色五月| 婷婷五月色網站| 五月天社区| 五月丁香婷婷五月色| 九九热99视频在线| 五月的婷婷六月丁香| 色五月涩涩婷婷| 激情婷婷| 亚洲另类av| 婷婷丁香五| 九九热精品视频| 丁香五月偷拍| 热久69| 国产阿姨日皮艹逼内射视频| 色婷婷的五月天| 国产精品一区在线观看你懂的| 伊人玖玖综合| 五月丁香婷婷久久| 激情综合色婷婷啪啪六月天| 麻豆AV一区二区三区| 视频一二区| 激情五月天无码| 99亚洲精品| 影音先锋91在线资源站| 五月婷婷六月天| 五月丁香欧美在线| 五月丁香六月婷婷网| 无语停婷丁香网| 久久网站免费亚洲| 丁香五月婷婷AV在线| 亚洲欧洲中文日韩久久AV乱码| 日本久久人| 能看的av片| 色丁香五月天| 影音先锋男士资源网一区| 婷婷五月小说色综合| 亚洲va在线∨a天堂va欧美va| 色婷婷视频| 丁香婷婷91在线观看视频| 人人干AV| 久久九九99| 热九九九九| 六月婷五月丁香| 五月丁香激情婷婷| 丁香五月天91| 99视频这里只有免费精品| 天天狠天天叉| 97碰碰碰免费公开在线视频| 在线网黄| 99热无码首页| 久久久99精品免费观看| 丁香婷婷网| 天天做天天爱天天爽综合网| 精品影院| 大香蕉九九| 人人操av| 五婷婷综合网| 亚洲精品成人| 丁香五月婷婷综合激情啪啪啪| 久久9视频欧美| 人人澡玖玖一| 亚洲欧州色情在线观看| 婷婷色在线| 婷婷综合色| 噜噜色婷婷| 99精品国产乱码久久久人妻| 色啪影院| 激情爱爱网站| 亚洲婷婷综合视频| 伊人狠狠狠综合| 五月丁香在线观看| 亚洲操B视频| www色五月天| 深爱五月婷婷| 丁香五月激情宗合网| 久久激情天堂| 丁香五月 无码| 五月天色五月天| 九九热超碰| www.综合久久.com| 操人妻视频91| 丁香,开心成人,久久| 色五月婷婷狠狠撸| 久热91| 欧美 日韩 成人| 五月 婷婷 成人| 国产真人做爰视频免费| 丁香六月婷婷久久综合| 狠狠五月激情丁香六月| 超级碰碰视频无码| 婷婷丁香五月欧美人| 超碰狠狠操| 亚洲永久免费| 丁香五月手机在线| 91丨九色熟女丨首页| 99er久久| 亚洲无码 图片区| 五月天开心色情网| www99热| 日韩色色色色色| 9久国产| 五月婷视频在线观看| SS丁香五月婷婷| 色伦专区97中文字幕| 五月婷六月综合在线观看| 婷婷久久综合久| 五月停停色色丁香| 97九色视频| 九九精品热播| 久热久操久热久草国产91| site:xiongshengzz.com| 思思热在线播放| 久久久精品人妻| 激情五月天的婷婷| 热久久99热欧美国产亚洲| 高清无码网址| 7777激情基地| 最新久久网址| 久人人操| 美女妹子后射视频网站在线观看| 欧美综合激情| 婷婷 激情 五月| 色婷久久| 亚洲欧美日韩VIP| 五月天激情图片| 五月天婷婷爱| 全部老头和老太XXXXX| 色五月天婷婷| 久久女人九九| 99热在线这里| 91色色色视频| 五月丁香激情婷婷| 国产女18毛片多18精品| 思思热久久婷婷五月天| 秋霞AV吧| 亭亭五月激情亚洲在线| 婷婷色色亚洲| 狠狠五月天激情| 99久久97| 综合婷婷五月丁香在线观看| #NAME?| 狠狠搞亚洲| 亚洲V国产V欧美V久久久久久| 五月丁香婷婷久久| 婷婷五月综合国产精品| 这里只有精品99视频| www.99热在线观看| 六月色播| www.久9| 开心五月天激情网| 日本精品干| 久久草中文日韩欧美| 婷久久| 伊人久久艹| 九九国产视频| 香蕉综合网| 婷婷黄色五月天在线视频| 九九黄色网| 大波美女VA网站| 丁香五月五月婷婷欧美大香蕉| 五月婷婷乱| AV大片在线观看| 99久热这里只有精品| 婷婷九九视频| WWW.99热| 久久五月视频| 色五月激情五月| 精品成人无码A片观看香草视频| 久久婷婷青青| 色在线视频网2025| 五月天伊人久久久久| www.五月婷婷.com| 久99热| 99免费在线视频| 丁香五月天婷婷中文| 色九四色| 亚洲精品国产精品乱码视99| 人人爱天天摸摸天天爱| 99热每日| 亚洲va在线∨a天堂va欧美va| 亚洲色色五月天| 丁香蜜臀黄色婷婷五月天| 九久9精品| www.夜夜操| 五月丁香欧美| 丁香六月青青草| www.色婷婷.com| 日日夜夜狠狠婷婷色| 婷婷操逼| 婷婷天天舔| 色婷婷五月综合| 中文人妻主播久久| 91.www综合| 这里只精品热在线18| 天天色天天搡| 婷婷成人五月天| 97资源欧美日韩大香蕉超碰一区| 天天干天天日天天操| 久久与婷婷| 五月婷久久| 天天弄天天操| 丁香五月六月欧美| 日韩AV在线免费观看| 婷婷综合网站| 我要射综合| 91互操| 五月婷啪| 国产99精品免费视频| 99视频免费播放 | 丁香五月激情啪啪| 色五月激情婷婷| 91viP在线看| 久草热在线视频| 99热欧| 丁香婷婷浪潮AV久久综合| 99.N在线视频| 五月丁香婷婷无码中文| 丁香五月狠狠在线观看| 色五月婷婷老师| 综合激情五月四射婷婷| 91免费啪视频| 欧美婷婷日本| www.爱操com.| 色婷婷AⅤ| 婷婷五月天在线观看| 人人操人人爱丁香五月| 综合网啪啪| 无码少妇高潮喷水A片免费| 色五婷婷开心缴| 婷婷色亚洲| 亚洲成人丁香花| 狠狠插狠狠插| 天天婷婷综合亚洲亚洲| 亚洲婷婷月丁香五月| 日本啪啪网| 4399无码视频| 色亚洲中文| 丁香五月色激情| 久久狠狠干| 五月婷免费视频久久久| 婷婷五月丁香四射| 五月婷婷影院| 五月色情婷婷开心五月色情| 免费观看高清无码| 综合色播| 久久婷婷丁香六月天| 91九色 婷婷| 亚洲亚洲人成综合网络| 婷婷五月综合激情免费| 亚洲超碰在线| 久久您您综合网| 香蕉综合在线| 婷婷激情五月综合丁| 国产ava| 嫩BBB搡BBBB榛BBBB| 久热这里只有精品6| 丁香五月婷婷狠狠色| 黄色激情网站在线观看| 亚州色婷婷| 夜夜爽天天日| 九九九九国产| 中文AV网站| www.婷婷| 久久性爱视频久久性爱视频| 91超碰九色| 婷婷中文字幕欧美| 9精品在线| 9这里只有精品| 国产白丝在线一区| Av狠狠色丁香婷| AV在线大香蕉| 日日夜夜噜噜爽爽| AV网站免费在线| 综合aV在线| av在线免费网站 | 香蕉人在线香蕉人在线 | 日日操夜夜操狠狠操| 9久久精品视频| 精品夜夜澡人妻无码AV| 丁香五月婷婷在线| 丁香五月第九色| www.9797国产| 牛色色碰| 久久久8| 五月激情婷婷女| 亚洲夜五月| www久久久久| 国产AV熟妇人震精品一品二区| 婷婷在线综合| 狠婷婷五月| 如何安全看伊人婷婷| 色九九一二| 婷婷五月天小说| 另类视在线| 婷婷五月天亚洲图片| 亚洲色色色色色色色色色| 五月婷中文娱乐综合| 99免费视频| 97人人搞| 婷婷五月天成人网站| 色天天综合天天综合频道。| www久久久久久| 国产69久久久欧美黑人A片| 久久五月激情综合| 国产精品久久7777777精品无码| 色婷婷AAA| 97热超碰| 成熟妇人A片免费看网站| 超碰人人操在线| 99这里只有精品99| 激情丁香淫荡婷婷| 丁香五月影视| 97色一二三| 人妻久久久久久| 操久久网| 99A片| 欧美日韩成人在线观看| 99超超碰| 狠狠操狠狠操| 久久婷婷丁香| 99热在线免费| 婷婷六月网| 五月婷久久| 婷婷五月18永久免费网站| 五月天婷婷丁香成人网| 丁香六月啪啪| 伊人色综合网| 亚洲在线操| 婷婷六月五月| 色婷婷五月天激情在线播放| PORNY九色9l自拍视频成人| 葵花AV在线| 91男人操女人视频| 亚洲五月天激情| 色五月婷婷小说亚洲中文字幕组| 久久久久久综合五月婷婷| 色五月丁香五月五月婷婷| 国产成人综合在线| 亚洲视频久久| 91干网站| 97碰碰碰免费公开在线视频| 婷婷色五月激情强奸四射| 激情开心五月天婷婷基地丁香社区| 国产成人VA| 九九RE视频在线精品| 超碰高清在线| 色哟呦av| 女人高潮内射99精品| 色吧综合网| 热久久这里只有精品| 激情五月深爱婷婷| 综合热无码| 玖玖伦理电影| 99操| 4399亚洲视频| 久久这里只有欧美| 六月丁香VA| 婷婷六月天天| 亚洲操B| 国产做爰视频免费播放| 七七色综合| 久久婷丁香五月| 久久久色婷婷五月天| 99福利视频| 婷婷五月丁香六月| 丁香五月婷婷六月| 日韩免费视频| 少妇性按摩无码中文A片| 精品9久| 国产探花一片区| 9热在线观看| 丁香五月婷婷啪| 五月 成人 婷婷| 色婷操逼| 色域五月婷婷丁香| 99热网站| 五月天激情Av| 色天五月天在线观看视频| 九九久久99| www.ywav| 亚洲VA口| 这里只有精彩亚洲视频推荐| 亚洲avjiujiur91| 五月天激情站| 永久的网站AAAA | 婷婷五月丁香五月综合网| 亚洲美女高潮久久久久久69| 六月婷婷毛片| 婷婷激情五月综合| 一本婷婷丁香久久| 综合伊人久久| 99r久久这里只有精品| 久久婷婷五月综合色和| 久久33视频| 婷婷五月在线视频| 久久99网站| 日本三级日本三级99| 激情五月天婷婷丁香| 激情综合色网| AAA久久久| 五月婷婷偷拍| 丁香九月综合激情| A1片久久久| 99亚洲视频| 99狠狠色| 综合另类视频| 丁香五月色网| 色婷婷五月综合在线| 黄网在线观看免费| 丁香六月综合激情| 类似婷婷激情综合网站| 婷婷五月天在线视频网站| 99热免费观看| 日日干夜夜干| 午夜成人综合| 97干视频| 99ri在线视频| 97自拍视频在线| 97色色色| 天天色粽合合合合合合合| 五月丁香在线| 国色天香成人网| 欧美日韩成卜| 婷婷综合丁香| 99在线资源视频| 激情婷婷护士激情| 东京热人妻一区二区三区在线| 97久操| 丁香狠狠色婷婷久久无码视频| 丁香五月熟女| yiqicaoav| 99热九九在线| 久草a片| 91精品久久久久久久| 日本久久99| 久久精品国产色| 亚洲欧洲自拍图片专区五月天| 91精品国产综合久久密臀| 韩国三级五月天婷婷。| 色色色图| 色婷婷亚洲婷婷| 91九色中文字幕女在线观看| 伊人久久大香网| 久久只有18视频| 五月丁香六月婷| 无码免费人妻A片AAA毛片西瓜| 怡红院AV亚洲一区二区三区H | 婷婷丁香五月综合| 久久精品A片777777| 亚洲AV久久久久久久久久久久久久久久| 丁香五月婷婷av影院| 99精品久久久久久久久| 七七色色综合| 久久多色| 六月丁香视频网站| 色色网站免费观看| 99热这里只有精品22| 99色在线| 97色干| 99成人| 五月婷婷丁香日韩在线| 婷婷久久婷婷色五月| 久久综合中文字幕| 东京热免费视频| 亚洲 精品 综合 精品| 99精品久久久久久久婷婷久久| 啪到高潮激情丁香五月| 色色色综合网| 日韩视频99| 日日做A爰片久久毛片A片英语| 综合久久五| 2021日韩无码| 色域五月婷婷丁香| 久久网站免费亚洲| 五月婷婷,六月激情| 色色五月婷婷| 婷婷五月天激情综合| 久久99成人性爱高清视频| 丁五月激情视频免费| WWW.婷婷| 99re热视频这里只精品| 中文字幕人妻AV| 久久久久8888| 色波激情五月天| 开心五月婷| 99综合| 久久丁香五月天| 五月J香蕉婷婷| 久久婷婷五| 久久99网站| 噜噜噜噜在线| 综合图片色色| 高清无码视频网址| 国产AV一区二区三区最新精品| 超碰在线资源| 玖玖99免费视频| 色婷婷六月性| 天天影视色综合网| 97婷婷丁香| 26uuu国产| 久久色吧| 丁香五月婷婷超碰在线| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 大香蕉Av在线| 色吊丝永久访问网址| 欧美群妇大交乱婬网| 丁香婷婷色五月天| 色婷六月| 1000部毛片A片免费观看| 免费看欧美成人A片无码| 日韩婷久| 色婷婷五月天中文字幕| 囯产精品一品二区三区| 另类小说五月天| 五月丁香六月激情在线| 久777| 久青操| 色小说婷婷五月天天天| 99热这里只有精彩| 狠狠草在线观看| 日本久久色| 伊人久久大香线蕉av一区| 91丨熟女丨首页| 五月丁香啪啪综合| 色五月丁香网| 色狠狠婷婷| 99久久婷| 六月婷婷私欲| 久久精品99久久久久久| 人人草人人舔| 亚洲一区二区 成人网站戴套| 9 1超碰九色| 天天做天天双| 99久久五月婷婷| 九九热精品| 超碰在线个人观看| 性爱先锋AV| 思思精品热在线| 色综合色色| 99视频| 永久免费视频| 有码人妻久久| 天天爱天天做天天| 最近中文字幕大全免费版在线| 色色色色色色五月婷婷| 亚洲美女婷婷五月天| 激情www| 99精品无码| 99人人看| 热热久久精品视频| 久久久人妻门| 噜噜视频| 六月婷婷AV| 丁香香五月激情免费视频| 天天狠狠六月婷丁香影院| 成人av免费观看| 激情九九六月激情免费视频| 丁香五月日啪| 色综合久久中文| BBWCUCKOLD精品熟妇| 久久在线92| 欧洲综合视频在线观看。欧洲,亚洲综合食品在线观看。 | 91婷婷色| 婷婷综合中文| 狠狠综合久久| 丁香六月在线| 大香蕉手机视频| 热99久| 操嫩逼电影| 超碰人人操人人干| 九九色婷| 色9999日韩国产| 婷婷丁香激情综合色情| 人人摸人人搞| 成人人操| 亚洲尤物在线| 超碰激情网| 91久女| 天堂A∨在线| 六月婷婷在线视频| 日日夜夜干| 国産精品| Www,五月天| 国产一级片| 手机在线日韩视频中文字幕| 97韩国久久电影院| 玖玖爱伊人| 麻豆忘忧草午夜| 激情精品久久| 色色免费网站| 丁香五月综合网| 天天五月丁香五月| 九九在线视频| 中文字幕视频色婷婷| 在线中文字幕视频| 五月婷亚洲精品| 女人高潮内射99精品| 午夜成人AV在线| 色五月天综合网| 少妇出轨做爰高潮A片| 色丁香五月婷婷| 婷婷深爱五月天| 亚洲六月综合激情久久下卡| 激情小说五月天社区丁香| 91精品综合久久婷婷九色| 99久久婷婷综合| 天天日夜夜草进麻麻的子宫|