欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

手寫數(shù)字識別系統(tǒng)實(shí)戰(zhàn):從MNIST訓(xùn)練到Python部署全流程

手寫數(shù)字識別系統(tǒng)實(shí)戰(zhàn):從MNIST訓(xùn)練到Python部署全流程 簡介面向課程設(shè)計與圖像識別入門學(xué)習(xí)者的 Python 手寫數(shù)字識別課程資源覆蓋從數(shù)字圖像輸入、數(shù)據(jù)預(yù)處理到多元線性回歸多分類建模、模型測試的完整流程。壓縮包共 16 個文件、約 251KB包括可直接運(yùn)行的訓(xùn)練與識別 Python 腳本、設(shè)計報告 Word 文檔、訓(xùn)練權(quán)重及標(biāo)簽 CSV 數(shù)據(jù)、9 張 28×28 測試位圖以及 README 與 LICENSE 說明按“源碼-數(shù)據(jù)-報告”組織便于對照學(xué)習(xí)。實(shí)現(xiàn)思路是先用 Windows 畫圖繪制黑底白字的 28×28 數(shù)字圖像作為輸入再借助多元線性回歸模型對 09 十個類別完成識別訓(xùn)練與識別環(huán)節(jié)分離腳本可直接練習(xí)或二次修改。已有 4327 人瀏覽學(xué)習(xí)適合計算機(jī)相關(guān)專業(yè)課程設(shè)計、期末項(xiàng)目及手寫識別入門實(shí)踐參考。1. 手寫數(shù)字識別系統(tǒng)從MNIST跑分到能落地的Python工程基于Python實(shí)現(xiàn)的手寫數(shù)字識別系統(tǒng)這個壓縮包標(biāo)題拆開看其實(shí)是一條機(jī)器學(xué)習(xí)入門最完整的鏈路用MNIST手寫數(shù)字?jǐn)?shù)據(jù)集訓(xùn)練一個分類器再把它包成能交互使用的程序。很多人練手止步于訓(xùn)練完看一眼準(zhǔn)確率而這類項(xiàng)目真正考驗(yàn)的是后半段——怎么把模型從notebook里搬出來變成一個對著手寫圖片能穩(wěn)定出結(jié)果的東西。這套東西能解決的實(shí)際問題很具體表單上的數(shù)字自動錄入、試卷分?jǐn)?shù)識別、票據(jù)編號提取。OCR對這些場景往往過重規(guī)則匹配又太脆訓(xùn)練一個輕量分類器反而是性價比最高的方案。項(xiàng)目本身不大但對數(shù)據(jù)預(yù)處理、模型選型、序列化和GUI交互的完整度要求很高任何一個環(huán)節(jié)斷了整個系統(tǒng)就卡殼。適合三類人正在找課程設(shè)計或畢業(yè)設(shè)計題目的學(xué)生剛學(xué)完P(guān)ython語法想碰第一個機(jī)器學(xué)習(xí)項(xiàng)目的人以及被識別一批手寫數(shù)字圖片這種需求找上門的工程師。后面所有內(nèi)容都圍繞一個目標(biāo)讓系統(tǒng)從測試集99%走到隨便拿一張真實(shí)手寫圖都穩(wěn)定出結(jié)果。這就是手寫數(shù)字識別系統(tǒng)項(xiàng)目真正值錢的地方。2. 從數(shù)據(jù)到模型MNIST數(shù)據(jù)管線、SVM基線與小型CNN兩條建模路線2.1 MNIST數(shù)據(jù)加載與預(yù)處理28×28灰度圖到張量的一步之遙MNIST是手寫數(shù)字識別繞不開的數(shù)據(jù)集6萬張訓(xùn)練圖、1萬張測試圖每張都是28×28的灰度圖像素值0到255。任務(wù)固定為十分類看起來很簡單但坑恰恰藏在看起來簡單里——訓(xùn)練和預(yù)測兩條路的預(yù)處理一旦不一致模型精度再高也白搭。我見過太多人訓(xùn)練時用torchvision的transform預(yù)測時用OpenCV裸讀的圖片直接resize最后喂進(jìn)去的分布完全對不上結(jié)果就是訓(xùn)練99%、預(yù)測全錯。加載MNIST最省事的通道是torchvision.datasets它會自動下載并緩存配合DataLoader按batch迭代代碼量很小。import torch from torchvision import datasets, transforms # Compose 按順序執(zhí)行:先轉(zhuǎn) Tensor,再做標(biāo)準(zhǔn)化 transform transforms.Compose([ transforms.ToTensor(), # PIL圖片 - Tensor(C,H,W),像素縮到[0,1] transforms.Normalize((0.1307,), (0.3081,)) # MNIST全量均值/標(biāo)準(zhǔn)差, 直接沿用 ]) train_data datasets.MNIST( root./data, # 首次運(yùn)行會自動下載, 之后讀本地緩存 trainTrue, # True取訓(xùn)練集, False取測試集 downloadTrue, transformtransform ) test_data datasets.MNIST(root./data, trainFalse, downloadTrue, transformtransform) train_loader torch.utils.data.DataLoader( train_data, batch_size64, shuffleTrue, num_workers2 ) test_loader torch.utils.data.DataLoader( test_data, batch_size256, shuffleFalse, num_workers2 )代碼邏輯分成兩段transform定義單張圖怎么變成模型輸入DataLoader定義一批數(shù)據(jù)怎么迭代。這里幾個參數(shù)值得記一下。ToTensor()把PIL圖像轉(zhuǎn)成(C, H, W)形狀的Tensor并把像素從0~255縮放到0.0~1.0通道被放到最前面這是后面所有維度操作的基礎(chǔ)。Normalize的兩個數(shù)0.1307和0.3081是MNIST數(shù)據(jù)集的固有統(tǒng)計量直接拿現(xiàn)成的就行不用自己算。如果不做標(biāo)準(zhǔn)化CNN照樣能收斂但收斂速度和穩(wěn)定性會差一些尤其是網(wǎng)絡(luò)加深以后。batch_size64是訓(xùn)練集常用的起步值shuffleTrue保證每個epoch數(shù)據(jù)順序不同避免模型學(xué)到無用的批次順序num_workers2讓數(shù)據(jù)加載走子進(jìn)程不至于卡住GPU主線程。如果你不想引入torchvision還有一條更輕的路tensorflow.keras.datasets.mnist.load_data()直接返回兩個numpy元組適合快速驗(yàn)證SVM和隨機(jī)森林這類傳統(tǒng)模型。兩條路的數(shù)據(jù)內(nèi)容完全一致差別只在返回的數(shù)據(jù)結(jié)構(gòu)和預(yù)處理職責(zé)。我一般建議后面要上CNN就用torchvision只跑傳統(tǒng)機(jī)器學(xué)習(xí)就用keras的load_data省掉transform的配置成本。2.2 用sklearn SVM快速出基線先跑通鏈路再談精度跑基線不是為了炫技而是驗(yàn)證數(shù)據(jù)鏈路通不通、評估腳本對不對。SVM在MNIST上表現(xiàn)夠用且訓(xùn)練量遠(yuǎn)小于CNN是完美第一棒線性核大約92%準(zhǔn)確率RBF核能做到98%以上。先用傳統(tǒng)模型把數(shù)據(jù)加載、評估、可視化這條鏈路跑通后面換CNN時只需要替換模型主體排查范圍會小很多。import numpy as np from sklearn import svm from sklearn.metrics import classification_report from tensorflow.keras.datasets import mnist # 借用keras下載通道, 返回numpy數(shù)組 (x_train, y_train), (x_test, y_test) mnist.load_data() # 28x28拉平成784維, 像素從[0,255]縮放到[0,1] X_train x_train.reshape(-1, 784) / 255.0 X_test x_test.reshape(-1, 784) / 255.0 # RBF核SVM; C控誤分類懲罰, gammascale由sklearn按特征數(shù)自動推算 model svm.SVC(C5.0, kernelrbf, gammascale, verboseFalse) model.fit(X_train[:10000], y_train[:10000]) # 先拿1萬條確認(rèn)鏈路, 再全量訓(xùn)練 y_pred model.predict(X_test) print(classification_report(y_test, y_pred, digits4))參數(shù)層面有三個關(guān)鍵點(diǎn)。C是誤分類懲罰系數(shù)C大模型越傾向把所有樣本分對容易過擬合C小容錯高容易欠擬合MNIST上C5是穩(wěn)妥的中間值。gammascale表示讓sklearn根據(jù)特征數(shù)量自動推算約等于1/(n_features * X.var())這個默認(rèn)在MNIST上表現(xiàn)很好手動把gamma調(diào)大SVM會退化成逐樣本記憶相似度測試準(zhǔn)確率突然跳水。最后一個細(xì)節(jié)是我故意只fit前10000條——RBF核的SVM訓(xùn)練復(fù)雜度接近O(n2)到O(n3)全量六萬條在普通筆記本上要跑十幾分鐘先用子集確認(rèn)沒錯再全量訓(xùn)練是省時間的血淚經(jīng)驗(yàn)。跑完看classification_report里的每類precision、recall、f1。如果某個數(shù)字的recall特別低比如1總被認(rèn)成7常見原因是手寫風(fēng)格分布不均或預(yù)處理把細(xì)筆畫磨掉了。這時先別急著上復(fù)雜模型回去檢查預(yù)處理管線通常比換模型更有效。2.3 用PyTorch搭小型CNN卷積、池化、全連接的結(jié)構(gòu)與訓(xùn)練循環(huán)傳統(tǒng)模型給了98%的基線再往上走就要靠CNN了。CNN在MNIST上的優(yōu)勢在于卷積核天然適合捕捉筆畫這種局部特征而且參數(shù)量遠(yuǎn)小于全連接網(wǎng)絡(luò)直接作用于784像素的情況。我用的是一個精簡的LeNet風(fēng)格網(wǎng)絡(luò)結(jié)構(gòu)干凈新手能看懂每個模塊的作用。import torch.nn as nn class DigitCNN(nn.Module): def __init__(self): super().__init__() # 輸入1通道(灰度), 輸出32個特征圖; padding1保證28x28尺寸不變 self.conv1 nn.Conv2d(1, 32, kernel_size3, padding1) self.conv2 nn.Conv2d(32, 64, kernel_size3, padding1) self.pool nn.MaxPool2d(2, 2) # 兩次2x2池化后, 28x28變成7x7, 特征圖64個 self.fc1 nn.Linear(64 * 7 * 7, 128) self.fc2 nn.Linear(128, 10) self.dropout nn.Dropout(0.25) def forward(self, x): x self.pool(torch.relu(self.conv1(x))) # 28x28 - 14x14 x self.pool(torch.relu(self.conv2(x))) # 14x14 - 7x7 x x.view(x.size(0), -1) # 拉平成 [batch, 64*7*7] x torch.relu(self.fc1(x)) x self.dropout(x) return self.fc2(x) # 最后一層不加激活, 交給CrossEntropyLossforward里的維度變化是理解CNN的鑰匙輸入(batch, 1, 28, 28)經(jīng)過conv1relupool變成(batch, 32, 14, 14)經(jīng)過conv2relupool變成(batch, 64, 7, 7)view拉平成(batch, 3136)后進(jìn)入全連接。全連接層輸出10維向量對應(yīng)0~9每個類別的得分CrossEntropyLoss內(nèi)部會先做softmax再算交叉熵所以最后一層不加激活。Dropout加在全連接層前訓(xùn)練時隨機(jī)屏蔽25%的神經(jīng)元防止過擬合。訓(xùn)練循環(huán)也需要單獨(dú)寫清楚因?yàn)樗婕澳P湍J角袚Q這是新手最容易忽略的點(diǎn)。def train_one_epoch(model, loader, optimizer, criterion, device): model.train() # 開啟訓(xùn)練模式, 啟用Dropout total_loss 0.0 for images, labels in loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() return total_loss / len(loader) def evaluate(model, loader, device): model.eval() # 關(guān)閉Dropout, BatchNorm用累計統(tǒng)計量 correct 0 with torch.no_grad(): # 推理階段不建計算圖, 省顯存 for images, labels in loader: images, labels images.to(device), labels.to(device) pred model(images).argmax(dim1) correct (pred labels).sum().item() return correct / len(loader.dataset) criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.parameters(), lr1e-3)model.train()和model.eval()的區(qū)別常被忽略train模式啟用Dropout和BatchNorm的批次統(tǒng)計eval模式關(guān)閉Dropout并使用累計統(tǒng)計量。忘了切換就會出現(xiàn)訓(xùn)練時好好的一評估就翻車的怪現(xiàn)象。with torch.no_grad()讓推理不保存梯度計算圖顯存占用和速度都有明顯改善。這個訓(xùn)練循環(huán)是通用模板換數(shù)據(jù)集、換網(wǎng)絡(luò)結(jié)構(gòu)基本都能復(fù)用只改輸入維度和類別數(shù)就行。3. 把模型裝進(jìn)系統(tǒng)訓(xùn)練腳本固化、模型持久化與Tkinter手寫畫板3.1 把訓(xùn)練流程寫成可復(fù)跑腳本損失曲線與驗(yàn)證精度怎么看notebook里調(diào)通的代碼要變成能交付的系統(tǒng)第一步是把訓(xùn)練流程固化成腳本。這樣做的意義在于固定隨機(jī)種子讓結(jié)果可復(fù)現(xiàn)訓(xùn)練曲線落盤讓之后能復(fù)盤全流程參數(shù)集中配置讓換數(shù)據(jù)集時不用改代碼邏輯。# train.py 核心結(jié)構(gòu) import random import numpy as np import torch import matplotlib.pyplot as plt def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) if torch.cuda.is_available(): torch.cuda.manual_seed_all(seed) set_seed(42) # 固定種子, 保證多次訓(xùn)練結(jié)果一致 model DigitCNN().to(device) optimizer torch.optim.Adam(model.parameters(), lr1e-3) train_losses, val_accs [], [] for epoch in range(12): loss train_one_epoch(model, train_loader, optimizer, criterion, device) acc evaluate(model, test_loader, device) train_losses.append(loss) val_accs.append(acc) print(fepoch {epoch1:02d}: loss{loss:.4f}, acc{acc:.4f}) # 曲線落盤, 訓(xùn)練完隨時回看 plt.figure(figsize(8, 4)) plt.subplot(1, 2, 1) plt.plot(train_losses, markero) plt.title(train loss) plt.subplot(1, 2, 2) plt.plot(val_accs, markero, colorgreen) plt.title(val acc) plt.tight_layout() plt.savefig(training_curve.png, dpi150)曲線的看法就三句話。loss平穩(wěn)下降說明學(xué)習(xí)率合適loss震蕩說明學(xué)習(xí)率偏大或批次太小數(shù)值來回跳但整體不降八成是這兩個參數(shù)的事train loss持續(xù)降但驗(yàn)證準(zhǔn)確率不再漲就是過擬合信號優(yōu)先加Dropout或數(shù)據(jù)增強(qiáng)而不是繼續(xù)加epoch。固定隨機(jī)種子這事看著玄學(xué)但你沒法復(fù)現(xiàn)前一版結(jié)果的時候它就是唯一的后悔藥。3.2 模型保存與加載joblib與state_dict的使用邊界模型訓(xùn)練好后序列化是系統(tǒng)能否獨(dú)立運(yùn)行的分水嶺。不同框架有各自的推薦做法混著用會踩坑。# sklearn模型用joblib, 能完整保存整個estimator import joblib joblib.dump(model, mnist_svm.pkl) loaded_svm joblib.load(mnist_svm.pkl) pred loaded_svm.predict(X_test[:5]) # PyTorch模型推薦只存state_dict(參數(shù)), 不存整個對象 torch.save(model.state_dict(), mnist_cnn.pth) # 加載時先建同結(jié)構(gòu)網(wǎng)絡(luò), 再把參數(shù)灌進(jìn)去 loaded_cnn DigitCNN() loaded_cnn.load_state_dict(torch.load(mnist_cnn.pth, map_locationcpu)) loaded_cnn.eval()兩條路的使用邊界要分清。joblib保存的是整個sklearn估計器包括參數(shù)、類和版本信息加載時要求Python和sklearn版本盡量一致跨大版本經(jīng)常報錯。PyTorch的torch.save(model.state_dict())只保存參數(shù)字典加載時必須先手動構(gòu)建同結(jié)構(gòu)的網(wǎng)絡(luò)好處是跨版本兼容性更好壞處是你得保證網(wǎng)絡(luò)結(jié)構(gòu)代碼沒變過。還有一種常見錯誤是直接torch.save(model)把整個對象序列化這種做法在類定義路徑變化或跨機(jī)器時會直接崩別圖省事。我的習(xí)慣是模型文件旁邊放一個requirements.txt把numpy、scikit-learn、torch、torchvision的版本號固定住。這樣半年后換機(jī)器能少一大半加載失敗的排查時間。3.3 Tkinter畫板交互從Canvas筆跡到28×28張量的實(shí)時識別鏈路一個手寫數(shù)字識別系統(tǒng)總得有人機(jī)交互入口。Tkinter是Python標(biāo)準(zhǔn)庫自帶的可視化工具不需要額外安裝做一個鼠標(biāo)寫數(shù)字、點(diǎn)擊識別的畫板足夠用。核心是把Canvas上的筆跡轉(zhuǎn)成28×28的MNIST風(fēng)格張量這一步的處理方式和訓(xùn)練數(shù)據(jù)越一致識別越準(zhǔn)。import tkinter as tk from PIL import Image, ImageDraw import numpy as np import torch class DigitApp: def __init__(self, model, device): self.model, self.device model, device self.win tk.Tk() self.win.title(手寫數(shù)字識別) # 畫布280x280, 正好是28x28的10倍, 縮放取整方便 self.canvas tk.Canvas(self.win, width280, height280, bgwhite) self.canvas.pack() self.canvas.bind(B1-Motion, self.paint) self.canvas.bind(ButtonRelease-1, self.reset_line) btn tk.Frame(self.win); btn.pack(pady10) tk.Button(btn, text識別, commandself.predict).pack(sideleft, padx5) tk.Button(btn, text清空, commandself.clear).pack(sideleft, padx5) self.label tk.Label(self.win, text用鼠標(biāo)寫一個數(shù)字, font(Arial, 14)) self.label.pack(pady10) # L模式8bit灰度, 白底; draw對象負(fù)責(zé)記錄筆跡 self.image Image.new(L, (280, 280), 255) self.draw ImageDraw.Draw(self.image) self.prev None self.win.mainloop() def paint(self, event): if self.prev is not None: x1, y1 self.prev self.canvas.create_line(x1, y1, event.x, event.y, width12, capstyleround) self.draw.line([x1, y1, event.x, event.y], fill0, width12) self.prev (event.x, event.y) def reset_line(self, event): self.prev None # 每次抬筆重置錨點(diǎn), 否則會畫出連接線 def clear(self): self.canvas.delete(all) self.image Image.new(L, (280, 280), 255) self.draw ImageDraw.Draw(self.image) self.label.config(text用鼠標(biāo)寫一個數(shù)字)這里有個細(xì)節(jié)容易翻車如果不綁定ButtonRelease-1去重置prev下一次落筆時paint里的prev還停留在上一次抬筆的坐標(biāo)系統(tǒng)會在兩次書寫之間畫一條不存在的斜線。line width用12是為了模擬真實(shí)筆跡的粗細(xì)太細(xì)的線條經(jīng)過縮放后很容易在28×28上斷裂數(shù)字1這類細(xì)筆畫會直接消失。def predict(self): # 縮放到28x28, BILINEAR抗鋸齒比NEAREST平滑 img self.image.resize((28, 28), Image.BILINEAR) arr np.array(img).astype(np.float32) # 白底黑字 - 黑底白字, 和MNIST方向一致; 再縮放到[0,1] arr (255.0 - arr) / 255.0 tensor torch.from_numpy(arr).unsqueeze(0).unsqueeze(0).to(self.device) with torch.no_grad(): prob torch.softmax(self.model(tensor), dim1) digit torch.argmax(prob, dim1).item() conf prob[0, digit].item() self.label.config(textf識別結(jié)果: {digit} 置信度 {conf:.2f})predict這一段是整條識別鏈路的縮影縮放、反色、歸一化、擴(kuò)維、推理、取softmax置信度。擴(kuò)維的unsqueeze做了兩次第一次從(28,28)變成(1,28,28)表示單通道第二次變成(1,1,28,28)表示batch為1。反色那一步尤其關(guān)鍵因?yàn)镸NIST是黑底白字而Tkinter畫布是白底黑字不做(255.0 - arr)這一步模型的輸入語義就反了。4. 精度從98%到99%數(shù)據(jù)增強(qiáng)、超參數(shù)調(diào)優(yōu)與多模型投票的收益邊界4.1 數(shù)據(jù)增強(qiáng)隨機(jī)平移旋轉(zhuǎn)讓模型學(xué)到什么基線CNN能到98.9%左右再往上推靠的是讓模型見更多變形樣本。MNIST雖然規(guī)范但真實(shí)手寫不可避免有偏移和傾斜數(shù)據(jù)增強(qiáng)就是在訓(xùn)練時隨機(jī)制造這些變化讓模型學(xué)會忽略它們。注意增強(qiáng)只加在訓(xùn)練集測試集必須保持確定性處理否則評估結(jié)果就沒法橫向比較。from torchvision import transforms # 訓(xùn)練集增強(qiáng): 旋轉(zhuǎn)±10度, 平移±10%, 這會顯著提升泛化 train_transform transforms.Compose([ transforms.RandomAffine(degrees10, translate(0.1, 0.1)), transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) # 測試集只做確定性變換, 不做隨機(jī)增強(qiáng) test_transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ])RandomAffine的degrees10表示隨機(jī)旋轉(zhuǎn)范圍正負(fù)10度translate(0.1, 0.1)表示水平和垂直方向各隨機(jī)平移最多10%。這兩個參數(shù)對MNIST效果明顯旋轉(zhuǎn)太大會讓6和9變得難以區(qū)分平移太大會把筆畫推到邊緣所以10度、10%是經(jīng)過大量實(shí)驗(yàn)的穩(wěn)妥區(qū)間。加入增強(qiáng)后同樣的網(wǎng)絡(luò)結(jié)構(gòu)準(zhǔn)確率能從98.9%提到99.2%以上并且對畫板輸入這種有輕微偏移的場景更魯棒。判斷增強(qiáng)是否過頭的辦法是看驗(yàn)證集準(zhǔn)確率如果訓(xùn)練loss降但是驗(yàn)證acc不再漲甚至掉說明增強(qiáng)強(qiáng)度已經(jīng)讓模型學(xué)不動了。4.2 關(guān)鍵超參數(shù)怎么定學(xué)習(xí)率、batch_size、卷積核與epochs的搭配表超參數(shù)調(diào)優(yōu)是手寫數(shù)字識別系統(tǒng)里最容易被玄學(xué)化的部分。實(shí)際上MNIST小、訓(xùn)練快完全可以用每次改一個變量跑五輪看趨勢的方式系統(tǒng)排查。下面這張表是我常用的起始建議適合小型CNN。超參數(shù)建議值調(diào)大/調(diào)小的影響學(xué)習(xí)率1e-3過大loss震蕩不收斂過小收斂極慢10輪看不出動靜batch_size64調(diào)大訓(xùn)練穩(wěn)但顯存占用高調(diào)小噪聲大梯度抖動明顯卷積核數(shù)量32/64增加通道數(shù)提升擬合能力但參數(shù)量和過擬合風(fēng)險同步上升epochs10~15MNIST上超過15輪收益很小重點(diǎn)看驗(yàn)證曲線是否走平Dropout0.25調(diào)大抑制過擬合但可能欠擬合0.5以上對MNIST通常過重優(yōu)化器Adam默認(rèn)配置即可SGD需要手動調(diào)momentum和lr新手不建議先換學(xué)習(xí)率是最先該查的參數(shù)。用Adam配1e-3在MNIST上幾乎不會出問題但如果換到其他數(shù)據(jù)集第一件事永遠(yuǎn)是畫loss曲線確認(rèn)收斂方向而不是直接調(diào)網(wǎng)絡(luò)結(jié)構(gòu)。batch_size的選取有個實(shí)用原則能放進(jìn)顯存就盡量用64不必為了追求理論上的梯度穩(wěn)定性去用256以上。卷積核數(shù)量方面MNIST這種簡單任務(wù)32/64足夠翻倍到128收益很小訓(xùn)練時間卻要翻幾倍性價比很低。epochs的確定不看固定值看曲線驗(yàn)證準(zhǔn)確率連續(xù)三輪不漲就停掉這叫早停。MNIST上手寫數(shù)字類別差異大模型通常第8到第12輪就收斂了再往后訓(xùn)練只會過擬合到訓(xùn)練集的書寫風(fēng)格上。4.3 集成與遷移的邊界MNIST場景下什么時候別用大模型到了99%這條線還想往99.5%以上夠常見思路有兩個多模型投票和遷移學(xué)習(xí)。多模型投票的做法是訓(xùn)練兩個結(jié)構(gòu)不同或初始化不同的模型比如一個CNN加一個SVM預(yù)測時各自給出類別分布取平均后argmax。邏輯很直接不同模型的錯誤模式不完全重疊投票能互相糾錯。# 軟投票: 多個模型各自輸出概率, 取平均后argmax def ensemble_predict(models, tensor, device): probs [] for model in models: model.eval() with torch.no_grad(): prob torch.softmax(model(tensor), dim1) probs.append(prob) avg torch.stack(probs).mean(dim0) return avg.argmax(dim1).item(), avg.max(dim1).values.item()但MNIST有個特殊性數(shù)據(jù)太干凈模型已經(jīng)接近飽和集成提升通常只有0.2到0.3個百分點(diǎn)卻要把推理時間翻好幾倍。如果系統(tǒng)要打包給別人用這個成本要仔細(xì)掂量。遷移學(xué)習(xí)同理從ImageNet預(yù)訓(xùn)練的ResNet遷移到MNIST屬于大材小用28×28灰度圖和ImageNet的分布差異太大預(yù)訓(xùn)練權(quán)重不僅幫不上忙還可能拖慢收斂。我的結(jié)論是MNIST場景下99.2%這個水平對絕大多數(shù)業(yè)務(wù)都夠用再往上屬于為跑分而跑分不如把精力花在真實(shí)圖片的預(yù)處理魯棒性上。5. 手寫數(shù)字識別系統(tǒng)避坑指南五個讓新手翻車的真實(shí)場景5.1 訓(xùn)練準(zhǔn)確率99%真實(shí)手寫圖全廢現(xiàn)象模型在MNIST測試集上99%用手機(jī)拍的手寫數(shù)字圖片預(yù)測完全不對輸出亂七八糟。原因預(yù)處理不一致。測試圖片是幾百像素的彩色圖沒灰度化、沒縮放、沒歸一化直接resize成28×28就喂給模型像素分布和MNIST完全不在一個空間里。解決把訓(xùn)練和預(yù)測共用的預(yù)處理抽成一個函數(shù)任何人任何入口都只能走這一個函數(shù)?;叶然瓷s放到28×28→歸一化這四步一個都不能少。我在工程里的習(xí)慣是把這個函數(shù)單獨(dú)放一個preprocess.py訓(xùn)練腳本引用它做數(shù)據(jù)準(zhǔn)備GUI和批量測試腳本也引用它保證全項(xiàng)目只有一份預(yù)處理邏輯。5.2 白底黑字被當(dāng)成黑底白字現(xiàn)象在畫板上寫一個5識別結(jié)果卻是3或9置信度還不低。原因MNIST是黑底白字而Tkinter畫布、掃描件通常是白底黑字。像素語義完全反了模型看到的數(shù)字實(shí)際是背景背景才是數(shù)字。這個錯誤很隱蔽因?yàn)槟P瓦€是有把握地答錯。解決預(yù)測前做反色處理把白底黑字變成黑底白字再歸一化。代碼就是一行的差別arr (255.0 - arr) / 255.0。排查方法很簡單把預(yù)處理后的數(shù)組保存成圖片看一眼如果數(shù)字是黑的、背景是白的說明反色那一步漏了。5.3 維度報錯與類型報錯HWC與NCHW、float64與float32現(xiàn)象用OpenCV或PIL讀圖喂給PyTorch模型報錯Expected 4D input或者Expected dtype float32 but got float64。原因兩個底層習(xí)慣差異。其一OpenCV讀出來是H×W×C高、寬、通道PyTorch要求N×C×H×W批次、通道、高、寬維度順序相反其二numpy默認(rèn)float64而PyTorch模型參數(shù)是float32類型不匹配直接報錯。解決讀圖后先transpose再擴(kuò)維同時顯式轉(zhuǎn)換類型。arr img.transpose(2, 0, 1)[None].astype(np.float32)這段代碼把HWC變成NCHW把float64轉(zhuǎn)成float32。PIL讀灰度圖沒有通道維度需要先用np.array(img)拿到數(shù)值再按28×28單通道處理。這個坑在混合使用不同圖像庫的時候尤其容易踩統(tǒng)一入口函數(shù)是根治辦法。5.4 模型文件換機(jī)器加載失敗現(xiàn)象在自己電腦上保存的pkl或pth模型拷貝到服務(wù)器上加載直接報ModuleNotFoundError或KeyError部分場景能加載但預(yù)測結(jié)果和原來不一樣。原因joblib保存的sklearn模型依賴Python和sklearn的版本路徑跨版本時類定義可能遷移PyTorch如果連整個model對象一起保存網(wǎng)絡(luò)結(jié)構(gòu)的類定義換機(jī)器后找不到。解決分別對待。sklearn模型用joblib.load前先確認(rèn)兩臺機(jī)器的sklearn版本一致最好在requirements.txt里鎖死PyTorch模型只保存state_dict然后重建網(wǎng)絡(luò)再灌入這種做法不依賴類對象序列化兼容性最好。如果還要跨框架調(diào)用可以考慮導(dǎo)出成ONNX格式用onnxruntime做推理這條路能徹底繞開Python版本差異問題。當(dāng)然最穩(wěn)妥的辦法是訓(xùn)練完直接打印一份數(shù)據(jù)預(yù)處理參數(shù)模型結(jié)構(gòu)權(quán)重的完整清單跟模型文件放在一起。5.5 畫板坐標(biāo)漂移Canvas事件坐標(biāo)與圖像坐標(biāo)對不齊現(xiàn)象在畫板左上角寫數(shù)字識別框卻響應(yīng)在別的區(qū)域或者寫8時出現(xiàn)一條不該有的連線把數(shù)字底部連成一團(tuán)。原因兩個細(xì)節(jié)疊加。Canvas的坐標(biāo)原點(diǎn)是左上角PIL Image的坐標(biāo)原點(diǎn)也是左上角兩者理論上一致但很多人會把canvas的高度、width傳錯或者resize時用了NEAREST采樣導(dǎo)致筆跡斷裂另一個常見問題是prev錨點(diǎn)沒有在ButtonRelease時重置兩次書寫之間自動畫了一條線。解決第一Canvas尺寸和Image尺寸保持一致280×280就是28×28的十倍等比縮放不用額外換算第二縮放用Image.BILINEAR別用NEAREST細(xì)筆畫的鋸齒在28×28下會直接消失第三綁定了ButtonRelease-1事件后把prev重置為None確保每次落筆是一段新筆跡。如果已經(jīng)出現(xiàn)了坐標(biāo)偏移先打印event.x和event.y對照Canvas尺寸排查八成是尺寸傳反了。6. 用真實(shí)手寫圖片做端到端驗(yàn)證批處理腳本與打包交付系統(tǒng)做到這步MNIST測試集上的數(shù)字已經(jīng)說明不了問題真正的驗(yàn)收標(biāo)準(zhǔn)是拿一批你沒見過的真實(shí)手寫圖片批量跑一遍。常見做法是寫一個批處理腳本用glob掃描目錄下的圖片逐一走同一套預(yù)處理流程輸出每張圖的預(yù)測和置信度。這里的關(guān)鍵細(xì)節(jié)是真實(shí)圖片往往有大量留白和裁切不規(guī)范直接縮放會把筆畫擠扁所以要先做邊界框居中。import glob import numpy as np from PIL import Image import torch def mnistify(path, target28, pad4): 任意手寫圖片 - MNIST風(fēng)格28x28張量 img Image.open(path).convert(L) arr np.array(img) mask arr 200 # 筆跡通常是深色 rows np.any(mask, axis1) cols np.any(mask, axis0) if not rows.any(): return np.zeros((target, target), dtypenp.float32) # 純空白 rmin, rmax np.where(rows)[0][[0, -1]] cmin, cmax np.where(cols)[0][[0, -1]] # 裁邊后轉(zhuǎn)成正方形, 避免橫豎比例變形 h, w rmax - rmin 1, cmax - cmin 1 side max(h, w) square np.full((side, side), 255, dtypenp.uint8) # 白底 top, left (side - h) // 2, (side - w) // 2 square[top:toph, left:leftw] arr[rmin:rmax1, cmin:cmax1] # 縮放 反色 歸一化 放進(jìn)帶白邊的畫布 img2 Image.fromarray(square).resize((target-2*pad, target-2*pad), Image.BILINEAR) out np.full((target, target), 0, dtypenp.float32) # 黑底 off pad out[off:offtarget-2*pad, off:offtarget-2*pad] (255.0 - np.array(img2)) / 255.0 return out for p in sorted(glob.glob(test_imgs/*.png)): x mnistify(p) tensor torch.from_numpy(x).unsqueeze(0).unsqueeze(0).to(device) with torch.no_grad(): prob torch.softmax(model(tensor), dim1) digit prob.argmax(1).item() conf prob[0, digit].item() print(f{p}: 數(shù)字{digit}, 置信度{conf:.2f})mnistify這個函數(shù)里裁邊和轉(zhuǎn)正方形是重點(diǎn)。真實(shí)圖片不會像MNIST那樣天然居中如果直接resize數(shù)字會被橫向或縱向拉伸變形識別率掉一截。先找到筆跡的邊界框裁出來再補(bǔ)成正方形能保證數(shù)字始終在畫面中央且比例不變。這套批處理腳本同時是回歸測試工具——每次改完預(yù)處理或模型跑一遍全量真實(shí)圖片對比之前的輸出就能發(fā)現(xiàn)哪次改動引入了回歸。交付方式也要提前想好。如果對方?jīng)]有Python環(huán)境常見做法是用PyInstaller打包成可執(zhí)行文件。打包命令一行就能跑通pyinstaller --onefile --add-data mnist_cnn.pth;. app.py。這里有個隱藏坑打包成exe后程序的工作目錄可能不在exe所在目錄直接按相對路徑找模型文件會報錯需要用sys._MEIPASS定位解包目錄。import sys, os if getattr(sys, frozen, False): base sys._MEIPASS # PyInstaller 運(yùn)行時解包目錄 else: base os.path.dirname(__file__) model_path os.path.join(base, mnist_cnn.pth)把模型路徑改成這種寫法打包后不管是雙擊exe還是命令行調(diào)用都能正確找到模型文件。部署時順手在exe同目錄放一份測試圖片讓對方打開就能試比任何說明文檔都管用。我現(xiàn)在接這類識別需求第一件事永遠(yuǎn)不是調(diào)模型而是先寫一個把任意圖片變成MNIST風(fēng)格的預(yù)處理函數(shù)然后對中間結(jié)果逐個存圖檢查。這個習(xí)慣幫我擋掉了大半翻車場景——大部分識別失敗的根因不在模型而在數(shù)據(jù)進(jìn)模型之前那一路上。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月婷婷m| 99操碰| 超碰人人摸人人操| 色婷婷五月天小说网| www色色com| 中文激情网| 婷婷综合久久| 婷婷色九月| 99九九综合久久九九| 激情色情五月天| 色色哒五月婷婷六月丁香| 日本一级淫| 激情丰满熟妇五月| 99热99日天天干| 色婷婷丁香| 天天色五月婷婷91久久久久久久| 丁香五月婷婷激情尤物| 成人在线日韩| 91色色五月天| 99热在线观看免费精品| 精品激情| 久久AV无码精品人妻系列试探| 天天操天天爽天天爱| 日本欧美成人片AAAA| 国产伊人五月天| 久久99综合| 深爱激情中文五月天av| 亚洲免费综合一区| 激情六月丁| 五月天伊人综合| 亭亭色色五月天| 久久女婷| 激情小说色五月| 蜜桃五月天| 五月婷婷www| 婷婷九月丁香| 婷婷五月成年人| 免费视频WWW在线观看网站| 激情5月天天天| 狠狠色综合无线观看| 五月天亚洲综合网| 天天日天天狠狠操| 五月激情综合性爱| www久久久| 久久这里只| 免费亚洲成人电影AV| 九九久久五月天| 亚州精品色情在线观看| 97自拍99| 国产99久久久国产精品免费看| 五月丁香久久丝袜啪啪| 最新色色五月天| 久热婷婷| 五月婷婷,狠狠操| 亚洲色婷婷| 乱精品一区字幕二区| 在线1青婷| 日本欧特黄色刺激一区影视久精品无码| 人人综合久| 热的国产99热| 大香蕉Av在线| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 777色色色| 91dy.av| 亚洲AV另类| 人人干人人看| 色综合九九| 色婷婷亚洲| 六月亚洲| 九九碰九九爱97| av国产精品| 9九色首页| 五月婷婷丁香深深爱| 丁香五月婷婷操逼| 欧洲色区| 操人91| 狠狠va| 偷偷操99| 碰人人97| 九九九九操逼| w婷婷五月婷婷w| 丁香五月人妻熟女| 婷婷亚洲色| 9|在线观看视频| 99成人在线观看| 五月天综合影院| 欧美va视频| 色婷婷播放| 97在线精品视频| 天天日婷婷| 另类图片色五月| 亚洲最大视频网站| 五月婷A V在线| 狠狠综合| 五月色网| 玖玖爱综合网| 丁香婷婷视频| 丁香婷婷视频一区二区| 五月情四婷婷| 久久aaa| 香蕉网久久| 大香蕉在九| 色情五月丁香| 26uuu国产| 日本九婷婷| 五月色丁香激情| 亚洲综人色综网| 人妻操日日| 激情婷婷狠狠干综合| 99热99色| 99国产精品久久久久久久久久久| 色婷婷六月天| 日日噜噜夜夜狠狠久久丁香六月| 婷婷五月天成人| 色五月婷婷小说亚洲中文字幕组| 无码任你操| 久久人人人人妻| 六月丁香成人| 九九热免费观看视频| 玖玖婷婷婷丁香五月| 开心激情播播五月天| 五月丁香婷婷AV天堂| 97碰在线视频| 婷婷成人网五月天| www.99热日韩.com| 99这里只有免费的精品| 婷婷六月丁香色| 九九色人| 五月天另类小说亚洲| 色欲婷婷五月天| 色色色五月婷| 日本久热| 婷婷基地成人五月天| 99在线精品观看99| 操笔无码| 久久99热 这里有精品| 狠狠大香婷婷爱| 五月天激情小说网| 狠狠五月天| 激情网五月天| 丁香五月-激情综合| 粉嫩AV久久一区二区三区| 亚洲色婷婷| 九九热av| www.99热| 色色热日| 激情五月天啪啪| 久久总和99| 亚洲无码激情| 五月婷亚洲精品AV天堂| 色婷婷精品小视频| 久99热| 亚洲激情精品| 婷婷五月另类网站| 久草A片| 99久热这里只有精品| 久久丁香| 91妻人人爽人人看片| 国产亚洲精品久久久久苍井松 | 日本A片一区| 色色六月| 99热人人| 婷婷五月天激情亚洲小说| 日日噜狠狠色综合久久| 99视频在线| 综合网激情| 天天弄天天操| 91精品丝袜久久久久久| 五月婷婷激情在线| 操操人人| 狠狠色无码| 日日做夜夜爱| 97精品欧美91久久久久久久| 99久久国产宗和精品1上映| 久久精品一区二区三区四区| 99狠狠操一| www.99久| 五月天婷婷视频30| 99热只有| 婷婷五月色| 五六月婷婷久久| 亚洲综合另类| 色婷五月丁香久亚洲| 狠狠色噜噜狠狠| 久久99网| 天天做天天爽| 色色九九五月天 | 性爱久久| 天堂成人A片永久免费网站 | 国产色网站| 狠狠狠狠狠狠色| 国产成人+综合亚洲+天堂| 禁欲电影完整版在线播放| 91人妻九色大屁股| 狠狠舔| 激情伍月 欧美| www.狠狠艹| 亚洲精品国产成人AV在线| 国产国产乱老熟女视频网站97 | 永久精品| 亚洲成av人影院| 久久99免费视频| 91丨九色丨东北熟女| 欧美婷| 欧美婷婷精品激情| 中文字幕人妻熟女在线| 中文精品在| 婷婷丁香五月天色播网站| 五月丁香六月香综合激情| 激情久久久久久久久| www.婷婷| 婷婷丁香五月91| 思思99精品视频| 99免费| 开心激情婷婷| 97色色婷婷五月天| 五月婷深深爱激情网| 色欲五月婷婷| 91传媒无码人妻精| 丁香六月婷婷综合激情欧美| 97婷婷丁香| 超碰在线日夜| 亚洲激情无码久久| 欧美婷婷五月丁香| 五月婷婷六月丁香玖玖玫瑰91| 丁香六月婷婷一区| 96丁香六月婷婷蜜桃综合久久| 人妻体体内射精一区二区 | 色99视| 亚洲综合色婷婷| 五月天亚洲最大成人| 天天干天天干天天干天天干天天| 丝袜人妻| 夜夜爽天天日| 综合色色网| 久久婷婷五月天| www.zbzhongsen.com| 在线视频区| 色婷婷五月天无码视频| 人妻操操色| 六月伊人婷婷| 天天干天天爽天天操| 五月天激情网开心网| 99性爱| 91色干| 色五月婷婷久久大| 中文字幕成人网站| 另类图片激情五月天| 日韩久热| 97碰久久| 夜夜爱伊人| 丁香五月亚洲综合丝袜| 久久91久久精品久久| 人人妻人人澡| 色婷婷狠狠| 99久久精彩视频。| 97碰人人操| 99热老网站| 婷婷五月天久久| 亚洲电影在线观看| 欧美在线视频99| 天天免费日日夜夜夜夜| 五月丁香六月色婷婷| 大香蕉五月丁香| 探花搜索结果 - 黄上黄| 人人人舔人人人操人人人摸人人人97 | 激情丁香五月激情婷婷| www.色五月| 久久欧洲久久| 色一情一乱一乱一区91Av| 另类国产区| 人。妻久久| 91碰操| 婷婷五月天视频小说| 亚洲成人网站在线观看| 另类五月婷婷| 激情又色又爽又黄的A片| 无码四色色色| 五月婷婷激情| 清色五月天| 另类少妇人与禽zOZZ0性伦| 热的国产99热| 香蕉久久国产AV一区二区| 日韩欧美老妇性视频91久久久| 伊人五月天在线| 色原狠狠综合| 超碰色综合| 亚洲激情五月| 欧美成人日韩| 99综合视频一体| 久久精品这里只有精品免费首页| 色婷婷手机在线| 五月激情站| 99热乎| 丁香婷婷久久| 久久九精品| 五月婷婷碰碰| 思思99久久| 丁香九月婷婷综合| 男妓跪趴把舌头伸进我的嘴巴| 情婷婷五月天在线| 日韩野外 无套| 色欲一二三| 丁香六月激情综合网| www.yw色| 天天看片日日夜夜| 日本nghangse中文字幕| 久久婷婷五月综合色奶水99啪| 亚州操操| 国产精产国品一二三在观看| 久久精品亚洲一级牲爱综合 | 思思热99er在线视频| 色综合久久之分久久| 午夜激情五月| 97人人做| 610018岁成人视频| 九九热最新| 亚洲黄色影视| 久久密臀婷婷| 午夜婷婷| 日韩六十路91性交电影| 午夜丁香 婷婷| a在线观看| 丁香五月亚洲激情婷婷射| 大地资源色婷婷视频在线| 洗浴中心操B视频| 五月色婷丁香| 国产精品色色| 天天狠天天叉| 99视频超级精品| 五月Huangsewang| 色色亚洲五月天| 激情久久久久久| 色综合五月天| 久色激情| 大香蕉院线| 婷婷色情五月| 最近中文字幕2019视频1| 色爱亚洲| 人人人人人人人人人草| 97久久五月丁香婷婷| 狠狠操狠狠操AV| 激情亚洲婷婷六月| 欧美99视频| 国产日韩欧美| 五月丁香综合中文| 影音先锋 91工厂| 色婷婷色久综| 五月婷婷啪啪| 思思精品久久艹| 区啪精品| 久久久久亚洲AV综合| 久久五月天婷婷| 五月天六月天| 大香蕉精品视频| 超碰在线观看三级片| 日韩黄色电影| 亚洲国产成人裸舞| 婷婷激情丁香五月天综合| 日韩AV成人电影| 久久xxxx| 99热主页日本| 色婷婷的五月天| 亚洲色婷婷激情| 九九九九九九九九九九九九九国产精品| 97色色色色色| 夜夜躁婷婷AV| 亚洲欧美一区二区三区爱爱动图| 思思99精品视频在线观看| 丁香五月婷婷偷拍| 色婷婷四虎| 激情婷婷六月天| 狠狠色噜噜狠狠狠888| 婷婷色色五月天| 中文字幕1区2区。| 操操啪| 色婷婷五月天激情在线观看| 综合五月天婷婷色| 情五月亚洲婷婷| 五月丁香在线观看99| 91妻人人爽人人看片| 五月丁香| 97热这里精品在线视频| 色播五月婷婷| 久久这里只有国产视频| 99热这里只有精品2016| av中文在线| 亚洲色婷婷| 六月五月久久丁香| 狠狠夜夜五月丁香| 久久草人妻| 免费亚洲婷婷中文字幕| 伊人色综合久久久| 婷婷99丁香| 精品国婬伦V无码久久久| 中字幕视频在线永久在线观看免费 | 99爱爱网| 91九色中文| 丁香色五月婷婷| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 丁香婷婷久久老熟女综合网| 综合激情综合啪啪| 亭亭色天香| 久久成人性爱| 婷婷丁香五月精品| 五月色婷婷AV| 婷婷伊人五月| 丁香六月亭亭久久综合| 色丁香婷婷美女视频网站| 678五月丁香亚洲综合| 99re熱| 91久久婷婷| 熟女激情网| 大香久久伊人网| 青青草99re| 爱iii做iiii日日| 天天日色情| 婷婷色五月大香蕉在线| 婷婷色色色| 亚洲色频| 久久婷婷激情四射五月天| 六月婷在线| 亚洲超级碰| 婷婷九月亚洲| 丁香六月婷婷综合色| 亚洲激情高潮| 五月天激情网页| 五月婷婷色吧!| 欧美综合激情五月天| 淫荡工a| 99热费观看| 久热免费| 99热婷婷| 强壮公让我夜夜高潮A片视频| 成人精品视频99在线观看免费| 国产精品18久久久| 丁香久久在线| 亚洲Av成人在线观看| 97婷婷在线视频| 9久久AV| 色欲天天综合| 久久综合网免费视频| 天天摸天天舔天天爽| 色五月婷婷丁香婷婷| 五月天婷婷色小说| 五月婷婷激情综合网 | www.婷婷五月天| 色色色色热| 五月天丁香| www天堂99| 婷婷9月天| 色色婷婷丁香五月天| 色综合色| 五月天激情AV| 天天爽天天日| 久久全色| 这里只有精9| 婷婷五月色網站| 久久精典| 丁香婷婷影院| 日本综合久| www色五月天| 亚洲成人高清在线| 色综合综合综合| 97色啪| 五月婷婷狠天天色综合| 97碰人人操| 国产精品18久久久| 91色在线| 综合色色婷婷| 欧洲亚洲精品| 丁香五月电影院在线观看| 亭亭丁香久久五月| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 欧美va视频| 五月天婷婷高清无码| www.婷婷五月天| 在线中文AV| 五月丁香久久久久| 五月婷导航| 五月丁香六月欧美综合网站| 国产精品岛国片在线观看免费| 五月丁香色色综合| 97色啪| 久久久久久久久久久久久9| 欧美人久久| 丁香五月成人在线| 开心激情婷婷| 97香蕉久久超级碰碰高清版| 国产精品香蕉| 国产69久久久欧美黑人A片| 天天肏天天肏天天肏| www.五月天婷婷姐姐| 97婷婷狠狠| 中文字幕丰满乱孑伦无码专区 | 99ri精品视频在线观看| 五月天激情日色在线| 热这里只有精| 五月香婷婷| 五月天婷婷亚洲| 日日干夜夜撸夜夜骑| 91欧美| 大香蕉九九操| 人妻VideOssS人妻高清| 国产成人精品123区免费视频 | 色五月婷婷大香蕉| 日韩久久日| 国产精品噜噜在线视频| 91啪啪| 久久久五月婷婷| 色99热| 91男人操女人视频| 六月婷婷狠狠| 婷婷五月天小说| 色五月超碰| 婷婷五月丁香六月| 青青草网武则天| 九九热在线观看视频网站| 色偷偷五月天| 激情五月天黄色小说| 日本女人久久| 五月婷婷六月丁香首页| www.婷婷五月天.com| 欧美五月婷婷综合| 国产精品A片| 国产毛片精品一区二区色欲黄A片| 日韩黄黄| www.久久| 婷婷五月激情四月综合 | 五月婷在线| 丁香婷婷人妻| 这里只有精彩视频| 热中文字幕| 色婷网| 丁香五月另类色婷婷麻豆| 五月天婷婷综合网| 久草狼人| 久久久91| 五月开心婷婷网| 久久婷婷啪啪视频| 久久色情| 五月天色五月| 婷婷五日b| 亚洲乱码日产精品BD在线观看| 台湾综合丁香五月蜜桃| 国产精自产拍久久久久久蜜 | 亚洲偷| 涩涩婷婷五月| 久久33视频| 亚洲第79页| 色原狠狠综合| 五月婷啪| 婷婷偷拍网| 五月丁香影院| 激情五月天之六月婷婷| 热热色色五月天婷婷| 天天色天天爱天天爽| 97碰碰免费.视频| 六月丁香社区| 色婷婷偷拍| 婷婷九九| 九九这里有精品视频| 黄桃AV无码免费一区二区三区| 五月天三级| 九九热9| 玖玖热视频| 9视频1在线| 天天操加勒比| 久久er+| 亚洲五月六月婷婷| 五月天婷婷丁香| 超碰com| 开心婷婷五月| 天天撸夜夜爽| 亚洲成人AV在线| 亚洲美女高潮久久久久久69| 久久这里面只有精品视频| 欧美成人猛片AAAAAAA| 美英法精品无码免费视频| 狠狠狠狠青草| 五月天婷婷久久| 亚洲视频丁香网va| 人人操人| 超碰在线91| 色婷婷五月丁香在线观看| 婷婷色色亚洲| 大香蕉久久婷婷| 丁香六月婷婷综合色| 日韩av变天就操逼不卡区| 亚洲操b| 综合婷婷| 97人碰人操| 婷婷五月天亚洲五码| 久久er视频6| 狠狠爱青青草| 色热久| 天天艹天天色| 日本九九视频| 亚洲字幕AV一区二区三区四区| 五月丁六月香| 这里只有精品偷拍| 91怕怕网| 五月丁香天堂网| 色五月成人在线| 99精品人人| 中国丰满熟女A片免费观| 99久久网站| 9九热视频| 丁香六月激情国产| 婷婷操逼| 婷婷娌伦网| 综合逼五月激情婷婷| 色五月婷婷激情基地| 婷婷五月色| 99久在线精品99re8| 日韩色色小视频| 亚洲成人在线观看网址| 欧美色五月| 五月欧美丁香在线观看| 日日干综合| 超碰在线超碰| 五月天婷婷青青草| 婷婷五月天小说| 26uuu在线观看| 丁香婷婷偷拍| 九色PORNY自拍成人精彩视频| 婷婷99视频在线| 激情综合五月| 五月丁香六月婷婷姐| 丁香五月婷婷呀| www.97碰碰com| 曰韩五月丁香色婷婷无码| 婷婷久久五月| 欧美这里只有精品| 婷婷五月天激情影片| 丁香5月激情网| 人妖色AV色综合| 激情内射人妻1区2区3区| 久久婷婷激情| 99热成人精品网站| 99视频这里有精品免费观看| 婷婷五月天激情在线观看 | 五月开心啪啪| 亚洲人人96@| 影视av久久久噜噜噜噜噜三级| 中文字幕操比影片| 熟妇人妻中文字幕无码老熟妇| 在线成人网址| 六月婷婷视频| 99热在线只有精品| 俺去也在线视频| 欧美色播综合在线观看| 九九热色视频| 激情五月天色色网| 色五月婷婷综合在线| 综合久久8| 9久热精品在线视频| 天天插天天爽| 啪啪啪综合网| 色人久久| 亚洲综合久| 亚洲婷婷五月| 激情久久丁香| 久久思思热| 丁香六月激情国产| 天天天天爽爽天干| 五月丁香六月香综合激情| 啪啪干伊人婷婷| 蜘蛛女免费观看完整版高清电影| 亚洲人成网亚洲欧洲无码久久| 色99在线观看| 婷婷欧美综合| 超碰人人操在线| 婷婷激情人妻| 久久婷婷五月综合成人d啪| 亚洲免费在线观看岛国| Www.狠狠| 六月婷色| 婷婷九月激情| 激情综合久久| 激情五月深爱五月观看| 欧美丁香婷婷天天操| 婷婷月五天在线在线看| 99久久丝| 久久ER视频com| 久久五月人人摸| 婷婷黄色五月天在线视频| 怡红院院在线导航网 | 婷婷色五月综合丁香| 色五月天天在线观看资源站| 蜜臀A∨在线水帘洞| 伊人大香五月天| 996er在线观看| 五月天综合缴情网网站0| 99久热这里有精品| www.五月天性.com| 久久激情五月网| 日韩五月丁香| 香蕉婷婷色五月| 香蕉婷婷| 国产成人片| 丁香六月婷婷缴情欧美| 激情五月瑟瑟| 五月停停999| 久久综合九九| 五月天婷婷爱丁香中文字幕| 色婷婷五月天小说| 五月天桃色深爱网| 色欲av伊人久久大香线蕉影院 | 欧美丁香六月在线观看视频| 思思热在线视频99| 99久在线精品99re8| 婷婷久久五月天丁香| 婷婷综合激情| 中文字幕丰满孑伦无码专区| 丁香六月婷婷激情| 97操碰在线视频| 色婷婷久久综合| 狠狠人人| 亚洲色情在线| 99热在线观看精品| 乱岳熟女50岁| 婷婷干六月综合旧址| 激情婷婷久久| 日本五月婷婷久久久六月丁香| 亚洲久久婷婷| 香蕉视频91| 久久九九99| 五月丁香亭亭A片| 丁香五月情| 九九家庭影院| 开心激情网五月| 99热日韩| 婷婷五月天97干| 综合色网站| 国产精品久久在线观看技巧| 亚洲狠狠干| 五月丁香影院| 丁香五月-激情综合| 久久久久网站| hd五月婷婷在线| 99这里只有精品视频| 99热这里只有精品4| 婷婷在线中文字幕| 日本一级特黄大片AAAAA级| 99热国内| 影音先锋91资源站| 怡红院AV亚洲一区二区三区H| 久热精品在看| 99热99热在线观看| 99色视频| 久久caop| 久久综合干| 无码人妻一区二区三区免费九色| 色五月天激情| 亚洲综合视频八| 99亚色色色| 五月六月丁香激情| 少妇性按摩无码中文A片| 18久久| 激情五月婷婷网在线观看| 五月综合视频| 婷婷在线中文字幕| 这里只有精品视频222| 综合久久六月| 五月婷婷综合网| 婷婷激情在线| 六月丁香婷婷六月激情综合| 天天爽天天爽| wWW九九在线播放| 国产精品久久久久久久久久免费| 婷婷第一页| 99热久久最新地址| 操91| 97操碰在线视频| 色 五月婷婷基地| 九九99久久| 99爱爱网| 欧美va欧美va差| 六月丁香啪啪啪| 久久婷婷五月综合伊人| 26uuu亚洲欧美日本| 国产在线aaa片一区二区99| 天天久久狠狠色综合| 婷婷五月天亚洲| A短视频免费在线观看| 色色色综合网| www,色婷婷| 丁香婷婷综合色五月激情国产基地| 热无码A∨| 日本99久久| 日韩视频女神99| 99青青草| .青娱乐天天操B| 婷婷在线五月天观看| 亚洲激情视频在线观看| 午夜丁香六月婷| av操一操| 狠狠色丁香乆乆| 激情精品久久| 五月丁香综合激情| 丁香婷婷网| www..999热久| 久久亚洲无码| 婷婷久久色| 最新国产AV| 欧美色色色| 国产肥白大熟妇BBBB视频| 色八月婷婷| 日日夜夜婷婷| 亚洲中文字幕av| 婷婷欧美综合| 另类伊人婷婷| 激情综合99| www.99日本| 少妇人妻人伦A片| 亚洲精品成人片在线播| 国产婷婷色综合AV蜜臀AV| 69热91天堂| 这里只有精品视频在线看| 色婷婷呢狠禁久禁| 婷婷六月激情丁香| 91性交在线播放| 亚洲人妻一区二区| 九九色婷| 99热色在线精品| 五月精品99综合| 激情五月www| 丁香五月天堂亚洲社区| 五月激情天天干| 在线观看欧美3区| 亚洲成人人人操| 人操人人| 99riAv1国产在线观看| 久久99久久99精品免观看粉嫩| 超碰爱爱爱| 综合色五月| 久久这里都是精品| 久月丁香爱婷婷综合| 性做久久久久久久免费看| 欧美综合激情五月丁香| 一二线视频 另类| 国产精品蜜臀99| 色五月婷婷丁香凹凸| 超碰1999| 香蕉操亚洲| 久久曰曰| 婷婷色五月综合丁香| 亚洲国产精品二二三三区| 久久这里只有精品无码| 婷婷丁香大香蕉| 精品无吗va视频免费观看| 国产精品人妻在线网址| 五月丁香久久网| 久久伊人五月天| 人人摸人人干| 久久这里有精品视频在线免费观看| 久久综合综合综合| 婷婷五月大香蕉| 亚洲艹网| 亚洲色网址| 国产午夜精品AV一区二区麻豆| 婷婷色色综合| 超碰在线观看9| 色综合中文| 婷婷激情综合| 亚洲国产精品二二三三区| 六月婷基地| 99色婷婷| 99亚洲色| 99热这里只有精| 婷婷伊人75| 丁香五月激情月| 97干视频| www.夜夜夜| 1024在线视频| 97碰久久| 丁香婷婷人妻综合网| 婷婷综合在线网| 五月丁香啪啪综合| 秋霞三级影视资源| 曰本aaaaaa丈片| 激情综合啪啪| 26uuu欧美亚洲日韩| 激情婷婷丁香色五月| 久久久久久欧美精品se一二三四| 五月丁香六月婷婷在线小说视频| αV电影| av在线观看免费| 六月丁香婷婷尤物| 4438激情网| 成人午夜天| 99国产精品久久久久久久久久久| 2014天天爽| 色色综合网。| 99热这里只有精品2| 中文国产五月天| 99热国产| 亚洲不卡123| 五月婷综合| 天天天天天日| 婷婷五月综合婷婷| se婷97| 丁香五月综合| 丁香婷婷深情五月亚洲| 久久66er久久| 操婷婷久久| 天天日日夜夜| 丁香五月婷婷偷拍| 亚洲 小说 欧美 激情 另类| 婷婷丁香花五月天| 天堂久久久久天堂网| 亚洲人妻av| 色五月女| 天天爱天天做天天舔| 97色啪| WW婷婷五月天com| www.狠狠| 激情综合五月婷婷| 日韩六十路91性交电影| 最新av在线观看| 日本97在线观看| 丁香六月婷婷综合| 亚洲六月色婷婷| 国精产品一区二区三区| 天天色综和网| 97精品自拍视频| 激情涩播| 五月丁香啪啪啪| 综合99综合久久久久久久| 丁香五月综合亚洲| 热99精品视频在线观看| 国产精品美女| 91日本在线免费| 99噜噜噜在线播放| 精品久久久人妻| 婷婷色婷婷| 亚洲综合色五月| 欧美交换配乱吟粗大25P| 亚洲欧美丁香五月天亚洲欧美| 欧美va| 久热这里只有精品性色AV| 开心五月婷婷婷美女| 欧美性爱专区| 四LLL少妇BBBB槡BBBB| 久久久久er热| 色婷婷激情| 色播播五月| 日日做夜夜爱| 99热99免费| 色情·com| 免费AV播放| 操逼视频一区| 美国不卡视频| 婷婷免费视频| 亚洲xx在线| 久久一级AV| 色婷婷小说| 天天日天天插| 99久久极情精品一区| 色五月天丁香婷婷| 能看的av| 思思久久99| 婷婷五月天激情诱惑| 国内精品玖玖| 久久婷婷欧美| 五月在在观看| 婷婷五月天,影院| 亚洲丁香婷婷五月天综合色| 一起草AV| 99久久精| 五月五婷婷网| 亚洲成人免费电影| 国产成人av在线| 无码区婷婷五月花开| www.日本91| 99精品国产在热久久婷婷| 五月丁香五月丁香五月丁香五月丁香91| 日韩AV在线电影| 色婷婷av综合网| 九一九九黄色| 99热在线网站| 99玖玖人人| 亚洲操B视频| 五月天婷婷激情在线色图| 久久婷婷东京热大香樵| 岛国操B不卡在线| 丁香五月天婷婷91| 91狠狠色色丁香婷婷综合久久| 色色色97| 婷婷激情九月| 亚洲欧美婷婷五月色综合| 丁香婷婷大香蕉| 亚洲区,视频区,视频区免费| 五月天婷婷激情网| 丁香蜜臀黄色婷婷五月天| 丁香五月天色综合| 另类综合激情| 五月婷婷插一插| 久久婷婷丁香六月天| 色丁香六月| 国产精品人人妻人人爽| 亚洲色色色| 丁香五月婷婷啪| 五月婷婷,六月丁香| 国产亚洲在线| 婷婷色五月91啪啪| 成人精品网站在线观看| 4399高清无码视频| 大香蕉九操| 免费成人va| 六月丁香综合999| 婷婷五月色丁香在线看| 91精品综合久久久久久五月丁香| 婷婷丁香五月天激情| 香蕉狠狠爱视频| 丁香五月六月综合激情| 丁香五月激情综合| AV片在线观看| 中文字幕激情综合| 丁香五月亚洲AV| 亚洲欧洲自拍图片专区五月天| 五月婷婷激情综合拍| 79精品视频在线观看,| 91美女被操| 亚洲AV免费在线| 超碰亚洲欧美| www.com色播五月天| 亚洲综合久| 中文中文在线| 变天就操逼婷婷五月| 成人AV中文字幕| 人人草公开操| 色狠狠色噜噜噜a天堂一区| 精品人妻一区二区| 激情小说五月天| 乱乱av| 大香蕉人人人| 天天搞夜夜叫| 亚洲成人噜噜| 97人人超| 国产欧美性成人精品午夜| 五月天堂六月丁香亚州中文字幕久久 | 国产伦亲子伦亲子视频观看| 色五月婷婷影视| 丁香综合婷婷开心激情网| 天天干天天干天天干天天干天天干天天干天天 | 久99| 久久66成人网站| 成人五月丁香社区| 一本大道熟女人妻中文字幕在线| 综合久久久婷| 成人精品一区二区三区四区五区| 色婷婷色五月天| 亚洲综合99| 丁香六月亚洲| 欧洲激情网站| 六月综合在线| 99热这里是精品| 狠狠草网| 丁六月激情| 五月天狠狠色| 丁香五月天久久| 天天噜日日噜综合无码| 日本在线噜噜| 激情婷婷五月天| 超级碰碰一区| 涩涩五月天综合| 五月丁香婷婷综合| 日本少妇裸体做爰高潮片 | 97香蕉久久超级碰碰高清版| 99福利视频| 91久热| WWW、日本色丁香、co m| 这里都是精品99| 人人干av| 天天揷综合网| 91丨九色丨熟女高潮| 色五月影视| 97精品人人A片免费看| 日本九九视频| 欧美综合激情五月天| 九九热视频在线观看| 九月色婷婷综合| 综合色色婷婷| 99色在线| 色哟哟www| 久久人妻人人槡| 欧美激情综合色综合啪啪五月| 啪啪黄页网| 岛国av电影网站| 狠狠色丁香| 亚洲av成人在线| 日本VA视频| 欧洲MV日韩MV国产| 久久只有精| 色你久久| 啪啪东京热| 丁香五月六月激情| 久久婷婷五月天| 激情婷婷色色| 天天做天天爱| 色99久草在线| 激情婷婷五月天网址| 99精品亚洲| 99色视频在线观看最新| 噜噜五月天综合| 天天操天天干天天射| 小视频aaa久久久| 婷婷精品视频| 九九色大香蕉| 99国产视频网| 91碰人人| 欧美综合在线五月天色婷婷| 99人人干| 思思热这里只有精品视频666| 91人操人人人操人| 久久精品女人天堂AAA| 2025天天操| 亚洲综合五月天婷婷| 午夜 外网 精品 在线| 婷婷六月丁香五月| 久久六月天| 97色热| www.色九月| 国产va视频| 婷婷色基地在线看| 五月婷婷性| 99在线看片| 欧美激情五月| 这里只有精品96| 五月天性色| 国产黄色在线| 人人干Av| 五月丁香色停停啪啪啪| 亚洲综合婷婷| 97干干干丁香| 久久这里99| 懂色av粉嫩av蜜臀av| 色婷激情网| 热91久| 婷婷五月色丁香在线看| 狠狠插.com| 婷婷五月色综合| 五月婷性爱| 婷婷开心五月| 色综合香蕉视频| 激情五月婷婷在线观看| 综合网啪| 色婷婷激情| 欧美va视频| 天天干电影| 天天爽—爽| 操操操B| 婷婷五月天激情五月天| 九97免费视频| 五月亭亭狠狠| 先锋资源婷婷| 色一情一乱一乱一区91| 日韩成人av在线| 五月综合色| 欧美婷婷五月激情| 日日噜噜夜夜狠狠久久丁香五月| 日日日影院| 涩玖玖免费视频| 婷婷五月天在线视频网站| 色丁香五月| 五月丁香婷婷六月| 二人电影免费版在线观看| 国产精产国品一二三在观看| 婷婷九月丁香久久| 色停停影院五月天| 天天爱天天秀天天做| 久久久激情视频| 九九激情网| 激情五月色综合国产精品| 色色六月| 五月丁香花视频| 久久之人妻| 亚洲精品又粗又大又爽A片| www.色擼擼.com| 免费成人网在线观看| 婷婷九月丁香| 99色啊| 开心五月婷婷伊人| 99热免费| 五月婷丁香花| 最新无毒无码AV| 色日本五月天| 色九区| 国产熟妇乱子伦hd| 色婷婷五月天视频网站| 五月婷婷人人人操| 日本久久网| Www,五月天| 九九综合九九| 欧美日本日韩| 综合激情视频| 天天开心天天色| 久久综合五月天激情小说网站| 人妻久久久久久| AV伊人青草丁香六月| 99丁香五月| 综合久久久| 玖玖在线资源视频| 超碰人人妻| 丁香五月色情| 亚洲色vA| 丁香五月婷婷色情综合| 国外亚洲成AV人片在线观看| 久久婷婷色色| 久青操| 激情五月综合网| 天天爽天天摸天天爱| 日韩九九视频| 婷婷丁香色女人| 丁香九月激情| 五月天夜夜爱夜夜操| 碰超99| 97色射| 91九色国产| 狠狠狠五月婷婷六月丁香| 91碰在线| 玖玖色综合色| 久色网址| 丁香美女主播视频在线观看 | 91热视频色网站| 99精品国产乱码久久久人妻| 婷婷色综合| 激情五月丁香色婷婷| 色播五月综合网| 午夜天堂一区人妻| 亚洲在线操| 久热精品视频| 久久婷婷五月国产色综合激情| 婷婷香蕉视频| 影音先锋女人AA鲁色资源| 日本爆乳片手机在线播放| 色五月五月天| 日本99久久| 亚州精品成人片| 久久视频在线视频| 久综合色| 无码网站视频| 色色综合日韩| 大香蕉五月婷婷| 超碰成人在线免费观看| 激情婷婷| 激情综合九月| 九九热视频精品| 婷色成人| 色情五月婷婷| www.久久9| 无码字幕中文| 欧亚成人A片一区二区| 久久久久激情| 可以看的AV| 极品人妻videosss人妻| 99视频色在线观看| 五月婷婷婷综合网| 99久久国产综合精品五月天喷水\| 26uuu在线观看| 婷婷六月天天| 免费不卡狠操美女视频网 | 亚洲欧洲中文日韩久久AV乱码| 色色色色色色色色综合网|