欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

智慧識(shí)花系統(tǒng)從零搭建:深度學(xué)習(xí)圖像分類與遷移學(xué)習(xí)實(shí)戰(zhàn)

智慧識(shí)花系統(tǒng)從零搭建:深度學(xué)習(xí)圖像分類與遷移學(xué)習(xí)實(shí)戰(zhàn) 從零搭一個(gè)能用的智慧識(shí)花系統(tǒng)設(shè)計(jì)思路、訓(xùn)練細(xì)節(jié)和那些坑我今年花了不少時(shí)間做了一個(gè)基于深度學(xué)習(xí)的智慧識(shí)花系統(tǒng)從數(shù)據(jù)集準(zhǔn)備、模型訓(xùn)練、后端接口到前端展示全流程走了一遍。這篇東西不是來秀架構(gòu)圖的而是把我踩過的坑、想明白的道理、以及最終能跑通的方案一步步寫出來。不管你是拿它做畢業(yè)設(shè)計(jì)、課設(shè)還是純粹想做一個(gè)能識(shí)別花的小工具都可以參考這套思路。先把這個(gè)系統(tǒng)是什么說清楚你拍一張花的照片傳上去系統(tǒng)告訴你這是什么花、大概置信度多少、還能展示一些基本信息。后端用卷積神經(jīng)網(wǎng)絡(luò)做圖像分類前端支持單張圖片上傳和實(shí)時(shí)預(yù)覽整套代碼不是玩具是能夠容納幾百個(gè)類別、具備工程化改造空間的項(xiàng)目。適合誰來讀如果你剛?cè)腴T深度學(xué)習(xí)想找一個(gè)圖像分類方向練手這篇文章能幫你建立完整的項(xiàng)目視角如果你是正在做畢業(yè)設(shè)計(jì)需要寫系統(tǒng)設(shè)計(jì)和萬字論文后面關(guān)于報(bào)告結(jié)構(gòu)的章節(jié)可以直接套用哪怕你只是好奇識(shí)花是怎么實(shí)現(xiàn)的看完也能明白核心原理不會(huì)被花里胡哨的詞匯繞暈。1. 整體設(shè)計(jì)思路拆解1.1 核心需求解析識(shí)花系統(tǒng)到底要解決什么問題做任何一個(gè)項(xiàng)目第一步不是選技術(shù)而是把需求拆干凈。智慧識(shí)花系統(tǒng)表面上就一個(gè)動(dòng)作——拍照告訴我是啥花但拆開來看有幾個(gè)隱性的要求。第一是識(shí)別的準(zhǔn)確性?;ê突ㄖg差別有時(shí)候特別小比如兩三種菊花放在一起顏色、花瓣形態(tài)都很接近人眼都要湊近看模型要是分錯(cuò)用戶立刻覺得這系統(tǒng)不行。第二是響應(yīng)速度。你不可能讓用戶對(duì)著一張照片等十秒鐘才出結(jié)果識(shí)別接口需要控制在幾百毫秒到一兩秒的量級(jí)。第三是易用性。上傳、識(shí)別、展示結(jié)果三步以內(nèi)要完成前端不能堆太多操作邏輯。第四是擴(kuò)展性。今天能識(shí)別50種花明天可能要加到200種、500種系統(tǒng)的結(jié)構(gòu)不能一加數(shù)據(jù)就推倒重來。這些需求推導(dǎo)到技術(shù)選型上就非常清晰圖像分類任務(wù)必然用深度卷積神經(jīng)網(wǎng)絡(luò)要在速度和精度之間平衡不能一味追求最大的模型類別的添加依賴于數(shù)據(jù)集的擴(kuò)充所以數(shù)據(jù)管線必須規(guī)范接口設(shè)計(jì)要盡量解耦前后端分離模型只是其中一個(gè)可替換的模塊。我當(dāng)時(shí)給自己定的目標(biāo)是完成一個(gè)不低于80類常見花卉的識(shí)別系統(tǒng)測(cè)試集準(zhǔn)確率90%以上單次推理時(shí)間在500毫秒左右。這個(gè)目標(biāo)放在今天的技術(shù)條件下并不夸張遷移學(xué)習(xí)模型很容易達(dá)到但它能給你一條非常明確的主線所有后續(xù)工作都圍繞它展開。1.2 技術(shù)選型考量為什么是深度學(xué)習(xí)而不是傳統(tǒng)圖像識(shí)別這里多說幾句。遇到識(shí)花需求第一反應(yīng)是先用顏色直方圖、花瓣輪廓、紋理特征這些傳統(tǒng)方法。我一開始也試著用OpenCV提取HSV顏色特征加SVM分類器做過一個(gè)原型結(jié)果很有意思純色背景的玫瑰花照片識(shí)別效果還行一換到真實(shí)場景——背景有草有樹、光線忽明忽暗、花只占畫面三分之一——效果就崩了。原因很簡單花卉識(shí)別的難點(diǎn)本來就不在花長得不一樣而在背景和環(huán)境的干擾太強(qiáng)。傳統(tǒng)方法靠人工設(shè)計(jì)特征本質(zhì)上是人先總結(jié)規(guī)律再讓程序去匹配你能想到的規(guī)則有限照片里的變化是無限的。深度學(xué)習(xí)把這個(gè)問題變成了自動(dòng)找特征卷積神經(jīng)網(wǎng)絡(luò)從大量數(shù)據(jù)中自己學(xué)會(huì)哪些模式是有區(qū)分度的。舉一個(gè)生活中容易理解的例子。你讓一個(gè)小孩子認(rèn)識(shí)蘋果不是說紅色圓形就是蘋果而是帶TA見過各種蘋果紅富士、青蘋果、磕碰過的、帶葉子的、切開半個(gè)的。見多了之后TA心里自然形成了一個(gè)蘋果的感覺以后哪怕在昏暗燈光下看到一個(gè)不太紅的蘋果也能認(rèn)出來。卷積神經(jīng)網(wǎng)絡(luò)做的事情就是把這個(gè)見過很多次的過程變成可計(jì)算的數(shù)學(xué)優(yōu)化。當(dāng)然不是說傳統(tǒng)方法一無是處數(shù)據(jù)量很小、場景高度可控的時(shí)候它反而更輕快。但識(shí)花系統(tǒng)的場景天然是開放和復(fù)雜的所以核心識(shí)別模塊選定為深度學(xué)習(xí)圖像分類這是整個(gè)項(xiàng)目最關(guān)鍵的一個(gè)決策。1.3 系統(tǒng)架構(gòu)分層從數(shù)據(jù)集到用戶界面的完整鏈路動(dòng)手寫代碼之前我先把整個(gè)系統(tǒng)分成四個(gè)層次這個(gè)結(jié)構(gòu)也推薦給所有做類似項(xiàng)目的人。數(shù)據(jù)層負(fù)責(zé)圖像數(shù)據(jù)的采集、清洗、增強(qiáng)和劃分。這一層決定模型的天花板后面所有環(huán)節(jié)做的再好數(shù)據(jù)垃圾結(jié)果就是垃圾。模型層負(fù)責(zé)加載預(yù)訓(xùn)練權(quán)重、訓(xùn)練、微調(diào)、驗(yàn)證、導(dǎo)出模型文件。這一層的核心是遷移學(xué)習(xí)不是從頭訓(xùn)練一個(gè)網(wǎng)絡(luò)。服務(wù)層負(fù)責(zé)把訓(xùn)練好的模型包裝成可用的接口。具體來說用推理腳本加載模型權(quán)重對(duì)上傳的圖片做預(yù)處理然后返回類別和置信度。這個(gè)層可以做成Flask接口也可以直接做成命令行工具取決于項(xiàng)目形態(tài)。應(yīng)用層負(fù)責(zé)用戶交互包括前端網(wǎng)頁上傳圖片、展示識(shí)別結(jié)果、花名、置信度、百科信息等等。我做的是Web頁面上傳框加結(jié)果展示區(qū)邏輯非常簡單但對(duì)完整性和演示效果來說很重要。這樣分層以后每一層的職責(zé)單一出了任何問題都能快速定位——準(zhǔn)確率不高去看數(shù)據(jù)層和模型層接口報(bào)錯(cuò)去看服務(wù)層頁面不顯示結(jié)果去看應(yīng)用層。很多初學(xué)者喜歡把所有代碼揉在一個(gè)文件里改一個(gè)地方牽著全身動(dòng)項(xiàng)目規(guī)模小還能忍一旦數(shù)據(jù)量上來、訓(xùn)練次數(shù)多起來一定是災(zāi)難。2. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)2.1 數(shù)據(jù)集構(gòu)建一張圖都不能馬虎數(shù)據(jù)集是整個(gè)項(xiàng)目的命脈。我在這上面花的時(shí)間占到了總工期的百分之四十以上訓(xùn)練本身反而快得多。很多人失敗的原因不是模型不夠好而是數(shù)據(jù)集太隨意。第一步是確定類別和數(shù)量。我從中國常見的觀賞花卉和園林花卉里選了120類每類初始收集200到300張圖片。這個(gè)規(guī)模不是拍腦袋定的類別太少撐不起系統(tǒng)感類別太多數(shù)據(jù)收集成本劇增而且會(huì)引入大量相似屬的混淆問題。這個(gè)量級(jí)對(duì)一次認(rèn)真的項(xiàng)目來說正好。第二步是數(shù)據(jù)來源。公開的花卉數(shù)據(jù)集比如Oxford 102 Flowers質(zhì)量高但只有102類且以歐美常見花卉為主不夠用。我的做法是組合來源公開數(shù)據(jù)集的子集做底子再補(bǔ)充網(wǎng)絡(luò)圖片和實(shí)拍圖片。補(bǔ)充圖片用腳本批量下載然后花大量時(shí)間人工篩掉模糊、帶水印、主體太小、明顯標(biāo)注錯(cuò)誤的圖。這個(gè)篩選過程極度枯燥我通常會(huì)寫一個(gè)簡單的預(yù)處理工具先剔除尺寸過小、清晰度評(píng)分過低的圖片再人工二次過目。第三步是統(tǒng)一格式。所有圖像統(tǒng)一為RGB三通道尺寸在進(jìn)入網(wǎng)絡(luò)前統(tǒng)一縮放到224x224。圖片不要求本體是方的縮放策略是等比縮放后居中裁剪避免直接拉伸導(dǎo)致花朵變形。舉個(gè)例子一張1200x800的橫版照片先縮放成邊長約256左右的圖再在中心取224x224的方形區(qū)域。這樣做的好處是保留花瓣的盡可能多信息而不是把整張圖壓成容易變形的比例。數(shù)據(jù)增強(qiáng)是另一個(gè)必須做的環(huán)節(jié)。原始樣本沒有那么多而且網(wǎng)絡(luò)對(duì)翻轉(zhuǎn)、微小的色彩變化天然應(yīng)該具備魯棒性所以訓(xùn)練時(shí)動(dòng)態(tài)做增強(qiáng)隨機(jī)水平翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)正負(fù)15度、隨機(jī)亮度對(duì)比度擾動(dòng)、隨機(jī)裁剪一小塊再縮放回去。增強(qiáng)不是把圖片變花哨而是讓模型見過更多同類但不一樣的照片從而學(xué)到本質(zhì)特征而不是死記硬背。我自己做的一個(gè)小工具函數(shù)用來統(tǒng)計(jì)每個(gè)類別的圖片數(shù)量。整個(gè)數(shù)據(jù)集不是一次到位的先訓(xùn)練一輪發(fā)現(xiàn)哪些類別準(zhǔn)確率低再去針對(duì)性補(bǔ)數(shù)據(jù)這個(gè)迭代思路在后面排查環(huán)節(jié)還會(huì)展開講。2.2 模型選擇ResNet、MobileNet還是EfficientNet現(xiàn)在做圖像分類基本沒人從零搭一個(gè)VGG或者ResNet從頭訓(xùn)都是加載預(yù)訓(xùn)練權(quán)重做遷移學(xué)習(xí)。但預(yù)訓(xùn)練模型選哪個(gè)要結(jié)合自己的硬件條件和場景來定我把自己實(shí)測(cè)對(duì)比過的三個(gè)候選列出來。ResNet系列是經(jīng)典選擇。ResNet50是很多教學(xué)項(xiàng)目的主角結(jié)構(gòu)穩(wěn)定、社區(qū)資料多、任何奇怪的報(bào)錯(cuò)都能搜到答案對(duì)初學(xué)者極度友好。但它在CPU上推理偏慢GPU上訓(xùn)練優(yōu)勢(shì)明顯模型文件大概一百多兆部署到服務(wù)器沒問題打包成小程序或App就偏大了。MobileNet系列主打輕量。MobileNetV3或者M(jìn)obileNetV2做成分類器模型文件只有十幾兆到幾十兆CPU推理速度很快適合最終要部署到移動(dòng)端或者低配服務(wù)器的場景。它的準(zhǔn)確率比ResNet略低但在遷移學(xué)習(xí)的加持下差距不大我的實(shí)測(cè)在120類花卉上大概差一到兩個(gè)百分點(diǎn)。EfficientNet系列是效率和精度的平衡點(diǎn)。EfficientNetB0的參數(shù)量比ResNet50小準(zhǔn)確率卻往往更高是性能和資源兼顧的選擇。缺點(diǎn)是某些版本的訓(xùn)練細(xì)節(jié)更敏感比如輸入分辨率和正則化策略需要微調(diào)對(duì)新手不夠友好。我做項(xiàng)目時(shí)選的是EfficientNetB0做主力實(shí)驗(yàn)同時(shí)用MobileNetV3做對(duì)比最后根據(jù)部署目標(biāo)決定用哪一個(gè)。很多同學(xué)喜歡在模型選擇上花大量時(shí)間反復(fù)對(duì)比我的建議是不要陷入選擇困難先選一個(gè)ResNet50從數(shù)據(jù)前處理到訓(xùn)練代碼全部跑通有了完整pipeline之后換模型只是改不到十行代碼的事情。兩個(gè)實(shí)測(cè)數(shù)據(jù)供參考在同樣的120類、每類250張圖片、20個(gè)epoch訓(xùn)練條件下ResNet50在驗(yàn)證集上準(zhǔn)確率大約91.2%EfficientNetB0大約92.8%MobileNetV3大約90.4%。推理時(shí)間在普通GPU上分別是約380ms、約240ms、約120ms含預(yù)處理。數(shù)字因平臺(tái)而異但相對(duì)關(guān)系是穩(wěn)定的。2.3 訓(xùn)練策略遷移學(xué)習(xí)的正確打開方式遷移學(xué)習(xí)的核心思路不是從零學(xué)而是站在巨人肩膀上。預(yù)訓(xùn)練模型已經(jīng)在ImageNet這種千萬級(jí)圖片上學(xué)過通用的視覺特征——邊緣、紋理、形狀、物體部件——我們要做的是讓它適應(yīng)花卉這個(gè)小領(lǐng)域。關(guān)鍵操作是分層訓(xùn)練。預(yù)訓(xùn)練模型一般分成特征提取部分前面的卷積層和分類頭最后的全連接層。標(biāo)準(zhǔn)做法是先把分類頭替換成自己定制的新結(jié)構(gòu)——因?yàn)镮mageNet是1000類我們只有120類——然后凍結(jié)所有特征提取層的權(quán)重只訓(xùn)練新的分類頭。這個(gè)階段的訓(xùn)練很快幾個(gè)epoch就能達(dá)到一個(gè)不算差的起點(diǎn)。之后再視情況解凍部分高層卷積層用更小的學(xué)習(xí)率微調(diào)。這樣安排的原因是底層特征非常通用不需要大改高層特征更接近原任務(wù)的語義層面需要更多適應(yīng)。具體參數(shù)我采用的是優(yōu)化器Adam初始學(xué)習(xí)率凍結(jié)階段設(shè)置3e-4微調(diào)階段降到1e-4或者5e-5batch size選32顯存不夠就16效果差距不大訓(xùn)練總輪數(shù)20到30個(gè)epoch學(xué)習(xí)率用余弦退火或分段下降都可以。早停法一定要開監(jiān)控驗(yàn)證集損失連續(xù)若干個(gè)epoch不降就停止避免過擬合。這個(gè)方法幫我省了大量無意義的等待時(shí)間。提示訓(xùn)練過程中不要只看訓(xùn)練集準(zhǔn)確率。訓(xùn)練集準(zhǔn)確率接近100%而驗(yàn)證集只有85%這就是典型的過擬合信號(hào)。真正的監(jiān)控指標(biāo)是驗(yàn)證集loss和精度。損失函數(shù)就是普通的交叉熵類別多、樣本還算均衡的情況下沒必要上focal loss之類的高級(jí)貨。但如果你的類別樣本量差異很大比如某類有500張、某類只有50張可以考慮在交叉熵里加類別權(quán)重把樣本少的類別權(quán)重調(diào)高一點(diǎn)讓模型更重視它們。這個(gè)重視不是玄學(xué)是數(shù)學(xué)上通過調(diào)節(jié)梯度貢獻(xiàn)實(shí)現(xiàn)的。3. 實(shí)操過程與核心環(huán)節(jié)實(shí)現(xiàn)3.1 環(huán)境準(zhǔn)備清單與工具鏈選擇我用的環(huán)境是Ubuntu 22.04Python 3.10PyTorch 2.xGPU是一張中端顯卡顯存12G。如果你的電腦沒有NVIDIA顯卡純CPU也能完成訓(xùn)練只是時(shí)間會(huì)多幾倍建議把圖片尺寸調(diào)小、模型選MobileNet、epoch減少先跑通流程再考慮完整訓(xùn)練。依賴庫非常標(biāo)準(zhǔn)pip install torch torchvision opencv-python pillow numpy flask如果訓(xùn)練需要自動(dòng)監(jiān)控和日志記錄再安裝tensorboard或者wandb但最基礎(chǔ)的訓(xùn)練代碼用print和csv日志就足夠了。不要一上來就堆一堆工具工程里最樸素的方案往往最穩(wěn)定。3.2 數(shù)據(jù)處理流程可以這樣寫核心是把圖片從文件夾讀取、做增強(qiáng)、變成張量這三個(gè)動(dòng)作封裝好。文件夾結(jié)構(gòu)是datasets/train/類名/圖片.jpg驗(yàn)證集類似這個(gè)規(guī)范讓增加新類別變得很簡單——新建文件夾放圖片就行。用PyTorch自帶的ImageFolder讀取數(shù)據(jù)搭配torchvision的transforms做預(yù)處理和增強(qiáng)代碼大概長這樣from torchvision import transforms from torch.utils.data import DataLoader from torchvision.datasets import ImageFolder train_transforms transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.RandomHorizontalFlip(), transforms.RandomRotation(15), transforms.ColorJitter(brightness0.2, contrast0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) train_dataset ImageFolder(datasets/train, transformtrain_transforms) train_loader DataLoader(train_dataset, batch_size32, shuffleTrue, num_workers4)Normalize那一行的mean和std是ImageNet統(tǒng)計(jì)出來的固定值不要自己算。這個(gè)標(biāo)準(zhǔn)化操作和預(yù)訓(xùn)練權(quán)重是對(duì)應(yīng)的改掉會(huì)導(dǎo)致模型效果明顯變差。3.3 模型訓(xùn)練關(guān)鍵代碼與參數(shù)調(diào)優(yōu)日志訓(xùn)練主循環(huán)其實(shí)很樸素但有一個(gè)細(xì)節(jié)值得單獨(dú)說明加載預(yù)訓(xùn)練權(quán)重的正確姿勢(shì)。以EfficientNetB0為例不要手動(dòng)下載權(quán)重文件換成自己的隨機(jī)初始化直接加載官方預(yù)訓(xùn)練權(quán)重到特征層然后覆蓋掉分類頭。import torch import torch.nn as nn import torch.optim as optim from torchvision import models model models.efficientnet_b0(weightsmodels.EfficientNetB0_Weights.IMAGENET1K_V1) num_features model.classifier[1].in_features model.classifier nn.Sequential( nn.Dropout(p0.2), nn.Linear(num_features, num_classes) ) # 凍結(jié)特征層 for param in model.features.parameters(): param.requires_grad False optimizer optim.Adam(model.classifier.parameters(), lr3e-4) criterion nn.CrossEntropyLoss()訓(xùn)練腳本我習(xí)慣寫成函數(shù)式結(jié)構(gòu)train_one_epoch(epoch)、validate(epoch)、save_checkpoint。每個(gè)epoch結(jié)束都算一下驗(yàn)證集準(zhǔn)確率記錄到一個(gè)csv里方便后續(xù)畫曲線和分析。下面是我某一個(gè)關(guān)鍵版本實(shí)驗(yàn)的日志節(jié)選可以直接感受訓(xùn)練過程的變化Epoch TrainLoss TrainAcc ValLoss ValAcc 1 1.8321 56.34% 1.4210 72.18% 5 0.7214 78.92% 0.5823 83.45% 10 0.3822 89.07% 0.4021 89.12% 15 0.2135 94.83% 0.3038 91.07% 20 0.1420 97.21% 0.2786 91.86% 25 0.0983 98.54% 0.2654 92.24%觀察這個(gè)日志你會(huì)發(fā)現(xiàn)一個(gè)非常典型的現(xiàn)象訓(xùn)練集準(zhǔn)確率一路上漲但驗(yàn)證集準(zhǔn)確率在某個(gè)epoch之后幾乎持平甚至下降。這就是模型開始過擬合的信號(hào)。我一般在第15到20個(gè)epoch之間保存效果最好的那一版而不是最后一次迭代的權(quán)重。解凍微調(diào)的代碼也順便給出for param in model.features.parameters(): param.requires_grad True optimizer optim.Adam(model.parameters(), lr1e-5)這個(gè)階段只跑三四個(gè)epoch學(xué)習(xí)率要小防止把預(yù)訓(xùn)練學(xué)到的好的底層特征破壞掉。3.4 服務(wù)端部署與接口實(shí)現(xiàn)模型訓(xùn)練完之后部署環(huán)節(jié)需要做一個(gè)取舍不可能在服務(wù)端加載整個(gè)訓(xùn)練框架跑推理所以要把模型導(dǎo)出成輕量的推理格式或直接在Flask里加載權(quán)重文件但確保只在啟動(dòng)時(shí)加載一次不要每次請(qǐng)求都重新導(dǎo)入模型。我實(shí)現(xiàn)的是FastAPI接口邏輯是接收上傳的圖片文件做和訓(xùn)練時(shí)一致的預(yù)處理然后用模型推理得到類別索引和置信度。from fastapi import FastAPI, UploadFile from PIL import Image import torchvision.transforms as transforms app FastAPI() model load_model(best_model.pth) class_names load_class_names(class_names.txt) app.post(/predict) async def predict(file: UploadFile): image Image.open(file.file).convert(RGB) tensor val_transforms(image).unsqueeze(0) with torch.no_grad(): outputs model(tensor) probs torch.softmax(outputs, dim1) conf, idx torch.max(probs, dim1) result { flower: class_names[idx.item()], confidence: round(conf.item(), 4) } return result注意convert(RGB)這一步。很多用戶上傳的手機(jī)照片是RGBA或者帶EXIF方向信息的不轉(zhuǎn)RGB會(huì)導(dǎo)致通道數(shù)對(duì)不上不做方向校正會(huì)導(dǎo)致圖片旋轉(zhuǎn)。這些細(xì)節(jié)在實(shí)際測(cè)試中一定會(huì)遇到提前處理比等報(bào)錯(cuò)再解決舒服得多。前端頁面我用了最簡單的HTML加原生JavaScript一個(gè)文件上傳框、一個(gè)預(yù)覽區(qū)、一個(gè)結(jié)果展示卡。這個(gè)形態(tài)適合課設(shè)演示也適合快速驗(yàn)證系統(tǒng)效果。不一定要用Vue、React之類的框架功能簡單時(shí)越少依賴越穩(wěn)定。3.5 萬字設(shè)計(jì)報(bào)告怎么寫才有干貨如果你做這個(gè)項(xiàng)目是為了畢業(yè)設(shè)計(jì)那報(bào)告結(jié)構(gòu)和寫代碼同樣重要。我見過太多人代碼寫得很溜但報(bào)告全是復(fù)制粘貼的廢話最后答辯被問住。合理的報(bào)告結(jié)構(gòu)大致是緒論背景與意義、國內(nèi)外研究現(xiàn)狀、主要工作、相關(guān)技術(shù)介紹深度學(xué)習(xí)基礎(chǔ)、卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、遷移學(xué)習(xí)原理、常用模型對(duì)比、系統(tǒng)需求分析功能需求、性能需求、可行性分析、系統(tǒng)設(shè)計(jì)總體架構(gòu)、數(shù)據(jù)集構(gòu)建方案、模型設(shè)計(jì)、功能模塊設(shè)計(jì)、系統(tǒng)實(shí)現(xiàn)環(huán)境搭建、數(shù)據(jù)預(yù)處理實(shí)現(xiàn)、模型訓(xùn)練實(shí)現(xiàn)、接口與界面實(shí)現(xiàn)、系統(tǒng)測(cè)試測(cè)試環(huán)境、功能測(cè)試用例、性能測(cè)試結(jié)果、準(zhǔn)確率對(duì)比分析、總結(jié)與展望。這里最容易被老師挑毛病的是國內(nèi)外研究現(xiàn)狀和測(cè)試分析。研究現(xiàn)狀別只寫深度學(xué)習(xí)發(fā)展很快這種話要把具體方法分類列出來基于傳統(tǒng)特征的方法、基于通用CNN的方法、基于注意力機(jī)制的方法等等。測(cè)試分析必須有數(shù)據(jù)支撐比如不同模型的準(zhǔn)確率對(duì)比表、不同訓(xùn)練策略的對(duì)比實(shí)驗(yàn)、不同光照條件下的識(shí)別效果分析。這些都是你真實(shí)做過的東西寫出來的自然有說服力。我的做法是在項(xiàng)目開發(fā)過程中隨手記錄實(shí)驗(yàn)表格和結(jié)果截圖最后寫報(bào)告時(shí)把這些素材組裝起來比自己憑空編造效率高得多內(nèi)容也更扎實(shí)。4. 常見問題與排查技巧實(shí)錄4.1 訓(xùn)練準(zhǔn)確率上不去的定位思路遇到準(zhǔn)確率低先不要懷疑模型結(jié)構(gòu)絕大多數(shù)問題出在數(shù)據(jù)處理和訓(xùn)練配置上。我整理了一個(gè)定位順序先看訓(xùn)練集準(zhǔn)確率再對(duì)比驗(yàn)證集準(zhǔn)確率。如果兩者都低說明模型容量不夠或者學(xué)習(xí)率有問題。試試更大的模型、更長時(shí)間訓(xùn)練、更合適的學(xué)習(xí)率。如果訓(xùn)練集高、驗(yàn)證集低說明過擬合或者數(shù)據(jù)分布有問題。優(yōu)先檢查數(shù)據(jù)集是否有類別重復(fù)、是否有的類別圖片和別的類別高度相似、是否有大量非花卉圖片混在里面。這幾個(gè)問題我實(shí)際都踩過某次訓(xùn)練驗(yàn)證集卡在85%上不去排查后發(fā)現(xiàn)兩個(gè)類別的訓(xùn)練圖片里混了不少標(biāo)注錯(cuò)誤的圖一張張篩選掉之后準(zhǔn)確率直接到了90%以上。還有一種隱蔽的情況是類別不平衡。如果某個(gè)類別只有30張圖片而其他類別有300張模型很容易對(duì)前者欠擬合。解決辦法不只是加數(shù)據(jù)還可以在采樣時(shí)對(duì)樣本少的類別做過采樣或者在損失函數(shù)里加類別權(quán)重。4.2 過擬合的判斷標(biāo)準(zhǔn)與處理路徑過擬合最直觀的表現(xiàn)就是訓(xùn)練集準(zhǔn)確率和驗(yàn)證集準(zhǔn)確率之間的gap越來越大。處理辦法按優(yōu)先級(jí)排列增加數(shù)據(jù)增強(qiáng)的強(qiáng)度是最溫和的手段。把隨機(jī)旋轉(zhuǎn)從15度擴(kuò)大到30度增加隨機(jī)擦除人為制造更多變化。其次是加正則化。Dropout的默認(rèn)值一般是0.2可以調(diào)到0.3到0.5或者加權(quán)重衰減。遷移學(xué)習(xí)場景下還有一個(gè)非常有效的做法少解凍一些層或者降低微調(diào)階段的學(xué)習(xí)率防止模型在有限數(shù)據(jù)上劇烈變化。我在實(shí)際項(xiàng)目中遇到過這樣一個(gè)情況微調(diào)階段解凍了模型全部層學(xué)習(xí)率用了2e-4結(jié)果驗(yàn)證集準(zhǔn)確率出現(xiàn)明顯震蕩某個(gè)epoch從91%掉到87%。換成只解凍最后兩個(gè)stage、學(xué)習(xí)率降到5e-5之后震蕩消失最終穩(wěn)定在92%左右。這說明在數(shù)據(jù)量不夠大的時(shí)候解凍層數(shù)不是越多越好。4.3 推理階段預(yù)測(cè)速度慢的常見原因如果部署之后發(fā)現(xiàn)識(shí)別要兩三秒才能出結(jié)果先別急著換輕量模型。按順序排查第一模型是否每次請(qǐng)求都重新加載。很多人會(huì)把模型加載代碼寫在接口函數(shù)內(nèi)部導(dǎo)致每識(shí)別一張圖都重新讀一遍權(quán)重文件這是最典型的低級(jí)錯(cuò)誤。應(yīng)該把模型加載放到服務(wù)啟動(dòng)階段全局只加載一次。第二是否用了GPU但推理時(shí)沒有切到cuda。第三輸入圖片是否被resize得過大。有些代碼寫的是resize到800x800而不是224x224計(jì)算量成倍上升。第四批量推理不等同于單張推理部署時(shí)核對(duì)一下代碼路徑有沒有走batch維度。我的實(shí)際經(jīng)驗(yàn)是把模型放對(duì)設(shè)備、輸入尺寸固定為224后EfficientNetB0在普通CPU上推理也能做到500毫秒左右這個(gè)速度已經(jīng)滿足一般交互需求了。4.4 項(xiàng)目中容易踩的技術(shù)坑速查表做一個(gè)表格把典型問題列出來方便你對(duì)照排查問題現(xiàn)象可能原因解決辦法訓(xùn)練loss不下降學(xué)習(xí)率過大或過小、數(shù)據(jù)格式錯(cuò)誤調(diào)學(xué)習(xí)率檢查標(biāo)簽和圖片是否對(duì)應(yīng)驗(yàn)證準(zhǔn)確率忽高忽低學(xué)習(xí)率過大、batch size過小降低學(xué)習(xí)率、適當(dāng)增加batch某幾個(gè)類別永遠(yuǎn)分不清數(shù)據(jù)標(biāo)注混亂、類別視覺上過于接近清洗數(shù)據(jù)、查找相似類的典型混淆樣本、補(bǔ)數(shù)據(jù)推理結(jié)果和訓(xùn)練效果差距大預(yù)處理不一致確保推理時(shí)的resize、normalize和訓(xùn)練完全一致內(nèi)存炸了圖片一次性全讀入內(nèi)存用DataLoader流式讀取調(diào)小batch上傳的圖片識(shí)別報(bào)通道錯(cuò)誤圖片是RGBA格式統(tǒng)一convert(RGB)保存模型后發(fā)現(xiàn)類名對(duì)不上類別排序錯(cuò)亂訓(xùn)練時(shí)保存一份class_to_idx的映射文件這些坑都很低級(jí)但每一個(gè)都真實(shí)發(fā)生在很多項(xiàng)目里。我自己最快的一次排查只花了五分鐘就發(fā)現(xiàn)問題原因是推理時(shí)忘記做標(biāo)準(zhǔn)化像素范圍還停留在0到255和訓(xùn)練時(shí)的0到1輸入完全不在一個(gè)量級(jí)。這類問題在別人眼里就是模型不準(zhǔn)實(shí)際就是一行代碼的事。5. 項(xiàng)目成果復(fù)盤與經(jīng)驗(yàn)擴(kuò)展5.1 從單一識(shí)別到完整系統(tǒng)的價(jià)值閉環(huán)很多做課程設(shè)計(jì)或畢業(yè)設(shè)計(jì)的同學(xué)做完訓(xùn)練模型就以為項(xiàng)目結(jié)束了這是非常可惜的。反過來想一個(gè)只有訓(xùn)練腳本和幾個(gè)準(zhǔn)確率數(shù)字的項(xiàng)目別人怎么看都覺得這就是交作業(yè)一旦你把識(shí)別接口、前后端頁面、演示視頻串起來整個(gè)項(xiàng)目就活了。用戶能上手用、能上傳照片、能看到結(jié)果這個(gè)系統(tǒng)的價(jià)值立即展現(xiàn)出來了。以我這個(gè)項(xiàng)目為例最終交付的不只是模型權(quán)重文件還包括完整的訓(xùn)練代碼、推理服務(wù)、前端頁面、數(shù)據(jù)集說明文檔、實(shí)驗(yàn)記錄表、項(xiàng)目報(bào)告和答辯PPT。這些材料合在一起就構(gòu)成了一個(gè)產(chǎn)品。你去面試或者在答辯現(xiàn)場把自己的系統(tǒng)從頭到尾操作一遍比在簡歷上寫一百個(gè)技術(shù)名詞有用得多。5.2 后續(xù)擴(kuò)展從靜態(tài)識(shí)別到更大的產(chǎn)品想象空間系統(tǒng)在基礎(chǔ)功能跑通之后擴(kuò)展方向非常多。最直接的是把識(shí)別從單花拓展到多花檢測(cè)——一張照片里有多種花先用目標(biāo)檢測(cè)模型框出來再逐一分類。技術(shù)上可以用Faster R-CNN或者YOLO系列在原有數(shù)據(jù)集基礎(chǔ)上增加標(biāo)注框。這個(gè)擴(kuò)展讓系統(tǒng)從單主體識(shí)別升級(jí)到場景理解適用面一下大了很多。另一個(gè)有價(jià)值的擴(kuò)展方向是增加交互反饋機(jī)制。用戶可以標(biāo)注識(shí)別結(jié)果正確或不正確正確結(jié)果可以進(jìn)入數(shù)據(jù)池增強(qiáng)模型不正確的結(jié)果可以觸發(fā)人工復(fù)核。這就是一個(gè)非常輕量的人機(jī)協(xié)同閉環(huán)會(huì)讓模型的實(shí)用價(jià)值隨時(shí)間增長。不要小看這個(gè)想法很多商業(yè)識(shí)花產(chǎn)品就是這樣積累數(shù)據(jù)、提升準(zhǔn)確率的。5.3 經(jīng)驗(yàn)沉淀我給后來者的三條操作性建議第一條建議是先跑通極其小的版本。不要一上來就收集120類圖片、訓(xùn)練20個(gè)epoch。先拿10類、每類50張圖、5個(gè)epoch把全流程跑通。這個(gè)最小可用閉環(huán)能讓你快速暴露代碼和工具鏈里的問題等流程順暢了再擴(kuò)數(shù)據(jù)和加算力。我見過太多人連環(huán)境都沒裝好就直接沖大項(xiàng)目最后卡在各種莫名其妙的報(bào)錯(cuò)上心態(tài)直接崩掉。第二條建議是從第一個(gè)epoch開始就寫實(shí)驗(yàn)日志。哪怕只是簡單記錄每個(gè)epoch的訓(xùn)練loss、驗(yàn)證loss、準(zhǔn)確率它對(duì)后續(xù)改進(jìn)的價(jià)值也是巨大的。沒有日志你改了一個(gè)參數(shù)都不知道效果是變好還是變壞整個(gè)調(diào)優(yōu)過程就成了盲人摸象。第三條建議是每條代碼路徑都保留可復(fù)現(xiàn)性。數(shù)據(jù)集劃分、預(yù)處理參數(shù)、模型結(jié)構(gòu)、訓(xùn)練超參全部記錄在配置文件和文檔里。這個(gè)習(xí)慣在寫報(bào)告時(shí)幫你節(jié)省大量時(shí)間也會(huì)讓項(xiàng)目在未來被重新打開時(shí)仍然可以一鍵復(fù)現(xiàn)。很多二手代碼打開就報(bào)錯(cuò)就是因?yàn)榄h(huán)境依賴和參數(shù)設(shè)置完全沒有記錄。6. 實(shí)戰(zhàn)復(fù)盤那些文檔里不會(huì)寫的東西文章寫到這里主體內(nèi)容基本完整了。最后聊一點(diǎn)個(gè)人體會(huì)。做這個(gè)智慧識(shí)花系統(tǒng)技術(shù)上最難的從來不是調(diào)用模型、寫接口而是你有沒有耐心把數(shù)據(jù)集一點(diǎn)點(diǎn)洗干凈、有沒有習(xí)慣每跑一個(gè)實(shí)驗(yàn)都記錄數(shù)據(jù)、有沒有意識(shí)在訓(xùn)練代碼之外補(bǔ)全工程化模塊。我最后用的模型其實(shí)非常簡單就是EfficientNetB0加遷移學(xué)習(xí)但在120類、72000張圖片這個(gè)體量上它達(dá)成了92%以上的驗(yàn)證準(zhǔn)確率上線之后收到的反饋也不錯(cuò)。如果你也想做一個(gè)同類項(xiàng)目或者你正在寫相關(guān)報(bào)告我的建議是別把精力浪費(fèi)在選最好的模型上而是死磕兩件事干凈的數(shù)據(jù)集、規(guī)范的工程流程。這兩件事做扎實(shí)結(jié)果一定不會(huì)差。最后再分享一個(gè)我一直在用的小技巧每次訓(xùn)練結(jié)束后把訓(xùn)練日志、模型評(píng)估、一張結(jié)果混淆矩陣保存成一個(gè)以日期命名的快照目錄。時(shí)間久了你會(huì)發(fā)現(xiàn)這種簡單的存檔習(xí)慣能讓你無比清晰地看到整個(gè)項(xiàng)目是怎樣一步步變好的做報(bào)告、復(fù)盤、定位問題都極其順手。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
www.99.色| 日日婷婷不卡| 丁香六月啪啪| 激情综合五月色在线| 色色五月婷婷狠狠| 综合在线色婷婷| 国产精品美女| 1区2区视频| 狠狠五月天激情| 久久亚洲天堂| 天天色凹凸| 伊人五月网| 久久人人九| 一起草av在线观看| 99草在线免费观看视频| 天天精品视频免费观看| 99婷婷五月天| 伊人干综合| av网站不卡在线| 五月天色小说| 婷婷伊人久久无码色五月| 婷婷五月天影院| 六月丁香啪啪| 国产精品99久久久久久久女警| 99热精品在线在线| 影音先锋男人AV资源站| 亚洲99在线| 激情五月丁香六月婷婷| 大香蕉五月天| 97人妻碰碰碰碰碰久久久久久| 亚洲中文字幕在线观看| 亚洲精品无AMM毛片| 久久这里有精品| 性生活久久朋友人妻| 色婷婷五月天激情| 懂色av粉嫩AV蜜臀AV| 中文激情网| 老师把我爽高潮了免费A片| 久久这里只有精品8| 天天日天天干天天操| 婷婷六月激情综合| 国产精品成人网站| 九九热re99re6在线精品| 婷婷色网| 激情纯色婷婷五月天在线不卡视频| 在线成人国产| 婷婷午夜精品久久久| 激情综合综合综合| 狠狠综合网| 精品久久久久久久人妻| 极品另类| 噼里啪啦在线观看免费完整版视频 | 97婷婷五月丁香| 少妇婷婷五月天| 97碰碰视频在线观看| 色视频2025| 五月婷婷开心激情六月蜜桃| 久久久性爱视频| 六月丁香综合| 久久久一级AAA| 青青草伊人婷婷| 午夜在线成人网站免费观看| 亚洲激情五月| 色色综合成人网| 五月深情久久| 大香蕉久久草| 五月开心婷婷| 亚洲网视屏| 国产AV国片偷人妻麻豆| 婷婷色中文| VA婷婷| 天天摸天天高潮天天爽| 久草五月婷婷| 婷婷五月在线影院| www色婷婷com| 激情综合5月| 狠狠操在线视频| 俺去也综合| 色婷婷狠狠| 少妇人妻偷人精品无码视频新浪 | 婷婷五月天日逼| 六月丁AV| 超碰AV在线| 丁香婷婷综合影院| 九九热亚洲中文在线观看免费| 国产精品婷婷午夜在线观看| 99热91| 日日干四虎| 国产亚洲99久久| 玖玖伦理电影| 涩涩五月天| 欧美色五月| 欧美大肥婆大肥BBBBB| 久久久久五月丁香| 亚洲天天免费| 91碰在线| 97成人在线视频| 日本99视频| 国产成人+亚洲+欧洲| 久久永久视频| 荫道BBWBBB高潮潮喷| 伊人九九热| 天天AV导航网| 色五月天丁香| 日韩AV一区二区三区| 久99视频| www.夜夜騎夜夜狠| 亚洲开心激情网| 丁香激情六月天婷婷| 美女美女美女三级色天天天天天| 色色色网站| 丁香六月天| 婷婷的久久网站| 可以看的av网站| 91人碰| 亚洲在线激情婷婷五月| 久久WW| 国精产品一区一区三区免费视频| 婷婷香蕉| 天堂亚洲 在线| 亚洲另类在线观看| 成人AV片播放| 久久久宗合| 欧美日韩中国| 人妻自慰在线| 免费试看小视频 99| 五月天啪啪啪| 日本人妻伦在线中文字幕| 91精品综合久久久五月天| 青青草a在线| 丁香六月婷婷综合| 99九九99九九九视频精品| 激情婷婷五月亚洲| 9l视频自拍9l九色9l成人| 色色欧美色色| 性爱在线播放av| 天天爱天天爽| 久久久潮喷-久久久九九-成人AV| 操逼福利视频| 色婷婷五月天| 伊人影音无码一区二区三区| 婷婷中文字幕网| 无码激情AAAAA片-区区| 婷婷情色五月天| 亚洲天天综合| 九色视频九色九色91jiuseshipin| 五月丁香A片| 开心五月激情网| 激情综合网激情五月俺也去| 色综合久久天天综合网| 婷婷五月色惰| 9|在线观看视频| 天天成人综合| 婷婷色综合| 婷婷五月天丁香社区| 97婷婷五月天| 色www99| 精品一区二区三区四区五区六区介绍| 丁香九月综合| 国产av基地| 99热这| 日日杆天天| 精品视频二级九九| 色五月丁香激情| 99精品网| 五月天·www·com| 99精品久久| 日本婷婷在线| 99久久99久久| 东京热人妻一区二区三区在线| 婷婷五月激情丁香激情| 成人无码髙潮喷水A片| 丁香五月天在线观看视频| 99久热这里只有精品| 色播激情| 人妻操逼视频| 婷婷五月天毛片| 激情五月婷婷丁香综合网| 激情五月丁香五月色| 色天天综合色| 久久一级AV| 99这里只有免费的精品| 国产小精品| 玖玖资源站国产| www超碰| 超碰99久久| 丁香五月激情综合| 久久狠狠干| 九热免费视频| 操一区| 97人人草| 五月天婷婷日日爱| 国产精品涩涩涩视频网站| 亚色网站小视频| 丁香五月av| 婷婷黄色五月天在线视频| 日本综合色图| 婷婷激情五月综合基地| 综合网精品99| 天天爽天天干| 亚洲免费观看高清完整版AV线| 噜噜噜噜综合在线| 色婷婷88| 99热精品在线| 丁香婷婷免费| 九月丁香网婷婷| 婷婷五月丁香久久| 伊人久久中文网| 婷婷丁香五月天亚洲| 91夫妻网站九色| 可以免费观看的AV| 色狠狠综合| 天堂综合久| 欧美日韩成人综合9| 在线,国产,色,热视频| www.色婷婷| 色五月成人| 激情五月丁香五月| 久久伊人五月天| 性做久久久久久久免费看| 婷婷五月丁香第四色超碰在线| 免费视频舔| 国产精品爽爽久久久久久| 婷婷娌伦网| 思思热在线观看| 五月丁香婷婷综合网色欲| 久久久久98| 色爱五月天| 国产精品美女| 亚洲天堂99| 婷婷五月天堂| 99re这里只有精品国产99| 26uuu精品国产| 免费在线a| 激情99热| 五月丁香婷婷激情影院欧美| 亚洲六月婷婷| 丁香五月天激情网| 97人人看一| 影音先锋色婷婷| 99热这里只有精品26| 久久色婷婷| 久久这里只有精品久久| 激情婷婷丁香| 久热69| 91操碰| 搡BBBB搡BBB搡五十| 在线五月色播| 人人综合久| 91无码高清| 超碰色色综合| 亚洲日韩乱码一区二区三区四区| 亚洲99精品欧美一区| 99色五月| 亚洲色婷婷| 可以免费看AV网站| 九月激情综合| 国产黄大片在线观看画质优化 | 香焦网五月天| 少妇高潮呻吟A片免费看软件| 五月丁香婷婷激情澎湃四射| www.久久爱.com| 亚洲中文字幕av| 激情 婷婷| 五月丁香综合啪啪| 免费91久久精品| 可以免费观看的av| 99热在线爱| 两性婷婷丁香五月| 综合色99| 第一区久久网站| 日熟女| 综合色99| 成人毛片在线免费观看| 久久婷色| 丁香婷婷社区| 激情五月综合免费| 91日本在线观看| 婷婷五月欧美综合| 久久伦乱| 丁香五月婷婷图片综合| 久久丝袜婷婷| 五月天色婷婷基地| 天天色综和网| 午夜九九九九九九| 亚洲操操操| 99综合视频| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 日本狠狠色| 99热 免费| 97精品综合久久内射| WWW.夜夜| 97色啪| 免费精品66| 99久久五月丁香野外| 337p大胆噜噜噜噜噜91Av| 色婷婷社区| 九九蜜臀精品| 色婷婷五月综合在线| 激情综合网激情五月天| 国产精品成人AV在线| AV 3P| 久久网日本| 丁香五月亚洲综合| 色婷婷六月天| 丁香五月婷综合网| 五月婷婷丁香深深爱| 99精品亚洲| 国产精品视频久久99| 久操婷婷| 欧美伊人9| 日韩性爱AV| 国产成人av在线播放| 五月天婷综合网站| 9精品视频在线观看| 色婷婷网| 成人国产综合| 狠狠高潮精品亚洲1| 五月色欧洲| 婷婷丁香六月| 丁香五月人妻| 丁香天堂夜| 久99999热视频在线观看免费| 色情五月丁香| 少妇激情五月天| 久久99最新| 五月婷婷丁香网| 成人美女网| 色玖玖导航| jiqingliuyuetian| 久久五月婷天天干| 六月丁香五月激情亚洲AV| 97五月婷婷| 婷婷综合性爱网| 婷婷91| 亚洲视频二区| 久婷五月| 丁香五月婷婷天激情| 97在线精品视频| http://www.com久久久精品一区| 狠狠五月天| 成人在线视频网| 五月婷婷性爱| 激情丁香五月AV| 五月婷婷色欲| 99在线精品免费视频| 99在线资源| 思思热视频| 欧美婷| 99在线er热| 天天搡日日搡aaaaⅩ| 亚洲在线视频321| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 丁香六月激情| 超碰爱爱爱| 这里只有精品在线免费视频| 26uuu欧美亚洲日韩| 婷丁香久综合| 国产欧美日韩性爱| 一级片sese片.COM| 五月婷婷免费在线| 九九综合伊人| 色五月天堂| 91婷婷丁香五月亚洲| 日韩av变天就操逼不卡区| 午夜丁香| 天天干天天做| 激情五月天色色| 亚洲人妻AV| 久久久激情视频| 五月激情日本在线| 激情婷婷丁香五月天小说| 丁香婷色| 91ncm视频| 色综合久久8| 亚洲成人电影在线免费观看| 久久久久9久无码视频| 久久无码成人| 91超级碰碰碰| 中文字幕日产A片在线看| 五月天桃色深爱网| 五月丁香六月婷婷网| 婷婷啪啪| 婷婷五月天色色| 丁香五月综合| 色五月综合在线| 婷婷伊人五月天| 婷婷五月丁香啪啪| 久久久久久久久久8888| 大香蕉久| 超碰免费人人| 五月丁香六月婷婷久久| 激情久久久久久久久久久| 五月天成人小说| 亚洲久久激情| www,婷婷,com| 中文字幕第四色.999| 9久国产精品| 五月婷婷|欧美| 伊人久久婷婷| 久久激情五月网| 日本一级黄色电影| 超碰精品在线| www.婷婷六月天| 大陆肏屄视频| 草综合14| 日韩在线视频网站| 丁香伊人激情| 天天噜| 婷婷俺去也| 国产又粗又大又爽又黄| 色婷婷9| 色播五月丁香| 亚洲色图欧美色图日本视频| 在线一起草av| 天啪天啪天啪天啪| AV无码免费| 欧美日韩日韩成人| 99热青青草| 97视频.干com| 丁香激惜男女| 五月天婷a| 婷婷六月综合激情| 久久综合丁香激情五月| 五月天激情小说| 超碰在线50| av网站免费在线| 九九九九中文字幕| 超碰网站在线观看| 99re热视频这里只有综合亚洲| 久久欧洲久久| 五月丁香激情欧洲啪啪| 天天日天天爱天天噪| 99爱视频| 亚洲AV成人在线| 黄色片久久| 丁香六月啪啪啪| 五月婷婷久久综合| 国产精品国产成人国产三级| 97狠狠碰| 丁香婷婷网| 午夜丁香六月婷| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 99re这里只有| www九九免费视频| 十二区无码| 婷婷丁香综合| 最新热中文字幕| 青草激情在线| 久九色| 99噜噜噜在线播放| 五月情涩综合婷婷| 99国产er热视频| 五月天夜夜爱夜夜操| 日本女人久久| 五月婷婷综合激情| 中文字幕有多少字| www.maotanji.com| 丁香五月天激情四射网| 综合丁香婷婷五月天| 亚洲色五月天是什么| 五月丁六月香| 五月婷婷六月色| 国成人网| 九月丁香婷婷| 国产玖玖资源| 性色五月天| 激情五月婷婷色综合| 91九色欧美| peg 2区三区四区的| 一本久道综合色婷婷五月| 婷婷六月久久综合导航| 久久久久9| 91丨人妻丨国产丨丝袜| 伦乱美欧| 超碰爱爱爱| 五月丁香激情综合| 欧美 日韩 成人| 婷婷色色狠狠| 五月丁香婷婷深深爱| 丁香五月激情综合| 91性人人| 久久这里都是精品视频| 五月婷久久| 思思热久久爱| 婷婷综合色图| 五月丁香六月综合图| 久热九九| 丁香五月成人社区| 99激情| 久久九九囯产| 男人综合网| 色婷婷免费观看| 天堂久久久久天堂网| 婷婷色基地在线看 | 99热综合网| WWW.亚洲无码| 婷婷伊人綜合中文字幕| 欧美性丁香色色五月天干干| 99热这里有精力| WWW色色色COM| 色六月天天激情综合网| 日本99在线| 潘金莲AAAAAAAAAA| 另类伊人婷婷| 婷婷五月激情视频| 国产精品18久久久| 色墦五月丁香| 成人在线视频一区| 色偷偷AV亚洲男人的天堂| 五月婷婷久久大香蕉| 伊人9999| 国产暴力强伦轩1区二区小说| 五月天色站| 性爱在线播放av| 综合99综合久久久久久久| 最近免费中文字幕大全高清大全1| 中文资源在线a | 99综合自拍| 欧美性爱专区| 99色爱| 日韩九九视频| 久久激情五月婷婷| 岛国操B不卡在线| 色婷婷亚洲在线| 丁香激情网| 人妻中文字幕网| 五月综合婷婷网| 激情爱爱网站超大免费| 在线亚洲综合网| 亚洲激情无码久久| 天天狠狠夜夜狠狠2023| 五月丁香婷中文| 97色色视频| 91狼友视频网页更新| 五月丁香直播| 色综合色色| 天天爽人人综合免费7799| 天天干天天插| 九九色婷婷Av| 伊人婷婷五月| 国产XXXX搡XXXXX搡麻豆| 99re99热| 久久大香蕉| 97成人在线视频精品| 五月天激情av| 大香焦A∨| 激情五月婷婷丁香| 五月激情视频| 久久桃花网色婷婷| 成人综合视频在线| 91操色| 亚洲xx在线| 人人射人人高潮| 91人人操人人| 嫩草AV久久伊人妇女超级A| 操操啪| 好色婷婷| 日日舔夜夜操| 人妻Av在线| 亚艹艹| 五月丁香综合啪啪啪啪啪| www.夜夜騎夜夜狠| 国产午夜精品一区二区三区四区| 亚洲综合网激情五月天| 丁香婷婷五月天色播| 91日精品| 夜精品无码A片一区二区蜜桃| 丁香五月综合| 色五月综合网| 综合五月天婷婷色| 丁香五月婷婷图片综合| 亚洲综合婷婷五月| 色呦精品| 一级二级香港秋霞欧美欧美秋霞| 久草x色在线观看99| 天天狠天天狠| 久久xxxx| 婷婷深爱五月亚洲综合| 爆乳熟妇一区二区三区四区| www.五月天。com| 成人在线观看精品| 草婷婷在线| 激婷网| 婷婷九月丁香| 亚洲第一综合| 婷婷在线五月天观看| 高清无码入口| 97色色色色色色色| 丁香色五月 97干| 丁香六月天AV| 婷婷成人视频| 五月婷婷,六月激情| 日韩无码成人电影| 六月婷婷综合网2| 婷婷欧美色| 欧美性猛交99久久久久99按摩 | 丁香婷婷六月激情综合| 色婷婷综合久久久久| 亚洲另类av| 91fuliwang| 婷婷五月天成人| 五月丁香婷婷三级| 亚洲国产精品成人免费一区久久久在线观看AAAA | 99热思思| 久久五月激情综合| 超碰v| 五月婷婷,六月丁香| 少妇人妻偷人精品无码视频新浪 | 欧美综合丁香网| 九九精品9| 亚洲 在线 性爱| 久久综合丁香五月| 亚洲精品视频电影| 99热免费18| 久在线综合69| 99在线视频操999| 丁香五月激情六月综合| 国产AV一区二区三区最新精品 | 超爽内射| 五月婷婷激情网| 色欲丁香| 成人免费120分钟啪啪| 免费播放99性爱视频| 六月丁香啪| 日韩操逼大片| 婷婷另类开心| 91av无码| 色婷婷亚洲婷婷| VA国产在线综合网站| AV片在线观看| 99热青青草| 99超在线| 日本天堂网站99| 怡红院 久久| 色五月激情综合网| 天天干天天干天天干天天干天天干天天 | 日日日日日| 天天日人人| 色婷大香蕉| 五月丁香激情综合啪啪| 五月天婷基地| 丁香婷婷五月激情四射网| 91日日日| 欧美色播综合在线观看| 丁香五月婷婷欧美成人色图| 亚洲综合久| 五月丁香综合精品| 国产亚洲99久久| 99精品免费| 五月六月激情| 先锋五月婷婷丁香草草| 一本大道嫩草AV无码专区| 韩国天天婷婷| 国产免费一区二区三区三州老师F1F1.CC| 久久女婷| 五月六月激情| 色九月婷婷综合| 国产AV一区二区三区最新精品| site:pnnrt.com| 日本色噜| 欧美精品A片一区在线观看| 激情深爱五月天| 激情丁香五月婷婷啪啪| 大香蕉久久久| 俺来也狠狠| 亚洲美女高潮久久久久久69| 婷婷五月天熟妇| 丁香色综合| 91 影音先锋| 大香蕉中文| 五月婷婷中文网| 五月婷婷激情久久| 五月婷婷综合网| 情婷婷五月天| 五月天社区| 五月桃花网综合| 香蕉操亚洲| 人人干AV| 日韩黄色电影| 韩国中文字幕91| 五月婷丁香| 激情五月婷婷在线区| 亚洲一区二区无遮挡A片| 日本人妻伦在线中文字幕| 久久久这里有精品| 无码天天操| 夜色综合网| 91精品国产综合久久久不卡电影| 99在线观看| 综合一本道| 热热久久精品视频| 亚洲成人网站在线| 激情五月成年| 丁香六月啪| 日韩成人影片在线观看| 一根材五月婷成人| 综合AV在线| 五月天另类小说久久小说网| eeuus五月婷| 中文字幕激情综合| 疯狂做受XXXX高潮A片动画| 激情AV| 欧美在线视频99| 欧美色碰| 性小说五月天| 五月四色色| 婷婷丁香五月天中文字幕| 99.色| 亚洲精品五月| 亚洲AV中文在线| av五月天婷婷丁香| 欧美性猛交99久久久99| 1024成人免费看| 热99这就是精品视频| 激情五月婷婷在线观看| 丁香社区婷婷五月| 国产日韩欧美性生活| 玖玖爱资源站| 丁香六月婷婷综合| OUMEIRIHANCHENGREN| 五月天婷婷久久综合| 综合色播| 丁香婷婷综合精品六月初| 99操| 热九九九九| 六月婷婷网站| 99热10在线高清播放| 99狠狠| 人妻系列久久久久久久久久久 | 激情五月天婷婷久久久久久久久久久| 开心五月网| 色欲久久综合| www.玖玖九| 玖玖在线视频| 五月开心久久| 婷色综合| 99久热| 大香蕉婷婷色| 99久久玖玖| 热99这就是精品视频| 婷婷5月天激情综合| 久久丝丝热| www.五月婷| 天天做 天天爱| 狠狠色噜噜狠狠狠狠狠色综合久久| 欧美97p| WwW色婷婷| 亚洲思思热久| 大香蕉婷婷丁香天堂AV| 97精品自拍| 九九综合伊人| 五月婷六月| 婷婷D区| 婷婷99丁香| 综合玖玖性爱免费视频| 五月香六月婷| 亚洲乱码日产精品BD| 婷婷五月丁香在线观看| 粉嫩AV久久一区二区三区| 五月丁香婷婷久久| 天天爽天天摸| 99黄色性生活| 激情精品久久| 2050人人操免费工开爱| 五月天另类小说亚洲| 五月色情婷婷| Xx色综合| 99热在线99| 色情丁香五月天| 成人色情五月天婷婷丁香| 五月天亚洲最大成人| 婷婷五月天xxx| 另类图片激情五月天| oumeisesewang| 色五月丁香一区在线| 五月丁香激情综合六月涩涩爱| 97人人干| 丁香五月六月久久综合 | 午夜福利8055| 婷婷爱五月| 丁香五月天.com| 久久九区| 久久久精品99亚洲综合| 国产黄色一级片| www.五月天婷婷| 日本3级片一区2区| 久久婷婷亚洲无码一起| 九九热re99re6在线精品| 國語久久婷| 黄网网站在线播放| 看婷婷五月天网| 久久久97| 久久91久久91色欲精品| 97人碰人操| 久99久视频精品| 丁香五月AV| 中文字幕色色| 99久在线精品| 色婷婷成人做爰A片免费看网站 | 成人无码免费一区二区中文| 99热免费精品| 99爱免费在线视频| 色哟哟精品| 午夜精品久久久久久久爽| dingxiangtingtingliuyue| 国产肥白大熟妇BBBB视频| 色五月涩涩婷婷蜜桃| 激情婷婷丁香| 欧美激情综合| 性爱久久| 伊人五月丁香| 丁香伊人综合| 日韩免费乱轮网站| 亚洲五月婷天天操| 99久久九九| 久草热在线视频| 天天干夜夜操A片| 婷婷五月蜜桃成人桃色丁香| 色五月婷婷少妇人妻| 26UUU精品一区二区c〇m| 五月天综合婷婷| 大香蕉99| 亚洲日韩一页精品发布| 日韩av免费版| 青青草99re| 久久9热| 久久综合九九| 五月天影院婷婷在线观看| 26UUU欧美| 97人人操人人爽| 成人日韩欧美| 久久九九99.www| 成人婷婷| 久久亚洲网| 色久五月天| 丁香九月久久| 第九色区av天堂| 91九色PORNY肉丝在线| 五月婷婷日本| 亚洲成人AV在线播放| 婷婷综合在线| 综合色色婷婷| 丁香九月综合| 国产欧美日韩综合精品一区二区| 成人免费网站免费看| 亚洲九区| 亚洲VA在线| 亚洲天堂aaaa| 99爱在线视频| 久久综合九色综合88i| 亚洲综合视频在线| 五月久久噜噜| 天天色视频| 六月丁丁香| 极品精品一区二区三区在线| 国内一级精品| 婷婷激情蜜桃玖玖丁香| 69色婷婷| 久久久99精品免费观看| 超碰高清在线| 婷色成人| 天天综合久久| 无码人妻丰满熟妇奶水区码| 久大香蕉| 99热这里只有精品1998| 日日日,com| 六月婷婷九月丁香| 激情婷婷五月综合| 色婷婷四虎| 婷婷五月天av小说| 自拍视频99| 97超级碰碰碰久久久| 九九中文色色| 欧美婷婷色五月网| 午夜日日| 午夜日韩久久久网站| 婷婷丁香五月天影院| 久久激情五月| 亚洲精品在线视频| 日日杆天天| 婷婷色在线| 亚洲黄网在线| 国产免费性爱| 玖玖综合色区在线观看| 99热 在线播放| BBWCUCKOLD精品熟妇| 婷婷色色欧美| 久月婷婷| 日日夜夜爽| 99ri精品| 色色丁香五月| 五月丁香婷婷久久| 丁香色情五月综合激情| 99热这里只有精品热| 超碰狠狠色| 五月丁香另类网| 激情涩涩网| 久久婷婷五月综合激情国产| 久久激情综合| 婷婷狠狠18禁久久| 影音 五月 婷婷 久久| 99视频精品全部免费看| 停停五月天激情网| 激情综合亚洲| 超碰国产AV| 色五月av伊人| 五月香婷婷| 丁香亚洲色综合| 久久亚洲婷婷综合色五月| 婷婷中文字暮| 中国女人做爰A片| 怡红院 久久| 99.N在线视频| 91怕怕网| 久久99热这里| 99视频自拍| 97碰在线免费观看| 色天天综合成人网| 97五月天| 丁香五月婷婷欧美激情-中文天堂最新版在线观看 | 日日干五月天婷婷| 伊人干练久| 天天干天天叉| 成人短视频在线| 婷婷五月亚洲激情| 襙逼网| 日日综合网| 91色吧网| 一级黄色尤物综合视频手机在线观看| 日本波多野结衣视频| 影音先锋一区二区三区| 噜噜综合网| 激情第四色| 99久久99久久综合| 1024成人免费看| 97热超碰| 色五月婷婷激情综合网| 热99re| 91大屁股精品| 久热这里只有精品6| 色婷婷最新域名| 色人久夂| 伊人丁香五月| 九九爱激情| 四色99久久| 性色天| 高清无码网址| 六月婷婷最新网址| 色性日本| 爱99干99| 操人妻AV| 九九热在线观看6| 99热碰碰热| www.sebowuyue| 99热精品免费| 欧美久久九九| 99久久er| 超碰v| 五月花激情网| 99热精这里只有精品| 激情影院丁香五月| 激情五月婷婷| 五月丁香av中文| AV性爱网| 五月丁香婷婷六月天| 五月婷婷六月丁香综合| 国产午夜精品一区二区三区四区 | 99视频在线观看视频| 五月婷婷色情| 99热| AV天堂淫乩| 婷婷丁香十月| 九九aV| 亚洲性爱电影| 人人干女人| WWW.桔色成人.COM| 香蕉大综综综合久久| 思思热久久久在线| 99综合色色色| 久久久久久草黄色片AV在线观看| 天天日天天爽夜夜爽| 91狠狠色丁香婷婷综合久久精品| 99久久性爱| 激情婷婷五月久久| 色婷婷小说网| 乱女乱妇熟女熟妇综合网站| 激情99| 五月天社区| 他改变了拜占庭| 五月天桃色深爱网| 色噜噜夜夜夜综合网| 播五月开心婷婷欧美综合| 日本网站久久| 99热精品在线播放| 婷婷五月天综合久久日美女| 婷婷四色成人综合色视| 欧美成人Va| 永久精品| 三级毛片7979| 99ri精品在线| 在线看片av| 五月www| 伊人综合网站| 丁香 婷婷五月| 婷婷五月激情网| 99热这里只有精品98| 激情综合九月| 久久99婷婷| 亚洲色在线观看| 影音先锋色色色资源色资源色| 人人播| 婷婷丁香人妻| 综合色、色综合| 国产婷婷五月天| 六月婷在线| 六月丁AV| 婷婷五月天奸女| 婷婷色五月婷| 亚洲色区17| 黄涩毛片| 激情小说色五月| 99久久精品网| 色爱综合视频| 丁香六月欧美| 草操AV在线| 欧美一级a| 亚洲五月婷婷| 色播五月丁香| 久久久天堂国产精品女人| 婷婷五月天开心激情网| 久久久久久久久久8888| 五月天婷婷在看| 色吧99| 狠狠狠狠狠狠| 全亚洲最大的婷婷五月天网站COM| 九九视频这里只有精品| WWW.桔色成人.COM入口| 免费看欧美成人A片无码| 99热亚洲精品| 中文字幕婷婷在线| 亭亭五月色男人| 精品99网站| 91精品无码久久久久久五月天| 天天日天天插| 亚洲免费婷婷| 久久这有这里精品| 国产免费av在线| 久热99热| 亚洲无码色色| 91在线看片| 日韩在线观看亚洲| 99欧美| 超碰A V在线| AA丁香综合激情| 夜夜久久综合网| av在线超清中文| 操逼国产91| 免费看欧美成人A片无码| 99久在线精品99re8热| 高清激情av在线观看| 色综合久久综合中文综合网| 琪琪色网址| 色婷婷电影网| 五月天激情图片| 久久九精品| 精品成人久久久久久久_一二三四视| 久草婷| 嫩BBB搡BBBB榛BBBB| 蜜臀av粉嫩av懂色av| 天天射影视综合网| 99人人干| www91精品| 狠狠色综合久久久久| 色婷婷成人做爰A片免费看网站| 久99久视频| 日日操夜夜撸| 婷婷5月开心6月| 五月丁香久久精品在线观看| 亚洲六月色婷婷| 7777精品伊人久久久大香线蕉最新版| 少妇水多A片太爽了| 91精品在线看| 久热这里只有精品66| 激情五月天婷婷| 久久久精品99| 青青草大香| 这里只有精品久久| 国产婷婷综合| 国产性av| CHINESE熟女老女人HD视频| 国产偷人妻精品一区| 五月婷人妻| 天堂中文国产| 综合久久十| 欧美成人猛片AAAAAAA| 色色色色网| 婷婷激情五月色综合| 999热在线视频| 6080av| 91超级碰在线视频| 99在线免费视频| 99ri精品在线| 99丁香五月婷 | 操一区| 色婷婷婷av| 色综合网上班开心婷婷久久| 精品香蕉99久久久久网站| 啪啪啪大香蕉| www色五月天| 丁香五月婷婷性爱| 丁香婷婷啪啪| 婷婷激情人妻| 色色色五月天婷婷| 成人做爰A片免费看网站找不到了| 影音先锋91资源站| 婷婷丁香人妻天久久| 可以直接看的AV网站| 婷婷五月天激情综合深爱激情| 婷婷四色成人综合色视| 天天色视频| 五月丁香激情啪啪| 欧美顶级少妇做爰HD| 91丁香婷婷综合资源| 91操在线视频| 99re99热| 九九免费在线视频| 五月丁香花免费视频| 日本狠狠干| 亚洲五月婷婷| 久久五月天精品视频| 激情性爱五月| 五月婷婷久久大香蕉| 五月色情网| 日韩色色视频| 婷婷五月天av| 成人性爱精品视频| 色综合色综合婷婷热| 欧美色图天堂网色| 色综合女人99| 国产精品久久久爽爽爽麻豆色哟哟| 亚洲无码11| 久久全意婷婷| 91无码一起草| 六月丁香花婷婷| 99亚洲精品视频| 免费观看的av| 秋霞网在线免费基地五月婷婷丁香| 玖玖热99| 成人在线综合| 亚洲AV成人在线| 五月丁香天堂网婷婷| 色婷婷五月天| 丁香六月婷婷| 成人 视频免费观看网站| 激情欧美五月丁香| 日本激情ⅩXX免费视频| 亚洲视频操| 天天操五月天| 久草热8精品视频在线观看| 久99久视频| 成人在线不卡| 色婷婷偷拍| 激情五月色播五月| 这里只有国产精品在线| 精品网站99| 婷婷五月四狠狠| 婷婷伊人综合中文字幕| 色婷婷超碰| 狠狠色网| 香蕉色色网| 亚洲精品无码A片一区二区| 嫩草AV久久伊人妇女超级A| 色五月激情五月天| 成人国产综合| WWW99热| 久久99热免费最新版| 无月播播激情在线观看视频| 开心婷婷五月花| 中文网AV| 丁香五月综合婷婷| 国产婷婷五月天| 久久久久99精品成人网站| 激情婷| 激情骚五月| 日韩少妇内射免费播放| 99激情| 国外亚洲成AV人片在线观看| 六月婷婷色综合| 久久婷婷综| www.色9| 婷婷综合色图| 超碰九九热| 色婷婷在线播放| 人妻九九九九| 五月天婷婷在线播放| 五月激情丁香久久综合网| 99热99| 丁香婷婷六月激情文学 | 色狠狠999综合网| 任你草| 五月天停停基地| 欧美婷婷精品激| 河北真实伦对白精彩脏话| 99re热视频这里只精品| 男女99免费视频| 色色色综合网| 五月丁香综合在线| 丁香五月欧美| 亚洲色久| 欧美成人AAA片一区国产精品| 国产AV国片偷人妻麻豆| 成人国产欧美大片一区| 国产性av| 97色五月丁香婷婷| 婷婷六月天| 97碰成超视频免费视频| 黄色精品五月婷婷| 九色婷婷| 久久五月天激情美女| 五月天六月丁香| 激情综合网激情五月网| 操操操操操电影网| 可以免费看AV网站| 老师把我爽高潮了免费A片| 少妇综合网| 99激情网| 久久久五月天婷婷成人网| 99久在线精品99re5热视频| 色情五月丁香婷婷网| YW无码| 婷婷狠狠操| 99国产小视频| 国产.亚洲.欧洲视频在线| 国产精品第一国产精品| 99国产精品久久久久久久久久久| 欧美婷婷六月丁香综合色连续高潮抽搐| 十二区无码| 丁香激情网| 深爱五月日韩| 五月丁香黄色| 97色五月婷婷在线| 欧美精品999| 色情五月丁香婷婷网| 久激情| 色五月激情五月开心五月| 婷婷五月天中文字幕| 丁香五月婷婷亚洲色图| 久久精品女人天堂AAA| 女人高潮内射99精品| 欧洲亚洲精品| 九九99在线观看视频| 亚洲人成网站999久久久综合| 成人无码髙潮喷水A片| 五月婷啪啪| 久色国产| 亚洲激情99| 国产熟女大叫受不了| 91n啪啪| 在线播放中文字幕| 五月开心色| 另类国产综合| 五月天狠狠网站| 9久久久| 久cao香蕉影院| AAA久久|