欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

TensorFlow垃圾分類系統(tǒng)實戰(zhàn):CNN基線+MobileNet遷移學(xué)習(xí)與TFLite部署

TensorFlow垃圾分類系統(tǒng)實戰(zhàn):CNN基線+MobileNet遷移學(xué)習(xí)與TFLite部署 垃圾分類識別這件事聽起來不算新鮮但真正動手把一套系統(tǒng)從數(shù)據(jù)準(zhǔn)備做到端側(cè)可部署過程中需要踩的坑遠比想象中多。我這次做的是一套基于TensorFlow的垃圾分類系統(tǒng)核心思路是雙線并行一邊從零訓(xùn)練CNN模型作為基線用來理解卷積網(wǎng)絡(luò)的工作方式和參數(shù)調(diào)優(yōu)另一邊使用MobileNet做遷移學(xué)習(xí)用更少的數(shù)據(jù)拿到更高精度同時把模型量化為TFLite格式保證它可以跑在手機、嵌入式開發(fā)板這類資源受限的設(shè)備上。整個項目做完用攝像頭掃一下就能實時輸出垃圾類別是一個邏輯完整、可以繼續(xù)擴展的工程實踐。這篇文章適合剛?cè)腴T深度學(xué)習(xí)、想做一個真實項目練手的同學(xué)也適合正在做課程設(shè)計、畢業(yè)設(shè)計或產(chǎn)品原型的開發(fā)者。我會把每一個關(guān)鍵選擇的“為什么”講清楚不只是貼代碼還會分享我在實驗里遇到的高頻坑和解決辦法。你能從里面直接拿走一套可復(fù)現(xiàn)的方案。1. 先把垃圾分類系統(tǒng)拆清楚需求、方案與技術(shù)棧1.1 需求拆解你要做的不是一個“模型”而是一套系統(tǒng)很多人在拿到“垃圾分類”這個題目后第一反應(yīng)就是找數(shù)據(jù)集、跑分類網(wǎng)絡(luò)但真正落地時要回答的問題遠不止這些。第一個問題是“輸入是什么”是單張圖片還是攝像頭視頻流手機拍照識別和實時視頻識別對模型大小和推理速度的要求完全不同。第二個問題是“輸出是什么”是輸出一個類別標(biāo)簽還是需要在界面上同時顯示置信度和對應(yīng)垃圾的投放規(guī)則第三個問題是“運行環(huán)境”是在電腦的GPU上演示還是要部署到無GPU的移動端我給自己定的目標(biāo)很實際輸入是普通攝像頭實時畫面或照片輸出是垃圾類別和置信度最終模型可以轉(zhuǎn)換成TFLite格式在CPU設(shè)備上流暢運行。從這個目標(biāo)倒推模型就不能選那種追求極致精度但體積好幾GB的超大網(wǎng)絡(luò)訓(xùn)練框架則定在TensorFlow 2.x因為它從訓(xùn)練到部署的鏈路最完整對新手也友好。1.2 為什么同時用自訓(xùn)練CNN和MobileNet遷移學(xué)習(xí)兩條路線如果只追求結(jié)果直接用現(xiàn)成的預(yù)訓(xùn)練模型做遷移學(xué)習(xí)就可以了不需要自己從零構(gòu)建CNN。但我還是堅持把兩條路線都做出來原因有兩點。第一自訓(xùn)練CNN是理解深度學(xué)習(xí)底層原理的最佳路徑。通過自己搭建卷積層、池化層、全連接層你能直觀感受到卷積核怎么提特征、池化怎么降維、Dropout怎么抑制過擬合。這些感知在你后續(xù)調(diào)整任何模型時都非常有用。第二在實際數(shù)據(jù)量有限的情況下從零訓(xùn)練CNN很難追上遷移學(xué)習(xí)的效果因為垃圾分類數(shù)據(jù)集的規(guī)模和復(fù)雜度都遠不如大規(guī)模自然圖像數(shù)據(jù)集模型很難只靠少量樣本學(xué)到足夠泛化的特征。所以我的策略是把自訓(xùn)練CNN當(dāng)作基線模型用來建立“最差效果”認知把MobileNet遷移學(xué)習(xí)作為正式方案負責(zé)最終落地精度和部署可行性。1.3 技術(shù)棧與總體流程設(shè)計整個系統(tǒng)的技術(shù)選型如下表選型邏輯是“優(yōu)先考慮完整性和可復(fù)現(xiàn)性”。模塊選型選擇理由深度學(xué)習(xí)框架TensorFlow 2.x訓(xùn)練接口成熟TFLite轉(zhuǎn)換方便部署鏈路完整基礎(chǔ)模型自訓(xùn)練CNN MobileNetV2兼顧原理學(xué)習(xí)與落地性能MobileNet在移動端友好圖像處理OpenCV、TensorFlow數(shù)據(jù)管道攝像頭讀取、圖像預(yù)處理和增強都能覆蓋訓(xùn)練平臺CPU可跑GPU更好數(shù)據(jù)量不大時CPU也能完成但GPU能顯著加快迭代部署格式TFLite模型小、推理快不依賴完整TensorFlow環(huán)境整體流程分成四段數(shù)據(jù)準(zhǔn)備與預(yù)處理、自訓(xùn)練CNN做基線、MobileNet遷移學(xué)習(xí)調(diào)優(yōu)、TFLite導(dǎo)出與端側(cè)驗證。每一段都不是孤立的數(shù)據(jù)準(zhǔn)備的質(zhì)量直接影響后面所有環(huán)節(jié)所以我建議不要在數(shù)據(jù)階段節(jié)省時間。2. 數(shù)據(jù)準(zhǔn)備與預(yù)處理實戰(zhàn)2.1 數(shù)據(jù)來源與類別設(shè)計先定類別再談效果垃圾分類系統(tǒng)的第一步不是寫模型而是確定類別體系。常見的公共垃圾分類數(shù)據(jù)集多以“可回收垃圾、廚余垃圾、有害垃圾、其他垃圾”四大類為頂層再細化到數(shù)十個子類。我建議第一次做項目的人不要一上來就挑戰(zhàn)上百個細分類別先做4到10類等整個訓(xùn)練部署流程跑通之后再逐步擴充。我是從“紙板、玻璃瓶、金屬罐、塑料瓶、塑料袋、果皮、廢電池、舊衣服”這8類開始的每類收集600到1000張圖片。如果你使用公開數(shù)據(jù)集一定要先做一次人工抽檢因為這類數(shù)據(jù)集中最容易出現(xiàn)的問題是圖片分辨率參差不齊、存在重復(fù)圖片、少數(shù)圖片標(biāo)注明顯錯誤比如把塑料瓶標(biāo)成玻璃瓶。如果模型學(xué)習(xí)到了錯標(biāo)特征后面的精確率再高也是虛的。數(shù)據(jù)不足的部分可以自己拍攝補充注意覆蓋不同角度、不同光線和不同背景這樣模型才不至于只在某一類固定背景上表現(xiàn)好。2.2 預(yù)處理細節(jié)尺寸、歸一化與通道順序預(yù)處理看起來簡單卻決定了模型能否正確接收圖片。首先必須把所有圖片統(tǒng)一成相同尺寸否則CNN全連接層的輸入維度會不一致訓(xùn)練直接報錯。MobileNetV2的默認輸入尺寸是224x224自訓(xùn)練CNN則根據(jù)計算資源可以選擇96x96或128x128。其次把像素值從0到255歸一化。使用ImageDataGenerator時設(shè)置rescale1./255即可使用MobileNetV2時要注意它有自己的預(yù)處理函數(shù)不能簡單除以255就算完。還要注意通道順序。TensorFlow默認是“高度、寬度、通道”的NHWC格式一般讀圖后不做特殊處理即可。如果你習(xí)慣用OpenCV讀圖要記得OpenCV讀取的是BGR順序需要轉(zhuǎn)換為RGB否則模型看到的顏色通道是反的訓(xùn)練效果會明顯變差。2.3 數(shù)據(jù)增強讓模型在少量數(shù)據(jù)里“見多識廣”數(shù)據(jù)增強不是單純?yōu)榱嗽黾訄D片數(shù)量而是讓模型對拍攝時的真實變化不敏感。我使用的增強方式包括隨機旋轉(zhuǎn)、水平翻轉(zhuǎn)、寬度和高度平移、縮放、剪切變換、亮度擾動。用TensorFlow的ImageDataGenerator實現(xiàn)只需要幾行配置。from tensorflow.keras.preprocessing.image import ImageDataGenerator train_datagen ImageDataGenerator( rescale1./255, rotation_range20, width_shift_range0.2, height_shift_range0.2, shear_range0.2, zoom_range0.2, horizontal_flipTrue, brightness_range[0.8, 1.2], fill_modenearest )這些增強參數(shù)也不是越大越好。比如旋轉(zhuǎn)角度超過30度很多垃圾對象的類別特征可能被破壞反而加大學(xué)習(xí)難度。我建議先用輕中度增強觀察驗證集準(zhǔn)確率是否提升再逐步調(diào)整。務(wù)必記住驗證集和測試集不能使用與訓(xùn)練集相同的數(shù)據(jù)增強最多只做縮放和歸一化否則驗證結(jié)果會虛高不能反映模型真實泛化能力。2.4 數(shù)據(jù)集劃分與目錄組織數(shù)據(jù)劃分要嚴(yán)格做到分層抽樣避免某一類圖片全部集中在訓(xùn)練集而驗證集只剩下其他類別。對多分類任務(wù)最簡單有效的做法是使用train_test_split并指定stratifyy。import os import shutil from sklearn.model_selection import train_test_split all_images [] for category in categories: imgs [os.path.join(category, f) for f in os.listdir(category)] all_images.extend(imgs) labels [category] * len(imgs) train_imgs, val_imgs, train_labels, val_labels train_test_split( all_images, labels, test_size0.2, stratifylabels, random_state42 )目錄結(jié)構(gòu)建議采用規(guī)范的分類文件夾方式data/ ├── train/ │ ├── cardboard/ │ ├── metal/ │ └── ... ├── val/ └── test/直接把圖片按類別放進對應(yīng)的文件夾后續(xù)用ImageDataGenerator的flow_from_directory加載非常方便也方便人工檢查數(shù)據(jù)。我習(xí)慣把訓(xùn)練、驗證、測試按7:2:1或8:1:1劃分測試集留到最后才用避免在調(diào)試過程中反復(fù)看測試集結(jié)果產(chǎn)生隱性的“測試集過擬合”。3. 從零訓(xùn)練CNN網(wǎng)絡(luò)結(jié)構(gòu)、參數(shù)計算與訓(xùn)練回調(diào)3.1 CNN為什么能處理圖片從卷積核到特征圖CNN的核心假設(shè)是圖像具有局部相關(guān)性。一個像素往往與周圍的像素關(guān)系更密切而遠處像素關(guān)系較弱。卷積層通過一組可學(xué)習(xí)的卷積核在圖片上滑動每個卷積核負責(zé)檢測某一種局部特征比如邊緣、顏色塊、紋理。多個卷積核疊加后淺層網(wǎng)絡(luò)學(xué)到的是線條和角點深層網(wǎng)絡(luò)學(xué)到的是“瓶口”“把手”這類語義部件最后用全連接層把這些特征組合成類別判斷。池化層的作用是在保留主要特征的同時縮小特征圖尺寸既減少計算量也增強平移不變性。整個過程很像我們?nèi)搜巯瓤淳植考毠?jié)再綜合判斷整體類別。理解了這一點你就能明白為什么那些把卷積核堆得很深卻不做歸一化的模型經(jīng)常出現(xiàn)訓(xùn)練震蕩。3.2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計不只是“越深越好”我設(shè)計的自訓(xùn)練CNN結(jié)構(gòu)如下適合8個分類類別輸入尺寸為224x224x3卷積層132個3x3卷積核BatchNormalizationReLU2x2最大池化卷積層264個3x3卷積核BatchNormalizationReLU2x2最大池化卷積層3128個3x3卷積核BatchNormalizationReLU全局平均池化全連接層128個神經(jīng)元ReLUDropout 0.5輸出層8個神經(jīng)元Softmax為什么第三層用全局平均池化而不是繼續(xù)展平因為如果直接Flatten前面特征圖的尺寸還會很大參數(shù)量會急劇增加。比如128個特征圖每個尺寸為28x28展平后就是100352個輸入節(jié)點全連接層參數(shù)量巨大非常容易過擬合。全局平均池化把每個特征圖變成一個值參數(shù)量大幅下降效果在大多數(shù)分類任務(wù)上不輸Flatten。實際參數(shù)量估算第一層卷積是3x3x3x32再加32個偏置一共896個參數(shù)第二層3x3x32x64再加64個偏置約18496個參數(shù)第三層3x3x64x128再加128約73856個參數(shù)。整個模型參數(shù)量不到幾十萬相比于幾百萬甚至上億參數(shù)的大模型已經(jīng)非常輕量。3.3 TensorFlow代碼實現(xiàn)import tensorflow as tf from tensorflow.keras import layers, models def build_cnn(input_shape(224, 224, 3), num_classes8): model models.Sequential([ layers.Conv2D(32, (3, 3), activationrelu, input_shapeinput_shape), layers.BatchNormalization(), layers.MaxPooling2D(pool_size(2, 2)), layers.Conv2D(64, (3, 3), activationrelu), layers.BatchNormalization(), layers.MaxPooling2D(pool_size(2, 2)), layers.Conv2D(128, (3, 3), activationrelu), layers.BatchNormalization(), layers.GlobalAveragePooling2D(), layers.Dense(128, activationrelu), layers.Dropout(0.5), layers.Dense(num_classes, activationsoftmax) ]) return model這里有兩個容易被忽略的細節(jié)。第一是BatchNormalization放在卷積和激活之間很多新手喜歡先激活再歸一化效果往往會差一點。第二是卷積層后面接了池化不要急著堆很多卷積層因為小數(shù)據(jù)集上的深度神經(jīng)網(wǎng)絡(luò)很容易過擬合淺一點反而好訓(xùn)練。3.4 訓(xùn)練配置與回調(diào)機制訓(xùn)練配置決定了模型收斂速度和最終效果不要隨便選參數(shù)。model.compile( optimizertf.keras.optimizers.Adam(learning_rate1e-3), losscategorical_crossentropy, metrics[accuracy] ) callbacks [ tf.keras.callbacks.EarlyStopping(monitorval_loss, patience10, restore_best_weightsTrue), tf.keras.callbacks.ReduceLROnPlateau(monitorval_loss, factor0.5, patience5), tf.keras.callbacks.ModelCheckpoint(cnn_best.h5, monitorval_accuracy, save_best_onlyTrue) ] history model.fit( train_generator, validation_dataval_generator, epochs50, callbackscallbacks )categorical_crossentropy要求標(biāo)簽是one-hot編碼flow_from_directory默認會用categorical模式輸出one-hot標(biāo)簽所以這里正好匹配。EarlyStopping和ReduceLROnPlateau是好搭檔當(dāng)驗證集loss不再下降時學(xué)習(xí)率會自動降一半給模型一個更精細的收斂機會如果連續(xù)10個epoch仍然沒有改善就提前停止避免浪費時間。3.5 評估模型準(zhǔn)確率不夠要看混淆矩陣訓(xùn)練結(jié)束后不要只看總準(zhǔn)確率一定要看分類報告。8個類別的垃圾中可能“塑料瓶”和“玻璃瓶”經(jīng)常混淆而其他類別都很好這時候總準(zhǔn)確率可能顯示92%看起來不錯但特定兩類完全不可用。正確做法是在測試集上輸出混淆矩陣和逐類精確率、召回率。from sklearn.metrics import classification_report, confusion_matrix import numpy as np y_pred model.predict(test_generator) y_pred_classes np.argmax(y_pred, axis1) y_true test_generator.classes print(classification_report(y_true, y_pred_classes, target_namescategories)) print(confusion_matrix(y_true, y_pred_classes))一個真實項目中如果“塑料袋”因為太透明、反光嚴(yán)重而被大量誤判為“塑料瓶”說明模型還沒有把“形狀可變形”這個特征學(xué)會。這時候優(yōu)先補充更多透明的、揉成一團的塑料袋圖片比盲目加深網(wǎng)絡(luò)更有效。這也是小項目里“數(shù)據(jù)比模型更值錢”的典型例子。4. MobileNet遷移學(xué)習(xí)實戰(zhàn)少樣本也能拿到高精度4.1 MobileNet的核心優(yōu)勢輕量而高效MobileNet不是某一種固定結(jié)構(gòu)而是一系列為移動端設(shè)計的輕量網(wǎng)絡(luò)。它的核心創(chuàng)新是深度可分離卷積把普通卷積拆分成“逐通道卷積”和“逐點卷積”。簡單理解普通卷積一次性同時處理空間信息和通道信息而深度可分離卷積先對每個通道做空間卷積再用1x1卷積去融合通道信息。這樣計算量可以下降一個數(shù)量級而精度損失相對可控。對于垃圾分類這個場景模型是要部署到普通設(shè)備上的MobileNet的輕量特性直接決定了“可用”。我選擇MobileNetV2而不是MobileNetV1是因為V2引入了線性瓶頸和倒殘差結(jié)構(gòu)在相同體積下精度更高很多公開部署案例都驗證過它的穩(wěn)定性。4.2 遷移學(xué)習(xí)為什么要借大規(guī)模預(yù)訓(xùn)練模型的“眼力”垃圾分類圖片雖然有自己的特點但底層視覺特征比如邊緣、紋理、形狀、顏色分布與大規(guī)模自然圖像數(shù)據(jù)集中學(xué)到的特征非常相似。預(yù)訓(xùn)練模型已經(jīng)在海量圖片上學(xué)會了識別這些通用特征我們不需要從零開始教它“什么是邊緣”。遷移學(xué)習(xí)有兩種常見策略。第一種是特征提取把預(yù)訓(xùn)練模型全部凍結(jié)只修改最后幾層適合每類只有幾百張圖片的小數(shù)據(jù)集。第二種是微調(diào)先凍結(jié)預(yù)訓(xùn)練模型訓(xùn)練分類頭再解凍部分高層卷積層用很低的學(xué)習(xí)率繼續(xù)訓(xùn)練適合數(shù)據(jù)量稍多且希望進一步提升精度的場景。我用一張表說明區(qū)別策略訓(xùn)練時間所需數(shù)據(jù)量精度上限適合場景特征提取短每類200~500張中等偏高快速搭建基線、CPU訓(xùn)練微調(diào)較長每類500張以上更高追求最終部署精度4.3 特征提取模式實現(xiàn)先凍結(jié)全部卷積基座下面這段代碼創(chuàng)建了MobileNetV2遷移學(xué)習(xí)模型關(guān)鍵點在于base_model.trainable False。from tensorflow.keras.applications import MobileNetV2 from tensorflow.keras.applications.mobilenet_v2 import preprocess_input from tensorflow.keras import layers, models base_model MobileNetV2( weightsimagenet, include_topFalse, input_shape(224, 224, 3) ) base_model.trainable False inputs tf.keras.Input(shape(224, 224, 3)) x preprocess_input(inputs) x base_model(x, trainingFalse) x layers.GlobalAveragePooling2D()(x) x layers.Dropout(0.2)(x) outputs layers.Dense(num_classes, activationsoftmax)(x) model models.Model(inputs, outputs) model.compile( optimizertf.keras.optimizers.Adam(learning_rate1e-3), losscategorical_crossentropy, metrics[accuracy] )注意這里的preprocess_input是MobileNetV2專用的預(yù)處理方式不是簡單除以255。把輸入先做預(yù)處理再進入模型才能和預(yù)訓(xùn)練時看到的數(shù)據(jù)分布保持一致。還有一個容易被忽略的細節(jié)因為base_model被凍結(jié)在推理模式下trainingFalseBatchNormalization層會使用移動平均而不是當(dāng)前批次統(tǒng)計量這樣能避免因為凍結(jié)BN層導(dǎo)致的訓(xùn)練不穩(wěn)定。4.4 微調(diào)模式實現(xiàn)小學(xué)習(xí)率解凍高層特征提取模式訓(xùn)練幾個epoch后如果驗證準(zhǔn)確率進入了平臺期就可以嘗試微調(diào)。微調(diào)的思路不是一次性把整個網(wǎng)絡(luò)都解凍那樣學(xué)習(xí)率稍大一點就會讓已經(jīng)學(xué)好的預(yù)訓(xùn)練特征被破壞。我的做法是先解凍整個MobileNetV2然后手動把比較淺的層繼續(xù)凍結(jié)只讓最后幾十層跟著訓(xùn)練。base_model.trainable True # 具體凍結(jié)層數(shù)需要根據(jù)模型結(jié)構(gòu)調(diào)整一般保留前100層左右不動 for layer in base_model.layers[:100]: layer.trainable False model.compile( optimizertf.keras.optimizers.Adam(learning_rate1e-5), losscategorical_crossentropy, metrics[accuracy] )這個階段的學(xué)習(xí)率一定要比前面低兩個數(shù)量級以上。我用過1e-5也用過5e-6整體都很穩(wěn)定。如果學(xué)習(xí)率突然拉高到1e-4很快就看到loss沖高然后模型再也回不到原來的狀態(tài)這就是很多同學(xué)遇到的“微調(diào)直接廢掉”的原因。4.5 小樣本訓(xùn)練的幾個關(guān)鍵技巧在每類只有幾百張圖片時有幾個技巧非常管用。第一是先用特征提取模式得到一個不錯的初始化點再進入微調(diào)不要在一開始就解凍全部層。第二是在分類頭之前加Dropout層雖然預(yù)訓(xùn)練模型已經(jīng)很強但在小數(shù)據(jù)集上依然很容易過擬合。第三是合理使用早停讓訓(xùn)練在驗證集開始下降時立刻停止。第四是如果某類圖片數(shù)量特別少可以為這類圖片做更多增強或者用類別權(quán)重懲罰模型對少數(shù)類的“忽視”。我實測下來MobileNet遷移學(xué)習(xí)在每類500張左右圖片的情況下驗證準(zhǔn)確率比自訓(xùn)練CNN高出8到12個百分點而且模型體積只有約十幾MB轉(zhuǎn)換TFLite之后還能再壓縮一半以上。這也是為什么最終方案我毫不猶豫選擇遷移學(xué)習(xí)的原因。5. 讓模型真正可用TFLite導(dǎo)出與端側(cè)推理5.1 部署目標(biāo)模型要“變小變快”而不是只追求準(zhǔn)確率很多同學(xué)訓(xùn)練完模型保存一個.h5文件就認為項目完成了。但對“可用”來說這遠遠不夠。h5或SavedModel格式需要完整的TensorFlow環(huán)境才能加載CPU設(shè)備上跑起來還特別慢。手機、嵌入式板卡根本沒有辦法直接運行大模型。所以我的部署目標(biāo)是轉(zhuǎn)換成本低的TFLite格式。TFLite是TensorFlow為移動端和嵌入式設(shè)備設(shè)計的推理格式它執(zhí)行時不需要完整訓(xùn)練框架模型體積更小推理速度快。轉(zhuǎn)換時還可以做量化把模型中的權(quán)重從32位浮點數(shù)變成16位浮點數(shù)甚至8位整數(shù)進一步壓縮體積。5.2 從SavedModel到TFLite的轉(zhuǎn)換操作先訓(xùn)練并保存模型推薦保存為SavedModel格式因為它對部署鏈路兼容性最好。model.save(garbage_mobilenet_savedmodel)然后使用TFLite轉(zhuǎn)換器。最簡單的轉(zhuǎn)換如下import tensorflow as tf converter tf.lite.TFLiteConverter.from_saved_model(garbage_mobilenet_savedmodel) converter.optimizations [tf.lite.Optimize.DEFAULT] tflite_model converter.convert() with open(garbage_mobilenet.tflite, wb) as f: f.write(tflite_model)這里tf.lite.Optimize.DEFAULT會盡可能壓縮模型。由于訓(xùn)練時模型權(quán)重分布比較合理量化后精度損失通常很小。如果后續(xù)實測發(fā)現(xiàn)精度掉得比較多可以改用僅對權(quán)重做量化而不對激活值做量化或者干脆不量化只保留FP32模型根據(jù)自己的硬件算力做取舍。5.3 使用TFLite解釋器在Python端推理TFLite模型不能直接喂給原來的模型預(yù)測函數(shù)需要用TFLite解釋器加載。我寫了一個可復(fù)用的推理函數(shù)import numpy as np import tensorflow as tf interpreter tf.lite.Interpreter(model_pathgarbage_mobilenet.tflite) interpreter.allocate_tensors() input_details interpreter.get_input_details() output_details interpreter.get_output_details() def predict_tflite(image): image cv2.resize(image, (224, 224)) image image.astype(np.float32) image preprocess_input(image) # 和訓(xùn)練時保持一致 image np.expand_dims(image, axis0) interpreter.set_tensor(input_details[0][index], image) interpreter.invoke() output interpreter.get_tensor(output_details[0][index]) return output部署時最容易出的問題就是預(yù)處理不一致。訓(xùn)練時你用了MobileNetV2的preprocess_input推理時卻用了簡單除以255模型輸出的置信度會很奇怪。如果你自己在模型里加了歸一化層那么推理時就不需要再做一遍。在寫部署代碼之前先花十分鐘核對接下來的每一步比訓(xùn)練時調(diào)參還要重要。5.4 精度與速度的取舍量化不是越高越好我實際對比過三份模型原始FP32、FP16半精度、INT8量化。模型模型體積推理速度準(zhǔn)確率變化FP32約14MB基準(zhǔn)基準(zhǔn)FP16約7MB更快基本不變INT8約3.5MB最快可能下降1%~3%INT8量化在小模型上通常不會有太大損失但如果你訓(xùn)練時的數(shù)據(jù)分布與部署現(xiàn)場差異較大掉點就會更明顯。一個穩(wěn)妥的做法是先在開發(fā)板上跑一遍量化模型如果準(zhǔn)確率下降超過預(yù)期就退回FP16。端側(cè)推理還可以設(shè)置線程數(shù)比如在雙核處理器上嘗試interpreter.set_num_threads(2)有時候速度提升比換模型更直接。6. 常見問題與高頻踩坑實錄6.1 訓(xùn)練集較小模型反復(fù)過擬合典型現(xiàn)象是訓(xùn)練準(zhǔn)確率很快升到98%驗證準(zhǔn)確率卻停在70%。這通常意味著模型把訓(xùn)練數(shù)據(jù)死記硬背下來了沒有真正學(xué)會泛化。解決順序分三步先加強數(shù)據(jù)增強增加旋轉(zhuǎn)、翻轉(zhuǎn)、色彩抖動的強度再增強模型正則化增大Dropout比例或減少全連接層神經(jīng)元最后如果還是不行就換遷移學(xué)習(xí)模型而不是繼續(xù)堆CNN層數(shù)。對小數(shù)據(jù)來說換網(wǎng)絡(luò)帶來的收益往往大于調(diào)參。6.2 類別不均衡導(dǎo)致模型“永遠猜多數(shù)類”如果“塑料瓶”圖片有3000張“舊衣服”只有200張模型很可能為了整體準(zhǔn)確率把舊衣服全部忽略。在訓(xùn)練損失上體現(xiàn)為少數(shù)類幾乎不被預(yù)測。對策有兩個一是收集更多少數(shù)類圖片這是最根本的二是在class_weight里給少數(shù)類更大權(quán)重。TensorFlow訓(xùn)練時可以直接傳入class_weight參數(shù)不同框架語法略有差異核心思想是讓少數(shù)類樣本被分錯時產(chǎn)生更大的損失。6.3 驗證集準(zhǔn)確率高測試集卻崩了這是最隱蔽的坑。常見原因是數(shù)據(jù)泄漏同一個物體的多張不同角度照片被同時分到了訓(xùn)練集和驗證集導(dǎo)致驗證集“見過”訓(xùn)練數(shù)據(jù)。另外數(shù)據(jù)增強如果被錯誤地應(yīng)用到了驗證集也會讓驗證分?jǐn)?shù)虛高。我建議劃分?jǐn)?shù)據(jù)集時按“物體實例”而不是按“單張圖片”去劃分比如同一組連續(xù)拍攝的塑料瓶圖片全部劃到同一個集合不要打散。這樣做更接近真實場景。6.4 遷移學(xué)習(xí)微調(diào)時loss突然沖高這是我在遷移學(xué)習(xí)里踩過最狠的坑。原因通常是解凍后學(xué)習(xí)率設(shè)置過大導(dǎo)致預(yù)訓(xùn)練權(quán)重被快速破壞也可能是模型里BatchNormalization層在trainingTrue時重新統(tǒng)計了少量樣本的均值方差而樣本量太小統(tǒng)計不穩(wěn)定。解決方法是把學(xué)習(xí)率降到1e-5以下同時確保微調(diào)階段的batch size不要太小盡量保持在32以上。如果loss還是沖高重新從特征提取階段的模型恢復(fù)再降低解凍層數(shù)。6.5 端側(cè)部署后推理速度達不到實時如果攝像頭畫面看上去有明顯的卡頓先檢查模型輸入分辨率是不是太高。比如你訓(xùn)練時用224x224部署時卻把原圖先縮放到640x640再送進模型速度自然慢。輸入超過模型需要的大小并不會提升精度。其次檢查量化是否生效先用interpreter打印模型輸入數(shù)據(jù)類型如果還是float32就確認轉(zhuǎn)換時是否真的加上了optimizations。兩條都排查完基本可以解決問題。7. 寫在最后一些真實體會7.1 復(fù)現(xiàn)這個項目的建議順序我自己跑這個項目時最受益的是把“自訓(xùn)練CNN”和“MobileNet遷移學(xué)習(xí)”放在同一套數(shù)據(jù)上對比。這樣你能直觀感受到數(shù)據(jù)量、模型容量和泛化能力之間的關(guān)系而不是單純迷信某個高大上的網(wǎng)絡(luò)。建議復(fù)現(xiàn)時也按這個順序來先準(zhǔn)備數(shù)據(jù)再跑一遍CNN基線然后用MobileNet遷移學(xué)習(xí)做正式方案最后再做TFLite量化部署。不要急著跳過基線直接做遷移學(xué)習(xí)少了那一步很多訓(xùn)練現(xiàn)象你很難解釋。7.2 這個項目后續(xù)還能往哪里擴展完成第一版后可以做的擴展方向很多。比如給系統(tǒng)加入目標(biāo)檢測前置模塊先用檢測模型定位畫面中的垃圾區(qū)域再裁剪送入分類模型這樣就能處理畫面里有多個垃圾對象的情況。也可以把單幀圖片分類改成視頻流分類加入時序平滑策略避免連續(xù)幀分類結(jié)果抖動太厲害。再進一步還可以在部署腳本里加入簡單的置信度閾值邏輯置信度低時提示用戶重新拍攝或反饋人工標(biāo)注形成一個小閉環(huán)。垃圾分類系統(tǒng)并不是什么“高不可攀”的項目它真正考驗的是你把數(shù)據(jù)、模型、部署串聯(lián)起來的工程能力。希望這篇記錄能幫你少走幾步彎路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产精品久久在线观看技巧| 天天插天天干| 亚洲av成人一区二区电影在线| 婷婷99| 这里精品| 色五月婷婷7777| 五月婷婷无码| 九月婷婷色色| 操比激情五月| 玖玖资源站视频| 97碰在线视频| 亚洲精品亚洲人成人网| 色久女| 狠狠色婷婷综合开心影视| 蜜臀av无码久久久久久久久| 99自拍视频在线| 日本久久久97| 囯产精品一品二区三区| 99在线精品视频| 丁香婷婷五月综合影院| 深爱综合网| 色欲AVV| 九热在线这里有精品6| 婷婷俺去也| 久热A片| 丁香狠狠| 99热这里有精品| 亚洲综合久| 伊人在线视频| 色婷婷五月综合色婷婷| 97干在线观看视频| 韩国激情五月天综合网| 久久久五月天婷婷成人网| 色五月视频无码播放| 激情综合婷婷| 久久网站免费亚洲| 热九九精品| 67194中文字幕| 五月天色婷婷网| 亚洲爆乳无码精品AAA片蜜桃| 九九色中文| 激情綜合網址| 日韩av网站在线观看| 欧美VA在线观看| 2018国产大陆天天弄| 99亚洲天堂| www.9797国产| 五月丁香花激情综合网| 婷婷涩涩五月天| 久xxxx| 婷婷五月丁香六月天亚洲综合| 国产乱妇乱子在线播视频播放网站| 五月丁香网av| 色婷婷五月天| 热久久66| 激情综合网婷婷五夜| 久久婷婷六月综合资源| 搡BBBB搡BBB搡18| 久久亚洲色导航| 婷婷五月天基地| 五月丁香色色网| 婷婷五月激情网| 天花AV无码| 五月婷婷九| 国产精品日本一区二区在线播放| 婷婷基地五月色| 精品一二三区久久AAA片| 丁香婷婷精品视频| 国产肥白大熟妇BBBB视频| 激情婷婷五月亚洲| 丁香久久| 深爱激情五月天婷婷网| 久久人人添人人爽添人人片αV| 婷婷五月天日日日干干干| 97碰碰碰免费公开在线视频| 插插五月天| 懂色av粉嫩av蜜臀av| 五月婷婷伊人久久| 精品九九久久| 五月综合视频| 99久热在线精品| 五月丁香激情四射| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 五月丁香婷中文字幕| 国产午夜精品一区二区三区四区| 天天成人综合视频| 日本在线wwww| 日本啪啪天堂| 9操在线| 五月婷精品| 久婷| 狠狠干在线| 久思思热视频在线观看| 年轻的妺妺伦理HD中文| 伊人久久五月天| 色色婷婷综合| 26uuu成人网| 激情五月婷婷视频一区二区三区| 色九网| 婷婷导航| 成人做爰A片免费看网站找不到了 国产露脸150部国语对白 | 天天爽成人综合网站| 丁香六月综合激情| 只有久久精品免费| 色婷婷性爱| www.激情| 99色这里| 婷婷五月色播天| 亚洲性爱区无码区| 99热这里有精品首页10| 久草婷婷| AⅤ色区| 婷婷五月天A V| A久网| 久久女人九九| 中文字幕在线观看视频www| 这里只有精彩小视频视频网站| 激情五月综合网| 婷婷五月天免费| 熟女国产在线一区二区三区四区| 色五月天堂| 99热在线精品播放| A片试看50分钟做受视频| 色五月综合网| 五月丁香花视频| 婷婷网五月天| 日韩精品无码99| 亚洲av网址| 91色色色| 99热99这里有免费的精品| 六月婷婷操逼| 天天干夜夜想| 五月丁香六月婷婷亚洲视频| 色热久| 丁香六月激情综合| 久久久久久久久人妻| 亚洲 视频 导航 一区| 26uuu欧美日本| 五月激情综合五月| 亚洲色婷婷五月天| 思思热在线观看| 五月婷婷啪啪网| 五月天另类图片区99| 五月丁香| 色婷婷色五月天| 99精品视频偷拍| 欧亚成人A片一区二区| 五月婷婷AV| 久久久999精品| 夜夜爽77777妓女免费下载| 五月播播| 青青草原中文字幕| 婷婷五月在线| 97人人超| 婷婷激情五月综合丁| 97婷婷狠狠久久综合9色| 中文av网| 五月天久久综合婷婷丁香| 五月天婷婷基地综合网| 亚洲亚洲人成综合网络| 99无码视频| 久热视频A.| av操逼网| 97色片| 天天成人综合| 国产熟女大叫受不了| 欧美激情综合色综合啪啪五月| 五月婷久久在线| 丁香婷婷五月综合影院| 极品精品一区二区三区在线| 婷婷丁香五月综合| 欧美日韩AAAA| 天天肏屄夜夜爽| 性爱五月婷| 我要射综合| 亚洲AVDVD| 日本99久久| 婷婷操婷婷干婷婷射| av在线观看免费| 激情五月综合网丁| 婷婷丁香色五月| 丁香五月激情综合啪啪| 久久丁香婷婷五月天| 丁香深五月婷婷| 4399人妻无码久久久| 五月社区婷婷激情| 人人综合久| 极品人妻VIDEOSSS人妻| 五月天婷婷色色网| 中文字幕 久久9999| www.色色五月天.com| 精品成人在线| 色婷婷丁香五月| 久久美女五月天| 色播丁香五月婷婷操:屄| 91人人操| 五月丁香久久激情综合| 99啪啪| 日本天天色| 久久午夜理论| 亚州精品色情无码A片| 久久日曰| 日韩综合成人| 色婷婷在线视频| www.com五月天| 一区二区中文字幕| 中文色婷婷| 91操黄| 九九99久久| 丁香五月婷婷色情综合| 色五月色综合| 99 色色吧| 97人妻碰碰碰久久香蕉| 丁香色情五月综合激情| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 超碰人人在线| 天天摸天天透天天舔| 操逼福利视频| 九九热亚洲中文在线观看免费| 成人啪啪色婷婷久| 波多婷婷久久| 婷婷五月成人| 亚洲九区| 丁香六月激情国产| 这里只有免费的精品| 中美日韩成人在线| 综合www色| 熟女人妻视频| 五月婷婷影院| 九月婷婷综合| 欧美色99| 少妇人妻人伦A片| 狠狠狠狠狠草| 99热首页在线30| 激情五月天色色| 五月婷婷综合影院| 五月天婷婷涩涩| 麻豆AV一区二区三区| 思思热视频| 色五月天丁香婷婷| 色婷婷成人五月| 日韩激情人伦人| 五月丁香无码| 日本一毛片| 丁香久月| 精品人妻在线| 精品人妻在线| 五月婷婷婷| 九九久99免费视频| 精品操逼一区二区| 婷婷五月天涩涩| 婷婷丁香五月天综合在线日韩| 五月丁香婷婷综合网| a在线观看| 日韩av在线免费观看| 五月婷婷激情综合网 | 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 亚洲综合色五月| 久久婷婷五月综合激情国产| 日日操夜夜爽天天天| 久久只有精| 在线视频你懂得| 五月天婷婷綜合院| 夜夜资源站| 五月天狠狠色| 91综合在线视频| 亚洲AV电影av| 亚洲影院婷婷色| 亚洲传媒在线观看| 久久久久久久,99精品视频| 五月婷婷深深爱| 丁香伊人网| 五月婷婷婷丁香播| 碰97久久| 久久精品五月天| 人人射人人高潮| 婷婷中文字暮| 99九九久久| 六月丁香停| 97日日碰碰| 久久久久久18| 在线综合91| 影音先锋一区二区资源站| 色婷婷在线电影| 大香蕉啪啪网| 日韩成人中文| 97超美国视频在线观看| 91色色色视频| www.99久久久久99| 超色欲天天| 玖玖热99| 一月婷婷色色| 91操人| 婷婷丁香69精华| 久久九九99| 五月丁香| 激情丁香淫荡婷婷| 激情九九这里只有精品| 亚洲成人婷婷| 五月天婷婷色色网| 色五月婷婷丁香五月| 五月丁香综合在线| 精品无码久久久久久久久| 成人AV在线中文版| 婷婷94s| 激情五月天婷婷色色色色色色色色色色色| 国产精品色婷婷99久久精品| 丁香五月成人| 日韩AAA| 婷婷五月噜噜| 人人色婷婷| 91九色国产熟女| 99日本精品视频热| 五月综合无码| 久艹大香蕉| 久久久com| 一区二区三区视频| 色婷婷很很十八禁| 亚洲AVDVD| 九九色综合网| 99热久久这里只有精品| va亚洲中文在线| 99热这里有精品| 99毛片| 日韩aaaaa| 人妻丰满精品一区二区A片| 操碰色一区就去操| 中文av在线观看| 久99在线视频| 九九九九九无码| RenRenSe在线视频网站| 思思久久精品| 99热一区| 波多野结衣不卡AV| 99黄色在线视频精品熟女| 五月开心婷婷极品激情| 思思热久久婷婷五月天| 婷婷丁香人妻天天爽| 99激情在线| 五月天婷婷影院| 九九爱激情| 狠狠色丁香久久婷婷综合五月| 亚洲av网站| 色五月久久成人婷婷| 丁香婷婷色情社区成人小说| 91九色国产| 极品少妇XXXX精品少妇偷拍| 久久婷婷桃花五月天| 色欲九区| 99热大片| 伊人婷婷大香蕉| 99re这里有精品手机在线| 亚洲综合色色色| 中文字幕黄色片| 国产毛多水多女人A片| 五月天激情黄色网址| 亚洲第一黄网| 丁香六月婷婷色XXXX| 夜夜躁爽日日| 99这里| 色综合色香蕉网| 国产操逼网站| 国产激情久久久| 七七九九色色| 激情欧美丁香五月| 激情五月婷婷网| 亚洲 在线 另类| 黄色五月婷| 中文网AV| 亚洲另类日本| 五月天激情综合网| 人人爽欧美婷婷久久久五月丁香| 丁香五月情色| 五月婷婷六月开心| 久久五月视频| 成人va在线| 精品久久99码| 国产色色色色| 这里有精品| 狠狠综合色网| 久草五月天电影网| 午夜婷婷久久| 免费三级黄色| 亚洲激情网| 天天爽夜夜爽| 色色色热热热| 超碰精品国产首页| 亚洲成人电影aaaa| 日本三级韩三级99久久| 老司机视频lsj爱就色| 97资源碰碰| 热99热9| 亚洲色在线观看| 丁香六月天婷婷色| 中海油常州环保涂料有限公司| 亚洲99热| 青草视频在线观看视频| 九九色影院| 人人人舔人人人操人人人摸人人人97| 99热8| 久久精品噜噜噜成人A∨色欲| 美女丁香五月天| 五月丁香啪| 欧美亚洲色色色色| 婷五月丁香俺| 婷婷网五月天| www五月婷婷88导航| 玖玖无码中文| 五月丁香婷婷三级| 五月丁香婷婷综合| 久热 91| 伊人久久丁香婷婷六月五月综合| 天天日夜夜爽| 吊色AV男人的天堂| 国产资源91在线| 久9视频| 色色九九五月天 | 色婷婷五月天堂资源| 久久综合性| 丁香婷婷久久综合在线| 三级99热| 婷婷中文字幕版| 久久久婷| 婷婷色色丁香五月天| 婷婷香五月综合激情| 婷婷伊人网| 天天日夜夜欢| 婷婷五月天色播| www.91av.com| site:esunnet.com| 亚洲视频99| 久婷婷五月综合欧美| 五月婷婷五月天亚洲无码| 成人在线视频网| 欧美日韩成人一区二区| 久机视频这只有精品| 国产午夜精品一区二区三区四区| 26uuu欧美日韩| 婷婷欧美激情综合| 激情五月天第四色| 天天射色五月天| 久久人妻熟女一区二区 | 天天色图| 久久婷婷五月综合激情国产| 丁香六月综合激| 丁香婷婷久久综合在线| 国产做爰视频免费播放| 99热国产在| 国产 亚洲 在线| 伊人五月天97| 国产激情婷婷| 中文字幕综合色| 婷婷综合激情五月综合| 亚洲成av人影院| 超碰在线精品| 五月婷婷色综图片| 99精品超在线播放| 激情六月丁| 31色区视频免费看| 婷婷 月 丁香| av在线免费播放观看| 思思色综合网站| 色婷婷影视| 99热国品免费| 五月天婷婷成人资源站| 99国产精品久久久久久久久久久 | 六月婷婷久久| 综合性爱网| 天天狠狠夜夜狠狠2023| 久久青青日本视频| WWW,五月| 97人人操人| 综合五月丁香六月婷婷| 字母不卡码人逼| 丁香五月冃欧美| 婷婷综合性爱网| 99爱免费在线观看| 99国产精品久久久久久久久久久 | 亚洲色图日韩网址| 亚洲第一第二网站| 欧美啪啪网| 九九热在线视频观看| 激情五月最新网址| WWW色色色COm| 五月丁香五月天现场视频| 国产精品天天狠天天看| 色宗合久久五月婷婷| 国产精产国品一二三在观看| 99热香港| 国产亚洲精品久久久久久久久动漫| 99惹在线精品免费观看| www.久久爱| 亚洲激情免费久久| 欧美大片| 丁香激情婷婷网| 影音 五月 婷婷 久久| 婷婷五月激情在线| 嫩草免费视频| 噜噜网免费视频| 91精品国产色猫| 五月丁香六月婷婷激情视频在线观看免费 | 婷婷五月天激情网| 能看的av网站| 婷婷五月丁香五月丁香| 无码少妇高潮喷水A片免费| 秋霞电影理论| 婷婷天天五月天| 亚洲热热视频| 欧美在线看| 99久久9| 丁香五月天偷拍| 99免费在线视频| 秋霞电影理论| 亚洲av成人一区二区电影在线| 五月花激情| 婷婷 伊人 久久| 婷婷黄色| 99九九热在线观看| 99久久久久| 成人婷婷五月| 久久99免费视频| 婷婷五月天堂| 日本三级中国三级99| 综合久久9| 色99日韩| 这里只有精品视频| 激情五月婷在线精品| 99啪视频在线观看| 亚洲人成色A777777在线观看| 99热综合色图| 久久综合婷婷| 99色色热| 九色亚洲| 99热网址| 婷婷激情伍月网| 精品国产乱码久久久久夜深人妻 | 国内一级片| 日日综合网| 亚洲天堂大香蕉| 色色国产| 天天爽夜夜爽天天爽夜夜爽| 97电影99热| 激情六月综合| 六月丁香综合网| 极品五月天| 日韩在线一级| 激情婷婷五月女| 98国产精品综合一区二区三区| 5月婷婷五月天| 国产视频福利| 婷婷色综合| 一级操逼内射在线视频| 亚洲婷婷91丁香| 九九热精品| 五月丁香六月婷婷的女人| 啪啪黄页网| 无码99| 九九热视频思思| 欧美激情久| 五月丁香啪| 插插五月天| 成人色图情色成人网 www.5b5b5bcom 五月天| 超碰成人电影| 99精品在| 热99精品视频| 亚洲成av人影院| 天天五月天综合网址| 五月婷婷av| 五月天色小说| 婷婷九月亚洲| 九九热这里只有精品12| 丁香五月天.com| 天天插天天射| 婷婷五月丁香六月综合网| 天天爽在线视频| 综合色图婷婷| 大香蕉伊人99| 久久在线人妻| av在线观看网站| 亚洲国产精品VA在线看黑人| 久婷五月| 丁香五月狠狠综合欧美| 亚洲性视频| 欧亚成人A片一区二区| 婷婷伊人五月天| 26UUU| 91成人看| 人人爱操| 狠狠色大香蕉| 九色视频这里只有精品| 中文AV在线播放| aV直接看| 亚洲操操| 超碰成人电影| 68热超碰在线| 噜噜五月天综合| 婷婷五月天狠狠搞干| 久久色区| Www.久久| av九九| 新激情五月天天在线网| 五月婷色丁香| 激情黄色小说色五月| 九月丁香久久网| 综合激情五月天| 99er久久| 99开心五月五月丁香激情| 成人va在线| 久操热| 成人在线99| 东北婷婷五月天| AV在线观看网站| 久久这里只有精品视频15| 久久性爱视频网站| 丁五月激情视频免费| 五月色情婷婷开心五月色情| 久久香蕉福利| 在线视频九色97| 色婷婷综合视频| va婷婷| 天天综合久久| 五月丁香婷婷婷激情爱爱| 办公室少妇激情呻吟A片在线观看 白人荫道BBWBBB大荫道 | 99久视频| 人人草开心五月天| 天天久久综合| 成人噜噜网| 二级黄色毛片| 涩丁香91| 三男玩一女三A片| 深爱激情五月天| av在线色五月丁香婷区久| 开心婷婷中文字慕| 综合色吧| 久热精彩视频98| 国产亚洲精品AAAAAAA片| 爱射综合| 98色花堂98t.R| 岛国AV网| 九九视屏| 五月婷狠狠| 熟女人妻一区二区三区免费看| 热久久91| 五月丁香激情综合久久| 婷婷涩五月天综合| 婷婷激情另类| 久久伊人大香蕉| 97精品自拍视频| 久久性都花花世界成人免费视频| 成人精品视频99在线观看免费| 99色性爰网络| 丁香五月婷婷基地| 天天天摸夜夜夜玩| 都市激情五月婷婷综合| 综合色情网| 天天综合久久| 五月婷久久综合| 久热婷婷综合| 日本三级日本三级99| 国产.亚洲.欧洲视频在线| 性日本精品| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 99九九在线精品热动漫| avh片在线观看| 老美AA片| 久久精品一区二区三区四区| 久久久五月天| 中文字幕在线资源| 9久久久久久久久久久| 99A片| 婷婷五月天日本无码| 久久人人人人妻| 五月丁香在线婷婷蜜桃| 色婷婷丁香五月高清在线| 99色精品视频| 五月婷亚洲精品AV天堂| 欧日韩成人| WWW.久久久久久久| 六月婷婷综合久久| 亚洲精品成人片在线播| 极品少妇婷婷五月| 久久久久久久久久久久久久久久久精典| 精品一二三区久久AAA片| 婷婷五月丁香五月| 五月天婷婷丁香| 亚洲天天| 丁香五月天婷婷激情| 日韩aaa| 丁香婷婷基地| 婷婷狠狠操| 亚洲综合五月天| 久久免费精彩视频| 婷婷五月天视频| 色五月婷婷亚洲| 九九视频这里只有精品| 99热在线精品观看| 大香蕉九九| 婷婷五月天视频小说| 色五月婷婷激情综合网| 天堂AV三级| 99热91| 色5月婷婷| 五月婷成人| 久热这里只有精品性色AV| 婷婷免费精品视频| 五月停停直播| 日韩99色| 激情五月婷婷啪啪| 亚州日本欧州韩美高青高潮一| 激情激情激情网| 久久人妻在线| 九九色综合视频| 婷婷激情五月综合| 亚洲欧美婷婷五月色综合| 色玖玖综合| 日本久热| 亚洲第一成人无码A片| 久久久久久9| 久久久久9| 99色色网| 欧美色综合天天久久综合精品| 国产亚洲精品久久久久久久久动漫| 精品影院| 操逼视频网址| www.99热在线| 欧美熟女99| 婷婷色播色五月五色五月天色妇| 538在线| 插插干干干色| 99国产性感视频| 99热在线只有精品| 99热国内精品| 天天色视频| 亚洲V国产V欧美V久久久久久| 丁香五月激情久久麻豆| 九一九九黄色| 婷婷五月色影视先锋| 超碰在线成人| 亚色网站小视频| 99热这里只是精品| 色屌丝中文字幕| 成人 视频免费观看网站| 丁香六月婷婷久久综合| 欧美性生交XXXXX无码小说| 碰超亚洲| 9久久久| WWW.99热| 天天插天天日天天爽| 五月综合色播播丁香婷婷| 五月综合色| 青青草激情网| 成人AV在线中文版| 久久影视婷婷五月| 五月丁香影院| 五月天色婷婷图片| 五月丁香婷婷中文网| 婷婷深爱五月天| 婷婷色在线| 亚洲人人操| 九九99偷拍视频| 色 五月 天 婷婷 丁香 九月| 丁香色色色| 婷婷丁香六月天| 色五月婷婷激情| 久婷婷色| 欧美操人| 五月婷综合| 中美日韩成人在线| 丁香五月日本| 51国精产品自偷自偷综合| 狠狠干狠狠色| 97人碰人操| 天天综合五月| 狠狠肏综合网| 婷婷五月婷婷| 久久婷婷影院| 婷婷丁香五月天激情四射| 色婷婷先锋| 79精品在线视频| 丁香五月婷婷在线观看| 久久六月综合| 久草 tingting| 激情久久久久| 99精品视频在线| 天堂网啪啪| 被强行糟蹋的女人A片| 天堂网操| 99热这里只有精品26| 激情婷婷五月天日本系列| 亚洲婷婷91丁香| 99啪啪| 激情久久月| 再綫Av免费視品| 婷婷五月激情视频在线| 99精品综合| 超碰在线观看三级片| 天堂网色婷婷| 26uuu淫色| 亚洲av骚货| 五月天色图| 婷婷自拍| 综合久色五月| 亚洲免费av在线| 少妇性按摩无码中文A片| 在线观看免费狠狠色丁香香综合| 五月婷婷六月爱| 91凹凸在线| 国产AV熟妇人震精品一品二区| 操人久久| 色色日韩无码| 久热 91| 久久91久久精品久久| 日本三级日本三级三级人妇四虎| 五月婷久久在线| 99热在线观看精品| 色色网91| 激情综合色五月六月婷婷| 色婷婷88| 日本在线播放97| 91精品久久久久久综合五月天| 午夜大香蕉| 五月天婷婷在线观看| 欧洲色| www.五月天婷婷| 九六五月天婷婷| 综合激情婷婷| 亚洲无码AV片| 色五月丁香婷婷综合| 超碰免费人妻| 色欲色香,www,com| 国产Va视频| 99热亚洲| 色五月开心久久网| 日韩99色| 九九五月天| 91九色PORNY中文啦| 欧美va国产va| 久久激情综合| 99九九热视频免费| 欧美噜一噜| 婷婷丁香五月激情| 婷婷综合色网| 天天橾夜夜爽| 成人综合网站| 亚洲综合久| 婷婷网五月天| 香蕉久日夜| 九九99视频精品| 91婷婷在线| 色色色9 9 9| 欧美日本一区二区三区| 午夜色婷婷| 91尤物九色在线| 久色资源| 日本99在线| Www.se.久久| 内射激情在线| 99热亚洲| 日本一道久久| 播五月开心婷婷欧美综合| 亚洲av另类在线观看| 欧美美女国产日韩一区二区久| 亚洲99综合| 黄色一极大片| 新激情五月天色播| 极品少妇高潮啪啪AV无码| 色色色欧美| 丁香婷婷九月| 中文字幕黄色电影网址| 婷婷激情五月天小说| 无码人妻AV久久久一区二区三区| 久久丝丝热| 精品成人在线观看| 玖玖99精品视频| 丁香婷婷色情社区成人小说| 日韩性爱AV| 激情四射五月天偷偷看婷婷| AV在线免费网站| 六月丁香婷婷综合影院| 色婷婷亚洲在线| 精品人妻伦一二三区久久| 中文字幕在线资源| 99九无网码| 无码一级片| 影音先锋人妻出差| 成人无码髙潮喷水A片| 99操逼视频| www.91在线观看| 99精品视频推荐| www,天天干| 超碰自拍天堂| 99成人小视频| 五月停性愛| 99aese| AA片在线观看视频在线播放| 天天免费成年人视频| 成人av免费观看| 久久草人妻| 五月天婷婷在线播放| 色婷婷久久综合| 五月丁香色婷婷色| 97色视频网| 妻久久人久久| 久久五月天丁香花| 日本五月婷| 在线中文字幕免费视频| 国模淫穴色图| 67久久| 五月丁香无码视频| 操逼五月婷婷| 亚洲另类久久| 国产操B| 米奇影视五月天| 婷婷大香焦| 天天射夜夜骑| 91九九九九九九| 五月丁香婷婷三级| 丁J香六月首页| 天天狠狠干| 婷婷丁香黄色| 99热这里只有精品3| 影音先锋综合网| 五月丁香在线观看| www.久久爱.c n| 五月天激情四射网站| 日本系列_4页_777FP| 97久久草草超级碰碰碰| 日韩免费视频| 婷婷伊人激情婷婷| 日本少妇裸体做爰高潮片| 99re热久久| 婷婷影视久久| 亚洲视频伍月婷婷| 六月激情网| 综合五月丁香六月婷婷| 色99在线观看| 天天日,天天干,天天操| 新久久五月天激情| 精品人妻伦九区久久AAA片| 26uuu激情五月天| 99在线视频观看| 热99AV网站| 国产美女主播vip| 9有码中文| 日韩黄黄| 99热在线观看| 综合性视频99| 丁香99| 天天操天天干天天日| 五月天丁香成人社| 色九区| 色色色精品无码区| 牛色色碰| 色狠狠色噜噜AV天堂五区消防| 97超级碰碰碰| 激情另类综合| 五月婷婷与六月丁香图片激情| 国产暴力强伦轩1区二区小说| 五月丁香六月婷婷在线播放| 91色色色视频| 噜噜色五月| 日韩操人| 色婷婷小说| 日日爱699| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 淫视馆AV在线| 久久欧洲久久| 99干日日干| 97色色色色色| 九色91视频| 久久五月天婷婷| 色五月成人在线| 婷婷五月天丁香成人社区| 免费亚洲婷婷中文字幕| 婷婷五月激情网站| 牛牛热这里只有jingpin| 亭亭五月色男人| 人人操人人操919999| 中文字幕黄色片| 一级A片天天操夜夜操| 大香婷婷| 狠狠色丁香| 五月丁香六月婷婷色| 91主播在线| 久久伊人婷婷| 激情婷婷亚洲五月| 五月婷色丁香| 久久曰曰| 天天日,夜夜爽| 七月激情六月婷婷综合在线播放| 99热婷婷| 99热日| 久久久久久久久久久44| 精品乱码久久久久| 日韩欧美四五区| 日本少妇AA一级特黄大片| 中文字幕av久久爽一区| 五月激情视频网| 日本在线观看91| 婷婷视频网| 亚州视频九九99| 玖玖爱导航| 亚洲无码99| 五月天激情子轮| 青青草轻轻操| 久久婷婷影院| 人人妻久久妻| 色综合色色| 亚洲午夜成人av电影网| 无码色| 激情五月天婷婷免费观看| 国内精品免费一区二区2009| 变态另类9| 欧美丁香六月激情视频| 欧美日韩成人在线免费| 大香蕉九九| 婷婷五月亚洲一本在线丁香| 日本三级中国三级99人妇网站| 丁香六月丁香婷婷激情| 超碰色综合| 这里只有精品99www| 婷婷伊人75| 国产成人片| 综合五月天| 99re久热只有精品6在线直播| 丁香香蕉婷婷| 91Chinese在线| 丁香六月婷婷色XXXXX| 97亚洲色 torrent magnet| 超碰无码老师| 99爱在线精品视频免费观看| 99久久免费精品| 亚洲xx网| 天天色情站| 99熟女啪啪视频| 久久伊人日日夜夜| WWW.久久久久久久| 99燥99日| 中文字幕在线播放视频| 色婷婷六月天在线| 国产一级片| 天天综合色99| 99免费视频| 99热97| 中文字幕丁香五月| 国产免费一区二区三区三州老师F1F1.CC| 亚洲无AV在线中文字幕| 激情婷婷久久| 狠狠草综合网| 色播丁香| 五月丁香久久婷| 99热在线观看| 97精品在线| 久久人妻在线| 99久久精彩视频。| 男人視頻站| 国产古装妇女野外A片| 色婷婷久久| 99热欧| 99热1| 中文字幕在线视频播放| 精品乱码久久久久| 五月丁香啪啪| 97干婷婷五月天| 91精品丝袜久久久久久| 99热官网精品在线| 亚洲V国产V欧美V久久久久久| 激情综合网址| 五月婷婷丁香狠狠撸久久| 五月丁香婷婷无码中文| 日韩精品成人在线| 影音先锋秋秋五月婷婷| 婷婷五月花| 人妻久热| 天天日天天干天天天| 狠狠另类视频| 伊人激情综合网| 国产性爱色| 国产真实乱对白精彩| 色色综合网站| 激情五月天综合婷婷网| 5月婷婷六月丁香| 亚洲综人色综网| 色狠狠综合入口| 久久久全国免费视频| 激情综合色| 五月婷婷影院| 五月丁香六月婷婷激情视频在线观看免费| 天天日夜夜夜操操操操| 日本老女人黄页在线播放| 99色日本| 色爱爱综合网| 国产肥白大熟妇BBBB视频| 日日天天干| 久久五月婷婷丁香| 开心激情播播五月天| 激情婷婷五月黑人| 久久永久网址| 久久婷婷色情7777网站| 久久国产AV| 五月开心播播网| 久久综合激情| 丁香婷婷网| www热久久yy9| 无码人妻一区| 婷婷五月天成人影片| 热99视频精品| 五月天婷婷色色| 婷婷射图| 中文字幕黄色电影网址| 色噜噜狠狠狠狠色综合久欧美| 在线理论片| www.99在线| 久久人妻久久| 五月婷精品| 99色| 久久精品性爱| 亚洲综合丁香五月天| 这里只有免费的精品| 色五月开心五月激情五月| 99热这里只有精品26| 99re热在线视频| 98色花堂98t.R| 亚洲免费在线观看岛国| 97操碰日本女人| 亚洲丁香花五月丁香花| 亚洲乱码日产精品BD| 五月花婷婷| 亚洲色啪| 婷婷成人视频| 丁香五月播播| 超碰成人电影| 97碰碰在线看视频免费| 婷婷色片| 26uuu欧美| www.婷婷五月| 激情小说视频图片| 毛片毛片毛片毛片| 日日激情网| 五月丁香六月合| 久久 这里只有精品1| 天天 日综合| 欧美激情xxxXX| 操国产人妻| 久1色色| 亚洲亚洲激情| 26uuu淫色| 深爱 五月天| 五月婷婷六月丁| 成人深爱丁香五月| 亚洲色婷婷色| 精品久久婷婷五月天| 婷婷色五月婷婷姐妹| 超碰三级秋霞| 婷婷激情五月吧| 天天激情综合| 怡红院99| 婷婷 激情 五月| 婷婷噜噜| 思思色综合网站| 日韩AAA| 亚洲综合婷婷五月| 五月天婷婷黄色| 天天舔天天摸天天透| 婷婷五月丁香综合人妻| 深爱五月婷| 久热免费| 婷婷欧美综合| 99久久婷婷| 色五月五月婷婷| 五月丁香综合| 国产精品久久久爽爽爽麻豆色哟哟| 婷婷五月性感| 激情国产五月| 欧美一线视频| 骚五月婷婷| 国产 亚洲 在线| VA婷婷| 五月丁综合在线观看| 亚洲人妻五月丁香婷婷| 婷婷五月天成人基地| 狠狠色丁香久久婷婷综合五月| 狠狠干五月丁香综合网| 人草人人| 人人射人人高潮| 五月天色不卡| 色色综合激情| 超碰在线人人| 色婷婷狠狠| 久久婷婷五月天| 福利视频在线播放| 爱操天堂| 99久久亚洲国产| 区美毛片子| 五月开心婷婷极品激情| 99在线观看免费精品视频| 五月四色婷婷| 亚洲热久久| 婷婷五月天激情电影| 99热超碰| 国外亚洲成AV人片在线观看 | 免费看欧美成人A片无码| 成熟妇人A片免费看网站| 五月婷婷影视| 色婷婷五月天无码视频| 色九月欧美| 人妻操逼视频。| 婷婷5月开心6月| 五月婷婷丁香狠狠撸久久| AV性爱网| 久9久9热久热| 激情五月婷婷五月| 天天爱天天操| 久久九九热38| www免费在线视频| 伊人丁香五月婷婷潮吹| 看全色黄大色大片| www.久久| 巴基斯坦粉嫰无码视频| 思思热在线播放| 91久久综合亚洲鲁鲁五月天| 91热爆在线| 丁香五月婷婷色综合| 丁香五月婷婷亚洲另类| 色情五月综合婷婷| 五月情四婷婷| 五月天综合影院| 免费亚洲婷婷| 狠狠色综合网站久久久久| 久久久国产精品黄毛片| 久久大香蕉丁香| 操人精品| 丁香五月激情婷婷视频| 丁香亚洲婷婷五月| 激情欧美五月丁香| 久九色| 99久久国产宗和精品1上映| 综合精品啪啪| 综合五月婷婷| 精品九九视频| 99热色精品| 五月丁香啪| 亚洲成人无码专区| www狠狠com| 婷香五月网在线| ss视频xx91| 大香蕉网站,大香蕉综合| 亚洲成av人影院| 色婷婷最新域名| 五月6香色婷婷视频| 99热这里只有精品1998| 欧美色色色色色色| 91操操| 99ri视频在线观看| 婷婷五月激情综合| 丁香五月在线视频黑人| 99色精品| 亚洲精品一区中文字幕乱码| 久热AⅤ| 天天做天天要天天爱| 五月婷婷激情四月| 日本操碰碰| 国产午夜精品一区二区三区四区| 人人爽欧美婷婷久久久五月丁香 | 丁香五月婷婷俺也要去| 五月丁香婷中文|