欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Matlab CNN分類模型實(shí)戰(zhàn):多維特征輸入與二分類/多分類模板

Matlab CNN分類模型實(shí)戰(zhàn):多維特征輸入與二分類/多分類模板 直接上干貨這次咱們用Matlab整點(diǎn)實(shí)用的CNN分類模型支持多維特征輸入二分類和多分類都能玩。先看效果再說原理代碼直接扒下來就能用替換數(shù)據(jù)分分鐘搞定——這話聽著就帶勁因?yàn)橛肕atlab寫CNN的教程是真的少大部分一搜全是Python PyTorch可咱們工業(yè)界、實(shí)驗(yàn)室里大量老系統(tǒng)、儀器采集程序都是基于Matlab的數(shù)據(jù)預(yù)處理、特征提取、畫圖、報表全在一條鏈路上你非要為了一個分類器去搭Python環(huán)境、學(xué)新框架、折騰CUDA那性價比屬實(shí)太低。這篇博文不講故事、不寫情懷就講一套我實(shí)際調(diào)通過的Matlab CNN分類模板它既能吃二維表格特征就是行是樣本、列是特征那種也能吃多維特征比如把多個傳感器/多個時間窗口拼成一個三維塊訓(xùn)練完直接出混淆矩陣、ROC曲線二分類換多分類只需要改一個數(shù)字。下面我要寫的內(nèi)容每一段都是實(shí)操現(xiàn)場記錄代碼我會從頭到尾列出來關(guān)鍵參數(shù)我逐個解釋為什么這么設(shè)還會把我在兩個實(shí)際項(xiàng)目里踩過的坑一并倒出來。1. 這套CNN分類模板的整體設(shè)計思路1.1 它到底解決什么問題先說清楚這套東西的使用場景。假設(shè)你手頭有一個特征矩陣每一行代表一個樣本每一列是某個特征維度可能是傳感器均值、方差、峰值、頻域能量、統(tǒng)計量之類的組合。你之前要么用SVM、隨機(jī)森林做分類要么用BP神經(jīng)網(wǎng)絡(luò)但分類準(zhǔn)確率卡在某個瓶頸上。這時候你想試試CNN是因?yàn)镃NN能通過卷積核自動提取局部特征組合比如它自己會學(xué)到“特征3和特征7的某種相對關(guān)系有判別力”而不需要你手工構(gòu)造交互項(xiàng)。而多維特征輸入是指數(shù)據(jù)本身不只是一張二維表有的場景下每個樣本是“多個通道的序列”比如振動信號分x、y、z三個方向每個方向截取200個點(diǎn)那一個樣本就是3×200的矩陣或者你的原始數(shù)據(jù)是多個傳感器同時采集時間窗口內(nèi)有800個采樣點(diǎn)8個通道那一個樣本就是8×800。CNN天然能吃這種“多通道二維數(shù)據(jù)”只要把數(shù)據(jù)組織成 H×W×C 的形式Matlab的 imageInputLayer 就能直接接收。這套模板的定位就是你只需要把你的數(shù)據(jù)整理成“樣本數(shù)×特征數(shù)”或“樣本數(shù)×高度×寬度×通道數(shù)”然后按我的代碼填進(jìn)去訓(xùn)練、評估、可視化全自動。換句話說我不搞花里胡哨的網(wǎng)絡(luò)結(jié)構(gòu)就是一套短小精悍、能跑通、能出論文圖表、能交付給現(xiàn)場使用的基線模型。1.2 為什么用Matlab而不是Python這個問題我被問過很多次。Python生態(tài)確實(shí)豐富PyTorch寫CNN跟喝水一樣但很多工程師手里的數(shù)據(jù)本身就是Matlab出來的或者需要和Simulink模型聯(lián)動又或者單位電腦不允許隨便裝Python環(huán)境和驅(qū)動。Matlab的Deep Learning Toolbox從R2018b之后已經(jīng)相當(dāng)成熟trainNetwork、trainingOptions、confusionchart這些函數(shù)封裝得非常好你不需要手寫反向傳播不需要手動管理GPU顯存代碼量比PyTorch還短。另外Matlab的調(diào)試體驗(yàn)和數(shù)據(jù)可視化是傳統(tǒng)強(qiáng)項(xiàng)訓(xùn)練過程中你可以實(shí)時看訓(xùn)練精度、損失曲線結(jié)束后一鍵出混淆矩陣熱力圖甚至能導(dǎo)出訓(xùn)練過程動畫。對于非純算法崗的人來說這套工作流友好得離譜。當(dāng)然缺點(diǎn)是部署相對笨重但它自帶的Coder可以生成C代碼也能導(dǎo)出ONNX給其他平臺用這塊后面我會提一下。1.3 模板的整體架構(gòu)這套模板從數(shù)據(jù)到結(jié)果分五步數(shù)據(jù)導(dǎo)入與整理、數(shù)據(jù)歸一化與格式轉(zhuǎn)換、網(wǎng)絡(luò)結(jié)構(gòu)定義、訓(xùn)練參數(shù)配置、評估與可視化。我把每一步都封裝成獨(dú)立小節(jié)方便你按需替換。核心思想是“面向數(shù)據(jù)形狀編程”就是不管你的原始數(shù)據(jù)長什么樣最終都統(tǒng)一變成 [高度×寬度×通道數(shù)×樣本數(shù)] 的四維數(shù)組喂給CNN。如果你只有普通表格特征那就把每行特征重排成 [1×特征數(shù)×1] 的形狀相當(dāng)于一個“單像素寬圖片”照樣能跑卷積。為了讓你快速建立全局觀我先給出代碼調(diào)用總覽后續(xù)每段代碼都會展開解釋。% 主入口示例 data readtable(your_data.csv); % 讀數(shù)據(jù) featMat table2array(data(:, 2:end)); % 特征 labels data.label; % 標(biāo)簽 normMat normalize(featMat, zscore); % 歸一化 % 重排成CNN輸入格式 X reshape(normMat, [1, size(normMat,2), 1, size(normMat,1)]); Y categorical(labels); % 定義網(wǎng)絡(luò) layers [ ... imageInputLayer([1 size(normMat,2) 1]) convolution2dLayer([1 3], 16, Padding, same, Name, conv1) batchNormalizationLayer(Name, bn1) reluLayer(Name, relu1) maxPooling2dLayer([1 2], Stride, [1 2], Name, pool1) fullyConnectedLayer(2, Name, fc1) softmaxLayer(Name, softmax) classificationLayer(Name, output)]; % 訓(xùn)練 options trainingOptions(sgdm, MaxEpochs, 30, MiniBatchSize, 32, Shuffle, every-epoch, ValidationData, ...); net trainNetwork(X, Y, layers, options);看到?jīng)]核心代碼就是這么短。接下來的內(nèi)容就是把每一行的“為什么”講透然后告訴你不同數(shù)據(jù)形態(tài)怎么改。2. 數(shù)據(jù)準(zhǔn)備和格式轉(zhuǎn)換80%的坑都埋在這2.1 從表格數(shù)據(jù)到CNN輸入維度的轉(zhuǎn)換細(xì)節(jié)很多初學(xué)者第一次跑CNN都會卡在“數(shù)據(jù)格式不對”。Matlab的imageInputLayer接收的是 h×w×c×n 的四維數(shù)組h是高度w是寬度c是通道數(shù)n是樣本數(shù)。對于特征向量這種形式最自然的理解方式就是“高為1、寬等于特征數(shù)量、單通道的圖”。關(guān)鍵是reshape時別把行列搞反。假設(shè)你的特征矩陣是 data——它的大小是 m×fm是樣本數(shù)f是特征數(shù)。我們要的是每個樣本按行取出形成一個 [1, f, 1] 的特征圖所以最不容易錯的辦法是先把矩陣轉(zhuǎn)置再reshape% data: m×f, 每一行是一個樣本 X_raw data’; % f×m X reshape(X_raw, [1, f, 1, m]); % 高度1、寬度f、通道1、數(shù)量m這里有人會問為什么不是 [f, 1, 1]你要從CNN的角度想convolution2dLayer的卷積核會沿“寬”方向滑動如果你把特征放成豎向 [f, 1]那1維卷積核 [1,3] 就沒辦法正常滑動雖然技術(shù)上也能跑但參數(shù)含義會變得很擰巴。所以統(tǒng)一用 [1, feature_dim, 1] 是約定俗成的做法。如果你的數(shù)據(jù)本來就是圖像比如灰度圖是 28×28×1×n彩色圖是 28×28×3×n那就完全不用restructure直接喂就行。如果數(shù)據(jù)是“多通道時序信號”比如8通道、每個通道800點(diǎn)那就是 [800, 8] 轉(zhuǎn)成 [1, 800, 8] 或者 [800, 8, 1]這兩種放法對應(yīng)不同的卷積方向理解。我自己習(xí)慣把時間放寬度、通道放通道數(shù)即 [1, 800, 8]因?yàn)檫@樣卷積核每次看到的是一段局部時間內(nèi)的所有通道組合符合傳感器融合的直覺。2.2 歸一化的正確姿勢和常見誤區(qū)CNN對輸入尺度很敏感不是因?yàn)樗鼉?nèi)部有什么玄學(xué)而是因?yàn)榫矸e核的權(quán)重乘以輸入后如果數(shù)值量級差異極大梯度更新就會亂飄訓(xùn)練很難收斂。我見過有人直接把原始數(shù)據(jù)丟進(jìn)去loss在前10個epoch像過山車一樣下不來歸一化之后10個epoch就開始穩(wěn)定下降。在Matlab里normalize函數(shù)有幾種模式zscore和range最常用。zscore是“(x - mean)/std”適用于特征本身近似正態(tài)分布、且沒有極端離群點(diǎn)的場景range是“min-max縮放”適用于特征值本身有界且需要映射到[0,1]的場景。如果數(shù)據(jù)里有大量離群點(diǎn)直接zscore會導(dǎo)致一些小特征被壓縮到幾乎為零這時候建議先做分位數(shù)裁剪再歸一化。% 推薦做法按列zscore歸一化 normMat normalize(featMat, 2, zscore); % 第二個參數(shù)2表示按列操作對Matlab來說就是每一列特征獨(dú)立歸一注意歸一化的均值和標(biāo)準(zhǔn)差必須在訓(xùn)練集上計算然后直接套到驗(yàn)證集和測試集上。如果對整個數(shù)據(jù)集統(tǒng)一歸一化會造成輕微的信息泄漏最后評估指標(biāo)會虛高。這個問題在表格數(shù)據(jù)上不明顯但時間序列和圖像上會放大養(yǎng)成好習(xí)慣很重要。2.3 標(biāo)簽格式categorical是標(biāo)配Matlab分類層的標(biāo)簽要求是categorical類型而不是字符串?dāng)?shù)組或數(shù)值向量。很多人直接用數(shù)值0和1當(dāng)標(biāo)簽然后訓(xùn)練報錯“Invalid training label”。正確做法是Y_raw data.label; % 可能是double或cell字符串 Y categorical(Y_raw);如果你的標(biāo)簽是字符串直接用 categorical 轉(zhuǎn)換。如果標(biāo)簽是數(shù)值0和1也能轉(zhuǎn)但要注意二分類用0/1標(biāo)簽的時候categorical之后類別名稱會變成“0”和“1”分類層會把它們視為兩個類別沒問題。多分類同理轉(zhuǎn)成categorical之后Matlab會自動按字母序或首次出現(xiàn)順序排列類別。如果你對類別順序有要求可以用 reordercats 手動調(diào)整這個影響混淆矩陣的展示順序但不會影響模型本身。3. 網(wǎng)絡(luò)結(jié)構(gòu)是怎么定出來的每一層我都跟你掰扯清楚3.1 從圖像輸入層到特征提取的流程網(wǎng)絡(luò)結(jié)構(gòu)是CNN的核心但我必須先把丑話說在前面——對于表格數(shù)據(jù)和中小規(guī)模數(shù)據(jù)而言網(wǎng)絡(luò)層數(shù)不需要太深。很多人被ImageNet的成功經(jīng)驗(yàn)帶偏了一上來就是十幾層卷積結(jié)果自己的數(shù)據(jù)只有幾千個樣本訓(xùn)練沒幾步就開始嚴(yán)重過擬合trainning accuracy接近100%驗(yàn)證集一塌糊涂。這里的關(guān)鍵是CNN的容量要跟數(shù)據(jù)規(guī)模匹配。我這套模板選的是一個非常穩(wěn)健的基線結(jié)構(gòu)layers [ imageInputLayer([1 featDim 1], Name, input, Normalization, none) convolution2dLayer([1 3], 16, Padding, same, Stride, [1 1], Name, conv1) batchNormalizationLayer(Name, bn1) reluLayer(Name, relu1) maxPooling2dLayer([1 2], Stride, [1 2], Name, pool1) convolution2dLayer([1 3], 32, Padding, same, Name, conv2) batchNormalizationLayer(Name, bn2) reluLayer(Name, relu2) maxPooling2dLayer([1 2], Stride, [1 2], Name, pool2) fullyConnectedLayer(32, Name, fc1) reluLayer(Name, relu_fc) dropoutLayer(0.5, Name, dropout) fullyConnectedLayer(numClasses, Name, fc_final) softmaxLayer(Name, softmax) classificationLayer(Name, output)];imageInputLayer的Normalization參數(shù)我直接設(shè)成‘none’因?yàn)榍懊嫖覀円呀?jīng)手動歸一化過了避免重復(fù)處理。如果你的原始數(shù)據(jù)沒有歸一化可以考慮在這里設(shè)成‘zscore’它會自動學(xué)習(xí)每個通道的均值和方差并內(nèi)置到網(wǎng)絡(luò)里。但我個人的建議是數(shù)據(jù)預(yù)處理應(yīng)該在網(wǎng)絡(luò)外面顯式做這樣你可以把同一套歸一化參數(shù)導(dǎo)出到部署端免得部署時還要從網(wǎng)絡(luò)里扒參數(shù)。3.2 卷積核尺寸和通道數(shù)的選擇邏輯第一個卷積核我設(shè)置成 [1 3]意思是核的高度是1、寬度是3。因?yàn)檩斎胧?[1 featureDim]特征在寬度方向上排列所以卷積核高度為1不會跨行去卷寬度3表示每次看相鄰的3個特征。這相當(dāng)于一個“特征組合器”把相鄰三個特征的信息融合成一個值符合局部感受野的直覺。至于通道數(shù)第一層16、第二層32這個數(shù)值是我反復(fù)測試后覺得性價比最高的配置。16個初始通道足夠提取多種局部特征模式32個第二層通道能讓網(wǎng)絡(luò)在更高語義層做組合。不要第一層就上64、128對于幾千個樣本的表格數(shù)據(jù)來說參數(shù)量增加幾倍但準(zhǔn)確率不會有本質(zhì)提升反而訓(xùn)練更慢、更容易過擬合。如果有經(jīng)驗(yàn)的讀者想調(diào)整可以按這個原則數(shù)據(jù)量越大、輸入特征維度越寬卷積核數(shù)量和層數(shù)可以適當(dāng)增加反之則必須縮減。比如你只有500個樣本、20個特征那我建議去掉第二個卷積塊保留到pool1之后就直接接全連接否則一定會過擬合。3.3 BatchNorm和ReLU為什么綁在一起用BatchNormalization層的核心作用是讓每一層的輸入分布保持穩(wěn)定避免訓(xùn)練過程中由于前面層參數(shù)更新導(dǎo)致后面層輸入劇烈變化。它做兩件事先對每個通道計算均值方差做歸一化再通過可學(xué)習(xí)的縮放和平移參數(shù)恢復(fù)表達(dá)能力。它的好處是不光加速收斂還在一定程度上起到正則化作用減少對dropout的依賴。ReLU就是簡單的max(0,x)它的作用是引入非線性。如果不加激活函數(shù)所有卷積和全連接堆疊起來本質(zhì)上還是一個線性變換CNN的擬合能力就廢了。ReLU在正區(qū)間梯度恒為1不會像sigmoid那樣梯度飽和所以深層網(wǎng)絡(luò)訓(xùn)練更穩(wěn)。在Matlab里BatchNorm必須搭配訓(xùn)練過程使用預(yù)測時會自動用訓(xùn)練階段累積的均值和方差不需要你額外處理。3.4 池化層和Dropout的真正作用maxPooling2dLayer的作用是降采樣把特征圖的寬高減半。它一方面減少計算量另一方面讓后續(xù)的卷積操作能覆蓋更廣的范圍相當(dāng)于粗粒化地保留顯著特征。我這里用的是大小[1 2]步長[1 2]意味著寬度方向每2個元素取1個最大的特征維度直接減半。如果特征維度特別小比如不到16那就不建議池化了直接保留到全連接層會更穩(wěn)。dropoutLayer則是在訓(xùn)練時隨機(jī)丟棄一部分神經(jīng)元讓網(wǎng)絡(luò)不能過分依賴某個特定節(jié)點(diǎn)從而提高泛化能力。0.5的丟棄比例是默認(rèn)的安全值。對于容易過擬合的小數(shù)據(jù)集這個層簡直是救命稻草。我一般把dropout放在第一個全連接層后面而不是最后分類層前這樣能讓最后一層保持完整的特征輸入效果更好。3.5 輸出層與分類層的配置要點(diǎn)末尾的流程是全連接層輸出類別數(shù)→ softmax層 → classificationLayer。fullyConnectedLayer里的第二個參數(shù)就是類別數(shù)。二分類就是2三分類就是3。softmaxLayer把全連接輸出映射成每個類別的概率總和為1。classificationLayer接收概率分布和真實(shí)標(biāo)簽計算交叉熵?fù)p失并執(zhí)行反向傳播。有人會問二分類可不可以用sigmoid加binary cross entropyMatlab的Deep Learning Toolbox里分類層對二分類就是這么處理的但網(wǎng)絡(luò)結(jié)構(gòu)是完全一樣的唯一的區(qū)別是類別數(shù)量設(shè)為2不用特殊處理。放心用就行。4. 訓(xùn)練參數(shù)怎么配這些選項(xiàng)決定你模型是菜鳥還是能打4.1 trainingOptions里每個字段的實(shí)戰(zhàn)解讀訓(xùn)練網(wǎng)絡(luò)用的是trainNetwork(net, layers, options)或者直接trainNetwork(X, Y, layers, options)。options配置決定了訓(xùn)練的質(zhì)量和速度我給出一個工業(yè)級較穩(wěn)的配置options trainingOptions(adam, ... InitialLearnRate, 0.001, ... MaxEpochs, 60, ... MiniBatchSize, 32, ... Shuffle, every-epoch, ... ValidationData, {XVal, YVal}, ... ValidationFrequency, 20, ... LearnRateSchedule, piecewise, ... LearnRateDropFactor, 0.1, ... LearnRateDropPeriod, 20, ... Verbose, true, ... Plots, training-progress, ... ExecutionEnvironment, auto);逐個說字段solver用adam不用sgdm的原因adam自適應(yīng)調(diào)整每個參數(shù)的學(xué)習(xí)率對學(xué)習(xí)率初始值不那么敏感表格數(shù)據(jù)和小批量場景下收斂更穩(wěn)。sgdm調(diào)好了上限更高但需要手調(diào)momentum和學(xué)習(xí)率衰減策略圖省事就adam。InitialLearnRate設(shè)0.001是adam的默認(rèn)安全值。如果你發(fā)現(xiàn)loss降得太慢可以調(diào)大到0.01如果loss震蕩就降到0.0003。MaxEpochs對于小數(shù)據(jù)集30到80輪是個合理區(qū)間。不用設(shè)太多否則后期只是在擬合訓(xùn)練集的噪聲。MiniBatchSize默認(rèn)32。如果GPU顯存不夠就降到16或8。數(shù)據(jù)量很大時用64或128能加速但會影響收斂穩(wěn)定性。Shuffle設(shè)‘every-epoch’每個epoch打亂訓(xùn)練數(shù)據(jù)順序防止模型學(xué)到順序相關(guān)的假規(guī)律。ValidationData從訓(xùn)練集里切出一部分做驗(yàn)證我在后面細(xì)講怎么切。ValidationFrequency每迭代20次驗(yàn)證一次。迭代次數(shù)是“iteration”不是epoch。如果總樣本幾百個、batch32那一個epoch也就十幾二十次迭代所以20這個值大致可以保證每輪或隔輪都驗(yàn)證一次。LearnRateSchedule用piecewise分段式衰減每20個epoch學(xué)習(xí)率乘以0.1。這種方式是經(jīng)典做法前期大步快跑后期小步精調(diào)。Plots設(shè)‘training-progress’可以在訓(xùn)練窗口實(shí)時看到loss和accuracy曲線我強(qiáng)烈建議開著肉眼判斷模型是否正常比看任何日志都直觀。ExecutionEnvironment設(shè)‘a(chǎn)uto’自動選擇GPU或CPU如果沒GPU就CPU跑。4.2 訓(xùn)練集、驗(yàn)證集、測試集怎么切才科學(xué)切數(shù)據(jù)是模型評估里最容易被新手忽略的環(huán)節(jié)。正確流程是先把原始數(shù)據(jù)分成訓(xùn)練集驗(yàn)證集和測試集然后在訓(xùn)練過程中用訓(xùn)練集訓(xùn)練、驗(yàn)證集實(shí)時評估最后用測試集做一次性的最終評估。cv cvpartition(height(data), HoldOut, 0.2); % 20%做測試集 trainIdx training(cv); testIdx test(cv); % 在訓(xùn)練集內(nèi)部再分驗(yàn)證集 valIdx randi([1 sum(trainIdx)], floor(sum(trainIdx)*0.15), 1);我見過太多人犯的錯誤是直接把全部數(shù)據(jù)丟進(jìn)trainNetwork然后用同一批數(shù)據(jù)測試得出一個虛高的準(zhǔn)確率。那個數(shù)字拿到現(xiàn)場一測就打回原形。正確的做法必須像上面這樣留出獨(dú)立測試集而且測試集只在最后用一次不要根據(jù)測試集表現(xiàn)反復(fù)調(diào)參否則測試集就在你心里變成了驗(yàn)證集評估意義會被污染。4.3 數(shù)據(jù)不平衡和二分類閾值怎么處理如果你的二分類數(shù)據(jù)類別比例嚴(yán)重失衡比如正樣本只有5%負(fù)樣本95%CNN很容易陷入“全部預(yù)測為負(fù)類”的局部最優(yōu)。直接改分類層不現(xiàn)實(shí)實(shí)用的方案有幾種第一種用MiniBatchSize控制采樣。在構(gòu)造訓(xùn)練集的時候把正負(fù)樣本分開每個batch里按比例抽取。這個在Matlab里需要自定義minibatchqueue稍微麻煩一點(diǎn)但對不平衡數(shù)據(jù)效果非常顯著。第二種在trainingOptions里設(shè)置‘ClassWeights’參數(shù)給少數(shù)類更大的權(quán)重。這個參數(shù)在Matlab里是trainingOptions(adam, ClassWeights, [1 5])這樣的寫法需要確認(rèn)版本支持。如果版本不支持最簡單的辦法是復(fù)制少數(shù)類樣本或做簡單過采樣。第三種是在最終評估時不要只盯accuracy要看混淆矩陣、召回率和精確率。很多工業(yè)場景下我們寧可犧牲一點(diǎn)負(fù)類的準(zhǔn)確率也要保證正類的召回率這時候可以調(diào)整分類閾值。Matlab分類層的決策閾值默認(rèn)是0.5如果要改變閾值你需要用predict函數(shù)拿到概率輸出再自己設(shè)定閾值。[~, scores] predict(net, XTest); % 二分類scores第二列是正類概率 predLabel scores(:, 2) 0.3; % 降低閾值提高召回5. 訓(xùn)練過程中的實(shí)操觀察記錄和驗(yàn)證曲線分析5.1 正常訓(xùn)練曲線長什么樣當(dāng)你點(diǎn)下運(yùn)行按鈕訓(xùn)練窗口彈出圖表之后前幾個iteration可能loss很高這是正常的因?yàn)榫W(wǎng)絡(luò)是隨機(jī)初始化的。大概10到30個iteration后訓(xùn)練loss會出現(xiàn)斷崖式下降驗(yàn)證準(zhǔn)確率同步上升。這個過程可以粗略理解為網(wǎng)絡(luò)先學(xué)到全局統(tǒng)計規(guī)律再慢慢學(xué)細(xì)節(jié)。以我自己跑過的某制造業(yè)傳感器數(shù)據(jù)集為例初始loss約0.69第10個iteration降到0.45第30個iteration到0.2上下準(zhǔn)確率從50%跳到90%以上后面曲線變緩60輪結(jié)束時訓(xùn)練集準(zhǔn)確率98%、驗(yàn)證集準(zhǔn)確率93%左右。這是典型的好跡象訓(xùn)練集和驗(yàn)證集差距不算太遠(yuǎn)說明沒有嚴(yán)重過擬合。5.2 過擬合信號和應(yīng)對方法如果出現(xiàn)訓(xùn)練準(zhǔn)確率持續(xù)上升到99%但驗(yàn)證準(zhǔn)確率在80%附近來回震蕩這就是過擬合的紅色警報??赡茉蛴袛?shù)據(jù)量太小、網(wǎng)絡(luò)容量過大、訓(xùn)練輪數(shù)過多。應(yīng)對辦法按優(yōu)先級排列增加dropout比例從0.5調(diào)到0.6或0.7。減少網(wǎng)絡(luò)層數(shù)或卷積核數(shù)量。提前終止設(shè)ValidationPatience或者手動把MaxEpochs降到30。做數(shù)據(jù)增強(qiáng)。表格數(shù)據(jù)的增強(qiáng)方式包括加噪聲、縮放擾動、特征dropout時序數(shù)據(jù)可以隨機(jī)裁剪或改變速度。Matlab的augmentedImageDatastore主要面向圖像表格數(shù)據(jù)需要自己用循環(huán)生成。5.3 欠擬合信號和應(yīng)對方法如果訓(xùn)練集和驗(yàn)證集準(zhǔn)確率都很低且loss下降緩慢比如20個epoch后訓(xùn)練準(zhǔn)確率還在70%以下那就是欠擬合或特征表達(dá)能力不足。這時候反向操作增大學(xué)習(xí)率、增加卷積核數(shù)量、增加層數(shù)、或者回到起點(diǎn)看特征工程是否合理。很多時候CNN救不了一個特征本身毫無判別力的數(shù)據(jù)集這點(diǎn)必須清醒認(rèn)識。6. 全套評估代碼混淆矩陣、ROC、分類報告一網(wǎng)打盡訓(xùn)練完成后evaluateClassification函數(shù)在R2022b后非常方便一條命令生成所有指標(biāo)% 在測試集上做最終評估 YPred classify(net, XTest); % 混淆矩陣 cm confusionchart(YTest, YPred); cm.Title 測試集混淆矩陣; % 各類別精確率、召回率、F1 report evaluateClassification(YTest, YPred); % ROC曲線二分類或多分類都支持 rocObj rocmetrics(YTest, scores, classNames); plot(rocObj);這里我想多說一句混淆矩陣比準(zhǔn)確率更能暴露問題。我見過一個二分類模型準(zhǔn)確率97.5%看似很牛但打開混淆矩陣發(fā)現(xiàn)少數(shù)類只被正確檢出了5%因?yàn)樯贁?shù)類只占總樣本2%模型直接無腦預(yù)測多數(shù)類都能拿到98%。如果你只看accuracy就會把一個線都測不出來的殘廢模型當(dāng)成寶貝。所以強(qiáng)烈建議每次訓(xùn)練完把混淆矩陣、F1-score、AUC都看一遍再下結(jié)論。對于多分類你可以用rocmetrics的One-vs-Rest策略畫每個類別的ROC曲線Matlab自動處理了代碼不變。AUC值在0.8以上算可用0.9以上算擬合得相當(dāng)好。7. 從二分類擴(kuò)展到多分類以及場景化適配7.1 二分類變多分類只需要改三行代碼嚴(yán)格來說這套模板從一開始就兼容多分類。二分類轉(zhuǎn)三分類只需要把fullyConnectedLayer的numClasses從2改成3。確保標(biāo)簽是三類categorical。如果類別不平衡ClassWeights改成三個權(quán)重。就這么簡單。CNN分類層天然支持任意數(shù)量的類別不需要像SVM那樣一個一個做OvR一對多拆分。我自己做過一個6分類的故障診斷項(xiàng)目就是拿這套模板直接跑的效果比同行用2層LSTM還穩(wěn)。原因在于故障特征大多是頻率和時域統(tǒng)計特征卷積天然的局部感知能力很適合捕捉它們之間的組合關(guān)系。7.2 如果輸入變成圖像或時序數(shù)據(jù)怎么快速改如果你的數(shù)據(jù)不是表格而是圖像那更好辦。圖片本身已經(jīng)是 h×w×c 的格式你只需要確保imageInputLayer參數(shù)和圖像尺寸一致% 假設(shè)圖像是64×64×3 imageInputLayer([64 64 3])但要注意卷積核尺寸也要改不能再是 [1 3]而應(yīng)該改成 [3 3] 或 [5 5]因?yàn)閳D像是二維的卷積核在兩個方向都要滑動。池化層也要改成 [2 2] 而不是 [1 2]否則你只在寬度方向降采樣高度方向不動特征圖變成細(xì)長條信息利用率差。如果輸入是多通道時序信號那更簡單。每個樣本是一個 通道數(shù)×?xí)r間點(diǎn) 的矩陣比如8通道×800點(diǎn)。有兩種組織方式第一種是 [1, 800, 8] 時間在寬度通道在通道維度第二種是 [800, 8, 1]時間在高度通道在寬度。我推薦第一種因?yàn)槟J(rèn)的特征圖更符合“橫軸為序列、縱軸為通道”的閱讀習(xí)慣而且時間方向上的局部卷積可以更好地捕捉短期模式。8. 我踩過的坑附排查清單和避坑建議8.1 尺寸不匹配Matlab報錯最兇的問題這個錯誤90%是reshape維度算錯了。你reshape的目標(biāo)必須嚴(yán)格等于總元素數(shù)。比如原始特征是 2000×502000個樣本、50個特征你想變成 [1 50 1 2000]那總元素數(shù)是1×50×1×2000100000正好等于2000×50沒問題。但如果你寫反成 [1 2000 1 50]總元素數(shù)也是100000不報錯但語義完全錯了——每個樣本由2000個“偽特征”組成訓(xùn)練出來的模型是垃圾。我的建議是在reshape之后加一行斷言檢查assert(size(X, 4) m, 樣本數(shù)量不匹配); assert(size(X, 2) f, 特征維度不匹配);8.2 內(nèi)存爆炸Out of Memory怎么辦如果你數(shù)據(jù)量很大比如幾萬個樣本、幾千個特征直接把所有數(shù)據(jù)做成四維數(shù)組會吃到大量內(nèi)存。一個[50000 1000]的特征矩陣轉(zhuǎn)成[1 1000 1 50000]是200MB的double數(shù)組再加網(wǎng)絡(luò)訓(xùn)練時的中間變量很容易爆內(nèi)存。解決辦法用single類型存數(shù)據(jù)數(shù)據(jù)量減半X single(X); 圖像輸入層支持single。用 tall 數(shù)組或 datastore 分批讀入trainNetwork本身支持Datastore輸入但代碼復(fù)雜度會上來。減小MiniBatchSize訓(xùn)練內(nèi)存峰值會明顯下降。8.3 驗(yàn)證集loss上升但準(zhǔn)確率也上升這個現(xiàn)象初看很詭異其實(shí)是因?yàn)閘oss和accuracy不是完全單調(diào)負(fù)相關(guān)。loss是交叉熵它反映了預(yù)測概率的置信度如果模型對錯誤的樣本給出稍微高一點(diǎn)的置信度loss會上升但準(zhǔn)確率可能沒變或微升。這個沒關(guān)系只要測試集表現(xiàn)穩(wěn)定就行不用過度擔(dān)心。8.4 CPU訓(xùn)練慢成狗怎么加速M(fèi)atlab的trainNetwork在CPU上也支持但CNN卷積運(yùn)算密集CPU跟GPU差距可能幾十倍。沒有GPU的情況下最有效的加速辦法是減小網(wǎng)絡(luò)規(guī)模減少卷積層數(shù)、減少通道數(shù)、減小特征維度用PCA先降維。如果特征有幾百維我建議先做主成分分析降維到50維左右再喂CNN不僅能加速還能去除冗余噪聲準(zhǔn)確率反而可能提升。8.5 部署時模型怎么給出去訓(xùn)練好的net是一個SeriesNetwork或DAGNetwork對象。現(xiàn)場交付有兩種選擇第一種是直接打包Matlab Runtime讓現(xiàn)場機(jī)器裝個運(yùn)行時就能跑適合內(nèi)部使用。第二種是exportONNXNetwork導(dǎo)出ONNX然后轉(zhuǎn)成其他平臺或語言推理適合跨語言部署。還有第三種如果你只是要在Matlab里做實(shí)時預(yù)測直接用net作為函數(shù)調(diào)用即可延遲極低。9. 一套可直接復(fù)制的完整實(shí)戰(zhàn)模板最后我把上面所有的散裝代碼整合成一個完整的訓(xùn)練腳本把你換數(shù)據(jù)時需要改的位置都用注釋標(biāo)注出來。你可以把它保存成一個main.m直接運(yùn)行%% 1. 數(shù)據(jù)加載與標(biāo)簽準(zhǔn)備 data readtable(your_data.csv); % 改成你自己的數(shù)據(jù) featMat table2array(data(:, 1:end-1)); % 前面列是特征 labels data{:, end}; % 最后一列是標(biāo)簽 % 標(biāo)簽轉(zhuǎn)categorical Y categorical(labels); classNames categories(Y); numClasses numel(classNames); %% 2. 數(shù)據(jù)劃分訓(xùn)練集/驗(yàn)證集/測試集 rng(42); % 固定隨機(jī)種子保證可復(fù)現(xiàn) cv cvpartition(Y, HoldOut, 0.2); trainIdx training(cv); testIdx test(cv); featTrain featMat(trainIdx, :); featTest featMat(testIdx, :); YTrain Y(trainIdx); YTest Y(testIdx); % 從訓(xùn)練集中再分出驗(yàn)證集 valRatio 0.15; numVal floor(sum(trainIdx) * valRatio); valIdx randperm(sum(trainIdx), numVal); featVal featTrain(valIdx, :); YVal YTrain(valIdx); % 剩余訓(xùn)練數(shù)據(jù) featTrainRest featTrain; featTrainRest(valIdx, :) []; YTrainRest YTrain; YTrainRest(valIdx) []; %% 3. 歸一化在訓(xùn)練集上計算參數(shù) mu mean(featTrainRest, 1); sigma std(featTrainRest, 0, 1); sigma(sigma 0) 1; % 避免除零 featTrainNorm (featTrainRest - mu) ./ sigma; featValNorm (featVal - mu) ./ sigma; featTestNorm (featTest - mu) ./ sigma; %% 4. 轉(zhuǎn)換為CNN輸入格式 [1 特征數(shù) 1 樣本數(shù)] XTrain reshape(featTrainNorm, [1, size(featTrainNorm,2), 1, size(featTrainNorm,1)]); XVal reshape(featValNorm, [1, size(featValNorm,2), 1, size(featValNorm,1)]); XTest reshape(featTestNorm, [1, size(featTestNorm,2), 1, size(featTestNorm,1)]); %% 5. 網(wǎng)絡(luò)結(jié)構(gòu)定義可自定義 featDim size(featTrainNorm, 2); layers [ imageInputLayer([1 featDim 1], Name, input) convolution2dLayer([1 3], 16, Padding, same, Name, conv1) batchNormalizationLayer(Name, bn1) reluLayer(Name, relu1) maxPooling2dLayer([1 2], Stride, [1 2], Name, pool1) convolution2dLayer([1 3], 32, Padding, same, Name, conv2) batchNormalizationLayer(Name, bn2) reluLayer(Name, relu2) maxPooling2dLayer([1 2], Stride, [1 2], Name, pool2) fullyConnectedLayer(64, Name, fc1) reluLayer(Name, relu_fc) dropoutLayer(0.5, Name, dropout) fullyConnectedLayer(numClasses, Name, fc_final) softmaxLayer(Name, softmax) classificationLayer(Name, output)]; %% 6. 訓(xùn)練選項(xiàng) options trainingOptions(adam, ... InitialLearnRate, 0.001, ... MaxEpochs, 50, ... MiniBatchSize, 32, ... Shuffle, every-epoch, ... ValidationData, {XVal, YVal}, ... ValidationFrequency, 20, ... LearnRateSchedule, piecewise, ... LearnRateDropFactor, 0.2, ... LearnRateDropPeriod, 15, ... Verbose, true, ... Plots, training-progress, ... ExecutionEnvironment, auto); %% 7. 訓(xùn)練 net trainNetwork(XTrain, YTrainRest, layers, options); %% 8. 評估 YPred classify(net, XTest); cm confusionchart(YTest, YPred); cm.Title 測試集混淆矩陣; [~, scores] predict(net, XTest); if numClasses 2 rocObj rocmetrics(YTest, scores(:, 2), classNames); else rocObj rocmetrics(YTest, scores, classNames); end plot(rocObj);換數(shù)據(jù)的時候只需要動第一步的readtable路徑和最后一列的標(biāo)簽設(shè)置。如果特征維度特別大可以先把featMat做PCA降維再喂進(jìn)來。如果你想把這個網(wǎng)絡(luò)接到實(shí)時數(shù)據(jù)流里做預(yù)測只要把 predict(net, newData) 封裝成函數(shù)就行我可以保證推理速度遠(yuǎn)快于訓(xùn)練速度幾毫秒一個樣本綽綽有余。我個人實(shí)際用下來的體會是這套模板最大的價值不在“先進(jìn)”而在“可預(yù)期”。它結(jié)構(gòu)簡單、參數(shù)常規(guī)、收斂穩(wěn)定你拿到手上之后80%的精力可以花在特征工程和數(shù)據(jù)質(zhì)量問題排查上而不需要去調(diào)網(wǎng)絡(luò)結(jié)構(gòu)。CNN在表格數(shù)據(jù)上的效果雖然沒有深度學(xué)習(xí)神話吹得那么玄乎但在特征維數(shù)中等、樣本量幾千以上的場景里確實(shí)能比隨機(jī)森林和BP網(wǎng)絡(luò)高出幾個點(diǎn)的準(zhǔn)確率尤其是特征之間存在復(fù)雜交互的時候。先跑通這個模板驗(yàn)證CNN在你的數(shù)據(jù)上到底有沒有效果如果有效再考慮深挖更復(fù)雜的結(jié)構(gòu)我覺得這是性價比最高的路線。最后再分享一個小習(xí)慣——訓(xùn)練前把關(guān)鍵中間變量比如mu、sigma、網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練選項(xiàng)用mat文件存一份這樣即使你改了代碼重新訓(xùn)練也能隨時回看上次跑的配置對比實(shí)驗(yàn)的時候省太多事了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天色综网| 天天干天天干天天操| 开心激情婷婷| 日本无va视频| 五月婷精品| 亚洲综合成人网| 亚洲婷婷激情888精品久| 色 噜噜 九月 婷婷| 26uuu| 99这里只有精品在线| 91视频五月丁香| 五月婷婷综合网| 色丁香五月婷婷| 五月天综合缴情网网站0| 激情性爱婷婷| 丁香六月激情综合| 99热九九热| 色狠狠色狠狠| 色99视| 91久草五月天婷婷| 国产美女无遮挡裸体毛片A片| www夜夜操com| 综合六月激情婷婷| 逼逼AV| 婷婷五月天AV在| 伊人综合网站| 俺去也婷婷| 91色色色18| 五月丁香六月婷婷手机无线| 五月色导航| 14色综合婷婷| 9九九久久精品无码专区| 99在线热| 丁香五月91| 夜夜操夜夜姧| 五月激情精品视频| 91精品婷婷国产综合| 五月综合激情网| WWW久久久| 99精品小视频| 久久精品视频在这里有| 99热中文字幕久久| 夜丁香综合| 九九热在线观看6| www91久久| 99丁香五月| 99热精品在线观看| 欧美婷婷| 五月婷婷激情综合| 99精品偷自拍| 久久性爱网| 激情五月天色播| 色色色婷婷五月| 开心五月丁香啪| 激情婷婷综合| 日夜夜天天| 婷婷六月婷婷| 五月婷婷开心六月激情小说| 日本激情综合| 激情婷婷六月天| 五月婷婷开心综合| 五月天婷婷成人| www.99成人视频| 五月丁香婷婷激激激综合网色播| 亚洲无码九九| 六月婷婷五月天| www.五月.com| 99爱视频| 99精品综合| 人妻啪啪啪| 欧美日韩99| www.婷婷五月| 久久五月婷| 丁香花色色网| 国产亚洲精品久久久久久郑州| 久久丁香五月婷婷| 激情文学综合婷婷五月天丁香花| 色婷婷精| 97人人搞| 激情五月婷婷欧美极品| 色5月婷婷| 开心五月丁香啪| 婷婷五月六月激情| 天天色天天日天天舔| 天天爽天天摸| 十一月婷婷激情四射| 99狠狠操一| 影音先锋777xfplay色资源网站| 综合五月天完整| www五月天com| 激情五月天丁香| 可以免费观看的AV| 久久久一级AAA| 色婷婷91激情小说| 国产韩日亚洲美州欧亚综合在线| 丁香五月天激情综合网| 色偷偷色婷婷| 激情五月婷婷| 欧美天天搞| www98日本小时间到了| 99精品久久| 色99视| 99色1| 六月份天丁香婷婷| 激情丁香婷婷| 亚洲av综合网| 能看的AV网站| 4399在线日本A片| 久久五月天婷婷| 婷婷丁香五月综合网| 碰人人97| 六月丁香综合| 天堂AV在线看| 婷婷五月色天| 9热在线视频| 狠狠人妻色综合| 无码网| 丁香五月天啪啪激情综和网| 国产午夜一区二区三区| 色停停影院五月天| 婷婷五月天国产手机在线视频观看| 丁香五月婷婷俺也要去| 九九Av| 日本44久久在线| 日本色99| 免费不卡狠操美女视频网| 婷婷五月天影院| 亚洲人妻AV| 91亚洲免费片| 丁香婷婷色五月天| 成人综合视频网址| 亚洲色就是色色色| 九九干视频| 色婷婷视频| 91在线看片| 久久丝丝热| 天天综合影院| 五月丁香六月激情| 少妇日麻屄| 五月亭亭直播| 亚洲乱码日产精品BD| 中文字幕综合色| 天天插天天插天天操| 五月天激情www| 丁香五月人妻| 91色婷婷综合久久中文字幕二区| 人人干人人看| 婷婷综合玖玖五月| 亚洲色vA| 国产成人片| 五月天婷婷香蕉狠狠超碰综合| 婷婷五月丁香伊人网| 伊人久久婷婷| 激情综合国产| 91大神操美女| 国产综合色婷婷精品久久| 深爱激情网噜噜色| 六月婷婷毛片| 91小黄书网址在线观看| 国产精品第一国产精品| 欧美99热| 天天日天天爽| 激情婷婷五六月天| 精品一二三区久久AAA片| 婷婷色啪| 超碰激情网| 狠狠99| 久久五月天婷婷| 国产精品久久久久久亚洲毛片| 色综合综合色| 四色五月婷婷| 99re这里只有精品9| 九月婷婷激情| 久9热| 丁香激情五月天| 99精品综合在线| 婷婷丁香五月天哟啪| 五月激情六月婷婷| 亚洲综合成人网站| 丁香 久久| 操日本三片99| 成人va视频| 免费观看高清无码| 99这里只有精品| 97在线日本| 五月天婷婷人妻| 色吧99| 亚洲激情精品| 九九99男女视频在线观看| 怡红院一二三| 丁香六月激情四射| 激情五月婷婷综合| 久久婷婷丁香六月天| 国产成人AV不卡| 色久五月| 秋霞丝袜啪啪啪| 第五色婷婷| 99资源人人| 一丁香五月天月AV| 久久激情五月婷婷| 丁香五月天视频| 婷婷六月天精品| 九月婷婷在线视频| 色综合九九| 天天噜天天爱| 久草 tingting| 综合五月丁香六月婷婷| 99爱99操| 五月综合色| 五月花婷婷最新| 五月综合激情啪啪啪啪啪| 婷婷激情五月天小说校园| 欧美色激情四射| 天天操天天操天天操天天操天天操天天操| 五月丁香色婷婷色| 婷婷五月成人| 色狠狠综合| 婷婷人妻激情| 99亚洲天堂| 婷婷五月天熟妇| 日本三级第一页| 婷婷五月天色播| 男人的天堂五月丁香| 狠狠丁香| anquye五月| 丁香六月青青草| 91色综合| 日日爱激情| 97久人人| 99热8在线| 97色天堂| 婷婷五月丁香久久| 色九区| 97精品人人A片免费看| 国产一二三四五六七八视频| 亚洲午夜AV| 丁香五月五月婷婷欧美大香蕉| 深爱激情丁香| 五月深爱婷婷| 婷婷射图| 97色碰碰公开视频| 日本色色网| 狠狠色噜噜色狠狠狠综合久久成人波 | 六月激情网| 五月色影院| 91操操| 黄色av高清| 丁香五月激情啪啪| 五月久久婷婷成人网| 亚洲一个色| 丁香五月激情综合久久| 欧美美女视频| 九九热超碰| 欧美久久婷婷| 婷婷五日b| 亚州综合色| 亚洲无AV在线中文字幕| 91日韩在线| 天天婷婷色六月| 激情五月婷婷免费视频| 香蕉狠狠爱视频| 天天日色情| 九九色婷婷| 综合五月婷婷| 婷婷五月天另类网站| 亚洲啪啪视频| 中文字幕AV网址| 一起草AV入口| 成人做爰高潮A片免费视频| 亚洲视频操| 热久久国产视频| 99婷婷| 加勒比日本一区二区三区| 天天插天天干| 久9热在线视频| 思思 热 99| 婷婷五六日| 亚洲99在线| 岛囯综合激情网| 全部老头和老太XXXXX| 婷婷激情六月视频| 久热免费| 亚洲色婷婷五月天| 久久精彩视频| 日亚二欧美| 日日肏夜夜干| 婷婷五月深深爱| 五月天婷婷在线观看精品男人| 色五月成人| 一二区成人电影| 婷婷五月丁香人妻无码高清| 99精品丰满| 国产做爰视频免费播放| 久久人妻超碰一区| 综合色七七| 国产AV一区二区三区最新精品| 强伦轩人妻一区二区电影| 日本在线99| 99精品在线观看视频| 亚洲色无码| 人人人操97| 五月婷丁香久久久| 天天操,夜夜骑| 五月丁香婷婷婷婷综合网| 婷丁五月| 99热这里有精品24| 五月天六月婷婷电影| 色五月婷婷大| 五月天久久丁香| 噜噜噜精品欧美成人在线观看| 综合五月亭亭9| 中文字幕日韩无码制服诱或| 色五月婷婷五月丁香五月| 九月婷婷丁香| 丁香六月在线| 亚洲AV网址| 九九激情综合| 久久久久久久人妻| 99久久超级| 激情五月天.色网| 99久久97| 99亚洲精美视频在线观看| 99热在线看片| 伊人久久婷婷| 色色色精品无码区| 丁香六月婷婷综合在线| 五月天激情小说| 六月婷婷色综合| 99热这里是精品| 国产成人精品一区二三区熟女在线 | 五月花在线观看视频| 丁香五月天啪啪| 大香蕉久久婷婷精品综合| 综合久久综合久久| 亚洲精品久久久无码| 久久婷婷青青草| 卡视频1区2区| 成人五月天婷婷| 情情五月天色| 五月精品| 亚州美女| 色色色区| 五月丁香婷婷激情| 天天做天天爽| 五月婷婷深深爱| 婷婷九九色| 亚洲无码www| 日韩无码专区| 丁香六月婷婷综合在线| 丁香婷婷五月综合色情| 99精品丁香五月| 九九九九九九综合| 六月伊人婷婷| 久热黄色| 婷婷五月天av小说| 99亚色色色| 国产在线另类五月婷婷| 色停停香蕉视频| 欧美日韩99| 黄色av高清| 國語久久婷| 2020夜夜操天天爽| 丁香五月91| 成人亚洲精品久久久久| 婷婷五月天激情综合| 97深爱伊人综合| 欧美精品18| 丁香色色网| 操b视频在线观看一区二区| 婷婷丁香五月天影院| 色欲操| 橾逼网| 色婷五月天| 亚洲人人操| 色国产五月| 婷婷少妇激情| av一区免费看| 欧美婷婷五月激情| 色久天| 99视频在线观看视频| 《诡秘之主》在线观看| 六月丁香停| 99热精品在线播放观看| 丁香六月久久| 涩五月丝袜婷婷| 久久99热这里只有精品23| 日本九婷婷| 大香蕉久久青青| 淫视馆aV二区一区| 亚洲色图五月丁香| 色五月综合97| 婷婷五月天偷拍| 色播播五月天| 亚洲中文字幕AV| 丁香色婷婷五月天| 久热久69| 日日射天天射| 国外亚洲成AV人片在线观看| 黄色大片又大粗又爽| 日日操天天操| 狠狠色网| 99热在线只有精品| www.九月婷婷丁香.com| 五月婷婷开心六月激情小说| 99久久极情精品一区| www.99精品视频| 婷婷五月天手机版视频| 日韩精品无码一区二区| 色一情一乱一乱一区91Av| 五月天成人在线播放| 秋霞少妇AV网站| 日日夜夜狠狠婷婷色| 操操天堂| 99熟女| 欧美色99| 日本在线99| 五月天婷婷涩涩| 天天天摸夜夜夜玩| 天天肏视奸| 丁香五月综合亚洲| 97色一二三| 五月丁香激情在线| 97亚洲精品| 五月丁香花开综合网| 成人草榴视频| 开心激情网在线| 97伦色婷婷| 五月丁花六月丁香综合| 五月丁香六月婷婷久久| 精品女人九九九| 五月天操逼网| 色五月婷婷丁香五月| 无码啪啪| 久久久久婷婷| 国产亚洲精品人人| 亚洲V国产V欧美V久久久久久| 精品色情一区二区三区四区| 中文字幕人妻熟女在线| 99亚洲大片精品永久在线观看| 天天射网站| 99久久综合精品五月天| 丁香婷婷五月天成人| 五月婷婷在线观看| 国产视频福利| 亚洲色视频| 丁香五月在线伊人| 碰碰碰97国产| 精品久久人妻| 一级片sese片.COM| 午夜69成人做爰视频| 亚洲综合婷婷五月| 97色综合| www99在线观看视频| 色婷婷狠狠18禁| 九九AV| 99色色网站| 内射干少妇亚洲69XXX| 五月婷婷五月天亚洲无码| 极品少妇婷婷五月| 丁香五月性| 开心四月婷婷在线色播播| 婷婷色情 | 色色色9| 97干综合网| 婷婷激情四射| 六月天丁婷婷| 人人操AV| 九九综合九色欧美狠狠| 久久色天堂| 亚洲激情丁香五月天色| 五月丁香婷婷色播无码| 六月婷婷视频| 狠狠狠狠狠干| 成人丁香五月天| 五月丁香综合激情网| 99热在线观看免费精品| 人人舔人人| 九九99免费视频| 无码免费人妻A片AAA毛片西瓜| 五月婷婷啪啪啪啪| 丁香五月婷婷久久综合激情网| 内射干少妇亚洲69XXX| 亚洲最大视频| 嫩草综合网| 97艹| 亚洲A片成人无码久久精品青桔| 丁香五月激情五月开心五月| 狠狠色婷婷在线| 久久婷婷艹| 99综合视频一体| 色色五月婷婷丁香| 色色色视频免费无码| 国产中文字幕在线视频免费观看| 99热99色| 91久久综合亚洲鲁鲁五月天| 人妻精品久久久久久久| 婷婷色网| 涩涩婷婷五月| 男女av免费看| 北京熟妇搡BBBB搡BBBB| 欧美日本另类| 五月丁香婷中文字幕| av在线免费播放| 丁香五月天91| 国产做爰视频免费播放| 色色色无码| 亚洲国产精品VA在线看黑人| 五月天欧美激情| 九热...av| 男人的天堂在线婷婷| 丁香五月久久| 五月激情啪啪啪| 天天干天天色综合| 五月天婷婷色播在线网| 伊人婷婷青青cao| 日韩淑女人妻luan伦激情精品一区二 | 六月色丁香中文字幕| 超碰在线观看成人视| 精品人妻伦九区久久AAA片| 久久九九国产精品怡红院| 国产99精品免费视频| 99国产精品久久久久久久久久久| 亚洲人妻Av| 密乳视频| 色色成人網| 色五月五月婷婷| 亚洲激情四射色| 色优久久| www久久99| 成人在线视频一区| 狠狠色激情在线| AV九九| 中文字幕婷婷在线| 超碰在线观看caop| 五月婷婷影视| 99熟女| 99狠狠| www.五月.com| 5月婷婷激情网| 96色婷婷| www.99免费视频| 九九爱激情| 亚洲在线免费成人| www久久久久久久久久久| 大香蕉人妻| 六月丁丁香| 综合激情视频| 天天天干夜夜夜操| 日本99热| 成人做爰A片免费看视频| 激情久久肏屄视频| 99这里有精品视频| 91精品久久久久久久| 97人人搞| 91九色精品女同系列| 999激情视频| 久久婷婷网| 五月丁香六月婷| 国产干逼片| 日本久久久97| 久久婷婷五月丁香蜜桃网| 狠狠综合网| 天天天天操| 久久色情| 婷婷五月天成人| 99ER热精品视频| 欧美内射AAAAAAXXXXX| 日本少妇裸体做爰高潮片| 日本熟妇乱妇熟色A片蜜桃| 国产精品美女久久久久AV超清| http://www.sd-xiangsu.com/| 婷婷五月天在线综合| 日日插日日干| www.五月丁香| AV人人操| 亚洲精品国产A久久久久久| 少妇大叫太大太粗太爽了A片| 天天射影院| 色135综合网| 天堂va久久久噜噜噜久久Va| 婷婷丁香成人五月天| 五月婷婷偷拍| 99热99热在线观看| 五月色网| 亚洲丁香五月天在线视频| 操逼123网| 激情小说 五月天| 欧洲亚洲免费视频9| 夜夜撸天天日| 这里只有精品视频免费在线观看| 永久免费视频| 99热网站| 丁香五月色欲| 大伊香蕉玖玖爱| 五月丁香色综合| 中文成人在线| 日本黄色精品| 五月天另类小说亚洲| 五月丁香婷婷婷婷综合网| 亚州色色色| 九九色色| 中文字幕在线免费看线人| 日本九九热| 五月天激情国产综合婷婷| 婷婷久久综合久| 亚洲日韩一页精品发布| 丁香五月网| 日韩欧美一区二区三区四区| 五月丁香综合伦理片| 色欧洲| 99热这里都是精品| 日本久久色| www99精品| 五月婷色啪| 青青草tp| 亚洲成人AV一区在线观看| 丁香五月婷婷色| 亚洲AV成人无码久久精品老人法拉利| 99热综合| 9久久AV| 五月丁香网站在线播放| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 人人搡人人| 亚洲激情电影五月天色婷婷丁香一起草| 在线可以看的av网址| 操一区| 五月婷婷激情啪啪| 99色最新在线视频| 情色婷婷五月天| 色色99| 91丁香五月| 色综色五月天婷婷| www.91色| www.9797国产| 五月天婷婷无码视频| 日本五月婷婷| 人人操女人| Av狠狠色丁香婷| 我去色色网五雨天| 亚洲最大视频网站| 综合五月天天天天天五月| 久久婷婷综合网| 久久久婷婷色五月资源网| 久久综合九九| 婷婷久久五月天| 香蕉久久五月| 思思99热这里只有精品6| 日本久久高清| 日韩成人综合网| 亚洲视频操| 五月婷婷性爱网| 91视屏在线观看com.wwwvv| 9l视频自拍9l九色9l成人| 99五丁香月| 人人干Av| 内射人妻视频国内| 国产噜一噜天天噜| 激情五月五月婷婷| 九九精品视频免费在线| 另类激情五月| 五月丁香六月激情综合| 色婷视频| 日本网站久久| 日本社区五月天激情| 久久五月婷综合| 亚洲第一综合| 玖玖爱综合网| 九九亚洲综合| 91超级碰| 婷婷的99视频网站| 97久久超碰| 日本99久久| www.夜夜騎夜夜狠| 婷婷五月花.97| 色宗合久久五月婷婷| 殴美激情综合网| 亚洲人妻Av| 激情综合网五月| 久久婷婷人人| 久热免费| 婷色五月| 亚洲最大成人综合网720P| 日韩无码一区二区三区四区| 精品久久久91久久影视网| 激情五月丁香六月婷婷| se婷97| 五月天激情小说| 国产91视频| 综合激情站| 五月婷婷就去色| 亚洲成人网址在线观看| 婷婷五月天激情在线| 91精产一区三区免费观看| 婷婷色九月| 一级性感黄色内射视频| 久久综合五月天| 四色AVwww| 无码一级片| 丁香五月影院| 色婷婷五月综合网| 九九中文字幕九| 伊人激情影院| 成人超碰Av| 伊人色五月| 综合色播| www,色色色网站| 亚洲性爱AV| 日韩 中文 欧美| 狠狠88综合久久久久噜噜噜| 色婷婷亚洲综合网站| 亚洲热视频在线| 操一区| 久久这里只有精品视频15| 成人丁香五月| 天天射夜夜爽| 伊人久久大香天蕉亚洲特级| www狠狠| 久色网五月| 亚州操操| 中文字幕人成乱码在线观看| 欧洲色| 国内裸舞二区| 五月六月激情| 亚洲天堂久久| 超碰97色| 色香欲综合| 婷婷六月久久| 激情视频网址| 五月丁香六月婷婷的女人| 久久婷婷综| 色综合射婷婷| 五月婷婷六月丁香综合视频在线| 五月丁香婷婷老司机| 色五月激情| 色色性爱视频| 森林影视大全,最好看的2019年视频 | www.五月婷婷久久.com| 五月丁香啪啪啪啪| 伊人五月天久久| 草草视频91| 精品久色| 丁香5月婷婷| 九九热re99re6在线精品| 久久婷综| 亚洲综合激情五月久久| 五月综合无码| 五月开心婷婷| 思思99热在线| 日韩性视频| 色域五月丁香| 夜夜嗨一区二区三区直播内容| 久久久久9999| 深爱五月网| WWW.开心五月天.COM| 九九九这里只有精品| 婷婷五月天大香蕉在线视频观看| 九九热视频在线观看| 99热偷拍| 国产.亚洲.欧洲视频在线| 婷婷五月天六月综合| 免费成人va| 97干97色| 狠狠久久婷婷| 精品亚洲国产成AV人片传媒| 五月婷婷久久大香蕉| 天天色天天爱天天舔| 99在线免费视频| 国产精品VIDEOSSEX久久发布| 婷婷欧美激情综合| 亚洲VA口| 婷婷六月色开| 99re思思热久久| 日日色五月天| 思思热思在线精品视频| 色激情综合狠狠婷婷| 亚洲成人无码网站| 先锋资源婷婷| 91丁香五月| 91热网址| 激情丁香五月| 操日本三片99| 99狠狠色| 蜜臀99久久精品久久久久| 日本人妻久久| 天天综合久久| 黄色片精品| 蜜乳人妻一区二区三区| 黄色一级影片| 操逼毛片国语对白| 97超级操操| 超碰人人91| 翔田千里 50岁 无码| 久久久婷婷婷| 色五月天丁香| 可以看的av网站| 色婷婷综合网| 色色色色色爱| 精品人妻一区二区三区四区不卡在| 五月婷婷激情久久| 欧美日比视频| 婷婷激情视频| 色五月丁香五月| 少妇大叫太大太粗太爽了A片 | 综合日本婷婷| 伊人色五月| 久久久久久久久久久久久久久久久精典| 久久久久久久11111111111| 天天干在线播放| 久久久久久18| 中文av在线观看| 六月婷欧美| 婷婷五月小说色综合| 婷婷五月天成人动漫 | 五月丁香激情综合网官网| 特级片神马电影| 草五月| 另类激情综合| 狠狠干在线| 97caop| 97在线/日本| 久操干| 狠狠草天天草| 99久久大片| 丁香五月天在线观看| 成人婷99最新| 裸体做A爰片毛片A片免费| 蜜臀av 粉嫩av 懂色av | 婷婷色网| 性爱网五月婷婷| 丁香五月电影院在线观看| 久9无码视频| 色婷婷在线视频久| 欧美丁香婷婷五月| 国产激情在线| 激情网五月天| 香蕉伊人综合| 天天舔夜夜操www com| 很很干在线视频| 99久在线精品99re5热视频| 亚洲精品99| 亚洲成人av在线观看| www.9797国产| 26uuu亚洲色| 91激情五月开心| 九色91视频| 婷婷成人基地| 色五月天丁香婷婷| 99精品视频在线| 色导航色婷婷五月天在线观看| 欧美激情综合| 久久爱综合| 可以免费看av网站| 狠狠狠夜夜夜| 99热在线播放| www.yw色| 欧美搡BBBBB摔BBBBB| 99亚洲精品综合在线| 五月天综合在线| 激情五月狠狠| AV性爱在线| 欧美,日韩成人在线| 五月开心婷婷极品激情| 六月丁香VA| 婷婷五月天丁香社区| 亚洲网综合在线| 激情四射五月天| 久久久久久人妻久久久久久久久久人妻久久久 | 婷婷六月久久综合导航| 青青999| 亚洲成人网站在线观看| 五月天激情无码专区| 五月天婷婷久久| 91嫩草久久| 亚洲激情淫网| 久热婷婷| 在线99精品| 一区二区三区四区无码| 色婷久久| …亚洲黄色在线播放日韩、av中文a…| 婷婷五月免费在线| 色婷视频| 色99婷婷五月天| 亚洲成人乱码av网站| 综合色播| 在线不卡视频| 99热久| 久草婷妨| 一区二区三区四区无码| 69精品人人人人| 激情五月婷| 欧洲色| 九月大香蕉| 婷婷五月天六月| 久久久97| 99无码视频| 五月天丁香综合| 激情五月天小说网| 99久在线观看| 五月婷婷激情综合av| 国内久久婷婷| 色噜噜狠狠色综合日日免费| 天天综合精品| 精品思思久久| 婷婷色五月天在线| 色色婷婷丁香五月天| 五月天激情小说欧美激情| 婷婷在线日韩综合| 丁香网五月网| 婷婷五月综合在线| 熟女婷婷网站一婷婷五月一丁香婷婷一婷婷激情网 | 色婷婷伊人激情在线观看| 一个色的综合| 夜夜操加勒比| 天天日,夜夜爽| 天天综合精品| 激情婷婷综合| 成人亚洲精品久久久久| 26uuuavcom| 色色99| 9热精品| 五月激情婷婷综合| 99日本黄站| 天天色99| 五月婷婷人人人操| 亚洲中文字幕AV| 在线观看中文字幕| 91热在线| 欧美性爱五月天| 亚洲五月六丁香激情| 无码免费人妻A片AAA毛片西瓜| 这里只有精品亚洲| 九九色精品| 色婷婷色情| 日本97在线观看| www.夜夜騎夜夜狠| 996re热精品视频| 免费亚洲婷婷| 深夜男女福利刺激影院一区完整| 欧美婷婷五月无砖| 九月激情婷婷丁香| 五月婷综合| 亚洲色图五月丁香| 六月丁香五月婷婷| www久| 色婷婷五月天| 天天夜天天色天天| 五月间天堂综合| 亚洲婷婷五月天| 色综合久| 欧美大片免费观看| 色亚洲激情| 日韩操女| 婷婷91| 亭亭五月天黑人2014| 色婷婷亚洲在线观看| 精品无吗va视频免费观看| 五月天综合久久| 免费做A爰片77777| 色亚洲欧洲| 综合激情专区| 天天干天天拍| 狠狠干思思热| 99热播放| 日本操天堂| 亚洲色婷婷视频| 99啪啪网| 人妻丰满精品一区二区A片| 五月天激情无码| 99亚洲精美视频在线观看| 婷婷丁香熟妇综合网| 丁香成人色情五月天| 综合久久9| 天天干天天操天天拍| 亚洲性爱日韩无码| 五月综合丁香婷婷| 在线播放人妻| 久久视频这里99| BT综合在线视频观看| 国产AV熟妇人震精品一品二区 | 亚洲精品又粗又大又爽A片| 六月丁香综合网| 婷婷色啪| 丁香五月婷婷国产av| 五月天激情图片| 99热成人精品| 国产avapp 网| 黄色录像网点| 色五月激情婷婷| 亚洲夜夜操| 久久婷婷色色| 婷婷五月丁香第四色超碰在线 | 婷婷色六月| 激情五月激情综合俺也去婷婷小说| 丁香九月婷婷| 99爱视频| 激情五月视频| 伊人久久大香蕉网| 中文字幕 码精品视频网站| 色五月婷婷色五月婷婷色五月婷婷| 激情六月丁香综合| www.色九月| 激情性爱五月天网页| 五月丁香五月婷婷| 丁香婷婷六月天| 欧美97色| 五月婷婷狠狠久久| 99视频在线精品| 综合色色婷婷| 久久久五月四色| 色亚洲视频| 四虎成人精品永久免费AV九九| 疯狂做受XXXX高潮A片| 丁香六月啪啪啪| 亚洲综合激情五月| 久久视频婷婷视频| 九色 在线| 九九热99久久99| 九九热123| 八戒青柠影视剧在线观看| 大香蕉综合在线| 精品一二三区视频立| 综合激情婷婷| 日本在线视频播放91| 激情婷婷综合网| 97干在线视频精品店| 亚洲99热| 夜夜大香蕉婷婷丁香| 久久九九热视频| 性生活久久朋友人妻| 五月天开心婷婷久久| 亚洲旡码| 在线中文亚洲| 日韩肏屄网| 丁香综合久久| 日韩无码亚欧无码| 99国产精品久久久久久久久久久| 久久天天| 天天噜噜| 久/久精品99看9| 婷婷丁香亚洲五月天| 久操人妻| 五月丁香六月婷综合成人综合| 欧美日韩成人在线观看| 久一网站| 激情婷婷丁香五月| 日日干天天| 丁香五月激情综合| 成人在线视频网| 婷婷性爱| 五月丁香婷婷视频| 五月丁香综合激情| 天天爱天天做天天| 五月综合激情网| 欧美激情VA永久在线播放| 国产日比| AV堂狠狠干| 欧美va亚洲va| 亚洲色色在线| 热99视频精品| 五月综合亚洲色| 99热这里只有精品国产免费| wwW天天干| 开心四月婷婷在线色播播| 婷婷 激情 五月| 99这里是99在线视频| 久热这里只有精品在线观看| 秋霞三级影视资源| 深爱开心五月天| 色操b| 九九一综合精品| 五月草影视| 激情五月综合婷婷| 99热综合在线| 婷婷金品综合视频| 亚洲精品视频在线播放| 99热这里只有精品首页| 色色热| 日韩在线看AV| 丁香六月激情国产| 婷婷色色色| 色五月婷婷91| 丁香婷婷大香蕉| 欧美激情xxxXX| 色婷婷五月天天天干天天操天天爽| 99在线免费视| 婷婷五月六月丁香综合| 天天爱天天做天天操| 五月婷婷激情| 高清无码网址| 欧美A A A A A| 丁香五月伊人| 久操激情| 无码网| 人草人人| 激情久久五月天| se99视频| 丁香五月天堂婷婷| 日韩黄色电影| 色丁香五月婷婷婷| 成人综合伍月天| 婷婷激情小说| 免费视频99| 婷婷丁香综合网| 九九色之九九色之88| www.婷婷网| 色丁香影院| 久久综合首页| 97色干| 欧美123区免| 婷婷色色网| 99热只有这里才是精品| 久久99免费视频| 香蕉综合在线| 欧美顶级少妇做爰HD| 91热手机在线| 久久五月天综合视频网站| 五月激情六月综合| 91色五月在线观看| 综合色色网| 男女久久婷婷五月天| 色综合天堂| 亚洲成av人影院| 热99.com婷婷| 色八月婷婷| 思思热在线播放| 日韩一级片| av线电影| 99久久思思| 五月丁香六月婷婷在线| 色综合五月天| 涩五月丝袜婷婷| 99热99热在线观看| 97热在线精品| 狠狠干狠狠干| 啪啪操操| 中文网av| 99热免费| 日韩精品一区二区亚洲AV观看| 天天操天天操| 狠狠色五月天| 国产一二区爆乳_1国产日韩一区二区三-成人AV| 天天操天天曰天天射| 色 五月婷婷基地| 五月天婷婷在线AN| 亚洲4区国产欧美| 美女天天艹人人爽| www.婷婷,com| 婷婷五月综合基地| 另类小说五月天综合| 婷婷丁香五月麻豆| 一区二区传媒视频| 2014天天爽| 成人网站免费在线播放| AV网在线观看| 99精品网站| 色婷久久| 97AV在线视频| 激情五月www| 全部老头和老太XXXXX| 99热这里是精品| 色女人久久| 夜夜爱爱亚洲| 五月天婷婷黄色| 丁香六月啪| 色九九综合热99| 五月激激激情综合网| 亚洲精品国产A久久久久久| 91欧美| 久久久91| 十二区无码| 亚洲色欲AAAAAA| 天天射影院| 丁香婷婷五月激情综合| www久久久| 婷色五月天| 激情五月天小说| 五月婷婷婷色| 成人狠狠成人狠狠成人狠狠成人狠狠| 狠狠色成人影片| 五月婷婷综合网| 亚洲五月婷| 停停六月 综合| 玖玖资源站蜜臀| 伊人在线另类| 激情5月天天天| 五月天婷久久| 丁香婷婷伊人| 99综合| 包操45分钟网站| 99热在线播放| 五月丁香色婷婷伊人| 思思热在线视频精品| 天天想夜夜爽天天爽| 夜夜骑夜夜撸| AV色婷婷| 九九色色网| www.99在线| 亚洲综合99| 另类色视频| 777精品久无码人妻蜜桃| 99ri国产在线| 91超碰人人操| 丁香五月亚洲激情婷婷射| 99网| 国内婷婷丁香社区在线播放| 国产精品人成A片一区二区| 婷婷丁香人妻| 99操逼| 6080av| 人妻在线观看视频| 国产精品VA在线| 9有码中文| 亚洲综合激情五月久久| 欧美色色日韩| 久99久精品| 免费AAAAA网| 免费无码毛片一区二区A片 | 五月婷婷啪啪网| 热久久这里只有精品| 91久久综合| 九九热只有精品| VA婷婷| 强辱丰满人妻HD中文字幕| 成人操呦av| 亚洲亚洲人成综合网络| 色色免费网战视频| 伊人9在线| 亚洲最大视频| 伊人在线婷婷草| 激情婷婷五月在线合集| 激情五月天激情综合网| 色婷成人狠干| 亚洲第一黄网| 天天人人天天爽| 丁香婷婷五月综合欧美另类| 网站免费一站二站| 亚州色婷婷| 婷婷婷婷婷开心无码播放| 区美毛片子| 国产毛片精品一区二区色欲黄A片| 成 久久| 久久精品系列| www.超碰在线| 久草xx性爱视频| 色www久视频| 这里只有精品1| 久草婷婷| 色五月丁香A欧美com| 99爱视频| www.99热最新视频8| 婷婷五月天大香蕉在线视频观看| 日韩六十路91性交电影| 丁香婷婷天堂| 91婷婷色| 婷婷深爱五月天在线| 久久婷婷五月综合一| 五月天播播| 日本社区五月天激情| 色婷婷丁香| 亚洲精品久久久久久久久久吃药| 婷婷色成人| 成人看片网站| 日韩精品呦呦va| 人人干av| 色婷婷五月天激情在线观看| 久久只有精|