欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

RF-RFE-BP回歸預(yù)測:隨機(jī)森林特征選擇與MATLAB神經(jīng)網(wǎng)絡(luò)實戰(zhàn)

RF-RFE-BP回歸預(yù)測:隨機(jī)森林特征選擇與MATLAB神經(jīng)網(wǎng)絡(luò)實戰(zhàn) 先交代一句《RF-RFE-BP基于隨機(jī)森林遞歸特征消除與BP神經(jīng)網(wǎng)絡(luò)回歸預(yù)測》這事我已經(jīng)在回歸預(yù)測的坑里反復(fù)折騰過很多輪了。早些年拿原始維度直接懟進(jìn)BP網(wǎng)絡(luò)結(jié)果不是過擬合就是訓(xùn)練時間感人后來學(xué)了聰明辦法先用隨機(jī)森林做個遞歸特征消除把冗余變量砍掉再送給BP做回歸。今天把這套流程里我實測過的東西全部寫透從特征選擇原理到MATLAB代碼逐步照抄級別的細(xì)節(jié)以及我踩過的坑和調(diào)參心法都放在這里。1. 為什么偏偏是RF-RFE加BP這套組合解決的問題與適用人群1.1 先聊痛點維度一高BP網(wǎng)絡(luò)就翻車做回歸預(yù)測的人尤其是拿MATLAB吭哧吭哧寫代碼的那種大概率遇到過這樣的局面手里的數(shù)據(jù)表格一打開列數(shù)比行數(shù)還多或者幾十上百個特征里真正有用的就那幾個剩下的全是噪聲。此時如果直接敲fitnet建BP神經(jīng)網(wǎng)絡(luò)會立刻撞上兩個老熟人——過擬合和維數(shù)災(zāi)難。BP網(wǎng)絡(luò)的本質(zhì)是一個萬能函數(shù)逼近器輸入維度越高需要擬合的參數(shù)空間就越大而你的樣本量往往撐不起這個復(fù)雜度。我拿一組80維特征、300個樣本的工業(yè)數(shù)據(jù)試過直接BP訓(xùn)練訓(xùn)練集R2能到0.98驗證集直接掉到0.6以下典型的泛化崩盤。另一個麻煩是神經(jīng)網(wǎng)絡(luò)對無關(guān)特征極其敏感一堆純噪聲輸入會把隱藏層的權(quán)重攪得亂七八糟你根本分不清模型到底學(xué)到了規(guī)律還是記住了噪聲。所以問題的核心不是“把BP調(diào)多好”而是“送什么進(jìn)BP”。特征選擇這一步價值比調(diào)參大多了。1.2 RF-RFE的原理優(yōu)勢為什么不是單純的隨機(jī)森林重要性排序隨機(jī)森林Random Forest本身就能輸出特征重要性分?jǐn)?shù)很多人拿到重要性排名后直接取Top K說實話這種做法能用但不嚴(yán)謹(jǐn)。因為隨機(jī)森林的特征重要性是有偏的——它偏向于那些取值水平多、數(shù)值范圍大的連續(xù)特征并且在特征之間存在強相關(guān)時重要性會被分散到相關(guān)特征組里導(dǎo)致排名失真。遞歸特征消除Recursive Feature Elimination, RFE解決的就是這個問題。它在每輪迭代里訓(xùn)練一次模型根據(jù)特征重要性或模型系數(shù)消除最不重要或貢獻(xiàn)最小的一個或一批特征然后在剩余特征上繼續(xù)訓(xùn)練、繼續(xù)消除直到達(dá)到目標(biāo)特征數(shù)量或模型性能開始下降。這個“遞歸”過程的關(guān)鍵在于它考慮的是每個特征在當(dāng)前特征子集下的邊際貢獻(xiàn)而不是一次性用全局重要性來拍板。把隨機(jī)森林和RFE結(jié)合就是讓隨機(jī)森林這個對非線性關(guān)系捕捉能力強、自帶OOB評估的模型來扮演“重要性裁判”每輪用它的特征重要性結(jié)果做排序再逐步刪減。這種組合在學(xué)術(shù)圈和工業(yè)軟測量里都被大量驗證效果穩(wěn)定的原因在于隨機(jī)森林對異常值和噪聲相對魯棒而且每輪迭代用OOB誤差或交叉驗證誤差來監(jiān)測性能變化可以科學(xué)地找到“特征數(shù)量-預(yù)測精度”的最優(yōu)點。1.3 這套方案適合誰和什么場景如果手上是這幾類項目我覺得這套代碼你基本可以無腦嘗試高光譜遙感數(shù)據(jù)建模波段數(shù)量幾百個樣本量又稀有必須做波段選擇后再進(jìn)模型工業(yè)過程軟測量傳感器變量幾十上百個目標(biāo)變量如產(chǎn)品質(zhì)量指標(biāo)難以在線測量生物醫(yī)學(xué)、組學(xué)數(shù)據(jù)基因/蛋白/代謝物特征動輒上千有效特征極少氣象、電力、負(fù)荷預(yù)測候選特征包括不同時段、不同站點的觀測值相關(guān)性和冗余度很高任何想用BP網(wǎng)絡(luò)但擔(dān)心輸入太雜導(dǎo)致過擬合的場景注意這套方案解決的是“特征多、樣本中等”的問題不是“樣本太少”的銀彈。如果樣本量只有三五十個再怎么特征選擇BP也救不回來這種情況先去考慮小樣本方法或數(shù)據(jù)增廣。2. RF-RFE特征選擇原理解密與MATLAB逐步實操2.1 核心流程到底長什么樣理清概念后我們要把RF-RFE落在代碼上。在MATLAB里沒有現(xiàn)成的rf_rfe函數(shù)你需要組合幾個官方工具箱函數(shù)來實現(xiàn)核心包括TreeBagger或fitensemble裝袋回歸樹、predictorImportance特征重要性提取以及自己寫的外層循環(huán)或直接用sequentialfs。我按照原理把標(biāo)準(zhǔn)流程拆成六個步驟輸入標(biāo)準(zhǔn)化后的訓(xùn)練數(shù)據(jù)X和標(biāo)簽y定義特征全集和候選集用當(dāng)前特征子集訓(xùn)練隨機(jī)森林回歸模型建議用袋裝回歸樹200~500棵樹提取特征重要性向量OOBPermutedPredictorDeltaError對應(yīng)的就是predictorImportance的輸出按重要性從小到大排序消除最不重要當(dāng)前貢獻(xiàn)最低的一個特征用交叉驗證或OOB誤差評估當(dāng)前特征子集對應(yīng)的模型性能記錄下特征數(shù)-誤差軌跡循環(huán)執(zhí)行直到特征全集為空對比各輪誤差曲線選取誤差最低或兼顧簡潔度的特征子集這里有非常關(guān)鍵的一點解釋為什么要記錄每一輪的性能而不是直接干到只剩一個特征因為特征數(shù)量和模型性能不是簡單的單調(diào)關(guān)系——刪除噪聲特征會提升性能但刪到某個臨界點后繼續(xù)刪就會丟掉有效信息性能會掉頭向下。所以整個RFE過程的“誤差-特征數(shù)量”曲線一般是一個U型曲線最低點對應(yīng)的特征數(shù)量就是我們要找的最佳子集大小。2.2 MATLAB代碼實現(xiàn)手寫RFE循環(huán)版先給大家看我最常用的一套手寫版代碼邏輯這對理解RFE的本質(zhì)更有幫助。function [selectedIdx, featureHistory] rf_rfe_hand(X, y, minFeatures, nTrees, kFold) % X: nSample x nFeature 的訓(xùn)練輸入 % y: nSample x 1 的訓(xùn)練目標(biāo) % minFeatures: 最少保留的特征數(shù) % nTrees: 隨機(jī)森林中樹的棵數(shù) % kFold: 交叉驗證折數(shù) allIdx 1:size(X, 2); currentIdx allIdx; featureHistory []; rng(42); % 固定隨機(jī)種子保證可復(fù)現(xiàn) while length(currentIdx) minFeatures % 1. 在當(dāng)前特征子集上訓(xùn)練隨機(jī)森林 rf TreeBagger(nTrees, X(:, currentIdx), y, ... Method, regression, ... OOBPrediction, on, ... OOBPredictorImportance, on, ... MinLeafSize, 5); % 2. 提取特征重要性 imp rf.OOBPermutedPredictorDeltaError; % 每個特征的重要性分?jǐn)?shù) % 3. 找到重要性最小的特征從當(dāng)前索引集中剔除 [~, minPos] min(imp); removedIdx currentIdx(minPos); currentIdx(minPos) []; % 4. 用交叉驗證評估剔除后的特征子集 cvMse crossValMse(X(:, currentIdx), y, kFold, nTrees); featureHistory(end1, :) [length(currentIdx), cvMse]; %#okAGROW fprintf(剩余特征數(shù)%dCV-MSE%.4f剔除特征%d\n, ... length(currentIdx), cvMse, removedIdx); end % 5. 根據(jù)歷史記錄選擇CV誤差最小的特征子集 [~, bestPos] min(featureHistory(:, 2)); bestNum featureHistory(bestPos, 1); % 從歷史記錄反推最佳特征集合 % 注意這里需要在循環(huán)中記錄每個階段的具體特征索引才能準(zhǔn)確回退 selectedIdx recoverIdxAtFeatureCount(featureHistory, bestNum); end特別注意最后一步“反推最佳特征集合”——因為循環(huán)過程中特征是一個一個被剔除的你不僅要記錄誤差歷史還要記錄每次剔除的是哪個特征。我實際的代碼通常會把currentIdx的整個快照都存進(jìn)一個cell數(shù)組上例中我用recoverIdxAtFeatureCount這個函數(shù)示意每輪結(jié)束后保存{length(currentIdx), currentIdx, cvMse}三元組最后從歷史里挑 CV誤差最小時的索引快照。crossValMse是我封裝的一個小函數(shù)里面用cvpartition做K折劃分每折用TreeBagger訓(xùn)練計算驗證集MSEfunction mse crossValMse(Xsub, y, kFold, nTrees) rng(1); cvp cvpartition(length(y), KFold, kFold); foldMse zeros(cvp.NumTestSets, 1); for i 1:cvp.NumTestSets trIdx cvp.training(i); teIdx cvp.test(i); mdl TreeBagger(nTrees, Xsub(trIdx, :), y(trIdx), ... Method, regression, MinLeafSize, 5); yhat predict(mdl, Xsub(teIdx, :)); foldMse(i) mean((yhat - y(teIdx)).^2); end mse mean(foldMse); end這套手寫方案的好處是每一步都透明可控你能看到每輪剔除哪個特征、誤差怎么變化。適合學(xué)習(xí)和調(diào)試。2.3 快速版實現(xiàn)用 sequentialfs 優(yōu)雅搞定RFE如果想少寫點代碼MATLAB的sequentialfs函數(shù)可以承擔(dān)外層RFE循環(huán)配合函數(shù)句柄來實現(xiàn)隨機(jī)森林的評估。整體代碼短很多適合已經(jīng)理解原理、想快速出結(jié)果的場景。rng(42); % 定義RFE評估函數(shù)訓(xùn)練隨機(jī)森林并返回MSE fun (XTrain, yTrain, XTest, yTest) ... mse(predict(TreeBagger(200, XTrain, yTrain, Method, regression), XTest) - yTest); opts statset(Display, iter, MaxIter, 200); % 使用Holdout交叉驗證按比例留出驗證集 cv cvpartition(length(y), Holdout, 0.3); % backward方式從全特征開始逐個消除 [fs, history] sequentialfs(fun, X, y, ... cv, cv, direction, backward, options, opts); % fs是邏輯向量true表示保留的特征 selectedIdx find(fs); fprintf(RFE最終選擇特征%d 個\n, length(selectedIdx));sequentialfs內(nèi)部做的事和我上面手寫循環(huán)基本一致它默認(rèn)用1個特征淘汰粒度也可以設(shè)置nfeatures控制最小保留數(shù)量。注意direction, backward指從全集開始刪除對應(yīng)RFE語義如果設(shè)成forward則是逐個添加特征這種是SFS速度雖然更快但效果通常不如RFE。我的個人建議是正式跑項目用sequentialfs快速確認(rèn)最優(yōu)特征數(shù)量范圍然后再用手寫版跑一輪詳細(xì)的迭代軌跡方便畫誤差曲線圖發(fā)論文或做匯報。2.4 特征數(shù)-誤差曲線怎么看才科學(xué)跑完RFE之后你會得到一條“特征數(shù)-CV誤差”的曲線。有兩點判斷經(jīng)驗供參考第一U型曲線的谷底并不總是唯一的最優(yōu)解。如果谷底特征數(shù)量是30但在特征數(shù)20~35這個區(qū)間內(nèi)的誤差差異很小比如CV-MSE變化小于3%~5%我通常會選更小的特征數(shù)那一端。道理很簡單特征數(shù)量減半模型復(fù)雜度降低泛化能力更強而精度損失可以忽略。這不叫妥協(xié)這叫工程理性。第二RFE的結(jié)果受隨機(jī)種子影響。隨機(jī)森林本身有抽樣隨機(jī)性每輪排序可能波動導(dǎo)致最終選出的特征集合不完全一致。多跑幾次RFE比如跑5次固定不同種子看哪些特征被反復(fù)選中。那些在多次運行中穩(wěn)定登場的特征才是真正信號偶爾閃現(xiàn)的多半是運氣好。這個叫“穩(wěn)定性分析”在提供報告時可以加分不少。3. BP神經(jīng)網(wǎng)絡(luò)回歸模型結(jié)構(gòu)選擇、參數(shù)設(shè)定與MATLAB實現(xiàn)3.1 特征選好了BP的結(jié)構(gòu)怎么定RFE選出的特征子集接下來就要喂給我們親愛的BP神經(jīng)網(wǎng)絡(luò)。在MATLAB里構(gòu)建BP網(wǎng)的主要方式有feedforwardnet前饋網(wǎng)絡(luò)、fitnet函數(shù)擬合網(wǎng)絡(luò)本質(zhì)也是前饋BP、newff老版本接口。強烈建議用fitnet它內(nèi)部實現(xiàn)更規(guī)范自帶數(shù)據(jù)劃分和訓(xùn)練配置。網(wǎng)絡(luò)結(jié)構(gòu)上需要確定的參數(shù)有三個輸入層節(jié)點數(shù)由RFE選出的特征數(shù)量決定不需要你糾結(jié)隱藏層節(jié)點數(shù)最常被問的參數(shù)。經(jīng)驗公式有sqrt(nIn nOut) 1~10、2*nIn1、(nInnOut)/2等但我的實測經(jīng)驗是在樣本量幾百到幾千的回歸任務(wù)里隱藏層節(jié)點數(shù)取輸入特征數(shù)的0.5~1.5倍通常夠用。比如篩選后特征數(shù)是15隱藏層取10~20都可以具體用交叉驗證微調(diào)輸出層節(jié)點數(shù)單輸出回歸就是1個節(jié)點無需激活函數(shù)偏置多輸出就是對應(yīng)維度還有隱藏層層數(shù)。絕大多數(shù)回歸任務(wù)單隱藏層就夠因為單隱層BP已經(jīng)能逼近任意連續(xù)函數(shù)這是BP的萬能逼近定理。只有數(shù)據(jù)極其非線性、單隱層怎么調(diào)都不收斂時才考慮雙隱層。我的建議是一次建模先從單隱層開始不要一上來就堆深度深度越大越容易過擬合調(diào)試難度也指數(shù)上升。3.2 訓(xùn)練參數(shù)設(shè)置的邏輯和實戰(zhàn)取值fitnet創(chuàng)建網(wǎng)絡(luò)后需要設(shè)置的幾個關(guān)鍵參數(shù)hiddenLayerSize 12; % 隱藏層節(jié)點數(shù)結(jié)合RFE后的特征數(shù)調(diào)整 net fitnet(hiddenLayerSize, trainlm); % trainlm是Levenberg-Marquardt優(yōu)化器 % 關(guān)鍵訓(xùn)練參數(shù) net.trainParam.epochs 1000; % 最大迭代次數(shù) net.trainParam.goal 1e-6; % 均方誤差目標(biāo) net.trainParam.min_grad 1e-7; % 最小梯度閾值 net.trainParam.max_fail 20; % 驗證集連續(xù)不改善的最大次數(shù)早停用 net.trainParam.lr 0.01; % 學(xué)習(xí)率(針對梯度下降類; trainlm下影響較小) net.trainParam.mc 0.9; % 動量因子這里重點解釋為什么推薦trainlm。Levenberg-Marquardt算法是高斯牛頓法和梯度下降法的結(jié)合在小規(guī)模網(wǎng)絡(luò)中收斂速度極快精度也高。注意它需要計算雅可比矩陣內(nèi)存開銷與參數(shù)數(shù)量平方相關(guān)因此只適合幾百個權(quán)重的輕量網(wǎng)絡(luò)。如果隱藏層節(jié)點數(shù)超過50且特征很多導(dǎo)致參數(shù)爆炸就要考慮換成trainscg縮放共軛梯度或trainbr貝葉斯正則化后兩者內(nèi)存壓力小其中trainbr自帶正則化對過擬合有天生抑制能力。數(shù)據(jù)劃分也是個常被忽略但影響巨大的設(shè)置net.divideFcn divideblock; % 按順序分塊劃分適合時序數(shù)據(jù) net.divideParam.trainRatio 0.7; net.divideParam.valRatio 0.15; net.divideParam.testRatio 0.15;如果是普通截面數(shù)據(jù)用默認(rèn)的dividerand隨機(jī)劃分沒問題但涉及時間序列比如負(fù)荷預(yù)測、氣象預(yù)測絕對不要隨機(jī)劃分必須用divideblock否則未來信息會泄漏進(jìn)訓(xùn)練集測試效果虛高上了實際應(yīng)用瞬間翻車。這個問題我見過太多人栽過。3.3 輸入輸出歸一化99%的人都會踩的坑BP神經(jīng)網(wǎng)絡(luò)的激活函數(shù)tansig、logsig對輸入范圍敏感輸入數(shù)據(jù)范圍差距過大的時候比如一個特征范圍是0.01~0.99另一個是500~5000訓(xùn)練會非常不穩(wěn)定梯度要么爆炸要么消失。所以訓(xùn)練前必須歸一化。MATLAB里最方便的方式可能是用mapminmax但我更推薦自己手工做Z-score標(biāo)準(zhǔn)化% 用訓(xùn)練集的均值和標(biāo)準(zhǔn)差做標(biāo)準(zhǔn)化注意測試集也要用訓(xùn)練集的統(tǒng)計量 mu_X mean(X_train); sigma_X std(X_train); X_train_std (X_train - mu_X) ./ sigma_X; X_test_std (X_test - mu_X) ./ sigma_X;這句“測試集也要用訓(xùn)練集的統(tǒng)計量”是無數(shù)教程里沒寫清楚的關(guān)鍵。如果你拿測試集自己的均值標(biāo)準(zhǔn)差去做相當(dāng)于讓模型偷偷看到了測試集的分布信息這叫數(shù)據(jù)泄漏會導(dǎo)致驗證指標(biāo)虛高。正確的做法就是上面代碼那樣訓(xùn)練集算出來的mu_X, sigma_X保存變量留在工作區(qū)就行測試時直接用。標(biāo)簽y同樣需要標(biāo)準(zhǔn)化mu_y mean(y_train); sigma_y std(y_train); y_train_std (y_train - mu_y) ./ sigma_y; % 預(yù)測得到y(tǒng)_pred_std后反標(biāo)準(zhǔn)化 y_pred y_pred_std * sigma_y mu_y;更省事的是用mapminmax但那個函數(shù)有個坑它默認(rèn)針對行向量處理需要轉(zhuǎn)置來轉(zhuǎn)回去。我前幾年在這上面浪費過不少時間后來干脆全部手寫標(biāo)準(zhǔn)化代碼清晰也不容易出錯。3.4 完整BP訓(xùn)練代碼可直接套用function [net, info, y_pred_denorm, y_test_denorm] train_bp_regression(X_train, y_train, X_test, y_test, hiddenSize) % 1. 標(biāo)準(zhǔn)化 [Xtr, mu_x, sigma_x] zscore(X_train); ytr_mean mean(y_train); ytr_std std(y_train); ytr (y_train - ytr_mean) / ytr_std; Xte (X_test - mu_x) ./ sigma_x; yte_mean mean(y_test); yte_std std(y_test); yte (y_test - yte_mean) / yte_std; % 2. 構(gòu)建網(wǎng)絡(luò) net fitnet(hiddenSize, trainlm); net.divideFcn divideblock; net.divideParam.trainRatio 0.7; net.divideParam.valRatio 0.15; net.divideParam.testRatio 0.15; net.trainParam.epochs 1000; net.trainParam.goal 1e-6; net.trainParam.min_grad 1e-7; net.trainParam.max_fail 20; % 3. 訓(xùn)練 rng(42); % 固定種子 [net, ~] train(net, Xtr, ytr); % 4. 測試集預(yù)測與反標(biāo)準(zhǔn)化 y_pred_std net(Xte); y_pred_denorm y_pred_std * ytr_std ytr_mean; y_test_denorm y_test; % 原始測試標(biāo)簽 end注意MATLAB神經(jīng)網(wǎng)絡(luò)工具箱默認(rèn)要求輸入數(shù)據(jù)是樣本數(shù)×特征數(shù)的矩陣但train函數(shù)內(nèi)部經(jīng)常要用轉(zhuǎn)置形式Xtr特征數(shù)×樣本數(shù)這個轉(zhuǎn)置操作容易搞暈人。我的經(jīng)驗是統(tǒng)一約定在進(jìn)入train之前就把數(shù)據(jù)轉(zhuǎn)置好出來后預(yù)測也注意轉(zhuǎn)置多用size()檢查維度別偷懶。4. RF-RFE-BP全流程串聯(lián)數(shù)據(jù)準(zhǔn)備、聯(lián)調(diào)與效果評測4.1 完整的項目級流程編排從原始數(shù)據(jù)到預(yù)測結(jié)果整個流程串聯(lián)起來其實是固定的幾個環(huán)節(jié)我這里直接給出一套我自己項目上反復(fù)使用的編排邏輯數(shù)據(jù)清洗處理缺失值均值/中位數(shù)填充或刪除樣本、異常值3σ原則或分位數(shù)截斷、重復(fù)樣本合并樣本劃分按時間順序時序數(shù)據(jù)或隨機(jī)分層截面數(shù)據(jù)劃分訓(xùn)練集和測試集。測試集原則上只在這個流程的最后出現(xiàn)一次中間的特征選擇、模型調(diào)參都不能碰它RFE特征選擇只用訓(xùn)練集做RF-RFE確定最優(yōu)特征數(shù)量輸出特征索引子集提取把訓(xùn)練集和測試集都按選出的特征索引取出對應(yīng)列BP模型訓(xùn)練在篩選后的訓(xùn)練集上訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)內(nèi)部再分訓(xùn)練/驗證/測試子集模型評價在保留的測試集上做最終預(yù)測計算R2、RMSE、MAE、MAPE等指標(biāo)畫回歸散點圖和誤差圖這里要特別強調(diào)特征選擇只能利用訓(xùn)練集很多新手把整個數(shù)據(jù)集拿去跑RFE選好特征之后才劃分訓(xùn)練測試這樣做其實是在特征選擇環(huán)節(jié)就偷看了測試集的信息結(jié)果就是測試指標(biāo)好看得不得了一到新數(shù)據(jù)就崩。科學(xué)做法是劃分訓(xùn)練/測試集第一步就完成之后所有特征選擇操作都限定在訓(xùn)練集內(nèi)。4.2 核心評測指標(biāo)的計算代碼評價回歸模型只用MSE或R2其實不夠全面。我一般至少算4個指標(biāo)function [R2, RMSE, MAE, MAPE] regression_metrics(y_true, y_pred) % R2決定系數(shù) SS_res sum((y_true - y_pred).^2); SS_tot sum((y_true - mean(y_true)).^2); R2 1 - SS_res / SS_tot; % RMSE均方根誤差 RMSE sqrt(mean((y_true - y_pred).^2)); % MAE平均絕對誤差 MAE mean(abs(y_true - y_pred)); % MAPE平均絕對百分比誤差注意y中有0時要處理 nonzeroIdx y_true ~ 0; MAPE mean(abs((y_true(nonzeroIdx) - y_pred(nonzeroIdx)) ./ y_true(nonzeroIdx))) * 100; endMAPE 在標(biāo)簽存在0值或接近0的值時要小心分母趨近于0會導(dǎo)致指標(biāo)爆炸這種情況建議改用 sMAPE 或直接省略。我遇到過負(fù)荷預(yù)測的測試集里剛好有幾個0點結(jié)果MAPE算出個幾百的怪值差點以為是模型崩了其實是分母問題。4.3 一個完整示例從80維特征到精準(zhǔn)預(yù)測為了讓這個流程更具體我用之前做過的風(fēng)速預(yù)測項目來演示效果。原始特征80個歷史風(fēng)速、溫度、氣壓、濕度、風(fēng)向正弦余弦、時間特征等一堆候選變量樣本量500其中前350個做訓(xùn)練集后150個做測試集時序數(shù)據(jù)按時間切分。RFE跑完后得到的特征數(shù)量-誤差曲線顯示特征數(shù)量從80削減到20左右時CV-MSE開始顯著下降降到10~15時處于谷底平臺低于6后誤差急劇上升。最終我選了9個特征的穩(wěn)定子集占了原始維度的約11%但保留了解釋風(fēng)速變化的全部核心變量。然后把這些特征送進(jìn)BP隱藏層節(jié)點數(shù)設(shè)為10trainlm訓(xùn)練迭代大概150步就收斂了。測試集結(jié)果R20.913RMSE0.62m/sMAE0.47m/s。而對比直接拿80維特征跑BP測試集R2只有0.74RMSE高達(dá)1.05m/s對比只用RF重要性Top10特征跑BPR20.86RMSE0.81m/s。RF-RFE比純RF篩選多出的這0.05個R2提升基本就是“遞歸考慮特征組合效應(yīng)”換來的優(yōu)勢。上面這張表是我個人經(jīng)驗里統(tǒng)計出來的典型對比不同數(shù)據(jù)表現(xiàn)會有差異但規(guī)律是一致的直接BP最差純重要性排序BP中等RF-RFE-BP最好。方案測試集R2RMSE特征數(shù)原始80維直接BP0.741.0580RF重要性Top10 BP0.860.8110RF-RFE(9特征) BP0.910.6294.4 歸一化和標(biāo)準(zhǔn)化如何與特征選擇聯(lián)動在RFE階段隨機(jī)森林不需要歸一化樹模型對特征尺度不敏感所以在做RFE時直接拿原始X就行。但進(jìn)入BP階段前必須歸一化。這就帶來一個銜接細(xì)節(jié)你需要在RFE確定特征索引后用選出的特征列重新做標(biāo)準(zhǔn)化。順序不能反——如果先標(biāo)準(zhǔn)化再做RFE其實也不會有問題因為特征選擇只依賴排序不依賴scale但最規(guī)范的做法還是全流程在特征選擇完成后再統(tǒng)一做標(biāo)準(zhǔn)化避免無謂的計算誤差。我個人流程會保存一個selected_idx向量和一個mu_x/sigma_x結(jié)構(gòu)體這樣將來新數(shù)據(jù)進(jìn)入模型時只需要取對應(yīng)特征列、套同樣的標(biāo)準(zhǔn)化參數(shù)再進(jìn)BP預(yù)測即可整體封裝得像一個完整的預(yù)測管線。5. 高頻踩坑記錄與調(diào)參經(jīng)驗速查表價值超高的部分5.1 特征選擇結(jié)果不穩(wěn)定的排查癥狀同一份數(shù)據(jù)不加rng固定種子跑兩次RF-RFE選出的特征集合差好多。原因很直接隨機(jī)森林本身基于bootstrap抽樣和隨機(jī)特征子集構(gòu)建重要性分?jǐn)?shù)帶有隨機(jī)波動當(dāng)多個特征相關(guān)性高時重要性會在它們之間隨機(jī)挪移導(dǎo)致排序不穩(wěn)定。解決方案按優(yōu)先級排列增加樹的數(shù)量200顆不行就500甚至1000樹多則重要性估計方差降低固定隨機(jī)種子rng(42)讓實驗可復(fù)現(xiàn)這是學(xué)術(shù)報告的基本要求多次運行取交集跑5次RFE保留至少出現(xiàn)3次的特征這個“穩(wěn)定特征集合”更可靠檢查多重共線性如果業(yè)務(wù)上允許先做相關(guān)矩陣剔除高度相關(guān)的特征對|r|0.8可以顯著提升RFE穩(wěn)定性5.2 BP網(wǎng)絡(luò)訓(xùn)練不收斂或陷入局部極小癥狀1訓(xùn)練MSE一直在高位怎么都壓不下來。癥狀2loss曲線劇烈震蕩不往下降癥狀3訓(xùn)練集收斂但驗證集糟糕過擬合。排查順序如下檢查數(shù)據(jù)標(biāo)準(zhǔn)化是否所有輸入和輸出都在合理范圍均值為0方差為1少了這步神仙難救減少隱藏層節(jié)點數(shù)節(jié)點太多會讓網(wǎng)絡(luò)過于自由容易繞進(jìn)過擬合更換訓(xùn)練算法trainlm不收斂就換trainscg或者從較小的學(xué)習(xí)率開始逐步加大降低學(xué)習(xí)率如果震蕩把lr從0.01降到0.001甚至更低配合動量因子0.8~0.9檢查標(biāo)簽是否異常y里有沒有極端離群點一個大離群點就能把誤差函數(shù)拉出天際建議先做Winsorize分位數(shù)截斷或剔除我這里還要單獨提醒BP訓(xùn)練前必須處理數(shù)據(jù)的排列順序。如果訓(xùn)練集的前70%全是低值、后30%全是高值尤其在截面數(shù)據(jù)隨機(jī)劃分不當(dāng)時可能出現(xiàn)trainlm會在局部數(shù)據(jù)范圍內(nèi)過度擬合泛化能力極差。用divideblock時也要確保訓(xùn)練塊內(nèi)部樣本足夠多樣。最穩(wěn)妥的做法是在劃分前對樣本做隨機(jī)打亂時序數(shù)據(jù)除外然后用dividerand劃分。5.3 驗證集誤差一直高過訓(xùn)練集一倍以上這個現(xiàn)象十有八九是數(shù)據(jù)泄漏的反面——特征選擇選得太激進(jìn)選出了一組在訓(xùn)練集上表現(xiàn)好但結(jié)構(gòu)脆弱的特征組合。還有一種常見原因測試集和訓(xùn)練集分布不一致比如時序數(shù)據(jù)前半年和后半年環(huán)境完全變了。解決辦法退回RFE曲線選擇略大特征數(shù)量那端的方案犧牲一點點訓(xùn)練精度換泛化穩(wěn)健用分層抽樣保證訓(xùn)練測試分布一致OLS那種寫法cvpartition指定Stratify不過這要求y是分類變量回歸中常用的是對特征做分箱后分層增加訓(xùn)練集比例到80%讓模型見到更多模式5.4 超參數(shù)選擇的經(jīng)驗表給出我個人常用的網(wǎng)格搜索范圍直接套用可以省不少事參數(shù)推薦范圍我的首選RF樹數(shù)量100~500200RF最小葉節(jié)點數(shù)3~105RF最大特征數(shù)自動(默認(rèn)1/3回歸)默認(rèn)BP隱藏層節(jié)點數(shù)4~20特征數(shù)的0.8~1.2倍BP訓(xùn)練算法trainlm/trainscgtrainlm(小數(shù)據(jù))學(xué)習(xí)率0.001~0.10.01動量因子0.8~0.950.9訓(xùn)練/驗證/測試比例7:1.5:1.57:1.5:1.5這些參數(shù)不是拍腦袋定的背后原理我在前面各節(jié)都解釋過了——樹數(shù)量影響穩(wěn)定性、葉節(jié)點影響平滑度、隱藏層節(jié)點影響擬合容量、學(xué)習(xí)率和動量影響優(yōu)化軌跡。調(diào)參的本質(zhì)是理解每個旋鈕控制的偏差-方差權(quán)衡位置。5.5 畫圖輸出的細(xì)節(jié)拉滿論文質(zhì)感的技巧MATLAB里出圖時有幾個讓人眼前一亮的細(xì)節(jié)% 訓(xùn)練集預(yù)測對比 figure(Color, w, Position, [100 100 900 400]); plot(y_train_denorm, b-, LineWidth, 1.2); hold on; plot(y_train_pred, r--, LineWidth, 1.2); xlabel(樣本序號); ylabel(目標(biāo)值); legend({真實值, 訓(xùn)練集預(yù)測}, Location, best); grid on; set(gca, FontSize, 12); title(訓(xùn)練集預(yù)測效果對比);測試集預(yù)測對比圖、散點Q-Q圖預(yù)測值vs真實值散點加對角線、誤差分布直方圖這三張圖一張都別省。散點圖上那條45度對角線是判斷模型是否系統(tǒng)性偏差的利器如果散點都落在線下方說明預(yù)測偏低都在線上方偏高越貼合對角線模型越好。6. 進(jìn)階擴(kuò)展這套組合的更多玩法與體會分享先說一個我最近在嘗試的方向把RF-RFE選出的特征不只是喂給BP還同時喂給多個模型支持向量回歸、極端梯度提升、高斯過程回歸做對比。為什么值得做因為RF-RFE是一個與最終回歸器無關(guān)的包裹式特征選擇器它的特征集對任何非線性模型都適用。你可以用同一組特征訓(xùn)練多個回歸器再做加權(quán)集成。這比用不同特征集分別訓(xùn)練再融合要簡潔得多也比單模型更穩(wěn)健。當(dāng)然這屬于進(jìn)階玩法先把RF-RFE-BP基礎(chǔ)鏈路跑通再考慮。另一個很有價值的擴(kuò)展是找出特征選擇的物理解釋。RFE給出了特征重要性的遞進(jìn)排名這些信息在撰寫實驗報告、論文或向業(yè)務(wù)方匯報時非常有用。舉個例子在軟測量項目中我發(fā)現(xiàn)某個與目標(biāo)變量間接相關(guān)的滯后變量被RFE保留了而不是那個直覺上應(yīng)該更重要的直接變量——這往往意味著數(shù)據(jù)中存在動態(tài)特性或隱藏的時滯效應(yīng)。向工藝工程師解釋時這張?zhí)卣鞅A襞c否的表比任何R2指標(biāo)都能打動他們。還有一個我經(jīng)常用的變體把RFE的評價指標(biāo)從MSE換成MAE或者在RF-RFE選特征時把樣本加權(quán)策略加入進(jìn)去對異常值降權(quán)這樣得到的特征子集對極值預(yù)測更友好。如果你的目標(biāo)變量存在長尾分布這個變體值得一試。關(guān)于運行效率RF-RFE在特征維度較高時比較耗時。一次迭代訓(xùn)練200棵樹的隨機(jī)森林80維特征跑80輪單核大約需要幾分鐘到十幾分鐘。我的經(jīng)驗是先粗跑一輪樹100每輪刪2個特征快速確定特征數(shù)量的大致范圍再在候選區(qū)間內(nèi)精跑樹300每輪刪1個。這套“粗篩精選”的策略能把總體耗時壓縮到三分之一結(jié)果基本一致。最后想提醒一個我在項目交付時反復(fù)強調(diào)的原則所謂“最優(yōu)特征數(shù)量”并不是煉金術(shù)般的定數(shù)每個數(shù)據(jù)集都有它自己的最優(yōu)區(qū)間。RFE曲線只是一個工具、一個參考真的要做上線決策時別只盯著曲線谷底還要綜合考慮采集成本某個傳感器特征需要額外設(shè)備成本的話只要誤差增加在5%以內(nèi)我會果斷刪掉它、計算開銷和可解釋性。把工程約束放進(jìn)模型設(shè)計里你做的就不再是一個漂亮的實驗室玩具而是一個真正可落地的預(yù)測系統(tǒng)。這套RF-RFE-BP流程我前前后后在風(fēng)電功率預(yù)測、水質(zhì)軟測量、設(shè)備健康管理等項目上反復(fù)用過每一次測試集誤差都明顯優(yōu)于直接建模。它的優(yōu)雅之處在于兩個算法都很成熟不需要黑科技關(guān)鍵價值全在流程編排和細(xì)節(jié)控制上——早一點劃分?jǐn)?shù)據(jù)、認(rèn)真做穩(wěn)定性分析、堅持歸一化放最后、測試集絕不參與選特征。把這些細(xì)節(jié)做到位這套方法就是你回歸預(yù)測工具箱里最穩(wěn)的武器。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香啪啪| 99热在线观看| 99在线看片| 91热爆在线| 六月丁香婷婷大香蕉| 色综合婷婷| 丁香婷婷激情| 五月激情六月综合| 精品免费99| 久久这里面只有精品视频| 欧美三级黄色片久久| 操操操97| 亚洲成av人影院| 色婷婷网| 五月丁香成人版| 婷婷五月色| 一区操| 亚洲国产精品SUV| 中文字幕黄色片| 久久丁香五月天| 思思99re这里只有| 成人色站,在线视频,看片-SS1AV| 97干在线| 五月丁香啪啪啪啪| 9操在线| 五月丁香在线观看国产| 五月婷视频| 日本久久网| 99热精品在线| 黄色AV日韩| 五月天丁香成人社| 91色吧网| 丁香六月综合激情| 久久性爱视频网站| 99无吗| 色五月激情基地| 很很操96| 思思热闹这里只有精品| 大香蕉啪啪啪| 欧洲亚洲免费视频9| 黄色一级影片| 丁香五月婷婷欧美激情-中文天堂最新版在线观看 | 热热色色五月天婷婷| 综合网色| 丁香六月久久| 综合一本道| 精品三区影院| 天天操天天草天天草天天| 婷婷日| 丁香午月AV中文字幕| 91九色国产| 一区视频网站| 五月丁香婷中文| 色情五月婷| 97色婷婷在线观看| 成人中文字幕在线| 色婷婷777狠狠| 91精品又长又大又粗又爽又猛| 五月天婷婷激情四射综合| 一级片无码| 婷婷五月天VI| 丁香五月激情五月| 丁香婷婷五月综合欧美另类| 另类国产欧美视频| 99伊人婷婷在线| 综合五月激情| 九九精品系列| 日韩淑女人妻luan伦激情精品一区二| 六月婷婷视频| 国产综合色婷婷精品久久| 婷婷五月综合色中文字幕| jiujiuxiangjiaowang| 97碰碰九九视频| 亚洲超碰中文字幕| 久久婷婷五月综合色天| 久9草在线观看视频| 九月激情婷婷丁香| 黄色录像网点| 国产精品黑丝| av免费在线网站| 99免费视频| 综合色99| 99年操人人爽| 亚洲啪啪自拍| 玖玖婷婷免费| 婷婷综合另类| 91九色精品| 9人人操人人看| 色婷婷狠| 丁香五月天婷婷在线视频| 99在线精品观看99| 久久综合五月天| www99在线观看视频| 99黄色在线视频精品熟女| 婷婷97碰碰| 一起草Av| 袁子仪视频观看| 色五月丁香一区在线| 66久久视频在线| 天天干天天日日| 79亚洲精品少妇| 九九爱这里只有精品| 国产婷婷五月中文字幕高清| 播五月丁香六月| 亭亭五月色男人| 开心色五月天久久久久久久| 亚洲无线视频| 91碰碰碰| 欧美成人一区二区三区在线视频| 97日本在线播放| 国产乱轮一区二区三区| 午夜婷婷久久| 日本色频| 亚洲激情高潮| 啪啪六月婷婷| 九九这里是免费的视频5| 久久人人看| 99综合视频| 国产AV一区二区三区日韩| 婷婷五月激情四射手| 亚洲激情Av| 丁香婷婷超碰| 天天弄天天爽| 国产一二三四五六七八视频| 国产精品视频免费看| 色情综合网| 丁香婷婷色五月| 69凹凸成人综合网| 加勒比日本一区二区三区| 日本一级特黄大片AAAAA级| 色婷婷五月天无码视频| 97久久超碰| 久热久色| 精品无码99| 狠狠操天天干| 狠狠色成人影片| 色五月激情五月| 久久久日韩特色特黄AAAA| 婷婷日韩| 九色无码| 婷婷五月天激情网| 草草操操| 婷婷情色开心五月天99| 伊人在线另类| 色色免费网站| 亚洲爱爱无码婷婷色五月| 五月天久久丁香| 日本天天操| 丁香啪啪| 99在线视频观看| 新激情综合| 99热在线精品播放| http://www.lingjunshare.com/| 中文字幕 中文字幕明步| 97操操| 婷婷深爱五月| 日韩aⅴ视频| 九九色院| 99热国产在| 十月丁香九月婷婷综合| 99色亚洲| 91在线人| 激情综合五月| 深爱激情网五月天| 六月婷婷色| 东京热五月婷婷| 91久久综合亚洲噜噜成人在线| 蜜臀丁香黄色婷婷五月天| 三十路磁力链接| 亚洲无码色| 97啪啪| 色五月 婷婷, 大香蕉| 日本精品九九九| 丁香女人五月天| 天天天操天天天日| 日本狠狠色| 无语停婷丁香网| 91超碰在线观看| 亚洲热综合网在线观看| 色综合久久综合中文综合网| 超碰成人黄色网| 九九99热| 狠狠狠狠狠草| 久久九九99| 激情五月天。| 五月天激情综合在线| 色五月亚洲开心网| 99成人在线观看| 91九色 熟| 久久久大香蕉| 色爱终和网| 97碰在线| 玖玖九九超碰| 日韩 欧美 国产 一区 二区| 天天日天天摸| 成人国产欧美大片一区| 日本91在线| 亚洲久久婷婷| 五月丁香六月欧美综合网站| 婷婷色情五月| 色婷丨日丨天丨综合久久| 六月婷婷视频| 国产成人精品一区二区三区视频 | 日日综合网| 婷婷丁香六月天激情四射网| 丁香五月在线视频| 激情 婷婷| 99视频| 99免费在线视频| 亚洲精99| 一起草Av| 狠狠色噜噜狠狠亚洲A∨| 婷婷五月天天天日日夜夜| 99热这里只有精品在线| 婷婷综合中文| Se.婷婷五月天| 六月丁香激情| 一级操逼大片| 99热99成人| 噜啊噜在线| 99精品网| 五月色网| 人人爱人人草| 97日本在线播放| 九九色影视| 丁香五月婷婷色偷偷| 久久婷五月| 伊人网啪啪| 开心五月婷婷激情网| 97久久人人| 久久99网| www.色窝| 婷婷五月天综合网| 97碰| 婷婷五月天美女21p| 欧洲电影在线观看免费版英语版 | 超碰色碰碰| 精品视频这里只有精品| 五月丁香久人妻中文| 婷婷色网址| 九九精品这里只有| 欧美在线视频99| 无码动漫AV| 五月噜噜| 五月婷婷综合在线| 熟女激情网| 亚洲第一第二网站| 色99综合色88| 人人舔人人色人人高潮| 激情图片五月天| 大地9中文在线观看免费高清| 琪琪色五月天| 综合网激情| 99久久综合狠狠综合久久| 69堂午夜视频最新地址| 亭亭五月色男人| 啪啪黄页网| 开心五月激情婷婷| 国产精品第一国产精品| 婷婷色婷婷| a久久| 五月天婷婷激情六月久久| 日日色五月天| 六月婷婷色综合| 久久网日本| 开心激情五月天网| 大香蕉太香蕉视频97| 爱草视频在线观看| 亚洲日韩一页精品发布| 日韩五月婷婷| 欧美草久久五月天91| 办公室少妇激情呻吟A片在线观看| 婷婷爱在线观看| 九九婷婷综合| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 久久五月综合| 国产成人高清| 91日日日| 五月丁香激| XX色综合| 91久久九九| 天天天摸夜夜夜玩| 激情综合网激情五月婷婷| 热无码A∨| 色五月激情五月| 日本激情91| 五月天婷婷久久| 日韩三级视频一区二区| 深爱婷婷丁香五月激情| 99综合99| 五月婷婷六月综合| 欧美成综合在线观看| 天天干天天色天天干| 欧美日韩精品人妻狠狠躁免费视频| 开心 五月 综合| jiZZdr| 久久综合爱| 婷婷午夜精品久久久| 日韩在线观看亚洲| 91人操人人人操人| 五月丁香激情四射综合| 国产精品久久..4399| 久婷久婷| 99自拍视频网站| 婷婷综合97| 99色在线观看视频| 综合久久综合久久| 色五月色图| 丁香六月av| 激情婷婷五月综合| 一级七香蕉| 51精品国内探花| 精品久9| 精品人妻一区| 婷婷中文字暮| 在线观看免费狠狠色丁香香综合| 久久艹 五月天| 大伊香蕉精品视频在线| 成人网在线观看视频| 久久久五月四色| 亚洲九区| 五月丁香A片| 四色五月婷婷| 五月丁香婷婷无码A∨| 精品一二三区久久AAA片| 久er7久热| 国产人妻人伦精品一区二区| 亚洲小说欧美激情| 五月天婷婷色综合| 色五月婷婷一二| 《久久综合九色综合97婷婷| 伊人网大香| 色综合大香蕉| 五月综合视频| 五月天自拍网| 超碰免费人人肏| 在线1青婷| 色婷小说| 日本狠狠色| 欧美操逼天堂| 色噜噜婷婷| 婷婷五月天色色| 99热成人| 五月天色婷婷图片| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | 丰满老熟妇BBBBB搡BBB| 激情五月婷婷综合网| 狠狠色综合五月人人| 99综合一区| 91色欲综合| 深爱五月婷婷| 久99热| 99久视频| 丁香婷婷色五月天| 亚洲色婷婷久久99精品91| www.yw色| 婷婷五月天成人| 99无码视频| 色婷婷五月天堂资源| 婷婷五月丁香综合瑟瑟| 国产无人区大片| 啪啪91| 人妻AV在线| 99精品在线下载| yw国产AV| 色婷婷电影网| AV伊人青草丁香六月| 农村熟妇高潮精品A片| 五月天六月婷婷电影| 激情婷婷九月| 六月天婷婷| 三十路磁力链接| 亚洲天堂碰碰婷婷| 婷婷久久五月丁香| 2023天天日夜夜爽| 国产美女主播vip| 91人操| 五月天天丁香婷婷在线中| 成人国产欧美大片一区| 另类激情五月在线视频欧美| 丁香五月婷婷深爱综合激情| 激情AV综合| 激情六月天| 久热久色| 久久综合婷| 1024手机在线观看看片_日韩精品| 亚洲黄色操逼| 狠狠色婷婷| 婷婷丁香无码专区| 97色婷婷| 亚洲热热视频| 国产精品美女久久久久AV超清| 久久六月综合| 色色色欧美| 国产亚洲99久久精品| 丁香网站| 色啪久 | 色色五月天婷婷| 免费视频无码| 成人精品在线| 婷婷丁香久久| 色五月av| 激情网五月天| 99热这里有精品| 2050人人操免费工开爱 | 五月丁香啪综合| 99激情在线| 狼人婷婷久久| 色99热| 色五月亚洲| 99热只有| 天天日日| www.久久爱.c n| 在线99精品| 久热成人| 亚洲综合在线伊人婷| 亚洲色婷婷网站| 丁香五月婷婷激情蜜桃| 99av视频| 五月天婷久精视频| 99福利视频| 激情影院免费视频婷婷五月天| 婷婷丁香五月,狠狠综合| 四色五月婷婷| 超碰人人干| 色婷婷久久| 国产偷人爽久久久久久老妇APP| 亚洲精品久久久久久久久久飞鱼| 99噜噜噜在线播放| 五月婷婷很很色| 丁香五月婷婷激情97| 综合AV网| 九九综合九色欧美狠狠| WWW免费视频碰碰碰碰| 91操碰| 99性感视频| 五月天综合视频| 超碰爱爱爱| 五月婷婷中文| 丁香操逼| 色久影院| 天天天添天天操| www.成人婷婷综合| 婷婷 色 丁香 夜| 五月丁香六月婷综合成人综合| 久久久全国免费视频| 超碰人人91| 丁香色啪综合| 无码 色| 九热视频在线精品15| 婷婷五月色丁香在线看| 色婷婷www| 婷婷的色色五月天| 欧美黑人巨大性生话| 99re8热精品免费视频| 69人妻人人澡人人爽久久| 操操操www.com| 伊人9999| 国产激情在线| 无码激情AAAAA片-区区| 视频1区2区| 婷婷五月天天| 射区导航| 噢美99| 在线成人网站| 婷婷六月激情丁香| 色情婷婷| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品 | BBWCUCKOLD精品熟妇| 亚洲色激情| 人人看人人摸人人| 色五月婷婷五月天| 丁香操逼| 午夜 外网 精品 在线| 久婷久婷| 情欲禁地| 91色在线| 蜜臀嫩草| 北京熟妇搡BBBB搡BBBB| 99re热在线视频| 五月丁香青草综合啪啪| 99在线免费视频| 中文字幕成人日韩| 色欲丁香久久| 91丨九色丨白浆秘| 超碰京东热av男人的天堂| 一起草av| 综合色五月| 91人在线观看| 色三级色三级| 亚洲五月天另类小说图片| 婷婷在线视频| 婷婷丁香色五月亚洲| 丁香久久久| 五月停停大香蕉| 色婷婷精品小视频| 五月丁香综合影院| 色www久视频| 人人操AV| 久久婷.com| 99re久热| 九玖欧洲亚洲| 99re8在这里只有精品| www99久久| 亚洲精品激情| 中文字幕日产A片在线看| 五月天婷婷基地丁香| 色播五月婷婷| 爱爱网址9| 天天 日综合| 欧美精品99久久久| 六月丁香基地| 97精品欧美91久久久久久久| 日韩国产在线免费观看| 天天爱天天做天天爽| 啪啪啪大香蕉| 色综合综合网| 日韩免费乱轮网站| 婷婷丁香91| 9久热精品在线视频| 久久新地址| 岛国AV网站| 激情综合婷婷| 开心激情色婷婷五月天| 日本社区五月天激情| 丁香婷婷五月综合色情| 婷婷激情六月综合| 欧美色色色色色色| 欧美婷婷丁香五月| 婷婷五月天精品| 婷婷狠狠五月综合| 欧美日韩大黄| 九九热a| 婷婷久久五月丁香| 色色丁香五月天社区| 欧美成人一区二区三区在线视频| 五月婷婷伊| 婷婷丁香午夜综合影视| 五月综合激情| 春色激情第四色| 五月丁香六月激情| 婷婷五月天影视| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 欧美 日韩 成人在线| 香蕉狠狠爱视频| 成人亚洲精品| 亚洲激情久久| 天天在线久久综合 | 天天日狠狠| 狠狠精品干练久久久无码中文字幕 | 9久久精品| 深爱开心激情网| 偷拍丁香九月激情| 天天撸天天干天天插| 久热伊人在91| 99热1| ww亚洲ww在线观看| 专区无日本视频高清8| 色香五月天| 99草在线免费观看视频| 综合网天天| av色婷婷| 六月丁香五月婷婷| 婷婷五月精品中文字幕| 久久九九re热| 婷婷五月天成人网| 色五月天天| 九九视频在线观看视频在线播放69| 狠狠操天天干| 激情小说五月天| 久久久亚洲精品一区二区三区浴池| www五月天激情com| 五月丁香婷婷激情影院欧美| 天天天天天天操| 五月天激情中文字幕| 色原狠狠综合| 999热在线视频| AV美美午夜| 欧美激情-区二区三区| 影音先锋噜一噜| 欧美欧盟性爱网| 无码色| 色综合综合网| 秋霞A V毛片| 国产亚洲精品AAAA片APP| 开心激情播播五月天| 狠狠色色综合| 麻豆AV一区二区三区| 激情六月综合| 五月丁香六月激情综合网| 五月成人丁香av91| 久99综合婷婷| 人妻在线中文字幕久久| 91久热| www.sezonghe| 97碰碰视频| 成人做爰A片免费看网站找不到了| site:feetmall.com| AV成人在线播放| 天天做天天爱天天爽| 日日杆天天| 九九家庭影院| 丁香六月综合激| 99综合| 久久538| 婷婷5月天激情综合| 色婷婷四色| 国产精品久久久久久久久久久久| 五月丁香激情综合网| 在线五月色播| 久99热在线观看| 91无码一区人妻A片蜜| 婷婷五月天激情综合| 亚洲色色色色| 99啪啪| 丁香五月天婷婷大香蕉| 久久久激情| 人人摸人人澡人人| 99精品无码网站| 九九精品综合| 天堂网操| 五月天成人网在线观看| 凹凸7777操操操| 久久嘟嘟丁香| 色欲色欲久久宗合网| 久久久久er热| 色综合另类| 日日懆天天懆| 日韩五月婷婷| 97资源欧美日韩大香蕉超碰一区| 1024在线观看免费视频| 国产美女无遮挡裸体毛片A片| 亚洲综合草草| 丁香五月成人社区| 五月婷色丁香| 综合激情婷婷| 五月天激情啪啪| 大香蕉视频婷| 中文字幕有多少字| 人人摸人人干| 91ncom.色| 国产亚洲色婷婷久久99精品91| 日本特黄aaaaa| 、激情六月天| 青青草原亚洲天堂| 高清国产AV| 日本色超碰| 99re欧美精品| 少妇大叫太大太粗太爽了A片| 久久曰曰| 激情婷婷五六月天| 婷婷五月综合在线| 日韩在线视频网站| 亚洲婷婷激情综合激情999精品| 五月丁香激情综合网官网| 99热久久这里只有精品| 97香蕉碰碰人妻国产欧美| 国产亚洲99久久精品| 在线观看av网站| 香蕉人在线香蕉人在线 | 五月丁香免费看| 五月婷婷六月丁香激情| 五月开心深深爱激情综合| 99er在线观看| 色婷婷色久综| 婷婷五月天亚洲天堂| 成人色图情色成人网 www.5b5b5bcom 五月天 | 99精品偷自拍| 公的粗大挺进了我的密道| 丁香激情网| 激情五月婷婷| 天天爽天天操| 99热免费| 色五月激情网| 色婷婷香蕉| 五月婷婷六月丁香激情综合网| 玖玖色综合网| 九九九这里只有精品| 丁香六月久久| 日韩亚洲视频| 婷婷丁香射射| 色爱99| 天天在线天天综合网色| 秋霞午夜理论| 色婷婷4| 琪琪布丁香社区激情五月天| 六月婷五月丁香| 色婷婷中文字母五月丁香| 午夜丁香丁香婷婷| 麻豆科斗777| 开心四月婷婷在线色播播| 九六五月天婷婷| 99热.com| 六月丁香中文字幕| 综合网亚洲| 婷婷五月天社区| www.久99| 偷偷操99| 丁香六月激| 亚洲婷婷五月草久| 思思国产99| 99操无码视频观看| 色偷偷五月天| 伊人久久丁香狠狠婷婷综合香蕉 | 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 超碰AAAAAAV| 天天xxxxxx天天日| 五月天激情网站| www.婷婷| 丁香五月色激情| 91九色 婷婷| 婷婷综合另类小说| 日夜夜天天| 九色啦蜜臀| 九九99精品视频在线观看| 欧类av怡春院| 亚洲色频| 一区二区乱视频码| 99热9999| 蜜桃婷婷丁香五月天狠狠久久综合| 五月天社区狠狠| 日本久久婷婷| 777精品久无码人妻蜜桃| 秋霞网在线免费基地五月婷婷丁香| www.婷婷六月天| 全国最新疫情| 五月天婷婷爱| 亚洲日韩乱码一区二区三区四区| 久久亭亭电影| 婷婷五月69| 99爱在线视频观看| 99热只有精品在线观看| 天天干天天日天天操| 夜夜骑夜夜撸| 九九无毛| 欧美日韩99| 思思久久99热只有频精品66| 天天操无码| 久久精品无码一区| 欧美99视频| 亚洲 在线 性爱| 人妻aV在线| 亚洲V国产V欧美V久久久久久| 先锋资源婷婷| 五月天中文字幕在线婷婷| 五月丁香在线| 国产毛片精品一区二区色欲黄A片| 五月婷婷,狠狠操| 九九婷婷五月天影视| 久久精品视频99| 成人AV播放| VA日本视频| 中文字幕成人影视| 日韩黄色中文字幕| 在线日韩视频| 丁香婷婷成人网站| 亚洲精品久久久久久久久久飞鱼 | 五月丁香网av| 丁香激情五月天| 五月天sesese| 婷婷五月天播| 婷婷情色五月天| 字幕网AV中文字幕| 超碰在线日夜| 久久99精品久久久久久噜噜| 99热首页在线30| 久久停停超碰| 丁香五月天社区婷婷| Se.婷婷五月天| 伊人婷婷色| 婷婷六月激情综合| 婷婷五月天免费小说| 天天色天天| 韩国中文字幕91| 久操操| 丁香五月天亚洲视频| 蜜臀久久99精品久久久久久酒店| 午夜丁香婷婷| 涩涩五月天| 久久您您综合网| 另类综合色| 丁香五月激情网| 婷婷五月综合久久中文字幕| 五月丁香黄色| 激情av| 亚洲免费观看高清完整版AV线| 开心五月丁香婷婷| 久久99热这里只有精品| 成人在线视频一区| 婷婷五月色综合| 99久热| 日本3级片偷拍网站| 99热这里只有精品1| 久久久久亚洲AV综合| 九九热色视频| 99热这里只有精品1025| 亚洲AV永久无码影院黑人| 伊人五月婷婷国产视频| 五月熟妇婷婷久久| 人人操五月天| 91碰| 婷婷五月天影视首页| 色五月天 丁香| 国产日日夜夜操| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 综合网色| 久草大| 国产97色在线 | 日韩| 丁香花五月天婷婷成人社区| 色色激情五月天| 婷婷六月久久| 婷婷丁香社区| 久久99婷婷| 丁香丁婷五月激情| 国产色五月婷婷| 激情五月婷婷在线| 人妻AV在线观看| 天天干,天天舔| 五月丁香六月婷婷在线小说视频| 五月天婷婷在线播放| 婷婷五月激情综合啪啪| 亚洲成人va| 91狠狠色色丁香婷婷综合久久| 天天舔天天摸视频| 狠狠一日| 99热久久这里只有精品2010| 九九综合精品| 操逼毛片国语对白| 婷婷久草| 狠狠草天天草| 日产精品一线二线三线芒果| 熟女激情五月天 | 九九热免费观看视频| 五月天六月婷| 久久99精品九九久久久婷婷| 精品国产乱码久久久久久免费| 婷婷五月天最新网址| 伊人婷婷91| 丁香九月久久| 日日做夜夜爱| 99男人的天堂| www.夜夜操.con| 91久久久久久| 人人玩人人橾| 人人插操| 久久黄色片| 天天操天天曰天天射| 97碰久久| 樱花99视频| yazhoujiqingav| 五月婷婷天| 日本高清久| 日韩成人综合网| 亚洲激情五月丁香久久久久| 激情五月婷婷色色| 伊人久久大香线蕉av最新| 亚洲性受XXXX五月丁香| 婷婷成人基地| 亚洲激情免费视频| 日韩美女羞羞网站在线观看| www.久久久久| 这里只有精品视频国产| 丁香五月天天久久综合小说| 精品人妻一区| 久久激情网| 国产成人精品123区免费视频| 丁香婷在线| 97热在线精品| 狠狠操综合| 久久这里只有国产视频| 激情五月丁香六月综合AVXXXX| 五月天色社区| 超碰renrenai| 六月丁香成人| 欧美情色电影一区二区| 九九人妻福利| 色狠狠色| 思思re99视频在线观看| www.激情五月天.com| 天天色伊人| 黄色99热| 色五月婷婷在线| 五月激情综合网| 热久久这里只有精品| 99干日日干| 天天做天天爱天天爽在| 欧美熟女99| 五月天停停日日| 欧美VA在线观看| 国产高清av黄色看片| 人妻性爱av网站| 六月激情婷婷| 久综合网| 狠狠精品干练久久久无码中文字幕 | 无码中文一区二区三区| 日日激情网| 色色五月婷婷网| 九九这里有精品| 青草网在线观看| 任我干视频在线观看| 九月婷婷色色| 婷婷色香六月综合激情| 97在线日本| 天天综合色| 色婷婷九月| 香蕉综合在线| 久久大国产香蕉| 婷婷五月丁香超碰| 色婷婷五月天天天天天天天天天| 婷婷五月激情小说| 亚洲1区| 日韩激情人伦人| 亚洲狠狠婷婷| 99这里都是精品| 色噜噜狠狠一区二区三区| Xx色综合| 1囯产午夜仑鲁鲁| 99操视频| 五月婷婷色五月| 亚洲夜五月| 六月丁香成人| 丁香六月综合激情| 激情五月综合婷婷| 五月情四婷婷| 日韩成人电影Av| 操一区| 色播播五月| 九九色天堂| 日日撸夜夜操| 婷婷五月色播放| 性色播| 成人一区在线观看| 婷婷五月天伊人| 婷婷五月天电影网| 五月天天天开心激情网| 色色激情五月| 狠狠色综合五月人人| 97碰在线视频| 色日本网| 99在线精品视频免费| 九九激情视频| 婷婷99| 丁香五月激情综合| 丁香五月天殴美激情| 天天搞天天色综合| 欧美婷婷丁香社区在线播放| 日日噜狠狠| Www.激情| 天天综合色丁香| 中文久久婷婷| 天天日天天久久青青| 色色色色色色色色五月先| 国产乱妇乱子伦| 五月丁香综合啪啪| 久热伊人9| 欧美槡BBBB槡BBB少妇| 伊人久久大香网| 婷婷开心久久| 【乱子伦】黄色| 亚洲天堂啪啪| 欧美偷偷操| 五月丁香久久| 色碰碰| 99愛国产| av婷婷丁香 六月| 任你操精品免费| 日韩在线视频9色| 99热官网精品在线| 自拍盗摄 另类| 久久五月丁香六月婷| 亚洲AV日韩无码| 视频一区二区在线| 天天日夜夜爽| 婷婷天堂站| 五月天另类小说| 激情五月天之六月婷婷| 99热爱爱干干日| 久热99久热| AV中文网| 亚洲色另类| 婷婷情色五月天| 丁香五月婷婷色| 99这里只有精品国产| 秋霞A V毛片| 99热大| 男人的天堂婷婷色五月| 天天爽天天爽| 久婷婷婷| 久久这里只有精品8| 天天射射夜| 色5在线| 丁香六月激情四射| 婷婷五月天丁香久久| 日本女色人人| 99re在线观看| 五月天激情影院| 荷兰av一级| 激情五月天色婷婷| 综合色五月天| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 丁香六月婷婷一区| 九色91视频| 五月天婷婷色色首页| 热日韩欧美| 丁香五月影院| 激情四射五月天| 991精品在线视频| 色停停五月天| 激情综合丁| 日日夜夜青青草| 看黄的网站18禁| 99久热在线精品| 97日在线视频| 人妻有码乱操| 成人中文网| 欧美色五月| 91日韩在线| 日本色视| 男人天堂伊人五月丁香| 九热久| 九月大香蕉| 久操香蕉| 国产欧美日韩综合精品一区二区| 久久99久久99久久99人受| 99热.com| 六月丁香啪啪啪| 欧美性爱中文字幕| 婷婷综合在线| 曰日爽日日操| 99re最新地址| 丁香五月天啪啪激情综合网| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 五月丁香激情五月天| 久久久婷婷| 色婷视频| 综合色99| 色婷婷88| 综合狠狠干| 91激情五月开心| 五月婷婷综合性爱噜噜| 日本少妇AA一级特黄大片| 高清 码 免费看片短视频| 亚州男人天堂婷婷五月| 五月久久综合| 婷婷五月激情欧美大胆视频| 嫩草AV久久伊人妇女超级A| 思思热在线观看| 久久久久人妻网址| 五月婷婷丁香| 九九色逼| 国产成人网址| 久久久网站| 五月丁香成人网| 五月香婷婷| 99日本黄站| 丁香婷婷性爱| www夜夜操wwwcon| 婷婷五月天亚洲激情戏精品| 九九视频精品在线免费| 久久99久久99精品免视看婷婷| 777.色色| 亚洲色五月天在线| 五月天婷婷丁香蜜桃91| 国产精品噜噜在线视频| 婷婷开心青青草| 2025天天爽天天摸| 天天干天天干天天干天天干天天干天天| 九九热只有精品6| 99久久这里只有精品免费官网| 天天色天天爽| 开心深爱五月天| 日本婷婷丁香五月| 五月丁香亭亭成人电影| 情情五月天色| 九九热这里只有精品9| 亚洲婷婷激情888精品久| 欧美日本一区二区三区| 亚洲欧州色情在线观看| 99热这里只有的精品视 | 香蕉久久五月| 婷婷久久婷婷色五月| 色五月婷婷伊人| 丁香久月| av国产精品偷| 狠狠爱综合| 亚洲1区| 激情五月深爱五月| 色综合天天网| 无码激情精品色婷婷久久久久| 五月婷婷六月奇米网丁香| 亚洲另类噜噜| www.99情趣网| 色婷婷综合影院| 超碰人人射| 99热.com| 色婷婷激情| 又大又粗九一在线| 91九色 熟| 久久99久久久久久久噜噜| 非洲一级AV| 9999久久久久| 天天做天天视天天谢| 日本五月婷婷久久久六月丁香| 丁香婷五月| 婷婷五月天亚洲综合| 99免费热视频在线| 五月婷婷色播| 超碰在线人妻| 丁香婷婷色五月| 日日噜噜夜夜狠狠久久丁香五月| 欧美日本国产| AVV黄| 色五月激情| 色情综合网| 丁香五月婷婷成人色区| 色婷婷九月| 色婷婷五月天视频网站| 大香蕉伊人99| 婷婷六月色| 蜜桃人妻无码AV天堂三区| 超碰在线日夜| 超碰色人妾| 在线成人网址| 激情综合啪啪啪| 激情五月婷婷伊人| 色五月激情婷婷| 激情网五月天| 久热九九| 国产精品a无线| 玖玖91| 婷婷五月网图片区| 天天性视频| 六月香五月婷| 深爱激情网综合| 丁香五月AV| 婷婷色网| 99在线精品免费视频| 4399精品一区二区| 婷婷爱爱蜜臀天天操| 99噜噜噜在线播放| 精品少妇蜜臀91| 亚洲激情综合| 综合色色色| 女人被躁到高潮嗷嗷叫小| 日本人妻操| 爱射综合| 襙比视频| 亚洲视频色婷婷| 婷婷大香蕉| 人妻熟人中文字幕一区二区| 久久五月天 91| 综合久久影院| 婷婷五月激情丁香激情| 久久这里只| 国产精品五月丁香| 激情五月综合视频| 丁香五月乱中文字幕| 久9视频免费播放| 99这里| 610018岁成人视频| 色婷婷五月影院| 婷婷五月播| 五月婷婷激清网| 色情五月天丁香社区| 99热这里只有精品8| 男同色五月开心五月激情五月| 91视频精品99| 丁香五月aV| 综合激情深爱| 天天综合网91| 嫩草AV久久伊人妇女超级A| 成人人操| 色很很96| 色婷婷五月天不卡| YJLZZJLZZ亚洲乱熟无码| 婷婷成人五月天成人文学| 99久热这里只有精品| 婷婷丁香成人色综合| 9l视频自拍9l九色9l成人| 丁香五月婷婷啪| 久久丁香久久| 日本五月婷| 激情五月婷婷| 99人人操| 梁铮版《蜘蛛女侠》在线| 黄色AAAAA| 婷色五月| 久久性都花花世界成人免费视频| 五月婷婷六月丁香综合| 久久婷婷婷婷伊人| 五月天伊人| www.色婷婷| 伊人狠狠色婷婷综合丁香一区| 九九热亚洲中文在线观看免费| 色五XX| 激情网五月| 婷婷婷五月香蕉| 久久久中文| www.丁香五月| 五月天婷婷色综合| 97亚洲精品| 玖热精品综合视频| 天天天天色天天天天天干| 91碰碰| 玖玖九九超碰| 另类天堂| 五月天综合影院| 天天爱天天操| 色婷婷久久7777| 深爱五月婷婷开心中文字幕| 亚洲激情五月| 国产做A爰片毛片A片美国| 五月丁香综合影院| 婷婷六月丁香激情综合| 久久丁香五月| 色五月婷婷777| 亚洲另类婷婷综合| 狠婷婷五月| 99视频精品在线| 久久婷婷五月综合一| 五月丁香综合激情在线观看| 99热都是精品| 亚洲A片成人无码久久精品青桔| 亚洲六月色婷婷| 国产精品蜜臀99| 天天日,天天干,天天操| 超碰免费电影| 综合激情啪啪| 九九热这里只有精品6| 国自产拍偷拍精品啪啪一区二区| 色情五月天。| 五月丁香青草综合啪啪| 色优久久| 日日噜噜久久婷婷五月天| 婷婷五月天777| 狼人婷婷久久| 色婷婷狠狠禁18久久| 开心五月婷婷五月| 中文av网| 免费超碰在线观看| 9 1超碰九色| 99热亚洲精品| 中文字幕日产A片在线看| 操逼毛片国语对白| 99热这里只有精品最新| 精品久热| 色你久久| 婷婷五月天日本无码| 丁香五月手机在线| 99精品97| 日日撸日日操| 色婷五月天| 色久99| 久久99色色| 五月激情天| 婷婷综合亚洲| 婷婷丁香五月在线播放| 玖玖色综合| 色99日韩| 欧美婷婷五月天| 色www久视频| 99综合视频一体| 五月天婷婷丁香导航| 天天日日| www.五月激情.com| 99热这里只有精品3|