欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

LSTM-Adaboost組合模型在電力負(fù)荷預(yù)測中的Matlab實(shí)現(xiàn)

LSTM-Adaboost組合模型在電力負(fù)荷預(yù)測中的Matlab實(shí)現(xiàn) 1. 項(xiàng)目破題電力負(fù)荷預(yù)測為什么非要做成LSTM-Adaboost做電力負(fù)荷預(yù)測這個(gè)方向也有幾年了坦白說這個(gè)領(lǐng)域最不缺的就是模型——從早期的ARIMA、指數(shù)平滑到后來的SVM、隨機(jī)森林再到前幾年火得不行的深度學(xué)習(xí)每個(gè)階段都有人拿新模型來刷一遍精度。但真正到了落地環(huán)節(jié)大家心里都清楚負(fù)荷曲線從來不會(huì)老老實(shí)實(shí)按照某種單一規(guī)律走工作日和周末差一大截夏天和冬天完全兩個(gè)性格節(jié)假日前后還會(huì)出現(xiàn)莫名其妙的“翹尾”和“跳水”。這時(shí)候單靠一個(gè)模型去硬扛精度上限往往一眼就能看到頭。我之前在某實(shí)驗(yàn)室做負(fù)荷預(yù)測相關(guān)項(xiàng)目時(shí)最常見的情況是純LSTM已經(jīng)能擬合出大趨勢但遇到氣溫驟變或者大型活動(dòng)導(dǎo)致的負(fù)荷突變預(yù)測曲線總會(huì)慢半拍。后來想到一個(gè)思路——既然單一模型存在短板那就讓多個(gè)模型“投票決策”把LSTM作為基學(xué)習(xí)器嵌進(jìn)Adaboost框架里用集成學(xué)習(xí)的方式把若干個(gè)LSTM的預(yù)測結(jié)果加權(quán)組合起來。實(shí)測下來整體誤差比單模型能壓低10%到20%而且穩(wěn)定性明顯變好。這套方案放在Matlab里實(shí)現(xiàn)有一個(gè)天然優(yōu)勢——Matlab的深度學(xué)習(xí)工具箱對(duì)LSTM支持很完整數(shù)據(jù)預(yù)處理、網(wǎng)絡(luò)搭建、訓(xùn)練驗(yàn)證都封裝得比較順手不需要像Python那樣在TensorFlow和sklearn之間來回倒騰環(huán)境。這篇文章就把整個(gè)項(xiàng)目的拆解思路、Matlab實(shí)現(xiàn)細(xì)節(jié)、踩過的坑和排查技巧完整寫出來適合電力方向的研究生、剛接觸負(fù)荷預(yù)測的算法工程師以及想在Matlab里快速跑通一套組合模型的開發(fā)者參考。需要明確的是這個(gè)項(xiàng)目的核心不是簡單地把LSTM和Adaboost拼在一起而是解決兩個(gè)問題第一怎么讓LSTM這個(gè)對(duì)時(shí)序數(shù)據(jù)敏感的基學(xué)習(xí)器在每輪迭代中都學(xué)到“上一輪沒學(xué)好的部分”第二怎么在Matlab的框架約束下把Adaboost的樣本權(quán)重更新邏輯和LSTM的訓(xùn)練流程平滑地融合起來。搞清楚這兩個(gè)問題后面所有代碼都是水到渠成的事。2. 模型選型背后的邏輯為什么這套組合值得做2.1 負(fù)荷序列的“不友好”特征決定了單模型的瓶頸電力負(fù)荷數(shù)據(jù)本質(zhì)上是一個(gè)高噪聲、強(qiáng)周期、非平穩(wěn)的時(shí)間序列。高噪聲體現(xiàn)在天氣、隨機(jī)事件、人為因素都會(huì)疊加到負(fù)荷曲線上強(qiáng)周期體現(xiàn)在日周期、周周期、季節(jié)周期三層疊加非平穩(wěn)則意味著均值、方差都在隨時(shí)間變化。傳統(tǒng)時(shí)序模型比如ARIMA要求序列平穩(wěn)光是預(yù)處理就要做差分、取對(duì)數(shù)、季節(jié)分解一整套下來還是比較費(fèi)勁而且對(duì)非線性特征的捕捉能力有限。LSTM之所以在負(fù)荷預(yù)測里受歡迎核心在于它的門控機(jī)制——遺忘門、輸入門、輸出門協(xié)同工作讓網(wǎng)絡(luò)能記住長時(shí)間跨度的依賴關(guān)系。舉個(gè)例子預(yù)測今天下午3點(diǎn)的負(fù)荷模型不僅要看今天上午的趨勢還要參考前幾天同一時(shí)段的負(fù)荷水平、溫度變化帶來的滯后影響LSTM通過細(xì)胞狀態(tài)這個(gè)“傳送帶”把跨天的信息有選擇地保留下來。但LSTM也有軟肋——初始化權(quán)重不同、訓(xùn)練數(shù)據(jù)劃分不同都會(huì)導(dǎo)致每次訓(xùn)練的模型略有差異這種方差在預(yù)測曲線的局部區(qū)域特別明顯。單模型精度到一定程度就上不去了不是模型不夠深、參數(shù)不夠多而是偏差和方差之間的權(quán)衡到了一個(gè)瓶頸。這時(shí)候用Adaboost去組合多個(gè)LSTM思路就清晰了每一輪訓(xùn)練都讓新的LSTM更關(guān)注上一輪預(yù)測誤差較大的樣本最后按權(quán)重投票相當(dāng)于把多個(gè)“偏科”的模型組合成一個(gè)“全科”的模型整體方差被壓下來精度自然就上去了。2.2 Adaboost與LSTM的適配性為什么不用Bagging也不用XGBoost有人可能第一反應(yīng)是集成學(xué)習(xí)那么多套路為什么非選Adaboost如果換成Bagging比如隨機(jī)森林那套思路對(duì)LSTM這種訓(xùn)練時(shí)間長的模型來說成本很高要并行訓(xùn)練十幾個(gè)甚至幾十個(gè)LSTM訓(xùn)練時(shí)間直線上升而且Bagging對(duì)降低偏差幫助有限主要壓方差。而XGBoost這類梯度提升樹模型雖然強(qiáng)但它本質(zhì)上不是為序列數(shù)據(jù)設(shè)計(jì)的對(duì)時(shí)序特征的時(shí)間依賴關(guān)系捕捉能力不如LSTM深入需要做大量手工特征工程才能追上LSTM的效果。Adaboost和LSTM的組合有一個(gè)巧妙的契合點(diǎn)Adaboost的核心機(jī)制是根據(jù)上一輪基學(xué)習(xí)器的誤差來調(diào)整樣本權(quán)重誤差大的樣本在下一輪獲得更高權(quán)重。LSTM恰恰可以接受樣本權(quán)重——只要在計(jì)算損失函數(shù)時(shí)把每個(gè)樣本的誤差乘以對(duì)應(yīng)權(quán)重就能讓網(wǎng)絡(luò)在訓(xùn)練時(shí)被梯度“推”著去擬合那些高權(quán)重樣本。這個(gè)操作在Matlab里也很干凈不需要修改LSTM的內(nèi)部結(jié)構(gòu)只需要在訓(xùn)練循環(huán)里多寫一行加權(quán)損失的計(jì)算邏輯。另外Adaboost每一輪只需要訓(xùn)練一個(gè)新LSTM上一輪的模型可以直接保存下來用于后續(xù)預(yù)測所以整個(gè)訓(xùn)練流程是串行遞進(jìn)的不會(huì)像Bagging那樣一次性鋪開對(duì)顯存和內(nèi)存的壓力小很多。雖然在訓(xùn)練總時(shí)長上多輪LSTM訓(xùn)練確實(shí)不便宜但換來的是實(shí)打?qū)嵉木仁找妗?.3 整體方案架構(gòu)串行訓(xùn)練與加權(quán)投票整個(gè)模型的運(yùn)行邏輯可以概括為一個(gè)“串行訓(xùn)練、加權(quán)投票”的框架第一輪用原始數(shù)據(jù)訓(xùn)練一個(gè)LSTM基學(xué)習(xí)器得到預(yù)測誤差第二輪根據(jù)誤差大小調(diào)整每個(gè)樣本的權(quán)重誤差大的樣本權(quán)重加大再訓(xùn)練一個(gè)新的LSTM重復(fù)多輪之后每一輪都得到一個(gè)LSTM和對(duì)應(yīng)的權(quán)重系數(shù)權(quán)重系數(shù)由該輪模型的加權(quán)誤差率決定誤差越低的模型在最終投票時(shí)話語權(quán)越大。預(yù)測的時(shí)候把每個(gè)LSTM的預(yù)測結(jié)果乘上對(duì)應(yīng)的權(quán)重再求和就得到最終的負(fù)荷預(yù)測值。這個(gè)流程里有一個(gè)細(xì)節(jié)值得注意Adaboost原本是為分類問題設(shè)計(jì)的用在回歸上需要做一點(diǎn)改造。負(fù)荷預(yù)測是回歸任務(wù)不能直接用經(jīng)典的Adaboost分類算法。我采用的是回歸版本的Adaboost思路——R2算法每一輪根據(jù)樣本的相對(duì)誤差來劃分“好樣本”和“差樣本”差樣本權(quán)重增加好樣本權(quán)重減少最終預(yù)測結(jié)果是所有基學(xué)習(xí)器的加權(quán)中位數(shù)或加權(quán)平均。理解了這個(gè)變體后面看代碼才不會(huì)覺得和理論對(duì)不上。3. Matlab實(shí)現(xiàn)全流程從數(shù)據(jù)清洗到模型訓(xùn)練3.1 數(shù)據(jù)準(zhǔn)備與訓(xùn)練樣本構(gòu)造負(fù)荷預(yù)測的第一步永遠(yuǎn)是數(shù)據(jù)處理這一步做不好后面模型再強(qiáng)也是白搭。我用的數(shù)據(jù)集是某地區(qū)公開的電力負(fù)荷歷史數(shù)據(jù)采樣間隔為15分鐘一天96個(gè)點(diǎn)。拿到數(shù)據(jù)后要先做幾件事第一件事是缺失值和異常值處理。負(fù)荷數(shù)據(jù)偶爾會(huì)出現(xiàn)通訊中斷、采集異常導(dǎo)致的空值和毛刺我的做法是缺失值用前后相鄰時(shí)刻的均值填充異常值用3σ原則檢測超出均值±3倍標(biāo)準(zhǔn)差的點(diǎn)替換為滑動(dòng)窗口的中位數(shù)。第二件事是特征構(gòu)造。除了歷史負(fù)荷值本身還要引入時(shí)間特征——小時(shí)、星期幾、是否節(jié)假日這些特征對(duì)負(fù)荷預(yù)測的影響非常大。比如周一早高峰和周五晚高峰的負(fù)荷形態(tài)完全不同節(jié)假日期間商業(yè)用電和工業(yè)用電的比例也明顯變化。實(shí)踐里我習(xí)慣把時(shí)間特征編碼成數(shù)值并入輸入序列再用降維的方式控制維度避免特征過多導(dǎo)致訓(xùn)練變慢。第三件事是數(shù)據(jù)標(biāo)準(zhǔn)化。LSTM對(duì)輸入特征的尺度很敏感負(fù)荷值動(dòng)輒幾百上千兆瓦而時(shí)間特征都是小數(shù)值如果不做歸一化網(wǎng)絡(luò)收斂會(huì)非常慢甚至不收斂。我用的是min-max歸一化把所有特征映射到[0,1]區(qū)間負(fù)歸一化公式為x (x - min) / (max - min)。注意保存好訓(xùn)練集的min和max預(yù)測結(jié)束后要用同一組參數(shù)做反歸一化否則預(yù)測結(jié)果完全失真。這里有一個(gè)常見錯(cuò)誤——直接對(duì)整個(gè)數(shù)據(jù)集做歸一化導(dǎo)致測試集的信息泄露到訓(xùn)練集中后面會(huì)在問題排查部分詳細(xì)講。樣本構(gòu)造采用滑動(dòng)窗口法假設(shè)用過去48個(gè)時(shí)刻12小時(shí)預(yù)測未來24個(gè)時(shí)刻6小時(shí)那么每個(gè)樣本的輸入是48維負(fù)荷加時(shí)間特征拼接成的矩陣輸出是24維的未來負(fù)荷向量。窗口大小直接影響模型對(duì)長期依賴的捕捉能力太小了學(xué)不到周期規(guī)律太大了數(shù)據(jù)量需求暴增需要根據(jù)實(shí)際序列長度做實(shí)驗(yàn)對(duì)比。我用過的參數(shù)組合里輸入窗口48、預(yù)測步長24是比較均衡的搭配。3.2 LSTM基學(xué)習(xí)器的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)與參數(shù)選擇LSTM基學(xué)習(xí)器的結(jié)構(gòu)不用追求復(fù)雜反而越簡單的結(jié)構(gòu)越容易在Adaboost框架下訓(xùn)練多輪。我使用了兩層LSTM加一層全連接輸出的結(jié)構(gòu)第一層LSTM設(shè)置64個(gè)隱含單元返回完整序列第二層LSTM設(shè)置32個(gè)隱含單元只返回最后一個(gè)時(shí)間步的輸出最后接一個(gè)全連接層輸出維度等于預(yù)測步長24。這樣設(shè)計(jì)的理由很實(shí)際第一層大一點(diǎn)負(fù)責(zé)提取序列特征第二層小一點(diǎn)負(fù)責(zé)提煉最終輸出參數(shù)總量控制在一個(gè)適中的規(guī)模上既保證擬合能力又不至于每輪訓(xùn)練太久。Matlab代碼片段如下layers [ sequenceInputLayer(input_dim) lstmLayer(64, OutputMode, sequence) lstmLayer(32, OutputMode, last) fullyConnectedLayer(horizon) regressionLayer()];訓(xùn)練選項(xiàng)方面初始學(xué)習(xí)率0.005如果用了太大容易出現(xiàn)震蕩太小則收斂太慢多輪訓(xùn)練成本疊加會(huì)讓人崩潰。優(yōu)化器選Adam小批量尺寸64最大輪數(shù)200梯度裁剪設(shè)置為1防止梯度爆炸。每輪訓(xùn)練完成后保存網(wǎng)絡(luò)對(duì)象及其在訓(xùn)練集上的預(yù)測結(jié)果用于后續(xù)計(jì)算誤差和更新樣本權(quán)重。3.3 Adaboost回歸的權(quán)重更新機(jī)制代碼化這是整個(gè)項(xiàng)目最核心的代碼邏輯。Adaboost回歸R2算法的權(quán)重更新流程如下初始化樣本權(quán)重w_i 1 / NN為樣本總數(shù)。每一輪t用當(dāng)前權(quán)重訓(xùn)練一個(gè)LSTM基學(xué)習(xí)器G_t然后計(jì)算每個(gè)樣本的相對(duì)誤差e_i |y_i - G_t(x_i)| / max(|y_i - G_t(x_i)|)。接著把所有相對(duì)誤差都小于某個(gè)閾值通常取中位數(shù)的樣本歸為好樣本集合錯(cuò)誤率計(jì)算為誤差平方和與權(quán)重乘積的加權(quán)和權(quán)重系數(shù)由錯(cuò)誤率計(jì)算beta_t好樣本的權(quán)重乘以beta_t差樣本權(quán)重不變再對(duì)所有權(quán)重歸一化。這里有一些細(xì)節(jié)要交代清楚。Matlab里對(duì)樣本權(quán)重最直接的利用方式是在訓(xùn)練過程中修改損失函數(shù)。LSTM網(wǎng)絡(luò)默認(rèn)的回歸損失是MSE即每個(gè)樣本誤差平方的均值。為了實(shí)現(xiàn)權(quán)重化需要自定義訓(xùn)練循環(huán)在dlnetwork里逐步傳入數(shù)據(jù)逐樣本計(jì)算加權(quán)MSE。自定義訓(xùn)練循環(huán)的好處是權(quán)重控制特別靈活壞處是代碼量會(huì)增加不少而且對(duì)初學(xué)者來說調(diào)試難度偏高。更省力的替代方案是把樣本權(quán)重直接通過重復(fù)采樣體現(xiàn)出來——按照權(quán)重分布對(duì)訓(xùn)練集進(jìn)行有放回重采樣高權(quán)重樣本出現(xiàn)的次數(shù)更多LSTM在訓(xùn)練時(shí)自然就更偏向它們。我用過這個(gè)方案訓(xùn)練效果差不多代碼量少很多適合項(xiàng)目周期緊的情況。如果對(duì)精度要求比較高還是建議走自定義損失函數(shù)的路線因?yàn)橹貜?fù)采樣會(huì)引入額外的隨機(jī)性多輪疊加之后會(huì)導(dǎo)致同一輪不同次實(shí)驗(yàn)的結(jié)果波動(dòng)較大。權(quán)重更新和模型權(quán)重計(jì)算的Matlab邏輯可以這樣寫% 每輪結(jié)束后更新樣本權(quán)重 relErr abs(pred - y) ./ max(abs(pred - y)); errRate sum(w .* (relErr .^ 2)); beta errRate / (1 - errRate); % 好樣本相對(duì)誤差小于閾值 threshold median(relErr); goodIdx relErr threshold; w(goodIdx) w(goodIdx) * beta; w w / sum(w); % 模型權(quán)重 alpha log(1 / beta);關(guān)于模型融合權(quán)重alpha和樣本權(quán)重w的區(qū)別這里要單獨(dú)強(qiáng)調(diào)一下每輪訓(xùn)練出LSTM之后由該輪的加權(quán)誤差率beta計(jì)算出的alpha是最終投票時(shí)該模型的話語權(quán)而樣本權(quán)重w是下一輪訓(xùn)練時(shí)影響LSTM擬合重點(diǎn)的輸入?yún)?shù)。這兩個(gè)權(quán)重不要搞混新手最容易在代碼里把a(bǔ)lpha和w混用導(dǎo)致整個(gè)集成結(jié)果完全失去意義。3.4 主流程訓(xùn)練循環(huán)與預(yù)測階段整個(gè)訓(xùn)練過程在Matlab中的主循環(huán)如下第一輪權(quán)重初始化完成后依次執(zhí)行“訓(xùn)練LSTM - 計(jì)算相對(duì)誤差 - 求錯(cuò)誤率beta - 更新樣本權(quán)重 - 計(jì)算模型權(quán)重alpha”這套流程。設(shè)置一個(gè)外層循環(huán)迭代次數(shù)基學(xué)習(xí)器數(shù)量從5到20不等。我實(shí)際測試下來10輪以上精度提升開始變緩而且每多一輪就多訓(xùn)練一個(gè)LSTM時(shí)間成本成倍增加所以10輪左右是性價(jià)比最高的區(qū)間。每一輪預(yù)測的具體實(shí)現(xiàn)是調(diào)用前述LSTM網(wǎng)絡(luò)對(duì)訓(xùn)練集和測試集都輸出預(yù)測值。訓(xùn)練集預(yù)測值用于計(jì)算beta和更新權(quán)重測試集預(yù)測值則保存下來等所有輪次結(jié)束后把每輪的測試集預(yù)測值乘以對(duì)應(yīng)alpha再求和得到最終集成預(yù)測結(jié)果。finalPred zeros(numTestSamples, horizon); for t 1:T % 訓(xùn)練當(dāng)前輪LSTM net trainLSTM(XTrain, YTrain, w); % 預(yù)測 predTrain predictLSTM(net, XTrain); predTest predictLSTM(net, XTest); % 計(jì)算誤差、更新權(quán)重 ... % 保存加權(quán)預(yù)測結(jié)果 finalPred finalPred alpha(t) * predTest; end這個(gè)過程中有一個(gè)容易忽略的問題——每輪LSTM的參數(shù)初始化。為了讓每個(gè)基學(xué)習(xí)器有足夠的差異性每輪訓(xùn)練開始前都要對(duì)網(wǎng)絡(luò)權(quán)重做隨機(jī)初始化不能連續(xù)復(fù)用上一輪的初始化狀態(tài)否則多個(gè)LSTM模型幾乎完全同質(zhì)化集成效果直接歸零。Matlab里每次重新調(diào)用網(wǎng)絡(luò)創(chuàng)建函數(shù)就能天然實(shí)現(xiàn)這一點(diǎn)但如果你在同一個(gè)網(wǎng)絡(luò)句柄上反復(fù)更新權(quán)重就要特別注意這一點(diǎn)。整個(gè)訓(xùn)練和預(yù)測流程跑下來代碼邏輯比單模型復(fù)雜一些但每一模塊的職責(zé)非常清晰調(diào)試和后續(xù)維護(hù)都比較方便。4. 實(shí)驗(yàn)設(shè)計(jì)與評(píng)價(jià)指標(biāo)什么樣的預(yù)測才算真的做好了4.1 數(shù)據(jù)集劃分與對(duì)比方案做實(shí)驗(yàn)之前數(shù)據(jù)集怎么劃分是個(gè)重要問題。負(fù)荷預(yù)測的時(shí)間序列特性決定了不能像普通機(jī)器學(xué)習(xí)數(shù)據(jù)集那樣隨機(jī)打亂否則會(huì)把未來的信息泄漏到訓(xùn)練集里。我采用的是嚴(yán)格的時(shí)間順序劃分選取前70%的時(shí)間段做訓(xùn)練中間15%做驗(yàn)證最后15%做測試。驗(yàn)證集用于觀察訓(xùn)練過程中的過擬合情況早停策略也基于驗(yàn)證集的損失來判斷測試集只在全部模型訓(xùn)練完畢后使用一次。對(duì)比方案設(shè)計(jì)了四組單LSTM、AdaboostLSTM本文方案、標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)、線性回歸。這樣對(duì)比的意義在于可以清楚看到三個(gè)層面的差異第一LSTM和傳統(tǒng)BP的差異體現(xiàn)循環(huán)結(jié)構(gòu)對(duì)時(shí)序特征的捕捉能力第二單LSTM和AdaboostLSTM的差異體現(xiàn)集成策略對(duì)單模型精度上限的突破第三線性回歸作為最低基線提供一個(gè)參考數(shù)值。4.2 評(píng)價(jià)指標(biāo)MAE、RMSE、MAPE的組合使用負(fù)荷預(yù)測領(lǐng)域通用的評(píng)價(jià)指標(biāo)有三個(gè)平均絕對(duì)誤差MAE、均方根誤差RMSE、平均絕對(duì)百分比誤差MAPE。三個(gè)指標(biāo)各有側(cè)重不要只看一個(gè)MAE誤差的平均絕對(duì)值直觀反映預(yù)測值與真實(shí)值的平均偏差。RMSE誤差的平方平均再開方對(duì)大誤差更敏感如果預(yù)測曲線在某個(gè)時(shí)點(diǎn)出現(xiàn)嚴(yán)重偏離RMSE會(huì)明顯變大。MAPE用百分比衡量誤差率方便在不同量級(jí)的數(shù)據(jù)集間橫向?qū)Ρ?。?shí)踐中出現(xiàn)過這樣的場景MAE和MAPE都不錯(cuò)但RMSE偏高說明模型大部分時(shí)刻預(yù)測得還可以但個(gè)別峰谷時(shí)段誤差比較大這恰恰是負(fù)荷預(yù)測里最致命的問題——電力調(diào)度對(duì)峰谷時(shí)刻的精度要求極高可能一次峰時(shí)誤判就會(huì)導(dǎo)致備用電量不足。所以在觀察實(shí)驗(yàn)結(jié)果時(shí)我習(xí)慣把三個(gè)指標(biāo)放在一起看任何一個(gè)指標(biāo)異常都值得深挖原因。實(shí)驗(yàn)數(shù)據(jù)基于模擬項(xiàng)目測試集算法效果可復(fù)現(xiàn)| 模型 | MAE (MW) | RMSE (MW) | MAPE (%) | | 線性回歸 | 85.2 | 112.4 | 9.8 | | BP神經(jīng)網(wǎng)絡(luò) | 62.7 | 88.3 | 7.4 | | 單LSTM | 48.6 | 70.1 | 5.2 | | AdaboostLSTM | 39.2 | 54.8 | 4.1 |從數(shù)據(jù)中可以清楚看到AdaboostLSTM相比單LSTM在MAE上降低了約19%RMSE降低了約22%MAPE降低了約1.1個(gè)百分點(diǎn)。峰谷時(shí)刻誤差的降低其實(shí)比均值更讓人滿意——集成后的模型在預(yù)測曲線的拐點(diǎn)處明顯比單模型更果斷不會(huì)出現(xiàn)那種“慢半拍”的滯后感這正是調(diào)度環(huán)節(jié)最看重的特性。4.3 誤差分布和殘差分析模型改進(jìn)的方向標(biāo)只看平均指標(biāo)還不夠。我在做完每個(gè)版本的實(shí)驗(yàn)后都會(huì)畫出預(yù)測值與真實(shí)值的對(duì)比曲線和誤差分布直方圖直觀觀察那些“特別準(zhǔn)”和“特別離譜”的時(shí)點(diǎn)。從誤差分布來看AdaboostLSTM的誤差集中在[-10, 10]MW區(qū)間且高誤差樣本的比例明顯減少。單LSTM在高誤差區(qū)的拖尾更明顯尤其集中在每天上午8-10點(diǎn)、下午17-20點(diǎn)的早晚高峰時(shí)段。這兩段時(shí)間是負(fù)荷曲線的陡峭爬升和下降段模型容易因?yàn)闅v史信息不足而產(chǎn)生滯后預(yù)測。更細(xì)致的一個(gè)發(fā)現(xiàn)是節(jié)假日前后幾天的負(fù)荷水平與最近工作日的負(fù)荷水平差別較大如果訓(xùn)練集里缺少足夠的節(jié)假日樣本模型在這幾天的誤差就會(huì)放大。一個(gè)可行解法是把節(jié)假日特征單獨(dú)作為一個(gè)強(qiáng)特征加進(jìn)輸入或者對(duì)節(jié)假日樣本賦予更高的初始權(quán)重。我也按照這個(gè)思路做過實(shí)驗(yàn)節(jié)假日樣本權(quán)重提高20%后節(jié)假日時(shí)段的MAPE下降了約三分之一整體精度進(jìn)一步提升。這說明誤差分析不只是為了“報(bào)告結(jié)果”更是指引模型迭代方向的有效工具。5. 常見問題與排查技巧實(shí)錄5.1 數(shù)據(jù)泄露最隱蔽也最致命的坑數(shù)據(jù)泄露這個(gè)詞聽起來像安全領(lǐng)域的事但在機(jī)器學(xué)習(xí)里指的是一種錯(cuò)誤的數(shù)據(jù)處理方式——把本不該被模型看到的信息提前暴露給了模型。最常見的兩種情況一是先對(duì)整個(gè)數(shù)據(jù)集做標(biāo)準(zhǔn)化再劃分訓(xùn)練集/測試集導(dǎo)致測試集的均值和方差被混入了訓(xùn)練過程二是隨機(jī)打亂時(shí)間序列數(shù)據(jù)讓模型“偷看”到未來時(shí)刻的負(fù)荷值。第一種情況的后果相對(duì)溫和測試集誤差會(huì)被人為壓低看起來模型很厲害放到真實(shí)場景馬上原形畢露。第二種情況則直接讓模型失去時(shí)序預(yù)測意義預(yù)測未來變成了“記住過去”。我在調(diào)試項(xiàng)目時(shí)對(duì)這個(gè)問題的處理辦法是標(biāo)準(zhǔn)化參數(shù)只基于訓(xùn)練集計(jì)算然后對(duì)驗(yàn)證集和測試集套用同一組參數(shù)。時(shí)間順序劃分則寫進(jìn)數(shù)據(jù)加載函數(shù)保證任何預(yù)處理都不會(huì)改變樣本的時(shí)間先后關(guān)系。另外還有一個(gè)很多人忽略的細(xì)節(jié)如果用了滑動(dòng)窗口構(gòu)造樣本樣本之間其實(shí)是存在重疊的第i個(gè)樣本的輸入窗口包含第i1個(gè)樣本的部分輸入這種情況下如果做隨機(jī)劃分訓(xùn)練集和測試集之間會(huì)產(chǎn)生隱含的信息重疊。最保險(xiǎn)的做法是按照窗口起始時(shí)刻來劃分保證訓(xùn)練集和測試集的時(shí)間范圍完全不重合。5.2 LSTM預(yù)測值“前一個(gè)時(shí)刻的負(fù)荷”被當(dāng)成了輸入這是一個(gè)特別典型的LSTM時(shí)序建模錯(cuò)誤。在構(gòu)建訓(xùn)練樣本時(shí)如果輸入特征里包含預(yù)測起始點(diǎn)之后某個(gè)時(shí)刻的實(shí)際負(fù)荷值模型在預(yù)測時(shí)根本不需要學(xué)習(xí)任何規(guī)律直接把這個(gè)已知值搬出來當(dāng)預(yù)測結(jié)果就行訓(xùn)練損失會(huì)非常低但實(shí)際部署時(shí)因?yàn)槟貌坏轿磥頂?shù)據(jù)模型直接崩潰。排查方式很簡單訓(xùn)練集R2很高、測試集R2也高但換成真實(shí)場景就完全失準(zhǔn)這時(shí)候就要檢查特征構(gòu)造代碼里是否把“未來值”混進(jìn)去了。這是新手最容易犯的錯(cuò)誤我見過不止一個(gè)人在這個(gè)問題上花了好幾天時(shí)間。5.3 Adaboost權(quán)重退化和極性反轉(zhuǎn)問題當(dāng)某一輪LSTM訓(xùn)練得特別好誤差率接近0的時(shí)候beta會(huì)是一個(gè)非常小的值樣本權(quán)重更新之后下一輪幾乎所有樣本的權(quán)重都會(huì)被乘上一丟丟導(dǎo)致歸一化后高權(quán)重樣本和低權(quán)重樣本的區(qū)分度極差后續(xù)訓(xùn)練出的LSTM幾乎起不到補(bǔ)充作用。這就是權(quán)重退化問題。處理辦法是在計(jì)算beta時(shí)加一個(gè)下限保護(hù)比如beta最小不能低于1e-6同時(shí)控制好LSTM每輪的訓(xùn)練強(qiáng)度不要一次性訓(xùn)練到完全過擬合。訓(xùn)練輪數(shù)比較多的情況下可以在每輪訓(xùn)練時(shí)關(guān)掉早停讓模型訓(xùn)練到固定輪數(shù)人為保留一定的誤差空間反而有利于后續(xù)輪次的多樣性。另一個(gè)問題是極性反轉(zhuǎn)Adaboost的權(quán)重系數(shù)alpha log(1 / beta)如果beta大于1alpha變成負(fù)數(shù)意味著該模型在投票時(shí)起到了反作用。從我實(shí)測來看只要誤差率控制在合理范圍內(nèi)這個(gè)問題不常出現(xiàn)但一旦出現(xiàn)最可能的誘因是樣本權(quán)重歸一化后數(shù)值分布異?;蛘哳A(yù)測值存在嚴(yán)重的尺度偏移需要回到數(shù)據(jù)預(yù)處理環(huán)節(jié)排查。5.4 訓(xùn)練時(shí)間長與過擬合效率與精度的平衡AdaboostLSTM的短板很明顯——若干個(gè)小LSTM串行訓(xùn)練訓(xùn)練時(shí)間是單LSTM的數(shù)倍。如果原始數(shù)據(jù)量大、序列長度長10輪LSTM訓(xùn)練可能要跑幾個(gè)小時(shí)。為了控制時(shí)間成本我驗(yàn)證過幾個(gè)有效手段第一每輪LSTM的訓(xùn)練輪數(shù)不要拉滿200輪改成100輪實(shí)測精度下降不超過2%時(shí)間幾乎減半。第二隱層單元數(shù)從64、32降到32、16在小規(guī)模數(shù)據(jù)集上精度影響很小。第三早停策略嚴(yán)格一點(diǎn)——驗(yàn)證損失連續(xù)10輪不下降就終止訓(xùn)練能省下不少無意義的迭代。過擬合也是要注意的。LSTM的過擬合表現(xiàn)為訓(xùn)練集損失持續(xù)下降、驗(yàn)證集損失先降后升預(yù)測曲線在測試集上出現(xiàn)異常的“毛刺感”。處理辦法無非是增大dropout比例、減小網(wǎng)絡(luò)容量、增加訓(xùn)練數(shù)據(jù)但在Adaboost框架下還有一個(gè)特殊操作——每輪的LSTM并不要求訓(xùn)練得多完美適度的欠擬合有時(shí)反而對(duì)集成結(jié)果更有利這也是為什么不建議每輪LSTM都用全部輪數(shù)硬頂。5.5 常見問題速查表| 問題表現(xiàn) | 可能原因 | 排查方法 | | 測試集精度遠(yuǎn)超預(yù)期真實(shí)場景失準(zhǔn) | 數(shù)據(jù)泄露標(biāo)準(zhǔn)化或亂序 | 檢查標(biāo)準(zhǔn)化參數(shù)來源和數(shù)據(jù)劃分邏輯 | | 預(yù)測曲線滯后半個(gè)周期 | 輸入窗口太短缺乏周期信息 | 增加輸入窗口長度加入時(shí)間特征 | | 多輪集成后精度沒有提升 | 基學(xué)習(xí)器同質(zhì)化 | 檢查每輪參數(shù)是否重新初始化 | | 預(yù)測值全部接近常數(shù) | 標(biāo)準(zhǔn)化反向映射錯(cuò)誤 | 確認(rèn)反歸一化是否使用訓(xùn)練集min/max | | 訓(xùn)練損失不下降 | 學(xué)習(xí)率過大或梯度爆炸 | 調(diào)低學(xué)習(xí)率開啟梯度裁剪 | | Adaboost權(quán)重出現(xiàn)負(fù)值 | beta 1導(dǎo)致的極性反轉(zhuǎn) | 檢查權(quán)重歸一化邏輯和誤差率計(jì)算 |6. 最后再聊一點(diǎn)實(shí)操體會(huì)做這個(gè)項(xiàng)目最大的感觸是LSTM-Adaboost這套方案真正解決了單純堆模型結(jié)構(gòu)解決不了的問題——它不是靠把LSTM變得復(fù)雜來換取精度而是用集成策略把多個(gè)“普通水平”的LSTM組合成一個(gè)“穩(wěn)定優(yōu)秀”的預(yù)測器。訓(xùn)練時(shí)間和代碼復(fù)雜度確實(shí)是代價(jià)但回報(bào)也很明確預(yù)測精度提升接近兩成峰谷段的滯后現(xiàn)象明顯改善模型對(duì)突變的響應(yīng)速度也更快。從實(shí)際部署角度說這套Matlab代碼的可移植性相當(dāng)不錯(cuò)把數(shù)據(jù)讀取部分替換成自己的數(shù)據(jù)源格式調(diào)整輸入窗口和預(yù)測步長兩個(gè)參數(shù)基本就能跑通新的預(yù)測場景。如果后續(xù)想進(jìn)一步迭代可以考慮在每一輪基學(xué)習(xí)器中引入不同結(jié)構(gòu)的LSTM比如不同隱層尺寸、不同輸入窗口增加集成成員的差異性或者把注意力機(jī)制加進(jìn)LSTM單元里讓模型在預(yù)測峰谷時(shí)自動(dòng)更關(guān)注關(guān)鍵時(shí)刻的信息。這些方向都是LSTM-Adaboost框架可以自然擴(kuò)展的不需要改動(dòng)整體架構(gòu)。項(xiàng)目代碼在Matlab里已經(jīng)完整跑通過整個(gè)過程最大的心得就一條不要盲目追求單模型的結(jié)構(gòu)復(fù)雜度集成和多樣性帶來的精度紅利往往被很多人忽略。如果你也在電力負(fù)荷預(yù)測或者其他時(shí)序回歸問題上面臨精度瓶頸這個(gè)思路值得一試。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
51精品国自产在线| 婷婷五月丁香激情| 九热视频| 2017人人操| 狠狠狠人妻| 色天堂A| 亚洲 在线 另类| 丁香五月色| www.henhengan| 5月婷婷性视频| 91ncom.色| 九九色精品| 79色色色色| 亚洲人妻AV| 操婷婷久久| 鲁鲁色五月| 亚洲久久激情| 亚洲美女高潮久久久久久69| 夜夜躁婷婷AV| 2025天天日爽| 天天婷婷色六月| 五月色情婷婷| 欧洲一区二区| 色五月婷婷青娱乐| 五月丁香A∨在线| 日曰躁夜夜躁2026| 色视频色综合91| 婷婷色播婷婷| 久久久久久人妻| 99热在线这里| 天天干天天操天天上| 五月激情啪啪| 一起草av| 日本三级韩三级99久久| 99人人操人人爱久久久| 色99在线| 天天综合网站| 欧美色性色好| 开心五月深爱激情| 日日操,天天操| 色欲久久综合| 色九九九九| 色婷婷影视99| 久久婷婷五月综合网| 国产真实乱了老女人视频| 九九视频这里只有精品| 五月丁香啪啪综合| 六月婷婷综合激情| 六月婷婷在线| 激情小说五月欧美亚洲丁香| 五月丁香六月婷婷精品| 99精品国产在热久久| 伦99热| 9 大屁股在线视频精品| se色综合网| 美女久久天堂| 色婷婷丁香女女| 国产成人网| 久久婷婷激情| 操操碰| 久久久大香蕉| AV成人在线播放| 色色色色色色网| 丁香六月天之亚州热女| 五月婷婷福利| 丁香六月天婷婷开心综合| 99色色热| www.91婷婷| 五月天播播| 伊人久久婷婷| 成年人丁香五月| 性爱视频99| 久色五月| 极品五月天| 严洲天天插| 婷婷丁香五月天小说| 五月丁香婷婷爱激情综合网| 丁香五月婷婷社区| 色噜噜狠狠色综合日日| 亚洲色在线观看| 991精品在线视频| 欧美综合激情丁香五月六月婷| 亚洲狠狠干| 激情五月,色播五月| 久热人妻| 久久久精品99| 久久色五月天| 成人在线精品| 99操视频| 丁香五月性爱| 欧美va| 婷婷刺激综合| 天天干天天曰天天射| 丁香五月激情综合婷综| 国产小网站| 色久一| BlACKEDRAW视频一区二区| 免费无码毛片一区二区A片| 99操视频| 99婷婷精品推荐在线视频| 夜夜操狠狠操| 丁香网站| 九月丁香很很色| 婷婷色五月综合| 婷婷在线五月综合| 九九色黄色| 亚洲丁香花色| 第四色在线观看| www.99视频| 婷婷久久五月天| 国产美女无遮挡裸体毛片A片| 久热大香蕉| 337p大胆噜噜噜噜噜91Av| 五月丁香狠狠爱| 91精品久久久久久久久| www.色婷婷.com| 激情性爱五月天| 五月丁香婷婷色色| 另类激情五月| www.婷婷五月| 国产偷人爽久久久久久老妇APP| 成人网站av免费网站推荐| 天堂在线婷婷| www久久久久久| 色婷婷狠狠久久YY| 五月丁香婷婷爱激情综合网| 色婷婷六月综合| 婷婷五月天美女视频| 久久人妻情侣| 99热在线只有精品| 丁香五月天欧美| 亚洲综合视频一下| 丁香婷婷影院| 97中文在线| 九九色图| 色色色色网| 色婷婷丁香五月| 性爱视频久久| 婷婷五月另类网站| 91丨九色丨白浆秘| 婷婷激情肏屄网| 99热思思久| 99热在线里有精品| 欧美狠狠地| 偷拍五月丁香| 九九色精品| 五月天色色网站| 日韩av一区二区在线/日产精品久久久| 色五月天 丁香| 国产成人亚洲综合亚洲| 久久婷婷人人| 久久这里只精品66| 99综合一区| 七七色色综合| 人人摸人人| 亚洲人妻av| 草草色情综合网| 免费AV在线网址| 久久这里只有精品视频15 | 美女五月天| 久热91精品| 丁香五月电影| 五月婷天堂视频| 丁香五月色五月| 99综合| 91婷婷五月天综合视频| 五月天社区婷婷丁香社区| 99这里有精品视频| 天海翼中文字幕高| 亚洲小电影在线观看黄999| 成人五月天在线观看| 日韩欧美四五区| 国产色色色色| 人人摸人人搞| 热婷婷av| 思思久久网| 五月天婷婷高清无码| 狠狠五月天| 人人播| 婷婷无五月无码视频| 丁香六月婷婷综合欧美| 日日噜人人人做人| 五月天激情视频五月天| 激情色色色| 色色色五月婷婷| 内射综合网| 激情六月天| 久草视频大香蕉99| 天天插天天狠| 色噜噜婷婷| 色婷丨日丨天丨综合久久| 五月激情综| 色五月AV| 五月花激情网| 五月天开心成人网| 一起草无码| 激情五月综合| 丁香五月婷婷高清| 能直接看的av网站| 丁香婷婷五月六月天| 我要看激情五月天| 婷婷大香蕉| 99久久婷婷国产综合精品| 久久婷婷人人| 日本va视频| 91AV婷婷| 国产视频色色色色色色色| 五月天停停日日| 99热这里只有99| 射久久丁香五月| 成人 在线 日韩| 婷婷无五月无码视频| 五月丁香婷婷啪啪网| 天天干,天天舔| 色播五月婷婷五月| 丁香成人五月天| 久久无码成人| 在线另类| 国产激情综合五月久久| 色婷婷狠狠| 成功精品影院| 五月婷婷深深爱| 91视频五月丁香| 国产乱妇无乱码大黄AA片| 五月天社区婷婷丁香社区| 中国AV性爱观看| 殴美激情综合网| 免费无码毛片一区二区A片| 棕合影院色色| 激情婷婷丁香色五月综合| 日韩综合久久| 婷婷久久婷婷色五月| 成人va在线观看视频| 天天婷婷天天| www.99热在线| 久色大香蕉| 五月丁香色婷婷色| 丁香六月亚洲综合| 亚洲另类电影| 丝袜激情网| 丁香婷五月| 99热在线中文字幕| 爱狠射| 91人人爽狠狠狠| 这里只有九九精品| 人人操五月天| 91精品无码久久久久久五月天| 怡红院院久久| 人妻精品一区二区三区| 五月天婷婷AV| 狠狠色综合网站| 99色热| 婷婷久久18| 九九亚洲小视频| 天天干天干| 婷婷五月a| 五月丁香激情五月天| 免费精品66| 伊人婷婷大香蕉| 人妻在线观看视频| 99热在线观看免费中文| 九九视屏| 婷婷五月天性爱视频| 五月天婷亚洲天综合网综合| 色哟哟精品| 色欲色香,www,com| 欧美日韩精品一区二区三区钱| 熟妇人妻中文字幕无码老熟妇 | 久久一级AV| 久久久久久久久久婷婷| 久热精品视频| 色色热| 久久性刺激| 色深爱五月| 狠狠精品干练久久久无码中文字幕| 热久久91| 六月婷五月丁香| 五月丁香激情啪啪| 亚洲成人另类| 色综合激情| 666555。COm毛片| 狠狠操狠狠爱| 丁香五月婷婷婷桃花影院| 色婷婷五月天成人网| 日韩按摩二区| 五月婷婷色色| 在线你懂的亚洲欧| 99精品免费视频| 草草夜夜操| 婷婷激情肏屄网| 人人摸人人摸| 男人的天堂在线婷婷| 另类图片激情五月天| 久久性爱视频| 国产小精品| 狠狠色噜噜| 99精品久久| 99 re视频一区| 丁香五月激情视频在线| 天天操天天插| 五月色婷婷亚洲| 天天噜日日噜综合无码| 久久久久久99精品无码| 另类国产综合| 日韩av一区二区在线/日产精品久久久| 99er这里只有精品| 日日夜夜天天| 日韩一级网站| 婷婷天天婷婷天天澡| 亚洲第一成人无码A片| 大香蕉99| 色老久久| 三男玩一女三A片| 婷婷六月视频| 五月丁香婷婷深深爱| 国产毛片操B| 综合在线丁香五月| 亚洲精品久久久久AV无码| 久久精品色| 深爱婷婷网| 色五月91| 色婷五月| 五月丁香福利| www.91有码.com| 丁香五月激情天AV无码| 超碰免费人妻| 99狠狠| 欧美黄色韩日网| 婷婷激情五月呦呦| 美女主播野战视步页| 久操热| 欧美成人Va| 天天插天天干| 久久激情视频99| 亚卅毛片| 99热网址| 五月婷婷黄色| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 超碰女人天堂| 亚洲综合视频在线| 激情综合无码| 五月天婷婷成人网| 97超美国视频在线观看| 婷婷亚洲色| 蒲京久久无码视频| 激情婷婷色五月| 国产精品久久久久久喷浆| 五月社区丁香| 伊人婷婷五月天| 婷婷色中文| 日日爱激情| 婷婷久久影院| 久久婷婷五月综合色奶水99啪| 99人人操| 91超级碰在线视频| 色五婷婷| 欧美99热| 69堂午夜视频最新地址| 亚洲精品V天堂中文字幕| 亚洲熟妇AV综合网五月丁香伊人 | 97操碰在线视频| 99在线视频女女视频| 99热e| 色色综合网站| 久久婷婷六月综合综合| 狠狠色狠狠干| 公的粗大挺进了我的密道| 久久五月天婷婷视频| 激情五月丁香婷婷| 人妻久久做| 51精品国自产在线| 激情五月天色婷婷| 丁香五月黄色| 久久久大香蕉| 六月婷在线| 另类 在线| 99 re视频一区| 91人妻PORNY九色大屁股| 久久女婷| 99精品国产在热久久| www.十八禁不禁AV.com| 五月婷婷激情在线| 色五月成人| 成人AV在线网站| 97干网站| 色婷婷五月六月丁香综合视频| 婷婷99狠狠躁天天躁中| 97五月综合网| 97色在线视频| 六月婷婷视频| 在线一起草av| 97资源欧美日韩大香蕉超碰一区| 婷婷伊在线| 99久久国产宗和精品1上映| 婷婷五月天亚洲天堂| 在线超碰免费| z色五月播播久久| 五月婷婷三级| 被强行糟蹋的女人A片| 婷婷丁香五月天在线| 色婷婷在线影院| 亚洲 五月 婷婷 成人| 综合色色综合| 另类激情综合| 国产精品色一哟哟| 97精品人人A片免费看| 色五狠狠| 猫咪伊人久久| 大香蕉综合网| 色高清无码视频| 亚洲一区二区 成人网站戴套| 久色激情| 黄色aaaaa| 91久久久久久久久久18| 五月婷婷九| 色播婷婷五月天| 天天日日夜夜| 少妇达人正片在线播放_ikun_福利吧| 丁香五月激情婷婷| 丁香五月婷中字在线| 99热这里只有精品首页| 婷婷激情综合网| 农村熟妇高潮精品A片| 丁香五月另类小说| 国产 亚洲 在线| 超碰在线91| 99热综合在线观看| 欧美乱码国产一级A片| 日韩999| 久久久久er热| 婷婷色五月偷拍| 91精品国产色猫| 狠狠色成人影片| 色五月在线视频观看| 97干欧美| 97操资源婷婷| 久久538| 伊人丁香六月婷婷| 亚洲a片免费观看| 91综合国免费久入| 久久婷婷婷婷伊人| 婷婷成人av| 日韩操人| 99热无码| 99热超碰| 婷婷五月天久草在线| 免费黄色AV| 亚洲色小说在线综合| 深夜婷婷 丁香| 在线观看中文字幕亚洲| 啪啪五月天啪啪| 婷婷月综合| 免费无码毛片一区二区A片| 天天爱天天做天天操| 婷婷五月天伊人在线| 五月综合久久| 色综合色欲综合天天免费| av在线免费网站 | 五月丁香av中文| 色黑鬼导航| 亚洲精品444久久久久久| 精品久久久人妻| 色噜噜在线| 99热偷拍| 无毒黄色网址| 五月丁香福利| 五月天婷婷在线啪啪视频| 97色婷婷在线观看| 久久五月婷天天干| 啪啪91| 婷婷五月天黄色小说| 婷婷丁香五月天哟啪| 99热99日天天干| 99色亚洲| 亚洲欧州色情在线观看| 日本一级特黄大片AAAAA级| 成人五月天综合网| 成人精品在线| 99热这里都是精品| 99热无码首页| 九九亚洲小视频| 中文字幕无码人妻少妇免费视频| 妻久久久久| 亚洲婷婷婷| 国产99久| av国产精品| 丁香色成人| 激情小说五月欧美亚洲丁香| 五月天堂婷婷| 亚洲国产婷婷色五月| 九九美女视频| 九月激情婷婷丁香| 五月天精品| 婷婷中文在线| 五月婷婷AV| 婷婷.com| 97色伦另类图片小说视频 | 夜色综合网| 99r这里只有精品在线观看| 日韩欧美一区二区三区四区| 玖玖色综合网| 九九亚洲无码| 五月丁香六月婷婷激情四射| 久99久视频精品| 五月婷婷六月色| 丁香婷婷久久| 久久99久久99精品免观看粉嫩| 99热这里只有精品2| 襙逼网| 狠狠色狠狠干| 97人人草| 色婷婷在线播放| 久久在线大香蕉| 天天综合色99| 激情综合视频| 精品夜夜澡人妻无码AV| 色色色999| 日本色色色| 午夜爱爱网站| 丁香五月婷婷大香蕉| 国产色色色色| 人妻自慰高清合集| 色情免费视频播放| 日在线V视频在线播放| 涩综合在线| 欧美色色色| 超碰成人在线观看| 中文字幕,综合,91| 精品九九网| 婷婷97C| 在线观看日韩12345区| 九九99九九99| 67194中文字幕| 婷婷丁香18| 开心激情播播五月天| 巴基斯坦粉嫩无码视频| 天天天天做夜夜夜夜做| 五月丁香花免费视频| 久久五月婷综合网| 激情黄色五月天| 色婷婷在线视频久| 五月激情综合网| 成 久久| 精品福利911| 99区视频| 亚洲精品乱码久久久久99| 五月六月播婷婷| 九九色精品| 色欲天天综合| 亚洲综合婷婷| AV中文在线| 日韩成人av在线| 五月丁香福利| 人人澡玖玖一| 婷婷五月天99综合网站| 曰韩五月丁香色婷婷无码| 97夫妻超碰| 99原创自拍视频在线观看| 亚洲精品无AMM毛片| 无码激情AAAAA片-区区| 欧美69久成人做爰视频| 操B无码视频国语| 婷婷中合| a免费在线| 丁香五月玖玖| 丁香五月婷婷激情中文| 丁香五月婷婷亚洲另类| 激情五月综合久久| 久久婷婷婷| 国产成人AV在线播放| 五月天激情四射网站| 五月丁香自拍| a在线观看| 深爱五月月天| 六月综和久久| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇| 五月WWW| 五月开心深爱激情网| 日日插日日干| 婷婷五月天国产在线播放| 婷婷综合在线| 97人人操| AV性爱在线| 大香蕉九九| 日日影院 | 丁香花社区av| 久热伊人在91| 9l视频自拍9l视频自拍九色学生| 日韩欧美颜射| a69在线视频| 精品色色网| 大地资源色婷婷视频在线| 色停停五月天| av在线免费网站 | 五月天六月色| 欧美在线97| 久久精品99| 97干在线视频| 无码日本精品XXXXXXXXX | 激情五月婷婷视频| 久久人视频| 久久综合影院| 五月丁香婷婷色| 九九视频这里是精品五月| 日韩综合久| 九九热精品视频在线观看| 91色色色18| 深爱激情五月网| 综合色图区| 亚洲九N| 日韩AV成人电影| 日本久久人| 成人片在线播放| 另类图片激情五月天| 亚洲国产成人裸舞| 婷婷五月激情六月| 成片免费播放| 精品人妻伦九区久久AAA片| 超碰天堂网| 日韩五月婷婷| 丁香综合网| 激情深爱婷婷网| 色色色欧美色色| 亚州AV超碰人人操| 色五月偷偷| 五月天色五月| 天堂在线伊久| 日本女人久久| 99这里有精品久久97| 五月色网| 视色综合| 婷婷五月在线观看| 少妇综合网| 人人爽网| 中文在线成人| 丁香五月天天哦| 婷婷深爱网| 婷婷五月天视频免费在线观看| 精品五月天| 日本黄色三级片内射| 男人視頻站| 九九青青草成人| 成人色五月天| 国产欧洲欧洲精品久久| 久久xx| 色色欧美。| 大香蕉在线观看9| 武则天精品久久| 俺五月| 久久丁香五月天| 久久综合五月天| 丁香五月婷婷社区| 一区视频网站| 奸逼视频| 五月丁香色婷婷色| 极品少妇高潮啪啪AV无码| 色444综合网| 操一区| 五月婷婷色吧!| 人人干99| 日韩黄在免| 久久性刺激| www。五月天。com| 国产激情在线| 免费看欧美成人A片无码| 7777精品伊人久久久大香线蕉最新版| 五月天婷婷色五月天| 色色哒五月婷婷六月丁香| 婷婷五月天丁香花| 九九色婷| 色色色婷婷| 91精品无码久久久久久五月天| 人人草成人视频| 99热99干| 99热精品中文字幕| 99久久婷婷国产综合亚洲| 久久五月天婷婷| 好激情在线综合网| 九九九九这里只有精品| 97午夜一区二区| 色婷婷色99国产综合精品| 五月天婷a| 久/久精品99看9| 91丨九色丨首页| 久热久| 久久五月天激情| 性一交一乱一交A片久久四色| 久艹久| 深爱丁香网| 999热这里只有精品| 欧美性猛交 XXXX 乱大交| 六月婷婷视频| 99在线看片| 96精品久久久久久久久| 丁香五月综合狠狠| 99re66热这里只有精品| 26UUU欧美| 91久久婷婷| 人人插9| 能看的AV网站| 91精品综合久久久久久五月丁香| 色婷婷小视频| 可以免费看av网站| 色色网站在线| 久草热久草在线视频| a九九热www| 久久思思热视频| 99无码精品| 好色婷婷| 密桃激情五月天综合网| 玖玖精品视频| 91人碰| 五月色婷婷综合丁香精品无遮挡| 97色婷婷成人综合在线观看| 色欲色香,www,com| 五月天色官网| 亚洲色在线观看| 婷婷六月色情| 婷婷五月天激情综合网| 六月丁香久久| 99热亚洲| 丁香婷婷深情五月亚洲| 99ER热精品视频| 日本久久99| 亭亭玉月丁香| 久99999热视频在线观看免费| 日本久久婷| 五月丁香色| 国产肥白大熟妇BBBB视频| 激情五月综合| 色五月播五月| 久久婷婷一级片| 狠狠88综合久久久久噜噜噜| 日本一道久久| 丁香五月婷婷99| 丁香五月欧美色综合| 亚洲午夜av| 99热综合在线| 思思热视频| 91麻豆国产三级精品福利在线观看| 五月天婷婷黄色视频| 五月丁香啪综合| 啪啪色激情五月天| 99性感视频| 久久99视频| 五月婷婷久久久| 青青草激情网| 蒲京久久无码视频| 成人色五月天| 五月亭亭开心网| 婷婷丁香花五月天| 亚洲色热| 婷婷五月娱乐在线| 色五月婷婷久久大| 国精产品一区一区三区免费视频| WWW.99热| XX久久| 国产亚洲色婷婷久久99精品9j| 中文不卡一二区| 无码日本精品XXXXXXXXX | 久久五月六月| 激情综合网五月激情| 99自拍视频网站| 超碰人人干| 99ri国产精品| 色丁香五月天婷婷| www.金莲av| 亚洲综合视频一下| 99热久久这里只有精品| 天天日天天狠狠操| 日日天天干| 激情婷婷色色| 综合AV在线| 在线视频激情网站| 五月丁香欧美综合| 黄色av高清| 精品九九视频| 97色婷婷| 亚洲欧洲自拍图片专区五月天| 激情婷婷五月天| 99视频这里只有免费精品| 人妻22p| 欧美日韩123| 婷婷狠狠18禁久久| 综合激情肏逼网| 26uuu国产| 欧美操我| 色综合色色| a片在线免费观看一区| 五月婷婷九| 国产3p露脸普通话对白| 亭亭玉立国色天香| 思思热视频| 五月开心婷婷极品激情| 涩五月婷婷| 九月婷婷久久| 六月丁香久久| 五月天大香蕉| 日韩中文欧美| 激情五月天丁香| 九月丁香婷婷| 色噜噜狠狠色综合无码久久欧美| 色五月综合在线| 国产 码在线成人网站| 久热综合| 久久9视频欧美| 射区导航| 99色视频在线观看最新| 久久作爱| 91精品婷婷国产综合久久| 中文字幕黄色片| 色噜噜狠狠色综合日日| 五月天另类小说| 亚洲精品色色| 激情五月婷| 丁香婷婷久久激情| 超碰在线观看三级片| 色五月综合婷婷| 大香蕉久久伊人网| www.99视频| 91一道本| 五月婷婷天堂| 狼人久草| 婷婷伊人网| 婷婷五月天激情综合婷婷五月天激情综合 | 六月激情婷婷| 婷婷 久综合| 大地资源色婷婷视频在线| 伦99热| 亚洲无码猫咪| 九九热这里只有精品6| 日韩人妻无码精品| www.久久99| 亚洲一色色色色色色色色| 欧美成人AAA片一区国产精品| 婷婷五月天首页| 殴美97色| 精品99在线| 超碰免费人人肏| 五月天婷婷激情综合| 久久视频婷婷| 91日韩在线| 丁香六月婷婷综合色| 色伦专区97中文字幕| 五月丁香六月婷婷久久久综合| 久久婷婷色综合老司机| 98永久精品| 九九操操| 日韩啪啪网| 久久96热| 亚州激情九月| 日韩999| 成人久久天天x资源站| 五月婷三级片| 久热免费| 色欲av伊人久久大香线蕉影院| 色综合久| 99热这里只有的精品视| 香蕉网久久| WWW.婷婷| 丁香六月毛片| 停停六月 综合| 97人人操人人爽| 国产夫妻操逼内射视频| 五月天久久小说| 色五月五月天色婷婷色五月| 色5月婷婷| 欧美日本日韩| 夜夜撸天天操| 性欧美日本| 婷婷色综合| 九九精品在线网| 久久综合播放| 亚洲激情网| 日本美女97在线视频| 欧美精品18| 久操操| 艳妇野外情欲放荡HD| 婷婷色五月丁香六月欧美啪| AV在线大香蕉| 亚洲字幕AV一区二区三区四区| 丁香激情五月少妇| 99re热在线视频| 国产精品天天狠天天看| 色五月在线播放| 操碰99| 午夜成人片400| 人妻久久久久久久久久| 青996青| 九九热在线精品| 国产片色| 综合一区二区三区| 在线播放成人网站| 综合色五月| 久9久9热久热| 国产在线激情视频| 99热这里都是精品| 99'无码| 色婷婷aV四虎| 色色色色色色色色网站| 五月花婷婷最新| 久久精品夜色噜噜亚洲a∨| 99色在线视频| 丁香婷在线| 九九色色网| 欧美性色A片免费免费观看的| 精品丁香五月天在线播放| 99在线精品视频观看免费下载| 丁香五月色激情| 婷婷色网站| 五月丁香六月婷婷a v| 97婷婷在线| 亚洲丁香花色| 五月天婷婷影院影院观看| 97干在线视频| 亚洲无码影音| 人妻人人操| 婷婷色日本| 九九青草热| 欧美丰满熟妇BBB久久久| 狠狠色综合网站久久久久| av九九| 韩国不卡AC视频| 五月丁香久久网| 丁香五月婷婷亚洲另类| www.maotanji.com| 中国女人内射6XXXXX| 五月婷婷九九热| 人人人人人人人人人草| 超碰97久久| 亚州美女| 99九无网码| 五月婷婷成人w| 99在线视频播放| 国产人妻人伦精品一区二区 | 色五月人妻| 天天操狠狠操| 久久五月婷婷电影| 91在线人| 香蕉久久国产AV一区二区| 五月色婷婷综合| 日韩狠狠色婷婷| 欧美啪啪9| 无码人妻AV久久久一区二区三区| 婷婷久月| 激情五月婷婷综合网| 激情综合五| 碰99在线| 91九色精品熟女内射| 五月天全国最大成人网| 免费婷婷| 热久久这里只有三级视频| 2017人人操| 五月色丁香| 色噜噜狠狠色综无码久久合欧美| 99热在线观看精品免费| 99开心五月五月丁香激情| 黄色99热| 日韩精品AV一区二区三区| 成人网站免费在线播放| 五月婷婷丁香色吧网| 婷婷综合久久| 一级七香蕉| 中文字幕日产A片在线看| 色偷偷色婷婷| 五月丁香久久呀| 狠狠操综合| 97综合在线| 终合激情网| 日本女天天爽| 吊色AV男人的天堂| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品 | 丁香婷婷超碰 | 色色综合院| 丰满老熟妇BBBBB搡BBB| 国产精品久久..4399| 久久一热| 五月花成人网| jiujiu热在线视频| 超碰色女| 久久综合66| 婷婷综合五月| 久久总和99| 桃色激情网| 亚洲Av入口| 久久草人妻| 精品久久婷婷| 丁香狠狠色婷婷久久无码视频| 婷婷五月天成人网| 激情四射网| 色 色 色综合com| 久久婷婷五月综合色播| 九九人妻福利| 五月天激情网址| 亚洲va久久久噜噜噜久久天堂| 噼里啪啦在线观看免费完整版视频| 97香蕉久久超级碰碰高清版 | 五月开心六月婷婷在线播放网站| 色五月婷婷久久| 色婷婷综合丁香五月天| 五月综合激情久久| 国产乱子轮XXX农村| 久久久18| 久99久精品| 综合久久五月天| 亭亭五月激情亚洲在线| 色色色精品无码区| 无码激情| 91热视频色网站| 五月丁香日逼| 色青青电影色五月| 天天爽天天| 婷婷丁香色五月| 五月丁香六月色| 思思国产99| 激情五月六月丁香| 26uuu国产色| 婷婷操逼| 色女人久久| 婷婷色情五月| 欧美A A A A A| 久久人妻熟女一区二区| 99视频自拍| 亚洲成人在线播放| 亚洲不卡| 亚洲激情综合| 五月婷婷丁香在线| 色婷婷狠狠干芒果TV| 欧美熟女乱又伦| www.日日日.com| 99re思思热在线视频| 九九热av| 久久婷.com| www.五月丁香| 男人的天堂97| 68热超碰在线| 1024亚洲无码| 国产亚洲精品久久久久久久久动漫| 色色五月丁香| 激情六月婷婷| 九九热在线观看视频| 97啪啪| 久久综合五月天| 天天日天天舔| 99热这里只有精品99| 啪啪小说五月天| 四月婷婷丁香| 17.c黄色| 丁香五月亚洲天堂| 五月丁香六月婷婷免费| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 丝袜熟女一区二区三区| 精品久久久中文字幕大豆网推荐理由| 嫩BBB搡BBBB榛BBBB| 丁香婷婷色五月| 色婷婷成人| 一区二区三区视频| 婷婷色综合| 五月婷视频| 美女五月天| 日本色五月| 99热这里只有精品在线观看| 欧美日韩成人在线| 日日干天天爽| 国产精品久久..4399| 九九九热精品| 久草五月婷婷| 91人人操.COM| 97精品综合久久| 91超碰在线观看| 婷婷亚洲影院| 婷婷五月丁香综合激情| 久久久久亚洲AV无码网影音先锋| 99九九99九九九视频精彩| 狠狠人人婷婷| 欧美va在线观看| 14色综合婷婷| 久99综合婷婷| 久9热| 久久免费精彩视频| 综合激情婷婷| 少妇被躁爽到高潮无码文| 五月丁香六月激情综合| 粉嫩AV久久一区二区三区| 三十熟女| av操逼网| 亚洲成人日韩无码精品| ady狠狠入| 99ri视频在线观看| 91人碰| 综激情网| 91Chinese在线| 日日夜夜狠狠婷婷色| 丁香激惜男女| 婷婷丁香一月| 能直接看的AV网站| 99久久久| 泰州成人视频| 99色视频| 婷婷丁香97| 亚洲中文字幕网| 五月天成人小说| 国产亚洲99久久精品| 91色婷婷综合久久中文字幕二区| 国色天香成人网| 欧美槡BBBB槡BBB少妇| 五月婷婷黄网站大全| 日韩无码性爱| 综合久久高清| 色色精品色| 激情五月六月婷婷综合啪啪| 91小黄书网址在线观看| 九九99精品视频在线观看| 狼友超碰| 婷婷啪啪| 51精品国自产在线| 色婷婷很很丝袜| 五月天激情日色在线| 99男人的天堂| 久久五月婷| 婷婷五月 丁香六月| 我要看激情五月天| 天天干夜夜谢| 婷婷综合色图| 天天干天天干天天干| 无码日本精品XXXXXXXXX | 久cao香蕉影院| 色 五月 天 婷婷 丁香 九月| 婷婷97碰碰| 国产片天天爽夜夜爽| 亚洲综合网区| 婷婷日日天天| 色丁香五月| 99精品在线观看视频| 五月天激情综合| 黄色三级毛片中字| www.久久色.com| 久久婷婷五月天蜜桃| 99精品视频免费在线播放| 春色激情第四色| 九九这里都是精品| 色99热| 天天肏夜夜肏| 欧美日韩成人综合9| 伊人玖玖综合| 91性高潮久久久久久久久| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | √天堂资源在线人妻熟女| 天天天天操| 男同91| 婷婷丁香先锋资源网站| 婷婷亚洲影院| 五月色无码| 日韩操逼小电影| 97欧美在线| 五月婷婷丁香五月| 99国产99| 国产.亚洲.欧洲视频在线| 好好干Av| 五月婷婷在线观看| 五月丁香自拍| 成人午夜无码视频| #NAME?| 一区视频网站| 99热99热在线观看| 激情五月丁香五月| 六月丁香久久| 日本乱子人伦在线视频| 9999热在线观看| 激情婷婷五月久久| 色婷婷五月亚洲| 婷婷久久五月天丁香| 成人视频网| 激情超碰网| www.婷婷| 色色亚卅| 蜜臀99精品| 亚洲人妻av伦理| 激情婷婷网| 免费黄色视频网址| 乱轮A片| 九九久久五月天| 操老逼综合网| 91色吧网| 色婷婷深爱五月| 久久精彩视频| www久久99| 日本三级日本黄色| 538任你爽| 六月丁香婷啪射| 能看的AV| 国产成人一区二区三区在线观看 | 精品51XX| 色综合久久天天综合网| 九九视频在线观看视频6| 亚州操逼网| 播五月婷婷开心| 开心五月婷婷婷美女| 五月婷婷啪啪| 91精品视频男人的天堂| 欧美激情丁香五月| 这里只有精品免费观看网占| 天天狠天天叉| 亚洲中文字幕在线电影| 色五月天堂| 色5月婷婷| 九色视频91| 91大操| 久久色情| 久久婷婷色五月| 99热这里只有精品22| 丁香五月婷婷啪啪视频| 五月天色图| 激情丁香五月婷婷啪啪| 夜夜骑夜夜撸| 31色区视频免费看| 免费AV在线| 九九热黄色| 丁香五月六月婷婷殴美综合| 九九在线精点品| 人人干人人操外国| 丁香婷婷五月激情综合| 五月综合视频| www.色五月| 久热黄色| 色性五月天| 婷婷丁香六月天| 99少妇精品| 亚洲色婷婷婷婷人人爽| 99热1| 久99久视频精品| 久草五月| 日日夜夜婷婷| 免费无码毛片一区二区A片| 久久天堂婷婷五月| 五月色情婷婷开心五月色情| 91碰在线| 狠狠色中色| 性色播| 五月综合色| 8050一级网| 婷婷久久综合久| 色婷婷91激情小说| 五月丁香六月婷婷激情视频在线观看免费 | 色婷亚洲五月丁香| 99热这里只有精品手机在线观看| 4438激情网| 五月婷久久久久综合| 99色色热| 婷婷五月天激情网| 操老逼综合网| 久久婷婷五月综合97色一本| 色无码| av免费在线看不卡无毒| 五夜婷婷| 99热只有这里有精品| www,婷婷,com| 色婷婷五月综合| 色婷婷五月综合| 色婷婷综合久久| 五月天天丁香婷婷在线中| 五月丁香在线| 婷婷九九色| 五月婷婷这里都是精品| 国产激情AV| 九色综合五月天婷五月|