欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實戰(zhàn)洞察。

Python實現(xiàn)ARIMA-CNN-LSTM組合模型:時序預(yù)測殘差校正實戰(zhàn)

Python實現(xiàn)ARIMA-CNN-LSTM組合模型:時序預(yù)測殘差校正實戰(zhàn) 做時間序列預(yù)測這幾年我最大的感受是模型的組合不是把算法往一個文件里堆而是讓每一層模型干它最擅長的事。這次做的“ARIMA-CNN-LSTM預(yù)測模型”我用Python把三個模型串成了一個完整的pipeline——ARIMA負(fù)責(zé)抓線性趨勢和季節(jié)性骨架CNN負(fù)責(zé)從局部窗口里挖波形特征LSTM負(fù)責(zé)把時序依賴存下來并輸出殘差預(yù)測最后把三者的結(jié)果合成最終的預(yù)測值。這套組合非常適合有明顯周期性、又有非線性波動的日粒度或小時粒度數(shù)據(jù)比如區(qū)域電力負(fù)荷、空氣質(zhì)量、交通流量、商品銷量。如果你手里的序列是純線性、純平穩(wěn)的直接用ARIMA或者SARIMA就夠了用不著上深度學(xué)習(xí)但一旦數(shù)據(jù)里有尖峰、突變、復(fù)雜的周期疊加ARIMACNN-LSTM的容錯能力會明顯好過任何單模型。這篇文章我會從模型分工談起兼顧每一步的代碼實現(xiàn)和實驗對比適合已經(jīng)會基礎(chǔ)Python、想自己搭一套組合時序模型的讀者。1. 為什么是“ARIMACNNLSTM”這個組合三個模型的分工與銜接很多人看到這種組合名第一反應(yīng)是“把三個模型的結(jié)果平均一下”。如果你真這么做了大概率會得到一坨平庸的預(yù)測。正確的問題是這三個模型各自擅長什么信號在什么樣的輸入上它們能發(fā)揮最大價值以及它們之間的信息應(yīng)該怎么接力而不是撞車。1.1 ARIMA的強(qiáng)項與死穴線性趨勢和季節(jié)性的原住民ARIMA的全稱是差分自回歸移動平均模型。它的核心思路是用過去觀測值的線性組合自回歸項、過去預(yù)測誤差的線性組合移動平均項再加上d階差分來描述一個時間序列。這個模型有非常強(qiáng)的可解釋性對樣本量的要求也比深度學(xué)習(xí)低得多。拿我這次用的電力負(fù)荷數(shù)據(jù)來說日負(fù)荷有明顯的周周期性工作日高、周末低和年周期性夏冬高、春秋低ARIMA配合適當(dāng)?shù)牟罘挚梢院芎玫刈プ∵@類趨勢骨架。但ARIMA有一個天然的死穴它對非線性突變基本無能為力。比如寒潮突然來襲空調(diào)負(fù)荷在兩天內(nèi)猛增ARIMA用歷史同期的均值去外推必然低估這個尖峰。它的預(yù)測在遠(yuǎn)期甚至?xí)諗康揭粭l平坦的直線這是模型特性不是你寫錯了代碼。1.2 CNN在時間序列里到底在提取什么CNN做圖像識別大家都熟但一維卷積用在時間序列上干的其實是同一件事在局部窗口內(nèi)提取模式。假設(shè)卷積核大小是3它每次掃描三個連續(xù)時刻的值本質(zhì)上就是在拿一個長度為3的模板去匹配波形——尖峰、拐點、平臺段、快速上升沿這些局部的形態(tài)特征都能被不同的卷積核響應(yīng)出來。在這個組合里CNN負(fù)責(zé)的是“從短窗口里找形狀”。你可以用不同大小的卷積核并行提取不同尺度的形態(tài)比如kernel_size3抓極短期的拐點kernel_size7抓稍長的波動形態(tài)再把兩者拼接起來這就是多尺度CNN的基本思路。CNN還有一個隱藏的好處通過卷積和池化它能把input序列長度壓縮讓后面的LSTM面對更短、更抽象的時間步訓(xùn)練負(fù)擔(dān)小很多。1.3 LSTM長短期記憶到底記住了什么LSTM是RNN的改進(jìn)版本通過遺忘門、輸入門、輸出門三個門控結(jié)構(gòu)來控制信息的保留和丟棄。用人話說它能夠在很長的序列里記住“哪些歷史信息值得保留”同時避免RNN在反向傳播時梯度消失的問題。但單用LSTM做預(yù)測也有麻煩它對強(qiáng)趨勢和強(qiáng)季節(jié)性成分的學(xué)習(xí)速度很慢經(jīng)常要在訓(xùn)練后期才慢慢追上而且LSTM對超參數(shù)非常敏感units數(shù)量、層數(shù)、dropout比例、學(xué)習(xí)率任何一個設(shè)置不對不是欠擬合就是過擬合。如果直接把原始序列扔給LSTM它需要同時消化線性趨勢、季節(jié)波動和非線性殘差任務(wù)太重容易學(xué)成一個“只會把昨天數(shù)值抄到明天”的滯后預(yù)測器。1.4 我的組合方式串聯(lián)殘差校正而不是簡單平均組合模型常見有兩種架構(gòu)。第一種是并聯(lián)集成每個模型獨立預(yù)測然后加權(quán)平均。這種方式看著簡單但有兩個問題——如果幾個模型的誤差相關(guān)性很高平均之后提升很有限ARIMA的線性強(qiáng)假設(shè)還會把整體的預(yù)測方差壓得過于保守。第二種是串聯(lián)殘差校正也是我這次采用的方案。核心邏輯是先用ARIMA解釋序列里的線性主成分然后把ARIMA擬合后剩下的殘差序列交給CNN-LSTM去學(xué)習(xí)。最終預(yù)測值等于ARIMA的預(yù)測值加上CNN-LSTM對殘差的預(yù)測值y_hat(t) ARIMA_forecast(t) CNNLSTM_forecast(e(t))其中 e(t) y(t) - ARIMA_fit(t)。這個設(shè)計就像配眼鏡先根據(jù)度數(shù)定一個大致的球鏡再用插片精調(diào)散光。ARIMA負(fù)責(zé)把眼睛能看到的大框架定下來CNN-LSTM專門去補(bǔ)那些ARIMA看不到的散光細(xì)節(jié)。如果你把散光直接混在度數(shù)里一次性配反而哪個都搞不干凈。2. 數(shù)據(jù)準(zhǔn)備差分、歸一化、滑窗這三步藏著最多的坑數(shù)據(jù)準(zhǔn)備這一步?jīng)Q定了模型預(yù)測質(zhì)量的80%。很多人模型訓(xùn)練半天效果不好回頭排查才發(fā)現(xiàn)是數(shù)據(jù)預(yù)處理階段埋了雷。2.1 數(shù)據(jù)劃分時間序列不能隨機(jī)打亂我這次用的是某地區(qū)公開的日平均電力負(fù)荷數(shù)據(jù)一共三年粒度到天。劃分比例是訓(xùn)練集70%、驗證集15%、測試集15%嚴(yán)格保持時間順序。這里要特別提醒訓(xùn)練集、驗證集、測試集必須按時間先后切分絕不能隨機(jī)抽樣。交叉驗證也最好不要用普通的K折否則未來的數(shù)據(jù)會跑到訓(xùn)練集里指標(biāo)會虛高得讓你誤以為模型是神。我通常在pandas里這么劃import pandas as pd df pd.read_csv(load.csv, parse_dates[date], index_coldate) n len(df) train_end int(n * 0.7) val_end int(n * 0.85) train_df df.iloc[:train_end] val_df df.iloc[train_end:val_end] test_df df.iloc[val_end:]2.2 平穩(wěn)性檢驗與差分ADF的p值不是看熱鬧ARIMA要求序列平穩(wěn)。最常用的檢驗是ADF檢驗原假設(shè)是“序列存在單位根”。如果p值大于0.05說明序列非平穩(wěn)需要差分。from statsmodels.tsa.stattools import adfuller load_values df[load].values adf_result adfuller(load_values) print(ADF p-value:, adf_result[1])對日粒度數(shù)據(jù)我一般會先檢查是否需要一階差分再看看是否需要季節(jié)性差分比如周周期做7步差分。我在項目里做了一步差分之后p值已經(jīng)很小就繼續(xù)走了。如果你發(fā)現(xiàn)季節(jié)性很強(qiáng)可以考慮用SARIMA或者直接在ARIMA的order里處理但要注意差分階數(shù)別過頭過度差分會讓序列丟失真實信號的幅度信息。2.3 歸一化與滑窗構(gòu)造先切后scale順序不能錯歸一化我用的是MinMaxScaler把數(shù)據(jù)壓縮到0到1之間。這一步有兩個關(guān)鍵點。第一必須先劃分?jǐn)?shù)據(jù)集再在訓(xùn)練集上計算MinMaxScaler的min和max然后用同一個scaler去transform驗證集和測試集絕對不能在整個數(shù)據(jù)集上先fit再切分。否則測試集的極值信息會滲透進(jìn)歸一化參數(shù)等于模型在訓(xùn)練時就偷看了未來數(shù)據(jù)這種數(shù)據(jù)泄漏會讓你跑測試時指標(biāo)漂亮上線后一塌糊涂。from sklearn.preprocessing import MinMaxScaler scaler MinMaxScaler() train_scaled scaler.fit_transform(train_df[[load]]) val_scaled scaler.transform(val_df[[load]]) test_scaled scaler.transform(test_df[[load]])第二滑窗構(gòu)造必須發(fā)生在歸一化之后。我用的窗口長度look_back30意思是拿過去30天的負(fù)荷值預(yù)測下一天。如果你的數(shù)據(jù)有明顯周期強(qiáng)烈建議窗口長度至少覆蓋一個完整周期——日粒度數(shù)據(jù)最好用7的倍數(shù)30也還行能覆蓋一個月左右的局部形態(tài)。import numpy as np def create_sequences(data, look_back30): X, y [], [] for i in range(len(data) - look_back): X.append(data[i:i look_back]) y.append(data[i look_back]) return np.array(X), np.array(y) X_train, y_train create_sequences(train_scaled, look_back30) X_val, y_val create_sequences(val_scaled, look_back30) X_test, y_test create_sequences(test_scaled, look_back30)構(gòu)造出來的X維度是樣本數(shù), look_back, 1這個三維結(jié)構(gòu)是Conv1D和LSTM的標(biāo)準(zhǔn)輸入格式第一維是樣本第二維是時間步第三維是特征數(shù)。很多人第一次寫的時候漏了reshape成三維直接報錯這里提前打好預(yù)防針。3. ARIMA部分定階、擬合、殘差提取別急著把數(shù)據(jù)丟給神經(jīng)網(wǎng)絡(luò)很多人做組合模型的時候ARIMA部分就是走個過場隨便order(2,1,2)一擬合就往下跑了。但事實上ARIMA擬合得越干凈后面CNN-LSTM拿到的殘差就越接近一個“純非線性波動序列”學(xué)習(xí)起來越容易。ARIMA定階的目的就是要讓線性成分被盡可能充分地解釋掉。3.1 定階先用圖做初判再用AIC網(wǎng)格搜索ARIMA的階數(shù)由(p,d,q)決定。p是自回歸階數(shù)d是差分階數(shù)q是移動平均階數(shù)。教科書會教你畫ACF和PACF圖看截尾和拖尾特征來定p和q。實際項目里我很少只靠看圖因為數(shù)據(jù)一復(fù)雜圖往往解讀不出唯一答案。我的做法是先用ACF/PACF看個大概范圍然后用網(wǎng)格搜索在AIC最小的原則下選階。import itertools import warnings from statsmodels.tsa.arima.model import ARIMA warnings.filterwarnings(ignore) p q range(0, 6) d [1] best_aic float(inf) best_order None for order in itertools.product(p, d, q): try: model ARIMA(train_scaled, orderorder) fitted model.fit() if fitted.aic best_aic: best_aic fitted.aic best_order order except Exception: continue print(best order:, best_order, AIC:, best_aic)AIC和BIC都是越小越好區(qū)別在于BIC對參數(shù)數(shù)量的懲罰更重。時序預(yù)測的樣本量通常不大參數(shù)太多容易過擬合所以我習(xí)慣在AIC相近的情況下優(yōu)先選參數(shù)更少的模型也就是“簡約優(yōu)先”。3.2 擬合與預(yù)測注意fittedvalues開頭有NaN選好階數(shù)之后在訓(xùn)練集上重新擬合模型然后對測試期的每一步做預(yù)測。model ARIMA(train_scaled, orderbest_order) arima_fit model.fit() # 訓(xùn)練集擬合值注意差分后開頭幾個值可能為NaN train_fitted arima_fit.fittedvalues.copy() train_fitted[np.isnan(train_fitted)] train_scaled[:sum(np.isnan(train_fitted))].flatten() # 預(yù)測測試期長度 n_test len(test_scaled) arima_forecast arima_fit.forecast(stepsn_test)很多人在這一步會踩坑fittedvalues的長度和原始訓(xùn)練集一致但前幾個位置因為差分計算被填了NaN。如果不處理后面計算殘差時會帶著一堆NaN進(jìn)入深度學(xué)習(xí)模型Keras會直接把loss算成nan然后你的手冊上就多了一條“模型不收斂”的排查記錄。處理方式很簡單用訓(xùn)練集開頭的原始值填充這些NaN。3.3 殘差提取這就是CNN-LSTM的“教材”ARIMA擬合完之后訓(xùn)練集的殘差就是真實值減去擬合值residual_train train_scaled.flatten() - train_fitted.flatten()這里的residual_train就是CNN-LSTM要學(xué)習(xí)的對象。它和原始負(fù)荷值有一個很大的不同序列的線性趨勢已經(jīng)被ARIMA拿走了所以殘差的均值通常非常接近0波動幅度也相對穩(wěn)定更像一個“零均值波動包絡(luò)”。LSTM對這種序列的收斂速度快很多因為不需要同時兼顧趨勢項和季節(jié)項只需學(xué)習(xí)波動的局部規(guī)律。坦白講如果是純線性序列殘差就等于白噪聲CNN-LSTM學(xué)了也沒用但在真實電力負(fù)荷、交通流量這類數(shù)據(jù)里殘差里往往還藏著氣溫、節(jié)假日、突發(fā)事件等因素驅(qū)動的非線性模式——這才是組合模型能獲得收益的根本來源。4. Python代碼實現(xiàn)CNN-LSTM模型結(jié)構(gòu)、訓(xùn)練與滾動預(yù)測核心邏輯ARIMA的部分跑完之后接下來就是CNN-LSTM登場。這一章的代碼是整個項目的核心我會把網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練配置、滾動預(yù)測三步拆開講并且每一步都說明為什么這么設(shè)計。4.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計Conv1D壓縮LSTM記憶Dense輸出我用的是Keras的Sequential模型網(wǎng)絡(luò)拓?fù)淙缦聦虞敵鲂螤钫f明Input隱含(30, 1)30個時間步1個特征Conv1D(filters64, kernel_size3)(28, 64)提取長度為3的局部波形特征Conv1D(filters32, kernel_size3)(26, 32)第二層卷積進(jìn)一步抽象特征MaxPooling1D(pool_size2)(13, 32)壓縮時間步保留主要響應(yīng)LSTM(units64)64學(xué)習(xí)壓縮后的時序依賴Dropout(0.2)64緩解過擬合Dense(units32, activationrelu)32非線性變換Dense(units1)1輸出殘差預(yù)測值這里Conv1D的kernel_size取3是一個很常規(guī)的起點。如果你想要多尺度可以做兩條卷積分支一條kernel_size3一條kernel_size7然后在后面拼接理論上能同時捕捉短突變和中長度波動。我在主模型里用單尺度多尺度作為后續(xù)擴(kuò)展我在第七章再講。4.2 模型定義代碼from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Conv1D, MaxPooling1D, LSTM, Dense, Dropout look_back 30 model Sequential([ Conv1D(filters64, kernel_size3, activationrelu, input_shape(look_back, 1)), Conv1D(filters32, kernel_size3, activationrelu), MaxPooling1D(pool_size2), LSTM(units64, return_sequencesFalse), Dropout(0.2), Dense(units32, activationrelu), Dense(units1) ])需要解釋一下為什么卷積之后沒有立刻接Flatten再接LSTM而是讓LSTM直接吃卷積的輸出。因為一維卷積輸出的維度依然是樣本數(shù)時間步通道數(shù)時間步這個維度還在LSTM可以把每個通道在時間步上的響應(yīng)串起來學(xué)習(xí)依賴關(guān)系。如果用了Flatten時間維度就丟了LSTM就沒有意義。我第一次在這個項目之前也犯過這個錯誤白白增加參數(shù)量還掉點。4.3 訓(xùn)練配置早停、學(xué)習(xí)率衰減、shuffleFalse編譯和訓(xùn)練配置是這套代碼里最容易忽略的部分。from tensorflow.keras.optimizers import Adam from tensorflow.keras.callbacks import EarlyStopping, ReduceLROnPlateau from tensorflow.keras.losses import MeanSquaredError model.compile(optimizerAdam(learning_rate0.001), lossMeanSquaredError()) early_stop EarlyStopping(monitorval_loss, patience15, restore_best_weightsTrue) reduce_lr ReduceLROnPlateau(monitorval_loss, factor0.5, patience5, min_lr1e-5) history model.fit( X_train, y_train, validation_data(X_val, y_val), epochs100, batch_size32, callbacks[early_stop, reduce_lr], shuffleFalse )這里有幾個經(jīng)驗。第一損失函數(shù)用MSE因為預(yù)測任務(wù)輸出是連續(xù)值MSE對大的誤差懲罰更重這正好符合我們“盡量避免較大偏差”的業(yè)務(wù)直覺。第二EarlyStopping必須開patience我設(shè)在15等驗證集loss連續(xù)15輪不降就停下并且restore_best_weights恢復(fù)到驗證集最好的那輪權(quán)重。第三也是最關(guān)鍵的fit函數(shù)默認(rèn)shuffleTrue記得顯式設(shè)成False。時間序列一旦被打亂訓(xùn)練集和驗證集之間的時間依賴關(guān)系就斷了模型的記憶能力就會被無效化。我在跑這個模型的時候訓(xùn)練集loss前10個epoch下降得很快但驗證集loss在20輪以后就開始震蕩如果不加早停后面驗證loss一定會反彈——這是很典型的過擬合信號dropout和早停一起上陣才穩(wěn)得住。4.4 滾動預(yù)測讓模型像在真實環(huán)境里一樣工作CNN-LSTM訓(xùn)練好之后有人直接用model.predict(X_test)一把梭。這樣做的預(yù)測效果往往很差因為測試集的X是由測試集真實值構(gòu)成的窗口而測試集真實值本來就是要預(yù)測的未來值。正確的做法是滾動預(yù)測給定訓(xùn)練期最后look_back個殘差作為初始窗口逐日預(yù)測每次把新預(yù)測出的殘差拼接進(jìn)窗口推出下一天。def recursive_predict(model, init_window, n_steps): preds [] window init_window.copy().reshape(1, look_back, 1) for _ in range(n_steps): p model.predict(window, verbose0)[0, 0] preds.append(p) window np.append(window[:, 1:, :], np.array([[[p]]]), axis1) return np.array(preds) # 用訓(xùn)練集殘差最后look_back個值作為初始窗口 init_window residual_train[-look_back:] residual_forecast recursive_predict(model, init_window, n_test)滾動預(yù)測的代價是誤差會累積但因為殘差序列本身均值接近0、波動相對平穩(wěn)累積速度可控。如果你覺得累積太嚴(yán)重可以考慮多步直接預(yù)測也就是把最后的Dense層改成輸出h個時間步相當(dāng)于seq2seq但這樣會犧牲單步精度。我在項目里先保證單步精度滾動預(yù)測能接受。5. 實驗對比與結(jié)果解讀提升到底來自哪里模型跑完不能只貼一張loss曲線就說“效果很好”。我習(xí)慣用四個指標(biāo)聯(lián)合看RMSE、MAE、MAPE、R2。這四個指標(biāo)各有側(cè)重RMSE放大誤差大的樣本的懲罰MAE更穩(wěn)健MAPE看相對偏差R2看模型對總體波動的解釋力。5.1 評價指標(biāo)的實現(xiàn)def rmse(y_true, y_pred): return np.sqrt(np.mean((y_true - y_pred) ** 2)) def mae(y_true, y_pred): return np.mean(np.abs(y_true - y_pred)) def mape(y_true, y_pred): return np.mean(np.abs((y_true - y_pred) / y_true)) * 100 def r2(y_true, y_pred): ss_res np.sum((y_true - y_pred) ** 2) ss_tot np.sum((y_true - np.mean(y_true)) ** 2) return 1 - ss_res / ss_tot注意MAPE有個明顯問題如果真實值里有0或者接近0的數(shù)MAPE會直接爆炸。電力負(fù)荷是正數(shù)且不會有接近0的值所以能用。你要是換成PM2.5濃度也得小心那些接近0的樣本會主導(dǎo)MAPE讓指標(biāo)失真。5.2 同一份測試集上的實測結(jié)果以下數(shù)字來自我在本地負(fù)荷數(shù)據(jù)上的一次典型實驗結(jié)果。測試集沒有被模型在訓(xùn)練時見過所有結(jié)果都是滾動預(yù)測得到的。模型RMSEMAEMAPER2ARIMA-only15.6211.482.94%0.912LSTM-only13.7810.022.56%0.931CNN-LSTM11.358.422.13%0.948ARIMA-CNN-LSTM9.276.981.74%0.965從這張表能看出三件事。第一單用ARIMA在具有明顯非線性波動的負(fù)荷數(shù)據(jù)上確實是最弱的它的RMSE比CNN-LSTM高了整整4個點。第二CNN-LSTM比只用LSTM好說明卷積層提取的局部特征對LSTM是有正貢獻(xiàn)的。第三組合模型在全部四個指標(biāo)上都領(lǐng)先但提升幅度并不是“從90分到100分”的暴力提升而是相對穩(wěn)健的幾個百分點。5.3 提升到底來自哪里我仔細(xì)對比了預(yù)測曲線組合模型最大的收益不是把每個點的誤差都變小而是把峰和谷的位置踩得更準(zhǔn)。ARIMA預(yù)測的曲線普遍“太平”該尖的地方尖不起來CNN-LSTM單跑的時候某些尖峰擬合得很好但周期性位置會偏。組合之后ARIMA提供了周期骨架CNN-LSTM在里面填尖峰細(xì)節(jié)兩者分擔(dān)了不同的誤差來源。如果看到效果一般的情況也不要覺得模型沒用。有一個很現(xiàn)實的原因如果原始序列的線性成分占比本來就很低ARIMA能解釋的部分有限組合模型和純CNN-LSTM的差距就會非常小甚至因為誤差疊加而更差。所以這個組合適合的是“線性骨架非線性細(xì)節(jié)”并存的數(shù)據(jù)。做實驗之前先看一眼序列形態(tài)再做決定。6. 復(fù)現(xiàn)時最容易踩的6個坑與排查建議單獨模型你可能已經(jīng)跑得很順一旦進(jìn)入組合模型各種莫名其妙的問題就冒出來了。我把自己實際踩過的坑按頻率從高到低列出來。6.1 在歸一化時偷看了未來數(shù)據(jù)這是最隱蔽、也最坑的一個。如果代碼寫成“先把整個數(shù)據(jù)集歸一化再劃分訓(xùn)練集”測試集的min/max已經(jīng)進(jìn)入了訓(xùn)練階段使用的scaler參數(shù)。這樣模型在訓(xùn)練時實際上已經(jīng)知道了測試集的取值范圍測試集上RMSE會很好看但換了新數(shù)據(jù)立馬現(xiàn)原形。正確做法在第二章已經(jīng)強(qiáng)調(diào)過先切分再fit訓(xùn)練集scaler再transform驗證和測試集。排查方法也簡單訓(xùn)練時記錄的scaler.data_min_和data_max_對比一下是否包含測試集樣本的極值。如果包含了說明代碼順序?qū)戝e了。6.2 差分還原的順序錯誤如果你用的是ARIMA內(nèi)部差分statsmodels會自動處理不需要你手動還原。但如果你自己做了差分再預(yù)測完要還原時很多人會在累加順序上出錯。比如一階差分的還原是 cumulative_sum 第一個真實值如果你用cumsum時方向反了或者把第一個值的位置搞錯預(yù)測值會整體偏移。以我個人的經(jīng)驗最穩(wěn)妥的辦法是讓數(shù)據(jù)統(tǒng)一在歸一化空間里處理ARIMA、殘差、CNN-LSTM都在這個空間運(yùn)行最后只有最終預(yù)測結(jié)果需要scaler.inverse_transform。這樣能少一層單位換算的出錯風(fēng)險。6.3 滑動窗口導(dǎo)致訓(xùn)練和驗證樣本數(shù)量驟減look_back30意味著每個序列會丟掉前30條不能作為樣本。如果你的數(shù)據(jù)只有300條滑窗后訓(xùn)練集可能只剩下180條這會讓LSTM很快過擬合。我的建議是數(shù)據(jù)量少于2000條時look_back不要設(shè)太大如果必須用30可以考慮用步長為1的滑窗同時配合早停和dropout。樣本量太少的時候LSTM的優(yōu)勢發(fā)揮不出來CNN-LSTM也會變得不穩(wěn)定。6.4 預(yù)測結(jié)果“滯后一拍”這是時序預(yù)測里最經(jīng)典的現(xiàn)象預(yù)測曲線和真實曲線看起來很像仔細(xì)一看預(yù)測值比真實值晚了一到兩天。這種模型其實學(xué)到的只是“把昨天的值復(fù)制到今天”本質(zhì)上不是一個有效預(yù)測器RMSE看著還不錯但沒有任何業(yè)務(wù)意義。排查滯后問題有個直觀方法把預(yù)測值和真實值做滯后相關(guān)性分析計算預(yù)測值跟真實值錯位0天、1天、2天的相關(guān)系數(shù)。如果錯位1天的相關(guān)性明顯高于錯位0天說明模型已經(jīng)在做滯后復(fù)制了。我遇到這種情況通常是模型結(jié)構(gòu)太簡單或者數(shù)據(jù)里的噪聲太大解決辦法是適當(dāng)加大卷積核、增加LSTM的容量同時檢查數(shù)據(jù)有沒有被過度平滑。有趣的是ARIMA-CNN-LSTM組合在這個問題上反而比純CNN-LSTM好很多因為ARIMA的線性預(yù)測本身對趨勢外推有正向作用能抵消一部分滯后慣性。6.5 隨機(jī)種子沒有固定結(jié)果一天一個樣深度學(xué)習(xí)模型的結(jié)果和隨機(jī)種子高度相關(guān)這是一個常被忽視的復(fù)現(xiàn)問題。Keras里要同時固定三個地方Python的random庫、NumPy的seed、TensorFlow的seed。import random import numpy as np import tensorflow as tf SEED 42 random.seed(SEED) np.random.seed(SEED) tf.random.set_seed(SEED)加了這三行之后同一臺機(jī)器上相同環(huán)境下訓(xùn)練出來的結(jié)果基本可以復(fù)現(xiàn)。但也要說明白換一臺機(jī)器或換GPU型號后結(jié)果仍然會有微小差異這是浮點計算的正?,F(xiàn)象不是模型不穩(wěn)定別浪費時間追求百分百一致。6.6 驗證集合被shuffle搞亂Keras的fit默認(rèn)會在每個epoch前做一次shuffle這是為了訓(xùn)練隨機(jī)梯度下降的穩(wěn)定性。但時間序列一旦被打亂模型就會看到“昨天預(yù)測后天”這種錯亂的時間關(guān)系驗證集和訓(xùn)練集之間的順序依賴被徹底破壞。設(shè)shuffleFalse之后我立刻看到驗證集loss曲線變得連續(xù)、可解釋早停判斷也靠譜了。這個坑小但影響非常大。7. 還能怎么改從ARIMA-CNN-LSTM發(fā)散出去最后聊點擴(kuò)展方向。ARIMA-CNN-LSTM這套框架其實是一個“線性骨架非線性細(xì)節(jié)”的通用范式你完全可以在每個環(huán)節(jié)換裝。第一ARIMA可以升級成SARIMA。如果數(shù)據(jù)有強(qiáng)季節(jié)性SARIMA加入季節(jié)性差分項P,D,Q,s能更徹底地抽走季節(jié)成分殘差里剩下的非線性信息會更純粹。代價是網(wǎng)格搜索參數(shù)空間變大訓(xùn)練時間增加但預(yù)測精度通常有提升。第二CNN部分可以改成多尺度卷積。前面提到的雙分支并行一條kernel_size3一條kernel_size7合并后接池化能讓模型同時捕捉短突變和中長波動。如果你的數(shù)據(jù)既有小時級別的跳變又有日級別的趨勢這個改動收益不小。第三殘差學(xué)習(xí)器也可以換成別的模型。我試過用XGBoost或LightGBM去擬合ARIMA殘差在樣本量比較大的時候效果也不錯而且訓(xùn)練速度遠(yuǎn)快于LSTM。但樹模型對時間順序的結(jié)構(gòu)利用不如LSTM細(xì)膩通常LSTM在殘差里的表現(xiàn)更穩(wěn)定。第四如果你的目標(biāo)是長序列預(yù)測可以考慮在LSTM層后面加attention機(jī)制或用Transformer/Informer這類以注意力為核心的架構(gòu)替代LSTM。但老實說對日粒度數(shù)據(jù)數(shù)據(jù)量如果不支持超大規(guī)模訓(xùn)練Transformer不一定卷得過LSTM別盲目追新。最后分享一個我自己的體會組合模型的第一原則不是越多越好而是看每一層的輸入是不是它擅長的信號類型。ARIMACNN-LSTM能打是因為三者拿到的都是適合自己處理的拼圖——ARIMA拿趨勢CNN拿形態(tài)LSTM拿時序依賴。想清楚這個分工你自己也能設(shè)計出更好的組合。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
疯狂做受XXXX高潮A片| 狠狠狠狠狠草| 五月天婷婷情色| 色色色热| WWW,五月| 五月天综合网| 天天狠狠夜夜狠狠2023| 五月色网| 91小黄书网址在线观看| 亚洲开心激情网| 9 1超碰九色| 久碰久| 大地资源色婷婷视频在线| www.91操| 激情六月天婷婷| 99爱在线视频观看| 丁香五月亚洲综合| 五月丁香六月婷婷亚洲激情综合| 色一情一乱一乱一区91| 99久久精品国产色欲| 九九精品丁香花| 国产FREESEXVIDEOS性中国| 97在线综合| 这里只有精品在线视频在线观看| 99r这里| 五月婷婷六月丁| 色婷婷av在线| 日韩高清成人| 狠狠色五月| 91打屁股免费看| 色婷婷香蕉| 激情五月综合网最新| 国产婷婷色综合AV蜜臀AV| 先锋男人99资源| 亚洲五月丁香综合网| 亚洲成人高清在线| 丁香五月婷婷天堂大香蕉| 99碰碰碰| 天天操天天国产三级片处女学生妹| 丰满老熟妇BBBBB搡BBB| 成人综合网站| 这里有精品| 97人人操人人| 丁香五月另类色婷婷麻豆| 五月丁香综合网| 五月天婷婷激情春色小说| 婷婷五月天综合激情| 丁香五月天激情四射网| 色婷婷玖玖影院| 婷婷五月丁香青青草在线| 大地资源色婷婷视频在线| 婷婷久热| 亚洲综合激情五月久久| 婷婷的99视频网站| 久操大香蕉| 成人版视频在线观看| 成年人看Va免费视频| 五月丁香五月天现场视频| hd五月婷婷在线| 激情99。| 永久99免费视频网站| 伊人99热| eeuus五月婷| 五月婷婷六月丁香| www.婷婷五月天.com| 五月天婷婷色色网| 五月婷婷中文字幕| 大香网伊人久久综合| 五月婷婷五月天| 成人在线综合| 日本久久婷婷| 丁香六月久久| 六月婷婷色综合| 91人人操人人| 亚洲婷婷五月天在线激情综合网| 五月天婷婷久久日| 五月花婷婷在线精品视频| 亚洲综合激情五月天婷婷| 丁香五月天啪啪| 99热只有精品综合| 五月丁香网av| 五月天性色| 去干网最新版本亚洲版| 精品51XX| 天天狠狠夜夜狠狠2023| 丁香狠狠色婷婷| 偷拍91九色| 26UUU欧美激情一区二区| 丁香五月天社区| 狠狠色大香蕉| 久久3p| 性爱久久| 九九99在线免费在线观看视频| 天天综合激情| 99在线观看视频免费| 91se在线视频| 五月丁香激情片| 99色在线观看免费| 2023天天日夜夜爽| 婷婷五月色亚洲| 中文字幕婷婷五月天在线观看| 五月天成人伊人| AV国产有码| 伊人六月无码视频| 成人五月天视频播放| 99在线精品视频免费观看20| 久久婷婷综合国产| 九九热精品视频| 另类A片| 色综合九九| 超碰人人干| 色噜噜狠狠色综合网| 日本色婷婷| 九九热最新地址| 人妻久久久久久| 国产精品色| 色婷婷呢狠禁久禁| 亚洲AV永久无码影院黑人| 91se在线观看| 4399成人黄A片| 五月6香色婷婷视频| www.91.com黄| 激情精品久久| 五月婷导航| 激情五月天久久| 亚洲精品网站色视频| 丁香婷婷色| 天天干在线播放| 色婷婷成人丁香| 色情五月天小说| 另类小说婷婷色| 天天婷婷操| 久久婷婷丁香五月一二三| www.六月丁香看AV| 久久AAAA片一区二区| 丁香六月婷婷色XXXX| 亚洲女婷婷五月基地综合久久久| 色吧五月婷婷| 123草逼网| 婷婷五月天在婷| 人妻少妇色综合| 99在线精品视频| 久久电影4399| 91丨九色丨高潮丰满日本| 五六月丁香激情视频| 国产激情综合| 久青操| 婷婷精品在线| 青草视频在线播放| 激情图片婷婷丁香五月| 台湾综合丁香五月蜜桃| 五月天综合在线观看| 草AV9999| 婷婷六月视频| 超碰在线免费| 国产av一区二区三区| xxxx五月天色色| 一区二区乱码视频| 久久欧洲久久| 色停停五月天| 深爱婷婷网| 亚洲成人在线观看av| 人人97操| 丁香五月亚洲激情婷婷射| 天天插天天很| 少妇人妻人伦A片| 大香蕉久久| 成人片黄网站色大片免费毛片| 色吊操色妞| 97人人看| 久久开心五月婷婷| 日本色99| 九九色婷婷| 久久9情免费| 久久精品99久久| 五月久久噜噜| 天天舔天天爽| 99精品免费| 热久久婷婷| 任你日视频| 丁香五月综合图片在线观看| 色九月婷婷丁香| 搡BBBB搡BBB搡18| 成人va在线| 91超碰在线观看| tingtingzonghewang| 婷婷五月丁香手机在线视频| 五月天婷婷视频| 亚洲无码影音| 国产日产亚洲系列最新| 欧洲S级在线观看| 亚洲avjiujiur91| 五月开心激情| WWW.国产| 久久新地此| 色99视| 婷婷激情六月| 老师的粉嫩小又紧水又多A片视频| 97操男人的天堂| 国产乱码久久| www.色婷婷.com| 另类少妇人与禽zOZZ0性伦| 日韩精品无码AV| 蜜桃婷婷五月| 综合狠狠干| 久久9热好| 国产熟女大叫受不了| 亚洲色婷婷婷婷人人爽| 亚洲熟女色| 97日韩无套内| 99精品自拍视频| 日本性激情色播| 亚洲操逼网| 亚洲天堂AV综合网| 综合色天天| 99热天堂| 婷婷综合久久综合| 激情综合网婷婷久久| 色婷六月| 色色婷婷综合| 天天日天天干天天爱| 婷婷五月天激情小说| JAPANRCEP老熟妇乱子伦视频| 热热99爱爱| 九九草热在线观看| 色色网站| 麻豆精品| 五月丁香六月婷婷婷婷| 五月丁香婷婷色| 欧美色色色色色色| 激情五月综合网最新| 婷婷视频网| 97色天堂| 五月丁香性| 全部老头和老太XXXXX| 六月丁香综合| 亚洲另类日本| 激情小说色五月| 伊人婷婷青青cao| 五月丁香久久| 婷婷激情五月天激情小说| 99在线观看这里都是精品| 丁香婷婷九月| 激情婷婷视频在线| 天天日天天干天天插天天射| 另类少妇人与禽zOZZ0性伦| 国产成人综合在线| 久草热在线视频| 天天碰夜夜操| 欧洲亚洲最新精品| 色播五月| 色色五月天网站| 久久只有18视频| 日本欧美成人片AAAA| 99在线精品视频| 色五月在线视频观看| 另类少妇人与禽zOZZ0性伦| 99热人人| 久久大香蕉同僚| 五月色婷婷夜色| 午夜精品777| 五月丁香影院| 99热r| 色婷婷五月综合在线| 久久这里只有精品视频15| 69精品人人人人| 久久五月婷婷丁香| 大香AV| 色五月首页| 中字幕视频在线永久在线观看免费| 91久久婷婷| 色色色在线观看| 日韩啪图| 激情综合色播| www...com黄在线观看| 天天综合.com| 欧美一级色| 大香蕉av在线| 九月丁香亭亭| 一起草Av| 色婷另类| 一区二区三区四区牛| 九九热这里只有国产精品| 另类图片五月天| 婷婷色激情网| 超碰成人免费| 综合AV在线| 91人碰| av免费在线看不卡无毒| 午夜精品777| 女人高潮内射99精品| 五月丁香综合啪啪| 91狠狠综合久久| 超碰91人人操| 亚洲av综合网| 99热这里只有精品1025| 色婷婷综合久久久久| 天堂爱啪啪| 夜夜躁爽日日| 一二区成人电影| 色色com| www。五月,com| 日日懆天天懆| 91在线资源| 玖玖资源天天无码| 97婷婷五月| 米奇影视资源婷婷狠狠色激情欧美五月丁香 | 亚洲综合视频网| 日本黄色在线观看| 天天插天天爱| 五月婷婷综合影院| 五月婷婷啪啪| www激情网站| 婷婷丁香五月网| 日韩婷久| 综合成人小说婷婷| 九九色大香蕉| 久久久大香蕉| 婷婷久久综合| 久草五月| 五月丁香天堂网婷婷| 青青久在线视频免费观看| 99亚洲综合| 超碰免费在线| 全国最新疫情| 亚洲av电影网站| 亚洲色无码| 综合久久8| 五月激情六月综合| 97资源碰碰在线| 91丨九色丨白浆秘| 无码色色色色色| 丰满人妻一区二区三区| 啪啪婷婷五月天激情| 中文字幕丰满孑伦无码专区| 99成人无码| 久久综合66| 99视频这里有精品免费观看| 亚洲成人无码免费| 色天堂在线| 五月婷婷色影院| 狠狠色婷婷7777久| 久久成人性爱| 在线视频区| 亚洲综合婷婷六月丁香五月| 婷婷五月欧美| 可以免费观看的av| 婷婷五月天综合网| 99久久99久久综合| 激情五月天色爱| 91高潮喷水久久久久久久久 | 91日日日| 五月激情视频| 亚洲男女激情| 激情五月天之六月婷婷| 久久A极片| 色婷婷五月天综合网| 久久精彩视频18| 五月天色婷婷伊人网| 丁香五月WWW| 性天堂久久| 色色丁香婷婷综合| 欧美色婷婷| 开心激情色婷婷五月天| www。久久久久一b。Cc| 97丁香五月| 99精品综合在线| 久久五月丁香| 玖玖@三月天天丁香婷婷| 色5月婷婷| 99碰在线视频| 色色婷| 丁香五月天人体| 日B日潘金莲BB| 天天干天天干天天干天天干天天干| 婷婷五月精品中文字幕| 色五月av| 色天天综合色| 丁香婷婷综合喷| www.91在线观看| 色婷婷五月天激情| 99九九这里有免费视频| www.五月天婷婷| 99热欧美在线观看| 大香蕉丁香五月| 99色热视频在线| 黄网在线播放| 国产一级片色色| 噜噜色婷婷| 黄网免费看| 九九无码| 天天摸天天舔| 噜噜色五月| 综合久久十三| 人人97碰| 婷婷五月天视| www99xxxx五月丁| 六月婷婷激情| 婷婷五月综合在线视频| 手机旧版看人妻1025| 99性视频| 五月丁香人妻| 99在线观看| A短视频免费在线观看| 色五月亚洲| eeuss人妻| 婷婷5月久久综合网站| 99re热在线视频观看| 开心 五月 综合| 婷婷六月香| 激情久久久久| 婷婷伊人五月| 影音先锋一区二区三区| 影音先锋男人女人| 色热久| 26uuu淫色| 97色综合视频| 国产超碰在线| 婷婷五月成人系列| 五月婷婷六月丁香免费| 九九久久偷拍| 五月天桃色深爱网| 79精品视频| 黄色三级日本| 级人人91| 婷婷免费视频| 可以看的AV| site:pzdcoin.com| 夜色.cnm| 这里有精品| 九九精品网| 色五月天.con| 婷婷久久欧美| 中文字幕在线日亚洲9| 色婷婷社区| 激情五月天婷婷直播| 亚洲永远av在线播放| 国产成人网| 国产精品久久7777777精品无码| 婷婷五月天综合网| 2050人人操免费工开爱| 9+1视频网址| 丁香婷婷激情网站| 亚洲日本激情| 婷婷色在线播放| 色狠狠色噜噜AV天堂五区| 亚洲欧美婷婷五月色综合| 五月丁香 久久久| 91久久综合| 最近中文字幕2019视频1| 色色五月天丁香婷婷| 五月婷婷免费| 五月婷色色| 欧美激情-区二区三区| www.夜夜| 影音先锋天天日| 丁香久久五月天视频在线观看| 丁香婷婷九月| www.婷婷五月.com| 婷婷爱五月| 五月天停婷基地| 激情五月五月五月婷婷| 区区久久妻| 色色五月丁香婷婷综合| 国产精产国品一二三在观看| 六月婷婷综合| 五月婷婷在线综合| www.狠狠狠.com| 久久婷婷综合基地| 天堂va久久久噜噜噜久久Va| 日本精品久久久久中文字幕| 在线视频另类| 激情五月天电影| 日本色婷婷五月天成人电影| 色射影院| 婷婷五月六月丁香| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品 | 天天干一干| 很很干五月天| 亚洲激情综合色站| 超碰九九热| 久久九九经典| 午夜天堂一区人妻| 色情婷婷五月天| 天堂综合久久| 亚洲综合丁香五月天| 这里只有精品日韩精品| 亚洲操逼网| 丁香九月激情久久| 97超级碰人人| 噼里啪啦完整版中文在线观看 | www色色色com| 另类激情码| 99九九这里有免费视频| 三男玩一女三A片| 97福利视频| 可以免费观看的av| 亚美欧色影院| 夜夜做天天爽| 伊人青草成人| 五月激情啪啪| 五月天激情久久| 日本99婷婷| 最新无毒无码AV| 久草五月| 99热官网精品在线| 成人在线不卡| 激情五月天网站| 思思 热 99| 深爱五月亚洲| 青青五月天婷婷| 97色色色色| 日本视频99| 99色免费| 岛囯综合激情网| 国产精品色情AAAAA片软件| 色情五月综合婷婷| 六月丁香五月天| 九九亚洲| 色五月天成人| 婷婷六月久久综合导航| 美英法精品无码免费视频| 一本道综合网| 丁香五月六月久久综合| 久久久人妻不卡| 996er热| 久久99综合网| 超碰中文字幕在线| 日本在线观看91| yw国产AV| 日韩五月婷婷久久| 91九色超碰| 天天日天天肏天天奸| 国外亚洲成AV人片在线观看| 丁香五月激情五月| 天天操夜夜操| 日产精品一线二线三线芒果| 日韩婷婷| 26uuu欧美日本| 亚洲九区| 色婷婷视频| 激情五月天色色网| 秋霞性爱AV| 久久色婷婷| 91丨九色丨白浆秘| 在线成人网址| 久久婷婷综| 色狠狠999综合| 玖玖午夜视频| 综合久久影院| 超碰精品在线| 天天干夜夜想| 这里只有精品视频| 五月天伊人| a久久| 色五月在线观看| 97超碰人人操| 天天色宗合| 亚洲激情婷婷| 99精品视频在线观看| 成功精品影院| 五月丁香久久| 538在线精品| 强辱丰满人妻HD中文字幕| 少妇被下春药玩弄A片| 色欲一区二区三区精品A片| 欧美黑人巨大性生话| 国产FREESEXVIDEOS性中国| 嫩草AV久久伊人妇女超级A| 成人在线日韩| 色五月情| 激情综合网激情五月丁香五月俺也去| 91狼友视频网页更新| www.韩日视频| 欧美婷婷精品激| 免费看成人747474九号视频在线观看| 久久婷婷婷| 久久久久9999| WWW色五月天| 五月天婷婷色五月天| 99在线观看精彩视频| www.狠狠操.con| 99秘 在线| 伊人色综在线| 亚洲精品婷婷| 欧美 日韩 成人 在线| 色九网| 天天日日夜夜| 国产午夜精品AV一区二区麻豆| 新激情五月天| 免费在线a| 任你操精品免费| 天天色图| xxxx五月| 色五月婷婷激情五月| 久久久精品人妻录| 四月婷婷五月丁香| 超碰在线国产| 99久久久99久久91熟女| 色欲色欲久久宗合网| 色停停影院五月天| 欧洲S级在线观看| 超碰在线人人| 思思久ren热| 色青五月天| 99视频在线精品免费观看2| 99性爱| 91viP在线看| 久久亚洲激情五码| 无码免费人妻A片AAA毛片西瓜| 六月婷综合| 中文字幕婷婷在线| 五月丁香另类图片| 性婷婷| 思思热国产在线| 亚洲另类日本| 九九九热精品| 一本道在线电影| 五月婷婷综合在线视频| 欧美人久久| 国产色色在线| 久久99成人性爱高清视频| 五月天播播中文字幕| 香蕉久久国产AV一区二区| 国产毛片精品一区二区色欲黄A片| 欧美性生交XXXXX无码小说| 亚洲成人精品三区| 久操无码| 激情婷婷| 中文字幕丁香五月| www.99热这里只有精品| 欧美婷婷日本| 国产美女无遮挡裸体毛片A片| 亚洲无码猫咪| 婷婷色丁香五月| 丁香六月av| 色婷婷色五月天| 天天干天天爽| 超碰国产在线| 亚洲影院婷婷色| 久久婷婷内射| tingting五月天亚洲| 天天干夜夜欢| 色视频2025| 天天成人丁香美女AV| 亚洲人人操| 亚洲色五月| 狠狠色噜噜狠狠狠狠狠色综合久久| 激情文学第四色婷婷丁香五月| 久久久婷婷婷| 亚州日本欧州韩美高青高潮一| www.99情趣网| 超碰人人干| 日韩黄在免| 综合色影院| 天天综合久久| 欧美激情五月| 97人人搞| 精品夜夜澡人妻无码AV| 九月婷婷综合网| 九九热在线精品视频| 九九色综合| 久久综合香蕉国产国产蜜臀AV| 久久作爱| 激情五月天小说视频| 婷婷午夜综合| 日本人妻伦在线中文字幕| 九九www| 99热 在线观看| 人妻久久久久久久 | 任你爽精品免费视频6| 少妇AB又爽又紧无码网站| 婷婷99丁香| 99热这里只有精品98| 丁香五月天啪啪a日本| 九九精品热| 热99.com婷婷| 九九热这里只有精品5| 五月婷婷之美女图片| 久久久婷婷| 99精品丰满| 性爱网久久| 99乱视频| 欧美大肥婆大肥BBBBB| 91九色中文| 五月天成人网婷婷| 久久性操| 日韩在线视频9色| 日韩亚洲视频| 亚艹艹| 六月婷婷激情| 涩涩婷婷五月| 激情五月婷婷伊人| 五月天激情图片| 天天综合网~91| 九九国产视频| 伊人五月天在线| 欧美性做爰大片免费看办公室| 国产资源在线视频| 日日激情网| 色噜噜婷婷| 9色免费网| 亚洲avjiujiur91| 91人操人人人操人| 天天色中文字幕女优AV| 天天搞夜夜爽夜夜爽| 丁香五月婷婷日本| 国产欧美精品AAAAAA片| 亚洲av免费在线| 亚洲天码视频www蛋播视频| 久久xxxx| 国产成人高清| 丁香六月婷婷综合在线| 色婷婷电影网| 曰曰久久| 五月婷婷天| 久久精品99国产精品日本| 激情六月丁香| 久久机热/这里只有精品| 无码激情AAAAA片-区区| 欧美久久婷婷| 免费在线观看欧美激情xx小视频| 乱乱av| 五月婷婷AV| 色五月天本日| 亚洲国产精品VA在线看黑人| 午夜丁香婷婷| 亚洲色婷婷| 五月天婷婷丁香成人网| 五月婷婷伦理| 国产99久久久| 亚洲九九婷婷| 丁香五月激情无码视频| 韩国真做片在线观看| 九九热av| 婷婷六月天激情| 久久婷婷七月丁香| 久er7久热| 天天看A片| se99热久久一本| 日日夜夜综合| 99热精品在线观看| 五月大香蕉| 久久综合婷婷五月| 婷婷丁香婷婷97| 五月天激情图| 二色av| www.超碰在线| 五月婷婷九九热| 99九九99九九九视频精品| 日韩AAA| 99自拍视频在线| 亚洲av网站| 激情久久丁香| 丁香花操逼| 五月婷婷开心丁香| 无码视频国内精品久久久| 99热久只有| 亚洲综合激情五月久久| 99在线视频资源| 99综合视频| 九九色黄色| 99精品在线下载| 色五月激情五月| WWW,色五月| www九九热| 黄色精品五月婷婷| 激情五月天开心| 日韩欧美性爱| 久久久区区一久久久久久| 被强行糟蹋的女人A片| 激情5月舔| 噜噜噜狠狠色综合| 中文精品在| www.色九月| www.99免费视频| 五月天五月天激情网| 99视频在线9| 开心五月丁香啪| 无码人妻丰满熟妇奶水区码| 丁香五月丐人妻| 色婷婷激情| 五月丁香六月激情综合网| 六月丁香久久| 天天摸天天肏| 色五月综合激情| 五月丁香 啪啪| 色99热| 91成人电影| 久久人人九| 色婷婷色九月| 开心婷婷中文字幕| 九月色婷婷综合| 色婷婷综合网| 99久热精品在线| 综合网五月| 97婷婷丁香五月天激情图片| 五月婷婷真爱激情网| 激情婷婷五月综合| 99色色色色| 91干网| 五月天.com| 51XX嘿嘿午夜无码| 99色色网| 超碰97免费在线| 4399人妻无码久久久| 婷婷内射视频在线| 另类精品视频在线观看| 99九九精品视频| 亚洲99综合| 99热99色| 天天天干夜夜夜操| 久久丁香婷婷五月天| 婷婷五月天影院| 美妞av| 年轻的妺妺伦理HD中文| 婷婷五月丁香激情色情| av一级棒av| 色狠狠综合| 91高潮喷水久久久久久久久 | 性天堂久久| 久热中文字幕| 99操视频| 色噜噜狠狠色综| 欧美色五月| 99爱免费在线观看| 中文字幕免费高清电视剧| 五月婷婷六月激情网| 99久操视频| 天堂草在线看www| 狠狠色狠狠爱| 站长推荐无码播放| 99综合| 欧美性爱五月天| 天天 日综合| 五月天婷婷狂暴白浆| 99思思热只有在这里看| 人人97操| 国产97色在线 | 日韩| 亚洲啪啪啪啪| 99自拍视频在线| 91dy.av| 丝雨一区二区| 日本丁香五月| 日本啪啪网| 综合网天天| 婷婷五月天影视网址| 不卡的AV网站| 激情深爱综合网| www.色婷婷.com| 日韩成人av在线| 国产色丁香| 中文字幕无码AV| 五月丁香中文字幕| 五月丁香综合成人社区| 日本人妻A片成人免费看片| 五月天婷婷一起草| 亚洲午夜成人av电影网| 99热这里有精力| 激情av在线| 亚洲操b| 天天爱天天做综合| 日韩人人操| 五月婷婷亚洲色视频| 97久久久久| 色优久久| 丁香九月婷婷色| 婷婷久久伊人| 五月天婷婷激情在线色图| 激情五月天综合图片小说网站| 九九精品9| 婷婷在线播放| 九九热色视频| 无码成人播放器| 可以直接看的av| 成人AV免费观看| 成人做爰A片免费看视频| 国产资源91在线| 久久久久久99精品无码| 五月天另类激情在线| 五月天婷婷伊人| 色婷婷影视99| 大香蕉久艹| 色综合xx| 九九精品re免费视频| 久久五月激情| 久久久er热| 丁香五月桃花在线激情综合| 欧美视频五区| 九九热这里精品| 玖玖99婷婷| 99丁香五月婷| 色综合爽| 色吧99| 丁香五月色五月| 青青草性爱视频| 色婷婷六月| 天天爽天天操| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 色色色国产| 免费观看欧美成人AA片爱我多深| 五月婷婷综合在线视频小说| 97色婷婷成人综合在线观看| 久久国产一区二区三区| 综合久久五月天| 97婷婷色| 丁香五月婷婷图片综合| 五月丁香激情综合啪啪| 欧美99热| 月色色综合婷婷网| 97色色色| 噜噜久| 亚洲中文字幕av| 婷婷中合| 久热 91| 颜射 精品性爱av| 99热狠狠操| 六月丁香网| 色综合久久88色综合天天99| 思思色播| 久久五月天丁香| 91精品久久久久久| 五月婷丁香亚洲| 五月婷啪| 大香蕉久久视频久久视频 | 丁香综合伊人| 亚洲色区17| 色播五月| 人人爽欧美婷婷久久久五月丁香| 久久99综合| 婷婷狠狠青青| 日本色色网| 丁香婷婷五月基地| 久久久婷婷| 高清av在线国产| 色色五月丁香| 99综合激情久久精品久久| 亚洲99综合| 91久女| 成人看片网站| 久久五月综合| 華人性愛AV在線| 丁香花操逼| 狠狠色婷婷777| 五月婷婷五月天在线| 五月六月丁香婷婷在线观看| 涩涩婷婷五月| 国产乱妇乱子在线播视频播放网站 | 婷婷五月天第三页| 亚洲一色色色色色色色色| 嫩草视频观看| av高清无码| 丁香九月婷| 日韩在线aaa| 九九热这里有精品视频| 777久久久| 熟妇人妻中文字幕无码老熟妇| 九热视频在线精品15| 婷婷五月天人妻| 久久久久9| 激情五月婷| 青草久久五月婷伊人| 五月婷婷色综图片| 婷婷干| 99色色| 人人摸人人澡人人| 深爱激情AV| 综合久久97| 大香伊人婷婷影院| 午夜69成人做爰视频| 久久多色| 婷婷亚洲欧美丁香五月| 激情婷婷五月女| 六月婷色| 久久女伦| 色色亚洲视频| 五月丁香婷婷婷激情爱爱| 激情五月天免费视频| 久久五月丁香婷婷| 人橾人| 97综合视频在线| 99久久久| 久久五月激情综合| 丁香六月婷婷激情| 天堂五月婷婷| 1024日韩| 色 五月 天 婷婷 丁香 九月| 成人亚洲精品久久久久| 天天天天天日| 天天操婷婷| 五月丁香亚洲综合网| site:hcxsz888.com| 五月婷婷色色网址| 日韩成人中文| 五月天激情小说网| 啪啪综合| 香蕉AV777XXX色综合一区| 激情5月婷婷狠狠干| 黄色AV日韩| 丁香五月综合久久| 久久婷婷五月天丁香| 婷婷色导航| 五月激情综合网| 99热这里只有精品在线观看| 99视频在线观看欧| 婷婷激情伍月网| 91精品91久久久中77777久久玖玖九九 | 久er7久热| 中文字幕在线资源| 中文久久婷婷| 殴美97色| 久久激丁香| 五月婷婷激情综合| 婷婷色网| 婷婷五月色综合| 婷婷五月天伊人网| 五月婷婷啪啪网| 婷婷 激情 五月| 亚洲性受XXXX五月丁香| www999日韩精品| www.久久久久久久久久.com| 免费观看全黄做爰的视频| 思思热在线视频精品| 91热在线| 丁香六月婷婷久久综合| 怡红院一二三| AV79| 婷婷瑟五月天久久综合| 五月综合亚洲色| 一级精品999WWW| 久热在线观看视频9| 秋霞av吧| 1000部毛片A片免费观看| 夜夜夜夜夜操| 五月婷激情影院| 人人草开心五月天| 79色色免费| a v色婷婷| 久久黄色网扯| 婷婷六月丁香在线| 丁香激情网| 色综合视频| www.玖玖婷婷在线| 九九色情网站| 少妇搡BBBB搡BBB搡毛茸茸| 大香蕉综合在线| 99色精品| 狠狠干综合| 96精品久久久久久久久| 99热综合网| 久久性爱视频这里只有精品| 丁香五月婷婷亚洲另类| 天天操天天操| 五月激情综合激情五月| 丁香五月婷婷久久久| 五月丁香六月色婷婷综合五月天| 久久九九网| 91干视频| 综合99综合久久久久久久| 久久综合色五月| 97碰在线免费观看| 九色PORNY在线精品酒店| 成片免费观看大全| 大香蕉视频99| 亚洲永远av在线播放| Aaa久久| 曰本久久女| 五月婷婷 婷婷五月 一区二区 久久久| 欧洲MV日韩MV国产| 九九热青草| 中文幕无线码中文字蜜桃| AA丁香综合激情| 日日日日日| 强壮公让我夜夜高潮A片视频| 天天干天天干天天干| 亚洲高清在线| 亚洲色婷婷| 婷婷天堂站| 中文字幕在线观看视频www| 香蕉久久国产AV一区二区| 99热综合| 亚洲熟妇AV乱码在线观看| 亚洲国产精品二二三三区| 国产精品久久久久久妇女6080| 久久精品一区二区三区四区| 国产人妻777人伦精品HD| 亚洲亚洲人成综合网络| 色一情一乱一伦一区二区三区| 丁香色婷婷| 色婷婷成人做爰A片免费看网站| 亚州美女| 婷婷五月花| 四川BBB搡BBB爽爽视频| 久久久99精品免费观看| 91五月天| 国产精品久久久久久久久久久久| 最近韩国日本免费高清观看| 国产乱子轮XXX农村| 亚洲经典三级| 色噜噜丁香| 五月天色软件| 99精品视频免费观看近期发布| 五月天电影网| 日韩AV免费电影在线播放| 色九四色| WWW色色色COM| 97人妻碰碰碰碰碰久久久久久| 色婷婷亚洲在线观看| 91日韩美女被插视频| 波多野结衣AV无码Porn| 激情久久肏屄视频| 婷婷99狠狠| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 色婷婷六月天| 亚洲综合在线伊人婷| 99免费热在线精品| 色情丁香五月天| 青青草婷婷综合五月| 五月婷婷插一插| 久久人妻伊人| 五月婷婷综合在线| 91在线日| 五月婷在线| 婷婷五月天小说| 免费无码毛片一区二区A片| 天堂呦 呦百度搜索-百度搜索| 五月婷无码| 九月激情综合婷婷| 五月丁香无码| 人妻久久久久久久久妻久久久久久久久| 狠狠 婷婷| 激情五月丁香在线观看直播| 婷婷亚洲在线| www.婷婷五月| 六月丁香五月婷婷| 丁香五月电影| 国产精产国品一二三在观看| 色色色色色色综合网| 人妻激情网| 色婷婷a| 激情婷婷五月久久| 九九在线免费观看| 国产三级秋霞| 伊人久久大香蕉网| 五月丁香网站| 五月天婷婷久久| 日本视频久久| 9色免费网| www一起操| 婷婷色五月丁香六月欧美啪| 丁香激惜男女| 亚洲人人操BD| 99视频只有精品| 九九免费视频| 亚洲日韩一页精品发布| 色五月综合激情网| 亚洲免费av观看| 猫咪伊人久久| 九九激情综合| 97婷婷丁香五月天激情图片| 五月激情网站| 六月婷婷综合| 九九久久综合| 激情六月婷婷| 琪琪色综合网站| 中日韩狠狠色| 777色婷婷爱五月| 五月丁香婷婷啪啪综合网| 操骚货在线| 狠狠干夜夜干| 中文字幕婷婷9月天| 天色综合网| 97成人丁香婷婷| 婷婷九月丁香久久| 综合五月丁香六月婷婷| 五月天激情久久| 伊人网色婷婷五月天| 激情五月综合久久| 久久无码激情视频| 五月天另类小说久久小说网| www.激情| 99热啪啪| 久久38视频| 国产精品久久..4399| www.狠狠色.com| 久色视频| 久久婷婷亚洲| 99精品一二三四视频| 色婷婷五月在线| 免费观看18视频网站| 69精品人人人人人人| 天天曰夜夜爽| 亚洲婷婷激情五月天| 大香蕉婷婷丁香天堂AV| www。久久久久一b。Cc| 2022人人操人人看| 久久婷婷五月国产色综合激情| 色婷婷九月| 日日噜噜夜夜狠狠久久丁香六月| 亚洲人妻av伦理| 91日精品| 丁香五月天色| 99国产视频网| 色五月在线观看| 黄色av高清| 婷婷丁香熟妇综合网| 婷婷五月天亚洲图片| 99色在线观看视频| 色婷婷丁香五月| www.cao.com久久| 久久婷婷热| 天天五月情| 午夜成人AV在线| 97caop| 久9免费视频| www.狠狠狠狠| 亚洲无码99| 五月天婷婷色| 九月色婷婷婷| 五月婷婷免费在线| 丁香激情五月少妇| 精品人妻伦一二三区久| 亚洲欧美日韩另类| 99re99热| 色中色综合| 婷婷九月色| 97日本在线| 天天做天天爱高潮片| http://www.sd-xiangsu.com/| 久久9精品| 亚洲美女裸体被操在线观看| 99在线观看视频| 婷婷五月激情在线| 成人一级片| 99热传媒| 99在线精品观看99| 色狠狠色综合| 五月天激情四射| 伊人网色婷婷五月天| 日韩成人中文字幕| 色五月亚洲开心网| 99热这里只有精品22| 91fuliwang| AV伊人青草丁香六月| 激情伊人五月天| 99热这里只有精| 青青艹b| 人人爽在线视频综合网| 99热99re6国产在线播放| 深爱五月激情五月| 免费成人网在线观看| 色综合色欲综合天天免费| 久久婷狠狠色| 玖玖99婷婷| WWW,色五月| 日本丁香五月| 亚洲深喉AV| 996热re视频精品视频| 欧美综合激情五月天| 天天色天天日| 热久久色| 婷婷丁香五月噜噜噜| 久久怕怕视频| 9精品视频在线| AV美美午夜| 超碰成人免费|