欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

深度學習時間序列預測實戰(zhàn):LSTM模型選型、數(shù)據(jù)處理與PyTorch實現(xiàn)

深度學習時間序列預測實戰(zhàn):LSTM模型選型、數(shù)據(jù)處理與PyTorch實現(xiàn) 簡介基于Python的深度學習時間序列預測研究資料包面向希望系統(tǒng)掌握序列建模的中初級學習者可用作畢設(shè)、課程設(shè)計與工程實訓起點。資源完整覆蓋標普500與太陽黑子兩個實驗場景內(nèi)置數(shù)據(jù)加載、模型構(gòu)建、訓練預測與評估指標等12個Python腳本配合4個CSV數(shù)據(jù)集、2個Markdown說明文檔及dataset數(shù)據(jù)目錄壓縮包共19個文件整體僅177KB便于快速下載與本地復現(xiàn)。內(nèi)容涵蓋LSTM、ARIMA、SVM、ARMA等經(jīng)典模型對比并附有EvaluationIndex.py等評價模塊讀者可對照SP500與Sunspot子目錄的示例流程理解從數(shù)據(jù)預處理到模型評估的完整鏈條。項目代碼結(jié)構(gòu)清晰分模塊可復用目前已有158人學習下載適合作為時間序列入門及深度學習實驗的參考實現(xiàn)。1. 時間序列預測的落地困境深度學習模型到底解決了什么電商銷量預測、服務(wù)器流量預警、設(shè)備剩余壽命估算這類帶著時間戳的預測任務(wù)傳統(tǒng)做法是先做平穩(wěn)性檢驗、再在ARIMA和Prophet之間糾結(jié)折騰半天特征工程結(jié)果模型對突發(fā)模式幾乎沒有反應(yīng)?;赑ython的深度學習時間序列預測核心思路是用LSTM這類循環(huán)網(wǎng)絡(luò)讓模型自己從歷史序列里學時間依賴把滑窗數(shù)據(jù)直接喂給網(wǎng)絡(luò)省掉了手工構(gòu)造滯后特征的過程。它在多變量輸入、長周期依賴和非線性模式上明顯占優(yōu)但也對數(shù)據(jù)質(zhì)量、訓練技巧和評估方式提出了更高要求。這篇文章要講的是選型依據(jù)、可復現(xiàn)的PyTorch實現(xiàn)、5個高頻翻車點以及多步預測的實用做法。適合已經(jīng)會Python基礎(chǔ)、想真正把模型跑到業(yè)務(wù)數(shù)據(jù)上的人。2. 模型選型與原理LSTM、GRU、TCN之間怎么選數(shù)據(jù)形態(tài)怎么定傳統(tǒng)時間序列建模工具里ARIMA的假設(shè)是數(shù)據(jù)線性且平穩(wěn)Box-Cox變換和差分就是為了把它“掰”成平穩(wěn)序列但真實業(yè)務(wù)數(shù)據(jù)極少有老老實實的線性關(guān)系。Prophet能處理趨勢和節(jié)假日但對變量之間的交互影響基本無能為力。深度學習模型不要求你手工設(shè)計特征它把特征學習這件事交給網(wǎng)絡(luò)自己完成。你只需要提供窗口化的歷史序列模型就能從數(shù)據(jù)里提煉出依賴結(jié)構(gòu)。這也是為什么基于Python的深度學習時間序列預測在近幾年的工業(yè)落地里越來越常見不是因為它聽起來前沿而是它真的能省掉最費人工的特征工程環(huán)節(jié)同時在多變量序列上擴展得非常平滑。2.1 為什么是LSTM門控機制解決了什么LSTMLong Short-Term Memory被當作時間序列預測的默認起點不是因為“循環(huán)網(wǎng)絡(luò)聽起來深邃”而是它的三個門控結(jié)構(gòu)把長程依賴問題顯式解決了。傳統(tǒng)RNN在反向傳播時梯度連乘序列稍微長一點就梯度消失結(jié)果是模型只記得最近幾步一遇到周期性的長間隔模式就失效。LSTM在記憶單元里加了一條“傳送帶”遺忘門決定保留多少舊記憶輸入門決定寫入多少新信息輸出門決定當前時刻暴露多少記憶。門控輸出經(jīng)過sigmoid控制在0和1之間乘法的連乘路徑被換成加法更新梯度可以跨幾十個時間步直接回傳。用業(yè)務(wù)語言說就是它能記得用戶上周同一天的購買規(guī)律而不用你手動構(gòu)造一個“星期幾”的特征。實際用PyTorch搭LSTM時你需要關(guān)心的不是門控內(nèi)部怎么算而是四個數(shù)字input_size、hidden_size、num_layers、batch_first。input_size是每個時間步的特征數(shù)比如用前一天的溫度、風速、銷量三個變量預測銷量input_size就是3。hidden_size是記憶單元的維度本質(zhì)上控制模型的記憶容量我一般從64起步復雜業(yè)務(wù)數(shù)據(jù)用到128再高就要考慮過擬合和訓練速度。num_layers是堆疊層數(shù)兩層通常比一層效果好但四層以上在時間序列預測里很少見到正向收益原因和數(shù)據(jù)量以及序列長度有關(guān)不是層數(shù)越多越聰明。batch_first這個參數(shù)是PyTorch里最容易坑人的一個默認False時輸入形狀是(seq_len, batch, input_size)而大多數(shù)人習慣寫成(batch, seq_len, input_size)忘了設(shè)置batch_firstTrue代碼會直接報維度錯或者結(jié)果錯得離譜。hidden_size的選擇在實操中有點玄學。我的經(jīng)驗是從64起步觀察驗證集loss和訓練集loss的差距如果驗證loss遠大于訓練loss說明模型容量過大了從64降到32試如果兩者都高說明容量不足升到128。這個數(shù)字和序列長度沒有直接關(guān)系只和數(shù)據(jù)里的模式復雜度有關(guān)調(diào)參時每次只動這一個參數(shù)才能判斷它的真實影響。2.2 數(shù)據(jù)形態(tài)三維張量到底是什么深度學習模型沒法直接吃一維的時間序列。對一個長度為N的單變量序列先要切成一個個樣本每個樣本是一個固定長度的時間窗然后組成三維張量。假設(shè)你選了24小時的歷史窗口要去預測下一個小時的數(shù)值那每個樣本的形態(tài)就是(24, 1)24個時間步、每個步1個特征。如果整個訓練集有1000個樣本喂給模型的張量就是(1000, 24, 1)。注意順序第一維是樣本第二維是時間步第三維是特征。在PyTorch里把batch_first設(shè)為True之后這個形狀和nn.LSTM的輸入直接對齊不需要再轉(zhuǎn)置。多變量序列的處理只是把第三維從1變成特征數(shù)量。比如數(shù)據(jù)集里有溫度、銷量、廣告投放額三個字段目標還是預測銷量那么每個時間步的輸入向量就是三維的模型內(nèi)部會學到這些變量在不同滯后步上的組合關(guān)系。這正是深度學習相比傳統(tǒng)方法最舒服的地方你不需要告訴模型“廣告投放對銷量有3天滯后效應(yīng)”它自己在訓練中就能擬合這種滯后關(guān)系。但代價是需要更多數(shù)據(jù)特征從1個擴展到3個模型參數(shù)會膨脹訓練樣本數(shù)量最好也成倍增加。這里有個新手常犯的錯誤把滑窗后的數(shù)據(jù)當作“3D數(shù)組”就直接扔進模型但忘了檢查樣本的時間順序。時間序列的樣本之間如果互相重疊比如樣本1覆蓋1到24時刻樣本2覆蓋2到25時刻它們之間高度相關(guān)。如果隨機劃分訓練集和驗證集驗證集里會出現(xiàn)大量和訓練集樣本重疊的數(shù)據(jù)指標好看但沒有實際意義。正確的做法是先按順序切出驗證區(qū)段再滑動窗口。這個細節(jié)會直接影響你對外宣稱的準確率是否可信。2.3 模型對比LSTM、GRU、TCN與Transformer怎么選LSTM不是唯一答案。GRU是LSTM的簡化版把三個門變成兩個門參數(shù)少約三分之一在小數(shù)據(jù)集上往往比LSTM更穩(wěn)訓練速度也快。如果你的數(shù)據(jù)量只有幾千條我通常直接先試GRU而不是LSTM。TCN用的是因果空洞卷積核心優(yōu)勢是訓練可以并行GPU利用率高序列長度到幾百上千時不會像LSTM那樣順著時間步逐個算速度優(yōu)勢明顯。它的缺點是感受野受卷積層數(shù)和空洞率限制想看到很遠的依賴要么加深網(wǎng)絡(luò)要么加大空洞率配置復雜度比LSTM高。Transformer在時間序列里的表現(xiàn)分化明顯數(shù)據(jù)量大、有周期性的場景它能打但樣本量不足時它的自注意力機制會把時間順序的歸納偏置丟棄訓練非常容易過擬合需要額外的絕對位置編碼和時間特征輸入。選型不是看論文里誰在基準數(shù)據(jù)集上分數(shù)高而是看你的數(shù)據(jù)形態(tài)。數(shù)據(jù)量在萬級以下、序列長度在幾百以內(nèi)、需要快速出一個能用的指標GRU或LSTM是性價比最高的起點。數(shù)據(jù)量大且序列長度超過一千優(yōu)先考慮TCN。如果你的任務(wù)是多變量且變量之間有明顯的異步影響比如銷量受多個渠道推廣活動的滯后影響Transformer這類注意力模型更有潛力但要接受調(diào)參成本。我把這個對比做成一個表格方便你在動手前對號入座模型需要的最小數(shù)據(jù)量訓練速度長序列表現(xiàn)不適合的場景LSTM幾千條慢串行中長度大于2000訓練極慢GRU兩三千條比LSTM快中對精度要求極高且數(shù)據(jù)量小TCN萬條以上快并行好變量依賴周期極長的場景Transformer五萬條以上快并行好小數(shù)據(jù)、強周期性序列選型之后別急著調(diào)網(wǎng)絡(luò)結(jié)構(gòu)先做數(shù)據(jù)準備。這個環(huán)節(jié)占整體工作量至少六成而且?guī)缀跛小澳P托Ч睢钡淖稍冏詈蠖级ㄎ坏綌?shù)據(jù)管線的問題。如果你決定試Transformer序列長度一般要限制在128以內(nèi)再做窗口截斷位置編碼必須加否則模型會把時間順序完全打亂。如果你決定試TCN空洞率序列按1、2、4、8這樣指數(shù)增長設(shè)置感受野覆蓋窗口長度即可。3. 數(shù)據(jù)處理與樣本構(gòu)造從原始序列到可訓練的滑窗數(shù)據(jù)集工程上深度學習和傳統(tǒng)統(tǒng)計模型相比對特征工程的依賴大幅降低但對數(shù)據(jù)質(zhì)量的要求反而更苛刻。時間序列數(shù)據(jù)里最常見的三個問題——缺失值、異常點、歸一化系數(shù)跨數(shù)據(jù)集不一致每一個都足以讓模型輸出完全不可用的預測。這一章把數(shù)據(jù)準備階段的每一步拆開講代碼可以直接換成你自己的CSV文件。3.1 數(shù)據(jù)清洗與缺失值處理時間序列的插值策略拿到序列后第一件事是檢查時間軸是否連續(xù)。我用pandas的pd.date_range生成期望時間索引然后reindex缺失的時間點自然變成NaN。很多從數(shù)據(jù)庫導出的數(shù)據(jù)時間間隔不是穩(wěn)定的小時或天可能某幾個小時完全沒有記錄如果直接滑窗這些“時間空洞”會被當作連續(xù)序列喂給模型等于讓模型在錯誤的時間間隔上學習。先用reindex把缺失時刻顯式標出來才能進入下一步填充。缺失值處理不能像表格數(shù)據(jù)那樣直接填列均值因為時間序列的均值填充會直接抹掉趨勢和周期性。比如用電量數(shù)據(jù)早晨9點的用電均值顯然不能代表凌晨3點的缺失值填進去會在模型眼里形成一個“假的低谷”。我一般用前后方向的線性插值data.interpolate(methodlinear)它對短時段缺失最安全長時段缺失連續(xù)超過窗口長度的一半則建議直接用前后兩段數(shù)據(jù)切掉。異常值處理要分場景。我自己做流量預測時發(fā)現(xiàn)一個簡單有效的規(guī)則單點值超出滾動窗口內(nèi)mean 3 * std的先標記出來。但不要直接替換成均值那樣會制造一個和周圍完全不連續(xù)的點LSTM對突變是很敏感的。一種穩(wěn)妥的做法是把這個點替換成兩側(cè)數(shù)據(jù)的線性插值結(jié)果同時保留原始值到一個單獨列方便事后排查。下面的函數(shù)處理了一份模擬的逐小時數(shù)據(jù)把缺失和異常點都做了修正import pandas as pd import numpy as np def clean_series(df, col, window24, z_thresh3.0): df df.copy() # 時間索引規(guī)范化定位缺失時刻 df.index pd.to_datetime(df.index) full_idx pd.date_range(startdf.index.min(), enddf.index.max(), freqh) df df.reindex(full_idx) # 短時缺失用線性插值 df[col] df[col].interpolate(methodlinear, limit12) # 滾動均值 標準差標記突變點 roll_mean df[col].rolling(window, centerTrue, min_periods6).mean() roll_std df[col].rolling(window, centerTrue, min_periods6).std() mask (df[col] - roll_mean).abs() z_thresh * roll_std # 用前后有效值做插值替換異常點 df.loc[mask, col] np.nan df[col] df[col].interpolate(methodlinear, limit6) return df這個函數(shù)里limit12是插值允許的最大連續(xù)缺失數(shù)超過就保留NaN直到后續(xù)被丟棄。centerTrue讓滾動窗口以當前點為中心這樣在判斷異常時不會只看歷史信息而忽略后續(xù)的上下文。min_periods6是指窗口內(nèi)至少有6個非空值才計算滾動統(tǒng)計量否則序列前段的滾動均值全是NaN會把正常值也標記掉。z_thresh3.0是突變閾值對波動劇烈的數(shù)據(jù)可以放寬到3.5對平穩(wěn)數(shù)據(jù)收緊到2.5。缺多少算缺失、多少算異常沒有一個普適的數(shù)字但記住一個原則寧可保留一個有疑問的點也不要制造一個和周圍明顯斷裂的假點模型對后者更敏感。3.2 歸一化訓練集和測試集不能共用同一個scaler時間序列預測的輸入特征尺度往往差異很大比如銷量可能是個位數(shù)、溫度是幾十、廣告投放金額是幾萬。如果不歸一化LSTM訓練時loss會被大尺度的特征主導小尺度特征學不動。常用的MinMaxScaler會把數(shù)據(jù)壓縮到[0,1]區(qū)間StandardScaler則讓數(shù)據(jù)服從近似標準正態(tài)分布。對于純數(shù)值的時間序列MinMaxScaler更常用因為輸出范圍固定和sigmoid之類的激活函數(shù)匹配度更好。StandardScaler的優(yōu)勢是它對異常值不那么敏感因為它是基于均值和方差而不是最大值最小值如果數(shù)據(jù)里有少量極端峰值MinMaxScaler會把正常值壓縮到很小的范圍StandardScaler反而更穩(wěn)。但這里有一個幾乎每個人都踩過的大坑對全序列調(diào)用scaler.fit_transform。這等于把測試集的統(tǒng)計信息最小值、最大值提前用到了訓練階段屬于信息泄漏。嚴格的做法是先按時間順序切分訓練集和測試集讓scaler只對訓練集fit然后用同一個scaler分別transform訓練集和測試集。注意還原預測值的時候要用同一個scaler做inverse_transform。from sklearn.preprocessing import MinMaxScaler def split_and_scale(data, col, train_ratio0.8): series data[col].values.reshape(-1, 1) train_size int(len(series) * train_ratio) # 先按時間順序切分再歸一化 train_raw, test_raw series[:train_size], series[train_size:] scaler MinMaxScaler(feature_range(0, 1)) train_scaled scaler.fit_transform(train_raw) test_scaled scaler.transform(test_raw) # 只transform不fit return train_scaled, test_scaled, scaler這里train_ratio0.8表示用前80%的歷史數(shù)據(jù)做訓練后20%做驗證。實際業(yè)務(wù)中如果存在明顯的周期變化比如年度周期最好保證訓練集覆蓋至少兩個完整周期否則模型沒機會見過完整的季節(jié)性形態(tài)。切分時還有個細節(jié)如果測試集要從“訓練結(jié)束點”往后預測測試集的第一個樣本必須依賴一段歷史窗口。通常做法是從訓練集末尾額外留出一段和窗口等長的數(shù)據(jù)用來構(gòu)造測試集的第一個樣本避免測試集開頭因為長度不足而丟掉。如果你發(fā)現(xiàn)自己拼出來的測試集X比訓練集X短了一大截多半就是這里沒處理好。3.3 滑動窗口構(gòu)造監(jiān)督學習樣本的核心代碼把原始序列變成(X, y)監(jiān)督樣本是時間序列預測變現(xiàn)成深度學習問題的關(guān)鍵一步。假設(shè)窗口為24你的目標是用t-23到t這24個歷史值預測t1。下面這個函數(shù)用純Python實現(xiàn)避免了循環(huán)切片時的索引錯位import numpy as np def create_sliding_windows(series, window_size24, horizon1): X, y [], [] for i in range(len(series) - window_size - horizon 1): X.append(series[i:i window_size]) y.append(series[i window_size:i window_size horizon]) return np.array(X), np.array(y)window_size24取值對應(yīng)采樣的周期長度逐小時數(shù)據(jù)就是看過去24小時逐日數(shù)據(jù)就是過去24天。horizon1表示只預測未來一步這是最簡單的單步預測。如果要預測未來連續(xù)多個點可以把horizon調(diào)大但此時y的維度會變成(樣本數(shù), horizon)后續(xù)模型輸出層也要相應(yīng)調(diào)整。series傳入的應(yīng)該是歸一化后的一維數(shù)組。切片時i window_size horizon這個邊界很關(guān)鍵它保證y的最后一位不會越過序列末尾同時X的最后一個有效起始點是len - window_size - horizon。生成樣本后直接送入LSTM前需要做一次形狀調(diào)整LSTM輸入形如(樣本數(shù), 時間步, 特征數(shù))。單變量情況下特征數(shù)為1所以要做X X.reshape((X.shape[0], X.shape[1], 1))。這一步漏掉會報維度錯誤報錯信息通常是“Expected 3D input, got 2D”看到這個提示就知道是要補reshape。窗口長度的選擇沒有統(tǒng)一公式但有幾個經(jīng)驗原則至少覆蓋一個完整周期比如預測日數(shù)據(jù)選7天、24小時的數(shù)據(jù)選24小時不能過長到覆蓋多個完整周期否則訓練復雜度上去了但收益不明顯。如果做了自相關(guān)分析可以把自相關(guān)衰減到顯著閾值以下的最長滯后步數(shù)當作窗口下界。窗口越短樣本數(shù)量越多訓練越快但可能丟失長期依賴信息。窗口越長樣本越少訓練越慢。我一般會在兩倍主周期長度附近起步然后對比驗證集誤差再調(diào)。4. 模型實現(xiàn)用PyTorch從零搭建LSTM并完成訓練這一章給一個完整的、可以跑通的最小實現(xiàn)。我選用PyTorch而不是Keras原因是動態(tài)圖的調(diào)試體驗更好梯度裁剪、自定義訓練循環(huán)、保存中間狀態(tài)都更直接。完整流程包括定義模型、配置訓練參數(shù)、訓練循環(huán)、驗證與可視化。代碼可以原樣跑通注釋里標注了替換成自己數(shù)據(jù)的兩個位置。4.1 模型定義nn.LSTM的參數(shù)與輸出PyTorch里nn.LSTM的核心參數(shù)之前已經(jīng)提過這里看它在模型里怎么配合全連接輸出層。預測標量值輸出層是一個線性層把LSTM最后一個時間步的hidden state映射到1維。import torch import torch.nn as nn class LSTMForecast(nn.Module): def __init__(self, input_size1, hidden_size64, num_layers2, output_size1): super().__init__() self.lstm nn.LSTM( input_sizeinput_size, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, dropout0.2 if num_layers 1 else 0.0 ) self.regressor nn.Linear(hidden_size, output_size) def forward(self, x): # x形狀: (batch, seq_len, input_size) out, (h_n, _) self.lstm(x) # 取最后一個時間步的輸出或者直接用h_n[-1] last_out out[:, -1, :] # (batch, hidden_size) return self.regressor(last_out)out[:, -1, :]取的是每個樣本最后一個時間步的LSTM輸出形狀為(batch, hidden_size)。用h_n[-1]也能達到同樣的效果區(qū)別在于如果后續(xù)模型復雜out保留了時間步維度靈活性更高h_n只給最后一個隱藏狀態(tài)省一次索引。對單步預測而言二者等價。dropout0.2只加在多層LSTM的層間這個參數(shù)在單層時啟用會直接報警告所以代碼里用條件表達式規(guī)避。num_layers2是起步配置如果你的數(shù)據(jù)量只有幾千條我建議先回到num_layers1兩層LSTM在數(shù)據(jù)不足時的過擬合速度比你想的快得多。output_size是輸出維度單步預測就是1多步預測改成horizon。4.2 訓練循環(huán)損失函數(shù)、優(yōu)化器、梯度裁剪時間序列回歸任務(wù)的損失函數(shù)首選nn.MSELoss它和歸一化后的數(shù)據(jù)配合效果好梯度量級穩(wěn)定。優(yōu)化器用Adam初始學習率1e-3是通用起點。一個常被忽略的細節(jié)是梯度裁剪LSTM在長序列上很容易梯度爆炸現(xiàn)象是loss變成NaN原因不是你的代碼有問題而是梯度累計超過浮點范圍。PyTorch里一行代碼解決clip_value 1.0 torch.nn.utils.clip_grad_norm_(model.parameters(), clip_value)下面是訓練循環(huán)的標準寫法我把驗證集loss的計算也放進來了方便你實時看是否過擬合def evaluate(model, val_loader): model.eval() criterion nn.MSELoss() total_loss 0.0 with torch.no_grad(): for X_batch, y_batch in val_loader: pred model(X_batch.float()) loss criterion(pred, y_batch.float()) total_loss loss.item() * X_batch.size(0) return total_loss / len(val_loader.dataset) def train_model(model, train_loader, val_loader, epochs30, lr1e-3, clip1.0): optimizer torch.optim.Adam(model.parameters(), lrlr) criterion nn.MSELoss() train_hist, val_hist [], [] for epoch in range(epochs): model.train() epoch_loss 0.0 for X_batch, y_batch in train_loader: X_batch X_batch.float() y_batch y_batch.float() optimizer.zero_grad() pred model(X_batch) loss criterion(pred, y_batch) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), clip) optimizer.step() epoch_loss loss.item() * X_batch.size(0) train_loss epoch_loss / len(train_loader.dataset) val_loss evaluate(model, val_loader) train_hist.append(train_loss) val_hist.append(val_loss) print(fEpoch {epoch1:03d} | Train Loss {train_loss:.6f} | Val Loss {val_loss:.6f}) return train_hist, val_histtrain_loader是DataLoader對象里面每個batch的X形狀是(batch, window, features)y形狀是(batch, horizon)。訓練時數(shù)據(jù)已經(jīng)是歸一化后的所以不需要在模型里做任何transformation。clip1.0是梯度范數(shù)的上限調(diào)小會讓訓練更穩(wěn)但變慢調(diào)大則恢復快但容易炸。學習率1e-3在大多數(shù)場景夠用但如果驗證集loss在前5個epoch完全沒有下降趨勢可能是學習率偏大導致loss震蕩可以降到3e-4重開。30個epoch是一個保守次數(shù)訓練完應(yīng)該觀察train_loss和val_loss的走勢val_loss在第15個epoch開始回升說明過擬合需要早?;驕p小hidden_size如果30個epoch后兩者還在同步下降就繼續(xù)加epoch。更穩(wěn)妥的做法是在驗證loss連續(xù)5個epoch不下降時保存當前模型這就是標準的早停。4.3 完整最小實現(xiàn)訓練、驗證、預測一條龍把前三章的組件串起來這里是一份可以整體運行的最小腳本。數(shù)據(jù)我生成了一段帶周期和趨勢的模擬序列方便你直接跑通流程兩個標注位置換成自己的CSV即可。import numpy as np import pandas as pd import torch from torch.utils.data import TensorDataset, DataLoader # 生成模擬數(shù)據(jù)趨勢 24小時周期 噪聲 def make_synthetic_data(n3000): t np.arange(n) trend 0.01 * t season 5 * np.sin(2 * np.pi * t / 24) noise np.random.normal(0, 0.5, n) return trend season noise data pd.DataFrame({value: make_synthetic_data()}) # 位置1換成 pd.read_csv(your_series.csv) train_scaled, test_scaled, scaler split_and_scale(data, value, train_ratio0.8) X_train, y_train create_sliding_windows(train_scaled, window_size24, horizon1) X_test, y_test create_sliding_windows(test_scaled, window_size24, horizon1) # 位置2真實項目里測試集滑窗要額外處理開頭的一小段保證樣本都用到了真實歷史 X_train X_train.reshape((X_train.shape[0], X_train.shape[1], 1)) X_test X_test.reshape((X_test.shape[0], X_test.shape[1], 1)) train_ds TensorDataset(torch.tensor(X_train), torch.tensor(y_train)) val_ds TensorDataset(torch.tensor(X_test), torch.tensor(y_test)) train_loader DataLoader(train_ds, batch_size64, shuffleTrue) val_loader DataLoader(val_ds, batch_size64, shuffleFalse) model LSTMForecast(input_size1, hidden_size64, num_layers2, output_size1) train_hist, val_hist train_model(model, train_loader, val_loader, epochs30)注意訓練集的shuffleTrue和驗證集的shuffleFalse。很多人在這里糾結(jié)時間序列訓練集打亂會不會破壞時間依賴答案是不會因為你打亂的是“樣本”的先后順序每個樣本內(nèi)部的時間步順序完整保留LSTM學的是窗內(nèi)時間關(guān)系和樣本之間的順序無關(guān)。打亂樣本能提升訓練的隨機性減少過擬合是推薦的。驗證集必須按時間順序因為驗證指標要模擬真實“用過去預測未來”的過程。batch_size64是個靈活值數(shù)據(jù)量小時可以減到32數(shù)據(jù)量大時加到128主要上限是你的GPU顯存。訓練完后預測值還原回原始尺度model.eval() with torch.no_grad(): pred_scaled model(torch.tensor(X_test).float()).numpy() pred_original scaler.inverse_transform(pred_scaled) y_test_original scaler.inverse_transform(y_test)scaler.inverse_transform是預測還原的唯一正確入口。如果你發(fā)現(xiàn)還原后的預測曲線整體比真實曲線滯后一個時間點這種現(xiàn)象叫“預測滯后”是單步循環(huán)預測的典型問題下一章避坑清單里詳細展開。5. 常見問題與避坑深度學習時間序列的5個翻車現(xiàn)場這一章寫的是我自己在多個項目里踩過、也被很多人反復問過的問題。每一條都按“現(xiàn)象→原因→解決”的結(jié)構(gòu)記錄代碼片段和參數(shù)說明都放在對應(yīng)條目里。5.1 預測結(jié)果滯后一拍現(xiàn)象測試集上的預測曲線和真實曲線形態(tài)幾乎一致但整體向右平移了一個時間步RMSE看起來很小畫圖時卻非常難看。原因單步監(jiān)督學習的目標是擬合X(t-23..t) - y(t1)而模型在訓練過程中發(fā)現(xiàn)自己把輸入復制到輸出能拿到最小loss尤其在數(shù)據(jù)平穩(wěn)或噪聲小的情況下它學到的其實是“明天的值約等于今天的值”。這是所有純回歸式單步預測的通病不是LSTM特有。解決最直接的方案是改用差分目標。不要直接預測原始值而是預測y(t1) - y(t)讓模型學習增量變化。另一種方案是延長horizon預測未來第4步而不是未來第1步即在構(gòu)造訓練數(shù)據(jù)時把y改為i window_size horizon - 1位置的單點值讓模型被迫看到更遠的未來減弱復制輸入的傾向。我自己的經(jīng)驗是差分處理效果最明顯代碼上只需在滑窗前后各加一個np.diff即可。5.2 訓練時loss突然變成NaN現(xiàn)象訓練到某個epochloss從0.01驟變?yōu)镹aN之后無論怎么調(diào)學習率都回不來。原因梯度爆炸。LSTM在長序列上展開層數(shù)多梯度范數(shù)容易指數(shù)增長尤其是數(shù)據(jù)歸一化做得不好或序列中存在極端異常值的時候。解決先檢查歸一化是否把數(shù)據(jù)壓縮到了[0,1]區(qū)間確認scaler只在訓練集上fit過然后在訓練循環(huán)里加梯度裁剪把梯度范數(shù)限制到1.0以內(nèi)。前文代碼里的clip_grad_norm_就是標準做法。如果裁剪后仍然在某個batch崩潰查一下這個batch的輸出值范圍可能是輸入序列里有一個異常峰值沒有清洗干凈。還有一個小概率原因?qū)W習率過大導致loss飛掉把lr從1e-3降到3e-4重新訓練。5.3 驗證集指標很好但上線后預測完全失真現(xiàn)象把訓練好的模型部署到真實環(huán)境時第一個預測值就偏差很大之后預測曲線逐漸收斂到歷史均值附近。原因這種問題九成來自歸一化泄漏。訓練時scaler對全序列fit_transform把測試集的最大最小值引入了訓練統(tǒng)計導致測試集標準化后分布“看起來順滑”但真實世界的一個新輸入數(shù)值落在訓練scaler的邊界之外被壓縮到接近1或0的飽和區(qū)模型輸出自然失真。解決嚴格按訓練/測試時間邊界分別處理scaler只fit訓練集。新環(huán)境里第一個樣本進入模型之前要確認它的數(shù)值范圍在訓練集[min, max]范圍內(nèi)否則必須重訓scaler或做魯棒化處理比如用分位數(shù)裁剪掉極端值。這個坑不解決模型的線下指標再高都不值得信任。上線前還有一個習慣值得養(yǎng)成把訓練集最小值、最大值和測試集實際輸入的最小值、最大值打印出來對比一眼就能看出有沒有越界。5.4 隨機劃分訓練集導致指標虛高現(xiàn)象直接用train_test_split(X, y, test_size0.2)隨機劃分數(shù)據(jù)驗證集的RMSE低到讓人驚喜但畫圖發(fā)現(xiàn)驗證集的時間點散布在整段序列里預測值和真實值幾乎重疊。原因滑動窗口產(chǎn)生的相鄰樣本高度重疊隨機劃分時驗證集樣本大概率與訓練集樣本共享大量歷史時間步信息泄漏到訓練過程驗證不再是“對未來預測”而是“對記憶的復述”。解決所有時間序列的劃分必須按時間順序。先用時間索引切出后20%作為驗證再在這部分上滑窗。一句話總結(jié)就是“先切條再切塊”。如果業(yè)務(wù)需要評估模型的泛化能力更可靠的是做滾動時間窗口驗證每次把訓練起點后移訓練多個模型加權(quán)平均最后的預測誤差。別嫌這個方法費算力它給出的指標才是業(yè)務(wù)上真實能拿到的水平。5.5 只盯RMSE忽略殘差的結(jié)構(gòu)性現(xiàn)象RMSE從0.5降到了0.2你覺得模型表現(xiàn)良好但把真實值和預測值的差值畫出來后發(fā)現(xiàn)殘差在高峰期和低谷期呈現(xiàn)明顯的喇叭口。原因RMSE是平均指標它掩蓋了不同時間段的誤差差異。時間序列的波動通常不是恒定方差的高峰期的絕對誤差天然偏大avg指標會稀釋這部分信號。解決除了RMSE至少再看兩個東西MAPE平均絕對百分比誤差能反映相對誤差適合尺度變化大的業(yè)務(wù)數(shù)據(jù)殘差圖能暴露模型是否在某些時段系統(tǒng)性高估或低估。如果殘差表現(xiàn)出明顯的自相關(guān)說明模型沒有學盡數(shù)據(jù)里的時間結(jié)構(gòu)需要調(diào)整窗口或加特征。養(yǎng)成畫殘差圖的習慣你會比只報RMSE的同行多看到一半的問題。6. 進階方向多步預測的兩種策略與調(diào)參的最優(yōu)路徑多步預測是時間序列預測落地時的真正分水嶺。業(yè)務(wù)上通常不是只預測下一個小時而是要預測未來12甚至24個小時。最省事的做法是“遞歸預測”把上一步的預測值當作下一步的輸入循環(huán)滾動。這個策略實現(xiàn)簡單但誤差會隨著步長累積預測到第24步時曲線往往被抹平成一條直線因為模型把輸入當成了接近均值的數(shù)值輸出的變化越來越小。另一種是“直接多步預測”修改輸出層的維度讓模型一次輸出未來24個值。這需要把訓練數(shù)據(jù)的y維度改成(樣本數(shù), horizon)損失函數(shù)在nn.MSELoss上不需要改動但模型復雜度上升訓練時每個樣本要一次輸出多個目標輸出層從Linear(hidden_size, 1)改成Linear(hidden_size, horizon)即可。我在實際項目里通常兩者結(jié)合先用直接多步預測生成未來24小時的基礎(chǔ)曲線再用遞歸預測對每個步長做殘差修正效果比單獨任一種都要穩(wěn)。超參數(shù)調(diào)優(yōu)方面不要一開始就上Optuna之類的自動化工具。時間序列的訓練一次動輒幾分鐘網(wǎng)格搜索的代價太大。我的習慣是固定lr1e-3先用hidden_size64, num_layers2跑通然后只改一個變量先試window_size從24變成48對比驗證loss再試hidden_size128最后試num_layers3。每次只改一個參數(shù)才能準確判斷影響。學習率可以用余弦退火策略在訓練后半段降低到1e-4往往比固定學習率多拿3到5個百分點的精度提升。驗證方法上我最依賴的是滾動回測把訓練窗口從第1天到第100天逐步后移每次訓練新模型并預測未來一天把每天的預測誤差累積起來畫成曲線。這能暴露模型在特定時間段比如大促日、極端天氣的系統(tǒng)性失效而不是被整體指標掩蓋。殘差分析也很重要預測殘差若在某個頻率上表現(xiàn)出周期性說明模型沒有學到某個時間尺度上的模式這時候把傅里葉分析得到的顯著周期項作為額外特征加進去比盲目加深網(wǎng)絡(luò)有效得多。一路走到這里我發(fā)現(xiàn)時間序列預測的成敗很少取決于模型本身更多取決于數(shù)據(jù)切分是否嚴謹、歸一化是否泄漏、驗證方式是否誠實。我現(xiàn)在拿到任何新項目第一步永遠是畫一條測試集預測曲線跳過所有精確指標先看趨勢和滯后。這個習慣幫我躲掉過不少“指標優(yōu)秀但現(xiàn)場翻車”的尷尬。希望這些代碼和踩坑記錄能讓你少走幾次彎路真正把模型落地到自己的數(shù)據(jù)上。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
热99只有里视频| 午夜微拍福利| 色婷婷综合网站| 色婷婷中文| 激情五月婷婷老师| 亚洲色图81p| 超碰免费大香蕉| 日本99视频| 天天情天天狠天天透| 激情五月婷婷五月| 久久96热| 91色噜噜狠狠狠狠色综合| AV在线免费播放| 激情小说五月天社区丁香| 99热精品在线观看| 天天插天天插天天插| 99免费偷拍视频| 97香蕉碰碰人妻国产欧美| 日本女天天爽| 99啪啪骑| 色九区| 玖玖精品资源| 国产亚洲网站在线| 欧美顶级少妇做爰HD| 色色色色网色色网色色| 色色婷| 中文字幕乱码亚洲精品一区| 91久久九久久九久久九久久九久久| 婷婷激情小说网| 国产精品久久久爽爽爽麻豆色哟哟 | 婷婷新网址| 26uuu国产| 色五月天影视| 婷婷五月激情五月丁香五月| 色综合伊人网| 991精品在线视频| 亚洲天天| 天天日夜夜曹| 五月色导航| 玖玖婷婷五月天毛片| 日本美女上人| 欧美成人精品老美女噜噜噜| 丁香五月天婷婷在线视频| 无码视频国内精品久久久| 久久人妻在线| 99热免费网站| 26uuu偷拍亚洲欧洲综合| 婷婷爱五月| 色色 9| 99ri国产在线| 97在线视频 欧美| 狠狠操狠狠爱| 天天爱天天做天天操| 粉嫩av懂色av蜜臀av熟妇| 色婷婷狠狠禁18久久| aa久久| 五月色精品| 五月婷婷色色色| 日本eVa一区=区视频| 玖玖爱综合网| 人人射人人高潮| 色色网站免费在线视频| 91色涩| 色色欧美色色色| 亚洲不卡欧洲| 亚洲另类视频| 天天干、天天日日| 久久er+| 操比激情五月综合| 久久久久久婷| 免费无码毛片一区二区A片| 综激情网| 久久婷婷亚洲| 玖玖资源站中文| 五月丁香怕啪啪| 99爱爱网| 亚洲天堂九九九| 操碰91| 六月婷婷啪啪| 激情六月天婷婷| 色高清无码视频| 日韩婷婷| 在线你懂的亚洲欧| 欧美日韩国产一区二区| 婷婷色综合中心站| 亚洲综合色婷| 亚洲精品无AMM毛片| 中文AV在线观看| 5月丁香六月情| 丁香五月区| 亚洲综合色婷婷文学| 婷婷丁香六月| 丁香五月天色婷婷| www99热| 青青草五月天| 国产日韩欧美| 激情五月色播五月| 欧美VA在线| 伊人超碰| 97色伦另类图片小说视频| 五月开心婷婷网| 97色色综合| 碰人人97| 九九99九九精品视频| 欧美日韩欧美| 欧美三级巜人妻互换| www.色五月| 激情婷婷五月| 九九综合伊人| 欧美日本国产欧美日本韩国99| 亚洲综合色色| 精品人妻一区二区三区四区不卡在| 五月婷婷激清网| 五月天播播综合| 欧美色婷婷| 丁香六月激情四射| 99热在线观看精品| 久久激情综合| 在线色色| 五月婷婷啪啪啪| 国产精品视频网| 九九操屄| 成人五月天。COM| 日韩黄色中文字幕| 丁香花综合永久入口| 97久久人人人干| 精品无码久久久久久久久| 天天精品视频免费观看| 噜噜噜久久| 天天干,夜夜爽| 91狠狠色丁香婷婷综合久久| 婷婷综合激情| 欧美色频| 少妇性BBB搡BBB爽爽爽电影| 牛牛澡牛牛爽| 丁香婷婷综合喷| 97一区二区| 少妇伦子伦精品无吗| 操人无码| 伊人丁香五月天丁香在线婷| 激情婷婷五月社区| 伦99热| 伊人狠狠色婷婷综合丁香一区| 色原狠狠综合| 91凹凸在线| 夜夜久久综合网| 热五月婷婷| 五月丁香久人妻中文| 婷婷丁香社区| 夜夜大香蕉婷婷丁香| AV免费在线网站| 色婷婷影音| 97电影99热| 成人网在线视频| 欧日韩成人| 五月丁香久久综合| 五月www| 九九热思思热| 色色色图| AV中文在线| 丁香六月婷婷综合| 99丁香婷婷综合网| 伊人玖玖婷婷| 超碰91av| 五月天六月丁香| 美女亚洲五月丁香| 涩涩网五月天| 六月丁丁香| 婷婷四色五月| 婷婷激情综合| 婷婷丁香无码专区| www.五月天婷婷| 久操大香蕉| 五月天色狠狠| 五月婷婷六月丁香在线视频| 97碰啪啪| 无人区码一码二码三码医生系列| 久久婷婷色综合老司机| 91久久婷婷| 九九99视频精品| 天天日夜夜夜操操操操| 噜噜狠狠色综无码久久合欧美| 婷婷色导航| 精品久久99| 国产99久久久国产精品免费看| 97夫妻超碰| 99热在线网站| 五月天色色激情综合| 天干干夜夜操| 超碰人人99| 六月丁香激情网| 国产又粗又大又爽又黄| 4438国产免费看| 激情综合网五月在线播放| 激情5月婷婷狠狠干| 亚洲瑟瑟精品在线| 欧洲一区二区| 激情文学综合婷婷五月天丁香花| 国产免费一区二区三区三州老师F1F1.CC | 极品人妻VIDEOSSS人妻 | 五月丁香亭亭操逼| 牛牛澡牛牛爽| 九九热99免费视频| 蜜臀av无码久久久久久久久| 丁香五月Av| 97在线碰| 天天肏视奸| 人妻激情视频| 麻豆123区| 色婷久久| 成人国产欧美大片一区| 狠狠爱综合| 激情五月五月五月婷婷| 久综合网| 日韩性爱无码| 色色自拍视频网站| 深爱五月婷婷| 日本不卡一区二区三区| 96色婷婷| 91丨九色丨首页| 五月狠狠| 9999热这里只有精品| 久久性刺激| 99干日日干| 成人综合视频在线| 激情网第四色| 欧美日韩99| 激情性爱五月天网页| 午夜爱插插| 丁香丝袜五月| 五月天开心网| 婷婷五月综合社区| 99精彩视频在线观看| 99啪99| 伊人激情| 久久停停超碰| 色久天| 久久精彩免费视频| 日本操碰碰| 蜜臀嫩草| 伊人激情AV一区二区三区| 日韩色色一区| 婷婷成人丁香色情基地30 | 色欲天天综合网| 人人爱人人添| 少妇人妻偷人精品无码视频新浪 | 亚洲亚洲激情| 另类专区在线观看| 久久日韩婷婷五月| 色情五月天A片| 91欧美| 99九九精品视频推荐| 天天激情5月天亚洲| 综合激情站| 国产av天堂| 国产免费一区二区三区三州老师F1F1.CC | 日本色婷婷| 色五月美女| 色五月xxx| 日本久久性| 色综合网页| 精品国产va久久久久久久| 操逼视频一区| 五月婷婷综合性爱噜噜| 99在线亚洲| 成人精品视频99在线观看免费| 婷婷五月色综合| 精品五月天| 98国产精品综合一区二区三区| 激情婷婷99| 五月丁香六月婷婷中合网| 亚洲99综合| 九热电影av| 色五月丁香五月婷婷五月成人网| 天天日中文| 久久久久久xxxxx| 大香蕉久热| 色综合色香蕉网| 欧美激情五月天在线观看| 色婷婷久久综合| 97碰碰电影| 亚洲丁香五月| 亚洲AV久久久久久久久久久久久久久久 | 91碰免费视频| 五月天深爱激情网| 国内精品免费一区二区2009| 五月天激情婷婷丁香| 激情www| 九九热啪啪| www.天天干| 亚洲国产色婷婷| 襙逼网| 天天干天天做| 美女五月激情| 99在线精品免费视频| 丁香六月婷婷综合欧美| 五月婷婷偷拍| 激情六月丁香| 日韩黄黄| 精品国产va久久久久| 97婷婷丁香| 777久久久| 激情五月www| j五月香在线| 我爱va亚洲va52| 99热这里只有精品22| 亚洲AV网址| 99久久久久久| 色噜噜婷婷| 久久九九综合| 天天日天天干天天爱| 91操碰| 五月丁香综合啪啪| 五月丁香影院| 三十路磁力链接| 97干干干丁香| 69色婷婷| 99婷婷国产最新视频| 99re在线免费视频| 可以看的av网站| 亚洲热久| 涩综合网| 日本色婷婷| 99热999| 五月丁香六月婷婷色日| 台湾无码A片一区二区| 六月丁香中文字幕| 五月丁香六月久久| 欧美人与性动交CCOO| 99热这里只有精品23| 丁香婷婷成年| 79精品视频在线观看,| 欧美色碰| 色色色色色综合| 五月天丁香六月综合| 亚洲天堂久久| 天天日天天日天天搞| AV大片在线观看| 俺去也综合| 婷婷五月综激情| 99热亚洲精品| 九九爱看亚洲| 91一道本| 亚洲操B| 另类图片五月天婷婷| 天天日天天色| 丁香五月乱中文字幕| 色爱综合五月| 99久re热视频精品98| 综合在线网| 日本黄色一级| 67194中文字幕| 色五月天.con| 亚洲天堂婷婷| 99色区| 大战熟女丰满人妻AV| 伊人婷婷五月| 综合性爱网| 天天干天天干天天干天天干天| 激情五月天激情网| 男女av免费看| 久久久久久久97| 国产五月丁香在线| 色婷婷小视频| 性视频久久| 无码一区二区三区四区五区| 久cao香蕉影院| 激情五月五月婷婷| 激情综合自拍五月婷婷色五月| 综合色色五月| 欧美综合五月丁香六月婷| 五月色婷婷在线观看| 五月婷婷色欲| 五月丁香福利| 婷婷色播综合五月| 怡春院久操| 激情图片五月天| 丁香五月婷婷天激情| 天堂网色婷婷| 99视频内射三四| 天天高潮夜夜爽| 婷婷激情性爱| 日本在线观看99| 天天噜| 丁香亭亭久久| 狠狠色九月| 激情五月天婷婷丁香| 五月激情基地| 狠狠色婷婷7777久| 婷婷激情97| 综合网亚洲| 79色色色色| 丁香五月激情婷婷| 婷婷性爱五月天丁香网| AV性爱在线| 大香蕉七区| 久久久精品人妻| 五月婷婷欧美激情| 99免费视频久久| 31色区视频免费看| 九九碰九九爱97超碰| 99无吗| 色色综合色视频| 久久久久九九九九视屏小说88| 六月丁香五月婷婷| 热久久视频99| 欧美激情五月综合| 中文字幕,综合,91| 91av视频| 99噜噜噜在线播放| 高清视频一区| 夜夜操,天天撸| 伊人大香五月天| 五月婷婷久久久久| 日欧一片内射VA在线影院| 日本欧美成人片AAAA| 色丁香在线视频| 青青草原亚洲天堂| 国产伊人大香蕉| 风流少妇A片一区二区蜜桃| 亚洲色色色| 开心五月丁香啪| 色婷婷视频| 婷婷五月色综合香五月| 国产肥白大熟妇BBBB视频| 婷婷六月综合激情| 久久人妻在线| 婷婷五月天激情综合| 五月丁香激情婷婷| 性爱五月婷婷| 精品久9| 97综合在线| 色婷婷五月色| 亚洲综合色网| 午夜婷婷六月天| 丁香五月天偷拍| 991精品在线视频| 婷婷五月天久| 国产成人精品一区二三区熟女在线| 五月丁香日本在线视频观看| 丁香五月777| 91九九九九九九| 国产毛片精品一区二区色欲黄A片| 色屌丝中文字幕| 天天射影视综合网| 色婷婷在线综合色播网| 大香蕉久久| 欧美在线视频9| 香蕉影院色| 99精品无码| 99精品亚洲| 久9精品视频| 婷婷激情丁香六月| 日日操,天天操| 再綫Av免费視品| 丁香五月婷婷影院| 天天射射夜| 丁香六月激情综合网| 97香蕉碰碰人妻国产欧美| 99久精品视频| 97香蕉碰碰人妻国产欧美| 色综合视频| 久久小视频| 直接看的AV| 欧美影院婷婷| 亚州色综合| 成人综合视频网址| 婷婷深爱五月| 激情综合网激情五月婷婷| www91精品| 欧美久久婷婷| 色丁香五月婷婷婷| 99re熱| 激情五月综合网最新| 九九视屏| 99热国产婷婷| 2020日日干| 五月婷婷综合社区| 超碰三级片| 亚洲人妻Av| 婷婷99狠狠躁天天躁中文| 性色综合网| 99热99思午夜精品| 色综合久久综合| 99在线视频喷水| 丁香六月激情国产| 北条麻妃伊人| 久久爱综合| 五月婷丁香久久综合| 丁香97综合| 99热99| 91久久久久久久久久| 久久久色情| 99精品久| 91人碰| 久久婷婷五月天激情四射| 天堂色色色| 国产老熟妇亲子乱对白| 大香蕉婷婷丁香天堂AV| 99精品在线观看| 新久久五月天激情| 99高级会所久久| 日 日干 日日做| 成人五月天在线观看| 天天爽在线视频| 色综合色婷婷色伊人| 国产精品久久在线观看技巧| 久久这里只有精品16| 99热99re6国产在线播放| 婷婷婷婷婷婷婷五月丁香| 九九这里有精品| WWW,五月| 2w在线视频| 丁香六月视频免费观看| 六月综合婷婷开心伊人| 情色婷婷五月天| 九九AV| 天天日天天爽| 久久性都花花世界成人免费视频| 99久久.www| 久久婷狠狠色| 夜夜骑操AV| 天天做天天干天天综合网| 淫荡综合网| 色色色色热| 欧洲亚洲免费视频9| 日日噜噜夜夜狠狠久久丁香五月| 2025神马午夜福利| 亭亭丁香97| 精品99在线| 99re免费精品视频| 日韩抽插操逼| 婷婷色五月天综合网| 大陆肏屄视频| 超碰99久久| 色99视频| 久久伊人五月天| 五月丁香综合色婷婷| a毛片二逼wwwwwwwwww| 丁香五月AV| 99热这里在线精品| 夜夜撸天天日| 色婷婷婷婷| 婷婷五月天视频| 五月桃花网综合| 成人免费在线电影| 婷婷四月 成人 狠狠干| 丁香婷婷五月基地| 99精品综合视频| 久热这里只有精品6| 色色欧美色色色| 亚洲色图81p| 午夜色色色极品视频| 99色在线观看视频| 午夜天堂啪啪| 久久九九激情五月天 | 九九激情| 97干97色| 日韩欧美骚货| 色婷婷成人| 色网五月婷婷| 99久久久免费| 丁香六月五月婷婷| 天天色天天搡| 九九无码视屏| 狠狠久久婷五月| CHINESE熟女老女人HD视频| 97操碰日本女人| 青草青草久热这里只有精品| 日本激情综合| 激情网五月天| 丁香婷婷婷五月综合色情| 五月天激情偷拍| 天天爽天天日天天舔| 色欲丁香| 大香蕉婷婷婷| 久热伊人| 五月天最新网| 97综合在线| 十区AV| 婷婷操逼网| 99热九九这里只有精品| 丁香六月啪啪| 国产综合网在线| 日韩另类| 色久99| site:picc-up.com| 色欲天天综合| 久久天堂女人| 色综合xx| 91精品久久久久久久久久| 亚洲综合激情五月久久| 激情五月婷婷啪啪| 九九视频精品视频精品| 五月天婷婷在线观看| 激情淫乱男女| 秋霞簧片| 五月婷婷深深爱| 天堂久久久久天堂网| 久久99热这里只有精品首| 婷婷五月综合网| 草草女人亚洲| Xx色综合| 噜噜干日本| 91seAV| 色插综合网| 欧美内射AA| 91色碰| 丁香久色| 丁香五月天激情视频| 日本在线99| 五月天婷婷视频30| 搡BBBB搡BBB搡18| 大香蕉啪啪啪| 射区导航| 九月色婷婷综合亚洲| 激情综合4月| 99无码超碰| 日韩大片艹艹| 男女久久婷婷五月天| 97久久视频| 婷婷天堂站| 婷婷五月花| 亚洲天堂青草| 欧美久久婷婷| co超碰在线观看| 丁香五月天无码AV| 婷婷91| 婷婷色在线视频| 狠狠色婷婷六月激情网| 国产精品美女久久久久AV超清| 狠狠五月激情在线| 天天干天干| 九九亚洲综合| 久久免费操| 久久免费试看120秒| 99热在线观看免费| 久久久91精品| 国产精品激情五月天色婷婷| 超碰人人摸人人操| 久久视频这里都是精品| 丁香五月性| 99热这里只有精品268| 婷香五月| 五月丁香婷婷综合网| 五月婷婷六月情| 97人妻碰碰碰碰碰久久久久久| 精品国产va久久久| 国产高清视频91九九九久久久| 天天干天天色天天干| 婷婷五月天综合在线| 人人爱操| 日日噜噜夜夜狠狠久久丁香六月| 天天干,天天舔| 五月丁香啪啪综合| 激情综合网五月丁香| 日本三级中文字幕| 一起草AV| 久久成人性爱| 色婷婷成人做爰A片免费看网站 | 丁香婷婷五月六月天| 乱码操操| 色99在线| 五月天激情网图片| 热久久思思热思思| 99re在线播放| 日本色婷婷综合| 内射人妻视频国内| 五月丁香六月婷婷玖玖| 天堂伊人干| site:ornaments52.com| 婷婷五月另类网站| 久久婷婷五月天蜜桃| 久色88| 9久热在线视频精品| 日本97在线视频| 中文字幕av在线| 另类视频综合| 丁香婷婷久久| 5月丁香六月情| av五月天婷婷丁香| 99热这里只有精品18| 六月丁香开心婷婷欧美| 五月天久久网站| 香蕉伊人综合| 99只有精品| 色婷婷a| 伊人色综合网| 亚洲精品国产成人AV在线| 一本色道久久综合狠狠躁小说| 99色最新在线视频| 色色色五月天婷婷| 综合色色色| 玖玖激情五月天| 99视频内射三四| 婷五月天天| 日产精品一线二线三线芒果| 九九精品在线观看视频6| 五月婷婷六月丁香首页| 猫咪伊人久久| 激情综合网之激情五月| 色啦啦视频| 九九婷婷网五月天| 色欲婷婷五月天| 99超级碰免费视频| 丁香婷婷久久激情| 亚洲视频1区| 大香蕉网站,大香蕉综合| 超pen个人视频97| 五月婷婷性| 91人人澡人人爽人人看| 婷婷激情五月| 激情综合丁| 五月丁香综合中文| 丁香五月天激情综合| 激情播丁香| 久久五月天激情| 亚洲视频色婷婷| 伊人激情| 男人大jjc女人免费视频| 国产亚洲色婷婷久久99精品91| 伊人婷婷大香蕉| 99性爱视频| 深爱激情六月天| 五月天婷婷av| 五月天激情美女久久| 亚洲五月天婷婷| 6月丁香婷婷| 亚洲天堂色| 婷婷五月色情天| 天天综合亚洲综合| 激情图片婷婷| 中文字幕丰满孑伦无码专区| 中文久久婷婷| 久久五月丁香激情综合| 九热视频免费观看| 精品婷婷| 五月天婷婷综合免费| 99 热| 五月婷婷性爱视频| 久久激情综合| 五月天国产婷婷精品视频在线| 天天操加勒比| 久久婷婷五月丁香蜜桃网| AV在线免费播放| 婷婷丁香五月天欧美| chaopeng在线人人| 丁香五月婷婷影院| 久久久久久丁香五月| 中文字幕在线免费观看视频| 欧美久久久中文字幕| 丁香五月成人社区| 天天噜噜| 婷婷丁香五月久久| www.久久久久久久久久久| 日日夜夜婷婷| 狠狠干在线| 天天草婷婷五月| 涩 五月 婷婷 狠狠| 日日夜夜干| 亚洲综合99| 国产日日夜夜操| 99热最新| 中文成人在线| 五月婷婷色情| 欧美欧盟性爱网| 精品一区二区三区三区| av狠狠操| 思思热精品在线| 久久精品小视频| 成人片在线播放| www.亚洲激情.com| 婷婷激情四射| 丁香五月综合婷婷| 美女五月天| 99er免费在线观看| 九九精品99| 丁香五月天91| 婷婷五月天网| 欧美日比视频| 天天爱夜夜爽| 一區四區歐美日韓| 久99| 五夜丁香| av五月丁香| 婷婷六月色| 开心五月婷婷激情网| jiujiu热在线视频| 久青操| 激情综合五月丁香六月婷婷| 欧美性做爰大片免费看办公室| 91啪啪网| 色五月色五天免费视频| 午夜无码精品色综合久久| 人人操99| 开心五月婷婷婷美女| 激情五月丁香五月色| 久99| 五月丁香婷婷成人网| 激情婷婷五月天| 色婷婷五月天视频在线| 婷婷 激情 五月| 久久久人妻久久久| AAA久久| 亚洲99在线| 五月丁香婷婷99| 大战熟女丰满人妻AV| 丁香婷婷色五月激情综合| 亚洲色激情| 久久99这里只有精品视频| 亚洲综合网区| 久热超碰91| 久久婷婷东京热大香樵| 五月色婷丁香| 4399在线观看免费高清毛片| 五月开心网| 综合久久影院| 丁香九月综合激情| 色天五月天在线观看视频| 久久成人人妻| 丁香五月亚洲| 激情亚洲婷婷六月| 丁香5月啪啪| 啄木鸟黑丝一区二区| ay2区| 久久Xx| 免费亚洲成人电影AV| 日本熟女啪啪| 久久99激情五月天| 亚洲av另类在线观看| 伊人久久丁香狠狠婷婷综合香蕉 | 成人啪啪色婷婷久| 亚洲免费视频网站| 婷婷五月丁香人妻无码高清| 国产精品日本一区二区在线播放| 久久久国产精品黄毛片| 97在线观视频免费观看| 五月激情在线| 免费看欧美成人A片无码| 色五月在线观看| 五月天色丁香| 99久久网站| 九九人人操| 婷婷久久五月天| 欧美人与性动交CCOO| 九九碰九九爱97超碰| 青青草轻轻操| 99ri在线视频| XX色综合| 99热91| 久久久99精品免费观看| 碰97 久| 99@久久@99精品视频| 97成人在线视频| 免费超碰在线| 偷偷操99| 成人中文字幕在线| 99在线播放视频| 色婷婷九月| 第2色五月婷| 日 日干 日日做| 久久婷婷婷婷伊人| 日日操日日爽| 亚洲综合狠狠艹| 偷拍视频五月天| 开心五月色婷婷综合开心网| 激情五月六月婷婷| 好激情在线综合网| 六月婷婷开心| www.yw色| 色婷婷a| 久久狠狠干| 久久er99热精品一区二区| 99热这里都是精品| 成人无码髙潮喷水A片| 婷婷最新地址| 五月婷婷精品视频| 国产熟女大叫受不了| 91网站黄| 天天 青草 制服丝袜 在线 | 五月天影院| 亚洲综合另类| 欧美va视频| 操一操干一干| 国产熟妇乱子伦hd| av操B网站| 久99精品视频| 色婷婷免费观看| 美妞av| 天天干天天操| 91精品国产99久久久久久天美| 五月丁香久久| 色婷婷六月| 玖玖婷婷色| 综合激情伊人影视在线| 狠狠狠人妻| 婷婷六月情| 日韩在线视频中文字幕| 久久久免费精彩视频| 丰满少妇猛烈A片免费看观看| 丁香五月激情五月| 91碰在线| 色色热99| 人人舔人人色人人高潮| 色五月亚洲开心网| 婷婷五月天堂| 色色色色综合| 久久久全国免费视频| 五月天堂六月丁香亚州中文字幕久久| 91视频精品99| 色噜噜,噜噜色| 五月天婷婷在线观看| 99碰碰| 丁香六月在线综合| 综合狠狠干| 99热思思在线观看| 亚洲成人五月天| 99热这里是精品| 久久99网| 97干视频| 狠狠草综合网| 五月婷色色| 亚洲成av人影院| 玖玖婷婷五月天毛片| 99re久久| 天天综合网网欲色| 日本久久网| 国产精女同一区二区三区久| 九九热99视频| 亚洲看av的网站| 99超级碰碰| 日韩av一区二区在线/日产精品久久久| 91 九色 入口| 六月丁香五月婷婷首页| 丁香五月五月婷婷| 婷婷五月天网| 婷婷久久在线| 亚洲第一色色色色| 91人妻视频| 亚洲欧美成人在线| 99ri精品在线观看| 婷婷五月激情四月综合 | 亚洲日韩一页精品发布| 国产综合婷婷| 五月丁香六月婷婷中合网| 激情五月丁香六月综合AVXXXX| 激情又色又爽又黄的A片| 国产成人在线不卡AV| 国产超碰在线| 亚洲综合色色色| 婷婷综合网| 五月天社区婷婷丁香社区| 丁香五月AV在线| 婷婷五月免费视频| 色天堂婷婷| 玖玖婷婷五月天| 丁香六月激情国产| 五月丁香婷婷啪啪| 婷婷五月丁香花综合| 日韩狠狠色婷婷| 婷婷婷久久久| 级人人91| 丁香六月婷婷开心| 97超碰在线免费观看| 精品国产AV色一区二区深夜久久 | 91超碰在线观看| 婷婷五月综合激情免费视频| 色婷婷五月综合| 91丨九色丨熟女|老版| 这里只有精品免费视频在线观看| 久久激情视频| 91狼友视频网页更新| 色五月天天在线观看资源站| 99热国产这里只有精品| 日日影院 | 91丨九色丨熟女高潮| 激情五月天小说网| 久久综合66| 色噜噜夜夜夜综合网| 九热视频| 538在线精品| 综合97五月| 免费黄色AV| 91综合色噜噜| RenRenSe在线视频网站| 婷婷天堂站| 五月丁了香蕉综合| 99婷婷五月天| 级情九色| 亚洲成人AV在线| 婷婷激情区| 91一起操| 亚洲精品影视| 天天日天天干天天天| 成人 在线观看国产| 中文网AV| www久久99| 99色免费| 色婷五月天激情| 教师性爱毛片| 亚洲无码成人性爰网| 99激情视频| 亚洲色精彩| 91天天操天天干天天射| 99re资源在线视频导航| 26uuu国产精品| 国产这里只有精品| 超碰99热| 99热这里| 99热热热国产超碰| 天天干天干| 综合色图婷婷| 6月丁香婷婷激情| 色吧五月婷婷| 中文字幕在线免费| 婷婷99狠狠躁天天躁中| 小骚穴电影| 婷婷丁香五月婷婷| 黄色AAAAAAA| 思思热精品在线观看| 9精品国产在热久久| 狠狠操狠狠干综合| 十二区无码| 亚洲婷婷月丁香五月| 婷婷综合| 99精品视频在线| 三年高清大片免费观看国语| 丁香五月激情六月综合| 综合天堂AV久久久久久久| 亚洲成人乱码av网站| 日韩人妻白浆视频系列| 亚洲综合色丁香五月天| 色99视频| 丁香五月天婷婷久久| 96精品成人无码A片观看金桔| VA日本视频| 99色视频| 五月丁香 啪啪啪| 九月丁香很很色| 日韩精品二三区| 久久网址99热| 色偷偷五月天| 99热青青草| 色婷婷视频| 色欲操| 99热18| 国产综合激情五月久久| 日韩色色色色| 五月综合精品| 丁香五月很很肏| 丁香五月伊人| 色婷婷19| 色色色999| 久久黄A片| 熟妇人妻中文字幕无码老熟妇| WWW、日本色丁香、co m| 秋霞少妇AV网站| 99热这里有精力| 超碰不卡在线| 天天做夜夜爽| 97激情五月天| 婷婷干| AV性爱网| 亚州色婷婷| 精品成人久久久久久久_一二三四视| 五月丁香六月久久| 国内一级片| 五月婷在线视频免费看| 在线天堂9| 天天操比比| 99视频精品8| 丁香五月天社区婷婷| 2020日日干| 热99这里只是精品| 偷偷与邻居做爰完整视频| 精品色色网| 丁香五月 无码| 婷婷色在线观看| 激情婷婷五六月天| 99情色五月天| 色色色在线观看| 激情深爱综合| 五月丁香六月激情| 丁香五月天亚洲视频| 五月婷婷高清| 色婷婷激情五月天丁香| 99久久精品国产色欲| 久久久久久久五月婷婷六月丁香综合,开心激情综合网 | 99色在线观看视频者| 婷婷五月天视频免费在线观看| 国产成人av在线| AA片在线观看视频在线播放| 五月婷婷综合久久| 色综合综合色| 一二线视频 另类| 五月天亚洲综合网| 亚洲操操| 激情图片亚洲| 成人网在线视频| 色播丁香五月婷婷操:屄| 国产欧美大香蕉一区| 五月丁香综合啪啪| 日韩黄黄| 成人色图情色成人网 www.5b5b5bcom 五月天| 婷婷婷婷婷婷婷五月丁香| 伦99热| 久久九九@| 国产真人做爰视频免费| 婷婷综合网| 久久99热这里| 91精品久| 亚洲精品色| 五月婷婷六月开心| 日本色色网| 九九久久9 9在线观看| 国产精品成人AV在线| 综合视频五月| www91久久| 婷婷97狠狠成人网站| 99热免费在线| 日韩色色小视频| 超碰日韩人妻在线| 黄色一级影片| 色丁香久综合在线久综合在线观看| 好色婷婷| 成人视频网| 色色色综合网| 这里只有精品99www| 91超级碰在线| 中文字幕丰满孑伦无码专区| 99热天堂| 亚洲另类婷婷五月综合| 91九色熟女| 国产无套精品一区二区| 丁香五月婷婷啪| 丁香婷婷久久综合在线| 午夜一区| 久久99jiu9| 五月丁香六月色| 久久久久久人妻| 色婷婷丁香特级性爱视频| 色情久久久| 丁香五月玖玖| 337p大胆噜噜噜噜噜91Av| 五月天婷婷丁香社区| 色之综合网| 九九色院| 久久综合五月天激情小说网站 | 婷婷色情五月| 亚洲亚洲人成综合网络| 丁香色六月婷婷| SESE无码AV| 久久亚洲色导航| 五月婷婷久久大香蕉| www.丁香黄色五月天人与| 五月天综合视频| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 99ri在线视频| 噜噜色五月| 五月天五月天激情网| 777久久综合视频 | 激情小说五月欧美亚洲丁香| 色之综合网| 午夜亚洲国产精品av一区二区| av首页在线| 成人做爰A片免费看视频| 亚洲午夜av| 九九無妻| 久久久久人妻中文| 99re思思热在线视频| 婷婷五月色图| 伊人超碰在线| 天天日天天爽| 久久久WWW| 9九色首页| 丁香五月天的网址。| 色999五月色| 日本人妻A片成人免费看片| 婷婷激情四射五月天| 欧美成人精品A片免费一区99 | 成人国产欧美大片一区| 99色视频| 99在线观看精品| www.婷婷五月天啪啪| 婷婷亚洲天堂| 性爱网五月天| www,色综合| av一区免费看| 青青草原亚洲久| 亚洲精品V天堂中文字幕| 可以免费观看的av| 婷香五月| 色婷婷综合影院| 五月婷在线观看| 中文字幕婷婷五月天在线观看| 六月伊人婷婷| 99re思思在线视频| 婷婷五月天AV| 青青草色在线视频观看| 99色在线观看视频| 大香蕉啪啪啪啪啪啪| 国产av第一专区| 波多婷婷久久| 欧美色片中文字幕久久久久| 丁香六月激情| 欧洲色| 六月婷婷综合| 婷婷色色网| 婷婷精品在线| 中文字幕视频在线播放| 婷婷色操| 人人草人人看| 丁香五月偷拍| 橾逼网| 26uuu亚洲精品国产| www.99成人视频| 久久aaaa片一区二区| 成人狠狠成人狠狠成人狠狠成人狠狠 | 中文字幕激情综合| 草草影院爱爱| 日本黄色精品| 99九九中文字幕视频| 国产九九一区二区三区| 色播五月丁香综合| 丁香五月天天| 丁香五月激情网| 日本人人草草| 婷婷情色五月天| 丝袜人妻| 九热...av| 成人国产综合| 丁香综合婷婷开心激情网| 超碰在线91| AV九九| 操操操av| 久久99这里| 婷婷五月天xxx| 天天久久综合| 天天成人丁香美女AV| 五月丁香六月欧美| 丁香六月色婷婷| 99re8在这里只有精品| 嫩草AV久久伊人妇女超级a| 亚洲激情免费视频| 亚洲综合激情五月| 激情五月婷婷在线观看| 激情五月天影院| 中文在线成人| 五月天婷婷影院| av在线激情| 在线中文字幕视频| 99在线精品视频| 久久xx| 黄桃AV无码免费一区二区三区| 99热每日| AA片在线观看视频在线播放| 亚洲中字AV电影在线网站| 亚洲天堂玖玖| 五月婷婷婷综合网| 婷婷黄色| 久久亚洲色导航| 五月天在线视频尤物视频在线看| 亚洲 六月 综合| 久婷婷色| 久久激情五月| 双性美人被调教到喷水A片|