欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

LSTM時(shí)間序列預(yù)測(cè)源碼解析:從Excel數(shù)據(jù)處理到多步預(yù)測(cè)避坑指南

LSTM時(shí)間序列預(yù)測(cè)源碼解析:從Excel數(shù)據(jù)處理到多步預(yù)測(cè)避坑指南 簡(jiǎn)介這是一套基于PyTorch的LSTM時(shí)間序列預(yù)測(cè)完整源碼定位是讓小白也能快速跑通整個(gè)預(yù)測(cè)流程解決單變量/多變量輸入、單步/多步預(yù)測(cè)等常見(jiàn)時(shí)序建模需求。程序從Excel或CSV讀取數(shù)據(jù)更換數(shù)據(jù)集無(wú)需改動(dòng)核心代碼內(nèi)置MAE、MSE、R2、MAPE等評(píng)估指標(biāo)并按標(biāo)準(zhǔn)框架劃分訓(xùn)練集、驗(yàn)證集與測(cè)試集便于觀察模型在不同階段的表現(xiàn)。資源共27個(gè)文件約9.22MB以py源碼、pyc編譯文件、xlsx示例數(shù)據(jù)、png效果圖及pdf/docx使用說(shuō)明手冊(cè)為主另附帶訓(xùn)練好的模型權(quán)重可快速對(duì)照示例結(jié)果驗(yàn)證。配套注釋和使用手冊(cè)覆蓋數(shù)據(jù)替換、模型訓(xùn)練、預(yù)測(cè)與評(píng)估全流程做課程設(shè)計(jì)、畢業(yè)設(shè)計(jì)或復(fù)現(xiàn)實(shí)驗(yàn)對(duì)比都很順手。已有266人學(xué)習(xí)下載適合剛接觸時(shí)序預(yù)測(cè)并希望直接套用模板的初學(xué)者。1. LSTM時(shí)間序列預(yù)測(cè)的“無(wú)腦”源碼這個(gè)包到底幫你省了哪些事當(dāng)你手里只有一份 Excel——銷(xiāo)量、傳感器溫度、設(shè)備振動(dòng)幅度、水庫(kù)水位——卻要在幾天內(nèi)交付一個(gè)能跑的基于 LSTM 的時(shí)間序列預(yù)測(cè)程序時(shí)真正讓人頭大的往往不是模型數(shù)學(xué)而是數(shù)據(jù)怎么喂進(jìn)去、訓(xùn)練完怎么保存權(quán)重、預(yù)測(cè)完怎么算誤差。這份基于 PyTorch 的 LSTM 預(yù)測(cè)源碼包刻意走“少折騰、直接出結(jié)果”的路線單變量/多變量輸入自由切換單步/多步預(yù)測(cè)自動(dòng)適配數(shù)據(jù)直接從 Excel/CSV 讀取訓(xùn)練集、驗(yàn)證集、測(cè)試集標(biāo)準(zhǔn)三切分訓(xùn)練結(jié)束一口氣給你 MAE、MSE、R2、MAPE 四個(gè)指標(biāo)。我拆過(guò)它全部代碼結(jié)論是它配得上“無(wú)腦”兩個(gè)字但里面還是藏了四個(gè)隱蔽坑。這篇文章從文件結(jié)構(gòu)到模型參數(shù)、從數(shù)據(jù)替換到指標(biāo)計(jì)算把這包源碼一次講透。2. 數(shù)據(jù)從 Excel 讀到 LSTM 輸入格式要求、歸一化與三集劃分2.1 數(shù)據(jù)讀取Excel/CSV 的打開(kāi)方式與格式紅線這個(gè)源碼包的數(shù)據(jù)入口是 Excel 或 CSV不是網(wǎng)上現(xiàn)成的數(shù)據(jù)集。你需要把數(shù)據(jù)整理成至少兩列一列是時(shí)間或順序索引一列是目標(biāo)值跑多變量就再加若干特征列目標(biāo)列放最后一列。先看最小讀取代碼import pandas as pd import numpy as np # data.xlsx 是默認(rèn)數(shù)據(jù)文件sheet_name0 表示第一個(gè)工作表 df pd.read_excel(data.xlsx, sheet_name0) print(df.columns.tolist()) # 確認(rèn)列名 print(df.head()) # 確認(rèn)前幾行 print(df.dtypes) # 確認(rèn)每列數(shù)據(jù)類(lèi)型這段代碼里有兩個(gè)容易被忽略的點(diǎn)。第一列名不要用中文和空格雖然源碼里很多位置靠列索引取值但換數(shù)據(jù)時(shí)列名干凈能大幅減少排錯(cuò)成本。第二dtypes 輸出很關(guān)鍵Excel 里看著是數(shù)字的列經(jīng)?;烊肷倭课谋咀兂?object 類(lèi)型后續(xù) sklearn 的 MinMaxScaler 會(huì)直接報(bào)錯(cuò)。正常的 dtype 應(yīng)該是 float64 或 int64看到 object 就說(shuō)明數(shù)據(jù)表里藏了非數(shù)字內(nèi)容。CSV 的讀取稍微不同df pd.read_csv(data.csv, encodingutf-8-sig)編碼參數(shù)我建議固定寫(xiě) utf-8-sig。Windows 上用 Excel 另存的 CSV 默認(rèn)是 ANSI/GBK 編碼不帶這個(gè)參數(shù)中文列名或者文字型特征讀進(jìn)來(lái)直接亂碼。utf-8-sig 的好處是同時(shí)兼容帶 BOM 和不帶 BOM 的 UTF-8 文件Linux 和 Windows 之間來(lái)回拷文件都不出問(wèn)題。讀取之后第一件事是清理數(shù)據(jù)。時(shí)間序列數(shù)據(jù)的清理按順序做先 dropna() 或者 fillna(methodffill)把缺值處理掉再用肉眼掃一遍有沒(méi)有明顯超出量級(jí)的異常值。時(shí)間序列里如果混入一個(gè) 1000 倍的峰值歸一化時(shí)整個(gè)數(shù)據(jù)的尺度都會(huì)被拉歪模型的預(yù)測(cè)基本作廢。源碼包里數(shù)據(jù)是干凈的但換成你自己的 Excel 時(shí)這一關(guān)必須自己過(guò)。2.2 歸一化為什么選 MinMaxScaler 而不是 StandardScalerLSTM 內(nèi)部激活函數(shù)默認(rèn)是 tanh輸出被壓在 [-1,1]原始數(shù)據(jù)如果是幾萬(wàn)、幾十萬(wàn)的量級(jí)梯度在反向傳播時(shí)很容易爆炸。源碼包默認(rèn)用 MinMaxScaler 把數(shù)據(jù)壓到 [0,1]。from sklearn.preprocessing import MinMaxScaler scaler MinMaxScaler(feature_range(0, 1)) data scaler.fit_transform(df.iloc[:, 1:].values.astype(np.float32))這里有兩個(gè)細(xì)節(jié)。第一個(gè)是 .values.astype(np.float32)PyTorch 默認(rèn)的 FloatTensor 是 32 位浮點(diǎn)如果喂 float64 的 numpy 數(shù)組在構(gòu)造 Dataset 時(shí)大概率報(bào) dtype 不匹配。第二個(gè)是 df.iloc[:, 1:]如果 DataFrame 里有時(shí)間列或 id 列必須先切掉時(shí)間戳在數(shù)學(xué)上沒(méi)有時(shí)序預(yù)測(cè)意義混進(jìn)去反而干擾特征計(jì)算。注意fit_transform 用在整份數(shù)據(jù)上還是先 fit 訓(xùn)練集再 transform 測(cè)試集最嚴(yán)格的寫(xiě)法是先對(duì)訓(xùn)練集 fit驗(yàn)證集和測(cè)試集用同一個(gè) scaler 做 transform避免測(cè)試集信息提前泄漏到歸一化參數(shù)里。數(shù)據(jù)量夠大且分布平穩(wěn)時(shí)直接對(duì)全量 fit 工程上也常見(jiàn)但嚴(yán)格項(xiàng)目建議按前者來(lái)。這里解釋一下為什么不用 StandardScaler。StandardScaler 把數(shù)據(jù)變成均值 0 方差 1適合線性模型和部分深度網(wǎng)絡(luò)但 LSTM 場(chǎng)景里 MinMaxScaler 更常見(jiàn)原因是它嚴(yán)格限制輸出范圍讓 tanh 激活始終處于有效工作區(qū)間。還有一個(gè)實(shí)際考慮MinMaxScaler 反歸一化時(shí)直接乘回去就還原真實(shí)數(shù)值不來(lái)回折騰對(duì)新手更友好。2.3 滑動(dòng)窗口構(gòu)造與三集劃分的邏輯這個(gè)源碼包比很多開(kāi)源項(xiàng)目講究的地方在于分了三份而不是兩份。默認(rèn)比例 70% 訓(xùn)練、20% 驗(yàn)證、10% 測(cè)試。代碼邏輯等價(jià)于train_size int(len(data) * 0.7) val_size int(len(data) * 0.2) train_data data[:train_size] val_data data[train_size:train_size val_size] test_data data[train_size val_size:]時(shí)間序列切分有兩個(gè)必須強(qiáng)調(diào)的點(diǎn)。第一不能隨機(jī) shuffle。數(shù)據(jù)一批接一批打亂之后模型就看到未來(lái)信息訓(xùn)練指標(biāo)再好看也是假象。第二三份數(shù)據(jù)之間允許有滑動(dòng)窗口的重疊這不叫數(shù)據(jù)泄漏而是時(shí)間序列樣本構(gòu)造的正常形態(tài)因?yàn)榇翱谥g本來(lái)就共享了部分歷史。滑動(dòng)窗口的構(gòu)造是時(shí)間序列預(yù)測(cè)的核心步驟源碼里對(duì)應(yīng)這段邏輯seq_len 7 # 用過(guò)去7個(gè)時(shí)間步預(yù)測(cè)下一個(gè) x_samples, y_samples [], [] for i in range(len(data) - seq_len): x_samples.append(data[i:i seq_len, :]) y_samples.append(data[i seq_len, -1])x_samples 的每個(gè)元素形狀是 (seq_len, feature_num)y_samples 是單個(gè)標(biāo)量。這一個(gè)標(biāo)量就是“單輸出”的含義。seq_len 參數(shù)決定模型看多長(zhǎng)的歷史取值建議參考數(shù)據(jù)周期按天記錄的銷(xiāo)量數(shù)據(jù)一個(gè)周期是 7 天seq_len 取 7 或 14 起步分鐘級(jí)交易數(shù)據(jù)先畫(huà)自相關(guān)圖找周期再定沒(méi)有固定公式。2.4 單變量/多變量切換feature 數(shù)量怎么影響 input_size源碼支持單變量和多變量自由切換落到代碼層面就是 input_size 一個(gè)參數(shù)。單變量時(shí) input_size1多變量時(shí) input_size特征列總數(shù)。在讀取階段的表現(xiàn)差異是# 單變量只保留目標(biāo)列 df pd.read_excel(data.xlsx, sheet_name0) single df[[value]].values # 多變量保留所有特征列 multi df.iloc[:, 1:].values單變量適合數(shù)據(jù)維度有限、只關(guān)心目標(biāo)本身趨勢(shì)的場(chǎng)景多變量適合有外部驅(qū)動(dòng)的場(chǎng)景比如預(yù)測(cè)銷(xiāo)量時(shí)把天氣、促銷(xiāo)、節(jié)假日一起喂進(jìn)去。但多變量不是免費(fèi)的特征列越多模型需要的數(shù)據(jù)越多特征之間如果存在強(qiáng)相關(guān)性LSTM 可能學(xué)出冗余表示。建議先從單變量跑通再用多變量對(duì)比漲幅不要一上來(lái)就堆特征。這一段也順帶解釋了為什么數(shù)據(jù)讀取后要立刻檢查列的順序和目標(biāo)列位置——源碼默認(rèn)目標(biāo)列在最后一列如果自己的數(shù)據(jù)把目標(biāo)列放在中間記得用 pandas 的 reindex 或按列名切片挪到末尾。所有數(shù)據(jù)處理做完之后數(shù)據(jù)端的三件事——讀取、歸一化、切分——就算齊了下一章進(jìn)源碼包內(nèi)部。3. 源碼包內(nèi)部結(jié)構(gòu)main.py、models.py、utils.py 各管哪一段3.1 文件地圖誰(shuí)是入口、誰(shuí)是框架、誰(shuí)是工具人解壓 zip 后真正要?jiǎng)拥奈募还参鍌€(gè)。先看職責(zé)表文件角色使用場(chǎng)景main.py程序入口訓(xùn)練和預(yù)測(cè)流程編排每次調(diào)參都改它models.pyLSTM 網(wǎng)絡(luò)結(jié)構(gòu)定義改模型架構(gòu)時(shí)才動(dòng)utils.py數(shù)據(jù)讀取、歸一化、指標(biāo)計(jì)算工具換數(shù)據(jù)格式時(shí)動(dòng)data.xlsx原始數(shù)據(jù)文件換成你自己的數(shù)據(jù)model_LSTMMain_weights預(yù)訓(xùn)練權(quán)重跳過(guò)訓(xùn)練直接預(yù)測(cè)時(shí)用main.py 只是調(diào)度者不是模型定義的地方。第一次看源碼的人容易到處找網(wǎng)絡(luò)結(jié)構(gòu)翻幾圈才發(fā)現(xiàn) LSTM 定義在 models.py 里。utils.py 把數(shù)據(jù)讀取、窗口構(gòu)造、歸一化、指標(biāo)計(jì)算全部拆出來(lái)這個(gè)分層思路是對(duì)的改數(shù)據(jù)處理邏輯時(shí)不用碰模型代碼。3.2 模型定義LSTM 層加全連接層的單輸出結(jié)構(gòu)models.py 的結(jié)構(gòu)是時(shí)間序列預(yù)測(cè)最標(biāo)準(zhǔn)的形態(tài)LSTM 層提取時(shí)序特征再接全連接層輸出預(yù)測(cè)值。核心代碼import torch import torch.nn as nn class LSTMModel(nn.Module): def __init__(self, input_size, hidden_size, num_layers, output_size): super(LSTMModel, self).__init__() self.lstm nn.LSTM( input_sizeinput_size, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue ) self.fc nn.Linear(hidden_size, output_size) def forward(self, x): out, (h_n, c_n) self.lstm(x) # 取最后一個(gè)時(shí)間步的隱層輸出做全連接 out self.fc(out[:, -1, :]) return out參數(shù)逐個(gè)說(shuō)。input_size 是特征數(shù)量單變量是 1多變量是特征列總數(shù)。hidden_size 是 LSTM 隱藏單元數(shù)決定模型記憶容量小數(shù)據(jù) 64 起步數(shù)據(jù)量大的可以設(shè) 128 或 256過(guò)大了反而容易過(guò)擬合。num_layers 是堆疊層數(shù)2 表示兩層 LSTM 堆疊能學(xué)到更復(fù)雜的時(shí)序依賴(lài)但訓(xùn)練更慢。batch_firstTrue 省了一個(gè) permute 步驟默認(rèn) PyTorch LSTM 期望輸入形狀是 (seq_len, batch, feature)batch_firstTrue 后輸入變成 (batch, seq_len, feature)和我們直覺(jué)構(gòu)造的樣本形狀完全一致。如果你在別處看到 LSTM 代碼 forward 里寫(xiě) x.permute(1,0,2)那就是沒(méi)用 batch_first 的寫(xiě)法兩件事是等價(jià)的。forward 里 out[:, -1, :] 是“單輸出”的核心操作。不管輸入是 7 個(gè)時(shí)間步還是 14 個(gè)時(shí)間步模型只看最后一個(gè)時(shí)間步的隱層狀態(tài)然后由全連接層壓成 1 個(gè)預(yù)測(cè)值。要改成多步預(yù)測(cè)一條路是把 fc 輸出維度從 1 改成 n_steps一口氣輸出未來(lái) n 步另一條路是保留單輸出但迭代預(yù)測(cè)每次預(yù)測(cè)一個(gè)值再拼回去喂給模型。前者多一個(gè)超參后者會(huì)累積誤差后面進(jìn)階章細(xì)講。3.3 權(quán)重文件與跳過(guò)訓(xùn)練直接預(yù)測(cè)包內(nèi)放了訓(xùn)練好的權(quán)重主要用于省掉訓(xùn)練時(shí)間。加載權(quán)重的標(biāo)準(zhǔn)寫(xiě)法model LSTMModel(input_sizefeature_num, hidden_size128, num_layers2, output_size1) checkpoint torch.load(model_LSTMMain_weights.pth, map_locationcpu) model.load_state_dict(checkpoint) model.eval()這里有幾個(gè)向坑很多的細(xì)節(jié)。第一map_locationcpu 必須寫(xiě)否則在沒(méi)有 GPU 的機(jī)器上加載別人 GPU 訓(xùn)練的權(quán)重會(huì)直接報(bào)錯(cuò) Attempting to deserialize object on a CUDA device。第二load_state_dict 之前必須保證模型的 hidden_size、num_layers 與訓(xùn)練時(shí)一致否則鍵名對(duì)不上運(yùn)行報(bào) Missing key 或 Unexpected key。第三加載完成后 model.eval() 是必選項(xiàng)模型里如果帶 Dropout 或 BatchNorm訓(xùn)練模式和推理模式的執(zhí)行路徑完全不同忘記切模式會(huì)讓預(yù)測(cè)結(jié)果帶隨機(jī)性。3.4 main.py 的整體流程從數(shù)據(jù)到指標(biāo)的編排main.py 的流程可以歸納為六個(gè)順序步驟讀數(shù)據(jù)、構(gòu)建窗口、切三集、定義模型、開(kāi)始訓(xùn)練、評(píng)估輸出。骨架如下def main(): data load_data(data.xlsx) # 從 utils 讀取 x, y build_sequences(data, seq_len) # 構(gòu)造窗口 train_loader, val_loader, test_loader split_dataset(x, y) # 三集 model LSTMModel(input_size, hidden_size, num_layers, 1) train(model, train_loader, val_loader, epochs) metrics evaluate(model, test_loader) print(metrics)每一行都對(duì)應(yīng)一個(gè)實(shí)際函數(shù)。這種編排方式的好處是把研究流程和工程細(xì)節(jié)剝離開(kāi)模型定義不動(dòng)調(diào)節(jié)點(diǎn)時(shí)只需要改 main.py 頂部的幾個(gè)參數(shù)。這也解釋了為什么權(quán)重文件名叫 model_LSTMMain_weights——它是對(duì)應(yīng) main.py 里創(chuàng)建的那個(gè)模型實(shí)例保存的。參數(shù)集中在 main.py 頂部是這份源碼特別方便改的地方。打開(kāi) main.py 大概率看到一堆賦值語(yǔ)句比如 epochs、batch_size、learning_rate、seq_len、hidden_size。batch_size 在時(shí)間序列場(chǎng)景里常用 32 或 64epochs 在 50 到 200 之間學(xué)習(xí)率 0.001 是 Adam 的推薦值。這些參數(shù)改完整個(gè)流程重跑一遍就行不用動(dòng)其它文件。這也是“無(wú)腦”二字的來(lái)源。4. 訓(xùn)練與評(píng)估損失函數(shù)、優(yōu)化器和 MAE/MSE/R2/MAPE 的實(shí)現(xiàn)4.1 訓(xùn)練循環(huán)Adam、MSE 損失與權(quán)重保存main.py 里的訓(xùn)練部分是標(biāo)準(zhǔn)的 PyTorch 循環(huán)沒(méi)有多余封裝。關(guān)鍵代碼import torch.optim as optim model LSTMModel(input_sizefeature_num, hidden_sizehidden_size, num_layersnum_layers, output_size1) criterion nn.MSELoss() optimizer optim.Adam(model.parameters(), lr0.001) epochs 100 for epoch in range(epochs): model.train() for x_batch, y_batch in train_loader: optimizer.zero_grad() y_pred model(x_batch) loss criterion(y_pred, y_batch.view(-1, 1)) loss.backward() optimizer.step()損失函數(shù)選 MSE 而不是 MAE 的原因很實(shí)際MSE 對(duì)預(yù)測(cè)值和真實(shí)值的偏差做平方梯度大小正比于誤差訓(xùn)練收斂更快MAE 梯度恒定誤差很小時(shí)更新步長(zhǎng)不縮小不容易收斂。代價(jià)是 MSE 對(duì)離群點(diǎn)敏感數(shù)據(jù)里有一個(gè)極端值loss 就大得離譜。時(shí)間序列數(shù)據(jù)異常值多我會(huì)先對(duì)數(shù)據(jù)做截?cái)嗷蚱交儆?xùn)練。optimizer.zero_grad() 必須寫(xiě)在每個(gè) batch 最前面。PyTorch 默認(rèn)行為是梯度累積不清空上一輪梯度的話 loss 不會(huì)收斂模型參數(shù)在錯(cuò)誤方向上亂跑。y_batch.view(-1, 1) 是為了把形狀統(tǒng)一成 (batch, 1)和模型輸出的 (batch, 1) 對(duì)齊MSE 計(jì)算才不會(huì)有維度錯(cuò)誤或隱式廣播。訓(xùn)練完成之后權(quán)重保存在流程末尾torch.save(model.state_dict(), model_LSTMMain_weights.pth)只存 state_dict不存整個(gè)模型對(duì)象。這樣做的優(yōu)點(diǎn)是文件體積小、不綁定模型類(lèi)的定義路徑換電腦加載也不受影響缺點(diǎn)是你必須保證加載時(shí)的模型定義和保存時(shí)的完全一致鍵名、參數(shù)一個(gè)都不能差。自己訓(xùn)練完立刻加載問(wèn)題不大拿別人給的權(quán)重就必須知道當(dāng)時(shí)的 hidden_size 和 num_layers。4.2 四個(gè)評(píng)估指標(biāo)公式、代碼和業(yè)務(wù)含義評(píng)估部分封裝在 utils.py 里最終在 main.py 的輸出段打印。核心計(jì)算展開(kāi)如下import numpy as np mae np.mean(np.abs(y_pred - y_test)) # 平均絕對(duì)誤差 mse np.mean((y_pred - y_test) ** 2) # 均方誤差 rmse np.sqrt(mse) # 均方根誤差 mape np.mean(np.abs((y_test - y_pred) / y_test)) * 100 # 百分比誤差 ss_res np.sum((y_test - y_pred) ** 2) ss_tot np.sum((y_test - np.mean(y_test)) ** 2) r2 1 - ss_res / ss_tot # R2 決定系數(shù)這四個(gè)指標(biāo)各有各的“脾氣”。MAE 最直觀單位跟原始數(shù)據(jù)一致“平均錯(cuò)多少個(gè)單位”適合業(yè)務(wù)匯報(bào)。MSE 把誤差平方放大對(duì)極大誤差極其敏感數(shù)據(jù)里有幾個(gè)異常點(diǎn)MSE 會(huì)大得離譜——這不是模型壞了是平方運(yùn)算的數(shù)學(xué)特性。RMSE 把 MSE 拉回原單位但它放大極端誤差的特性還在。MAPE 是百分比誤差適合做跨數(shù)據(jù)集橫向?qū)Ρ?。它有一個(gè)前提條件真實(shí)值不能接近 0否則除法分母趨近 0MAPE 直接沖天。如果自己的數(shù)據(jù)里存在 0 值這個(gè)指標(biāo)打印出來(lái)會(huì)是 inf不代表模型失敗只是指標(biāo)本身不適合這份數(shù)據(jù)改用 MAE 做評(píng)價(jià)即可。R2 的含義和另外三個(gè)完全不同。它衡量的是模型解釋了目標(biāo)波動(dòng)的比例正常范圍 0 到 1越接近 1 擬合越好。R2 為負(fù)說(shuō)明你的模型比“直接用真實(shí)值均值當(dāng)預(yù)測(cè)值”還差這種情況在時(shí)間序列里多半意味著數(shù)據(jù)切分泄漏、特征和目標(biāo)方向弄反、或者模型結(jié)構(gòu)有問(wèn)題??吹截?fù) R2 時(shí)不要調(diào)參先回去檢查數(shù)據(jù)。4.3 反歸一化預(yù)測(cè)結(jié)束最容易漏的一步訓(xùn)練時(shí)數(shù)據(jù)被壓到 [0,1]模型輸出的預(yù)測(cè)值也在 [0,1]。要把預(yù)測(cè)值還原成原始量級(jí)就必須做反歸一化y_pred_original scaler.inverse_transform(y_pred) y_test_original scaler.inverse_transform(y_test)inverse_transform 的輸入形狀必須和 fit 時(shí)的特征數(shù)量一致。如果 fit 時(shí)傳的是整個(gè) data多列現(xiàn)在只傳一列預(yù)測(cè)值會(huì)報(bào) shape mismatch。源碼里對(duì)這個(gè)問(wèn)題的處理方式是單獨(dú)定義目標(biāo)列的 scalerscaler_y MinMaxScaler() y_scaled scaler_y.fit_transform(df[[target_col]].values)這樣反歸一化只用一列沒(méi)有任何維度問(wèn)題。如果直接調(diào)用整個(gè) data 的 scaler就必須構(gòu)造一個(gè)和訓(xùn)練時(shí)相同列數(shù)的空矩陣把預(yù)測(cè)值塞進(jìn)目標(biāo)列位置再 inverse_transform處理起來(lái)麻煩得多。4.4 指標(biāo)怎么結(jié)合業(yè)務(wù)場(chǎng)景選四個(gè)指標(biāo)不是用來(lái)湊數(shù)的。業(yè)務(wù)上我一般這么選給老板匯報(bào)用 MAE因?yàn)閹г紗挝徽f(shuō)“平均偏差 120 件”比“R20.87”更容易聽(tīng)懂。調(diào)參對(duì)比模型時(shí)看 RMSE它對(duì)大誤差更敏感能幫你在多個(gè)候選模型里挑出極端情況都擬合得好的那個(gè)??鐓^(qū)域、跨品類(lèi)對(duì)比時(shí)用 MAPE因?yàn)榘俜直认瞬煌瑪?shù)據(jù)量級(jí)的影響。R2 則用來(lái)判斷模型是否整體失效。四個(gè)指標(biāo)一起看才有完整畫(huà)面MAE 低但 R2 也低說(shuō)明模型對(duì)大趨勢(shì)擬合不好MSE 高但 MAE 低暗示數(shù)據(jù)里有少數(shù)極端點(diǎn)。5. 實(shí)戰(zhàn)復(fù)現(xiàn)與避坑環(huán)境準(zhǔn)備、命令順序和五個(gè)高頻坑5.1 環(huán)境準(zhǔn)備依賴(lài)安裝和 PyTorch 選擇上手這個(gè)源碼包依賴(lài)很少核心就五個(gè)包pip install torch numpy pandas scikit-learn openpyxlopenpyxl 是 pandas 讀 .xlsx 的底層依賴(lài)不裝的話 pd.read_excel 會(huì)直接 ImportError。如果數(shù)據(jù)只有 CSV可以去掉 openpyxl但保留也不礙事體積很小。PyTorch 的安裝要分情況純 CPU 機(jī)器直接 pip install torch 就能裝有 NVIDIA 顯卡想用 GPU去 PyTorch 官網(wǎng)按 CUDA 版本選安裝命令不要自己猜 wheel 名。這份源碼的規(guī)模用 CPU 完全跑得動(dòng)差的只是訓(xùn)練時(shí)間不用為它大動(dòng)干戈配 GPU 環(huán)境。裝好后第一件事是驗(yàn)證 PyTorch 是不是真的能導(dǎo)入python -c import torch; print(torch.__version__)這一行能輸出版本號(hào)環(huán)境基本就緒。經(jīng)常有人跳過(guò)這一步直接跑 main.py在 import torch 那行翻車(chē)然后花半天排查是哪個(gè)包缺了其實(shí)環(huán)境從頭就沒(méi)裝好。5.2 跑通主流程六步操作整體操作順序如下。第一步把 data.xlsx 換成你自己的 Excel。列名換成英文目標(biāo)列放最后一列清理掉空值和明顯異常點(diǎn)。第二步打開(kāi) main.py把數(shù)據(jù)路徑、sheet 名改成實(shí)際值同時(shí)確認(rèn) seq_len、hidden_size 這些參數(shù)。第三步?jīng)Q定單變量還是多變量單變量在讀取段只保留目標(biāo)列多變量保留全部特征列。第四步運(yùn)行 python main.py。第五步觀察訓(xùn)練日志loss 應(yīng)該持續(xù)下降如果看到 loss 變成 NaN 就停住回到避坑清單。第六步訓(xùn)練結(jié)束后看測(cè)試集上的 MAE、MSE、R2、MAPE 輸出同時(shí)確認(rèn)反歸一化后的預(yù)測(cè)曲線有沒(méi)有明顯錯(cuò)位。這六步做完按說(shuō)已經(jīng)能用上這份源碼了。但時(shí)間序列預(yù)測(cè)的坑密集在數(shù)據(jù)環(huán)節(jié)而不是模型環(huán)節(jié)下面五條是最常見(jiàn)的報(bào)錯(cuò)和翻車(chē)記錄。5.3 避坑5 個(gè)高頻踩坑記錄坑一訓(xùn)練 loss 輸出 NaN現(xiàn)象訓(xùn)練頭幾輪 loss 正常幾十輪后突然變成 NaN后續(xù)全部 NaN。 原因最常見(jiàn)的是數(shù)據(jù)里存在 NaN 或者 infMinMaxScaler 會(huì)把 NaN 原樣保留LSTM 前向傳播算出的梯度直接無(wú)效。次常見(jiàn)的是學(xué)習(xí)率太大Adam 一次更新就跨過(guò)最優(yōu)點(diǎn)數(shù)值發(fā)散。 解決讀取 DataFrame 后立刻執(zhí)行 df df.dropna() 或者 df df.fillna(methodffill)同時(shí)把學(xué)習(xí)率從 0.001 降到 0.0005。絕大多數(shù)情況這兩步做完 NaN 就沒(méi)了。如果要兜底在訓(xùn)練循環(huán)里加一個(gè) loss 檢查if torch.isnan(loss): print(NaN at epoch, epoch); break方便快速定位??佣虞d權(quán)重時(shí)報(bào) Missing key(s) in state_dict現(xiàn)象torch.load 成功load_state_dict 卻報(bào)缺失鍵或者鍵名對(duì)不上。 原因模型定義參數(shù)和保存權(quán)重時(shí)的參數(shù)不一致。別人用 hidden_size128 訓(xùn)練保存你用默認(rèn) hidden_size64 定義模型鍵名自然對(duì)不上。 解決權(quán)重文件名是 model_LSTMMain_weights對(duì)應(yīng) main.py 里的默認(rèn)模型。加載前按原結(jié)構(gòu)重新定義模型如果你改過(guò) models.py舊權(quán)重大概率失效老老實(shí)實(shí)重新訓(xùn)練。實(shí)在不知道原結(jié)構(gòu)把 hidden_size、num_layers 兩個(gè)參數(shù)跑一遍組合加載成功為止??尤A(yù)測(cè)階段維度報(bào)錯(cuò) RuntimeError: mat1 and mat2 shapes cannot be multiplied現(xiàn)象eval 階段輸入模型的數(shù)據(jù)形狀不對(duì)全連接層矩陣乘直接串臺(tái)。 原因模型的 LSTM 期望三維輸入 (batch, seq_len, feature)實(shí)際輸入變成了二維或者 batch_size 和 seq_len 交叉錯(cuò)位。最常見(jiàn)的是構(gòu)造序列樣本時(shí)把 [seq_len, feature] 當(dāng)成整體傳入少了 batch 維。 解決在進(jìn)模型前加一行 print(x.shape) 確認(rèn)維度。少一維用 x x.unsqueeze(0)多一維用 x.squeeze(0)。建議在 main.py 關(guān)鍵位置加 assert x.dim() 3訓(xùn)練和預(yù)測(cè)都套上報(bào)錯(cuò)時(shí)一秒定位??铀念A(yù)測(cè)曲線是平移了一個(gè)周期的“滯后曲線”現(xiàn)象預(yù)測(cè)值和真實(shí)值曲線形狀幾乎一樣但整體右移了一個(gè)周期R2 不低畫(huà)圖一看就露餡。 原因時(shí)間序列模型最經(jīng)典的偷懶結(jié)果。在沒(méi)有強(qiáng)趨勢(shì)的序列上模型找到的最優(yōu)策略是“用最近的一個(gè)值預(yù)測(cè)當(dāng)前值”因此輸出天然滯后一個(gè)周期。這不是代碼故障是數(shù)據(jù)信息和建模方式的局限。 解決增大 seq_len 讓模型看到更長(zhǎng)的歷史或者對(duì)原始數(shù)據(jù)做一階差分把預(yù)測(cè)目標(biāo)從“絕對(duì)值”改成“增量”訓(xùn)練結(jié)束后再反差分還原。差分是消除滯后性的常用手段但如果業(yè)務(wù)指標(biāo)周期性很強(qiáng)、滯后可以接受也不一定非要改??游錯(cuò)val() 沒(méi)調(diào)用預(yù)測(cè)結(jié)果忽好忽壞現(xiàn)象加載權(quán)重后預(yù)測(cè)多次結(jié)果每次都不一樣。 原因模型里有 Dropout 或 BatchNorm 層時(shí)訓(xùn)練模式和推理模式的執(zhí)行邏輯不同。Dropout 在 train 模式下隨機(jī)丟棄神經(jīng)元BatchNorm 在 train 模式下更新運(yùn)行統(tǒng)計(jì)量?jī)烧叨紩?huì)讓預(yù)測(cè)帶隨機(jī)性。 解決預(yù)測(cè)前強(qiáng)制調(diào)用 model.eval()。這份源碼標(biāo)準(zhǔn)結(jié)構(gòu) LSTMLinear 沒(méi)有 Dropout 影響不大但后續(xù)加了 Dropout 或 BatchNorm這個(gè)坑必定踩到。同樣地要重新訓(xùn)練就切回 model.train()兩種模式要成對(duì)使用。五個(gè)坑排完之后這份源碼的復(fù)現(xiàn)就穩(wěn)了。6. 進(jìn)階改造從單步改成多步預(yù)測(cè)的驗(yàn)證方法單輸出和單步預(yù)測(cè)是這份源碼的默認(rèn)行為但很多實(shí)際場(chǎng)景需要的是一次給出未來(lái)若干步的預(yù)測(cè)——比如未來(lái) 7 天的銷(xiāo)量、未來(lái) 24 小時(shí)的電價(jià)。要把這份源碼從單步改成多步有三個(gè)環(huán)節(jié)必須處理。第一模型輸出維度。單輸出模型的最后一層全連接輸出是 1多步預(yù)測(cè)最簡(jiǎn)單的改法是把 output_size 從 1 改成 n_steps讓模型一口氣輸出未來(lái) n 步。相應(yīng)的損失函數(shù)還是 MSE但 y_batch 的形狀得跟著變成 (batch, n_steps)不能再 view 成 (batch, 1)。第二數(shù)據(jù)集構(gòu)造邏輯。原來(lái)窗口取 data[i:iseq_len] 作為輸入y 取 data[iseq_len] 單值改成多步后 y 要取 data[iseq_len:iseq_lenn_steps] 連續(xù) n 個(gè)目標(biāo)值。這一步直接導(dǎo)致訓(xùn)練樣本數(shù)減少數(shù)據(jù)量不夠時(shí)多步預(yù)測(cè)的效果會(huì)很慘。第三評(píng)估方式。多步預(yù)測(cè)的指標(biāo)一般按步分別計(jì)算MAE 按第 1 步、第 2 步、第 n 步單獨(dú)打印這樣你能看清誤差在哪一步開(kāi)始明顯變大。我的習(xí)慣是改造前先加載官方權(quán)重跑一遍單步預(yù)測(cè)記錄指標(biāo)作為 baseline然后從 n_steps2 開(kāi)始逐步加大步數(shù)觀察誤差隨步數(shù)的衰減曲線。多步預(yù)測(cè)最常見(jiàn)的現(xiàn)象是“第一步指標(biāo)好、遠(yuǎn)期指標(biāo)崩”這不是模型壞了而是預(yù)測(cè)誤差在迭代過(guò)程中被一步步傳導(dǎo)放大越遠(yuǎn)的步數(shù)據(jù)含量越低。那年我把多步改成 5 步發(fā)現(xiàn)第 7 步的 MAPE 比第 1 步漲了三倍排查了半天模型代碼沒(méi)有任何問(wèn)題最后意識(shí)到是輸入序列的周期長(zhǎng)度和預(yù)測(cè)步數(shù)不匹配——用 7 天周期去預(yù)測(cè) 5 天后的值本身就不太穩(wěn)。從那以后我每次改動(dòng)步數(shù)都會(huì)強(qiáng)制先記錄 single-step baseline再逐級(jí)加大 n_steps對(duì)比每步的指標(biāo)衰減曲線再?zèng)Q定用哪個(gè)步數(shù)配置上線。希望這一套拆解思路幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色色婷婷丁香五月天| 亚洲最大成人综合网720P| www。88热在线视频免费观看| 久久久宗合视频88| 九九成人视频| 国产激情久久| 九色91国产| 激情婷婷五月黑人| 十月丁香婷婷| 91Chinese在线| 99爱在线| 色五月婷婷777| 99精品热| 91欧美| 婷婷丁香色无五月| 婷婷中文字暮| 婷婷射婷婷舔| 丁香五月,激情五月,深爱五月| 亚洲操逼网| 久久五月情| 色狠狠色噜噜AV天堂五区| 大香蕉婷婷五月| 天天干天天叉| 99人人操人人摸| 婷婷激情伍月网| 久re热视频| 91九色PORNY肉丝在线| 色色色综合| 激情久久肏屄视频| 激情久久综合| 开心五月激情网| 日日操日日撸| 婷婷六月综合基地| xx久久| 26uuu亚洲欧美| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 色丁香五月| 色色五月婷婷狠狠| 亚洲狠9| 亚洲精品久久久无码| 激情综合网五月激情| 九九在线视频| 99啪啪| 天天色图| 亚洲综合另类| 国产熟妇的荡欲午夜视频| 五月成人网站| 欧美大片| 人五月天婷婷喷水| 色婷婷AⅤ| 男人的天堂av俄罗斯热| 婷婷丁香五月色偷偷| 9 9 9色色| 久久香蕉婷婷| 婷婷四色五月| 情婷婷五月天在线| 五月天五月天激情网| 日本在线噜噜| 十一月婷婷激情四射| 亚洲色爱综合| 香蕉综合在线| 婷婷在线播放| 色色热日| 激情久久五月天| www.婷婷六月天| 香蕉国产2013| 五月丁香婷婷激情在线| 婷婷五月18永久免费视频| 婷婷丁香色五月久久88| 欧美色97| 久久久激情| 国产99久久久国产精品免费看 | 99爽视频| 人人舔人人色人人高潮| 婷婷六月啪啪| 五月丁香六月天| 成人日韩欧美| 99视频91| 亚洲九九九九| 亚卅毛片| 亚洲精品又粗又大又爽A片 | 性爱人人网| 婷婷综合色色| A网在线欧洲| 色五月婷婷五月| 婷婷激情九月| 中文字幕操比影片| 99视频色在线观看| 99精品大片| 天天日日夜夜| 国产毛片精品一区二区色欲黄A片| 亚洲精品第一国产综合亚AV| 五月天啪啪| 婷婷四色五月| 久久久com| 激情五月综合网| 激情婷婷在线| 激情综合啪啪啪| 丁香五月丁香伊人| 婷婷久久五月| 激情五月婷婷色色| 日日操,日日爽| AV性爱网| 五月天久久婷| 性爱先锋AV| 亚洲一区二区无码蜜乳av| 五月天播播中文字幕| 91九色首页| 成人.在线日韩| 日本97久久久精品| 色色色色色色综合| 中字幕视频在线永久在线观看免费| 99干免费视频| 丁香六月中文| 99热精品在线观看| 久色88| 婷婷AV丁香| 色噜噜五月天| JlZZJlZZ8JlZZ亚洲熟女| 玖玖在线视| 五月丁香久久久| 99热这里只有精品1025| 久久一级免费黄色片| 激情综合五月| 91久久九久久九久久九久久九久久| 色情婷婷| 这里只有精品视频视频在线观看| 久久婷婷网| www久久久久久久久久久| 色婷婷免费观看| 六月婷婷激情小说网| 婷婷久久久| 在线综合啪| 丁香六月天AV| 综合色99| 天天看片日日夜夜| 激情影院丁香五月| 婷婷五月综合激情| 91欧美日韩综合| 久久九九99.www| 激情五月激情综合网一级丸片| 婷婷五月天伊人| 天堂成人A片永久免费网站| 色婷婷免费视频| 五月婷婷综合精品| 五月久久丁香| 婷婷五月天亚洲综合| 五月丁香六月激情综合| 婷婷放心五日爱| 丁香五月欧美午夜视频| 久9热视频| 五月丁香婷婷激激激综合网色播| .青娱乐天天操B| 激情综合网丁香| 久热黄色| AV九九| 九九99九九99| 超碰大香蕉网| 精品久久人妻| 婷婷五月永远18免费久久久| XX色综合| 久久婷婷五月天激情唯美| 99久久婷婷国产综合精品草原| 超碰成人电影| 二色av| 丁香五月婷婷狠狠色| 中文字幕在线免费| 九九熱最新視頻| 97碰在线视频| 九九热九九热精品| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 色爱99| 色综合激情| 激情综合丁香| 99久久婷婷五月综合| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 色综合狠狠色| 久色资源| 国产高潮A片羞羞视频涩涩| 另类专区在线观看| 婷婷丁香六月天| 婷婷丁香六月影视| 九月婷婷人人操人人舔人人爱| 五月天色婷婷基地| 久婷婷色| 激情小说五月天| 婷婷五月天激情四射五月天激情| 蜜臀AV在线观看| 可以直接看的av网站| 综合av在线| WWW.桔色成人.COM| 国产AV不卡福利| 五月婷婷日| 超碰二区| 密着浓厚中出乚交尾GvG935| 日韩综合久久| 九九热最新| 熟女五月天久久综合| 97超碰,人人舔,人人操,人人摸| 丁香五月天激情AV| 婷婷射综合| 91九色精品熟女内射| 人妻狠狠操| 国产乱妇无乱码大黄AA片| 开心五月婷婷在线视频免费观看| 综合久久综合五月天婷婷| 俺去也综合| 色五月婷婷操逼| 欧美日韩成人在线| 五月婷婷啪啪网| 婷婷婷久久| 97热精品| 天天综合五月| 九九人人自拍| 欧美69久成人做爰视频| 久久92| 99 频99热国里只有精品| 婷婷中文综合网| 丁香五月天社区| 六月丁香啪啪| 色婷婷AV在线观看| 亚洲激情AV| 天天日天天干天天插天天射| 久久免费精品小视频| 无码激情AAAAA片-区区| 久99久热| 99热这里只有精品23| 婷婷激情四射五月天| 超碰在线91| 亚洲va欧美va国产综合久久久| 九九色之九九色之88| 五月天狠狠| 亚洲激情精品| wwccc久久久| 亚洲在线视频321| 亭亭五月丁香五月天激情| www狠狠| 婷婷性爱影院| 色五月,婷婷大香蕉| 五月婷婷激情网| 色婷婷激情五月天| 色婷婷五月天激情综合| 婷婷五月天综合激情| 国av网| 久久99视频| 凹凸操Av| 五月丁婷婷| 五月丁香啪啪啪综合网| 婷婷色五月天色色| 六月婷婷色色网| 五月天婷婷在线观看| 五月好婷婷| 开心 五月 综合| 99久久精彩视频| 噼里啪啦完整版中文在线观看| 九色啦蜜臀| 五月婷婷co.m| 思思久ren热| 偷拍91九色| 热久久999| 99热一区| AV九九| 夜夜躁爽日日| 五月宗合激情网| 天天色伊人| 五月婷婷影| 久久激情四射| 成人AV播放| 深爱婷婷丁香五月激情| 成年人99热| 色婷婷五月影视| 超碰猛烈的性猛交| 99热网址| 九月影院義母在线播放| 超碰在线视屏| 久热综合| 色色操| www.henhenl| 色情五月天导航| 超碰亚洲欧美| 91黄色五月天视频| 日韩国产AV播放| 国产真实乱了老女人视频| 激情丁香五月婷婷| 五月天丁香网| 九九无码| 色色欧美色色色| 丁香五月社区| 米奇影视五月天| 青草久久五月婷伊人| 99色在线观看免费| 思思久久精品视频| 深爱激情五月天婷婷网| 五月丁香六月婷婷综合网缴情| 麻豆123区| 天天综合干| 色播丁香五月婷婷操:屄| 五月色综合| 亚洲成人网站在线观看| 欧洲精品欧洲情| 免费AV黄在线播放| 超碰狠狠色| 婷婷色五月色妇| 久久在线人妻| 五月成人网站| 色色色色色色色色五月先| 91丨九色丨丰满人妖| 五月天婷婷操逼视频| 婷婷五月天亚洲五码| 久热免费视频| 97热这里只有精品| 五月婷婷操操| 亚洲色图81p| xxxx久| 1024国产| 日本色婷婷综合| 丁香激情六月天婷婷| 日韩久久这里只有精品| 久婷五月| 99精品热| 亚洲午夜国产成人电影VA国产欧…| 国产欧美大香蕉一区| 婷婷五月天你懂的| 888精品福利地址| 日本无va视频| 深爱五月婷婷| 五月丁香综合啪啪| 九九伦子片| 神马欧美精| 丁香五月色情| 色婷婷色婷婷五月| www.色婷婷| 免费看成人AA片无码视频吃奶| 丁香六月成人| 婷婷五月丁香久久| 亚洲色域网| 激情VA视频| 婷婷五月天激情综合| 久草五月| 五月婷婷日| 久久亚洲A| 婷婷四色成人综合色视| 在线中文av| 少妇高潮呻吟A片免费看软件| 黄色aa观看aaguochan| 九九综合九九| 五月婷婷免费看| 成人做爰高潮A片免费视频| 九九视频在线免费视频| 日本丰满久久| 国产精品久久欧美久久一区| 激情丁香五月婷婷| 加勒比日本一区二区三区| 色五月大香蕉| 五月丁香偷拍| 丁香六月丁香婷婷激情| 99色综合| 天天肏天天肏天天肏| 青青青在线视频国产| 久久全色| 97色色色色色色色色色色色色色| 琪琪色五月天| 日本在线观看aaa 99| 五月婷婷六月丁香免费| 婷婷五月精品中文字幕| 亚洲AV成人一区二区在线观看| 五月天色色婷婷| 五月综合激情综合久| 日韩人妻在线观看| 国产亚洲av片| 五月婷婷之激情五月| 久久五月天视频| 婷婷婷婷婷婷婷婷婷婷丁香| 激情综合五月激情XXXX| 激情四射网| 在线中文字幕免费视频| 婷婷中文字幕版| 天天操无码| 亚洲黄色操逼| A色色| 天天搞天天爽| 丁香婷婷五月激情| 色色色99| 五月深情久久| 五月色网| 玖玖婷婷色欲| 激情综合网,婷婷五月天| 99视频自拍| 一区视频网站| 91丨人妻丨国产丨丝袜| 中文字幕婷婷五月天在线观看| 五月天激情小说网| 五月色综合| 少妇性按摩无码中文A片| WW婷婷五月天com| 免费国产VA国产免费| 五月天婷婷色色网| 亚洲婷婷激情综合激情999精品| 色综合综合网| 精品综合网在线| 五月天婷婷青青| 五月天伊人| 另类图片色五月| 五月丁香啪| 九九综合88| 激情开心五月亚洲| 天天色2017| 26uuu国产精品| 97色吧| 99热在线里有精品| 欧美性猛交 XXXX 乱大交| 丁香五月激情宗合| 久久XX| 天天综合色丁香| 人妻少妇色综合| 性韩日色婷婷五月天激情啪啪XXX| h亚洲| www.五月天婷婷| 婷婷五月天天天| 久久99看免费| 欧美婷婷丁香五月社区| 色噜噜狠狠色综合无码久久欧美| 丁香五月欧美| 亚洲第一色色色色| 波多野结衣不卡AV| 99视频在线精品| 97碰成超视频免费视频| 婷婷天堂综合| AV大香蕉| 五月婷六月天| 青青草婷婷久久| 久久婷婷五月综合色丁香| 欧美综合五月丁香六月婷| 亚洲午夜av| 天天激情5月天亚洲| 亚洲另类电影| 这里只精品热在线18| 香蕉久久五月| 婷婷九月亚洲| 色五月婷婷激情综合网| 国产精品91抖高| 色噜噜婷婷| 久久全色| 五月天色社区| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 五月婷婷开心综合| 久久3p| 激情五月婷婷综合| 日批在线看| 综合久久综合五月天婷婷| h在线看免费版在线看| 亚洲不卡| 久久精品无码一区| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 五月天色婷婷视频| 久久图色4| 亚洲黄色影视| 激情五月丁香激情综合网 | www开心激情网| 久久一级免费黄色片| 91久久1118| 丁香开心深爱| 9999热在线免费观看| 婷婷的久久网站| \\五月天婷婷激情| 伊人婷婷大香蕉| AA片在线观看视频在线播放| 久久精品99久久久久久| 思思热再线视频| 欧美色九| 婷婷亚洲在线| 特级西西4444www无码| 5月婷婷激情6月| 五月久久婷婷天堂视频| 操操操B| 亚洲无码11| 天天色天天爱天天舔| 91久久九色| 五月天大香蕉| 日本爆乳片手机在线播放| site:901-07.com| 9l视频自拍九色9l黑人| 成人在线99| 日日爽日日| 玖玖99福利| 亚洲婷婷激情综合激情999精品| 色综合久久久久| 天天狠狠夜夜狠狠2023| 欧美黑人巨大猛烈cuckold| 久久婷婷丁香视频网| 亚洲色婷婷| 久久丁香五月| 另类五月激情| 亚洲欧洲自拍图片专区五月天| 99资源在线视频| 五月天丁香久久综合| 五月大香蕉| 色五月综合在线| 色播五月丁香婷婷| 久久机热这里只有精品免费视频| 六月婷婷色色色| 五月天激情色色| 99热这里只有精品3| 丁香五月婷婷AV在线| 丁香五月丁香伊人| 丁香狠狠| 中文字幕+乱码+中文字幕在线观看| 91人人澡人人爽人人看| 涩五月丝袜婷婷| www.色多多婷| 老妇六区| 夜精品无码A片一区二区蜜桃| 中文字幕在线免费| 看全色黄大色大片| 五月丁香影院| 天天干,夜夜爽| 久久色五月天激情小说| 色久激情在线| www五月天激情com| 爱婷婷久久视频| 丁香五月婷婷六月婷| 婷婷丁香社区网| 超碰色综合| 一操久久| 色播五月天婷婷老师| 手机在线视频观看9| 婷婷丁香18| 成人做爰A片免费看视频| 欧美日韩成人在线| 亚洲成人五月天| 碰碰91| 色久九| 久久hd| 天天综合 99久久婷婷| 婷婷色五月在线视频| 色狠久| 五月开行婷婷色五月| 天天肏天天爽夜夜爽| 五月婷婷精品视频| 婷婷六月色播| 可以看的AV| 深爱五月婷婷| 在线观看中文字幕亚洲| 天天看A片| 五月丁香婷婷基地| 99在线精品视频| 亚洲欧洲中文日韩久久AV乱码| 国产成人一区二区三区在线观看| 荫道BBWBBB高潮潮喷| 精品人妻午夜一区二区三区四区 | 久久综合五月天| 99九九热在线观看| 国产精品久久99| 五月激情四射婷婷丁香| 婷婷深爱五月亚洲综合| 婷婷五月天激情综合网| 婷婷午夜天| 国产精品爽爽久久久久久| 亚洲激情综| 久9视频| 久99久视频| 婷婷成人基地| 狠狠色丁香久久综合婷婷亚洲成人福利| 色色色色色日韩午夜激情| 丁香五月综合久久| 99精品久久| 狠狠婷婷爱| 五月花丁香婷婷| 丁香久月| 99热网站| 五月天大香蕉视频| 亚洲美女高潮久久久久久69| 六月婷婷狠狠| 99操逼| 婷婷的99视频网站| 国产SUV精品一区二区883| 91五月花丁香| 久久婷婷热| 激情丰满熟妇五月| 日本3级片一区2区| 高清一区二区三区日本久| 五月伊人91| 超碰人人99| 日木狠狠干| 激情5月天天天| 97色在线观看视频| 成人亚洲精品久久久久| 九九综合网色全集| 六月香五月婷| 九九99热| 青青草伊人婷婷| 99资源在线视频| 五月天开心色情网| 久久久ww| 开心色色五月天综合| 久草a片| 五月人人丁香婷婷五月人人丁香| 久热这里只有| 久久99国产综合精品免费 | 99热18| 日本123区日韩欧美不卡在线看| 精品五月视频婷婷在线观看| 五月天另类小说| 色五月婷婷网| www,超碰| 婷婷五月天激情AV影院| 91丨九色丨大屁股| 去色色五月天| 99色色最新视频| 日韩 中文 欧美| 懂色av粉嫩av蜜臀av| www.黄色片-久久成人国产精品在线播放-999AV| 青草久久五月婷伊人| 久久婷.com| 久久99久久99www| 26uuu淫色| 七七九色| 999九九九久久久99HD| 91操色| 色玖玖爱| 久久九九re热| 99成人免费视频| 91九九| 另类图片色五月| 婷婷免费视频| 色九四色| 五月的婷婷六月丁香| 操一区| enecarbon-materials.com污K127封锁请涟系@wip1688 | 激情五月六月婷婷| 丁香婷婷色九月| 俺也去在线视频| 熟女人妻一区二区三区免费看| 激情五月天色网站| 亚洲成人AV在线播放| 丁香五月很很肏| 色婷婷色五月综合| 一本色道久久88综合日韩精品| 色婷婷基地| 综合99视频| 9 9热这里有精品| 激情小说之五月| 99在线精品免费视频| wWwCom夜操wwW| 大香蕉久艹| 丁香 久久| 夜夜骑天天操| 天天艹| 激情五月天激情综合网| 日韩五月婷婷久久| 五月成人综合| 人人操人| 亚洲日韩欧美综合VA| 九九色婷| 5月婷婷五月天| 99热亚洲只有色| 久久精品66| 欧美色激情四射| 婷婷日日天天| 婷婷在线五月综合| 亚洲成人va| 男人的天堂在线婷婷| 亚洲综合婷婷六月丁香五月| H亚洲| 五月天色社区| CAoub青青超碰| 99热在线播放| 夜夜大香蕉婷婷丁香| 五月丁香花视频| 久草 天堂| 99久久9| 激情深爱婷婷网| 香蕉AV福利精品导航| 六月丁香深深爱| 激情5月婷婷| 性生活久久朋友人妻| 丁香婷婷综合喷| 欧美黄色韩日网| 五月99久久| 色情五月丁香| 免费精品66| 九九精品免费视频99| 婷婷丁香五月综合激情视频| 久久色9| 色五月六月| 玖玖99福利| 五月婷婷久草| 婷婷五月天视频免费在线观看| 天天综合五月| 婷婷亚洲综合| 九九机热| 丁香九月综合激情| 伊人婷婷青青cao| 无码 av电影| 婷婷婷婷色| 玖玖爱综合网| 超碰狠狠干99| 婷婷五月综合啪| 国产片天天爽夜夜爽| 免费无码毛片一区二区A片| 亚洲色情在线| www.99色| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 婷婷五月天Av| 1024亚洲| 大香蕉啪啪啪| 五月婷婷在线视频| www久久五月com| 字母不卡码人逼| 久热9| 狠狠干 狠狠操| 怡春院久操| 激情婷婷五月天| 色五月激情| 思思热国产视频| 蒲京久久无码视频| 婷婷色五月天在线观看| 天天五月情| 免费黄色视频网址| 九九色网| 超碰成人免费| 九九热99熟女| 综合五月激情| 人妻性爱av网站| 墨西哥毛片内射精| 婷婷综合五月| 超碰二区| 激情五月综合网最新 | 久热视频97AV在线观看| 日本婷婷五月天| 深爱五月激情| 这里只有精品在线播放| 久久婷婷色| 婷婷五月娱乐在线| 人妻丰满精品一区二区A片| www.99日本| 婷婷五月天亚洲丁香| 99热欧美在线观看| 日本丁香久在线| 婷婷狠狠干| 丁香五月天婷婷激情| 99这里热| 99热这里只有精品国产首页| 五月天a婷婷伊人| 久激情网| 夜夜躁婷婷AV| 国产亚洲99久久精品熟女| 五月香婷婷| 五月婷啪| 天天噜| 九九亚洲视频| 久久九九99亚洲国产久精综合| 91婷婷丁香五月天免费视频网站| 无码髙清| 激情淫乱男女| 免费91久久精品| 欧美大肥婆大肥BBBBB| 久色网| 天堂网啪啪| 亚亚州久久高潮| 99久久er| 99re热视频| 婷婷五月丁香狠狠| 国产1区2区3区在线观| 丁香婷婷六月天| 九九99香蕉在线视频播放| 伊人影院久久网| 麻豆忘忧草午夜| 九月婷婷在线视频| 久久艹 五月天| A片试看50分钟做受视频| 久久激情视频| 9久久精品| 99日韩| 婷婷五月天成人| 婷婷五月激情丁香| 丁香五月六月综合激情| www.99色| 99热在线只有精品| 99免费在线| 婷婷五月天伊人网| 天天干天天操天天拍| 五月婷婷深深爱爱| 色五月婷婷天天干| 日本婷婷丁香五月| 婷婷五月综合网| 色婷婷综合久久久久| 亚洲精品影视| 亚洲欧美成人在线| 亚洲无码成人网| 久久五月天合网| 性爱在线播放av| 天天噜天天爱| 欧美亚洲操逼| 99思思| 99精品网| 五月婷婷狠狠干| 激情丁香婷婷| 99熟女| 大香蕉久久视频久久视频| 婷婷伊人五月天| 色五月天 丁香| 丁香五月婷婷激情完整版| 98永久精品| 日本不卡中文字幕| 色丁香五月婷婷婷| 色婷婷影音| 欧美成人网99网| 五月天婷婷爱| 五月丁香五月综合欧美| 成人中文网| 日韩无码亚欧无码| 五月天天堂久久| 五月丁香爱婷婷深深| 另类小说五月天综合| 日本va欧美va欧美| 五月婷视频在线| 99久久6| 极品人妻VIDEOSSS人妻| 久热AⅤ| 大香蕉五月丁香| 五月婷婷色男女| 99热中文字幕久久| 色婷婷免费观看| 99热官网| 欧美色色色色色色色色| 九九久久五月天| 丁香五月天婷婷久久| 天天色天天爱天天爱天天爱y| 99riAV国产精品视频| 超碰人人色| 婷婷狠狠香蕉综合| 五月丁香色色网| 免费观看的AV| 综激情网| 99国产在线精品视频| 五月天久久激情| 色五月丁香六月资源站| 乱色色色| 久久综合人妻| www.99操.com| 99久久免费性爱视频`| WWW.开心五月天.COM| 在线观看免费狠狠色丁香香综合| 久久99精品久久只有精品| 91麻豆国产三级精品福利在线观看 | 婷婷中合| 亚洲国产成人在线| 亚洲另类久久| 色五月激情网| 亚洲男女激情| 激情五月婷| 五月丁香日逼| 99er国产| 九九干视频| 综合色五月亭亭| 91碰视频| 欧美婷婷精品激情| 国产精品久久久久久久久久| 国内久久久精品99| 亚洲 在线 性爱| 亚洲人妻AV| 超碰京东热av男人的天堂| 5月色婷婷| 亚洲碰碰碰| 8050一级网| 韩日在线熟女| www.色婷婷.com| 不卡成人免费| 成人羞羞啪啪 全 视频| 婷婷五月香蕉| 亚洲国产另类av| 婷婷 激情 五月| 久婷婷| 欧洲区自拍| 精品综合五月| 97干在线| 五月婷婷欧美| 五月天婷婷久久| 丰滿爆乳一区二区三区| 亚洲激情99| www.婷婷| 色婷婷激情| 九九热精品| 婷婷色综合网日韩国产| 激情黄色五月天| 人人操AV| 综合啪啪| 日韩性视频| 噜噜狠狠色综合久| 久久婷婷综合五月趴| 风流少妇A片一区二区蜜桃| 99er这里只有精品| 中文字幕成人| 色色丁香婷婷综合| 日亚二欧美| 丁香激情五月少妇| 噜噜色婷婷| WWW.五月com| 综合图区激情| 欧美日韩成卜| 99er在线观看| 午夜少妇在线观看视频| 亚洲性图一区二区三区| 婷婷五月天小说| 五月丁香网视频| 超碰在线国产| 丝袜人妻| 热九九精品| 99热国产精品| 六月婷婷综合| 久99热| 91操碰| 丁香五月婷婷激情小说| 天天噜噜| 四川BBB搡BBB爽爽视频| 79精品在线视频| 欧洲色| 97色伦另类图片小说视频 | 毛片新网地| 天天久综合网永久入口18| 欧美性丁香色色五月天| 婷婷丁香18| 丁香五月婷婷激情中文| 日韩久操婷婷| 激情深爱五月天| 国产性爱一级| 大香蕉婷婷五月天| 好好干Av| 欧美搡BBBBB摔BBBBB| 天天综合色综合| 超碰人人在线观看| 这里只有精品1| 亚洲免费av在线| 九九九色综合| 婷婷激情丁香五月天综合| 99久久综合| 五月婷婷欧洲| 狠狠色婷婷色| 日韩色色网| 婷婷丁香五月天中文字幕| 99熟女啪啪视频| 99热网站| 卡视频1区2区| 色婷婷五月天天天天天| 婷婷五月天婷婷| 九月激情网| 色婷婷综合视频| 丁香五月婷婷色综合基地| 亚洲色优| 五月丁香六月| 婷婷久久色| 六月丁香婷婷拍拍| 婷婷五月天激情免费在线观看| 久久久999精品| seav天堂| 大香蕉精品视频| 久久A V无码视频| 狠狠综合网| 在线综合91| 都市激情蜜桃婷婷五月天| 激情综合五月婷婷六月丁香| 五月激情视频| 五月婷婷综合社区| 色综合开心五月深爱五月| AV色婷婷| 超碰熟女农村在线69| 伊人久久艹| 五月丁香六月婷婷在线| 亚洲综合激情五月久久| 先锋资源婷婷| 天天夜天天色天天| 天天日夜夜爽| 97九色视频| 天天爽天天草| 国产精品第一国产精品| 91玖玖| 思思热高清在线观看| 夜夜穞天天穞狠狠穞AV美女按摩| 国产精品日日躁夜夜躁| 丁香 婷婷 亚洲 熟女| 五月激情综合网| 色婷| 五月婷视频在线| 嫩草免费视频| 五月丁香婷婷激情久久| 五月天色丁香| www.色色五月天.com| www.五月.com| 精品婷婷丁香五| www.伊人天堂偷偷婷婷| 99视频只有精品| 色V狠狠的干| 国产午夜精品一区二区| 99热黄| 99精品久久久久久久婷婷久久| 日本欧美成人片AAAA| 男人視頻站| 天天色综网| 色婷婷亚洲六月婷婷中文字幕| 安息电影在线观看完整版| 色综合视频| 婷婷五月色播天| 久热这里只有精品6| 高清无码入口| 啪啪五月天啪啪| 久久亚洲婷婷| 欧美WW在线网| 黄色片avv| 五月天偷拍| 五月婷婷六月丁香综合| 色色色.COM| 久久6这里只有精品| 久久综合丁香| 91精品国产综合久久蜜芽解析速度| 少妇大叫太大太粗太爽了A片| 亚洲综合视频网| 天天操天天操天天操天天操天天操天天操 | 99久久婷婷国产综合精品青桔| 综合爱久久| 五月婷婷影视| 大学生高潮无套内谢视频| 人妻22p| 99免费在线视频| 久久婷婷五月综合啪| 九九这里只这里只有精品| 嫩模aV在线| 久久玖玖综合| 欧美碰碰碰| 成人草榴视频| 少妇高潮呻吟A片免费看软件| 97碰在线视频| 色色色婷婷五月| 狠狠狠狠狠干| 99热免费看| 丁香五月婷婷激情中文| 白天AV月月| 九九视频精品这里只有| 久久无码激情视频| 91丨九色丨东北熟女| 99re在线精品视频| 任你擦免费视频| 91热网址| 97日在线视频| 大香蕉大香蕉在线影院| 我想看国产大学生口爆吞精的视频| 激情五月天婷婷播播久久综合91| 天天草天天舔| 婷婷成人在线| 色色色视频免费无码 | 99热18| www.色婷婷| 色五月激情网| 五月色综合| 99色在线视频| 亚洲乱码精品久久久久..| 国产激情久久久| 色婷婷99| 少妇性按摩无码中文A片| 亚洲精品一区无码A片| 国产一区二区三区影院| 国产毛片精品一区二区色欲黄A片 欧美交换配乱吟粗大25P | 婷婷五月天成人| 伊人玖玖婷婷| 日本啪啪天堂| 91九色精品熟女内射| 99精品视频网站| 丁香五月激情网| 国产亚洲精品久久久久久郑州| 欧美日韩欧美| 玖玖色综合色| 99热99日天天干| 久久9RE热视频精品98| 色婷婷色九月| 第四色激情网| 九九热这里精品| 日本熟妇乱妇熟色A片蜜桃| 五月丁香六月花| 婷婷五月成人| 涩玖玖免费视频| 久操热线| 五月婷婷草| 五月天成人在线| 五月大香蕉| 丁香五月婷婷综合91| 婷婷综合视频| 久久婷婷网| 五月天自拍视频| 26uuu91| 人人摸人人| 色婷婷久久| 精品一二三区久久AAA片| 日韩av在线播放综合网| 大香蕉 伊人夜| 色色色色色热| 伊人丁香花综合影院| 国产欧洲欧洲精品久久| 色色色五月婷婷| 国产做爰视频免费播放| www91色网站| 色狠狠色综合久久久绯色AⅤ影视| 国产1区2区3区在线观| 亚洲久久婷婷| www.9797国产| 五月天色图| 丁J香六月首页| 亚洲色综合| 欧美激情2025| 五月婷婷中文字幕| 国产AV一区二区三区最新精品| 亚洲激情六月丁香| 超碰91在线| 综合图区激情| 天堂A∨在线| 色综啪啪网| 亚韩在线视频| 亚洲九九99精品视频在线播放| 五月婷婷色| 日产精品久久久久久久蜜臀| 一起操 91N.com| 无码地址| 九九無妻| 99欧美| 久久久久久久久久久44| 午夜理论片最新午夜理论剧 | 国产性av| 色综合久久天天综合网| 亚洲激情色色| 99人妻碰碰碰久久久久禁片| 天堂久久丁香| 91天天操天天干天天射| 亚洲综合婷婷六月丁香五月| 99婷婷| 婷婷五月天性爱视频| 六月色日韩| 久草热在线视频| 少妇人妻人伦A片| 久久 婷婷 五月天| 五月之婷婷| 丁香六月婷婷综合| 99久久久久久久| 少妇人妻凹凸视频| 第五色婷婷| 综合亚洲AV| 99精品无码网站| 久草热在线视频| 97久久久久| 在线超碰免费| 天天看片日日夜夜| 日本激情91| 韩国97天堂| 五月天激情网址| 久久性爱视频| 婷婷久久在线| 五月丁香六月情婷婷久久| 中文字幕无码人妻少妇免费视频| 被强行糟蹋的女人A片| 亚洲在线综合| 久久99精品久久只有精品| 精品成人无码A片观看香草视频| 久久久www| 婷婷激情综合| 五月婷无码| 五月天开心婷婷久久| 亚洲激情网| 日韩黄色电影| www99热| 五月天婷婷综合色| 天天操夜夜夜夜爽| 婷婷久草| 91视频一起草| 99爱精品| 婷香狠狠爱五月| 丁香五月六月激情久久| 蜜乳av一级av| 伊人成人宗合网| 久久精品色| 色婷婷综合久久久久| 精品人妻伦一二三区久| 综合久久十| AV天堂婷婷五月天| 亚洲精品又粗又大又爽A片| 激情五月黄色小说| 亚洲婷婷免费| 五月天激情图片| 久久大香蕉同僚| 99riAv1国产在线观看| 色综合狠狠色| 另类激情综合| 97热九九| 亚洲人成色A777777在线观看| 九九精品少妇| 五月婷婷色激情| 99福利视频导航| 五月丁香激情六月| 99热10在线高清播放| 天天干天天爽天天爽| 97luluse| 五月丁香六月婷婷综合网缴情| 牛牛澡牛牛爽| 亚州性爱99| 97操碰在线97| 野战毛片三一3| 久色88| 日本美女五月天| 久久五月天视频| 九九色婷婷| 深爱婷婷基地| 国产精产国品一二三在观看| 五月婷婷久久综合| 69凹凸成人综合网| 69色色视频| www亚洲无码| 99热在线观看免费精品| 天堂成人久久| 亚洲久热| 九九视频这里是精品五月| 亚洲国产精品二二三三区 | 国产超碰在线| 色情五月丁香婷婷网| 夜精品无码A片一区二区蜜桃| 伍月激情天| 91夫妻网站九色| 五月丁香六月情| 人伦30P| 色色色网站| 久久伊人日日夜夜| 伊人大香蕉毛片| 在线观看亚洲AV| 97操操操| 欧美在线| 成年人看Va免费视频| 五月99久久| 婷婷丁香人妻天天爽| 伦99热| 亚洲无码激情| 激情五月天电影| 午夜爱爱爱成人| 精品动漫 无码av| 五月天激情四射| 天天做天天爰天天爽天天无遮挡| 999热这里只有美国精品| 天天爽天天操| 深爱婷婷基地| 99欧美精品99日本精品| 五月丁香综合影院| 大香蕉综合网| 狠狠色综合五月人人| 日日日日日| 99亚洲综合| 激情五月九九九| 亚洲免费婷婷| 久久久精久人妻| 色五月天丁香婷婷| 精品国产乱码久久久久夜深人妻 | 性爱技巧五月| 五月天开心色情网| 五五月五月| 超碰在线综合| 熟妇人妻中文字幕无码老熟妇| 五月婷六月| 丁香六月色香蕉视频| 婷色综合| 色综合伊人网| 亚洲视频伍月婷婷| 99热r|