欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

LSTM多變量預(yù)測(cè)成績(jī):Python實(shí)現(xiàn)與常見坑

LSTM多變量預(yù)測(cè)成績(jī):Python實(shí)現(xiàn)與常見坑 簡(jiǎn)介面向機(jī)器學(xué)習(xí)初學(xué)者的LSTM序列預(yù)測(cè)實(shí)戰(zhàn)資源聚焦多變量預(yù)測(cè)與成績(jī)預(yù)測(cè)等應(yīng)用場(chǎng)景系統(tǒng)覆蓋時(shí)間序列數(shù)據(jù)預(yù)處理、監(jiān)督轉(zhuǎn)換、模型定義、訓(xùn)練與評(píng)估的完整流程。壓縮包共33個(gè)文件由19個(gè)CSV數(shù)據(jù)集和14個(gè)Python腳本組成腳本針對(duì)單變量、多變量、多步預(yù)測(cè)分別給出可運(yùn)行實(shí)現(xiàn)CSV數(shù)據(jù)則配套各類實(shí)驗(yàn)場(chǎng)景方便對(duì)照學(xué)習(xí)與二次改造。資源包僅3.88MB輕量易下載已有3419人學(xué)習(xí)使用。內(nèi)容由淺入深從基礎(chǔ)的時(shí)間序列轉(zhuǎn)監(jiān)督學(xué)習(xí)數(shù)據(jù)開始逐步實(shí)現(xiàn)觀測(cè)值縮放、穩(wěn)定性處理、LSTM模型搭建與多步預(yù)測(cè)多變量部分重點(diǎn)演示如何利用多個(gè)輸入特征共同預(yù)測(cè)目標(biāo)適合希望通過Python快速掌握LSTM時(shí)序建模的讀者。借助這套代碼可以清晰理解滑窗構(gòu)造樣本、數(shù)據(jù)穩(wěn)定化、多步預(yù)測(cè)等關(guān)鍵操作并在自帶數(shù)據(jù)集上完成訓(xùn)練、預(yù)測(cè)與效果驗(yàn)證。1. LSTM多變量預(yù)測(cè)成績(jī)?yōu)槭裁催@個(gè)方向值得花一個(gè)周末復(fù)現(xiàn)想把一個(gè)學(xué)生的歷次考試記錄變成下一場(chǎng)考試的分?jǐn)?shù)預(yù)測(cè)LSTM多變量預(yù)測(cè)是目前在 Python 生態(tài)里最容易落地、也最容易翻車的方案。直接丟給線性回歸通常只能得到一條平均趨勢(shì)線碰上考前突擊和成績(jī)起伏就徹底失效。LSTM 要解決的是這類序列問題把成績(jī)、出勤率、作業(yè)完成率等多個(gè)特征按時(shí)間順序喂進(jìn)循環(huán)網(wǎng)絡(luò)讓模型自己記住低谷之后常有反彈這類模式。這篇筆記把一個(gè)可復(fù)現(xiàn)的 Python 方案完整講清楚成績(jī)數(shù)據(jù)怎么切片、LSTM 模型代碼怎么寫、訓(xùn)練時(shí)哪些坑會(huì)翻車以及預(yù)測(cè)結(jié)果到底能不能用到真實(shí)決策里。適合拿小數(shù)據(jù)集練手、想在一兩天內(nèi)跑通整個(gè)時(shí)間序列預(yù)測(cè)流程的從業(yè)者和學(xué)習(xí)者。2. 從成績(jī)數(shù)據(jù)到LSTM輸入滑窗、歸一化與數(shù)據(jù)集劃分2.1 成績(jī)預(yù)測(cè)的本質(zhì)是序列問題不是回歸問題常見做法是把最近一次成績(jī)出勤率作業(yè)完成率拼成一行扁平特征去做回歸。這種做法丟失了最關(guān)鍵的信息時(shí)間順序。連續(xù)兩周下滑之后第三周反彈的概率和連續(xù)五周平穩(wěn)后的概率完全不同但扁平特征向量里看不出這個(gè)順序。LSTM 之所以適合成績(jī)預(yù)測(cè)是因?yàn)樗诿總€(gè)時(shí)間步接收一組特征同時(shí)維護(hù)一個(gè)隱藏狀態(tài)把前幾步的信息帶到當(dāng)前步天然適合這類有前后關(guān)聯(lián)的數(shù)據(jù)。以預(yù)測(cè)下次綜合測(cè)驗(yàn)成績(jī)?yōu)槔龁螛颖据斎胄螤钍?(seq_len, features)。seq_len 取 5代表過去 5 周features 取 5代表每周的數(shù)學(xué)成績(jī)、英語(yǔ)成績(jī)、出勤率、作業(yè)完成率、自習(xí)時(shí)長(zhǎng)。輸出是下一周綜合測(cè)驗(yàn)的分?jǐn)?shù)。這就是標(biāo)準(zhǔn)的多變量時(shí)間序列預(yù)測(cè)多個(gè)歷史變量一個(gè)未來目標(biāo)。和傳統(tǒng)時(shí)間序列模型對(duì)比一下更能看清選型邊界。ARIMA 這類模型要求數(shù)據(jù)平穩(wěn)、需要手動(dòng)確定階數(shù)多變量支持也相對(duì)笨拙XGBoost 這類樹模型能處理多特征但如果不人工構(gòu)造滯后特征它看不到時(shí)間順序。LSTM 的優(yōu)點(diǎn)是多特征直接作為序列輸入缺點(diǎn)是需要更多數(shù)據(jù)、訓(xùn)練不確定性大。成績(jī)記錄只有幾十條時(shí)ARIMA 可能更穩(wěn)但多變量場(chǎng)景下 LSTM 的擴(kuò)展性最好這也是本篇選擇它的核心理由。2.2 用滑窗把成績(jī)歷史轉(zhuǎn)成監(jiān)督學(xué)習(xí)樣本假設(shè)你已經(jīng)準(zhǔn)備好一張表每行是一個(gè)學(xué)生某一周的多維記錄列依次是數(shù)學(xué)成績(jī)、英語(yǔ)成績(jī)、出勤率、作業(yè)完成率、自習(xí)時(shí)長(zhǎng)最后一列是當(dāng)周綜合測(cè)驗(yàn)成績(jī)。LSTM 不能直接吃整張表得先把長(zhǎng)序列切成 (seq_len, features) 的小窗口這一步叫滑窗。import numpy as np def make_windows(X, y, seq_len5): # X: 按時(shí)間排序的多維特征(n_samples, n_features) # y: 每個(gè)時(shí)間步對(duì)應(yīng)的成績(jī)標(biāo)簽(n_samples,) windows_x, windows_y [], [] for i in range(len(X) - seq_len): windows_x.append(X[i:i seq_len]) # 過去 seq_len 周的特征 windows_y.append(y[i seq_len]) # 下一周綜合測(cè)驗(yàn)成績(jī) return np.array(windows_x), np.array(windows_y)邏輯上第 i 到 iseq_len-1 行的特征作為輸入第 iseq_len 行的成績(jī)作為目標(biāo)。窗口之間允許重疊成績(jī)表數(shù)據(jù)量小時(shí)靠重疊才能湊出足夠樣本。len(X) 個(gè)時(shí)間步能切出 len(X)-seq_len 個(gè)窗口如果某個(gè)學(xué)生只有 30 周記錄seq_len 取 5 最后只有 25 條窗口所以歷史記錄不足時(shí)別急著把 seq_len 調(diào)大。這里特意沒做隨機(jī)打亂。一旦打亂時(shí)間順序信息就廢了模型在驗(yàn)證集上的表現(xiàn)會(huì)虛高因?yàn)橥粭l成績(jī)曲線的多段窗口可能被拆進(jìn)了兩個(gè)集合。多變量預(yù)測(cè)的數(shù)據(jù)劃分必須是先按時(shí)間切開再做窗口順序反了后面所有指標(biāo)都沒有參考價(jià)值。2.3 歸一化與數(shù)據(jù)集劃分先切分再 fit 歸一化器LSTM 對(duì)輸入尺度很敏感。成績(jī)是 0 到 100 的大數(shù)出勤率是 0 到 1 的小數(shù)自習(xí)時(shí)長(zhǎng)是 0 到 300 的更大數(shù)直接混在一起梯度會(huì)被大數(shù)值特征主導(dǎo)。用 MinMaxScaler 把全部特征壓到 [0,1] 區(qū)間輸出也壓到 [0,1]模型收斂會(huì)穩(wěn)定很多。from sklearn.preprocessing import MinMaxScaler n_train int(len(X) * 0.7) X_train_raw, X_test_raw X[:n_train], X[n_train:] y_train_raw, y_test_raw y[:n_train], y[n_train:] scaler_x MinMaxScaler() scaler_y MinMaxScaler() X_train_norm scaler_x.fit_transform(X_train_raw) X_test_norm scaler_x.transform(X_test_raw) y_train_norm scaler_y.fit_transform(y_train_raw.reshape(-1, 1)).ravel() y_test_norm scaler_y.transform(y_test_raw.reshape(-1, 1)).ravel() # 劃分完成后再構(gòu)造窗口測(cè)試集樣本不會(huì)被訓(xùn)練集窗口“看到” X_tr, y_tr make_windows(X_train_norm, y_train_norm, seq_len5) X_te, y_te make_windows(X_test_norm, y_test_norm, seq_len5)這里有一個(gè)一步都不能省的細(xì)節(jié)歸一化統(tǒng)計(jì)量只從訓(xùn)練集 fit測(cè)試集調(diào)用 transform 而不是 fit_transform。如果先歸一化再劃分測(cè)試集的最大最小值會(huì)混進(jìn) scaler模型在訓(xùn)練時(shí)等于偷看了未來的數(shù)據(jù)范圍預(yù)測(cè)分?jǐn)?shù)會(huì)被人為抬高。這種錯(cuò)誤在成績(jī)預(yù)測(cè)項(xiàng)目里非常隱蔽因?yàn)閾p失曲線看起來一切正常真實(shí)原因只有換新數(shù)據(jù)時(shí)才會(huì)暴露。為什么用 MinMaxScaler 而不是 StandardScalerLSTM 內(nèi)部使用 tanh 激活輸入范圍落在 [0,1] 能避開 tanh 的飽和區(qū)梯度傳遞更順暢。類別型特征不要直接塞進(jìn) MinMaxScaler課程類型、班級(jí)編號(hào)這類離散列要么刪掉要么做 one-hot 后單獨(dú)處理。3. 用PyTorch搭多變量LSTM模型結(jié)構(gòu)與三處關(guān)鍵配置3.1 為什么選 PyTorch 而不是 Keras成績(jī)數(shù)據(jù)集通常很小幾十到幾百條幾十個(gè) epoch 也就幾秒鐘框架間的運(yùn)算速度差距完全感覺不到。選 PyTorch 的真正理由是動(dòng)態(tài)圖和調(diào)試體驗(yàn)訓(xùn)練時(shí)可以在任意一行打斷點(diǎn)看 hidden state 的形狀方便定位輸入輸出維度在哪一步出錯(cuò)。后面要加注意力、改成多步預(yù)測(cè)時(shí)PyTorch 的代碼改動(dòng)量比 Keras 小得多。如果你更熟悉 Keras用 Sequential 堆 LSTM 層也能跑通但遇到預(yù)測(cè)值是一條直線這類問題時(shí)Keras 對(duì)中間層狀態(tài)的黑匣子會(huì)讓排查多繞一圈。PyTorch 模型代碼直白調(diào)試時(shí)的血淚經(jīng)驗(yàn)更少。另外成績(jī)預(yù)測(cè)這種小數(shù)據(jù)任務(wù)用 CPU 訓(xùn)練完全夠不必強(qiáng)求 CUDA環(huán)境配置成本也降低了。3.2 LSTM 模型代碼與輸入輸出形狀PyTorch 里 LSTM 層的輸入形狀是 (batch, seq_len, input_size)把 batch_firstTrue 打開后更直觀。模型定義如下import torch import torch.nn as nn class LSTMPredictor(nn.Module): def __init__(self, input_size5, hidden_size32, num_layers1, output_size1): super().__init__() self.lstm nn.LSTM( input_sizeinput_size, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue ) self.fc nn.Linear(hidden_size, output_size) def forward(self, x): # x: (batch, seq_len, input_size) out, (h_n, c_n) self.lstm(x) last_hidden h_n[-1] # 取最后一層最后一個(gè)時(shí)間步的隱狀態(tài) return self.fc(last_hidden) # (batch, output_size)input_size 必須等于特征數(shù) 5。hidden_size 取 32 是成績(jī)這類小數(shù)據(jù)集的常見起點(diǎn)太小記不住趨勢(shì)太大容易過擬合。num_layers 先用 1兩層雖然理論上能建模更復(fù)雜的關(guān)系樣本量小的時(shí)候反而會(huì)讓模型更難收斂。forward 里為什么不直接用 out[:, -1, :]因?yàn)槎鄬?LSTM 時(shí) out 表示最后一層的所有時(shí)間步輸出h_n[-1] 表示最后一層最后一個(gè)時(shí)間步的隱狀態(tài)兩者在取最后一時(shí)間步這件事上等價(jià)但 h_n 的語(yǔ)義更明確后面加層數(shù)不用改動(dòng)。單層模型里怎么取都行按 h_n[-1] 寫更穩(wěn)妥。LSTM 對(duì)輸入輸出維度極其嚴(yán)格新手最容易在這里翻車。x 傳入時(shí)必須是 float32如果原始數(shù)據(jù)是 inttorch.tensor 默認(rèn)保留 int 類型進(jìn) LSTM 直接報(bào) dtype 錯(cuò)誤。構(gòu)造輸入時(shí)養(yǎng)成加 dtypetorch.float32 的習(xí)慣能省掉半個(gè)小時(shí)的排查時(shí)間。3.3 損失函數(shù)、優(yōu)化器與學(xué)習(xí)率成績(jī)預(yù)測(cè)是回歸任務(wù)MSE 是默認(rèn)選擇。MSE 對(duì)大誤差是平方級(jí)懲罰某次預(yù)測(cè)偏 20 分會(huì)比偏 5 分多出 16 倍的損失這符合成績(jī)預(yù)測(cè)寧可保守也不允許離譜的實(shí)際需求。device torch.device(cuda if torch.cuda.is_available() else cpu) model LSTMPredictor(input_size5, hidden_size32, num_layers1).to(device) criterion nn.MSELoss() optimizer torch.optim.Adam(model.parameters(), lr0.001) scheduler torch.optim.lr_scheduler.ReduceLROnPlateau( optimizer, modemin, patience5, factor0.5 )Adam 配 lr0.001 是 LSTM 訓(xùn)練最穩(wěn)的起點(diǎn)。成績(jī)數(shù)據(jù)量小梯度本來就波動(dòng)大把 lr 調(diào)到 0.01 很容易在幾個(gè) epoch 內(nèi)把損失打成 NaN。scheduler 的作用是當(dāng)驗(yàn)證損失連續(xù) 5 個(gè) epoch 不再下降時(shí)學(xué)習(xí)率減半等于給訓(xùn)練留了后悔藥。為了防止實(shí)驗(yàn)不可復(fù)現(xiàn)在模型定義前固定隨機(jī)種子def set_seed(seed42): torch.manual_seed(seed) np.random.seed(seed) set_seed(42)不固定種子的話同一份代碼跑三次會(huì)得到三個(gè)不同結(jié)果調(diào)參時(shí)根本無法判斷某個(gè)改動(dòng)是真實(shí)提升還是隨機(jī)波動(dòng)。成績(jī)預(yù)測(cè)這類小數(shù)據(jù)集隨機(jī)種子對(duì)結(jié)果的影響可能比 hidden_size 還大。4. 訓(xùn)練循環(huán)與成績(jī)預(yù)測(cè)評(píng)估指標(biāo)怎么設(shè)才算能用4.1 訓(xùn)練循環(huán)與早停小數(shù)據(jù)集上訓(xùn)練 LSTM最怕的是過擬合和反復(fù)震蕩。固定 epoch 數(shù)不靠譜因?yàn)椴煌卣鹘M合的收斂速度差異很大。寫入早停機(jī)制后驗(yàn)證損失連續(xù) patience 個(gè) epoch 不降就停同時(shí)把出現(xiàn)過的最小驗(yàn)證損失對(duì)應(yīng)的權(quán)重存下來。from torch.utils.data import DataLoader, TensorDataset train_ds TensorDataset(torch.tensor(X_tr, dtypetorch.float32), torch.tensor(y_tr, dtypetorch.float32)) val_ds TensorDataset(torch.tensor(X_te, dtypetorch.float32), torch.tensor(y_te, dtypetorch.float32)) train_loader DataLoader(train_ds, batch_size16, shuffleTrue) val_loader DataLoader(val_ds, batch_size16, shuffleFalse) def evaluate(model, loader): model.eval() total_loss 0.0 with torch.no_grad(): for xb, yb in loader: xb, yb xb.to(device), yb.to(device) pred model(xb).squeeze(-1) total_loss criterion(pred, yb).item() * xb.size(0) return total_loss / len(loader.dataset) def train_model(model, train_loader, val_loader, epochs80, patience10): best_val_loss float(inf) wait 0 for epoch in range(epochs): model.train() epoch_loss 0.0 for xb, yb in train_loader: xb, yb xb.to(device), yb.to(device) optimizer.zero_grad() pred model(xb).squeeze(-1) loss criterion(pred, yb) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() epoch_loss loss.item() * xb.size(0) val_loss evaluate(model, val_loader) scheduler.step(val_loss) if val_loss best_val_loss: best_val_loss val_loss torch.save(model.state_dict(), best_lstm.pt) wait 0 else: wait 1 if wait patience: print(fepoch {epoch} 觸發(fā)早停) breakDataLoader 里 shuffleTrue 會(huì)不會(huì)打亂時(shí)間順序不會(huì)。窗口化之后每個(gè)樣本內(nèi)部已經(jīng)保留了 seq_len 的時(shí)間結(jié)構(gòu)打亂的是樣本間的出場(chǎng)順序反而能幫模型減少記憶偏置。測(cè)試集必須 shuffleFalse保證預(yù)測(cè)順序與真實(shí)序列一致。clip_grad_norm_ 這行最容易被省略但小數(shù)據(jù)集上必須加。成績(jī)序列偶爾會(huì)出現(xiàn)極端值反向傳播梯度范數(shù)可能瞬間翻倍歸一化到 [0,1] 緩不住這種尖峰clip 之后訓(xùn)練就穩(wěn)了。max_norm1.0 是保守值如果發(fā)現(xiàn)訓(xùn)練欠擬合可以放寬到 5.0。早停 patience 取 10 意味著至少多等 10 個(gè) epoch 才肯認(rèn)輸。如果 val_loss 前 20 個(gè) epoch 一直在緩慢下降patience 太小會(huì)提前停這時(shí)把 patience 改成 15 再跑一遍。小數(shù)據(jù)集上這種反復(fù)試錯(cuò)很正常。4.2 評(píng)估指標(biāo)MAE、RMSE 與 R2訓(xùn)練損失是歸一化空間的數(shù)字不能直接拿去說損失 0.02 所以效果很好。預(yù)測(cè)值和真實(shí)值都要反歸一化回原始分?jǐn)?shù)再算有業(yè)務(wù)意義的指標(biāo)from sklearn.metrics import mean_absolute_error, r2_score def evaluate_scores(y_true_norm, y_pred_norm, scaler_y): y_true scaler_y.inverse_transform(y_true_norm.reshape(-1, 1)).ravel() y_pred scaler_y.inverse_transform(y_pred_norm.reshape(-1, 1)).ravel() mae mean_absolute_error(y_true, y_pred) rmse float(np.sqrt(((y_true - y_pred) ** 2).mean())) r2 r2_score(y_true, y_pred) return mae, rmse, r2MAE 最容易向不懂模型的人解釋平均差 3.8 分。RMSE 比 MAE 大多少可以判斷誤差分布是否有長(zhǎng)尾——如果 RMSE 接近 MAE 的三倍說明有個(gè)別樣本預(yù)測(cè)得離譜需要回去查那條樣本。R2 在成績(jī)預(yù)測(cè)里到 0.6 到 0.8 就算可用因?yàn)榭荚嚦煽?jī)本身帶有隨機(jī)因素想逼近 1.0 反而說明數(shù)據(jù)里有問題。提示反歸一化時(shí)務(wù)必保證 y_pred 和 y_true 的順序完全對(duì)齊不要在中間做任何排序或隨機(jī)抽樣后再算指標(biāo)否則 MAE 會(huì)被嚴(yán)重低估。4.3 反歸一化與預(yù)測(cè)曲線對(duì)照指標(biāo)只能給結(jié)論看不到問題。把測(cè)試集預(yù)測(cè)結(jié)果畫成曲線能一眼看出模型是不是在追著上一步走或者無腦輸出平均分。成績(jī)按周記錄的話用折線圖加散點(diǎn)標(biāo)記就夠。import matplotlib.pyplot as plt model.load_state_dict(torch.load(best_lstm.pt)) model.eval() y_pred_norm, y_true_norm [], [] with torch.no_grad(): for xb, yb in val_loader: xb xb.to(device) pred model(xb).squeeze(-1) y_pred_norm.append(pred.cpu().numpy()) y_true_norm.append(yb.numpy()) y_pred_norm np.concatenate(y_pred_norm) y_true_norm np.concatenate(y_true_norm) mae, rmse, r2 evaluate_scores(y_true_norm, y_pred_norm, scaler_y) print(fMAE{mae:.2f}, RMSE{rmse:.2f}, R2{r2:.2f}) plt.figure(figsize(10, 4)) plt.plot(y_true_norm, label真實(shí)成績(jī), markero, linewidth1.5) plt.plot(y_pred_norm, labelLSTM預(yù)測(cè), markerx, linewidth1.5) plt.legend() plt.xlabel(測(cè)試樣本編號(hào)按時(shí)間排序) plt.ylabel(成績(jī)分) plt.title(LSTM多變量預(yù)測(cè)成績(jī)對(duì)照) plt.show()對(duì)照?qǐng)D里出現(xiàn)兩類問題需要警惕一是預(yù)測(cè)曲線的波峰全部被削平說明模型學(xué)到了均值回歸沒學(xué)到尖峰模式二是預(yù)測(cè)曲線相對(duì)真實(shí)值整體平移說明可能存在數(shù)據(jù)泄露或者特征里缺少當(dāng)前狀態(tài)信息。這兩類問題單看 MAE 看不出來必須看圖。5. LSTM多變量預(yù)測(cè)常見問題排查五個(gè)踩坑記錄5.1 測(cè)試集指標(biāo)很高但換到下學(xué)期就失效現(xiàn)象在歷史成績(jī)劃分的測(cè)試集上 MAE 只有 3 分左右模型看起來已經(jīng)能用了換到新學(xué)期的數(shù)據(jù)預(yù)測(cè)誤差飆到 8 分以上。原因成績(jī)數(shù)據(jù)里隱藏著時(shí)間結(jié)構(gòu)。不同學(xué)期教師出題難度、班級(jí)整體水平都在變化模型很可能把第幾周學(xué)期編號(hào)這類周期性信息當(dāng)成了硬規(guī)則記住。更常見的元兇是歸一化訓(xùn)練集和測(cè)試集混在一起 fit scaler或者未來數(shù)據(jù)被提前劃進(jìn)訓(xùn)練集屬于典型的數(shù)據(jù)泄露。解決嚴(yán)格按時(shí)間順序切分訓(xùn)練集只占前 70%scaler 只 fit 訓(xùn)練集刪除周次學(xué)期號(hào)這類周期性列避免模型把時(shí)間索引當(dāng)特征硬記。成績(jī)預(yù)測(cè)項(xiàng)目里九成假高精度都是這個(gè)原因。5.2 預(yù)測(cè)值是一條幾乎水平的直線現(xiàn)象測(cè)試集預(yù)測(cè)結(jié)果標(biāo)準(zhǔn)差極小曲線貼著均值走M(jìn)AE 看著還行但完全沒抓住成績(jī)波動(dòng)。原因LSTM 在小數(shù)據(jù)集上很容易學(xué)到輸出平均成績(jī)這種最優(yōu)策略。平方誤差下輸出均值對(duì)大多數(shù)普通樣本已經(jīng)很安全只有少數(shù)尖峰樣本被犧牲掉。hidden_size 過大、num_layers 過多會(huì)加劇模型把波動(dòng)當(dāng)成噪聲濾掉了。解決先把 hidden_size 降到 16 或 8強(qiáng)制模型記憶更少的模式把 dropout 調(diào)低甚至去掉給訓(xùn)練更多自由度。如果確實(shí)需要更強(qiáng)的序列建??紤]加注意力而不是加深層數(shù)。成績(jī)預(yù)測(cè)這里不是越深越好我在這上面翻過車。5.3 損失在前幾個(gè) epoch 變成 NaN現(xiàn)象訓(xùn)練到第 3 到第 5 個(gè) epochloss 突然變成 nan后續(xù)無法恢復(fù)。原因?qū)W習(xí)率過大梯度在某個(gè)極端樣本上爆炸或者原始成績(jī)數(shù)據(jù)里存在缺失值NaN 經(jīng)過歸一化和窗口拼接后沒有報(bào)錯(cuò)直到損失函數(shù)里被放大。解決先檢查數(shù)據(jù)里有沒有 np.isnan(X).any()有就先填充或刪除再把 lr 從 0.001 降到 0.0003同時(shí)保留 clip_grad_norm_。如果還是 NaN看成績(jī)列有沒有無窮值MinMaxScaler 對(duì)無窮值不會(huì)報(bào)錯(cuò)但會(huì)把其他正常值壓成 0。5.4 seq_len 到底取 3、5 還是 10現(xiàn)象seq_len 取 5 時(shí) MAE 是 4.2取 10 時(shí)變成 4.8取 3 時(shí)變成 4.5看不出規(guī)律。原因seq_len 是模型對(duì)多長(zhǎng)的歷史記憶最敏感的超參數(shù)。取太短看不見連續(xù)下滑后的反彈模式取太長(zhǎng)早期信息對(duì)下一周成績(jī)的作用趨近于零反而引入噪聲。成績(jī)數(shù)據(jù)通常不存在長(zhǎng)程依賴5 到 7 周覆蓋一個(gè)月的學(xué)習(xí)節(jié)奏已經(jīng)是極限。解決拿驗(yàn)證集做小網(wǎng)格搜索seq_len 在 [3, 5, 7, 10] 里各跑一遍每次固定 3 個(gè)隨機(jī)種子取平均。這個(gè)超參數(shù)沒有理論最優(yōu)值數(shù)據(jù)決定一切靠玄學(xué)猜不如直接跑表。5.5 預(yù)測(cè)成績(jī)跑出 120 分現(xiàn)象真實(shí)成績(jī)都在 40 到 95 分之間預(yù)測(cè)值卻出現(xiàn) 120 分甚至負(fù)數(shù)。原因輸出層是線性激活LSTM 隱狀態(tài)經(jīng)過 fc 層后可以映射到任意值。歸一化只約束訓(xùn)練目標(biāo)測(cè)試時(shí)模型完全可能外推加上極端歷史成績(jī)的帶動(dòng)預(yù)測(cè)自然脫離合理區(qū)間。解決預(yù)測(cè)后做邊界裁剪低于 0 按 0 算高于 100 按 100 算更穩(wěn)的做法是把輸出層改成 Sigmoid 再乘 100讓模型結(jié)構(gòu)上就不能越界。后一種會(huì)略微壓縮中間區(qū)間如果 R2 因此下降超過 0.05 就退回線性輸出加裁剪。6. 進(jìn)階給LSTM加注意力層專門改善尖峰學(xué)生的預(yù)測(cè)成績(jī)預(yù)測(cè)里另一個(gè)痛點(diǎn)是尖峰連續(xù)低迷后突然考出高分以及穩(wěn)定優(yōu)秀生的偶發(fā)失誤普通 LSTM 都容易把這類劇烈變化平滑掉。一個(gè)改動(dòng)小、收益明顯的方法是給 LSTM 輸出加一層注意力機(jī)制讓模型自動(dòng)對(duì)不同時(shí)間步的歷史狀態(tài)加權(quán)。每個(gè)時(shí)間步的重要程度不再默認(rèn)相等而是由一個(gè)小網(wǎng)絡(luò)根據(jù)當(dāng)前隱狀態(tài)計(jì)算權(quán)重。class AttentionLSTM(nn.Module): def __init__(self, input_size5, hidden_size32, output_size1): super().__init__() self.lstm nn.LSTM(input_size, hidden_size, batch_firstTrue) self.attn nn.Linear(hidden_size, 1) self.fc nn.Linear(hidden_size, output_size) def forward(self, x): out, _ self.lstm(x) # (batch, seq_len, hidden) weights torch.softmax(self.attn(out).squeeze(-1), dim1) context (out * weights.unsqueeze(-1)).sum(dim1) return self.fc(context)代碼把輸出層之前的所有隱狀態(tài)做加權(quán)求和權(quán)重由 softmax 歸一化到和為 1。訓(xùn)練時(shí)網(wǎng)絡(luò)會(huì)自動(dòng)學(xué)會(huì)給考前一周的狀態(tài)更高權(quán)重給兩個(gè)月前的記錄更低權(quán)重。訓(xùn)練循環(huán)、早停、評(píng)估流程全部復(fù)用前面第 4 章的代碼只需把模型類換掉。第一次跑別急著替換原模型先拿基礎(chǔ) LSTM 的輸出當(dāng) baseline。同一套測(cè)試集上同時(shí)評(píng)估兩版注意力版本 MAE 下降超過 0.5 再考慮保留。數(shù)據(jù)量小于 200 條時(shí)這個(gè)提升完全可能是隨機(jī)波動(dòng)用 3 個(gè)隨機(jī)種子跑完取均值再看。我自己的經(jīng)驗(yàn)是先把基礎(chǔ) LSTM 跑通、指標(biāo)能穩(wěn)定復(fù)現(xiàn)再加注意力一次只加一個(gè)變量。這個(gè)順序幫我避開了很多自我感動(dòng)式的調(diào)參。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
噜噜吧天天爱| WWW久久久| 另类激情中文| 男女99免费视频| www.日韩国产| 五月婷成人| 五月婷婷综合网| 开心五月丁香啪| 69久久久| 色五月色图| 婷婷天堂综合| 嫩草AV久久伊人妇女超级A| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 午夜激情四射影院| 99热播放| 3p日韩网站视频| 啪啪啪丁香五月| 99在线免费视频| 色婷婷AⅤ| 婷婷五月天影院| 99操逼| 99这里有精品| 夜夜骑天天玩天天日| www激情网站| 97人人射| 99精品免费欧美小视频| 操久久网| 丁香久久在线| 国产操碰| 5月婷婷激情网| 色久女| 99噜噜噜在线播放| 综合色影院| 99这里只有精品国产| 亚洲成av人影院| 99热免| 九九色色色| 婷婷丁香色五月| 五月情四婷婷| 99热国内精品| 国产精品男人AV不卡| 丁香狠狠色婷婷| 五月婷免费视频久久久| 精品99在线| 专区无日本视频高清8| 五月婷婷丁香婷婷| 99视频精品8| 99艹精品在线观看| 禁欲电影完整版在线播放| 婷婷五月天色| 五月丁香六月婷婷综合网| 9热在线观看| 日本久久精品| 性生活视频98791| 开心五月婷婷六月丁香| 日韩欧美成人片| 做爰丰满少妇1313| 色墦五月丁香| 九九亚洲| 99爱视频在线播放| 九九成人高清视频| 色停停香蕉视频| 婷婷五月丁香亚洲| 丁香五月在线播放| 99爱在线视频| 在线A色| 激情综合色| 婷婷五月欧美| 日韩综合成人| 五月婷婷色| 色综合中文| 亚洲Av入口| 欧美日本国产欧美日本韩国99| 乱乱av| www.91久久| 无月播播激情在线观看视频| 婷婷五月AA五月在线| 97色97干| 91精品国产综合久久蜜芽解析速度| 亚洲午夜AV| 午夜婷婷久久| 激情五月天 婷婷| 丁香五月天激情婷婷丁香六月| 婷婷色吧| 成人国产网站| 激情6月| 超碰在线国产| 成人日韩欧美| 国产激情AV| 色婷婷基地| 丁香五月婷婷色综合基地| 啪啪操超碰| 一级AV片| EEUSS鲁片一区二区三区| 五月婷婷中文字幕| 草综合14| 五月花免费视频| 久久这里都是精品视频| 五月熟妇婷婷久久| 99ri视频| 99久在线精品99re8热| 九九人人看| 四川女人毛多水多A片| 99热这里只有精品2| www.minyis.com【JT】实力收量可预付QQ2101460746 | 亚洲成人影视在线观看| 国产视频福利| 激情五月,激情综合网| 日韩人妻在线播放| 九月丁香婷婷网| 日韩成人无码| 九九黄色网| 成人av在线电影| 色综合99| 美女妹子后射视频网站在线观看| 中文网av| 开心五月天激情网站| 色婷婷五月天激情在线播放| 婷婷五月天激情在线观看| 97碰久久| 日韩九九视频| 色热久资源| 欧美色色色色色| 夜夜躁婷婷AV| 色99热| 影音先锋91资源站| 99热99天堂| 五月婷婷激情在线| 伊人大香蕉爱聚| 91热久88| 9热在线视频| www色哟哟| 人妻激情久久| 五月丁香色欲| 色99免费视频中文| 亚洲免费观看高清完整版AV线| 日本97久久久精品| 狠狠干综合网| 九九碰九九爱97| AV在线免费播放| 免费看片在线观看| 久久99精品久久久| 婷婷五月电影| 操操操操操操婷婷五月天| 久久久www| 丁香五月综合久久| 婷婷六月啪啪| 这里只有精品在线视频精品| 色五月丁香激情视频| 五月丁六月香av| 婷婷九月激情| 欧美色久| 婷婷六月丁香激情| 激情WWW| 婷婷五月天激情AV影院| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 99爱在线| 综合网狠狠| 人妻五月天激情开心网| 99九九热在线观看| 婷婷五月成年人| 色婷婷婷av| 婷婷五月亚洲激情| 激情五月天色婷婷综合| 激情婷婷五月天| 色婷天天| 五月天婷婷社区| 色色操| 在线18av | 丁香九月激情在线视频| 97超级碰碰碰| 婷婷在线观看五月天在线视频| 五月情四婷婷| 色婷婷婷婷五月天| 激情婷婷色色| 成人短视频在线观看| 欧美成人精品A片免费一区99| 99ri在线视频| 九九成年视频| 久久婷五月婷| caopeng97日韩| 三级毛片7979| 久久婷婷伊人| WWW.开心五月天.COM| 国语精品探花| 日本三级日本三级99| 九九人人操| 中字幕视频在线永久在线观看免费| 丁香六月在线综合| 亚洲AV人人操| 久久亚洲婷婷综合色五月| 最新五月天婷婷影| 色情五月婷| 久久人妻久久| 97在线天堂| 狠狠色五月| 国产片天天爽夜夜爽| 激情欧美婷五月| 久久久婷丁香五月| 亚洲综合视频网| 激情五月天色色| 中字幕视频在线永久在线观看免费| 九月婷婷人人操人人舔人人爱| 狠狠五月激情丁香六月| 99热这里只有精品33| 婷婷丁香五月天激情| 狠狠做深爱婷婷久久综合一区| 综合久久激情久久| 婷婷月五天在线在线看| 熟女激情五月天| 久热综合| 另类亚洲电影| peg 2区三区四区的| 99热这里只有精品国产首页| 久热这里| 久久玖玖综合| 天天干天天 亚洲| 天堂网啪啪| 天天干一干| 色99久草在线| 婷婷丁香社区网| 日日夜夜爽| 26uuu| 色网站9| 综合婷婷| 思思99热| 九热网站| 中文字幕黄色片| 丁香六月亚洲综合| 狠狠色综合网| 超碰免费大香蕉| A A色色| 婷香五月| 91精品国产综合久久蜜芽解析速度| 丁香五月在线人妻| 99热在这里只有精品| 中文字幕在线免费观看视频| 五月婷婷久久大香蕉| 天天天添天天操| 亚洲色综合| 亚洲操B| 欧美黑人巨大性生话| 在线观看欧美| 深爱激清网| 成人无码髙潮喷水A片| 久青操| 开心五月综合| 五月丁香亭亭| 色噜噜狠狠色综| 五月婷婷69| 五月天激情网图片| Av大香蕉| 熟女网站久久| 超碰色女人| 深爱激情久久| 99热综合| 五月婷视频久久| 少妇人妻人伦A片| 五月丁香六月片| 丁香色五月婷婷17C| 日操夜撸| tingtingcaobi| 无码地址| 91久久久久久| 国产av基地| 小视频一区| 亚州操人在线视频| 五月停亭六月,六月停亭的英语 | 丁香五月天啪啪| 婷婷 伊人 久久| 婷婷激情网五月天| A短视频免费在线观看| 九九综合视频在线观看| 久久激情视频| 伊人狠狠丁香婷婷综合尤物| 久久久久久久人妻| 久热婷婷在线视频| 五月天精品视频| 婷婷五月六月| 免费九九热| 五月天堂婷婷| 97人人搞| 欧洲综合视频| 日韩无码乱轮| 99热精品在线在线| 九伊人网| 天天婷婷| 婷婷五月天综合AV| 婷婷丁香小说| 97碰成超视频免费视频| 久久免费精彩视频| 久热9| 六月婷婷视频| 五月天淫乱视频| 丁香花操逼| 五月激情久久| 激情丁香久久| 噜噜狠狠色综合久| 久久激情天堂| 五月丁香啪啪啪综合网| 六月撸婷婷| 激情视频综合| 五月婷婷婷综合网| 日韩久热| 91操碰| 丁香五月婷婷六月| 欧美va精品va老师va| 激情五月天婷婷丁香| 五月天停停日日| 天天综合精品| 丁香五月手机在线| 99毛片| 久婷婷五月天影院| 久久爱婷婷| 日本三日本三级少妇三级66| 99视频这里有精品| 色婷婷综合亚洲| 日日综合网| 九九精品re免费视频| 天天爽天天摸天天爱| 激情五月天色色色| 国产激情在线| 激情综合无码| 婷婷在线播放| 六月久久狠狠| av第一二区| 色色亚洲| 久热超碰| 久久99国产综合精品免费| 天天色五月| 色婷婷性爱网| 草综合14| 亚洲成人网站在线观看| 丁香五月天电影| 久久国产精品乱子伦_靑青草…| 亚洲V国产V欧美V久久久久久| 激情五月综亚网| 六月婷婷色色网| 这里只有精品免费观看网占| 99综合成人视频在线观看| 婷婷五月六月丁香| 欧美色五月| 99热自拍| 97超碰在线免费观看| 一区二区乱码视频| 99惹在线精品免费观看| 久久婷婷五月综合色区| 五月天婷a| 艹天天射| 色欲天天综合网| 丁香伊人综合| 99色久| 婷婷五月天影院| 天堂婷婷五月在线| 九九精品丁香花| 538在线精品| 丁香花五月天激情| 九九av| 天天天天做夜夜夜夜做| 国产亚洲色婷婷久久99精品9j| 九九色播五月丁香| 热99视频精品| 天天插,天天射| 新男人天堂人妻| 五月婷婷综合视频| 激情婷婷五月天。| 久热久69| 色欲资源网| 婷婷五月综合性爱| 亚洲最大视频| 亚洲愉拍99热成人精品| 这里只有精品在线免费视频| 亚洲无AV在线中文字幕| 亚洲人人操BD| 天天肏天天插| 丁香五月天啪啪| 久久香蕉婷婷五月天| 91久久18| 96丁香六月婷婷蜜桃综合久久| caopeng97日韩| 99久久精品亚洲综合| 婷婷色网| 九九免费精品| 日韩啪| 欧美槡BBBB槡BBB少妇| 丁香五月激情在线| 综合五月天亚洲婷婷| 99爱在线| 色色性爱视频| 色综合网综合| 怡红院 久久| av婷婷丁香| 99爱爱| 亚洲男人的天堂婷婷色五月| 激情六月婷婷| 欧美丁香婷婷五月天| 99爱操| 久久婷婷五月丁香网| 五月天色综合服务平台| 丁香婷婷五月综合色情| 色色丁香| 久久a热| av九九| 91人无码久久久久久| 91日综合欧美| 六月 丁香 视频| 天天射综合网天天插| 神马欧美精| 亚洲综合婷婷| 久9久9久9久9久9久9| 婷婷五月丁香亚洲| 99热地址| 五月婷婷影| 噜噜噜精品欧美成人在线观看| 97操视频| 牛牛色av| 丁香,开心成人,久久| 亚洲五月婷婷| 日韩AAAAAAAAAAA片| 色狠狠伊人久久五月丁香| 久久综合婷婷五月| 视频一区二区在线| 婷婷色播婷婷| 久久人人九| 五月天激情美女久久| 婷婷综合色| 欧美日韩国产一二区| 99热自拍| 丁香五月婷婷色| 这里只有精品免费视频| 亚洲激情精品| 天天艹夜夜爽| 99在线精品视频观看免费下载| 日韩无码系列| 亚洲天堂AV综合网| 天天天天操| 五月停停色色丁香| 亚洲婷婷欧美婷婷| 久久思思精品| 日夜夜天天| 深爱激情网五月| 丁香激情网| 人碰人人人玩91| 国产乱妇无乱码大黄AA片| 丁香五月五月婷婷| 激情婷婷啪啪| 五月婷导航| 色综合爱综合| www.91五月| 五月丁香六月激情| av九九| 久久在线大香蕉| 伊人啪啪网| 第四色婷婷五月| 欧美色骚婷婷五月天| 色婷婷基地| 玖玖在线视| 五月天丁香婷婷社区| 1024久婷| 一本狠婷婷综合| 色色欧美色色| av在线播放网站| 成熟妇人A片免费看网站| 激情综合久久| 国产日比| 99综合网| AA片在线观看视频在线播放| 日本欧美成人片AAAA| 亚洲中文字幕网| 日日杆天天| 色五月激情五月天| 亚洲国产99| 99热人人| 99热这里只有精品1| 五月丁香婷婷色| 久久性爱视频| 国产成人亚洲综合A∨婷婷| 亚洲永久免费| 开心五月网 | 日韩免费视频| 成人国产欧美大片一区| 婷婷在线五月综合| 亚洲传媒在线观看| 日本天堂网站99| 久久探花91swag| 超碰免费人人肏| 97久久人人人干| 狠狠色综合网| 免费无码毛片一区二区A片 | 九九碰九九爱97| 成人在线日韩| 99综合| 免费视频WWW在线观看网站| 天天弄天天操| 丰满少妇猛烈A片免费看观看| 久久六月天| 欧美激情综合色综合啪啪五月| 五月天婷婷成人网| 中国女人内射6XXXXX| 久久激情中文| www.91AV.com| 久9视频免费播放| 日韩淑女人妻luan伦激情精品一区二 | 99超超碰| 99re资源在线视频导航| 91热手机在线| 黄色AV日韩| 伍月婷丁香婷| 天天做天天干天天综合网| 99色看这里只有精品| 天天日夜夜夜操操操操| 婷婷精品性性性性性性性| 噜噜色婷婷| 五月丁香色婷婷色| 婷婷色影院| 看片视频在线免费日产在线看| 丁香五月天啪啪| 风流少妇A片一区二区蜜桃 | 日本久久婷婷| 婷婷五月婷婷| 综合色五月亭亭| 丁香五月婷婷五月天| 色噜噜婷婷| 亚洲激情区| 深爱激情婷| 婷婷玖玖五月天| 色综合色色| 嫩草AV久久伊人妇女超级A| 20253AV| 怡春院久操| 99无码超碰| 天天色天天爱天天舔| 五月综合缴情网| 人人爱摸视频| 色五月激情网| 久久aaaaa| 国产操B视频| 天堂爱爱| 五月天婷婷中文字幕在线播放| 极品另类| 国产在线aaa片一区二区99| 人人操婷婷| 九九狠狠干| 色色色精品无码区| 色婷婷丁香| 久九色| 天天干天天插| 丁香五月婷婷欧美成人色图| 婷婷大香蕉| 丁香六月爱综合| 九色啦蜜臀| 亚洲va综合va国产va中文| 色婷婷色综合久久精品V| 激情五月丁香六月综合AVXXXX| 欧美激情丁香五月| 婷婷久久亚洲| 婷婷六月综合激情| 99视频啪啪| 偷偷操99| 色婷婷婷av| 久久丁香久久| 俺去也婷婷| 久草视频大香蕉99| 综合亚洲色色| 第四色五月天| 精品人妻伦九区久久AAA片| 99热精品超碰| 婷婷久久视频| 丁香九月综合激情| 丁香五月天久久| 婷婷综合av| 丁香五月综合久久八| 婷婷五月天成人网站| 91欧美| 精品操逼一区二区| 亚洲性爱干干| 99视频只有精品| 色色色色网站| 五月婷婷激情日本| 99热这里只有精品在线免费| 亚洲色夜| 久久久亚洲成人无码A片| 久久久久9| 久久A V无码视频| 大香蕉婷婷| 欧美日韩精品一区二区三区钱| 99热精品在线观看| 丁五月激情视频免费| 青青草视频免费观看| 啪啪激情综合| 五月婷婷免费在线观看视频| 亚洲中文字幕在线观看| 最新色色五月天| 99re这里只有精品视频了| 99热8| 久久9RE热视频精品98| 五月天开心色情网| 久久久久久欧美精品se一二三四| 玖色色综合| 少妇口诉沐足视频播放器网址| 97操在线视频| 伊人综合婷婷| 亚洲丁香五月在线观看| 九九综合| 无码se| 天堂综合久久 | 99婷五月| 激情99。| 综合色播| 97丁香婷婷| www.com五月天| 99人妻碰碰久久久禁片| 99久久久99久久91熟女| 91人操人人人操人| 青青色com久久| 清色五月天| 日日干天天| 欧洲一区二区| 久久久天天啊| 亚洲综合色激情色五月| 婷婷五月丁香五月天| 婷婷五月天网| 久久五月网| 五月丁香中文字幕| 黄色激情网站在线观看| 国产精品色色色色| 国产精品A成V人在线播放| 精品99这里有| 久久只有18视频| 婷婷丁香激情综合色情| 天天爽夜夜操| 婷婷五月丁香色播| 青青草激情网| 久久五月婷综合网| 久久婷婷激情视频| 91在线视频观看午夜福利| 伊人成人宗合网| 亚洲操操| 天天日,天天射,天天插| 亚洲精品婷婷| 亚洲午夜精品久久久久久人妖| 99日本精品视频热| 日本三级日本三级三级人妇四虎| 天天色天天日| 久久 中文 日本| 五月天色社区| 操婷婷基地| 天天插天天插天天插天天插| 日韩人妻在线播放| 99免费视频在线观看爱| 99婷婷综合| 99日这里只有精品| 色播激情婷婷| 99热这里只有精彩| 国产综合丁香五月天| 五月天婷婷高清无码| 日本熟妇乱妇熟色A片蜜桃 | 99男人天堂| 青青草轻轻操| 97AV在线视频| www.狠狠| 3pAV| 色爆五月| 婷婷激情五月天在线| 久久人人添人人爽添人人片αV| 欧美激情-区二区三区| 永久天堂日本| www.色婷婷.com| 久久9热| 91九色精品女同系列| 亚洲精品99| 91人人爽狠狠狠| 久99视频| wwwss在线观看| 天天拍夜夜爽日日| 精品日本视频444| 丁香婷婷色情社区成人小说| 丁香婷婷久久五月天| 精品无码99| 99色综合网| 色5月婷婷| 色九区| 青青草日本亚洲| 99天天操夜夜操| 九九99久久| 综合网啪啪| www.日日夜夜.com| 激情5月婷婷狠狠干| 少妇熟女视频一区二区三区| 婷婷舔| 曰本久久女| 五月丁香六月在线| 91肏| 九热视频| 色婷婷综合网站| 4399欧美另类视频| 久热99| 停停色综合伊人| 成人国产网| pom538精品视频| 婷婷亚洲色| 国产SUV精品一区二区6| 五月色婷婷综合| 亚洲综合1024| 国产成人精品一区二三区熟女在线| 天天在线久久综合 | 激情综合色婷婷啪啪五月天| 久久婷婷六月综合综合色| 国产免费一区二区三区三州老师F1F1.CC | 九九热视频99| 深爱五月激情网| 999热在线观看视频| 久青草影院| 色婷婷综合网站| 国产亚洲成AV人片在线观黄桃| 亚洲欧州色情在线观看| 婷婷欧美综合| 无码AV免费精品一区二区三区| 操熟女成人网| 日韩人妻无码精品| A片试看50分钟做受视频| www.99成人视频| 久久亚洲婷婷| 9热超碰| 97碰| 五月天免费色| 操人视频91| 亚洲中文字幕av| 99性爱视频网站| 亚洲天堂热| 玖玖婷婷免费| 玖玖综合色| 亚洲 无码 中文字幕 中出| 99人妻碰碰碰久久久久视| 激情五月丁香五月| 九九在线精点品| 99热无码精品| 日本97久久久精品| 97精品人人A片免费看| 亚洲va欧美va天堂v国产综合| 九九热视频精品2| 久久月天堂| 中文av网站| 婷婷五月视屏| 免费AV黄在线播放| se99热久久一本| 韩国真做片在线观看| 99在线免费视频| 五月天久久婷婷婷| 人妻久热| 沈娜娜av| 91热爆在线| 五月丁香激情综合网| 包操45分钟网站| 久操人| 97高清国语自产拍| 久久久91| 九九精品网| 亚洲精品欧洲精品| 婷婷五月丁香花综合| 亚洲日韩成人三级av| 亚洲第一黄网| 精品A√| 色色色精品无码区| 激情综合色图| www.1024久久| 风流少妇A片一区二区蜜桃| 超碰97干| 99热在线观看精品免费| 久久99热这里只有精品23| 玖玖激情五月天| 中文字幕乱码亚洲精品一区| 色婷婷影院| 色综合色| 丁香五月激情无码视频| 国产99美少妇| 91黄操| 婷五月天| 婷婷99综合| 深爱五月天| 玖玖爱综合网| av色色国产| 狠狠干青青草| 五月天色播网| 五月婷色色| 精品99在线观看| 欧美日本国产| 九九热精品| 婷婷五月天av| 亚洲欧美另类在线23p| 亚洲激情免费久久| 超碰九色| 久久性刺激| 婷婷五月综合免费在线| 专区无日本视频高清8| 九月丁香婷婷综合| 亚洲激情另类| 婷婷五月天黄色小说| 丁香激情六月天婷婷| 婷婷基地成人五月天| 五月丁香婷婷色色| 丁香六月婷婷综合欧美| 激情综合网站| 偷拍99在线视频观看| 亚洲妇女熟BBW| 五月婷婷色| 亚洲激情五月| 91操人| 婷婷色网站| 中文字幕,综合,91| http://www.sd-xiangsu.com/| 狠狠色激情在线| 五月婷婷在线视频免费观看| 色婷婷久久| 五月婷婷色影院| 色婷婷偷拍| 啪啪色区| 亚洲无码黄色| www.刺激色网站www.| 狠狠色狠狠色综合日日91| 色五月婷婷7777| 99热这里只有精品8| www色婷婷| 超碰人人操人人干| www激情| 桃色激情网| 婷婷五月丁香手机在线视频| 天天色综合网1| 综合激情深爱| 五月开行婷婷色五月| 久久五月婷天天干| 色情五月丁香婷婷网| 激情综合五月激情17| 激情五月黄色小说| 少妇水多A片太爽了| 丁香五月五月婷婷欧美大香蕉| 被强行糟蹋的女人A片| 国产毛片欧美毛片久久久| 99re6在线视频精品免费| 五月婷婷综合在线| www.色婷婷| 99在线免费视频| 五月丁香六月激情综合| 国产精品成人在线| 亚洲精品无码一区二区| 久久小说| 色色五月婷婷网| 免费在线观看AV网站| 丁香婷婷激情网站| 欧美大片免费播放器| 精品无码久久久久久久久| 色伦专区97中文字幕| 69超碰在线| www,99视频| 婷婷丁香激情五月天色色色| 99re8热精品免费视频| 丁香五月色激情| 99久高清视频| 91打屁股视频网站| 天天噜日日噜综合无码| 激情欧美婷婷| 五月丁香拍拍激情综合| 丁香网五月网| 色五月六月| 免费观看的婷婷五月视频在线| 欧美天堂久久| 综合色五月| 欧美顶级少妇做爰HD| 色婷婷六月| 97ai婷婷| 黄网免费看| 888精品福利地址| 99er在线观看| 99久久久| 人人综合久| 99热这里只有精品3| 亚洲精品无码一区二区| 波多野结衣不卡AV| 成人色图情色成人网 www.5b5b5bcom 五月天| 99久久www| 久热只有这里有精品| 思思久久思思| 婷婷丁香18| 狠狠色色| 欧美成人一区二区三区在线视频| 亚洲一级 片内射网站在线观看| 1级欧美日韩| www.日本91| 亚洲国产精品成人免费一区久久久在线观看AAAA | 超碰在线人人| 79亚洲精品少妇| 5月色亭亭视频| 婷婷五月丁香伊人网| 日韩啊啊啊| 丁香五月自拍| 日本天天操| 任你搞免费视频观看| 激情婷婷九月| 色狠狠五月天| 特级片神马电影| 日韩欧美成人片| 亚洲无码色| 黄色aa观看aaguochan| 日本情色一区二区| 99熟女| 九九成人精品| 久久开心五月婷婷| 五月丁香六月成人| 人妻av在线| 精品九九久久| 色婷婷综合视频| 亚洲中文乱字字幕线在永久| 91人碰| www色五月| 影音先锋日本三级资源| 久久久五月婷婷| a69在线视频| 色婷婷综合视频| 色色a| 日韩有码一区| 欧亚洲在线高清视频| 98色花堂98t.R| 五月香蕉综合| 九九热精品视频九九| 99自拍视频网站| 激情婷婷丁香| 五月婷精品| 人妻系列久久久久久久久久久| 久久狠狠干| 六月天婷婷| 中文字幕婷婷在线| 亚州欧美国产久精国产99综合视频| 丁香五月电影| 日日.c| 国产三级在线播放| 久久五月天精品视频| www激情com| 丁香五月天堂网| 操操熟女| 五月激情综合婷婷| 强伦轩人妻一区二区电影| 五月天婷婷激情小说电影| 日韩三级视频一区二区| 再綫Av免费視品| 成功精品影院| 99噜噜噜在线播放| 色五月婷婷影视| 秋霞三级影视资源| 伊人久久大香蕉网| 91综合视频丁香| 色就是色婷婷五月亚洲激情| 日韩AAAAAAAAAAA片| 99热在线观看| 天天久综合网永久入口17v| 丁香婷婷久久老熟女综合网| 久久久久er热| 视频1区2区| 丁香婷婷久久老熟女综合网| 亚洲成人在线播放| 丁香激情五月少妇| 婷婷五月开心中文字幕在线| 激情五月综合网| 日韩三级视频一区二区| 五月天婷婷丁香蜜桃91| 99操| 狼友超碰| 婷婷亚洲色| 五月天婷婷久久| 久婷久婷激情肉| 五月天激情.com| 91日本在线观看| 五月天丁香成人社| 99性爱视频网站| 全部老头和老太XXXXX| 亚洲综合九九| 91肏| 成人网站高清无码| 色婷婷色五月综合| 99热色精品| 99久久99久久综合| 伊人www22综合色| 超碰中文字幕在线| 九九在线免费观看| 丁香五月影院| 亚州色婷婷| 熟女网站久久| 欧美精品久| 色久五月| 99热这里只有精| 丁香五月婷婷色| 日韩性视频| 免费看无码视频A级| 激情色情五月天| 丰满少妇乱A片无码| 99热99网| 天天操天天曰| 综合啪啪| 国产毛片精品一区二区色欲黄A片| 丁香五月激情综合久久| 狠狠狠狠狠狠草| 色情综合网| 9er热在线精品视频| 啊v视频在线观看| 五月天婷婷綜合院| 人人爱人人草| 亚州激情九月| 五月丁香六月婷婷开心网| 51精品国自产在线| 六月婷婷视频| 五月婷婷久久综合| 国产伊人五月天| 六月激情综合| 日韩成人精品中文字幕| 婷婷综合97| 操日视频| 激情五月天综合网| 久久五月婷婷丁香| 亚洲va成人va成人va在线观看| 婷婷中文字幕在线| 婷婷久久色| 伊人婷婷五月天av| 99热这里只有精| 五月丁香最新| 激情五月丁香亭亭| 色色婷婷婷丁香五月天| 五月人妻婷婷视频| 免费看片在线观看| 天天爽天天摸天天爱| 99精品网址| 天天干天天操天天拍| 玖玖激情网| 五月激情六月综合| 冬月かえでAV无码播放| 六月婷婷av| 久99久在线| 九九热这里只有精品5| 99国产在线| 人妻性爱av网站| 深爱五月天| 免费黄色AV| 超碰碰碰碰| 五月丁香六月婷婷亚洲天堂网站| 六月综合婷婷开心伊人| 九九99在线观看视频| 538在线精品| 5月婷婷激情6月| 激情四射亚洲| 五月婷婷五月天激情网| 99少妇精品| 午夜亚洲国产精品av一区二区| 色色色国产| 99视频这里有精品| 婷婷一本和五月丁香| 色婷婷呢狠禁久禁| 色色 亚洲| 婷婷综合一二三| 日本99色| 99超级碰免费视频| 99热在线观看| 久久精品永久免费| 午夜激情久久| 超碰高清在线| 亚洲成人一区| 五月婷婷丁香| 婷婷在线午夜| 国产欧美大香蕉一区| 五月婷婷亚洲色视频| 久久女人天堂| 久久久性爱视频| 停停色综合伊人| 日韩一级| 久久婷婷五月综合激情国产 | 人人操av| 色色色999| 少妇熟女视频一区二区三区| 五月丁香色婷婷基地| 超碰2021| 国产激情在线| WWW.五月天9999| 五月激情综合网婷婷| 五月天婷婷7米| 色色色色五月天| 成AV人片一区二区三区久久| 婷婷五月天另类网站| 日本久久超碰| 久久久人妻| 五月天电影网| 欧美乱码国产一级A片| 99热在这里只有精品| 色综合性视频| 人人叉久| 99热亚洲精品| 26uuu91| 中文字幕无码成人电影| 久久99视频| 久久视网36| 人妻第九页| 国产亚洲精品久久一区二区三区| 激情影院内射| 欧美一黄一色一乱一伦| 婷婷激情综合网| 色青青视频| 婷婷六月综合基地| 乱精品一区字幕二区| 五月天激情无码| 日本99热| www.99色在线| 99热综合色图| 国产视频久色| 午夜日日| 性做久久久久久久免费看| 欧美人妻一区二区| 开心五月婷婷激情| 99干免费视频| 色七七九九| 伊人综合网4| 五月天婷婷激情在线色图| 日日天天干| 亚洲色无码| 色综合色五月| 日本色色色色色色色色一色二色| 99啪啪网| 精品色色网| 久久大香蕉同僚| 男人的天堂婷婷色五月| 久久久久亚洲AV成人无码电影| 激情综合综合综合| 99在线视频女女视频| 欧美色五月| 久久精品人妻| 色婷婷国色天香综合| 538任你爽视频不一样的| 婷婷综合五月天| 99热国产免费| 激情五月丁香在线观看直播| 色色色在线| 琪琪色网址| 色综合伊人网| 人。妻久久| 国产裸舞福利资源在线视频| 亚洲一级AV在线免费播放| 少妇做爰免费视看片| 色爽九九| 婷婷六月花| 99热最新精品| 69人妻人人澡人人爽久久| 国产精品久久久久久亚洲毛片| 久久这里有精品| 婷婷五月免费观看| 大香蕉婷婷久久| 色网站9| 婷婷五月天激情小说| 日韩AAAAA| 六月色狠狠色| 高清视频一区| 狼人伊人干| 中文字幕按摩做爰| 精品在线网站| 九九99一区| 色。 日日日| 成人在线不卡| 婷婷久久婷婷色五月| 69超碰在线| 五月天激情电影| 91精品久久久久、久五月天| 激情综合五月.....| 成人在线精品| 欧美激情久| 亚洲AV成人无码精品| 婷婷五月天色| 日本欧美国产| 色五月激情五月天| 激情www.98com| 色婷五月| 婷婷五月网图片区| 丁香五月激情啪啪啪| 少妇人妻人伦A片| 久久女婷| 色婷婷五月天偷拍| 激情婷婷六月| 日本婷婷网| 婷婷永久在线| 玖玖色资源| 色婷婷av综合网| 丰满少妇猛烈A片免费看观看| 欧美天堂久久| 激情伊人五月天| 丁香五月狠狠综合欧美| 婷婷五月深情丁香深爱日韩| 热五月婷婷| 日本色超碰| 激情九月婷婷九月| 久久婷婷五月天| 五夜婷婷| 综合色色婷婷| 丁香六月情| 五月之婷婷| 79色色免费| 丁香五月综合福利视频导航| 色综合色综合婷婷热| 五月丁香激情综合| 91人人操.COM| 久久9久久| 人人操超碰| 日木WWW视频| 六月婷婷色综合| 色色色色网| 91啪啪视频| 国产成人综合在线| 狠狠干综合| 五月天婷婷无码| 色99热| 婷婷五月激情在线视频| 亚洲无码成人性爰网| 综合逼五月激情婷婷| WWW·天天操·视频?| 深爱婷婷基地| 色五月天.con| 操操啪| 久久久97| 五月天婷婷狠狠| 欧美亚洲成人在线| 日本在线wwww| 精品国产va久久久久| 免费成片在线观看| 色五月美女| 97成人丁香| 久热视频97AV在线观看| www.99.色| 丁香五月天大香蕉啪啪| 综合六月久久| 精品国婬伦V无码久久久| 久热久69| 五月天婷婷综合色| 伊人丁香在线| 9999热在线| 色色热日| 婷婷激情综合色五月久久91| 亚洲影院婷婷色| 伊人久久大香天蕉亚洲特级| 色色五月丁香婷婷综合| 婷婷五月精品中文| 色色五月丁香婷婷综合| 红桃91人妻爽人妻爽| 97超碰9久热婷婷热| 午夜福利成人AV91| 玖玖婷婷婷丁香五月| 99久re热| 香蕉国产2013| 五月丁香久久| 免費亭亭成人| 俺五月| 综合色色婷婷| 五月天婷婷丁香六月| 免费亚洲婷婷| 五月天婷婷免费| 91天天操天天干天天射| 99激情视频| 成人视频网| 五月Huangsewang| 国模狼狼| 激情五月天第四色| 婷婷在线综合| 亚洲Va成人| www.sd-xiangsu.cpm| 五月久久亚洲|