欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

CNN-GRU回歸預測與SHAP可解釋性分析完整實踐

CNN-GRU回歸預測與SHAP可解釋性分析完整實踐 之前在做回歸預測任務時最難受的點往往不是模型效果上不來而是模型給出一個預測值之后很難向業(yè)務方解釋清楚“為什么是這個值”。為了解決這個問題我采用了CNN-GRU 混合模型作為預測主體并結合SHAP 值分析每個特征對預測結果的貢獻。網(wǎng)上關于 CNN-GRU 做分類或回歸的例子很多但不少文章只貼代碼、不解釋維度變化也沒有把 SHAP 解釋的完整流程整合進去。這篇文章把我實際使用的代碼、訓練流程和可解釋性分析整理成一套可直接運行的教程希望對正在做回歸預測的你有所幫助。本文覆蓋以下內(nèi)容CNN-GRU 混合模型的核心原理回歸預測數(shù)據(jù)的滑窗構建與歸一化方法使用 PyTorch 搭建 CNN-GRU 回歸模型模型訓練、評估指標解讀SHAP 值的計算與可視化分析常見報錯和工程化建議。1. 背景與核心概念1.1 CNN-GRU 是什么CNN-GRU 是由卷積神經(jīng)網(wǎng)絡CNN和門控循環(huán)單元GRU組合而成的混合網(wǎng)絡結構。CNNConvolutional Neural Network善于提取局部特征。在一維時間序列數(shù)據(jù)中卷積核可以捕捉相鄰時間步之間的局部模式比如短期的趨勢變化、周期性波動等。GRUGated Recurrent Unit是 LSTM 的簡化變體通過更新門和重置門控制信息的保留與遺忘。GRU 適合建模長距離依賴關系同時參數(shù)量比 LSTM 更少訓練效率更高。將兩者串聯(lián)是一種常見做法先用 CNN 從原始輸入中提取局部特征再把 CNN 的輸出按照時間順序送入 GRU讓 GRU 繼續(xù)捕捉時間維度上的長期依賴。1.2 為什么用 CNN-GRU 做回歸預測很多真實場景中的回歸預測面對的是多變量時間序列數(shù)據(jù)比如根據(jù)過去 24 小時的多維環(huán)境數(shù)據(jù)預測未來氣溫根據(jù)歷史交易數(shù)據(jù)預測下一時段銷量根據(jù)設備傳感器數(shù)據(jù)預測剩余壽命根據(jù)歷史負荷數(shù)據(jù)預測未來用電量。這些數(shù)據(jù)通常同時具有“局部相關性”和“長期依賴性”。如果只用 CNN模型感受野有限難以建模長期依賴如果只用 GRU序列較長時訓練速度更慢而且對局部特征的提取不夠直接。CNN-GRU 先做局部特征抽象再做時序建模在很多回歸任務上效果優(yōu)于單一模型。1.3 為什么引入 SHAP 值回歸預測模型光有精度還不夠。當我們想判斷“哪個特征對預測結果影響最大”或者“某條預測為什么偏高”時就需要對模型做可解釋性分析。SHAPSHapley Additive exPlanations是一種基于博弈論 Shapley 值的模型解釋方法。它的核心思想是每個特征對預測結果的貢獻可以量化且所有特征的貢獻之和等于模型預測值相對于基線預測值的偏離程度。在復雜深度學習模型中SHAP 可以告訴我們哪些特征對預測結果影響最大樣本級別上某個特征取值是拉高了預測值還是拉低了預測值特征與預測結果之間是正相關還是負相關。所以CNN-GRU 負責把預測精度做到位SHAP 負責把預測結果解釋清楚兩者結合是一條很實用的工程路徑。2. 環(huán)境準備與項目結構2.1 運行環(huán)境說明下面的代碼以 Python 3.9 為例需要安裝以下依賴。具體版本請根據(jù)你的實際環(huán)境調(diào)整本文重點演示實現(xiàn)思路pip install numpy pandas matplotlib scikit-learn torch shap如果你使用 GPU 版本的 PyTorch 訓練需要提前安裝對應 CUDA 版本的 torch如果只是學習演示CPU 版本也能跑通。2.2 項目結構建議按照下面的目錄組織代碼cnn_gru_regression/ ├── main.py # 完整訓練與評估流程 ├── model.py # CNN-GRU 模型定義 ├── data_utils.py # 數(shù)據(jù)生成與滑窗處理 ├── explain.py # SHAP 可解釋性分析 └── requirements.txt # 依賴清單如果你希望代碼更集中也可以把全部內(nèi)容寫在一個腳本里。為了便于閱讀本文按照功能拆分講解最后你可以把代碼匯總到一個文件中運行。3. 回歸預測數(shù)據(jù)準備3.1 使用模擬數(shù)據(jù)快速驗證我們先寫一個模擬數(shù)據(jù)生成函數(shù)。這個函數(shù)會生成 4 個與目標值存在線性關系的時間序列特征并加入少量噪聲。# 文件路徑data_utils.py import numpy as np import pandas as pd def generate_demo_data(n_samples1500): 生成多變量回歸預測模擬數(shù)據(jù)。 參數(shù) n_samples: 樣本點數(shù)量 返回 pandas.DataFrame包含 4 個特征列和 1 個目標列 t np.arange(n_samples) # 構造4個特征每個特征有不同周期和噪聲 feature1 np.sin(2 * np.pi * t / 50) 0.1 * np.random.randn(n_samples) feature2 np.cos(2 * np.pi * t / 30) 0.1 * np.random.randn(n_samples) feature3 0.02 * t 0.2 * np.random.randn(n_samples) feature4 0.5 * np.sin(2 * np.pi * t / 7) 0.2 * np.random.randn(n_samples) # 目標值與特征之間保持線性組合方便后續(xù)用 SHAP 驗證解釋效果 target ( 2.5 * feature1 1.5 * feature2 0.8 * feature3 - 1.2 * feature4 0.3 * np.random.randn(n_samples) ) df pd.DataFrame({ feature1: feature1, feature2: feature2, feature3: feature3, feature4: feature4, target: target, }) return df這個方法的好處是數(shù)據(jù)可以自己生成代碼復制后能直接運行。如果你有自己的數(shù)據(jù)集只需要把“讀入 DataFrame包含特征列和目標列”這一步替換掉即可。3.2 滑窗樣本構建回歸預測里我們通常不能直接用單條樣本做預測而是用過去一段時間的特征序列預測下一個時間點的值。這個“過去一段時間”就叫做時間窗口對應的處理方式叫“滑窗”或“滾動窗口”。# 文件路徑data_utils.py def create_sequences(data, feature_cols, target_col, window_size24): 構建滑窗樣本。 參數(shù) data: DataFrame包含特征列和目標列 feature_cols: 特征列名列表 target_col: 目標列名 window_size: 時間窗口長度 返回 X: shape 為 (樣本數(shù), window_size, 特征數(shù)) 的數(shù)組 y: shape 為 (樣本數(shù),) 的數(shù)組 X, y [], [] for i in range(len(data) - window_size): X.append(data[feature_cols].iloc[i: i window_size].values) y.append(data[target_col].iloc[i window_size]) return np.array(X), np.array(y)這里需要注意窗口長度window_size決定了模型每次能看到多長的歷史信息。窗口太短會丟失長期依賴窗口太長會增加計算量也可能會引入過多噪聲。一般可以先通過實驗對比不同窗口大小再確定適合業(yè)務場景的值。3.3 時間順序切分與歸一化時序預測和普通機器學習不一樣不能隨機打亂數(shù)據(jù)再切分否則會造成“未來信息泄漏”。也就是說如果用后面的數(shù)據(jù)去訓練模型、預測前面的數(shù)據(jù)評估結果會虛高。這里我們按時間順序前 80% 作為訓練集后 20% 作為測試集。def load_train_test_data(window_size24, test_ratio0.2): 生成數(shù)據(jù)并切分為訓練集和測試集按時間順序切分。 feature_cols [feature1, feature2, feature3, feature4] target_col target data generate_demo_data(1500) split_idx int(len(data) * (1 - test_ratio)) train_df data.iloc[:split_idx] test_df data.iloc[split_idx:] # 分別對訓練集和測試集做歸一化 # 注意歸一化參數(shù)只能用訓練集 fit測試集直接 transform from sklearn.preprocessing import MinMaxScaler scaler_X MinMaxScaler() scaler_y MinMaxScaler() train_X_scaled scaler_X.fit_transform(train_df[feature_cols]) train_y_scaled scaler_y.fit_transform(train_df[[target_col]]) test_X_scaled scaler_X.transform(test_df[feature_cols]) test_y_scaled scaler_y.transform(test_df[[target_col]]) train_df_scaled pd.DataFrame(train_X_scaled, columnsfeature_cols) train_df_scaled[target_col] train_y_scaled test_df_scaled pd.DataFrame(test_X_scaled, columnsfeature_cols) test_df_scaled[target_col] test_y_scaled # 構建滑窗樣本 X_train, y_train create_sequences(train_df_scaled, feature_cols, target_col, window_size) X_test, y_test create_sequences(test_df_scaled, feature_cols, target_col, window_size) return X_train, y_train, X_test, y_test, scaler_y關于歸一化有兩個容易踩的坑整個數(shù)據(jù)集只 fit 一次MinMaxScaler然后在所有數(shù)據(jù)上 transform這在時序場景里是不可取的。因為訓練集之外的“未來數(shù)據(jù)”參與了歸一化參數(shù)計算相當于把未來的分布信息提前暴露給了模型。目標變量y也需要歸一化。深度學習模型直接回歸一個量綱較大的數(shù)值時損失值可能很大訓練不穩(wěn)定。這里我們把目標值歸一化到[0,1]區(qū)間訓練結束后再把預測結果反歸一化。4. 構建 CNN-GRU 回歸預測模型4.1 模型結構定義下面是模型的完整定義。# 文件路徑model.py import torch import torch.nn as nn class CNNGRU(nn.Module): def __init__(self, n_features, hidden_size64, num_layers1, dropout0.1, output_size1): super(CNNGRU, self).__init__() # 1D 卷積層輸入通道為特征數(shù)輸出通道為 32 self.conv1 nn.Conv1d( in_channelsn_features, out_channels32, kernel_size3, padding1 ) self.relu nn.ReLU() self.pool nn.MaxPool1d(kernel_size2) # GRU 層輸入大小是 CNN 輸出通道數(shù) self.gru nn.GRU( input_size32, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, dropoutdropout if num_layers 1 else 0 ) # 全連接輸出層 self.fc nn.Linear(hidden_size, output_size) def forward(self, x): # 輸入 x 形狀: (batch_size, seq_len, n_features) # CNN 期望輸入形狀是 (batch_size, channels, seq_len) x x.permute(0, 2, 1) # 經(jīng)過卷積、激活、池化 x self.conv1(x) # (batch_size, 32, seq_len) x self.relu(x) x self.pool(x) # (batch_size, 32, seq_len // 2) # 轉回 GRU 需要的形狀: (batch_size, seq_len, input_size) x x.permute(0, 2, 1) # GRU 前向傳播取最后一個時間步輸出 out, _ self.gru(x) # out: (batch_size, seq_len, hidden_size) out out[:, -1, :] # 取最后一個時間步 # 全連接輸出 out self.fc(out) # (batch_size, 1) return out4.2 維度變化分析很多初學者第一次看這段代碼會卡在維度變化上這里梳理一下操作輸入形狀輸出形狀原始輸入(batch, seq_len, n_features)(batch, seq_len, n_features)permute 轉置(batch, seq_len, n_features)(batch, n_features, seq_len)Conv1d(batch, n_features, seq_len)(batch, 32, seq_len)ReLU(batch, 32, seq_len)(batch, 32, seq_len)MaxPool1d(batch, 32, seq_len)(batch, 32, seq_len // 2)permute 轉置(batch, 32, seq_len // 2)(batch, seq_len // 2, 32)GRU(batch, seq_len // 2, 32)(batch, seq_len // 2, hidden_size)取最后一個時間步(batch, seq_len // 2, hidden_size)(batch, hidden_size)Linear(batch, hidden_size)(batch, 1)需要注意MaxPool1d 的kernel_size2會讓序列長度減半。如果seq_len是奇數(shù)比如window_size25池化后長度會變成12對應關系可能變得不直觀因此建議優(yōu)先使用偶數(shù)窗口長度。4.3 為什么先 CNN 再 GRU這里簡單解釋一下設計動機CNN 的卷積核對局部模式敏感可以自動提取“相鄰幾個時間步之間的組合特征”經(jīng)過 MaxPooling 后序列長度縮短計算量降低也起到一定的特征壓縮作用GRU 接收 CNN 提取的高層特征序列繼續(xù)建模長期依賴最后用全連接層把 GRU 最后一個時間步的隱藏狀態(tài)映射為標量預測值。如果任務本身序列較短、特征較少也可以去掉 MaxPooling只保留卷積和 GRU。示例代碼保留池化是為了展示一種更通用的結構。5. 訓練與回歸評估5.1 數(shù)據(jù)集封裝與數(shù)據(jù)加載器我們使用 PyTorch 的TensorDataset和DataLoader來管理數(shù)據(jù)。from torch.utils.data import TensorDataset, DataLoader import torch X_train, y_train, X_test, y_test, scaler_y load_train_test_data(window_size24) # 轉換為 PyTorch Tensor X_train_t torch.FloatTensor(X_train) y_train_t torch.FloatTensor(y_train).view(-1, 1) X_test_t torch.FloatTensor(X_test) y_test_t torch.FloatTensor(y_test).view(-1, 1) train_dataset TensorDataset(X_train_t, y_train_t) test_dataset TensorDataset(X_test_t, y_test_t) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) test_loader DataLoader(test_dataset, batch_size64, shuffleFalse)這里有一個細節(jié)訓練數(shù)據(jù)加載時shuffleTrue但是測試數(shù)據(jù)shuffleFalse。因為訓練時我們希望每個 batch 的樣本盡量隨機幫助模型穩(wěn)定收斂測試時不需要打亂順序方便后續(xù)計算指標和可視化。5.2 模型初始化與訓練循環(huán)import torch.nn as nn import torch.optim as optim # 固定隨機種子保證結果可復現(xiàn) torch.manual_seed(42) model CNNGRU(n_featuresX_train.shape[2], hidden_size64) criterion nn.MSELoss() optimizer optim.Adam(model.parameters(), lr0.001) epochs 30 for epoch in range(epochs): model.train() train_loss 0.0 for X_batch, y_batch in train_loader: optimizer.zero_grad() y_pred model(X_batch) loss criterion(y_pred, y_batch) loss.backward() optimizer.step() train_loss loss.item() * X_batch.size(0) avg_train_loss train_loss / len(train_dataset) # 每個 epoch 后評估一次測試集 model.eval() test_loss 0.0 with torch.no_grad(): for X_batch, y_batch in test_loader: y_pred model(X_batch) loss criterion(y_pred, y_batch) test_loss loss.item() * X_batch.size(0) avg_test_loss test_loss / len(test_dataset) if (epoch 1) % 5 0: print(fEpoch {epoch 1}/{epochs}, Train Loss: {avg_train_loss:.6f}, Test Loss: {avg_test_loss:.6f})訓練過程中有兩個環(huán)境非常重要model.train()與model.eval()訓練模式會啟用 Dropout 等隨機操作而評估模式會固定這些操作保證測試輸出穩(wěn)定。with torch.no_grad()推理階段不需要計算梯度既省內(nèi)存又加快速度。5.3 回歸評估指標回歸預測常用三個指標MSE、MAE、R2。from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score model.eval() with torch.no_grad(): y_pred_all model(X_test_t).numpy().flatten() y_test_all y_test_t.numpy().flatten() # 反歸一化恢復真實尺度 y_pred_inv scaler_y.inverse_transform(y_pred_all.reshape(-1, 1)).flatten() y_test_inv scaler_y.inverse_transform(y_test_all.reshape(-1, 1)).flatten() mse mean_squared_error(y_test_inv, y_pred_inv) mae mean_absolute_error(y_test_inv, y_pred_inv) r2 r2_score(y_test_inv, y_pred_inv) print(fMSE: {mse:.4f}) print(fMAE: {mae:.4f}) print(fR2: {r2:.4f})各指標含義MSE均方誤差預測值與真實值差值的平方的平均值。MSE 對較大誤差更敏感適合關注極端偏差的場景。MAE平均絕對誤差預測值與真實值差值的絕對值的平均值。它直接反映平均誤差大小單位與真實值一致。R2決定系數(shù)表示模型解釋了目標變量多少方差。R2 越接近 1說明模型擬合效果越好R2 為 0 說明模型與直接預測平均值差不多R2 為負數(shù)說明模型效果比平均值預測還差。反歸一化這一步容易被忽略。因為訓練時對y做了MinMaxScaler所以模型輸出的是歸一化后的值。要計算真實尺度下的誤差指標必須先調(diào)用scaler_y.inverse_transform還原。5.4 可視化預測曲線為了更直觀地觀察預測效果可以把測試集上的真實值和預測值畫成曲線。import matplotlib.pyplot as plt plt.figure(figsize(12, 4)) plt.plot(y_test_inv[:200], labelTrue, linewidth2) plt.plot(y_pred_inv[:200], labelPred, linewidth2) plt.legend() plt.title(CNN-GRU Regression Prediction Results) plt.xlabel(Sample Index) plt.ylabel(Target Value) plt.savefig(prediction_result.png, dpi150) plt.show()如果前 200 個測試點上兩條曲線整體趨勢一致說明模型已經(jīng)學到了基本的時序規(guī)律。6. 使用 SHAP 解釋模型6.1 SHAP 原理簡介SHAP 的核心思想是 Shapley 值。它把模型預測值拆解為“基線值 每個特征的貢獻值”?;€值通常是訓練集上預測值的平均值。對于一條樣本假設模型預測值為f(x)基線值為E[f(x)]那么有f(x) E[f(x)] sum(每個特征的SHAP值)當一個特征的 SHAP 值為正表示該特征把預測值向上推動SHAP 值為負表示把預測值向下拉低。SHAP 值的絕對值越大說明該特征對這條樣本的影響越強。6.2 DeepExplainer 使用方法對于 PyTorch 模型SHAP 庫提供了DeepExplainer。它適用于深度學習模型計算效率比KernelExplainer更高。# 文件路徑explain.py import shap import torch # 將模型切換到評估模式 model.eval() # 選擇一部分測試樣本作為背景數(shù)據(jù) background X_test_t[:100] # 這里取少量測試樣本做解釋避免計算時間過長 X_explain X_test_t[:10] # 創(chuàng)建 DeepExplainer explainer shap.DeepExplainer(model, background) # 計算 SHAP 值 shap_values explainer.shap_values(X_explain)注意兩點background是背景樣本主要用來估計基線值。數(shù)量不一定要很多50 到 100 條通常就夠用但需要覆蓋訓練集中比較典型的特征分布。shap_values在DeepExplainer中通常返回一個列表。因為模型輸出維度是 1所以我們要看的是shap_values[0]。shap_values[0]的形狀與輸入數(shù)據(jù)一致也就是(樣本數(shù), 時間步數(shù), 特征數(shù))這意味著 SHAP 給出的不僅是“哪個原始特征重要”還包括“哪個時間步上的哪個特征重要”。這比普通表格數(shù)據(jù)回歸的解釋細節(jié)更豐富。6.3 特征重要性可視化如果我們只關心原始特征的整體重要性可以把所有時間步的 SHAP 絕對值求和。import numpy as np # shap_values[0] 形狀: (10, window_size, n_features) shap_values_0 np.array(shap_values[0]) # 對所有測試樣本和時間步求和得到每個原始特征的貢獻 feature_names [feature1, feature2, feature3, feature4] importance np.abs(shap_values_0).sum(axis(0, 1)) # (n_features,) for name, imp in zip(feature_names, importance): print(f{name}: {imp:.4f}) # 排序后可視化 sorted_idx np.argsort(importance)[::-1] plt.figure(figsize(8, 4)) plt.bar([feature_names[i] for i in sorted_idx], importance[sorted_idx]) plt.title(Feature Importance by SHAP) plt.xlabel(Feature) plt.ylabel(Mean |SHAP|) plt.tight_layout() plt.savefig(shap_feature_importance.png, dpi150) plt.show()在這個模擬數(shù)據(jù)里理論上feature1對目標值影響最大因為它的系數(shù)是 2.5。如果 SHAP 結果也顯示feature1的重要性最高說明模型學到的關系和數(shù)據(jù)生成邏輯基本一致。6.4 蜜蜂圖與依賴圖SHAP 庫自帶的summary_plot可以畫出“蜜蜂圖”既能反映特征重要性也能反映特征取值與 SHAP 值的正負關系。由于我們的輸入是三維的滑窗數(shù)據(jù)直接傳入原始X_explain會讓summary_plot難以解釋。為了方便展示我們可以把三維數(shù)據(jù)展平成二維并生成對應的扁平特征名。# 將 (10, window_size, n_features) 展平為 (10, window_size * n_features) X_flat X_explain.numpy().reshape(X_explain.shape[0], -1) # 生成扁平特征名 flat_names [] for t in range(X_explain.shape[1]): for f in feature_names: flat_names.append(ft{t}_{f}) shap_values_flat shap_values_0.reshape(shap_values_0.shape[0], -1) shap.summary_plot(shap_values_flat, X_flat, feature_namesflat_names, showFalse) plt.tight_layout() plt.savefig(shap_summary_plot.png, dpi150) plt.show()蜜蜂圖怎么看橫軸是 SHAP 值。某個點落在正半軸說明該樣本在這個特征上的取值讓預測值升高落在負半軸說明降低。點的顏色表示該特征在當前樣本中的實際大小顏色越紅表示數(shù)值越大顏色越藍表示數(shù)值越小。特征按重要性從上到下排列越靠上越重要。如果你只關心第一個時間步的特征也可以單獨取出對應切片# 只看第一個時間步 shap_summary_first_timestep shap_values_0[:, 0, :] X_first_timestep X_explain.numpy()[:, 0, :] shap.summary_plot(shap_summary_first_timestep, X_first_timestep, feature_namesfeature_names, showFalse) plt.tight_layout() plt.savefig(shap_summary_first_timestep.png, dpi150) plt.show()這種方式適合觀察“最近一個時間步”中哪些特征對預測影響最大。實際應用中你可以根據(jù)業(yè)務需求選擇查看某個時間步或全部時間步。6.5 為什么 SHAP 值要配合業(yè)務解讀SHAP 只能解釋“模型學到了什么”不能保證“真實的因果關系就是如此”。比如某個特征和預測值高度相關但它可能只是間接關聯(lián)而不是直接原因。所以做技術解釋時要把 SHAP 結果當作模型行為的證據(jù)之一而不是因果結論。7. 常見問題與排查思路在實際運行過程中經(jīng)常遇到下面幾個問題。問題現(xiàn)象常見原因解決思路模型訓練 loss 不下降數(shù)據(jù)未歸一化或學習率過大/過小檢查特征和目標值是否做了歸一化嘗試 lr0.001 或 0.0001測試集 R2 很低甚至為負訓練集和測試集數(shù)據(jù)分布差異過大或滑窗窗口太小檢查切分方式增大 window_size檢查數(shù)據(jù)是否存在強非平穩(wěn)性Conv1d 維度不匹配輸入形狀不是(batch, channels, seq_len)在進入卷積前用x.permute(0, 2, 1)調(diào)整維度MaxPool1d 后序列長度異常window_size為奇數(shù)調(diào)整窗口為偶數(shù)或不使用池化層SHAP 計算非常慢背景數(shù)據(jù)過多或者解釋樣本數(shù)量過大減小 background 數(shù)量比如 50 條減小 X_explain 數(shù)量DeepExplainer 報錯模型不在 eval 模式或數(shù)據(jù)類型不是 FloatTensor調(diào)用model.eval()確認輸入 tensor 使用torch.float32預測值始終接近某個常數(shù)模型欠擬合或者目標值分布非常集中增加訓練輪數(shù)調(diào)整隱藏層維度檢查數(shù)據(jù)生成邏輯下面單獨講一個高頻問題訓練時 loss 很低測試時 loss 很高。這在回歸預測中通常表示過擬合。常見解決辦法是增加訓練數(shù)據(jù)量減小模型復雜度比如減少 GRU 隱藏層維度加入 Dropout并在模型定義時對 GRU 多層場景設置dropout引入早停機制當測試 loss 連續(xù)若干輪不再下降時停止訓練。8. 最佳實踐與工程建議8.1 時間順序切分避免數(shù)據(jù)泄漏處理時序數(shù)據(jù)時不能直接使用train_test_split(random_state42)隨機打亂。應該按照時間順序劃分訓練集、驗證集和測試集并且驗證集和測試集都必須是訓練集之后的時間段。這樣才能真實模擬模型在“未來”數(shù)據(jù)上的表現(xiàn)。8.2 歸一化參數(shù)只能來自訓練集標準化的核心原則是scaler只能fit在訓練集上然后transform訓練集、驗證集和測試集。如果對整個數(shù)據(jù)集一起fit測試集的信息就會間接進入訓練過程導致評估結果偏樂觀。8.3 固定隨機種子深度學習模型帶有隨機性比如權重初始化、數(shù)據(jù)加載順序等。在實驗階段建議統(tǒng)一設置隨機種子import random import numpy as np import torch random.seed(42) np.random.seed(42) torch.manual_seed(42)如果使用 CUDA還需要設置if torch.cuda.is_available(): torch.cuda.manual_seed_all(42)這樣才能保證多次實驗的結果可比較。8.4 模型保存與加載訓練完成后可以用torch.save保存模型參數(shù)torch.save(model.state_dict(), cnn_gru_model.pth)加載時先實例化同一個模型再load_state_dictmodel CNNGRU(n_featuresX_train.shape[2], hidden_size64) model.load_state_dict(torch.load(cnn_gru_model.pth)) model.eval()注意這里保存的是模型參數(shù)不包含模型結構。如果你換了一臺機器運行需要保證model.py中的CNNGRU類定義一致。8.5 SHAP 解釋的工程化落地在業(yè)務系統(tǒng)中如果每次預測都要重新計算 SHAP開銷會比較大。你可以把測試集上的 SHAP 特征重要性結果保存下來作為模型的解釋報告也可以在模型服務層預留一個“解釋接口”只在需要分析特定樣例時才調(diào)用 SHAP。8.6 超參數(shù)調(diào)整建議CNN-GRU 中比較關鍵的超參數(shù)包括卷積核大小用于控制局部感受野一般取 3、5、7卷積輸出通道數(shù)控制特征抽象能力常見取值 32、64GRU 隱藏層維度控制時序記憶容量常見取值 32、64、128學習率一般從 0.001 開始訓練不收斂時降低到 0.0005 或 0.0001Batch Size根據(jù)顯存大小和數(shù)據(jù)量調(diào)整常見取值 32、64、128。建議先用小規(guī)模的模型和少量數(shù)據(jù)跑通流程再逐步擴大參數(shù)。這樣能更快定位問題。9. 總結與學習路線這篇文章圍繞CNN-GRU 回歸預測整理了一套完整的代碼實踐使用 CNN 提取局部特征使用 GRU 建模時序依賴使用滑窗和歸一化處理回歸預測數(shù)據(jù)自定義CNNGRU模型完成訓練和評估使用 MSE、MAE、R2 三個指標評估效果使用 SHAP 值的DeepExplainer計算特征貢獻并繪制特征重要性圖和蜜蜂圖。如果你還想繼續(xù)深挖可以從以下幾個方向入手嘗試用Seq2Seq Attention結構做多步回歸預測在 SHAP 的基礎上加入dependence_plot依賴圖分析單個特征與預測結果的關系對比 CNN-LSTM 與 CNN-GRU 在當前數(shù)據(jù)上的效果差異在真實業(yè)務數(shù)據(jù)上測試不同窗口長度對預測效果的影響將模型封裝成 Flask 或 FastAPI 服務實現(xiàn)在線預測和解釋報告輸出。希望這篇文章能幫你跑通 CNN-GRU 回歸預測的完整鏈路也讓你在向業(yè)務方解釋模型時不再無從下手。你可以把代碼保存下來先在自己的數(shù)據(jù)集上試一遍再根據(jù)實際數(shù)據(jù)分布調(diào)整窗口大小和模型參數(shù)。如果遇到本地環(huán)境問題也歡迎對照第 7 節(jié)的排查表格逐步檢查。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月香蕉综合| 色五月久久成人婷婷| 超碰a女人的天堂| 婷婷情色五月天| 超碰97干| 激情五月天网页| 婷婷色综合网日韩国产| 亚洲五月婷婷| 99免费在线视频| 97色碰| 亚洲V国产V欧美V久久久久久| 色欲AV导航| 色色激情五月| 色五月婷婷天堂| 天天干天天色综合| 激情綜合網址| 国产VA亚洲VA96| 成人婷婷| 久久久久久久久久久44| AV九九| 看久久性爱视频| 91碰碰碰| 激情图片99| 99精品在线观看| 久久久久久性爱视频| 伊人激情| 黄色精品五月婷婷| 伦99热| 久久婷婷老| 色噜噜狠狠色综合日日| 色欲天天综合| 五月四色色| 91丨九色|PRNY熟妇| www五月婷婷88导航| 五月婷婷久久大香蕉| 久热精品视频| 激情婷婷综合| 综合综合色色| www.av视频xx999.com| 日韩美女在线视频19| 国产FREESEXVIDEOS性中国| 五月天婷婷视频小说| 欧美综合婷婷网| 激情综合网五月在线播放| 人人草碰| 玖玖色资源| 婷婷六月啪啪| 九九操操| 狠狠干综合| 日韩AAAAAAAAAAA片| 丁香五月激情婷婷视频| 欧美三级级99久久| 日韩激情网站| 综合久久六月| 四川操逼站| 激情色五月天| 激情五月婷婷| 五月天综合| 五月天婷婷AV| 天天综合 99久久婷婷| 天天看夜夜看| 久久精品亚洲热| 五月激情综合网婷婷| 91人人爽久久涩噜噜噜| 色五月婷婷五月丁香五月| 天天开心婷婷丁香五月| 丁香午月AV中文字幕| 欧美色99| 性色人人爽| 激情亭亭五月| 99热大| av国产精品| 日亚二欧美| 色婷婷亚洲婷婷在线观看| www.五月天婷婷姐姐| 二区成人视频| 色色狼人综合| 久久蜜臀婷婷| 99久久97| 婷婷五月欧美| www.com亚洲网站在线免费| 久久久中文| 99久久婷婷五月综合| 狠狠干天天日| 99精品久久久久久久婷婷| 日日懆天天懆| 五月情婷婷五月| 色五月综合网| 123草逼网| 色五月噜噜| 伊人激情网| 月色色综合婷婷网| 五月丁香啪啪啪综合网| 色狠狠五月天| 欧美内射AAAAAAXXXXX| 青青草视频免费观看| 伊人综合网站| 一区二区三区XXXXXX| 99伊人性爱在线影院| 欧洲一区二区| 五月天婷婷色小说| 女人被男人吃奶到高潮| 亚洲色网址| 中文字幕欧美日韩VA免费视频| 日韩成人无码| 久久婷五月综合| 婷婷色五月噜噜| 狠狠操在线视频| 天天舔天天爽| 日日干四虎| 免费操超碰| 99ri在线| 欧美丁香婷婷五月| 国产又色又爽又黄又免费| 国产一级黄色影片,| 欧美色色色色色色色色色色| 天堂五月婷婷| 日日干日日| 99热综合| 大香蕉丁香婷婷| 久久婷婷五月综合啪| 人人色人人摸人人看| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 99精品这里只有免费视频| 99热这里只有精品69| 激情综合网五月婷婷| 色色色免费视频| 国产国产乱老熟女视频网站97| 国产小精品| www天堂99| 久热AA| 色宗合,宗合网| 色五月综合激情| 五月婷婷狠狠干| 99国产精品久久久久久久久久久| 婷婷丁香综合| 天天橾日日橾夜夜橾17| 激情五月综合| a九九热www| 久久伊人日日夜夜| 婷色五月天| 国产黄色大片| 五月综合婷婷开心网| 激情丁香五月婷婷| AV成人在线网站| 五月天色综合| 曰曰久久| 超碰人人干| 国产成人av在线播放| 五月天丁香婷婷视频网址 | 色婷操逼| 手机旧版看人妻1025| 99色一| 天天操综合网| 色噜婷婷| WWW,五月| 色八戒操婷婷| 五月激情偷拍| 中文字幕丰满乱孑伦无码专区 | 五月天婷婷色小说| 日韩ww| 天天插天天插天天日| 色偷偷综合| 嫩草AV久久伊人妇女超级A| 色五月婷婷基地| 亚洲婷婷欧美婷婷| www.yw色| 五月婷婷六月色| 丁香五月成人| 五月婷婷天天色| 99热国产精品| 久久狠狠欧美| 狠狠干,狠狠操| 国产五月天婷婷| 色五婷婷开心缴| 精品欧美一区二区三区久久久| 亚洲欧洲99| 激情六月丁香| 婷婷九月色| 九九五月天| 亚洲成人超碰| 黄色三级日本| 久久婷婷五月国产色综合激情| 26.uuu丁香五月婷婷| 欧美天天搞| 色99在线视频| 久久久.COM| 九九视屏| 婷婷五月色播网| 欧美色色色色色色色色色色| 开心六月婷| 亚洲综合在线视频| 狠狠干总合| 欧美激情综合五月色丁香| 人人爱天天摸摸天天爱| 99色人| 久久婷婷五月综合色和| 狠狠情色| 开心婷婷五月| 亭亭社区五月天| 99热传媒| 香蕉人在线香蕉人在线 | 婷婷七月丁香色色| 综合五月婷婷| 欧美日韩大黄| 98热精品| 另类图片激情五月| 亚洲综合新99视频| 色色五月天 亚洲| 国产精品VA在线| 久操干| 天天色天天操天天射| 超碰93在线观看| 亚洲中文字幕AV| 五月婷婷开心深| 成人无码髙潮喷水A片| 五月丁香伊人网| www.91AV.com| 人人爱操| 色色色色色色色色色999| 色九九一二| 天天噜日日噜综合无码| 森林影视大全,最好看的2019年视频 | 久久久网站| 婷婷五月成人有| 丁香五月婷婷综合啪啪| 中文字幕在线免费| 亚洲网站观看视频| 无码啪啪| 思思 热 99| 丁香激情久久| 无语停婷丁香网| 色亚洲激情| 九月丁香亭亭| 国产黄色大片| 日本人妻A片成人免费看片| 五月天婷婷六月| 丰满少妇猛烈A片免费看观看| 日日爱激情| 色99网| 四川女人毛多水多A片| 天天综合中文| 五五月五月| 激情综合色婷婷啪啪六月天| 国产在线网| 激情丁香九九五月综合网| 99热99热在线观看| 91久久久久久久91| 人妻视频一区而且二区| 色婷婷五月在线| 婷婷伊人久久综合| 99精品视频在线6| 亚洲区1| 夜夜干天天操| 伊人久久大香蕉网| 99热这里只有精品86| 国产激情综合五月久久| 99ri视频在线观看| 日韩AC在线免费观看| 久久三级视频| 丁香狠狠色婷婷| 99久久综合网| 综合久久婷婷五月丁香| 婷婷99中文字幕| 我淫我色婷婷五月天激情四射| 玖玖综合色| 色99热| 久久这里只有精品热在99| 婷婷开心激情综合五月天| www.婷婷| 色啪综合| 91黄址| 伊人超碰在线| 九九热123| 五月天伊人| 操日视频| 婷婷六月色| 五月丁香另类网| 五月色婷婷亚洲 | 噼里啪啦完整版中文在线观看| 九色无码| 久久免费婷婷视频| 99热只有精| 丁香婷婷久久| 久久欧洲久久| 五月天另类小说亚洲| 五月婷婷偷拍| 五月天天堂久久| 97久久婷婷色| 99久久婷婷综合| 日日影院 | 丁香六月综合激情| 在线成人网址| 成人国产综合| 婷婷丁香五月激情| 久久只有18视频| 久热中文字幕| 丁香五月婷婷啪啪| 九九99九九99九九99视频网| 99久在线观看| 一级黄色影片| 婷婷久热| 久久曰曰| av中文网| 去色色五月天| www.9797国产| 99久久婷婷国产综合| 9热精品| 26uuu精品一区二区| 日本五月天激情| 激情综合网,婷婷| 激情五月伊人婷婷| 五月丁香六月婷婷a v| 天天在线久久综合 | 综合久久久| 久操大| 91超碰在线播放| 99热这里只有精品2| 日韩久久系列| 99热一本久道| 九九色热| 思思热在线精品视频网站| 亚洲色婷婷网站| 久久这里只有精品16| 欧美激情凹凸丁香网| 天天插天天| 91精品综合久久久久久五月丁香| 婷婷精品性性性性性性性| 日本久久爱| 色综合久久五月天| 日日干天天爽| 丁香五月天大香蕉啪啪| 中文字幕欧美久久| 丁香六月婷婷久久综合八月| 婷婷爱婷婷| 国产精品久久久60086| 日韩在线aaa| 五月天成人综合| 99热66| 来吧亚洲综合网| 色五月天丁香婷婷| 1000部毛片A片免费观看| 91干婷婷| 97久久人人操| 五月丁香激情六月| 久操婷婷| 碰久久精品w| WWW免费视频碰碰碰碰| 九九色精品| 丁香婷婷偷拍| 99久精品视频| 丁香五月开心七月| 99福利导航| 99久久99热| 久久婷婷欧美| 在线视频另类| 婷久久高清| www.91在线观看| 日本高清久久| 天天爽,夜夜爽| 99久久极情精品一区| 国产性av| 久青操| 亚洲激情五月婷婷日日| 欧美天堂久久| 丝袜熟女一区二区三区| 人人爽在线视频综合网| 日本色色网站| 一二线视频 另类| 丁香综合久久| 五月婷婷免费| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 欧美性猛交 XXXX 乱大交| 热99.com婷婷| 森林影视大全,最好看的2019年视频 | 欧美性猛交AAAA片黑人 | 五月婷婷碰碰| 电影蜘蛛女| 操操操Av| 五月丁香六月综合图| 色哟哟www| 五月天婷爱综合| 九久9精品| 91久久18| 五月综合婷婷久久在线| 99热最新| 99热欧美| 91成人视频| 4438全国最大视频成人网站在线观看| 激情婷婷综合| 五月天com| 婷婷五月天亚洲综合| 六月婷婷亚洲| 99热精品在线观看| 色亚洲无码| 五月婷婷丁香五月 | 日本激情综合| 日韩黄在免| 99re熱| 亚洲 视频 导航 一区| 久久久久久婷| 五月丁香激情深爱婷婷| 成人在线观看精品| 色五月天网| 婷婷综合五月| 丁香五月婷婷综合视频| 日日噜噜夜夜狠狠久久丁香五月| 五月丁香婷婷久久| 99精品视频偷拍| 欧美六月婷婷| 色人妻五月| 日日噜噜夜夜狠狠久久丁香六月| www.五月婷婷| 九九五月天| 久久综合影院| 日韩 中文 欧美| 天天天操天天天日| 一本九九色| 黄色AAAAA| 91人妻九色大屁股| www.深爱激情| 婷婷丁香五月基地| 久久视频这里99| 色婷插| 99热这里只有精品96| 免费视频无码| 啪啪啪啪五月天| 狠狠干,狠狠操| 四色永久成人网站| 五月婷婷六月激情| 2025中文在线视频字幕免费观看| 中文字幕日产A片在线看| 婷婷五月天成人五月天| 国产精自产拍久久久久久蜜| 97涩涩丁香五月天| 俺来也狠狠| 99精品爱| 五月天色站| 欧美色色网| 5Www色5夜| 久久久性爱视频| 久久婷婷资源| 无码啪啪| 久久视频这里都是精品| 久久久久久久久久久-久五月天婷婷| 六月五月久久丁香| 婷婷丁香黄色| 网色99| 亚洲丁香婷婷五月天综合色| 婷婷六月激情综合| 99热这里只有精品4| 成人小说色图婷婷五月| 色九九九九| 爱射综合| 婷婷激情五月呦呦| 丁香九九九九| 91综合在线| 五月婷婷无码专区| 五月婷婷激情日本| 啪啪综合网| 性色99| 天天操五月天| 五月综合色| 久久99久久99精品免观看软件| 久久一伦| 精品久久人妻| 婷婷开心久久| 91chinese在线| 日韩啊啊啊| 26UUU精品一区二区c〇m| 97碰 在线视频观看| 99热精品观看| 丁香五月激情性色郤| 97丁香五月| 丁香五月久久| 亚洲精品婷婷| 日日色五月天| 99热精品10| 色综合天天| 中文字幕婷婷五月天在线观看| 国产精品电影网| 婷婷激情五月| 在线观看亚洲视频影院| 激情五月天在线观看婷婷| 影音先锋91网站在线观看| 五月婷婷六月色| 免费AV黄在线播放| 182TV大香蕉| 亚洲精品99| 婷婷五月天基地| 婷婷丁香第一页| 丁香 亚洲 久久| 国自产拍偷拍精品啪啪一区二区 | 99少妇精品| 97色碰| 色停停五月,在线观看| www.色婷婷| 99热官网精品在线| 国产真人做爰视频免费| 亚洲成人一区| 激情综合网五月婷婷| 99热这只有| 五月丁香六月婷婷啪啪| 中文婷婷狠狠| 欧美槡BBBB槡BBB少妇| 开心激情网五月| 婷婷午夜| 激情网战码亚洲A| 99在线综合视频| 风流少妇A片一区二区蜜桃| 天天色丁香| 热思思| 天天激情视频| 婷婷月五天在线在线看| 九草性爱| 国产操逼视频网站| 又大又粗九一在线| 日日夜夜天天| 五月天婷婷久久| 五月婷婷第四色| 思思色综合网站| 精品国产va久久久久| 性热视频99精品| 伊人在线大香蕉网| 依人大香蕉在钱1| 精品一二三区久久AAA片| VfJxEwPH| 国产成人va在线| 538在线| 九九久久五月天| 欧美日韩国产日本精品四虎网网站物| 婷婷五月丁香激情| 国产精品久久久久9999小说| 国产这里只有精品| 九九激情网| 操97| 午夜婷婷| 99色天堂| 99这里只有| 婷婷五月天色色| 婷婷大乡焦噜噜| 日本色五月| 九九热99热| 色色色色色爱| 99热精品少| 欧洲99视频在线| www.天天干.com| 思思热久久阴99| 成人操呦av| 狠狠色噜噜狠狠色噜噜噜999| 91九色首页| 久99热| 久久精彩综合视频| 久久婷婷五月国产激情综合片| 丁香五月激情综合| 九九精品片一| 久久A热| 婷婷五月AV| 亚洲aV写真天天综合网久久| 99热日韩| 色五月综合| 五月天婷婷爱| 五月丁香啪啪啪| 九九九九综合| 五月婷婷综合网| 精品欧美性爱超级爽| 2050人人操免费工开爱 | 日韩影院三级| 亭亭丁香久久五月| 久久婷婷在线| 激情六月日韩| 97干在线播放| 国产成人亚洲综合A∨婷婷| 激情综合婷婷| www.9操| 一区中文字幕电影| 91九色国产在线| 婷香五月网在线| 婷婷综合网站| 开心五月丁香啪| 色五婷婷| 99日本精品视频热| 欧美日本韩国亚洲| 噜噜狠狠色综合久| 激情无码五月天| 五月综合婷婷久久在线| 综合伊人久久| 色色色综合| 伊综合蕉| 日韩狠狠色| 大香蕉AV在线| 夜夜爽天操| 五月婷婷亚洲| 人妻第九页| 99日精品视频| 噜色精品| 丁香五月先锋| 人妻熟女一区二区AV| 97sese婷婷| 色情婷婷| 欧美五月丁香| 五月综合色| 91人人爽人人操| 五月婷婷av| 严洲天天插| www.久久99热地址发布| 国产99久久久国产精品免费看| 黄色91在线观看| 五月花综合| 五月婷婷丁香在线| 九色PORNY9l原创自拍| 日韩在线观看网址| 超碰成人电影| 色五月丁香伊人五月| 99A片| 97艹| 99秘 在线| 噜噜操操| 超级碰碰一区| 伊人久久婷婷五月天激情四射| 亚洲人人操| 色五月激情五月| 激情综合色婷婷啪啪六月天| 思思热热久久| 六月婷婷综合| 色婷婷中文在线| 五月婷婷开心丁香| 激情五月天影院| yiqicaoav| 五月花成人网| 一本色道久久综合狠狠躁小说| 久久青草国| 九九草热在线观看| 777色色色| 婷婷色偷拍| 婷婷五月天亚洲色| 五月丁香婷婷六月| 亚洲一区国产传媒| 天天爱夜夜爽| Aaa久久| 99热啪啪| 日本3级片一区2区| 国产婷婷色综合AV蜜臀AV| 国产一级片| 五月丁香婷婷色色| 大香蕉久久婷婷| 久久九九激情五月天 | 色www.con| 婷婷久久综合久色| 大香焦A∨| 六月婷婷网站| 国产成人一区二区三区在线观看| 久久丁香五月天| 久久久久人妻精选| WwW色婷婷| 丁香五月婷婷色五月| 深爱婷婷网| 影音先锋色婷婷| 久久与婷婷| enecarbon-materials.com污K127封锁请涟系@wip1688 | 9久国产| 沈娜娜av| 亚洲激情97五月天| 丁香五月停停av| 天堂婷婷丁香六月网| 极品少妇XXXX精品少妇偷拍| 91精品熟女| 99热免费在线| 开心深爱五月天| 97香蕉碰碰人妻国产欧美| 五月天婷婷色在线视频免费观看 | 狠狠色丁香乆乆| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 精品A√| 超爽内射| 伊人色综合久久久| 婷婷色九月| 综合色五月| 五月婷婷狠狠干| 色五月婷婷大香蕉| 色色五月天激情| 五月天婷婷视频| www99热| 人妻人人操| 中文人妻主播久久| 综合aV在线| 激情五月少妇| 欧美日韩成人在线网| 91丁香五月| 丁香五月综合婷婷| 79精品视频在线观看,| 人妻操逼| 91精品刘玥| 99热成人在线观看| 色婷婷91| 九九热精品| 91精品久久久久久77777| 天天干天天操天天拍| 免费AV黄在线播放| 97luluse| www.日韩国产| 狠狠干综合| 熟女人妻一区二区三区免费看| 丁香五月天激情小说| 淫视馆av三区| 综合色五月| 激情综合网五月在线播放| 开心激情站| 婷婷五月AV| 天堂色色色| 色婷婷大香蕉| 五月色婷婷AV| 五月天三级久久| 婷婷色五月激情| 色婷五月天网站| 91人碰| 九九色婷婷| va亚洲中文在线| 丁香密臀AV激情网| 婷婷五月天伊人| 五月婷婷丁香av| 99精品久| 五月丁香六月天| 国产淫熟妇| 991精品在线视频| 亚洲精品色| 色色色色热| 综合在线网| 91精品国产色猫| 亚洲九九视频| AV操操操| 日 日干 日日做| 182TV大香蕉| 日韩艹比| 欧美在线视频99| 天天天天天日| 99热20| 1024成人在线观看| 精品久久久中文字幕大豆网推荐理由| 亚洲旡码| 九九爱看亚洲| 91欧美| 五月激情四射网站| 99在线观看精品视频| 综合激情站| 日本va欧美va精品发布视频| 狠狠干综合网| 婷婷天堂伊人| 五月天激情小说| 少妇性按摩无码中文A片| 思思99re这里只有| 99综合视频在线| 久婷久婷激情肉| 色涩视频久久| 九九视频在线观看视频6 | 激情五月婷婷五月| 色播五月丁香综合| 天天五月丁香五月| 开心五月婷婷婷美女| 亚洲色综久久五月| 久草五月天电影网| 久久99热只有精品| 久久婷婷五月综合伊人| 99视频极品在线香蕉| 欧美韩国日本| 色婷婷电影网| 一区二区成人电影| 欧美性爱一区| 亚洲天天操| 婷婷综合五月色播| 2020久久婷婷五月| 五月天婷婷久久日| 五月丁香婷婷啪啪| 九九精品综合| 九九综合五月欧美| 99视频日韩| 碰99在线| 丁香五月综合| 深爱五月婷婷| 大香蕉啪啪| 亚洲热综合| 久久这里只有精品无码| 色五月天天| 26uuu四色| 性色欲情 网站| 99啪啪视频| 九九自拍网| 狼人婷婷久久| 91久久精品无码一区二区三区| 天堂网色色| 五月天色五月| 五月婷婷色吧!| 久久99这里只有精品视频| 婷婷五月在线综合| 五月丁香激情五月天| 六月婷婷五月丁香首页| 国产激情综合五月| 亚洲色婷婷激情| 久久精品永久免费| 婷婷五月六月激情| 天天做 天天爱| 天天日天天干天天插天天射| 五月天激情无码专区| 激情五婷网| 久久人妻久久| 亚洲亚洲永久无码777777| 久久婷婷五月天综合| 婷婷丁香五月亚洲免费| 亚洲国产99| 色婷婷先锋| 91色久| 丁香五月五月婷婷| 狠狠操天天干| 成人午夜天| 日韩99无码| 久久曰9| 婷婷久久色| 黄久久久| 日本熟妇精品99| 99热 这里只有精品 国产 日韩| 五月婷六月综合在线观看| 99激情视频热| 久99热| 99爱视频在线观看| 亚洲第一黄网| 内射爽无广熟女亚洲| 99热草草| 婷婷伊人75| 成人噜噜网| 五月天堂在线| 久久思思热| 亚洲婷婷五月天| 欧美色激情四射| 日本人妻操| 激情综合无码| 五月婷婷中文网| 亚洲热热视频| 成人丁香五月天| 播丁香五月婷婷欧美| 日本欧特黄色刺激一区影视久精品无码| 99视频在线播放大全| 色色色777| 噜噜噜噜噜色| 99狠狠操一| 亚洲成人在线播放| 9色在线视频精品观看| 日本91在线| 欧美噜一噜| 亚洲激情淫网| 欧美日韩成人高清在线| 99热综合网| 操逼电影免费看| 日韩欧美四五区| 五月丁香六月色| 伊人超碰| 九九色影院| 另类天堂| 91婷婷视频| 亚洲av网站在线观看| 色五月激情综合网| 天天爽夜夜爽天天爽夜夜爽| 色婷婷综合久久久久| 风流少妇A片一区二区蜜桃| 婷婷中文字暮| 日韩好吊操| 人人爱摸视频| 欧美日韩精品人妻狠狠躁免费视频| 丁香视频| 蜘蛛女免费观看完整版高清电影 | www.婷婷.com| 免费黄色AV| 热久久999| 狠狠大香婷婷爱| 79精品视频在线观看,| 婷婷综合在线| 六月丁香六月婷婷欧美| 六月婷色六月| 五月色网| 亚洲熟女乱色综合亚洲网站| 亚洲六月婷| 夜夜爽天天干| 免费亚洲成人电影AV| 亚洲人妻一区二区 | 色九区| 五月天婷婷丁香花| 精品成人无码A片观看香草视频| 久婷| 操人精品| 思思久热6| 日韩婷婷| 欧美日韩成人在线免费| 婷婷五月天首页| 色色综合网站| 五月天成人综合| 尔尔AV一区| 婷婷色五月91啪啪| 久久久久婷婷五月热综合| 51XX午夜影福利| 99久免费视频| 天天夜夜爽| 超级碰碰97在线| 永久思思热在线| 99九九在线观看免费| 激情开心五月天| 久久er视频6| 亚洲AV中文在线| 婷婷激情五月视频| 丁香成人色情五月天| 中文字幕精品无码一区二区| 丁香 婷婷 激情 综合 五月| 人妻精品在线| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 欧美日本99| www.五月天。com| 拍真实国产伦偷精品| 欧美色九| 婷婷五月综合色拍| 色婷婷综合丁香五月天| 色五月婷婷九月| 丁香亚洲色综合| 日韩欧美骚货| 久操乱| 六月丁香深深爱| 久久精品国产一区二区三区四区| 激情无码五月天| 久久久久9| 色色综合色视频| 另类图片天天影视在线观看| 波多野结衣AV无码Porn| www.久久爱.c n| 天天天天干| 中美月韩免费A片| 激情六月天婷婷| 五月婷中文字幕| 九九操操| 亚洲婷婷在线播放十月| 中文av网站| 婷婷五月丁香综合激情小说| 97五月天| 开心五月深爱五月婷| 五月婷婷香蕉| 天天爽天天做| 9 9热这里有精品| 六月婷婷综合| 啪啪综合| 99色在线视频| 婷婷五月激情图片| 五月婷六月| 97五月天婷婷午夜| 色婷婷丁香A片区毛片区女人区| 丁香久久五月天视频在线观看| 清纯唯美 激情四射| 亚洲婷婷成人五月天| 色五月激情综合网站| 99激情| 五月天丁香成人| 91超碰人人操| 五月天婷爱综合| 91人人妻人人操人人爽| 日日干日日| 日本欧美在线| 国产 码在线成人网站| 国产精品久久久久久五月天加勒比| 久久婷婷五月综合色和| 婷婷五月天成人| 五月丁香| 秋霞AV吧| 亚洲熟妇无码乱子AV电影| AV激情五月| 黄色三级毛片中字| 可以看的av网站| 久草天堂| 午夜精品久久久久久久爽| 激情婷婷丁香色五月| 99在线视频播放| 欧美在线视频99| 伊人深爱综合| 夜夜大香蕉婷婷丁香| 婷婷五月天丁香花| 99爱在线视频观看| 91成人品| 五月Huangsewang| 9热在线观看| 操人妻90p| 五月丁香亚州综合网| 激情综合五月天| 一区二区三区四区五区| AV在线二十六页| 色色色综合色| 五月天婷婷导航| 婷婷五月丁香综合激情| 深爱婷婷网| 人人爱人人摸人人澡| 日本九九九九| 九月停停| 这里只有精品视频免费在线观看| 五月涩涩网| 久久色天堂| 亚洲无码影音| 九九RE视频在线精品| 九九久久综合网站| 亚洲第一黄网| 不卡在线视频| 东京热免费视频| 99热九九在线| 日韩婷婷| 色综合色综合色综合| 五月天激情小说| 天堂中文国产| 五月天色婷婷基地| 99re热精品在线视频| 97在线日韩| 五月婷婷色播| 婷婷丁香人妻| www.久久爱| 99热在线网站| 92久久精品一区二区| 成年人丁香五月| 五月婷婷香蕉| 18av天堂| 99色在线观看视频| 丁香五月天堂婷婷| www.天天干| 99热精品在线观看| 伍月婷丁香花全集| 婷婷五六月丁香| 婷婷五月天激情电影| 色色综合网www| 激情综合五月婷婷| 玖玖婷婷五月天| 超碰99热精品| 婷婷夜夜操| www好屌操| 538在线精品| www.com操| 五月在线婷色| 91狠狠综合网| caopeng97人人| 999热这里只有美国精品| 九月婷婷综合| 日韩久热| 超碰人人操| 欧美xx激情视频在线观看| 日日操夜夜爽天天天| 婷婷丁香五月天综合AV| 亚洲AV成人片无码网站| 久久综合影院| 丁香五月最新网址| 丁香婷婷五月天成人| 超碰成人公开| 九九婷婷激情综合网| 双性美人被调教到喷水A片| 丁香五月婷婷在线| 五月丁香六月激情欧美综合| 色色色地址| 亚洲成人在线免费| 五月天亭亭俺也| 久久色这里只有精品| 久色国产| 久久五月网| 亚洲婷婷丁香五月视频| 五月丁香六月激情综合啪啪| 婷婷基地成人五月天| 久久机热这里只有精品免费视频| 91碰碰碰| 久久婷婷五月综合97色一本| 99热国产精品| 亚洲综合成人网| 中文字幕在线日亚州9| 亚洲网站在线鸭子av| 色婷婷丁香五月| 超碰在线91| 97人人射| 狠狠色丁香五月婷巨| 噜噜噜噜婷婷五月天| 开心五月六月婷婷| 国产亚洲色婷婷99精品| 爱之国产色情综合| 五月天性色| 久久这里只有精品22| 丁香五月激情综合啪啪| 丁香综合网| 久久久久99精品成人片| 五月丁香六月婷婷手机无线| 国产乱妇乱子伦| 色婷婷精品| 婷色五月天| 爱操人妻| www久久99| 亚州美女| 五月婷婷很很色| www.99热这里精品 | 91午夜婷婷狠狠久久综合9色| 91丨九色丨国产| www.色色com| 婷婷五月电影| 9.1综合网| 五月丁香婷婷AV天堂| 婷婷六月激情丁香| 婷婷亚洲欧美丁香五月| 亚洲秘 无码一区二区三区妃光/1| 久久五月天婷婷| 丁香五月综合| avh片在线观看| 天堂综合久| 69热在线| 99热只有精品在线观看| 少妇人妻人伦A片| 丁香六月婷婷| 少妇人妻丰满做爰XXX| 操婷婷久久| 97久久超碰| 青青草蜜臀| 亚洲五月花| 国产精品爽爽久久久久久| 亚洲精品大片| 久久婷婷超碰| 亚洲成人av在线| 婷婷放心五日爱| 丁香五月婷婷综合网| 99热久草| 最新高清无码专区| 成人片在线免费看| 在线五月婷婷小电影| 九九热视频免费的| 欧美视频五区| 蜜乳av一级av| 天天综合五月| 婷婷六月天精品| 婷婷五月花丁香| 91人妻PORNY九色大屁股| 五月丁香亭亭A片| 综合久久9| 久久这里只有精品视频26| 99精品在线观看| 国产亚洲精品久久久久久郑州| 丁香五月ⅤA久久久| AV伊人青草丁香六月| 五月天六月婷婷电影| 亚洲人妻AV| 人妻免费网站| 天天爱天天做天天日| 五月丁香亚洲婷婷| 久热这里| 青青日韩| 激情 婷婷 插| 超碰成人免费| 丁香五月激情五月色综合| 伊人婷婷青青cao| 五月婷婷av| 天天天天操| 五月丁香婷草| 久久激情五月天| 色婷婷五月基地在线| 色婷婷五月综合| 噼里啪啦在线观看免费完整版视频| 日韩美女羞羞网站在线观看| 五月婷婷久久综合| 国产99久久久| 色九九七七| 九九热视频免费的| 丁香五月偷拍| av在线激情| 女人天堂 AV| 国产69久久久欧美黑人A片| 大香蕉久久草| 五月婷婷色激情| 99精品偷自拍| 天天色月| 日韩在线aaa| 免费看欧美成人A片无码| 久久多色| 色色性爱视频| 久操欧美在线观看97| 天天操夜夜爽天天操| 日日夜夜天天| 色九月综合| 五月天激情久色| 超碰AV在线| 亚洲成人一区| 激情综合99| 日韩美女在线视频19| 婷婷激情丁五月| 五月天社区| 色色日韩| 色欲天天综合网| 婷婷综合在线播放| 久草热在线视频| 性爱111111| 99热99精品在线观看| 九九碰九九爱97| 婷婷综合欧美| 亚洲激情综合网| 99亚洲精美视频在线观看| 四色AVwww| 操大屄五月天视频| 色婷婷狠狠| 97热视频| 91avse| 天天肏高清在线| 五月天色色色色色| 激情综合色播| 人人操人| 五月丁香六月婷婷色日| 九九久久污| 99无码黄色视频| 在线色婷婷| 操逼棍操逼| 毛片九九九九九九九九18| 婷婷丁香五月精品| 日韩精品AV一区二区三区| 99这里有精品免费| 色情综合网| www.91.com处女在线直播| 天天做夜夜爽| 色很很96| 免费看欧美成人A片无码| 狠狠va| 日本二级毛片二级毛片| 懂色AⅤ| 久9热在线免费观看| 亚洲视频伍月婷婷| 99日在线观看视频| 婷婷综合网| 丰满少妇猛烈A片免费看观看| 五月丁香色婷婷伊人| 久久五月综合| 婷婷五月综合激情小说| 3p九色在线| 婷婷五月天啪啪| 欧美性爱一区| 色婷婷香蕉| 欧美成性色| 婷婷丁香色五月天| 婷婷瑟瑟五月天| 成人精品免费在线观看| 婷婷情色激情| 丁香激情五月少妇| 97人妻碰碰碰久久香蕉| 色色综合网站| www.色五月| 久久99色色| 怡红院AV亚洲一区二区三区H| 日日操天天| 五月天停停日日| 色婷婷大香蕉| www色婷婷久久综合久色 | 99操逼视频| 丰满人妻一区二区三区| 操逼福利视频| 欧美超碰人人| 99久久久99久久91熟女| 日本在线视频手机播放五月婷| 欧美A片在线视频免费观看| 五月丁香婷婷AV| 久久综合中文| 伊人99久久| 五月天婷综合| 色色色婷婷五月天| 香蕉久久国产AV一区二区| 91色情播放| 婷婷五月天久久| 五月开心婷婷极品激情| 成人无码髙潮喷水A片| 激情六月天婷婷| 婷婷色五月婷婷姐妹|