欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

用Pytorch實(shí)現(xiàn)Transformer時(shí)間序列預(yù)測(cè):從單步到多步的完整指南

用Pytorch實(shí)現(xiàn)Transformer時(shí)間序列預(yù)測(cè):從單步到多步的完整指南 簡(jiǎn)介本資源是一套基于PyTorch實(shí)現(xiàn)的Transformer時(shí)間序列預(yù)測(cè)完整實(shí)驗(yàn)方案面向機(jī)器學(xué)習(xí)初學(xué)者與時(shí)間序列建模實(shí)踐者聚焦單步與多步預(yù)測(cè)兩大核心任務(wù)適用于氣象、能源、金融等領(lǐng)域的時(shí)序數(shù)據(jù)分析場(chǎng)景。壓縮包共10個(gè)文件3.21MB包含2個(gè)核心訓(xùn)練腳本transformer-singlestep.py與transformer-multistep.py、1個(gè)真實(shí)溫度數(shù)據(jù)集daily-min-temperatures.csv、1張預(yù)測(cè)效果可視化圖transformer-future200.png、1個(gè)動(dòng)態(tài)訓(xùn)練過程演示gifresult.gif、1份環(huán)境依賴說明requirements.txt及README文檔等結(jié)構(gòu)清晰、開箱即用。已有2909人學(xué)習(xí)下載所有代碼均經(jīng)實(shí)測(cè)可直接運(yùn)行附帶每日最低溫度數(shù)據(jù)上的100輪訓(xùn)練結(jié)果與多步預(yù)測(cè)對(duì)比分析便于讀者理解模型輸入構(gòu)造、位置編碼設(shè)計(jì)、掩碼機(jī)制應(yīng)用及輸出解碼邏輯是深入掌握Transformer在時(shí)序領(lǐng)域落地的優(yōu)質(zhì)實(shí)踐素材。 拿到一個(gè)時(shí)間序列預(yù)測(cè)需求時(shí)很多人第一反應(yīng)是先套LSTM。我一開始也是這么干的但項(xiàng)目數(shù)據(jù)拉長(zhǎng)到幾百個(gè)時(shí)間步后LSTM訓(xùn)練慢不說往后預(yù)測(cè)的曲線像一個(gè)被壓扁的彈簧越來越“平”。朋友建議試試Transformer我?guī)е鴮⑿艑⒁傻膽B(tài)度用Pytorch從零搭了一套單步和多步預(yù)測(cè)實(shí)驗(yàn)。沒想到的是模型把長(zhǎng)距離依賴抓得很穩(wěn)預(yù)測(cè)結(jié)果比LSTM明顯更貼合趨勢(shì)。這篇文章就是這次實(shí)驗(yàn)的記錄從為什么選Transformer、單步/多步怎么設(shè)計(jì)到Pytorch完整實(shí)現(xiàn)和踩坑實(shí)錄都會(huì)拆開講。適合已經(jīng)會(huì)上手Pytorch、但還沒用Transformer處理過時(shí)間序列的同學(xué)也適合做量化、銷量預(yù)測(cè)、設(shè)備監(jiān)測(cè)等場(chǎng)景的工程師參考。我會(huì)盡量把每個(gè)關(guān)鍵選擇背后的原因?qū)懬宄皇侵粊G代碼。1. 整體設(shè)計(jì)與思路拆解1.1 為什么用Transformer而不是LSTM在時(shí)間序列上做預(yù)測(cè)本質(zhì)上是在建模“過去的時(shí)間點(diǎn)如何影響未來”。LSTM和GRU的思路是遞歸地、逐步地把信息往后傳這種過程的優(yōu)點(diǎn)是參數(shù)少、可解釋性強(qiáng)但缺點(diǎn)也很明顯訓(xùn)練是串行的序列一長(zhǎng)梯度消失和長(zhǎng)期依賴丟失的問題就會(huì)顯現(xiàn)。Transformer的設(shè)計(jì)是直接計(jì)算序列中任意兩個(gè)位置之間的關(guān)聯(lián)度通過多頭注意力機(jī)制一次性看到全局信息。放在時(shí)間序列里這就意味著模型可以自己學(xué)會(huì)“第1個(gè)時(shí)間點(diǎn)對(duì)第50個(gè)時(shí)間點(diǎn)很重要”而不是像RNN那樣靠門控一路“背”過去。不過話說回來Transformer也不是沒有代價(jià)。它不像LSTM自帶順序概念必須靠位置編碼把順序信息硬塞進(jìn)輸入而且注意力矩陣的空間復(fù)雜度是O(n^2)窗口特別長(zhǎng)的時(shí)候會(huì)吃顯存。這決定了我們?cè)趯?shí)驗(yàn)里不能無腦堆窗口需要在數(shù)據(jù)長(zhǎng)度和模型容量之間做取舍。但總體上對(duì)于中等長(zhǎng)度幾十到幾百個(gè)時(shí)間點(diǎn)的時(shí)間序列Transformer的精度和訓(xùn)練效率都很有競(jìng)爭(zhēng)力。我在做實(shí)驗(yàn)對(duì)比時(shí)同一個(gè)數(shù)據(jù)切了兩份一份用兩層LSTM一份用兩層Transformer encoder。LSTM訓(xùn)練了接近200個(gè)epoch才收斂Transformer在100個(gè)epoch左右就已經(jīng)更好了尤其在后半段的預(yù)測(cè)曲線上Transformer更貼近原始趨勢(shì)。這其實(shí)不難理解時(shí)間序列里“之前一段時(shí)間的形態(tài)”往往比“最后一個(gè)點(diǎn)的值”更重要而注意力機(jī)制天生擅長(zhǎng)捕捉這種形態(tài)。1.2 單步預(yù)測(cè)和多步預(yù)測(cè)的差異單步預(yù)測(cè)是經(jīng)典的監(jiān)督學(xué)習(xí)任務(wù)輸入過去一段序列輸出下一個(gè)時(shí)間點(diǎn)的值。多步預(yù)測(cè)的難度要高一個(gè)檔次因?yàn)檩敵龅氖且粋€(gè)連續(xù)的未來區(qū)間不只是“下一個(gè)點(diǎn)”的精確值還要考慮未來多個(gè)點(diǎn)之間的疊加誤差。我在實(shí)驗(yàn)中分別實(shí)現(xiàn)了兩種多步方案這里先做一個(gè)直觀對(duì)比指標(biāo)直接多步遞歸多步實(shí)現(xiàn)復(fù)雜度輸出層維度設(shè)為horizon簡(jiǎn)單需要把預(yù)測(cè)值拼回輸入循環(huán)推理推理速度快一次forward得到K個(gè)點(diǎn)慢要連續(xù)forward K次誤差累積幾乎沒有因?yàn)镵個(gè)點(diǎn)同時(shí)輸出明顯越往后越偏訓(xùn)練難度需要同時(shí)擬合K個(gè)標(biāo)簽數(shù)據(jù)量小時(shí)難度大訓(xùn)練時(shí)仍是單步難度低適用場(chǎng)景horizon較大、訓(xùn)練數(shù)據(jù)充足小規(guī)??焖賹?shí)驗(yàn)、模型迭代期直接多步Direct Multi-stepTransformer輸出層的維度直接設(shè)為horizon長(zhǎng)度讓模型一次生成未來K個(gè)點(diǎn)。缺點(diǎn)是模型要同時(shí)擬合K個(gè)輸出訓(xùn)練難度高但推理快。遞歸多步Recursive Multi-step先用單步模型預(yù)測(cè)出下一個(gè)點(diǎn)再把這個(gè)預(yù)測(cè)值當(dāng)輸入滑進(jìn)窗口繼續(xù)預(yù)測(cè)下下個(gè)點(diǎn)。實(shí)現(xiàn)簡(jiǎn)單但誤差會(huì)隨著步數(shù)累積越往后越偏。還有一種Teacher Forcing的訓(xùn)練方式只在訓(xùn)練時(shí)用真實(shí)值替代預(yù)測(cè)值喂養(yǎng)模型推理時(shí)再用預(yù)測(cè)值這個(gè)后面在訓(xùn)練循環(huán)里會(huì)講。這兩個(gè)方案我都跑了也記錄了各自的loss曲線和誤差指標(biāo)。直接多步在horizon比較大時(shí)會(huì)比遞歸更穩(wěn)但前提是訓(xùn)練數(shù)據(jù)要充足遞歸多步在小樣本上更靈活適合快速迭代。建議你在自己的數(shù)據(jù)上都試試對(duì)比后再選。2. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)2.1 位置編碼不能省但不要照搬NLPTransformer本身沒有順序感。把序列順序打亂注意力算出來的結(jié)果是一模一樣的。所以位置編碼是Transformer做時(shí)序預(yù)測(cè)繞不開的基礎(chǔ)。NLP里常見的是正弦位置編碼把位置索引用sin/cos函數(shù)映射到embedding維度上。在時(shí)間序列里這個(gè)方式一樣能用但我測(cè)試下來直接把時(shí)間戳比如間隔、周幾、小時(shí)作為額外特征拼進(jìn)輸入效果往往更好尤其是數(shù)據(jù)有明顯周期性的場(chǎng)景。實(shí)用的做法是“加”而不是“拼”把正弦位置編碼加到輸入embedding上然后額外把標(biāo)準(zhǔn)化后的時(shí)間特征拼在輸入特征維度后面。這樣模型既能感知絕對(duì)位置也能感知周期性信息。代碼實(shí)現(xiàn)時(shí)位置編碼的維度要和d_model一致否則維度對(duì)不上沒法加。為什么要乘sqrt(d_model)這是Transformer原論文里的一個(gè)細(xì)節(jié)。輸入經(jīng)過embedding后數(shù)值范圍通常會(huì)比較小直接往上面加位置編碼位置信息很容易蓋過原始特征。乘上sqrt(d_model)相當(dāng)于把輸入embedding放大到和位置編碼一個(gè)量級(jí)讓兩者在相加時(shí)都能保留有效信息。我在實(shí)驗(yàn)里試過不乘這個(gè)系數(shù)訓(xùn)練loss收斂明顯變慢所以這個(gè)細(xì)節(jié)不建議省。2.2 數(shù)據(jù)預(yù)處理決定模型上限先講一個(gè)我踩過的坑一開始我直接用整個(gè)序列的均值和方差做歸一化訓(xùn)練loss很漂亮但測(cè)試特別差。后來才意識(shí)到這是把未來信息透漏給了訓(xùn)練過程也就是典型的數(shù)據(jù)泄漏。正確的做法是只在訓(xùn)練集上fit scaler再用同一套scaler去transform驗(yàn)證集和測(cè)試集?;瑒?dòng)窗口的構(gòu)造也值得細(xì)品。單步預(yù)測(cè)時(shí)每條樣本是[look_back, feature_dim]的輸入和[1]的標(biāo)簽多步預(yù)測(cè)時(shí)標(biāo)簽就變成[horizon]或者[horizon, feature_dim]。窗口長(zhǎng)度look_back一般取序列長(zhǎng)度的10%~20%不能太短也不能太長(zhǎng)。我常用look_back24或48來預(yù)測(cè)未來6~12個(gè)點(diǎn)效果比拍腦袋定的窗口好不少。另外如果數(shù)據(jù)有缺失不要用均值填充盡量用前向填充或插值避免引入錯(cuò)誤的局部趨勢(shì)。關(guān)于歸一化我一般用MinMaxScaler。它在數(shù)據(jù)有明顯上下界時(shí)非常穩(wěn)能讓模型更快收斂。StandardScaler也不是不行但對(duì)異常值更敏感。如果數(shù)據(jù)里有特別大的尖峰MinMax可能把正常值壓得太扁這時(shí)候可以先做一輪異常值截?cái)嘣儆谩2灰簧蟻砭桶阉袛?shù)據(jù)丟進(jìn)模型先畫圖看分布這個(gè)習(xí)慣能省掉后面很多麻煩。2.3 核心超參數(shù)怎么定才有得跑下面是這次實(shí)驗(yàn)里的核心超參數(shù)可以直接照抄參數(shù)數(shù)值說明d_model64輸入embedding和注意力投影的維度nhead4多頭注意力頭數(shù)需能被d_model整除num_encoder_layers2標(biāo)準(zhǔn)Transformer里encoder層數(shù)我用了2層dim_feedforward256前饋網(wǎng)絡(luò)隱藏層維度dropout0.1防止過擬合batch_size64顯存不大就調(diào)小建議32~128learning_rate1e-3初始學(xué)習(xí)率配合cosine調(diào)度epochs100早停耐心值建議設(shè)20注意nhead一定要能整除d_model否則Pytorch會(huì)直接報(bào)錯(cuò)。層數(shù)不是越多越好我試過4層在數(shù)據(jù)量不大的情況下反而更容易過擬合。學(xué)習(xí)率建議用AdamW 余弦退火Transformer對(duì)學(xué)習(xí)率比LSTM敏感固定學(xué)習(xí)率容易震蕩。dim_feedforward我習(xí)慣設(shè)成d_model的4倍左右太大參數(shù)量漲得快太小表達(dá)能力受限。還有一個(gè)常被忽略的參數(shù)是dropout。時(shí)間序列訓(xùn)練數(shù)據(jù)一般不會(huì)特別大dropout設(shè)太小容易過擬合設(shè)太大又可能欠擬合。0.1到0.2之間是個(gè)安全區(qū)間。如果你的數(shù)據(jù)量超過十幾萬條可以把dropout降到0.05加快收斂。3. 實(shí)操過程與核心環(huán)節(jié)實(shí)現(xiàn)3.1 環(huán)境搭建與項(xiàng)目結(jié)構(gòu)動(dòng)手前先把環(huán)境理順。我習(xí)慣用conda建一個(gè)獨(dú)立環(huán)境避免跟其他項(xiàng)目打架。conda create -n ts_transformer python3.9 -y conda activate ts_transformer pip install torch2.1.2 --index-url https://download.pytorch.org/whl/cu118 pip install numpy pandas matplotlib scikit-learn如果你用的是GPU機(jī)器裝完后第一時(shí)間檢查一下CUDA是否可用python -c import torch; print(torch.cuda.is_available(), torch.cuda.device_count())輸出“True 1”就說明Pytorch能用GPU了。如果輸出False不是驅(qū)動(dòng)問題就是Pytorch版本沒選對(duì)。我還在Jetson等嵌入式設(shè)備上裝過那又得單獨(dú)挑適配版本不建議新手一上來就碰。項(xiàng)目目錄我習(xí)慣這樣組織time_series_transformer/ ├── data.csv # 原始數(shù)據(jù) ├── dataset.py # 數(shù)據(jù)集與預(yù)處理工具 ├── model.py # Transformer模型定義 ├── train.py # 單步/多步訓(xùn)練腳本 ├── evaluate.py # 評(píng)估與可視化 └── requirements.txt這個(gè)結(jié)構(gòu)看著簡(jiǎn)單但足夠用。實(shí)驗(yàn)迭代時(shí)最怕把所有代碼堆在一個(gè)文件里改一個(gè)地方牽一發(fā)動(dòng)全身。把數(shù)據(jù)、模型、訓(xùn)練、評(píng)估拆開后面換數(shù)據(jù)集或者換模型會(huì)輕松很多。3.2 數(shù)據(jù)準(zhǔn)備與Dataset類為了把實(shí)驗(yàn)說透我用了一段周期信號(hào)疊加噪聲的數(shù)據(jù)模擬傳感器讀數(shù)或者銷量曲線。你也可以換成自己的csv只要確保日期列按時(shí)間升序排列。import numpy as np import pandas as pd from torch.utils.data import Dataset, DataLoader # 生成示例數(shù)據(jù)正弦 線性趨勢(shì) 噪聲 np.random.seed(42) t np.arange(0, 1200) signal 10 * np.sin(2 * np.pi * t / 50) salary t * 0.01 noise np.random.normal(0, 1, sizet.shape) data signal salary noise注意這個(gè)數(shù)據(jù)只是示例真正項(xiàng)目里數(shù)據(jù)要復(fù)雜得多但處理和建模邏輯是一樣的。這里我故意加了一個(gè)單調(diào)趨勢(shì)是想看Transformer能不能在趨勢(shì)和周期并存時(shí)學(xué)出結(jié)構(gòu)。接下來是滑動(dòng)窗口。我寫了一個(gè)繼承Dataset的類輸入是[look_back, feature_dim]序列標(biāo)簽是未來horizon個(gè)點(diǎn)。class TimeSeriesDataset(Dataset): def __init__(self, data, look_back24, horizon6, step1): self.x, self.y [], [] for i in range(0, len(data) - look_back - horizon 1, step): x data[i:i look_back] y data[i look_back:i look_back horizon] self.x.append(x) self.y.append(y) self.x np.array(self.x, dtypenp.float32) self.y np.array(self.y, dtypenp.float32) def __len__(self): return len(self.x) def __getitem__(self, idx): return self.x[idx], self.y[idx]需要注意這里的data是一維數(shù)組所以我構(gòu)建x時(shí)每個(gè)時(shí)間點(diǎn)只有1個(gè)特征。如果有多維特征沿著最后一個(gè)維度拼接即可上一節(jié)的“拼時(shí)間戳”也是在這里做。構(gòu)造好的樣本可以用DataLoader加載look_back, horizon 24, 6 dataset TimeSeriesDataset(data, look_back, horizon) # 按時(shí)間順序切分 train_size int(0.7 * len(dataset)) val_size int(0.15 * len(dataset)) test_size len(dataset) - train_size - val_size train_data, val_data, test_data torch.utils.data.random_split( dataset, [train_size, val_size, test_size], generatortorch.Generator().manual_seed(42) )這里要特別提醒random_split會(huì)在內(nèi)部做隨機(jī)打亂但因?yàn)槲覀儤?gòu)造樣本時(shí)本身就是按時(shí)間順序滑動(dòng)窗口生成的可能不太合適。更穩(wěn)妥的做法是直接按索引切分不調(diào)用random_split具體看你自己需求。如果是嚴(yán)格的時(shí)序預(yù)測(cè)建議手動(dòng)切片保證訓(xùn)練集在時(shí)間上完全早于驗(yàn)證集和測(cè)試集。3.3 Transformer模型核心實(shí)現(xiàn)標(biāo)準(zhǔn)Transformer結(jié)構(gòu)里包含Encoder和Decoder。但時(shí)間序列預(yù)測(cè)不一定需要Decoder尤其是單步預(yù)測(cè)和直接多步預(yù)測(cè)用Encoder堆疊后接一個(gè)全連接輸出層就能取得不錯(cuò)的效果。我在實(shí)驗(yàn)中選的是Encoder-only方案結(jié)構(gòu)更輕訓(xùn)練更快。如果想做遞歸多步同樣可以復(fù)用這個(gè)Encoder只是在推理時(shí)多繞幾圈。下面是完整的模型定義位置編碼和Encoder主體都放進(jìn)去。import torch import torch.nn as nn import math class PositionalEncoding(nn.Module): def __init__(self, d_model, dropout0.1, max_len5000): super().__init__() self.dropout nn.Dropout(pdropout) pe torch.zeros(max_len, d_model) position torch.arange(0, max_len, dtypetorch.float).unsqueeze(1) div_term torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model)) pe[:, 0::2] torch.sin(position * div_term) pe[:, 1::2] torch.cos(position * div_term) pe pe.unsqueeze(0) self.register_buffer(pe, pe) def forward(self, x): x x self.pe[:, :x.size(1), :] return self.dropout(x) class TimeSeriesTransformer(nn.Module): def __init__(self, feature_dim1, d_model64, nhead4, num_layers2, dropout0.1): super().__init__() self.d_model d_model self.input_proj nn.Linear(feature_dim, d_model) self.pos_encoder PositionalEncoding(d_model, dropout) encoder_layer nn.TransformerEncoderLayer( d_modeld_model, nheadnhead, dim_feedforward256, dropoutdropout, batch_firstTrue, ) self.transformer_encoder nn.TransformerEncoder(encoder_layer, num_layersnum_layers) def forward(self, x): # x: [batch, seq_len, feature_dim] x self.input_proj(x) * math.sqrt(self.d_model) x self.pos_encoder(x) x self.transformer_encoder(x) return x在單步任務(wù)里輸出層可以只取編碼序列的最后一幀再接一個(gè)Linear。在多步任務(wù)里要么對(duì)最后一幀輸出horizon維要么把整個(gè)編碼序列壓平再接全連接。后者參數(shù)量大一般用前者class SingleStepHead(nn.Module): def __init__(self, d_model): super().__init__() self.fc nn.Linear(d_model, 1) def forward(self, enc_output): return self.fc(enc_output[:, -1, :]) # 取最后一個(gè)位置的編碼 class MultiStepHead(nn.Module): def __init__(self, d_model, horizon): super().__init__() self.fc nn.Linear(d_model, horizon) def forward(self, enc_output): return self.fc(enc_output[:, -1, :])為什么取“最后一個(gè)位置的編碼”而不是所有位置的編碼因?yàn)門ransformerEncoder每一層都會(huì)做全局注意力也就是說每個(gè)位置的輸出都已經(jīng)包含了對(duì)整個(gè)序列的“總結(jié)”。最后一個(gè)位置在時(shí)間上離預(yù)測(cè)目標(biāo)最近拿它做輸出頭的信息瓶頸最合適。如果要保留更多細(xì)節(jié)也可以把最后幾幀拼起來但代價(jià)是參數(shù)量增加收益不一定明顯。3.4 單步預(yù)測(cè)訓(xùn)練流程訓(xùn)練循環(huán)本身不復(fù)雜但有幾個(gè)地方我會(huì)特別注意。第一個(gè)是loss單步用MSE這是回歸任務(wù)的標(biāo)配。第二個(gè)是優(yōu)化器AdamW配合余弦退火幾乎是當(dāng)前Transformer訓(xùn)練的標(biāo)準(zhǔn)配置比單純用Adam穩(wěn)定。def train_model(model, train_loader, val_loader, epochs50, lr1e-3): device cuda if torch.cuda.is_available() else cpu model model.to(device) criterion nn.MSELoss() optimizer torch.optim.AdamW(model.parameters(), lrlr) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_maxepochs) for epoch in range(epochs): model.train() train_loss 0.0 for x, y in train_loader: x, y x.to(device), y.to(device) optimizer.zero_grad() enc_out model(x) pred model.output_head(enc_out) loss criterion(pred, y) loss.backward() optimizer.step() train_loss loss.item() scheduler.step() val_loss evaluate(model, val_loader, criterion, device) if (epoch 1) % 10 0: print(fEpoch {epoch1}, Train Loss: {train_loss/len(train_loader):.6f}, Val Loss: {val_loss:.6f}) return model寫這段代碼時(shí)要注意model.output_head是我們?cè)谕獠繏焐先サ?。一個(gè)更方便的做法是在TimeSeriesTransformer里增加一個(gè)head_type參數(shù)直接在構(gòu)造函數(shù)里決定使用單步頭還是多步頭這樣訓(xùn)練代碼可以共用。訓(xùn)練時(shí)如果loss長(zhǎng)時(shí)間不下降先查兩件事學(xué)習(xí)率是不是太大數(shù)據(jù)有沒有標(biāo)準(zhǔn)化。絕大多數(shù)奇怪現(xiàn)象都出在這兩處。3.5 多步預(yù)測(cè)實(shí)現(xiàn)方式直接多步訓(xùn)練起來和單步幾乎一樣只是y的維度從1變成horizon輸出頭換成MultiStepHeadloss仍然用MSE。推理的時(shí)候一次拿到的就是未來horizon個(gè)點(diǎn)非常直接。遞歸多步需要額外寫一個(gè)推理函數(shù)把模型預(yù)測(cè)出的下一個(gè)值拼到輸入序列尾部同時(shí)丟掉最前面的點(diǎn)讓窗口“滑”起來。def recursive_forecast(model, history, steps, devicecpu): # history: [look_back, feature_dim] model.eval() history torch.tensor(history, dtypetorch.float32).unsqueeze(0).to(device) preds [] with torch.no_grad(): for _ in range(steps): enc_out model(history) pred model.output_head(enc_out) # [1, 1] preds.append(pred.item()) pred pred.unsqueeze(-1) # [1, 1, 1] history torch.cat([history[:, 1:, :], pred], dim1) return preds這個(gè)思路很直觀但坑也在這輸入用的預(yù)測(cè)值本身就是不準(zhǔn)的誤差會(huì)隨著步數(shù)增多不斷放大。我實(shí)測(cè)下來horizon6時(shí)還能看horizon24時(shí)后面基本變成一條平滑直線。緩解誤差累積有幾個(gè)實(shí)用技巧訓(xùn)練時(shí)用Teacher Forcing即以一定概率用真實(shí)值替代預(yù)測(cè)值去喂下一步讓模型適應(yīng)自己的預(yù)測(cè)對(duì)輸出做clip限制預(yù)測(cè)值的合理范圍避免極端值把窗口帶偏推理階段用確定性策略比如取中位數(shù)而不是單次路徑。3.6 評(píng)估與可視化評(píng)估指標(biāo)我用三個(gè)MAE、RMSE和R2。MAE好解釋RMSE對(duì)大誤差更敏感R2則能反應(yīng)模型對(duì)真實(shí)趨勢(shì)的擬合程度。from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score def evaluate_metrics(y_true, y_pred): mae mean_absolute_error(y_true, y_pred) rmse mean_squared_error(y_true, y_pred, squaredFalse) r2 r2_score(y_true, y_pred) return {MAE: mae, RMSE: rmse, R2: r2}畫圖建議用matplotlib把測(cè)試集真實(shí)值和預(yù)測(cè)值畫在同一張圖里。多步預(yù)測(cè)時(shí)我會(huì)把每個(gè)預(yù)測(cè)窗口的起點(diǎn)和終點(diǎn)連起來畫成階梯狀能更清楚地看到誤差累積發(fā)生在哪個(gè)階段。import matplotlib.pyplot as plt plt.figure(figsize(12, 5)) plt.plot(y_true, labelTrue) plt.plot(y_pred, labelPred) plt.legend() plt.title(Time Series Prediction) plt.show()這張圖是判斷模型有沒有“學(xué)到東西”的最快方式。如果pred和true的相位都對(duì)不上先檢查窗口長(zhǎng)度是否合理如果趨勢(shì)對(duì)但局部抖動(dòng)不對(duì)考慮加更多特征或調(diào)d_model。4. 常見問題與排查技巧實(shí)錄4.1 數(shù)據(jù)泄漏最隱蔽也最致命數(shù)據(jù)泄漏是時(shí)間序列預(yù)測(cè)里出現(xiàn)頻率最高的“幽靈問題”。除了歸一化泄漏還有一種是數(shù)據(jù)集劃分時(shí)不注意時(shí)間順序把未來樣本混進(jìn)訓(xùn)練集結(jié)果模型在測(cè)試集上表現(xiàn)“超神”一到線上就崩。處理辦法是嚴(yán)格按時(shí)間順序劃分且在構(gòu)造滑動(dòng)窗口時(shí)讓訓(xùn)練集只使用該時(shí)間點(diǎn)之前的數(shù)據(jù)。另外如果數(shù)據(jù)來自多個(gè)實(shí)體比如多個(gè)城市或設(shè)備的序列不能把它們混在一起打亂劃分應(yīng)該按實(shí)體分組切分否則也會(huì)出現(xiàn)實(shí)體級(jí)別的泄漏。我自己的判斷標(biāo)準(zhǔn)很簡(jiǎn)單如果訓(xùn)練集和測(cè)試集的MAE差距小得離譜或者測(cè)試集比訓(xùn)練集還好那大概率是泄漏了。正常情況訓(xùn)練誤差應(yīng)該略低于測(cè)試誤差這個(gè)經(jīng)驗(yàn)雖然不絕對(duì)但能幫你快速發(fā)現(xiàn)問題。4.2 訓(xùn)練Loss不降或變成NaN我遇到過一次Loss變成NaN的情況查了半天發(fā)現(xiàn)是沒有對(duì)輸入數(shù)據(jù)做歸一化數(shù)值稍微大一點(diǎn)經(jīng)過多頭注意力里的softmax后就爆炸了。解決方法是先把數(shù)據(jù)縮放到[0, 1]或標(biāo)準(zhǔn)化到均值0方差1再開始訓(xùn)練。如果標(biāo)準(zhǔn)化后還是NaN檢查一下學(xué)習(xí)率Transformer的訓(xùn)練不太吃固定的大學(xué)習(xí)率建議從1e-4或者3e-4開始試。還有一種可能是位置編碼的max_len不夠序列長(zhǎng)度超過上限導(dǎo)致pe切片出問題這種一般會(huì)直接報(bào)IndexError不太會(huì)靜默NaN。另外一個(gè)容易忽視的點(diǎn)是batch_first。Pytorch的TransformerEncoderLayer默認(rèn)batch_firstFalse如果輸入維度是[batch, seq_len, feature]必須顯式設(shè)置batch_firstTrue否則會(huì)對(duì)seq_len維度做batch維處理雖然不報(bào)錯(cuò)但結(jié)果完全不對(duì)。這種錯(cuò)誤很難排查因?yàn)樗憩F(xiàn)成loss一直在下降但驗(yàn)證曲線不對(duì)勁。4.3 多步預(yù)測(cè)后期曲線“平”了多步預(yù)測(cè)的誤差累積問題前面提過這是所有遞歸式預(yù)測(cè)的通病。處理思路有兩個(gè)方向一是把模型換成直接多步輸出一次性預(yù)測(cè)完整未來區(qū)間從根源上避免遞歸累積二是引入機(jī)器學(xué)習(xí)里的魯棒性技巧比如訓(xùn)練時(shí)對(duì)輸入加小噪聲、預(yù)測(cè)時(shí)對(duì)輸出做平滑。我自己的經(jīng)驗(yàn)是如果horizon不超過10遞歸多步能省顯存且效果不差如果horizon到了24以上直接多步會(huì)更穩(wěn)定。建議在實(shí)驗(yàn)設(shè)置里同時(shí)保留這兩種模式用驗(yàn)證集決定到底用哪個(gè)。有時(shí)“曲線平了”也不全是誤差累積的問題可能是數(shù)據(jù)本身的信噪比太低。我畫過頻譜圖之后發(fā)現(xiàn)數(shù)據(jù)里真正可預(yù)測(cè)的成分只占很小一部分模型很容易傾向于輸出均值附近的值。這時(shí)候考慮對(duì)數(shù)據(jù)做差分或季節(jié)分解把趨勢(shì)和周期拆開建模再對(duì)殘差做預(yù)測(cè)。4.4 顯存和訓(xùn)練速度問題注意力矩陣的大小是平方級(jí)增長(zhǎng)的窗口長(zhǎng)度從24改成96顯存占用可能直接翻好幾倍。如果顯存不夠優(yōu)先調(diào)小batch_size或者用梯度累積gradient accumulation模擬更大的batch。Pytorch的自動(dòng)混合精度AMP也值得開torch.cuda.amp里封裝得已經(jīng)很成熟能省不少顯存還能加速訓(xùn)練。下面是一個(gè)簡(jiǎn)化的混合精度訓(xùn)練片段scaler torch.cuda.amp.GradScaler() for x, y in train_loader: optimizer.zero_grad() with torch.cuda.amp.autocast(): pred model(x) loss criterion(pred, y) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()AMP在NVIDIA GPU上用Pytorch 2.x已經(jīng)非常穩(wěn)定CPU上不用開。還有一個(gè)建議盡量用batch_firstTrue的TransformerEncoderLayerPytorch默認(rèn)是False如果搞錯(cuò)了維度雖然報(bào)錯(cuò)你會(huì)知道但排查起來很煩。4.5 長(zhǎng)序列窗口的改進(jìn)空間標(biāo)準(zhǔn)Transformer處理幾百甚至上千的時(shí)間步時(shí)顯存和效率都會(huì)遇到瓶頸。我這次實(shí)驗(yàn)主要用的是中等長(zhǎng)度窗口但如果你遇到超長(zhǎng)序列建議看看Transformer的改進(jìn)變體比如Informer的稀疏注意力、Autoformer的分解機(jī)制、PatchTST把時(shí)間序列切成patch再編碼。這些都在標(biāo)準(zhǔn)Transformer的思路上做了針對(duì)性優(yōu)化很適合高頻金融數(shù)據(jù)、長(zhǎng)時(shí)間傳感器監(jiān)測(cè)這類場(chǎng)景。我后續(xù)也在計(jì)劃把PatchTST并進(jìn)這套實(shí)驗(yàn)框架里做對(duì)比。另外提醒一句模型調(diào)參不是全部。數(shù)據(jù)質(zhì)量、特征工程、異常值處理對(duì)最終預(yù)測(cè)效果的影響往往比換模型更明顯。我在做這套實(shí)驗(yàn)時(shí)花了將近一半時(shí)間在清洗和構(gòu)建特征上模型本身雖然重要但絕不是唯一變量。做完整套單步、多步實(shí)驗(yàn)后我最深的體會(huì)是Transformer不是一個(gè)“萬能開關(guān)”它適合的是長(zhǎng)依賴和多變量交互明顯的時(shí)間序列。在這套實(shí)驗(yàn)中我用Pytorch從數(shù)據(jù)預(yù)處理、模型搭建到評(píng)估可視化完整走了一遍也踩了不少坑。如果你正打算在自己的數(shù)據(jù)上復(fù)現(xiàn)建議先把數(shù)據(jù)好好看一眼再按文中的代碼結(jié)構(gòu)一點(diǎn)點(diǎn)搭別急著直接套大模型。先把單步跑通再多步最后再回頭調(diào)超參這樣每一步都能定位到問題。希望這篇記錄能幫你少走點(diǎn)彎路。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
六月丁香五月天| 亚洲这里只有精品| 99er这里只有精品视频| 夜色爱爱亚洲| 激情五月天色播| 五月天婷婷深深爱| 婷丁香久综合| 91九色国产熟女| 婷婷五月天网| 综合婷婷都市激情| 亚洲俩性性爱图片久久第六页| 成人免费黄色短视频| 人人播| 五月丁香婷婷中文| 热996精品在线观看| 日韩操人| 啪啪操超碰| www.99热最新视频8| 色综合9| 99精品热| 久热91| 热99只有精品| 婷婷5月开心6月| 亚洲色色五月天| 国产成人网址| 99热九九热| 淫荡工a| 激情婷婷| 免费观看亚洲AV片| 热五月婷婷| 成人国产网站在线免费看| 免费97碰碰| 色久五月| 激情综合激情五月| 婷婷丁香人妻| 婷婷涩涩网| 久久资源网五月婷| 久久婷婷五月综合伊人| 伊人网碰碰| 色丁香五月婷婷综合久久| 狠狠干综合| 五月天成人小说网| 五月婷婷六月丁香激情| 丁香五月婷婷香| 色五月婷婷丁香婷婷| 丁香五月网络网络| 色综合婷婷99| 黑人糟蹋人妻HD中文字幕| 五月婷婷色影院| 人妻久久人妻久久第一区| 五月天久久www| 色婷婷综合视频| 色99日韩| 538午夜激情| 91大神操美女| WWW·天天操·视频?| 亚洲婷婷91丁香| 日熟女| 免费观看日韩成人av| 激情婷婷丁香五月| 97人妻人人| 日韩精品呦呦va| 亚洲九N| 五月丁香六月天| 丁香五月最新地址| 亚洲操人| 久久XX| 少妇熟女视频一区二区三区| 欧美熟女视频 色婷婷| 国产日产亚洲系列最新| 江苏少妇性BBB搡BBB爽爽爽| 99久久人人| 91chinese在线| 秋霞AV淫| 九九久久精品| 中文字幕在线免费看线人| 婷婷五月天伊人| 久久久久久久人妻| 九九色网专区| 超碰高清在线| 色综合久久天天综合网| 色色色在线免费视频| 狠狠艹狠狠艹| 婷婷丁香五月亚洲17cao| 久久99这里只有精品| 色欲婷婷夜夜| 五月激情婷婷在线| 狠狠穞A片一區二區三區| 丁香五月婷婷啪啪啪| AAA久久久| 91大神操美女| 九九综合影音先锋| 久久久欧美精品sm网站| 九热久| 超碰在线人妻| 五月婷婷激情四月| 久久五月天婷婷| 99精品久久| 中日韩美欧成人一区二区精品在线| 精品久久久91久久影视网| 婷婷福利影院| 久久五月婷婷电影| 天天综合在线网| 人人操av| 9久久精品| 亚洲V国产V欧美V久久久久久| 国产精品成人网址| 婷婷五月成人有| 日韩99色99| 天天做天天爱天天爽综合网| 亚洲乱码日产精品BD| 婷婷色五月综合| 激情欧美婷婷| 久热这里只有精品视频6| 激情五月天激情综合网| 色99在线| 91久久精品视频| 激情黄色小说色五月| 久热这里这里有精品| 久久奄也去色色网站| 丁香五月电影| 五月婷婷丁香| 亚洲操逼网| 国产又色又爽又黄又免费| 99色.com| 婷婷六月五月天综合| www.91操| 999九九九久久久99HD| 99色在线视频观看| 色色综合激情| 丁香花五月天社区| 激情丁香久久| 亚洲AAAA网| 亚洲色综合色网| 日韩综合久久| 99无码| 色色色色色色网站| 色99超碰| 激情小说 五月天| 五月婷婷片| 丁香狠狠操| 激情视频网址| 成人一级片| 久久看九九90| 战争与艾拉电影免费观看| 五月婷婷AV| 99热亚州综合| www.99情趣网| 久热99久热| 五月六月激情婷婷| 野战J办公桌椅H| 亚洲中文字幕av| 99热这里只有免费| 伊人AV五月婷| 欧美日本不卡黄色片| 免费视频舔| 九色91视频| 97碰碰碰| 91丨九色丨熟女|老版| 九月大香蕉| 欧美综合激情五月天| 人妻久久久| 亚洲激情综合| 激情综合网激情五月天| 激情综合国产| 成人在线日韩| 激情五月激情综合俺也去婷婷小说| 亚洲五月停停| www.天天色综合| 免费黄色AV| 91窝窝| 五月天狠狠草| 九热视频精品| 中文资源在线a | 婷婷五月天社区| 玖玖婷婷五月天毛片| 六月天六月婷| 综合网狠狠| 婷婷射综合| 1区2区视频| 色婷婷激情五月天| 久久综合干| 9999热在线| 天天综合网亚洲综合网| 久久五月天 91| 色五月婷婷激情| 五月丁香六月激情| 综合五月婷婷| 丁香六月av| 激情五月天婷婷| 久久婷婷六月| 婷婷五月天丁香综合网| 五月天操逼网| 婷婷久久六月天| 九九九激情综合| 思思热在线免费视频| 国自产拍偷拍精品啪啪一区二区| 色婷婷五月天视频在线| 五月天婷婷綜合院| 欧美丰满熟妇BBB久久久| 亚洲激情电影五月天色婷婷丁香一起草| 五月香蕉婷婷| 亚州激情网站无码| 亚洲激情五月| 成人片黄网站色大片免费毛片| 婷婷丁香五月av| 热久久这里只有精品| 中国激情网| a性生活久久无| 五月丁香婷婷基地| 亚洲va日| 婷婷伊人綜合| 亚洲第一综合| 97干综合网| 五月天操逼网| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 国产69久久久欧美黑人A片| www.av视频xx999.com| 欧美色五月| 丁香婷婷五月天色播| 懂色av粉嫩av蜜臀av| 九九热九九| 亚洲国产精品VA在线看黑人| 欧美婷婷成人| 丁香婷婷五月天网站| 白人荫道BBWBBB大荫道| 精品人妻一区二区三区四区不卡在| 无码一级片| 久热AA| 精品国产va久久久久| 黄桃AV无码免费一区二区三区 | 九九视频在线观看| 特级片神马电影| 麻豆忘忧草午夜| 欧美啪啪9| 激情五月天噢美| 色婷婷成人做爰A片免费看网站 | 色情综合网| 五月激激网w'w'w| 精品九九久久| 激情综合亚洲| 91九色精品| 丁香六月婷婷久久综合八月| 婷婷伊人綜合| 天天操夜夜操| 少妇人妻人伦A片| 人人玩人人橾| 超级碰碰碰91| 欧美性猛交AAAA片黑人 | 婷婷五月天在线观看第二页| 在线视频色五月| 91婷婷视频| 97热在线精品| 五月丁查人人| 五月婷婷中文网| 91人操人人人操人| 天堂va久久久噜噜噜久久Va| 啪啪啪大香蕉| 久久五月综合| 日本久久人| 少妇日麻屄| 五月婷婷色白丝| 色婷婷丁香五月| 天天天干夜夜夜操| 久久五月天激情视频| 欧美乱码国产一级A片| 风流少妇A片一区二区蜜桃| 五月丁香综合中文| 五月婷婷丁香在线| 久久这里只有精品16| 日本91在线| 无码一区二区三区四区五区91c| 综合色色网| 五月丁香花视频| 成人丁香婷婷五月天| www.zbzhongsen.com| 人人操碰| 九月色婷婷综合亚洲| 91一起操| 久久婷婷伊人| 六月丁香五月婷婷| 婷五月天| 五月激情婷婷丁香| 99久久久久| 色播五月| 久久婷婷综合五月趴| 欧美综合激情五月丁香| 丁香五月狠狠在线观看| 婷婷伊人网| 免费色婷婷| 天天综合精品| www.久久久久| 色99视频| 天天做夜夜爽| 婷婷亚洲综合| 综合激情五月丁香| 激情五月婷婷| 色婷久久| 丁香五月人妻| 九九激情| 日日夜夜婷婷| 思思热精品在线| 2020日日干| 激情五月五月婷婷| 天天做天天爽| 性欧美日本| 人人摸人人澡人人| 看全色黄大色大片| 91九色丨国产丨爆乳| 色婷婷五月天成人网| 久久五月婷婷丁香| 99色免费视频| 中文av网站| 丁香六月久久| 五月婷婷与六月丁香图片激情| 深爱五月天| 日韩av网站在线观看| 久久一伦| 五月天婷婷社区久久综合| 亚洲综合视频八| 免费观看日韩成人av| 色在线免费观看| 青青999| 色情五月| 亚洲成人网站在线| 综合久久婷婷| 亚洲女婷婷五月基地综合久久久| 丁香五月婷婷手机| 超碰网站在线观看| 无码色色色| 99热这里只有精品在线观看| 五月婷久久| 亚洲精品字幕在线观看| 蒲京久久无码视频| 久久久99婷婷久久久久久| 伊人9草在线观看| 五月丁香花激情综合网| 狠色综合网| 久久婷婷五月综合激情国产| 婷婷五月天开心激情网| 狠狠丁香| 五月天六月色| 日韩在线视频9色| 久久男人网婷婷| 九九热狼人| 1234操逼网| 婷婷五月天黄色| 第四色色六月色综合| 欧美熟女乱又伦| 五月婷婷六月婷| 国产真人做爰视频免费| 天天日P天天射P| 91色九| 多精窝99在线视频| 夜夜骑天天操| 五月天婷婷基地| 九月丁香婷婷网| 激情啪啪五月| 婷婷丁香激情五月| 91肏| www.ywav| 婷婷激情丁香五月婷婷激情丁香五月婷婷 | 色婷婷丁香五月| 久久久久五月丁香| 亚洲视99| 色婷六月| 色色色com| 亚洲综合1024| 另类综合国产| 五月天色区| 99碰碰碰| 97在线/亚洲| 五月熟妇婷婷久久| 99re久久| 日韩三级高清无码| 五月天色婷婷激情综合| 成人在线综合| 五月天小说激情| 操一区| 天天做天天摸| 国产精品日本一区二区在线播放 | www.minyis.com【JT】实力收量可预付QQ2101460746 | 这里只有精品偷拍| 激情九色| 激情综合视频| 99er6| 欧洲亚洲午夜| 人人操大| 五月激情综合深爱| 欧美三9久九观看| 日韩无码91| 久久有码| 国产毛片欧美毛片久久久| 人人爽欧美婷婷久久久五月丁香| 丁香五月网在线观看| 色五月天在线观看| 伊人色综合久久久| 天天干天天干天天干天天干天天干| 色婷婷大香蕉| 91日视频| 99热在线只有精品| 果冻传媒A片一二三区| 五月丁香六月婷婷,婷| 五月丁香亚洲婷婷| 色欲AVV| 五月丁香久久久日婷婷久久婷婷日| 婷婷性爱五月天| 99久久户外勾搭| 日日噜狠狠色综| 亚洲综合在线播放| 色婷婷五月影视| 99热99ai| 六月激情网| 日本三级中国三级99| 99乱视频| www.思思99热| 亚洲亚洲人成综合网络| 99热这里只有精品10| 久久九九99| 久久五月网| 99福利导航| 狠狠色婷| 色色AV色色色东莞| 97久久五月丁香婷婷| 激情五月视频在线婷婷| 丁香五月天大香蕉啪啪| 五月婷在线视频免费播放| 欧类av怡春院| 九九热在线观看视频网站| 人人操av| 色情·com| 色偷偷五月天| 婷婷五月天成人动漫 | 久久丁香九| 梁铮版蜘蛛女在线观看| 噼里啪啦在线观看免费完整版视频| 婷婷色在线| 久草婷婷| 大波美女VA网站| 色五月婷婷五月天| 天天射天天射一道本日本社区 | 综合AV网| 五月天婷婷色播在线网| 国产色色色色色| 九九九九这里只有精品| 色综合香蕉| 天天综合天综合| 久久综合9| 淑女丝袜bi操逼123| jiujiuxiangjiaowang| 婷婷性色| 日91高清无玛| 尔尔AV一区| 丁香六月婷月91婷月| 五月天综合在线| 逼逼AV| 97很鲁在线视频| 性99网站| 日本99在线| 丁香六月婷婷综合| 色婷婷综合中心| 中文成人在线| 五月丁香六月婷婷开心网| 婷婷久久在线| 天天日,天天插| 国产成人av在线播放| 丁香色婷婷| 丁香六月av| 操人妻AV| 丁香五月欧美| 日韩狠狠色婷婷| ai97re99一本| 丁香五月影视| 69婷婷丁香午夜| 91主播在线| 九九热re99re6在线精品| 狠狠色婷婷| 99婷婷精品推荐在线视频| 色色色.com| 久久婷婷网址| 亚洲啪啪视频| A网在线欧洲| 日亚二欧美| 五月婷久久| 激情网五月婷婷| 婷婷色五月大香蕉在线观看| 国产精自产拍久久久久久蜜| 五月婷亚洲精品| 操人91| 五月天综合在线网| www,久久久| 狠狠久综合| 中文字幕婷婷在线| www.狠狠操| 欧美VA在线观看| 久久伊人五月天| Aaa久久| 97色婷婷成人综合在线观看| 国产VA亚洲VA96| 日本99在线视频| 日韩成人不卡| 人妻久久久久久久 | 日韩一区二区A片免费观看| 五月综合色| 深爱激情小说五月婷婷| 91色久| 色97啪啪| 无码少妇高潮喷水A片免费| 婷婷五月天AV| 久久人妻高清中文| 色噜噜,噜噜色| 成人av播放| 影音先锋男人女人| 天天操天天插| 99久视频| 丁香六月婷| www.思思99热| 日韩黄黄| 色 免费网站视频| 在线成人av播放| 91操操| 可以看的av| 思思热在线视频观看精品| 色婷婷a| 色色草97| 99久热视频在线| 色播五月丁香| 97干视频| 99精品一二三四视频| 五月天影院| 久久丁香五月婷婷激情综合网| 九九99热| 五月丁香在线观看99| 国产午夜精品一区二区三区四区| 91色久| 丁香婷婷激情| 五月婷婷真爱激情网| 丁香狠狠| 免费精品66| 激情欧美婷婷| 97人人看| 久久五月视频| 91精品无码久久久久久五月天| 九九色video| www.9操| 成 人片 黄 色 大 片| 人人草人人舔| 操操自拍| 五月婷婷性爱| 色婷婷久久| 亚洲乱码在线观看| 日韩啪啪视频| 久久久18| 色婷五月| 欧美性猛交AAAA片黑人 | 精品国产AV色一区二区深夜久久| 久热99| 色色亚洲五月天| 香蕉婷婷| www.超碰| 色色色色色色综合网| 乱乱av| 成人无码髙潮喷水A片| 激情第四色| 天天射天天插天天干| 欧美成人在线观看| 丁香五月亚洲综合| 婷婷丁香18| 99精品综合| 曰本aaaaaa丈片| 中文字幕亚洲-区久久99婷婷| 人人综合91网| 七七九色| 五月婷婷开心亚洲无| 丁香六月亚洲| 成人五月天视频播放| 色五月婷婷亚洲| 丁香婷婷深情五月亚洲| 变态另类9| 天天综合网站| 99久操视频| 久久九九re热| 久久免费精品小视频| 思思热99er在线视频| 综合网五月天123| 性色五月天| 97干97色| 国产黄色在线观看| 大香婷婷| 婷婷丁香六月综合激情站| 丁香五月婷婷六月婷| 亚洲国产va| 丁香婷婷深情五月亚洲| 丁香午夜天| 99精品热| 亚洲第二AV| 婷婷五月天av| 丁香婷婷在线| 婷婷综合五月| 无码人妻丰满熟妇奶水区码| av电影在线播放| 91大神操美女| 丁香五月在线视频黑人| 97亚洲婷婷| 在线另类| 91丁香色| www.狠狠| 激情五月,婷婷五月,丁香五月| 色色色99| av超碰在线| 人妻性爱av网站| 天天干天天干天天干天天干天天| 久久3p| 另类少妇人与禽zOZZ0性伦| 青青色com久久| 色热久| 九九热视频免费| 岛国AV网| 丁香五月天天| 日韩狠狠色婷婷| 成人在线综合| 9热超碰| 色欲天天综合网| 亚洲国产色色| 99国产精品久久久久久久久久久| 中文字幕av在线播放| 九九操综合网| 五月丁香五月婷婷| 4438全国最大视频成人网站在线观看| 五月婷婷深深爱爱| 91爱操| 国产成人亚洲综合亚洲| 丁香六月开心| 五月丁香亭亭操逼| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 国产伦理精品高清在线观看网站一区二区 | 超碰在线50| 激情久久久| 人人摸人人澡人人| 激情人妻蜜夜系列区| 五月色在线| WWW.桔色成人.COM| 伊人大香久久| 五月婷婷视频ab| 久久综合婷婷五月| 激情五月婷婷色色| 艹| 99亚洲天堂| 日韩影院三级| 99热国产在线| 97高清国语自产拍| 综合五月天亚洲婷婷| 婷婷少妇激情| 色吊丝永久访问网址| 激情五月com| 99九九精品| 噜噜噜噜噜久| 伊人久久婷婷| 97碰| 九月婷婷激情| 99re青青草| 99免费视频在线观看爱| 68热超碰在线| 色婷亚洲| WWW.HENHENL.| 色五狠狠| 丁香五月亚洲综合丝袜| 色婷婷丁香网| 五月丁香激情综合| 人妻射精AV| 色婷婷狠狠| 久操大香蕉| 婷婷亚洲色| 在线视频你懂得| 丁香五月婷婷激情网| 熟女网站久久| 婷婷五月丁香91| 天天操天天操天天操天天操天天操 | 天天综合.com| 成人αV视频免费观看| 这里只有精品在线播放| 色青青电影色五月| 精品国产va久久久| 色婷婷激情五月天丁香| 99热这里只有精品一区| 欧美五月婷婷综合| 激情婷婷五月| 婷婷五月天丁香成人社区| 五月婷婷丁香网| 午夜激情久久| 五月婷婷六月激情| AV在线中文| 亚洲操b| 婷婷五月天改成什么了| 国产69久久久欧美黑人A片| 亚洲日韩26uuu| 大香蕉五月天| 五月色精品| 亚洲 成人 电影av在线观看| 激情九九六月激情免费视频| 丁香五月91| 婷婷五月天基地| 狠狠色激情在线| 男女av免费看| 天天插天天爽| 人妻激情综合| 九九99久久| 婷婷深爱网| av在线观看网址| 丁香五月婷婷六月丁香| 激情骚五月| 久色大| 狠狠操天天干| 激情综合网络插| 区区久久妻| 婷色五月天| 婷婷五月六月丁香综合| 五月丁香在线观看99| 9久精品| 日本色婷婷久久99精品91| www.ywav| 激情五月丁香五月| 天天操天天谢| 成人精品人妻| 五月婷婷六月天| 天堂爱爱| 9 1在线视频| 在线看片av| 婷婷永久在线| 欧美视频五区| 综合网色| 天天爽天天草| 五月婷婷六月丁香| 偷偷与邻居做爰完整视频| 五月婷综合| 六月丁香激情综合网| 精品一区久热| 99热激情| 天天天天操| 99热在线免费观看精品| 九九精品9| 五月丁香啪啪| 五月在线| 狠狠干狠狠干狠狠干狠狠干| 久久久久99精品成人网站| 九九热精品在线| 天天做天天爱天天玩| 日韩激情婷婷五月天| 婷婷色在线视频| 乱乱av| 五月丁香六月激情欧美综合| 色丁香五月婷婷在线| 噜噜噜狠狠色综合| 日本黄色精品| 国产在线网| 狠狠色噜噜狠狠狠888| 日本婷婷五月天| 99热这里只有精品69| 大香蕉综合在线| www.99热在线| 亚洲AV电影av| 丁香五月亚洲综合丝袜| 丁香五月性| 五月激情啪啪| 人人干99| 成人短视频在线免费观看| 国产在线另类五月婷婷| 9.1综合网| 久久久99婷婷久久久久久| 91免费试看| 99国产精品久久久久久久久久久| 337p大胆噜噜噜噜噜91Av| 亚洲色五月天| 色色 9| 在线色五月婷婷| wuyuedingxiang99| 婷婷九月狠狠色| 97香蕉人人在线观看| 五月婷婷综合色啪首页| 日韩性爱AV| 六月成人网| 这里只有精品视频| 五月婷婷六月丁香| 色综合久久久久| 色播播五月天| 狠狠搞狠狠操| www久久久| 婷婷五月在线观看| 99激情视频| 噜噜视频| 99久久9| 久久久97| 777精品久无码人妻蜜桃| 五月丁香| 激情网五月| 综合色99| 色婷婷影视| 久久人人看| 五月天综合色| www.婷婷五月| 久久婷婷六月综合综合| 五月婷婷丁香| 免费无码毛片一区二区A片| 久久精彩免费视频| 精品影院| 婷婷操无码| 国产精品色| 国产精产国品一二三在观看| 一区二区成人电影免费播放| 国产亚洲精品久久久久久久久动漫| 538在线精品| 日本一级黄色片。| 无码视频国内精品久久久| 色.五月综合网| 五月婷婷久久爱| 人人草碰| 亚洲av成人在线| 久99热| 五月丁香在线国产 | 五月天激情视频网站| av狠狠操| 色综合久久88色综合天天99| 夜夜爽天天爽| 风流少妇A片一区二区蜜桃| www.99.色| 一本狠婷婷综合| 9久久久久久久久久久| 五月婷婷丁香成人网| 另类专区在线| 亚洲五月婷| 五月丁香婷婷色| 天天干天天av天天射| 久久一品区| site:xiongshengzz.com| 亚洲色色爱| 婷婷开心激情五月激情网| 亚洲婷婷91丁香| 亚洲人人操| 九九久久久综合| 亚洲色激情| 少妇日麻屄| 丁香五月婷婷激情中文| 99日在线视频| 97干在线视频| 免费在线a| 日本色频| 亚洲第一第二网站| 五月婷婷久久综合| 91成人看| 99热日韩这里只有精品| 日本颜色视频人人爱| 99ri在线| 婷婷伊人欧美| 99综合网| 丁香五月23111| 成人在线精品| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 思思视频精品| 久婷五月| 婷婷五月天无码| 婷婷丁香久久| 丁香五月停停基地| 五月丁香 久久久| www.97碰碰com| 久久小视频| 久久99网址| 久久伊人日日夜夜| 亚洲中文字幕网| 涩丁香| 性五月激情| 这里只有精品视频免费在线观看| 成人在线视频网| 综合色影院| 综合五月天天天天天五月| 亚洲天堂热| 久久九九激情五月天 | 天天综合久久| www.99热. com这里只有精品| 婷婷色影院| 超碰97色| 五月色丁香激情| 婷婷激情小说| 97碰碰在线观看视频| 天天草天天日| 影音先锋女人AA鲁色资源 | 99色热视频在线| 大香蕉在九| 99在线观看视频免费| 亚洲99在线| 9999热免费视频视频| 男人天堂亚洲综合| www,天天干| 4399在线观看免费毛片| 中文字幕乱轮| av亚洲国产小电影| 99热 免费| 久久综合激情| 丁香密臀AV激情网| 狠狠干夜夜干| 五月停性愛| 伊人婷婷色激情丁香| 丁香六月综合| 五月丁香六月色婷婷综合五月天| 五月六月婷婷| 色婷婷狠狠18yy| 五月婷婷六月奇米网丁香| 五月天综合在线| 97福利视频| 九热免费视频| 丁香婷婷色九月| 五月婷婷在线综合| AⅤ网站在线看| 操逼福利视频| 精品成人无码A片观看香草视频| 丁香六月AV| www.婷婷五月| 美女黄频aⅴ视频| 久青操| 久久9999| 五月天激情四射网站| 九九精品少妇| 久久综合五月天| 偷偷操99| 欧美操我| 美国十月色婷婷在线观看| 人妻Av在线| 天天操人人干| 探花搜索结果 - 黄上黄| 色五月婷婷影院| 亚洲成Av人片乱码色第1集| 久久人妻伦理| 九九热婷婷| 婷婷色导航| 99热99天堂| 亚洲色图五月丁香| 欧美五月婷婷| 99性爱视频| 丁香女人五月天| 国产精产国品一二三在观看| 99成人精品| 综合色、色综合| 色五月首页| www.久操| 夜夜大香蕉婷婷丁香| 99热99在线| 大香蕉久操| 色婷婷五月网| 天天色凹凸| 日韩精品一品二区三区的使用体验| 午夜激情综合| 婷婷五月天伊人网| 色色丁香五月婷婷| 99国产在线精品视频| 婷婷综合精品视频97| 99热欲| 婷婷五月激情欧美| www。狠狠干。com| 欧美日韩成卜| 色99色| 五月丁香六月婷婷久久肏| 99精品视频网| 性色99| 97色精品视频| 国产97色在线 | 日韩| 在线看片av| 丰满老熟妇BBBBB搡BBB| 色综合天天天天做夜夜| 丁香五月先锋| 丁香久久| 开心五月婷婷在线| 国内久久久精品99| www99热| 五月丁香六月婷婷色| 欧美日韩中国| 色热久| 五月的婷婷六月丁香| 婷综合六月| 91久久| 综合五月天天天天天五月| 久婷久婷激情肉| 婷婷综合视频| 99热久| 亚洲精品亚洲人成人网| 99久久国产综合精品五月天喷水\| 狠狠色噜噜狠狠| 日韩欧美一区二区三区四区| 国产精品24r| 91丁香五月| 久久九九99亚洲国产久精综合| 婷婷色片| 色婷婷丁香五月天| 狠狠做婷婷| 99在线观看亚洲| 激情婷婷五月综合| 九九久久99| 激情五月丁香亭亭| 免费精品66| 9久热在线精品| 色婷婷99| 五月天激情www| 婷婷六月丁香激情| 久热久操久热久草国产91| 91精品91久久久中77777| 能直接看的AV网站| se99高清无码| 日韩成人电泉AV| 精品亚洲国产成AV人片传媒| 玖玖99免费视频| 五月天婷婷黄色| 日本怕怕视频| 在线不卡的视频| 久久综合五月天| 人人97碰| 特级片神马电影| 婷婷欧美激情综合| 婷婷久久99| 色天使色综合| 久久久国产精品黄毛片| 九九九九综合| 欧美亚洲999| 色色色婷| 91综合网| 欧美性生交xXxX久久久| 182TV大香蕉| 99热最新| 色青青视频| 激情九月婷婷| 日本久久超碰| 西西4r午夜剧场| 激情综合五月| 久久婷婷国产| 青青草成人网| 1995年关宝慧版蜘蛛女| 亚洲中文丁香| 最新色色五月天| 激情五月天情色| 伊人五月婷| 激情综合五月| www.久久| 婷婷五月天开心网| 日本五月婷婷| 天天综合中文| 99亚洲色| 久热只有这里精品| 免費亭亭成人| wWw色五月| 婷婷亚洲天堂| 激情性爱五月天| 欧美激情中文字幕| 狠狠色婷婷色| 亚洲韩国日产综合AV| 色婷婷成人做爰A片免费看网站| 六月丁香网| 九九久久久综合| 九九亚洲| 婷婷色导航| www99热| 色的色综合| 亚洲乱码在线观看| 91婷婷在线观看| 操操熟女| 99日在线观看视频| 六月天无码网址| 色情丁香五月天| 五月丁香美女| 国产超碰在线| 美日韩成人| 久久99久久99精品免视看婷| 91九色在线| 色色五月天激情| 99这里只有精品视频免费| 超碰成人电影| 久久色频| 婷婷丁香色五月天久久88| www.99热最新视频8| av婷婷丁香 六月| 国产婷婷色五月| Av性爱网| 狠狠狠激情网| 五月天深爱激情网| 久久婷婷五月天激情唯美| 99色免费观看全部| 五月天com| 黄色五月婷婷| 精品久久99码| 99热综合| 屁股翘好撅高迎合跪趴| 五月婷婷香蕉| 九九久久偷拍| 超碰人人妻| 日本99在线| 成人在线精品| 色五月天天| 俺去啦综合网| 色婷婷88| www激情| 成人免费黄色短视频| 婷婷九九色| 99乱视频| 99热 这里只有精品 国产 日韩| 2023天天日夜夜爽| WWW,婷婷,COM| 亚洲五月婷| www.夜夜| 五月天小说激情| 人妻视频在线| caop视频| 天天干天天做| 婷婷激情五月综合丁| 激情五月婷婷免费视频| 一本色道久久88加勒比—| 五月婷婷视频| 婷婷五月天99综合网站| 中文字幕激情综合| 秋霞电影一级黄| 婷婷丁香五月亚洲综合网在线视频观看| 色婷婷亚洲精品天天综| 丁香五月中文字幕色播| 99精品视频偷拍| 热婷婷av| 丁香五月大香蕉在线99| 99热这里是精品| 亚洲激情av| 五月婷婷婷| 99视频在线精品免费观看2| 五月熟妇婷婷久久| 91丨熟女丨首页| 亚洲成人高清在线| 干一干xxxx| 亚洲成人在线观看网址| 五月天开心色色网| 99精品偷自拍| 香蕉久久国产AV一区二区| 色五月丁香五月| 亚洲熟女色| 色爱99| 九九热婷婷| www.天天干| 人妻久久久| 亚洲VA口| 天天干天天干天天| 综合色播| 婷婷五月天av| 干亚洲天堂| 亚洲第一第二网站| 大香蕉综合网| 激情丁香久久| 婷婷爱综合| 国产欧美第五十五页| 亚洲精品又粗又大又爽A片| 8区视频在线| 丁香五月综合在线播放 | 伊人丁香花综合影院| 九九99免费视频| 69热91天堂| 丁香六月激| 99久热这里只有精品| 天天揷综合网| 久久久久9999| 99热综合| 久久大香蕉丁香| 99er精品| 丁香五月av| 九九久99免费视频| 狠狠干天天内射| 91色久| 97碰成超视频免费视频| 狠狠狠狠狠操| 香蕉久久国产AV一区二区| 久久婷婷五月综合激情国产| www.天天干.com| 激情五月丁香五月| 色五月色五天色情网址| 亚洲爱爱无码婷婷色五月| 久99视频在线观看| 日本9区视频| 五月天成人在线| 久久久激情| 全高清无码视頻| 2025天天操| 激情综合色婷婷啪啪五月天| 五月丁香日本片| 97碰免费视频在线| 五月天婷婷久久日| 五月天,激情四射,婷婷频道| 天天日天天色| 依人大香蕉| 新激情婷婷| 婷婷五月天久久| 4399在线观看免费高清电视剧| 日韩色色视频www| 婷婷六月亚洲综合| 人妻人人操| 免费一区二区三区| www一起操| 在线播放中文字幕| 九九无码| 99精品国产在热久久婷婷| 婷婷五月深爱五月| 五月综合激情网| 欧美性爱5月天天天看| 国产av一区二区三区| 午夜美女人啪最红院| 天天弄天天操| 五月丁香婷婷在线综合蜜桃| 99在线精品观看99| 日本精品。999| 99视频自拍| 色婷婷五月影视| 激情五月婷婷综合| 色婷婷婷av| 欧美激情VA永久在线播放| 五月婷婷六月丁香激情深爱| 99综合免费视频| 99热成人永久免费| 天天肏视频| 操操操操操操婷婷五月天| 日日爽夜夜爽| 婷婷激情五月综合| 99色色热| 五月婷丁香| 五月亭亭激情综合| 日韩精品视频中文字幕| 五月婷婷丁香色播网| 爆乳熟女-区二区三区| 色五月婷婷很很操| 99熟女啪啪视频| 色色色在线观看| 久热精品视频在线观| 色综合久久久久| 色色婷婷综合网| 九九九九中文字幕| www.狠狠| 久久久大香蕉| www.狠狠| 五月天婷婷激情干干| se色婷婷视频| 99热精品免费| 色99超碰| 亚洲精品视频电影| 久色视频在线| 五月综合激情网| 天天爽天天摸| 99久久久久久久| 国产67194| 色婷婷综合中心| 五月综合激情网| 色色色地址| 99久久丝| 日韩性爱AV| 五月激情六月综合| 亚洲成人免费电影| 九九九九精品精| 激情五月天小说| 五月色在线| 狠狠CAO日日穞夜夜穞AV| 五月激情婷婷丁香| 很很干夜夜干| 狠狠色婷婷六月激情网| 国产一级片色色| 久久99热这里只有| 五月天婷婷色| 色婷婷激情| www狠狠| 狠狠大香婷婷爱| 色五月婷婷中文字幕|