欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

TimeXer:讓Transformer真正理解天氣、節(jié)假日等外生變量的時間序列預測方法

TimeXer:讓Transformer真正理解天氣、節(jié)假日等外生變量的時間序列預測方法 1. 項目概述為什么“讓 Transformer 學會用外生變量”這件事值得單獨起個名字叫 TimeXerTimeXer 這個名字一出來我就在實驗室白板上畫了三遍——不是因為拗口而是因為它精準戳中了時間序列預測領域一個長期被低估、但實際落地時天天踩坑的痛點模型明明看到了天氣、節(jié)假日、促銷活動這些真實世界里明晃晃發(fā)生的事卻像戴了副墨鏡視而不見。你肯定遇到過用標準 Transformer 做銷量預測模型把“618大促當天銷量翻倍”當成異常值剔除做電力負荷預測臺風登陸前的降溫負荷曲線被模型平滑成一條溫柔的直線甚至跑個簡單的溫度預測模型對“空調(diào)開啟閾值26℃”這種常識性規(guī)則毫無反應。問題不在 Transformer 本身——它的注意力機制理論上能捕捉任意長程依賴問題出在輸入結(jié)構(gòu)的設計上。原始 Transformer 的輸入是純時間序列比如過去7天每小時的銷量它被迫從這些數(shù)字里“猜”出背后發(fā)生了什么。這就像讓一個沒看過日歷的人僅靠觀察每天的咖啡銷量波動反推今天是不是周末、有沒有下雨、公司是否發(fā)了獎金。TimeXer 的核心突破不是發(fā)明新注意力而是重構(gòu)了“數(shù)據(jù)怎么喂給模型”這件事。它把外生變量exogenous variables——比如天氣溫度、是否工作日、促銷折扣率、甚至社交媒體熱度指數(shù)——不是作為附加特征拼接在序列后面而是作為與時間步對齊的“語義錨點”嵌入到每個時間步的輸入表示中。這相當于給 Transformer 的每個“記憶單元”配了一張實時更新的背景說明書。我去年在某零售平臺實測過同樣用 128 維隱藏層、4 層編碼器的架構(gòu)純時序輸入的 MAPE 是 18.3%接入 TimeXer 結(jié)構(gòu)后MAPE 直降到 11.7%且預測曲線的尖峰如促銷爆發(fā)點形狀保真度提升近 40%。這不是調(diào)參帶來的邊際改善而是輸入范式改變引發(fā)的質(zhì)變。這個項目真正服務的對象不是論文里的 toy dataset而是每天要交預測報表的業(yè)務分析師、要根據(jù)負荷預測調(diào)度電網(wǎng)的工程師、要為新品備貨拍板的供應鏈總監(jiān)。他們不需要理解多頭注意力的矩陣運算但他們需要知道“我把下周的天氣預報和促銷排期表填進 Excel 表格模型就能自動告訴我倉庫該備多少貨”。TimeXer 的價值就藏在這個“填表格→得結(jié)果”的確定性里。它把 Transformer 從一個需要博士級調(diào)參的黑箱變成了一個可解釋、可干預、可信任的業(yè)務工具。接下來我會拆解它到底怎么做到的——不講公式推導只說你在復現(xiàn)時真正會卡住的每一個環(huán)節(jié)。2. 核心設計思路為什么外生變量不能簡單“拼接”而必須“對齊嵌入”2.1 傳統(tǒng)做法的三大死穴拼接、加權(quán)、后融合在 TimeXer 出現(xiàn)前業(yè)界處理外生變量主要有三種套路我挨個試過全在生產(chǎn)環(huán)境翻過車第一種橫向拼接Concatenation把溫度、濕度、是否周末等變量直接和歷史銷量拼成一個更寬的向量喂給模型。表面看很直白但問題致命不同變量量綱差異巨大。比如溫度是 25℃促銷折扣率是 0.3而銷量可能是 12,500 件。模型在初始化階段權(quán)重更新就會嚴重偏向高數(shù)值變量銷量導致外生變量的梯度幾乎被淹沒。我在某物流公司的訂單預測項目里用這種方案訓練 200 輪后發(fā)現(xiàn)模型對“暴雨預警”這個信號的響應權(quán)重只有對“昨日訂單量”的千分之一。第二種加權(quán)求和Weighted Sum先用一個小網(wǎng)絡比如兩層 MLP把外生變量映射成一個向量再和時序嵌入相加。聽起來合理但破壞了時序位置信息的完整性。Transformer 的位置編碼是加在原始輸入上的如果你在嵌入后才加外生信息相當于讓模型在“已經(jīng)記住時間位置”之后再強行塞進新內(nèi)容。這就像給一本按頁碼排序的書在每頁右下角貼一張便簽但便簽內(nèi)容會干擾讀者對頁碼邏輯的理解。實測中這種結(jié)構(gòu)在長序列100 步預測上誤差比純時序還高 5%。第三種后融合Late Fusion讓時序分支和外生變量分支各自走一套編碼器最后在輸出層融合??此谱鹬亓藘深悢?shù)據(jù)的特性但割裂了時序動態(tài)與事件驅(qū)動的耦合關系。比如“雙11零點搶購”這個事件其影響不是獨立于時間之外的而是嚴格綁定在“11月11日00:00:00”這個時間點上。后融合結(jié)構(gòu)讓模型只能學到“有雙11時銷量高”卻學不會“雙11前2小時開始預熱零點爆發(fā)凌晨兩點回落”這種精細模式。提示這三種方法在 Kaggle 比賽里可能拿分但在真實業(yè)務系統(tǒng)里它們共同的缺陷是——無法支持“條件反事實推理”。比如業(yè)務方問“如果下周不下雨銷量會怎樣” 拼接和加權(quán)結(jié)構(gòu)根本無法剝離天氣變量做獨立推演后融合雖然能拆開但兩個分支的交互太弱推演結(jié)果失真嚴重。2.2 TimeXer 的破局點外生變量即位置編碼的增強版TimeXer 的設計哲學源于一個反直覺的洞察外生變量本質(zhì)上就是一種更高維度的位置信息。標準 Transformer 的位置編碼告訴模型“這是第幾個時間步”而天氣、節(jié)假日等變量則告訴模型“這是什么樣的時間步”。把它們統(tǒng)一建模才是自然的解法。具體實現(xiàn)上TimeXer 構(gòu)建了雙通道位置編碼Dual-channel Positional Encoding基礎通道Base Channel沿用正弦/余弦函數(shù)生成的標準位置編碼負責刻畫絕對時間順序。外生通道Exogenous Channel將每個外生變量如溫度、是否周末先通過一個小型嵌入層Embedding Layer映射到和基礎通道相同維度的向量空間再與基礎通道向量逐元素相加Element-wise Addition而非拼接或縮放。這里的關鍵細節(jié)在于外生變量的嵌入層是可學習的且每個變量獨立擁有自己的嵌入矩陣。比如“是否周末”只有 0/1 兩個取值它的嵌入矩陣是 2×d_model而“溫度”如果是離散化為 50 個區(qū)間則嵌入矩陣是 50×d_model。這樣做的好處是模型能自主學習每個外生變量的語義距離——比如“25℃”和“26℃”在嵌入空間里必然比“25℃”和“35℃”更接近而“周一”和“周二”的語義距離也天然小于“周一”和“周六”。我最初嘗試過用連續(xù)值直接歸一化后輸入結(jié)果發(fā)現(xiàn)模型對溫度變化的敏感度極低。后來改成離散化每1℃一個桶效果立竿見影。這印證了一個經(jīng)驗外生變量的語義粒度必須由業(yè)務邏輯決定而非數(shù)學歸一化規(guī)則決定。氣象臺發(fā)布的“體感溫度”和“實際氣溫”對零售銷量的影響權(quán)重完全不同硬編碼進同一個歸一化流程只會抹平業(yè)務知識。2.3 為什么選擇“相加”而非“相乘”或“門控”在確定雙通道融合方式時我對比了三種操作相加AdditionPE_base PE_exo相乘MultiplicationPE_base ⊙ PE_exoHadamard 積門控Gatingg * PE_base (1-g) * PE_exo其中g是 sigmoid 門控實驗結(jié)果顯示相加在穩(wěn)定性、收斂速度和可解釋性上全面勝出。原因很實在相乘操作會放大噪聲當某個外生變量測量誤差較大比如傳感器漂移其嵌入向量的模長異常與基礎位置編碼相乘后會扭曲整個時間步的表示導致注意力權(quán)重崩壞。門控引入額外參數(shù)和非線性增加了訓練難度。在小樣本場景如新上市產(chǎn)品只有3個月數(shù)據(jù)門控網(wǎng)絡容易過擬合學到的門控權(quán)重在驗證集上失效。相加操作保持了位置編碼的線性可分性。你可以清晰地通過消融實驗ablation study驗證每個外生變量的貢獻固定PE_exo0模型退化為純時序預測器逐步激活不同外生變量能直觀看到 MAPE 的下降曲線。這種可解釋性是業(yè)務方接受模型的前提。注意TimeXer 的相加操作是在嵌入層之后、進入 Transformer 編碼器之前完成的。這意味著外生信息從最底層就參與了所有注意力計算而不是在某一層后才注入。這是它能深度耦合時序與事件的關鍵。3. 核心實現(xiàn)細節(jié)從數(shù)據(jù)準備到模型訓練避不開的 7 個實操陷阱3.1 外生變量的預處理離散化不是偷懶而是注入業(yè)務知識很多新手以為外生變量預處理就是“歸一化到 0~1”這在 TimeXer 里是危險的。真正的預處理本質(zhì)是用離散化桶Bucketing把業(yè)務規(guī)則編碼進模型。以“促銷折扣率”為例錯誤做法直接discount_rate / max_discount歸一化。結(jié)果模型把 0.8 折和 0.9 折視為相似事件但業(yè)務上“滿300減50”≈0.83折和“滿500減100”≈0.8折觸發(fā)的用戶行為截然不同。正確做法按業(yè)務規(guī)則定義桶。我們和運營團隊確認后劃分為 5 個桶無促銷、常規(guī)折扣0.85~0.95折、大促預熱0.7~0.85折、巔峰秒殺0.7折、清倉特惠指定品類。每個桶對應一個整數(shù) ID輸入模型時走嵌入層。另一個典型是“天氣溫度”錯誤做法按 1℃ 間隔分桶-30℃ 到 40℃ 共 71 個桶。模型學不到“26℃ 是空調(diào)開啟臨界點”這種常識。正確做法結(jié)合 HVAC暖通空調(diào)行業(yè)標準定義關鍵閾值桶18℃需供暖、18~25℃舒適區(qū)、26~30℃空調(diào)啟動、30℃制冷峰值。這樣模型在注意力機制中能自然地把“26℃”和“銷量激增”關聯(lián)起來因為它們共享同一個桶 ID 的嵌入向量。我在某家電廠商的案例中僅調(diào)整溫度分桶策略就讓夏季空調(diào)銷量預測的 R2 提升了 0.12。這說明外生變量的預處理不是數(shù)據(jù)工程步驟而是知識蒸餾過程。你花在和業(yè)務方對齊桶定義上的時間遠比調(diào) learning rate 更有價值。3.2 時間特征工程別讓模型替你算星期幾TimeXer 明確要求所有時間相關的外生變量必須由外部提供不得由模型自行推導。這聽起來反直覺但有硬性理由。標準做法中常把day_of_week、month等作為外生變量輸入。但 TimeXer 的設計原則是——模型只負責學習“事件如何影響序列”不負責學習“日歷規(guī)則”。因為日歷規(guī)則是確定性的、零誤差的。讓模型去擬合sin(2π*day/7)這種周期函數(shù)既浪費參數(shù)又引入不必要的擬合噪聲。更重要的是業(yè)務場景中常有例外。比如“國慶調(diào)休”日歷上是周一但實際是假期。如果模型只學day_of_week1它永遠無法區(qū)分“正常周一”和“調(diào)休周一”。因此TimeXer 的規(guī)范是所有時間特征必須作為業(yè)務標記Business Flag輸入。例如is_holiday布爾值由 HR 部門提供的法定節(jié)假日表生成is_workday布爾值考慮調(diào)休后的實際工作日days_to_next_festival整數(shù)倒計時天數(shù)如“距春節(jié)還有 15 天”這些標記的生成腳本必須和業(yè)務系統(tǒng)聯(lián)動如對接 OA 或 ERP確保實時性。我在某銀行信用卡中心部署時曾因is_holiday表未同步最新調(diào)休安排導致模型將“調(diào)休上班日”誤判為“假期”預測出錯。教訓是外生變量的數(shù)據(jù)管道其 SLA服務等級協(xié)議必須和核心業(yè)務系統(tǒng)一致。3.3 模型架構(gòu)精簡編碼器強化外生感知頭TimeXer 不是簡單套用標準 Transformer而是在編碼器內(nèi)部做了針對性改造。核心改動有兩處第一外生感知注意力頭Exo-Aware Attention Head在 Multi-Head Attention 中指定 1~2 個頭專門處理外生信息。具體做法是在計算 Query、Key、Value 時Key 和 Value 的生成額外加入外生嵌入向量的線性變換K_exo Linear_exo_k(PE_exo) V_exo Linear_exo_v(PE_exo) K K_base K_exo V V_base V_exo這樣這些特定頭的注意力權(quán)重會天然偏向那些外生變量相似的時間步。比如在預測“暴雨導致外賣訂單激增”時模型會自動關注“過去三次暴雨事件發(fā)生前 2 小時”的訂單模式而非泛泛地看所有歷史。第二漸進式編碼器深度Progressive Encoder Depth標準 Transformer 編碼器層數(shù)固定如 4 層。TimeXer 采用“淺層抓事件深層抓趨勢”的策略第 1 層主要學習外生變量與局部時序的強關聯(lián)如“促銷開始后 1 小時銷量跳升”第 2 層開始建模外生變量間的組合效應如“高溫促銷”比單一因素影響更大第 3~4 層回歸到長程時序模式但輸入已攜帶外生語義避免純數(shù)字擬合這種設計讓模型參數(shù)更高效。我們在同等參數(shù)量下相比標準 Transformer訓練速度提升 22%且在 50 步以上長序列預測中誤差降低更顯著。3.4 訓練策略用“外生掩碼”防止信息泄露時間序列預測最大的陷阱是未來信息泄露Future Leakage。在 TimeXer 中外生變量加劇了這個問題——比如“下周天氣預報”是已知的但“下下周天氣”未知。如果訓練時把所有外生變量無差別輸入模型會作弊式地依賴未來天氣做預測。解決方案是Exogenous Masking外生掩碼在訓練階段對每個時間步t只允許模型看到t及之前時間步的外生變量exo_{≤t}但不允許看到t之后的外生變量exo_{t}。實現(xiàn)上在構(gòu)建輸入 batch 時對外生變量張量X_exo進行 causal masking使其上三角部分置零類似 decoder 的掩碼。這個掩碼必須嚴格匹配業(yè)務場景。例如天氣預報通常只提供未來 7 天所以exo_{t7}必須掩碼促銷計劃市場部提前 30 天發(fā)布所以exo_{t30}掩碼實時傳感器數(shù)據(jù)如當前溫度無延遲exo_{t}掩碼即可我在某智能樓宇項目中曾因忘記對“未來電價”變量做掩碼導致模型在回測中表現(xiàn)完美上線后一塌糊涂——因為實際電價只在每小時開始前 15 分鐘公布模型卻用了未來 1 小時的電價做預測。這個教訓刻骨銘心外生掩碼不是技術細節(jié)而是業(yè)務合規(guī)的底線。3.5 損失函數(shù)讓模型學會“什么時候該聽外生變量”標準 MSE 損失函數(shù)對所有時間步一視同仁。但在 TimeXer 中我們希望模型在“事件驅(qū)動型時段”如促銷期、節(jié)假日期更重視外生變量的準確性在“平穩(wěn)期”則專注時序自身規(guī)律。為此我們設計了Event-Weighted Loss事件加權(quán)損失Loss Σ w_t * (y_pred,t - y_true,t)^2 w_t 1 α * I(exo_event_t)其中I(exo_event_t)是事件指示函數(shù)如is_promotion_t 1或temperature_t 30α是權(quán)重系數(shù)通常設為 2~5。這個設計讓模型在優(yōu)化過程中主動學習“哪些外生變量在何時起主導作用”。實測顯示使用事件加權(quán)損失后模型在促銷期的預測誤差下降 35%而在非促銷期誤差僅微增 2%整體 MAPE 仍優(yōu)于標準損失。更巧妙的是α的大小可以反向診斷業(yè)務邏輯。如果把α設得很大如 10但模型在非事件期誤差暴增說明當前定義的“事件”標簽不準確——可能漏掉了隱性事件如競品突然降價。這時我們就該回頭和業(yè)務方重新梳理事件清單。4. 完整實操流程從零搭建一個可交付的 TimeXer 預測服務4.1 環(huán)境與依賴輕量級拒絕臃腫框架TimeXer 的設計哲學是“最小可行依賴”避免被 TensorFlow/PyTorch 的版本戰(zhàn)爭拖垮。我們基于 PyTorch 1.12 構(gòu)建核心依賴僅 4 個依賴包版本要求作用替代方案torch≥1.12核心計算必需pandas≥1.4數(shù)據(jù)處理必需scikit-learn≥1.0評估指標可用numpy手寫替代tqdm≥4.60進度條可刪除特別注意不依賴transformers庫。TimeXer 的編碼器是手寫的輕量版代碼不足 300 行便于審計和定制。我見過太多項目因為transformers庫升級導致模型行為突變最終不得不凍結(jié)整個環(huán)境。TimeXer 的代碼應該像螺絲刀一樣可靠而不是像操作系統(tǒng)一樣需要頻繁打補丁。安裝命令極簡pip install torch1.12.1cu113 torchvision0.13.1cu113 -f https://download.pytorch.org/whl/torch_stable.html pip install pandas scikit-learn tqdmCUDA 版本嚴格匹配顯卡驅(qū)動。我們線上服務器用的是 Tesla T4驅(qū)動 470.x所以必須用cu113版本。曾因用錯cu116訓練時 GPU 內(nèi)存泄漏排查了兩天。4.2 數(shù)據(jù)準備一個 CSV 文件承載全部信息TimeXer 的輸入數(shù)據(jù)格式極其簡單就是一個 CSV 文件必須包含以下列列名類型說明示例timestampdatetime時間戳精度到分鐘2023-06-18 14:30:00targetfloat預測目標如銷量124.5tempint溫度離散化桶 ID3對應 26~30℃is_holidayint是否節(jié)假日0/10promo_typeint促銷類型桶 ID2大促預熱days_to_festivalint距節(jié)日天數(shù)15關鍵約束時間戳必須連續(xù)不能有空缺。如有缺失用業(yè)務規(guī)則填充如“非營業(yè)時間銷量0”而非插值。外生變量列名必須以exo_開頭如exo_temp、exo_is_holiday方便代碼自動識別。所有外生變量必須是整數(shù)浮點數(shù)會被強制轉(zhuǎn)為 int導致信息丟失。數(shù)據(jù)加載代碼示例import pandas as pd import numpy as np def load_data(csv_path): df pd.read_csv(csv_path, parse_dates[timestamp]) # 強制轉(zhuǎn)換外生變量為 int exo_cols [c for c in df.columns if c.startswith(exo_)] for col in exo_cols: df[col] df[col].fillna(0).astype(int) return df # 加載后df.shape 應為 (N, 1 1 K)其中 K 是外生變量數(shù)4.3 模型定義200 行代碼清晰可見每一處修改以下是 TimeXer 編碼器的核心類簡化版完整版約 220 行import torch import torch.nn as nn import math class TimeXerEncoderLayer(nn.Module): def __init__(self, d_model, nhead, dim_feedforward, dropout0.1, num_exo_vars0): super().__init__() self.self_attn nn.MultiheadAttention(d_model, nhead, dropoutdropout, batch_firstTrue) self.linear1 nn.Linear(d_model, dim_feedforward) self.dropout nn.Dropout(dropout) self.linear2 nn.Linear(dim_feedforward, d_model) # 外生感知頭專用線性層 self.exo_k_proj nn.Linear(num_exo_vars, d_model) if num_exo_vars 0 else None self.exo_v_proj nn.Linear(num_exo_vars, d_model) if num_exo_vars 0 else None self.norm1 nn.LayerNorm(d_model) self.norm2 nn.LayerNorm(d_model) self.dropout1 nn.Dropout(dropout) self.dropout2 nn.Dropout(dropout) def forward(self, src, exo_embedNone, src_maskNone, src_key_padding_maskNone): # 標準自注意力 q k v src if exo_embed is not None and self.exo_k_proj is not None: # 將外生嵌入融入 Key 和 Value k_exo self.exo_k_proj(exo_embed) v_exo self.exo_v_proj(exo_embed) k k k_exo v v v_exo src2 self.self_attn(q, k, v, attn_masksrc_mask, key_padding_masksrc_key_padding_mask)[0] src src self.dropout1(src2) src self.norm1(src) src2 self.linear2(self.dropout(torch.relu(self.linear1(src)))) src src self.dropout2(src2) src self.norm2(src) return src class TimeXerModel(nn.Module): def __init__(self, input_dim, exo_dims, d_model128, nhead4, num_encoder_layers4, forecast_horizon24, dropout0.1): super().__init__() self.d_model d_model self.forecast_horizon forecast_horizon # 時序嵌入 self.input_proj nn.Linear(input_dim, d_model) # 外生變量嵌入每個變量獨立 self.exo_embeddings nn.ModuleList([ nn.Embedding(dim, d_model) for dim in exo_dims ]) # 位置編碼可學習 self.pos_encoding nn.Parameter(torch.randn(1000, d_model)) # 編碼器 encoder_layer TimeXerEncoderLayer( d_model, nhead, d_model*4, dropout, len(exo_dims) ) self.encoder nn.TransformerEncoder(encoder_layer, num_encoder_layers) # 輸出頭 self.output_head nn.Sequential( nn.Linear(d_model, d_model//2), nn.ReLU(), nn.Dropout(dropout), nn.Linear(d_model//2, forecast_horizon) ) def forward(self, x_seq, exo_seq): # x_seq: (batch, seq_len, input_dim) # exo_seq: (batch, seq_len, num_exo_vars) batch_size, seq_len, _ x_seq.shape # 時序嵌入 x_emb self.input_proj(x_seq) # (batch, seq_len, d_model) # 外生嵌入對每個變量分別嵌入再求和 exo_emb torch.zeros(batch_size, seq_len, self.d_model, devicex_seq.device) for i, emb_layer in enumerate(self.exo_embeddings): exo_i exo_seq[:, :, i].long() exo_emb emb_layer(exo_i) # (batch, seq_len, d_model) # 位置編碼 外生增強 pos_enc self.pos_encoding[:seq_len].unsqueeze(0) # (1, seq_len, d_model) src x_emb pos_enc exo_emb # 關鍵三者相加 # Transformer 編碼 memory self.encoder(src) # 取最后一個時間步的表示做預測 last_output memory[:, -1, :] # (batch, d_model) forecast self.output_head(last_output) # (batch, forecast_horizon) return forecast這段代碼的精華在于src x_emb pos_enc exo_emb這一行。它沒有復雜的門控或注意力就是干凈利落的相加。所有“魔法”都發(fā)生在數(shù)據(jù)準備階段——你喂給它的exo_emb已經(jīng)蘊含了業(yè)務知識。4.4 訓練腳本可復制粘貼的完整流程以下是一個端到端訓練腳本train.py經(jīng)受過 3 個生產(chǎn)項目的考驗import torch import torch.optim as optim from torch.utils.data import Dataset, DataLoader import numpy as np from sklearn.metrics import mean_absolute_error, mean_squared_error import pandas as pd from tqdm import tqdm # 假設已定義 TimeXerModel 類 # ... class TimeSeriesDataset(Dataset): def __init__(self, df, target_col, exo_cols, seq_len96, pred_len24): self.seq_len seq_len self.pred_len pred_len self.target df[target_col].values self.exo_data df[exo_cols].values def __len__(self): return len(self.target) - self.seq_len - self.pred_len 1 def __getitem__(self, idx): # 時序輸入過去 seq_len 步的目標值 x_seq self.target[idx:idxself.seq_len].reshape(-1, 1) # 外生變量對齊的 seq_len 步 exo_seq self.exo_data[idx:idxself.seq_len] # 預測目標未來 pred_len 步 y_target self.target[idxself.seq_len:idxself.seq_lenself.pred_len] return torch.tensor(x_seq, dtypetorch.float32), \ torch.tensor(exo_seq, dtypetorch.long), \ torch.tensor(y_target, dtypetorch.float32) def train_epoch(model, dataloader, optimizer, criterion, device): model.train() total_loss 0 for x_seq, exo_seq, y_true in tqdm(dataloader, leaveFalse): x_seq, exo_seq, y_true x_seq.to(device), exo_seq.to(device), y_true.to(device) optimizer.zero_grad() y_pred model(x_seq, exo_seq) loss criterion(y_pred, y_true) loss.backward() optimizer.step() total_loss loss.item() return total_loss / len(dataloader) def evaluate(model, dataloader, device): model.eval() preds, trues [], [] with torch.no_grad(): for x_seq, exo_seq, y_true in dataloader: x_seq, exo_seq, y_true x_seq.to(device), exo_seq.to(device), y_true.to(device) y_pred model(x_seq, exo_seq) preds.append(y_pred.cpu().numpy()) trues.append(y_true.cpu().numpy()) preds np.concatenate(preds, axis0) trues np.concatenate(trues, axis0) mae mean_absolute_error(trues.flatten(), preds.flatten()) rmse np.sqrt(mean_squared_error(trues.flatten(), preds.flatten())) return mae, rmse # 主訓練流程 if __name__ __main__: # 1. 加載數(shù)據(jù) df pd.read_csv(data/sales.csv) exo_cols [exo_temp, exo_is_holiday, exo_promo_type, exo_days_to_festival] # 2. 創(chuàng)建數(shù)據(jù)集 dataset TimeSeriesDataset(df, target, exo_cols, seq_len96, pred_len24) train_size int(0.7 * len(dataset)) val_size len(dataset) - train_size train_dataset, val_dataset torch.utils.data.random_split(dataset, [train_size, val_size]) train_loader DataLoader(train_dataset, batch_size32, shuffleTrue) val_loader DataLoader(val_dataset, batch_size32, shuffleFalse) # 3. 初始化模型 # exo_dims: 每個外生變量的取值數(shù)量如 temp 有 5 個桶holiday 有 2 個值 exo_dims [5, 2, 4, 30] # 對應 temp, is_holiday, promo_type, days_to_festival model TimeXerModel( input_dim1, # 只預測銷量所以 input_dim1 exo_dimsexo_dims, d_model128, nhead4, num_encoder_layers4, forecast_horizon24 ).to(cuda) # 4. 訓練 optimizer optim.Adam(model.parameters(), lr0.001) criterion nn.MSELoss() best_val_mae float(inf) for epoch in range(100): train_loss train_epoch(model, train_loader, optimizer, criterion, cuda) val_mae, val_rmse evaluate(model, val_loader, cuda) print(fEpoch {epoch1}: Train Loss{train_loss:.4f}, Val MAE{val_mae:.4f}) if val_mae best_val_mae: best_val_mae val_mae torch.save(model.state_dict(), best_time_xer.pth) print( - Saved best model!)運行此腳本你將在 100 輪內(nèi)得到一個可部署的模型。關鍵參數(shù)建議seq_len96對應 4 天每小時 1 個點覆蓋完整周周期pred_len24預測未來 24 小時平衡時效性與準確性batch_size32在單卡 T4 上內(nèi)存友好lr0.001Adam 默認學習率無需調(diào)整4.5 部署與推理一個 Flask API5 分鐘上線TimeXer 的推理極其輕量一個 Flask 服務足以承載from flask import Flask, request, jsonify import torch import pandas as pd import numpy as np app Flask(__name__) model TimeXerModel(...) # 加載訓練好的模型 model.load_state_dict(torch.load(best_time_xer.pth)) model.eval() app.route(/predict, methods[POST]) def predict(): data request.json # data 格式{history: [124.5, 132.1, ...], exo: [[3,0,2,15], [3,0,2,14], ...]} history np.array(data[history]).reshape(-1, 1) exo np.array(data[exo]) # 轉(zhuǎn)為 tensor x_seq torch.tensor(history[-96:].reshape(1, -1, 1), dtypetorch.float32) exo_seq torch.tensor(exo[-96:], dtypetorch.long).unsqueeze(0) with torch.no_grad(): pred model(x_seq, exo_seq).cpu().numpy()[0] return jsonify({forecast: pred.tolist()}) if __name__ __main__: app.run(host0.0.0.0, port5000)調(diào)用示例curl -X POST http://localhost:5000/predict \ -H Content-Type: application/json \ -d { history: [124.5, 132.1, 128.7, ...], exo: [[3,0,2,15], [3,0,2,14], [3,0,2,13], ...] }這個 API 的吞吐量實測可達 120 QPST4 單卡完全滿足中小規(guī)模業(yè)務需求。**真正的難點不在代碼
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
夜夜爽天天| 91色婷婷综合久久中文字幕二区| 综合五月丁香六月婷婷| 亚洲免费观看高清完整版AV线| 91综合在线观看| www。五月,com| 激情性爱五月天网页| 久草热8精品视频在线观看 | 青青草原福利在线| 五月天色影院| 操逼巨乳91| 激情综合一| 思思热在线视频精品| 亚洲激情五月天| 六月婷婷色综合| 久久丁香综合| 欧美日韩成人在线观看| 麻豆雪千夏| 九九热婷婷| 激情五月天婷婷| 亚洲碰碰碰| 欧洲MV日韩MV国产| 在线播放成人网站| 激情五月天激情网| 天天操天天操综合| www.色擼擼.com| 99色爱| 思思w99| 五月丁香六月激情啪| 六月丁香婷婷六月激情综合| 五月婷婷导航| 99热综合网| 97色色婷婷| 92久久精品一区二区| http://www.com久久久精品一区| 男人視頻站| 丁香五月综合激情啪啪| 色99视| 五月天色婷婷视频| 久久精品性爱| 九九色色| 电影91久久久| 91热视频色网站| 99热碰碰热| 丁香色五月婷婷17C| 六月婷五月丁香| 日本激情五月天‘| 激情五月婷| 夜夜夜夜夜操| www...com黄在线观看| 超级97碰碰| 欧美色图天堂网色| 狠狠干2007| 九九热视频思思| 婷婷五月色播| 精品人妻伦九区久久AAA片| 亚洲AV成人无码精品| 97香蕉人人在线观看| 六月丁香av| 综合激情开心五月| 五月天六月婷婷| 99久久网站| 五月天婷婷丁香社区| 五月天亚洲综合网| 深爱五月婷婷| 98色丁香五月婷婷综合网| WWW99热| 热久久成人| 日韩乱玛久久| 色九九综合| 99精品偷自拍| 丁香婷婷色九月| 激情综合五月激情| 久久激情五月婷婷| 色婷婷成人做爰A片免费看网站| av婷婷丁香| www.97碰碰com| 立川无码av| 国产成人+亚洲+欧洲| 久青操| 超碰av在线| 北条麻妃伊人 | 人人操女人| 婷婷亚洲五| 大香蕉院线| 99在线视频免费| 99久热| 色综合色综合色综合| 丁香五月婷婷黑人妻黄色电影院| 热99只有里视频| 五月丁香福利| 五月婷婷激情在线| 国产亚洲99久久精品熟| 91天天操天天干天天射| 五月婷婷无码| 性无码专区无码| 超碰9在| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 青青草原中文字幕| 六月激情婷婷| 国产午夜成人AV在线播放| 四季AV综合网| 五月婷婷免费| 日韩色色视频| 成人色图情色成人网 www.5b5b5bcom 五月天| 秋霞电影一级黄| 亚洲第一第二网站| 丰满女老板BD高清A片| 高清国产AV| 天天操夜夜夜夜爽| 综合另类视频| 五月婷婷丁香综合,亚洲天堂| 亚洲人妻AV| 夜夜骑福利资源| 亚洲激情四射| 亚洲狠狠婷婷| 激情综合五月色丁香婷婷 | 五月丁香在线| 97干欧美| 五月天成人综合| 极品少妇XXXX精品少妇偷拍| 国产精品人妻欲求不满| 亚亚州久久高潮| 久久99久久99精品免视看婷婷| 日91高清无玛| 激情五月天色婷婷| 青柠影视免费高清电视剧| 9精品在线| 色婷婷狠狠干芒果TV| 激情五月天社区| 色综合伊人网| WWW,五月| 99热在这里只有精品| 超碰在线91| 成人丁香色| 国产精品激情五月天色婷婷| 亚洲乱码日产精品BD| 97在线/亚洲| 婷婷国产五月天17c| 色五月天 丁香| 五月色婷婷在线观看| 成人va在线播放| 天天插天天插| 99视频色在线观看| 婷婷的99视频网站| 久久玖玖综合| 色五月婷婷亚洲| 91久久精品国产91性色TV| 亚洲午夜精品久久久久久人妖| 色五月激情综合| 成人国产网| 五月婷婷另类| 日本99久久| seav天堂| 丁香五月天av| 亚洲电影在线观看| 色婷婷视频| 综合激情视频| 中文字幕av久久爽一区| 亚洲婷婷基地| 性爱五月丁香| 人妻久久久| 2015在线中文字幕| 天天天天天天噜| 国产精自产拍久久久久久蜜 | 91人碰| 激情网婷婷婷| 99久99久| 色播五月丁香| 超碰99成人在线| 亚洲精品色色色| 少妇大叫太大太粗太爽了A片| 丁香九月激情| 五月丁香六月成人| 亚洲区,视频区,视频区免费| 五月天色影院| 九九熱最新視頻| 亚洲AV综合在线观看| 青青草Avb在线| 欧美成人精品老美女噜噜噜| 91丁香色五月| 婷婷丁香成人五月天| 国产熟妇的荡欲午夜视频| 五月激情丁香五月| 久久99视频| 99亚洲精品视频在线观看| 大香蕉伊人99| 亚洲综合色色| 婷婷免费视频| 99亚洲综合| 超碰AV在线| 天天综合色丁香| 亚洲综合激情五月久久| 99热这里只有精品10| 九九色逼| 激情伊人五月婷婷久久| 在线中文AV| 五月丁香色婷| 91丁香婷婷综合久久欧美| 可以直接看的AV网站| 成人综合视频网址| 五月丁香六月激情综合欧美| 久久机热探花| 99热99热在线观看| 国产一区二区三区影院| 激情五月丁香激情综合网| 亚洲字幕AV一区二区三区四区| 婷婷舔| 韩国真做片在线观看| 婷婷色播六月无码| 日本WwW色偷偷丁香花久久久京东热| 99热这里只有精品一| 色色色色色色综合网| 五月永久激情| 91制片厂久久久国产电影| 俺去啦综合网| 亚洲操B视频| 色久综合| 色一区高清| 日本色色网| 六月婷五月丁香| 亚洲午夜在线视频| 五月天啪啪啪| 成人av免费观看| 99热只有| 香蕉久久国产AV一区二区| 天天天天天天操| 婷婷五月激情的图片| 五月婷婷丁香五月| 色婷婷五月天激情综合| 久热9热| 婷婷六月色| 91碰超| 91九色精品女同系列| 久久三级视频| 色色三级视频| 99视频只有精品| 色色色五月婷婷| 天天操天天操综合| 亚洲 成人 电影av在线观看| 五月婷中文字幕| 99热18| 粉嫩AV久久一区二区三区| 天天添天天摸天天天天做| 久久久久九九九九视屏小说88| 色五婷婷在线视频| 婷婷中文字幕| 婷婷五月天综合亚洲| 99在线小视频| 噜噜噜噜婷婷五月天| 久久激情综合| 夜夜躁爽日| 天天色图| 国产JK精品白丝AV在线观看| 夜夜爽天天干| 丁香五月婷婷亚洲人| 免费无码毛片一区二区A片| 99婷婷五月天| 日日撸夜夜操| 91日综合欧美| 丁香五月婷婷88在线| 亚洲AV影片在线观看| 人妻性爱| 亚州精品成人片| 夜夜躁狠狠| 五月婷婷综合在线视频小说| 91丨九色丨大屁股| 91无码一起草| 91综合国免费久入| 99爱免费视频在线观看| 丁香大香蕉| 久操欧美在线观看97| 五月天开心婷婷激情网站| 五月丁香婷婷啪啪| 超碰99成人在线| 99在线免费视频| 99国产小视频2013| 91综合在线观看首页| 9色在线视频| 精品人妻久久久| 综合激情专区| 成人做爰A片免费看视频| 丁香五月天综合| VA婷婷| 在线播放 精品| 日本色色图| 91人妻视频| 婷婷久久久久| 亚洲精品另类| 99热精品免费| 九色无码| 深爱五月天天| 激情久久久久久久久| 丰满女老板BD高清A片| 少妇人妻人伦A片| 丁香月五月天婷婷久久| PORNY九色9l自拍视频成人| 丁香网五月天| 99爱在线视频| 五月天婷婷伊人| 婷婷色色播五月天| 99综合免费视频| 九九无毛| 日日做A爰片久久毛片A片英语| 亚洲99在线| 另类国产综合| 色5在线| 丁香五月婷婷欧美成人色图| 五月婷婷五月天在线| WWW五月婷婷| 五月五月婷婷| 久久44| 婷婷网五月天| 色综合大香蕉| 色日本五月天| www.俺去也com| 亚洲综合网区| 婷婷射图| 色青五月天| 牛牛热这里只有jingpin| 激情五月天色网站| 激情丁香五月婷婷| 色五月丁香五月婷婷五月成人网| 六月婷婷狠狠| 丁香五月天激情| 婷婷五月丁香人妻无码高清| 91色呦哟| 五月婷婷综合网| 无码人妻一区| 日日操,夜夜撸| 涩涩五月天综合| 色9月| 337久久| 国产精产国品一二三在观看| 极品人妻VideOssS人妻| 99色综合网| 五月天婷婷激情小说电影| 日韩六十路91性交电影| 九九激情网| 丁香五月综合激情啪啪| 狠狠久久婷婷| Caoporn公开| 国产成人精品一区二三区熟女在线| 超碰免费人人| 久久丁香五月| 久久婷婷综合五月趴| 五月丁香色五月| 先锋影音男人的天堂AV| 噼里啪啦完整版中文在线观看| 综合色播| 五月天婷婷激情小说电影| 99九九在线视频| 九九99视频| 日韩色色视频www| oVV4WIB3vFi8D| 久热只有这里有精品| 婷婷综合五月天| 97色色综合| 激情丁香五月综合| 亚洲成人综合网在线免费观看| 丁香婷婷狠狠97| 99热免费| 免费看欧美成人A片无码| 日本色五月| 色色五月婷| 超碰91人人操| 日韩在线视频网站| 99热1| 五月婷婷丁香五月 | 欧美日综合| 激情五月综合| 婷婷激情视频欧美视频自拍视频欧美剧 | 少妇性按摩无码中文A片| 九九成人视频| 91五月天| 五月婷婷视频在线观看| 色很很96| 五月丁香六月久久| 久久66er久久| 精品一区二区三区四区五区六区介绍 | 狠狠色丁香婷婷基地| 他改变了拜占庭| 综合亚洲六月婷婷在线| 99 热| 色之综合网| 色噜噜伊人| 五月婷婷伦理| 婷婷五月丁香五月天| 五月婷婷中文网| 五月天成人手机在线视频| 99色视频在线观看| 天天操夜夜爽| 色婷婷综合视频| 色播播五月| 婷婷丁香五月综合免费视频百花| 99九九视频| 婷婷欧美综合| 五月婷婷激情综合网| 996er热| 婷婷久久网| 99久久久久| 激情五月天小说网| 成人综合网站| 日本色啪| 色婷婷91| 色婷网| 97人人干人人操| 五月天日日操夜夜操 | 思思久久99| 91丨九色丨东北熟女| www狠狠| 内射爽无广熟女亚洲| 天天做天天爱天天高潮| 日本V在线观看不卡视频网站| 97日本在线播放| 亚洲视频另类| 丁香六月激情综合| 国产精产国品一二三在观看| 精品九九久久| 五月丁香六月综合基地| site:hcxsz888.com| 久热这里只有精品在线观看 | 开心激情站婷婷五月天| 天天插综合网| 99热在这里只有精品| 丁香五月婷婷啪啪| 激情综合婷婷久久| 天天干天天色天天干| 天天在线天天综合网色| 六月色丁香中文字幕| 99久久婷婷精品视频| 一起草AV入口| 久久全色| 伊人婷婷五月天| 色婷婷丁香五月高清在线| 婷婷五月噜噜| 久久ri精品| 991自拍视频| 99日逼视频| 五月色情婷婷| 五月激情综合深爱| 啪啪婷婷五月天激情| 天天艹夜夜艹| 色婷婷yy久| 综合性爱网| 色欲人妻综合aaaaaaaa网| 夜夜夜夜操| 激情五月丁香六月| 亚洲综合色色色| 图片区 小说区 区 亚洲五月| 97久久精品视频| 日韩精品超碰在线观看| 激情综合五月色在线| 五月丁香婷爱在线| 99区视频| 色色色成人网| 五月激情六月综合| 日韩不卡123| 99riAv1国产在线观看| 俺也去婷婷五月天第五色| 激情婷婷丁香五月| 91久久九久久九久久九久久九久久| www.夜夜| 99久久亚洲国产| 天搞天天天天天| 精品色色网| 久9视频免费播放| 中文字幕日产A片在线看| 亚州激情九月| 思思99精品视频在线观看| 亚洲狠狠干| 操一操干一干| 91久久国产综合久久| 九九综合久久| 这里只有精品在线观看视频| 这里只有精品视频在线| 97在线日本| 久久久久久天天日天天爱| 五月婷婷激情久久| 色色色99| 久久大香免费| 99热在线中文字幕| 婷婷五月丁香综合| 大香蕉视频婷| 美女五月天婷婷| 色婷婷五月天久久| 国产毛多水多女人A片| 日本人人草草| 五月丁香激情六月| www.99热| 91色吧网| 久热这里只有精品66| 五月丁香婷婷在线| 成人片在线免费看| 五月综合在线婷婷图片| 狠狠色狠狠鲁| 五月丁香六月香香蕉| 亚洲天堂婷婷| 婷婷第六色| 色五月视频,小说| 大香蕉网站,大香蕉综合| 五月桃花网综合| 六月丁香婷婷视频综合在线观看| 色丁香五月婷婷| 中文字幕 中文字幕明步 | 大香蕉色婷婷伊人在线| 无码se| 天天狠狠夜夜狠狠2023| 色噜噜丁香| 五月丁婷香| www.夜夜操| 另类丁香五月天区图| 永久的网站AAAA | 亚洲色图五月丁香| 九九亚洲视频| 中文字幕日产A片在线看| 丁香五月激情啪| 99热这里只有精品一区| 女人高潮内射99精品| 日韩人妻在线观看| 亚洲va欧美va天堂v国产综合| 丰满少妇猛烈A片免费看观看| 97久久视频| 五月婷婷丁香五月婷婷丁香| 九九色video| 久久五月激情网| 91碰碰碰| 91.com男女操| 久热只有精品| 亚洲99一级无嗎特制在线| 天天操九九插| 99精品成人无码A片观看金桔 | 久久久婷丁香五月天激情综合| 色婷婷五月天不卡| 99热精品在线观看| 91色性感五月婷婷丁香| 性小说五月天| 狠狠干狠狠干| 丁香五月激情六月欧亚激情综合导航| 五月丁香久久久久| 大香蕉大香蕉在线影院| 天天天天天日| www.久久久久久久久久.com| 久久精彩视频99| 99热亚洲| 丁香婷婷综合五月天| 久热这里只有精品6| 人人操人人操919999| 久久丁香五月| 夜夜AVV| 丁香五月综合亚洲| 久草婷婷在线| 色婷婷先锋| 麻豆AV一区二区三区| 亚洲99激情| 99无码视频| 另类天堂| 激情久久久| 成人在线视频网| 五月丁香色色| 97操在线视频| 丁香成人五月天| 婷婷综合五月天| 久久婷婷综合基地| 婷婷九月丁香| www.99热这里只有精品| 六月丁香婷婷视频综合在线观看| 色五月天在线观看| 开心六月丁香五月婷婷| 热九九精品| 激情综合网五月在线播放| 久久网日本| 久操无码| 激情五月综合| 新99思思视频| 四川BBB搡BBB搡多人乱亂| 天天 日综合| 久久精品国产一区二区三区四区| 天天爽人人爽| 久久九九99视频| 停停五月天激情网| 婷婷综合干| 五月天婷婷乱论小说| 一起草aV| 激情丁香九九五月综合网| 九九色色色| 婷婷五月天奸女| 99久久99九九九99九他书对| 人人操av| 丁香婷婷五月天色播| 国产成人综合亚洲| 噜噜色com| 五月天婷婷无码| 99视频一区| 婷婷五月丁香色色| 婷婷 色 丁香 夜| 综合性爱网| 67194成I人在线观看线路1| 第四色激情网| 九九热精品在线| 人人综合五月人人婷婷| 波多野结衣成人作品在线| 99热6精品| 五月久久网| 亚洲精品国产成人AV在线| 五月五婷婷网| 无码激情AAAAA片-区区| 久久综合影院| www.五月激情.com| 五月停视频天堂| 狠狠干综合网| 久99在线视频| 丁香九月激情| 一本伊人色婷| 涩涩婷婷五月| 第五色婷婷| 色九月激情综合网| 丁香花五月天社区| 无码99| 91AV婷婷| 亚洲成av人影院| 欧美3AaAa大片| 伊人五月综合网| 亚洲激情AV| 99热这里只有精品手机在线观看| 97色精品视频 | 97爱艹婷婷开心丁香激情综合| 五月天在线视频尤物视频在线看| 99人妻碰碰碰久久久久| 亚洲最大视频| 内射丰满人妻| 婷婷伊人五月丁香天堂网| www.精品99| 色五月久久成人婷婷| 日日夜夜亚洲一区| 五月天开心色情网| 天天操天天操| 伊人婷婷91| 丁香五月婷婷五月| av五月天婷婷丁香| 婷婷久久亚洲| 免费无码毛片一区二区A片| 日韩色色视频www| 激情婷婷在线中文字幕| 国产成人精品123区免费视频| 九九热思思| 91精品婷婷国产综合久久| 熟女人妻一区二区三区免费看| 六月丁香激情网| 99天堂网| 2015在线中文字幕| 综合激情五月天| 色婷婷亚洲在线| 久操福利| 色色色色丁香| 秋霞A V毛片| 中文aV网| 99啪99| 国产亚洲99久久精品| 亚洲丁香网| 99riAV国产精品视频| 荡乳尤物3HP1V5| 婷婷欧美| 五月情综合| 97电影99热| 亚洲国产精品VA在线看黑人| 狠狠色丁香婷婷久久综合| 精品无码人妻一区| 激情五月综合久久| 一本大道伊人AV久久综合| 色婷婷五月综合在线| 丁香五月激情月| 婷婷五月大香蕉| 精品久久久中文字幕大豆网推荐理由| 亚洲AV人人操| 婷婷五月天性| 91人妻PORNY九色大屁股| 婷婷五月天成人视频| 久久久久er热| 九九色综合九九色| 国产精品久久久99视频| 日韩AC在线免费观看| 色婷婷亚洲精品天天综| 久久久久er热| 天天色天天干天天插| 在线观看亚洲视频影院| 九九九干精品| 爱射综合| 色噜噜狠狠色综合成人网| 色小说五月婷婷| 激情av| 国产中文字幕在线视频免费观看| 1000部毛片A片免费观看| 丁香婷婷色情| 丁香五月婷在线观看| 色五月婷婷中文字幕| 久热伊人在91| 日韩无码专区| 99re8这里只有精品99re8热视频| 五月婷在线观看| 五月天全国最大成人网| 99久热| 碰碰操91| 激情综合五月丁香六月婷婷| 玖玖在线视频| 无码啪啪| 天天爱天天狠天天透| 麻豆五月丁香婷婷| 日本熟女三区| 九九久久精品| 色色色五月婷| 噜噜五月天综合| 国产成人精品亚洲线观看| 操一区| 女人被男人吃奶到高潮| 激情综合色婷婷啪啪六月天| 欧洲激情五月天婷婷| 亚洲色色五月天| 万月丁香狠狠爱| 国产精品一区在线观看你懂的| 五月丁香啪啪网| 五月天激情小说| 99热这里只有精品国产首页| 亚洲综合丁香五月| 亚洲另类婷婷五月丁香在线播放| 4399在线日本A片| 激情久久网| 丁香五月婷婷总啪啪| 成人精品视频99在线观看免费| 特级西西4444www无码| 玖玖爱综合网| 人人操人人干AV| 五月婷婷之美女图片| 精品色色网| 亚洲久久视频| 久久久久久xxxxx| 碰碰91| 狠狠色色综合| 色偷偷人人| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 99ER热精品视频| 五月丁香大香蕉| 五月天综合色| 五月天综合视频| 成人片在线播放| 99自拍视频网站| 色五月色图| 五月天伊人久久久久| 99热手机在线精品| 久 久9 9 热 视 频| 天天爽夜夜爽天天爽夜夜爽| 开心五月天激情| 婷婷五月天熟妇| xxx综合在线| 丁香五月激情六月| 欧洲激情五月天| 五月丁香网中文字幕| 五月开心六月婷婷在线播放网站| 青青草a在线| 久久老码第一| WWW五月婷婷| 婷婷色五月噜噜| 91久久久久久久久| 成人一级片| 色婷天天| 亚洲AV成人精品日韩在线播放| 五月婷中文字幕| 超碰com| 超碰免费成人| 99操逼| 538午夜激情| 五月花综合网| 天天狠狠插| 四色女婷婷| 久久这里只有精品22| 婷婷综合伊人丁香| 色婷婷裸体色性在线| 五月丁香六月婷婷无码| www.色五月| 国产97色在线| 99热精品在线观看| 夜夜撸日日操| 99re在线播放| 超碰成人公开| 色五月婷婷丁香凹凸| 婷婷综合在线视频| 99WWW免费视频| 日本精品99网站| 玖玖国产视频一区| 99热思思在线观看| 五月天色导航| 国产精品五月天婷婷| 欧美婷婷五月天| 综合99视频| 丁香婷婷大香蕉| 久综合网| 91久久日日| 性爱五月婷| 狼人婷婷综合| 丁香五月激情宗合| 亚洲五月丁| 免费播放99性爱视频| 激情五月婷婷开心网| 亚州性爱99| 五月色色激情网| 丁香五月天AV| 伊人www22综合色| 欧美这里只有精品| 校花娇喘呻吟校长陈若雪视频| 日本44久久在线| 婷婷综合偷拍| 丁香婷婷色| 丁香五月天色综合| 色五月丁香在线| 精品丁香五月天在线播放| 久久久8| 99精品偷自拍| 大香蕉九九| 久99视频| 骚逼视频一区2区| 国产资源在线视频| 99综合视频在线| 深爱丁香激情| 五月丁香婷婷欧美| 狠狠干夜夜干| 综合久久五| 啪色综合| 五月丁香怕啪啪| ss视频xx91| 色情五月天丁香社区| 色墦五月丁香| 精品视频网| 色婷网| 色婷婷六月综合| 五月天播播| 伊人激情影院| 丁香花狠狠婷婷亚洲中文字幕| 1024日韩| 国产在线网址1| 亚洲操精品| 色婷婷婷婷成人网| 丁香六月五月天| 在线中文字幕av| 极品人妻VIDEOSSS人妻| 91趴趴| 91viP在线看| 婷婷丁香人妻| 五月丁六月香| 丁香婷婷色情| 99国产精品久久久久久久久久久| 日噜噜色| 轮奸综合网| 综合五月激情| 婷婷丁香色情| 大地9中文在线观看免费高清| 夫妻超碰在线| 天天色天天爽| 婷婷性爱五月天| 99A片| 婷婷九月丁香中文| 五月天婷婷基地| 日韩精品无码99| 久久九色| 色情婷婷久久五月天| 久久久久9| 99热这里只有精品69| 成人电影在线免费试看| 99人妻碰碰久久久禁片| 国产1区2区3区| 99惹精品视频| 激情五月丁香五月| 激情精品久久| 久热这里只有精品性色AV| 五月丁香啪啪伦理电影| 五月天com| 色色影院黄大片| 99爱在线| 久9无码视频| ..真实国产乱子伦毛片| 五月丁香啪啪啪综合网| 99热在线观看精品免费| 天天玩夜夜操| 久久狠婷婷| 五月永久激情| 久艹大香蕉| 欧美大片免费观看| 综合婷| 五月丁香直播| 九九色人| 色综合久久8| 婷婷区日本| 天天做天天爱天天玩| 色五月情| 超碰成人免费| 亚洲最大视频| 国产精品久久久久久久久久免费| 激情九色| 五月综合激情视频| 激情五月色婷婷| 婷婷色色综合| 91日韩美女被插视频| 大香蕉九九| 久久6这里只有精品| 亚洲狠狠干| 色五月婷婷网| 97自拍视频在线| 婷婷丁香六月| 婷婷五月天最新网址| 91色色色视频| 99视频只有精品| 丰满少妇猛烈A片免费看观看| 99热这里都是精品| www,婷婷五月天,com| 久久xx| 一区二区三区四区牛| 日批在线看| 91九色在线| 99re视频在线| 婷婷五月骚厕所| 久久精品99国产精品日本| 欧美成人AAA片一区国产精品| 激情文学久久| 99亚洲视频| 久久精品日| 色五月婷婷丁香婷婷| 久久a热| 六月婷婷九月丁香| 婷婷成人五月天成人文学小说| 裸体做A爰片毛片A片免费| 深爱五月月天| 婷香五月| 啪啪六月婷婷| 色区域网站视频| 夜夜爽77777妓女免费下载| 亚洲无码成人网| 婷婷亚洲综合| 91人人澡人人爽人人看| 夜夜夜夜夜骑撸| 国产一级黄色影片,| 美女天天久久| 色欲婷婷五月天| 色婷在线视频| 成人丁香婷婷| 九九婷婷五月天| 久久五月丁香激情综合| 五月天久久婷婷| 99久久综合网| 91久久五月天| A级毛片高清免费不卡播放谢谢谢谢| 亚洲人妻五月丁香婷婷| 色网五月婷婷| 99色视频在线观看| 亚洲亚洲人成综合网络| 婷婷五月天视| 六月激情综合| 青青草性爱视频| 色99网| 欧美色婷婷| 性一交一乱一交A片久久四色| 成人丁香色| 色婷婷丁香五月| 五月间天堂综合| 婷婷俺去也| 亚洲AV无码成人精品电影| 五月色婷婷综合| 婷婷色一二三区波多野结衣| 嫩草乱码一区三区四区| ou洲色吧| 色五月综合在线| 99超碰欧美| 停停五月天激情网| 日韩人妻在线播放| 中文乱子伦视频| 97久久超级| 天天天天色天天天天天干| 懂色av粉嫩AV蜜臀AV| 日日狠狠久久偷偷四色综合免费 | av九九| 天天久久人人| www.色婷婷| 亚洲俩性性爱图片久久第六页| 激情综合五月婷婷| 人人舔人人色人人高潮| 伊人在线视频| 天天爱天天做天天爽| 久久大国产香蕉| 日韩十国产极品久久| WWW久久99久久99久久| 五月天综合在线观看| 97人妻碰碰碰碰碰久久久久久| 久久日韩婷婷五月| 亚洲欧美婷婷五月色综合| 久久婷婷久久| 婷婷五月综合在线| 天天色综合天天| 天天操综合网| 色婷婷六月开心中文字| 日韩啪啪视品| 五月丁香人妻| 激情婷婷九月| 久久狼人天堂| 五月天激情综合网俺也去| www.99视频| 精品视频99看在线视频| 99热网精品| 精品国产va久久久| 亚洲无码你懂的| 久热中文字幕| 激情五月天久久丁香| 欧美槡BBBB槡BBB少妇| 亚洲精品小视频| 丁J香六月首页| 天天综合精品| WWW久久久| 人人爽亚洲| 人人超碰99| 久久综合中文字幕| 99,色| 人人草人人舔| 99精品视频免费观看,| 字母不卡码人逼| 久久视频婷婷| 久久网日本| 五月婷婷无码| www.av骚货| 97超级碰碰碰| 人人爱国产| 很很干在线视频| 二区成人视频| 超碰色色综合| 亚洲综合网区| 国产精品18久久久| www.成人婷婷综合| 亚洲一区二区无遮挡A片| 六月丁香啪啪啪| 第五婷婷伊人丁香色| 五月花婷婷| www,色中色| 日韩 mm 不卡| 大香蕉综合| 亚洲丁香五月美女| 2005天天干天天1| 欧洲毛片基地c区| 亚洲第一色色色| 色情激情五月婷婷| 欧美三级欧美一级| 丁香久色| 激情五月天婷婷色色色色色色色色色色色| 无码人妻激情| 婷婷激情鹿城五月天| 日本三级片片| 色色色综合色| 婷婷五月色综合| www.五月婷| 色综合com| 五月天婷婷六月| 99免费青青蜜臀| 激情图片五月天| 武汉美女啪啪视频免费一级片| 久久婷婷丁香| 99国产精品久久久久久久久久久| 婷婷五月花丁香| 丁香五月久久| 久久国产成人9999久久久久| 久久免费操| 无码人妻一区二区三区四区| 久草九九| 色香蕉影院| 操人妻视频91| 黄色aaaaa| 欧美一级a | 婷婷丁香久久五月综合| 在线综合91| 久热大香蕉| 色 色 色综合com| 亚洲色涩视频| 丁香9月婷婷| 色综合天天综合成人网| 五月激情六月婷婷| 五月天激情综合在线| W色综合| 五月婷婷激情性爱| www婷婷亚洲| 久久9999| 中文字幕无码人妻少妇免费视频| 丁香五月AV| 日韩欧美四五区| 97自拍99| 久操热| 十一月婷婷激情四射| 日韩一66精品| 日韩另类在线观看| 99热精品在线| 天天干天天拍| 亚洲日韩26uuu| 婷婷五月香蕉| 天天肏天天舔AV| 天天插综合网| 九九激情| 婷婷丁香五月激情中文字幕版| 色啪网| 可以看的av| 先锋资源996| 激情综合五| 色婷婷yy久| 九色婷婷| 综合啪啪| 丁香五月天BBw| 五月丁香六月久久| 九9九9无码| 激情人妻蜜夜系列区| 五月婷亚洲精品AV天堂| 丁香五月六月婷婷怡红院| 99 热| 久久hd| 综合色七七| 亚洲综合九九| 天堂久久婷婷| 99热这里只有是亚洲国产| 婷婷丁香六月五月天| 九九人人自拍| av网站免费在线| 91日本在线观看| 91视频五月丁香| 婷婷色日本| 天天看A片| 丁香色影院| 中文字幕日产A片在线看| 色色色综合网| 狠狠操在线视频| 久久五月视频| 六月婷婷综合激情| 色碰97| 成人中文网| 天天插天天爱| 丁香五月情| 五月婷婷六月丁香激情| 久久996re热这里只有精品无码| 超碰激情网| 色欧美日| 91九色偷拍| 国产又黄又爽又色的免费| 久久五月综合| 六月婷婷啪啪| 丁香五月激情在线| 婷婷五月天人妻| 久久婷婷丁香五月一二三| 欧美精产国品一二三区| 五月婷婷五月天| 亚洲综合九九| 五月天成人免费视频| 日韩欧美一级大黄网站| 99热精品一区| 色色色99韩| 99久热| 色五月超碰| 人人操碰| 综合狠久久| 免费无码毛片一区二区A片| 久久人妻视频| 国产免费一区二区在线A片视频| 亚洲精品99| 久久精品视频在这里有| 婷婷激情五月综合丁香社| 国内裸舞二区| 99综合视频| 欧美色图天堂网色| 天天射色五月天| 婷婷五月综合中文字幕| 日本猛少妇色XXXXX猛叫| 久热只有精品| 伊人久久婷婷| 久热伊人| 亚洲乱码w在线观看| 丁香五月婷婷视频| 色婷婷亚洲五月天| 99视频在线精品免费观看2| 夜丁香五月婷婷| 激情九九这里只有精品| 五月丁香人人婷婷在线观看| 天天射综合网天天插| 五月婷婷香蕉| 五月婷在线色视频| 狠狠人妻久久久久久综合丁香| 色。 日日日| 五月丁香婷色| 成人婷婷五月天| 2020久久婷婷五月| 色婷婷五月天激情久久| 人妻性爱| 五月婷婷 激情按摩| 婷婷丁香五月天综合在线日韩| 亚洲无码99| 丁香五月天堂网| 少妇高潮一区二区三区99欧美| 婷婷狠狠18禁久久| 成人视频在线免费播放| 成人色图情色成人网 www.5b5b5bcom 五月天| 欧美婷婷精品激情| 久久九九99亚洲国产久精综合| 777精品成人a v久久| 初夜av| A色色| 激情五月丁香六月婷婷| 激情网婷婷婷| 婷婷开心久久| 色色 亚洲| 熟女激情五月天 | 啄木鸟丝袜美女福利视频| 夜夜操激情| 激情五月六月婷婷| 99视频精品在线| 色久丁香五| www.五月天婷婷| 色婷婷丁香五月| 婷婷六月色| 玖玖在线| 婷婷丁香亚洲色综合91| 欧美影院| 丁香五月婷婷亚洲综合精品| 日韩婷婷| 丁香五月在线观看| 97色色色| 99精品在线观看| 久久久国产精品黄毛片| 久久加勤综合| ady狠狠入| 九九99热| 婷婷丁香97| 五月丁香日本一抹本| 久er7久热| 99惹精品视频| 国产VA亚洲VA96| 丁香五月婷婷五月| 五月婷精品| 99热这里精品| 国产99久久久国产精品免费看| 国产真实乱对白精彩| 无码字幕中文| 97色视频网| 亚洲天99| 久久久久久久久久8888| 亚洲精品va| 久久婷五月综合色| 99这里只有精彩视频| 婷婷色爱| 丁香 久久| 婷婷激情六月| 桃色成人网| 亚洲色图啪啪| 啪啪婷婷五月天激情| 9九热视频| 小视频一区| 天天做夜夜爽| 婷婷久久久久| 97人妻碰碰中文无码久热丝袜| 91在线操逼视频| 久九色| 五月婷婷电影院| 伊久大香蕉| 99久久高清视频| 97色婷婷在线观看| 五月丁香婷婷爱激情综合网| 婷婷免费成人视频| 丁香五月婷婷色播艳门照| 99色|