欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

基于貝葉斯優(yōu)化的PatchTST綜合能源負(fù)荷多變量預(yù)測實(shí)現(xiàn)

基于貝葉斯優(yōu)化的PatchTST綜合能源負(fù)荷多變量預(yù)測實(shí)現(xiàn) 做綜合能源系統(tǒng)的負(fù)荷預(yù)測最讓人頭疼的往往不是單條曲線怎么擬合而是幾條不同能源品種的曲線放在一起時(shí)它們之間的耦合關(guān)系、量綱差異、突變規(guī)律怎么處理。我手頭這個(gè)項(xiàng)目就是這么來的一個(gè)園區(qū)級(jí)的綜合能源系統(tǒng)需要同時(shí)預(yù)測電負(fù)荷、熱負(fù)荷和冷負(fù)荷外部還要疊加上溫度、濕度、光照、風(fēng)速這些氣象因素以及工作日/節(jié)假日標(biāo)記。如果用傳統(tǒng)的LSTM一路堆到底效果很容易到瓶頸換標(biāo)準(zhǔn)Transformer又會(huì)遇到長序列計(jì)算量大、局部模式提取弱的問題。后來我把模型切換成PatchTST調(diào)參再用貝葉斯優(yōu)化去搜整體思路就是標(biāo)題里寫的基于貝葉斯優(yōu)化的PatchTST綜合能源負(fù)荷多變量時(shí)間序列預(yù)測Python代碼完整實(shí)現(xiàn)。這篇內(nèi)容適合兩類人看一類是做電力、能源、園區(qū)微網(wǎng)相關(guān)的算法工程師另一類是正在研究時(shí)間序列預(yù)測、想把PatchTST這類新模型落地到自己數(shù)據(jù)集上的同學(xué)。我會(huì)把模型機(jī)制、調(diào)參思路、數(shù)據(jù)構(gòu)造以及實(shí)際訓(xùn)練中踩過的坑都串起來講代碼部分也會(huì)給出可以直接套用的骨架。1. 項(xiàng)目拆解為什么把寶押在PatchTST和貝葉斯優(yōu)化上先說說整個(gè)項(xiàng)目的技術(shù)路線是怎么定下來的。綜合能源負(fù)荷預(yù)測本質(zhì)上是多變量時(shí)間序列預(yù)測問題輸入是一段歷史窗口的多維張量輸出是未來一段時(shí)間的多條負(fù)荷曲線。和普通單序列預(yù)測比難點(diǎn)主要在三個(gè)地方。第一個(gè)難點(diǎn)是通道數(shù)多且量綱差異大。電負(fù)荷可能是幾千千瓦熱負(fù)荷可能是吉焦每小時(shí)冷負(fù)荷又不一樣這幾個(gè)變量如果直接拼成一個(gè)矩陣丟給模型訓(xùn)練時(shí)梯度很容易被量綱大的通道主導(dǎo)。所以需要做精細(xì)的歸一化并且模型本身要具備一定的通道獨(dú)立性。第二個(gè)難點(diǎn)是局部模式很重要。綜合能源負(fù)荷曲線不像股票那樣充滿隨機(jī)游走它有明顯日內(nèi)周期性、氣溫敏感性和節(jié)假日突變性。這些模式往往體現(xiàn)在幾十個(gè)時(shí)間步的局部片段里比如早上電負(fù)荷爬坡這一段往往持續(xù)三五個(gè)采樣點(diǎn)就有明顯趨勢特征。標(biāo)準(zhǔn)Transformer用的是逐點(diǎn)注意力每個(gè)時(shí)間步單獨(dú)做embedding對(duì)局部片段的建模效率不高而PatchTST的核心就是把時(shí)間步先切成patch把一個(gè)patch當(dāng)成一個(gè)token這樣自注意力直接作用在語義更完整的patch上局部趨勢一下就清楚了很多。第三個(gè)難點(diǎn)是調(diào)參空間大人工試錯(cuò)成本太高。PatchTST涉及的參數(shù)很多輸入窗口長度、patch長度、stride步長、Transformer層數(shù)、頭數(shù)、d_model、dropout、學(xué)習(xí)率再加上優(yōu)化器和調(diào)度策略如果靠網(wǎng)格搜索或者手動(dòng)試一組跑下來半個(gè)多小時(shí)根本試不完。貝葉斯優(yōu)化正好解決這個(gè)問題它能根據(jù)歷史試驗(yàn)結(jié)果選擇下一組最有潛力的參數(shù)用更少的嘗試次數(shù)找到更好的配置。所以整個(gè)項(xiàng)目的架構(gòu)就很清晰了數(shù)據(jù)側(cè)做好多變量窗口構(gòu)造和歸一化模型側(cè)用PatchTST提取patch級(jí)語義特征優(yōu)化側(cè)用貝葉斯替代模型去搜超參數(shù)最終目標(biāo)是讓驗(yàn)證集上的多步預(yù)測誤差盡量小。這個(gè)組合在實(shí)際跑下來之后效果確實(shí)比原來的LSTM基線好了不少尤其是熱負(fù)荷這種帶明顯延遲慣性的曲線預(yù)測精度提升很直觀。2. PatchTST核心機(jī)制從內(nèi)到外講透每個(gè)設(shè)計(jì)選擇想用好一個(gè)模型不能只調(diào)庫得把它的設(shè)計(jì)邏輯搞清楚。PatchTST的關(guān)鍵創(chuàng)新可以概括為三個(gè)詞Patch、Channel Independence、Transformer Encoder。下面逐個(gè)拆開講。2.1 時(shí)序分割與Patch化處理標(biāo)準(zhǔn)Transformer處理時(shí)間序列時(shí)通常是把每個(gè)時(shí)間步映射成一個(gè)token。假設(shè)輸入序列長度是96那就有96個(gè)token每個(gè)token只代表一個(gè)采樣點(diǎn)的值自注意力在這96個(gè)點(diǎn)之間做交互。這里的問題很明顯單點(diǎn)信息密度低而且注意力矩陣是96x96計(jì)算和內(nèi)存開銷都不小。PatchTST的做法是把時(shí)間維切成小段每個(gè)小段叫一個(gè)patch把patch整體映射成一個(gè)token。假設(shè)patch長度是16stride是8序列長度96就能切出約11個(gè)patch注意力矩陣從96x96縮到11x11計(jì)算量少了將近一個(gè)數(shù)量級(jí)同時(shí)每個(gè)token包含16步的局部上下文語義信息豐富得多。這個(gè)設(shè)計(jì)背后的邏輯很像看圖時(shí)的滑窗識(shí)別人眼看一幅圖不會(huì)逐像素掃描而是先看一個(gè)個(gè)局部區(qū)域再把這些區(qū)域組合起來理解全局。PatchTST的patch化也是這個(gè)道理它讓模型天然聚焦在局部形態(tài)上而局部形態(tài)恰恰是負(fù)荷曲線的核心特征。實(shí)際實(shí)現(xiàn)時(shí)patch化有兩種常見做法。一種是用一維卷積配合合適的卷積核大小和步長來實(shí)現(xiàn)另一種是先unfold再線性映射。效果上兩者差別不大但用unfold加Linear的方式更直觀方便之后調(diào)整patch長度。有一點(diǎn)要特別注意patch數(shù)量不能太少否則序列全局信息會(huì)丟得太多。如果序列長度是96patch長度和stride都設(shè)16patch數(shù)量能到6個(gè)左右再往下減信息損失就會(huì)明顯了。2.2 通道獨(dú)立與多變量協(xié)作通道獨(dú)立這個(gè)設(shè)計(jì)我剛開始覺得有點(diǎn)反直覺。多變量預(yù)測難道不應(yīng)該讓不同變量之間充分交互嗎怎么還搞獨(dú)立PatchTST的Channel Independence策略指的是每個(gè)變量的patch序列在embedding和編碼階段各自獨(dú)立處理共用同一套映射和Transformer參數(shù)最后再通過預(yù)測頭輸出各自的結(jié)果。這樣做的好處是不同通道的量綱差異不會(huì)在embedding層就被混在一起模型可以把更多容量花在通道內(nèi)部的時(shí)序模式上。但獨(dú)立并不等于完全不合作。在多變量場景里我們可以做兩件事來引入通道間交互。第一在輸入側(cè)把外生變量氣象、日歷等作為額外通道一起喂進(jìn)去讓模型在通道維度上間接學(xué)到它們的聯(lián)合分布第二在輸出側(cè)用多任務(wù)預(yù)測頭把電、熱、冷三個(gè)負(fù)荷同時(shí)輸出共享損失和梯度更新通過共用底層特征實(shí)現(xiàn)隱性的跨通道協(xié)同。我在項(xiàng)目里實(shí)際采用的是“通道獨(dú)立編碼多任務(wù)輸出”的組合。實(shí)測下來這種方式比完全把多通道concat成一個(gè)矩陣讓模型自由混合效果更穩(wěn)尤其是冷負(fù)荷和熱負(fù)荷這種相關(guān)性弱的通道不會(huì)被強(qiáng)通道的信息淹沒。2.3 Encoder與預(yù)測頭PatchTST的編碼器用的就是標(biāo)準(zhǔn)的Transformer Encoder由多頭自注意力、前饋網(wǎng)絡(luò)、殘差連接和層歸一化組成。注意這里的自注意力作用在patch序列上也就是說注意力對(duì)象是若干個(gè)patch之間的關(guān)系而不是時(shí)間點(diǎn)之間的關(guān)系。這樣做的好處是注意力可以更高效地捕捉跨時(shí)間的依賴比如今天下午3點(diǎn)的負(fù)荷模式與昨天下午3點(diǎn)的負(fù)荷模式之間的相似性。預(yù)測頭部分PatchTST用的是直接多步預(yù)測一次性輸出未來所有時(shí)間點(diǎn)的值而不是像有些方法那樣逐步遞歸生成。直接多步預(yù)測的好處非常明顯避免了遞歸多步預(yù)測里的誤差累積訓(xùn)練時(shí)也用不著teacher forcing。實(shí)現(xiàn)上Encoder輸出的特征向量會(huì)被展平通過一個(gè)線性層直接映射到 pred_len 長度的輸出。對(duì)于多變量版本預(yù)測頭可以設(shè)計(jì)成輸出形狀為 (batch, num_channels, pred_len) 的張量。每一路用獨(dú)立的線性映射但也共享底層的Encoder特征。這樣電、熱、冷三條曲線既各自有獨(dú)立的輸出投影又能共享同一套時(shí)序特征提取網(wǎng)絡(luò)效果比較均衡。3. 貝葉斯優(yōu)化如何介入深度學(xué)習(xí)調(diào)參模型選好之后下一個(gè)問題是參數(shù)怎么定。說實(shí)話PatchTST這個(gè)模型對(duì)超參數(shù)還算敏感尤其是patch長度和stride直接決定token序列的信息粒度手動(dòng)試錯(cuò)非常痛苦。我一開始用的是傳統(tǒng)網(wǎng)格搜索一組參數(shù)跑一次完整訓(xùn)練結(jié)果發(fā)現(xiàn)完全行不通。后來切到貝葉斯優(yōu)化整個(gè)流程才順利起來。3.1 為什么不用網(wǎng)格搜索網(wǎng)格搜索的本質(zhì)是把參數(shù)空間切成均勻網(wǎng)格然后逐個(gè)組合嘗試。它最大的問題是維度災(zāi)難參數(shù)一旦多起來組合數(shù)爆炸式增長。假設(shè)我們只搜6個(gè)參數(shù)每個(gè)參數(shù)取5個(gè)候選值組合數(shù)就是5的6次方一萬五千多種組合一次訓(xùn)練要幾分鐘全跑完需要幾個(gè)月根本不現(xiàn)實(shí)。隨機(jī)搜索稍微好一些它可以指定嘗試次數(shù)但因?yàn)槭请S機(jī)采樣不會(huì)利用已經(jīng)跑過的結(jié)果前面的經(jīng)驗(yàn)對(duì)后面的搜索沒有幫助。貝葉斯優(yōu)化的思路完全不同。它把超參數(shù)搜索當(dāng)成一個(gè)黑盒優(yōu)化問題目標(biāo)函數(shù)是一次完整的訓(xùn)練流程輸入是一組超參數(shù)輸出是驗(yàn)證集誤差。貝葉斯優(yōu)化會(huì)在每次試驗(yàn)后更新一個(gè)概率代理模型來描述“哪些參數(shù)組合更可能讓誤差小”下一次試驗(yàn)就選擇代理模型認(rèn)為最有潛力的參數(shù)組合去跑。這就像找餐廳網(wǎng)格搜索是把整條街每家店都吃一遍隨機(jī)搜索是閉著眼挑幾家貝葉斯優(yōu)化則是吃完幾家后總結(jié)出“這條街上的高分店都集中在某個(gè)區(qū)域”然后重點(diǎn)去那片區(qū)域繼續(xù)找。3.2 搜索空間設(shè)計(jì)與采集函數(shù)機(jī)制貝葉斯優(yōu)化里有兩個(gè)關(guān)鍵組件一個(gè)是參數(shù)搜索空間一個(gè)是采集函數(shù)。搜索空間決定了我們允許模型在哪些范圍里找參數(shù)。我設(shè)計(jì)PatchTST的搜索空間時(shí)大概分成三類。第一類是模型結(jié)構(gòu)參數(shù)包括d_model、n_heads、e_layers、d_ff。這些參數(shù)決定模型容量。注意n_heads必須能整除d_model否則多注意力頭沒法均分維度。我一般把d_model設(shè)在64到128之間n_heads從4和8里面選e_layers控制在2到4d_ff按d_model的2到4倍去搜。第二類是patch化參數(shù)包括patch_len和stride。這是PatchTST特有的影響最大。patch_len太小局部語義不足太大patch數(shù)量太少序列信息壓縮過狠。我通常把patch_len放在8到24之間stride放在4到12之間。第三類是訓(xùn)練參數(shù)包括學(xué)習(xí)率、dropout、batch_size、weight_decay。學(xué)習(xí)率我習(xí)慣用對(duì)數(shù)均勻分布采樣范圍1e-4到1e-2dropout在0.05到0.3之間batch_size在32到128之間weight_decay在1e-6到1e-3之間。采集函數(shù)的作用是從代理模型推薦下一組參數(shù)。常用的有期望改進(jìn)EI和置信上界UCB。EI會(huì)權(quán)衡“這個(gè)區(qū)域可能達(dá)到多好”和“這個(gè)區(qū)域的不確定性有多大”既不會(huì)只盯著已知最優(yōu)區(qū)域?qū)е戮植渴諗恳膊粫?huì)完全到處亂試。我用的優(yōu)化庫是Optuna它默認(rèn)的TPE采樣器使用的就是類似的思想把歷史試驗(yàn)分成表現(xiàn)好和表現(xiàn)差的兩組通過概率密度比值來指導(dǎo)下一步采樣。3.3 基于Optuna的實(shí)現(xiàn)思路Optuna是目前最順手的貝葉斯優(yōu)化框架和PyTorch集成很方便。整個(gè)流程分三步定義objective函數(shù)、創(chuàng)建study、運(yùn)行優(yōu)化。objective函數(shù)內(nèi)部就是一次完整的模型訓(xùn)練和評(píng)估流程最終返回驗(yàn)證集上的MAE或者RMSE作為需要最小化的目標(biāo)值。import optuna from optuna.pruners import MedianPruner from optuna.samplers import TPESampler def objective(trial): params { d_model: trial.suggest_categorical(d_model, [64, 96, 128]), n_heads: trial.suggest_categorical(n_heads, [4, 8]), e_layers: trial.suggest_int(e_layers, 2, 4), patch_len: trial.suggest_int(patch_len, 8, 24, step4), stride: trial.suggest_int(stride, 4, 12, step4), dropout: trial.suggest_float(dropout, 0.05, 0.3), lr: trial.suggest_float(lr, 1e-4, 1e-2, logTrue), batch_size: trial.suggest_categorical(batch_size, [32, 64, 128]), weight_decay: trial.suggest_float(weight_decay, 1e-6, 1e-3, logTrue), } # 數(shù)據(jù)加載、模型構(gòu)建、訓(xùn)練循環(huán)在這里完成 # val_loss train_and_evaluate(params) # 這個(gè)函數(shù)內(nèi)部包含完整的訓(xùn)練和驗(yàn)證邏輯 return val_loss sampler TPESampler(seed42, n_startup_trials10) pruner MedianPruner(n_startup_trials5, n_warmup_steps10) study optuna.create_study(directionminimize, samplersampler, prunerpruner) study.optimize(objective, n_trials60, timeout7200)這里有兩個(gè)細(xì)節(jié)值得說。第一n_startup_trials是指在真正用TPE決策之前先做多少次完全隨機(jī)采樣目的是給代理模型提供初始數(shù)據(jù)。設(shè)太小比如設(shè)成3代理模型容易在剛開始就鎖死到錯(cuò)誤的區(qū)域。我實(shí)際用下來設(shè)10到15比較穩(wěn)。第二pruner的MedianPruner指的是如果某個(gè)trial在訓(xùn)練中途的中間結(jié)果比歷史同期中位數(shù)差就直接終止它把計(jì)算資源讓給更有潛力的試驗(yàn)。這類剪枝機(jī)制在調(diào)參任務(wù)里非常省時(shí)間尤其是在搜索空間很大的時(shí)候。4. 數(shù)據(jù)處理綜合能源負(fù)荷預(yù)測的建?;A(chǔ)模型和調(diào)參框架都定了數(shù)據(jù)這邊反而是最容易出問題但最容易被忽視的部分。綜合能源系統(tǒng)的原始數(shù)據(jù)通常來自SCADA系統(tǒng)、氣象站和日歷表數(shù)據(jù)結(jié)構(gòu)五花八門采樣間隔可能不齊異常值和缺失值也很多。處理不好后面模型再先進(jìn)也是白搭。4.1 多變量特征集合與來源我梳理這個(gè)項(xiàng)目的數(shù)據(jù)時(shí)把特征分成了三類。第一類是預(yù)測目標(biāo)也就是電負(fù)荷、熱負(fù)荷、冷負(fù)荷這三條主曲線采樣間隔是15分鐘一個(gè)點(diǎn)一天96個(gè)點(diǎn)。第二類是外部氣象特征包括干球溫度、相對(duì)濕度、水平面總輻射、風(fēng)速等這些特征對(duì)空調(diào)負(fù)荷和供熱負(fù)荷影響很大尤其是溫度和輻射與冷負(fù)荷的相關(guān)系數(shù)相當(dāng)高。第三類是日歷特征比如是否工作日、是否節(jié)假日、一天中的第幾個(gè)采樣點(diǎn)。日歷特征看起來簡單但對(duì)模型幫助很大。綜合能源負(fù)荷在工作日和周末的形態(tài)差異非常明顯如果模型不確定“今天是星期幾”它很難區(qū)分同一時(shí)刻兩種不同的合理模式。還有一類容易被忽略的特征是滯后變量。綜合能源系統(tǒng)里的熱負(fù)荷有很強(qiáng)的熱慣性今天的負(fù)荷不僅取決于今天的氣象還和過去幾個(gè)小時(shí)的熱量積累有關(guān)。所以我把目標(biāo)變量的前24個(gè)點(diǎn)也作為額外特征窗口輸入讓模型有機(jī)會(huì)捕捉這種慣性。不過要注意加了滯后變量后輸入通道數(shù)會(huì)明顯增加特征之間的多重共線性也會(huì)變強(qiáng)需要靠模型的正則化去吸收。4.2 歸一化方案的取舍歸一化這個(gè)環(huán)節(jié)我一開始吃過虧。直接用StandardScaler對(duì)整個(gè)特征矩陣做標(biāo)準(zhǔn)化表面上看沒錯(cuò)但會(huì)把不同負(fù)荷通道的量綱差異壓縮到同一范圍反而丟掉了不同能源品種之間的相對(duì)規(guī)模信息。后來我改成每個(gè)通道單獨(dú)做歸一化也就是對(duì)電負(fù)荷、熱負(fù)荷、冷負(fù)荷、溫度、濕度這些列分別fit一個(gè)scaler。這樣做的另一個(gè)重要原因是預(yù)測結(jié)果需要反變換回原始量綱才能計(jì)算誤差指標(biāo)。如果多個(gè)通道混合縮放反變換的時(shí)候矩陣操作容易出錯(cuò)分開處理后會(huì)清晰很多。預(yù)測目標(biāo)通道建議使用MinMaxScaler讓它嚴(yán)格落在0到1之間這樣和模型輸出層的激活范圍匹配更好訓(xùn)練初期收斂更穩(wěn)定。外部氣象特征用StandardScaler就行不需要強(qiáng)制限定到某個(gè)區(qū)間。反變換的公式很簡單但要注意在測試集上必須用訓(xùn)練集fit好的scaler不能在測試集上重新fit否則會(huì)造成信息泄漏評(píng)估結(jié)果虛高。4.3 滑動(dòng)窗口與多步預(yù)測構(gòu)造滑動(dòng)窗口是時(shí)間序列預(yù)測里最基礎(chǔ)的操作但細(xì)節(jié)里藏著不少坑。假設(shè)我們用前96個(gè)點(diǎn)預(yù)測后24個(gè)點(diǎn)那訓(xùn)練樣本就是在一個(gè)完整的時(shí)間序列上以一定step滑動(dòng)截取。比如step設(shè)24每天可以截出約4組樣本0到95預(yù)測96到11924到119預(yù)測120到143依此類推。這里有一個(gè)很關(guān)鍵的選擇輸入窗口和預(yù)測窗口之間是否要有g(shù)ap。有些場景里我們可以在輸入末尾和預(yù)測開始之間留一段間隔比如輸入96個(gè)點(diǎn)跳過6個(gè)點(diǎn)再預(yù)測未來24個(gè)點(diǎn)。這個(gè)gap的存在讓模型不能只依賴最近幾個(gè)點(diǎn)的慣性外推必須真正學(xué)到模式泛化能力更好些。但如果gap太大模型會(huì)丟掉近期的有效信息誤差反而不降。我在實(shí)測里用gap等于1到2個(gè)采樣點(diǎn)作為折中效果比完全無縫預(yù)測略好。窗口構(gòu)造完成后數(shù)據(jù)要整理成模型需要的形狀。PatchTST的多變量輸入通常是 (batch, seq_len, num_channels) 這樣的三維張量。注意通道維放在最后和圖像任務(wù)的 (batch, channels, height, width) 不一樣剛開始容易搞混。如果使用PyTorch建議在DataSet里直接返回這個(gè)形狀的tensor避免在訓(xùn)練循環(huán)里頻繁做permute。5. Python代碼實(shí)現(xiàn)與核心邏輯解讀這一節(jié)我把項(xiàng)目代碼的主干邏輯拆出來講。不貼全部源碼但關(guān)鍵部分都會(huì)給到并且解釋每一段在做什么、為什么要這么做。5.1 數(shù)據(jù)加載與窗口生成數(shù)據(jù)加載部分我習(xí)慣自己寫DataSet類而不是直接用現(xiàn)成的TSDataset庫因?yàn)榫C合能源數(shù)據(jù)通常要融合好幾個(gè)csv自定義更靈活。class EnergyDataset(torch.utils.data.Dataset): def __init__(self, df, target_cols, feature_cols, input_len96, pred_len24, step24): self.df df.reset_index(dropTrue) self.target_cols target_cols self.feature_cols feature_cols self.input_len input_len self.pred_len pred_len self.step step self.inputs, self.targets self._build_samples() def _build_samples(self): data self.df[self.target_cols self.feature_cols].values.astype(float32) total len(data) max_start total - self.input_len - self.pred_len samples_in [] samples_out [] for start in range(0, max_start, self.step): end_in start self.input_len end_out end_in self.pred_len x data[start:end_in] y data[end_in:end_out, :len(self.target_cols)] samples_in.append(x) samples_out.append(y) return ( torch.from_numpy(np.stack(samples_in)), torch.from_numpy(np.stack(samples_out)) ) def __len__(self): return len(self.inputs) def __getitem__(self, idx): return self.inputs[idx], self.targets[idx]這里有幾個(gè)設(shè)計(jì)點(diǎn)。第一切窗口時(shí)只保留完整覆蓋輸入和預(yù)測長度的樣本末尾不足的部分直接丟掉避免padding帶來的邊界噪聲。第二step控制窗口滑動(dòng)步長數(shù)據(jù)量不夠的時(shí)候step小一點(diǎn)可以增加樣本數(shù)但要注意相鄰樣本高度重疊會(huì)導(dǎo)致訓(xùn)練集和驗(yàn)證集之間的數(shù)據(jù)泄漏風(fēng)險(xiǎn)我的做法是把時(shí)間靠前的80%作為訓(xùn)練集時(shí)間靠后的20%作為驗(yàn)證集不做隨機(jī)劃分。時(shí)間序列數(shù)據(jù)不能用隨機(jī)劃分這一點(diǎn)非常重要隨機(jī)劃分會(huì)讓驗(yàn)證集提前看到訓(xùn)練集未來的信息。5.2 PatchTST模型實(shí)現(xiàn)模型主體我基于官方思路重新實(shí)現(xiàn)便于修改和加自己的預(yù)測頭。核心分兩塊patch嵌入和Transformer編碼器。import torch import torch.nn as nn class PatchEmbedding(nn.Module): def __init__(self, patch_len, stride, d_model, dropout): super().__init__() self.patch_len patch_len self.stride stride self.padding stride if patch_len stride else 0 self.linear nn.Linear(patch_len, d_model) self.pos_embed nn.Parameter(torch.randn(1, 100, d_model) * 0.02) self.dropout nn.Dropout(dropout) def forward(self, x): # x: (batch, seq_len, num_channels) batch, seq_len, num_channels x.shape x x.permute(0, 2, 1) # (batch, num_channels, seq_len) x nn.functional.unfold( x.unsqueeze(-1), kernel_size(self.patch_len, 1), dilation1, padding(self.padding, 0), stride(self.stride, 1) ) # 整理形狀 x x.permute(0, 2, 1).reshape(batch * num_channels, -1, self.patch_len) x self.linear(x) # (batch*num_channels, num_patches, d_model) x x self.pos_embed[:, :x.size(1), :] x self.dropout(x) x x.reshape(batch, num_channels, -1, self.linear.out_features) return x這段代碼里最容易出問題的是unfold的padding設(shè)置。設(shè)置padding為stride有一個(gè)作用保證序列末尾也能形成一個(gè)patch讓尾部的信息不會(huì)直接被丟棄。雖然末位patch是部分填充的但線性層在訓(xùn)練過程中可以學(xué)到忽略無效位置這比直接截?cái)嘁谩ransformer編碼器部分直接用PyTorch的TransformerEncoderLayer堆疊即可。注意這里要讓num_channels個(gè)通道的token進(jìn)入同一個(gè)Transformer因此把通道維展開到序列維。也就是說注意力可以跨通道和跨patch同時(shí)發(fā)生這也是為什么模型在多變量場景下依然能捕捉到通道間交互。預(yù)測頭部分我需要把Transformer輸出的特征重新整理成每個(gè)通道獨(dú)立的多步輸出。因?yàn)檩敵鍪侵苯佣嗖筋A(yù)測所以這里就是一個(gè)Linear層把特征映射到pred_len維度。我在實(shí)際實(shí)現(xiàn)時(shí)每個(gè)通道的輸出投影是獨(dú)立的Linear層使用nn.ModuleList包裹避免所有通道共享同一套投影權(quán)重。5.3 貝葉斯優(yōu)化主流程集成貝葉斯優(yōu)化的objective函數(shù)內(nèi)部最關(guān)鍵的是要讓每次試驗(yàn)在相同條件下公平競爭。我在試驗(yàn)里固定了隨機(jī)種子包括PyTorch、NumPy和Python內(nèi)置random否則有的試驗(yàn)跑得好純粹是運(yùn)氣好貝葉斯優(yōu)化會(huì)被假信號(hào)帶偏。另一個(gè)要注意的是驗(yàn)證集的選擇。我建議固定一個(gè)時(shí)間窗口作為驗(yàn)證集比如最近20%的時(shí)間段。不要在每次試驗(yàn)里重新劃分驗(yàn)證集否則不同試驗(yàn)之間的比較基準(zhǔn)不一致。如果數(shù)據(jù)量夠大也可以抽一個(gè)固定的時(shí)間長段做驗(yàn)證但同樣不能隨機(jī)抽取。objective函數(shù)的執(zhí)行流程通常是用傳入的超參構(gòu)建模型初始化數(shù)據(jù)加載器進(jìn)入訓(xùn)練循環(huán)每個(gè)epoch結(jié)束后在固定驗(yàn)證集上計(jì)算MAE或RMSE記錄歷史最優(yōu)模型返回驗(yàn)證集最優(yōu)誤差。整個(gè)過程相當(dāng)于一次小型訓(xùn)練任務(wù)。為了降低單次試驗(yàn)耗時(shí)可以限制epoch數(shù)到50左右配合早停策略。早停的patience建議設(shè)5到10個(gè)epoch太小容易在曲線還沒收斂時(shí)就提前停止太大又浪費(fèi)時(shí)間。5.4 訓(xùn)練與評(píng)估閉環(huán)訓(xùn)練循環(huán)本身沒有太多特別之處但有幾個(gè)細(xì)節(jié)會(huì)影響最終效果。首先是優(yōu)化器的選擇我用的是AdamW而不是普通Adam。AdamW把權(quán)重衰減從梯度更新里去耦對(duì)Transformer這類大模型的正則化效果更可控不容易出現(xiàn)普通Adam里weight_decay和自適應(yīng)學(xué)習(xí)率相互干擾的問題。學(xué)習(xí)率調(diào)度方面我推薦先用one cycle或余弦退火。PatchTST訓(xùn)練早期學(xué)習(xí)率太大會(huì)導(dǎo)致loss爆炸太小會(huì)導(dǎo)致收斂太慢one cycle策略在前幾個(gè)epoch快速提升學(xué)習(xí)率探索然后平滑下降收斂實(shí)測比固定學(xué)習(xí)率效果穩(wěn)定。損失函數(shù)用的是MSE因?yàn)镸SE對(duì)大誤差的懲罰更強(qiáng)烈會(huì)讓模型更關(guān)注尖峰負(fù)荷的擬合。如果后續(xù)覺得預(yù)測結(jié)果太平均、尖峰不夠尖可以換成MAE或者Huber損失做對(duì)比甚至組合起來用。評(píng)估指標(biāo)方面除了RMSE我同時(shí)會(huì)算MAE、MAPE和R2因?yàn)镽MSE對(duì)異常值敏感單看它容易被個(gè)別點(diǎn)的極端誤差誤導(dǎo)。MAPE對(duì)接近零的負(fù)荷值會(huì)失真所以計(jì)算時(shí)需要對(duì)真實(shí)值設(shè)置一個(gè)下限閾值避免除以接近0的數(shù)。6. 訓(xùn)練過程中踩過的坑與排查心得這個(gè)項(xiàng)目前前后后跑了很久踩的坑不少專門整理一節(jié)出來按問題類型分類寫清楚。6.1 loss不降或突然變成NaNloss不降是最常見的問題。我的排查順序是先看數(shù)據(jù)里有沒有NaN或inf這一步可以通過一行代碼檢查然后看歸一化是否完成如果原始值在幾百上千的量綱直接送進(jìn)模型Transformer的注意力softmax很容易溢出再看學(xué)習(xí)率PatchTST對(duì)學(xué)習(xí)率比LSTM更敏感如果初始學(xué)習(xí)率超過1e-2訓(xùn)練大概率直接飛掉建議先固定到1e-3跑一遍基線再讓貝葉斯優(yōu)化去搜索。loss突然變成NaN大概率有兩個(gè)原因。一個(gè)是梯度爆炸解決辦法是給模型加梯度裁剪max_norm設(shè)1.0比較穩(wěn)妥。另一個(gè)原因是學(xué)習(xí)率調(diào)度策略里出現(xiàn)了過大的尖峰比如one cycle策略的峰值學(xué)習(xí)率設(shè)太高可以在實(shí)現(xiàn)時(shí)限制峰值不超過最大學(xué)習(xí)率的10倍。還有一個(gè)容易被忽略的原因輸入數(shù)據(jù)里某條通道的標(biāo)準(zhǔn)差為0。比如某個(gè)傳感器故障連續(xù)幾天的值恒等于一個(gè)常數(shù)標(biāo)準(zhǔn)化之后變成NaN模型訓(xùn)練自然就崩了。6.2 Patch尺寸與序列長度約束Patch化和序列長度之間的約束關(guān)系我在調(diào)整參數(shù)時(shí)經(jīng)常被繞進(jìn)去。給定序列長度Lpatch長度Pstride Spatch數(shù)量N可以估算為 (L - P) / S 1如果加上末尾填充大約是 (L - P) / S 2。這個(gè)N不能太小否則輸入到Transformer的token數(shù)量太少注意力機(jī)制的優(yōu)勢發(fā)揮不出來。經(jīng)驗(yàn)上N至少應(yīng)該在5到8個(gè)以上。如果序列長度是96我一般建議patch_len從8到16之間選stride從4到8之間選。patch數(shù)量大約在11到23個(gè)之間這個(gè)量級(jí)對(duì)Transformer來說很舒適。如果序列長度更長比如168或336可以把patch_len適當(dāng)調(diào)大到12到24。還有一個(gè)需要注意的地方是patch_len必須能被輸入序列長度大致整除否則末尾padding過多有效信息比例下降。如果發(fā)現(xiàn)未填充patch數(shù)量太少優(yōu)先調(diào)大stride而不是調(diào)大patch_len這樣能在保持patch粒度的情況下盡量維持語義完整度。6.3 貝葉斯優(yōu)化的收斂與過擬合問題貝葉斯優(yōu)化跑著跑著會(huì)出現(xiàn)兩種讓人困惑的現(xiàn)象。第一種是搜索后期目標(biāo)值不再下降反而在某個(gè)區(qū)間震蕩。這通常是搜索空間里某些參數(shù)組合方差太大導(dǎo)致的比如batch_size從32跳到128模型表現(xiàn)波動(dòng)明顯代理模型很難找到穩(wěn)定的優(yōu)化方向。解決辦法是把參數(shù)限制到更窄的合理范圍或者把離散參數(shù)的候選值減少到2到3個(gè)。第二種現(xiàn)象是貝葉斯優(yōu)化找到的參數(shù)在訓(xùn)練集上效果很好但驗(yàn)證集效果變差典型的過擬合。這里要區(qū)分是模型過擬合還是調(diào)參過擬合。模型過擬合表現(xiàn)為訓(xùn)練loss遠(yuǎn)低于驗(yàn)證loss需要加大dropout或weight_decay或者減小d_model。調(diào)參過擬合則是試驗(yàn)次數(shù)過多代理模型在驗(yàn)證集上反復(fù)測試間接把驗(yàn)證集信息泄露給了搜索過程。解決辦法是盡量保證驗(yàn)證集只有一個(gè)固定窗口不要頻繁更換同時(shí)trials數(shù)控制在50到80次以內(nèi)超過之后增益會(huì)明顯遞減。我還發(fā)現(xiàn)一個(gè)隱藏的坑早停的patience在貝葉斯優(yōu)化里會(huì)影響公平性。某個(gè)trial訓(xùn)練特別久模型有機(jī)會(huì)充分收斂另一個(gè)trial因?yàn)閜atience設(shè)置不同提前結(jié)束了。這時(shí)候比較兩者的最終loss就不公平。我的做法是每次試驗(yàn)固定使用相同的早停配置并且統(tǒng)一epoch上限。7. 跑通之后的效率觀察與擴(kuò)展思路模型跑通之后我對(duì)整體性能和擴(kuò)展方向做了整理這里一并說說。7.1 整體效果與時(shí)間開銷最終固定下來的配置大致是d_model128n_heads8e_layers3patch_len16stride8dropout0.1學(xué)習(xí)率約2e-3batch_size64。在這個(gè)配置下電負(fù)荷、熱負(fù)荷、冷負(fù)荷三通道24步預(yù)測的RMSE對(duì)比原始LSTM基線大約下降了15%到20%。其中熱負(fù)荷提升最明顯因?yàn)闊釕T性帶來的長程依賴恰好是PatchTST注意力機(jī)制的強(qiáng)項(xiàng)。冷負(fù)荷提升相對(duì)小因?yàn)槔湄?fù)荷受瞬時(shí)輻射影響較大而氣象預(yù)報(bào)本身的誤差會(huì)限制預(yù)測上限。訓(xùn)練時(shí)間方面序列長度96、patch數(shù)量13左右、三通道展開后總共39個(gè)token一個(gè)epoch在中等規(guī)模數(shù)據(jù)集上只需要幾秒50個(gè)epoch加早停大概在3到5分鐘完成一次試驗(yàn)。60次貝葉斯優(yōu)化試驗(yàn)算上剪枝節(jié)省的時(shí)間總耗時(shí)在2到3個(gè)小時(shí)左右。這個(gè)成本對(duì)應(yīng)用來說可以接受比起手動(dòng)調(diào)參一遍遍試要高效得多。7.2 還可以怎么往下走如果想把這套方案繼續(xù)深化有幾個(gè)方向我個(gè)人覺得很有價(jià)值。第一個(gè)是把模型輸出從確定性預(yù)測改成概率預(yù)測具體做法是在預(yù)測頭加一個(gè)分布層輸出均值和方差損失函數(shù)換成負(fù)對(duì)數(shù)似然。這樣得到的預(yù)測不僅有數(shù)值還有置信區(qū)間對(duì)調(diào)度決策來說參考意義更大。第二個(gè)方向是引入更細(xì)的外生變量比如電價(jià)、設(shè)備啟停狀態(tài)、天氣預(yù)報(bào)的不確定性。綜合能源系統(tǒng)調(diào)度往往和現(xiàn)貨市場電價(jià)強(qiáng)相關(guān)把電價(jià)作為輸入通道加入模型可以進(jìn)一步挖掘負(fù)荷對(duì)價(jià)格信號(hào)的響應(yīng)。第三是做多任務(wù)學(xué)習(xí)的變體不只預(yù)測負(fù)荷還同時(shí)預(yù)測光伏出力和儲(chǔ)能狀態(tài)。因?yàn)檫@些變量的變化規(guī)律和負(fù)荷有耦合聯(lián)合建??赡軒眍~外的泛化提升。最后還想提一個(gè)工程上的小技巧模型訓(xùn)練完保存 checkpoint 時(shí)記得把scaler也一起保存。部署上線時(shí)新數(shù)據(jù)的歸一化必須用訓(xùn)練時(shí)保存的scaler否則線上輸入分布和訓(xùn)練分布不一致預(yù)測效果會(huì)莫名其妙地變差。我在項(xiàng)目里因?yàn)檫@個(gè)問題上線后翻過一次車排查了半天才發(fā)現(xiàn)是新寫的預(yù)處理腳本沒有復(fù)用原有scaler造成的。踩過那次坑之后我把scaler納入模型artifacts統(tǒng)一管理之后的迭代就再?zèng)]出過類似的問題。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
屁股翘好撅高迎合跪趴| 亚洲无码99| m色激情网| 天天色中文字幕女优AV| 色99日韩| 五月婷在线视频免费播放| 日本在线观看99| 深爱开心激情网| 亚洲日韩乱码一区二区三区四区 | 91精品久久久久久久| 丁香六月婷婷| aaa久久| 亚洲综合成人网| 中文字幕丰满孑伦无码专区| 丁香婷婷网| 色色丁香五月婷婷| 九九亚洲无码| 丁香五月婷婷老师网站| 五月婷婷av| 99色热综合| 久久婷综合网| 香蕉久久国产AV一区二区| 久草热视频在线观看| 九九AV| 在线视频九色97| 99久久综合网| 超碰二区| 最新va在线播放| 激情丰满熟妇五月| 五月婷婷亚洲天堂激情在线| 五月丁香啪啪网| BBWCUCKOLD精品熟妇| 九月激情综合| 99视频这里有精品| 欧美日韩AAAA| 99视频这里有精品免费观看| 亚洲XX日本| 最新色色五月天| 国产特黄色精品一区二区三区精品无广告| 免费视频WWW在线观看网站| 久久久久久性爱视频| 欧美精产国品一二三区| 国产精品天天狠天天看| 九九热最新地址| 婷婷五月六月| 天天综合中文| 美女天天爽| 婷婷色日本| 少妇激情基地| 这里只有精品免费在线视频| 亚洲色9| 国产五月天婷婷| 人碰人人人玩91| 久久久com| 国产美女视频久| 女人天堂av| 91精品91久久久中77777| 久久婷婷五月综合一| 亚洲偷| 狠狠五月激情丁香六月| 色色激情网| 天天夜夜六月丁香五月婷婷老师| 在热视频精品| 狠狠草在线观看| 99性爱视频网站| 亚洲精品小视频| 婷婷五月天天| 骚货艹网站视频| 五月丁香黄色| 久久免费婷婷视频| 五月天综合| 亚洲综合五月| 人人摸人人操人人爽| 亚洲第一综合| 99热偷拍| 婷婷成人五月天| 99热这里只有精品首页| 97高清国语自产拍| 99热最新国内| 激情五月,激情综合网| 成人一区在线观看| 九九色综合| 久久激情五月| 人人干天天操五月丁香| www五月天com| 91凹凸在线| 337p大胆噜噜噜噜噜91Av| 色丁香五月天| 亚洲精品久久久久久久久久飞鱼| 嫩模草| 久99久视频精品| chaopeng在线人人| 97碰碰人人| 激情网 五月天| 中文字幕在线免费看线人| 99热免费观看| 激情综合网五月天| www.婷婷com| 午夜成人av在线| 99自拍视频在线观看| 久久五月天婷婷| 爱射综合| 综合五月激情| 综合久| 五月丁香网站| 五月婷婷之综合激情在线| 人妻AV中文系列| 婷婷五月天综合亚洲| 中日韩美欧成人一区二区精品在线| 亚洲xx在线| 狠狠干狠狠操狠狠爱| 久久大香蕉同僚| 淫视馆aV二区一区| 99在线亚洲| 超碰97免费在线| 黄网在线免费观看| 99热九九九九| 丁香六月婷婷久久综合八月| 激情性五月天免费小说视频| 综合久久综合| av在线免费播放观看| 九九偷拍网| 99在线精品观看99| www.天天日| 久99视频在线观看| 九九色插| 久1色色| 99在线视频精品| 天天天干夜夜夜操| 亚洲AV影片在线观看| 91丨九色丨国产在线| 99热这里是精品| 六月色色婷婷| 26uuu亚洲| 久久XX日本综合| 婷婷五月丁香啪啪| 五月婷婷六月丁香色| 国产精品久久..4399| 三年高清大片免费观看国语| www.色99| www天天色天天射| 另类视在线| 亚洲天堂婷婷丁香| 丁香 婷婷 激情 综合 五月| WWW免费视频碰碰碰碰| 国外亚洲成AV人片在线观看| 亚洲第一成人无码A片| 亚洲婷婷六月天| 1024操逼视频| 五月天婷婷婷| 99亚洲综合| 色亭亭五月天丁香综合AV - 百度 - 百度| 99ER热精品视频| 99视频在线观看网址| 26uuu亚洲色| 91热在线| 婷婷情色五月天| 狠狠色精品综合| 99热精品在线播放| 日本女人久久| 天天色视频| 国产亚洲精品AAAAAAA片| AV动漫不卡无码免费| 97五月天婷婷| AV片一区在线观看| 天天拍夜夜爽日日| 夜精品无码A片一区二区蜜桃| 91精品人妻少妇无码影院| 99久久久国产精品免费蜜乳tv| 亚洲综合无码| 色久天| 成人无码精品1区2区3区免费看| 婷婷五月av| 97热这里只有精品| 97久久五月丁香婷婷| www.五月丁香av| 五月丁香啪啪激情| 玖玖婷婷视频| 婷婷五月激情视频在线| 五月婷婷之综合激情在线| 青青草a在线| 色婷婷天堂| 久久婷婷的综合色丁香五月| 欧美激情五月天| 香蕉久久国产AV一区二区| 久久99热这里只有精品首| 丁香五月色情| 五月丁香色色综合| 国产精品久久久久久久久久 | 激情5月婷婷| 成人av免费观看| 九九热自拍| 五月天网站免费欧美| 激情文学 综合 九月| 岛国AV网站| 麻豆忘忧草午夜| 久久久五月婷婷| 99色免费观看全部| 日日噜噜夜夜狠狠久久丁香六月| 91精品久久久久久77777| 亚洲综合色婷婷| 五月婷婷啪| 9热视频在线观看| 99热在线播放精品| 精品久久久人妻| 五月丁香婷婷99| 日本五月天网站| 永久免费一区二区三区| 玖玖综合色| www,久久久| 婷婷五月av| 超碰在线99| 成人丁香五月| 久热播这里只有精品| 婷婷97C| 99精品大片| 超碰人人操人人9| 婷婷五月天综合在线| 色www.con| 日韩无码成人电影| 99热精国产这里只有精品| 丁香婷婷激情网站| 九月丁香亭亭| 亚洲丁香花色| 五月天成人综合| 欧美色碰| 99色在线| 狠狠色 综合色区| 色九月丁香婷婷蜜桃在线观看| 深爱五月激情五月| WWW、日本色丁香co m| 狠狠人人婷婷| 亚洲天堂啪啪| 99综合97| 超碰99热在线观看| 丁香五月综合久久| 狠狠色噜噜狠狠狠狠综合| 99精品在线观看| 我去色色网五雨天| 久艹大香蕉| 激情四射网| 99久热这里只有精品| 96色婷婷| 91丨九色丨东北熟女| 我要色综合五月婷婷| 日日.c| 99在线免费视频| 九九综合| 丁香婷婷色九月| 99久久久久| 变态 另类 在线| 丁香五月婷婷五月天| 久久久久久草黄色片AV在线观看| 大香伊人婷婷| 日韩av手机在线观看| 婷婷五月天视频亚洲| 婷婷五月开心中文字幕在线| 涩综合在线| 超碰久热| 人人综合久| 91婷婷视频| 99热这里只是精品| 精品视频这里只有精品| 美欧成人视频| 亚洲一区二区 成人网站戴套| 久久色五月| 婷婷深爱五月天在线| 婷婷激情六月综合| 狠狠久久婷婷| 日逼AV影音先锋男人资源站| 无码操B| 五月天激情网开心网| 日本a片网址| 日韩一级淫乱片一区二区三区| 99国产在线| 色综合色综合色综合色综合| 色色婷婷综合网| 97日本操| 天天草天天摸| 婷婷伊人綜合中文字幕| 91九色欧美| 色婷婷五月六月丁香综合视频| 久久这里有精品视频| 五月六月播婷婷| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 色碰碰| 79色色色色| 五月丁香 久久久| 久久99视频| www.婷婷.com| 久久网婷婷| 色欲AVV| 在线观看国产高清视频免费网站 | 超碰国产一区| 五月丁香婷婷AV天堂| www超碰| 91干视频| 天天色中文字幕女优AV| 国産精品| 五月婷婷激情网| 色色色热热热| 五月丁香六月综合激情| www热久久yy9| 婷婷性爱网| 亚洲婷婷丁香| 日本欧美在线| 97碰碰人人| 久久综合中文字幕| 九九精品自拍| 五月丁香六月婷婷网| 综合久久综合| 99久久综合网| 九九热精品| 五月婷婷开心网| 日韩在线视频9色| 五月丁香直播| 婷婷色在线| 五月丁香六月婷婷久久| 色婷婷香蕉丁丁网| 免费播放AV| 九月色婷婷综合亚洲| 婷婷五月丁香青青草在线| 丁香狠狠干| 亚洲亚洲人成综合网络| 丁香五月激情啪啪综合| 无码一区精品一区视频| 男人的天堂99| 欧美色99| 久久亚洲色导航| 熟女乱论网| 亚洲婷婷开心五月| 日批在线看| 天天色天天色天天色天天色天天色| 操操操操操电影网| 99精品在线| 五月天久久网站| 亚洲VA口| 亚洲色婷婷五月天| 99艹精品在线观看| 99色视| 人人摸人人搞| 97热91| 九九热狼人| www亚洲无码| 99久久97久久欧美综合网| 五月天婷综合| 九九人妻福利| 激情深爱综合网| 久久九九国产精品怡红院| 人妻人人操| 婷婷五月天成人网| 国产黄色大片| 丁香六月开心| 99色视| 狠狠色无码| 综合色五月天| 久婷婷婷| 久久婷婷五月天蜜桃| 丁香伊人综合| 国产在线黄色| 老师的粉嫩小又紧水又多A片视频| 国产熟女大叫受不了| 色五月丁香伊人| 六月丁香五月激情婷婷| 狠狠操综合| 国产AV影片| 久9免费视频| 第四色色六月色综合| 天天射综合网夜夜操| 伊人91| 国产婷婷色综合AV蜜臀AV| 精品无码片| 香蕉97碰碰碰超视精品| 深爱五月婷婷开心中文字幕| 亚洲天堂aaa| 久久五月天婷婷| 亚洲乱码日产精品BD| 2025超碰| 狠狠色婷婷7777久综合| 激情美女五月天激情在线| 久草婷婷在线| 色婷婷综合网| 婷婷成人综合五月| 五月社区婷婷激情| 538任你爽| 最近中文字幕2019视频1| 啪啪东京热| 丁香丁婷五月激情| 五月婷婷激情久久| 偷偷操九九| 精品九九在线观看视频| 婷婷午夜激情| 日本三级片片| 这里只有精品9| 婷婷五月婷婷| 另类综合激情| 日本爆乳片手机在线播放| 五月婷婷影| 欧美影院婷婷| 热99只有精品| 久久婷综| 激情综合网络插| 婷婷五月天伊人| 久久人人妻| 久草热8精品视频在线观看| 婷婷丁香黄色| 婷婷色成人| 五月激情天| 黄色成人AV在线| 亚洲色婷婷网站| 激情九月婷婷| 99自拍视频在线观看| 天天插天天日| 日日操夜夜擼| 综合五月天婷婷色| 99色综合久久| 99热这里只有精品搜| 中国女人内射6XXXXX| 五月婷婷色色网址| 开心网五月色婷婷| 欧美性交一区二区三区| 色五月AV| 久久久久久久8| 五月婷导航| 99噜噜噜在线播放| 色欲日日躁| 精品久久99| 亚洲激情亚洲激情| 97干在线| 天天天天天色| 国产九月婷婷| 五月婷视频在线| 国产色香蕉精品五夜婷| 色五月播五月| 久久ri精品视频| 日韩色情亚洲五月天婷婷| 久热99| 思思久久99热| 亚洲精品一区中文字幕乱码| 五月天基地| 国产精品久久久久9999小说| 综合色色婷婷| 琪琪色影音先锋| 26uuu日韩| 婷婷九九视频| 9久久精品| www.射伊蕉婷婷| 丁香九月综合| 人妻av在线| 99色在线视频| 9久热这里只有精品视频| 变态 另类 在线 | 狠狠擼综合| 亚洲色无码A片一区二区麻豆| 久久婷婷五月综合色播| 欧美日本高清视频99| 亚洲婷婷丁香| 久一这里有精品国产| 黄色视频网站在线播放| 天天干电影| 香蕉视频91| 涩五月婷婷| 99成人精品六| 色婷婷综合丁香五月天| 久久婷婷亚洲| 婷婷五月天av网| 色99色| 亚洲国产精品成人va在线观看| Www.久久| 丁香五月性| 99热大全在线观看| 亚洲成人AV一区在线观看| 婷婷色五月在线视频| 丁香五月网址| 久在线88综合| 夜夜资源站| 99这里有精品视频3| 婷婷情色开心五月天99| 成人av中文字幕| 女性自慰系列第五页| 亚洲免费综合一区| 婷婷色在线观看| 天天日天天添| 五月婷久久综合| 色色丁香婷婷| 五月婷婷说| 男女99免费视频| 综合色、色综合| 九九人人精品| 婷婷六月激情丁香| 欧洲亚洲免费视频9| 亚洲无码色| 夜夜做夜夜愛| 五月婷婷在线视频免费观看| 91 九色 入口| 日在线V视频在线播放| 中美日韩成人在线| 国产精品久久久久久久久久| xxx.色婷婷| 激情五月丁香婷婷夜夜操| 1024欧美看片| 天天爽夜夜操| 色婷婷香蕉丁丁网| 九九亚洲视频| 伊人久热91| 九九RE视频在线精品| 五月婷婷激情中心| 在线视频另类| 99色综合久久| 成人做爰A片免费看视频| 欧美色色色色色色| 久久婷婷一级片| 久久婷色| 丁香六月婷婷色XXXXX| 最近中文字幕大全免费版在线| 色婷婷综合影院| 丁香五月激情视频在线| 久久永久网址| 亚洲网视屏| 日韩在线视频9色| 可以免费观看的AV| 九色视频91| 婷婷中文字暮| 色情激情五月| 黄涩毛片| 久久99婷婷| 国产亚洲精品久久久久久牛牛| 久久大香蕉同僚| 天天插插天天| 天天搞天天色综合| 婷婷五月天a| 丁香六月av| 99日韩| 超碰狠狠操| 国产美女视频久| 色的色综合| 亚洲小视频免费观看| 精品人妻一区二区三区在| 人人草成人视频| 97操资源婷婷| 做爰丰满少妇1313| 五月成人网站| www.99精品在线| 婷婷五月丁香香蕉| 天天狠狠干| 1010日日无码| 天天摸色吧天天摸色吧| 久久五月激情网| 久久久婷| 婷婷放心五日爱| 97久久久| 蜜臀丁香黄色婷婷五月天| 色色色婷婷五月天| 淫视馆aV二区一区| 丁香五月天在线观看视频| 天天摸天天肏| a色色色色色| 天天噜天天插| 性婷婷| 五月婷婷丁香啪啪| 天天激情视频| 色婷婷在线综合色播网| 六月丁香五月激情网| 五月婷婷之六月丁香| 99热综合在线观看| 五月激情五月婷婷五月天在线| 丁香五月天激情网| 色综合色综合色综合高潮| 婷婷丁香六月影视| 婷婷五月天.com| 久久午夜理论| 五月丁香婷婷激情视频| 五月丁香久人妻中文| 天天摸天天肏| 天天爽天天爽| 1024AV视频| 99在线综合视频| 婷婷久久欧美| 五月天激情久久| 五月丁香美女视频| 五月天婷婷色播| 丁香五月激情婷婷激情| 婷婷五月天综合色| 婷婷五月色情| 五月婷婷在线视频| 久久激情中文| 亚洲爱婷婷| 婷婷综合五月| 天天干肏夜夜| 思思久久99| 99精品综合视频| 日本激情综合| 五月婷婷在线视频| 综合网激情| 99年操人人爽| 91九色在线视频| 《诡秘之主》在线观看| 色播五月婷婷综合| 在线观看中文字幕| 99re6久热只有精品6在线直播| 99热9| 色墦五月丁香| 99在线资源视频| www.婷婷,com| 婷婷五月丁香基| 日日噜噜久久婷婷五月天 | Www.sesese丁香| 色色色色色色综合网| 99riAV国产精品视频| 99亚洲综合| 99热99热在线| √天堂资源在线人妻熟女| 99在线免费观看| 色婷婷狠狠久久综合五月| 久久99精品日本| 琪琪理论片| 色噜噜五月天| 性做久久久久久久免费看| 狠狠色狠狠色综合日日91| 人人插9| 日本色婷婷综合| 五月丁香婷婷五月| 中国女人做爰A片| 96精品久久久久久久久| 丁香五月综合网亚洲综合欧美狠狠| 日韩婷婷| 天天久久婷婷| 丁香婷婷色五月| 青青草激情网| 日本人妻伦在线中文字幕| 天堂网啪啪| 亚洲精| 丁香五月播播| 婷婷国产欧美97| 欧美韩日AAA网站| 狠狠色综合网| 操逼巨乳91| 欧美va| 国产日比| 99re在线观看| 久草狼人| 丁香五月中文字幕久色| 九九久久99精品免费观看www| 一本色综合色| 另类激情五月| 日本色色网站| 综合网网欲色| http://www.sd-xiangsu.com/| 一级黄色影片| 玖玖五月丁香| 婷婷天天色| 久久婷婷免费| 天天操天天谢| 欧美性生交XXXXX无码小说| 欧美综合123区| 九九热精品| 九九九九九九热| 五月综合777| 激情六月婷婷| 五月丁香六月婷婷啪啪综合| 超碰免费人人| 夜夜 操无码| 久久丝袜婷婷| 婷婷五月天激情电影| 激情五月,婷婷五月,丁香五月| 国产肥白大熟妇BBBB视频| 99精品这里只有免费视频| 九九热这里只有精品6| 日韩亚洲视频| 久久国产一区二区三区| 婷婷五月丁香色色| 日本色天堂| 日日干日日色| 婷婷九月激情| 这里只有精品视频99| 色色色在线观看| 色色色.COM| 日本五月天网站| 婷婷婷色五月| 日本欧美国产| 色哟哟精品| 久久婷婷五月综合色丁香花| 午夜丁香五月天综合| www..999热久| 超级碰碰碰97免费| 久久99国产综合精品免费 | 婷婷五月丁香基| 五月丁香六月欧美| 91精品视频男人的天堂| 亚洲操操| 婷婷五月天六月丁香| 五月丁香六月综合激情无码软件亮点| 六月丁香五月天| 97夫妻超碰| 在线可以看的av网址| 国产婷婷色综合AV蜜臀AV| 五月天婷婷激情小说| 婷婷午夜天| 婷婷综合五月激情| 国产特黄色精品一区二区三区精品无广告 | 五月天大香蕉婷| 色婷婷亚洲五月天| 亚洲五月天婷婷| 天天狠狠夜夜狠狠2023| 操逼综合网| 日韩淑女人妻luan伦激情精品一区二| av色婷婷| 成AV人片一区二区三区久久| 丁香婷五月天| 九九99九九精品视频| 日本九九网| 欧美色图天堂网色| 色色激情五月天| 色月视频| 久久午夜丁香| 变态另类9| 亚洲激情图文小说| 亚洲成人AV一区在线观看| 99毛片| 91精品久久久久久久| 色色色综合色| 骚货艹网站视频| 久久综合九色综合97婷婷| 直接看的AV| 99操中文视频| 丁香五月婷婷社区| 久久色天堂| 丁香综合伊人AV| 超碰网站在线观看| 五月天综合网| 五月婷婷激情久久| 婷婷五月激情的图片| 九九Y精品热播| 丁香蜜臀黄色婷婷五月天| 国产丁香五月天婷婷| 婷婷丁香五月色偷偷| 五月丁香六月婷综合成人综合| 婷婷开心激情综合五月天| 丁香五婷婷| 欧洲电影在线观看免费版英语版 | 欧美婷婷五月无砖| 一本色道久久88加勒比—| 女人高潮内射99精品| 婷婷色5月激情网| 99久久免费性爱视频`| www.色色色com| 九九热视频这里只有精品| 91av无码| 五月天色影院| 五月天亚洲综合网| 丁香婷婷精品视频| 伊人超碰在线| 日日夜夜天天| 九九热这里只有精品5| 99热大| 中文字幕按摩做爰| 综合性爱网| 婷婷五月天色综合| 婷婷,五月天,丁香,第一| 亚洲综合视频八| 97色婷婷| 五月婷网| 操骚货在线| 五月丁香激情深爱婷婷| 第二色AⅤ| 久久丝袜婷婷| 97人妻人人| 九七色色六月丁香| 久久伊人大香蕉| 99爱视频| 5月丁香啪啪啪| 久久人妻系列| 欧美综合激情五月丁香| 激情丁香五月天综合| AV中文字幕夜夜操b天天摸bb| 天干夜夜操| 天天摸天天透天天舔| www.热99热| 婷婷日| 丁香五月天欧美成人| 九色91国产| 综合激情sV| 99精品偷自拍| 欧美大肥婆大肥BBBBB| 国产毛片精品一区二区色欲黄A片| 九九青草热| 国产va视频| www,天天干| 99热只有精| 狠狠色婷婷六月激情网| 久久婷婷一级片| 婷婷久久六月天| 大香蕉综合| 色综合久久44| 久人操| 99热欲| 91碰免费视频| 婷婷丁香熟女| 噢美99| 青草视频在线观看视频| 天天操夜夜操| 河北真实伦对白精彩脏话| 色婷婷在线视频| 五月天色图| 色婷婷亚洲婷婷| 日本婷婷| 玖玖色综合| 久久久久9999| 婷婷色色五月天| 六月丁香五月婷婷| 99免费在线| 久久人人妻| 婷婷99狠狠| 99超级碰碰| 五月丁香综合激情| 亚洲婷婷五月| 成人丁香五月| 99精品久久| 九月综合| 色五月大| 99热青青草| 日本五月婷婷| 99热这里只有精品3| 99ri在线视频| www.91在线观看| 婷婷中文字幕| 青青草免费公开视频| 天天色中文字幕女优AV| 亚洲 欧洲 国产 伦综合| 五月婷婷深深爱| 九九99在线免费在线观看视频| www。狠狠干。com| 五月激情丁香| 久久精品亚洲一级牲爱综合| 色色色在线播放| 久久久久久丁香五月| 激情噜噜噜| 97色久| 亚洲亚洲人成综合网络| #NAME?| 亚洲热久| 97人人干| 五月婷婷婷自由综合| 丁XX 成人| 国内外色色色色色成人视频| 熟妇高潮一区av| 久久久久久99精品无码| 色久播播| 狠狠五月激情婷婷直播片| 丁香五月影院| 精品人妻伦一二三区久久| 九九Y精品热播| 丁香五月性| 久久色频| 五月婷婷影视| 五月天婷婷丁香| 在线播放中文字幕| 色欲色香,www,com| 欧美日韩成人| 亚洲色婷婷五月| 日韩啪啪视频| 婷婷五月精品| 操操操操操操婷婷五月天| 3www激情| 丁香六月婷婷色XXXXX| 久久XX| 色九九综合色| 久久综合无| 久99热| 超碰在线人妻| 丁香六月激情综合网| 99热免费观看| 婷综合| 少妇人妻偷人精品无码视频新浪 | 欧美精品999| 狠狠色五月| 亚洲人妻AV| 丁香激情五月| 日日狠夜夜狠| 婷婷综合网| 婷婷五月在线| 伊人五月天日日夜夜久久久天天| 插插五月天| 夜夜夜夜夜操| 色五月中文字幕| 色婷五月| 丁香五月六月激情久久| 六月 丁香 视频| 色99婷婷五月天| 五月婷婷综合色啪首页| 久久久久久久97| 亚洲AV成人精品网站在线播放| 婷婷久久性爱| 婷婷噜噜| 亚洲乱码日产精品BD| 九色自拍| 色五月婷婷小说亚洲中文字幕组| 国产精品91抖高| 久久色五月| 日日夜夜干| 婷婷综合在线网| 天天综合天天做天天综合| 精品久久久999| www.99操| 婷婷五月天伊人网在线观看视频| 精品久久9| 精品自拍97| 6月丁香婷婷激情| 思思久久99| 99久久精品色老| 激情综合五月婷婷丁香| 无人区码一码二码三码医生系列| 色色综合成人网| 色五月色五天免费视频| 日韩在线视频9色| 丁香六月婷婷一区| 大香蕉伊人久久| 亚州婷婷五月激情综合| 99这里只有免费的精品| 五月五婷婷| yazhou seshipin| 亚洲天堂久久| 婷婷色啪| 热成人网| 久久久久久久久久久-久五月天婷婷| 成人操呦av| 色色性爱视频| 亚洲婷婷视频| 亚洲精品电影| 亚洲第一成人无码A片| 五月欧美丁香在线观看| 国产性爱色| 性爱视频99| 五月婷中文娱乐综合| 青青草原99热| 久久激情四射| 五月婷丁香亚洲| 五月丁香影院| 91成人电影| 无码人妻电影| 色色激情五月| 婷婷五月丁香综合| 欧美久热| 亚洲五月天激情| 日韩抽插操逼| 色色五月婷婷狠狠| 亚洲色色色色| 热久91| 第五色色色婷婷| 久一网站| 台湾无码A片一区二区| 在线99精品| 五月天久久网站| 日本视频不卡123区| 五月天婷婷黄色| 五月丁香婷婷老司机| 五月天播播中文字幕| 久热91精品| 五月天天天色| 婷婷五月六月丁香| 五月天婷婷网站888| 综合激情在线观看| 99视频在线观看网址| 99综合自拍| 久热 91| 伊人久久激情图区五月| 国产欧美性成人精品午夜| 五月天色婷婷伊人网| 综合玖玖偷拍| 久久97| 久久五月激情网| www.韩日视频| 婷婷五月激情五月激情| 伊人网碰碰| 色香蕉影院| 婷婷六月视频| 超碰猛烈的性猛交| 99免费视频| 五月天成人在线播放丁香| 色在线免费观看| 婷婷五月天开心激情网| 婷婷丁香黄色| 五月花综合网| 久久九久久| 六月激情婷婷| 嫩模aV在线| 激情小说五月天| xxx日本东京热| 亚洲4区国产欧美| 婷香五月激情视频| 五月婷婷六月基地| 插逼综合网| 久久精品4| 99综合色色色| 激情五月成年| 国产激情AV| 五月婷五月婷伊人伊人五月婷| 97在线视频人妻九色| 婷综合| 乱乱av| 婷婷五月天电影在线| 91九色精品女同系列| 婷婷中合| 颜射 精品性爱av| 欧美操逼天堂| 少妇人妻偷人精品无码视频新浪 | 玖玖婷婷五月| 激情五月天在线| 婷婷欧美激情| 五月天激情网站| 99热这里有精品| 色99色| 亚洲天堂AV免费片| 色www.con| 亚洲成人AV高清字幕| 啪啪婷婷五月天激情| 国产精品久久久60086| www.色综合| 97狠狠碰| 久久人妻熟女一区二区| 99久久久免费| 激情文学五月丁香六月婷婷| 久久久久久天天日天天爱| 丁香五月开心亚洲| 性做爰A片免费视频A片直播 | AV成人在线播放| 久久久久久久久久久久久9| 五月婷婷五月天| 台湾佬天天日丁香婷婷五月天 | 99激情| 99热日韩| 久久狠狠色| 天天曰夜夜爽| 色综合色色色色| 草草女人亚洲| 99精品在线观看| 天天干天天干天天干| 亚洲五月天婷婷在线| 激情黄色小说色五月| 日本道久久91| 五月激情天| 九色91国产| 丁香五月手机在线| 丁香五月亚洲| 99视频在线观看欧| 色爱综合视频| 久思思久视频| 亚洲AV网址| 亚洲激情五月| 另类国产欧美视频| 99国产在线精品视频| 九九热超碰| www.婷婷.com| 色五月综合在线| 天天高潮夜夜爽| 六月婷婷影院| 五月天丁香啪啪综合| 色欲影香| 久久男人网婷婷| ..真实国产乱子伦毛片 | 精品51XX| 久久久久久综合88| www.久久久久久久| 91视频一起草| 五月丁香啪啪综合网| 国产成人精品一区二三区熟女在线| 激情五月天视频| 欧美色色色色色色色| 91操在线视频| 97香蕉久久超级碰碰高清版| 桃色五月天| 狠狠干综合| 综合99久久天天综合| 91久久色| 婷婷射丁香| 色999五月色| 成人AV在线电影| 超碰在线人人| 亚州操操| 婷婷91| 五月色亚洲| www色婷婷| 久久大香蕉| 色婷婷成人做爰A片免费看网站| 伊人五月天| 久久久国产精品黄毛片| 五月天激情综合| 久久草大香蕉| 色噜噜综合网| 日本人妻伦在线中文字幕| 99久久九九视频| 狠狠狠狠狠狠草| 99久久五月天| 4399亚洲视频| 97色干| 丁香五月婷婷少妇| 色婷五月天网站| 五月婷视屏在线观看| 婷婷日日夜夜| 激情5月天天天| 美女丁香五婷婷| 射久久丁香五月| 91九九| 色吧综合网| 202丰满熟女妇大| 欧美在线ee日韩| 視频福利乱色| 久久婷婷综合网| 色婷婷五月基地在线| 俺去也在线www色官网| 五月天婷婷在线观看| 8区视频在线| www.夜夜| 激情综合网激情五月婷婷| 丁香五月婷婷久久久| 五月丁香六月综合基地| 亚洲五月丁香综合网| 欧美日韩AAAAA| 久久视频在线| 激情综合区| 丰满老熟妇BBBBB搡BBB| 影院久久久| www.激情| 俺来也综合网精品一区| 精品成人无码A片观看香草视频| 青青草激情网| 激情丁香五月天| 欧美成人AAA片一区国产精品| 天天视频精品9| 五月婷色色| 综合逼五月激情婷婷| 九九视频在线观看| 丁香五月在线播放| 97久久精品视频| 99自拍视频| 婷婷射婷婷舔| 天天狠狠夜夜狠狠2023| 亚洲岛国电影| 秋霞少妇AV网站| 91精品91久久久中77777久久玖玖九九| 电影爱拉战争免费观看| 青青草激情网| 五月激情影院| 洗浴中心操B视频| 综合一区二区三区| 免费观看全黄做爰的视频| 免费超碰在线| 欧美va国产va| 婷婷在线视频| 国产AV影片| 东京热伊人| 97婷婷丁香五月| 青青草五月天| 无码激情AAAAA片-区区| 91丁香五月| 五月丁香青草综合啪啪| 久久精品性爱| www.ppypp| 日日噜噜夜夜狠狠久久丁香六月| 婷婷影院A成人| 婷婷色婷婷| 日韩在线婷婷五月天综合| 婷婷色啪| 热99玖玖99玖玖99九九| 色色婷婷五月天| 99精品视频免费| 国产精品久久久久久久久久| 操逼国产91| 色情久久久| 狠狠色成人影片| 久久9热| 色播五月婷婷综合| 六月婷婷视频| 亚洲亚洲人成综合网络| 久久99婷婷| 狠狠干五月天婷婷网| 女高怪谈在线观看| 黑人巨粗进入警花疼哭A片| 久九色| 婷婷99狠狠| 丁香综合日产精品久久| 超碰在线免费9| 天天爽天天摸人妻综合网| 天堂成人A片永久免费网站| 91狠狠色丁香婷婷综合久久| 日本成人噜噜噜| 99在线视频。| 五月天成人在线精品| 日韩无码色色| 免费啪啪啪网站| 热成人网| 91.www综合| 停停色综合伊人| 五月天激情国产综合婷婷婷| 亚洲综合婷婷五月| 涩综合婷婷| 九九精品re免费视频| 日日撸日日操| 亚洲综合网在线| 综合色天天| 97碰在线| 五月婷婷啪啪啪| 天天色天天操天天射| 在线免费观看激情视频| 中文人妻主播久久| 思思热在线视频精品| 日本综合久久| 欧美狠狠色| 性爱七区| 激情网第四色| 婷婷性爱网| 五月天激情小说欧美激情| 91婷婷色 | 久久久91| 色综久久久| 五月综合色播播丁香婷婷| 北条麻妃九九九国产精品视频| 五月色婷婷亚洲 | 无码人妻激情| 日熟女| 波多野结衣AV无码Porn| 五月婷婷激情综合| 亭亭丁香97| 婷婷成人五月天成人文学小说| 国产99久久久国产精品免费看| 色婷婷影院| 99热精品在线| 激情五月婷婷| 婷婷午夜| 日韩av干| 欧美日韩婷婷五月天| 夜夜综合色| 99热超| 婷婷五月天综合久久| 婷婷五月中文字幕| 大香蕉伊人丁香五月| 丁香婷婷色五月合集| 丁香五月激情啪啪综合| www99热| 99riAV成人在线视频| 色久五月天| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 精品成人在线| 九九精品在线观看视频6| 影音先锋综合网| 久操激情| 2014天天爽| 亚洲九N| 亚洲成人人人操| 五月丁香花激情啪啪网| 色爱综合网| 中文字幕av在线播放| 久久久区区一久久久久久| 久久婷婷超碰| 伊人婷婷五月天| 337p大胆噜噜噜噜噜91Av| 婷婷中文字幕| 激情五月天www| 中文字幕永久在线| 噜噜色com| 日韩啪| 八戒青柠影视剧在线观看| 五月天色婷婷网| 六月婷婷啪啪| 大地9中文在线观看免费高清| 中文字幕乱轮|