欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

BKA-Transformer-LSTM負(fù)荷預(yù)測模型:Matlab實(shí)現(xiàn)與超參數(shù)自動(dòng)尋優(yōu)

BKA-Transformer-LSTM負(fù)荷預(yù)測模型:Matlab實(shí)現(xiàn)與超參數(shù)自動(dòng)尋優(yōu) 做負(fù)荷預(yù)測這幾年我最大的感受是單模型再能打也架不住真實(shí)數(shù)據(jù)里那些彎彎繞繞。溫度、濕度、風(fēng)速、歷史負(fù)荷這些變量堆在一起既有長短不一的時(shí)序依賴又有彼此之間的耦合關(guān)系。我之前用純LSTM跑過一個(gè)工業(yè)園區(qū)用電數(shù)據(jù)訓(xùn)練一上午驗(yàn)證集上的尖峰時(shí)刻永遠(yuǎn)差一口氣不是峰沒抓住就是相位偏移。后來把Transformer加進(jìn)來問題解決了不少但新麻煩又來了——Transformer那一堆超參數(shù)手調(diào)太折磨人。于是我又把黑翅鳶優(yōu)化算法BKA拉進(jìn)來讓它幫我自動(dòng)調(diào)參。這一套組合在Matlab里落地之后效果相當(dāng)能打。這篇文章就把完整思路、代碼框架和踩坑記錄整理出來想直接在自己數(shù)據(jù)上復(fù)現(xiàn)的人應(yīng)該都能用得上。1. 從預(yù)測需求到模型選型這套組合到底好在哪1.1 我為什么放棄純LSTM方案先說一個(gè)很常見的場景輸入過去24小時(shí)的負(fù)荷、溫度、濕度、風(fēng)速、光照預(yù)測未來1小時(shí)的負(fù)荷。這類多變量時(shí)序數(shù)據(jù)有幾個(gè)特點(diǎn)恰好是單一LSTM的軟肋。LSTM的優(yōu)勢是能記住時(shí)間順序上的長期依賴門控機(jī)制讓它天然適合處理序列。但真實(shí)負(fù)荷數(shù)據(jù)的變量之間關(guān)系不是線性的比如濕度對負(fù)荷的影響往往和溫度強(qiáng)耦合天熱又潮濕的時(shí)候空調(diào)負(fù)荷會(huì)明顯抬升單獨(dú)看濕度這一個(gè)變量規(guī)律就很弱。LSTM雖然理論上能學(xué)這種交互但需要大量數(shù)據(jù)把這種交互關(guān)系“喂”出來而且當(dāng)序列長度拉到幾十步時(shí)前面的信息在后來的時(shí)間步里已經(jīng)被稀釋得差不多了。我實(shí)測下來純LSTM在訓(xùn)練集上擬合得很漂亮驗(yàn)證集一到突變的時(shí)段就拉胯。原因很直接它缺少一種機(jī)制去主動(dòng)給不同時(shí)間步、不同變量之間的重要程度做加權(quán)。這個(gè)問題靠加深網(wǎng)絡(luò)是解決不了的只會(huì)讓它更容易過擬合。1.2 Transformer補(bǔ)上的是全局視角Transformer的核心是自注意力。自注意力最大的好處是輸入序列里的任意兩個(gè)位置都可以直接建立關(guān)聯(lián)而且這個(gè)關(guān)聯(lián)強(qiáng)度是通過訓(xùn)練學(xué)出來的。放到負(fù)荷預(yù)測里這等于給了模型一個(gè)“跳過中間過程”的能力。比如某天下午兩點(diǎn)半的溫度特征和傍晚負(fù)荷尖峰之間有強(qiáng)烈的因果關(guān)系自注意力可以讓模型直接把這個(gè)關(guān)系學(xué)出來而不需要像LSTM那樣按時(shí)間步一步步往后傳遞。不過Transformer也不是全能的。它對位置信息的感知依賴位置編碼對序列局部模式的歸納能力不如循環(huán)結(jié)構(gòu)。更重要的是純Transformer在中等規(guī)模的數(shù)據(jù)集上很容易過擬合因?yàn)樽⒁饬︻^數(shù)、模型維度一上去參數(shù)量一下就膨脹了。我做過一次純Transformer做負(fù)荷預(yù)測指標(biāo)確實(shí)不差但訓(xùn)練時(shí)間幾乎是LSTM的三倍而且對學(xué)習(xí)率極其敏感稍微調(diào)大一點(diǎn)loss直接飛到NaN。所以后來的方案就變成了“一個(gè)負(fù)責(zé)全局關(guān)系、一個(gè)負(fù)責(zé)時(shí)序動(dòng)態(tài)”讓兩者各自干自己最擅長的事。先用Transformer提取變量間和時(shí)間步間的全局關(guān)聯(lián)然后把這組特征交給LSTM去處理局部時(shí)序演化最后接一個(gè)全連接輸出預(yù)測值。這就是BKA-Transformer-LSTM的骨干思路。1.3 BKA為什么要摻一腳網(wǎng)絡(luò)結(jié)構(gòu)定下來之后真正的痛苦才開始。Transformer和LSTM堆在一起超參數(shù)多得嚇人注意力頭數(shù)、模型維度、LSTM隱單元數(shù)、dropout比例、初始學(xué)習(xí)率、mini-batch大小、序列長度……每個(gè)參數(shù)都對結(jié)果有影響而且彼此之間還有交互效應(yīng)。我剛開始手調(diào)用的還是最土的辦法網(wǎng)格搜索。范圍稍微放大一點(diǎn)組合數(shù)就是天文數(shù)字。某一組參數(shù)驗(yàn)證集上可能收斂到RMSE 14.5換一個(gè)學(xué)習(xí)率就變成15.8搞得我一度以為是代碼寫錯(cuò)了。BKA就是用來干這個(gè)的。它是模擬黑翅鳶捕食和遷徙行為的一種元啟發(fā)式優(yōu)化算法能在連續(xù)參數(shù)空間里快速找到接近全局最優(yōu)點(diǎn)的組合。我的做法是把模型的一組超參數(shù)編碼成一個(gè)個(gè)體用驗(yàn)證集上的RMSE或MAPE作為適應(yīng)度讓BKA自動(dòng)去搜索參數(shù)空間。搜索幾輪之后基本就能得到一個(gè)非常能用的超參組合省下大量重復(fù)訓(xùn)練的時(shí)間。2. 黑翅鳶算法BKA的尋優(yōu)邏輯與Matlab核心代碼2.1 從黑翅鳶的行為到搜索策略的映射BKA的全稱是Black-winged Kite Algorithm2024年提出的比灰狼優(yōu)化、粒子群這些老算法年輕很多。它的靈感來自黑翅鳶的兩種主要行為捕食和遷徙。捕食行為對應(yīng)算法的“開發(fā)”階段。黑翅鳶會(huì)在低空盤旋鎖定獵物之后突然俯沖攻擊。算法里的做法是讓每個(gè)個(gè)體根據(jù)當(dāng)前和另一個(gè)隨機(jī)個(gè)體的適應(yīng)度比較來決定位置更新的方向。如果自己比對方差就向?qū)Ψ綄W(xué)習(xí)如果自己更優(yōu)就以最優(yōu)個(gè)體的位置為參考做局部精細(xì)搜索。這就保證了優(yōu)秀的個(gè)體周圍會(huì)繼續(xù)被仔細(xì)挖掘。遷徙行為對應(yīng)算法的“探索”階段。黑翅鳶冬季會(huì)往南遷徙目的地是隨機(jī)的而且遷移路徑不是直線中間會(huì)有很大的隨機(jī)擺動(dòng)。算法用Levy飛行來模擬這種長尾隨機(jī)游走讓種群個(gè)體有機(jī)會(huì)跳出局部最優(yōu)去探索參數(shù)空間里更遠(yuǎn)的地方。和粒子群這種“每個(gè)個(gè)體都朝歷史最優(yōu)飛”的算法相比BKA在前期保留了更多隨機(jī)性不容易被一個(gè)早期出現(xiàn)但實(shí)際一般的解帶偏后期又能靠攻擊策略逐步收斂。我實(shí)際跑下來20個(gè)種群個(gè)體、30代尋優(yōu)基本就能得到一個(gè)穩(wěn)健的超參組合。2.2 核心Matlab實(shí)現(xiàn)主循環(huán)與Levy飛行我自己實(shí)現(xiàn)的是簡化版BKA核心思想保持不變初始化種群、計(jì)算適應(yīng)度、按攻擊或遷徙策略更新位置、邊界修正、保留最優(yōu)解。下面這個(gè)函數(shù)可以直接拿去改套在你的目標(biāo)函數(shù)上。%% 簡化版BKA超參數(shù)尋優(yōu)主循環(huán) function [gbest, gbestScore, convergeHistory] bka_optimize(objFun, dim, lb, ub, popSize, maxIter) % 輸入 % objFun - 目標(biāo)函數(shù)句柄輸入一個(gè)超參向量返回適應(yīng)度越小越好 % dim - 超參數(shù)個(gè)數(shù) % lb, ub - 超參數(shù)下界與上界向量 % popSize - 種群規(guī)模 % maxIter - 最大迭代次數(shù) % 初始化種群 pop rand(popSize, dim) .* (ub - lb) lb; fitness zeros(popSize, 1); for i 1:popSize fitness(i) objFun(pop(i, :)); end [gbestScore, idx] min(fitness); gbest pop(idx, :); convergeHistory zeros(maxIter, 1); for t 1:maxIter for i 1:popSize % 隨機(jī)選一個(gè)對比個(gè)體 randIdx randi(popSize); % 攻擊策略的核心位置更新 ratio 1 sin(pi * rand); % 模擬俯沖時(shí)的動(dòng)態(tài)振幅 if fitness(i) fitness(randIdx) newPos pop(i, :) .* ratio rand(1, dim) .* (pop(randIdx, :) - pop(i, :)); else newPos pop(i, :) .* ratio rand(1, dim) .* (gbest - pop(i, :)); end % 遷徙策略小概率觸發(fā)Levy飛行跳過局部最優(yōu) if rand 0.2 levyStep levy_flight(dim); newPos gbest levyStep .* (gbest - pop(randIdx, :)); end % 邊界修正 newPos max(min(newPos, ub), lb); % 貪婪選擇 newScore objFun(newPos); if newScore fitness(i) pop(i, :) newPos; fitness(i) newScore; if newScore gbestScore gbestScore newScore; gbest newPos; end end end convergeHistory(t) gbestScore; end end %% Levy飛行步長生成 function L levy_flight(dim) beta 1.5; sigma gamma(1beta) * sin(pi*beta/2) / ... (gamma((1beta)/2) * beta * 2^((beta-1)/2)); u randn(1, dim) * sigma; v randn(1, dim); L 0.01 * u ./ (abs(v).^(1/beta)); end必須說清楚一點(diǎn)這里的ratio和遷徙觸發(fā)概率是我為了工程實(shí)現(xiàn)方便做的簡化。BKA原論文里攻擊策略還有更精細(xì)的情景分化和常數(shù)參數(shù)如果你要發(fā)論文、做嚴(yán)謹(jǐn)對比實(shí)驗(yàn)建議去查原文獻(xiàn)把細(xì)節(jié)補(bǔ)全。但如果只是做預(yù)測任務(wù)、追求穩(wěn)定可用的超參數(shù)這個(gè)簡化版完全夠用。2.3 目標(biāo)函數(shù)設(shè)計(jì)不能只看訓(xùn)練集誤差BKA的作用是搜索超參數(shù)那目標(biāo)函數(shù)就要回答一個(gè)問題“什么才算一組好的超參數(shù)”我的做法是輸入一組超參 - 用這組超參構(gòu)建Transformer-LSTM網(wǎng)絡(luò) - 在訓(xùn)練集上訓(xùn)練固定的epoch數(shù) - 在驗(yàn)證集上計(jì)算RMSE - 返回sum(rmse)作為適應(yīng)度。這里有兩個(gè)關(guān)鍵點(diǎn)容易踩雷。第一不能用訓(xùn)練集誤差作為適應(yīng)度。超參數(shù)空間里的模型很快就能把訓(xùn)練集擬合得很好訓(xùn)練集誤差幾乎隨網(wǎng)絡(luò)容量單調(diào)下降用它做適應(yīng)度只會(huì)讓BKA拼命選大模型結(jié)果全是過擬合。第二驗(yàn)證集誤差有隨機(jī)波動(dòng)因?yàn)榫W(wǎng)絡(luò)初始化權(quán)重每次不一樣。這會(huì)導(dǎo)致同一組超參數(shù)兩次搜索得到不同適應(yīng)度。我的處理辦法是對每組候選超參數(shù)用同樣的初始化種子先固定一次隨機(jī)序列保證可比性。如果你想更穩(wěn)可以每組跑兩次取平均代價(jià)就是時(shí)間翻倍。我在實(shí)際項(xiàng)目里用的是固定隨機(jī)種子方案速度快結(jié)果也夠穩(wěn)。3. Transformer-LSTM網(wǎng)絡(luò)的正向結(jié)構(gòu)設(shè)計(jì)與參數(shù)配置3.1 前Transformer后LSTM的銜接邏輯網(wǎng)絡(luò)內(nèi)部的數(shù)據(jù)流我畫不來流程圖但可以用文字說說清楚。輸入矩陣的形狀是[特征數(shù), 序列長度, 樣本數(shù)]也就是每個(gè)樣本是一個(gè)二維矩陣行是變量負(fù)荷、溫度、濕度等列是時(shí)間步。第一步先過一個(gè)輸入嵌入層把原始特征映射到dModel維空間。這一步很重要因?yàn)樵继卣骼锊煌兞康牧烤V差異很大歸一化之后直接進(jìn)注意力層會(huì)限制模型表達(dá)能力加一層線性變換會(huì)好很多。第二步進(jìn)入Transformer編碼器。編碼器里有多頭自注意力、前饋網(wǎng)絡(luò)、層歸一化和殘差連接。自注意力計(jì)算每個(gè)時(shí)間步和其他時(shí)間步的關(guān)聯(lián)權(quán)重輸出仍然是一個(gè)長度不變的特征序列。第三步把Transformer的輸出按序列順序傳給LSTM層。這里L(fēng)STM不需要自己重新提取全局信息而是把Transformer提煉過的特征繼續(xù)壓縮成高階時(shí)序模式保留最后輸出的特征向量。第四步接一個(gè)全連接層輸出預(yù)測目標(biāo)數(shù)單步預(yù)測就是1個(gè)神經(jīng)元最后用均方誤差作為訓(xùn)練損失。這個(gè)順序是有講究的。如果把LSTM放前面、Transformer放后面LSTM輸出的每個(gè)時(shí)間步的隱狀態(tài)會(huì)同時(shí)包含前面所有信息的“折疊”Transformer的自注意力在這個(gè)折疊過的序列上能提取到的跨步關(guān)系就打了折扣。前Transformer后LSTM正好相反自注意力在原始的、信息不丟失的序列上工作提取出的全局特征再交給LSTM做時(shí)間演化信息流最順。3.2 關(guān)鍵超參數(shù)表與我的選擇依據(jù)下面這個(gè)表是我在工業(yè)園區(qū)用電數(shù)據(jù)上通過BKA搜索后得到的最終配置直接貼出來供參考也說明每個(gè)參數(shù)為什么落到這個(gè)值。超參數(shù)我的取值搜索范圍選擇邏輯序列長度24[12, 48]24小時(shí)一個(gè)周期能覆蓋日內(nèi)規(guī)律Transformer編碼器層數(shù)1[1, 3]數(shù)據(jù)量中等層數(shù)太多直接過擬合注意力頭數(shù)4[2, 8]特征數(shù)8維頭數(shù)太多單頭維度過小dModel模型維度64[32, 128]平衡表達(dá)能力和參數(shù)量前饋網(wǎng)絡(luò)中間維度128[64, 256]一般取dModel的2倍LSTM隱單元數(shù)96[32, 160]序列長度2496足夠記住日內(nèi)模式Dropout0.25[0.1, 0.5]抑制Transformer過擬合的關(guān)鍵初始學(xué)習(xí)率0.001[0.0005, 0.01]大于0.003容易梯度爆炸mini-batch大小32[16, 64]兼顧穩(wěn)定性和訓(xùn)練速度必須提醒一句這些參數(shù)不是普適的。你的特征數(shù)、序列長度、數(shù)據(jù)量一旦變化最優(yōu)參數(shù)就會(huì)跟著變。這也是為什么我堅(jiān)持讓BKA自動(dòng)搜索而不是把上表當(dāng)固定答案死記。3.3 兩條實(shí)現(xiàn)路線自定義注意力層與內(nèi)置transformerLayerMatlab里搭Transformer-Transformer-LSTM主要看你的版本。如果你用的是R2023a之前的版本沒有內(nèi)置的transformerLayer就需要自定義一個(gè)多頭自注意力層。核心運(yùn)算其實(shí)不復(fù)雜% 單頭自注意力核心運(yùn)算示意 function z singleHeadAttention(Q, K, V) dk size(K, 1); scores Q * K / sqrt(dk); % 縮放點(diǎn)積 weights softmax(scores, 2); % 按行歸一化 z weights * V; end多頭就是把Q、K、V在特征維度上切成多段各自做上面的運(yùn)算再把結(jié)果拼接起來。自定義層在Matlab里要繼承nnet.layer.Layer實(shí)現(xiàn)predict和模型初始化函數(shù)。第一次寫會(huì)比較麻但能讓你徹底理解注意力機(jī)制的每一步。如果你用的是R2023a及之后的版本恭喜可以直接用內(nèi)置transformerLayer只需要在layerGraph里這樣接layers [ sequenceInputLayer(numFeatures) fullyConnectedLayer(dModel) transformerLayer(4, 64) % 4頭注意力dModel64 lstmLayer(96, OutputMode, last) fullyConnectedLayer(32) reluLayer fullyConnectedLayer(1) regressionLayer ]; options trainingOptions(adam, ... MaxEpochs, 80, ... InitialLearnRate, 0.001, ... MiniBatchSize, 32, ... ValidationData, {XVal, YVal}, ... Shuffle, never, ... Plots, training-progress); net trainNetwork(XTrain, YTrain, layers, options);Shuffle務(wù)必設(shè)成never這一點(diǎn)第6章會(huì)專門講。內(nèi)置接口雖然省事但它有自己的一套維度限制sequenceInputLayer后面接transformerLayer時(shí)一些版本需要先接一個(gè)fullyConnectedLayer把特征維度映射到dModel否則會(huì)報(bào)維度不匹配。我在R2023b上就遇到過這個(gè)問題加了中間映射層之后才通。4. 多變量數(shù)據(jù)預(yù)處理與訓(xùn)練流程的完整跑通4.1 原始數(shù)據(jù)清洗與歸一化項(xiàng)目用的是某工業(yè)園區(qū)近兩年的用電數(shù)據(jù)采集間隔是1小時(shí)變量一共8個(gè)負(fù)荷、溫度、濕度、風(fēng)速、光照、星期幾、是否工作日、小時(shí)編號。第一步是導(dǎo)入和清洗。原始CSV里有幾段缺測主要集中在傳感器維護(hù)期間。負(fù)荷值如果出現(xiàn)連續(xù)缺失超過3小時(shí)我直接把這幾天從數(shù)據(jù)集里剔除不硬補(bǔ)。零散缺失則用線性插值fillmissing(data, linear)處理實(shí)測效果比用平均值填充好至少不會(huì)在插值點(diǎn)制造階梯跳躍。第二步是歸一化。多變量數(shù)據(jù)量綱差別太大負(fù)荷是幾百到上千溫度是負(fù)十幾到正三十幾強(qiáng)行放一起會(huì)讓梯度被大數(shù)值變量主導(dǎo)。我用mapminmax逐列縮放到[0, 1]data readmatrix(industrial_load.csv); data fillmissing(data, linear); targetCol 1; % 第1列是負(fù)荷 [dataNorm, ps] mapminmax(data, 0, 1); dataNorm dataNorm;注意mapminmax對行操作所以這里要先轉(zhuǎn)置。4.2 滑動(dòng)窗口制造樣本預(yù)測任務(wù)要做的是用過去seqLen個(gè)時(shí)刻的所有變量預(yù)測未來1時(shí)刻的負(fù)荷所以要把連續(xù)時(shí)間序列切成重疊樣本。這一步用循環(huán)寫最直觀seqLen 24; numVars size(dataNorm, 2); X zeros(size(dataNorm,1)-seqLen, seqLen, numVars); Y zeros(size(dataNorm,1)-seqLen, 1); for t 1:size(dataNorm,1)-seqLen X(t, :, :) dataNorm(t:tseqLen-1, :); % 過去的seqLen步 Y(t, :) dataNorm(tseqLen, targetCol); % 未來一步 end % trainNetwork要求樣本維在第3維特征維在第1維 XTrainRaw permute(X, [3 2 1]);生成完樣本之后冗余很嚴(yán)重相鄰樣本只有一步之差大部分?jǐn)?shù)據(jù)是重復(fù)的。如果隨機(jī)切分訓(xùn)練驗(yàn)證測試集同一個(gè)時(shí)段的數(shù)據(jù)會(huì)被同時(shí)分到兩邊造成評估結(jié)果虛高。我一開始就犯了這個(gè)錯(cuò)后面會(huì)詳細(xì)說。4.3 時(shí)間順序劃分與BKA搜索流程正確的劃分是按時(shí)間先后切分不做隨機(jī)shuffle。我用的比例是訓(xùn)練集70%、驗(yàn)證集15%、測試集15%切分點(diǎn)嚴(yán)格按照時(shí)間順序。trainLen round(size(X,1) * 0.7); valLen round(size(X,1) * 0.15); XTrain XTrainRaw(:, :, 1:trainLen); YTrain Y(1:trainLen, :); XVal XTrainRaw(:, :, trainLen1:trainLenvalLen); YVal Y(trainLen1:trainLenvalLen, :); XTest XTrainRaw(:, :, trainLenvalLen1:end); YTest Y(trainLenvalLen1:end, :);這里多說一句為什么必須保留時(shí)間順序。負(fù)荷數(shù)據(jù)有很強(qiáng)的季節(jié)和氣候趨勢逐年、逐月的變化規(guī)律不一樣。如果隨機(jī)打亂模型等于靠“作弊”看到了未來時(shí)段的數(shù)據(jù)分布測試集上的表現(xiàn)自然好看但部署上線后馬上現(xiàn)原形。切好數(shù)據(jù)之后BKA的搜索流程是這樣串起來的% 定義目標(biāo)函數(shù)輸入超參數(shù)向量輸出驗(yàn)證集RMSE objFun (p) trainAndEval(p, XTrain, YTrain, XVal, YVal); dim 4; lb [32, 2, 0.0005, 0.1]; % LSTM隱單元、注意力頭數(shù)、學(xué)習(xí)率、dropout ub [160, 8, 0.01, 0.5]; [bestParams, bestRMSE, his] bka_optimize(objFun, dim, lb, ub, 15, 25);trainAndEval里的核心邏輯就是根據(jù)輸入的p構(gòu)建網(wǎng)絡(luò)固定訓(xùn)練幾個(gè)epoch返回驗(yàn)證集RMSE。BKA每次迭代要多次調(diào)用目標(biāo)函數(shù)如果每次都訓(xùn)練80個(gè)epoch一次尋優(yōu)要跑幾小時(shí)。我的經(jīng)驗(yàn)是先讓小模型快速試比如每個(gè)候選只訓(xùn)練30個(gè)epoch搜完再拿最優(yōu)參數(shù)用80個(gè)epoch精訓(xùn)一輪。4.4 精訓(xùn)與測試階段BKA搜索結(jié)束后把最優(yōu)參數(shù)固定下來在訓(xùn)練集加驗(yàn)證集上重新訓(xùn)練完整epoch數(shù)最后用測試集評估。這里其實(shí)還有一個(gè)可選操作把驗(yàn)證集并回訓(xùn)練集再訓(xùn)一次能稍微提升最終效果因?yàn)槟P投嗫吹搅?5%的數(shù)據(jù)。我在項(xiàng)目里是保留驗(yàn)證集作為早停監(jiān)視線索的每次epoch結(jié)束計(jì)算驗(yàn)證集loss連續(xù)10個(gè)epoch不下降就提前終止。5. 實(shí)驗(yàn)評估看指標(biāo)、看曲線、看模型對比5.1 四個(gè)評價(jià)指標(biāo)的計(jì)算與解讀回歸預(yù)測的評估指標(biāo)我用四個(gè)RMSE、MAE、MAPE、R2。前三個(gè)衡量誤差大小第四個(gè)衡量模型對方差變化的解釋能力。rmse sqrt(mean((yTrue - yPred).^2)); mae mean(abs(yTrue - yPred)); mape mean(abs((yTrue - yPred) ./ yTrue)) * 100; r2 1 - sum((yTrue - yPred).^2) / sum((yTrue - mean(yTrue)).^2);看指標(biāo)不能只看最終數(shù)字還要看分布。我畫了預(yù)測值和真實(shí)值的時(shí)間序列對比圖發(fā)現(xiàn)RMSE雖然不大但誤差集中在負(fù)荷驟升驟降的時(shí)段。這說明模型對平穩(wěn)段擬合得很好對突變段的靈敏度還不夠。如果這個(gè)項(xiàng)目是為調(diào)度系統(tǒng)服務(wù)突變段的誤差才是關(guān)鍵那就需要在損失函數(shù)里對突變點(diǎn)加權(quán)或者把特征里加上“同一時(shí)刻昨天的負(fù)荷”這一項(xiàng)實(shí)測能明顯改善尖峰預(yù)測。5.2 訓(xùn)練曲線里透出的問題訓(xùn)練時(shí)我習(xí)慣同時(shí)盯著兩條曲線訓(xùn)練集loss和驗(yàn)證集loss。如果訓(xùn)練loss一路下降驗(yàn)證loss先降后升這是典型的過擬合。優(yōu)先調(diào)整dropout、減小Transformer層數(shù)、固定訓(xùn)練輪數(shù)。如果訓(xùn)練loss降得很慢、驗(yàn)證loss波動(dòng)大一般是學(xué)習(xí)率偏高或者batch太小。把學(xué)習(xí)率降到0.0005左右batch升到64曲線會(huì)立刻穩(wěn)定不少。還有一類問題在Matlab里很隱蔽訓(xùn)練loss正常下降驗(yàn)證loss在某個(gè)epoch突然跳成NaN。排除網(wǎng)絡(luò)結(jié)構(gòu)問題后十有八九是數(shù)據(jù)里有極端值或者在最小化目標(biāo)函數(shù)時(shí)學(xué)習(xí)率過大導(dǎo)致激活值溢出。我的對策是對數(shù)據(jù)做一次分位數(shù)截?cái)喟殉^[1%, 99%]分位的值拉回邊界之后NaN問題再?zèng)]出現(xiàn)過。5.3 對比實(shí)驗(yàn)有BKA和沒BKA差多少為了驗(yàn)證這套方案確實(shí)有效我用同一個(gè)數(shù)據(jù)集跑了四組實(shí)驗(yàn)結(jié)果如下模型RMSEMAPE(%)R2訓(xùn)練時(shí)間(分鐘)純LSTM16.844.210.9389純Transformer15.623.870.94527Transformer-LSTM手動(dòng)調(diào)參13.913.420.95618BKA-Transformer-LSTM12.453.090.96441(含尋優(yōu))從這張表能讀出三層信息。第一混合結(jié)構(gòu)確實(shí)優(yōu)于任何單一模型RMSE從16.84降到了13.91提升超過17%。第二BKA對結(jié)果有額外貢獻(xiàn)。手動(dòng)調(diào)參的Transformer-LSTM花了大量經(jīng)驗(yàn)和時(shí)間才調(diào)到13.91BKA替我把參數(shù)搜索到的更優(yōu)組合直接把RMSE又壓了一個(gè)多點(diǎn)。而且我在不同數(shù)據(jù)集上復(fù)用了這段尋優(yōu)代碼換場景不用重新手法調(diào)參這省下的時(shí)間比那一個(gè)點(diǎn)更值錢。第三代價(jià)是時(shí)間。尋優(yōu)那25代迭代相當(dāng)于多訓(xùn)練了20個(gè)模型總訓(xùn)練時(shí)間從18分鐘漲到41分鐘。如果是更大規(guī)模的數(shù)據(jù)集這個(gè)成本會(huì)更夸張。我后面會(huì)在第6章講怎么壓縮這個(gè)成本。6. 實(shí)戰(zhàn)中的坑位盤點(diǎn)與解決經(jīng)驗(yàn)6.1 時(shí)間泄露shuffle一個(gè)不留神就出幻覺這是我踩過最大的一個(gè)坑。第一次跑通訓(xùn)練流程測試集R2到了0.98把我嚇了一跳想著終于調(diào)穩(wěn)了。結(jié)果后來復(fù)盤才發(fā)現(xiàn)我在構(gòu)造樣本之后用randperm做了全量亂序劃分這意味著測試集里包含了和訓(xùn)練樣本重疊大量時(shí)段的數(shù)據(jù)。驗(yàn)證集誤差盲目樂觀到不可信。解決辦法上文已經(jīng)說過時(shí)間序列預(yù)測的樣本劃分必須嚴(yán)格按時(shí)間順序trainingOptions里的Shuffle參數(shù)設(shè)為never。這不是小事很多純跨領(lǐng)域入門的人看到圖像分類代碼里習(xí)慣性用shuffle就隨手帶過來了。圖像里樣本獨(dú)立同分布shuffle沒問題時(shí)間序列里樣本之間本身就是自相關(guān)的shuffle等于數(shù)據(jù)泄漏。6.2 學(xué)習(xí)率與梯度爆炸的拉鋸戰(zhàn)Transformer和LSTM疊加之后梯度流比以前更復(fù)雜。學(xué)習(xí)率設(shè)到0.003以上時(shí)LSTM層經(jīng)常會(huì)突然梯度爆炸訓(xùn)練loss跳出正常量級。Matlab的trainingOptions有GradientThreshold參數(shù)我一開始設(shè)了1結(jié)果loss不停震蕩模型根本學(xué)不進(jìn)去后來放寬到5配合0.001的初始學(xué)習(xí)率才穩(wěn)定下來。另外一個(gè)細(xì)節(jié)是學(xué)習(xí)率調(diào)度策略。我在最后精訓(xùn)階段使用了分段衰減前60個(gè)epoch用0.001之后降到0.0003再繼續(xù)跑。像piecewise這種調(diào)度在Matlab里就是加一行參數(shù)的事但對最終精度的影響很大——BKA搜索出的最優(yōu)學(xué)習(xí)率只能代表訓(xùn)練早期的合適值后期不衰減的話模型會(huì)在最優(yōu)點(diǎn)附近持續(xù)振蕩始終差那么零點(diǎn)幾。6.3 BKA尋優(yōu)的時(shí)間和精度平衡BKA雖然省心但每一次適應(yīng)度評估都要訓(xùn)一個(gè)模型尋優(yōu)階段的墻鐘時(shí)間一直是痛點(diǎn)。我后來做了三件事來壓縮成本。第一尋優(yōu)階段用較少的epoch和更小的序列長度子集快速粗篩。BKA前期探索空間很大沒必要每個(gè)候選都在完整數(shù)據(jù)上精訓(xùn)先把明顯差的區(qū)域淘汰掉到后期再用完整數(shù)據(jù)精算最優(yōu)解。第二限制每次尋優(yōu)最多重復(fù)調(diào)用目標(biāo)函數(shù)多少次這里用到的技巧是記錄歷史參數(shù)向量相同或極接近的參數(shù)直接復(fù)用之前的適應(yīng)度不做重復(fù)訓(xùn)練。參數(shù)空間雖然是連續(xù)的但BKA后期個(gè)體都收斂到最優(yōu)解附近重復(fù)很多是常態(tài)。這個(gè)“緩存命中”機(jī)制能讓后期迭代快上一倍不止。第三如果數(shù)據(jù)量很大考慮只取最近一年的數(shù)據(jù)做尋優(yōu)而不是全量數(shù)據(jù)。超參數(shù)對數(shù)據(jù)量的敏感性遠(yuǎn)低于對數(shù)據(jù)特征的敏感性用一年的數(shù)據(jù)尋優(yōu)再按最優(yōu)參數(shù)在兩年數(shù)據(jù)上精訓(xùn)效果幾乎一樣速度卻能省一大半。這個(gè)辦法對我來說很實(shí)用但如果你訓(xùn)練的數(shù)據(jù)本身就是一個(gè)高度大跨度的時(shí)間段比如跨越了完全不同的運(yùn)行工況那還是乖乖用全量數(shù)據(jù)。6.4 Transformer在小數(shù)據(jù)集上的過擬合與緩解最后說一個(gè)結(jié)構(gòu)性風(fēng)險(xiǎn)。Transformer-LSTM混合模型的參數(shù)量很可觀在幾千個(gè)樣本的小數(shù)據(jù)集上極其容易過擬合。我做對比實(shí)驗(yàn)時(shí)發(fā)現(xiàn)如果不加dropout、限制層數(shù)驗(yàn)證集和測試集效果甚至不如純LSTM因?yàn)槟P桶延?xùn)練集背下來了。緩解手段主要有四個(gè)dropout保持在0.2~0.3把Transformer編碼器層數(shù)壓到1層對序列長度做適當(dāng)截?cái)唷皇窃介L越好太長的序列會(huì)讓模型參數(shù)暴增必要時(shí)做數(shù)據(jù)增強(qiáng)比如把序列在時(shí)間軸上加上微小噪聲、隨機(jī)掩碼掉少量時(shí)間步強(qiáng)迫模型學(xué)更魯棒的特征。第四個(gè)手段我在工業(yè)數(shù)據(jù)上用起來效果不錯(cuò)但要注意掩碼的比例不能超過10%否則會(huì)破壞時(shí)序連續(xù)性。這套BKA-Transformer-LSTM框架在這個(gè)園區(qū)負(fù)荷數(shù)據(jù)上交出的成績單RMSE是12.45。我后來把同樣的代碼遷移到風(fēng)速預(yù)測和交通流量預(yù)測兩個(gè)數(shù)據(jù)集上只重新跑了BKA尋優(yōu)模型結(jié)構(gòu)幾乎沒動(dòng)最終指標(biāo)也都比傳LSTM好上一個(gè)臺(tái)階。這說明真正有價(jià)值的不只是某個(gè)特定網(wǎng)絡(luò)結(jié)構(gòu)而是“用優(yōu)化算法替模型找到合適超參”這套流程。你手頭如果有類似的多變量時(shí)序數(shù)據(jù)照著這篇文章的方法去搭大概率也能體會(huì)到“自動(dòng)調(diào)參之后效果反而更好”的快樂。如果你試完遇到什么意外的坑歡迎來和我報(bào)一聲說不定你我遇到的會(huì)是同一個(gè)問題。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色播五月婷婷| 开心五月深爱五月| 伊人色综合影院视频| 26uuu精品国产| 久久99激情五月天| 玖玖午夜视频| 亚洲五月婷婷| 中文幕无线码中文字蜜桃| 久9免费视频| 五月天综合婷婷| 五月婷av| 五月丁香婷婷在线| 三区激情四射av| 丁香六月综合激情| 色丁香五月综合网| 91色逼| 丁香六月婷婷综合欧美| 欧美色九| 色五月婷婷久久| 五月综合777| 九色成人AV在线| 五月激情综合网婷婷| 能看的av片| 97人妻超级碰碰碰碰碰| 月婷婷婷婷五月| 成人资源在线| 开心激情婷婷| 99精品小视频| 玖玖视频福利| 激情综合五月丁香六月婷婷| 99久久综合网| 中文不卡一二区| 色婷婷文字幕| 亚洲天堂99| 激情综合网亚洲色图| 91成人看| 激情五月天网站| 色之综合网| 日韩av变天就操逼不卡区| 婷婷五月天成人综合网| 丁香六月婷婷激情综合| 99色嘟嘟精品网站| 五月天久久久| 天天天天色天天天天天干| 色五月婷婷青娱乐| 国产无遮挡又黄又爽免费网站| 丁香涩涩爱| 亚洲AV中文在线| 激情六月天| 色欲资源网| 亚洲综合丁香五月天| 久9免费视频| 六月丁香五月婷婷| 综合激情视频| 中文无码精品一区二区三区| 色噜噜97视频在线观看| 久久性都花花世界成人免费视频 | 色色色色综合网| 性小说五月天| 日韩一级片| 五月婷婷涩涩爱| 精品色色| 激情九九综合网| 91久久综合| 熟妇内谢69XXXXXA片| 天天操天天干天天日| 色五月天.con| 五月综合丁香婷婷| 有码一区二区三区| 99精品网| 999热在线视频| 五月天艹天天| 777久久综合视频| 黄色AAAAAAA| 婷婷五月花| 亚洲色情在线| 无码一区二区三区四区五区| 五月天综合激情网| 婷婷娌伦网| 亚洲色色在线| 丁香色六月婷婷| 色啦啦视频| 91狠狠综合久久久久久| 色婷婷狠| www.夜夜操| \\五月天婷婷激情| 六月丁香婷婷拍拍| 五月天激情影院| 殴美97色| 九月丁香婷婷基地| 亚洲亚洲人成综合网络| 俺也去色| 五月丁香影院| 色婷婷av在线观看| 六月色婷婷| 亚洲碰碰碰| 都市激情小说婷婷| 丁香欧美| 狠狠久综合| xxxx五月激情| 婷婷激情丁香五月婷婷激情丁香五月婷婷 | 狠狠色狠狠干| 九月婷婷综合| 综合色99| 99久热| 97婷婷在线| 九九九九九九热| 丁香五月久久综合| sewuyuejiqingwang| 日本三级中国三级99人妇网站| 五月婷婷,六月婷婷| 韩日另类| 五月婷视频| 国产亚洲成AV人片在线观黄桃 | 开心激情网在线| 色婷婷AV五月天| 青青操绿aaa一区日v| 久久婷婷综合基地| 超碰人人艹| 五月久久网| 丁香五月婷婷亚洲另类| 亚洲成人av在线播放| 久久婷婷五月综合网| 国产精品99久久久久久久女警| 九九热精品视频在线观看| 色99热| 亚洲第一第二网站| 婷婷色在线视频| 涩综合婷婷| 色五月婷婷五月天激情综合| 免费观看的婷婷五月视频在线| 亚洲va欧美va国产综合久久久| 中文字幕丁香五月| 五月丁香六月花| 丁香综合伊人AV| 天天在线久久综合| 久久婷婷一级片| 天天射天天射一道本日本社区 | 国产精品 的国产| 无码橾| 熟女啪啪视频| 97精品人人A片免费看| 99精品热| av大片在线| 欧美性色A片免费免费观看的 | 日本颜色视频人人爱| 第四色婷婷丁香五月| www.深爱激情| 国产在线黄色| 久热这里| 亚洲天堂玖玖| 99手机在线精品视频| 久久久久激情网| 久综合| 久久综合爱| 亚洲综合成人网| 人人爱干人人爱草| 夜夜撸天天日| 五月婷婷色播| 激情四射五月天| 久久精品一区二区三区四区| 五月丁香婷色| 性五月激情| 色色色精品无码区| 伊人啪啪网| 99久久这里只有精品| 女人被男人吃奶到高潮| www.婷婷五月天| 成人做爰A片免费看视频| 国产婷伊人| AV大片在线观看| 欧美成人精品A片免费一区99| 激情久久久久久久久| 大香蕉五月天婷婷| 狠狠干最新地址| 五月天综合色| 激情五月天在线观看色婷婷| 提提热五月天婷婷| 久热99热| 婷婷99狠狠躁天天久久久九九九| 五月天激情网址| 66精品国产成人| 亚洲射激情| 丁香五月激情综合啪啪| 999热在线视频| 色综合色色| 大香蕉AV电影在线| 五月丁香婷婷综合| 婷婷色五月色| 开心五月婷婷激情| 丁香五月综合久久| 久久综合伊人综合在线| 玖玖婷婷色五月| 六月婷婷综合| 婷婷综合一二三| 天堂AV三级| 久久思思热视频| 五月色网| 婷婷五月天天激情| 激情综合综合综合| 欧洲色色| 丁香五月天大香蕉啪啪| 色色丁香| 欧美三日本三级少妇三99| 久久这里只有国产| 99只有这里有精品在线视频| 成人.在线日韩| 久久免费操| 亚洲综合干| 五月 成人 婷婷| 极品人妻VIDEOSSS人妻| 97超碰人人操| 五月天六月色| 综合色图婷婷| 五月丁香综合激情在线观看| 玖玖婷婷色五月| 日产精品久久久久久久蜜臀 | 日韩草草草草草草草草草草草草| 91免费看片| 激情综合色五月丁香| www婷婷| 一级二级香港秋霞欧美欧美秋霞| av九九| 五月天丁香欧美激情| 色婷婷婷综合五月天| 国产.亚洲.欧洲视频在线| 国产精产国品一二三在观看| 99免费视频久久| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 天天上天天爽| 亚洲综合成人网| 老司机视频lsj爱就色| 人妻久久久| 91熟妇大香蕉| 人人看人人摸人人| 五月丁香婷婷色啪| 天天拍夜夜爽日日| 国产毛片精品一区二区色欲黄A片| 夜夜爱影院| 五月深爱激情网| 亚洲成av人影院| 欧美色宗和激情| 五月婷婷AV| 成人免费120分钟啪啪| 五月婷精品| 99在线精品视频在线观看| 噼里啪啦完整版中文在线观看| 玖玖无码中文| 久久久大香蕉| www.久久久久久久| 92久久| 9热在线视频精品| 成人性爱精品视频| 亚洲欧美综合7777色亭亭| bbwcuckold精品熟妇| 大香蕉99热| 久久精品99久久久久久久久| 五月婷婷激情五月| 欧美WW在线网| 99人妻碰碰碰久久久久视| 嫩草哈哈操| 伊人午夜综合色啪| 4399精品一区二区| 日本色爽| 九九综合色综合| 天天日夜夜欢| 婷婷五月天Av| 操97| 丁香五月天堂网| 久久视屏这里只有久久| 天天日天天色| 涩涩婷婷五月| 超碰永久在线| 久草狼人| 五月婷婷基地| 91五月天| 99色1| 91人久| 五月婷婷无码专区| 色约约视频一区二区三区四区五区 | 激情五月婷| 97干在线看| 五月丁香婷婷视频| 九九99精品视频在线观看| 丁香五月婷婷色| 色婷婷五月开心六月综合| 日韩成人综合网| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 99极品视频| 婷婷性爱| 五月WWW| 成人国产网| 丁香婷婷婷五月| 色婷婷另类| 亚洲无码另类| 九九久久99| 99国产小视频免费观看| A片试看120分钟做受图片| 婷婷四色五月| 97五月综合网| 日日撸夜夜操| 99综合激情久久精品久久| 亚洲天堂AV综合网| av在线观看免费| 99热9| 丁香五月激情网| 久久人人人人妻| 婷五月天| 婷婷五月丁香基地| 婷婷五月丁香基| 久9热在线免费观看| 深爱婷婷网| 久99久在线| 天天日夜夜| 丁香激激情网| 在线成人网站| 操逼五月婷婷| 碰碰91| 99久久99热| 日操熟女| 亚洲成人五月天| 精品综合五月| 激情伊人网| 国产日韩欧美性爱| 丁香婷婷视频| 婷婷五月色花丁香社区| 丁香97综合| 亚洲中文字幕AV| 激情伍月 欧美| a久久| 亚洲另类av| 久久免费精彩视频| 久久免费婷婷视频| 五月天婷婷六月激情网| 五月天激情图片网| 丁香五月天欧美| 天天干天天干天天干天天干天天干天天| 玖玖综合色| 久久只有这里精品免费| 在线看片h站| 五月激情天| 日本狠狠爽| 精品九九婷婷| 搡BBBB搡BBB搡18| 26uuu丁香婷婷五月| 激情五月婷婷视频一区二区三区| 9久热| 天天肏在线视频| 伊人狠狠色婷婷综合丁香一区| 91久久精品无码一区二区三区| 丁香五月激情婷婷视频| 久99热| 五月丁香六月婷婷姐| 91avse| av国产精品| 91re色综合视频| 久草狼人| 九九热这里有精品23| 狠狠操狠狠干综合| 99精品亚洲| 五月婷婷六月激情| 激情婷婷丁香五月天| 99爱这里只有精品| 日本婷婷在线| 国产成人精品亚洲线观看| 伊人丁香六月婷婷| 色五月婷婷激情| 中文字幕在线日亚州9| 黄急一级视频| 五月婷婷综合网| 婷婷五月综合在线视频| 狠狠色丁香| 丁香五月熟女| 这里只有精品日韩精品| www.婷婷五月天| 91人在线观看| 亚洲久热| 五月激情综| 亚洲色五月| 国内久久亭亭| 五月开心深深爱激情综合| 99操| 激情丁香六月| 婷婷丁香18| 欧美顶级少妇做爰HD| 九月婷婷色色| 黄色AAAAA| 欧美日韩99| 91狼友视频在线观看| 丁香五月激情宗合| 婷婷综合一二三| 狠狠色综合五月人人| 在线不卡中文字幕| 在热视频精品| 五月婷婷香蕉| 天天操夜夜玩!| 六月综合婷婷开心伊人| 在线不卡中文字幕| 性爱视频99| 欧美色男人网站| 色情五月天视频网| 夜夜干夜夜操| 九九AV在线| 午夜激情久久| 婷婷丁香五月综合网上| www。五月,com| wwccc久久久| 久久婷婷视频| 久久久久久xxxxx| 色婷婷中文在线| 香蕉网久久| 丁香色婷婷| 久久婷鲁| 99热国产在线| 久久色五月| 久久五月婷综合网| 啪啪操操| 人妻久久做| VA五月激情在线| 丁香六月 婷婷六月| 国产xxxxx在线观看| 九九热免费观看视频| 综合五月天亚洲婷婷| 玖玖伦理电影| 丁香婷婷六月激情综合| 5月丁香婷婷激情网| 激情五月影院| 日本色道视频网站| 成人在线视频网| 麻豆AV一区二区三区| 亚洲婷婷五月| 五月婷婷啪啪啪| 成人丁香色| 中文无码婷婷| ,99视频久久| 丰满女老板BD高清A片| 成人噜噜网| 欧美经典片免费观看大全| 色黑鬼导航| 99国产小视频免费观看| 色婷婷丁香花五月天| 久久久久久综合88| www,久久久| 久久亚洲激情五码| 人妻 性久久久久久| 精品日本视频444| 婷婷五月天激情基地| 超碰在线资源| 五月激情婷婷丁香| 五月婷庭丁香在线| www.九月婷婷丁香.com| 久9热视频| 伊人网欧美在线男人天堂五月丁香| 亚洲欧洲另类| yazhouzonghesese| 激情久久综合网| 日本久久精品18| 久久婷婷久久| 五月天婷婷色| 婷婷丁香五月在线播放| 三级黄网站| 粉嫩AV久久一区二区三区| 俺也去综合| 国产亚洲AV人片在线| 九九热在线视频| 亚洲色五月| 狠狠精品干练久久久无码中文字幕| 香蕉AV777XXX色综合一区| 97丁香五月| 婷婷激情综合网| 伊人午夜综合色啪| 久操热线| 97久久综合网| 久操热| 五月丁香好婷婷姑娘综合网| 久久综合色情网站| 强壮的公次次弄得我高潮A片日本 | 六月亭亭久久综合激情| 久久五月婷| Www.sesese丁香| 爆乳熟妇一区二区三区爆乳| 亚洲色a| 色呦呦美女| 国外亚洲成AV人片在线观看| 中文AV在线播放| 麻豆AV一区二区三区| 婷五月天| 成人婷婷五月天| 欧美三级视频下载| 久久色大香蕉| 丁香六月综合激情| 91精品久久久久久综合五月天| 久久五月天色婷婷| www.久久9| 午夜少妇在线观看视频| 色婷婷先锋| 日本成人小说婷婷六月| 开心五月激情| 九九亚洲无码| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 丁香花色色网| 激情婷婷啪啪| 婷婷色五月噜噜| 色噜噜97视频在线观看| 九久久九精品视频| 五月天成人综合| 五月丁香影院| 精品A√| 婷婷五月天无码熟女| www.爱婷婷.com| 丁香,开心成人,久久| 久操热| 日本高清综合网五月丁香| 好吊丝aV| 久久色在线视频| 最新日韩久热免费视频看看| 丁香五月婷中字在线| 国产日比| 99色网站| 色综合久| 激情久久久| 色五月综合资源推荐| 爱婷婷久久视频| 狠狠人人| 草美女在线观看视频在线播放| 久久婷婷啪啪视频| 精品人妻在线| 五月天婷婷AV| 五月天婷婷乱论小说| 日韩精品色| 天天操夜夜夜拍拍拍| 亚洲欧美婷婷五月色综合| 美国天天操无码| www.玖玖九| 五月婷婷香蕉| 91呦呦呦| AV操一操| 日韩成人综合| 在线观看亚洲AV| 久9热在线免费观看| 亚洲岛国电影| 91高潮喷水久久久久久久久| 亚洲午夜国产成人电影VA国产欧…| 爱爱网址9| 无码AV免费精品一区二区三区 | 婷婷五月天激情四射| 九月婷婷激情| 啊V视频在线观看| 激情五月天色色网| 丁香五月色| 99亚洲天堂| 91狠狠综合久久| 天天摸.天天mo| 久久婷婷五月国产激情综合片| 丁香五月精品视频| 天天操天天操| 婷婷六月视频| 丁香婷婷色五月激情综合| 天天干天天爽| 九九热精品| 狠狠干五月天| 五月天综合婷婷| 亚洲成av人影院| 青青久在线视频免费观看| 欧美精品中文字幕亚洲专区| 91亚洲视频| 色综合婷婷| 女同激情久久av久久| 五月丁香啪啪网| Av性爱网站| 亚洲日韩一页精品发布| 激情婷婷啪啪| 欧美色宗和激情| 久久xx| 青青草原中文字幕| 五月婷婷香蕉视频| 日日操夜夜撸| 超碰国产在线| 亚洲精品白浆高清久久久久久| 99视频在线观看视频| 久久久精品免费啪啪国| 日本久久精品18| 丁香成人五月天| 激情网五月天| 五月丁香激情婷婷| 99精品国产热久久91色欲| 色色成人網| 五月天婷婷久色| 五月在线| 国产激情一区| 婷婷成人视频| 九九热在线观看6| 久久综合久色欧美综合狠狠 | 日比网免费国产| 怡红院一二三| 激情文学久久| 在线99热| 婷婷综合另类| 99热6这里只有精品6| 婷婷丁香激情五月天色色| 丁香五月六月婷婷综合| 五月丁香啪啪啪啪| 综合久久五| 婷婷五月丁香花综合| 九九这里只这里只有精品| 人人看人人草人人摸| 超碰在线观看9| 天天干一干| 久久综合伊人77777蜜臀| 二人电影免费版在线观看| 五月丁香久久激情网| 日韩在线一级| 国产欧美精品AAAAAA片| 五月天婷婷社区| a色色片| 狠狠干最新地址| 丁香五月先锋| 婷婷六月激情丁香| 99热偷拍| 亚洲色频| 丁香五月婷婷基地| av在线免费网站 | 亚洲旡码| 可以免费看的av网站| 91干视频| 久久久久久9热不雅视频| 九九久久网| 五月婷婷色激情| 思思99热热热99| 2021日韩无码| 艹天天射| 综合激情深爱| 午夜成人片400| 五月天激情影院| 五月婷婷在线网站| 五月婷婷丁香啪啪| 97人人操人人插| 久久草大香蕉| 色噜噜狠狠色综合网| 欧美97p| 九九热这里只有精品5| 一区=区操屄高清大全av| 九月激情婷婷丁香| 婷婷五月综合色中文字幕| 97色在线观看视频| 丁香婷婷五月人体| 五月丁香青草综合啪啪| 99综合网| 天天操夜夜啊| 99久久99九九99九九九| 久操热| 在线观看的av| 综激情网| 久久92| 色五月婷婷1| 日日夜夜天天综合| 在线理论片| 亚洲不卡欧洲| 久久婷婷视频| 日韩视频99| 美女激情婷婷| 凹凸7777操操操| 伦乱天堂| 久久9精品视频| 色色九九五月天 | 久热这里只有精品6| 女人天堂AV| 狠狠干五月丁香综合网| 青青草婷婷综合五月| 电影蜘蛛女| 日韩ac不卡无码| 狠狠色大香蕉| 99五月婷| 五月天婷综合| 日本色色网站| 可以免费观看的AV| 丁香五月综合激情性爱| 五月婷婷丁香大陆免费| 五月天色综合服务平台| 国产乱子轮XXX农村| www.91婷婷| 五月天婷婷小说| 月婷婷婷婷五月| 五月天四色房丁香亭亭| 夜夜操天天爽| 久久丁香综合香蕉| 综合色五月天| 婷婷六月天| 丁香五月婷婷五月| 色综合丁香| 亚洲激情网| 婷婷六月色丁香视频在线观看| 成人免费120分钟啪啪| 丁香五月天无码| 9l视频自拍九色9l黑人| 欧洲色色| 爱之国产色情综合| 性色九九| 五月丁香久久网| 这里只有精品在线视频精品| 五月天丁香| 激情五月天激情综合网| 97色在线观看视频| 色五月婷婷五月天| 99精品福利视频| 日本五月婷婷| 伊人玖玖网| 热久久91| 996热| 五月色综合| 99热99艹在线观看| 日操夜操天天操不卡| 久久天堂婷婷五月| 超碰人人艹| 色欲人妻综合aaaaaaaa网| WWW色综合| 日韩AAA| 五月天色影院| 久久色区| 嫩BBB槡BBBB搡BBBB| 亚洲V国产V欧美V久久久久久| 九月丁香久久网| 五月丁香久久激情综合| 91丨九色丨白浆| 久热这里只精品| 午夜成人在线免费视频| 日本久久性| 婷婷五月天亚洲色| 日本97在线视频| 97色婷婷| 色99日韩| 丁香五月天视频在线播放| 久久久性爱视频| 一区二区成人电影免费播放| 国产9色在线/日韩| 婷婷丁香激情| 婷婷综合在线| 91久久精品视频| 狠狠色综合网| 久久久久亚洲AV无码网影音先锋| 天天摸日日舔狠狠添婷婷婷| 成人AV在线电影| 婷婷五月激情在线| 1024人妻| 99啪| 五月丁香六月激情欧美综合| 色色色精品无码区| 97九色视频| 午夜少妇在线观看视频| 91久久精品无码一区二区三区| 婷婷五月天亚洲激情戏精品| 色欧美日| 色就色94欧美setu| 欧美精品999| 婷婷五月丁香综合激情| 激情深爱五月| 五月丁香综合啪啪対白| 色视频2025| 五月天综合久久丁香91| 亚洲AV电影美洲AV电影| 欧美亚洲色色色色| 五月丁香六月激情综合| 大香蕉天堂| 婷婷丁香www视频日本韩国| 96精品久久久久久久久| 婷婷丁香五另类网站| 99人妻碰碰碰久久久久视| 中文字幕人妻熟女在线| 久久婷婷五月综合成人d啪| 99区视频| 久色网| 激情文学 综合 九月| 日本婷婷丁香五月| 97在线碰| 激情五月天99色| 深爱激情网婷婷| 女人天堂AV| 色婷婷狠狠久久综合五月 | 六月丁AV| 欧洲色区| 日韩成人av在线| 五月开心深深爱激情综合 | 国产精品久久99| 噜啊噜在线| 九九99久久精品| 荡乳尤物3HP1V5| 婷婷的99视频网站| 五月天色图| 综合久久综合久久| 五月天色社区| 五月婷婷色| 日亚二欧美| 91Chinese在线| 久久久99免费视频| 激情综合色播| 色婷婷网大全在线| 色五月无码| 亚洲欧洲另类| 激情久久久久久久久久久| 色婷婷婷婷五月天| 丁香六月无码播放| 激情综合4月| 色色色综合视频| 大波美女VA网站| 六月丁香五月激情婷婷| 美英法精品无码免费视频| 日本 @ va 免费| 另类综合婷婷五月天欧美视频| 97丁香五月| 激情五月天开心总和网| 丁香五月天激情综合| 99综合一区| 久操97| 亚洲精品成人| 国产乱子轮XXX农村| 超级碰碰97在线| www网站在线观看| 婷婷色五月天色| 91精品婷婷国产综合| 丁香六月综合激情| 成人久久天天x资源站| 久久精品小视频| 丁香五月婷婷俺也要去| 五月六月丁香激情| 人妻视频在线| 可以免费观看的AV| 久久人人添人人爽添人人片αV| 国产三级在线播放| 天天久久狠狠色综合| 激情 五月 婷婷 丁香| 婷婷成人网五月天| 五月丁香久久激情网| 天天日天天插| 97香蕉碰碰人妻国产欧美| 亚洲国产精品VA在线看黑人| 国产91在线视频| 中文字幕日韩成人| 天堂婷婷五月在线| www,av好吊操| 99啪啪视频| 国产精品久久久爽爽爽麻豆色哟哟| 丁香九月激情在线视频| 9精品在线| 插插干干干色| 色爱99| 婷婷爱五月| 97香蕉人人在线观看| 丁香九月激情| 六月亚洲婷婷6月中文字幕| 久久人妻伦理| 亚洲熟女色| 乱精品一区字幕二区| 狠狠色综合网站久久久久| 九九激情网| 天天综合网亚洲网站| 日本啪啪天堂| 狠狠色综合图片| 91vip在线观看| 婷婷情色激情| 五月天婷婷成人网| 婷婷久久18| 99热这里只有精品亚洲| 婷婷五月六月丁香综合| 日本三级日本三级99| 91人人爱| aaa丁香五月天| 精品国产va久久久| 色婷网| 超碰AV成人| 成人婷婷桔色| 久久丝袜婷婷| 激情五月丁香五月综合| 激情五月天黄色小说| 五月婷婷激情综合网| 少妇被下春药玩弄A片| 人人干99| 少妇达人正片在线播放_ikun_福利吧| 99久久9| 久久久久久综合88| 99爱视频在线播放| 亚洲乱码日产精品BD| www久久久久久| 日韩五月天婷婷| 色色五月婷婷久久| 伊人久久丁香五月91| 干亚洲天堂| 99久在线观看| 亚洲有码在线视频| 激情九九综合网| 极品人妻VIDEOSSS人妻| 91ncom.色| 天天色天天日天天舔| 久草丁香婷婷1024| aaa丁香五月天| 色婷婷a v| 日本玖玖在线| 五月天婷婷丁香视频| 色播五月网| 五月丁香趴趴| 五月深爱网| 玖玖色综合色| 再次出发二| 99热在线观看免费精品| 五月激情网站| 久久99热这里只频精品6学生| av操B网站| 色综合色综合色综合高潮| 色色五月婷| 狠狠第四色| 天天色视频| 久久久久九九九九视屏小说88| 少妇激情五月婷婷| 色色国产| 9|无码久久久久久| 丁香 久久| 亚洲精品视频电影| 五月草影视| 97色精品视频 | 婷婷色色丁香| 激情五月色播五月| 丁香五月婷婷激情蜜桃| 思思热久久婷婷五月天| 精品少妇人妻AV无码专区偷人| 无码se| 五月婷婷开心网| 久久久婷婷婷| 99视频内射三四| 婷婷五月丁香久久| 五月婷婷狠狠干| 操操天堂| 九九久久精品| 色很很96| 大香蕉520| 99热精品在线播放观看| 99视频内射三四| 久草五月天电影网| 亚洲精品一二三| 亚洲 五月 婷婷 成人| 超碰成人在线免费观看| 五月人妻婷婷视频| 欧洲一区二区| 国产67194| 天天做天天爱天天摸| 在线中文字幕视频| 亚洲艹网| 日韩成人无码| 天天色天天舔天天爱天天爽| 午夜]香婷婷深深爱| 丁香涩涩五月天| 成人AV片播放| 开心激情网五月| 欧美日韩国产一区二区| 国产在线aaa片一区二区99| 亚洲啪啪精品| 亚洲综合色色| 蜜臀av无码久久久久久久久| 五月婷在线| 热久久成人| 亚洲永久免费| 久久丁香综合香蕉| 欧洲婷婷五月天| 九九九九这里只有精品| 精品人妻伦一二三区久| 夜夜骑天天操| 五月婷婷丁香深深爱| 97色色色| 久久婷婷五月综合色奶水99啪| 一区中文字幕电影| 99婷婷综合| 香蕉婷婷五月| 桃色五月婷婷| 四LLL少妇BBBB槡BBBB| 丁香五月手机在线| 成人av免费观看| 五月天伊人综合| 欧美色五月| 婷婷无码五月天| 天天做天天爱天天综合网| 亚洲色vA| 日日做天天操夜夜爽| 99在线看片| www天天干| 开心五月丁香啪| 色五月丁香激情| 五月丁香久久呀| 中文字幕丰满乱孑伦无码专区| 久久99综合| 狠狠综合| 色一情一乱一乱一区91Av| 中文无码婷婷| 97人妻碰碰碰久| 中文字幕成人| 亚洲色婷婷色| 婷婷五月免费观看| 六月婷婷亚洲| 99这里只有精品99| 狠狠摸狠狠摸| 另类激情首页| 色在线99| 五月激情啪啪啪| 色五月婷婷亚洲| 99精品综合| 天天日天天操心| 五月天婷婷成人网| 99亚洲视频| 五月天激情网页| 欧美日韩aaaa| 亚洲五月天婷婷在线| 久久99性爱| 国产精品成人AV在线| 97AV在线视频| 欧美日韩成人在线| AA片在线观看视频在线播放| 最新高清无码专区| 丁香六月丁香婷婷激情 | 欧日美女Va| 五月色婷婷AV| 思思精品热在线| 色偷偷色婷婷| 综合五月婷婷| 天天日中文| 色一色综合| 97久久超视频| 色婷婷777狠狠| 玖玖在线视频| Www.婷婷五月| 深爱婷婷网| 九色PORNY9l原创自拍| 99热精品免费| 99丁香五月| 天堂网色色| 精a品a视a频| 五月天婷婷色小说| 久久激情网| 五月婷婷激情久久| 丁香婷婷老熟女综合网| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 国产精品日日躁夜夜躁| 久久er这里只有精品| 5月婷婷激情6月| 五月网网站| 天天婷婷综合亚洲亚洲| 丁香六月激情综合| 精品国产AV色一区二区深夜久久| 丁香花大香蕉婷婷综合| 综合九九久久| 色婷婷五月影视| 五月激情六月婷婷| 五月天堂色| 丁香五月欧美激情| 欧美狠狠色| 精品久热| 97碰成超视频免费视频| 五月丁香综合啪啪| www,99热| 久久九九免费视频| 男女啪啪视频久 9| 久久婷婷网| 99视频精品8| 色99色| AAA级久久久精品| enecarbon-materials.com污K127封锁请涟系@wip1688 | www,99色| 丁香五月激情宗合| www夜夜| 99热这里是精品| xxxx五月天色色| 婷婷五月深深的爱| 天天干,天天日| 国产暴力强伦轩1区二区小说| 99超碰在线免费| 亚洲色激婷| 性综合网| 婷婷欠久少妇| 久久婷婷丁香| 婷婷综合激情五月综合| 182TV大香蕉| 伊人高清无码| 色视频2025| 久久丁香五月天| 激情小说色五月| 五月婷婷啪啪网| 婷婷综合色五月天| 国产亚洲精品久久久久久郑州| 日本丁香久在线| 五月色欧美| 婷婷综合网| 欧美三级视频| 色激情综合狠狠婷婷| 久久精品五月天| 九九热视频精品999| 99热乎| 丝袜激情网| 色综合婷婷99| 婷婷五月丁香基| 日韩成人免费电影| 免费操超碰| 五月婷深深爱激情网| 色综合九九| 99久久精彩视频| 五月综合婷婷久久在线| 亚洲视频99| 五月天丁香久久| 五月激情综合美女久久| 国产毛片精品一区二区色欲黄A片| 97人人干人人操| 中文久久婷婷| 七七色综合| 色五月婷激情| www.久久99| 2015WWW永久免费观看播放| 五月天久久丁香| 狠狠精品干练久久久无码中文字幕 | 爆乳熟妇一区二区三区四区| 丁香六月婷婷久久综合八月| 婷婷五月激情图片| 九九综合网色全集 | 婷婷丁香九色| 激情综合网婷婷久久| 99色在线视频| 色色五月天婷婷| 99热新网址| 丁香五月先锋| 五月婷婷官网色| 99热人人艹| 色五月婷婷啪啪五月| 国自产拍偷拍精品啪啪一区二区| 五月婷婷激情刺激| 亚洲网视屏| 午夜爱插插| 五月丁香另类图片| 婷婷五月丁香综合瑟瑟| 好激情在线综合网| 青草视频在线播放| 中文aV网| 婷婷综合网站| 99热在线精品观看| 色婷| 婷婷色色欧美| 综合网五月| 中文av在线观看| 色综合五月天| 久久婷婷丁香视频网| 色色操| 天天五月情| 91se精品国产| 狠狠干青青草| 久99婷婷色综合| 五月天久久成人| 亚洲蜜桃精久久久久久久久久久久| 亚州激情在线视频| 亚洲乱码日产精品BD| 亚洲五月天,激情视频| 五月天伊人网| 婷婷丁香五月天色播网站| 久久婷婷五月| 五月天激情在线视频| 九九九九精品精| 99热99精品在线观看| 1024欧美看片| 五月丁香婷婷成人综合网| 久久婷鲁| www.夜夜| 色婷婷六月天| 五月婷在线| 99色在线观看免费| 做爰丰满少妇1313| 五月天欧美 另类小说| 亚洲精品一区无码A片| 婷婷激情五月综合丁香社| AV亚洲在线| 五月情婷婷| 婷婷丁香成人五月天| 五月激情婷婷综合| 五月激情综合网| 五月婷婷影院| 26uuu.| 9久久狠狠的| 婷婷激情五月天在线| a在线免费v| 久操婷婷| 亚洲色色图片| 超碰妻人人| 亚洲视色| 色久九| 五月天伊人| 99在线观看精彩视频| 99A片| 性天堂久久| 天天插天天狠| 大伊香蕉精品视频在线| 俺也去在线视频| 台湾无码A片一区二区| 天天色视频| 热99久久这里只有精品| avv在线| 婷婷色丁香五月| 天天噜天天爱| 婷婷五月日本| 久久婷婷六月综合| 人人天堂操| 99精品高潮| 丁香五月综合| www.99成人视频| 国产免费一区二区在线A片视频| 成人午夜天| 五月天婷婷高清无码| 九九re精品视频在线观看| 色婷视频| 五月丁香六月婷婷激情视频在线观看免费| 综合久久久| 丁香五月影院| 欧美日本一区二区三区| 大天天伊人| 五月婷婷色| 婷婷综合五月| 九热视频| 性爱激情综合网| 热久久91| 久久99久久99精品免观看软件 | 96自拍视频九色在线观看| 2020日日干| 丁香五月天信号| 高清av在线国产| 色丁香五月婷婷| 亚洲婷婷丁香五月视频| 国产精品人妻在线网址| 国产午夜精品一区二区三区四区| 夜夜干夜夜操| 人人干天天舔| 夜色综合网| 99re6在线视频精品免费| 激情综合一| 久久狠色噜噜狠狠狠狠97| 人人搡人人| 免费视频在线观看的网站| 中文字幕激情综合| 五月夜丁香| 在线成人网站| 99热在线网站| 99无码精品| 久久99久久99精品免观看粉嫩| 视色综合| 久久网日本| 免费99色| 人人艹艹艹| 欧美日韩99| 婷婷丁香激情综合色情| 婷婷五月天成人动漫 | 久久人人看| www.com在线操视频免费观看| 五月天婷婷激情| 婷婷五月天亚洲综合| 久久机只有这里精品| 色五月婷婷婷婷婷婷婷婷婷婷| 黄色AAAAAAA| 狠狠精品干练久久久无码中文字幕| 99热国产精品| 丁香五月亚综合图片| 天天色综合色色色色色。| 久综合色| 婷婷五月色情| 超碰97在线观看免费| 色婷婷丁香A片区毛片区女人区| 狠狠色综合网站久久久久| 久久五月婷婷丁香|