欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

GWO-BiLSTM時(shí)間序列預(yù)測:灰狼算法自動(dòng)搜索深度學(xué)習(xí)模型最優(yōu)超參數(shù)

GWO-BiLSTM時(shí)間序列預(yù)測:灰狼算法自動(dòng)搜索深度學(xué)習(xí)模型最優(yōu)超參數(shù) 預(yù)測不好做尤其是那種一眼看去有趨勢(shì)、有周期、還夾雜著噪聲的時(shí)間序列。我做過不少類似的項(xiàng)目從電力負(fù)荷到設(shè)備振動(dòng)信號(hào)踩過很多坑之后最后發(fā)現(xiàn)一條相對(duì)省心的路子用灰狼優(yōu)化算法GWO去自動(dòng)搜索雙向長短期記憶網(wǎng)絡(luò)BiLSTM的超參數(shù)。這個(gè)方向很適合那些想給時(shí)間序列預(yù)測模型提質(zhì)增效、但又不想在調(diào)參上耗費(fèi)太多精力的開發(fā)者。這篇文章會(huì)從前因后果、數(shù)據(jù)處理、算法實(shí)現(xiàn)、模型訓(xùn)練到常見坑位把整套方案講透希望能幫你少走幾周彎路。時(shí)間序列預(yù)測本身不新鮮但用對(duì)方法很重要。BiLSTM在序列建模上的優(yōu)勢(shì)GWO在參數(shù)尋優(yōu)上的優(yōu)勢(shì)組合起來就是一種很務(wù)實(shí)的技術(shù)方案。我接下來會(huì)先聊清楚為什么選這個(gè)組合再逐步拆開每部分的實(shí)現(xiàn)細(xì)節(jié)和實(shí)操經(jīng)驗(yàn)。1. 方案選型為什么是GWO-BiLSTM1.1 BiLSTM的價(jià)值不只多了一個(gè)反向通道很多人覺得BiLSTM就是把普通的LSTM倒過來再跑一遍這種理解不能算錯(cuò)但會(huì)忽略它的真正意義。普通的LSTM是單向的當(dāng)前時(shí)刻的輸出只依賴過去的輸入這在很多場景下確實(shí)夠用比如逐點(diǎn)預(yù)測溫度、預(yù)測下一幀語音。但你一旦面對(duì)完整的時(shí)間序列窗口比如用過去48小時(shí)的數(shù)據(jù)預(yù)測未來12小時(shí)窗口中間某個(gè)時(shí)刻的上下文其實(shí)是既包含過去、也包含未來的。舉一個(gè)我常跟人舉的例子讀一句“小明拿著傘出門因?yàn)橥饷嫦轮辍蹦憧吹健皞恪钡臅r(shí)候能猜到后面有“下雨”但真正確認(rèn)這個(gè)關(guān)系要等到句子末尾。BiLSTM就是在正向讀取的同時(shí)再從末尾反向讀取一遍把兩個(gè)方向的信息拼在一起這樣每個(gè)時(shí)間步都能同時(shí)看到前后文。在時(shí)間序列場景里很多規(guī)律不是嚴(yán)格單方向的比如天氣數(shù)據(jù)、空氣質(zhì)量數(shù)據(jù)、金融價(jià)格數(shù)據(jù)往往局部模式與前后都有相關(guān)性雙向結(jié)構(gòu)能把這種關(guān)聯(lián)抓得更完整。需要說明的是BiLSTM并不是所有場景都優(yōu)于單層LSTM。如果你的任務(wù)是典型的流式預(yù)測也就是只有過去沒有未來的時(shí)刻那就必須小心用BiLSTM時(shí)輸入窗口本身不能包含真實(shí)未來信息否則會(huì)直接導(dǎo)致數(shù)據(jù)泄漏。這也是后面我專門強(qiáng)調(diào)窗口切分的原因。在實(shí)際項(xiàng)目里BiLSTM更多用于“拿一段完整序列做編碼然后預(yù)測后半段”的場景而不是逐點(diǎn)滾動(dòng)式預(yù)測。從我個(gè)人的經(jīng)驗(yàn)看BiLSTM光結(jié)構(gòu)本身就比普通LSTM多出一倍參數(shù)量訓(xùn)練時(shí)間也接近翻倍。如果你數(shù)據(jù)量很小比如只有幾千條BiLSTM可能反而不穩(wěn)定。這個(gè)組合適合數(shù)據(jù)量中等偏上、窗口信息相關(guān)性較強(qiáng)的預(yù)測問題。1.2 灰狼優(yōu)化到底解決了什么問題BiLSTM需要調(diào)的超參數(shù)不算少隱藏層神經(jīng)元數(shù)、層數(shù)、學(xué)習(xí)率、批次大小、Dropout比例、序列窗口長度。這些參數(shù)互相影響網(wǎng)格搜索的代價(jià)高得離譜。我曾經(jīng)試過對(duì)一批參數(shù)做網(wǎng)格搜索每個(gè)組合訓(xùn)練一次要五分鐘幾百個(gè)組合下來幾天就沒影了。隨機(jī)搜索快一點(diǎn)但結(jié)果看臉經(jīng)常搜出一堆不穩(wěn)定的結(jié)果。GWO的優(yōu)勢(shì)在于它是一個(gè)結(jié)構(gòu)簡單但收斂性能很好的無梯度優(yōu)化算法。它是受灰狼群體捕獵行為啟發(fā)提出來的假設(shè)一匹狼的解代表一組候選超參數(shù)整個(gè)狼群按適應(yīng)度分成頭狼、第二和第三剩下的狼跟著這三匹頭狼不斷調(diào)整位置。真正寫代碼時(shí)會(huì)發(fā)現(xiàn)GWO的核心就是一個(gè)位置更新公式比基因算法實(shí)現(xiàn)起來還要簡單調(diào)節(jié)參數(shù)少不太容易出現(xiàn)那種“一換數(shù)據(jù)效果就崩了”的情況。為什么在時(shí)間序列預(yù)測里GWO比一些復(fù)雜算法更合適因?yàn)槌瑓?shù)搜索空間往往是連續(xù)的、低維的而且目標(biāo)函數(shù)的評(píng)估比較昂貴——每次評(píng)估都要真實(shí)訓(xùn)練一次BiLSTM。GWO用很少的評(píng)估次數(shù)就能逼近較優(yōu)區(qū)域在性能和時(shí)間之間平衡得較好。相比之下像貝葉斯優(yōu)化雖然更“聰明”但它需要擬合代理模型參數(shù)一旦多起來收斂并不一定快實(shí)現(xiàn)復(fù)雜度也高。我在實(shí)踐中發(fā)現(xiàn)GWO最常見的坑是把優(yōu)化目標(biāo)設(shè)成了訓(xùn)練集誤差。訓(xùn)練集誤差小不代表驗(yàn)證集誤差小超參數(shù)很容易被帶偏成過擬合狀態(tài)。正確的做法是用驗(yàn)證集上的損失或者評(píng)價(jià)指標(biāo)作為適應(yīng)度值這一點(diǎn)我下一節(jié)會(huì)詳細(xì)展開。2. 數(shù)據(jù)準(zhǔn)備與預(yù)處理比算法本身更決定成敗2.1 清洗、窗口切分與樣本量推算做時(shí)間序列預(yù)測第一步不是建模而是搞懂手頭的數(shù)據(jù)。先把數(shù)據(jù)里的缺失值處理掉如果是長時(shí)間連續(xù)缺失不要用線性插值硬填那會(huì)引入人造趨勢(shì)最好用前后同周期均值替代比如同一時(shí)刻前幾天的平均值如果是零星缺失線性插值或者前向填充問題不大。接著是異常值檢測。我發(fā)現(xiàn)一個(gè)很實(shí)用的辦法對(duì)原始序列做一階差分然后用3倍標(biāo)準(zhǔn)差篩掉差分值異常跳變的點(diǎn)。比起直接看原始值的箱線圖這種做法對(duì)趨勢(shì)型數(shù)據(jù)更友好不至于把正常的上升階段誤判為異常。處理完以后做一次平滑比如移動(dòng)平均能明顯減少模型對(duì)高頻抖動(dòng)的過擬合。接下來是最容易被新手忽略的窗口切分。時(shí)間序列預(yù)測不能像圖像分類那樣隨機(jī)抽樣必須按時(shí)間順序構(gòu)造樣本。比如窗口長度為24預(yù)測步長為6那前24個(gè)點(diǎn)作為輸入第25到30個(gè)點(diǎn)作為輸出然后窗口往后滑動(dòng)一個(gè)步長再取下一組?;暗拇笮≈苯佑绊懣捎脴颖玖?0000條數(shù)據(jù)窗口24預(yù)測步長6滑一步大約能生成9900多個(gè)樣本但如果窗口長96預(yù)測步長12滑一步就只有9800多個(gè)。窗口太長會(huì)導(dǎo)致樣本變少窗口太短又捕捉不到長周期規(guī)律這個(gè)平衡點(diǎn)需要多次試。我自己常用的估算方法是樣本數(shù)量大約等于總長 - 窗口 - 預(yù)測長度/ 滑步?;皆O(shè)成1最好但如果數(shù)據(jù)量特別大可以適當(dāng)設(shè)為預(yù)測步長減少冗余樣本。注意滑步變大后樣本相關(guān)性下降模型方差可能變大所以也別太激進(jìn)。構(gòu)造樣本時(shí)務(wù)必要防止窗口內(nèi)混入未來信息。你的輸入特征可以包含歷史同期的外部變量比如星期幾、節(jié)假日標(biāo)記這些是允許的因?yàn)樗鼈儾灰蕾囄磥?。但如果你引入了某個(gè)未來才知道的變量整條訓(xùn)練管線就廢了。2.2 歸一化與時(shí)間順序劃分歸一化在每個(gè)項(xiàng)目中都會(huì)遇到但很多人沒想清楚一個(gè)重要問題統(tǒng)計(jì)量到底從哪里算。最忌諱的做法是先對(duì)全部數(shù)據(jù)做歸一化再劃分訓(xùn)練集和測試集因?yàn)闅w一化的時(shí)候已經(jīng)“偷看”了測試集的均值和方差。正確做法是只對(duì)訓(xùn)練數(shù)據(jù)擬合歸一化器然后用同一組參數(shù)去變換驗(yàn)證集和測試集。代碼上很簡單以sklearn的MinMaxScaler為例訓(xùn)練集上用fit_transform驗(yàn)證集和測試集上只用transform。這樣測試集的分布信息不會(huì)提前泄露到訓(xùn)練階段。對(duì)時(shí)間序列來說這種區(qū)分不只是理論潔癖它是實(shí)打?qū)嵱绊戭A(yù)測精度的如果未來一段時(shí)間序列的整體均值發(fā)生了變化而你已經(jīng)用包含它的統(tǒng)計(jì)量做了歸一化那模型在真實(shí)部署時(shí)會(huì)對(duì)新數(shù)據(jù)分布措手不及。樣本劃分也必須按時(shí)間順序。常見比例是訓(xùn)練集:驗(yàn)證集:測試集 8:1:1或7:1.5:1.5具體看數(shù)據(jù)總量。關(guān)鍵是絕對(duì)不能采用隨機(jī)劃分或KFold交叉驗(yàn)證因?yàn)闀r(shí)間序列有時(shí)間先后邏輯隨機(jī)打亂等于是把未來搬到了過去模型會(huì)學(xué)到根本不可能的規(guī)律。我在項(xiàng)目里常被問“為什么不能在時(shí)間序列上用隨機(jī)劃分”答案很簡單一旦模型在訓(xùn)練時(shí)見過未來樣本它的驗(yàn)證表現(xiàn)就毫無意義上線后必然翻車。如果你的數(shù)據(jù)呈現(xiàn)明顯的年度周期比如用電負(fù)荷、氣溫那劃分邊界最好落在季節(jié)邊界附近確保測試集包含至少一個(gè)完整周期。不要簡單截?cái)喾駝t測試集可能只包含某一季度的數(shù)據(jù)評(píng)估結(jié)果會(huì)有偏差。3. GWO優(yōu)化BiLSTM的核心實(shí)現(xiàn)細(xì)節(jié)3.1 灰狼算法的數(shù)學(xué)邏輯和參數(shù)設(shè)定先把灰狼算法的核心邏輯捋一遍后面代碼就好寫了。GWO把狼群位置理解為解空間中的一個(gè)點(diǎn)也就是一組超參數(shù)。每匹狼的位置向量代表一組候選參數(shù)位置向量的每個(gè)維度就是一種超參數(shù)。狼群中適應(yīng)度最好的三匹狼分別記為頭狼、次頭狼和三頭狼其他狼根據(jù)這三匹狼的位置來更新自己的位置。更新公式大致是先算當(dāng)前狼與頭狼、次頭狼、三頭狼的距離再分別向三個(gè)方向移動(dòng)一步最后取平均。移動(dòng)步長由一個(gè)系數(shù)控制前期讓系數(shù)大于1狼群大步探索后期讓系數(shù)逐漸小于1狼群收縮到最優(yōu)解附近。還有一個(gè)隨機(jī)分量控制探索能力避免狼群太早抱團(tuán)。這些數(shù)學(xué)描述對(duì)應(yīng)到代碼里其實(shí)很克制核心函數(shù)不超過20行。關(guān)鍵參數(shù)就兩個(gè)狼群規(guī)模和迭代次數(shù)。狼群規(guī)模建議在20到40之間太少探索不充分太多訓(xùn)練次數(shù)成倍增加。迭代次數(shù)看目標(biāo)函數(shù)的耗時(shí)如果訓(xùn)練一個(gè)BiLSTM要一分鐘20次迭代配20匹狼就要6個(gè)多小時(shí)所以需要在時(shí)間預(yù)算內(nèi)設(shè)定。我在項(xiàng)目里通常先讓GWO跑15到20次迭代把候選狼群規(guī)??刂圃?5到20左右然后觀察適應(yīng)度曲線的收斂速度。如果曲線還明顯在下降說明迭代太早結(jié)束如果已經(jīng)平了說明再搜也不會(huì)更好可以提前收工。至于狼群位置向量的上下界就是每種超參數(shù)的搜索范圍這個(gè)范圍必須符合實(shí)際比如學(xué)習(xí)率設(shè)成1e-4到1e-2隱藏層神經(jīng)元設(shè)成32到256Dropout設(shè)成0到0.5。這里有一個(gè)很容易踩的坑GWO的坐標(biāo)更新天然會(huì)產(chǎn)生小數(shù)但隱藏層神經(jīng)元數(shù)和批次大小必須是正整數(shù)。解決辦法是編碼時(shí)保存連續(xù)值在傳給模型前做四舍五入取整。學(xué)習(xí)率這類參數(shù)則最好取對(duì)數(shù)尺度因?yàn)閷W(xué)習(xí)率在0.001和0.002之間的差別遠(yuǎn)大于0.01和0.011之間用原始尺度會(huì)讓小數(shù)值幾乎搜不到。實(shí)際編碼時(shí)可以對(duì)學(xué)習(xí)率做log10變換讓搜索空間從 -4 到 -2取回來再算出真實(shí)值。3.2 目標(biāo)函數(shù)設(shè)計(jì)用驗(yàn)證集誤差做適應(yīng)度GWO的適應(yīng)度函數(shù)是整套流程的地基。我踩過最大的坑就是最開始用訓(xùn)練集的均方誤差當(dāng)適應(yīng)度跑出來的超參數(shù)在測試集上表現(xiàn)很差后來才明白是過擬合問題。正確目標(biāo)函數(shù)應(yīng)當(dāng)評(píng)估一組超參數(shù)在驗(yàn)證集上的表現(xiàn)具體步驟是對(duì)每個(gè)候選超參數(shù)組合實(shí)例化一個(gè)BiLSTM模型在訓(xùn)練集上訓(xùn)練一定輪數(shù)然后計(jì)算驗(yàn)證集上的誤差將其作為適應(yīng)度值返回給GWO。但這里有個(gè)現(xiàn)實(shí)問題每匹狼都要訓(xùn)練一輪模型如果每次都訓(xùn)練到完全收斂時(shí)間開銷太大。我自己的做法是限制訓(xùn)練輪數(shù)比如固定最多訓(xùn)練30輪并用早停機(jī)制在驗(yàn)證損失連續(xù)5輪不下降時(shí)提前終止。這樣既保證了適應(yīng)度值的可比性又節(jié)約了時(shí)間。你也不用擔(dān)心訓(xùn)練輪數(shù)太少導(dǎo)致結(jié)果不公平因?yàn)樗泻蜻x解都接受同樣的預(yù)算GWO要比較的是“在同等計(jì)算資源下誰表現(xiàn)更好”這個(gè)前提是公平的。適應(yīng)度指標(biāo)我推薦用驗(yàn)證集上的平均絕對(duì)百分比誤差或均方根誤差。MAPE在數(shù)據(jù)沒有接近0的值時(shí)比較直觀但一旦真實(shí)值接近0百分比誤差會(huì)被放大得很離譜。RMSE對(duì)大的偏差更敏感適合誤差集中在少數(shù)點(diǎn)的場景。你也可以兩個(gè)都算出來存一個(gè)字典形式的適應(yīng)度值方便后續(xù)分析。目標(biāo)函數(shù)里還應(yīng)該把異常場景兜住。比如某組超參數(shù)下模型發(fā)散NaN遍地那這匹狼的適應(yīng)度就要設(shè)成極大值讓它被淘汰。我一般這樣判斷驗(yàn)證集上第一次出現(xiàn)NaN或Inf直接把損失賦值為一個(gè)特別大的常數(shù)比如1e6GWO會(huì)自然遠(yuǎn)離這個(gè)區(qū)域。給個(gè)簡單框架方便參考import numpy as np def fitness_function(params, train_loader, val_loader): lr 10 ** params[0] # 對(duì)數(shù)尺度還原 hidden int(round(params[1])) # 取整 dropout float(params[2]) model build_bilstm(hidden_sizehidden, dropoutdropout) optimizer torch.optim.Adam(model.parameters(), lrlr) early_stop_cnt 0 best_val_loss float(inf) for epoch in range(max_epochs): train_one_epoch(model, train_loader, optimizer) val_loss evaluate(model, val_loader) if np.isnan(val_loss) or np.isinf(val_loss): return 1e6 if val_loss best_val_loss: best_val_loss val_loss early_stop_cnt 0 else: early_stop_cnt 1 if early_stop_cnt 5: return best_val_loss return best_val_loss整體流程就是初始化狼群位置解碼超參訓(xùn)練模型返回誤差更新狼群位置重復(fù)迭代。這個(gè)閉環(huán)搭建完成之后剩下的事情就是等結(jié)果。4. BiLSTM模型的搭建與訓(xùn)練細(xì)節(jié)4.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)和參數(shù)選擇BiLSTM的網(wǎng)絡(luò)結(jié)構(gòu)其實(shí)不復(fù)雜核心是利用雙向循環(huán)層替代單向循環(huán)層。在PyTorch里L(fēng)STM層加上bidirectionalTrue輸出維度會(huì)自動(dòng)變成隱藏層神經(jīng)元數(shù)的兩倍。后續(xù)接全連接層時(shí)要注意維度的匹配。我一般設(shè)計(jì)成三到四層輸入層接BiLSTM后面接全連接層輸出層。BiLSTM層數(shù)在數(shù)據(jù)量不大時(shí)設(shè)1層就可以設(shè)2層以上參數(shù)量容易爆炸。每一層的輸出如果想保留全部時(shí)間步信息可以取最后一個(gè)時(shí)間步的輸出也可以對(duì)不同時(shí)間步做加權(quán)匯總。在時(shí)間序列預(yù)測里面最常用的是取最后一個(gè)時(shí)間步的隱狀態(tài)然后經(jīng)過幾個(gè)非線性變換層層壓縮到預(yù)測維度。有一個(gè)容易忽略的細(xì)節(jié)BiLSTM的隱藏層輸出不是直接拼接有些框架默認(rèn)會(huì)按時(shí)間步累加兩個(gè)方向的輸出有些是拼接。拼接保留的信息更完整但維度更高后續(xù)參數(shù)也更多。如果你不是為了刻意減少參數(shù)量建議用拼接而不是相加。相加在信息量上是有損失的你等于假設(shè)正反向信息可以線性疊加到同一個(gè)語義空間這個(gè)假設(shè)并不總是成立。Dropout放在循環(huán)層之間比放在輸出層效果更明顯。PyTorch的LSTM自帶dropout參數(shù)但它只對(duì)多層循環(huán)層的非最后一層生效單層LSTM即使設(shè)置了Dropout也等于沒設(shè)。要真正做正則化得在BiLSTM層和全連接層之間手動(dòng)插入Dropout層。這個(gè)細(xì)節(jié)很多人會(huì)忽視導(dǎo)致設(shè)了參數(shù)卻沒效果。網(wǎng)絡(luò)搭建示例import torch import torch.nn as nn class BiLSTMPredictor(nn.Module): def __init__(self, input_size, hidden_size, num_layers, dropout, output_size): super().__init__() self.lstm nn.LSTM( input_size, hidden_size, num_layers, batch_firstTrue, bidirectionalTrue, dropoutdropout if num_layers 1 else 0.0 ) self.dropout nn.Dropout(dropout) self.fc1 nn.Linear(hidden_size * 2, hidden_size) self.fc2 nn.Linear(hidden_size, output_size) def forward(self, x): out, _ self.lstm(x) # (batch, seq_len, hidden*2) out out[:, -1, :] # 取最后一個(gè)時(shí)間步 out self.dropout(torch.relu(out)) out self.fc2(self.fc1(out)) return out這種結(jié)構(gòu)適合多步預(yù)測時(shí)把輸出維度設(shè)成預(yù)測步長一次性輸出多步。需要提醒的是多步預(yù)測有兩種思路一種是一次性輸出未來多個(gè)步長另一種是滾動(dòng)預(yù)測——每次只預(yù)測一步再把它拼回輸入繼續(xù)預(yù)測。滾動(dòng)預(yù)測會(huì)累積誤差訓(xùn)練時(shí)可以用教師強(qiáng)制緩解但推理階段誤差仍會(huì)逐漸放大所以一次性輸出往往更穩(wěn)。4.2 訓(xùn)練過程管理學(xué)習(xí)率調(diào)度與早停BiLSTM訓(xùn)練過程中學(xué)習(xí)率怎么調(diào)度很關(guān)鍵。我的默認(rèn)設(shè)置是Adam優(yōu)化器加初始學(xué)習(xí)率0.001配合ReduceLROnPlateau調(diào)度器驗(yàn)證集損失連續(xù)5個(gè)epoch不下降就把學(xué)習(xí)率減半。這種做法的好處是前期大步走、后期小步磨能有效避免在損失曲面陡峭區(qū)域來回震蕩。早停幾乎是必須的。我在GWO目標(biāo)函數(shù)里已經(jīng)用了早停其實(shí)正式訓(xùn)練階段同樣需要用。注意早停要保存驗(yàn)證集損失最低時(shí)候的模型參數(shù)而不是訓(xùn)練過程最后一個(gè)epoch的參數(shù)。很多框架自帶checkpoint機(jī)制這里只需要比較驗(yàn)證損失碰到更低就保存一次。批次大小對(duì)訓(xùn)練穩(wěn)定性和目標(biāo)函數(shù)評(píng)估都有影響。64到128在大多數(shù)數(shù)據(jù)集上表現(xiàn)均衡太小比如16或8會(huì)讓訓(xùn)練不穩(wěn)定且耗時(shí)太大又可能讓模型收斂不徹底。在GWO搜索里批次大小如果也作為超參搜索建議用離散值集合比如[32, 64, 128]而不是連續(xù)搜索。因?yàn)檫B續(xù)搜索很難對(duì)離散參數(shù)保持穩(wěn)定還容易搜出非整數(shù)。還需要留意損失函數(shù)的選擇。時(shí)間序列回歸預(yù)測一般是MSE損失。但MSE對(duì)大誤差非常敏感如果序列里有尖峰模型會(huì)花很大精力擬合尖峰反而忽視整體趨勢(shì)。我習(xí)慣在MSE基礎(chǔ)上加一點(diǎn)MAE加權(quán)也就是Huber損失閾值設(shè)為1.0兼顧魯棒性和梯度穩(wěn)定性。如果你在意峰值預(yù)測精度那MSE可能更合適如果更在意整體走勢(shì)Huber損失會(huì)更穩(wěn)。訓(xùn)練日志也應(yīng)該認(rèn)真記。我每次跑實(shí)驗(yàn)都會(huì)把模型結(jié)構(gòu)參數(shù)、超參數(shù)、隨機(jī)種子、每個(gè)epoch的訓(xùn)練損失和驗(yàn)證損失記錄下來。這不是形式主義而是等結(jié)果不好的時(shí)候能快速定位到底是數(shù)據(jù)問題、超參問題還是模型結(jié)構(gòu)問題。我見過太多人跑完一組實(shí)驗(yàn)連用的什么批次大小都忘了。5. 實(shí)驗(yàn)對(duì)比、結(jié)果分析與踩坑記錄5.1 評(píng)價(jià)指標(biāo)與對(duì)比方案設(shè)計(jì)評(píng)估時(shí)間序列預(yù)測模型不能只靠一張預(yù)測曲線“看著像”。三個(gè)指標(biāo)基本夠用RMSE、MAE和MAPE。RMSE懲罰大誤差MAE反映平均誤差水平MAPE則給出百分比的直觀感受。前兩者有量綱具體數(shù)值受數(shù)據(jù)尺度影響很大所以同比比較才有意義MAPE相對(duì)直觀但真實(shí)值接近0的時(shí)候會(huì)失真要不要用需根據(jù)數(shù)據(jù)分布判斷。對(duì)比方案建議這樣安排固定同一份數(shù)據(jù)、同樣的滑窗大小和預(yù)測步長依次跑普通LSTM、BiLSTM、以及GWO優(yōu)化后的GWO-BiLSTM。普通LSTM和BiLSTM也要留出調(diào)參空間不能讓它們裸奔就得出“GWO更強(qiáng)”的結(jié)論因?yàn)楣叫詫?duì)結(jié)論的可信度影響很大。我用固定超參數(shù)訓(xùn)練普通LSTM再用GWO搜索同一組參數(shù)空間最后對(duì)比。從經(jīng)驗(yàn)來看在對(duì)周期和趨勢(shì)混合的數(shù)據(jù)上GWO-BiLSTM的性能通常優(yōu)于普通LSTM提升幅度大概在5%到15%之間但這個(gè)數(shù)字僅供參考如果你的數(shù)據(jù)本身就非常平穩(wěn)、線性深度模型的提升空間可能很小。除了數(shù)值指標(biāo)最好還看兩件事一是訓(xùn)練好的模型在多步預(yù)測時(shí)的誤差累積曲線看它預(yù)測到第幾步開始發(fā)散二是對(duì)異常區(qū)間的局部預(yù)測效果比如高峰時(shí)段、突變時(shí)段。只算平均指標(biāo)容易掩蓋局部失效尤其是時(shí)間序列里常常有重要的異常事件。另外GWO搜索結(jié)果不只是拿來用最好的那組還可以做敏感性分析看看最終狼群中適應(yīng)度排名前幾的解都落在哪些區(qū)域。如果前幾名的學(xué)習(xí)率都偏小說明學(xué)習(xí)率這個(gè)維度對(duì)結(jié)果影響大如果它們的Dropout分布很散說明Dropout不是當(dāng)前的主要瓶頸。這種分析能幫你判斷下一步優(yōu)化的重點(diǎn)。5.2 常見問題排查表與避坑經(jīng)驗(yàn)下面是我在實(shí)際項(xiàng)目中反復(fù)遇到并總結(jié)下來的一些問題和對(duì)應(yīng)處理方式直接看表就能省不少時(shí)間現(xiàn)象可能的根因處理辦法GWO迭代很久但適應(yīng)度下降緩慢搜索范圍設(shè)得太大根據(jù)經(jīng)驗(yàn)縮小范圍比如學(xué)習(xí)率限定在0.0001到0.01驗(yàn)證損失在某個(gè)解上為NaN學(xué)習(xí)率過大或模型發(fā)散在目標(biāo)函數(shù)里返回極大值讓GWO直接淘汰該解GWO-BiLSTM比普通LSTM還差數(shù)據(jù)量太小或序列太長導(dǎo)致有效樣本太少檢查樣本量考慮縮小窗口或改用單向LSTM預(yù)測曲線整體滯后一拍數(shù)據(jù)有強(qiáng)自相關(guān)且模型欠擬合增加隱藏層神經(jīng)元或嘗試多步輸出而非滾動(dòng)預(yù)測訓(xùn)練和驗(yàn)證差距極大過擬合增大Dropout減小模型容量增加早停測試集表現(xiàn)和驗(yàn)證集差距大數(shù)據(jù)分布漂移或劃分邊界不合理重新檢查劃分保證測試集覆蓋完整周期數(shù)據(jù)泄漏是時(shí)間序列預(yù)測里最隱蔽的坑。我單獨(dú)強(qiáng)調(diào)一次歸一化必須先對(duì)訓(xùn)練集fit再對(duì)驗(yàn)證集和測試集transform構(gòu)造特征時(shí)禁止使用窗口之外的未來信息劃分?jǐn)?shù)據(jù)集時(shí)禁止隨機(jī)打亂這些都是在代碼里很容易無意識(shí)犯下的錯(cuò)。一次項(xiàng)目中我就因?yàn)閳D省事先歸一化整份數(shù)據(jù)導(dǎo)致驗(yàn)證集分?jǐn)?shù)好看了換數(shù)據(jù)上線就露餡白白浪費(fèi)了一周時(shí)間。還有一個(gè)常見問題是GWO的隨機(jī)性導(dǎo)致結(jié)果不穩(wěn)定。同樣配置跑兩次一次效果很好一次很差。解決方案是設(shè)置固定隨機(jī)種子從NumPy到PyTorch都固定住跑多個(gè)隨機(jī)種子取平均也可以把GWO初始種群固定下來確保實(shí)驗(yàn)可復(fù)現(xiàn)。關(guān)于樣本量不足時(shí)的取舍我也給一點(diǎn)個(gè)人經(jīng)驗(yàn)如果數(shù)據(jù)量低于一萬條BiLSTM的優(yōu)勢(shì)很難發(fā)揮出來GWO調(diào)參反而是浪費(fèi)計(jì)算資源建議先跑普通LSTM或結(jié)構(gòu)化模型數(shù)據(jù)量在兩萬條以上、序列帶明顯周期依賴時(shí)GWO-BiLSTM的性價(jià)比才真正體現(xiàn)出來。如果窗口長度超過數(shù)據(jù)量的十分之一就要警惕樣本數(shù)過少可以先適當(dāng)縮小窗口再考慮增加數(shù)據(jù)采集頻率。最后再說一個(gè)問題多步預(yù)測的誤差累積。很多優(yōu)化目標(biāo)只看一步預(yù)測誤差結(jié)果模型在滾動(dòng)預(yù)測中后期誤差大得嚇人。GWO的適應(yīng)度函數(shù)如果能包含多步預(yù)測誤差搜索出來的超參數(shù)會(huì)更貼合實(shí)際使用場景。我通常用三步或六步預(yù)測的累積誤差作為適應(yīng)度雖然訓(xùn)練更耗時(shí)但換來的是更好的在線表現(xiàn)。結(jié)尾這套方案我從初版摸索到現(xiàn)在最大的體會(huì)是GWO-BiLSTM不是一個(gè)萬能模板而是時(shí)間和數(shù)據(jù)規(guī)模到了一定程度之后自然值得嘗試的一條技術(shù)路線。實(shí)際操作里我通常會(huì)先用一個(gè)小樣本量把整套流程跑通確認(rèn)沒有泄漏、沒有NaN、日志輸出正常再放全量數(shù)據(jù)讓GWO慢慢搜。如果時(shí)間緊張也可以把狼群規(guī)模和迭代次數(shù)調(diào)小先粗搜一輪摸出好參數(shù)的大致范圍再在這個(gè)范圍里細(xì)搜第二輪效果會(huì)比一次大范圍搜索更好。這套流程你搭起來之后會(huì)發(fā)現(xiàn)真正花時(shí)間的不是GWO那兩行更新公式而是前面說的數(shù)據(jù)預(yù)處理和實(shí)驗(yàn)評(píng)估——但這些工夫都是值得的。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香六月婷婷激情| 五月婷视频在线| 婷婷五月天亚洲综合| 婷婷丁香五月亚洲综合网在线视频观看| 欧美日韩aaaa| 亚洲五月婷婷| 色色99色色| 久久久人妻| 99视频久久免费视频| 996热| 婷婷激情伍月网| www.久久| 欧美黄色AA片哗啦啦啦| 国产精品操| 九九综合九九| 99热大片| 99ri视频在线播放| 久久免费精彩视频| 人人摸人人| 91互操| 91chinese在线| 色视频2025| 色婷五月天| 这里只有精品视频在线看| 91av无码| 激情综合婷婷| 这里只有精品视频在线| 欧美激情五月天婷婷| 欧美电影在线播放| 99视频激情四射| 操人91| 国产看真人毛片爱做A片 | 91久久婷婷| 亚洲熟妇AV乱码在线观看| 婷婷五月综合激情免费视频| 99综合免费视频| 成人精品视频99在线观看免费| 欧美综合五月丁香六月婷| 99玖玖视频| 日本三级网址| 日日躁夜夜躁狠狠久久AV| 日韩一级淫乱片一区二区三区| 国产老熟妇亲子乱对白| 婷婷六月丁| 亚洲色综合| 91打屁股视频网站| 九九免费精品| 免费在线观看AV网站| 婷婷97碰碰| 99热这里只有精品69| 99精品视频偷拍| 久久中文网| 操碰99| 婷婷色五月综合| 另类小说色婷婷| 中文字幕av亚洲| 深爱五月中文字幕| 天天日天天摸| 丁香九月久久| 色婷婷综合亚洲| 五月天啪啪网| 色偷偷狠狠| 亚洲中文乱字字幕在线永久| 97碰碰在线看视频免费| 天天做天天爽| 久久五月婷综合网| 五月婷婷丁香| 日日操夜夜操不卡| 免费看欧美成人A片无码| 国产精品美女| 五月丁香六月综合激情| 去色色五月天| 五月天激情av| 久久久久久久91| 日韩欧美一区二区三区四区| 超碰免费在线| 久久久中文| 激情网婷婷五月天| 欧美日韩国产一区二区| 欧美性爱五月天| 丁香五月之久操视频| 5月婷婷综合| 九九re精品视频在线观看| 变天就操逼婷婷五月| 五月花婷婷最新| 91久久久久久久| 精品婷婷| 天天色亚洲| 超碰在线99热| 婷久久| 婷婷香蕉视频| 五月综合激情| 色综合久久天天综合网| 日韩一级片| 久久婷婷五月综合色奶水99啪| 五月婷婷综合丁香视频| 日本99在线| 六月色婷婷| 五月天婷婷涩涩| 六月色婷婷| 在线观看亚洲AV| 人妻丰满精品一区二区A片| 99操碰| AA久久| 婷婷九九| 超碰三级秋霞| 五月婷婷色色色| 精品乱码视频| 久久久99视频| AV成人在线播放| 99爱爱网| 成人短视频在线观看| 色婷婷的五月天| 色永久| 狠狠干思思热| 国产成人亚洲综合A∨婷婷| 婷婷射婷婷舔| 婷婷天天日婷婷| 丁香五月婷婷色播艳门照| 开心婷婷五月花| 日日天天天| 夜夜干夜夜操| 激情啪啪五月| www.99热| 操逼福利视频| 人人爱国产| 色玖玖综合| 日本狠狠色| 第五色色色婷婷| 毛片色五月| 五月天婷婷影院影院观看| 五月天俺去也| 91凹凸在线| 97亚洲婷婷| 欧美在线视频免费播放| 日韩啪啪视频| 久久免费精彩视频| 婷婷五月综合色小姐小说| 丁香影院五月综合| 丁香五月综合激情性爱| 成人 在线 日韩| 日本久久婷婷| 五月丁香综合伦理片| 久777| 开心网五月色婷婷| 日本老女人黄页在线播放| 99操逼| 99热这里有精品24| 人妻视频在线| 99这里有精品视频| 六月婷婷中文字幕| 深爱五月婷婷开心中文字幕| 婷婷丁香六月天激情四射网| 色五月网址| 日操夜撸| 97久久久免费福利网址| 亚洲99综合| 国产成人AV在线播放| 狠狠插狠狠插| 九色PORNY自拍成人精彩视频| 色私五月婷婷| 色热久资源| 亚洲人妻Av| 色天堂在线| 97自拍视频在线| 天天弄天天操| 婷婷五月天AV在| 婷婷综合97| 久热2025无码| 色综合伊人网| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 五月激情综合婷婷| 日本三级大片| 天天碰夜夜爽| 九久久九精品视频| 九色视频91疯狂| 久久婷婷色| 九九RE视频在线精品| 色之综合网| 五月天婷婷基地| 久久网站观看免费欧洲国产| 五月天综合色| 非洲一级AV| 91狠狠色丁香婷婷综合久久精品| 九九亚洲视频| 狠狠干狠狠干| 五月婷在线影院| 天天日人人| 天天狠天天叉| 99视频在线观看地址| 第1影院之五月婷婷| 色色综合网站| 99精彩视频| 亚洲丁香花色| 婷婷色情网| 中文字幕综合| Av在线资源| 五月丁香久| 小视频在线亚洲| 婷婷热色| 99热精品在线观看| 久久视频婷婷视频| 开心激情网五月| 伊人影音无码一区二区三区 | wWw色五月| 五月丁查人人| 日韩在线看AV| 26uuu.| 开心婷婷五月| 日韩av免费版| 天天操天天操天天操| 欧类av怡春院| 99黄色性生活| 天天色丁香| 丁香婷婷视频一区二区| 激情网狠狠干| 成人美女网| 亚洲色碰| 99色五月| 日本婷婷| 5月婷婷激情在线| 天天射射夜| 婷婷五月情| 久碰综合| 狠狠色综合网站久久久久| 婷婷色在线| 久久看婷婷| 这里只有精品2| 九热在线这里有精品6| 日韩成人电影在线播放| 激情婷婷九月| 久久的爱大香蕉| 91se精品国产| 丁香婷婷AV| 久久婷婷五月天| 26uuu精品一区二区| 丁香五月婷婷AV在线| 亚洲色a| 亚洲激情免费久久| 精品国产va久| 狠狠色婷婷丁香六月| 日韩成人综合网| 黄网免费看| 久久五月天色| 色久天| 久久A区B区| 欧美天天性| 色情丁香五月天| 国产伦理精品高清在线观看网站一区二区| 激情五月综合网| 久久新地址| 一级片操逼视频| 激情99热| 99久热| 九九99精品| 啪啪黄页网| 亚洲丁香五月天视频| 热99只有里视频| 婷婷激情六月中文| 久久免费视频62| 婷婷五月天亚洲图片| 五月人妻婷婷| 亚洲六月综合激情久久下卡| www.色五月| 久久AV无码精品人妻系列试探| 成人无码髙潮喷水A片| 大香蕉520| 色五月激情综合网| WWW.久久.COM| 97色一二三| 97超碰色| 久草a片| 丁香玖玖| 久久草大香蕉| 六月婷婷狠狠| 欧洲免费视频色| 5月婷婷五月天| 久久久精品色| 91成人视频| 激情婷婷色色| 婷色五月天| 欧美顶级少妇做爰HD| 极品少妇XXXX精品少妇偷拍| 亚洲综合五月天婷婷| 色综合激情图区| 色九九综合色| aaa9区免费在线观看| 激情五月综合久久| 天天日天天舔天天摸| 综合五月天亚洲婷婷| 婷婷五月蜜桃成人桃色丁香| 色情一区二区播放| 婷婷五月婷婷| 夜夜躁爽日日| 91聚色综合网| 大香蕉婷婷五月| 五月婷视频久久| www.99热视频在线观看| www.99热. com这里只有精品| 欧美色爱五月天| 亚洲成人在线综合| 韩国真做片在线观看| 成人AV播放| 丁香五月天天| 777久久精品| 99热首页在线30| 99热最新| 能看的av网站| 五月丁香花开综合网| 91精品刘玥| 综合一区二区三区| 青青草护士中出内射-欧美电影在线天堂新版| 5月丁香综合图区| 色色亚洲| 五月花成人网| 婷婷综合亚洲| 伊大人久久| 午夜丁香综合婷婷| 综合热无码| 丁香五月大香蕉| 欧美大片免费播放器| 97五月天婷婷综合激情网| 99热精品少| 婷婷日欧美在线观看| 六月婷婷影院| av国产精品偷| 伊人喵咪a V| 丁香五月欧美激情| 国产精品五月天婷婷| 亚洲99综合| 亚洲乱码日产精品BD| 99re这里只有| 天天开心AV色综合婷婷五月天| 四月婷婷五月丁香| Aα在线免费观看| 99 re视频一区| 日本噜噜色网| 9久久精品| 五月丁香久久综合91| 性热视频99精品| 亚洲婷婷五月草久| 伊人干综合| 老师高潮流白浆喷水的A片| 丁香五月另类色婷婷麻豆| 欧美交换配乱吟粗大25P| 五月婷网| 久久多色| 91狠狠综合网| 亚洲成人影视在线观看| 思思re最新视频| 99热99久久| 五月天久久www| 狠狠色狠狠| 狠狠干最新地址| 99操碰| 99r这里| 色优久久| 久七香蕉| 五月天俺去也| 热91久| 人妻中文在线| 久久久久亚洲AV无码网影音先锋| av首页在线| 在线视频婷婷| 国产亚洲精品人人| 亚洲五月天婷婷| 九月婷婷人人操人人舔人人爱| 色五月激情视频在线综合| 日韩在线婷婷五月天综合| 中文字幕在线日亚洲9| 9九色首页| 日日做天天操夜夜爽| 色五月色五天色情网| 色综合播放| 多精窝99在线视频| 激情深爱五月天| 99久久99视频| 日日操天天操| 婷婷性爱综合| 欧美激情综合色丁香婷婷五月天 | 日本熟女内射| 国产乱人偷精品人妻A片| 综合激情五月天| 丁香五月偷拍| 久久五月天免费网站| 六月丁香婷婷开心综合基地| 色欲久久综合| 99久久丝| 99热免费在线| 日韩狠狠色| 99视频这里有精品| 狠干综合| 婷婷五月天综合在线 | 色五月婷婷av| 欧洲亚洲免费视频9| 日韩精品一区二区刘| 开心五月色婷| 色久综合| 婷婷五月AA五月在线| 天天日夜夜拍| 少妇综合网| 性色婷婷| 人人九色| 久操干| 婷婷六月激情综合| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 丁香五月激情啪啪综合| caopeng97日韩| 国外亚洲成AV人片在线观看| 丁香五月综合激情久久潮喷| 婷婷深爱五月| 91操熟女| 九九五月天| 99热亚洲精品| 超碰成人在线观看| 色婷婷导航| 五月丁香色婷婷久久| 丁香五月黄色| 久热69| 激情视频综合| 日本色99| 综合激情五月丁香| 91色久| 婷婷综合另类小说| 久久99网站| 26uuu四色| 五月丁香综合激情| 色婷久久| 伊人久久丁香狠狠婷婷综合香蕉| 熟妇天天综合| 亚洲AV无码一区二| 久久免片| w婷婷五月婷婷w| 激情丁香九九五月综合网| 亭亭五月色男人| 欧美精品啪啪| 欧洲亚洲精品| 国产va在线视频| www99热| 色必久悠悠影院| 噼里啪啦在线观看免费完整版视频| 激情六月丁香综合| 久热一区| 色视频五月天| 99男人天堂| 性欧美日本| 91久久婷婷| 九九九九这里只有精品| 婷婷色无码| 99成人| 六月丁香五月激情婷婷| 久久九⑨| 国産精品| 色婷婷五月影视| 五月丁香狠狠爱| 亚洲瑟瑟精品在线| 色播激情婷婷| 91日视频| 六月丁香深深爱综合网| 色久综合| 欧美婷婷五月天综合| 丁香六月综合| 99精品在线观看视频| 色色婷| 五月丁香激情综合| 久久人妻久久| 91九色视频| 狠狠色色| 深爱五月网| 91啪啪网| 五月婷在线| 天天檫天天爽| 五月 成人 婷婷| 九九这里有精品| 丁香六月天婷婷色| 亚洲午夜Av| 亚洲人妻av| 五月天婷婷午夜丁香| 五月日韩中文字幕| 天天综合色丁香| 婷婷大香蕉| 午夜精品久久久久久久爽| 婷婷月综合| 天天操比比| 激情综合网五月天天| 久777| 色色五月婷婷久久| 色天天狠狠干| 五月间天堂综合| 九九久久99| 婷婷五月永远18免费久久久| 2013AV天堂| 五月天激情国产综合婷婷| 色九综合| www.com.色色| 日韩综合久久| 丁香网五月天| 99re熱| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 婷婷五月天Av| 在线不卡的视频| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 激情五月天 婷婷| 久久婷婷综合基地| 丁香六月天| 俺来也狠狠| 久久综合色五月| 五月丁香久久激情综合| 天天爽天天日人人爱| 久久 天天| 久久一级AV| 久久只有精| 91凹凸在线| 国产jd1024基地手机看国产| 99热在这里只有免费精品| 91久久久久久久久久| 99这里只有精品在线观看| 婷婷五月天开心网| 色综合com| 激情六月天| 懂色av粉嫩AV蜜臀AV| 久草久青福利| 五月花在线观看视频| 五月激情六月婷婷| 无码啪啪| 美女被肏网站在线看| 五月婷婷色播| 婷婷五月激情在线| 九九99久久| 色综合综合综合| 激情四射婷婷| 五月婷色激情五月| 96丁香六月婷婷蜜桃综合久久| 天天色中文字幕女优AV| 久99视频在线观看| 婷婷五月丁香基| 天天爱天天爽| PORNY九色9l自拍视频成人| www.亚洲激情| 九九这里只这里只有精品| 91精品久久久久久久久| 婷婷天天五月天| 97人人干人人操| 人妻久热| 色99日韩| 人人爱人人草| 色播五月综合网| 五月亭亭网成人在线视频| 91碰免费视频| 丁香美女主播视频在线观看 | 九九热99熟女| 99热香港| 丁香成人五月天| 日韩无码性爱| 综合色激情| 色五月综合激情网| 成人丁香五月天| 激情综合网婷婷五夜| 天天xxxxxx天天日| 免费在线a| AV性爱在线| 人人操人人干AV| 久久天堂网| www.五月丁香| 天天操天天插天天射| 色色色色色网| 婷婷六月丁| 婷婷综合色图| 色综合久久久久| 久久婷婷五月天激情四射| 丁香五月欧美激情| 97色干| 日本色婷婷久久99精品91| 欧美69久成人做爰视频| 久久免费婷婷视频| 四色五月婷婷| 成人av中文字幕| 日韩啪啪视频| 影音先锋女人AA鲁色资源| 岛国av电影网站| 久艹久| 五月丁香六月激情综合| 91人妻色色网| 超碰成人黄色网| 人妻videos人妻高清| 五月婷九月| 可以免费观看的AV| 啊V视频在线观看| www.夜夜| 人人人舔人人人操人人人摸人人人97 | 综合99久久天天综合| 色99在线视频| 亚洲亚洲人成综合网络| 99精品福利视频| 一起草无码| 久久HD| 99热在线观看这里只有精品| 欧美人久久| 大战熟女丰满人妻AV| 天天摸色吧天天摸色吧| 免费视频99| 五月婷婷综合色啪首页| 99热这里只有精品中文字幕| 大香蕉视频婷婷| 欧美影院| 人人色人人摸人人看| 亚洲综合激情五月久久| 五月婷婷啪啪网| 98热精品| 五月丁香777| 天干天天干天天天天天| 久久精品99久久| 成人av免费观看| 69精品人人人人| 激情综合网婷婷五夜| 日韩黄色电影| 99激情网| 99热在线观看99| 色色色999| 播五月,色五月,开心五月播放器| 精品网站99| 色五月中文字幕| 亚洲亚洲人成综合网络| 婷婷丁香花五月天| 99热视精品| 日木狠狠干| 日本偷拍九九九| 婷香五月| 天天插综合网| 婷婷色日本| 99热亚洲| 婷婷色系婷色| 亚洲天堂色| 国産精品| 六月婷婷久久大全| 五月香蕉综合| 日91高清无玛| 人妻丰满精品一区二区A片| 五月激情六月丁香| 九九热精品| 丁香五月婷婷影院| 国产精品国产| 激情五月天视频| 丁香五月天的网址。| 亚洲va欧美| 成人一区在线观看| 丁香伍月婷电影全集| 九九在线精点品| 日熟女| 五月婷婷色情| 樱花99视频| AA久久| 天天久综合网永久入口18| 激情伊人五月天| 99热综合网| av网站中文| 五月综合激情图片| www.狠狠| 8区视频在线| 五月天大香蕉AV| 欧美xx激情视频在线观看| 婷婷亚洲五月丁香综合在线| 第四色激情网| 色香久久| 涩玖玖免费视频| 在线看片h站| 嫩草AV久久伊人妇女超级A | 色区久久| 日本欧美在线| 婷婷射图| 欧美一级a | 日日干夜夜干| 无套内射极品大美女| 极品 少妇 内射| 丁香五月亭亭六月综合激情网| 欧洲一区二区| 色五月超碰| 涩综合网| 日本熟妇精品99| 久久精品婷婷五月丁香| 五月丁香色婷婷久久| 激情婷婷综合网| 天堂二区| 热婷婷av| 在线亚洲综合| 久久图色4| 婷婷综合av| www.97干视频| www.日韩国产| 97中文在线| 丁香五月六月久久综合| 69堂午夜视频最新地址| 婷婷激情欧美| 亚洲色模骚货| 激情五月天天狠狠久久| 久久久久9999| 97操操| 五月丁香久久| 婷色影院| 激情AV中文| 一级精品999WWW| 五月婷婷色情| 久久人人超| 综合天天综合| 夜夜操少妇| 色婷婷五月综合网| 51国精产品自偷自偷综合 | 亚洲九区| 韩国真做片在线观看| AA片在线观看视频在线播放| 日韩一级淫乱片一区二区三区| 超碰在线资源| 久久久久亚洲AV成人无码电影| 第1影院之五月婷婷| 无码yw| 亭亭五月丁香综合欧美| 亚洲女婷婷五月基地综合久久久| 五月丁香色婷婷综合| 丁香五月Av| 色综合九九| 亚洲精品字幕在线观看 | 五月婷婷深深的爱| 亚州精品久久久久AV无码| 婷婷五月天开心激情网| 成人在线日韩| 99久久欧美| WWW.久久99| 久9精品| 天天综合亚洲综合网天天αⅴ| 丁香五月婷婷天激情| 五月亚洲| 五月婷婷色播| 特黄三级又爽又粗又大| 欧美日比视频| 亚洲五月情| 婷婷99狠狠躁天天| 国产一级片色色| 亚洲无码11| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 青青草a在线| 91午夜激情| 激情第四色| 亚洲成Av人片乱码色第1集| 婷婷激情丁香五月天综合| 激情五月四色| 亚洲五月天激情| 伊人影院久久网| WWW,五月天| 色五月综合在线| 丁香五月电影| 久草五月天| 五月丁香婷婷婷婷综合网| 狼人婷婷综合| 亚洲无码免费看| 成人婷婷桔色| 另类天堂| 99久久精品国产色欲| 五月色欧美| 五月天激情四射| 91九色 熟| 六月色色婷婷| 思思热99热| Av在线不卡一区| 六月婷婷狠狠| 激情綜合W W W,激情五月天| 丁香六月激情四射| 熟女激情五月天 | 天天干,天天操,天天射| 天天婷婷色六月| 97超碰婷婷五月天| 无码人妻激情| 欧美精产国品一二三区| 日本97久久久精品| 丁香成人视频| av免费在线观看0| 五月丁香狠狠爱婷婷综合| 天天日天天摸| 99热精品在线| 欧美激情综合| 激情综合网五月婷婷| 射久久丁香五月| Caoporn公开| 亚洲小视频| 超碰av在| 五月激情综合五月| 久久五月婷| 综合丁香婷婷五月天| 五月婷婷婷丁香播| 人人爽欧美婷婷久久久五月丁香| 国产日日夜夜操| 99精品在线观看| 这里只有精品视频222| 色色色色av色色色色| 九色99视频| 亚洲视频丁香网va| 九九碰九九爱97超碰| 伊人激情综合网| Av九九| 99色日本| 黄网免费观看| 99热精品在线| 国产精品色色| 国内婷婷丁香社区在线播放| 婷婷五月天天| 丁香五月激情啪啪| 亚洲婷婷基地| 97人人射| 狠狠色丁香婷婷基地| 五月天丁香色色| 99热精品免费在线观看| 婷婷色在线播放| 九色啦蜜臀| 五月丁香在线观看99| 五月丁香婷婷中文| xxxx五月激情| 激情玖玖综合网| 激情五月五月五月婷婷| 久热精品免费视频4| 操操操AV| 久久资源网五月婷| 专区无日本视频高清8| 79色色免费| av一区免费看| 91狠狠色丁香| 2050人人操免费工开爱| 亚洲12p| 五月丁香六月情| 色婷久| 91成人性爱视频| 亚洲 在线 性爱 | 有码一区二区三区| 噜噜干日本| 久久婷婷六月| 又大又粗九一在线| www.夜夜| 色一区高清| 99久操视频| 夜夜干夜夜操| 日日骑夜夜撸| 色五月在线综合| 色五月激情综合网| 五月激情丁香| 久久9视频| 色香蕉婷婷| 五月丁香人妻| 色综合色综合网| 色五月婷婷1| 日本视频久久| 中文无码婷婷| 六月婷婷久久| 天天做综合| 另类视在线| 久久婷婷午夜| 五月激情在线| 97五月天| A网在线欧洲| 综合亚洲六月婷婷在线| 蜜乳AV成人| 婷婷天堂站| 精品人妻伦一二三区久久| site:minyis.com| 丁香五月熟女| 免费无码毛片一区二区A片| 激情五月天开心| 久久在线人妻| 久热这里只有精品6官网亚洲| 九九精品re免费视频| 五月天婷婷色| 天天久久狠狠色综合| 久久五月综合| 精品人妻久久久| www.99久久久| 国内久久亭亭| 中文字幕不卡网站| 国产乱子轮XXX农村| 五月丁香影院| 婷婷综合网| 天天干天天操天天上| 凹凸7777操操操| 91玖玖| 五月婷婷很很色| www.色婷婷| 久久五月婷| 久婷五月| 五月丁香777| www色五月天| 播五月婷婷开心| 色综合久久综合中文综合网| 99热999| 日本人妻操| 九月性爱网| 北条麻妃伊人 | 久久亚洲无码| 婷婷婷久久久| 青青草99热久久精品国| av线电影| 亚洲午夜Av| 丁香五月激情网| 激情小说 五月天| 丁香社区婷婷五月| 色婷婷色五月综合| 国产精品色一哟哟| 东北婷婷五月天| 天天激情综合| 五月婷六月综合在线观看| 97久久视频| 伊人久久艹| 色噜久| 婷婷丁香五月激情密臀av| 香蕉久操| 殴美97色| 五月婷婷碰碰| 日本黄色精品| 9 1 A v久久久| 偷拍91九色| 婷婷五月激情五月丁香五月| 97干婷婷| 啪啪激情网| 婷婷五月天六点丁香五月| 久久婷丁香五月| 欧美在线干| 欧美va精品va老师va| www.婷婷网| 337p午夜影院| 亚州性爱99| 人妻久久久久久久 | WW婷婷五月天com| 丁香婷婷激情网站| 色色色天堂网| 久久总和99| 99视频超级精品| 激情五月天网站| 九九色色| 欧美综合激情| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | yirenjiqingshiping| 激情九月天天天天婷婷| 狠狠色综合网| 激情婷婷六月| 激情六月婷婷| 日本欧美成人片AAAA| 久久免费高| 99热9999| 亚洲 精品 综合 精品| 久久这里只有精品07| 五月综合六月婷婷| www.婷婷| 99国产在线精品视频| 婷婷色在线播放| 欧美色图45678| 欧美激情综合色丁香婷婷五月天| 五月天停婷基地| 大香蕉AV在线| 伊人激情综合| 九九色中文| 国产精品蜜臀99| 97狠狠色| 超pen个人视频97| 另类伊人婷婷| 在线看片av| 六月婷婷色色色| 深爱激情六月天| 天天操综合网站| 国产探花AV在线| 五月天色五月天| 五月亭亭六月色| aaaaa不卡| 色婷婷操逼| 国产精品社区| 久久九九中文字幕| 超碰a女人的天堂| 欧美精品狠狠色丁香婷婷| 日本人人超碰| 婷色五月天| 五月丁香啪啪综合| 婷婷综合在线| 国产婷婷综合| 99色综合久久| 性爱先锋AV| 久色激情| 色色色com| 五月丁香久久精品在线观看| 婷婷五月六月| www久久久久久久久久久| 97视频.干com| 狠狠干综合网| 狠狠CAO日日穞夜夜穞AV| 婷婷性爱网| 激情五月狠狠| 亚洲乱码日产精品BD| 丁香婷婷精品视频| www..999热久| 日本黄色在线观看| 婷婷激情五月天在线| 成人做爰高潮A片免费视频| 九九亚洲无码| 99视频精品全部观看10| 五月丁香综合色婷婷| sS丁香五月婷婷| 午夜一区| 97久人人| 色婷婷丁香香香蕉视频| 亚洲精品V天堂中文字幕| 三级黄网站| 婷婷五月丁香91| 婷婷丁香婷婷97| 天天综合亚洲综合| 婷婷的五月天另类视频| 五月婷婷六月丁香综合视频在线| 日本色色色| 欧美日韩国产伦精品日韩人妻一| 激情五月色综合国产精品| 婷婷综合五月| 婷婷五月69| 久久精品婷婷| WWW.99视频| 五月天伊人久久久久| 亚洲最大视频网站| 婷婷五点亚洲| 国产操B| 夜夜撸天天日| 色婷婷无吗| 这里只有精品免费观看网占| 久久爱综合| 天天久综合| 婷婷五月六月| 人人草人人看| 98永久精品| 综合网啪啪| AV五月丁香| 婷婷网五月天| 婷婷久久午夜网| 四川BBB搡BBB爽爽视频| 亚洲五月天伊人| 区欧美日韩成人| 天天爽曰日爽| 中文字幕久久婷九女同| 这里精品| 另类亚洲视频| 日本91在线| 五月丁香婷婷爱激情综合网| 亚洲日韩一页精品发布| 5月婷婷性视频| www99xxxx五月丁| 精品久久66| 99在线热视频| 久9视频免费播放| 超碰人人超碰| 国产精品久久久久久久久久免费| 人妻在线中文字幕久久| WWW久久99久久99久久| 99热这里只有在线| 亚洲无码11| 精品人妻一区二区| 内射丰满人妻| 久草婷婷视频| 91玖玖| 五月丁香六月婷婷免费| 最近免费中文字幕大全高清大全1| 天天草天天日| 操久久精| 俺去也综合| 九九免费在线视频| 97成人在线视频精品| 欧美成人A片AAA片在线播放| 丁香婷婷五月天网站| 色色色com| 五月激情网站| 99 色色吧| 九九精品婷| 中文字幕在线免费观看视频| 99.色| 色婷婷狠狠爱| 伊久大香蕉| 91婷婷色| 婷婷深爱五月亚洲综合| 97人妻碰碰碰久久| 国精产品一区一区三区免费视频| 久久人妻情侣| 99热这里只有精品1025| 欧美成人AAA片一区国产精品| 亚亚州久久高潮| 六月婷婷香蕉| 99国产精品白浆在线观看免费| 亚洲国产99| 人人色人人摸人人看| 久久婷鲁| 五月天激情国产综合婷婷婷| 久久人妻人人槡| 九九热视频精品2| 97干资源在线观看| 丁香五月社区| 九九干视频| 天天干天天干天天干天天干天天| 97影院一级片| 超碰免费人人肏| 婷婷五月天基地| 丁香婷婷色色| 久色五月| 99久久免费性爱视频`| 婷婷日本色| 一点色成人网| 五月花激情| 思思久久99| 婷婷激情欧美| 怡红院 久久| 婷婷五月中文字幕| 五月天婷婷色综合| 免费看欧美成人A片无码 | 丁香六月综合| 国产古装妇女野外A片| 久久精典| 日本欧美成人片AAAA| 久久九九蜜| 综合久色五月| jiujiu热在线视频| 婷婷网影院| 99免费视频| 99久久综合网| 日日日日日| 五月综合色播播丁香婷婷| 99re思思热在线视频| 超碰成人电影| 国产精品国产| 伊人大蕉香| 久久丁香综合香蕉| 成人国产欧美大片一区| 色色色网站| 天天日,天天插| 久久婷婷五月丁香网| 狠狠色噜噜| 丁香五月亚洲无码| 亚洲六月婷| 欧美天天干五月丁香| 色噜噜狠狠色综合AV兰草影视| 超碰chaompinm| 日韩另类在线观看| 色女人久久| 激情图片婷婷| 欧美啪啪9| 国产在线中文字幕| 丝袜激情网| 色域五月婷婷丁香| www.久久久久| www.超碰在线| 99免费成人网| av 一区三区四区| 激情五月天综合网站网站网站| 人人色人人摸人人看| WWW,五月天| 婷婷五日b| 天天爽天天爽夜夜爽| 人人做人人看人人摸| 色综合色综合色综合| 六月丁香深深爱| 秋霞电影理论| WWW,五月| 丁香五月婷婷视频| 丁香婷婷五月综合色情| AV性爱网| 九九在线精品| 教师性爱毛片| av电影在线播放| 六月综合婷婷开心伊人| 婷婷欧美综合| www.超碰在线| 五月天快乐开心激情网| 亚洲久久婷婷| www激情com| 国产精品久久..4399| 色婷婷www| 丰满老熟妇BBBBB搡BBB| 美女被操一区二区| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 中文字幕婷婷9月天| 97在线观视频免费观看| 亚洲色99综合天堂| 亚洲 欧洲 国产 伦综合| 九九色影视| 性小说五月天| 丁香六月天之亚州热女| 99九九玖玖| 思思99热| 五月婷婷香蕉| 亚洲色频| 亚洲AV网站在线观看| 狠狠舔| 色五月丁香在线| 五月丁香精品| 五月婷婷丁香| 久热久re| 综合五月草| 五月中旬婷婷丁香六| 五月天婷婷色色网| 激情婷婷五月天| 亲子乱AV-区二区三区| 99操无码视频观看| 亚洲综合激情五月天婷婷| 婷婷五月天AV激情| 91要啪| 婷婷97色| 色综合中文色综合网| 99久久综合网| 99热最新| 男女啪啪视频久 9| a色色片| 色婷婷色99国产综合精品| 色99色| 91chinese 在线| 狠狠操天天日| WWW久久久| 亚洲无码AV片| 色五月婷婷、老熟女| 99热99精品| 精品99*| 第二色AⅤ| 日本色婷婷| 五月激情四射网站| 色婷婷五月天亚洲| 色天五月天在线观看视频| 婷婷综合婷婷| 久久久久久久久久久久久久人妻视频| 丁香五月在线观看| 成人无码免费一区二区中文| aⅤ79成人片| 夜夜骑天天操| 97色精品视频 | 2013AV天堂| 呦呦AV| 色婷婷视频在线| 婷婷五月天AV在线| 99热网站| 免费观看全黄做爰的视频| 成人综合AV| 狠狠色综合精品视频在线| 国产亚洲精品久久久久久豆腐| www.9797国产| 开心五月激情婷婷| 国产乱妇无乱码大黄AA片| 国产成人在线不卡AV| 91精品久久久久久综合五月天| 天天干,夜夜爽| 影音先锋色色色资源色资源色| 精品欧美一区二区三区久久久| 超级碰碰碰久久网站| 6080av| 狠狠狠狠狠| 91超级碰碰碰| www九九热| enecarbon-materials.com污K127封锁请涟系@wip1688 | 丁香伊人网| 超碰不卡在线| 日韩精品无码AV| 精品成人a v无码内射| 婷婷五月天成人视频| 第六色在线| 国产露脸150部国语对白| jiujiu无码五区| 婷婷激情在线| 五月丁香激情婷婷| 91婷婷色五月| 亚洲精品在线视频| 五月婷婷六月丁香在线| 成人AV网站在线| 99在线小视频| 九九热99在线视频|