欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

PSO-BiGRU時(shí)序回歸預(yù)測(cè):超參數(shù)搜索與工程調(diào)參實(shí)踐

PSO-BiGRU時(shí)序回歸預(yù)測(cè):超參數(shù)搜索與工程調(diào)參實(shí)踐 1. 先想清楚:PSO-BiGRU回歸預(yù)測(cè)到底在解決什么問(wèn)題PSO-BiGRU回歸預(yù)測(cè),拆開(kāi)看就是三件事:用BiGRU(雙向門控循環(huán)單元)從時(shí)序數(shù)據(jù)里抽特征,用PSO(粒子群優(yōu)化)去搜索BiGRU的超參數(shù),最后輸出一個(gè)連續(xù)值。它解決的是一類很具體的問(wèn)題——你手上有一串按時(shí)間排列的數(shù)據(jù),想預(yù)測(cè)下一個(gè)時(shí)刻的數(shù)值,而且這個(gè)數(shù)值是連續(xù)的,比如設(shè)備的下一個(gè)工況指標(biāo)、下一小時(shí)的負(fù)荷值、下一批次的產(chǎn)出量。我接觸這個(gè)組合,最初是因?yàn)橐粋€(gè)很樸素的痛點(diǎn):BiGRU效果確實(shí)比單一方向的好,但它對(duì)超參數(shù)太敏感。隱藏單元數(shù)多給一倍,RMSE能差出三成;學(xué)習(xí)率從1e-3調(diào)到5e-4,訓(xùn)練曲線完全是兩個(gè)樣子??咳斯ぴ?一個(gè)模型調(diào)一天是常事。而網(wǎng)格搜索在參數(shù)維度一多就爆炸,貝葉斯優(yōu)化效果好但實(shí)現(xiàn)起來(lái)門檻不低,還要處理代理模型和采集函數(shù)。PSO的好處是邏輯直白、參數(shù)少、代碼短,拿來(lái)做超參數(shù)搜索屬于性價(jià)比很高的選擇。這篇內(nèi)容適合誰(shuí):已經(jīng)跑通過(guò)LSTM/GRU基礎(chǔ)回歸、想往上再走一步的讀者;手上有時(shí)序數(shù)據(jù)、被調(diào)參折磨過(guò)的人;以及想搞清楚優(yōu)化算法為什么要套在神經(jīng)網(wǎng)絡(luò)外面這個(gè)問(wèn)題的同學(xué)。零基礎(chǔ)也能看,但我會(huì)默認(rèn)你知道什么是訓(xùn)練集驗(yàn)證集、什么是反向傳播,基礎(chǔ)概念不展開(kāi)講。需要說(shuō)明的是,下面涉及的具體數(shù)據(jù)規(guī)模、調(diào)參數(shù)值、訓(xùn)練耗時(shí),都是基于常見(jiàn)工程實(shí)踐給出的參考值,不是某個(gè)特定項(xiàng)目的實(shí)測(cè)記錄。你拿自己的數(shù)據(jù)套的時(shí)候,量級(jí)要按實(shí)際情況縮放。2. 方案選型:為什么是這套組合而不是別的2.1 回歸預(yù)測(cè)任務(wù)的三個(gè)真實(shí)痛點(diǎn)做時(shí)序回歸,大部分人卡在同一個(gè)地方:模型能跑,但預(yù)測(cè)值糊。所謂糊,就是預(yù)測(cè)曲線比真實(shí)曲線更平、更滯后,峰值預(yù)測(cè)不出來(lái),谷值也壓不下去。這不是代碼寫錯(cuò)了,是模型在優(yōu)化MSE的時(shí)候?qū)W到的最優(yōu)策略就是往均值靠——因?yàn)轭A(yù)測(cè)一個(gè)接近均值的值,期望誤差更小。第二個(gè)痛點(diǎn)是長(zhǎng)依賴。單向RNN只看歷史,對(duì)未來(lái)信息沒(méi)有感知。而很多時(shí)序數(shù)據(jù)里,當(dāng)前時(shí)刻的輸出其實(shí)同時(shí)受前后文影響,比如一段工況曲線里的異常段,判它是異常,得看它前后的走勢(shì)。BiGRU把序列正反各掃一遍,把兩個(gè)方向的隱藏狀態(tài)拼起來(lái),在特征提取上確實(shí)比單向強(qiáng)一檔。第三個(gè)痛點(diǎn)是參數(shù)敏感。BiGRU本身參數(shù)不多,但隱藏維度、層數(shù)、dropout、學(xué)習(xí)率、批大小這幾個(gè)湊一起,搜索空間很容易上到幾千種組合。人工試錯(cuò)的成本主要不在訓(xùn)練,而在訓(xùn)練完發(fā)現(xiàn)沒(méi)用的那種挫敗感。注意:BiGRU的雙向結(jié)構(gòu)在訓(xùn)練時(shí)要求整條序列可見(jiàn)。做在線推理的時(shí)候,如果只能拿到歷史數(shù)據(jù)、拿不到未來(lái),雙向的意義會(huì)打折。這是很多人忽略的坑,后面第6章會(huì)細(xì)說(shuō)。2.2 BiGRU相比單項(xiàng)GRU和LSTM的取舍GRU是LSTM的簡(jiǎn)化版,把遺忘門和輸入門合并成更新門,再加一個(gè)重置門。參數(shù)少了約四分之一,訓(xùn)練更快,在小樣本上過(guò)擬合風(fēng)險(xiǎn)更低。BiGRU則是把兩個(gè)方向的GRU疊起來(lái),輸出維度翻倍。我在幾個(gè)不同規(guī)模的數(shù)據(jù)集上對(duì)比過(guò),大致規(guī)律是:樣本量在幾千條以內(nèi)、特征維度不高的時(shí)候,BiGRU相對(duì)GRU的提升有限,有時(shí)候還因?yàn)閰?shù)變多而更容易過(guò)擬合;樣本量上萬(wàn)、序列里存在明顯的前后呼應(yīng)結(jié)構(gòu)時(shí),BiGRU的優(yōu)勢(shì)才明顯。所以別默認(rèn)雙向一定更好,先看你的數(shù)據(jù)里未來(lái)信息到底有沒(méi)有用。至于LSTM和GRU之爭(zhēng),我的看法是:除非你的序列特別長(zhǎng)(幾千步以上)、需要精細(xì)的門控,否則GRU足夠,而且訓(xùn)練更穩(wěn)。LSTM參數(shù)量大,在PSO搜索的時(shí)候每一次評(píng)估都更貴,這在后面算時(shí)間成本的時(shí)候會(huì)很直觀。2.3 為什么用PSO而不是網(wǎng)格搜索或貝葉斯優(yōu)化三種方法的對(duì)比我整理成一張表,你可以直接對(duì)照自己的場(chǎng)景選:方法實(shí)現(xiàn)難度單次評(píng)估成本適合的參數(shù)維度主要缺點(diǎn)網(wǎng)格搜索極低高(組合數(shù)爆炸)≤3維維度一多就不可行隨機(jī)搜索極低高3~6維不利用歷史信息貝葉斯優(yōu)化中高中5~15維代理模型擬合本身有開(kāi)銷粒子群PSO低高(每粒子一次訓(xùn)練)4~10維易早熟、適應(yīng)度噪聲敏感PSO的核心公式就兩行,速度更新和位置更新:v w*v c1*r1*(pbest - x) c2*r2*(gbest - x) x x v其中w是慣性權(quán)重,c1、c2是學(xué)習(xí)因子,r1、r2是[0,1]隨機(jī)數(shù),pbest是粒子歷史最優(yōu),gbest是全局最優(yōu)。邏輯是:每個(gè)粒子既相信自己的經(jīng)驗(yàn),也參考群體的經(jīng)驗(yàn),在兩者之間做加權(quán)。這個(gè)群體經(jīng)驗(yàn)的機(jī)制,恰好適合超參數(shù)搜索這種目標(biāo)函數(shù)不光滑、有多個(gè)局部最優(yōu)的場(chǎng)景。網(wǎng)格搜索是盲掃,PSO是帶著方向找。實(shí)測(cè)下來(lái),同樣評(píng)估400次,PSO找到的組合通常比隨機(jī)搜索好一檔,和貝葉斯優(yōu)化的差距不大,但代碼量只有后者的三分之一。我的判斷標(biāo)準(zhǔn)很粗暴:參數(shù)維度在8維以內(nèi)、每次評(píng)估能在幾分鐘內(nèi)跑完,就用PSO;評(píng)估一次要半小時(shí)以上,老老實(shí)實(shí)上貝葉斯優(yōu)化,因?yàn)镻SO需要的評(píng)估次數(shù)太多,時(shí)間成本壓不住。3. 數(shù)據(jù)準(zhǔn)備:模型的上限在這一步就定死了3.1 時(shí)序數(shù)據(jù)清洗與平穩(wěn)性檢查回歸預(yù)測(cè)里,數(shù)據(jù)質(zhì)量決定天花板這句話不是雞湯。我見(jiàn)過(guò)太多人把精力全放在調(diào)網(wǎng)絡(luò)上,結(jié)果數(shù)據(jù)里有一堆缺失值用0填了、異常值沒(méi)處理,模型怎么調(diào)都是那個(gè)RMSE。清理順序建議是:先去重(時(shí)間戳重復(fù)的記錄)、再處理缺失、最后處理異常。缺失值不要一律填0,那等于人為制造了一個(gè)突然掉到零的假模式,模型會(huì)學(xué)歪。數(shù)值型序列用線性插值或者前向填充更合理;如果連續(xù)缺失超過(guò)窗口長(zhǎng)度的10%,這段數(shù)據(jù)直接丟掉,別硬填。異常值處理要分清楚兩類:一類是采集錯(cuò)誤(比如傳感器量程外的值),這種直接剔除或用插值替換;另一類是真實(shí)的極端工況,這種必須保留,因?yàn)槟P颓∏⌒枰跇O端點(diǎn)上表現(xiàn)好。判斷方法可以看業(yè)務(wù)含義,也可以看3σ或者IQR,但剔之前一定要確認(rèn)那是不是真實(shí)發(fā)生的。平穩(wěn)性這塊,如果序列有明顯的趨勢(shì)(比如整體緩慢上升),做一階差分往往能讓模型好學(xué)很多。差分后的序列預(yù)測(cè)出來(lái),再做逆差分還原。這一步很多人跳過(guò),結(jié)果模型學(xué)成了預(yù)測(cè)昨天。3.2 滑窗構(gòu)造樣本:窗口長(zhǎng)度不是越大越好時(shí)序回歸要把序列切成(輸入窗口, 預(yù)測(cè)目標(biāo))的樣本對(duì)。假設(shè)原始序列是 x1 到 xN,窗口長(zhǎng)度記作 L,預(yù)測(cè)步長(zhǎng)記作 H,那么第 i 個(gè)樣本的輸入是 x[i : iL],標(biāo)簽是 x[iL : iLH]。單步預(yù)測(cè)時(shí) H1。窗口長(zhǎng)度 L 怎么定?經(jīng)驗(yàn)做法是先看數(shù)據(jù)的周期性。如果數(shù)據(jù)有以24為周期的日周期,窗口至少覆蓋2個(gè)周期,也就是48以上;如果沒(méi)有明顯周期,從16、32、64幾檔里讓PSO一起搜。窗口太短,模型看不到足夠上下文;窗口太長(zhǎng),樣本數(shù)驟減,而且引入了大量冗余信息。有個(gè)數(shù)量關(guān)系要先算清楚:樣本數(shù) ≈ N - L - H 1。你有5000條數(shù)據(jù),L64,那可用樣本只剩4930條左右,再按7:1:2切分訓(xùn)練/驗(yàn)證/測(cè)試,訓(xùn)練集大概3450條。如果你的模型隱藏維度是128、兩層,這個(gè)樣本量是偏緊的,過(guò)擬合風(fēng)險(xiǎn)要提前考慮。提示:切分一定要按時(shí)間順序切,不要隨機(jī)打亂。隨機(jī)打亂會(huì)讓未來(lái)的數(shù)據(jù)進(jìn)到訓(xùn)練集里,評(píng)估出來(lái)的指標(biāo)好看得不像話,上線就崩。這是時(shí)序任務(wù)里最常見(jiàn)也最致命的錯(cuò)誤。3.3 歸一化:防泄漏這件事必須做對(duì)神經(jīng)網(wǎng)絡(luò)對(duì)輸入尺度敏感,歸一化是必須的。但歸一化的均值和方差,只能用訓(xùn)練集算,然后應(yīng)用到驗(yàn)證集和測(cè)試集。這個(gè)順序反了,就是數(shù)據(jù)泄漏。常用兩種:Min-Max縮放到[0,1],或者Z-Score標(biāo)準(zhǔn)化。如果數(shù)據(jù)分布偏態(tài)嚴(yán)重、有長(zhǎng)尾,Min-Max會(huì)被極值壓縮得很厲害,這時(shí)候用Z-Score更穩(wěn)。目標(biāo)值 y 也要單獨(dú)歸一化,而且要用 y 自己的統(tǒng)計(jì)量,別和特征混在一起。反歸一化的時(shí)候注意,如果 y 做了差分,要先反歸一化再逆差分,順序不能亂。我踩過(guò)一次,先逆差分后反歸一化,結(jié)果預(yù)測(cè)值整體偏了一個(gè)常數(shù),排查了半天才發(fā)現(xiàn)是順序問(wèn)題。import numpy as np def make_windows(series, lookback, horizon1): X, y [], [] for i in range(len(series) - lookback - horizon 1): X.append(series[i:i lookback]) y.append(series[i lookback:i lookback horizon]) return np.array(X), np.array(y) # 只用訓(xùn)練段擬合scaler train_len int(len(series) * 0.7) mu, sigma series[:train_len].mean(), series[:train_len].std() series_norm (series - mu) / (sigma 1e-8)4. 模型結(jié)構(gòu)與參數(shù)編碼:把調(diào)參變成優(yōu)化問(wèn)題4.1 BiGRU網(wǎng)絡(luò)主體怎么搭一個(gè)夠用的回歸網(wǎng)絡(luò)結(jié)構(gòu)大致是:輸入層 → BiGRU層(1~2層) → 取最后時(shí)刻隱藏狀態(tài) → 全連接 → 輸出1維?;貧w任務(wù)不需要softmax,最后一層不加激活函數(shù),損失用MSE或者Huber。BiGRU的輸出維度是 2×hidden_size,因?yàn)檎蚝头聪虻碾[藏狀態(tài)拼接。取哪個(gè)位置做回歸頭也有講究:取最后時(shí)刻,適合用整段歷史預(yù)測(cè)下一步;對(duì)整段做平均池化,適合序列內(nèi)每個(gè)點(diǎn)重要性差不多的情況。我一般先用最后時(shí)刻,效果不好再試平均池化,兩者差異有時(shí)候能到5%以上。import torch import torch.nn as nn class BiGRURegressor(nn.Module): def __init__(self, input_size1, hidden_size64, num_layers1, dropout0.2, poollast): super().__init__() self.pool pool self.gru nn.GRU( input_sizeinput_size, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, bidirectionalTrue, dropoutdropout if num_layers 1 else 0.0, ) self.drop nn.Dropout(dropout) self.fc nn.Linear(hidden_size * 2, 1) def forward(self, x): out, _ self.gru(x) # (B, L, 2H) if self.pool last: feat out[:, -1, :] else: feat out.mean(dim1) return self.fc(self.drop(feat)).squeeze(-1)4.2 到底該讓PSO搜哪幾個(gè)參數(shù)參數(shù)不是搜得越多越好。每一個(gè)進(jìn)搜索空間的維度,都會(huì)讓所需評(píng)估次數(shù)上升。我的原則是:只搜那些影響大且不好憑經(jīng)驗(yàn)定的,其余固定。參數(shù)建議范圍編碼方式是否建議搜索hidden_size32~256取整到32的倍數(shù)是num_layers1~3取整是dropout0.0~0.5連續(xù)是learning_rate1e-4~1e-2對(duì)數(shù)尺度是batch_size16/32/64/128最近檔位可選lookback16~96取整到8的倍數(shù)可選weight_decay1e-6~1e-3對(duì)數(shù)尺度一般固定1e-5學(xué)習(xí)率必須用對(duì)數(shù)尺度編碼,否則線性映射會(huì)讓PSO在1e-3附近幾乎不動(dòng),而在1e-2附近一步跨太遠(yuǎn)。具體做法是讓粒子位置在 log10(lr) 的空間里飛,范圍取 [-4, -2]。4.3 粒子位置向量怎么解碼成超參數(shù)粒子就是一個(gè)實(shí)數(shù)向量,長(zhǎng)度等于要搜的參數(shù)個(gè)數(shù)。解碼函數(shù)負(fù)責(zé)把連續(xù)值映射到合法取值:def decode(pos, lookback_fixed48): hidden int(np.clip(round(pos[0] / 32) * 32, 32, 256)) layers int(np.clip(round(pos[1]), 1, 3)) dropout float(np.clip(pos[2], 0.0, 0.5)) lr float(10 ** np.clip(pos[3], -4, -2)) batch [16, 32, 64, 128][min(int(np.clip(pos[4], 0, 3.99)), 3)] return dict(hidden_sizehidden, num_layerslayers, dropoutdropout, lrlr, batch_sizebatch, lookbacklookback_fixed)這里有個(gè)細(xì)節(jié)值得說(shuō):取整到32的倍數(shù),是為了讓不同粒子解碼后落在有限的檔位上,減少兩個(gè)粒子其實(shí)一樣但適應(yīng)度不同的噪聲。噪聲在PSO里是致命的,它會(huì)讓pbest被誤更新,整個(gè)群體被帶偏。5. PSO的工程化實(shí)現(xiàn):讓它跑得動(dòng)才是關(guān)鍵5.1 慣性權(quán)重和兩個(gè)學(xué)習(xí)因子怎么取標(biāo)準(zhǔn)PSO里,慣性權(quán)重 w 控制保持原方向的程度。w 大,全局探索強(qiáng);w 小,局部開(kāi)發(fā)強(qiáng)。工程上最常用的是線性遞減:w w_max - (w_max - w_min) * iter / max_iterw_max 取0.9,w_min 取0.4,是經(jīng)過(guò)大量實(shí)踐驗(yàn)證比較穩(wěn)的一組。前30%的迭代在全局撒網(wǎng),后面慢慢收窄。c1 和 c2 分別是對(duì)自身經(jīng)驗(yàn)和群體經(jīng)驗(yàn)的權(quán)重。常見(jiàn)取 c1c22.0。如果你的問(wèn)題里局部最優(yōu)特別多,可以把 c1 調(diào)小一點(diǎn)(比如1.5)、c2 調(diào)大(2.5),讓粒子更多地跟著群體走,加快收斂但犧牲多樣性。反過(guò)來(lái),如果發(fā)現(xiàn)群體很快就擠成一團(tuán),就反過(guò)來(lái)調(diào)。速度要限幅,不然粒子一步飛出搜索空間:v_max 0.2 * (x_max - x_min)這個(gè)0.2是經(jīng)驗(yàn)系數(shù),范圍太寬的時(shí)候可以降到0.1。5.2 適應(yīng)度函數(shù):別只看驗(yàn)證集loss最直接的適應(yīng)度就是驗(yàn)證集上的RMSE。但我建議加兩項(xiàng)修正:第一,加復(fù)雜度懲罰。參數(shù)越多的模型越容易過(guò)擬合,適應(yīng)度里加一個(gè)小的正則項(xiàng),比如 1e-4 * hidden_size * num_layers / 100,讓PSO偏向簡(jiǎn)潔模型。系數(shù)要小,否則會(huì)壓得模型欠擬合。第二,用多次評(píng)估的平均值。神經(jīng)網(wǎng)絡(luò)訓(xùn)練有隨機(jī)性(初始化、dropout、數(shù)據(jù)打亂),同一個(gè)超參數(shù)組合跑兩次,RMSE 差5%很正常。如果只用單次結(jié)果,PSO就是在優(yōu)化噪聲。我的做法是固定隨機(jī)種子,同時(shí)把驗(yàn)證集切成兩折,適應(yīng)度取兩折的平均。def fitness(params, X_tr, y_tr, X_va, y_va, seed42): torch.manual_seed(seed) np.random.seed(seed) model BiGRURegressor(hidden_sizeparams[hidden_size], num_layersparams[num_layers], dropoutparams[dropout]) # ... 訓(xùn)練流程(見(jiàn)下一節(jié)) rmse evaluate(model, X_va, y_va) penalty 1e-4 * params[hidden_size] * params[num_layers] / 100 return rmse penalty5.3 PSO主循環(huán)與一次實(shí)打?qū)嵉臅r(shí)間賬先算成本。種群20、迭代20次,總評(píng)估次數(shù)約400。如果每次完整訓(xùn)練要3分鐘,400次就是20小時(shí)。這個(gè)時(shí)間大部分人接受不了。所以必須做降本。我常用的三個(gè)手段:評(píng)估階段用短訓(xùn)練。每個(gè)粒子只訓(xùn)練30~50輪,配合早停(patience10)。這個(gè)階段的目的不是訓(xùn)出最好模型,而是排出優(yōu)劣順序。排序?qū)α?搜索方向就對(duì)了。緩存結(jié)果。把解碼后的參數(shù)元組做key,存字典。PSO后期粒子會(huì)聚到相近區(qū)域,解碼后參數(shù)完全相同的概率不低,命中緩存能省10%~20%的評(píng)估。并行。種群內(nèi)的粒子互相獨(dú)立,用多進(jìn)程把種群評(píng)估并行起來(lái)。8核機(jī)器上實(shí)測(cè)能壓到原來(lái)的1/5左右。class PSO: def __init__(self, n_particles20, dims5, boundsNone, w_max0.9, w_min0.4, c12.0, c22.0, max_iter20): self.n, self.d, self.max_iter n_particles, dims, max_iter self.lb, self.ub bounds self.X np.random.uniform(self.lb, self.ub, (n_particles, dims)) self.V np.random.uniform(-1, 1, (n_particles, dims)) * 0.1 * (self.ub - self.lb) self.pbest self.X.copy() self.pbest_val np.full(n_particles, np.inf) self.gbest None self.gbest_val np.inf self.w_max, self.w_min, self.c1, self.c2 w_max, w_min, c1, c2 self.cache {} def step(self, t): w self.w_max - (self.w_max - self.w_min) * t / self.max_iter r1 np.random.rand(self.n, self.d) r2 np.random.rand(self.n, self.d) self.V (w * self.V self.c1 * r1 * (self.pbest - self.X) self.c2 * r2 * (self.gbest - self.X)) vmax 0.2 * (self.ub - self.lb) self.V np.clip(self.V, -vmax, vmax) self.X np.clip(self.X self.V, self.lb, self.ub) def run(self, fitness_fn): for t in range(self.max_iter): for i in range(self.n): key tuple(np.round(self.X[i], 4)) if key in self.cache: val self.cache[key] else: val fitness_fn(self.X[i]) self.cache[key] val if val self.pbest_val[i]: self.pbest_val[i] val self.pbest[i] self.X[i].copy() if val self.gbest_val: self.gbest_val val self.gbest self.X[i].copy() self.step(t) print(fiter {t1}/{self.max_iter} best{self.gbest_val:.5f}) return self.gbest, self.gbest_val6. 完整實(shí)操流程與調(diào)參實(shí)錄6.1 從原始序列到最終模型的六步走把前面的零件串起來(lái),完整流程是這樣的:數(shù)據(jù)清洗 → 差分(可選) → 按7:1:2時(shí)間切分;只用訓(xùn)練集擬合歸一化參數(shù),應(yīng)用到全段;用滑窗生成樣本,得到 (N, L, 1) 的輸入張量;定義PSO的搜索邊界,初始化種群(20×5);用短訓(xùn)練驗(yàn)證集RMSE作為適應(yīng)度,跑20輪PSO,拿到gbest;用gbest解碼出的參數(shù),在訓(xùn)練集驗(yàn)證集上完整重訓(xùn)(輪數(shù)放大到200,早停patience20),最后在測(cè)試集上評(píng)估一次。第6步只評(píng)估一次,這是紀(jì)律。測(cè)試集反復(fù)看、反復(fù)調(diào),它就不再是測(cè)試集了,指標(biāo)會(huì)虛高,上線打臉。6.2 訓(xùn)練環(huán)節(jié)的幾個(gè)必要設(shè)置梯度裁剪必加,clip_grad_norm_(model.parameters(), 1.0)。GRU類模型在序列長(zhǎng)的時(shí)候梯度容易炸,裁剪之后訓(xùn)練曲線平滑很多。學(xué)習(xí)率調(diào)度用 ReduceLROnPlateau,patience5,factor0.5。驗(yàn)證loss連續(xù)5輪不降就減半,比固定學(xué)習(xí)率穩(wěn)。損失函數(shù)方面,MSE對(duì)離群點(diǎn)敏感。如果你的數(shù)據(jù)里有少量極端值,用HuberLoss(delta1.0)會(huì)更魯棒,梯度不會(huì)被個(gè)別點(diǎn)主導(dǎo)。批大小在小樣本上別貪大。樣本3000條,batch128只有23個(gè)step,一個(gè)epoch更新23次,收斂會(huì)很慢;batch32有94個(gè)step,每輪更新更充分。6.3 一次可復(fù)現(xiàn)的對(duì)比記錄這里給一組基于常見(jiàn)實(shí)踐的參考數(shù)值,數(shù)據(jù)是我虛構(gòu)的一段約6000點(diǎn)的周期性序列,加10%噪聲,窗口48,預(yù)測(cè)下一步。目的是讓你有個(gè)量級(jí)概念,不是讓你對(duì)標(biāo)結(jié)果。配置驗(yàn)證RMSE測(cè)試RMSE訓(xùn)練耗時(shí)人工經(jīng)驗(yàn)參數(shù)(hidden64,lr1e-3)0.04120.04352.1 min隨機(jī)搜索100次最優(yōu)0.03680.039148 minPSO(20×15300次評(píng)估)0.03310.034962 minPSO相比人工經(jīng)驗(yàn)參數(shù),測(cè)試RMSE降了約20%。這個(gè)幅度在時(shí)序回歸里已經(jīng)算顯著了。但注意耗時(shí)是人工的30倍——所以如果你的問(wèn)題用默認(rèn)參數(shù)就能達(dá)到業(yè)務(wù)要求,別上來(lái)就上PSO,那是浪費(fèi)。另一個(gè)觀察:PSO搜出來(lái)的最優(yōu)配置里,hidden_size落在96、num_layers2、dropout0.28、lr≈6e-4。它沒(méi)有選最大的隱藏維度,說(shuō)明復(fù)雜度懲罰起作用了,把搜索往夠用就好的方向拉。7. 常見(jiàn)問(wèn)題與排查技巧速查7.1 群體早熟:所有粒子擠成一個(gè)點(diǎn)表現(xiàn)是迭代到第5、6輪,gbest就不動(dòng)了,后面15輪完全是白跑。原因通常是初始化范圍太窄,或者w衰減太快。處理辦法:初始化用拉丁超立方或者均勻撒滿搜索空間,別用正態(tài)分布聚在中間;w的遞減區(qū)間拉長(zhǎng)到整個(gè)迭代過(guò)程,別前幾輪就降到0.4;再加一個(gè)重啟機(jī)制——連續(xù)3輪gbest沒(méi)改善,就把最差的20%粒子重新隨機(jī)撒到空間里。7.2 適應(yīng)度抖動(dòng):同一組參數(shù)兩次結(jié)果差很多神經(jīng)網(wǎng)絡(luò)訓(xùn)練的隨機(jī)性是根源。除了固定種子,還有一個(gè)辦法是在適應(yīng)度里對(duì)同一組參數(shù)跑2次取平均。成本翻倍,但如果你的單次評(píng)估時(shí)間短(1分鐘以內(nèi)),這個(gè)交換是劃算的。我一般在前10輪用單次評(píng)估鋪開(kāi)探索,后10輪對(duì)排名前5的粒子做重復(fù)評(píng)估,確認(rèn)排序。7.3 預(yù)測(cè)滯后與曲線過(guò)平滑模型預(yù)測(cè)值系統(tǒng)性落后真實(shí)值半個(gè)到一個(gè)周期,峰值削平。除了第2章說(shuō)過(guò)的差分建模,還可以在損失里對(duì)方向錯(cuò)誤加懲罰:如果預(yù)測(cè)的差分符號(hào)和真實(shí)差分符號(hào)相反,額外加一項(xiàng)損失。實(shí)現(xiàn)上是loss mse 0.1 * relu(-sign(dy_true * dy_pred))的變體,能讓模型更敢預(yù)測(cè)拐點(diǎn)。另外檢查一下滑窗是不是切錯(cuò)了,標(biāo)簽是不是錯(cuò)位了一格。錯(cuò)位一格的表現(xiàn)就是穩(wěn)定滯后一步,很容易被誤判成模型能力問(wèn)題。7.4 線上表現(xiàn)比離線差一大截這是雙向結(jié)構(gòu)埋的雷。BiGRU訓(xùn)練時(shí)能看到整條序列,推理時(shí)如果只能拿到截止當(dāng)前的歷史,那反向那一半其實(shí)是在拿填充值或者零在算,輸出分布和訓(xùn)練時(shí)完全不同。解決辦法有兩個(gè):一,訓(xùn)練時(shí)做因果遮罩式的模擬,讓反向通道也只能看到截止當(dāng)前的信息;二,干脆換回單向GRU,或者用TCN這類因果卷積結(jié)構(gòu)。如果你的業(yè)務(wù)允許延遲幾秒再輸出(比如整段序列收集完再算),那雙向沒(méi)問(wèn)題。7.5 問(wèn)題排查速查表現(xiàn)象最可能原因優(yōu)先排查動(dòng)作訓(xùn)練loss降但驗(yàn)證不降過(guò)擬合加dropout、減hidden、加weight_decay訓(xùn)練loss就不降學(xué)習(xí)率不合適/歸一化錯(cuò)學(xué)習(xí)率掃1e-4~1e-2,檢查scaler是否只用訓(xùn)練集擬合loss變NaN梯度爆炸/學(xué)習(xí)率過(guò)大加梯度裁剪、學(xué)習(xí)率降10倍預(yù)測(cè)全是均值特征無(wú)效/損失被均值主導(dǎo)檢查輸入是否包含信息、換Huber損失PSO第5輪就收斂初始化窄/w衰減快擴(kuò)大初始化、線性遞減w、加重啟同一參數(shù)結(jié)果差異大訓(xùn)練隨機(jī)性固定種子、重復(fù)評(píng)估取均值測(cè)試指標(biāo)異常地好數(shù)據(jù)泄漏檢查切分是否按時(shí)間、歸一化是否泄漏線上比離線差雙向結(jié)構(gòu)因果性沖突改單向或做因果遮罩7.6 幾條從踩坑里換來(lái)的經(jīng)驗(yàn)PSO不要和完整訓(xùn)練綁在一起。我最初的實(shí)現(xiàn)是每個(gè)粒子都訓(xùn)200輪,一次搜索跑了兩天半。改成短訓(xùn)練30輪之后,搜出來(lái)的參數(shù)質(zhì)量基本沒(méi)下降,時(shí)間縮到4小時(shí)。搜索階段的目標(biāo)是排序,不是選出最優(yōu)模型。搜索空間寧窄勿寬。hidden_size 給到 32~512,PSO 大概率會(huì)在一開(kāi)始撒到512那邊,然后被適應(yīng)度拉回來(lái),白白浪費(fèi)評(píng)估次數(shù)。先用經(jīng)驗(yàn)把范圍收窄到 32~256,命中率高得多。驗(yàn)證集別太小。驗(yàn)證集只有一兩百個(gè)樣本的時(shí)候,RMSE 的波動(dòng)本身就很大,PSO 會(huì)追著噪聲跑。驗(yàn)證集至少留到總樣本的10%,絕對(duì)值不少于300個(gè)。記錄每次評(píng)估的參數(shù)和結(jié)果。不只是為了復(fù)現(xiàn),更重要的是事后能看出趨勢(shì)。我把300次評(píng)估結(jié)果畫成散點(diǎn)圖之后發(fā)現(xiàn),學(xué)習(xí)率在5e-4到8e-4之間的所有組合,驗(yàn)證RMSE都在低位,而hidden_size的影響反而沒(méi)那么大。這個(gè)認(rèn)識(shí)比最終那組參數(shù)值錢得多。固定隨機(jī)種子這件事,在PSO里比在單模型訓(xùn)練里重要十倍。因?yàn)槟阋容^的是不同參數(shù)組合的優(yōu)劣,如果每次的隨機(jī)性不同,比較的基準(zhǔn)就不一致了。8. 關(guān)于這套方法邊界的一點(diǎn)個(gè)人看法我在實(shí)際用下來(lái),PSO-BiGRU這套組合最舒服的場(chǎng)景是:數(shù)據(jù)量中等(幾千到幾萬(wàn)條)、序列有明顯的前后依賴、對(duì)預(yù)測(cè)精度有要求但又不是極致(不追求SOTA)、團(tuán)隊(duì)里沒(méi)人專門做超參搜索。在這個(gè)區(qū)間里,它的投入產(chǎn)出比很高。但它的邊界也很清楚。數(shù)據(jù)量上萬(wàn)之后,BiGRU的訓(xùn)練成本會(huì)迅速上升,PSO的評(píng)估次數(shù)就成了瓶頸,這時(shí)候更該考慮的是換更輕的結(jié)構(gòu)或者做特征工程,而不是繼續(xù)堆優(yōu)化算法。另外,如果你的序列里未來(lái)信息根本沒(méi)用(比如純隨機(jī)的金融高頻數(shù)據(jù)),雙向結(jié)構(gòu)就是白加參數(shù),單向GRU甚至簡(jiǎn)單的線性模型可能更靠譜。最后一個(gè)我覺(jué)得值得分享的小技巧:跑完P(guān)SO之后,別急著扔掉那300次評(píng)估記錄。把參數(shù)和適應(yīng)度導(dǎo)出來(lái),按單個(gè)維度做分組統(tǒng)計(jì),你往往能看出哪些參數(shù)是真敏感、哪些其實(shí)無(wú)所謂。下一輪做別的任務(wù)時(shí),這些先驗(yàn)?zāi)茏屇惆阉阉骺臻g直接砍掉一半,省下來(lái)的時(shí)間遠(yuǎn)比多跑幾輪PSO劃算。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷性爱综合| 丁香婷婷五月天色综合| 玖玖爱导航| 午夜精品人妻无码一区二区三区| 色五月六月| 美女五月狠狠| 色婷婷裸体色性在线| 色五月涩涩婷婷蜜桃| 久婷首页| 久久婷婷电影| 九九色婷| 精品一二三区久久AAA片| 91在线日| 久9视频免费播放| 五月婷婷综合在线观看| 亭亭五月天黑人2014| 欧美成人无码高清一区二区三区| 丁香五月激情婷婷| 大香蕉婷婷五月| 婷婷丁香黄色| 影音先锋一区二区资源站| 成人精品视频99在线观看免费 | 激情综合丁香| 亚洲日韩成人三级av| 五月亭亭开心网| 超碰在线免费9| 婷婷五月天电影区小说区| 天天综合插插| 欧美色色色色色色色色色色影视| 99思思在线视频| 91九色熟女| 亚洲AV永久无码影院黑人| 午夜不卡久久精品无码免费| 色一情一乱一伦一区二区三区| 夜夜资源站| www.五月.com| 婷婷五月丁香综合激情| 天天色宗合| 五月丁香色婷婷熟女| 思思热99er在线视频| 99热啪啪| 天天激情5月天亚洲| 色丁香五月| 丁香六月婷婷色XXXXX| www.超碰| 婷婷五月综合激情| 99热九九热| 91成人视频| www.婷婷五月天| 五月婷六月婷婷| 激情五月天免费视频| 色丁香综合影院| 开心五月激情| 五月激情婷婷图片基地| www.激情在线| 开心六月婷| 秋霞性爱AV| 伊人9在线| 中文字幕亚洲-区久久99婷婷| 色综合色色色色色色综合| 超碰色碰碰| 六月丁花香啪啪激情欧美| www.婷婷六月天| 亭亭五月丁香五月天激情| 色吧五月婷婷| 狠狠操狠狠操| 99热精品在线在线| 老师的粉嫩小又紧水又多A片视频| 蜜桃人妻无码AV天堂三区| 九九色色| 国产成人精品一区二区三区视频 | www.精品99| 免费黄色AV| 99狠狠| 香蕉大综综综合久久| 国产三级在线播放| 嫩草国产| 99熟女视频| 色婷婷五月综合在线| 99久久www| 婷婷99中文字幕| 91狠狠色色丁香婷婷综合久久| 吊色AV男人的天堂| 欧美色色色色色色色| 久久久WWW| 碰碰91| 99在线播放视频| 91成人性爱视频| 亚洲激情五月天| 久久久久久人妻| 五月婷婷综合激情| 五月婷A V在线| 亚洲狠9| 爱iii做iiii日日| 日本在线wwww| 激情丁香九九五月综合网| 99久久www| 夜夜资源站| 久久99婷婷| 7月婷婷六月丁香| 五月亭亭六月色| 六月婷欧美| 99热精品99| 亚洲综合久| 丁香五月天AV在线| 五月婷庭丁香在线| 新伍月婷婷| 欧美成人性爱网| 五月婷婷五月天| 成人在线不卡| 五月天激情网站| 最近免费中文字幕大全高清大全1| 日韩久久成人| 狠干综合| 九九色图| 丁香成人综合| A久网| 婷婷六月天激情| 日韩在线视频网站| 九九色精品| 成人中文网| 另类丁香五月天区图| Www.久久| 久热 91| 五月婷婷在线丁香| 91人妻视频| 这里只有精品免费视频| www.婷婷| 草草夜夜操| 亚洲成人综合网在线免费观看| 久热AⅤ| 色碰干| 久热精品视频在线观| 激情婷婷综合| 天天色天天爱天天爱天天爱y| enecarbon-materials.comWu染请涟系Bao护@wip1688| 8区视频在线| 天天爽人人综合免费7799| 91九九九九| 婷婷色一二三区波多野结衣| 丁香六月激情综合| 热久久视频99| 色九亚洲| AV操逼网| 欧美电影在线观看| 久久久久久久久久久44| 日韩欧美一区二区三区四区| 色婷婷视频综合| 2020日日干| 色婷婷综合网| 久9热插入| 激情99热| 插插插色综合网| 99免费视频网| 人人爱操| 九九99精品免费播放| www.99热在线| 五月丁香亭亭成人电影| 婷婷五月六| 婷婷综合久久| 婷婷五月综合基地| 婷婷九月激情| 中出内射的人妻视频| 26uuu成人网| 久久这里有精品| 丁香婷婷狠狠97| 丁香六月婷婷色播| 激情婷婷五月天网址| 色五月丁香五月婷婷五月成人网| 免费黄色视频网址| 色五月综合网站| 久久久91| 婷婷开心六月| 91热在线| 91碰人人| 大香蕉久久| 五月四色婷婷| 亚洲午夜视频| 超碰婷婷色| 午夜婷婷久久 | http://www.sd-xiangsu.com/| 成人五月天丁香| 天堂无码人妻精品AV一区| 狠狠久久婷| 另类的婷婷| 六月丁香久久| 天天做天天爱天天爽| 亚洲图色五月天| 丁香五月激情宗合| 婷婷久久丁香| 亚洲亚洲人成综合网络| 久久性刺激| 狠狠狠激情网| 开心五月综合激情网| 三级黄色大片视频| 日韩操人| 五月激情偷拍| 成人无码髙潮喷水A片| 99久久亚洲国产| 六月婷婷之青青草| 天天干天天操天天射| 五月婷婷啪啪| 极品色丁香| 99亚洲欧洲| 伊人激情综合网| 98色花堂98t.R| 久色精品| 婷婷99狠狠躁天天躁| 色爱终和网| 俺去也五月天婷婷| 伊人影院久久网| 丁香色五月婷婷17C| 天天做好综合色| 日本三级大片| 婷婷丁香激情综合色情| 久久成人人妻| 风流少妇A片一区二区蜜桃| 人人九色| 五月天婷婷婷| 99精品视频在线观看| 五月丁香亭亭操逼| 五月婷婷丁香在线| 欧美成人AAA片一区国产精品| 亚洲另类婷婷综合| www.com五月天| 日本欧美成人片AAAA | 婷婷五月天美女| 日本五月天网站| 亚洲欧洲中文日韩久久AV乱码| 五月丁香激情四射综合| 99久在线精品99re8热| 欧美电影在线播放| 天天爽在线视频| 激情网婷婷五月天| 5月丁香美女影院| 五月丁香手机在线| www.97碰碰com| 五月丁香狠狠爱婷婷综合| 操操操www.com| 五月天丁香| 精品久9| 九九热九九| 亚洲情色一区| 玖玖爱导航| 人人干AV| 99国产精品久久久久久久久久久| 丁香五月天啪啪| 激情小说婷婷| 欧美97超碰| 玖玖在线资源视频| WWW.婷婷| 涩综合网| 久re热视频| aaaa久久| 久久66精品| 五月天婷婷无码| 亚洲婷婷婷| 五月婷婷影| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 色综合激情| 色五月婷婷自拍| 色色色色网色色网色色| www.91av.com| 五月婷婷色丁香| 五月激情六月综合| 97香蕉碰碰人妻国产欧美| 婷婷八月丁香激情综合| 超级97碰碰| 天天天日天天天干| 九九在线热九九在线热99热| 深爱激情AV| 天天干电影| 色综合久久99色| 亚洲精品婷婷| 久久中国毛毛片爱久久| 婷婷色狠狠| 大香蕉狠狠爱主页| 怎么样可以看免费的一级av| 丰满老熟妇BBBBB搡BBB| 狠狠色成人影片| 久久网日本| 国产成人+亚洲+欧洲| 这里只有精品视频看看| 九九黄色网| 久久182| 五月天综合在线观看视频| 99热欧| 性爱网六月丁香| 五月丁香影视| 五月激情网站| 九色无码| 日韩综合久| 欧美色色网| 亚洲成AV人片在线观看| 狠狠五月激情婷婷直播片| 内射人妻视频国内| 丁香五月婷婷成人色区| 五月激情小说| 色情·com| 夜夜干天天操| 国产噜一噜天天噜| 97人人操人人干| 亚洲国产精品成人免费一区久久久在线观看AAAA| 丁香五月另类色婷婷麻豆| 超碰色天堂| 无码 色| 九九艹女| 婷婷丁香五月高清| 久久99日本精品视频免费观看| A网在线欧洲| 偷拍九九热| 婷婷五月精品中文字幕| 国内精品免费一区二区2009| 亚洲成人人人操| 九色综合网| 婷婷五月综合啪| 91人人爱| 91精品综合久久久久久五月丁香| 国产综合丁香五月天| 99小视频网站| www,99色| 伊人色综合久久久| 青青草轻轻操| 97自拍视频在线| 日韩成人精品中文字幕| 激情深爱五月天| 五月天合网| www.99热| 婷婷丁香亚洲五月天| 精品人妻在线免费观看| 久久性爱视频久久性爱视频| 2021日韩无码| 丁香五月综合激情性爱| 伊人干综合| 激情五月天影院| 思思视频这里是精品| 被强行糟蹋的女人A片| 狠狠色婷婷丁香六月| 欧美成人精品三区综合A片| 狠狠五月丁香色婷| 天天爱天天天射AV| 美女天天爽| 久久视频婷婷| 久久女婷| 开心婷婷五月天电影院| 天堂久久久久天堂网| 五月婷婷自拍| 在线中文亚洲| 伊人久久婷婷| a69在线视频| .青娱乐天天操B| 99热这里只有精品最新地址获取| 97超级操操| 久9久9热久热| 操操操www.com| 色一情一乱一伦一区二区三区| 五月伊人视频在线看| 超碰操日| 婷婷五月色天| 日本69日人视频| 婷婷五月天激情网| 亚洲综合狠狠艹| 色婷狠狠| 五月天婷婷网站888| 国产 码在线成人网站| 天天爽天天爽| 久久人妻www| 色色色色区| 97干网站| 美女要搞搞天天搞搞搞网站| 97超喷视频在线观看| 99色在线| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 另类视频综合| 中文字幕欧美日韩VA免费视频| 伊人9999| 久综合九| 99色婷婷| 亚美欧色影院| 五月丁香啪啪啪综合网| 粉嫩AV久久一区二区三区 | 五月天色五月| 香蕉综合网| 精品国产一区二区三区四区阿崩| 精品人妻一区二区三区四区不卡在| 99久久www| 国产成人亚洲综合A∨婷婷| 婷婷丁香五月天综合网| AV中文字幕夜夜操b天天摸bb| 激情综合网址| 欧洲激情五月天| 色五月激情综合网站| 综合另类视频| 插插网爽妇五月丁香| 六月婷婷操逼| 天天操人人干| 色婷婷在线视频综合| 五月激情射| 激情五月丁香五月| 色狠狠色噜噜噜a天堂一区| 久re热视频| 一本色道久久综合狠狠躁小说| 亚洲99在线视频| 丁香天堂夜| 99精品在线观看| 色五月激情综合| 久久香蕉婷婷| 色色激情五月天| 五月婷色激情五月| 五月综合久久| 婷婷99狠| 国产9色在线/日韩| 99黄色| 亚洲xx网| 亚洲欧洲中文日韩久久AV乱码| AV性爱在线| 色婷婷五月影视| 热99精品视频五月| 综合五月天亚洲婷婷| 91fuliwang| 亚洲不卡| www.26uuu.com亚洲电影| 精典久久| 色五月丁香五| 色人久久| 婷婷五月天激情综合深爱激情| 综合色五月| .青娱乐天天操B| 国产精品日日躁夜夜躁| 色五月激情综合| 午夜九九九九九九九九九九九九九| 午夜少妇在线观看视频| 国产精品色| 色月视频| 欧美大香蕉视频| 中文字幕在线免费看线人| 亚洲色网址| 久一这里有精品国产| 婷婷九月丁香天堂丁香天堂| 色伦专区97中文字幕| 97亚洲婷婷| 五月天色婷婷视频| 综合色情网| 国产激情一区| 九九热九九| www.操.com| 狠狠操天天操综合| 丁香久久综合| 五月婷婷综合天天操| 四色五月婷婷| 殴美综合激情五月天免费视频| 色久婷婷网| 婷婷网影院| 久久久久久久11111111111| 五月久久婷婷天堂视频| 五月婷婷免费在线观看| 1024人妻| 99精品视频推荐| 99热久久这里只有精品| 五月天大香蕉| 久久99网| 国产精品久久久60086| 九色婷婷| 久久的爱大香蕉| 99在线精品免费视频| 91avse| 天天综合社区| 丁香狠狠| 五月天婷婷影院| 丁香五月激情啪啪啪| 色播丁香| 色碰碰视频| 俺去也在线www色官网| 久久久www| 综合久久8| 少妇人妻人伦A片| 婷婷伊人综合中文字幕| 五月天天爽| 爱草视频在线| 91九色国产熟女| 亚洲在线网站| 九月丁香婷婷| 天天色综网| 丁香五月在线播放| 26uuu另类亚洲欧美日本一| 玖玖视频福利| 无码yw| 激情五月婷婷色综合| 国产伦亲子伦亲子视频观看 | 99综合| 国精产品一区一区三区有限公司杨 | 婷婷五月天成人动漫 | 色五月婷婷av| 婷婷五月丁香香蕉| 香蕉影院色| 五月丁香色婷婷| 五月丁香操婷逼| 99热激情| 欧美天天干天天草| 婷婷丁香六月综合激情站| 五月天久久www| 色吊丝av中文字幕| 高清a片基地| 在线日韩视频| 久久性爱视频网站| 欧美影院婷婷| 欧美在线视频免费播放| 天天干天天操天天拍| 国产精品色色色色| WWW.五月天9999| 另类图片色五月| 伊人久久大香线蕉综合网站| 99cao婷婷| 极品人妻VIDEOSSS人妻| 婷婷五月花| 六月色色| 亚洲综合五月天婷婷丁香| 九九这里都是精品| 五月丁香六月婷婷视频| 天天干、天天日日| 狠狠操.COM| 五月丁香六月婷婷在线小说视频| 极品色丁香| 青青草原亚洲天堂| 五月天婷婷操逼视频| 色青五月天| 欧美成综合在线观看| 在线观看日韩12345区| 色www久视频| 五月天电影网| 韩日另类| 7777国产盗摄农村女人| 婷婷欠久少妇| 亚洲 在线 另类| 男妓跪趴把舌头伸进我的嘴巴| 日韩999| 激情五月综合婷婷| 五月丁香黄色视频| 久久人妻久久| 五月天伊人网| 五月丁香激情婷婷| 99热精品一| 丁香五月亚洲综合| 亚洲综合婷婷五月天| 五月天自拍视频| 狠狠色综合777| 5月丁香综合网| 色97综合婷婷天天色| 99热这里只有精品268| 九月婷婷久久| 热99国产精品| 色噜噜狠狠色综合日日| 天天日天天做天天舔| 色噜噜婷婷| 99精品久久久久久久婷婷| 五月婷婷与六月丁香图片激情| 啪啪婷婷五月天激情| 91人人超碰在线| 久久伦乱| 超碰九九热| 黄网网站在线播放| 成人网站在线观看视频| 99操| 丁香五月图片| 久久五月丁香六月婷| 亚洲mm色| 婷婷五月激情在线| 深爱激情网五月天| 人人草开心五月天| 丁香五月天堂| 99九九玖玖| 操操人人| 开心五月网 | 天天日夜夜| 噼里啪啦完整版中文在线观看| 另类少妇人与禽zOZZ0性伦| 五月婷婷六月激情| 丁香五月激情图片婷婷| 婷婷综合干| 日韩在线一级| 激情久久综合| 这里只有精品视频国产| 婷婷娱乐丁香综合网| 99在线精品视频免费观看20| 成人在线99| 9久久久久| 亚洲激情五月| 中字幕视频在线永久在线观看免费| 人妻激情久久| 激情五月丁香色色去久久| 天天射天天干天插色综合| 六月丁香婷婷视频综合在线观看| 五月天婷婷在线啪啪视频| 伊人狠狠干| 婷婷网五月天| 五月婷婷色情| 第九色区av天堂| 欧美A片在线视频免费观看| 男人視頻站| 五月丁香婷婷中文| 2025最新亚洲激情在线| 巴基斯坦粉嫩无码视频| 激情婷婷五月天| 热99在线| 丁香伍月婷电影全集| 人妻中文字幕精品| 亚洲九区| 欧美丁香六月激情视频| 成人五月天视频| 婷婷久久五月丁香| 97色吧| 综合久久五月| 久9久9久9久9久9久9| 玖玖99福利| 五月天精品综合| 婷婷五月色综合| 97香蕉碰碰人妻国产欧美| 丁香婷婷老熟女综合网| 日亚二欧美| 丁香五月天激情网址| 热久久视频99| 精品网站:999WWW| 色狠狠色| 日韩AV成人电影| 色欲色天天香综合| 色五月视频无码播放| www.婷婷五月| 激情丁香五月婷婷| 97碰精品| 伊人碰碰碰| 夜夜夜夜做天天天做无码视频| 五月亭亭直播| 婷婷综合五月| 五月色亭丁香| 久久五月婷| 天天爽综合| 五月天丁香综合久久国产| 九九av| www.九月婷婷丁香.com| 91综合在线| 玖玖资源天天无码| 91人人爽狠狠狠| 色日本颜射| 婷婷色在线视频| 欧美99热| 婷婷五月天基地| 超碰成人免费| 免费在线a| 五月色婷婷亚洲 | 日本三级韩三级99久久| 色婷插| 九色91国产| 五月丁香欧美综合免费视频| 丁香五月影视| 丁香五月大香蕉在线99| 51成人| 欧美综合五月丁香五月天| 人人操插| 五月婷婷视频| 色欲婷婷五月天| av在线色五月丁香婷区久| 无码啪啪| 雪千夏麻豆| 久久婷婷伊人| 五月丁香激情婷婷| 五月激情综合网| 婷婷综合在线视频| 99热在线免费观看精品| 久热亚洲| 色一色综合| 99热老网站| 婷婷丁香在线播放| 九九无码| 色色影院黄大片| 日本狠狠爽| 99九九视频精彩在线| 欧美日本免费一道免费视频| 超碰在线免费| 婷婷五月天六月| 日日天天干| 婷婷久久天堂网| 丁香六月中文| 國語久久婷| 超碰熟女农村在线69| 亚洲婷婷视频| 亚洲色热| 久久A极片| 99热99在线| 欧美人妻一区二区| 久久99国产综合精品免费| 成人精品人妻| 亚洲aV写真天天综合网久久| 丁香五月色| 91丨九色丨熟女|老版| 日韩人妻操逼视频| 久热大香蕉| 婷婷五月天久久综合88| 激情综合网 激情五月天| 五月婷综合| 操人视频91| 亚洲色色精品| 日韩一级片| 国产三级片91| 九九亚洲视频| 国产成人精品一区二三区熟女在线| 欧美 日韩 成人在线| 午夜丁香五月天综合| 欧美人与性动交CCOO| 九九99九九99| 天天日天天干天天爽| 在线看的免费网站| 天天日天天添| 午夜爱爱网站| 丁香六月天婷婷| 久久狠狠色| 激情六月综合| 91人操人人人操人| ji'qi'luan'ren'lun| 成人午夜天| 性韩日色婷婷五月天激情啪啪XXX| 欧美激情综合色综合啪啪五月| 欧美天堂婷婷日韩| 天天拍天天做视频| 99爱视频在线观看这里只有精品| 色色九九五月天| 五月天久久综合婷婷丁香| 乱岳熟女50岁| 五月丁香六月婷婷综合在线| 97香蕉久久超级碰碰高清版 | 中文字幕视频色婷婷| 综合五月天亚洲婷婷| 国产成人av在线播放| 日韩精品电影| 可以免费看AV网站| 亚洲午夜成人av电影网| 99久久99热| 99色色网| 99热99极品观看| 丁香色婷婷五月天| 中文AⅤ大全| 九九热99精品| 中文字幕欧美日韩VA免费视频| 激情婷婷| 99啪啪视频| 丁香五月天.com| 五月婷婷丁香婷婷| 91丁香色五月| 色噜综| www.色五月| 久久这里面只有精品视频| 五月丁香天堂网| 99ri久久| 色五月天丁香婷婷| 欧美色色色色色色| 夜夜躁爽日日| 九九热99久久99| 人人噜天天上| 久久综合站| 日韩综合大黄| 超碰免费成人网站| 欧美黑人巨大猛烈cuckold| 欧洲色| 人妻射精AV| 婷婷六月啪啪| 91久久久久久| 久久XX| 日本一道久久| 久久综合干| 日本久久婷婷| www.黄色片-久久成人国产精品在线播放-999AV | 丁香五月天堂网| 色波激情五月天| 免费精品99| 婷婷五月69| www.minyis.com【JT】实力收量可预付QQ2101460746 | 色噜噜五月天| 五月丁香六月婷婷久久肏| 丁香五月影院| 射区导航| WWW.99视频| 国产精品视频| 久久 婷婷 五月天| 日韩高清成人| 色婷婷久久综合| 成人AV免费观看| 色色婷婷五月天| 久久婷婷视频| 欧美搡BBBBB摔BBBBB| 天天做天天爱天天日| 亚洲99热| 99re热精品在线视频| 99热这里都是精品| 国产9色在线/日韩| 综激情网| 99在线播放视频| 亚洲精品国产setv| 任你爽精品免费视频6| 丁香婷五月| 九九热99视频| 九九热re99re6在线精品| 99色播| 中文字幕欧美日韩VA免费视频| 色444综合网| 人人澡玖玖一| 欧美天堂久久| 午夜成人天堂久久无码日韩久久| 爱久综合| 无码yw| 婷婷激情小说网| 美欧日韩国产成人在战| 激情五月天色网站| 99黄色性生活| 99色综合网| 五月香婷婷| 精品牛仔裤超碰| 色天堂在线| 色婷婷小视频| 曰日爽日日操| 婷婷色五月天色| 色欲午夜无码久久久久久张津瑜| 在线观看欧美| 99热超碰在线| 只有精品在线观看| 成人无码髙潮喷水A片| 日韩无码人妻一区二区三区综合| 激情五月天天| 综合激情网激情五月。| 丁香五月六月综合激情| www久久五月com| 搡BBBB搡BBB搡18| 婷婷五月天亚洲综合网| 亚洲成人综合网在线免费观看| 婷婷五月天视频亚洲| 99熟女啪啪视频| 婷婷操逼| 精品一二三区视频立| 国产精产国品一二三在观看| 婷婷五月天激情五月天| 九九久久免费视频44| 丁香五月婷婷激情尤物| 欧美A级网站| 国产精品美女久久久久AV超清| 伊人丁香花综合影院| 婷婷综合玖玖五月| 国产午夜精品一区二区| 9久热| 99热思思| 人妻精品久久久久久| 99热精品超碰| 六月婷婷综合| 思思网站| 久操乱| 天天日天天摸| 婷婷久久五月| 99re热视频这里只精品| 五月激情五月婷婷五月天在线| 九9九9无码| 大香蕉520| 天堂婷婷五月色| 色色亚洲99com| www.婷婷六月天| 五月天社区| 中国女人内射6XXXXX| 另类五月激情| 大香蕉五月天婷婷丁香91| 99精品视频网站| 色国产五月| 久热精彩视频98| 丁香 久久| 美女亚洲五月丁香| www.色色色com| 五月丁香六月激情综合| 色99视频| A片试看120分钟做受图片| 五月婷av| 99日本精品视频热| 亚洲亚洲人成综合网络| 五月婷婷免费看| 大香蕉婷婷色| 国产欧美熟妇另类久久久 | 9人人操人人看| 激情综合婷婷| 亚洲丁香网| 久久九九中文字幕| 天天噜噜| aaa日韩| 成人电影在线免费试看| 五月综合视频| 色导航色婷婷五月天在线观看| 91色在线/日韩| 狠狠精品干练久久久无码中文字幕| 天天夜夜爽| 大香蕉精品视频| 日曰躁夜夜躁2026| 色色热| 婷婷基地成人五月天| 国产精品成av人在线视午夜片| 久久免费操| 99热国内| 视频在线免费观看欧洲乱码| 成功精品影院| 五月开心深深爱激情综合 | 丁香蜜臀黄色婷婷五月天| 五月天婷婷综合色| 丁香五月六月综合激情| se99高清无码| 色色97丁香婷婷五月天| 99热.com| 欧美激情综合色综合色| 综合色五月| 日韩av一区二区在线/日产精品久久久| 性色天| 99热这里只有精品在线免费| 91精品久| 亚洲色热| 婷婷草| 99国产小视频2013| 婷婷五月另类网站| 色五月丁香网| 99思思| 亚洲国产精品成人免费一区久久久在线观看AAAA | 极品人妻VIDEOSSS人妻| 26uuu国产| 激情五月图| 超碰中文字幕在线| 日韩aaaaa| 色色射| 爱之国产色情综合| 久久大香免费| 五月婷婷成人| 99在线观看这里都是精品| 99re热在线视频观看| 欧洲色区| 色五月天丁香婷婷| 欧洲亚洲欧洲99久久| 亚洲av综合网| 人人操婷婷| 人人摸人人| 久久久精品人妻| 婷婷丁香成人在线视频| 99亚洲视频| 亚洲狠狠终合停停终合| 色人久久| 婷婷色正月| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 亚洲精级| 九九热在线精品| 婷婷五月天播播| 一根材五月婷成人| 欧美在线操| 色天使久久综合| 日本丁香五月| 婷婷综合视频| 爱的综合网| 五月激情综合网| 五月婷视频在线观看| 国产超碰在线| 天天综合网91| 丁香五月婷婷综合网| 噜噜色五月| 99ri精品在线| 色婷婷性爱网| 99热在线观看免费精品| 夜夜骑夜夜操| 另类小说婷婷色| 色一情一乱一乱一区91Av| 久久全色| 久久久天堂国产精品女人| 五月丁香婷婷色色| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 丁香 久久| 五月天色婷婷伊人网| 蜜桃婷婷五月| 99干视频| 久久婷五月影院| 丰满老熟妇BBBBB搡BBB| 色婷五月天| 色五婷婷开心缴| 九色视频这里只有精品| 那里有AV网址| 色色色色色五月丁香| 欧美日韩一区二区三区四区| 啪啪啪大香蕉| WWW.99热| 天天插天天日| 五月天色网站| 五月六月丁香婷婷在线观看| 久热大香蕉| 婷婷综合日本| BlACKEDRAW视频一区二区| 亚洲综合在线视频| 成人精品在线| 久re热视频| 欧美色五月天| 91啪级电影| 激情综合5月| 五月丁香婷婷成人网| 激情综合网五月| 午夜婷婷久久 | 大香蕉婷婷婷| 日韩少妇内射免费播放| 激情五月天影院| 成人av播放| 九九在线精品| 五月丁香花激情综合网| 亚洲五月丁| 亚洲视频a| WWW.99热| 色婷婷超碰| AV网址大全在| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 玖玖婷婷色五月| 性爱五月婷| 91无码一起草| 免费看欧美成人A片无码| 亚洲天堂色色| 色五月激情综合网| 久久天堂| 婷婷综合在线| 五月婷婷自拍| 狠狠狠狠操| 草AV9999| 99在线免费视| 噜噜色五月| 99精品久久| 国产ava| 成人视频在线免费播放| 亚洲美女裸体被操在线观看| 性按摩玩人妻HD中文字幕| 99热亚洲| 五月天婷婷在线视频| 亚洲黄色影视| 91爱操| 碰97久久| 久久视频婷婷| 色色色综合网| 玖玖精品视频| 天天激情| 人妻久久久久久久久久久| 色婷婷五月天在线| 男女久久婷婷五月天| 色999五月色| 丁香五月婷婷色五月| 激情婷婷内射| 蜜乳9188| 婷婷四月 成人 狠狠干| 激情五月丁香婷婷夜夜操| 香蕉网久久| 男人的天堂97| 久久婷婷激情久久| 激情五月婷婷啪啪| aV欲望人妻中文字幕| 五月丁香婷婷色播无码| 色吧99| 丁香五月天日韩无码| 激情婷婷护士激情| 91在线人| 九九色video| 九 九九九AV| 五月色情婷婷| 婷婷新网址| 涩涩激情五月婷婷| 丁香婷婷久久综合在线| 涩婷婷视频快播人妻| 色欲色香,www,com| 人人超碰99| 黄页免费一级视频懂色| 69精品人妻不卡视频| 欧美WW在线网| 99亚洲精美视频在线观看| 色婷婷色九月| 激情综合国产| 影音先锋色婷婷| 五月婷在线| 婷婷五月综合婷婷| 这里只精品| 99超在线| 2020夜夜操天天爽| 久久99久久99精品免观看软件| 欧洲亚洲激情五月天在线| 亚洲人妻五月丁香婷婷| 五月停停激情网| 色深爱五月| 这里只有精品无码| 青草久久五月婷伊人| 天天综合五月| 亚洲十月婷婷综合| 操你av| 五月丁香六月婷婷亚洲综合| 五月天啪啪啪| 人人干99| 婷婷五月天久久久| 99爱精品| 风流少妇A片一区二区蜜桃 | 婷婷五月天成人动漫 | 激情五月天婷婷在线网址发给我| 天天狠狠夜夜狠狠2023| 操日视频| 久久婷婷五月天激情四射| 婷婷涩五月| 五月天com| 在线观看国产高清视频免费网站| 狠狠CAO日日穞夜夜穞AV | 碰人人操| 五月丁香激情四射综合| 婷婷五月天激情网址| 五月婷婷色男女| 色五月婷婷啪啪五月| 欧美人妻一区二区| 亚洲激情网| 亚洲AV人人操| 99性爱| 天天射影院| 97超级碰| 999久久久国产精品| AV五月丁香| 華人性愛AV在線| 玖操97| 五月天激情婷婷小说| 99免费热视频在线| 国产avapp 网| 丁香五月婷婷五月| 大陆极品少妇内射AAAAAA| 91丨九色丨国产| www,超碰| 久99久在线| 成人婷婷色五月天| 婷婷五月天美女视频| 激情五月婷婷开心网| 欧美色色色色色色色| 99国产精品久久久久久久久久久| 亚洲色在线观看| 欧美在线| 中文AV网站| 日韩在线成人电影| 婷婷五月丁香啪啪| 思思久久99热| 五月丁香亚洲五月| 五月天另类小说| 五月丁香六月色| 99热这里只有精品22| 欧美大片免费观看| 日本少妇AA一级特黄大片| 亚洲碰碰碰| 无码地址| 我要看激情五月天| 新激情五月天天在线网| 婷婷五月天AV| 熟女人妻视频| 婷婷久久婷婷| 婷婷六月啪啪| 六月婷婷狠狠| 五月丁香六月婷婷综合网站| 久久 天天| 99精品久久| 日韩av手机在线观看| 九九99在线| 五月婷婷久久综合| 色婷婷丁香五月观看| 激情五月婷婷网| 中文字幕在线资源| 免费无码毛片一区二区A片| 日笨久久网| 欧洲综合视频| 五月婷综合性中心| 欧美黄色韩日网| 亭亭五月丁香五月天激情| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 五月丁香五月激情综合色综合| 天天爽天天摸天天爱| 99热手机在线精品| 黄色三级毛片中字| 五月婷久久久| 亚洲色爽| 久久99激情丁香婷婷小说网| 五月天婷婷av| 欧美五月停| 人妻久热| 免費亭亭成人| 天天综合在线网| 色色色综合色| 五月天婷婷Av| 97操视频| 啪啪啪五月天| 久操97| 五月综合视频| 丁香六月综合激| 婷婷五月天AV网| 成人视频婷婷| 激情综合色| 狠狠狠狠狠狠草| 成人亚洲精品| 乱抡小BB| 26.uuu丁香五月婷婷| 亚洲乱码日产精品BD| av成人在线播放| 玖玖伦理电影| 五月丁香婷婷综合网| 免费观看的av| 人妻五月天激情开心网| 五月婷俺去也| 色色色色av色色色色| 99热这里都是精品| 色五月色开心开心五月| 操操啪| 国产三级秋霞| 五月天丁香网| 国产在线视频1234| 九九热视频网站| 深爱五月婷婷| 精品一二三区久久AAA片| 超碰A V在线| 天天爽成人综合网站| 人人干av| 99热这里有精品| 五月天婷婷色色网| 五月丁激情| 91狠狠色| 99视频综合网| 欧美日韩成人在线| 亚洲第一精品成人999久久精品| 色综合天天综合成人网| 丁香五月婷婷欧美成人色图| WWW.激情| 六月天婷婷| 欧美成人猛片AAAAAAA| 色五月婷婷在线| 久久九精品| 婷婷激情性爱| 国产av第一专区| 去干网av| 婷婷五月天激情小说| 一级黄在线| 激情久久五月天| 婷婷激情五月天小说校园| 五月天丁香| 色五月偷偷| 青青草日本亚洲| 操一区| www.九月婷婷丁香.com| 免費亭亭成人| 97精品欧美91久久久久久久| 国av网| 9er热在线精品视频| 五月天色综合| 婷婷最新地址| 久久激情视频| 第五色婷婷| 538在线精品| 五月婷婷啪| 狠色色狠网| 日韩婷婷| 久久久jd| 99日这里只有精品| 狠狠色婷婷| 日本一级特黄大片AAAAA级| 天天操狠狠操| www色色com| 啪啪99| 天天日夜夜帕| 曰韩少妇内射免费播放| 97人人操人人| 99热这里只有精彩| 92久久精品一区二区| 婷婷操逼| 色爱综合网|