欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

LSTM股票預(yù)測實戰(zhàn):時序特征處理決定模型上限

LSTM股票預(yù)測實戰(zhàn):時序特征處理決定模型上限 做股票預(yù)測的人十個里有八個在第一步就栽了跟頭——不是模型不夠強而是喂給模型的時序數(shù)據(jù)根本沒處理好。我去年做了一個項目任務(wù)是從雅虎財經(jīng)接口拉取美股歷史行情用LSTM預(yù)測未來幾個交易日的走勢項目標題就叫“基于時序特征處理與LSTM結(jié)合的雅虎美股數(shù)據(jù)預(yù)測”。做完之后最大的體感是LSTM本身不神秘真正決定預(yù)測質(zhì)量上限的是數(shù)據(jù)落地前那套時序特征處理有沒有做到位。這篇文章我把整個項目的設(shè)計思路、數(shù)據(jù)管線、模型搭建和踩坑記錄全部攤開講適合想入門時間序列深度學(xué)習或者正在做金融數(shù)據(jù)預(yù)測但效果一直不理想的人直接照著復(fù)現(xiàn)。1. 項目整體設(shè)計與思路拆解1.1 這到底是個什么問題不只是“預(yù)測股價”表面上看任務(wù)很清晰給一段歷史行情預(yù)測明天的收盤價。但一旦真正動手你就會發(fā)現(xiàn)“預(yù)測股價”這個表述充滿了陷阱。股價序列是非平穩(wěn)的長期趨勢、周期性波動、突發(fā)事件產(chǎn)生的跳空缺口全部混在一起更麻煩的是金融序列的信噪比極低大部分“規(guī)律”可能只是噪聲的隨機排列。所以這個項目的核心難點從來不是“跑通一個LSTM”而是怎么把原始行情轉(zhuǎn)換成模型能真正學(xué)出模式的時序特征。我還想強調(diào)一點這個項目適合作為算法研究和工程實操樣例不是說照著做就能穩(wěn)定盈利。目標應(yīng)該放在“能不能建立一套可復(fù)現(xiàn)的預(yù)測流水線”“能不能正確評估模型效果”上而不是指望一個模型成為搖錢樹。帶著這個預(yù)期去看技術(shù)細節(jié)會理性很多。1.2 為什么是LSTM序列建模的選型邏輯處理時間序列的經(jīng)典方法很多ARIMA、GARCH、狀態(tài)空間模型都在傳統(tǒng)金融分析里占據(jù)過重要位置。但這些模型通常對數(shù)據(jù)有較強的假設(shè)比如線性關(guān)系、平穩(wěn)性、特定分布而股價數(shù)據(jù)恰恰在大部分時間不滿足這些假設(shè)。傳統(tǒng)機器學(xué)習模型如果直接拿“過去幾天的數(shù)值”當特征特征之間高度相關(guān)而且完全丟失了“時間順序”信息模型無法區(qū)分“三天前的高點”和“昨天的高點”對今天的影響有什么不同。LSTM長短期記憶網(wǎng)絡(luò)是RNN的一種變體它的核心優(yōu)勢在于門控機制。簡單說細胞狀態(tài)負責記住長期信息遺忘門決定哪些歷史信息可以丟棄輸入門決定哪些新信息值得寫入輸出門控制當前狀態(tài)輸出多少。這種設(shè)計讓模型能在幾十個時間步的窗口內(nèi)保留有效信息同時避免普通RNN訓(xùn)練時常見的梯度消失問題。用個生活化的類比LSTM就像一個有記憶管理習慣的人重要的信息長期不遺忘無效信息自動清理從而在長序列上不“斷片”。當然LSTM也不是銀彈。它對時間步長的長度敏感對特征的量綱和分布敏感如果直接把原始收盤價一股腦塞進去模型通常只會學(xué)到“預(yù)測值約等于上一個時間步的值”這種偷懶的映射。因此在LSTM之前必須做時序特征處理。1.3 時序特征處理在整個流程中的角色時序特征處理在這個項目里包含幾層意思第一是讓數(shù)據(jù)平穩(wěn)化比如差分、計算收益率第二是讓量綱統(tǒng)一比如歸一化第三是構(gòu)造更有信息量的特征比如滾動統(tǒng)計量、技術(shù)指標、日歷特征第四是把“過去一段時間”組織成監(jiān)督學(xué)習的樣本也就是滑動窗口。這一系列步驟決定了模型看到的是什么。如果輸入是原始價格網(wǎng)絡(luò)很容易學(xué)到“明天的價格約等于今天的價格”因為相鄰交易日價格變化往往很小這個“復(fù)制上一天”的預(yù)測在MSE指標上已經(jīng)足夠低。但這樣的模型沒有實際價值它只是在擬合一個近乎恒等的映射。反過來如果用收益率作為輸入和預(yù)測目標模型被迫去學(xué)習“漲跌的趨勢和幅度”信號的辨識度更高雖然預(yù)測難度更大但至少方向是對的。我個人的經(jīng)驗是時序預(yù)測項目里特征工程的收益往往比換模型結(jié)構(gòu)更明顯。這也是我把“時序特征處理”和“LSTM”放在同等位置的原因。1.4 項目整體技術(shù)路線整個項目分為五個環(huán)節(jié)數(shù)據(jù)獲取、數(shù)據(jù)清洗與特征構(gòu)造、數(shù)據(jù)集生成、LSTM建模與訓(xùn)練、結(jié)果評估與可視化。數(shù)據(jù)層用雅虎財經(jīng)接口拉取日線行情處理層用pandas完成清洗、差分、滾動統(tǒng)計和歸一化建模層用Keras搭建LSTM評估層同時看回歸誤差和方向準確率。下文我會按這個鏈路逐步展開并提供完整代碼和參數(shù)選擇依據(jù)。2. 數(shù)據(jù)獲取與時序特征工程實操2.1 從雅虎財經(jīng)拉取歷史行情數(shù)據(jù)雅虎財經(jīng)的公共歷史數(shù)據(jù)接口非常方便Python里一般直接用yfinance封裝。安裝很簡單pip install yfinance pandas numpy matplotlib scikit-learn tensorflow拉取數(shù)據(jù)的代碼如下import yfinance as yf import pandas as pd # 示例標的代碼實際運行時請?zhí)鎿Q為你要研究的美股代碼 df yf.download(DEMO, start2015-01-01, end2024-12-31, auto_adjustTrue) df df[[Open, High, Low, Close, Volume]].copy() df.dropna(inplaceTrue) print(df.head()) print(df.tail())有幾個細節(jié)值得注意。auto_adjustTrue表示自動處理復(fù)權(quán)也就是把分紅、拆股造成的價格跳空修正掉。如果不做復(fù)權(quán)模型會把一次拆股導(dǎo)致的“價格腰斬”當作文本上的真實下跌明顯是錯誤信號。收盤價這里用調(diào)整后價格。拉數(shù)據(jù)時可能遇到兩種情況一是標的代碼過期或拼寫錯誤會返回空數(shù)據(jù)二是網(wǎng)絡(luò)環(huán)境不穩(wěn)定導(dǎo)致下載失敗。我的處理方案是先判斷df是否為空為空就直接退出避免后續(xù)流程在一堆NaN上跑出可疑結(jié)果。不要迷信接口的完整性拉下來之后必須做基礎(chǔ)體檢檢查行數(shù)、檢查日期是否連續(xù)、檢查有無NaN。如果網(wǎng)絡(luò)實在不穩(wěn)定還有一個穩(wěn)妥的替代方案直接把歷史行情導(dǎo)出成CSV放在本地讀取或者使用本地財經(jīng)數(shù)據(jù)庫。數(shù)據(jù)源不必死磕接口關(guān)鍵是數(shù)據(jù)質(zhì)量和時間跨度。2.2 數(shù)據(jù)清洗與預(yù)處理先做減法再做加法行情數(shù)據(jù)本身是比較規(guī)整的但仍然有幾件必須做的事。第一檢查并處理缺失值。美股偶爾會因為停牌、數(shù)據(jù)源異常產(chǎn)生空行。處理方式通常是刪除或者用前向填充。我個人傾向于刪除因為金融數(shù)據(jù)造假填充反而會引入虛假規(guī)律尤其是連續(xù)停牌期間前向填充會把“無交易”偽裝成“價格不變”這是錯誤的。第二刪除極端離群值。某些異常交易日會出現(xiàn)遠超正常波動幅度的價格跳動可能是數(shù)據(jù)錯誤也可能是真實的極端行情。這一塊要謹慎我的原則是只有明顯超出歷史波動范圍且無法合理解釋的數(shù)據(jù)才刪除幅度在正常范圍內(nèi)的一律保留因為模型需要見過各種市場狀態(tài)。第三做平穩(wěn)化轉(zhuǎn)換。最常用的是對收盤價取差分或計算百分比收益率。差分公式是 diff_t close_t - close_{t-1}百分比收益率是 return_t (close_t - close_{t-1}) / close_{t-1}。收益率天然消除了絕對價格水平的影響也更接近金融研究的常用口徑。第四量綱歸一化。LSTM對輸入特征的尺度敏感如果Close是幾千美元Volume是幾千萬股模型訓(xùn)練時大數(shù)值特征會主導(dǎo)梯度。我用MinMaxScaler把所有特征壓縮到0到1之間。這里要特別強調(diào)一個很多教程都會犯的錯誤縮放器必須在訓(xùn)練集上fit再transform訓(xùn)練集和測試集而不是先對全量數(shù)據(jù)fit再劃分。如果先fit全量數(shù)據(jù)均值和最小最大值里包含了未來信息測試集信息在訓(xùn)練階段就被模型間接看到了這屬于信息泄漏會讓評估結(jié)果虛高。2.3 時序特征構(gòu)造滑動窗口、差分、技術(shù)指標這一節(jié)是整個項目里最能體現(xiàn)“時序特征處理”價值的地方也是我和只調(diào)LSTM的做法的核心區(qū)別。我構(gòu)造了下面幾類特征。第一類價格本身。收盤價是最基礎(chǔ)的信號但我不直接使用原始值而是使用滾動均值、滾動標準差等方式描述它。滾動均值MA10代表近期趨勢方向滾動標準差Std10代表近期波動程度。第二類收益率相關(guān)特征。包括單日收益率、滾動收益率均值、滾動收益率標準差。收益率把絕對價格變成相對變化能明顯緩解LSTM“復(fù)制上一幀”的惰性問題。第三類交易量特征。成交量是價格之外最核心的市場參與度信息。量價配合往往能揭示市場情緒比如放量突破、縮量回調(diào)等。我構(gòu)造了成交量變化率以及成交量的滾動均值。第四類趨勢特征。可以用MACD、RSI等技術(shù)指標作為額外特征。技術(shù)上要注意的是這些指標必須只能用歷史數(shù)據(jù)計算不能用未來數(shù)據(jù)否則就引入了未來函數(shù)。我用pandas的rolling、ewm等方法計算天然只使用當前及過去的數(shù)據(jù)不會前視。構(gòu)造代碼示意df[return_1] df[Close].pct_change() df[diff_1] df[Close].diff() df[ma10] df[Close].rolling(10).mean() df[std10] df[Close].rolling(10).std() df[vol_ret] df[Volume].pct_change() df[vol_ma10] df[Volume].rolling(10).mean() # 去掉因為滾動計算產(chǎn)生的NaN行 df.dropna(inplaceTrue)這里的窗口10天是一個經(jīng)驗值代表大約兩周的交易周期。你可以用20、30做對比實驗但不要一次引入太多不同窗口的同類特征會造成特征冗余。特征不是越多越好LSTM吃進去的每一維特征都要承擔信息冗余特征只會增加過擬合風險。2.4 數(shù)據(jù)切分請務(wù)必不要隨機打亂時間序列監(jiān)督學(xué)習的第一步是把“過去N天”的數(shù)據(jù)拼成一個樣本把“未來第N1天”作為標簽。我用60天的窗口。為什么是60因為美股一個季度大約有63個交易日60天窗口能讓模型同時看到兩個月的趨勢和一個季度的周期輪廓。窗口太短模型學(xué)不到周期太長又會引入陳舊信息60只是一個合理的起點你可以用30、90做敏感性測試。構(gòu)建樣本的代碼import numpy as np def make_sequences(data, window60): X [] y [] for i in range(window, len(data)): X.append(data[i-window:i]) # 默認預(yù)測下一個時間步的Close y.append(data[i, 0]) return np.array(X), np.array(y)注意這個函數(shù)里data的列順序很關(guān)鍵我習慣把Close放在第一列這樣y取第0列就是Close。然后是數(shù)據(jù)集劃分。這里有一條鐵律絕對不能使用隨機切分必須按時間順序切分。金融時序里有強烈的時間依賴性如果隨機打亂訓(xùn)練集里會出現(xiàn)未來數(shù)據(jù)測試集里會出現(xiàn)過去數(shù)據(jù)模型相當于在“開著天眼考試”評估分數(shù)再好看也沒有意義。train_size int(len(X) * 0.8) X_train, X_test X[:train_size], X[train_size:] y_train, y_test y[:train_size], y[train_size:]比例用80/20。80%作為訓(xùn)練20%作為測試這20%要是最近期的數(shù)據(jù)因為股票預(yù)測的實際場景就是“用歷史擬合對最新時刻做推斷”。3. LSTM模型設(shè)計與訓(xùn)練細節(jié)3.1 模型輸入到底長什么樣三維張量很多人第一次寫LSTM都會在輸入維度上卡住。LSTM的輸入必須是三維張量形狀是(samples, timesteps, features)。在我們這個項目里samples是樣本數(shù)量timesteps是窗口長度60features是特征維度比如5個。也就是說每一個訓(xùn)練樣本是一個60×5的矩陣代表過去60天每天的5個特征值。X_train.shape應(yīng)該長這樣(樣本數(shù), 60, 特征數(shù))。如果這個形狀不對模型根本跑不起來。常見錯誤是把二維數(shù)組直接丟給LSTMKeras會直接報維度錯誤。構(gòu)建完數(shù)據(jù)后先打印一下X_train.shape這一步能省掉很多調(diào)試時間。3.2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計從單層到多層我采用兩層LSTM加Dropout的結(jié)構(gòu)。from tensorflow.keras.models import Sequential from tensorflow.keras.layers import LSTM, Dense, Dropout model Sequential() model.add(LSTM(64, return_sequencesTrue, input_shape(X_train.shape[1], X_train.shape[2]))) model.add(Dropout(0.2)) model.add(LSTM(32, return_sequencesFalse)) model.add(Dropout(0.2)) model.add(Dense(16, activationrelu)) model.add(Dense(1))第一層LSTM有64個單元return_sequencesTrue表示返回所有時間步的隱藏狀態(tài)這樣第二層LSTM能繼續(xù)處理完整的時間信息。第二層32個單元return_sequencesFalse只返回最后一個時間步的輸出接一個全連接層做最終回歸。Dropout設(shè)置在0.2左右防止過擬合。這里有個經(jīng)驗不要一上來就搭三層四層LSTM。金融時序樣本量一般不大層數(shù)加深之后參數(shù)量激增很容易在訓(xùn)練集上表現(xiàn)很好、測試集上崩塌。我在這個項目里嘗試過三層LSTM結(jié)果是訓(xùn)練Loss降得很快但測試集方向準確率反而下降。所以兩層是更穩(wěn)妥的起點。3.3 訓(xùn)練參數(shù)學(xué)習率、批次大小、早停編譯階段我用Adam優(yōu)化器默認學(xué)習率0.001損失函數(shù)用MSE同時監(jiān)控MAE。MSE對“大誤差”敏感能讓模型優(yōu)先擬合那些偏離明顯的樣本MAE則便于直觀理解平均誤差水平。訓(xùn)練時我設(shè)置了EarlyStopping監(jiān)控驗證集Loss連續(xù)20個epoch沒有改善就停止并且恢復(fù)最優(yōu)權(quán)重。這樣可以省掉很多無效訓(xùn)練時間也避免過擬合。from tensorflow.keras.callbacks import EarlyStopping early_stop EarlyStopping( monitorval_loss, patience20, restore_best_weightsTrue ) history model.fit( X_train, y_train, epochs100, batch_size32, validation_split0.1, callbacks[early_stop], verbose1 )batch_size32是均衡穩(wěn)定性和訓(xùn)練速度的選擇。金融時序樣本通常上萬條32到64之間都可以。學(xué)習率對收斂影響很大如果發(fā)現(xiàn)Loss劇烈震蕩可以降到0.0005如果收斂太慢可以適當提升但一般不建議超過0.01。注意validation_split0.1是在訓(xùn)練集內(nèi)部再切出一部分做驗證它依然保持了時序順序Keras會取最后10%當驗證集不會亂序。3.4 損失函數(shù)與評估指標的選擇股價預(yù)測的評估不能只看MSE。因為股價本身數(shù)值很大MSE的絕對值動輒幾十幾百看不出模型好壞。我同時看四個指標RMSE均方根誤差單位跟股價一致直觀。MAE平均絕對誤差同樣直觀。MAPE平均絕對百分比誤差反映相對誤差便于在代碼之間橫向?qū)Ρ取A方向準確率統(tǒng)計預(yù)測方向與真實方向一致的比例這才是交易場景里更關(guān)心的指標。方向準確率計算需要先判斷真實價格是漲還是跌然后判斷預(yù)測價格是漲還是跌兩者一致的比例就是DA。方向準確率的計算代碼有很多細節(jié)我后續(xù)在完整代碼里給一個可用的實現(xiàn)。很多LSTM股價預(yù)測項目只看RMSE結(jié)果RMSE很低大家很高興實際看曲線發(fā)現(xiàn)預(yù)測值只是把真實線向右平移了一天方向準確率可能不到50%這種模型一點實戰(zhàn)價值都沒有。所以評估體系必須把方向準確率放進來。4. 完整實現(xiàn)與關(guān)鍵代碼解析4.1 環(huán)境準備在開始完整代碼前先列一下依賴pip install yfinance pandas numpy matplotlib scikit-learn tensorflow版本方面TensorFlow用2.xKeras集成在TensorFlow里不需要單獨安裝。yfinance建議用最新版老版本偶爾有接口字段變化問題。硬件方面這個項目的數(shù)據(jù)量用CPU也能跑但訓(xùn)練LSTM時如果有GPU會快很多。我用的是普通筆記本訓(xùn)練100個epoch加早停大約幾分鐘到十幾分鐘完全可以接受。4.2 數(shù)據(jù)獲取與特征構(gòu)建代碼完整特征構(gòu)建代碼import yfinance as yf import pandas as pd import numpy as np from sklearn.preprocessing import MinMaxScaler # 1. 獲取數(shù)據(jù) df yf.download(DEMO, start2015-01-01, end2024-12-31, auto_adjustTrue) df df[[Open, High, Low, Close, Volume]].copy() df.dropna(inplaceTrue) # 2. 時序特征工程 df[return_1] df[Close].pct_change() df[diff_1] df[Close].diff() df[ma10] df[Close].rolling(10).mean() df[std10] df[Close].rolling(10).std() df[vol_ret] df[Volume].pct_change() df[vol_ma10] df[Volume].rolling(10).mean() df.dropna(inplaceTrue) # 3. 特征列 feature_cols [Close, return_1, diff_1, ma10, std10, vol_ret, vol_ma10] # 4. 先切分再歸一化 train_size int(len(df) * 0.8) df_train df.iloc[:train_size] df_test df.iloc[train_size:] scaler MinMaxScaler() scaled_train scaler.fit_transform(df_train[feature_cols]) scaled_test scaler.transform(df_test[feature_cols])這里的關(guān)鍵就是先切分再fit。scaled_test用的scaler是訓(xùn)練集fit出來的而不是在全部數(shù)據(jù)上fit的。為什么這么重要因為MinMaxScaler需要知道特征的最小值和最大值如果測試集提前參與了計算模型在訓(xùn)練階段就“見過”測試集的范圍分布相當于考試時偷看了一眼答案。4.3 數(shù)據(jù)集構(gòu)建代碼構(gòu)建序列數(shù)據(jù)集時要處理好兩個問題第一窗口長度第二訓(xùn)練集和測試集的構(gòu)造不能交叉。def make_sequences_from_scaled(scaled, window60): X [] y [] for i in range(window, len(scaled)): X.append(scaled[i-window:i]) y.append(scaled[i, 0]) # 第0列是歸一化后的Close return np.array(X), np.array(y) X_train, y_train make_sequences_from_scaled(scaled_train, window60) X_test, y_test make_sequences_from_scaled(scaled_test, window60) print(X_train.shape, y_train.shape) print(X_test.shape, y_test.shape)有人會擔心測試集的前60行因為沒有完整的歷史窗口而無法生成樣本這是正常的。測試集的有效樣本是從第60天開始的前面的數(shù)據(jù)作為窗口背景被消耗掉了。這里還有一個細節(jié)因為歸一化是在切分后分別進行的df_train和df_test被分別轉(zhuǎn)換但轉(zhuǎn)換后都扔進了同一個滑動窗口函數(shù)窗口內(nèi)的特征值域都是0到1一致性沒有問題。4.4 模型構(gòu)建與訓(xùn)練代碼把前面的模型定義和訓(xùn)練代碼整合在一起from tensorflow.keras.models import Sequential from tensorflow.keras.layers import LSTM, Dense, Dropout from tensorflow.keras.callbacks import EarlyStopping model Sequential() model.add(LSTM(64, return_sequencesTrue, input_shape(X_train.shape[1], X_train.shape[2]))) model.add(Dropout(0.2)) model.add(LSTM(32, return_sequencesFalse)) model.add(Dropout(0.2)) model.add(Dense(16, activationrelu)) model.add(Dense(1)) model.compile(optimizeradam, lossmse, metrics[mae]) early_stop EarlyStopping( monitorval_loss, patience20, restore_best_weightsTrue ) history model.fit( X_train, y_train, epochs100, batch_size32, validation_split0.1, callbacks[early_stop], verbose1 )訓(xùn)練過程里我習慣觀察兩個東西val_loss驗證集損失和train_loss訓(xùn)練集損失。如果train_loss一路下降但val_loss先降后升說明過擬合開始如果兩個都不降先檢查數(shù)據(jù)是否包含NaN再嘗試降低學(xué)習率。訓(xùn)練完之后可以畫出Loss曲線import matplotlib.pyplot as plt plt.plot(history.history[loss], labeltrain_loss) plt.plot(history.history[val_loss], labelval_loss) plt.legend() plt.show()這條曲線能直觀反映模型的收斂狀態(tài)。如果train_loss和val_loss都穩(wěn)定下降并且最終貼近說明訓(xùn)練基本健康。4.5 預(yù)測、反歸一化與可視化模型預(yù)測得到的結(jié)果是歸一化后的Close值不能直接用來跟真實股價對比必須先反歸一化。這里我單獨為Close建一個scaler更簡潔。思路是從原始df中取Close列單獨fit一個MinMaxScaler然后用它完成y的逆變換。close_scaler MinMaxScaler() close_values df[Close].values.reshape(-1, 1) close_scaler.fit(close_values) # 注意這里用訓(xùn)練集fit的scaler對y_train也做一遍逆變換測試集同理 # 但更嚴謹?shù)氖怯糜?xùn)練集Close單獨fit的scaler上面這版有一個隱患close_scaler是全量數(shù)據(jù)的Close擬合的測試集信息又泄漏了。如果要徹底嚴謹應(yīng)該只用訓(xùn)練集Close擬合。train_close_values df[Close].values[:train_size].reshape(-1, 1) close_scaler MinMaxScaler() close_scaler.fit(train_close_values) y_train_inv close_scaler.inverse_transform(y_train.reshape(-1, 1)) y_pred_inv close_scaler.inverse_transform(y_pred.reshape(-1, 1)) y_test_inv close_scaler.inverse_transform(y_test.reshape(-1, 1))這里我用了一個單獨scaler而不是前面全部特征的scaler是因為只關(guān)心Close的還原。如果用全特征scaler對y做逆變換需要把y向量還原成完整特征向量的形狀再取第一列非常麻煩也沒必要。單獨訓(xùn)練一個Close縮放器代碼更清晰也不會影響特征縮放的效果。最后可視化預(yù)測序列和真實序列plt.figure(figsize(12, 5)) plt.plot(y_test_inv, labelReal Close, colorblack) plt.plot(y_pred_inv, labelPredicted Close, colorred, linestyle--) plt.legend() plt.title(DEMO Stock Close Price Prediction) plt.show()看到這張圖你就知道模型有沒有出現(xiàn)“滯后預(yù)測”的問題。如果預(yù)測線和真實線看起來非常貼近但仔細看預(yù)測線整體向右平移了一天那不是預(yù)測成功而是模型學(xué)會了“照抄上一天”這是LSTM股價預(yù)測里最典型的假成功。4.6 方向準確率計算我加上一個方向準確率指標def direction_accuracy(y_true, y_pred): true_diff np.diff(y_true.flatten()) pred_diff np.diff(y_pred.flatten()) correct np.sign(true_diff) np.sign(pred_diff) return np.mean(correct) da direction_accuracy(y_test_inv, y_pred_inv) print(fDirection Accuracy: {da:.4f})這個指標比RMSE更貼近交易場景。我之前做過一個模型RMSE低到以為自己要“起飛”了結(jié)果方向準確率只有49.6%等于拋硬幣。后來我換成收益率特征加多步預(yù)測方向準確率才勉強到53%左右。在金融預(yù)測里能把方向準確率穩(wěn)定做到52%以上已經(jīng)算有信息量了。5. 常見問題、踩坑記錄與排查思路5.1 預(yù)測結(jié)果“神預(yù)測”滯后性問題我在前面反復(fù)提的滯后問題是LSTM股票預(yù)測項目里最普遍的假象。具體表現(xiàn)是真實價格下跌時預(yù)測線也在下跌但總是慢一步真實曲線出現(xiàn)拐點預(yù)測線還在沿用前一天的方向。整體看起來“高度擬合”實際模型什么都沒學(xué)會只是把上一時刻的價格稍微平滑了一下輸出等于輸入的延遲版本。造成這個現(xiàn)象的根本原因是輸入里有強自相關(guān)的原始價格或滯后特征模型只要學(xué)到p_{t1}p_t就能讓MSE足夠低。優(yōu)化器很聰明它發(fā)現(xiàn)這個“作弊解”能讓損失快速下降于是不再去學(xué)習更復(fù)雜的模式。處理方法我試下來比較有效的有幾招。第一預(yù)測目標從“收盤價”改成“未來收益率”避免模型直接回歸絕對價格。第二輸入特征里盡可能使用差分、收益率、滾動統(tǒng)計量減少原始價格的主導(dǎo)性。第三預(yù)測多步而不是單步比如預(yù)測未來3天收益的方向模型無法靠簡單滯后通過評估。第四用方向準確率作為主評估指標如果DA低于51%直接判定模型無效。5.2 Loss不下降或震蕩嚴重訓(xùn)練時Loss完全不下降最常見的原因是數(shù)據(jù)里有NaN或inf梯度計算結(jié)果變成NaN模型直接罷工。解決辦法很簡單檢查數(shù)據(jù)在特征構(gòu)造后打印df.isnull().sum()確認沒有缺失值再進入訓(xùn)練。Loss震蕩嚴重通常是學(xué)習率設(shè)置不當。Adam默認0.001在多數(shù)情況下可以但如果數(shù)據(jù)分布復(fù)雜震蕩明顯就把學(xué)習率降到0.0005或0.0001。還有一種情況是batch_size太小單個batch的梯度噪聲太大可以嘗試把batch_size調(diào)到64或128。還有一個容易被忽略的問題窗口長度太短。如果窗口只有5天模型看到的信息太少很難學(xué)到穩(wěn)定模式。窗口長度影響訓(xùn)練穩(wěn)定性如果Loss一直不降可以試試拉長窗口到60或90。5.3 數(shù)據(jù)泄漏歸一化和切分順序錯了我在網(wǎng)上看過很多LSTM教程都在全量數(shù)據(jù)上做MinMaxScaler然后切分訓(xùn)練集和測試集。這個做法在傳統(tǒng)機器學(xué)習里影響可能小一些但在時序預(yù)測里是明確的bug。測試集參與了scaler的fit等于測試集的價格區(qū)間、趨勢信息在訓(xùn)練階段就被模型間接知道了。正確順序是先按時間切分再在訓(xùn)練集上fit縮放器用同一個縮放器transform測試集。評估時反歸一化用的Close縮放器也只能在訓(xùn)練集上fit。這個原則同樣適用于標準化、PCA等所有需要從數(shù)據(jù)中學(xué)習參數(shù)的預(yù)處理步驟。5.4 模型過擬合與泛化問題金融數(shù)據(jù)噪聲高LSTM很容易過擬合。我的經(jīng)驗是如果訓(xùn)練集Loss持續(xù)下降而驗證集Loss在某個epoch后開始反彈說明模型開始背誦訓(xùn)練數(shù)據(jù)。這時優(yōu)先降低模型復(fù)雜度比如LSTM單元從64降到32或者直接刪掉一層Dropout可以提高到0.3訓(xùn)練epochs不要硬拉靠早停機制兜底。另外不要只看一組數(shù)據(jù)的評估結(jié)果。市場狀態(tài)會變化同一個模型在上漲趨勢測試集上可能DA很高在橫盤階段可能直接失效。穩(wěn)妥的做法是把時間窗口滾動起來比如用過去3年訓(xùn)練未來3個月測試然后滾動到下一段重復(fù)多次取平均指標。這樣得到的評估結(jié)論才比較可信。5.5 接口拉取失敗和數(shù)據(jù)質(zhì)量問題yfinance偶爾會拉不到數(shù)據(jù)原因包括標的代碼不存在、時間范圍超出數(shù)據(jù)覆蓋、網(wǎng)絡(luò)環(huán)境受限等。我的排查步驟是先打印原始返回數(shù)據(jù)如果df為空檢查代碼是否拼寫正確嘗試更換時間范圍如果仍然失敗就改從本地CSV讀取。數(shù)據(jù)源本身不是這個項目的核心代碼跑通和流程正確更重要。數(shù)據(jù)質(zhì)量方面還要留意一點部分交易日會出現(xiàn)極低的成交量或價格紋絲不動的情況。這些通常來自長期停牌或者流動性極差的標的。做預(yù)測項目時盡量選擇成交活躍、歷史長度足夠的大票樣本質(zhì)量直接決定模型能不能學(xué)到有效模式。6. 一些后續(xù)可以嘗試的方向這次項目做完之后我嘗試過幾個擴展方向簡單說一下結(jié)論。一個是加更多類型特征比如把開盤價、最高價、最低價都納入特征矩陣并構(gòu)造高低價差、振幅、日內(nèi)波動率等。特征是增加了但模型提升并不明顯因為原始OHLC之間本身就高度相關(guān)增加維度主要是給模型更多“觀察角度”而非新信息。另一個方向是多步預(yù)測。單步預(yù)測只能看明天實操價值有限??梢园涯P透某奢敵鑫磥?天的預(yù)測結(jié)果或者用序列到序列的方式用過去60天預(yù)測未來5天。這樣做的難點是標簽構(gòu)造和輸出層設(shè)計但一旦跑通就能直接用于短周期決策參考。還有一個方向是嘗試Transformer或注意力機制。注意力機制可以顯式建模“過去哪些時間步對當前預(yù)測更重要”比LSTM的隱式記憶更直觀。但Transformer對數(shù)據(jù)量要求更高在中小規(guī)模數(shù)據(jù)集上不一定比LSTM強而且訓(xùn)練更耗時。如果是為了學(xué)習完全可以玩一玩如果是求穩(wěn)LSTM加特征處理已經(jīng)夠用了。我個人在實際操作中的體會是時序預(yù)測項目的成敗模型結(jié)構(gòu)最多決定上限的一小部分數(shù)據(jù)質(zhì)量、特征構(gòu)造和評估方式才是真正的分水嶺。尤其是“預(yù)測滯后”這個問題十個LSTM股票預(yù)測項目里至少有五個會栽在這一步。如果你也在做類似項目我建議先不要急著一上來堆算力堆模型先把特征工程做扎實把方向準確率指標擺到桌面上再談優(yōu)化。另外所有金融模型的效果都必須經(jīng)過滾動回測和嚴謹評估千萬不要因為單次測試集上的數(shù)字好看就過度樂觀。最后再分享一個小技巧實驗過程中把每次的特征組合、超參數(shù)和評估指標記錄在一個表格里復(fù)現(xiàn)和調(diào)優(yōu)會高效很多這個習慣能幫你省掉大量重復(fù)勞動。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色五月综合| 五月天涩涩| 久久久婷丁香五月| 丁香五月六月欧美| 99玖玖在线视频| 9精品在线| 9久热| 天天日天天插| 五月丁香另类网| 久久久久婷| 国产精品人妻在线网址| Av性爱网站| 久久久久久久久久人妻| 五月激情婷婷在线| 日韩欧美成人网| 婷婷五月天网址| 日韩色色色色色| 五月丁香六月婷婷综合网| 欧美色五月天| 香蕉久久国产AV一区二区| 国产又粗又大又爽又黄| 久9久成人精品视频| 超碰亚洲天堂| 亚洲六月色| 久碰视频| 大香蕉伊然在亚洲90| 六月丁香婷婷大香蕉| 黄色成人网站在线播放| 五月天激情无码高清| 99久在线精品99re8| 久久婷婷亚洲| 国产超碰av| 五月婷免费视频| 五月天综合久久丁香91| 亚洲、热| 99综合| 婷婷五月综合国产精品| 成人短视频在线| Va另类视频| 久re热视频| 激情综合五月婷婷| 婷婷久久性爱| 五月激情婷婷六月| 亚洲经典三级| 九九操操| 草综合14| 尤物一区二区| 色五月xxx| 桃色激情网| 伊人色综合网| 色5月婷婷色| 亚洲综合色丁香五月天| 天天色天天操天天射| 中文AV网站| 一区色色色色网| 99热九九热| 色九九综合| 岛国资源站| 色日本丁香婷婷| 亚洲综合另类| 日本婷婷色| 色之综合网| 人人视频人人干人人做| 欧美日韩成人综合9| 热九九精品| 成人超碰Av| 婷婷五月天av| 国产操碰| 无套内射极品大美女| 欧美大肥婆大肥BBBBB| 97久久五月丁香婷婷| 99热国产这里只有| 五月天婷婷在线播放| 成人AV综合在线| 日本www五月婷婷| 婷婷伊人综合中文字幕| 五月天另类图片区99| 久久久99精品| 国产免费性爱| 99精品色色| 久热黄色| 久久精品婷婷五月丁香| 第四色五月婷婷| 日本久久久97| 都市激情小说婷婷| 免费看欧美成人A片无码| 亭亭五月基地在线| 色婷婷裸体色性在线| 另类少妇人与禽zOZZ0性伦| 五月天久久www| 成人短视频免费| 久久三级视频| 开心五月婷婷激情| 激情文学第四色婷婷丁香五月| 色偷偷狠狠| 最近中文字幕2019视频1| 五月婷啪| 激情五月天激情小说| 亚洲精品无AMM毛片| 久久久人妻不卡| 亚洲成人高清在线| 五月丁香婷婷在线| 五月激情六月综合| 26uuu四色| 99综合| 欧美熟女99| www久久久| 婷婷激情图片| 天天肏天天肏天天肏| 国产午夜一区二区三区| 激情玖玖综合网| 丁香五月婷婷激情视频播放| 婷婷六月丁香五月图区| 婷婷六月中文字幕| 99久久国产综合精品五月天喷水\| 久久久久综合激动五月天| 婷婷开心激情| 秋霞学生妹一二级| 99这里只有精品| 日韩成人无码人妻| 能直接看的av网站| 精品无码色| 五月丁香六月婷婷网| 五月天丁香网站| 色色五月天丁香| 国产成人av在线播放| 97碰碰在线观看视频| 亚洲殴洲精品Av在线| 天天舔天天摸天天透| 欧美黄色一级录像| 五月综合婷婷五月| 成人五月丁香社区| 色婷婷激情| 六月丁香啪| 久久久噜噜噜久久人妻| 激情五月天啪啪| 无码AV免费精品一区二区三区| 思思99精品视频在线观看| 五月色综合| 亚洲五月天综合色| 久久综合五月天激情小说网站| 激情综合丁| 日韩一级| 无码人妻激情| 色五月天影视| 日韩乱轮AV| 五月天激情av| 婷婷丁香九月| 亚洲成人网站在线观看| 99热日韩| 91一起操| 亚洲成人影视在线| 99精品热| 99这里有精品视频3| 午夜性做爰电影| 美女要搞搞天天搞搞搞网站| 国产色香蕉精品五夜婷| 丁香五月婷久久| 99爱这里只有精品| 91精品久| 成人av在线网站| www.粉嫩av.com| 精品一二三区久久AAA片| 99精品爱| 9191avse| 丁香激情综合| 激情综合区| 夜夜人妻五月天| 亚洲午夜国产成人电影VA国产欧…| 激情五月丁香综合网站| 丁香五月天堂| 九九无毛| 日本色道视频网站| 亚洲欧州色情在线观看| 亚洲午夜AV| 国产3p露脸普通话对白| 婷婷五月天亚洲| 91爱啪啪| 久久青草国| 日韩婷婷| 亚洲 五月 婷婷 成人| 99色五月| 日逼AV影音先锋男人资源站| 婷婷丁香宗合888| 婷婷区日本| 9热在线视频精品| 天天色综网| 日日肏夜夜干| 怡红院 久久| 色九九综合色| 伊人五月天在线| 99re热视频| 日韩在线99| 亚洲成人免费电影| www色五月| 五月婷视频久久| 亚洲成人在线电影网站| 色五月婷婷色| 激情六月色| 97人人操人人爽| 成人在线二区| 久久久噜噜噜久久人妻| 五月丁香婷婷成人网| 五月丁香六月激情综合网| 亚洲精品**不卡在线播he| 影音先锋四区| 五月丁香婷婷成人网| 色,激情五月天| 狠狠爱深色婷婷综合| 成人婷99最新| 五月婷婷无码| 国产精品久久久99视频| 伊人色综合久久久| 精品九九九久| 无码激情AAAAA片-区区| 激情欧美五月丁香| 久re热视频| 色欲香综合网| 亚洲网站在线鸭子av| 五月丁香六月婷婷综合| 五月婷婷香蕉视频| 日日干天天| 五月婷激情| 婷婷伊人激情婷婷| 天天日日夜夜爽| 五月色婷丁香| 五月激情四射网站| 99在线精品免费视频| 色色99| 99热精品综合| 五月六月丁香婷婷在线观看| 久久99久久99久久99人受| 涩 五月 婷婷 狠狠| 色婷婷成人做爰A片免费看网站| 黄网免费看| 5月婷婷激情在线| 五月婷婷精品视频| 五月天天丁香婷婷在线中| 国产精品丝| 狠狠色综合久久久久| 九九热精品在线| 六月激情综合| 丁香婷婷深情五月亚洲| av操一操| 久久色这里只有精品| 五月久久噜噜| 狠狠做六月爱婷婷综合aⅴ| 9伊人网| 日韩欧美成人网| 欧美日本日韩| 一本大道熟女人妻中文字幕在线| 欧美精品99久久久| 大香蕉综合| 中文字幕,综合,91| 99热这里只有精品86| 噜噜噜噜在线| 激情丁香淫荡婷婷| 婷婷伊人激情婷婷| 丁香六月婷婷综合麻豆| 免费精品66| 26uuu国自产精品| 亚洲综合一区二区| 久久久久亚洲AV无码网影音先锋| 久re热视频| 91fuliwang| 噼里啪啦完整版中文在线观看 | 狠狠色综合网| 欧美噜噜噜草| 丁香午月AV中文字幕| 日本久久99| 亚洲色碰| 欧美精品999| 超碰com| 26uuu偷拍亚洲欧洲综合| 久久久久久久久久久久久久久久久精典| 国产亚洲色婷婷久久99精品91| 久久九九99| 激情色色| 多精窝99在线视频| www,色中色| 777精品成人a v久久| 99精品视频在线免费观看| 久青青久| 99热99精品在线观看| 很很干在线视频| 久热这里精品免费| 五月丁香六月婷婷的女人| 激情九九综合网| 天天色综合综合| 中文字幕性爱丰满| 五月丁香亚洲婷婷| 极品另类| 亚洲中文字幕AV| 九热免费视频| 青草五月天| www.99视频| 99热老司机| 丁香五月日韩| 天天操综合网| 91男同视频| 丁香五月狠狠在线观看| 色婷婷丁香社综合| 色色九九五月天 | 操逼亚洲天堂| 五月丁香六月婷婷成人| 五月婷婷干干干| 26uuu.| 九九热99精品在线| 天天舔天天爽| 久久五月天婷婷| 激情综合网激情五月天| 激情综合五月丁香六月婷婷| 五月天婷婷丁香人人操91| 激情丁香久久| 色色热99| 99热99热在线观看| 99av视频| 综合AV在线| 色五月综合网| 99热亚洲综合| 日韩成人免费电影| 色五月丁香五月激情五月激情| 亚洲av网址| 激情综合五月丁香六月婷婷| 日本九九视频| 狠狠色丁香久久婷婷综合五月| 日本乱子人伦在线视频| 九九热这里只有精品9| 国产又色又爽又黄又免费| 97深爱伊人综合| 丁香婷婷九月在线| 思思re99视频在线观看| www.maotanji.com| 五月天六月色| 亚洲丁香五月美女| 狠狠色中色| 天天碰夜夜爽| 精品99在线| 天天天天干| 9人人操人人看| 99热最新网址| 五月天a婷婷伊人| 91热久88| 成人综合视频在线| 激情五月黄色小说| 日本三级99人妇网站| 国产精品成人av在线观看春天| AV在线二十六页| 丁香五月天视频| 综合99综合久久久久久久| a网站免费观看| 六月婷婷综合| AA片在线观看视频在线播放 | 成人AV在线中文版| 国产婷婷五月色情综合| 色婷婷影视99| 五月丁香综合| 99啪啪| 激情五月婷婷| 五月天婷婷伊人| 久9热插入| 五月丁香六月色| 婷婷丁香五月天婷婷| 天天综合色| www.婷婷,com| 狠狠色97| 国产精品久久久久久久久久免费 | 任你爽视频| 99色播| 1024欧美日韩精品久久久| 色婷婷香蕉| 婷婷在线操| 97色五月丁香婷婷| 综合久久综合| WWW.夜夜操.com| 婷婷五月丁香第四色超碰在线| 深夜A片| 国产av基地| 欧美成人精品A片免费一区99| 婷婷色爱| 成人AV免费观看| 亚洲亚洲人成综合网络| 婷婷色在线播放| 激情五月综合色| 久久五月婷天天干| 色婷婷香蕉| 婷婷六月丁香色| 色色色婷婷| 中文av网站| 五月天电影网| 蜜臀丁香黄色婷婷五月天| 久久九九激情五月天 | 日本九九九九| www.日日夜夜.com| 99在线免费视| 六月婷婷七月丁香| tingtingcaobi| 九色自拍| 热思思| 久操大香蕉| 真实的国产乱XXXX在线91| 婷婷激情九月| 久久这里只有欧美| 亚洲精品va| 久久性爱激情| 国产精品人成A片一区二区| 狠狠激情五月天| 91免费看片| 欧美日韩中文国产一区发布| 99热97| 青青热久久综合| 五月香蕉网| 东京热免费视频| 五月天另类激情在线| 天天做天天双| 日韩欧美一级大黄网站| 亚洲成Av人片乱码色第1集| www激情| 色五月在线播放| 亚洲色欲欧美一区二区三区| 九色婷婷| 国产资源在线视频| 97碰91| 99热这里有精品| 五月天婷婷免费| 可以直接看的AV网站| 99re99热| 婷婷综合一二三| 五月日韩中文字幕| 日本色色色| 中文字幕综合网| 亭亭五月色男人| 日日色五月天| 五月天激情综合网站| 综合色网站| 国产av网| 亚洲欧洲中文日韩久久AV乱码| 99性视频| 天天爱天天狠天天透| 99这里只有精品视频在线| 操逼视频一区| 色婷婷丁香女女| 成片免费播放| 超碰人人操在线| 有哪些A片网站| 狠狠香婷婷五月| 激情综合在线观看| 成人AV综合在线| 这里有精品| 天天综合网91| 五月婷婷导航| 婷婷五月色激情欧美激情| 亚洲人妻五月丁香婷婷| 天天综合天天玩夜夜玩天天玩夜夜玩 | 人妻内射视频| 97精品综合| 噜噜狠狠色综合久| 狠狠综合网| 草逼大片| 婷婷五月天堂一本在线| 久久99热 这里有精品| 天天 青草 制服丝袜 在线 | 小泽玛利亚视频一区二区| 伊人大香蕉毛片| 可以看的av| 日本99热| 综合色五月| 91干在线| 亚洲成人AV在线播放| 婷婷五月天av| 99爱视频| 九九色色| 婷婷色六月| 伊人五月综合网| 婷婷五月av| 五月天天爽| 日本 @ va 免费| 丁香五月亚洲综合| 五月婷导航| 五月丁香基地| www激情五月天| 天天射影视综合网| 99热只有国产在线精品| 丁香五月激情无码视频| 国产精品五月天婷婷| 五月丁香狠狠| 人人摸人人搞| 99爱爱网| 日本99久久| 色九区| 丁香六月婷婷色XXXXX| 97 A I色色| 六月天婷婷| 97av在线视频| 欧美性猛交XXXX乱大交极品| 97碰碰碰免费公开在线视频| 亚洲黄色网址| 九九视频在线观看视频在线播放69| 激情内射人妻1区2区3区| 色99网站| 99热综合| 江苏少妇性BBB搡BBB爽爽爽| 级人人91| 色婷婷色综合激情91| 激情爱爱网站超大免费| 五月婷婷啪| 97色色-99久久| 激情播丁香| 天天综合天天玩夜夜玩天天玩夜夜玩 | 激情综合激情综合| 综合AV在线| 色五月天电影| 免费视频WWW在线观看网站| 大香蕉久久青青| 色色热日| 99色热视频| 亚洲色综合| 色久在| 操操操av| 久久婷婷在线| 5五月综合网亚洲| 99热这里只有精品首页| 亚洲成人在线综合| 任你艹| 日产精品一线二线三线芒果| 久久探花91swag| 精品爆操| 蜜臀AV在线成人| 婷婷五月天成人动漫 | 丁香五月综合首页| 久久九九网| 天天在线天天综合网色| 五月婷婷激情久久| 67194成I人在线观看线路1| 91日本在线观看| 激情五月黄色| 久久久A级视频| 色婷婷综合网站| 亚洲色婷婷99一9|| 99视频久久| 色色婷| 桃色成人网| 天堂呦 呦百度搜索-百度搜索| 人人插9| 久久色情| 日本在线噜噜| 丁香婷婷色九月| www.五月丁香| 丁香五月天日韩无码| 成人av观看| 99久久黄色顶级视频| 日韩在线aaa| 91九色丨国产丨爆乳| 午夜少妇在线观看视频| 亚洲有码在线视频| 激情网第九色| 色婷婷基地| 九月婷婷综合| www.韩日视频| 色婷婷手机在线| 天天xxxxxx天天日| 翔田千里 50岁 无码| 激情又色又爽又黄的A片| 伊人五月天久久| 婷婷免费精品视频| 五月天六月色| 在线99热| 丁香婷婷午夜| 日日天天操| 五月天激情久久| 五月丁香婷婷啪啪| 五月婷婷日| 日韩五月天婷婷| 激情亚洲婷婷| 婷婷五月天A V| 97碰碰在线观看视频| 在线va网站| 九色视频九色九色91jiuseshipin| 超碰在线视屏| wwwwww.色| 久久a热| 色播激情婷婷| 丁香五月婷婷五月天在线| 五月激情婷婷丁香天堂| 九九性视频| 91色吧网| 久久伊人日日夜夜| 91碰碰| 人操人| 九九爱这里只有精品| 五月婷婷激情| 色综合视频在线| 婷婷在线播放av| 久久有码| 九九热在线99| 91综合在线视频| 爱草视频在线观看| 日日色综合| 狠狠爱夜夜| www,五月丁,com| 狠狠干婷婷| 丁香花操逼| 五月婷综合性中心| 香蕉久久国产AV一区二区| 97操在线资源| WWW.色婷婷.COM| 日韩操人| 六月激情婷婷| 亚洲婷婷激情综合激情999精品| AV九九| 五月婷婷啪啪啪| 99热免| 日韩AV在线影片| 五月丁香网av| 丁香婷婷性爱| 九九九九九九综合| 久热播这里只有精品| 噼里啪啦在线观看免费完整版视频| 99热久草| 五月婷婷五月天| 婷婷五月天最新网址| 五月天色五月天| www激情| 97久久五月丁香婷婷| 婷婷开心六月| 五月天丁香久久综合 | 六月婷久久| 九九re视频在线视频| 99热的无码| 亚洲视频一区| 青草视频在线蜜臀| 九九热精品视频| www.婷婷亚洲基地| 99热精品在线观看| 97超级操操| 婷婷五月天激情电影小说| 亚洲六月综合激情久久下卡| 男人综合网| 99性爱| 99热日韩这里只有精品| 99久久网站| 色噜噜婷婷| 色欲丁香| 丁香五月综合激情啪啪| 91视频五月丁香| 久七香蕉| 久久视频婷婷| 天天搞天天色综合| 久草五月婷婷| 九九九热精品| 婷婷丁香久久| 综合天天综合| 丁香五月激情综合| 思思久ren热| 涩五月婷婷| 色婷婷内射| 欧美槡BBBB槡BBB少妇| 99色啊| 精品无码久久久久久久久| 激情小说五月天中文字幕| 粉嫩AV久久一区二区三区| 国产精品噜噜在线视频| 国产AV一区二区三区日韩| 99re26视频| 色婷婷香蕉在线| 色婷婷六月天在线| 天啪天啪天啪天啪| 天天爱天天吃狠天天透| 铁牛TV人妻| 五月婷婷啪啪啪| 亚州色婷婷| 99色视频| 99久久这里只有精品免费官网| 蜜桃人妻无码AV天堂三区| 日韩三级片一区二区| AA丁香综合激情| 99爱视频精品在线观看| 中文字幕无码人妻少妇免费视频| 少妇久久诱惑视频| 婷婷桃色网| 夜夜骑天天操| 人人插9| PORNY九色9l自拍视频成人| 97色干| 国产亚洲在线观看| 日本成人小说婷婷六月| 久久99三级在线视频| 激情久久久久久久久| 五夜婷婷| 蜜桃成语时李时珍 免费| Va另类视频| 久草视频大香蕉99| 美女激情综合| 六月五月丁香五月欧美| 无码视频国内精品久久久| 97婷婷五月天| 六月婷欧美| 精品人妻一区二区| 丁香五月亚洲婷婷| 婷婷久久18| 爱射综合| 五月色导航| av超碰在线| 香蕉狠狠爱视频| 操笔无码| 色吊操色妞| 亚洲最大在线| 五月社区婷婷激情| 人人叉久| 亚洲天堂色色| 可以免费看的av网站| 99综合熟女| 五月天婷婷基地| 狠狠久久婷五月综合色| 色护士综合| 九九色热| 久久婷婷五月天激情唯美| 超碰97久久| 婷婷久久五月| 九九热精品6| 91超碰在线播放| 色婷婷成人做爰A片免费看网站| 99成人免费热视频| 狠狠爱婷婷| 嫩草AV久久伊人妇女超级A | 99噜噜噜在线播放| 99精彩视频| 婷婷丁香五月av| chaopeng在线人人| 久久99网站| 五月天五月婷五月激情网| 69久久99精品久久久久| 精品一二三区久久AAA片| 久久久这里有精品| 一夜福利不卡| 热996精品在线观看| 婷婷五月色| 日日.c| site:hcxsz888.com| 五月婷九月| 人妻久久久久久久| 九九九九这里只有精品| 伊人网欧美在线男人天堂五月丁香 | 五月伊人综合| 男人天堂AV在线一区二区| 99精彩视频| 九九久久网| 丁香六月 婷婷六月| 激情久久婷婷| 免费视频WWW在线观看网站| 天天草天天爽| 婷婷综合网在线| 壅壅儕家a| 色999亚洲人成色| 99视频这里有精品免费观看| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 五月婷婷激情中文字幕| 伊人干练久| 五月天丁香网站| 91黄色五月天视频| 欧美色五月| 婷婷五月综合体验看| 很操日本7| 人人操91| 人人叉久| 免费超碰在线观看| 五月天亭亭俺也| 丁香五月天成人网站| 五月丁香综合精品| 色综合色综合网| 婷婷色基地在线看| 97操操网| www.狠狠操| 热99这里只是精品| 99热在线播放精品| 人妻久久久久久久| 99热免费| 99re这里只有精品视频了| 亚州激情网站无码| 久久综合五月天| 色激情网| 中文字幕丰满孑伦无码专区| 五月花激情| 无码色| 国产精品久久7777777精品无码| 華人性愛AV在線| 成人av在线网站| 亚洲av午夜精品一区二区| 狠狠婷婷色| 欧美在线视频99| 五月婷婷啪啪| 成人精品人妻| 五月丁香龟婷婷| 色婷婷激情小说网| 五月丁香六月婷综合成人综合| 99欧美三级视频| 美女婷婷激情亚洲| 日本综合久久| 99无码视频| 91凹凸在线| 丁香五月天激情免费在线观看AV777| se99在线| 99超在线| 天天狠天天狠| 五月丁香狠狠爱| 婷婷欧美综合| 亚洲色图45p| 色婷婷色综合激情91| 亚洲无码猫咪| 日本性视频| 天天揷综合网| 伊人综合网站| 99精品无码| 五月婷婷丁香综合| 激情综合网五月| 激情五月激情综合网| 天天爽夜夜爽夜夜爽精品视频| 人人草人人爱手机视频看看| 深爱丁香激情| 五月丁香趴趴| 一区二区三区四区牛| Av在线不卡一区| 色色综合网。| 色在线免费观看| 五月丁香综缴情性爱| 99久久国产宗和精品1上映| 激情五月天网| 婷婷五月丁香六月| 欧美日比视频| 影音先锋四区| 97色久| 色婷丁香| 久9热在线视频| 亚洲婷婷五月天| 97色色网| 91九色国产熟女| 99噜噜| 色五月婷婷综合| 婷婷五月丁香综合| 久综合网| 五月天桃色深爱网| 婷婷丁香五月综合| 中国女人做爰A片| 色色三级视频| 亚韩精品视频1区| 青青草99re| 黄色毛片精品| www91精品| 久久免费操| 欧美在线干| site:xiongshengzz.com| 夜夜涩涩涩| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 五月丁六月香| 色99视频| 亚洲精品在线视频| 91天天操天天干天天射| 天天色视频| 婷婷色综合| 成人在线二区| 美女被肏网站在线看| 中文字幕婷婷在线| 国产婷婷综合在线免费视频| 色情五月综合婷婷| 久热这里只有精品在线观看| 开心五月深爱五月婷| 丁香五月乱中文字幕| 九九热这里| 女同激情久久av久久| 色五月五月婷婷| 日本五月婷婷| 精品一二三区久久AAA片| 久久五月婷婷综合网| AV在线不卡网站| 任你擦免费视频| 丁香六月开心| 亚洲99激情| 亚洲精品乱码久久久久99| 99色1| 五月天六月婷婷电影| 五月婷视屏在线观看| 激情五月综合婷婷| 大香蕉五月天婷婷| 亚洲乱码日产精品BD| 91热久88| 成人免费在线电影| 伊人五月天综合网| 六月婷色六月| 五月丁香六月色| 99热日韩| AA片在线观看视频在线播放| 国产高清视频91九九九久久久| 99久久精品国产色欲| 轮奸综合网| www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | 超碰京东热av男人的天堂| 婷婷五月天激情电影| 天天做天天爱天天日| 婷婷五月丁香久久| 亚洲中文乱字字幕在线永久| 精品久久9| 国产99久久久国产精品免费看| 91久久久久| 国产精品99久久久久久猫咪| 精品久久人妻热| 99久久激情视频| 操操啪| www五月婷婷88导航| www.五月丁香| 第二色AⅤ| 色婷婷综合视频| 五月天激情丁香| www.丁香黄色五月天人与| 九九99男女视频在线观看| 亚洲激情综合色站| 六月 丁香 视频| 超碰91在线| 成 人片 黄 色 大 片| 五月刺激丁香月综合| 日本久久视频| 甈吧vv| 一区二区免费看| 免费看欧美成人A片无码| 丁香六月婷婷社区| 激情文学久久| 色性五月天| 99精品自拍| 97碰碰免费.视频| 91色婷婷综合久久中文字幕二区| 五月天精品综合在线| 特黄三级片| 亚洲AV久久久久久久久久久久久久久久 | 亚洲色婷婷| 99精品超在线播放| 色播播之激情五月婷婷| 性热视频99精品| 俺也去五月婷婷丁| 91九色国产在线| 久久久久久丁香五月| 五月天婷婷色| 4399无码视频二区| 亚洲旡码| 五月天深爱激情网| 丁香六月婷| 日hao1区| 国产精品色色色色| 久久性爱视频| 国产看真人毛片爱做A片| 激情五月天色色色| 婷婷亚洲色| 蜜桃婷婷丁香| 久久婷婷视频| 免费人人操| 五月噜噜| 五月丁香六月成人| 欧美久人人| 内射激情在线| 99视频内射三四| 久艹久| 五月丁香AV、伊人业余、性色熟妇| 日韩综合久久| 国产乱轮一区二区三区| bbwcuckold精品熟妇| 五月天综合| 九月丁香久久网| 久久xx| 噜啊噜在线| 99视频在线9| 狠狠色丁香综合| 日韩色久| av一区二区电影免费在线观看| 成人必爱视| 六月婷婷激情| 成人在线高清| 亚州AV超碰人人操| 激情六月天| 婷婷亚洲天堂| 色丁香五月| 狠狠色婷婷色| 91小黄书网址在线观看| 国产毛片精品一区二区色欲黄A片| 欧美日韩国产一二区| 天干干夜夜操| 91精品婷婷国产综合久久| 九九精品少妇| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 国产精品色| 综合五月婷婷| 岛国av网站| 播丁香五月婷婷欧美| 久婷婷五月激情| www.婷婷五月天.com| 五月婷婷综合影院| 99热亚洲精品| 综合在线观看99| 欧洲日韩一区二区三区| 婷婷激情综合| 91精品久久久久| 亚洲丁香五月天视频| 69久久久| 婷婷六月久久| 天天爱天天操| 六月五月丁香五月欧美| 欧美激情综合| 色婷婷伊人| 97色女人在线| 超色欲天天| 五月婷婷激情四月| 七月婷婷色香综合网| 国产综合激情五月久久| 久久免费精彩视频| 丁香五月天欧美成人| 五月婷婷丁香在线| 久久久97| 99精品自拍| 色婷婷国产精品综合在线观看| 色色哒五月婷婷六月丁香| 国产麻豆视频| 久热这里只有精品视频6| 国精产品一区一区三区免费视频 | 天天噜日日噜综合无码| 丁香五月人妻| 91九色 婷婷| 婷婷六月色开 | 熟女色专区| 激情五月五月婷婷| 国产欧美日韩性爱| 中文字幕 中文字幕明步| 五月天激情黄色小说在线观看| 亚洲免费看片| 五月丁香综合| 天天爽夜爽| 婷婷五月天最新综合你懂的 | 日日干四虎| 婷婷丁香五月激情图片| 99ER热精品视频| 天天爱天天做天天舔| 疯狂做受XXXX高潮A片| 色国产五月| 七七婷婷综合| 99精品久久久久久久婷婷久久| 五月天天丁香婷婷| 婷婷五月图片小说网| 亚洲国产成人AV在线| 激情五月婷婷丁香| 激情五月婷婷她| 婷婷成人视频| 九热久| www婷婷| 五月天激情综合在线| 丁香五月激情婷婷| 亚洲色激婷| 成人国产欧美大片一区| 婷婷综合五月激情| 丁香网站| 五月婷深深爱激情网| 99国产精品久久久久久久久久久| 欧美成人网婷婷综合在线| 久久久宗合视频88| 人人爽欧美婷婷久久久五月丁香| 激情五月婷婷她| 四色AVwww| 狠狠色网| 亚洲AV综合在线观看| 久热无码| 国产成人精品亚洲线观看| 热热久久久久久久久| 另类婷婷五月天啪帕帕| 色99视频| 91丨九色丨国产打屁股| 久久综合九九| 免费观看的AV| 亚洲视频1区| 亚洲最大在线| 熟女重口味αV| 天天草女人| 人人干av| 国产一级片| 免费视频WWW在线观看网站| 五月色网| 欧美色九| 成人日韩欧美| 欧美va欧美va差| 开心五月婷婷婷美女| 婷婷五月天久久| 五月花婷婷最新| 伊人青涩网| 色九月婷婷综合| www色婷婷久久综合久色| 91午夜婷婷狠狠久久综合9色| 国产精品久久久海的味道| 91超碰九色| 色婷婷在线视频| 五月综合777| 色色综合网www| 五月婷婷丁香婷婷| 9久久精品| 99久久久久| 色婷亚洲| 91精品综合久久婷婷九色| 婷婷在线精品| 婷婷久久亚洲| 国产精品人妻欲求不满| 成人无码精品1区2区3区免费看| 婷婷五月天激情基地| 婷婷四色五月| 五月网站| 综合色影院| 99热20| 亚洲成人无码片| 丁香五月天堂| 五月网在线| 五月婷婷av| 男人大jjc女人免费视频| 婷婷五月激情图片| 成人短视频在线观看| 天堂在线观看视频| 久热黄色| Av性爱网站| Www.久久| 九九热免费| 激情五月天色婷婷| 91精品久久久久久综合五月天| 亚洲综合色成丁香五月色| 丁香婷婷五月六月久久| 这里只有精品99视频| 人妻中文字幕网| 91狠狠色丁香婷婷综合久久| 午夜丁香婷婷| 热久久思思热思思| 奇米色大香蕉| 色色色色色色网站| 日日夜夜久| 色欲Av五月天| av线电影| 国产午夜精品AV一区二区麻豆| 人人妻久久妻| 激情5月舔| 超碰精品国产首页| 69精品人人人人| 激情五月激情综合网| 啪啪婷婷五月天激情| 五月天婷婷伊人| 丁香五月天成人| 一起草av| 天天日天天干天天插天天射| av九九| 色五月综合97| 欧美丰满熟妇BBB久久久| 色综合天堂| 美国天天日天天操| 思思热这里只有精品视频666| 大香蕉视频99| 色色色综合色| 久久婷婷网| 99九九精品视频推荐| 精品色| 婷婷丁香五月欧美人| 九九性爱网| 亚洲亚洲人成综合网络| 天天肏视频| 色欲色香综合网| 五月激情精品视频| 九色无码| 丁香亭亭激情四射| 欧洲色色| 97久久人人操| AV操操操| 久久这里只有精品无码| 热九九精品| 婷婷丁香成人五月天| 色婷婷色综合久久精品V| 婷婷伊人网| 96精品久久久久久久久| VfJxEwPH| 人人色婷婷五月天| 大香伊人婷婷| 亚洲视频在线观看| 99精品亚洲| 色婷婷a v| 色五月女| 五月婷婷伊人久久| WWW.五月天9999| 久久99婷婷| 99精品高潮| a毛片二逼wwwwwwwwww| 成人做爰A片免费看网站找不到了| 一级黄色影片| 国产精品色| 97色色色色色| 婷婷激情蜜桃玖玖丁香| 99热99成人| 九九九九综合| 先锋资源婷婷| 1024你懂的欧美曰韩| 久久婷婷老| 97av在线视频| 色综合99| 99这里有精品视频| 天天噜| 五月婷六月| 亚洲丁香五月在线观看| 人妻在线中文字幕久久| 狠狠夜夜五月丁香| 久久99久久99精品免视看婷婷| 99狠狠色| 日韩日比视频| 91se在线观看| 99国产97在线,| 久久丁香综合精品综合| 97超碰,人人舔,人人操,人人摸| 天天做天天爱天天爽| 五月激情影院| 久久这里都是精品| 综合色99| 黄色三级日本| 任你爽精品免费视频6| 欧美丁香五月| 丁香六月婷婷久久综合| 天天插天天插天天操| 婷婷丁香花五月天| 日韩精品一区二区亚洲AV观看| 五月天丁香综合在线| 人人操婷婷| 国产熟妇乱子伦hd| 99干日日干| 五月天色小说| 中文字幕有多少字| 日本4399天堂中出| 日韩黄色影院| 日韩黄在免| 香蕉久操| 婷婷五月天 丁香五月天 裸体 | AV在线中文| 欧美在线97| PORNY九色9l自拍视频成人| 另类精品视频在线观看| 99热亚洲| 亚洲激情av| 久热黄色| 五月婷婷色综图片| 婷婷综合色| 97色婷| 青青草成人网| www.久久99| 最近中文字幕大全免费版在线 | 第九色区av天堂| 极品人妻VIDEOSSS人妻| 丁香婷婷九月在线| 国产精女同一区二区三区久| 五月婷婷综合色啪首页| 人人超碰99| 日韩有码一区| 五月丁香久久综合色| 26uuu丁香婷婷五月| 天天噜日日噜综合无码| 激情五月婷婷| 夜夜躁狠狠| 婷婷六月天精品| 狠狠色精品综合| 婷婷五月花丁香| 99热这里有精品| 欧美日比视频| 日日爽日日| 亚洲AV免费在线| 亚洲无AV在线中文字幕|