欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實戰(zhàn)洞察。

深度Q學(xué)習(xí)網(wǎng)絡(luò)(DQN)股票交易實戰(zhàn):從環(huán)境建模到回測避坑全解析

深度Q學(xué)習(xí)網(wǎng)絡(luò)(DQN)股票交易實戰(zhàn):從環(huán)境建模到回測避坑全解析 簡介一份基于深度Q學(xué)習(xí)網(wǎng)絡(luò)的股票交易策略設(shè)計源碼面向量化交易入門者、金融AI研究者和Python算法開發(fā)人員解決如何利用強(qiáng)化學(xué)習(xí)對歷史行情建模并自動生成交易決策的問題。壓縮包共24個文件約12.21MB包含Python核心腳本、CSV行情數(shù)據(jù)、TensorFlow模型檢查點與說明文檔覆蓋數(shù)據(jù)預(yù)處理、訓(xùn)練、回測等完整鏈路。項目提供分鐘級與日級深證個股數(shù)據(jù)DQN_trade.py實現(xiàn)智能體決策邏輯stock_env.py構(gòu)建模擬交易環(huán)境test.py支持策略回測saved_network中保存了多個訓(xùn)練好的網(wǎng)絡(luò)權(quán)重可基于已有模型繼續(xù)訓(xùn)練或直接驗證效果。已有330人學(xué)習(xí)下載適合希望快速上手深度強(qiáng)化學(xué)習(xí)在股票交易中應(yīng)用的開發(fā)者源碼結(jié)構(gòu)清晰稍作修改即可遷移到其他市場或策略場景。1. 深度Q學(xué)習(xí)網(wǎng)絡(luò)做股票交易從“決策會反悔”開始的設(shè)計閉環(huán)把股票交易交給深度Q學(xué)習(xí)網(wǎng)絡(luò)DQN來做經(jīng)常被當(dāng)成玄學(xué)其實它的核心邏輯一句話能說清讓模型學(xué)會回答“在當(dāng)前市場狀態(tài)下做哪個動作最劃算并且把動作之后的未來收益也考慮進(jìn)去”。這套基于深度Q學(xué)習(xí)網(wǎng)絡(luò)的股票交易策略設(shè)計源碼落地的價值不在“預(yù)測漲跌”而在于把交易決策變成可訓(xùn)練、可回測、可排錯的序貫決策問題環(huán)境模塊模擬市場Q網(wǎng)絡(luò)估計動作價值經(jīng)驗回放和目標(biāo)網(wǎng)絡(luò)負(fù)責(zé)解決訓(xùn)練穩(wěn)定性的老問題。適合手里有 Python 和機(jī)器學(xué)習(xí)基礎(chǔ)、想認(rèn)真驗證強(qiáng)化學(xué)習(xí)在交易上有多大價值的人不適合指望導(dǎo)出模型就穩(wěn)賺的人。接下來我把建模、代碼落地和踩坑點按可復(fù)現(xiàn)的順序過一遍。2. 把股票交易改造成強(qiáng)化學(xué)習(xí)問題狀態(tài)、動作與獎勵的三步建模2.1 交易環(huán)境是第一個要寫死的模塊數(shù)據(jù)、撮合與手續(xù)費(fèi)很多人拿到源碼第一件事是看網(wǎng)絡(luò)結(jié)構(gòu)這是誤區(qū)。深度Q學(xué)習(xí)網(wǎng)絡(luò)在交易場景里翻車八成不是網(wǎng)絡(luò)的問題是環(huán)境寫錯了。環(huán)境在這里做的不是“預(yù)測行情”而是把“給定狀態(tài) → 執(zhí)行動作 → 得到獎勵 → 進(jìn)入下一個狀態(tài)”這個過程完整閉環(huán)。一個寫壞的環(huán)境會直接污染所有后續(xù)訓(xùn)練結(jié)果。我寫環(huán)境時遵循一個原則模擬器能多簡單就多簡單但三個東西必須嚴(yán)格——價格時序、手續(xù)費(fèi)、撮合時點。下面是一個能直接跑通最小訓(xùn)練循環(huán)的單標(biāo)的交易環(huán)境動作空間是 0空倉、1持有、2買入import numpy as np import pandas as pd class TradingEnv: 單標(biāo)的離散動作交易環(huán)境滿倉進(jìn)滿倉出T0 簡化撮合 def __init__(self, df, features, window30, cost0.001): self.df df.reset_index(dropTrue) self.features features self.window window self.cost cost # 單邊交易成本按比例扣 self.reset() def reset(self): self.t self.window self.position 0 # 0 空倉1 持有 self.cash 1.0 # 初始資金歸一化 self.shares 0.0 self.prev_price float(self.df[close].iloc[self.t - 1]) return self._get_state() def _get_state(self): # 取最近 window 根 K 線的特征矩陣壓平成一維 x self.df[self.features].iloc[self.t - self.window:self.t].values return x.flatten().astype(np.float32) def step(self, action): price float(self.df[close].iloc[self.t]) reward 0.0 # 第一步結(jié)算上一個 bar 到當(dāng)前 bar 的持倉浮盈 if self.position 1: log_ret np.log(price / self.prev_price) reward log_ret # 第二步執(zhí)行當(dāng)前動作扣交易成本 # 買入空倉狀態(tài)下才成交 if action 2 and self.position 0: self.shares self.cash / price self.cash 0.0 self.position 1 reward - self.cost # 賣出持有狀態(tài)下才成交 elif action 0 and self.position 1: self.cash self.shares * price self.shares 0.0 self.position 0 reward - self.cost # 動作 1 是持有不改變倉位也不額外扣費(fèi) self.prev_price price self.t 1 done self.t len(self.df) - 1 return self._get_state(), reward, done, {}代碼邏輯分三步走先結(jié)算浮盈再執(zhí)行動作最后推進(jìn)時間步。獎勵使用對數(shù)收益log(price / prev_price)好處是收益可以直接跨時間相加不會因為價格的絕對水平導(dǎo)致獎勵尺度漂移。注意買入和賣出都加入了reward - self.cost交易成本是 DQN 能不能學(xué)會“少動手”的關(guān)鍵約束去掉它模型會退化成高頻亂動。參數(shù)上有幾個點我習(xí)慣固定下來window30表示用過去 30 根 K 線做狀態(tài)特征數(shù)量由features決定cost0.001是單邊千一如果你做 A 股把印花稅和滑點一起算進(jìn)去單邊 0.001 到 0.002 都是常見取值。這個環(huán)境沒做漲跌停限制也沒區(qū)分 T1目的是先跑通訓(xùn)練真實約束后面再逐條加一次加太多約束會讓模型學(xué)不動。2.2 狀態(tài)空間設(shè)計行情窗口、技術(shù)特征與“不要碰未來數(shù)據(jù)”的紅線狀態(tài)空間決定了模型能看到什么。我見過很多人把網(wǎng)上那些指標(biāo)源碼里的金叉死叉信號直接拿來當(dāng)特征結(jié)果模型學(xué)到的是指標(biāo)的滯后轉(zhuǎn)譯而不是交易邏輯本身。這不是說技術(shù)指標(biāo)不能用而是用之前必須明確特征向量是給 Q 網(wǎng)絡(luò)做價值判斷的輸入不是信號生成器。我的常用特征是八到十二個維度的組合全部基于滾動窗口內(nèi)已知數(shù)據(jù)計算收益率、最高最低價相對收盤的位置、成交量變化率、ATR平均真實波幅、RSI、MACD 線與其信號線的差。關(guān)鍵約束是所有特征在 t 時刻必須只用 t 時刻之前的數(shù)據(jù)最穩(wěn)妥的辦法是先用shift(1)把整列特征向后平移一根 K 線再進(jìn)環(huán)境。def prepare_features(df): 構(gòu)造特征并統(tǒng)一做 z-score 標(biāo)準(zhǔn)化注意用 expand 窗口避免未來數(shù)據(jù)泄漏 df df.copy() df[ret] df[close].pct_change() df[high_low_pos] (df[close] - df[low]) / (df[high] - df[low]) df[vol_ratio] df[volume] / df[volume].rolling(20).mean() # 計算 RSI 這類指標(biāo)后統(tǒng)一 shift(1) df df.replace([np.inf, -np.inf], np.nan).fillna(0) return df這里有兩個坑。第一個是標(biāo)準(zhǔn)化不能用全樣本的均值和方差做 z-score那等于讓訓(xùn)練集偷看了測試集的分布正確做法是在訓(xùn)練集上fit一個StandardScaler再應(yīng)用到測試集。第二個是shift(1)它能擋住所有計算出來的指標(biāo)但對一些天生帶未來信息的字段沒用比如直接用close.shift(-1)做標(biāo)簽這種低級前視偏差我在別人的課程設(shè)計源碼里見過不少回測曲線好看得離譜實盤直接歸零。2.3 獎勵函數(shù)選型單步收益、持倉懲罰與折扣因子的配合獎勵函數(shù)是深度Q學(xué)習(xí)網(wǎng)絡(luò)在交易場景里最敏感的旋鈕。最直覺的做法是“賺錢給正獎勵、虧錢給負(fù)獎勵”但直接這么寫會讓模型變得極其短視它會抓住單步大波動去頻繁交易因為每步的即時獎勵比折扣后的長期價值更吸引人。我的做法是把獎勵拆成兩段持倉浮盈變化加上交易成本懲罰再疊加一個可選的“非必要不交易”懲罰項。環(huán)境代碼里已經(jīng)實現(xiàn)了前兩段第三段可以在訓(xùn)練時額外控制——每次判斷動作與當(dāng)前倉位不一致時額外減去一個小常數(shù)。下面是獎勵含義的對照關(guān)系方便你按自己的策略微調(diào)獎勵來源計算方式作用持倉浮盈log(price_t / price_{t-1})讓模型感知持倉收益變化交易成本單邊固定比例成本抑制過度交易動作切換懲罰每次買賣額外減 0.00020.0005降低無效換手終點大獎勵最后一刻結(jié)算累計收益強(qiáng)化長期目標(biāo)但只適合短周期折扣因子gamma在這里的作用比在游戲里更重要。金融市場是強(qiáng)非平穩(wěn)環(huán)境gamma0.99意味著模型會看重未來幾十步的收益這適合趨勢跟蹤如果做高頻gamma要降到 0.95 以下讓模型更關(guān)注眼前。我一般先固定gamma0.99看訓(xùn)練曲線的穩(wěn)定性再決定是否調(diào)整不要一開始就同時調(diào)三個旋鈕。3. 核心組件實現(xiàn)經(jīng)驗回放、目標(biāo)網(wǎng)絡(luò)和ε-greedy策略的代碼落地3.1 Q網(wǎng)絡(luò)與經(jīng)驗回放打破樣本相關(guān)性的第一個關(guān)鍵交易數(shù)據(jù)天生是時間序列相鄰樣本高度相關(guān)。如果像普通監(jiān)督學(xué)習(xí)那樣把相鄰狀態(tài)直接喂給網(wǎng)絡(luò)更新梯度Q值的估計會像醉漢走路一樣來回震蕩。經(jīng)驗回放就是為了解決這個問題把轉(zhuǎn)移樣本(s, a, r, s2, done)存進(jìn)一個大緩沖區(qū)訓(xùn)練時隨機(jī)抽樣一個小批量。隨機(jī)抽樣在數(shù)學(xué)上的作用是打破樣本間的時間相關(guān)性讓梯度更新近似滿足獨(dú)立同分布假設(shè)這是深度Q學(xué)習(xí)網(wǎng)絡(luò)能穩(wěn)定收斂的基石。網(wǎng)絡(luò)結(jié)構(gòu)我固定用最簡單的三層全連接別一開始就上 LSTM 或者 Transformer先讓整個訓(xùn)練循環(huán)能跑通再說。常見實現(xiàn)如下import torch import torch.nn as nn from collections import deque import random class QNetwork(nn.Module): 三層全連接 Q 網(wǎng)絡(luò)輸入狀態(tài)輸出每個動作的 Q 值 def __init__(self, state_dim, hidden128, n_actions3): super().__init__() self.net nn.Sequential( nn.Linear(state_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, n_actions) ) def forward(self, x): return self.net(x) class ReplayBuffer: 環(huán)形經(jīng)驗回放緩沖區(qū)容量滿后自動覆蓋舊樣本 def __init__(self, capacity100_000): self.buffer deque(maxlencapacity) def push(self, s, a, r, s2, done): self.buffer.append((s, a, r, s2, done)) def sample(self, batch_size): batch random.sample(self.buffer, batch_size) states torch.from_numpy(np.stack([x[0] for x in batch])) actions torch.tensor([x[1] for x in batch], dtypetorch.int64) rewards torch.tensor([x[2] for x in batch], dtypetorch.float32) next_states torch.from_numpy(np.stack([x[3] for x in batch])) dones torch.tensor([x[4] for x in batch], dtypetorch.float32) return states, actions, rewards, next_states, dones回放容量的選擇有講究。容量太小緩沖區(qū)里全是近期交易經(jīng)驗時間相關(guān)性沒有被打散容量太大老樣本占多數(shù)模型跟不上市場近期的狀態(tài)分布變化。日線上做交易我的經(jīng)驗是5_000到50_000之間比較合適。選擇10_000時假設(shè)一個 episode 是 200 步緩沖區(qū)大約覆蓋 50 個完整交易周期足夠多樣化又不會讓舊經(jīng)驗把新趨勢蓋住。3.2 目標(biāo)網(wǎng)絡(luò)延遲復(fù)制參數(shù)為什么能穩(wěn)住訓(xùn)練如果不加目標(biāo)網(wǎng)絡(luò)Q 值的更新公式里r gamma * max(Q(s2))用的和預(yù)測用的是同一個網(wǎng)絡(luò)這會造成“自己追自己尾巴”的效應(yīng)目標(biāo)一直在變梯度更新方向不穩(wěn)定表現(xiàn)為 loss 曲線鋸齒狀劇烈震蕩、甚至發(fā)散。目標(biāo)網(wǎng)絡(luò)就是給更新目標(biāo)加了一層延遲——用一份舊參數(shù)的網(wǎng)絡(luò)去計算目標(biāo) Q 值每隔固定步數(shù)再把當(dāng)前網(wǎng)絡(luò)的參數(shù)復(fù)制過去。這種延遲參數(shù)復(fù)制機(jī)制在一個訓(xùn)練循環(huán)里就幾行代碼但它的作用被很多人低估。我用一個全局步數(shù)計數(shù)器控制同步節(jié)奏每UPDATE_TARGET200步同步一次讓目標(biāo)網(wǎng)絡(luò)比當(dāng)前網(wǎng)絡(luò)“慢半拍”Q 值更新時目標(biāo)相對穩(wěn)定訓(xùn)練自然就穩(wěn)了。以下是帶目標(biāo)網(wǎng)絡(luò)同步的最小訓(xùn)練主循環(huán)optimizer torch.optim.Adam(q_net.parameters(), lr1e-4) replay ReplayBuffer(capacity10_000) target_net QNetwork(state_dim) target_net.load_state_dict(q_net.state_dict()) UPDATE_TARGET 200 BATCH_SIZE 64 GAMMA 0.99 EPSILON 1.0 EPS_DECAY 0.998 EPS_MIN 0.05 global_step 0 for episode in range(200): state env.reset() done False while not done: # ε-greedy 選擇動作 if random.random() EPSILON: action random.randint(0, 2) else: with torch.no_grad(): state_t torch.from_numpy(state).unsqueeze(0) q_values q_net(state_t) action q_values.argmax().item() next_state, reward, done, _ env.step(action) replay.push(state, action, reward, next_state, done) if len(replay.buffer) BATCH_SIZE: s, a, r, s2, d replay.sample(BATCH_SIZE) q_pred q_net(s).gather(1, a.unsqueeze(1)).squeeze() with torch.no_grad(): q_next target_net(s2).max(dim1)[0] y r GAMMA * q_next * (1 - d) loss nn.functional.smooth_l1_loss(q_pred, y) optimizer.zero_grad() loss.backward() nn.utils.clip_grad_norm_(q_net.parameters(), 1.0) optimizer.step() global_step 1 if global_step % UPDATE_TARGET 0: target_net.load_state_dict(q_net.state_dict()) state next_state EPSILON max(EPS_MIN, EPSILON * EPS_DECAY)這段代碼里的smooth_l1_loss是個值得注意的選型它結(jié)合了 L1 和 L2 損失的特點Q 值目標(biāo)誤差大時梯度不會爆炸誤差小時收斂平穩(wěn)。如果不做梯度裁剪即使用了 Huber 損失早期訓(xùn)練的異常獎勵也可能讓權(quán)重一步跳壞。clip_grad_norm_的 1.0 取值是我從實際訓(xùn)練里調(diào)出來的日線級別獎勵通常很小裁剪閾值設(shè)太大等于沒設(shè)設(shè)太小會讓學(xué)習(xí)變慢。3.3 ε-greedy 與衰減探索策略不是拍腦袋是調(diào)參對象ε-greedy 控制模型在“按當(dāng)前策略行動”和“隨機(jī)探索”之間的切換。初始EPSILON1.0表示策略完全隨機(jī)隨著訓(xùn)練推進(jìn)降低到0.05最終 95% 的動作來自 Q 網(wǎng)絡(luò)、5% 的隨機(jī)動作兜底。這個 5% 的探索要保留因為在交易場景里市場狀態(tài)會變化完全放棄探索意味著模型在沒見過的行情下沒有逃生通道。衰減率EPS_DECAY0.998在 200 個 episode 的訓(xùn)練里大約 400 步后 ε 會降到 0.05 下限附近。對日線交易一個 episode 大約就是兩三個月的交易數(shù)據(jù)200 個 episode 覆蓋的數(shù)據(jù)量足夠長。你要注意一個反向誤區(qū)ε 降得太快模型過早固化到局部最優(yōu)降得太慢訓(xùn)練前期大量時間在隨機(jī)亂走樣本利用率低。我一般先在訓(xùn)練日志里同時打印“平均獎勵”和“ε 當(dāng)前值”如果發(fā)現(xiàn)平均獎勵在 ε 還很高的時候就開始上升說明當(dāng)前策略已經(jīng)有效可以略微提高衰減率。4. 從訓(xùn)練到回測數(shù)據(jù)切分、驗證流程和一組可用參數(shù)4.1 數(shù)據(jù)切分與信號執(zhí)行時序時間序列不能隨機(jī)打亂強(qiáng)化學(xué)習(xí)在交易里的數(shù)據(jù)切分比監(jiān)督學(xué)習(xí)嚴(yán)格得多。常見錯誤是直接用train_test_split(random_state42)這會把未來數(shù)據(jù)混進(jìn)訓(xùn)練集回測結(jié)果完全失真。時間序列必須按時間順序切前 70% 做訓(xùn)練集中間 15% 做驗證集用來選超參數(shù)最后 15% 做測試集只允許跑一次。信號執(zhí)行時序同樣有硬性要求策略在 t 時刻用收盤價算好特征、生成動作但動作要在 t1 時刻的 bar 上才能生效。環(huán)境代碼里step執(zhí)行動作前先按當(dāng)前 price 結(jié)算上一段持倉已經(jīng)隱式實現(xiàn)了這個時序但你要檢查自己從外部接數(shù)據(jù)時有沒有破壞這個順序。def evaluate(env, q_net, eps0.0): 評估模式關(guān)閉探索輸出累計收益和每次動作用于畫凈值曲線 state env.reset() done False total_return 0.0 actions_log [] while not done: with torch.no_grad(): state_t torch.from_numpy(state).unsqueeze(0) action q_net(state_t).argmax().item() if random.random() eps else random.randint(0, 2) next_state, reward, done, _ env.step(action) total_return reward actions_log.append(action) state next_state return total_return, actions_log這套時序規(guī)則帶來的一個直接效果是回測凈值曲線的最后一天會有“幸存者偏差”的假象因為策略在最后一天只結(jié)算不交易。真實做法是剔除最后一天的浮盈或者把評估期多留一根 bar 做緩沖。驗證集選參、測試集定論這是交易策略設(shè)計里最低限度的紀(jì)律。4.2 訓(xùn)練主循環(huán)與損失函數(shù)什么時候看哪個日志訓(xùn)練循環(huán)的日志設(shè)計是調(diào)試效率的分水嶺。我見過有人只在命令行打印 lossloss 從 0.5 慢慢降到 0.1 就覺得贏了結(jié)果去回測發(fā)現(xiàn)模型從頭到尾沒買過一手。訓(xùn)練日志至少要有四列全局步數(shù)、loss、累計 episode 獎勵、動作分布占比。動作分布是最重要的信號。如果一段時間內(nèi)動作 2買入的占比趨近于 0說明模型學(xué)成“永久空倉”策略——它在用“不虧錢”作為最優(yōu)解止損比止盈更狠。如果動作 0 占比接近 0模型又變成“無腦滿倉”。兩種情況都要停下來查獎勵函數(shù)和成本設(shè)置。訓(xùn)練中 loss 的正常形態(tài)不是單調(diào)下降而是先快速下降再在一個平臺附近波動。交易數(shù)據(jù)的非平穩(wěn)性決定了 Q 值不可能收斂到固定點loss 在一個范圍內(nèi)震蕩是正常的別看到小幅回升就慌。真正的異常是 loss 突然跳高一個量級那通常是因為某一步獎勵出現(xiàn)了極端值比如除權(quán)未復(fù)權(quán)造成的價格跳空。這種時候去查數(shù)據(jù)源不要改學(xué)習(xí)率硬壓。4.3 評估指標(biāo)和關(guān)鍵參數(shù)一組能直接當(dāng)起點的默認(rèn)配置回測評估不能只看累計收益。最大回撤、換手率、交易次數(shù)、夏普比率這四項必須一起看。我見過一個模型年化收益 80%但最大回撤 45%中間任意一次腰斬級別的回撤都足以讓實盤者心理崩潰、手動干預(yù)亂掉整個策略。下面這個參數(shù)表是我在滬深 300 日線上跑過的最小可用配置直接用它當(dāng)起點再按數(shù)據(jù)微調(diào)參數(shù)取值說明window30狀態(tài)窗口長度日線短周期夠用hidden128隱藏層神經(jīng)元數(shù)256 以上容易過擬合learning_rate1e-4日線場景推薦 1e-4不要用默認(rèn)的 1e-3batch_size64常用 32128小批量噪聲更大replay_capacity10_000控制舊經(jīng)驗占比日線 5k50k 區(qū)間調(diào)update_target200每 200 步同步目標(biāo)網(wǎng)絡(luò)參數(shù)gamma0.99趨勢策略首選高頻調(diào)低epsilon_decay0.998200 episode 內(nèi)在 1.0 → 0.05 之間完成衰減cost0.001交易成本按單邊千一A 股可提到 0.0016這組參數(shù)的調(diào)參邏輯是先把學(xué)習(xí)率壓住訓(xùn)練曲線穩(wěn)定之后再微調(diào)窗口和成本?;販y結(jié)果的可視化同樣重要如果你習(xí)慣把行情腳本以本地方式跑起來自建圖表直接把評估日志里的資金曲線和基準(zhǔn)指數(shù)曲線畫在一起能快速看出策略的超額收益集中在哪段行情、在震蕩期是否失效。把每一筆交易的持倉區(qū)間標(biāo)在圖上比盯著盈利數(shù)字更容易定位問題。5. 深度Q學(xué)習(xí)網(wǎng)絡(luò)做股票交易的常見問題和必看避坑點5.1 現(xiàn)象訓(xùn)練集收益曲線漂亮測試集直接虧到懷疑人生原因排除法按先后順序查第一查特征標(biāo)準(zhǔn)化是否用了全樣本統(tǒng)計量第二查是否用了未來數(shù)據(jù)特別是shift(-1)這種目標(biāo)泄漏第三查數(shù)據(jù)集里有沒有未復(fù)權(quán)的除權(quán)跳空。解決標(biāo)準(zhǔn)化器只在訓(xùn)練集fit然后transform驗證集和測試集把特征工程里所有滾動指標(biāo)統(tǒng)一shift(1)用后復(fù)權(quán)價格重新生成數(shù)據(jù)集。測試集只能跑一次跑完發(fā)現(xiàn)不行就回去改特征改完再回測試集等于把測試集當(dāng)驗證集用這個習(xí)慣會讓你對自己的策略產(chǎn)生系統(tǒng)性誤判。上一輪剛改完獎勵函數(shù)就立刻去跑測試集得到負(fù)收益后調(diào)整參數(shù)再跑一次這次結(jié)果變正了但我心里清楚這個“正收益”已經(jīng)不能說服任何人包括我自己。正確順序是訓(xùn)練集調(diào)整 → 驗證集選參 → 測試集只做一次最終確認(rèn)。5.2 現(xiàn)象loss 在某個平臺反復(fù)震蕩但不下降訓(xùn)練幾十輪沒有進(jìn)展原因通常是獎勵尺度與網(wǎng)絡(luò)初始化不匹配。對數(shù)單步收益的量級在 0.001 到 0.01 之間而 Q 網(wǎng)絡(luò)輸出的初始 Q 值通常在 0 附近、范圍在正負(fù)幾之間。兩個尺度差距過大TD 目標(biāo)里的r會被gamma * max(Q(s2))蓋住模型學(xué)不到任何來自獎勵的信號。解決把獎勵整體乘以一個放大系數(shù)比如reward * 20讓獎勵信號和目標(biāo) Q 值在同一個數(shù)量級。另一個常見做法是把初始輸出層權(quán)重調(diào)小讓網(wǎng)絡(luò)的初始 Q 值分布在 0 附近一個小范圍內(nèi)而不是標(biāo)準(zhǔn)的全連接初始化。我自己的習(xí)慣是先統(tǒng)計訓(xùn)練集里單步收益的均值與標(biāo)準(zhǔn)差把獎勵縮放到標(biāo)準(zhǔn)差為 1 左右再進(jìn)入訓(xùn)練循環(huán)。5.3 現(xiàn)象模型不交易或者一直滿倉不動先說“一直空倉”模型發(fā)現(xiàn)什么都不干的累計收益是 0而瞎交易的期望收益是負(fù)的于是學(xué)到空倉是最優(yōu)策略。這說明獎勵函數(shù)里缺少對機(jī)會成本的約束或者交易成本設(shè)得過高。解決檢查動作分布如果空倉動作占比超過 95%把cost調(diào)低一個數(shù)量級測試同時給持倉增加一個“行情上漲時未持倉的隱性懲罰”比如if position 0 and next_return 0: reward - 0.001。再說“一直滿倉”模型發(fā)現(xiàn)持有股票的長期收益期望為正于是決定永遠(yuǎn)不賣。這個策略在單邊上漲的訓(xùn)練集里是理性的但測試集一旦進(jìn)入熊市就全線崩潰。解決訓(xùn)練數(shù)據(jù)里必須包含熊市和震蕩市不要只挑一段牛市訓(xùn)練或者把獎勵從“單步收益”改成“收益減去最大回撤懲罰”讓模型被迫學(xué)會出逃。5.4 現(xiàn)象除權(quán)除息讓凈值曲線出現(xiàn)詭異的跳空模型在跳空位置瘋狂交易原因數(shù)據(jù)源沒有做復(fù)權(quán)處理。A 股除權(quán)除息會讓價格在除權(quán)日斷崖下跌看起來像暴跌模型會把它當(dāng)成做空信號實際上這只是權(quán)益分派導(dǎo)致的價格調(diào)整。解決全部使用后復(fù)權(quán)價格做訓(xùn)練與回測。后復(fù)權(quán)保證價格序列在歷史任意一天的相對比例是真實的實盤時再把信號映射回當(dāng)前價格即可。數(shù)據(jù)下載時如果只拿到原始價必須檢查每個交易日的漲跌幅是否超過 10%超過的多半是除權(quán)除息停牌復(fù)牌也要單獨(dú)標(biāo)記。5.5 現(xiàn)象同參數(shù)、同數(shù)據(jù)兩次訓(xùn)練結(jié)果完全不一樣回測收益差 10 個百分點原因沒有固定隨機(jī)種子。PyTorch 的模型初始化、PyTorch 的 drop 操作、Python 的 random 模塊、NumPy 的隨機(jī)數(shù)生成器四個隨機(jī)源都要在同一處固定。只固定torch.manual_seed是不夠的因為經(jīng)驗回放采樣用的是random.sample。import torch import numpy as np import random def seed_all(seed): torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) np.random.seed(seed) random.seed(seed) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark False固定隨機(jī)種子不只是為了復(fù)現(xiàn)報告里的數(shù)字它更重要的作用是讓你在調(diào)參時能對照實驗改了一個參數(shù)收益變了到底是參數(shù)的效果還是隨機(jī)噪聲固定種子情況下收益變化可歸因于參數(shù)調(diào)整否則整個調(diào)參過程都是無效操作。多隨機(jī)種子評估應(yīng)該放到最后驗證階段而不是每次調(diào)試都換不同種子。6. 用多模型集成穩(wěn)住策略從單次訓(xùn)練到可信效果的進(jìn)階驗證6.1 多隨機(jī)種子集成用源碼基礎(chǔ)結(jié)構(gòu)把單模型變成策略組合單個 DQN 模型在日線交易上的穩(wěn)定性通常不夠隨機(jī)種子一變、結(jié)果就飄這其實是正?,F(xiàn)象。我的做法是從“訓(xùn)一個模型”升級成“訓(xùn) N 個模型再投票”。用 5 個不同的隨機(jī)種子訓(xùn)練 5 個 Q 網(wǎng)絡(luò)每個網(wǎng)絡(luò)獨(dú)立生成動作信號最終動作取多數(shù)投票。當(dāng)三個以上模型同時選擇買入時信號的一致性明顯提高假突破帶來的噪聲被中和掉。6.2 多空市場切片驗證不追求永遠(yuǎn)賺錢最后一個習(xí)慣是按行情狀態(tài)切片復(fù)盤把測試期按年或者按市場狀態(tài)分成若干段分別計算每段的收益、回撤和交易次數(shù)。如果模型的超額收益全部來自牛市段熊市段全靠躲跌那策略本質(zhì)上是一個擇時器如果收益分散在各類行情里說明模型學(xué)到的是更泛化的狀態(tài)-動作關(guān)系。這兩類策略的交易邏輯和實盤預(yù)期完全不同提前知道比事后吃大虧好。我現(xiàn)在再看一份交易策略源碼時第一眼不看它的收益曲線先看它的訓(xùn)練集與測試集有沒有嚴(yán)格隔離、隨機(jī)種子有沒有固定、交易成本有沒有扣干凈這三個基礎(chǔ)點在課程設(shè)計源碼和開源的免費(fèi) Python 源碼里恰恰最容易被跳過。用這套 DQN 源碼方案做交易策略真正的門檻不是算法本身而是把所有“看起來小”的細(xì)節(jié)釘死。希望幫到你。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久综合色五月| 777久久久| 欧日韩AV| 五月综合丁香婷婷| 婷婷WWW久久| 久热69| 另类色视频| 伊人在线大香蕉网| 99精品偷自拍| 婷婷金品综合视频| 狠狠爱婷婷爱| 婷婷五月天亚洲| 思思99热热热99| 天堂呦 呦百度搜索-百度搜索| 亚洲色夜| 久色视频| 久久五月激情| 欧美综合丁香网| 五月婷婷婷| 狠狠干狠狠干| 99熟女| 婷婷色狠狠| 东京热免费视频| 操逼福利视频| 色情性爱视频网址| 色婷婷色99国产综合精品| se色婷婷视频| 亚洲第一成人无码A片| 久青操| 五月激情婷婷播播网| 97欧美在线| 这里只有精品96| 激情五月六月婷婷| 夜夜操天天干| 亚洲综合色色色| 99热亚洲| 97色久| 五月天成人网在线观看| 婷婷五月花西瓜| 中文网AV| 五月色婷婷综合色| 婷婷激情五月天在线视频| 色婷婷啪啪啪啪啪啪| 高清av在线国产| 激情丁香五月| 久九男女天堂| www.99.色| 97精品人人A片免费看| 天天色综网| 五月丁香好婷婷A片网| 丁香五月激情鲁| 丁香五月天综合| 97色女人在线| 91久久久久久| 六月婷婷激情| 国产三级在线播放| 亚洲AV免费国产电影| 91九色白丝| 五月天大香蕉av| 超pen个人视频97| 丁香五月电影| 日韩艹比| 青青草轻轻操| 狠狠艹狠狠艹| 婷婷十月激情综合网| 色婷婷九月| 99爱视频免费看| 亚洲色小说在线综合| 五月婷婷综合色拍| 能看的av网站| 人妻中文在线| 丁香五月婷婷欧美性爱| 激情五月综合久久| 国产色色网站网址| 欧美成人五月天| 成人丁香五月天| 五月天另类激情在线| 激情图片五月天| 外国碰视频网站97| 欧美日韩精品人妻狠狠躁免费视频| 中文字幕网伦射乱中文| 538任你爽视频不一样的| 伊人综合色干| www,婷婷五月天777me,com| 五月婷婷色丁香| 九九精品在线网| 99爱这里只有精品免费视频| 久久这里只有精品热在99| 婷婷久草| 激情亚洲婷婷| 深爱丁香激情| 天天日日人| 丁香久色| 婷婷五月激情欧美| av操B网站| 視频福利乱色| 天天操夜夜玩!| 深爱激情网五月天| 五月丁香| 91人人爽狠狠狠| 激情啪啪五月天| 一本综合丁香日日狠狠色| 99热综合网| 在线只有精品| 国产九九一区二区三区| 午夜婷婷五月天在线| 五月丁香六月婷婷激情视频在线观看免费| 丁香五月av| 婷婷丁香五月天大香蕉| 26uuu国产精品| AV成人在线播放| 91Chinese在线| 五月天婷婷无码| 日本三级日本三级99| www.狠狠操.con| 夜夜爽天天爽| 久热久69| 五月丁香好婷婷姑娘综合网| 91日本在线观看| 激情婷婷五月丁香啪啪啪| 久久久久久久97| 亚洲激情四射色| 成人午夜在线视频| 久久精品亚洲热| 在线婷婷| 婷婷涩涩五月天| 五月婷婷精品视频| 91九九九九| 亚洲综合婷婷五月| 淫视馆AV在线| www.色九月| 五月丁香六月合| 超碰大香蕉网| 99久精品视频| 婷婷六月丁| 日韩成人无码| 天色综合网站| 欧美A级成人婬片免费看理论| 日91高清无玛| 人妻aV在线| 97人人妻人人艹| 99热这里只有精品268| 激情六月天婷婷| 欧美大片| 99热精品一| 婷婷爱五月| 久久综合色五月| 色五婷婷| 中文字幕网站在线观看| 色综合久久88色综合天天看| 久久婷婷国产| 五月婷婷综合在线| 丁香五月天色综合| 久久久国产精品黄毛片| 欧美激情凹凸丁香网| 性色做爰片在线观看WW| 激情5月天天天| 久久在线视频免费观看| 激情婷婷五月天在线观看| 久操操| 91久久婷婷| 五月激情视频| 丁香婷婷六月激情| 欧美婷婷精品激| 色五婷婷开心缴| 99玖玖视频| 五月丁香六月综合激情无码软件亮点 | 久久久久久久97| 五月婷在线观看| 婷婷自拍| 色偷偷五月天| 插插五月天| 性爱网五月婷婷| 五月丁香色婷婷基地| 免费视频在线观看的网站| 五月丁香婷婷国产精品综合| 97国产精品女人碰碰| 99国产视频网| 色婷久久| 一起操最新网址| 99色免费观看全部| 九月色婷婷| 免费视频WWW在线观看网站| 婷婷五六月丁香| www。久久久久一b。Cc| 播五月,色五月,开心五月播放器| 九九99视频精品| 一区二区成人电影免费播放| 91视频综合网| 这里只有精品热| 中文字幕日产A片在线看| 五月天激情开心网| 综合色色网| 久久婷婷热| 九九热这里只有精品12| 精品99在线| 亚洲激情四射| www.婷婷六月天| 久久永久网址| 超碰不卡在线| 国产婷婷婷| 99综合网| 伊人狠狠干| 日熟女| 天天色视频| 99惹精品视频| 久久xx| 五月激香蕉网| 人人爱人人草| 天天天天干| 婷婷丁香视频在线观看免费| 婷婷丁香成人五月天| 激情综合五月| 丁香婷婷五月天激情四射| Se.婷婷五月天| 五月婷婷亚洲综合在线 | 激情第四色| 99久久色| 丁香婷婷五月份| 色色com| 久久丁香五月综合六月激情红杏视频| www.激情五月天.con| 久久人妻精品| 中美日韩成人在线| 欧美婷婷综合| 996日日爱| 99er这里只有精品| 91人人操.COM| 大香蕉九九热| 亚洲操B视频| 精品一二三区久久AAA片| 五月丁香成人网| 亚洲色婷婷99一9|| 2050人人操免费工开爱| 色婷婷久久| 99啪视频在线观看| 99re在线免费视频| 丁香五月天91| 久婷婷视平| 欧美激情综合色综合啪啪五月| 狠狠色五月天| 9久热视频| 久久九九网| 久久五月天色婷婷| 日本高清久| 无码 色| www.狠狠操.con| 亚洲综合视频在线| 91AV婷婷| 五月婷在线| 91精品综合久久婷婷九色| 好叼操在线观看| AAA久久| 五月天六月色| 色激情五月天| 九九九九精品精| 六月婷婷五月天| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 五月丁香婷婷成人综合网| 天天草天天爱| 五月天色婷婷基地| 思思热久热| 五月天婷婷视频30| 直接看的av| 五月色天情| 色婷婷六月天在线| 日韩色色视频| 六月激情婷婷| 裸体做A爰片毛片A片免费| 120分钟婬片免费看| 婷婷五月天影院| 97成人丁香婷婷| 9l视频自拍九色9l视频自拍九色9l社区 | 婷婷综合九月| 欧美色图天堂网| 99九九热在线观看| 99热这里只有在线播放| www.色擼擼.com| 婷婷开心久久| 91人人操人人| 依人大香蕉| 五月丁香激情综合| 日本97在线看片| 综合久久伊人| 天天干,天天舔| 凹凸探花电影| 久久婷婷综合五月趴| 色播五月网| 在线视频99| 网色99| 五月婷婷五月天| 亚洲激情四谢| 五月天成人综合| 天天做天天爱天天日| 很操日本7| 五月丁香花婷婷玉莉AV| 四色永久成人网站| 中文不卡av| 伊人五月天97| 99精品在| 久久婷婷综| 亚洲操操操| 狠狠色综合网站| 99精品大片| 日韩啪啪视频| 91九色PORNY中文啦| 日韩啪| 婷婷五月天AV激情| 五月婷婷激情网| www.9操| h亚洲| 九九家庭影院| 综合久久综合久久| 超碰熟女农村在线69| 任你搞网站| 婷婷伊人激情婷婷| 五月丁香婷婷久久| 久热爱大香蕉在线蜜臀悦色 | 99ER热精品视频| 九色在线观看91av| 日韩综合大黄| 天天干天天干天天干| 久久国产成人9999久久久久| 三区激情四射av| 五月天播播| 久久激情视频| 亚洲欧美婷婷五月色综合| 精品人妻久久久| 日本色色网站| 我想看国产大学生口爆吞精的视频| 91丨九色丨国产打屁股| 久色大| 超碰AAAAAAV| 久久狠狠干| 欧美激情综合| 久婷五月| 五月婷精品| 麻豆忘忧草午夜| 天天操夜夜啊| 操骚货在线| 丁香 亚洲 久久| 热的无码综合视频| 丰满少妇乱A片无码| 色色色色综合网| 月婷婷婷婷五月| 综合色五月亭亭| 99精品无码视频| 9l视频自拍9l视频自拍九色学生| 99re视频在线| 色色性爱视频| 9久久精品视频| 色丁香影院| 欧美内射AAAAAAXXXXX| 婷婷开心深爱五月天| 97色啪| 97碰成超视频免费视频| 精品久久这里热66| 婷婷趴趴| 九色91视频| www久久久久| 五月丁香六月综合基地| 91oumei| 婷婷五月18永久免费视频| 成人综合视频网址| 丁香婷婷色五月合集| 天天爱天天做天天舔| 天天综合 99久久婷婷| 色五月婷婷影视| 深爱五月最新网址| 狠狠九九婷婷韩| 婷婷丁香成人五月天| 91九色PORNY大屁股| 深爱激情五月天婷婷网| 伊人九热| 久久这里只有精品热在99| 91精品视频男人的天堂| 九九大香视频| 都市激情久久| 牛色色碰| 五月天综合| 色欲影香| 激情婷婷五月天| 丁香五月成人论坛| 久久亭亭电影| 成人精品在线| 婷婷五月天.com| 丰满少妇猛烈A片免费看观看| 秋霞簧片| 婷婷六月综合| 久热9| 欧洲综合视频在线观看。欧洲,亚洲综合食品在线观看。 | 色五月婷婷啪啪五月| 久久五月婷综合| 午夜色丁香| 第五婷婷伊人丁香| 超碰免费人人| 五月婷婷啪| 大香蕉久热| www..999热久| 五月天婷婷激情| 五月丁香色五月| Www.久久| 五月色网| 色婷婷www| 91视频精品99| 桃色成人网| 五月亭亭网成人在线视频| 色婷婷久久综合久色综| av大片在线| 色五月婷婷亚洲最大| 第四色激情网| 欧美碰碰碰| www九月婷婷| 97色97干| 久久久久久久久久久久久久久久一道本| 99热免| 超碰九色| 色五月天丁香婷婷色| 久久六月天| 影音先锋人妻出差| 丁香五月婷婷啪| 亚洲国产成人AV在线| 亚洲丁香花色| 夜夜操夜夜操| 色综合五月在线| 综合色网站| 碰97 久| 丁香五月婷婷色情综合| 天天日,天天射,天天舔| 天天爽天天日人人爱| 婷婷五月天综合AV| 五六月婷婷久久| www.五月天| 色五月天电影| 欧美激情综合色丁香婷婷五月天| 婷婷丁香社区网| 热996精品在线观看| 99综合视频一体| 日本色天堂| 五月婷在线播放| 五月天激情站| 久久99免费视屏| 99热一本| www.91AV.com| 婷婷99视频全集高清| 日韩aaaaa| 色五月色图| 日日夜夜狠狠干| 色婷婷婷综合五月天| 五月婷婷激情性爱| 免费国产视频| 91久久综合亚洲噜噜成人在线| 91 欧美| 五月天婷婷综合网| AA丁香综合激情| 久久激情五月婷婷| 激情综合网五月丁香| 久久人妻精品| 九九99九九99偷拍视频免费看| 噜噜色噜噜网| 青草五月天| 久久精品亚洲一级牲爱综合| 丁香六月激情网C0W| 亚洲看av的网站| 五月婷人妻| 亚洲Va成人| 欧美日韩123| 日本97在线| 免费看无码视频A级| 大香婷婷| 蜜桃婷婷狠狠久久| 色碰碰| 色色色五月婷| 日韩色色色色色| 色五月婷婷色| 狠狠88综合久久久久噜噜噜| 99热这里只有精品1| 婷婷狠狠干| 欧美婷婷综合| 国产AV一区二区三区最新精品| 韩国真做片在线观看| 天天综合色| 欧美韩国日本| 五月天大香蕉婷| 99综合成人视频在线观看| 丁香六月青青草| 《久久综合九色综合97婷婷| 九九九九国产| 婷婷六月激情啪啪| 久久人妻伦理| 五月天开心色情网| 国产AV一区二区三区日韩| 国自产拍偷拍精品啪啪一区二区| 久久中文网| 99碰碰。| WWW,五月| 人妻videos人妻高清| 操熟女成人网| 久久久久亚洲AV成人无码电影| 色婷婷久久久| 人与禽A片啪啪| 变态另类色图| 五月丁香狠狠爱| 色国产五月| 激情五月丁香五月| 99综合免费视频| 五月激情综合网婷婷| 激情五月天99色| 91丨九色丨东北熟女| 五月综合亚洲| 夜夜资源站| 91丨九色丨东北熟女| 婷婷激情六月中文| 小视频久久久aaa| 日产精品一线二线三线芒果| www网站在线观看| 99久久久免费| 婷婷五月色播放| 亚洲精品国产成人AV在线| 亚洲操操| 婷婷五月网图片区| 亚洲人妻一区二区| 色综合久| 五月花激情网| 人妻久久久久久久久| EEUSS鲁片一区二区三区| 成人片在线播放| 婷婷免费视频| 亚洲开心激情网| 玖玖婷婷色五月| 亚洲情综合五月天| 色五月天影视| 色色色五月婷| 97人人操人人操人人操人人| 日本婷婷丁香五月| 综合久| 婷婷五月丁香成人网| 午夜婷婷丁香| 粉嫩av懂色av蜜臀av熟妇| 色综色网| 日韩抽插操逼| 丁香五月在线| 精品在线网站| 丁香 亚洲 久久| 婷婷丁香成人色综合| 色婷婷WWW| 99只有这里有精品在线视频| 有码一区二区三区| 五月婷婷激情69| 九九这里有精品| 色婷婷狠狠久久YY| 色婷婷成人五月| 国产精品成人AV在线观看春天| 91操片| 狼人伊人干| 色婷婷在线视频久| 成人在线视频网| 五月丁香久久网| 欧美五月婷婷| 九九久久免费视频44| 1995年关宝慧版蜘蛛女| 精品一二三区久久AAA片| 超碰99在线| 五月婷婷99热| 91在线日| 亚洲AV成人在线| 黄网在线免费播放| 国产白丝在线一区| 美女激情综合| 操一区| 久久综合婷婷五月| 涩综合网| 五月天狠狠网站| 久久婷婷五月| 开心五月激情| 少妇被下春药玩弄A片| 丁香 婷婷五月| 色色99| 丁香五月婷婷深爱综合激情| 五月天婷婷综合网| 五月婷婷综合激情| 2025超碰| 色色综合色| 婷婷丁香综合色AV| 婷婷色操| 狠狠干综合| 91色色色| 久热只有这里精品| 国产综合81p| 婷婷五月天堂| 色五月婷婷天天干| 五月天天丁香婷婷| 日韩五月丁香| 九九精品综合| 婷婷免费精品视频| 桃色成人网| 婷婷五月六月激情| 大香蕉人在线65| 九九综合| 五五月五月| www.韩日视频| 激情六月丁香| 天天人人天天爽| www...com黄在线观看| 激情综合网五月激情网| 五月婷亚洲精品AV天堂| 桃色成人网| 五月丁香婷婷六月| 99,色| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 久久9视频欧美| 激情五月天综合网| 色久综合| 思思久久精品视频| 97碰操| 99亚洲视频| 丁香色五月婷婷91桃色| 五月天综合激情网| 日韩人妻AV在线| 99热激情| 桔色成人官方网站| 超碰91人人操| 大香伊人久色| 99re这里| 五月天播播中文字幕| 亚洲另类婷婷五月丁香在线播放| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 久久五月天视频| 亚洲操人| 人人97操| 无码人妻少妇色欲AV一区二区| 色婷婷激情五月天| 丁香婷婷五月天网站| 久久精品日| 亚洲人妻AV| 欧美黄色韩日网| 丁香五月丐人妻| 丁香五月黄色| 久久五月婷天天干| 色五月综合在线| 这里只有久久精99| 色视五月天婷婷| 亚洲区视频| 丁香五月婷婷激情蜜桃| 能看的AV| 色欲色香综合网| 狠狠干在线| 中文不卡一二三区| 天天色综和网| 九色自拍| 婷婷99视频精品| 久久182| 夜精品无码A片一区二区蜜桃| 亚洲无码11| 99热国产这里只有精品| 天天综合天天玩夜夜玩天天玩夜夜玩| 色婷婷影院| 一区二区免费看| 4438全国最大视频成人网站在线观看| 欧美槡BBBB槡BBB少妇| 色色色色热| 久久停停超碰| 婷婷在线综合| 超碰三级片| 婷婷色色婷婷| 色五月婷婷小说亚洲中文字幕组| 99亚洲无码| 色婷五月天网站| 草AV9999| 99热首页在线30| 丁香五月婷婷少妇| 伦乱美欧| www.sd-xiangsu.cpm| 思思久久99热| 色狠狠激情五月| 久久精彩免费视频精彩免费视频| 狠狠综合久久| 99久久精| 玖玖在线资源视频| 婷婷五月天在线综合导航| 男人的天堂999| 丁香色六月| 插插插丁香五月婷婷| 婷婷AV丁香| 狠狠五月天婷婷| 五月婷婷综合色啪首页| 色欲资源网| 五月丁香花激情综合网| 日本VA视频| 亚洲激情五月| 久久精品五月天| 婷婷久月| 六月激情网| 亚洲成人无码专区| 99热亚州综合| 久99热在线观看| 久婷婷| 夜夜涩涩涩| 日本在线噜噜| 九九在线精品| 亚洲综合激情五月久久| 精品亚洲国产成AV人片传媒| 亚洲无码性爱| 操逼三区| 五月婷婷久久开心网| 26uuu另类| 激情五月六月| 婷婷丁香六月天| 亚洲狠狠爱婷婷| 日韩天堂久久| 久久五月综合| 开心色播色五月婷婷| 激情婷婷五月| 色综合五月天| 超碰A V在线| 中文字幕在线不卡| 丁香五月婷婷激情123| 开心五月婷婷婷美女| 91色久| 五月桃花网综合| 五月久久婷婷天堂视频| 亚洲激情网站无码| 能看的AV| 青草青草视频2免费观看| 色色色天堂网| 亚洲第一色色色| 五月开心激情| 色播五月丁香| 免费人人操| 久久在这里有精品| 九九无码| 九九综合影音先锋| 久久激情视频| 婷婷婷婷婷婷婷五月丁香| 欧美日韩一区二区三区四区| 婷婷不卡基地| 中文字幕婷婷五月天| www.henhengan| 婷婷啪啪| 影音先锋一区| 99精品大片| 色五月大香蕉| 日韩在线9| 丁香五月开心五月激情| 丁香五月激情五月| 五月丁香激情四射综合| 五月激激激情综合网| 婷婷五月综合在线| 丁香婷色| 开心激情网五月天| 91妻人人爽人人看片| 99综合| 色欲午夜无码久久久久久张津瑜| 不卡在线中文字幕无| 亭亭五月丁香综合欧美| 婷婷 丁香 精品| 久久久久久久91| 丁香久久AV| 久久98| 99啪啪网| 色婷婷亚洲婷婷在线观看| 丰满少妇猛烈A片免费看观看| 久久九色| av久热| 四季AV综合网| 涩综合婷婷| 欧美一级a | 99re这里| 国产高潮白浆一区二区| 九九热这里只有国产精品| 天天做天天爱天天爽| 亚洲激情在线| 婷婷伊人网| 五月天婷婷免费| 五月天激情国产综合婷婷婷| 国产原创视频91九色| 天天爽综合| 亚洲熟妇AV乱码在线观看| 久久这里只精品66| 五月天成人在线视频网站| 色五月婷婷色| 色丁香五月| 色五月网址| 四色五月婷婷| 丁香五月婷婷亚洲色图| 9久久精品| 亚洲色色爱| 97精品人人A片免费看| 五月婷高清视频| 性一交一乱一交A片久| 婷婷色播六月无码| 九九九九精品精| 精品一区二区三区木瓜| www.91热久久| www.婷婷五月| 91黄操| 99久热这里只有精品| 亚洲欧洲99| AA片在线观看视频在线播放| 婷婷五月天影视| 91呦呦呦| 99精品无码| 婷婷99狠狠躁天天躁中| 色色色综合色| xxx综合在线| 伊人激情综合| 欧美啪啪9| 久热91| 国产毛片精品一区二区色欲黄A片| 五月丁香色五月| 九色综合五月天婷五月| 色色色五月婷| 99re思思| 色99综合色88| 1024操逼视频| 久热这里只有精品在线观看| 黄色网址五月婷婷| 天堂网啪啪| 婷婷五月天成人在线视频| 99re在线播放| 深爱婷婷网| 五月婷色| 色啪久| 五月婷婷深深爱| 天天综合色丁香| 91美女啪啪| 五月丁香六月香香蕉| 婷婷五月天亚洲天堂| 中文字幕+中文在线| 大香蕉九九| 天天舔天天摸天天透| 久久综合播放| 亚洲A片成人无码久久精品青桔| 开心婷婷五月天激情网| 亚洲另类电影| 亚洲黄网在线| 丁香五月六月| 99精品亚洲| 九九99在线观看视频| 99操网站| 狠狠色婷婷| 99热这里都是精品| 呦呦v线| 五月天开心色情网| 碰99在线| 久操热线| 97碰碰视频| 婷婷激情综合网| 久久综合干| 国产av第一专区| 亚洲激情久久| 碰97久久| 婷婷六月激情综合| 99热精品少| 色人久夂| 婷婷丁香综合在线| 国外亚洲成AV人片在线观看| 五月久久婷婷| 天天色综网| 情情五月天色| 激情小说五月天| 99久久.www| 久久5 9视频免费观看| 色色亚洲| 久久五月视频| 亚洲人人操| 深爱激情69热| 夜夜操夜夜姧| 天天拍夜夜撸| 色色操| 欧美久久网| 激情五月瑟瑟| 久热A片| 免费观看全黄做爰的视频| 99久久激情视频| 九九热re99re6在线精品| 国产精品五月天婷婷| 99色视频在线观看| www.99热视频在线观看| 99精品热| 欧美婷婷丁香五月社区| 青996青| 五月丁香婷婷99| 国内9l视频自拍老熟女九色| 久久综合99综合| 国产精品久久久久久久久久| 五月激情小说| 五月天成人在线视频网站| 99啪啪视频| 日本一道久久| 色婷网| 大香蕉五月天| 淫视馆aV二区一区| 草草视频91| 久久XX| 婷婷五月天电影网| 99免费在线视频| 涩涩五月天| 国产精品电影| 免费看欧美成人A片无码 | 日韩99无码| 婷婷热色| 欧美婷婷九月| 色玖玖玖| 婷婷综合色图| 伊人网欧美在线男人天堂五月丁香 | 狠狠色婷| 玖玖综合玖玖| 狠狠色丁香久久| 婷婷无码视频| 欧美五月丁香啪啪响视频| 色网站99| 伊人网色婷婷五月天| 亚洲激情网站| 丁香婷婷情色五月天| 成人永久免费视频在线观看| 丁香五月婷婷啪啪啪| 九九视频在线观看| 年轻的妺妺伦理HD中文| 大香蕉AV电影在线| 99热在线爱| 99日本在线| 久久这里只有精彩| renre人人操国产超碰在线| 丁香五月婷婷骚视屏| 五月久久婷婷成人网| 久操无码| 免费看欧美成人A片无码| 人妻激情久久| 操逼巨乳91| 99成人网一区| 很很干在线视频| 激情五月天小说| 成人五月丁香社区| 丁香五月成人| 96色婷婷| 国产精品久久99| 五月婷六月丁香| 丁香五月激情网| 99爱爱| 超碰免费电影| 婷婷五月丁香五月| 天天色综合综合| 91久久精品无码一区二区三区| 99九九精品| 97偷拍对白视频| 婷婷无码视频| 亚洲色综久久五月| 婷婷色网站| 日韩专区五月天婷婷丁香| 六月大香蕉| 爱草视频在线观看| 99热免费| 色噜噜狠狠色综无码久久合欧美| 99精品视频推荐| 精品无码av丁香五月激情| 九九热视频精品| 99久久综合网| 久久久久久久久久久44| 五月色丁香成人| 色婷婷国产精品综合在线观看| 国产精品第一国产精品| 夜夜爱影院| 九九热在线视频,| 超碰大香蕉网| 国产色色色色色| 激情深爱婷婷网| 天天干天天爽| 日本久久色| 丁香婷婷综合精品六月初| 99色视频在线| 亚洲综合网在线| 色色操| 色婷婷色99国产综合精品| 免费无码毛片一区二区A片| 色五月婷婷综合在线| 色欲资源网| 91狠狠综合久久久久久| 久草性爱| 激情综合激情综合| 国产麻豆视频| 99热精品在线播放观看| 色婷网| 日韩一级网站| 人人人舔人人人操人人人摸人人人97 | 2025超碰| 亚洲色激婷| 99色在线| 色九月婷婷综合| 激情六月丁| 色色色丁香| 高清无码中文字幕aVDV| 五月婷婷综合激情| wwwss在线观看| 999激情视频| 婷婷久久伊人| 激情欧美丁香五月| 日韩久久日| 青青草视频福利| 香蕉人妻AV久久久久天天| 婷婷激情五月天网站| 香蕉久久国产AV一区二区| 超碰97干| 五月丁香色婷婷久久| 日韩无码人妻一区二区| 激情五月天激情小说| 天天色,天天操,天天射| 九九精品免费| 五月天婷婷六月激情网| 天天色天天| 99re6热在线精品视频播放速度 | 9999综合99综合人| 岛国AV网| 五月婷丁香久久综合| 丁香五月激情在线| 五月天婷婷激情四射综合| www.五月天社区| 丁J香六月首页| 婷婷五月天激情网站| 久久综合香蕉国产国产蜜臀AV| 丁香婷婷色六月| 国内9l视频自拍老熟女九色| 五月天激情www| 激情五月天婷婷色色色色色色色色色色色 | 五月天综合色| 九九十99视频| 激情九月综合| 六月丁香花婷婷| 久热免费视频| 五月噜噜| 黄色短视频在线观看| 丁香六月色婷婷| 天天色99| 级情九色| 成人视频九九| 思思久久久婷婷| 婷婷五月天小说网| 日本丁香久在线| 九九色精品| 日本www五月婷婷| 五月成人丁香av91| 几激情五月婷婷色五月色天堂| 天天色99| 五月天另类小说| 婷婷丁香五月天色区| ai97re99一本| 9l视频自拍九色9l视频在线观看| 五月婷婷与六月丁香图片激情| 婷婷基地爱| www.91有码.com| 丁香六月婷婷色XXXXX| 日本熟妇精品99| 五月丁香拍拍激情综合| 五月丁香亭亭A片| 国产激情在线| 人人爱干人人爱草| 久久丁香婷婷色情综合| 超碰免费99| 激情五月网站| 97操碰人人| 激情色播| 免费观看的婷婷五月视频在线| www.婷婷六月天| 五月天色色无码| 色欲久久久久久综合网综合网| 久热这里只有精品性色AV| 亚洲AV日韩在线观看| 激情久久肏屄视频| 五月天色五月天| 9精品视频在线| 国产SUV精品一区二区6| 婷婷五月综合体验看| 色色啊| 六月丁香婷婷色狠狠久久| 久99热| 99久在线精品99re8热| 天天狠天天狠| 丁香五月综合无码趴趴| 久久精彩免费视频| 日日干日日| 天天日夜夜夜操操操操| 日韩成人电影在线播放| 亚洲情综合五月天| 色停停香蕉视频| 伊人深爱综合| 开心深爱五月天| 色色激情五月| 超碰免费人人肏| 伊人久久艹| 日本一级一片免费视频| 狠狠色综合网站| 性日本激情| 色婷婷操逼网| 亚洲av| 欧洲色| 中文字幕日韩成人| 成人做爰A片免费看网站找不到了| 婷婷色五天| 开心五月色婷婷综合开心网| 久久久久久久综合狠狠综合| 91岛国片| 婷婷六久久| 国产av天堂| 啪啪啪大香蕉| 可以免费观看的AV| 丁香五月激情综合啪啪| www.天天干.com| 婷婷五月天综合网| 哇嘎成人久久| 国产激情一区| 日韩AV中文在线观看| 日日操夜夜撸| 99热最新| 淫视馆AV在线| 日日操夜夜撸| 激情丁香六月| 国产精品视频久久99| 午夜丁香六月婷| 五月丁香婷婷无码中文| 日韩成人无码人妻| 男女免费视频999| 欧美人人超级碰| 九九美女视频| 国产欧美大香蕉一区| 99视频在线9| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 婷婷综合精品| 国产成人综合在线| 99re在线视频| 精品99在线| 欧美久久网| 人人综合久| 大香蕉天堂| 九色91视频| 亚洲综合1024| 激情综合啪啪| www.久久| 美女天天久久| 激情五月综合视频| 情五月亚洲婷婷| 丁香五月综合图片在线观看| 婷婷六月丁香色| 色婷婷六月综合| 日日操,天天操| 婷婷五月丁香网| 婷婷五月色播放| 色五月av| 婷婷五月丁香综合激情| 超碰人人艹| 久久久久er热| 综合久久婷婷| 国产乱人偷精品人妻A片| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 亚色网站小视频| 五月社区婷婷激情| 五月天夜夜爱夜夜操| 五月婷婷狠狠干| 玖玖热视频| 色欲五月婷婷| 丁香五月婷婷六月| 六月丁香五月婷婷| 成人 在线观看国产| 色婷婷色综合| 五月天婷婷情色| 九九成人精品免费视频| 五月丁香六月欧美综合| 精品久久久久久久人妻| 极品人妻VideOssS人妻| 人妻熟妇国产精品| 激情五月天婷婷| 美女被操一区二区| 99久超碰| 久久久er热| 性天天中文网| 激情爱爱网站| 五月丁香婷婷啪啪| 日韩熟女啪啪视频| wWW九九在线播放| 人人操Av| 婷婷五月伦理网站| 丁香五月首页| 熟妇无码乱子成人精品| 日韩AV成人电影| 婷婷丁香五另类网站| ji'qing'luan'ren'lun| 五月丁香六月激情欧美综合| 狠狠干综合| 91在线97视频| 五月天开心色情网| 天天爽曰日爽| www.婷婷.com| 色五月激情五月| 欧美日韩成人高清在线| 蜘蛛女免费观看完整版高清电影| 综合婷婷五月丁香在线观看| 欧美日韩91| 琪琪狠狠干| 婷婷色婷婷亚洲成人| 五月天色视频| 日本一道久久| 久色五月| 丁香桃色网| 欧美日韩精品一区二区三区钱| 婷婷五月丁香啪啪| 国产婷婷综合| 天天日日天天| 婷婷欧美激情综合| 丁香五月婷婷综合啪啪| www.黄色片-久久成人国产精品在线播放-999AV| 成人婷婷色五月天| 91人操| www五月婷婷88导航| 99热都是精品| 久久机热/这里只有精品| 色五月网址| 99男人天堂| 五月婷婷网五月在线| 五月婷婷深深爱| 67194中文字幕| 五月婷婷啪啪网| 久久色情| 色噜噜狠狠色综合成人网| 五月开行婷婷色五月| 99久视频| 伊人网大香| 99热6色| 久久AAAA片一区二区| 婷婷久久五月天| 91久久五月天| 激情五月天福利| 激情综合网激情五月欧美| 丁香婷婷基地| 欧美精产国品一二三区| 另类小说激情五月天| AV成人在线网站| 久久视频这里都是精品| 激情AV| 亚洲综合无码| 婷婷五月天天爽| 一区无码| 激情综合亚洲色婷婷五月| 丁香六月激情| 99色精品视频| wwwss在线观看| 丁香五月综合婷婷| 婷婷激情视频| 91视频久久久| 婷婷香五月天| 久婷视频| 婷婷五月视屏| 久久38视频| 婷婷色狠狠| 亚州第一黄网| 日撸夜撸日操| 超碰日韩人妻在线| 久久九九99字幕| 国自产拍偷拍精品啪啪一区二区| 人人爽人人射-美女久久久久久久久久-成人AV | 97色伦另类图片小说视频 | 婷婷五月天色播| 91女人18毛片水多国产| 色丁香久久久| 亚洲黄色操逼| 九九视频这里只有精品| 久久久久五月丁香| 久久婷婷五月天蜜桃|