欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

斗地主RL模型實(shí)戰(zhàn):不完美信息博弈的環(huán)境搭建與自對弈訓(xùn)練

斗地主RL模型實(shí)戰(zhàn):不完美信息博弈的環(huán)境搭建與自對弈訓(xùn)練 簡介斗地主RL模型1 是一份聚焦斗地主人工智能的PDF技術(shù)資料面向研究強(qiáng)化學(xué)習(xí)、不完整信息博弈或棋牌AI的開發(fā)者。資源以1個PDF文件壓縮為1.12MB系統(tǒng)梳理了斗地主RL建模的關(guān)鍵難點(diǎn)行動空間龐大時的BFS搜索與Top100牌組集合、不同身份與階段的動作價值估計(jì)、對手手牌推斷等并完整給出叫地主模型、斗地主模型、評估器模型的三模型架構(gòu)以及兩個核心建模假設(shè)、重要性采樣、stacked-attention與transformer cross channels等實(shí)現(xiàn)細(xì)節(jié)。資料還包含實(shí)驗(yàn)環(huán)境、無數(shù)據(jù)自對抗訓(xùn)練、訓(xùn)練時長和TODO清單便于讀者理解從任務(wù)分析到模型構(gòu)建的完整思路。目前已有222人學(xué)習(xí)適合希望借鑒實(shí)戰(zhàn)方案設(shè)計(jì)深度強(qiáng)化學(xué)習(xí)智能體的工程師參考。1. 斗地主RL模型不完美信息博弈為什么讓強(qiáng)化學(xué)習(xí)集體翻車斗地主 RL 模型核心不是“用強(qiáng)化學(xué)習(xí)把牌打完”而是解決一類典型問題三人博弈、兩副手牌不可見、合法動作組合爆炸、自對弈目標(biāo)還在隨對手漂移。很多人照著 AlphaGo 的思路搭了一套 RL樹搜索結(jié)果在手牌不全可見、對手還是隊(duì)友的牌局里完全跑不動訓(xùn)練損失像心電圖一樣抖。我見過不少工程項(xiàng)目在環(huán)境、特征和獎勵設(shè)計(jì)上先后翻車真正能落地的斗地主 RL 模型往往是“規(guī)則引擎 靜態(tài)特征 蒙特卡洛自對弈”這套輕量組合。后面按一線落地順序拆開講先搭環(huán)境與合法動作再定動作編碼與獎勵然后選算法訓(xùn)練最后給校驗(yàn)方法和關(guān)鍵踩坑適合已經(jīng)有 RL 基礎(chǔ)、正在選型或已經(jīng)訓(xùn)不動的工程師照著復(fù)現(xiàn)。2. 搭建環(huán)境與狀態(tài)表征先讓一局牌能算清賬2.1 為什么斗地主環(huán)境不能直接拿來用很多人第一步就去找現(xiàn)成的斗地主環(huán)境走上正軌的不多。Gym 生態(tài)里不是沒有撲克環(huán)境但大多集中在德州、二十一一點(diǎn)這類固定回合的游戲斗地主里“順子、連對、飛機(jī)、四帶二、春天翻倍”這些規(guī)則實(shí)現(xiàn)不完整的環(huán)境一抓一大把。判斷一個環(huán)境合不合格不是看它能不能跑完一局而是看兩種場景手里有 3456789 時能不能拆出順子和單張兩種合法動作上家出了三個 2 帶一對你三個 A 能不能合法壓住。常見的做法是拿開源斗地主解析庫做底子自己補(bǔ)環(huán)境接口或者干脆自己花半天時間重寫一版規(guī)則判斷畢竟 54 張牌的邏輯并不復(fù)雜后面訓(xùn)練出了問題也容易定位。自研或改造時環(huán)境至少要暴露 reset、step、get_legal_actions、is_terminal 四個接口缺一個后面都會卡手。這個階段最容易忽視的是“重復(fù)動作”問題。同一個手牌組合既可以被枚舉成三帶一也可以被枚舉成單張加三張的單牌拆分如果不做去重模型明明拿著同樣的牌卻被送進(jìn)兩個不同動作 ID梯度會互相打架。所以動作枚舉時一定要按“牌型 主牌點(diǎn)數(shù) 副牌點(diǎn)數(shù)”三元組去重只保留一組動作 ID。這一步做得干凈后面合法動作掩碼才不容易翻車。2.2 狀態(tài)表征手牌、歷史與未知牌的三段式編碼斗地主的觀測核心是把自己的 17 張手牌、另兩家打出的歷史牌、目前場上沒出現(xiàn)過的牌以及當(dāng)前輪次按序拼成一個定長向量。最樸素的做法是把 15 種點(diǎn)數(shù)3 到 A、2、小王、大王配 4 種花色編碼成 15×4 的 0/1 矩陣標(biāo)記“我手里有沒有這張牌”。第二段是兩家對手分別累計(jì)打出的牌同樣用 15×4 的矩陣記錄誰打的放哪個通道不能混在一起否則模型分不清哪張是上家管的、哪張是下家送的。第三段是全場出現(xiàn)過的牌減去手牌和歷史牌的差值這部分其實(shí)隱含了另兩家手牌的分布信息統(tǒng)計(jì)出來直接拼進(jìn)特征里。我一般會把當(dāng)前輪到誰出牌也做成 3 維 one-hot再帶一個歸一化到 [0,1] 的輪次數(shù)。整條特征拼完大約兩百維MLP 完全吃得消。不建議直接用 54 維 one-hot 表示手牌因?yàn)槟菢訒屇P妥约簭南∈柘蛄坷镒黾臃ㄈミ€原張數(shù)信息白白浪費(fèi)擬合能力收斂也慢。def encode_state(hand_cards, played_by_me, played_by_opp1, played_by_opp2, current_player, round_index): # 15 種點(diǎn)數(shù)按 3,4,5,6,7,8,9,10,J,Q,K,A,2,小王,大王 排列 # 4 種花色對應(yīng) 0~3不區(qū)分大小只做占位 hand np.zeros((15, 4), dtypenp.float32) for card in hand_cards: rank rank_to_idx[card.rank] # 0~14 hand[rank, card.suit] 1.0 hist1 np.zeros((15, 4), dtypenp.float32) for card in played_by_opp1: hist1[rank_to_idx[card.rank], card.suit] 1.0 hist2 np.zeros((15, 4), dtypenp.float32) for card in played_by_opp2: hist2[rank_to_idx[card.rank], card.suit] 1.0 unseen np.clip(1.0 - hand - hist1 - hist2, 0.0, 1.0) # 未出現(xiàn)的牌張數(shù)統(tǒng)計(jì) turn np.zeros(3, dtypenp.float32) turn[current_player] 1.0 return np.concatenate([ hand.flatten(), hist1.flatten(), hist2.flatten(), unseen.flatten(), turn, [round_index / 20.0], ])這段代碼的邏輯說明unseen 是“互補(bǔ)信息”通道它告訴網(wǎng)絡(luò)另外兩家手里大概率捏著什么牌型。手牌和歷史牌都是離散事實(shí)只有 unseen 是推斷但它對斗地主特別重要比如 unseen 里 A 數(shù)量多模型就該知道對子 A 很可能被拆在兩家手里。rank_to_idx 的映射順序要固定訓(xùn)練和推理必須用同一張表round_index 除以 20 是把輪次壓到 0~1 區(qū)間防止特征尺度把 MLP 的第一層權(quán)重帶到極端值。另一個注意點(diǎn)是 unseen 的減法如果直接用整副牌減去手牌減歷史牌會出現(xiàn)負(fù)數(shù)所以 np.clip 保底。2.3 合法動作生成枚舉牌型與掩碼實(shí)現(xiàn)斗地主的動作空間不是固定的而是每一輪根據(jù)當(dāng)前手牌和上家牌實(shí)時生成的。不少初學(xué)項(xiàng)目把動作輸出設(shè)計(jì)成固定幾百維每輪把非法動作概率置零結(jié)果模型在大部分非法動作上學(xué)到一堆噪聲。正確做法是先把當(dāng)前手牌能組成的全部合法牌型枚舉出來再用上一手牌過濾出能壓住的部分最后把動作 ID 列表轉(zhuǎn)成一份掩碼網(wǎng)絡(luò)只在掩碼上選動作。def generate_legal_actions(hand, last_moveNone): # hand: 元素為 (rank, suit) 的列表 # last_move: (action_type, main_rank, kicker_rank) 或 None count_by_rank defaultdict(int) for card in hand: count_by_rank[card.rank] 1 actions [] # 基礎(chǔ)牌型單張、對子、三條、炸彈 for rank, cnt in count_by_rank.items(): if cnt 1: actions.append((single, rank, -1)) if cnt 2: actions.append((pair, rank, -1)) if cnt 3: actions.append((triple, rank, -1)) if cnt 4: actions.append((bomb, rank, -1)) # 順子從 3 到 A連續(xù)長度 5枚舉起點(diǎn)和終點(diǎn) # 連對、飛機(jī)、三帶一/三帶二、四帶二同理按 rank 連續(xù)段生成 # 去重并過濾上家出牌后只保留嚴(yán)格更大的動作 actions list(set(actions)) if last_move is not None: actions [a for a in actions if beat(a, last_move)] # 動作 ID 映射每種牌型一個固定區(qū)間例如 single 0~14, pair 15~29 # 順子/連對/飛機(jī)用 hash(起點(diǎn),長度) 落到預(yù)留段 return [action_to_id[a] for a in actions]這段代碼把動作枚舉縮小到“從手牌聚合結(jié)果出發(fā)”不需要逐張遞歸。真正的工程難點(diǎn)在順子、連對、飛機(jī)這三種跨度動作。常見誤區(qū)是只枚舉最長順子但手牌 3456789模型必須既能出全長順子也能出 34567 單組順子否則策略空間被強(qiáng)行截?cái)嗤瑯?4567 和 45678 如果都合法就必須各算一個動作不能用“長度相同視為等價”來偷懶。action_to_id 要提前把單個、對子、三條這類基礎(chǔ)牌型固定在低區(qū)間把順子、連對這類組合牌型映射到高區(qū)間保證動作空間不隨著手牌變化而改變位置訓(xùn)練時掩碼才能對齊。3. 動作編碼與獎勵塑形把牌感裝進(jìn)網(wǎng)絡(luò)3.1 獨(dú)熱編碼為何收斂不動斗地主的動作空間不像連續(xù)控制那樣天然帶結(jié)構(gòu)。如果策略頭直接把全部動作 ID 打成幾百維獨(dú)熱模型看到的是互相獨(dú)立的符號對子 3 和對子 4 沒有任何共享表征三帶一和三帶二也被當(dāng)作完全不同的東西。它需要從零開始數(shù)據(jù)學(xué)出“對子 3 和對子 4 只是點(diǎn)數(shù)不同、行為同樣是把兩張牌一起出”的規(guī)律。一個 15 點(diǎn)數(shù)的斗地主牌型和點(diǎn)數(shù)之間的組合關(guān)系足以讓模型訓(xùn)練前期浪費(fèi)大量時間。更麻煩的是合法動作掩碼每輪都在變獨(dú)熱輸出層會把概率分散到幾百個位置上梯度信號被拉得特別稀薄訓(xùn)練起來像玄學(xué)。這個問題的本質(zhì)是模型缺少先驗(yàn)。Deep Q 系列方法能在圍棋上收斂得益于棋盤天然的空間局部性而斗地主的牌型關(guān)系是離散組合的。給策略頭喂入先驗(yàn)是比堆網(wǎng)絡(luò)深度更直接有效的手段。3.2 分槽位動作頭與先驗(yàn)偏置可解釋的合法出牌引導(dǎo)一種被驗(yàn)證有效的做法是把動作輸出頭從“一個大 softmax”拆成“牌型、主牌、副牌”三個槽位。牌型槽位輸出當(dāng)前動作屬于哪種類型主牌槽位輸出是哪個點(diǎn)數(shù)的牌副牌槽位只在三帶一、三帶二這類動作里生效。三個槽位分別算 logits最后再合成完整動作空間。貝葉斯先驗(yàn)體現(xiàn)在手牌里沒有某張牌這個點(diǎn)數(shù)的 logits 就應(yīng)該被壓到極低手里有三張 A三帶一的 A 主牌槽位就應(yīng)該有更高的基數(shù)。這個先驗(yàn)不需要網(wǎng)絡(luò)訓(xùn)練學(xué)初始化時直接用手牌掩碼乘一個加權(quán)系數(shù)加上去即可。def policy_head(features, hand_mask, last_move_mask): # features: 狀態(tài)編碼輸出例如 128 維 # hand_mask: (15,) 每張主牌是否可用 # last_move_mask: 預(yù)生成的動作級掩碼shape 與完整動作空間一致 x F.relu(fc1(features)) # 128 - 256 type_logits fc_type(x) # 牌型槽位長度 牌型總數(shù) rank_logits fc_rank(x) # 主牌槽位長度 15 kicker_logits fc_kicker(x) # 副牌槽位長度 15 # 先驗(yàn)偏置手里真正有的牌對應(yīng)槽位 logits 加一個固定正數(shù) prior_bias 0.8 rank_logits rank_logits hand_mask * prior_bias kicker_logits kicker_logits hand_mask * prior_bias # 組合成完整動作空間并套用合法動作掩碼 logits combine_slots(type_logits, rank_logits, kicker_logits) logits torch.where(last_move_mask 0, logits, torch.full_like(logits, -1e9)) return F.log_softmax(logits, dim-1)邏輯說明hand_mask 是 2.2 節(jié)里 hand 矩陣按點(diǎn)數(shù)聚合后的 15 維向量代表“我手里有沒有這張牌”。prior_bias 取 0.8作用是讓網(wǎng)絡(luò)一開始就偏向選自己手里有的牌而不是靠海量探索去發(fā)現(xiàn)這個規(guī)律。combine_slots 把三個槽位的外積映射回完整動作 ID 空間對每個動作 ID反查它是哪種牌型、主牌點(diǎn)數(shù)、副牌點(diǎn)數(shù)再把三個 logits 相加。這個映射表必須和生成合法動作的 action_to_id 用同一套半點(diǎn)不能差。torch.where 的寫法比直接把合法位置置一個大正數(shù)更穩(wěn)非法位置變成 -1e9softmax 后概率接近 0合法位置數(shù)值不變。這個掩碼在訓(xùn)練時用上一輪 last_move 生成推理時也要走同一份代碼保持完全一致。3.3 獎勵塑形一局只有勝負(fù)其實(shí)就夠了斗地主訓(xùn)練里最常見的翻車是加中間獎勵。有的人給“每一步壓住對手”加正獎勵有的人給“自己手牌剩得少”加負(fù)獎勵結(jié)果模型要么變成不出牌的龜縮流要么變成死攥炸彈不放的自私鬼。原因是這些塑形信號與最終勝負(fù)并不完全一致智能體總會找到一條“最小風(fēng)險”路徑去刷中間分?jǐn)?shù)而不是為終局勝利服務(wù)。我一般只按整局結(jié)束給 ±1農(nóng)民陣營贏兩個農(nóng)民各得 1地主贏地主 1兩個農(nóng)民各 -1。不在任何中間步驟給獎勵這是 DMC 類方法能在斗地主上站穩(wěn)的關(guān)鍵前提。如果想讓模型學(xué)到“盡快走完手牌”的意識可以做一個溫和的附加項(xiàng)終局時給勝方的額外 0.1 作為打牌速度加分但要先在固定對手上開一組對照實(shí)驗(yàn)確認(rèn)它不會扭曲最終勝負(fù)。相比之下剩一張牌和剩五張牌之間的“剩余牌數(shù)”懲罰看似合理其實(shí)會讓模型學(xué)成“留一張單牌不出拖到底”——局部最優(yōu)整體崩盤。4. 算法選型與自對弈訓(xùn)練從 DMC 到蒙特卡洛回歸4.1 三個候選方案怎么選斗地主 RL 常見實(shí)現(xiàn)路徑有三條NFSPNeural Fictitious Self-Play、DMCDeep Monte Carlo、以及“模型池 蒙特卡洛回傳”的簡化自對弈。NFSP 需要維護(hù)凍結(jié)的過去策略平均網(wǎng)絡(luò)和兩套回放緩沖用于反事實(shí)推理工程復(fù)雜度高適合真正打比賽級別的系統(tǒng)它的收益在不完美信息天梯里其實(shí)最明顯但團(tuán)隊(duì)如果沒有兩周以上的調(diào)參時間很容易在平均策略和當(dāng)前策略之間調(diào)崩。DMC 最簡潔整局采樣終局勝負(fù)回傳等價于把一步的 TD 目標(biāo)全部換成整局真實(shí)回報(bào)訓(xùn)練穩(wěn)定性好。第三種是大多數(shù)團(tuán)隊(duì)最終實(shí)際采用的形態(tài)保留 DMC 的蒙特卡洛回傳同時維護(hù)一個歷史模型池持續(xù)輪換對手抑制過擬合。方法核心思想適合場景NFSP維護(hù)平均策略網(wǎng)絡(luò)做反事實(shí)推理有大量調(diào)參時間、追求頂級牌力DMC整局蒙特卡洛回歸不用 TD bootstrap快速驗(yàn)證特征和獎勵設(shè)計(jì)模型池蒙特卡洛定期換對手多智能體交替大多數(shù)工程項(xiàng)目的最終形態(tài)沒有足夠算力時不要硬上 NFSP。簡化自對弈先把特征和獎勵驗(yàn)證明白后面再換復(fù)雜方法也不遲。4.2 主干訓(xùn)練循環(huán)整局采樣 端到端回傳在這個環(huán)節(jié)我用的模式是隨機(jī)洗牌開局確定性記錄當(dāng)前智能體和固定的對手池打完整局用終局勝負(fù)回傳更新價值網(wǎng)絡(luò)。下面這段偽代碼是能直接進(jìn)項(xiàng)目的主干循環(huán)細(xì)節(jié)按自己環(huán)境接口微調(diào)即可。for episode in range(total_episodes): # 每 500 局從模型池里換一次對手池里保存過去多個 checkpoints if episode % 500 0: opponent pick_opponent_from_pool() seed episode * 7919 13 # 同類實(shí)驗(yàn)固定種子可復(fù)現(xiàn) trajectory, result play_one_episode(env, current_actor, opponent, seed) # 農(nóng)民陣營共享勝負(fù)兩個農(nóng)民同贏同輸 reward 1.0 if current_actor_won(result) else -1.0 # 整條軌跡每步都存同一個 reward這就是 DMC 的核心 for obs, mask, act in trajectory: replay.append(Transition(obs, mask, act, reward)) if len(replay) 1000: batch replay.sample(batch_size256) pred_q q_net(batch.obs, batch.mask).gather(1, batch.act) loss F.mse_loss(pred_q, batch.reward) optim.zero_grad() loss.backward() optim.step()邏輯說明注意這些轉(zhuǎn)移全部共享同一個終點(diǎn) reward這正是 DMC 與 DQN 的差異。DQN 會用 Q(s) 做 bootstrap 目標(biāo)在斗地主這種玩家手牌分布復(fù)雜的環(huán)境里早期 Q 值本身充滿噪聲bootstrap 會讓誤差逐輪放大直接使用整局真實(shí)勝負(fù)等于讓每一步的決策都直接面向最終目標(biāo)做監(jiān)督。seed 固定是為了讓同一模型在不同實(shí)驗(yàn)里能對照復(fù)現(xiàn)如果種子不確定你根本分不清是模型進(jìn)步還是起手牌變好。模型池的作用在第 5 章會展開它可以防止策略只贏一個固定對手。參數(shù)上學(xué)習(xí)率 1e-4、batch 256 是一個穩(wěn)妥起點(diǎn)從 0.01 起步會把 loss 打到 NaN 的概率大幅升高。temperature 退火從 0.3 降到 0.05探索與利用的節(jié)奏參照常見自對弈做法。4.3 要不要顯式建模對手手牌有一類方案會額外輸出“另兩家手牌的概率分布”用輔助任務(wù)做對手建模。對斗地主來說這層預(yù)測是個黑匣子兩張不可見手牌的分布范圍極大預(yù)測誤差會被強(qiáng)化學(xué)習(xí)目標(biāo)放大而且輔助任務(wù)梯度會跟主任務(wù)搶網(wǎng)絡(luò)容量。我的常見做法是不單獨(dú)建模在第 2.2 節(jié)的狀態(tài)表征里已經(jīng)用 unseen 向量攜帶了“未出現(xiàn)牌張數(shù)統(tǒng)計(jì)”這已經(jīng)是一種隱式建模只有當(dāng)模型在純自對弈里進(jìn)入平臺期才考慮加對手牌型預(yù)測并且用“只在特征提取器上回傳、不讓策略頭被輔助任務(wù)污染”的方式接進(jìn)去否則容易變成兩個任務(wù)互相打架。5. 斗地主RL訓(xùn)練避坑記錄五條血淚經(jīng)驗(yàn)5.1 三個智能體同時訓(xùn)練損失不降反升現(xiàn)象讓三個 RL 智能體在同一個環(huán)境里同時更新訓(xùn)了兩千局損失曲線像心電圖一樣抖動誰也沒學(xué)會出牌邏輯。原因三個策略都在變每個智能體的對手都在動Q 值永遠(yuǎn)在追趕一個不存在靜止目標(biāo)價值函數(shù)沒有可收斂的固定點(diǎn)。解決固定兩個對手可以一個是隨機(jī)策略一個是歷史 checkpoint只更新當(dāng)前智能體升級到模型池后也要保證池里模型是不參與梯度更新的凍結(jié)版本。如果想跑三方聯(lián)合進(jìn)化必須用聯(lián)盟訓(xùn)練里的優(yōu)先級采樣那一套普通項(xiàng)目直接三人同步訓(xùn)練幾乎必崩。5.2 合法動作掩碼導(dǎo)致 loss 變成 NaN現(xiàn)象加 -1e9 掩碼后第一輪訓(xùn)練輸出 NaN。原因mask 里合法位置被置成 0導(dǎo)致所有 logits 都被抹掉softmax 分母為 0更隱蔽的是 torch.where 的寫法里非法位置的數(shù)量覆蓋了整個動作空間合法位置全是 -1e9。解決千萬別把 mask 直接乘到 logits 上要用加法掩碼并且寫一個計(jì)數(shù)器檢查每個 batch 里是否至少有一個動作位置的掩碼為 1。還要確認(rèn)“pass”這個動作永遠(yuǎn)合法手里任何牌都能不出否則在對手出牌后模型會有輪次完全沒動作可選。5.3 中途獎勵讓模型變成龜縮流現(xiàn)象加了“每一步壓住對手獎勵 0.1”后模型學(xué)會了不出牌、不接牌全靠隊(duì)友把牌走完自己最后才出。原因這個中間獎勵與最終勝負(fù)不一致模型發(fā)現(xiàn)“不動”是風(fēng)險最低的路徑同時還能撿到少量分?jǐn)?shù)于是為了刷分犧牲終局。解決刪掉所有中間獎勵只讓終局勝負(fù)做唯一監(jiān)督如果一定要給進(jìn)度信號把它放進(jìn)終局判定的附加項(xiàng)里并且做一個 A/B 對照驗(yàn)證添加項(xiàng)后對固定對手的勝率不降再保留。5.4 過擬合到固定對手換人即翻車現(xiàn)象在固定對手上勝率到了 60%換上另一個風(fēng)格不同的對手勝率跌到 30%。原因智能體記住了訓(xùn)練對手的出牌習(xí)慣比如“對子壓到 K 就收手”“手里有小王優(yōu)先接單”這種習(xí)慣并不能泛化到所有玩家。解決訓(xùn)練中定期從模型池里隨機(jī)采樣對手每隔五百局換一次評估時保留一組“從未參與訓(xùn)練”的對手模型用它單獨(dú)測勝率這才是模型真實(shí)牌力的標(biāo)尺。一個合格的模型池至少要有五到八個不同階段的模型讓當(dāng)前策略不斷面對陌生打法。5.5 發(fā)牌種子方差太大評估玄學(xué)現(xiàn)象同一個模型用不同隨機(jī)種子各跑一百局勝率在 45% 到 65% 之間跳來跳去。原因斗地主起手牌影響特別大炸彈位置和手牌張數(shù)分布會讓牌局產(chǎn)生極端結(jié)果只跑少量局?jǐn)?shù)時勝率指標(biāo)完全被運(yùn)氣覆蓋。解決評估時固定一組預(yù)生成的發(fā)牌種子比如 1000 個多個對手模型上取平均訓(xùn)練時不要看單局日志單獨(dú)保留最近 500 局移動平均勝率拿這個值判斷是否在進(jìn)步。這條經(jīng)驗(yàn)我翻了兩次車之后才落實(shí)成固定流程。6. 用人類出牌記錄做監(jiān)督預(yù)熱讓RL模型起步更穩(wěn)6.1 用歷史對局先教會模型“像個正常人”隨機(jī)初始化的策略在斗地主里連基本出牌邏輯都要摸索訓(xùn)練前期大量局?jǐn)?shù)被浪費(fèi)在“學(xué)會不出錯牌”這件事上。常見做法是收集人類斗地主的出牌記錄把每一步的狀態(tài)、合法掩碼、人類動作拼成監(jiān)督數(shù)據(jù)集先做模仿學(xué)習(xí)預(yù)熱。這個預(yù)熱不需要太多數(shù)據(jù)幾十上百局完整對局的去重動作就能看出效果核心收益是讓模型在進(jìn)入 RL 前已經(jīng)知道“接牌大、拆牌穩(wěn)、單牌要留著壓”這類人類基本牌感后續(xù) RL 只需要在局部策略上做微調(diào)。# 監(jiān)督預(yù)熱復(fù)用斗地主 RL 模型的策略頭換成交叉熵?fù)p失 for batch in human_data_loader: obs, mask, human_action batch # human_action 必須合法動作 ID log_probs policy_head(obs, mask) # 復(fù)用強(qiáng)化學(xué)習(xí)同一份代碼 loss F.nll_loss(log_probs, human_action) optim.zero_grad() loss.backward() optim.step()邏輯說明這里的關(guān)鍵是復(fù)用第 3.2 節(jié)同一個策略頭代碼不要另起模型否則 RL 階段冷啟動的收益就歸零。熱啟動學(xué)習(xí)率用 1e-4batch 取 128 或 256訓(xùn)練 2000 到 5000 步后停止停得太早預(yù)熱不足停太久模型會被人類打法鎖死失去 RL 自對弈探索的余地。預(yù)熱結(jié)束后切回 RL 訓(xùn)練循環(huán)時把探索溫度調(diào)高到 0.3 左右讓模型先跳出純模仿再逐步退火到 0.05。6.2 三個驗(yàn)證視角動作合法性、固定種子勝率與關(guān)鍵決策復(fù)盤驗(yàn)證一個斗地主 RL 模型我不會只看訓(xùn)練損失。第一步是統(tǒng)計(jì)測試局里非法動作數(shù)量必須為 0這能確認(rèn)動作掩碼和策略頭的一致性第二步是固定 1000 個發(fā)牌種子和從未參與訓(xùn)練的對手模型池各跑若干局取平均勝率這個數(shù)字才值得寫進(jìn)實(shí)驗(yàn)記錄第三步是回放幾局關(guān)鍵決策比如對手剩兩張牌時模型會不會拆對子壓牌隊(duì)友明顯缺門時模型會不會主動送牌。模型能在這三關(guān)都站住才算真正可以進(jìn)天梯或業(yè)務(wù)場景。我自己習(xí)慣是任何新實(shí)驗(yàn)先寫合法動作的單元測試再進(jìn)監(jiān)督預(yù)熱最后才碰強(qiáng)化學(xué)習(xí)目標(biāo)這套順序就算后邊 RL 目標(biāo)調(diào)崩了策略也不至于徹底放飛。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产精品美女久久久久AV超清| 91大神操美女| 日本欧美啪啪| 色私五月婷婷| 热的国产99热| 亚洲综合五月天| 99在线观看视频免费| 亚洲综合在线视频| 五月激激网w'w'w| 亚洲五月天激情| 99热在这里只有免费精品| 丝袜激情网| 9福利性视频欧美| 婷婷色婷婷| 超碰人人99| 五月婷婷六月丁香在线视频免费在线观看| 亚洲操逼片| 色婷婷视频在线| 做爱夜夜干天天操| 国产av网| 九九在线精品| 丁香六月色婷婷欧美| 这里只有精品视频在线| 精品久久66| 91视频综合网| 久久久天堂国产精品女人| 77799热| 国产又爽又猛又粗的视频A片| 亚洲mm色| 2020日日干| 色丁香久久| 五月综合激情久久| 一区=区操屄高清大全av| 日韩AAAAAAAAAAA片| 日韩精品一区二区亚洲AV观看| 色婷婷电影网| 色婷婷六月天在线| 色综合网上班开心婷婷久久| 影院久久久| 99精品视频免费| 综合激情五月婷婷| 屁股翘好撅高迎合跪趴| 中文字幕,综合,91| 五月婷婷六月丁香| AV大片在线观看| 五月婷婷深深爱| 五月丁香婷婷爱激情综合网| 国产做爰视频免费播放| 五月天丁香成人社| 五月婷深深爱激情网| 亚洲色五月婷婷| 天天色播| 99热6色| www.激情五月天.con| 大香蕉婷婷丁香天堂AV| 色色 9| 久热69| 天天干天天拍| 熟女激情网| 五月天色综合服务平台| 色婷婷综合视频| 在线A色| 夜夜AVV| 五月婷婷激情综合网| 亚洲人妻一区二区 | 色色色综合网| 久久丁香五月天| 超碰色综合| 五月网站| 操骚货在线| 亚洲精品五十一区| 五月婷婷色影院| 91男同视频| 激情综合五月婷婷丁香| 婷婷丁香激情五月天色色| 久久 婷婷 五月天| 婷婷丁香五月亚洲| 色五月婷婷91| 久久婷婷五月免费视频| 色五月婷婷五月久久| 久久人五月| 色婷婷成人做爰A片免费看网站 | 久久久这里有精品| 亚洲噜色| 色婷五月天网站| 久久婷五月婷| 久久久ww| 婷婷五月综合色拍| 丁香五月婷婷色偷偷| 国产精品18久久久| 丁香五月激情网| 日韩无码色色| 开心五月激情婷婷| 天天爱天天做天天爽| 粉嫩av懂色av蜜臀av熟妇| 97伦乱| 亚洲第一综合| 婷婷丁香激情综合色情| 天天综合色| 婷婷五月天激情影片| 欧美天天草人人草| 99热主页日本| 久天综合| 色色色地址| 99久久97| 高清a片基地| 亚洲激情综合| 婷婷激情五月| 亚州美女| 国产FREESEXVIDEOS性中国| 五月丁香激情啪啪| 激情99| 婷婷五月天堂| 色色色色五月天| 深爱激情综合网| 色婷婷丁香五月天激情综合网| 五月婷婷激情综合在线| 丁香亭亭久久| 五月天综合缴情网网站0| 国产白丝在线一区| 啪啪激情网| www.99热在线| 欧美图片丁香五月天| 欧美婷婷色五月网| 永久免费一区二区三区| 婷婷六月综合| 超碰操网| 五月丁香婷中文| 九伊人网| 五月久久婷婷丁香| 日本老女人黄页在线播放| 9|无码久久久久久| 丁香五月激情天AV无码| 久久五月天激情视频| 第2色五月婷| jiqingtaose五月天| 97碰碰人人| 99色天堂| 天天 日综合| 狠狠五月天婷婷| 五月天快乐开心激情网| 五月天婷综合网站| 婷婷成人综合五月| 热思思| 日韩在线aaa| 国产一二三四五六七八视频| 五月天色五月| 99热6精品| 综合网天天| 亚洲国产99| 香蕉综合网| 激情综合网五月天| 国产婷婷婷| 色五月色综合| 五月综亚洲| 亚洲第一成人无码A片| 天堂婷婷五月色| 安息电影在线观看完整版| 99久久99热| 天天操天天操| 婷婷五月六月| 天天爽夜爽| 激情五月婷婷综合| 六月丁香开心婷婷欧美| 久综合色| 久久这里只有国产| 色婷婷久久综合丁香五月| 五月丁香六月情| 日日干日日| 五月天激情久久| 六月丁香色色| 日本人妻伦在线中文字幕| 婷婷五月五月丁香| av在线免费播放| 婷婷丁香五月av| 在线A色| 丁香五月Av| 五月婷在线观看| 久久久久久欧美精品se一二三四| 美女被肏网站在线看| 丁香六月婷婷色XXXXX| 婷婷五月色综合| 色五月激情问网站| 这里只有精品1| 91碰碰碰| 奇米四色五月天| 99在线公开视频| 亚洲日本激情| 色五月人妻| 91色在线/日韩| 五月婷亚洲精品AV天堂| 丰滿爆乳一区二区三区| 国产67194| 人妻系列久久久久久久久久久| 五月婷婷综合潮喷| 五月天开心网| 热久久婷婷| 新97人人上人人| 欧美性丁香色色五月天| 久久精品这里只有精品免费首页| 午夜色婷婷| 99操不停| 伊人六月无码视频| 九九色色网| 天天射网站| 久久九九中文字幕| 性色视频| 丁香丝袜五月| 婷婷久久大香蕉| 丁香五月婷婷综合91| 91精品婷婷国产综合久久| 色五月色综合| 青青草五月天| 五月天色色婷婷| 婷婷五月天亚洲激情戏精品| 丁香五月在线| 91干视频| 国产精品久久久海的味道| 涩五月婷婷| 97操碰在线视频| 狠狠va| 色婷婷88| 色婷婷文字幕| 日日肏天天操| 中文中文在线| 九九这里是免费的视频5| 另类小说婷婷色| 99久在线视频| a在线免费v| 国产性色蜜乳| 丰满老熟妇BBBBB搡BBB| 激情视频网址| 亚洲六月婷婷| 9l视频自拍九色9l视频在线观看| 五月天天天色| 日本wwww在线| 热的无码综合视频| 国产做爰视频免费播放| 九九成人精品免费视频| 色婷婷免费观看| 九九Y精品热播| 天天天天天色| 五月婷婷五月天| 婷婷色五月丁香六月欧美啪| 91婷色| 五月婷婷丁香大香蕉| 久久伊人日日夜夜| 久热一区| 天天日人人爽| 婷婷99狠狠躁天天久久久九九九| 都市激情五月婷婷综合| 图片区 小说区 区 亚洲五月| 超级碰碰91| 久久丁香五月| 欧美大道不卡| 任你搞网站| Aα在线免费观看| 色宗合久久五月婷婷| 激情九月婷婷| 激情五月天在线| 91一起操| 丁香婷婷免费| 亚洲欧洲中文日韩久久AV乱码| 激情综合网五月在线播放| 欧美激情综合色综合啪啪五月| 五月香蕉网| 操人妻视频91| 九九精品99久久久| 九热免费视频| 超碰av在线| 色欲五月天| 天天做夜夜爽| 婷婷丁香五月天综合网| 欧美日本日韩| 五月花婷婷最新| 国精产品一区一区三区免费视频| 天天爽日日搞| 精品人妻伦一二三区久久| 黄色aaaaa| 久热无码| 五月天久久婷婷婷| 人人摸人人干| www久热com| 婷婷激情久久| 99视频这里有精品| 天天摸天天肏| 丁香五月影院| 五月激情网络| 五月激情婷婷国产精品久久久久久| 激情五月天综合| 精品一区二区三区三区| 婷婷婷久久久| 婷婷五月天成人在线视频| 综合网色| 丁香五月激情视频| 五月色丁香| 亚洲九九夜夜| 激情五月丁香在线观看直播| 亚洲 成人 电影av在线观看| 国产激情av| 激情综合婷婷| 大战熟女丰满人妻AV| 亚州激情在线视频| 日韩一级淫乱片一区二区三区| 婷婷五月激情天| 婷婷综合九月| 久久久97| 日韩AV大全| 97人人做| 亚洲无码色| 另类综合网| 亚洲视频另类| 精品色| 日日日日做夜夜夜夜无码| 国产偷人爽久久久久久老妇APP| 9999热这里只有精品| 激情婷婷丁香色五月| 久久总和99| 天天干,天天舔| 大伊香蕉精品视频在线| 天天干天天做| 婷婷五月天六月综合| 天天色五月婷婷91久久久久久久| 丁香婷婷五月综合色情| 五月天色在线| www.91.com黄| 五月开心播播网| renrencaoav| 亚洲AV电影美洲AV电影| 日本片日本片祼观看网站在线看中文版网页在线看 | 色婷婷五月综合| 99视频这里只有久久精品| 久777| 五月99久久| 激情com| 变态另类色图| 91丨九色丨国产打屁股| 婷婷久久丁香| 激情五月综合ì香亚洲| av在线免费网站| 综合久| 五月丁色AV| 91丁香婷婷综合久久欧美| 97碰超级人人看| 爱草视频在线| 成人AV在线网站| 日韩熟女啪啪视频| 女人天堂AV| 深爱五月网| 九九人妻福利| 综合色网站| 青草青草视频2免费观看| 婷婷五月天视频| 日本五月丁香| 国产成人网| 操逼综合激情网| WWW.17C亚洲精品| 五月婷婷丁香伦理网| 欧洲区自拍| 99久久9| 99热这里| 热的无码综合视频| 亚洲VA欧美VA| 性爱网五月天| 天天综合区| 激情色色| 久久伊人9| 99 这里只有精品| www.com色播五月天| 久久久久久久人妻| 伊人久久婷婷| 天天婷婷操| 九九婷婷热| 色婷婷www| 亚洲经典小视频| 久热久色| 久热99热| 色五月天丁香婷婷色| 久热超碰| 五月天色社区| 亚洲五月丁| 大香蕉久久伊人婷婷五月丁香| 成人午夜在线视频| 99久久九九视频| 思思热精品在线| 五月婷婷丁香五月天| 久久欧洲综合网| 嫩草综合网| 国产韩日亚洲美州欧亚综合在线| 九九久久综合| 99操碰| 丁香五月婷婷亚洲色图| 玖玖五月丁香| 97碰在线免费观看| 日本精品九九九| 在线不卡AC| 丰满少妇猛烈A片免费看观看| 色99视频| 欧美99热| 激情五月五月婷婷| 久久九精品| 婷婷六月天亚州| 丁香五月激情六月综合| 99久久精品网| 天天五月情| 五月丁香六月婷婷在线播放| 久久精品永久免费| 免费播放99性爱视频| 婷婷五月色影视先锋| 丁香婷婷综合五月天| 乱码操操| 五月丁香| 日韩成人网站精品久久大全| 色欲Av五月天| 五月婷婷六月丁香激情深爱| 激情婷婷五月天伊人在线观看 | 婷婷狠狠干| 婷婷激情啪啪| 五月婷婷免费在线视频| 色久在| 婷五月天天| 99A级片| 91九色首页| 国产67194| 高清无码.com| 中文字幕丁香五月| 丁香五月婷婷激情视频播放| 欧美成人网99网| 婷婷五月天六点丁香五月| 激情小说视频图片| 综激情网| 亚洲九区| 九九综合九| 人人操9| 色婷婷五月综合色婷婷| 夜夜爱伊人| 人人97碰| 人妻内射麻豆视频| 色五月丁香伊人五月| 97五月天婷婷| 丁香五月激情五月| 五月天色不卡| 97操碰人免费| 91色色色18| 啊V视频在线观看| 天天五月香欧美| 天天摸天天爽| 就爱射中文字幕资源网| 色五月综合在线| 五月丁香成人| 激情丁香五月天| 欧美69久成人做爰视频| 欧美婷婷精品激| 五月天大香蕉AV| 性热视频99精品| 国产乱码久久| 99热一本久道| 婷婷月五天在线在线看| 五月婷婷自拍视频| 九月婷婷久久久| 色婷婷丁香五月| 七七久久婷婷| 99小视频在线| 5月婷婷五月天| 日韩高清成人| 大香蕉九九| 97婷婷五月丁香| 五月丁香亭亭操逼| 麻豆123区| 欧美日韩成人在线观看| 欧美色综合天天久久综合精品| 6 9式性爱视频在线播放| 97干欧美| 五区毛片七区毛片| 丁香五月天在线观看| 人人干av| 久久婷婷五| 婷婷五月中文在线| 色色色99| 三级片AAA久久久AAA久久久AAA | 五月婷婷无码| 思思久久99热只有频精品66| 色日本综合| 日日影院 | 97色啪| 亚洲va日| 丁香五月婷婷综合精品素人| 狠狠五月婷婷| 天天爽人人综合免费7799| 丁香五月婷婷成人网| 丁香婷婷色色| 婷婷成人av| 99re6热在线精品视频播放速度| 五月婷网站| 9久久久久| 久久91久久精品久久| 久久性视频| 丁香婷婷激情网站| 婷婷久久综合| 婷婷五月电影院| 91视屏在线观看com.wwwvv| 天堂在线9| 久在热99| 天天干天天日日| 色色色婷婷五月天| 欧美久人人| 激情网站五月| 九热视频在线精品15| 五月婷婷人妻| 婷婷性爱| 色婷婷五月天中文字幕| 五月婷婷综合久久| 五月丁了香蕉综合| 亚洲激情免费视频| 国产视频色色色色色色色| 五月丁香激情综合网| 五月丁香色狠狠干大屄| 成人日韩欧美| 国产成人高清| av人人干| 无码一区二区三区四区五区91c| 无码天天操| 日日夜夜婷婷| 久久久久久激情| 乱色色色| 激情图片亚洲| 九九热区一区二区三区| 久久精品99国产精品日本| 婷婷久久五月| 久久婷婷激情| 日本97在线视频| 午夜五月天| 久草丁香婷婷1024| 色色色色av777| 天天综合色| 六月丁香婷婷拍拍| 激情图片婷婷| 在线播放 精品| 久久久久综合激动五月天| 夜夜干夜夜操| 色五月天影视| 天天操天天操天天操天天操天天操 | 激情欧美丁香五月| 久久五月婷婷综合网| 天天AV导航网| 五月丁香六月婷婷久久| 操操操操操操婷婷五月天| 丁香五月婷婷啪| 色综合久久99色| 综合视频久久| 中文字幕五月久久婷| 噜噜狠狠色| 婷婷视频在线碰| 日在线V视频在线播放| 另类少妇人与禽zOZZ0性伦| 天天摸.天天mo| 色五月欧美| 婷婷五月综合婷婷| 91精品久久久久久综合五月天| 无码色色色色色| 久热这里只有精品6| 99热在线播放| 激情五月激情综合网| 五月天激情网图片 - 百度| 精品人妻伦一二三区久久| 亚州激情在线视频| 亚洲日韩久久婷婷伊人| 久久丁香五月婷| 毛片九九九九九九| 综合激情站| 91丨九色丨老农村| 亚洲色婷婷| 啪啪啪丁香五月| 婷婷五月天小说网| 9999三级片| 777色色色| 99色色网站| 51精品国自产在线| 伊人啪啪网| 1024欧美看片| 天天操综合网| 激情婷婷久久| 超碰在线看| 狠狠干激情五月| 亚洲岛国电影| 丁香五月天在线观看| 黄色成人AV在线| 五月天激情婷婷| 色综合综合色| 激情五月婷婷| 。久久久久久久久久久久久久人妻| 三十熟女| 六月婷婷色| 99视频久久| 精品一二三区久久AAA片| 欧美色色色| 欧美 日韩 成人| 香蕉综合网| 黄色99网| 综合精品啪啪| 天天天天天天操| 丁香激情六月天婷婷| 五月婷九月| 五月天操逼网| 热99久久这里只有精品| 九九色播五月丁香| 激情又色又爽又黄的A片| 丁香婷婷十月| 玖玖综合色| 黄网在线播放| 丁香五月婷婷影院| 色五月婷婷五月丁香五月激情五月视频| 爱99干99| 丁香五月婷婷激情尤物| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 美女婷婷六月色| 丁香六月天婷婷色| 综合久久综合| 久久久五月激| 在线成人网站| 97色碰碰公开视频| 久久激情视频| 欧洲日韩一区二区三区| 婷婷亚洲久久| 国产全是老熟女太爽了| 欧美日本另类| 婷婷五月丁香综合亚洲| 大大香蕉综合在线| 天天日天天爽| www.99情趣网| 丁香五月性爱爱五月| 色呦呦美女| 激情综合网激情五月网| 亚洲无码成人网| 被男人添B超爽视频| 五月天婷婷视频| 色五月xxx| 欧美久久九九| 99热国产| 五月丁香六月婷婷啪啪| 丁香五月天欧美| 天天综合网~91综合网| 91丨九色丨国产| 色五月五月婷婷| 停婷丁五月在线| 能看的AV网站| 激情亚洲婷婷| 丁香五月 无码| 欧美性猛交 XXXX 乱大交| 嫩草视频在线观看| 婷婷丁香人妻久久在线观看| 激情深愛五月視頻| 五月丁香综合啪啪| 91porn一起草| 182.t午在线观看| www.婷婷五月天| 外国碰视频网站97| 少妇性按摩无码中文A片| 五月丁香六月合| 激情宗合哪里能看| 丁香五月婷婷av| 高清免费在线视频| 在线中文AV| 丁香蜜臀黄色婷婷五月天| 精品五月天| 狠狠干总合| 久久婷婷视频| 51成人| 夜色.cnm| 五月天综合| 97操视频| 婷婷中文字幕| 深爱五月婷婷| 99免费在线| 日日狠狠久久偷偷四色综合免费| 婷婷五月天性| 手机激情网| 亚洲丁香五月天在线视频| 色狠狠激情五月| 淫视馆aV二区一区| 日本人妻A片成人免费看片| 久久精品综合色| 五月婷婷草| 四色五月视频| 91九色偷拍| 亚洲熟妇AV乱码在线观看| 激情五月婷婷| 丁香五月影院| 狠狠操狠狠插| 双性美人被调教到喷水A片| 婷婷大香蕉| 玖玖婷婷五月天| 996er热| 五月丁香综合激情| 第五色婷婷| 天天干电影| 亚洲超碰在线| 农村熟妇高潮精品A片| 亚洲V国产V欧美V久久久久久| 99热只有| 亚洲妇女熟BBW| 日韩av手机在线观看| 狠狠婷婷色| 婷婷综合九色伊人| 久久综合综合综合| 色婷婷91| 人妻激情视频| 色色色色综合网| 大香蕉手机视频| 狠色狠色狠狠色综合网| 五月丁香激情综合欧美| 玖玖资源天天无码| 99热激情| 91九色视频| 激情六月天| 激情婷婷| av操B网站| 婷婷成人基地| 亚洲天堂色色| 专区无日本视频高清8| 欧美日本韩国亚洲| 96色婷婷| 日本综合久久| 深爱激情网婷婷| 国产色99| 婷婷伊人网| 五月综合色| 欧美槡BBBB槡BBB少妇| 操精品9| 超碰在线日夜| 99超碰在线免费| 色五月成人| 九九五月天| 天天做天天爰天天爽天天无遮挡| 六月丁香社区| 99热777| 六月丁香婷婷综合狠狠爱夜夜爱| 丁香五月天激情综合| AA片在线观看视频在线播放| 亚州激情九月| 亚洲色精彩| 久久99这里只有精品视频 | 91操操| 99ri精品在线观看| 久久性操| 久久人人人人妻| 激情五月丁香六月综合AVXXXX| 九九这里有精品| 三日本无码| 爱久综合| 婷婷五月天婷婷| 五月丁香成人| 激情婷婷丁香| 超碰在线综合| 99高级会所久久| 日韩十国产极品久久| 特黄三级片| av中文网| 精品99在线| 五月综合激情综合久| 激情图片婷婷| 激情五月婷婷视频| 97在线精品视频| 丁香五月亚洲无码| 日韩久热| www九九免费视频| 五月丁香 狠狠爱| 91久久综合亚洲噜噜成人在线| 天干干夜夜操| aaa日韩| 九九久久网| 久久久色情| 久9久9久9久9久9久9| 天天摸人人摸| 伊人91| 激情图片婷婷| 丁香五月天婷婷久久| 久久色五月| 日韩久久成人| 亚洲综合在线伊人婷| 99re这里| 搡BBBB搡BBB搡18 | 色情综合| 欧美日韩aaa| 八戒青柠影视剧在线观看| 亚州操操| 色播激情五月天| 操人无码| 99九色视频在线观看| 岛国AV网| 国产人妻777人伦精品HD| 成人视频一区| 99综合视频| 日韩综合成人| 电影爱拉战争免费观看| 九九热黄色| 99色视| 91人妻视频| www99热| 亚洲精品成人| 久久久久激情网| 九九色黄色| 激情丁香五月激情婷婷| 五月婷在线| 久九色| WWW,五月| 成人一区在线观看| 婷婷六月五月天综合| 九八Av| 婷婷5月色| 久久狠狠干| 色婷婷狠狠18yy| 五月天色官网| www.色婷婷| 亚洲五月天色| WWW久久久| 国产精品电影网| 蜜乳中文字| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 五月天丁香啪啪啪啪| 丁香丝袜五月| 欧美三级巜人妻互换| 欧美精品999| 99九九热在线观看| 色天使色婷婷| 国产综合婷婷| 偷拍91九色| 婷婷五月在线观看| 影音先锋AV男人站| 天天爽天天日天天舔| 黄色av网站在线免费播放| 在线观看玖玖资源免费观看| 日本色色色色色色色色一色二色| 激情五月丁香综合蜜桃| 丁香五月天网站| 最新av在线观看| 六月丁香婷婷综合在线| 伊人久热91网| 丁香五月天在线| 丁香五月天AV在线 | 亚洲啪啪自拍| 五月天婷婷激情综合| 丁香五月天堂网AV| 婷婷激情综合| 99 re视频一区| 色啪影院| 91超级碰| 色香蕉影院| 狠狠搞五月天| 久久人妻精品| 五月婷婷亚洲综合网| 人妻丰满精品一区二区A片| 色视五月天婷婷| www,奇米影视| 五月婷婷第四色| www.久久爱.c n| 99操久久| 婷婷五月综合婷婷| 色狠狠色噜噜AV天堂五区| 五月丁香WWW| 97日本在线播放| 天天摸天天日天天舔| 狠狠婷婷日韩| 五月天播播中文字幕| 六月婷婷综合激情| 激情综合网五月| 五月丁香好婷婷姑娘综合网| 97日本在线播放| 五月天开心婷婷激情网站| 99九九在线精品热动漫| 久久性操| ,99视频久久| 天天射天天操天天干| 激情五月天com| 99re免费精品视频| 嫩草AV久久伊人妇女超级A| 婷婷综合五月天激情| WwW色婷婷| 五月婷婷熟女| 99久久色| 亚洲人成色A777777在线观看| 久久丁香五月| www.五月天婷婷| 深爱五月亚洲| 2013AV天堂| 亚洲久热| 综合色色婷婷| 天堂久久婷婷| 三男玩一女三A片| 色天天综合成人网| 亚洲婷婷久久综合| 五月天婷婷小说| 日本AAAAAAAAAAAAAA片| 99丁香五月婷| 蜜臀AV在线观看| 99爱视频免费| 天天爽在线视频| 依人大香蕉在钱1| 婷婷激情性爱| 六月天六月婷| 999激情视频| 久久婷婷五月丁香蜜桃网| 成人综合视频在线| 日本婷婷丁香五月| 天天操五月天| 久久99热这里只频精品6学生| 99久久玖玖| 色久播播| 人操人| 久久综合激情| 色婷婷视频在线| 久久婷婷六月| 亚洲 欧洲 国产 伦综合| 99热免费| 开心婷婷中文字幕| 五月丁香在线精品| 伊人在线大香蕉网| 思思热99热| 伊人AV五月婷| 色五月开心婷婷| co超碰在线观看| 久久婷婷五月丁香网| 九月婷婷丁香| 日韩无码成人电影| 国产精品日本一区二区在线播放| 人人摸人人干| 深爱开心五月天| 激情九月综合| 操b视频在线观看一区二区| 色99视频| 五月 婷婷 成人| 激情六月丁香综合| 久久激情四射| www.婷婷五月天| 日本三久久| 婷婷五月天激情丁香| 婷婷成人网五月天| 日本在线wwww| 欧美色综合天天久久综合精品| 伊人五月天| 五月婷婷丁香av| 丁香五月婷婷五月天在线| 国产亚洲99久久| 国模狼狼| 国产国产乱老熟女视频网站97| 天天射美女| 99亚洲精品视频| 狠狠干五月丁香| 五月丁香成人网| 九九久久久综合| 91精品国产综合久久久不卡电影| 色婷婷电影网| 97丁香婷婷| 五月花免费视频| 婷婷丁香五月天狠狠| 九九色中文| 五月天综合激情网| 99热欲| 伊人久久大香线蕉精品| 激情丁香五月天| 婷婷丁香五月噜噜噜| 成人婷婷| 激情啪啪五月| 亚洲 成人 电影av在线观看| 五月婷婷开心网| 久热亚洲| 五月天婷婷婷| 狠狠插狠狠| 亚洲综合视频一下| 婷婷综合五月天| 97欧美在线| 亚洲国产网站| 东京热五月婷婷| 欧美大肥婆大肥BBBBB| 五月婷婷综合视频| 97 A I色色| 亚洲婷婷丁香| 亚洲啪啪网| 在线只有精品| 常久最新免费的色吊丝| 玖玖资源天天无码| 色色色色色色综合| 色97综合婷婷天天色| 色婷婷五月影视| 大香蕉520| 欧美99热| 天天摸天天做天天爱天天爽| 深爱激情69热| 婷婷丁香五月综合网上| 色欲天天综合| 五月婷婷天| 五月天深爱激情网| 日韩欧美一级大黄网站| 天天天天天日| 丁XX 成人| 五夜丁香| AV九九| 人人97碰| 伊人久久婷婷| 亚洲精品99| www.婷婷五月天,com| 狠狠人人| 五月婷婷久久内射| 五月草影视| 婷婷六月丁香欧美视频在线| 色日本综合| 色三级色三级| 久久亚洲激情五码| 色色无码| 麻豆AV一区二区三区| 激情五月婷婷色综合| 9在线9在线婷婷在线国产| 久久激情天堂| 伊人久久艹| 伦乱美欧| 99热这里有精品2| 色五月婷婷影院| 狠狠爱婷婷| 色色色无码| 开心激情综合| 亚洲亚洲人成综合网络| 99热草草| 亚洲综合999| 99操| 丁香五月婷婷呀| 日日肏天天操| 婷婷丁香成人在线视频| 99国产小视频| 天天综合色丁香| 成年人丁香五月| 成人无码精品1区2区3区免费看| 蜜臀av 粉嫩av 懂色av| 五月婷婷六月丁香玖玖玫瑰91| 五月丁香六月综合基地| 都市激情蜜桃婷婷五月天| 国产片色| 五月婷婷亚洲| 久久伊人大香蕉| 99re久热| 色色丁香五月天| 天天日人人| 色婷婷综合视频| 97婷婷丁香| 内射在线CHINESE| 人人操人人添人人摸97| 久久久精品视频79| 婷婷五月天亚洲综合网| 五月丁香六月婷| 玖玖色综合| 91av色色乱视频| 91九色首页| 深爱五月激情综合| 99re这里只有精品视频了| 123草逼网| 亚洲日韩一页精品发布| 中文成人在线| 五月婷婷干干干| 婷婷五月天综合色| av在线激情| 久在线88综合| 日本一级一片免费视频| 午夜九九电影| 久久婷婷丁香| 大地资源色婷婷视频在线| 狠干综合| 这里只有视频精品| 五月婷婷激情五月| 无码激情AAAAA片-区区| 91色吧网| 丁香五月网在线观看| 亚洲情色一区| 久久99热这里只有精品| 九九无毛| 99热99在线| 激情五月婷婷在线观看| 欧美电影在线播放| 狠狠久久婷五月| 亚洲第一视频 久久| 夜夜操天天干| 麻豆忘忧草午夜| 亚州精品色情在线观看| 亚洲婷婷久久综合| www.狠狠操| WWW·色色色·COM| 激情五月第四色| 激情综合激情综合| 91打屁股免费看| 99操碰| 99这里只有精品|v| 99色在线视频| 日本成人综合| 久久人妻伊人| 另类少妇人与禽zOZZ0性伦| 91黄操| 激情婷婷色五月| 人与禽A片啪啪| 欧美色图45678| A久久| 9热成人在线视频| 色色操| 国产性爱一级| 婷婷五月色天| 99人人操人人操人人精| 婷婷丁香综合成人| 99热综合| 婷婷五月天色色| 色五月婷婷激情| AA片在线观看视频在线播放| 五月婷丁香花| 六月丁香综合| 婷婷六月综合基地| 五月丁香久久丝袜啪啪| 国产69久久久欧美黑人A片| 青青热视频| 色热久| 一起草av在线观看| 手机AVAV天堂看网| 色色婷婷五月天| 九九综舍久久| 色亚洲激情| av中文字幕免费观看| 26uuu淫色| 丁香五月电影| 九热...av| 97超碰在线免费观看| 狠狠情色| 久色婷婷200| 丁香婷婷浪潮AV久久综合| 久久996re热这里只有精品无码| 能看的AV| 热99国产精品| 国产激情AV| 全高清无码视頻| 五月天色综合| aaaa.黄| 五月婷婷六月情| 久久婷婷东京热大香樵| 色屌丝中文字幕| 97婷婷久久丁香| 婷婷五月天综合在线| 五月深情久久| 第四色首页| 九九在线91| 欧美天天干天天草| 大香焦啪啪啪| 99热在线观看这里只有精品| 色欧美一级| 婷婷五月天天aV| 97五月婷| www,五月天激情| 婷婷五月丁香青青草在线| 婷婷五月天手机版视频| 爱99干99| 丁香婷婷久久综合在线| 久久黄色片| 天天檫天天爽| 被强行糟蹋的女人A片| 五月丁香六月欧美综合| 欧美丰满熟妇BBB久久久| 婷婷五月天伦理| 欧美十二区| 亚洲激情97五月天| 大香伊人婷婷影院| 精品无吗va视频免费观看| 久草a片| 99色干| 午夜理论片最新午夜理论剧| 激情综合色| 丁香婷婷五月六月天| 五月激情综合网婷婷| 99精品免费欧美小视频 | 色综合九九| 五月天婷婷午夜丁香| 日日操天天操| 五月激情丁香| 91精品国产综合久久蜜芽解析速度| 亚洲精品国产精品乱码视99| 九九热婷婷| 97色色综合| 久久久com| 国产3p露脸普通话对白| 台湾佬天天日丁香婷婷五月天| 亚洲另类AV| 久青操| 精热在线综合网| 99国产精品久久久久久久久久久| 丁香久久久| 五月天另类图片区99| 日日噜噜夜夜狠狠久久丁香五月| 色之综合网| 影音先锋男人AV资源站| 老司机日日夜夜青草| 国产97色在线 | 日韩| 99精彩视频| 五月婷婷免费视频| 色99免费视频中文| 中文字幕在线日亚洲9| 五月天婷婷日日爱| 无码 av电影| 91日视频| 激情婷婷五月亚洲| 操逼综合激情网| 五月婷婷亚洲| 五月丁香六月婷婷,婷| 性爱网五月婷婷| 激情五月婷| 99热大全在线观看| 99久久超级| 婷婷综合色图| 五月婷婷成人网首页| 国内久久久精品99| 婷婷五月天激情网| 丁香五月婷婷色| 久久人操| 久久婷婷老| 91人人操人人爱| 开心五月婷婷在线视频免费观看| 五月丁香综合久久夜夜| 婷婷久久亚洲| 五月丁香婷婷激情澎湃四射 | 激情文学五月丁香六月婷婷| 久9热| 日本少妇裸体做爰高潮片| 99热这里只有精品99| 久久综合9| 五月综合亚洲婷婷| 99热热热国产超碰| 99色在线| 九九九午夜影院成人| 丁香婷婷五月人体| 五月丁香六月婷| 五月香六月婷| 人妻精品在线| 婷婷天天五月天| 婷婷五月无码| 九九性视频| 五月视频日本免费观看| 婷婷色五月天色| 日本黄 色 片| 久久五月激情| 久久99免费视频| 久久久网站| 99热很操老逼| 久久99国产综合精品免费| 婷婷激情人妻| 五月综合色播播丁香婷婷| 六月丁香啪啪| 丁香六月欧美| 久久性爱视频网站| 99热这里只有精品99| 五月丁香 啪啪啪| 中文无码婷婷| 婷婷自拍| 国产成人精品一区二三区熟女在线| 91人碰| 欧美97p| 天天色天天搡| 日本九九九九九九| 国产XXXX搡XXXXX搡麻豆| 五月天婷婷激情小说电影| 天天操夜夜肏| 婷婷久久五月| 91精品婷婷国产综合久久| 色综合女人99| 狠狠色综合五月人人| 九九视频这里只有精品|