欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

字符級(jí)RNN文本生成實(shí)戰(zhàn):從數(shù)據(jù)預(yù)處理到采樣調(diào)優(yōu)的完整指南

字符級(jí)RNN文本生成實(shí)戰(zhàn):從數(shù)據(jù)預(yù)處理到采樣調(diào)優(yōu)的完整指南 簡(jiǎn)介面向自然語(yǔ)言處理初學(xué)者與文本生成實(shí)踐者的代碼包演示了如何用循環(huán)神經(jīng)網(wǎng)絡(luò)RNN訓(xùn)練語(yǔ)言模型并自動(dòng)生成歌詞風(fēng)格文本。項(xiàng)目以周杰倫歌詞為訓(xùn)練語(yǔ)料涵蓋數(shù)據(jù)清洗、詞匯表構(gòu)建、序列填充、嵌入層與RNN層搭建、交叉熵?fù)p失訓(xùn)練及采樣生成等完整流程也提及可替換詩(shī)歌等語(yǔ)料拓展應(yīng)用。壓縮包內(nèi)含3個(gè)文件包括2個(gè)Python腳本輔助函數(shù)模塊與主訓(xùn)練生成程序和1個(gè)原始文本數(shù)據(jù)集整體僅72KB輕量易讀適合快速理解RNN文本生成的核心代碼結(jié)構(gòu)。目前已有1933人瀏覽學(xué)習(xí)對(duì)于希望通過(guò)實(shí)際代碼掌握RNN語(yǔ)言建模、LSTM/GRU門控機(jī)制及生成采樣方法的讀者是一份不錯(cuò)的入門參考。通過(guò)閱讀代碼和運(yùn)行示例可以學(xué)習(xí)到數(shù)據(jù)預(yù)處理的常見(jiàn)細(xì)節(jié)、模型訓(xùn)練的超參數(shù)調(diào)整思路以及如何利用訓(xùn)練好的模型生成新文本便于在此基礎(chǔ)上遷移到其他風(fēng)格文本生成任務(wù)。1. 文本生成到底難在哪先看懂 RNN 為什么是這一題的標(biāo)準(zhǔn)解文本生成不是“根據(jù)上一句接下一句”那么簡(jiǎn)單。你把一句話拆成字符或詞它天然是變長(zhǎng)的序列前后有依賴關(guān)系而且同一個(gè)詞在不同上下文里語(yǔ)義完全不同。用普通前饋網(wǎng)絡(luò)做輸入長(zhǎng)度一固定短句子補(bǔ) padding 補(bǔ)到浪費(fèi)長(zhǎng)句子截?cái)嘤謥G信息更別提“剛才提到的主語(yǔ)在隔了 20 個(gè)詞之后決定了現(xiàn)在這個(gè)動(dòng)詞的形態(tài)”這種長(zhǎng)距離依賴前饋網(wǎng)絡(luò)根本接不住。RNN 就是為這種序列建模設(shè)計(jì)的它把上一個(gè)時(shí)間步的隱狀態(tài)和當(dāng)前輸入一起送進(jìn)循環(huán)單元理論上每個(gè)時(shí)間步都能攜帶歷史信息所以“用 RNN 實(shí)現(xiàn)文本生成”才成了這一類任務(wù)最經(jīng)典、最容易上手、也是最值得先跑通的方向。它解決的問(wèn)題很具體給定一段前綴文本讓模型逐個(gè)預(yù)測(cè)下一個(gè)字符或下一個(gè)詞再把預(yù)測(cè)結(jié)果當(dāng)作輸入繼續(xù)往后滾從而生成一段全新但風(fēng)格相近的內(nèi)容。適合誰(shuí)剛接觸 NLP 生成任務(wù)、想親手跑通一個(gè)最小閉環(huán)的開(kāi)發(fā)者以及需要在對(duì)話、文案、詩(shī)歌等場(chǎng)景里做原型驗(yàn)證的工程師。這一篇就按我自己實(shí)踐時(shí)的順序講先說(shuō)清楚數(shù)據(jù)怎么處理再搭一個(gè)能跑的字符級(jí) RNN接著把訓(xùn)練坑和采樣技巧講透最后給一個(gè)能直接復(fù)用的進(jìn)階方案。2. 一分為二看 RNN模型結(jié)構(gòu)選型與數(shù)據(jù)處理里的三個(gè)決定要?jiǎng)邮种跋劝褍杉露ㄏ聛?lái)一是選哪種 RNN 變體二是把原始文本切成什么樣的訓(xùn)練樣本。這兩件事決定后面所有代碼長(zhǎng)什么樣也決定生成效果的上限。2.1 為什么默認(rèn)選 LSTM 而不是原生 RNN梯度問(wèn)題的本質(zhì)原生 RNN 的循環(huán)公式是 h_t tanh(W·[h_{t-1}, x_t] b)結(jié)構(gòu)簡(jiǎn)單但反向傳播時(shí)梯度要沿著時(shí)間步連乘。如果隱狀態(tài)維度過(guò)大、序列過(guò)長(zhǎng)連乘的結(jié)果要么指數(shù)爆炸要么指數(shù)衰減前者讓 loss 劇烈震蕩后者讓模型完全學(xué)不到長(zhǎng)距離依賴——這就是常說(shuō)的梯度消失/爆炸。LSTM 引入門控機(jī)制用遺忘門、輸入門、輸出門來(lái)控制信息流動(dòng)梯度可以通過(guò)細(xì)胞狀態(tài)這條“高速公路”傳得更遠(yuǎn)。我一般不會(huì)糾結(jié)選型除非做實(shí)驗(yàn)對(duì)比否則直接上 LSTM。GRU 參數(shù)更少、訓(xùn)練更快效果通常和 LSTM 接近但 LSTM 的可控性更好。如果是新手我建議直接用 LSTM理由很實(shí)際教程多、調(diào)試經(jīng)驗(yàn)多、踩坑時(shí)能找到的參考最多。實(shí)際代碼里PyTorch 的nn.LSTM一行就能拿到輸出和最終隱狀態(tài)import torch.nn as nn lstm nn.LSTM( input_size64, # 每個(gè)時(shí)間步輸入的特征維度 hidden_size128, # 隱狀態(tài)維度控制模型容量 num_layers2, # 層數(shù)2 層能建模更復(fù)雜的變換 batch_firstTrue # 輸入 shape 為 (batch, seq_len, input_size) ) # output: (batch, seq_len, hidden_size)每個(gè)時(shí)間步的隱狀態(tài) # (h_n, c_n): 最后一層在最后時(shí)間步的隱狀態(tài)和細(xì)胞狀態(tài)邏輯說(shuō)明output是每個(gè)時(shí)間步的隱狀態(tài)序列生成時(shí)每一步都要用到它來(lái)預(yù)測(cè)下一個(gè)字符h_n和c_n是最后一步的狀態(tài)做句向量或啟動(dòng)生成時(shí)用。參數(shù)說(shuō)明input_size要和詞嵌入維度一致hidden_size是模型容量關(guān)鍵參數(shù)太大會(huì)過(guò)擬合、太小學(xué)不動(dòng)num_layers一般 1~3再深對(duì)小數(shù)據(jù)集沒(méi)收益。2.2 字符級(jí)還是詞級(jí)生成質(zhì)量、訓(xùn)練速度和參數(shù)量的一次權(quán)衡這是最容易被忽略的決策。字符級(jí) RNN 把每個(gè)字符當(dāng)作一個(gè)時(shí)間步詞表大小通常只有幾十到幾百模型輕、訓(xùn)練快而且不會(huì)遇到未登錄詞問(wèn)題什么稀奇古怪的輸入都能硬生成缺點(diǎn)是序列長(zhǎng)度暴增一個(gè) 100 字的句子就是 100 個(gè)時(shí)間步長(zhǎng)距離依賴更難學(xué)。詞級(jí) RNN 用分詞后的 token 作為時(shí)間步序列短語(yǔ)義單元更完整但詞表動(dòng)輒上萬(wàn)嵌入層參數(shù)量占了大頭還需要一個(gè)穩(wěn)定的分詞器遇到生僻詞或新詞直接崩。我的習(xí)慣是原型驗(yàn)證、詩(shī)歌/短文案、中文生成一律走字符級(jí)先看模型能不能“說(shuō)人話”如果要做長(zhǎng)文本生成或?qū)υ捪到y(tǒng)才轉(zhuǎn)向詞級(jí)或子詞級(jí)。字符級(jí)數(shù)據(jù)準(zhǔn)備是最容易跑通的起點(diǎn)。2.3 把文本切成訓(xùn)練樣本滑動(dòng)窗口、映射表與批處理字符級(jí)模型的做法是把所有文本拼成一個(gè)超長(zhǎng)字符串按固定窗口長(zhǎng)度切樣本。比如窗口長(zhǎng)度是 100那么text[i:i100]作為輸入text[i1:i101]作為標(biāo)簽相當(dāng)于每個(gè)位置都在“預(yù)測(cè)下一個(gè)字符”。窗口要覆蓋足夠上下文太短學(xué)不到風(fēng)格太長(zhǎng)訓(xùn)練慢。數(shù)據(jù)清洗也很關(guān)鍵我一般會(huì)統(tǒng)一換行、過(guò)濾掉非目標(biāo)語(yǔ)言字符、把連續(xù)空格壓成一個(gè)避免模型學(xué)到“輸出一堆空白”這種無(wú)聊模式。import torch import pickle # 假設(shè) text 是清洗后的完整文本比如幾萬(wàn)行的源碼/歌詞/小說(shuō) chars sorted(set(text)) char2idx {ch: i for i, ch in enumerate(chars)} idx2char {i: ch for ch, i in char2idx.items()} SEQ_LEN 100 # 滑動(dòng)窗口長(zhǎng)度 STEP 1 # 滑動(dòng)步長(zhǎng)越小樣本越多訓(xùn)練越慢 sequences, targets [], [] for i in range(0, len(text) - SEQ_LEN, STEP): seq text[i:i SEQ_LEN] tgt text[i 1:i SEQ_LEN 1] sequences.append([char2idx[ch] for ch in seq]) targets.append([char2idx[ch] for ch in tgt]) # 轉(zhuǎn)成張量 X torch.tensor(sequences, dtypetorch.long) y torch.tensor(targets, dtypetorch.long) print(X.shape, y.shape) # 例如 torch.Size([19901, 100]) torch.Size([19901, 100])邏輯說(shuō)明STEP1會(huì)讓相鄰樣本高度重疊模型收斂快但訓(xùn)練集很大STEP調(diào)大可以降冗余。參數(shù)說(shuō)明SEQ_LEN100是經(jīng)驗(yàn)值中文文本 50~150 都合理字符集chars要先用sorted(set(text))固定順序否則每次運(yùn)行映射表不同保存模型后推理對(duì)不上。注意建好映射表后一定pickle.dump保存下來(lái)否則訓(xùn)練完再推理時(shí)字符順序一變生成結(jié)果就全亂了。3. 最小可跑的字符級(jí) RNN模型定義、訓(xùn)練循環(huán)與損失計(jì)算的完整代碼數(shù)據(jù)準(zhǔn)備好了接下來(lái)用一個(gè)能真正跑起來(lái)的代碼把訓(xùn)練閉環(huán)打通。這里我用兩層的 LSTM 加一個(gè)輸出全連接層損失函數(shù)用交叉熵。代碼不長(zhǎng)但每一段都有講究。3.1 定義模型嵌入層、LSTM 與輸出層的連接方式輸入是字符索引先經(jīng)過(guò)嵌入層變成稠密向量再進(jìn)入 LSTM。LSTM 的輸出是(batch, seq_len, hidden_size)而我們要預(yù)測(cè)的是每個(gè)位置的“下一個(gè)字符”等價(jià)于對(duì)每個(gè)時(shí)間步做一次分類。所以把輸出 reshape 成(batch * seq_len, hidden_size)再接一個(gè)線性層映射到詞表大小。import torch.nn as nn import torch.nn.functional as F class CharRNN(nn.Module): def __init__(self, vocab_size, embed_dim128, hidden_dim256, num_layers2, dropout0.3): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim) self.lstm nn.LSTM(embed_dim, hidden_dim, num_layers, dropoutdropout, batch_firstTrue) self.fc nn.Linear(hidden_dim, vocab_size) def forward(self, x, hiddenNone): emb self.embedding(x) # (batch, seq_len, embed_dim) out, hidden self.lstm(emb, hidden) # out: (batch, seq_len, hidden_dim) out out.reshape(-1, out.shape[-1]) # (batch*seq_len, hidden_dim) logits self.fc(out) # (batch*seq_len, vocab_size) return logits, hidden邏輯說(shuō)明reshape(-1, hidden_dim)把 batch 和序列長(zhǎng)度合并原因在于交叉熵?fù)p失函數(shù)在 PyTorch 里要求(N, C)和(N,)的輸入N 是樣本點(diǎn)數(shù)C 是類別數(shù)。這樣每個(gè)時(shí)間步都是一個(gè)獨(dú)立的“預(yù)測(cè)下一個(gè)字符”任務(wù)。參數(shù)說(shuō)明dropout0.3只對(duì)多層 LSTM 的層間連接生效num_layers1時(shí) dropout 不生效embed_dim和hidden_dim是容量核心數(shù)據(jù)量小就各減半避免過(guò)擬合。3.2 訓(xùn)練循環(huán)把標(biāo)簽對(duì)齊、loss 計(jì)算和隱狀態(tài)重置一次說(shuō)清訓(xùn)練里最容易被新手繞暈的是標(biāo)簽對(duì)齊。數(shù)據(jù)準(zhǔn)備時(shí)輸入是text[i:iSEQ_LEN]標(biāo)簽是text[i1:iSEQ_LEN1]所以在計(jì)算 loss 前要把標(biāo)簽 reshape 成(batch * seq_len)和模型輸出一一對(duì)應(yīng)。def train(model, X, y, epochs30, batch_size128, lr1e-3): optimizer torch.optim.Adam(model.parameters(), lrlr) criterion nn.CrossEntropyLoss() dataset torch.utils.data.TensorDataset(X, y) loader torch.utils.data.DataLoader(dataset, batch_sizebatch_size, shuffleTrue) for epoch in range(epochs): total_loss 0 for xb, yb in loader: optimizer.zero_grad() logits, _ model(xb) loss criterion(logits, yb.reshape(-1)) loss.backward() # 梯度裁剪防止 LSTM 長(zhǎng)序列訓(xùn)練時(shí)梯度爆炸 nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0) optimizer.step() total_loss loss.item() * xb.size(0) print(fepoch {epoch1}/{epochs}, loss{total_loss / len(X):.4f})邏輯說(shuō)明yb.reshape(-1)是關(guān)鍵輸入xb的 shape 是(batch, SEQ_LEN)對(duì)應(yīng)的標(biāo)簽 shape 也是(batch, SEQ_LEN)reshape 后變成(batch * SEQ_LEN,)的一維向量正好和logits的每一行對(duì)應(yīng)。參數(shù)說(shuō)明batch_size128是默認(rèn)值小數(shù)據(jù)集可以降到 32lr1e-3對(duì) Adam 是安全的起始值但訓(xùn)練后期 loss 震蕩時(shí)可以降到5e-4。clip_grad_norm_是 RNN 訓(xùn)練里幾乎必須的一步不裁剪的話長(zhǎng)序列反向傳播很容易在某一步梯度爆炸loss 直接變 NaN。3.3 保存檢查點(diǎn)而不是只存最終模型訓(xùn)練時(shí)間越長(zhǎng)檢查點(diǎn)越重要。我的習(xí)慣是每個(gè) epoch 存一次只保留 loss 最低的那份?;謴?fù)訓(xùn)練也要把優(yōu)化器狀態(tài)一起存否則 lr 調(diào)度和動(dòng)量信息全丟。checkpoint { model_state: model.state_dict(), optimizer_state: optimizer.state_dict(), char2idx: char2idx, idx2char: idx2char, hidden_dim: 256, num_layers: 2, embed_dim: 128 } torch.save(checkpoint, best_model.pt)參數(shù)說(shuō)明把char2idx和idx2char存進(jìn) checkpoint 是我踩過(guò)坑后加上的。只存模型權(quán)重推理時(shí)如果字符映射表對(duì)不上生成的文字大概率是亂碼?;謴?fù)時(shí)用torch.load讀取再按model.load_state_dict加載。4. 訓(xùn)練收斂與生成效果優(yōu)化溫度采樣、Top-k 與手動(dòng)調(diào)參清單模型訓(xùn)練出來(lái)了不代表生成效果好。直接取每個(gè)位置的 argmax概率最大的字符會(huì)讓輸出變成無(wú)限重復(fù)的“死循環(huán)”因?yàn)槟P鸵坏┻M(jìn)入高置信度的重復(fù)模式就沒(méi)法自己跳出。這一步需要用采樣策略來(lái)“加點(diǎn)隨機(jī)性”。4.1 溫度參數(shù)temperature怎么調(diào)從確定到胡言亂語(yǔ)的刻度溫度的核心思想是把 logits 除以一個(gè)大于 0 的數(shù)再經(jīng)過(guò) softmax。溫度越低概率分布越尖銳輸出越保守溫度越高分布越平滑輸出越隨機(jī)。def sample_from_logits(logits, temperature1.0, top_kNone): logits logits / temperature if top_k is not None: # 只保留概率最高的 k 個(gè)候選其余設(shè)為負(fù)無(wú)窮 v, _ torch.topk(logits, top_k) logits[logits v[-1]] float(-inf) probs F.softmax(logits, dim-1) return torch.multinomial(probs, num_samples1).item()邏輯說(shuō)明temperature 1時(shí) logits 被放大softmax 后概率集中的 token 更占優(yōu)勢(shì)temperature 1時(shí) logits 縮小概率分布趨于均勻輸出更“放飛”。top_k是另一道保險(xiǎn)只在前 k 個(gè)候選中采樣去掉長(zhǎng)尾噪聲。參數(shù)說(shuō)明中文短文案我一般用temperature0.8, top_k50歌詞或創(chuàng)意文本用temperature1.2, top_k100需要穩(wěn)定輸出時(shí)用temperature0.4, top_k20但基本等于近似貪心。經(jīng)驗(yàn)是溫度極低時(shí)模型會(huì)把高頻字“的”“了”無(wú)限重復(fù)溫度極高時(shí)會(huì)生成完全不像訓(xùn)練文本的亂碼。4.2 完整生成循環(huán)把每一步輸出作為下一步輸入生成是一個(gè)循環(huán)初始給一段種子文本模型預(yù)測(cè)下一個(gè)字符把這個(gè)字符拼接回去再取最后SEQ_LEN個(gè)字符作為下一輪輸入。注意輸入必須保持在SEQ_LEN長(zhǎng)度內(nèi)否則模型會(huì)越推越偏。def generate(model, seed_text, length200, temperature0.8, top_k50): model.eval() # 把種子文本轉(zhuǎn)成索引不足 SEQ_LEN 時(shí)用空格補(bǔ)位 chars seed_text[-SEQ_LEN:] idx [char2idx.get(c, char2idx.get( , 0)) for c in chars] x torch.tensor(idx, dtypetorch.long).unsqueeze(0) # (1, seq_len) hidden None with torch.no_grad(): for _ in range(length): logits, hidden model(x, hidden) # 取最后一個(gè)時(shí)間步的 logits next_char sample_from_logits(logits[0, -1, :], temperature, top_k) seed_text idx2char[next_char] # 更新輸入把新字符追加到末尾丟掉最前面的字符 x torch.cat([x[:, 1:], torch.tensor([[next_char]])], dim1) return seed_text邏輯說(shuō)明logits[0, -1, :]取的是當(dāng)前輸入序列最后一個(gè)字符對(duì)應(yīng)的輸出也就是“根據(jù)當(dāng)前全部上下文預(yù)測(cè)出的下一字符分布”。hidden在循環(huán)中持續(xù)向后傳這是 RNN 生成和普通分類預(yù)測(cè)最不一樣的地方。參數(shù)說(shuō)明種子文本長(zhǎng)度不必等于SEQ_LEN短于它時(shí)直接全部送入如果字符沒(méi)在詞表里我用空格兜底不直接報(bào)錯(cuò)。注意推理時(shí)一定要model.eval()并把生成代碼包在torch.no_grad()里否則啟用了 dropout 會(huì)讓生成結(jié)果隨機(jī)漂移而且顯存會(huì)被梯度計(jì)算無(wú)意義地占滿。4.3 手動(dòng)調(diào)參清單從 loss 曲線到文本效果的一次完整檢查L(zhǎng)oss 曲線正常下降但生成文本亂大概率是采樣參數(shù)問(wèn)題Loss 不降或者降得很慢優(yōu)先檢查數(shù)據(jù)。我這里給一份按優(yōu)先級(jí)排序的檢查清單現(xiàn)象優(yōu)先檢查項(xiàng)常用解法Loss 一直不降字符映射表錯(cuò)亂、標(biāo)簽沒(méi)對(duì)齊打印一批X[0]和y[0]對(duì)照原文Loss 降到 0.5 以下但生成重復(fù)采樣溫度過(guò)低或 top_k 過(guò)小調(diào)高 temperature 到 0.9top_k 到 100生成的全是常見(jiàn)停用詞嵌入維度和隱層維度過(guò)大導(dǎo)致過(guò)擬合減小 hidden_dim增加 dropout訓(xùn)練后期 loss 震蕩學(xué)習(xí)率太高把 lr 降到 5e-4 或加余弦退火生成的文本風(fēng)格不像訓(xùn)練集窗口長(zhǎng)度太短把 SEQ_LEN 從 50 提到 150 再訓(xùn)練5. 訓(xùn)練與生成避坑指南五個(gè)典型翻車現(xiàn)場(chǎng)及修復(fù)方法5.1 現(xiàn)象一訓(xùn)練 loss 一直不下降還經(jīng)常出現(xiàn) NaN原因最常見(jiàn)的是梯度爆炸尤其序列長(zhǎng)、層數(shù)多、lr 偏高時(shí)。LSTM 雖然有門控但輸出層的梯度仍可能爆炸。解決加梯度裁剪我通常把max_norm設(shè)在1.0~5.0之間同時(shí)把學(xué)習(xí)率降到5e-4或1e-4再試。如果還是 NaN檢查輸入里有沒(méi)有 NaN 或 Inf文本處理時(shí)可能混入了損壞字符。5.2 現(xiàn)象二生成的文本大量重復(fù)同一個(gè)字或短語(yǔ)原因模型陷入局部最優(yōu)概率最高的字符是“的”“了”這類高頻字加上采樣時(shí)溫度過(guò)低模型就繞不出這個(gè)循環(huán)。解決把temperature提高到0.9~1.2并用 top-k 把長(zhǎng)尾噪聲截掉。還有一個(gè)隱藏坑重復(fù)也可能是因?yàn)镾EQ_LEN太短模型根本沒(méi)有足夠的上下文來(lái)“記住”剛生成過(guò)什么試試把窗口從 50 提到 150。5.3 現(xiàn)象三加載保存的模型后生成亂碼或報(bào) key 不匹配原因訓(xùn)練完保存模型時(shí)用了model.state_dict()但推理時(shí)重新定義了新的CharRNN(vocab_size, ...)vocab_size 和 checkpoint 里的嵌入層/輸出層維度對(duì)不上。解決建立模型前先讀 checkpoint 里的embed_dim、hidden_dim、num_layers用這些參數(shù)重建模型再load_state_dict。還要確認(rèn)char2idx用的是 checkpoint 里那份而不是重新對(duì)輸入文本set生成的。5.4 現(xiàn)象四生成速度越來(lái)越慢批量生成時(shí)卡頓明顯原因生成過(guò)程是一個(gè)字符一個(gè)字符推的無(wú)法并行序列越長(zhǎng)推理越慢。如果沒(méi)開(kāi)torch.no_grad()還會(huì)疊加顯存分配開(kāi)銷。解決推理時(shí)固定用no_grad()如果一次要生成很多條可以把種子文本拼成一個(gè) batch 同時(shí)推只在最后采樣時(shí)逐條處理。批量生成時(shí)輸入 shape 變?yōu)?batch, seq_len)hidden 也要保持 batch 維一致。5.5 現(xiàn)象五訓(xùn)練時(shí)模型很快過(guò)擬合訓(xùn)練 loss 低但生成質(zhì)量反而更差原因模型把訓(xùn)練文本的細(xì)節(jié)“背”下來(lái)了而不是學(xué)到語(yǔ)言規(guī)律。這在小數(shù)據(jù)集上特別明顯。解決增大 dropoutLSTM 內(nèi)部dropout0.5也可以減小hidden_dim或者增加數(shù)據(jù)量。生成時(shí)用更高的溫度可以掩蓋一部分過(guò)擬合劣化但治標(biāo)不治本最有效的是把訓(xùn)練文本量做到至少 1MB 以上。6. 進(jìn)階用兩層 LSTM 加注意力生成中文詩(shī)詞或代碼風(fēng)格文本的實(shí)踐方案前面講的字符級(jí)模型已經(jīng)能跑通但如果你想讓生成結(jié)果更有“結(jié)構(gòu)感”——比如生成七言詩(shī)、四行歌詞或帶有縮進(jìn)和關(guān)鍵字的偽代碼需要給模型一點(diǎn)外部約束。常見(jiàn)做法是“約束解碼 結(jié)構(gòu)提示”。以詩(shī)詞生成為例我會(huì)在種子文本里帶上[七絕]這樣的標(biāo)記讓模型學(xué)到標(biāo)記和格式的對(duì)應(yīng)關(guān)系同時(shí)在采樣階段強(qiáng)行控制每一句的長(zhǎng)度和韻腳。def generate_poem(model, prefix[七絕], lines4, chars_per_line7): out generate(model, seed_textprefix, lengthlines * chars_per_line, temperature0.75, top_k30) # 按每行長(zhǎng)度切分硬性保證七言格式 poem out.replace([七絕], ).strip() lines_split [poem[i:ichars_per_line] for i in range(0, len(poem), chars_per_line)] return \n.join(lines_split[:lines])邏輯說(shuō)明先用通用生成函數(shù)按總長(zhǎng)度生成再按固定行寬切分是“事后糾正”的做法。更強(qiáng)的做法是在每生成一個(gè)字符時(shí)判斷當(dāng)前行是否已滿強(qiáng)行采樣換行符。實(shí)踐里事后切分更穩(wěn)強(qiáng)行控制容易讓模型生成不自然的截?cái)?。除了?shī)詞這段思路直接平移到代碼生成訓(xùn)練語(yǔ)料用縮進(jìn)敏感的 Python/C 風(fēng)格文本生成時(shí)限制 tab 和換行符的概率就能得到結(jié)構(gòu)基本正確的偽代碼。最后的驗(yàn)證習(xí)慣我建議保留一個(gè)每次訓(xùn)練完不要只看 loss真正要“驗(yàn)收”的是讓模型生成 10 組不同溫度的輸出人眼掃一遍重復(fù)率、語(yǔ)法錯(cuò)誤和風(fēng)格相似度。我吃過(guò)的虧是 loss 降到 0.3生成結(jié)果卻是一堆高頻詞無(wú)意義堆疊原因是數(shù)據(jù)本身噪音太大——清洗語(yǔ)料這一步花的功夫比調(diào)模型參數(shù)更值錢。后面再做類似任務(wù)時(shí)我都會(huì)先把訓(xùn)練文本的字符分布打印出來(lái)看一眼高頻字符占比是否過(guò)高再?zèng)Q定優(yōu)先洗數(shù)據(jù)還是調(diào)模型。文本生成沒(méi)有銀彈但“先跑通、再調(diào)采樣、最后回頭查數(shù)據(jù)”這條路徑基本不會(huì)走偏。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
射久久丁香五月| 亚洲va在线∨a天堂va欧美va| 五月丁香婷婷综合久久| 亚洲 在线 性爱 | 91九色在线视频| 少妇性按摩无码中文A片| 99热这里只有精品66| 99九九这里有免费视频| 五月天色婷婷视频| 丁香五月性爱爱五月| 亚洲免费综合一区| Va另类视频| 婷婷丁香黄色| 人人人操| 久久五月网| 嫩草极品| 五月丁香成年黄色| 奇米色大香蕉| 色了色综合| 丁香五月婷婷天激情| 五月婷久久| 国产露脸150部国语对白| 99久久精| 丁香六月天婷婷色| 五月婷婷天堂| 色色综合日韩| 99热久97| 丁香五月狠狠在线观看| 亚洲 六月 综合| 三级毛片7979| 五月婷婷色在线| 久久综合影院| 国产精品激情五月天色婷婷| 成人片黄网站色大片免费毛片| 91性人人| 久草热8精品视频在线观看| 人妻综合网| 日日干夜夜干| 极品人妻VideOssS人妻| 中文字幕 中文字幕明步| 亚洲综合欧美色丁香婷婷888月图片| 情婷婷五月天| 思思热热久久| 操笔无码| 9久热在线视频精品| 五月天激情啪啪| 五月婷婷基地| www.久操| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 五月丁香中文字幕| 99∨VTV| 亚洲五月天另类小说图片| 欧美超碰人人| 91 原创 在线 九色| 天天爽夜夜操| 久久99久久99久久99人受| 97碰| 91免费看片| 91九色在线观看免费| 亚洲第一黄网| 久月婷婷| 香蕉久久国产AV一区二区| 欧美性爱五月天| 色日本五月天| 青青草大香| 五月天丁香综合久久国产| 色。 日日日| 日韩在线视频网站| 全亚洲最大的婷婷五月天网站COM| 九九热最新| 色五月亚洲| 国产一区二区三区影院| 色玖玖导航| 狠狠色97| 国产密乳av一区二区三区四区| 狠狠搞五月天| 日韩有码一区| 操操操操操操婷婷五月天| 97婷婷久久丁香| 大香蕉99| 丁香五月婷婷动漫视频| 另类专区在线观看| 天天操,天天插| 五月天亚洲综合网| 久热无码| 色婷婷成人做爰A片免费看网站| 99热综合在线| 精品久热| 综合五月激情网| 性综合网| 一区操| 激情综合网丁香| 国产乱码久久| 精品久久9| 在线观看日韩12345区| 日本在线观看99| 大香蕉伊人丁香五月| 大香蕉五月天婷婷| 另类专区在线| 影视av久久久噜噜噜噜噜三级| 天天粽合合合合| 97影院一级片| 欧美三级黄色片久久| 色情综合网| 亚洲第一综合| 国产成人综合网| 综合亚洲AV| 亚色网站小视频| 色色色色色色色色网站| 国产毛片操B| 三区激情四射av| www.日日夜夜.com| 色色色宗合网| 色七色九九| 26UUU精品一区二区| www.91九色| 久久激情视频| WWW,五月| 五月丁香六月婷| 伊人九热| 九九这里只有精品在线视频| 九九碰九九爱97超碰| 激情五月婷婷欧美极品 | 成人在线观看一区| 久久久久亚洲AV无码网影音先锋| 无码髙清| 色五月首页| 五月丁香六月在线| 91人人操.COM| 99在线免费视频| 日曰躁夜夜躁2026| 色五月天堂| 99热都是精品| www.久久久久久久| 色色色免费视频| 成人精品免费在线观看| 99碰在线视频| 五月天色色网站| 六月丁香停| 五月婷色| 亚洲综合婷婷六月丁香五月| 丁香五月激情五月| 久久色五月天| 99久热| 开心五月天私房婷婷| 欧美噜一噜| 婷婷五月天久久久| 久热A| 欧美在线看| 婷婷久久五月丁香| 中文字幕黄色片| 婷婷涩五月| 色9色| 91操人人操| 久色视频| 人人操女人| 五月综合视频| 丁香五月婷婷丫| 久久99久久久久久久噜噜| 91九九热| 亚洲无码99| 天天爽天天爽天天爽天天爽天天爽| 深情五月天| 狠狠色五月| 无码AV免费精品一区二区三区| 天天天天天天天干| 丁香五月天社区婷婷| 丁香五月开心五月激情| 黄色91在线观看| 欧美色色色色色色色| 成人做爰高潮A片免费视频| www.五月天| 五月丁香av在线| 欧美在线ee日韩| 五月丁香婷中文| 岛国AV网站| 亚洲激情六月丁香| www激情| 超碰色色综合| 蜜桃人妻无码AV天堂三区| 丁香婷婷性久久| 久久久激情视频| 骚逼视频一区2区| 五月婷婷激情性爱| 婷婷五月天狠狠色| 天天色色婷婷| 婷婷五月免费在线| 五月婷婷这里都是精品| 无码91中文字幕| 欧美成人A片AAA片在线播放| 1024手机在线观看看片_日韩精品| 色婷婷9| 婷婷丁香色五月| 丁香色综合| 色色影院黄大片| 亚洲无码免费看| 久久伊人大香蕉| 色 色 色综合com| 激情小说 五月天| 日本不卡中文字幕| 九九九激情网| 狠狠色狠狠操| 91凹凸在线| 五月丁香在线婷婷蜜桃| 夜夜嗨一区二区三区直播内容| 这里只有精品热| 天天色综合天天| 狠狠色大香蕉| 日本人妻操| 亚洲中文字幕在线观看| 深爱开心激情网| 4399在线观看免费高清电视剧| 内射 无码 伊人| 久久香蕉网| 操逼巨乳91| 久久综合丁香| 欧美色五月| 午夜69成人做爰视频| 涩婷婷五月天| 九九热思思热| 亚洲色亚洲精品| 天天日,天天插| 天天综合色综合| 五月天俺去也| 五月丁香婷婷啪啪综合网| 三日本无码| 婷婷综合九色伊人| 成人网在线视频| 天堂综合久| 综合激情五月四射婷婷| AV九九| 婷婷久久天堂网| 久久男人网婷婷| 激情婷婷丁香| 亲子乱AV一区二区三区下载| 久草热8精品视频在线观看 | 日逼影音先锋男人资源站| 能看的AV| www.91久久| 五月香婷婷| 五月天综合在线网| 婷婷丁香射射| 丁香五月老师| 婷婷六月成人| 久久精品9| 最近中文字幕大全免费版在线 | 日亚二欧美| www.婷婷.com| 色综合色色色| 婷婷五月欧美| 激情五婷精品网在线观看网址| 五月婷婷啪啪网| 色欲日日躁| 热久久这里只有精品| 激情网婷婷五月天| 综合久久99| 国产精品成人网站| 干婷婷五月天| 亚洲av免费在线| 91狼友视频在线观看| 五月亭亭开心网| 97超碰免费超级在线观看| 中文字幕视频色婷婷| 丁香婷婷九月在线| 五月天色色网站| 九九热最新视频| 亚洲乱码日产精品BD| 国产一级片色色| 另类视频一区| 色综合五月天| 婷婷五月丁香性爱| 五月天色婷伊人| 超碰免费大香蕉| 天天久久婷婷| 亚洲五月婷天天操| 伊人啪啪网| 亚洲情色一区| 欧美婷婷精品激情| 丁香五月婷婷社区| 5月婷婷综合| 色色五月天婷婷| 国产无人区大片| 99在线小视频| 青青草原亚洲久| 久久婷婷操| 色九区| 日韩婷婷五月天| 亚洲免费观看高清完整版AV线| 亚洲另类日本| 狠狠干夜夜干| 五月丁香六月婷婷啪啪| 99热这里只有精品2024| 丁香六月久久| 五月丁香日逼| 99乱视频| 毛v一区二区视频| 国产婷婷五月色情综合| 婷婷五月天av| 婷婷激情四射网| 五月天激情四射网站| www色色色com| 丁香狠狠| 另类丁香五月天区图| 婷婷视频在线碰| 五月婷婷丁香综合网| 91丨九色丨东北熟女| 亚洲狠狠爱婷婷| 丁香五月乱中文字幕| 99热精品在线在线| 婷婷AV丁香| www.99视频| 综合网色| 九九99久久| 五月综合亚洲色| 九九热黄色| 丰满少妇猛烈A片免费看观看| 开心激情站| 五月丁香激情怕怕| 婷婷成人AV| 欧美69色| 久热免费| 一起草Av| 亚洲天堂碰碰婷婷| 色婷婷基地| 日本色五月| 免费看欧美成人A片无码| 97干在线播放| 强壮的公次次弄得我高潮A片日本 | 久草丁香婷婷五月天婷| 天天操夜夜橾| 亚洲精品99| www.99热| 五月狠狠| 综合久久综合五月天婷婷| 大战熟女丰满人妻AV| 大香蕉婷婷五月天| 久久怕怕视频| 久久永久网址| 天天做天天爱天天综合网| 九九色精品| 五月丁香六月婷婷网站| 91丁香婷婷综合资源| 色五月色五天免费视频| 色婷婷丁香九月| 99视频在线精品免费观看2| 久热伊人9| 99色综合| 久久综合丁香| 五月天激情网址| 日本99色| 97成人丁香| 久久98| 伊人久久丁香婷婷六月五月综合| 久久五月天网| 亚洲丁香花五月丁香花| 五月久久婷婷天堂视频| 全网最新网黄大秀直播高清,主播国产录屏在线| 伊人大香蕉爱聚| 丁香午夜天| 久热精品视频| 五月激情另类| 久久丁香五月婷婷| 神马欧美精| 激情人妻蜜夜系列区| 亚洲视频图片婷婷五月| 成人午夜无码视频| 五月 激情视频| 日本色色色色色色色色一色二色| 色色色99| 丁香五月在线视频黑人| 久久9热好| 色婷婷在线视频| 婷婷五月丁香六月伊人网| 婷婷最新地址| 国产乱人偷精品人妻A片| 天天干天天操| 激情婷婷六月| 日日操夜夜爽天天天| 1024成人免费看| 亚洲熟女色| 日日夜夜小色哥| 久这里只有精品99| 99久久综合网| 99人人干| 色99视频| 日韩欧洲亚洲| 久久婷婷综| 亚洲成人av在线播放| 中文字幕黄色片| 丁香五月先锋| 五月婷婷激情| 五月婷视频在线| 停停五月天激情网| 就去涩涩丁香五月天| 日本久久精品18| 五月丁香天堂| 人操人| 婷婷五月丁香综合亚洲| 五月激情啪啪| 色爱亚洲| 天天综合精品| 色婷婷导航| 国产免费一区二区在线A片视频| 五月WWW| 婷婷中文字幕版| 五月天婷婷自拍图片在线观看| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 欧美色骚婷婷五月天| 日日操夜夜操不卡| 久久综合站| 丰滿爆乳一区二区三区| 五月婷色色| 99热精品99| 色色无码| 激情久久五月天| 伊人久久婷| 五月丁香综合在线| 九九这里只有精品| 色激情综合| 亚洲超碰在线| 婷婷久草| 91色久| 色五月综合| 拍真实国产伦偷精品| 极品另类| 天天干天天干天天操| 永久精品| 婷婷丁香六月| 99热这里是精品| 亚洲亚洲人成综合网络| 久热这里只有精品6| 丁香五月激情网| 五月婷婷开心网| AV成人在线播放| 五月丁香激情四射| www.zbzhongsen.com| 九九热av| 日本人妻伦在线中文字幕| 久久精彩视频| 天天狠天天叉| 桃色成人网| 色婷婷色丁香色欲av| 中文字幕网伦射乱中文| 天天综合网站| 日本高清不卡免费一区二区三区| 五月丁香花成人社区| 国产日韩欧美| 最熟少妇乱码| 日本久久高清| 久久婷婷欧美| 久久九精品| 尔尔AV一区| 久久国产一区二区三区| 成人精品视频99在线观看免费| 欧洲色| 国产人妻人伦精品一区二区| 91日韩在线| 久久久婷丁香五月| 嫩模草| 国产亚洲99久久| 五月丁香激情综合网| 99热最新精品| 人人干AV| 五月天婷婷爱| 98国产精品综合一区二区三区 | 狠狠色九月| 亭亭色网| 久久婷婷一级片| 超碰高清在线| 欧美性色A片免费免费观看的| 99re思思热久久| 五月日韩中文字幕| 久久婷婷五月综合激情国产| 日韩欧洲亚洲| 99日韩网站| 男人天堂99| www色婷婷| 99啪啪骑| www.狠狠操.com| 亚洲五月停停| 欧美成人AAA片一区国产精品| www.婷婷| 狠爱婷色| 五月丁香六月激情综合网| 色五月丁香五月激情五月激情| 丁香无月在线观看| 激情五月影院| 色婷婷网大全在线| 九九無碼| 五月综合视频| 丁香五月婷婷色综合| 91呦呦呦| 7777激情基地| 婷婷亚洲色| 99热这里只| 色综合久网| 翔田千里aV中文字幕| 天天天添天天操| AV在线大香蕉| 亚洲丁香婷婷| 五月婷婷六月爱| 91热99| 欧美久久久中文字幕| 九九十99视频| 天天色综网| 五月综合激情| jiujiu热在线视频| 亚洲成人av在线| 大香蕉久久伊人网| 五月丁花色综合网| 久久只有精| 丁香五月婷婷影院| 日韩AV在线影片| 99热九九这里只有精品| A色色| 婷婷丁香五月激情| 亚洲一级 片内射网站在线观看| 午夜福利成人AV91| 成人电影丁香六月天| 91九色熟女| 欧美一级毛卡片无码| 久久丁香五月| 久久丁香五月天| 日韩野外 无套| 婷婷丁香五月天色播网站| 性色视频| 国外亚洲成AV人片在线观看| 97五月婷婷| 色综合天天天天做夜夜| 夜夜撸夜夜骑| 久久久人妻不卡| 亚洲综合五月天婷婷丁香| 国产小精品| 色情综合网| 成人av中文字幕| 日韩五月婷婷| 婷婷狠狠色| 91狼友视频网页更新| 五月婷婷啪啪网| 66色在线日韩| 超级碰碰碰久久网站| 三级三久久线久久99久目本WW| www.六月丁香看AV| 久久久全国免费视频| 色色色国产| 91成人电影| 久久9999| 亚洲成人高清在线| 久久婷婷五月综合色奶水99啪| 五月情婷婷五月| 欧洲色| 91丨熟女丨首页| 狠狠搞狠狠操| 秋霞学生妹一二级| 香蕉久久国产AV一区二区| 97人人操人人| 日本色色色| 丁香五月,开心五月,成人婷婷| 色婷婷基地| 99资源人人| AV性爱网| 91丨九色丨丰满人妖| 久久久久久久11111111111| 久99久视频| 亚洲99热| 久色视频首页| 久久婷青青草原| 丁香六月伊人| 97极品在线| 激情综合婷婷| tingting五月天亚洲| 狠狠爱综合| 激情综合五月婷| 五月天综合网| 五六月丁香激情视频| www.91色| 色婷五月| 超碰97久久| 大香蕉五月天婷婷| 久久99最新| 久久艹 五月天| 婷婷.com| www.黄色片-久久成人国产精品在线播放-999AV| 97人人做| 色婷婷六月激情| 久久九九热re6这里有精品| 综合网激情五月天| 五月丁香六月停停停| 婷婷丁香五月天亚洲| 99性视频| 天天摸日日舔狠狠添婷婷婷| 极品人妻VIDEOSSS人妻| 色五月天综合| 日本欧美国产| 欧洲色色| 亚州精品色情在线观看| 成片免费播放| 色综合五月婷婷狠狠干| 亚洲色无码A片一区二区麻豆| 国产激情久久| 日日夜夜干| 色色综合网站| 五月停停大香蕉| 天天插天天干| 激情婷婷五六月天| 日韩无码性爱| www.五月天| 激情内射p| 九九热AV| 奇米色大香蕉| 婷婷五月天久久久| 直接看的AV网站| 九九热10| 色九九综合| www五月天激情com| 99热欧美| 在线亚洲综合网| 国产激情综合| 亚洲激情综合免费| 99这里有精品久久97| 99视频精品在线| dingxiangtingtingliuyue| 天天色天天日| 色频玖玖五月天| 精品日本视频444| 久99久热| www一区二区三区| 激情丁香六月| AV色色天堂中文| 超碰人人操| 丁香婷婷偷拍| 激情六月天婷婷| Av狠狠色丁香婷| 99久久99九九九99九他书对| 丁香五月AV在线| 九九热这里只有精品9| 人人人操97| 色狠狠综合| 五月婷婷六月色| 亚洲人妻一区二区 | 国产一二区爆乳_1国产日韩一区二区三-成人AV | 91操人| 播五月,色五月,开心五月播放器| 久久久8| 婷婷D区| 欧美精产国品一二三区| 婷婷成人在线| 婷婷五月色| www,色综合| 99色色| 天天操夜夜操| 五月婷婷五月天天| 五月开心婷婷极品激情| 精品少妇人妻AV无码专区偷人 | 91婷婷丁香| 六月激情网| 国产做爰视频免费播放| 91九色视频在线观看| 99re99热| 在线观看996精品| 极品人妻VIDEOSSS人妻| 婷丁香五月天| 丁香五月婷婷日本| 五月综合色播播丁香婷婷| 99九无网码| 九九九激情网| 欧美成人精品一区二区| 亚洲天堂大香蕉| 天啪色| 国产人妻777人伦精品HD| 插插五月天| 五月丁香久久综合| 亚洲成人一区| 色色五月丁香婷婷| 热99在线精品| 嫩草视频观看| 99九九中文字幕视频| 成人午夜视频精品一区| 91视频精品99| 玖玖爱资源站| 五月丁香av中文| 亚洲五月丁香六月婷婷| 亚洲天堂AAA| 操国产人妻| 99这里是99在线视频| 碰99在线| 色插人人| 99超超碰| 99年操人人爽| 亚洲日本韩国| 五月激情小说| 五月丁香综合激情网| 这里只有精品视频在线看| 久久久久久久丁香五月天婷婷| 色停停影院五月天| 婷婷丁香五月天操逼| 国产67194| 色婷婷基地| 亚洲综合激情五月久久| 99无码超碰| 久热一本| 亚洲激情网| 玖玖婷婷色五月| 丁香久久五月婷综合| 五月亭亭综合五码| 播五月丁香六月| 骚。com| 五月激情影院| 91综合国免费久入| 激情影院丁香五月| 成人做爰高潮A片免费视频| 91精品综合久久久久久五月丁香| 天天干电影| 五月丁香六月成人| 婷婷久久色| 久草热在线视频| 青青操avbb| 99热无码精品| 伊人网色婷婷五月天| 99久久黄色顶级视频| 成人av中文字幕| 九九这里是免费的视频5| 色婷婷AⅤ| 99日逼视频| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 色色色色热| 亚洲va综合va国产va中文| 成人日韩欧美| 97亚洲视频在线| 五月婷婷9| 六月丁香综合| 婷婷色系婷色| 精品无吗va视频免费观看| 日韩色色视频www| 天天干天天拍| 婷婷狠狠干| 国产69久久久欧美黑人A片| 91久久久久久| 涩五月婷婷| 强辱丰满人妻HD中文字幕| 99久久网站| 91re色综合视频| 五月丁香六月婷婷成人| 久久婷婷色情7777网站| 中文字幕永久免费| 中文字幕 久久9999| 五月婷久久在线| 久热99热| 最近中文字幕大全免费版在线 | 人妻丰满精品一区二区A片| 99久久国产宗和精品1上映| 91精品激情9| 婷婷久久性爱| 五月丁综合在线观看| 亚洲 无码 中文字幕 中出| 国产亚洲精品人人| 99爱视频在线| 狠狠狠狠狠狠| 五月丁香综合影院| 美女要搞搞天天搞搞搞网站| 婷婷五月天日日日干干干| 丁香激激情网| 久久五月天婷婷| 四虎99热在线观看网站| 久久婷婷色综合老司机| 亚洲色图啪啪| 袁子仪视频观看| 欧美日韩成人在线网站| 啪啪91| 五月婷婷欧洲| 99久久99视频只有精品| 五月天另类小说亚洲| 亚洲国产精品成人免费一区久久久在线观看AAAA | 亚洲精品无人区| 91好好热日本在线| 婷婷综合五月激情| www.久久爱.com| 99ER热精品视频| 色私五月婷婷| 久久思思精品| av亚洲国产小电影| 五月天社区| 色五月色五天免费视频| 久热久| 日日噜噜久久婷婷五月天| 影音先锋噜一噜| 五月天婷婷无码视频| 97婷婷狠狠| 久久男人网婷婷| 97丁香花五月天激情小说| 婷婷五月丁香久久| 狠狠干,狠狠操| 丁香9月婷婷| 可以直接看的av网站| 五月天成人网在线观看| 狠狠插狠狠操| 五月婷婷天堂| 热99在线| 亚洲成人日韩无码精品| 99玖玖免费视频| 丁香五月98| 99性爱| 亚洲视频五区| 婷婷五月色播| 五月激情久久| 99成人免费视频| 亚洲亚洲人成综合网络| 久久久99日本大片| 国色天香伊人狠狠色| 欧美色色色色色色| 色色9 9| 九九九九九无码| 亚洲欧洲另类| www.久久爱.com| 停停五月丁香| www,99热在线观看| 婷婷五月天亚洲激情戏精品| 99热这里只有99| 五月天天综合| 99日本视频| 天天做天天爱天天玩夜夜爽| 九九热99热| 开心五月婷婷综合在线精品素人| 六月丁香啪啪| 久久综合激情| 日韩啪| 九九这里是免费的视频5| 中文字幕欧美日韩VA免费视频| 五月综合丁| 丁香五月婷综合网| 日本eVa一区=区视频| 色优久久| 色色色999| 婷香五月| 97在线/亚洲| 久久久久久97| 五月婷婷丁香大陆免费| 婷婷激情六月中文| 女人天堂 AV| 就去色色五月丁香婷婷久久久| 五月丁香六月久久| 99热最新网址| 国产99热| 六月激情婷婷| www.五月婷婷.com| 中文字幕AV网址| 9色免费网| 婷婷色丁香六月| 五月婷婷 自拍| 丁香五月婷婷手机| se.久久视频在线观看| 思99热精品久久只有精品| 秋霞AV淫| 日韩成人av在线| 思思热这里只有精品| 六月色激情| 国产免费AV在线| 亚洲人妻av| 婷五月天在线草| 小香蕉av| 婷婷五月天a| 午夜激情久久| 九九综合| 另类图片色五月| 婷婷激情综合网| 求可以看的AV网址| 日美三级| 日本一级特黄大片AAAAA级| 一本色综合色| 亚洲欧美一区二区三区爱爱动图| 99色综合久久| 激情五月丁香亭亭| 丁香五月综合婷婷| 亚洲情欲| 九九一综合精品| 久久五月婷综合网| 久久精典| 精品视频99看在线视频| 色综合色色| 思思久久青草热| 激情婷| 国产激情在线| 成人五月天婷婷| 色婷婷激情五月天丁香| 久久这里面只有精品视频| 婷婷五月天视频| 亚洲五月天第一综合干| 久久久婷婷婷| 天天色综合综合| 久久久五月婷婷| 九九热精品在线| 色婷婷色五月天| 99九色视频在线观看| 九九性视频| 久久这里只有精品16| 国产婷婷婷| 五月天开心网| 久久国产性爱A V| 久久五月天 91| 美日韩成人| 丁香婷五月| 91丨九色丨熟女丰满| 九九色欲网| 久操热| 亚洲传媒在线观看| 成人在线精品| 丁香婷婷色五月合集| 色天使色综合| 热久久99热欧美国产亚洲| 丁香六月婷婷综合激情欧美| 五月开心网| 色五月婷婷一二| 色婷婷视频| 综合爱久久| 99色精品| 天天草天天摸| 婷婷欧美色| 婷婷欧美激情| 一级黄在线| 久久久8| 人人人人人人人草| 综合激情在线| 伊人热在线大香蕉| 99爱这里只有精品免费视频| 色六月天天激情综合网| 色五月婷婷网| 91肏| 久9热在线视频| 激情久久综合网| 九九热在线观看6| 99re青青草| 性色做爰片在线观看WW| 99热这里只有精品搜| 丁香五月激情图片婷婷| 五月婷婷伊人网| 性爱网五月天| 91九九九九九九| www.久久| 色999五月色| 激情五月天电影| 综合激情网| 亚洲另类电影| 亚洲av午夜精品一区二区| 日韩成人电影AV| 久久99热这里只有精品| 五月婷丁香花| w婷婷五月婷婷w| 色级婷婷| 日韩AV无码影片| 色丁香五月婷婷| 天天色天天| 五月丁香激情六月| 欧美婷婷五月无砖| 另类激情五月天。| 婷婷在线综合| 四季AV综合网| www.久久久久久久久久.com| 9色在线| 丁XX 成人| 337午夜福利| 99热精品一区| 综合激情五月四射婷婷| 91jiuseshunv| 婷婷五月丁香国产| 中文中文在线| 99精品在线观看| 婷婷玖玖五月天| 五月丁香性| www.成人婷婷综合| 狠狠色综合网站| 五月花婷婷最新| 天天摸天天舔天天爽| 久久久99日本大片| 99热999| 欲色人妻| 色吧99| 五月丁香久久激情综合| 亭亭五月丁香五月天激情| www,色色色网站| 丁香婷婷十月| 思思热久久爱| 五月婷婷丁香色吧网| 婷婷大香蕉| 亚洲另类电影| 久碰久操| 五月丁香婷婷色色| 超碰爱爱爱| 亚洲AV第二区国产精品| 婷婷香蕉精品| 五月天福利影院导航| 国产激情综合五月久久| 99爱视频| 成人超碰Av| 丁香五月婷婷激情蜜桃| 丁香五色月婷婷网| 天天日天天摸天天| 五月激情偷拍婷婷| 色色色色色色综合| 69色色视频| Av在线不卡一区| av中文网| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 亚洲色色图片| 天天爱天天做综合| 五月丁香婷婷啪啪综合网| 人妻操逼视频。| 六月色日韩| 狠狠操天天操天天操| 色婷婷久久综合| av九九| 色五月涩涩婷婷蜜桃| 十区AV| www.精品99| 狠狠爱综合| 激情婷婷内射| 狠狠色无码| 97婷婷五月天| 激情婷婷丁香| 色婷婷av在线观看| 成人精品在线观看| 超碰日韩人妻在线| 99视频啪啪| 色蜜婷婷| 亚洲天堂99| 丁香五月婷婷动漫视频| www色婷婷久久综合久色| 91精品丝袜久久久久久| 爆乳熟妇一区二区三区爆乳| 国产综合81p| 久久色婷婷| 欧美噜噜噜草| 五月天婷婷网站| 五月综合婷婷开心网| 五月伊人综合| 永久AⅤ1| 五月婷中文字幕| 91操操| 91在线看片| 色五月91| 色青青视频| 日日噜噜夜夜狠狠久久丁香五月| 美女美女美女三级色天天天天天| 五月天婷婷视频30| 伊人玖玖精品| 超碰在线91| 日韩AV在线免费| 色色色婷婷五月天| 五月婷婷网久久| 国内外色色色色色成人视频| 天天综合色| 99成人| 婷婷中文综合网| 99热这里都是精品| 色五月激情综合| 97色啪| 色一情一乱一伦一区二区三区| 国产看真人毛片爱做A片| 刘玥av在线| 综合五月丁香六月婷婷| 99精品国产在热久久婷婷| 丁香 亚洲 久久| 丁香五月激情月| ri电影在线| 俺去也五月| 99这里只有精品| 五月天大香蕉视频| 丁香五月亚洲AV| 岛国AV网| 久色网| 影音先锋 一区| 五月天日日操夜夜操| 五月天堂婷婷| 五月丁香六月婷婷久久肏| 久久久久久久久久8888| 久久这里只有精品热在99| 色色无码| 婷婷丁香五月91| 色五月久久成人婷婷| 只有久久精品免费| 丁香婷婷大香蕉| 日本玖玖在线| 激情婷婷内射| 五月丁香综合影院| 日木WWW视频| 91操人| 强伦轩人妻一区二区电影| 超碰色综合| 丁香婷婷AV| 激情五月丁香婷婷夜夜操| 国产探花AV在线| 夜夜夜夜夜操| 九月婷婷久久| 色香久久| 1995年关宝慧版蜘蛛女| 色色色色五月| 91久久久久久| 97人人操| 五月天另类视频| 国产亚洲精品久久久久苍井松| 婷婷久久色| 婷婷色系婷色| 久久久激情| 另类婷婷五月天啪帕帕| 国产免费一区二区三区三州老师F1F1.CC | 婷婷五月天影院| 99热热这里只精品996小说| 久久五月天婷婷视频| 婷婷亚洲色| 思思热视频在线| 婷婷综合在线播放| 婷婷激情丁香六月| 五月综合视频| 人人摸人人操人人爽| 日韩一区二区在线播放| 无月播播激情在线观看视频| 婷婷色丁香五月| 欧美日韩日韩成人| 色久激情在线| 无码成人AAAAA毛片AI换脸| 97五月天婷婷综合激情网| a69在线视频| 狠狠操狠狠爱| 久久久久亚洲AV无码网影音先锋| 丁香五月婷婷88在线| 日本久久人| 91操在线| 99热这里只有精品最新地址获取| 99热亚洲精品| 五月天色综合| 丁香九月综合激情| 亚洲人人操| 婷婷性爱五月天| 激情五月天.色网| 五月天婷婷永久免费视频| 九九综合| 五月丁香六月成人| 婷婷娌伦网| 日韩无码人妻一区二区| 五月婷婷久久爱| 丁香六月婷婷久久综合| AV六月丁香| 成人视频婷婷| 男人的天堂av俄罗斯热| 成年AAAA色情| 亚洲人妻av| 五月天第四色开心色播| 99.N在线视频| 大香蕉大香蕉在线影院| 久久草婷婷丁香网站| 亚州操人在线视频| 日良久久| 91超级碰碰碰| 东京热免费视频| 99热.com| 亚洲色色色色色色色色色| 热99这就是精品视频| 97人人干| 九九热只有这里是精品| www.色色五月天.com| 亚洲国产精品二二三三区| 九九亚洲综合| 五月婷婷天| 综合啪啪| 日本va欧美va国产激情| 98色花堂98t.R| 99色干| 九九精品热| 五月天激情影院| 激情五月综合六月丁香婷婷狠狠干| 大香蕉久| 777久久精品| 色135综合网| 第四色婷婷丁香五月| 中字幕视频在线永久在线观看免费| www.粉嫩av.com| 夜夜穞天天穞狠狠穞AV美女按摩| www。狠狠干。com| 国产熟妇的荡欲午夜视频| 99视频久久免费视频| 婷婷中文无码| 99丁香五月婷| 久久人妻精品| 激情小说五月天中文字幕| 久久久网站| 久久久久99精品成人片| 碰97久久| 久久五月天丁香| 五月丁香婷婷婷婷综合网| 五月婷婷色播| 婷婷5月色| 激情久久伊人| 六月综合婷婷开心伊人| 亚洲成人av在线观看| 久色五月| 丁香五月婷婷总啪啪| 天天拍久久| 99ri视频在线观看| 亚洲av成人在线| 激情五月图| 97碰精品| 婷婷操久久| 79精品在线视频| 67194线路二在线观看| www,五月丁,com| 91xxxx九色| 操碰97| 91操色| 日韩美一级毛卡片| 久久久com| 美臀自射自家人妻| 另类图片五月天激情| 久久免费婷婷视频| 99网址在线看| 香蕉久久国产AV一区二区| 久思思热视频在线观看| 三级黄网站| 激情黄色小说五月天| 波多婷婷久久| 激情久久五月天| 99热20| 日韩成人电影Av| 国产成人亚洲综合A∨婷婷| 亚洲小视频免费看| 丁香五月婷婷影视先锋| VfJxEwPH| 青青.com| 色天使色综合| 五月丁香婷婷色| 婷婷激情六月天视频| 人人干人人操外国| 99久久综合网| 五月婷婷官网色| 色婷婷五月六月丁香综合视频| 极品人妻VIDEOSSS人妻| 九九热这里有精品视频| 国产精品人人做人人爽人人添| 丁香激情六月天婷婷| 国产69久久久欧美黑人A片| 伊人婷婷激情| 99热国内精品| 97啪在线观看视频| AV电影在线播放| 99热在线观看这里只有精品| 九九re视频在线视频| 久久婷网| 六月丁香啪| 日本三级毛片| 99爱在线免费视频| 国产综合网在线| 色久在| 欧美日韩国产伦精品日韩人妻一| 欧美一级色| 色综合色欲综合天天免费| 黄色网址五月婷婷| 天天干天干| 色五月婷婷基地| 亚洲乱码成人| 久久五月婷| 99久热| 六月婷婷网| 久热69| 超碰免费电影| JAPANRCEP老熟妇乱子伦视频| 婷婷网五月| 天天日夜夜高潮| 免费啪啪亚州视频|