欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

用Transformer搭建中英互譯系統(tǒng):核心原理與工程實(shí)踐

用Transformer搭建中英互譯系統(tǒng):核心原理與工程實(shí)踐 1. 項(xiàng)目概述與設(shè)計(jì)思路1.1 為什么文本翻譯選 Transformer 而不是 LSTM前陣子我在本機(jī)搭了一套中英文本翻譯演示系統(tǒng)跑通之后最大的感觸是如果放在幾年前拿循環(huán)神經(jīng)網(wǎng)絡(luò)做同一個(gè)任務(wù)光是把代碼調(diào)成能并行訓(xùn)練這一步就能磨掉我大半天的耐心?,F(xiàn)在用 Transformer 作為序列到序列翻譯模型的骨干整條鏈路從數(shù)據(jù)清洗到端到端推理邏輯清晰太多了。翻譯本質(zhì)是一個(gè)序列到序列問(wèn)題輸入是源語(yǔ)言的一句話輸出是目標(biāo)語(yǔ)言的一句話。早年的主力方案是編碼器-解碼器結(jié)構(gòu)的 LSTM編碼器把源句壓成一個(gè)固定長(zhǎng)度的隱狀態(tài)向量解碼器從這個(gè)向量出發(fā)逐步生成目標(biāo)詞。問(wèn)題是句子稍微長(zhǎng)一點(diǎn)固定向量根本裝不下全部語(yǔ)義越靠前的信息越容易被后續(xù)內(nèi)容沖淡。Transformer 繞開(kāi)了“順序壓縮”的思路用自注意力機(jī)制讓每個(gè)詞直接對(duì)全句其他詞做加權(quán)關(guān)聯(lián)這就等于把“逐詞理解”變成了“全局關(guān)系建?!?。初學(xué)者最容易問(wèn)的問(wèn)題翻譯任務(wù)這么依賴上下文為什么不用更適合處理序列的循環(huán)結(jié)構(gòu)答案是并行效率。LSTM 必須按時(shí)間步串行計(jì)算第 t 步依賴第 t-1 步的隱狀態(tài)GPU 等于被迫排隊(duì)跑而 Transformer 的注意力計(jì)算在單層內(nèi)可以完全并行訓(xùn)練速度上一個(gè)量級(jí)。模型表達(dá)力更強(qiáng)速度還更快自然成為主流選項(xiàng)。1.2 這套系統(tǒng)到底做了什么、適合誰(shuí)參考這個(gè)項(xiàng)目最終完成的功能很實(shí)在給定一句中文系統(tǒng)輸出一句英文給定一句英文系統(tǒng)也能反向輸出中文。嚴(yán)格來(lái)說(shuō)這是典型的開(kāi)放詞表翻譯任務(wù)而不是那種只能翻幾十個(gè)固定句式的玩具 Demo。整個(gè)系統(tǒng)包含數(shù)據(jù)預(yù)處理、詞表構(gòu)建、模型訓(xùn)練、推理解碼四個(gè)模塊我用 PyTorch 復(fù)現(xiàn)了 Transformer 的標(biāo)準(zhǔn)結(jié)構(gòu)編碼器六層解碼器六層注意力頭數(shù)八模型維度 512。訓(xùn)練時(shí)使用 WMT 新聞?wù)Z料的一個(gè)子集清洗之后保留約一百萬(wàn)對(duì)中英平行句對(duì)在單卡 GPU 上跑了兩輪多。這篇博文適合兩類人一是剛接觸 NLP、想做文本翻譯但不知道從哪下手的初學(xué)者跟著把每個(gè)模塊拆開(kāi)之后能建立 Transformer 的完整直覺(jué)二是已經(jīng)有工程經(jīng)驗(yàn)、想快速驗(yàn)證 Attention 機(jī)制實(shí)際效果的朋友可以直接參考我貼出來(lái)的關(guān)鍵實(shí)現(xiàn)和踩坑記錄。我始終覺(jué)得與其照著教程“抄代碼”不如先把設(shè)計(jì)思路想明白。1.3 把“翻譯任務(wù)”拆成四個(gè)關(guān)鍵環(huán)節(jié)如果只給一句話概括這套系統(tǒng)的工程鏈路我會(huì)寫數(shù)據(jù)清洗與句子對(duì)齊 → 子詞切分與詞表構(gòu)建 → Transformer 編碼器-解碼器訓(xùn)練 → 束搜索解碼輸出。這四個(gè)環(huán)節(jié)每一步都有坑每個(gè)坑都會(huì)影響最終翻譯質(zhì)量。有意思的是很多人在模型結(jié)構(gòu)上花大功夫調(diào)參反而忽視前兩步。實(shí)際上平行語(yǔ)料里中文和英文句子經(jīng)常存在數(shù)量不對(duì)齊、標(biāo)點(diǎn)錯(cuò)位、長(zhǎng)句亂斷的問(wèn)題如果輸入是“你好世界”這種中英文之間詞序相差很大的句子分詞方式又直接決定了模型能否學(xué)到詞對(duì)齊關(guān)系。我把清洗規(guī)則寫得很保守去掉長(zhǎng)度超過(guò) 80 個(gè) token 的長(zhǎng)句過(guò)濾雙語(yǔ)長(zhǎng)度比例超過(guò) 3:1 的對(duì)齊對(duì)統(tǒng)一把全角標(biāo)點(diǎn)轉(zhuǎn)半角。這套規(guī)則不做特別聰明的處理但很可靠。2. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)2.1 輸入表示詞嵌入和位置編碼缺一不可自注意力機(jī)制本身不具備天然的順序感如果不加位置編碼句子“貓追老鼠”和“老鼠追貓”對(duì)模型來(lái)說(shuō)沒(méi)有任何區(qū)別。這是 Transformer 和 RNN 最大的結(jié)構(gòu)差異RNN 靠遞推順序隱式獲得位置信息Transformer 必須顯式給每個(gè) token 注入位置信號(hào)。我采用的是原論文里的正弦位置編碼位置編碼向量直接和詞嵌入向量相加然后一起送入第一層。公式如下PE(pos, 2i) sin(pos / 10000^(2i / d_model))PE(pos, 2i1) cos(pos / 10000^(2i / d_model))其中 pos 是 token 在句子里的位置索引i 是向量維度序號(hào)。選擇正弦函數(shù)而不是學(xué)出來(lái)的位置向量主要是為了處理超長(zhǎng)句子模型沒(méi)見(jiàn)過(guò)的長(zhǎng)度也能生成對(duì)應(yīng)的位置編碼不依賴訓(xùn)練數(shù)據(jù)的長(zhǎng)度分布。這里有個(gè)很容易被忽略的細(xì)節(jié)位置編碼的振幅和詞嵌入初始化標(biāo)準(zhǔn)差要保持在同一個(gè)量級(jí)。如果詞嵌入初始化成均值為 0、方差 1而位置編碼系數(shù)是固定三角函數(shù)的振幅 1兩者相加之后輸入分布會(huì)被位置信號(hào)主導(dǎo)。我實(shí)際實(shí)驗(yàn)時(shí)把詞嵌入層先乘以 sqrt(d_model) 做縮放再疊加位置編碼訓(xùn)練穩(wěn)定度明顯好很多。2.2 多頭注意力Q、K、V 的角色分工注意力機(jī)制可以類比成一個(gè)“信息檢索”過(guò)程。每個(gè) token 生成三個(gè)向量Query 表示“我關(guān)心什么信息”Key 表示“我能提供什么信息”Value 是“我擁有的信息內(nèi)容本身”。當(dāng)前 token 拿 Query 去和所有 token 的 Key 做點(diǎn)積得到一個(gè)相似度分?jǐn)?shù)經(jīng)過(guò) softmax 歸一化成權(quán)重再去加權(quán)所有 token 的 Value完成信息融合。多頭就是把這個(gè)過(guò)程復(fù)制多份。每個(gè)頭使用獨(dú)立的投影矩陣把詞向量投影到不同的子空間讓模型分別關(guān)注不同的關(guān)系。比如一個(gè)頭學(xué)會(huì)關(guān)注句法主語(yǔ)和謂語(yǔ)的關(guān)系另一個(gè)頭關(guān)注代詞和先行詞的關(guān)系最后的輸出把所有頭的向量拼接起來(lái)再經(jīng)過(guò)一次線性變換。八個(gè)頭可以理解為八套“并行的關(guān)系透鏡”。我在項(xiàng)目里比較特殊的處理是把注意力分?jǐn)?shù)除以 sqrt(d_k)也就是 Query 向量維度的平方根。d_k 是 64512 除以 8 個(gè)頭的數(shù)量所以除以 8。如果不縮放兩組隨機(jī)初始化向量做點(diǎn)積方差會(huì)隨著維度增大變得很大softmax 之后概率分布接近獨(dú)熱梯度無(wú)法有效回傳。這個(gè)縮放是整個(gè)自注意力能夠穩(wěn)定訓(xùn)練的基石之一新手調(diào)參時(shí)往往忽略這個(gè)“常數(shù)”。2.3 編碼器和解碼器掩碼遮住的未來(lái)信息翻譯模型解碼時(shí)有一個(gè)關(guān)鍵約束生成第 t 個(gè)詞時(shí)模型只能看到已經(jīng)生成的 t-1 個(gè)詞絕不能偷看后面的目標(biāo)詞。想像一下考試寫作文你寫到第五個(gè)字的時(shí)候當(dāng)然不知道接下來(lái)要寫的字是什么——模型也一樣。因此解碼器里的自注意力必須施加“未來(lái)掩碼”把矩陣右上角的部分置為負(fù)無(wú)窮softmax 之后這些位置的注意力權(quán)重會(huì)趨近于零。編碼器和解碼器的另一個(gè)區(qū)別是解碼器中間多了一個(gè)交叉注意力層cross-attention。這個(gè)層的 Query 來(lái)自解碼器上一層Key 和 Value 來(lái)自編碼器輸出。也就是解碼器在生成詞的時(shí)候不僅參考自己已經(jīng)生成的內(nèi)容還持續(xù)參考源句的全局語(yǔ)義。這是機(jī)器翻譯最核心的“對(duì)齊”機(jī)制每生成一個(gè)目標(biāo)詞都要決定源句哪些詞貢獻(xiàn)最大。我在實(shí)現(xiàn)里把三種 mask 放在一起做了統(tǒng)一封裝。padding mask 把填充符位忽略look-ahead mask 防止解碼器偷看未來(lái)目標(biāo)詞交叉注意力的 padding mask 去掉編碼器填充位。這塊代碼最容易被初學(xué)者寫亂尤其要小心 mask 廣播的維度。我在調(diào)試時(shí)用過(guò)一個(gè)很笨但有效的方法把 mask 值可視化生成一個(gè)上三角是深色、下三角是淺色的矩陣圖一眼就能看出未來(lái)掩碼是否生效。2.4 殘差連接、層歸一化和前饋層Transformer 每一層都在做“先變換再繞過(guò)變換”的操作。子層輸出先經(jīng)過(guò)殘差連接與輸入相加再做層歸一化。殘差連接保證了深層網(wǎng)絡(luò)的梯度不會(huì)因?yàn)閷訑?shù)加深而消失層歸一化則讓每一層的激活值保持穩(wěn)定的分布。在翻譯這種生成任務(wù)里訓(xùn)練和推理階段最怕的就是“小波動(dòng)被不斷放大”某層輸入均值和方差異常最終輸出幾乎一定會(huì)崩。LayerNorm 和 BatchNorm 的差別在于LayerNorm 是對(duì)單個(gè)樣本的所有特征維度做歸一化不依賴 batch 大小mini-batch 特別小的時(shí)候也非常穩(wěn)定。我在訓(xùn)練時(shí)把 batch 壓到 32 個(gè)句子LayerNorm 依然表現(xiàn)良好換成 BatchNorm 很可能已經(jīng)無(wú)法收斂了。前饋層就是兩層的全連接網(wǎng)絡(luò)中間加 ReLU 激活維度從 512 上升到 2048再壓縮回 512。這個(gè)層位置在注意力子層之后可以理解為“注意力負(fù)責(zé)融合全局信息前饋層負(fù)責(zé)逐 token 做非線性變換”。整個(gè) block 的堆疊過(guò)程就是 6 層編碼器 6 層解碼器層與層之間互相傳遞表征最后一層輸出再接進(jìn)線性層和 softmax產(chǎn)生目標(biāo)詞的概率分布。2.5 分詞與詞表BPE 子詞切分到底解決什么問(wèn)題中英翻譯里一個(gè)棘手問(wèn)題是未登錄詞。日常語(yǔ)料中經(jīng)常出現(xiàn)人名、地名、機(jī)構(gòu)名如果按詞為單位建模詞表動(dòng)輒幾十萬(wàn)稀疏問(wèn)題非常嚴(yán)重。我采用的方案是 BPEByte Pair Encoding先把語(yǔ)料切到字符級(jí)別再反復(fù)合并出現(xiàn)頻率最高的相鄰字符對(duì)最終得到一套規(guī)模適中、包含完整語(yǔ)義單元中又保留字符彈性的子詞表。子詞化的價(jià)值體現(xiàn)在翻譯英文單詞 understanding 時(shí)模型可以選擇生成 unprefix、stand 和 ing 多個(gè)片段組合出完整含義。遇到詞表外的生詞時(shí)至少能降級(jí)用字符合成避免全部變成 UNK。我的詞表規(guī)模控制在 32000 個(gè)子詞中文部分按字為單位切分這種組合在翻譯質(zhì)量和小語(yǔ)料適配性之間取得了平衡。動(dòng)手實(shí)踐的時(shí)候我建議先用現(xiàn)成的分詞工具做快速驗(yàn)證比如 SentencePiece 或 HuggingFace 的 tokenizer等整體流程跑通之后再嘗試做自定義標(biāo)簽化。分詞水平直接決定模型上限如果詞表里中文常用字都缺后面的 Transformer 結(jié)構(gòu)再精巧也是白搭。3. 實(shí)操過(guò)程與核心環(huán)節(jié)實(shí)現(xiàn)3.1 數(shù)據(jù)準(zhǔn)備與清洗流程這個(gè)項(xiàng)目的訓(xùn)練語(yǔ)料來(lái)自公開(kāi)的中英平行語(yǔ)料子集。這里要特別注意語(yǔ)料下載之后不要直接進(jìn)模型要做三層清洗。第一層是格式清洗。把編碼統(tǒng)一成 UTF-8繁體中文轉(zhuǎn)成簡(jiǎn)體英文大小寫歸一剔除包含亂碼、HTML 標(biāo)簽或異常 Unicode 字符的句子。第二層是對(duì)齊質(zhì)量過(guò)濾。中英句對(duì)經(jīng)常存在“一句中文對(duì)應(yīng)兩句英文”的情況我按照標(biāo)點(diǎn)切分后做兩兩組合盡量保證句對(duì)語(yǔ)意完整。第三層是長(zhǎng)度過(guò)濾。過(guò)短的句子少于 4 個(gè) token信息量小過(guò)長(zhǎng)的句子超過(guò) 80 個(gè) token訓(xùn)練成本高且容易爆顯存直接去掉。清洗完之后我給數(shù)據(jù)做了打亂和分批。批次大小按 token 數(shù)來(lái)算而不是按句子條數(shù)。一個(gè) batch 大約包含 2500 個(gè)源端 token這樣能避免批次內(nèi)句子長(zhǎng)短懸殊導(dǎo)致大量 pad浪費(fèi)計(jì)算量。實(shí)際操作時(shí)我會(huì)先按長(zhǎng)度大致排序再隨機(jī)打亂緩沖區(qū)達(dá)到類似分桶的效果。3.2 編碼器-解碼器結(jié)構(gòu)的要點(diǎn)代碼下面是我整理的 Transformer 核心模塊的結(jié)構(gòu)示意去掉了無(wú)關(guān)的工程細(xì)節(jié)保留最容易寫錯(cuò)的注意力部分。整個(gè)項(xiàng)目代碼大約 600 行核心網(wǎng)絡(luò)模塊集中在 200 行以內(nèi)。import torch import torch.nn as nn import math class PositionalEncoding(nn.Module): def __init__(self, d_model, max_len5000): super().__init__() pe torch.zeros(max_len, d_model) pos torch.arange(0, max_len).unsqueeze(1).float() div_term torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model)) pe[:, 0::2] torch.sin(pos * div_term) pe[:, 1::2] torch.cos(pos * div_term) self.register_buffer(pe, pe.unsqueeze(0)) def forward(self, x): return x self.pe[:, :x.size(1)] def attention(q, k, v, maskNone): d_k q.size(-1) scores torch.matmul(q, k.transpose(-2, -1)) / math.sqrt(d_k) if mask is not None: scores scores.masked_fill(mask 0, float(-inf)) weights torch.softmax(scores, dim-1) return torch.matmul(weights, v) class MultiHeadAttention(nn.Module): def __init__(self, d_model, num_heads): super().__init__() self.d_model d_model self.num_heads num_heads self.d_k d_model // num_heads self.w_q nn.Linear(d_model, d_model) self.w_k nn.Linear(d_model, d_model) self.w_v nn.Linear(d_model, d_model) self.w_out nn.Linear(d_model, d_model) def forward(self, q, k, v, maskNone): batch_size q.size(0) q self.w_q(q).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2) k self.w_k(k).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2) v self.w_v(v).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2) attn attention(q, k, v, mask) attn attn.transpose(1, 2).contiguous().view(batch_size, -1, self.d_model) return self.w_out(attn)這里我故意把 mask 的維度留作了待傳參數(shù)。實(shí)際調(diào)用時(shí)編碼器自注意力傳 padding mask解碼器自注意力傳 padding mask 與 look-ahead mask 相加的結(jié)果交叉注意力傳針對(duì)編碼器輸出的 padding mask。維度不匹配是高頻報(bào)錯(cuò)點(diǎn)有一個(gè)簡(jiǎn)單的自查方法注意力分?jǐn)?shù)矩陣的形狀一般是 (batch, heads, tgt_len, src_len)mask 必須是和這個(gè)形狀兼容的 4 維張量或者廣播后的形狀。3.3 訓(xùn)練配置與損失函數(shù)選擇訓(xùn)練翻譯模型我用的損失是交叉熵配合 label smoothing標(biāo)簽平滑。標(biāo)準(zhǔn)的交叉熵要求模型對(duì)正確詞輸出概率為 1這會(huì)導(dǎo)致模型過(guò)度自信、生成譯文僵化。標(biāo)簽平滑把正確詞的概率目標(biāo)設(shè)置為 0.9剩余 0.1 平均分配給其他詞給模型一點(diǎn)容忍度。平滑系數(shù)太小沒(méi)效果太大會(huì)讓模型喪失自信、譯文反而變差我試下來(lái) 0.1 是比較穩(wěn)的默認(rèn)值。優(yōu)化器選擇 Adambeta 參數(shù)為 (0.9, 0.98)epsilon 設(shè)為 1e-9。這里最需要注意的是千萬(wàn)不要直接用一個(gè)固定的學(xué)習(xí)率。Transformer 論文用的是 warmup 策略前 4000 步學(xué)習(xí)率從很小線性升到峰值之后按步數(shù)的負(fù)平方根緩慢衰減。原因是訓(xùn)練早期參數(shù)變化劇烈學(xué)習(xí)率太大會(huì)把注意力權(quán)重推入飽和區(qū)之后很難修正。超參數(shù)配置我整理成了表格這也是我最終跑通實(shí)驗(yàn)的一組可用參數(shù)參數(shù)名數(shù)值說(shuō)明d_model512嵌入維度注意力輸出維度num_layers6編碼器/解碼器層數(shù)num_heads8多頭注意力的頭數(shù)d_ff2048前饋網(wǎng)絡(luò)隱藏維度dropout0.1各子層之間的隨機(jī)失活概率batch_tokens2500每個(gè) batch 的源端 token 上限warmup_steps4000學(xué)習(xí)率預(yù)熱步數(shù)label_smoothing0.1標(biāo)簽平滑系數(shù)max_length80訓(xùn)練時(shí)允許的最大 token 數(shù)訓(xùn)練時(shí)我每 500 步用一個(gè) 500 句的驗(yàn)證集測(cè)一次 BLEU。BLEU 值在 1 萬(wàn)步以前增長(zhǎng)緩慢屬于正常現(xiàn)象不需要焦慮。我自己跑到約 3 萬(wàn)步時(shí)驗(yàn)證集 BLEU 從 7 漲到 26 左右后面越漲越慢到 6 萬(wàn)步基本進(jìn)入平臺(tái)期。3.4 推理解碼貪心搜索換成束搜索訓(xùn)練結(jié)束之后推理階段的目標(biāo)是給定源句逐步生成目標(biāo)句。最簡(jiǎn)單的貪心搜索每一步只取概率最高的詞作為當(dāng)前輸出。問(wèn)題是一旦第一步選錯(cuò)后續(xù)全部被帶偏無(wú)法回頭修正。束搜索的思路是每一步保留概率最高的前 beam size 條路徑最終選總體概率最高的那條。我用的是 beam size4再加一個(gè)長(zhǎng)度懲罰length penalty。模型傾向于輸出較短的句子因?yàn)槎叹涿總€(gè)詞的概率乘起來(lái)數(shù)值更大長(zhǎng)句反而吃虧。長(zhǎng)度懲罰項(xiàng)的做法是給每條候選句子的得分除以一個(gè)關(guān)于長(zhǎng)度的懲罰系數(shù)公式近似為 score / ((5 len) / 6) 的 alpha 次方alpha 取 0.6。這個(gè)操作不用動(dòng)訓(xùn)練代碼只在推理 decode 時(shí)加卻能顯著改善長(zhǎng)句譯文的完整性。推理過(guò)程中每條 beam 路徑都在按自回歸方式追加 token直到出現(xiàn)句尾符或長(zhǎng)度達(dá)到上限。我會(huì)額外設(shè)置一個(gè)重復(fù)懲罰如果當(dāng)前候選序列中某個(gè)詞出現(xiàn)次數(shù)過(guò)多就給它降權(quán)。這個(gè)技巧在翻譯新聞?wù)Z料時(shí)非常管用能避免模型陷入“不斷重復(fù)最后一個(gè)詞”的死循環(huán)。4. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄4.1 訓(xùn)練時(shí)顯存耗盡翻譯模型的顯存消耗大頭是注意力矩陣。假設(shè) batch 內(nèi)某句話長(zhǎng) 80自注意力的分?jǐn)?shù)矩陣是 80x80乘以 batch 大小和注意力頭數(shù)之后內(nèi)存占用非??捎^。我遇到 OOM 之后的第一反應(yīng)不是換顯卡而是先檢查 batch_tokens 是否設(shè)置過(guò)大以及序列是否真的被截?cái)嗟?mask 約束的 80。老手都會(huì)用梯度累積來(lái)繞過(guò)單卡顯存限制也就是每 2 到 4 個(gè)小 batch 更新一次參數(shù)等效地?cái)U(kuò)大 batch size。我把 batch_tokens 從 2500 降到 1000再用梯度累積步數(shù) 2 補(bǔ)回來(lái)顯存占用大幅下降收斂速度幾乎沒(méi)有損失。如果你的顯卡支持混合精度絕大多數(shù)情況下可以無(wú)腦開(kāi)啟在損失不增的前提下把顯存占用再壓掉三分之一。4.2 損失不降或模型不收斂損失完全不下降十有八九是注意力 mask 寫錯(cuò)了。這里有個(gè)特別隱蔽的問(wèn)題padding mask 的值為 0 的位置用負(fù)無(wú)窮填充但在某些實(shí)現(xiàn)里 mask 的值反過(guò)來(lái)1 表示有效0 表示無(wú)效一旦方向?qū)懛淳拖喈?dāng)于全部 token 都被屏蔽模型什么都學(xué)不到。排查的辦法很簡(jiǎn)單把某一個(gè) batch 里 mask 的值打印出來(lái)數(shù)一下有效占比是不是大致符合預(yù)期。如果損失下降但幅度極慢檢查學(xué)習(xí)率是否太小或者位置編碼是否沒(méi)有正確生效。我遇到過(guò)一種情況寫位置編碼時(shí)忘記用 register_buffer導(dǎo)致它被當(dāng)成可訓(xùn)練參數(shù)參與優(yōu)化整體參數(shù)量增加了幾十萬(wàn)但損失反而不降。把位置編碼改為不可訓(xùn)練常量之后訓(xùn)練立刻恢復(fù)正常。4.3 訓(xùn)練 BLEU 高、驗(yàn)證 BLEU 低這種情況就是過(guò)擬合在百萬(wàn)級(jí)別的語(yǔ)料上尤其常見(jiàn)。我的處理順序比較簡(jiǎn)單先加 dropout把每層 dropout 從 0.1 提到 0.2如果仍然過(guò)擬合就減小 d_model 到 256最后實(shí)在不行才降低層數(shù)。很多初學(xué)者的第一反應(yīng)是加更多語(yǔ)料但實(shí)際上先減模型容量往往更有效因?yàn)檎Z(yǔ)料清洗不干凈時(shí)加數(shù)據(jù)只會(huì)把噪聲也灌進(jìn)去。4.4 譯文出現(xiàn)大量重復(fù)詞重復(fù)詞問(wèn)題多半出現(xiàn)在解碼時(shí)。除了前面提過(guò)的重復(fù)懲罰還可以檢查輸出序列是否有“重復(fù)片段”。這個(gè)現(xiàn)象在中文翻譯里特別明顯因?yàn)橹形臒o(wú)明顯詞空格單字“的”很容易被反復(fù)生成。除了調(diào)懲罰項(xiàng)另一個(gè)取巧做法是增加驗(yàn)證集里長(zhǎng)句的比例讓模型多學(xué)會(huì)處理平穩(wěn)的長(zhǎng)距離依賴。4.5 出現(xiàn)大量 UNK子詞詞表仍然覆蓋不到的低頻詞會(huì)成為 UNK。真正有效的解決方法是把語(yǔ)料重新過(guò)一遍 BPE合并閾值調(diào)低一點(diǎn)比如從出現(xiàn)頻率 2 降到出現(xiàn)頻率 1這樣可以保留更多低頻字符合并。另外中英翻譯中數(shù)字和日期非常容易成為 UNK我專門加了一個(gè)預(yù)處理規(guī)則把孤立數(shù)字替換為同一個(gè)保留 token解碼之后再映射回原數(shù)字。這個(gè)小技巧立竿見(jiàn)影比擴(kuò)容詞表省事得多。下面把上述問(wèn)題整理成速查表方便大家直接對(duì)照現(xiàn)象可能原因排查與處理OOMbatch token 數(shù)過(guò)大減 batch_tokens / 梯度累積 / 混合精度損失不降mask 方向錯(cuò)誤 / 位置編碼可訓(xùn)練打印 mask / 用 register_buffer 固定位置編碼驗(yàn)證 BLEU 低過(guò)擬合提高 dropout / 減小模型容量輸出重復(fù)解碼約束不夠加重復(fù)懲罰 / 提高長(zhǎng)度懲罰 alpha大量 UNK詞表覆蓋不足調(diào)節(jié) BPE 合并閾值 / 預(yù)替換數(shù)字符號(hào)5. 一些個(gè)人的實(shí)操心得項(xiàng)目做到最后我發(fā)現(xiàn)比起模型結(jié)構(gòu)工程習(xí)慣對(duì)結(jié)果的影響被很多人低估了。常常有人問(wèn)我“注意力頭數(shù)改成 16 會(huì)不會(huì)更好層數(shù)加到 12 是不是就能超過(guò)論文”我不否認(rèn)調(diào)參能漲點(diǎn)但在我這套中英翻譯任務(wù)里真正把 BLEU 從 20 拉到 25 的改動(dòng)反而是數(shù)據(jù)清洗得更干凈、詞表構(gòu)建得更穩(wěn)、標(biāo)簽平滑系數(shù)調(diào)得更準(zhǔn)。對(duì)我個(gè)人來(lái)說(shuō)還有一個(gè)印象很深的體會(huì)不要在一開(kāi)始就追求在最大數(shù)據(jù)集上訓(xùn)練先用一個(gè) 5 萬(wàn)句的小樣本集把完整流程跑通確認(rèn)代碼沒(méi)有 bug 之后再切換到大語(yǔ)料正式訓(xùn)練。小樣本十分鐘就能出一個(gè)結(jié)果哪怕模型效果差也能快速驗(yàn)證 mask、位置編碼、推理解碼這些關(guān)鍵環(huán)節(jié)都正常。否則直接上百萬(wàn)句數(shù)據(jù)訓(xùn)練三個(gè)小時(shí)發(fā)現(xiàn)損失不降排查成本會(huì)高得讓人想放棄。最后分享一個(gè)小技巧解碼時(shí)把注意力權(quán)重單獨(dú)存下來(lái)選幾個(gè)典型句子畫成熱力圖。你可以直觀看到“I”這個(gè)詞在翻譯“我”的時(shí)候注意力主要落在了源句的哪個(gè)位置??吹綗崃D清晰地呈現(xiàn)出中英文的詞對(duì)齊關(guān)系我那時(shí)候才真正覺(jué)得自己理解了 Transformer 翻譯的精髓。這個(gè)項(xiàng)目跑通之后還可以往兩個(gè)方向繼續(xù)擴(kuò)展一是替換成更大規(guī)模的預(yù)訓(xùn)練語(yǔ)言模型做初始 checkpoint用領(lǐng)域語(yǔ)料微調(diào)二是加入多模態(tài)信息比如圖片描述、語(yǔ)音轉(zhuǎn)錄和文本翻譯聯(lián)合訓(xùn)練。每一步都是新的坑但也都很值得走。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色婷婷五月天激情在线观看| 日韩精品视频中文字幕| 99色色网| 婷婷天堂伊人| 免费成片在线观看| 久久丝袜婷婷| 人人干Av| 九九热黄色| 99视频内射三四| 综合色色网| 1024人妻| 久久久久婷婷五月热综合| 操九色| 欧美三9久九观看| 亚洲一二三网| 五月丁香久| 伊人综合婷婷| 秋霞少妇毛片| 五月丁香婷婷综合在线| 视频这里只有精品16| 久久a热| 色五月婷婷成人| 丁香五月婷婷色| 99日本黄站| 色婷婷影视99| 五月婷婷开心网| 六月激情网| 日日夜夜小色哥| 大伊香蕉精品视频在线| 99热大| 四川BBB搡BBB搡多人乱亂| 级人人91| 99热这里只有精品66| 丁香六月亭亭久久综合| 五月综合久久| 婷婷丁香五另类网站| 激情婷婷丁香五月天小说| 色热久资源| 久久ww| 狠狠爱婷婷丁香| 色播综合| 操日挥操日日| 天天干天天干天天干| 久久婷婷大香蕉| 五月开心婷婷极品激情| 这里只有精品视频99| 婷婷激情中文综合| 综合网色| 久久男人网婷婷| 久久久久久18| 色五月激情综合| 天天性视频| 思思热久久久在线| Www.se.久久| 99色视频免费在线规看| 伊人9在线| 中文激情网| 99热思思在线观看| 久艹大香蕉| 看婷婷五月天网| 夜夜爽天操| 日本nghangse中文字幕| 天天色综合色| 噼里啪啦完整版中文在线观看| 婷婷色五月天色色| 狠狠穞A片一區二區三區| 99在线精品视频观看免费下载| 天天爽夜夜爽天天爽夜夜爽| 久久婷婷五月综合色欧美| 六月丁香五月激情网| 亚洲色欲欧美一区二区三区| 国产精品色婷婷久久久精品| 激情综合激情综合| 日韩成人精品一区久久久久| 99热在线观看精品| 精品成人a v无码内射| 色九月婷婷综合| 久久99视频| 婷婷色片| 91网站黄| 五月丁香本色在线观看| 大战熟女丰满人妻AV| www.婷婷五月| 色综合区| 超碰亚洲天堂| 天天操夜夜操| 五月激激激情综合网| 91蜜桃婷婷狠狠久久综合9色| 九热视频| 五月丁香在线| 久久九九热视频| 激情五月天网站| 婷婷九月在线| 五月婷婷深深的爱| 伊人激情| 久色视频| 人人妻久久妻| 婷婷综合五月天激情| 五月丁香操婷逼| 九九九九九九综合| 日本123区日韩欧美不卡在线看| 色99网| jiqingliuyuetian| 777色色色| 久久 这里只有精品1| 激情婷婷五月天网址| 99啪啪视频| 婷五月天六| 色99免费视频中文| 色婷婷亚洲综合av| 丁香八月综合激情| 激情婷婷五六月天| 校花娇喘呻吟校长陈若雪视频| 欧美激情综合色综合色| 色色影院aaaav| 啪啪丁香五月| 激情久久肏屄视频| 一级性感黄色内射视频| 婷婷情色五月天| 五月色亚洲| 婷婷欧美| 伊人激情AV一区二区三区| 激情五月天在线观看色婷婷| 色丁香五月天| xx久久| 在线视频激情网站| 久久六月天| 综合色色综合| 永久免费一区二区三区| 超碰三级片| 热热99爱爱| 影音先锋一区| 99∨VTV| 丁香六月婷婷色XXXXX| 五月激情天天干| 六月婷婷激情| 午夜69成人做爰视频| 五月激情视频| 成人一区在线观看| 色操b| 激情99| 国产午夜伦鲁鲁| 97超碰在线免费观看| 玖玖色综合| 婷婷五月深深的爱| 婷婷五月色播放| 婷婷婷久久| 97五月久久丁香婷婷| 第四色色六月色综合| 婷婷丁香五月91| 五月天停停日日| 夜夜骑日日操| www.日韩国产| 亚洲永远av在线播放| 亚洲国产成人裸舞| 国精产品一区一区三区免费视频| 亚洲字幕AV一区二区三区四区| www.久久99| av在线中文| 日日操,夜夜撸| 五月婷六月| 大香蕉五月天婷婷| 丁香五月婷婷综合精品素人| 亚洲乱啪| 人人爱人人添| 国产,欧美,学生妹,视频| 五月天色婷好好| 五月婷婷丁香六月| 婷婷色色综合| 久久综合婷婷| 五月丁香福利| PORNY九色9l自拍视频成人| 热99热9| 99这里只有| 亚洲99一级无嗎特制在线| 激情综合网激情五月婷婷| 日韩人妻AV在线| 五月婷婷激情综合av| 免费观看全黄做爰的视频| 爱爱网址9| 色情五月天。| 思思综合热| 色欲av伊人久久大香线蕉影院| 91色久| 日韩无码专区| 色婷婷五月综合| 久热91| 色五月婷婷亚洲| 国产 亚洲 在线| 婷婷天堂站| 五月色在线| 思思热精品在线视频| 久久久这里都是精品| 久久99热这里只频精品6学生| 色色色com| 久久亚洲网| 人人操人人妻| 综合综合网| 99欧美精品99日本精品| 亚洲视频图片婷婷五月| 99这里热| 丁香婷婷九月| 丁香六月天| 久香草视频在线观看| 五月丁香婷婷欧美| 午夜激情五月天| 婷婷六月久久| 夜夜撸日日操| 国产精品国产| 婷婷娌伦网| 99丁香五月婷婷在线| 99精品无码| 丁香五月激情综合婷综| 欧美搡BBBBB摔BBBBB| 人人舔人人色人人高潮| 97人人操人人操人人操人人| 狠狠插狠狠插| 天天影院色| 色婷婷中文字母五月丁香| 日本一级黄色电影| 五月花婷婷丁香| 777影视理论片大全在线观看| 久久停停超碰| 一片AV片免费播放| 99这里只有精品在线| 永久热91| 九月丁香久久网| 日夜操B| 天天天综合网| 无码人妻一区二区三区免费九色| 亚洲AV无码成人精品区电影网| 国产欧洲欧洲精品久久| 亚洲V国产V欧美V久久久久久| 亚洲激情精品| 五月丁香A片| 亚洲无码yw| 九色视频91| 99热在线观看| 国产精品美女| 五月婷婷五月天在线| 色五月激情问网站| 99精品在线| 丁香六月av| 91热视频| 99性感视频| 久久网日本| 久久ri精品视频| 久久99国产综合精品免费 | 丁香五月天操B| 级情九色| 婷婷五月天综合色| 操日视频| 色婷婷六月激情| 婷婷在线五月综合| 九九热这里只有精品6| 噜噜噜久久| 强伦轩人妻一区二区电影| 无码网| 99久久99视频只有精品| 99re久热只有精品6在线直播| 国产精品色情AAAAA片软件| 色99网站| 九九婷婷五月天| 无码啪啪| 婷婷人人操| 日本波多野结衣视频| 日韩成人电影AV| 人人播| 久久99热精品a片在线观看| 久久婷综合| 99在线视频精品| 日本久热| 麻豆科斗777| 99在线精品视频观看免费下载| 老妇六区| 成人性生活免费观看。| 99热99日天天干| 色婷婷五月天| 久久九九99| 夜夜夜夜操| 综合久| 欧美天天干天天草| 亚洲成人网站在线播放| 狠狠色综合精品视频在线| 色婷婷影| 久久综合最新网址| 色大综合| 26UUU一区二区| 五月丁香无码| 国产成人综合在线| 久久五月天视频| 九月大香蕉| AV网址大全在| 激情综合网激情五月丁香五月俺也去| 五月婷婷激情日本| 久久九九热视频| 99资源在线视频| 噜啊噜在线| 综合色情网| 女人天堂AV| 人妻体体内射精一区二区| 五月丁香婷婷五月色| 亚洲成人av中文| 亚洲另类毛片| 蜜臀AV在线成人| 激情亚洲婷婷六月| 五月天久久91| WWW.久久久久久久| 另类国产综合| 丁香五月天网站| 99热精品中文字幕| 99热这里只有精品在线观看| 成人国产欧美大片一区| 五月天激情国产综合婷婷婷| 99丁香五月| 永久无码色| 久久婷婷五月国产色综合激情| 一起操最新网址| 99re视频在线精品| 久久久网站| 97婷婷色| 九九色院| 亚洲六月色婷婷| 激情久久综合网| 五月天综合在线| www.亚洲激情.com| 亚洲色频| 国产激情综合五月久久| 久久婷婷五月综合色和| 午夜激情综合| 五月丁激情| 99热在线播放| 国产精品色| 色香蕉婷婷| 玖玖99精品视频| 人人操AV| 79色色色色| 大香蕉99热| 99综合入口| 久热这里只有精品在线观看 | 亚洲成人电影在线免费观看| 婷婷的99视频网站| 婷婷五月天成人综合网| 丁香五月亚洲| 九九视频在线观看| AV九九| 五月婷婷色播| 99热日本精品| 丁香五月网络网络| www,天天干| 视频色色色色色色| 丁香五月天激情视频| 日本不卡一区二区三区| 丁香五月网络网络| 操操自拍| 天天色凹凸| 亚洲激情电影五月天色婷婷丁香一起草 | 中文字幕+乱码+中文字幕在线观看| 无码se| 九热视频| 久久 这里只有精品1| 九九爱激情| 色色色色色色色色网站| 久久99婷婷| 人妻丰满精品一区二区A片| 五月丁香六月欧美| 色婷婷六月天| 婷婷天天五月天| 日日夜夜干| 99热免费| 牛牛澡牛牛爽| 日本99在线| 成人在线网址| 天天操天天操| 欧美99热| 天天摸天天日天天舔| 一本色道久久88加勒比—| 婷婷五月天成人综合网| 色五月亚洲| 思思久久思思| 一级片sese片.COM| 激情视频91| 九九日伊人| 天天狠狠干| 影音先锋按摩| 色色狼人综合| 色五月婷婷丁香凹凸| 啪啪婷婷五月天激情| 激情六月下句是什么| 色色色婷婷| 国产偷人爽久久久久久老妇APP | 成人 AV播放| 丁香五月六月综合激情| 五月色网| 婷婷五月天 偷拍| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 91久久婷婷| 91一起操| 婷婷丁香人妻久久在线观看| 97欧美在线| 久久久WWW| 性天天中文网| 色婷婷亚洲在线| 天天天操天天天爰| 欧美月久久| 婷婷色影院| 密桃激情五月天综合网| 91 久热| 色狠狠色噜噜AV天堂五区| 婷婷五月在线综合| 香蕉AV777XXX色综合一区| 色青青五月| 免费一区二区三区| 久久大大香| jiZZdr| 久久看婷婷| 国产视频婷婷| 开心五月婷婷婷美女| 六月婷伊人| 免费观看的av| 丁香五月综合AV在线| 精品网站99| 91久操| 婷婷深爱五月天| 激情婷婷丁香五月天| 操操自拍| 99爱在线精品视频免费观看| 激情性爱五月天| 激情亚洲婷婷| 在线观看av网站| 婷婷五月天天爽| 亚洲婷婷六月天| 六月丁香好婷婷| 99热这里有精品2| 这里精品| 中国女人做爰A片| 999热在线观看视频| 五月天婷婷色小说| 百度4399有码精品V在线观看| 天天日夜夜曹| 国产裸舞福利资源在线视频| 天天噜日日噜综合无码| 韩日在线熟女| www.五月瑟| 色婷婷五月天| 99免费在线视频| 亚洲另类日本| 九九在线视频| 九九久久99| 丁香五月婷婷六月| 色在线五月天免费| 天天看片日日夜夜| 影音先锋 一区| 亭亭五月丁香综合欧美| 五月丁香六月婷| 日韩成人AV在线| 人人摸人人搞| 五月丁香另类网| 五月天激情在线视频| 色色操| 色婷婷色综合| 五月婷婷性爱| 久久9情免费| 九九爱激情| 色七七九九| 人妻久久久久久久 | 日本一级淫| 九九色播五月丁香| 日本人人xxx| 日本激情综合| 国产日韩欧美| 久久思思99| 婷婷开心五月| 婷婷五月天激情小说| 伊久大香蕉| 九九精品婷| 人人操Av| 久99久热| 九九热青青草| 99ri在线观看视频| 五月婷婷伊人在线| 最新无毒无码AV| 亚洲超碰中文字幕| 91dy.av| 五月丁香六月婷婷激情视频在线观看免费| 久99久在线| 国产激情在线| 热久久99热欧美国产亚洲| 五月婷婷熟女| 久热这里只有精品在线观看| 婷婷亚洲综合| 99热99ai| 婷婷五月天福利| 黑人无码一区| 九色91国产| 亚洲操B视频| 婷婷色网站| 丁香五月激情久久麻豆| 综合亚洲色色| 五月天婷婷综合网| 婷婷五月综合色中文字幕| 激情图片五月天| 开心五月婷婷婷美女| 五月丁香婷婷综合| 噜噜噜噜噜日本视频| 色狠狠综合| 日本3级片一区2区| 丁香五月天啪啪| 999久久久国产精品| 熟妇无码乱子成人精品| 丁香六月婷婷色XXXXX| 五月丁香六月激情综合| 九九综合久久| 久热播这里只有精品| 亚洲五月激情| 综合色久| 婷婷丁香五月精品| 婷婷色吧| 日本乱子人伦在线视频| 91人妻视频| 色欧美日| a久久免费视频| 四色五月婷婷在线观看| 超碰网站在线观看| 亚洲色无码A片一区二区麻豆| 深夜男女福利刺激影院一区完整| www色五月| 五月丁香久久色| 激情六月丁| 五月丁香婷婷基地| 日本欧特黄色刺激一区影视久精品无码| 婷婷99狠狠躁天天躁| ay2区| 人人摸人人干人人做| 五月婷在线| 亚洲最大视频网站| 丁香五月无码| 婷婷五月天久久久| 99日视频在线| 91色在线| 激情av在线| 非洲一级AV| 91超级碰在线| 伊人综合色干| 91丨九色丨丰满人妖| www.无码com| 丁香五月六月欧美| 激情久久四色| 五月婷婷激情综合| 国内裸舞二区| 亚洲激情综合| 狠狠操天天操天天操| 九九热精品在线| 丁香五月在线观看综合| 超碰一区二区| 久大香蕉| 五月丁香婷婷色色| 色一情一乱一伦一区二区三区| 国产在线视频1234| 六月婷婷在线视频| 国产AV网页| 99热99热在线| xxxx五月天色色| 玖玖热视频| 五月做爱| 亚洲色色香蕉| 色婷小说| 91视频一起草| 婷婷综合在线视频| 色墦五月丁香| 日韩欧美成人网| 九九99精品视频| 91超碰在线观看| 欧美午夜乱妇午夜福利| 日本9区视频| 亚洲精品久久久久久久久久吃药 | 噜噜噜狠狠色综合| 久热人妻| EEUSS鲁片一区二区三区| 亚洲天堂啪啪| 婷婷 激情 五月| 伊综合蕉| 99re免费精品视频| 婷婷五月欧美AA片免费| 色五月偷偷| 人五月天婷婷喷水| 最近韩国日本免费高清观看| 综合玖玖偷拍| 婷婷丁香97| 99玖玖免费视频| 综合五月丁香97| 日本九九视频| 超碰99在线观看| 大香蕉五月天| 色综合综合色| 另类小说五月天| 99草在线免费观看视频| 五月婷在线| 国产偷人妻精品一区| 99热只有这里才是精品| 婷婷久草| 九九RE视频在线精品| 99热10在线高清播放| 久久婷婷五月天激情| 美欧成人视频| 超碰成人公开| 99精品热| 激情五月天色播| 丰满少妇乱A片无码| 婷婷五月天情色| 亚洲无码成人性爰网| 99热国产免费| 亚洲操操| 久99热| 午夜AV网| 操人妻AV| 免费无码毛片一区二区A片| 丁香大香蕉| 久久九九99亚洲国产久精综合| 五月丁香婷婷99| 国产性av| 欧美久久一级内射wwwwww.| 色五月丁香网| 激情五月,激情综合网| 天天爽综合| www.99在线| 久久五月综合| 国产精品电影| 五月婷婷偷| 123草逼网| 亚洲影院婷婷色| 丁香激情网| 国产97色在线 | 日韩| 国产肥白大熟妇BBBB视频| 日韩另类| 欧美三级欧美一级| 激情综合国产| 二色av| 91狠狠综合久久| 香蕉人在线香蕉人在线 | 五月天激情AV| 久久久五月婷婷| 狠狠久久婷五月综合色| 亚洲天天免费| 色狠狠伊人久久五月丁香| 婷婷五月天激情网址| 国产韩日亚洲美州欧亚综合在线| 久热免费| 天天综合色丁香| 国模狼狼| 亚洲人妻av伦理| 人妻内射一区二区在线视频| 国产亚洲精品AAAAAAA片| 激情综合网五月| 五月婷婷丁香俺日污视频| 国产精品99久久久久久久女警| www激情网站| 久激情网| 人妻在线中文字幕久久| 久久9情免费| 伊人干综合| 襙比视频| 综合久久久婷| 大香蕉久艹| 国产精典视频在线观看| 97caop| 色玖玖综合网| 五月婷婷婷| 色 噜噜 九月 婷婷| 丁香六月啪| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 六月丁香婷婷综合在线| 亚洲射激情| 91九九精品| 双性美人被调教到喷水A片| 久久综合五月天| 吉澤明步Av一區二區| 色色色婷婷五月天| 这里有精品| 激情图片久久| AV成人在线播放| 激情五月天婷婷视频| 青青草a在线| 色色色色色色色色五月先| 强奸幻女毛片| 国产精品日本一区二区在线播放| 欧美精品久久久久久视频观看| 91免费看片| 久久激情综合| 9999热精品在线免费播放 | 香蕉综合在线| 九色视频91| 五月婷婷综合网| 婷婷色五月天在线| 91婷婷搞| 大香蕉综合| 色婷婷六月天| 九九九色综合| 亚洲愉拍99热成人精品| 蜜桃人妻无码AV天堂三区| 这里只有精品视频免费在线观看| 中文字幕天天干| 久久视9精| 天天色激情| 五月丁香综合激情| 97在线/日本| 色五月天.con| 久热这里只有精品6| 泰州成人视频| 色婷婷国产精品综合在线观看| 99热99在线| 天天操夜夜玩!| 俺去啦综合网| 丁XX 成人| 激情綜合網址| 狠狠操综合| 成人免费120分钟啪啪| 色色婷婷综合| 亚洲一二三网| 欧美婷婷综合| 色.五月综合网| 亚洲九九婷婷| 开心六月丁香五月婷婷| 国产又黄又爽又激情不遮挡视频在线观看| 久久狠婷婷| 婷婷五月丁香基地在线视频官网| 草榴视频黄色网| 婷婷激情啪啪| 色情播放| 99热这里只有国产精品| www.久久av.com| 五月天色色婷婷| 亚洲色婷婷五月| 骚。com| 五月丁香六月| 5Www色5夜| 全网最新网黄大秀直播高清,主播国产录屏在线 | 亚洲色99| 艹色18p| 激情五月丁香色婷婷| 激情婷婷五月天| 97成人丁香| www.色色五月天.com| 99亚洲精品视频在线观看| 丁香五月亚洲天堂| 综合激情视频| 五月天综合婷婷| 五月婷在线观看| 91久热| 开心五月婷婷激情| 成人做爰A片免费看网站找不到了| 97色色在线视频| 日本一级一级一级一级| 超碰在线国产9| 99免费热视频在线| 五月婷婷手机在线| 久久久思思热| 97资源欧美日韩大香蕉超碰一区| 性一交一乱一交A片久| 亚洲五月婷婷| 免费碰碰视频久| 亚洲综合99| 天天色综| 99a级片| 丁香五月激情综合| 五月丁香六月婷婷综合免| 色婷婷五月在线| 亚洲激情综合| 超碰国产在线观看| 一级性爱视频| www.俺去也com| 碰碰女| 99视频| 成人精品亚洲性爱| 五月激情啪啪| 99er视频在线| 婷婷激情六月中文| 五月天婷婷视频| site:xmssd.com| 碰超亚洲| 丁香六月五月天| 五月婷婷 激情五月| 大香蕉人人网| 91日韩在线| 六月丁香综合999| 成人做爰A片免费看视频| 五月丁香少妇A| 丁香九月色| 天天做天天爱天天爽综合网| 啪啪六月婷婷| 天天天天天天操| 免费亚洲婷婷中文字幕| 夜夜撸天天操| 91碰| 另类激情五月| 国产精品美女久久久久AV超清| 丁香五月色情av| 亚洲成人乱码av网站| av电影在线播放| 激情五月久久| 99亚洲视频| 五月婷婷AV| 五月天婷婷成人| 这里只有精彩亚洲视频推荐| 六月婷婷视频| 婷婷久久免费| 色99自拍| 丁香六月婷婷综合色| 五月丁香激情综合六月涩涩爱| 国产精品噜噜在线视频| 天色色综合网| caop视频| 婷婷五月天色| 饮料下药迷倒漂亮女同事强干| 色五月婷婷五月天| 五月天桃色深爱网| 丁香五月激情啪啪| 婷婷精品综合| 久婷婷视平| 网站免费一站二站| 香蕉狠狠爱视频| 亚洲AV综合在线观看| 色情久久久| 五月丁香在线精品| 丁香五月1页| 色色色色色色色色综合网| 久操热| tingting五月天亚洲| www婷婷| 五月婷婷六月情| 99视频在线精品免费观看2| www.五月天。com| 只有精品在线观看| 久操无码| 中文网AV| 色五月视频无码播放| 久久久精品色色色| 日本色色色| 婷婷久久五月| 天天插天天干天天舔| 五月天自拍网| 五月丁香龟婷婷| 激情五月色播五月| 久久久久久xxxxx| 狠狠爱婷婷爱| 天天肏在线观看| 99久久久免费| 婷婷激情丁香五月天综合| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 久久婷婷五月综合色欧美| 1024人妻无码中文字幕| 久热精品在看| 婷婷爱爱蜜臀天天操| 色丁香五月婷婷| 婷婷五月天激情综合网| 丁香婷婷色五月激情综合| 日本一级一级一级一级| 青青久久五月| 男人的天堂97| 亚洲精品网站色视频| 99热在线中文字幕| 九九热只有这里是精品| av在线色五月丁香婷区久| 亚洲欧州色情在线观看| 丁香婷婷大香蕉| 日韩性视频| 久久99久久久久久| 99热这里只有精品2| 婷婷六月久久综合导航| 丁香五月社区| 五月激情婷婷四射| 色婷婷综合中心| 啪色综合| 欧日韩AV| 丁香五月婷婷手机| 思思热在线播放| 日本婷婷色| 99色区| 我去色色网五雨天| 亚洲乱码日产精品BD| 免费观看2018www黄色操逼网站| www.91五月| 中文字幕日本最新乱码视频| 99热伊人综合| 亚洲六月色婷婷| 色欲婷婷夜夜| 亚洲精品乱码久久久久久综合| 美女激情婷婷| 亭亭五月丁香五月天激情| 久久这里只有精品视频15| 这里只有精品热| 久久婷综合| 99热99日…..| 日本一级黄色电影| 99热这里只有精品1025| 亚洲九九99精品视频在线播放| 草操AV在线| 99精品视频免费观看| 五月久久网| 婷婷丁香六月| 久久久久久久久久久久久久久久久精典| 欧美成人AAA片一区国产精品| 九九激情视频| 欧美性爱五月天| 亚洲综合色婷婷文学| 丁香五月激情五月| 婷婷五月情| 五月花综合网| 亚洲精品午夜国产va久久成人| 五月激情四射网站| mmm1717.6dbm人人爱人人操| 五月婷丁香| 色级婷婷| 婷婷人人操| jiqingtaose五月天| 99久久网站| 天天色,天天操,天天射| 色青青电影色五月| 五月天色婷婷伊人网| 亚洲婷婷激情888精品久| AA丁香综合激情| 五月婷婷在线视频| 极品少妇XXXX精品少妇偷拍| 婷婷天天综合| 五月婷婷中文字幕AV| 五月婷婷与六月丁香图片激情| 色婷婷色五月另类综合| 丁香五月成人网| 深爱激情四射| 九九婷| 天天干天天干天天干天天干天天干| 另类视频综合| 能直接看的av网站| 色图亚洲91| 日韩成人电影在线播放| 第四色色六月色综合| 97色婷婷| 狠狠五月综合在线| 亚洲人妻电影| 538在线精品| 激情网开心网| 成人免费网站免费看| 日韩成人免费电影| 婷婷噜噜| 久久刺激网| www.夜夜操| 五月婷婷天堂| 天天干夜夜谢| 婷婷激情五月天激情小说| 欧美99热| 婷婷五月天亚洲天堂| 亚洲无码黄色| 五月天婷婷基地| 久久久久99精品成人片| 百度4399有码精品V在线观看 | 夜夜干 夜夜操| 人妻中文在线| 成人网在线观看视频| 97热这里精品在线视频| 婷婷精品| 亚州色综合| 五月婷婷六月丁香五月| 丁香五月婷婷五月天在线| 五月丁香六月香香蕉| 五月丁婷香| se.久久视频在线观看| 五月丁香六月婷婷综合伊人| 色欲AVV| 五月丁香亭亭操逼| 天天日天天久久青青| 超碰国产AV| 夜夜做夜夜愛| 天天做天天爱天天高潮| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 久久久五月激| 99热免费| 五月丁香激情四射| 狠狠色五月天| 日本欧特黄色刺激一区影视久精品无码| 小骚穴电影| 精品网站:999WWW| 色综合色色色色| 婷婷五月丁香在线视频| 97ai婷婷| 六月婷婷之青青草| 天天操天天操天天操天天操天天操 | 久久这里只有精品无码| 五月丁香六月综合激情| 久99精品视频| 婷婷丁香色情| 超碰99在线观看| 99操逼| 婷婷激情丁香五月天综合| 日韩黄黄| 日韩砖区| 97色 五月天丁香| 久久婷婷五月综合色和| av在线免费播放观看| www激情婷婷com| Av在线不卡一区| 婷婷五月天激情综合| 欧洲亚洲免费视频9| aaaa久久| 五月丁香另类图片| 激情九月婷婷| yazhoujiqingav| 婷婷久久久| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 久久99久久久久久| 狠狠干2007| 久久久免费图片视频| 五月婷婷激情综合网 | 婷婷丁香第一页| 五月丁香888| 99热综合网| 五月婷婷伊人网| 久久无意婷婷| 五月婷婷色情| 久久五月激情| 婷婷欧美色| 久久ri精品| 超碰国产AV| renrencaoni| 超碰在线94| 99热这里只有精品8| 久久一热| 五月婷婷伊人久久| 国产特黄色精品一区二区三区精品无广告| 97婷婷丁香五月天激情图片| 久久五月婷天天干| 99re这里| 五月天合网| 99啪在线| 国内自拍97在线| 色综合色| 深爱婷婷网| 久久婷婷丁香六月天| 97超级操操| 大香蕉在九| 伊人干综合| 色视频色综合91| 9热精品| 欧美日韩99| 欧美婷婷丁香社区在线播放| 91日本在线观看| 亚洲色综合性| 色婷婷视频| 五月丁香婷婷久久| 欧洲电影在线观看免费版英语版| 久久这里只有精品5| 一级性爱大片| 九九爱激情| 国产伦亲子伦亲子视频观看| 天天爱天天做天天舔| 噜噜噜噜噜在线| 五月丁香六月婷综合成人综合| 三男玩一女三A片| 91人人网| 26uuu亚洲| 婷婷五月天中文字幕.| www.99热精品| 九九九九九九热| 婷婷导航| 黑人糟蹋人妻HD中文字幕| 这里只有精品视频一区| 国产激情av| www综合久久| 色色色五月天婷婷| 国产AV影片| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 中文人妻主播久久| 激情婷婷九月| Caoub青青超碰| 激情五月天网| 69精品人人人人| 操人91| 99A片| 天天综合精品| 6080av| 六月婷婷五月丁香首页| 亚洲av免费在线| 色99热| 五月丁香激情四射综合| 婷婷伊人综合中文字幕| 夜色综合网| 97久久五月丁香婷婷| 日韩美女在线视频19| 五月婷色| 五月丁香啪啪啪综合网| 天堂在线9| 亭亭丁香久久五月| 99热精品免费在线观看| 丁香五月综合在线播放 | 久久综合影院| 色五月综合在线| 激情四射婷婷| 99免费视频| 婷婷五月日本| 99人妻碰碰碰久久久久| 欧美日韩五月婷婷| 思思热这里只有精品视频666| 99热这里只有精品在线| 色五月av| 98热精品| 日本在线视频播放91| 另类激情五月天。| 精品,99| 97精品自拍| 91干婷婷| 人人干人人看| 婷婷激情六月| 乱码操操| 人操综合| 大香蕉久久久久| 国精产品一区二区三区| 婷婷综合网| 久热婷婷综合| 五月丁香影院| 色噜综| 九九99精品| www.久久99热地址发布| 色九网| 婷婷五月天电影在线| 激情视频综合| 色婷婷中文| wWw色五月| 五月丁香啪啪啪| 色婷婷很很十八禁| 天天色爽| 激情性爱五月天| 99草视频在线观看| 婷婷五月天va| 97碰| 丁香五月狠狠在线观看| 操逼三区| 九九一综合精品| 97九色视频| 亚洲精品a成人在线播放| 超碰在线成人| 五月天婷婷激情在线色图| 91一起操| 婷婷丁香射射| 91久久婷婷| 久久人人超| 色丁香五月婷婷| 六月色激情| 免费观看欧美成人AA片爱我多深| 99国产精品久久久久久久久久久| 亚洲婷婷欧美婷婷| yw.av| 丁香五月 综合| 91天天操天天干天天射| www久久久久| 99久久极情精品一区| 69超碰在线| www.俺去也com| 色婷婷四虎| 天天综合网在线| 久久99免费视频网站| 玖玖热视频| 欧美色色色色色色| 丁香五月婷婷亚洲色图| 婷婷天天五月天| 激情www.98com| 爱射综合| 婷婷五月天久久久| 久99视频| 婷婷五月天在线观看| 婷婷综合五月| www.99热这里只有精品| 丁香六月啪啪| 色婷婷基地 | 婷婷久久亚洲| 91VIP在线观看| 日韩久热| 亚洲人人96@| 婷婷六月啪啪| 思思精品久久艹| 无码一级片| 六月丁香影院| 久久色大香蕉| 婷婷五亚洲| 亚洲黄网在线| 先锋资源婷婷| 婷婷性爱综合| 91黄操| 婷婷 亚洲图片 丁香| 熟妇内谢69XXXXXA片| 色五狠狠| 91丨九色丨高潮丰满日本| 日本系列_4页_777FP| 91成人品| 成人无码精品1区2区3区免费看 | 91久久色| 婷婷五月丁香五月丁香| 毛片蕉地一二| 91精品国产91久久久久青草| 成人性爱精品视频| 丝雨一区二区| 五月丁香综合啪啪| 色婷婷色情| 久操97| 99cao婷婷| 色婷婷综合网| 久久激情五月网| 五月停停大香蕉| 久久久精品AV| 激情深爱五月| 婷婷五月天无码熟女| 中文字幕+中文在线| 丁香六月婷婷| 五月天丁香网| 夜夜操天天爽| 香蕉婷婷| 狠狠色综合网| 婷婷丁香六月| 婷婷另类开心| 亚洲狠狠婷婷| 亚洲妇女熟BBW| 激情五月婷婷五月| 青青草成人网| 99热精地址| www.五月天婷婷.com| 91色综合网| 久久婷婷亚洲无码一起| 九九99久久| 777色色色| 天天天天干| 亚洲五月天天| 色婷婷色综合激情91| 精品亚洲国产成AV人片传媒| 99在线视频精品| 婷婷大乡焦噜噜| 激情第四色| 综合激情深爱| A网在线欧洲| 色婷亚洲| 五月天激情视频五月天| 99爱最新免费视频在线观看| 99热久久这里只有精品| 5月色婷婷| 欧美日韩日韩成人| 天堂久久久久天堂网| 另类少妇人与禽zOZZ0性伦| 99re久久| 狠狠狠狠狠干| 亚洲成人网站在线观看| www.婷婷五月天| 99视频| 婷婷激情五月天激情小说 | 成人AV播放| 色色99| 伊人综合网站| 丁香五月婷婷啪啪视频| 无遮挡国产高潮视频免费观看| 天堂五月婷婷| 草一草avb| 超碰成人在线观看| 久久五月婷天天干| 东京热五月婷婷| 超碰免费观看| 国产4P视频精品五区| 色黄啪啪| 久草视频一,二三四| 操逼三区| 另类激情五月|