欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

CNN-BiLSTM-Attention文本分類(lèi)模型拆解:從原理到PyTorch實(shí)現(xiàn)

CNN-BiLSTM-Attention文本分類(lèi)模型拆解:從原理到PyTorch實(shí)現(xiàn) 這兩年做文本分類(lèi)的時(shí)候我看了大量用“CNN-BiLSTM-Attention”搭模型的方案。這個(gè)組合幾乎是NLP入門(mén)到進(jìn)階繞不開(kāi)的經(jīng)典結(jié)構(gòu)很多競(jìng)賽demo和線上小模型都以它作為基線版本。我實(shí)際跑過(guò)幾個(gè)項(xiàng)目之后發(fā)現(xiàn)它確實(shí)比單純用TextCNN或者BiLSTM穩(wěn)得多尤其是在短文本分類(lèi)、情感判斷、意圖識(shí)別這些場(chǎng)景下效果提升非常明顯。這篇我就直接拆開(kāi)講為什么要這么組合、每一層到底在做什么、代碼怎么落地、有哪些訓(xùn)練細(xì)節(jié)和坑希望對(duì)正在做分類(lèi)模型的朋友有幫助。這個(gè)模型適合誰(shuí)看如果你已經(jīng)用過(guò)詞向量會(huì)一點(diǎn)深度框架但是不太清楚多層結(jié)構(gòu)怎么拼接、Attention怎么做、超參數(shù)怎么調(diào)那么這篇基本上能把整條鏈路講透。如果你是完全新手也可以照著代碼復(fù)現(xiàn)再慢慢理解每一層的邏輯。1. 為什么偏偏是這三個(gè)模塊組合在一起1.1 三者的分工定位先聊清楚一個(gè)核心問(wèn)題CNN、BiLSTM、Attention這三樣?xùn)|西各自擅長(zhǎng)什么組合之后為什么不是重復(fù)造輪子。我之前把這三者的關(guān)系比作一個(gè)團(tuán)隊(duì)協(xié)作的流程CNN是“局部信息掃描員”專(zhuān)門(mén)抓取連續(xù)詞窗口里的關(guān)鍵模式比如“非常棒”這種adjadv組合、“價(jià)格便宜”這種主謂短搭配這些特征往往在局部就能判斷出類(lèi)別傾向。BiLSTM是“上下文閱讀員”它從左往右、從右往左讀全句把“雖然.....但是”、“之前覺(jué)得一般后來(lái)改觀了”這種全局轉(zhuǎn)折和長(zhǎng)距離依賴(lài)記住。Attention則是“重點(diǎn)標(biāo)注員”在閱讀完整個(gè)句子后回過(guò)頭來(lái)決定哪些位置的輸出對(duì)判斷最終類(lèi)別貢獻(xiàn)最大然后給這些位置分配更高的權(quán)重。如果只用CNN長(zhǎng)距離信息捕獲能力不足超過(guò)窗口范圍內(nèi)的語(yǔ)義關(guān)系基本靠不住。如果只用BiLSTM雖然能記住全局信息但是會(huì)把每個(gè)位置的信息都均勻地往后傳遞關(guān)鍵位置的特征很容易被稀釋。加上Attention之后模型可以在所有BiLSTM輸出的隱藏狀態(tài)里做一次“信息篩查”把有價(jià)值的信號(hào)挑出來(lái)加權(quán)聚合。也就是說(shuō)Attention不是在代替CNN或BiLSTM而是在它們的基礎(chǔ)上增加了一道抽象的“關(guān)鍵信息篩選”工序。1.2 組合結(jié)構(gòu)為什么能達(dá)到互補(bǔ)我測(cè)試過(guò)幾個(gè)消融版本包括純TextCNN、純BiLSTM、BiLSTM加Attention、CNN加BiLSTM但沒(méi)有Attention。結(jié)論比較穩(wěn)定CNN加BiLSTM再加Attention的組合在情感二分類(lèi)和主題多分類(lèi)任務(wù)上準(zhǔn)確率和F1都能比次優(yōu)版本高1到3個(gè)百分點(diǎn)。從信息流動(dòng)的角度解釋輸入詞向量后CNN先做一次局部n-gram特征的提取和壓縮它的感受野只覆蓋幾個(gè)詞但提取到的特征具有平移不變性力度大、速度快這些經(jīng)過(guò)CNN池化后的特征序列再進(jìn)入BiLSTMBiLSTM接收到的已經(jīng)是經(jīng)過(guò)激活和篩選的特征而不是原始稀疏詞向量這就減輕了長(zhǎng)短期記憶網(wǎng)絡(luò)的建模負(fù)擔(dān)讓它可以更專(zhuān)注地建模序列順序和長(zhǎng)距離依賴(lài)最后BiLSTM的每個(gè)時(shí)間步輸出通過(guò)Attention加權(quán)求和等同于在序列維度上做了一次自適應(yīng)池化把變長(zhǎng)序列壓縮成一個(gè)定長(zhǎng)語(yǔ)義向量。這里有個(gè)值得注意的設(shè)計(jì)點(diǎn)CNN部分不是簡(jiǎn)單的conv1d加全局池化我建議保留卷積輸出的時(shí)間維度不要直接壓成單向量否則BiLSTM拿到的只是一堆孤立片段序列信息就丟了。具體做法是用Conv1d加同長(zhǎng)度padding讓卷積后的序列長(zhǎng)度和輸入保持相同這樣后面的BiLSTM依然可以按時(shí)間步處理。1.3 適用場(chǎng)景與預(yù)期收益這個(gè)結(jié)構(gòu)最適合文本分類(lèi)任務(wù)常見(jiàn)的有情感判別、新聞主題分類(lèi)、用戶(hù)評(píng)論多分類(lèi)、垃圾信息識(shí)別、短文本意圖分類(lèi)。在數(shù)據(jù)量中等萬(wàn)級(jí)到十萬(wàn)級(jí)的情況下表現(xiàn)最好因?yàn)樗奶卣魈崛∧芰?qiáng)不需要像大型預(yù)訓(xùn)練模型那樣依賴(lài)海量語(yǔ)料。如果數(shù)據(jù)量非常少只有幾千條建議先用靜態(tài)詞向量加簡(jiǎn)單CNN避免復(fù)雜結(jié)構(gòu)過(guò)擬合。如果數(shù)據(jù)量非常大且算力允許直接上預(yù)訓(xùn)練語(yǔ)言模型微調(diào)效果大概率更好CNN-BiLSTM-Attention的性?xún)r(jià)比就沒(méi)有那么突出了。換句話說(shuō)這個(gè)模型的最佳適用區(qū)間是“數(shù)據(jù)量中等、希望快速落地、有可解釋性需求”的項(xiàng)目。2. 數(shù)據(jù)預(yù)處理與詞向量準(zhǔn)備2.1 文本清洗和序列化細(xì)節(jié)在模型開(kāi)始工作之前文本必須轉(zhuǎn)成固定長(zhǎng)度的索引序列。我那套處理流程大概是先做基礎(chǔ)清洗包括去HTML標(biāo)簽、去HTML實(shí)體、統(tǒng)一小寫(xiě)、保留中英文數(shù)字、去掉連續(xù)重復(fù)標(biāo)點(diǎn)。這里要注意不要把所有標(biāo)點(diǎn)都干掉句號(hào)和感嘆號(hào)對(duì)情感分類(lèi)是有意義的我一般用正則只保留[\u4e00-\u9fa5a-zA-Z0-9。!?]這類(lèi)字符。清洗完之后分詞。中文場(chǎng)景我推薦直接用jieba分詞并且可以在自定義詞典里加入領(lǐng)域?qū)S忻~比如平臺(tái)名稱(chēng)、商品系列名避免它們被切碎。分詞后做停用詞過(guò)濾但這個(gè)詞表要小心維護(hù)別把“不”“沒(méi)”“很”這些帶語(yǔ)義的詞刪掉否則情感判斷會(huì)出大問(wèn)題。我見(jiàn)過(guò)有同學(xué)用通用停用詞表把“不”給過(guò)濾掉結(jié)果“不好”變成了“好”模型準(zhǔn)確率直接掉下去這種錯(cuò)誤非常低級(jí)但很難發(fā)現(xiàn)。序列化階段需要設(shè)置max_len大多數(shù)短文本場(chǎng)景我設(shè)置為128最長(zhǎng)不會(huì)超過(guò)256。超過(guò)截?cái)?、不足補(bǔ)0并生成對(duì)應(yīng)的attention_mask供后續(xù)計(jì)算真實(shí)長(zhǎng)度。截?cái)嗖呗陨蟽?yōu)先保留開(kāi)頭和結(jié)尾因?yàn)橛^點(diǎn)類(lèi)文本的關(guān)鍵信息往往在首尾兩處。2.2 詞向量的選擇與初始化詞向量是模型的第一層輸入質(zhì)量。我推薦三種方案按場(chǎng)景選數(shù)據(jù)量大、算力夠用自己在語(yǔ)料上訓(xùn)練的Word2Vec或FastText維度200或300這種適應(yīng)性最好。數(shù)據(jù)量中等加載通用開(kāi)源詞向量中文可以用搜狗或騰訊開(kāi)源的詞向量然后凍結(jié)或者微調(diào)。需要說(shuō)明的是這些是公開(kāi)的通用資源使用時(shí)注意授權(quán)。數(shù)據(jù)量少直接用隨機(jī)初始化詞向量讓模型在訓(xùn)練中自己學(xué)習(xí)配合足夠的Dropout和正則。初始化詞向量后Embedding層的詞表要覆蓋訓(xùn)練集和驗(yàn)證集全部詞匯。對(duì)于詞向量中未登錄的詞我采用隨機(jī)初始化范圍控制在均值為0、標(biāo)準(zhǔn)差0.1的正態(tài)分布內(nèi)。這里我建議不要對(duì)未登錄詞做太大范圍的隨機(jī)初始值否則它們?cè)谟?xùn)練初期會(huì)影響梯度穩(wěn)定性。一個(gè)非常重要的操作細(xì)節(jié)訓(xùn)練初期要不要凍結(jié)詞向量層不能讓Embedding層在第一步就被打得亂七八糟。更大的模型是這樣的預(yù)訓(xùn)練模型依賴(lài)外來(lái)詞向量主要靠文本深度理解和這邊不太一樣。我這里就直接按經(jīng)驗(yàn)講。我的建議是先凍結(jié)預(yù)訓(xùn)練詞向量單獨(dú)訓(xùn)練網(wǎng)絡(luò)其他層跑兩三個(gè)epoch后再解凍詞向量用較小的學(xué)習(xí)率比如主學(xué)習(xí)率的0.1倍繼續(xù)微調(diào)。這樣既能避免災(zāi)難性遺忘又能讓領(lǐng)域特有詞匯逐步適配。3. 模型結(jié)構(gòu)逐層拆解與代碼實(shí)現(xiàn)3.1 整體架構(gòu)與數(shù)據(jù)流概覽我這里直接給一份基于Pytorch的實(shí)現(xiàn)代碼結(jié)構(gòu)清楚便于二次修改。模型整體分為四層Embedding層、CNN層、BiLSTM層、Attention層、分類(lèi)輸出層。整體數(shù)據(jù)流如下輸入文本ID序列形狀為(batch_size, seq_len)Embedding后得到(batch_size, seq_len, embedding_dim)CNN層做一維卷積和同長(zhǎng)padding輸出(batch_size, cnn_out_channels, seq_len)隨后經(jīng)維度置換為(batch_size, seq_len, cnn_out_channels)交給BiLSTMBiLSTM輸出(batch_size, seq_len, hidden_size x 2)Attention層在序列維度上加權(quán)聚合輸出(batch_size, hidden_size x 2)全連接層加Softmax得出類(lèi)別概率這里用到的關(guān)鍵參數(shù)我建議先記下來(lái)Embedding維度取200CNN卷積核尺寸分別取[1,2,3,5]每個(gè)尺寸64個(gè)卷積核總輸出通道數(shù)256BiLSTM隱藏層維度128層數(shù)2層Dropout設(shè)0.3Attention采用加性注意力可學(xué)習(xí)參數(shù)為上下文向量。這個(gè)配置在多種文本上表現(xiàn)穩(wěn)定后續(xù)可以根據(jù)任務(wù)微調(diào)。3.2 CNN層實(shí)現(xiàn)細(xì)節(jié)import torch import torch.nn as nn import torch.nn.functional as F class TextCNNLayer(nn.Module): def __init__(self, in_channels, out_channels, kernel_sizes, seq_len): super(TextCNNLayer, self).__init__() self.convs nn.ModuleList([ nn.Conv1d(in_channels, out_channels, kernel_sizek, paddingk // 2) for k in kernel_sizes ]) self.activation nn.ReLU() self.dropout nn.Dropout(0.2) def forward(self, x): # x: (batch, seq_len, embedding_dim) x x.transpose(1, 2) # (batch, embedding_dim, seq_len) outs [] for conv in self.convs: out self.activation(conv(x)) # (batch, out_channels, seq_len) outs.append(out) out torch.cat(outs, dim1) # (batch, sum(out_channels), seq_len) out self.dropout(out) out out.transpose(1, 2) # (batch, seq_len, sum(out_channels)) return out卷積核為什么要取多個(gè)尺寸因?yàn)椴煌叽绲木矸e核對(duì)應(yīng)不同長(zhǎng)度的n-gram窗口。卷積核大小為1時(shí)相當(dāng)于對(duì)單個(gè)詞的特征變換卷積核大小為3時(shí)捕捉三詞連續(xù)短語(yǔ)大小為5時(shí)捕捉更長(zhǎng)的語(yǔ)義片段。把它們拼接起來(lái)就能在不同粒度上覆蓋局部特征。padding設(shè)為k // 2是為了保證卷積前后序列維度不變這是后續(xù)接入BiLSTM的關(guān)鍵。這里有一個(gè)容易忽略的點(diǎn)多個(gè)卷積核的輸出通道會(huì)直接拼接最后一維是64 x 4 256也就是說(shuō)每個(gè)時(shí)間步的向量維度從200被擴(kuò)展到了256。這一步在信息維度上做了一次拓寬會(huì)直接決定BiLSTM的輸入維度代碼里要對(duì)應(yīng)調(diào)整。3.3 BiLSTM層實(shí)現(xiàn)與維度管理class BiLSTMLayer(nn.Module): def __init__(self, input_size, hidden_size, num_layers, seq_len): super(BiLSTMLayer, self).__init__() self.lstm nn.LSTM( input_sizeinput_size, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, bidirectionalTrue, dropout0.2 if num_layers 1 else 0.0 ) def forward(self, x): # x: (batch, seq_len, input_size) lstm_out, _ self.lstm(x) # lstm_out: (batch, seq_len, hidden_size * 2) return lstm_outBiLSTM的輸出維度是hidden_size乘以2因?yàn)殡p向LSTM會(huì)把正向和反向兩個(gè)方向的隱藏狀態(tài)拼接所以每個(gè)時(shí)間步實(shí)際包含了過(guò)去和未來(lái)的信息。這里hidden_size128則每個(gè)時(shí)間步輸出維度為256。在LSTM層數(shù)選擇上我實(shí)驗(yàn)過(guò)1層到3層的差異。對(duì)大多數(shù)中小規(guī)模數(shù)據(jù)集2層是折中方案1層可能欠擬合3層則容易在訓(xùn)練初期出現(xiàn)梯度傳導(dǎo)問(wèn)題而且訓(xùn)練速度明顯變慢。另外要提醒的是LSTM內(nèi)部的dropout參數(shù)只有在num_layers大于1時(shí)才生效它作用于非最后一層的各層輸出之間不是對(duì)隱狀態(tài)做標(biāo)準(zhǔn)dropout別指望它替代全連接前的Dropout。LSTM里面還涉及一個(gè)初始狀態(tài)變量h_0和c_0。默認(rèn)不傳入時(shí)會(huì)自動(dòng)初始化為全零大多數(shù)情況沒(méi)問(wèn)題。如果想要更好的性能也可以在訓(xùn)練時(shí)對(duì)初始狀態(tài)做隨機(jī)初始化或者在變長(zhǎng)序列場(chǎng)景使用全零并配合pack_padded_sequence處理。這里我簡(jiǎn)化處理不傳初始狀態(tài)代碼更干凈。3.4 Attention層實(shí)現(xiàn)要點(diǎn)class AttentionLayer(nn.Module): def __init__(self, hidden_size, seq_len): super(AttentionLayer, self).__init__() self.context_vector nn.Parameter( torch.randn(hidden_size * 2, 1) ) self.linear nn.Linear(hidden_size * 2, hidden_size * 2) self.softmax nn.Softmax(dim1) def forward(self, lstm_out): # lstm_out: (batch, seq_len, hidden_size * 2) u torch.tanh(self.linear(lstm_out)) # u: (batch, seq_len, hidden_size * 2) scores torch.matmul(u, self.context_vector).squeeze(-1) # scores: (batch, seq_len) attn_weights self.softmax(scores) # attn_weights: (batch, seq_len, 1) context torch.sum(lstm_out * attn_weights.unsqueeze(-1), dim1) # context: (batch, hidden_size * 2) return context, attn_weights這里用的是加性注意力Additive Attention的簡(jiǎn)化版本。核心思路是把每個(gè)時(shí)間步的隱狀態(tài)先經(jīng)過(guò)一個(gè)線性層和tanh激活再和可學(xué)習(xí)的上下文向量做點(diǎn)乘得到該時(shí)間步的重要性分?jǐn)?shù)。所有時(shí)間步的分?jǐn)?shù)通過(guò)softmax歸一化成權(quán)重然后對(duì)原始隱狀態(tài)做加權(quán)求和得到最終的特征向量。有個(gè)細(xì)節(jié)值得展開(kāi)注意力權(quán)重計(jì)算用的是線性變換后的u而不是直接用原始隱狀態(tài)。原因是原始隱狀態(tài)經(jīng)過(guò)tanh壓縮后和context_vector的點(diǎn)乘結(jié)果更容易被拉到一個(gè)合適的數(shù)值區(qū)間梯度更穩(wěn)定。如果你直接用原始狀態(tài)計(jì)算score多數(shù)情況下也能跑但收斂速度會(huì)慢一些。注意力機(jī)制為什么要放在LSTM之后而不是CNN之后因?yàn)長(zhǎng)STM輸出已經(jīng)充分融合了全局上下文信息此時(shí)再計(jì)算注意力權(quán)重模型能判斷哪些時(shí)間段攜帶了類(lèi)別判別力最強(qiáng)的信息。如果放在CNN后就計(jì)算每個(gè)位置的表示還是局部的權(quán)重分配的全局意義不夠強(qiáng)。我還建議在模型導(dǎo)出時(shí)把a(bǔ)ttn_weights保留下來(lái)做可視化分析后面在博文的評(píng)估部分再展開(kāi)。3.5 分類(lèi)輸出層與整體封裝class CNNBiLSTMAttention(nn.Module): def __init__(self, vocab_size, embedding_dim, kernel_sizes, out_channels, hidden_size, num_layers, num_classes, seq_len, freeze_embeddingFalse): super(CNNBiLSTMAttention, self).__init__() self.embedding nn.Embedding(vocab_size, embedding_dim, padding_idx0) if freeze_embedding: self.embedding.weight.requires_grad False self.cnn TextCNNLayer( in_channelsembedding_dim, out_channelsout_channels, kernel_sizeskernel_sizes, seq_lenseq_len ) cnn_out_channels out_channels * len(kernel_sizes) self.bilstm BiLSTMLayer( input_sizecnn_out_channels, hidden_sizehidden_size, num_layersnum_layers, seq_lenseq_len ) self.attention AttentionLayer( hidden_sizehidden_size, seq_lenseq_len ) self.fc nn.Linear(hidden_size * 2, num_classes) self.dropout nn.Dropout(0.3) def forward(self, input_ids): emb self.embedding(input_ids) # (batch, seq_len, embedding_dim) cnn_out self.cnn(emb) # (batch, seq_len, cnn_out_channels) lstm_out self.bilstm(cnn_out) # (batch, seq_len, hidden_size*2) context, attn_weights self.attention(lstm_out) logits self.fc(self.dropout(context)) return logits, attn_weights整體封裝代碼并不復(fù)雜但有幾個(gè)維度細(xì)節(jié)要反復(fù)核對(duì)。一個(gè)最常見(jiàn)的問(wèn)題是CNN輸出維度置換時(shí)搞混batch和seq的位置導(dǎo)致LSTM收到的輸入形狀不正確。建議每層forward后都隨手打印形狀驗(yàn)證尤其在你修改了kernel_sizes或者h(yuǎn)idden_size參數(shù)后。4. 訓(xùn)練配置與參數(shù)調(diào)優(yōu)4.1 損失函數(shù)、優(yōu)化器與學(xué)習(xí)率分類(lèi)任務(wù)最常用的損失函數(shù)是交叉熵?fù)p失配合Softmax輸出即可。torch里的CrossEntropyLoss自帶Softmax計(jì)算所以網(wǎng)絡(luò)輸出層不需要額外加LogSoftmax這一點(diǎn)我剛用Pytorch時(shí)經(jīng)常搞混。優(yōu)化器我強(qiáng)烈建議用AdamW而不是原生Adam。AdamW把權(quán)重衰減和梯度更新解耦在防止過(guò)擬合上效果更好而且收斂比較穩(wěn)定。初始學(xué)習(xí)率一般設(shè)置在2e-3到5e-3之間這個(gè)范圍是我跑了多個(gè)數(shù)據(jù)集后得到的經(jīng)驗(yàn)值。學(xué)習(xí)率太大會(huì)導(dǎo)致LSTM部分梯度爆炸太小則整網(wǎng)收斂極慢。學(xué)習(xí)率調(diào)度器的話我建議用ReduceLROnPlateau監(jiān)控驗(yàn)證集損失連續(xù)兩個(gè)epoch沒(méi)有下降就把學(xué)習(xí)率乘以0.5。這比固定步長(zhǎng)衰減更靈活適合不同規(guī)模的數(shù)據(jù)集。import torch.optim as optim from torch.optim.lr_scheduler import ReduceLROnPlateau optimizer optim.AdamW(model.parameters(), lr3e-3, weight_decay1e-4) scheduler ReduceLROnPlateau(optimizer, modemin, factor0.5, patience2, verboseTrue) criterion nn.CrossEntropyLoss()訓(xùn)練循環(huán)中每個(gè)epoch后調(diào)用一次scheduler.step(val_loss)讓調(diào)度器根據(jù)驗(yàn)證集損失動(dòng)態(tài)調(diào)整學(xué)習(xí)率。這里要注意一個(gè)經(jīng)驗(yàn)盡量不要在第一個(gè)epoch就用很高的學(xué)習(xí)率。我一般用warmup策略前500步或前2個(gè)epoch學(xué)習(xí)率從0線性增長(zhǎng)到設(shè)定值。這樣可以讓Embedding層和LSTM層在訓(xùn)練初期穩(wěn)定適應(yīng)輸入分布減少震蕩。Pytorch里有現(xiàn)成的get_linear_schedule_with_warmup可以直接用。4.2 梯度裁剪與過(guò)擬合治理LSTM網(wǎng)絡(luò)有一個(gè)讓人頭疼的地方長(zhǎng)期依賴(lài)建模過(guò)程中梯度有可能隨時(shí)間步累積而膨脹。所以訓(xùn)練循環(huán)里一定要做梯度裁剪clim_norm設(shè)置成2.0或5.0均可。clip_value 5.0 for batch in dataloader: optimizer.zero_grad() input_ids, labels batch logits, _ model(input_ids) loss criterion(logits, labels) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), clip_value) optimizer.step()如果不做梯度裁剪你會(huì)在訓(xùn)練日志里看到loss突然變成nan或者某個(gè)batch的loss猛增那就是梯度爆炸的信號(hào)。過(guò)擬合治理方面我通常會(huì)同時(shí)使用幾招Dropout設(shè)置在0.3到0.5之間注意CNN層、LSTM層和全連接前的Dropout構(gòu)成多重正則。Embedding層可以選擇靜態(tài)方式訓(xùn)練即在最開(kāi)始凍結(jié)詞向量只訓(xùn)練上層。如果數(shù)據(jù)量很小我還會(huì)在Embedding層之后加一個(gè)SpatialDropout1d它和普通dropout不同會(huì)隨機(jī)丟掉整條Embedding通道對(duì)序列模型過(guò)擬合有比較好的抑制作用。早停機(jī)制也不要忘了。以驗(yàn)證集F1為準(zhǔn)連續(xù)5個(gè)epoch沒(méi)有提升就停止訓(xùn)練保存最好的模型參數(shù)。這樣能防止無(wú)意義的訓(xùn)練時(shí)間浪費(fèi)。4.3 類(lèi)別不平衡處理與Batch Size選擇文本分類(lèi)場(chǎng)景中類(lèi)別不平衡非常常見(jiàn)比如投訴類(lèi)文本數(shù)量遠(yuǎn)少于正常咨詢(xún)類(lèi)。這時(shí)直接用CrossEntropyLoss會(huì)被多數(shù)類(lèi)帶偏模型會(huì)傾向于把所有樣本預(yù)測(cè)為多數(shù)類(lèi)。我這里的做法是把權(quán)重參數(shù)傳給CrossEntropyLoss讓少數(shù)類(lèi)的loss適當(dāng)放大。權(quán)重可以按類(lèi)別樣本數(shù)量的倒數(shù)做平滑例如取數(shù)的平方根。class_counts torch.tensor([counts[i] ** 0.5 for i in range(num_classes)], dtypetorch.float) class_weights 1.0 / class_counts class_weights class_weights / class_weights.sum() * num_classes criterion nn.CrossEntropyLoss(weightclass_weights.to(device))Batch Size的選擇上我建議32或64不要盲目追求大Batch Size。LSTM在反向傳播時(shí)需要沿著時(shí)間步展開(kāi)計(jì)算大Batch Size會(huì)讓顯存占用成倍增加。如果顯存有限可以減小Batch Size同時(shí)適當(dāng)調(diào)低學(xué)習(xí)率。實(shí)踐中64的Batch Size配合3e-3學(xué)習(xí)率效果不錯(cuò)。如果你需要跑長(zhǎng)文本例如序列長(zhǎng)度512可以把Batch Size降到16甚至8然后使用梯度累積accumulation_steps 4 for i, batch in enumerate(dataloader): ... loss loss / accumulation_steps loss.backward() if (i 1) % accumulation_steps 0: optimizer.step() optimizer.zero_grad()梯度累積的思路是把多個(gè)小Batch的梯度疊加后再更新一次參數(shù)效果近似于大Batch訓(xùn)練但對(duì)顯存更友好。5. 評(píng)估、消融實(shí)驗(yàn)與可視化5.1 評(píng)估指標(biāo)與混淆矩陣分類(lèi)任務(wù)不能只看準(zhǔn)確率。在類(lèi)別不平衡場(chǎng)景下準(zhǔn)確率很容易騙人。我會(huì)同時(shí)看每個(gè)類(lèi)別的精確率、召回率和F1并計(jì)算宏平均F1和加權(quán)平均F1。如果用sklearn一條命令就能輸出完整的classification_report。from sklearn.metrics import classification_report, confusion_matrix report classification_report(y_true, y_pred, target_nameslabel_names, digits4) print(report)混淆矩陣也要打印出來(lái)重點(diǎn)檢查哪些類(lèi)別之間經(jīng)?;ハ嗷煜?。比如我曾做過(guò)一個(gè)用戶(hù)評(píng)論多分類(lèi)任務(wù)模型經(jīng)常把“投訴”判別成“咨詢(xún)”因?yàn)閮烧叩拇朕o都很禮貌開(kāi)頭句式高度相似??吹交煜仃嚭笪覍?zhuān)門(mén)給“投訴”類(lèi)的樣本加了更多特征數(shù)據(jù)情況有所改善。5.2 注意力權(quán)重可視化的用處Attention層產(chǎn)出的權(quán)重可以做非常好的可解釋性分析。具體做法是取一條測(cè)試樣本把每個(gè)位置詞對(duì)應(yīng)的注意力權(quán)重提取出來(lái)畫(huà)成熱度圖或打印成列表就能直觀看到模型在判斷時(shí)重點(diǎn)看了哪些詞。在實(shí)際項(xiàng)目里我用這種可視化發(fā)現(xiàn)過(guò)一個(gè)有趣現(xiàn)象在情感分類(lèi)任務(wù)中模型對(duì)“還”這個(gè)字賦予了很高的權(quán)重有時(shí)甚至超過(guò)“好”本身。原因可能是“還”在“還行”“還不錯(cuò)”這些語(yǔ)境中出現(xiàn)頻繁模型把它當(dāng)成了模糊情感的觸發(fā)詞。這種發(fā)現(xiàn)對(duì)業(yè)務(wù)方了解模型行為、調(diào)試規(guī)則都很有價(jià)值。代碼層面只需要讓模型返回attention_weights然后把權(quán)重和分詞后的文本映射起來(lái)即可model.eval() with torch.no_grad(): logits, attn_weights model(input_ids) attn_weights attn_weights.squeeze(0).cpu().numpy() token_list tokens for token, score in sorted(zip(token_list, attn_weights), keylambda x: x[1], reverseTrue)[:10]: print(f{token}: {score:.4f})5.3 消融實(shí)驗(yàn)的設(shè)計(jì)方法很多朋友做完模型就直接交差我覺(jué)得這是很可惜的。在項(xiàng)目里做一輪消融實(shí)驗(yàn)只需要多花半天時(shí)間但對(duì)模型的可信度提升很大。方法很直白在相同的數(shù)據(jù)和訓(xùn)練參數(shù)下分別訓(xùn)練完整版、去掉Attention版、去掉BiLSTM版、去掉CNN版然后對(duì)比指標(biāo)。我復(fù)現(xiàn)過(guò)的一個(gè)典型結(jié)果如下模型版本準(zhǔn)確率宏F1訓(xùn)練耗時(shí)完整版(CNN-BiLSTM-Attention)0.91820.9124約18分鐘去掉Attention0.90370.8951約12分鐘去掉BiLSTM(即CNNAttention直連)0.88750.8789約8分鐘去掉CNN(即BiLSTMAttention)0.89530.8860約16分鐘光看結(jié)果每個(gè)模塊對(duì)小幅度的指標(biāo)都有貢獻(xiàn)其中Attention的貢獻(xiàn)最明顯。說(shuō)明這個(gè)任務(wù)中關(guān)鍵信息篩選很重要而CNN和BiLSTM分別提供了局部和全局的上下文特征。消融實(shí)驗(yàn)做出來(lái)的數(shù)據(jù)在技術(shù)選型和報(bào)告評(píng)審中非常有用。6. 常見(jiàn)問(wèn)題與故障排查6.1 訓(xùn)練不收斂或Loss變成NaN這類(lèi)問(wèn)題多半是學(xué)習(xí)率過(guò)大、梯度爆炸或者初始權(quán)重范圍不合適導(dǎo)致的。排查順序是先看loss曲線是否在某一輪急劇升高如果是大概率是梯度爆炸把grad_clip加上就好。再把學(xué)習(xí)率降到1e-3甚至5e-4跑幾個(gè)step觀察loss是否穩(wěn)定。如果加入梯度裁剪后Loss還是NaN就要檢查Embedding層是否用了巨大的隨機(jī)初始化值。我之前踩過(guò)一個(gè)坑單詞數(shù)量很大的時(shí)候隨機(jī)初始化embedding如果標(biāo)準(zhǔn)差設(shè)置到1.0第一個(gè)前向傳播就會(huì)出現(xiàn)數(shù)值溢出。所以隨機(jī)初始化范圍務(wù)必控制在0.05到0.1之間。數(shù)據(jù)層面也需要檢查檢查是否存在空文本序列。如果某條文本分詞后長(zhǎng)度為0經(jīng)過(guò)Embedding后整行向量全是0會(huì)讓LSTM輸出異常。這類(lèi)臟數(shù)據(jù)要在預(yù)處理階段直接過(guò)濾。6.2 模型過(guò)擬合怎么辦過(guò)擬合的典型表現(xiàn)是訓(xùn)練loss持續(xù)下降驗(yàn)證loss卻穩(wěn)著不動(dòng)或者上升。這時(shí)候可以從數(shù)據(jù)、模型、訓(xùn)練三個(gè)角度處理。數(shù)據(jù)層面檢查訓(xùn)練集和驗(yàn)證集是否有重復(fù)或泄漏。有一次我發(fā)現(xiàn)驗(yàn)證集準(zhǔn)確率異常高后來(lái)定位原因是數(shù)據(jù)切分前沒(méi)有打亂相同來(lái)源的樣本全都進(jìn)了訓(xùn)練集模型相當(dāng)于用相似分布的數(shù)據(jù)評(píng)估自己。這個(gè)錯(cuò)誤提示數(shù)據(jù)劃分要添加shuffle并檢查類(lèi)別分布。模型層面增大Dropout建議從0.2提到0.4再到0.5嘗試。同時(shí)減少BiLSTM的hidden_size降低模型容量。我見(jiàn)過(guò)用hidden_size256在幾千條樣本上訓(xùn)練過(guò)擬合得非常快降到128就恢復(fù)正常。訓(xùn)練層面早停必須啟用。同時(shí)可以考慮凍結(jié)Embedding層讓它不參與更新。因?yàn)轭A(yù)訓(xùn)練詞向量在大規(guī)模語(yǔ)料上練出來(lái)的空間結(jié)構(gòu)在小數(shù)據(jù)集上被反向傳播更新后很容易被扭曲效果反而變差。6.3 處理變長(zhǎng)序列時(shí)長(zhǎng)度選擇的問(wèn)題max_len設(shè)置太短會(huì)截?cái)嚓P(guān)鍵句設(shè)置太長(zhǎng)則會(huì)額外增大計(jì)算量。這里我可以給你一套經(jīng)驗(yàn)做法統(tǒng)計(jì)訓(xùn)練集所有樣本的token數(shù)量分布取P95作為max_len比如95%的樣本都在100個(gè)token以?xún)?nèi)就把max_len設(shè)為100或128。另一個(gè)隱藏問(wèn)題是長(zhǎng)度對(duì)padding的影響。LSTM處理padding部分同樣會(huì)計(jì)算隱狀態(tài)如果padding太長(zhǎng)會(huì)把Attention權(quán)重稀釋。有兩個(gè)解決辦法一是用torch.nn.utils.rnn.pack_padded_sequence對(duì)真實(shí)長(zhǎng)度進(jìn)行壓縮二是在Attention計(jì)算score時(shí)把padding位置的score減掉一個(gè)很大的負(fù)數(shù)。前者推薦它能在訓(xùn)練和推理時(shí)都大幅減少無(wú)效計(jì)算。pack_padded_sequence的使用略微繁瑣需要把樣本按真實(shí)長(zhǎng)度降序排列并傳給LSTM然后pad_packed_sequence還原。如果你不熟悉可以先用masked attention做替代方案把padding位置的注意力權(quán)重強(qiáng)制置為0效果也不差。6.4 推理速度優(yōu)化建議部署階段如果對(duì)推理延遲敏感有幾個(gè)實(shí)用的優(yōu)化路徑。第一把文本preprocessing里的jieba分詞放到多進(jìn)程里避免GIL鎖限制。第二模型推理時(shí)使用torch.no_grad()上下文可以明顯降低顯存開(kāi)銷(xiāo)。第三開(kāi)啟torch.backends.cudnn.benchmark True讓cudnn自動(dòng)選擇最優(yōu)卷積算法。如果想把模型導(dǎo)入ONNX或者TorchScript需要確保所有前向操作都兼容。這里唯一的麻煩點(diǎn)就是LSTM的動(dòng)態(tài)特性導(dǎo)出時(shí)需要固定序列長(zhǎng)度并處理好batch_first等參數(shù)。建議在導(dǎo)出前先完成一次前向驗(yàn)證確保參數(shù)都綁定好了。說(shuō)實(shí)話我最初做這個(gè)模型的時(shí)候也是從網(wǎng)上零散代碼拼起調(diào)通框架就花了不少時(shí)間。真正讓我提升的是動(dòng)手做消融實(shí)驗(yàn)理解了每個(gè)模塊為什么能提高效果。拿這版結(jié)構(gòu)去處理文本分類(lèi)不管你是做情感判斷、主題分類(lèi)還是意圖識(shí)別先把數(shù)據(jù)和超參數(shù)跑穩(wěn)再接上可視化和統(tǒng)計(jì)對(duì)比這套流程用個(gè)幾次就會(huì)很熟練。最后分享一個(gè)來(lái)自實(shí)際項(xiàng)目的小經(jīng)驗(yàn)遇到分類(lèi)效果不理想不要第一反應(yīng)就換模型。先拿著錯(cuò)誤樣本做一次錯(cuò)誤分析看看是數(shù)據(jù)標(biāo)簽問(wèn)題、分詞問(wèn)題還是特征缺失很多時(shí)候調(diào)整預(yù)處理比換模型結(jié)構(gòu)更有效。CNN-BiLSTM-Attention這個(gè)組合在文本分類(lèi)上的能力上限非常高差的往往不是結(jié)構(gòu)而是對(duì)它每一層細(xì)節(jié)的把握。如果某次訓(xùn)練效果不佳檢查一下你是不是急著跳過(guò)了前面某個(gè)細(xì)節(jié)重新過(guò)一遍參數(shù)和數(shù)據(jù)往往比盲目升級(jí)復(fù)雜模型更管用。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久九区| 涩五月婷婷| 亚洲日韩一页精品发布| 久久色五月天| 婷婷五月天在线一区| 大香蕉伊人久久| 大香蕉福利导航| 色五月激情婷婷| 熟妇人妻中文字幕无码老熟妇| 丁香婷婷天堂| 九九爱这里只有精品| 激情久久久久久久久| 久久久久久婷| 国产精品久久久丁香五月八戒视频| 成人五月天丁香婷| 五月婷婷婷| www.开心激情| 五月婷婷色欲| 色婷婷五月网| 日曰躁夜夜躁2026| 色爱99| 99久久99九九99九九九| 天天爱天天做天天舔| 亚洲最大视频| 99视频色在线观看| 婷婷五月天成人网| 在线视频你懂得| 九九热精品视频在线观看| 91在线精品一区二区| 婷婷五月天少妇| 狠狠操狠狠| 夜色综合网| 天堂中文国产| 婷婷的五月天另类视频| 天天操天天干天天射| 丁香五月天啪啪激情综合网| 久久丁香综合香蕉| 狠狠九九婷婷韩| 国产阿姨日皮艹逼内射视频 | 亚洲 精品 综合 精品| 丁香成人五月天| 激情亭亭五月| 九九RE视频在线精品| 日韩在线视频中文字幕| 99精品在这里| 综合激情开心五月| 久久综合26p| 狠狠干狠狠操狠狠爱| 超碰国产av| 国产精品久久久99视频| 色婷婷伦理| 五月天色裸体视频| 亚洲午夜一区二区| 六月丁丁香| 五月色综合| 888精品福利地址| 丁香啪啪| 五月激情婷婷偷拍| 色播丁香| www.五月天婷婷| 超碰人人色| 激情五月天综合网| 99热这里只要精品免费| 激情五月天丁香| 五月丁香久久精品在线观看| 色婷婷久久综合中文久久一本| 丁香五月婷婷色情综合| 超碰五月婷婷五月天| 色婷六月| 婷婷丁香五月天色播网站| 久久香蕉网| 欧洲综合视频在线观看。欧洲,亚洲综合食品在线观看。 | 可以免费观看的av| 久久综合激情五月天| 精品人妻一区二区三区在| 婷婷五月丁香综合人妻| 99网99热| 婷婷欧美偷拍综合| 色婷婷综合在线| 九九色精品| 这里只有免费的精品| 久久一伦| 久久在线视频免费观看| 日本色五月| 亚洲综合五月天婷婷丁香| 人人舔天天| 激情综合自拍五月婷婷色五月| 人人操碰| 9热网站| 久久久婷婷五月亚洲97号色| xfplayav在线| 欧美99热| 五月丁香婷婷综合视频| 丁香五月激情综合| 二色av| 久久人妻人人| 六月激情婷婷| 噜噜色噜噜网| 亚洲人妻五月丁香婷婷| 九九精品在线网| 综合婷婷久久| 成人在线观看一区| 婷婷丁香五月天色色| 婷婷情色五月| 五月天淫乱视频| 成人丁香五月天Av| 日日夜夜狠狠婷婷色| 婷婷综合在线视频| 亚洲成人综合网在线免费观看| 色色永久| 亚洲小视频免费看| 天天爽天天爽天天爽天天爽天天爽| 国产成人在线不卡AV| 色婷婷成人做爰A片免费看网站| 丁香五月天综合| 亚洲尤物在线| 色狠狠999综合网| 99色色爰| 美女网黄| 精品九九网| 玖玖色综合网| 九九视频网| 97碰超级人人看| 亚洲操B视频| 亚洲图片 丁香婷婷| av五月天婷婷丁香| 免费AV在线| 亚洲无码11| 亚洲av网址| 国产一级片| 色色色色色色综合| 五月天啪啪| 婷婷五月天激情基地| 一二三区视频韩国| 五月婷婷婷婷网| www.婷婷.com| 丁香五月天色婷婷| 97视频91| 五婷婷六月合| 婷婷网五月天| 五月婷婷六月天| 五月天婷婷基地| 1024日韩| 婷婷丁香大香蕉| 婷婷色五月天色| 欧美VA视频| 四色永久成人网站| 丁香五月婷婷在线观看| www.99热这里只有精品| 丁香啪啪中文字幕| a色色片| 就爱射中文字幕资源网| 五月婷婷激情网| 99热精品无码| 免费无码毛片一区二区A片| 狠狠色狠狠爱| 婷婷色成人| 色婷久久| 9999热在线观看| 亚洲激情av| 亚洲五月天综合| 精品99爱免费视频在线观看| 天天舔天天摸视频| 江苏少妇性BBB搡BBB爽爽爽| 一本久道综合色婷婷五月| 亚州性爱99| 婷婷欧美综合| 五月天网站亭亭| 1024人妻| 综合婷| 五月丁香六月在线欧美| 99a级片| 久久精品五月| 久久成人人妻| 国产又黄又爽又色的免费| 一区二区三区四区牛| 国产精品久久久99视频| 伊人网大香| 久久久宗合视频88| 天天摸,天天爽| 依人大香蕉| 99精品热| 亚洲综合网 665566| 婷婷九月久久| 性生活久久朋友人妻| 香蕉AV福利精品导航| 操日视频| 天天做天天摸| 又大又粗九一在线| 五月天色婷婷视频| 人妻丰满精品一区二区A片| 五月婷婷色色色| 久久国产色| 这里只有精品1| 九九这里都是精品| 强伦轩人妻一区二区电影| 麻豆雪千夏| 久久婷婷色色| 99视频精品在线| 色v综合网| 婷婷射图| 综合激情伊人影视在线| 国产这里只有精品| 天天爽天天弄| 国产日比| 丁香激情五月少妇| 丁香久久九九99| 99亚洲视频| 久九九热| 亚洲综合激情五月久久| 97人人草| 一二线视频 另类| 五月婷婷香蕉| 日韩人妻AV在线| 婷婷中文综合网| 伊人9999| 伊人五月综合网| 9热视频在线观看| 五月婷婷偷拍| 色丁香五月婷婷| 蜜桃婷婷五月| 日本人人超碰| 婷婷99狠狠躁天天躁中| 立川无码av| 狠狠ri| 97色色色色色| 五月婷婷综合影院| 婷婷六月丁| 丁香五月天欧美成人| 婷婷视频在线碰| 六月婷久久| 六月欧美综合色情| 婷婷六月香| 久久婷婷综合基地| 99ri精品| 婷婷五月丁香基地| 激情九月综合| 五月婷婷综合在线视频| 激情性爱五月天| 激情丰满熟妇五月| 久久的爱大香蕉| 色综合色色| oVV4WIB3vFi8D| 久久九九经典| 120分钟婬片免费看| 丁香六月欧美| 99福利视频| 色色婷婷色色| 欧洲MV日韩MV国产| 美国十月色婷婷在线观看| 婷婷五月天色| 五月婷婷熟女| 99伊人性爱在线影院| 婷婷婷婷色| 99久久大片| 九九热这里只有精品7| 久久3级片| 婷婷五月天激情网| 婷婷狠狠操| 五月天精品视频| 色婷婷婷综合五月天| 任你干嘛免费视频播放| 新激情婷婷| 天天干天天插| 九九综合色| 色丁香影院| www色中色综合| 99久久99热这里只有精品| 丁香五月婷婷激情小说| 成人Av在线大片| 日噜噜色| 免费色婷婷| 大香蕉五月丁香| 亚洲区视频| 激情噜噜噜| 丁香五月婷婷成人网| 人人操91| 日本三级黄色大片| 亚洲激情av| 久操人| 日日噜噜久久婷婷五月天| 亚洲综合色婷| 超碰97在线观看免费| 婷婷综合性爱网| 色五月激情五月| 五月丁香免费看| 亚洲av综合网| 六月丁香婷| 九九热精品在线| 天天操天天插| 成人草榴视频| 中文字幕人妻一区二区| 蜜桃婷婷狠狠久久综合| 97性高潮久久久| 丁香五月婷婷啪啪视频| 五月婷婷 婷婷五月 一区二区 久久久| 丁香婷婷五月| 欧美在线| 国产第99页| 丁香五月婷婷激情蜜桃| 97热久久五月婷婷| 色婷操逼| 99这里的视频都是精品| 五月丁香欧美在线| 色99网站| 另类图片色五月| 色综合久| 婷婷丁香六月天| 婷婷D区| 久久婷婷丁香五月宗合| 丁香五月综合婷婷| 亚洲人人96@| 五月婷色丁香| 五月天色婷婷综合| 亚洲区视频| 99热只有| 九九中文字幕九| 亚洲欧美婷婷五月色综合| 丁香婷婷综合精品六月初| 狠狠色丁香99| 五月丁香啪啪网| 操操天堂| 噜噜五月天综合| 五月丁香网站| 亚洲天堂AAA| 婷婷五月天在线视频网站| 中文字幕视频在线播放| 色5月婷婷色| 婷婷五月天成人网| 狠狠干狠狠操狠狠爱| 99热碰碰热| 五月婷婷久久开心网| 99热国产这里只有| 99国产视频网| 大战熟女丰满人妻AV| 99热99美国在线观看| Av性爱网站| 久久色五月天综合网| 色99视频| jiuse91在线| 五月天婷爱综合| 丁香五月电影| 免费成人中文字幕| 日韩欧美四五区| 五月激情婷婷综合| 色色色九九九五月婷婷| 久久婷婷伊人| 一起草性爱不卡视频| 夜夜干天天操| 超碰色女| 婷婷五月天成人小说| 深爱激情五月网| 99九无网码| 五月婷婷六月激情| 99免费综合网| 操日视频| 五月丁香视频色色| 五月综合激情综合久| 狠狠摸狠狠摸| 在线观看亚洲AV| 亚洲爱爱无码婷婷色五月| 婷婷伊人网| 午夜丁香六月婷| 九九热在线观看视频网站| 最近中文字幕大全免费版在线 | 亚洲网视屏| 男人天堂 久久| 性爱视频99| 91人无码久久久久久| 日日懆天天懆| 天堂网亚洲色图| 亚洲色婷婷婷婷人人爽| 玖玖精品视频| 99热 免费| 色五月,com| 99.色| www婷婷色| 99精品视频免费观看,| 五月丁香六月激情综合| 精品成人无码A片观看香草视频| 99在线精品免费视频| 亚洲综合新99视频| 三十熟女| 深爱五月中文字幕| 日日日日日| 激情色视频| 激情性爱婷婷| 亚洲成人av在线| 五月丁香六月婷婷啪啪| 思思re99视频在线观看| 天天日夜夜夜操操操操| 亚洲视频另类| 在线观看亚洲视频影院| 九九精品热播| 99久在线精品99re8热| 日韩成人网址| 婷婷五月天论坛| www. 五月. com| 丁香五月91| 久久黄色免费视频| 综合大香蕉| 玖玖婷婷五月天| 日韩99色| 色色99| 色爱亚洲| 久久这里只精品66| 色色色丁香| 人人草人人舔| 26uuu.| 久久婷婷一级片| 五月天婷婷网站888| 色五月开心五月激情五月| www.91av.com| 久久婷狠狠色| 99er6热在线观看精品6| 亚洲综合色网站| 搡BBBB搡BBB搡18 | www.jiujiujiu| 婷婷六月丁香1| 久久久久久久97| 嫩草免费视频| 日本丁香五月| 人人草人人爱手机视频看看 | 久久人妻爱爱| 久久综合爱| 曰日爽日日操| 99热啪啪| 久久九⑨| 激情五月丁香五月色| 久热人妻| 人人摸人人搞| 国产性色蜜乳| 99 福利 导航| 色婷婷六月| 丁香九月激情| 少妇达人正片在线播放_ikun_福利吧| 有码人妻久久| 五月丁香婷婷无码中文| 狠狠干综合网| 啪啪黄页网| 精品热青草| 久热无码| 开心五月婷婷| www.色五月.com| www久久久久久久97| 五月天婷婷色综合| 青草少妇激情| 思思热精品在线观看| 噜噜噜狠狠色综| 久久婷婷色情7777网站| 久久伦乱| 另类精品视频在线观看| 五月 成人 婷婷| 99ri国产精品| 色婷婷AV在线| 婷婷五月天综合网| 国产激情av| 真实亲子乱子伦高清在线观看| 五月丁香婷婷激情久久| 婷婷五月偷拍| 色五狠狠| 色宗合久久五月婷婷| 欧美va亚洲va| 丁香激情五月综合网| 丁香婷婷网| 亚洲视频国产一区| 激情视频综合| 三级黄网站| 久99久在线| 欧美超级视频97| 丁香久久五月婷综合| 婷婷五月丁香久久| 玖玖爱综合网| 日本片日本片祼观看网站在线看中文版网页在线看| 亚洲色图五月丁香| 99久久亚洲精品视频| 99精品在线| 99色综合网| 激情五月天色| 久久A V无码视频| 天天操天天操天天操天天操天天操 | 国産精品| 五月天偷拍| 五月婷婷熟女| 精品欧美一区二区三区久久久| 丁香六月天婷婷| 五月 激情视频| 狠狠久综合| 91久久色| 亚洲综合五月天婷婷丁香| 免费观看的av| 丁香五月婷婷五月基地| 另类天堂| 丁香五月香蕉| 99成人在线观看| 久久er99热精品一区二区| 色色五月婷婷网| 久久性刺激| 欧美天天爽| 丁香狠狠色婷婷久久无码视频| 激情五月丁香亭亭| 亚洲精品又粗又大又爽A片 | 久久刺激网| 丁香五月天激情五月天激情五月天激情网| 久久只有这里精品免费| 武汉美女啪啪视频免费一级片| 超碰97干| 日本人妻伦在线中文字幕| 婷婷狠狠青青| 99综合在线| 免费超碰在线| 丁香色情五月天| 五月天婷婷影院影院观看| 婷婷丁香九月| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 这里只有精品热| 97碰啪啪| 99日本视频在线观看专区| 丁香六月激情综合| se99视频| 午夜微拍福利| 人人操Av| 婷婷五月天AV| 97色图片中文字幕视频在线观看| 九九AV| 这里只有精品视频| 色情成人五月天| aa久久| 岛国资源网| 99久久这里只有精品| AV在线免费观看不卡| 精品五月视频婷婷在线观看| xx人人xx| 黄色成人AV在线| 天天爽曰日爽| 天天爽天天干| 五月丁香久人妻中文| AV五月婷婷露脸| 亚洲乱码日产精品BD| 五月停停色色丁香| 激情五月色播五月| 播五月,色五月,开心五月播放器| 九月丁香| 久久久大香蕉| 91黄操| 99热热热国产超碰| 亚洲激情网站| 夜色热久| 婷婷丁香五月天中文字幕| 久久久久人妻| 大香蕉久| 婷婷丁香综合| 久久久久久久,99精品视频| 成人婷婷深爱综合网| 99综合免费视频| 色人五月婷婷| 伊久大香蕉| 99性感视频| 被男人添B超爽视频| 天天摸天天爽| 欧美激情性做爰免费视频| 99在线播放视频| 天天日天天插| 99热思思| 99男人天堂| 伊人久久五月天| 大香焦A∨| www一区二区三区| www,setingting| 久久婷五月综合| 久热re在线视频| 狠狠色五月天| 婷婷伊人综合中文字幕| 岛国AV网| 五月天激情网页| 人妻在线观看视频| 久99| 婷婷在线观看五月天在线视频| 大香蕉AV在线| 秋霞电影一级黄| 九九碰九九爱97超碰| 亚洲激情五月婷婷日日| 五月婷婷激情| 五月色无码| 日本久久色| 婷婷五月激情五月激情| 97色色色色| 激情婷婷丁香五月| 黄网在线观看免费| 亚洲五月天天| 99久操视频| 色色色色网站| 天天插轮理| 一区无码| 啪啪一区| 色综合色色色| 五月丁香六月婷婷综合网| www网站在线观看| 无码啪啪| 激情小说婷婷| 伊人超碰| 综合激情sV| 99热在线播放| AV在线大香蕉| 热久视频| 毛v一区二区视频| 日韩黄在免| 99九九在线观看免费| 婷婷丁香六月激情综合| 亚洲操精品| 九热网站| 国产古装妇女野外A片| 五月激情站| 久久久久人妻网址| 五月婷婷久草在线视频综合| 黄色99网| 色九区| 第五婷婷伊人丁香色| 久久婷婷综合五月| 另类小说五月天| 99精品热| 欧美精品在线观看| 国外亚洲成AV人片在线观看| 99色在线| 337p大胆噜噜噜噜噜91Av| 婷婷爱五月天| www.五月婷婷| 色综合色| 99视频久久| 亚洲人人96@| 精典久久| 色九月婷婷丁香| 男人的天堂av俄罗斯热| 成人在线免费网址| 97超级碰人人| 色综合播放| 久久精品一区二区三区四区| 超碰在线成人| 亚洲精品白浆高清久久久久久| 婷婷五月电影院| 色五月五月婷婷| 女婷久久| 香蕉久久国产AV一区二区| 五月天桃色深爱网| 激情五月丁香综合网站| 亚洲五月色| 亚洲成人噜噜| 五月婷婷官网色| 色婷婷色五月天| 五月天五月天成人网亭亭成人色网站| 99热亚洲精品66| 五月丁香六月停停| 美女天天爽| 99在线观看视频| 91丨九色丨熟女|新版| 无码99| 97婷婷五月天| 五月六月伦理| 91久久99久久91熟女精品| 五月天婷婷基地综合网| 97色婷婷| 9热成人在线视频| 中文字幕在线人妻| 伊人狠狠色婷婷综合丁香一区| 99人人干人人| 日本久久视频| 久久色情| 亚洲丁香花色| 六月色色综合| 色五月色五天免费视频| 九色91视频| 99热这里只有精品66| 午夜精品久久久久久久爽| 99九九这里有免费视频| 九九www| 六月五月久久丁香| 日韩无码色色| 亚洲99热| 久久婷婷五月丁香蜜桃网| 婷婷五月天黄色网址| 26uuu.| 激情五月综合| 欧美色综合天天久久综合精品| 韩日AV片| 五月伊人网| 开心五月六月婷婷| 六月婷婷色综合| 高清无码入口| 七七久久婷婷| 婷婷婷五月天最新综合你懂的| 五月天久久网站| 狠狠色丁香| 色图亚洲91| 中文字幕成人| 黄网在线观看免费| 香蕉网婷婷| 五月丁香亭亭操逼| 天天射影视综合网| 色九月婷婷| 五月五月婷婷| 九九热这里只有精品12| 超碰人人射| 伊人青涩网| 日日爱678| 九九热精品视频在线观看| 成人无码精品1区2区3区免费看| 激情超碰网| 伊人婷婷激情| 亚洲免费看片| 婷婷丁香五月网| 色色五月婷婷网| 亚洲婷婷丁香五月在线| 五月情涩综合婷婷| 婷婷97| 狠狠爱综合网| 日本婷婷| 99热在线资源| 五月婷在线| 在线不卡的视频| 丁香五月婷婷色播艳门照| 五月丁香激情综合网| 丁香五月天堂网| 九九热在线精品视频| 伊人青涩网| 久9精品视频在线| 天天橾日日橾夜夜橾17| 久久色情| 夜夜噜夜夜奇| 狠狠CAO日日穞夜夜穞AV| 超碰av在线| 色五月网址| 久久女婷| 亚洲无码色| 婷婷五月天Av| 婷婷五月天免费99| 玖久精品视频9| 欧美S码亚洲码精品M码| 久久久婷丁香五月| www狠狠| 色六月丁香婷婷啪啪啪| 五月天激情四射| 久九色| 99久热在线精品| 91色综合| 俺去也五月| 九九99精品| 丁香五月在线播放| 男人综合网| 99久| 激情五月婷婷丁香综合网| 色五月综合激情网| 99热国产这里只有精品| 色五月大香蕉婷婷| 丁香五月情| 粉嫩av蜜桃av蜜臀av| 另类激情中文| 丁香五月情色| 另类少妇人与禽zOZZ0性伦| 成人丁香婷婷五月天| 九九热99久久99| 日本精品99| 色的色综合| 综合色网站| 色播五月婷婷| 青青草99热久久精品国| 玖玖午夜视频| 日本va视频| 99WWW免费视频| 亚洲色视频| 99热九九这里只有精品10| 色婷婷aV四虎| 天天肏夜夜肏| 五月激情基地| 五月天停停日日| 日韩精品视频中文字幕| 婷婷丁香五月婷婷| 婷婷狠狠五月综合| 丁香久久综合| 五月丁香啪| 五月婷婷丁香社区| 噜综合| www.日本91| 国产av天堂| 在线日韩视频| 成人色五婷婷| 丁香婷婷六月天| 99色免费| 亚洲妇女熟BBW| 亚洲婷婷五月天| 婷婷五月丁香五月天| 久久久婷| 五月天婷婷丁香成人网| 超碰日日操| 日韩欧美骚货| 日韩黄黄| 99re这里只有精品9| 天天操精品| 五月天激情中文字幕| 丁香色六月| 色99热| 精品热青草| 色婷婷激情| 婷婷内射视频在线| 久re热视频| 99视频网| 丁香婷婷视频一区二区| 99久久久国产精品免费蜜乳tv| AA丁香综合激情| 国产操B视频| 久久综合影院| 激情熟女网| 超碰在线资源| 婷婷五月激情在线| 五月丁香六月综合图| 欧美三级巜人妻互换| 中文字幕 中文字幕明步| 婷婷五月情| 久热超碰91| 五月婷婷六月情| 国产综合81p| 天堂综合久| 91日本在线| 色五月婷婷av| 五月天伊人综合| 婷婷激情肏屄网| 亚洲激情婷婷| 久久九九99| 色丁香在线视频| 五月天色婷婷小说| 99色视频在线观看| 五月丁香婷婷五月色| 五月激情综合深爱| 噜噜五月天综合| 免费看成人747474九号视频在线观看| 激情九色| 99精品热| 五月丁香婷婷激情久久| 五月草影视| 91玖玖| 婷婷无码视频| 专区无日本视频高清8| 亚洲午夜成人av电影网| 97碰在线| 综合婷婷| 成人午夜天| 丁香五月婷婷av影院| www.yw色| 亚洲色婷婷五月天| 国产亚洲在线观看| 97人妻超级碰碰碰碰碰| 国产,欧美,学生妹,视频| 中文字幕AV在线播放| 思思久久99| 天天摸天天舔在线视频| 无码婷婷五月天| 伊人激情综合| 干婷婷五月天| 九九视频在线观看视频6| 大香蕉院线| A短视频免费在线观看| 99热这里只有在线| 97超喷视频在线观看| 日本五月视频| 玖玖婷婷色五月| 亚洲成人网站在线观看| 99热最新精品| 老师的粉嫩小又紧水又多A片视频 粉嫩AV久久一区二区三区 | 天天操天天谢| 欧美十二区| 五月天色区| 久久99久久久久久| 色视频色综合91| 狠狠干综合网| 五月丁香久久久日婷婷久久婷婷日| 色视频色综合91| 五月天激情婷婷丁香| 国产精品视频网| 久久婷婷精品| 一本综合丁香日日狠狠色| 日熟女| 99久久婷婷| 综合五月激情网| 伊人色综合久久久| 色五月激情五月天| 丁香五月中文字幕久色| 99精品久久久久| 六月丁香啪啪啪| 色爱综合网| 色欲丁香久久| 变态另类9| www.色欲丁香婷婷| 色婷婷影视| 亚洲第一精品网站| 五月婷婷综合网| 久草免费福利视频| 丁香五月性爱| 少妇人妻凹凸视频| 色婷婷久久| 日都一级A片| 99国产精品久久久久久久久久久| 在线观看婷婷5月| 五月天激情开心网| 淫荡综合网| 久久婷婷大香蕉| 色色综合网站| 色婷婷五月视频| 日韩人妻无码一区二区| 久草九一| 天天日夜夜拍| 五月丁香啪| 日本激情五月天‘| 激情四射五月天偷偷看婷婷| 婷婷五月中文字幕| 九九在线视频| 日本熟女二区| 伍月婷丁香婷| 亚洲第一成人无码A片| 激情婷婷丁香| 久久性爱视频网站| 色五月丁香五月| 五月婷婷深爱六月| 再綫Av免费視品| 天天插天天射天天干| 青青操成人福利| 青青草青青草五月天| 91精品综合久久久久久五月丁香| 婷婷丁香18| www激情网| 天天搞夜夜六| 婷婷日在线观看| 99啪| 久久婷婷一级片| 97亚洲视频在线| 色五月婷婷丁香五月| 婷婷久久色| 综合五月天婷婷色| 色性日本| 婷婷五月天激情综合| 91丨熟女丨首页| 97色婷婷五月天| 婷婷六月色开| 日本婷婷在线| 99热欧美精品| 婷婷综合在线网| 69人人操人人爽| 五月天丁香婷婷久久九| 色婷婷影院| 婷婷久久色| 久久婷婷国产| 91丨九色丨熟女丰满| 综合色影| 91视频五月丁香| 五月天四色房丁香亭亭| 天天操电影院色狼性av| a久久免费视频| 思思久久99热只有频精品66| 99re视频精品| 五月丁香黄色视频| 日本丁香五月| 婷婷丁香五另类网站| 91九色无码日韩| 狠狠色五月| www.五月婷婷久久.com| 色五月AV| 亚洲色色色| 午夜成人av在线| 五月丁香九九| 丁香五月激情六月欧亚激情综合导航| 99精品久久久久久久| 蜜臀av粉嫩av懂色av| 99色激| 色久在| 日日夜夜爽| 翔田千里 50岁 无码| 中文字幕在线播放视频| 五月天婷婷av| 狠狠干五月天| 99视频内射三四| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 色综合色| 国产暴力强伦轩1区二区小说| 婷婷五月天97干| www.97干视频| 色9999日韩国产| 天天色综合天天| 色,激情五月天| 色欲丁香久久| 日日天天干| www,天天干| 91操人| 九九热内射| 9999三级片| 久久综合伊人综合在线| 激情综合网激情五月天| 亚洲操操| 色色图五月天| 久久机热这里只有精品免费视频| 激情五月六月丁香| 婷婷深爱五月| BBWCUCKOLD精品熟妇| 久超超碰| 婷婷五月天在线观看第二页| 99riAv1国产在线观看| 婷婷伊人綜合中文字幕| 五月婷无码| 久久精品婷婷| 99热这里只有精品3| 国产在线aaa片一区二区99| www,色综合| 婷婷五月成年人| 天天肏天天肏天天肏| 色婷婷电影网| 色日本综合| 亚洲AV成人无码久久精品老人法拉利| 亚洲成人影视在线观看| 色色色色色日韩午夜激情| 九九久久五月天| 色综合性视频| 97碰久久| 亚洲AV成人在线观看| 熟女乱论网| 99在线免费视频| ai97re99一本| 玖玖精品视频99| 99日韩| 久婷久婷| 丁香五月欧美激情| 99热这里全都是精品| 4438成人电影| 狠狠人人| 色色色色热| 久久久久久久久18久久| 久操人妻| 97色在线观看视频| 精品综合网在线| 国产激情综合五月| 97影院一级片| 色婷婷激情四射视频| 五月丁香色婷| 免费AV播放| 五月天激情国产综合婷婷婷就去爱| 狠狠爱五月婷婷| 五月婷婷九| 这里只有精彩亚洲视频推荐| 大地9中文在线观看免费高清| 国产9色在线/日韩| 人人97碰| 99热天堂| 翔田千里 50岁 无码| 1囯产午夜仑鲁鲁| 五月激情丁香| 亚洲乱码日产精品BD| 欧美丁香六月激情视频| 亚洲精品99| 婷婷五月小说色综合| 欧美性爱五月天| 婷婷九月激情| 九色视频91| 狠狠大香婷婷爱| 激情综合网五月| 五月丁香激情综合啪| 日本va欧美va国产激情| 99久久网站| 天天操夜夜操| 五月丁香六月婷婷,婷| 精品一区二区三区免费毛片爱| www.色五月| 99热在线观看| 激情网站综合五月天| 色婷婷基地 | 日韩婷婷五月天| 极品人妻VIDEOSSS人妻| 婷婷五月天亚洲综合| 97luluse| 久久色五月天综合网| 色婷婷AⅤ| 天天日,天天干,天天操| 久久看婷婷| 国内外色色色色色成人视频| 久久伊人婷婷| 在线中文AV| 丁香五月六月久久综合| 天天日天天插| 五月天停停成人网| 97人人操在线| 色五月婷婷成人| 伊人婷婷综合| 九九热视频免费的| 激情六月丁香| 日日夜夜天天| 亚洲狠狠狠| 婷婷97| 成人一区在线观看| 亚洲中文字幕网| 色噜噜狠噜噜视频| 五月婷无码| 欧美婷婷九月| 免费无码毛片一区二区A片| 来吧亚洲综合网| 热无码A∨| WWW99热| 日噜噜色| 北京熟妇搡BBBB搡BBBB| 婷婷综合在线| 日日夜夜爽| 欧美色色色色色| 伊人青涩网| 日韩成人无码| 激情综合网丁香| 日本成人内射| 91精品久久久久久久久| 婷婷五月天伊人在线| 77777亚洲午夜久久| 久久久国产精品黄毛片| 丁香婷婷六月天| 日本噜噜色网| 色欲九区| 激情九九九九| 天天日天天舔| 国产美女视频久| www激情网| 丁香五月天导航| 色插人人| 人妻av在线| 影音先锋一区二区三区| 九九热视频免费| 成人婷婷色五月天| 色婷婷香蕉| 六月丁香停| 狠狠综合久久综合| 五月天大香蕉av| 久久婷婷五月天| 综合色影| 亚洲热视频| 色婷婷性爱网| 亚洲精品无人区| 在线观看免费视频| 婷婷五月情| 26uuu日韩| 管管補管管紱| 玖玖婷婷精品| 亚洲乱码日产精品BD| 久久视频这里有精品99| av狠狠操| 欧美色色色色色色色| 丁香五月婷婷啪| 任你爽精品免费视频6| 久婷婷色| 亚洲色人妻| 丁香综合久久| 久久九九re热| 婷婷五月成人社区| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 九九久久网| 五月丁香淫淫婷婷婷| 成人精品99| 97婷婷丁香五月| site:picc-up.com| 人妻性爱av网站| 三级三久久线久久99久目本WW| 9 1在线视频| 天天日色情| 99riAV成人在线视频| 免费看欧美成人A片无码 | 久9久9热久热| av在线激情| 国産精品| 日本三级日本三级99| 亚洲精品99| 最新高清无码专区| 大香蕉在线99热| 黄色av高清| 9久9久| 先锋资源91| 人人人操| 人人操91| 婷婷五月天美女| xfplayav在线| 五月天婷婷影院影院| 色婷婷先锋| 色五月婷婷大香蕉| 免费黄色片子| 亚洲综合色色| 中文字幕在线观看视频www| 五月天婷婷在看| 色五月在线播放| 亚洲网站999| 狠狠穞A片一區二區三區| 大地资源色婷婷视频在线 | 五月色婷婷综合色| 99re最新地址| 九九性视频| 激情五月天丁香| 精品香蕉99久久久久网站 | 天天草天天爱| 思思re99视频在线观看| www.日本91| 99在线观看精品视频| 国外亚洲成AV人片在线观看| 97人人操com| 久久精品爱爱| 五月丁香六月香综合激情| 涩五月婷婷| 99精品偷自拍| 99国产性感视频| 久久久婷婷| 色偷偷狠狠| AV在线免费播放| 性做久久久久久久免费看| av网站免费在线| 五月婷丁香花| 五月丁香六月激情在线| 久久98| 91免费试看| 天堂爱爱| 丁香六月婷婷五月婷婷| 国产偷人爽久久久久久老妇APP| 就爱日五月天| 日韩成人av在线| 成人色五婷婷| 99久久网站| 一操久久| 人人人人人人人人人草| 色噜噜狠狠一区二区三区| 丁香五月婷婷五月| 五月丁香婷婷啪啪综合| 五月天婷婷色小说| 97干综合网| 欧美叉叉叉BBB网站| 久久9精品| www.色婷婷.com| 婷婷五月天桃花网| 激情五月丁香五月| 九九99热| 99资源人人| 99视频精品全部免费 在线| 思思热在线视频精品| 激情五月天色播| 日本色99| 婷婷五月激情天| 一二线视频 另类| 99 频99热国里只有精品| 丁香五月久久| 碰超亚洲| 色五月婷婷、老熟女| 久久综合激情| 婷婷激情在线| 五月天开心激情综合网| OYIWbGcPu8H| 99热无码| 99在线资源视频| 九九热区一区二区三区| 五月天婷婷成人网| 九九精品视频免费在线| 91无码高清| 日本在线视频看se99| 丁香五月天中文字幕| 99riAV成人在线视频| 婷婷六月天精品| 天天色天天操天天射| 五月婷婷在线视频免费观看| 久久婷婷综| 五月丁香六月综合基地| 午夜丁香婷婷| 天天操天天曰天天射| 91九色熟女|