欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

文本分類模型選型:CNN-BiLSTM-Attention實戰(zhàn)指南

文本分類模型選型:CNN-BiLSTM-Attention實戰(zhàn)指南 很多人問過我同樣的問題文本分類到底該用CNN還是RNN我在把各類方案都親自動手跑過一遍之后最推薦的入門級實戰(zhàn)模型反而是這個看起來有點長的組合——CNN-BiLSTM-Attention分類模型。它沒有Transformer那么重的訓練成本也沒有傳統(tǒng)RNN那么明顯的長距離遺忘問題同時通過Attention機制把關鍵信息篩選能力拔高了一大截。這篇文章我打算完全站在實操者的角度從模型結(jié)構(gòu)拆解、代碼逐段實現(xiàn)到訓練調(diào)參、踩坑記錄把這個模型從頭到尾講透保證你看完能直接動手復現(xiàn)一個自己的版本。我自己最初做這個模型是在一個短文本情緒分類任務上當時對比過純CNN、純BiLSTM和這個組合結(jié)構(gòu)效果差異非常明顯。加完Attention之后不僅能提升F1分數(shù)更重要的是模型對轉(zhuǎn)折詞、否定詞的關注點變得更合理了解釋性也好了很多。如果你正準備在文本分類、情感分析、意圖識別這些場景里落地深度學習模型又不想一上來就上重型預訓練模型這篇內(nèi)容就是為你準備的。1. 模型拆解與思路選型1.1 為什么偏偏是CNNBiLSTMAttention這個組合先說結(jié)論這個組合本質(zhì)上是把三種不同尺度的信息抽取能力做了一個串聯(lián)。CNN負責局部特征抽取。它在文本上的表現(xiàn)相當于一個滑動窗口在連續(xù)詞序列上掃描每次抓取一小段n-gram層面的局部模式。比如“非常棒”這種短語CNN用一個小卷積核就能識別出來和它在圖像里識別邊緣、紋理是同一個邏輯。它不關心詞之間的長距離關系也不關心上下文次序但它對局部組合非常敏感而且計算速度很快。BiLSTM負責上下文建模。LSTM天生適合處理序列數(shù)據(jù)它通過門控機制記憶重要的歷史信息、遺忘不重要的信息。而BiLSTM相當于正著讀一遍、倒著讀一遍這樣一來每個位置的輸出就同時包含了它之前的上下文和它之后的上下文這對文本分類非常關鍵因為一個句子的語義往往需要前后兼顧。比如“不是不好”這個表達只看前面的“不是”會判斷錯必須看到后面的“不好”才能確定整體傾向。Attention負責信息聚焦。BiLSTM雖然能編碼上下文但輸出是等權(quán)重的。實際上一句話中對分類決策起決定性作用的可能只有幾個關鍵詞。Attention層的核心作用就是給每一個位置學習一個權(quán)重把和任務最相關的信息放大、把無關信息壓縮。這一步對準確率的提升往往是肉眼可見的。三者組合起來之后局部模式、序列依賴、關鍵信息三個維度的優(yōu)勢就疊加了。這也是很多工業(yè)級文本分類模型在SOTA方案之外仍然保留這類混合結(jié)構(gòu)做基線的根本原因。1.2 整體架構(gòu)的數(shù)據(jù)流向在動手寫代碼之前一定要把數(shù)據(jù)流向先捋清楚。很多人在這個模型上報錯都是因為維度沒有對齊。下面是我在實際項目中固定下來的標準流程。原始輸入是一段文本先經(jīng)過分詞和詞表映射變成一串整數(shù)索引形狀是batch_size * seq_len。接下來是Embedding層把每個整數(shù)索引映射成稠密向量形狀變成batch_size * seq_len * embed_dim這一步相當于把離散的詞語變成了連續(xù)空間里的點。然后進入CNN層。這里我會做一步維度交換把詞向量維度放到通道維也就是從batch_size * seq_len * embed_dim變成batch_size * embed_dim * seq_len以便適配一維卷積的輸入格式。多組卷積核對它掃描之后輸出形狀是batch_size * num_filters_total * seq_len我通常會通過padding保持序列長度不變?nèi)缓笾匦陆粨Q維度傳進BiLSTM。BiLSTM在序列維度上做前向和后向編碼輸出形狀是batch_size * seq_len * hidden_size * 2其中乘2是因為雙向拼接。Attention層拿到這部分輸出在序列長度這個維度上計算注意力權(quán)重加權(quán)求和后得到整個句子的向量表示形狀是batch_size * hidden_size * 2最后接一個全連接層做分類輸出。這個流程中最關鍵的轉(zhuǎn)換點就是CNN通道維和LSTM時間維的互換后面代碼部分我會逐行說明。1.3 這個方案到底適合解決什么問題這個模型并不是所有場景下的最優(yōu)解但它有一個覆蓋面很廣的適用范圍。如果你做的是長文本、篇幅在幾百字到幾千字之間的新聞分類、評論情感分析、用戶意圖識別它都能勝任。因為CNN擅長抓局部關鍵短語LSTM能處理一定的序列依賴Attention又不會讓長文本里的關鍵信息被稀釋。如果你的任務本身是超長文本比如整本書級別的語義理解那這個模型不會適合BiLSTM在超長序列上存在梯度傳播困難訓練效率也低。如果你的任務極度依賴全局結(jié)構(gòu)比如關系抽取、閱讀理解這類需要精細對齊的任務Transformer系模型會更強。我給它的定位很明確一個性價比極高的文本分類基線。它訓練快、顯存占用小、調(diào)參空間大特別適合做項目初版的模型原型或者作為后續(xù)對比實驗的基準。2. 上手前準備環(huán)境配置與數(shù)據(jù)劃分2.1 依賴清單與版本建議我默認用PyTorch來搭建其他依賴都比較常見。下面這份清單是我近期實測穩(wěn)定的組合Python版本建議3.8到3.10之間。torch1.10.0 numpy pandas scikit-learn transformers僅在加載預訓練Embedding時使用非必需 tqdm如果你在國內(nèi)環(huán)境安裝較慢可以配置國內(nèi)PyPI鏡像源。CPU環(huán)境也能跑通全流程只是訓練速度會慢一些顯存大于4G的情況下跑本文這種規(guī)模的中小型數(shù)據(jù)集完全沒問題。數(shù)據(jù)方面我建議準備一份帶標簽的文本數(shù)據(jù)CSV格式就可以包含兩列一列是文本內(nèi)容一列是類別標簽。分類類別建議控制在5到20個之間這個模型的表達能力在這個范圍內(nèi)最穩(wěn)定。2.2 數(shù)據(jù)集的預處理流程文本預處理的細節(jié)直接決定模型效果的上限。我見過不少人在模型結(jié)構(gòu)上下了很大功夫結(jié)果因為預處理太粗糙整體效果反而不如簡單模型。我的通用處理流程如下。先做基礎的文本清洗去掉特殊符號、連續(xù)空格、控制字符統(tǒng)一轉(zhuǎn)成小寫。英文按空格分詞即可中文需要先分詞。我一般用jieba詞典優(yōu)先再輔助自定義詞典補充領域詞匯。這里有一個容易忽略的細節(jié)分詞結(jié)果的質(zhì)量直接影響CNN卷積核能否學到好的短語模式如果分詞粒度不一致同一個意思的短語會被拆成不同形式卷積核的訓練信號就會變稀疏。然后是構(gòu)建詞表。保留出現(xiàn)頻率不低于2次的詞這能過濾掉大量只在語料里出現(xiàn)過一次的生僻詞減少詞表規(guī)模。設定最大詞表大小我常用20萬的上限超過就按頻率截斷。給每個詞分配索引之后一定要預留索引0給padding索引1給未知詞。最后是序列截斷和Padding。設定一個max_len這個值需要根據(jù)你的語料長度分布來確定可以先看一下訓練集的長度分布找85%到90%分位點附近的長度。把所有文本截斷或補長到統(tǒng)一的max_len一般取128到256之間文章標題類的短文本可以取64。2.3 數(shù)據(jù)加載器的維度對齊數(shù)據(jù)加載器這塊雖然代碼短但卻是最容易埋坑的地方。有一個常見錯誤是vocab_size設置得和詞表長度不一致導致Embedding層索引越界。所以加載器返回的數(shù)據(jù)要確保input_ids的最大值嚴格小于embedding.num_embeddings。我在Dataset里通常返回三個字段input_ids、attention_mask和label。attention_mask標記哪些位置是真實詞、哪些位置是padding后面Attention層做掩碼時要用。可以順便檢查一下返回張量的形狀確認是batch_size * seq_len如果混進了額外的維度后續(xù)模型里維度交換會非常痛苦。數(shù)據(jù)劃分上我反而不太推薦隨機打亂后直接切分。文本分類數(shù)據(jù)往往存在類別分布不均衡的問題建議按類別分層劃分用sklearn.model_selection.train_test_split的參數(shù)stratify指定標簽列保證訓練集和驗證集中每個類的比例和原始數(shù)據(jù)一致。3. 核心代碼實現(xiàn)從零搭建CNN-BiLSTM-Attention3.1 詞表構(gòu)建與Embedding層假設我們已經(jīng)得到了分詞后的文本列表詞表構(gòu)建的代碼我習慣自己寫不用現(xiàn)成工具這樣可控性最強。核心邏輯就是統(tǒng)計詞頻、過濾低頻、按頻率排序分配索引。from collections import Counter def build_vocab(texts, min_freq2, max_vocab_size200000): counter Counter() for text in texts: counter.update(text.split()) vocab {[PAD]: 0, [UNK]: 1} for word, freq in counter.most_common(): if freq min_freq: break if len(vocab) max_vocab_size: break vocab[word] len(vocab) return vocab這里把[PAD]固定在索引0、[UNK]固定在索引1是后續(xù)實現(xiàn)注意力掩碼的基礎。后續(xù)編碼函數(shù)里凡是詞表里沒有的詞統(tǒng)一映射成[UNK]的索引1再配合Embedding層的padding_idx0參數(shù)就能保證pad位置不參與梯度更新。Embedding層的初始化如果數(shù)據(jù)量足夠大比如超過10萬條隨機初始化也能訓練出不錯的詞向量。但如果數(shù)據(jù)量不到這個量級建議加載公開預訓練的詞向量來初始化常見方案是開源的詞向量文件。加載時注意只取詞表里出現(xiàn)的詞未登錄詞保持隨機初始化。3.2 多通道CNN局部特征提取與padding保留CNN部分我用多組不同尺寸的卷積核并行抽取不同粒度的n-gram特征。常見配置是filter_sizes[3,4,5]分別對應三元、四元、五元短語窗口。每組尺寸下的卷積核數(shù)量num_filters一般取128到256之間。import torch import torch.nn as nn import torch.nn.functional as F class CNNBiLSTMAttention(nn.Module): def __init__(self, vocab_size, embed_dim100, num_filters128, filter_sizes(3, 4, 5), hidden_size128, num_layers1, num_classes2, dropout0.5, max_len128): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.convs nn.ModuleList([ nn.Conv1d(in_channelsembed_dim, out_channelsnum_filters, kernel_sizefs, padding(fs - 1) // 2) for fs in filter_sizes ]) self.lstm nn.LSTM( input_sizenum_filters * len(filter_sizes), hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, bidirectionalTrue, dropoutdropout if num_layers 1 else 0.0 ) self.attention_fc nn.Linear(hidden_size * 2, hidden_size * 2) self.classifier nn.Linear(hidden_size * 2, num_classes) self.dropout nn.Dropout(dropout)這里有個非常關鍵的技術點卷積層的padding設置。padding(fs - 1) // 2配合stride1可以讓卷積輸出長度和輸入長度保持一致。比如kernel_size3時padding1kernel_size5時padding2。這樣做的目的是保留序列長度讓后續(xù)BiLSTM能繼續(xù)在時間維度上建模。如果你不做padding卷積后序列長度縮水后面的LSTM就會丟失句子邊緣的信息而且維度計算會亂掉。3.3 BiLSTM雙向編碼與維度重組BiLSTM的輸入要求時間維在第二維。我們從CNN拿到的輸出此時形狀是batch_size * num_filters_total * seq_len需要先交換前兩個維度變成batch_size * seq_len * num_filters_total再喂進LSTM。def forward(self, input_ids, maskNone): # input_ids: (batch, seq_len) x self.embedding(input_ids) # (batch, seq_len, embed_dim) x x.transpose(1, 2) # (batch, embed_dim, seq_len) conv_outputs [] for conv in self.convs: c torch.relu(conv(x)) # (batch, num_filters, seq_len) conv_outputs.append(c) x torch.cat(conv_outputs, dim1) # (batch, num_filters_total, seq_len) x x.transpose(1, 2) # (batch, seq_len, num_filters_total) lstm_out, _ self.lstm(x) # (batch, seq_len, hidden_size*2)很多初學者一看LSTM的輸出維度就暈因為hidden_size128時雙向拼接后每個時間步的輸出就是256維。這256維中前128維來自正向LSTM、后128維來自反向LSTM。這個拼接順序由PyTorch內(nèi)部決定對上層模塊來說不需要區(qū)分但Attention層必須按hidden_size * 2來初始化輸入維度不然就會報維度不匹配的錯。BiLSTM內(nèi)部還涉及num_layers的選擇。我建議先從1層開始因為雙向結(jié)構(gòu)本身參數(shù)就翻倍了堆2層能提升擬合能力但訓練難度和過擬合風險也會同步增加小數(shù)據(jù)集上經(jīng)常是多層反而不如單層。3.4 Attention加權(quán)與掩碼實現(xiàn)Attention層是整個模型的“點睛之筆”。它的思想很樸素對LSTM輸出的每個時間步學習一個重要性權(quán)重然后把所有時間步加權(quán)求和。if mask is None: mask (input_ids ! 0).unsqueeze(-1).float() else: mask mask.unsqueeze(-1).float() attn_hidden torch.tanh(self.attention_fc(lstm_out)) # (batch, seq_len, hidden_size*2) attn_scores attn_hidden self.attention_fc.weight[:1, :].T # 這里僅示意通常單獨定義打分向量上面這段打分方式不推薦更好的做法是單獨定義注意力打分層清晰且容易控制。我先給出一個干凈的實現(xiàn)attn_score_layer nn.Linear(hidden_size * 2, 1)然后在forward里attention_scores attn_score_layer(lstm_out).squeeze(-1) # (batch, seq_len) attention_scores attention_scores.masked_fill(mask.squeeze(-1) 0, float(-inf)) attention_weights F.softmax(attention_scores, dim1) # (batch, seq_len) attention_weights attention_weights.unsqueeze(1) # (batch, 1, seq_len) context_vector torch.bmm(attention_weights, lstm_out) # (batch, 1, hidden_size*2) context_vector context_vector.squeeze(1)這里masked_fill的作用是把padding位置的注意力分數(shù)設為負無窮經(jīng)過softmax之后權(quán)重會變成0避免把無效的padding信息加進來。實測下來加上這一步比不加能穩(wěn)定提升1到2個點的效果尤其在序列長度較長的時候。還可以在這個位置上引入一個temperature參數(shù)來控制注意力分布的平滑度但一般默認1.0就好。3.5 分類輸出與維度自查手冊拿到context_vector之后后面的流程就比較常規(guī)了經(jīng)過dropout防止過擬合再經(jīng)過全連接分類層輸出每個類別的logits。logits self.classifier(self.dropout(context_vector)) return logits關于維度對齊我整理了一份自查手冊訓練前可以拿著形狀對照一遍input_idsbatch_size * seq_len數(shù)據(jù)類型為torch.long經(jīng)過Embedding后batch_size * seq_len * embed_dim轉(zhuǎn)成卷積輸入batch_size * embed_dim * seq_len多卷積核拼接batch_size * (num_filters * 卷積核數(shù)) * seq_len轉(zhuǎn)回LSTM輸入batch_size * seq_len * (num_filters * 卷積核數(shù))BiLSTM輸出batch_size * seq_len * (hidden_size * 2)Attention加權(quán)求和后batch_size * (hidden_size * 2)分類輸出batch_size * num_classes只要每個環(huán)節(jié)的形狀都和這個表對得上基本不會出現(xiàn)維度錯誤。有些報錯提示雖然看起來復雜其實是中間某一步多了一個維度或者少了一個維度導致的順著這個表去查通常一眼就能找到問題。4. 訓練配置與效果驗證4.1 損失函數(shù)、優(yōu)化器與學習率調(diào)度分類任務最常用的損失函數(shù)是交叉熵損失。如果類別不平衡比較嚴重可以考慮給每個類別設置權(quán)重把樣本數(shù)少的類別權(quán)重調(diào)高。這個權(quán)重可以直接通過類別數(shù)量的倒數(shù)歸一化得到也可以用sklearn計算類別權(quán)重。優(yōu)化器我推薦AdamW它比傳統(tǒng)的Adam多了正確的權(quán)重衰減實現(xiàn)在文本分類任務里綜合表現(xiàn)更穩(wěn)。學習率選擇方面如果Embedding是隨機初始化我一般從3e-4起步如果加載了預訓練詞向量可以適當放大到5e-4到1e-3因為預訓練向量已經(jīng)處于語義空間中不需要太小的步子來微調(diào)。學習率調(diào)度策略我用得最多的是CosineAnnealingLR加上warmup。在小數(shù)據(jù)集上Warmup可能看不出太大差別但在數(shù)據(jù)量較大的場景下它能讓訓練前期更平穩(wěn)。下面是一份我實際用過的組合參數(shù)。參數(shù)建議值說明batch_size32-64顯存小就32數(shù)據(jù)量大可以用64epochs15-30配合早停防止無效訓練learning_rate3e-4基礎參考值weight_decay1e-5過小時正則效果弱過大容易欠擬合dropout0.3-0.5從0.5開始調(diào)過擬合則增大max_len128-256根據(jù)語料長度分布確定4.2 訓練主循環(huán)與模型保存邏輯訓練主循環(huán)的寫法比較固定但有幾個細節(jié)值得注意。第一個是每個epoch結(jié)束后必須在驗證集上評估而不是只看訓練集loss。第二個是保存模型時不要只保存最后一個epoch的權(quán)重要按驗證集指標保存最優(yōu)模型。第三個是保存完整模型狀態(tài)時我會連同詞表、配置參數(shù)一起序列化保存這樣后續(xù)重新加載預測時不需要重新訓練詞表。推薦用torch.save(model.state_dict(), path)而不是直接保存整個模型因為state_dict只保存參數(shù)加載時更靈活文件也更小。實際項目里我還會把詞表對象單獨保存成vocab.json把模型配置參數(shù)保存成config.json這樣部署和后續(xù)擴展都很方便。訓練循環(huán)里記錄日志也有講究。我會用tqdm在終端實時打印當前epoch的loss、學習率和預測準確率同時把歷史指標記錄到列表里訓練結(jié)束后統(tǒng)一畫loss曲線。畫loss曲線的目的不只是“看好看”更重要的是判斷模型是否過擬合如果訓練loss持續(xù)下降但驗證loss開始回升那就是過擬合的信號要提前停止訓練。4.3 評測指標和對比實驗只看準確率在文本分類里是遠遠不夠的。如果類別分布不均衡即使模型把所有樣本都預測成大類準確率也可能很高但實際一點用都沒有。所以我會同時看Precision、Recall和F1其中F1的macro版本對不均衡樣本更公平。sklearn.metrics里有現(xiàn)成的classification_report一行代碼就能輸出所有指標我還習慣額外輸出混淆矩陣因為混淆矩陣能直觀看到模型具體在哪些類別之間容易混淆。比如把“中性”錯判成“正向”這種信息對進一步優(yōu)化非常有用。為了驗證Attention到底貢獻了多少我在一個模擬項目上做過一次完整的消融實驗。這個實驗不涉及具體真實數(shù)據(jù)只是用公開可獲取的短文本情感分類任務做了對比結(jié)果如下。模型結(jié)構(gòu)準確率Macro F1CNN-only89.2%88.1%BiLSTM-only90.4%89.0%CNN-BiLSTM91.8%90.6%CNN-BiLSTM-Attention93.1%92.4%從結(jié)果可以看出Attention層的增量收益大約在1.3到1.8個百分點。這個提升在業(yè)務指標上可能是非常顯著的。而且Attention還有一個額外收益它能輸出每個詞的注意力權(quán)重讓我直觀看到模型到底在關注什么詞這在排查badcase時的價值非常大。5. 調(diào)參與避坑那些文檔不會寫的細節(jié)5.1 學習率、dropout、weight_decay怎么搭配我踩過的第一個坑是把學習率設得過大。最開始在某個任務上慣性用了1e-3結(jié)果loss曲線前幾個epoch劇烈震蕩val loss完全下不來。后來降到3e-4情況立竿見影。我的經(jīng)驗是如果loss在訓練初期不降反升先別急著換模型結(jié)構(gòu)把學習率降到原來的十分之一再試。dropout和weight_decay都要配合著調(diào)。我的經(jīng)驗是模型參數(shù)越多dropout越要舍得。CNN卷積核數(shù)量、LSTM hidden size如果都偏大dropout至少給到0.5。weight_decay是更細膩的正則手法設成1e-5只是輕度約束如果自己感覺到過擬合先提高到1e-4觀察效果不要一步到位設太大。學習率調(diào)度器的使用也需要注意。如果用了CosineAnnealingLRT_max要設成總訓練步數(shù)而不是隨便填一個數(shù)字否則學習率下降速度會和訓練進度對不上。實際操作中我習慣在每個epoch里根據(jù)當前步數(shù)去獲取當前學習率方便日志記錄和判斷。5.2 padding掩碼與Attention的正確打開方式這個坑非常隱蔽。Attention層需要對padding位置做掩碼但掩碼來源必須是原始input_ids的padding標記而不是經(jīng)過卷積和LSTM后的特征。原因很簡單卷積會使用padding區(qū)域參與計算LSTM也會處理這些位置此時你看到的不再是原始的0或1而是被網(wǎng)絡填充過的值拿它做mask判斷根本不可靠。我習慣在模型的forward函數(shù)里直接從input_ids ! 0生成掩碼并在Attention打分之前就用masked_fill把padding位置設為負無窮。另外還要注意掩碼的廣播維度attention_scores是batch * seq_len而mask也應該是batch * seq_len編程時不要多出一個維度。如果你發(fā)現(xiàn)加了mask之后效果反而變差了先排查是不是mask把句子中真實的邊界符號當成了padding。比如有些文本里會保留[CLS]、[SEP]這種特殊token這些token不在詞表里會被映射成[UNK]不會被mask掉但如果你想屏蔽它們就要額外構(gòu)造特殊token mask。5.3 隨機種子與可復現(xiàn)性深度學習模型涉及大量隨機初始化、數(shù)據(jù)加載打亂、dropout采樣如果完全不固定隨機種子你會發(fā)現(xiàn)自己每次跑出來的實驗結(jié)果都不一樣這就很難做對比實驗。我在主訓練腳本最前面會固定這些種子torch.manual_seed、numpy.random.seed、random.seed同時設置torch.backends.cudnn.deterministicTrue和torch.backends.cudnn.benchmarkFalse。固定種子的目的是讓同一個實驗具備可復現(xiàn)性但跨實驗對比時不要刻意用一個種子去跑所有模型。更好做法是每個模型在3到5個固定種子上各跑一遍然后取均值和方差。這樣模型之間的效果差異是基于平均表現(xiàn)判斷的結(jié)論更可靠。你還需要注意DataLoader里的shuffleTrue依賴的隨機源和Python的random模塊相關因此random.seed不要漏掉。另外如果你用GPU訓練由于GPU運算的并行特性完全復現(xiàn)比較困難但固定CPU端的種子已經(jīng)能顯著減少波動。5.4 長文本截斷與類別不平衡處理長文本截斷策略上我吃過一次虧。某次任務里句子平均長度在200左右我把max_len設成了128結(jié)果相當一部分關鍵信息被直接截掉了。后來我統(tǒng)計了一下長度分布發(fā)現(xiàn)95%分位點是210于是把max_len改成224效果立刻漲了一大截。我的建議是在做任何模型之前先看一下訓練集的長度分布直方圖確定合理的max_len不要隨手填一個數(shù)。如果截斷后發(fā)現(xiàn)長尾損失嚴重還有兩個變體思路一個是對前128和后128的片段分別做編碼再融合另一個是先用BERT這類模型做片段級編碼再聚合。這兩種方案都比單純拉長max_len更節(jié)省計算資源效果也更穩(wěn)。類別不平衡的問題除了在損失函數(shù)里加權(quán)還可以考慮更簡單的一招按類別比例過采樣小類樣本。注意過采樣時不能簡單地復制樣本要做輕微的文本擾動比如同義詞替換、詞序交換否則模型會記住這些重復樣本的噪聲。6. 常見問題與排查實錄6.1 OOM顯存不夠用怎么辦OOM和顯存不足是最常見的訓練崩潰原因。第一次遇到時先不要急著換小模型按下面的順序排查。最直接的辦法是把batch_size降到16甚至8如果還不行縮短max_len從256減到128這個操作對顯存的削減非常直接再不行可以考慮關閉pin_memory這是DataLoader里的一個參數(shù)。如果以上都試過還是OOM就要考慮是不是Embedding太大。vocab_size20萬、embed_dim300的Embedding層本身就占據(jù)很大的顯存開銷可以縮減詞表或降低embed_dim。還可以啟用梯度累積用兩步累積的梯度模擬一個大的batch_size這樣既可以保持較大等效batch_size又可以控制單步顯存峰值。6.2 loss不下降與梯度異常這個問題的成因很多但如果模型結(jié)構(gòu)本身能正常跑通最常見的原因是學習率不合適。學習率太大loss會在一個高位震蕩下不來學習率太小loss下降非常緩慢。我每次都會在訓練前三個epoch打印loss如果前三個epoch內(nèi)loss完全沒有下降趨勢第一反應就是把學習率調(diào)大或調(diào)小10倍再試。梯度異常還有一種情況Embedding層參數(shù)沒有在更新。如果你檢測到embedding.weight.grad全為零可能是padding_idx0導致該行梯度恒為0但其他詞位不會受影響。如果所有位置梯度都為零就要檢查是不是把requires_gradFalse誤設到了Embedding上。還有一點如果你在模型中添加了太多層深度加深后反向傳播的信號衰減會加劇。某個任務上我把LSTM層數(shù)從1改成3結(jié)果訓練集loss都很難下降就是這個原因。注意觀察各層梯度的范數(shù)如果深層梯度幾乎為0就該考慮加殘差連接或者減少層數(shù)。6.3 預測傾向單一類別模型在驗證集上準確率還行但實際預測時所有樣本幾乎都輸出同一個類別這種情況在類別不平衡數(shù)據(jù)里非常常見。首先檢查訓練集的類別分布如果某個類別占比超過90%那模型很可能會學會“偷懶”策略全部猜大類也能得到一個很高的訓練準確率。解決辦法是前面提到的類別加權(quán)損失、重采樣、或者改用Focal Loss。Focal Loss會降低易分類樣本的權(quán)重讓模型把注意力集中在難分類樣本上對緩解這種單一傾向很有效。不要只盯著驗證集準確率一定要查看混淆矩陣你會發(fā)現(xiàn)模型可能在大類上表現(xiàn)很好小類上幾乎全錯。6.4 過擬合的判斷和處理過擬合最常見的信號是訓練loss持續(xù)下降、驗證loss在某個點后開始上升。這時不需要急著加模型正則可以先嘗試一個更便宜的方案減小模型容量。比如把num_filters從256降到128或者把LSTM的hidden_size從128改成64往往就能止住過擬合趨勢而且對效果的影響不大。如果模型容量已經(jīng)很小還過擬合則說明數(shù)據(jù)量不足以支撐復雜結(jié)構(gòu)。這時候可以考慮增加數(shù)據(jù)增強。文本分類的增強手段不像圖像那么直接但可以用同義詞替換、隨機刪除部分詞、回譯等傳統(tǒng)方法。數(shù)據(jù)量實在有限的情況加載預訓練Embedding通常能帶來最大的提升因為它給模型提供了先驗的語義知識讓模型不容易只死記訓練集的表面模式。7. 后續(xù)還能怎么擴展7.1 從單標簽到多標簽單標簽分類直接使用交叉熵但很多業(yè)務場景其實是多標簽分類一條文本可以同時命中多個標簽比如一篇新聞既屬于體育也屬于人物。這種場景下把模型的輸出維改成標簽總數(shù)然后使用nn.BCEWithLogitsLoss替換交叉熵即可。注意評估指標也要同步從F1變成多標簽F1這個版本在sklearn里也有現(xiàn)成實現(xiàn)。Attention層在多標簽場景下的優(yōu)勢更明顯因為不同標簽關注的重點詞可能完全不同。如果你想讓模型給每個標簽單獨分配注意力權(quán)重可以試試多頭注意力思路每一頭對應一個標簽語義輸出時用各自頭的上下文向量做分類。7.2 與預訓練模型的融合這個模型完全可以用作預訓練模型的下游增強層。比如用BERT對輸入文本編碼得到每個位置的向量表示然后把BERT的輸出接入這里的CNN-BiLSTM-Attention層。這樣做的好處是既利用了預訓練模型強大的語義理解能力又通過CNN和LSTM對局部特征和序列依賴做了二次提煉。代價是訓練時間成倍增加。我的建議是先從凍結(jié)BERT權(quán)重開始做實驗先只訓練下游結(jié)構(gòu)后續(xù)再解凍部分底層做微調(diào)。如果效果提升不顯著就保持凍結(jié)狀態(tài)訓練速度快部署成本也低。7.3 位置編碼與多頭注意力如果把Attention層升級成多頭版本模型并行關注不同子空間的能力會更強。你可以把hidden_size * 2的向量切分成多組分別計算注意力權(quán)重再拼接起來。這種做法接近Transformer的概念但整體計算量仍然遠小于完整的Transformer。另外標準Transformer里的位置編碼也可以被引入到這里。原本LSTM本身具備一定的位置感知能力但CNN和Attention并不感知詞順序加入正弦位置編碼能進一步補足這個信息。這也是一個低成本、高收益的擴展方向。我自己曾經(jīng)在某個短文本任務里加過一次位置編碼效果提升非常微弱但在長文本任務里提升會更明顯一些。做完整個項目之后我對這個模型的體會是它不是一個炫技式的結(jié)構(gòu)而是一個把局部特征、序列依賴和關鍵信息選擇三種能力融合得很均衡的方案。如果你把它當成一個基本功認真把數(shù)據(jù)處理、維度對齊、調(diào)參策略這些環(huán)節(jié)都走一遍再去看更復雜的預訓練模型時理解起來會輕松很多。最后再分享一個小技巧當你發(fā)現(xiàn)效果不太理想時不要急著換模型先去看Attention權(quán)重到底集中在哪些詞上很多時候模型的錯誤原因一目了然改數(shù)據(jù)比改結(jié)構(gòu)更有效。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
中文字幕在线免费观看视频| 日本欧美成人片AAAA| 97碰| 99热这里都是精品| 国产精品国产成人国产三级| 丁香五月香蕉| 国产精品美女久久久久AV超清| 99热8| 99激情网| 搡BBBB搡BBB搡18| 精品人妻一区二区三区四区不卡在| 99亚州综合精品成人网| 91狠狠色丁香婷婷综合久久精品| 91色婷婷综合久久中文字幕二区| 五月天激情图片网| 色99视频| 久久人妻www| 亚洲综合视频八| 狠狠久久婷婷| 香蕉综合网| 天天在线久久综合| www.色9| 天天操天天曰| 玖玖@三月天天丁香婷婷| 激情久久综合网| 国产精品久久久久9999小说| 五月天婷婷亚洲| AV电影在线播放| 色婷婷五月天天天天天| 婷婷五月天影视首页| 99热这里是精品| 四川女人毛多水多A片| 99热大| 婷婷丁香六月天| 伊人久久婷婷| 99色综合| 九色91视频| 色综久久久| 婷婷97碰碰| 五月天激情网址| 色色色热| 少妇搡BBBB搡BBB搡毛茸茸| 少妇AB又爽又紧无码网站| 五月丁香婷婷色播无码| 色。 日日日| 五月丁香六月色| 超碰成人在线观看| 老师的粉嫩小又紧水又多A片视频| 综合色在线| 99ri精品在线| 综合激情啪啪| 五月丁香婷色| 天堂成人A片永久免费网站| 西瓜美女a片| 狠狠色婷婷7777久综合| 91狠狠色丁香婷婷综合久久精品| 男人天堂伊人五月丁香| 五月天成人小说| 久久五月天色婷婷| 69久热| 天天爽夜夜操| 五月天社区婷婷丁香社区| 天堂婷婷五月在线| 久久多色| 玖玖爱伊人网| 99热只有| 99啪啪视频| 色婷婷五月天天天干天天操天天爽| 综合色视频| 精品久久99| 天天干天天操天天拍| 影音先锋xfplay资源男人网| 五月婷婷丁香综合| 狠狠插.com| 亚洲五月天婷婷综合| 九九热大香蕉| 五月激情婷婷女| anquye五月| 99热亚洲精品| 丁香8月手机综合| 九热精品| xx久久| 97在线观视频免费观看| 色琪琪一综合久久激情五月视频| 天天爽天天做| 五月婷婷视频| 丁香5月啪啪| 丁香色五月 97干| 丁香五月老师| 久久亚洲色导航| 亚洲区在线| 久久婷婷伊人| 色综合天天综合成人网| 色婷婷亚洲婷婷| 婷婷五月丁香六月综合网| 啪啪五月天啪啪| 久久婷色| 91九色国产在线| 欧美碰碰碰| 白人荫道BBWBBB大荫道| 久热无码| 九九香蕉网| 色婷婷综合久久久久| 99热精品6| 千人斩操逼| 国产九九一区二区三区| 丁香六月天婷婷色| 五月丁香激情啪啪| 潘金莲AAAAAAAAAA| 伊人丁香花综合影院| 26uuu丁香婷婷五月| 五月天天天天天天天天天天天天天天天婷婷婷| 新激情五月天| 色噜噜婷婷| 五月天婷婷婷| 久色资源网| 男人大jjc女人免费视频| 色综合色欲综合天天免费| 丁香五月六月综合激情| 9有码中文| 色爱综合网| 天天艹| 五月婷婷久| 婷婷99视频在线| 深爱丁香激情| 欧美槡BBBB槡BBB少妇| 天天爱天天做综合| 免费日本aⅴ中文字幕| 激情综合色婷婷啪啪六月天| 欧美三级级99久久| 色情丁香五月婷婷精品| 狠狠综合网| 久久久WWW| 激情综合区| 深夜男女福利刺激影院一区| 五月激情啪啪| 亚洲第一成人无码A片| 激情五月天色爱| 九九色网专区| 中文不卡一二三区| 久久无意婷婷| 丁香六月啪啪啪| 国产成人av在线| 婷婷五月天色色| 桃色五月婷婷| 99国产99| 丁香色综合| 日本超碰在线| 风流少妇A片一区二区蜜桃| 99啪啪视频| 五月精品| 久色视频首页| 狠狠狠狠免费| 大陆肏屄视频| 夜色综合网| 色哟哟www| 五月丁香六月婷婷玖玖| 九九99精品视品| 性天天中文网| 婷婷久久亚洲| 人人爽欧美婷婷久久久五月丁香| 欧美成人五月天| 婷婷五月天偷拍| 深爱激情丁香五月| 色五月成人| 午夜成人天堂久久无码日韩久久| 国产综合色婷婷精品久久| 五月婷婷五月天| 91久久久久久| 久久婷婷亚洲| 久久R激情| 视频一区二区在线| 97干欧美| 狠狠搞五月天| 激情无码五月天| 亚洲中文无码成人| 亚洲婷婷婷| av网站中文| 99热只有这里才是精品| 五月婷婷九九热| 久久人操| 99热只有这里才是精品| 7777久久亚洲中文字幕| 色444综合网| 丁香婷婷91在线观看视频| 婷婷狠狠色| 久久婷婷精品| 67久久| 天天肏高清在线| 色婷婷五月综合色婷婷| 久婷婷| 丁香五月日本| 中文字幕AV在线播放| 五月色情| 色玖玖| 人人视频色| 色色五月天丁香| 五月综合视频| 久操综合| 丁香五月婷综合网| 亚洲第一色色色色| 丁香激情网| 五月婷婷久草| 婷婷狠狠操| 99视频地址| www九月婷婷| 91操片| 色婷婷激情视频| 色久九| 久久综合五月情| 97狠狠色| 久热视频这里只有精品68| 超碰成人av| 国产欧美日韩综合精品一区二区| 色丁香五月天婷婷| 亚洲成人网站在线观看| 丁香五月婷婷五月| 人人妖人人97| 96精品成人无码A片观看金桔| 久久人妻视步| 玖操97| 综合久久十| 可以免费观看的AV| 综合图片色色| 小视频aaa久久久| 久久在线大香蕉| 91色色五月天| 91丨九色丨东北熟女| 久久久com| 国产成人综合电影| 久久九九综合| 偷拍五月丁香| 婷婷五月欧美综合| 色欧美日| 黄色片久久| 五月丁香激情综合网| 色婷婷888| 能看的AV| 91超碰在线观看| 天天爽夜夜爽夜爽精品| 综合久久婷婷| 色涩影院六月丁香| 婷婷丁香五月天在线| 综合久久综合| 99ri国产精品| 嫩BBB槡BBBB搡BBBB视频| 婷婷天堂综合| 日本天堂久久| 狠狠干伊人| 婷婷五月天久久| 99热国品| 777色婷婷爱五月| 五月天久久综合婷婷| 久在线88综合| 丁香激惜男女| 久久人人九九| 精品一二三区久久AAA片| -91九色大屁股| 激情五月婷婷综合视频| 婷婷五月丁香综合激情小说| 狠狠人人| 激情网五月婷婷| 丁香久久| 天天弄天天操| 爱射综合| 丁香五月天激情视频| 五月婷婷网站| 五月丁香六月婷婷婷婷| 日韩十国产极品久久| 日日懆天天懆| 热久久99热欧美国产亚洲| 五月婷婷九月婷婷九月婷婷| 五月亚洲激情| 91狠狠色丁香婷婷综合久久精品| 嫩草国产| www999日韩精品| 久久艹99| 99亚洲天堂| 九九色逼| 九九综合精品| 欧美性色五月天| 美女被操一区二区| 激情文学 综合 九月| 丁香影院五月综合| 超碰爱爱爱| 九月婷婷综合网| 五月丁香久久丝袜啪啪| 最新色色五月天| 草一草avb| 亚洲欧洲国产精品| 丁香五月自拍| 婷色人人狠| 日本99久久| 亚洲中文字幕av| 99ri国产精品| 九色七七| 色狠狠999综合网| 久久亚洲网| 五月丁香婷婷中文| 五月www| 成人婷婷深爱综合网| 中文字幕色色色| 中文字幕成人网站| 丁香五月情色| 六月丁丁香| 91热在线| 天天操天天操天天操天天操天天操| 午夜av网| Av性爱网| 亚洲综合九九| 激情五月天婷婷| 婷婷五月天AV| 日韩激情婷婷五月天| 婷婷基地成人五月天| 婷婷五月丁香啪啪| AV成人在线播放| 久久性刺激| 五月婷婷六月综合| 九月色婷婷综合亚洲| 国产精品18久久久| 高清a片基地| 丁香五月停停av| 噜噜五月天综合| 色五月首页| 九九九九九999999| 丁香婷婷噜噜| 东京热免费视频网站| 婷婷五月在线视频| 久久9视频| 国产97色在线| 97中文在线| 亚洲综合婷婷| 天天在线久久综合 | 无码啪啪| 五月婷婷深深爱| 丁香五月婷婷呀| 日本操天堂| www..com色爱| 丁香五月婷婷总啪啪| 婷婷亚洲色| 日本欧美999久久久三级片| 五月丁香六月婷婷操操操| 成人在线日韩欧美| 婷婷五月激情丁香| 色五月激情基地| 色狠狠色| 久9热视频| 蜘蛛女侠2003满天星免费观看| 狠狠狠狠免费| sS丁香五月婷婷| av性爱网站| 另类精品视频在线观看| 色99网| 欧美婷婷日本| 天天揷综合网| 大香伊人久色| 亚洲狠9| 久久激情五月婷婷| 中文字幕 中文字幕明步| 少妇2做爰HD韩国电影| 丁六月激情| www.久久爱.c n| 色停停影院五月天| 国产人妻人伦精品一区二区| 国产三级片91| 精品国产乱码久久久久夜深人妻 | 国产亚洲精品久久久久久久久动漫 | 亚洲99综合| 九色视频91| 欧美色色色色色色| 中国丰满熟女A片免费观| 激情五月婷婷色色| 丁香五月婷婷婷婷欧美综合| 99免费热视频| 五月婷精品| www.超碰| 久久成人综合五月天| 久久区区一二三av| 久久久精品色| 婷婷六月五月天综合| 伊人久久大香线蕉av一区| 伊人在线视频| 91人人爽久久涩噜噜噜| www,99色| 色的色综合| 久久丁香五月| 婷婷五月激情五月激情| 久久作爱| 婷婷视频在线| 色婷婷久久综合| 精品综合久久久久久五月天| 成人国产网站| 丁香五月婷婷激情四射深爱激情| 五月天色综合| 五月婷婷激情综合视频| 国产亚洲99| 日本三级第一页| 久久久91| 丁香丝袜五月| 色情五月天视频网| www.久久久久久久久久久| 综合网亚洲| 天天综合激情| 香蕉久久国产av一区二区| 亚洲乱码日产精品BD| 79色色| 亚洲人妻av| 丁香五月婷婷图片综合| 五月婷婷片| 婷婷婷婷色| 激情六月下句是什么| 99福利导航| 亚洲精品第一国产综合亚AV| 五月色婷婷综合丁香精品无遮挡| 久久婷婷丁香| 大香蕉狼人久久| 青草五月天| 99综合视频| 婷婷99狠狠| 少妇高潮呻吟A片免费看软件 | 伊人久久大香线蕉av最新| 久777| 婷婷五月天受日本法律保护| 日本天天色| 99精品视频偷拍| 九九视频在线| 久久精品夜色噜噜亚洲a∨| 亚州色色色| 99热免费18| 五月天激情四射| 99性视频| 校园激情 亚洲| 婷婷五月天综合网| 97操碰在线视频| 欧美精品99久久久| 狼人久草| 99热精品在线播放观看| 在线观看免费视频| 婷婷激情五月综合丁| 亚洲色就是色色色| 五月开行婷婷色五月| 色五月在线综合| 这里只有精品2| 婷婷五月天首页激情| 婷婷五月情天| 日韩另类在线观看| 五月丁香啪| 五月婷视频久久| 激情小说婷婷| 开心婷婷五月天电影院| 性色九九| 欧美色五月天| 铁牛TV人妻| 色碰碰视频| 五月婷婷色色色| 天天色中文字幕女优AV| 日韩成人不卡| 国产午夜精品一区二区三区四区| 色婷婷影视| 无码任你操| 五月丁香六月激情网| 成人国产欧美大片一区| 天天碰夜夜爽| 久久综合中文字幕| 午夜丁香| 另类在线| 久久五月丁香| 人妻内射视频| 丁香五月在线观看| 久久久婷婷婷| 久久新地址| 91九色国产熟女| 丁香五月天之婷婷影院| 五月婷婷六月丁香综合在线| 亚洲成人va| 婷婷五月丁香综合人妻| 人妻自慰高清合集| 亚洲综合婷婷五月| 五月丁香六月婷婷久久久综合| 2020夜夜操天天爽| 天天草天天日| 亚洲亚洲永久无码777777| 国产乱妇乱子伦| 99热精品9| 米奇影视资源777狠狠色婷婷五月天激情网 | 99色综合久久| 激情五月六月婷婷综合啪啪| 五月激情五月丁香| 成人电影AV在线观看| 日本精品99网站| 激情五月综合视频| 亚洲AV电影美洲AV电影| 久久99综合| 丁香五月天激情小说| 97碰碰碰| 成人精品视频99在线观看免费| 综合色五月| 五月丁香六月在线欧美| 99热在线播放精品| 久久久com| http://www.sd-xiangsu.com/| 激情图片婷婷| av操逼网| 亚洲成人免费电影| 色色色国产| 国産精品| 婷五月丁香俺| 丁香花五月天| 婷婷香五月| 99热这里只有精品86| 久久五月丁香| 可以直接看的AV| 亚洲中文字幕av| 中国女人做爰A片| 六月丁花香啪啪激情欧美| 嫩草哈哈操| 激情五月天色婷婷综合| 综合五月婷婷| 狠狠va| 色情一区二区播放| 五月婷婷五月天在线| 99精品视频在线观看| 粉嫩av懂色av蜜臀av熟妇| www.sd-xiangsu.cpm| 日本欧美999久久久三级片| A久久| 色色色综合色| 99久热| 久久久久久9| 日日噜噜夜夜狠狠久久丁香五月| 操B视频在线播放| 婷婷丁香黄色| 中文字幕av在线| 亚洲综合另类| 99视频| av九九| 五月婷婷天天| 深爱激情网五月天| 色综合久久天天综合网 | 一起草AV| yazhou seshipin| 九九久久免费视频44| 精品夜夜澡人妻无码AV| 五月天大香蕉| 五月天com| 亚洲在线操| 日本人妻伦在线中文字幕| 婷婷五月色综合香五月| 激情久久久久久久久久久| 丁香五月网络网络| 五月天天爽| 婷婷五月激情综合| 日本色爽| 国产日日操夜夜操的肉棒视频| 涩涩五月天综合| 99久视频| 三区激情四射av| 激情欧美丁香五月| 色色色99| 久久99精品久久久久久青青AR| 五月天无码| 激情婷婷五月天日本系列| 五月天色色婷婷| 日日做A爰片久久毛片A片英语| 激情综合婷婷久久| 99热99思午夜精品| 日本天堂免费99| 国产午夜精品一区二区三区嫩草| 玖玖婷婷精品| 五月丁香六月婷婷综合伊人| 丁香激情网| 淫五月停停| 久久东京热婷婷五月| 国产avapp 网| 欧美月久久| 丁香天堂夜| 黄色aa观看aaguochan| 亚洲AV久久久久久久久久久久久久久久 | 六月婷婷色| 国产精品久久久久久久久久| 九热久| 五月丁香六月婷婷a v| 色播五月天激情| 色偷偷狠狠| 97色五月天| 五月丁香激情综合六月涩涩爱| 婷婷六月丁香久| 五月天六月天| 天天干天天干天天干天天干天天干天天 | 丁香网五月天激情| 激情五月天伊人影院| 夜夜操激情| 色六月视频| 婷婷5月九九| 亚洲av骚货| 这里只有精品1| 丁香美女五月天婷婷| 五月婷婷性| 亚洲色视频| 女人天堂AV| 色色色地址| 亚洲不卡| 99爱视频在线观看这里只有精品| 五月开心网| 国产成人片| 国产内射婷婷| 超碰伊人碰婷婷五月| 夜夜操天天干| 久热9| 欧美日本免费一道免费视频| 五月婷婷欧洲| 超碰不卡在线| 婷婷九月色| 五月婷婷伦理| 色五月丁香在线| 久久婷婷五月免费视频| 爽极品色| 婷婷综合| 图片区 小说区 区 亚洲五月| 日韩国产在线精品| 久久色午夜在线导航| 色色色区| 激情五月深爱五月观看| 5月婷婷激情6月| 五月天激情亚洲| 丁香五月六月综合激情| 婷婷午夜精品久久久| 五月婷婷性爱网| 极品人妻videosss人妻| 99热精品在线在线| 思思视频久久| 日日噜噜夜夜狠狠久久丁香六月| 婷婷的色色五月天| 99热地址| 337p大胆噜噜噜噜噜91Av| 99热官网| 影音先锋综合网| 殴美日比视频| 五月婷婷六月激情网| 五月丁香色色网| 狠狠色色| 婷婷色综合| www.五月婷婷| 婷婷五月丁香六月| 激情五婷网| 另类图片激情五月| 91凹凸在线| 色五月 五月婷婷| 激情五月婷婷啪啪| 日本狠狠色| 婷婷五月丁香香蕉| 激情五月天婷婷在线网址发给我| 久久精品天| 色婷视频| 成人网站高清无码| 成人在线99| 色婷成人狠干| 婷婷色片| 91无码视频| 激情综合区| 9|无码久久久久久| 婷婷伊人五月天| 婷婷五月丁香六月| www.超碰| 九九AV| 激情五月天视频| 五月婷婷激情四季| 搡BBBB搡BBB搡五十| 亚洲瑟瑟精品在线| 操精品9| 99精品福利视频| 一级性感毛片| 激情q青青草在线婷婷| 欧美精品999| 99爱免费在线观看| 日韩乱轮AV| 亚洲天天综合| 丁香五月网| 97久久人人| AV色五月婷婷| 色色国产| 淫荡综合网| 91seAV| 婷婷五月丁香色综合| 色婷婷丁香综合中文字幕| 激情九月婷婷| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 97狠狠色| 日日操天天操| 五月天激情Av| 91久草五月天婷婷| 六月丁香综合| 五月婷婷中字在线| 欧美三级视频| 中文字幕+乱码+中文字幕在线观看| 天堂草在线观看| 国产AV一区二区三区最新精品 | 婷婷在线视频| 婷婷天堂综合| 天天干天天插| www.cao.com久久| 五月丁香婷婷久久| 亭亭玉月丁香| 亚洲成人网在线观看| 久久五月天激情| 日日操夜夜擼| 深爱丁香激情| 98永久精品| www.婷婷五月天| 婷婷五月天性| 九热久| 中文字幕成人| 毛片新网地| 99热超碰天堂网| 色综合色色色| www.五月丁香av| 日本WWW九九九| 五月综合视频| 五月天色婷婷伊人网| 色久99| 色婷婷亚洲精品天天综| 天天舔天天插天天干| 丁香视频| www久久久| 五月婷婷开心丁香| 色婷婷婷婷| 狠狠精品干练久久久无码中文字幕| 五月色亚洲| 激情五月天在线观看婷婷| 超碰九热| 99操视频| 丁香婷婷十月| 99热99色| 区欧美日韩成人| 日本一道久久| 99色一| 久久资源网五月婷| 久久艹 五月天| 色情五月天丁香社区| www.狠狠狠狠| 热久69| 五月丁香网站| 色五月 五月婷婷| 成人色站,在线视频,看片-SS1AV| 婷婷之玖玖| 99综合免费视频| 久久激情五月婷婷| 欧美天天爽| 日笨久久网| 伊人久久婷婷| 天天爽天天操| www.五月天婷婷姐姐| 欧美综合五月丁香六月婷| 婷婷五月激情欧美大胆视频| www.婷婷五月| 五月丁香龟婷婷| 26uuu欧美日韩| 欧美A片在线视频免费观看| 日本久久婷| 六月丁香影院| 色之综合网| www色婷婷com| 99热热热99精品婷婷| 五月婷婷欧美| 色五月激情婷婷| 九九热再线九九视频免费在线观看| 五月丁香综合中文| www,奇米影视| 开心深爱激情网| 欧美色色色色色| 怡红院院久久| 大香蕉九九| 91婷婷五月丁香碰| 夫妇交换刺激做爰| 啪啪一区| 五月天伊人| 色情五月天A片| 婷婷欧美偷拍综合| 97影院一级片| www.久久99| 婷婷国产日本欧美| 人妻免费网站| 激情九九六月激情免费视频| 久久香蕉网| 无码少妇高潮喷水A片免费 | 色综合综合色| www.久久| 欧美va亚洲va在线播放| 五月丁了香蕉综合| 秋霞性爱AV| 成人精品一区二区三区四区五区| 天堂伊人干| 噜噜视频| 五月婷婷在线丁香| 婷婷五月天天| www.五月天婷婷| 狠狠狠婷婷五月综合| 久久大大香| 丁香五月综合激情性爱| 婷婷五月天激情文学小说| 五月成人丁香av91| 免费啪啪亚州视频| 丁香五月视频在线观看| 欧美一级毛卡片无码| 色女人久久| 欧美色色色色色色色色色色影视| 日本nghangse中文字幕| 丁香婷婷啪啪| 婷婷丁香第一页| 免费观看日韩成人av| 国产激情综合| 99精品网站| 久久精品99久久| 被强行糟蹋的女人A片| 激情综合网五月| 六月丁香婷婷综合色播| 亚洲婷婷综合视频| 日日操天天操| 欧美日本va| 日韩婷婷五月| 丁香五月婷婷亚洲天堂| 直接看的av| 色女伊人| 五月婷婷新网站| 中文字幕欧美精品久久| 综合久色五月| 亭亭玉月丁香| 欧亚成人A片一区二区| 五月天天久久香| 丁香五月视频在线观看| 色情婷婷。| se色婷婷视频| 97人人干| 五月天婷婷视频小说| 五月天小说激情| 久久9热| 婷婷 丁香 久久| 91综合在线视频| 青青草色在线视频观看| 99熟女视频| 操人无码| 婷婷五月亚洲激情| 一区二区三区四区五区| 天天爽,天天操。| 男人综合网| 婷婷五月天手机版视频| 色播丁香婷婷五月激情| 亚洲AV成人无码久久精品老人法拉利| 婷婷五月天亚洲精品| 五月停停丁香| 一本久道综合色婷婷五月| 色99网站| 夜色综合网| 操逼视频一区| 日韩操人| 五月天婷婷基地| 久久色六月| 色yeye欧美| 草榴视频网| 亚洲愉拍99热成人精品| 99精品成人无码A片观看金桔| www.夜夜| 国产VA亚洲VA96| 97色伦另类图片小说视频 | 逼逼AV| AV五月婷婷露脸| 91精品久久久久、久五月天| 丁香五月天黄色片| www.99色| 182tv992tv人之初午夜免费观看| 热久69| 综合色播| 色 五月俺去也| 少妇激情五月天| 人人操AV| 亚洲乱码日产精品BD| 久久久.www| 9久久婷婷国产综合精品性色| 五月婷俺去也| 丁香五月冃欧美| 五月激情综合网| 天天操天天干天天日| 激情文学综合婷婷五月天丁香花| 欧美婷婷综合网| 91九色精品熟女内射| 激情婷婷五月黑人| 五月天婷婷在线播放| 91ncom.色| 色欲一区二区三区精品A片| Caoub青青超碰 | 99免费在线视频| 伊人大香久久| 日韩不卡DvD| 色情五月天se| 俺去也综合| 九九在线精品| 婷婷五月天综合久久日| 91色色色18| 五月天成人网婷婷| 狠狠摸狠狠摸| 中文字幕 码精品视频网站| 五月天小说激情| 中美日韩成人在线| 五月天色婷婷视频| 丁香五月激情网| 色五月综合| 婷婷伊人五月丁香天堂网| 伊人久久艹| 五月丁香六月情亚洲| 久久女人天堂| 日本超碰在线| 婷婷久久丁香五月| 五月婷婷av| 久久人妻久久| 97人妻碰碰中文无码久热丝袜| 99综合网| 欧美顶级少妇做爰HD| 成人 在线观看国产| 97碰碰草| 五月天婷婷亚洲| 另类图片激情五月| 久久婷五月| 国产在线6| 日日射天天射| 亚洲色情在线| 婷婷综合五月天| 激情五月色婷婷| 日本片日本片祼观看网站在线看中文版网页在线看 | 久久久思思热| 99精品视频免费观看| www.狠狠操| 91互操| 色五月婷婷丁香婷婷| 五月婷婷色综图片| 久久免费高| 99五月丁香丁| 天天影院色| 日韩黄在免| 日本色道视频网站| 热99在线| 免费无码毛片一区二区A片 | 久久这里精彩免费在线观看| 人妻操逼视频| 亚洲精品久久久无码| 久草 天堂| 日韩精品二三区| 欧美成人精品A片免费一区99| 六月婷婷七月丁香| 丁香五月六月欧美| 99色视频| 97久人人| 天天操屄网| 成人午夜天| 色九九综合| 婷婷五月天视频免费在线观看| 三级毛片视频| 婷婷日在线观看| 亚洲情色一区| 久久五月天丁香| 日日婷婷不卡| 26uuu精品一区二区| a在线免费v| 99国产小视频| 男妓跪趴把舌头伸进我的嘴巴| 超碰操网| 色色色网站| 人人摸人人干| 色婷婷成人在线| 久久一热| 久久9久久| 亚洲狠狠干| 成人做爰黄A片免费看直播室男男| 久久久人妻不卡| 五月天狠狠色| 亚洲精品444久久久久久| 婷婷成人丁香色情基地30 | 丁香午夜天| 狠狠久久婷五月综合色| 国产阿姨日皮艹逼内射视频| 色婷婷电影| 欧美日本黄色| 26uuu成人网| 九九久99免费视频| 久热这里只有精品视频6| 激情丁香五月| 五月天色导航婷婷资源婷婷| 4399在线日本A片| 色色九九五月天 | 婷婷六月综合基地| 色九九丁香九月色九九色| 色色色色色爱| 色婷婷六月| 五月丁香六月婷婷免费| 久久婷婷影院| 五月婷五月婷伊人伊人五月婷| 丁香九月婷婷综合| 婷婷五月丁香花综合| 激情综合激情综合| 综合爱久久| 天天天综合网| 热久久婷婷| 天天射色五月天| 婷久久高清| 五月天玖玖狠狠色色| 大香蕉220| 婷婷丁香五另类网站| 色婷婷成人做爰A片免费看网站 | 亚洲99手机免费看视频| 香蕉久久国产AV一区二区| 亚洲第一色色色| 99热最新网址| 99热热九九| 五月香婷婷| 99爱欧美| 国产精品人人做人人爽人人添| 综合亚洲五月天| 在线播放成人网站| 韩国情人在线电视剧免费观看高清版全集| 日本婷婷五月天| 操操操www.com| 激情综合婷婷| 九九热免费观看视频| 开心五月深爱五月| 色婷婷丁香五月天在线视频| 国产AV国片偷人妻麻豆| 99热在线中文字幕| 日韩ww| 九九热这里只有精品31| 婷婷桃色网| 五月天婷婷在线AN| 无码九九九九| 国产综合婷婷| 中美日韩成人在线| 国产亚洲在线| 丁香五月在线人妻| 涩五月婷婷| 人人添人人| 青青草大香| 婷婷六月五月天综合| 2021日韩无码| 久久久久久97| 久久九色| 欧美操人| 热久69| 亚洲欧洲午夜成人精品av| 4399亚洲视频| 综合网五月| 婷婷色天香| 伊人大综合| 狠狠干无码| 26.uuu丁香五月婷婷| 婷婷色综合| 操国产人妻| 久久五月婷综合| 噜噜网免费视频| 国产色网站| 日日操日日撸| 狠狠色激情在线| 天天日日| 五月丁香六月激情综合| 日本久久婷| 伊人激情| 色综合久久久久久久久五月| 免费成人网在线观看| 色婷婷大香蕉| 思思热思在线精品视频| 亚洲狠狠终合停停终合| 亚洲va在线∨a天堂va欧美va| 丁香五月婷婷av| 桃色五月天| 99re热久久| 亚州精品成人片| 成人视频一区| 天天综合天天做天天综合| 婷婷五月天亚洲综合网| 99热热这里只精品996小说| 91欧美| 国产亚洲成AV人片在线观黄桃| 丁香婷婷色五月合集| 1024成人在线观看| 狠狠色狠狠操| 欧美亚洲婷婷五月| 五月天婷婷色色网| 激情AV| 亚洲综合婷婷六月丁香五月| 国产免费av在线| 饮料下药迷倒漂亮女同事强干| 91人妻色色网| 久久您您综合网| 91婷婷色| 99综合婷婷五月| 婷婷五月开心六月AV| 日日噜噜夜夜狠狠久久丁香六月| 五月天六月天| 久久久五月天婷婷成人网| 久久综合性| 怡红院精品视频久久久久久久久| 免费成人中文字幕| 婷婷色色网| 久久99成人性爱高清视频| www.91.com黄| 性av| 成人永久免费视频在线观看| 欧美99热| 成人一区在线观看| 成人av免费观看| 五月激情小说网| 天堂AV三级| 五月丁香亚州综合网| 91九色网| 啪啪亚洲综合| AV在线观看网站| 九九色网专区| 天天日,天天射,天天插| 成人中文网| 九九99热| 狠狠撸激情综合丁香五月天俺来啦| 婷婷天堂站| 国产中文字幕在线视频免费观看 | 国产ava| 夜夜大香蕉婷婷丁香| 亚洲熟女色| 操逼123网| 91精品91久久久中77777久久玖玖九九| 99热精品在线| 日本狠狠色| 色的色综合| 婷婷久久丁香五月| 97久久婷婷色| 色婷五月天| 一级操逼内射在线视频| 99 热国产在| 99热网精品| 99九九热视频| www.狠狠| 色婷婷网| 人人舔天天| 99久久这里只有精品| 7777激情基地| 色综合99无码 | 丁香五月婷婷在线观看| 99热这里只有99| 97色图片中文字幕视频在线观看| 丁香五月激动深爱欧美| 久99热| 婷婷瑟瑟五月天| 六月激情婷婷综合| 91AV婷婷| 久久久潮喷-久久久九九-成人AV| 激情五月天视频| 亚洲秘 无码一区二区三区妃光/1| 免费观看的AV| 99re66热这里只有精品| 五月丁香婷婷婷激情爱爱| 色噜噜丁香| 天天插天天插| 五月丁香啪| A网在线欧洲| 久久久久久天天日天天爱| 欧美久人人| 色吧网91| 三男玩一女三A片| 天天舔天天摸天天射| 97久人人| 97碰碰人人视频| 韩国中文字幕91| 婷婷色播婷婷| 婷婷婷久久久| 婷婷五月天高清无码| 久久99久久99精品免视看婷婷| 夜夜夜天天操| 1024婷婷综合久久五月天| 丁香婷婷婷婷十二月在线观看视频| 五月婷婷久久爱| 丁香五月91| 婷婷五月天亚洲综合| 99色看这里只有精品| 久久婷婷五月综合| 婷婷午夜综合| 亚洲国产成人AV在线| 99精彩视频网站在线| 99在线观看| 99这里只有精品|v| 女人天堂AV| 26uuu欧美日本| 久久人妻高清中文| 日日干夜夜撸夜夜骑| 丁香五月亚洲AV| 久久免费操| 五月婷婷综合性爱噜噜| 久操香蕉| 国色天香成人网| 色播丁香| 九九综合| 色婷婷五月天在线观看| 美女网黄| 棕合影院色色| 123草逼网| 天天草天天爽| 91dy.av| 天天日天天摸天天| wWw色五月| 婷婷亚洲五| 激情五月婷| 五月丁香综合中文| 综合玖玖偷拍| 五月丁香久久丝袜啪啪| 99热一本久道| 激情五月天.色网| 青吴乐视频| 99re资源在线视频导航| 欧美十二区| 欧美成人猛片AAAAAAA| 亚洲视频一区| 小香蕉av| 久久性综合| 开心激情婷婷| 久久婷婷亚洲| 色啪网| AA片在线观看视频在线播放| 狠狠色综合网| 99性色| 99热超碰在线| 激情网五月天| 噜噜在线| 夜夜谢天天干| 久久婷婷影院| 国产JK精品白丝AV在线观看| 蜜臀AV在线观看| 五月综合色| 大香蕉婷婷| 国产肥白大熟妇BBBB视频| 中字幕视频在线永久在线观看免费| 国产小精品| 国产精品激情AV久久久青桔| 婷婷情色开心五月天99| 综合色七七| 五月婷婷久久网| 久久综合五月婷婷| 狠狠色婷婷7777久综合| 91精品国产日韩91久久久久久国模| 婷婷操久久| 欧美日韩123| 国产成人高清| 大香蕉婷婷色| 五月丁香亚洲校园欧美| 色婷婷五月开心六月综合| 久热这里只有精品在线观看 | A片试看50分钟做受视频| 香蕉久久国产AV一区二区| 丁香五月激情图片婷婷| 国精产品一区一区三区免费视频 | 国产免费一区二区三州老师F1F1| 婷婷六月综合基地| 爱操人妻| www九九热| 欧美激情性做爰免费视频| 91中文狠狠综合| www.婷婷久久五月天| 色青五月天| 日本美女上人| 婷婷激情五月| 停停色综合伊人| 五月婷婷丁香五月婷婷| 综合图片色色| 内射综合网|