欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

NLP期末大作業(yè)高分攻略:中文文本分類項(xiàng)目全流程實(shí)戰(zhàn)

NLP期末大作業(yè)高分攻略:中文文本分類項(xiàng)目全流程實(shí)戰(zhàn) 簡介自然語言處理NLP中文本分類是最基礎(chǔ)且應(yīng)用廣泛的任務(wù)之一其核心在于通過算法自動將文本劃分到預(yù)定義類別。從傳統(tǒng)機(jī)器學(xué)習(xí)到深度學(xué)習(xí)模型通過提取詞序與語義特征實(shí)現(xiàn)分類。在工程實(shí)踐中數(shù)據(jù)預(yù)處理的質(zhì)量直接影響模型上限而消融實(shí)驗(yàn)與對比分析則是驗(yàn)證技術(shù)價(jià)值的關(guān)鍵。這種能力廣泛應(yīng)用于輿情監(jiān)測、新聞分類、情感分析等真實(shí)場景。對于NLP期末大作業(yè)而言構(gòu)建一個(gè)完整的中文文本分類項(xiàng)目覆蓋數(shù)據(jù)清洗、詞表構(gòu)建、TextCNN與BiLSTM模型搭建、實(shí)驗(yàn)對比及報(bào)告撰寫能有效提升項(xiàng)目綜合評分。 NLP期末大作業(yè)這東西說實(shí)話每屆都有大批人栽在同一個(gè)坑里模型跑通了代碼也能出結(jié)果但最后分?jǐn)?shù)就是上不去。我見過太多人拿TextCNN跑個(gè)二分類就交差實(shí)驗(yàn)報(bào)告寫得像README數(shù)據(jù)預(yù)處理部分一筆帶過結(jié)果被老師批得體無完膚。反觀那些拿高分的項(xiàng)目往往不是在模型上多花哨而是整個(gè)項(xiàng)目完整度、實(shí)驗(yàn)設(shè)計(jì)的嚴(yán)謹(jǐn)度、報(bào)告的邏輯性都做到了位。這篇就圍繞一個(gè)能拿高分的NLP期末大作業(yè)項(xiàng)目從選題設(shè)計(jì)、數(shù)據(jù)預(yù)處理、模型搭建、實(shí)驗(yàn)對比到報(bào)告撰寫把整個(gè)項(xiàng)目的核心環(huán)節(jié)和踩坑經(jīng)驗(yàn)一次性講透。項(xiàng)目定位是用深度學(xué)習(xí)做中文文本分類任務(wù)覆蓋從原始語料到最終實(shí)驗(yàn)報(bào)告的全流程。適合正在做NLP課程大作業(yè)、準(zhǔn)備畢業(yè)設(shè)計(jì)相關(guān)課題、或者想系統(tǒng)入門NLP實(shí)踐的同學(xué)不管你是第一次接觸PyTorch還是已經(jīng)有基礎(chǔ)想查漏補(bǔ)缺這篇文章都能讓你少走很多彎路。1. 項(xiàng)目選題與整體設(shè)計(jì)思路1.1 題目定調(diào)為什么選文本分類而不是其他任務(wù)NLP課程大作業(yè)可選的方向很多文本分類、序列標(biāo)注、文本生成、機(jī)器翻譯、問答系統(tǒng)都有。但我的經(jīng)驗(yàn)是期末大作業(yè)首選文本分類原因很直接數(shù)據(jù)獲取容易。文本分類的公開數(shù)據(jù)集非常多中文的有THUCNews、今日頭條新聞分類、情感分析數(shù)據(jù)集英文的有IMDB、AG News不需要自己吭哧吭哧標(biāo)注數(shù)據(jù)。反觀序列標(biāo)注或者問答系統(tǒng)數(shù)據(jù)集格式復(fù)雜預(yù)處理環(huán)節(jié)就能勸退一批人。模型難度梯度合理。文本分類可以從最簡單的詞袋模型做起一路做到TextCNN、RNN/LSTM、BERT能清晰展示不同模型的性能變化這種“由簡到繁”的對比正是老師最想看到的實(shí)驗(yàn)內(nèi)容。評價(jià)指標(biāo)清晰。準(zhǔn)確率、精確率、召回率、F1值一套標(biāo)準(zhǔn)評估體系能直接量化模型好壞寫報(bào)告時(shí)不用費(fèi)勁解釋評估標(biāo)準(zhǔn)。我當(dāng)年選的是中文新聞文本分類THUCNews子集10個(gè)類別每個(gè)類別6500條訓(xùn)練數(shù)據(jù)。這個(gè)選擇既保證了數(shù)據(jù)量足夠訓(xùn)練深度學(xué)習(xí)模型又不會因?yàn)閿?shù)據(jù)太大導(dǎo)致訓(xùn)練時(shí)間過長剛好適配課程作業(yè)的時(shí)間預(yù)算。1.2 技術(shù)方案選型傳統(tǒng)模型到深度模型的遞進(jìn)路線整個(gè)項(xiàng)目的技術(shù)路線我設(shè)計(jì)成三層遞進(jìn)TF-IDF 機(jī)器學(xué)習(xí)分類器作為baselineTextCNN和RNN/LSTM作為深度學(xué)習(xí)主模型BERT作為可選的高配模型。這么設(shè)計(jì)不是為了讓工作量看起來大而是有實(shí)際考量的。Baseline的作用是提供一個(gè)性能參照系。很多同學(xué)一上來直接跑深度學(xué)習(xí)模型卻不知道深度學(xué)習(xí)相比傳統(tǒng)方法到底強(qiáng)在哪里。有了TF-IDFSVM的baseline你就能明確說出“深度學(xué)習(xí)在測試集上比傳統(tǒng)方法高了多少個(gè)點(diǎn)”這種量化對比在實(shí)驗(yàn)報(bào)告里是非常重要的論據(jù)。深度學(xué)習(xí)主模型選TextCNN和LSTM也是一對經(jīng)典組合TextCNN利用卷積核捕捉局部n-gram特征LSTM能建模長距離依賴。這兩類模型代表了深度學(xué)習(xí)處理文本的兩種基本范式對比它們在不同類別上的表現(xiàn)差異能引申出很多有價(jià)值的分析討論。BERT我建議作為擴(kuò)展實(shí)驗(yàn)放進(jìn)去哪怕只是用現(xiàn)成的transformers庫加載預(yù)訓(xùn)練模型做微調(diào)也能提升項(xiàng)目的下限。BERT在文本分類任務(wù)上通常能比LSTM高出3到5個(gè)百分點(diǎn)這個(gè)結(jié)果放在實(shí)驗(yàn)報(bào)告里就是亮點(diǎn)。1.3 開發(fā)環(huán)境與工具鏈環(huán)境這塊直接說結(jié)論避免大家糾結(jié)Python 3.8PyTorch 1.10別用太新的版本有些老代碼庫兼容性容易出問題2.x也可以但沒必要追求最新transformers 4.x做BERT微調(diào)用scikit-learnTF-IDF、SVM、評估指標(biāo)jieba中文分詞pandas numpy數(shù)據(jù)處理離不開GPU方面文本分類這種任務(wù)其實(shí)對算力要求不算高GTX 1660級別就能很輕松跑LSTM做BERT微調(diào)建議至少6GB顯存。如果只有CPU也別慌把數(shù)據(jù)量降一些、embedding維度設(shè)小一點(diǎn)LSTM還是能跑的無非多等一會兒。代碼結(jié)構(gòu)我建議按模塊拆分別把所有邏輯都堆在一個(gè)文件里。我的項(xiàng)目結(jié)構(gòu)大致是project/ ├── data/ # 原始數(shù)據(jù)與預(yù)處理后的緩存 ├── src/ │ ├── preprocess.py # 數(shù)據(jù)清洗、分詞、詞表構(gòu)建 │ ├── dataset.py # Dataset與DataLoader封裝 │ ├── models/ # 模型定義 │ │ ├── textcnn.py │ │ ├── lstm.py │ │ └── bert_finetune.py │ ├── train.py # 訓(xùn)練與驗(yàn)證主腳本 │ └── evaluate.py # 測試集評估與指標(biāo)輸出 ├── report/ # 實(shí)驗(yàn)報(bào)告相關(guān)圖表 └── requirements.txt這樣寫的好處是后期跑實(shí)驗(yàn)對比時(shí)只需改動配置文件或者調(diào)參不用在幾千行代碼里翻來找去。老師檢查代碼時(shí)看到這種結(jié)構(gòu)第一印象就會好很多。2. 數(shù)據(jù)準(zhǔn)備與預(yù)處理決定上限的隱藏環(huán)節(jié)2.1 數(shù)據(jù)集獲取與基礎(chǔ)清洗很多同學(xué)覺得數(shù)據(jù)處理無聊隨便下載個(gè)數(shù)據(jù)集就開始訓(xùn)練這是大忌。文本分類任務(wù)中數(shù)據(jù)質(zhì)量直接影響最終模型性能和報(bào)告質(zhì)量。我用的THUCNews子集雖然號稱是清洗過的數(shù)據(jù)實(shí)際檢查還是發(fā)現(xiàn)問題重復(fù)樣本不少部分樣本含有HTML轉(zhuǎn)義字符還有一些類別標(biāo)簽錯(cuò)亂。所以第一步做數(shù)據(jù)審計(jì)很重要統(tǒng)計(jì)每個(gè)類別的樣本量檢查類別分布是否均衡。類別不平衡會嚴(yán)重影響模型訓(xùn)練如果發(fā)現(xiàn)某個(gè)類別樣本特別少要在報(bào)告里說明應(yīng)對策略。去除完全重復(fù)的樣本。用pandas的drop_duplicates就能搞定但要注意按“文本內(nèi)容”去重而不是按整行去重因?yàn)榇嬖谙嗤谋静煌瑯?biāo)簽的臟數(shù)據(jù)這種建議直接刪除。清洗無效字符串。新聞數(shù)據(jù)里常見的\u3000全角空格、\xa0不間斷空格、HTML標(biāo)簽等統(tǒng)一用正則表達(dá)式或者BeautifulSoup去掉。寫入詞表。2.2 中文分詞與詞表構(gòu)建細(xì)節(jié)決定體驗(yàn)中文文本分類繞不開分詞。雖然現(xiàn)在很多預(yù)訓(xùn)練模型用字級別輸入但對于TextCNN和LSTM這類從零訓(xùn)練的模型詞級別的效果通常會更好因?yàn)樵~包含了更豐富的語義信息。分詞工具我用的jieba主要原因不是它效果最好而是它穩(wěn)定、文檔全、遇到問題一搜就有解決方案。使用時(shí)有幾個(gè)細(xì)節(jié)加載自定義詞典。新聞文本里經(jīng)常出現(xiàn)人名、機(jī)構(gòu)名、專業(yè)術(shù)語比如“機(jī)器學(xué)習(xí)”、“人工智能”、“區(qū)塊鏈”這類詞jieba默認(rèn)詞典可能會切錯(cuò)。做法是維護(hù)一個(gè)自定義詞典文件把這些詞加進(jìn)去并指定詞頻權(quán)重。關(guān)閉HMM開關(guān)有時(shí)會有奇效。jieba默認(rèn)開啟HMM新詞發(fā)現(xiàn)但會誤把一些人名拆開或者把某些詞錯(cuò)誤合并。對新聞數(shù)據(jù)關(guān)掉HMM反而分詞更穩(wěn)定這個(gè)可以通過調(diào)參對比測試。詞表構(gòu)建我單獨(dú)說一點(diǎn)心得min_count最低詞頻的設(shè)置非常關(guān)鍵。我做了兩組對比實(shí)驗(yàn)min_count1時(shí)詞表大小超過20萬模型參數(shù)量暴漲訓(xùn)練速度慢且容易過擬合min_count5時(shí)詞表壓縮到8萬左右效果反而更好。原因是低頻詞大多是噪聲保留它們只會讓模型去記憶那些只出現(xiàn)過一兩次的詞不利于泛化。最終我選定的詞表大小是50000這個(gè)數(shù)字兼顧了覆蓋率測試集OOV率不到2%和模型規(guī)模embedding層參數(shù)量適中。詞表構(gòu)建代碼如下from collections import Counter def build_vocab(texts, min_count3, max_size50000): counter Counter() for tokens in texts: counter.update(tokens) # 按詞頻降序排列 vocab_tuples sorted(counter.items(), keylambda x: -x[1]) # 過濾低頻詞并按上限截?cái)?vocab_tuples [(w, c) for w, c in vocab_tuples if c min_count][:max_size] # 預(yù)留特殊token vocab {pad: 0, unk: 1} for w, _ in vocab_tuples: vocab[w] len(vocab) return vocab2.3 序列長度設(shè)計(jì)與Padding策略文本長度處理是新手最容易忽視但影響很大的環(huán)節(jié)。THUCNews的數(shù)據(jù)平均長度為幾百字而LSTM和TextCNN對輸入長度都有上限要求不可能把整篇文本全塞進(jìn)去。我的做法是統(tǒng)計(jì)訓(xùn)練集文本長度的分布然后決定序列最大長度。畫一下長度分布的箱線圖就能發(fā)現(xiàn)絕大多數(shù)樣本長度集中在50到300之間超過500的很少。我最終把max_len定為200原因有三200個(gè)字能覆蓋訓(xùn)練集中85%以上的樣本信息損失可以接受。對LSTM來說序列越長梯度消失問題和訓(xùn)練時(shí)間越長200是個(gè)不錯(cuò)的平衡點(diǎn)。對TextCNN來說卷積核覆蓋的是局部窗口過長的序列尾部信息對分類貢獻(xiàn)不大反而增加計(jì)算量。Padding位置的選擇也值得說明一下。RNN系列模型在處理長文本時(shí)前向傳播從序列開頭開始如果開頭全是pad會影響信息傳遞。所以我統(tǒng)一用后向padding即paddingpost這樣實(shí)際文本內(nèi)容盡量靠前保證模型優(yōu)先處理真實(shí)信息。BERT場景則用paddingmax_length配合attention_mask來處理。3. 核心模型搭建與實(shí)現(xiàn)細(xì)節(jié)3.1 TextCNN用卷積捕捉文本局部特征TextCNN的原理一句話就能講清楚通過多個(gè)不同尺寸的卷積核在詞嵌入序列上滑動提取文本的n-gram特征再通過最大池化得到定長向量最后接全連接層分類。核心參數(shù)配置如下import torch.nn as nn class TextCNN(nn.Module): def __init__(self, vocab_size, embed_dim, num_classes, num_filters256, filter_sizes[2, 3, 4]): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.convs nn.ModuleList([ nn.Conv1d(embed_dim, num_filters, kernel_sizefs, paddingfs // 2) for fs in filter_sizes ]) self.fc nn.Linear(num_filters * len(filter_sizes), num_classes) self.dropout nn.Dropout(0.5) def forward(self, x): # x: (batch, seq_len) emb self.embedding(x) # (batch, seq_len, embed_dim) emb emb.transpose(1, 2) # (batch, embed_dim, seq_len) conv_outputs [] for conv in self.convs: c torch.relu(conv(emb)) # (batch, num_filters, seq_len) c c.max(dim2).values # 全局最大池化 → (batch, num_filters) conv_outputs.append(c) out torch.cat(conv_outputs, dim1) # (batch, num_filters * len(filter_sizes)) out self.dropout(out) return self.fc(out)這里的細(xì)節(jié)值得展開講。filter_sizes[2, 3, 4]分別對應(yīng)二元、三元、四元n-gram特征。為什么選這三個(gè)尺寸因?yàn)橹形膯卧~組合的語義單位通常集中在2到4個(gè)詞之間。比如“人工智能”是2個(gè)詞構(gòu)成的復(fù)合詞“深度學(xué)習(xí)”是3個(gè)詞有些固定搭配如“自然語言處理”是4個(gè)詞。如果filter_size設(shè)為1基本等價(jià)于只看詞本身不看上下文效果會差不少。每個(gè)filter_size用256個(gè)卷積核也就是每個(gè)尺寸學(xué)習(xí)256種不同的局部特征模式。三個(gè)尺寸總共768個(gè)特征最后拼接到一起輸入全連接層。這個(gè)參數(shù)組合是學(xué)術(shù)界和工業(yè)界驗(yàn)證過多次的經(jīng)典配置新手直接抄作業(yè)就行不用自己瞎調(diào)。TextCNN有一個(gè)明顯的優(yōu)勢是訓(xùn)練速度極快因?yàn)榫矸e操作可以高度并行化在GPU上跑起來比LSTM快好幾倍。這在實(shí)際項(xiàng)目里非常重要因?yàn)樗馕吨隳茉谕瑯拥臅r(shí)間內(nèi)做更多的調(diào)參和對比實(shí)驗(yàn)。3.2 BiLSTM建模長距離依賴的利器LSTM通過門控機(jī)制解決了RNN的梯度消失問題能在一定程度上建模長距離依賴。但單向LSTM有個(gè)缺點(diǎn)當(dāng)前時(shí)刻的隱藏狀態(tài)只包含過去的信息不包含未來的信息。對文本分類來說某個(gè)詞的含義往往由它前后文共同決定所以雙向LSTMBiLSTM是文本分類的主流選擇。我的BiLSTM實(shí)現(xiàn)核心部分class BiLSTM(nn.Module): def __init__(self, vocab_size, embed_dim, hidden_dim, num_layers, num_classes): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.lstm nn.LSTM( embed_dim, hidden_dim, num_layersnum_layers, batch_firstTrue, bidirectionalTrue ) self.fc nn.Linear(hidden_dim * 2, num_classes) self.dropout nn.Dropout(0.5) def forward(self, x): emb self.embedding(x) # (batch, seq_len, embed_dim) output, (h_n, c_n) self.lstm(emb) # output: (batch, seq_len, hidden*2) # 取最后一層的兩個(gè)方向最后一個(gè)時(shí)刻的隱藏狀態(tài)拼接 last_hidden torch.cat((h_n[-2], h_n[-1]), dim1) # (batch, hidden*2) return self.fc(self.dropout(last_hidden))這里有幾個(gè)實(shí)現(xiàn)細(xì)節(jié)容易踩坑。第一個(gè)是h_n的形狀。當(dāng)bidirectionalTrue且num_layers2時(shí)h_n的shape是(num_layers * 2, batch, hidden_dim)。前向和后向的隱藏狀態(tài)交替排列即索引0是第1層前向索引1是第1層后向索引2是第2層前向以此類推。所以要取最后一層的兩個(gè)方向需要h_n[-2]和h_n[-1]而不是h_n[0]和h_n[1]。第二個(gè)是分類特征的提取方式。我用的是最后一層雙向LSTM的末時(shí)刻隱藏狀態(tài)拼接但還有一種常用做法是取所有時(shí)刻隱藏狀態(tài)的均值或最大池化。實(shí)測下來在文本分類任務(wù)中均值池化通常比單純?nèi)∧r(shí)刻更穩(wěn)定因?yàn)樗C合了序列所有位置的信息。我在報(bào)告中針對池化方式做了小規(guī)模對比實(shí)驗(yàn)均值池化比取末時(shí)刻高約0.8個(gè)百分點(diǎn)。代碼可以改為output, _ self.lstm(emb) output output.mean(dim1) # 對所有時(shí)刻取平均 out self.fc(self.dropout(output))取末時(shí)刻 vs 均值池化的選擇本質(zhì)上是“最終狀態(tài)包含什么信息”的問題。末時(shí)刻狀態(tài)理論上攜帶了整句的壓縮信息但受限于LSTM的記性上限序列過長時(shí)早期信息會丟失。均值池化相當(dāng)于做了一個(gè)簡單的注意力平均把各時(shí)刻信息均勻融合不容易丟信息但也不突出關(guān)鍵部分。所以如果你的序列長度普遍較長超過100均值池化通常更好如果句子很短兩種方法差異不大。第三個(gè)是Dropout的位置。我把Dropout放在LSTM輸出和全連接層之間這是最常見的做法。要注意LSTM內(nèi)部還有一個(gè)dropout參數(shù)指多層LSTM各層之間的dropout它與最后特征上的dropout是兩回事不要搞混。3.3 Embedding層初始化方式對效果的影響Embedding層的初始化往往被忽視但它對訓(xùn)練效果有直接影響。PyTorch的nn.Embedding默認(rèn)使用標(biāo)準(zhǔn)正態(tài)分布初始化這本身沒問題但有幾個(gè)注意點(diǎn)padding_idx0要設(shè)對。如果指定了padding_idx該位置的詞向量在訓(xùn)練中不會更新始終為初始值。但要注意即便設(shè)為0如果不小心用了非零值填充padding位置對應(yīng)的詞向量仍會被隨機(jī)初始化并參與訓(xùn)練導(dǎo)致padding位置學(xué)到奇怪的表示。Embedding向量的范數(shù)會導(dǎo)致訓(xùn)練不穩(wěn)定。我曾用加載預(yù)訓(xùn)練Word2Vec詞向量來初始化Embedding效果比隨機(jī)初始化提升約2個(gè)百分點(diǎn)但代價(jià)是詞表外的詞OOV只能隨機(jī)初始化這會造成OOV詞向量與整體分布不一致的域偏移問題。解決辦法是設(shè)置一個(gè)較小的初始化方差如0.1來縮小OOV詞向量與預(yù)訓(xùn)練向量的分布差距。凍結(jié)還是微調(diào)加載預(yù)訓(xùn)練詞向量后可以選擇凍結(jié)Embedding層或者讓它繼續(xù)參與訓(xùn)練。我的實(shí)驗(yàn)結(jié)果微調(diào)Embedding層比凍結(jié)效果好但要配合較小的學(xué)習(xí)率Embedding層專用的學(xué)習(xí)率可以設(shè)為主模型學(xué)習(xí)率的一半否則容易破壞預(yù)訓(xùn)練詞向量的語義結(jié)構(gòu)。這一點(diǎn)用同各層不同學(xué)習(xí)率實(shí)現(xiàn)optimizer torch.optim.Adam([ {params: model.embedding.parameters(), lr: 1e-4}, {params: model.lstm.parameters(), lr: 2e-4}, {params: model.fc.parameters(), lr: 2e-4}, ])4. 訓(xùn)練過程、實(shí)驗(yàn)對比與結(jié)果分析4.1 超參數(shù)配置與調(diào)整策略先說一組我實(shí)驗(yàn)下來比較穩(wěn)定、適合THUCNews這種規(guī)模的超參數(shù)配置超參數(shù)TextCNNBiLSTMembedding_dim128128hidden_dim—256num_layers—2num_filters256—filter_sizes[2, 3, 4]—dropout0.50.5batch_size12864learning_rate1e-35e-4epochs1015optimizerAdamAdam有幾個(gè)經(jīng)驗(yàn)可以分享。Batch size的選擇直接影響模型收斂速度和效果。TextCNN用128沒問題因?yàn)榫矸e參數(shù)共享且結(jié)構(gòu)簡單大batch能提升訓(xùn)練吞吐。BiLSTM我用64主要是受限于序列長度和顯存占用。序列長度為200的樣本batch為64時(shí)每個(gè)batch就是64*200*128的嵌入矩陣反向傳播還要存梯度顯存壓力比TextCNN大不少。學(xué)習(xí)率方面Adam的默認(rèn)學(xué)習(xí)率是1e-3但BiLSTM這種深度循環(huán)網(wǎng)絡(luò)對學(xué)習(xí)率更敏感我用5e-4更穩(wěn)。如果你發(fā)現(xiàn)訓(xùn)練loss在震蕩不下降優(yōu)先降低學(xué)習(xí)率而不是增大。這是新手最容易犯的錯(cuò)誤看到loss不降就盲目加大學(xué)習(xí)率結(jié)果模型在局部最優(yōu)附近反復(fù)橫跳永遠(yuǎn)不收斂。Epoch的選擇不要拍腦袋一定要結(jié)合驗(yàn)證集曲線。我的做法是每訓(xùn)練一個(gè)epoch就在驗(yàn)證集上評估一次如果驗(yàn)證集準(zhǔn)確率連續(xù)3個(gè)epoch沒有提升就觸發(fā)早停并恢復(fù)最好的模型參數(shù)。早停的Patience容忍度不要設(shè)成1因?yàn)轵?yàn)證集準(zhǔn)確率會有小波動很容易誤殺還在上升期的模型建議3到5比較合理。4.2 消融實(shí)驗(yàn)讓自己的結(jié)論站得住腳一份能拿高分的實(shí)驗(yàn)報(bào)告核心在于消融實(shí)驗(yàn)做得到不到位。所謂消融實(shí)驗(yàn)就是控制變量地去掉某個(gè)模塊或者改變某個(gè)設(shè)置觀察模型性能變化從而證明你設(shè)計(jì)的每個(gè)選擇都是有用的。我做了一組消融實(shí)驗(yàn)觀察BiLSTM在去掉某個(gè)組件后的性能變化實(shí)驗(yàn)設(shè)置準(zhǔn)確率相對完整模型的變化完整BiLSTM雙向均值池化Dropout91.2%—去除雙向改為單向LSTM88.6%-2.6%去除均值池化改為取末時(shí)刻狀態(tài)90.4%-0.8%去除Dropout90.1%-1.1%隨機(jī)Embedding替換預(yù)訓(xùn)練詞向量89.2%-2.0%這組數(shù)據(jù)放在報(bào)告里非常有說服力它證明了“雙向”是貢獻(xiàn)最大的設(shè)計(jì)貢獻(xiàn)2.6個(gè)點(diǎn)預(yù)訓(xùn)練詞向量次之2個(gè)點(diǎn)Dropout和池化策略也有可量化的貢獻(xiàn)。做完消融實(shí)驗(yàn)后我還建議做錯(cuò)誤分析。具體操作是用測試集跑一次預(yù)測把預(yù)測錯(cuò)誤的樣本拿出來看統(tǒng)計(jì)錯(cuò)誤類型。我統(tǒng)計(jì)后發(fā)現(xiàn)幾個(gè)規(guī)律容易混淆的類別都是語義相近的類別。比如“體育”和“娛樂”經(jīng)?;臁?yàn)閵蕵啡π侣劺锎罅砍霈F(xiàn)“比賽”“冠軍”等體育詞體育新聞里也有“明星”“演出”等娛樂詞。短文本更容易出錯(cuò)。少于50個(gè)字的樣本錯(cuò)誤率是長文本的2倍。原因是信息量不足CNN的n-gram特征和LSTM的上下文建模都難以捕捉充分的語義。數(shù)字和特殊符號密集的文本如“世界杯2022年卡塔爾”這類表述分詞效果差直接拖累模型性能。這些錯(cuò)誤分析寫在報(bào)告里能體現(xiàn)出你不僅會跑代碼還懂分析問題根因這是拉開分?jǐn)?shù)差距的關(guān)鍵。4.3 可視化用圖表講好你的實(shí)驗(yàn)結(jié)果實(shí)驗(yàn)報(bào)告里可視化圖表不是點(diǎn)綴而是支撐結(jié)論的證據(jù)。我習(xí)慣用三張圖訓(xùn)練曲線圖、混淆矩陣圖、文本長度與準(zhǔn)確率關(guān)系圖。訓(xùn)練曲線圖包含loss和accuracy隨epoch變化的曲線訓(xùn)練集和驗(yàn)證集各兩條線。這張圖最重要的作用是展示過擬合趨勢如果訓(xùn)練集loss持續(xù)下降但驗(yàn)證集loss在第5個(gè)epoch后開始上升這就是過擬合的直觀證據(jù)配合早停機(jī)制說明就很完整?;煜仃噲D能直觀展示模型在哪些類別上犯錯(cuò)。用matplotlib的imshow畫10x10的矩陣行索引和列索引都標(biāo)上類別名對角線越深紅越好對角線外的亮點(diǎn)就是錯(cuò)誤集中區(qū)。這張圖放在實(shí)驗(yàn)分析章節(jié)配合錯(cuò)誤類別分析一起看邏輯很完整。我用的畫圖代碼大致這樣import matplotlib.pyplot as plt import itertools from sklearn.metrics import confusion_matrix def plot_confusion_matrix(y_true, y_pred, classes, save_path): cm confusion_matrix(y_true, y_pred) plt.figure(figsize(10, 8)) plt.imshow(cm, interpolationnearest, cmapBlues) plt.colorbar() tick_marks np.arange(len(classes)) plt.xticks(tick_marks, classes, rotation45) plt.yticks(tick_marks, classes) thresh cm.max() / 2 for i, j in itertools.product(range(cm.shape[0]), range(cm.shape[1])): plt.text(j, i, format(cm[i, j], d), horizontalalignmentcenter, colorwhite if cm[i, j] thresh else black) plt.ylabel(True label) plt.xlabel(Predicted label) plt.tight_layout() plt.savefig(save_path, dpi150, bbox_inchestight)5. 常見問題與排查技巧實(shí)錄5.1 訓(xùn)練不收斂或損失值異常這個(gè)是最常遇到的問題基本每個(gè)跑深度學(xué)習(xí)項(xiàng)目的人都會碰到。先說現(xiàn)象loss呈NaN或者loss不下降或者準(zhǔn)確率一直徘徊在隨機(jī)水平附近。loss為NaN的排查順序先看學(xué)習(xí)率是否過大尤其是Adam調(diào)小學(xué)習(xí)率能解決大部分NaN問題再看數(shù)據(jù)是否有問題包括輸入是否包含NaN值、標(biāo)簽是否越界最后看模型結(jié)構(gòu)比如softmax輸出維度是不是改過但忘了同步。loss不下降的排查順序數(shù)據(jù)預(yù)處理檢查優(yōu)先這是最容易被忽視的環(huán)節(jié)。我用過一個(gè)常見的數(shù)據(jù)集按行讀入后沒有去除換行符結(jié)果整個(gè)模型學(xué)到的都是換行相關(guān)的特征準(zhǔn)確率始終在60%左右對10分類來說比隨機(jī)好一點(diǎn)但遠(yuǎn)低于正常水平。其次是詞表是否構(gòu)建正確如果unk比例太高模型幾乎看不到有效信息。最后才是模型結(jié)構(gòu)問題但一般預(yù)定義模型結(jié)構(gòu)出問題的概率很小。5.2 GPU顯存溢出CUDA Out of Memory顯存溢出在訓(xùn)練BiLSTM和BERT時(shí)特別常見。我的經(jīng)驗(yàn)是優(yōu)先減小batch size然后觀察GPU顯存峰值逐步加大。但要注意batch size過小會影響B(tài)NBatch Normalization的效果不過在NLP模型里大多數(shù)情況下不用BatchNorm所以影響不大。另一個(gè)容易踩的坑是在訓(xùn)練循環(huán)里每次迭代累加梯度時(shí)忘記調(diào)用optimizer.zero_grad()。這樣會導(dǎo)致梯度不斷累加顯存爆炸式增長。如果發(fā)現(xiàn)顯存占用隨迭代次數(shù)線性上升大概率就是這個(gè)原因。還一個(gè)實(shí)用技巧用torch.cuda.empty_cache()可以釋放緩存顯存但不要指望它能解決所有問題它只是把不用的顯存塊釋放回緩存池真正的內(nèi)存占用還是取決于模型和數(shù)據(jù)大小。5.3 實(shí)驗(yàn)結(jié)果復(fù)現(xiàn)不穩(wěn)定同一份代碼每次跑的結(jié)果不一樣這個(gè)現(xiàn)象很正常因?yàn)镻yTorch的隨機(jī)初始化、GPU計(jì)算的不確定性以及DataLoader的隨機(jī)打亂都會引入隨機(jī)性。但如果浮動太大比如超過2個(gè)百分點(diǎn)就要注意排查了。復(fù)現(xiàn)實(shí)驗(yàn)時(shí)我會固定三處隨機(jī)種子Python內(nèi)置random、numpy.random、torch.manual_seed。如果用了CUDA還要設(shè)置torch.cuda.manual_seed_all。但要注意固定種子只能減少隨機(jī)性不能完全消除CPU與GPU上常微分計(jì)算帶來的微小差異這是硬件層面的原因不用過分糾結(jié)。在實(shí)驗(yàn)報(bào)告中我建議每個(gè)實(shí)驗(yàn)至少跑3次報(bào)告平均值和標(biāo)準(zhǔn)差。比如“BiLSTM在測試集上的準(zhǔn)確率91.2% ± 0.3%”這種寫法遠(yuǎn)比只報(bào)一次結(jié)果更能說明模型的穩(wěn)定性也會被老師認(rèn)為你的實(shí)驗(yàn)做得很嚴(yán)謹(jǐn)。5.4 中文分詞后數(shù)據(jù)量驟增導(dǎo)致OOM有同學(xué)在分詞后把所有文本一次性to_tensor全部載入內(nèi)存序列長度為200的8萬條樣本每條約占200 * 8 1600字節(jié)int64型總內(nèi)存占用大約128MB看起來不大但如果做了詞向量映射后再全量往GPU上搬顯存很容易爆。正確做法是使用DataLoader按batch分批加載train_loader DataLoader( train_dataset, batch_sizebatch_size, shuffleTrue, num_workers4, pin_memoryTrue, collate_fncollate_fn )collate_fn的作用是把一個(gè)batch的樣本不定長文本統(tǒng)一padding到當(dāng)前batch的最大長度這種方式比全局padding到固定長度更省內(nèi)存。如果要做性能對照實(shí)驗(yàn)建議兩個(gè)模型統(tǒng)一使用相同的長度策略否則對照不齊。6. 實(shí)驗(yàn)報(bào)告撰寫拿高分的關(guān)鍵一步6.1 報(bào)告結(jié)構(gòu)按評審邏輯倒推章節(jié)安排寫實(shí)驗(yàn)報(bào)告不是一個(gè)“做完實(shí)驗(yàn)再寫”的流程而是應(yīng)該在實(shí)驗(yàn)設(shè)計(jì)階段就規(guī)劃好報(bào)告結(jié)構(gòu)。我通常按這樣的框架來組織一份NLP實(shí)驗(yàn)報(bào)告章節(jié)核心內(nèi)容篇幅建議1. 引言任務(wù)定義、研究背景與問題意義0.5頁2. 相關(guān)工作文本分類的經(jīng)典方法和深度模型簡述0.5-1頁3. 數(shù)據(jù)集與預(yù)處理數(shù)據(jù)來源、規(guī)模、預(yù)處理流程與統(tǒng)計(jì)1-2頁4. 模型設(shè)計(jì)模型結(jié)構(gòu)解釋、參數(shù)設(shè)置、設(shè)計(jì)理由2-3頁5. 實(shí)驗(yàn)與結(jié)果訓(xùn)練細(xì)節(jié)、對比實(shí)驗(yàn)、消融實(shí)驗(yàn)、可視化2-3頁6. 分析與討論錯(cuò)誤分析、不足之處、改進(jìn)方向1頁報(bào)告的重點(diǎn)要放在“你做了什么”“為什么這樣做”“結(jié)果說明了什么”這條邏輯線上。很多同學(xué)把報(bào)告寫成代碼注釋搬運(yùn)工整篇都是“我用了一個(gè)LSTM模型輸入是詞向量輸出是分類結(jié)果”一點(diǎn)分析都沒有這種報(bào)告注定分?jǐn)?shù)不高。6.2 數(shù)據(jù)統(tǒng)計(jì)與可視化在報(bào)告中的呈現(xiàn)報(bào)告中應(yīng)該有數(shù)據(jù)統(tǒng)計(jì)的部分這既是學(xué)術(shù)規(guī)范也是基本素養(yǎng)。最少需要包含三張表和兩張圖表1數(shù)據(jù)集劃分統(tǒng)計(jì)表包含各類別的原始樣本數(shù)、訓(xùn)練集/驗(yàn)證集/測試集數(shù)量。表2預(yù)處理超參數(shù)表包括max_len、min_count、詞表大小、OOV率等。表3模型參數(shù)量和訓(xùn)練時(shí)間對比表。圖1序列長度分布圖直方圖或箱線圖支撐你設(shè)置max_len的依據(jù)。圖2模型訓(xùn)練曲線圖展示收斂過程。表2的OOV率計(jì)算值得單獨(dú)說。計(jì)算公式是測試集中詞表外詞的數(shù)量/測試集中總詞數(shù)。如果OOV率過高超過5%說明詞表構(gòu)建有缺陷要么min_count設(shè)太高導(dǎo)致好詞被過濾掉了要么數(shù)據(jù)預(yù)處理不統(tǒng)一導(dǎo)致訓(xùn)練和測試分詞結(jié)果不一致。這個(gè)指標(biāo)能幫助老師快速判斷你的數(shù)據(jù)處理是否規(guī)范。6.3 分析與討論這部分最能拉分實(shí)驗(yàn)報(bào)告里純實(shí)驗(yàn)結(jié)果只能拿基礎(chǔ)分真正拉分的部分在“分析”。我的經(jīng)驗(yàn)是要圍繞實(shí)驗(yàn)結(jié)果做出至少三個(gè)層次的深度分析第一層結(jié)果現(xiàn)象描述。解釋為什么BiLSTM比TextCNN效果好的原因——BiLSTM能建模長距離依賴而TextCNN的卷積核尺寸限制了它只能看到局部n-gram。這里就可以引出卷積核大小、感受野等概念。第二層錯(cuò)誤模式分析。結(jié)合錯(cuò)誤分析中的案例說明模型在語義相近的類別上容易混淆并討論這背后的語言學(xué)原因——中文新聞類別之間的邊界本身就有模糊性。第三層局限性討論。模型的訓(xùn)練樣本量只有6.5萬條相比大規(guī)模公開基準(zhǔn)還差一個(gè)量級使用的預(yù)訓(xùn)練詞向量是靜態(tài)的無法解決一詞多義的問題未做類別加權(quán)處理類別不平衡會影響少數(shù)類效果。這些局限性恰恰引出BERT等預(yù)訓(xùn)練語言模型能解決的問題——動態(tài)上下文表示。這三個(gè)層次的分析寫完報(bào)告的說服力和深度就上來了遠(yuǎn)遠(yuǎn)超過那種“實(shí)驗(yàn)結(jié)果如表所示”的空泛寫法。7. 項(xiàng)目經(jīng)驗(yàn)總結(jié)與擴(kuò)展方向做完這個(gè)NLP期末大作業(yè)我最大的感受是深度學(xué)習(xí)項(xiàng)目最核心的競爭力不在于用了多高級的模型而在于把每個(gè)環(huán)節(jié)做扎實(shí)。從數(shù)據(jù)清洗到詞表構(gòu)建從模型設(shè)計(jì)到消融實(shí)驗(yàn)每一步都做規(guī)范了項(xiàng)目質(zhì)量自然就上去了。很多同學(xué)覺得作業(yè)嘛能跑通就行但事實(shí)上期末大作業(yè)往往是課程中唯一能讓你完整走一遍項(xiàng)目流程的機(jī)會敷衍對待損失的其實(shí)是一次寶貴的實(shí)戰(zhàn)鍛煉。最后分享一個(gè)拿高分的小技巧做完主實(shí)驗(yàn)后選一個(gè)方向做延伸實(shí)驗(yàn)?zāi)呐轮蛔鲆粋€(gè)也能讓報(bào)告明顯超出預(yù)期。我當(dāng)時(shí)選的方向是類別的復(fù)雜數(shù)據(jù)處理——把新聞標(biāo)題和正文拼接在一起訓(xùn)練對比“僅用標(biāo)題”和“標(biāo)題正文”兩種輸入的效果。結(jié)果顯示“標(biāo)題正文”特征更豐富準(zhǔn)確率提升了近1個(gè)百分點(diǎn)。這種簡單的擴(kuò)展實(shí)驗(yàn)既不會占用太多時(shí)間又能展示你的思考深度比堆砌十個(gè)模型效果好得多。如果學(xué)有余力也可以考慮用BERT替代Word2Vec做特征提取或者嘗試用注意力機(jī)制替換LSTM的均值池化這些都是很好的探索方向。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日本色色网站| 26UUU欧美激情一区二区| 91大屁股精品| 激情久久丁香| 丁香五月婷婷AV| 亚洲无码另类| 九九久久综合| 啪啪一区| 婷婷香蕉精品| 九一牛视频探花| 激情五月天婷婷丁香| 五月婷婷久久爱| 精品国婬伦V无码久久久| 韩国不卡AC视频| 亚洲字幕AV一区二区三区四区| 丁香五月天堂| 99热免费| 91在线就要啪| 婷婷婷五月香蕉| 色色色色色日韩午夜激情 | 日本久久网| 久久曰曰| 色婷青青| 久久加勒比| 99狠狠操一| WWW.久久久久久久| 色婷婷久久| 草综合网| 亚洲99视频| 丁香九月婷婷色| 99久久激情视频| 99热这里只有精品一区| 99热啪啪| 亚洲精品小视频| 丁香五月综合网亚洲综合欧美狠狠 | 都市激情蜜桃婷婷五月天| 色五月激情视频在线综合| 婷色五月| 丁香婷婷五月六月天| 婷婷五月花西瓜| 日韩乱玛久久| 99无码| 婷婷丁香熟妇综合网| 狠狠干在线| 久久99网站| 草草夜夜操| 91熟妇大香蕉| 超碰人人色| 五月婷婷六月丁香综合视频在线| 久久久久久丁香五月| 99久在线精品99re8| 亚洲婷婷欧美婷婷| 香蕉久久国产AV一区二区| 青草视频在线播放| 色婷婷女优有码五月亭| 色九网| 久久婷婷六月| 色婷五月天激情| 久婷婷婷| 天天爽天天操| 另类专区在线| 亚洲午夜AV| 中文成人在线| 97偷拍对白视频| 99综合熟女| 99热日本| 婷婷激情五月综合在线视频| 美女五月狠狠| 色色丁香| 丁香玖玖视频大全| 欧洲亚洲免费视频区| 综合五月天完整| 丁香五月天激情视频| 中文字幕在线播放视频| 色狠狠婷婷| 婷婷色色宗合网| 91丨九色丨高潮丰满日本| 婷婷色五月天第7色| 99热这里只有精品国产首页| 久久综合激情| 免费一区二区三区| 丁香婷最新动态| 天天射夜夜骑| 婷婷婷婷色| 播丁香五月婷婷欧美| 五月丁香婷婷激情影院欧美| 伊人日日干| 五月天 婷 欧美亚洲| 亚洲成人一区| 色综合色香蕉网| 天堂网啪啪| 国在线激情网| 亚洲天堂色色| 激情都市另类| 99热国产| 色色色色色网| 激情综合五月| 狠狠干婷婷| 人操91在线| 九九亚洲视频| 亚洲第一综合| 九月婷婷久久| 丁香玖玖| www.丁香五月| 激情综合五| www,色综合| 99小精品| 99热播放| 综合久久综合综合| 五月天婷婷丁香视频| 六月婷婷开心| 六月婷婷综合网2| 色五月婷婷综合在线| 欧日韩AV| 日本久久性| 久久人妻熟女一区二区| 九月久久婷婷| 五月丁香六月停停| 99热这里只有精品99| 色99欧洲色19| 九九精品片一| 国产九九一区二区三区| 国内一级片| 五月天停停日日| 四虎婷婷五月天| 久久色天堂| 九九9久九9国产视频| 黄网免费看| 婷婷五月综激情| 天天艹夜夜爽| 99热精品在线| 九九久久五月天综合伊人| 亚洲成人va| 国内外色色色色色成人视频| 另类专区在线观看| 无码髙清| 日韩三及成人AV片| 蜜乳中文字| 久热久| 黄色一级影片| 五月天六月婷婷| 天堂伊人干| 99久久66| 婷婷啪啪| 亚洲操逼网| 99视频只有精品| 婷婷丁香熟女| 欧美激情五月天婷婷| 九九精品综合| 婷婷五月丁香综合桃花色网| 亚洲色A| 激情又色又爽又黄的A片| 色综合九九| 五月天偷拍| 丁香深五月婷婷| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 亚洲激情网| 91九色超碰正在播放| 九九九九九九九热| 国产AV一区二区三区最新精品| 婷婷精品视频| av人人干| 成人AV网站在线| 天天操天天日天天操| 狠狠CAO日日穞夜夜穞AV| 五月综合激情久久| 五月婷婷激情网| 黄网在线播放| 色婷婷久久综合中文久久一本| 五月丁香婷婷激情影院欧美| 丁香五月婷老师| 99热有精品在线观看| 激情婷婷亚洲五月| 国产成人AV| 美妞av| 免费AV在线| 九月av在线| 熟女网站久久| 亚洲六月色婷婷| 婷婷色片| 亚洲色五月| 欧美亚洲成人在线| 婷婷五月色惰| 精品亚洲国产成AV人片传媒| 日韩色五月| 99热网址| 九色91视频| 99在线热视频| 97在线碰| 综合亚洲色色| 久热免费视频| 激情婷婷丁香五月天小说| 99久久婷| 色欲人妻综合aaaaaaaa网| 色情五月婷| 综合99视频| 69久久99精品久久久久婷婷| 色色狼人综合| 一级性爱视频| www.sd-xiangsu.cpm| 日日天天干| 天天久久人人| 这里只有精品免费视频| 九九热10| 99久久超级| 婷婷五月丁香综合人妻| 激情色情五月天| 天天搞天天爽| 99热久草| 成片免费播放| 欧美激情-区二区三区| 欧美啄木乌丝袜人妻系列| 久久久久久久久18久久| 婷婷深爱五月天| 99色日本| 乱码操操| 怡红院院在线导航网| 色婷婷久久| 五月天婷婷综合久久| 婷婷网五月天| 日韩黄黄| 久久婷青青草原| 色操b| 91热久| 俺去也五月| 九月激情综合婷婷| 婷婷丁香色五月| WWW.五月天9999| 国产精产国品一二三在观看 | 婷婷激情五月天亚洲综合| 99丁香五月| 九九九九这里只有精品| 人妻激情综合| 色色五月婷婷| 九九视频这里有精品| 久久婷中文字幕| 区美毛片子| 国产欧美日韩性爱| 色www久视频| 婷婷五月色丁香在线看| 综合色影院| 操91| 嫩草AV久久伊人妇女超级a| 久久99免费视频网站| 色婷久久| 婷婷激情久久| 直接看的AV网站| 在线成人视频免费| 丁香婷婷影院| 婷婷五亚洲| 玖玖婷婷色五月| 国产激情AV| 99热在这里只有免费精品| 日韩成人不卡| 色五月超碰| 婷婷五月丁香六月伊人网| 五月天综合在线网| 9精品在线| 五月丁香久人妻中文| 久九男女天堂| 9有码中文| 电影《战争与艾拉》免费观看| 婷婷五月天VI| 五月婷婷久久久| 色五月婷婷激情综合网| 男人大jjc女人免费视频| 久久久久丁香婷婷五月天| 久久免费9| 少妇性按摩无码中文A片| 婷婷六月五月天综合| 色婷婷瘦婷婷日韩| 操人91| 99热这里只有精品69| 2022人人操人人看| 免费无码毛片一区二区A片| 婷婷丁香五月在线播放| 亚洲婷婷91丁香| 狠狠精品干练久久久无码中文字幕| 亚洲成人一区| 欧美顶级少妇做爰HD| 夜夜夜夜撸夜夜操| 色99视| 99色免费| 人妻熟女一区二区AV| 天天人人人人人人人人人人人| AV色五月婷婷| www激情网站| 99热在线观看| 婷婷五月天伊人| a色色色色色| 五月丁香花激情啪啪网| 狠狠干综合| 狠狠色噜噜狠狠狠888| 久久婷婷六月天| 亚洲精级| xx久久| 色五月五月丁香| www久久久久| 蜜桃人妻无码AV天堂三区| www.99热视频| 婷婷五月天免费| 亚洲综合色婷婷| 在线看AV| 搡BBBB搡BBB搡18| 色老久久| 99久久久| 久久小视频免费| 99久re热| 欧在线一区| 九九视频这里只有精品| 婷婷成人五月天成人文学| 在线五月色播| 久久精品婷婷| 九九中文字幕九| 中文字幕丰满孑伦无码专区| 狠狠色婷婷| 久久免片| 婷婷五月激情在线| 六月色婷婷欧美| 久综合色| 五月婷婷电影院| 五月天激情图片| av激情在线| 中文字幕丰满孑伦无码专区| 夜夜干天天操| yellow视频在线观看91| 五月天亭亭俺也| 中国AV性爱观看| 久久久网站| 国产综合久久久777777| 一起操最新网址| 操碰97| AAA久久久| 综合久久五月天| 91视屏在线观看com.wwwvv| 五月激情射| 99久久国产综合精品五月天喷水\| 五月丁香婷婷六月| 99熟女视频| 热久久99热欧美国产亚洲| 中文字幕丁香五月| 日本色频| 婷婷伊人网| 成人无码中文| 成人精品免费在线观看| 少妇人妻人伦A片| 色婷婷导航| 天天做天天摸| 国产资源91在线| 丁香六月 人妻| 激情五月深爱五月| 久99热| 婷婷久久丁香五月| 婷婷久久五月天中文字幕在线观看| 色婷婷五月综合激情中文字幕| 五月天婷婷基地| 久久九九热视频| 婷婷97碰碰| 五月天天久久香| 亚洲另类婷婷综合| 大香蕉人人人| 婷婷狠狠狠爱| 免费超碰在线| 激情婷| 婷婷五月精品| 色综合婷婷99| Www.Av网9| 成人精品免费在线观看| 国av网| 色综合激情| 色色色九九九五月婷婷| 亚洲免费婷婷| 日本在线视频www色| 日本精品。999| 日韩av免费版| 天天操天天插| 色五月激情五月| 丁香五月性| 五月天婷婷无码| 激情网五月| 深爱婷婷网| 99久久性爱| 99久久久久久| 亚洲激情AV| 开心五月综合激情网| 庭庭久久内射| 久久久91| 五月色丁香| 丁香五月天电影| 五月婷婷六月色| 欧美精品999| 精品人妻伦一二三区久久| 九九激情网| 可以看的av| 婷婷五月激情综合| 五月激情综合美女久久| 婷婷婷婷婷开心无码播放| 五月婷婷丁香俺日污视频| 丁香桃色网| 久久丁香综合| 色婷婷香蕉| 99激情视频| 99天堂网| 嫩草免费视频| 亚洲午夜Av| 色婷婷AⅤ| 天天综合网~91综合网| 九九亚洲视频| 综合狠狠五月婷婷| 婷婷五月图片小说视频| 丁香五月激情啪啪| 人妻久热| 久久婷婷影院| 影音先锋秋秋五月婷婷| 五月天丁香欧美激情| 日韩成人综合| 久久精品婷婷| 在线VA视频| 五月开心激情网| 九九婷婷五月天| 人人干女人| www,天天干| 亚洲欧洲中文日韩久久AV乱码| 色综合色香蕉网| 五月婷婷国产| 丁香五月成人| 无码婷婷五月天| 欧美日韩一区二区三区四区| 99色综合网| 五月天婷婷色| 天天日日| 精品在线网站| 99免费成人网| 久久九九大香蕉电院| www,五月天com| 91精品熟女| 综合五月激情| 91婷婷丁香五月| 成人在线精品| 日韩在线看AV| 久久婷婷五月综合成人d啪| 99久久久久| 五月丁香综合久久| 色综合色色| 国产成人网| 激情内射人妻1区2区3区| 99综合99| 俺也去婷婷五月天第五色| 丁香六月色情| 一级二级色大片| 欧美激情综合色综合啪啪五月| 色五月 婷婷, 大香蕉| 天堂五月婷婷| 99热6这里之有精品| 丁香婷婷婷五月| 操97免费超级视频| 色婷婷成人做爰A片免费看网站| 啪啪日本欧美| 黄色五月婷婷| 亚洲色欲AAAAAA| 91无码高清| 午夜丁香婷婷| 99热99天堂| 五月丁香综合啪啪啪啪啪| 伍月婷丁香花全集| 色婷婷视频| 97搞在线| 婷婷五月色情天| 天天操天爱综合| 自拍偷窥99热| 亚洲182在线观看| 国产精品人妻欲求不满| 另类视频丁香五月| 熟女激情五月天| 在线观看欧美| AA片在线观看视频在线播放| 日韩色色一区| 亚洲乱码成人| 激情五月综合网| www99精品日韩| 婷婷五月天黄色| 五月婷六月丁| 久久九九免费视频| 久久伊人婷| 国内婷婷丁香社区在线播放| 97色在线观看视频| a级毛片一区二区免费视频| 天天射综合网站| 天天操狠狠操| 国产亚洲精品久久久久久郑州| 无码动漫av| 26uuu国产精品| 亚洲欧美成人在线| 碰碰碰97免费精彩视频| 涩涩五| 99久久久久久| 伊人大香久久| 操逼福利视频| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 伊人婷婷青青cao| 婷婷综合精品视频97| www久久99| 人人操操| 中文字幕色色色| 激情小说在线视频| 蜜臀av粉嫩av懂色av| 人人色AV| 狼人久草| 久操大| 丁香涩涩爱| 欧洲色区| 狠狠搞五月天| 久青操| 红桃91人妻爽人妻爽| 久久黄色免费视频| 五月天精品视频| 无码A片一区二区免费| www,五月丁,com| 激情五月婷婷| 国产操碰| www.五月天婷婷| 婷婷日韩| 俺去也在线www色官网| 国产日日操夜夜操的肉棒视频| 婷婷五月综合激情| 97色97干| 99视频在线精品| 午夜成人av在线| 中文人妻主播久久| 色爱亚洲| 五月丁香婷婷激情影院欧美| www.色五月.com| 91精品激情9| 五月丁香色色综合| 99视频精品在线| 情色婷婷五月天| 亚洲九九视频| 在线综合91| 婷婷丁香激情五月天色色| 国产精品国产成人国产三级| 天天噜天天插| 97丁香婷婷| 大香蕉人人网| 九九精品视频在线观看| 在线观看免费观看在线9久| 五月天五月色婷婷综合| 五月天色社区| 99久久综合| 欧美久久婷婷| 色婷婷久久综合久色综| 婷婷色操| 97久久五月丁香婷婷| 丰满熟女人妻一区二区三| 9九九久久精品无码专区| 伊人天天色| 可以免费观看的av| 97AV在线视频| 亚洲午夜AV| 99热在线精品观看| 91欧美日韩综合| 亚洲综合视频网| 亚卅毛片| 91色噜噜狠狠狠狠色综合| 99热国产这里只有精品| 97性高潮久久久| 怡红院视频| 色婷婷狠狠久久综合五月| 五月天婷婷情色| 久久99热这里只有精品| 91丁香婷婷综合资源| 99热6精品| Av免费网站在线| 婷婷五月婷| 1024久婷| 99热久| 青青草99热久久精品国| 操骚货在线| 丁香五月天天| 9久热在线视频精品| 91综合色| 婷婷久久五月天丁香| 婷婷五月大香蕉| 超碰成人电影| 激情网站五月| 亚洲精品又粗又大又爽A片| 色五月亚洲五月天| 日本色色色色色色色色一色二色| 综合色色婷婷| 超碰A V在线| 色婷婷久久综合久色综| 丁香婷色| 丁香六月婷| 欧美色骚婷婷五月天| 人妻内射一区二区在线视频| 开心五月婷| 久久婷鲁| 婷婷五月综合啪| 婷婷午夜精品久久久| 香蕉久久国产AV一区二区| 天天操天天日天天爱| 国产看真人毛片爱做A片 | 五月天婷婷日日爱| 黄桃AV无码免费一区二区三区| 五月丁香久久呀| 亚洲殴洲精品Av在线| 色婷婷综合网| 超碰女人天堂| 五月色综合| 五月天激情社区| 五月婷婷综合影院| 婷婷五月在线观看| 丁香五月天啪啪激情综和网| 国产婷婷综合| 色五月欧美| 美女被肏网站在线看| 天天在线XXX| 粉嫩av懂色av蜜臀av熟妇| 天天干天天做| 人人人操97| 亚洲色图在线视频| 久久三级视频| 婷婷永久在线| 精品九九网| 日韩无码成人电影| 欧洲激情网站| 国产毛片操B| 九九热精品| 欧美久久婷婷| 麻豆AV一区二区三区| 五月婷婷在线播放| 色婷婷丁香综合中文字幕| 五月天色五月| 天天爽天天摸| 91婷婷色五月| 最近韩国日本免费高清观看| 亚洲五月色| 碰超99| 久久小说| 婷婷五月电影| 午夜婷婷| 五月草影视| 欧美婷婷丁香五月社区| 青青草青青草五月天| 99a级片| 狠狠色综合777| 久色88| 五月天婷婷色| 婷婷六月色开 | 99精品在线播放| 色婷婷五月天综合网| 久久99久久99精品免观看粉| 日韩AV中文在线观看| 99精品视频偷拍| 丁香六月成人网| www.婷婷六月天| 美女久久婷婷| 91碰碰碰| 久久久久久人妻久久久久久久久久人妻久久久 | 91精品综合久久久久久五月丁香| 中文字幕在线免费观看视频| av首页在线| 九九热99热| 天天色色天天| 日韩抽插操逼| 欧美三日本三级少妇三99| 不卡在线视频| 婷婷丁香人妻天天爽| 播四月婷婷六月丁香| 亚洲色色在线| av国产精品偷| 无码AV大香线蕉伊人| 天天做天天爱天天爽| 噜噜视频| 色婷婷五月婷婷五月婷婷五月| 91超碰在线观看| 日韩av高清| 成人做爰A片免费看视频| 91丨九色丨熟女丰满| 日逼免费视频| 人人干天天舔| 色人久夂| av一区免费看| 国产亚洲精品AAAAAAA片 | 亚洲欧洲另类| 婷婷伊人75| 2050人人操免费工开爱 | 6月丁香婷婷激情| 日本综合色色| 亚洲 欧洲 国产 伦综合| 青草视频在线播放| 久久这里只有精品8| 九九热最新| 色丁香五月综合网| 亚洲精品乱码久久久久久综合| 婷婷免费无马| 婷婷丁香五月天熟女丝袜| 草草夜夜操| 丁香五月在线播放| 日本婷久久| 久久婷婷综合五月趴| 777精品成人a v久久| 激情网站五月| 亚洲最大在线| 国产婷婷综合| 91VIP在线观看| 人与禽A片啪啪| 久久99精品视频| 97久久人人| 色99色| 天天摸色吧天天摸色吧| 五月婷婷性爱视频| 999热在线观看视频| 国产精品一区在线观看你懂的| 日韩啪啪视频| 日韩在线视频网站| 婷婷色五月婷| 欧美色色色色色| 五月丁香花婷婷玉莉AV| 五月丁香成人版| 久久综合热17c| 久久久精品99亚洲综合| 国产成人+综合亚洲+天堂| 狠狠色丁香婷婷久久综合| 丁香97综合| 色吧网综合| 狠狠操狠狠色| 成人在线观看国产| 国产乱子轮XXX农村| 91碰碰| 五月色网| 99re久久| 丁香五月激情综合| 六月婷婷激情| 涩涩五月天| 五月天色丁香| 99免费在线| 淫视馆aV二区一区| 99精品久久| 色婷婷网| www.99色| 天天操天天曰| 色五月婷婷基地| 婷婷五月六月丁香| 久久性爱视频网站| 亚洲色频| 色婷婷丁香五月| 激情综合五月| 日本久久99| 嫩草AV久久伊人妇女超级A| 可以看的av| 五月丁香六月婷| 少妇人妻人伦A片| 国产一区二区三区影院| 92久久精品一区二区| 色偷偷AV亚洲男人的天堂| 日欧一片内射VA在线影院| 国产精品久久久久久久久久免费| 国产偷人爽久久久久久老妇APP| 国产乱妇无乱码大黄AA片| 亚洲日韩一页精品发布| http://www.com久久久精品一区| 亚洲综合色成丁香五月色| 五月丁香久久久| 婷婷在线日韩综合| 久久综合九色综合88i| 九九久久污| www色五月| 人人操av| 国产婷婷色综合AV蜜臀AV| 国产乱子轮XXX农村| 色一色综合| 思思热99er| 黄色毛片精品| 天天综合五月| 色色婷婷丁香| 26uuu色噜噜精品一区| 中文不卡一二三区| 色婷婷九月| 久久综合五月| 色热久| 在线综合网| 99国产精品白浆在线观看免费 | 色婷婷六月天| 婷婷91| 色噜噜婷婷| 亚洲欧美日韩VIP| 中文字幕综合色| 亚洲成人网站在线| 婷婷综合激情| 五月婷婷视频啪啪美女| 思思久热6| 狠狠干五月天| 91丨九色丨熟女高潮| 激情丁香五月婷婷| 91久女| 午夜丁香六月婷| 婷婷久月| 99久久99热| 人人草人人爱手机视频看看| 天天噜噜| 91超级碰| 国产99久久久国产精品免费看| 色色综合网。| 亚洲无aV在线中文字幕| 婷婷五月深情丁香深爱日韩| 亚洲综合视频一下| 色五月天电影| 亚洲六月色| 国产精品第一国产精品| 色婷婷女优有码五月亭| 婷婷综合五月| 亚洲小说欧美激情| 99色在线视频| 五月婷婷六月色| 婷婷视频在线碰| 99热综合色图| 婷婷免费成人视频| 亚洲99精品欧美一区| 九色自拍| 黄桃AV无码免费一区二区三区 | 激情性爱五月天| 九九草热在线观看| 99热这里只有精品9| 五月天婷婷久久视频| 丁香五月婷婷国产av| 碰97久久| 亚洲影院婷婷色| 色综合天堂| 很很操很很操| 欧美激情VA永久在线播放| 国产这里只有精品| 精品9久| 丁香伊人网| 天天干天天操天天干天天操天天干天天操| 久久久噜噜噜久久人妻| 天天爽天天爽| 92久操视频| 激情六| 丁香五月婷婷激情蜜桃| 99热这里只有精品22| 97色射| 久久精品婷婷| 日日爽天天| 激情久久久| 色九月综合| 99er日韩| 99re鈥哸鈥唙| 亚洲成人免费在线| 激情五月婷婷啪啪| 5月色亭亭视频| 五月天丁香| 欧美成人猛片AAAAAAA| 日本黄色在线观看| 五月天色婷婷小说| 99热国内精品| 日B日潘金莲BB| 婷婷五月天久久久| 欧美人人草| 日韩无码成人电影| 影音先锋91资源站| 少妇久久诱惑视频| 99激情网| 久久日婷婷| 人妻性爱av网站| 色情五月综合婷婷| www久视频com| 欧美色图天堂网| 99精吕视频在线观看了| 久久精彩免费视频| 色婷婷五月综合在线| 五月天婷婷成人资源站| 色色网站| www,色综合| 99热这里只有精品23| 日本色婷婷| 婷婷综合另类| 日本成人噜噜噜噜噜| 婷婷久久网| 97人妻人人| 97干婷婷五月天| 激情四射五月天| 婷婷之玖玖| 亚洲综合婷婷| www.久热| 综合色影| 五月婷婷激情久久| 校花娇喘呻吟校长陈若雪视频| 成人 在线 日韩| 99热精品中文字幕| 亚洲精品又粗又大又爽A片| 99色色网| 69色婷婷| 永久天堂日本| 伊人丁香五月婷婷潮吹| 五月天播播综合| 久操热| 五月婷婷综合影院| 久久A区B区| 国产精产国品一二三在观看| 午夜丁香| 久久婷婷丁香| 婷婷丁香综合色AV| 亚洲热综合网在线观看| 色99色| 色99在线观看| 婷婷五月免费视频| 亚洲成人电影在线免费观看| 五月天色官网| 色色色网站| 九色视频91疯狂| 亚洲综合五月天| 色综合中文综合网| 激情综合网亚洲色图| 色婷婷丁香五月| 天天久久狠狠色综合| 六月婷婷综合| 99热大| 精品无码99| 少妇出轨做爰高潮A片| 欧美日本综合网| 九九久久精品| 国产avapp 网| 丁香五月天堂网| 伊人激情网| 久久久精久人妻| 无码AV久久久久久久久| 亚洲五月天第一综合干| 人人摸人人搞| 99综合久久| 99在线视频资源| 99视频在线观看网址| 日日综合网| 婷婷六月成人| 色久综合天天做视频| 国产AV熟妇人震精品一品二区| 立川无码av| 天天日天天色| 天天情天天狠天天透| 国产67194| 另类激情五月| 午夜激情婷婷| 色情久久久| 丁香五月在线自慰| 超碰在线9| 色哟哟www| 色五月婷婷综合在线| 五月天婷婷丁香导航| 99婷婷五月天激情| 国产精品久久久海的味道| 日本在线wwww| 狠狠高潮精品亚洲1| 日本在线wwww| 丁香五月天激情视频| 色站9/| 五月亭亭狠狠| 情一色一乱一伦一91A| 丁香六月婷| 激情无码网| 91凹凸在线| 综合久久久| 五月天婷婷av| 99热日本| 丁香五月在线播放| 玖玖99福利| 疯狂做受XXXX高潮A片| 深爱激情九九五月天 | 成人午夜无码视频| 玖玖热视频| 99热永久在线观看| 久久婷婷五月天| 婷婷丁香水多多视频| 乱乱av| 夜夜爽天天日| 91精品国产色猫| 99热66| 久久99网址| 激情久久久久| 色丁香五月天射婷婷爱婷婷| 亚洲成人网站在线观看| 啪啪干伊人婷婷| 激情五月丁香五月综合| 五月婷婷自拍| 91视频久久久| 色热久| ww亚洲ww在线观看| 欧美槡BBBB槡BBB少妇| 九九一综合精品| 色99久草在线| 亚洲激情婷婷| 91成人电影| 俺去也五月| 欧美久久五月婷婷| 五月丁香婷婷钟和色图| 五月天婷婷在线AN| 99热在线观看免费精品| 99热一本久道| 日本99在线| 一级片sese片.COM| 国产毛片欧美毛片久久久| 深爱激情av| 丁香六月综合激| 欧洲综合视频| 久久色五月| 日本视频不卡123区| 欧美成人精品老美女噜噜噜| 日韩伊人大香蕉| 九九综合九九| 热无码A∨| 91久久网站| 激情六月婷婷| 久久五月婷| 欧美成人AAA片一区国产精品 | 婷婷五月天人妻| 9 1 A v久久久| 九九久久99精品免费观看www| 天天摸天天舔在线视频| 人人摸人人操人人爱| 久久九九免费视频| 婷婷色五月丁香六月欧美啪| 精品一二三区久久AAA片| 一级二级香港秋霞欧美欧美秋霞| 97婷婷狠狠久久综合9色| 五月天综合网| 手机激情网| 久久日九九| 操操碰| 婷婷五月开心中文字幕色| 97超碰色| 婷婷五月综合在线| 日日干日日s| 丁香五月婷婷少妇| 色婷婷综合网站| 99热这里只有精品23| 热久69| 丁香五月天激情综合| 日日操,天天操| 91精品婷婷国产综合| 99欧美| 六月丁香VA| 玖玖色综合| 内射 无码 伊人| 婷婷午夜精品久久久| 桃色伊人在线| 99玖玖人人| 天天日天天插| 亚洲激情免费视频观看| 99操碰| 色狠狠婷婷| 婷婷久久久久| 这里只有国产精品在线| 久久99看免费| 九九av| 成年人最刺激的综合网| 色婷婷中文字母五月丁香| 在线观看欧美3区| 婷婷五月天色播| 五月天,激情四射,婷婷频道| 亚洲欧洲另类| 丁香五月激情五月| 玖玖热视频| 啪啪亚洲综合| 青青.com| av人人操| 丁香五月婷婷基地| 激情丁香五月天| 狠狠色五月激情| www久久久久久| 九九av| 99爱视频| 6080av| 日本不卡中文字幕| 99网址在线观看| 色五月婷婷亚洲| 丁香六月久| 五月天天天操天天爽夜夜操| 人人看人人97| 午夜69成人做爰视频| 五月天久久网站| 激情综合婷婷| 天天操无码| 五月做爱| 99ri精品| 久色大| 激情五月天色爱| 婷婷五月av| 在线综合91| 久久er99热精品一区二区| 久久精品99久久久久久| 五月婷婷九| 五月丁欧美| 色 五月 天 婷婷 丁香 九月| 成人精品视频99在线观看免费| 婷婷欧美激情综合| 五月香六月婷| 激情综合五月激情| 丁香五月色网| 沈娜娜av| 婷婷精品| 超碰成人在线观看| 思思 热 99| 久热这里有精品视频| w婷婷五月婷婷w| 九九热内射| 午夜不卡久久精品无码免费| 人人妻人人澡| 九九爱激情| 激情5月婷婷狠狠干| 国产操碰| 青青日韩| 九九久久9 9在线观看| 国产亚洲99久久精品| 五月激情婷婷综合| 五月天综合图片| 天天爱天天做综合| 97人人干| Www99热| 97婷婷久久丁香| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 九色视频91疯狂| 婷婷色六月| 丁香六月丁香婷婷激情| 色999亚洲人成色| 超碰人人操人人干| 26uuu国产| 色综合综合网| 97深爱伊人综合| 婷五月丁香俺| 五月久久婷婷| 久久婷婷夜| 超碰二区| 婷婷综合精品视频97| 玖玖九九99| 热久久77777| 大香蕉伊人久久| 久久香蕉丁香| 一级性感毛片| 成人AV片播放| 三级片AAA久久久AAA久久久AAA | 久久五月婷天天干| 99网| 色99视频| 五月天激情小说| 影音先锋一区| 色色无码| 激情五月婷婷五月| 久色欧美| 五月天基地| www.思思99热| 日日夜夜青青草| 成人必爱视| VA五月激情在线| 热中文字幕| 午夜色婷婷| 97色久| 亚洲成人高清在线| 精品亚洲国产成AV人片传媒| 丁香六月婷婷开心婷婷网| 狠狠色丁香久久综合婷婷亚洲成人福利 | 日日日,com| 免费AAAAA网| 另类天堂| 丁香五月影院| 日韩成人电影AV| 99ri精品| 久久曰曰| 婷婷五月激情综合| 五月婷婷久久综合| 97久久人人| 99在线热| 久婷婷| 九九热黄色| 九九aV| 综合啪啪| 激情文学久久| 噜噜噜狠狠色综合| 婷婷精品| 五月婷婷丁香啪啪| 婷婷五月综合婷婷| VA日本视频| 狠狠香婷婷五月| 99热在线里有精品| 色婷婷成人在线| 婷婷 激情 五月| 激情网第四色| 99综合99| 五月成人网天天| 天天舔天天摸视频| 色婷婷五月中文字幕在线dvd| 天天色,天天日,天天做| 国产综合网在线| 俺去也综合| 丁香激情网| 國語久久婷| 色色婷婷丁香| 999热这里只有精品| 超碰av在线| 亚洲欧洲中文日韩久久AV乱码| 极品人妻VIDEOSSS人妻| 婷婷丁香中文字幕| www.婷婷五月.com| 91AV视频| 大香蕉婷婷丁香| 婷婷五月丁香久久| 99色在线观看免费| 在线五月色播| 丁香五月激情视频在线| 性天天中文网| 深爱婷婷网| 国产97色在线| 欧美黄色AA片哗啦啦啦| 婷婷久久久| 中文字幕中文有码在线| www99精品在线观看| 色五月综合97| 婷婷爱爱蜜臀天天操| 超碰99在线观看| 亚洲久久视频| 思思热在线视频99| 夜夜夜夜夜骑撸| 99丁香五月婷| 天天天干夜夜夜操| 国产高潮A片羞羞视频涩涩| 色五月丁香五| 九九精品碰| 亚洲色图45p| 那里有AV网址| 色五月视频无码播放| 婷婷丁香五月综合激情视频| 十一月婷婷激情四射| 色停停香蕉视频| 色区久久| 伊人久久丁香狠狠婷婷综合香蕉| 墨西哥毛片内射精| 五月激情网站| 这里只有精品在线视频精品| 婷婷深爱五月亚洲综合| 五月天伊人综合| 色婷婷伊人| 99综合网| 91人人爱| 婷婷五月天视频| 无码日本精品XXXXXXXXX | 超碰2021| 久久伦乱| 九九热九九| 天天做天天爱天天玩夜夜爽| www热久久yy9| 丁香激情网| 久久免费高| 92国产福利| aaaaaa片| 五月综合色播播丁香婷婷| 99热综合色图| 激情AV| 丁香六月综合| 中文AV在线播放| 丁香六月 人妻| 激情五月小说婷婷| 国产亚洲在线观看| 久久性爱网| 久久婷婷人人| 久久亚洲婷婷综合色五月| 五月天婷婷丁香社区| 久久婷婷激情| 操老逼综合网| WWW免费视频碰碰碰碰|