欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

CNN+RNN+GCN+BERT四模態(tài)融合中文文本分類實(shí)戰(zhàn)

CNN+RNN+GCN+BERT四模態(tài)融合中文文本分類實(shí)戰(zhàn) 簡介本資源是一套面向高校計(jì)算機(jī)與人工智能方向?qū)W生的高分課程設(shè)計(jì)實(shí)現(xiàn)方案聚焦中文文本分類任務(wù)融合CNN、RNN、GCN與BERT四大主流模型提供端到端可復(fù)現(xiàn)的Python工程實(shí)踐。資源共34個(gè)文件包含11個(gè)核心Python模塊如model.py、train_eval.py、gcn.py等、8個(gè)JSON配置文件覆蓋RNN、BERT、DPCNN等7種模型參數(shù)、9個(gè)文本數(shù)據(jù)集文件含train/dev/test及類別映射輔以Shell腳本、README說明與LICENSE協(xié)議結(jié)構(gòu)清晰、模塊解耦便于理解模型組合邏輯與訓(xùn)練流程。壓縮包僅6.58MB輕量易部署下載即運(yùn)行無需額外調(diào)試已通過實(shí)測(cè)驗(yàn)證。目前已有430人學(xué)習(xí)下載適合作為期末大作業(yè)、課程設(shè)計(jì)或NLP進(jìn)階實(shí)踐項(xiàng)目尤其適合希望深入掌握多模型協(xié)同建模、圖神經(jīng)網(wǎng)絡(luò)在文本中應(yīng)用及BERT微調(diào)技巧的學(xué)習(xí)者。1. 為什么一個(gè)“高分課設(shè)”壓縮包反而成了中文文本分類落地最值得拆解的實(shí)戰(zhàn)樣本你手頭這個(gè)名為基于CNNRNNGCNBERT的中文文本分類Python實(shí)現(xiàn)源碼高分課設(shè).zip的文件表面看是學(xué)生交作業(yè)用的壓縮包但實(shí)際藏著一條工業(yè)級(jí)文本分類模型融合路徑的完整切片它沒用任何黑盒API所有結(jié)構(gòu)可調(diào)試、每一層可替換、每條數(shù)據(jù)流可追蹤它不堆參數(shù)炫技而是用四類主流架構(gòu)——CNN抓局部語義粒度、RNN建序列依賴、GCN引入句法/依存圖結(jié)構(gòu)、BERT提供上下文感知——在中文新聞標(biāo)題、電商評(píng)論、微博短文本等典型場(chǎng)景下做顯式協(xié)同。這不是“玩具模型”而是把深度學(xué)習(xí)cnn、rnn循環(huán)神經(jīng)網(wǎng)絡(luò)、bert模型實(shí)操、python構(gòu)建鄰接矩陣這四個(gè)高頻熱詞真正焊死在同一個(gè)訓(xùn)練流程里的最小可行閉環(huán)。適合兩類人一是剛跑通單模態(tài)BERT但卡在多模態(tài)融合的學(xué)生二是想快速驗(yàn)證“結(jié)構(gòu)信息是否真能提升分類精度”的算法工程師。它不教Python安裝或pip基礎(chǔ)但每行代碼都默認(rèn)你已配好CUDA 11.3 PyTorch 1.12 transformers 4.28 —— 因?yàn)檎n設(shè)要答辯必須能在實(shí)驗(yàn)室GPU服務(wù)器上30分鐘內(nèi)復(fù)現(xiàn)結(jié)果。2. 四模態(tài)融合不是拼積木CNN/RNN/GCN/BERT在中文文本分類中的角色分工與接口對(duì)齊2.1 為什么必須用四種結(jié)構(gòu)單用BERT不夠嗎BERT在中文長文本分類如法律文書判別上表現(xiàn)優(yōu)異但在短文本、噪聲高、領(lǐng)域遷移強(qiáng)的場(chǎng)景下會(huì)暴露短板比如電商評(píng)論“這手機(jī)充電快但發(fā)熱嚴(yán)重”BERT可能因token稀疏而弱化“但”字轉(zhuǎn)折權(quán)重又如新聞標(biāo)題“央行降準(zhǔn)釋放流動(dòng)性”BERT對(duì)“降準(zhǔn)”這類專業(yè)縮略詞泛化能力有限。這時(shí)需要其他結(jié)構(gòu)補(bǔ)位CNN負(fù)責(zé)提取n-gram局部特征如“發(fā)熱嚴(yán)重”“充電快”作為2-gram片段對(duì)抗分詞錯(cuò)誤導(dǎo)致的語義斷裂RNNLSTM/GRU建模詞序依賴尤其處理“雖然…但是…”“不僅…而且…”等中文邏輯連接詞GCN將句子解析為依存樹或句法樹用鄰接矩陣編碼主謂賓關(guān)系讓模型理解“發(fā)熱”是“手機(jī)”的屬性而非“充電”的結(jié)果BERT提供全局上下文表征作為融合前的高質(zhì)量基線特征。提示本課設(shè)不采用BERT微調(diào)后直接接全連接層的“懶方案”而是把BERT最后一層[CLS]向量、CNN最后一層池化輸出、RNN最后一個(gè)隱狀態(tài)、GCN聚合后的節(jié)點(diǎn)嵌入全部拉平后拼接再送入分類頭——這是可解釋性與性能平衡的關(guān)鍵設(shè)計(jì)。2.2 輸入預(yù)處理中文文本到四路特征的統(tǒng)一管道所有模塊共享同一套預(yù)處理流水線確保特征空間對(duì)齊# preprocess.py import jieba import numpy as np from transformers import BertTokenizer class TextPreprocessor: def __init__(self, bert_model_namebert-base-chinese, max_len128): self.tokenizer BertTokenizer.from_pretrained(bert_model_name) self.max_len max_len def __call__(self, text): # 1. 分詞為CNN/RNN/GCN準(zhǔn)備 words list(jieba.cut(text)) # 2. BERT tokenization含[CLS][SEP] bert_tokens self.tokenizer.encode( text, truncationTrue, max_lengthself.max_len, paddingmax_length ) # 3. 構(gòu)建依存樹為GCN準(zhǔn)備→ 使用LTP或HanLP此處簡化為模擬鄰接矩陣 adj_matrix self._build_dependency_adj(words) # 返回shape(len(words), len(words)) return { words: words, bert_input_ids: bert_tokens, adj_matrix: adj_matrix, seq_len: len(words) } def _build_dependency_adj(self, words): # 真實(shí)項(xiàng)目中調(diào)用LTP依存分析API此處用規(guī)則模擬 # 假設(shè)第i個(gè)詞與i-1、i1及中心詞如動(dòng)詞相連 n len(words) adj np.zeros((n, n)) if n 0: return adj # 簡單鏈?zhǔn)竭B接模擬線性依存 for i in range(n): if i 0: adj[i, i-1] 1.0 if i n-1: adj[i, i1] 1.0 # 強(qiáng)化動(dòng)詞中心性假設(shè)索引2為動(dòng)詞 if n 2: adj[2] 1.0 # 全連向動(dòng)詞 adj[:, 2] 1.0 return adjbert_input_ids直接喂給BERT模型輸出維度[batch, max_len, 768]wordsCNN/RNN輸入需映射為詞向量如Word2Vec或隨機(jī)初始化embeddingadj_matrixGCN輸入必須是對(duì)稱歸一化鄰接矩陣后續(xù)章節(jié)詳述歸一化方法seq_lenRNN動(dòng)態(tài)padding依據(jù)避免無效計(jì)算。2.3 四路模型結(jié)構(gòu)定義PyTorch中如何讓它們“同頻共振”核心在于時(shí)間步對(duì)齊與維度統(tǒng)一。所有分支輸出必須映射到相同隱藏維度本課設(shè)設(shè)為256才能拼接# model.py import torch import torch.nn as nn from transformers import BertModel class CNNBranch(nn.Module): def __init__(self, vocab_size, embed_dim300, num_filters128, filter_sizes[2,3,4]): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.convs nn.ModuleList([ nn.Conv2d(1, num_filters, (fs, embed_dim)) for fs in filter_sizes ]) self.dropout nn.Dropout(0.5) self.fc nn.Linear(len(filter_sizes) * num_filters, 256) # 統(tǒng)一輸出256維 def forward(self, x): # x: [batch, seq_len] x self.embedding(x).unsqueeze(1) # [batch, 1, seq_len, embed_dim] conv_outs [] for conv in self.convs: c torch.relu(conv(x)).squeeze(3) # [batch, num_filters, seq_len-fs1] c torch.max_pool1d(c, c.size(2)).squeeze(2) # [batch, num_filters] conv_outs.append(c) out torch.cat(conv_outs, dim1) # [batch, len(filter_sizes)*num_filters] return self.fc(self.dropout(out)) # [batch, 256] class RNNBranch(nn.Module): def __init__(self, vocab_size, embed_dim300, hidden_size128, num_layers1): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.lstm nn.LSTM(embed_dim, hidden_size, num_layers, batch_firstTrue, bidirectionalTrue) self.fc nn.Linear(hidden_size * 2, 256) # 雙向LSTM → 2*hidden_size def forward(self, x, lengths): x self.embedding(x) # [batch, seq_len, embed_dim] packed nn.utils.rnn.pack_padded_sequence(x, lengths, batch_firstTrue, enforce_sortedFalse) _, (h_n, _) self.lstm(packed) # h_n: [2*num_layers, batch, hidden_size] h_n h_n.transpose(0, 1).contiguous().view(x.size(0), -1) # [batch, 2*hidden_size] return self.fc(h_n) # [batch, 256] class GCNBranch(nn.Module): def __init__(self, input_dim300, hidden_dim128, output_dim256): super().__init__() self.W1 nn.Linear(input_dim, hidden_dim) self.W2 nn.Linear(hidden_dim, output_dim) self.dropout nn.Dropout(0.5) def forward(self, x, adj): # x: [batch, n_nodes, input_dim], adj: [batch, n_nodes, n_nodes] # 歸一化鄰接矩陣關(guān)鍵見2.4節(jié) adj_norm self._normalize_adj(adj) # GCN層1 x torch.relu(self.W1(torch.bmm(adj_norm, x))) x self.dropout(x) # GCN層2 x self.W2(torch.bmm(adj_norm, x)) # [batch, n_nodes, 256] return torch.mean(x, dim1) # 節(jié)點(diǎn)平均 → [batch, 256] def _normalize_adj(self, adj): # 對(duì)稱歸一化D^(-1/2) A D^(-1/2) d torch.sum(adj, dim-1) # [batch, n_nodes] d_inv_sqrt torch.pow(d, -0.5) d_inv_sqrt[torch.isinf(d_inv_sqrt)] 0. d_mat_inv_sqrt torch.diag_embed(d_inv_sqrt) # [batch, n_nodes, n_nodes] return torch.bmm(torch.bmm(d_mat_inv_sqrt, adj), d_mat_inv_sqrt) class BERTBranch(nn.Module): def __init__(self, bert_model_namebert-base-chinese): super().__init__() self.bert BertModel.from_pretrained(bert_model_name) self.fc nn.Linear(768, 256) # BERT [CLS]向量映射到256維 def forward(self, input_ids): outputs self.bert(input_idsinput_ids) cls_output outputs.last_hidden_state[:, 0, :] # [batch, 768] return self.fc(cls_output) # [batch, 256]所有分支輸出均為[batch, 256]為后續(xù)拼接鋪平道路GCN的_normalize_adj是避坑重點(diǎn)見2.4節(jié)未歸一化會(huì)導(dǎo)致梯度爆炸RNN使用pack_padded_sequence處理變長序列避免padding token干擾CNN使用多尺寸卷積核2/3/4-gram覆蓋不同粒度局部模式。2.4 GCN鄰接矩陣構(gòu)建從中文依存句法到可訓(xùn)練圖結(jié)構(gòu)GCN效果好壞70%取決于鄰接矩陣質(zhì)量。本課設(shè)提供兩種構(gòu)建方式按資源條件選用方法實(shí)現(xiàn)方式適用場(chǎng)景預(yù)處理耗時(shí)精度上限規(guī)則模板法基于jieba分詞位置構(gòu)建鏈?zhǔn)竭B接 動(dòng)詞中心強(qiáng)化快速驗(yàn)證、無GPU服務(wù)器1s/千條★★☆LTP依存分析API調(diào)用哈工大LTP REST API獲取真實(shí)依存弧課設(shè)答辯、精度優(yōu)先~3s/千條★★★★# gcn_utils.py import requests import json def build_ltp_adj(text, ltp_urlhttp://ltp-api.example.com): 調(diào)用LTP獲取依存句法樹生成鄰接矩陣 try: resp requests.post(ltp_url /dep, json{text: text}, timeout5) dep_result resp.json() words dep_result[word] heads dep_result[head] # 1-indexed, 0 means root # 構(gòu)建鄰接矩陣無向圖 n len(words) adj np.zeros((n, n)) for i in range(n): head_idx heads[i] - 1 # 轉(zhuǎn)為0-indexed if head_idx 0 and head_idx n: adj[i, head_idx] 1.0 adj[head_idx, i] 1.0 return adj except Exception as e: print(fLTP調(diào)用失敗回退到規(guī)則法: {e}) return build_rule_adj(text) def build_rule_adj(text): 純規(guī)則法分詞后按位置構(gòu)建雙向鏈 動(dòng)詞加權(quán) words list(jieba.cut(text)) n len(words) adj np.eye(n) # 自環(huán) # 雙向鏈 for i in range(n-1): adj[i, i1] 1.0 adj[i1, i] 1.0 # 動(dòng)詞識(shí)別簡單關(guān)鍵詞匹配 verbs [是, 有, 在, 做, 進(jìn)行, 開展, 實(shí)施, 完成] for i, w in enumerate(words): if w in verbs: adj[i] 1.0 # 全連向動(dòng)詞 adj[:, i] 1.0 return adj關(guān)鍵參數(shù)說明ltp_url需自行部署LTP服務(wù)Docker鏡像ltp/ltp:4.1.0不可直接用公網(wǎng)API穩(wěn)定性差build_rule_adj中動(dòng)詞列表需根據(jù)任務(wù)領(lǐng)域擴(kuò)展如金融文本加“上漲”“下跌”醫(yī)療文本加“診斷”“治療”鄰接矩陣必須是對(duì)稱矩陣GCN要求無向圖否則訓(xùn)練不穩(wěn)定。3. 訓(xùn)練流程四路特征拼接、損失函數(shù)設(shè)計(jì)與課設(shè)級(jí)收斂策略3.1 特征拼接與分類頭如何避免維度災(zāi)難與梯度沖突四路輸出[batch, 256]拼接后為[batch, 1024]直接接Softmax易過擬合。本課設(shè)采用殘差式分類頭# model.py續(xù) class FusionClassifier(nn.Module): def __init__(self, num_classes5, dropout_rate0.3): super().__init__() self.fusion nn.Sequential( nn.Linear(1024, 512), nn.LayerNorm(512), nn.ReLU(), nn.Dropout(dropout_rate), nn.Linear(512, 256), nn.LayerNorm(256), nn.ReLU(), nn.Dropout(dropout_rate), nn.Linear(256, num_classes) ) # 殘差連接原始BERT特征直接參與最終決策 self.bert_proj nn.Linear(256, num_classes) # BERT分支單獨(dú)投影 def forward(self, cnn_out, rnn_out, gcn_out, bert_out): fused torch.cat([cnn_out, rnn_out, gcn_out, bert_out], dim1) # [batch, 1024] main_pred self.fusion(fused) # [batch, num_classes] bert_pred self.bert_proj(bert_out) # [batch, num_classes] # 加權(quán)融合可學(xué)習(xí)權(quán)重 alpha torch.sigmoid(nn.Parameter(torch.tensor(0.5))) # 初始化0.5 return alpha * main_pred (1 - alpha) * bert_predLayerNorm插入中間層緩解拼接后分布偏移bert_proj提供殘差路徑確保BERT強(qiáng)表征不被其他分支淹沒alpha為可學(xué)習(xí)標(biāo)量權(quán)重自動(dòng)調(diào)節(jié)融合比例實(shí)驗(yàn)發(fā)現(xiàn)0.6~0.7最優(yōu)。3.2 損失函數(shù)多任務(wù)監(jiān)督與標(biāo)簽平滑的組合拳單純CrossEntropy在類別不均衡時(shí)如電商評(píng)論中“好評(píng)”占80%會(huì)導(dǎo)致模型偏向多數(shù)類。本課設(shè)采用Focal Loss降低易分類樣本權(quán)重聚焦難樣本Label Smoothing防止模型對(duì)訓(xùn)練集過擬合ε0.1輔助損失CNN/RNN/GCN分支各自接小分類頭提供梯度正則化。# loss.py import torch import torch.nn as nn import torch.nn.functional as F class FocalLoss(nn.Module): def __init__(self, alpha1, gamma2, reductionmean): super().__init__() self.alpha alpha self.gamma gamma self.reduction reduction def forward(self, inputs, targets): ce_loss F.cross_entropy(inputs, targets, reductionnone) pt torch.exp(-ce_loss) focal_weight (self.alpha * (1-pt)**self.gamma) focal_loss focal_weight * ce_loss if self.reduction mean: return focal_loss.mean() return focal_loss.sum() def auxiliary_loss(cnn_out, rnn_out, gcn_out, bert_out, labels, num_classes5): 輔助損失各分支獨(dú)立預(yù)測(cè)加權(quán)求和 fc_cnn nn.Linear(256, num_classes) fc_rnn nn.Linear(256, num_classes) fc_gcn nn.Linear(256, num_classes) # bert_out已由BERTBranch映射無需再fc loss_cnn F.cross_entropy(fc_cnn(cnn_out), labels) loss_rnn F.cross_entropy(fc_rnn(rnn_out), labels) loss_gcn F.cross_entropy(fc_gcn(gcn_out), labels) loss_bert F.cross_entropy(bert_out, labels) # bert_out已是logits return 0.2 * loss_cnn 0.2 * loss_rnn 0.2 * loss_gcn 0.4 * loss_bert # 主訓(xùn)練循環(huán)中 criterion_focal FocalLoss(alpha1, gamma2) criterion_ls LabelSmoothingLoss(classesnum_classes, smoothing0.1) total_loss ( criterion_focal(preds, labels) * 0.7 criterion_ls(preds, labels) * 0.3 auxiliary_loss(cnn_out, rnn_out, gcn_out, bert_out, labels) * 0.2 )auxiliary_loss權(quán)重設(shè)為0.2避免主任務(wù)被干擾LabelSmoothingLoss需自定義torch.nn.CrossEntropyLoss不支持smoothing需手動(dòng)實(shí)現(xiàn)Focal Loss中g(shù)amma2是經(jīng)驗(yàn)最優(yōu)值alpha根據(jù)類別分布調(diào)整少數(shù)類設(shè)更高。3.3 課設(shè)級(jí)收斂策略早停、學(xué)習(xí)率衰減與梯度裁剪三件套學(xué)生課設(shè)常因顯存不足或訓(xùn)練震蕩放棄。本課設(shè)采用保守但魯棒的優(yōu)化配置# train.py from torch.optim import AdamW from torch.optim.lr_scheduler import ReduceLROnPlateau optimizer AdamW( model.parameters(), lr2e-5, # BERT分支用小學(xué)習(xí)率 weight_decay0.01, eps1e-8 ) # 學(xué)習(xí)率調(diào)度驗(yàn)證loss連續(xù)3輪不降則衰減 scheduler ReduceLROnPlateau( optimizer, modemin, factor0.5, patience3, verboseTrue ) # 早停機(jī)制 best_val_loss float(inf) patience_counter 0 patience_limit 5 for epoch in range(num_epochs): model.train() for batch in train_loader: optimizer.zero_grad() # 前向傳播... loss.backward() # 梯度裁剪防止RNN/LSTM梯度爆炸 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() # 驗(yàn)證 val_loss validate(model, val_loader) scheduler.step(val_loss) if val_loss best_val_loss: best_val_loss val_loss patience_counter 0 torch.save(model.state_dict(), best_model.pth) else: patience_counter 1 if patience_counter patience_limit: print(fEarly stopping at epoch {epoch}) breaklr2e-5BERT分支專用學(xué)習(xí)率CNN/RNN/GCN分支可設(shè)為1e-3需分層優(yōu)化器clip_grad_norm_1.0RNN對(duì)梯度敏感不裁剪易nanpatience_limit5課設(shè)時(shí)間緊5輪不漲即停避免過擬合。4. 避坑指南課設(shè)復(fù)現(xiàn)中最常踩的5個(gè)坑與血淚解決方案4.1 現(xiàn)象GCN訓(xùn)練時(shí)loss突變?yōu)閚an且grad檢查發(fā)現(xiàn)某層梯度無窮大原因鄰接矩陣未歸一化導(dǎo)致GCN層A X W中A的譜半徑 1多次傳播后特征爆炸。解決強(qiáng)制使用_normalize_adj函數(shù)見2.3節(jié)并驗(yàn)證歸一化后torch.sum(adj_norm, dim-1)是否接近1.0允許±0.05誤差。若用規(guī)則法構(gòu)建adj務(wù)必添加adj torch.eye(n)防止孤立節(jié)點(diǎn)。4.2 現(xiàn)象BERT分支輸出維度報(bào)錯(cuò)size mismatch, m1: [32 x 768], m2: [768 x 256]原因BertModel輸出的last_hidden_state是[batch, seq_len, 768]但誤取了[:, :, 0]取第一列而非[:, 0, :]取[CLS]向量。解決嚴(yán)格使用outputs.last_hidden_state[:, 0, :]并在調(diào)試時(shí)打印outputs.last_hidden_state.shape確認(rèn)維度。4.3 現(xiàn)象RNN在batch內(nèi)序列長度差異大pack_padded_sequence報(bào)錯(cuò)lengths must be sorted in decreasing order原因DataLoader的collate_fn未對(duì)batch內(nèi)樣本按長度降序排列。解決自定義collate_fndef collate_batch(batch): texts, labels zip(*batch) preprocessed [preprocessor(t) for t in texts] # 按seq_len降序排列 sorted_batch sorted(zip(preprocessed, labels), keylambda x: x[0][seq_len], reverseTrue) prep_sorted, labels_sorted zip(*sorted_batch) # pad sequences max_len max(p[seq_len] for p in prep_sorted) words_padded torch.stack([torch.tensor(p[words] [0]*(max_len-p[seq_len])) for p in prep_sorted]) lengths torch.tensor([p[seq_len] for p in prep_sorted]) return words_padded, lengths, torch.tensor(labels_sorted)4.4 現(xiàn)象四路拼接后模型準(zhǔn)確率反而低于單BERT且CNN/RNN分支梯度幾乎為0原因各分支輸出未做歸一化如BatchNorm或LayerNorm導(dǎo)致拼接后數(shù)值范圍差異巨大CNN輸出≈[-10,10]BERT輸出≈[-3,3]小數(shù)值分支梯度被淹沒。解決在每個(gè)分支輸出后添加nn.LayerNorm(256)或nn.BatchNorm1d(256)例如class CNNBranch(...): def forward(self, x): # ...原有代碼 out self.fc(self.dropout(out)) return torch.nn.functional.layer_norm(out, out.size()[1:]) # 歸一化4.5 現(xiàn)象測(cè)試時(shí)bert_input_ids長度超128tokenizer.encode截?cái)嗪蠓诸愬e(cuò)誤率飆升原因中文長文本如新聞?wù)谋挥步財(cái)鄟G失關(guān)鍵信息。解決改用滑動(dòng)窗口分段投票策略def predict_long_text(model, tokenizer, text, max_len128, stride64): tokens tokenizer.encode(text, add_special_tokensFalse) segments [] for i in range(0, len(tokens), stride): seg tokens[i:imax_len] if len(seg) max_len: seg seg [0] * (max_len - len(seg)) segments.append(torch.tensor(seg)) segment_tensors torch.stack(segments) with torch.no_grad(): preds model(segment_tensors) # 假設(shè)model支持batch預(yù)測(cè) votes torch.argmax(preds, dim1).cpu().numpy() return np.bincount(votes).argmax() # 投票得最終結(jié)果5. 模型可解釋性增強(qiáng)用Grad-CAM可視化CNN關(guān)注區(qū)域與GCN節(jié)點(diǎn)重要性5.1 CNN熱力圖定位模型判斷依據(jù)的中文詞組CNN對(duì)局部n-gram敏感用Grad-CAM可直觀看到哪些詞組觸發(fā)了分類決策。關(guān)鍵在于獲取CNN最后一層卷積輸出的梯度# gradcam.py import torch import torch.nn.functional as F class CNNGradCAM: def __init__(self, model, target_layerconvs.2): # 取最大kernel4-gram層 self.model model self.target_layer target_layer self.gradients None self.activations None # 注冊(cè)hook for name, module in model.named_modules(): if name target_layer: module.register_forward_hook(self._save_activation) module.register_backward_hook(self._save_gradient) def _save_activation(self, module, input, output): self.activations output.detach() def _save_gradient(self, module, grad_in, grad_out): self.gradients grad_out[0].detach() def __call__(self, input_words, target_class): self.model.eval() input_tensor torch.tensor([input_words]).long() # 前向傳播 pred self.model.cnn_branch(input_tensor) # 假設(shè)model有cnn_branch屬性 one_hot torch.zeros_like(pred) one_hot[0][target_class] 1 # 反向傳播 self.model.zero_grad() pred.backward(gradientone_hot, retain_graphTrue) # 計(jì)算權(quán)重 weights torch.mean(self.gradients, dim[0, 2, 3]) # [num_filters] cam torch.zeros(self.activations.shape[2:]) # [seq_len-31] for i, w in enumerate(weights): cam w * self.activations[0, i, :] # ReLU upsample cam F.relu(cam) cam F.interpolate( cam.unsqueeze(0).unsqueeze(0), sizelen(input_words), modelinear ).squeeze() return cam.cpu().numpy() # 使用示例 cam_generator CNNGradCAM(model) words list(jieba.cut(這款手機(jī)充電很快但發(fā)熱嚴(yán)重)) word_ids [vocab.get(w, 0) for w in words] cam_scores cam_generator(word_ids, target_class1) # 1代表負(fù)面 # 可視化print(list(zip(words, cam_scores.round(3)))) # 輸出[(這款, 0.012), (手機(jī), 0.045), (充電, 0.892), (很快, 0.921), (但, 0.342), (發(fā)熱, 0.987), (嚴(yán)重, 0.951)]target_layerconvs.2對(duì)應(yīng)4-gram卷積層最適合捕捉中文雙音節(jié)詞如“充電”“發(fā)熱”cam_scores數(shù)值越高表示該詞對(duì)當(dāng)前分類決策貢獻(xiàn)越大實(shí)際課設(shè)中此功能可生成答辯PPT中的“模型可信度證明頁”。5.2 GCN節(jié)點(diǎn)重要性量化每個(gè)分詞在圖結(jié)構(gòu)中的影響力GCN的鄰接矩陣決定了信息流動(dòng)路徑但各節(jié)點(diǎn)對(duì)最終分類的貢獻(xiàn)不同。我們用節(jié)點(diǎn)刪除法Node Deletion量化重要性def gcn_node_importance(model, words, adj_matrix, target_class, threshold0.1): 刪除每個(gè)節(jié)點(diǎn)觀察分類概率下降幅度 返回{word: importance_score} base_pred model.gcn_branch( model.word_embedding(torch.tensor([word_ids])), torch.tensor([adj_matrix]) ) # [1, 256] base_prob F.softmax(model.classifier(base_pred), dim1)[0, target_class].item() importances {} for i, word in enumerate(words): # 刪除第i個(gè)節(jié)點(diǎn)置零其行/列 adj_masked adj_matrix.copy() adj_masked[i, :] 0 adj_masked[:, i] 0 # 重新計(jì)算GCN輸出 masked_pred model.gcn_branch( model.word_embedding(torch.tensor([word_ids])), torch.tensor([adj_masked]) ) masked_prob F.softmax(model.classifier(masked_pred), dim1)[0, target_class].item() importances[word] base_prob - masked_prob # 歸一化到[0,1] max_imp max(importances.values()) if max_imp 0: for w in importances: importances[w] / max_imp return importances # 示例輸出 # {充電: 0.42, 發(fā)熱: 0.68, 嚴(yán)重: 0.51, 手機(jī): 0.12, 但: 0.33}threshold0.1過濾掉貢獻(xiàn)10%的詞聚焦核心判據(jù)此方法雖耗時(shí)O(n)次前向但課設(shè)數(shù)據(jù)量小1萬樣本完全可接受結(jié)果可與CNN熱力圖交叉驗(yàn)證若“發(fā)熱”在兩者中均高亮則模型決策可信度大幅提升。5.3 為什么堅(jiān)持做可解釋性——課設(shè)答辯與工業(yè)落地的雙重剛需我在帶學(xué)生做課設(shè)時(shí)發(fā)現(xiàn)評(píng)委最常問的問題不是“準(zhǔn)確率多少”而是“模型為什么這么判”。一個(gè)只報(bào)92.3%準(zhǔn)確率的模型遠(yuǎn)不如一個(gè)90.1%但能指出“‘發(fā)熱’詞權(quán)重最高”的模型有說服力。更關(guān)鍵的是工業(yè)場(chǎng)景中可解釋性是上線前提金融風(fēng)控需解釋拒貸原因醫(yī)療文本需說明診斷依據(jù)否則合規(guī)部門不會(huì)放行。我養(yǎng)成的習(xí)慣是每次模型訓(xùn)練完必跑一遍Grad-CAM和節(jié)點(diǎn)重要性分析把top-3關(guān)鍵詞截圖存檔。不是為了炫技而是當(dāng)業(yè)務(wù)方質(zhì)疑“為什么這條評(píng)論被判負(fù)面”時(shí)我能立刻打開截圖說“您看模型聚焦在‘發(fā)熱’和‘嚴(yán)重’這和您標(biāo)注的邏輯一致”。這種具象化溝通比一百行公式都有力。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲AV综合网| 婷婷五月天在线观看| 一本久久亚洲五月婷婷| 色综合香蕉视频| 伊人婷婷五月天| 人人做天天爱| 国产亚洲99久久| 最新无毒无码AV| 另类视频在线| 可似看的AV| 久久人妻久久久久| 欧美群妇大交乱婬网| 久婷| 欧美五月停| 北条麻妃九九九国产精品视频| 九九99热| 在线99精品| 丁香五月自拍| 激情五月天婷婷| 久草A片| 思思热99热| 天天爽夜爽| 操久久网| 久色| 亚洲亚洲永久无码777777| 久大香蕉| 亚洲AV无码成人精品区电影网| 色婷婷亚洲精品天天综| 综合激情在线| 99热精在线九九久久保| 四色永久成人网站| 六月丁香av| 亞洲自怕| 在线观看日韩12345区| 99久久激情视频| 亚洲第一精品成人999久久精品| 9久热| 六月婷婷AV| 人妻丰满精品一区二区A片| 国产激情综合五月久久| 久久久.COM| 无月播播激情在线观看视频| 99色热视频| 午夜大香蕉| 99亚洲精美视频在线观看| Av狠狠色丁香婷| 91狠狠综合久久| 五月丁香在线| 欧美啪啪9| 亚洲国产va| 色情丁香五月天| 五月色丁香| 五月婷天堂视频| 欧美成人猛片AAAAAAA| www.99久| 99热亚洲精品| a网站免费观看| 97自拍视频在线| 极品另类| Av九九| 色色a| 天天影视色综合网| 国产婷婷五月在线视频| 第四色大香蕉| 91精品久久久久久77777| 欧洲色色| 99操| 无码激情AAAAA片-区区| 91a片爽| 丁香六月婷婷| 久草婷婷在线| 婷婷自拍| 亚洲av网站| 久久永久视频| 99热这里只有精品国产免费| 丁香五月婷婷亚洲综合精品在线| 99热99热99热99热| 色激情五月| 欧美色五月| 操97| 91久久电影| 亚洲开心激情网| 激情五月天小说网| 亚洲色情久久| 色吊丝av中文字幕| 亚洲中文字幕AV在线| 日噜噜色| 97操在线资源| 99色视频| cao视频,现在观看| 日韩精品一区二区亚洲AV观看| 九九色情网五月天| 久色88| 99在线视频女女视频| 狠狠九九婷婷韩| 久久激情五月天| 九九国产视频| 久久这里只有欧美| 久久久久久激情| 99re这里| 婷婷六久久| 影音先锋AV资源男人站| 久碰久操| 五月丁香青草综合啪啪| 思思热久热| 欧美丁香五月夫妻天| 欧美色色色色色色色| 日本天天色| 久久五月婷综合| 丁香社92视频| 久久久久久久综合狠狠综合| Av性爱网站| 另类综合国产| 日日夜夜婷婷| 九九九九九999999| 97人人操人人| 99热在线免费| www.色婷婷| 91狼友视频在线观看| 婷婷五月综合网| 久久人妻久久久久| 五月婷婷二月丁香| 午夜婷婷| 激情5月婷婷| 亚洲最大五月六月丁香婷婷| 色天五月天在线观看视频| www.五月天婷婷| 五月天综合网| 五月丁香六月婷婷啪啪| 五月六月婷婷| 欧美性生交A片免费看| 97在线日本| 色色色五月婷婷| 狠狠色婷婷六月激情网| 色色色五月婷婷| 嫩草哈哈操| 亚洲成人在线免费| www.夜夜| 可以免费观看的av| 无码人妻激情| 亚洲综合五月天婷婷| www.zbzhongsen.com| 一区二区无码视频| 激情五月综合ì香亚洲| 丁香六月啪| 偷偷操99| 视频这里只有精品16| 这里只有精品视频99| 99这里都是精品| 综合激情在线观看| 激情五月色播五月| 久久九九99视频| 激情五月天99色| 呦呦v线| 久久激情五月婷婷| 91免费看片| 丁香婷婷综合激情五月色| 99精品在线观看| 色婷婷在线电影| 99,色| 婷婷五月成人| 另类丁香综合| 婷婷五月丁香综合激情| 色99xx| 五月婷婷六月丁| 五月丁香婷草| 日韩欧美成人片| 色综合综合网| 九九九激情综合| 欧美日韩国产日本精品四虎网网站物| 色婷婷激情五月天在线观看| 亚洲妇女熟BBW| 综合啪啪| 五月婷婷婷| 九九十99视频| 婷婷亚洲五月| 亚洲天堂啪啪| 99爱视频在线观看这里只有精品| 婷婷射综合| 丁香五月婷婷香| 日本波多野结衣视频| 丁香五月婷婷色综合基地| 色五月播五月| AV美美午夜| 超碰人妻在线| 久久奄也去色色网站| 色婷婷基地| 五月婷婷大香蕉| 色婷婷综合网站| 婷婷情色五月天| 五月丁香婷婷视频| 人人澡玖玖一| site:pnnrt.com| 性爱先锋AV| 99综合久久| 99久久五月婷婷| 婷婷性爱无码视频| 精品影院| 日逼免费视频 | 超碰人人操人人9| 五月丁香在线视频观看| 深爱五月婷婷| 精品综合久久久久久五月天| 五月做爱| WWW.99热| 激情伊人五月婷婷久久| 九九激情| 五月好婷婷| 免费啪啪啪网站| 天天爱天天操| 第2色五月婷| www久久99| 五月在在观看| 丁香婷婷婷五月综合色情| 久久久五月四色| 久久久久久久久久久久63| 日本狠狠干| 激情综合网激情五月天| 99热这里只有精品9| 五月熟妇婷婷久久| 国产a视频| 久久免费操| 牛牛色av| 五月婷婷综合网| 丁香五月婷婷激情视频播放| 肏屄色播伊人97婷婷| PORNY九色9l自拍视频成人| 六月丁香久久| 黑人糟蹋人妻HD中文字幕| 99热99免费| 久草 tingting| 91视频精品99| 伊人五月网| www.99精品视频| 色综合天堂| 亚洲精品乱码久久久久久按摩观| 骚逼视频一区2区| 欧美色婷婷| 色婷婷丁香综合中文字幕| 亚洲激情四射| 五月婷婷色播| 久久奄也去色色网站| 色99视| 亚洲综合在线视频| 婷婷五月天电影在线| 五月天丁香综合在线| 天天干天天干天天操| 婷婷五月色网| 色婷婷丁香网| 四季日韩AV无码综合| Av九九| 丁香五月激情六月综合| 久久综合激情| 丁香五月婷婷激情中文| 色天堂婷婷| 久久久99免费视频| 99热这里只有精品最新网址| 在线视频另类| 大香蕉久久婷婷精品综合| 777影视理论片大全在线观看| 色五月在线播放| 丁香六月婷婷综合激情欧美| 丁香五月熟女| 日韩成人精品中文字幕电影| 五月激情六月丁香| 99在线视频播放| 欧美婷婷五月激情| 婷婷五月天最新综合你懂的 | 日欧一片内射VA在线影院| 天天日 天天草| 欧美日韩大黄| 久思思久视频| www.yw尤物| 激情文学 综合 九月| 爱射综合| 天天综合精品| 色情五月天丁香社区| 五月停停丁香| 五月色导航| 亚州激情九月| 97碰碰人人视频| 青草青草视频2免费观看| 亚洲精品午夜国产va久久成人| 99视频精品视频| 色色吧综合| 玖玖玖婷婷婷| 九九久久污| 91色呦哟| 久久女伦| 丁香婷婷五月综合欧美另类| 丁香激情综合| 丁香情色五月| www.五月天| 欧美精品18| 夜夜撸日日操| 天天综合五月| 久机视频这只有精品| 狠狠做六月爱婷婷综合aⅴ| 五月婷婷六月丁香玖玖玫瑰91| 久久久97| 欧美黑人巨大性生话| 久久思思热| YJLZZJLZZ亚洲乱熟无码| 色五月天在线| 久久婷婷五月综合伊人| 婷婷五月美女直播| 丁香五月成人网| 婷婷色五月色| 五月综合丁香婷婷| 色播五月网| 色五月天激情| www久久久| 操一操干一干| 国产SUV精品一区二区883| 五月丁香色婷婷| 亚洲日日操| 色墦五月丁香| 欧美美女视频| 日本波多野结衣视频| 国产成人片| 成人av免费观看| 日本五月婷| 婷婷五月天开心激情网| 色婷婷小说网| 五月婷婷色影院| 色婷婷操逼| 天天摸天天舔天天天天爽| 色婷婷六月| 六月色播| 久久免费精彩视频| 丁香婷婷九月| 一级黄色影片| 草久私拍| 69精品人人人人| 天堂AV三级| 开心婷婷五月天电影院| 99热这里只有精品86| 色婷婷日本| 久草大| 日本一级一片免费视频| 色情五月婷婷| 色婷婷丁香五月| 超级碰碰97在线| 六月婷婷日| 无码动漫av| 色婷婷综合视频| 五丁香激情综合| 人人爽欧美婷婷久久久五月丁香| 久久久99视频| 成人综合视频网址| 婷婷久久免费| 六月丁香啪| 日韩成人精品一区久久久久| 久碰婷婷视频| 日本片日本片祼观看网站在线看中文版网页在线看 | 日日噜狠狠| 天天综合天天做天天综合| 天天成人综合| 国产欧美va| 开心激情网在线| 大香蕉220| 天堂综合久久| 五月婷婷婷自由综合| www.99热这里只有精品| www.狠狠| 996热re视频在线观看视频| 亚洲综合视频在线| 色五月丁香五月激情五月激情| 26UUU亚洲欧美| 婷婷丁香五月综合免费视频百花| 欧美 日韩 人妻 高清 中文| 婷婷五月丁香91| 狠狠搞五月天| www.婷婷.com| 免费视频无码| 狠狠色狠狠| site:ornaments52.com| 婷婷五月丁香啪啪| 99热日本精品| 另类激情五月| 五月丁香六月婷| 亚洲色无码A片一区二区麻豆| 黄久久久| 久久婷婷五月综合色丁香| 婷婷婷婷婷开心无码播放| 翔田千里 50岁 无码| 五月丁香综合色婷婷| 婷婷激情综合| 成人色图情色成人网 www.5b5b5bcom 五月天| 激情五月天网| 色欧美日| 99视频这里有精品免费观看| 强壮公让我夜夜高潮A片视频| 第四色网婷婷| 涩婷婷五月天| 男人的天堂婷婷色五月| 久久色天堂| 激情五月综合网最新 | 婷色五月| 91欧美| www.夜夜操| 五月丁香久久久| 成人视频一区| 伊人婷婷色| 6080av| 亚洲操B| 五月天激情久久| 强伦轩人妻一区二区电影| 国外亚洲成AV人片在线观看| 色五月亚洲五月天| 久久99久久99精品免视看婷婷| 五月亭亭色| 天天噜天天爱| 婷婷激情综合无月| 六月亭亭久久综合激情| 在线综合亚洲欧美65| 久久香蕉影院| 日比网免费国产| 丁香五月影院| www久视频com| www.婷婷六月天| 亚洲电影中文字幕| 婷婷操婷婷干婷婷射| 国产午夜精品一区二区三区四区| 国产成人VA| 一区二区三区视频| 99超在线| 亚洲99综合| www.色综合.com| 狠狠穞A片一區二區三區| 综合久久十| 婷婷之六月丁香| 五月天大香蕉| 人妻熟妇六区| 婷婷丁香五月天之开心少妇| 天天色色天天| 婷婷色一二三区波多野结衣| 99在线免费观看| 天天色综| 91操人| 99九色视频在线观看| 中文字幕av在线| 日韩啪啪视频| 人妻av在线| 看婷婷五月天网| 五月丁香| 日韩五月天婷婷| 91 影音先锋| 另类综合国产| 99热色婷婷| 五月天久久综合| 超碰在线成人| 欧美S码亚洲码精品M码| www.maotanji.com| www.婷婷| 99re久热只有精品6在线直播| 五月丁香777| 五月激情五月丁香| 九九爱精品网站| 天天综合网在线| 五月婷在线影院| 可以免费观看的AV| 99热在线观看这里只有精品| 久操干| 久草热在线视频| 五月天激情网址| 色色六月| 五月天伊人网| 99热只有精| 四季AV综合网| 操碰97| 天天婷婷综合| 婷婷丁香五月天色色| 亭亭玉月丁香| 电影蜘蛛女| 99日热在线视频| 97婷婷丁香| 五月花综合网| 九九精品re免费视频| 五月丁香色婷婷色| 色婷婷五月天成人网| 日韩操啪| 激情av在线| 这里只精品| 色播激情| 狠狠综合| 99在线精品免费视频| 免费97碰碰| 久久精品一区二区三区四区| 婷婷五月亚洲一本在线丁香| 99久久66| 99热亚州综合| 天天弄天天操| 婷婷五月天在线综合| 99爱爱| 成人做爰黄A片免费看直播室男男| 六月五月久久丁香| 久久婷.com| 精品亚洲国产成AV人片传媒| 91久久久久久久久| 狠狠干无码| 《诡秘之主》在线观看| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 色的色综合| 蜜桃婷婷狠狠久久综合| 91碰碰碰| 26uuu丁香婷婷五月| 五月婷婷免费视频| 婷婷啪啪| www.久久爱.com| 爱穴久久| 成人无码精品1区2区3区免费看| 五月丁香六月激情| 五月综合婷婷网| 99精品热视频| 超碰在线网站| 99国产精品白浆在线观看免费| 99视频在线| 热这里| 五月丁香婷婷爱激情综合网| 中文字幕,综合,91| 日本三日本三级少妇三级66| 亚洲妇女熟BBW| 91色婷婷综合久久中文字幕二区| 天天色天天日天天舔| 伊人婷婷色激情丁香| 久草五月婷婷| 日本久久超碰| 婷婷国产欧美97| 97超碰,人人舔,人人操,人人摸| 亚洲成人免费电影| 激情久久久久久| 天天舔天天摸天天透| 深爱网深爱综合网| 色噜噜狠狠色综合日日免费| 欧美久久婷婷| 色玖玖玖| 色婷婷无吗| 99久久户外勾搭| 成人丁香| 丁香五月婷婷五月| 26uuu国产| 久久久com| 丁香成人五月天| 亚洲天天综合| 婷婷色情六月| 色五月丁香婷婷| 五月丁香免费看| 婷婷丁香人妻天天久久| 色五月影视| jiujiu无码五区| 丁香五月欧美色综合| 天堂综合久久| 五月天丁香成人社| 久久久91| 天天做天天视天天谢| 五月婷婷六月丁香免费| 激情综合青草| 丁香五月婷婷动漫视频| 五月丁香综合伦理片| 亚洲激情五月婷婷日日| 婷婷5月色| 日本狠狠爽| 亚洲欧洲色色| 五月激情网络| 色五月婷婷基地| 激情图片久久| 欧美婷婷| 激情五月天色色| 中字幕视频在线永久在线观看免费 | 五月婷六月综合在线观看| 狠狠综合区| 99热超碰在线| 丰满熟女人妻一区二区三| j久久性爱视频| 天天日夜夜操五月| 五月天婷a| 六月丁香婷婷爱| 日本熟女啪啪| 香蕉AV777XXX色综合一区| 免费无码毛片一区二区A片| 综合久久六月| 婷婷色在线视频| www.jiujiujiu| 九九99久久| 综合99在线| 99精品在线下载| 丁香婷婷色五月| WWW,五月| 能看的av| 五月丁香天堂| 99成人网一区| 超碰狠狠色| 日本色色视频| 无码区婷婷五月花开| 99热免费| www超碰com| 欧美天堂久久| 都市激情久久| 色婷婷成人五月| 超碰在线免费| 婷婷伊人久久无码色五月| 99久久久久久久| 91碰碰| 玖久精品视频9| 丁香五月先锋| 淫五月停停| 狠狠爱婷婷爱| 思思热在线视频99| 91综合在线| 大香蕉视频婷婷| 1024手机在线观看看片_日韩精品| 亚洲精品欧洲精品| 99色| 欧美色图片88| 日韩欧美一级大黄网站| 懂色AⅤ| 九九热视频精品| 色综合99色| 女性自慰系列第五页| 亚洲色色香蕉| 黄桃AV无码免费一区二区三区| 亚洲国产网站| http://www.lingjunshare.com/ | 婷婷精品综合| 五月婷久久在线| 色激情五月天| 五月丁香久久久| 丁香五月天网站| 亚洲色综合性| 久热久| 91丨人妻丨国产丨丝袜| 五月丁香啪啪激情| 超碰免费人人| 91视频久久久| 五月丁香激情综合欧美| 天天日夜夜拍| 亚洲XX网| 天天情色综合网| 成人精品一区日本无码网| 五月天激情四射网站| 欧美色色色| 九九热只有精品| 丁香六月婷婷综合啪啪| 综合五月丁香六月婷婷| 精品国产乱码久久久久久免费| 中文字幕欧美精品久久| 色情播放| 极品少妇高潮啪啪AV无码| 激情黄色小说色五月| 激情综合网 激情五月天| 色五月激情五月丁香五月婷婷啪啪综合| 26uuu成人网| 精品无码久久久久久久久| 色婷婷电影网| 亚洲永久免费| 性爱技巧五月| 婷婷五月六月丁香综合| av亚洲国产小电影| 99高级会所久久| 久久久精品色| www.色五月| 亚洲熟女色| 一区二区三区四区牛| 婷婷综合五月色播| 亚洲黄网AV| 深爱激情AV| 人妻久久久| 91美女被操| 丁香六月久久| 99精品久久| 色婷婷先锋| 天天干天天操天天上| 精品人妻午夜一区二区三区四区 | 中文激情网| 超碰人人操在线| 丁香婷婷性久久| www.9色色色| 色婷视频| 色99超碰| 久久婷婷综合国产| 99精品久久久久久久婷婷| 婷婷五月天综合网| 91chinese在线| www.精品99| 97资源碰碰| 这里只有精品视频99| 国产精品色婷婷AV综合色色| 五月天天丁香婷婷在线中| 丁香五月欧美激情| www久久久| 99久久9| 深爱激情九九五月天 | 婷婷性爱五月天丁香网| 亚洲综合五月天婷婷| 大香人妻| 精品久久9| 在线五月婷婷小电影| 日日夜夜干| 五月婷丁香在线视频在线| 202丰满熟女妇大| 99.色| 五月香蕉网| 欧美综合丁香网| 久久人妻情侣| 婷婷综合成人| 久热丁香| 久久综合激情| 色5月婷婷| 亚洲综合色激情色五月| 激情视频综合| 婷婷六月丁香开心深深爱| 办公室少妇激情呻吟A片在线观看| 九九这里精品| 亚洲AVDVD| 激情综合色图| 99这里只有精品视频在线| 中文字幕中文有码在线| 丁香综合婷婷五月天| 丁香五月另类色婷婷麻豆| 天天爽天天| 丁香成人视频| 开心六月婷| 天天色天天操天天射| 婷婷五月六月丁香| 五月天啪啪| 4399无码视频| 天天干天天做| 伊人六月无码视频| 九热免费视频| 中文字幕网伦射乱中文| 一月婷婷色色| 九九久久综合网站| 97人人操在线| 五月婷婷综合天天操| 欧美97色| 色婷婷狠狠干芒果TV| 激情久久综合| 久久香视频| 激情深爱五月天| 五月激情小说网| 激情五月综合视频| 五月丁香六月婷婷网| 艾小青av| 日本三久久| 色九四色| 五月天婷婷久久| 婷婷五月天久久| 丁香六月婷婷一区| www.99热精品| 超极99精品| 色综合伊人网| 激情綜合網址| 五月婷网站| 五月天婷综合网站| 九九热99在线视频| 亚洲亚洲人成综合网络| 色域五月婷婷丁香| 五月天啪啪| 久久久久久久丁香五月天婷婷| 色九九九综合| 精品无码久久久久久久久| 影音先锋偷偷色男人站| 丁香婷婷久久老熟女综合网| 色五月亚洲| 五月丁香六月在线| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 日日操天天爽| 天天色伊人| 91狠狠综合久久| 91久久电影| 九九在线91| 被强行糟蹋的女人A片| 色五月首页| 国产精品色婷婷久久久精品| 成人视频婷婷| 天天肏天天爽夜夜爽| Av性爱网| 五月丁香香蕉| 综合AV在线| 人人操人人爽成人AV| 男人的天堂在线婷婷| 五月婷婷视频| 99年操人人爽| 天天日天天插| 开心激情婷婷| 久99| 噜噜噜久久| 久热九九| 久久新地址| 日本婷婷在线| 欧美天堂久久| 超碰色综合| 久re热视频| 久久婷婷综合五月天| 亚洲aV写真天天综合网久久| 日韩操逼小电影| 丁香五月天激情综合网| 第四色婷婷色五月| 久久99久久99精品免观看软件| 99热99热在线观看| 亚洲网站999| 9久热免费视频99| 9福利性视频欧美| 中文字幕不卡视频| 97婷婷丁香五月天激情图片| 日本成人内射| 日操熟女| 伊人影院久久网| 超碰cap| 99欧美热| 婷婷香蕉视频| 色色九九五月天| 丁香五月婷婷天堂大香蕉| 精品爆操| 色婷久久| 色色色视频| 天天综合亚洲综合| 啪啪小说五月天| se99视频| 综合色影院| 亚洲人人操| 五月婷婷大香蕉| 99久久99九九99九九九| 99在线精品免费视频| 国产欧美日韩综合精品一区二区| 激情五月黄色| 九九色网专区| 级人人91| 六月婷婷九月丁香| 九九热这里只有精品5| 九九香蕉网| 激情五月六月婷婷综合啪啪| 五六月丁香激情视频| 婷婷成人五月天成人文学小说| 丁香婷婷激情六月五月开心| av在线中文| 久久九九网| 日本欧美成人片AAAA| 欧美性爱丁香五月| 一本色道久久88加勒比—| 在线观看免费狠狠色丁香香综合| 91综合在线| 婷婷色五月天综合网| 欧美激情2025| 久热黄色| 久久9视频| 久草婷| 丁香激情网| 五月天播播综合| 五月天色综合服务平台| 色播五月网| 亚洲五月婷婷| 色五月激情图片| 97操操操| 99热99热99热99热| 五月丁香六月婷| 99噜噜噜在线播放| 4438成人电影| 亚洲天堂爱爱| 亚洲十月婷婷综合| 琪琪色五月天| 亚洲av| 亚洲综合五月天婷婷丁香| 欧美激情五月天在线观看| 亚洲九九视频| 成人午夜视频精品一区| 人橾人| 久久色五月天| 丁香五月欧美| 亚洲九N| caop在线| 激情黄色小说五月天| 丁香伊人网| www.金莲av| 久久网日本| 在线中文字幕视频| 国产成人va在线| 久久99久久99精品免视看婷婷| 五月激香蕉网| VA婷婷| 丁香五月婷婷基地| 五月天婷婷综合色| 婷婷和五月天| 激情五婷网| 看片视频在线免费日产在线看| 97在线刺激| www.婷婷久久五月天| 久久婷婷五月国产激情综合片| 天天操婷婷| 九九9久九9国产视频| 欧美色图天堂网| 五月婷婷开心网| 97一区二区| 麻豆雪千夏| 激情五月婷婷啪啪| 996er热| 91919191919久久成人视频| 婷婷午夜精品久久久| 999影院成人在线影院| 丁香婷婷基地| 五月天激情国产综合婷婷| 天天天天色天天天天天干| 99热8| 97干综合网| 深爱激清网| www久久久久久久久久久| 丁香五月六月久久综合| 97在线碰| 在线观看免费狠狠色丁香香综合| 五月色网| Aaa久久| 日日夜夜狠狠婷婷色| 成人婷99最新| 丁香六月亚洲| 欧美精品熟女一区二区| 国产又色又爽又黄又免费| 久热这里只有精品性色AV| 9l视频自拍九色9l视频自拍九色9l社区| 婷婷丁香五月天色色| 丁香五月天五码婷婷| 五月天色色网站| 伊人婷婷五月天| 情色五月天网站| 991精品在线视频| 五月丁香综合激情| 狠狠久久婷婷| 五月丁香六月婷婷色日| 91天堂网综合| 亚洲色在线观看| 九色激情| 五月天综合在线观看| 99热欲| 五月丁香亚洲婷婷| 热99.com婷婷| 婷婷五月天色| 人妖色AV色综合| 色婷婷丁香五月在线观看| 极品少妇婷婷五月| 色色色色网| 99热狠狠操| 激情久久久久久久久久久| 91婷婷丁香五月| 久久女人天堂| 日韩无码成人电影| www.婷婷亚洲基地| 婷婷激情五月| 噜噜在线| 99色热视频| 超碰免费观看| 婷婷丁香色五月| 成人AV网站在线| 男人的天堂五月丁香| 久久久激情视频| 婷婷欧美综合| 九九热在线观看6| 久久丁香| 欧美色色色| 影音先锋综合网| 婷婷五月色综合| 玖玖色综合网| 97人人超| 五月婷丁香在线视频在线| 69天堂99| 五月天社区婷婷丁香社区| 丁香密臀AV激情网| 五月丁香六月激情欧美综合| 五月丁香婷婷在线综合蜜桃| 精品亚洲国产成AV人片传媒| 性色99| 九 九九九AV| 九九大香视频| 丁香五月婷婷婷婷欧美综合| 午夜不卡久久精品无码免费| 激情www| 免费黄色视频网址| 青青草视频免费观看| 无码网站视频| 人人插9| 婷婷色婷婷| 天堂AV在线看| 99精品在线观看视频| 中文字幕成人| 婷婷综合色播网| 久久九九@| 天天色综网| 九九无码| 天天爽天天日人人爱| 操操综合网婷婷| 六月丁香综合| 五月婷婷熟女| 五月丁香婷婷色播无码| 激情四射五月天| 天天综合色综合| 国产性爱一级| ..真实国产乱子伦对白在线_欧 | 狠狠色噜噜狠狠狠狠综合| 久久这里只有国产精品视频| 9l视频自拍9l九色9l成人| 狠狠干综合| 九九视频在线| 五月天激情综合首页| se婷97| 4399在线日本A片| 九九热在线视频,| 97sese婷婷| 激情AV| 色五月 五月婷婷| 五月婷婷狠天天色综合| 99九九热视频| 99热色精品| 丁香色婷婷| 色视频2025| 丁香婷婷五月综合| 国产乱人偷精品人妻A片| 五月婷啪啪| 美国天天日天天操| 天天做天天爱天天搞| 激情av网| 久机视频这只有精品| 激情五月婷婷六月丁香| 在线,国产,色,热视频| www.com亚洲网站在线免费| 久久婷婷青青| 丁香五月色情| 91丨九色丨熟女|新版| 五月天精品综合| 操笔无码| 久久多色| 色爱爱综合网| 无人区码一码二码三码医生系列| 五月丁香六月婷| 色播五月婷婷| 精品成人无码A片观看香草视频| 九九99在线免费在线观看视频| 色色五月天 亚洲| 婷婷成人视频| 欧美精品99| 99这里| 久热这里只有精品在线| 婷婷五月天激情综合婷婷五月天激情综合| 狠狠干综合网| AVV黄| www.1024久久| 熟女色色一区二区| 可以免费观看的AV| 色色免费网站| 五月天婷婷无码| www.激情五月天| 天天爱天天做天天爽| 99热 免费| 五月天激情综合首页| 五月丁香啪啪婷婷| 六月丁香啪啪啪| 色婷婷AV在线| 99偷拍视频在线日本| 欧美一级毛卡片无码| 7777国产盗摄农村女人| 色五月播五月| 亚洲国产成人综合| 伊人网大香| 九月综合| 九九色播五月丁香| 天天爱天天操| 99精在线| 亚洲欧美一区二区三区爱爱动图| 九九热精品视频九九| 欧美婷婷五月天综合| 婷婷成人丁香色情基地30| 天天干天天日天天插 | 亚洲va综合va国产va中文| 99热久| 久热这里只有| 婷婷色婷婷| 天天天久久人人人合| 婷婷五月天色| 五月丁香六月婷婷无码| 天天操人人干| 五月丁香六月激情综合| 久9久成人精品视频| 欧美三日本三级少妇三99| 天天干夜夜想| 久久538| 精品人妻在线| 五月丁香婷中文| 婷婷丁香久久| 99啪啪| 噜噜在线| 婷婷五月激情黄色| 婷婷丁香大香蕉| 手机在线视频观看9| 99热第一页| 996热re视频精品视频| 亚洲色碰| 亚洲免费av在线| 成人国产综合| 免费看成人747474九号视频在线观看| 大香蕉人在线65| 色5月婷婷| 激情六月下句是什么| 五月婷婷视频28| 亚洲视频色婷婷| 2025天天日爽| 久久性视频| 天天爽天天操| 无码99| 亚洲偷| 大香蕉娱乐| 欧美三级黄色片久久| 激情五月综合网| 亚洲色涩视频| 色宗合,宗合网| 人妻久久久久久久久久| 99这里都是精品| 99这里只有精品|v| 人妻第九页| 色噜久| 热99精品视频在线观看| 五月四色婷婷| 九九婷婷五月天| 丁香久久| 射婷婷中文字幕| 日本WWW九九九| 亚洲色婷婷色| 婷婷五月丁香手机在线视频| 综合久久影院| 欧美大片| 玖玖婷婷色| 色欲久久综合| 五月天激情.com| 久99久在线观看| 人人操AV| 变态另类色图| 综合激情婷婷| 五月婷在线视频免费播放| 九九激情| 欧美成人精品A片免费一区99| 97碰精品| 丁香五月天堂网| 天天精品视频在线观看视频| 91九色在线视频| 国产在线aaa片一区二区99| 亚洲爱婷婷| 色七色九九| 久青草影院| 激情综合网色播五月| 第四色色色色色丁香五月天| 久久人人看| 日本熟女内射| 另类图片五月天| 香蕉97碰碰碰超视精品| 激情www.98com| 五月婷色色| 丁香五月婷婷国产在线| 五月婷婷深深的爱| 五月激情婷婷丁香天堂| 综合激情婷婷| 色色网站日本91| 在线国产精品色| 五月激情影院| 丁香五月欧美婷婷综合| 九九九这里只有精品| www.久热| 性色做爰片在线观看WW| 狼人婷婷综合| 夜夜撸日日骑| 91九色网| 五月丁香啪啪综合| 日本五月天一页| 激情又色又爽又黄的A片| 亚洲无码成人| 色五月婷婷影院| 日本少妇裸体做爰高潮片| 伊人久久大香线蕉综合网站| 包操45分钟网站| 色综合久久88色综合天天看| 日本一级一级一级一级| 美欧成人视频| 人人人操97| 国产精品扒开腿做爽爽爽A片唱戏| 久久停停超碰| 色久五月天| 亚洲网在线观看| Se.婷婷五月天| 久久草大香蕉| 六月婷欧美丁香综合| 久草五月天| 99操逼| 极品人妻VIDEOSSS人妻| 国产免费av在线| 久久久久思思热| 激情操逼婷婷| 婷婷五月天日逼| 五月丁香亭亭| 综合久久97| 久久五月天色婷婷| 69久热| 日日爱激情| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 深爱综合网| 日本在线观看99| 99热骚货| 三人荫蒂添的好舒服A片| 美女亚洲五月丁香| 天天搞天天爽| 婷婷性爱影院| 综合婷婷都市激情| 九九九九中文字幕| 欧美啄木乌丝袜人妻系列| 五月久久综合| 久热最新视频| 国产免费性爱| 亚洲愉拍99热成人精品| 日本3级片一区2区| 婷婷激情综合色五月久久91| 激情网婷婷婷| 极品人妻VIDEOSSS人妻| 久婷婷五月激情| 五月天综合久久| 五月丁香手机在线| 99热这里只有精品8| 99,色| 亚洲99精品欧美一区| 五月婷婷亚洲综合在线| 婷婷成年人免费视频| 五月婷婷97| 激情五月天免费视频| 精品热青草| 777色色色| 嫩草视频观看| 9九色首页| 天堂久久精品| WWW.婷婷| 精品色情一区二区三区四区| 色色网站毛片| 丁香婷婷激情网站| AⅤ在线播放网| 草综合14| 色呦呦美女| 色色色色综合| 情五月亚洲婷婷| 欧美色偷偷大香| 99爱爱网| 五月激情丁香五月| 国产国产乱老熟女视频网站97| 九九热只有精品6| 国产,欧美,学生妹,视频| 伊人六月无码视频| 狠狠色综合无线观看| 色五月激情网| 婷婷色五月激情| 粉嫩AV久久一区二区三区| 五月婷网站| 丁香五月综合激情性爱 | 51XX嘿嘿午夜无码| 色综合网址| 乱女乱妇熟女熟妇综合网站| 日韩一级一片内射视频4K| 久久机热/这里只有精品| 91九色国产在线| 欧洲第一无人区观看| 深夜A片| 色九亚洲| 天天操天天插| 日韩在线婷婷五月天综合| 玖玖爱综合网|