欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實戰(zhàn)洞察。

PyTorch中混淆矩陣可視化:從模型評估到熱力圖實戰(zhàn)

PyTorch中混淆矩陣可視化:從模型評估到熱力圖實戰(zhàn) 1. 項目概述為什么你的模型需要一張混淆矩陣訓(xùn)練完一個Pytorch分類模型大多數(shù)人習(xí)慣性看一眼測試集準(zhǔn)確率就覺得萬事大吉。但準(zhǔn)確率這個指標(biāo)在不少場景下是會騙人的——比如類別不均衡的數(shù)據(jù)集哪怕模型把少數(shù)類全部判錯只要多數(shù)類猜得足夠準(zhǔn)整體準(zhǔn)確率依然能保持在90%以上。你根本看不出模型到底在哪些類別上犯了迷糊。而混淆矩陣Confusion Matrix做的就是這件事把模型預(yù)測結(jié)果和真實標(biāo)簽做成一張二維交叉表每一行代表真實類別每一列代表預(yù)測類別。矩陣對角線上的數(shù)字是預(yù)測正確的樣本數(shù)非對角線位置就是具體怎么錯的、錯到了哪個類別。有了這張表你能直接回答三個核心問題模型在哪些類之間最容易混淆每個類別的精確率和召回率表現(xiàn)如何錯誤是偏向某一邊還是均勻分布這個項目我前后做了很多次踩過的坑包括但不僅限于類別順序?qū)Σ簧蠈?dǎo)致圖畫出來全是亂的、放在GPU上的張量忘記轉(zhuǎn)回CPU、歸一化方式選錯導(dǎo)致熱力圖深淺完全失真、第一版代碼在batch推理時忘了收集全部預(yù)測結(jié)果。這篇文章把整個過程完整梳理一遍從最基礎(chǔ)的依賴安裝到最終的熱力圖可視化每一步都會給出可以直接抄走的代碼同時解釋為什么這么寫。2. 準(zhǔn)備工作與核心思路拆解2.1 項目結(jié)構(gòu)與本方案選型邏輯先說整體設(shè)計。這個任務(wù)本質(zhì)上是三件事串聯(lián)得到預(yù)測結(jié)果、計算混淆矩陣、可視化展示。聽起來簡單但每件事都有幾個看似相似、實際千差萬別的實現(xiàn)方式。得到預(yù)測結(jié)果這一環(huán)常見的坑是用驗證集上的最好一次批次的預(yù)測結(jié)果而不是整個測試集從頭到尾的完整預(yù)測。你用驗證集loss挑出來的模型權(quán)重最終要看的還是它在測試集上的泛化表現(xiàn)所以做混淆矩陣一定要用測試集、完整跑完forward把所有預(yù)測和標(biāo)簽收集起來。另一個是注意要用torch.no_grad()包裹推理過程不然顯存會被多余的計算圖占滿尤其是輸入圖片分辨率高或batch size大的時候爆顯存不是開玩笑的。計算混淆矩陣這一環(huán)選sklearn.metrics.confusion_matrix還是自己寫計數(shù)邏輯我的建議是用scikit-learn的現(xiàn)成函數(shù)除非你有特殊需求。自己寫循環(huán)也可以但處理多分類、類別順序、預(yù)測值和真實值格式不一致這些細(xì)節(jié)時手寫代碼很容易出邊界問題。sklearn版本已經(jīng)經(jīng)過大規(guī)模驗證返回的矩陣形狀是(n_classes, n_classes)行是真實類別列是預(yù)測類別注意這個順序不要搞反可視化的時候如果發(fā)現(xiàn)圖和預(yù)期對不上先檢查這里??梢暬@一環(huán)純粹用Matplotlib還是用Seaborn取決于你想花多少時間調(diào)樣式。Seaborn的heatmap函數(shù)天然適配這類需求有可選的數(shù)值標(biāo)注、配色方案、行列標(biāo)簽控制幾行代碼就出效果。不過如果你在自定義模型或需要集成到自己的訓(xùn)練腳本里直接用Matplotlib也不麻煩。我會在后面的可視化章節(jié)給出兩種寫法和各自適用場景。2.2 環(huán)境依賴與工具選型最低配置如下Python 3.8以上PyTorch 1.10以上scikit-learn 0.24以上matplotlib 3.5以上numpy 1.21以上seaborn可選僅熱力圖畫得更快我實測過的組合是Python 3.10 PyTorch 2.0 scikit-learn 1.2 matplotlib 3.7沒有遇到兼容性問題。如果你還在用老版本的PyTorch比如1.6或者更早一些API細(xì)節(jié)會不同比如torch.no_grad()的用法在早期版本也支持但要留意數(shù)據(jù)類型轉(zhuǎn)換時tensor.cpu().numpy()在需要梯度時可能報RuntimeError后面故障排查章節(jié)會專門講。提示如果環(huán)境里沒安裝scikit-learn單純?yōu)榱水嫽煜仃囇b一個庫不要覺得這是多余。自己實現(xiàn)多分類混淆矩陣時要處理的邊界情況比你想象得多與其在這上面浪費(fèi)時間不如引入已經(jīng)打磨好的依賴。2.3 數(shù)據(jù)格式與類別標(biāo)簽對齊一個非常隱蔽但極其常見的問題訓(xùn)練代碼里的類別索引順序和可視化時顯示的類別名稱順序不一致。比如在Pytorch的torchvision.datasets.ImageFolder里類別順序是按文件夾名稱排序的Lexicographic order。你的文件夾可能叫apple, banana, grape那么索引0就是apple索引1就是banana。如果你在別處比如某個手寫的txt映射表定義了另一套順序畫出來的混淆矩陣行列標(biāo)簽就會錯位整個圖看起來還是有模有樣的但分析結(jié)論全部是錯的。所以我強(qiáng)烈建議固定一套標(biāo)簽列表并在代碼開頭顯式聲明class_names [apple, banana, grape] # 或者從訓(xùn)練數(shù)據(jù)集中直接提取 class_names train_dataset.classes用train_dataset.classes是最穩(wěn)妥的因為你訓(xùn)練時模型輸出的索引就是這么來的不會出現(xiàn)人工手抄錯誤。后續(xù)無論計算矩陣還是畫圖都從同一個列表取標(biāo)簽名。3. 核心代碼實現(xiàn)從模型推理到矩陣生成3.1 完整推導(dǎo)用測試集跑出預(yù)測結(jié)果先說這一段的目標(biāo)把測試集或者驗證集里所有樣本的真實標(biāo)簽和模型預(yù)測結(jié)果收集成兩個一維數(shù)組長度都應(yīng)該等于測試集樣本總數(shù)。一個典型的完整流程如下import torch import torch.nn.functional as F from torch.utils.data import DataLoader from tqdm import tqdm def collect_predictions(model, test_loader, device): model.eval() all_preds [] all_labels [] with torch.no_grad(): for inputs, labels in tqdm(test_loader, descEvaluating): inputs inputs.to(device) labels labels.to(device) outputs model(inputs) # outputs shape: (batch_size, num_classes) # 需要的是每個樣本的最大分?jǐn)?shù)對應(yīng)的索引 _, preds torch.max(outputs, dim1) # 關(guān)鍵轉(zhuǎn)回CPU并轉(zhuǎn)成numpy all_preds.append(preds.cpu().numpy()) all_labels.append(labels.cpu().numpy()) all_preds np.concatenate(all_preds) all_labels np.concatenate(all_labels) return all_preds, all_labels幾個細(xì)節(jié)解釋一下為什么使用torch.max(outputs, dim1)而不是torch.argmax兩者做的事情一樣但torch.max順帶把最大值的數(shù)值也返回了如果你后面想做置信度閾值篩選不需要再跑一次前向傳播。為什么model.eval()必須在循環(huán)前調(diào)用因為模型里的Dropout和BatchNorm在訓(xùn)練模式和推理模式行為差別很大。BatchNorm在train()模式下用的是當(dāng)前batch的統(tǒng)計量在eval()模式下用的是訓(xùn)練階段累積的全局統(tǒng)計量。忘記這一步預(yù)測結(jié)果可能是錯的且錯誤模式非常隱蔽——你不要指望它報錯只是數(shù)字不準(zhǔn)確。為什么收集預(yù)測和標(biāo)簽要用numpy而不是繼續(xù)保留tensor因為后面交給sklearn.metrics.confusion_matrix時numpy數(shù)組最方便。你當(dāng)然可以傳tensor進(jìn)去sklearn底層會嘗試轉(zhuǎn)numpy但遇到需要detach的場景就會報錯這里直接cpu().numpy()一步到位省心。3.2 核心邏輯構(gòu)建并理解混淆矩陣拿到all_preds和all_labels之后一行代碼就能生成矩陣from sklearn.metrics import confusion_matrix cm confusion_matrix(all_labels, all_preds) print(cm)這里有個非常值得注意的細(xì)節(jié)sklearn的confusion_matrix(y_true, y_pred)第一個參數(shù)傳真實標(biāo)簽第二個參數(shù)傳預(yù)測標(biāo)簽。我見過不止一次把順序?qū)懛吹娜绻惆l(fā)現(xiàn)自己矩陣對角線上的數(shù)字莫名其妙地大但精確率和召回率分析卻對不上先檢查是不是這一步參數(shù)傳反了。輸出的cm是一numpy二維數(shù)組形狀為(n_classes, n_classes)。cm[i][j]代表真實類別為i、預(yù)測類別為j的樣本數(shù)。沿行方向看每一行的總和等于該真實類別在測試集中的總樣本數(shù)沿列方向看每一列的總和等于模型預(yù)測為該類別的總數(shù)。舉個具體例子假設(shè)3分類的矩陣是[[50, 5, 3], [ 2, 45, 8], [ 1, 4, 60]]現(xiàn)在看第一行真實類別050個預(yù)測正確5個被錯判成了類別13個被錯判成了類別2。第一行總樣本數(shù)58。看第一列預(yù)測為類別050個確實來自類別02個來自類別11個來自類別2總預(yù)測數(shù)為53。你還能順手算出每個類別的精確率和召回率類別0精確率 50 / 53類別0召回率 50 / 58類別2精確率 60 / 65類別2召回率 60 / 64不從混淆矩陣出發(fā)光用sklearn.metrics里的precision_score、recall_score你確實也能拿到這組數(shù)字但一個是黑盒求解一個是看表手算顯然后者對模型行為的理解更清晰。3.3 歸一化問題原始數(shù)值與比例圖的取舍做可視化之前通常會糾結(jié)一個事情熱力圖顏色深淺到底表示原始數(shù)量還是百分比例我實際用下來的建議是兩者都做根據(jù)需求選擇展示。原始數(shù)值適合看絕對樣本量比如你的測試集每類大約500張一眼就能看出模型在某個類上錯了43張這個絕對值是否可接受取決于業(yè)務(wù)場景。但如果你想分析的是錯誤率的相對大小尤其是在類別樣本量差異很大的情況下用歸一化比例圖才不會被絕對數(shù)量誤導(dǎo)。例如測試集中類別0有1000個樣本類別1只有100個樣本。類別0錯了50個比例是5%類別1錯了10個比例是10%??丛紨?shù)值圖50比10大很多你很可能誤以為類別0的問題更嚴(yán)重。但歸一化之后才能看清類別1的錯誤率其實翻倍了。sklearn提供normalize參數(shù)cm_normalized confusion_matrix(all_labels, all_preds, normalizetrue)normalizetrue的意思是按行歸一化即每行真實類別的總和為1。這樣矩陣?yán)锩總€單元格的值表示真實類別為i的樣本中被預(yù)測為類別j的比例。對角線上的值就是每個類別的召回率。這是最常用的一種歸一化方式因為解釋起來直觀。還有一種normalizepred按列歸一化得到的是精確率視角??茨惴治鲂枨筮x擇。提示匯報結(jié)果時圖里標(biāo)注清楚是絕對數(shù)量還是歸一化比例。最好在副標(biāo)題里直接寫明normalized confusion matrix (row-wise)免得看圖的同事誤讀顏色深淺代表的意義。4. 可視化實戰(zhàn)從樸素表格到生產(chǎn)級熱力圖4.1 使用Matplotlib實現(xiàn)基礎(chǔ)熱力圖最樸素的方式一個for循環(huán)也能畫出格子但效率太低且代碼冗長。實際項目中我推薦直接使用plt.imshow或者M(jìn)atplotlib的matshow。給一個我常用的基礎(chǔ)版本import matplotlib.pyplot as plt import numpy as np def plot_confusion_matrix(cm, class_names, titleConfusion Matrix, cmapBlues, normalizeFalse): if normalize: cm cm.astype(float) / cm.sum(axis1, keepdimsTrue) fig, ax plt.subplots(figsize(8, 6)) im ax.imshow(cm, interpolationnearest, cmapcmap) ax.figure.colorbar(im, axax) # 設(shè)置刻度 ax.set(xticksnp.arange(cm.shape[1]), yticksnp.arange(cm.shape[0]), xticklabelsclass_names, yticklabelsclass_names, ylabelTrue Label, xlabelPredicted Label, titletitle) # 讓x軸的標(biāo)簽在底部顯示而不是頂部默認(rèn)imshow是頂部的 ax.xaxis.set_label_position(bottom) ax.xaxis.tick_bottom() # 在每個格子里標(biāo)注數(shù)值 thresh cm.max() / 2. for i in range(cm.shape[0]): for j in range(cm.shape[1]): ax.text(j, i, f{cm[i, j]:.2f} if normalize else f{cm[i, j]:d}, hacenter, vacenter, colorwhite if cm[i, j] thresh else black) fig.tight_layout() plt.savefig(confusion_matrix.png, dpi150, bbox_inchestight) plt.show()這段代碼有幾個細(xì)節(jié)值得注意為什么用cm.astype(float)原始混淆矩陣是整數(shù)類型整數(shù)除以整數(shù)在Python 3里得到的結(jié)果是浮點數(shù)但如果遇到某行和為0除法結(jié)果會是NaNastype(float)可以讓后續(xù)操作更順暢。另外如果直接把int類型矩陣傳給imshow顏色的映射不會有問題但在某些情況下annotate字符串格式化會有坑轉(zhuǎn)成float更安全。為什么用thresh cm.max() / 2來決定字體顏色如果格子的數(shù)值大于最大數(shù)值的一半說明格子顏色較深用白色字更清楚反之用黑色字。這個閾值設(shè)定簡單粗暴但效果很好實測各種顏色映射下都清晰。如果你用的是plt.text手動標(biāo)注而不是后面要講的Seaborn內(nèi)置annot功能這段邏輯就得自己寫。關(guān)于顯示方向Matplotlib默認(rèn)的imshow坐標(biāo)是從左上角開始y軸向下。這是圖像坐標(biāo)系的常規(guī)做法。如果你希望y軸從下往上數(shù)學(xué)坐標(biāo)系習(xí)慣可以加上ax.invert_yaxis()。但這個決定純屬個人偏好我用默認(rèn)方向沒遇到過問題只要x軸標(biāo)簽在底部、y軸標(biāo)簽在左側(cè)讀者就能自然理解。4.2 使用Seaborn一行畫出更美觀的熱力圖如果你不排斥引入seaborn熱力圖能畫得更快且默認(rèn)樣式在現(xiàn)代論文和報告里更順眼import seaborn as sns plt.figure(figsize(10, 8)) sns.heatmap(cm, annotTrue, fmtd, cmapBlues, xticklabelsclass_names, yticklabelsclass_names, cbarTrue, linewidths0.5, linecolorwhite) plt.xlabel(Predicted Label) plt.ylabel(True Label) plt.title(Confusion Matrix) plt.savefig(cm_seaborn.png, dpi150, bbox_inchestight) plt.show()參數(shù)解釋annotTrue在格子中顯示數(shù)值。fmtd因為數(shù)值是整數(shù)用十進(jìn)制格式。如果歸一化了改成fmt.2f。linewidths0.5給每個格子加白色邊框線。這個細(xì)節(jié)能讓大矩陣看起來不呆板。cbarTrue右側(cè)顯示顏色條。如果矩陣維度小于10Seaborn的標(biāo)注基本不會重疊如果類別數(shù)量多到20以上格子里放數(shù)字會擁擠這種情況建議只放顏色塊或者把字體調(diào)小sns.heatmap(cm, annotTrue, fmtd, annot_kws{size: 8}, ...)4.3 進(jìn)階可視化歸一化圖、錯誤分布圖與多子圖對比單一熱力圖只能說明模型整體行為。做更深入分析時我經(jīng)常把三個圖放在一起對比原始數(shù)值圖、歸一化比例圖、錯誤強(qiáng)調(diào)圖。錯誤強(qiáng)調(diào)圖的思路是對角線位置全部置為0或單獨畫非對角線位置用另一種顏色映射讓錯誤分布一眼可見。# 創(chuàng)建一個錯誤分布矩陣對角線保持白非對角線保留原值 error_cm cm.copy() np.fill_diagonal(error_cm, 0) plt.figure(figsize(8, 6)) sns.heatmap(error_cm, annotTrue, fmtd, cmapReds, xticklabelsclass_names, yticklabelsclass_names) plt.title(Error Distribution (Diagonal hidden)) plt.show()這張圖在類別數(shù)量較多時極其好用。比如你有一個10分類的模型正常混淆矩陣?yán)飵资畟€格子全是數(shù)字人類視覺很難快速找到關(guān)鍵信息。把對角線隱藏、只凸顯非對角線錯誤再加上紅色系顏色映射哪兩類最容易弄混一目了然。多子圖對比適合需要同時看訓(xùn)練集表現(xiàn)和測試集表現(xiàn)或者對比兩個不同模型權(quán)重的場景fig, axes plt.subplots(1, 2, figsize(16, 6)) sns.heatmap(cm_model_a, annotTrue, fmtd, cmapBlues, axaxes[0]) axes[0].set_title(Model A) sns.heatmap(cm_model_b, annotTrue, fmtd, cmapBlues, axaxes[1]) axes[1].set_title(Model B) plt.tight_layout() plt.savefig(compare_models.png, dpi150) plt.show()5. 實操記錄數(shù)據(jù)增強(qiáng)策略的直觀驗證前面講了不少理論這一節(jié)分享一個實際跑過的案例借此說明混淆矩陣可視化如何真正幫到模型調(diào)優(yōu)。某次做細(xì)粒度圖像分類任務(wù)類別非常相似比如不同品種的鳥。初始模型在測試集上準(zhǔn)確率82%看起來還行。但把混淆矩陣畫出來后發(fā)現(xiàn)問題很大一部分錯誤集中在“暗色羽毛的鳥類”之間比如A品種和B品種完全色調(diào)接近互相錯判的比例明顯偏高。針對這個情況我在數(shù)據(jù)增強(qiáng)里增加了顏色抖動ColorJitter、隨機(jī)灰度化RandomGrayscale同時針對易混類對的樣本做了簡單的人工檢查——發(fā)現(xiàn)部分訓(xùn)練樣本的標(biāo)注本身就模糊兩張看起來幾乎一樣的圖片標(biāo)成了不同類別。模型學(xué)到的就是這種模糊邊界再好的網(wǎng)絡(luò)也沒辦法憑空學(xué)會區(qū)分人類都無法分辨的差異。改了數(shù)據(jù)增強(qiáng)策略并清理了部分噪聲標(biāo)簽后重新訓(xùn)練。對比兩次的混淆矩陣歸一化圖A類和B類之間的錯判比例從13.8%降到7.2%整體準(zhǔn)確率提升到89%。這個提升要是只看準(zhǔn)確率數(shù)字你只知道“好了”但不知道為什么好、好在哪些類別上。而兩張混淆矩陣圖并排放在一起解釋性就強(qiáng)得多到底是普遍提升還是特定混淆緩解一眼就能分辨。這個案例想說明的核心思路很簡單混淆矩陣是模型錯誤診斷的入口不是終點。光會畫圖、會看比例還不行要能根據(jù)矩陣?yán)锏腻e誤模式反推數(shù)據(jù)或模型的癥結(jié)所在然后針對性調(diào)整。6. 常見問題與排查技巧實錄6.1 矩陣對角線特別大但精確率低問題出在哪場景你打印出的混淆矩陣對角線數(shù)值看起來很高即大多數(shù)樣本分類正確。但用sklearn.metrics.precision_score算出來的精確率低得離譜。這個矛盾通常是三個原因之一第一類別樣本量極度不均衡矩陣可視化時小類別被“吃掉”了。比如1000個A類樣本、50個B類樣本。A類幾乎全對B類錯一半。混淆矩陣上A類的格子大數(shù)字多B類的格子數(shù)字小視覺上容易被忽略但精確率計算把B類的糟糕表現(xiàn)放大了。排查方法不要只看矩陣同時打印每一行的總和和每一列的總和計算類別的樣本量分布。第二你用的是宏平均macro average還是微平均micro average。宏平均每個類別的權(quán)重相同小類別的表現(xiàn)會嚴(yán)重拉低整體分?jǐn)?shù)。微平均等價于整體準(zhǔn)確率你會覺得“還行”。第三標(biāo)簽順序錯位。預(yù)測時用的類別索引順序和計算指標(biāo)時的標(biāo)簽順序不一致后面對不上導(dǎo)致全部指標(biāo)都是亂的。排查方法很簡單隨機(jī)抽幾個樣本手動看預(yù)測結(jié)果和實際輸出對比。6.2 報錯RuntimeError: Cant call numpy() on Tensor that requires grad這個錯誤只會在一個場景出現(xiàn)你在torch.no_grad()外面執(zhí)行了模型推理或者你在loss.backward()之后、但在同一個tensor上嘗試轉(zhuǎn)numpy。排查方法確認(rèn)推理階段是否用了with torch.no_grad():。如果確認(rèn)用了還報錯檢查你是不是在拿到logits之后又做了某個操作導(dǎo)致新的tensor重新開啟梯度追蹤。# 錯誤寫法 outputs model(inputs) # requires_gradTrue _, preds torch.max(outputs, dim1) preds.numpy() # RuntimeError # 正確寫法 with torch.no_grad(): outputs model(inputs) _, preds torch.max(outputs, dim1) preds.numpy() # OK6.3 可視化時中文標(biāo)簽亂碼Matplotlib默認(rèn)字體不支持中文如果項目里的類別名稱包含中文畫圖的標(biāo)簽會變成一個個方框。解決方案是在繪圖前設(shè)置中文字體import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei, Microsoft YaHei, Noto Sans CJK SC] plt.rcParams[axes.unicode_minus] False這幾行代碼在Windows和Linux的中文字體選擇上略有不同實測在Windows用SimHei沒問題Linux服務(wù)器上如果沒裝Noto Sans CJK就先apt install fonts-noto-cjk。如果不想依賴系統(tǒng)字體還可以用font_manager指定字體文件路徑穩(wěn)妥但代碼量多一點。建議本地調(diào)試用系統(tǒng)字體生成報告時統(tǒng)一用服務(wù)器上固定字體避免圖片字體不一致的尷尬。6.4 矩陣很大時可視化的排版混亂假設(shè)你的類別數(shù)量是50甚至100。把所有類別標(biāo)簽都畫在同一張圖上橫向標(biāo)簽互相重疊格子里的數(shù)字糊成一片這種圖沒什么用。應(yīng)對策略有三種只展示一部分比如按錯誤數(shù)量排序只展示錯誤最多的前10對類別。降采樣把混淆矩陣按更大的粒度合并比如把相近大類合并后再畫。交互式展示用plotly生成可縮放的網(wǎng)頁圖鼠標(biāo)懸停能看具體數(shù)值。雖然無法把圖片嵌入靜態(tài)文檔但適合需要交付給業(yè)務(wù)方做探索的場景。6.5 矩陣?yán)锏臄?shù)值比樣本總數(shù)還多多出來的數(shù)據(jù)從哪來出現(xiàn)這個問題幾乎可以肯定是你在推理時沒有跳過數(shù)據(jù)集的最后一個小batch或者你重復(fù)跑了一次預(yù)測并把結(jié)果append了兩次。排查方法打印len(all_preds)和len(test_loader.dataset)兩者必須相等。如果all_preds多了看看是不是你的循環(huán)里沒有判斷邊界或者之前某次調(diào)試時沒有清空列表。# 確保列表是空的才開始 all_preds [] all_labels []6.6 GPU推理時顯存溢出如果測試集圖片分辨率高即便batch size適中也可能爆顯存。主要元兇是檢測模型Detection里的多尺度輸出或者超大特征圖。分類模型通常還好但如果你用了大卷積核或者輸入是2000x2000的圖也要小心。應(yīng)對方法減小batch size。用torch.no_grad()。如果推理流程復(fù)雜在循環(huán)里顯式調(diào)用torch.cuda.empty_cache()。順帶提一個真實遇到的坑batch size減小后最后一批樣本數(shù)少了歸一化時如果某一行對應(yīng)的類別一個樣本都沒有矩陣的一行之和會是0除以0會得到NaN。解決方法是歸一化時加上一個極小量epsilonrow_sum cm.sum(axis1, keepdimsTrue) cm_normalized cm / (row_sum 1e-12)7. 從混淆矩陣延伸到更多評估維度7.1 從矩陣一鍵導(dǎo)出精確率、召回率與F1混淆矩陣本身包含計算所有基礎(chǔ)分類指標(biāo)所需的信息。你可以算def metrics_from_cm(cm): n_classes cm.shape[0] precision np.zeros(n_classes) recall np.zeros(n_classes) f1 np.zeros(n_classes) for i in range(n_classes): # 精確率對角線 / 列和 precision[i] cm[i, i] / cm[:, i].sum() if cm[:, i].sum() 0 else 0 # 召回率對角線 / 行和 recall[i] cm[i, i] / cm[i, :].sum() if cm[i, :].sum() 0 else 0 # F1 if precision[i] recall[i] 0: f1[i] 2 * precision[i] * recall[i] / (precision[i] recall[i]) return precision, recall, f1或者直接依賴sklearnfrom sklearn.metrics import precision_score, recall_score, f1_score, classification_report print(classification_report(all_labels, all_preds, target_namesclass_names))classification_report輸出的表格文本在控制臺看很方便我每次訓(xùn)練完都會打印一份。雖然它不畫圖但和混淆矩陣圖配合使用一圖一表把模型表現(xiàn)講得很清楚。7.2 多分類任務(wù)的宏平均與加權(quán)平均在做多分類評估時經(jīng)常會遇到宏平均macro、微平均micro和加權(quán)平均weighted的選擇。這里做個簡單說明宏平均每個類別的指標(biāo)先算出來然后取平均值。類別權(quán)重相同小類別的表現(xiàn)會被放大適合你關(guān)心所有類別是否都被照顧到的場景。微平均所有樣本的TP、FP、FN加起來算總體指標(biāo)等價于整體準(zhǔn)確率對多分類而言適合樣本量均衡的場景。加權(quán)平均按每個類別的樣本占比加權(quán)計算能反映數(shù)據(jù)分布情況但大類影響大可能掩蓋小類別問題。從模型優(yōu)化的角度看我通??春昶骄鵉1因為如果某個小類別效果差宏平均會直接暴露出來。但從業(yè)務(wù)指標(biāo)匯報的角度可能更需要加權(quán)平均因為業(yè)務(wù)看的是整體效果?;煜仃噲D解決的正是這個問題不管哪種平均指標(biāo)它提供的只是總結(jié)數(shù)字矩陣圖能告訴你具體哪些類表現(xiàn)差。宏平均F1低了打開混淆矩陣圖一眼就能看到是哪個小類別被虐得最慘。7.3 用混淆矩陣輔助判斷閾值調(diào)整對于二分類任務(wù)混淆矩陣的四個基本項TP、FP、FN、TN直接決定了ROC曲線和PR曲線上每個點的位置。通過調(diào)整決策閾值通常默認(rèn)是0.5你可以讓模型更偏向“寧可錯殺也不放過”或者“寧可放過不可錯殺”。比如醫(yī)療篩查場景假陰性比假陽性更致命。你可以降低正類的判定閾值讓模型輸出概率大于0.3就判為正類。這會讓TP增多、FN減少但同時FP也會增加。此時畫出不同閾值下的混淆矩陣對比TP、FP的變化幅度比只盯著AUC曲線要直觀得多。多分類閾值調(diào)整稍微復(fù)雜但可以借助每個類別的概率分布直方圖配合混淆矩陣來做。核心是先明確業(yè)務(wù)訴求是精確率優(yōu)先還是召回率優(yōu)先然后基于混淆矩陣在不同閾值下的變化來選。8. 經(jīng)驗沉淀與后續(xù)擴(kuò)展方向整個流程實現(xiàn)下來我個人最大的感受是畫混淆矩陣本身很簡單難的是把它放到模型迭代的閉環(huán)里真正用起來。我現(xiàn)在的工作習(xí)慣是每次訓(xùn)練完不管結(jié)果好還是壞都固定輸出三樣?xùn)|西——測試集loss曲線、classification_report文本、混淆矩陣三合一圖原始數(shù)值、歸一化比例、錯誤分布。這三樣?xùn)|西保存到實驗?zāi)夸浵赂粢欢螘r間再回頭對比不同實驗版本時不用重新加載模型跑推理只翻圖和報表就能快速定位問題。后續(xù)如果你想讓這套可視化更自動化可以嘗試兩個擴(kuò)展方向第一個方向是把混淆矩陣集成到訓(xùn)練腳本中每個epoch結(jié)束在驗證集上自動畫一張圖。這樣訓(xùn)練過程中就能動態(tài)觀察是不是隨著epoch增大某些混淆點一直在改善另一些一直停滯。在線監(jiān)控的價值在于及早發(fā)現(xiàn)過擬合或?qū)W習(xí)率設(shè)置不當(dāng)?shù)膯栴}。第二個方向是結(jié)合模型的可解釋性工具。當(dāng)你在混淆矩陣中發(fā)現(xiàn)某兩類一直混淆別急著一味加數(shù)據(jù)、調(diào)模型先拿錯誤樣本出來看看——用Grad-CAM或SHAP分析模型重點關(guān)注圖像的哪些區(qū)域。很多時候你會發(fā)現(xiàn)模型其實在用一個非預(yù)期的特征做判斷比如區(qū)分兩種鳥時它關(guān)注的是背景草地顏色而非鳥本身的羽毛紋理。這個診斷路徑配合混淆矩陣能幫你做出更有針對性的優(yōu)化決策而不是盲目調(diào)參。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
一夜福利不卡| 99在线播放| 人人草人人爱| 99愛国产| 六月丁香射婷婷欧美色图片| 色色婷| 色综合视频在线| 人妻久久久久久久 | 在线中文av| 性色视频| 日本成人小说婷婷六月| 久久这里这里有精品免费视频| 五月花激情网| 五他月天啪啪啪| 大伊香蕉精品视频在线| 丁香六月综合激情| 思思精品视频| 色婷婷综合网站| 天天操夜夜橾| 一级二级香港秋霞欧美欧美秋霞| 六月五月丁香五月欧美| 69热在线| 天天操婷婷| 色吊操色妞| 免费观看全黄做爰的视频| 色色射| 激情五月婷黄版| 曰日爽日日操| 婷婷精品性性性性性性性| 狠狠色综合777| 99 r热| 久久久久亚洲AV成人无码电影| 超级碰碰视频无码| 成人 AV播放| 亚洲精品又粗又大又爽A片| 激情文学久久| 91视频精品99| 婷婷射图| 久久激情五月天| 无套内射极品大美女| 天天看夜夜看| 开心五月婷婷在线| 91人妻视频| 可以免费看av网站| 女人天堂av| 女人露出p毛视频www网站| 五月丁香色| 色色综合激情| 九九99香蕉在线视频播放| 任你弄在线视频免费| 青草视频在线播放| 密着浓厚中出乚交尾GvG935| 26uuu国产| 开心五月网 | 亚洲午夜一区二区| 亚洲人成色A777777在线观看| 激情綜合W W W,激情五月天| 婷婷五月激情视频| 99这里只有精品99| 深爱婷婷丁香五月激情| 久久九九热视频| 91精品久久久久久综合五月天| 久久66精品| 亚洲丁香五月美女| 天天射射夜| 久久国产性爱A V| 五月天天天操天天爽夜夜操| 婷婷舔| 丁香婷婷五月天亚洲| 性爱动图国产麻豆一区二区三区| 色五月xxx| 欧美激情综合| Av性爱网站| 婷激情五月天视频导航| 丁香 婷婷五月| 久久小视频免费| 婷婷区日本| 2050人人操免费工开爱| 色婷婷激情小说网| xfplayav在线| 婷婷五月激情视频| 婷婷五月天在线观看第二页| 丁香六月五月婷婷| 久久九九热视频| 婷婷五月丁香基地| 亚洲熟妇无码乱子AV电影| 丁香五月天堂网| 女人被男人吃奶到高潮| 色五月婷婷影院| 91婷婷色| 亚洲天堂热| 久久五月综合| 九九热精品视频在线观看| 99热99在线| 九九色婷婷| 99色热| 极品少妇高潮啪啪AV无码| 乱岳熟女50岁| 青青久久五月天丁香婷婷| 色婷婷亚洲综合av| 色播五月综合网| 日本97在线| 色综合久久综合中文综合网| 人人玩人人橾| 五月激情另类| 五月天激情无码专区| 一级操逼内射在线视频| 婷婷五月天成人| 久久久久网站| 天天综合色| 国产成人网| 1024人妻| 高清一区二区三区日本久| 9999久久久久| 欧美色片中文字幕久久久久| 亚洲黄网在线| 一区二区三区XXXXXX| 少妇婷婷五月天| 丁香五月婷婷色情综合| 亚色网站小视频| 亚洲久久婷婷丁香五月天| 9999热这里只有精品| 色婷婷综合在线| 五月婷婷电影院| 激情综合色婷婷啪啪五月天| 91一道本| 丁香五月激情婷婷视频| 国产精品色色色色| 另类激情综合| 婷婷综合网站| 日产精品一线二线三线芒果| 五月天大香蕉AV| 亚洲色图45p| 噜噜色天天开心| 五月婷婷色丁香| 青青草视频福利| 婷婷五月av| 日本婷婷色日| 国产无套精品一区二区| 亚洲第一成人无码A片| 久久男人网婷婷| 色五月婷婷AV| 九月丁香婷婷综合激情| 丁香六月婷婷综合在线| 99热这里只有精品1025| 五月色情| 丁香五月婷婷亚洲色图| 99人这里只有精品| 99热这里只有精品22| 丁香久久综合| 色五月婷婷五月天| 亚洲免费电影2| 五月丁香啪啪啪综合网| 丁香婷五月| 亚洲最大视频| 色狠狠综合| 五月天婷婷狂暴白浆| 免费AV在线| 九九久久五月天综合伊人| 色五月婷婷天天干| 色播五月| 婷婷色导航| 婷婷五月性感| 百度一下国产精品A| av在线免费网站 | wwwss在线观看| 婷婷五月精品在线| 97操碰视频| 精品一二三区久久AAA片| 夜色爱爱亚洲| 9有码中文| 丁香婷婷基地| 丁香五月天激情小说| 久色婷婷200| 丁香五月婷婷基地| 婷婷丁香91综合| 九九av在线| 思恩热国产视频右线观看| 五月综合777| 99久在线精品99re8热| 性色五月天| 被强行糟蹋的女人A片| 久久99jiu9| 色九九九综合| 婷婷丁香五月天哟啪| 婷婷五月天激情五月天| 天天操比比| 有码一区二区三区| 欧美群妇大交乱婬网| 五月丁香色婷婷熟女| 五月天色色婷婷| 日韩无码专区| 婷婷色综合网日韩国产| 99re这里只有精品99| 26UUU精品一区二区c〇m| 亚洲综合激情五月| 五月婷婷伦理| 精品成人a v无码内射| 狠狠色色| 五月天色欧美| 夜夜骑日日操| 天天操天天操天天操天天操天天操| 狠狠五月天| 色五月色开心开心五月| 婷婷五月成人有| 天天干夜晚夜操| 思思热在线视频精品| 婷婷六月香| 91精品久久久久久| 五月天另类视频| 久久五月视频| 久久大香蕉视频| 五月丁香激情综合六月涩涩爱| 丁香五月成人| 天天操天天干天天射| 久久久www| 热99只有里视频| 色色色免费视频| 蜜臀av 粉嫩av 懂色av| 狠狠夜夜五月丁香| 热99精品视频五月| 丁香五月 性爱| 青青草性爱视频| 久热免费| 婷婷丁香五月天综合在线日韩| 五月婷婷深深爱| 日韩av干| 538在线精品| 亚洲色区17| 亚洲精99| 国产三级秋霞| 性生生活大片又黄又| 91爱啪啪| 26UUU精品一区二区| 51精品国自产在线| 成人五月天婷婷| 99综合网| 91 久热| 超碰碰碰碰| 深爱五月激情五月| 北条麻妃九九九国产精品视频| 日本三级大片| 日本一级特黄大片AAAAA级| 男人先锋久久| 五月色丁香综合| 亚欧州精品视频| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 9色视频在线| 日韩成人影片在线观看| 夜夜夜叫天天天做| 99精品网| 欧美婷婷六月丁香综合色| 丁香六月婷婷| 日韩AV免费| 色亚洲色宗合| 亚洲色啪| 色综合夜夜| 色色五月天丁香婷婷| 色都都狠狠色都都色综合色| 亚洲五月天狠狠| 天天干,夜夜爽| 色婷婷五月色| 免费视频无码| 亚洲成片在线观看| 五月丁香在线看| 98国产精品综合一区二区三区 | 婷婷欧美激情综合| 色色色色色综合| 久久机热这里只有精品| 欧美怡红院黄站| 中文字幕丰满乱孑伦无码专区| 五月天丁香婷| 97在线日本| 激情九九这里只有精品| 高潮毛片又色又爽免费| 婷婷美女精品视频| 久久五月综合| 免费AV播放| 婷婷激情视频| 91精品久久久久久久久| www.婷婷五月天| av人人操| 丁香婷婷婷五月| 97一区二区| WWW五月天| 狠狠色成人影片| 99热这里只有精品1025| 五月久久婷婷| 婷婷九月激情| 91色色色| 99久久久久| 91男同| 六月婷基地| 丁香桃色网| 成人丁香婷婷| 五月婷婷狠狠干| 久久综合婷婷激情| 伊人狠狠干| 国产伦亲子伦亲子视频观看| 亚洲日韩26uuu| 超碰碰碰碰| 亚洲天堂啪啪| 色婷婷免费观看| 久久大香蕉视频| 色色色热热热| 成人免费高清在线播放| 五月天色综合| 大香蕉久久婷婷精品综合| 噜噜狠狠色综无码久久合欧美| 丁香五月婷婷少妇| 狠狠草在线观看| 99啪视频在线观看| 五月丁香综合激情| 六月丁香婷婷综合狠狠爱夜夜爱| 99色综合| 琪琪色五月天| 啪啪综合网| 大香蕉九九| 五月丁香啪啪啪| 伊九九三级区| 色五月激情网| 安息电影在线观看完整版| 色情五月综合婷婷| 开心四月婷婷在线色播播| 天天爽天天操| 99综合99| 内射 无码 伊人| 色综合色色色色色| 五月天大香蕉视频| 色色色网站| 久久9久久| 九九99九九99| 婷婷五月69| 99色婷婷| 天天干-天天日| 在线观看免费视频| 婷婷丁香五月天狠狠| 8050一级网| 狠狠激情五月天| 亚洲国产另类av| 国产美女视频久| 久久婷婷综合国产| 国产精品成人在线| 婷婷5月色| 国产精品99久久久久久久女警 | 天天日天天色| 俺五月| 久久婷婷六月综合国际| 色色射| 久草丁香婷婷五月天婷| 草草操操| 久久黄色免费视频| 五月婷婷六月激情| 色婷婷亚洲精品天天综| 大香蕉99热| 99热这里只有精品3| 人妻性爱av网站| 五月综合色| 新激情五月开心五月婷婷五月丁香五月| 99热最新国内| 狠狠干综合| 玖玖综合色| 五月激情小说| 六月天丁婷婷| www.97干视频| 日日干天天爽| 亚洲 无码 中文字幕 中出| 婷婷五月综合社区在线| 色色五月天婷婷丁香| 91久久久久久久久| 国产全是老熟女太爽了| 99在线精品视频免费观看20| 婷婷五月天亚洲综合| 精品五月天| 婷婷婷色五月| 91免费试看| 91无码高清| 轮奸综合网| 免费视频在线观看的网站| 久热久| 九九精品碰| 丁香五月六月婷婷综合| 九九色中文| 亚洲激情综合| 999热成人在线综合网| 老师把我爽高潮了免费A片| 日日干日日| AV电影在线播放| 国产乱子轮XXX农村| 日日爽天天| 久久婷婷五月综合啪| 久久99久久99久久99人受| 激情丁香淫荡婷婷| 久久久潮喷-久久久九九-成人AV| 欧美在线操| 色色色综合视频| 国产jd1024基地手机看国产| 五月丁香啪综合| 婷婷五月天受日本法律保护| 伊人激情综合| 色伊人婷婷| 日本va网站| 亚洲成人精品三区| 午夜丁香婷婷| 丁香五月av在线| 激情久久丁香| 九九黄色网| 天天做天天爱天天综合网| 中文字幕九九九九| 天堂成人A片永久免费网站| 免费观看的婷婷五月视频在线| 免费亚洲婷婷中文字幕| 五月丁香婷婷五月色| 夜色综合网| 色久婷婷网| 九九热99在线视频| 五月天激情视频| 色婷婷在线视频综合| 99热这里有精品首页10| 无码AV免费精品一区二区三区| 综合色色色| 91久久久久久久| 婷婷色五月综合| 久热超碰91| 狠狠五月丁香色婷| 综合色视频| 激情五月色婷婷| 五月天综合图片| 色色色色综合网| 婷婷丁香中文字幕| www.久久久久| www.五月天社区| 97操碰在线视频| 大香蕉啪啪啪| 99视频这里有精品| 激情综合文学| 激情久久肏屄视频| 久久性爱99国产| 色九亚洲| 日日懆天天懆| 99热超碰在线| 午夜九九九九九九| 五月激情在线| 99热资源在线| site:publishdd.com| aa久久| 综合久久十三| 五月丁香六月欧美综合网站| 婷婷五月天综合久久| 色五月婷婷天天干| 六月婷婷香蕉| 色色色五月天婷婷| 99热国产这里只有精品| 99网| 激情亚洲色图片丁香综合| 色噜噜五月天| 婷婷五月丁香激情| 六月综合婷婷开心伊人| 可以免费观看的AV| 色久免费| 欧美成性色| 大香蕉伊在| 成人日韩欧美| 精品99视频| 青青草婷婷综合五月| 婷婷五月激情网| 久久天堂女人| 亚洲亚洲人成综合网络| 久久色五月| 婷婷五月六月激情| 人人操Av| 91碰| 天堂久久大香蕉| 青草青草视频2免费观看| 99热碰碰热| 婷婷激情五月色综合| 成人色站,在线视频,看片-SS1AV| 91视频精品99| 亚州第一A片| 亚洲亚洲人成综合网络| 亚洲激情五月| 欧美三日本三级少妇三99| 国产片色| 久热2025无码| 日本久久天堂| 激情綜合網址| www.久操| 99精品视频在线观看| 亚洲99综合| 色婷婷成人| 九九婷婷五月天影视| 婷婷她六月天| 五月婷婷|欧美| 色婷婷精| 天天揷综合网| 五月婷婷六月天| 丁香六月啪| 色五月五月婷婷| 色婷婷九月| 久久与婷婷| 1024日韩| 91青娱乐青青草| 九色1区视频在线| 国产精品99久久久久久久女警| 国产免费AV网站| 蜜桃五月天| 激情综合综合综合| 婷婷在线播放av| 五月婷婷影| 999九九九久久久99HD| 黄网在线免费观| 91九色首页| 风流少妇A片一区二区蜜桃 | 99婷婷精品推荐在线视频| 综合久久99| 99热爱爱干干日| AV性爱网| 天天爽天天摸人妻综合网| 免费国产视频| 久久精品噜噜噜成人A∨色欲| 久草婷婷在线| 变态 另类 在线 | 99热精国产这里只有精品| 五月综合婷婷开心网| 99五月丁香丁| 日本精品在线噜噜噜| 996er热| 久久精品系列| 色综合狠狠色| 在线看黄色| 亚洲婷婷综合视频| 色吧网综合| 九九色网专区| 熟妇人妻中文字幕无码老熟妇| 婷婷成人五月天| 伊人喵咪a V| 五月丁香成人| 国产激情在线| www.99热在线| 九九在线精品| 久狠狠狠| 99re6久热只有精品6在线直播| 丁香六月亚洲综合 | 色99热| 午夜电影网VA内射| 中文字幕色色色| 青青草婷婷综合五月| 五月天开心色情网| 日 日干 日日做| 五月天播播综合| 亚洲性爱99| anquye伊人| 狠狠操.com| 日韩免费乱轮网站| 性韩日色婷婷五月天激情啪啪XXX| 9 1超碰九色| 91干在线| 婷婷五月天堂| 日本高清久久| 色噜噜狠狠色综合AV兰草影视| www.日本久久videos| 色婷婷狠狠| 久久丁香| 五月天婷婷三级黄| 婷婷五月天另类视频| 久久与婷婷| 婷婷五月天亚洲色| 五月丁香婷婷啪啪综合网| 色婷婷a三区麻| 亚洲va在线| 婷婷五月天另类网站| 狠狠狠五月婷婷六月丁香| 婷婷五月天第四色| 五月婷婷二月丁香| 伊人五月综合网| 99色热| 天天综合 99久久婷婷| 五月丁香亭亭操逼| 夜夜夜夜夜操| 亚洲精品色| 风流少妇A片一区二区蜜桃 | 99精品福利视频| 思思热视频| 超碰爱爱爱| 天天色图| 亚洲色婷婷| 丰满少妇猛烈A片免费看观看| 九九99九九精品免费| 99视频免费播放| 婷婷久久亚洲| 人妻久热| 色色婷婷五月天| 激情小说婷婷小说| 97激情五月天| 丁香五月激情图片| 99热地址| 欧美久久婷婷| 六月婷婷激情| 人人爽网| 久热9热| 五月婷婷|欧美| 色婷五月天| 丁香五月婷婷性爱| 久久久99精品| 色停停五月天| 丁香五月人妻| 婷婷社区五月天| 麻豆WWWCOM内射软件| 六六久久黄色| 91视频免费后入强操| 综合色99| 日操五月婷| 婷婷丁香五月综合激情小说| 99这里只有精品| 狠狠操狠狠爱| 久久精品A片777777| 丁香五月桃花在线激情综合| 啪啪丁香五月| 深爱女色婷婷丁香五月亚洲图区| 久热这里只有精品66| 少妇激情五月天| 9|无码久久久久久| 99热在线观看| 亚洲最大视频网站| 久久久99久久| 清色五月天| 999影院成人在线影院| 99爱在线视频| AVDV久久| 9 7总站超级碰免费视频| 香蕉大综综综合久久| 97成人丁香婷婷| 丁香五月丁香伊人| 欧美性色视频| 99热这里都是精品| 色婷婷狠狠久久综合五月 | 五月丁香A片| 性爱电影科技贸易有限公司| 日本熟女二区| 久久精品这里只有精品免费首页| 午夜精品久久久久久久爽| 丁香五月天日韩无码| 97在线/亚洲| 婷婷丁香六月影视| 丁香婷婷五月| 五月天狠狠| 色啦啦视频| 伊人网啪啪| 亚洲小视频免费看| 丁香五月中文字幕久色| 色色亚洲视频| 伊人99热| 丁香五月九九| 久久视这里只有精品| 五月天激情子轮| 五月天丁香成人社| 久久综合九九| 中文字幕婷婷在线| 日日噜狠狠色综| 成年人看Va免费视频| 婷婷五月色情天| 婷婷丁香五月天综合激情| 日韩黄色网络| 婷婷丁香五另类网站| 丁香五月天堂网| 婷婷99狠狠| 月色色综合婷婷网| 丁香六月AV| 九九色综合九九色| 亚洲精品99| 五月综合激情图片| 国产xxxxx在线观看| 九九久热| 婷婷综合五月| 久久婷婷的综合色丁香五月| 五月天第四色开心色播| 天天操天天操天天操天天操天天操 | 五月婷婷综合在线亚洲视频| 亚洲av成人在线| 狠狠久综合| 97人人操人人爽| 99在线视频观看| 综合婷婷五月丁香在线观看| 99久视频| 丁香五月天堂| 高清国产一级婬片a免费| 天天搽天天射| 99热思思| 人妻丰满精品一区二区A片| 丁香色影院| 五月婷免费视频久久久| 91干在线| 99色综合久久| 99热永久在线观看| 免费在线观看欧美激情xx小视频| 丁香五月天视频| 另类在线观看视频| WWW.夜夜| 夜夜骑夜夜操| 色综合偷拍| 26uuuavcom| 四虎成人精品永久免费AV九九| 九九色情网站| 99久re热视频精品98| 婷婷基地五月色| 9l视频自拍9l九色成人| 91日综合欧美| 色婷丨日丨天丨综合久久| 91黄址| 7777国产盗摄农村女人| 九九这里只有精品在线视频| 久久这里只有精品热在99| AA片在线观看视频在线播放| 九九综合九九| 久久国产色| 青青久在线视频免费观看| 97影院一级片| 亚洲欧美一区二区三区四区爱爱动图| 精品一二三区久久AAA片| 丁香六月激情| 五月天婷婷在线观看| 亚洲精品久久久久AV无码| 婷婷五月激情图片| 99热这里只有精品86| 日本色色网| √天堂资源在线人妻熟女| 婷婷五月天激情网站| 国产精品久久久久久久久久久久| 五月丁香婷婷在线| 可以看的av网站| 婷婷丁香五月综合网| 成人操呦av| 九月色婷婷综合| 色天使色综合| 国产精品噜噜在线视频| www.婷婷| 玖玖激情五月天| 五月天伊人综合| 熟女人妻一区二区三区免费看 | 亚洲激情在线| 亚洲综合另类| 成片免费观看大全| 婷婷九月丁香久久| 婷婷99狠狠| 色丁香婷婷| 思思热99热| www,99视频| 操人妻90p| 国产激情久久久| av激情在线| 天天做天天爱综合| 国产69精品久久久久999小说| 丁香五月在线人妻| 婷婷综合色| Www.Av网9| 婷婷五月丁香伊人网| 五月天综合在线| 激情综合网五月在线播放| 99九九玖玖| 99久久亚洲国产| 婷婷色av| 亚洲12p| 99热九九这里只有精品10| 色色丁香婷婷| 99碰网站| 丰满人妻一区二区三区| 欧美婷婷综合| 久久婷婷五月丁香| 国产特级毛片AAAAAAA高清| 九九热只有这里精品| 日韩999| 9l视频自拍9l九色9l成人| 五月丁香六月欧美综合网站| 97偷拍对白视频| 色性日本| 九九九九九999999| 激情五月婷婷伊人| 国产JK精品白丝AV在线观看| 婷婷五月综合色中文字幕| 婷婷在线视频| 婷婷五月AV| 久久婷婷色综合| 久久久久久99精品无码| 色色色综合| 97在线日本| 九九视频这里只有精品| 97超级碰碰碰久久久| 婷婷五月天激情五月天| 2050人人操免费工开爱| 色五月丁香在线| 99ER热精品视频| 丁香花五月天| 久久精品国产精品| 五月婷婷中文网| 爽tv | 五月丁香网中文字幕| 亚洲精品久久久无码| 天天日天天插天天操| 涩五月婷婷| 激情网战码亚洲A| 九九成人视频| 色啪综合| 六月婷婷中文字幕| 丁香五月六月久久综合| 91超级碰碰碰| 青青草a在线| www.婷婷| 婷婷放心五日爱| 九九精品免费| 中文字幕丰满乱孑伦无码专区| 色婷婷丁香五月| 丁香五月婷婷啪| 久草婷婷| 综合色五月天| 欧美顶级少妇做爰HD| 色综合五月在线| 七月婷婷色香综合网| 五月涩涩网| 超碰国产一区| 婷婷香五月天| Caop在线| 伊人久久婷| 97碰在线视频| 91婷婷| 日本熟女视频一区二区| 成人在线99| oumeisesewang| 亚洲乱码日产精品BD| 99在线视频在线观看| 熟妇人妻中文字幕无码老熟妇| 天天色五月| av高清无码| 亚洲综合丁香五月| 99在线精品免费视频| .操區COm| 色色五月天婷婷| 天天色天天色天天色天天色天天色| 综合色色婷婷| 91色操| 色色丁香婷婷| 色色五月天婷婷| 欧美99热| 5月婷婷六月丁香| 在线播放 精品| 五月婷婷开心五月| 亚洲综合在线播放| 色五月六月| 久久黄色网扯| 97啪在线观看视频| 五月天另类视频| 国产日韩av片| 五月丁香六月成人| 久久人操-久草婷婷-成人AV| 婷婷久久综合| 超碰人人艹| 婷婷久久久| 狠狠色噜噜狠狠狠888了| 久久99免费视频| 人妻久热| 婷婷丁香六月综合激情站| 五月婷婷深爱六月| 99性爱视频| 天天拍夜夜爽日日| 99热资源在线| 精品99在线观看| 亚洲五月婷| 丁香五月婷婷五月| 九色色| 日本99视频精品免费播放| 五月丁香啪综合| 五月大香蕉| 成人做爰A片免费看视频| 精品人妻久久久久久久| 一起操 91N.com| 五月开心激情| 丁香婷婷五月综合影院| 97人人操| 欧洲婷婷五月天| 三级毛片视频| 中文av网| 超碰狠狠操| 国产av天堂| 五月丁香无码视频| 亚洲成人无码网站| 久久免片| 久久这里有精品99| 五月婷婷黄| 婷婷丁香五月激情| 婷婷成人五月天一区| 婷婷国产五月天17c| 久久伦乱| 安息电影在线观看完整版| 国产肥白大熟妇BBBB视频| 亚洲久热无码| 夜夜爱伊人| 亚洲综合五月天| 伊人五月成人| 免费看无码视频A级| 99免费在线视频| 综合图区激情| 婷婷五月天激情电影| 丁香婷婷色五月| 亚洲天天综合| www色五月| 青草视频在线观看视频| 色偷偷色婷婷| 五月丁香网视频| 影音先锋 萱萱| 婷婷激情人妻| 成人欧美一区二区三区在线观看| 久婷视频| 99亚州综合精品成人网| www.婷婷,com| 丁香五月婷婷亚洲色图| 激情婷婷丁香| 亚洲AV人人操| 日日干日日| 色五月婷婷亚洲| 热九九精品| 大香蕉久久综合网| 久久婷婷网站| 另类国产综合| 99热爱爱干干日| 91啪啪视频| 色色丁香五月婷婷| 一区二区三区四区牛| 色99在线视频| 人妻肉射免费观看| 99丁香五月婷| 三年高清大片免费观看国语| 五月丁香啪啪网| 五月丁香五月丁香| 欧美久人人| 99热官网| 久久这里有精品| 色七色九九| 成人丁香五月婷| 五月丁香六月激情综合| 色综合伊人网| 婷婷丁香午夜综合影视| 欧美精品A片一区在线观看| 婷婷导航| 婷婷五月天视频| 丁香五月视频在线观看| 日本WWW九九九| 亚洲婷婷五月天| 色狠狠婷婷| 亚洲中文无码成人| 久久人操-久草婷婷-成人AV| 中文字幕成人| 五月丁香六月激情综合| a v色婷婷| 婷婷情色五月天| 丁香五月开心七月| 国产亚洲色婷婷久久99精品91| 五月婷婷丁香色播网| 99re66热这里只有精品| 六月丁香啪| 人人操AV| 99在线资源| 韩国久久少妇视屏| 五月丁香六月激情综合网 | 婷婷色综合| 色香欲综合| 婷婷六月丁香激情综合| 五月天天堂久久| 最近中文字幕2019视频1| 伊人www22综合色| 婷婷六月伊人| 亚洲网站在线鸭子av| 噜噜狠狠色综合久| 久久久久久久11111111111| 99九九精品| 五月六月婷| 99er在线观看| 日韩欧美一级大黄网站| 久久艹网| 成人午夜天| 婷婷色色网| 色偷偷五月天| 热99久久这里只有精品| 丝袜大香蕉| 中日韩狠狠色| www.丁香黄色五月天人与| 日日夜夜狠狠| 激情啪啪五月| 91wwmm导航| 亚洲激情高潮| 日本欧美在线| 激情久久丁香| 日韩国产在线精品| 操99| 激情丁香九九五月综合网| 色五月丁香五月婷婷五月成人网| 免费的日逼视频| 亚洲熟女色| 日韩成人电泉AV| 国产肥白大熟妇BBBB视频| 色吧五月婷婷| 日本天堂免费99| 伊人五月丁香| 爱草视频在线| 26uuu国自产精品| 色五月婷婷五月天激情综合| 超91热| 色色99| 久久婷婷综合网| 天天做夜夜爽| 一区二区三区四区无码| 久久五月天婷婷视频| 日韩狠狠色| 99啪在线| 天天色中文字幕女优AV| 丁香五月偷拍| 五月天色图| 日本久久人| 婷婷五月花丁香| 日日操日日干| 这里只有精品视频在线观看免费| 五月婷婷中文字幕| 一级性感毛片| 日韩小视频在线99| AV在线不卡播放| 99色视频| 久久久免费精彩视频| 91人人操人人| 国产亚洲精品久久一区二区三区| 开心激情网五月| 2w在线视频| 开心婷婷五月激情网小说| 97久久久| 狠狠爱激情网| www91精品| 99热日本精品| 色呦呦在线| 97人妻超级碰碰碰碰碰| 亚洲va综合va国产va中文| 天天色天天日| 97久久视频| 996er热| 色婷婷偷拍| 婷婷亚洲综合| 五月婷婷激情综合网| 五月精品免费XXX| 狠狠色丁香婷婷综合久久97AV| 99热这里只有在线播放| 欧美久热| 人人摸人人操人人爽| 99男人的天堂| 丁香五月天狠狠操| 97婷婷丁香五月天激情图片| 丁香五月天亚洲综合| 婷婷色资源| www99精品在线观看| 九九操屄| 国产片XXXXA片国语对白| 五月色综合| 婷婷视频网| 91丨九色丨东北熟女| 婷婷五月激情欧美| 天天插天天插| 久热这里只有精品99re| 人人摸人人干人人做| 精品皮股午夜AV| 激情五月天色爱| 天天综合亚洲综合| 思思99re这里只有| 久久性爱网站| 深爱激情久久| 热99re| 日日肏天天操| 激情五月丁香色婷婷| 天色综合网站| 激情五月婷婷综合网| 99色热视频| 好好干av| 丁香五月冃欧美| 丁香婷婷久久综合在线| 丁香五月激情图片| 日韩99色99| 五月成人天| 99精色| 一级性爱视频| av人人干| 九九99久久| 丁香五月激情五月| 神马欧美精| 中文资源在线a | 91碰碰碰久久久久| 伊人丁香五月婷婷潮吹| 青青草Avb在线| 国产精品色婷婷久久久精品| 97碰成超视频免费视频| 99久re热| 日韩不卡DvD| 亚洲人妻av| 丁香五月影视| 亚洲国产精品VA在线看黑人| 丁香五月成人网| 91狠狠色| 色色色9| 亚洲精品大片| 91久久久久久久| 国外亚洲成AV人片在线观看| 日本色色网| 91精品国产综合久久久不卡电影| 91麻豆国产三级精品福利在线观看| 青青久久五月| 在线免费观看激情视频| 四色五月视频| 99精品一二三四视频| 日韩无码成人电影| 亚洲精品网站色视频| 成人超碰AV| 国产美女最新VA在线免费观看| 五月天色视频| 亚洲成人五月| 五月丁香激| 这里只有精品视频99| 五月天婷婷色| 清纯唯美 激情四射| 韩国97天堂| 大伊香蕉玖玖爱| 91婷婷丁香| 久久综合激情五月天| renre人人操国产超碰在线| 婷婷亚洲在线| jiZZdr| 五月婷婷欧美| 丁香婷婷大香蕉| 一二线视频 另类| 亚洲永远av在线播放| 一级七香蕉| 久久99久久99精品免观看粉嫩| 丁香五月婷婷啪啪| 激情五月婷婷欧美极品 | 色色五月天丁香婷婷| AV九九| 六月伊人婷婷| 婷婷六月情| 五月天婷婷基地综合网| 99热手机在线精品| 性做爰A片免费视频A片直播| 99热在线播放精品| 啪啪东京热| 婷婷久久大香蕉| 桃色激情婷婷伊人网| 深爱五月婷| 天天综合精品| 色爱综合网| 五月激情四射网站| 性爱人人网| 色色日韩网| 丁香六月色情| 开心激情播播五月天| 国产免费AV在线| 涩涩五月天| 超级碰碰一区| 激情五月天色网站| 美女婷婷六月色| 99思思| 亚洲第一成人无码A片| 五月婷婷综合网| 999热这里只有美国精品| 97婷婷在线| 可以免费观看的av网址| 亚洲色欲欧美一区二区三区| 五月色综合网| 色婷婷精品小视频| 五月色丁香婷婷中文字幕| 五月开心色| 欧美性爱五月天| 99久久国产宗和精品1上映| 伊人大蕉香| 91中文在线| 色色色色av777| 99爱爱网| 99精彩视频| 五月激情影视| 丁香成人五月天| 久热伊人91| 97色在线观看视频| 亚洲性图一区二区三区| 日本色色色| 人妻无码精品一区| 久久六月婷婷| 色婷婷久久天天性爱| 五月色情婷婷开心五月色情| 六月丁香激情网| 99免费热视频在线| 91操人人操| 99超级碰碰| 日本婷婷综合精品| 亚洲中文乱字字幕在线永久| 五月综合无码| 欧美A A A A A| 9久精品视频| 麻豆五月丁香婷婷| 色婷婷六月天| 久久精品国产AV一区二区三区 | 中文字幕无码成人电影| 五月丁香日本一抹本| 日韩欧美一级大黄网站| 久久九九网| 国自产拍偷拍精品啪啪一区二区| 欧美日本高清视频99| 密黄站| 激情五月婷婷六月丁香| 99热在线播放| 色婷大香蕉| 久久久思思热| 直接看的AV| 色情综合| 丁香五月婷婷色偷偷| 狠狠干天天内射| 天天爱天天秀天天做| 天天干天天干天天干| 亚洲综合另类| 青青草深爱激情网| 五月久久婷婷| 万月丁香狠狠爱| 性日本激情| 99爱在线精品视频免费观看| 久草五月| 亚洲无码黄色| 色色日韩无码| 国产 亚洲 在线| 色五月在线综合| 深爱激情中文五月天av| 婷婷五月天免费视频| 狠狠操狠狠操AV| 97人人操人人操人人操人人| 丁香五月AV综合| 激情噜噜噜| 99国产精品久久久久久久久久久| 天堂久久婷婷| 欧美韩日AAA网站| 色五月网址| 久久婷婷桃花五月天| 思思热在线视频观看精品| 丁香五月激情综合| 久草热8精品视频在线观看| 超碰在线观看9| 丁香色五月婷婷91桃色| 五月婷中文字幕| 大鸡巴伊人网| 久久只有精| 婷婷激情六月| 怡红院AV亚洲一区二区三区H| 久久9久久| 婷婷综合五月色播| 九九99久久| 绿色小导航AV| 6080av| 色五月婷婷丁香五月| 九九综合图片网| 中文字幕簧片| 欧美在线视频99| 久久大香蕉伊人| 婷婷五月天亚洲激情戏精品| 日韩无码专区| 人操91在线| 色婷婷丁香五月观看| 久久婷婷热| 国洲夜色亚热在线久久| 婷婷丁香五月激情中文字幕版|