欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

PyTorch混淆矩陣?yán)L制全指南:從原理到出版級可視化

PyTorch混淆矩陣?yán)L制全指南:從原理到出版級可視化 從項(xiàng)目標(biāo)題來看這是一篇“技術(shù)復(fù)現(xiàn)型”的分享。只要動過PyTorch做圖像分類或文本分類的人應(yīng)該都經(jīng)歷過這種場景訓(xùn)練完模型打印出準(zhǔn)確率看到一個90%甚至95%的數(shù)字心里挺高興結(jié)果模型一上線發(fā)現(xiàn)某些類別幾乎全錯。準(zhǔn)確率這個指標(biāo)太“宏觀”了它會掩蓋很多細(xì)節(jié)。所以我才堅持每次跑完分類任務(wù)都要畫一張混淆矩陣出來看看。這篇文章就把我平時在PyTorch項(xiàng)目里畫混淆矩陣和做可視化的一套完整流程整理出來從最底層的矩陣計數(shù)原理到最終的出版級圖像導(dǎo)出盡量覆蓋到每一個坑。1. 為什么要畫混淆矩陣從準(zhǔn)確率說不清的問題說起1.1 準(zhǔn)確率看著挺高模型卻可能在“裝模作樣”先講個我自己踩過的案例。當(dāng)時做一個六分類的紋理識別任務(wù)訓(xùn)練集里樣本分布很不均衡其中一類占了總樣本的將近一半。訓(xùn)練結(jié)束后驗(yàn)證集準(zhǔn)確率到了92%看起來一切正常。結(jié)果把測試集結(jié)果按類別拆開一統(tǒng)計那個占了50%的類別準(zhǔn)確率接近99%而另外幾個稀少類別準(zhǔn)確率只有60%到70%。如果只看準(zhǔn)確率根本發(fā)現(xiàn)不了這個問題。混淆矩陣的價值就在這它不給你一個籠統(tǒng)的“好”或“壞”而是把“哪一類被認(rèn)對了、哪一類被認(rèn)成了哪一類”全部攤開。有些讀者可能會問精確率、召回率、F1值不是也能看類別的單獨(dú)表現(xiàn)嗎確實(shí)能。但混淆矩陣是最原始的“計數(shù)表”精確率和召回率其實(shí)是基于這個計數(shù)表二次計算出來的。有了混淆矩陣你可以自己計算任何想要的指標(biāo)還可以定位到具體的“錯誤對”比如A類被錯認(rèn)成B類到底是A類的特征太接近B類還是數(shù)據(jù)標(biāo)注本身就有問題。這是單獨(dú)一個F1值做不到的。1.2 混淆矩陣到底在告訴你什么對于一個N分類任務(wù)混淆矩陣是一個N乘N的方陣。行通常代表真實(shí)標(biāo)簽列代表預(yù)測標(biāo)簽。矩陣的第i行第j列的值表示“真實(shí)類別是i卻被模型預(yù)測成類別j”的樣本個數(shù)。對角線上的值越大說明這一類被正確識別的比例越高。對角線外的值就是錯誤分布它們會清晰地告訴你錯誤主要發(fā)生在哪些類別之間。舉個例子三分類問題假設(shè)有150個測試樣本每個類別各50個。如果矩陣長這樣真實(shí)\預(yù)測類別0類別1類別2類別04811類別15405類別22840對角線加起來是128所以準(zhǔn)確率是85.3%。但這張矩陣透露的信息更多類別0表現(xiàn)最好只有兩個樣本出錯類別1有5個樣本被認(rèn)成類別05個被認(rèn)成類別2類別2則有8個樣本被認(rèn)成類別1。這告訴你類別1和類別2之間的混淆比較嚴(yán)重可能是特征相似也可能是訓(xùn)練樣本不足。1.3 什么時候必須畫混淆矩陣我個人的習(xí)慣是只要是分類任務(wù)無論是圖像分類、文本分類還是音頻分類跑了測試集之后都要畫一張混淆矩陣。不是說每個項(xiàng)目都要給客戶看而是你自己必須心里有數(shù)。尤其是以下幾種情況不畫混淆矩陣幾乎等于白跑測試第一類別不均衡時。就像前面舉的例子準(zhǔn)確率會被大類“帶節(jié)奏”。第二類別數(shù)量較多時比如幾十個類即使每個類別準(zhǔn)確率在大數(shù)上看起來差不多也可能存在個別類別之間系統(tǒng)性錯認(rèn)只有矩陣才能暴露這種規(guī)律。第三迭代優(yōu)化過程中。每次調(diào)完參、加完數(shù)據(jù)畫一張矩陣對比兩次的錯誤分布能直觀看出優(yōu)化是否真的有效而不是只看準(zhǔn)確率有沒有漲。第四需要向團(tuán)隊或客戶匯報時。一張帶顏色深淺的混淆矩陣圖比一堆數(shù)字直觀得多。2. 動手前的準(zhǔn)備環(huán)境、模型輸出與數(shù)據(jù)格式2.1 最小可用環(huán)境清單畫混淆矩陣本身對硬件沒有任何要求CPU機(jī)器完全能跑。核心依賴就是PyTorch、scikit-learn、matplotlib如果想畫得更精致一點(diǎn)可以再加seaborn。我用過的幾個版本組合供參考依賴庫我常用的版本區(qū)間說明Python3.8 ~ 3.11老版本要注意scikit-learn兼容性PyTorch1.13 或 2.x分類模型推理scikit-learn1.0 ~ 1.3提供confusion_matrix等函數(shù)matplotlib3.5 ~ 3.8基礎(chǔ)繪圖seaborn0.12 ~ 0.13熱力圖可視化更省事安裝命令我就不多寫了pip install torch scikit-learn matplotlib seaborn一步到位。如果是在已有的訓(xùn)練環(huán)境里補(bǔ)裝注意不要隨意升級PyTorch版本避免影響之前訓(xùn)練好的模型權(quán)重加載。2.2 模型輸出到底長什么樣logits、概率和預(yù)測類別剛?cè)腴T的朋友最容易在這里搞混。PyTorch分類模型在全連接層之后通常輸出一個向量這個向量在進(jìn)入Softmax之前叫l(wèi)ogits維度是批量大小乘以類別數(shù)。舉例來說一個批次的輸入經(jīng)過模型后輸出形狀通常是[batch_size, num_classes]。對每個樣本來說這個向量里的值表示該樣本屬于各個類別的“原始得分”數(shù)值越大代表模型越傾向于這個類別。取最大值的索引就是預(yù)測類別。有一種常見操作是先把logits經(jīng)過Softmax轉(zhuǎn)成概率再取最大值索引。這兩者其實(shí)結(jié)果完全一致因?yàn)镾oftmax是單調(diào)遞增函數(shù)不會改變最大值的位置。所以如果你只是要取預(yù)測類別直接做pred torch.argmax(logits, dim1)就夠了不需要先算Softmax。但如果你想把概率值也記錄下來比如用于分析置信度那就需要先過Softmax了。2.3 拿到預(yù)測結(jié)果后先做這件事類別索引與名稱對應(yīng)關(guān)系檢查模型輸出的是索引比如數(shù)字0、1、2而不是字符串“貓”“狗”“鳥”。所以動手畫圖前先確認(rèn)索引和類別名稱的對應(yīng)關(guān)系。我遇到過不止一次訓(xùn)練時數(shù)據(jù)集是用字典映射的類別名稱在數(shù)據(jù)集類的classes屬性里導(dǎo)出模型做推理時忘了保存映射關(guān)系結(jié)果畫出來的矩陣行列全是數(shù)字根本不知道哪一行對應(yīng)哪個類別。這里給一個最小驗(yàn)證片段確保測試集的類別是連續(xù)且完整的# 以 torchvision.datasets.ImageFolder 加載的數(shù)據(jù)為例 dataset_classes test_dataset.classes print(dataset_classes) # 例如 [cat, dog, bird]如果你的數(shù)據(jù)是自定義Dataset一定要檢查__getitem__返回的標(biāo)簽是從0開始的連續(xù)整數(shù)。如果標(biāo)簽不連續(xù)比如0、1、5、9混淆矩陣的行列就會錯位。這一點(diǎn)后面還會詳細(xì)說。3. 零基礎(chǔ)到手寫實(shí)現(xiàn)混淆矩陣的兩種構(gòu)建方式3.1 方式一手寫計數(shù)徹底搞懂矩陣邏輯雖然現(xiàn)成庫一行就能搞定但我強(qiáng)烈建議新手先手寫一次。理解了矩陣填充邏輯后面用庫函數(shù)出現(xiàn)問題時你才有能力排查。首先準(zhǔn)備真實(shí)標(biāo)簽列表y_true和預(yù)測標(biāo)簽列表y_pred兩者必須是等長的Python列表、NumPy數(shù)組或PyTorch張量。假設(shè)有4個類別先初始化一個4乘4的全零矩陣然后遍歷每一對真實(shí)標(biāo)簽和預(yù)測標(biāo)簽把對應(yīng)位置加1import torch def build_confusion_matrix(y_true, y_pred, num_classes): matrix torch.zeros(num_classes, num_classes, dtypetorch.int64) for t, p in zip(y_true, y_pred): matrix[t, p] 1 return matrix # 示例數(shù)據(jù)5個樣本3個類別 y_true [0, 1, 2, 1, 0] y_pred [0, 2, 2, 1, 0] cm build_confusion_matrix(y_true, y_pred, num_classes3) print(cm)輸出tensor([[2, 0, 0], [0, 1, 1], [0, 0, 1]])解釋一下第一個樣本真實(shí)是0預(yù)測是0所以matrix[0,0]加1第二個樣本真實(shí)是1預(yù)測是2所以matrix[1,2]加1。這個邏輯非常簡單遍歷完所有樣本就得到了完整的計數(shù)矩陣。如果類別數(shù)很多用循環(huán)加法的效率不高但畫圖前統(tǒng)計測試集一般也就幾千個樣本性能完全不是問題。3.2 方式二使用適合快速統(tǒng)計的現(xiàn)成函數(shù)手寫矩陣只是教學(xué)手段實(shí)際項(xiàng)目里我一般直接用機(jī)器學(xué)習(xí)常用庫中現(xiàn)成的混淆矩陣統(tǒng)計函數(shù)。它省事、代碼少、不易出錯from sklearn.metrics import confusion_matrix y_true [0, 1, 2, 1, 0] y_pred [0, 2, 2, 1, 0] cm confusion_matrix(y_true, y_pred, labels[0, 1, 2]) print(cm)重點(diǎn)是這個labels參數(shù)。它用來指定類別索引的完整列表順序就是矩陣行列的順序。如果你的測試集某個類別恰好一個樣本都沒出現(xiàn)不傳labels的話矩陣會缺少那一行一列導(dǎo)致維度對不上。我一般在多分類任務(wù)中都會顯式傳入labelslist(range(num_classes))強(qiáng)制讓矩陣維度固定。如果真實(shí)標(biāo)簽和預(yù)測標(biāo)簽是PyTorch張量先轉(zhuǎn)成Python列表或NumPy數(shù)組再傳入。# 從 GPU 張量轉(zhuǎn)到 CPU再轉(zhuǎn) numpy y_true_np y_true.cpu().numpy() y_pred_np y_pred.cpu().numpy() cm confusion_matrix(y_true_np, y_pred_np, labelslist(range(num_classes)))這里我解釋一下為什么要先轉(zhuǎn)cpu().numpy()。confusion_matrix函數(shù)接收的是類數(shù)組結(jié)構(gòu)PyTorch張量雖然也能在某些情況下被兼容但為避免type error或device對不上的問題統(tǒng)一轉(zhuǎn)成NumPy數(shù)組最省心。3.3 手工方式 vs 現(xiàn)成函數(shù)怎么選有人可能會覺得既然現(xiàn)成函數(shù)這么方便為什么還要學(xué)手寫因?yàn)楝F(xiàn)成函數(shù)幫我們省掉的是“計數(shù)”這一步但沒有幫我們理解“矩陣的含義”。在實(shí)際問題排查中你需要跟別人解釋為什么某個位置數(shù)值異常偏高這時候只有真正理解矩陣每一格的含義才能基于業(yè)務(wù)邏輯給出合理解釋。兩種方式建議這樣搭配學(xué)習(xí)和調(diào)試階段手寫理解透徹后正式代碼里用現(xiàn)成函數(shù)。還有一個細(xì)節(jié)手寫矩陣用for循環(huán)效率較低如果測試集很大比如幾萬甚至幾十萬樣本建議用torch.zeros和index_put_這類批量操作或者直接用NumPy的np.add.at。不過對常規(guī)項(xiàng)目來說這個復(fù)雜度根本遇不到。4. 畫出真正能用的混淆矩陣圖配色、歸一化與標(biāo)注4.1 基礎(chǔ)熱力圖讓數(shù)字變成顏色矩陣本身是數(shù)字表格直接看也能看但遠(yuǎn)不如熱力圖直觀。熱力圖的核心思想是用顏色深淺表示數(shù)值大小顏色越深數(shù)值越大。對角線越深說明分類效果越好。用seaborn畫熱力圖是我用得最多的方式因?yàn)樗膆eatmap函數(shù)幾乎為混淆矩陣量身定制import matplotlib.pyplot as plt import seaborn as sns import numpy as np from sklearn.metrics import confusion_matrix # 假設(shè)已經(jīng)得到 cm 和類別名稱 class_names plt.figure(figsize(8, 6)) sns.heatmap(cm, annotTrue, fmtd, cmapBlues, xticklabelsclass_names, yticklabelsclass_names, cbarFalse) plt.xlabel(Predicted label) plt.ylabel(True label) plt.title(Confusion Matrix) plt.tight_layout() plt.savefig(confusion_matrix.png, dpi300) plt.show()參數(shù)說明annotTrue在每個格子里顯示數(shù)字。fmtd因?yàn)榛煜仃囀钦麛?shù)計數(shù)用d表示十進(jìn)制整數(shù)格式。如果錯用了fmt.2f或者不寫可能報錯或者顯示成小數(shù)。cmapBlues藍(lán)色漸變顏色越深數(shù)值越大這是論文里最常見的配色。xticklabels和yticklabels傳入類別名稱列表讓坐標(biāo)軸顯示可讀的名稱而不是數(shù)字索引。cbarFalse我比較喜歡關(guān)掉右側(cè)的顏色條因?yàn)樗槐硎绢伾顪\對應(yīng)數(shù)值大小但每個格子已經(jīng)標(biāo)了數(shù)字顏色條的信息量有限還占空間。如果對顏色對比敏感可以保留。4.2 歸一化從計數(shù)到比例的轉(zhuǎn)換原始計數(shù)矩陣有個問題如果每個類別的樣本數(shù)不同深色的格子分布會失真。例如類別0有1000個測試樣本類別1只有100個即使兩者的識別率都是80%類別0對應(yīng)的對角線格子數(shù)值是800顏色會非常深類別1只有80看起來很淺給人造成“類別1表現(xiàn)很差”的錯覺。解決方法是按行歸一化歸一化后每個格子的值表示“該行真實(shí)類別中有多少比例的樣本被預(yù)測到了這一列”。歸一化矩陣的計算方法把每一行的所有值除以該行的總和。在scikit-learn中可以直接指定normalizetruecm_normalized confusion_matrix(y_true, y_pred, labelslist(range(num_classes)), normalizetrue)在seaborn繪制時我通常這樣處理cm confusion_matrix(y_true, y_pred, labelslist(range(num_classes))) cm_norm cm.astype(float) / cm.sum(axis1, keepdimsTrue) sns.heatmap(cm_norm, annotTrue, fmt.2f, cmapBlues, xticklabelsclass_names, yticklabelsclass_names)注意歸一化后fmt要改成.2f顯示兩位小數(shù)。在最終展示時我更傾向于同時展示兩種形式一是原始計數(shù)矩陣用來精確知道樣本數(shù)量二是按行歸一化的比例矩陣用來比較不同類別之間的表現(xiàn)。可參考的展示方案是先打印原始計數(shù)矩陣再打印歸一化矩陣圖里選一種呈現(xiàn)。4.3 坐標(biāo)軸字體、標(biāo)題和圖像導(dǎo)出細(xì)節(jié)可視化不只是把圖畫出來還要考慮最終使用場景。如果圖是要放進(jìn)論文、技術(shù)報告或PPT里的要注意以下幾點(diǎn)。首先類別名稱如果比較長比如“background_with_noise”這種橫坐標(biāo)文字會重疊。解決方法是把坐標(biāo)軸文字旋轉(zhuǎn)一下plt.xticks(rotation45, haright) plt.yticks(rotation0)旋轉(zhuǎn)角度一般45度就夠haright讓文字右對齊避免和相鄰文字貼在一起。其次字體大小要適配圖片尺寸。默認(rèn)字號在8乘6英寸的圖里還行但如果類別很多比如30個類別格子很小數(shù)字會擠在一起。這時候要么調(diào)大figsize要么調(diào)小字體sns.set(font_scale1.2) # 全局放大字體 # 或者單獨(dú)控制 annot 字體大小 sns.heatmap(..., annot_kws{size: 10})最后是導(dǎo)出格式。我會優(yōu)先導(dǎo)出一個矢量圖加一個位圖。矢量圖用PDF或SVG用于論文或報告縮放不失真位圖用PNGdpi300以上用于網(wǎng)頁展示或微信群聊。示例代碼plt.savefig(confusion_matrix.pdf, formatpdf, bbox_inchestight) plt.savefig(confusion_matrix.png, formatpng, dpi300, bbox_inchestight)bbox_inchestight會自動裁剪圖片邊緣空白保證整張圖緊湊這一步我?guī)缀趺看味紩印?. 驗(yàn)證集、測試集和全量推理數(shù)據(jù)到底用哪一份5.1 三份數(shù)據(jù)的分工不少初學(xué)者會把訓(xùn)練過程中打印的驗(yàn)證集準(zhǔn)確率對應(yīng)的混淆矩陣當(dāng)作最終結(jié)果這其實(shí)不太嚴(yán)謹(jǐn)。驗(yàn)證集的作用是調(diào)參和選模型它參與了你對超參數(shù)的選擇過程所以用它評估模型會略微偏樂觀。真正用于最終性能報告的應(yīng)該是測試集也就是訓(xùn)練過程中從未參與梯度更新和模型選擇的樣本。如果連測試集你也反復(fù)用來做決策它也會慢慢“污染”。所以我的習(xí)慣是訓(xùn)練過程中的混淆矩陣用驗(yàn)證集畫用于觀察每個epoch有沒有個別類別開始嚴(yán)重錯認(rèn)最終匯報和論文里的混淆矩陣用測試集畫用于說明模型的真實(shí)泛化能力。5.2 推理時別用模型本身的Dropout和BatchNorm坑在PyTorch中如果模型處于訓(xùn)練模式model.train()Dropout和BatchNorm的行為與推理模式不同。畫混淆矩陣時必須把模型切換到評估模式model.eval() with torch.no_grad(): outputs model(batch_data) preds torch.argmax(outputs, dim1)如果不加torch.no_grad()推理過程會構(gòu)建計算圖不僅占用大量顯存速度也慢畫個混淆矩陣把顯卡顯存跑爆就尷尬了。model.eval()則能保證BatchNorm使用訓(xùn)練階段統(tǒng)計的均值和方差Dropout關(guān)閉這樣推理結(jié)果才穩(wěn)定可控。有一次我忘了加model.eval()連續(xù)跑兩次同一條測試數(shù)據(jù)得出的預(yù)測結(jié)果不一樣嚇了自己一跳最后排查發(fā)現(xiàn)是Dropout在作怪。5.3 數(shù)據(jù)順序打亂對矩陣沒有影響但對可視化有影響混淆矩陣本質(zhì)上是對所有樣本計數(shù)的匯總不關(guān)心樣本順序。所以DataLoader里是否shuffleTrue不影響矩陣結(jié)果。但要注意如果你同時還想輸出“哪些具體樣本被分錯了”以便人工檢查錯誤案例那就必須記錄樣本路徑或ID而不能只記預(yù)測結(jié)果。順序一旦打亂你只知道有幾個樣本被錯認(rèn)卻不知道具體是哪幾張圖。我通常會在推理時把樣本的路徑和預(yù)測結(jié)果一起記錄下來便于后續(xù)人工核對。這步在圖像分類里特別重要因?yàn)榫仃囍荒芨嬖V你錯誤數(shù)量不能告訴你錯誤原因。6. 從矩陣到洞察進(jìn)階分析與實(shí)戰(zhàn)技巧6.1 發(fā)現(xiàn)系統(tǒng)性錯誤相鄰類別的強(qiáng)烈混淆混淆矩陣一個特別有用的場景是發(fā)現(xiàn)“系統(tǒng)性錯認(rèn)”。比如在植物葉片分類中兩種外觀極其相似的病害類型常?;ハ嗷煜仃?yán)飼吹絻蓚€對稱的非對角線位置數(shù)值都很高。這說明模型并沒有學(xué)會區(qū)分它們本質(zhì)上是特征表達(dá)不夠或者兩類樣本之間的差異確實(shí)微小。發(fā)現(xiàn)這種規(guī)律后我的處理步驟通常是這樣先統(tǒng)計這兩個類別的樣本量確認(rèn)是否不平衡然后檢查訓(xùn)練數(shù)據(jù)里這兩個類別的圖像是否采集條件差異很大比如光照、角度再考慮是否需要對這兩類做特征可視化比如用梯度加權(quán)類激活映射看模型關(guān)注區(qū)域是否有問題。6.2 類別不平衡如何讓矩陣“說謊”歸一化矩陣能解決一部分“比較”問題但解決不了根本問題樣本量太少的類別即使歸一化后準(zhǔn)確率看著還行實(shí)際可信度也不高。比如某個類別只有10個測試樣本哪怕只有1個被分錯歸一化后準(zhǔn)確率就只有90%而另一個類別有1000個樣本50個分錯準(zhǔn)確率是95%。單看這兩個數(shù)字好像后者更好但樣本量差異導(dǎo)致前者的置信區(qū)間大得多。這種情況下我建議在矩陣圖下方額外標(biāo)注每個類別的測試樣本數(shù)。代碼上可以準(zhǔn)備一個樣本數(shù)列表用plt.text在對應(yīng)的列下方標(biāo)注或者干脆在類別名稱里帶上樣本量比如“類別A (n100)”。6.3 結(jié)合分類報告一起打包輸出混淆矩陣是基礎(chǔ)但給別人看的時候通常不能只甩一張矩陣圖。我在項(xiàng)目匯報時一般會同時輸出一份分類報告包含每個類別的精確率、召回率、F1值和樣本數(shù)。這樣既能從矩陣看全局又能從指標(biāo)看單類表現(xiàn)論證更充分。from sklearn.metrics import classification_report report classification_report(y_true_np, y_pred_np, target_namesclass_names, digits3) print(report)這段代碼會輸出一個表格每個類一行最后一行為加權(quán)平均。配合矩陣圖放在結(jié)果部分信息量完全夠用。6.4 多標(biāo)簽任務(wù)不是這個畫法這里要特別提醒一句本文討論的是單標(biāo)簽多分類任務(wù)每個樣本只能屬于一個類別。如果你做的是多標(biāo)簽任務(wù)比如一張圖同時包含“貓”和“狗”那混淆矩陣的畫法就完全不同了需要按標(biāo)簽維度單獨(dú)畫或者使用多標(biāo)簽專用的評估指標(biāo)。矩陣的行列在這里就對應(yīng)不上不要混淆。7. 常見問題與排查思路實(shí)錄7.1 畫圖時報錯“size mismatch”最常見的錯誤之一。原因通常是類別數(shù)對不上比如模型輸出10類但labels列表只給了8個或者測試集里某些類別缺失。排查順序先打印model最后一層輸出維度再打印訓(xùn)練時保存的類別映射然后打印len(np.unique(y_true))逐項(xiàng)核對。7.2 歸一化矩陣?yán)锍霈F(xiàn)NaN這類問題一般發(fā)生在某個行和為0的情況下也就是某個類別一個測試樣本都沒有。因?yàn)榉帜笧?除法結(jié)果變成NaN。解決方法是先檢查類別分布確保每個類別都有測試樣本如果確實(shí)沒有這一行就不該出現(xiàn)在矩陣?yán)镄枰獜膌abels里去掉該類別或者在計算時加一個極小值防止除零。7.3 圖片上中文類別名稱顯示成方塊matplotlib默認(rèn)字體不支持中文直接寫中文標(biāo)簽會變成一個個方框。解決方法有兩個一是直接用英文類別名最省事二是給matplotlib設(shè)置中文字體。代碼片段plt.rcParams[font.sans-serif] [SimHei] # 或 [Microsoft YaHei] plt.rcParams[axes.unicode_minus] False需要注意Linux服務(wù)器上可能沒有SimHei可以改用DejaVu Sans配合英文標(biāo)簽。如果是長期做中文項(xiàng)目我建議從始至終統(tǒng)一使用英文類別名加一份映射字典避免字體問題的困擾。7.4 GPU顯存不足的坑推理整個測試集時如果一次性把全部數(shù)據(jù)丟給模型顯存很容易溢出。正確做法是使用DataLoader分批推理每次累積預(yù)測結(jié)果all_preds [] all_labels [] for images, labels in test_loader: images images.to(device) labels labels.to(device) with torch.no_grad(): outputs model(images) preds torch.argmax(outputs, dim1) all_preds.append(preds.cpu()) all_labels.append(labels.cpu()) all_preds torch.cat(all_preds).numpy() all_labels torch.cat(all_labels).numpy()這里我把預(yù)測結(jié)果先放到CPU再在最后合并。注意不要每步都torch.cat這會復(fù)制數(shù)據(jù)多次效率低應(yīng)該先收集列表最后一次性合并。7.5 分類報告和矩陣對不上這個問題的根源往往是y_true和y_pred的來源不一致。比如y_true來自測試集的原始標(biāo)簽而y_pred來自某個評測階段的輸出文件兩者順序沒有對齊。排查方法是對比前幾個樣本的路徑和預(yù)測結(jié)果確認(rèn)是否一一對應(yīng)。我自己的經(jīng)驗(yàn)是永遠(yuǎn)在同一個推理循環(huán)里同時收集真實(shí)標(biāo)簽和預(yù)測標(biāo)簽不要分開跑兩次再合并。8. 我常用的一個完整可交付模板最后分享一個我自己項(xiàng)目里常用的模板代碼整體打包可直接復(fù)制修改。它做了三件事推理并收集標(biāo)簽、計算原始和歸一化矩陣、繪制并導(dǎo)出圖片。import torch import numpy as np import matplotlib.pyplot as plt import seaborn as sns from sklearn.metrics import confusion_matrix, classification_report def evaluate_and_plot(model, test_loader, class_names, device, save_path_prefixcm): model.eval() all_preds [] all_labels [] with torch.no_grad(): for images, labels in test_loader: images images.to(device) labels labels.to(device) outputs model(images) preds torch.argmax(outputs, dim1) all_preds.append(preds.cpu()) all_labels.append(labels.cpu()) y_pred torch.cat(all_preds).numpy() y_true torch.cat(all_labels).numpy() cm confusion_matrix(y_true, y_pred, labelslist(range(len(class_names)))) cm_norm cm.astype(float) / cm.sum(axis1, keepdimsTrue) print(Classification Report:) print(classification_report(y_true, y_pred, target_namesclass_names, digits3)) fig, axes plt.subplots(1, 2, figsize(16, 7)) sns.heatmap(cm, annotTrue, fmtd, cmapBlues, xticklabelsclass_names, yticklabelsclass_names, axaxes[0], cbarFalse) axes[0].set_title(Confusion Matrix (Counts)) axes[0].set_xlabel(Predicted label) axes[0].set_ylabel(True label) sns.heatmap(cm_norm, annotTrue, fmt.2f, cmapBlues, xticklabelsclass_names, yticklabelsclass_names, axaxes[1], cbarFalse) axes[1].set_title(Confusion Matrix (Row-Normalized)) axes[1].set_xlabel(Predicted label) axes[1].set_ylabel(True label) plt.tight_layout() plt.savefig(f{save_path_prefix}.pdf, formatpdf, bbox_inchestight) plt.savefig(f{save_path_prefix}.png, formatpng, dpi300, bbox_inchestight) plt.show() return cm, cm_norm, y_true, y_pred這個函數(shù)會把歸一化和原始計數(shù)矩陣并排畫在同一張圖里一次導(dǎo)出兩種視圖。傳給它的test_loader不需要shuffleclass_names從dataset.classes里提取。我自己做項(xiàng)目時會把保存的PDF圖直接放進(jìn)技術(shù)報告里PNG圖放到文檔中省去重新繪制的麻煩。用下來這么久我覺得混淆矩陣這個工具比想象中更“耐看”。每次訓(xùn)練完新模型我都會把它當(dāng)作一個標(biāo)準(zhǔn)動作和打印準(zhǔn)確率一樣自然。有時候矩陣看起來結(jié)果不理想反而能逼著我去找數(shù)據(jù)里的問題這比模型調(diào)參本身更有價值。希望這套流程能幫你省掉一些自己摸索的時間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色婷婷五月天成人网| AV激情五月| 中文av在线观看| 色啪久| 成人无码髙潮喷水A片| 狠狠操天天干| 99热综合在线观看| 狠狠色噜噜狠狠| 99色精品| 亚洲五月天综合色| 色五月成人在线| 婷婷亚洲在线| 深爱激情丁香| 精品久久久人妻| 婷婷五月色天| 玖玖婷婷五月天| 免费看欧美成人A片无码 | 夜夜撸天天操| 一点色成人网| 久热久re| 色色热99| 伊人五月成人| 婷婷综合色色| 亚洲熟妇AV乱码在线观看| 日本熟妇乱妇熟色A片蜜桃| 超碰在线国产| 六月婷在线| 久99久精品| 另类图片天天影视在线观看| 99热只有精品在线观看| 伊人五月综合网| 日本久久综合| 色欲五月丁香| 人人操操| 婷婷五月天色综合翘| 色五月婷婷丁香婷婷| 天天干天天操| 狠狠干无码| 熟妇人妻中文字幕无码老熟妇 | 色色无码| 国产精品99久久久久久久女警| 色爆五月| 1024操逼视频| 六月丁香婷婷网| 国产淫熟妇| 五月婷婷激情久久| AA丁香综合激情| 久久九九Com| 中文av在线观看| 婷婷五月天激情网| 婷婷色色狠狠| 任你搞在线观看视频| 日日天天干| 人妻中文字幕精品| 激情色播| 精品无码人妻一区| 老师的粉嫩小又紧水又多A片视频| 99cao婷婷| 国产又粗又大又爽又黄 | 五夜丁香| 九色婷婷| 91精品久久久久久久久久| 青青久久91| 伊九九三级区| 玖玖资源在线视频| 国产婷婷色综合AV蜜臀AV | 激情五月婷婷色色| 99精品在| 99热官网精品在线| 婷婷五月成人| 久久久A级视频| 激情99| 五月婷婷之综合激情在线| 丁香六月婷婷激情综合| 婷婷五月天丁香社区| 色呦精品| 五月婷婷 欧美| 丁香桃色网| 五月天激情小说| 大香蕉欧美在线| 丁香五月色播中文在线播放| 久久久8| 激情性爱五月天网页| 亚洲综合色色| 色综合久久88色综合天天99| 国产国产乱老熟女视频网站97| 五月亭亭欧美女人| 色播婷婷五月天| 成人va在线播放| 国产免费av在线| 激情五月丁香在线观看直播| 色九月婷婷| 97人人爱人人操| 亚洲色欲欧美一区二区三区| 超碰九色| 秋霞午夜理论| 99精品在线播放| 69久久99精品久久久久| 性爱视频久久| 就爱日五月天| 日韩砖区| 亚洲爆乳无码精品AAA片蜜桃 | 国产女生爱爱AA| 婷婷九月激情| 亚洲精品一区中文字幕乱码| 开心丁五月| 久久92| 五月婷婷香蕉| 人妻肉射免费观看| 综合色色五月| 五月丁香青草综合啪啪| 国产精产国品一二三在观看 | 五月综合丁香婷婷| 激情综合网五月| 亚洲操b| 做爰丰满少妇1313| 678五月丁香亚洲综合| 九九色精品| 五月婷婷丁香大陆免费| WWW99热| 色五月天丁香婷婷色| 婷婷六月天亚州| 国产乱妇无乱码大黄AA片| 噜噜噜噜噜在线| 天天看A片| www.色五月.com| 青青草轻轻操| 色婷网| 色五月婷婷九月| 超碰在线观看三级片| 天天网站天天爽| 天天天天干| 色五月xxx| 一起草av| 婷婷五月天综合色| 五月天婷婷色综合| www.五月天婷婷| 婷婷久久在线| 久久婷婷综| 丁香五月婷婷黑人妻黄色电影院| 日韩aaaaa| 久久狼人天堂| 色综合99| 五月婷婷激情色情网| 亚洲亚洲人成综合网络| 丁香 婷婷 亚洲 熟女| 色婷婷人人| 五月天激情国产综合AV| 9 9 9色色| 99色| 丁香五月天激情五月天激情五月天激情网| 六月色色| 久久视频在线| 婷婷色六月| 久99热在线观看| 久久99久久久| 五月丁香成人网| 久久6这里只有精品| 大地资源色婷婷视频在线| 婷婷五月天视频小说| 九色在线五月婷婷网址| 97精品在线| 婷婷久久欧美| 亚洲九九99精品视频在线播放| 激情婷婷丁香色五月| 婷婷五月综合网激情| 无码色| 开心五月婷婷激情| 国产av天天插天天操天天爽| 婷婷97碰碰| 少妇丁香婷婷| 98热精品| 激情色色| 亚洲色视频| 九九色区| 久久在线视频免费观看| 色偷偷色婷婷| 天天爽天天爽| 色婷婷色五月天| 中文字幕激情综合| 人妻体体内射精一区二区| 97五月天婷婷| 99久久久国产大片| 玖玖爱导航| 婷婷色五月天在线| 99久久综合精品五月天| 影音先锋一区| 99天天操夜夜操| 人妻视频在线| 99热日本| 婷婷性爱影院| 最近中文字幕大全免费版在线 | AAA久久久| 99久久久久| 五月婷婷色播| 天天干天天拍| 夜夜涩涩涩| 99久久婷婷五月| 婷婷射丁香| 五月天婷婷视频30| 天天综合区| 婷婷丁香77777| 五月丁香色色网| 妻久久久久| 婷婷天堂综合网| 色婷婷伊人| 夜夜夜叫天天天做| 另类激情码| 99热这里| 色五月激情综合网| 婷婷综合激情| 亚洲综合婷婷五月| 天天玩夜夜操天天爽| 丁香五月玖玖| 丁香五月影院| 色女人久久| 五月婷婷综合热| 五月天综合在线网| 五月丁香六月在线欧美| 91日视频| 怡红院91a√| 色综合色综合色综合| 五月天综合区| 久久这里只有国产| 婷婷五月天亚洲综合| 91打屁股免费看| 日本超碰在线| 五月天六月色| 综合五月丁香六月婷婷| 国熟女视频| 高清视频一区| 婷婷五月丁香激情图片 | 五月天综合图片| 在线国产精品色| 狠狠色狠狠爱| 四季8848精品成人免费网站| 久久人人妻| 五月丁香天堂网| 激情综合激情五月| 激情五月,色五月| 丁香五月黄色| 丁香久久激情俄| 疯狂做受XXXX高潮A片| 激情五月婷婷| 中文字幕视频在线播放| 综合一区二区三区| 天天插天天爱| 噜噜色噜噜网| 天天操综合网站| xxxx五月| 99'无码| 91操熟女| 丁香六月激情综合| 色五月91| 九九热av| 人妻熟妇国产精品| 六月婷婷激情图片| 亚洲欧洲午夜成人精品av| 婷婷五月激情小说| 精品无码片| 男人大jjc女人免费视频| 99精品久久| 天天插天天玩天天干| 九月激情综合婷婷| 婷婷玖玖五月天| 婷婷五月六月| 久久玖玖综合| 日韩成人电影在线播放| 熟女激情网| 香焦网五月天| 日日干天天射| 色噜噜狠狠色综| 婷婷成人综合| 九九久久99| 久久久久久9| 国产精品色婷婷99久久精品| 91久久久久久久久久久| a色色片| 精品婷婷五| 91超级碰碰| 爱射综合| 天天摸,天天爽| 操操操操操操婷婷五月天| 99色色网| 日韩一66精品| 激情美女五月天激情在线| 九九热思思热| 久久婷婷六月综合| 久久综合影院 | 五月婷婷激情网| 99热精品在这里| 激情综合亚洲| 激情五月婷| 久久九色| 5月婷婷六月丁香| 婷婷综合亚洲| 人妻在线观看视频| 桃色激情婷婷伊人网| 丁香五月停停av| 综合久久婷婷五月丁香| 五月天成人免费视频| 天天网曰日曰夜夜综合永久免费| 丁香婷婷色五月| 婷婷五月六月激情| 国产毛片精品一区二区色欲黄A片| 五月天亚洲图片婷婷| 色狠狠图片| 嫩草AV久久伊人妇女超级A| 成人日韩欧美| 熟女色色一区二区| WWW.久久久久久久久久久久久| 婷婷五月天激情网| 色色色五月天婷婷| 人人操人人干AV| 91婷婷在线| 97成人丁香婷婷| 婷婷丁香久久五月综合| 停停五月丁香| 久99久在线| 99丝袜精品视频网站| 九色91美女| 99热国产在线| 激情六月婷婷| 免费观看日韩成人av| 婷婷五月天视| 九九aV| 丁香六月婷婷综合欧美| 免费观看的av| 99re在线视频精品,这里只有精品18,| 深爱五月激情综合| 成人日韩欧美| 无码se| 99re热| 五月婷婷激情四月| 久久婷综合| 中文字幕网站在线观看| 久久久精品色色色| 九月丁香八月婷婷加勒比| 婷婷色五月天综合网| 思思热久久艹| 久久与婷婷| 丁香六月激情| xxxx五月天色色| 婷婷狠狠操| 婷婷五月天第四色| 淫视馆AV在线| 五月天开心网| 国产精品电影| 五月婷婷久久久| 色五月丁香网| 亚洲行行色色| 97色婷婷在线观看| 舔色婷婷| 日韩激情网站| 亚洲色五月| 日本精品在线噜噜噜| 五月丁香在线| 久久婷婷五月综合伊人| 婷婷九月亚洲| 日韩一级A片黄色| 91九色网| 天天影院色| 91狠狠色丁香婷婷综合久久| 三十熟女| 一起草Av| 色婷婷综合网站| 青青草轻轻操| 五月婷婷综合网| 精品成人无码A片观看香草视频 | 日韩久热| 99热这里只有精品最新| 综合精品99| 激情综合五| 99这里的视频都是精品| 日日操夜夜擼| 黄色激情五月天| 26uuu四色| 操逼三区| 婷婷六月天| 色播婷婷大香蕉| 五月丁香婷婷激情澎湃四射| 激情久久久久| 五月天婷婷婷| 色一情一乱一乱一区91Av| www.六月丁香看AV| 婷婷在线播放av| 美女伊人久久| av网站免费在线| 99久久6| 99热这里只有精品1| 激情另类综合| 五月丁香成人视频| 五月婷婷成人w| 婷婷色基地在线看| 中文字幕人妻一区二区| 五月丁香好婷婷A片网| 丁香五月综合在线视频| 天天爽—爽| 99激情网| 啪啪 综合网| 成人中文网| 丁香六月婷婷综合| 人妻久久久久久久 | 99热66| 五月婷婷六月丁香玖玖玫瑰91| 激情五月天之六月婷婷| 亚洲综合激情五月久久| 玖玖综合色| 97色色综合| 视频久久9| 五月天另类小说久久小说网| 97操碰98| 色色色九九九五月婷婷| 日韩丁香涩| 日韩黄色影院| 黄色片avv| 色www久视频| 天天射影院| 人妻少妇色综合| 99热天堂| 99国产小视频| 操骚货在线| 色噜噜狠狠插综合| 特级片神马电影| wwwC0maV五月花| 亚洲色情久久| 99热播放| 99热久草| 开心久久xxx色| www99热| 丁香五月婷婷深爱综合激情| 亚洲无码成人| 色综合香蕉| 久久婷婷五月综合色奶水99啪| 九九人人自拍| 91久久久久久| 伊人婷婷五月天| 欧美交换配乱吟粗大25P| 超碰成人公开| 色99免费视频中文| 欧美色久| 99在线视频精品| 五月天激情综合10p| 九九热99热| 97色在线观看视频| 超碰免费在线| 久色视频在线| 成人五月天综合网| 六月香五月婷| 六月丁香五月激情网| 五月丁花六月丁香综合| 狠狠色综合五月| 色婷婷狠狠| 亚洲六月婷婷| 久热9| 79精品视频在线观看,| 丁香五月影院| 婷婷综合| 九九色播五月丁香| 99在线视频播放| 丁香五月婷婷啪啪啪| 五月婷婷中文字幕| 婷婷网五月| 亚韩在线视频| 久久九九激情五月天| 一本色道久久88加勒比—| 永久无码色| 五月久久丁香| 97啪啪| 欧美色碰| 激情 婷婷 插| www.久久99| 综合综合色色| 狠狠操狠狠操| 国产精品VIDEOSSEX久久发布| 在线91日韩| 五月天另类综合网| 五月天久久综合| 久久久aaa| 国产乱码久久| 五月天艹天天| 婷婷五月天综合网| 五月天丁香综合| 性日本精品| 99色视频| 九九热色视频| 欧美熟女99| 色综合av超碰| 婷婷五月六月丁香综合| 五月丁香花视频| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 婷婷色色丁香| 这里只有精品视频在线看| 五月天婷婷综合| 亚洲区视频| 无码动漫av| 91啦丨九色丨刺激中文| 久8色色| 9久久狠狠的| 丁香五月天人体| 婷婷在线免费| 五月婷婷人人人操| 91无码视频| 婷婷激情四射五月天| 99愛国产| www,setingting| 伊人久久五月天综合| 影音先锋91男人资源在线播放| 亚洲 欧洲 国产 伦综合| 婷婷五月丁香五月| 97干在线视频| 99热这| 国产午夜成人免费看片无遮挡| 偷拍99在线视频观看| 色九月欧美| 婷婷香五月综合激情| 国外亚洲成AV人片在线观看| 精品思思久久| 狠狠色丁香婷婷久久综合| 久久一级AV| 欧美另类五月激情| 色区久久| 啪啪91| 日本三日本三级少妇三级66| 婷婷五月激情基地| 日韩AV中文在线观看| 欧美日韩大黄| 激情性爱五月天网页| 色狠狠伊人久久五月丁香| 亚洲无AV在线中文字幕| 欧美VA在线观看| 日韩艹比| 婷婷六月色情| 五月婷婷97| 成人电影在线免费试看| 99A级片| 五月天婷婷色色| 精品无码色| 天天肏在线视频| 色五月丁香婷婷在线观看| 激情婷婷五月少妇| 天天综合五月天| 香蕉网久久| 日韩一级网站| 91热er| 99视频| 亚洲VA口| eeuus五月婷| 97操资源婷婷| 凹凸操Av| 亚洲无码播放| 欧美天堂婷婷日韩| 99热在线观看免费| 99ri视频在线观看| 婷婷五月婷婷| 国产六月婷婷| 五月天另类图片区99| 亚洲午夜av| 五月丁香婷中文| 色婷婷五月影视| 五月丁香激情综合| 99思思热只有在这里看| 亚洲色综合| 五月婷婷丁香日韩在线| 欧美色图天堂网| 婷婷五月天电影在线| 79精品视频在线观看,| 久久伊人日日夜夜| 日韩无码91| 亚洲乱码日产精品BD| 久大香蕉| www色综合| 天天爽人人综合免费7799| 久久婷婷亚洲| 操日视频| 激情深爱五月婷婷| 激情涩播| 中文字幕AV在线播放| 天天爱夜夜爽| 五月丁香婷中文字幕| 精品亚洲日韩99欧美片| 婷婷丁香五月亚洲| 99热国产免费| 丁香香五月激情免费视频| 97人碰人操| 色婷婷网| 丁香五月天中文字幕| 激情精品久久| 91性人人| 夜色爱爱亚洲| 色99网站| 成人视屏在线观看| 十一月婷婷激情四射| www,婷婷五月天,com| 玖玖爱导航| 草草夜夜操| 91精品久久久久久综合五月天| 五月婷婷在线网站| 99热 免费| 久久亚洲天堂| 五月网站| 婷婷五月天小说| 99re思思热久久| 五月亭亭网成人在线视频| 中文aV网| 婷婷六月激情丁香| 99色1| 成人色五月天| 另类激情综合| 狠狠舔| 99色久| www.综合久久.com| 久久男人网婷婷| 99ri视频在线播放| 日本五月视频| 激情开心五月亚洲| 停停色综合伊人| 丁香色五月婷婷17C| 99精品久久久| 色你久久| 婷婷六月色丁香视频在线观看| 五月天婷婷在线观看精品男人| 亚洲午夜av| 五月天成人在线| 亚州精品色情在线观看| 97色色婷婷五月天| 免费观看18视频网站| 思思热精品在线视频| 色噜噜在线| 久久九九网| 97碰碰免费.视频| 91紱請| 日本91在线| 深爱激情六月天| 天天操,夜夜骑| 精品乱码视频| 激情文学第四色婷婷丁香五月| 狠狠色综合图片| 中文字幕成人| 久久大香蕉| 开心五月婷婷| 五月丁香六月激情欧美综合| 婷婷八月丁香激情综合| 五月丁花六月丁香综合| 色五月婷婷啪啪五月| 日韩人妻无码一区二区| 天天日狠狠| 激情五月天视频| 99伊人性爱在线影院| 丁香天堂夜| 91在线视频观看午夜福利| 国产小精品| 国产成人精品一区二区三区视频 | 五月激情久久| 91久女| 丁香婷婷五月激情四射网| 中文字幕无码人妻少妇免费视频| 可以看的av| 亚洲国产精品VA在线看黑人| A片试看50分钟做受视频| 色色色热| 五月天丁香婷婷视频网址| 超碰国产在线播放| 久9综合| 精品婷婷丁香五| 丁香五月五月婷婷欧美大香蕉| 激情六月天| 精品99*| 热99一二三| 免费人人操| 99热人人| 这里只有精品99视频| 天天做天天爱天天爽在| www.99热视频| 日本不卡中文字幕| 久草婷婷| 亚洲色婷婷久久99精品91| 91九色欧美| 婷婷五月天成人五月天| 亚洲欧美999| 国产精品视频| 少妇AB又爽又紧无码网站| 97超级碰人人| 91干在线| 色欲五月婷婷| 天天爽天天| 色情综合| 91视频久久久| 五月天婷婷久久日| 免费五月婷婷网| 天天综合精品| 久久综合9| 538任你爽| 人人人操97| 五月丁香婷婷深深爱| 五月丁香六月婷婷不卡免费无码| AⅤ网站在线看| 亚州精品成人片| 丁香五月婷婷啪啪| 99re热视频| 女人天堂久久| 色99欧洲色19| 五月天婷基地| 五月婷综合| 午夜天堂一区人妻| 香蕉狠狠爱视频| 囯产精品一品二区三区| 亚洲操人| WWW久久99久久99久久| 丁香五月图片| 99ri视频| 碰碰操91| 亚洲五月天激情| 丰满老熟妇BBBBB搡BBB| 91丨九色丨东北熟女| 超碰猛烈的性猛交| 欧美成人在线观看| 午夜美女人啪最红院| 婷婷久久综合| 日噜噜色| 久久人妻视步| Blackedraw视频一区二区| 亭亭五月丁香综合欧美| 六月 丁香 视频| 欧美人人女女精品综合五月天| 人妻操在线看| 超碰成人黄色网| 久久久久久xxxxx| 婷婷天堂综合| 日韩av网站在线观看| 天天爽夜夜爽天天爽夜夜爽| 嫩草视频。| 99精品爱| 亚洲av另类在线观看| 丁香五月激情澎湃一区| 成人精品视频99在线观看免费| 六月婷婷俺也去| 日本综合色图| 久久久婷婷婷| 中国女人做爰A片| 99热99ai| 双性美人被调教到喷水A片| 亚洲性受XXXX五月丁香| 丁香六月欧美| 婷婷激情鹿城五月天| 五月婷婷基地| 激情婷婷另类| 真实熟女-91九色| 婷婷五月天伊人网在线观看视频| 狠狠色丁香乆乆| www.夜夜.com| 国产av第一专区| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪| 影音先锋自拍网| 看国产探花操逼三级片| 超碰在线观看成人视| 99色综合| 亚洲婷婷月丁香五月| 国产精品久久久久久久久久久久| 丁香久久五月天视频在线观看| 99欧美精品99日本精品| 日韩色五月| 黄色AV日韩| 男女99免费视频| 影音先锋一区二区三区| BBWCUCKOLD精品熟妇| 亭亭五月激情亚洲在线| 五月丁香六月婷婷久久肏| 五月丁香综合啪啪| 开心五月婷婷六月丁香| 97香蕉人人在线观看| 日本久久人人| www 五月天 com| 操人精品| 99操逼| 亚洲日日日| 人人操人人爽成人AV| 婷婷99狠狠| 色婷婷基地| 五月色网| 五月丁香最新| 色五月播五月| 夜夜操天天干| 琪琪理论片| 大香伊人婷婷| 七七婷婷综合| 五月丁香影院| 婷婷六月激情综合| 欧美日韩99| 高清资源站日A美A欧亚…| 丁香六月激情| 国产热精品| 婷婷色色五月天| 91色五月在线观看| 五月丁香激情怕怕| 日韩青青| 97人人操人人爽| 国产精品色婷婷AV综合色色| 热99国产精品| 婷婷丁香五月天之开心少妇| 婷婷五月天精品| 丁香五月天天高清在线| 色青青五月| 在线你懂的亚洲欧| 久久久av久av久片一区二区| 亚洲综合1024| 日本久久爱| 开心五月激情五月丁香五月婷婷| 久久人人九九| 国产探花一片区| 色婷婷中文| 色狠狠综合| 激情综合网五月婷婷| 五月婷婷五月| 99视频这里只有精品10| 五月丁香六月婷婷不卡免费无码| 日本久久精品18| 热99免费在线| 久综合九综合99| 久99999热视频在线观看免费| 99精品久久| 九艹在线| 黄色一级影片| 中文字幕乱轮| 五月丁香黄色视频| 婷婷丁香五月,狠狠综合| 开心四月婷婷在线色播播| 色综合网址| 91干视频| 做爱夜夜干天天操| 日夜操B| 五月丁香六月综合情在线观看| 色婷婷综合亚洲| 日韩色色一区| 超碰在线综合| 丁香六月婷| 99欧美| 五月婷视频久久| 五月激情婷婷图片基地| 激情婷婷色小说| 五月婷婷五月天激情视频| 凹凸探花电影| 天天干天天 亚洲| 俺也去在线视频| 久久99网| 婷婷六月色| 久久久久久人妻| 成人做爰A片免费看视频| 亚洲中文字幕在线观看| av婷婷六月丁香社区在线观看| 丁香五月婷婷www..com| 欧美VA视频| 99热r| 99er6| 丁香六月色情| 甈你aaaaa| 五月丁香婷婷六月| 九九热在线精品视频| 中文字幕日产A片在线看| 伊人青涩网| 成人电影AV在线观看| 欧美狠狠一在草| 激情综合婷婷| 五月激情综合美女久久| 久久九区| 精品欧美性爱超级爽| WWW,五月| 色爱99| 九九青草热| 日韩啊啊啊| 狠狠色中色| 亚洲午夜电影| 五月丁香六月久久| 99热成人在线| 色婷婷99| 亚洲成片在线观看| 色情五月丁香婷婷网| 色情成人五月天| 丁香五月天堂网| 五月婷婷六月综合| 天天爽天天日人人爱| 色综合伊人网| 欧美搡BBBBB摔BBBBB| 日本一级大片| 五月开心六月婷婷在线播放网站| 色五月婷婷在线| 日韩欧美成人一区二区三区| 伦乱天堂| 蜜桃五月天| 国产亚洲99久久精品| 五月天婷婷激情春色小说| 综合色色五月| 五月天精品| 九九色逼| 婷婷五月激情中文字幕| 99热这里只有精品2| 成人av中文字幕| 婷婷丁香六月天| 五月天婷婷亚洲| 丁香五月婷婷综合网| 九九热这里精品| 久鲁鲁色网 | 色色九九五月天| 亚洲AV成人精品网站在线播放| 小香蕉av| 操日本99| 草榴成人影片| 91操在线| 婷婷综合九月| av线电影| 久热91精品| 五月婷六月| 丁香五月91| 五月丁香香蕉| 久久五月天婷婷视频| 欧美群妇大交乱婬网| 五月天婷婷一起草| 五月丁香综合久久| 九九热区一区二区三区| 激情色情五月天| 丁香五月在线观看完整版| 婷婷色丁香五月| 国产色五月婷婷| 99免费视频在线观看爱| 99热这里只有精品3| 人人草开心五月天| 欧美影院| 色婷婷操逼| 一起草av| 五月色影院| www色色com| 国产乱子轮XXX农村| 五月天色小说| 97伦乱| 97偷拍对白视频| 综合超碰熟| 8区视频在线| 日韩成人综合网| 久久99久久99精品免视看婷婷| 久这里只有精品99| 久久久久久久综合狠狠综合| 就99这里只有精品| 欧洲综合视频在线观看。欧洲,亚洲综合食品在线观看。 | www.99日本| 夜夜操天天干| 97色吧| 亚洲AV成人一区二区在线观看| 人人超碰99| 另类图片激情五月| 亚洲精品色色| wwwxxx五月婷婷小说| 国产色色色色| 婷婷五月天AV在线| 欧洲色色| 久99婷婷色综合| 九九精品99久久久| 婷婷五月天中文字幕| 久久98| 亚洲久久婷婷丁香五月天| 久热视频这里只有精品| 99欧州偷拍视频| 婷婷丁香五月综合| a免费在线| 狠狠五月激情丁香六月| 91色色色视频| 丁香五月婷婷亚洲综合精品| 99视频地址| 天天日日综合| 97精品在线| 青青青在线视频国产| 任我肏视频精品| 天天噜日日噜综合无码| 六月婷婷视频| 五月婷婷婷婷网| 操久久网| 九九亚洲天堂| 99干99| site:jszngf.com| 夜夜操激情| 天天操B| 国产亚洲精品久久久久久久久动漫| 丁香婷婷五月人体| 婷婷伊人| 精品草原久久视频| 99精品自拍| 六月婷婷综合网2| 97热这里精品在线视频| 五月天婷婷丁香视频| 色色色婷婷| 夜夜爽77777妓女免费下载| 久热99久热| 九九这里是免费的视频5| 五月天婷婷丁香花| 五月天色五月| 91久久婷婷| 丁香香蕉婷婷| 欧美激情五月天在线观看| 五月综合无码| 五月天婷婷小说| 精品九九婷婷| 五月丁香综合激情在线观看| 天天干天天操天天拍| 婷婷激情综合网| YW无码| 五月丁了香蕉综合| 桔色成人在线| 久久五月丁香| 亚洲色图日韩网址| 少妇激情五月婷婷| 成人网在线视频| 久草婷婷网| 五月丁香啪啪激情| 婷婷丁香五月天亚洲| 五月丁香婷婷色| 欧美情色一区| 久久香蕉影院| 五月婷婷六月丁香色| 欧美成人精品A片免费一区99| 婷婷色操| 狠狠色精品综合| 色综合久| 97精品综合久久内射| 色五月激情五月丁香五月婷婷啪啪综合| 天天做天天爱天天玩夜夜爽| 亚洲综合五月天| 激情宗合 激情宗合| 26uuu欧美亚洲日韩| 久月婷婷| 日韩无码系列| 99精品爱| 五月激情啪啪| 久久的爱大香蕉| 色七色九九| 婷婷97碰碰| 610018岁成人视频| 婷婷丁香激情综合色情| 99色热视频| 伊人色综合网| 啪啪综合| 99热费观看| 五月婷婷六月激情| 九月大香蕉| 五月丁香婷中文字幕| 激情婷婷五月天| 色www.con| 丁香色综合| 中字幕视频在线永久在线观看免费| 激情五婷网| 婷婷久久综合久色| 91丨九色丨国产打屁股| 色综合中文色综合网| 成人丁香婷婷| 久99久视频精品| 一區四區歐美日韓| 亚洲热热视频| 五月丁香婷婷色色| 夜夜操狠狠操| 天啪色| 五月之婷婷| 国产偷人爽久久久久久老妇APP| 亚洲精品色色| 色色色在线观看| 丁香九月综合在线| 人人人舔人人人操人人人摸人人人97 | 狼人久草| 亚洲熟女色| 婷婷六月综合基地| 五月天丁香欧美激情| 五月丁香六月婷婷视频| 色色色色丁香| 亚洲中文乱字字幕线在永久| 国产精自产拍久久久久久蜜| 色婷婷狠狠| 91综合在线| 99ri精品| 五月婷久久| 九九色色网| 婷婷99视频精品| 碰碰碰97免费精彩视频| 日逼免费视频 | 丁香色婷婷| 婷婷五月综合网激情| 亚洲欧美999| 亚洲天堂制| 五月天婷婷在线AN| 亲子乱AV-区二区三区| 天天色播| 婷婷色九月| 六月丁香大香蕉| 九九青草热| 六月大香蕉| 97色在线观看视频| 五月婷婷深深爱| 99九九视频精彩在线| 久色五月天| 欧美99视频| 色五月综合97| 91日日日| 色婷婷操逼| 久久久久婷 | 亚洲无码99| 天天天天天色| 人人艹艹艹| 激情五月天免费视频| 激情五月天婷婷播播久久综合91| 婷婷五月丁香综合人妻| 日本一区二区三区精品视频| 色色射| 亚洲熟女乱色综合亚洲网站| 丁香婷婷色色| 任我肏| 久久婷婷伊人| 久久香蕉影院| 九九热在线观看视频| 青草性爱视频| 超碰狠狠干99| 丁香婷婷色情社区成人小说| 亚洲欧洲一二| 91丨九色丨熟女|老版| 色婷婷综合久久久久| 中文字幕在线观看视频www| 天天搞夜夜爽夜夜爽| 五月丁香影院| 午夜青草资源| 激情综合九| 丁香五月五月婷婷| 久久 婷婷 五月天| 激情六月天| 台湾佬天天日丁香婷婷五月天| 97男人天堂| 97干免费视频| 97亚洲色 torrent magnet| 八戒青柠影视剧在线观看| 国产精品A片| 激情丁香久久久久久| 996er热| 影音先锋女人av鲁色资源网小说免费| 欧美成人猛片AAAAAAA| 日日操天天| 色婷婷丁香| www好屌操| 色婷婷人人| 中文在线成人| 五月伊人综合| 香蕉久操| 九九视频在线| 操久久精| 五月激情综合网| 久久久久久久综合狠狠综合| 日韩av变天就操逼不卡区| 婷婷丁香五月综合激情小说| 五夜丁香| 午夜丁香| 欧美激情综合五月色丁香| 五月天激情综合网| 99热在线精品观看| 人妻尝试久久久久久久久久久久| 91丨九色|PRNY熟妇| 亭亭五月丁香五月天激情| 九九久久综合网站| 久久视频婷婷| 国产成人+综合亚洲+天堂| 五月丁香六月花| 98色花堂98t.R| 久久久婷婷婷| 婷婷五月天免费| 六月丁香婷婷综合影院| 天天操夜夜操| 亚洲欧美国产高清vA在线播放| 九九99精品| 久操乱| 五月丁香婷婷综合网| 99热99这里有免费的精品| 东京热人妻一区二区三区在线| 婷婷天堂综合| 俺去也在线www色官网| 九九狠狠干| 亚洲妇女熟BBW| 婷婷五月色播| 激情黄色五月天| 秋霞日本免费毛片A片| 丰满老熟妇BBBBB搡BBB| 99久久97| 99re这里| 麻豆雪千夏| 丁香五月婷婷俺也要去| 亚洲九区| 日韩美女羞羞网站在线观看| 日本欧美成人片AAAA| 激情六月综合| 久久激情天堂| 婷婷五月天狠狠| 全国最新疫情| 亚洲性受XXXX五月丁香| 伊人久久大香线蕉AV最新午夜| 丁香色色网| 99这里只有精品|v| 六月色国内综合| 五月天激情Av| 激情婷婷五月久久| 狠狠色五月激情| 操人91| 玖玖色资源| 色婷婷在线影院| 综合色在线| 最近中文字幕大全免费版在线 | 丁香五月天视频| 色五月婷婷激情基地| 日本不卡一区二区三区| www.久久99热地址发布| 国产片色| 亚洲永久四色| 色五月五月丁香| 五月婷婷综合激情| 99久久玖玖| 丁香五月天天高清在线| 五月丁香久久精品在线观看| 亚洲婷婷久久综合| 丁香久久九九99| 色444综合网| 狠狠人人婷婷| 亚洲色五月| 九九精品99| 婷婷色操| 26uuu精品一区二区| 色综合综合色| 开心五月深爱五月婷| 色另类五月天| 五月丁香六月婷婷不卡免费无码| 4399在线观看免费高清电视剧| 色色色激情| 亚州精品色情无码A片| av九九| 色99网| 色五月婷婷av| 五月丁香日本一抹本| 国产亚洲99| 五月天综合视频| 色综合播放| 婷婷五月丁香成人网| 久久激情五月| 六月丁香综合| 国产精品VA在线| 婷婷五月天激情丁香| www.婷婷五月天啪啪| 五月婷婷性爱| 国产精品日日躁夜夜躁| 98色丁香五月婷婷综合网| 婷婷综合婷婷| 色色五月天婷婷| 26UUU欧美激情一区二区| 激情五月天偷拍综合网| 99这里是精品| 夜夜夜叫天天天做| 六月色婷婷欧美| 99热欧| 99热九九这里只有精品| 婷婷99中文字幕| 高清国产AV| 九九色区| 五月天久久激情| 五月天堂色色| 成人在线观看国产| 国产AV一区二区三区最新精品| 丁香婷婷五月色成人网站| 久久久大香蕉|