欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

BP神經(jīng)網(wǎng)絡(luò)多輸入多輸出回歸與SHAP可解釋分析實(shí)戰(zhàn)

BP神經(jīng)網(wǎng)絡(luò)多輸入多輸出回歸與SHAP可解釋分析實(shí)戰(zhàn) 簡介這份資源面向需要掌握多輸入多輸出回歸建模與模型可解釋性的機(jī)器學(xué)習(xí)學(xué)習(xí)者和工程人員提供一套基于MATLAB的完整實(shí)現(xiàn)方案。內(nèi)容圍繞BP神經(jīng)網(wǎng)絡(luò)展開覆蓋回歸預(yù)測(cè)、SHAP可解釋分析以及新數(shù)據(jù)預(yù)測(cè)三大環(huán)節(jié)配套Excel格式的多輸入多輸出數(shù)據(jù)集可直接替換數(shù)據(jù)復(fù)現(xiàn)實(shí)驗(yàn)。壓縮包共8個(gè)文件包含4個(gè)m腳本、3個(gè)xlsx數(shù)據(jù)表和1個(gè)txt說明文件整體約55KB腳本分別承擔(dān)主流程回歸、SHAP值計(jì)算、新樣本預(yù)測(cè)與核心函數(shù)封裝等職責(zé)數(shù)據(jù)表則提供訓(xùn)練與待預(yù)測(cè)樣本。已有92人學(xué)習(xí)關(guān)注。讀者可借此理解BP網(wǎng)絡(luò)在多輸出任務(wù)中的搭建與調(diào)參思路掌握SHAP方法對(duì)特征貢獻(xiàn)的量化解釋流程并學(xué)會(huì)將訓(xùn)練好的模型遷移到新數(shù)據(jù)上完成預(yù)測(cè)適合作為課程設(shè)計(jì)、論文實(shí)驗(yàn)或工程原型的參考模板。1. 從一張“黑箱”預(yù)測(cè)表說起B(yǎng)P神經(jīng)網(wǎng)絡(luò)多輸入多輸出回歸到底在解決什么你手里有一批實(shí)驗(yàn)數(shù)據(jù)輸入是 6 個(gè)工藝參數(shù)輸出是 3 個(gè)性能指標(biāo)領(lǐng)導(dǎo)要你“建個(gè)模型既能預(yù)測(cè)新樣本又能說清楚哪個(gè)輸入影響最大”。這時(shí)候單輸出模型要訓(xùn) 3 次每次還得單獨(dú)調(diào)參改一個(gè)輸入維度就得全部重跑。BP 神經(jīng)網(wǎng)絡(luò)多輸入多輸出回歸就是沖著這個(gè)場(chǎng)景來的一個(gè)網(wǎng)絡(luò)同時(shí)吐出多個(gè)目標(biāo)值共享隱含層特征訓(xùn)練一次搞定多目標(biāo)。但純 BP 的預(yù)測(cè)結(jié)果沒人敢信因?yàn)樗呛谙洹猄HAP 可解釋分析就是那把撬開黑箱的螺絲刀用博弈論里的 Shapley 值給每個(gè)輸入特征分配貢獻(xiàn)度讓你能對(duì)著圖說“第 3 個(gè)輸入對(duì)第 2 個(gè)輸出的影響占了 40%”。MATLAB 完整源碼和數(shù)據(jù)意味著你不用從零搭輪子改改數(shù)據(jù)接口就能跑自己的項(xiàng)目。這套組合適合做實(shí)驗(yàn)數(shù)據(jù)回歸、工藝參數(shù)優(yōu)化、多指標(biāo)預(yù)測(cè)的工程師尤其是樣本量在幾百到幾千條、輸入輸出維度不超過 20 的場(chǎng)景。下面我把從數(shù)據(jù)組織到 SHAP 解釋再到新數(shù)據(jù)預(yù)測(cè)的完整鏈路拆開講中間踩過的坑一并奉上。2. 多輸入多輸出 BP 網(wǎng)絡(luò)的數(shù)據(jù)組織與網(wǎng)絡(luò)搭建2.1 輸入輸出矩陣怎么擺MATLAB 里的行列約定BP 網(wǎng)絡(luò)在 MATLAB 里最容易被數(shù)據(jù)維度搞翻車。feedforwardnet或fitnet默認(rèn)把每一列當(dāng)作一個(gè)樣本每一行當(dāng)作一個(gè)特征。也就是說如果你有 500 個(gè)樣本、6 個(gè)輸入、3 個(gè)輸出輸入矩陣X應(yīng)該是 6×500輸出矩陣Y應(yīng)該是 3×500。很多人從 Excel 讀進(jìn)來是 500×6直接丟進(jìn)去訓(xùn)練結(jié)果網(wǎng)絡(luò)把 500 個(gè)特征、6 個(gè)樣本拿去學(xué)訓(xùn)練誤差看著降了預(yù)測(cè)全是垃圾。這是血淚經(jīng)驗(yàn)里排第一的坑。正確的數(shù)據(jù)組織方式如下% 假設(shè) rawData 是 500×9 的矩陣前6列輸入后3列輸出 rawData readmatrix(data.xlsx); % 500×9 X rawData(:, 1:6); % 轉(zhuǎn)置為 6×500每列一個(gè)樣本 Y rawData(:, 7:9); % 轉(zhuǎn)置為 3×500每列一個(gè)樣本 % 檢查維度 fprintf(輸入維度: %d×%d\n, size(X,1), size(X,2)); fprintf(輸出維度: %d×%d\n, size(Y,1), size(Y,2));這段代碼的核心就兩步讀數(shù)據(jù)、轉(zhuǎn)置。readmatrix是 MATLAB R2019a 之后推薦的表格讀取函數(shù)比xlsread干凈。轉(zhuǎn)置之后size(X,1)是特征數(shù)size(X,2)是樣本數(shù)后面所有操作都圍繞這個(gè)約定。如果你用的是.mat文件直接load進(jìn)來后檢查變量名別假設(shè)它一定叫data。提示轉(zhuǎn)置后一定用size打印確認(rèn)別憑感覺。我見過有人轉(zhuǎn)置了兩次等于沒轉(zhuǎn)訓(xùn)練了半小時(shí)才發(fā)現(xiàn)。2.2 網(wǎng)絡(luò)結(jié)構(gòu)選型隱含層節(jié)點(diǎn)數(shù)不是越多越好多輸入多輸出 BP 網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)核心就三個(gè)決策幾個(gè)隱含層、每層多少節(jié)點(diǎn)、用什么訓(xùn)練函數(shù)。對(duì)于輸入輸出維度都在 20 以內(nèi)、樣本量幾百到幾千的問題一個(gè)隱含層足夠。理論上有萬能逼近定理撐著兩個(gè)隱含層只在函數(shù)復(fù)雜度極高時(shí)才需要而且更容易過擬合。隱含層節(jié)點(diǎn)數(shù)的經(jīng)驗(yàn)公式有好幾個(gè)我一般用這個(gè)起步nInput size(X, 1); % 輸入維度比如 6 nOutput size(Y, 1); % 輸出維度比如 3 nSample size(X, 2); % 樣本數(shù)比如 500 % 經(jīng)驗(yàn)公式sqrt(輸入輸出) 調(diào)節(jié)項(xiàng) nHidden round(sqrt(nInput nOutput)) 5; % 約 8 % 或者用 2*輸入1 起步 nHidden_alt 2 * nInput 1; % 13 % 搭建網(wǎng)絡(luò) net feedforwardnet(nHidden, trainlm); net.trainParam.epochs 1000; net.trainParam.goal 1e-5; net.trainParam.lr 0.01; net.trainParam.showWindow false; % 批量跑的時(shí)候關(guān)掉窗口feedforwardnet的第一個(gè)參數(shù)是隱含層節(jié)點(diǎn)數(shù)第二個(gè)是訓(xùn)練函數(shù)。trainlm是 Levenberg-Marquardt 算法收斂快適合中小規(guī)模網(wǎng)絡(luò)但內(nèi)存占用比trainscg高。如果樣本超過一萬條換trainscg更穩(wěn)。epochs設(shè) 1000 是上限實(shí)際訓(xùn)練中如果驗(yàn)證集誤差連續(xù) 6 次不降trainlm會(huì)自動(dòng)早停這個(gè)默認(rèn)參數(shù)是net.trainParam.max_fail 6。goal設(shè) 1e-5 是目標(biāo)誤差別設(shè)太小否則容易過擬合。節(jié)點(diǎn)數(shù)怎么定我的做法是從sqrt(nInputnOutput)5開始跑三次不同隨機(jī)種子看驗(yàn)證集 MSE 的均值和方差。如果方差大說明節(jié)點(diǎn)數(shù)偏多減 2 到 3 個(gè)再試。如果均值高加 2 個(gè)。這個(gè)過程一般迭代 3 到 4 輪就能找到穩(wěn)定區(qū)間。別用遺傳算法或粒子群去優(yōu)化節(jié)點(diǎn)數(shù)對(duì)于這個(gè)規(guī)模的問題手動(dòng)試比自動(dòng)搜索快。2.3 數(shù)據(jù)劃分與歸一化別讓量綱差異毀了訓(xùn)練多輸入場(chǎng)景下不同輸入的量綱可能差幾個(gè)數(shù)量級(jí)。比如溫度是 200 到 800壓力是 0.1 到 0.5如果不歸一化梯度下降會(huì)被大量綱特征主導(dǎo)小量綱特征幾乎不更新。MATLAB 的feedforwardnet默認(rèn)在訓(xùn)練前自動(dòng)做mapminmax歸一化把數(shù)據(jù)映射到 [-1, 1]訓(xùn)練后再反歸一化輸出。但這個(gè)自動(dòng)處理有個(gè)坑它是在train函數(shù)內(nèi)部做的你拿到的net對(duì)象里歸一化參數(shù)存在net.inputs{1}.processSettings里新數(shù)據(jù)預(yù)測(cè)時(shí)必須手動(dòng)調(diào)用同樣的歸一化參數(shù)否則預(yù)測(cè)結(jié)果完全不對(duì)。% 手動(dòng)劃分訓(xùn)練/驗(yàn)證/測(cè)試集 net.divideParam.trainRatio 0.7; net.divideParam.valRatio 0.15; net.divideParam.testRatio 0.15; % 訓(xùn)練 [net, tr] train(net, X, Y); % 訓(xùn)練集預(yù)測(cè) Y_train_pred net(X(:, tr.trainInd)); % 測(cè)試集預(yù)測(cè) Y_test_pred net(X(:, tr.testInd)); % 計(jì)算測(cè)試集 MSE mse_test perform(net, Y(:, tr.testInd), Y_test_pred); fprintf(測(cè)試集 MSE: %.6f\n, mse_test);divideParam的三個(gè)比例加起來必須是 1。tr.trainInd、tr.valInd、tr.testInd是訓(xùn)練完成后tr結(jié)構(gòu)體里的索引直接拿來切數(shù)據(jù)最可靠。perform函數(shù)自動(dòng)處理了歸一化和反歸一化算出來的 MSE 是原始量綱下的。如果你自己手算mean((Y_pred - Y_true).^2)記得先反歸一化否則數(shù)值對(duì)不上。注意train函數(shù)每次調(diào)用會(huì)重新隨機(jī)劃分?jǐn)?shù)據(jù)想復(fù)現(xiàn)結(jié)果就在train之前設(shè)rng(42)固定種子。3. SHAP 可解釋分析從黑箱里挖出特征貢獻(xiàn)度3.1 SHAP 值在回歸問題里的數(shù)學(xué)含義SHAP 的核心思想來自合作博弈論里的 Shapley 值把每個(gè)特征看作一個(gè)“玩家”模型預(yù)測(cè)值看作“總收益”每個(gè)特征分到的收益就是它對(duì)預(yù)測(cè)結(jié)果的貢獻(xiàn)。對(duì)于回歸問題SHAP 值滿足三個(gè)性質(zhì)可加性所有特征 SHAP 值之和等于預(yù)測(cè)值減去基線值、對(duì)稱性兩個(gè)貢獻(xiàn)相同的特征 SHAP 值相同、一致性特征貢獻(xiàn)變大時(shí) SHAP 值不會(huì)減小。這些性質(zhì)保證了歸因的合理性比簡單的特征重要性排序靠譜得多。對(duì)于 BP 網(wǎng)絡(luò)這種非線性模型精確計(jì)算 SHAP 值需要遍歷所有特征子集計(jì)算量是 2 的 n 次方。實(shí)際用的是 KernelSHAP 或 DeepSHAP 近似算法。KernelSHAP 把 SHAP 值計(jì)算轉(zhuǎn)化為一個(gè)加權(quán)線性回歸問題對(duì)每個(gè)樣本采樣若干特征子集用模型預(yù)測(cè)值擬合。DeepSHAP 則利用神經(jīng)網(wǎng)絡(luò)的反向傳播把 SHAP 值分解到每一層效率更高但要求網(wǎng)絡(luò)結(jié)構(gòu)已知。在 MATLAB 里沒有官方 SHAP 工具箱常見做法有兩種一是調(diào)用 Python 的shap庫通過 MATLAB 的 Python 接口傳數(shù)據(jù)二是自己實(shí)現(xiàn) KernelSHAP 的核心邏輯。我一般用第一種因?yàn)?Python 的shap庫成熟穩(wěn)定MATLAB 只負(fù)責(zé)訓(xùn)練網(wǎng)絡(luò)和導(dǎo)出預(yù)測(cè)函數(shù)。3.2 用 MATLAB 訓(xùn)練網(wǎng)絡(luò)并導(dǎo)出預(yù)測(cè)接口要讓 Python 的 SHAP 庫能調(diào)用 MATLAB 訓(xùn)練好的網(wǎng)絡(luò)最干凈的方式是把網(wǎng)絡(luò)導(dǎo)出為可獨(dú)立調(diào)用的函數(shù)。MATLAB 提供了genFunction函數(shù)可以把訓(xùn)練好的網(wǎng)絡(luò)轉(zhuǎn)成純 MATLAB 代碼不依賴神經(jīng)網(wǎng)絡(luò)工具箱。% 訓(xùn)練完成后導(dǎo)出網(wǎng)絡(luò)為函數(shù) genFunction(net, bpNetPredict, MatrixOnly, yes); % 測(cè)試導(dǎo)出的函數(shù) Y_check bpNetPredict(X); fprintf(導(dǎo)出函數(shù)與網(wǎng)絡(luò)預(yù)測(cè)最大差異: %.2e\n, max(abs(Y_check(:) - net(X)(:))));genFunction生成的bpNetPredict.m文件包含了網(wǎng)絡(luò)的所有權(quán)重、偏置和歸一化參數(shù)輸入輸出都是矩陣格式。MatrixOnly設(shè)為yes表示只接受矩陣輸入不接受元胞數(shù)組這樣在 Python 里調(diào)用更方便。導(dǎo)出后一定要用max(abs(...))驗(yàn)證一下差異應(yīng)該在 1e-10 量級(jí)如果大了說明導(dǎo)出過程有問題。接下來在 Python 里通過matlab.engine調(diào)用這個(gè)函數(shù)import matlab.engine import numpy as np import shap # 啟動(dòng) MATLAB 引擎 eng matlab.engine.start_matlab() eng.cd(rC:\your_project_path, nargout0) # 準(zhǔn)備數(shù)據(jù)X_py 是 numpy 數(shù)組形狀 (n_samples, n_features) X_py np.load(X_for_shap.npy) X_matlab matlab.double(X_py.tolist()) # 調(diào)用 MATLAB 預(yù)測(cè)函數(shù) Y_pred eng.bpNetPredict(X_matlab) Y_pred np.array(Y_pred) # 用 KernelSHAP 解釋 # 注意這里需要一個(gè)包裝函數(shù)輸入 numpy 返回 numpy def model_predict(X): X_m matlab.double(X.tolist()) Y eng.bpNetPredict(X_m) return np.array(Y).T # 轉(zhuǎn)置為 (n_samples, n_outputs) # 對(duì)第一個(gè)輸出做 SHAP 分析 explainer shap.KernelExplainer( lambda x: model_predict(x)[:, 0], # 只取第一個(gè)輸出 shap.sample(X_py, 50) # 用 50 個(gè)背景樣本 ) shap_values explainer.shap_values(X_py[:100], nsamples200)這段代碼的關(guān)鍵點(diǎn)matlab.double把 numpy 數(shù)組轉(zhuǎn)成 MATLAB 能識(shí)別的雙精度矩陣model_predict包裝函數(shù)負(fù)責(zé)在 Python 和 MATLAB 之間轉(zhuǎn)換數(shù)據(jù)格式shap.KernelExplainer的第一個(gè)參數(shù)是預(yù)測(cè)函數(shù)第二個(gè)參數(shù)是背景數(shù)據(jù)集背景樣本數(shù)一般取 50 到 100太少會(huì)導(dǎo)致 SHAP 值方差大太多計(jì)算慢。nsamples200是每個(gè)樣本采樣的特征子集數(shù)越大越精確但計(jì)算時(shí)間線性增長。3.3 SHAP 圖怎么看從 summary plot 到 dependence plotSHAP 分析跑完后核心產(chǎn)出是三類圖summary plot、dependence plot 和 force plot。summary plot 把每個(gè)特征的 SHAP 值分布畫成蜂群圖橫軸是 SHAP 值縱軸是特征名顏色表示特征值高低。看這張圖能快速判斷哪些特征重要SHAP 絕對(duì)值大、影響方向是什么特征值高時(shí) SHAP 正還是負(fù)。import matplotlib.pyplot as plt # Summary plot shap.summary_plot(shap_values, X_py[:100], feature_names[fX{i1} for i in range(6)]) plt.savefig(shap_summary.png, dpi300, bbox_inchestight) # Dependence plot看第 3 個(gè)特征對(duì)第 1 個(gè)輸出的影響 shap.dependence_plot(2, shap_values, X_py[:100], feature_names[fX{i1} for i in range(6)]) plt.savefig(shap_dependence_X3.png, dpi300, bbox_inchestight)summary_plot的feature_names參數(shù)建議用有物理意義的名稱比如[溫度, 壓力, 流速, ...]別用X1、X2否則圖給領(lǐng)導(dǎo)看的時(shí)候還得解釋。dependence_plot的第一個(gè)參數(shù)是特征索引從 0 開始。這張圖能看出特征與 SHAP 值的關(guān)系是線性還是非線性如果散點(diǎn)呈現(xiàn)明顯的曲線說明 BP 網(wǎng)絡(luò)捕捉到了非線性效應(yīng)這正是用神經(jīng)網(wǎng)絡(luò)而不是線性回歸的理由。提示SHAP 值有正負(fù)正表示該特征把預(yù)測(cè)值推高負(fù)表示推低。summary plot 里如果某個(gè)特征的 SHAP 值集中在 0 附近說明這個(gè)特征對(duì)模型幾乎沒貢獻(xiàn)可以考慮剔除后重新訓(xùn)練簡化模型。4. 新數(shù)據(jù)預(yù)測(cè)從單條樣本到批量推理的完整鏈路4.1 新數(shù)據(jù)預(yù)處理的三個(gè)必須對(duì)齊新數(shù)據(jù)預(yù)測(cè)翻車十有八九是預(yù)處理沒對(duì)齊。訓(xùn)練時(shí)用的歸一化參數(shù)、缺失值處理方式、異常值截?cái)嚅撝翟谛聰?shù)據(jù)上必須一模一樣。MATLAB 的genFunction導(dǎo)出的函數(shù)已經(jīng)包含了訓(xùn)練時(shí)的歸一化參數(shù)所以只要新數(shù)據(jù)的原始量綱和訓(xùn)練數(shù)據(jù)一致直接調(diào)用就行。但如果你在訓(xùn)練前手動(dòng)做過缺失值填充或異常值替換新數(shù)據(jù)也得走同樣的流程。% 新數(shù)據(jù)一條樣本6 個(gè)輸入 newSample [350, 0.35, 12.5, 80, 2.1, 0.9]; % 直接調(diào)用導(dǎo)出的函數(shù) prediction bpNetPredict(newSample); fprintf(預(yù)測(cè)輸出: %.4f, %.4f, %.4f\n, prediction(1), prediction(2), prediction(3)); % 批量預(yù)測(cè)100 條新樣本 newBatch rand(100, 6) .* [500, 0.5, 20, 100, 3, 1.5]; % 模擬新數(shù)據(jù) predBatch bpNetPredict(newBatch); fprintf(批量預(yù)測(cè)維度: %d×%d\n, size(predBatch,1), size(predBatch,2));注意newSample是 1×6 的行向量轉(zhuǎn)置后變成 6×1 的列向量符合網(wǎng)絡(luò)輸入要求。predBatch是 3×100每列一個(gè)樣本的三個(gè)輸出。如果新數(shù)據(jù)的某個(gè)特征超出了訓(xùn)練數(shù)據(jù)的范圍BP 網(wǎng)絡(luò)會(huì)外推但外推可靠性隨超出程度增加而下降。我一般會(huì)檢查新數(shù)據(jù)每個(gè)特征是否在訓(xùn)練數(shù)據(jù)的 [min, max] 范圍內(nèi)超出 20% 以上的樣本標(biāo)記出來人工復(fù)核。4.2 預(yù)測(cè)結(jié)果的置信區(qū)間估計(jì)BP 網(wǎng)絡(luò)給出的是點(diǎn)預(yù)測(cè)沒有置信區(qū)間。但在工程決策里光有點(diǎn)預(yù)測(cè)不夠還需要知道預(yù)測(cè)的不確定性。常用做法是集成多個(gè)不同初始化的網(wǎng)絡(luò)用預(yù)測(cè)值的均值和標(biāo)準(zhǔn)差作為置信區(qū)間的近似。% 訓(xùn)練 10 個(gè)不同初始化的網(wǎng)絡(luò) nEnsemble 10; Y_ensemble zeros(nOutput, size(X_new, 2), nEnsemble); for i 1:nEnsemble rng(i * 100); % 不同隨機(jī)種子 net_i feedforwardnet(nHidden, trainlm); net_i.trainParam.showWindow false; net_i train(net_i, X, Y); genFunction(net_i, sprintf(bpNetPredict_%d, i), MatrixOnly, yes); Y_ensemble(:, :, i) feval(sprintf(bpNetPredict_%d, i), X_new); end % 計(jì)算均值和標(biāo)準(zhǔn)差 Y_mean mean(Y_ensemble, 3); Y_std std(Y_ensemble, 0, 3); % 95% 置信區(qū)間近似 Y_lower Y_mean - 1.96 * Y_std; Y_upper Y_mean 1.96 * Y_std; fprintf(第一個(gè)輸出的 95%% 置信區(qū)間寬度均值: %.4f\n, mean(Y_upper(1,:) - Y_lower(1,:)));這段代碼訓(xùn)練 10 個(gè)網(wǎng)絡(luò)每個(gè)用不同隨機(jī)種子預(yù)測(cè)結(jié)果取均值和標(biāo)準(zhǔn)差。std的第二個(gè)參數(shù) 0 表示按 N-1 歸一化第三個(gè)參數(shù) 3 表示沿第三維集成維度計(jì)算。置信區(qū)間寬度反映了模型在這個(gè)樣本上的不確定性寬度大的樣本建議人工復(fù)核。這個(gè)方法的計(jì)算成本是單網(wǎng)絡(luò)的 10 倍如果訓(xùn)練一個(gè)網(wǎng)絡(luò)要 5 分鐘集成就要 50 分鐘適合離線批量預(yù)測(cè)不適合實(shí)時(shí)推理。4.3 把預(yù)測(cè)和 SHAP 解釋串成一條流水線實(shí)際項(xiàng)目里新數(shù)據(jù)預(yù)測(cè)和 SHAP 解釋往往需要一起交付。比如給一批新樣本既要預(yù)測(cè)值又要知道每個(gè)樣本的預(yù)測(cè)主要受哪個(gè)特征驅(qū)動(dòng)。這時(shí)候可以把預(yù)測(cè)和 SHAP 分析串成一個(gè)腳本輸入原始數(shù)據(jù)輸出預(yù)測(cè)表加解釋圖。% 完整流水線新數(shù)據(jù)預(yù)測(cè) SHAP 解釋 function [Y_pred, shap_values] predictWithExplanation(X_new, model_path) % 加載導(dǎo)出的預(yù)測(cè)函數(shù) addpath(model_path); % 預(yù)測(cè) Y_pred bpNetPredict(X_new); % 導(dǎo)出新數(shù)據(jù)供 Python SHAP 使用 writematrix(X_new, X_new_for_shap.csv); writematrix(Y_pred, Y_pred_for_shap.csv); % 調(diào)用 Python 腳本做 SHAP 分析 system(python run_shap_analysis.py); % 讀取 SHAP 結(jié)果 shap_values readmatrix(shap_values.csv); fprintf(預(yù)測(cè)完成SHAP 分析完成\n); end這個(gè)函數(shù)把 MATLAB 預(yù)測(cè)和 Python SHAP 分析串起來中間用 CSV 文件交換數(shù)據(jù)。writematrix和readmatrix是 MATLAB 里最穩(wěn)定的 CSV 讀寫函數(shù)。system調(diào)用 Python 腳本時(shí)確保 Python 環(huán)境里裝了shap、numpy、matlab.engine等依賴。如果 Python 腳本報(bào)錯(cuò)MATLAB 這邊不會(huì)自動(dòng)捕獲建議在system調(diào)用后檢查返回狀態(tài)碼。注意system調(diào)用 Python 時(shí)工作目錄要和 Python 腳本里讀寫文件的路徑一致否則會(huì)找不到文件。我一般用絕對(duì)路徑省得排查路徑問題。5. 避坑與排查多輸入多輸出 BP SHAP 的五個(gè)高頻翻車點(diǎn)5.1 訓(xùn)練集 MSE 很低但測(cè)試集 MSE 爆炸現(xiàn)象訓(xùn)練完看tr.best_perf是 1e-6 量級(jí)但拿測(cè)試集一算 MSE 是 0.5差了五個(gè)數(shù)量級(jí)。原因過擬合。隱含層節(jié)點(diǎn)太多、訓(xùn)練輪數(shù)太多、樣本量太少三者占一個(gè)就會(huì)這樣。解決先減隱含層節(jié)點(diǎn)從sqrt(nInputnOutput)5減到sqrt(nInputnOutput)再把max_fail從 6 降到 4讓早停更激進(jìn)如果樣本確實(shí)少用trainbr貝葉斯正則化替代trainlm它自帶正則項(xiàng)抗過擬合能力強(qiáng)。5.2 SHAP 值全為正或全為負(fù)現(xiàn)象summary plot 里所有特征的 SHAP 值都在零線同一側(cè)看起來每個(gè)特征都在推高或推低預(yù)測(cè)。原因背景數(shù)據(jù)集選得不對(duì)。KernelSHAP 的基線是背景數(shù)據(jù)集的平均預(yù)測(cè)值如果背景數(shù)據(jù)集和解釋數(shù)據(jù)集分布差異大SHAP 值會(huì)整體偏移。解決背景數(shù)據(jù)集從訓(xùn)練集里隨機(jī)采樣別從測(cè)試集或新數(shù)據(jù)里采。樣本數(shù) 50 到 100 之間太少方差大太多計(jì)算慢。另外檢查model_predict函數(shù)返回的維度是否和shap_values期望的一致多輸出時(shí)只取一個(gè)輸出做解釋。5.3 新數(shù)據(jù)預(yù)測(cè)結(jié)果全是 NaN現(xiàn)象bpNetPredict(newSample)返回 NaN。原因新數(shù)據(jù)里有 NaN 或 Inf。BP 網(wǎng)絡(luò)的矩陣運(yùn)算遇到 NaN 會(huì)傳播到整個(gè)輸出。解決預(yù)測(cè)前檢查any(isnan(newSample))和any(isinf(newSample))有的話先填充或剔除。另外檢查新數(shù)據(jù)的量綱是否和訓(xùn)練數(shù)據(jù)一致如果訓(xùn)練時(shí)輸入是 0 到 1新數(shù)據(jù)是 0 到 100歸一化后可能超出 [-1, 1] 范圍但不會(huì)產(chǎn)生 NaN只會(huì)預(yù)測(cè)不準(zhǔn)。5.4 MATLAB 和 Python 數(shù)據(jù)交換時(shí)維度對(duì)不上現(xiàn)象Python 里matlab.double(X.tolist())傳過去后 MATLAB 報(bào)維度錯(cuò)誤。原因tolist()把 numpy 數(shù)組轉(zhuǎn)成嵌套列表matlab.double默認(rèn)按行優(yōu)先解釋而 MATLAB 是列優(yōu)先。如果 numpy 數(shù)組是 (n_samples, n_features)轉(zhuǎn)過去 MATLAB 看到的是 (n_features, n_samples)正好轉(zhuǎn)置了。解決在 Python 里轉(zhuǎn)置一下matlab.double(X.T.tolist())或者在 MATLAB 里再轉(zhuǎn)置一次。我一般約定 Python 端傳轉(zhuǎn)置后的數(shù)據(jù)MATLAB 端不再轉(zhuǎn)減少混亂。5.5 genFunction 導(dǎo)出的函數(shù)預(yù)測(cè)結(jié)果和原網(wǎng)絡(luò)不一致現(xiàn)象bpNetPredict(X)和net(X)的結(jié)果差很多。原因genFunction默認(rèn)不包含歸一化參數(shù)或者導(dǎo)出時(shí)MatrixOnly設(shè)成了no。解決導(dǎo)出時(shí)明確指定MatrixOnly, yes并且檢查生成的.m文件里是否有mapminmax_apply和mapminmax_reverse的調(diào)用。如果沒有說明歸一化沒導(dǎo)出需要手動(dòng)在genFunction之前設(shè)置net.inputs{1}.processFcns和net.outputs{2}.processFcns確保包含mapminmax。導(dǎo)出后必須用max(abs(...))驗(yàn)證差異大于 1e-8 就要查。6. 進(jìn)階技巧用 SHAP 交互值定位特征協(xié)同效應(yīng)單特征 SHAP 值只能告訴你每個(gè)特征獨(dú)立貢獻(xiàn)了多少但多輸入場(chǎng)景下特征之間的交互效應(yīng)往往才是關(guān)鍵。比如溫度高時(shí)壓力對(duì)輸出的影響可能比溫度低時(shí)大得多這種協(xié)同效應(yīng)單特征 SHAP 圖看不出來。SHAP 交互值SHAP interaction values能拆解出每對(duì)特征的聯(lián)合貢獻(xiàn)計(jì)算量是單特征 SHAP 的 n 倍n 是特征數(shù)6 個(gè)特征就是 6 倍還能接受。在 Python 的shap庫里有兩種方式算交互值。一是shap.TreeExplainer自帶shap_interaction_values方法但只支持樹模型。BP 網(wǎng)絡(luò)得用KernelExplainer加shap_interaction_values函數(shù)計(jì)算更慢但通用。# 計(jì)算 SHAP 交互值只對(duì)前 20 個(gè)樣本計(jì)算量大 shap_interaction explainer.shap_interaction_values(X_py[:20]) # shap_interaction 形狀: (n_samples, n_features, n_features) # 對(duì)角線是單特征 SHAP 值非對(duì)角線是交互值 # 提取第 0 個(gè)樣本的第 2 和第 4 個(gè)特征的交互值 interaction_2_4 shap_interaction[0, 2, 4] print(f特征3和特征5的交互 SHAP 值: {interaction_2_4:.4f}) # 畫交互熱力圖 import seaborn as sns mean_interaction np.mean(np.abs(shap_interaction), axis0) sns.heatmap(mean_interaction, annotTrue, fmt.3f, xticklabels[fX{i1} for i in range(6)], yticklabels[fX{i1} for i in range(6)]) plt.title(SHAP Interaction Heatmap) plt.savefig(shap_interaction.png, dpi300, bbox_inchestight)shap_interaction_values返回一個(gè)三維數(shù)組第一維是樣本第二維和第三維是特征對(duì)。對(duì)角線元素就是單特征 SHAP 值非對(duì)角線元素是交互值。熱力圖里顏色越深表示交互效應(yīng)越強(qiáng)。如果發(fā)現(xiàn)某對(duì)特征的交互值很大說明這兩個(gè)特征對(duì)輸出的影響不是簡單疊加而是有協(xié)同或拮抗。這時(shí)候可以在工藝上重點(diǎn)關(guān)注這兩個(gè)參數(shù)的匹配關(guān)系而不是單獨(dú)調(diào)一個(gè)。我一般會(huì)把這個(gè)熱力圖和工藝知識(shí)對(duì)照如果兩個(gè)特征在物理上確實(shí)有關(guān)聯(lián)比如溫度和壓力在熱力學(xué)上耦合那 SHAP 交互值大是合理的說明模型學(xué)到了真實(shí)規(guī)律如果兩個(gè)特征物理上無關(guān)但交互值大可能是數(shù)據(jù)里的偽相關(guān)需要檢查采樣過程是否有偏差。最后一個(gè)習(xí)慣每次跑完 SHAP 分析我都會(huì)把shap_values和原始數(shù)據(jù)一起存成.mat文件命名帶上日期和模型版本。因?yàn)?SHAP 計(jì)算耗時(shí)下次想復(fù)現(xiàn)某張圖不用重跑。這個(gè)習(xí)慣幫我省了至少幾十個(gè)小時(shí)的重復(fù)計(jì)算。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
97婷婷五月| 丁香六月婷| 婷婷五月综合基地| 天天噜日日噜综合无码| 婷婷社区五月天| 色色色色热| 91人人妻人人操| 久久精典| 国产精品色婷婷99久久精品| 五月婷婷影视| 人人干AV| 色墦五月丁香| 激情图片婷婷| 色五月丁香五月| 97精品人人A片免费看| 香蕉综合在线| 成人五月丁香社区| 97日本在线| 五月天激情综合10p| 综合99综合久久久久久久| 九九爱精品网站| 夜夜骑操AV| www激情| 91色综合网站在线| 情婷婷五月天在线| 色色com| 五月天婷婷社区久久综合| 五月天亚洲最大成人| 色五月开心五月激情五月| 丁香五月av| 丁香五月成人| 99热超碰| 婷婷精品| 99久久66| 日本久久网| 色域五月婷婷丁香| 日韩无码专区| 思思热在线视频精品| 丁香婷婷六月天| 婷婷内射视频在线| 五月丁香影院| 色优久久| 高潮毛片又色又爽免费| 99视频精品8 | 丁香五月www| 婷婷五月天手机版视频| 色99久草在线| 男人的天堂五月丁香| 九月婷婷色色| site:pnnrt.com| 六月色日韩| 丁香激情网| 激情婷婷五月天伊人在线观看| 综合五月天| 色情·com| 久久婷婷色| 久久婷婷五月丁香网| 国产精品色色| 色综合九九色综合88| 久草五月婷婷| 婷婷五月深深爱| 成片免费播放| 午夜国产精品AV在线播放| 青青久久五月天丁香婷婷| 激情5月天天天| 在线超碰免费| 天天日天天舔| 涩五月婷婷| 久久精品国产一区二区三区四区| 婷婷色五月在线视频| 色五月天丁香婷婷色| 超碰操网| 五月夜丁香| 五月丁香激情综合网官网| 2025色婷婷| 激情婷婷黄色五月| 综合婷婷| 天天做天天爱天天爽| 亭亭丁香aV| 操碰色一区就去操| 久久激情五月| 丁香六月婷婷综合在线| 久久久五月天| 婷婷社区五月天| 亚洲精品亚洲人成人网| 69久久久| 久久99热这里只频精品6学生| 99re热视频这里只精品| 天天操夜夜啊| 日本婷婷在线| 激情5月婷婷| 看片视频在线免费日产在线看| 丁香五月婷婷婷婷欧美综合| 亚州激情九月| 强辱丰满人妻HD中文字幕| 可以看的AV网站| 97干在线| 激情五月天第四色| 精品久久久91久久影视网| 噜噜噜久久| 91操色| 亚洲人成网站999久久久综合| 五月天综合色| www.五月丁香| 99热这里全是精品| 五月综合亚洲| 婷婷射图| 激情五月天啪啪视频| 婷婷丁香五月天色色| 久久精品A片777777| 高清无码网址| 婷婷五月天激情影片| 激情五婷精品网在线观看网址| 9 1 A v久久久| 久久久网站| 成人在线综合| 激情小说视频图片网| 秋霞午夜理论| 亚洲婷婷婷| 婷婷五月天丁香久久| 成人做爰高潮A片免费视频| 日本啪啪网| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 超碰成人在线观看| 精品在线网站| 婷婷激情五月| 色狠狠综合| 色丁香五月| 久久这里只有欧美| 玖玖精品视频| 五月天天天色| www.婷婷五月| 9热视频在线观看| 99视频在线精品| 丁五月激情视频免费| 婷婷综合色五月天| 色爱亚洲| 婷婷六月激情| 天天日 天天草| 婷婷五月天国产| 欧美黄色韩日网| 天天做天天爱天天爽综合网| 日本五月天激情| 五月丁香欧美在线| 日日操日日撸| 超碰在线观看9| 色色日本欧美| 高清无码入口| 热99re| 丁香五月天人体| 六月婷五月丁香| 日本色频| 综合xx网| 十一月婷婷激情四射| 欧美日韩aaa| 成人丁香色| 超碰在线看| www.婷婷六月天| 国产精品人成A片一区二区| 色999五月色| 四LLL少妇BBBB槡BBBB| 丰滿爆乳一区二区三区| 99热丁香| 岛国资源网| 国产精品蜜臀99| 久久er99| 丁香五月婷婷av| 日韩啊啊啊| 香蕉久久国产AV一区二区| 亚韩精品视频1区| 三日本无码| 色色操| 熟女激情网| 99色视| 天天色天天日| 在线sebiav精品视频| www..999热久| 九九草热在线观看| 久久精品五月天| 97超碰,人人舔,人人操,人人摸 | 啪啪综合网| 六月婷欧美丁香综合| 婷婷丁香五月天影院| 丁香六月婷婷激情综合| 深爱激情五月网| 日日夜夜干| 成人va在线播放| 日韩成人电泉AV| 久久婷婷六月| 操日视频| 97色色色| 97碰碰免费.视频| 热久久91| 日本丁香五月| www.金莲av| 色婷婷大香蕉| 99热都是精品| 51精品国自产在线| 91九色国产| 五月丁香色五月| 九九99九九99| 亚洲xx网| 狠狠狠狠狠草| 思思热视频在线| 婷婷福利影院| 九月色婷婷综合| 国产成人片| 色情五月综合婷婷| 五月婷婷综合在线| 亚洲性爱AV在线| 97香蕉碰碰人妻国产欧美| 婷婷五月六月| 99热免费18| 五月天自拍网| 婷婷五月天福利| 日韩无码人妻一区二区| 婷婷五月天欧美图片在线播放电驴| 五月激情啪啪| 思思久久精品视频| 婷婷成人五月天成人文学| 五月天婷婷久草丁香| 热这里| 99热只有这里有精品| 日日夜夜天天| 丁香五月婷婷国产在线| www激情五月天| 4399无码视频| 亚洲色亚洲精品| 香蕉久久国产AV一区二区| 日韩九九视频| 综激情网| 嫩模aV在线| 日韩综合久久| 久思思热视频在线观看| 国产超碰在线| 天天色综合色色色色色。| 色五月综合激情| 成人电影在线免费试看| 久久精品视频在这里有| 天堂久久大香蕉| 九九热免费| 久久五月情| 大香蕉天堂| 人妻av在线| 色婷婷视频| 天天综合网、天天综合色 | 日本色久| 色吧五月婷婷| 丁香五月婷婷色五月| 9999久久久久| 99热这里只有精品国产首页| 色色五月婷婷久久| 九色视频91| 天天操天天操综合| 99五月婷| 激情六月综合| 99热这里只有精品69| 一本婷婷丁香久久 | 人妻AV在线| 99在线观看视频| 五月婷婷啪| 97久久超碰| 99色热| 六月丁丁香| 久操大香蕉| 日本婷婷| 激情久久五月网| 99热午夜精品| 狼人婷婷综合| a色色片| 亚洲乱码日产精品BD| WWW.五月天9999| 操逼电影免费看| 亚洲美女网Va| 天天上天天爽| 六月婷欧美| 天天爽人人综合免费7799| 久色中文| 人人操97| 岛国资源站| 久9视频| 亚洲激情免费视频| 激情综合网络插| 综合久久8| 99爱视频在线观看| 月婷婷婷婷五月| 国产亚洲色婷婷99精品| 婷婷五月天涩涩| 成人av在线电影| 五月丁花色综合网| 丁香六月啪啪| 在线视频激情网站| 99热99热不卡| 激情99。| 激情综合在线观看| 操97在线观看| 91wwmm导航| 色必久悠悠影院| 色色影院黄大片| 激情六月天| 啪啪小说五月天| 激情五月图| 狠狠色丁香久久婷婷综合五月| 五月丁香香蕉| 婷婷在线视频| 天天日夜夜帕| 婷婷色五月激情| 五月色综合| 日本在线观看aaa 99| 五月激情综合网| 九九婷婷五月天| 婷婷香五月综合激情| 中文字幕视频在线播放| 婷五月天| 日笨久久网| 亚洲V国产V欧美V久久久久久| 欧美婷婷丁香五月社区| www.久久综合| 丁香五月综合久久综合| 大香蕉天堂色| αV电影| 成人片黄网站色大片免费毛片| 99热精品在线| 九九香蕉网| 激情婷婷网| 天天爽天天摸| 五月婷婷综合在线观看| 丁香六月无码| 五月人妻婷婷视频| 综合激情在线| 国产色色视频| 欧美成人精品A片免费一区99| 欧美婷婷色| 婷婷五月色情| 91Chinese在线| 天天射影视综合网| 777久久精品| 99热国产在| 97福利视频| 99久久精彩视频。| 热久久思思热思思| 这里只有国产精品在线| 婷婷六月激情在线视频| 婷婷激情小说| 色日本丁香婷婷| 91vip在线观看| 天天开心婷婷丁香五月| 天天日天天做天天舔| 五月天日日操夜夜操 | 丁香六月婷婷久久综合| 欧美成人精品A片免费一区99| 亚洲天天| CHINESE熟女老女人HD视频| 夜精品无码A片一区二区蜜桃| 国产美女无遮挡裸体毛片A片| 婷婷成人av| 91视频综合网| 精品婷婷五月视| 婷婷开心综合人妻小说网址| 舔色婷婷| 婷婷色综合| 婷婷综合国产| 中美月韩免费A片| 婷色人人狠| 天天摸天天日天天舔| 丁香五月六月综合激情| 婷婷五月天影院| 韩国中文字幕91| 九九精彩久久| 婷婷五月天天aV| 丁香九月婷| 夜夜骑日日操| 亚洲色五月婷婷| 99热这里是精品| 久热精品在看| 五月色无码| 性爱视频久久| 国外亚洲成AV人片在线观看 | 色婷婷亚洲婷婷| 丁香五月激情综合| 中文字幕成人影视| 一区二区三区四区无码| 婷婷激情四射| 丁香九月色| 激情五月天啪啪视频| 日韩aaaaa| 人妻丰满精品一区二区A片| 丁香五月婷婷亚洲另类| 色噜噜狠狠狠综合曰曰曰| 日本久久精品| 99久久新视频| 丁香六月激情综合啪啪| 91久久婷婷| 91丨九色丨熟女丰满| 99色免费视频| 九九热精品| caopeng97人人| 性生活视频98791| www.夜夜操| 99久久久久久| 免费亚洲婷婷中文字幕| 亚洲传媒在线观看| 亚洲综合丁香婷婷六月天| 五月丁香啪啪网| 大胆伊人久久| 婷婷六月丁香欧美视频在线| 激情性爱五月天网页| 欧美日韩大黄| 99精品久久| 掩去也综合五月视频| 久热久| 婷婷欧美激情综合| 视频一二区| 97干婷婷| 99色五月| 色色色婷婷五月天| 91久久婷婷| 日本色色网| 五月天精品视频| 337p大胆噜噜噜噜噜91Av| 97人人操人人干| 综合激情婷婷| 婷婷五月天激情综合| 天天搽天天射| 九九这里是免费的视频5| 久久国产高清| 成人AV在线电影| 婷婷五月亚洲综合| 青草青草视频2免费观看| 天天成人综合视频| 色综合视频| 久热欧美| 人妻乱码久久久| 成人无码免费一区二区中文| www.五月天激情| 婷婷五月天丁香社区| 丁香九月婷婷| 色婷婷激情视频| 婷婷第一页| 五月天婷婷视频| 激情五月六月婷婷综合啪啪| 黄色中文字目| 久久久久网站| 五月六月丁香婷婷在线观看| 色情激情五月婷婷| 久久九区| 99热久久最新地址| 91狠狠色丁香| 国产黄色在线观看| 亚洲99在线| 秋霞午夜理论| 大胆伊人久久| 另类少妇人与禽zOZZ0性伦| 色婷婷小说| 国产 码在线成人网站| 99视频| 99在线视频免费| 69五月天视频| 色99热| 99色综合| 婷婷播5月| 欧美又粗又大一区二区在线观看| 欧美碰碰| 青青久在线视频免费观看| 噜噜色噜噜网| 深爱开心五月天| 99久免费视频| 综合天堂AV久久久久久久| 啪啪综合网| 亚洲色婷婷久久99精品91| 淫荡工a| 伊人网色婷婷五月天| 好吊丝aV| 九九超日本| 丁香五月婷在线观看| 99热超碰人| 五月天天天色| 五月婷亚洲精品AV天堂| 婷婷五月天小说网| 99热99这里免费的精品| 亚洲成人另类| 五月婷婷三级| 久九色| 五月天婷婷激情| 92久久| 婷婷五月天色色| 色爱综合视频| 九色激情| 毛片色五月| 色爱综合五月| 最近韩国日本免费高清观看| 99视频网| 色色无码日韩| 91超级碰人人操| 在线中文字幕av| 婷婷五月天激情四射五月天激情| 99久| 51国精产品自偷自偷综合| www。五月天激情| 欧美性生交XXXXX无码小说| 免费观看的av| 婷婷五月天av网| 天天操天天插天天射| 色导航色婷婷五月天在线观看| 国产精品激情AV久久久青桔| 综合色色婷婷| 狠狠干五码| 8区视频在线| 精品亚洲国产成人A片在线鸭王| 97成人丁香| 99热婷婷| 色XX综合网| 久久狠色噜噜狠狠狠狠97| 五月天婷婷色色网| 碰碰碰97国产| 97久久视频| 超碰九色| 超碰1999| 久草天堂| 91色逼| 国产婷伊人| 欧洲亚洲免费视频9| www国产亚洲色婷婷com| 丁香五月婷婷久久综合激情网 | 99这里只有精品|v| 久久精品性爱| 一本道综合网| 婷婷五月黄色激情在线| 99久久久久| 99国产欧美视频| 久久97久久99久久综合欧美| 9999三级片| 久久色这里只有精品| 色欲av伊人久久大香线蕉影院| 亚洲AV成人在线观看| 97色碰| 色欲天天综合网| 少妇激情五月天| 久久视频在线| 色九月激情综合网| 97操操| 热久免费视频9| 伊人香大香蕉视频| 99久久久| 久久婷色| 天天天天干| 66久久视频在线| 99久久综合网| 丁香五月手机在线| 大香蕉太香蕉视频97| 性爱激情五月| 蜜桃五月天| www,26uuu,c0m,色情| 99久久这里只有精品免费官网| 激情五月天啪啪| 精品亚洲国产成AV人片传媒| 中字幕视频在线永久在线观看免费| 99色精品| 色色色网站| 99色视频| 欧美A片在线视频免费观看| 伊人丁香在线| 色婷婷色和| 国模狼狼| 色色色丁香| 影音先锋91视频| 久久作爱| 色播五月婷婷| 人妻久久久久久| 玖玖无码中文| 色色五月丁香| 久久五月天婷婷| 久久一伦| 丁香五月情| 亚洲综合99| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 综合在线色婷婷| 婷婷激情五月天小说校园| 综合激情视频| 色五月中文网| 亚洲a色| 91操人人操| 色婷婷视频在线| 激情文学天天| 综合网精品99| 五月婷丁香久久综合| 国产首页在线| 丁香色色色| 深爱激情五月天婷婷网| 亚洲精品色| 婷婷五月天激情四射五月天激情| 九九视频这里只有精品| 色婷婷XXXXX| 成人做爰高潮A片免费视频| 妻久久久久| 五月丁香色欲| 丁香五月情| 色欲婷婷夜夜| 丁香五月激情久久麻豆| 99色最新在线视频网站| 9久热免费视频99| 五月激情小说| 欧美日本一区二区三区| 在线网黄| 婷婷久综合| 丁香五月激情在线| 伊人五月天在线| 欧美99视频| www.99视频| 996热| 精品人妻一区| 色婷婷激情五月天丁香| 99在线精品观看99| 狠狠色噜噜狠狠| WWW,五月| 色婷婷激情Av久久久| 天堂色婷婷| AV堂狠狠干| 亚洲操B视频| 性色做爰片在线观看WW| 天天干夜晚夜操| 热99这里只有精品视频| 91碰碰视频| 国产成人片| 国产精品色色| 98永久精品| 国产探花一片区| 天天爽天天弄| 丁香婷婷深情五月亚洲| 五月婷婷中文字幕| 97亚洲婷婷| 六月丁香婷婷尤物| 天天综合久久| WWW99热| 五月婷婷综合在线视频| 色五月婷婷五月天| 丁香五月婷婷激情中文| 天天色五月| 亚洲欧美婷婷五月色综合| 五月婷婷综合色啪首页| 77799热| 夜夜撸日日操| 久久婷综合| 99热费观看| 思思久久99热只有频精品66| 婷婷另类开心| 五月天伊人网| 丁香五月天婷婷在线视频| 色婷婷狠| 中文资源在线a | 天天天天干| 99资源在线| 丁香五月激情视频| 精品日本视频444| 玖玖精品视频| 九九九九九九九九九九九九九国产精品| 五月丁香六月欧美| 91色综合网站在线| 青青草原福利在线| 美女91一起草| 六月丁香色色| 色99网| 操人91| 五月婷婷综合激情| 日本一级一级一级一级| 五月婷婷和六月| 超碰97人人操| 色色啊| 日韩乱轮AV| 久久久久婷| 日本123区日韩欧美不卡在线看| 日本激情五月天‘| 婷婷丁香五月天色色| 久久99激情| 久久这里只有国产| 婷婷久久综合久| 欧美日朝成人| 性爱视频久久| 久99久热只有精品国产99| 狠狠色噜噜狠狠狠狠狠色综合久久| 五月丁香婷婷激情澎湃四射 | 婷婷亚洲在线| 丁香五月影院| 欧美va国产va| 伊综合蕉| 五月婷丁香| 色播五月丁香婷婷| 婷婷大香蕉| 婷婷五月天成人影片| 成人午夜天| 婷婷色av| 激情小说五月天| 丁香六月婷婷久久综合| 99视频在线观看视频| 野外99热| 亚洲人妻av伦理| 五月综合丁香婷婷| 亚洲婷婷五月天综合| 综合六月久久| WWW.桔色成人.COM| 99久久精彩视频。| 中文av在线观看| 亚洲激情AV| 狠狠干在线视频| 99热观看| 啪啪激情网| 色色色777| 99re视频在线| 国产激情综合| 婷婷六月天| www超碰| 婷婷热色| 99在线精品免费视频| 深爱激情丁香| 五月丁香婷婷伊人| 婷婷五月色色| 九九精品热| www.99热视频| 午夜爱爱爱成人| 91人人妻人人操| 九九热AV| 久青操| 99热这里只有精品在线播放| 三级三久久线久久99久目本WW| 九九艹女| 丁香五月色| 永久精品| tingting五月天亚洲| 色婷婷性爱网| 色五月丁香婷婷| 激情五月深爱五月观看| 天天爽夜夜操| 色五月婷婷影院| 久热婷婷| 这里只有精品96| 狠狠色大香蕉| 色综合xx| 久久99精品久久久久久噜噜| 婷婷五月丁香综合激情| 色五月丁香六月资源站| 97色综合| 婷婷五月色天| 怡红院一二三| 六月丁香婷婷拍拍| 丁香五月综合狠狠| 五月天色色网站| 丁香五月婷婷骚视屏| 婷婷狠狠操| 四川BBB搡BBB爽爽视频| 91碰碰视频| 天天添天天摸天天天天做| 干一干xxxx| 欧美槡BBBB槡BBB少妇| 日本久久爱| 五月婷婷在线短视频| 春色激情| 五月天.com| 夜夜夜夜夜骑撸| 欧美激情五月天婷婷| 亚洲AV永久无码影院黑人| 五月天激情小说网| 久久人人妻| 亚洲 精品 综合 精品| 久热丁香| 激情五月婷婷综合秋霞| 国产成人网址| 六月婷婷国产| 五月婷婷欧美| 五月婷婷之综合激情在线| 女人天堂AV| 99精彩视频| 视频这里只有精品16| 丁香五月婷婷亚洲综合精品| 影音先锋五月天婷婷丁香在线观看| 久久激情五月婷婷| www.狠狠操| 青草久久五月婷伊人| 成人av在线电影| 五月丁香天堂| 狠狠精品干练久久久无码中文字幕| 亚洲AV中文在线| 亚洲看av的网站| 99re这里只有精品99| 91婷婷五月丁香碰| 欧美性做爰大片免费看办公室| 超碰在线观看9| 丁香婷在线| 66久久视频在线| 99ri精品| 视频在线免费观看欧洲乱码| 激情性爱五月天网页| 无码99| 婷婷情色五月天| 在线1青婷| 草AV9999| 青草网在线观看| 9久热在线视频精品| 婷婷丁香婷婷97| 亚洲国产精品VA在线看黑人| 五月丁香激情综合| 亚洲AV日韩无码| 26uuu| www.夜夜.com| ss99热| 婷婷激情丁香五月天综合| 五月丁香综合在线| 91久久18| 婷婷五月天丁香综合网| 91无码色色| 丁香五月天啪啪| 久久一热| 九九99精品| 国产精品日日躁夜夜躁| 六月丁香成人网| 色色婷婷综合网| 热这里只有精| 激情丁香五月婷| 好好干Av| 亚洲超碰在线| 九九色色色| 亭亭五月基地在线| 伊人大香久久| 8050一级网| 免费三级黄色| 欧美成人精品A片免费一区99 | 狠狠久综合| .肏屄视频一区二区| 四虎99热在线观看网站| 丁香婷婷成年| 琪琪色五月婷婷老师| 国产黄大片在线观看画质优化| 欧美久热| www.狠狠| 五月婷在线| www.夜夜| 国内久久婷婷| 婷婷五月av| 六月激情综合| 香蕉婷婷| 九九99免费视频| 中文字幕AV网址| 久久久久久久久99精品| 婷婷五月综合社区| 玖玖综合色| www超碰| 久色网| 九九成人视频| 天天爽夜夜操| 丰满人妻妇伦又伦精品国产| 久九男女天堂| 丁香九月色| 国产伊人大香蕉| 六月色婷婷综合影视| www.91在线看| 日本一级大片| 久久色五月天| 99ri在线| 亚洲成人网无码| 玖玖在线资源视频| 五月天婷婷影院影院| 婷婷五月深深爱| 五月色综合网| 玖玖99免费视频| 九九色影院| 天天玩夜夜操| 裸体做A爰片毛片A片免费| 欧美顶级少妇做爰HD| 伊人九九68| 淫五月停停| 中文字幕欧美精品久久| 狠狠色大香蕉| 婷婷伊人中文字幕| 另类色视频| 深爱五月天 开心网| www激情网| 51国精产品自偷自偷综合| 大香蕉九操| 中文字幕永久免费| 99热91| 亚洲精品无码一区二区| 琪琪色五月婷婷老师| 九九精品系列| 成人国产网站| 五月天啪啪视频| 欧美色骚婷婷五月天| 婷婷丁香五月天中文字幕| 五月天开心婷婷激情网站| 丁香五月综合激情啪啪| 天天干,夜夜爽| 精品无码久久久久久久久| www.婷婷五月.com| 99re久热只有精品6在线直播.com| 婷婷久久五月| 26uuu色噜噜精品一区| 桔色成人官方网站| 国产激情婷婷| 97人人草| 色逼综合网| 涩九九九九| 无码网| 天天夜夜爽| 97碰| 夜夜爽77777妓女免费下载 | 97色在线观看视频| 日韩好吊操| 丁香六月婷婷综合在线| www.91.com黄| 精品欧美一区二区三区久久久| 人妻有码乱操| 999婷婷综合| 欧美日韩大黄| 最新丁香六月婷婷| 六月色播| 久久综合五月天| 综合激情九月婷婷,激情综合婷婷中文字| 毛片新网地| www.狠狠干| 可以免费观看的av| 99综合| 99国产欧美视频| 在线你懂的亚洲欧| 亚洲日韩人妻操逼| 无码操B| 久久婷婷五月天| 久久99精品久| 日韩操逼大片| 操啊操av| 亚洲人妻av| 天天肏视奸| 欧洲毛片基地c区| 五月婷婷我| 激情丁香婷婷| 婷婷久久爱| 色婷婷五月天激情| 九九九九这里只有精品| 五月丁香婷婷综合网| 精品国产a| 中文字幕在线不卡| 五月婷婷九| 9久久精品| 麻豆忘忧草午夜| 婷婷丁香色五月亚洲| 激情五月视频在线婷婷| 久久一热| 六月色婷婷综合影视| 日本人妻丁香婷婷久久寝取熟女五月| 色色色网站| 国产午夜成人免费看片无遮挡| 综合久久五月天| 97资源欧美日韩大香蕉超碰一区| 操逼巨乳91| 色五月天丁香婷婷| 婷婷五月综合社区| 午夜大香蕉| 激情欧美五月丁香| 欧美性生交XXXXX无码小说| 草草夜夜操| 九九亚洲天堂| 国产人妻777人伦精品HD| 人人操超碰| 一级视频网址| 色狠狠色综合久久久绯色AⅤ影视 大香蕉五月天婷婷丁香91 | 99成人小视频| 五月综合激情图片| 激情综合自拍五月婷婷色五月| 色婷婷久久综合| 欧美激情中文字幕| 久久9久久| 99色在线视频| 亚洲婷婷丁香五月亚洲| 久久婷婷五月丁香网| 九九黄色网| 三日本无码| 狠狠色丁香| 性综合网| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | AV变态另类一区二区| 亚洲色爽| 97综合在线| 思思干精品| 天天日天天摸天天| 亚洲五月花| www.日韩国产| 激情五月丁香六月综合AVXXXX| 丰满女老板BD高清A片| 色婷婷大香蕉| 老司机伊人| 97超碰,人人舔,人人操,人人摸 | 中文字幕欧美精品久久| 少妇口诉沐足视频播放器网址| 五月婷婷丁香综合| 色婷婷情片| 亚洲、热| 免费视频WWW在线观看网站| 成人五月天综合网| 五月婷婷人人人操| 9超碰在线| 天天干com| 久久婷婷五月综合色欧美| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 疯狂做受XXXX高潮A片动画| 五月丁欧美| 久久天天| 激情文学 综合 九月| 五月丁香色婷婷熟女| 国产国产乱老熟女视频网站97| 狠狠做五月| 日韩人妻无码精品| 伊人五月天97| 99精色| 欧美十二区| www.五月婷婷久久.com| 99re6在线视频精品免费| 五月婷婷新网站| 亚洲99热| 九九人人操| 91色久| 五月婷网| 91人人爽狠狠狠| 婷婷爱爱蜜臀天天操| 日日肏夜夜干| 播丁香五月婷婷欧美| 亚洲看av的网站| 专区无日本视频高清8| 婷婷97狠狠干| 丁香五月性爱| 影音先锋色色色资源色资源色| 日本久久99| 久久五月视频| 99热在线观看精品| 99在线资源| www.五月天社区| 青青久久五月天丁香婷婷| 精品网站99| 国产肥白大熟妇BBBB视频| 大香蕉人妻| 久久六月综合| 色九网| 少妇激情五月天| 色播六月| 狠狠干夜夜干| 六月亚洲婷婷6月中文字幕| 中文字幕在线观看视频www| 五月花婷婷在线精品视频| 性爱综合网| 26uuu青青| 99久视频| 女人天堂av| 色综合伊人网| 婷婷五月综合色中文字幕| 日本久久精品| 啄木鸟黑丝一区二区| 操操操B| 99re热视频| 99艹精品在线观看| 99热97| 五月天停停日日| 91超级碰碰| 9久久婷婷国产综合精品性色| 狠狠综合网| 国产成人av在线播放| 五月婷婷片| 日韩色色小视频| 99操| 99热99免费| 六月婷婷毛片| 自拍盗摄 另类| 丁香婷婷婷五月综合色情| 99毛片| 婷婷五月色播网| 中字幕视频在线永久在线观看免费| 在线五月色播| 天天日日| 人人摸人人| 午夜色婷婷| 开心五月婷婷| 伊人超碰| 肏日网在线看| 亚洲 视频 导航 一区| 国产一级片| 熟女人妻一区二区三区免费看| 五月天激情国产综合AV| www.久操| 九热...av| 噜噜噜噜婷婷五月天| 国产人妻777人伦精品HD| 日日艹思思热| 99超级碰碰| 五月婷精品| 国产99精品免费视频| 日韩久久系列| 色五月在线播放| 9精品在线| 成人做爰高潮A片免费视频| 婷婷深爱五月丁香网| 人操人| 久久久久激情| 五月丁香在线国产| 怡红院91a√| 激情视频网址| 玖玖视频福利| 婷婷五月丁香青青草在线| 久热免费视频| 美女天天久久| 丁香花综合永久入口| 最新av在线观看| 26UUU| 欧美性爱专区| 成人av在线网站| 丁香六月婷婷综合麻豆| 九月av在线| a在线观看| 综合五月激情网| 九色91美女| 国产SUV精品一区二区6| 五日激情综合| 国产伊人五月天| 另类图片五月天激情| 超碰狠狠操| 婷婷五月天a| 综合色视频| 网站免费一站二站| 婷婷五月情天| 九九成人精品免费视频| 99在线视频操999| 超碰国产在线观看| 少妇激情五月婷婷| 婷婷色色欧美| 99热免费观看| 99热免| 久久这里只有国产| 久久全色| 五月丁香狠狠爱| 99热97| 婷婷五月激情基地| 99热丁香五月| 少妇AB又爽又紧无码网站| 射久久丁香五月| 狠狠狠人妻| 91精品综合久久久久久五月天| 色综合天天综合成人网| 天天插天天插天天插天天插| 亚洲另类电影| 国洲夜色亚热在线久久| 五月婷婷啪啪| 天天日夜夜| 丁香5月啪啪| 99热精品观看| 五月婷婷黄色网址| 五月婷婷色色| 丁香狠狠色婷婷久久无码视频| 久久久激情视频| 色五天综合| 丁香啪啪| 久久金品黃色| 干婷婷五月天| 91操人视频| 色婷婷综合丁香五月天| 性色做爰片在线观看WW| 九九热最新| 婷婷五月天亚洲精品| 超碰九色| 丁香五月婷婷婷桃花影院| 超碰成人免费| 99久久www| 久久免费视频62| 丁香五月天在线观看视频| 欧美婷婷丁香五月| 久久婷婷超碰| 婷婷色导航| 91大神操美女| 婷婷五月天激情丁香| 99人这里只有精品| 51XX午夜影福利| 婷婷成人av| 中文字幕日产A片在线看| 色色丁香婷婷| 99热一区| 五月天停停基地| 五月丁香六月综合情在线观看 | 亚洲av成人在线| 狠狠色综合久久| 亚洲综合99| 四季AV综合网| 九色亚洲| 思思热在线视频精品| 五月婷婷六月丁香| 狠狠干综合| 79精品视频| ,99视频久久| 狠狠色色| 啪啪色区| 99婷五月| 天堂无码人妻精品AV一区| 丁香激情网| 丁香九九九九| 六月婷婷色综合| 五月丁香婷婷开心| ,99视频久久| 丁香丁婷五月激情| 天天噜日日噜综合无码| 丁香六月婷婷色XXXX| 亚洲V国产V欧美V久久久久久| 色99视频| 久久总和99| 色欲一区二区三区精品A片| 情婷婷五月天| 最新五月天婷婷影| 在线播放成人网站| 色香久久| 亚洲成人无码免费| 九九99九九精品视频| 狠狠ri| 无码激情AAAAA片-区区| av九九| 精品婷婷| 久久人人九九| 激情综合五月婷婷丁香| 色五月婷婷综合| 91操操操| 无码G高清天| 91精品熟女| 天搞天天天天天| 久久伊人大香蕉| 日韩在线99| 91精品人妻少妇无码影院| 久久一级片| 亚洲99热| 影音先锋AV资源男人站| 色婷婷很很丝袜| 影音先锋91在线资源站| 九九视频在线观看视频6| 国产乱人偷精品人妻A片| 狠狠精品干练久久久无码中文字幕| 九九性视频| 99热在线播放| 99操99| 色色丁香婷婷| 91久久久久久久久久久| 99久久久久| 大香蕉久久| 亚洲99综合| 伊人99热| 性色五月天| 久久这里有精品| 涩涩五月天| 天天干天天干天天| 激情五月天色播| 99国产精品久久久久久久久久久 | www,久久久| 久久爱综合| 五月色情婷婷| 久久婷婷的综合色丁香五月| www.99精品视频| 99久久.www| 六月婷色| 久久久.COM| 人妻中文在线| 五月婷婷激情综合在线| 蜜乳9188| 天天色综合色| 五月天激情网址| 五月丁香婷在线| 深爱激情婷| www.五月天激情| 精品色色|