欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

MATLAB實(shí)現(xiàn)DNN回歸預(yù)測(cè)與SHAP可解釋分析完整方案

MATLAB實(shí)現(xiàn)DNN回歸預(yù)測(cè)與SHAP可解釋分析完整方案 簡(jiǎn)介這是一份基于MATLAB平臺(tái)的DNN-SHAP多變量回歸預(yù)測(cè)完整項(xiàng)目實(shí)例面向具備一定編程基礎(chǔ)、希望掌握深度學(xué)習(xí)與模型可解釋性結(jié)合的研發(fā)人員。資料以項(xiàng)目文檔形式呈現(xiàn)從背景、目標(biāo)、挑戰(zhàn)到解決方案系統(tǒng)梳理了數(shù)據(jù)預(yù)處理、DNN回歸模型構(gòu)建、SHAP解釋模塊及結(jié)果輸出四大模塊并配有詳細(xì)代碼步驟與GUI設(shè)計(jì)說明便于讀者在智能制造、金融風(fēng)險(xiǎn)、環(huán)境監(jiān)測(cè)等場(chǎng)景中直接遷移應(yīng)用。壓縮包僅含1個(gè)docx文件大小73KB內(nèi)容緊湊但覆蓋全流程尤其適合需要兼顧預(yù)測(cè)精度和決策透明度的實(shí)踐者。目前已有521人學(xué)習(xí)下載。閱讀后可深入理解DNN與SHAP的融合方式、超參數(shù)調(diào)優(yōu)技巧以及如何利用SHAP值解析模型決策具有較強(qiáng)的工程參考價(jià)值。1. DNN-SHAP 這個(gè)組合解決的是多變量回歸預(yù)測(cè)里最讓人心虛的問題模型把數(shù)算對(duì)了但說不出是哪幾個(gè)變量、以什么方式把結(jié)果推出來(lái)的。用 MATLAB 把這套流程串起來(lái)——訓(xùn)練一個(gè) DNN 做多變量回歸預(yù)測(cè)再用 SHAP 值把每個(gè)特征的貢獻(xiàn)拆開最后用 GUI 讓不懂代碼的人也能重復(fù)這個(gè)過程是我這邊最常見的落地樣板。輸入是十來(lái)個(gè)數(shù)值列的表格數(shù)據(jù)輸出是一個(gè)連續(xù)值你對(duì)“預(yù)測(cè)完之后還要解釋”有硬需求這套方案就正好卡在這個(gè)位置上。數(shù)據(jù)工程師拿它應(yīng)付業(yè)務(wù)追問研究生拿它給畢業(yè)論文加解釋性亮點(diǎn)都是常見用途。2. 先把 DNN 回歸跑通網(wǎng)絡(luò)結(jié)構(gòu)、數(shù)據(jù)劃分與訓(xùn)練參數(shù)怎么定SHAP 是附在預(yù)測(cè)模型上的解釋層模型本身不靠譜解釋就是給錯(cuò)誤結(jié)論化妝。所以第一步不是急著寫 SHAP 函數(shù)而是把 DNN 回歸這件事做得經(jīng)得起檢驗(yàn)。這個(gè)章節(jié)圍繞一張多變量表格把從數(shù)據(jù)預(yù)處理到網(wǎng)絡(luò)訓(xùn)練再到驗(yàn)證指標(biāo)的全過程拆開講。2.1 輸入輸出與歸一化多變量表格的預(yù)處理不能偷懶拿到數(shù)據(jù)先別急著喂網(wǎng)絡(luò)。表格里每一列的量綱可能差著幾個(gè)數(shù)量級(jí)比如一列是百分比0~100另一列是溫度-20~40。DNN 對(duì)輸入尺度非常敏感權(quán)重初始化、梯度更新的步長(zhǎng)都默認(rèn)輸入是零均值、單位方差的分布直接把原始數(shù)據(jù)丟進(jìn)去前期訓(xùn)練會(huì)像無(wú)頭蒼蠅一樣亂撞。常見做法是對(duì)輸入 X 做 zscore 歸一化輸出 y 也可以做但我一般只歸輸入。輸出保持原始尺度后面算 SHAP 時(shí)得到的貢獻(xiàn)值就和 y 同單位解釋起來(lái)直接說“這個(gè)特征讓預(yù)測(cè)值高了多少”不用再做逆變換。歸一化參數(shù)只用訓(xùn)練集的均值和標(biāo)準(zhǔn)差驗(yàn)證集和測(cè)試集都復(fù)用這一套參數(shù)不能用全量數(shù)據(jù)的統(tǒng)計(jì)量否則會(huì)引入未來(lái)信息。數(shù)據(jù)劃分用隨機(jī)打亂70% 訓(xùn)練、15% 驗(yàn)證、15% 測(cè)試。時(shí)間序列場(chǎng)景不能隨機(jī)打亂要保持時(shí)間順序這個(gè)項(xiàng)目定位一般就是截面表格數(shù)據(jù)隨機(jī)劃分沒問題。劃分前要固定隨機(jī)種子保證同一個(gè)項(xiàng)目換人復(fù)現(xiàn)時(shí)結(jié)果對(duì)得上。rng(42); n size(X, 1); idx randperm(n); nTrain round(0.7 * n); nVal round(0.15 * n); XTrain X(idx(1:nTrain), :); YTrain y(idx(1:nTrain)); XVal X(idx(nTrain1:nTrainnVal), :); YVal y(idx(nTrain1:nTrainnVal)); XTest X(idx(nTrainnVal1:end), :); YTest y(idx(nTrainnVal1:end)); % 只用訓(xùn)練集計(jì)算均值和標(biāo)準(zhǔn)差 [XTrainN, mu, sigma] zscore(XTrain); XValN (XVal - mu) ./ sigma; XTestN (XTest - mu) ./ sigma;這段代碼把歸一化參數(shù) mu 和 sigma 留在了工作區(qū)它們是后面所有環(huán)節(jié)的公共依賴包括 GUI 里的預(yù)測(cè)新樣本以及 SHAP 計(jì)算時(shí)的特征擾動(dòng)。zscore 按列計(jì)算所以 mu 是 1×M 的向量sigma 同尺寸X 里必須沒有 NaN否則 mu 和 sigma 會(huì)出現(xiàn) NaN后續(xù)全部白算。2.2 用 featureInputLayer 搭回歸網(wǎng)絡(luò)結(jié)構(gòu)選擇的依據(jù)回歸任務(wù)里DNN 的深度不需要追求極限。多變量表格數(shù)據(jù)的特征維度通常在 5~20 之間樣本量在幾百到幾萬(wàn)之間隱藏層做到三層以上意義不大反而容易過擬合。我常用的結(jié)構(gòu)是輸入層 兩個(gè)全連接層64、32 ReLU 輸出層1 個(gè)神經(jīng)元 回歸損失層。隱藏層寬度按特征數(shù)的 2~4 倍起步。特征數(shù)是 10第一層 64 就足夠?qū)捥卣鲾?shù)是 30第一層可以放到 128。太寬會(huì)讓訓(xùn)練變慢且容易過擬合太窄則擬合不了特征交互。對(duì)回歸問題輸出層不要加激活函數(shù)linear 輸出才能預(yù)測(cè)任意范圍的連續(xù)值。numFeatures size(X, 2); layers [ featureInputLayer(numFeatures, Name, input) % R2020b 之后可用 fullyConnectedLayer(64, Name, fc1) reluLayer(Name, relu1) fullyConnectedLayer(32, Name, fc2) reluLayer(Name, relu2) fullyConnectedLayer(1, Name, output) regressionLayer(Name, regout)];如果你用的 MATLAB 版本較老沒有 featureInputLayer就把它刪掉讓第一個(gè) fullyConnectedLayer 直接讀入矩陣輸入效果基本一致。這段結(jié)構(gòu)里有兩個(gè)關(guān)鍵點(diǎn)一是 reluLayer 放在每個(gè)全連接層后面給網(wǎng)絡(luò)引入非線性二是最后接 regressionLayer它對(duì)應(yīng)的是均方誤差損失多變量回歸預(yù)測(cè)的默認(rèn)選擇。分類問題這里就換 classificationLayer但本項(xiàng)目的落點(diǎn)是連續(xù)值輸出回歸層不能動(dòng)。2.3 訓(xùn)練參數(shù)學(xué)習(xí)率、批次、早停和驗(yàn)證集訓(xùn)練參數(shù)的設(shè)置決定了網(wǎng)絡(luò)是收斂還是震蕩。adam 優(yōu)化器是默認(rèn)選擇它對(duì)學(xué)習(xí)率不那么敏感但還是有邊界。初始學(xué)習(xí)率 1e-3 通常能跑通大多數(shù)表格回歸任務(wù)如果 loss 曲線震蕩降到 5e-4 或 1e-4如果下降太慢可以試 2e-3但不要一上來(lái)就 1e-2很容易發(fā)散。批次大小 32 在表格數(shù)據(jù)上是平衡點(diǎn)樣本少就 16。L2 正則化給 1e-4對(duì) DNN 是有效的防過擬合手段比 dropout 更省事。早停用 ValidationPatience 參數(shù)控制驗(yàn)證損失連續(xù) 12 輪不下降就停不會(huì)讓訓(xùn)練白白跑滿 200 輪。options trainingOptions(adam, ... MaxEpochs, 200, ... InitialLearnRate, 1e-3, ... MiniBatchSize, 32, ... L2Regularization, 1e-4, ... ValidationData, {XValN, YVal}, ... ValidationFrequency, 10, ... ValidationPatience, 12, ... Shuffle, every-epoch, ... Verbose, 0, ... Plots, none); net trainNetwork(XTrainN, YTrain, layers, options); YPred predict(net, XTestN); RMSE sqrt(mean((YPred - YTest).^2)); R2 1 - sum((YPred - YTest).^2) / sum((YTest - mean(YTest)).^2); fprintf(RMSE %.4f, R2 %.4f\n, RMSE, R2);ValidationFrequency 設(shè) 10意思是每 10 輪算一次驗(yàn)證損失ValidationPatience 12 表示驗(yàn)證損失連續(xù) 12 次不改善就終止訓(xùn)練。Plots 設(shè)為 none 是因?yàn)楹竺嬉阉哆M(jìn) GUI訓(xùn)練過程中彈出一個(gè)大訓(xùn)練曲線窗口會(huì)把界面設(shè)計(jì)搞亂。這里的 R2 是回歸任務(wù)里業(yè)務(wù)方最常問的指標(biāo)如果 R2 不到 0.7建議先回頭查數(shù)據(jù)處理和特征選擇別急著上 SHAP。3. SHAP 值怎么算從 Shapley 原理到 MATLAB 可運(yùn)行實(shí)現(xiàn)SHAP 的核心是 Shapley 值它來(lái)自博弈論的合作分配問題后來(lái)被引入機(jī)器學(xué)習(xí)做特征歸因。搞清楚原理和 MATLAB 實(shí)現(xiàn)之間的差距才能調(diào)試出可信的結(jié)果。這一章把原理、代碼、結(jié)果解讀三段串起來(lái)。3.1 Shapley 值的回歸語(yǔ)義效率和加性對(duì)做預(yù)測(cè)意味著什么Shapley 值解決的問題是M 個(gè)特征共同協(xié)作產(chǎn)生了一個(gè)預(yù)測(cè)值每個(gè)特征應(yīng)該分到多少貢獻(xiàn)。嚴(yán)格定義是遍歷所有不包含特征 i 的特征子集 S計(jì)算加入 i 前后的預(yù)測(cè)變化再按子集大小的組合數(shù)加權(quán)平均。公式寫成φ_i Σ_{S?N{i}} [ |S|! (M-|S|-1)! / M! ] × [ f(S∪{i}) - f(S) ]這個(gè)公式有兩個(gè)對(duì)回歸預(yù)測(cè)極其重要的性質(zhì)。效率性所有特征的 Shapley 值加起來(lái)等于這個(gè)樣本的預(yù)測(cè)值減去基線預(yù)測(cè)值基線一般取背景數(shù)據(jù)的平均預(yù)測(cè)。加性每個(gè)特征對(duì)單個(gè)預(yù)測(cè)的貢獻(xiàn)是獨(dú)立的可以畫條形圖直接比較大小。難點(diǎn)在于 f(S) 怎么算DNN 只吃完整的特征向量你沒法把“缺少某幾個(gè)特征”的樣本直接丟進(jìn)去預(yù)測(cè)。SHAP 的工程處理辦法是用背景數(shù)據(jù)集里的真實(shí)值去填充缺失特征再對(duì)多個(gè)背景樣本取平均來(lái)逼近“特征子集 S 條件下的期望預(yù)測(cè)”。這就是為什么背景數(shù)據(jù)集的選擇會(huì)直接影響解釋結(jié)果的可靠性后面避坑章節(jié)會(huì)專門展開。3.2 一個(gè)可直接抄的 kernelSHAP 實(shí)現(xiàn)純 MATLABMATLAB 沒有官方 SHAP 工具箱常見做法是自己實(shí)現(xiàn) kernelSHAP 的采樣近似?;玖鞒淌巧呻S機(jī)掩碼每個(gè)掩碼的 0/1 表示該特征用被解釋樣本的值還是背景樣本的值用掩碼構(gòu)造一批擾動(dòng)樣本送進(jìn) DNN 預(yù)測(cè)再用加權(quán)線性回歸解出每個(gè)特征的 Shapley 值。function shap kernel_shap_dnn(net, x, Xb, mu, sigma, nSamples) % net 訓(xùn)練好的 DNN % x 1 x M 原始尺度的被解釋樣本 % Xb 背景樣本集原始尺度建議 50~200 行 % mu, sigma 訓(xùn)練時(shí)的歸一化參數(shù) % nSamples 掩碼采樣次數(shù)建議 1000~5000 M numel(x); x0 (x - mu) ./ sigma; Z0 (Xb - mu) ./ sigma; f0 mean(predict(net, Z0)); % 基線預(yù)測(cè) Z double(rand(nSamples, M) 0.5); % 隨機(jī)掩碼 Z(1, :) 1; % 全特征可見 Z(end, :) 0; % 全特征缺失 bgIdx randi(size(Z0, 1), nSamples, 1); Xm repmat(x0, nSamples, 1); for j 1:M hit (Z(:, j) 0); Xm(hit, j) Z0(bgIdx(hit), j); % 用背景值替換 end y predict(net, Xm) - f0; w zeros(nSamples, 1); for i 1:nSamples k sum(Z(i, :)); if k 0 || k M w(i) 1e6; % 理論權(quán)重?zé)o窮大近似處理 else w(i) (M - 1) / (nchoosek(M, k) * k * (M - k)); end end A [Z, ones(nSamples, 1)]; wvec sqrt(w(:)); % 加權(quán)最小二乘的平方根權(quán)重 B A .* wvec; yw y .* wvec; coef (B * B) \ (B * yw); shap coef(1:M); end這段代碼有四個(gè)關(guān)鍵參數(shù)。nSamples 是采樣次數(shù)1000 是最低可接受值3000 左右能讓結(jié)果平穩(wěn)Xb 背景集一般用訓(xùn)練集的子集后面會(huì)講怎么挑w 是 kernelSHAP 權(quán)重不同掩碼對(duì) Shapley 估計(jì)的貢獻(xiàn)權(quán)重不同全 1 和全 0 的掩碼在理論上是無(wú)窮權(quán)重代碼里用 1e6 近似最后的加權(quán)線性回歸解出系數(shù)前 M 個(gè)系數(shù)就是各特征的 SHAP 值最后一個(gè)是 bias 項(xiàng)。這個(gè)實(shí)現(xiàn)是基于邊緣采樣的近似沒有顯式建模特征相關(guān)性所以解釋結(jié)果的正負(fù)方向和業(yè)務(wù)直覺對(duì)不上時(shí)優(yōu)先懷疑特征聯(lián)動(dòng)而不是急著改網(wǎng)絡(luò)。3.3 結(jié)果怎么看全局重要性和單樣本力度的區(qū)別SHAP 算完是一堆逐樣本的數(shù)值矩陣每個(gè)樣本一行每一列對(duì)應(yīng)一個(gè)特征??慈种匾园衙總€(gè)特征在所有樣本上的絕對(duì) SHAP 值取平均排序后畫條形圖這是業(yè)務(wù)方最常要的“哪個(gè)變量最重要”的答案??磫蝹€(gè)樣本用 barh 畫橫向條形圖正值表示該特征把預(yù)測(cè)值往上推負(fù)值往下壓??刺卣鞯姆较蛐杂绊懹蒙Ⅻc(diǎn)圖橫軸是特征原始值縱軸是該特征對(duì)應(yīng)的 SHAP 值。能看出單調(diào)關(guān)系還是 U 形關(guān)系比如溫度對(duì)能耗預(yù)測(cè)的影響可能是先降后升這種信息 R2 給不了只有解釋層能給。一個(gè)容易被忽略的點(diǎn)SHAP 值的單位就是預(yù)測(cè)目標(biāo) y 的單位不是歸一化后的無(wú)量綱數(shù)。我在 GUI 里展示 SHAP 值時(shí)坐標(biāo)軸標(biāo)題直接寫“特征貢獻(xiàn)與預(yù)測(cè)值同單位”業(yè)務(wù)方不用再做單位換算了。4. 把訓(xùn)練和解釋裝進(jìn) GUIApp Designer 結(jié)構(gòu)、回調(diào)與進(jìn)度反饋?lái)?xiàng)目標(biāo)題里的重要部分是 GUI 設(shè)計(jì)。你給我一個(gè)能跑的訓(xùn)練腳本業(yè)務(wù)方用不了給我一個(gè)點(diǎn)按鈕就能完成全流程的界面業(yè)務(wù)方才愿意每天用。這一章講怎么用 App Designer 把前面兩步封裝成一個(gè)完整的桌面工具。4.1 三塊功能區(qū)訓(xùn)練、預(yù)測(cè)、解釋各負(fù)責(zé)什么GUI 不要貪多三個(gè)功能區(qū)足夠數(shù)據(jù)加載、訓(xùn)練、解釋。數(shù)據(jù)加載負(fù)責(zé)選文件、預(yù)覽表格、自動(dòng)拆分訓(xùn)練集和驗(yàn)證集訓(xùn)練區(qū)負(fù)責(zé)啟動(dòng)訓(xùn)練、顯示 RMSE 和 R2、把訓(xùn)練好的網(wǎng)絡(luò)和歸一化參數(shù)存進(jìn) GUI 的屬性解釋區(qū)負(fù)責(zé)選擇要解釋的樣本、算 SHAP、畫全局重要性和依賴圖。數(shù)據(jù)格式約定要寫死在界面說明里第一行是列名最后一列是目標(biāo) y前面的列全是輸入特征。常見做法是讓用戶選 Excel 或 CSV 文件用 readmatrix 讀數(shù)值用 readtable 讀列名。列名在畫圖時(shí)用來(lái)標(biāo)特征名這一步不能省否則 SHAP 圖畫出來(lái)是一堆 X1、X2業(yè)務(wù)方根本看不懂。function onLoad(app, ~) [file, path] uigetfile({*.xlsx;*.csv, 數(shù)據(jù)文件}); if isequal(file, 0) return; end data readmatrix(fullfile(path, file)); app.X data(:, 1:end-1); app.y data(:, end); app.LogText.Value sprintf(數(shù)據(jù)讀取完成%d 行 %d 個(gè)特征, ... size(app.X, 1), size(app.X, 2)); end這段代碼里用 app.X 和 app.y 存數(shù)據(jù)是 App Designer 屬性緩存的標(biāo)準(zhǔn)寫法。注意 readmatrix 對(duì) CSV 里的文本列會(huì)報(bào)錯(cuò)所以數(shù)據(jù)文件必須是純數(shù)值列名用 readtable 讀取后單獨(dú)存成 cell 數(shù)組。我在實(shí)際項(xiàng)目中遇到過用戶把“編號(hào)”列一起拖進(jìn)來(lái)這種列對(duì)回歸沒有任何意義反而會(huì)讓 SHAP 解釋出奇怪的噪聲所以 GUI 里要加一個(gè)“剔除無(wú)關(guān)列”的選擇框。4.2 回調(diào)函數(shù)怎么寫異步進(jìn)度條、參數(shù)傳遞和句柄重用App Designer 的核心是回調(diào)函數(shù)。每個(gè)按鈕的回調(diào)里做一件事不要在一個(gè)回調(diào)里又訓(xùn)練又解釋又畫圖界面會(huì)卡成一團(tuán)黑色。訓(xùn)練按鈕的回調(diào)只負(fù)責(zé)調(diào) trainNetwork把結(jié)果存到 app.net、app.mu、app.sigma解釋按鈕的回調(diào)只負(fù)責(zé)調(diào) kernel_shap_dnn把結(jié)果畫到坐標(biāo)軸。訓(xùn)練是同步阻塞的trainNetwork 跑起來(lái)之后界面會(huì)無(wú)響應(yīng)這是 MATLAB GUI 的常態(tài)。我一般會(huì)在訓(xùn)練前把按鈕設(shè)為禁用用 try/catch 包住訓(xùn)練過程結(jié)束后再啟用。要真正的異步必須用 parfeval但協(xié)調(diào)起來(lái)復(fù)雜對(duì)大多數(shù)內(nèi)部工具沒有必要寫日志讓用戶知道正在跑就行。function onTrain(app, ~) app.TrainButton.Enable off; app.LogText.Value 開始訓(xùn)練請(qǐng)稍候…; drawnow; try [net, mu, sigma] train_regression_model(app.X, app.y); app.net net; app.mu mu; app.sigma sigma; app.LogText.Value 訓(xùn)練完成模型已保存到當(dāng)前界面; catch ME app.LogText.Value [訓(xùn)練失敗 ME.message]; end app.TrainButton.Enable on; endtrain_regression_model 是一個(gè)獨(dú)立函數(shù)封裝了第二章里從數(shù)據(jù)劃分到 trainingOptions 的全部邏輯返回值里必須包含 mu 和 sigma。這樣 GUI 回調(diào)里不堆積細(xì)節(jié)出問題時(shí)也能單獨(dú)在命令行測(cè)試這個(gè)函數(shù)。drawnow 的調(diào)用很關(guān)鍵它強(qiáng)制 MATLAB 刷新界面否則日志文字要等訓(xùn)練結(jié)束才會(huì)顯示。回調(diào)里用 app. 前綴訪問屬性是 App Designer 的屬性傳遞機(jī)制不用全局變量。4.3 給別人用數(shù)據(jù)格式約定和 MATLAB Runtime 打包做完 GUI 版方案后下一步是把它交到同事手里。最常見做法是用 Compiler 打包成獨(dú)立桌面應(yīng)用目標(biāo)機(jī)器不需要裝完整 MATLAB但要裝對(duì)應(yīng)版本的 MATLAB Runtime。這里有個(gè)容易踩坑的地方用 R2023a 編譯的程序Runtime 也必須裝 R2023a跨小版本會(huì)出現(xiàn)加載失敗的彈窗。打包時(shí)注意兩點(diǎn)。第一把讀數(shù)據(jù)函數(shù)用到的所有依賴文件放在同一個(gè)工程目錄里用 compiler.build.app 指定主文件和附加文件。第二Runtime 體積很大安裝包分發(fā)要提前給用戶說明不要等裝到一半才解釋。另外如果目標(biāo)機(jī)器上的 MATLAB Runtime 不是 2026b 這類你實(shí)際編譯的版本兼容性最容易出問題交付時(shí)寫清楚版本號(hào)是最省事的做法。% 在編譯前先把依賴列清楚 appFile DNNSHAPApp.mlapp; dataFile read_input_data.m; trainFile train_regression_model.m; shapFile kernel_shap_dnn.m; compiler.build.app(appFile, ... AdditionalFiles, {dataFile, trainFile, shapFile}, ... OutputDir, build);這段代碼把四個(gè)源文件打包進(jìn)一個(gè)應(yīng)用運(yùn)行時(shí)用戶只需要一個(gè) exe 和一份 CSV。中文注釋在舊版 MATLAB 里容易亂碼我習(xí)慣在交付前把源文件里的中文注釋統(tǒng)一改成英文R2023a 之后中文注釋亂碼問題基本消失穩(wěn)妥起見還是建議編譯前檢查一遍顯示效果。5. DNN-SHAP 的避坑手冊(cè)五個(gè)讓結(jié)果翻車的細(xì)節(jié)做這個(gè)項(xiàng)目踩過的坑不少大部分不在網(wǎng)絡(luò)結(jié)構(gòu)上而是在數(shù)據(jù)處理的邊角處。這一章按現(xiàn)象、原因、解決的順序?qū)懬宄恳粭l都是我在項(xiàng)目里實(shí)際遇到過的。5.1 歸一化參數(shù)用錯(cuò)了地方SHAP 值直接不可讀現(xiàn)象訓(xùn)練時(shí) R2 很好但 GUI 里對(duì)單條新樣本預(yù)測(cè)時(shí)數(shù)值偏到離譜SHAP 圖上所有特征的貢獻(xiàn)加起來(lái)與預(yù)測(cè)差值對(duì)不上。原因預(yù)測(cè)新樣本時(shí)用了全量數(shù)據(jù)的 zscore 統(tǒng)計(jì)量或者是用測(cè)試集重新算了一套 mu 和 sigma。zscore 是不穩(wěn)定的mu 和 sigma 必須來(lái)自訓(xùn)練集換了數(shù)據(jù)集重算特征分布就變了DNN 的輸入分布和訓(xùn)練時(shí)不一致輸出自然亂掉。解決把 mu 和 sigma 作為模型的一部分保存用 save 存成 mat 文件預(yù)測(cè)和解釋時(shí)只加載這一份。save(norm_params.mat, mu, sigma); % 預(yù)測(cè)時(shí) loaded load(norm_params.mat); xNorm (newSample - loaded.mu) ./ loaded.sigma;5.2 DNN 隨機(jī)性讓 SHAP 結(jié)果抖動(dòng)先定種子再談解釋現(xiàn)象同樣一份數(shù)據(jù)、同一個(gè)腳本兩天后重跑特征重要性排名變了有的特征從第 1 掉到第 4。原因trainNetwork 默認(rèn)隨機(jī)初始化權(quán)重mini-batch 的 shuffle 也隨機(jī)。DNN 本身是個(gè)隨機(jī)算法SHAP 是對(duì)這個(gè)隨機(jī)模型的解釋模型換了解釋跟著換。解決訓(xùn)練前固定 rng(42)并且把隨機(jī)種子也存進(jìn)模型文件。如果樣本量小、模型不穩(wěn)定就訓(xùn)練 5 次對(duì)預(yù)測(cè)取平均再用平均后的預(yù)測(cè)算 SHAP。解釋層不能承受模型每跑一次都變一套說辭否則業(yè)務(wù)方會(huì)直接否定整個(gè)方案。5.3 背景數(shù)據(jù)集選得太大或太偏采樣參數(shù)怎么設(shè)現(xiàn)象同一個(gè)樣本的 SHAP 值連續(xù)算兩次差異超過 20%特征重要性圖上長(zhǎng)條順序來(lái)回跳。原因nSamples 太低或者背景集 Xb 取了全量訓(xùn)練集導(dǎo)致噪聲過大或者 Xb 里某類樣本占絕大多數(shù)基線預(yù)測(cè) f0 嚴(yán)重偏向那一類。解決背景集用 kmeans 從訓(xùn)練集里選 100 個(gè)代表點(diǎn)覆蓋特征空間的主要分布nSamples 提到 3000 以上。以下代碼把訓(xùn)練集壓縮到 100 個(gè)中心點(diǎn)作為背景集。rng(42); [~, C] kmeans(XTrainN, 100, MaxIter, 500); Xb C .* sigma mu; % 還原到原始尺度5.4 逐列替換特征破壞了變量相關(guān)性掩碼采樣別省這一步現(xiàn)象SHAP 畫出來(lái)面積這個(gè)特征的貢獻(xiàn)是負(fù)的業(yè)務(wù)方說不可能面積越大房?jī)r(jià)越高模型預(yù)測(cè)也確實(shí)是越高。原因我在 3.2 節(jié)給的簡(jiǎn)化實(shí)現(xiàn)里掩碼為 0 的特征是逐列隨機(jī)挑背景值替換的。這會(huì)讓“面積小但房間數(shù)多”這種現(xiàn)實(shí)中不存在的樣本組合出現(xiàn)DNN 在這種樣本上的預(yù)測(cè)行為是外推不能反映真實(shí)邊際貢獻(xiàn)。解決對(duì)掩碼為 0 的所有位置整行使用同一條背景樣本而不是每列獨(dú)立替換。把 3.2 節(jié)的循環(huán)改成按行處理——先抽背景行索引掩碼為 0 的列全部取該行的對(duì)應(yīng)值。這樣既快又能保留特征間相關(guān)性。對(duì)于特征之間強(qiáng)相關(guān)的場(chǎng)景這是必須修改的一步。5.5 GUI 里畫圖句柄打架cla、hold 和 drawnow 的配合現(xiàn)象在解釋按鈕上點(diǎn)第二遍坐標(biāo)軸里疊了第一次和第二次的全部散點(diǎn)圖像糊成一團(tuán)。原因plot 不會(huì)自動(dòng)清空坐標(biāo)軸App Designer 的 UIAxes 也不會(huì)。每次畫 SHAP 圖之前沒有執(zhí)行 cla舊圖層和新圖層疊在一起。解決畫圖前先 cla 清空當(dāng)前坐標(biāo)軸再畫新圖如果依賴圖要疊加參考線用 hold on 前確認(rèn)上一個(gè) hold off 已經(jīng)執(zhí)行畫完加 drawnow 強(qiáng)制刷新。cla(app.GlobAx); barh(app.GlobAx, fnames, meanAbsShap); drawnow;6. 驗(yàn)證 SHAP 可靠性的三個(gè)習(xí)慣效率性、穩(wěn)定性與業(yè)務(wù)一致性SHAP 結(jié)果不是算出來(lái)就能交付的。三個(gè)驗(yàn)證習(xí)慣我每次都會(huì)做缺一個(gè)都不放心把報(bào)告發(fā)出去。效率性驗(yàn)證是第一個(gè)。對(duì)任意一個(gè)被解釋樣本所有特征的 SHAP 值求和加上基線預(yù)測(cè)值應(yīng)該等于 DNN 對(duì)該樣本的預(yù)測(cè)值。誤差在 1e-3 以內(nèi)說明 kernelSHAP 的采樣近似足夠好如果差得遠(yuǎn)優(yōu)先查掩碼權(quán)重有沒有寫錯(cuò)再查背景集是不是太偏。baseline mean(predict(net, Z0)); check (predict(net, x0) - baseline) - sum(shap);穩(wěn)定性驗(yàn)證是第二個(gè)。同一個(gè)樣本、同一個(gè)網(wǎng)絡(luò)用不同隨機(jī)種子算 10 次 SHAP看每個(gè)特征的標(biāo)準(zhǔn)差。標(biāo)準(zhǔn)差超過該特征平均絕對(duì)值的 10%說明采樣次數(shù)不夠把 nSamples 從 1000 提到 5000 再試。這個(gè)驗(yàn)證結(jié)果也可以寫進(jìn)交付文檔業(yè)務(wù)方對(duì)“可復(fù)現(xiàn)”的信任度很高。業(yè)務(wù)一致性是第三個(gè)也是我最看重的一個(gè)。把依賴圖導(dǎo)出發(fā)給業(yè)務(wù)方之前先自己看一遍溫度對(duì)能耗的影響是不是和實(shí)際規(guī)律一致面積對(duì)房?jī)r(jià)的貢獻(xiàn)是不是單調(diào)上升如果依賴圖呈現(xiàn)的趨勢(shì)和業(yè)務(wù)經(jīng)驗(yàn)矛盾先排查數(shù)據(jù)質(zhì)量問題再看特征相關(guān)性而不是強(qiáng)行解釋。這個(gè)項(xiàng)目給我最大的教訓(xùn)是SHAP 是放大鏡模型和數(shù)據(jù)里的臟東西也會(huì)被放大。交付前跑完這三個(gè)檢查再把報(bào)告發(fā)出去能省掉大量來(lái)回扯皮。這組檢查習(xí)慣后來(lái)成了我固定的交付清單效率性誤差、穩(wěn)定性標(biāo)準(zhǔn)差、依賴圖趨勢(shì)。每次都跑一遍已經(jīng)成了肌肉記憶。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
狠狠操狠狠爱| 天天在线久久综合| 九九热99热| 香蕉久久国产av一区二区| 天天激情站| 97人人干| 五月丁香六月婷婷在线播放| 影音先锋 萱萱| 另类国产综合| 精品九九婷婷| 五月天激情四射网站| 久久女人九九| 夜夜谢天天干| 九九色色| 人妻狠狠操| 国内外色色色色色成人视频| 插插五月天| 碰碰人人人| 五月天深爱激情网| 毛片新网地| 超碰在线视屏| 狠狠va| 九九热在线精品视频| 99热99在线| 91精品丝袜久久久久久| 婷婷丁香五月激情中文字幕版| 五月激情在线| 婷婷色成人| Caoub青青超碰| 婷婷五月天视频免费在线观看| 色婷九九九| 亚洲性爱电影| 99久久99热| 欧美三级巜人妻互换| 五月丁香激情婷婷综合| 五月婷婷久久大香蕉| 日本色色色| 99色色热| 大胆伊人久久| 激情综合网五月| 五月丁香啪啪网| 大香蕉五月天婷婷| 玖玖婷婷视频| 亚洲成人在线播放| 婷婷丁香激情五月天色色| 久久se 综合网| 五月婷婷开心综合| 婷婷五月色播网| 天天爽天天爽| 五月天天天天天天天天天天天天天天天婷婷婷 | 日韩小视频在线99| 99热在线中文字幕| 五月天久久婷| 丁香五月天啪啪| 99 热| 九九草草逼| 五月激情天| 色六月天天激情综合网| 探花搜索结果 - 黄上黄| 日夜操B| 丁香婷婷五月天色综合| 日韩美女羞羞网站在线观看| 少妇人妻丰满做爰XXX| 五月激情婷婷六月| 袁子仪视频观看| 婷婷色五月大香蕉在线| 丁香五月天堂网| 欧美内射AA| 久久久精品免费啪啪国| 久久五月综合| 九九AV在线| 五月综合婷婷网| 噜噜狠狠色综合久| 天天干在线播放| 九九热免费视频| 狠狠五月丁香色婷| 色婷五月| 人妻中文av| 久久久久人妻精品| 日本婷久久| 99亚洲欧洲| 五月婷婷色播| 欧美婷婷九月| www.ywav| 国产激情久久| 九九九九这里只有精品| www.99情趣网| 天天透天天摸天天舔| 99A级片| 激情网 久久| 婷婷五月天综合网| WWW.17C亚洲精品| 日韩五月天婷婷| 91婷婷在线观看| 熟女少妇内射日韩亚洲| 久青草影院| 26uuu欧美| 五月丁香色婷婷基地| Av九九| tingtingseav| 九九精品免费视频99| 第五色婷婷| 婷婷五月天在线观看免费| 黄网在线观看免费| 另类视频综合| 丁香99| 午夜免费试看| 99久久五月天| 极骚大香蕉伊人| 天天操屄网| 久久久久久欧美精品se一二三四| 国产精品成人AV在线| 久久九九@| 五月综合婷婷久久在线| 另类的婷婷| 99综合视频| 日本色色视频| 五月情色天| 久久99这里只有精品| 婷婷九月亚洲| 99久久精品视频女神1| 五月婷婷激情综合| 婷婷 伊人 久久| 色99综合视频| 九九在线这里只有精品视频 | 色五月丁香激情视频| 五月丁香婷婷色色| 婷婷色婷婷| 大香蕉Av在线| 丁香五月综合激情啪啪| 精品一区二区三区三区| 色综合色色色色色色综合| 色婷婷精品视频| 99re鈥哸鈥唙| 五月婷婷六月色| 夜夜撸日日骑| 亚洲天堂aaa| 深爱激情四射| 怡红院精品视频久久久久久久久| 婷婷十月丁香| 五月婷婷婷| 久热a| 婷婷五月激情热播| 色五月丁香婷婷综合| 99热6这里之有精品| 婷香五月网在线| 婷婷五月综合色中文字幕| 久9热视频在线观看| 九九色区| 五月天社区| www.yw尤物| 99久久免费性爱视频`| 9色在线| 级情九色| 五月伊人视频在线看| 熟女激情网| 亚洲AV免费在线| 婷婷五月综激情| 色色色五月婷| 欧美色图45678| 欧美色图天堂网| 亚洲思思热久| 天天开心AV色综合婷婷五月天| 日韩色色网| 婷婷五月中文在线| www.丁香黄色五月天人与| 婷婷五月丁香婷婷| 狠狠草狠狠草| 级情九色| 日本欧美成人片AAAA| 久久久天堂国产精品女人| 日本色色影片| 久热精品免费视频4| 欧美月久久| 色久女| 五月婷婷激情四季| 99热99色| 成人婷婷| 六月天婷婷| 九色PORNY9l原创自拍| 日本强伦片中文字幕免费看| 五月天怕怕| 97色色婷婷五月天| 天天撸夜夜爽| 超碰在线视屏| 久久久久9久无码视频| 欧美激情 日韩无码 婷婷 五月天| 综合亚洲AV| 久热大香蕉| 色五月婷婷在线视频| 丁香九月婷婷色| 999久久久国产精品| 泰州成人视频| 99资源人人| 91热爆在线| 五月天婷婷乱| 亚洲五月婷婷| 婷婷五月影院| 色色色色色五月丁香| 中文字幕,综合,91| 91精品无码| 草婷婷在线| 丁香在线视频| 天天情色五月天| 久久99激情丁香婷婷小说网| 激情婷婷| 色欲丁香| 99久久婷婷五月天| 久久婷婷五月| 久久99久久久| 玖玖九九99| www.五月婷婷久久.com| 91九九热| 狠狠五月丁香色婷| 夜夜夜夜夜操| 大香蕉狼人久久| 操逼福利视频| 五月玖玖| 九九99精品视品| 99色综合| 99自拍视频在线| 狠狠色综合网站| 操一区| 99成人在线观看| 婷婷娌伦网| 九九精品丁香花| 99热精品无码| 五月丁香无码| 99色综合| 天天干天天拍| 色婷婷亚洲精品天天综| 色9色| 婷婷五月综合欧美在线播放| 婷婷操逼| 成年人丁香五月| 国产Va视频| 少妇人妻人伦A片| 婷婷五月色播| 婷婷色正月| 色五月色开心开心五月| 超碰资源在线| 久久综合热17c| 欧美性生交A片免费看| 人妻久久婷婷| 怡红院院在线导航网| 日本99久久| 爽tv | 色婷婷久久| 激情五月天的婷婷| 午夜日日| 五月天全国最大成人网| 99在线小视频| 久热re视频在线观看网站| 激情爱爱网站| 亚洲精品久久久久久久久久吃药| 婷婷五月天视| 丁香五月婷婷六月婷| 综合五月丁香六月婷婷| 橾逼网| 丁香六月婷婷综合| 欧美激情综合五月色丁香| 五月丁香综合网| 99激情视频| 六月婷婷最新网址| 亚洲色无码| 国产AV一区二区三区最新精品| 色综合久久44| 五月婷婷丁香综合| 偷偷操99| 色综合五月| 天天网曰日曰夜夜综合永久免费| www.五月天激情| 久久无码成人| 伊人大香五月天| 第四色五月婷婷| 久久精99| 天天日夜夜夜操操操操| 成人av免费观看| 人妻激情视频| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 亚洲AV人人操| 9191avse| 天天做天天爱天天爽| 东京热人妻一区二区三区在线| 人妻精品久久久久久久| 日韩精品无码AV| 99精品小视频| 大香av| 婷婷五月色播| 婷婷综合| 99热每日| 日本色爽| 久久婷婷艹| 天天狠狠色综合| 五月天婷婷网站888| 五月综合丁香婷婷| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 99亚洲大片精品永久在线观看| 一本久久亚洲五月婷婷| AA片在线观看视频在线播放| 亚洲精品欧洲精品| 中文无码婷婷| 婷婷六月综合基地| www.五月天| 99热网站| 九九热中文| 五月天色网站| 99超超碰| 色六月天| 久久女人九九| 激情综合色婷婷啪啪六月天| 成人网站免费在线播放| 亚洲色五月| 天天色月| 欧美成人精品A片免费一区99| 伊人网啪啪| 國語久久婷| 五月婷婷干干干| 国产亚洲99久久精品| 六月丁香婷婷网| 日韩精品视频中文字幕| 涩综合婷婷| 国产三级在线播放| 大香蕉九操| 五月天激情国产综合婷婷婷就去爱| 五月丁香婷婷综合网| 久久五月天激情视频| 十二区无码| 五月婷婷激情| 性色欲情 网站| 五月丁香综合网| 成人电影在线免费试看| 99国产精品久久久久久久久久久| 99精品视频在线观看| 久久婷五月| 精品亚洲国产成AV人片传媒| WWW.色婷婷.COM| 婷婷玖玖丁香| 99热这里只有精品8| 涩涩涩.com| 国产免费一区二区三区三州老师F1F1.CC| 激情婷婷| 久久色五月天激情小说| 五月天激情小说婷婷| 日韩久久成人| www,超碰| 777精品成人a v久久| 99婷婷综合| 香蕉久久国产AV一区二区| 国语对白性爱视频播放| 丁香五月成人丝袜| 欧美大肥婆大肥BBBBB| 五月天婷婷激情干干| 色五月激情图片| 丁香 亚洲 久久| 综合色播| 丁香五月婷婷综合激情啪啪啪| 丁香五月影视| 精品草原久久视频| 激情综合网丁香| 久久久久久久91| 热99精品视频五月| 国产色99| site:minyis.com| 玖玖婷婷视频| 色婷丁香91| 久草xx性爱视频| 五月停视频天堂| 久久九九99字幕| 99九九免费精品| 五月丁香六月激情欧美综合| 婷婷婷婷婷婷婷婷| 综合久久婷婷五月丁香| 92国产福利| 色五月色综合| 99精品视频在线观看| 亚洲婷婷五月天激情| 激情综合区| 九月丁香很很色| 天天操婷婷| 日韩欧美一级大黄网站| 婷婷五月天直播| 婷婷丁香色情| 韩日AV片| 极品人妻VIDEOSSS人妻| 亚州操人在线视频| 丁香九月综合| www.久久99热地址发布| 天天久| www.日韩艹| 99色.com| 色色色色色色综合网| 天天插天天日| 色婷婷狠狠| 丁香五月天婷婷久久综合| 久久久久8888| 乱岳熟女50岁| 婷婷五月天成人| 99久久99九九九99九他书对| 亚洲第一综合| 丁香五月天婷婷激情| 麻豆五月丁香婷婷| 中文aV网| 国产韩日亚洲美州欧亚综合在线| 91婷婷伊人牛牛| 一起草AV| 激情丁香婷婷| 色色丁香婷婷| 丁香 久久| 激情五月婷婷五月丁香五月开心五月| 天天擼久久擼在线| 99热欧| 99热碰碰热| 99热丁香| 99乱视频| 日韩久热| 综合色五月天| 操比激情五月| 综合99在线| 五月色婷丁香| 激情婷婷99| 桔色成人官方网站| 激情五月天开心网丁香无码| 色A网| 色婷婷狠狠干| 激情亚洲五月| 婷婷五月天日本无码| 人妻自慰高清合集| 五月天 无码| 五月婷深深爱激情网| 操比激情五月综合| 久久综合首页| 996热| 99色视频| 偷拍视频五月天| 五月丁香 久久久| www.日日夜夜| 丁香五月婷婷激情视频播放| 亚洲激情色色| 九九热最新| 激情小说视频图片| 狠狠五月天| 天天操婷婷| 色五月婷婷很很操| 激情九月综合| 丁香六月久久| 91丨九色丨东北熟女| 日韩成人AV在线播放| 久热这里有精品视频| 亚洲精品亚洲人成人网| 五月色综合| 五月天激情网图片 - 百度| 色色影院aaaav| 色噜噜,噜噜色| 色久免费| 色婷婷五月天不卡| 色娸娸综合网| 久9久成人精品视频| 香蕉综合在线| 另类图片激情五月天| 免费99情趣网视频| 天天操夜夜橾| 五月丁香激情婷婷| 久99热| 极品少妇XXXX精品少妇偷拍| 五月婷婷黄网站大全| 99偷拍视频在线日本| 一本色道久久综合狠狠躁小说| 性做爰1一7伦| 99热99| 丁香五月激情综合婷综| 日日夜夜狠狠婷婷色| 久久这里99| 婷婷丁香色情| 人人爱国产| 99在线视频网址在线观看| 日韩久操婷婷| 热九九精品| 五月开心婷婷| 久久久久亚洲AV无码网影音先锋| 成人丁香五月| 激情AV网| 激情九月婷婷| 色色色色网色色网色色| 婷婷五月激情综合| 精品爆操| 中文字幕欧美日韩VA免费视频| 高清资源站日A美A欧亚…| 欧美久久久久久久久中文字幕| www.黄色片-久久成人国产精品在线播放-999AV| 久热欧美| 播五月婷婷开心| 五月香蕉婷婷| 欧美在线97| 亚洲中文字幕在线观看| 久婷久婷激情肉| 激情五月天丁香| 五月中旬婷婷丁香六| 九色啦蜜臀| 2025天天日爽| 啪啪91| 99热18| 丁香 婷婷 激情 综合 五月| 四色99久久| 天天操天天日天天爽| 七七久久婷婷| www.色多多婷| 日本韩国视频在线观看社区免费的9| 激情五月丁香社区| 99色色视频| 办公室少妇激情呻吟A片在线观看| 色欲丁香久久| 亚洲精品国产成人AV在线| 丁香五月婷婷深爱综合激情| 丁香激情综合| 人人操AV| 五月丁香av中文| 五月丁香六月婷婷中合网| 欧美天天综合网站上去吧| 五月天婷婷小说| 苗黎美女四级成人版一级二级毛片| 婷婷综合色网| 六月色播| 丁香伍月婷电影全集| 婷婷综合激情| av狠狠操| 国产精产国品一二三在观看| 色婷婷成人做爰A片免费看网站| 六月婷婷av| 五月丁香六月色情网欧美| 婷婷色色播五月天| 玖玖婷婷五月天| 色99婷婷五月天| 婷婷色丁香六月| 九九99精品| 异能之下短剧免费观看全集| 婷婷射综合| 五月婷婷欧洲| 色色色1网址| 狠狠色丁香久久综合婷婷亚洲成人福利| 亚洲婷婷五月草久| 五月天婷婷在线AN| 超碰在线观看成人视| 啪啪婷婷五月天激情| 日本99热| 国产亚洲在线观看| 婷婷六月综合激情| 婷婷久草| 丁香婷婷色五月| 91窝窝| 国产探花AV在线| 丁香五月影院| 五月天婷亚洲天综合网综合 | www.激情五月天。com| se99视频| 狼人伊人干| 亚洲综合婷婷| 五月天婷婷色| 五月婷婷少妇之| 国产精品18久久久| 国产裸舞福利资源在线视频| 婷婷五月天激情小说| 丁香婷婷五月综合色情| 日本片日本片祼观看网站在线看中文版网页在线看 | 开心五月婷婷激情| 伊人久久艹| 天天综合五月天| 色播五月天激情| 婷婷丁香五月基地| 综合噜噜| 97超碰在线免费观看| 五月丁香婷婷深深爱| 综合色色综合| 狠狠色 综合色区| 成人做爰高潮A片免费视频| 丁香五月,开心五月,成人婷婷| 99精品亚洲| 成人午夜在线视频| 91九色中文| 国产婷婷久久| 97色热| 特黄三级片| 操久久网| 五月色婷婷亚洲 | 丁香婷婷在线| 亚洲天天操| 另类色视频| 丰满少妇乱A片无码| 久色网五月| 色婷婷婷婷| 五夜婷婷| 亚洲成人网站在线观看| 欧美精品999| 久热中文字幕在线线观看| 97色婷婷| 色久五月天| 波多野结衣AV无码Porn| http://www.sd-xiangsu.com/| 中文字幕不卡视频| 黄色片区子| 丁香五月久久| 五月天丁香| 深夜婷婷五月丁香| 中文成人在线| 久热无码| 亚洲射激情| 精品国产AV色一区二区深夜久久| 色五月av伊人| 亚洲人人艹| 97碰| 久草五月婷| 激情九色| 激情丁香五月天综合| 夜夜爽77777妓女免费下载| 久久久人妻人伦| 国产精品99久久久久久久女警| 九九婷婷五月天影视| www.91AV.com| 色色a| 婷婷五月天色综合| 大香蕉五月婷婷| 久草热8精品视频在线观看| 五月花激情| 9色免费网| 99精品综合| 丁香婷婷五月六月天| 97se视频在线| 欧美伊人9| 北京熟妇搡BBBB搡BBBB| 99在线精品视频| 国产成人高清| 亚洲偷| 婷婷五月色播| 夜夜夜夜做天天天做无码视频| 9精品视频在线| 色播播五月天| 另类图片激情五月天| 婷婷丁香五月基地| 久久五月天婷婷| 99热这里只有精品50| 久久伦乱| 中文字幕丰满乱孑伦无码专区| 大香人妻| 色婷婷av在线观看| 五月丁香婷婷色| a级毛片一区二区免费视频| 99九九精品| 丁香五月网在线观看| 国产精品色婷婷久久久精品| .青娱乐天天操B| AV在线免费播放| 欧美日韩AAA| 自拍视频99| 大香蕉综合在线| aaa9区免费在线观看| 狠狠操狠狠操| 婷婷激情欧美| 9 99免费视频| 久cao香蕉影院| 丁香五月婷婷AV| 伍月婷婷六月丁香| 丁香五月综合高清在线| 一本道在线电影| 99热免费精品| 久机视频这只有精品| 五月婷婷久久综合| www.婷婷六月天| 欧美影院| 99热精品在线播放观看| 97干视频| 亚洲有码在线视频| 激情四射亚洲| 久久伊人五月天| 99久在线精品99re8| 婷婷操逼网| 91精品婷婷国产综合久久| 色99在线| 日韩无码专区| 综合激情视频| 日日做夜夜爱| 激情丁香婷婷五月天| 91精品婷婷国产综合| 久久99久久99精品免视看婷婷| 91热网址| 丁香五月天啪啪激情综合网| 天天模,夜夜模夜夜爽| 99riAV国产精品视频| 激情婷婷五月社区| 色导航色婷婷五月天在线观看| 大香蕉精品视频| 五月天激情亚洲| 激情婷婷| 色五月综合激情网| 欧州色色| 98永久精品| 大香蕉综合| w婷婷五月婷婷w| 91操在线视频| 色99综合视频| 天天搞夜夜爽夜夜爽| 美女久久天堂| 国产人妻777人伦精品HD| 五月婷婷视频啪啪美女| 狠狠草狠狠草| 狠狠狠狠狠狠狠狠草| 超碰国产一区| 日本色久| 五月天色社区| 囯产精品一品二区三区| 婷婷射丁香| www.lchjjc.com| 九九aV| 天天日综合| 亚洲六月婷| 综合五月丁香久久| 色婷婷啪啪| 嫩草视频| 4399精品一区二区| 激情五月婷婷| 永久免费一区二区三区| 五月婷av| 欧美草久久五月天91| 婷婷久久网| 国产午夜精品一区二区三区嫩草| 色婷婷五月天天天干天天操天天爽 | 3www激情| 婷婷五月天丁香社区| 色色a| 超碰日日操| 色色色色网| 深爱激情网五月天| 深爱激情五月婷婷| 日日婷婷不卡| 好吊丝aV| 。久久久久久久久久久久久久人妻| 97视频91| 五月天婷婷影院| 97人人操人人干| 色色色99| 婷婷五月天视频| 色综合色色| 超碰人人操在线| 五月婷婷在线免费| 99爱在线观看视频| 欧洲高清免费久久| 婷婷中文字幕版| 色综合五月在线| 99综合一区| 五月丁香六月婷婷姐| 99九九精品| 丁香五月婷婷在线视频| 色丁香婷婷美女视频网站| 亚洲五月丁| 超碰精品手机在线| 狠狠狠狠狠狠狠狠草| 欧美激情久| 中文字幕av网站| 99丁香五月婷| 久久综合中文| 色五月色综合| 亚洲无线视频| 日韩国产在线精品| 91嫩草国产线观看亚洲一区二区| 激情九月综合| 激情五月婷婷视频一区二区三区| 久久caop| 91热在线| 天天干com| 久久99婷婷| www,婷婷,com| 五月丁香婷婷色色| 亚洲bt丁香五月天婷婷激情小说| 99亚洲日韩| 五月天激情国产综合婷婷婷| 日本婷婷| 激情婷婷五月丁香啪啪啪| 嘿嘿视频免费看9| site:xiongshengzz.com| 丁香伊人激情| 五月婷婷AV| 天天肏高清在线| 亚洲字幕AV一区二区三区四区| 激情色五月天| 久久久性爱网| 五月丁色AV| 日日夜夜狠狠| 国产一级片| AV在线观看网站| 四色五月婷婷| 九九热精品视频在线观看| 67194中文字幕| 激情综合4月| 色五月婷婷亚洲最大| 国产暴力强伦轩1区二区小说| 久Se视频在线观看| 天天噜噜| 涩综合婷婷| 日日夜夜亚洲一区| 激情二色月| 丁香婷婷大香蕉| 99久久婷婷五月综合| 99热大片| 九九99久久| 国产婷婷久久| Www.激情| 丁香五月婷婷高清| 婷婷丁香五| 色色日本欧美| 美腿丝袜AV天堂网| 丁香婷婷五月六月天| AA片在线观看视频在线播放| 青青操绿aaa一区日v| 久热一本| 99综合视频| 丁香婷婷色色| 99色在线| 丁香色六月婷婷| 欧美日本va| bbwcuckold精品熟妇| 5月婷婷激情6月| 国外亚洲成AV人片在线观看| 99色色网站| 99国产精品久久久久久久久久久| 亚洲婷婷月丁香五月| 91中文狠狠综合| 五月开心色| 亚洲旡码| 精品国产AV色一区二区深夜久久| 五月天综合区| 操婷婷久久| 亚洲婷婷91丁香| 香蕉久久国产av一区二区| 天天干天天干天天操| 婷婷五月小说色综合| 看片视频在线免费日产在线看| 开心婷婷五| 夜色热久| 97AV在线视频| 日逼免费视频| 另类综合激情| 人妻无码视频网| 综合一区二区三区| 色播五月丁香婷婷| 日本在线视频看se99| 色婷婷色99国产综合精品| 日韩色色视频www| 婷婷五月天堂| 丁香五月色情av| 大香蕉AV在线| 日本社区五月天激情| 国产亚洲99| 97婷婷丁香五月天激情图片| 99自拍视频在线| 综合五月激情| 另类专区在线观看| 99er久久| 五月丁香色婷婷色| 伊人婷婷大香蕉| 69久久久| 丁香六月成人| 色色色色色色五月婷婷| 99热在线观看精品| 99精品免费欧美小视频 | 五月婷婷五月天天| 99视频精品在线| 异能之下短剧免费观看全集| 九九色逼| 亚洲九九99精品视频在线播放| 欧美日韩成人在线| 国产另类综合| 99热99天堂| 99热这里都是精品| 激情六月婷婷| 五月婷婷乱| 99在线观看视频免费| 99热欧美精品| 另类丁香五月天区图| 国产激情视频在线观看| 婷婷激情六月| 二色AV| 涩婷婷五月天| 国产99美少妇| 99啪啪骑| 中文字幕日本最新乱码视频| 五月伊人婷婷| j久久性爱视频| 五月丁香成年黄色| 五月婷天堂视频| 九九精品免费视频99| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 久久欧洲综合网| 婷婷五月激情四月综合| 亚洲成人网站在线播放| 影音先锋 萱萱| 9色婷婷| 国产精品人成A片一区二区| 色五月天丁香婷婷| 婷婷五月花西瓜| 情久久综合五月天| 丁香婷婷综合精品六月初| 色综合久久88| 超级碰碰视频无码| 丁香五月天91| 人妻丰满精品一区二区A片| 激情小说五月欧美亚洲丁香| 色五月丁香五月婷婷五月成人网| 99热这里有精品6| 久久er免费视频| 天天日综合网射| 97色碰| 日韩六十路91性交电影| 99惹| 天天草天天摸| 激情四射五月天| 五月天伊人| 亚洲乱码日产精品BD| 色婷婷婷婷成人网| 丁香五月成人论坛| 综合色五月| 婷婷色在线视频| 91色久| 五月丁香大香蕉| 有码一区二区三区| 国产婷婷婷| 97久久人人人干| 五月婷婷六月丁香首页| 欧美性二区| 婷婷五月天六月综合| 五月丁香六月激情在线| 天堂综合久久| 精品激情| 97五月天| 91a片爽| 五月丁香婷婷啪啪综合| 99久热| 五月婷婷之激情五月| 热久久国产视频| 婷婷九月综合| 日本精品久久久久中文字幕 | 天天草天天爱| 人妻久久婷婷| 97在线99| 婷婷五月丁香久久| 激情五月激情综合网一级丸片| 狠狠插狠狠| 激情五月天色播| 婷婷丁香五月麻豆| 五月婷婷涩涩爱| 超碰高清在线| 天天成人丁香美女AV| 中文字幕av在线| 婷婷丁香婷婷97| 欧美日韩91| 99爱视频在线观看| 久99视频| 丁香婷婷久久| 色色日韩无码| 九九这里只有精品| 中文字幕无码成人电影| 日韩啪啪视频| 亚洲色图五月丁香| 成人无码精品1区2区3区免费看| 色站9/| 五月天婷婷黄色| 91色综合网| 99热这里只有在线| 五月婷婷在线视频| 97碰在线| 激情五月开心五月丁香五月| 天天操无码| 99久久.www| 综合伊人狠狠| 一级片操逼视频| 婷婷国产综合| 久久a热| 人人操人人添人人摸97| 婷婷五月天免费视频| 最近免费中文字幕大全高清大全1| 九九九日本熟女| 五月天全国最大成人网| 久久这里有精品| 涩五月婷婷| 色五月婷婷av| 99综合久久| 96丁香六月婷婷蜜桃综合久久| 色久一| 另类视频丁香五月| 高清一区二区三区日本久| 夜夜天天天天天干天天爽| 亚洲日韩一页精品发布| 噜综合| 懂色av粉嫩av蜜臀av| 五月天深爱激情网| 九九人人看| 五月婷六月| 久热AA| 俺也去色| 5月色亭亭视频| 26UUU精品一区二区| 亚洲精品va| 丁香狠狠干| 天天日天天干天天爽| 99热日韩| 日韩艹比| 色婷婷激情五月天| 99热色婷婷| 91viP在线看| 影音先锋高清无码资源网| 国产资源91在线| www.91.com黄| 成人做爰A片免费看视频| 天天艹天天色| 婷婷五月天免费99| 久色欧美| 99精品97| 日本久久婷| 常久最新免费的色吊丝| 中文字幕在线免费观看视频| 日本一级一级一级一级| 超碰三级秋霞| 国产黄大片在线观看画质优化| 欧美丁香五月夫妻天| 色综合久久44| AV大片在线观看| 99热99精品| 亚洲综合激| 超碰免费电影| 狠狠操狠狠操AV| 人色五月天婷婷| 亚洲成人精品三区| 狠狠色婷婷777| 深爱激情久久| 天天综合亚洲综合网天天αⅴ| 1000部毛片A片免费观看| 五月婷精品| 六月丁香婷婷色69| 久久婷婷激情| aaa9区免费在线观看| 婷婷免费视频| 久久伦乱| 激情五月天开心总和网| 久久精彩综合视频| 久久东京热婷婷五月| 一起草AV入口| 日韩精品一品二区三区的使用体验| 欧美日本黄色| 99re久热| 亚洲婷婷性爱| 少妇人妻丰满做爰XXX| 中文字幕在线不卡| 丁香五月欧美色综合| 五月婷综合性中心| 六月婷婷综合激情| 吾爱AV导航| 怡红院91a√| www.十八禁不禁AV.com| 超碰人人干| 亚洲AV电影美洲AV电影| 婷婷综合久久| 色情婷婷| 婷婷五月天色| 激情五月天在线视频| 狠狠操狠狠爱| 成年人丁香五月| 五月婷婷人人人操| 色综合久久88色综合天天看| 综合网五月| 激情人妻综合| 色婷婷综合网站| 婷婷 伊人 久久| 日韩久热| 久久亚洲无码| 婷婷大香蕉| 91狠狠色| 五月丁香六月婷婷国产视频| 思思热视频在线观看| 婷婷噜噜| 激情五月天com| 國語久久婷| 人人人操| 激情九月婷婷| 国产精品人成A片一区二区| 思思99热| 午夜大香蕉| 色婷插| 五月丁香亭亭AV女优| 超碰人人艹| 欧美婷婷五月天综合| 五月婷婷丁香五月| 久久大香蕉同僚| 内射爽无广熟女亚洲| 婷婷成人基地| 2050人人操免费工开爱| 日本三级第一页| 视频一二区| 久久久er热| 俺去也在线官网| 婷婷丁香五月天中文字幕| 99在线免费视频| 激情五月综合婷婷| 婷婷9月天| 99碰超| 日日操夜夜爽天天天| 玖玖资源天天无码| 久综合| 777米奇影视第四色| 婷婷综合视频| 色色色9| 综合久久8| 人人操Av| 丁香婷婷色情| 久久婷五月| 九色视频入口91| 人人爱干人人爱草| 色噜噜狠狠狠综合曰曰曰| 色色色色色色网| 天天干天天日蜜臀av| 久久免费操| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | www.99成人视频| 九九99免费视频| 无语停婷丁香网| 天天拍夜夜撸| h亚洲| 中文字幕在线aⅴ免费观看| 激情久久久久久久久久久| 狠狠做五月婷婷| 色五月中文网| 婷婷狠狠干| 欧美一级色| 婷婷五月丁香91| 婷婷干六月综合旧址| 99色色爰| 色婷婷五月天| 97成人丁香| 天天日人人| 五月天久久久| 色5月婷婷色| 99ri精品在线| 丁香五月伊人| 99亚洲大片精品永久在线观看 | 伊人色综合网| 99久久.www| 激情六月天婷婷| 午夜av网| 色婷婷丁香五月在线观看| 久久综合站| 婷婷丁香激情五月| 天天影院色| 久久草人妻| 色色色综合| 熟女乱论网| 性做久久久久久久免费看| 色婷婷丁香五月天在线视频| 97碰啪啪| www久久久久久久97| 五月丁香91| 91九色视频| 激情婷婷六月天| 色九九综合| 久青草影院| 色综合综合色| 激情五月天色播| 影音先锋 婷婷| 九九九激情网| 天天视频亚洲| 99碰碰。| 婷香五月激情视频| 97色啪| 79精品视频在线观看,| 色999亚洲人成色| 五月色网| 无码天天操| 狠狠色婷| 天天肏视频| 国产精品在线视频| 亚洲婷婷性爱| 97操碰在线视频| 91色色色| 亚洲国产精品二二三三区| 99色热视频| 最新日韩AV中文字幕| 久热这里只有精品6| 丁香五月婷婷欧美激情-中文天堂最新版在线观看 | 182无码| 婷婷激情五月| 久久99热网| 一本色道久久综合狠狠躁小说| 人人操插| 久久婷婷七月丁香| 色综合区| 日韩按摩二区| 日都一级A片| 婷婷五月天视频| 色天天久婷婷| 国产亚洲99久久| 91九色首页| 美女美女美女三级色天天天天天| 午夜福利成人AV91| 大香蕉啪啪啪| 五月天亭亭俺也| 日本色道视频网站| 香蕉五月婷婷| 五月丁香综合在线| 天天色爽| 欧美精品99| 国产精品电| www.夜夜操| 五月天综合在线观看| 思思99热在线| 97婷婷在线| 色必久悠悠影院| 99热大| 国产高清视频91九九九久久久| 日本超碰在线| 五月丁香在线观看| 天天肏天天爽夜夜爽| 亚洲AV综合网| 天久久久久| 丁香六月婷婷综合| 婷婷丁香激情综合色情| 天天拍久久| 天天色伊人| 丁香婷婷六月天| 99亚洲综合| 欧日韩AV| 97色色婷婷五月天| 五月天伊人久久| 日本4399天堂中出| 亚洲激情综合| 九九热视频免费| 色婷婷激情视频| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 国产免费性爱| 日日操夜夜擼| 婷婷丁香熟女| 国自产拍偷拍精品啪啪一区二区| 婷婷操逼| 啪啪99| 99re视频在线播放| 五月婷婷中文字幕AV| 婷婷色情六月| 99精品小视频| 成人丁香五月天| 日韩综合久| 久九色| 日韩成人网址| 大香蕉综合在线| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品 | www.99热| 99ri国产在线| 99热精品在线观看| 中文字幕1区2区。| 超碰在线网站| 久久婷婷综合基地| 超碰在线国产| 九月婷婷| 99热这里只是精品| 思思热精品在线视频| 久机视频这只有精品| 26uuu成人网| 9久热| 任你躁XXXXX麻豆精品| 大香AV| 伊人五月人妻精品| 天堂草在线看www|