欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

MATLAB手寫(xiě)SMOTE:類別不平衡、KNN插值與調(diào)參避坑

MATLAB手寫(xiě)SMOTE:類別不平衡、KNN插值與調(diào)參避坑 簡(jiǎn)介面向使用 MATLAB 處理類別不平衡數(shù)據(jù)的機(jī)器學(xué)習(xí)學(xué)習(xí)者與工程人員這份 SMOTE 算法實(shí)現(xiàn)包提供了一套可直接參考的合成少數(shù)類過(guò)采樣代碼。核心由兩個(gè) .m 文件構(gòu)成其中一個(gè)承載 SMOTE 主流程另一個(gè)作為調(diào)用與測(cè)試示例便于對(duì)照理解 K 近鄰選取、隨機(jī)線性插值以及新樣本合成的具體寫(xiě)法隨包的 txt 許可證說(shuō)明與 git 配置文件則交代了授權(quán)范圍與版本管理信息。壓縮包共 5 個(gè)文件以 .m 源碼為主輔以說(shuō)明與配置類文本整體約 3KB體積輕量解壓后即可閱讀。已有 1324 人學(xué)習(xí)說(shuō)明其在教學(xué)演示與工程復(fù)現(xiàn)中有一定參考面。對(duì)需要在分類任務(wù)中快速接入過(guò)采樣環(huán)節(jié)的讀者而言可借這份代碼觀察平衡前后模型在召回率、F1 分?jǐn)?shù)等指標(biāo)上的變化也便于按自身數(shù)據(jù)格式調(diào)整近鄰數(shù)與合成比例作為理解算法細(xì)節(jié)的起點(diǎn)。1. SMOTE 不是萬(wàn)能藥一份 MATLAB 版本能幫你解決什么一個(gè)做設(shè)備異常檢測(cè)的朋友把模型結(jié)果貼給我看準(zhǔn)確率 97.4%我讓他把混淆矩陣也發(fā)過(guò)來(lái)——故障類召回 0。這類數(shù)據(jù)在 MATLAB 里跑十個(gè)模型九個(gè)都這樣正樣本占比不到 3%分類器只要全判正常就能拿到高分。SMOTE 算法Synthetic Minority Over-sampling Technique就是沖著這個(gè)局面來(lái)的它不復(fù)制少數(shù)類而是在少數(shù)類樣本與其 KNN 近鄰的連線上隨機(jī)插值造出一批“像但不等同”的新樣本讓分類邊界重新有得選。這份 MATLAB 版本的價(jià)值不在于公式多高深而在于把近鄰選擇、插值方向、采樣倍率全部攤開(kāi)成可控參數(shù)方便你在自己的數(shù)據(jù)上驗(yàn)證它到底是幫了模型還是只加了噪聲。適合手上有類別不平衡數(shù)據(jù)、會(huì)用 MATLAB 做建模、但被召回率卡住的從業(yè)者。2. 環(huán)境與數(shù)據(jù)把不平衡數(shù)據(jù)集整理成可復(fù)現(xiàn)的輸入SMOTE 的效果有一半不取決于算法本身而取決于喂進(jìn)去的數(shù)據(jù)長(zhǎng)什么樣。同一份代碼特征沒(méi)標(biāo)準(zhǔn)化、切分順序反了、類別字段被強(qiáng)行插值跑出來(lái)的合成樣本就是一堆沒(méi)法解釋的數(shù)字。這一章先把輸入這一側(cè)的事情做干凈后面調(diào) k 值和倍率才有意義。2.1 數(shù)據(jù)讀取與類別分布體檢MATLAB 里不平衡數(shù)據(jù)常見(jiàn)的三種來(lái)源CSV/Excel 表格、.mat里的矩陣、數(shù)據(jù)庫(kù)查詢結(jié)果。不管哪種第一步都是把特征矩陣和標(biāo)簽向量分開(kāi)然后統(tǒng)計(jì)每個(gè)類的樣本數(shù)和不平衡比。不平衡比是最多類樣本數(shù)除以最少類樣本數(shù)這個(gè)數(shù)決定了你后面該用 SMOTE 還是該考慮別的路子。% 讀取表格數(shù)據(jù)約定最后一列是標(biāo)簽前面都是特征 T readtable(fault_log.csv); y T.label; % 標(biāo)簽列數(shù)值或字符串均可 X table2array(T(:, 1:end-1)); % 特征矩陣 N x Pdouble % 統(tǒng)計(jì)類別分布 [classList, ~, gidx] unique(y); counts accumarray(gidx, 1); ratio counts / sum(counts); fprintf(類別數(shù): %d\n, numel(classList)); for i 1:numel(classList) fprintf( 類別 %s: %d 條 (%.2f%%)\n, ... string(classList(i)), counts(i), ratio(i) * 100); end imbalance max(counts) / min(counts); fprintf(不平衡比: %.1f : 1\n, imbalance);這段代碼里unique的第三個(gè)返回值gidx是每個(gè)樣本所屬類別的編號(hào)accumarray按編號(hào)累加就得到每類計(jì)數(shù)比對(duì)字符串標(biāo)簽做循環(huán)判斷穩(wěn)得多。table2array要求前面所有列都是數(shù)值型如果表里有文本列得先單獨(dú)處理不能直接轉(zhuǎn)。體檢結(jié)果決定后續(xù)策略大致可以按下面這個(gè)區(qū)間判斷不平衡比典型場(chǎng)景處理建議1:1 3:1輕度傾斜優(yōu)先調(diào)分類器權(quán)重SMOTE 收益有限3:1 20:1常見(jiàn)業(yè)務(wù)數(shù)據(jù)SMOTE 或加權(quán) 閾值調(diào)整組合使用20:1 100:1故障、欺詐類SMOTE 邊界清理必須看召回和精確率超過(guò) 100:1極稀有事件先確認(rèn)少數(shù)類樣本是否夠做 KNN考慮異常檢測(cè)思路最后一行是血淚經(jīng)驗(yàn)少數(shù)類只有十幾個(gè)樣本時(shí)k 取 5 已經(jīng)逼近樣本總數(shù)合成出來(lái)的點(diǎn)高度集中等于把噪聲放大。這種情況先把少數(shù)類樣本補(bǔ)到 30 條以上再談 SMOTE。2.2 劃分策略先分層切分再做重采樣這是整篇最容易翻車的一步。很多人習(xí)慣先把少數(shù)類過(guò)采樣到平衡再cvpartition切訓(xùn)練測(cè)試集結(jié)果測(cè)試集里混進(jìn)了由訓(xùn)練樣本插值出來(lái)的合成點(diǎn)評(píng)估分?jǐn)?shù)虛高得離譜上線就掉。正確順序只有一個(gè)先切分再只在訓(xùn)練集上過(guò)采樣測(cè)試集保持原始分布不動(dòng)。% 固定隨機(jī)流保證切分可復(fù)現(xiàn) rng(2024, twister); % 分層留出法cvpartition 對(duì)分類標(biāo)簽?zāi)J(rèn)按類分層 cvp cvpartition(y, Holdout, 0.3); Xtr X(training(cvp), :); ytr y(training(cvp)); Xte X(test(cvp), :); yte y(test(cvp)); fprintf(訓(xùn)練集: %d 條測(cè)試集: %d 條\n, ... numel(ytr), numel(yte)); % 確認(rèn)切分后訓(xùn)練集里的少數(shù)類還在 [clsTr, ~, gTr] unique(ytr); cntTr accumarray(gTr, 1); disp(table(string(clsTr), cntTr, VariableNames, {class,count}));cvpartition的Holdout參數(shù)是測(cè)試集比例0.3 表示留 30%。對(duì)分類標(biāo)簽它默認(rèn)分層也就是盡量保持訓(xùn)練集和測(cè)試集的類別比例一致不需要額外寫(xiě)Stratify。分層切分之后還要打印一次訓(xùn)練集類別計(jì)數(shù)因?yàn)樯贁?shù)類樣本本來(lái)就少隨機(jī)切分有可能把某一類的樣本切得只剩個(gè)位數(shù)后面 KNN 直接失效。如果數(shù)據(jù)量小留出法單次切分的方差太大改成 k 折交叉驗(yàn)證更穩(wěn)cvp cvpartition(y, KFold, 5); for f 1:cvp.NumTestSets Xtr X(training(cvp, f), :); ytr y(training(cvp, f)); Xte X(test(cvp, f), :); yte y(test(cvp, f)); % 在這里對(duì) Xtr/ytr 做 SMOTE再訓(xùn)練、再在 Xte/yte 上評(píng)估 end注意 SMOTE 必須寫(xiě)在循環(huán)內(nèi)部、只作用于當(dāng)前折的訓(xùn)練集。寫(xiě)在外面一次過(guò)采樣再循環(huán)評(píng)估等于讓每一折都看到了其他折的信息交叉驗(yàn)證分?jǐn)?shù)會(huì)明顯偏高。2.3 特征標(biāo)準(zhǔn)化與類別型字段的處理SMOTE 在特征空間里做線性插值距離度量默認(rèn)是歐氏距離所以量綱的影響非常直接一個(gè)取值范圍 0 到 10000 的特征會(huì)把 0 到 1 的特征完全壓住KNN 找到的“近鄰”基本只在這一個(gè)大尺度特征上相近插值出來(lái)的樣本在其余維度上是亂的。標(biāo)準(zhǔn)化參數(shù)必須從訓(xùn)練集統(tǒng)計(jì)不能對(duì)全量數(shù)據(jù)做否則測(cè)試集的均值方差信息泄漏進(jìn)訓(xùn)練過(guò)程% 只用訓(xùn)練集統(tǒng)計(jì)均值和標(biāo)準(zhǔn)差 mu mean(Xtr, 1); sg std(Xtr, 0, 1); sg(sg 0) 1; % 常數(shù)列避免除零 Xtr (Xtr - mu) ./ sg; Xte (Xte - mu) ./ sg;std的第二個(gè)參數(shù) 0 表示按樣本標(biāo)準(zhǔn)差除以 n-1計(jì)算和zscore的默認(rèn)行為一致。常數(shù)列把標(biāo)準(zhǔn)差置 1 而不是 0是為了避免整列變成 NaN這一列本身對(duì)模型沒(méi)貢獻(xiàn)但保留維度比刪列更省事。類別型字段是另一個(gè)雷區(qū)。獨(dú)熱編碼后的 0/1 列做線性插值會(huì)得到 0.37 這種沒(méi)有意義的值分類器要么報(bào)錯(cuò)要么把它當(dāng)連續(xù)特征處理。常見(jiàn)做法是在進(jìn)入 SMOTE 之前把類別列拆出去只對(duì)連續(xù)特征做插值合成完再把類別列按最近鄰樣本的類別值補(bǔ)回去或者干脆對(duì)類別列改用 SMOTENC 一類的思路。MATLAB 原生沒(méi)有現(xiàn)成的 SMOTENC工程上更省事的辦法是把低頻類別合并、高基數(shù)類別做目標(biāo)編碼轉(zhuǎn)成數(shù)值后再統(tǒng)一處理。3. 手寫(xiě) SMOTE 核心KNN 選點(diǎn)與插值公式在 MATLAB 里怎么落地自己寫(xiě)一遍不是為了替代工具箱而是為了在參數(shù)不生效、結(jié)果對(duì)不上的時(shí)候能拆開(kāi)看。SMOTE 的公式本身只有一行坑基本都在近鄰索引和隨機(jī)數(shù)的用法上。3.1 算法三步驟與輸入輸出約定標(biāo)準(zhǔn) SMOTE 的流程拆成三步找出少數(shù)類樣本集合對(duì)集合里每個(gè)樣本用 KNN 找 k 個(gè)最近鄰在樣本與隨機(jī)選中的某個(gè)近鄰之間做線性插值合成新樣本。插值公式是x_new x_i λ · (x_zi ? x_i)其中x_zi是x_i的某個(gè)近鄰λ是 0 到 1 之間的隨機(jī)數(shù)。λ取 0 時(shí)合成點(diǎn)與原樣本重合取 1 時(shí)落在近鄰上中間的取值保證新樣本落在兩點(diǎn)連線上。這也解釋了為什么 SMOTE 對(duì)噪聲敏感如果x_i本身就是被錯(cuò)標(biāo)的樣本插值會(huì)把錯(cuò)誤標(biāo)簽擴(kuò)散到一整片區(qū)域。函數(shù)接口我一般定成五個(gè)輸入特征矩陣、標(biāo)簽向量、近鄰數(shù) k、目標(biāo)比例、隨機(jī)種子輸出合成樣本矩陣和對(duì)應(yīng)標(biāo)簽。這個(gè)約定和后面調(diào)參、對(duì)照實(shí)驗(yàn)都能對(duì)上。3.2 一個(gè)可直接調(diào)的 smote 函數(shù)實(shí)現(xiàn)function [X_syn, y_syn] smote_matlab(X, y, k, ratio, seed) % smote_matlab 手寫(xiě) SMOTE 過(guò)采樣二分類/多分類通用每次只處理一個(gè)少數(shù)類 % X 特征矩陣 N x Pdouble已標(biāo)準(zhǔn)化 % y 標(biāo)簽向量 N x 1數(shù)值或字符串 % k 近鄰數(shù)正整數(shù)必須小于少數(shù)類樣本數(shù) % ratio 目標(biāo)比例合成后少數(shù)類樣本數(shù) ratio * 多數(shù)類樣本數(shù) % seed 隨機(jī)種子保證結(jié)果可復(fù)現(xiàn) if nargin 5, seed 42; end rng(seed, twister); % 找出樣本數(shù)最少的類作為少數(shù)類 [classList, ~, gidx] unique(y); counts accumarray(gidx, 1); [~, minIdx] min(counts); minority classList(minIdx); X_min X(y minority, :); n_min size(X_min, 1); n_maj sum(counts) - n_min; % 計(jì)算需要合成多少條 n_target round(ratio * n_maj); n_need n_target - n_min; if n_need 0 X_syn X_min; y_syn repmat(minority, n_min, 1); return; end if k n_min error(k (%d) 必須小于少數(shù)類樣本數(shù) (%d), k, n_min); end % KNN 近鄰K 取 k1 是為了把自身排掉 idx_knn knnsearch(X_min, X_min, K, k 1); idx_knn idx_knn(:, 2:end); % 第一列是自身丟棄 % 逐條生成合成樣本 X_syn zeros(n_need, size(X, 2)); for i 1:n_need base randi(n_min); % 隨機(jī)選一個(gè)少數(shù)類樣本 nb idx_knn(base, randi(k)); % 從它的 k 個(gè)近鄰里隨機(jī)選一個(gè) lambda rand(1, size(X, 2)); % 每個(gè)維度獨(dú)立的隨機(jī)插值系數(shù) X_syn(i, :) X_min(base, :) lambda .* (X_min(nb, :) - X_min(base, :)); end y_syn repmat(minority, n_need, 1); endknnsearch返回的索引按距離升序排列第一列是查詢點(diǎn)自身距離 0所以取2:end把自身排除這一步漏掉的話合成樣本會(huì)大量與原樣本重合等于做了隨機(jī)復(fù)制。randi(n_min)是有放回抽樣同一樣本可能被選中多次這是 SMOTE 的原始設(shè)計(jì)不需要去重。lambda這里用了rand(1, P)每個(gè)特征維度一個(gè)獨(dú)立隨機(jī)數(shù)也有實(shí)現(xiàn)用單個(gè)標(biāo)量rand()對(duì)所有維度共用兩種都有人用前者生成的樣本分布更分散后者更貼近原始論文。做對(duì)照實(shí)驗(yàn)時(shí)固定一種別中途換。調(diào)用方式[Xtr_syn, ytr_syn] smote_matlab(Xtr, ytr, 5, 0.8, 42); Xtr_bal [Xtr; Xtr_syn]; ytr_bal [ytr; ytr_syn]; fprintf(過(guò)采樣前少數(shù)類 %d 條過(guò)采樣后 %d 條\n, ... sum(ytr minority), sum(ytr_bal minority));ratio取 0.8 表示把少數(shù)類補(bǔ)到多數(shù)類的 80%不一定要補(bǔ)到 1:1。補(bǔ)到完全平衡在多數(shù)場(chǎng)景下并不是最優(yōu)尤其是少數(shù)類里混有噪聲時(shí)1:1 會(huì)把噪聲的影響放大一倍。3.3 向量化提速別再寫(xiě)雙重循環(huán)上面的循環(huán)版在小數(shù)據(jù)上沒(méi)問(wèn)題樣本上萬(wàn)、需要合成幾十萬(wàn)條時(shí)就會(huì)明顯變慢。MATLAB 的矩陣索引可以把整個(gè)生成過(guò)程壓成幾行速度差一個(gè)量級(jí)。% 向量化版本替換循環(huán)部分 baseIdx randi(n_min, n_need, 1); % 每條樣本的基準(zhǔn)點(diǎn) nbPick randi(k, n_need, 1); % 每條樣本選第幾個(gè)近鄰 linIdx sub2ind(size(idx_knn), baseIdx, nbPick); % 轉(zhuǎn)成線性索引 nbIdx idx_knn(linIdx); % 近鄰樣本下標(biāo) lambda rand(n_need, size(X, 2)); % 逐維度隨機(jī)系數(shù) X_syn X_min(baseIdx, :) ... lambda .* (X_min(nbIdx, :) - X_min(baseIdx, :));關(guān)鍵是sub2indidx_knn是n_min × k的矩陣baseIdx和nbPick是兩個(gè)列向量直接寫(xiě)idx_knn(baseIdx, nbPick)在舊版本 MATLAB 里會(huì)按笛卡爾積展開(kāi)成n_need × n_need的矩陣內(nèi)存瞬間爆掉。sub2ind把它轉(zhuǎn)成線性下標(biāo)取出來(lái)的才是逐元素對(duì)應(yīng)的那一個(gè)近鄰。這個(gè)坑我在一次三十萬(wàn)條合成的任務(wù)里踩過(guò)機(jī)器直接卡死。向量化之后X_min(baseIdx, :)會(huì)復(fù)制出一份n_need × P的矩陣內(nèi)存占用大約是合成樣本本身的兩倍。數(shù)據(jù)維度很高時(shí)P 上千可以分塊生成每塊一萬(wàn)條拼完再返回。3.4 用內(nèi)置 smote 函數(shù)做交叉驗(yàn)證較新版本的 Statistics and Machine Learning Toolbox 提供了smote函數(shù)參數(shù)名和默認(rèn)值在不同版本間可能有差異先用help smote或exist(smote, file)確認(rèn)本地有沒(méi)有再照著幫助文檔寫(xiě)。手寫(xiě)版和內(nèi)置版各跑一遍、對(duì)比合成樣本的均值和協(xié)方差是確認(rèn)自己實(shí)現(xiàn)沒(méi)寫(xiě)錯(cuò)的最快方式。if exist(smote, file) 2 % 參數(shù)名以本地 help smote 為準(zhǔn)這里只示意調(diào)用形式 [X_builtin, y_builtin] smote(Xtr, ytr, Class, minority, ... K, 5, Ratio, 0.8); fprintf(內(nèi)置函數(shù)合成后樣本數(shù): %d\n, size(X_builtin, 1)); else fprintf(當(dāng)前環(huán)境沒(méi)有 smote 函數(shù)使用手寫(xiě)版本\n); end對(duì)比時(shí)不要只看樣本總數(shù)要看每個(gè)特征的均值和標(biāo)準(zhǔn)差有沒(méi)有被拉偏。合成樣本的均值應(yīng)該落在原少數(shù)類均值附近標(biāo)準(zhǔn)差略小于原分布因?yàn)椴逯禃?huì)向中心收縮。如果某個(gè)特征的標(biāo)準(zhǔn)差突然翻倍多半是那一列沒(méi)標(biāo)準(zhǔn)化或者混進(jìn)了異常值。4. 參數(shù)怎么設(shè)k 值、倍率與隨機(jī)種子SMOTE 的可調(diào)參數(shù)不多但每一個(gè)都對(duì)結(jié)果有實(shí)質(zhì)影響。默認(rèn)值照抄能跑通跑出來(lái)的模型好不好用是另一回事。4.1 k 值的取值邊界與失效場(chǎng)景k 是每個(gè)少數(shù)類樣本參考的近鄰個(gè)數(shù)原始論文建議 5工程上 3 到 10 都常見(jiàn)。k 太小合成樣本緊貼原樣本多樣性不足模型容易過(guò)擬合到那幾個(gè)點(diǎn)k 太大近鄰可能跨越類別邊界合成點(diǎn)直接落進(jìn)多數(shù)類區(qū)域等于給模型喂錯(cuò)標(biāo)樣本。取值有個(gè)硬約束k 必須小于少數(shù)類樣本數(shù)否則knnsearch找不到足夠的近鄰。少數(shù)類只有 20 條時(shí) k 最大取 19但實(shí)際取到 15 以上已經(jīng)沒(méi)有意義近鄰集合幾乎覆蓋整個(gè)少數(shù)類插值退化成在全局范圍內(nèi)隨機(jī)撒點(diǎn)。我一般按少數(shù)類樣本數(shù)分檔少數(shù)類樣本數(shù)建議 k說(shuō)明 201 3近鄰信息不足優(yōu)先補(bǔ)數(shù)據(jù)而不是調(diào) k20 1003 5最常用的區(qū)間100 10005 10可以嘗試更大 k 提升平滑度 10005 15邊際收益遞減重點(diǎn)轉(zhuǎn)向邊界清理判斷 k 是否合適有個(gè)簡(jiǎn)單辦法合成完之后統(tǒng)計(jì)每個(gè)合成點(diǎn)到其最近多數(shù)類樣本的距離和少數(shù)類原樣本到最近多數(shù)類樣本的距離分布做對(duì)比。合成點(diǎn)的這個(gè)距離明顯更小說(shuō)明插值跨過(guò)了邊界k 該調(diào)小。4.2 合成倍率與目標(biāo)比例倍率決定合成多少條。補(bǔ)到 1:1 是最直覺(jué)的做法但在噪聲多的數(shù)據(jù)上往往不是最優(yōu)。少數(shù)類里如果混了 10% 的錯(cuò)標(biāo)樣本1:1 過(guò)采樣會(huì)把這 10% 的錯(cuò)誤放大成和多數(shù)類同量級(jí)的錯(cuò)誤信號(hào)模型精確率會(huì)掉得很難看。比較穩(wěn)的做法是從小倍率開(kāi)始往上加看驗(yàn)證集上的召回和精確率曲線ratios [0.2 0.4 0.6 0.8 1.0]; results zeros(numel(ratios), 4); % recall, precision, gmean, auc for r 1:numel(ratios) [Xs, ys] smote_matlab(Xtr, ytr, 5, ratios(r), 42); mdl fitcensemble([Xtr; Xs], [ytr; ys], Method, Bag, ... NumLearningCycles, 100); [results(r,1), results(r,2), results(r,3), results(r,4)] ... evalModel(mdl, Xte, yte, minority); endfitcensemble的Bag是 bagged 決策樹(shù)對(duì)不平衡數(shù)據(jù)本身有一定魯棒性適合作為 SMOTE 的配套分類器NumLearningCycles控制樹(shù)的數(shù)量100 是速度和效果的折中數(shù)據(jù)量大時(shí)降到 50 也不會(huì)差太多。evalModel是下一章要寫(xiě)的評(píng)估函數(shù)放在這里先占位。跑完把results畫(huà)出來(lái)橫軸是倍率縱軸是指標(biāo)通常能看到召回隨倍率上升、精確率緩慢下降G-mean 在某一點(diǎn)達(dá)到峰值。峰值對(duì)應(yīng)的倍率就是你這份數(shù)據(jù)上的合理值不要照搬別人的 1:1。4.3 隨機(jī)種子與可復(fù)現(xiàn)性SMOTE 內(nèi)部有兩次隨機(jī)選哪個(gè)基準(zhǔn)樣本、選哪個(gè)近鄰、λ 取多少。不固定種子同樣的輸入跑兩次結(jié)果能差好幾個(gè)百分點(diǎn)調(diào)參時(shí)根本分不清是參數(shù)起作用還是隨機(jī)波動(dòng)。% 每次實(shí)驗(yàn)前固定且不同實(shí)驗(yàn)之間用不同種子做重復(fù) seeds [11 22 33 44 55]; scores zeros(numel(seeds), 1); for s 1:numel(seeds) [Xs, ys] smote_matlab(Xtr, ytr, 5, 0.6, seeds(s)); mdl fitcensemble([Xtr; Xs], [ytr; ys], Method, Bag); [~, ~, g, ~] evalModel(mdl, Xte, yte, minority); scores(s) g; end fprintf(G-mean 均值 %.4f標(biāo)準(zhǔn)差 %.4f\n, mean(scores), std(scores));單次結(jié)果只能說(shuō)明“能跑”五次不同種子的均值加減標(biāo)準(zhǔn)差才能說(shuō)明“穩(wěn)定”。如果標(biāo)準(zhǔn)差超過(guò) 0.03說(shuō)明模型對(duì)采樣太敏感要么增加數(shù)據(jù)量要么改用對(duì)隨機(jī)性更魯棒的方案。還有一個(gè)容易忽略的點(diǎn)rng是全局狀態(tài)如果代碼里用了parfor并行每個(gè) worker 的隨機(jī)流是獨(dú)立的rng(seed)在并行環(huán)境下不能保證結(jié)果可復(fù)現(xiàn)。需要并行時(shí)用parfor內(nèi)部的rng(seed workerId)或者改用RandStream顯式指定流。4.4 距離度量與特征縮放knnsearch默認(rèn)歐氏距離對(duì)連續(xù)特征合適如果特征里有大量二值列歐氏距離會(huì)被稀疏散布稀釋可以考慮Distance參數(shù)改成cosine或mahalanobis。馬氏距離需要協(xié)方差矩陣可逆特征數(shù)大于樣本數(shù)時(shí)直接報(bào)錯(cuò)得先降維。% 馬氏距離示例要求少數(shù)類樣本數(shù) 特征數(shù) if size(X_min, 1) size(X_min, 2) idx_knn knnsearch(X_min, X_min, K, k 1, ... Distance, mahalanobis); else idx_knn knnsearch(X_min, X_min, K, k 1); % 退回歐氏距離 end這段判斷不是多余的馬氏距離在樣本數(shù)不足時(shí)協(xié)方差矩陣奇異knnsearch會(huì)拋警告然后返回 NaN后續(xù)插值全是 NaN錯(cuò)誤信息要到訓(xùn)練分類器時(shí)才出現(xiàn)排查起來(lái)很繞。5. 避坑排查SMOTE 用錯(cuò)的五個(gè)典型現(xiàn)場(chǎng)SMOTE 的代碼短錯(cuò)法倒是不少。下面五條是我自己和小范圍交流里反復(fù)見(jiàn)到的按“現(xiàn)象 → 原因 → 解決”記下來(lái)遇到時(shí)對(duì)照著查。5.1 召回上去了精確率崩到?jīng)]法看現(xiàn)象過(guò)采樣之后少數(shù)類召回從 0.3 漲到 0.85但精確率從 0.7 掉到 0.15模型把所有可疑樣本都判成少數(shù)類。原因合成倍率過(guò)高或者少數(shù)類內(nèi)部混有錯(cuò)標(biāo)樣本插值把噪聲擴(kuò)散成一片連續(xù)區(qū)域分類器學(xué)到的邊界過(guò)寬。少數(shù)類樣本本身如果是從多數(shù)類里錯(cuò)分出來(lái)的SMOTE 會(huì)讓這些點(diǎn)的鄰域被大量合成樣本覆蓋。解決先把倍率降到 0.4 左右重跑觀察精確率是否回升再用最近鄰清理把少數(shù)類里 k 個(gè)近鄰中多數(shù)類占優(yōu)的樣本剔掉再合成。MATLAB 里可以先用knnsearch在原始全量數(shù)據(jù)上找每個(gè)少數(shù)類樣本的近鄰統(tǒng)計(jì)近鄰里多數(shù)類的比例超過(guò) 0.6 的標(biāo)記為可疑樣本排除。5.2 交叉驗(yàn)證分?jǐn)?shù)漂亮換測(cè)試集就掉十幾個(gè)點(diǎn)現(xiàn)象五折交叉驗(yàn)證 AUC 0.93留出測(cè)試集只有 0.78。原因過(guò)采樣寫(xiě)在了交叉驗(yàn)證循環(huán)外面合成樣本先混進(jìn)全量數(shù)據(jù)再切折同一批合成點(diǎn)既出現(xiàn)在訓(xùn)練折又出現(xiàn)在驗(yàn)證折驗(yàn)證集被污染。這類泄漏在隨機(jī)森林和 KNN 上尤其明顯因?yàn)槟P湍苤苯佑涀『铣牲c(diǎn)的位置。解決把 SMOTE 移到每一折的訓(xùn)練集內(nèi)部驗(yàn)證折完全不參與合成。用cvpartition的KFold時(shí)training(cvp, f)和test(cvp, f)要嚴(yán)格分開(kāi)合成只作用于前者。改完分?jǐn)?shù)通常會(huì)掉 5 到 15 個(gè)點(diǎn)這才是真實(shí)水平。5.3 報(bào)錯(cuò)“K 必須小于樣本數(shù)”或合成樣本大量重復(fù)現(xiàn)象knnsearch拋索引越界或者合成完之后去重發(fā)現(xiàn) 90% 的樣本和原樣本重合。原因k 設(shè)得比少數(shù)類樣本數(shù)還大或者knnsearch返回的近鄰索引里第一列不是自身數(shù)據(jù)里有完全重復(fù)的點(diǎn)時(shí)會(huì)出現(xiàn)2:end丟掉的是真實(shí)近鄰而不是自身。解決函數(shù)入口加k n_min的校驗(yàn)這一點(diǎn) 3.2 的代碼里已經(jīng)寫(xiě)了。去重問(wèn)題先檢查數(shù)據(jù)里有沒(méi)有重復(fù)行unique(X_min, rows)去重后再算少數(shù)類樣本數(shù)否則計(jì)數(shù)是虛的。如果確實(shí)需要大量合成把 k 降到 3 到 5并接受一定比例的重復(fù)。5.4 合成樣本落在多數(shù)類密集區(qū)現(xiàn)象把合成樣本和原始數(shù)據(jù)畫(huà)到二維PCA 降維后一看一批合成點(diǎn)明顯扎在多數(shù)類的簇里。原因近鄰跨越了類別邊界。少數(shù)類樣本如果分布在多數(shù)類兩側(cè)k 取大了以后近鄰會(huì)包含另一側(cè)的樣本插值路徑直接穿過(guò)多數(shù)類區(qū)域。另一個(gè)原因是特征沒(méi)標(biāo)準(zhǔn)化距離被單一特征主導(dǎo)近鄰選得毫無(wú)意義。解決合成后做一次過(guò)濾計(jì)算每個(gè)合成點(diǎn)到最近多數(shù)類樣本的距離小于少數(shù)類原樣本該距離中位數(shù)的直接丟棄。再做一次標(biāo)準(zhǔn)化檢查確認(rèn)所有特征的取值范圍在同一量級(jí)。這兩步能把越界的合成點(diǎn)清掉大半。5.5 每次運(yùn)行結(jié)果都不一樣調(diào)參無(wú)從下手現(xiàn)象同一組參數(shù)跑三次AUC 分別是 0.81、0.76、0.84。原因沒(méi)有固定隨機(jī)種子或者固定了但代碼里有parfor、randperm混用了不同的隨機(jī)流。還有一種是分類器本身帶隨機(jī)性隨機(jī)森林的 bootstrap 采樣只固定 SMOTE 的種子不夠。解決在腳本最開(kāi)頭統(tǒng)一rng(seed, twister)SMOTE 函數(shù)內(nèi)部不要再調(diào)用一次rng覆蓋全局狀態(tài)改成把種子作為參數(shù)傳進(jìn)去但只在入口設(shè)置一次。分類器那邊同樣要設(shè)Reproducible, true如果該模型支持。最后用五次不同種子的均值加減標(biāo)準(zhǔn)差匯報(bào)結(jié)果而不是拿單次最好成績(jī)。6. 進(jìn)階用法與驗(yàn)證用指標(biāo)和交叉驗(yàn)證判斷過(guò)采樣到底值不值參數(shù)調(diào)完不算結(jié)束得有一套固定的評(píng)估流程來(lái)回答“加 SMOTE 到底有沒(méi)有用”。我習(xí)慣把對(duì)照實(shí)驗(yàn)寫(xiě)成一個(gè)小腳本一次性跑完基線、加權(quán)、SMOTE 三組輸出同一張表里對(duì)比。function [recall, precision, gmean, auc] evalModel(mdl, Xte, yte, posClass) % 在原始分布的測(cè)試集上評(píng)估posClass 指定少數(shù)類標(biāo)簽 [label, score] predict(mdl, Xte); cm confusionmat(yte, label, Order, mdl.ClassNames); posIdx find(strcmp(string(mdl.ClassNames), string(posClass)), 1); tp cm(posIdx, posIdx); fn sum(cm(posIdx, :)) - tp; fp sum(cm(:, posIdx)) - tp; tn sum(cm(:)) - tp - fn - fp; recall tp / max(tp fn, eps); precision tp / max(tp fp, eps); gmean sqrt(recall * (tn / max(tn fp, eps))); posCol find(strcmp(string(mdl.ClassNames), string(posClass)), 1); [~, ~, ~, auc] perfcurve(yte, score(:, posCol), posClass); endconfusionmat的Order參數(shù)保證行列順序和mdl.ClassNames一致不然posIdx對(duì)不上算出來(lái)的召回和精確率會(huì)張冠李戴。perfcurve的第四個(gè)返回值是 AUC第二個(gè)輸入必須是正類的分?jǐn)?shù)列列號(hào)同樣按ClassNames查。三組對(duì)照的寫(xiě)法方案訓(xùn)練集處理分類器設(shè)置基線原樣默認(rèn)參數(shù)加權(quán)原樣Prior設(shè)為Empirical或手動(dòng)指定類權(quán)重SMOTE過(guò)采樣到 0.6默認(rèn)參數(shù)跑完看三列數(shù)字召回提升幅度、精確率損失、G-mean 凈變化。SMOTE 組如果 G-mean 比加權(quán)組還低說(shuō)明這份數(shù)據(jù)上過(guò)采樣不如直接調(diào)權(quán)重沒(méi)必要硬上。還有一個(gè)我常做的檢查把合成樣本和原樣本分別標(biāo)記訓(xùn)練完之后看模型對(duì)合成樣本的預(yù)測(cè)準(zhǔn)確率。如果模型對(duì)合成樣本的準(zhǔn)確率接近 100%對(duì)原始少數(shù)類樣本只有 70%說(shuō)明它在背合成點(diǎn)這批合成樣本的質(zhì)量有問(wèn)題得回頭查 k 和邊界清理。從那以后我每次上 SMOTE 之前都強(qiáng)制先跑一遍“先切分、再標(biāo)準(zhǔn)化、只在訓(xùn)練折內(nèi)合成”的流程檢查參數(shù)可以慢慢調(diào)順序錯(cuò)了后面全是白工。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
大香蕉院线| 精品色色| www.婷婷| 99在线精品观看99| 久草热8精品视频在线观看| 色女人久久| 婷婷综合网| 天天爽天天爽| 色色色999| 色色热| 日本成人小说婷婷六月| 五月久久婷婷丁香| 天天澡天天狠天天天做| 91黄色五月天视频| 欧美天堂久久| 六月婷婷在线| 开心五月深爱五月| 狠狠色婷婷7777久| 丁香五月婷婷啪啪| 五月花激情| 这里只有精品无码| 丁香激情五月| 99九色视频在线观看| 日韩ww| 91n网站cad入口在线观看| 99色| 狠狠狠人妻| 九九婷婷网五月天| 婷婷爱五月天| 密视AV综合在线| 色五月婷婷自拍| 久久怕怕视频| 99综合自拍| 欧美色婷婷| WWW.五月com| 4399欧美另类视频| 我爱宗和色| 99色1| 久狠日av| 天天爽天天操| 激情五月天的婷婷| 五月天激情婷婷丁香| 激情小说五月欧美亚洲丁香| 欧美中文五月天| 99色在线观看视频| 久久久久久久11111111111| 婷婷五月天免费99| 久久婷婷色情7777网站| 久热播这里只有精品| 久久色这里只有精品| 婷婷成人av| 婷婷丁香色五月亚洲| 五月丁香在线综合| 五月丁香久| 日韩av网址大全| 国产26uuu| 三级三久久线久久99久目本WW| 久久99网| 五月丁香婷婷激情四射迷人| 视频综合网| 色J香五月天| 99自拍网| 日本三日本三级少妇三级66| 久久机只有这里精品| 少妇综合网| 色啪网| 激情性爱网站| 丁香五月天啪啪激情综合网| 丁香色情五月综合网站| 婷婷五月天激情网址| 5月丁香婷婷| 五月狠狠| 888久久久| 伊人天天色| 婷婷丁香五月天激情| 五月天婷婷黄色视频| 五月丁香中文| 久久er99热精品一区二区| 久久探花91swag| 99日本精品视频热| 丁香五月欧美色综合| 粉嫩AV久久一区二区三区| 99久免费视频| 天天狠狠色综合| 五月天激情小说| 91狠狠综合网| 超级碰碰91| 成人国产欧美大片一区| 狠狠色婷婷7| 国产免费AV网站| 五月婷九月| 色综合久| 婷婷五月天色色| 婷婷综合久久综合| 婷婷五月天在线观看免费| 成人综合网站| 九九热黄色| 99色| 六月婷婷七月丁香| 色视频五月天| 青青草Avb在线| 国产精品视频久久99| 九九色精品| 97九色视频| 精久久色| 91国产精品视频播放| 亚洲狠狠狠色婷婷综合激情久久久| 超碰碰碰碰| 99九九视频精彩在线| 五月丁香九九九综合| 日韩色色视频www| 日本人妻伦在线中文字幕| 婷婷五月天AV| 超碰免费人人| 99热在这里只有免费精品| 色色网五月激情| 97日韩无套内| 四色五月婷婷在线观看| 日本在线wwww| 色婷婷777狠狠| 狠狠草狠狠草| 欧美成人日韩| 伊人久久婷| 亚洲六月色婷婷| 五月婷婷激情五月| 日本99视频| 婷婷色播色五月五色五月天色妇| 亚洲精品久久久无码| 丁香色色网| 99综合免费视频| 26.uuu丁香五月婷婷| 99人妻碰碰碰久久久久| 色色色777| 亚洲精品九九| 色五月激情| 九九大香视频| 亚洲操逼网| 婷丁香五月天| 欧美va视频| 99日本精品视频热| 欧美激情xxxXX| 激情又色又爽又黄的A片| 婷婷激情五月天综合| 激情丁香五月天| 色七色九九| 婷婷五月天小说| 五月丁香综合网色欲| 99热综合| 亚洲色色色色| 玖玖99精品视频| www.henhengan| 综合网狠狠| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | www99精品| 丁香五月电影| 欧美日韩成卜| 丁香五月天激情综合| 日本天堂免费99| 色色亚洲五月天| 大伊香蕉玖玖爱| 丁香五月婷婷啪啪啪| 99热91| 久久思思热| 天天舔夜夜操www com| 亚洲在线免费成人| 久碰婷婷视频| 天天做天天爱天天爽在| 色激情网| 99热精品在线播放| 久久机热这里只有精品| 五月婷婷草| 亭亭五月色男人| 欧洲精品欧洲情| 亚洲av另类在线观看| 婷婷丁香色无五月 | 五月婷婷香蕉| 五月丁香六月停停停| 五月综合激情网| 中文字幕在线播放视频| 男女啪啪视频久 9| 久9热在线视频| 五月天激情综合网站| 色色色色欧美| 色婷婷亚洲| 99er免费在线观看| 亚洲天堂制| 性综合网| 亚洲精品小视频| 色五月婷婷青娱乐| 五月天电影网| 人人澡玖玖一| 色婷婷五月天堂资源| 五月丁香激情啪啪网| 亚州色色色| 韩国中文字幕91| 激情五月婷婷老师| 99免费热在线精品| 色婷婷色综合激情91| 婷婷99狠狠| 天天摸夜夜爽天天做| 色婷婷久久9.com| 青草五月天| 九九激情综合| 月色色综合婷婷网| 中文字幕无线久必| 超碰人人干| 丁香五月激情鲁| 五月丁香香蕉| 婷婷久久精品| 婷婷五月综合基地| 国产精品涩涩涩视频网站| 久草热在线视频| 玖玖在线资源视频| 97色色婷婷| 操大屄五月天视频| 国産精品| 久久五月天综合| 婷婷九月激情| 九九热自拍| 亚洲深喉AV| 五月天另类小说| 性日本精品| 激情综合网址| 婷婷99丁香| 五月婷婷六月激情| 26UUU欧美| 婷婷五月天干干| 九九热这里有精品视频| 天天肏高清在线| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 激情五月天影院| 欧洲亚洲免费视频9| 亚洲AVDVD| 婷婷婷婷色| AV大香蕉| 91网站黄| 日韩国产在线精品| 欧美搡BBBBB摔BBBBB| 成人网在线视频| 99视频这里只有久久精品| 久久丝丝热| 色色丁香五月天社区| 国外亚洲成AV人片在线观看| 久久五月天婷婷| 丁香五月欧美| 色色色色色色色色网站| 六月丁香色婷婷| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 婷婷六月啪啪| 欧美激情综合色综合啪啪五月| 综合久久综合| 国产精品久久99| 日本毛片内射| 看逼中文字幕| 欧美精品狠狠色丁香婷婷| 级情九色| 成人日韩欧美| 久久综合干| 99热综合网| 另类图片婷婷五月天| 国产夫妻操逼内射视频| 丁香婷婷人妻| 99精品久久| 久久5 9视频免费观看| 深爱五月婷婷| 色五月激情五月天| 五月天激情久久| 激情综合色图| 97碰在线视频| 婷婷五月成人| 丁香五月色情| 精品色色| 91丨九色丨丰满人妖| 日韩av在线免费观看| 婷香狠狠爱五月| Caoub青青超碰| 欧美性色A片免费免费观看的| 99热在线观看| 日产精品一线二线三线芒果| 久久婷婷超碰| 99干在线| 久婷婷五月综合欧美| 国产成人精品亚洲线观看| 91五月天| 99在线精品免费视频| 综合久久婷婷| 五月天丁香网| 国产高潮A片羞羞视频涩涩| 99自拍视频在线| 91精品久久久久久77777| 久久久久这里只有精品| 少妇做爰免费视看片| 中文中文在线| 婷婷激情久久| 人操91在线| 玖玖婷婷色欲| 色婷av| 亚洲成Av人片乱码色第1集| 久99999热视频在线观看免费| 国产精品涩涩涩视频网站| 色五月婷婷777| 97碰碰九九视频| 99九九热播在线免费视频| 超碰69天堂| 牛牛色av| 超碰九色| 亚洲欧洲自拍图片专区五月天| 色国产五月| 玖操97| 99看片| 丁香六月婷婷综合激情欧美| 日本va欧美va欧美va精品| 色婷小说| 97碰| 亚洲五月婷婷在线| 五月天婷婷在线AN| 婷婷操久久| 丁香五月Av| 性做久久久久久久免费看| 91人妻九色大屁股| 五月天婷婷激情在线色图| 伊人久久婷| 夜夜爽天天| 五月天成人在线| 十一月婷婷激情四射| 色色色国产| 婷婷色色五月天| 婷婷玉月丁香五月在线视频| 婷婷国产成人| 特级西西4444www无码| 五月激情小说| 婷婷色五月大香蕉在线| 亚洲午夜一区二区| VA国产在线综合网站| 偷拍视频五月天| 丁香五月激情婷婷婷婷在线观看| 九色91视频| 俺去也婷婷| 殴美97色| 色噜噜五月丁香婷婷| 在线中文av| 狠狠久久婷五月综合色| 五月婷婷视频在线观看| 婷婷午夜激情| 欧美性色A片免费免费观看的 | www.色婷婷.com| 日韩操逼大片| 日日干综合| 亚洲激情五月天| 五月天综合| 亚洲精品第一国产综合亚AV| 另类婷婷五月天啪帕帕| 国产VA亚洲VA96| 国产精产国品一二三在观看| 婷婷97| 婷婷五月综合社区在线| 亚洲色9| 99热无码首页| 99热在线播放| 91日日日| 毛片毛片毛片毛片| 色九区| www,99色| www.久99| 婷婷五月成人有| 九九热这里只有精品6| www,欧美干干干干干干| 日韩AV色色色| 99久久思思| 色五月色图| 色综合久久久综合久久网| 色碰干| 99色色最新视频| 激情5月天天天| 色五月天在线观看| 亚洲成人另类| 97丁香五月| 婷婷免费视频| 大香蕉久久草| 久色婷婷200| 情欲禁地| WWW,激情五月天,COM| 天天干夜晚夜操| 色色综合网站| 99免费综合网| 色丁香五月| 国产精品电影| 欧美丁香五月97色| 色婷久久| 狠狠 久久| 第二色AⅤ| 五月天婷婷在线AN| 超PEN精品在线| 永久思思热在线| 51国精产品自偷自偷综合| 五月色婷婷影院| 亚洲天堂玖玖| www.人人操人人看人人想人人摸 人人人人操,COM | 超碰免费99| 热99在线| 亚洲字幕AV一区二区三区四区 | 99人人干| 亚欧州精品视频| 色五月 激情婷婷 综合五月天| 婷婷久久网| 五月丁香九九| 99热| 婷婷五月花| 精品在线| 狠狠爱综合| 色婷婷综合久久久久| 婷婷六月激情| 天堂中文国产| 欧美WW在线网| 26uuu最新地址| 综合久久99| 欧美色图天堂网| AV在线观看网站| 丁香婷婷午夜| 99热在线只有精品| 丁香五月黄色| 狠狠五月激情在线| 天天做天天爱天天爽夜夜揉| 国产精品电影| wwwss在线观看| 超碰猛烈的性猛交| AV动漫不卡无码免费| 婷婷五月天美女21p| 丰满人妻一区二区三区| 久久免费操| 五月亭亭网成人在线视频| 成人在线免费网址| 久久人妻视频| 五月丁香色色| 日日天天干| 色情久久久| 97色久| 99re免费精品视频| 色综合九九| 99色人| 涩涩涩.com| 99热这里只有精品3| 97在线视频观看| 都市激情小说婷婷| 一区二区传媒视频| 国产精品电影网| 色狠狠色综合久久久绯色AⅤ影视| 亚洲婷婷激情综合激情999精品| www.九九婷婷| 色久天| 久久久久久久久久久月丁| 欧洲不卡视频| 79精品视频在线观看,| 日夜操B| 99精品在线播放| 99网址在线看| 99日韩| 天天综合图片| 五月婷婷很很色| 婷婷色丁香六月| 99热碰碰| 欧洲永久精品| 日本三级大片| 俺去也在线官网| 亚洲国产色婷婷| 婷婷五月综合啪| 五月天激情四射| 亚洲AV免费在线| 先锋资源 996| 婷婷丁香五月综合| 五月丁香另类图片| 五月丁香啪| 婷婷色Av| 色婷婷综合丁香五月天| 97干97色| 26uuu亚洲色| www99xxxx五月丁| 91干视频| 密乳视频| 97艹| 天天日本夜夜谢| 婷婷色激情网| 中文字幕+乱码+中文字幕在线观看| 久久这里只有精品热在99| 色色综合色视频| 丁香性爱在线视频| 五月天婷婷免费| 婷婷五月激情四月综合| 久草婷婷网| 欧美婷婷精品激情| 色婷婷99| 婷婷热色| 亚洲日日操| 另类小说五月天综合网| 手机旧版看人妻1025| 激情综合网五月婷婷| 热99精品视频在线观看| 丁香六月婷婷基地| 五月天婷婷av| 五月激情啪啪啪| 淫五月停停| 婷婷五月天在线一区| 狠狠色狠狠| 禁欲电影完整版在线播放| 99国产在线| 亚洲综合激情五月久久| 国精产品一区一区三区免费视频| 超碰在线观看9| 日本va欧美va精品发布视频| 色色色97| 九九热超碰| 91爱操| 色五月婷婷777| 六月丁香中文字幕| 另类综合网| 色婷婷影院| 搡BBBB搡BBB搡18| 丁香五月婷婷网| 色五月综合激情| 久久色大香蕉| 色综合久久44| 天天色天天色天天色天天色天天色| 亚洲综合色色| 9 1大香蕉| 少妇性按摩无码中文A片| 婷婷永久在线| 五月婷婷丁香| 狠狠色中色| 播播网色播播| 人人摸人人澡人人| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 久久在线人妻| 婷丁香久综合| 九九99九九精品视频| 黄网免费看| 亚洲五月天,激情视频| 影音先锋男人AV资源站| 精品一二三区久久AAA片| 青青草轻轻操| 婷婷五月天狠狠| 天天搞夜夜叫| 99婷婷国产最新视频| 亚洲AV无码成人电影| 亚洲精品视频在线| 91啪啪网| 五月丁香免费看| 亭亭五月丁香综合欧美| 丁香五月伊人| 天天干天天插| www,色婷婷| 天天日天天干天天天| 婷婷久久国产视频| 一起草无码视频| 天堂爱啪啪| 久久这里只有精品视频15| 五月婷婷色| 色色色色色色色色网站| 思思色综合网站| 精热在线综合网| 久久人人九九| 91婷婷伊人牛牛| 99热久久这里只有精品| www.婷婷五月天| 五月六月婷婷激情网| 久久精品99久久久久久| 成人免费高清在线播放| 96精品国产综合久久久久久| 婷婷99综合| 亚洲激情网| 日韩av网址大全| av九九| 91色色色| 亚洲欧洲另类| 久久人人九九| 激情五月天综合网| 深爱激情网五月天| 99男人天堂| 成人视频在线免费播放| 久热视频97AV在线观看| 二区成人视频| 久久亚洲婷婷| 亚洲色无码| 婷婷久久综合久| 欧美婷婷五月天| 色99欧洲色19| 欧美国产一区二区三区| 青草五月天| 人人干人人干骚美女| 丁香五月激情综合| 天天摸.天天mo| 国产xxxxx在线观看| 亚洲色9| 婷婷五月丁香五月丁香| 99色激| 久久久WWW| 超碰精品在线| 六月五月丁香五月欧美| 欧美黑人大吊| 桃色Av色哟哟| 国产永久一二一起草| 综合婷婷| 丁香五月激情婷婷视频| 婷婷丁香午夜综合影视| 99热这里只有精品2024| 性日本精品| 久99| 婷婷色色宗合网| 99免费青青蜜臀| 无码yw| 日韩精品999| 色情久久久| 日韩无码专区| 色久99| 欧美色碰| 欧美99热| 五月丁香久久综合精品| 色婷婷色婷婷五月| RenRenSe在线视频网站| A网在线欧洲| 九九热这里只有精品9| 久久99久久99精品免观看软件| va中文资源在线观看| 天天爽人人爽| 婷婷五月丁香五月综合网| 五月激情小说| 大香蕉综合网| 色色欧美色色色| 色婷婷aV四虎| 亚洲一区国产传媒| av 一区三区四区| 色狠狠综合网| 美女100%露全身无挡网站| 亚洲A色| 婷婷欧美综合| 人妻丰满精品一区二区A片| 婷婷丁香人妻天天爽| 99乱视频| 激情综合色婷婷啪啪六月天| 任你搞网站| 丁香五月影院| 九九99精品| 五月婷六月| 超碰在线人妻| 国产精品久久久久久白浆色欲| 五月丁香六月| 噼里啪啦完整版中文在线观看| 亚洲天堂AV综合网| 久久一品区| 五月色在线| 99色 色| 亚洲视频二区| 春色激情| 97久久草草超级碰碰碰| 另类亚洲2| 亚洲综合1024| 色丁香五月综合网| 在线日韩视频| 亚洲99热| 欧美 日韩 成人在线| 亚洲成人影视在线观看| 好好干av| 五月丁香六月激情综合| 午夜少妇在线观看视频| 黄色99热| 97热九九| 国产美女精品| 丁香激情五月| 国产AV一区二区三区最新精品| 国产亚洲成人综合| 综合激情伊人影视在线| 夜夜撸日日骑| 五月丁香亭亭| 91岛国片| 色人五月婷婷| 五月婷av| 国产伦亲子伦亲子视频观看| 丁香五月婷婷久久久| 天天色丁香| 五月丁香激情深爱婷婷| 亚洲久热| 9精品一区| 亚洲精品国产setv| 国产精品日韩十五区| 97色啪| 五月天激情久久| 天天艹| 五月深爱婷婷| 国产9色在线/日韩| 变态另类色图 | 深爱丁香激情| 日本在线视频www色| 精品九九久久| 色色影院aaaav| 亚洲视频伍月婷婷| 伊人激情AV一区二区三区| 97超碰在线免费观看| 天天日天天日天天搞| 无码动漫av| 老司机视频lsj爱就色| 激情六月丁香综合| 色色热| 亚洲成人日韩无码精品| 欧美日韩成人免费在线| 久久婷婷草| 五月天激日本色情在线| 国产精品色婷婷99久久精品| 久久A极片| 五月色网| 99九九在线视频| 日韩五月婷婷久久| 国产裸舞福利资源在线视频| 色九月婷婷综合| 日逼影音先锋AV男人资源站| 五月色丁香婷婷中文字幕| 色播激情五月天| 国产成人AV| 亚洲婷婷视频| 色99色| 日本成人内射| 激情综合激情五月| 婷婷天天日婷婷| 国产97色在线| 日本九九网| 综合久久综合五月天婷婷| 丁香五月激情六月综合| 深爱五月天| 99色天堂| 激情综合啪啪| 影音先锋毛片网站| 99亚洲精品视频| 99九九精品视频推荐| 热99国产精品| 久热久| 天堂色色色| 九九色综合九九色| 婷婷九月丁香中文| 五月天婷婷黄色| 99热老网站| xx久久| 日本高清综合网五月丁香| www超碰| 色五月综合网| 五月婷丁香| 99热无码首页| 婷婷丁香五月天激情| 在线成人网址| 欧美色五月| 97五月婷| 色五月婷婷内射| 国产性爱大片久久| 毛片毛片毛片毛片| 久久99免费视频网站| 99综合婷婷五月| 五月天激情影院| 亚洲另类婷婷五月丁香在线播放| 综合色五月| 久久九九综合| 九九这里有精品| 狼人久草| 久久免费精彩视频| 色99亚洲| 国产精品久久久久久久久久免费| 精品五月丁香| 婷婷少妇激情| 无码色色色色色| 五月天伊人| 久月丁香爱婷婷综合| 婷婷五月天av| 狠狠爱激情网| www.五月天| 国产Va视频| 亚洲超碰在线| 婷婷五月俺要去| 99久久户外勾搭| 婷婷五月激情在线视频| 九月色婷婷综合| 欧美五月婷婷| 噜噜噜噜噜在线| 婷婷99狠狠躁天天躁| 森林影视大全,最好看的2019年视频 | caop在线| 色香久久| 色欲色香综合网| 婷婷色色综合激情| WW婷婷五月天com| 思思久热6| 七月丁香婷婷 色色| 精品A√| 婷婷月综合| 九九综合色综合| 99久久婷婷国产综合精品草原| 婷婷成人视频| 思思网站| 超级碰碰碰久久网站视频| 五月婷婷六月情| 激情色色| 国产无套精品一区二区| 黄色av网站在线免费播放| 五月婷精品| 猫咪伊人久久| 婷婷色色网| 丁香五月综合亚洲| 成人网丁香五月| 久热免费视频| 性生活久久人妻| 9999热在线免费观看| 色婷婷久久综合中文久久一本| 色婷婷六月性| 五月天社区| 日韩十国产极品久久| 国产操B视频| 色婷婷网| 激情五月天激情综合网| 超碰九热| WWW.99热| 五月天久久www| 91亚洲视频| 超碰chaompinm| 婷婷丁香五月激情图片| 天堂爱啪啪| 嫩草AV久久伊人妇女超级A| 色激情五月| 色色色国产| 美国少妇性做爰| 丁香六月成人| 综合玖玖性爱免费视频| 丁香五月婷婷社区| 99热综合在线| 五月天婷婷在线观看精品男人| 久久99精品久久久久久青青AR| 亚洲色99| 天天综合网网欲色| 国产成人网站在线观看| www.99色在线| 亚洲亚洲激情| 欧美在线看| 成人无码髙潮喷水A片| 国内外色色色色色成人视频| 色五月丁香五月激情五月激情| 国产九月婷婷| 婷婷五月天av| 人妻内射视频| 日韩激情婷婷五月天| 丁香五月天婷婷91| 超碰资源在线| 5月婷婷五月天| 欧美日韩成人| 亚洲成人无码片| 婷婷五月激情网| 五月婷婷中文字幕| 五月婷婷色丁香| 成人版视频在线观看| 激情五月综合网| 深情五月天| 久月丁香爱婷婷综合| 就要去操亚洲成人精品五月天丁香婷婷| 五月的色婷婷高潮| 久热这里只有精品6官网亚洲| 色综合久网| 狠狠精品干练久久久无码中文字幕| 丁香欧美| 色天使色婷婷| 热久久999| 丁香婷婷激情| 五月丁香六月婷婷的女人| 五月激情婷婷图片基地| 五月丁香网站| 综合五月激情| 欧美成人AAA片一区国产精品 | 色啪影院| 久久无意婷婷| 精品亚洲国产成AV人片传媒| 开心深爱激情网| 丁香五月宝贝激情网| 色五月91| 99在线综合视频| 河北真实伦对白精彩脏话| 天天干天天操天天拍| 常久最新免费的色吊丝| 99久久婷婷国产综合精品青桔| 狠狠CAO日日穞夜夜穞AV | 玖玖在线资源视频| 日韩一级网站| 开心五月激情网| 亚洲第一成人无码A片| 天天干狠狠| 开心五月丁香婷婷| 99re思思热在线视频| AV免费在线网站| 深夜婷婷 丁香| 九九综合久久| 91丨九色丨东北熟女| 99网99热| 色婷婷成人五月| 丁香六月激情综合网| 婷婷午夜精品久久久| 任你搞在线观看视频| 超碰婷婷色| 婷婷丁香社区| 欧美槡BBBB槡BBB少妇| 99re热视频这里只精品| 欧美α√| 五月丁香免费看| 六月婷婷私欲| 五月天免费色| 99视频超级精品| 色97啪啪| 九月av在线| 九九九九中文字幕| 综合久久8| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 日韩无码专区| 日韩人妻无码精品| 色婷婷五月影院| 丁香五月亚洲综合丝袜| 五月天天丁香婷婷| 中文字幕视频色婷婷| 91人人人人人| 亚洲无AV在线中文字幕| 免费精品99| 五月花婷婷| 色激情五月天| 五月综合久久| 婷婷五月在线观看| 五月婷婷丁香五月 | 婷婷五月天色色| 欧美六月| 色婷婷av在线| 99啪| 91色久| 99色婷婷视频| 婷婷久久综合| 9有码中文| 92久久| 天天色天天搡| 中文字幕丰满乱孑伦无码专区| 日日夜夜狠狠婷婷色| 内射 无码 伊人| 五月丁香六月激情| 99情色五月天| 中文成人在线| 日本久久99久久| 色婷婷五月综合色婷婷| 亚洲AV永久无码影院黑人| 丁香色影院| 一二区成人电影| 亚洲乱码在线观看| 亚洲AV免费在线| 午夜色色色极品视频| 色婷婷狠狠| 99在线精品免费视频| 成人色五月天婷婷| 婷婷在线播放av| 天天射美女| 久久婷婷五月天激情新地址| 天天干天天拍| 麻豆AV一区二区三区| 欧美日韩成人综合9| 婷婷天堂伊人| 婷婷色五月天色色| 五月婷婷七月丁香| 91超碰九色| 狠狠干天天内射| 天天开心AV色综合婷婷五月天| 五月天婷婷六月| 五月天婷婷开心| 婷婷狠狠干| 97婷婷狠狠| www超碰| 国产激情视频在线观看| 综合色在线| 第1影院之五月婷婷| 91久久综合| 蜜桃婷婷五月| 久久久久人妻中文| 婷婷五月色惰| 久久这里只有精品99| 专区无日本视频高清8| 五月丁香六月婷| 97成人丁香| 国产avapp 网| www.狠狠| 丁香九月综合激情| 99操| www·五月天| 99色亚洲| 欧美在线视频99| 欧美大肥婆大肥BBBBB| 欧美三级大片AA在线看| 久99久在线| 亚洲婷婷月丁香五月| 五月激情婷婷六月丁香| 九九精品热| 色爽九九| 激情五月婷婷| 欧美色片中文字幕久久久久| 99久久精品亚洲综合| 亚洲午夜精品久久久久久人妖 | 久久小片| 99日本黄站| 99在线免费视频| 日本人妻久久| 少妇激情基地| 99在线精品视频免费| 91久久婷婷人人澡草 | 超碰99热在线观看| www久| 色99欧洲色19| 综合色色色| 五月婷婷久久网| 九九九热精品| 婷婷中文字暮| 亚洲天天操| 丁香五月婷婷综合激情啪啪啪| 99资源人人| 久这里只有精品| 久久99激情丁香婷婷小说网| 久久免片| 99热国产在线| 天天搞夜夜叫| 色五月欧美| 超PEN精品在线| 亚洲综合五月天婷婷丁香| 狠狠狠狠狠狠狠狠狠狠狠色宗合图片| 思思久热6| 99久久6| 丁香激情五月天| 97久久人人| 色欲天天综合| 色色五月天婷婷| 3p久久| 99热这里只有精品一| 亚洲免费观看高清完整版AV线| 成熟妇人A片免费看网站| 在线观看亚洲视频影院| 丁香五月天激情网| 九九RE视频在线精品| 色婷亚洲| 丁香六月婷婷开心| 婷综合| 亲子乱AV-区二区三区| 色情性爱视频网址| 去干网av| 国产成人综合在线| 国产免费av网站| 色五月天综合| 五月婷婷AV| 久艹久| 五月永久激情| 99久久极情精品一区| 91综合在线视频| 五月开心深深爱激情综合 | 婷婷色情六月| 日韩AV免费电影在线播放| 五月丁香啪啪网| 狠狠色情婷婷| 五月丁香网站| 91狠狠综合网| 91成人性爱视频| 另类视频在线| 成人毛片在线免费观看| 天天操天天操天天操天天操天天操天天操| 色色五月丁香婷婷| 久9精品| 色五月激情基地| 色99视频| 日韩久久色| 五月婷婷日| 97碰操| 79色色色色| 粉嫩av蜜桃av蜜臀av| 亚洲蜜乳AV| wwwwww.色| 少妇2做爰HD韩国电影| 99热99在线| se99视频| www.久久久久久| 丁香五月婷婷激情蜜桃| 99久久综合狠狠综合久久| 婷婷激情五月综合基地| 丁香九月激情| 久久婷五月| 国产激情在线| 久99精品视频| 亚洲综合丁香五月天| 99九九精品视频推荐| 五月精品免费XXX| 国产午夜成人AV在线播放| 婷婷五月天另类视频| xxxx久| 婷婷七月丁香色色| 五月天激情久久| 99视频在线啪| 激情五月天偷拍综合网| 五月色情婷婷| 热久久77777| 久久538| 色婷婷婷av| 美女美女美女三级色天天天天天| www,黄色在线,con| 8区视频在线| 思思热久久爱| 五月天五月天激情网| 少妇水多A片太爽了| 中国AV性爱观看| 女人高潮内射99精品| 色五月色图| 色色免费网站| AAA久久久| 欧美日韩123| 99色.com| 色婷久| 日韩精品一区二区亚洲AV观看| 婷婷激情欧美| 精品人妻在线免费观看| 襙比视频| 刘玥av在线| 婷婷五月天成人网站| 国产色香蕉精品五夜婷| 婷婷五月色播| 亚洲成人av中文| 欧美婷婷精品激情| 久久人五月| 久久激情天堂| 五夜婷婷| 五月丁香六月婷| 久热99| 五月综合色播播丁香婷婷| 大香人妻| 无码橾| 日韩有码一区| 天天人人人人人人人人人人人| www.sebowuyue| 思思热久久艹| 五月天丁香成人社| AV九九| 天天天天天色| 色五月婷婷久久大| 色色色色色色色色色色色色色五月天 | 午夜天堂一区人妻| 色婷婷五月天天天做| 十二区无码| 天天日天天插| 26uuu丁香婷婷五月| 天天爽天天日| 婷婷开心青青草| 91久女| 高清无码入口| 九九婷婷综合| 五月天大香蕉| 激情五月天色婷婷| 99久久久久久久| 久久六月综合| 五月婷婷丁香六月| 99热这里是精品| 激情五月婷婷中文字幕| 9色免费网| 九九碰九九爱97超碰| 婷婷五月天va| 无码字幕中文| 亚洲六月婷婷| 丁香婷婷人妻综合网| 久久综合55| 操久久网| 综合激情网| 五月婷婷av在线| 99色看| 99久久99视频| 中文激情网| 五月天激情电影| 美国天天操无码| 五月天色社区| 99热99ai| 91怕怕网| 99热这里只有精品2| bbwcuckold精品熟妇| 激情丁香五月| av中文在线| 五月婷婷在线短视频| 色九月综合| 超碰国产在线| 久久 婷婷 五月天| 天堂美国久久| 99久久婷婷| 九九热色视频| 久婷狼色诱惑在线| 9久久婷婷国产综合精品性色| 丁香婷婷五月六月久久| 97色色视频| 激情丁香五月婷婷| 婷婷97碰碰| 亚洲亚洲人成综合网络| 日韩AAAAA| 人人爽天天莫| 日本97在线看片| 99在线小视频| 五月婷婷乱| 91丨九色丨43老版熟女| 成人AV片播放| 操91| 亚洲AV色婷婷人禽五月天| 婷婷九月色| 久久99综合| 天天操婷婷| 性小说五月天| 亚洲精品国产熟女久久久| 97干婷婷| 亚洲小说欧美激情| 91婷婷在线| 日韩美一级毛卡片| 九九久久99| 久久丁香五月| wwwwww.色| 大香蕉在线观看9| 国内一级片| 99性视频| 婷婷欧美激情综合| 婷婷久久在线| 天天干天天插| 无码动漫av| 婷婷五月天激情五月天网站| 91久久久久久久| www、丁香五月天| 亚洲狠狠终合停停终合| 色五月天丁香| 激情五月少妇| 丁香色婷婷| www.97干视频| 色综合久久久无码中文字幕999| 亚洲中文字幕AV| 欧州色色| 色综合久久888| 色青五月天| 色婷婷成人做爰A片免费看网站 | 综合五月亭亭9| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 丁香五月手机在线| 色情五月天丁香社区| 2015在线中文字幕| 色色激情| 九九热99免费视频| 99热这里只有免费| 秋霞午夜理论| 丁香五月婷婷操逼| WWW.桔色成人.COM| 五月婷亚洲精品AV天堂| 天堂AV三级| 97人妻碰碰碰久久久久-最近国语高清| 91无码一区人妻A片蜜| ji'qi'luan'ren'lun| 色婷五月丁香久亚洲| 婷婷开心深爱五月天| 婷婷九月激情| 91九色中文字幕女在线观看| 少妇2做爰HD韩国电影| 综合久| 337p大胆噜噜噜噜噜91Av| 五月婷视频| 欧美成人精品一区二区| 五月婷婷少妇之| 狠狠草天天草| 九九热色视频| 爱狠射| 1024在线视频| OYIWbGcPu8H| 99爱精品|