欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Matlab降維工具箱:PCA/t-SNE選型與交叉驗(yàn)證避坑

Matlab降維工具箱:PCA/t-SNE選型與交叉驗(yàn)證避坑 簡(jiǎn)介Matlab數(shù)據(jù)降維工具箱面向科研人員、高校師生和算法開(kāi)發(fā)者適合高維數(shù)據(jù)特征壓縮、可視化探索、分類聚類前處理以及多種降維方法橫向?qū)Ρ?。?nèi)容覆蓋PCA、LDA、ICA、MDS等經(jīng)典線性方法也包含Isomap、LLE、Laplacian、LTSA、DiffusionMaps等流形學(xué)習(xí)方案并延伸至核PCA、核LDA、SPCA、CCA、MVU與自編碼器等方法譜系較完整。壓縮包共84個(gè)文件約1011KB以57個(gè).m源碼為主體配合多平臺(tái)mex二進(jìn)制、C/C及頭文件、少量可執(zhí)行程序和說(shuō)明文本兼顧直接調(diào)用與跨平臺(tái)編譯擴(kuò)展。已有4285人學(xué)習(xí)適合快速搭建降維實(shí)驗(yàn)基線、比較算法表現(xiàn)或按需改造源碼的研究與工程場(chǎng)景。1. 一張 200 多列的特征表這套 Matlab 降維工具箱解決哪個(gè)環(huán)節(jié)一張 200 多列的特征表丟進(jìn) MatlabPCA 跑完前兩個(gè)主成分只解釋了三成多的方差散點(diǎn)圖糊成一團(tuán)——這時(shí)候缺的不是再換一個(gè)算法而是一套能把預(yù)處理、降維、驗(yàn)證串起來(lái)的 Matlab 降維工具。這套 Dimensionality Reduction 工具箱把線性方法PCA、LDA、因子分析與非線性嵌入Isomap、LLE、t-SNE、UMAP收在相近的調(diào)用習(xí)慣下附示例腳本和小尺寸演示數(shù)據(jù)裝好就能跑通從特征表到二維圖、再到下游分類器的完整鏈路。適合做信號(hào)與圖像特征分析的研究生、要把高維指標(biāo)壓成可視化報(bào)表的算法工程師也適合給課程設(shè)計(jì)找一份能改能調(diào)的實(shí)現(xiàn)。2. 算法選型PCA、LDA、Isomap、t-SNE 各自的適用邊界降維翻車八成不是因?yàn)榇a寫(xiě)錯(cuò)而是因?yàn)橐婚_(kāi)始就把方法用錯(cuò)了場(chǎng)景。把 t-SNE 的二維圖當(dāng)成“可分性證據(jù)”去做特征篩選把 PCA 用在一條卷起來(lái)的螺旋流形上最后得出的結(jié)論必然站不住。這一章先把選型的判斷依據(jù)講清楚再落到工具箱里各函數(shù)的調(diào)用約定上后面動(dòng)手才有方向。2.1 先判斷數(shù)據(jù)是不是躺在一張彎曲的薄片上選型的第一步不是看算法列表而是看數(shù)據(jù)的局部結(jié)構(gòu)。我一般會(huì)抽 300500 個(gè)樣本用原始特征的前三個(gè)主成分畫(huà)一次三維散點(diǎn)再對(duì)同一批樣本算一下每列特征的相關(guān)系數(shù)矩陣。如果前幾個(gè)主成分就能吃掉大部分方差、相關(guān)系數(shù)矩陣?yán)镉忻黠@的塊狀結(jié)構(gòu)說(shuō)明數(shù)據(jù)近似線性PCA 或因子分析夠用如果三維圖里出現(xiàn)明顯的彎折、環(huán)狀、卷曲主成分解釋率卻上不去那就說(shuō)明數(shù)據(jù)落在一張非線性流形上得換 Isomap、LLE 或 t-SNE 這類基于近鄰圖的方法。第二件事是確認(rèn)有沒(méi)有標(biāo)簽。有標(biāo)簽且要做分類LDA 是有監(jiān)督投影里最省事的選擇它顯式地最大化類間散度與類內(nèi)散度的比值投影后的維度上限是“類別數(shù)減一”這一點(diǎn)必須提前算清楚別拿 10 類數(shù)據(jù)去要 20 維 LDA 結(jié)果。沒(méi)有標(biāo)簽就只用無(wú)監(jiān)督方法不要偷偷把標(biāo)簽喂進(jìn)去調(diào)參數(shù)那是另一種形式的泄漏。第三件事是數(shù)據(jù)的量級(jí)。t-SNE 的復(fù)雜度大致隨樣本數(shù)呈平方增長(zhǎng)樣本過(guò)萬(wàn)時(shí)在普通工作站上會(huì)很吃力工具箱里那套 Barnes-Hut 近似實(shí)現(xiàn)能緩解一部分壓力但內(nèi)存峰值依然要看近鄰圖。Isomap 和 LLE 要先構(gòu) kNN 圖再求特征分解樣本數(shù)上萬(wàn)時(shí)稀疏矩陣的構(gòu)造本身就會(huì)成為瓶頸。樣本量大、只想要一個(gè)穩(wěn)定的低維表示PCA 依舊是性價(jià)比最高的起點(diǎn)。2.2 工具箱統(tǒng)一的調(diào)用約定輸入矩陣、輸出得分、附加結(jié)構(gòu)體這套工具箱在接口上做了一件很討巧的事所有方法都遵循“輸入樣本×特征矩陣輸出低維得分矩陣”的主約定附加信息放在第二個(gè)返回值里。PCA 的第二個(gè)返回值是主成分系數(shù)與解釋方差I(lǐng)somap 和 LLE 返回的是近鄰圖與殘差t-SNE 返回的是收斂信息。這樣一來(lái)第 3 章那條鏈路里替換算法只需要改一行調(diào)用后面的出圖和驗(yàn)證代碼完全不用動(dòng)。調(diào)用前有兩個(gè)約定必須記住。第一輸入必須是數(shù)值矩陣table要先轉(zhuǎn)成double類別型、時(shí)間型列一律提前處理掉工具箱不會(huì)替你猜。第二絕大多數(shù)方法默認(rèn)把每一列當(dāng)成一個(gè)特征、每一行當(dāng)成一個(gè)樣本如果你的數(shù)據(jù)是轉(zhuǎn)置的很多傳感器數(shù)據(jù)導(dǎo)出就是這樣必須顯式轉(zhuǎn)置否則降維結(jié)果看上去“能跑”但每一個(gè)維度都在混樣本屬于最難排查的一類錯(cuò)誤。注意工具箱里的示例腳本用的是自帶的小尺寸演示數(shù)據(jù)直接換成自己的表之前先確認(rèn)列方向與樣本數(shù)別急著調(diào)參數(shù)。2.3 四類方法的對(duì)照與選擇順序把方法按“是否需要標(biāo)簽、是否線性、能否增量更新、可解釋性”四個(gè)維度擺開(kāi)選型就變成了查表。下面這張表是我自己常用的決策順序從左往右逐項(xiàng)排除剩下的就是候選。方法需要標(biāo)簽線性可解釋性典型用途主要代價(jià)PCA否是高載荷可回溯原始特征去冗余、壓縮、可視化對(duì)非線性流形無(wú)能為力因子分析否是高有潛變量含義問(wèn)卷、指標(biāo)建模需要指定因子數(shù)并做旋轉(zhuǎn)LDA是是中判別方向可解釋有監(jiān)督分類前的投影維度上限為類別數(shù)減一Isomap否否中測(cè)地距離可解釋卷曲流形的展開(kāi)對(duì)近鄰數(shù)敏感圖不連通會(huì)報(bào)錯(cuò)LLE否否低局部結(jié)構(gòu)保持對(duì)新樣本無(wú)自然映射t-SNE否否低簇間距離無(wú)意義高維特征的可視化檢查慢參數(shù)敏感不可當(dāng)特征用UMAP否否低可視化 粗略的降維特征依賴近鄰數(shù)與最小距離參數(shù)一個(gè)常見(jiàn)的誤用是把 t-SNE 的輸出直接當(dāng)特征送進(jìn)分類器。t-SNE 只保留局部鄰域概率結(jié)構(gòu)簇與簇之間的距離、簇內(nèi)方差都沒(méi)有意義用它做特征分類器學(xué)到的是一張隨機(jī)布局圖。要降維后接下游模型優(yōu)先 PCA、LDA 或 UMAP要給人看才用 t-SNE。3. 跑通第一條鏈路從原始特征表到可解釋的二維圖這一章把整條鏈路走一遍讀表、清洗、標(biāo)準(zhǔn)化、PCA 定維、非線性嵌入出圖、結(jié)果寫(xiě)回。每一步都給可抄的代碼代碼后面說(shuō)明為什么這么寫(xiě)、參數(shù)改了會(huì)怎樣。跑完這一遍你手上就有一份能替換成自己數(shù)據(jù)的骨架。3.1 裝載與清洗把 ID 列摘出去很多特征表的第一列是樣本編號(hào)第二列可能是采集時(shí)間直接table2array會(huì)把字符串列變成NaN或者干脆報(bào)錯(cuò)。穩(wěn)妥的寫(xiě)法是先聲明導(dǎo)入選項(xiàng)再把非數(shù)值列單獨(dú)摘出來(lái)保存后面出圖時(shí)還要用它們標(biāo)注點(diǎn)。% 讀入特征表保留原始列名避免中文列名被自動(dòng)改寫(xiě) opts detectImportOptions(features_demo.csv); opts.VariableNamingRule preserve; T readtable(features_demo.csv, opts); % 第一列當(dāng)樣本 ID其余列當(dāng)特征非數(shù)值列在這里就被擋掉了 sampleId string(T{:, 1}); X table2array(T(:, 2:end)); if ~isa(X, double) X double(X); end % 缺失值處理先統(tǒng)計(jì)再?zèng)Q定別上來(lái)就填 0 missRate mean(isnan(X), 1); fprintf(含缺失的列數(shù)%d最高缺失率 %.2f%%\n, sum(missRate 0), 100*max(missRate)); X fillmissing(X, constant, 0);detectImportOptions比csvread穩(wěn)它會(huì)推斷每列類型VariableNamingRule設(shè)成preserve是為了保住原始列名后面看 PCA 載荷時(shí)要靠它對(duì)應(yīng)回業(yè)務(wù)含義。缺失值那段先打印統(tǒng)計(jì)再填是因?yàn)椤罢邪顺啥际强铡边@種列直接補(bǔ) 0 等于往數(shù)據(jù)里灌噪聲正確做法是整列刪掉。填 0 只是為了讓后面zscore不返回NaN如果缺失率超過(guò) 5%建議換成按列中位數(shù)填充或者干脆用工具箱里帶缺失處理的變體。3.2 標(biāo)準(zhǔn)化與 PCA用累計(jì)方差定維數(shù)特征量綱不統(tǒng)一是 PCA 最常見(jiàn)的翻車點(diǎn)。一個(gè)以毫伏為單位的通道和一個(gè)以百分比為單位的通道放在一起前者方差大幾十倍第一主成分幾乎就是它自己。標(biāo)準(zhǔn)化之后再分解各列權(quán)重才可比。% 按列 z-score 標(biāo)準(zhǔn)化同時(shí)保留 mu/sigma 供新樣本復(fù)用 [Xn, mu, sigma] zscore(X); % 已經(jīng)中心化過(guò)這里關(guān)掉 pca 的內(nèi)部中心化避免二次處理 [coeff, score, latent, tsq, explained] pca(Xn, ... Algorithm, svd, Centered, false); cumVar cumsum(explained); k find(cumVar 95, 1, first); fprintf(累計(jì)解釋 95%% 方差需要 %d 個(gè)主成分共 %d 維\n, k, size(X, 2)); fprintf(前三個(gè)主成分解釋率%.2f%% / %.2f%% / %.2f%%\n, explained(1:3));zscore的三個(gè)返回值要一起留著以后來(lái)了新樣本必須用訓(xùn)練集的mu和sigma變換不能用新樣本自己的統(tǒng)計(jì)量否則訓(xùn)練和推理的口徑不一致這是第 5 章要展開(kāi)的坑之一。Algorithm選svd在特征數(shù)遠(yuǎn)大于樣本數(shù)時(shí)更穩(wěn)eig在維度低時(shí)更快兩者結(jié)果在數(shù)值上等價(jià)但符號(hào)可能相反PCA 主成分的正負(fù)號(hào)本來(lái)就沒(méi)有絕對(duì)意義別因?yàn)閮纱闻艹鰜?lái)圖翻轉(zhuǎn)了就以為代碼有問(wèn)題。k的取法這里用 95% 閾值是最省事的一種。實(shí)際項(xiàng)目里我一般會(huì)同時(shí)看碎石圖的拐點(diǎn)兩者差得多的時(shí)候以拐點(diǎn)為準(zhǔn)因?yàn)榉讲铋撝禃?huì)被少數(shù)高方差噪聲列帶偏。如果后面要接分類器更靠譜的做法是直接把k當(dāng)超參數(shù)用交叉驗(yàn)證選這一點(diǎn)放到 4.1 講。3.3 非線性嵌入困惑度與近鄰數(shù)怎么給初值PCA 出來(lái)的圖如果仍然糊成一團(tuán)就該上非線性方法了。t-SNE 的困惑度可以理解為“每個(gè)點(diǎn)預(yù)期的有效鄰居數(shù)”經(jīng)驗(yàn)初值取樣本數(shù)的平方根再夾到 550 之間近鄰圖方法Isomap、LLE、UMAP的 k 一般從 1015 起再按圖的連通性調(diào)整。rng(20240501); % 固定隨機(jī)種子保證同一份數(shù)據(jù)每次出圖一致 % 先用 PCA 降到 3050 維再喂 t-SNE既降噪也提速 Y tsne(score(:, 1:min(50, k)), ... NumDimensions, 2, ... Perplexity, 30, ... Exaggeration, 4, ... LearnRate, 500, ... Distance, euclidean, ... Standardize, false, ... Verbose, 1); % 近鄰圖方法k 從 12 起返回值里帶殘差可以判斷是否退化 [Yiso, ~, info] isomap(Xn, NumNeighbors, 12, NumDimensions, 2); fprintf(Isomap 殘差%.4f\n, info.reconstructionError(end));先 PCA 再 t-SNE 是常規(guī)做法把幾百維降到 50 維既能壓掉大部分噪聲維度也能把 t-SNE 的耗時(shí)砍掉一大截。Perplexity小于 5 時(shí)結(jié)果會(huì)退化成局部小團(tuán)大于 50 時(shí)計(jì)算量陡增且結(jié)構(gòu)被抹平30 是個(gè)安全的起點(diǎn)。Exaggeration控制早期階段的簇間斥力值大一些簇分得更開(kāi)但太大會(huì)造出并不存在的空隙4 到 12 之間比較常見(jiàn)。Distance這一項(xiàng)容易被忽略特征都是正值的計(jì)數(shù)型數(shù)據(jù)比如詞頻、像素強(qiáng)度累計(jì)用cosine往往比euclidean更能反映相似性標(biāo)準(zhǔn)化后的連續(xù)特征就老實(shí)待著用歐氏距離。Standardize在已經(jīng)做過(guò) z-score 的情況下必須關(guān)掉否則相當(dāng)于標(biāo)準(zhǔn)化了兩遍各列權(quán)重會(huì)被再壓一次。Isomap 返回的info.reconstructionError是個(gè)有用的診斷量它隨維度增加應(yīng)當(dāng)單調(diào)下降如果在某個(gè)維度之后基本不動(dòng)說(shuō)明再加維度也榨不出結(jié)構(gòu)了。另外isomap對(duì)圖連通性很敏感k 太小時(shí)會(huì)出現(xiàn)孤立點(diǎn)函數(shù)會(huì)給出警告或者返回NaN這時(shí)候把 k 往上加兩三個(gè)再試。3.4 出圖與導(dǎo)出把坐標(biāo)寫(xiě)回表里降維結(jié)果最終要么給人看要么給下游用兩條路都得把坐標(biāo)存成結(jié)構(gòu)化數(shù)據(jù)別只留一個(gè)scatter。我通常把低維坐標(biāo)和原始 ID、標(biāo)簽拼成一張表導(dǎo)出方便后面用別的工具復(fù)核。% 拼成交付用的表ID 標(biāo)簽 二維坐標(biāo) 前若干個(gè)主成分 outTbl table(sampleId, Y(:,1), Y(:,2), ... VariableNames, {SampleId, Dim1, Dim2}); writetable(outTbl, embedding_tsne.csv); % 出圖按標(biāo)簽著色點(diǎn)大小隨局部密度微調(diào) figure(Color, w); gscatter(Y(:,1), Y(:,2), label, [], ., 12); xlabel(t-SNE 1); ylabel(t-SNE 2); title(sprintf(perplexity30, k%d, k)); exportgraphics(gcf, embedding_tsne.png, Resolution, 300);gscatter比手動(dòng)循環(huán)scatter省事它會(huì)自動(dòng)分配顏色。exportgraphics比saveas清晰度高投稿或者寫(xiě)報(bào)告都能直接用。導(dǎo)出表里額外保留前若干個(gè)主成分是有意義的可視化靠 t-SNE下游建???PCA兩條線并行不沖突也方便后面對(duì)照“圖上看著分開(kāi)”和“數(shù)值上確實(shí)可分”是不是一回事。提示圖上的簇間距不要當(dāng)相似度讀。t-SNE 只保證鄰域概率結(jié)構(gòu)兩個(gè)簇在圖上一左一右不代表它們?cè)谠伎臻g里離得遠(yuǎn)。4. 參數(shù)標(biāo)定維數(shù)、近鄰數(shù)、困惑度和隨機(jī)種子參數(shù)亂給是降維結(jié)果的第二大殺手。同一份數(shù)據(jù)k 取 5 和取 50 出來(lái)的圖能講出兩個(gè)完全相反的結(jié)論。這一章把四個(gè)關(guān)鍵參數(shù)拆開(kāi)講每個(gè)參數(shù)控制什么、初值怎么給、怎么用下游任務(wù)反過(guò)來(lái)驗(yàn)證。4.1 目標(biāo)維數(shù)的三種定法方差閾值、平行分析、下游精度方差閾值最直觀也最容易被噪聲帶偏。當(dāng)數(shù)據(jù)里混著幾個(gè)高方差的儀器漂移通道時(shí)前兩個(gè)主成分可能就是這倆通道累計(jì)方差很快到 90%但結(jié)構(gòu)一點(diǎn)沒(méi)提出來(lái)。這種情況要先做異常通道篩查或者改用穩(wěn)健的協(xié)方差估計(jì)。平行分析是更嚴(yán)謹(jǐn)?shù)囊环N把原始矩陣的每一列各自獨(dú)立打亂做一次 PCA得到一條“純?cè)肼曄碌慕忉尫讲钋€”真實(shí)曲線的拐點(diǎn)要高于這條噪聲曲線才保留。實(shí)現(xiàn)只需要十幾行跑一次幾十秒比拍腦袋定閾值強(qiáng)。% 平行分析打亂各列內(nèi)部順序破壞列間相關(guān)性保留邊緣分布 nPerm 20; noiseVar zeros(size(Xn, 2), nPerm); for p 1:nPerm Xp zeros(size(Xn)); for j 1:size(Xn, 2) Xp(:, j) Xn(randperm(size(Xn,1)), j); end [~, ~, ~, ~, expP] pca(Xp, Algorithm, svd, Centered, false); noiseVar(:, p) expP; end noise95 prctile(noiseVar, 95, 2); % 每個(gè)維度的噪聲解釋率上界 kParallel find(explained(:) noise95, 1, first) - 1; fprintf(平行分析建議保留 %d 維\n, kParallel);這段代碼的關(guān)鍵在“按列獨(dú)立打亂”列與列之間的相關(guān)性被破壞了但每列自己的分布沒(méi)變所以噪聲曲線反映的是“如果這些特征彼此無(wú)關(guān)PCA 能提出來(lái)多少”。真實(shí)解釋率低于噪聲上界的那一刻就說(shuō)明再往后提的都是噪聲。第三種也是最貼合業(yè)務(wù)的把維數(shù)當(dāng)超參數(shù)用交叉驗(yàn)證后的分類或回歸精度來(lái)選。做法是讓 k 在 5 到 100 之間按步長(zhǎng)掃一遍每個(gè) k 都跑一次完整的“降維 訓(xùn)練 驗(yàn)證”取精度最高且方差最小的那個(gè)。這種定法計(jì)算量最大但它優(yōu)化的是你真正關(guān)心的指標(biāo)尤其是后面要接模型的時(shí)候前兩種方法只當(dāng)粗篩。4.2 近鄰圖參數(shù)k 太小碎片化太大抹平結(jié)構(gòu)Isomap、LLE、UMAP 都依賴 kNN 圖k 決定了“局部”有多局部。k 太小圖變成一堆互不相連的小碎片測(cè)地距離算不出來(lái)LLE 的重構(gòu)權(quán)重矩陣會(huì)病態(tài)k 太大鄰域跨越了流形的彎折處測(cè)地距離把不同分支上的點(diǎn)串成一條直線展開(kāi)后的結(jié)構(gòu)全錯(cuò)。實(shí)操里我一般這樣定先取 k 10畫(huà)出圖看有沒(méi)有明顯的孤立點(diǎn)或者整片區(qū)域被壓成一條線。有孤立團(tuán)就往上加每次加 5直到圖連通如果加上去之后原本分開(kāi)的兩簇黏在一起說(shuō)明已經(jīng)過(guò)頭了退回去取中間值。工具箱里的近鄰圖診斷函數(shù)能直接輸出連通分量個(gè)數(shù)比肉眼判斷準(zhǔn)。注意UMAP 的n_neighbors和 t-SNE 的Perplexity不是一回事。前者直接控制近鄰圖規(guī)模后者是概率分布的熵目標(biāo)兩者雖然都在調(diào)“局部性”但敏感區(qū)間和調(diào)法完全不同別套用經(jīng)驗(yàn)值。4.3 用下游分類器給降維結(jié)果打分降維好不好最終看下游任務(wù)吃不吃得下。最省事的評(píng)估是固定分類器我一般用線性 SVM 或 KNN 做基線換不同的降維方法和維數(shù)比 5 折交叉驗(yàn)證的精度。之所以用簡(jiǎn)單分類器是因?yàn)閺?fù)雜模型會(huì)把降維的差異吃掉你調(diào)了半天以為降維有用其實(shí)模型自己在高維空間里也學(xué)到了。參數(shù)控制什么初值敏感區(qū)間失控表現(xiàn)目標(biāo)維數(shù) k保留信息量累計(jì)方差 95%5100太大引入噪聲太小丟失判別信息近鄰數(shù) k圖方法局部鄰域尺度1015550太小圖碎片化太大抹平流形Perplexity鄰域概率熵30550太小出小團(tuán)太大糊成一片Exaggeration早期簇間斥力4412太大造出假空隙隨機(jī)種子初始化固定整數(shù)—不固定則圖不可復(fù)現(xiàn)評(píng)估時(shí)有一個(gè)細(xì)節(jié)要注意降維和分類器必須在小折內(nèi)重新擬合不能在全量數(shù)據(jù)上先降維再切折。這一點(diǎn)在 6 章用一整段代碼展開(kāi)這里先記住結(jié)論只要降維看到了驗(yàn)證折的數(shù)據(jù)精度就是虛高的。4.4 復(fù)現(xiàn)性種子、并行與浮點(diǎn)差異t-SNE 和 UMAP 都是隨機(jī)初始化不固定種子你每次截圖都不一樣匯報(bào)的時(shí)候說(shuō)不清是哪一版。固定rng是基本操作但還有兩個(gè)細(xì)節(jié)一是并行循環(huán)里每個(gè) worker 的隨機(jī)流是獨(dú)立的parfor里調(diào) t-SNE 需要給每次迭代單獨(dú)設(shè)種子二是不同 Matlab 版本、不同 BLAS 庫(kù)的浮點(diǎn)累加順序不同同一顆種子在 A 機(jī)器和 B 機(jī)器上仍可能有微小差異圖會(huì)差一點(diǎn)點(diǎn)。% parfor 里保證每個(gè)任務(wù)獨(dú)立可復(fù)現(xiàn) seeds 20240501 (0:nRuns-1); results cell(nRuns, 1); parfor r 1:nRuns rs RandStream(Threefry, Seed, seeds(r)); RandStream.setGlobalStream(rs); results{r} tsne(score(:, 1:k), NumDimensions, 2, ... Perplexity, 30, Verbose, 0); endThreefry是支持并行獨(dú)立流的生成器用它比默認(rèn)的Mersenne Twister在parfor里更安全。多次運(yùn)行不同種子還能干一件有用的事把多次結(jié)果的鄰域保持度比如 KL 散度終值統(tǒng)計(jì)一下波動(dòng)特別大的話說(shuō)明參數(shù)落在了不穩(wěn)定區(qū)間這本身就是個(gè)信號(hào)比單次跑出來(lái)的漂亮圖可信得多。5. 避坑與排查五個(gè)把降維結(jié)果做廢的細(xì)節(jié)下面五條都是我在實(shí)際項(xiàng)目里真踩過(guò)或者幫人排查過(guò)的每一條按“現(xiàn)象、原因、解決”寫(xiě)??粗嵥榈恳粭l都能讓一整天的結(jié)果白跑。5.1 預(yù)處理順序錯(cuò)位兩個(gè)最隱蔽的坑現(xiàn)象一模型在訓(xùn)練集上精度 0.95換一批新數(shù)據(jù)掉到 0.6。原因是在全量數(shù)據(jù)上做了zscore和 PCA然后才切分訓(xùn)練測(cè)試集驗(yàn)證折的信息通過(guò)均值和主成分方向漏進(jìn)了訓(xùn)練過(guò)程。這種做法在離線評(píng)估時(shí)看不出問(wèn)題因?yàn)樵u(píng)估本身也被污染了。解決辦法是把mu、sigma、coeff都當(dāng)成模型的一部分只在訓(xùn)練折上擬合驗(yàn)證折用訓(xùn)練折的參數(shù)做變換具體寫(xiě)法見(jiàn) 6 章。任何時(shí)候你發(fā)現(xiàn)“離線指標(biāo)好得不像話”先查這條?,F(xiàn)象二PCA 載荷圖里第一主成分幾乎等于某一個(gè)通道其他通道權(quán)重接近 0。原因是沒(méi)做標(biāo)準(zhǔn)化那列的原始量綱遠(yuǎn)大于其他列。解決辦法是分解前先zscore同時(shí)把pca的Centered關(guān)掉避免二次中心化。如果那列本身就該占主導(dǎo)比如它確實(shí)是主信號(hào)那另說(shuō)但大多數(shù)情況是量綱問(wèn)題。5.2 參數(shù)與評(píng)估口徑圖好看不等于結(jié)論對(duì)現(xiàn)象三t-SNE 圖上兩類分得很開(kāi)換成線性 SVM 一測(cè)精度只有 0.55。原因是把可視化當(dāng)成了可分性證據(jù)。t-SNE 會(huì)放大局部密度差異隨機(jī)標(biāo)簽跑出來(lái)的圖照樣有漂亮的簇。解決辦法是任何“看起來(lái)分開(kāi)了”的結(jié)論都必須用下游分類器的交叉驗(yàn)證兜底圖只用來(lái)發(fā)現(xiàn)異常樣本和檢查數(shù)據(jù)質(zhì)量?,F(xiàn)象四換個(gè)隨機(jī)種子重跑原本清晰的三簇變成了兩簇。原因是Perplexity落在了不穩(wěn)定區(qū)間或者樣本里有一批近重復(fù)點(diǎn)。解決辦法是把 perplexity 在 1050 之間掃一遍看簇結(jié)構(gòu)在多大范圍內(nèi)保持穩(wěn)定只在穩(wěn)定區(qū)間里取參數(shù)近重復(fù)點(diǎn)先做去重或加微小擾動(dòng)。一個(gè)只在特定種子下成立的結(jié)論不要寫(xiě)進(jìn)報(bào)告?,F(xiàn)象五Isomap 跑出來(lái)一片NaN或者圖縮成一個(gè)點(diǎn)。原因是 k 太小導(dǎo)致近鄰圖不連通測(cè)地距離矩陣?yán)锍霈F(xiàn)無(wú)窮大特征分解自然崩。解決辦法是逐步加大NumNeighbors直到連通分量為 1工具箱的近鄰圖診斷能直接給出這個(gè)數(shù)字。如果加到很大才連通說(shuō)明樣本本身在空間里分成了幾個(gè)相距很遠(yuǎn)的團(tuán)這時(shí)候該先懷疑是不是混進(jìn)了不同來(lái)源的數(shù)據(jù)。5.3 內(nèi)存與性能樣本量上來(lái)之后的現(xiàn)實(shí)問(wèn)題現(xiàn)象六五萬(wàn)條樣本跑 t-SNE內(nèi)存直接爆掉。原因是完整的相似度矩陣是 n×n 的五萬(wàn)樣本就是 2.5e9 個(gè)元素雙精度下 20GB 起步。解決辦法有三條先用 PCA 降到 50 維以內(nèi)減少距離計(jì)算開(kāi)銷打開(kāi)近似算法選項(xiàng)把精確的近鄰搜索換成近似搜索再不行就分層抽樣先在一萬(wàn)條上把參數(shù)定下來(lái)再對(duì)全量做一次固定參數(shù)的嵌入。別指望在小樣本上定好的參數(shù)直接搬到全量上還完全一致樣本規(guī)模變了合適的 perplexity 也會(huì)變。一言以蔽之降維這條鏈路上報(bào)錯(cuò)信息從來(lái)都指向代碼真正的問(wèn)題幾乎都藏在數(shù)據(jù)形態(tài)和評(píng)估流程里??吹疆惓O然仡^看數(shù)據(jù)比盯著函數(shù)簽名強(qiáng)。6. 進(jìn)階把降維塞進(jìn)交叉驗(yàn)證堵住標(biāo)簽泄漏前面反復(fù)提到“降維必須在折內(nèi)做”這一段給一個(gè)能直接抄的完整寫(xiě)法。核心思路是把標(biāo)準(zhǔn)化、PCA、分類器打包成一條“在訓(xùn)練折上擬合、在驗(yàn)證折上只用 transform”的管道每一折都從頭來(lái)一遍。cvp cvpartition(label, KFold, 5, Stratify, true); acc zeros(cvp.NumTestSets, 1); for i 1:cvp.NumTestSets tr training(cvp, i); te test(cvp, i); % 只用訓(xùn)練折估計(jì) mu / sigma / 主成分方向 [Xtr, mu, sigma] zscore(X(tr, :)); [coeff, scoreTr, ~, ~, explained] pca(Xtr, ... Algorithm, svd, Centered, false); k find(cumsum(explained) 95, 1, first); Ztr scoreTr(:, 1:k); % 驗(yàn)證折用訓(xùn)練折的參數(shù)變換絕不重新擬合 Zte ((X(te, :) - mu) ./ sigma) * coeff(:, 1:k); mdl fitcecoc(Ztr, label(tr), Learners, linear); pred predict(mdl, Zte); acc(i) mean(pred label(te)); end fprintf(5 折精度 %.3f ± %.3f\n, mean(acc), std(acc));這段代碼里有兩處必須照抄而不能“優(yōu)化”。第一Zte的計(jì)算用的是訓(xùn)練折的mu、sigma和coeff如果偷懶寫(xiě)成對(duì)X(te,:)再跑一次zscore和pca驗(yàn)證折的統(tǒng)計(jì)量就參與了變換精度會(huì)虛高幾個(gè)百分點(diǎn)而且這個(gè)偏差在小數(shù)據(jù)集上特別明顯。第二fitcecoc在每個(gè)折里重新訓(xùn)練不能在外面訓(xùn)好一個(gè)模型循環(huán)里只換數(shù)據(jù)。這兩條加起來(lái)才叫真正的“折內(nèi)降維”。如果要把降維方法當(dāng)超參數(shù)一起搜用fitcecoc外面套一層bayesopt或者簡(jiǎn)單的網(wǎng)格掃把k和近鄰數(shù)放進(jìn)搜索空間。注意parfor和cvpartition一起用時(shí)隨機(jī)流要單獨(dú)設(shè)否則各折的劃分雖然固定降維內(nèi)部的隨機(jī)初始化還是會(huì)飄。還有一個(gè)容易被忽略的點(diǎn)LDA 這類有監(jiān)督降維標(biāo)簽必須只來(lái)自訓(xùn)練折。有人圖省事在全量數(shù)據(jù)上跑一次 LDA 再切折這比 PCA 泄漏更嚴(yán)重因?yàn)榕袆e方向直接把測(cè)試折的標(biāo)簽信息編碼進(jìn)去了精度能虛高十幾個(gè)點(diǎn)而且離線怎么調(diào)都“很好”一上線就原形畢露。我現(xiàn)在的習(xí)慣是只要流程里出現(xiàn)zscore、pca、tsne這些詞就先寫(xiě)一個(gè)空的折循環(huán)確認(rèn)所有擬合動(dòng)作都在tr的索引里再往里填模型。有次趕進(jìn)度跳過(guò)了這一步回頭查一個(gè)“訓(xùn)練集 0.98、線上 0.61”的模型翻了半天代碼才發(fā)現(xiàn)標(biāo)準(zhǔn)化寫(xiě)在了切折之前血淚經(jīng)驗(yàn)從此再?zèng)]省過(guò)這五行循環(huán)。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
掩去也综合五月视频| 亚洲精品视频在线| 人妻久久久久久久久妻久久久久久久久 | 婷婷五月天影视| av五月天婷婷丁香| 情色五月天网站| 五月天激情小说| 99re在线播放| 五月婷婷天天| 五月婷婷 欧美| 中文字幕婷婷9月天| 婷婷五月天在线观看免费| 99人妻碰碰碰久久久久视| 日本一级| 六月亚洲| 婷婷九九视频| 色色婷婷丁香| 成人丁香五月天| 丁香六月激情| 专区无日本视频高清8| 欧美激情-区二区三区| 五月丁香六月婷婷的女人| 久久精典| 亚州日本欧州韩美高青高潮一| 丁香五月色激情| 亚洲免费观看高清完整版AV线| 99热精品在线| 久草婷妨| 日日色综合| http://www.lingjunshare.com/ | 日韩AV大全| 玖玖九九99| 激情伊人网| 99精在线| 丁香六月激情国产| 五月丁香 狠狠爱| 五月婷婷六月激情| 婷婷久久免费看| 久草婷妨| 色婷婷久久| 五月丁香六月香综合激情| 久99久热| 五月伊人91| 色婷婷天堂| 亚洲亚洲激情| 91|九色|动漫| 激情操逼婷婷| 五月天婷婷基地| 可以直接看的AV网站| 欧美啪啪9| 噼里啪啦在线观看免费完整版视频| 思思热精品在线观看| 91色色色18| 老师的粉嫩小又紧水又多A片视频 粉嫩AV久久一区二区三区 | 337p大胆噜噜噜噜噜91Av| 综合性视频99| 色色色99| 亚洲99一级无嗎特制在线| 99操逼| 亚洲麻豆乱码国产2028| 欧美一级色| 婷婷五月综合中文字幕| 丁香五月婷婷网| 五月婷婷深爱六月| 97福利视频| 亚洲综合色激情色五月| 天天爽人人综合免费7799| 亚洲热热视频| www.伊人天堂偷偷婷婷| 日本欧美在线| 亚洲在线播放| 九九九九精品精| 欧美色99| 五月天婷婷视频| 久久婷婷五月国产色综合激情| 伊人青涩网| 色九月| 99视频精品在线| 九九热这里精品| 超级碰碰碰碰视频| 五月天丁香婷婷视频网址| 深夜男女福利刺激影院一区完整| 激情五月婷婷色| 思思99热这里只有精品| 亭亭玉月丁香| 六月成人网| 九九色热| 91久久色| 人人草人| 男女久久婷婷五月天| 在线播放中文字幕| 国产无人区大片| 激情婷婷狠狠干综合| 欧美久热| 色九亚洲| 五月天婷婷激情综合| 色婷婷五月基地在线| 一区二区免费看| 丁香六月婷婷操逼网| 丁香六月情| 五月激情综| 一區四區歐美日韓| 91五月天| 91综合色| 激情久久综合网| 被强行糟蹋的女人A片| 天堂久久精品| 99热这里只有精品首页| 婷婷五月天堂一本在线| 婷婷丁香视频| 色婷婷五月天激情在线播放| 偷拍99在线视频观看| 五月情婷婷五月| 伊人九九综合| 9 1 A v久久久| 国产黄色在线观看| 色婷婷基地 | 无码人妻一区二区三区免费九色| 日本狠狠爽| 五月婷婷激情性爱| 五月天婷婷社区久久综合| 人人摸人人干| 这里只有精品96| 欧美精品999| 婷婷射丁香| www.色色色色| 中文字幕色色| 激情综合色婷婷啪啪六月天| 亚洲 小说 欧美 激情 另类| 丁香五月日啪| 九九99视频精品| 五月婷婷99热| 9久久婷婷国产综合精品性色| 激情国产五月| 中文AV网站| 韩国真做片在线观看| 99久久6| 婷婷五月激情网| 婷婷五月情天| 伊人久久五月天综合| 色婷激情网| 狠狠艹狠狠艹| AV伊人青草丁香六月| 亚洲精品在线视频| 日熟女| 91亚洲免费片| 欧美啪啪五月天| 99re久热| 黄色aa观看aaguochan| 色综色网| 亚洲精级| 91热在线观看视频| 99操网站| 9久操| 91碰免费视频| 九月停停| 久久人视频| 午夜]香婷婷深深爱| www.丁香六月婷婷久久天堂影院.con| .精品久久久麻豆国产精品| www99热| 五月婷激情| 另类图片天天影视在线观看| 狠狠色综合网站久久久久| 伊人碰碰碰| 天天爽天天爽| 婷婷射图| 丁香五月婷婷啪啪| 狠狠搞狠狠操| 五月天另类激情在线| 五月丁香六月激情欧美综合| 色婷婷久久| 丁香五月影院| 久久99热这里只频精品6学生| 狠狠草狠狠草| 九九亚洲视频| 欧美69久成人做爰视频| 久久久久久99日本| 天天综合色99| 91色在线| 五月色情婷婷| www亚洲无码| 色yeye欧美| 玖玖热99| 9l视频自拍9l视频自拍九色学生| 丁香婷婷基地| 婷婷五月亚洲激情| 颜射 精品性爱av| 91小黄书网址在线观看| 夜夜干天天干| 五月丁香六月婷婷成人电影| 99碰超| 99色综合网| 成人网站在线观看视频| 五月天激情小说网| 五月婷婷啪啪啪啪| 丁香视频| 色综合久| 夜夜爽日日躁| 五月色色激情网| 激情五月婷婷| 五月天婷婷社区| 国产全是老熟女太爽了| 激情玖玖综合网| 婷婷九九视频| 他改变了拜占庭| 激情丁香淫荡婷婷| 日日日日操| 91久久电影| 九九激情综合| 欧美大片免费播放器| 五月婷婷香蕉| 99九九视频| 五月丁香另类图片| 婷婷五月激情丁香激情| 情趣视频66| 色婷婷天堂| 99视频| 国产偷人爽久久久久久老妇APP | 天天情天天狠天天透| 日本va网站| 亚洲 六月 综合| 九九热精品视频在线观看| 97超碰综合| 精品一区二区三区免费毛片爱| 久久久aaa| 五月综合丁| 久久97久久99久久综合欧美| 99干在线| 五月婷婷激情综合在线| 五月天激情无码专区| 99超级碰碰| 五月婷婷激情| 韩日AV片| 婷婷五月四狠狠| site:publishdd.com| 五月天亚洲综合网| 九九aV| 日本在线播放97| 精品99在线观看| 色色五月天婷婷| 九九这里精品| 五月婷婷久久大香蕉| 婷婷综合视频| 9久久精品视频| 日本99热| 五月婷婷亞洲中文| 五月激情婷婷丁香| 色九月综合| 91尤物九色在线| 婷婷五六日| 九九这里有精品| 六月婷婷色| www,setingting| 51成人| 丁香五月天五码婷婷| 激情九色| 爱超碰性| 97在线综合| 婷婷成人五月天一区| 色色色综合| 五月婷丁香| 久久丁香九| 天天爱天天做天天日| 色综合色综合网| 五月婷婷与六月丁香图片激情| 国产国产乱老熟女视频网站97| 激情AV中文| 再綫Av免费視品| 激情综合色婷婷六月天| 成人在线日韩| 婷婷激情在线| 丁香五月婷婷俺也要去| 九九热精品| 婷婷五月在线| 精品国产va久久久久久久| 狠狠操综合| 深爱激情网五月天| 99网| 九热视频精品| 婷婷基地五月色| 日韩综合天堂| 在线播放 精品| 婷婷亚洲日本| 亚洲欧美丁香五月天亚洲欧美| 色色亚洲| A片一曲| 成人精品99| 超碰在线91| 另类图片五月激情| 激情五月天无码| 五月婷婷偷拍| 99re视频在线精品| 丁香五月婷婷色五月| 激情综合国产| 肏日网在线看| 丁香亚洲婷婷五月| 婷婷婷婷色| 99天堂网最新| 天天射天天射一道本日本社区| 亚洲天堂99| 人人操人| 五月天婷婷开心| 久久网日本| 午夜AV网| 天堂五月婷婷| 99热这里只有精品4| 亚洲四色五月| 国产日日操夜夜操的肉棒视频| www.久热| 久久久精品AV| 婷婷五月天堂| 99久久超级| WWW.夜夜操.com| 激情四射五月天偷偷看婷婷| 久草性爱| 午夜丁香 婷婷| 久色中文| 国产成人网址| 国产99热| 97影院一级片| 蜜乳人妻一区二区三区| 涩婷婷五月天| 亚洲网站观看视频| 在线五月色播| 网站免费一站二站| 五月丁香婷婷久久| 亚洲婷婷久久综合| 老师把我爽高潮了免费A片| www.伊人天堂偷偷婷婷| 色五月激情网| www99热| 国产成人AV在线播放| 懂色av粉嫩AV蜜臀AV| 亚洲AV激情五月综合网| 亚洲综合五月| 香蕉综合在线| 97碰| 成人视频在线免费播放| 婷香五月激情视频| 中文字幕人妻AV| 久久一二三视频| 五月婷丁香| 中文无码婷婷| 久久多色| 午夜九九九九九九九九九九九九九| 色五月丁香伊人五月| 在线播放人妻| www.伊人天堂偷偷婷婷| 亚洲视频在线观看| 熟女乱论网| 亚洲久热无码| 爱超碰性| 五月婷综合性中心| 久久人妻熟女一区二区| 一本久久亚洲五月婷婷| 99免费在线视频| 色五月激情视频在线综合| 97影院一级片| 非洲一级AV| 亚洲色频| 成人AV网站在线| 天天插AV丝袜中| 午夜微拍福利| 天天天天天天噜| 91色呦哟| 色婷婷狠狠久久综合五月| 中文字幕乱码亚洲精品一区| 丁香五月骚喷水视频| 亚洲操操| 五月天堂婷婷| 国产精品日本一区二区在线播放| 涩涩五| 午夜天堂一区人妻| 人人天堂操| 中文毛片无遮挡高潮免费| 亚洲第一色网站| 色五月成人| 久久这里都是精品免费| 色爱综合网| 性爱先锋AV| 综合色色色| 日本高清久久| 色婷婷激情| 99er6免费视频热播| 五月丁香| 婷婷亚洲五| 涩五月婷婷| 激情无码五月天| 色狠狠综合| 色婷丁香五月| 专区无日本视频高清8| 五月六月丁香婷婷在线观看| 精品夜夜澡人妻无码AV| 婷婷五月天人妻| 激情综合网激情五月婷婷| 五月婷六月天| 狠狠色综合网站久久久久| VA色婷婷| 狠狠色综合网| 手机AVAV天堂看网| 婷婷干| 自拍盗摄 另类| 欧美日本97| www婷婷| 激情五月综合第一页| 免费看欧美成人A片无码| 国产精品国产| 9久精品视频| 99久热| 久久久com| 99re这里只有精品免费| 丁香综合日产精品久久| 婷婷五月天电影区小说区| 丁香九月综合在线| 六月婷久久| 激情五月天视频| 中文字幕 中文字幕明步| 五月婷婷中字在线| 五月婷婷丁香91| 热成人网| 丁香九月激情久久| 亚洲精品视频在线| 天天在线久久综合 | 99热黄| 天天日天天草| 久久综合五月天| 久久五月天婷婷| 99热精品网| 亚洲网站观看视频| 另类激情首页| 九色PORNY9l原创自拍| 日日日日日| 九九热这里只有精品12| 伊人成综合五月婷婷| 99爱视频| 99er这里只有精品视频| 欧美色男人网站| 香蕉AV777XXX色综合一区| 日日干夜夜干| 丁香五月天激情网| 五月丁香花视频| 丁香五月婷婷影院| 亚洲精品性色| www.97干视频| 婷婷五月天在线观看| www.人人操人人看人人想人人摸 人人人人操,COM | 91丨九色丨国产| 色五月播五月| 激情丁香五月天综合| 国产乱妇无乱码大黄AA片| 丁香六月无码播放| 久婷| 亚洲精品国产A久久久久久| 色情综合网| 99熟女啪啪视频| AV性爱在线| 99色热视频| 日韩无码91| 五月婷婷香| 天天日,夜夜爽| 综合色视频| 二色av| 五月丁香久久久日婷婷久久婷婷日| 激情婷婷激情在线不卡| 天天射美女| 六月丁香射婷婷欧美色图片 | 丁香五月久久| 婷婷成人五月天成人文学小说| 成人版视频在线观看| 五月丁香| 天天天天天天操| 五月婷婷六月丁香免费| 狠狠爱五月婷婷综合六月| 色情丁香五月婷婷精品| 96性爱视频| 婷婷综合一二三| 狠狠综合网| 婷婷丁香五月综合激情视频| 五月婷婷av在线| 超碰99资源站| 五月天婷婷激情干干| 东北黄色一级| 国产乱子轮XXX农村| www,色色色网站| 五月婷婷在线短视频| 九九热狼人| 色婷婷操逼| 六月天无码网址| 91丨九色丨熟女丰满| 性做爰1一7伦| 日本高清久| 久婷婷久草| 日韩精品一品二区三区的使用体验 | 99re思思热久久| 亚洲激情AV| 大香蕉福利导航| 99ri在线| 五月天婷婷在线播放免费| 久草五月| 青青999| 久久激情视频| 啪啪黄页网| tingtingzonghewang| 五月丁香婷婷色色色| 久久精品无码一区| 日本三级大片| 成人免费va| 色99亚洲| 激情综合在线观看| 国产av网| 丁香五月久久| 九九性爱网| 99精彩视频在线观看| 亚洲AV网站在线观看| 亚洲六月色| 午夜天堂啪啪| www.日日夜夜.com| 插插插色综合网| 五月丁香欧美综合| 大香蕉婷婷婷| 亚洲人人操| 色七七九九| 亚洲精品性色| 美女天天艹人人爽| 一本色道久久88加勒比—| 综合aV在线| 婷婷性爱| 亚洲精品永久久久久久| 色五月视频无码播放| 久久久WWW| 日本97在线看片| 丁香五月天社区| 久久婷婷五月综合伊人| 五月婷视屏在线观看| 国内婷婷丁香社区在线播放| 另类A片| 色播色丁香五月| 天天插天天干| 亚洲精品视频在线| 天天做天天爱天天玩| 成 久久| 热九九在线| 国产日韩av片| 色丁香五月婷婷综合久久| 极品人妻VIDEOSSS人妻| 色噜噜婷婷| 99精品无码| 米奇影视五月天| 五月丁香综合网色欲| 中美月韩免费A片| 久久资源综合| 伊人丁香在线| 专区无日本视频高清8| 香蕉婷婷| 狠狠爱婷婷爱| 天天透天天爱| 狠狠搞亚洲| 嫩草综合网| 99在线精品观看99| 大香蕉婷婷久久| 五月婷婷亚洲色图| 欧美日韩婷婷五月天| 国产精品18久久久| 久久这里只有精品热在99| 亚洲成人AV在线播放| 538在线精品| 这里只有精品69| 婷婷五月天亚洲天堂| 丁香5月激情网| 国产av影片| 99久久新视频| 久久天堂色| 超碰97在线观看免费| 国产真实乱了老女人视频 | 五月丁香婷婷色色| 91九色熟女| 97香蕉人人在线观看| 精品婷婷丁香五| 亚洲午夜成人av电影网| 人妻丰满精品一区二区A片| 色无码| 五月色网| 殴美激情综合网| 激情九色| 久久视频婷婷| 丁香婷五月天开心六月| 五月欧美丁香在线观看| 97 A I色色| 婷婷十月激情综合网| 天天射夜夜骑| 五月开心激情网| 九九九成人在线视频| 色噜噜狠狠色综合日日免费| 99热99热在线观看| 久久99最新| 日韩99色| 色。 婷婷婷| 色五月天中文字幕| 六月丁香激情最新更新| 熟女五月天久久综合| 色婷婷激情小说网| 丁香五月狠狠综合欧美| 色婷五月丁香久亚洲| 天天插天天日天天爽| 婷婷综合五月激情| 婷婷六月激情啪啪| 春色激情第四色| 婷婷在线午夜| 大伊久久| 五月天精品综合| 99国产小视频| 六月丁香激情网| 五月婷婷中文| 六月丁香啪啪啪| 丁香五月成人婷婷| 五月丁香久人妻中文| 在线成人网址| 99热这里是精品| 99re思思热久久| 538在线精品| 色999五月色| 97人人干| 日韩黄色中文字幕| www.99精品日操伊人乱碰在线| 真实的国产乱XXXX在线91| 久热A片| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 中文字幕激情综合| 久久九九玖玖| 91碰碰| 五月婷婷中字在线| 五月天色婷婷小说| 色婷婷综合网站| 色婷婷AV久久久久久久| 久久精品人妻| 91美女被操| 欧美日韩aaa| 韩国真做片在线观看| 91肏肏肏| 另类国产欧美视频| 色欧美影院| 久热91| 六月婷婷成人| 婷婷久久午夜网| 美女婷婷六月色| 这里只有精品在线播放| 婷婷瑟瑟五月天| 五月天综合在线观看视频| 九九热re99re6在线精品| 色婷婷六月天| www色色com| 国产精品久久久久9999小说| 色婷婷AV在线观看| 色婷婷狠狠久久YY| 九九RE视频在线精品| 丁香五月综合激情久久潮喷| 综合色五月天| 久热网站| 色女人久久| 国产在这里只有精品| 无码日本精品XXXXXXXXX| 国产精品久久久久久久久久免费| 色爱爱综合网| wWW九九在线播放| av大香蕉| 青青草深爱激情网| 亚洲视色| 91九色精品女同系列| 狠狠色婷婷7777久| 五月桃花网综合| 丁香伊人五月色婷婷五十路| 毛片新网地| 五月婷五月婷伊人伊人五月婷| 五月激情网五月综合网| 这里只有精品网| 久久婷婷婷| 在线只有精品| 婷婷五月丁香青青草在线| 久操人| 久久99精品九九久久久婷婷| 婷婷五月天影视| 另类小说激情五月天| 99热9999| 五月丁香六月婷| 色天使久久综合| 九九精品热播| 婷婷在线观看五月天在线视频| 小视频一区| www婷婷| 99精品综合视频| 亚洲日韩成人三级av| 高清国产AV| 激情视频婷婷五月花| ...婷婷国产成人亚洲日韩| 色婷婷AV久久久久久久| 黄网免费看| 国产精品久久久久久亚洲毛片| 国产综合A片| 伊九九三级区| 色99综合视频| 超碰二区| 中文字幕在线免费看线人| 色婷婷综合丁香五月天| 久久黄A片| 亚洲一区二区无码蜜乳av| 99操无码视频观看| 国产精品VIDEOSSEX久久发布| 日韩精品无码AV| 国产99久久久| 五月欧美色色五月| 美女网黄| 无码成人AAAAA毛片AI换脸| 97碰碰在线观看视频| 免费AV黄在线播放| 五月天啪啪啪| 婷婷五月av| 九月大香蕉| 丁香五月综合高清在线| 99热最新网址| 超碰人人色| 婷五月天影院| 996热| 色婷婷色人人射| 色婷婷狠狠爱| 99精品久久久久久| 久久久人妻人伦| 少妇人妻综合色6699| 91精品综合久久久久久五月丁香| 香蕉曰比| 亚洲激情亚洲激情| 五月色影院| 五月天综合在线| 日韩一级网站| 琪琪色热色色| 五月婷婷免费在线观看| 伊人久久大香线蕉av最新| 亚洲黄色网址| 91人人操人人| 99热这里只有免费精品| 久久久精品人妻| 久热婷婷在线视频| 精品国产va久久久久久久| 激情久久久久久久久久| 99热 精品在线| 97碰在线| 亚洲精品激情| 99精品国产在热久久| 99手机在线精品视频| 深爱激情网噜噜色| 色婷婷狠狠| 久碰久| 欧美婷婷五月无砖| 91.com男女操| 狠狠一日| 高清无码.com| 久久精品99久久久久久| 丁香花大香蕉婷婷综合| 人人亚洲| 蜜臀av粉嫩av懂色av| 碰超亚洲| 五月天丁香啪啪综合| 无码橾| 69热91天堂| 91碰碰碰久久久久| 五月天婷婷久久日| 久久精品五月天| 五月丁香综合色婷婷| 思思热久久阴99| 女人被男人吃奶到高潮| 99超碰欧美| 狠狠香婷婷五月| 六月丁香婷婷综合狠狠爱夜夜爱| 亚洲无码性爱| 色播五月丁香婷婷| 亚洲精品无码久久| 噜噜狠狠色综合久| 99热这里只有精品 搜| 91chinese在线| 综合99久久| 欧美成人色婷婷| 国产午夜成人免费看片无遮挡| 婷婷丁香五月亚洲欧美| 五月婷婷六月丁香玖玖玫瑰91| 黄色视频网站在线播放| 色欲Av五月天| 色色色干| 99九九视频| 亚洲第一精品网站| 亚洲六月色| 五月丁了香蕉综合| www.99在线| 中文字幕成| 韩国天天婷婷| 无码激情AAAAA片-区区| 九九综合视频在线观看| 日韩在线视频中文字幕| 大香蕉人人网| 色五月丁香六月婷婷| 麻豆AV一区二区三区| 欧洲99视频在线| 色99日韩| 婷婷久久女人| 五月香六月婷| 青草青草视频2免费观看| 五月丁香网视频| 97香蕉碰碰人妻国产欧美| 色婷婷91| 婷婷开心激情| 色色色色色色色五月| 色婷婷丁香特级性爱视频| 亚洲色综合| 天天激情5月天亚洲| www.97碰碰com| 国产九九一区二区三区| 曰日爽日日操| 丁香五月婷婷综合激情啪啪啪| 岛国资源网| 嫩草AV久久伊人妇女超级A| 色婷婷五月天av在线| 婷婷丁香成人| 97五月久久丁香婷婷| 天天综合中文| 色九月丁香婷婷蜜桃在线观看| 日日夜夜噜噜爽爽| 久久精品99国产精品日本| 久久综合网免费视频| 五月婷六月| 人人操99| 91九色丨国产丨爆乳| 丁香五月婷婷综合精品素人| 五月色影院| 日本全黄一级999| 婷婷噜噜| 激情五月天色色色| 九九性视频| 好大好粗嗯啊-一级黄色大片免费观看-成人AV| 久99久热只有精品国产99| 熟女人妻视频| 五月丁激情| 亚洲精品久久久久久久久久吃药| 色婷婷五月丁香在线观看| 夜夜操狠狠操| 人妻性爱| 国产肥白大熟妇BBBB视频| 激情综合网之激情五月| www.色婷婷| 99在线免费视| 成人国产欧美大片一区| 色播五月婷婷综合| 无码人妻精品一区二区蜜桃色欲| 五月天播播综合| 五月丁香久久| hd五月婷婷在线| 538在线精品| 天天操,天天插| 国产av一区二区三区| 日韩小视频在线99| 五月婷婷丁香日韩在线| 五月丁香无码视频| 99五丁香月| 五月婷婷官网色| 9超碰在线| 久热69| 欧美日韩成人免费在线| 日韩啪啪网| 日本色频| 99色视频| 日本在线免费中文com.| 日韩国产在线精品| 国产资源91在线| 任你艹| 久久黄A片| 丁香激情五月| 五月色婷婷综合丁香精品无遮挡| 色欧美色色色| 人人爱人人添| 97人妻人人| 色婷久九| 成人片在线播放| 99色综合| 成人婷婷深爱综合网| 久久您您综合网| 五月丁香六月婷婷开心网| www.激情com| 九九99九九99九九99视频网| 午夜丁香| 国外亚洲成AV人片在线观看| 五月丁香六月激情综合在线| 伊人激情网| 日本九婷婷| 丁香五月色色| 亚洲中文字幕av| 99热日本| 久99久视频精选| 大香线蕉伊人| 丁香五月天激情网址| 婷婷六月激情综合| 欧美电影在线观看| 开心五月婷婷99| 2022久久婷婷| 人人操插| 婷婷激情丁香五月天综合| 色135综合网| 狠狠搞亚洲| 婷婷色五月开心五月| 婷婷五月情| 俺五月| 日韩久操婷婷| 国产免费一区二区三州老师F1F1| 久久婷婷六月天| 日本二级毛片二级毛片| 婷婷深爱五月| 91操网| 日日做A爰片久久毛片A片英语| 狠狠色噜噜狠狠| 久久久jd| 综合激情婷婷| 这里只有精品在线免费视频| av无码电影| 99精品在这里| 婷婷五月天a| 欧美婷婷综合网| 色色色色综合网| 伊人超碰| 狠狠色九月| 日日干天天爽| 99久久成人| 婷婷五月天丁香激情| 99热网站| 五月天电影网| 色五月色图| 久久久18| 五月色色激情网| 久操干| 激情婷婷五月天| 婷婷五月丁香网| 色九亚洲| 内射在线CHINESE| 五月色综合网| www,8050,午夜三级| 大香蕉久久视频久久视频 | 久久五月六月| WWW.HENHENL.| 欧美内射AA| 人妻在线中文字幕久久| 踪合专区啪啪| 最近免费中文字幕大全高清大全1 免费看欧美成人A片无码 | www,五月丁,com| 4399在线观看免费高清黄色视频| 五月婷婷丁香| 97热这里只有精品| 九九人妻福利| 欧美日韩国产一二区| 9久热| 99色热视频| 亚洲综合在线播放| 69超碰在线| 五月婷婷导航| 亚洲五月丁| 91日韩美女被插视频| 免费看欧美成人A片无码| 婷婷五月天播播| www久久99com| 亚洲另类AV| 99热在线播放| 噜噜噜噜综合在线| 丁香婷婷色五月| 美女爆乳18禁www久久久久久| 99天堂网| 五月婷婷九月婷婷九月婷婷| 97人人操人人爽| 九九色网专区| 婷婷五月天成人| 五月情色天| 久久久精品99亚洲综合| 日韩有码久久| 色婷婷电影网| 成人免费在线电影| 五月婷婷影视| 五月丁香综合激情网| 婷婷香蕉精品| 99热伊人| 思思热在线播放| 丁香五月婷婷无码AV| 人人97操| 国产成人精品亚洲线观看| 国产精品色婷婷久久久精品| 5月婷婷激情6月| 五月婷婷三级| 一级黄色片看看| 日韩啪啪视频| 丁香六月婷| 99精彩视频在线观看| www.综合久久| 爽tv | 九九精品热| 丁香狠狠色婷婷久久无码视频| 久久黄色网扯| 91九色国产熟女| 亚洲操女| 九九综合久久| 丁香 久久| 青青草原福利在线| 婷婷五月天av网| 4399高清无码视频| 五月天丁香啪啪网| www.婷婷五月天.com| 丁香成人五月天| 精品九九视频| 狠狠色综合网| 日韩精品电影| 99久久国产宗和精品1上映| 久久婷五月| 亚洲五月婷婷| 日韩六六久久电影| 久久这里只有精品5| 91一道本| 欧美色激情四射| 丁香五月激情啪啪| 五月丁香色婷婷色| 99热这里只有免费精品| 色综久久久| 九九九九国产| 综合色色综合| 天天插操| 中文字幕按摩做爰| AA丁香综合激情| 99综合| 永久AⅤ1| 青青操avbb| 久久性综合| 亚洲色热| www热久久yy9| 亚洲成人在线五月天| 五月婷婷五月天天| 五月天狠狠网站| 成人版视频在线观看| 色都都狠狠色都都色综合色| 97干干干丁香| 婷婷伊人綜合中文字幕小说| 五月婷婷熟女| 五月丁香五月综合欧美| 五月丁香狠狠| 成人色情五月天婷婷丁香| 丁香五月1页| 综合一区二区三区| 色婷婷玖玖影院| 成人五月天。COM| 四虎国产精品永久在线国在线| 狠狠操狠狠操| 影音先锋色婷婷| 激情综合网五月| wwwwww.色| 久久婷婷五月综合激情国产| 色之综合网| 另类视频在线| www99在线观看视频| 色五月婷婷AV| 欧美激情 日韩无码 婷婷 五月天| 9久热精品在线视频| 99这里有精品视频| 五月婷婷深深爱| 婷婷激情六月| 日日爽日日| 中文字幕性爱丰满| 婷婷天天综合| 婷婷五月天六月综合| 99久久66| www.激情五月天。com| 亚洲国产成人综合| 91肏| 亚州操逼网| 亚洲午夜一区二区| 久久久久久久久久久久久久久久久精典| 9色91视频| 国产又爽又猛又粗的视频A片| 99久久综合| 丁香五月香蕉| 五月婷婷中文| 五月丁香| 五月丁香激情综合| 99热这里只有精品1025| 久久与婷婷| 五月婷婷激情| 五月丁香成人网| 久久这里只有精品热在99| 日日夜夜婷婷| 亭亭五月色男人| 五月丁香亚洲综合| 婷婷丁香五月高清| 操操操AV| 五月婷婷九月婷婷九月婷婷| 五月婷久久在线| 五月天婷婷视频30| AV天堂婷婷五月天| 人人人va亚洲视频在线| 欧美啄木乌丝袜人妻系列| 天天天天天天天操| 色性五月天| 色色哒五月婷婷六月丁香| 日韩人妻操逼视频| 婷婷五月图片小说网| 婷婷五月天欧美图片在线播放电驴| 狠狠色狠狠色综合日日91| 婷婷五月天日日日干干干| 久色网五月| 五月婷婷激情69| 色综色五月天婷婷| 96五月丁香熟女| 久久色这里只有精品| 婷婷深爱五月丁香| 丁香五月成人网| 六月丁香五月婷婷| 日韩欧美成人片| 超碰成人在线观看| 婷婷色网站| 婷婷五月情| 久久久婷婷| 精品影院| 激情五月天。| 变态另类色图| 日本少妇AA一级特黄大片| 婷婷五月无码| 国产欧美日韩综合精品一区二区| 亚洲亚洲人成综合网络| 激情五月黄色| 久久久久九九九九视屏小说88| 色婷狠狠| 丁香 亚洲 久久| 中文精品在| 一起草Av| 久久婷婷六月天| 伊人六月无码视频| 99只有这里是精品| 99热6色| 第四色大香蕉| 性生活视频98791| a网站免费观看| 亚洲精品字幕在线观看| 久久五月婷婷综合网| 沈娜娜av| 91日精品| 51成人| 丁香婷婷六月激情文学 | 亚洲区,视频区,视频区免费| 日日日,com| 五月天色官网| 色色COm| 久久久久婷 | 亚洲无码11| 成人丁香五月| 五月婷婷天天色| 欧美日本一区二区三区| 九九在线这里只有精品视频 | 九九九AAA热视频| 激情婷婷九月| 成人午夜无码视频| 2025最新亚洲激情在线| 色情一区二区播放| av人人干| 综合网色| 天天日天天舔| yazhoujiqingav| 五月天堂色色| 啊V视频在线观看| 五月天电影网| www,欧美干干干干干干| 国产资源91在线| 激情 婷婷| 任你艹| 亚洲亚洲人成综合网络| 在线免费观看激情视频| 日韩欧美老妇性视频91久久久| 狠狠色丁香| 五月丁香 啪啪啪| 九一99| 综合网啪啪| www久久久| 欧美日韩一区二区三区四区| 女人天堂久久| 久热视频A.| 日日操人人操| 五月天激情久久| 五月丁香婷婷综合网| 一级AV片| 九九精品re免费视频| 99久久99九九九99九他书对| 色综合五月在线| 久久这里只有精品热在99| 淫视馆aV二区一区| AV在线不卡播放| 久久新地此| 99re熱| 五月婷婷网五月在线| 激情综合网五月| 国产精产国品一二三在观看| 五月丁香久久激情综合| 五月婷中文字幕| 五月天婷婷网站| 日日色综合| 深爱激情丁香| 无码字幕中文| 激情久久五月天| 日日色五月天| 99精品热| 婷婷亚洲天堂| 九九久久腿| 99在线精品观看99| 特级片神马电影| 色综合久久综合中文综合网| 欧美成人精品三区综合A片| 天天干夜夜谢| www.seqingwuyuetian| 秋霞AV美国| 婷婷久久久久久久| 激情综合五月婷婷六月丁香 | 97人人超| 国产性爱在线| 五月天婷婷社区久久综合| 天天爱天天做天天舔| 人人播| 开心激情站| 丁香五月 激情文学| 色婷婷丁香网| 六月丁香VA| 337p大胆噜噜噜噜噜91Av| 天堂网亚洲色图| 综合天天综合| 天天狠狠干| 色情五月婷婷| 狠狠 久久| 第2色五月婷| 五月丁香六月激情在线| 亚洲色综合| 久久狠婷婷| 色欲五月天| 99热免费精品| 成人做爰黄A片免费看直播室男男| 亚洲婷婷婷| 99re这里只有精品首页| 日本综合久久| 99色综合久久| 思思99热这里只有精品| 激情小说视频图片| 久久99网站| 婷婷色基地在线看 | 色综合色色色色| 一个色的综合| 五月花婷婷| WwW色婷婷| 久99| 狠狠干在线| 天天综合色| 性天堂久久| 午夜国产精品AV在线播放| 九九九九国产| 色啪久 | 狠狠色五月激情| 99无码精品| 超碰9799| 日本欧美在线| AV五月婷婷露脸| 亚洲精品无码一区二区| 国产色网站| 丁香五月开心婷婷|