欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

PCA與MDS降維方法詳解:線性投影與距離保持的兩條路徑

PCA與MDS降維方法詳解:線性投影與距離保持的兩條路徑 做用戶畫像聚類的時(shí)候我拿到過一份上千維的特征表不降維直接跑聚類結(jié)果全是一團(tuán)漿糊后來做了降維再聚類幾個(gè)類別之間的邊界立馬就清楚了。從那以后我就養(yǎng)成了習(xí)慣任何高維數(shù)據(jù)到手先花十分鐘做一輪降維摸底再?zèng)Q定下一步怎么走。這篇文章就把降維里兩條經(jīng)典路線——MDS降維方法和線性降維方法——放在一起講透。MDS這個(gè)名詞在面試題里出現(xiàn)的頻率不低但很多人被它唬住以為是什么高深的流形學(xué)習(xí)。實(shí)際上MDS和PCA的關(guān)系比想象中近得多在歐氏距離下經(jīng)典MDS求出來的坐標(biāo)和PCA投影基本是同一套東西。把這兩塊打通你對(duì)降維的幾何直覺會(huì)上一個(gè)臺(tái)階。這篇文章適合剛接觸降維、想弄懂原理也想要能直接跑的代碼的朋友有經(jīng)驗(yàn)的讀者可以重點(diǎn)看第5節(jié)里面那些坑是我實(shí)際踩過的。1. 降維到底在解決什么問題兩條路線背后的幾何直覺1.1 為什么需要降維不是“壓縮”而是“看清結(jié)構(gòu)”高維數(shù)據(jù)的麻煩遠(yuǎn)不只是“展示不出來”這么簡單。想象你拿一把尺子去量30維空間里的點(diǎn)兩點(diǎn)之間的歐氏距離會(huì)變得非常接近這就是所謂的“維度災(zāi)難”。我見過很多人抱怨明明特征做了標(biāo)準(zhǔn)化K近鄰的效果仍然很飄其實(shí)不是算法的問題是高維空間本身就極度稀疏距離的區(qū)分度被稀釋了。類似的現(xiàn)象還會(huì)導(dǎo)致聚類不穩(wěn)定、回歸過擬合、可視化一片糊。降維要做的事不是簡單丟掉幾個(gè)無關(guān)緊要的特征而是把數(shù)據(jù)從高維空間映射到一個(gè)更低維的空間盡量保留原始數(shù)據(jù)的“結(jié)構(gòu)”——這個(gè)結(jié)構(gòu)可能是方差大的方向可能是樣本之間的相對(duì)遠(yuǎn)近也可能是類別之間的可分性。你可以把它類比成整理照片幾千張高清原圖直接看會(huì)淹沒在細(xì)節(jié)里但你把它們按“相似程度”擺到一張大白紙上關(guān)系和分組一眼就能看出來。降維就是那張大白紙。1.2 兩條路線的分岔線性映射與距離保持圍繞“保留結(jié)構(gòu)”這個(gè)目標(biāo)降維方法分成了兩個(gè)互相對(duì)應(yīng)的流派。線性降維的思路是找一組線性投影方向把高維數(shù)據(jù)直接投影到低維子空間里典型代表就是PCA和LDA。它的輸入是一張樣本特征矩陣輸出是一個(gè)投影矩陣和一份低維坐標(biāo)。線性意味著結(jié)果有很強(qiáng)的可解釋性——你能夠看到每個(gè)原始特征在投影方向上的權(quán)重新樣本過來也能直接套用同一個(gè)投影矩陣映射過去這在真實(shí)業(yè)務(wù)落地里非常方便。MDS的出發(fā)點(diǎn)完全不同。它不關(guān)心特征矩陣只關(guān)心樣本兩兩之間的“距離”或者“不相似度”輸入是一個(gè) N×N 的距離矩陣輸出是一組低維坐標(biāo)讓這組坐標(biāo)在低維空間里重新算出來的距離盡量去逼近輸入的距離矩陣。它甚至可以接受歐氏距離以外的任意度量比如文本里的余弦距離、用戶行為里的Jaccard距離這正是它靈活的地方。這兩條路線看起來八竿子打不著但幾何上有一個(gè)漂亮的交叉點(diǎn)當(dāng)距離矩陣用的是歐氏距離時(shí)經(jīng)典MDS得到的坐標(biāo)和PCA投影出來的是同一份結(jié)果只差一個(gè)旋轉(zhuǎn)或鏡像。理解了這句話你就把線性降維和MDS之間的墻拆掉了。2. 線性降維方法核心拆解PCA、LDA與SVD的關(guān)系2.1 PCA最大方差與最小重構(gòu)誤差PCA大概是所有降維方法里最常用、也最值得先吃透的一個(gè)。它的目標(biāo)一句話概括尋找一組正交方向讓數(shù)據(jù)投影到這些方向上的方差盡可能大。為什么要最大化方差因?yàn)榉讲畲蟮姆较虺休d了樣本之間最多的差異信息反過來說數(shù)據(jù)在某個(gè)方向上幾乎不變那這個(gè)方向上的信息就可以丟掉。這個(gè)邏輯跟“最小化重構(gòu)誤差”是等價(jià)的——最大化投影方差等價(jià)于讓數(shù)據(jù)在低維空間里重構(gòu)回原空間時(shí)誤差最小。計(jì)算步驟非常清晰對(duì)數(shù)據(jù)矩陣做中心化讓每個(gè)特征的均值為0。計(jì)算協(xié)方差矩陣。對(duì)協(xié)方差矩陣做特征值分解。按特征值大小排序取前 k 個(gè)特征值對(duì)應(yīng)的特征向量組成投影矩陣。用中心化后的數(shù)據(jù)乘上投影矩陣得到低維坐標(biāo)。用 NumPy 手寫一個(gè) PCA 大概這樣import numpy as np def pca_fit_transform(X, n_components2): # X: (n_samples, n_features)已經(jīng)中心化的數(shù)據(jù)會(huì)更好 X_centered X - X.mean(axis0) # 協(xié)方差矩陣 cov np.cov(X_centered, rowvarFalse) # 對(duì)稱矩陣用 eigh 數(shù)值更穩(wěn)定 eig_vals, eig_vecs np.linalg.eigh(cov) # 特征值從大到小排列取前 n_components 個(gè) idx np.argsort(eig_vals)[::-1][:n_components] W eig_vecs[:, idx] # 投影后的低維坐標(biāo) Z X_centered W return Z, eig_vals[idx]這段代碼里我特意用了np.linalg.eigh而不是np.linalg.eig因?yàn)閰f(xié)方差矩陣是對(duì)稱矩陣eigh專門針對(duì)對(duì)稱矩陣做了優(yōu)化數(shù)值上更穩(wěn)。實(shí)際工程中更推薦對(duì)中心化后的數(shù)據(jù)矩陣直接做 SVD而不是先算協(xié)方差矩陣因?yàn)閰f(xié)方差矩陣會(huì)放大數(shù)值誤差SVD 一步到位還能很方便地處理大規(guī)模數(shù)據(jù)U, S, Vt np.linalg.svd(X_centered, full_matricesFalse) # Vt 的行就是主方向 W Vt[:n_components].T Z X_centered WSVD 和特征分解在這個(gè)場(chǎng)景下解的是同一個(gè)問題X^T X 的特征向量就是 V^T 的行主成分得分就是 X V。區(qū)別只是數(shù)值路徑不同。PCA 里還有一個(gè)容易被忽視的點(diǎn)解釋方差比例。每個(gè)主成分的特征值除以所有特征值之和就是這個(gè)主成分“解釋了”多少信息。我在實(shí)際項(xiàng)目里通常會(huì)先看一眼前兩個(gè)主成分累計(jì)解釋了多少方差如果連 50% 都不到說明數(shù)據(jù)噪聲很大或者降維本身解決不了當(dāng)前問題得換思路。2.2 LDA給線性降維加上“標(biāo)簽定向”PCA 是無監(jiān)督的它不管樣本屬于哪一類只找方差最大的方向。這在很多場(chǎng)景下夠用但如果你手里有標(biāo)簽而且降維的最終目的是分類PCA 不一定能幫你找到最有利于判別的方向。這時(shí)候該上 LDA。LDA 的目標(biāo)是找一個(gè)投影方向讓類間離散度盡可能大、類內(nèi)離散度盡可能小。翻譯成人話就是不同類別的點(diǎn)投影之后盡量分開同一個(gè)類別的點(diǎn)投影之后盡量聚攏。數(shù)學(xué)上定義兩個(gè)散度矩陣類內(nèi)散度矩陣 S_w衡量每個(gè)類內(nèi)部樣本離自己類中心的遠(yuǎn)近。類間散度矩陣 S_b衡量各類中心離全局中心的遠(yuǎn)近加上類別樣本數(shù)的加權(quán)。LDA 要求解的是廣義特征分解問題S_b w λ S_w w取前 k 個(gè)最大廣義特征值對(duì)應(yīng)的方向作為投影矩陣。這里有個(gè)硬性約束很多人容易踩坑LDA 最多能降到的維度不超過“類別數(shù)減一”。二分類最多降到 1 維三分類最多降到 2 維。如果你想保留更多維度LDA 幫不了你得回到 PCA。舉一個(gè)直觀的例子一批樣本是“正常”和“異?!眱深愒继卣饔?0維。直接跑PCA前兩維可能主要反映的是數(shù)據(jù)整體的分布形狀正常和異常還是重疊在一起但用LDA投影到1維重點(diǎn)變成了“怎么把兩類分得最開”分類器在這個(gè)1維特征上的表現(xiàn)通常會(huì)明顯好于直接用前兩維PCA特征。這也是LDA在特征工程里經(jīng)常作為分類前一步的原因。2.3 線性族的選型PCA、LDA、SVD與因子分析很多新手搞不清楚 PCA、SVD、因子分析這幾個(gè)東西有什么區(qū)別其實(shí)它們的關(guān)系是“兄弟工具”的關(guān)系。SVD 本身不是一種降維方法它是矩陣分解的數(shù)值工具但恰好是 PCA 最穩(wěn)定的實(shí)現(xiàn)方式。你可以把 PCA 理解成目標(biāo)SVD 理解成達(dá)成目標(biāo)的引擎。除了 PCASVD 在推薦系統(tǒng)、文本主題分析里也被廣泛使用只是目標(biāo)函數(shù)完全不同。因子分析則是另一個(gè)思路它假設(shè)觀測(cè)變量是由少數(shù)幾個(gè)不可觀測(cè)的“潛在因子”驅(qū)動(dòng)的比如六門考試成績背后可能有“邏輯能力”和“記憶力”兩個(gè)潛在因子。因子分析和 PCA 看起來很像但 PCA 找的是“方差最大的方向”因子分析找的是“能解釋變量之間相關(guān)結(jié)構(gòu)的潛在因子”。如果你的目的是做可解釋性、找出隱藏結(jié)構(gòu)因子分析更合適如果只是壓縮維度PCA 更快更直接。方法是否使用標(biāo)簽輸出內(nèi)容核心目標(biāo)典型場(chǎng)景PCA否投影方向 低維坐標(biāo)最大化方差無標(biāo)簽數(shù)據(jù)壓縮、可視化去相關(guān)LDA是判別方向 低維坐標(biāo)最大化類間/類內(nèi)距離比分類前的特征提取經(jīng)典MDS否低維坐標(biāo)保持樣本間距離距離矩陣可視化、相似度分析非度量MDS否低維坐標(biāo)保持樣本間距離的排序用戶調(diào)研、偏好感知圖選型的時(shí)候我一般先問自己三個(gè)問題有沒有標(biāo)簽要不要對(duì)新樣本做映射距離的定義是什么。有標(biāo)簽就優(yōu)先試 LDA沒標(biāo)簽、只想快速看結(jié)構(gòu)就用 PCA如果業(yè)務(wù)方給的就是相似度矩陣或者你要用余弦距離這類非歐度量PCA 就不適用了這時(shí)候 MDS 才是正解。3. MDS降維方法核心拆解從距離矩陣到低維坐標(biāo)3.1 經(jīng)典MDS的數(shù)學(xué)骨架二次距離、雙中心化與特征分解MDS 的輸入是一張距離矩陣 DD_ij 表示樣本 i 和樣本 j 之間的距離。它不關(guān)心樣本在原始空間長什么樣只根據(jù)距離推算出“如果把這些距離保持住那么每個(gè)樣本在低維空間里應(yīng)該放在哪個(gè)位置”。經(jīng)典 MDS 的數(shù)學(xué)推導(dǎo)有幾個(gè)關(guān)鍵步驟理解了這幾個(gè)步驟你就能把 MDS 看穿。假設(shè)低維坐標(biāo)是 YN×k我們希望低維空間中樣本間的歐氏距離平方盡量等于 D 的平方。也就是說||y_i - y_j||2 ≈ D_ij2展開左邊||y_i||2 ||y_j||2 - 2 y_i^T y_j。如果直接解這個(gè)方程比較麻煩因?yàn)槎雾?xiàng)和交叉項(xiàng)混在一起。聰明的地方在于構(gòu)造一個(gè)“雙中心化”操作把它線性化。定義中心化矩陣 J I - (1/N) 11^T它的作用是把矩陣的每一列都減去列均值。然后構(gòu)造B -1/2 J D2 J其中 D2 是逐元素平方的距離矩陣??梢宰C明如果距離矩陣 D 來自中心化后的歐氏空間那么 B 正好等于低維坐標(biāo)的 Gram 矩陣 Y Y^T。換句話說B 和 Y Y^T 在數(shù)學(xué)上是同一個(gè)東西。于是求 Y 的問題就變成了對(duì) B 做特征分解取前 k 個(gè)最大的特征值和對(duì)應(yīng)的特征向量然后開方調(diào)整尺度。代碼實(shí)現(xiàn)很直接import numpy as np def classic_mds(D, n_components2): n D.shape[0] # 距離平方 D2 D ** 2 # 雙中心化 J np.eye(n) - np.ones((n, n)) / n B -0.5 * J D2 J # 對(duì)稱矩陣特征分解 eig_vals, eig_vecs np.linalg.eigh(B) # 從大到小排序取前 n_components 個(gè) idx np.argsort(eig_vals)[::-1][:n_components] eig_vals eig_vals[idx] eig_vecs eig_vecs[:, idx] # 特征向量是單位正交的需要乘上特征值的平方根來“伸展”坐標(biāo) Y eig_vecs * np.sqrt(eig_vals) return Y, eig_vals注意最后一步特征值分解得到的特征向量是單位向量它的長度是1但 Gram 矩陣的對(duì)角線包含了坐標(biāo)的平方范數(shù)所以必須讓每個(gè)特征向量乘以對(duì)應(yīng)特征值的平方根坐標(biāo)尺度才是對(duì)的。這一步漏了你得到的圖會(huì)被壓扁或者拉伸變形。為什么這個(gè)方法和 PCA 等價(jià)一句話解釋如果原始數(shù)據(jù) X 已經(jīng)中心化那么樣本間的歐氏距離平方 D2 可以寫成 D2 diag(G)1^T 1diag(G)^T - 2G其中 G X X^T 是 Gram 矩陣。對(duì)它做雙中心化之后B 恰好等于 X X^T。而 PCA 是在對(duì) X^T X 做特征分解。一個(gè)是對(duì)樣本間的 Gram 矩陣分解一個(gè)是對(duì)特征間的協(xié)方差矩陣分解它們共享同一個(gè)奇異值結(jié)構(gòu)。所以最后得到的坐標(biāo)本質(zhì)上是同一個(gè)低維嵌入只是可能有左右方向的翻轉(zhuǎn)。3.2 度量MDS與非度量MDS要“數(shù)值”還是要“次序”經(jīng)典 MDS 要求距離矩陣滿足歐氏空間的度量約束而且它試圖讓低維空間的距離在數(shù)值上逼近原始距離這叫“度量 MDS”。但真實(shí)業(yè)務(wù)里很多“相似度”數(shù)據(jù)根本不滿足歐氏度量比如用戶對(duì)品牌偏好的打分差異、消費(fèi)者對(duì)不同產(chǎn)品的感知相似度。這時(shí)候強(qiáng)行用數(shù)值逼近不一定有意義排序關(guān)系反而更重要。非度量 MDS 的思路就變成了只要低維空間里樣本的相對(duì)遠(yuǎn)近順序和原始距離矩陣的排序一致就行。比如原始距離 A-B 是 1、B-C 是 2、A-C 是 100非度量 MDS 不要求低維空間里 1 和 100 的絕對(duì)比例被還原只要求 A-C 最遠(yuǎn)、A-B 最近。這種放松讓它在處理感覺打分、排序偏好這類數(shù)據(jù)時(shí)特別穩(wěn)定。數(shù)學(xué)上它通過單調(diào)回歸來擬合“距離的排序”迭代優(yōu)化一個(gè)叫“應(yīng)力”stress的目標(biāo)函數(shù)。實(shí)際使用中如果驗(yàn)證集上的經(jīng)典 MDS 出現(xiàn)大量負(fù)特征值或者得到的圖交叉得很奇怪我就會(huì)切到非度量 MDS 試試往往能得到更符合直覺的相對(duì)位置關(guān)系。3.3 MDS的實(shí)操要點(diǎn)距離度量、樣本外映射與大矩陣優(yōu)化MDS 最大的賣點(diǎn)是距離度量可換但這也是最大的坑。同樣一份數(shù)據(jù)你用歐氏距離、余弦距離、曼哈頓距離分別跑 MDS出來的圖完全不一樣。這不是代碼問題而是你在提取數(shù)據(jù)的不同側(cè)面。我在處理文本數(shù)據(jù)時(shí)喜歡用余弦距離處理數(shù)值型用戶畫像時(shí)用歐氏距離處理共現(xiàn)關(guān)系時(shí)用 Jaccard 距離。動(dòng)手之前先問清楚你要刻畫的“相似”到底是什么。第二個(gè)坑是樣本外映射。PCA 訓(xùn)練完留下一個(gè)投影矩陣新樣本直接乘上去就行。但經(jīng)典 MDS 做的是特征分解沒有一個(gè)顯式的 f(x) 可以套用。新樣本來了你得重新對(duì)整個(gè)距離矩陣做一次 MDS這在生產(chǎn)環(huán)境里幾乎不可接受。常見的解決辦法是 Landmark MDS先從全部樣本里挑一小撮“地標(biāo)點(diǎn)”對(duì)地標(biāo)點(diǎn)做經(jīng)典 MDS之后的地標(biāo)坐標(biāo)固定住任何一個(gè)新樣本只要算出它到地標(biāo)點(diǎn)的距離就能通過最小二乘反推出它的低維坐標(biāo)。這個(gè)思路在精度損失不大的情況下把“部署”問題解決了。第三個(gè)坑是計(jì)算復(fù)雜度。距離矩陣是 N×N 的N 到一萬矩陣就是 800MB特征分解的時(shí)間也很可觀N 到十萬基本就別想直接 MDS 了。這時(shí)候要么抽樣要么上 Landmark 方案要么干脆退回到 PCA。我一直覺得降維方法之間不是互相取代的關(guān)系而是根據(jù)數(shù)據(jù)規(guī)模和業(yè)務(wù)約束選最合適的那一個(gè)。4. 實(shí)操過程手寫MDS與PCA并對(duì)比效果4.1 模擬數(shù)據(jù)與手寫PCA為了把原理和代碼對(duì)應(yīng)起來我構(gòu)造一個(gè)模擬數(shù)據(jù)集三類樣本原始特征 20 維其中前兩維決定了類別的分離結(jié)構(gòu)后 18 維全是噪聲。用這樣的數(shù)據(jù)能清楚看到降維到底保留了哪些信息。import numpy as np from sklearn.datasets import make_blobs X, y make_blobs(n_samples300, centers3, n_features20, random_state42) # 把后18維替換成純?cè)肼暷M“有效維度少、噪聲維度多”的真實(shí)場(chǎng)景 rng np.random.default_rng(42) X[:, 2:] rng.normal(sizeX[:, 2:].shape) Z_pca, evals pca_fit_transform(X, n_components2)跑完之后看解釋方差前兩維的方差占比通常會(huì)很低因?yàn)?18 維噪聲把總方差攤薄了。但這個(gè)低比值不代表降維失敗反而說明數(shù)據(jù)里大部分維度是噪聲真正決定類別的結(jié)構(gòu)被保留在前兩維里??梢暬幌氯悩颖驹诙S平面里分得清清楚楚這就達(dá)到了“看清結(jié)構(gòu)”的目的。4.2 手寫經(jīng)典MDS與PCA碰一碰接下來用我上面寫的classic_mds處理同樣的數(shù)據(jù)輸入直接用歐氏距離矩陣from scipy.spatial.distance import pdist, squareform D squareform(pdist(X, metriceuclidean)) Z_mds, mds_evals classic_mds(D, n_components2)把Z_pca和Z_mds放到同一個(gè)坐標(biāo)系里對(duì)比你會(huì)發(fā)現(xiàn)兩幅散點(diǎn)圖長得幾乎一樣——類別結(jié)構(gòu)、相對(duì)密集區(qū)域、離群點(diǎn)全都對(duì)得上。唯一可能不同的是某個(gè)軸的整體方向反了比如 PCA 的第一個(gè)軸指向右上MDS 的第一個(gè)軸指向左下。這非常正常因?yàn)樘卣鞣纸獬鰜淼奶卣飨蛄糠较虮旧砭蛶我庑苑?hào)不改變樣本之間的相對(duì)距離和聚類結(jié)構(gòu)。這就是我開頭說的那件事在歐氏距離下經(jīng)典 MDS 和 PCA 是同一個(gè)解的兩種表達(dá)。很多人在面試?yán)锉粏柕絻烧叩年P(guān)系時(shí)背一句“它們等價(jià)”就完事其實(shí)如果當(dāng)場(chǎng)能指出“經(jīng)典MDS是對(duì)雙中心化距離矩陣做特征分解PCA是對(duì)協(xié)方差矩陣做特征分解兩者共享同樣的奇異向量結(jié)構(gòu)”面試官立刻就會(huì)知道你是真動(dòng)手調(diào)過代碼的。4.3 非歐距離下的MDS換一種度量立刻不同同樣的數(shù)據(jù)集我把距離度量換成余弦距離結(jié)果就不一樣了。from sklearn.metrics.pairwise import cosine_similarity # 余弦距離 1 - 余弦相似度需要保證矩陣對(duì)角線為0 sim cosine_similarity(X) D_cos 1 - sim np.fill_diagonal(D_cos, 0) Z_mds_cos, _ classic_mds(D_cos, n_components2)這一步有一個(gè)很容易踩的細(xì)節(jié)直接用1 - cosine_similarity得到的結(jié)果對(duì)角線是 1 而不是 0必須先手動(dòng)把對(duì)角線置零。否則距離矩陣對(duì)角線上多了 1雙中心化之后會(huì)把原來干凈的 Gram 矩陣結(jié)構(gòu)污染掉得到的低維坐標(biāo)會(huì)整體偏斜。跑出來的坐標(biāo)和 PCA 的投影有明顯差異因?yàn)橛嘞揖嚯x只看方向不看大小它對(duì)樣本向量的“長度”免疫。這在處理文本 TF-IDF 特征時(shí)特別有用——文檔長度差異會(huì)導(dǎo)致歐氏距離被長文檔主導(dǎo)但余弦距離只看內(nèi)容方向的相似度。4.4 sklearn里怎么用MDS參數(shù)與陷阱如果不想手寫直接用sklearn.manifold.MDS也可以但它的實(shí)現(xiàn)和我手寫的經(jīng)典 MDS 有一點(diǎn)重要區(qū)別sklearn 用的是 SMACOF 迭代優(yōu)化不是直接做特征分解。默認(rèn)情況下它會(huì)隨機(jī)初始化多次挑應(yīng)力最小的解。from sklearn.manifold import MDS mds MDS(n_components2, dissimilarityprecomputed, metricTrue, n_init4, max_iter300, random_state42) Z_sk mds.fit_transform(D)幾個(gè)參數(shù)的實(shí)際含義dissimilarityprecomputed表示我傳入的是距離矩陣如果設(shè)為euclidean它會(huì)內(nèi)部先算歐氏距離。metricTrue是度量 MDSmetricFalse是非度量 MDS。n_init4是隨機(jī)初始化次數(shù)越大越容易跳出局部最優(yōu)但時(shí)間成倍增加。max_iter300是最大迭代輪數(shù)數(shù)據(jù)量大時(shí)可以適當(dāng)降低但別低于50。手寫特征分解得到的坐標(biāo)是解析解一次算出sklearn 得到的坐標(biāo)是數(shù)值優(yōu)化解多次迭代逼近。兩者最終結(jié)果基本一致但如果你要追求穩(wěn)定復(fù)現(xiàn)、或者要做大規(guī)模數(shù)據(jù)的精確計(jì)算手寫特征分解其實(shí)更直接。我個(gè)人的習(xí)慣是探索階段用 sklearn 快速出圖正式做分析時(shí)自己寫因?yàn)樽约簩懙臇|西每一行都知道在干什么。5. 常見問題與排查技巧實(shí)錄5.1 負(fù)特征值扎堆距離矩陣可能是“假歐氏”運(yùn)行經(jīng)典 MDS 時(shí)B矩陣的特征值里出現(xiàn)負(fù)數(shù)是很常見的。少量負(fù)特征值多數(shù)來自數(shù)據(jù)噪聲問題不大但如果負(fù)特征值數(shù)量很多、絕對(duì)值還特別大基本上可以斷定你輸入距離矩陣并不滿足歐氏度量所謂“距離”可能只是視覺相似度之類的主觀打分。遇到這種情況我的排查順序是先按特征值從大到小排列看有幾個(gè)正特征值明顯比其余的大。如果正特征值本身就很少而且前 k 個(gè)累計(jì)占比很低那就不要死磕經(jīng)典 MDS 了切到非度量 MDS 試試。另一個(gè)老辦法是給距離加一個(gè)常數(shù)把它“撐”成歐氏距離但這個(gè)方法現(xiàn)在用得少了因?yàn)樗鼤?huì)改變樣本間的相對(duì)比例。5.2 坐標(biāo)鏡像翻轉(zhuǎn)特征向量方向的符號(hào)問題我第一次拿 MDS 結(jié)果和別人對(duì)圖的時(shí)候差點(diǎn)以為是代碼寫錯(cuò)了——明明用同一個(gè)數(shù)據(jù)集兩邊的散點(diǎn)圖形狀一模一樣但 x 軸完全反了。后來我才反應(yīng)過來特征分解給出的特征向量方向本來就是任意的v 和 -v 都是同一個(gè)特征向量。這不只是一個(gè) 學(xué)術(shù)上的小細(xì)節(jié)在實(shí)際協(xié)作里很麻煩。如果你們團(tuán)隊(duì)里有人用 sklearn有人用 R 的 cmdscale兩邊生成的圖很可能左右翻轉(zhuǎn)或上下翻轉(zhuǎn)。解決辦法是統(tǒng)一固定random_state同時(shí)在展示前做一個(gè) Procrustes 對(duì)齊——把兩組坐標(biāo)通過旋轉(zhuǎn)、縮放、平移對(duì)齊到同一個(gè)參考坐標(biāo)系里。這不是算法的錯(cuò)不要在這種問題上浪費(fèi)太多時(shí)間。5.3 大樣本算不動(dòng)內(nèi)存與計(jì)算的取舍距離矩陣的規(guī)模是 O(N2)一萬樣本就是一億個(gè)浮點(diǎn)數(shù)約 800MB十萬樣本直接 80GB內(nèi)存爆掉是分分鐘的事。我在實(shí)際工作中超過兩萬樣本就不太敢直接懟經(jīng)典 MDS 了。幾個(gè)可行的替代方案隨機(jī)抽樣做一次 MDS看整體形狀然后再用其他方法驗(yàn)證細(xì)節(jié)。用 Landmark MDS選幾百個(gè)地標(biāo)點(diǎn)先嵌入再映射其余樣本。如果只是可視化用 t-SNE 或 UMAP 這類更現(xiàn)代的流形方法它們對(duì)大數(shù)據(jù)量更友好。如果業(yè)務(wù)要求可解釋、可部署直接用 PCA別折騰 MDS。5.4 坐標(biāo)軸沒有業(yè)務(wù)含義MDS落地解釋的四種做法MDS 的坐標(biāo)軸不像 PCA 那樣能直接說成“維度1代表某個(gè)特征方向”它只是一個(gè)相對(duì)位置這讓它在跨部門溝通時(shí)特別吃虧。我在給業(yè)務(wù)方解釋 MDS 結(jié)果時(shí)一般會(huì)做四件事給每個(gè)樣本按業(yè)務(wù)標(biāo)簽著色讓大家先看出“哪些樣本聚在一起”。在關(guān)鍵的點(diǎn)附近標(biāo)注原始特征的典型值反推坐標(biāo)位置背后的含義。不用坐標(biāo)軸的意義去解釋只講距離的含義“這兩個(gè)點(diǎn)離得近代表它們的行為更像”。如果非得給坐標(biāo)軸一個(gè)解釋就用特征相關(guān)性去擬合看哪個(gè)原始特征與這個(gè)軸的相關(guān)性最高?,F(xiàn)象可能原因處理方式負(fù)特征值占比高距離矩陣不滿足歐氏度量改用非度量MDS或調(diào)整距離定義兩次運(yùn)行結(jié)果軸方向相反特征向量方向符號(hào)不確定固定隨機(jī)種子或做Procrustes對(duì)齊樣本一多內(nèi)存就不夠距離矩陣O(N2)隨機(jī)抽樣、Landmark MDS、換PCA低維圖上所有點(diǎn)擠成一團(tuán)原始數(shù)據(jù)本身區(qū)分度過低檢查特征質(zhì)量考慮換距離度量新樣本無法映射到舊坐標(biāo)MDS沒有顯式投影函數(shù)預(yù)埋地標(biāo)點(diǎn)用最小二乘反推坐標(biāo)實(shí)際做數(shù)據(jù)分析這一年多我最大的體會(huì)是降維方法不要分開學(xué)要把它們當(dāng)成一整個(gè)工具箱。PCA 能快速摸清全局方差結(jié)構(gòu)LDA 能在有標(biāo)簽時(shí)幫你找到判別方向MDS 能處理各種奇怪的相似度矩陣。先跑一遍 PCA 看解釋方差再根據(jù)業(yè)務(wù)場(chǎng)景決定要不要換 MDS 或 LDA成本很低收益卻很直觀。最后再分享一個(gè)實(shí)用小技巧無論你最后選了哪種降維方法輸出坐標(biāo)之后都記得把坐標(biāo)均值歸零、方差歸一。這樣 Exec 匯報(bào)時(shí)不同方案的結(jié)果可以直接疊圖對(duì)比不會(huì)因?yàn)槌叨炔灰恢露`判聚類效果。這一點(diǎn)看著不起眼但能讓你的圖比大多數(shù)人做得專業(yè)一截。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
狠狠色噜噜狠狠狠888| 色婷丁香五月| 亚洲无AV在线中文字幕| www色哟哟| 九九99男女视频在线观看| 久久久久亚洲AV无码网影音先锋| 色色色在线免费视频| 99久久er| 五月天激情四射网站| 深爱激情五月婷婷| 婷婷五月天VI| 五月丁香综合激情| 色色色色色色色色色999| 森林影视大全,最好看的2019年视频 | 色优久久| 婷婷六月色情| 亚洲成人AV在线播放| 激情婷婷五月天| 精品九九视频| 亚洲五月婷| 免费视频WWW在线观看网站| 六月婷综合| 欧美日韩五月婷婷| 久久奄也去色色网站| 丁香婷婷中文字幕| 久久综合人妻| 中文在线视频久9| 久久久99视频| 五月婷婷丁香av| 亚洲热视频在线| 97色片| 午夜天堂一区人妻| 激情婷婷在线中文字幕| 国产一二三四五六七八视频| 激情五月天婷婷| yw国产AV| 天天上天天爽| 丁香六月婷婷综合| 久综合4| 91视频一起草| 四色99久久| 五月天激情影院| 午夜少妇在线观看视频| 99欧州偷拍视频| 色情丁香五月天| 无套内射极品大美女| 91操人| 色月丁| 丁香五月天激情五月天激情五月天激情网| 久久久无码精品成人A片小说 | 99热国产免费| 九九热99视频在线| 五月婷婷开心综合| 亚洲情综合五月天| 狠狠色婷婷在线| 婷婷五月天久久| 婷婷天天日婷婷| 六月色丁香婷婷| 九九香蕉网| 欧美黄色AA片哗啦啦啦| 久久色大香蕉| 五月丁香好婷婷姑娘综合网| 丁香婷婷九月| 99re在线免费视频| 婷婷丁香人妻久久在线观看| 午夜丁香婷婷| www,五月天com| 色99网站| 亚洲啪| 色播五月婷婷综合| 丁香六月在线| 九月丁香亭亭| 五月天com| 超碰在线国产| 婷婷五月天免费| 丁香五月天婷婷大香蕉| 亭亭玉月丁香| 噜噜噜噜综合在线| 99热6这里只有精品6| 丁香五月激情五月色综合| 2025天天操| 91色综合网| 天天日天天爽| 六月婷婷七月丁香| 亚洲国产另类av| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 色婷婷97| 亚洲在线视频321| 思思久久99热只有频精品66| 激情内射人妻1区2区3区| 色色色色色热| 婷婷月五天在线在线看| 99热老司机| 婷婷五月天最新网址| 亚洲色婷婷99一9|| 国产肥白大熟妇BBBB视频 | 97色婷婷| 亚洲午夜av| 日韩另类在线观看| 久久久性爱网| 色狠狠999综合| 欧美日韩五月婷婷| a久久| 日本偷拍九九九| 人人干人人操人人摸人人做| AⅤ网站在线看| 伍月激情天| 久久婷婷六月综合综合| 99亚洲综合| 99久久综合网| 天天操天天操天天操| 日本啪啪网| 9热久久| 丁香六月婷婷综合啪啪| 亚洲图色五月天| 日本va视频| 天天干天天干天天| 99精品7| 涩丁香| 丁香五月激情视频在线| 激情5月婷婷| 久久这里只有精品视频26| 九九黄色网| 99这里的视频都是精品| 草草女人亚洲| 夜夜骑福利资源| 成人久碰| 婷婷五月天激情网| 99re热精品在线视频| 狠狠狠狠狠狠狠狠| 婷婷五六日| 爱99干99| 尔尔AV一区| 99色日本| 思思热视频| 五月婷六月综合在线观看| 综合色五月天| 99五月香婷婷丁香在线视频| 思思热视频| 国外亚洲成AV人片在线观看| 五月天婷网| 涩五月丝袜婷婷| 99热九九热| 538任你爽视频不一样的| 国产97色在线 | 日韩| 国产综合81p| 色五月丁香婷婷久草| 九九九九九九毛片| A1片久久久| 久久婷婷内射| 亚洲综合激情五月久久| 丁香五月激情无码视频| 久久综合中文字幕| 九九色热| 激情五月婷婷综合网| 色五月婷婷丁香凹凸| 五月天网站亭亭| 伊人色综合久久久| 97超碰在线免费观看| 狠狠第四色| 丁香五月在线| 四虎成人精品永久免费AV九九| 97人人干人人操| 久久这里这里有精品免费视频| www.天天日| 婷婷婷婷婷婷婷婷| 狠狠操.COM| 天天干夜夜想| 亚洲色色色| 任你日视频| 99九九视频| 五月天色官网| 98永久精品| 久综合网| 色亚洲色宗合| 日本人人草草| 超碰97在线操| 五月丁香777| 爆乳熟女一区二区三区爆乳| 中文字幕日产A片在线看| 婷婷免费无视频| 九九人人看| 综合网色| 美国十月色婷婷在线观看| 草榴视频网| 国产这里只有精品| 亚洲成人超碰| 综合激情综合啪啪| 超碰不卡在线| 99re欧美精品| 婷婷伊人綜合中文字幕| 这里只有精品网| 在线看片av| 福利视频在线播放| 婷婷放心五日爱| 野战J办公桌椅H| 色婷婷狠狠18| 色五月激情问网站| www.99日本| 性做爰A片免费视频A片直播| 91人人操人人| 怡红院99| 国产综合色婷婷精品久久| 久久综合久色欧美综合狠狠| 五月激情婷婷在线| 激情综合五月天| 青青草搞屄视频网站| www.99热这里精品| 日本婷婷激情四射中文字幕在线观看| 26uuu日韩| 婷婷丁香五月高清| 这里只有国产精品在线| 五月丁香日本一抹本| 9热久久在线| 99色色| 色五月涩涩婷婷| 日在线V视频在线播放| 久久久久久综合88| 婷婷五月天情色| 精品久久久久成人码免费动漫| www,色婷婷| 亚洲激情精品| 青青草深爱激情网| 久久激情五月| 另类精品视频在线观看| 色婷婷AⅤ| 三十熟女| 亚洲精品久久久无码| 婷婷亚洲影院| 精品成人在线观看| 激情小说五月天| www.91.com处女在线直播| 玖玖精品婷婷| 玖玖@三月天天丁香婷婷| 伊人玖玖精品| 97婷婷五月天| 播五月丁香六月| 婷婷五月花免费视频在线| 香蕉婷婷色五月| 十二区无码| 国产精品人人做人人爽人人添| 丁香五月婷婷亚洲综合精品| 五月天激情国产综合婷婷婷| 色情婷婷五月天| 超碰cap| 天天爽天天| 亚洲色碰| 超碰色综合| 舔色婷婷| 色五月婷婷五月丁香五月| 五月视频日本免费观看| 思思热99er在线视频| www.99热在线观看| 四月婷婷五月丁香| 天天综合 99久久婷婷| 99久久五月婷婷| 91久女| 日本九九九九| 丁香五月成人| 精品国产AV色一区二区深夜久久| 熟妇人妻中文字幕无码老熟妇 | 五月天丁香欧美激情| http:色情日本com| 开心婷婷五月中文字幕组| 成人精品视频99在线观看免费 | 色综合九九色综合88| www.99热视频| 亚洲妇女熟BBW| 久久 中文 日本| 五月婷婷综合色啪首页| 久久婷婷伊人| 99re思思热在线视频| 9热在线观看| 久热精彩视频98| 五月婷婷 六月丁香| 亭亭色色五月天| 五月婷婷婷| 五月综合色播播丁香婷婷| 色婷婷成人做爰A片免费看网站| 在线观看中文字幕亚洲| 超级碰碰91| 丁香五月婷婷高清| 丁香成人色情五月天| 国产古装妇女野外A片| 激情综合网五月在线播放| 激情网婷婷五月天| 婷婷久久18| 五月婷婷综合久久| 影音先锋91视频| 99久久精品网| 国产精女同一区二区三区久 | 大香伊人婷婷影院| 五月婷婷激情综合网 | 国产黄色在线观看| 99热在这里只有免费精品| 婷婷伊人| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 男人先锋久久| 人人看人人草人人摸| 99ER热精品视频| 婷婷丁香五月天欧美| 六月丁香啪啪啪| 五月婷婷啪啪| 激情五月天色播| 婷婷综合五月| 五月天综合久久| 五月婷婷色| 五月天久久久| 99噜噜噜在线播放| 99性爱视频| 五月视频日本免费观看| 日本强伦片中文字幕免费看| 五月丁香黄色| 九月婷婷综合在线| www.夜夜| 五月婷婷激情| 婷婷五月影院| www.五月天婷婷姐姐| AA片在线观看视频在线播放| 五月天激情社区| 清纯唯美 激情四射| 99精彩视频在线观看| 香蕉久久av一区二区三区| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 丁香五月婷婷五月天| 最新日韩久热免费视频看看| 亚洲AV人人操| 丁香五月天色| 日本色啪| 五月婷婷九九热| www99在线观看视频| 91成人电影| av网址在线| 五月天婷婷久久视频| 婷婷五月天改成什么了| 亚洲日本韩国| 五月丁香六月综合基地| 99在线视频精品| 激情综合网五月激情| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 色婷婷基地 | 狠狠色情婷婷| 一级性爱大片| 色色丁香| 婷婷激情5月| 色色五月综合| 六月丁香五月天| 妻久久久久| 97 A I色色| 久久一级片| 超碰在线视屏| 五月婷婷六月丁香激情综合网| 丁香五月综合狠狠| 日本在线99| 91久久婷婷| 精品一二三区久久AAA片| 九九视频热| 91精品综合久久久久久五月天| 色五月人妻| 婷婷久久亚洲| 激情性爱五月天网页| 五月丁香婷婷免费视频| 五月婷丁香花| 中文字幕91,综合| 超碰人人干| 色在线五月天免费| www.久久色.com| 99热这里只有精品4| 大香蕉五月丁香| 五月婷婷六月天| 色色综合网络| 丁香五月香蕉在线| 精品视频网| 久久婷婷热| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 五月婷婷 欧美| 99久久婷婷国产综合精品电影| 九九在线精点品| 热99这里只是精品| 亚洲狠狠丁香婷婷香蕉| 夜夜久久综合网| 99国产小视频免费观看| 午夜日韩久久久网站| 久久这里只有精品99| 激情五月婷在线精品| 亚洲乱码在线观看| 91九色PORNY肉丝在线| 五月丁香欧美综合| 婷婷综合六月| 亚洲国产色婷婷| 视频一区二区在线| 五月丁香五月综合欧美| 色色色综合色| 五月丁香婷婷六月天| 丁香婷婷性久久| 激情深爱五月天| 99这里只有精品|v| 五月开心六月婷婷在线播放网站| www.97碰碰com| 五月丁香久久| 久热 91| 欧洲亚洲免费视频区| 四虎99热在线观看网站| 五月丁香综合激情| 婷婷中文字幕| 色婷婷色五月综合| 综合亚洲色色| 大香蕉中文| 日日操夜夜擼| 五月丁香啪啪网| 色色色图| 婷婷色香六月综合激情| 婷婷综合久久| 99热费观看| 岛国在线观看91| 91精品无码| 狠狠色综合久久| 久久五月人人摸| 99久久99视频| 日韩有码一区| 男同91| 国产婷婷五月中文字幕高清| 97碰| 超碰色女| 九九成年视频| 夜夜嗨一区二区三区直播内容 | 99热国品免费| 97资源欧美日韩大香蕉超碰一区| 超碰在线观看caop| 婷婷的五月天另类视频| 色婷婷电影网| 91狠狠综合久久久久久| www.夜夜操| 五月婷婷六月婷| 草操AV在线| 影音先锋噜一噜| 亚洲成人无码免费| 69凹凸成人综合网| 少妇AB又爽又紧无码网站| 五月婷久久| 五月丁香成人网| 丁香五月激情无码视频| 婷婷深爱五月亚洲综合| 九九精品片一| 99热最新地址在线| 91丨九色丨白浆秘| 182TV大香蕉| 九九色情网五月天| 1024AV视频| h在线看免费版在线看| 在线中文av| 久久激情四射| Aα在线免费观看| 婷婷五月丁香六月| 色五月激情基地| oumeisesewang| 激情综合婷婷| 啊v视频在线观看| 99re这里| 成人无码髙潮喷水A片| 激情婷婷护士激情| 91热久久| 九九精品在线网| 婷婷色在线视频| 涩涩五月天| 97操资源婷婷| 丁香五月综合| 夜丁香五月婷婷| 最新色色五月天| 国产又爽又猛又粗的视频A片| 伊人成综合五月婷婷| 玖玖无码中文| 亚洲激情精品| 丁香婷婷深情五月亚洲| 强辱丰满人妻HD中文字幕| 99热综合网| 啪啪91| 色六月 婷婷| 久久这里只有精品无码| 激情综合五月色在线| 99热精品少| 亚洲色激婷| 伊人久久激情图区五月| 天堂AV三级| 亚洲五月天综合色| 国产伊人五月天| 丁香色情五月综合激情| 婷婷五月丁香综合| 激情五月婷婷综合| 美女亚洲五月丁香| 中文无码精品一区二区三区| 五月天激情美女久久| 亚洲人人操BD| 激情六月综合| 大香蕉久热| 激情久久久久久| 天天色播| 久久五月婷| 大战熟女丰满人妻AV| 丰满少妇猛烈A片免费看观看| 这里只有精品99www| 婷婷涩涩五月天| 五月丁香影院| 丁香五月天啪啪| 天天搞天天爽| 久9久视频精品| 久久久人妻人伦| 激情五月影院| 久草热8精品视频在线观看| 五月婷婷导航| 99精品亚洲| 开心五月婷婷| 日韩欧美一级大黄网站| 五月丁香色综合| 影音先锋一区二区资源站| 天天看片日日夜夜| 激情伊人五月天| 中文字幕丰满人妻无码专区| 五月丁香色| 夜夜嗨一区二区三区直播内容 | 亚色网站小视频| 中文字幕婷婷| 91精品91久久久中77777久久玖玖九九| 天天日天天做天天操| 亚洲色综合| 国产成人av在线播放| 五月天激情综合10p| 另类图片五月天| 久久激情五月| 久色网址| 伊人婷婷大香蕉| 激情小说在线视频| 久婷自拍视频| 久久国产色| 色yeye欧美| 天天干天天色天天干| 人妻熟女一区二区AV| 婷婷色五月激情| 五月天丁香综合| 国产免费一区二区三区三州老师F1F1.CC | 日夜夜久久| 热思思九九| 五月婷婷综合色啪| 色色a| 激情综合五月天| 91女人18毛片水多国产| 综合99久久天天综合| 99在线er热| 色欲AV导航| 无码人妻电影| 七月婷婷色香综合网| 大香蕉人人网| 色激情综合狠狠婷婷| 五月丁香六月婷婷视频| 色私五月婷婷| 超碰狠狠干99| 99热综合在线| 女性自慰系列第五页| 婷婷五月天亚洲丁香| 欧美久久婷婷| 婷婷不卡基地| 丁香 婷婷 激情 综合 五月| 开心五月婷婷在线| 久婷久婷| 99精品视频免费观看近期发布| 丁香六月激情综合网| 午夜亚洲国产精品av一区二区| www.色婷婷.com| 五月丁香婷草| 99爱在线精品视频免费观看| 五月激情六月| 丁香综合| 天天插天天射| 免费九九热| 中文字幕按摩做爰| av在线色五月丁香婷区久| 操碰99在线视频观看| 99热思思| 99热乎| 99热这里有精力| 久久er九九| 大香蕉福利导航| 五月丁香亚洲婷婷| www.射伊蕉婷婷| 大香蕉天堂| 亚洲综合网区| 色婷婷网大全在线| www.色五月| 激情久久综合| 狠狠爱深色婷婷综合| 激情五月,婷婷五月,丁香五月| AV成人在线播放| 天天综合网在线| 五月丁香欧美综合免费视频| 久热伊人9| 色色亚洲五月天| 五月天婷婷丁香视频| 大香蕉啪啪啪啪啪啪| 五月天激情影院| 天天草婷婷五月| 日本一区二区三区精品视频| 色综合久久44| 99久久国产宗和精品1上映| 婷婷五月丁香网| 欧美激情中文字幕| 亚洲亚洲人成综合网络| 激情综合色播| 99热这里只有精品26| 国产AV一区二区三区最新精品| 丁香五月六月激情久久| 久久婷婷五月天蜜桃| 激情综合网色播五月| 久久久久99精品成人片| 激情熟女网| 亚洲五月婷婷| 亭亭玉月丁香| 欧洲激情五月天| 9l视频自拍九色9l视频在线观看| 久久国产色| 五五月丁香花激情综合网| 婷婷激情综合色五月久久91| 激情五月婷婷视频一区二区三区| 狠狠色丁香| 婷婷网影院| 五月天激情婷婷久久| 激情操逼婷婷| 亚洲99激情| 91精品丝袜久久久久久| 色天堂A| 五月丁香性| 9999热免费视频视频| 婷婷色五月久久| 91碰碰碰| 98毛片| 99热这里只有精品3| 欧美天堂久久| 婷婷狠狠18禁久久| 另类亚洲视频| 九九99久久| 丁香9月婷婷| 丁香婷婷中文字幕| 婷婷五月丁香性爱| 色久婷婷网| 色五月天 丁香| 99综合视频| 国产精品色婷婷99久久精品| wwwwww.色| 99色在线视频| 蒲京久久无码视频| 亚洲婷婷激情888精品久| 大地资源色婷婷视频在线| 亚洲精品va| 涩涩五月天| 五月丁香爱婷婷深深| 丁香五月婷婷动漫| 久热黄色| 99热插| 日本婷婷色| 国产乱人偷精品人妻A片| 五月婷婷狠狠干| 六月婷婷在线视频| 五月天婷婷视频30| 婷婷中文字幕版| 亚洲 精品 综合 精品| 久久性爱视频| 五月久熟女| 亚洲AV无码影院| 免费V片在线| 538在线精品| 丁香五月网址| 九九99久久| 亚洲色婷婷五月| 亚洲色色色色| 丁香六月天婷婷在线| 六月婷婷激情| 久婷婷| 波多婷婷久久| 国外亚洲成AV人片在线观看| 99热这里都是精品| www.夜夜| 国产精自产拍久久久久久蜜| 五月天激情小说网| 精品亚洲国产成AV人片传媒| 91性高潮久久久久久久久| 五月天婷婷久久视频| 丁香五月婷婷激情小说| 五月丁香在线| 思思久久96热在精品国产,| 狠狠CAO日日穞夜夜穞AV| 97婷婷丁香五月| 亚洲人成网站999综合| 日本va欧美va欧美| 婷婷玖玖五月天| 97色婷| 五月天婷五月天综合网在线观| 色爆五月| 天天骑天天操| 另类综合激情| 国产毛多水多女人A片| 五月停停丁香| 欧美日韩国产伦精品日韩人妻一| 思思热在线精品视频| 亚洲综合丁香婷婷六月天| 在线超碰免费| 久久婷婷综合基地| 婷婷五月天激情综合婷婷五月天激情综合| 久久九网| 啪啪婷婷五月天激情| 色婷婷无吗| 五月婷婷综合天天操| 91日综合欧美| 综合久久久| 色婷婷av在线观看| 五月丁香综合| 99rewww| 婷婷五月 丁香六月| 26UUU在线观看| 婷婷开心激情五月激情网| 99这里| 91婷婷丁香| 99热9| 婷婷五月天久草在线| 嘿嘿视频免费看9| 在线不卡中文字幕| 色噜噜狠狠色综| 婷婷深爱五月天在线| 五月丁香婷婷开心| 影视av久久久噜噜噜噜噜三级| 五月色婷婷影院| 色色色五月婷婷| 思思久久精品| 91丨九色丨东北熟女| 另类丁香五月天区图| 婷婷五月丁香A∨| 日韩欧美一级大黄网站| 国产又黄又爽又激情不遮挡视频在线观看| 五月天天天色| 五月婷婷无码| 播丁香五月婷婷欧美| 7777精品伊人久久久大香线蕉最新版| 激情五月天丁香| 青青草日本亚洲| 99玖玖在线视频| 激情第四色| 婷婷五月六月| 日日噜狠狠色综| 五月综亚洲| 五月天影院婷婷在线观看| 深爱五月激情五月| 婷婷导航| 九色在线观看91av| 蜜乳.comcom| 五月婷婷之综合激情| 四色99久久| 91 影音先锋| 久久伦乱| 丁香五月婷婷天| 色久九| 乱精品一区字幕二区| 色哟哟性爱av| 伊人五月婷婷| 色色日本欧美| 激情内射人妻1区2区3区| 色婷婷女优有码五月亭| 这里只有精品热| 九九视频在线观看| 天天日天天色| 99久久五月丁香野外| 婷婷五月天777| 在线成人视频免费| 中文字幕 中文字幕明步| 久热9| 色吧网综合| 色婷婷亚洲婷婷| 极品另类| 亚洲另类噜噜| 丁香婷婷人妻综合网| 五月丁香婷婷在线| 91在线观看www| 国产,欧美,学生妹,视频| 久久综合丁香激情五月| 另类激情五月在线视频欧美| 激情小说 五月天| 五月天丁香婷| 日韩三级视频一区二区| 天天色情站| 91九色国产在线| 日韩色五月| 久久婷婷五月丁香| 99久久黄色顶级视频| 色停停香蕉视频| 日本123区日韩欧美不卡在线看| 久久99热这里只频精品6学生| 色婷婷狠狠色| 華人性愛AV在線| 国产成人AV在线播放| 久久月天堂| 天天日中文| 开心五月激情网| 欧美人妻一区二区| 无码激情AAAAA片-区区| 涩五月婷婷| 日本熟女二区| 人人综合色| 人妻肉射免费观看| 五月天婷婷小说| 91丨九色丨东北熟女| 亚洲综合激情五月| 色婷婷伊人激情在线观看| 色色色色色级无码| 九九色热| 五月丁香六月婷综合成人综合 | 五月综合激情视频| 五月综合激情婷婷六月色窝| 五月色视频| 大香蕉天堂| 综合久久十| 欧洲亚洲激情五月天在线| 亚洲精品无码一区二区| 五月天婷婷爱| 99热在线看片| 99超碰在线免费| 五月天基地| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 丁香五月激情棕合| 丁香五月色五月| 亚洲成Av人片乱码色第1集| 丁香五月婷婷激情蜜桃| 亚洲精品久久久无码| 99国产er热视频| 五月天丁香成人| 中文字幕人妻AV| 婷婷五月丁香基地| 色99超碰| 天天天天操| 天天综合网色欲香| 丁香五月婷婷视频| 中文字幕五月久久婷| 狠狠干天天日| 久久99免费视屏| 激情五月婷婷五月| 超级碰碰碰久久网站视频| 五月开心深爱激情网| 任你躁XXXXX麻豆精品| 婷婷五月天激情小说网站| 日韩二区搞逼插逼毛片| 操逼福利视频| 99re6在线视频精品免费| 五月色婷婷影视在线电影| 99精品偷自拍| 丁香五月天综合网| 日韩野外 无套| 婷婷丁香五月在线播放| 欧美操综合| 欧美三级欧美一级| 五月天婷婷色在线视频免费观看| 天天爽天天| 97人人射| 被强行糟蹋的女人A片| 欧美视频在线观看噜噜| 国产性爱在线| 五月丁香啪啪综合| 涩九九九九| 99精品小视频| 九九这里都是精品| 五月婷婷天天| 六月丁香综合| 夜夜撸日日操| 亚洲乱码日产精品BD| 久久密臀婷婷| 久久宗合影| 免费黄色片子| 九九sese| 思思热久久久在线| 99视频只有精品| 丁香色六月婷婷| 五月丁香六月激情综合| 超碰在线caop| 九九九九中文字幕| 第五婷婷伊人丁香| 成人短视频在线| 五月天婷婷在线观看精品男人| 毛片新网地| 五月婷婷丁香俺日污视频| 久久女人天堂| 99色综合| 久久婷婷五月天丁香| 五月天婷婷久草丁香| 天天色天天射天天日| 久久激情综合| 五月丁香黄色视频| 97干视频| 少妇性BBB搡BBB爽爽爽电影| 国产亚洲99久久精品熟女| 亚洲av日韩无码| 精品国产va久久久久| 视频一二区| 婷婷激情六月| 91精品久久久久久综合五月天| 色五月婷婷影院| www.99色| 国产热精品| 丁香婷婷五月综合影院| 亚州美女| 人人噜天天上| 日本熟妇精品99| 色婷婷成人做爰A片免费看网站| 天天天日天天天干| 五月丁香婷婷基地| 另类丁香五月天区图| 黄网免费观看| 日日懆天天懆| 欧美99热| 亚洲成人在线观看网址| 99热这里是精品| 六月丁香激情网| 色五月激情问网站| 久婷久婷激情肉| 成人国产欧美大片一区| 久99视频在线观看| 丁香花五月天| 狼人久草| 99热在线播放精品| 激情五月天视频| 久久激情五月| 五月婷色丁香| 综合婷婷久久| www.九月婷婷丁香.com| 一起草性爱不卡视频| 人妻精品久久久久久久| 色色色色色五月丁香| 8050一级网| 五月婷婷六月色| 人妻少妇色综合| 亚洲五月婷天天操| www.91久久| 九九热99久久99| 久草热8精品视频在线观看| 色五月激情综合网| 岛国av电影网站| 久久综合激情五月天| 日韩性爱无码| 超碰婷婷色| 丁香五月Av| 99热热这里只精品996小说| 热99热9| 99这里只有精品国产| 色5月婷婷色| www.久操| 草草色情综合网| 人人爱操| 久久多色| 99热这里都是精品| 色色99色色| 九热久| 九九超日本| 开心五月婷婷伊人| 怡红院AV亚洲一区二区三区H| 泰州成人视频| 亚洲第一黄网| 国产精品久久久海的味道| 五月婷高清视频| 99热免费精品热久久66| 婷婷黄色| 三级片AAA久久久AAA久久久AAA| 色~性~乱~伦~噜| 亚洲综合激情五月| 丁香五月第九色| 综合激情专区| 色婷婷色综合| 丁香五月亚洲综合| 婷婷五月天 丁香五月天 裸体| 日本欧美成人片AAAA| 综合色播| 偷拍91九色| 热99这就是精品视频| 天天综合网亚洲网站| 天天夜天天色天天| 五月色丁香综合| 99在线观看亚洲| 婷婷五月天国产精品| www色婷婷久久综合久色 | 俺去也五月| 色噜噜狠狠色综合网| 激情五月天伊人影院| 久久综合99综合| 99国产er热视频| 久色视频在线| 另类激情中文| 黄网在线播放| 久热这里只有精品视频6| 26uuu日韩| 久操激情| 色婷婷小说网| 97人人操人人拍| 色五月视频无码播放| www.99热这里只有精品| 国产操B视频| 婷婷色五月天在线观看| 99色综合久久| 激情婷婷五月色| 日本三级中文字幕| 婷婷五月,偷窥偷拍网| 五月婷婷婷婷网| 九月婷婷在线视频| 亚洲 精品 综合 精品| 九九热这里| 天天肏视频| 国产免费AV在线| 亚洲六月色| 婷婷狠狠干| 婷婷婷婷婷婷婷婷| 超碰在线9| 天天射综合网站| 色色五月天激情| 亚洲成人中文字幕| 色久天| 人操91在线| 五月天玖玖狠狠色色| 久久激情五月婷婷| 天天做天天爱天天爽综合网| 丁香五月天社区| 婷婷永久在线| 69精品人人人人人人人人人| 99热在线爱| 激情综合婷婷| 婷婷激情五月天网站| www.99热在线观看| 91丨九色丨丰满人妖| 国产成人在线精品| www.henhenl| 91超碰在线观看| 99久久婷婷五月综合| 日本久久人人| 97在线/亚洲| 91欧美日韩综合| 日韩综合网络男女香蕉a片| 97人妻碰碰中文无码久热丝袜| 91黄址| 丁香五月成人| 色婷婷五月六月丁香综合视频| 热九九精品| 狠狠五月丁香色婷| 国产精产国品一二三在观看| 婷婷丁香基地在线| 超碰cap| 色播五月丁香| 人人操人人添人人摸97| 亭亭五月丁香五月天激情| 人人操人人爽成人AV| 色婷婷伊人| 99色在线观看| 五月丁香六月婷婷久久| 99热只有精品综合| 五月天社区| 丁香六月av| 91久久久久久久久久18| 色婷婷六月天在线| 六月丁香啪| 蜜桃五月天| 成人短视频在线免费观看| 性色婷婷| 色欲九区| 婷婷综合色| www.狠狠操.con| 五月色天情| 狠狠干在线| 黄色aa观看aaguochan| 一起草AV| 日本激情五月天‘| 99久在线| 超碰一区二区| 国产精品国产| 日日干日日s| 超碰免费大香蕉| www.minyis.com【JT】实力收量可预付QQ2101460746 | 人妻系列久久久久久久久久久| 色播五月| 亚洲无AV在线中文字幕| 任你操精品免费| 婷婷区日本| www.五月丁香| 成人综合网站| 亚洲色综合| 疯狂做受XXXX高潮A片| 九九美女视频| 狠狠做五月婷婷| 五月亚洲| 国产午夜成人AV在线播放| 五月丁香六月成人| 久久久er热| 色情五月婷婷| 色狠狠色综合久久久绯色aⅴ影视| 五月丁花六月丁香综合| 久久99久久99精品免观看粉| 激情小说五月天| 亚洲经典小视频| 欧美乱码国产一级A片| 色综合久| 婷婷丁香激情五月| 日韩成人电影av| 99热在线只有精品| 五月婷六月天| 99热在线资源| 狠狠色噜噜狠狠狠888| 超碰97色| 午夜理论片最新午夜理论剧| 影音先锋91| 深爱五月网| 久草热在线视频| 色噜噜狠狠色综合网| 思99热精品久久只有精品| www.五月丁香| 九九综合网色全集 | 婷婷五月丁香六月天亚洲综合| 天天日天天插| 丁香五月色色| 激情五月婷婷丁香| 狠狠操天天操综合| 日本99视频| 久久9热| 五月激情天天干| 色五月,com| 天天噜日日噜综合无码| 99精品热| av一区免费看| 五月婷婷丁香在线视频| 亚洲精品久久久久久久久久吃药| 青草网在线观看| 99性色| 人人色人人弄人人操| 99色啊| 操操啪| 午夜av网| 亚洲欧美一区二区三区爱爱动图| 九九无码| 九九视频网| 中文字幕在线免费观看视频| 国产精品操| 成人综合视频在线| 九九色播五月丁香| 五月花综合视频| 超碰成人影视| 99免费视频网| 超碰在线日夜| 国产片色| 大香蕉 婷婷| 一本伊人色婷| 精品成人在线| 伊人狠狠操| 欧美日本国产| 五月婷婷网站| 亚洲韩国日产综合AV| 天天噪夜夜爽| 字幕网AV中文字幕| 欧美Va在线| 玖玖婷婷五月天毛片| 99国产这里只有精品| 久久综合香蕉国产国产蜜臀AV| 五月色丁香视频精品| 美女被肏网站在线看| 无码任你操| 婷婷五月天丁香久久| 婷婷五月天开心网| 激情伊人网| 9九色首页| 99在线资源| 欧美激情综合| 亚洲网站在线鸭子av| 99熟女| 俺也去婷婷五月天第五色| 五月天婷婷综合网| 婷婷色色丁香五月天| 蜜桃人妻无码AV天堂三区| www.五月婷婷| AV人人操| 常久最新免费的色吊丝| 狠狠五月丁香色婷| 久久久中文| 激情五月综合久久| 丁香香蕉射射射| 性综合网| 婷婷欧美综合| 综合色色色| 婷婷五月噜噜| 深爱激情AV| 色综合激情| 草榴视频网| 久久久色情| 九九色婷婷五月天| 六月激情网| 五月丁香网站| 99在线精品视频| 久久激情网| 五月丁香六月激情综合欧美| 五月丁香AV、伊人业余、性色熟妇| 丁香丁婷五月激情| 九洲一级A片| 一起草日本| 日本三级99人妇网站| 五月色情| 丁香五月成人| 五月丁香免费看| 九九热视频在线观看| 成人必爱视| 欧美A级网站| 超碰大香蕉网| 色婷婷先锋| 色婷在线视频| 69久热| 丁香五月天日韩无码| 极品精品一区二区三区在线| 99自拍视频| 另类图片五月天| 婷婷五月天伊人网| 夜夜骑夜夜撸| 91九色国产在线| 国产激情av| 国产无人区大片| 激情丁香六月| 色很很96| 成人综合视频网址| 久久总和99| 一區四區歐美日韓| 超碰精品国产首页| 五月色网| 综合婷婷五月丁香在线观看| 9久精品视频| 伊人网色婷婷五月天| 怡红院院久久| 亚洲天99| 欧美婷婷色| 久9热在线视频| 五月天丁香综合久久国产| 久色大| 六月婷婷久久| 91久久五月天| www99在线观看视频| 亚洲天堂大香蕉| 久热 91| 亚洲av综合网| 性一交一乱一交A片久久四色| 国产精品成人AV在线| 久久多色| 丁香婷婷影院| 爱射综合| 俺去也婷婷| 欧美人与性动交CCOO| 婷婷五月色播天| 1级欧美日韩| 婷五月天| 激情五月天色播| 色5月丁香婷婷| 亚洲色色在线| 婷婷久久伊人| 内射爽无广熟女亚洲| 香蕉婷婷色五月| 色五月首页| 五月天激情偷拍| 九九综合影音先锋| 九九热黄色| 99热这里只有精品青草| 亚洲mm色| 五月婷婷六月丁香免费| 五月天婷综合| 久9热在线免费观看|