欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

從零手撕K-Means:初始化、距離計算到收斂,徹底搞懂聚類算法

從零手撕K-Means:初始化、距離計算到收斂,徹底搞懂聚類算法 做數(shù)據(jù)分析的人十有八九用過K-Means但大多數(shù)人只是import一下就出圖。真正麻煩的是那些import之后的事為什么運(yùn)行兩次結(jié)果不一樣為什么某個簇總是空為什么歸一化前后聚類天差地別這次我不打算糊弄過去直接從零手撕一遍K-Means聚類算法——不調(diào)sklearn不用現(xiàn)成的聚類函數(shù)只用Numpy把初始化、距離計算、樣本分配、質(zhì)心更新和收斂判定一步步寫成代碼。整個過程里踩過的坑、查過的資料、改過的bug全記錄在下面。適合剛接觸聚類算法的新手也適合把KMeans()當(dāng)黑盒用了很久、實(shí)在受不了拍腦袋調(diào)參的老手??赐昴銜靼走@個老朋友在每次迭代里到底偷偷做了什么。1. K-Means聚類算法到底在做什么思路先對齊代碼才不會歪1.1 一句話直覺讓“相似”變成“距離”K-Means處理的是沒有標(biāo)簽的樣本集合。聚類算法的目標(biāo)是把這些樣本自動分成K個組盡可能讓同一個組里的樣本相似不同組之間的樣本差異明顯。K-Means把“相似”這個詞翻譯成了數(shù)學(xué)語言“相似”就是“距離近”。更具體地說它只關(guān)心歐氏距離——兩個點(diǎn)在多維空間里離得越近就越可能屬于同一簇。你可以把它想象成數(shù)據(jù)版的“礦石分揀”。你有一堆混合礦石不知道里面含幾種金屬也不知道每塊礦石具體屬于哪一類。K-Means根據(jù)礦石的質(zhì)地、顏色、重量這些特征把它們自動歸成幾堆。歸完之后每一堆的中心就是這堆樣本的代表也就是質(zhì)心。整個過程沒有老師告訴你正確答案純靠數(shù)據(jù)本身的結(jié)構(gòu)來分組所以這類算法也叫無監(jiān)督學(xué)習(xí)。這里有個容易忽略的點(diǎn)K-Means不是一把梭直接算出來的。它先隨便猜幾個質(zhì)心然后讓每個樣本“投靠”距離最近的質(zhì)心再根據(jù)新組員的平均位置重新計算質(zhì)心如此循環(huán)直到質(zhì)心不再明顯移動。這個“猜—分—算—再猜”的循環(huán)是整個算法的靈魂。搞懂這個循環(huán)后面所有代碼都只是它的具體翻譯。1.2 目標(biāo)函數(shù)與硬分配K-Means憑什么能收斂只看直覺的話很容易把K-Means理解成“循環(huán)求平均”雖然沒錯但會漏掉最重要的東西——目標(biāo)函數(shù)。K-Means的目標(biāo)是讓每個樣本到它所屬質(zhì)心的距離平方和最小用公式寫出來就是SSE Σ(k1..K) Σ(x_i ∈ C_k) ‖x_i - μ_k‖2其中C_k是第K個簇μ_k是該簇的質(zhì)心也就是簇內(nèi)樣本的均值。這個指標(biāo)通常叫簇內(nèi)平方和SSEK-Means的每次迭代都在壓低這個值。這個式子決定了K-Means的一個關(guān)鍵性質(zhì)硬分配。每個樣本在每一步里只屬于離它最近的唯一簇不存在“有60%屬于A簇、40%屬于B簇”這種說法。argmin一錘定音樣本要么是這簇的要么是那簇的沒有中間地帶。這一點(diǎn)聽起來理所當(dāng)然但跟后面要提到的高斯混合模型GMM形成了鮮明對比GMM是軟聚類會給每個樣本輸出一個概率向量。目標(biāo)函數(shù)存在還有另一層意義它解釋了K-Means為什么一定收斂。經(jīng)典的Lloyd算法本質(zhì)上在交替優(yōu)化兩個變量——固定質(zhì)心時給樣本分配最近的簇固定簇時把質(zhì)心更新成簇內(nèi)均值。兩步操作都在降低同一個SSE目標(biāo)函數(shù)所以迭代過程是單調(diào)不增的最終必然收斂。只不過這個收斂不是“收斂到全局最優(yōu)”而是收斂到某個局部極小值。SSE這個函數(shù)并不凸存在很多坑坑洼洼的谷底隨機(jī)初始化不同跑到的谷底也不同。這是后面講K-Means和n_init時反復(fù)要提到的前提。1.3 為什么偏偏用歐氏距離超球面偏好的由來很多剛上手的人會問能不能用曼哈頓距離能用余弦距離嗎答案是能算但那個算法就不叫K-Means了數(shù)學(xué)性質(zhì)也會徹底變掉。原因在于歐氏距離與“均值”天生是一對。給定一堆點(diǎn)能讓“到所有點(diǎn)的歐氏距離平方和”最小的那個中心恰恰就是它們的算術(shù)平均。而K-Means的每一步更新都需要求均值兩者剛好無縫銜接。如果把距離換成曼哈頓距離最優(yōu)中心就變成了中位數(shù)算法演變成K-Medians或K-Medoids換了個物種。所以K-Means不是“非要用歐氏距離”而是“用均值做質(zhì)心自然推導(dǎo)出了歐氏距離”。歐氏距離還有一個隱藏含義它對應(yīng)的簇形狀是各向同性的圓。用專業(yè)點(diǎn)的話說K-Means假設(shè)每個簇在特征空間里是一個超球面而且各個方向半徑差不多。一旦數(shù)據(jù)里出現(xiàn)細(xì)長條狀的簇、半包圍的圓弧形簇K-Means就會生硬地把它攔腰切開或者跨越邊界亂分。判斷一個數(shù)據(jù)集適不適合用K-Means最簡單的方法就是降維到2D看一眼如果散點(diǎn)圖呈現(xiàn)幾個圓團(tuán)直接用如果形狀妖嬈趁早換DBSCAN或GMM。歐氏距離對量綱的敏感也是它在實(shí)際項目里最常被忽略的坑。想象兩個特征“年齡”取值20到60“年消費(fèi)額”取值5萬到100萬。計算歐氏距離時年齡那一位的貢獻(xiàn)基本被消費(fèi)金額淹沒聚類結(jié)果跟年齡一點(diǎn)關(guān)系都沒有。這不是算法錯了是距離度量被量綱綁架了。所以在跑K-Means之前標(biāo)準(zhǔn)化幾乎是最重要的一步預(yù)處理后面4.1會專門展開。2. 從零手撕一遍K-Means完整實(shí)現(xiàn)與收斂過程可視化2.1 數(shù)據(jù)準(zhǔn)備先造一份能畫出結(jié)果的2D數(shù)據(jù)集既然要手撕算法數(shù)據(jù)我也選擇自己造。用Numpy直接生成三個高斯簇二維帶真實(shí)中心只是用來驗(yàn)證效果算法本身完全不需要標(biāo)簽import numpy as np import matplotlib.pyplot as plt rng np.random.default_rng(42) centers_true np.array([[2.0, 2.0], [-2.0, 3.0], [3.0, -2.0]]) X np.vstack([ rng.normal(loccenter, scale0.6, size(100, 2)) for center in centers_true ]) rng.shuffle(X)為什么選2D數(shù)據(jù)因?yàn)榭梢暬庇^每一輪質(zhì)心的移動都能畫出來人眼直接看到算法“動起來”。實(shí)際業(yè)務(wù)里通常是幾十維甚至上百維但算法邏輯完全一樣只是沒法用眼睛直接看罷了。scale0.6是給每個簇加適量噪聲讓三個團(tuán)有輕微重疊但又不至于糊成一團(tuán)這樣K-Means既有挑戰(zhàn)又能穩(wěn)定收斂。shuffle這步容易被忽略如果不打亂樣本順序隨機(jī)初始化質(zhì)心時更容易連續(xù)抽到同一區(qū)域的樣本增加空簇概率。雖然對這個干凈數(shù)據(jù)集影響不大但這是防止“莫名其妙翻車”的好習(xí)慣。真實(shí)數(shù)據(jù)里樣本順序常常帶有隱藏結(jié)構(gòu)比如按時間排列、按來源排列先shuffle能避免初始化被順序影響。2.2 核心代碼逐段拆解初始化、分配、更新、收斂我把手撕版K-Means寫成一個可直接運(yùn)行的函數(shù)包含距離計算、空簇處理、質(zhì)心位移記錄。每個步驟都帶注釋方便對照原理def euclidean_dist(X, center): # X: (n, d), center: (d,) - 返回每個樣本到該質(zhì)心的距離 return np.sqrt(np.sum((X - center) ** 2, axis1)) def kmeans_custom(X, k, max_iter200, tol1e-4, seed42): rng np.random.default_rng(seed) # 1. 初始化從樣本里隨機(jī)挑k個樣本當(dāng)質(zhì)心 initial_idx rng.choice(len(X), sizek, replaceFalse) centroids X[initial_idx].copy() for i in range(max_iter): # 2. 分配步驟計算每個樣本到全部質(zhì)心的距離 # distances 的形狀是 (k, n)每行是“到某一個質(zhì)心”的距離 distances np.array([euclidean_dist(X, c) for c in centroids]) labels np.argmin(distances, axis0) # 每個樣本分給最近質(zhì)心 # 3. 更新步驟對每個簇求均值作為新質(zhì)心 new_centroids np.zeros_like(centroids) for c_idx in range(k): cluster_points X[labels c_idx] if len(cluster_points) 0: # 空簇處理隨機(jī)補(bǔ)一個樣本當(dāng)質(zhì)心避免實(shí)際簇數(shù)悄悄減一 new_centroids[c_idx] X[rng.choice(len(X))] else: new_centroids[c_idx] cluster_points.mean(axis0) # 4. 收斂判定質(zhì)心位移小于閾值 shift np.linalg.norm(new_centroids - centroids) centroids new_centroids if shift tol: print(f迭代 {i 1} 輪后收斂總位移 {shift:.6f}) return centroids, labels print(f達(dá)到最大迭代次數(shù) {max_iter}可能需要檢查tol的合理性) return centroids, labels運(yùn)行指定K3我這個測試?yán)锿ǔ5?輪就收斂。三個質(zhì)心大約落在(2.02, 1.98)、(-1.98, 2.94)、(2.95, -1.96)附近與真實(shí)中心(2,2)、(-2,3)、(3,-2)誤差在0.1以內(nèi)。這說明數(shù)據(jù)生成得干凈K-Means在這種球狀簇場景下簡直是為它量身定做的。這里必須提醒一個新手最容易踩的代碼級坑argmin的axis到底寫幾。在初版實(shí)現(xiàn)里distances的形狀是(k, n)所以argmin(axis0)才能得到n個樣本各自的簇編號。如果你手滑寫成axis1取到的將是“對每個質(zhì)心而言最近的樣本索引”組成的列表形狀直接變成(k,)結(jié)果完全不是簇標(biāo)簽而且大概率不報錯。這類錯誤極其隱蔽我建議寫完先打印distances.shape和labels.shape驗(yàn)證一下別直接往業(yè)務(wù)代碼里塞。2.3 向量化提速用Numpy廣播把循環(huán)壓成矩陣運(yùn)算教學(xué)版代碼容易看懂但每次算距離都開一個循環(huán)數(shù)據(jù)量一上來就慢得可怕。實(shí)際生產(chǎn)需要的是同一邏輯的向量化版本。用Numpy廣播一步算出所有樣本到所有質(zhì)心的距離矩陣def kmeans_vec(X, k, max_iter200, tol1e-4, seed42): rng np.random.default_rng(seed) idx rng.choice(len(X), sizek, replaceFalse) centroids X[idx].copy() for i in range(max_iter): # X: (n, d) - X[:, None, :] 形狀(n, 1, d) # centroids: (k, d) - centroids[None, :, :] 形狀(1, k, d) # 廣播相減得到 (n, k, d)即每個樣本對每個質(zhì)心的分量差 diff X[:, None, :] - centroids[None, :, :] distances np.sqrt((diff ** 2).sum(axis2)) # 形狀(n, k) labels np.argmin(distances, axis1) # 每個樣本最近的質(zhì)心 new_centroids np.zeros_like(centroids) for c_idx in range(k): cluster_points X[labels c_idx] if len(cluster_points) 0: new_centroids[c_idx] X[rng.choice(len(X))] else: new_centroids[c_idx] cluster_points.mean(axis0) if np.linalg.norm(new_centroids - centroids) tol: centroids new_centroids break centroids new_centroids return centroids, labels這個版本里distances變成(n, k)矩陣每個元素是第i個樣本到第j個質(zhì)心的距離argmin(axis1)就是按行找最小值得到n個樣本的簇標(biāo)簽。對比教學(xué)版可以發(fā)現(xiàn)兩個版本唯一的本質(zhì)區(qū)別是距離矩陣的軸方向反了隨之a(chǎn)rgmin的axis也反了。搞懂這一點(diǎn)你就同時看穿了大多數(shù)K-Means源碼里讓人迷惑的軸操作。數(shù)據(jù)量到幾十萬行、幾十維特征時向量化版本比循環(huán)版快一到兩個數(shù)量級這就是Numpy廣播的威力。實(shí)際項目里如果還想再快可以用scipy.spatial.distance.cdist直接算距離矩陣它底層調(diào)了優(yōu)化過的C實(shí)現(xiàn)比手寫廣播更快。不過在“手撕”階段用廣播更能看清形狀變化的脈絡(luò)因?yàn)槊恳徊絪hape的變化就是算法邏輯的具象化。2.4 每輪迭代都在發(fā)生什么質(zhì)心移動的可視化復(fù)盤代碼跑通后最有意思的事情是看質(zhì)心怎么一步步“歸位”。為了畫圖我稍微改造一下函數(shù)把每輪迭代的質(zhì)心都記錄下來def kmeans_process(X, k, max_iter10, seed42): rng np.random.default_rng(seed) idx rng.choice(len(X), sizek, replaceFalse) centroids X[idx].copy() history [centroids.copy()] for i in range(max_iter): diff X[:, None, :] - centroids[None, :, :] distances np.sqrt((diff ** 2).sum(axis2)) labels np.argmin(distances, axis1) # 畫圖觀察用的簡化版省略了空簇處理邏輯 new_centroids np.array([X[labels c].mean(axis0) for c in range(k)]) history.append(new_centroids.copy()) if np.linalg.norm(new_centroids - centroids) 1e-4: centroids new_centroids break centroids new_centroids return np.array(history), labels, i 1 history, labels, iters kmeans_process(X, k3)然后用matplotlib畫一個2x2的子圖依次展示初始質(zhì)心、第1輪后、第2輪后、最終結(jié)果。初始質(zhì)心是從樣本里隨機(jī)挑的很可能三個點(diǎn)都擠在數(shù)據(jù)一側(cè)第1輪分配完成后質(zhì)心猛跳到三個簇的大致中心第2輪只做小修正第3輪基本要么觸發(fā)收斂要么只需要再微調(diào)一步。我在實(shí)際跑圖時觀察到的典型現(xiàn)象是第一輪質(zhì)心位移最大之后斷崖式減小。這不是巧合而是坐標(biāo)下降法的普遍特點(diǎn)——先快速找到大體區(qū)域再慢速精確逼近。理解這一點(diǎn)就知道為什么很多K-Means實(shí)現(xiàn)默認(rèn)只迭代一兩百輪就夠了它真的不需要太多輪。如果發(fā)現(xiàn)收斂很慢根源幾乎都不是“輪數(shù)不夠”而是初始化差、數(shù)據(jù)沒標(biāo)準(zhǔn)化或者K選得不合理。3. 手撕路上踩過的坑K-Means常見問題與排查實(shí)錄3.1 空簇問題質(zhì)心是怎么“消失”的第一個坑是空簇?,F(xiàn)象是跑完后有一類標(biāo)簽沒人用實(shí)際有效簇數(shù)從K變成了K-1。我第一次手撕時遇到這個還挺懵明明設(shè)置的K3為什么labels里只有0和1原因通常有三類。初始化質(zhì)心位置太差比如三個初始質(zhì)心全落在同一堆數(shù)據(jù)里另一個質(zhì)心被孤立數(shù)據(jù)里有明顯離群點(diǎn)離群點(diǎn)獨(dú)自搶走一個質(zhì)心或者K設(shè)得太大某些簇本來就只有零星幾個樣本隨機(jī)初始化恰好沒覆蓋到。如果不處理空簇后果不只是少一個標(biāo)簽。求均值時用空簇樣本取mean會直接報錯或產(chǎn)生nan后面算SSE也全亂套。教科書版本往往回避這個細(xì)節(jié)但工程實(shí)現(xiàn)必須處理。我用的方案是檢測到空簇就重新隨機(jī)選一個樣本作為該質(zhì)心簡單有效但不保證最優(yōu)。更穩(wěn)的做法有三種按我的推薦程度排列把新質(zhì)心定為當(dāng)前離其他質(zhì)心最遠(yuǎn)的樣本讓空簇趕緊去覆蓋空白區(qū)域。找到當(dāng)前SSE最大的簇把它一分為二把新質(zhì)心塞給空簇。直接用K-Means做初始化從源頭上大幅降低空簇概率。我在小規(guī)模比賽和項目里用“最遠(yuǎn)樣本填充”最多效果好、代碼也就幾行邏輯更接近生產(chǎn)版本。3.2 初始化玄學(xué)同數(shù)據(jù)兩次結(jié)果為何天差地別第二個問題比空簇隱蔽得多同一份數(shù)據(jù)跑兩遍K-Means結(jié)果可能完全對不上。這不是隨機(jī)數(shù)種子的鍋而是目標(biāo)函數(shù)本身非凸。K-Means的SSE存在多個局部極小值。隨機(jī)初始化相當(dāng)于從某座山頭出發(fā)往下走走到哪個谷底全看起點(diǎn)。有些谷底對應(yīng)的聚類結(jié)果很離譜比如把兩個本應(yīng)分開的簇合并了或者把一個簇硬劈成兩半。我第一次遇到時懷疑自己代碼有bug查了一晚上才發(fā)現(xiàn)同樣的代碼換了個隨機(jī)種子跑到另一個局部最優(yōu)去了。工程界的解法早就標(biāo)準(zhǔn)化多跑幾次取SSE最小的那次結(jié)果。sklearn里的n_init10就是干這個的。手撕版實(shí)現(xiàn)也很直接best_centroids None best_labels None best_sse np.inf for seed in range(10): centroids, labels kmeans_vec(X, k, seedseed) sse ((X - centroids[labels]) ** 2).sum() if sse best_sse: best_sse sse best_centroids centroids best_labels labels不過比“多次運(yùn)行取最優(yōu)”更優(yōu)雅的方案是K-Means初始化。它的核心思路是讓初始質(zhì)心盡量離得遠(yuǎn)先隨機(jī)選第一個質(zhì)心之后每次以“距離平方占全場總距離平方的比例”作為概率挑選下一個質(zhì)心。這個策略幾乎把所有壞初始化壓到了地板水平。手寫K-Means初始化也不難def kmeans_plusplus_init(X, k, seed42): rng np.random.default_rng(seed) centroids [X[rng.choice(len(X))]] for _ in range(1, k): # 每個樣本到最近已有質(zhì)心的距離平方 diff X[:, None, :] - np.array(centroids)[None, :, :] d2 np.min((diff ** 2).sum(axis2), axis1) prob d2 / d2.sum() # 距離越遠(yuǎn)的樣本越可能被選為質(zhì)心 centroids.append(X[rng.choice(len(X), pprob)]) return np.array(centroids)這段代碼的價值足夠讓一個手撕版K-Means的穩(wěn)定性提升一個檔次。我實(shí)際測試過原始隨機(jī)初始化200個seed里大約有3到4次掉進(jìn)明顯差的局部解換K-Means之后同樣200次試驗(yàn)一次都沒翻車。這個差距落到業(yè)務(wù)里直接體現(xiàn)為“聚類結(jié)果跟業(yè)務(wù)case對得上”還是“結(jié)果看起來離譜”。3.3 收斂判定陷阱tol、max_iter與浮點(diǎn)精度的博弈還有一類坑不在算法邏輯而在邊界條件。先說tol。tol控制的是“質(zhì)心移動多少距離就認(rèn)為收斂”。如果特征量級是幾十萬tol1e-4意味著質(zhì)心幾乎在原地踏步迭代會一直跑滿max_iter才被迫停下如果特征已經(jīng)標(biāo)準(zhǔn)化到零附近1e-4又相對合理。所以我建議跑K-Means前先標(biāo)準(zhǔn)化再根據(jù)質(zhì)心位移曲線決定tol別直接照抄默認(rèn)值。max_iter也有講究。經(jīng)典教材說“一般幾十輪就收斂”但高維稀疏數(shù)據(jù)、初始化差時跑幾百輪也不一定穩(wěn)。我習(xí)慣設(shè)300到500。為什么不是一萬因?yàn)槊枯喍家阋淮稳烤嚯x矩陣數(shù)據(jù)大時多跑就是燒算力不如先把初始化做好。另一個容易被忽視的是浮點(diǎn)數(shù)精度。曾經(jīng)我在判斷收斂時把閾值寫成1e-10結(jié)果跑滿迭代次數(shù)也沒觸發(fā)收斂——因?yàn)橘|(zhì)心在接近最優(yōu)時每一步位移只有大約1e-7量級1e-10這個閾值過于苛刻。更麻煩的是當(dāng)矩陣接近零時np.linalg.norm對極小位移會產(chǎn)生浮點(diǎn)抖動收斂判定不穩(wěn)定。所以工程上我更傾向于用“簇分配標(biāo)簽不再變化”作為收斂信號。對K-Means來說標(biāo)簽不變意味著再怎么迭代結(jié)果也不會變這是最硬氣的收斂判據(jù)if np.array_equal(labels, prev_labels): break當(dāng)然常規(guī)情況下標(biāo)簽不變時質(zhì)心也基本不動了兩個判據(jù)等價。但標(biāo)簽判據(jù)對浮點(diǎn)噪聲更魯棒我后來的手撕代碼里干脆同時允許兩種退出條件代碼量幾乎沒增加保險系數(shù)卻高了不少。3.4 排查問題速查表現(xiàn)象、原因與處理方案把上面這些坑整理成一張表以后遇到問題直接對照現(xiàn)象典型原因我的處理方案聚類結(jié)果每次都不一樣隨機(jī)初始化陷入不同局部最優(yōu)多次運(yùn)行取最小SSE或用K-Means某個簇是空的初始化覆蓋差、K太大、有離群點(diǎn)空簇填充最遠(yuǎn)樣本或減小K或換K-Means迭代到max_iter才停tol相對量級太小、數(shù)據(jù)未標(biāo)準(zhǔn)化先標(biāo)準(zhǔn)化把tol調(diào)到1e-4量級聚類邊界明顯亂切數(shù)據(jù)簇形狀非球、有重疊改用GMM、DBSCAN或先降維可視化結(jié)果對業(yè)務(wù)無解釋性只看了統(tǒng)計最優(yōu)沒結(jié)合業(yè)務(wù)約束結(jié)合業(yè)務(wù)設(shè)定K人工復(fù)核每個簇如果遇到表里沒有的怪問題一個笨但有效的排查方式把質(zhì)心和簇內(nèi)樣本散點(diǎn)圖畫出來人眼掃一遍往往就有思路了。K-Means本身不復(fù)雜失敗模式也不復(fù)雜大多數(shù)問題的根源不外乎“數(shù)據(jù)沒洗干凈”和“參數(shù)沒對應(yīng)上數(shù)據(jù)量級”這兩處。4. 從手撕到實(shí)戰(zhàn)標(biāo)準(zhǔn)化、K值選擇與算法進(jìn)階路線4.1 跑之前先標(biāo)準(zhǔn)化歐氏距離的量綱陷阱K-Means基于歐氏距離而歐氏距離會被大數(shù)值特征主導(dǎo)。用客戶分群舉個例子特征里有“年齡”和“年消費(fèi)額”年消費(fèi)額動輒幾萬年齡只有幾十距離計算幾乎只看消費(fèi)額年齡直接成了擺設(shè)。聚類結(jié)果看著像按消費(fèi)額切了幾刀實(shí)際上是量綱在幫忙做特征選擇。標(biāo)準(zhǔn)做法通常是Z-score標(biāo)準(zhǔn)化把每個特征變成均值0、標(biāo)準(zhǔn)差1X_scaled (X - X.mean(axis0)) / X.std(axis0)還有一種Min-Max縮放把特征壓到0到1之間對沒有極端值的數(shù)據(jù)效果也不錯。但Min-Max對離群點(diǎn)極敏感——一個極大的離群點(diǎn)會把其他所有數(shù)據(jù)壓到0到0.01之間等于把正常樣本全擠在一起。所以我個人對分布偏穩(wěn)健的數(shù)據(jù)用Z-score更多。不過并不是所有場景都非要標(biāo)準(zhǔn)化。當(dāng)所有特征本來就是同量綱時比如全是0-1的one-hot編碼或全是百分比標(biāo)準(zhǔn)化反而可能破壞原始語義。判斷標(biāo)準(zhǔn)很簡單先問自己這個特征取值的絕對大小有沒有業(yè)務(wù)意義如果只是量綱不同標(biāo)準(zhǔn)化如果量大本身代表某種強(qiáng)度保留原始尺度有時更合理。4.2 K值怎么定最靠譜肘部法、輪廓系數(shù)與實(shí)際業(yè)務(wù)約束K是K-Means里用戶給定的唯一超參數(shù)也是最難拍板的一個。常見方法有兩個半。第一個是肘部法。畫一條“K值—SSE”曲線K越大SSE越小但下降速度會變緩。曲線上的那個拐點(diǎn)就是“肘”代表從那個K開始多分一簇帶來的收益明顯變小。手撕版實(shí)現(xiàn)很直接k_list range(2, 10) sse_list [] for k in k_list: centroids, labels kmeans_vec(X_scaled, k, seed42) sse ((X_scaled - centroids[labels]) ** 2).sum() sse_list.append(sse) plt.plot(k_list, sse_list, markero)第二個是輪廓系數(shù)。它同時考慮每個樣本與自身簇內(nèi)的緊密度以及到最近鄰居簇的距離算出介于-1到1之間的分?jǐn)?shù)全局平均輪廓系數(shù)越高說明簇結(jié)構(gòu)越清晰。選K時一般取平均輪廓系數(shù)接近最大的那個值。不過輪廓系數(shù)在小數(shù)據(jù)集上非常吃計算量n超過幾萬就開始吃力那時更推薦用采樣或者干脆靠業(yè)務(wù)經(jīng)驗(yàn)。剩下半個方法是Gap Statistic它通過與隨機(jī)數(shù)據(jù)對比來找K理論上更漂亮但計算量大實(shí)際項目里用得少。最后我還得說一句大實(shí)話數(shù)值指標(biāo)永遠(yuǎn)只是參考真實(shí)業(yè)務(wù)里K經(jīng)常由需求決定。你要做五個用戶層級K就是5你要把客戶分成能承載不同運(yùn)營話術(shù)的幾類K得看團(tuán)隊接不接受。最優(yōu)K不等于最可用K這層判斷只有人做得來。4.3 現(xiàn)成庫到底多做了什么與sklearn KMeans的差異對照手撕完之后建議一定要做一次對照實(shí)驗(yàn)把結(jié)果跟sklearn的KMeans對比看看差多少。我測下來兩者在常規(guī)數(shù)據(jù)上的SSE幾乎一致差異主要來自幾個工程細(xì)節(jié)sklearn默認(rèn)初始化是k-means默認(rèn)n_init10也就是跑10次完整聚類后取SSE最小的結(jié)果。它的默認(rèn)tol1e-4、默認(rèn)max_iter300處理空簇時用“最遠(yuǎn)點(diǎn)填充法”。底層是Cython實(shí)現(xiàn)還支持elkan變種利用三角不等式減少部分距離計算。我手撕版的“重新隨機(jī)選點(diǎn)填充”方案跟它比粗糙一些但主流程完全對得上。如果你不想寫代碼Orange3這類可視化數(shù)據(jù)分析平臺里也集成了聚類分析模塊把K-Means封裝成圖形節(jié)點(diǎn)點(diǎn)幾下鼠標(biāo)就能跑。它的底層依然是“初始化—分配—更新—收斂”這套邏輯參數(shù)含義跟我上面寫的完全一致。所以不管用什么工具理解這些參數(shù)都是通用的。數(shù)據(jù)規(guī)模上也要有數(shù)sklearn的KMeans在百萬級樣本、幾十維特征上能跑得動但手撕版在同樣規(guī)模下會因?yàn)槿嚯x矩陣而內(nèi)存爆炸。手撕版更像教學(xué)腳手架和問題排查工具真到生產(chǎn)級規(guī)模合理選擇是Mini-Batch K-Means或者分布式實(shí)現(xiàn)。4.4 從K-Means走向哪K-Medoids、GMM高斯混合與更多聚類思路K-Means雖經(jīng)典但有三個肉眼可見的短板均值對離群點(diǎn)敏感、只會生成球形簇、只做硬分配。對應(yīng)這三個短板至少有三條進(jìn)階路線。第一條是K-Medoids。它不把質(zhì)心定義為簇內(nèi)均值而是從簇內(nèi)樣本里挑一個“最典型的代表”因此對離群點(diǎn)更穩(wěn)。它適合特征不是連續(xù)值或均值沒有意義的場景比如文本向量、評分?jǐn)?shù)據(jù)。第二條是高斯混合模型GMM屬于模型聚類算法。GMM給每個樣本輸出一個“屬于各簇的概率向量”而不是一個硬標(biāo)簽同時允許每個簇有自己的協(xié)方差結(jié)構(gòu)所以能擬合橢圓形的簇。從數(shù)學(xué)上看K-Means其實(shí)是GMM的特例——當(dāng)GMM各組件協(xié)方差趨向于各向同性且共享時它的最大后驗(yàn)分配就退化為按歐氏距離最近分配也就是K-Means的行為。理解這一點(diǎn)你會發(fā)現(xiàn)K-Means處于整個概率聚類譜系的一端而不是孤立知識點(diǎn)。第三條是Mini-Batch K-Means每次只取一小批樣本更新質(zhì)心犧牲少量精度換速度千萬級數(shù)據(jù)場景下我一般直接走這條線。還有一個方向值得提譜聚類、DBSCAN這些方法能處理K-Means完全做不了的形狀比如嵌套的環(huán)形、細(xì)長的帶狀結(jié)構(gòu)。選型邏輯很簡單如果散點(diǎn)圖畫出來是幾個圓團(tuán)K-Means夠了如果形狀怪異就別硬扛先考慮密度聚類或圖方法。這遍手撕最直接的收獲是我終于敢在排查K-Means問題時說“我大概知道它哪里出了問題”而不是只能拍腦袋調(diào)參。另一個小技巧分享給剛開始學(xué)的人跑任何聚類之前先畫一張降維后的散點(diǎn)圖人眼掃一遍判斷簇數(shù)目和形狀。這一步花五分鐘卻能省掉后面無數(shù)瞎調(diào)參的時間。K-Means看起來簡單但把它從“可運(yùn)行的庫”變成“自己寫的代碼”你才能真正感覺到它在做什么以及那些參數(shù)在什么情況下說了算。先把基礎(chǔ)版跑穩(wěn)后續(xù)我會接著寫K-Means的細(xì)節(jié)和K值自動選擇的實(shí)操對比感興趣的話可以繼續(xù)跟。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久色在线视频| 色婷婷五月综合网| 狠狠色婷婷7777久| 91丨九色|PRNY熟妇| 欧美性生交A片免费看| 亚洲精品视频在线播放| 午夜成人综合| 婷婷无码五月天| 97se视频在线| 夜色爱爱亚洲| 99久操视频| 91超碰人人操| 人人爱国产| A久久| 婷婷之六月丁香| 激情另类综合| 婷婷香香五月| 网色99| 99偷拍视频在线日本| 九九婷| 激情综合婷婷| 五月天另类视频| 五月天色婷婷综合| 第一区久久网站| 色色成人網| 日韩不卡DvD| 久碰综合| 东北黄色一级| 97精品综合久久内射| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 97丁香五月| 天天色天天色天天色天天色天天色天天色| 大香蕉久久伊人婷婷五月丁香| 亚洲国产精品二二三三区| 激情色播| 久久综合婷婷| 九九色综合九九色| 婷婷金品综合视频| 五月丁香在线观看| 深爱综合网| 亚洲精品国产setv| av在线观看免费| 激情五月婷黄版| 激情五月天伊人影院| 丁香五月第四色88| 五月婷婷开心亚州在线| 五月深爱网| 森林影视大全,最好看的2019年视频 | 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 天天操夜夜爽歪歪| 天天日夜夜帕| 婷婷开心久久| 99乱视频| 狠狠草狠狠草| 婷婷五月天男人影院色色网| 婷婷成人综合五月| anquye五月| www,五月丁,com| 久99久视频免费观看| 91刘玥视频在线观看| 97成人操| 亚洲国产黄色电影| WWW.久久久久久久久久久久久| 六月丁香婷婷爱| 丁香婷婷天堂| 七七色综合| 99综合色色色| 久草婷| 国产精品成人网址| 9l视频自拍九色9l黑人| 午夜激情久久| 美女xx不卡| 成人一区在线观看| 99资源在线视频| 一二区成人电影| 4399伦理午夜| 久月婷婷| 六月丁香婷婷综合色播| 夜夜夜夜做天天天做无码视频| 亚洲五月丁| 五月天婷婷伊人 | 婷婷深爱五月天| 天天久| 激情图片五月天| 亚洲色另类| 操骚货在线| 丁香五月婷婷基地| 久久五月激情| 激情五月婷婷丁香| 欧洲一区二区| 99热激情| 国产成人精品一区二三区熟女在线 | 9l视频自拍九色9l视频在线观看| 另类专区在线观看| 九热视频| 色五月,com| 午夜天天精品视频| 婷婷五月精品中文| 美女黄频aⅴ视频| 99人妻碰碰碰久久久久禁片| 中文人妻主播久久| 思思w99| 九九爱激情| 色色色色网| 99色在线视频| 丁香五月电影| 欧美精品XXXXBBBB| 97碰91| 丁香婷婷午夜| 成人AV免费观看| 欧洲激情网站| 久99久热只有精品国产99| 欧美性爱特黄一级aaaassss| 天天做天天摸| 久久婷婷五月综合色奶水99啪| 97中文在线| 色五月综合在线| 99色视频| 精品人妻一区二区三区四区不卡在| 婷婷久久网| AV片一区在线观看| 亚洲精品网址| 婷婷伊人綜合中文字幕小说| 婷婷成人五月天一区| 99视频网| 亚洲综合色婷婷| 色色a| 亚洲精品白浆高清久久久久久| 丁香五月婷婷社区| 婷婷欧美激情| 亚洲视99| 丁香婷婷中文字幕| 亚洲无线视频| 午夜天堂一区人妻| 五月香蕉网| 96精品久久久久久久久| 少妇日麻屄| 九玖欧洲亚洲| 丁香五月最新地址| 色婷婷成人做爰A片免费看网站 | 天天日,天天插| 日本欧美成人片AAAA| 超碰人人在线观看| 99九九综合久久九九| 色之综合网| 六月天丁婷婷| 香蕉视频91| 亚洲99热| 狠狠操综合| 丰满人妻一区二区三区| 美女被肏网站在线看| 欧美色色干| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 九九操操| 韩国中文字幕91| 99精品女人天堂| 99色综合网| 婷婷五月天熟妇| 影音先锋天天日| 丁香五月电影| 九月停停| 欧美日韩99| ss99热| 96丁香六月婷婷蜜桃综合久久| 久色网| 99久久户外勾搭| 无码色综合| 九九热这里只有精品23| 九九爱激情| 色停停香蕉视频| 日本不卡高字幕在线2019| 丁香婷婷五月人体| 亚洲性爱99| 亚洲激情综合免费| 色五月激情网| 欧美69色| 99re这里只有精品视频6| 人人妻久久妻| 久久天天| 日本少妇AA一级特黄大片| 午夜婷婷| 99久久性爱| 伊人激情影院| 久久精彩视频| 噜噜狠狠色综合久| 日本特黄aaaaa| 欧洲色色| 99热网精品| 色婷婷综合综合网| 婷婷五月天成人影片| 色五月超碰| 国产AV一区二区三区最新精品 | 熟妇内谢69XXXXXA片| 色婷婷色综合激情91| 99色色网站| 99A片| 狠狠操天天干| 久久99精品久久久久子伦| 日本五月丁香| 激情另类综合| www91色网站| 丁香婷婷激情综合五月激情| 99热手机在线精品| 青草视频在线播放| 丝袜大香蕉| 99久久免费精品| 色五月婷婷综合| 中文字幕久久婷九女同| 亚洲五月六丁香激情| 91久久电影| 成人国产欧美大片一区| 无码人妻激情| 色婷婷亚洲精品天天综| 99精品偷自拍| 丁香五月天啪啪| 欧美丁香婷婷五月天| 五月丁香六月欧美综合网站| 欧美三级巜人妻互换| 97干婷婷| 99日韩网站| 成人av免费观看| 日韩免费99| 丁香五月综合福利视频导航| 久久综合性| 九九99偷拍视频| 激情影院内射| 超碰大香蕉网| 久久久人人操A V| 五月熟妇婷婷久久| 黄网在线播放| 影音先锋男人资源站一区二区| 色视五月天婷婷| 婷婷五月丁香综合| 亚洲狠狠婷婷| 色婷婷激情五月天| 免看黄大片AA | 婷婷五月天色色| 无码任你操| 最近中文字幕2019视频1| 国产精品色婷婷99久久精品| 五月婷在线视频免费看| 国产AV一区二区三区最新精品| 婷婷射丁香| 日日夜夜狠狠操| 伊人激情AV一区二区三区| 日本啪啪网| 五月色天情| 欧美人与性动交CCOO| 羞羞嫩草视频| 激情五月天之六月婷婷| 色色色色色色色色网站| 久婷婷婷| 99激情视频| yjzz亚洲国产| 久久av电影| 亚洲中文乱字字幕在线永久| 大香蕉网站,大香蕉综合| 五月天久久综合婷婷丁香| 欧美肉大捧一进一出免费视频| 中文字幕AV在线| 六月天婷婷| 69热91天堂| 婷婷色色综合激情| 综合网五月| 五月丁香综合激情网| 久机视频这只有精品| 婷婷丁香五月综合网| 99热精品在线播放观看| 99精品视频免费观看| 婷婷成人在线| 日韩五月丁香| 久久综合综合综合| 涩五月色婷婷| 超碰cap| 森林影视大全,最好看的2019年视频 | 丁香色播五月天| 久久激情网| 久久久久久久久久久久久久久久一道本| www.25五月婷婷| 五月天婷婷色色| 五月天天堂久久| 婷婷五月色天| 97成人超碰免| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 色黑鬼导航| 欧美天堂久久| 激情性爱网站| 亚洲va欧美va天堂v国产综合| 91在线视频观看午夜福利| 婷婷成人丁香色情基地30| 天天综合色| www.天天色综合| 亚洲成人免费电影| 色区久久| 亚洲激情综合网| 日本一级特黄大片AAAAA级| 四色五月婷婷| 亚洲av午夜精品一区二区| 人妻自慰高清合集| 婷婷色综合中心站| 99性视频| www.爱婷婷.com| 亚艹艹| 五月丁香婷婷欧美色图视频五月丁香777电影 | 影音先锋色婷婷| 色婷婷综合久久久久| 欧美久久网| 天天日 天天草| 人妻中文av| 思思热精品在线视频| AV网在线观看| 五日激情综合| 九九九九大香蕉| 另类激情首页| 成人综合视频在线| 超碰99热| 99re这里只有精品9| 中文av网站| 99热免费网站| 久草热8精品视频在线观看| 色综合久久88色综合天天人守婷| 丰满少妇乱A片无码| 五月丁香综合伦理片| 久久精品99国产精品日本| 婷婷九月激情网| 成人午夜天| www 五月天 com| 五月天福利影院导航| 天天天天做夜夜夜夜做| 婷婷五月综合中文字幕| 九九免费视频| 在线不卡中文字幕| 97久久久久| 亚洲区视频| 另类在线| 婷婷爱综合| 97很鲁在线视频| 五月婷婷视频ab| 97涩婷婷婷婷基地| 亚洲精品99| 婷婷射综合| 色色综合网站| 96人人操人人操人人| 午夜天堂一区人妻| 婷婷伊人久久综合| 综合爱久久| 日韩黄色电影| 亚洲欧美成人在线| www.狠狠| 米奇影视五月天| 97操在线资源| 91九色|疯狂|高潮|对白|| 久久停停超碰| 五月丁香综合| 天天色官网| 自拍视频99| 任你搞网站| 男女99免费视频| 天天日天天操心| 婷婷深爱五月亚洲综合| 婷综合六月| 精品爆操| 高潮毛片遮挡费高一百度| 国产亚洲精品AAAA片APP| 婷婷五月天激情视频| 婷婷五月天大香蕉在线视频观看| 中文在线成人| 中文网AV| 97搞在线| 天天干,天天日| 激情婷婷在线中文字幕| 大学生高潮无套内谢视频| 99久久精品视频女神1| 18久久| 日韩九区| 六月婷五月丁香| 婷婷五月精品| 五月婷婷六月天| 亚洲色爽| 伊人九九九久| 日本精品99网站| 日本丁香五月婷婷| 91九色成人原创视频| 五月婷婷久久大香蕉| 五月天天丁香婷婷在线中| 精品二区| 日韩精品一区二区亚洲AV观看 | 性天天中文网| 亚洲区视频| 欧美性猛交 XXXX 乱大交| 都市激情小说婷婷| 婷婷五月AV| 五月婷婷丁香六月| www.狠狠艹| 婷婷的久久网站| 亚洲V国产V欧美V久久久久久| 色深爱五月| 色婷婷a v| 狠狠干婷婷| 色婷婷裸体色性在线| 国产精品视频免费看| 五月婷婷六月激情| 婷婷播5月| 天天看A片| 欧美成人猛片AAAAAAA| 99热精品在这里| 国产成人网站在线观看| 久久婷婷五月丁香蜜桃网| EEUSS鲁片一区二区三区| 激情四射五月天偷偷看婷婷| 美女被肏网站在线看| 99ri精品视频在线观看| 色婷婷丁香中文在线播放| 久久五月婷婷丁香| A久久| 五月激情六月综合| 精品国产va久久久久| 五月 婷 久| 色欲婷婷五月天| 久久狠狠色| 五月天激情网址| 五月天色五月| 丁香激情五月天| 这里只有精品99视频| 婷婷色基地在线看 | 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 五月天激情图| 综合啪啪| 啪啪色激情五月天| 中文字幕在线免费观看视频| www.minyis.com【JT】实力收量可预付QQ2101460746 | 五月丁香综合网| 色A网| 狠狠九九婷婷韩| 天天色天天日| 五月丁香六月情| www.婷婷网| 色色影院黄大片| 色色国产| 丁香五月日韩| 婷婷精品性性性性性性性| 大香蕉九九| 婷婷五月精品| 五月天丁香| 五月天婷婷成人| 新久久五月天激情| 久久久久婷| 国产在线aaa片一区二区99| 91ncm视频| 六月天无码网址| 激情综合在线观看| 香蕉99网| WWW.桔色成人.COM| 九月激情网| 五月婷婷啪啪啪啪| 免費亭亭成人| 色六月婷婷| 久久丁香综合精品综合| 激情九月婷婷| www.日韩国产| 日日夜夜狠狠干| 丁香五月综合久久八| 視频福利乱色| 久久婷婷综合五月| 亚洲天堂色色| 大香蕉欧美在线| 这里只有免费的精品| 99无码视频| 久久嘟嘟丁香| 久久五月婷综合| 99热色精品| 人人草人人爱| 99色 色| 五月六月丁香激情视频| 五月婷婷|欧美| 久久五月婷天天干| 九九黄色网| 國語久久婷| 久热网在线视频| 天天做天天双| 91久久久久久久久18| 久久婷婷五月综合一| 国产AV一区二区三区最新精品| 久9热在线视频| 五月丁香六月婷婷综合网站| 婷婷中文字幕版| 色噜噜狠狠色综合AV兰草影视| 97在线/日本| 欧美亚洲色色色色| 九九久久精品| 九热视频| 久草狼人| 丁香五月激情啪啪| 久久深爱激情网| 99热这里只有精品国产免费| 伊人久久大香蕉网| 69精品人妻不卡视频| 综合久久激情久久| 丰满女老板BD高清A片| 九九色逼| 五月天伊人综合| 99这里只有精品|v| 开心五月丁香啪| Av性爱网| 日日骑夜夜撸| 91日本在线| 9热在线观看| cao视频,现在观看| 开心色色五月天综合| 久久女婷| 色色色色网站| 网色99| 日韩一级网站| 综合网五月| 婷婷五月天堂一本在线| 五月天欧美激情| 婷婷五月俺要去| 狠色综合网| 六月婷婷av| 五月天婷婷AV| 欧美久人人| www.韩日视频| 五月丁香婷婷欧美色图视频五月丁香777电影| www.夜夜操| 亚洲操操操| 激情综合婷婷| 97碰久久| 日本婷久久| 性爱久久| A久久| 五月亚洲| 色色色免费视频| 丁香久久久| 狠狠色综合网站| 狠狠色丁香婷婷基地| 狠狠狠狠免费| 丁香激情五月综合网| 日日噜人人人做人| 久久机热这里只有精品免费视频| 狠狠色婷婷7777久| 亚州精品色情无码A片| 久久草中文日韩欧美| 91丁香| 国产99久9在线| 婷婷丁香黄色| 国产亚洲色婷婷久久99精品9j| 黄色AAAAAAA| 丁香婷婷天堂| 色图亚洲91| 婷婷色色网站| 91九色PORNY肉丝在线| av高清无码| 六月成人网| 国产午夜精品一区二区三区嫩草| 中文字幕日产A片在线看| 国产99久久久国产精品免费看| 久久综合婷婷| 色五月激情五月| 国产成人精品一区二三区熟女在线 | 五月激情综合网| 中文字幕成人影视| 激情久久久久久久久久| 久久精品9| 热久久91| 99热超碰在线| 五月天激情综合| 婷婷在线激情| 五月丁香激情综合| 九九re精品视频在线观看| 99热国内精品| AV中文在线| 六月综合婷婷开心伊人| 九九99久久| 丰满老熟妇BBBBB搡BBB| 丁香性爱在线视频| 久久电影五月天丁香电影| 亚洲啪啪自拍| 欧美丁香五月| 人妻久久婷婷| 全亚洲最大的婷婷五月天网站COM| 午夜大香蕉| 国产色丁香| 99爱在线| 天天干天天日日| 高清无码中文字幕aVDV| 97丁香五月| 久热只有精品| 五月丁香啪啪啪啪| 99自拍视频在线观看| 国产激情久久| 91色呦哟| 91碰碰碰久久久久| 婷婷五月天AV在线| 色综合久| 五月激情丁香五月宗合| 婷婷五月天另类网站| 玖玖资源在线视频| 99日本在线| 欧美色婷婷| 国产99久久久国产精品免费看| 成人αV视频免费观看| 大香蕉 伊人夜| 91性高潮久久久久久久久| 91要啪| 色婷| 日本丁香五月| 亚洲无码色色| 欧美一级a| 成人中文网| 99ri网站在线观看| 婷婷四色五月| 五月婷婷激情综合在线| 久久久久久久久久8888| 五月丁香花视频| 青青草Avb在线| 成人无码髙潮喷水A片| 激情婷婷| 九九热视频99| 久热一本| 夜夜夜夜撸夜夜操| 六月综和久久| 99热福利| 五月天丁香婷婷视频网址 | 一操久久| www.玖玖九| 久久精品99国产精品日本| 精品9久| 激情九九六月激情免费视频| 成人五月天综合网| 狠狠干青青草| 色五月婷婷亚洲最大| 丁香六月色婷婷| 九九成人视频| 天天操天天干天天射| 婷婷五月丁香超碰| 国产 码在线成人网站| 亚洲五月婷天天操| 思思热精品在线| 丝袜大香蕉| 最近中文字幕2019视频1| 激情五月天情色| 激情六月婷婷| 亚洲瑟瑟精品在线| 丁香六月综合| 色综合久久888| 五月激情婷婷偷拍| 五月天综合久久| 九九在线免费观看| 婷婷五月激情小说| 天天日天天插| 久热爱大香蕉在线蜜臀悦色| 综合亚洲六月婷婷在线| 久久99久久99精品免观看软件| 激情五月综合亚洲另类| 五月丁香啪| 久9草在线观看视频| 成人在线不卡| 99热这里只有精品热| 亚洲无码yw| 精品一二三区久久AAA片| 91干在线视频| 丁香亭亭久久| 99热精品在线播放| 激情五月久久| 伊人九九九久| 五月婷婷啪啪| 成人超碰Av| www.色综合| 九九九九精品精| 99热销国产这里有精品| 激情婷婷综合| 日本久久精品18| 国产精品日本一区二区在线播放| 色色色五月婷| 五月婷婷m| 婷婷射丁香| 成人草榴视频| 日本91在线| 久久婷婷五月综合啪| 久久三级视频| 婷婷综合玖玖五月| 婷婷色婷婷| 狠狠色噜噜狠狠| 丁香成人五月天| 亚洲无码免费看| 欧美噜噜久久久XXX| 99热官网精品在线| 精品人妻伦九区久久AAA片| 天堂亚洲 在线| 丁香婷婷五月天色综合| 99无码精品| 久久精品99国产精品日本| 4399人妻无码久久久| 久久婷婷五月综合色播| 成人网站在线观看视频| 日韩久久日| 久久色在线视频| 日日噜噜夜夜狠狠久久丁香五月| 青草青草视频2免费观看| 九九狠狠干| 99热这里只有精品热| 91久久婷婷| 激情色情五月天| 99热这只有| 超碰三级片| 久热A片| 99热免费精品热久久66| 99亚洲精品| 丁香五月婷婷激情97| 色综合99| 色五月激情五月开心五月| 精品无码久久久久久久久| 天天综合网91| 五月婷婷天| 国产亚洲精品久久久久久郑州| 天天射天天干天插色综合| 激情性五月天免费小说视频| 能看的av| 丁香综合网| 思思热视频在线观看| 免费无码毛片一区二区A片| 色色爽爽天天| 丁香五月天AV| 色狠狠色噜噜AV天堂五区 | 青青草婷婷五月天| 蜜乳9188| 99热99极品观看| 综合网精品99| www.夜夜夜| 丁香婷婷久久 | 97碰久久| AV性爱网| 99天天操夜夜操| 色七色九九| www久| .comwww在线观看免费操| 中文人妻主播久久| 婷婷丁香五月亚洲| 五月天三级久久| 婷婷六月久久综合导航| 欧美性生交XXXXX无码小说| 激情综合五月| 99久精品视频| 亚洲欧美国产A片免费观看| 插插五月天| 99无码视频| 九九色婷婷| 香蕉人在线香蕉人在线 | 日本三级99人妇网站| 婷婷五月激情基地| 人人操AV| 久久久8| 五月天婷婷色色网| 97人妻碰碰碰碰碰久久久久久| 五月天停停基地| 性av| 激情精品久久| 五月婷激情| 射区导航| 婷婷网五月天| 香蕉色色网| 五月天夜夜爱夜夜操| 国产精品99久久久久久久女警| 99国产小视频2013| 超碰在线观看99| 色九九七七| 99精品小视频| 久久婷婷五月综合网| 天天综合永久| 欧美激情综合五月色丁香| 日韩人妻无码一区二区| 青青草激情网| 网色99| 99热在线精品观看| 精品网站:999WWW| 夜夜谢天天干| 夫妻超碰在线| 九九热视| 丁香五夜激情四射夜夜夜| 狠狠色丁香久久婷婷综合五月| 97丨九色丨国产丨PORNY| 色六月丁香婷婷狠狠干| 99视频内射三四| 综合五月天亚洲婷婷| 婷婷狠狠干| 午夜色婷婷| 欧美日朝成人| 在线观看的av| 97人人操人人爽| 久久久大香蕉| 日本啪啪天堂| 九色自拍| 久久9视频| 久草A片| 大香蕉精品视频| 97干网站| 色五月天堂| 色情久久久| 男女免费视频999| 综合99视频| 久久色9| 色色色五月婷| 99精品一二三四视频| 五月婷婷婷综合网| 日本婷婷在线| 久久99网址| 超碰免费大香蕉| 久久婷婷五月丁香网| 97碰| 亚洲精品视频在线播放| 狠狠色婷婷7777久| 国产日产成人亚洲欧美国产VA| 99亚洲精品视频| 婷香五月网在线| 婷婷五月丁香五月| 激情五月天啪啪| 激情五月婷婷| 亚洲婷婷五月天激情综合| 亚洲岛国电影| 99精色| 99热在线观看99| 色婷婷六月天| 五月丁香欧美综合| 色色吧综合| 色色精品色| 欧洲色| 99热久久这里只有精品| 亚洲精品字幕| 爱婷婷五月| 九九久久腿| 综合网天天| 天天插天天射天天干| 亚洲旡码| 激情综合久久| 99热精品在线| 婷婷激情蜜桃玖玖丁香| 丁香五月开心七月| 人人草人人视| 十区AV| 成人AV在线网站| sesesesezonghe| 大地9中文在线观看免费高清| 97婷婷丁香五月| 亚洲成人日韩无码精品| 99色精品| 日本色天堂| 婷婷伊人中文字幕| 97午夜一区二区| 九九热精品6| 最新日韩久热免费视频看看| 操碰99| 亚洲五月天第一综合干| 免看黄大片AA | 色五月成人在线| 日韩婷久| 人妻AV在线观看| 久久九九视频网站| 色爆五月| 情趣视频66| 亚洲网站999| 九九無妻| 6080av| 涩玖玖免费视频| www.91在线观看| 色视频2025| 狠狠爱深色婷婷综合| 综合网视频| 欧美色99| 五月天伊人| 天天做 天天爱| 97碰碰碰| 天天操天天曰| 激情综合网亚洲色图| 久久国产AV| 99ri在线视频| 丁香五月六月婷婷自拍| 色婷大香蕉| 色婷婷综合久久久久| 思思热99er在线视频| 影音先锋男人av资源站| 日本天堂免费99| 色婷婷电影| 欧美性生交XXXXX无码小说| 激情欧美五月丁香| 亚洲AV成人片无码网站| 色偷偷AV亚洲男人的天堂| 99无吗| 国产免费AV网站| 中文字幕无码人妻少妇免费视频| 五月播播| 色婷婷丁香| 噼里啪啦完整版中文在线观看| 天干夜夜操| 色婷婷香蕉| 国产伦亲子伦亲子视频观看| 伊人激情影院| 婷婷丁香69精华| 国产99久| 五月天色综合| 婷婷五月丁香激情色情| 综合亚洲AV| 激情五月综合| 青草激情在线| 久久久.COM| 人妻体体内射精一区二区| 久久久久人妻网址| 99er这里只有精品| 婷婷色网址| www.久久久.com| 五月综合777| 激情五月份婷婷| 少妇性按摩无码中文A片| 五月婷婷av| 九九热视频首页/这里只有精品| 色综合色色色色色色综合| 婷婷五月天亚洲| 丁香久久久| 色婷婷基地| 丁香8月手机综合| 超碰免费99| 能看的av片| 99久久久久久www| 专区无日本视频高清8| 五月婷婷在线视频| 久久这有这里精品| 久久人五月| AA丁香综合激情| 精品人妻久久久久| 99国产小视频2013| 色欲色香综合网站| 五月婷婷开心网| 色五月第四色| 亚洲小视频免费看| 婷婷五月天首页激情| 狠狠色综合网| 五月婷婷六月丁香激情| 中文字幕在线免费观看视频| 色色亚洲99com| 色一情一乱一乱一区91| 伦99热| 51XX午夜影福利| 超碰操日| 亚洲中文字幕网| 婷婷六月色播| 久久婷婷青草五月天| 影音先锋AV资源男人站| 任你艹| 五月丁六月香| 丁香香五月激情免费视频| 极品九九九九九九| 欧美搡BBBBB摔BBBBB| www.99精品在线| 五月天欧美激情| 婷婷综合激情| 久久青草国| 丁香五月天社区| 97碰人人操| 国产精品色一哟哟| 婷婷99| 无码九九九九| 午夜天堂一区人妻| 久久婷色| 国产婷婷五月天| 开心久久xxx色| 五月婷婷导航| 国产精品天天狠天天看| 五月丁香操婷逼| 激情小说 五月天| 五月婷婷综合网| 人妖色AV色综合| 99婷婷狠狠成为人免费视频| 伊人久久婷婷| 久久五月天综合| 天天综合天天玩夜夜玩天天玩夜夜玩 | 五月天大香蕉AV| 国产成人精品一区二区三区视频| 人人操插| 自拍盗摄 另类| 日日干综合| 成人短视频在线| 99久高清视频| 欧美日韩精品人妻狠狠躁免费视频| 婷婷久久亚洲| 激情五月天小说| 免费99情趣网视频| 色一情一乱一乱一区91| 人人超碰99| 国产一区二区av免费| 久久久网站| 日本色爽| 狠狠干 狠狠操| 欧美槡BBBB槡BBB少妇| 另类婷婷五月天啪帕帕| 色色国产| 日本九九视频| 五月天婷婷无码视频| 欧美va视频不用播放器的va视频网| 91丨九色丨熟女| 九九久99免费视频| 香蕉久久国产AV一区二区 | 91精品久久久久久综合五月天| 色综合久久综合| 欧美日韩成人h| 免费看欧美成人A片无码| www.婷婷五月天.com| 五月丁香六月激情综合| 爱草人视频| 国产精品视频久久99| 丁香六月婷婷综合麻豆| 色婷婷婷av| 久9无码视频| 欧美经典片免费观看大全| 99热国产国产| 午夜天堂啪啪| 97五月久久丁香婷婷| 激情骚五月| 婷婷五月成人社区| www,婷婷,com| 欧美性猛交99久久久久99按摩| 婷婷五月天精品| 原琪琪色影院| 婷婷激情六月| 激情五月天小说| 丁香九月婷婷色| 久久这里只有精品视频26| 久1色色| 青草网在线观看| 三级三久久线久久99久目本WW| 毛片新网地| 久婷婷五月综合欧美| 97香蕉人人在线观看| 成人 AV播放| 操精品9| 亚洲色图欧美色图日本视频| 天天操天天插| 九九色热| AVDV久久| 五月天桃色深爱网| 热九九精品| 久久女人天堂| 99九九99九九九视频精彩| 婷婷激情人妻| 五月天婷婷AV| 久久九九国产精品怡红院| 欧美Va日本Va| 婷婷久久丁香| 五月综合激情视频在线| 久久精品视频在这里有| www夜夜操com| 五月婷婷影| 噜噜色com| 婷婷六月情| 热热久久99| 久久综合图片| 日本久久天堂| 日韩AV中文字幕在线| 亚洲色区17| 激情婷婷五月综合| 婷婷丁香综合在线| 激情国产五月| 香蕉曰比| 色综合中文综合网| 超级碰 久久9| 亚洲视频在线网| 亚洲不卡123| 丁香五月很很肏| 日本理论久久| aaa9区免费在线观看| 五月天伊人久久久久| 久色激情| 久久五月天视频| 大香蕉网站,大香蕉综合| 国产成人AV在线| 色九月婷婷| 99 热| 五月天天丁香婷婷在线中| aaaaaa片| 天天成人综合| 99热这里精| 亚洲99在线| 婷婷91| 久久免费精品小视频| 金桔一区二区ab地址| 精品色情一区二区三区四区| sisi热国产| 婷婷玉月丁香五月在线视频| 热的无码综合视频| 五月深爱激情网| 青草少妇激情| 五月天开心网| 五月婷婷色影院| 五月天另类小说| 亚洲综合另类| 久久99国产综合精品免费| 玖玖爱伊人网| 变态另类色图| 玖玖婷婷婷丁香五月| 日本久久婷婷| 色五月网址| 五月丁香日本在线视频观看| 99免费热视频在线| 色蜜婷婷| 26uuu精品国产| 日日综合网| 五月综合视频| 2025超碰| 色久一| 小色小蛇伊人婷婷色香五月| 日韩人妻在线观看| 成人色五月天婷婷| 亚洲色婷婷网站| 99精品在线下载| 黄色激情五月天| 91婷婷色 | 巴基斯坦粉嫩无码视频| 五月婷激情| 亚洲无码成人| 五月激情小说| 国产肥白大熟妇BBBB视频| 任你干aa| 2022人人操人人看| 狠狠香蕉| 99爱免费在线观看| 亚洲国产精品综合色区| 婷婷五月草| 丝袜人妻| 九九亚洲| 色五月婷婷丁香凹凸| 9 99免费视频| 综合狠狠伊人| 天天干-天天日| 丁香婷婷噜噜| 久99视频在线观看| 91日韩在线| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | www色五月| 亚洲五月丁| 人人爽亚洲| 婷婷色五月开心五月| 五月婷婷激情久久| 久久久99精品免费观看| Av免费网站在线| 色99在线观看| 99er6| 亚洲成人在线五月天| 97人人操人人| 免费看欧美成人A片无码| 国产精品24r| 99干日本| 丁香狠狠| 久草热视频在线观看| 久婷婷| 野战J办公桌椅H| 久久网婷婷| 婷婷激情四射| 色五月婷婷丁香婷婷| 色综合色色色| 婷婷五月六月| 色婷婷综合久久| 98永久精品| 97五月天婷婷午夜| 成 人 色 色| 丁香婷婷六月天| 思思热精品在线观看| 人人爽欧美婷婷久久久五月丁香| 丁香婷婷色| 风流少妇A片一区二区蜜桃 | 色五月av| 91热久88| 91爱操| 九九热在线视频,| 日本色爽| 国产日韩欧美性爱| 大香蕉丁香五月| 亚洲综合色色| 日日操日日射| 色女人久久| 色婷婷基地 | 五月丁香成年黄色| 亚洲综合色网站| 午夜五月天| 色五月丁香婷婷| 国产九月婷婷| 久久久www| 丁香欧美| 99ri在线观看视频| 97干干干丁香| 婷婷大乡焦噜噜| 五月丁香综合久久夜夜| 丁香五月天激情综合| 欧美色片中文字幕久久久久| 97亚洲婷婷| 五月色 亚洲| 成人va视频| 99免费视频| 免费成人网在线观看| 99re这里只有精品国产99| 婷婷五月综合激情免费| 天天拍天天操| AV大片在线观看| 99色这里| 婷婷五月天开心激情网| 色播五月| 97干资源在线观看| 99热乎| 激情亚洲网| 九九热在线视频| 国产亚洲色婷婷久久99精品9j| 激情五月第四色| 婷婷五月综合视频免费播放| 99热只有| 九草性爱| 亚洲综合网激情小说| 另类图片五月天| 性按摩玩人妻HD中文字幕| 精品网站:999WWW| 天天日天天操天天干| 久操97| 成人做爰A片免费看网站找不到了| 日本一毛片| 日本在线噜噜| 亚洲色在线观看| 91国产精品视频播放| 久久中文人妻系列| 精品久久99码| 青青草免费公开视频| 久婷久婷| 伊人狠狠干| 六月婷婷中文字幕| 激情熟女网| 日在线V视频在线播放| 强伦轩人妻一区二区电影| 日木WWW视频| 色播五月丁香| 婷婷九月丁香| 疯狂做受XXXX高潮A片动画| 久久总和99| 狠色色狠网| 天天色播| 大香蕉中文| www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | 久久九九re热| 五月天色婷婷视频| 97人人看| 97色碰碰公开视频| 五月婷婷中字在线| 六月丁香色色| 色情激情五月婷婷| 五月激情丁香久久综合网| 99ri视频在线播放| 热久综合| 五月丁香激情五月天| 一本色道久久综合狠狠躁小说| 99年操人人爽| AV色五月婷婷| 日本女人久久| 精品婷婷丁香五| 99这里的视频都是精品| 综合另类视频| av五月丁香| 婷婷五月天深爱| 亚洲色99| 99热性色| www,av好吊操| 在线看的免费网站| 精品九九在线观看视频|