欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Redis大key判定標準與多key拆分方案

Redis大key判定標準與多key拆分方案 凌晨兩點被電話叫起來原因是一條 Redis 慢查詢告警某條 HGETALL 命令耗時 800ms把接口 P99 從 120ms 頂?shù)搅?900ms。登上機器一看那個 Hash 里塞了 260 萬個 field整個 value 接近 300MB。這類事故在有一定體量的業(yè)務里幾乎避不開所以我常拿“Redis 大key的判定標準與多key拆分方案”這個話題去面候選人——不是考背誦而是看這個人有沒有真的在生產(chǎn)上救過火。這篇文章就把我在實際項目里踩過的、驗證過的、以及面試時聽到的好答案爛答案一次性攤開講清楚。大key這件事說穿了不復雜單個 key 承載的數(shù)據(jù)量或訪問量超出了 Redis 單線程模型能從容處理的范圍。但它牽扯出的東西很多——內(nèi)存分布、網(wǎng)絡帶寬、持久化、主從復制、集群槽位傾斜每一個都能獨立把服務打掛。多key拆分是治理手段里最主流的一種但它不是萬能藥拆錯了反而把簡單問題搞復雜。下面這些內(nèi)容適合三類人寫業(yè)務代碼時習慣hset一把梭的初中級開發(fā)、正在準備面試想搞明白原理的求職者以及線上已經(jīng)出現(xiàn)慢查詢需要緊急止血的運維同學。我會從判定標準講到拆分設計再落到四類數(shù)據(jù)結構的可直接抄的代碼最后把遷移和踩坑都過一遍。1. 大key的判定標準與被放大的三重危害1.1 多大算大三條不同口徑的判定線很多人面試時被問“多大算大key”條件反射答“超過 10KB”。這個答案太單薄因為 String 和 Hash 的“大”根本不是一回事。我一般按三個口徑分口徑類型經(jīng)驗閾值典型觸發(fā)的問題字節(jié)體積Stringvalue 10KB高頻訪問場景收緊到 1KB網(wǎng)絡往返耗時、帶寬占用元素數(shù)量Hash / List / Set / ZSet元素數(shù) 5000或總體積 1MBHGETALL、SMEMBERS、LRANGE 全量讀阻塞訪問熱度任意類型單 key QPS 5000單節(jié)點集群槽位熱點、單核 CPU 打滿這三條線要分開看。一條 100KB 的 String 如果每秒讀十萬次它比一個 5MB 但一天只讀一次的 Hash 危險得多反過來一個 200 萬元素的 Set 哪怕 QPS 只有 10一次SMEMBERS也能讓整個實例卡住半秒以上因為那 200 萬個元素的序列化和網(wǎng)絡發(fā)送全在 Redis 的單線程里做。字節(jié)線也不是拍腦袋定的。Redis 處理命令時value 需要走“讀取-序列化-寫入 socket 緩沖區(qū)”這條鏈10KB 大概對應一次 0.1ms 量級的處理而 1MB 就是 10ms 量級。業(yè)務側通常要求 Redis 單次操作控制在 1ms 以內(nèi)所以 10KB 是個比較務實的界。元素數(shù)量線的 5000 也是類似邏輯——5000 個短 field 拼起來差不多 100KB 到 300KB再大就該警惕。需要強調(diào)一點判定閾值必須跟業(yè)務場景綁定不能跨團隊照抄。緩存型業(yè)務比如商品詳情容忍度可以高一些因為讀放大有 CDN 和本地緩存頂著而計數(shù)型、會話型的場景1KB 都算大。我在某個內(nèi)容平臺項目里定的規(guī)則就是“String 8KB 或集合類 2000 元素一律進周巡檢名單”跑了一年多誤報率很低。1.2 危害拆解一次大key阻塞的完整鏈路光說“會阻塞”太籠統(tǒng)我把它拆成五條鏈路每一條都能對上真實現(xiàn)象。第一條是命令執(zhí)行阻塞。Redis 6.0 之后雖然引入了 IO 多線程處理網(wǎng)絡讀寫但命令執(zhí)行始終是單線程的。一個HGETALL返回 2MB 數(shù)據(jù)這 2MB 的遍歷、內(nèi)存拷貝、resp 協(xié)議編碼全在那一個線程里完成期間所有其他客戶端的命令都在排隊。2MB 大概 10~20ms如果這個 key 被高頻調(diào)用就變成持續(xù)性的排隊雪崩。第二條是網(wǎng)絡帶寬擠占。假設一個 200 萬元素的 Hash 被HGETALL每秒調(diào)用 50 次那就是 300MB × 50 15GB/s 的出流量。這個數(shù)字已經(jīng)超出絕大多數(shù)實例的網(wǎng)卡上限結果是所有正常的請求都跟著超時。帶寬打滿的表面現(xiàn)象往往是“偶發(fā)超時”“連接池被打穿”跟大key好像沒關系排查時特別容易走偏。第三條是刪除阻塞這條最容易被忽略。你用DEL刪一個 200 萬元素的 HashRedis 需要先釋放這 200 萬個對象的引用、回收內(nèi)存整個過程同步執(zhí)行實測能卡住兩三秒。正確做法是UNLINK它把內(nèi)存回收丟到后臺線程異步做主線程只做一次 key 摘除。Redis 4.0 才有 UNLINK老版本只能用SCAN 分批HDEL慢慢刪。第四條是持久化放大。RDB 落盤時大key會導致fork之后的寫時復制COW內(nèi)存膨脹因為父進程在 fork 期間只要有寫入被改動的內(nèi)存頁就要復制一份。一個 300MB 的 Hash 如果整體被改寫可能直接多出幾百 MB 的額外內(nèi)存極端情況下觸發(fā) OOM。AOF 也是同理大key的一次寫入會產(chǎn)生一條巨大的 AOF 記錄重寫和回放都會被拖慢。第五條是集群槽位傾斜。在集群模式下一個大key整體落在某一個槽上而槽又落到某一個節(jié)點上。結果是那個節(jié)點的內(nèi)存和 CPU 使用率遠高于其他節(jié)點擴容也沒用——因為熱點還是那一個槽。這種現(xiàn)象在監(jiān)控圖上非常典型所有節(jié)點的內(nèi)存都在 40%就一個節(jié)點 85%。1.3 面試時真正被考察的思維鏈我面人的時候問“你怎么處理大key”最想聽到的是一條完整的鏈怎么發(fā)現(xiàn)、怎么判定、怎么止血、怎么根治、怎么做長期防護。只答“拆成多個小key”的候選人我會追問“拆多少片、怎么算的、拆完原子性怎么辦”多半就答不上來了。比較理想的回答層次是這樣的先說發(fā)現(xiàn)手段--bigkeys掃描、MEMORY USAGE、慢日志、RDB 離線分析再說危害阻塞、帶寬、持久化、傾斜然后給治理方案拆分、壓縮、換存儲最后補一句預防寫入攔截、閾值告警、編碼規(guī)范。這條鏈能完整走下來的人基本上手上是真管過 Redis 的。2. 拆分方案的整體設計先定維度再定粒度2.1 三條拆分主線及其適用邊界拆分不是只有“按哈希取?!币粭l路。我把它歸成三條主線選哪條取決于數(shù)據(jù)結構和讀寫模式。第一條是業(yè)務維度拆分。這是最自然的方式比如按用戶 ID 拆、按租戶拆、按業(yè)務線拆。典型例子是用戶會話session:{uid}本身就是按用戶分開的天然不構成大key。真正需要業(yè)務拆分的場景是“一個大對象里塞了多個業(yè)務域的數(shù)據(jù)”比如商品詳情里既有基礎屬性又有營銷信息又有庫存快照正確做法是把它們拆成獨立 key各自設不同的過期時間。第二條是哈希分桶拆分。適合單個業(yè)務對象的內(nèi)部結構無法再細分的情況比如一個用戶的畫像標簽有 5000 個字段。做法是對 field 名或元素本身做哈希取模落到 N 個桶里每個桶是一個獨立的 key。這種方式拆分均勻度高代價是失去整體的原子性和一次性讀取能力。第三條是 value 內(nèi)部切片。主要針對超大 String比如一個 8MB 的 JSON 文檔或一張 Base64 編碼的圖片。做法是按固定字節(jié)數(shù)切成若干片每片一個 key讀取時重新拼裝。還有一條補充思路值得單獨提冷熱分離。一個 5000 字段的對象實際高頻訪問的可能只有 20 個字段剩下的都是長尾。那就把熱字段拎出來單獨存一個小 Hash冷字段留在原地或者挪到冷存儲。這個方案對讀性能提升最明顯改造量也最小但前提是你得先摸清楚訪問分布——MONITOR采樣或者客戶端埋點都能拿到。2.2 桶數(shù)量的計算兩個約束取最大值“拆幾個桶”是最容易被敷衍過去的環(huán)節(jié)。我見過有人隨手拆 10 個結果單桶還是 20 萬 field等于沒拆。正確的算法是同時滿足兩個約束約束一單桶元素數(shù) ≤ 上限比如 1000約束二單桶字節(jié)數(shù) ≤ 上限比如 1MB桶數(shù) N max(ceil(總元素數(shù) / 元素上限), ceil(總體積 / 字節(jié)上限))然后向上取到 2 的冪舉個具體例子。某項目有個用戶標簽 Hash200 萬個 field平均每個 field 加 value 約 100 字節(jié)總體積約 200MB。代入公式按元素數(shù)2,000,000 / 1000 2000 個桶按字節(jié)數(shù)200MB / 1MB 200 個桶取最大值 2000向上取 2 的冪得到 2048拆完平均每桶約 977 個 field、97KB 左右完全在安全范圍內(nèi)。選 2 的冪是為了把取模換成位與運算hash 2047比hash % 2048快一截雖然 Redis 側其實不差這點但客戶端側調(diào)用量大的時候還是有點意義。注意桶數(shù)量一旦上線就盡量別再改。因為桶號是靠取模算出來的桶數(shù)從 2048 改成 1024所有歷史數(shù)據(jù)的桶號全變等于要做一次全量遷移。所以初期寧可多拆一點留出增長空間。2.3 拆分前必須先回答的四個問題我每次做拆分方案評審都會強制要求把這四個問題寫進文檔里答不上來就不許動手。問題一讀模式是單字段讀還是整體讀如果業(yè)務 90% 是整體讀比如渲染整個詳情頁那拆成多個 key 之后需要 N 次往返或者一次 pipeline端到端延遲不一定下降這時候冷熱分離比硬拆更合適。如果主要是單字段讀拆分收益極大因為讀一個字段只需要訪問一個桶。問題二需不需要跨桶原子性如果需要就必須在 key 里加 hash tag比如profile:{12345}:0保證同一個對象的多個桶落在同一個槽上這樣才能用 Lua 或者 MULTI 包起來。但加了 hash tag 就意味著所有桶壓在同一個節(jié)點上失去了分散壓力的意義。這是個明確的權衡點必須顯式?jīng)Q策。問題三有沒有順序性要求List 拆片時尤其要注意。如果按時間窗口切片feed:{uid}:202506這種LPUSH的順序天然保持新數(shù)據(jù)進新片沒問題。但如果按成員哈希切片LRANGE出來的順序就完全亂了。所以 List 一般不按哈希拆只按時間或按序號區(qū)間拆。問題四有沒有全量遍歷需求如果業(yè)務存在“遍歷所有元素”的操作比如統(tǒng)計、導出、對賬拆分之后就要遍歷 N 個桶SCAN的復雜度上升。這時候要么維護一個索引 key 記錄所有桶號要么接受遍歷成本上升。3. 四類數(shù)據(jù)結構的可直接落地的拆分實踐3.1 String 超大 value切片存儲與拼裝讀取某項目的商品詳情緩存是一個 8MB 的 JSON。直接GET的耗時接近 100ms而且每次大促前預熱時會持續(xù)壓滿帶寬。改造方案是按 64KB 切片。切片大小的選擇有講究。太小會導致 key 數(shù)量爆炸、pipeline 命令數(shù)過多太大則單片仍然偏重。64KB 到 256KB 是比較舒服的區(qū)間8MB 切成 64KB 是 128 片。public class ChunkedStringStore { private static final int CHUNK_SIZE 64 * 1024; private static final String PREFIX prod:detail:; private final StringRedisTemplate redis; public ChunkedStringStore(StringRedisTemplate redis) { this.redis redis; } public void put(String id, byte[] payload, Duration ttl) { int total (payload.length CHUNK_SIZE - 1) / CHUNK_SIZE; MapString, String batch new HashMap(total 1); for (int i 0; i total; i) { int from i * CHUNK_SIZE; int to Math.min(from CHUNK_SIZE, payload.length); byte[] slice Arrays.copyOfRange(payload, from, to); batch.put(chunkKey(id, i), Base64.getEncoder().encodeToString(slice)); } batch.put(metaKey(id), String.valueOf(total)); redis.executePipelined((RedisCallbackObject) conn - { batch.forEach((k, v) - { byte[] kb k.getBytes(StandardCharsets.UTF_8); byte[] vb v.getBytes(StandardCharsets.UTF_8); conn.stringCommands().setEx(kb, ttl.getSeconds(), vb); }); return null; }); } public byte[] get(String id) { String totalStr redis.opsForValue().get(metaKey(id)); if (totalStr null) { return null; } int total Integer.parseInt(totalStr); ListString keys new ArrayList(total); for (int i 0; i total; i) { keys.add(chunkKey(id, i)); } ListString slices redis.opsForValue().multiGet(keys); ByteArrayOutputStream out new ByteArrayOutputStream(total * CHUNK_SIZE); for (String s : slices) { if (s null) { return null; } out.writeBytes(Base64.getDecoder().decode(s)); } return out.toByteArray(); } private String chunkKey(String id, int idx) { return PREFIX id :seg: idx; } private String metaKey(String id) { return PREFIX id :meta; } }幾個實操細節(jié)必須說明。第一切片是按字節(jié)切的絕對不能在中途把每一片單獨按 UTF-8 解碼——一個中文字符占 3 個字節(jié)很可能被切成兩半解碼就出亂碼。正確的做法是全程保持byte[]全部拼完再統(tǒng)一 decode。上面這段代碼用 Base64 編碼后存 String是為了兼容StringRedisTemplate如果直接用RedisTemplateString, byte[]可以省掉編解碼開銷。第二片數(shù)要單獨存一個 meta key否則讀的時候根本不知道有多少片。meta key 的 TTL 要跟數(shù)據(jù)片一致但不能反過來——如果 meta 先過期了殘留的數(shù)據(jù)片就變成孤兒 key只能靠定期掃描清理。第三讀的時候用multiGet一次發(fā)出所有片請求StringRedisTemplate底層會走 pipeline128 次往返壓縮成 1 次。如果不走集群模式這是最省事的方案。3.2 Hash 巨型對象二次哈希分桶用戶畫像、購物車、配置表這類數(shù)據(jù)基本都用 Hash 存。當 field 數(shù)量漲到幾十萬HGETALL就成了定時炸彈。分桶方案如下public class ShardedHash { private static final int BUCKETS 2048; private static final int MASK BUCKETS - 1; private static final String PREFIX profile:; private final StringRedisTemplate redis; public ShardedHash(StringRedisTemplate redis) { this.redis redis; } private int bucketOf(String field) { int h field.hashCode(); h ^ (h 16); return h MASK; } private String bucketKey(String uid, int bucket) { return PREFIX uid : bucket; } public void put(String uid, String field, String value) { redis.opsForHash().put(bucketKey(uid, bucketOf(field)), field, value); } public String get(String uid, String field) { Object v redis.opsForHash().get(bucketKey(uid, bucketOf(field)), field); return v null ? null : v.toString(); } public MapString, String getAll(String uid) { ListString keys new ArrayList(BUCKETS); for (int i 0; i BUCKETS; i) { keys.add(bucketKey(uid, i)); } ListObject results redis.executePipelined((RedisCallbackObject) conn - { for (String k : keys) { conn.hashCommands().hGetAll(k.getBytes(StandardCharsets.UTF_8)); } return null; }); MapString, String merged new HashMap(); for (Object r : results) { if (r instanceof Map) { ((Map?, ?) r).forEach((k, v) - merged.put(String.valueOf(k), String.valueOf(v))); } } return merged; } }這里最關鍵的實現(xiàn)點是哈希函數(shù)的選擇。String.hashCode()對短字符串分布還行但對形如tag_0001、tag_0002這種有規(guī)律的 field 名低位容易聚集。所以我在上面做了h ^ (h 16)的高低位混淆跟 HashMap 里那套擾動函數(shù)是一個思路。如果 field 名規(guī)律性特別強建議直接上 CRC32 或者 MurmurHash分布更均勻。第二個點是空桶的處理。2048 個桶里如果這個用戶只有 30 個字段那 2018 個桶都是不存在的空 key。HGETALL一個不存在的 key 返回空 Map代價很小但 2048 次 pipeline 調(diào)用仍然是實打?qū)嵉拈_銷。所以實際項目里我一般會做一個自適應桶數(shù)不是固定的 2048而是根據(jù)對象的實際字段數(shù)量動態(tài)算。字段少于 1000 的直接單 key 存超過才分桶桶數(shù)按 2.2 節(jié)的公式算出來存到 meta 里。第三個點是HGETALL的替代。很多業(yè)務其實只需要讀部分字段那就用HMGET但HMGET要求所有 field 在同一個 key 里。分桶之后只能按桶分組每個桶發(fā)一次HMGET然后 pipeline 打包。寫起來啰嗦但比全量讀便宜得多。3.3 List / ZSet / Set按時間片和成員哈希切片這三類結構各有各的拆法不能混用一套模板。List 最合適按時間切片。消息流、操作日志、評論列表這類數(shù)據(jù)天然有時間維度key 設計成feed:{uid}:{yyyyMM}每個月一個 ListLPUSH新數(shù)據(jù)進當前月讀的時候按需拼最近幾個月。這樣單 key 的元素數(shù)天然被時間窗口限制住了而且歷史數(shù)據(jù)可以按需設置更長的 TTL 甚至歸檔。要注意的是跨片的范圍查詢想讀最近 100 條可能需要讀 2 到 3 個片然后合并好在LRANGE支持負數(shù)索引實現(xiàn)起來不復雜。ZSet 按周期切分最自然。排行榜類需求日榜rank:{yyyyMMdd}、周榜rank:{yyyyWW}、月榜rank:{yyyyMM}各存各的互不干擾。缺點是跨周期的聚合排序需要應用層歸并。如果業(yè)務確實需要“全站總榜”那就得用定時任務把周期榜的結果匯總到一個總榜里而不是讓客戶端去實時歸并。Set 只能按成員哈希拆。標簽集合、好友關系這類數(shù)據(jù)沒有天然的時間序只能對成員本身做哈希。tags:{id}:{bucket}判斷是否包含某成員時先算出桶號再SISMEMBER。這里有個必須接受的代價SINTER、SUNION、SDIFF這些集合運算徹底沒法用了因為參與運算的兩個集合分片規(guī)則不同。如果業(yè)務強依賴集合運算那就老老實實別拆改用別的方案比如用 BitMap 或者換到支持集合運算的存儲。3.4 實在拆不動的場景壓縮、換存儲與協(xié)議優(yōu)化不是所有大key都能拆。有三種情況我建議放棄拆分換思路。第一種是強事務場景。比如庫存扣減、賬戶余額它們的正確性依賴單 key 的原子操作。拆了之后跨 key 的原子性只能靠 Lua 或者分布式鎖復雜度暴漲出問題的概率遠高于收益。這類 key 本來就該小——余額只有一個數(shù)字怎么會大如果大了說明設計有問題該拆的是業(yè)務模型不是存儲結構。第二種是超大二進制對象。視頻、圖片、安裝包這類東西根本不該進 Redis。正確的做法是存到對象存儲Redis 里只放一個指針URL 或 ID。我見過有人把 PDF 文件 Base64 之后塞進 Redis一個 key 十幾 MB這種屬于用錯了工具。第三種是必須整體讀的復雜聚合。如果一個 5MB 的 JSON 每次都要整體反序列化成對象那切片和拼裝只是把一次大傳輸變成多次小傳輸總字節(jié)數(shù)沒變CPU 側的序列化開銷反而更高。這時候更該做的是壓縮——開啟 value 壓縮比如用 Snappy、LZ4 在應用層壓一遍再存通常能壓到原來的 20% 到 30%比拆分省事得多?;蛘呖紤]把這份數(shù)據(jù)從緩存層挪到搜索層、文檔層。4. 遷移落地雙寫、灰度與一致性校驗三板斧4.1 雙寫期的讀寫路由設計拆分方案想得再漂亮上線才是真正的考驗。歷史數(shù)據(jù)不能停機遷移所以必須要有一段雙寫期。路由邏輯我用一個統(tǒng)一的組件收口public class SplitRouter { private final StringRedisTemplate redis; private final SplitSwitch splitSwitch; public void write(String uid, String field, String value) { if (splitSwitch.isDualWrite(uid)) { redis.opsForHash().put(legacyKey(uid), field, value); } if (splitSwitch.isSplitRead(uid)) { shardedHash.put(uid, field, value); } } public String read(String uid, String field) { if (splitSwitch.isSplitRead(uid)) { String v shardedHash.get(uid, field); if (v ! null) { return v; } return legacyRead(uid, field); } return legacyRead(uid, field); } }設計要點有三個。第一寫路徑以新結構為準舊結構只做兼容即新結構寫成功、舊結構寫失敗可以容忍反過來不行。第二讀路徑先讀新結構miss 才回源舊結構這樣遷移過程中不會出現(xiàn)讀到空數(shù)據(jù)的情況。第三舊 key 的 TTL 不能直接刪掉要持續(xù)續(xù)期否則雙寫期間一部分用戶的數(shù)據(jù)會因為舊 key 過期而重新走回源邏輯讀放大嚴重。雙寫期的長度取決于數(shù)據(jù)規(guī)模和訪問頻率。一般我建議至少覆蓋一個完整的訪問周期比如一周確保所有活躍用戶的數(shù)據(jù)都被自然遷移過一遍。對于長期不活躍的用戶可以在雙寫結束時跑一次全量遷移腳本兜底。4.2 灰度切流與回滾預案灰度必須按用戶 ID 取模來切不能按流量隨機切。原因是同一個用戶的數(shù)據(jù)必須始終走同一套邏輯否則會出現(xiàn)“這次讀新結構、下次讀舊結構”的抖動數(shù)據(jù)對不上?;叶裙?jié)奏我一般這么排5% 跑一天觀察錯誤率和延遲沒問題放到 20% 跑一天然后 50%、100%。每一檔都要盯三個指標新結構的HGET延遲分布、舊結構的讀命中率應該逐步下降、以及雙寫的失敗計數(shù)?;貪L預案必須在上線前就準備好而不是出事再想。具體就是配置中心里放一個開關把isSplitRead全部置為 false讀流量瞬間全部回落到舊結構。這時候新結構還留著不影響數(shù)據(jù)等排查清楚再重新灰度。這個開關必須做到秒級生效不能依賴重啟。注意回滾開關只管讀不管寫。雙寫邏輯一旦開啟就不建議關掉因為關掉之后新結構就停止更新再想恢復又得重新補數(shù)據(jù)。所以開關要設計成“讀寫分離的兩個開關”而不是一個總開關。4.3 一致性校驗的腳本實現(xiàn)思路雙寫期間最怕的是“以為寫進去了其實沒有”。所以要跑對賬。校驗的核心思路是遍歷舊結構的所有用戶把新結構的多個桶拼起來跟舊結構做摘要比對。public class ConsistencyChecker { public void check(String uid) { MapString, String legacy redis.opsForHash().entries(profile: uid); MapString, String split shardedHash.getAll(uid); if (!legacy.keySet().equals(split.keySet())) { log.warn(field set mismatch, uid{}, legacy{}, split{}, uid, legacy.size(), split.size()); return; } for (Map.EntryString, String e : legacy.entrySet()) { String other split.get(e.getKey()); if (!Objects.equals(e.getValue(), other)) { log.warn(value mismatch, uid{}, field{}, uid, e.getKey()); } } } }對賬腳本要注意兩點。第一不能一次跑全量要用SCAN分批每批 500 個 key跑完 sleep 一下避免把實例壓垮。第二比對結果的輸出要做聚合不能每條差異都打一行日志——線上跑的時候差異可能是幾十萬條日志直接把磁盤寫滿。做法是每個 uid 只記錄差異數(shù)量和前三條樣例。發(fā)現(xiàn)差異之后的修復策略我傾向于“以新結構為準重寫舊結構”——因為新結構是未來的權威數(shù)據(jù)源。但如果差異集中在某個時間段那說明雙寫邏輯有 bug這時候應該先修代碼再修復數(shù)據(jù)。5. 大key的發(fā)現(xiàn)手段與長期防護體系5.1 五種發(fā)現(xiàn)手段的適用場景對比治理的前提是能發(fā)現(xiàn)。我把常用的發(fā)現(xiàn)手段列一下各有各的適用范圍。手段命令/方式優(yōu)點局限內(nèi)置掃描redis-cli --bigkeys開箱即用按類型給出最大 key基于 SCAN 采樣可能漏掉只報最大不報全部內(nèi)存查詢MEMORY USAGE key SAMPLES 0精確到單 key 字節(jié)數(shù)需要先知道 key 名全量掃代價高慢日志SLOWLOG GET直接反映線上真實耗時只能抓到慢的命令抓不到“快但頻繁”的大key離線分析解析 RDB 文件全量精確不影響線上需要額外機器有延遲客戶端埋點統(tǒng)計命令參數(shù)長度能抓寫入側提前攔截需要改代碼接入實際生產(chǎn)里我是組合用的。日常巡檢跑--bigkeys一周一次出個 Top 50 名單慢日志實時采集超過 50ms 的命令全部上報RDB 離線分析每月一次做精確摸底。三者交叉驗證基本不會漏。MEMORY USAGE那個命令要多說一句它默認會采樣估算加SAMPLES 0才是全量精確計算但代價是可能阻塞。所以線上千萬別對著幾百萬元素的 key 執(zhí)行我吃過這個虧——一次MEMORY USAGE卡了 1.2 秒直接觸發(fā)了主從切換。5.2 寫入側的硬攔截與閾值告警發(fā)現(xiàn)是被動的防護要主動。我在編碼層加了兩道閘。第一道是序列化層的體積檢查。所有寫 Redis 的操作都走一個統(tǒng)一的RedisWriter組件寫入前檢查 value 的字節(jié)數(shù)超過配置的閾值就直接拋異常并打點讓問題在測試環(huán)境就暴露而不是等到線上。閾值按業(yè)務配置緩存類給 16KB會話類給 4KB。public void setEx(String key, String value, long seconds) { int bytes value.getBytes(StandardCharsets.UTF_8).length; if (bytes maxValueBytes) { metrics.counter(redis.write.reject).increment(); throw new IllegalStateException( value too large: bytes bytes, key key); } redis.opsForValue().set(key, value, seconds, TimeUnit.SECONDS); }第二道是元素數(shù)量的軟告警。集合類寫入時無法預知最終大小所以改成寫后檢查每寫入 1000 次采樣一次HLEN超過 5000 就發(fā)告警超過 50000 就自動觸發(fā)遷移任務。這個邏輯聽起來粗糙但實測非常有效——大部分大key都是慢慢長起來的早期發(fā)現(xiàn)處理成本極低。還有一條容易被忽略的給所有集合類 key 強制設置 TTL。我見過太多“臨時數(shù)據(jù)”因為忘了設過期時間跑了兩年變成幾百萬條。在封裝層里把 TTL 做成必填參數(shù)比任何事后治理都管用。6. 高頻追問與踩坑實錄6.1 拆分之后的批量操作陷阱最容易踩的坑是MGET和集群的CROSSSLOT報錯。把一個大 String 拆成 128 片之后如果直接redisTemplate.opsForValue().multiGet(keys)在集群模式下會直接拋異常因為這 128 個 key 分布在不同的槽上。解決方案有兩條。方案 A 是給所有分片 key 加 hash tag比如prod:{12345}:seg:0這樣同一個商品的 128 片全部落在同一個槽上MGET可以正常執(zhí)行也支持 Lua 原子操作。代價是這個商品的所有分片壓在同一個節(jié)點如果這個商品是爆款節(jié)點就成了熱點。方案 B 是不加 tag改用 pipeline 逐個 GET。這樣分片自然分散到不同節(jié)點壓力均勻但拿不到原子性而且 pipeline 的往返次數(shù)雖然被壓縮成 1 次命令處理仍然是 N 次。我的選擇標準是這樣的單次讀取的分片數(shù)小于 50走方案 A 加 tag因為延遲更低分片數(shù)超過 50 或者是熱點數(shù)據(jù)走方案 B 分散壓力。這個取舍沒有標準答案必須結合具體數(shù)據(jù)量判斷。6.2 原子性、Lua 與事務的邊界拆分之后原本一條HSET能搞定的事可能要寫 2 個 key。如果業(yè)務要求要么全成功要么全失敗就得用 Lua 或者MULTI/EXEC。但這兩個機制在集群模式下都要求所有 key 在同一個槽所以又回到了 hash tag 的老問題。有個更隱蔽的坑Lua 腳本里的 key 數(shù)量是有上限的雖然官方?jīng)]明確說死但腳本執(zhí)行期間會阻塞整個實例腳本里操作幾十個 key 會讓阻塞時間線性增長。所以我的經(jīng)驗是Lua 只用于 2 到 5 個 key 的小規(guī)模原子操作超過這個數(shù)就該重新設計數(shù)據(jù)模型而不是硬用 Lua 兜。還有一個反直覺的結論大部分所謂的“原子性需求”其實是偽需求。用戶畫像的多個字段之間本來就沒有強一致要求晚幾百毫秒更新完全可接受。真正需要原子的只有計數(shù)、庫存這類場景而這類數(shù)據(jù)本來就不該大。所以在設計拆分方案時先質(zhì)疑一下“是否真的需要原子”往往能省掉一半復雜度。6.3 拆分過度反而更慢的真實案例這個坑我必須單獨講因為它是我自己踩的。早期做用戶標簽拆分時我把一個只有 200 個字段的 Hash 也套用了分桶方案拆成了 8 個桶。結果上線后發(fā)現(xiàn)接口 P99 反而漲了 15ms——原因很簡單原本一次HGETALL能拿到的數(shù)據(jù)現(xiàn)在要發(fā) 8 次 pipeline 請求雖然網(wǎng)絡往返被合并了但 Redis 側的命令解析、槽位路由、結果聚合全都翻了 8 倍。后來復盤定了一條鐵律只有當 key 真的超過閾值才拆且拆分收益必須大于拆分成本。200 個字段的 Hash 完全沒必要拆5000 個字段以上才進拆分流程。這個閾值后來寫進了團隊的編碼規(guī)范避免新人無腦照搬。6.4 常見問題速查表現(xiàn)象可能原因排查手段處置動作接口偶發(fā)超時無明顯規(guī)律大key 的HGETALL阻塞主線程查慢日志看是否有大 value 命令拆分或改為HMGET按需讀集群單節(jié)點內(nèi)存異常高大key 導致槽位傾斜--bigkeys掃一遍對比各節(jié)點內(nèi)存拆分打散或加 hash tag 后定向遷移刪除 key 時服務卡頓DEL同步釋放大量內(nèi)存觀察刪除時段的主線程阻塞指標改用UNLINK老版本用分批HDEL主從延遲突然增大大key 寫入產(chǎn)生巨大復制包查主從offset差值拆分寫入、降低單次寫入體積雙寫后數(shù)據(jù)對不上路由邏輯或桶號計算不一致跑一致性校驗腳本抽樣比對修代碼后以新結構為準重刷舊數(shù)據(jù)分片后讀延遲反而升高拆分過度往返次數(shù)增加統(tǒng)計單次請求的分片數(shù)量合并小桶或撤銷不必要的拆分RDB 落盤時內(nèi)存暴漲fork 期間大key 的 COW 復制觀察fork前后的內(nèi)存曲線拆分、開啟壓縮、調(diào)整save策略最后再分享一個我在實際項目中的體會大key治理這件事技術方案只占三成剩下七成靠的是規(guī)范約束和早期發(fā)現(xiàn)。我見過太多團隊把拆分方案寫得非常漂亮但因為沒有寫入側的硬攔截半年之后新的大key 又長出來了等于白干。所以真正有效的做法是把閾值檢查、TTL 強制、巡檢告警這三件事固化到基礎組件里讓業(yè)務方想寫大key 都寫不進去這比事后救火省心一百倍。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九九色婷婷五月天| 久久九九色| 92久操视频| 激情六月婷婷| 思思99热这里只有精品| 夜夜嗨一区二区三区直播内容 | 色婷婷88| 五月婷婷久久综合| 9热在线视频精品| www.9797国产| 99色最新在线视频| 五月丁香婷婷综合网色欲| 五月天婷婷AV| 91婷婷| 777精品久无码人妻蜜桃| 色五月开心开心五月激情五月| 五月久久丁香| 亚洲AV综合在线观看| 六月丁香婷婷综合色播| 97丁香视频| 亚洲婷婷丁香| 五月婷高清视频| 五月天婷婷婷| 91丨九色丨高潮丰满日本| 久久久久久xxxxx| 国产日韩欧美| 激情人妻综合| 五月丁六月婷| 91chinese在线| 熟女人妻视频| 色婷精品91| 亚洲婷婷月丁香五月| 碰人人97| 中字幕视频在线永久在线观看免费| 日日做夜夜爱| 深爱激情中文五月天av| 色色影院黄大片| 婷色五月天| 热成人网| 久久99这里只有精品| 免费黄网不卡AV| XX久久| 狠狠色丁香99| 99色综合网| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 久久久97| 婷婷婷婷婷开心无码播放| 超碰在线91| 1024人妻无码中文字幕| 人人摸人人干| 91久久电影| 丁香六月激情综合网| 99日在线观看视频| 蜜乳久AV| 九九热精品| 国产偷人妻精品一区| 丁香色色色| 亚洲正能量欧美| 色综合久| 免费精品99| 密臀久久| 久久99热只有精品| 91色噜噜狠狠狠狠色综合| 精品一二三区久久AAA片| 91视频综合网| 色吧五月婷婷| 婷婷激情丁五月| 激情四射婷婷| 丁香婷婷六月男男| 国产精品热搜丁香五月婷婷| 激情五月综合免费| 日本色频| 91偷拍视频| 综合在线观看99| 99这里只有精品|v| 久9热在线视频| 99在线观看视频| 综合久色五月| 日本激情ⅩXX免费视频| 激情五月天色色| 伊人激情网| 狠狠操狠狠爱| 日本丁香五月| 九九RE视频在线精品| 亚洲色无码| 久久精品国产色| 色综合九九色综合88| 91N 一起草| 久草热8精品视频在线观看| 99综合一区| 天天檫天天爽| 久久99久久99精品免视看婷婷| 五月婷婷色影院| 万月丁香狠狠爱| 婷婷六月综合激情| 久久激情综合| 激情五月天色色网| 97精品综合久久| 激情五月婷| 色播丁香婷婷五月激情| 欧美天天性| 伊人五月天日日夜夜久久久天天| 99精品久久| 91chinese 在线| 久久婷婷原创视频| 少妇人妻人伦A片| 五月丁香久久网| 婷婷五月在线播放| 久久婷婷五月综合色和| 天天色,天天日,天天做| 色丁香五月综合网| 五月丁香欧美在线| 亚洲亚洲永久无码777777| 婷婷五月开心中文字幕色| 99综合免费视频| 成人丁香色| 日都一级A片| 337久久| 激情都市另类| 夜夜嗨一区二区三区直播内容 | 激情综合色网| 婷婷她六月天| 日本婷婷网| 99热这里只有99| 99精品在线播放| 99久在线观看| 久热91精品| 黑人熟妇一区二区三区| 久99在线视频| 中美日韩成人在线| 琪琪色五月天| 久久色婷婷| 超碰二区| 成人看片网站| 5月丁香综合网| 熟女乱论网| 国在线激情网| 情五月亚洲婷婷| 天天搽天天射| 天干干夜夜操| 天天操夜夜爽| 欧美这里只有精品| 99色热视频| 久大香蕉| 天天狠狠夜夜狠狠2023| 婷婷大香蕉| 91天天操天天干天天射| 99爱在线视频| 精品少妇人妻AV无码专区偷人| 思思久久99热只有频精品66| 激情五月最新网址| 99色五月| wWwCom夜操wwW| 狠狠艹狠狠艹| 亚洲人妻一区二区| 涩涩涩五月天| 色综合综合色| 开心婷婷五月| 亚洲中文AV| 久9草在线观看视频| 一区二区三区四区牛| 在线看av| 99re66热这里只有精品| 狠狠干激情五月| 天天综合永久| EEUSS鲁片一区二区三区| 99热综合在线| 成人短视频在线观看| 91蜜桃婷婷狠狠久久综合9色| 风流少妇A片一区二区蜜桃| 4438亚洲欧美| 无码yw| 97碰| WWW、日本色丁香、co m| 影音先锋人妻出差| 欧美在线97| 国产 码在线成人网站| 亚洲色啪| 久久区区一二三av| 狠狠色丁香| 激情黄色五月天| 亚洲 六月 综合| 久久99热这里只有精品| 99精品在线观看| 99热思思| 五月丁香狠狠爱婷婷综合| 国产超碰人人| 怡红院院在线导航网| 亚洲女婷婷五月基地综合久久久 | www夜夜操| 欧美叉叉叉BBB网站| 在线超碰免费| 性爱综合网| 婷婷色日本| 天天爱综合网| 激情五月婷婷| 九九九九无码| 久久免费精品小视频| 五月丁香成人日| 狠狠插狠狠| 青草青青草| 婷婷五月丁香啪啪| 青青草青青草五月天| 2022人人操人人看| 99re热| 婷婷开心激情五月激情网| 天天日天天舔| 国产精品久久久久久久久久免费| 亚洲爱婷婷| 天天插天天狠| 夜夜躁爽日日| 青草视频在线观看视频 | 激情婷婷五月天| 极品嫩草| 最新热中文字幕| 99热这里只有在线| 99无码视频| 午夜在线成人网站免费观看| 丁香五月综合| 丁香五月天在线观看| 丁香六月情| 超碰免费观看| 五月激情丁香久久综合网| 久久激情五月天| 色九月| 久久婷综| 任你草| 日韩乱玛久久| 五月激情天| 91婷婷在线观看| 538久久| 五月婷婷丁香俺日污视频| 思思热在线精品视频| 九月丁香婷婷基地| 人人澡天天色天天做| 国产26uuu| 99热精品免费| 久99在线视频| 人人草人人爱手机视频看看| 国产一级片| 草榴视频网| 99热只有国产在线精品| 俺去也婷婷| 九九热99精品| 五月噜噜| 深爱五月婷婷| www.91操| 天天做天天爱天天玩| 免费观看全黄做爰的视频| 91尤物九色在线| 天天综合天综合| 激情五月丁香五月| 久热婷婷| 九热视频在线精品15| 日本美女97在线视频| 亚洲Va成人| 人人草人人看| 天堂久久久久天堂网| 六月激情久久婷婷| 噜噜视频| 婷婷久久大香蕉| 五月婷婷开心五月| 午夜微拍福利| 色婷婷先锋| 9999久久久久| 亚洲国产精品五月天| 夜色综合网| 九九伦子片| 天天干夜夜b| 99精色| 99久re热| 可以免费观看的av| 色吊丝中文字幕| 五月色婷婷AV| 国产日产亚系列精品版优势| 五月天婷婷在线啪啪视频| 狠狠综合久久| 国产精典视频在线观看| 日韩淑女人妻luan伦激情精品一区二| av超碰在线| 5月婷婷激情6月| 99热最新| 久久AAAA片一区二区| 欧美久热| 97碰碰人人| 欧美日本另类| 色色五月激情| 久噜久噜| 在线五月婷| 天天看夜夜看| 在线看AV| 老司机伊人| 性按摩玩人妻HD中文字幕| 包操45分钟网站| 狠狠色婷婷7777久| 五月婷婷免费在线| 五月婷婷手机在线| 玖玖色综合色| 婷婷五月天综合色| 欧美日韩精品一区二区三区钱| 婷婷五月天综合色| 无语停婷丁香网| 婷婷五月色亚洲| 国产国产乱老熟女视频网站97| 色七色九九| 91日本在线观看| 色色综合成人网| 99色精品| 都市激情蜜桃婷婷五月天| 天天爽天天爽| 狠狠色狠狠鲁| 老司机视频lsj爱就色| 天天色天天舔天天爱天天爽| 中文字幕成人日韩| 久久久27操| 久久婷婷五月天激情四射| 日韩欧美成人片| 影音先锋 一区| 人人草人| 久久在线92| 欧美天堂久久| 99精品在线观看| 五月丁香六月色| www.av视频xx999.com| 五月丁香| 在线综合婷婷| www.91AV.com| 六月婷婷啪啪| 日本怕怕视频| 国产婷伊人| 婷婷五月激情在线| 九九热AV| 婷婷五月天视| 天天综合区| 激情五月天社区| 色五月婷婷综合在线| 在线观看亚洲视频影院| 热99精品视频在线观看| 男人的天堂婷婷色五月| 夜夜爱网站| 99色| 香蕉综合在线| 伊人五月久久| 久久久噜噜噜www成人| 五日激情综合| 日韩一级片| 婷婷色综合| 五月天艹天天| 九九偷拍网| 日本激情91| 国产精品久久99| 亚洲精品色| 五月天婷婷黄色| 综合婷| 4399亚洲视频| 婷婷区日本| 9久热在线视频| 色五月欧美| 国产人妻操逼| www.91av.com| 亚洲婷婷丁香| 五月激情另类| www.久9| 九九这里都是精品| 日本成人小说婷婷六月| www.色9| 香蕉AV福利精品导航| 99热精品6| 99热99极品观看| 丁香婷婷啪啪| 婷婷六月天激情| 丁香综合网| 人妻久久久| 美英法精品无码免费视频| 91婷婷五月丁香碰| 五月丁香网站| 丁香五月天社区| 久久激情五月| 午夜无码熟熟妇丰满人妻| 五月婷婷在线免费| 思思久ren热| 九月婷婷综合色干| 五月综合激情网| 999影院成人在线影院| 亚洲综合色色| 丁香五月激情五月色综合| 五月丁香色| 五月婷综合性中心| 色域五月婷婷丁香| 色综色网| 久久99网站| 国产精品久久久60086| 五月丁香激| 精品亚洲国产成AV人片传媒| 久久综合丁香| 夜夜操天天爽| 婷色人人狠| 久草视频大香蕉99| 久久婷婷五月天| 野战毛片三一3| 激情婷婷五六月天| 91九色小视频| 成人久碰| 五月丁香影院| 激情网五月天| 五月花亭亭| 色999亚洲人成色| 色色色1网址| www.超碰在线| 五月亭亭直播| 婷婷中文字幕版| 亚洲激情婷婷| 大鸡巴伊人网| 无码激情AAAAA片-区区| www久久99| 色婷婷丁香| 久久这里面只有精品视频| 婷婷99狠狠躁天天躁中文| 91久久精品国产91性色TV| 99日本黄站| 五月开心深爱激情网| 俺来也综合网精品一区| 欧洲亚洲午夜| 亚洲无码性爱| 婷婷五月丁香五月| av久热| 深爱激情婷| 97色五月天| 亚洲啪啪啪啪| 97色色综合| 婷婷五月天渟渟| 色婷婷五月天| 思思久久99| 婷婷色五月开心五月| 五月丁香激情深爱婷婷| 丁香婷婷人妻综合网| 亚洲AVwwwwwww| 五月婷视频| 丁香六月激情| 激情五月综合| 五月激情偷拍| 欧美婷婷丁香五月社区| 噜噜在线| 色婷婷五月天视频网站| 丁香五月天色婷婷| 狠狠干综合| 久久精品五月天| 婷婷六月丁综合| 牛牛澡牛牛爽| 婷婷综合中文| 久九男女天堂| 午夜69成人做爰视频| 涩五月婷婷| 人人97碰| 精品久久9| www,av好吊操| 五月丁香无码| www色中色综合| 色婷婷4| 99超级碰免费视频| 97资源碰碰| 色婷婷啪啪啪啪啪啪| www.色色色com| 国产乱妇乱子在线播视频播放网站| 婷婷五月激情图片| 五月天色不卡| 开心激情婷婷| 亚洲精品视频在线播放| 久久免费精彩视频| 亚洲欧美婷婷五月色综合| 久久丝袜婷婷| 99九九精品视频| 五月丁香啪啪| 五月婷激情影院| 激情五月久久| 激情av在线| 婷婷五月成人| 国产婷婷五月天| 色99热| 五月丁香花视频| 大香蕉久久婷婷| 亚洲第一综合| 操逼巨乳91| 欧美爆乳一区二区三区| 色五月天本日| 天天摸天天透天天舔| 第五色色色婷婷| 欧州色色| 婷婷六月综合基地| 九九99免费理论| 香蕉久久国产AV一区二区| 最新va在线播放| 婷婷午夜综合| 久久xx| 激情五月天影院| 五月天激情国产综合婷婷婷| 国产精品扒开腿做爽爽爽A片唱戏| 五月丁香婷婷色| 国产毛片欧美毛片久久久| 精品亚洲国产成AV人片传媒| 97婷婷五月丁香| 日韩五月婷婷| 亚洲婷婷91丁香| 97久久超碰| 天堂婷婷五月在线| 99这里只有精品在线观看| 婷婷成人在线| 亚洲婷婷丁香五月视频| 狠色色狠网| 婷婷射丁香| 超碰不卡在线| 在线色色| 思思久久精品| 五月丁香影院| 婷婷影视久久| av激情在线| 成片免费播放| 天天操天天操| 婷婷五月丁香基地| 天天操无码| 综合网激情| 色狠狠色噜噜AV天堂五区| 婷婷中文字幕欧美| 亚洲婷婷激情综合激情999精品| 玖玖婷婷色五月| 久久伊人大香蕉| 丁香五月日啪| 99在线精品在线视频| 97干视频在线| 丁香五月天视频| 日韩成人精品中文字幕电影| 一区二区你懂的| 激情图片婷婷| 夜夜涩涩涩| 97丁香五月天| 婷婷五月深深爱| 神马欧美精| 久久99网| 国产精品成av人在线视午夜片| 99ri视频在线播放| 草美女在线观看视频在线播放| 久久九九大香蕉电院| 5五月综合网亚洲| 久久99网| 久热精品9999| 狠狠爱综合网| 五月天激情子轮| 九九热99免费视频| 国产乱子轮XXX农村| 婷婷久久图片| 深情六月婷婷综合久久| 五月婷视屏在线观看| 91狠狠综合久久久| 日韩AV免费电影在线播放| 大香蕉久久伊人网| 丁香五月婷婷深爱综合激情 | 香蕉97碰碰碰超视精品| 思思热思在线精品视频| 看片视频在线免费日产在线看| 99色在线视频| 一级黄色操B| 亚洲国产精品成人免费一区久久久在线观看AAAA | 日韩综合天堂| 91嫩草国产线观看亚洲一区二区| 婷婷内射视频在线| 开心五月丁香啪| 日本啪啪网| 日逼AV影音先锋男人资源站| 日本久久99久久| 激情开心五月婷婷| 免费AV在线| 丁香五月花| 丁香五月六月综合激情| 色情五月天A片| 五月激情视频| av首页在线| 婷婷天堂综合| 婷婷色影院| 五月丁香欧美综合免费视频| 天天看A片| 人人操婷婷| 狠狠色五月激情| 影音先锋天天日| 国产精品久久久爽爽爽麻豆色哟哟| 中文AV在线观看| 亚洲色婷婷99一9|| 久热九九| 五月天婷婷久草丁香| 日日日,com| 热99在线精品| 中文字幕操比影片| 秋霞学生妹一二级| 翔田千里 50岁 无码| 艹B高清无码| 99综合网| 天天综合 99久久婷婷| 无码激情AAAAA片-区区| 亚州精品色情无码A片| 俺去也综合| 色色无码| 久久五月丁香| 99热这里只有精品免费| 99九九这里有免费视频| 六月丁香成人| 二色AV| 亚州成人综合在线| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 人妻丰满精品一区二区A片| 激情亚洲婷婷| 亚洲无码色色| 变态 另类 在线| 五月丁香| 婷婷五月天AV在线| 99热色综合| wwccc久久久| 色色狼人综合| 五月丁香婷婷激情图片| 色播五月丁香综合| 色婷婷网| 亚州精品色情无码A片| 99热只有| 久久久久久久久久久久63| 天插天啪天啪天啪| 免费观看18视频网站| 婷婷五月天奸女| 五月天久久91| 丁香五月婷婷激情蜜桃| 玖玖资源天天无码| 色五月丁香婷婷| 岛国午夜视频| 欧美成人网99网| 天天日天天肏天天奸| 色婷婷五月天激情在线播放| 九九热精品| 97人妻碰碰碰久| 超碰色综合| 六月激情丁香一道本7777| 狠狠插日日干撸| 成人丁香婷婷| 天天摸日日舔狠狠添婷婷婷 | 噜一噜在线| 黄色成人AV在线| 精品少妇蜜臀91| 少妇性按摩无码中文A片| 丁香香五月激情免费视频| av在线资源| 亚洲性视频| 深爱开心激情| 男人天堂AV在线一区二区| 日日夜夜狠狠操| 狠狠色狠狠色综合日日91| 天天摸天天日天天舔| 成人在线观看精品| 久久视频九九视频| 9热成人在线视频| 青草激情在线| 丁香六月综合| 精a品a| 我想看国产大学生口爆吞精的视频| 99成人精品视频| 丰满少妇乱A片无码| 亚洲丁香五月天在线视频| 这里只有精品视频在线| 《战争与艾拉》完整版| 高清一区二区三区日本久| WWW、日本色丁香co m| 三级黄网站| 狠狠搞五月天| 天天拍天天操| 蜜乳人妻一区二区三区| 国产精品热搜丁香五月婷婷| 久久婷婷五月综合色奶水99啪| 猫咪伊人久久| 五月婷婷狠狠干| 色呦呦免费观看| 五月婷婷激情五月| 婷婷区日本| www.夜夜操| 精品九九视频| 极品少妇高潮啪啪AV无码| 五月天激情婷婷五月天久久| 精品五月花| 噜噜狠狠色| 99热主页日本| 色5月婷婷| 天天天天天操| 日韩AV在线电影| 天天舔天天摸| 色综合久| 欧美成人猛片AAAAAAA| 九九热在这里只有精品| 99精品视频播放| 亚洲视频图片婷婷五月| 亚洲av无码影院| 9热精品| 五月五婷婷网| 国产亚洲成AV人片在线观黄桃| 九九久久视频| 九九色院| 五月婷婷色| 天天射天天射一道本日本社区 | 另类在线| 男女啪啪做爰高潮无遮挡| 六月久久狠狠| 丁香五月婷婷亚洲激情四射| 五月天丁香综合| 麻豆科斗777| 婷婷五月丁香综合网| 99精品视频免费观看| 97精品欧美91久久久久久久| 激情99| www.狠狠狠.com| 亚洲视频1区| 99精品在线| WWW、日本色丁香、co m| 婷婷狠狠狠爱| 亚洲色频| 色婷婷丁香香香蕉视频| 五月天激情久久| 思思热在线| 99热无码首页| 丁香婷婷色| 久热99| 97香蕉久久超级碰碰高清版| 99在线精品视频| 热99精品视频| 九九五月天| 日韩av变天就操逼不卡区| 日本色五月| 六月丁香成人| 久久久九九视频精品18| 亚洲综合五月| 东北婷婷五月天| 中文AV在线观看| 成人做爰A片免费看网站找不到了| 欧美美美女性色视频| 99黄色性生活| 婷婷色色色| 九九激情综合| 欧美VA在线观看| 干一干xxxx| 强辱丰满人妻HD中文字幕| 五月婷婷婷丁香播| 色婷婷综合中心| 日本久久精品18| 欧美性猛交 XXXX 乱大交| 激情五月天社区| 婷婷六月综合在线| 99伊人婷婷在线| 亚洲妇女熟BBW| 久9久成人精品视频| 婷婷激情五月天亚洲综合| 丁香久久五月婷综合| 日逼AV影音先锋男人资源站| 99视频久久| 狠狠激情五月天| 九九热精品| 最新久久99视频网站| 人人操av| 开心激情综合| 亚洲激情淫网| 色情丁香五月婷婷精品| 2018夜夜草| 一起草性爱不卡视频| 日日夜夜综合| caopeng超碰| 99啪啪网| 日韩一级淫乱片一区二区三区| 99久在线精品99re8热| www开心激情网| 99热精品在线播放| 任你干嘛免费视频播放| 九九亚洲| 亚洲精品亚洲人成人网| 九九热99热| ...婷婷国产成人亚洲日韩| 玖玖在线| 亚洲AV久久久久久久久久久久久久久久 | 九九综合| 天天精品视频在线观看视频| 免费色色色| 亚洲五月天婷婷| 久久五月天影院| 天堂草在线观| 天天日夜夜B久久| 色噜噜97视频在线观看| 久久久久久久久18久久| 五月丁香综合在线| 久久9精品视频| 婷婷六月情| 五月色情网| aaa丁香五月天| 91精品婷婷国产综合| 精品国产a| 2025超碰| 亚洲视频一区| 99热日本| 天天拍天天操| 亚洲丁香五月美女| 日韩欧美一区二区三区四区| 五月丁香激情综合| 丁香五月情| 亚洲免费在线观看岛国| 午夜微拍福利| 中日韩美欧成人一区二区精品在线| 婷婷九月激情| 五月综合激情| 激情五月天婷婷五月天| 亚洲久热| 97久久超碰| 99综合入口| 亚洲狠狠爱婷婷| 小视频久久久aaa| 五月天丁香网站| 天天操天天插| 激情五月www| 五月婷婷精品视频| 欧美天天干五月丁香| 婷婷五月丁香综合亚洲 | 福利视频在线播放| 色五月综合| 日韩狠狠色| A1片久久久| 国产精品爽爽久久久久久| 97热这里只有精品| 五月激情六月宗合| 天堂草在线看www| 婷婷五月天成人网站| 千人斩操逼| 丁香五月成人论坛| 狠狠狠狠免费| 色丁香综合影院| 婷婷永久在线| 99这里只有精品国产| 日韩草草草草草草草草草草草草| 五月天婷婷一起草| 色色网站在线免费观看视频| 久久丁香五月婷婷激情综合网| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 激情五月图| 色婷婷色五月另类综合| 五月丁香色色综合| 可以免费看av网站| 99热精品少| 中文不卡一二三区| 很很干五月天| 丁香五月婷婷骚视屏| 婷婷情色激情| 人妻操操色| 伊人久久丁香婷婷六月五月综合| 五月丁香六月婷婷玖玖| 日日做夜夜爱| 久久五月综合| 99精品在线观看| 色吧五月婷婷| 亚洲啪啪啪啪| 色色性爱视频| 偷拍五月丁香| 国产精自产拍久久久久久蜜 | xxxx五月| site:jszngf.com| 思思久久96热在精品国产,| 成人欧美Va| 亚洲另类噜噜| 日日操天天操| 99亚洲精品| 久久99网站| 色色五月天丁香| 九色视频91| 91chinese在线| 开心五月综合| 狠狠狠狠狠狠狠狠| 丁香五月伊人| 超碰人人干| 99re这里| 亚洲成av人影院| 色综合久久久无码中文字幕999| 99久久天堂婷婷| 欧美大道不卡| 五月天狠狠网站| sewuyue第四色| 久久这里只有精品1| 久久婷婷五月天蜜桃| 性视频久久| 婷婷五月激情综合| 婷婷五月天桃花网| 色五月丁香A欧美com | 青草视频在线播放| 91狼友视频在线观看| 色玖玖玖| 人人综合91网| 色色婷婷五月天| 色婷婷五月天激情综合| 久久偷拍综合五月天| 91seav| 五月色综合| 97成人在线视频| 五月天天堂久久| 九九九九九无码| 五月草影视| 91碰碰视频| 开心激情站| 五月天色色无码| 日韩精品一区二区刘| 国产 亚洲 在线| 亚洲视频色色| 婷婷五月丁香基地| 97色女人在线| 色情五月丁香| 操老逼综合网| 久久精品婷婷五月丁香| 狠狠88综合久久久久噜噜噜| 五月婷婷性| 狠狠色五月| 色综合天天| 亚洲操女| 影音先锋按摩| 97色婷婷五月天| 婷婷精品在线| 婷婷丁香熟女| 任你爽精品免费视频6| 五月丁香六月欧美综合| 婷婷五月成人| 五月丁香综合网| 丁香五月天婷婷大香蕉| 伊人婷婷青青cao| 色婷婷激情五月天| 狠狠插狠狠操| 久久久久视剧HD| 久久综合激情| 久99热| 91婷婷| 久久久久9久无码视频| 91色在线/日韩| 天天精品视频在线观看视频| 色色色国产| 人操综合| 婷婷八月激情| 色婷婷成人| 国产精品一区在线观看你懂的| www.久9| 91精品电影18T| 久色| 伊人丁香在线| www.久久99| 能直接看的av网站| 最近韩国日本免费高清观看| www.久9| 夜夜夜夜操| 色色色在线观看| 婷婷丁香综合网| 久久婷五月天| 丁香五月五婷| 久操热| www.91婷婷| 婷婷五月精品中文字幕| 婷婷色色网| 亚洲激情四谢| 色五月首页| 天天操比比| 风流少妇A片一区二区蜜桃| 色婷婷丁香综合中文字幕| 色噜噜狠狠狠综合曰曰曰| 永久免费视频| 91大神操美女| 五月婷婷丁香日韩在线| 五月天日日操夜夜操 | 丁香五月婷婷色综合基地| 婷婷精品在线| 九九热欧美| 久久伊人婷| 亚洲另类婷婷五月综合| 人妻人人操| 天堂久久大香蕉| 在线观看玖玖资源免费观看| 99无码黄色视频| 九九人人自拍| 亚洲成人噜噜| 一本色综合色| 色丁香五月天射婷婷爱婷婷| 日本天天操| 538在线精品| 伊人网欧美在线男人天堂五月丁香 | 九热视频精品| 九九热短视频在线观看| 俺去也五月天| 噜噜噜狠狠色综| 另类综合色| 天堂呦 呦百度搜索-百度搜索| 日韩a热| 色色狼人综合| 9热久久| 千人斩操逼| 五月丁香久久| 久久久久9| 一月婷婷色色| 9 1在线视频| 天天婷婷色六月| 色色国产| 色五月色五天色情网| 精品久热69| 国产色视频网站2| 99热成人在线| 五月婷婷色色爱| 天天色伊人| 狠狠综合网| 久久激情五月婷婷| 99热免费| 天堂五月婷婷| 天天日综合| 高潮毛片又色又爽免费| 狠狠看狠狠| 99热97| 色 免费网站视频| 激情五月婷婷综合| 亚洲精品国产setv| www.五月婷婷.com| 丁香五月婷婷婷桃花影院| 丁香六月激情网C0W| 伊人狼人干| 国产精品色一哟哟| 91中文狠狠综合| 麻豆123区| 亚洲亚洲人成综合网络| 九九热免费观看视频| 九九亚洲视频| wwW天天干| 丁香五月久久| 七七九九色色| 99热8| 99久久精彩视频。| 99精品在线观看| 9999久久久久| 99A片| 综合久久五月天| 性爱网五月天| 色玖玖爱| 一起草av| 第四色激情网| 91超碰人人操| 蜜桃婷婷狠狠久久| 日本一级| 欧美成人精品A片免费一区99| 亚洲精品乱码久久久久久综合| 可以免费观看的av| 激情丁香婷婷五月天| 99热这里有精品| www.日日夜夜| 淫视馆av三区| 一区二区三区四区无码| 综合久久五| 色五月婷婷五月天激情综合| 大香蕉人人网| 五月天婷婷网站888| 日本一道久久| 婷婷五月激情欧美| 伊人久久艹| 天天日日夜夜| 五月婷无码| www.玖玖九| 婷婷五月天免费视频| 激情婷婷丁香色五月| 欧美色色色色色色| 99热日韩| 色色色色网| 天天色天天爱天天舔| 五月天久久婷| 九六五月天婷婷| 碰久久精品w| 日日日日日| 日本人妻A片成人免费看片| 丁香啪啪| 婷婷综合网站| 欧美一级毛卡片无码| 精品人妻伦一二三区久久| 婷婷色在线视频| 99视频在线精品免费观看2| 中文字幕丰满乱孑伦无码专区| 99国产精品白浆在线观看免费 | 五月天色婷婷综合| 五月天婷a在线| 婷色影院| 人人摸人人| 97人人操在线| 九九在线视频| 性生活久久朋友人妻| 午夜福利成人AV91| 美女丁香五婷婷| 91操熟女| 99在线精品免费视频| 噜噜色com| 99热精品10| 色色婷| 婷婷成人丁香色情基地30 | 五月天精品| 色婷婷综合久久久久| 成人国产欧美大片一区| 日韩色五月| 五月丁香婷婷中文| 欧美大片免费播放器| 婷婷久久亚洲| 九九久久五月天综合伊人| 国产肥白大熟妇BBBB视频| 5月婷婷五月天| 久久综合无| 欧美黑人巨大性生话| 99热这里只有精品3| 亚洲综合九九| 亚洲狠狠爱婷婷| 激情五月丁香亭亭| site:hcxsz888.com| av免费在线观看0| 99热这里只有精品9| 精品久热| 丁香88AV五月婷婷| 婷婷六月天激情| 秋霞电影一级黄| 欧美十二区| 日韩啪| 欧洲亚洲欧洲99久久| 丁香六月婷婷色播| 五月婷婷丁香六月| 国内裸舞二区| 婷婷五月天综合AV| 99热这里只有精品99| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 玖玖激情网| 九九色热| 97人人操| 色五月丁香六月欧美综合| 色久女| 五月婷婷五月丁香| 五月色婷婷亚洲 | 涩综合在线| 久久这里只有精品视频15| 综合XX网| 色欲五月天| 中文字幕av在线播放| 色偷偷狠狠| 久久作爱| 欧美人人草草| 九九色热| 久久婷婷综合五月趴| 深情六月婷婷综合久久| 怡红院91a√| 五月婷婷中文字幕| 六月婷婷久久| 六月丁婷婷| 曰曰久久| 激情五月婷婷色综合| 99色在线| 99在线观看精品视频| 337p午夜影院| 九色自拍| 久久5 9视频免费观看| 婷婷五月天AV在线| 5月丁香六月情| 精品乱码视频| cao视频,现在观看| 中文字幕网伦射乱中文| 91操在线视频| 激情小说婷婷五月| 狠狠舔| 超碰免费电影| 日本色婷婷| 婷婷综合五月| 求可以看的AV网址| 日韩成人中文字幕| 人人操91色| 免费无码毛片一区二区A片| 色噜噜五月天| 天天爽综合| 激情久久四色| 51成人| 9色在线视频精品观看| 国产古装妇女野外A片| 国产 亚洲 在线| 亚洲综合丁香五月天| 五月色导航| 97人操人免费视频| 人妻免费网站| 狠狠色丁香| 91操片| www激情| 激情五月综合色婷婷| 久久丁香五月综合六月激情红杏视频 | 天堂呦 呦百度搜索-百度搜索| 久久五月婷| 99性视频| 欧美日韩成人在线网站| 操操操操操电影网| 99er国产| 99热这里在线精品| 五月天婷婷网站888| 99啪在线视频| 极品人妻VIDEOSSS人妻| 丁香五月电影| 激情四射婷婷| 亚洲美女网Va| 五月丁香六月香综合激情| 色综合久久88色综合天天人守婷| 99热九九这里只有精品| 色综合区| 十区AV| OUMEIRIHANCHENGREN| 丁香五月天亚洲综合| 97久久人人人干| 天天插天天插| 99免费在线视频| 日本色五月| 五月丁香久人妻中文| 丁香五月婷婷影院| 五月激情天天干| 欧美va欧美va差| 热久久精品视频网站| 日日操日日干| www.狠狠干| 99re久热只有精品6在线直播| 伊人五月天综合网| 久久 婷婷 五月天| 久久Xx| 香蕉久久六月| 色色综合网。| 婷婷激情六月中文| 操笔无码| 色色色婷婷| 男人天堂 久久| av五月天婷婷丁香| 玖玖婷婷色欲| 九九久久9 9在线观看| 九月丁香婷婷基地| www,婷婷,com| 婷婷欠久少妇| 婷婷五月天综合久久| 亚洲六月色| 婷婷婷婷婷婷婷五月丁香| 婷婷成人五月天成人文学小说| www,婷婷五月天,com| 狠色色狠网| 五月亭亭性| 亚洲激情免费视频观看| 天天爽日日爽夜夜爽| 99国产视频网| 五月丁香激情深爱婷婷| 五月丁香色狠狠干大屄| 欧美日本一区二区三区| 色五月婷婷天天操夜夜操| 快色t v在线入口| 激情五月婷婷老师| 婷婷色成人| 色J香五月天| www.激情五月天| 婷婷五月天色综合| 99热这里只有精品最新地址获取| 青青草日本亚洲| 激情丁香五月婷婷啪啪| 99热这里只有精品96| 婷婷激情啪啪| 婷婷婷婷色| 人人爽天天爽| 色五月大| 伊人激情综合网| 久久久精品色| 天堂成人A片永久免费网站 | 久久视频婷婷| 大香蕉婷婷丁香天堂AV|