欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

緩存穿透、擊穿、雪崩一次講透:高并發(fā)緩存防御實(shí)戰(zhàn)指南

緩存穿透、擊穿、雪崩一次講透:高并發(fā)緩存防御實(shí)戰(zhàn)指南 線上業(yè)務(wù)半夜報警數(shù)據(jù)庫連接數(shù)打滿慢查詢堆積成山緩存Redis里明明還有數(shù)據(jù)上游接口卻一片超時。翻了一圈監(jiān)控發(fā)現(xiàn)罪魁禍?zhǔn)撞皇谴abug也不是流量突增而是一個本該在緩存層就被攔下來的無效請求直接穿透到了數(shù)據(jù)庫。這種事故我在不同團(tuán)隊(duì)遇到過至少三次每一次的根因都繞不開三個詞緩存穿透、緩存擊穿、緩存雪崩。這三個問題聽起來像兄弟實(shí)際上成因、表現(xiàn)、殺傷力完全不同對應(yīng)的防御方案也各有講究。這篇內(nèi)容我打算把這三個“高并發(fā)緩存殺手”一次性講透從原理層面拆解它們?yōu)槭裁磿寯?shù)據(jù)庫崩潰再到布隆過濾器、互斥鎖、多級緩存這些主流防御手段的落地細(xì)節(jié)。文章會貼大量實(shí)操代碼、參數(shù)配置和我在生產(chǎn)環(huán)境里實(shí)測過的數(shù)據(jù)適合正在維護(hù)高并發(fā)服務(wù)的后端開發(fā)、架構(gòu)師以及準(zhǔn)備系統(tǒng)學(xué)習(xí)緩存知識的技術(shù)人??赐曛竽阒辽倌芨闱宄患庐?dāng)緩存失效的那一瞬間你的系統(tǒng)到底在經(jīng)歷什么以及怎么把它扛住。1. 三種緩存失效場景別再把它們混為一談很多文章把穿透、擊穿、雪崩并列來講但實(shí)際工作中我發(fā)現(xiàn)很多人對這三個概念停留在“都會導(dǎo)致數(shù)據(jù)庫壓力暴增”的模糊印象。其實(shí)它們的觸發(fā)條件、影響范圍、修復(fù)手段差別非常大搞混了會直接導(dǎo)致方案選型錯誤。我先用最直白的方式把它們區(qū)分開。1.1 緩存穿透查詢了一個根本不存在的數(shù)據(jù)穿透的本質(zhì)是請求的key在緩存中不存在在數(shù)據(jù)庫中也不存在于是每次請求都直接打到數(shù)據(jù)庫。攻擊者如果構(gòu)造一批隨機(jī)不存在的ID比如負(fù)數(shù)ID、超長字符串、隨機(jī)UUID就能讓數(shù)據(jù)庫承受大量無意義的查詢。舉個例子。一個電商訂單查詢接口訂單號是19位數(shù)字。正常情況下用戶查的都是真實(shí)訂單第一次查詢沒命中緩存回源數(shù)據(jù)庫然后回填緩存。但如果有惡意請求連續(xù)傳入12938192831928391283這種并不存在的訂單號緩存永遠(yuǎn)不可能命中數(shù)據(jù)庫每次都要去做一次全表掃描級別的查詢連接池很快就會被耗盡。最陰險的地方在于這種流量很難通過常規(guī)的限流手段識別因?yàn)樗鼈兊膮?shù)看起來完全合法只是在業(yè)務(wù)語義上不存在。而且穿透請求往往帶有隨機(jī)性緩存中不可能被提前寫入這些key所以緩存層約等于透明。1.2 緩存擊穿熱點(diǎn)Key在過期瞬間被高并發(fā)打穿擊穿針對的是某一個熱點(diǎn)Key。比如一個秒殺商品的詳情頁平時QPS可能只有幾百活動開始后瞬間飆升到幾萬。這個商品信息的緩存設(shè)置了30分鐘過期緩存服務(wù)在過期時間到達(dá)的那一刻如果正好有一大批請求同時來查這個Key從Redis中取不到數(shù)據(jù)它們會一起回源數(shù)據(jù)庫。這里的關(guān)鍵詞是“同時”。如果只有一兩個請求回源數(shù)據(jù)庫毫無壓力但如果同一時刻有幾千個請求同時回源數(shù)據(jù)庫瞬間就被打垮。擊穿和穿透的最大區(qū)別是擊穿的數(shù)據(jù)在數(shù)據(jù)庫中是真實(shí)存在的只是緩存恰好過期穿透的數(shù)據(jù)在數(shù)據(jù)庫中壓根不存在永遠(yuǎn)無法回填緩存。對業(yè)務(wù)的影響也完全不同擊穿恢復(fù)后緩存會被重新回填系統(tǒng)能自動恢復(fù)穿透則會持續(xù)打數(shù)據(jù)庫直到流量停止或采取了額外防護(hù)。1.3 緩存雪崩大量Key同時過期導(dǎo)致緩存層整體失效雪崩的覆蓋面比擊穿大得多。如果一批緩存Key設(shè)置的過期時間相同比如都是整點(diǎn)過期、都是30分鐘過期到了某個時間點(diǎn)這大批Key會一起失效。此時請求全部回源數(shù)據(jù)庫數(shù)據(jù)庫壓力瞬間達(dá)到峰值很容易觸發(fā)連接池耗盡、慢查詢堆積、主從延遲等一系列連鎖反應(yīng)。我見過一個典型事故運(yùn)營人員把一批活動頁面的緩存過期時間統(tǒng)一設(shè)置為600秒結(jié)果每天上午10點(diǎn)整這批頁面同時刷新數(shù)據(jù)庫在10點(diǎn)整那一分鐘內(nèi)的QPS比平時翻了20倍直接宕機(jī)。更麻煩的是Redis中大量Key失效后如果緩存服務(wù)本身也扛不住回源請求比如Redis線程被阻塞故障會從數(shù)據(jù)庫向上蔓延形成級聯(lián)效應(yīng)。還有一種雪崩場景不是Key過期導(dǎo)致的而是Redis實(shí)例宕機(jī)。Redis掛了之后所有請求直接繞過緩存打到數(shù)據(jù)庫這種物理級別的雪崩往往比Key過期更致命因?yàn)榫彺鎸用嬉呀?jīng)完全沒有保護(hù)能力。1.4 三兄弟對比一張表看懂差異維度緩存穿透緩存擊穿緩存雪崩觸發(fā)場景查詢不存在的Key單個熱點(diǎn)Key過期大量Key同時過期 / Redis宕機(jī)數(shù)據(jù)真實(shí)性數(shù)據(jù)庫不存在數(shù)據(jù)庫存在數(shù)據(jù)庫存在影響范圍單個無效請求持續(xù)不斷單個Key高并發(fā)瞬間多個Key全局性壓力恢復(fù)方式無需回填需要攔截回填緩存自動恢復(fù)回填大量緩存耗時較長核心防御布隆過濾器、空值緩存互斥鎖、邏輯過期過期時間隨機(jī)、多級緩存、高可用分清這三種場景之后下面我逐個講對應(yīng)的防御方案每一步都會給出可以直接抄作業(yè)的實(shí)現(xiàn)。2. 布隆過濾器攔截穿透請求的第一道閘門布隆過濾器的核心價值在于用極低的內(nèi)存成本快速判斷一個Key“一定不存在”。它允許誤判存在但不允許誤判不存在。也就是說如果布隆過濾器說“這個Key不存在”那它一定不存在可以安心攔截如果它說“可能存在”則需要放行到后續(xù)邏輯去驗(yàn)證。2.1 布隆過濾器的原理和數(shù)學(xué)直覺布隆過濾器的底層是一個位數(shù)組bit數(shù)組 一組哈希函數(shù)。插入一個Key時用k個哈希函數(shù)分別計算得到k個位置把這些位置上的bit全部置為1查詢一個Key時同樣計算k個位置如果所有位置都是1則認(rèn)為“可能存在”只要有一個位置是0就認(rèn)為“一定不存在”。為什么說“可能存在”因?yàn)楣E鲎病2煌琄ey可能映射到相同的位置導(dǎo)致某個Key雖然沒有插入過但它的所有哈希位置都已經(jīng)被其他Key置為1這就產(chǎn)生了誤判。誤判率可以估算經(jīng)典公式是誤判率 p ≈ (1 - e^(-kn/m))^k其中n是預(yù)計插入的元素數(shù)量m是位數(shù)組長度k是哈希函數(shù)個數(shù)。實(shí)際操作中可以先預(yù)估n然后根據(jù)可接受的誤判率p反推m和k。常用的簡化公式是m -n * ln(p) / (ln2)^2 k m/n * ln2舉個例子。假設(shè)預(yù)計插入100萬個訂單號希望誤判率控制在1%代入公式m約等于958萬位換算成字節(jié)約1.2MBk約等于7。也就是說用1.2MB內(nèi)存和一億分之一的誤判概率就能擋住幾乎所有不存在的Key查詢。這個性價比非常高。2.2 布隆過濾器在生產(chǎn)環(huán)境中的三種落地姿勢第一Guava的BloomFilter。適合單機(jī)應(yīng)用數(shù)據(jù)在本地內(nèi)存中加載后只能單機(jī)判斷。對于部署在多個實(shí)例上的服務(wù)每個實(shí)例都需要各自構(gòu)建一份適合Key集合相對固定、實(shí)例數(shù)不多、數(shù)據(jù)量在百萬級的場景。BloomFilterString filter BloomFilter.create( Funnels.stringFunnel(StandardCharsets.UTF_8), 1_000_000, // 預(yù)計元素數(shù) 0.01); // 期望誤判率 filter.put(order_123456); boolean mightContain filter.mightContain(order_987654);第二Redis的布隆過濾器插件。Redis 4.0之后可以通過模塊方式安裝bf命令常見的是RedisBloom模塊。這種方式的好處是過濾器數(shù)據(jù)集中在Redis中所有應(yīng)用實(shí)例共享同一個判斷結(jié)果不必每個實(shí)例各自構(gòu)建。缺點(diǎn)是Redis需要額外加載模塊有一定的運(yùn)維成本。BF.RESERVE order_filter 0.01 1000000 BF.ADD order_filter order_123456 BF.EXISTS order_filter order_987654第三基于Redis字符串位圖手動實(shí)現(xiàn)。用SETBIT和GETBIT命令來模擬位數(shù)組操作代碼可控性強(qiáng)不依賴額外模塊適合已有Redis集群不想引入新組件的情況。不過哈希函數(shù)需要自己在代碼里實(shí)現(xiàn)處理起來稍微繁瑣一些。2.3 布隆過濾器誤判的后果和處理方法誤判意味著某些不存在的Key會被放行到數(shù)據(jù)庫。雖然誤判率可以控制在1%甚至更低但1%的無效回源請求在千萬級QPS下依然很可觀。所以要組合使用布隆過濾器做第一層攔截攔截掉99%的穿透流量剩下1%的漏網(wǎng)之魚再用空值緩存方案兜底——把查詢結(jié)果為null的Key也緩存起來設(shè)置一個較短的過期時間比如60秒。這樣即使布隆過濾器誤判放行第二次相同請求也會被空值緩存擋住。我在實(shí)際項(xiàng)目中推薦的組合邏輯是請求進(jìn)來 - 布隆過濾器判斷不存在 - 直接返回空結(jié)果 請求進(jìn)來 - 布隆過濾器判斷可能存在 - 查Redis緩存 - 命中直接返回 請求進(jìn)來 - 布隆過濾器判斷可能存在 - 查Redis緩存未命中 - 查數(shù)據(jù)庫 - 回填緩存含空值緩存注意布隆過濾器無法刪除元素。如果想刪除舊數(shù)據(jù)只能用“定期重建過濾器”的方式或者選擇支持刪除的變體比如布谷鳥過濾器但這個變體的實(shí)現(xiàn)復(fù)雜度會明顯上升。3. 互斥鎖與邏輯過期擊穿防御的兩條實(shí)戰(zhàn)路線擊穿的核心矛盾是熱點(diǎn)Key過期后一瞬間有大量并發(fā)請求同時回源。要解決這個問題思路很簡單——讓這些請求不要同時回源而是只放一個請求去數(shù)據(jù)庫重建緩存其余請求要么等要么拿舊值。3.1 互斥鎖方案的實(shí)現(xiàn)細(xì)節(jié)互斥鎖的思路是當(dāng)緩存未命中時不是立刻查數(shù)據(jù)庫而是先嘗試獲取一把分布式鎖。拿到鎖的請求去查數(shù)據(jù)庫并回填緩存其他請求在鎖上等待然后重新讀取緩存。這里的關(guān)鍵問題是用哪種分布式鎖等待多久鎖何時釋放我推薦直接用Redis的SET NX PX命令實(shí)現(xiàn)避免引入額外的ZooKeeper或Etcd依賴畢竟Redis已經(jīng)在鏈路里了。// 嘗試獲取鎖設(shè)置5秒超時 String token UUID.randomUUID().toString(); Boolean locked redisTemplate.opsForValue() .setIfAbsent(lock:hot_key, token, Duration.ofSeconds(5)); if (Boolean.TRUE.equals(locked)) { try { // 二次檢查緩存防止在等鎖期間緩存已經(jīng)被其他線程重建 Object cached redisTemplate.opsForValue().get(key); if (cached ! null) { return cached; } // 查數(shù)據(jù)庫 Object data queryFromDatabase(key); redisTemplate.opsForValue().set(key, data, Duration.ofSeconds(600)); return data; } finally { // 釋放鎖時需要校驗(yàn)持有者身份防止誤刪其他線程的鎖 String lockValue redisTemplate.opsForValue().get(lock:hot_key); if (token.equals(lockValue)) { redisTemplate.delete(lock:hot_key); } } } else { // 沒拿到鎖休眠一小段時間后重試 Thread.sleep(50); return getFromCacheOrDb(key); // 遞歸重試注意控制重試次數(shù) }這段代碼有幾個細(xì)節(jié)值得展開。關(guān)于鎖的持有者校驗(yàn)釋放鎖時如果直接delete可能把其他線程剛獲取的新鎖誤刪。比如線程A的鎖5秒超時自動釋放線程B獲取了新鎖此時線程A的finally塊執(zhí)行delete就會把B的鎖刪掉導(dǎo)致B的互斥失效。所以釋放前必須比對value值我這里用UUID做標(biāo)識只有持有者自己才能刪除。關(guān)于等待和重試沒拿到鎖就短睡眠然后遞歸重試但這個遞歸需要加次數(shù)限制。我見過一個線上問題熱點(diǎn)Key的數(shù)據(jù)庫查詢特別慢超過鎖的5秒超時第一個線程的鎖已經(jīng)自動失效了第二個線程拿到鎖又開始查庫結(jié)果多個線程實(shí)際上都在查庫互斥完全失效。所以鎖超時時間必須大于“建緩存”的耗時通常建議壓測后確定一般取數(shù)據(jù)庫查詢耗時的3-5倍。關(guān)于JVM內(nèi)鎖的補(bǔ)充如果所有請求都落在同一個Java進(jìn)程內(nèi)用JDK內(nèi)置的synchronized或ReentrantLock做本地鎖就夠了性能遠(yuǎn)高于分布式鎖。只有當(dāng)服務(wù)是集群部署時才需要跨進(jìn)程的分布式鎖。我常用的優(yōu)化方案是“本地鎖分布式鎖”兩級結(jié)合先獲取本地鎖同一個實(shí)例內(nèi)的并發(fā)先被本地鎖擋掉只有不同實(shí)例之間才需要競爭分布式鎖。這種方式能大幅減少Redis鎖請求的壓力。3.2 邏輯過期方案用舊數(shù)據(jù)扛過真空期互斥鎖的痛點(diǎn)是如果熱點(diǎn)Key過期瞬間有大量請求在等待響應(yīng)時間會變長重試也會占用線程資源。邏輯過期方案則完全不同——它不存在“緩存過期”的概念。具體做法是緩存數(shù)據(jù)中額外存儲一個邏輯過期時間字段但Redis中的Key本身不過期或者設(shè)置一個很長的物理過期時間。請求讀取到數(shù)據(jù)后先判斷邏輯過期時間是否已到。如果沒過期直接返回如果已過期則嘗試獲取互斥鎖獲取成功后開啟一個異步線程去數(shù)據(jù)庫更新緩存當(dāng)前請求則直接返回“過期的舊數(shù)據(jù)”。public Object getProductInfo(String key) { // 從緩存讀取Redis中的Key永不過期 String json redisTemplate.opsForValue().get(key); if (json null) { return null; // 理論上這種情況非常少Key被手動清理了 } CacheEntry entry JSON.parseObject(json, CacheEntry.class); if (entry.getExpireTime() System.currentTimeMillis()) { return entry.getData(); // 邏輯時間未過期直接返回 } // 邏輯過期嘗試獲取鎖異步刷新 if (tryGetLock(key)) { try { // 異步更新緩存 executorService.submit(() - { Object data queryFromDatabase(key); String newJson JSON.toJSONString(new CacheEntry(data, System.currentTimeMillis() 600_000)); redisTemplate.opsForValue().set(key, newJson); }); } finally { releaseLock(key); } } // 未拿到鎖的請求直接返回舊數(shù)據(jù) return entry.getData(); }這個方案的核心優(yōu)勢是請求永遠(yuǎn)都不會因?yàn)榫彺孢^期而等待響應(yīng)時間穩(wěn)定。核心缺點(diǎn)是在緩存異步更新的窗口期內(nèi)用戶看到的是舊數(shù)據(jù)。對于實(shí)時性要求不高的場景比如商品詳情、文章內(nèi)容、配置信息這個缺點(diǎn)完全可以接受。但如果數(shù)據(jù)是余額、庫存這種強(qiáng)一致要求的數(shù)據(jù)就不能用邏輯過期。這里有一個生產(chǎn)環(huán)境常見的坑異步線程池如果處理不過來緩存永遠(yuǎn)不更新舊數(shù)據(jù)會一直返回。所以要給這個線程池加上合理的隊(duì)列大小、拒絕策略和監(jiān)控報警。我一般用獨(dú)立線程池核心線程數(shù)和最大線程數(shù)根據(jù)數(shù)據(jù)庫能承受的并發(fā)來定同時監(jiān)控隊(duì)列深度超過閾值就報警。4. 雪崩防御多級緩存與過期時間的藝術(shù)雪崩的殺傷力在于覆蓋面大動輒幾十上百個Key同時失效。防御思路也分兩條一是讓失效時間分散二是讓數(shù)據(jù)庫上面不止緩存一道防線。4.1 過期時間的隨機(jī)化與業(yè)務(wù)錯峰最基礎(chǔ)的方案是把固定的過期時間改成“基礎(chǔ)過期時間隨機(jī)偏移量”。比如原來統(tǒng)一3600秒現(xiàn)在改成“3600 隨機(jī)數(shù)60~600秒”。這個策略在代碼里改動最小卻能顯著降低同時失效的概率。基礎(chǔ)時間 隨機(jī)偏移 實(shí)際過期時間 3600 random(60, 600) 3660~4200秒要注意的一點(diǎn)是不要所有Key都用一個隨機(jī)算法生成完全隨機(jī)的過期時間那樣會導(dǎo)致緩存命中率下降。更好的做法是“按業(yè)務(wù)分組打散”。比如活動頁面的Key集中在300~600秒隨機(jī)商品詳情的Key集中在3600~7200秒隨機(jī)這樣同類Key的過期時間大致在一個接近的區(qū)間但具體時間點(diǎn)錯開既保持了緩存效果又避免了集中失效。另一個工程上的細(xì)節(jié)很多團(tuán)隊(duì)用同一個RedisTemplate的set(key, value, time)方法設(shè)置緩存如果key的命名規(guī)則里包含業(yè)務(wù)前綴可以通過前綴來配置不同的隨機(jī)范圍。我習(xí)慣在緩存工具類中維護(hù)一個過期時間策略表用Map維護(hù)前綴和隨機(jī)范圍新增緩存場景時只需要加一行配置而不需要到處改業(yè)務(wù)代碼。4.2 多級緩存把壓力分散到更靠近用戶的地方當(dāng)Redis整實(shí)例宕機(jī)時隨機(jī)化過期時間完全失效。這時真正能扛住的是多級緩存架構(gòu)。常見的分級是本地緩存Caffeine - Redis緩存 - 數(shù)據(jù)庫。本地緩存放在應(yīng)用進(jìn)程內(nèi)讀寫納秒級不依賴網(wǎng)絡(luò)。即使Redis掛了只要本地緩存還有數(shù)據(jù)請求就不會打到數(shù)據(jù)庫。這里最常用的組件是Caffeine它支持基于時間的過期策略和基于大小的淘汰策略。CacheString, Object localCache Caffeine.newBuilder() .maximumSize(10_000) // 最多緩存1萬個Key .expireAfterWrite(Duration.ofSeconds(30)) // 寫入30秒后過期 .build();讀流程變成讀取本地緩存 - 未命中則讀取Redis - 未命中則查數(shù)據(jù)庫 - 回填兩級緩存這里強(qiáng)調(diào)一個關(guān)鍵點(diǎn)本地緩存的過期時間必須比Redis短。否則本地緩存長期持有舊數(shù)據(jù)Redis中的數(shù)據(jù)更新后本地緩存感知不到就會出現(xiàn)數(shù)據(jù)不一致。常見的設(shè)置為本地緩存30秒Redis緩存10-15分鐘。這樣Redis更新后最多30秒內(nèi)本地緩存會過期重新從Redis拉取新數(shù)據(jù)。多級緩存最大的槽點(diǎn)是數(shù)據(jù)一致性。如果后臺更新了數(shù)據(jù)庫需要主動失效Redis中的舊緩存但本地緩存分布在每個應(yīng)用實(shí)例中無法統(tǒng)一失效。我的實(shí)踐經(jīng)驗(yàn)是對一致性要求不高的讀取場景接受本地緩存30秒的短時不一致對一致性要求較高的場景不要加本地緩存直接走Redis。4.3 Redis高可用的兜底還有一個層面需要重視Redis本身的可用性。Redis主從切換、哨兵、集群模式都是基礎(chǔ)設(shè)施層面的雪崩防御。但要注意的是即便Redis是高可用的主從切換的那幾秒內(nèi)緩存寫入依然可能失敗。所以在業(yè)務(wù)代碼中寫緩存必須捕獲異常并降級不能因?yàn)镽edis報錯而影響主流程。try { redisTemplate.opsForValue().set(key, value, timeout); } catch (Exception e) { // Redis異常時降級本次不寫緩存下次請求繼續(xù)嘗試 log.warn(write redis failed, e); }同理讀緩存也要做降級。如果Redis讀超時不要拋異常讓請求失敗而是直接返回null并進(jìn)入數(shù)據(jù)庫查詢流程。雖然這會加重數(shù)據(jù)庫壓力但至少業(yè)務(wù)是可用的配合熔斷機(jī)制可以控制住影響范圍。5. 一套完整的防御體系高并發(fā)讀接口的落地框架前面分別講了穿透、擊穿、雪崩的防御手段但真實(shí)的生產(chǎn)環(huán)境要的是把這些手段組合成一個統(tǒng)一的讀接口框架而不是在每一個業(yè)務(wù)代碼里東拼西湊。我構(gòu)建過一套比較通用的“四級防御”讀接口在這里給出完整的設(shè)計。5.1 四級防御鏈路拆解整個讀請求的流程可以分為四層第一層本地緩存。Caffeine承載過期時間30秒。這一層的目的是扛住極端QPS下對Redis的壓力。如果本地緩存命中整體響應(yīng)時間在毫秒級。第二層布隆過濾器。判斷Key是否可能存在。如果不存在直接返回空結(jié)果或緩存中的空標(biāo)記杜絕穿透流量進(jìn)入數(shù)據(jù)庫。布隆過濾器可以放在RedisRedisBloom模塊中也可以放在本地Guava根據(jù)數(shù)據(jù)量權(quán)衡。第三層Redis緩存。承載主要的緩存命中流量過期時間根據(jù)業(yè)務(wù)配置采用基礎(chǔ)時間隨機(jī)偏移。這一層是系統(tǒng)的主力緩存層。第四層數(shù)據(jù)庫。只有前面三層全部未命中才會到達(dá)這一層。到達(dá)這一層時還要用互斥鎖控制并發(fā)回源的數(shù)量保證同時只有少數(shù)請求在查庫。5.2 統(tǒng)一的讀接口模板代碼下面是我常用的一個泛型化模板的骨架業(yè)務(wù)方只需要傳入Key生成函數(shù)和數(shù)據(jù)庫查詢函數(shù)public T T queryWithDefense(String key, FunctionString, T dbQuery, ClassT clazz) { // 本地緩存1Caffeine Object local localCache.getIfPresent(key); if (local ! null) { return (T) local; } // 防線2布隆過濾器不存在直接返回 if (!bloomFilter.mightContain(key)) { return null; } // 防線3Redis緩存 String json redisTemplate.opsForValue().get(key); if (json ! null) { T data JSON.parseObject(json, clazz); localCache.put(key, data); // 回填本地緩存 return data; } // 防線4互斥鎖控制回源 T data loadFromDbWithLock(key, dbQuery, clazz); if (data ! null) { localCache.put(key, data); } return data; }要注意的是這個模板把布隆過濾器的判斷放在Redis緩存之前。這么做的原因是布隆過濾器的查詢時間比較快而且如果它判斷Key不存在就沒有必要再去Redis執(zhí)行一次G一邊GET。另一個細(xì)節(jié)如果業(yè)務(wù)允許一定程度的延遲這里的“防線2”可以在本地緩存中實(shí)現(xiàn)但如果布隆過濾器數(shù)據(jù)量較大本地內(nèi)存撐不住就必須放在Redis中。5.3 實(shí)測效果與調(diào)優(yōu)參數(shù)參考我把這套框架用在一個商品詳情接口上壓測結(jié)果供大家參考接口原生QPS約800數(shù)據(jù)庫單機(jī)可承受約2000 QPS的查詢。加四級防御后Jmeter壓測線程數(shù)從100調(diào)到1000數(shù)據(jù)庫實(shí)際接收的查詢QPS穩(wěn)定在30左右接口P99響應(yīng)時間從40ms降到了12ms。主要參數(shù)配置是這樣的參數(shù)值說明本地緩存過期時間30秒必須小于Redis緩存過期時間本地緩存最大條目10000防止內(nèi)存溢出需要根據(jù)Heap大小調(diào)整Redis緩存過期時間600秒隨機(jī)120秒兼顧命中率和防雪崩布隆過濾器預(yù)計元素量實(shí)際數(shù)據(jù)量×1.1留出10%余量布隆過濾器誤判率0.01取值越低內(nèi)存越大鎖超時時間5秒大于數(shù)據(jù)庫慢查詢耗時異步刷新線程池核心4最大8隊(duì)列1000根據(jù)數(shù)據(jù)庫能力配置這個配置不是固定不變的僅供參考。核心原則是數(shù)據(jù)庫回源量必須壓到數(shù)據(jù)庫能承受的范圍以內(nèi)同時保證緩存命中率在95%以上。6. 常見問題與排查技巧實(shí)錄在實(shí)際維護(hù)這套體系的過程中我踩過不少坑也總結(jié)了一些排查路徑。單獨(dú)拎出來說一遍可能比上面那些代碼更有價值。6.1 布隆過濾器誤判偏高怎么辦誤判率升高先別急著調(diào)大位數(shù)組。排查一下是不是數(shù)據(jù)量增長超出預(yù)期導(dǎo)致初始化的n值過小。比如你初始化的預(yù)計元素量是100萬實(shí)際寫進(jìn)了500萬誤判率會急劇升高。解決辦法是監(jiān)控過濾器中的BF.INFORedisBloom或者布隆過濾器當(dāng)前元素數(shù)的估算值超過預(yù)計量的80%就觸發(fā)自動重建或者提前把預(yù)計量設(shè)大一點(diǎn)。還有一個容易忽略的問題業(yè)務(wù)代碼中對Key的序列化方式不統(tǒng)一。有的地方用String有的地方用DigestUtils.md5DigestAsHex做了哈希如果Key的格式不統(tǒng)一布隆過濾器中的數(shù)據(jù)和查詢的數(shù)據(jù)無法對應(yīng)會產(chǎn)生大量“假誤判”。排查時可以先打日志確認(rèn)同一個Key在寫入和查詢時經(jīng)過的字符串是否完全一致。6.2 互斥鎖失效緩存被重復(fù)重建鎖失效最典型的場景是持鎖線程執(zhí)行時間超過了鎖的自動過期時間。鎖被Redis自動刪除后其他線程又拿到新鎖造成多個線程同時查庫。排查時看日志里“acquire lock”和“release lock”的間隔如果經(jīng)常接近鎖超時時間說明建緩存過程太慢需要優(yōu)化數(shù)據(jù)庫查詢或者把鎖的超時時間拉長。還有一個更隱蔽的問題鎖的key設(shè)置了過期時間但釋放鎖時用delete命令如果恰好在這個時刻鎖已經(jīng)過期刪除操作就會把別人剛創(chuàng)建的新鎖刪掉。前面代碼里面已經(jīng)提到解決方案就是用UUID作為鎖的value并校驗(yàn)后再刪。這個細(xì)節(jié)能擋住很多人都會踩的坑。6.3 多級緩存數(shù)據(jù)不一致如何緩解多級緩存一定會面臨不一致的問題。Redis更新了本地緩存可能還是舊數(shù)據(jù)數(shù)據(jù)庫更新了Redis緩存也還是舊數(shù)據(jù)。我的建議是不要追求強(qiáng)一致而是把一個可接受的不一致時間明確寫進(jìn)文檔。對于主動更新的場景可以在更新數(shù)據(jù)庫后先刪Redis緩存再通過延遲雙刪1秒后再次刪除來清理可能被讀請求重新寫入的舊緩存。本地緩存這邊如果框架支持消息通知可以通過Redis的Pub/Sub廣播一個“清本地緩存”的消息如果沒條件就接受它最多30秒的過期時間。重要提示多級緩存的一致性考驗(yàn)的不是技術(shù)而是業(yè)務(wù)容忍度。設(shè)計架構(gòu)前先和業(yè)務(wù)方確認(rèn)數(shù)據(jù)更新后最多可以接受多少秒的延遲把這個數(shù)字寫清楚比你用再高級的組件都重要。6.4 緩存回填風(fēng)暴的預(yù)防當(dāng)大量緩存同時失效時回填過程本身也會造成數(shù)據(jù)庫壓力。除了隨機(jī)過期時間以外還有個技巧是“回填節(jié)流”——不是所有請求都去數(shù)據(jù)庫回填而是只讓一部分請求去查詢其他請求直接返回默認(rèn)值或空數(shù)據(jù)。比如用互斥鎖保證同一時刻只有一個請求回填或者用一個“回填信號量”控制全局的最大回填并發(fā)數(shù)。我在高并發(fā)場景下還用過一種“漸進(jìn)式回填”緩存失效時返回的舊數(shù)據(jù)里帶一個refresh_after字段表示“這個數(shù)據(jù)最多再服務(wù)多久”。到達(dá)這個時間后只允許一個異步任務(wù)去刷新而同步請求永遠(yuǎn)拿舊數(shù)據(jù)。這是邏輯過期方案的變種非常適用于數(shù)據(jù)更新不頻繁但讀取量極大的場景。7. 這些方案的邊界和取舍布隆過濾器、互斥鎖、多級緩存這些方案都不是銀彈它們有各自的邊界。我在實(shí)際項(xiàng)目中反復(fù)調(diào)整過很多次逐漸摸索出一些取舍的經(jīng)驗(yàn)。布隆過濾器最大的邊界是它只能用于“判斷存在性”不適合作為唯一的穿透防御。如果業(yè)務(wù)中合法請求都是“近期創(chuàng)建的數(shù)據(jù)”那么布隆過濾器很快就會被塞滿重建成本很高。這種情況下空值緩存也許更直接。兩種方案可以組合空值緩存放Redis布隆過濾器放本地前者兜底后者攔截絕大多數(shù)惡意流量。互斥鎖的邊界在于它本質(zhì)上是在“用性能換一致性”——請求需要等待必然增加延遲。如果熱點(diǎn)Key的過期頻率很高比如每分鐘都過期那么鎖競爭本身就會成為新的瓶頸。這時候邏輯過期方案更合適因?yàn)樗鼛缀鯖]有鎖等待。多級緩存的邊界在于“數(shù)據(jù)一致性”和“內(nèi)存成本”。本地緩存的引入意味著每個應(yīng)用實(shí)例要額外占用內(nèi)存如果緩存條目太大會導(dǎo)致JVM GC壓力上升。選擇哪些數(shù)據(jù)進(jìn)本地緩存、哪些只走Redis需要按數(shù)據(jù)熱度來分。熱度高的、讀取量大的、一致性要求低的數(shù)據(jù)才適合放本地。我個人的原則是先解決主要矛盾。如果問題是穿透流量大優(yōu)先上布隆過濾器如果問題是熱點(diǎn)數(shù)據(jù)偶爾過期導(dǎo)致抖動優(yōu)先上互斥鎖如果問題是周期性雪崩優(yōu)先隨機(jī)化過期時間。不要一上來就上一個全量的“緩存防御全家桶”復(fù)雜度會翻倍排查問題的難度也會翻倍。8. 一次真實(shí)事故的復(fù)盤從報警到修復(fù)的完整思路最后分享一次我親身經(jīng)歷的事故把前面這些理論串起來看效果會更好。某次大促預(yù)熱期凌晨兩點(diǎn)監(jiān)控突然報警數(shù)據(jù)庫CPU打滿慢查詢暴漲。查看Redis的hit ratio從平時的98%掉到了76%。第一反應(yīng)是查RedisKey的過期情況發(fā)現(xiàn)大量活動相關(guān)的Key同時過期——運(yùn)營同學(xué)在后臺定時任務(wù)里批量刷新活動數(shù)據(jù)刷新代碼統(tǒng)一設(shè)置的過期時間是300秒而定時任務(wù)每5分鐘執(zhí)行一次相當(dāng)于每300秒就有幾百個Key同時被重建。解決思路分了三步第一步止血。臨時把定時任務(wù)的刷新邏輯改掉刷新完成后不刪舊緩存而是先更新數(shù)據(jù)庫再通過異步任務(wù)在后臺批量重寫緩存讓緩存過期時間錯開。這一步花了5分鐘數(shù)據(jù)庫壓力立即回落。第二步治理。把活動緩存代碼統(tǒng)一改成隨機(jī)過期時間并且加了一個開關(guān)如果某個批次Key的數(shù)量超過閾值就隨機(jī)挑選其中一半先刷新剩下的延遲30秒再刷新避免瞬時并發(fā)回填。第三步預(yù)防穿透。大促當(dāng)天存在大量用戶反復(fù)刷新不存在的活動頁面布隆過濾器提前添加了所有活動ID的集合無效請求在過濾器就直接被攔掉。事故復(fù)盤后我意識到一個核心問題很多緩存故障不是技術(shù)方案不行而是業(yè)務(wù)側(cè)的定時任務(wù)、批量操作沒有考慮緩存失效的“共振效應(yīng)”。技術(shù)防御是必要的但更重要的是在業(yè)務(wù)流程中加入緩存意識——比如批量更新數(shù)據(jù)的任務(wù)一定要把“集中過期”作為一項(xiàng)風(fēng)險來評估。這套防御體系我的建議是你不用全上根據(jù)自己的業(yè)務(wù)體量從布隆過濾器或互斥鎖選一個開始逐步疊加。先把最痛的那一個問題解決了再考慮引入更多組件。緩存這層看上去簡單但真正要扛住高并發(fā)那些“緩存失效瞬間”的處理才見功底。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 内射爽无广熟女亚洲| 欧美又粗又大一区二区在线观看| 欧美日韩国产一二区| 日日操夜夜爽| 第六色在线| 国产午夜精品一区二区三区嫩草| 色综合99无码 | 我要色综合五月婷婷| 婷久久久| 成人国产欧美大片一区| 爱射综合| 激情综合网五月婷婷| 欧美日本VA| 黄桃AV无码免费一区二区三区 | 天天成人综合视频| 日本99视频| 无码视频国内精品久久久| 5月婷婷6月六月丁香| 美欧日韩国产成人在战| 六月婷婷AV| 婷婷色婷婷| 天天舔天天爽| 日本 @ va 免费| 伊人91| 婷婷五月丁香综合亚洲| 99精品在线| 久久人妻久久| 婷婷中文字暮| 无码色色| 丁香五月Av| 日韩砖区| 激情开心五月婷婷| 久久久久久天天日天天爱| 激情淫乱男女| 国产毛多水多女人A片| 婷婷99狠狠躁| 六月婷婷色五月| www.婷婷,com| 9久操| 思思久久99热只有频精品66| 欧美日韩99| 五月丁香啪| 日本噜噜色网| 五月婷AV| 五月天天爱| 九九热手机在线视频| 人人97碰| 狠狠搞五月天| 五月激情网五月综合网| www.日日日.com| 国产激情在线| 开心五月婷婷婷美女| 婷婷五月综合中文字幕| a片在线免费观看一区| 99热久久这里只有精品| 五月激情四射网站| 色色五月天com| 色色激情| 91在线视频观看午夜福利| 少妇性BBB搡BBB爽爽爽视頻| 丁香99| 伊人九九68| 婷婷色在线| 大香蕉久操| 九九热精品| 99热综合网| 男人天堂99| 狠狠色噜噜狠狠| 五月丁香综合中文| 久热免费| 中国女人做爰A片| 婷婷97狠狠成人网站| 综合网亚洲| 日韩aaaaa| 秋霞性爱AV| 色综合99| 久久九九99.www| 五月丁香狠狠爱婷婷综合| 亚洲午夜成人av电影网| 色在线免费观看| 日本丰满久久| 玖玖色综合网| 97干在线视频| 狠狠久综合| 九九草热在线观看| 五月天综合| 五月天丁香综合久久国产| 在线观看av网站| 丁香五月天.com| 六月婷婷av| 色婷视频| 久久超视频| 丁香花五月天激情| 激情五月丁香综合网站| www.婷婷| 国产亚洲色婷婷久久99精品9j| 色婷婷AV在线| 热这里| 天天色·欧美| 性生活视频98791| 伊人激情影院| 9热在线| 色色五月激情| 六月丁香成人| 婷婷五月天基地| av在线免费播放| av狠狠操| 久久五月婷婷丁香| 五月天激情婷婷小说| h在线看免费版在线看| 丁香婷婷六月天| 五月天婷婷综合网| 琪琪色影音先锋| 啪啪啪综合网| 日韩色色视频| 色色色com| 爱操人妻| 日韩av在线电影| 国产做爰视频免费播放| 色婷婷色99国产综合精品| 中文不卡一二三区| 色婷婷五月丁香色| 五月丁香中文| 亚洲久久婷婷| 日日操夜夜撸| 亚洲天堂99| 婷婷丁香视频| 五月婷婷啪啪| 狠狠看狠狠| 婷婷六月激情综合| 五月停性愛| 99免费成人网| 丁香五月在线播放| 丁香五月激情宗合| 色999亚洲人成色| 黄色短视频在线观看| 色墦五月丁香| 综合久久婷婷| 在线网黄| 996er热| 色级婷婷| 婷婷性爱五月天| 97人人射| 就爱啪啪婷婷| 少妇出轨做爰高潮A片| 99九九精品| 97丁香五月| 丰满老熟妇BBBBB搡BBB| 中文不卡一二三区| 欧美成人猛片AAAAAAA| 人妻22p| 五月激情六月丁香| 色爱99| 色色 9| 色婷婷狠狠禁18久久| 26UUU| 狠狠色噜噜狠狠狠狠综合| 久久全色| 日韩av在线电影| 99资源人人| 韩国婷婷丁香五月| 日韩三级高清无码| 26UUU欧美| 大香蕉太香蕉视频97| 久久婷婷五月激情网站| 九九综合影音先锋| 综合网亚洲| 国产裸舞表演WWWW| 日韩成人影片在线观看| 久色大| 狠狠色大香蕉| 久热这里| 99国产性感视频| 亚洲精品一二三| 五月人人丁香婷婷五月人人丁香| 99日热在线视频| 五月婷婷自拍视频| 国产老熟妇亲子乱对白| 成片免费播放| 狠狠色综合精品视频在线| 毛片九九九九九九| 99re在线观看| 五月丁香欧美综合免费视频| 综合爱久久| 亚洲亚洲人成综合网络| 婷婷激情小说| 狠狠色丁香综合| 久久久久人妻| 天天操天天草天天草天天| 97色射| 欧美精品熟女一区二区| 天堂久久婷婷| 国产毛片精品一区二区色欲黄A片| 九九热AV| 99热免费| 99精品国产热久久91色欲| 婷婷五月天综合久久| 综合图区激情| 免费色色色| 久久杏爱视频| 丁香六月啪| 久久久久久天天日天天爱| 国产午夜精品AV一区二区麻豆| 免费试看小视频 99| 六月丁香AV| 97精品自拍视频| 日韩综合网络男女香蕉a片| 男人的天堂五月丁香| 天天色播| 丁香婷婷五月人体| 欧美情色一区| 丁香婷婷久久| 色日本五月天| 色五月视频无码播放| 夜夜爱爱亚洲| 中文成人在线| 婷婷五月天亚洲综合| 五月天天天综合| 最新国产AV| 大香蕉婷婷五月| 成人五月天丁香| 玖玖婷婷五月天| 婷婷五月天成人网| 婷婷综合色五月天| 亚洲色欲欧美一区二区三区| 26uuu精品一区二区| 777精品久无码人妻蜜桃| 亚洲五月花| 黄网免费看| 夜夜操加勒比| 婷婷伊人綜合中文字幕小说| 色色色色色色色色五月先| 五月色婷婷影视在线电影| 色爱综合五月| 久久久宗合视频88| 99热这里只有精品55| 婷婷五月另类网站| 色综合天天天天做夜夜| 色婷婷AV五月天| 九九操操| 五月婷婷AV| 色五月中文字幕| 久久9热好| 日韩高清成人| 丁香五月手机在线| 亚洲精品永久久久久久| 天天做天天爱天天玩夜夜爽| 在线五月色播| 激情99。| 99热欧| 人人插9| 教师性爱毛片| 欧美色骚婷婷五月天| www久久久久久| 五月天色综合| 伊人99热| 乱精品一区字幕二区| 丁香六月婷婷| 亚洲a色| 婷婷久久精品| 激情亚洲婷婷| 任你艹| 99ri精品在线| 成人国产综合| 六月婷婷五月丁香| 99精品久久| 99热在这里只有精品| 婷婷五月天社区| 五月天播播| 噜噜精品| 96精品久久久久久久久| 色99在线视频| 疯狂做受XXXX高潮A片| 国产JK精品白丝AV在线观看| av免费在线看不卡无毒| 99在线综合视频| 91九色PORNY中文啦| 丝雨一区二区| 第四色五月婷婷| 99日在线观看视频| 色色色五月婷婷| 色五月网址| 成人五月天婷婷| 色婷婷婷av| 丁香五月天色| 五月激情婷婷女| 婷婷丁香色情五月天| 日本黄色一级| 婷婷五月五月丁香| 婷婷综合在线播放| 激情婷婷五月女| 丁香五月婷婷五月天在线| eeuss人妻| 免费99情趣网视频| 亚洲五月天婷婷在线| 六月丁香六月婷婷欧美| 九久9精品| 这里只有精品视频| 色亭亭九月| 97热久久五月婷婷| 2050人人操免费工开爱| 四色AVwww| 无码色| 婷婷综合激情| 日韩精品一曲二曲三曲四曲五曲| 东北黄色一级| 99热这里只有精品亚洲| 婷婷玖玖五月天| 99热免费在线| 99视频91| 噜噜噜精品欧美成人在线观看| 色五开心五月五月深深爱| 天天日天天干天天天| 激情婷婷久久| 婷婷丁香18| 丁香五月最新地址| 久久九九99字幕| 丁香五月天无码| 婷婷五月天av| 丁香五月婷婷国产av| 狠狠色大香蕉| 五月综合色播播丁香婷婷| 日日影院 | 中文字幕欧美日韩VA免费视频| 99精品在线| 超碰五月婷婷五月天| 97精品在线| 亚洲噜色| 另类少妇人与禽zOZZ0性伦| 久久久人人操A V| 国产色丁香| 五月婷婷中文字幕| 超碰人妻在线| 97干97色| 婷婷五月天天爽| 久久综合99综合| 99热碰碰热| 亚洲亚洲人成综合网络| 最新久久网址| 婷婷娌伦网| 97爱艹婷婷开心丁香激情综合| www.婷婷亚洲基地| 婷婷刺激综合| 中文网婷婷字幕婷| 日日色五月天| 狠狠穞A片一區二區三區| 99视频在线观看视频| 无码毛片992367| 五月色婷| 综合激情在线| 中文字幕,综合,91| 99热爆在线| 日韩一区二区在线播放| 日日噜噜夜夜狠狠久久丁香六月| 激情六月丁香| 91色综合网| 日本欧美啪啪| 综合五月天天天天天五月| 99性视频| 久久只有精| 97人人操人人| 啪啪婷婷五月天激情| 久色资源| 婷婷伊人五月丁香天堂网| 婷婷综合在线观看视频| 国产操B| 亚洲精品操一操、噜一噜、摸一摸、爽| 九九综合色综合| 99热欧美精品| 五月婷婷色影院| 五月丁香色婷基地综合久久| 亚洲综合视频网| 五月开心啪啪| 狠狠干综合网| 六月婷婷最新网址| 精品久久久999| 在线资源av-超碰中文在线-成人AV| 五月婷婷在线视频观看| 精品久热| 久久桃花网色婷婷| 欧洲色色| 2014天天爽| 思思99热| 深夜A片| 熟妇国产| 五月婷婷在线免费观看| 噜噜干日本| 九九久久综合| 久久五月丁香六月婷| 农村熟妇高潮精品A片| 日日婷婷不卡| 国产a视频| 亚洲色图五月丁香| 琪琪秋霞| 无码碰碰| 日韩啪啪视频| 成人五月天色天堂| 丁香操逼| 99热最新| 操一操插一插| 色99热| 人妻久久久久久久| 狠色色狠网| 色色五月丁香婷婷| 成人.在线日韩| 日韩av网址大全| 久久一级片| 久久ww| 五月天婷婷青青| 婷婷热色| 天天日天天插| 久久爱婷婷| 婷婷五月成人| 五月天久久色| 大香蕉五月天| 五月婷婷欲色| 9.1综合网| 99在线视频观看| 激情 婷婷| 久久综合激情五月天| 久月久在线视频| 九月婷婷激情| 久热精品视频| 五月丁香久久网| 996黄色片| 丁香五月天啪啪| 思思热在线视频99| 99综合色色色| 欧美五月婷婷| 激情婷婷五月综合| 大香蕉久久青青| 丁香五月综合婷婷| 无人精品在线视频| 亭亭五月激情亚洲在线| 国产精品噜噜在线视频| 久碰视频| 九九九九国产| 婷婷综合精品| 激情五月色综合网| 婷婷丁香五月天熟女丝袜| 丁香六月啪啪| 亚洲成人网站在线观看| 色色色欧美| 五月婷婷激情综合av| se99在线| 婷婷激情鹿城五月天| 大香蕉婷婷色| 激情综合网址| 久久婷婷五月丁香网| 婷婷丁香五月基地| AV在线二十六页| 婷婷在线网| 五月婷婷激情网| 五月激情婷婷在线| 五月丁香六月色| 成人版视频在线观看| 99re热视频这里只精品| 青青草激情网| 99这里只有精品| 六月激情婷婷| 激情五月婷婷在线观看| 亚洲无码色| 成人色五婷婷| 五月天成人网在线观看| 第五色婷婷| 丁香狠狠色婷婷久久无码视频| 亚洲激情综合五月婷婷啪啪| 婷婷五月激情四月综合| 婷婷五月色网| 丁香五月婷婷AV| 欧美伊人9| 婷婷久久18| 在线看黄色| 丁香六月婷婷综合欧美| 久草视频一,二三四| 欧美99视频| 久久网日本| 日韩亚洲视频| 丁香五月婷婷六月婷| 春色激情第四色| 99只有这里是精品| 夜夜骑天天操| 成人av免费观看| 色九月| 免费黄色片子| 怡春院天天干| 丁香婷婷五月色成人网站| 91碰视频| 全亚洲最大的婷婷五月天网站COM| 激情六月五月婷婷综合网| 婷婷中文字幕版| 成人精品视频99在线观看免费 | 国产操B视频| 五月激情六月宗合| 五月丁香六月婷| 中文字幕欧美日韩VA免费视频| 天天做天天爱天天爽| 超PEN精品在线| 中文字幕丁香五月| 大香蕉五月丁香| 色婷插| 五月丁香福利| 日本婷久久| 97在线/亚洲| av性爱网站| 久99热在线观看| 五月天综合色| 久久99人人| AV成人在线播放| 丁香五月天色| 丁香五月激情综合| 成人.在线日韩| 五月丁香婷婷综合网色欲| 超碰人妻在线| 久久人妻伊人| 大香蕉久久| 丁香五月婷综合| 色婷婷五月影视| 天天夜天天色天天| 九九热精品| 亚洲情欲久久| 丁香六月婷婷高清| 色综合色色| 人人操超碰| 婷婷激情中文综合| 中文AV在线观看| 小香蕉av| xxxx五月激情| 激情综合在线观看| 免费观看高清无码| sewuyuejiqingwang| 欧美色九| 色9999综合久久| ri电影在线| 六月久久婷婷| 六月婷婷日| 九九热这里有精品23| 五月丁香久久| 亚洲视频码| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888| 思思热视频在线| 亚洲情综合五月天| 色色综合成人网| 五月天com| www,99热在线观看| 亚洲另类久久| 无码激情AAAAA片-区区| 婷婷五月激情四月综合 | 国语精品探花| av大片在线| 26uuu国产色| 99热偷拍| 在线视频你懂得| 超碰人人99| 日本色色影院| 国产成人亚洲综合A∨婷婷| 五月婷婷丁香91| 99热久久这里只有精品| 日本99热| 亚洲激情无码久久| 欧美 日韩 人妻 高清 中文| 99热在线免费观看精品| 天天拍天天操| 色色丁香五月婷婷| 超碰在线观看三级片| 亚洲俩性性爱图片久久第六页 | 99精品国产乱码久久久人妻| 丁香六月视频| 国内一级片| 97久久香草精品视频| 成人做爰高潮A片免费视频| 人人爱干人人爱草| 午夜天堂一区人妻| 人人看人人要| 96色婷婷| 九热免费视频| 99er6免费视频热播| 伊人五月天在线| 色五月婷婷久久| 六月丁香激情网| 97亚洲色 torrent magnet| 久久人妻精品| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 久久婷婷五月综合色天| 久久九九国产精品怡红院| 激情久久 婷婷| 亚洲av日韩无码| 九月丁香| 日韩AV在线影片| 96五月丁香熟女| 亚洲色综合色网| 色噜噜狠狠色综合成人网| 99热在线中文字幕| 婷婷五月天社区| 五月丁香久久呀| 五月婷婷丁香网| 99久在线精品| 亚洲色欲欧美一区二区三区| 色九月综合| Av性爱网站| 五月丁香六月婷| 久久99婷婷| 最近中文字幕大全免费版在线| 西瓜美女a片| 黄页免费一级视频懂色| 97久久超碰| 五月亭亭六月激情| 日本乱论99| 色五月天综合网| 99热骚货| 色欲天天综合| 久久婷婷六月综合国际| 天天综合五月| 五月天婷爱综合| 超碰伊人碰婷婷五月| www.婷婷五月| 色丁香影院| 九九热AV| 丁香花五月天社区| 精品人妻伦九区久久AAA片| 99er热精品视频| 久久99热这里只有精品首| 婷婷伊人综合| 这里只有精品久久| 性热视频99精品| 色欲日日躁| www.97碰碰com| 国产伦亲子伦亲子视频观看| 日本九九视频| 直接看的AV网站| 99啪啪| BlACKEDRAW视频一区二区| 天天综合在线网| 无码任你操| 丁香五月日本| 欧美日韩一a.无| 視频福利乱色| 丁香五月激情五月| 婷婷丁香视频在线观看免费| 99ri精品| 天堂草在线观| 婷婷五月花免费视频在线| 色色影院黄大片| 国产古装妇女野外A片| 人人摸人人操人人爽| 夜丁香综合| 五月色无码| 色九九综合| 九九超碰人人| 大香蕉丁香| .青娱乐天天操B| 色婷婷电影网| 中文AV网| www.夜夜操.com| 91精品无码| 五月婷婷丁香俺日污视频| 我爱婷婷五月天综合88| 五月天另类综合网| 天天免费成年人视频| 日韩不卡DvD| 九九精彩久久| 激情五月天婷婷视频| 丁香五月激情六月欧亚激情综合导航| 六月婷久久| 天堂爱啪啪| 久久久久久xxxxx| 极品少妇XXXX精品少妇偷拍| 99riAV国产精品视频| 欧美精品99| 亚洲无码色| 婷婷激情综合色五月久久91| 婷婷五月久久| 久久色六月| www激情| 日韩中文欧美| 99热这里只有精品8| 天天色综网| 夜夜操天天干| 思思热在线观看| 天堂成人A片永久免费网站| 99热在线观看| 国产成人精品123区免费视频| 99色| 岛国AAAV| 亚洲av无码精品色午夜| 99热高清在线| 爆乳熟妇一区二区三区爆乳照片| 久久九九爽| 26uuu青青| 久久黄色免费视频| 五月丁香欧美在线| 久久综合五月天| 色婷婷9| 人人干人人看| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 成人在线视频一区| 天天搡日日搡aaaaⅩ| 激情五月天婷婷图| 天天爽曰日爽| 思思久久精品| 色五月婷婷丁香五月| 激情五月天色色| 久久久宗合视频88| 色婷婷瘦婷婷日韩| 美女天天艹人人爽| 五月丁香激情六月| 99re在线视频| 疯狂做受XXXX高潮A片动画| 日韩在线视频9色| 懂色av蜜臀av粉嫩av永陈冠希| 中文字幕av在线| 激情精品久久| 婷婷激情小说| 天天弄天天操| 91人人妻人人操人人爽| 中文字幕综合网| 五月丁香激情综合欧美| 丁香婷婷成人网| 色射影院| 99操| 婷婷涩五月天综合| 九九热av| 碰碰碰97国产| 99热最新网址| 五月色影院| www久| 天堂久久大香蕉| 丁香六月婷婷一区| 婷婷综合激情| 92久久精品一区二区| 99人人操| 激情五月天色爱| 欧美内射AA| 久久日本wwww色| 婷婷第六色| 亚洲视频99| 97色色网| 亚洲综合久| 婷婷丁香色无五月| 欧美韩国日本| 97操视频| 日狠狠| 4399无码视频| site:hcxsz888.com| 狠狠干婷婷| 久久全意婷婷| 色五月久久成人婷婷| 操操国产| 色婷婷丁香社综合| 开心五月色婷婷综合开心网| 九九热在线视频| 九九99精品视频| 开心色五月天久久久久久久| 国产真实乱对白精彩| 婷婷久久综合| AV在线观看网站| 久久综合图片| 天插天啪天啪天啪| 嫩草AV久久伊人妇女超级A| 日本久久婷婷| 五月天偷拍| 中文字幕久久婷九女同| 亚洲综合婷婷五月| 丁香五月激情网| 久久婷婷五月| 色婷视频| 五月天社区| 超碰91人人操| XX久久| 久热超碰91| 日韩大片艹艹| 狠狠干在线| 一区二区传媒视频| 激情五月小说婷婷| 国产探花一片区| 天天操综合网站| 777久久综合视频| 99视频内射三四| 四虎成人精品永久免费AV九九| 性视频久久| 激情啪啪五月| 综合AV在线| 日韩狠狠色| 丁香五月天网站| 激情五月综合网最新| 色噜噜97视频在线观看| 国产成人在线精品| 日本三级黄色大片| 99精品在线观看| 色五月AV| 夜夜操夜夜姧| 97婷婷五月丁香| 99色性爰网络| 欧美性爱一区| 久久色情| 五月丁香好婷婷姑娘综合网| 河北真实伦对白精彩脏话| 亚洲色a| 超碰永久在线| 99亚洲视频| 另类在线| 青青久在线视频免费观看| 五月色丁香激情| 丁香五月婷婷激情蜜桃| 色色99| 日本久久99| 色婷婷基地 | 色六月视频| 久久久99日本大片| 婷婷五月天色播| 婷婷五月天亚洲激情戏精品| 丁香六月激情国产| 中文字幕综合网| 丁香香五月激情免费视频| 不卡的AV网站| 激情六月天婷婷| 综合色99| 久久色六月| 久热这里| 三区激情四射av| 99热最新国内| 久操无码| 开心五月天激情| 色天堂在线| 久草热8精品视频在线观看| 狠狠五月激情丁香六月| 五月婷婷啪啪啪| 青草视频在线播放| 伊人色综合久久久| 综合五月亭亭9| 色色婷婷色色| 亚洲视频在线观看| 天天爱天天操| 婷婷综合五月天激情| 日本123区日韩欧美不卡在线看| 日韩AV大全| 人人噜天天上| Se.婷婷五月天| 久久色午夜在线导航| 99精品热| 婷婷丁香亚洲色综合91| 五六月丁香激情视频| 久久综合影院| 岛国AAAV| 女人天堂AV| 婷婷五月天激情电影小说| 天天噜天天插| 大香蕉五月| 99燥99日| 午夜天堂啪啪| 国产精品视频免费看| 色色亚卅| 六月激情婷婷色| 蜜臀av粉嫩av懂色av| 久月久在线视频| 丁香五月伊人| 成人综合AV| 欧美成人五月天| 成人婷婷色五月天| 色婷婷狠狠18禁| Www.狠狠| 色在线免费观看| 色婷婷成人做爰A片免费看网站| 天天爱天天操| 玖玖资源站中文| 色综合五月婷婷狠狠干| 99综合| 国产综合视频婷婷| 久久182| 五月天福利影院导航| 人妻AV在线| 久久亚洲婷婷| 国产97色在线| 丁香五月激情五月| 激情五月婷婷开心网| 日日夜夜天天爽| 午夜青草资源| 色色色视频| ww亚洲ww在线观看| 99视频自拍| 91色噜噜狠狠狠狠色综合| 色九九九综合| 天天搞天天爽| 狠狠摸狠狠摸| 亚洲视频色婷婷| 九九色综合九九色| 狼人婷婷久久| 这里有精品| 色婷婷综合视频| 婷婷五月深爱五月| 久久人人人人妻| 青青草蜜臀| 色五月婷婷视频| 人妻videos人妻高清| 无码一区二区日韩| 五月丁香综合啪啪啪啪啪| 欧美色色色| 任你艹| 久久婷婷五月天| 欧美操人| 色色亚洲无码| 啪啪婷婷五月天激情| 天天色五月| 婷婷综合激情五月综合| 五月天激情中文字幕| www.婷婷,com| 日韩人妻操逼视频| 五月草视频| 激情综合五月| 欧美日韩99| 婷婷五月天成人网| 日本欧美成人片AAAA| 怡红院AV亚洲一区二区三区H | 久久五月激情| 99久久网站| 图片区 小说区 区 亚洲五月 | 欧美日韩五月婷婷| www.五月天色色.com| 99熟女| 秋霞三级影视资源| 精品无码99| 精品网站:999WWW| 久久99网站| 国产午夜精品AV一区二区麻豆| 尤物一区二区| 五月婷婷色白丝| 日本三级日本三级三级人妇四虎| 天天插天天插天天日| 亚洲成人乱码av网站| 色色色9| 色婷婷97| 日韩久久成人| 婷婷99狠狠躁天天躁中文| www.99在线| 亚洲九九99精品视频在线播放| 综合色五月| 日韩成人AV在线| 亚洲精品久久久久久久久久飞鱼| 色都都狠狠色都都色综合色| 九九色影院| 色婷丨日丨天丨综合久久| 久久色五月天激情小说| 中文字幕成人| 人人操人人妻| 亚洲综合激情五月久久| 激情五月视频| 9l视频自拍9l九色成人| 九九亚洲天堂| 日本三级中国三级99| 久机视频这只有精品| 538在线精品| 国产AV不卡福利| 美臀自射自家人妻| 婷婷激情图片| 亚洲精品一区无码A片| 色香久久| 久热a| 九九色综合九九色| 五月婷中文娱乐综合| 99热99在线| 婷婷五月天天天| 精品人妻伦九区久久AAA片| 五月丁香婷婷啪啪综合| 激情五月综合色婷婷| 五月婷婷激情久久| WWW色五月| 激情婷婷五月女| 人人草人人舔| 99久99久| 99热国内| 婷婷色在线观看| 大香伊人婷婷| 丁香五月六月婷婷综合激情| 色色网站在线| 日韩综合久| 激情五月天www| 九月色婷婷| 91黄址| 噜噜狠狠色综无码久久合欧美| 香蕉久久国产AV一区二区| www激情| 九热免费视频| 激情婷| 丁香五月中文字幕久色| 五月天.com| 五月色情婷婷开心五月天| www久久99| 亚洲天天操| 日韩在线视频9色| 九九热这里有精品23| 久久98| 99热这里有精品首页10| 五月丁香淫淫婷婷婷| av在线播放网站| 久久99热免费| 婷婷五月天小说| 丁香五月色情| 五月丁香婷婷色色| 99热精品观看| 婷婷五月综合网| 婷婷五月网图片区| 天天色视频| 99免费青青蜜臀| 人人射人人高潮| 色五月婷婷91在线| 五月丁香婷婷俺| 超碰操日| 深爱五月婷| 极品嫩草| 色婷婷社区| 久久五月婷综合网| 亚洲视色| 日本少妇AA一级特黄大片| 色婷婷丁香香香蕉视频| 久久综合图片| 丁香六月色婷婷| 狠狠色丁香久久综合婷婷亚洲成人福利| 色狠狠色狠狠| 久久久久久久久18久久| 日韩色色视频www| 91av无码| 婷婷激情综合| 丁香五月停停基地| 亚洲区视频| 伊人网欧美在线男人天堂五月丁香| 久久ww| 99久久66| 日本不卡一区二区三区| 天天综合亚洲综合| 日日肏夜夜干| 丁香婷婷五月色综合| 5月婷婷激情网| 五月天基地| 九九亚洲综合| 这里都是精品99| 亚洲亚洲人成综合网络| 337午夜福利| 玖玖99精品视频| 亚洲中文字幕网| 99re思思在线视频| 26uuu成人网| nvrentiantang av| 久久精彩综合视频| 日本精品人妻无码77777| 99热这里只有精品 搜| 九九久久高清| 六月天婷婷| 日日操,天天操| 五月婷婷综合影院| 亚洲激情五月| 综合色色婷婷| 五月天伊人综合| 九九在线视频| 色导航色婷婷五月天在线观看| 激情婷婷在线中文字幕| 中字幕视频在线永久在线观看免费 | www.婷婷五月| 午夜国产精品AV在线播放| 久久婷婷国产| 色欲丁香久久| 婷婷久久精品| 色玖玖| 思思热视频在线观看| 天天狠狠婷婷在线| 色五月婷婷丁香凹凸| 婷婷久久久久| 亚州日本欧州韩美高青高潮一| 在线超碰91| 九九热最新| 99视频这里有精品| 婷婷丁香五月久久| 六月婷婷香蕉| 日逼AV影音先锋男人资源站| 亚洲无码11| 校园激情 亚洲| 亚洲情色一区| 日韩不卡123| 色婷婷久久综合中文久久一本| 99九九精品视频| 婷婷五月天成人在线视频| 99情色五月天| 97干在线| 九月激情综合| 婷婷六月天激情影院| -91九色大屁股| 一级韩国产精品毛| 人人操av| 91久久综合亚洲鲁鲁五月天| 中文字幕性爱丰满| 开心久久xxx色| 久久图色4| www五月婷婷| 色屌丝中文字幕| 播五月开心婷婷欧美综合| 色婷婷丁香五月丁香| 91vip在线观看| 一级黄色操B| 亚洲乱码日产精品BD| 26uuu精品国产| 饮料下药迷倒漂亮女同事强干| 99色色最新视频| 精a品a视a频| 97色色婷婷五月天| 99ri国产精品| 日操夜操天天操不卡| 午夜69成人做爰视频| 久久五月综合| 98色花堂98t.R| 久久人妻久久| 亚洲免费99| 婷婷五月天激情视频| 青青草搞屄视频网站| 亚洲操逼片| 91超级碰在线| 98色丁香五月婷婷综合网| 天堂二区| 国产婷伊人| 免费看欧美成人A片无码| 狠狠操狠狠插| 四色99久久| 婷婷五月激情网| 五月丁香六月激情综合| 激情综合五月| 色停停五月,在线观看| 色婷视频| 丁香五月婷婷在线观看| 五月婷婷久| 丁香五月天视频在线播放| 五月天玖玖狠狠色色| 狠狠干狠狠干狠狠干狠狠干| 婷婷五月天无码视频| 免费日韩99| 99热6这里只有精品6| 99热这里只有精品手机在线观看| 欧洲永久精品| 99久热这里有精品| 日日操夜夜爽白洁| 丁香五月综合久久八| 亚洲va日| 五月丁色AV| 五月婷婷开心爱| 91人妻PORNY九色大屁股| 综合婷婷| 九九热精品| 国产精品久久久久久久久久久久| 精品无码久久久久久久久| 丰满少妇猛烈A片免费看观看| 日韩丰满少妇无码内射| 日韩精品一区二区三区,四区,五区视频| 一级片操逼视频| 综合久久十| 婷婷五月天午夜激情影院| 色婷婷AV在线| 九九热这里只有精品7| 五月综合激情久久| 色亚洲色宗合| 六月丁香社区| 超碰不卡在线| 婷婷六月久久综合导航| www.99色| 色婷婷色综合久久精品V| 91精品国产色猫| 五月丁香 啪啪| 性爱在线播放av| 亚洲婷婷激情888精品久| 亚洲99精品欧美一区| 成人免费在线电影| 婷婷天天色| 99热99艹在线观看| 五月天堂色色| 婷婷中文字幕| 婷婷免费无视频| 五月天色婷婷综合| 亚洲精品99| 刘玥av在线| 五月婷婷日本| 五月丁香久久网| 丁香五月无码| 色爱综合网| 99久久66综合| 色激情五月| 天天做天天爱天天爽在| 久久A V无码视频| 久久激情五月天| 黑人巨粗进入警花疼哭A片| 久久午夜丁香| 国产噜一噜天天噜| 国语精品探花| 99re久久| 99爱在线| wwwss在线观看| 五月天,激情四射,婷婷频道| 91超碰人人操| 67194线路二在线观看| 一级性感黄色内射视频| 婷婷丁香五月六月激情| 26UUU欧美激情一区二区| 搡BBBB搡BBB搡18 | 熟女网站久久| 亚洲激情综合五月婷婷啪啪| 九九色人| 九九成年视频| 91精品电影18T| 婷婷娌伦网| 亚洲狠狠爱婷婷| 九九久久99| 综合成人小说婷婷| 成人国产欧美大片一区| 99噜噜| 欧美狠狠地| 婷婷丁香五月综合| 天天综合五月| 激情五月天www| 激情综合五月| 欧美精产国品一二三区| 久狠日av| 九九热最新| 丁香五月香蕉| 26uuu最新地址| WWW.久久.COM| 嫩草AV久久伊人妇女超级A| 国产美女最新VA在线免费观看| 综合色综合| 99综合免费视频| 色呦呦美女| 天天日天天草| WWW色五月| 第四色五月激情网| 久久综合五月天| www.玖玖婷婷在线| 热99久久这里只有精品| 六月婷婷五月丁香| 综合99综合久久久久久久| 99精品福利视频| 丁香五月婷中字在线| 五月天六月丁香| 欧美精品999| 亚洲网站999| 婷婷久久五月天| 激情五月天色色色| 另类视频丁香五月| 性按摩玩人妻HD中文字幕| 99热无码精品| 色婷婷六月天| 91婷婷色 | 色色色色色色网站| 91色性感五月婷婷丁香| 日操五月婷| 欧美婷婷| 六月激情婷婷色| 色婷婷色99国产综合精品| 五月婷色| 亚洲国产99| 性爱AV天堂| 久久久久久久久久8888| 99综合色色色| 日韩999| tingtingjiqingwuyue| 丁香五月色| 99色色热| 久久精品99| 干婷婷五月天| 久久久婷婷五月天| 久久九九大香蕉电院| 国产av第一专区|