欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

eladmin后臺系統(tǒng)Redis深度實踐:從緩存配置到分布式鎖與集群部署

eladmin后臺系統(tǒng)Redis深度實踐:從緩存配置到分布式鎖與集群部署 如果你問我后臺管理系統(tǒng)里最容易被低估的中間件是什么我會說Redis。很多團隊把Redis當(dāng)成一個“放Token的緩存庫”就完事了但實際上在eladmin這種基于Spring Boot的后臺管理系統(tǒng)里Redis能承擔(dān)的角色遠(yuǎn)比你想象得多。從用戶登錄態(tài)、驗證碼、在線用戶到字典緩存、分布式鎖、接口限流計數(shù)器再到集群部署后的Session協(xié)調(diào)它幾乎參與了業(yè)務(wù)鏈路的每一層。我最早接手團隊eladmin項目時Redis已經(jīng)配好了但一查監(jiān)控全是問題——key亂碼、緩存不生效、分布式鎖偶爾失效、主從切換后計數(shù)器歸零。這篇文章我把這幾輪踩坑和重構(gòu)的過程完整寫出來包含配置、序列化、緩存注解、分布式鎖、故障處理和部署升級路線適合正在用或準(zhǔn)備用eladmin做二次開發(fā)的朋友參考。先說個結(jié)論eladmin本身自帶一套緩存機制很多基礎(chǔ)代碼里也預(yù)留了Redis的入口但默認(rèn)狀態(tài)下的使用深度遠(yuǎn)遠(yuǎn)不夠。如果你只是把它當(dāng)成“驗證碼臨時存儲”那你既沒發(fā)揮Redis的價值也遲早會在高并發(fā)或集群場景下栽跟頭。接下來我按實際項目推進的順序來講。1. eladmin為什么需要Redis從登錄態(tài)到緩存的架構(gòu)動因1.1 eladmin原生架構(gòu)下的存儲瓶頸eladmin的默認(rèn)設(shè)計里用戶認(rèn)證走的是JWT也就是服務(wù)端簽發(fā)一個Token前端每次請求都帶上后端通過攔截器解析鑒權(quán)。好處是服務(wù)端無狀態(tài)但問題也很明顯Token一旦簽發(fā)服務(wù)端沒法主動讓它失效。你改了用戶權(quán)限、禁用了賬號、踢了下線只要Token沒到期用戶依然能訪問接口。這是我在實際項目里最痛苦的體驗之一。解決思路很簡單把Token的狀態(tài)存到Redis里。用戶登錄后生成一個會話KeyJWT信息、用戶基本信息、權(quán)限快照都放進去鑒權(quán)時先查Redis里的“會話是否還在”。這樣賬號禁用、權(quán)限變動、強制下線都能實時生效。eladmin的登錄邏輯本身是基于在線用戶管理的如果配合Redis做會話存儲整個認(rèn)證鏈路的可控性會提升一個檔次。1.2 Redis在eladmin里的四種典型角色我把Redis在一個成熟eladmin項目里承擔(dān)的工作分成四類緩存層字典數(shù)據(jù)、部門樹、角色權(quán)限、菜單、系統(tǒng)配置項這類讀多寫少的數(shù)據(jù)全部放進Redis降低數(shù)據(jù)庫壓力。會話與臨時數(shù)據(jù)登錄Token、驗證碼、短信驗證碼、文件上傳分片信息、導(dǎo)入導(dǎo)出的臨時文件索引。分布式協(xié)調(diào)定時任務(wù)防重執(zhí)行、庫存扣減、操作冪等、分布式鎖。計數(shù)器與限流登錄失敗次數(shù)統(tǒng)計、短信發(fā)送頻率控制、接口調(diào)用頻控依賴Redis的原子自增操作。這四類場景在eladmin里幾乎都能找到對應(yīng)的業(yè)務(wù)入口。你會發(fā)現(xiàn)Redis在后臺系統(tǒng)里不是“可選項”而是“基礎(chǔ)設(shè)施”。1.3 引入Redis前后的一次對比我團隊當(dāng)時做了一個很小的壓測同樣的字典查詢接口數(shù)據(jù)庫直連查詢平均12ms命中Redis緩存之后平均0.8msQPS從900左右升到接近7000。這個差距在單機環(huán)境不明顯但一旦上了集群、數(shù)據(jù)量上來緩存層的存在就是生死線。而且Redis本身是單線程模型IO多路復(fù)用性能非常穩(wěn)定配合Spring Boot Cache抽象層幾乎不用在業(yè)務(wù)代碼里寫很重的緩存邏輯。提示eladmin的依賴?yán)锲鋵嵰呀?jīng)引入了spring-boot-starter-data-redis但很多分支版本沒有把序列化器配好。第一步不是寫業(yè)務(wù)而是把RedisTemplate的序列化配置修正否則后面全是亂碼和ClassCastException。2. RedisTemplate序列化配置接入eladmin的第一個分水嶺2.1 默認(rèn)JDK序列化帶來的亂碼問題我見過太多eladmin項目Redis里長這樣一堆以\xAC\xED\x00\x05t...開頭的keyvalue用Redis Desktop Manager打開全是亂碼。這是因為Spring Boot默認(rèn)的RedisTemplate用的是JdkSerializationRedisSerializer它會把對象序列化成二進制字節(jié)不僅肉眼不可讀還會因為類結(jié)構(gòu)變化導(dǎo)致反序列化失敗。另外JDK序列化會附帶大量類元信息一條簡單的用戶緩存可能膨脹到幾KB內(nèi)存浪費嚴(yán)重。這在開發(fā)階段還能忍上了生產(chǎn)就是事故。比如你發(fā)版時改了實體類的字段舊緩存的二進制流反序列化直接拋異常緩存層級崩潰數(shù)據(jù)庫瞬間被打爆。2.2 用GenericJackson2JsonRedisSerializer做全局序列化eladmin的RedisConfig應(yīng)該重寫兩個BeanRedisTemplate和StringRedisTemplate。核心思路是key序列化用StringRedisSerializer保證可讀性。value序列化用GenericJackson2JsonRedisSerializer把對象轉(zhuǎn)成JSON字符串存儲兼容性好且能通過class字段保存類型信息反序列化時不丟類型。hash的key和value也分別指定序列化器。一個我實際在用的配置如下Configuration public class RedisConfig { Bean public RedisTemplateString, Object redisTemplate(RedisConnectionFactory factory) { RedisTemplateString, Object template new RedisTemplate(); template.setConnectionFactory(factory); // key 使用 String 序列化 StringRedisSerializer stringSerializer new StringRedisSerializer(); GenericJackson2JsonRedisSerializer jsonSerializer new GenericJackson2JsonRedisSerializer(); template.setKeySerializer(stringSerializer); template.setHashKeySerializer(stringSerializer); template.setValueSerializer(jsonSerializer); template.setHashValueSerializer(jsonSerializer); template.afterPropertiesSet(); return template; } }這里有個細(xì)節(jié)GenericJackson2JsonRedisSerializer默認(rèn)會把類型信息寫在JSON的class字段里。如果你緩存的對象里有接口類型、父類引用或者泛型反序列化時這一手非常關(guān)鍵。但它也不是萬能的遇到LocalDateTime這類Java 8時間類型時容易出問題一個常見的坑是序列化后變成數(shù)組格式。我在eladmin里處理這種場景時會在ObjectMapper里注冊JavaTimeModule并調(diào)整日期序列化的格式避免前后端解析不一致。2.3 緩存key的設(shè)計規(guī)范序列化只是第一步key的命名同樣重要。Redis是鍵值存儲沒有表結(jié)構(gòu)約束key設(shè)計是否規(guī)范直接決定后續(xù)運維的體驗。我在eladmin里定的規(guī)范是業(yè)務(wù)域:模塊:唯一標(biāo)識例如auth:token:{userId}用戶會話sys:dict:{dictName}字典緩存sys:dept:tree部門樹緩存lock:task:{taskName}定時任務(wù)的分布式鎖這樣用Redis Desktop Manager或者命令行SCAN匹配前綴時非常清晰也能通過命名空間做批量清理。另外key盡量短一些能用ID就不拼長字符串節(jié)省內(nèi)存也提高查詢效率。2.4 配置完成后的最小驗證配置改完后不要急著寫業(yè)務(wù)先做一個最小驗證SpringBootTest public class RedisTest { Resource private RedisTemplateString, Object redisTemplate; Test public void test() { redisTemplate.opsForValue().set(auth:token:1, hello-redis); Object value redisTemplate.opsForValue().get(auth:token:1); System.out.println(value); } }跑通這一步再去Redis客戶端看key是否可讀、value是不是JSON字符串。如果看到類似hello-redis的文本內(nèi)容就說明序列化配置生效了。提示不要用RedisTemplate直接存泛型對象比如ListUser如果JSON里只存了class到List內(nèi)部元素類型容易丟失。穩(wěn)妥做法是自定義一個帶類型包裝的DTO或者用redisTemplate.opsForValue().set(key, JSON.toJSONString(list))配合反序列化手動指定類型。3. 緩存注解和RedisUtils兩種緩存方式的邊界3.1 Cacheable適合哪些業(yè)務(wù)eladmin里大量使用Spring Cache的注解緩存比如Cacheable、CacheEvict。注解方式的好處是侵入性小業(yè)務(wù)代碼里不用手寫存取邏輯。適合以下幾類字典類型列表按類型名緩存。部門樹、菜單樹按用戶ID緩存。系統(tǒng)配置項按配置鍵緩存。角色權(quán)限集合按角色ID緩存。一個典型例子Cacheable(value sys:dict, key #type, unless #result null) public ListDictDetail getDictDetails(String type) { // 數(shù)據(jù)庫查詢 }這樣第一次查詢后結(jié)果進入Redis后續(xù)請求直接命中緩存。但注解緩存有幾個隱藏問題我后面還會講失效時間不好精細(xì)控制、緩存擊穿場景下注解幫不上忙、更新時機容易亂。3.2 eladmin里的RedisUtils手動緩存eladmin原生的RedisUtils工具類是非常實用的封裝它把常用的set、get、delete、exists、expire都包了一遍并在設(shè)置值時自動指定過期時間。對于簡單的數(shù)據(jù)我建議直接用這個工具類而不是每個地方都寫redisTemplate.opsForValue().xxx()。手動緩存適合以下場景數(shù)據(jù)短生命周期比如登錄驗證碼5分鐘有效。需要精細(xì)控制過期時間。緩存數(shù)據(jù)需要在業(yè)務(wù)中頻繁更新比如在線用戶狀態(tài)。數(shù)據(jù)緩存與數(shù)據(jù)庫更新之間需要手動維護一致性注解方式很難表達“先改庫再刪緩存”的順序。舉個eladmin里的實際例子登錄成功之后把用戶信息塞進Redis設(shè)置30分鐘過期每次請求時刷新過期時間實現(xiàn)“滑動續(xù)期”。這個需求用Cacheable做不到因為注解緩存不支持動態(tài)刷新TTL但RedisUtils可以輕松完成。3.3 緩存更新機制優(yōu)先刪而不是更新這是我吃了虧才明白的道理。很多人寫完緩存后想當(dāng)然地認(rèn)為數(shù)據(jù)庫更新后把Redis值也更新就好了。但緩存更新的路數(shù)很多組合方式容易出錯。比如先更新數(shù)據(jù)庫還是先更新緩存、失敗了怎么辦、并發(fā)下會不會讀到舊值。eladmin業(yè)務(wù)里我統(tǒng)一采用“先更新數(shù)據(jù)庫再刪除緩存”的策略。下一請求發(fā)現(xiàn)緩存未命中再回源數(shù)據(jù)庫重建緩存。這個策略在大多數(shù)讀多寫少的后臺系統(tǒng)里足夠用而且天然避免了“寫緩存失敗導(dǎo)致數(shù)據(jù)不一致”的問題。刪除緩存這個動作本身也是冪等的就算刪晚了也只是多一次數(shù)據(jù)庫查詢。3.4 字典緩存的完整案例以eladmin的字典模塊為例它的查詢頻率很高但字典數(shù)據(jù)基本穩(wěn)定。如果每次查字典都走數(shù)據(jù)庫查詢接口響應(yīng)會受DB性能影響。我的處理方式啟動時預(yù)熱項目啟動后調(diào)用一次字典查詢接口把常用字典寫進Redis。查詢時先查緩存命中直接返回。后臺編輯字典后調(diào)用刪除緩存接口保證下次查詢回源。這里有一個細(xì)節(jié)分頁查詢的字典列表不適合直接整體緩存因為分頁排序條件太多緩存命中率低還會造成緩存key爆炸。我只對“按字典名稱查詢所有明細(xì)”這種固定場景做緩存列表頁不緩存Excel導(dǎo)出也不緩存。緩存不是越多越好命中率低的緩存不僅浪費內(nèi)存還增加了維護成本。4. 分布式鎖從緩存組件到協(xié)調(diào)組件4.1 為什么單機鎖不夠eladmin里的定時任務(wù)、庫存扣減類操作在單機部署時用Synchronized或ReentrantLock沒問題。但項目上了集群同樣的定時任務(wù)會在每個節(jié)點各執(zhí)行一遍造成重復(fù)數(shù)據(jù)。比如定時同步訂單狀態(tài)如果兩臺機器同時跑數(shù)據(jù)庫可能被更新兩次產(chǎn)生臟數(shù)據(jù)。單機鎖只對本進程生效這時就需要一個跨進程的鎖分布式鎖。Redis實現(xiàn)分布式鎖是最常見的方案因為它本身是共享存儲所有節(jié)點都能訪問且提供了原子操作。4.2 用Redis手寫一個可用的分布式鎖最簡單可靠的方案就是基于SET key value NX EX seconds這個命令能同時保證“key不存在才設(shè)置”和“過期時間自動設(shè)置”。用RedisTemplate實現(xiàn)如下public boolean tryLock(String key, String requestId, long expireSeconds) { // NX: 不存在才設(shè)置 EX: 設(shè)置過期時間 // 注意 SET_IF_ABSENT NX, SET_ABSENT_TIME EX Boolean result redisTemplate.opsForValue() .setIfAbsent(key, requestId, Duration.ofSeconds(expireSeconds)); return Boolean.TRUE.equals(result); } public boolean releaseLock(String key, String requestId) { // 使用Lua腳本保證“校驗持有者再刪除”是原子操作 String script if redis.call(get, KEYS[1]) ARGV[1] then return redis.call(del, KEYS[1]) else return 0 end; DefaultRedisScriptLong redisScript new DefaultRedisScript(script, Long.class); Long result redisTemplate.execute(redisScript, List.of(key), requestId); return Long.valueOf(1).equals(result); }這里有兩個關(guān)鍵點requestId可以是UUID是鎖持有者的唯一標(biāo)識。釋放鎖時必須校驗這個標(biāo)識防止“自己不持有的鎖被自己刪掉”。用Lua腳本包裹“檢查-刪除”操作保證原子性。如果拆成兩步可能在GET之后、DEL之前鎖到期被另一個線程搶走然后你把別人的鎖刪了。4.3 鎖的續(xù)期問題和Redisson選擇手寫鎖有個麻煩業(yè)務(wù)執(zhí)行時間超過鎖的過期時間怎么辦比如加鎖時設(shè)了30秒但業(yè)務(wù)跑了40秒鎖自動釋放另一個線程進來了。解決思路是續(xù)期——在鎖即將到期但業(yè)務(wù)還沒結(jié)束時自動延長過期時間。這個邏輯很煩不建議手寫。我在這塊直接引入了Redisson它內(nèi)置了看門狗機制默認(rèn)鎖續(xù)期到30秒每10秒檢查一次業(yè)務(wù)沒結(jié)束就自動續(xù)期業(yè)務(wù)結(jié)束就釋放鎖。代碼反而簡單很多RLock lock redissonClient.getLock(lock:task:syncOrder); boolean isLocked lock.tryLock(3, 10, TimeUnit.SECONDS); if (isLocked) { try { // 業(yè)務(wù)邏輯 } finally { lock.unlock(); } }引入Redisson的代價是加一個依賴和一點內(nèi)存但省去了自己處理續(xù)期、重入、異常釋放的雜活。eladmin里如果已經(jīng)有Redisson依賴優(yōu)先用它的tryLock如果沒有手寫一個簡單的也夠用。提示手寫鎖務(wù)必設(shè)置過期時間絕不能只用setIfAbsent(key, value)不帶過期時間。一旦分布式鎖的key沒有過期時間而持有鎖的服務(wù)宕機這個鎖就永遠(yuǎn)解不開了下游業(yè)務(wù)全部卡死。4.4 鎖定在eladmin里的實際場景我在eladmin里落地分布式鎖最多的場景是定時任務(wù)。eladmin有定時任務(wù)管理模塊可以動態(tài)啟停任務(wù)但任務(wù)本身可能被多個節(jié)點同時觸發(fā)。處理方式任務(wù)執(zhí)行入口先嘗試獲取鎖。搶到鎖的節(jié)點執(zhí)行任務(wù)沒搶到的節(jié)點直接跳過。執(zhí)行完成后主動釋放鎖。另外批量導(dǎo)入導(dǎo)出、文件分片合并、訂單狀態(tài)機轉(zhuǎn)換這類場景也需要鎖。核心思路是凡是“多實例下同一時間只允許一個執(zhí)行”的操作都值得用分布式鎖。5. 緩存三大故障現(xiàn)場穿透、擊穿、雪崩的解決實錄5.1 緩存穿透不存在的key瘋狂打庫eladmin里權(quán)限校驗接口如果被惡意刷每次都會攜帶一個不存在的用戶ID查數(shù)據(jù)庫Redis里始終沒有緩存數(shù)據(jù)庫壓力直線上升。這種查詢一個“必然不存在的數(shù)據(jù)”的現(xiàn)象就是緩存穿透。最常用的兩個辦法緩存空值查詢結(jié)果為空也寫緩存設(shè)置一個較短的過期時間比如60秒這樣后續(xù)相同Key不會打到DB。但要注意空值過多會占用內(nèi)存需要設(shè)置過期時間。布隆過濾器把所有合法的用戶ID加載到布隆過濾器查詢前先判斷ID是否存在不存在直接返回。適用于ID集合較小且相對固定的場景。我在eladmin里處理驗證碼校驗接口時用的就是緩存空值方案驗證碼錯誤就緩存一個錯誤標(biāo)記過期時間比驗證碼本身還短。這樣既保護了數(shù)據(jù)庫又不會影響正常用戶的重新發(fā)送。5.2 緩存擊穿熱點key瞬間過期打崩DB緩存擊穿和穿透容易混淆擊穿指的是某個熱點key在過期瞬間大量并發(fā)請求同時回源數(shù)據(jù)庫。比如eladmin的系統(tǒng)配置緩存如果剛好在零點過期所有請求都去查數(shù)據(jù)庫一次就夠數(shù)據(jù)庫喝一壺。解決手段通常有兩種互斥重建用分布式鎖包住回源邏輯只允許一個線程回源數(shù)據(jù)庫寫緩存其他線程等待緩存重建完成。缺點是鎖等待會增加接口耗時。邏輯過期緩存中不設(shè)置物理過期時間而是存一個邏輯過期戳。查詢時發(fā)現(xiàn)戳已經(jīng)過期就異步重建。優(yōu)點是接口永遠(yuǎn)有數(shù)據(jù)可返回但實現(xiàn)稍復(fù)雜。在eladmin的字典緩存里我采用的是折中方案熱點key的物理過期時間拉長到小時級后端修改字典后通過ActiveMQ或者直接調(diào)用刪除緩存接口來維護一致性避免“自然過期”引發(fā)擊穿。這個方案簡單但依賴“刪除操作必須可靠”。5.3 緩存雪崩大量key同一時刻失效雪崩和擊穿的區(qū)別在于影響范圍。雪崩是大批key在同一時間過期或者Redis服務(wù)整體不可用導(dǎo)致數(shù)據(jù)庫瞬間被沖垮。解決辦法我總結(jié)三條過期時間加隨機抖動比如基礎(chǔ)過期時間300秒實際設(shè)置時加一個0到60秒的隨機數(shù)避免同一秒集體失效。eladmin里的緩存工具類我已經(jīng)統(tǒng)一封裝了這個邏輯。多級緩存配合Redis之上加一層本地緩存Caffeine本地緩存失效再查RedisRedis失效再查DB。這樣即使Redis短時間不可用本地緩存還能扛一部分。Redis高可用部署主從加哨兵或者Redis Cluster避免單點故障。這個我放在第6節(jié)詳細(xì)講。5.4 曾經(jīng)踩過的坑INCR在分布式環(huán)境下的“不準(zhǔn)”熱詞里有一條“redis incr不準(zhǔn)”我在eladmin里也遇到過。場景是短信驗證碼發(fā)送頻率限制Long count redisTemplate.opsForValue().increment(limit:sms: phone); redisTemplate.expire(limit:sms: phone, 60, TimeUnit.SECONDS);這段代碼在單機Redis下沒有問題。但在主從架構(gòu)下主機自增后同步給從機如果主機宕機、從機頂上自增的值可能丟失或重復(fù)導(dǎo)致計數(shù)不準(zhǔn)。解決方案有幾個使用Redis Cluster的單一分片鎖住key的哈希槽保證只有一臺機器處理該key。頻率限制場景可以接受誤差時改成SETNX 過期時間判斷邏輯?;蛘咴赗edis事務(wù)Pipeline中執(zhí)行減少錯誤概率。另外INCR和EXPIRE是兩個獨立命令如果想讓key自動過期最好用Lua腳本把兩個操作包起來保證原子性否則極端情況下可能key永不過期計數(shù)累加超過預(yù)期。提示eladmin的接口限流功能如果用了IP計數(shù)千萬不要用get再set的復(fù)合操作必須用原生INCR。兩步操作在并發(fā)下會丟失增量計數(shù)這是非常隱蔽的一類bug。6. 從單機到集群eladmin上線后的Redis部署升級路線6.1 單機版夠用嗎開發(fā)環(huán)境和日活幾千的小項目單機Redis完全夠用。eladmin這種后臺系統(tǒng)數(shù)據(jù)庫字段多、接口讀寫比例高單臺8G內(nèi)存的Redis實例支撐幾百個并發(fā)是沒問題的。但是單機的問題在于故障域。Redis宕機所有緩存全部失效數(shù)據(jù)庫被瞬時打滿整個系統(tǒng)雪崩。而且一臺機器上Redis進程如果OOMRedis會直接拒絕寫入進而影響所有依賴Redis的業(yè)務(wù)。因此正規(guī)一點的項目都會考慮主從。6.2 主從加哨兵怎么配更穩(wěn)主從模式解決的是“單點故障”哨兵解決的是“自動故障轉(zhuǎn)移”。我在eladmin生產(chǎn)環(huán)境用的一主二從加三哨兵架構(gòu)主節(jié)點負(fù)責(zé)讀寫。從節(jié)點負(fù)責(zé)讀擴展和備份。哨兵監(jiān)控主從狀態(tài)主節(jié)點宕機后自動從從節(jié)點選舉出一個新主節(jié)點修改客戶端配置的地址指向新主節(jié)點。Spring Boot里配置Sentinel模式的地址很簡單spring: data: redis: sentinel: master: mymaster nodes: - 192.168.1.10:26379 - 192.168.1.11:26379 - 192.168.1.12:26379注意哨兵模式下應(yīng)用連接的是哨兵地址而不是Redis節(jié)點地址。哨兵會告訴你當(dāng)前可寫的主節(jié)點是誰。這塊如果配錯應(yīng)用會一直連不上Redis日志里反復(fù)報Connection refused。主從復(fù)制還有一個核心點需要注意replica-read-only建議設(shè)置為yes。從節(jié)點只做讀寫操作全部走主節(jié)點否則可能會發(fā)生數(shù)據(jù)不一致。6.3 什么時候值得上ClusterRedis Sentinel解決的是“故障轉(zhuǎn)移”但單節(jié)點的內(nèi)存容量上限還在。當(dāng)緩存數(shù)據(jù)量大到單節(jié)點內(nèi)存裝不下或者寫入并發(fā)超過單實例上限時就該考慮Redis Cluster。Cluster采用分片存儲每個key根據(jù)CRC16算法映射到16384個哈希槽中的某一個然后哈希槽分配給不同節(jié)點。好處是容量和性能都線性擴展壞處是配置復(fù)雜、客戶端要支持Cluster模式且Redis Cluster不支持多key操作除非這些key在同一個Hash標(biāo)簽下。eladmin項目的緩存體量通常到不了Cluster的規(guī)模但如果未來做多租戶、數(shù)據(jù)量暴漲可以提前把key的Hash Tag設(shè)計好比如把所有需要一起操作的key都加上{user:1}這樣的Hash前綴確保它們落在同一個槽里。這個設(shè)計越早做越省事。6.4 Docker部署Redis時的常見錯誤很多團隊用Docker部署Redis熱詞里提到的“docker search redis request returned 500 internal server error”我碰到過多次。這個報錯通常是Docker Desktop的引擎沒起來或者API版本不兼容解決辦法是重啟Docker Desktop或者檢查Docker引擎的版本。真正進入docker pull redis階段之后還需要注意掛載持久化目錄比如/data防止容器重啟后數(shù)據(jù)丟失。指定Redis密碼和配置文件不要用默認(rèn)無密碼的配置。如果宿主機和Redis容器不在同一網(wǎng)絡(luò)需要注意防火墻和端口映射。用Docker Compose部署一主二從加哨兵集群是本地復(fù)現(xiàn)和學(xué)習(xí)的好方式比手動敲命令省心很多。但這個更多是運維話題本文就不展開了。7. 體檢清單慢查詢、大key和熱點key的排查手段7.1 Redis慢查詢?nèi)罩驹趺纯碦edis的慢查詢?nèi)罩竞蚆ySQL的slow query log思路類似。配置項slowlog-log-slower-than設(shè)置超時閾值單位微秒slowlog-max-len設(shè)置日志條數(shù)。執(zhí)行SLOWLOG GET可以查看最近慢查詢命令。eladmin的緩存基本都是小Key很少有長命令但如果有KEYS *這類命令出現(xiàn)在慢查詢里基本可以斷定代碼有問題。Redis是單線程的一個耗時的KEYS命令會阻塞所有客戶端響應(yīng)線上絕不能執(zhí)行。我見過有人用KEYS auth:token:*來批量清理用戶會話導(dǎo)致Redis卡了幾秒所有依賴緩存的接口全部超時。正確做法是用SCAN游標(biāo)遍歷分批次刪除。7.2 大key是隱藏的內(nèi)存炸彈大key通常指value特別大的key比如一個Hash里塞了幾十萬個字段或者一個String存了幾MB的數(shù)據(jù)。大key會導(dǎo)致Redis內(nèi)存碎片增加、刪除/序列化耗時變長還會在主從復(fù)制時造成網(wǎng)絡(luò)帶寬壓力。在eladmin里最常見的兩個大key場景緩存的用戶權(quán)限集合沒有控制大小一個超管用戶的權(quán)限菜單串成一個大JSON。字典緩存把所有數(shù)據(jù)一股腦塞進一個key而不是按類型拆分。排查手段用redis-cli --bigkeys它會掃描找出大key并給出類型和建議。治理方式很直接大key拆小key、續(xù)期策略調(diào)整、數(shù)據(jù)結(jié)構(gòu)優(yōu)化。比如權(quán)限集合按角色拆分字典按類型拆分。7.3 內(nèi)存淘汰策略的選擇Redis內(nèi)存寫滿后怎么辦配置maxmemory-policy決定了淘汰策略。后臺管理系統(tǒng)里我推薦volatile-lru只在設(shè)置了過期時間的key里淘汰最近最少使用的數(shù)據(jù)。這樣業(yè)務(wù)緩存是“可淘汰”的但正在使用的會話數(shù)據(jù)不會被強制清掉。相比之下allkeys-lru會對所有key做淘汰包括你不想丟的業(yè)務(wù)緩存可能導(dǎo)致關(guān)鍵數(shù)據(jù)意外消失。還有一點maxmemory不要設(shè)成Redis所在服務(wù)器的全部內(nèi)存要留出一部分給操作系統(tǒng)、其他進程防止Redis OOM把整臺服務(wù)器壓垮。我一般給Redis分配機器內(nèi)存的60%-70%左右。7.4 可視化工具和日常巡檢建議命令行工具就是redis-cli圖形化工具我常用Another Redis Desktop Manager和Redis Insight。選工具主要看是否支持連接哨兵、Cluster、SSH隧道。日常巡檢建議做成定時腳本每天掃一遍INFO memory查看內(nèi)存使用率。INFO replication查看主從復(fù)制狀態(tài)確認(rèn)沒有斷連。INFO stats看連接數(shù)和命中率。SLOWLOG GET 50檢查慢命令。這些指標(biāo)配合Prometheus和Grafana可以做到很完善的監(jiān)控但哪怕沒有專業(yè)監(jiān)控系統(tǒng)定時敲一下命令也比完全不看強一百倍。Redis掛了不可怕可怕的是你不知道它什么時候開始變慢、內(nèi)存什么時候開始飆升。結(jié)尾經(jīng)驗這套東西從頭到尾梳理下來我覺得在eladmin里用好Redis的關(guān)鍵只有兩點一是序列化和key設(shè)計必須在一開始就定好規(guī)范這個決定后續(xù)所有緩存代碼的體驗二是把分布式鎖、緩存擊穿、集群部署這些“進階能力”當(dāng)作標(biāo)配去考慮而不是等出了事故再補。我經(jīng)歷過Redis配置亂碼導(dǎo)致生產(chǎn)環(huán)境接口直接500的夜晚也經(jīng)歷過分布式鎖誤刪把定時任務(wù)數(shù)據(jù)弄亂的尷尬。現(xiàn)在已經(jīng)養(yǎng)成的習(xí)慣是任何redisTemplate的讀寫都先問自己“key規(guī)范嗎序列化對嗎過期時間設(shè)了嗎這行代碼在集群下還成立嗎”這四個問題能擋住絕大部分線上事故。希望這篇實踐對正在折騰eladmin的朋友有幫助。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
先锋男人99资源| 六月婷婷亚洲| 丁香五月色五月婷婷宗合| 99免费超碰在线| 五月天婷婷在看| 99热8在线| 99久久婷婷五月综合| www.色99| 久久中国毛毛片爱久久| 五月天成人综合| 99热这里只有精品热| 亚洲国产网址| av高清无码| 影音先锋偷偷色男人站| 26UUU在线观看| 热热99爱爱| AV大香蕉| 97精品自拍| 激情小说五月丁香在线视频观看视频| 婷婷成人AV| 拍真实国产伦偷精品| 亚艹艹| 婷婷色色丁香五月天| 国产乱人偷精品人妻A片| 丁香五月天视频在线播放| 久99久热| 丁香视频| xxxx五月天色色| 丁香五月色| 五月丁香激情在线| 91dy.av| www.97碰碰com| 欧美大肥婆大肥BBBBB| 精品久久66| 丁香六月婷婷久久综合八月| 91九色精品女同系列| 色色999三级片| 六月婷婷五月天| 久久久久婷婷五月热综合| 激情五月天99色| 久九男女天堂| 婷婷五月天免费99| 成人精品免费在线观看| 久久XX日本综合| 国产FREESEXVIDEOS性中国| 新激情五月天天在线网| 五月综合激情网| 婷婷色情小说| 永久精品| 精品99在线| 色五月综合激情| 激情五月婷婷在线区| 99热超碰在线| 亚洲精品欧洲精品| 五月综合在线婷婷图片| 这里只有国产精品在线| 中文网av| 激情五月丁香亭亭| 久久激情视频| www久久99| 爆乳熟妇一区二区三区爆乳照片| 99热伊人| 亚洲操操| 综合色色五月| 91se在线观看| 亚洲天堂99| 9精品视频在线| 中文在线成人| 激情五月综合网| www.久久久久久久| 久久亚洲婷婷综合色五月| 激情小说五月天| www.婷婷亚洲基地| 色婷婷婷综合五月天| 激情五月黄色小说| 伊人网色婷婷五月天| tingtingzonghewang| 欧美综合丁香网| 婷婷五月丁香成人| 日韩超碰在线| 91九色精品熟女内射| www色五月| 91视频一起草| 伊人综合网站| 1234操逼网| 婷婷五月18永久免费网站| 色五月婷婷伊人| 91日日日| 丁香六月高清视频| 七七九色| 九九热婷婷| 色综合丁香| 综合激情五月综合激情五月激情1| 国产毛片精品一区二区色欲黄A片| 99热这里只有精品9| 色婷婷电影网| 美女xx不卡| 在线播放中文字幕| 国产成人精品一区二三区熟女在线| www,婷婷,com| 无码区婷婷五月花开| 九九热视频99| 狠狠狠狠狠操| 久久久五月四色| 丁香五月婷婷基地| 99这里有精品| 伊人色综合网| 国产精产国品一二三在观看| 色婷婷五月在线| 俺也去五月婷婷丁| 亚洲AV无码成人电影| 五月丁香婷婷三级| 99丁香五月婷| 那里有AV网址| 国产九九一区二区三区| 久久五月天丁香花| 婷婷五月色播放| 丁香六月激情四射| 青青草原中文字幕| 色婷婷综合成人| 激情网五月婷婷| 婷婷五月丁香综合激情| 9久热精品在线视频| 丁香六月亚洲| 人人操操| 色涩视频久久| 热久久91| 五月婷婷开心综合| caop视频| 日本三级黄色大片| 久久久精品人妻录| 久久婷婷六月| 久久免费操| 亚洲激情综合| 欧美精品熟女一区二区| 操人妻90p| 亚洲无码你懂的| 99热这里只有精品4| 伊人色欲五月天| 激情综合五月天| 色亭亭影园| WWW.婷婷| 激情综合网五月激情| 九九机热| 九九爱看亚洲| 日本精品。999| 99re在线精品视频| 91精品丝袜久久久久久久久粉嫩| 色情综合| 免费视频无码| 五月丁香六月成人| 99九九精品| 丁香六月婷婷综合激情欧美 | 播五月婷婷开心| 亚洲婷婷丁香五月亚洲| 成人色色视频| 九九精品热| 99久久五月婷婷| 无码橾| 五月花激情| 色色色视频免费无码| 激情AV| 色墦五月丁香| 国产成人网| 国产一区二区av免费| 色婷婷久久| 97视频91| 久久资源网五月婷| 大香蕉520| 久久婷婷综合五月天| 婷婷综合成人| 99热高清在线| .肏屄视频一区二区| 久久婷婷综合五月| www.五月激情.com| 婷婷精品视频| 伊人五月天| 婷婷激情五月| 亚洲精品一区中文字幕乱码| 97caop| 99热网精品| 久青草大香蕉| 色婷婷免费观看| 国产伊人五月天| 天天久久综合| 欧洲亚洲免费视频9 | 国产日韩欧美| av超碰在线| 国产色香蕉精品五夜婷| 人妻综合网| 色色婷| 激情综合网激情五月欧美| 婷婷五月天精品| 日本一级特黄大片AAAAA级| 综合婷婷五月天| 丁香五月区| 极品人妻VIDEOSSS人妻| 伊人丁香五月天丁香在线婷| 九九综合色综合| 色综合开心五月深爱五月| 激情综合啪啪| 99色爱| 色婷婷91| 99性感视频| 日本色道视频网站| 香蕉色色网| 婷婷,五月天,丁香,第一| 婷婷丁香激情综合色情| 99亚洲视频| 婷婷色基地在线看 | 成人短视频免费观看| 九九这里只有精品在线视频| 五月丁香六月激情欧美综合| 狠狠精品干练久久久无码中文字幕| 天天干,天天操,天天射| 五月婷婷丁香色吧网| 99色综合| 亚洲成人在线综合| 五月婷婷在线综合| 色婷婷成人| 97人人射| 亚洲操操| 这里都是精品99| www激情| 亚洲国产网站| 五月第四色| 色色亚洲99com| 开心五月激情五月丁香五月婷婷| 免费做A爰片77777| 国产成人av在线| 狠狠香蕉| 五月天狠狠网站| 97超碰综合| 五月丁香av中文| 99视频35精品视频在线观看| xxxx久| 丁香六月婷婷综合缴| 天天操精品| 色婷婷五月天久久| 色吊丝中文字幕| 久热这里只有精品6| 色啪久| 久热网站| 久久久性爱网| 久久性爱视频网站| 色五月成人在线| 久热re在线视频| 色五月婷婷色五月婷婷色五月婷婷| 九九久久偷拍| www.minyis.com【JT】实力收量可预付QQ2101460746 | 91碰在线| 国产精品人成A片一区二区| 99精品在| ww久久| 中文字幕 中文字幕明步| 丁香色五月天| 丁香五月久久综合| 色婷婷久久综合久色综| 国产乱子轮XXX农村| 人妻久久久久久久| 亚洲一色色色色色色色色| 国产人人操| 激情婷婷五月| 激情婷婷六月天| 精品网站:999WWW| 国产看真人毛片爱做A片| 天天狠狠干| 色播丁香| 狠狠色婷婷丁香五月| 天天爽夜爽| www色综合亚洲92| 日本天天色| 天天爽天天摸天天爱| 色婷婷色五月另类综合| 婷婷五月天最新综合你懂的| 久久久久网站| 五月婷婷|欧美| 亚洲成人在线观看网址| 婷婷五月天丁香久久| 亚洲欧洲中文日韩久久AV乱码| 另类激情中文| 色情综合网| 五月天婷婷激情| 成功精品影院| 八戒青柠影视剧在线观看| 天天操夜夜操| 欧洲色区| 国产免费av网站| 色原狠狠综合| 吊色AV男人的天堂| av在线观看免费| 色丁香五月| 色99在线| 99热思思在线观看| 久热中文字幕在线线观看| 五月婷婷激清网| 色噜噜婷婷| 亚洲av网址| 91丨九色丨国产在线| 久久婷婷的综合色丁香五月| 手机在线日韩视频中文字幕| 99五月丁香丁| 色综合色综合网| 高清无码网址| 国产欧美熟妇另类久久久| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 中文字幕久久一区二区三区| 天天爽天天| 99久久久| 亚洲婷婷婷| 激情精品久久| xx久久| 三男玩一女三A片| 久婷婷五月综合欧美| 夜夜涩涩涩| 六月综合婷婷开心伊人| 久久人妻视频| 色综合久久综合中文综合网| 五月丁香婷婷久久| 99热.com| 色婷婷AV在线| 天天色宗合| 夜夜穞天天穞狠狠穞AV美女按摩| 色五月婷婷激情基地| 天天爱天天做综合| 久久视频这里有精品99| 久久嘟嘟丁香| 午夜婷婷六月天| 99热99色| 五月天婷婷xxx| 伊人网啪啪| 99艹精品在线观看| 五月婷婷之激情五月| 激情五月综合| 九九亚洲综合| 亚洲操操操| 婷婷五月丁香四射| 精品久久久人妻| 激情婷婷激情在线不卡| 婷婷激情欧美| 久久AAAA片一区二区| 99激情网| 婷婷丁香熟妇综合网| 婷婷五月情| 超碰在线人人| 婷婷六月色开| 久久人人妻| 综合激情五月四射婷婷| 国产精品色色| 五月天天天开心激情网| 激情内射人妻1区2区3区| 人妻性爱| 国产真人做爰视频免费| 天天干-天天日| 国外亚洲成AV人片在线观看| 99热精品10| 国产精品成人AV在线观看春天| 99成人精品六| 亚洲美女裸体被操在线观看| 久久99性爱视频| 99精品超在线播放| 色婷婷成人| 丁香综合伊人| 艾小青av| 9久9久9久女女女九九九一九| 九九这里都是精品| 啊V视频在线观看| 任你爽视频| 操你av| 五月婷婷六月激情在线| 99亚洲色| 欧美日朝成人| 一本久久婷婷| 99热最新网址| 色综合色综合网| PORNY九色9l自拍视频成人| 狠狠干狠狠色| 超碰人人操| 夜夜操少妇| 性热视频99精品| 国产精产国品一二三在观看| 色久天| 欧美99热| 超碰色色综合| 丁香激情综合| 欧洲色色| 91avse| 久久九九视频| 久草五月天电影网| 国产激情AV| 91亚洲免费片| 色婷婷色综合久久精品V| 超碰人人色| 99色性爰网络| 99色在线观看| 五月婷婷天| 色碰碰| 91在线看片| 六月激情网| 怎么样可以看免费的一级av| 亚洲无码yw| www,五月天激情| 丁香婷婷五月六月天| 精品久久久久久久久久久久人妻| 99亚洲大片精品永久在线观看 | 97色色综合| 天堂成人A片永久免费网站| 婷婷激情五月| 色综合99| 五月婷婷视频| 五月激情久久| 天天肏在线观看| 91超碰在线播放| 久去色色| 久久婷婷成人综合色怡春院| 五月天成人在线视频网站| 情久久综合五月天| 东京热免费视频| 亚洲婷婷五月天| 俺去也五月天| 色婷婷影院| 九九日伊人| 欧美高潮9| 婷婷丁香五月激情密臀av| 97五月婷婷| 丁香五月综合激情啪啪| 再次出发二| 夜丁香五月婷婷| 99爱视频| 风流少妇A片一区二区蜜桃| 久久人人添人人爽添人人片αV| www久久99| 婷婷丁香18| 久婷狼色诱惑在线| 影音先锋91资源站| 色婷婷欧美在线| 桔色成人在线| 高清一区二区三区日本久| 免费一区二区三区| 色~性~乱~伦~噜| 精品少妇蜜臀91| 97丁香五月| 成人做爰黄A片免费看直播室男男| 亚洲成人av在线观看| www色婷婷久久综合久色| 国产五月天欧美色| 亚洲乱码日产精品BD| 任你日视频| 深爱五月激情| 亚洲无码性爱| 香蕉久久国产AV一区二区| 337p午夜影院| 九九99在线免费在线观看视频| 青草视频在线播放| 婷婷五月丁香av网站| 激情综合网,婷婷| 五月丁香在线| ztEJj| 五月激情四射婷婷丁香| 婷婷五月丁香六月| 丁香五月婷婷国产av| 秋霞免费三级片| 久婷五月| 97在线/日本| 久草xx性爱视频| 国产精品涩涩涩视频网站| 99riAV国产精品视频| 五月天激情无码专区| 青柠影视免费高清电视剧| 伊人干综合| 成人亚洲精品| 97干视频| 婷婷色五月天在线| 亚洲小视频免费观看| 久久婷婷激情| AAA久久| 亚洲操操| 婷婷丁香五月av| 五月激情站| 这里只有精品视频222| 久久女人天堂| 丁香六月婷婷五月天| 五月综合激情网| 丁香六月天AV| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 热日韩欧美| 丁香五月乱中文字幕| 任你弄在线视频免费| 五月综合缴情网| 影院久久久| 五月婷婷丁香五月婷婷丁香| 超碰人人91| 人妻久久久久久| 五月丁香好婷婷A片网| 丁香六月婷婷基地| 丁香五月先锋| 九月丁香婷婷| 天天插操| 操逼视频一区| 婷婷综合成人五月天| 97操资源婷婷| 91色综合| 国产精品婷婷午夜在线观看| 99色在线观看视频| 国产精品第一国产精品| 五月综合无码| 日韩砖区| 91免费看片| 草了bav视频在线观看| 激情五月天偷拍综合网| 五月伊人综合| 大香蕉人在线65| 99在线精品免费视频| 天天插天天日| 日日操日日爽| 欧美日韩成人在线| 久久五月天激情婷婷| 深爱五月天| 激情婷婷五月| 蜜臀av在线成人电影| 七月激情六月婷婷综合在线播放| 亚洲色五月| 婷婷丁香97| 99热激情| 久99热| 色激情综合| 五月丁香五月天现场视频| 超碰国产在线| 亚洲在线综合| 人妻激情视频| 日韩精品一区二区刘| 黄色片久久| 99re6在线视频精品免费| 久久98| 超碰超碰在线| 日本久久性| 天天插天天干| 9l视频自拍9l视频自拍九色学生| 中文字幕乱轮| 精品亚洲VA网站| 婷婷5月九九| 色婷婷丁香中文在线播放| 99爱在线精品视频免费观看| 婷婷五月丁香成人| 天天狠狠夜夜狠狠2023| 99热国产| 亚洲黄色影视| 久久亚洲天堂| 九九九九中文字幕| 狠狠操狠狠干综合| 国产午夜伦鲁鲁| 丁香六月啪| 99热网精品| 免费国产视频| 夜夜骑天天操| 91超级碰人人操| 思思热99在线| 91av传媒高清在线视频网| 26uuu青青| 婷婷五月激情欧美| 久久婷婷人人| 久草狼人| 亚洲免费观看高清完整版AV线| 婷婷五月骚厕所| 99视频这里有精品| 夜夜夜叫天天天做| 曰韩五月丁香色婷婷无码| 99爱在线| 中文幕无线码中文字蜜桃| 这里只有精彩小视频视频网站| 色域五月婷婷丁香| 五月丁香啪啪婷婷| 天天日夜夜拍| 婷婷综合激情五月中文字幕| 亚洲九区| 婷婷深爱色五月| 婷婷成人五月天| 婷婷久久五月| 欧美日韩精品人妻狠狠躁免费视频 | 日日鲁鲁鲁夜夜爽爽狠狠视频97| 色狠狠综合网| 在线不卡AC| 这里只有精品免费观看网占| 激情五月天福利| 99乱视频| 日本久热| 婷婷成人视频| 五月色丁香国产在线视频| 亚洲精品国产A久久久久久| 99精彩视频在线观看| 色五月 婷婷, 大香蕉| 综合激情深爱| 99九九玖玖| 五月激情射| 久久婷婷五月丁香网| 97操在线视频| 美国少妇性做爰| 九九在线这里只有精品视频| 在线中文亚洲| 色播丁香| 99爱在线精品视频免费观看| 亚洲最大在线| 青草青草视频2免费观看| 99精品久久久久久久婷婷久久| 精品无码片| 婷婷五月AV| 久久成人性爱| 色爱综合五月| 天天日天天爽| 丁香五月婷婷影院| 色玖玖| 成人无码髙潮喷水A片| 天天综合天综合| 激情AV在线| 中文字幕日产A片在线看| 激情五月狠狠| 9色视频在线| 538在线精品| 激情网五月天| 色婷婷五月丁香在线观看| 亚洲啪| 婷婷香蕉| 5月婷婷激情在线| 中文网AV| 天天干天天操天天射| 激情六月天| 超碰1999| caopeng97日韩| 激情久久久久久久久| 欧美内射AAAAAAXXXXX| 丁香六月久久| 五月天四色房丁香| 亚洲天堂99| 操草草草| 亚洲精品又粗又大又爽A片| 很很干天天干| 日韩激情人伦人| www色婷婷| 婷婷夜夜夜夜| 深爱五月婷婷开心中文字幕| 综合色影| 久久 中文 日本| 国产3p露脸普通话对白| 五月天丁香网| 五月花婷婷| www.五月激情红色| 天天日天天插天天操| 大香AV| 亚洲欧美综合7777色亭亭| 久久XX| 99精品视频网| 五月丁香六月婷婷久久| 九九热思思热| 亚洲精品乱码久久久久久综合| 色噜噜97视频在线观看| 六月婷婷操逼| 91re色综合视频| 荫道BBWBBB高潮潮喷| 五月天婷婷在线播放| a久久| 丁香久久久| 桔色成人官方网站| 亚洲AV激情五月综合网| 亚洲色色爱| 视频这里只有精品| 狠狠狠婷婷五月综合| 久9精品视频| 正宗黄色毛片| 欧美精品A片一区在线观看| 亚洲无码性爱| 五月天亚洲色| 特级西西4444www无码| 五月第四色| 啪到高潮激情丁香五月| 天天射色五月天| 久久欧洲综合网| 99这里只有精品在线观看| 亚洲色婷婷激情| 色婷婷婷综合五月天| 这里只有视频精品| 五月丁香999| 干婷婷五月天| 久色成人| 快色t v在线入口| 色综合久久久久久久久五月| 欧美婷婷色五月| 夜夜操,天天撸| 日本五月婷婷| 欧美色97| 五月天激情小说| 丁香婷婷黄网站| 人妻性操逼中文字幕 国产| 啪啪色激情五月天| 精品无码色欲AV| 99热777| 岛国AV网站| 99.N在线视频| 六月丁香五月天| 天天日日夜夜| 天天久久婷婷| 青青草原亚洲天堂| 安息电影在线观看完整版| 五月天婷爱综合| www.狠狠艹| 婷婷综合色图| 大地资源色婷婷视频在线| 五月激情综合网婷婷| 综合 蜜月 婷婷| 婷色五月天| 五月天激情播播网| 日本激情五月天‘| 91人人操人人爱| 亚洲AV成人在线| 爱爱网址9| 九九九九九九综合| 性色播| 中文字幕色色| 五月天社区| 日本4399天堂中出| 久久Xx| 99这里只有免费的精品| 橾逼网| 六月丁香网| 黄色短视频在线观看| 97操在线视频| 色六月视频| 婷婷综合色色| 久久五月热| 日韩九九视频| 深爱激情丁香| 99精品视频在线观看| 国产精品丝| 99热日本| 天堂A∨在线| 午夜微拍福利| 伊人久久激情图区五月| 免费视频99| 性爱久久| 99ri国产| 五月婷婷五月天在线| 激情网五月天| 九九久久99精品免费观看www| 天天射天天射一道本日本社区 | 超碰成人在线观看| 久久婷婷五月综合网| 九九热这里只有精品556| www夜夜操comwww| 色色五月婷婷| 超碰人人艹| 国产精品VA在线| 202丰满熟女妇大| 色婷婷综合久久久久| 五月停停激情网| 年轻的妺妺伦理HD中文| 91精品91久久久中77777| 婷婷淫淫狠狠六月| 99精品久久久久久| 天天综合插插| 综合网亚洲| 91精品国产99久久久久久天美| 五月丁香基地| 国产精产国品一二三在观看| 五月丁香六月婷婷亚洲天堂网站| 丁香婷婷九月| 久久九九九九| 五月情色天| 激情5月婷婷| 狠狠肏综合网| 99色综合| 色久婷婷网| 国产精品色| 俺来也综合网精品一区| 中文字幕永久免费| 伊人色综合影院视频| 开心五月婷婷婷美女| 亚洲va在线| 91夫妻网站九色| 手机AVAV天堂看网| 亚洲色无码A片一区二区麻豆| 欧美成性色| 性爱视频久久| 色五月之第四色| 久久精品这里只有精品免费首页| 婷婷色综合| 99久在线精品99re8| 婷婷久久99| 91色涩| 色婷操逼| 久久这里只有精品99| 伊人五月天综合网| 欧美精品999| 色9色| 少妇AB又爽又紧无码网站| 91热er| 国产婷婷色综合AV蜜臀AV | 天天干天天日日| 色欧美色色色| 深爱激情五月婷婷| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 狠狠爱婷婷| 色一情一乱一乱一区91Av| 激情婷婷| 午夜天堂一区人妻| 五月婷婷之美女图片| 91操在线观看| 99日本精品视频热| 久久与婷婷| 波多婷婷久久| 激情视频综合| 亚洲va日| 久9久视频精品| 国产性爱亚洲是图| 激情久久综合| 熟妇内谢69XXXXXA片| 五月天电影网| 99ri在线播放| 日韩999| 欧美性爱5月天天天看| 大香人妻| 亚洲综合激情五月久久| 婷婷激情六月中文| 98色丁香五月婷婷综合网| 99久久综合网| 五月婷婷成人w| 成人啪啪色婷婷久| 五月丁香六月婷婷啪啪| 成人九九视频| 久久作爱| www五月婷婷| 色噜噜五月天| 激情丁香淫荡婷婷| 久人人操| 99re66热这里只有精品| 国外亚洲成AV人片在线观看| 色五月色五天免费视频| 这里只有精品视频视频在线观看| 色六月 婷婷| 久久人人九九| 综合色色婷婷| 天天噜日日噜综合无码| 日本操B视频| 伊人久久大香蕉网| 影音先锋 婷婷| 在线天堂9| 69凹凸成人综合网| 天天看A片| 久久激情五月网| 国产成人网址| 影音先锋综合网| 成人做爰高潮A片免费视频| 五月天色区| 天天爱天天做综合| av在线激情| 99re欧美精品| 九九久久综合| 亚洲 视频 导航 一区| 久久婷婷操| www久久久| 五月天怕怕| 日韩av手机在线观看| 久久婷婷色| 五月天婷婷在线播放| ...婷婷国产成人亚洲日韩| 久久久jd| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 光棍影院日韩精品| 五婷婷综合网| www99热| 99热人人| 婷婷的色色五月天| 婷婷五月天六点丁香五月| 色婷婷丁香五月天在线视频 | 婷婷五月天激情在线观看 | 色婷婷五月天视频在线| 内射激情在线| 另类的婷婷| 97操碰视频| 国内久久久精品99| 久久日婷婷| 99丁香婷婷综合网| 色久综合| www久| 天天插天天插天天插天天插| www.9797国产| 天天日日夜夜| 99热8| 色五月丁香五月天| 亚洲亚洲永久无码777777| 婷婷五月天成人基地| www.思思99热| 九九亚洲小视频| 丁香婷婷射| 伊人在线婷婷草| 久久与婷婷| 99综合婷婷五月| 欧洲亚洲免费视频9| 婷婷五月天堂网| 六月丁香婷| 日本久久网| 天搞天天天天天| 99er日韩| 中文字幕丰满乱孑伦无码专区| 色婷婷99| 五月丁香五月婷婷| 99热在线观看| 国产真实乱了老女人视频| 亚洲欧洲中文日韩久久AV乱码| 高清一区二区三区日本久| 色色亚洲| www日本熟妇99在线视频| 丁香五月欧美婷婷| 无码一区二区三区四区五区91c| 天天色凹凸| 欧美精品A片一区在线观看| 99热在线资源| 99热精品在线观看| 热的国产,热的综合,热的有码| 婷婷色香六月综合激情| 五月丁香婷婷中文网| www.ppypp| 日本婷色| 另类小说五月天| 国产精品18久久久| 婷婷丁香91综合| 五月丁香激情啪啪网| 九九热10| 亚洲视频丁香网va| 久久er99| 9|无码久久久久久| 少妇高潮A片无套内谢麻豆传| 九九丁香社区欧美激情| 99热99天堂| 五月婷婷激情综合| 五月丁香婷中文字幕| 色狠久| 久久亚洲婷婷| 色色欧美。| 91久久电影| 狠狠操.com| 婷婷丁香色情五月天| 丁香五月区| 亚洲亚洲人成综合网络| 97超碰欧美中文字幕| 激情综合亚洲| 无码人妻一区二区三区免费九色| 91九色中文字幕女在线观看| 欧美精品999| 超碰免费电影| 五月丁香婷婷网网网网| 婷婷五月天六月| 六月婷婷激情| www.99色在线| 丁香婷婷网| 伊人色综在线| 色色操| 青青操日本摸摸看看| 人妻综合网| 丁香五月婷婷在线视频| 久久婷婷色| 天天干天天av天天射 | 色综合激情| 99ri视频| 1区2区视频| 人人添人人| 五月丁香免费视频| 日日操夜夜操不卡| 秋霞三级色戒| 五月丁香色综合| 五月婷婷涩涩爱| 激情久久久| 狠狠搞狠狠操| 激情都市另类| 激情六| 五月综合激情| 久久婷婷艹| 99这里精品| 99热这里都是精品| 9色婷婷| 久久婷婷六月| 丁香五月网址| 成人短视频免费观看| 欧美在线| 婷婷六月色开| 九九热精品视频在线观看| 五月综合激情啪啪啪啪啪| 激情综合网丁香| 精品99在线| 欧美日韩国产成人在线| 天天做天天干天天综合网| 婷婷久久大香蕉| 婷婷色色欧美| 色五月婷婷激情| 国产,欧美,学生妹,视频| 天天狠天天狠| 婷婷色导航| 婷婷五月大香蕉| 色情五月综合婷婷| 色综合色色色色色色综合| 天天舔天天| 九九色综合| www.粉嫩av.com| 久久综合九九| 亚洲永久四色| 9久久精品| 色播婷婷大香蕉| 人妻久热| 狠狠色噜噜狠狠狠狠综合| 婷婷五月六月丁香| 丁香五月婷婷少妇| 色五月第四色| 91人人人人人人人| 99r这里| AV亚洲在线| 亚洲AV成人无码久久精品老人法拉利| 高潮毛片又色又爽免费| 五月婷婷综合网在线播放| 亚洲婷婷五月天| 国产精品五月丁香| 天天插天天干| 久久五月丁香综合17C| 大战熟女丰满人妻AV| 色婷婷精品小视频| 亚洲国产精品二二三三区| 婷婷五月天亚洲色| 日韩综合成人| 99色最新在线视频网站| 玖玖婷婷五月天毛片| 丁香六月色婷婷综合| 九九综合网| 久久婷婷视频| 综合另类视频| 五月天成人综合| 激情99。| 亚洲操女| 激情综合激情综合| 99久久久久久www| 91狠狠综合久久久久久| 另类色网| 久久九九激情五月天| 99re热视频这里只精品5| 性色av大香综合| 大香蕉啪啪啪| 日本在线免费中文com.| H亚洲| 99精品无码| 精品久久99| 日本人人超碰| 天天做夜夜爽| 97在线精品| 亚洲深喉aV| 5月婷婷6月六月丁香| 激情六月丁香| 欧美性猛交AAAA片黑人 | 婷婷色情五月| 超碰免费大香蕉| 国产精品人成A片一区二区| 色婷婷九月| AV在线免费网站| 少妇2做爰HD韩国电影| 天天插插天天| 中文字幕在线日亚洲9| 99网| 激情綜合網址| 99丁香五月婷| 超碰在线播放免费观看| 99热这里只有精品首页| 色婷婷五月天天天干天天操天天爽| 五月婷婷,狠狠操| 婷婷色婷婷| 色综合另类| anquye伊人| 狠狠色噜噜狠狠亚洲A∨| 99热精品在线播放| 亚洲精品五月| 综合色色婷婷| 久久综合55| 五月婷婷色五月| 天天天操天天天日| 99热欧美在线观看| 丁香五月ⅤA久久久| 国产激情久久久| 久久怡红院| 日韩六十路91性交电影| 丁香五月婷婷亚洲综合精品| 丁香五月天啪啪激情综和网| 九九亚洲综合| 久久激情四射| 99久在线精品99re8热| 爱婷婷都市激情| 成人网丁香五月| 久99久视频| www.9色色色| 国产成人片| 色五月综合网| 亚洲情欲| 99精品久久久久久久婷婷久久| 九九色婷婷| 94干大香蕉| 97人人干视频| www.99热| 五月婷婷综合网| 久久99热这里只频精品6学生| 午夜爱爱爱成人| 六月色婷婷色| 成人版视频在线观看| 日本nghangse中文字幕| 最新高清无码专区| 天干夜夜操| 丁香色综合| 综合网天天| 美英法精品无码免费视频| 成人婷婷桔色| 丁香色五月直播| 五月婷中文字幕| 金品在线视频99| 十二区无码| 丁香五月天AV在线| 嫩草AV久久伊人妇女超级A| 亚洲国产99| 91精品久久久久久| 啪啪综合| 性色婷婷| 五月丁香激情婷婷| 少妇搡BBBB搡BBB搡毛茸茸 | 日韩99精品| 俺去啦综合网| 狠狠狠狠狠草| 五月天婷婷色播在线网| 思思热99er在线视频| 久久九九怡红院| 天天噜天天插| 99色6爱9热| 99热大全在线观看| 激情五月天婷婷图| 99综合网| 亚洲小视频免费看| 婷婷五月丁香综合亚洲| 丁香啪啪| 九九热这里有精品视频| 色婷婷五月六月丁香综合视频| 日韩成人精品中文字幕| 五月婷婷基地| 99综合色色色| 久久综合热17c| 2025天天爽天天摸| 婷婷四色成人综合色视| 亚洲 六月 综合| 天堂草在线看www| 丁香五月天激情免费在线观看AV777| 91婷婷五月天嫩女| 中文在线成人| 99ri视频| 激情五月综合| 538在线精品| 激情婷婷激情在线不卡| 大香蕉娱乐| 极品另类| 91久热| a69在线视频| 久久婷婷亚洲五月天| 色色色.COM| 99九九在线视频| 日本高清久久| 国产精品一区在线观看你懂的| 无遮羞AV| 五月丁了香蕉综合| 99色综合| 色五月婷婷亚洲| 婷婷五月天影院| 4399无码视频二区| 91av视频在线观看最新网址| 草榴视频网| 67194国产| 狠狠人妻久久久久久综合丁香| www色五月天| 91九色中文字幕女在线观看| 99无码视频| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 97五月天| 激情婷婷激情在线不卡| 9精品视频在线观看| 九九热99re8热免费观看 | 色 免费网站视频| 丁香六月激情综合网| 色五月丁香五月天| 国产67194| 影音先锋秋秋五月婷婷| 婷婷丁香五月天影院 | 亚洲激情四射色| 六月婷婷久久| 色五月在线| 26uuu| 久久婷婷影院| 97操男人的天堂| 婷婷丁香射射| 四色AVwww| 26UUU精品一区二区| 五月九九综合| 婷婷在线视频| 人人爽欧美婷婷久久久五月丁香| 97碰在线视频| 大香蕉丁香五月| 五月丁香婷婷色| 五月丁香婷爱在线| 99热这里只有精品9| 丁香婷婷久久综合在线| 五月网激情| 久久色亭亭五月天| 99干日日干| AAA久久| 日韩AV大全| 丁香婷婷综合激情五月色| 五月激情射| 亚洲综合婷婷六月丁香五月| 久久婷婷成人综合色怡春院| 色综合播放| 婷色成人| 五月丁香婷婷综合| 婷婷五月天受日本法律保护| 色五月婷婷天天干| 99热这里全都是精品| 超碰自拍天堂| 韩日在线熟女| 影音先锋91| 色综合婷婷99| 五月婷免费视频久久久| www.黄色片-久久成人国产精品在线播放-999AV | 五月丁香网站| 午夜五月天| 日韩黄色影院| 夜夜骑操AV| 香蕉婷婷| 欧美日韩国产伦精品日韩人妻一| 欧美激情凹凸丁香网| 精品夜夜澡人妻无码AV| 99er日韩| 久久新地址| caopeng97人人| www.五月瑟| 五月婷婷亚洲天堂97色婷婷| 激情婷婷五月亚洲| 九九热AV| 五月天丁香综合久久国产| 六月综合在线| 十二区无码| 综合综合网| 日韩专区五月天婷婷丁香| 五月天激情网址| 激情五月综合网| 五月天天天综合| 欧洲亚洲精品| 九九av| 99免费在线| 大香蕉伊人久久| 婷婷亚洲天堂| 婷婷综合在线| 亚洲激情网| 丁香五月天导航| 天天干夜夜想| 婷婷五月天激情网址| 激情綜合W W W,激情五月天| 婷婷五月情| 99这里只有精品视频| 精品在线| 亚洲亚洲人成综合网络| 六月丁香婷婷天堂|