欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Redis腦裂深度解析:從主從復(fù)制到數(shù)據(jù)一致性防護

Redis腦裂深度解析:從主從復(fù)制到數(shù)據(jù)一致性防護 1. 這篇文章真正要解決的問題如果你負責過 Redis 生產(chǎn)環(huán)境或者用 Redis 搭過主從加哨兵的架構(gòu)大概率碰到過一個非常詭異的現(xiàn)象主節(jié)點明明還在運行日志里也沒有出現(xiàn)崩潰但業(yè)務(wù)卻突然寫入失敗或者部分數(shù)據(jù)悄悄丟了。等你去查監(jiān)控發(fā)現(xiàn)“不分青紅皂白”地出現(xiàn)了一個新的主節(jié)點而原來的老主節(jié)點變成了一臺孤立的“光桿司令”。更讓人懵的是當網(wǎng)絡(luò)恢復(fù)后老主節(jié)點仿佛被“降級”了一樣之前那幾分鐘寫入的數(shù)據(jù)全部沒了。你翻遍業(yè)務(wù)日志沒有發(fā)現(xiàn)任何顯式的報錯數(shù)據(jù)就是沒了。這就是 Redis 腦裂Split Brain的典型表現(xiàn)。很多人第一次聽到“Redis 腦裂”第一反應(yīng)是是不是 Redis 有 Bug是不是哨兵Sentinel不靠譜是不是主從復(fù)制出了問題這里先給一個明確判斷Redis 腦裂不是 Redis 本身的 Bug也不是哨兵的隨機抽風而是分布式系統(tǒng)中“網(wǎng)絡(luò)分區(qū) (Network Partition) 主備切換機制”共同作用下的必然結(jié)果。換句話說只要你用了 Redis 主從 哨兵模式又沒有對寫入方做任何保護腦裂就隨時可能發(fā)生。這不是概率問題而是時間問題。這篇文章我想把 Redis 腦裂這件事徹底講透。我會從主從架構(gòu)和哨兵的原理講起帶你看清楚腦裂發(fā)生的完整鏈路然后給你可以直接照做的排查命令、防腦裂配置和最佳實踐。如果你正在用 Redis 做緩存、做分布式鎖或者準備在生產(chǎn)環(huán)境搭建 Redis 高可用集群這篇文章建議先收藏。腦裂等出問題時再學代價往往已經(jīng)不太小了。2. 什么是腦裂從現(xiàn)實場景理解分布式系統(tǒng)的“人格分裂”腦裂這個術(shù)語最早來自醫(yī)學指的是連接左右腦半球的胼胝體受損后左右腦各自為政人體出現(xiàn)“兩個意識”的狀態(tài)。在分布式系統(tǒng)里腦裂的含義類似一個集群中因為網(wǎng)絡(luò)分區(qū)、節(jié)點假死等原因原本只有一個 Leader主節(jié)點的系統(tǒng)里同時出現(xiàn)了兩個或多個節(jié)點認為自己是 Leader繼續(xù)對外提供服務(wù)。對 Redis 來說腦裂的直接表現(xiàn)就是同一份數(shù)據(jù)同時有兩個主節(jié)點在寫。這里要區(qū)分一個概念Redis 腦裂并不是 Redis 主從復(fù)制本身壞了而是“容錯切換決策”和“實際存活狀態(tài)”之間出現(xiàn)了不一致。2.1 為什么會出現(xiàn)兩個主節(jié)點Redis 主從模式下正常情況下只有一個 master所有寫操作都走 master從節(jié)點slave/replica只同步數(shù)據(jù)不對外提供寫服務(wù)。當 master 出現(xiàn)故障時哨兵會發(fā)起故障轉(zhuǎn)移failover從從節(jié)點里選出一個新的 master。這個過程本身沒有錯。但問題是哨兵是怎么判斷 master 故障的答案是“主觀下線”和“客觀下線”。這部分后面細講簡單說就是如果 master 和哨兵之間的網(wǎng)絡(luò)斷了但 master 本身還在運行比如還在接收客戶端的寫請求那么哨兵會主觀認為 master 掛了然后發(fā)起故障轉(zhuǎn)移選出一個新 master。于是老 master 還在接受寫入。新 master 也在接受寫入。兩邊同時寫數(shù)據(jù)分叉。這就是腦裂。2.2 Redis 腦裂的本質(zhì)是 CAP 的取舍要真正理解腦裂不能只看 Redis 配置還要理解 CAP 理論。CAP 理論說的是一個分布式系統(tǒng)在網(wǎng)絡(luò)分區(qū)發(fā)生時P你只能在一致性C和可用性A之間二選一。Redis 做主從切換追求的是高可用A當主節(jié)點失聯(lián)時盡快選出新主讓業(yè)務(wù)不中斷。但代價是什么是可能犧牲一致性C在極端情況下舊主節(jié)點并沒有真正宕機它只是和哨兵網(wǎng)絡(luò)斷了用戶寫入的數(shù)據(jù)沒有同步到新主。所以更準確的說法是Redis 腦裂不是故障而是 Redis 在“網(wǎng)絡(luò)分區(qū)高可用切換”場景下默認選擇了“可用性優(yōu)先”的必然結(jié)果。理解這一點很重要因為它決定了你不能用“加幾個哨兵”來解決腦裂而要從架構(gòu)設(shè)計層面去約束“舊主”的行為。3. Redis 主從架構(gòu)與哨兵腦裂出現(xiàn)前的基礎(chǔ)設(shè)施在深入腦裂機制之前必須先梳理 Redis 主從和哨兵的工作流程。很多人對腦裂的理解模糊其實是基礎(chǔ)概念不牢固。3.1 主從復(fù)制Master-Slave ReplicationRedis 主從復(fù)制的作用簡單說就是把一臺 Redis 節(jié)點的數(shù)據(jù)實時同步到其他節(jié)點。主節(jié)點master處理寫請求把寫操作記錄到自己的內(nèi)存并異步發(fā)送給從節(jié)點。從節(jié)點replica只處理讀請求接收主節(jié)點的同步數(shù)據(jù)保證和主節(jié)點最終一致。主從復(fù)制的核心步驟是從節(jié)點向主節(jié)點發(fā)送PSYNC命令請求同步。主節(jié)點執(zhí)行BGSAVE生成 RDB 快照同時把新寫入的命令記錄到復(fù)制緩沖區(qū)。主節(jié)點把 RDB 文件發(fā)送給從節(jié)點。從節(jié)點加載 RDB 文件后主節(jié)點繼續(xù)把復(fù)制緩沖區(qū)中的寫命令發(fā)給從節(jié)點。后續(xù)主節(jié)點每執(zhí)行一條寫命令都會實時發(fā)送給從節(jié)點。注意第 5 步Redis 的復(fù)制默認是異步的。主節(jié)點執(zhí)行SET key value之后并不會等待從節(jié)點確認“我已經(jīng)寫好了”而是直接返回給客戶端。這意味著什么意味著主節(jié)點上存在一段“最近寫入但還沒有同步到從節(jié)點”的數(shù)據(jù)窗口。一旦主節(jié)點在這時發(fā)生故障或切換這部分窗口數(shù)據(jù)就可能會丟失。3.2 哨兵Sentinel如何工作Sentinel 是 Redis 提供的高可用解決方案它的職責是監(jiān)控所有 Redis 節(jié)點的健康狀態(tài)。當主節(jié)點出現(xiàn)問題時自動執(zhí)行故障轉(zhuǎn)移從從節(jié)點中選出新的主。把新主節(jié)點的信息通知給客戶端。哨兵有幾個關(guān)鍵概念概念解釋主觀下線SDOWN單個哨兵發(fā)現(xiàn)主節(jié)點沒有在down-after-milliseconds時間內(nèi)響應(yīng)標記為“主觀下線”客觀下線ODOWN多個哨兵達到 quorum 數(shù)量都認為主節(jié)點下線則標記為“客觀下線”故障轉(zhuǎn)移Failover客觀下線后哨兵們選出一個 Leader 哨兵從從節(jié)點中選出新主并修改配置這里就出現(xiàn)了第一個容易被忽略的點主觀下線只需要一個哨兵就能觸發(fā)。它依據(jù)的是哨兵和主節(jié)點之間的網(wǎng)絡(luò)通信狀態(tài)而不是主節(jié)點本身的存活狀態(tài)。如果 Redis 主節(jié)點所在的服務(wù)器只是網(wǎng)絡(luò)暫時抖動或者主節(jié)點 CPU 負載過高導(dǎo)致無法及時響應(yīng) Ping但主節(jié)點本身還在正常運行哨兵依然會判定它主觀下線。于是后面的事情就順理成章哨兵 A 發(fā)現(xiàn)主節(jié)點 ping 不通標記主觀下線。如果多個哨兵都收不到主節(jié)點的響應(yīng)達到 quorum標記客觀下線。哨兵觸發(fā)故障轉(zhuǎn)移從從節(jié)點中選出新主。而客戶端那邊呢如果客戶端還連在舊主上寫操作依然會成功。兩個主節(jié)點同時工作的局面形成了。4. Redis 腦裂的完整觸發(fā)過程從網(wǎng)絡(luò)抖動到數(shù)據(jù)丟失現(xiàn)在我們把上面的知識串起來完整走一遍 Redis 腦裂的生命周期。假設(shè)我們有這樣一個環(huán)境3 個 Redis 節(jié)點1 個 master、2 個 replica。3 個 Sentinel 實例。業(yè)務(wù)應(yīng)用通過哨兵獲取主節(jié)點地址連接 Redis。4.1 第一階段網(wǎng)絡(luò)分區(qū)發(fā)生假設(shè) Redis 主節(jié)點所在的機器因為交換機故障或者網(wǎng)絡(luò)擁塞和 Sentinel、從節(jié)點之間的網(wǎng)絡(luò)徹底斷了。但這里有個關(guān)鍵細節(jié)**主節(jié)點所在的機器本身沒有宕機Redis 進程也沒有崩潰。**主節(jié)點依然可以接受客戶端連接和寫入只是它再也聯(lián)系不上從節(jié)點和哨兵了。此時其實已經(jīng)形成一個“網(wǎng)絡(luò)分區(qū)”分區(qū) A舊 master 連接它的客戶端。分區(qū) B哨兵 兩個從節(jié)點 通過哨兵路由的客戶端。4.2 第二階段哨兵判定主節(jié)點下線哨兵節(jié)點每隔sentinel monitor配置的時間間隔會向主節(jié)點發(fā)送 Ping。因為網(wǎng)絡(luò)斷了哨兵收不到主節(jié)點的 Pong 響應(yīng)等待超過down-after-milliseconds后哨兵會把這個主節(jié)點標記為sdown主觀下線。如果 3 個哨兵都這樣認為并且配置的quorum值小于等于 2那么主節(jié)點被標記為odown客觀下線。于是哨兵開始執(zhí)行故障轉(zhuǎn)移流程。4.3 第三階段選出新主節(jié)點哨兵集群經(jīng)過投票選出一個 Leader 哨兵由它執(zhí)行故障轉(zhuǎn)移從兩個從節(jié)點中選出一個執(zhí)行SLAVEOF NO ONE提升它為新的 master。另一個從節(jié)點執(zhí)行SLAVEOF new_master_ip new_master_port變成新主的從節(jié)點。哨兵更新自己的配置通知客戶端新的主節(jié)點地址。從這一刻開始分區(qū) B 中已經(jīng)有自己的 master 了。4.4 第四階段舊主依然接收寫入腦裂形成關(guān)鍵問題來了在分區(qū) A 中舊 master 依然活著依然接收客戶端的寫請求。如果客戶端沒有通過哨兵動態(tài)感知主節(jié)點變更而是維護了一個靜態(tài)的主節(jié)點連接那么客戶端寫請求還是會打到舊 master 上。舊 master 接收到SET key value后它無法把這寫命令同步給從節(jié)點因為網(wǎng)絡(luò)斷了。但它會正常執(zhí)行并且告訴客戶端“寫入成功”。此時舊 master 上有最新的數(shù)據(jù)。新 master 上只有網(wǎng)絡(luò)斷開前同步過的老數(shù)據(jù)。兩個“主節(jié)點”同時接受寫請求數(shù)據(jù)開始分叉。這就是 Redis 腦裂的完成形態(tài)。4.5 第五階段網(wǎng)絡(luò)恢復(fù)和無情的數(shù)據(jù)丟失假設(shè)網(wǎng)絡(luò)修復(fù)了舊 master 和哨兵、從節(jié)點的連接恢復(fù)了。哨兵發(fā)現(xiàn)舊 master 還活著但此時新 master 已經(jīng)產(chǎn)生。那么哨兵會強制把舊 master 降級為從節(jié)點并向新 master 發(fā)起全量同步full resync。全量同步意味著什么意味著舊 master 會在同步前清空自己的數(shù)據(jù)然后加載新 master 的 RDB 快照。在腦裂期間舊 master 上多寫入的數(shù)據(jù)全部丟失。這個數(shù)據(jù)丟失不可恢復(fù)因為它從來沒有同步到任何其他節(jié)點。所以你看整個鏈路下來沒有任何一個環(huán)節(jié)是“故意丟數(shù)據(jù)”的但最終數(shù)據(jù)就是丟了。這就是分布式系統(tǒng)的一致性和可用性博弈的代價。5. 如何判斷 Redis 是否發(fā)生過腦裂腦裂發(fā)生的時候業(yè)務(wù)端不一定有明顯報錯數(shù)據(jù)丟失也常常是“悄悄發(fā)生”的。但我們可以通過一些跡象和命令來判斷。5.1 查看哨兵日志哨兵日志里會有明顯的故障轉(zhuǎn)移記錄。當你發(fā)現(xiàn)以下日志時說明發(fā)生過主備切換# 主觀下線 sdown master mymaster 192.168.1.10 6379 # 客觀下線 odown master mymaster 192.168.1.10 6379 #quorum 2/2 # 開始故障轉(zhuǎn)移 try-failover master mymaster 192.168.1.10 6379 # 選出了新主 switch-master mymaster 192.168.1.10 6379 192.168.1.11 6379switch-master后面那行就是切換前后的主節(jié)點地址??吹竭@一行就要意識到剛才可能發(fā)生過腦裂。5.2 檢查 Redis 節(jié)點的角色變化使用info replication命令可以查看當前節(jié)點的角色信息。在舊主節(jié)點上執(zhí)行redis-cli -p 6379 info replication正常情況下主節(jié)點的role應(yīng)該是master。如果發(fā)生了腦裂且網(wǎng)絡(luò)已恢復(fù)舊主會被降級為slave并指向新主。如果腦裂尚未恢復(fù)你可以看到舊主還是master但它的connected_slaves計數(shù)為 0說明沒有從節(jié)點連接它這就很可疑。# 舊主節(jié)點在腦裂期間的輸出 role:master connected_slaves:0 master_replid:xxxxx再看新主節(jié)點能看到它已經(jīng)有從節(jié)點了# 新主節(jié)點恢復(fù)后的輸出 role:master connected_slaves:1 slave0:ip192.168.1.12,port6379,stateonline,offset12345,lag05.3 查看命令統(tǒng)計中的延遲和拒絕如果配置了min-replicas-to-write參數(shù)后面會講腦裂期間舊主會拒絕寫入。此時通過info stats命令可以看到redis-cli -p 6379 info stats | grep rejected sync_rejected_writes:5sync_rejected_writes統(tǒng)計了因為從節(jié)點數(shù)量不足而被拒絕的寫命令數(shù)量。一旦這個值大于 0說明系統(tǒng)曾經(jīng)觸發(fā)過寫保護。5.4 客戶端側(cè)如何發(fā)現(xiàn)如果你用的是 Lettuce 或 Jedis 客戶端并且配置了哨兵模式當主節(jié)點變更時客戶端會收到重定向通知。但這里有個容易被忽略的坑舊主節(jié)點只是網(wǎng)絡(luò)分區(qū)并沒有真正宕機客戶端如果保持長連接它不會主動感知主節(jié)點變更。所以在實際項目中更可靠的做法是通過 Redis Sentinel 獲取當前主節(jié)點地址來建立連接并監(jiān)聽主節(jié)點切換事件。這樣在主節(jié)點切換時客戶端能重新建立連接。具體的處理邏輯各語言客戶端支持不同落地時要選對 API。6. 防止 Redis 腦裂后的數(shù)據(jù)丟失min-replicas 詳解明白了腦裂的原理現(xiàn)在要解決實際問題怎么防止腦裂時的數(shù)據(jù)丟失。有人可能會說那我不用主從、不用哨兵行不行當然可以但這就放棄了高可用。如果你的業(yè)務(wù)允許短暫停機單節(jié)點 Redis 反而是最簡單可靠的方案。但大多數(shù)生產(chǎn)系統(tǒng)需要高可用所以必須接受“主備切換可能發(fā)生”這個現(xiàn)實。在此基礎(chǔ)上我們能做的是讓舊主在失去從節(jié)點同步能力時主動拒絕寫入。這樣就算腦裂發(fā)生舊主上也不會產(chǎn)生新數(shù)據(jù)網(wǎng)絡(luò)恢復(fù)后降級為從節(jié)點數(shù)據(jù)不會丟。這個能力 Redis 早就提供了就是min-replicas-to-write和min-replicas-max-lag。6.1 配置項說明在 Redis 的配置文件中redis.conf主節(jié)點可以設(shè)置兩個參數(shù)# 當主節(jié)點擁有的健康的從節(jié)點數(shù)量小于該值時停止接受寫請求 min-replicas-to-write 1 # 從節(jié)點的數(shù)據(jù)同步延遲超過該值秒視為不健康 min-replicas-max-lag 10含義是min-replicas-to-write 1主節(jié)點必須至少有一個健康的從節(jié)點才允許接受寫請求。min-replicas-max-lag 10從節(jié)點的復(fù)制延遲lag不能超過 10 秒。如果超過就認為這個從節(jié)點不健康。兩個條件同時滿足才允許寫。也就是說如果健康的從節(jié)點數(shù)量 min-replicas-to-write拒絕寫入?;氐侥X裂場景網(wǎng)絡(luò)分區(qū)后舊主無法和從節(jié)點通信從節(jié)點 lag 不斷增長超過 10 秒。主節(jié)點檢查發(fā)現(xiàn)“健康從節(jié)點數(shù)量”變?yōu)?0小于配置的min-replicas-to-write 1。于是后續(xù)的寫請求被拒絕客戶端會報錯不是寫入超時而是直接被拒。這樣舊主就不會產(chǎn)生新的增量數(shù)據(jù)。網(wǎng)絡(luò)恢復(fù)后舊主降級為從節(jié)點數(shù)據(jù)依然一致不會丟失。6.2 動態(tài)配置如果你已經(jīng)部署了 Redis可以通過命令動態(tài)調(diào)整參數(shù)不用重啟# 登錄 Redis 后執(zhí)行 CONFIG SET min-replicas-to-write 1 CONFIG SET min-replicas-max-lag 10 # 同時寫入配置文件防止重啟后失效 CONFIG REWRITE6.3 這兩個配置有什么代價先說清楚min-replicas-to-write不是沒有代價的。假設(shè)你的主節(jié)點確實掛了但是從節(jié)點還沒有被哨兵提升為新主這期間客戶端寫入會失敗。相當于用“暫時不可用”換取了“數(shù)據(jù)不丟失”。這其實是把 Redis 從“可用性優(yōu)先”拉向了“一致性優(yōu)先”。對緩存場景來說寫入失敗問題不大緩存 miss 后下次再寫即可。但對分布式鎖、秒殺扣減庫存、訂單狀態(tài)更新等強一致場景寫入失敗比“寫入成功但數(shù)據(jù)丟失”要好得多因為前者至少能被業(yè)務(wù)方感知并重試后者是無聲丟失排查代價極高。所以在生產(chǎn)環(huán)境建議這樣配置場景建議只做緩存允許少量數(shù)據(jù)丟失可以不配置 min-replicas-to-write 或設(shè) 0緩存 數(shù)據(jù)一致性要求高配置min-replicas-to-write 1分布式鎖 / 強一致業(yè)務(wù)必須配置且要配合 RedLock 等方案做兜底6.4 配置參考示例以下是一個完整的 redis.conf 主節(jié)點相關(guān)配置示例可作為生產(chǎn)環(huán)境模板參考# 基本主從配置 replica-read-only yes # 腦裂保護 min-replicas-to-write 1 min-replicas-max-lag 107. 完整實踐搭建一個可復(fù)現(xiàn)腦裂的 Redis 環(huán)境理解了理論最好親手驗證一次。下面用一個最小化的本地環(huán)境模擬“主節(jié)點網(wǎng)絡(luò)分區(qū)導(dǎo)致腦裂和數(shù)據(jù)丟失”的過程。7.1 環(huán)境準備在本地安裝 Redis 后創(chuàng)建三個目錄分別模擬三個節(jié)點mkdir -p /tmp/redis-lab/{6379,6380,6381}分別創(chuàng)建三個配置文件。主節(jié)點配置 /tmp/redis-lab/6379/redis.confport 6379 daemonize yes dir /tmp/redis-lab/6379 logfile redis.log pidfile /tmp/redis-lab/6379/redis.pid # 腦裂保護配置 min-replicas-to-write 1 min-replicas-max-lag 10從節(jié)點 1 配置 /tmp/redis-lab/6380/redis.confport 6380 daemonize yes dir /tmp/redis-lab/6380 logfile redis.log pidfile /tmp/redis-lab/6380/redis.pid replicaof 127.0.0.1 6379從節(jié)點 2 配置 /tmp/redis-lab/6381/redis.confport 6381 daemonize yes dir /tmp/redis-lab/6381 logfile redis.log pidfile /tmp/redis-lab/6381/redis.pid replicaof 127.0.0.1 63797.2 啟動節(jié)點redis-server /tmp/redis-lab/6379/redis.conf redis-server /tmp/redis-lab/6380/redis.conf redis-server /tmp/redis-lab/6381/redis.conf啟動后在主節(jié)點上確認從節(jié)點已經(jīng)連上redis-cli -p 6379 info replication預(yù)期輸出類似# Replication role:master connected_slaves:2 slave0:ip127.0.0.1,port6380,stateonline,offset14,lag0 slave1:ip127.0.0.1,port6381,stateonline,offset14,lag07.3 模擬網(wǎng)絡(luò)分區(qū)為了模擬腦裂我們不能直接殺掉主節(jié)點進程因為 Redis 主節(jié)點如果真正宕機就不會再接受寫請求了。正確做法是使用 Linux 的iptables規(guī)則只阻斷主節(jié)點到從節(jié)點、哨兵的通信但保留主節(jié)點到客戶端的連接。在真實環(huán)境中網(wǎng)絡(luò)分區(qū)往往就是這么發(fā)生的。# 阻斷主節(jié)點 6379 訪問 6380 和 6381 的端口 iptables -A OUTPUT -p tcp --dport 6380 -j DROP iptables -A OUTPUT -p tcp --dport 6381 -j DROP7.4 觀察腦裂保護是否生效等 10 秒以上超過 min-replicas-max-lag 設(shè)定的 10 秒讓主節(jié)點察覺到從節(jié)點延遲超限。此時向主節(jié)點寫入數(shù)據(jù)redis-cli -p 6379 set name test-split-brain預(yù)期返回錯誤(error) NOREPLICAS Not enough good replicas to write.這個錯誤告訴我們主節(jié)點因為健康從節(jié)點數(shù)量不足已經(jīng)拒絕寫入。7.5 模擬未配置保護的后果現(xiàn)在我們?nèi)サ裟X裂保護配置再來一次redis-cli -p 6379 CONFIG SET min-replicas-to-write 0 redis-cli -p 6379 CONFIG SET min-replicas-max-lag 0再執(zhí)行寫入redis-cli -p 6379 set name data-without-protection # 輸出 OK這時主節(jié)點會返回OK。如果你在真實生產(chǎn)環(huán)境不小心出現(xiàn)過這種情況說明腦裂期間數(shù)據(jù)已經(jīng)開始分叉了。7.6 清理環(huán)境實驗結(jié)束后清除防火墻規(guī)則并停止 Redisiptables -F redis-cli -p 6379 shutdown nosave redis-cli -p 6380 shutdown nosave redis-cli -p 6381 shutdown nosave這里要額外提醒iptables -F會清空所有自定義規(guī)則如果在有業(yè)務(wù)流量的機器上執(zhí)行要謹慎。建議實驗環(huán)境使用專用的 namespace 或測試機生產(chǎn)環(huán)境不要直接操作防火墻規(guī)則來模擬分區(qū)。這個實驗的核心結(jié)論是不配置 min-replicas-to-write主節(jié)點會傻傻地持續(xù)接受寫入直到數(shù)據(jù)被覆蓋配置了之后主節(jié)點在失去從節(jié)點連接時會主動“暫停寫入”寧可報錯也不讓數(shù)據(jù)分裂。8. 生產(chǎn)環(huán)境 Redis 腦裂的常見問題與排查思路在實際生產(chǎn)環(huán)境腦裂的排查往往比模擬復(fù)雜得多。這里整理幾個高頻問題和對應(yīng)排查路徑。問題現(xiàn)象可能原因排查方式解決方案業(yè)務(wù)突然大批量報 NOREPLICAS 錯誤主節(jié)點健康從節(jié)點數(shù)量不足查看主節(jié)點info replication確認 connected_slaves 數(shù)量和 lag檢查從節(jié)點網(wǎng)絡(luò)、主從復(fù)制狀態(tài)根據(jù)業(yè)務(wù)容忍度調(diào)整 min-replicas 參數(shù)主節(jié)點日志出現(xiàn)switch-master但客戶端沒有感知客戶端沒有通過哨兵獲取主節(jié)點地址查看客戶端連接配置是否使用 Sentinel-aware 模式改用帶哨兵感知的客戶端 API訂閱主節(jié)點切換事件網(wǎng)絡(luò)恢復(fù)后舊主數(shù)據(jù)被清空哨兵將舊主降級為從節(jié)點并執(zhí)行全量同步檢查舊主info replication的 run_id 和數(shù)據(jù)量變化配置 min-replicas-to-write 從源頭避免舊主寫入腦裂期間寫請求超時而非報錯舊主網(wǎng)絡(luò)隔離但 TCP 連接未斷開請求遲遲得不到響應(yīng)抓包確認連接狀態(tài)查看應(yīng)用端超時配置在客戶端設(shè)置合理的超時時間配合 Redis 側(cè) min-replicas 快速拒絕哨兵判定主觀下線過于頻繁down-after-milliseconds設(shè)置過小主節(jié)點因負載高或 GC 停頓誤判查看哨兵日志中 sdown 的觸發(fā)時間和主節(jié)點負載調(diào)大 down-after-milliseconds降低誤判概率主節(jié)點切換后數(shù)據(jù)延遲很大從節(jié)點的復(fù)制積壓緩沖區(qū)設(shè)置過小導(dǎo)致切換后需要全量同步查看從節(jié)點日志中是否有 full resync調(diào)大 repl-backlog-size減少全量同步頻率8.1 排查思路的順序遇到疑似腦裂問題時建議按下面的順序排查先看哨兵日志確認是否發(fā)生過主備切換。再對比主從節(jié)點的run_id查看歷史上是否有多個 run_id 交替。然后檢查主從節(jié)點的info replication確認當前角色和數(shù)據(jù)同步狀態(tài)。最后通過slowlog和應(yīng)用日志定位數(shù)據(jù)丟失的時間窗口確認是否與主備切換時間吻合。要注意的是Redis 本身沒有直接記錄“腦裂事件”的日志項需要結(jié)合哨兵日志、節(jié)點角色變化、客戶端錯誤日志三份信息交叉驗證。9. 最佳實踐與工程建議Redis 腦裂這個問題越早做防護成本越低。下面這套配置和方案是我認為在實際項目里比較穩(wěn)妥的基線。9.1 配置層面至少做到這一步在所有的 master 節(jié)點上配置min-replicas-to-write 1 min-replicas-max-lag 10解釋一下為什么是 1 和 10min-replicas-to-write 1只要還有 1 個健康從節(jié)點主節(jié)點就繼續(xù)服務(wù)保證可用性當從節(jié)點全部失聯(lián)時拒絕寫入保證一致性。min-replicas-max-lag 10允許從節(jié)點最多延遲 10 秒。10 秒是一個相對合理的閾值既能容忍網(wǎng)絡(luò)的瞬時抖動又不會讓數(shù)據(jù)分歧窗口過大。如果你的業(yè)務(wù)對數(shù)據(jù)一致性要求極高比如用 Redis 存庫存、存訂單狀態(tài)可以進一步收緊min-replicas-to-write 2 min-replicas-max-lag 5但要注意配置越高可用性越低。如果只有一個從節(jié)點還宕機了主節(jié)點就會拒絕所有寫入這是必須要接受的權(quán)衡。9.2 架構(gòu)層面避免單點Redis 至少要一主兩從且三個節(jié)點分布在不同的物理機器上最好是不同機架。Sentinel 至少部署 3 個實例quorum設(shè)為 2保證故障轉(zhuǎn)移需要多數(shù)派同意??蛻舳吮仨毷褂蒙诒兄倪B接方式不要直連寫死的主節(jié)點地址。9.3 客戶端層面記住“收到成功不代表真的安全”Redis 主從復(fù)制是異步的主節(jié)點返回 OK 不代表數(shù)據(jù)已經(jīng)同步到從節(jié)點。這一點只要使用了主從模式就無法徹底消除。所以對于強一致業(yè)務(wù)比如分布式鎖、扣減庫存還要考慮引入 RedLock 這樣的多節(jié)點寫入方案或者把最終一致性交給數(shù)據(jù)庫Redis 只做加速層。9.4 監(jiān)控層面要能第一時間發(fā)現(xiàn)切換建議監(jiān)控以下指標master_link_down_since_seconds主從連接斷開時長。connected_slaves主節(jié)點的從節(jié)點數(shù)量。master_repl_offset與slave_repl_offset的差主從復(fù)制延遲。哨兵日志中switch-master的出現(xiàn)頻率。一旦發(fā)現(xiàn)主從切換就要查一下切換原因確認是真實的節(jié)點故障、還是網(wǎng)絡(luò)抖動誤判。不要讓腦裂成為“事后才知道”的事。9.5 上線前做一次故障演練很多團隊直到線上出問題才第一次見識腦裂。建議在測試環(huán)境做一次完整的故障演練搭建主從 哨兵環(huán)境。用 iptables 模擬主節(jié)點網(wǎng)絡(luò)分區(qū)。觀察哨兵是否發(fā)生切換。觀察舊主節(jié)點是否拒絕寫入。確認網(wǎng)絡(luò)恢復(fù)后數(shù)據(jù)是否一致。整個演練不會超過半天但能幫團隊提前暴露很多配置上的問題。腦裂這種問題演練時發(fā)現(xiàn)成本很低線上出現(xiàn)再復(fù)盤可能就是事故報告了。10. 總結(jié)與后續(xù)學習方向Redis 腦裂不是 Redis 特有的缺陷而是分布式系統(tǒng)在 CAP 約束下必然面對的問題。這篇文章核心講了四件事第一腦裂的本質(zhì)是網(wǎng)絡(luò)分區(qū)下舊主節(jié)點還在接收寫入而哨兵已經(jīng)選出了新主節(jié)點形成兩個主節(jié)點同時工作的局面。第二腦裂導(dǎo)致的數(shù)據(jù)丟失發(fā)生在網(wǎng)絡(luò)恢復(fù)后舊主被強制降級為從節(jié)點并執(zhí)行全量同步此前的增量寫入被直接覆蓋。第三最有效的預(yù)防手段是配置min-replicas-to-write和min-replicas-max-lag讓舊主在失去健康從節(jié)點時拒絕寫入用短暫不可用換取數(shù)據(jù)不丟失。第四生產(chǎn)環(huán)境不能只靠 Redis 側(cè)配置還要在客戶端、監(jiān)控、故障演練三個層面做好配套才能真正把腦裂的影響降到可控范圍。如果你想把這塊繼續(xù)深入下面幾個方向值得花時間Redis Sentinel 的選主算法和配置細節(jié)理解 quorum 和 majority 的區(qū)別。Redis Cluster 模式下的網(wǎng)絡(luò)分區(qū)處理機制它和主從 哨兵模式各有取舍。分布式鎖場景下 RedLock 的原理和爭議理解它為什么能降低腦裂風險。Redis 復(fù)制緩沖區(qū)repl-backlog和全量同步、增量同步的底層機制。建議先在自己本機把上面那個最小實驗跑一遍親手看到 NOREPLICAS 錯誤和數(shù)據(jù)分叉是什么感覺再去看源代碼和英文文檔會順暢很多。分布式系統(tǒng)的很多坑看十遍文檔不如親手踩一次。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
激情综合网址| 99热热九九| 日韩综合网络男女香蕉a片| 嫩模aV在线| 色五月色五天色情网| 日本婷婷在线| 色国产五月| 激情综合婷婷| 天天爽夜夜操| 夜夜爽天天爽| 一本色综合色| 婷婷伊人75| 亚洲婷婷五月| 亚洲成人色五月婷婷综合| 色婷丨日丨天丨综合久久| 婷婷五月丁香激情色情| www.99日本| 激情四射五月天| 曰本久久女| 婷婷丁香五月激情密臀av| 中文字幕在线日亚州9| 99er6| 99热99精品在线观看| 国产精品热搜丁香五月婷婷| 色色A| 五月天丁香婷婷视频网址| 激情AV中文| 午夜婷婷丁香| 五月欧美丁香在线观看| 风流少妇A片一区二区蜜桃| 丁香五月天婷婷大香蕉| 九热在线这里有精品6| 五月丁香WWW| 婷婷五月草| 丁香五月电影| 1024亚洲| 人妻尝试久久久久久久久久久久| www激情| 五月丁香色综合| 色色网91| 色99视| 色五月天综合网| www.maotanji.com| 99久久婷婷五月| 激情五月综合| 色99网| 色婷婷av在线观看| 六月婷婷九月丁香| 九九热视频思思| 99久在线精品99re8| 亚洲视频一区| 黄色五月婷婷| 色色a| 伊人婷婷五月天| 91传媒无码人妻精| 掩去也综合五月视频| 开心五月综合| 91综合在线| 97操碰免费视频| 色天天综合天天综合频道。| 色噜噜狠狠色综合网| 国产成人网站在线观看| 九九精品99久久久| 国产VA亚洲VA96| 久久久网站| 久久久久99精品成人网站| 婷激情五月天视频导航| 亚洲第一黄网| 色婷婷偷拍| 五月丁香六月情婷婷久久| 久久婷婷五月天| 极品人妻VIDEOSSS人妻| 九九色中文| 丁香五月偷拍| 五月天丁香色色| 综合色播| 天天色播| 久久九色| 成人AV在线电影| 欧美内射AAAAAAXXXXX| 婷婷五月天激情综合| 天天操狠狠操| 狠狠色综合图片| 欧美五月丁香在线| 思思热这里只有精品| 中文字幕黄色电影网址| 伊人五月综合网| 国产麻豆视频| 亭亭五月天黑人2014| 五月天综合视频| 综合久久综合综合| 九九视频在线| 欧美人人女女精品综合五月天| 99视频精品8| 婷婷色网| 色婷婷激情小说网| 超碰v| 99婷婷五月天| 免费看欧美成人A片无码| 色欲婷婷五月天| 天天肏天天肏天天肏| 俺去婷婷 丁香| 天天插天天干天天舔| 九九碰九九爱97| 91在线日本| 玖玖资源站蜜臀| 影音先锋高清无码资源网| 久久婷婷五月国产色综合激情| 超碰色综合| 超碰色人妾| 五月婷婷六月丁香在线视频| 亚洲四色五月| 久久超级碰碰| 激情婷婷五月| 色婷婷19| 思思久久99热| 夜夜爽77777妓女免费下载 | 五月丁香五月激情综合色综合| 五月天婷婷综合| 国产亚洲在线观看| 欧美在线干| 日韩色色小视频| 色婷婷狠狠| 日韩另类| 久久亚洲婷婷| 婷婷丁香色五月天久久88| 99久久久久| 视频一区二区在线| 激情五月综亚网| 偷偷与邻居做爰完整视频| 成人欧美一区二区三区在线观看 | 国产精品18久久久| 99视频网| 亚洲成人无码网站| 色色射| 日韩一区二区在线播放| 久久这里只| 另类婷婷五月天啪帕帕| 婷婷五月色激情欧美激情| 20253AV| 99er精品视频| 超碰二区| 夜精品无码A片一区二区蜜桃| 激情五月婷婷在线区| 丁香五月婷婷色综合| 丁香六月亚洲综合| 99操无码视频观看| 狠狠操狠狠爱| 26UUU精品一区二区c〇m| 久久se 综合网 | 99久久66| 色婷婷狠狠久久综合五月| 碰碰女| 日本爆乳片手机在线播放| 十区av| 久99视频在线观看| 五月丁香色婷婷伊人| 中文字幕网伦射乱中文| 丁香婷五月天| 中文字幕黄色电影网址| 五月天激情久久| 久久99免费视屏| 99热激情| 五月丁香无码视频| 激情丁香婷婷| 无码成人AAAAA毛片AI换脸| 伊人综合网4| 丁香五月激情五月| 色色婷| 久久久月丁香| 六月激情网| 九九色图| 久久aaa| 国产亚洲AV人片在线| 五月天婷婷久久| 99自拍视频在线| 97干网站| 99久久九九| 综合久久高清| 婷婷六月天国产综合| 思思热视频在线| 五月丁了香蕉综合| 99久久九九| 婷婷五月天亚洲丁香| 婷婷六月天天| 99热爆在线| 激情小说 五月天| 久久九九玖玖| 999热视频精品99免费在线| 婷婷丁香五月噜噜噜| 怡红院AV亚洲一区二区三区H| 久久婷婷色五月| www色综合亚洲92| 99这里有精品视频| 五月丁香婷婷爱| 99热这里只有精品98| 丁香五月婷婷五月基地| 超碰99热| 五月天婷婷免费| 色视频2025| 亚洲精品国产A久久久久久| 精品色色| 可以免费看AV网站| 99re这里只有精品9| 婷婷综合玖玖五月| 丁香六月激情| 丁香五月综合婷婷| 天天插天天插天天插天天插| 国产美女精品| 99色视| 欧美色五月| 五月婷婷基地| 精品人妻久久久| 五月婷婷综合影院| yirenjiqingshiping| 激情五月综合网| 婷婷五月综合视频免费播放| 天天舔夜夜操www com| 欧美色色色色色色| 96精品国产综合久久久久久| 8090在线影视少妇| 99色色视频| 深爱五月天| 婷色成人| 丁香婷婷丁香五月欧美人| 五月开心久久| 超碰中文字幕在线| 夜夜嗨一区二区三区直播内容| Av九九| 天天做天天爱天天要| 婷婷在线播放av| 青青操丝袜美腿| 91色呦哟| 婷婷五月天av| 欧美人人操| 五月婷婷丁香在线视频| 天天日夜夜夜操操操操| 无码一区二区日韩| 色婷婷五月影视| 欧美啪啪五月天| 国产免费性爱| 无码人妻AV久久久一区二区三区| 婷婷色播婷婷| 五月天综合网| 国产免费一区二区在线A片视频| 五月天色婷婷激情| 六月久久狠狠| 丁香五月激情综合网激情五月| 丁香 婷婷 激情 综合 五月| 99热成人永久免费| 五月丁香中文| 亚洲操女| 五月香婷婷| 五月天开心网| 丁香五月婷婷激情完整版| www.久久99| 久久99色色| 天天日日人| 久久大香蕉视频| 色玖玖网| 一操久久| 五月丁香婷婷99| 九九中文色色| 蜜桃婷婷狠狠久久综合| 影音先锋偷偷色男人站| 五月婷婷 婷婷五月 一区二区 久久久 | 丁香五月第四色88| 五月丁香婷庭在线| 久久五月婷天天干| 十月丁香九月婷婷综合| 日日操,夜夜撸| 激情com| 色五月开心婷婷| 婷婷色婷婷亚洲成人| 97欧美在线| 激情五月天色婷婷综合| 国产精品成人AV在线| 九九热99精品| 99婷婷国产最新视频| 久碰婷婷视频| 2014天天爽| 久久婷婷色综合| 婷婷五月丁香91| 手机在线日韩视频中文字幕| 91婷婷色| 成人AV在线网站| 婷婷亚洲综合| 丁香五月瑟瑟| 丁香五月精品| 永久精品| 综合一区二区三区| 99热网站| 亚洲五月天激情| 97人人超| 无码少妇高潮喷水A片免费 | 色五月偷偷| 99热国产免费| 激情综合色网| 99色色| 粉嫩AV久久一区二区三区| 中字幕视频在线永久在线观看免费| 国产亚洲精品久久久久久郑州| 久久久久9| 精品一二三区久久AAA片| 成人午夜天| 另类在线免费视频| 中文av在线观看| 五月丁香婷婷中文| 亚洲无AV在线中文字幕| 日日撸天天干| www,婷婷五月天,com| 天天操天天草天天草天天| 六月婷婷久久大全| 丁香五月天av| 久久久久五月丁香| 91chinese在线| 97色色色色色色色色色色色色色| 毛片网站谁有| 老师高潮流白浆喷水的A片| 99热综合在线观看| 大香蕉99热| 9l视频自拍九色9l视频自拍九色9l社区 | 99色热视频| 97 A I色色| 成人在线综合| 国产精品18久久久| 五月婷婷碰碰| 五月丁香影院| 精品,99| 婷婷五月天AV在线| 人人艹艹艹| 97碰碰久久| 九艹在线| 丁香婷婷五月六月天| 天天插天天插| 婷婷性爱| 亚洲无aV在线中文字幕 | 日91高清无玛| 亚洲国产精品VA在线看黑人 | 色五月天成人| 天天操夜夜操| 九九色大香蕉| 99久久99热这里只有精品| 26UUU欧美| 久久免费精彩视频| 精品国产一区二区三区四区阿崩| 青青草婷婷久久| 天天情天天狠天天透| 超碰狠狠色| 99热精品观看| 性爱技巧五月| 丁香婷婷五月色成人网站| www..com色爱| 囯产精品久久欠久久久久久九大| 婷婷色婷婷| 欧美日韩中国| 91啪级电影| 久久婷婷五月天激情四射| 国产在线aaa片一区二区99| 激情综合色婷婷啪啪六月天| 激情综合网亚洲色图| 国産精品| 狠狠色噜噜狠狠亚洲A∨| 久色网| 日韩在线aaa| 99热伊人| 热九九精品| 激情六月日韩| 色伦专区97中文字幕| 婷婷激情人妻| 激情五月色播五月| 欧美婷婷丁香社区在线播放| 激情综合青草| 九色自拍| 欧美在线视频9| 九九这里有精品视频| 九色无码| 97sese婷婷| 激情床戏| 人人色婷婷| 日本一级淫| 大香蕉综合网| 色五月亚洲| 五月桃花网综合| 久这里只有精品99| 青青草原伊人网| 五月丁香本色在线观看| 日本怕怕视频| 激情综合婷婷| 91色吧网| 人人摸人人摸| 五月婷婷丁香91| 超碰免费99| 激情5月婷婷| 亚洲亚洲人成综合网络| 9999三级片| 天天干天天干天天操| 色欧美一级| 开心深爱五月天| 天天色播| 综合网色| 99热伊人| 激情久久久久| 国产99久久久| 激情综合五| 91人人操人人爱| 思思热视频在线观看| 伊综合蕉| www.亭亭五月天| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 操人久久| 九九在线视频| 神马欧美精| www.minyis.com【JT】实力收量可预付QQ2101460746 | 99这里有精品| 丁香五月婷婷少妇| 免费AV播放| 色性综合| 久久曰曰| 亚洲激情丁香五月基地| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 五月天中文网| 色色色九九九五月婷婷| 九色色| av在线婷婷| WWW.桔色成人.COM| 丁香五月天AV在线| 亚洲另类噜噜| 伊人综合婷婷| www.色综合.com| 婷婷激情人妻| 亚洲五月婷婷| 国产亚洲色婷婷99精品| 综合网天天| 最新日本A片| 色人久久| 五月天久久成人| WWW.婷婷五月天.COM| 婷婷丁香激情五月天色色色| 天天情天天狠天天透| 色婷婷88| 婷婷五月天亚洲综合| 婷婷无码五月天| 日本天堂爱爱| 精品无码片| 任你爽免费视频| 婷五月天丁香婷五月| 激情五月天综合网| 第四色婷婷色五月| 粉嫩av蜜桃av蜜臀av| 色综合久久44| 五月天色社区| 专区无日本视频高清8| 色色射| 久久综合首页| 九九热123| 天天激情| 99九九在线视频| 在线你懂的亚洲欧| 99久久精品国产色欲| 91人人澡人人爽人人看| 六月色婷婷| 丁香婷婷五月天色播| 国产五月视频| 丁香婷婷影院| 99色在线观看| 国产偷人爽久久久久久老妇APP| 色婷婷五月网| 日韩美女羞羞网站在线观看| XX久久| 日本欧美在线| 蜜桃人妻无码AV天堂三区| 丁香五月最新网址| 五月天 综合 在线| 日本韩国视频在线观看社区免费的9| 丁香色综合| 久久久五月婷婷| 99热综合网| www.十八禁不禁AV.com| 在线超碰91| 天天天天天天操| 99热日本| 色色色地址| 91狠狠色丁香婷婷综合久久| 伊人啪啪网| 操久久网| 狠狠噪| 思思99热| 激情网站综合五月天| 久久爱综合| 国产激情综合| 五月天婷婷五月| 色五月97| 中文中文在线| 色五月婷婷亚洲最大| 婷婷色网| 91日综合欧美| 99久久久| 成人电影在线免费试看| 欧美猛片| 婷婷丁香色情| 丁香五月开心七月| 91精品久久久久久77777| 99视频精品全部免费 在线| 色播五月综合网| 婷色五月天| 人妻精品一区二区三区| 精品国产va久| 人妻aV在线| 五月激情影视| 久色五月丁香视频| 五月婷婷六月丁香激情综合网| www久久久久久| 久青草影院| 99爱视频| 五月婷久久在线| 欧美99热| 四射综合网| 99热在线观看| 97丁香婷婷| 色六月视频| 婷婷和五月天| 五月丁香婷婷婷激情爱爱| 女人高潮内射99精品| 亚洲无码播放| 五月天最新网| 日本激情五月| 五月天婷亚洲天综合网综合| 9l视频自拍九色9l视频自拍九色9l社区| 色色色五月天婷婷| 青柠影视免费高清电视剧| 色丁香婷婷| 激情六月综合| 99精品在线下载| 五月天婷a在线| 成人综合视频在线| AVV黄| 怎么样可以看免费的一级av| 九九伊人网| 色情丁香五月婷婷精品| 日本婷婷| 五月开心深爱激情网| 婷婷五月丁香激情色情| 九月丁香婷婷综合激情| 99欧美| 色爱99| 99热日本精品| 欧美日韩成人h| 亚洲亚洲人成综合网络| 亚洲婷婷五月天| www.超碰在线| 婷婷五月色综合| 婷婷五月天国产在线播放| 日韩欧美骚货| 婷婷五月天成人基地| 欧美色骚婷婷五月天| 99热欧美在线观看| 99 热国产在| 激情综合网五月丁香| 色婷婷综合丁香五月天| yiqicaoav| 人妻有码乱操| 五月丁香婷久久| 最新无毒无码AV| 国产免费性爱| 9久热精品在线视频| 国产乱人偷精品人妻A片| 五月停亭六月,六月停亭的英语| 99色在线视频| 激情综合激情五月一起草| 久久这里只有欧美| 五月丁香婷婷中文网| 九九热99精品在线| 欧美激情丁香五月天久久婷婷一区| 婷婷五月丁香基地在线视频官网| 色五月激情视频在线综合| 秋霞成人毛片一级A片| 五月丁香激情婷婷| 99操逼视频| 大香蕉五月天婷婷| 色色激情| 婷婷日在线观看| 噜综合| 色五月婷婷少妇人妻| 丁香激情五月综合网| 丁香六月中文| 99爱视频在线免费观看| 99这里是精品| 狠狠干夜夜干| 久草性爱| 一起草av| 国产婷婷色综合AV蜜臀AV| 日本不卡高字幕在线2019| 99精品视频免费观看近期发布| 黄色片久久| 成人性生活免费观看。| 偷偷操九九| 人橾人| 97在线综合| 狠狠狠婷婷五月综合| 99re这里只有精品视频6| 五月婷婷激情色情网| 色丁香久综合在线久综合在线观看| 天天天摸夜夜夜玩| 五月丁香亚洲综合| 天天摸天天肏| 色墦五月丁香| 国产欧美日韩综合精品一区二区| 97午夜一区二区| 9999综合99综合人| 97干97色| 天天成人综合| 亚州操人在线视频| 久久色天堂| 色99视频| 九九成人电影婷婷| 伊人网啪啪| 亚洲操人| 四色女婷婷| 激情五月色播五月| 日本色色网| 韩国真做片在线观看| 5Www色5夜| 国产97色在线 | 日韩| 丁香五月激情六月欧亚激情综合导航 | 六月天六月婷| 日本狠狠干| 成人片在线播放| 无码少妇高潮喷水A片免费| 九九色婷婷五月天| 亚洲一区国产传媒| 五月激情偷拍婷婷| 五月天激情婷婷| 丁香五月婷婷网| 九九精品免费视频99| 色偷偷色婷婷| 亚洲色情一区二区三区四区| 亚洲五月天激情| 久久这里只有精品99| 日本三级99人妇网站| 超碰成人av| 丁香五月视频在线观看| 狠狠干夜夜干| 人妻久久久久久| 九九色情网五月天| 色之综合网| 婷婷五月丁香手机在线视频| 99热在线只有精品| 色吊操色妞| 久久性视频| 丁香五月激情视频| 狠狠干婷婷| 色操综合| 九九人妻福利| 婷婷成人五月天成人文学| 91狠狠综合久久久| 色播五月天婷婷老师| 天天拍夜夜撸| A在线观看| 日韩av变天就操逼不卡区| 五月丁香色婷基地综合久久| 五月婷婷久久爱| 久久激情天堂| 色99久草在线| 丁香5月激情网| 婷婷六月丁| 狠狠干狠狠色| 五月天综合激情网| 五月中旬婷婷丁香六| 狠狠色婷婷7777久| www.婷婷激情网.com| 日本色频| 波多野结衣AV无码Porn| 丁香五月五月婷婷欧美大香蕉 | 97色色综合| 狠狠综合区| 深爱网深爱综合网| 一起草AV| 好大好粗嗯啊-一级黄色大片免费观看-成人AV| 欧日韩AV| 97人人操人人爽| 91人无码久久久久久| 婷婷大美在线| 亚洲另类在线观看| 丁香五月激情网| 狠狠五月激情婷婷直播片| 天天干一干| 久久草中文日韩欧美| 丁香成人视频| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 色色色色色色网| 婷婷久久免费| 五月婷婷综合久久| 东京热五月婷婷| 伊人久久婷婷| 五月婷网| 久久新| 激情五月天小说| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 日日操天天| AA片在线观看视频在线播放| 丁香六月婷婷| 操碰99| 婷婷五月丁香香蕉| 五月丁香六月婷婷久久| 伊人大香蕉爱聚| 日日婷婷不卡| 麻豆AV一区二区三区| 久九色| 大香蕉婷婷久久| 五月婷婷亚洲色图| 婷婷色五月综合| 亚洲亚洲人成综合网络| 欧美群妇大交乱婬网| 91精品丝袜久久久久久| 4399人妻无码久久久| 综合网五月| 欧美日韩国产一二区| 五月丁香色婷婷熟女| 日日操夜夜擼| a v色婷婷| 午夜精品人妻无码一区二区三区| 人妻性爱| 久久精品99国产精品日本| 天天噜天天插| 日韩成人精品中文字幕| 久久五月天合网| 97色色网| 色色综合日韩| 亚洲精品久久久久久久久久吃药| 包操45分钟网站| 色综合天天| 精品婷婷五| 丁香六月综合激情| 99re思思精品视频在线观看| 蜜臀AV在线观看| 狠狠五月丁香色婷| 日韩免费视频| 丁香五月天信号| 色爱综合网| 婷婷五月成年人| 亚洲欧美成人在线| 色天天久婷婷| 国产XXXX搡XXXXX搡麻豆| 玖玖精品视频99| 色婷丁香91| 我要看激情五月天| 4399精品一区二区| 色五月婷婷五月| 丁香五月婷婷欧美激情-中文天堂最新版在线观看 | av操B网站| 五月丁香婷婷成人综合网| 激情婷婷五月丁香啪啪啪| 五月开行婷婷色五月| 色吊丝av中文字幕| 五月婷婷九九热| 国产操碰| 中文av网| 天天色五月| 婷婷在线五月综合| 99爱在线精品视频免费观看| WWW·色色色·COM| 超碰碰碰碰| 婷婷丁香五月天哟啪| 极品人妻VIDEOSSS人妻| 欧美激情五月| 99婷婷五月天激情| 91欧美| 久久99激情| 欧美性爱丁香五月| 五月天激情国产综合婷婷婷| 久婷| 国产精品国产成人国产三级| 五月色精品| 欧美操综合| 色婷视频| 五月婷婷久久开心网| 久久九九思思| 五月天激情小说| 丁香五月天在线观看视频| 办公室少妇激情呻吟A片在线观看| 色婷婷五月综合网| 婷婷五月丁香花综合| 久久一热| 五月丁香六月欧美| 五月丁香黄色| 97人人超| 五月天色婷婷激情| 综合久久综合久久| 色偷偷AV亚洲男人的天堂| 亚洲欧美一区二区三区爱爱动图| 亚洲AV中文在线| 欧美性生交XXXXX无码小说| 五月开行婷婷色五月| 九九精品综合| 日韩性爱AV| 美国十月色婷婷在线观看| 狠狠狠婷婷五月综合| 中文AV网站| 婷婷视频网| 亚洲性色XXXXX| 九九热99视频在线| 久久人妻熟女一区二区| 色婷婷狠狠| av 一区三区四区| 去色色五月天| 亚洲六月婷婷| 99爱这里只有精品免费视频| 色婷婷av在线观看| 97涩婷婷| 99热6这里之有精品| 亚洲日比视频| 99热综合网| 伍月婷丁香花全集| 丁香九月婷| 久久综合最新网址| 亚洲成人在线播放| 丁香六月婷婷综合啪啪| 成人va在线观看视频| 真实熟女-91九色| 性综合网| 丁香五月婷婷五月天| 亚洲色婷婷激情| 精品99在线看| 在线观看视频1区| 天天狠天天叉| 婷婷五月天成人网| 丁香五月婷婷亚洲综合精品在线| 日韩操逼大片| 人人操婷婷| 天天综合精品| 色色五月婷婷久久| www一区二区三区| 看婷婷五月天网| 99丁香五月婷婷在线| 少妇AB又爽又紧无码网站| 9久久婷婷国产综合精品性色| 99热99这里有免费的精品| 99在线精品视频| 激情婷婷五月在线合集| 丁香色婷婷| 人人操人人干AV| 久草xx性爱视频| 色五月成人婷婷| 免费视频99| 天天摸天天透天天舔| 美女主播野战视步页| 激情综合婷婷| www五月天com| 五月婷婷很很色| 五月婷婷色播| 成人五月丁香社区| 色色网站在线| 91小黄书网址在线观看| 五月天第四色开心色播| 99在线视频精品| 五月天激情图片网| 五月婷婷黄网站大全| 色99色| 天天色亚洲| 永久免费一区二区三区| 激情五月婷婷六月丁香| 亚洲九九在线| 好好日激情五月天| 国产VA播放| 五月丁香久久综合| 黑人无码一区| 老师把我爽高潮了免费A片| 五月天电影网| 99自拍视频在线| 91蜜桃婷婷狠狠久久综合9色| 五月开心网| 狠狠做深爱婷婷久久综合一区| www,五月丁,com| 丁香婷婷综合五月天| 欧美日韩一a.无| 99热碰碰| 伊人五月天97| 美国不卡视频| 日韩成人影片在线观看| www.com久久久久久久久久久久久久久久久| 777精品久无码人妻蜜桃| 五月天婷婷在线播放| 亚洲综合久| 91se在线视频| 97性视频| 91狠狠色色丁香婷婷综合久久| 婷婷五月天开心激情网| 综合图区激情| 婷婷五月色网| 另类视频丁香五月| 欧洲亚洲激情五月天在线| AV国产有码| 综合性视频99| 亚洲性爱日韩无码| 色 五月婷婷基地| 五月婷深深爱激情网| 亚洲Av入口| 天天狠狠插| 激情综合色五月六月婷婷| 久久综合网免费视频| 婷婷第六色| 凹凸7777操操操| 天天日天天舔天天摸| 激情五月丁香婷婷夜夜操| 天天人人综合| 伍月婷婷免费视频| 色婷婷4| 天天在线久久综合 | 丁香五月在线伊人| 日韩狠狠色婷婷| 色五月婷婷丁香国产在线| 开心久久爱五月天| 丁香婷婷射| 久久AV电影| 六月综合在线| 欧美色性色好| 激情五月天啪啪| 亚洲第一黄网| 五月激情婷婷丁香| 九九热超碰| 江苏少妇性BBB搡BBB爽爽爽 | 日本视频欧美观看免费| 九月婷婷激情| 综合激情五月丁香| 婷婷激情丁香五月婷婷激情丁香五月婷婷| 国产成人AV人人爽人人澡Va| 九色视频这里只有精品| 五月天停停基地| 97 A I色色| 久久久五月五丁香| 97色色色色色| 日日夜夜天天| 99婷婷综合| 五月婷婷黄| 久99久视频| 九九热九九热精品| 99色视频在线观看| 丁香五月婷婷影院| 超碰在线视屏| 99热这里只有精品9| 免看黄大片AA | 91综合在线观看| 人人干99| 99这里只有免费的小视频在线观看| 激情五月天婷婷视频| 色五月激情| 九九久久99| 丰满少妇猛烈A片免费看观看| 五月丁香综合精品欧美| 婷婷五月色惰| a在线观看| 深爱激情四射| 九九热最新地址| 99久久99久久综合| 图片区 小说区 区 亚洲五月| 九九久久久综合| 色婷婷影| 丁香香五月激情免费视频| 丁香五月在线观看完整版| 亚洲秘 无码一区二区三区妃光/1| 日本久久精品| 亚洲精品一二三| 婷婷色六月| 久热大香蕉| 色五月六月婷婷| 色播五月丁香| 婷婷五月激情欧美| 亚洲欧洲中文日韩久久AV乱码| 岛国AAAV| 丁香六月久久| 国产热精品| www激情com| 日韩无码专区| 激情综合网激情五月丁香五月俺也去| 无码一级片| 狠狠色丁香五月婷巨| 五月天精品综合| 8区视频在线| 精品无码久久久久久久久| 99内射视频| wWwCom夜操wwW| 久久久精品色色色| 色播五月婷婷| 人人97操| 26UUU一区二区| 激情亚洲网| 人人摸人人| 青青草原爱爱网| 99视频精品视频| 性综合网| 国产古装妇女野外A片| 99超级碰碰| 丁香五月天欧美在线| 色呦呦美女| 久久您您综合网| 久热99| 五月天 无码| 99热精品在线| 色婷婷天堂| 五月天堂在线| 97人人干| 国产黄色av| 天堂五月婷婷| 97啪啪| 超碰免费观看| 激情丁香久久| 婷婷五月色综合| 六月丁花香啪啪激情欧美| 色婷婷五月综合| 26UUU精品一区二区| 性一交一乱一交A片久| 超碰超碰在线| 综合激情视频| 婷婷五月欧美综合| 九久9精品| 色偷偷综合| 亚洲激情四射色| 欧美激情丁香五月| 香蕉人在线香蕉人在线 | 超碰成人黄色网| 天天日天天做天天舔| 丁香五月婷婷五月天| 91九色超碰| 亚洲国产精品五月天| 亚洲欧美婷婷五月色综合| 人人肏逼视频在线一区二区| 99色看这里只有精品| 欧美日韩成人免费在线| 色婷婷aV四虎| 米奇影视资源777狠狠色婷婷五月天激情网| 久久这里都是精品| 精品人妻在线| 五月天天天色| 丁香激情综合| 天天色一道本综合婷婷| 97福利视频| 免费啪啪亚州视频| 婷婷五月图片小说网| 国产看真人毛片爱做A片| 六月婷婷天天操夜夜爽视频| 超碰在线9| 2022久久婷婷| 色色色国产| 亚洲欧洲另类图片| 99久久a线观| 五月丁香婷婷基地| 五月丁香婷婷综合久久| 五月丁香婷爱在线| 精品香蕉99久久久久网站| 激情五月天婷婷免费观看| 五月婷婷性爱| 久久久久久97| 99性爱| 久久天堂婷婷五月| 婷婷开心激情五月激情网| 丁香五月天天久久综合小说| 五月天婷婷激情干干| 久热免费视频| 天天舔天天插天天爱| 欧美日韩一区二区三区四区| 91超碰在线观看| 久久久久网站| 涩九九九九| 九月av| 成人av在线网址| 久狠狠| 国内久久亭亭| 天天干,夜夜爽| 九九精品系列| 天天狠狠六月婷丁香影院| 亚洲综合无码| 亚洲AVDVD| 日日天天干| 亚洲另类毛片| 五月丁香婷婷网在线在线| 中文av在线观看| 99色视频在线| 草榴视频网| 婷婷射综合| 天天搞天天色综合| 久热 91| 99自拍视频在线| 99ri精品视频在线观看| 超碰精品在线| 色五月 五月婷婷| 色色色综合视频| 日本久久网| 婷婷成人丁香色情基地30 | 色XX综合网| 亚洲一区二区无遮挡A片| 日韩av在线免费观看| 9|无码久久久久久| 久婷婷| 丁香五月综合高清在线| 激情九月婷婷| 五月婷婷六月丁香免费| 超碰在线91| 五月丁香六月婷婷精品| 国产亚洲精品久久久久久郑州| 久色欧美| 中字幕视频在线永久在线观看免费| 性一交一乱一交A片久久四色| 热99这就是精品视频| 九九精品片一| 五婷婷综合网| 亚洲天天综合| 天天操天天曰天天射| 成人丁香五月| 久久久久久久久久久久久久人妻视频 | 九九干视频| 亚洲色综合| 激情五月天色播| 国产精品色一哟哟| 情色五月天 网站| 丁香综合婷婷五月天| 玖玖综合色| 激情网五月天| 五月丁香 啪啪啪| 欧美日韩精品一区二区三区钱| 五月天激情啪啪| 日本三级毛片| 久久97| 色播五月丁香综合| 亚洲第一影院高清无码网站| 婷婷狠狠18禁久久| 欧美色狠婷久| 久久婷婷六月综合国际| 五月婷婷开心网| 丁香五月婷婷超碰在线| 偷偷与邻居做爰完整视频| www激情com| 久久人人九九| 激情小说五月天| 婷婷五月天干干| 伊人玖玖精品| 天天插天天插| 女人天堂 AV| 亚洲综合久| 免费无码毛片一区二区A片| 开心五月婷婷99| 人人操人人爽成人AV| 五月综合激情| 亚洲AV色婷婷人禽五月天| 激情视频91| 色婷婷丁香A片区毛片区女人区| 五月婷六月婷婷| 91九色国产| 日本人妻伦在线中文字幕| 538在线精品| 久久久久久久综合狠狠综合| 大香蕉福利导航| 久99在线视频| 丁香婷婷六月天| 91碰在线| 九九视频精品在线免费| 综合色视频| 综合色图区| 狠狠做深爱婷婷久久综合一区| 国产亚洲99久久精品| 九七色色六月丁香| 美欧日韩国产成人在战| 色五月五月天| 五月丁香啪啪综合网| 欧美成人精品A片免费一区99| 色噜噜狠狠一区二区三区| 丁香婷婷五月激情综合| 色五月大香蕉婷婷| 色五月婷婷色| 99精品热| 五月在在观看| 激情99热| 操操操B| 在线婷婷| 色色色.COM| 五月激情丁香六月狠狠干| 亚洲黄色操逼| wwwss在线观看| 99热99色| 乱女乱妇熟女熟妇综合网站| 五月间天堂综合| 国产伦亲子伦亲子视频观看| 六月婷婷八月丁香| www,婷婷五月天777me,com| 亚洲最大在线| www超碰com| 五月天婷婷成人网| 天天干天天拍| 色婷婷在线视频综合| 在线视频另类| 五月婷婷丁香五月| 天天爽天天| 无码啪啪| 五月丁香激情婷婷综合| 色婷婷丁香网| 99久久玖玖| 最新国产AV| 开心五月婷婷| 五月婷婷亚洲| 婷婷五月天狠狠| 六月伊人婷婷| www.99视频| 亚洲免费av观看| 草草色情综合网| 天天干天天插| 色婷婷www| 婷婷六月天激情| 五月丁综合在线观看| 五月天激情综合在线| 国产精品人妻在线网址| 99精品久久久久久| 色播五月天激情| 日韩人妻在线观看| 五月丁香成人视频| 色五月婷婷婷婷| 婷婷综合另类小说| 欧美日韩成人免费在线| 秋霞网在线免费基地五月婷婷丁香| 国产精品成人AV在线观看春天| 在线另类| 久久这里有精品| 操操操AV| 婷婷五月中文字幕国产| 99re这里只有精品视频6| 久久总和99| 97久操视频| 九月婷婷在线观看| 九月丁香很很色| 少妇被躁爽到高潮无码文| 99在线精品观看99| 91超级碰在线视频| 99精彩视频| 色婷婷狠狠干芒果TV| 色色色.com| 只有精品在线观看| 97碰在线视频| 五月天激情久久| 亚洲综合另类| 99热99日天天干| 婷婷影院A成人| 欧美性生交XXXXX无码小说 | 丁香六月综合| 色五月丁香91| 国产伦亲子伦亲子视频观看| 国产精品涩涩涩视频网站| 这里只有精品视频99| 超碰人妻在线| 九九激情综合| 久久婷婷伊人| 九月丁香| 五月丁香久久网| 大香蕉99| 久久资源网五月婷| 婷婷中文无码| 色五月激情| 日本一级一片免费视频| 亚洲色图五月丁香| 91ncm视频| 色婷| 我爱大香蕉| 激情九月综合| 婷婷色在线| 激情久久久| 丁香六月综合| 色色99| 亚洲亚洲人成综合网络|