欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

基于ZooKeeper的在線狀態(tài)漂移檢測(cè)與選主實(shí)現(xiàn)

基于ZooKeeper的在線狀態(tài)漂移檢測(cè)與選主實(shí)現(xiàn) 1. 先聊清楚微信個(gè)人號(hào)多設(shè)備場(chǎng)景下的“在線狀態(tài)漂移”是什么1.1 多個(gè)實(shí)例同時(shí)工作為什么會(huì)產(chǎn)生狀態(tài)分歧如果你搭過(guò)微信個(gè)人號(hào)相關(guān)的中臺(tái)服務(wù)一定遇過(guò)這種奇怪現(xiàn)象后臺(tái)明明顯示賬號(hào)在線消息流水也正??蓸I(yè)務(wù)側(cè)就是反饋漏消息、重復(fù)消息。查到最后往往是同一個(gè)號(hào)被兩個(gè)進(jìn)程同時(shí)管理著A 進(jìn)程剛發(fā)完一條消息B 進(jìn)程又把它頂下線微信端的在線狀態(tài)像拉鋸一樣來(lái)回橫跳。我們內(nèi)部把這種現(xiàn)象叫做“在線狀態(tài)漂移”——主控權(quán)從一個(gè)實(shí)例轉(zhuǎn)移到另一個(gè)實(shí)例但沒(méi)有經(jīng)過(guò)雙方確認(rèn)誰(shuí)都覺(jué)得當(dāng)前自己才有資格操作這個(gè)賬號(hào)。這種場(chǎng)景在帶多設(shè)備、多進(jìn)程的 IM 個(gè)人號(hào)管理系統(tǒng)里非常常見(jiàn)客服工作臺(tái)、消息聚合、自動(dòng)化備份都可能讓同一套憑據(jù)同時(shí)暴露給多個(gè)節(jié)點(diǎn)。理想情況下同一時(shí)間只能有一個(gè)實(shí)例作為“主控”與微信服務(wù)端保持主會(huì)話其他實(shí)例只做只讀監(jiān)聽(tīng)或待命??梢坏┕?jié)點(diǎn)宕機(jī)、網(wǎng)絡(luò)抖動(dòng)、進(jìn)程僵死主控身份就需要立刻交給另一個(gè)實(shí)例。關(guān)鍵問(wèn)題是怎么讓大家同時(shí)感知到“舊主已失效”并且在新舊交替時(shí)不讓消息發(fā)送錯(cuò)亂。這就是在線狀態(tài)漂移檢測(cè)要解決的核心矛盾。1.2 數(shù)據(jù)庫(kù)里放一個(gè)在線標(biāo)志位為什么靠不住有人會(huì)想在數(shù)據(jù)庫(kù)建一張狀態(tài)表online_holdernode_aA 不行了就改成node_b不就行了嗎我一開(kāi)始也是這么干的后來(lái)發(fā)現(xiàn)這條路走不通。第一數(shù)據(jù)庫(kù)里存的只是一個(gè)靜態(tài)快照。進(jìn)程是被 kill -9 干掉的數(shù)據(jù)庫(kù)不會(huì)自動(dòng)把狀態(tài)改成“離線”只能靠額外的定時(shí)任務(wù)去心跳清理而心跳本身又會(huì)引入新的超時(shí)判斷問(wèn)題。第二多節(jié)點(diǎn)同時(shí)讀寫(xiě)這張表時(shí)時(shí)序很難控制。A 網(wǎng)絡(luò)抖動(dòng)恢復(fù)后可能并不知道 B 已經(jīng)把狀態(tài)改成自己了它只要再往數(shù)據(jù)庫(kù)寫(xiě)一條online_holdernode_a狀態(tài)就又分裂了。第三數(shù)據(jù)庫(kù)的更新事務(wù)沒(méi)法保障“誰(shuí)真正持有網(wǎng)絡(luò)會(huì)話”這個(gè)事實(shí)。會(huì)話是長(zhǎng)連接數(shù)據(jù)庫(kù)狀態(tài)只是一個(gè)弱信號(hào)兩者沒(méi)有強(qiáng)綁定關(guān)系最終一定會(huì)出現(xiàn)狀態(tài)與事實(shí)脫節(jié)。所以我們需要的是一個(gè)具備“會(huì)話語(yǔ)義”的協(xié)調(diào)組件把進(jìn)程是否存在、會(huì)話是否有效、主控權(quán)是否被持有這幾件事天然綁在一起。ZooKeeper 的臨時(shí)節(jié)點(diǎn)正好干這個(gè)。2. 選型思考為什么是 ZooKeeper而不是 Redis 或 MySQL2.1 臨時(shí)節(jié)點(diǎn)天然就是在線狀態(tài)的“心跳探針”ZooKeeper 里有一種節(jié)點(diǎn)叫臨時(shí)節(jié)點(diǎn)Ephemeral Node它和客戶端的 ZK 會(huì)話綁定??蛻舳藙?chuàng)建臨時(shí)節(jié)點(diǎn)之后如果連接斷開(kāi)并且超過(guò)會(huì)話超時(shí)時(shí)間ZooKeeper 服務(wù)端會(huì)主動(dòng)把這個(gè)節(jié)點(diǎn)刪除。進(jìn)程被強(qiáng)殺、機(jī)器掉電、長(zhǎng)時(shí)間網(wǎng)絡(luò)隔離都會(huì)觸發(fā)同樣的結(jié)果節(jié)點(diǎn)自動(dòng)消失。這個(gè)特性幾乎是給“在線狀態(tài)漂移檢測(cè)”量身定做的。我們不需要寫(xiě)清理邏輯去移除僵尸標(biāo)記也不需要等業(yè)務(wù)方手動(dòng)上報(bào)離線。ZK 服務(wù)端會(huì)替我們做這件事。把“當(dāng)前主控權(quán)”放在一個(gè)臨時(shí)節(jié)點(diǎn)上等于告訴所有節(jié)點(diǎn)誰(shuí)能在 ZK 里保住這個(gè)節(jié)點(diǎn)誰(shuí)才有資格繼續(xù)對(duì)外操作。這里有個(gè)容易忽略的細(xì)節(jié)臨時(shí)節(jié)點(diǎn)刪除的時(shí)機(jī)是“會(huì)話超時(shí)”不是“連接斷開(kāi)”??蛻舳撕?ZooKeeper 之間的連接斷開(kāi)后會(huì)話不會(huì)立刻失效ZK 服務(wù)端會(huì)等待一個(gè)會(huì)話超時(shí)時(shí)間期間如果網(wǎng)絡(luò)恢復(fù)客戶端可以重連并繼續(xù)使用同一個(gè)會(huì)話。這個(gè)超時(shí)時(shí)間是可以配置的后面我會(huì)專(zhuān)門(mén)講如何避免因?yàn)閰?shù)設(shè)置不當(dāng)導(dǎo)致誤漂移。2.2 Watch 機(jī)制讓狀態(tài)變化能夠主動(dòng)通知所有候選節(jié)點(diǎn)ZooKeeper 的另一個(gè)關(guān)鍵能力是 Watch監(jiān)聽(tīng)??蛻舳丝梢詫?duì)某個(gè)節(jié)點(diǎn)設(shè)置監(jiān)聽(tīng)節(jié)點(diǎn)創(chuàng)建、刪除、數(shù)據(jù)變化、子節(jié)點(diǎn)變化時(shí)ZK 會(huì)向客戶端推送一個(gè)事件。這樣選主和漂移檢測(cè)就可以從“定時(shí)輪詢”變成“事件驅(qū)動(dòng)”。比如每個(gè)候選節(jié)點(diǎn)都盯著當(dāng)前active節(jié)點(diǎn)一旦active節(jié)點(diǎn)消失所有候選中至少有一個(gè)會(huì)收到通知馬上發(fā)起新一輪選舉。如果換成數(shù)據(jù)庫(kù)輪詢就得每隔幾百毫秒查一次狀態(tài)表既慢又費(fèi)資源而且響應(yīng)速度還取決于輪詢間隔。當(dāng)然Watch 是“一次性”的。事件觸發(fā)后監(jiān)聽(tīng)自動(dòng)失效如果業(yè)務(wù)代碼沒(méi)有重新注冊(cè) Watch下一次變化就感知不到了。這是一個(gè)非常經(jīng)典的坑后面的實(shí)操部分我會(huì)給出應(yīng)對(duì)方案。2.3 和 Redis / MySQL / etcd 放在一起看選型時(shí)我也對(duì)比過(guò)其他方案簡(jiǎn)單列個(gè)表方案會(huì)話綁定能力事件通知運(yùn)維成本適合場(chǎng)景ZooKeeper有臨時(shí)節(jié)點(diǎn)綁定會(huì)話節(jié)點(diǎn)隨會(huì)話失效自動(dòng)刪除原生 Watch注冊(cè)簡(jiǎn)單偏高集群需要獨(dú)立維護(hù)分布式協(xié)調(diào)、選主、分布式鎖Redis沒(méi)有會(huì)話概念需要自己用 TTL 模擬可用 Pub/Sub 或 Stream但語(yǔ)義弱低簡(jiǎn)單緩存鎖、短任務(wù)互斥MySQL無(wú)狀態(tài)全靠業(yè)務(wù)寫(xiě)無(wú)只能輪詢低業(yè)務(wù)狀態(tài)存儲(chǔ)etcd有 Lease可綁定節(jié)點(diǎn)續(xù)期有 WatchgRPC 生態(tài)高云原生場(chǎng)景下的選主配置如果你團(tuán)隊(duì)里已經(jīng)有成熟的 ZooKeeper 集群用 ZK 做在線狀態(tài)漂移檢測(cè)和選主是最順手的。如果沒(méi)運(yùn)維條件etcd 也完全可以做類(lèi)似的事但本文重點(diǎn)講 ZooKeeper 的實(shí)現(xiàn)思路。3. 在線狀態(tài)漂移檢測(cè)與選主的整體設(shè)計(jì)3.1 節(jié)點(diǎn)模型把賬號(hào)狀態(tài)“立”在 ZooKeeper 上我最終采用的節(jié)點(diǎn)結(jié)構(gòu)大概是這樣/wx-accounts /{wxid} /members /m-0000000001 /m-0000000002 /active三層節(jié)點(diǎn)的含義/wx-accounts/{wxid}是持久節(jié)點(diǎn)代表一個(gè)微信個(gè)人號(hào)。/wx-accounts/{wxid}/members是持久節(jié)點(diǎn)用戶存放所有候選實(shí)例。/members/m-0000000001是臨時(shí)順序節(jié)點(diǎn)。每個(gè)實(shí)例啟動(dòng)時(shí)都在這里創(chuàng)建一個(gè)節(jié)點(diǎn)節(jié)點(diǎn)序號(hào)由 ZooKeeper 自動(dòng)遞增。/wx-accounts/{wxid}/active是臨時(shí)節(jié)點(diǎn)由當(dāng)前主控實(shí)例創(chuàng)建。誰(shuí)創(chuàng)建成功了誰(shuí)就是主控。active節(jié)點(diǎn)的數(shù)據(jù)里我習(xí)慣放一段 JSON{ seq: 1, instanceId: host-a-001, sessionId: 1234567890, activeSince: 1699999999000 }seq就是候選節(jié)點(diǎn)的序號(hào)instanceId是本實(shí)例的唯一標(biāo)識(shí)sessionId是 ZK 會(huì)話 ID。這三個(gè)字段一起決定“當(dāng)前主控是誰(shuí)”以及“是否發(fā)生了狀態(tài)漂移”。用臨時(shí)順序節(jié)點(diǎn)而不是隨機(jī)節(jié)點(diǎn)名是有意的節(jié)點(diǎn)序號(hào)天然給出了候選者的繼任順序先啟動(dòng)的實(shí)例序號(hào)小更容易成為主控中途掛掉后下一個(gè)節(jié)點(diǎn)自動(dòng)頂上不需要再做復(fù)雜的優(yōu)先級(jí)排序。3.2 選主流程順序節(jié)點(diǎn) 最小序號(hào) Watch 前驅(qū)有了上面的節(jié)點(diǎn)模型選主流程就非常清晰了實(shí)例啟動(dòng)連接 ZooKeeper。確保/wx-accounts/{wxid}和/members持久節(jié)點(diǎn)存在。在/members下創(chuàng)建臨時(shí)順序節(jié)點(diǎn)拿到自己的seq。讀取/members下所有子節(jié)點(diǎn)按序號(hào)排序。如果自己的序號(hào)是最小的嘗試創(chuàng)建/active臨時(shí)節(jié)點(diǎn)。創(chuàng)建成功就是主控實(shí)例失敗說(shuō)明已經(jīng)有主控存在那就監(jiān)聽(tīng)/active。如果自己的序號(hào)不是最小那么監(jiān)聽(tīng)“緊挨著自己前面的那個(gè)節(jié)點(diǎn)”。比如當(dāng)前序是 2就監(jiān)聽(tīng)序 1 的節(jié)點(diǎn)。當(dāng)前驅(qū)節(jié)點(diǎn)消失時(shí)說(shuō)明前面的候選退出了立刻重新讀取子節(jié)點(diǎn)重新執(zhí)行選舉。這里的關(guān)鍵優(yōu)化是“只監(jiān)聽(tīng)前驅(qū)節(jié)點(diǎn)”。如果所有候選節(jié)點(diǎn)都監(jiān)聽(tīng)/active一旦active刪除所有節(jié)點(diǎn)都會(huì)收到事件但只有一個(gè)能創(chuàng)建成功其他節(jié)點(diǎn)白白競(jìng)爭(zhēng)會(huì)產(chǎn)生驚群效應(yīng)。通過(guò)監(jiān)聽(tīng)前驅(qū)節(jié)點(diǎn)ZooKeeper 天然給候選人排了隊(duì)前面的掛了后面的頂上整個(gè)過(guò)程非常安靜。選舉完成后非主控節(jié)點(diǎn)還要繼續(xù)監(jiān)聽(tīng)/active節(jié)點(diǎn)因?yàn)槿绻骺貙?shí)例進(jìn)程沒(méi)崩但是active節(jié)點(diǎn)被人為刪除或數(shù)據(jù)被改也需要觸發(fā)重新評(píng)估。3.3 漂移檢測(cè)規(guī)則序號(hào)、會(huì)話、持有者三者缺一不可在線狀態(tài)漂移檢測(cè)的核心不是簡(jiǎn)單判斷“有沒(méi)有主控”而是判斷“當(dāng)前主控是不是我”。我總結(jié)了三個(gè)信號(hào)信號(hào)一我的候選節(jié)點(diǎn)在/members下是否存在。如果不存在說(shuō)明我的 ZK 會(huì)話可能已經(jīng)過(guò)期我失去競(jìng)選資格。信號(hào)二/active節(jié)點(diǎn)是否存在。不存在說(shuō)明當(dāng)前沒(méi)有主控需要立即選舉。信號(hào)三/active節(jié)點(diǎn)里的數(shù)據(jù)是不是我。如果節(jié)點(diǎn)存在但instanceId、sessionId、seq和我本地不一致說(shuō)明主控權(quán)已經(jīng)漂移到了別的實(shí)例我必須立刻降級(jí)。把這三個(gè)信號(hào)組合起來(lái)看候選節(jié)點(diǎn)存在active 節(jié)點(diǎn)存在active 持有者是我判定結(jié)果是是是正常主控繼續(xù)工作是是否候選/待命等待 active 消失是否否沒(méi)有主控立即參與選舉否任意任意本實(shí)例已失去資格重新登記節(jié)點(diǎn)連接斷開(kāi)任意任意暫停一切業(yè)務(wù)操作等待重連這里最容易被忽略的是“連接斷開(kāi)”這一行。我在早期實(shí)現(xiàn)里犯過(guò)錯(cuò)誤本地進(jìn)程以為自己還是主控繼續(xù)向微信服務(wù)發(fā)送消息但其實(shí) ZooKeeper 里active節(jié)點(diǎn)已經(jīng)因?yàn)闀?huì)話超時(shí)被刪除了新的主控已經(jīng)產(chǎn)生于是兩邊同時(shí)發(fā)消息造成重復(fù)和沖突。正確做法是只要 ZK 客戶端進(jìn)入Disconnected或Expired狀態(tài)立刻把本地角色降級(jí)為SUSPEND停掉所有對(duì)外寫(xiě)操作避免舊主在不知道的情況下繼續(xù)工作。3.4 狀態(tài)機(jī)把角色流轉(zhuǎn)寫(xiě)清楚所有實(shí)例都會(huì)經(jīng)歷幾個(gè)狀態(tài)INIT初始化、CANDIDATE候選、LEADER主控、WAITING等待前驅(qū)、SUSPEND暫停/降級(jí)。創(chuàng)建候選節(jié)點(diǎn)成功進(jìn)入CANDIDATE。CANDIDATE發(fā)現(xiàn)自己是最小序號(hào)且成功創(chuàng)建active進(jìn)入LEADER。CANDIDATE發(fā)現(xiàn)前驅(qū)還在進(jìn)入WAITING。WAITING收到前驅(qū)節(jié)點(diǎn)刪除事件回到CANDIDATE重新選舉。LEADER如果發(fā)現(xiàn)active節(jié)點(diǎn)消失、數(shù)據(jù)被改、ZK 連接異常進(jìn)入SUSPEND。SUSPEND重連成功后重新創(chuàng)建候選節(jié)點(diǎn)進(jìn)入CANDIDATE。把這個(gè)狀態(tài)機(jī)寫(xiě)清楚代碼就不容易亂。我在工程里遇到過(guò)一些代碼選主邏輯和心跳邏輯混在一起狀態(tài)一多就開(kāi)始到處改變量最后線上故障時(shí)根本分不清當(dāng)前該算什么態(tài)。后來(lái)強(qiáng)行把狀態(tài)流轉(zhuǎn)收斂到一個(gè)對(duì)象里所有狀態(tài)變更都只由 ZK 事件驅(qū)動(dòng)再也沒(méi)有出現(xiàn)過(guò)“看著像主控但其實(shí)不是”的混亂窗口。4. Java 落地一套最小可用的選主與漂移檢測(cè)實(shí)現(xiàn)4.1 環(huán)境與依賴準(zhǔn)備我用 Java 原生客戶端做了一版可運(yùn)行的最小實(shí)現(xiàn)。先加依賴dependency groupIdorg.apache.zookeeper/groupId artifactIdzookeeper/artifactId version3.8.4/version /dependency本地起一個(gè)單節(jié)點(diǎn) ZooKeeper 就夠了測(cè)試時(shí)用bin/zkServer.sh start啟動(dòng)服務(wù)默認(rèn)端口2181。生產(chǎn)環(huán)境建議起三節(jié)點(diǎn)集群但選主邏輯本身不需要區(qū)分單機(jī)還是集群。核心類(lèi)我命名為WxAccountLeaderElector字段包括private final ZooKeeper zk; private final String wxid; private final String instanceId; private final String membersPath; private final String activePath; private String candidatePath; private long localSeq; private volatile boolean isLeader false;instanceId用來(lái)標(biāo)識(shí)本機(jī)實(shí)例比如host-a-001。后面判斷active節(jié)點(diǎn)是否為本人持有全靠它。4.2 候選注冊(cè)創(chuàng)建臨時(shí)順序節(jié)點(diǎn)實(shí)例啟動(dòng)的第一步是創(chuàng)建候選節(jié)點(diǎn)。這個(gè)過(guò)程相當(dāng)于向 ZooKeeper 喊一句“我來(lái)了請(qǐng)給我排個(gè)號(hào)”。public void start() throws Exception { ensureParentNode(); registerCandidate(); evaluateLeader(); } private void ensureParentNode() throws Exception { if (zk.exists(/wx-accounts, false) null) { zk.create(/wx-accounts, null, ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); } if (zk.exists(/wx-accounts/ wxid, false) null) { zk.create(/wx-accounts/ wxid, null, ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); } String path /wx-accounts/ wxid /members; if (zk.exists(path, false) null) { zk.create(path, null, ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); } } private void registerCandidate() throws Exception { String data String.format({\instanceId\:\%s\,\pid\:%d,\startTime\:%d}, instanceId, ProcessHandle.current().pid(), System.currentTimeMillis()); candidatePath zk.create(membersPath /m-, data.getBytes(StandardCharsets.UTF_8), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL); localSeq Long.parseLong(candidatePath.substring(candidatePath.lastIndexOf(-) 1)); }這里創(chuàng)建的是EPHEMERAL_SEQUENTIAL節(jié)點(diǎn)它既具備臨時(shí)節(jié)點(diǎn)的自動(dòng)刪除特性又能得到一個(gè)全局遞增的序號(hào)。所有候選節(jié)點(diǎn)按照創(chuàng)建順序排成一條隊(duì)序號(hào)越小優(yōu)先級(jí)越高。4.3 選主與漂移監(jiān)聽(tīng)核心邏輯選主邏輯在evaluateLeader方法里。每次 ZK 事件觸發(fā)都會(huì)重新評(píng)估當(dāng)前角色。private void evaluateLeader() throws Exception { if (zk.getState() ! ZooKeeper.States.CONNECTED) { markFence(); return; } ListString children zk.getChildren(membersPath, true); ListLong seqs children.stream() .map(p - Long.parseLong(p.substring(p.lastIndexOf(-) 1))) .sorted() .collect(Collectors.toList()); if (seqs.isEmpty()) { return; } long minSeq seqs.get(0); if (minSeq localSeq) { tryAcquireActive(); } else { long prevSeq seqs.get(seqs.indexOf(localSeq) - 1); String prevPath membersPath /m- prevSeq; if (zk.exists(prevPath, event - { if (event.getType() EventType.NodeDeleted) { try { evaluateLeader(); } catch (Exception e) { log.error(重新選舉失敗, e); } } }) null) { evaluateLeader(); } } }注意zk.exists(prevPath, ...)這一步注冊(cè)的是針對(duì)前驅(qū)節(jié)點(diǎn)的 Watch。事件回調(diào)只在NodeDeleted時(shí)觸發(fā)觸發(fā)后重新執(zhí)行evaluateLeader這樣當(dāng)前實(shí)例就能從前驅(qū)消失的狀態(tài)中立刻感知到主控權(quán)發(fā)生了漂移。下一步是嘗試創(chuàng)建active節(jié)點(diǎn)也就是搶主控private void tryAcquireActive() throws Exception { String data String.format({\seq\:%d,\instanceId\:\%s\,\sessionId\:%d}, localSeq, instanceId, zk.getSessionId()); try { zk.create(activePath, data.getBytes(StandardCharsets.UTF_8), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL); isLeader true; log.info(成為主控實(shí)例seq{}, instance{}, localSeq, instanceId); zk.exists(activePath, event - { if (event.getType() EventType.NodeDeleted) { try { evaluateLeader(); } catch (Exception e) { log.error(active 節(jié)點(diǎn)消失重新選舉失敗, e); } } }); } catch (KeeperException.NodeExistsException e) { log.info(active 已存在當(dāng)前不是主控進(jìn)入等待狀態(tài)); isLeader false; zk.exists(activePath, event - { if (event.getType() EventType.NodeDeleted) { try { evaluateLeader(); } catch (Exception ex) { log.error(重新選舉失敗, ex); } } }); } }當(dāng)active創(chuàng)建成功isLeader置為true。但“創(chuàng)建成功”只代表那一瞬間我是主控不代表我一直是。所以每次對(duì)外執(zhí)行任務(wù)前還要做一次漂移校驗(yàn)確保主控權(quán)沒(méi)有在后臺(tái)悄悄溜走。4.4 發(fā)送消息前的主控權(quán)校驗(yàn)我在實(shí)際工程里寫(xiě)了一個(gè)方法所有對(duì)外操作都必須走這一層門(mén)禁public boolean checkLeadership() { if (!isLeader) { return false; } if (zk.getState() ! ZooKeeper.States.CONNECTED) { resign(); return false; } try { Stat stat new Stat(); byte[] raw zk.getData(activePath, false, stat); ActiveInfo info ActiveInfo.fromJson(raw); boolean mine info.seq localSeq info.instanceId.equals(instanceId) info.sessionId zk.getSessionId(); if (!mine) { resign(); return false; } return true; } catch (KeeperException.NoNodeException e) { resign(); return false; } catch (Exception e) { return false; } } private void resign() { isLeader false; log.warn(檢測(cè)到在線狀態(tài)漂移或主控權(quán)丟失當(dāng)前實(shí)例已降級(jí)); }這里最關(guān)鍵的一點(diǎn)是除了比對(duì)instanceId還要比對(duì)sessionId。因?yàn)?ZK 會(huì)話過(guò)期后客戶端重連會(huì)得到一個(gè)全新的sessionId即使instanceId相同它也不是原來(lái)的會(huì)話。單獨(dú)比對(duì)instanceId是不夠的。任務(wù)執(zhí)行時(shí)可以這樣統(tǒng)一約束public boolean executeIfLeader(Runnable task) { if (!checkLeadership()) { log.warn(非主控或主控已漂移拒絕執(zhí)行任務(wù)); return false; } task.run(); return true; }嚴(yán)格來(lái)說(shuō)這個(gè)校驗(yàn)屬于“操作前檢查”。在分布式環(huán)境下舊主可能已經(jīng)和新主同時(shí)工作消息帶一個(gè) fencing token 會(huì)更安全。seq就是天然的 token每一次選主都會(huì)產(chǎn)生更大的序號(hào)下游服務(wù)只需要拒絕 token 小于當(dāng)前主控序號(hào)的請(qǐng)求就能避免舊主消息造成數(shù)據(jù)沖突。4.5 運(yùn)行效果漂移檢測(cè)到底能檢測(cè)到什么假設(shè)我同時(shí)啟動(dòng)兩個(gè)實(shí)例A和BA 啟動(dòng)創(chuàng)建/members/m-0000000001成功創(chuàng)建/activeA 成為主控。B 啟動(dòng)創(chuàng)建/members/m-0000000002發(fā)現(xiàn)最小序號(hào)不是自己于是 watchm-1進(jìn)入等待狀態(tài)。我手動(dòng) kill 掉 A 進(jìn)程。ZK 檢測(cè)到 A 的會(huì)話結(jié)束臨時(shí)節(jié)點(diǎn)m-1和/active自動(dòng)刪除。B 收到前驅(qū)節(jié)點(diǎn)刪除事件重新執(zhí)行evaluateLeader發(fā)現(xiàn)自己是當(dāng)前最小序號(hào)創(chuàng)建active成功B 成為新主控。我重新啟動(dòng) A。A 創(chuàng)建/members/m-0000000003發(fā)現(xiàn)最小序號(hào)是 B于是 watchm-2進(jìn)入等待。整個(gè)過(guò)程里B 的日志會(huì)出現(xiàn)一行“成為主控實(shí)例”A 重啟后不會(huì)有任何任務(wù)權(quán)限直到 B 再次故障。這就是一次標(biāo)準(zhǔn)的在線狀態(tài)漂移檢測(cè)和選主切換。5. 實(shí)戰(zhàn)中踩過(guò)的坑故障排查與避坑清單5.1 網(wǎng)絡(luò)抖動(dòng)引發(fā)的會(huì)話超時(shí)誤判我在測(cè)試環(huán)境第一次上線這套邏輯時(shí)用的是 5 秒會(huì)話超時(shí)。結(jié)果機(jī)房一次輕微的網(wǎng)絡(luò)抖動(dòng)把所有實(shí)例全部踢下線觸發(fā)了一次完全沒(méi)必要的選主切換。原因是 ZooKeeper 的臨時(shí)節(jié)點(diǎn)刪除機(jī)制基于會(huì)話超時(shí)不是基于連接斷開(kāi)。網(wǎng)絡(luò)抖動(dòng)后ZK 服務(wù)端暫時(shí)聯(lián)系不上客戶端如果超時(shí)設(shè)得太短服務(wù)端會(huì)認(rèn)為客戶端死了直接刪除臨時(shí)節(jié)點(diǎn)??蛻舳司W(wǎng)絡(luò)恢復(fù)后發(fā)現(xiàn)自己創(chuàng)建的節(jié)點(diǎn)已經(jīng)沒(méi)了只能重新注冊(cè)。我的建議是把 ZK 客戶端構(gòu)造參數(shù)里的sessionTimeout設(shè)置為 20 到 30 秒具體數(shù)值取決于業(yè)務(wù)對(duì)“主控恢復(fù)速度”和“誤判容忍度”的權(quán)衡。如果業(yè)務(wù)可以容忍 30 秒沒(méi)有主控就設(shè) 30 秒如果希望秒級(jí)切換那就要接受網(wǎng)絡(luò)抖動(dòng)帶來(lái)的誤判風(fēng)險(xiǎn)。同時(shí)客戶端收到Disconnected事件時(shí)不要等 ZK 告訴你“節(jié)點(diǎn)已刪除”自己要先主動(dòng)標(biāo)記為SUSPEND暫停所有對(duì)外寫(xiě)操作。這樣即使 ZK 側(cè)還沒(méi)判定會(huì)話超時(shí)業(yè)務(wù)側(cè)也不會(huì)因?yàn)榕f主繼續(xù)工作而產(chǎn)生重復(fù)信息。5.2 舊進(jìn)程僵尸化帶來(lái)的雙主窗口真正危險(xiǎn)的場(chǎng)景不是進(jìn)程被 kill而是舊主進(jìn)程還活著但它和 ZooKeeper 之間的網(wǎng)絡(luò)被切斷了。這時(shí)候從 ZK 的視角看舊主已經(jīng)因?yàn)闀?huì)話超時(shí)而退出新主成功上位但舊主進(jìn)程還保存著“我是主控”的本地狀態(tài)它仍然能訪問(wèn)微信服務(wù)端繼續(xù)發(fā)消息。兩個(gè)主同時(shí)存在就成了雙主窗口。這個(gè)問(wèn)題不能單靠 ZooKeeper 解決。ZooKeeper 只能保證“在 ZK 內(nèi)部狀態(tài)一致”不能保證“在業(yè)務(wù)網(wǎng)絡(luò)里也一致”。我最后的處理方法是兩層配合客戶端收到Disconnected時(shí)立刻拒絕所有本地任務(wù)不等待 ZK 判定。業(yè)務(wù)消息里帶上 fencing token也就是active節(jié)點(diǎn)里的seq。下游服務(wù)只接受當(dāng)前主控的 token。如果你能把 token 校驗(yàn)下沉到消息網(wǎng)關(guān)雙主問(wèn)題能基本被攔住。舊主發(fā)出來(lái)的 token 已經(jīng)比新主小網(wǎng)關(guān)直接拒絕比舊主自己“猜”自己是不是主控要可靠得多。5.3 Watch 只觸發(fā)一次重連后通知丟失ZooKeeper 的 Watch 是一次性的。最開(kāi)始我寫(xiě)代碼時(shí)只在初始化時(shí)注冊(cè)了一次exists后面發(fā)現(xiàn)節(jié)點(diǎn)變化后程序完全沒(méi)有反應(yīng)。排了半天才發(fā)現(xiàn)事件觸發(fā)后 Watch 就失效了如果不重新注冊(cè)下一次變化永遠(yuǎn)感知不到。更隱蔽的是在回調(diào)里重新執(zhí)行evaluateLeader時(shí)getChildren(membersPath, true)會(huì)注冊(cè)一個(gè)新的 Watch但如果你在某條分支里調(diào)了zk.exists(prevPath, watcher)這次注冊(cè)也是獨(dú)立的別忘記在對(duì)應(yīng)回調(diào)里再次注冊(cè)。我建議把“重新評(píng)估 重新注冊(cè) Watch”收斂成一個(gè)公共方法在回調(diào)里統(tǒng)一調(diào)用并且把異常包裹在 try/finally 里保證 Watch 不會(huì)因?yàn)橐淮萎惓>陀谰脕G失。當(dāng)然更省心的做法是用 Curator 框架的LeaderSelector或PathChildrenCache它內(nèi)部封裝了 Watch 的重注冊(cè)邏輯。但如果想真正理解 ZK 選主的原理手工實(shí)現(xiàn)一次是值得的。5.4 多賬號(hào)場(chǎng)景下的線程模型與連接復(fù)用如果同時(shí)管理幾百個(gè)微信個(gè)人號(hào)不可能給每個(gè)號(hào)都建一個(gè)獨(dú)立的 ZooKeeper 連接。連接太多會(huì)耗盡 ZK 的文件描述符和會(huì)話資源。正確的做法是一個(gè) ZooKeeper 實(shí)例承載所有賬號(hào)的選主邏輯不同賬號(hào)通過(guò)不同的父節(jié)點(diǎn)路徑區(qū)分。但這就帶來(lái)一個(gè)新的問(wèn)題ZooKeeper 的 Watcher 回調(diào)線程是共享的。如果一個(gè)賬號(hào)的選主回調(diào)里做了數(shù)據(jù)庫(kù)操作或者網(wǎng)絡(luò)請(qǐng)求整個(gè) Watcher 線程都會(huì)被阻塞其他賬號(hào)的狀態(tài)變化也會(huì)延遲處理。我后來(lái)把狀態(tài)變更邏輯全部丟進(jìn)一個(gè)獨(dú)立的單線程 executor回調(diào)只負(fù)責(zé)往 executor 里提交任務(wù)。這樣賬號(hào) A 的慢操作不會(huì)影響賬號(hào) B。同時(shí)每個(gè)賬號(hào)的選主狀態(tài)都隔離在自己的WxAccountLeaderElector對(duì)象里公共的僅是 ZK 連接。5.5 監(jiān)控與可觀測(cè)性別等漂移發(fā)生了才去救火選主邏輯上線后一定要配監(jiān)控。我至少會(huì)暴露這些指標(biāo)當(dāng)前賬號(hào)的active節(jié)點(diǎn)持有者。候選節(jié)點(diǎn)數(shù)量。主控切換次數(shù)和切換時(shí)間。最近一次切換的原因session_expired、node_deleted、active_deleted。日志里每次切換都要帶清晰上下文比如leader changed accountwxid_xxx oldSeq1 oldInstancehost-a newSeq2 newInstancehost-b reasonsession_expired這樣每次發(fā)生漂移我們都能從日志里快速還原當(dāng)時(shí)的網(wǎng)絡(luò)情況、實(shí)例狀態(tài)而不是靠猜。沒(méi)有監(jiān)控的選主邏輯等于把一個(gè)分布式炸彈埋在系統(tǒng)里平時(shí)看不出來(lái)一炸就是大事故。我在實(shí)際項(xiàng)目里反復(fù)體會(huì)到一件事ZooKeeper 只是給了你一個(gè)可靠的狀態(tài)源真正決定系統(tǒng)穩(wěn)不穩(wěn)的是所有業(yè)務(wù)操作是否嚴(yán)格服從“只要不持有 active 節(jié)點(diǎn)就立刻停手”這個(gè)紀(jì)律。選主代碼反而是整個(gè)鏈路里最簡(jiǎn)單的一塊難的是讓所有調(diào)用方都統(tǒng)一走同一個(gè)門(mén)禁。建議先把狀態(tài)機(jī)畫(huà)清楚再寫(xiě)代碼會(huì)少走非常多彎路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
超碰在线观看9| www.婷婷,com| 五月天婷婷网站888| 婷婷五月丁香综合激情| 欧州婷婷五月天综合| 日本va欧美va欧美| 玖玖伦理电影| 国产成人综合在线| 激情五月天色色色| 一级黄在线| www.99成人视频| 91九色中文字幕女在线观看| 九月丁香八月婷婷加勒比| 激情五月天激情小说| 日本色99| 色吧婷婷五月亚洲| 五月天成人综合| 思思精品热在线| 亚洲色久| 婷婷射综合| 久久精品国产AV一区二区三区 | 五月丁香亚洲综合网| 91美女啪啪| 网色99| 婷婷色色狠狠| 欧美久久婷婷| 久久jiuwww| 亚洲精品又粗又大又爽A片| 五月婷婷五月丁香| 激情九九这里只有精品| 色综合色欲综合天天免费| 玖玖九九9999在线观看视频精品| 麻豆WWWCOM内射软件| 夜夜躁婷婷AV| 99福利导航| 丁香五月aV| 婷婷激情六月综合| 在线天堂9| AAA级久久久精品| 成人在线精品| 色噜噜狠狠色综无码久久合欧美| 99re视频精品| 深夜A片| 天天做天天爱高潮片| 五月婷狠狠| 亚洲操操操| 51国精产品自偷自偷综合 | 五月婷婷丁香五月 | www.操逼comm| www.五月丁香av| 成人婷婷桔色| 婷婷色色播五月天| 99日这里只有精品| 天堂草在线观看| 五月丁香综合精品| 日本人妻伦在线中文字幕| 五月天婷婷基地综合网| 亚洲另类婷婷综合| 日韩AAAAA| 91婷婷丁香五月| 情趣视频66| 26uuu亚洲欧美| 国产亚洲色婷婷99精品| 日本va欧美va精品发布视频| 五月天婷婷丁香视频| 加勒比色色| 就要爱综合| 五月丁香好婷婷A片网| 丁香五月婷婷大香蕉| 人人操碰| 欧美激情综合色综合啪啪五月| 九草性爱| 狠狠色色| 五月激情婷婷开心| 99久久婷婷五月综合| 99热99美国在线观看| 丁香激情五月| 丁香婷婷深情五月亚洲| 最近中文字幕2019视频1| 思思热视频在线观看| 五月丁香婷婷六月| 超碰色碰碰| 婷婷五月天久| 色婷婷五月综合| 激情欧美婷婷| 久久A V无码视频| 天天日,天天射,天天舔| 五月婷精品| 色综合色| 99在线综合视频| 色婷婷精品视频| 婷婷五月大香蕉| 色五月综合在线| 大香蕉九九| 天堂AV三级| 玖玖福利视频资源| 99色在线视频| 黄色高清无码| 狠狠色五月激情| 五月婷在线色视频| 婷婷五月天Av| 襙比视频| 大香蕉五月天婷婷| 大香蕉婷婷婷| www.激情五月天。com| 丁香五月天婷婷久久| 99re视频精品| 99国产精品白浆在线观看免费| 久久婷鲁| 日韩黄黄| 深爱激情五月婷婷| 中文成人在线| 久久色区| 国产精品久久久海的味道| www婷婷| 国产av天天插天天操天天爽| 久久五月天合网| 日韩欧美骚货| 五月丁香狠狠爱| www.seqingwuyuetian| 欧美色97| 青青草激情网| 激情五月成年| 婷五月丁香| 九九热免费视频| 99久久6| 91 久热| 337p大胆噜噜噜噜噜91Av| www.色婷婷| 9色天堂| 婷婷在线观看五月天在线视频| 色丁香久久久| 色欧美一级| 大香蕉久久久| 91成人电影| 狠狠色综合五月人人| 久99在线视频| 在线观看婷婷5月| 婷婷成人基地| 色婷婷国色天香综合| 综合五月天| 99视频这里有精品| 夜夜做天天爽| 亚洲视频在线观看| 成人婷婷桔色| 思思热在线| www..999热久| 超碰人人射| 玖玖热99| 激情综合五月婷婷| 久久综合色五月| 五月丁香六月婷婷网站| www.婷婷久久五月天| 六月丁香基地| 狠狠五月天| 久久五月激情综合| 久久精品婷婷| 婷婷亚洲综合| 亚洲综人色综网| 99精品在线| 99精彩视频在线观看| 丁香五月六月久久综合| 大香蕉九九| 久久九区| 色欲天天综合网| 亚洲成人AV在线播放| 欧美性猛交99久久久99| 九九香蕉网| 成人版视频在线观看| 欧美久人人| 婷婷五月天激情五月天网站| 婷婷色色丁香| 97碰久久| 狠狠肏综合网| 1024欧美看片| 婷婷五月天网址| 激情五月婷黄版| 婷香五月激情视频| 91九色精品熟女内射| 五月婷婷综合激情网| 丁香五月开心亚洲| 丁香五月激情五月| 久er7久热| 丁香色婷婷| 五月伊人综合| 人五月天婷婷喷水| 夜夜爱伊人| 色综合久久综合中文综合网| www.久久99| 五月婷婷三级| 五月亭亭六月激情| 色婷婷丁香社综合| 色婷婷色99国产综合精品| 亚洲综合在线伊人婷| 26uuu国产| 婷婷五月天亚洲激情戏精品| 婷婷丁香五月天影院 | 天天拍夜夜爽| 五月开心久久| 人人操AV| www.久久综合| 五月综亚洲| 丁香五月激情五月| 这里只有精品视频在线| 欧美成人网99网| 丁香五月最新地址| 久9综合| Av九九| 五月天激情小说电影| 午夜微拍福利| 久久伊人大香蕉| 天天操,天天插| 超碰京东热av男人的天堂| 五月天色色婷婷| 99免费成人网| 操人精品| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 亚洲激情网| 久久人妻在线| 五月婷婷视频啪啪美女| 大香蕉人在线65| 怡红院99| 九九 激情 网| 婷婷五月天国产性感美女演员久久久久| 婷婷另类小说| 热99精品视频| 怡红院99| 久人操| 日本狠狠干| 99热最新| 日日噜狠狠色综合久久| 婷婷五月成人色综合| 91窝窝| 色婷婷精| 毛片九九九九九九| 国产精品久久久久9999小说| 日韩aaaaa| 久久五月婷天天干| 亚洲天堂亚洲色色色| 久久激情天堂| 五月丁香久久丝袜啪啪| 日韩av手机在线观看| 综合AV在线| 五月叮香啪| site:picc-up.com| 天天性视频| 大香蕉久久久久久久久| 丁香婷婷狠狠97| 狠狠干五月天| 伊人干综合| 婷婷中文字暮| 免费视频这里只有精品| 婷婷深爱五月丁香网| 婷婷五月丁香啪啪| xxxx久| 激情网婷婷婷| 99热在线观看亚洲区| WWW.五月天9999| 丁香五月色网| 久久五月婷| 五月丁香激| 99精品综合在线| 琪琪色网在线| 国产99久久久国产精品免费看| 色婷婷99| 99热最新| www.99热国产| 伊人婷婷99热精品| 婷婷 丁香 久久| 91人无码久久久久久| 久久久天堂国产精品女人| 色婷婷五月天在线观看| 成人精品视频99在线观看免费| 丁香五月欧美| 久久思思热| 天天插天天插| 三十熟女| 996黄色片| 久久99草五月婷婷| 激情婷婷九月| 99综合视频| 五月丁香色色| 激情综合婷婷五月| 狠狠狠狠狠操| 亚洲九九婷婷| 国产激情在线| 亚洲丁香五月综合| AAA亚洲AV| 日日噜狠狠色综合久| 综合网天天| 色婷网| 日韩无码专区| 婷婷9月天| 激情五月婷婷色色| 亚欧州精品视频| 99热碰碰热| 99热最新精品| 99这里只有精彩视频| 色色色色网| 99热网址| 婷婷五月天AV| 亚洲国产另类av| 蜜桃婷婷狠狠久久| 青草性爱视频| 亚洲综合激情五月久久| 五月丁香六月激情综合| 五月激情综合婷婷| 大香蕉综合网| 凹凸操Av| 久久久性爱视频| 专区无日本视频高清8| 成人无码精品1区2区3区免费看| 四川BBB搡BBB爽爽视频| 人妻AV在线观看| 99惹在线精品免费观看| 国产一二三四五六七八视频| 亚洲婷婷视频| 99精品免费欧美小视频| 久久国产色| 亚洲视频在线网| 丁香婷婷六月激情文学| 91啪啪网| 丁香六月欧美| 五月天婷婷激情春色小说| 久久五月激情综合| www.91AV.COM| 人人摸人人干人人做| 99热啪啪| 大香蕉婷婷五月| 日本AAAAAAAAAAAAAA片| 被男人添B超爽视频| 亚洲欧洲国产精品| 67194中文字幕| 大香蕉福利导航| 秋霞免费三级片| 色导航色婷婷五月天在线观看| 99无码视频| 久热69| 五月花婷婷丁香| 久色激情| 熟女激情网| 久久婷婷五月综合色奶水99啪| 五月停性愛| 噜噜噜噜噜日本视频| 日韩久久色| 亚洲欧洲一二| 色婷婷狠狠| 懂色av粉嫩av蜜臀av| 丁香五月激情婷婷视频| 色五月丁香网| 天天做天天要天天爱| 99超级碰碰| 日韩大片艹艹| 激情婷婷五月天| 狠狠狠狠草草| 丁香五月天资源网| 日本97在线| 婷婷天天婷婷天天澡| 色都都狠狠色都都色综合色| 五月婷婷中文字幕AV| 婷婷五月在线| 97碰人人操| 69精品人妻不卡视频| 天天色色天天| 色婷婷精品视频| 狠狠色狠狠操| 99a级片| 超碰在线综合| 丁香婷婷色五月| 色五月婷婷丁香五月| 五月丁香av中文| 国产综合色婷婷精品久久| 91婷婷五月丁香碰| 九九热九九| 欧美日本VA| 色色五月婷婷| 欧爱综合视频| 六月婷婷最新网址| 九九99精品| 538午夜激情| 狠狠五月天| 中国AV性爱观看| 国产精产国品一二三在观看| 丁香五月亚综合图片| 大香伊人婷婷| 色婷婷综合网| 伊人婷婷五月天av| 伊人狠狠丁香婷婷综合尤物| 国产肥白大熟妇BBBB视频| 国产va在线视频| 秋霞AV吧| 欧美日本黄色| 五月天婷婷爱丁香中文字幕| 亚洲色五月婷婷| 五月玖玖| 色五月婷婷DVD| 久久精品五月| 99热亚洲| 狠狠操天天干| 人人色人人摸人人看| 日本操B视频| www.婷婷六月天| 五月丁香综合啪啪| 亚洲免费电影2| 91精品婷婷国产综合久久| 影音先锋xfplay资源男人网| 亚洲国产网站| 八戒青柠影视剧在线观看| 亚洲五月天婷婷在线| 天天se在线视频| 能看的av| WWW.桔色成人.COM| 男女久久婷婷五月天| 国产色99| 久热在线中文字幕色999舞 | 丁香久久| 99在线精品视频| 五月婷婷久久开心网| 丁香97综合| 丁香五月天激情综合| 丁香五月天天高清在线| 久久久久久天天日天天爱| Av中文在线| 99这里有精品视频| 久久综合丁香| 久久a热| 丁香婷婷免费| 黄网在线免费观看| 99精品偷拍视频| 天天色粽合合合合合合合| 色天五月天在线观看视频| 六月色婷婷欧美| 另类激情五| 丁香性爱在线视频| 噼里啪啦完整版中文在线观看| 欧美激情VA永久在线播放| 天天日夜夜草进麻麻的子宫| 99re热精品在线视频| 99国产欧美视频| 极品人妻VIDEOSSS人妻| www,天天干| 五月天色区| 深爱五月亚洲| 五月天婷婷激情干干| 久久草中文日韩欧美| 婷婷色色综合| 99年操人人爽| 亚洲亚洲人成综合网络| 深爱五月婷婷| 操操啪| 操人91| 久久狼人天堂| 99久在线观看| 国产精品成人AV在线| 五月婷婷在线综合| 综合色五月| 色婷婷综合网站| 天天拍久久| 狠狠色狠狠干| 美妞av| 六月丁香婷婷五月天| 99爱99操| 亚洲Va成人| 日韩欧美颜射| 色,激情五月天| 成人婷99最新| 九九热这里只有精品5| 99色综合网| 五月婷婷狠狠干| 91丁香五月| 色情五月天丁香社区| 欧美久人人| 欧美性交一区二区三区| 91porn一起草| 色婷婷黄色网络| 大香蕉九九| 激情五月天婷婷图| 色五月婷婷在线视频| 婷婷综合五月天激情| 九九99视频精品| 六月伊人婷婷| 天天高潮夜夜爽| 婷婷丁香五月在线播放| 激情综合在线观看| 69精品人人人人| 中字幕视频在线永久在线观看免费| 婷婷五月花| 成人无码精品1区2区3区免费看| 少妇大叫太大太粗太爽了A片| 97在线观视频免费观看| 婷婷丁香五月天熟女丝袜| 六月婷婷网| www99精品| 97亚洲色 torrent magnet| 九九热这里只有精品556| 丁香六月天AV| 久久久久er热| 五月丁香久久| W色综合| 日本三级毛片| 亚洲综合网区| 色婷婷丁香五月综合| 天天天天操| 天天日,天天插| 丰满少妇猛烈A片免费看观看| 第四色色六月色综合| 天天狠狠夜夜狠狠2023| 婷香五月| 大香蕉福利导航| 99狠狠操一| 亚洲无码成人网| 色噜综| 五月婷婷AV| 激情综合网五月婷婷| 91性交在线播放| 久久图色4| 日韩a热| 日本五月婷| 夜夜夜夜夜操| 99热在线观看99| 99亚色色色| 99成人精品视频| 超碰碰碰碰| 超碰天堂网| 久久综合干| 色婷婷丁香中文在线播放| 99啪啪网| 日本婷婷色| 九九亚洲视频| 99精品视频免费观看| 国产毛多水多女人A片| 丁香六月| 久久99精品久久只有精品| 国产毛片精品一区二区色欲黄A片| 色五月天 丁香| 亭亭玉立国色天香| 天堂久久婷婷| 人妻在线网站| 激情五月婷婷色播网| 日韩中文欧美| www.99热在线观看| 五月丁香六月激情在线| 久久看九九90| 亚洲色激婷| 99在线视频资源| 91干99| 婷婷五月开心中文字幕色| 超碰操网| 丁香蜜臀黄色婷婷五月天| 久99热| 精品一区二区三区四区五区六区| 天天狠狠婷婷在线| 91丨九色丨43老版熟女| 激情丁香九九五月综合网| 五月天久久网站| 超pen个人视频97| 五月丁香激情片| www.色综合| 久久免费丁香| 91人操| 五月丁香久久丝袜啪啪| 五月色亚洲| 婷婷桃色网| 色 五月婷婷基地| 狠狠狠狠狠干| 婷婷五日b| www色色com| 丁香五月婷婷久久综合激情网| 久99视频在线观看| 操97| 9久精品| 激情小说五月丁香在线视频观看视频| 色屌丝中文字幕| 另类视频一区| 日本高清久久| 丁香五月激情婷婷激情| 五月综合激情啪啪啪啪啪| 深爱丁香激情| 丁香五月97视频| AV操操操| 五月丁香福利| 能看的av| 五月天激情国产综合AV| 999热视频精品99免费在线| 天天狠狠色| 成人国产网| 怡红院视频| 亚洲无aV在线中文字幕| 99九九久久| 九月色婷婷| 日本色婷婷| 色99综合视频| 大香蕉Av在线| 91一起艹| 成人国产欧美大片一区| 久久开心五月天激情| 伊人五月天97| 五月婷婷六月色| 五月天成人在线视频丁香| 97碰碰碰免费公开在线视频| 天天高潮夜夜爽| 狠狠情色| 热久久这里只有精品| 思思久久96热在精品国产,| 狠狠色噜噜狠狠狠狠狠色综合久久| 天天色,天天日,天天做| 丁香五月网址| 九九九九操逼| 精品久热69| 激情五月天婷婷激情| 超碰免费人| 色色a| 久久视屏这里只有久久| 婷婷9月天| 台湾无码A片一区二区| 开心久久五月天| 天天射天天操天天干| 欧美久久网| 五月婷婷色播网| 久久久噜噜噜www成人| 伊人婷婷五月天| 婷婷深爱五月亚洲综合| 综合视频久久| 五月婷无码| 岛国AV网| 日韩五月丁香| 色综合色综合色综合高潮| 婷婷激情啪啪| 中文字幕丰满孑伦无码专区| 黄色五月婷婷| 五月天婷婷视频30| 六月丁香成人| 丁香五月情| 亚洲AV影片在线观看| 色五月大| 丁香婷婷在线| 亚洲人人96@| 九九色天堂| 国产熟妇的荡欲午夜视频| 丁香五月天堂网| 久热这里只有精品99re,久热这里只有精品7 | 婷婷永久在线| 激情婷婷网| 国产精品成人AV在线观看春天| 日本女人久久| 成人五月天视频播放| 日日天天天| 五月天丁香久久| av网站中文| 9久久精品| 激情丁香五月AV| 丰满少妇猛烈A片免费看观看| www.91婷婷| 深爱五月日韩| 91精品国产综合久久密臀 | 色五月丁香五月| 六月狠狠综合| 成年人99热| 六月丁香成人| 亭亭丁香aV| 久久综合中文| 玖玖综合网| 无码髙清| 在线视频99| 婷婷丁香五月天熟女丝袜| 婷婷中合| 色色婷婷综合| 婷婷五月丁香激情| 精品国产一区二区三区四区阿崩| 五月婷视频| 99爱视频免费| 五月婷婷激情五月| 久久这里只精品| 热热色色五月天婷婷| 久鲁鲁色网| 99热97| 久热这里只有精品在线观看| 精品婷婷| 日本色频| 欧美成人精品A片免费一区99| 9.1综合网| 丁香久久| 天天色天天爱天天舔| 中国女人内射6XXXXX| 欧美激情2025| 九热视频免费观看| 97色在线观看视频| 热99这里只是精品| 搡BBBB搡BBB搡五十| 亚洲性图一区二区| 99日在线观看视频| 色综合丁香| 五月色情婷婷开心五月天| 性色做爰片在线观看WW| 五月丁香六月婷婷综合网缴情| 91亚洲视频| 激情久久肏屄视频| 99热6这里只有精品6| 激情综合网激情五月婷婷| 99色性爰网络| 婷婷色激情网| 1024欧美看片| 天天久综合网永久入口17v| 亚洲高清在线| 五月丁香婷婷啪啪综合网| 极品少妇婷婷五月| 国产成人网| 伊人婷婷五月| 97在线/亚洲| 丝袜大香蕉| 亚洲色色香蕉| 丁香五月天堂网| 万月丁香狠狠爱| 97色永久免费视频| 日日撸天天干| 五月丁香琪琪| 丁香五月婷中字在线| 五月丁香六月色| 色青青五月| 日本97久久久精品| 天天爽天天操| 久久五月天色婷婷| 亚洲色色色色| 国产成人网站在线观看| 久久综合55| 五月婷婷在线视频| 99热97| 亚洲色五月天在线| 色婷婷五月色| 婷婷日韩| 国产FREESEXVIDEOS性中国| 五月激情站| 综合逼五月激情婷婷| www.综合久久.com| 99婷五月| 婷婷五月在线观看| 色色99| 婷婷丁香五月天亚洲| 丁香五月天激情| 97碰碰人人视频| 亚洲亚洲人成综合网络| 网色99| 深爱激情丁香| 婷婷婷五月天最新综合你懂的| 九九热99免费视频| 九月婷婷在线观看| 99热99艹在线观看| 婷婷色综合| 午夜九九九九九九九九九九九九九| 久久这里只有精品16| 26uuu青青| 五月久久网| 热99.com婷婷| AⅤ网站在线看| 久青草影院| 亚洲视频五区| 婷婷深爱五月天| 激情婷婷综合五月少妇| 婷婷五月激情基地| 九九色热| 天天综合五月天| Av在线资源| 亚洲妇女熟BBW| 亚洲天堂色色| 超碰97人人操| 91人操人人人操人| 夜夜干夜夜操| 五月婷婷二月丁香| 色情五月天首页| 婷婷丁香色五月天久久88| 五月婷婷深深爱| 成人色图情色成人网 www.5b5b5bcom 五月天 | 亚洲一色色色色色色色色| 日韩无码成人电影| 99.N在线视频| 精品99视频| 超碰99成人在线| 五月婷婷久久大片| 亚洲精品无AMM毛片| 国产又粗又大又爽又黄| 五月天激情国产综合婷婷婷| 99成人在线观看| 97干欧美| 久久五月天婷婷| 先锋资源91| 婷婷五月天亚洲综合| 久色资源| 91人人操人人爱| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 欧美日韩一区二区三区四区| 九九热国产| 影音先锋人妻出差| 日韩精品无码99| 婷婷丁香成人网址| 伊人深爱综合| 天天插天天插天天插| 五月激情五月婷婷五月天在线| 精品怡红九九九| 99热这里只有精品最新| 国语精品探花| 99热久| 婷婷五月天基地| 久久激情五月天| 色婷婷五月在线| 丁香六月在线| 五月天大香蕉| 日产精品一线二线三线芒果| 操操操B| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 98国产精品综合一区二区三区 | 夫妇交换刺激做爰| 91久久久久久久久久18| 婷婷五月天大香蕉在线视频观看| 亚洲精品九九| 色婷婷888| 91chinese在线| 99爱这里只有精品| 天天摸夜夜爽天天做| 天天综合天综合| 人妻精品久久久久久| 五月丁香啪啪| 色播综合| 99在线免费观看| 99爱在线| 无码橾| 五月天激情综合在线| 久久久久亚洲A∨成人乱码电影| 我爱婷婷五月天综合88| 五月天婷网| 91九色视频在线观看| 九色视频91| 夜夜爽77777妓女免费下载| 婷婷5月久久综合网站| 国产午夜精品一区二区| 操碰97| 婷婷五月天亚洲综合| 色亭亭九月| 丁香六月婷婷操逼网| 丁香五月婷婷高清| 亚洲色色在线| 亚洲性爱99| 999热在线视频| 亚韩在线视频| 日比网免费国产| 国精产品一区二区三区| 看黄的网站18禁| 亚洲精品性色| 久久综合性| 久久小说网| 久久婷婷国产| 五月婷丁香久久久| av在线激情| 乱岳熟女50岁| 久久五月天免费网站| 五月天天天综合| 丁香五月综合在线观看| 中文AV网| 婷婷五月综合网激情| 婷婷五月天AV网| www,av好吊操| 婷婷五月婷婷| 极品五月天| 激情q青青草在线婷婷| www.六月丁香看AV| 丁香五月婷婷基地| 日本精品干| 黄色99网| 99在线精品观看99| 久久99草五月婷婷| 538在线| 色五月欧美| 国产毛片精品一区二区色欲黄A片| 色色色视频免费无码 | 五月天丁香婷婷社区| 欧美婷婷六月丁香综合色连续高潮抽搐| 日韩精品二三区| 亚洲日韩一页精品发布| 五月丁香激情综合啪啪| 性爱技巧五月| 丁香五月电影| 99热在线看片| 超碰99热精品在线| 激情丁香淫荡婷婷| 亚洲在线资源| 熟美女麻豆| 99成人小视频| 4399成人黄A片| 午夜爱插插| 性生活久久朋友人妻| 最近韩国日本免费高清观看| 丁香婷婷九月| 激情五月五月婷婷| 91夫妻视频| 777久久综合视频| 日日综合网| 六月激情婷婷综合| 五月丁香六月综合激情无码软件亮点 | 丁香婷婷九月在线| 激情综合女人网五月播播| 免费婷婷| 蜜乳人妻一区二区三区| 曰日爽日日操| 亚洲宗合激情| 五月丁香婷婷婷婷综合网| 91色婷婷综合久久中文字幕二区| www.色九月| 开心五月婷婷婷美女| 色婷婷五月综合激情中文字幕| 欧美日韩大黄| 色情成人五月天| 99热精品在线| 亚洲成人在线免费| 色色激情网| 六月婷婷激情图片| 婷婷五月精品中文字幕| 人人爱摸视频| 五月深情久久| 九九在线精点品| 婷婷WWW久久| 91精品久久久久久综合五月天| 亚洲综合色激情色五月| 思思w99| 91狼友视频网页更新| 五月天激情图| 操逼电影免费看| 激情宗合网激情五月天| 国产av第一专区| 久久精品亚洲热| 日韩啪啪视品| 激情色色色| 日本色色影院| 五月丁香综合影院| 99久久精品国产色欲| 婷婷色情网| 丁香婷婷激情综合五月激情| 久久伊人五月天| 色网站99| 三人荫蒂添的好舒服A片| 久香草视频在线观看| 国产亚洲精品久久久久久郑州| www.操逼comm| 精品操逼一区二区| 天天干天天干天天干天天干天天干| 91嫩草久久| 六月婷婷久久| 精品视频这里只有精品| 国产精品久久久久久妇女6080| 六月婷五月丁香| W色综合| 丁香五月婷婷色情综合| 国产精品视频免费看| 婷婷午夜天| 99在线免费视| Www.se.久久| 婷婷色婷婷| 91chinese在线| 嫩BBB搡BBBB榛BBBB| 亚洲九九在线| 天天综合五月天| 在线99热| 久久婷婷操| 新激情综合| 中文无码婷婷| 四五月婷婷| 久久爱综合| 丁香五月电影| 开心综合激情综合| 欧美日韩五月婷婷| 99性爱视频| 亚洲五月天婷婷综合| 人妻激情视频| 99自拍视频| 99热精品6| 9精品在线| 热99久久这里只有精品| www.色色com| 丁香五月社区| 九九热精品6| 99碰碰碰| 五月天伊人| 99热99思午夜精品| 成 人片 黄 色 大 片| 精品A√| 九九精品99久久久| 丁香五月电影| AV性爱在线| 丁香五月综合高清在线| 熟女人妻视频| 超碰爱爱爱| 色综合性视频| 国产亚洲网站在线| 国产露脸150部国语对白| 久久99精品久久久久久三级| 激情深爱综合| www狠狠com| 国产暴力强伦轩1区二区小说| 亚洲狠狠狠色婷婷综合激情久久久| 色色色色色五月| 久久性爱视频| 丁香六月色婷婷综合| 色色99| αV电影| 99热色精品| 久久超视频| 五月色丁香国产在线视频| 五月丁香久人妻中文| 国产人妻777人伦精品HD| 激情婷婷丁香五月天| 丁香婷婷五月基地| 综合激情五月四射婷婷| 91日韩美女被插视频| 激情五月综合网| 操日视频| 深爱婷婷丁香五月激情| 色婷婷91激情小说| 91肏| 婷婷五月在线| 免费无码毛片一区二区A片| 99热青青草| 久久婷婷五月综合啪| eeuus五月婷| 夜夜 操无码| 婷婷99狠| 欧美日韩二区在线| 亚洲无码色色| www热久久yy9| 五月婷婷影| 天天干天天日日| 久久久精品99亚洲综合| 丝袜人妻| 香蕉乱插| 天综合日日夜综合7799| 精品综合网在线| 婷婷久久综合| 网站免费一站二站| 停婷丁五月在线| 开心五月综合激情综合五月| 婷婷97狠狠干| 99视频自拍| 九九99九九99偷拍视频免费看| 久久99精品久久久久久青青AR| av操逼网| 91色呦哟| 天天色天天操天天射| 精品色色| 99操碰| www.超碰| 五月婷婷啪啪| 97人妻碰碰中文无码久热丝袜| 五月丁香网站| 丁香五月婷婷AV在线| 色婷婷久久综合中文久久一本| 99视频精品全部免费观看| 日日色五月天| 五月婷婷就去色| 五月激情丁香久久综合网| 五月天亚洲图片婷婷| 激情五月色婷婷| 丁香六月激情四射| 五月丁香婷婷中文| 五月丁香激情婷婷| 丁香婷婷五月综合色情| 亚洲sesesese| 丁香五月婷婷狠狠色| 色色色777| 99热这是里只有精品| 激情五月天啪啪视频| 日日干日日色| 中文字幕簧片| 四色女婷婷| 综合伊人狠狠| 狠狠的日| 99色五月| 婷婷中文字幕| 高清一区二区三区日本久| 91久久久久久| 97一区二区| 国产肥白大熟妇BBBB视频| 波多婷婷久久| 久久婷婷五月综合一| 色婷婷丁香社综合| 婷婷综合色| www。狠狠干。com| 人人人人人人人人人草| 五月六月激情| 天天日天天色| 国产.亚洲.欧洲视频在线| 大香蕉520| 少妇高潮呻吟A片免费看软件| WWW.国产| 久久99草五月婷婷| www.婷婷,com| 色婷网| 中文不卡一二三区| 国产无套精品一区二区| 六月丁香婷婷色狠狠久久| 色婷婷88| 包操45分钟网站| 天天天天天操| 欧美五月丁香| 色99视频| 人人摸人人干| 欧美69色| 久久综合九九| 婷婷五月天激情综合| 91久热| 原琪琪色影院| 97热精品| 国产永久一二一起草| 天天操天爱综合| 亚洲精品永久久久久久| 天天色天天| 丁香六月婷| 99色热综合| 天堂资源欧日浪女在线播放| 狠狠色噜噜狠狠色噜噜噜999| 天天激情夜夜干| 丁香五月天啪啪| 香蕉狠狠爱视频| 狠狠狠狠狠| 国产人人操| 4399在线日本A片| 96人人操人人操人人| 狠狠色综合精品视频在线| 婷婷天天色| 色色综合网www| 狠狠香蕉| 99re视频精品| 超碰人人艹| 大香蕉在线99热| 99天堂网| www,五月天激情| 91操人| 色噜婷婷| ww亚洲ww在线观看| 婷婷五月天第三页| 粉嫩AV久久一区二区三区| 天堂在线婷婷| 日日干日日色| 99玖玖免费视频| 五月天丁香| 亚洲有码在线视频| 婷婷色五月久久| 久99热| 日韩欧美不卡| 日韩精品999| 激情综合网,五月| 五月天激情综合| 亚洲av骚货| 婷婷激情四射五月天| 欧美天天五月丁香免费观看| 丁香五月六月综合激情| 99精品成人无码A片观看金桔| 久久探花91swag| 婷婷八月激情| 日韩精品二三区| 四色永久成人网站| Av免费网站在线| 亚洲婷婷月丁香五月| 天天插天天爽| 逼特逼在线免费播放| 九九99九九99九九99视频网| 激情网婷婷婷| 国产99久久久国产精品免费看| 伊人婷婷五月天| 色婷婷五月天偷拍| 专区无日本视频高清8| 伊人网欧美在线男人天堂五月丁香 | 婷婷五月天日日日干干干| 午夜大香蕉| 99久久.www| 最新精品视频99| AAA久久| 九九色热| 久久久99视频| 9热久久在线| 天天操天天日天天操| 噼里啪啦完整版中文在线观看 | 五月丁香六月婷婷综合伊人| 狠狠狠狠狠狠| 伊九九三级区| 婷婷久久99| 伊人久热91| 91色情播放| 伊人大香蕉毛片| 开心激情网五月天| 色婷婷综合网| 国产日产成人亚洲欧美国产VA| 婷婷丁香五月综合| 超碰2021| 成人精品99| 成人AV播放| 色综合综合网| 狠狠精品干练久久久无码中文字幕| 图片区 小说区 区 亚洲五月 | 一本久道综合色婷婷五月| 婷婷综合色网| 婷婷激情小说| 成人VAV视频在线观看| 综合色综合| 伊人久久丁香狠狠婷婷综合香蕉 | 五月色丁香婷婷综合| 日本激情综合| 亚洲精品另类| 丁香五月婷婷色| 九九综合九色欧美狠狠| 99热视精品| 香蕉99网| 天天色综合网1| 91啦丨九色丨刺激中文| 五月天 另类图片| 99@久久@99精品视频| 思思久热6| 99在线视频喷水| 日本成人噜噜噜| 色婷婷女优有码五月亭| 欧美va在线观看| 九九热自拍| 五月丁香好婷婷A片网| 成人中文字幕在线| 超碰97人人操| 五月天婷婷综合久久| 五月天激情图片| 久久五月丁香激情综合| 久久91久久精品久久| 开心色五月天久久久久久久| H亚洲| 可以免费看AV网站| 丁香五月桃花在线激情综合| 人人干av| 另类视频综合| 激情婷婷丁香| 99热这里有精品24| 亚洲无码猫咪| 综合另类视频| 国产婷婷色五月| 国产亚洲在线观看| m色激情网| 伊人狠狠色婷婷综合丁香一区| 情色五月天网站| 天天日天天舔天天摸| 丰满少妇乱A片无码| 79色色色色| 久久色吧| 99热欧美| 五月综合在线婷婷图片| 日韩啪图| 久久92| 99热 免费| 婷婷婷久久| 91成人品| 色黑鬼导航| 中文在线视频久9| 9+1视频网址| 色婷婷五月网| 久久视频在线视频| 99热免费精品| 色色丁香婷婷| 国产高清av黄色看片| 夜夜骑夜夜操| 九九99精品| aaa久久久| 亚洲无码播放| 五月情涩综合婷婷| 色综合中文色综合网| 无码91中文字幕|