欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

ZooKeeper實(shí)戰(zhàn)總結(jié):分布式鎖、服務(wù)發(fā)現(xiàn)與配置中心落地指南

ZooKeeper實(shí)戰(zhàn)總結(jié):分布式鎖、服務(wù)發(fā)現(xiàn)與配置中心落地指南 接手一個(gè)需要多服務(wù)協(xié)作的項(xiàng)目時(shí)我踩過的第一個(gè)大坑就是所有節(jié)點(diǎn)各干各的沒有一套統(tǒng)一的協(xié)調(diào)機(jī)制。后來我把ZooKeeper引入整個(gè)架構(gòu)先后解決了配置同步、服務(wù)上下線感知和分布式鎖這幾個(gè)最頭疼的問題。這篇文章就是我基于實(shí)際項(xiàng)目做的階段性總結(jié)寫給正在學(xué)Java分布式、并且準(zhǔn)備把ZooKeeper用起來的開發(fā)者尤其是那些剛看完理論、想知道怎么落地的朋友。我會(huì)從ZooKeeper的定位講起帶著你理解它的數(shù)據(jù)模型和會(huì)話機(jī)制然后給出Java客戶端選型的關(guān)鍵對(duì)比再手把手拆解節(jié)點(diǎn)CRUD、Watch監(jiān)聽、分布式鎖和服務(wù)發(fā)現(xiàn)這些高頻實(shí)戰(zhàn)場(chǎng)景最后聊幾個(gè)我親身踩過的坑。整個(gè)內(nèi)容不求面面俱到但保證每一個(gè)步驟和代碼示例都能讓你直接抄作業(yè)改一改就能跑。1. 為什么分布式系統(tǒng)里需要ZooKeeper這個(gè)協(xié)調(diào)員分布式系統(tǒng)的難點(diǎn)往往不在功能實(shí)現(xiàn)而在多個(gè)進(jìn)程之間怎么達(dá)成一致。我剛接手項(xiàng)目X的時(shí)候服務(wù)數(shù)量從幾臺(tái)擴(kuò)展到幾十臺(tái)馬上就遇到三個(gè)問題配置文件散落在各節(jié)點(diǎn)上、改了配置要一臺(tái)臺(tái)重啟、服務(wù)掛了其他調(diào)用方感知不到。這些問題的共性就是缺少一個(gè)可以讓所有節(jié)點(diǎn)共同依賴的協(xié)調(diào)者。1.1 沒有協(xié)調(diào)框架時(shí)的混亂場(chǎng)景舉個(gè)例子項(xiàng)目X里有三個(gè)服務(wù)需要共享一份DB開關(guān)配置。我最初的做法是把配置寫在每個(gè)服務(wù)本地的properties文件里運(yùn)維改配置時(shí)用腳本批量推送。聽起來簡(jiǎn)單但實(shí)際會(huì)發(fā)生兩種情況推送時(shí)部分節(jié)點(diǎn)成功、部分節(jié)點(diǎn)失敗失敗節(jié)點(diǎn)繼續(xù)跑舊邏輯新邏輯和舊邏輯并行。服務(wù)擴(kuò)容時(shí)新拉起來的機(jī)器如果配置文件不是最新版會(huì)帶著舊配置進(jìn)入生產(chǎn)環(huán)境。更麻煩的是分布式鎖。早期我用數(shù)據(jù)庫的唯一索引做鎖通過insert一條記錄來占用鎖最后delete釋放。在高并發(fā)下數(shù)據(jù)庫連接會(huì)被打滿而且鎖的續(xù)租、異常釋放、死鎖檢測(cè)全部要自己寫。后來我決定徹底改造用ZooKeeper把這些分散的麻煩事統(tǒng)一收攏。1.2 ZooKeeper到底替我們解決了什么問題ZooKeeper在架構(gòu)里扮演的角色簡(jiǎn)單說就是一個(gè)帶強(qiáng)一致性的分布式文件系統(tǒng)同時(shí)具備通知機(jī)制。它讓你可以像操作目錄一樣存數(shù)據(jù)又能在數(shù)據(jù)變化時(shí)主動(dòng)告訴訂閱者。如果把這個(gè)模型放到業(yè)務(wù)場(chǎng)景里可以看到幾個(gè)核心能力統(tǒng)一配置存儲(chǔ)配置放ZooKeeper節(jié)點(diǎn)上集中修改所有客戶端實(shí)時(shí)收到變更通知。服務(wù)注冊(cè)和發(fā)現(xiàn)服務(wù)啟動(dòng)時(shí)注冊(cè)臨時(shí)節(jié)點(diǎn)服務(wù)掛掉后節(jié)點(diǎn)自動(dòng)消失調(diào)用方通過Watch感知上下線。分布式鎖利用ZooKeeper的臨時(shí)順序節(jié)點(diǎn)多個(gè)客戶端可以排隊(duì)獲取鎖避免了單點(diǎn)故障。這三類能力基本覆蓋了中小團(tuán)隊(duì)80%的協(xié)調(diào)需求。ZooKeeper之所以能承擔(dān)這些職責(zé)是因?yàn)樗澈蟮腪ab協(xié)議保證了寫入順序的一致性和高可用。集群內(nèi)部通過選舉產(chǎn)生Leader所有寫請(qǐng)求都交給Leader廣播給Follower超過半數(shù)確認(rèn)后返回成功保證數(shù)據(jù)不會(huì)因?yàn)楣?jié)點(diǎn)故障而分叉。1.3 它不是萬能存儲(chǔ)適用邊界要先劃清楚我在團(tuán)隊(duì)內(nèi)部做技術(shù)分享時(shí)總強(qiáng)調(diào)一句話不要把ZooKeeper當(dāng)數(shù)據(jù)庫用。它默認(rèn)單個(gè)節(jié)點(diǎn)的數(shù)據(jù)大小限制通常是1MB不適合存業(yè)務(wù)大對(duì)象。它更適合存配置項(xiàng)、元數(shù)據(jù)、鎖標(biāo)識(shí)這類小而關(guān)鍵的信息。如果你發(fā)現(xiàn)某個(gè)ZNode里的數(shù)據(jù)超過幾十KB就要停下來想想是不是設(shè)計(jì)有問題。ZooKeeper的強(qiáng)順序一致性也是有時(shí)機(jī)代價(jià)的寫請(qǐng)求需要多數(shù)派確認(rèn)所以吞吐量跟Redis沒法比。業(yè)務(wù)向的高頻寫操作建議放RedisZooKeeper只做協(xié)調(diào)類數(shù)據(jù)。把邊界劃清楚后面用起來才不別扭。2. 數(shù)據(jù)模型與會(huì)話機(jī)制入門ZooKeeper前必須搞懂的四個(gè)核心概念跳過這些底層概念直接寫代碼很容易遇到各種摸不著頭腦的問題。我見過不少同事在寫節(jié)點(diǎn)操作時(shí)搞不清持久節(jié)點(diǎn)和臨時(shí)節(jié)點(diǎn)的區(qū)別結(jié)果服務(wù)重啟后舊節(jié)點(diǎn)還掛在線上服務(wù)注冊(cè)信息一直重復(fù)。所以我想先把四個(gè)核心概念講透。2.1 樹形數(shù)據(jù)模型ZNode不是傳統(tǒng)的文件ZooKeeper的命名空間是一棵類似文件系統(tǒng)的樹每個(gè)節(jié)點(diǎn)叫ZNode。路徑比如 /config、/config/db_switch寫法上和Linux目錄一樣訪問某個(gè)ZNode就是直接按路徑定位。與傳統(tǒng)文件系統(tǒng)不同ZNode既可以有子節(jié)點(diǎn)本身也可以存數(shù)據(jù)這一點(diǎn)要特別注意。每個(gè)ZNode的數(shù)據(jù)量很小實(shí)際操作時(shí)一般存JSON字符串或特定業(yè)務(wù)標(biāo)識(shí)。ZNode上不僅有數(shù)據(jù)還附帶一系列元信息比如版本號(hào)、創(chuàng)建時(shí)間、數(shù)據(jù)長(zhǎng)度。這里最關(guān)鍵的一個(gè)元信息是版本號(hào)因?yàn)閆ooKeeper的并發(fā)改造成靠版本號(hào)來實(shí)現(xiàn)類似樂觀鎖的機(jī)制。2.2 節(jié)點(diǎn)類型持久、臨時(shí)、順序節(jié)點(diǎn)各自的使用場(chǎng)景ZooKeeper把ZNode分成幾種類型每個(gè)類型都對(duì)應(yīng)一個(gè)典型業(yè)務(wù)場(chǎng)景節(jié)點(diǎn)類型特點(diǎn)典型用途持久節(jié)點(diǎn)客戶端斷開后節(jié)點(diǎn)依然存在保存配置數(shù)據(jù)、全局元信息持久順序節(jié)點(diǎn)持久節(jié)點(diǎn)基礎(chǔ)上帶全局自增序號(hào)記錄有序事件、任務(wù)編號(hào)臨時(shí)節(jié)點(diǎn)客戶端會(huì)話結(jié)束自動(dòng)刪除服務(wù)注冊(cè)、分布式鎖占位臨時(shí)順序節(jié)點(diǎn)臨時(shí)節(jié)點(diǎn)基礎(chǔ)上帶全局自增序號(hào)分布式鎖的排隊(duì)隊(duì)列我最初用過持久節(jié)點(diǎn)做服務(wù)注冊(cè)結(jié)果服務(wù)宕機(jī)后節(jié)點(diǎn)不會(huì)消失手動(dòng)清理又容易出錯(cuò)。后來改成臨時(shí)節(jié)點(diǎn)服務(wù)進(jìn)程退出、會(huì)話斷開節(jié)點(diǎn)馬上被刪除整個(gè)上下線流程就自動(dòng)化了。順序節(jié)點(diǎn)雖然不常用但分布式鎖里它是核心因?yàn)殒i競(jìng)爭(zhēng)退出時(shí)可以利用序號(hào)的先后關(guān)系確定獲取順序避免驚群效應(yīng)。2.3 會(huì)話與心跳客戶端和服務(wù)器如何維持連接ZooKeeper客戶端和服務(wù)端之間的連接基于會(huì)話會(huì)話本質(zhì)是一個(gè)帶超時(shí)時(shí)間的TCP長(zhǎng)連接。客戶端通過發(fā)送心跳請(qǐng)求來?;罘?wù)端在會(huì)話超時(shí)時(shí)間內(nèi)收到心跳會(huì)話就保持有效超過時(shí)間還沒收到會(huì)話過期臨時(shí)節(jié)點(diǎn)隨之被清理。Java操作時(shí)我一般配置會(huì)話超時(shí)時(shí)間為3000到5000毫秒這個(gè)值既不能太大也不能太小。太大會(huì)話過期識(shí)別慢臨時(shí)節(jié)點(diǎn)殘留時(shí)間久太小網(wǎng)絡(luò)抖動(dòng)就會(huì)導(dǎo)致會(huì)話誤判超時(shí)服務(wù)頻繁掉線。再配合客戶端自動(dòng)重連機(jī)制即使網(wǎng)絡(luò)短暫異常原來創(chuàng)建的臨時(shí)節(jié)點(diǎn)也會(huì)在重連后恢復(fù)但這個(gè)恢復(fù)并不自動(dòng)需要代碼回滾業(yè)務(wù)邏輯。2.4 Watch通知機(jī)制一次性觸發(fā)循環(huán)注冊(cè)Watch是ZooKeeper最實(shí)用也最容易寫錯(cuò)的機(jī)制。客戶端可以對(duì)某個(gè)事務(wù)操作注冊(cè)監(jiān)聽比如節(jié)點(diǎn)數(shù)據(jù)變化、子節(jié)點(diǎn)列表變化、節(jié)點(diǎn)刪除只要事件發(fā)生客戶端會(huì)收到一次通知。注意是“一次”因?yàn)槊看瓮ㄖ曛蟊O(jiān)聽就失效了想繼續(xù)監(jiān)聽必須重新注冊(cè)。這個(gè)一次性規(guī)則讓很多初學(xué)者困惑為什么第一次修改配置能收到通知第二次就不行原因就是沒做再次注冊(cè)。后面的代碼示例里我會(huì)專門封裝一個(gè)帶循環(huán)注冊(cè)的工具類把每次收到通知后重新設(shè)置Watch這個(gè)動(dòng)作固化進(jìn)去。3. 客戶端選型原生API、ZkClient與Curator的取舍Java操作ZooKeeper時(shí)選型直接影響開發(fā)效率和后期維護(hù)。我在這部分有比較明確的答案但為了讓你做技術(shù)決策時(shí)有依據(jù)我先把三種方案的實(shí)際體驗(yàn)都列出來。3.1 三種客戶端方案的橫向?qū)Ρ染S度原生ZooKeeper APIZkClientCurator依賴程度JDK自帶輕量封裝完整框架Watch處理手動(dòng)循環(huán)注冊(cè)自動(dòng)監(jiān)聽自動(dòng)監(jiān)聽重連機(jī)制需自己實(shí)現(xiàn)簡(jiǎn)單封裝完善分布式鎖需要手寫需要手寫內(nèi)置實(shí)現(xiàn)維護(hù)活躍度保持更新基本停滯活躍學(xué)習(xí)曲線較陡平滑中間原生API最大的問題不是功能不夠而是重復(fù)代碼太多。每次操作都要處理連接狀態(tài)、重連邏輯、Watch重新注冊(cè)這些都是極其容易出錯(cuò)的邊角料。ZkClient曾經(jīng)流行過一段但封裝程度有限遇到復(fù)雜會(huì)話事件處理比較吃力。如果你問我現(xiàn)在的建議我會(huì)直接推薦Curator它在國(guó)內(nèi)項(xiàng)目里已經(jīng)積累了足夠的驗(yàn)證文檔也相對(duì)齊全。3.2 為什么我建議直接上CuratorCurator把ZooKeeper客戶端做成了可以開箱即用的框架提供了連接狀態(tài)監(jiān)聽、自動(dòng)重連、Watch管理器還內(nèi)置了InterProcessMutex這類分布式鎖實(shí)現(xiàn)。引入Curator之后代碼量對(duì)比原生API至少減少一半同時(shí)可讀性和健壯性明顯提升。當(dāng)然這不意味著原生API不值得學(xué)。我建議你先把原生API的基本操作跑一遍理解它怎么建立連接、怎么注冊(cè)Watch、怎么處理回調(diào)然后切到Curator你會(huì)更清楚框架替你做了什么遇到問題時(shí)也能定位到ZooKeeper底層還是框架封裝層。這種學(xué)習(xí)路徑比直接上手Curator更扎實(shí)。3.3 環(huán)境準(zhǔn)備單機(jī)部署和偽集群搭建本地開發(fā)時(shí)單機(jī)模式就夠用。下載解壓后修改配置文件zoo.cfg設(shè)置dataDir和clientPort默認(rèn)2181端口然后執(zhí)行啟動(dòng)腳本。確認(rèn)啟動(dòng)成功的命令是連接2181端口并輸入stat能看到ZooKeeper版本信息就說明通了。如果需要模擬生產(chǎn)環(huán)境的故障轉(zhuǎn)移我建議用偽集群模式也就是在同一臺(tái)機(jī)器上跑三個(gè)ZooKeeper實(shí)例。三個(gè)實(shí)例分別監(jiān)聽2181、2182、2183端口dataDir也分成三份并且在每個(gè)實(shí)例的data目錄中都要新建myid文件內(nèi)容分別是1、2、3。配置文件里通過server.1127.0.0.1:2888:3888這樣的格式聲明集群成員。偽集群能驗(yàn)證選舉和會(huì)話轉(zhuǎn)移對(duì)理解ZooKeeper高可用機(jī)制幫助很大。4. 手寫Java操作ZooKeeper從連接、CRUD到Watch監(jiān)聽這一章是實(shí)操的重點(diǎn)。我會(huì)同時(shí)給出原生API和Curator兩套代碼方便你根據(jù)項(xiàng)目實(shí)際情況選用。所有代碼我都基于實(shí)際跑通的示例整理你復(fù)制到自己的項(xiàng)目里改幾個(gè)參數(shù)就能用。4.1 基礎(chǔ)依賴與連接建立如果用Curator需要在pom.xml中加入dependency groupIdorg.apache.curator/groupId artifactIdcurator-framework/artifactId version5.5.0/version /dependency dependency groupIdorg.apache.curator/groupId artifactIdcurator-recipes/artifactId version5.5.0/version /dependency如果只是想體驗(yàn)原生API只需要引入ZooKeeper官方客戶端依賴。不過下文除了最基礎(chǔ)的連接示例用原生API后面的業(yè)務(wù)操作我都用Curator因?yàn)镃urator的API設(shè)計(jì)更適合工程落地。原生API建立連接的方式ZooKeeper zooKeeper new ZooKeeper(127.0.0.1:2181, 3000, event - { System.out.println(收到事件 event.getType()); });原生API的構(gòu)造函數(shù)中第一個(gè)參數(shù)是連接串第二個(gè)是會(huì)話超時(shí)時(shí)間第三個(gè)是Watcher回調(diào)。連接本身是異步的所以構(gòu)造完成后要等待一下確認(rèn)連接穩(wěn)定再繼續(xù)執(zhí)行后續(xù)操作。用Curator建立連接的代碼會(huì)更直觀RetryPolicy retryPolicy new ExponentialBackoffRetry(1000, 3); CuratorFramework client CuratorFramework.builder() .connectString(127.0.0.1:2181) .sessionTimeoutMs(3000) .connectionTimeoutMs(3000) .retryPolicy(retryPolicy) .build(); client.start();ExponentialBackoffRetry設(shè)置了初始重試間隔1000毫秒、最多重試3次。Curator啟動(dòng)后不是馬上連上實(shí)際操作前最好調(diào)用blockUntilConnected等待連接建立避免在未連接狀態(tài)執(zhí)行命令拋異常。4.2 節(jié)點(diǎn)的增刪改查與版本控制用Curator操作節(jié)點(diǎn)非常方便。創(chuàng)建持久節(jié)點(diǎn)的代碼client.create().creatingParentContainersIfNeeded() .withMode(CreateMode.PERSISTENT) .forPath(/config/db_switch, on.getBytes(StandardCharsets.UTF_8));creatingParentContainersIfNeeded會(huì)自動(dòng)創(chuàng)建父節(jié)點(diǎn)這個(gè)特性很實(shí)用避免手動(dòng)判斷父路徑是否存在。withMode指定節(jié)點(diǎn)類型CreateMode.PERSISTENT是持久節(jié)點(diǎn)如果做服務(wù)注冊(cè)就換成EPHEMERAL。讀取節(jié)點(diǎn)數(shù)據(jù)byte[] data client.getData().forPath(/config/db_switch); String value new String(data, StandardCharsets.UTF_8);更新節(jié)點(diǎn)有兩種情況。第一種直接覆蓋用setData第二種是帶版本號(hào)的更新。ZooKeeper里的setData可以指定期望版本如果當(dāng)前版本和期望版本不一致會(huì)拋出BadVersionException。這種機(jī)制適合保證多人同時(shí)改配置時(shí)不覆蓋別人的修改client.setData() .withVersion(0) .forPath(/config/db_switch, off.getBytes(StandardCharsets.UTF_8));刪除節(jié)點(diǎn)也有版本控制并且刪除有子節(jié)點(diǎn)的節(jié)點(diǎn)會(huì)失敗需要先遞歸刪除子節(jié)點(diǎn)。Curator的刪除方法支持guaranteed和deletingChildrenIfNeeded前者保證網(wǎng)絡(luò)異常時(shí)后臺(tái)重試刪除后者自動(dòng)清理子節(jié)點(diǎn)client.delete().guaranteed().deletingChildrenIfNeeded().forPath(/config);4.3 一個(gè)能落地的Watch監(jiān)聽循環(huán)Watch是ZooKeeper最核心的機(jī)制代碼也最容易出錯(cuò)。原生API的寫法是注冊(cè)Watcher但一次觸發(fā)后失效所以要在回調(diào)里再次注冊(cè)。下面是封裝好的循環(huán)監(jiān)聽工具public class ConfigWatcher { private final ZooKeeper zooKeeper; public ConfigWatcher(ZooKeeper zooKeeper) { this.zooKeeper zooKeeper; } public void watch(String path) throws Exception { // 用getData注冊(cè)監(jiān)聽監(jiān)聽的事件是節(jié)點(diǎn)數(shù)據(jù)變化 byte[] data zooKeeper.getData(path, event - { System.out.println(配置發(fā)生變化 event.getPath()); try { // 實(shí)際業(yè)務(wù)處理比如刷新本地緩存 handleConfigChange(path); // 重點(diǎn)重新注冊(cè)監(jiān)聽 watch(path); } catch (Exception ex) { ex.printStackTrace(); } }, null); System.out.println(當(dāng)前配置值 new String(data)); } }這段代碼的關(guān)鍵點(diǎn)就在watch方法末尾再次調(diào)用自己注冊(cè)下一次監(jiān)聽。漏掉這一步監(jiān)聽只會(huì)觸發(fā)一次。我在項(xiàng)目里看到過很多次這個(gè)問題造成的現(xiàn)象是配置第一次修改生效以后再也收不到通知。用Curator時(shí)可以借助CuratorCache或者NodeCache來簡(jiǎn)化監(jiān)聽邏輯。NodeCache在節(jié)點(diǎn)數(shù)據(jù)變化時(shí)觸發(fā)支持再次監(jiān)聽不需要手動(dòng)循環(huán)NodeCache nodeCache new NodeCache(client, /config/db_switch); nodeCache.getListenable().addListener(() - { String newValue new String(nodeCache.getCurrentData().getData()); System.out.println(最新配置 newValue); }); nodeCache.start();NodeCache啟動(dòng)后內(nèi)部自己處理了Watch重新注冊(cè)你只需要關(guān)心業(yè)務(wù)邏輯。這也是我更推薦Curator的原因把最容易錯(cuò)的邊角料封住了。4.4 關(guān)于序列化傳數(shù)據(jù)到底傳什么操作ZNode時(shí)雖然接口接收的是byte[]但實(shí)際傳什么內(nèi)容我建議先約定好。寫項(xiàng)目X時(shí)我統(tǒng)一用JSON字符串把配置項(xiàng)封裝成對(duì)象后序列化存儲(chǔ)到節(jié)點(diǎn)里。讀取時(shí)再反序列化回對(duì)象。如果直接用Java原生序列化雖然類實(shí)現(xiàn)了Serializable就能存但跨語言調(diào)用會(huì)很痛苦而且序列化內(nèi)容體積大浪費(fèi)ZooKeeper有限的存儲(chǔ)空間。所以我的建議是存量小字段直接用字符串比如開關(guān)狀態(tài)寫on/off。結(jié)構(gòu)化成組配置用JSON字符串。切勿存大對(duì)象或大數(shù)組。深度思考一下ZooKeeper節(jié)點(diǎn)的數(shù)據(jù)是給所有客戶端看的用通用的JSON格式意味著不同語言的服務(wù)也能解析這比綁定Java序列化的方案通用性強(qiáng)很多。5. 實(shí)戰(zhàn)分布式鎖、服務(wù)發(fā)現(xiàn)、配置下發(fā)這三個(gè)場(chǎng)景怎么拆掌握基礎(chǔ)操作后關(guān)鍵是把它們組合成真正的業(yè)務(wù)解決方案。這一章我會(huì)挑三個(gè)最有代表性的實(shí)戰(zhàn)場(chǎng)景完整說明設(shè)計(jì)思路和實(shí)現(xiàn)步驟。5.1 用臨時(shí)順序節(jié)點(diǎn)實(shí)現(xiàn)分布式鎖項(xiàng)目X里有個(gè)定時(shí)任務(wù)需要保證集群里只有一個(gè)實(shí)例在執(zhí)行。最初用數(shù)據(jù)庫鎖后來切到ZooKeeper后穩(wěn)定很多。原理很簡(jiǎn)單多個(gè)客戶端在同一個(gè)鎖路徑下創(chuàng)建臨時(shí)順序節(jié)點(diǎn)序號(hào)最小的獲得鎖其他客戶端監(jiān)聽序號(hào)比自己小的節(jié)點(diǎn)等它刪除后再嘗試獲得鎖。用Curator內(nèi)置的InterProcessMutex代碼幾乎沒有門檻InterProcessMutex lock new InterProcessMutex(client, /lock/order_task); boolean acquired lock.acquire(5, TimeUnit.SECONDS); if (acquired) { try { // 執(zhí)行定時(shí)任務(wù) doTask(); } finally { lock.release(); } }acquire方法第二個(gè)參數(shù)是獲取鎖的超時(shí)時(shí)間超過則放棄避免線程長(zhǎng)時(shí)間卡死。release方法必須在finally里調(diào)用否則鎖不會(huì)釋放其他實(shí)例會(huì)一直阻塞。還要注意如果進(jìn)程崩潰鎖節(jié)點(diǎn)因?yàn)槭桥R時(shí)節(jié)點(diǎn)會(huì)自動(dòng)被ZooKeeper清除這也是這個(gè)方案比數(shù)據(jù)庫鎖穩(wěn)的原因之一。如果不用Curator也可以基于原生API自己實(shí)現(xiàn)分布式鎖核心代碼邏輯是創(chuàng)建臨時(shí)順序節(jié)點(diǎn)然后獲取父節(jié)點(diǎn)下所有子節(jié)點(diǎn)列表判斷自己序號(hào)是否最小。不過這部分代碼要處理監(jiān)聽和重試細(xì)節(jié)我強(qiáng)烈建議直接用InterProcessMutex。5.2 服務(wù)注冊(cè)與發(fā)現(xiàn)沒有注冊(cè)中心時(shí)怎么辦服務(wù)注冊(cè)與發(fā)現(xiàn)是ZooKeeper非常經(jīng)典的場(chǎng)景。服務(wù)啟動(dòng)時(shí)在 /services/服務(wù)名下創(chuàng)建臨時(shí)節(jié)點(diǎn)節(jié)點(diǎn)里存服務(wù)地址。調(diào)用方監(jiān)聽 /services/服務(wù)名 下的子節(jié)點(diǎn)列表變化就能實(shí)時(shí)感知服務(wù)的上下線。服務(wù)端注冊(cè)的示例String servicePath /services/order-service; String instancePath servicePath /instance- UUID.randomUUID(); String address 192.168.1.10:8080; client.create().creatingParentContainersIfNeeded() .withMode(CreateMode.EPHEMERAL) .forPath(instancePath, address.getBytes(StandardCharsets.UTF_8));客戶端訂閱服務(wù)列表的示例PathChildrenCache cache new PathChildrenCache(client, /services/order-service, true); cache.getListenable().addListener((curator, event) - { System.out.println(服務(wù)列表發(fā)生變化 event.getType()); cache.getCurrentData().forEach(data - { String address new String(data.getData()); System.out.println(可用實(shí)例 address); }); }); cache.start();PathChildrenCache是Curator提供的子節(jié)點(diǎn)監(jiān)聽工具啟動(dòng)后監(jiān)聽子節(jié)點(diǎn)新增、刪除、數(shù)據(jù)修改。服務(wù)上下線時(shí)監(jiān)聽回調(diào)會(huì)收到事件客戶端就可以更新本地服務(wù)列表。配合臨時(shí)節(jié)點(diǎn)能夠?qū)崿F(xiàn)服務(wù)宕機(jī)自動(dòng)摘除整個(gè)過程不需要人工介入。5.3 配置中心動(dòng)態(tài)下發(fā)與App內(nèi)熱更新配置中心是ZooKeeper比較容易上手的場(chǎng)景。我把項(xiàng)目X的數(shù)據(jù)庫連接池參數(shù)、功能開關(guān)、限流閾值全部放到了 /config 路徑下每個(gè)子節(jié)點(diǎn)對(duì)應(yīng)一個(gè)配置項(xiàng)。服務(wù)啟動(dòng)時(shí)讀取一次然后注冊(cè)監(jiān)聽配置更新后應(yīng)用自動(dòng)刷新對(duì)應(yīng)組件。一個(gè)典型的配置模型// 啟動(dòng)加載 byte[] data client.getData().forPath(/config/db_pool_max_active); String maxActive new String(data); // 修改數(shù)據(jù)庫連接池 dataSource.setMaxActive(Integer.parseInt(maxActive)); // 啟動(dòng)監(jiān)聽后續(xù)變化實(shí)時(shí)更新 NodeCache cache new NodeCache(client, /config/db_pool_max_active); cache.getListenable().addListener(() - { String newMaxActive new String(cache.getCurrentData().getData()); dataSource.setMaxActive(Integer.parseInt(newMaxActive)); }); cache.start();這套配置中心實(shí)現(xiàn)上非常簡(jiǎn)單比引入完整的配置中心中間件輕量得多。如果你只是需要十幾個(gè)配置項(xiàng)的熱更新ZooKeeper是性價(jià)比極高的方案。但要注意配置項(xiàng)應(yīng)該集中在一個(gè)路徑下方便管理還要為沒有經(jīng)驗(yàn)的運(yùn)維同學(xué)準(zhǔn)備好配置變更的操作文檔避免改錯(cuò)數(shù)據(jù)格式導(dǎo)致應(yīng)用啟動(dòng)時(shí)解析失敗。5.4 三個(gè)場(chǎng)景的通用套路總結(jié)拆完三個(gè)場(chǎng)景你能發(fā)現(xiàn)它們共享同一套設(shè)計(jì)模式選定ZNode路徑、確定節(jié)點(diǎn)類型、注冊(cè)Watch。服務(wù)注冊(cè)用臨時(shí)節(jié)點(diǎn)是因?yàn)橐詣?dòng)清理配置存儲(chǔ)用持久節(jié)點(diǎn)是因?yàn)橐L(zhǎng)期保存分布式鎖用臨時(shí)順序節(jié)點(diǎn)是因?yàn)橐抨?duì)和自動(dòng)釋放。所以學(xué)習(xí)ZooKeeper時(shí)不需要死記硬背API關(guān)鍵是能把業(yè)務(wù)需求翻譯成“節(jié)點(diǎn)類型 監(jiān)聽事件”的二元組。翻譯對(duì)了代碼只是時(shí)間問題。6. 生產(chǎn)環(huán)境必須面對(duì)的幾個(gè)硬骨頭把ZooKeeper放到生產(chǎn)環(huán)境之前有幾個(gè)問題必須提前想清楚。我在項(xiàng)目X推進(jìn)的過程中就踩過不少坑這里挑影響最大的幾個(gè)說。6.1 會(huì)話超時(shí)與心跳假死ZooKeeper客戶端會(huì)話超時(shí)機(jī)制是它高可用的基礎(chǔ)但也容易造成假死?,F(xiàn)象是服務(wù)進(jìn)程還在但ZooKeeper服務(wù)端判斷會(huì)話過期把臨時(shí)節(jié)點(diǎn)清掉了其他客戶端看到你的服務(wù)已經(jīng)下線實(shí)際你的進(jìn)程還在運(yùn)行。我遇到過一次比較典型的情況某服務(wù)因?yàn)镕ull GC暫停了幾秒心跳沒發(fā)出去ZooKeeper判定會(huì)話超時(shí)把臨時(shí)節(jié)點(diǎn)刪了。Full GC恢復(fù)后服務(wù)還在處理業(yè)務(wù)下游已經(jīng)把流量切走了。這個(gè)問題靠代碼很難完全規(guī)避但可以通過調(diào)大sessionTimeout來降低誤判概率。我線上一般設(shè)sessionTimeoutMs為10秒比本地開發(fā)時(shí)大不少。處理方式是在客戶端加上ConnectionStateListener監(jiān)聽會(huì)話的重連和過期事件。Curator里這個(gè)Listener會(huì)告訴你RECONNECTED或者LOST。收到LOST事件時(shí)業(yè)務(wù)側(cè)必須主動(dòng)檢查自己的臨時(shí)節(jié)點(diǎn)是否還存在不存在就需要重新注冊(cè)。6.2 Watch風(fēng)暴與重復(fù)注冊(cè)Watch機(jī)制雖然好用但用不好會(huì)造成嚴(yán)重問題。如果幾百個(gè)客戶端對(duì)同一個(gè)父節(jié)點(diǎn)注冊(cè)子節(jié)點(diǎn)監(jiān)聽那么這個(gè)節(jié)點(diǎn)一變化幾百個(gè)客戶端全部被打醒同時(shí)執(zhí)行后續(xù)邏輯這就是Watch風(fēng)暴。我在項(xiàng)目X早期犯過這個(gè)錯(cuò)誤所有服務(wù)實(shí)例都在監(jiān)聽同一個(gè)服務(wù)列表節(jié)點(diǎn)導(dǎo)致服務(wù)上下線時(shí)通知量爆炸。優(yōu)化方案是把監(jiān)聽改為客戶端主動(dòng)輪詢或者說改變數(shù)據(jù)組織方式讓每個(gè)客戶端只關(guān)心自己需要的那部分節(jié)點(diǎn)。比如把子節(jié)點(diǎn)按租戶分隔客戶端只監(jiān)聽自己租戶的路徑。這個(gè)調(diào)整之后通知量降了一個(gè)數(shù)量級(jí)效果立竿見影。另外就是重復(fù)注冊(cè)的坑。在緩存框架里一個(gè)節(jié)點(diǎn)被多個(gè)模塊同時(shí)監(jiān)聽很容易產(chǎn)生重復(fù)的Watcher。釋放節(jié)點(diǎn)緩存時(shí)必須調(diào)用close清理監(jiān)聽否則舊監(jiān)聽會(huì)一直駐留不僅浪費(fèi)內(nèi)存還會(huì)造成重復(fù)通知。6.3 單機(jī)模式的坑與集群容錯(cuò)本地開發(fā)用單機(jī)模式?jīng)]問題但生產(chǎn)環(huán)境千萬不能只部署一個(gè)ZooKeeper實(shí)例。一旦這個(gè)單點(diǎn)宕機(jī)依賴它的配置中心和分布式鎖全部癱瘓整個(gè)系統(tǒng)都被卡住。我建議生產(chǎn)環(huán)境至少部署三個(gè)實(shí)例并且滿足奇數(shù)個(gè)。這是ZooKeeper選舉機(jī)制決定的3個(gè)實(shí)例允許掛1個(gè)5個(gè)允許掛2個(gè)。如果只部署2個(gè)掛1個(gè)就達(dá)不到多數(shù)派條件集群直接不可用還不如單機(jī)。部署時(shí)還要注意ZooKeeper和業(yè)務(wù)應(yīng)用盡量分離部署不要圖省事混在同一個(gè)宿主機(jī)上否則宿主機(jī)資源被業(yè)務(wù)占滿時(shí)ZooKeeper的磁盤和端口也會(huì)受影響容易產(chǎn)生連鎖故障。6.4 ACL權(quán)限不要讓ZNode裸奔很多團(tuán)隊(duì)搭建ZooKeeper后節(jié)點(diǎn)默認(rèn)不設(shè)任何權(quán)限所有人都能讀寫。在開發(fā)環(huán)境可以容忍但生產(chǎn)環(huán)境這樣做風(fēng)險(xiǎn)很大。如果有誤操作或者在從節(jié)點(diǎn)路徑上亂寫數(shù)據(jù)可能導(dǎo)致線上配置被覆蓋。ZooKeeper的ACL不像Linux文件權(quán)限那么簡(jiǎn)單它包含scheme、id和permission三層。我目前用的是digest認(rèn)證給節(jié)點(diǎn)設(shè)置用戶名密碼客戶端訪問時(shí)必須攜帶認(rèn)證信息。雖然MultiDocker內(nèi)部的網(wǎng)絡(luò)環(huán)境相對(duì)可控但加上認(rèn)證至少能擋住誤操作和弱安全要求的臨時(shí)腳本訪問。設(shè)置認(rèn)證的示例client.setACL().withACL(ZooDefs.Ids.CREATOR_ALL_ACL).forPath(/config);同時(shí)客戶端連接后要調(diào)用addAuthInfoclient.getZookeeperClient().getZooKeeper() .addAuthInfo(digest, admin:password.getBytes());ACL的好處是防止未授權(quán)客戶端亂寫數(shù)據(jù)代價(jià)是每次連接多一步認(rèn)證但這對(duì)生產(chǎn)安全是有價(jià)值的。如果你所在團(tuán)隊(duì)安全要求比較高建議一開始就按這套方式設(shè)計(jì)節(jié)點(diǎn)權(quán)限體系。作為Java開發(fā)者在項(xiàng)目中落地ZooKeeper我從最開始的只會(huì)寫CRUD到后來能獨(dú)立完成分布式鎖、服務(wù)發(fā)現(xiàn)和配置中心整個(gè)過程中最大的體會(huì)是ZooKeeper的API并不難難的是把“節(jié)點(diǎn)類型 Watch事件”這兩個(gè)概念靈活組合出正確的解決方案。我在項(xiàng)目X里真正穩(wěn)定運(yùn)行之后才慢慢把之前踩過的坑變成團(tuán)隊(duì)內(nèi)部的排查手冊(cè)。最后分享一個(gè)小技巧排查ZooKeeper相關(guān)問題時(shí)可以先用命令行客戶端連接上去手動(dòng)執(zhí)行g(shù)et和ls操作確認(rèn)數(shù)據(jù)狀態(tài)是否和預(yù)期一致再回頭查代碼邏輯這樣能快速縮小問題范圍比直接翻代碼有效率得多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色综合爽| 噜噜狠狠色综合久| 丁香亚洲色综合| 亚洲 无码 中文字幕 中出| 五月婷婷av| 欧洲不卡视频| 国自产拍偷拍精品啪啪一区二区| 婷婷五月天激情视频| 国产精品扒开腿做爽爽爽A片唱戏| 五月噜噜噜色综合| 日本综合99| 五月婷婷视频ab| 2018夜夜草| 婷婷五月开心中文字幕在线| 九九热99精品| 深爱综合网| 五月婷婷综合网| 伍月婷丁香婷| 丁香,开心成人,久久| 呦呦v线| 草了bav视频在线观看| 新激情五月开心五月婷婷五月丁香五月| 国产精品久久久久久妇女6080| 婷婷在线午夜| 色婷婷色五月综合| 九九人人操| 在线va网站| 精品国产AV色一区二区深夜久久| 26uuu另类亚洲欧美日本一| 色黄啪啪| 天天色天天操天天射| 婷婷五月天激情在线观看| 亚洲精品白浆高清久久久久久| 天天操夜夜玩!| 婷婷五月天av小说| 丁香六月婷婷综合激情欧美| 伊人网欧美在线男人天堂五月丁香| 丁香五月在线播放| 丁香五月婷老师| 99综合熟女| 激情小说视频图片| 婷婷色Av| 久久五月丁香婷婷| 成人人操| 激情五月婷婷| 色老久久| 久久人妻www| 操操人人| 五月丁香天堂| 五月婷婷co.m| 婷婷99狠狠躁天天躁中文| 五月天色丁香| 精品久久人妻| 五月激情婷婷六月丁香| 婷婷射图| 玖玖99婷婷| 激情丁香五月婷婷| 国产又黄又爽又激情不遮挡视频在线观看| www.com亚洲网站在线免费| 婷婷在线免费| 婷婷丁香人妻天天爽| 五月丁香六月综合基地| 色婷婷精品视频在线播放| 生活片五区| 色。 婷婷婷| 色婷婷综合电影| 九九免费视频| 五月激情综合网| WWW色五月天| 无码一级片| 天天天干夜夜夜操| 久超超碰| 六月婷婷激情小说网| 丁香五月天激情四射网| 丁香婷婷狠狠97| 啪啪激情综合| 九九热精品视频| 中国丰满熟女A片免费观| 99精品网| 激情五月,色播五月| 久热这里只有精品3| 九九久久色| 丁香婷婷深情五月亚洲| 狠狠爱五月婷婷| 五月天亚洲最大成人| www.久久9| 国产精自产拍久久久久久蜜| 日本五月婷婷| 色五月超碰| 秋霞影音91人妻久久| 亚洲最大在线| 免费成片在线观看| 色网五月婷婷| 91九色网| 婷婷激情综合网| 激情五月天婷婷| 五月丁香六月婷婷玖玖| 另类图片激情五月天| 9福利性视频欧美| 97碰碰久久| 色色色热| 天天天干夜夜夜操| 婷婷丁香久久| 26uuu精品一区二区| site:ornaments52.com| 五月婷婷影视| 色视五月天婷婷| 五月天无码| 久久只有18视频| 五月花激情| 99色热视频| 色色日韩| www.av视频xx999.com| 伊人网碰碰| 成片免费观看大全| 第1影院之五月婷婷| 久久婷婷五月天| 91人碰| 79色色| 色丁香婷婷美女视频网站| 欧亚洲在线高清视频| 伊人色综合久久久| 婷婷狠狠18禁久久| aa久久| 婷婷激情五月视频| 123草逼网| 99日在线观看视频| 久久久久久久久久婷婷| 成人在线日韩欧美| 丁香五月91| 激情综合网色五月| av久热| 婷婷网影院| 婷婷五月中文字幕| 国产精品成人AV在线| 色色色在线观看| 日韩无码性爱| 99热在线观看| 欧亚成人A片一区二区| 狠狠色狠狠操| 男男野外做爰全过程69| 99se丁香| 六月色婷婷综合影视| 91热视频| 91疯狂操操操操| 视频1区2区| 99在线爽| 日韩色五月| -91九色大屁股| 97干免费视频| 婷婷爱综合| 三区激情四射av| 天天做天天爱天天日| 激情宗合哪里能看| www,色中色| 六月狠狠综合| 亚洲五月天另类小说图片| 欧洲色色| 五月天综合视频| 久久久噜噜噜久久人妻| 亚洲日本韩国| 1024亚洲| 丁香六月婷婷综情欧美| 狠狠狠狠狠操| 婷婷五月天av| 国产精品美女| 国产黄色在线| 九九十99视频| 思思99热在线| 欧美一级操逼视频| 色五月激情综合网| 97人碰人操| 操操熟女| 天天色综和网| 不卡影院午夜理论片| 精品久久婷婷| 亚洲色情久久| 五月婷婷视频28| 丁香婷婷深情五月亚洲| 免费观看的av| 亚洲无码免费看| 婷婷丁香花五月天| 天天日夜夜操五月| 99热99热在线| 五月综合激情| 青青草Avb在线| 丁香婷婷色| 天堂爱爱| 99九九综合久久九九| 成人丁香| 婷婷成人在线| www.婷婷网| 久久66精品| 色偷偷五月天| 日日操夜夜擼| 91精品婷婷国产综合久久| 狠狠色激情在线| 狠狠色综合网站久久久久| 欧美大香蕉视频| 中国丰满熟女A片免费观| 婷婷五月a| 激情婷婷五月久久| 久久丁香五月婷| 欧美熟女99| 五月婷久久久久综合| www一起操| 久草久青福利| 丁香五月综合婷婷| 人人操av| 亚洲狠狠色丁香婷婷综合久久| 九九精品热播| 亚州性爱99| 超碰99热| 亚洲视频无| 丁香五月六月久久综合| 激情第四色| 无码激情AAAAA片-区区| 五月婷婷六月天| 五月婷婷狠天天色综合| 97色片| 色婷婷丁香女女| 操操天堂| 久久久久久人妻| 俺去也五月天婷婷| 亚洲色婷婷五月天| 欧美超级视频97| 97婷婷丁香五月| 超碰日日操| 久久玖玖99| 夜夜躁狠狠| 天天操综合网| 亚洲9久久精品| 五月天狠狠网站| 久久丁香五月| 97久久久久久久久久久| 久一这里有精品国产| 久久婷婷五月天| 日韩一级一片内射视频4K| 99亚洲色| 九九热精品99| 激情五月天在线视频| 91精品国产综合久久密臀| aⅤ79成人片| 五月色色激情网| 精品一二三区久久AAA片| 日本久久视频| 六月婷婷综合激情| 天天网曰日曰夜夜综合永久免费| 色婷婷五月天天天干天天操天天爽| 26uuu在线观看| 婷婷成人五月天| 又大又粗九一在线| 国产五月婷| 激情五月久久| 丁香婷婷五月天校园春色| 亚韩在线视频| 91九色丨国产丨爆乳| 婷婷丁香人妻天天爽| 九色综合网| 五月色丁香成人| 五月丁香啪啪啪| 五月婷婷黄网站大全| 思思精品热在线| 五月天开心色色网| 五月激情网站| 91丨九色丨丰满人妖| 3DAV亚洲香蕉久久 一区二区| 激情婷婷五六月天| 成人综合网站| 色婷婷五月基地在线| www.99热| 另类图片激情五月天| 婷婷五月丁香五月| 丁香婷婷少妇| 99在线资源视频| 婷婷爱综合| 丁香六月婷婷综合| 国产精品扒开腿做爽爽爽A片唱戏 亚洲爆乳无码精品AAA片蜜桃 | 亚洲精品激情| 天天爱天天做天天舔| 99激情网| 色狠狠色| 色亭亭五月天网扯| www.热99热| 亚洲V国产V欧美V久久久久久| 日本久久精品| 人妻av在线| 精品九九在线观看| 日韩人妻AV在线| 婷婷无码视频| 久久婷婷丁香视频网| 激情久久久久久久久久久| 欧美日韩成人一区二区| 色综合色色色| 国产熟女日日骚五月丁香爱| 色五月开心久久网| 综合性爱网| 日韩综合久久| 人妻少妇色综合| 色综合爱综合| 综合激情九月婷婷,激情综合婷婷中文字| 99免费| 亚洲Av成人在线观看| 丁香五月色五月| av在线免费播放| 色色色欧美| 色色色综合视频| 五月综合激情| 97色婷婷五月天| 婷婷久久在线| 丁香五月播播| 夜夜骑日日操| 五月婷视频在线观看| 亚洲国产99| 玖玖爱伊人| 久久久久久久人妻| 色婷婷综合网| 激情www| 欧美成人五月天| 欧美va亚洲va在线播放| 国产综合色婷婷精品久久| 五月天婷婷基地| 亚洲色精彩| 国产99久久久国产精品免费看| 精品,99| 99啪啪网| www激情| 五月天伊人日日噜影片AV| 激情性爱婷婷| 久草热在线视频| 天天干天天 亚洲| a片在线免费观看一区| 欧洲不卡视频| 99re这里只有精品在线观看| 超碰九色| 久久久潮喷-久久久九九-成人AV| 婷色五月| 色五月婷婷亚洲| 婷婷色综合| 91丁香色| 99热手机在线精品| 涩涩涩五月天| 激情精品久久| 精品网站:999WWW| 337p大胆噜噜噜噜噜91Av| 天天做天天要天天爽| 91久草五月天婷婷| 丰满少妇猛烈A片免费看观看 | 五月丁香婷婷俺| 99久久五月丁香野外| 亚洲操逼网| 丁香五月婷老师| 亚洲国产精品成人免费一区久久久在线观看AAAA | AV中文在线| 久久思思热视频| 激情综合网五月婷婷| av在线播放网站| 丁香六月久久| 99网| www色中色综合| 丁香五月久久| 超碰在线综合| 色婷婷亚洲综合天堂| www色色色com| 丁香五月天亚洲视频| 99久久a线观| 色婷婷88| 九九九九九九毛片| 嘿嘿视频免费看9| 精品久久99| 99热免费| 影音先锋777xfplay色资源网站| 人人爱干人人爱草| 久99| 色射影院| 色狠狠999综合| 亚洲黄色网址| 亚洲第一成人无码A片| 色色婷| 激情五月婷婷在线观看| www.五月婷| 99精品视频在线观看| 五月婷婷性爱| www.99婷婷| 五月婷婷婷婷| 欧美婷婷色五月| 婷婷五月俺要去| 婷婷久月| 婷婷久热| 色婷婷国产精品综合在线观看| 天天狠狠综合精区| 色综合久| 九九久久99| 九九综合色| 色色色色色色色色色色色色色97| 亚洲操b| 九九视频这里是精品五月| 91大神操美女| 在线你懂的亚洲欧| 永久免费视频| 亚洲在线综合| 狠狠色丁香婷婷| 91久久久久| 久久激丁香| 一本色道久久88综合日韩精品| 五月天精品| 91精品无码| 久久婷网| 99在线视频精品| 思思热在线观看| 狠狠高潮精品亚洲1| 久热这里只有精品99re| 十月色综合| ji'qi'luan'ren'lun| 激情五月婷在线精品| 99re热久久| 99热99免费| 色狠狠综合网| 婷婷丁香五月天中文字幕| 色色色色色色综合| 欧美性爱5月天天天看| 五月丁香五月天现场视频| 中文字幕日韩无码制服诱或| Va另类视频| 丁香五月婷婷成人网| 五月婷婷深爱六月| 人人爱人人添| 亚洲色五月| 久久五月天色婷婷| 激情视频网址| 91操人人操| av五月天婷婷丁香| 97干在线观看| 99热9| 日本妈妈乱| 这里只有精品99视频| 婷婷性爱无码视频| 人妻啪啪啪| 久久9热| 五月天综合视频| 色婷婷av在线观看| 91碰人人| 激情文学第四色婷婷丁香五月| 91操在线视频| 婷婷久久五月| 婷婷色爱| 久久精彩免费视频| 色五月婷婷五月天| 操操操B| 丁香九月综合在线| 97干视频在线| 深爱激情网五月| 99久久综合精品五月天| 色婷婷综合影院| 任你爽视频| 202丰满熟女妇大| 色天使色综合| 99激情在线| 人人亚洲| www.五月天社区| www,色婷婷| 五月丁香六月婷| 婷婷视频在线碰| 亚洲啪啪网| 99在线精品视频观看免费下载| 开心五月婷婷在线视频免费观看| 色五月亚洲| 伊人激情啪啪| 91九色超碰| 人人性久久| 丁香五月图片| 激情五月天婷婷在线网址发给我| 色婷婷亚洲婷婷| 久久婷鲁| 丁香六月AV| 欧美精品熟女一区二区| 99热首页| 丁香狠狠操| 亚洲成人网无码| 婷婷五月天人妻| 97丁香五月| 国产AV一区二区三区最新精品 | www.激情五月天| 日本久久婷婷| 久久激情四射| 色五月丁香总合网| 91色色色18| 日韩AV在线影片| 99大香蕉| www色中色综合| 五月婷婷影| 亚洲综合色婷婷文学| 日本久久精品| 思思久久精品| 成人在线观看精品| 天天做天天爱高潮片| 婷婷丁香综合成人| h在线看免费版在线看| 加勒比日本一区二区三区| 97色五月天| 97五月天| 丁香九月激情在线视频| 99re这里只有精品免费| 影音先锋一区二区三区| 成人午夜在线视频| 婷婷丁香人妻久久在线观看| 99热99色| 激情六月丁香| 天天影院色| 蜜乳久AV| 开心激情色婷婷五月天| 成人电影一区| 九九人人精品| 婷婷五月综合亚洲| www,99热在线观看| 麻豆123区| 9久精品视频| 又大又粗九一在线| 亚洲久久视频| 婷婷综合五月| 久99| 五月婷婷欧美| 久久婷婷人人| 99热在线播放| 综合九九日本| 人妻操逼视频| 亚洲精品无AMM毛片| 猫咪伊人久久| 久9免费视频| 丁香六月青青草| www.五月丁香av| 777精品久无码人妻蜜桃| 91九色国产| 婷婷婷久久久| 六月丁香色色色| 99在线小视频| 伊人丁香五月婷婷潮吹| 丁香五月停停av| 99爱在线视频| 六月99天天婷婷激情综合| 日韩在线一级| 激情碰碰碰| 先锋av性爱成人电影| 超碰免费在线| 综合亚洲色色| 99热这里是精品| 久热久色| 丁香五月色情| 色婷婷色五月丁香| 超碰91在线| 久久只有这里精品免费| 97人人射| www。狠狠干。com| 粉嫩AV久久一区二区三区| 九九热视频网站| 99综合网| 日日色五月天| 亚洲国产精品二二三三区| 国产欧美婷婷五月| 狠狠干最新地址| 色情久久久| 激情亚洲五月| 色噜噜五月天| 极品色丁香| 成人在线综合| 黑人熟妇一区二区三区| 丁香五月欧美激情| 色一区高清| 538在线精品| 激情六月丁香综合| 思思久久99热只有频精品66| 五月天激情网页| 九九艹女| 日韩淑女人妻luan伦激情精品一区二| 丁香五月天黄色片| 五月婷啪| 久这里只有精品| 香蕉人妻AV久久久久天天| 玖久精品视频9| 东北熟女视频99| 丁香婷婷六月| 丁香色情五月综合激情| 日产精品一线二线三线芒果| 99热这里只有精品一区| 久色88| 国产91视频| 性按摩玩人妻HD中文字幕| 婷婷五月丁香基地在线视频官网| 一本大道熟女人妻中文字幕在线 | 六月色激情| 综合色色网| 婷婷五日b| 1024欧美看片| 激情久久肏屄视频| 99热99ai| 久久密臀婷婷| 婷婷亚洲影院| 天天cha成人综合网| 激情五月婷婷她| 婷婷五月亚洲综合| 97色伦另类图片小说视频| 综合 蜜月 婷婷| 综合色五月| 99激| 9一精品视频观看| 久操热线| 色噜噜在线| 91视频五月丁香| 国产激情久久| 五月天激情啪啪| 91操片| 国产精品在线视频| 99热资源在线| 99re在线播放| 五月丁香综合影院| 69婷婷丁香午夜| 激情视频综合| 男人操女人高潮91视频| 国産精品| 精品51XX| 五月丁香婷婷无码中文| 亚州第一A片| 99精品在线观看| 五月情涩综合婷婷| 99精品久久| 一区操| www.婷婷六月天| 日日色综合| 六月婷婷狠狠| a九九热www| 五月丁小婷婷激情四射| 婷婷五月天色播| 思思久久精品| RenRenSe在线视频网站| 国产 亚洲 在线| 97伦乱| 激情五月激情综合网| 五月丁香六月婷婷亚洲综合| 天天做天天要天天爽| 五月丁香六月婷婷激情视频在线观看免费| 狠狠人妻色综合| 久久婷婷热| 久久五月综合| 四色 爱 婷婷 精品 亚洲 五月天| 只有精品视频在线观看| 牛牛热这里只有jingpin| 色婷五月天| 五月丁香六月婷婷欧美综合| 五月丁香婷婷啪啪综合网| 天天开心天天色| 综合激情sV| 五月Huangsewang| 99热首页| 丁香九九九九| 色停停五月,在线观看| 99色热视频| 丁香五月婷婷啪| 丁香六月啪啪啪| 日本 色综合| 日韩人妻AV在线| 操99| 老司机伊人| 人人干99| 9久国产| 婷婷丁香人妻天天爽| 黄页大全十八禁| 色综合播放| 色色综合色视频| 婷婷综合精品| 五月天婷婷基地综合网| 最新日韩久热免费视频看看| 亚洲天堂AV综合网| 蒲京久久无码视频| 日韩野外 无套| 色五天综合| 亚洲国产精品SUV| 婷婷在线精品| 婷婷久久网| 99色视频在线| 婷婷色综合| 成人欧美日韩| 丁香五月天激情视频| 99热这里只有精品18| 丁香五月天天| 新99思思视频| 99视频久久免费视频| 少妇丁香婷婷 | 五月色综合| 五月开心激情| 色婷婷丁香五月| 天天狠狠夜夜狠狠2023| 狠狠狠狠狠狠| 婷婷五月花| 内射爽无广熟女亚洲| 狠狠色丁香| 五月丁香综合网| 天天色视频| 激情综合五月婷婷| 国产av天堂| 亚洲12p| 婷婷五月久久| 激情综合九| 91窝窝| 嫩草视频观看| 91九色精品女同系列| 国产九九一区二区三区| 久久婷婷色| 五月激情五月丁香| 九九热视频首页/这里只有精品| 日本va欧美va精品发布视频 | 色色色在线播放| 五月婷色丁香| 99热久久这里只有精品2010| 亚洲无码色| 人人干av| 中美日韩成人在线| 亚洲色啪| 97操碰人免费| 2021日韩无码| 91综合国免费久入| 黄色片区子| 五月天激情站| 久热A| 天天日天天插| 熟女激情五月天| 成人综合网站| 九九九九九九九九九九九九九国产精品| 色99免费视频中文| 超碰av在线| 婷婷六月插屄激情| 五月天激情国产综合婷婷| 丁香六月啪| 伊人在线视频| 色婷婷丁香社综合| 热中文字幕| 99性感视频| 热99免费在线| 俺也去色| 婷婷丁香视频| 五月婷婷在线丁香| 婷婷五月天堂一本在线| 影音先锋噜一噜| 99热免费| 9999热在线观看| 五月婷婷新网站| 日本va欧美va欧美| 九九色图| 在线综合亚洲欧美65| 久久久婷婷五月亚洲97号色| 五月激情网五月综合网| 99网99热| 欧美人妻一区二区| 91婷婷丁香五月亚洲| 色播六月| 狠色色狠网| 在线日韩视频| 丁香操逼| 五月丁香激情综合| 天天天天爽爽天干| 色五月婷婷综合| 九九久久偷拍| 激情五月天综合网站网站网站| 婷婷王月天影院| 香蕉综合网| 日本97人人| 丁香五月亚洲激情婷婷射| 九九机热| 色五月婷婷色| 婷婷九月狠狠色| 思思综合热| 婷婷天堂综合| 99久久高清视频| 国产阿姨日皮艹逼内射视频| 五月天丁香婷婷社区| 色综合久| 久99久精品视频| 婷婷五月天成人基地| 玖玖热视频| 91久久九色| www 五月天 com| 五月天婷婷在线AN| 99热欧美精品| 伊人婷婷五月天av| h在线看免费版在线看| 丁香五月婷婷99| 人人操超踫| 亚洲va综合va国产va中文| 激情五月天色婷婷综合| 99热777| 久久曰曰| 庭庭久久内射| 国产视频婷婷| 国产性av| 色色色色色色色综合| 成人电影一区| 亚洲色激情| 99热在线这里| 欧美日韩成卜| 色婷婷五月天激情在线播放| 日韩精品一区二区亚洲AV观看| 久久性都花花世界成人免费视频| 免費亭亭成人| 天天插综合| 久热re在线视频| 色五月成人在线| 99性爱视频| 无码se| 九九精品综合| 2016日日夜夜操| 色五月女| 久久丁香综合香蕉| 九九热手机在线视频| 色久综合| 五月天天天综合| 激情久久久| 殴美激情综合网| 97色色视频| 亚州第一A片| 婷婷五月婷婷五月| 五月天色小说| 天天插天天射| 色天天综合成人网| 五月综合视频| 婷婷色色狠狠| 五月婷婷在线观看黄| 婷婷六月激情啪啪| 婷婷五月丁香香蕉| 婷婷五月综合激情| 久久激情视频99| 久久久天堂国产精品女人| 色五月婷婷在线视频| 99久久网站| 日韩免费乱轮网站| 色五月人妻| 九九碰九九爱97超| 99ri国产| 丁香色播五月天| 精品日本视频444| 天天插,天天射| 日本欧特黄色刺激一区影视久精品无码| 色噜噜狠狠色综合网| 特黄三级又爽又粗又大| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 丰满少妇乱A片无码| 久久永久视频| 欧美色婷婷| 婷婷色色欧美| 黄网免费看| www.99操.com| 天天狠狠干| 九九一区| 五月天六月色| 日本久久性| 综合激情视频| 婷婷五月天影院| 亚洲AV成人在线| 六月婷婷综合激情| 色婷婷99| 久久九九国产| 久久久99视频| 亚洲欧美综合7777色婷婷| 天天插天天爽| 六月综合婷婷开心伊人| 亚洲操逼片| 色女人久久| 五月天激情网图片| 综合 蜜月 婷婷| 99a级片| 婷婷五月天Av| 99精品在线观看视频| 丁香婷婷六月激情文学| 亚洲亚洲人成综合网络| 国精产品一区一区三区免费视频| www,婷婷| 日本99在线视频| 99免费在线| 丁香五月天天| 日韩人妻AV在线| 亚洲免费婷婷| 亚洲色婷婷激情| 婷婷五月天AV在线| 这里只有精品免费| 九九热这里只有精品在线观看| 九月婷婷在线观看| 激情五月六月婷婷| 色视五月天婷婷| 97人人妻人人艹| 涩婷婷五月天| 婷婷久久网| 青青久在线视频免费观看| 五月丁香成年黄色| 国产精品视频免费看| 激情综合五月| 五月色婷婷综合| 色九月婷婷| 五月天色综合| 5月婷婷激情在线| 99热在线爱| 久久这里只有精品视频15 | 日韩久久视频| 九九热只有精品6| 九洲一级A片| 91se在线观看| 五月天婷婷激情干干| 久久久久久久久久婷婷| 久久人人妻| 婷婷五月天成人基地| 婷婷丁香高潮了| 激情久久久久久久久久久| 中文AⅤ大全| 人人爽天天爽| 六月婷婷久久| 丁香五月综合高清在线| 91麻豆国产三级精品福利在线观看| 九九热10| 婷婷 丁香 精品| 五月婷婷丁香av| 怡红院 久久| 激情人妻综合| 4438国产免费看| 婷婷五月丁香青青草在线| 在线视频你懂得| 噜噜噜久久| 色五月丁香伊人| 噜噜噜噜在线| 婷婷五月天亚洲天堂| 久草A片| 九九色婷婷Av| 日日躁夜夜躁狠狠久久AV| 久久99网| 99热主页日本| 九色91国产| 婷婷五月激情视频| 思思久热| 激情综合网五月在线播放| 99精品自拍| 久99久视频精品| 国产美女无遮挡裸体毛片A片| 99精色| 五月狠狠| 日韩艹比| 激情五月黄色| 丁香五月之久操视频| 丁香五月婷婷五月基地| 91av传媒高清在线视频网| 99精品偷自拍| 婷婷九月丁香| 深爱激情五月婷婷| 天天婷婷操| 激情5月舔| 色婷婷成人网| 狠狠爱激情网| 欧美毛卡| 婷婷五月丁香综合激情| 色情五月综合婷婷| 天天 青草 制服丝袜 在线| 91chinese 在线| 91chinese 在线| 久久思思99| 另类亚洲视频| 超碰av在线| 伊人婷婷青青cao| 人人爱天天摸摸天天爱| 99亚洲综合| 3pAV| 九九色综合| 久久停停超碰| 亚洲成人中文字幕| 综合99久久| 热无码A∨| 五月香六月婷| 丁香婷婷色五月| 五月婷婷六月丁香综合| 久久99综合| 国产日韩亚洲欧美在线观看| 色欧美影院| 99热这里只有精品在线观看| 婷婷五月,综合伊人| 99色.com| 大香蕉综合| 五月婷婷综合网在线播放| 婷婷五月成年人| 亚洲色婷婷五月| 大香蕉五月丁香| 一本色道久久综合狠狠躁小说| 日产精品一线二线三线芒果| 97色五月丁香婷婷| 亚洲中文字幕网| 九九久久99| 五月婷婷深深爱| 青青草视频免费观看| 激情丁香九九五月综合网| 99色综合| 99热热热国产超碰| 色性综合| 日逼免费视频| 久久五月丁香| 久草热8精品视频在线观看| 婷婷五月丁香激情| 日本三级韩三级99久久| 天天爽曰日爽| 97色女人在线| 精品久久这里热66| 色色激情五月天| 国产成人AV| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 9久热| 激情合网婷婷| 99碰碰| 久草九九| 99操碰| 操操操Av| 丁香久久在线| 婷婷五月天成人| 这里只有精彩视| 综合久久99| 2015WWW永久免费观看播放| 99re这里只有精品首页| 婷婷金品综合视频| 91人妻九色大屁股| 91久久久久久| 久色激情| 婷婷丁香大香蕉| 丁香色播五月天| 欧美丰满熟妇BBB久久久| 久久久宗合| 色色色热| 久久无码成人| 色七七九九| 婷婷激情五月色综合| 免费视频无码| 天天操天天曰天天射| 久久精品亚洲一级牲爱综合| 狠狠精品干练久久久无码中文字幕 | 女同激情久久av久久| 牛牛碰免费| 99无码精品| 色五月之第四色| 99综合视频| 五月天婷婷婷| 国产成人VA| 五月丁香六月激情| 曰本aaaaaa丈片| 色综合爽| 亚洲色情在线| 日本丁香五月| 9色免费网| www.五月天社区| 久热免费视频| 激情婷婷综合| 婷婷亚洲综合| 狠狠香婷婷五月| 日韩成人精品中文字幕| 99免费视频| 色色色在线免费视频| 中文av网| 五月婷色色| 夜夜操天天干| 久久只有精| 丁香五月天视频| 激情 婷婷 插| 欧洲色| 99精品在| 久热伊人91| 夜夜骑福利资源| 99亚洲精品| 99热99ai| 亚洲欧洲另类| 五月天六月丁香| 国产精自产拍久久久久久蜜 | 97五月天| 大香蕉综合| 久久伊人五月天| 亚洲激情无码久久| 色婷婷小说| 夜夜爽天操| 日韩色色视频| 婷婷深爱五月天在线| 专区无日本视频高清8| 99视频精品全部免费观看| 色婷五月天| 99久热这里有精品| 五月天色小说| 性综合网| 99热国产免费| 九九综合色| 国产成人精品一区二区三区视频 | 久色国产| 激情色五月天| 婷婷香五月天| 色六月婷婷| 超碰狠狠操| 五月丁香六月停停| 综合久久高清| 国产精品扒开腿做爽爽爽A片唱戏 亚洲爆乳无码精品AAA片蜜桃 | 五月香婷婷| 国产AV熟妇人震精品一品二区| 色色精品色| 久久婷婷原创视频| 婷婷综合视频| 色99网| 久久精品色| 99re6在线视频精品免费| 99re8在这里只有精品| 九九99精品视频在线观看| 欧美大片| 色综合色五月| 婷婷五月色亚洲| 91好好热日本在线| 成片免费观看视频大全| 五月丁香在线综合| 亚洲丁香婷婷五月天综合色| 99少妇精品| 高清一区二区三区日本久| 色天天综合| 久热爱大香蕉在线蜜臀悦色| 色五月网址| 色婷婷激情| 五月丁香六月婷婷中文版| 九九九午夜视频| 丁香伍月婷电影全集| 五月激情六月综合| 丁香桃色网| 欧美色色色色色色色色色色影视| 猫咪伊人久久| 伊人九热| 国产成人网站在线观看| h在线看免费版在线看| 天天色图| 国产毛片精品一区二区色欲黄A片| 婷婷深爱五月丁香| 天天插天天日天天爽| 黄色激情久久| 久久九网| 日韩无码专区| 碰碰91| 婷婷97碰碰| 五月天婷婷视频| 夜夜夜叫天天天做| 亚洲网站在线鸭子av| 久久人视频| 亚洲综合视频八| 99色在线| 婷婷俺去也| 五月婷婷丁香在线| 开心五月婷婷| 俺去也在线视频| 99热无码精品| 国产99热| 9 1大香蕉| 婷婷丁香六月天| 丁香五月狠狠在线观看| 亚洲精品视频电影| 色婷天天| 天天日天天干天天天| 五月婷婷电影院| 婷婷91| 丁香婷婷久久| 丁香激情综合| 丁香六月婷婷综合在线| 色五月天综合| 丁香大香蕉| 玖玖婷婷五月天| 婷婷久久五月天丁香| 久热9热| 丁香九色不卡aaa| 99久久色| 美日韩成人| 欧美色五月| 亚洲久热| 国产精品第一国产精品| 麻豆AV一区二区三区| 日韩色色视频| 开心五月婷婷激情| 亚洲成av人影院| 国产做爰视频免费播放| 色色五月婷婷| 色综合色| 五月天激情美女久久| 97人碰人操| 日韩不卡123| 99热1| 国産精品| 五月天婷婷网站| 99成人小视频| 丁香六月狠狠干| 99热这里| 成人龟情网丁香五月| 欧美天天搞| 丁香五月婷婷性爱| 婷婷在线五月天观看| 五月好婷婷| 亚洲第一黄网| 五月婷婷六月丁香| 1024操逼| 色婷婷女优有码五月亭| 婷婷天堂站| 精品成人无码A片观看香草视频| 国精产品一区一区三区有限公司杨 | 日本色色图| 五月天激情久色| 久热黄色| 五月天婷婷久久| 久久综合9| 丁香六月婷婷综情欧美| 亚洲丁香五月在线观看| 天天干天天干天天| 99综合视频| 欧美 色婷婷| 99无码视频| 人妻久久久久久久久久| 啪啪啪大香蕉| 色色综合五月| 色久婷婷网| 激情综合国产| 亚洲狠狠爱婷婷| 五月天婷婷综合| 婷婷久久大香蕉| www.爱操com.| 婷婷亚洲影院| 婷婷成人av| 九九精品在线视频观看| 狠狠激情五月天| 这里只有精品免费视频| 亚洲成片在线观看| 久婷婷五月激情| 五月丁香婷婷AV| 九九这里只有精品| 成人短视频在线| 日日爽日日| 91 欧美| 人妻久热| 五月天久久成人| 激情AV在线| 91亚洲免费片| 日日干日日s| 97久久超碰| 男女99免费视频| 激情五月色婷婷| 性爱五月婷| 精品少妇蜜臀91| 久久ww| 丁香久月婷| 怡红院视频| 久热婷婷在线视频| 国产26uuu视频| 婷婷开心激情| 国产成人网站在线观看| 99热精品在线播放| 婷婷伊人| 丁香五月综合激情啪啪| 亚洲欧美国产高清vA在线播放| 亚洲V国产V欧美V久久久久久| 99操视频| 色婷婷88| 亚洲成人另类| 久久久噜噜噜久久人妻| 国产av第一专区| 99热骚货| 色一色综合| 【乱子伦】黄色| 婷香五月激情视频| 亚洲激情av| 婷婷五月天色色| 欧美97色| 婷婷情色五月天|