欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Keepalived高可用實(shí)戰(zhàn):從VRRP原理到主備切換與踩坑指南

Keepalived高可用實(shí)戰(zhàn):從VRRP原理到主備切換與踩坑指南 Keepalived這套工具我第一次在Linux服務(wù)器上安裝配置時(shí)是給Nginx做VIP入口的。當(dāng)時(shí)想法特別簡(jiǎn)單兩臺(tái)機(jī)器一個(gè)IP誰掛了另一個(gè)頂上。結(jié)果配置完啟動(dòng)之后兩臺(tái)節(jié)點(diǎn)完全感知不到對(duì)方查了大半天才發(fā)現(xiàn)是防火墻沒放行VRRP協(xié)議。接下來我就把Keepalived在Linux環(huán)境下的安裝、配置、啟動(dòng)整條鏈路寫清楚附帶這些年跌過的坑和常用的驗(yàn)證方法。不管你是要給Nginx、MySQL還是RabbitMQ做高可用Keepalived都是Linux上最經(jīng)典、最輕量、最容易上手的一層方案值得花時(shí)間徹底搞明白。1. 高可用不是玄學(xué)Keepalived與VIP的核心機(jī)制1.1 單點(diǎn)故障問題的本質(zhì)任何一臺(tái)服務(wù)器、任何一個(gè)進(jìn)程都有概率發(fā)生故障。硬件老化、系統(tǒng)崩潰、進(jìn)程被殺、網(wǎng)絡(luò)分區(qū)隨便一個(gè)原因都可能讓服務(wù)不可用。在Keepalived出現(xiàn)之前解決單點(diǎn)故障最樸素的想法是“多加一臺(tái)機(jī)器”但加完機(jī)器后問題就來了客戶端訪問的IP只有一個(gè)怎么讓請(qǐng)求自動(dòng)切換到備用機(jī)器這時(shí)候虛擬IPVIP的概念就出來了——對(duì)外只暴露一個(gè)VIP這個(gè)VIP由主備節(jié)點(diǎn)中的一臺(tái)持有主節(jié)點(diǎn)故障后VIP自動(dòng)漂移到備用節(jié)點(diǎn)客戶端完全無感知。Keepalived干的就是這件事把VIP的持有權(quán)做成一種可以被“選舉、移交、接管”的資源。1.2 VRRP協(xié)議的核心工作過程Keepalived的底層協(xié)議是VRRPVirtual Router Redundancy Protocol這個(gè)協(xié)議最早是為路由器高可用設(shè)計(jì)的思路和我們現(xiàn)在講的服務(wù)器高可用完全一致。每個(gè)參與高可用的節(jié)點(diǎn)會(huì)周期性地向同一個(gè)網(wǎng)段發(fā)送VRRP通告報(bào)文報(bào)文中包含優(yōu)先級(jí)、virtual_router_id等信息。收到通告后每個(gè)節(jié)點(diǎn)會(huì)比較自己和對(duì)方的優(yōu)先級(jí)優(yōu)先級(jí)高的成為MASTER持有VIP優(yōu)先級(jí)低的進(jìn)入BACKUP狀態(tài)只是不停監(jiān)聽MASTER的通告。當(dāng)BACKUP連續(xù)一段時(shí)間默認(rèn)是3倍advert_int沒有收到MASTER的通告就會(huì)認(rèn)為MASTER已經(jīng)失聯(lián)立即重新選舉——如果它的優(yōu)先級(jí)最高就把VIP接管過來。這個(gè)過程中有兩點(diǎn)值得注意。第一state字段里寫的MASTER或BACKUP并不是最終決定誰是主的唯一依據(jù)priority的數(shù)值才是。你寫MASTER但priority寫得比對(duì)方低照樣會(huì)退讓。所以我在配置時(shí)習(xí)慣把主節(jié)點(diǎn)priority設(shè)為100備節(jié)點(diǎn)設(shè)為90既保證主備穩(wěn)定又留出足夠差距避免因網(wǎng)絡(luò)瞬斷導(dǎo)致的反復(fù)橫跳。第二VRRP默認(rèn)采用組播方式發(fā)送通告目標(biāo)地址是224.0.0.18。這意味著同一網(wǎng)段內(nèi)所有的Keepalived節(jié)點(diǎn)理論上都能收到彼此的報(bào)文而這也帶來了防火墻放行和virtual_router_id隔離這兩個(gè)后續(xù)要重點(diǎn)處理的問題。1.3 從“機(jī)器活著”到“服務(wù)可用”Keepalived只做VRRP的話只能感知“對(duì)端機(jī)器是否在線”感知不到“本機(jī)Nginx進(jìn)程是不是掛了”。因此有了vrrp_script健康檢查機(jī)制定期執(zhí)行一段腳本腳本返回0表示正常返回非0判定為故障。當(dāng)腳本檢測(cè)到業(yè)務(wù)進(jìn)程異常時(shí)本節(jié)點(diǎn)會(huì)主動(dòng)降低優(yōu)先級(jí)、退出MASTER狀態(tài)把VIP讓給備用節(jié)點(diǎn)。這種設(shè)計(jì)把“高可用”從機(jī)器層面下沉到了服務(wù)層面也是我在實(shí)際配置中一定會(huì)加上的一環(huán)。沒有健康檢查的Keepalived只能算半個(gè)高可用。1.4 狀態(tài)機(jī)與切換觸發(fā)條件小結(jié)Keepalived節(jié)點(diǎn)通常會(huì)在Initialize、Backup、Master、Fault幾個(gè)狀態(tài)之間流轉(zhuǎn)。啟動(dòng)時(shí)進(jìn)入Initialize隨后如果判斷自己是MASTER就直接進(jìn)入Master狀態(tài)并開始發(fā)送VRRP通告否則進(jìn)入Backup狀態(tài)等待。Fault狀態(tài)代表本節(jié)點(diǎn)出現(xiàn)異常比如配置錯(cuò)誤、腳本檢測(cè)失敗、網(wǎng)卡故障此時(shí)不會(huì)持有VIP。梳理清楚這幾個(gè)狀態(tài)再看后面的日志時(shí)就會(huì)順暢很多。日志里出現(xiàn)的Entering MASTER STATE、Entering BACKUP STATE、Entering FAULT STATE分別對(duì)應(yīng)一次完整的狀態(tài)切換過程。2. 從空白系統(tǒng)到Keepalived就緒安裝全流程2.1 安裝方式選型yum/apt優(yōu)先還是源碼編譯Keepalived的安裝方式主要有三種系統(tǒng)包管理器安裝、源碼編譯安裝、容器部署。我個(gè)人對(duì)生產(chǎn)環(huán)境的建議是能直接用yum或apt就用別一開始就上源碼。原因很簡(jiǎn)單包管理器安裝會(huì)自動(dòng)處理好依賴、配置文件路徑和systemd服務(wù)文件一條命令之后就能用后續(xù)升級(jí)也方便。源碼編譯的優(yōu)勢(shì)在于版本新、可定制參數(shù)但需要自己處理依賴和服務(wù)文件對(duì)新手不夠友好。容器化部署Keepalived不是不能做但在“給物理機(jī)或云主機(jī)上的業(yè)務(wù)提供VIP漂移”這個(gè)場(chǎng)景下直接用宿主機(jī)進(jìn)程的方式更簡(jiǎn)單也少一層網(wǎng)絡(luò)映射的復(fù)雜性。2.2 yum/apt安裝的具體操作在CentOS、RHEL系上安裝Keepalived只需要一行yum install -y keepalived安裝完成后二進(jìn)制文件默認(rèn)在/usr/sbin/keepalived配置文件自動(dòng)生成在/etc/keepalived/keepalived.confsystemd服務(wù)文件也注冊(cè)好了。Ubuntu/Debian系上對(duì)應(yīng)的是apt update apt install -y keepalived安裝完成后同樣可以用systemctl管理。這里特別提一下很多同學(xué)喜歡“裝完立刻啟動(dòng)”但Keepalived此時(shí)只有一個(gè)默認(rèn)的空配置模板直接啟動(dòng)不會(huì)報(bào)錯(cuò)但也什么都干不了。正確順序是先檢查配置目錄、確認(rèn)二進(jìn)制版本再動(dòng)手改配置。2.3 源碼編譯安裝的完整過程如果系統(tǒng)源里沒有Keepalived或者你需要特定版本源碼編譯也不難但前置依賴一定要裝齊。在CentOS系上至少需要這些包yum install -y gcc gcc-c make openssl-devel popt-devel libnl3-devel這些都是Keepalived編譯時(shí)要用到的頭文件和工具鏈。缺失libnl3-devel時(shí)configure階段會(huì)報(bào)libnl headers not found這種情況不是Keepalived本身的問題而是依賴沒補(bǔ)齊。Ubuntu系上對(duì)應(yīng)apt install -y build-essential libssl-dev libpopt-dev libnl-3-dev libnl-genl-3-dev依賴裝好之后進(jìn)入源碼目錄./configure --prefix/usr/local/keepalived --sysconfdir/etc/keepalived make make install--sysconfdir/etc/keepalived這一步非常關(guān)鍵它把配置文件的默認(rèn)路徑固定到/etc/keepalived和后面systemd服務(wù)文件里ExecStart的默認(rèn)配置路徑保持一致。如果漏了默認(rèn)配置路徑會(huì)變成/usr/local/etc/keepalived啟動(dòng)時(shí)服務(wù)找不到配置文件排查又浪費(fèi)一輪時(shí)間。2.4 安裝后的驗(yàn)證與環(huán)境自檢安裝完成后用下面幾條命令確認(rèn)環(huán)境keepalived --version which keepalived ls -l /etc/keepalived/keepalived.conf systemctl status keepalived接著確認(rèn)網(wǎng)卡名這一步直接決定后面interface參數(shù)怎么寫ip link我看到太多人直接把網(wǎng)上教程的eth0抄進(jìn)配置結(jié)果自己機(jī)器網(wǎng)卡是ens33VRRP通告根本發(fā)不出去。確認(rèn)完網(wǎng)卡再在兩個(gè)節(jié)點(diǎn)之間互相ping一下確認(rèn)基礎(chǔ)網(wǎng)絡(luò)是通的。這幾件事做完才算真正具備配置Keepalived的前提條件。3. 配置文件的正確打開方式主備節(jié)點(diǎn)的每項(xiàng)關(guān)鍵參數(shù)3.1 配置文件整體結(jié)構(gòu)Keepalived的配置文件通常包含幾個(gè)段global_defs是全局定義vrrp_script是健康檢查腳本定義vrrp_instance是虛擬IP實(shí)例virtual_server是與LVS集成時(shí)的配置段。日常使用中最核心的是vrrp_script和vrrp_instance。一個(gè)配置可以同時(shí)包含多個(gè)vrrp_instance一臺(tái)機(jī)器上跑多個(gè)實(shí)例就能實(shí)現(xiàn)“我是A組的主、B組的備”這種互備架構(gòu)。這也是Keepalived比較靈活的地方高可用不一定是兩臺(tái)機(jī)器一主一閑資源可以互為備份。3.2 global_defs里的關(guān)鍵參數(shù)global_defs里最常用的就是router_id它是一個(gè)字符串標(biāo)識(shí)建議兩臺(tái)節(jié)點(diǎn)設(shè)置成不同值比如主節(jié)點(diǎn)叫LVS_MASTER備節(jié)點(diǎn)叫LVS_BACKUP。雖然它不參與選舉但會(huì)在日志里出現(xiàn)設(shè)置成有意義的名稱后期排查多實(shí)例時(shí)能一眼看出是哪臺(tái)機(jī)器。另一個(gè)值得了解的是enable_script_security如果健康檢查腳本里會(huì)執(zhí)行較復(fù)雜的命令加上這個(gè)參數(shù)并配合script_user指定用戶可以限制腳本的執(zhí)行權(quán)限。不過我的實(shí)際經(jīng)驗(yàn)是健康檢查腳本越簡(jiǎn)單越好盡量別在腳本里做復(fù)雜的邏輯否則腳本本身就會(huì)變成新的故障源。3.3 vrrp_instance逐參數(shù)拆解下面是一份最典型的主節(jié)點(diǎn)配置global_defs { router_id LVS_MASTER } vrrp_instance VI_1 { state MASTER interface eth0 virtual_router_id 51 priority 100 advert_int 1 authentication { auth_type PASS auth_pass 1234 } virtual_ipaddress { 192.168.10.100/24 dev eth0 } }備份節(jié)點(diǎn)大部分參數(shù)相同只有state、router_id、priority不同。下面這張表可以直接對(duì)照著寫參數(shù)主節(jié)點(diǎn)備份節(jié)點(diǎn)stateMASTERBACKUPpriority10090virtual_router_id5151interface實(shí)際網(wǎng)卡名實(shí)際網(wǎng)卡名authentication與主節(jié)點(diǎn)一致與主節(jié)點(diǎn)一致三個(gè)容易出問題的點(diǎn)第一interface必須寫本機(jī)實(shí)際網(wǎng)卡名別照抄示例里的eth0。第二如果同一網(wǎng)段里部署了多套Keepalived集群virtual_router_id絕對(duì)不能重復(fù)否則會(huì)互相搶VIP。第三auth_pass官方限制最多8位建議就寫8位以內(nèi)的純數(shù)字或字母別學(xué)網(wǎng)上某些教程寫一長(zhǎng)串否則可能因認(rèn)證報(bào)文不符合預(yù)期導(dǎo)致節(jié)點(diǎn)之間無法正常協(xié)商。advert_int默認(rèn)1秒表示每隔1秒發(fā)送一次VRRP通告建議保持默認(rèn)。virtual_ipaddress里的VIP必須和業(yè)務(wù)網(wǎng)卡在同一網(wǎng)段否則外部訪問不通。3.4 健康檢查腳本與track_script聯(lián)動(dòng)健康檢查是Keepalived真正體現(xiàn)業(yè)務(wù)感知的模塊。假設(shè)要給Nginx做健康檢查先寫一個(gè)腳本#!/bin/bash if pgrep -x nginx /dev/null 21; then exit 0 else exit 1 fi給腳本加執(zhí)行權(quán)限后在配置文件中定義vrrp_script check_nginx { script /etc/keepalived/check_nginx.sh interval 2 timeout 2 rise 2 fall 2 }然后在vrrp_instance里引用track_script { check_nginx }這里幾個(gè)參數(shù)的實(shí)際含義需要說清楚interval是健康檢查執(zhí)行間隔秒數(shù)timeout是單次腳本執(zhí)行超時(shí)時(shí)間超過就按失敗處理rise表示連續(xù)成功多少次才把狀態(tài)從故障恢復(fù)為正常fall表示連續(xù)失敗多少次才判定故障。默認(rèn)情況下rise和fall都是1但在網(wǎng)絡(luò)或服務(wù)恢復(fù)場(chǎng)景下很容易出現(xiàn)“剛恢復(fù)就切換”的抖動(dòng)現(xiàn)象所以我通常會(huì)把fall設(shè)成2甚至3避免一次偶發(fā)失敗就造成VIP來回漂。腳本返回值0表示健康非0表示不健康這個(gè)約定是Keepalived判定狀態(tài)的唯一依據(jù)。3.5 notify腳本讓切換動(dòng)作可感知、可追蹤VIP漂移只是一層表象實(shí)際運(yùn)維中我更關(guān)心切換發(fā)生之后系統(tǒng)做了什么。在vrrp_instance里配置三個(gè)notify參數(shù)notify_master /etc/keepalived/notify_master.sh notify_backup /etc/keepalived/notify_backup.sh notify_fault /etc/keepalived/notify_fault.sh三個(gè)腳本分別在節(jié)點(diǎn)變成MASTER、BACKUP、FAULT狀態(tài)時(shí)被調(diào)用。最常見的用法是notify_master里reload業(yè)務(wù)進(jìn)程、刷新ARP緩沖notify_backup里把機(jī)器上不屬于自己的VIP清理干凈notify_fault里調(diào)用告警接口做通知。腳本務(wù)必使用絕對(duì)路徑加執(zhí)行權(quán)限腳本內(nèi)部如果有輸出最好重定向到日志文件。我在notify_master腳本里通常會(huì)這樣寫#!/bin/bash echo $(date %F %T) [notify_master] /var/log/keepalived_notify.log systemctl reload nginx 2/dev/null || true這樣既能確認(rèn)切換邏輯觸發(fā)又不會(huì)讓script腳本的輸出干擾Keepalived主進(jìn)程的日志。4. 啟動(dòng)、驗(yàn)證與主備切換演練4.1 啟動(dòng)前先做配置語法檢查改完配置后不要急著start先讓Keepalived自檢一下keepalived -t -f /etc/keepalived/keepalived.conf輸出里出現(xiàn)語法正常之類的提示后再用systemctl啟動(dòng)。語法檢查這一步看似多余實(shí)際上能幫你攔截一大半的“服務(wù)起不來”問題。配置文件的括號(hào)、分號(hào)、參數(shù)名只要有一處錯(cuò)誤服務(wù)都可能直接失敗而這類錯(cuò)誤恰好是最讓人頭大的。4.2 啟動(dòng)的正確姿勢(shì)與進(jìn)程判斷systemd下啟動(dòng)很簡(jiǎn)單systemctl start keepalived systemctl enable keepalived啟動(dòng)后我通常第一時(shí)間看兩樣?xùn)|西進(jìn)程是否完整、狀態(tài)是否正常。ps -ef | grep keepalived systemctl status keepalived正常情況下ps能看到主進(jìn)程加VRRP子進(jìn)程如果配置了健康檢查還會(huì)看到check子進(jìn)程也就是三條記錄。如果只有一條或者兩條異常多半是子進(jìn)程啟動(dòng)失敗了這時(shí)馬上看日志journalctl -u keepalived -f日志是Keepalived排錯(cuò)的第一手資料比到處猜強(qiáng)得多??吹紼ntering MASTER STATE就說明這臺(tái)已經(jīng)成為主節(jié)點(diǎn)VIP應(yīng)該很快會(huì)出現(xiàn)在網(wǎng)卡上。4.3 VIP驗(yàn)證這幾條命令最直接判斷VIP是否生效不需要看管理界面命令行就夠了ip addr show ip addr show dev eth0如果VIP已經(jīng)配置成功能看到類似192.168.10.100/24 scope global eth0這樣的地址。如果看不到按這個(gè)順序排查interface參數(shù)寫沒寫對(duì)防火墻有沒有放行VRRP兩臺(tái)節(jié)點(diǎn)之間的網(wǎng)絡(luò)通不通。協(xié)議層面可以用tcpdump驗(yàn)證tcpdump -ni eth0 vrrpMASTER節(jié)點(diǎn)應(yīng)該每隔1秒就發(fā)一個(gè)VRRP通告包。如果你在BACKUP節(jié)點(diǎn)上也頻繁抓到通告說明兩臺(tái)節(jié)點(diǎn)至少能從協(xié)議層發(fā)現(xiàn)對(duì)方問題大概率出在配置細(xì)節(jié)上。4.4 主備切換演練不能只在理論上說Keepalived配完必須做真實(shí)切換演練不然你永遠(yuǎn)不知道哪一步配置其實(shí)有問題。我的標(biāo)準(zhǔn)流程是在主節(jié)點(diǎn)執(zhí)行systemctl stop keepalived模擬進(jìn)程異常退出。到備用節(jié)點(diǎn)執(zhí)行ip addr showVIP應(yīng)該幾秒內(nèi)出現(xiàn)在備用節(jié)點(diǎn)網(wǎng)卡上。查看備用節(jié)點(diǎn)notify_master腳本日志確認(rèn)切換通知觸發(fā)。重新啟動(dòng)主節(jié)點(diǎn)Keepalived觀察VIP是否按預(yù)期搶占回來。再一次執(zhí)行ip addr show和日志檢查確認(rèn)主備狀態(tài)恢復(fù)。演練時(shí)如果發(fā)現(xiàn)VIP沒有切換先不要急著改配置而是按“網(wǎng)絡(luò)是否通-防火墻是否放行-配置是否一致-日志是否報(bào)錯(cuò)”的順序逐步排查。我見過最隱蔽的問題是兩個(gè)節(jié)點(diǎn)的時(shí)間差太大導(dǎo)致日志和故障時(shí)序?qū)Σ簧吓挪闀r(shí)硬是繞了很久所以也建議大家配置NTP同步雖然VRRP本身不強(qiáng)依賴時(shí)間但日志對(duì)不上真的太痛苦了。5. 踩坑復(fù)盤從防火墻到云主機(jī)的常見翻車現(xiàn)場(chǎng)5.1 防火墻與SELinux占翻車案例的一半Keepalived部署后最容易翻車的地方就是防火墻。VRRP使用的協(xié)議號(hào)是112既不是TCP也不是UDP所以常規(guī)的放行80端口、443端口的規(guī)則對(duì)它不起作用。firewalld下可以這樣放行firewall-cmd --permanent --add-rich-rulerule protocol valuevrrp accept firewall-cmd --reloadiptables下則是iptables -I INPUT -p vrrp -j ACCEPTSELinux也經(jīng)常會(huì)成為隱性攔路虎。如果你發(fā)現(xiàn)配置完全正確但VRRP報(bào)文就是發(fā)不出去可以用setenforce 0臨時(shí)驗(yàn)證一下確認(rèn)是SELinux之后再考慮是否永久關(guān)閉或者調(diào)整對(duì)應(yīng)的布爾值。這里補(bǔ)一句修改防火墻或SELinux之后建議把Keepalived服務(wù)重啟一次讓進(jìn)程重新建立網(wǎng)絡(luò)綁定否則可能出現(xiàn)規(guī)則已經(jīng)放行了但連接還是不通的怪現(xiàn)象。5.2 網(wǎng)卡名不一致最常見的低級(jí)錯(cuò)誤現(xiàn)代Linux發(fā)行版和云主機(jī)的網(wǎng)卡命名已經(jīng)不一定是eth0了ens33、ens5、eth1都很常見。interface參數(shù)填錯(cuò)后Keepalived進(jìn)程可能正常啟動(dòng)但完全監(jiān)聽不到正確的網(wǎng)卡導(dǎo)致VRRP通告發(fā)不出、收不到主備互不感知。我建議在配置前先在每個(gè)節(jié)點(diǎn)上執(zhí)行ip link把真實(shí)的網(wǎng)卡名記下來兩臺(tái)節(jié)點(diǎn)各自填各自的interface不需要強(qiáng)求一致。比如主節(jié)點(diǎn)是ens33備節(jié)點(diǎn)是eth0只要各自填對(duì)VRRP照樣能工作。5.3 virtual_router_id沖突跨集群的干擾virtual_router_id是0到255之間的整數(shù)它的作用是在同一網(wǎng)段內(nèi)區(qū)分不同的VRRP虛擬路由器。同一個(gè)高可用集群的兩臺(tái)節(jié)點(diǎn)必須寫同一個(gè)ID但不同集群之間絕對(duì)不能重復(fù)。如果同一網(wǎng)段里有兩組Keepalived都用了ID 51這兩組會(huì)互相干擾輕則日志怪異重則VIP被誤搶。這個(gè)問題的隱蔽性在于日志里往往不會(huì)有明顯的報(bào)錯(cuò)只有用tcpdump抓包后才能看到不同集群之間發(fā)送了相同virtual_router_id的VRRP報(bào)文。我的習(xí)慣是給每個(gè)集群規(guī)劃獨(dú)立的ID同時(shí)在配置文件里用注釋寫明這個(gè)ID屬于哪套業(yè)務(wù)避免后續(xù)維護(hù)時(shí)撞車。5.4 腦裂高可用最怕的兩個(gè)字腦裂是所有高可用方案的噩夢(mèng)Keepalived也不例外。腦裂發(fā)生后兩臺(tái)節(jié)點(diǎn)同時(shí)認(rèn)為自己是MASTER同時(shí)持有同一個(gè)VIP流量被打散到兩臺(tái)機(jī)器上如果后面連的是數(shù)據(jù)庫后果不堪設(shè)想。判斷腦裂的標(biāo)準(zhǔn)動(dòng)作有兩個(gè)第一在兩臺(tái)節(jié)點(diǎn)上分別執(zhí)行ip addr show看VIP是否同時(shí)存在第二在兩臺(tái)節(jié)點(diǎn)上分別抓VRRP包看到底是誰在正常發(fā)通告。定位到腦裂后按順序檢查兩臺(tái)節(jié)點(diǎn)priority是否設(shè)置正確、防火墻是否放行了VRRP、interface是否填寫正確、三層網(wǎng)絡(luò)是否互通。腦裂的根源幾乎都是“一個(gè)節(jié)點(diǎn)能正常發(fā)通告但另一個(gè)節(jié)點(diǎn)收不到”所以重點(diǎn)永遠(yuǎn)是排查通信鏈路而不是懷疑Keepalived本身。5.5 非搶占模式nopreempt寫在哪很有講究默認(rèn)的Keepalived是搶占行為主節(jié)點(diǎn)恢復(fù)后會(huì)立刻把VIP搶回來。但有些業(yè)務(wù)場(chǎng)景不允許VIP頻繁切換比如長(zhǎng)連接服務(wù)一旦切換就要斷連重連。這時(shí)需要配置非搶占模式。網(wǎng)上很多配置都寫錯(cuò)了。注意nopreempt只能寫在BACKUP節(jié)點(diǎn)的vrrp_instance里并且兩個(gè)節(jié)點(diǎn)的state都要寫B(tài)ACKUP只靠priority區(qū)分主次。原因在于Keepalived只在BACKUP狀態(tài)下才會(huì)處理nopreempt邏輯。如果你在MASTER節(jié)點(diǎn)上寫nopreempt根本不會(huì)生效。還有一種更平滑的方案是preempt_delay主節(jié)點(diǎn)恢復(fù)后等待一段時(shí)間再搶占比如300秒給業(yè)務(wù)和網(wǎng)絡(luò)一個(gè)穩(wěn)定窗口期。5.6 健康檢查腳本的隱性坑健康檢查腳本看起來簡(jiǎn)單實(shí)際上坑不少。第一個(gè)坑是權(quán)限腳本沒有執(zhí)行權(quán)限Keepalived會(huì)直接判定腳本執(zhí)行失敗。第二個(gè)坑是環(huán)境變量比如腳本里用到某個(gè)軟件的絕對(duì)路徑但Keepalived的systemd環(huán)境里PATH和交互式shell不一致導(dǎo)致命令找不到。第三個(gè)坑是超時(shí)如果腳本執(zhí)行時(shí)間超過了timeout配置會(huì)被直接判為失敗。我的建議是腳本先用root手動(dòng)執(zhí)行一遍確認(rèn)返回碼正確腳本里所有命令用絕對(duì)路徑腳本執(zhí)行時(shí)間務(wù)必小于配置的timeout如果腳本在業(yè)務(wù)高峰期可能變慢就把timeout適當(dāng)調(diào)大同時(shí)把fall閾值調(diào)大避免CPU抖動(dòng)導(dǎo)致誤判。5.7 云主機(jī)上的單播改造云環(huán)境是當(dāng)前部署Keepalived的重要場(chǎng)景。傳統(tǒng)物理機(jī)環(huán)境下VRRP用組播方式互發(fā)通告組播地址是224.0.0.18交換機(jī)默認(rèn)會(huì)轉(zhuǎn)發(fā)同網(wǎng)段組播。但許多公有云的VPC網(wǎng)絡(luò)并不支持VRRP組播兩臺(tái)節(jié)點(diǎn)互相收不到報(bào)文結(jié)果都認(rèn)為自己該當(dāng)MASTER。解決辦法是把Keepalived改成單播模式在vrrp_instance里寫unicast_src_ip 192.168.10.10 unicast_peer { 192.168.10.11 }這樣本節(jié)點(diǎn)只向指定的對(duì)端IP發(fā)送VRRP通告不再依賴組播。同時(shí)云平臺(tái)安全組也要放行對(duì)應(yīng)協(xié)議和端口。我在任何云主機(jī)上部署Keepalived時(shí)不管平臺(tái)是否支持組播都會(huì)直接使用單播配置寧可多寫兩行也不給自己留隱患。6. 場(chǎng)景延伸Keepalived在Nginx、MySQL、RabbitMQ高可用中的接入方式6.1 Keepalived不具備業(yè)務(wù)感知感知邏輯都在腳本里搞清楚這一點(diǎn)你就能理解為什么Keepalived能接那么多不同場(chǎng)景。它自身只負(fù)責(zé)VRRP協(xié)議和VIP漂移而對(duì)業(yè)務(wù)進(jìn)程是否正常的判斷全部交給vrrp_script里的腳本。所以要想讓Keepalived監(jiān)控某種服務(wù)只需要寫對(duì)應(yīng)的檢測(cè)腳本檢測(cè)Nginx就檢查nginx進(jìn)程和80端口檢測(cè)MySQL就檢查mysqld進(jìn)程和3306端口檢測(cè)RabbitMQ就檢查rabbitmq-server和5672端口??蚣芡耆粯又恍枰哪_本內(nèi)容。這也是Keepalived在Linux運(yùn)維體系里長(zhǎng)盛不衰的原因它足夠底層、足夠通用。6.2 Nginx高可用最標(biāo)準(zhǔn)的一套組合NginxKeepalived是目前最常見的組合做法也最簡(jiǎn)單。兩臺(tái)Nginx服務(wù)器各自啟動(dòng)Nginx監(jiān)聽自己的本機(jī)IPKeepalived提供VIP??蛻舳嗽L問VIPVIP落在哪臺(tái)機(jī)器上請(qǐng)求就打到哪臺(tái)機(jī)器的Nginx。當(dāng)MASTER的Nginx進(jìn)程異常退出check腳本返回非0Keepalived主動(dòng)讓出VIPBACKUP接管VIP后通過notify_master里的腳本確保本機(jī)Nginx也在運(yùn)行。這樣整體對(duì)外提供的服務(wù)地址始終不變。需要提醒的是不要在notify_master里只做“切換VIP”這件事一定要確認(rèn)業(yè)務(wù)進(jìn)程本身可用否則就是VIP切過去了業(yè)務(wù)反而不可用這種“假高可用”我在生產(chǎn)上見過不止一次。6.3 MySQL和RabbitMQ等中間件的高可用思路很多接觸Keepalived的人都是為了解決MySQL、RabbitMQ這類中間件的高可用問題。以MySQL主從場(chǎng)景為例正常情況下VIP掛在主庫上應(yīng)用連接串里寫的是VIP主庫故障后VIP漂移到從庫應(yīng)用不需要改配置。健康檢查腳本要同時(shí)探測(cè)本機(jī)IP的3306端口和數(shù)據(jù)庫進(jìn)程狀態(tài)避免只檢測(cè)進(jìn)程存活而端口已經(jīng)不可用的情況。RabbitMQ類似腳本里檢查5672端口或進(jìn)程狀態(tài)配合notify腳本做集群節(jié)點(diǎn)止損。但要直說Keepalived只解決了“入口漂移”解決不了中間件內(nèi)部的數(shù)據(jù)同步、腦裂等問題。MySQL的數(shù)據(jù)一致性得靠半同步復(fù)制或額外的高可用編排工具RabbitMQ的鏡像隊(duì)列、仲裁隊(duì)列也有自己的高可用機(jī)制。Keepalived適合作為最上層的接入入口別指望它包辦一切。6.4 給生產(chǎn)環(huán)境的幾條配置建議最后把這些年看到的問題匯總成幾條生產(chǎn)建議第一雙節(jié)點(diǎn)的Keepalived配置一定要放在版本控制里配置文件改動(dòng)需要可回溯不然線上有一次手誤改錯(cuò)了優(yōu)先級(jí)就是一次隱蔽故障。第二VIP的地址要提前規(guī)劃好不要用DHCP可能分配的地址否則IP沖突時(shí)候的故障極其難查。第三advert_int不要為了追求切換速度無限調(diào)小網(wǎng)絡(luò)抖動(dòng)會(huì)引起VIP反復(fù)漂移我一般保持默認(rèn)1秒即可。第四每個(gè)節(jié)點(diǎn)的日志和notify日志要有獨(dú)立文件并配置輪轉(zhuǎn)Keepalived本身日志量不大但vrrp通告在故障期間會(huì)連續(xù)輸出不輪轉(zhuǎn)的話可能撐爆磁盤。第五高可用演練要定期做不要只在剛部署時(shí)做一次。Keepalived這套東西配置本身不復(fù)雜真正考驗(yàn)人的是故障發(fā)生時(shí)的判斷力而這種判斷力只能靠一次次真實(shí)演練積累出來。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久婷婷五月天影院| 天天爽—爽| av色婷婷| 婷婷五月激情在线| 免费国产VA国产免费| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 丁香六月婷婷综合| 婷婷五月天com| 久久婷五月影院| 亚洲色图五月丁香| 亚洲成人在线五月天| 久久五月婷婷丁香| 99日本视频在线观看专区| xxxx久| 五月丁香啪啪激情| 中文字幕在线资源| 人妻激情视频| 99操网站| 4438亚洲欧美| 思思热在线视频精品| 色婷婷AV久久久久久久| 丁香婷婷精品视频| 欧美久久网| 亚洲无码99| 婷婷色导航| 欧美激情 日韩无码 婷婷 五月天 久久婷婷丁香五月一二三 | 亚洲国产成人AV在线| 色婷婷五月天激情在线观看| 天插天啪天啪天啪| 侠女刀之记忆电影在线看免费| 操操操91| 啪啪操网| 日韩一级| 欧美十二区| 亚洲天堂久久| 五月天综合在线| www·五月天| 中文字幕人妻在线| 激情99| 欧美天堂婷婷日韩| 狠狠干综合| 五月天婷综合| 91婷婷五月天嫩女| 婷婷六月天亚州| 天天射美女| 亚洲区1| 五月丁香啪啪啪| 五月亭亭直播| 激情五月天综合婷婷网| 六月亭亭久久综合激情| 婷婷播播五月天| 五月天啪啪| 2015WWW永久免费观看播放| 久久99网| 久久久97| 丰满老熟妇BBBBB搡BBB| 国产偷人爽久久久久久老妇APP| 99热久| 欧美天堂久久| 五月天精品视频| 色五月激情婷婷| 五月婷婷在线网站| 婷婷在线午夜| 久久人妻高清中文| 亚洲成人人人操| 五月丁香五月丁香| 激情婷婷五月天。| 九九视频网| 99啪| 久久亚洲色导航| 国产 亚洲 在线| 久久婷丁香五月| 九九综合| 管管補管管紱| 五月天激情啪啪| 丁香五月激情综合网激情五月| WWW、日本色丁香co m| 亚洲色色五月天| 91岛国片| 欧美婷婷日本| 久久久久综合激动五月天| 99热精品10| 欧美激情Va| 色婷婷婷婷成人网| 婷婷五月丁香综合人妻| 色五月天电影| 五月婷婷综合激情| 丁香五月偷拍| av网站免费在线| 国产亚洲99久久精品熟女| 狠狠色噜噜狠狠狠狠狠色综合久久| 丰满少妇猛烈A片免费看观看 | 亲子乱AV一区二区三区下载| 婷婷色五月综合丁香| 五月花婷婷在线精品视频| 九九精品网站| 亚洲激情精品| 久久久久久欧美精品se一二三四| 搡BBBB搡BBB搡18| 久久久久久久久久久久久9| 九八Av| 中文AⅤ大全| 人碰91| 婷婷涩涩五月天| 9999久久久久| www色婷婷com| 午夜丁香婷婷| 婷婷94s| 色色色999| 色五月丁香婷婷久草| 欧美五月婷婷| www.婷婷五月天| av在线婷婷| 毛片蕉地一二| 丁香六月婷婷五月天| 天天婷婷天天| 亚洲成人网在线观看| 天天综合精品| 人人搡人人| 婷婷久热| 秋霞三及片| 五月婷婷啪啪| 国产AV一区二区三区最新精品| 欧美色激情四射| 超碰人人91| 天天综合五月| www.色婷婷.com| 99热在线网站| 少妇人妻综合色6699| 91chinese在线| 婷婷色狠狠| 日日爱678| 天天爽天天摸天天爱| 无码少妇高潮喷水A片免费| 久久999久久999久久999久久| 狠狠人妻久久久久久综合丁香| 天天操天天插| 久久久精品99| 激情深爱综合网| 色综合五月天| 激情综合婷婷| 婷婷婷久久久| 1区2区视频| 伊人综合网4| 99re视频在线播放| 午夜丁香 婷婷| 丁香色啪综合| 五月丁香网站| 欧美在线视频99| 五月天播播| 中文人妻AV久久人妻18| 五月丁香婷婷激情在线| 欧洲色色| 美女亚洲五月丁香| 久久免片| 久99久视频| 婷婷天天日婷婷| 99色在线| 亚洲激情高潮| 欧美大肥婆大肥BBBBB| 超碰高清在线| 色偷偷五月天| 97碰成超视频免费视频| 色婷婷电影网| 午夜色丁香| 五月天夜夜爱夜夜操| 婷婷激情综合网| 丁香五月婷婷av| 婷婷五月天色| 欧美婷婷九月| 天天肏在线观看| 99资源人人| 操一操| 日韩免费视频| 99精品无码网站| 嫩草AV久久伊人妇女超级A| 91人人网| www九九热| 91色色色18| 激情六月婷| 五月综合人妻| 亚洲操b| 夜夜嗨一区二区三区直播内容| 色婷婷精品小视频| 超碰日韩人妻在线| 涩涩涩.com| 在线看片h站| 大波美女VA网站| 91丨九色丨东北熟女| 九九热a| 久久婷五月天| 五月丁香激情婷婷综合字幕| 色五月婷婷在线观看第一页舔| 99亚洲大片精品永久在线观看 | 六月激情婷婷综合| 极品人妻VIDEOSSS人妻| 狠狠干 狠狠操| 亚洲情综合五月天| 99久久综合| 黄色成人AV在线| 久久久久久久久人妻| 婷婷五月天成人视频| 丁香五月婷在线观看| 九九热这里只有精品9| 婷婷五月伦理网站| 99九九在线精品热动漫| 中文字幕在线免费观看视频| 天天日日人| 久久99热网| 六月婷婷影院| 六月婷婷视频| 久久小视频| 97涩涩丁香五月天| 人妖色AV色综合| 久久性刺激| 91偷拍视频| 操人91| 婷婷性爱无码视频| 91视频一起草| 精品一二三区久久AAA片| 五月熟妇婷婷久久| 麻豆精品| 久久怡红院| 亚洲精品五月| 99九九在线| 久久久久人妻精品| 亚洲色亚洲精品| 日本一级大片| 五月激情天| 五月情涩综合婷婷| 久久99视频| 无码人妻少妇色欲AV一区二区| 天天草天天日| 九九久久五月天综合伊人| se99视频| 亚洲婷婷五月天激情| 婷婷激情人妻| 久久精品熟女亚洲AV麻豆| 久久a热| 99啪啪| 东京热五月婷婷| 九九色色网| 五月综合婷婷网| 操操精品| 七月丁香婷婷 色色| 狠狠爱婷婷爱| Www,五月天| 操97| 国产亚洲av片| 婷婷丁香社区| 色色A| 丁香五月a| 九九精品网站| 欧美性久| 91人妻人人操| 成人日韩欧美| 久久婷五月| 狠色色狠网| 九九碰九九爱97| 九97免费视频| 青青草大香| 婷婷九九| 丁香婷婷激情六月五月开心| 小视频一区| 啪啪激情综合| 热热99爱爱| 精品人妻伦九区久久AAA片| 丁香社区婷婷五月| 九九久久视频| 丁香五月激情婷婷激情| 99色色热| 久碰久操| 黑人熟妇一区二区三区| 丁香五月天社区婷婷| 香蕉AV福利精品导航| 色5月婷婷色| 五月激情丁香| 激情网婷婷婷| 婷婷亚洲五月色综合| 丁香色六月| 国产肏屄大片| 91视频免费后入强操| av高清无码| 五月婷婷婷婷| 婷婷激情五月| 五月丁香婷婷色色| 婷婷丁香18| www.99精品在线| 九九精品视频在线观看| 丁香五月天成人| 影音先锋激情网| 天天噜天天插| 六月丁香成人| 日本的α片xxxwww| 《诡秘之主》在线观看| 91久久久久久| 色天天综合天天综合频道。| 久久色频| 婷婷五月开心中文字幕色| 婷婷色婷婷| 五月玖玖| 91综合在线| 色五月偷偷| 激情视频综合| 操操人人| 亚洲丁香婷婷五月天综合色| site:picc-up.com| 色的色综合| 丁香五色月婷婷网| 亚洲婷婷激情888精品久| 婷激情五月天视频导航| 思思综合热| 五月天亚洲最大成人| 激情五月图| 热久久思思热思思| 丁香婷婷五色月| 激情综合网激情五月欧美| 丁香久久五月天视频在线观看| 五婷婷六月合| 婷婷五月综合视频| 天天操无码| 激情视频网址| 在线观看免费视频| 四季日韩AV无码综合| AV在线不卡网站| 丁香久久九九99| 大香蕉 伊人夜| 亚洲综合无码| 久久五月人人摸| 五月婷婷伊人在线| AV成人在线播放| www.五月天色色.com| 色吧婷婷| 最近免费中文字幕大全高清大全1| 成人精品视频99在线观看免费| 日日操夜夜擼| 99热九九在线| 色婷婷六月激情| 五月丁香激情婷婷综合| 五月丁香婷婷深深爱| 狼人狠狠操| 97在线视频观看| 熟妇人妻中文字幕无码老熟妇| 少妇搡BBBB搡BBB搡毛茸茸| 九九九九九九九九九九九九九九九九九九九在线视频 | 1024在线视频| 大香蕉五月丁香| 99爱这里只有精品| 日日天天干| 色色五月天丁香| 99色天堂| 久久伦乱| 天色综合网站| 久久资源网五月婷| 色欲五月丁香| 婷婷丁香五月天婷婷| 欧美综合婷婷网| 夜夜骑夜夜撸| 99精彩视频| 大香蕉伊在| 天天射影| 午夜婷婷久久 | 婷婷四色成人综合色视| 开心激情站婷婷五月天| 日本狠狠色| 熟女乱论网| 五月丁香婷婷六月天| 亚洲天堂AV免费片| 日本啪啪网| 国外亚洲成AV人片在线观看| 久久婷婷国产| 欧美综合激情五月天| 综合久久综合久久| 超级久久久| 亚洲综合在线伊人婷| 五月丁香少妇网| 六月丁香激情最新更新| 激情五月婷| 久久亚洲无码| 色九网| 日韩一级A片黄色| 99热| 婷婷五月丁香基地在线视频官网| 日本三级中国三级99人妇网站| 欧美日韩91| 丁香五月大香蕉| 婷婷丁香五月综合| 99久久久久久| 久久精品在线| 丁香五月激情图片婷婷| 欧州色色| 久久综合中文| 丁香五月成人| 亚洲婷婷五月天| 亚洲色五月天| 五月婷婷干干干| 色99在线| ...婷婷五月综合不卡,国产在线手机| 99这里只有精品在线观看| 色色激情| 丁香五月欧美激情| 人人综合久| 五月天基地| 在线A色| 婷婷五月成人| 亚洲综合字幕色色| 国产 亚洲 在线| 综合爱久久| 丁香六月婷婷色XXXX| 婷婷丁香五月亚洲| 欧美日本综合网| 五月天婷婷色色网| 日韩美女羞羞网站在线观看| 五月婷婷说| 99热个人在线| 天天摸夜夜爽天天做| 日韩啊啊啊| 五月社区婷婷激情| www.99操.com| 人妻人人操| 凹凸探花电影| 欧美人与性动交CCOO| 日本99久久| 91干视频| 色五月丁香五月| 99在线观看视频| 久久9热| 免费视频99| 色黄啪啪| 天天操婷婷| 欧美婷婷丁香五月| 天天色99| 伊人激情啪啪| 成人国产欧美大片一区| 丁香成人综合| 久热99视频在线观看| 色爱终和网| 色五月天丁香婷婷| ri电影在线| 最新日韩久热免费视频看看| 99@久久@99精品视频| 丁香五月天激情婷婷丁香六月| 五月激情天| 99热这里只有免费精品| 色五月丁香91| 可以看的av网站| 噜噜狠狠色综合久| 五月激情啪啪啪| 丁香五月色欲| 如何安全看伊人婷婷| 九九偷拍网| 日本二级毛片二级毛片| 色婷婷六月天| 久热9| 五月丁香啪啪激情| 亚洲色婷婷激情| 超碰激情网| 超碰人人操人人9| 99热免费网站| 久碰久操| 五月天堂婷婷| 久久婷婷啪啪视频| 久久久.COM| 伊人久久大香线蕉综合网站| 91九色偷拍| 国产精品久久欧美久久一区| 天天色天天| 狠狠五月天| 噜噜网免费视频| 亚洲五月婷天天操| 成人欧美Va| 婷婷色啪| 成人色五月天| 亚洲超级碰| 欧美性色A片免费免费观看的| 四月婷婷丁香| 日本高清久久| 久久久9久| 超碰在线人人| 久热视频这里只有精品68| 六月婷婷综合网2| 日本一级特黄大片AAAAA级| 激情综合女人网五月播播| 九九99精品免费播放| 天天操中文字幕| 99r久久这里只有精品| 色色999三级片| 综合天天综合| 就要爱综合| 五月天婷婷一起草| 色婷婷丁香五月天激情综合网| 六月亚洲| 天天干天天日天天操| 久久久久网站| 超级碰人人操人人干| 深爱激情丁香| 婷婷五月天福利| 天天舔夜夜操www com| 亚洲一级AV在线免费播放| 国产精品成人AV在线观看春天| 性做久久久久久久免费看| 激情开心五月天| 99国产精品久久久久久久久久久| 五月天另类小说久久小说网| 98永久精品| 99ri在线观看视频| 婷婷综合网伊人| 久久这里有精品视频| 六月婷久久| 色99视频| 色色六月| 色综合色五月| 天天干天天操天天上| 噜噜久| 国产婷婷综合在线免费视频| 熟女强人妻一区二区三区四区无| 另类亚洲视频| 婷婷五月 丁香六月| 五月婷综合网| 337p大胆噜噜噜噜噜91Av| 99热官网| 五月婷精品| 五月婷视频| 五月丁香六月停停| 五月在在观看| www.99热最新视频8| 51XX午夜影福利| 超碰操日| .肏屄视频一区二区| 热久久这里只有精品| 成人丁香五月| 中文字幕av久久爽一区| 国产激情在线| 五月丁香天堂网| 婷婷激情五月天在线| 草AV9999| 婷婷开心综合人妻小说网址| 日本天天综合| 五月激情网五月综合网| 天天色五月| 五月开心激情| 午夜不卡久久精品无码免费| 中文字幕在线不卡| 激情婷婷啪啪| 精品一区二区三区三区| 色综合久久久久| 一起草av| 国产AV一区二区三区最新精品| 激情综合婷婷| 中字幕视频在线永久在线观看免费 | 日本99婷婷| 亚洲成人综合在线| 久久人操| 色五月婷婷自拍| 五月欧美色色五月| 日韩成人综合网| 狠狠爱婷婷| 丁香花五月天| 国产看真人毛片爱做A片| 成人一级片| 婷婷五月丁香基地| 久久久精品婷婷五月天| 天天日天天摸天天| 狠狠色综合网| 五月丁香婷中文| 狠狠五月天| 潘金莲AAAAAAAAAA| 丁香网五月网| 青青草国产亚洲精品久久| 色婷婷丁香网| 岛国av网站| 亚洲啪啪视频| 色色五月天丁香| 欧美性生交XXXXX无码小说| 婷婷大香蕉| 国产婷婷色综合AV蜜臀AV | 草草夜夜操| 亚洲成人网址在线观看| 黑人无码一区| 亚洲精品乱码久久久久久按摩观| 亚洲综合婷婷| 色欲一区二区三区精品A片| 5月丁香综合图区| 欧美六月婷婷| 久久久久9| 五月婷婷狠天天色综合| 激情五月深爱婷婷| 99A片| 丰满少妇乱A片无码| 在线sebiav精品视频| 91人人澡人人爽人人看| 五月丁香色婷婷伊人| 激情www.98com| 99热免| 综合久久久| 色综合五月天| 亚洲av综合网| 色色色综合色| sewuyue第四色| 99色一| 伊人五月综合网| 丁香九色不卡aaa| 九九热区一区二区三区| 婷婷色色色| 丝袜激情网| 伊人久久婷婷| 亚洲乱码日产精品BD| 天天爽综合| 国产三级在线播放| 噜噜在线| av在线超清中文| 少妇水多A片太爽了| 久久成人性爱| www.丁香五月| 狠狠色综合网| 婷婷五月综合社区| 无码人妻一区二区三区免费九色| 91精品在线看| 4438全国最大视频成人网站在线观看| 国产成人网址| 先锋资源91| 97日韩无套内| 99久久婷婷国产综合精品青桔| 欧美婷婷五月| 丰满人妻一区二区三区| 五月天堂六月丁香亚州中文字幕久久| 伊人丁香五月| 久久久99久久| 99精品综合在线| 五月天婷婷六月激情网| 俺去也婷婷| 97碰碰草| 插插干干干色| 四色五月婷婷| 青青草a在线| 综合久久综合五月天婷婷| 色播五月网| 婷婷丁香五月天综合在线日韩| 久久久这里有精品| 色五月婷婷五月久久| 人人草人| 久久99免费视频网站| 玖玖在线资源视频| 久久综合干| 九色PORNY在线精品酒店| 丁香六月激情综合网| 天天做天天爱天天摸| 图片区 小说区 区 亚洲五月| www.久久av.com| 99热思思久| 区啪精品| 日本视频不卡123区| 任你艹| 久久久久丁香婷婷五月天| 永久的网站AAAA | 操操国产| 欧美激情综合五月色丁香| 丁香婷婷六月激情文学| 一起肏在线视频| 七七婷婷综合| 色综合色综合网| 婷婷五月天av| 五月开心深爱激情网| 国内婷婷丁香社区在线播放| 97在线视频人妻九色| 一区=区操屄高清大全av| 色狠狠色噜噜AV天堂五区 | 天天肏天天插| 色婷婷六月性| 9久视频| 青青热视频| 国产这里只有精品| 欧美VA视频| 色五月五月天色婷婷色五月| 丁香五月婷婷天堂大香蕉| 久久色五月天| 日本久久人人| 国产精品电影| 深爱激情四射| 五月天激情美女久久| 碰碰人人人| 国产精品久久..4399| 婷婷欧美综合| 欧美狠狠一在草| 久久ww| 丁香五月骚喷水视频| 久久精品99国产精品日本| 五月丁香久久综合精品| av首页在线| 橾逼网| 极品另类| 五月婷六月| 色热久资源| 国产精品扒开腿做爽爽爽A片唱戏 亚洲爆乳无码精品AAA片蜜桃 | www.日日夜夜| 婷婷四色成人综合色视| 五月天狠狠网| 91 久热| 色你久久| 99久久喉9| WWW.国产| 91碰免费视频| 一级性爱大片| 五月丁香激情啪啪| 五月婷婷丁香深深爱| 婷婷九月激情| 婷婷天天综合| 99性爱精品| 色五月婷婷网| 色九月婷婷| 久草婷婷| 国产一级黄色影片,| 久久九⑨| 久久少妇视频| 99色在线视频| 久久精品一区二区三区四区| 久久婷婷成人综合色怡春院| 色99视频| www.seqingwuyuetian| 思思热这里只有精品| 婷婷色五月丁香六月欧美啪| 日日狠狠久久偷偷四色综合免费| 日日夜夜爽爽| 夜夜躁婷婷AV| 99精品国产在热久久| 超碰免费观看| 狠狠va| 狠狠狠狠狠狠草| 丁香花五月天激情| 欧美综合丁香网| 亚洲黄3级片网站欧美| 被强行糟蹋的女人A片| 99九九精品| 婷婷中文字幕| bukadeavzaixian| 成人免费120分钟啪啪| 五月综合视频| 婷婷五月天AV激情| 在线你懂的亚洲欧| 激情网 久久| 丁香色五月天| 一级性爱视频| 99热日韩这里只有精品| 草榴视频网| 97操碰98| 色婷五月天| 激情婷婷六月天| 无码人妻AV久久久一区二区三区 | 国产毛片精品一区二区色欲黄A片| 淫视馆av三区| 思思热99er在线视频| 五月天精品| 久热伊人| 婷婷五月天激情诱惑| Av狠狠色丁香婷| 国产精典视频在线观看| 人操人| 国产又粗又大又爽又黄| 99男人天堂| 丁香六月婷婷基地| 色婷婷影院| 玖玖综合色| 99熟女| 色五月中文字幕| 婷婷五月综合啪| 五月婷婷深深爱| 色天堂在线| 五月天天天色| 91在线人| 伊人9999| 国产毛片精品一区二区色欲黄A片| 五月婷婷色综图片| 色日本综合| 婷婷色资源| 综合在线丁香五月| AAA久久| 九玖视频这里只有精品| 亚洲天堂爱爱| 丁香六月婷| 婷婷五月天免费视频| 人妻丰满精品一区二区A片| 久久婷婷六月天| 色色色99| 99九九99九九九视频精彩| 79色色色色| www.99色在线| 射久久丁香五月| 无码AV免费精品一区二区三区| 久久婷五月| 五月丁香婷婷在线| 99操视频| 激情小说五月天| 色综合区| 色色综合网站| 婷婷的激情五月| 乱精品一区字幕二区| 夜夜谢天天干| www.狠狠| 无码成人AAAAA毛片AI换脸| 久99热| 91精品久久久久久77777| 婷婷综合激情| 五月天婷婷影院| 99热手机在线精品| www.天天干| 色综合五月| 六月丁香网| 国产成人精品一区二三区熟女在线| 大香蕉综合在线| 婷婷五月天激情四射| 五月激情小说| 99精品22| 99热8| 天天肏天天肏天天肏| 国产免费一区二区三州老师F1F1| 天天爽天天| 伊人婷婷五月天| 久久久久久人妻| 天天天天干| 五月天欧美激情| 日本人妻伦在线中文字幕| 岛国av网| 丁香五月 无码| 九九热黄色| 国产99精品免费视频| 久久机热探花| 96精品久久久久久久久| WWW、日本色丁香co m| 激情五月婷婷伊人| 天天天操天天天日| 狼人婷婷久久| 日日干日日| AV色色天堂中文| 丁香六月爱综合| 九月丁香婷婷综合激情| 日本高清久久| 久久婷婷综合五月趴| 91色在线| 免费看欧美成人A片无码| 五月精品免费XXX| 大香蕉大香蕉在线影院| 六月婷婷激情| 婷婷五月六月丁香| 日本99热| 韩国不卡AC视频| 五月婷婷熟女| 丁香六月激情网C0W| 99在线精品视频| 色伦专区97中文字幕| 99视频在线观看网址| sisi热国产| 1024你懂的欧美曰韩| 色婷婷香蕉| 激情五月网站| 狠狠爱婷婷爱| 日本女va| AV人人操| 9久热精品在线视频| 大香蕉75线| 婷婷色女| 色婷婷五月中文字幕在线dvd| www色色com| 91丨九色丨国产| 日韩成人中文字幕| 激情亚洲色图片丁香综合| 五月婷婷啪啪啪| 色色色色丁香| 另类图片天天影视在线观看| 丁香六月成人| 伊人99热| 激情综合网色五月| 婷婷色5月天在线。| 色色免费网站| 久久99激情五月天| 天天婷婷综合| 99精品久久久久久久婷婷| 波多婷婷久久| 五月亭亭六月色| 天天色天天操天天射| 激情性爱五月天网页| 97香蕉碰碰人妻国产欧美| 五月婷丁香亚洲| 九月色婷婷综合| 99啪啪网| 深爱激情九九五月天 | 久久ab| 婷婷激情五月天7| 婷婷丁香激情五月天色色| 9久久精品| 五月天激情网址| 日韩乱玛久久| 六月婷婷五月丁香| 久久天堂网| 99re这里| 狠狠ri| 97精品人人A片免费看| 婷婷社区五月天| 免费视频WWW在线观看网站| 无码人妻一区| 亚洲亚洲人成综合网络| 色狠狠五月天| 生活片五区| 国产免费av网站| 欧美日韩大黄| 五月丁香婷婷色| 五月丁香大香蕉| 99久久这里只有精品| yiqicaoav| 婷婷五月色丁香在线看| 五月激情综合网| 玖玖色综合网| AAA久久| 色五月首页| 亚洲激情AV| 久热久| 欧美大片免费播放器| 99热| 99re资源在线视频导航| 影音先锋男人av资源站| 九九99偷拍视频| 真实熟女-91九色| 五月黄色婷婷| 大香蕉狠狠爱主页| 91九色 婷婷| 天天爽在线视频| 丁香六月婷婷综合色| 色五月婷婷天天干| 色性五月天| 色五月婷婷亚洲| 色欲午夜无码久久久久久张津瑜 | 99狠狠| 久久色情| 丁香五月花| 香蕉久久五月| 99热碰碰| 夜夜躁狠狠 | 婷婷激情五月天视频在线| 五月丁香婷婷成人网| 婷婷色操| 99热在线观看| 色播激情婷婷| 99久久www| 婷婷热婷婷色| 综合五月丁香六月婷婷| 免费精品99| 亚洲精品99| 99视频在线9| 五月天社区婷婷丁香社区| 看全色黄大色大片| 丁香久色| 天天透天天爱| 日日色综合| 日曰躁夜夜躁2026| 伊人五月天日日夜夜久久久天天| 激情五月天网站| 色播婷婷五月天| 成人免费网站免费看| 色婷婷激情| 亚洲性爱干干| 丁香六月婷婷色XXXX| 性爱综合网| 五月天色婷婷伊人网| 大香久久伊人网| 99热精品观看| 丁香五月天偷拍| 男同91| 天天爽天天做| 九九九九国产| 精品夜夜澡人妻无码AV| 婷婷五月天免费| 超碰国产av| 婷婷综合网| 婷婷六月久久| 丁香五月色网| 丁香六月婷婷综合| 99日这里只有精品| 97色色婷婷| 丁香五月欧美婷婷综合| 婷婷丁香小说| xxxx五月| 五月天丁香啪啪啪啪| 影音先锋一区| 婷婷五月丁香综合| 啪啪五月婷婷| 久久6这里只有精品| 久久精品9| 九九XX视频| 99re在线观看| 99热这里只有精品免费| 99天堂在线观看免费视频| 久久久久妻| 日日夜夜狠狠操| 5月丁香婷婷| 日韩久综合| 九九热最新| nvrentiantang av| 九九精品这里只有| 玩熟女五十AV一二三区| 99久久久久久| 五月丁香六月婷婷在线播放| 激情五月色综合网| 影音先锋女人AA鲁色资源| 玖玖婷婷五月天| 五月婷婷co.m| 日本视频99| 久久人妻少妇嫩草AV| www.yw尤物| 丁香五月婷婷色偷偷| 丁香六月婷婷激情综合| 丁乡久久| 欧美五月停| 超碰成人免费| 婷婷五月色惰| 五月婷婷六月基地| 婷婷色亚洲| 色色色色色五月丁香| 综合色色五月| 久久99热这里只有精品| 丁香激情五月天| 日日夜夜噜噜爽爽| 婷婷综合五月| 99在线视频资源| 天天肏天天舔AV| www色五月| 久婷| 精品五月天| 婷婷五月中文字幕国产| 婷婷丁香射射| www.97碰碰com| 任你搞在线观看视频| 青青草视频免费观看| 97精品欧美91久久久久久久| 色五婷婷开心缴| 五月天伊人日日噜影片AV| 激情五月婷婷| 久久99婷婷| 国产4P视频精品五区| 国产精品国产成人国产三级| 久久怕怕视频| 五月色婷婷影院| 182TV大香蕉| 丁香六月久| 久久久99精品| 婷婷成人小说综合| 思思久热6| 成功精品影院| 久/久精品99看9| A久久| 五月色丁香婷婷中文字幕| 日韩AV免费| 九九热免费视频| 91操网| 亚洲乱码日产精品BD| 五月婷婷久| 欧美日韩成人在线网| 久久久久久人妻| 婷婷色播综合五月| 欧美婷婷丁香五月| 噜噜干日本| 国产裸舞福利资源在线视频| 91狼友视频在线观看| 涩五月婷婷| 99色在线| 九九精品丁香花| 啪啪黄页网| 成人AV在线网站| 变天就操逼婷婷五月| 玖玖爱资源站| www.五月婷婷久久.com| 色月丁| 日本三级中国三级99| 爱草视频在线| 91精品视频男人的天堂| 99色色| 在线1青婷| 久久婷婷五月天懂色| 97人碰人操| 激情五月天啪啪| 青青草搞屄视频网站| 啪啪啪丁香五月| 97碰| 日日操天天| 五月色网| 久久无码成人| 日日杆天天| 狠狠操婷婷| 色婷婷综合影院| 亚洲精品国产setv| 久久综合五月天| 免费观看的av| 婷婷五月天A V| 丁香色五月AV在线| 丁香五月AV| 91超碰人人操| 26uuu欧美亚洲日韩| 性天天中文网| 五月综合丁香婷婷| www.婷婷五月| 人人摸人人干| 色婷婷丁香五月| 国产精品久久久99视频| 看全色黄大色大片| 激情操逼婷婷| 激情丁香六月| 婷婷五月天无码| 成人欧美一区二区三区在线观看 | 男人天堂亚洲综合| 日日操夜夜操狠狠操| 色五月天本日| 人人综合久| 亚洲乱码日产精品BD| 九九视频在线观看视频在线播放69| 第四色网婷婷| 亚洲 精品 综合 精品| 99热色在线精品| 网色99| 99久久国产宗和精品1上映| 亚洲AV成人在线观看| 久久超级碰碰| 深爱女色婷婷丁香五月亚洲图区| http://www.sd-xiangsu.com/| 五月天丁香综合久久国产| 99精品在线观看| 玖玖激情网| 国产欧美日韩性爱| 婷婷色狠狠| 色5月婷婷| 91/九色黑人| 天天色播| 丁香五月婷婷色| 婷婷久久图片| 婷婷国产综合| 丁香五月手机在线| 亚洲色综合| 中文字幕性爱视频| 激情的五月婷婷蜜桃| 99操逼| 99热网站| 热996精品在线观看| 99热在线免费观看精品| 婷婷五月天六月丁香| 婷婷五月激情五月激情| 丁香五月色色婷| 99热国品免费| 激情中文在线| 久久五月天激情| 国产69精品久久久久999小说| 五月丁香六月成人| 天天五月情| 亚洲热热视频| 五月天激情久久| 婷婷射综合| 色丁香五月天| 色综合五月天| 超碰在线国产| 无码免费人妻A片AAA毛片西瓜| 黑人糟蹋人妻HD中文字幕| 久久永久视频| www久久久久久久久久久| 97色在线视频| 99精品热| 久久性爱网| 99爱这里只有精品| 九九无码| 久色大香蕉| 五月青青草综合| 五月综合无码| 婷婷丁香五月激情密臀av| 免费AV黄在线播放| 亚洲啪啪啪啪| 色综合色婷色基地| 在热视频精品| 天天做天天爱| 大香蕉啪啪| 超碰在线中文字幕| 色情综合| 99精品免费| 久九男女天堂| 婷婷色色综合| 亚洲综合另类| 天天情天天狠天天透| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 成人五月天色天堂| 五月婷婷基地| www.99热在线| 色婷婷丁香A片区毛片区女人区| 懂色av粉嫩av蜜臀av| www91在线| 丁香五月天AV在线| 色五月丁香伊人| 99视频网| 精品五月花| 五月婷婷综合色啪首页| 国产精品涩涩涩视频网站| 久久99这里只有精品| 丁香激情五月| 97色色综合| 国产激情综合五月久久| 久人人操| 丁香五月婷婷激情蜜桃| 丁香五月婷婷高清| 欧美久久婷婷| 97婷婷久久丁香| 99日精品视频| 欧美在线视频免费播放| 婷婷精品综合| 国产婷婷五月| 婷婷天天日婷婷| 五月天婷婷狠狠| 天天插综合网| 久久婷婷丁香| 久久五月天色婷婷| 亚洲AV人人操| YJLZZJLZZ亚洲乱熟无码| 影音先锋噜一噜| 欧洲亚洲免费视频9 | 97久久综合网| 噜噜色com| 久久色吧| 9l视频自拍9l九色9l成人| 久久99激情| 色色色图| 深爱女色婷婷丁香五月亚洲图区| 99热在线观看| wwccc久久久| 91在线人| 五月综合婷婷五月| 五月婷六月| 亚洲九区| 久久视频婷婷视频| 99国产在线精品视频| 五月天精品综合| 丁香伊人五月色婷婷五十路| 操日视频| 91chinese在线| 青草青草视频2免费观看| 最新亚洲色色网| 2021日韩无码| 啪啪色区| 四虎成人精品永久免费AV九九| 怡红院视频| 婷婷丁香水多多视频| 丁香五月婷婷国产av| 九九热免费视频| 色婷婷综合久久久久| 欧美韩国日本| 激情网婷婷婷| 婷婷欧美激情综合| 丁香九月婷婷| 五月天婷婷黄色| 婷香狠狠爱五月| 五月婷婷AV| 婷婷五月天激情偷拍| 五月婷视频在线观看| www.五月天婷婷| 亚洲avjiujiur91| 九九热这里只有精品9| 婷婷五月综激情| 99热99在线| 天天插天天很| 99久精品视频| 五月婷婷偷拍| 九月婷婷久久| 久操人妻| 婷婷久久五月| 91九色在线视频|