欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Redis集群三主三從一鍵部署與故障轉(zhuǎn)移排錯

Redis集群三主三從一鍵部署與故障轉(zhuǎn)移排錯 簡介一份面向 CentOS 7.x 環(huán)境搭建 Redis 集群的自動化部署腳本包服務(wù)于需要快速驗證集群方案的運維與后端開發(fā)者把主從復(fù)制、16384 個槽位分配、故障轉(zhuǎn)移等集群要點固化為可一鍵執(zhí)行的流程免去逐臺手工編譯與配置的重復(fù)勞動。壓縮包共 5 個文件、約 1.86MB以 3 個 sh 腳本為主體分別承擔主流程調(diào)度、Redis 安裝配置與集群卸載清理另含 redis-5.0.0.tar.gz 源碼包和一份 txt 使用說明覆蓋從解壓編譯到集群成型的完整環(huán)節(jié)已有 777 人學習。按說明修改 IP 與端口變量后依次執(zhí)行即可完成依賴安裝、編譯、節(jié)點配置與集群創(chuàng)建卸載腳本便于回收實例與殘留配置腳本中的變量定義、條件判斷與循環(huán)結(jié)構(gòu)也可作為編寫同類自動化部署腳本的參考。對初次接觸集群部署的讀者還可借此理解節(jié)點角色劃分與槽位分配在真實環(huán)境中的含義并沿著腳本順序梳理常見故障的排查方向。1. 手工搭三主三從熬到凌晨這份 Redis 集群一鍵部署腳本省掉的四件事三臺 CentOS 機器、六個 Redis 實例我第一次手工搭集群從下午兩點折騰到凌晨配置文件手改六遍meet 完節(jié)點卡在 handshake最后發(fā)現(xiàn)是 17000 端口沒放行。后來拿到這份 redis 集群一鍵自動部署腳本.rar真正省事的不是redis-cli --cluster create那一行而是它前面那堆重復(fù)勞動——批量生成 conf、按順序拉起實例、把客戶端端口和集群總線端口一起放通、創(chuàng)建完再跑一遍 check 把狀態(tài)確認下來。這套東西是 shell 寫的貼著 CentOS 的 systemctl、firewalld、sysctl 走沒有額外運行時依賴幾百行讀一遍就能按自己的機器改。它適合三類人手上只有兩三臺測試機、需要反復(fù)重建集群做課程設(shè)計或壓測的線上出過槽位故障、想在預(yù)發(fā)環(huán)境原樣復(fù)現(xiàn)的以及剛接觸 Redis Cluster、想先跑通再回頭補原理的。下面從機制講到執(zhí)行鏈路再講翻車點。2. 槽位、總線與選舉一鍵腳本必須替你做對的四個集群機制腳本只做「生成配置、拉進程、建集群」三件事但每一件背后都壓著 Redis Cluster 的運行時規(guī)則。不理解這四條腳本跑掛了連日志該往哪看都不知道。反過來理解了這四條腳本里那些看起來多余的 sleep、循環(huán)和判斷你就知道它在防什么。2.1 16384 個槽位怎么分腳本為什么默認給三主Redis Cluster 把整個鍵空間切成 16384 個槽key 落到哪個槽由CRC16(key) mod 16384決定槽再歸某個主節(jié)點管??蛻舳四玫?MOVED 重定向后自己緩存槽位表所以集群的核心不是「數(shù)據(jù)分片存儲」這件事本身而是「槽位歸屬必須全集群一致」。任何一個槽沒有主人集群在cluster-require-full-coverage yes默認值下會直接拒絕所有寫請求。一鍵腳本之所以默認三主三從不是審美選擇是硬約束--cluster-replicas 1要求主節(jié)點數(shù)至少 3因為故障轉(zhuǎn)移要靠主節(jié)點多數(shù)派投票兩個主節(jié)點掛一個就湊不出多數(shù)。三主是最小可用拓撲腳本里如果寫成「節(jié)點數(shù) / 2」來算主節(jié)點數(shù)節(jié)點少于 6 個時就會算出 2 主create 階段直接報*** ERROR: Invalid configuration for cluster creation。槽位分配默認是均分再取余16384 / 3 5461、5461、5462第三個主節(jié)點多拿 2 個槽。這個數(shù)字在很多巡檢腳本里被寫死成5461做斷言一旦集群做過 reshard 就會誤報。我的做法是只看cluster info里的cluster_slots_assigned:16384不校驗單節(jié)點槽數(shù)。另外要記住集群模式只支持 db 0配置里寫databases 16不會報錯但SELECT命令會被拒絕返回ERR SELECT is not allowed in cluster mode。涉及多 key 的操作必須落在同一個槽用 hash tag 把 key 的一部分用{}包起來比如user:{1001}:name和user:{1001}:age會被強制分到同一槽這是設(shè)計鍵名時就要定下來的事不是部署階段能補救的。2.2 cluster bus 與握手meet 之后到底發(fā)生了什么每個集群節(jié)點會額外監(jiān)聽一個「客戶端端口 10000」的總線端口7000 對應(yīng) 17000。節(jié)點之間交換 gossip 消息、投票、傳播槽位表都走這個端口用的是二進制協(xié)議和客戶端協(xié)議不是一回事。手工搭集群最常見的卡點就在這里6379 能 telnet 通17000 不通cluster nodes里對方節(jié)點永遠是handshake狀態(tài)日志里反復(fù)刷Unable to connect to MASTER。握手的完整鏈路是腳本對 A 節(jié)點執(zhí)行CLUSTER MEET B_IP B_PORTA 通過總線端口連 B交換節(jié)點信息B 再把 A 的信息 gossip 給已知節(jié)點。所以只要有一個節(jié)點的總線端口不通整個集群就可能分裂成兩個互不可見的孤島而cluster_state在每個孤島內(nèi)部都顯示 ok。這就是為什么腳本里的防火墻規(guī)則必須成對出現(xiàn)客戶端端口段和總線端口段一起放少寫一行就是幾小時的排查。還有個容易被忽略的點節(jié)點的 node id 存在cluster-config-file指定的文件里默認叫nodes.conf。這個文件是 Redis 自己維護的腳本絕對不能刪、不能提前創(chuàng)建、不能手改。刪掉它的后果是節(jié)點重啟后生成新 id其他節(jié)點還拿著舊 id 做 gossip集群視圖徹底錯亂。我在腳本里見過用rm -rf $DATA_DIR/*做「清理重來」的寫法看著干凈實際上把 nodes.conf 一起干掉了第二次執(zhí)行必翻車。2.3 主從復(fù)制與自動故障轉(zhuǎn)移的判定鏈路從節(jié)點默認每秒向主節(jié)點發(fā)REPLCONF ACK主節(jié)點把復(fù)制偏移量記在內(nèi)存里。某個主節(jié)點失聯(lián)后其余主節(jié)點在cluster-node-timeout默認 15000 毫秒之后把它標記為fail然后由持有該主節(jié)點槽位的從節(jié)點發(fā)起選舉拿到多數(shù)主節(jié)點投票后提升為主接管槽位。整個過程腳本管不了但腳本里的兩個參數(shù)直接決定它能不能成。一個參數(shù)是cluster-node-timeout。設(shè)太小網(wǎng)絡(luò)抖一下就觸發(fā)主從切換切完數(shù)據(jù)還沒同步完又切回來設(shè)太大真掛了要等半分鐘以上才恢復(fù)。生產(chǎn)上給 15000 到 30000 之間比較穩(wěn)測試機可以給 5000 加快演練節(jié)奏。另一個是cluster-replica-validity-factor默認 10從節(jié)點斷線時間超過node-timeout × factor就失去競選資格這是防止用一份過期數(shù)據(jù)頂上去的保護。把它設(shè)成 0 表示不管斷多久都能選只在「寧可丟數(shù)據(jù)也要保可用」的場景下才這么干。從節(jié)點能不能被選中還要看它的復(fù)制偏移量和主節(jié)點差多少。如果腳本為了讓啟動快把repl-diskless-sync之類的東西亂調(diào)或者從節(jié)點剛起來還沒完成全量同步就被拉進集群選舉時它的 offset 落后太多同樣會被其他主節(jié)點拒絕。所以腳本里「拉起實例」和「cluster create」之間應(yīng)該留幾秒讓復(fù)制鏈路建立這個 sleep 不是玄學是在等master_link_status:up。2.4 節(jié)點順序與副本錯位腳本里最容易寫錯的一段邏輯redis-cli --cluster create的節(jié)點列表順序是有語義的前 N 個被當作主節(jié)點后面按順序分配給它們做從節(jié)點。如果參數(shù)寫成--cluster-replicas 1列表是A B C D E F那 A B C 是主D E F 依次是 A B C 的從。但這個「依次」是按主機和端口的排列算的腳本如果用兩層 for 循環(huán)先生成所有 7000 端口再生成所有 7001 端口最終可能出現(xiàn)三個主節(jié)點全在同一臺物理機上另一臺機器上的三個從節(jié)點全在等它掛——機器一斷電集群直接沒了一半。正確的做法是按機器交錯排列每臺機器出兩個實例列表寫成A:7000 A:7001 B:7000 B:7001 C:7000 C:7001這樣主節(jié)點天然分散在三臺機器上從節(jié)點也落在不同的物理機。腳本里如果做了「按 IP 分組再拼接」的處理讀的時候要確認它是交錯而不是分段。這一點在驗收時可以用redis-cli --cluster check輸出的主從對應(yīng)關(guān)系直接看出來從節(jié)點和它的主節(jié)點在同一臺機器上就是錯位了。還有一種錯位是端口和目錄沒對上。同一個 IP 上跑 7000 和 7001 兩個實例配置里的dir必須是兩個不同目錄logfile、pidfile、dbfilename也都得帶端口后綴。腳本如果只替換了port而沒替換dir兩個實例會往同一個 dump 文件里寫AOF 也會互相覆蓋癥狀是集群能建起來但一重啟數(shù)據(jù)就亂。3. 解包看結(jié)構(gòu)CentOS 上的目錄、系統(tǒng)參數(shù)與端口三件套拿到 rar 之后第一件事不是急著bash deploy.sh而是先看清包里有什么、它假設(shè)你的機器處于什么狀態(tài)。這類腳本的失敗八成不是腳本邏輯錯而是它默認的前置條件在你的機器上不成立。3.1 壓縮包里的文件各管什么rar 在 CentOS 上默認解不開需要先裝unrar很多最小化安裝的鏡像里沒有這個包得先配好軟件源再裝。解出來的目錄結(jié)構(gòu)各家寫法不同但職責基本是固定的幾類讀之前先按下面這張表對一遍缺哪個文件就知道腳本會缺哪一步文件/目錄典型職責缺了會怎樣deploy.sh主入口串起檢查、生成、啟動、建集群無法一鍵執(zhí)行redis.conf.tpl配置模板用變量占位端口、目錄、密碼生成的配置全是默認值nodes.list/hosts.conf節(jié)點 IP 與端口清單腳本不知道往哪幾臺機器鋪start_all.sh/stop_all.sh批量拉起與停止實例只能手工 ps 后 killcheck_cluster.sh建完集群后的狀態(tài)校驗出問題沒有統(tǒng)一出口redis-*.tar.gz源碼包或二進制包需要自己準備同版本安裝包README端口、密碼、目錄約定參數(shù)只能靠讀腳本猜讀腳本時優(yōu)先確認三件事REDIS_HOME裝在哪、DATA_DIR數(shù)據(jù)落在哪、密碼是寫死在腳本里還是從外部傳入。寫死密碼的腳本在多人共用的測試環(huán)境里很常見改的時候記得同步改requirepass和masterauth兩處只改一處集群建不起來。3.2 CentOS 7/8 必須先改的四個內(nèi)核與資源項Redis 在集群模式下對系統(tǒng)資源更敏感因為多了總線連接和節(jié)點間心跳。以下四項如果腳本里沒做建議在執(zhí)行前手工補上用sysctl落成配置文件比sysctl -w臨時改可靠重啟不丟# /etc/sysctl.d/99-redis-cluster.conf # 允許內(nèi)存過量提交否則 fork 做 RDB 落盤時可能直接失敗 vm.overcommit_memory 1 # 監(jiān)聽隊列長度低于 511 時高并發(fā)下會出現(xiàn)連接被丟棄 net.core.somaxconn 1024 # 盡量不使用 swap避免節(jié)點間心跳因換頁抖動而超時 vm.swappiness 1 # 關(guān)閉透明大頁THP 會造成 Redis 的 fork 延遲 spikes echo never /sys/kernel/mm/transparent_hugepage/enabled echo never /sys/kernel/mm/transparent_hugepage/defrag sysctl --systemvm.overcommit_memory這一項是最容易被忽略的日志里表現(xiàn)為Background save is starting之后跟一條fork: Cannot allocate memory進程直接沒了而這臺機器內(nèi)存看起來還很空閑。原因不是內(nèi)存不夠是內(nèi)核在 fork 時按 overcommit 策略拒絕了地址空間申請。somaxconn則對應(yīng)TCP: request_sock_TCP: Possible SYN flooding這類告警連接數(shù)一上來就丟包。文件描述符也得提。Redis 默認建議ulimit -n不低于 10032systemd 拉起的服務(wù)要在 unit 文件里寫LimitNOFILE10032光改/etc/security/limits.conf對 systemd 服務(wù)不生效這是 CentOS 7 之后非常常見的坑。腳本如果用redis-server xxx.conf 的方式啟動繼承的是當前 shell 的限制換個終端執(zhí)行結(jié)果就不一樣我一般讓腳本顯式ulimit -n 10032再拉進程。3.3 端口放行7000-7005 只是其中一半六個實例用 7000 到 7005客戶端連這些端口沒問題但節(jié)點之間要走 17000 到 17005只放前半段的表現(xiàn)是cluster nodes里其他節(jié)點一直是handshake或者已經(jīng)connected但cluster_state:fail日志刷Cluster bus: connection refused。firewalld 的寫法是一次把兩段都加上# 客戶端端口段 firewall-cmd --permanent --add-port7000-7005/tcp # 集群總線端口段 客戶端端口 10000 firewall-cmd --permanent --add-port17000-17005/tcp firewall-cmd --reload firewall-cmd --list-ports如果機器在云上安全組是另一道門firewall-cmd --list-ports有輸出不代表外部能進來。驗證方式是換一臺機器用telnet 目標IP 17000或者nc -zv 目標IP 17000試本地ss -lntp | grep 1700看到監(jiān)聽只說明本機進程起來了跟網(wǎng)絡(luò)可達是兩件事。還有個細節(jié)如果同一臺機器上跑多個實例bind建議寫內(nèi)網(wǎng) IP 而不是0.0.0.0同時把protected-mode關(guān)掉集群模式和多節(jié)點訪問下通常要關(guān)并且顯式設(shè)置cluster-announce-ip為內(nèi)網(wǎng)地址。多網(wǎng)卡機器上不設(shè)這一項節(jié)點會把自己廣播成 127.0.0.1 或者某塊業(yè)務(wù)網(wǎng)卡的地址其他節(jié)點按這個地址連總線端口永遠連不上。4. 從零跑一遍配置生成、實例拉起、cluster create 的完整鏈路這一章按執(zhí)行順序走一遍每一步給出關(guān)鍵命令和需要核對的輸出。腳本再自動這四步的中間產(chǎn)物你都應(yīng)該知道長什么樣否則出問題只能干等。4.1 生成六份 redis.conf用循環(huán)替掉手改配置模板的核心是集群相關(guān)的那幾行端口、目錄、密碼用變量替換。手寫六份的失敗率遠高于想象一份漏了cluster-enabled yescreate 階段就報Node xxx is not configured as a cluster node。用循環(huán)生成模板只維護一份#!/usr/bin/env bash set -euo pipefail BASE_PORT7000 DATA_ROOT/data/redis-cluster NODES(10.0.0.11 10.0.0.12 10.0.0.13) PASSWORDChangeMe_2024 for ip in ${NODES[]}; do for idx in 0 1; do port$((BASE_PORT idx)) dir${DATA_ROOT}/${port} mkdir -p ${dir} cat ${dir}/redis.conf EOF port ${port} bind ${ip} protected-mode no daemonize yes pidfile ${dir}/redis.pid logfile ${dir}/redis.log dir ${dir} dbfilename dump-${port}.rdb appendonly yes appendfilename appendonly-${port}.aof # 集群三件套開關(guān)、節(jié)點狀態(tài)文件、失聯(lián)判定毫秒數(shù) cluster-enabled yes cluster-config-file nodes-${port}.conf cluster-node-timeout 15000 cluster-announce-ip ${ip} cluster-announce-port ${port} cluster-announce-bus-port $((port 10000)) # 密碼必須兩處一致否則從節(jié)點同步和集群創(chuàng)建都會失敗 requirepass ${PASSWORD} masterauth ${PASSWORD} EOF done done幾個參數(shù)值得單獨說。cluster-config-file帶上端口后綴避免同機多實例互相覆蓋這個文件由 Redis 維護腳本只負責給路徑。cluster-announce-ip顯式寫成當前機器的內(nèi)網(wǎng) IP多網(wǎng)卡環(huán)境下這是唯一可靠的廣播地址來源。appendonly yes在集群里建議打開從節(jié)點提升為主后如果只有 RDB最后一個 RDB 之后的數(shù)據(jù)就丟了。daemonize yes讓實例后臺跑腳本里要跟一個循環(huán)等待端口就緒不能生成完就立刻建集群。路徑權(quán)限也要順手檢查${dir}必須對運行 Redis 的用戶可寫用 root 生成目錄、用 redis 用戶起進程是常見組合權(quán)限沒給對的表現(xiàn)是啟動即退出日志里一行Cant open the append-only file: Permission denied。4.2 拉起實例并確認端口真的在監(jiān)聽啟動之后不要相信daemonize的返回值它只表示 fork 成功不表示配置正確。判斷標準是端口在監(jiān)聽且PING有回應(yīng)這一步放在腳本里就是一個帶超時的輪詢#!/usr/bin/env bash # 逐臺啟動并按端口探活超過 30 秒未就緒就打印日志尾巴退出 for ip in 10.0.0.11 10.0.0.12 10.0.0.13; do for port in 7000 7001; do ssh ${ip} redis-server ${DATA_ROOT}/${port}/redis.conf for i in $(seq 1 30); do if redis-cli -h ${ip} -p ${port} -a ChangeMe_2024 --no-auth-warning ping 2/dev/null | grep -q PONG; then echo OK ${ip}:${port} break fi sleep 1 done redis-cli -h ${ip} -p ${port} -a ChangeMe_2024 --no-auth-warning ping \ | grep -q PONG || { tail -n 30 ${DATA_ROOT}/${port}/redis.log; exit 1; } done done這里用--no-auth-warning只是避免密碼提示刷屏腳本里不要把密碼明文寫進 history正式環(huán)境建議用REDISCLI_AUTH環(huán)境變量傳。探活只看PING還不夠集群模式下要再確認cluster-enabled:yes和cluster_state的初始值剛啟動的節(jié)點應(yīng)該是cluster_state:fail、cluster_known_nodes:1這屬于正常狀態(tài)說明它以單節(jié)點身份起來了等著被 meet。如果某個端口一直起不來先看日志最后 30 行再看ss -lntp | grep 端口有沒有別的進程占著。測試機上經(jīng)常出現(xiàn)上一次的實例沒殺干凈pidfile 殘留導致新進程以為自己在跑daemonize yes下這種問題特別隱蔽。4.3 cluster create 的節(jié)點順序與副本分配六個節(jié)點都活了之后才能建集群節(jié)點列表按「主機交錯、主節(jié)點在前」的順序排。Redis 5 之后--cluster子命令是內(nèi)建的不需要額外裝 ruby 的 redis-tribredis-cli --cluster create \ 10.0.0.11:7000 10.0.0.12:7000 10.0.0.13:7000 \ 10.0.0.11:7001 10.0.0.12:7001 10.0.0.13:7001 \ --cluster-replicas 1 \ -a ChangeMe_2024 --cluster-yes前三個是主節(jié)點后三個按順序做它們的從節(jié)點所以 7001 的三個實例分別跟著三個 7000 主節(jié)點且從節(jié)點都不在同一個 IP 上——這就是 2.4 里說的交錯排列。--cluster-yes跳過多余的交互確認腳本里必須加否則會卡在Can I set the above configuration? (type yes to accept)等人輸入。-a在帶密碼集群里要給且必須和配置里的requirepass一致。執(zhí)行過程中會看到每個主節(jié)點分到5461/5461/5462個槽接著是Waiting for the cluster to join這一步耗時取決于總線端口是否通。如果卡在這里超過一分鐘別等直接去另一臺機器上看telnet 目標IP 17000是否可達九成是端口或cluster-announce-ip的問題。4.4 用 cluster check 把狀態(tài)釘死創(chuàng)建命令返回成功不代表集群健康必須再跑一遍 check它會逐個節(jié)點連過去核對槽位覆蓋和主從關(guān)系redis-cli --cluster check 10.0.0.11:7000 -a ChangeMe_2024 # 關(guān)鍵看三行 # [OK] All 16384 slots covered. # 每個 master 下列出的 slots 區(qū)間與 replica 數(shù)量 # [OK] All nodes agree about slots configuration.All nodes agree about slots configuration這句是核心它表示各節(jié)點的槽位視圖已經(jīng)收斂一致。如果這里報Different slots configuration說明有節(jié)點的信息還沒 gossip 到等幾秒重跑如果一直不一致檢查是不是有節(jié)點被 meet 過兩次、在集群里留了重復(fù)條目。驗收時我會把 check 的輸出存一份到日志目錄后面擴容、遷移、重啟都可以拿來對比。5. 避坑與排查cluster_state:ok 之后仍然會翻車的五個場景集群建起來、狀態(tài) ok只說明拓撲成立不代表業(yè)務(wù)能用。下面五個是我和同事在不同機器上真實踩過的癥狀看起來都不像集群問題根因全在配置和端口上。5.1 客戶端一直報 MOVED狀態(tài)卻是 ok現(xiàn)象應(yīng)用連上 7000 寫一個 key報MOVED 12345 10.0.0.12:7000程序里沒做重定向處理直接拋異常。集群側(cè)CLUSTER INFO顯示一切正常。原因客戶端沒開集群模式把 Redis 當成單機在用。MOVED 不是錯誤是告訴客戶端這個槽在別的節(jié)點集群感知客戶端會自動跟隨并緩存槽位表單機客戶端則把重定向當異常拋出來。另一種變體是連的是代理或 VIP請求被固定轉(zhuǎn)發(fā)到某一臺槽位表永遠變不過來。解決換成客戶端庫的集群模式初始化方式連接時給出全部種子節(jié)點而不是一個 VIP。如果確實只能給單地址必須在中間層做槽位感知轉(zhuǎn)發(fā)不能做四層負載均衡——四層會把同一個連接的所有請求固定到同一節(jié)點跨槽訪問必然失敗。5.2 節(jié)點卡在 handshake 半天不動現(xiàn)象cluster nodes里某個節(jié)點狀態(tài)是handshakecluster info的cluster_known_nodes比實際節(jié)點數(shù)少日志反復(fù)刷Unable to connect to node。原因總線端口不通或者節(jié)點廣播的地址是 127.0.0.1、某塊業(yè)務(wù)網(wǎng)卡地址。前者是防火墻只放了 7000 段后者是多網(wǎng)卡機器沒設(shè)cluster-announce-ip節(jié)點按默認網(wǎng)卡地址互相通告對方連過去自然不通。解決把總線端口段補進防火墻和安全組cluster-announce-ip顯式寫內(nèi)網(wǎng) IP 后重啟實例。已經(jīng)進過集群的錯誤節(jié)點不能直接改配置重啟要先CLUSTER RESET HARD清掉它的節(jié)點狀態(tài)再重新CLUSTER MEET否則舊地址會一直留在其他節(jié)點的視圖里。5.3 重啟之后集群整體 fail現(xiàn)象三臺機器重啟實例都起來了cluster_state:failcluster_slots_assigned遠小于 16384部分主節(jié)點顯示fail?。原因腳本的清理邏輯把nodes-*.conf刪了節(jié)點重新生成 id全集群不認它或者數(shù)據(jù)目錄權(quán)限變了節(jié)點讀不到原狀態(tài)文件只能當新節(jié)點啟動還有一種是從節(jié)點比主節(jié)點先起來且主節(jié)點長時間未就緒從節(jié)點把自己降級成孤立狀態(tài)。解決nodes.conf絕對不刪。重啟順序先主后從腳本里加等待邏輯確認所有主節(jié)點cluster_state恢復(fù)到 ok 再拉起從節(jié)點。真出現(xiàn)了 id 變更只能在剩下節(jié)點里用CLUSTER FORGET把舊條目錄掉再把故障節(jié)點以干凈狀態(tài)重新加回并遷移槽位這個操作要停機窗口。5.4 帶密碼的集群創(chuàng)建直接失敗現(xiàn)象redis-cli --cluster create輸出Node xxx replied with error: NOAUTH Authentication required或者從節(jié)點一直master_link_status:down。原因requirepass配了masterauth沒配或者值不一樣。requirepass管客戶端連它masterauth管它連主節(jié)點時用什么密碼集群里兩個方向都要通只配一處就是半通狀態(tài)。解決兩處寫成同一個值redis-cli --cluster相關(guān)命令帶-a或用REDISCLI_AUTH。改配置要六個節(jié)點全改一遍再重啟改完先用redis-cli -a 密碼 info replication確認從節(jié)點master_link_status:up再跑--cluster check。5.5 擴容加節(jié)點后槽位覆蓋不全現(xiàn)象新加兩個節(jié)點、遷移了部分槽過去--cluster check報Not all 16384 slots are covered但每個節(jié)點單獨看都正常。原因遷移過程中斷或者用了手工CLUSTER SETSLOT但漏了IMPORTING/MIGRATING兩步的收尾源節(jié)點把槽標成遷移中目標節(jié)點沒接管這個槽就懸空了。cluster-require-full-coverage yes下整個集群拒寫。解決用redis-cli --cluster reshard走完整流程不要手工拼SETSLOT。已經(jīng)懸空的槽用CLUSTER SETSLOT slot NODE node-id在相關(guān)節(jié)點上逐一修正修完跑 check 確認All 16384 slots covered。注意以上所有涉及CLUSTER RESET、FORGET、SETSLOT的操作都有數(shù)據(jù)丟失風險先在測試環(huán)境完整走一遍再上預(yù)發(fā)。6. 把一鍵腳本用成可維護工具故障演練與巡檢的固定動作腳本能建集群只是起點。真正決定這套東西能不能長期用的是你能不能在一次執(zhí)行之后回答兩個問題故障切換要多久、下次重建要改哪幾行。我給自己的固定動作是每次部署完做一次小型故障演練把切換時間記進部署記錄后面遇到「集群是不是變慢了」這類問題時至少有基線可比。演練很簡單找到某個主節(jié)點kill -9掉它的進程然后每兩秒查一次cluster info里的cluster_state和cluster_slots_assigned同時用redis-cli -c往這個主節(jié)點負責的槽寫 key看多久恢復(fù)寫入。默認cluster-node-timeout 15000下30 秒內(nèi)完成切換屬于正常超過 45 秒就要檢查是不是只有兩個主節(jié)點、投票湊不齊多數(shù)。演練完把殺掉的實例重新拉起它會以從節(jié)點身份回歸用redis-cli --cluster check確認主從關(guān)系復(fù)原。巡檢我習慣寫成一個小循環(huán)把每個節(jié)點的關(guān)鍵指標拉成一行肉眼掃一遍就知道有沒有異常#!/usr/bin/env bash # 逐節(jié)點采集關(guān)鍵狀態(tài)輸出一行一個實例便于 diff 和歸檔 PASSChangeMe_2024 for ip in 10.0.0.11 10.0.0.12 10.0.0.13; do for port in 7000 7001; do info$(redis-cli -h ${ip} -p ${port} -a ${PASS} --no-auth-warning cluster info 2/dev/null) role$(redis-cli -h ${ip} -p ${port} -a ${PASS} --no-auth-warning info replication 2/dev/null | awk -F: /^role/{print $2} | tr -d \r) state$(echo ${info} | awk -F: /^cluster_state/{print $2} | tr -d \r) assigned$(echo ${info} | awk -F: /^cluster_slots_assigned/{print $2} | tr -d \r) printf %-12s %-5s role%-6s state%-5s slots%s\n ${ip} ${port} ${role} ${state} ${assigned} done done這個腳本的價值在于輸出穩(wěn)定、可以直接 diff部署前存一份、演練后存一份cluster_slots_assigned從 16384 掉了就說明有槽懸空role變了就說明發(fā)生過切換。比翻日志快得多也不用記復(fù)雜命令。最后是一個參數(shù)化的習慣。拿到這類腳本我第一件事是把BASE_PORT、NODES、PASSWORD、DATA_ROOT四個變量抽到單獨的cluster.env里腳本開頭source進來第二件事是把生成的配置、check 輸出、演練記錄按時間戳落到logs/不做覆蓋。那次重啟后集群 fail 的經(jīng)歷之后我每次改腳本都會先在一臺干凈的虛擬機上從零跑兩遍確認第二遍執(zhí)行不會因為殘留目錄報錯再看一遍nodes.conf有沒有被動過——集群這東西一次省事的rm -rf能換來一整晚的恢復(fù)工作后悔藥是沒有的。希望幫到你。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
午夜丁香 婷婷| 亚洲欧州色情在线观看| 欧美久人人| 91人人澡人人爽人人看| 欧美搡BBBBB摔BBBBB| 久香草视频在线观看| 丁香五月玖玖| 热99免费在线| 好好干av| 久久九九99| 激情文学综合婷婷五月天丁香花| 中文字幕黄色片| 六月婷婷色五月| 99久热在线精品99re6热| 综合久久高清| 激情五月天小说视频| 国精产品一区二区三区| 国产av一区二区三区| 99久久这里只有精品| 久久综合爱| 丁香五月大香蕉在线99| 丁香五月天色婷婷| 精品成人在线观看| 99热这里只有精品1| 开心婷婷中文字慕| 婷婷丁香激情综合色情| 色444综合网| 狠狠五月天| 天天激情| 天天狠狠色| 九九99免费视频| AV色色天堂中文| 六月婷婷色综合| 久久婷婷激情视频| 亚洲一区二区无码蜜乳av| 99九九99九九九视频精彩| 久久66成人网站| 91欧美日韩综合| 亚洲99热| 综合狠久久| 丁香六月情| 国产VA亚洲VA96| 色婷婷六月激情| 狼人婷婷久久| 狠狠色丁香久久| 日本美女97在线视频| 婷婷五月天成人| 五月丁香婷婷综合网色欲| 婷婷综合欧美| xxxx五月| 天天插天天日天天爽| 91超碰在线观看| 欧美人人超级碰| 任你躁XXXXX麻豆精品| 婷婷亚洲天堂| 婷婷五月激情五月激情| 五月婷婷中文字幕| 日狠狠| 日日夜夜天天| 夜夜撸日日操| 天天操B| 六月丁香婷婷综合在线| 色婷婷的五月天| 五月天五月天成人网亭亭成人色网站| 丁香五月综合在线观看| 5月婷婷激情在线| www五月天激情com| 激情色视频| 色综久久AV| 欧美精品999| 人人操操| 成人av免费观看| 九热精品| 天天操夜夜啊| 人妻肉射免费观看| 九热视频| 激情中文在线| 色五月丁香网| 国产日产亚系列精品版优势| 色情激情五月婷婷| 开心五月婷婷激情| 99热综合| 91人妻九色大屁股| 99热综合色图| 五月天婷婷黄色视频| 九九热视频精品2| 任你草| 亚洲色涩视频| 日日做夜夜爱| 夜夜大香蕉婷婷丁香| 亚洲综合无码| 亚洲妇女熟BBW| 久99999热视频在线观看免费| 国产69精品久久久久999小说| 亚洲精品国产熟女久久久| 蜜桃五月天| 亚洲情综合五月天| 婷婷色偷拍| 无码橾| 九九热10| 天天做天天爱天天摸| 精品国产人人爱人人| 五月www| 99视频精品8| 五月丁香在线婷婷美女| 激情综合久久| 一本色道久久综合狠狠躁一二三| 亚洲五月激情| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 日韩视频99| 天天摸天天透天天舔| 99久在线精品99re5热视频| 丁香婷婷五月综合| 欧亚成人A片一区二区| 1024操逼| 91久久五月天| 婷婷六月伊人| 五月婷婷影院| 五月婷婷六月丁香首页| 草操AV在线| 五月综合精品| 色五月综合在线| 欧美性生交xXxX久久久| 97在线碰| 五月天综合图片| 色呦呦美女| 伊人五月天男人的天堂在线| 青草五月天| 色五月婷婷综合| 99久久国产宗和精品1上映| 大香蕉人人网| 五月天色婷婷基地| 九九aV| 国产九月婷婷| 亚州精品色情在线观看| 伊人久久婷婷| 人人综合91网| 视色综合| 亚洲五月天激情| 色色图五月天| 99精品在| 色播播五月天| 国产av基地| 人人干人人操人人摸人人做| 日本人妻A片成人免费看片| 日本人妻伦在线中文字幕| 丁香五月婷婷99| 亚洲色爽| 精品人妻久久久久久| 色99欧洲色19| 激情亚洲色图片丁香综合| 五月天婷婷久久视频| 狠狠操综合| 婷婷玖玖丁香| 夜丁香五月婷婷| 99在线免费观看| 亚洲蜜乳AV| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 停停综合色色| 色婷婷丁香AV综合| 午夜一区| 一起草AV| 在线只有精品| 久久五月天合网| 五月天激情综合| 国产成人AV不卡| 九九aV| 色婷婷亚洲五月天| 99九九免费精品| 精品怡红九九九| 97人人操人人干| 9l视频自拍9l九色9l成人| 99亚洲色| 成人AV播放| 婷婷亚洲五月丁香综合在线 | 色色色色色色色色色色色色色97| 色色色地址| 9视频在线成人网站| 无码九九| 99精品视频在线观看| 97碰免费视频在线| 超碰人人艹| 九色在线观看91av| 日韩黄色电影| 欧美日韩成人免费在线| 久操大香蕉| 91精产品自偷自偷综合| 亚洲无码播放| 久久草人妻| 久久婷婷六月综合| 久久久婷婷婷| 久99| 九色视频这里只有精品| 91久女| 日日噜狠狠色综合久久| http://www.com久久久精品一区| 婷婷色成人| 91丨九色丨首页| 白天AV月月| 欧美交换配乱吟粗大25P| 婷婷丁香69精华| 91日日日| 第2色五月婷| 久久五月视频| 国产热精品| www色婷婷| 色婷婷婷av| 丁香激情网| 九九热只有这里是精品| 婷婷婷久久| 情趣视频66| 色婷婷性爱| 综合五月天| 丁香五月综合激情啪啪| 91丨九色丨43老版熟女| 色综合久久久久| 91dy.av| 超碰9799| 激情五月天在线免费美女视频| 99热99草97| 超碰人人色| 亚洲色激婷| 亚洲另类AV| 性生活视频98791| 99ri视频在线播放| 婷婷爱五月| 天天操天天日天天爽| 青青草青青草五月天| 婷婷五月天综合小说网| 婷婷久久五月| 五月天丁香婷婷视频网址| 丁香婷婷五月基地| Www99热| 九九综合色综合| 婷婷丁香五月天影院 | 婷婷综合视频| 婷婷丁香人妻| 国产AV不卡福利| 激情五月婷婷| 开心婷婷五月| 色五月丁香激情| 91 九色 入口| 激情婷婷丁香| www.爱操com.| 欧美在线操| 黄桃AV无码免费一区二区三区| 久久婷婷五月综合| 天天干天天爽天天爽| 九九99精品视频| 婷婷99狠狠躁天天久久久九九九| 97人人射| 色色色婷| 久色资源| 日韩精品二三区| 激情综合网丁香| 99丝袜精品视频网站| 久99久视频| 日韩三级高清无码| 五月天五月天激情网| 97香蕉碰碰人妻国产欧美| 亚洲综合色婷婷文学| 99久久性爱| 人人干人人看| 五月激情综| 婷婷久久久久久久| 69热在线| 就是色婷婷五月亚洲色| 婷婷在线综合| 超碰com| 婷婷五月在线| 1024欧美看片| 99ri网站在线观看| 色吧网91| 一本色道久久综合狠狠躁一二三| 成人中文网| 国产成人网址| 色五月色五天色情网| 熟女激情五月天 | 婷婷 激情 五月| 99九九热在线观看| 97在线/亚洲| 色久一| 99久99久| 密视AV综合在线| 激情婷婷丁香五月| www.久99| 欧美精品狠狠色丁香婷婷| 婷婷激情四射| 99热这里有精品| 99综合视频| 色欲婷婷五月天| 91色噜噜狠狠狠狠色综合| 99精品热| 久久视频婷婷视频| 99无码精品| 激情亚洲网| 久婷五月| 色婷婷影院| 成人短视频在线观看| 天天搞天天爽| 五月婷婷丁香| 五婷婷综合网| 热久91| 亚洲无码免费看| 偷拍九九热| 日韩在线视频9色| 久久五月婷天天干| 99久免费视频| 91欧美日韩综合| 亚洲综合无码| 五月婷婷在线短视频| 婷婷五月av| 激情五月婷婷| chaopeng在线人人| 久久婷婷综合国产| 久热久色| 热99只有精品| 久久多色| 在线观看免费视频| 51精品国内探花| 五月婷婷丁香大香蕉| 日日操夜夜操中国无码| 天天日夜夜欢| 激情婷婷综合| 天天狠狠干| 亚洲男女激情| 激情五月天影院| 国内外色色色色色成人视频| 色九月丁香婷婷蜜桃在线观看| 色婷婷AV在线观看| 影音先锋噜一噜| 九九热亚洲中文在线观看免费| 天天看片日日夜夜| 欧美激情综合五月色丁香| 色综合九九| 六月丁香婷啪射| 五月天激情社区| 996er热| av在线观看免费| 五月丁香色综合| 97色精品视频| 欧美日韩99| 99热这里只有精品98| 五月丁香A片| 怡红院成人AV| 99色这里| 天天干夜夜想| 欧美精品18| 5月丁香美女影院| 日韩淑女人妻luan伦激情精品一区二 | 大香蕉AV电影在线| 五月色网| 激情99在线视频| 久久在这里99| 中文字幕高清av| 成人做爰A片免费看网站找不到了| 亚洲乱码成人| 99久久婷婷国产综合| 成人在线二区| 狠狠搞五月天| 久久玖玖综合| 欧美一级a| 国产成人av在线| 五月天五月婷五月激情网| 伊人五月综合网| 无码人妻少妇色欲AV一区二区| 色婷婷啪啪综合网| 婷婷大美在线| 婷婷99狠狠躁天天| 夫妻超碰在线| 激情黄色小说五月天| 免费国产视频| 色婷婷综合在线| 婷婷丁香六月五月天| 天天日,天天射,天天舔| 国产AV一区二区三区最新精品 | sewuyuetingtingiii| 色综久久AV| 五月婷婷在线视频| 伊人激情综合| 婷婷丁香五另类网站| 九色91国产| 婷婷99狠| 色婷婷在线视频综合| 婷婷丁香五月亚洲| 性色婷婷| 丁香五月天社区| 色婷婷激情五月天丁香| 六月婷婷六月天天在线免费| 91狠狠综合久久| 色婷婷丁香AV综合| 五月天成人在线播放丁香| 97色色视频| 91久久久久久久91| 色综合五月| 婷婷六月成人| 79色色免费| 丁香五月天激情综合| 色欲色天天香综合| 99熟女视频| 五月婷婷色白丝| 丁香五月天天高清在线| 五月婷婷久草| 婷婷中文字暮| 九热av| 人人色AV| 91丁香色| 天天爽天天摸| www色哟哟| 激情网综合| 九九九九操逼| 美英法精品无码免费视频| 香蕉AV777XXX色综合一区| 国产精品涩涩涩视频网站| 9久热在线视频精品| 五月丁香六月婷婷操操操| 婷婷综合在线网| 情涩婷婷五月天| 天堂伊人干| 男人综合网| 蜜桃成语时李时珍 免费| 99小精品| 狠狠爱青青草| 情久久综合五月天| 激情无码网| 色色色色色色色色色色色色色97| 天天操B| 丁香花色色网| 久热这里有精品视频| 精品国产AV色一区二区深夜久久| 西瓜美女a片| 色青青电影色五月| 婷婷激情社区| 超碰人人超碰| 极品人妻VIDEOSSS人妻| 九九热视频思思| 五月激情综合网婷婷| 激情五月深爱婷婷| 丁香五月婷婷Av| 五月综合丁香婷婷| 日本va欧美va精品发布视频| 五月婷婷碰碰| 超碰爱爱爱| 九九色影视| 九九热AV| 激情五月,激情综合网| 伊人玖玖综合| 99热在线播放| 337午夜福利| 99熟女视频| 婷婷五月天AV| 成人免费黄色短视频| AV五月婷婷露脸| 久久婷网| 精品国产AV色一区二区深夜久久| 久久人妻伦理| 97天堂| 天天射影院| 五月天婷婷在线AN| 久热久色| 狠狠久久婷| 色婷久久| 99热只有这里才是精品| 激情五月综合网最新| 丁香六月激情综合| 99热.com| 五月丁香美女| 四川操逼站| 99热.com| 午夜五月天| 色色五月婷婷| Caoub青青超碰 | 五月婷婷导航| 日本欧美成人片AAAA| 色婷婷久久综合中文久久一本| 日韩成人无码人妻| 亚洲色99综合天堂| 亚洲精品国产成人AV在线| 激情综合五月.....| 超级碰91| 777精品久无码人妻蜜桃| 丁香五月六月婷婷怡红院| 天天综合网91| 日韩啪啪自拍| 乱岳熟女50岁| 97色婷婷成人综合在线观看| 日日夜夜小色哥| 五月婷六月| 婷婷五月天干干| 久综合网| 色婷婷激情四射视频| 99热思思| 五月天色图| 欧美婷婷色五月| 久久机热这里只有精品免费视频 | 激情五月瑟瑟| 香蕉久久国产AV一区二区| 97五月久久丁香婷婷| 五月天四色房丁香| 婷婷五月综合激情| 日本视频99| av婷婷丁香| 六月婷婷综合| 色综合久| PORNY九色9l自拍视频成人| 国语精品探花| 丁香涩涩五月天| 色色五月婷婷| 在线婷婷| 琪琪色五月天| 日本欧美国产| 激情五月婷婷啪啪| www.99操.com| 超91热| 成人国产欧美大片一区| 97人人干人人操| 丁香五月婷婷啪啪啪| 色欧洲| 这里只有精品免费视频在线观看| 青青草深爱激情网| 久久er+| 人人爱操| 亚洲国产婷婷色五月 | 色综合天天综合成人网| 丁香五月黄色| 91九色在线观看免费| 日韩ww| 欧美在线| 亚洲精品V天堂中文字幕| 狠狠五月天| 亚洲人妻av| YJLZZJLZZ亚洲乱熟无码| 婷婷五月色激情欧美激情| 婷婷五月深深爱| 99性感视频| 婷婷激情五月综合基地| 丁香五月亚洲无码| 婷婷激情五月综合丁| 伊人六月无码视频| 丁香五月在线视频黑人| 99思思热只有在这里看| 99在这里有精品| 夜夜骑福利资源| 俺去也在线视频| 影音先锋人妻出差| 久久色五月天激情小说| 激情五月天婷婷五月天| 久久色亭亭五月天| 婷婷激情综合| 日韩另类| 影音先锋美国A| 熟惀91九色在线| 欧美婷婷丁香社区在线播放| 婷婷五月综合丁香久久| 久艹久| 五月五月婷婷| 综合AV在线| 久久激情视频| 色婷婷综合五月| 久久丁香五月婷婷| 情久久综合五月天| 丁香五月欧美激情| 激情五月天视频| 亚洲精品一区中文字幕乱码| 91人妻九色大屁股| 亚洲色图81p| 99色视频| 亚洲精级| 人妻九九九九| www.91.com处女在线直播| 26uuuu精品一区二区| 激情性五月天免费小说视频| 91人碰| 26uuu最新地址| 欧美大片免费播放器| 欧美久久九九| 97色久| 色播丁香五月婷婷操:屄| 天天日日爽| WWW.桔色成人.COM| 久操热线| 去色色五月天| 91欧美| 五月天堂在线| 色五月琪琪| 大伊香蕉精品视频在线| 九热视频精品| 99久久国产成人精品| 26uuu欧美激情另类| 激情五月天综合网| 激情又色又爽又黄的A片| www99xxxx五月丁| 久久9视频欧美| 岛国av网| AV在线免费播放| 欧洲MV日韩MV国产| 五月婷六月| 天天 青草 丝袜制服 在线| www.狠狠操| 五月天婷婷基地| 色色色色区| 婷婷色播色五月五色五月天色妇| 丁香桃色网| 综合婷婷| 外国碰视频网站97| 婷婷.com| 99热思思| 日韩婷婷| 狠狠综合网| 国产乱人偷精品人妻A片| 大香蕉九九热| 五月婷婷二月丁香| 专区无日本视频高清8| 夜夜爱影院| 99.色| 99久久综合网| 狠干综合| 狠狠色婷婷六月激情网| 色色五月天激情| 色色色色色五月| 激情综合婷婷| 色色婷婷丁香| 丁香五月综合婷婷| 深爱激情综合网| 国产69久久久欧美黑人A片| 丁香蜜臀黄色婷婷五月天| 激情五月天福利| 深爱五月综合网| 欧美色97| 99热日本精品| 五月天激情.com| 人妻中文在线| 99色热| 色激情五月天| www91色网站| 日日夜夜青青草| 丁香五月天啪啪| 操97免费超级视频| jiZZdr| 日本成人内射| 天天精品视频在线观看视频| 99精品偷自拍| 亚色网站小视频| 色色亚洲五月天| 五月婷中文字幕| 国产日韩欧美性爱| 久久久久激情网| 色色综合网络| 超级碰碰碰久久网站视频| 激情五月五月五月婷婷| 国产欧美熟妇另类久久久 | 97碰在线| 黄网在线播放| 天天插综合| 日本片日本片祼观看网站在线看中文版网页在线看| 欧美啪啪9| 色色婷婷色色| 久99久在线观看| 久久精品五月天| 在线视频99| 97色在线观看视频| 日本色色图| 美日韩成人| 天天玩夜夜操| oumeisesewang| 国产精品人人做人人爽人人添| 亚洲五月婷婷在线| 久久se 综合网 | 秋霞AV吧| 久久婷婷五月综合色和| 热婷婷久| 伊人五月婷婷| 五月丁香 六月婷婷a| 大香蕉手机视频| 婷婷五月天激情偷拍| 国产午夜成人AV在线播放| www.人人操人人看人人想人人摸 人人人人操,COM| 五月花婷婷最新| 97在线观看| 色5月婷婷| 精品九九网| 操操国产| henhencao国产在线| 国产AV一区二区三区最新精品 | 中文中文在线| 久久er99| 91人人操人人| 97色色网| 5月婷婷激情网| 综合性爱网| 色婷婷六月| 天天综合色综合| 丁香五月婷婷www..com| 亚洲99综合| 色色影院aaaav| www.婷婷激情网.com| 天天日天天插| 91精品熟女| 中文婷婷狠狠| 激情九月综合| 天天撸夜夜爽| 人人妻人人澡| 日99网站| 伊人婷婷大香蕉| www.夜夜夜| 色婷婷啪啪| 狠狠做深爱婷婷久久综合一区| 色播播之激情五月婷婷| 成人人操| 色色国产| 久久人妻视频| 97色五月天| 一起肏在线视频| 色播综合| 丁香五月成人网| 色婷婷内射| 免费成人网在线观看| 天天插天天插| 99热在线观看免费精品| 五月激情另类| 色欧美影院| 亚洲视频在线观看| 亚洲成人网在线观看| 天堂婷婷丁香六月网| 色玖玖导航| 久久5 9视频免费观看| 午夜天堂啪啪| 亚洲视频另类| 九月丁香婷婷| 婷婷在线视频| 第四色首页| 婷婷色五月婷婷姐妹| 婷婷色色丁香| 欧洲MV日韩MV国产| www.超碰| 色99在线| 色综合综合网| 99re这里只有精品国产99| 激情 婷婷| 婷婷视频在线| 99精彩视频| 久操福利| 色色色色色色网站| 欧美综合激情五月| 美女天天艹人人爽| 99啪| 九月激情综合婷婷| 欧美日韩色色| 69超碰在线| www.99热| 五月激情六月综合| 超级碰碰91| 99热国产这里只有精品| 天天橾日日橾夜夜橾17| 五月丁香综合网色欲| 五月丁香啪啪综合| 色五月婷婷影院| 综合久久综合五月天婷婷| 成人做爰高潮A片免费视频| 婷婷色五月丁香六月欧美啪| 六月婷婷久久| 婷婷五月花| 丁香五月婷综合网| 亚洲婷婷成人五月天| 五月激情网五月综合网| 2050人人操免费工开爱| 天天干,天天舔| 婷婷五月激情综合| 九九热欧美| 丁香五月综合激情啪啪| 九九热在线99| 黄网在线观看免费| enecarbon-materials.com污K127封锁请涟系@wip1688 | 欧美激情综合| 婷婷综合五月| 人人草人人舔| 婷婷伊人綜合中文字幕| 久久ww| 亚洲精品视频在线播放| 九九热视频在线观看| av九九| 99热网站| 久久久久9| 五月婷婷丁香五月| 超碰免费在线| 成人午夜天| 97很鲁在线视频| 色六月 婷婷| 五月久久综合| 91在线人| 亚洲一级AV在线免费播放| 五月五月婷婷| 亚欧州精品视频| 最新久久网址| 91超级碰碰| 激情网五夜婷婷| 婷婷五月天激情在线观看| 97五月婷| 91/九色黑人| 久久色吧| 久久总和99| 丁香五月天堂网| 99久久a线观| 欧美韩日AAA网站| 狠狠草综合网| 亚洲激情网| 色婷婷成人网| 色情成人五月天| 日韩久久成人| 97在线视频 欧美| 99热精品观看| 激情六月丁香综合| 六月丁香激情婷婷| 六月丁香婷婷综合在线| 97人人操人人爽| 9999久久久久| 97超喷视频在线观看| 99热线观看9| 伊人五月天综合网| 色婷婷狠狠色| 亚洲第一综合| 激情综合五月婷婷| 久久R激情| 国产免费av在线| 亚洲丁香花色| 五月丁香婷在线| 久久伦乱| 久久er99热精品一区二区| 99久久婷婷综合| 97操视频| 黄页大全十八禁| 久草狼人| 夫妇交换刺激做爰| 狠狠久综合| 综合欧美五月婷婷| 狠狠干五月丁香综合网| 久久婷婷亚洲| 91日在线视频| 色婷婷大香蕉| 丁香婷婷啪啪啪| 97色热| AV大片在线播放| 色五月婷婷影院| 538久久| 狠狠色丁香婷婷久久综合| 五月婷在线| 亚洲第一av| 色五月婷婷少妇人妻| 六月婷婷在线| 国产精品美女久久久久AV超清 | 91免费看片| 五月激情婷婷播播网| 伊人五月婷婷| 久热99狠| 五月丁香猫咪久久婷婷综合视频激情四射网入口| 久久人妻系列| 天天干天干| www,久久久人人| 99在线爽| 国产avapp 网| 婷婷五月,综合伊人| 99热精品在线| 九九热在线视频观看免费10| 色五月激情问网站| 日韩av在线免费观看| 久久婷婷五月综合色欧美| 夜夜 操无码| 中文字幕色色| 免费看欧美成人A片无码| 黄色片精品| 热成人网| 六月丁香五月婷婷| 91操片| 亚洲热视频在线| 碰97 久| 五月婷婷在线短视频| 天天干一干| 亚洲综合色婷婷文学| www.激情五月天.com| 91人人爽狠狠狠| 色久99| 思思热久久爱| 农村熟妇高潮精品A片| 99精品热| 婷婷情色五月天| 97人人操人人操人人操人人| 六月丁香婷婷开心综合基地| 9l视频自拍9l九色成人| 色婷婷亚洲| 亚洲va成人va成人va在线观看| 久久婷婷六月综合国际| 丁香成人综合| 精品人妻伦一二三区久久| 玖玖综合色| 五月婷婷导航| 九月婷婷综合网| 五月天涩涩| AV片在线观看| 丁香五月23111| 欧美大片免费观看| 日本无va视频| 亚洲人人操| 天天做天天爱天天摸| 国产成人99久久亚洲综合精品| 成人在线综合| 日亚二欧美| 国产亚洲99久久| 婷婷 色 丁香 夜| 色久一| 精a品a| 激情av网| 五月丁香啪啪| 五月天丁香婷婷社区| 激情五月丁香亭亭| 99久久久久久久| 婷婷在线激情| 中文字幕性爱视频| 99这里都是精品| www.日本91| 内射综合网| 丁香婷婷色九月| 五月丁香琪琪| 九九久久五月天综合伊人| a色色色色色| AV性爱网| 五月丁香六月欧美综合| 大伊香蕉精品视频在线| 丁香激激情网| www.久久99精品| 激情婷婷五月| 玖玖99免费视频| 99re思思热久久| 婷婷基地成人五月天| 嫩草AV久久伊人妇女超级A| 26uuuavcom| 欧美日韩婷婷五月天| 91色情播放| WWW·色色色·COM| 97综合在线| 婷婷亚洲五| 全部老头和老太XXXXX| 中文字幕 久久9999| 爱狠射| 婷婷五月激情的图片| 日韩不卡DvD| 99久久9| m色激情网| 开心五月婷婷综合在线精品素人| 五月天婷婷操逼视频| 九九视频免费| 超碰97在线操| 五月婷婷五月丁香| 五月婷在线观看| 亚洲亚洲人成综合网络| 婷婷五月18永久免费视频| 99色日本| 99熟女| 色欲天天综合| 色99日韩| 无码免费人妻A片AAA毛片西瓜| 99re这里只有精品视频了| 碰人人操| 六月丁香久久| 99re视频精品| 久色网| 人五月天婷婷喷水| AV操逼网| 亚洲小说欧美激情| 天堂综合久久| 欧亚成人A片一区二区| 五月天婷婷在线播放免费| 色婷婷五月色| 99热热热99精品婷婷| 欧美影院| 五月丁香婷婷激情在线| 99色久| 婷婷久久综合| www.五月天婷婷| 在线VA视频| 97久久久免费福利网址| 国产67194| 五月开心久久| a v色婷婷| 久久精品99久久| 99国产精品白浆在线观看免费| 五月丁香六月婷婷姐| 激情四射五月天偷偷看婷婷| 爱狠射| 丰满少妇猛烈A片免费看观看| 思思精品视频| 色婷婷欧美在线| 色婷婷狠狠久久YY| 六月五月天婷婷涩播在线| 国产99久久久| 婷婷五月综合视频免费播放| 日韩无码一区二区三区四区| 色五月大香蕉婷婷| 粉嫩AV久久一区二区三区| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 激情五月色在线播放| 五月丁香六月婷婷,婷| 丁香五月综合无码趴趴| 亚洲亚洲人成综合网络| 91五月天| 色五月婷婷九月| 久久婷婷欧美| 精品视频这里只有精品| 亭亭五月基地在线| 9热在线| 五月丁香成人网| 久婷| 色五月丁香五月| 2w在线视频| 激情五月综合视频| 亚洲AV综合网| 91天堂网综合| 婷婷五月天av小说| 久久er99热精品一区二区| 色婷视频| 亚洲成人超碰| 精品人妻一区二区三区四区不卡在| 五月色情网| 婷婷五月成人| 亚洲在线操| 丁香五月天婷婷91| 7777久久亚洲中文字幕| 色色色色欧美| 成人精品视频99在线观看免费 | 五月丁香激情婷婷| 色色日韩无码| 久久五月丁香激情综合| 操操操www.com| 日韩成人av在线| 久久东京热婷婷五月| 中文字幕av亚洲| 999九九九久久久99HD| 久久久五月天婷婷| 噢美99| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 婷婷永久在线| 亚洲小电影在线观看黄999| www,色综合| 色婷婷最新域名| 大香伊人婷婷影院| 丁香操逼| 九九久久玖玖爱| 五月丁香 狠狠爱| 欧美三级韩国三级日本三斤| 丁香五月大香蕉在线99| 91丁香色| 婷婷干| 久久99网| 97久久超级| 亚洲综合成人网站| 欧美WW在线网| 4399在线观看免费毛片| 婷婷大乡焦噜噜| 色噜噜97视频在线观看| 成人网站免费在线播放| 六月丁香啪啪啪| 在线不卡视频| 国产噜一噜天天噜| 五月综合激情图片| 最新亚洲色色网| 色狠狠综合| 天天日,天天插| 99热这里只有精品1| 99这里只有精品| 日韩人妻在线观看| 午夜婷婷| AA片在线观看视频在线播放| 亚洲精品一区中文字幕乱码| 日韩黄在免| 日本久碰| 非洲一级AV| 99久久九九| 婷婷爱综合| 日本熟女一区二区| 激情五月小说婷婷| 日本天堂爱爱| 丁香五月六月| 青草视频在线播放| 色综合色综合色综合| 99热欧美偷拍| 大香蕉精品视频| 一区二区三区四区五区| 91人妻视频| 久热只有精品| 婷婷综合网| 777精品久无码人妻蜜桃| 天天日日| 日本99在线视频| tingtingjiqingwuyue| 五月综合激情综合久| 婷婷五月六月丁香| www,久久久| 天天做天天爱| 日韩啪图| 97人人操人人干| 中文字幕 久久9999| 久久这里只有精品热在99| 日本99视频| 成人无码免费一区二区中文| 色99超碰| 人妻性爱av网站| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪 | 激情五月丁香亭亭| 婷婷五月色播| 99九九99九九九视频精品| 久久久大香蕉| www好屌操| 一级二级色大片| 99热在线观看| 五月丁香人妻| 秋霞学生妹一二级| 少妇综合网| 亚洲激情综合| 涩涩婷婷五月| 日日干综合| 婷婷五月天影院| 国产肥白大熟妇BBBB视频| 五月婷婷色啪| 五月色欧洲| 激情丁香九九五月综合网| 国产乱妇乱子在线播视频播放网站| 午夜日日| 天天操天天操综合| 五月婷婷色播| 九久久九精品视频| 婷婷中文字幕| 99久久网站| 精品一二三区久久AAA片| 五月天综合久久丁香91| 天天操夜夜玩!| 久久作爱| Www.se.久久| 色宗合,宗合网| 国产精品成人AV在线| 五月婷婷av在线| 丁香五月亚洲激情婷婷射| 婷婷色五月在线视频| 99re在线播放| 99热亚洲| 免费观看的婷婷五月视频在线| 97操碰| 国产成人av在线播放| 六月综合在线| 免费看欧美成人A片无码| 激情综合婷婷| 色情成人五月天| 久cao香蕉影院| 一区二区三区四区五区| 久久婷婷成人| 久久一级免费黄色片| 亚洲99手机免费看视频| 日日夜夜狠狠| AV成人在线播放| 国产色色色色| 国产内射婷婷| 亚洲欧洲色色| 性爱综合网| 偷偷操99| 激情六月综合| 高清a片基地| 五月婷婷六月爱| 天天干天天干天天干| 99热主页日本| 天天日日夜夜| 无码动漫AV| 亚洲人妻五月丁香婷婷| 久久综合99综合| 思思视频这里是精品| 美日韩成人| 五月天操逼网| 久久久久久久人妻| 九九精品婷| 日本操逼九九九九58日本操逼| 内射干少妇亚洲69XXX| 婷婷四月 成人 狠狠干| 操操啪| 久久五月天视频| 色婷婷综合影院| 伊人色五月| 噜噜狠狠色综无码久久合欧美| 亚洲人成网站999综合| 丁香五月亚洲婷婷| 日木WWW视频| 婷婷日日天天| 婷婷色五月大香蕉在线| 丁香婷五月| 97亚洲视频在线| 六月色色婷婷| 综合福利网| 色情五月天A片| 色婷婷激情五月天丁香| 伊人色欲五月天| 五月J香蕉婷婷| 伊人五月网| 影音先锋AV资源男人站| 亚洲免费99| 51精品国内探花| 天天干天天干天天操| 色五月天视频| 亚洲色网址| 激情婷婷内射| 亚洲爆乳无码精品AAA片蜜桃| 美女五月激情| 国产肥白大熟妇BBBB视频| 五月天婷婷青青| 日本美女97在线视频| 丁香五月在线看| 色婷婷综合丁香五月天| 66色在线日韩| 9人人操人人看| 99re8这里只有精品99re8热视频| 婷婷丁香69精华| 丁香婷婷综合激情五月色| 能看的AV网站| 中文婷婷狠狠| 久久综合五月天| 爱操人妻| 91婷婷| 激情五月丁香激情综合网| 九九爱精品网站| 丁香美女五月天婷婷| 91尤物九色在线| 日本久久天堂| 色五月丁香在线| 婷婷五月a| 丁香五月综合婷婷| 欧美激情五月天婷婷| 91919191919久久成人视频| 五月开心深爱激情网| 色色狼人综合| 丁香激情五月| 丁香五月天BBw| 婷婷五月天毛片| 九九精品热| 天天色天天噜| 中文字幕av亚洲| 色五月天电影| 色婷婷色情| 丁香婷婷五月综合| 涩五月婷婷| 久8色色| 久久 婷婷 五月天| 丁香婷婷综合激情五月色| 国产精品香蕉| 97碰啪啪| αv中文字幕在线观| 五月开心网| 第四色五月激情网| 九九热99在线视频| 精品久久久人妻| 五月丁香婷婷激情澎湃四射| 99视频在线播放大全| 欧美在线| 色色国产| 婷婷五月天直播| 九九re视频在线视频| 久久久久久人妻| 丁香五月婷婷激情蜜桃| 久久久久这里都是精品| 五月婷婷黄网站大全| 97人人操人人干| 丁香五月综合在线观看|