欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Docker Compose批量部署MySQL主從集群:1分鐘搭建10套復(fù)制環(huán)境

Docker Compose批量部署MySQL主從集群:1分鐘搭建10套復(fù)制環(huán)境 1. 先搞清楚我們要搭的東西到底是什么先說結(jié)論這個標(biāo)題一點也不夸張但“1分鐘”是有前提的鏡像提前拉好、腳本寫好了剩下的啟動和驗證就是幾十秒的事。我用一套基于 Docker Compose 封裝的批量部署腳本在一臺 8 核 16G 的機器上同時拉起 10 套 MySQL 主從集群從執(zhí)行命令到SHOW SLAVE STATUS全部顯示W(wǎng)aiting for source to send event整個流程不超過 1 分鐘。這套方案我不是第一次用了前前后后踩了不少坑今天把這套東西拆開講清楚。1.1 主從復(fù)制到底在復(fù)制什么MySQL 主從復(fù)制嚴(yán)格說復(fù)制的是 binlog二進制日志里的邏輯事件流。主庫把數(shù)據(jù)變更按順序?qū)戇M binlog從庫通過 IO 線程把主庫 binlog 拉到本地 relay log中繼日志再由 SQL 線程回放 relay log最終讓從庫的數(shù)據(jù)追上主庫。整個鏈路看似簡單但涉及三張關(guān)鍵的角色表主庫的 dump 線程負(fù)責(zé)把 binlog 事件推送給從庫的 IO 線程。從庫的 IO 線程負(fù)責(zé)連接主庫請求 binlog 并寫入 relay log。從庫的 SQL 線程負(fù)責(zé)讀取 relay log 并逐個執(zhí)行事件。記住這個模型后面所有排查都是圍繞這三條線展開的。我搭 10 套集群時最依賴的一個狀態(tài)字段就是Slave_IO_Running和Slave_SQL_Running這兩個字段同時為Yes基本說明復(fù)制鏈路是通的。如果 IO 線程卡住大概率是網(wǎng)絡(luò)、賬號權(quán)限或者 server-id 沖突如果 SQL 線程卡住大概率是主從數(shù)據(jù)不一致或者 relay log 損壞。復(fù)制模式上8.0 和 5.7 我選的是 GTID 模式也就是全局事務(wù)標(biāo)識符。GTID 是server_uuid:transaction_id的組合每個事務(wù)在主庫上產(chǎn)生唯一編號從庫可以通過 GTID 自動定位復(fù)制位點不需要再關(guān)心binlog file和binlog position這兩個老參數(shù)。對于批量部署 10 套集群的場景GTID 最大的意義是讓初始化更加自動化腳本里可以少處理很多“主庫位點變化”的邊界問題。如果你還在用老的MASTER_LOG_FILEMASTER_LOG_POS方式搭建少量實例沒問題但批量搞的時候就容易翻車因為主庫一旦有額外寫入位點就會漂移。1.2 主從集群能解決什么解決不了什么用主從不是為了“看著專業(yè)”它的核心價值有三塊讀寫分離、容災(zāi)冗余、分析隔離。讀寫分離的場景最直觀主庫承接寫流量從庫承接讀流量應(yīng)用層按需切換數(shù)據(jù)源能明顯降低主庫負(fù)載。容災(zāi)冗余是指主庫出現(xiàn)硬件故障后可以手動或通過高可用組件把從庫提升為新主庫減少不可用時間。分析隔離則是在從庫上跑公司里那些重量級查詢、報表任務(wù)、備份操作避免它們擠占主庫的 CPU 和 IO。但它不是萬能的有幾個誤區(qū)必須說清楚。第一主從復(fù)制不是同步復(fù)制默認(rèn)是異步的主庫提交事務(wù)后不等從庫確認(rèn)就返回成功所以從庫數(shù)據(jù)天然存在延遲。延遲高的時候你讀從庫會讀到舊數(shù)據(jù)這個必須靠業(yè)務(wù)層容忍或者中間件做分片策略。第二主從不能解決數(shù)據(jù)一致性問題如果主從數(shù)據(jù)已經(jīng)不一致復(fù)制鏈路直接報錯停擺不是自動修復(fù)。第三GTID 雖然自動化程度高但反向切換從庫提升為主庫后再恢復(fù)原主庫時要注意事務(wù)沖突不能簡單重連了事。1.3 為什么我選 Docker Compose 而不是裸機安裝很多人一看“10 套主從集群”第一反應(yīng)是一臺物理機裝 20 個 MySQL 實例路徑、端口、配置要改到懷疑人生。確實如果用傳統(tǒng)方式在 Linux 上通過二進制包部署 10 套主從光是規(guī)劃目錄、編譯參數(shù)、啟動腳本就能折騰一天這個過程沒必要重復(fù)驗證。用 Docker Compose 的好處在于每個容器就是一個隔離的 MySQL 實例端口映射、數(shù)據(jù)目錄、配置文件都可以通過編排文件聲明環(huán)境一致性極高。不管底層是 CentOS、Ubuntu 還是 Rocky只要 Docker 環(huán)境正常容器里的行為是一致的。這對批量復(fù)現(xiàn)主從場景極其重要尤其適合我這種經(jīng)常要測運維工具、中間件、面試題里各種“主從切換”邏輯的人。不過我如實說一句Compose 不是萬金油。生產(chǎn)環(huán)境的主從集群往往要結(jié)合 Orchestrator、MHA、ProxySQL 等組件Docker Compose 更多是開發(fā)環(huán)境、測試環(huán)境、壓測環(huán)境的利器。但如果你想把“主從原理”驗證透、把日常巡檢腳本跑通、把面試?yán)锬切┲鲝墓收蠄鼍皬?fù)現(xiàn)出來這套方案是最快路徑。2. 環(huán)境準(zhǔn)備與資源評估別上來就盲目拉二十個容器2.1 資源規(guī)劃和端口設(shè)計是第一步10 套主從集群意味著 20 個 MySQL 容器實例。分配資源之前先想清楚每套集群是“真跑業(yè)務(wù)”還是“模擬場景”。如果只是模擬主從復(fù)制、驗證配置、測試讀寫分離每個容器內(nèi)存限制在 256M~512M 即可CPU 限制在 0.5~1 核即可。如果是壓測那就不能這么摳建議單實例至少 1G 內(nèi)存和 1.5 核起步。我用的機器是 8 核 16G給 20 個容器每實例分配了 512M 內(nèi)存限制CPU 不加硬限制磁盤用 SSD。啟動后整體內(nèi)存占用在 10G 左右留了余量給宿主機和 docker daemon。這里有個很關(guān)鍵的思路資源限制一定要在 Compose 里聲明。不限制的話20 個 MySQL 會按照 innodb_buffer_pool_size 默認(rèn)值瘋狂搶內(nèi)存我的默認(rèn)配置是 128M沒有顯式調(diào)大但容器本身沒有 cgroup 限制時宿主機很容易被吃滿。端口規(guī)劃上傳統(tǒng)做法是給不同實例分配不同的宿主機端口。10 套主從我劃分為集群編號主庫宿主機端口從庫宿主機端口容器內(nèi)部端口固定為1133061330733062134061340733063135061350733064136061360733065137061370733066138061380733067139061390733068140061400733069141061410733061014206142073306端口選擇從 13306 起步是為了避開常規(guī)的 3306、3307也不跟宿主機已有服務(wù)沖突。這里唯一要牢記的是容器內(nèi)部和外部端口不能混淆。連接主庫或從庫時用的是宿主機 IP 加映射端口而 MySQL 配置文件里的 server 相關(guān)參數(shù)和數(shù)據(jù)目錄都在容器內(nèi)部視角。2.2 Docker 與 Compose 插件裝錯版本會吃大虧先說宿主機系統(tǒng)。我在 Rocky Linux 9 和 Ubuntu 22.04 上都驗證過這套流程核心要求是 Docker Engine 版本不低于 20.10Compose 插件正??捎谩0惭b Docker 的步驟不再贅述重點提醒幾個容易出問題的地方。第一docker compose命令和老的docker-compose是兩套東西。新版 Docker Engine 推薦用docker compose帶空格作為子命令它是一個 Go 編寫的獨立二進制插件。老項目里常見的docker-compose由 Python 寫成新版本 Docker 環(huán)境下經(jīng)常出現(xiàn)兼容性問題尤其是version字段廢棄后老命令會給你報奇怪的格式錯誤。我要不是為了兼容舊腳本絕不用docker-compose。實際操作中我用的是docker compose version檢查版本確保輸出里有Docker Compose version v2.x。第二運行 Docker 服務(wù)的用戶要加入 docker 用戶組否則每次都要 sudo。批量操作 20 個容器時命令數(shù)量非常多如果每次都要 sudo 超時重新輸入密碼那 1 分鐘搭建就是個笑話。建議直接sudo usermod -aG docker $USER newgrp docker第三磁盤空間問題。MySQL 官方鏡像本身不算大但容器一旦初始化數(shù)據(jù)目錄很容易膨脹。10 套集群即使每套只有幾十 MB 的初始化數(shù)據(jù)加上 binlog、redo log、undo log總量也是可觀的。我建議宿主機的/var/lib/docker分區(qū)至少預(yù)留 30G 可用空間否則 MySQL 8.0 啟動后會因為磁盤空間不足報各種神鬼莫測的錯比如InnoDB: Operating system error number 28。2.3 鏡像選型鎖定版本不要用 latest鏡像標(biāo)簽是這次實操里最容易陰溝翻船的地方。很多人圖省事直接用mysql:latest這是大忌。latest標(biāo)簽會跟隨官方更新飄移今天拉下來是 8.0.36明天變 8.0.38行為可能發(fā)生變化尤其在認(rèn)證插件、默認(rèn)字符集、參數(shù)默認(rèn)值上不同小版本的差異真的能坑到你懷疑人生。我選的是mysql:8.0.36官方鏡像鎖死在 Dockerfile 層面。為什么不選 5.7因為 MySQL 5.7 已經(jīng)停止更新8.0 在性能、安全性、GTID 支持方面都更主流。8.0 的默認(rèn)認(rèn)證插件是caching_sha2_password這一點在配置從庫連接主庫時要特別注意后面我會詳解。如果你有歷史包袱必須用 5.7那也請鎖死m(xù)ysql:5.7.44不要用5.7標(biāo)簽。鏡像最好提前手動拉好這一步對“1分鐘”貢獻最大docker pull mysql:8.0.36不要以為隨便找臺機器現(xiàn)拉也能 1 分鐘搞定國內(nèi)鏡像源高峰期一個接近 100MB 的鏡像拉取時間能讓你直接破防。提前備好鏡像后面的操作才真正是讀秒級別的。3. 一分鐘搭建的關(guān)鍵批量生成 Compose 配置3.1 設(shè)計思路寫一份模板用一個變量驅(qū)動 10 套純手工寫 20 個 service 段是愚蠢且低效的。我的做法是準(zhǔn)備一個小的 shell 腳本gen_cluster.sh通過一個循環(huán)變量生成完整的docker-compose.yml。腳本不復(fù)雜但對格式極其敏感尤其是 YAML 縮進少一個空格容器編排階段就會報錯。腳本核心邏輯是定義一個要生成的集群數(shù)量比如CLUSTER_NUM10。定義一個基礎(chǔ)端口比如BASE_PORT13306。循環(huán)生成每個集群的主從兩個 service 段。拼接生成docker-compose.yml文件。這里的核心點是每個主庫的server_id必須全局唯一。MySQL 復(fù)制協(xié)議中從庫連接主庫時會以 server-id 標(biāo)識自己如果兩個從庫用了相同的 server-id主庫會踢掉舊連接導(dǎo)致其中一個從庫頻繁斷連。我在批量生成時把 server_id 設(shè)計為“集群編號2-1”是主庫“集群編號2”是從庫這樣 10 套集群的 server_id 分別為 1 到 20兩兩集群之間完全不沖突。3.2 批量生成 docker-compose.yml 的代碼實現(xiàn)下面是實際跑通過的腳本我簡化了部分注釋保留了核心邏輯。腳本內(nèi)容本身可以直接抄但請你先理解每一步再運行#!/bin/bash CLUSTER_NUM10 BASE_PORT13306 MYSQL_ROOT_PASSWORDRoot123456 REPL_USERrepl_user REPL_PASSWORDRepl123456 OUT_FILEdocker-compose.yml cat $OUT_FILE EOF services: EOF for ((i1; iCLUSTER_NUM; i)); do MASTER_PORT$((BASE_PORT (i-1)*2)) SLAVE_PORT$((MASTER_PORT 1)) MASTER_ID$((i*2 - 1)) SLAVE_ID$((i*2)) cat $OUT_FILE EOF mysql-master-${i}: image: mysql:8.0.36 container_name: mysql-master-${i} restart: unless-stopped ports: - ${MASTER_PORT}:3306 environment: MYSQL_ROOT_PASSWORD: ${MYSQL_ROOT_PASSWORD} command: - --server-id${MASTER_ID} - --log-binmysql-bin - --gtid_modeON - --enforce_gtid_consistencyON - --binlog_formatROW - --default_authentication_pluginmysql_native_password volumes: - mysql-master-${i}-data:/var/lib/mysql networks: mysql-cluster-net: ipv4_address: 172.28.${i}.10 mysql-slave-${i}: image: mysql:8.0.36 container_name: mysql-slave-${i} restart: unless-stopped depends_on: - mysql-master-${i} ports: - ${SLAVE_PORT}:3306 environment: MYSQL_ROOT_PASSWORD: ${MYSQL_ROOT_PASSWORD} command: - --server-id${SLAVE_ID} - --gtid_modeON - --enforce_gtid_consistencyON - --read_onlyON - --super_read_onlyON volumes: - mysql-slave-${i}-data:/var/lib/mysql networks: mysql-cluster-net: ipv4_address: 172.28.${i}.20 EOF done cat $OUT_FILE EOF volumes: EOF for ((i1; iCLUSTER_NUM; i)); do cat $OUT_FILE EOF mysql-master-${i}-data: name: mysql-master-${i}-data mysql-slave-${i}-data: name: mysql-slave-${i}-data EOF done cat $OUT_FILE EOF networks: mysql-cluster-net: driver: bridge ipam: config: - subnet: 172.28.0.0/16 EOF echo Generated $OUT_FILE with $CLUSTER_NUM clusters這里有一個必須注意的細節(jié)MySQL 8.0 官方鏡像中默認(rèn)認(rèn)證插件是 caching_sha2_password我在主庫命令中顯式指定了--default_authentication_pluginmysql_native_password。原因是復(fù)制賬號在老認(rèn)證插件下更容易被兼容適配雖然 8.0 本身支持 caching_sha2_password但客戶端驅(qū)動和中間件五花八門一不小心就報Authentication plugin caching_sha2_password cannot be loaded。如果目標(biāo)是生產(chǎn)環(huán)境且客戶端版本明確支持可以不用這個參數(shù)但批量測試場景我建議加上省掉一大片兼容性麻煩。網(wǎng)絡(luò)方面我給每套集群分配了獨立網(wǎng)段172.28.${i}.0/24主庫固定172.28.${i}.10從庫固定172.28.${i}.20。這樣主從之間的通訊地址不需要依賴 DNS 解析也不容易因為容器重建導(dǎo)致 IP 變化。這種規(guī)劃對于批量管理非常友好后期寫巡檢腳本時直接按 IP 遍歷即可。3.3 啟動容器的一個坑IPv4 子網(wǎng)不能鋪太大執(zhí)行docker compose up -d前我特意把 network 子網(wǎng)限制在172.28.0.0/16而不是默認(rèn)的橋接網(wǎng)絡(luò)。很多人直接省略 network 配置讓 Compose 自己創(chuàng)建默認(rèn)網(wǎng)絡(luò)也能跑但默認(rèn)網(wǎng)絡(luò)不支持指定靜態(tài) IP而且不同項目之間的網(wǎng)絡(luò)隔離不夠徹底。當(dāng)你有 10 套集群同時起時默認(rèn)網(wǎng)絡(luò)會把它們?nèi)糠旁谕粋€網(wǎng)段將來做網(wǎng)絡(luò)策略限制時你根本沒法區(qū)分。子網(wǎng)不能鋪太大還有另一個原因預(yù)留子網(wǎng)沖突。172.28.0.0/16這個網(wǎng)段如果和公司局域網(wǎng)沖突容器通信就會異常。我在一個客戶的服務(wù)器上就遇到過他們的內(nèi)網(wǎng)恰好占了 172.28.0.0/16Docker 自動分配的網(wǎng)段一啟動就把公司網(wǎng)絡(luò)搞懵了。所以部署前先查一下當(dāng)前機器上已有的 docker 網(wǎng)絡(luò)docker network ls如果有其他項目已經(jīng)占了類似網(wǎng)段就換一個不沖突的比如172.29.0.0/16或 10.88.0.0/16。3.4 啟動命令與快速驗證鏡像準(zhǔn)備好、配置文件生成好后啟動命令只有一行docker compose up -d在 10 套集群規(guī)模下第一次啟動需要初始化數(shù)據(jù)目錄通常會等一會兒。但如果你的數(shù)據(jù)卷是全新的、鏡像已緩存、磁盤是 SSD實測從執(zhí)行命令到 20 個容器全部顯示Up大約 40 秒到 1 分鐘。這也是標(biāo)題“1分鐘搭建10套MySQL主從集群”這句話的真正來源——它指的是容器全部正常啟動而不是把復(fù)制鏈路也初始化完。容器啟動后先用一個命令檢查全局狀態(tài)docker compose ps --format table {{.Name}}\t{{.Status}}\t{{.Ports}}這個輸出會顯示每個容器的狀態(tài)。如果你看到某個容器反復(fù) restart大概率是 MySQL 初始化失敗。此時去看對應(yīng)容器日志docker logs mysql-master-1 --tail 50最常見的失敗原因有兩個一是掛載的 volume 權(quán)限問題容器內(nèi) mysql 用戶無法寫入數(shù)據(jù)目錄二是配置文件或其他參數(shù)沖突導(dǎo)致 MySQL 無法完成初始化。前者在官方鏡像中相對少見后者通常和 my.cnf 里配了 Compose 命令行中重復(fù)的參數(shù)有關(guān)。還有一點要提醒不要看到 20 個容器都 Up 就以為萬事大吉。MySQL 容器對外表現(xiàn)為 Up內(nèi)部可能還在進行初始化。需要在容器內(nèi)實際執(zhí)行mysqladmin ping確認(rèn)。批量檢查時可以用一行循環(huán)for i in $(seq 1 10); do docker exec mysql-master-$i mysqladmin ping -h127.0.0.1 -uroot -pRoot123456 2/dev/null docker exec mysql-slave-$i mysqladmin ping -h127.0.0.1 -uroot -pRoot123456 2/dev/null done全部返回mysqld is alive后容器層才算就緒。4. 復(fù)制鏈路的初始化與驗證十套集群一起搞定4.1 在主庫創(chuàng)建復(fù)制賬號并授權(quán)容器全部啟動后剩下就是配置復(fù)制鏈路。自動化的思路是寫一個初始化腳本依次對 10 套集群執(zhí)行。但在此之前我先手動對第一套集群做一遍完整流程確保每一步命令正確然后再批量執(zhí)行。這個習(xí)慣能幫你少踩很多雷尤其是 SQL 寫錯時你只需要改一次腳本而不是在 20 個容器里逐個補救。先在主庫創(chuàng)建復(fù)制專用賬號。這個賬號在從庫連接主庫時使用必須具備REPLICATION SLAVE權(quán)限8.0 里對應(yīng)REPLICATION SLAVE。在主庫執(zhí)行CREATE USER repl_user% IDENTIFIED WITH mysql_native_password BY Repl123456; GRANT REPLICATION SLAVE ON *.* TO repl_user%; FLUSH PRIVILEGES;賬號權(quán)限最小化是鐵律。不要圖省事直接給repl_user授予 ALL PRIVILEGES 或者 SUPER 權(quán)限復(fù)制鏈路只需要 REPLICATION 相關(guān)權(quán)限多余的權(quán)限只會增加安全事故風(fēng)險。順便提一句如果你的業(yè)務(wù)要配置級聯(lián)復(fù)制那才需要給中繼主庫額外權(quán)限而普通主從場景不必。接著確認(rèn)主庫當(dāng)前的 GTID 狀態(tài)。GTID 模式下不再需要獲取 File 和 Position但需要確保gtid_mode已開啟并且enforce_gtid_consistency生效??梢詧?zhí)行SHOW VARIABLES LIKE gtid_mode; SHOW MASTER STATUS\G;在 GTID 模式下SHOW MASTER STATUS返回的File和Position字段已經(jīng)不再用于啟動復(fù)制而是看Executed_Gtid_Set。這個值會記錄已經(jīng)執(zhí)行過的 GTID 集合從庫啟動復(fù)制時只需要知道從哪個 GTID 開始即可。4.2 從庫執(zhí)行 CHANGE MASTER TO 并啟動復(fù)制從庫上執(zhí)行的語句如下我以集群 1 的從庫連接集群 1 的主庫為例CHANGE MASTER TO MASTER_HOST172.28.1.10, MASTER_PORT3306, MASTER_USERrepl_user, MASTER_PASSWORDRepl123456, MASTER_AUTO_POSITION1; START SLAVE;注意MASTER_AUTO_POSITION1這一行是 GTID 模式的核心。它告訴從庫不要再監(jiān)聽 File 和 Position改用 GTID 自動定位到主庫的 binlog 位置。如果不加這個參數(shù)MySQL 默認(rèn)會認(rèn)為你要用老協(xié)議直接報錯或者無法正確同步。從庫的MASTER_HOST用的是容器內(nèi)部網(wǎng)絡(luò)地址不是宿主機的映射端口地址。這一點很重要它體現(xiàn)的是“容器間通信”與“宿主機訪問”兩個視角。如果你在宿主機上用mysql -h127.0.0.1 -P13307去連從庫那意味著你在走宿主機端口映射但從庫內(nèi)部連接主庫時它處于容器網(wǎng)絡(luò)里必須用容器 IP 或容器服務(wù)名。第二套到第十套集群的復(fù)制鏈路原理完全一樣只是 IP 變化。對于批量操作我寫了一個init_replication.sh核心是在每套集群的主庫創(chuàng)建賬號然后到從庫執(zhí)行 CHANGE MASTER TO 和 START SLAVE。注意腳本里要捕獲每個步驟的返回值任何一個從庫啟動失敗都不能靜默忽略。4.3 驗證復(fù)制狀態(tài)三個字段決定成敗配置完復(fù)制后驗證是必不可少的一步。在每套集群的從庫上執(zhí)行SHOW SLAVE STATUS\G;最需要關(guān)注的字段如下表字段正常值異常含義Slave_IO_RunningYesIO 線程未運行連接主庫失敗Slave_SQL_RunningYesSQL 線程未運行回放 relay log 出錯Seconds_Behind_Master0 或接近 0數(shù)值持續(xù)增大代表從庫延遲嚴(yán)重Last_IO_Error空有內(nèi)容則代表網(wǎng)絡(luò)或認(rèn)證問題Last_SQL_Error空有內(nèi)容則代表回放出錯Retrieved_Gtid_Set非空從庫尚未拉到任何 GTID 時為空第一次搭建時我遇到過Slave_IO_Running一直是Connecting的情況最開始以為是網(wǎng)絡(luò)問題后來才發(fā)現(xiàn)是復(fù)制賬號密碼寫錯了Last_IO_Error里明確提示Access denied for user repl_user。所以只要看到 IO 線程不是 Yes第一件事就看Last_IO_Error不要瞎猜。驗證全部通過后還可以做一次實際的寫入測試。在集群 1 主庫建一張表插入數(shù)據(jù)然后從庫查詢-- 主庫執(zhí)行 CREATE DATABASE test_db; USE test_db; CREATE TABLE t1 (id INT PRIMARY KEY, name VARCHAR(20)); INSERT INTO t1 VALUES (1, hello); -- 從庫查詢 USE test_db; SELECT * FROM t1;如果從庫能查到1|hello說明 binlog 事件通過 dump - IO - SQL 全鏈路回放成功這套主從就是活的。這一步最有說服力比任何狀態(tài)字段都真實。4.4 批量驗證腳本的思路手動查 10 套集群的狀態(tài)太浪費時間我封裝了一個驗證腳本邏輯很簡單對每個從庫循環(huán)執(zhí)行SHOW SLAVE STATUS用 grep 或 awk 抓關(guān)鍵字段把所有異常實例匯總輸出。for i in $(seq 1 10); do docker exec mysql-slave-$i mysql -uroot -pRoot123456 -e SHOW SLAVE STATUS\G 2/dev/null | grep -E Slave_IO_Running|Slave_SQL_Running|Seconds_Behind_Master | tr \n echo - cluster $i slave done沒驗證之前你可能不知道批量腳本最大的價值是什么。當(dāng)你手動執(zhí)行了二十遍 CHANGE MASTER TO 后你會發(fā)現(xiàn)任何可以“重復(fù)做”的操作都值得寫成腳本。5. 常見問題與排查策略這四十個容器讓我踩遍了坑說實話我第一次寫這套腳本時并沒有一次通過前后折騰到凌晨。如果你照著上文操作大概率會踩到如下幾個問題我把它們按出現(xiàn)頻率從高到低排個序。5.1 Container 反復(fù)重啟數(shù)據(jù)卷權(quán)限出問題現(xiàn)象docker compose ps看到某些容器 STATUS 為Restarting日志里有Permission denied或Cant open the mysql.plugin table。原因數(shù)據(jù)卷目錄上的權(quán)限不對。官方鏡像在容器內(nèi)是以mysql用戶運行的如果宿主機掛載的目錄是 root 所有容器內(nèi)的 mysql 用戶沒有寫權(quán)限初始化直接失敗。解決辦法掛載卷時可以顯式指定:ZSELinux 環(huán)境或檢查目錄權(quán)限最穩(wěn)妥的是不掛宿主機目錄到/var/lib/mysql而是用 Docker named volume也就是上文腳本里做的volumes: mysql-master-${i}-data:/var/lib/mysql。Named volume 由 Docker 接管權(quán)限天然避開這個問題。5.2 從庫 IO 線程連接不上主庫總是在 Connecting這種問題我在新環(huán)境里遇到過好幾次。排查順序應(yīng)當(dāng)固定為檢查從庫與主庫的容器網(wǎng)絡(luò)連通性。進入從庫容器ping 主庫容器 IP。檢查主庫的復(fù)制賬號是否存在、密碼是否正確、host 是否允許遠程。賬號 host 必須覆蓋從庫來源 IP 對應(yīng)的范圍比如%。檢查主庫和從庫的 server_id 是否重復(fù)。如果從庫 1 的 server_id 和從庫 2 相同主庫會認(rèn)為連接沖突。檢查防火墻。這里說的是宿主機防火墻不是 Docker 內(nèi)防火墻。雖然容器間通信一般不受宿主機防火墻 影響但如果某些環(huán)境啟用了 docker 網(wǎng)橋規(guī)則就需要額外注意。把Last_IO_Error拿過來逐字讀是最重要的MySQL 在這條錯誤信息里提供了非常明確的提示。5.3 SQL 線程報錯主從數(shù)據(jù)不一致或 relay log 損壞現(xiàn)象Slave_SQL_RunningNoLast_SQL_Error里通常是 1062主鍵沖突或 1032記錄不存在。原因從庫上有人寫過數(shù)據(jù)或者主庫上某條 DDL/DML 在從庫執(zhí)行時因為表結(jié)構(gòu)差異失敗。處理方式如果數(shù)據(jù)不一致是測試環(huán)境可以直接重建復(fù)制鏈路。要最大程度保持從庫與原主庫一致需要在從庫上STOP SLAVE; RESET SLAVE ALL;然后重新 CHANGE MASTER TO。如果錯誤已經(jīng)發(fā)生且不影響大局也可以跳過該事務(wù)執(zhí)行SET GLOBAL sql_slave_skip_counter 1;再START SLAVE;但這是應(yīng)急手段生產(chǎn)中不建議濫用。5.4 認(rèn)證插件導(dǎo)致復(fù)制失敗這是 8.0 特有的坑。如果主庫沒設(shè)置default_authentication_pluginmysql_native_password同時從庫的賬號使用了caching_sha2_password連接時有一定概率需要 RSA 加密傳輸公鑰環(huán)境復(fù)雜時就會出現(xiàn)類似Authentication plugin caching_sha2_password reported error: Authentication requires secure connection的報錯。我在腳本里直接在主庫命令中植入mysql_native_password就是為了規(guī)避這層麻煩。如果你的業(yè)務(wù)環(huán)境強制要求caching_sha2_password那從庫做 CHANGE MASTER TO 時需要額外配置MASTER_SSL相關(guān)參數(shù)或者確保網(wǎng)絡(luò)傳輸本身是加密的。這個復(fù)雜度遠高于用 native password所以我建議測試環(huán)境或內(nèi)部環(huán)境統(tǒng)一用 mysql_native_password。5.5 容器能啟動但 mysql 命令報ERROR 2002 (HY000): Cant connect to local MySQL server through socket這個熱搜詞很多人搜到過。在 Docker 容器內(nèi)執(zhí)行mysql -uroot -p時默認(rèn)會嘗試連接/var/run/mysqld/mysqld.sock如果 socket 文件路徑不對就會報這個錯。解決辦法是顯式指定 TCP 方式連接mysql -h127.0.0.1 -P3306 -uroot -p在批量腳本里尤其要注意凡是給mysql客戶端傳-h參數(shù)就不要再依賴 socket 連接。因為容器內(nèi)部不僅 MySQL socket 路徑與宿主機隔離而且你可能還需要連接其他容器的 MySQL那本身就只能走 TCP。5.6 磁盤空間不足InnoDB 初始化失敗這是批量啟動 20 個容器后最常見的慢性病。剛開始一切正常跑幾輪數(shù)據(jù)寫入和刪除測試后宿主機磁盤被 binlog 吃滿。解決方案有兩個層面一是配置 MySQL 的 binlog 過期時間在容器啟動命令中加--binlog_expire_logs_seconds86400讓超過一天的 binlog 自動清理二是定時巡檢磁盤使用率尤其是 Docker 數(shù)據(jù)目錄。如果已經(jīng)出現(xiàn)InnoDB: Operating system error number 28立即清理懸空容器和未使用的鏡像刪除不必要的舊數(shù)據(jù)卷docker system df docker volume prune注意docker volume prune要小心它會刪掉所有未使用的 volume如果里面有舊數(shù)據(jù)想保留先做好確認(rèn)。6. 一點實操后的心得體會這套基于 Docker Compose 批量部署 10 套 MySQL 主從的方案我前后在兩個不同項目里驗證過一個用于主從故障演練一個用于中間件的讀寫分離測試。我的體會是Docker Compose 的最大價值不是“生產(chǎn)環(huán)境高可用”而是讓你用最低的成本把復(fù)雜的復(fù)制拓?fù)鋸南敕ㄗ兂涩F(xiàn)實反復(fù)驗證原理、排查問題、鍛煉操作手感。如果后續(xù)你還想繼續(xù)擴展可以在同一套網(wǎng)絡(luò)架構(gòu)里加入 MHA 或 Orchestrator 容器做主庫自動故障切換的演練也可以加一個 ProxySQL 容器把 10 套集群的從庫都掛到同一個讀寫分離入口測試只讀負(fù)載均衡還可以在集群里故意制造延遲觀察Seconds_Behind_Master的波動加深對半同步復(fù)制、異步復(fù)制差異的理解。最后分享一個小技巧批量場景下所有“一次性”的初始化操作都值得寫進腳本里但所有“探索性”的排查操作都建議先在單套集群上手工跑通。別急于追求自動化先把第一套集群的原理搞透再去批量化。我見過太多人直接拿別人腳本一把梭最后 20 個容器全都起來了卻根本不知道主從復(fù)制是怎么工作的出了問題連日志都不會看。這套東西上手快但真正值錢的是你對那三張線程表和幾個狀態(tài)字段的理解深度。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
狠狠爱婷婷丁香| 伊人色综合久久久| 伊人五月婷婷| 99色色| 成人无码髙潮喷水A片| 91在线精品一区二区| 91色在线/日韩| 五月激情久久综合网| 亭亭五月色男人| 色色六月| 五月婷婷 六月丁香| 91视频五月丁香| 久久婷婷亚洲| 国产亚洲色婷婷久久99精品91| 久久99热久久99精品| 婷婷欧美| 热中文字幕| 婷婷网五月天| 日韩在线视频9色| WWW.天天日| 婷婷爱五月| 超碰AV在线| 国产无人区大片| 99惹精品视频| 激情五月四色| 精品久久婷婷五月天| 色五月天综合网| 久久人操-久草婷婷-成人AV| 丁香五月成人在线| 婷婷成人基地| 啪啪五月天啪啪| 五月综合视频| 激情网开心网| 五月天另类小说久久小说网| 996日日爱| 91丨九色丨首页| 亚洲色欲欧美一区二区三区| 99这里只有精| 亚洲综合色网站| 六月综合婷婷开心伊人| 玖玖在线视频福利| 色婷婷久久| 免费AV在线| 综合久久五月天| 91干99| 男人综合网| 天天色播| 五月婷婷激情四季| 成人综合网站| 婷婷亚洲在线| 综合激情五月四射婷婷| 婷婷五月激情黄色| 久久伦乱| 97色干| 婷婷天堂站| 九九爱这里只有精品| 99ri在线视频| 五月天激情视频五月天| 久热久操久热久草国产91| 亚洲传媒在线观看| 欧美va亚洲va在线播放| 99精品视频免费在线播放| 第四色在线观看| www.婷婷五月天啪啪| 久久婷婷五月天| 五月丁香色婷婷综合| 婷婷热色| 九九综合九九| 五月天第四色开心色播| 中文字幕无线久必| 五月天五月天成人网亭亭成人色网站| 婷婷少妇激情| 91男女视频在线观看| 婷婷五月天伊人网在线观看视频| www.色色com| 午夜天堂啪啪| 婷婷激情蜜桃玖玖丁香| 午夜成人在线免费视频| 一月婷婷色色| 婷婷色五月亚洲| 激情四射亚洲| 99爱这里只有精品免费视频| 色色色色色色色色色999| 婷婷综合视频| 婷婷丁香成人色综合| 伊人激情啪啪| 日日撸日日操| 99热在线观看| 国产av第一专区| 色色丁香婷婷综合| 思思热在线视频99| av中文在线| 99碰碰。| 91精品丝袜久久久久久| 亚洲综合色丁香五月天| 综合久久综合久久| 超碰97色| 免费视频1区| 九九色大香蕉| 综合狠狠干| 色婷婷色九月| 日本韩国视频在线观看社区免费的9| 亭亭五月丁香五月天激情| 狠狠 婷婷| 日韩黄色电影| 婷婷之玖玖| 激情婷婷五月天| 色综合久久中文| WWW,色五月| 久久sp免费视频| 99久视频| 久久久精品人妻| 99成人免费热视频| 久久网站观看免费欧洲国产| 日本99在线视频| 中文成人在线| 99在线观看| 久久久27操| 日韩色五月| 情情五月天色| 丁香六月色婷婷| 91综合视频在线| 欧美顶级少妇做爰HD| 久久久激情视频| 久99热在线观看| 久久久精久人妻| 久热最新视频| 亚洲色婷婷99一9|| 99热思思在线观看| 九九精品在线视频观看| 婷婷九月激情| 精品激情| 久久99热只有精品| 操人妻90p| 思思色播| 97色色-99久久| wwwss在线观看| 日韩综合网络男女香蕉a片| 加勒比日本一区二区三区| 玖玖婷婷五月| 久久婷婷亚洲| www五月| 亚洲色无码A片一区二区麻豆| 久久99网站| 97婷婷狠狠| 免费啪啪亚州视频| 婷婷综合精品| 丁香五月影视| 噼里啪啦在线观看免费完整版视频 | 婷婷综合性爱网| 色综合色香蕉网| 婷婷五月天成人视频| 欧美三级大片AA在线看| 日本高清不卡免费一区二区三区| 国产激情在线| 99精品无码视频| 超碰人人在线| 超碰操网| 色色色视频免费无码 | 九九热黄色| 99re视频在线播放| 久热9| 无码色| 五月天婷婷丁香成人网| 九九久久久综合| 婷色视频| 人妻狠狠操| 五月丁香婷婷五月色| 精品一区二区三区木瓜| 97五月久久丁香婷婷| 91窝窝| 亚洲黄3级片网站欧美| 久久婷婷综合网| 久久欧洲久久| 亚洲99热| 99色综合| 久久密臀婷婷| 天天操九九插| 激情五月综合| 成年人丁香五月| 国产欧美性成人精品午夜| 国产AV不卡福利| 五月丁香狠狠爱| 激情综合网,五月| 狠狠色噜噜狠狠狠888| 99在线精品视频| 香蕉影院色| 久久99精品久久久久久青青AR| 婷婷丁香五另类网站| 婷婷五月天干干| 五月丁香久久综合| 激情婷婷五月综合| 99成人精品六| 日韩黄黄| 美女伊人久久| hd五月婷婷在线| 色播婷婷五月天| 超碰97久久| 五月婷婷色综图片| 色婷婷基地 | 99色综合网| 五月丁香花激情综合网| 色丁香五月| 中文字幕 中文字幕明步| 大香蕉伊人99| 色婷婷成人五月| 久草五月| 99riAV国产精品视频| 天天爱天天做综合| 99热这里只有精品55| 9999热在线免费观看| 五月丁香婷婷人体| 久9视频| 色色五月综合| 狠狠干综合网| 狠狠色中色| 森林影视大全,最好看的2019年视频 | 天天天天天色| 乱精品一区字幕二区| 日韩不卡DvD| 五月丁香六月婷婷操操操| 国产乱妇乱子在线播视频播放网站| 综合五月丁香六月婷婷| 无码人妻一区| 美女婷婷激情亚洲| 26uuu亚洲欧美| 丁香五月天激情综合| 久久久久激情网| 五月丁香六月婷婷综合网站| 激情婷婷五月社区| 久久av电影| 国产亚洲色婷婷久久99精品91| AV在线免费播放| 91丨九色丨丰满人妖| 99热网站| 激情丁香五月天| 日韩啪啪视频| 91精品婷婷国产综合久久| 色哟哟性爱av| 五月婷婷啪啪啪| 男人的天堂五月丁香| 婷婷五月天播播| 97超碰色| 99热伊人| 六月婷婷视频| 超碰久热| 五月丁香在线| 五月 婷婷 成人| 色婷婷六月天| 久草热久草在线视频| 婷婷五月天黄色| 天天天天天日| 成人网站av免费网站推荐| 色婷婷丁香五月天在线观看| 五月天怕怕| 97色色综合| www.九月婷婷丁香.com| 六月婷婷色| 成人国产欧美大片一区| 婷婷五月开心中文字幕在线| 少妇AB又爽又紧无码网站| 五月婷婷就去色| 中文字幕人妻熟女在线| 婷婷五月天成人基地| 久久九九网| 五月婷婷香蕉| 综合婷婷| 丁香婷婷五月六月天| 99啪在线视频| 五月婷婷AV| 99国产性感视频| 中文AV在线播放| 国产精品久久久久久妇女6080| 人妻精品久久久久久久| 91久久色| 伍月婷丁香花全集| 18av天堂| 夜夜躁婷婷AV| 五月天色色网站| 五月丁香婷婷综合网| AV天堂淫乩| 婷婷久久五月天丁香| 99热久久这里只有精品| 99热在线播放| www.日韩国产| 婷婷六月天亚州| 综合色色婷婷| 伊人久久大香| 婷婷五月黄色激情在线| 婷婷亚州综合| 老妇六区| 国色天香成人网| 99热这里都是精品| 丁香五月婷婷色| AV伊人青草丁香六月| 操碰久| 亚洲乱码日产精品BD| 伊人国产婷婷五月天| 九九色热| 亚洲性受XXXX五月丁香| 久热超碰91| 人妻视频一区而且二区| 天天干天天做| a网站免费观看| 人人操五月天| 色婷婷五月中文字幕在线dvd| 久热视频A.| 99热免费精品| 久久新| 99热热这里只精品996小说| 麻豆观看夏晴子| 激情av在线| 91狠狠综合久久| 色婷婷呢狠禁久禁| 国产美女无遮挡裸体毛片A片| 欧美性爱五月天| 天天肏天天爽夜夜爽| 亚洲午夜精品久久久久久人妖| 99热这里有精品首页10| 99热销国产这里有精品| 婷婷五月天丁香激情| 九久久精品视频99| 五月丁香毛片| av免费在线网站| 97干网站| 亚洲九区| 《诡秘之主》在线观看| 五月丁香天堂网婷婷| 性 色 婷婷| 一级片sese片.COM| 五月天激情中文字幕| 五月丁香综合久久| 一级性爱视频| 99这里只有精| 国产成人av在线| 激情婷婷综合| 色网站9| 日本色超碰| 天天色综网| 超碰日韩人妻在线| 久久图色4| 青青草99热久久精品国| 99啪啪视频| 99热欧美在线观看| 五月色丁香视频精品| 五月婷丁香| 婷婷五月天伊人| 99热99色| 婷婷久久色| 琪琪理论片| 丁香婷婷色五月天| 伊人激情啪啪| 日本黄色三级片内射| 日本人妻久久| 久久久18| 婷婷婷五月天最新综合你懂的| 婷婷五月噜噜| 天天射影院| 五月丁香六月婷婷网| 五月丁香天堂网| 超碰色综合| 色色欧美色色色| 综合色网站| 久久er免费视频| 五月天精品视频| 超碰成人在线观看| 六月丁香啪| 亚洲另类电影| 第四色首页| 99精品综合| 婷婷五月开心六月AV| 欧美日韩91| 第四色五月天| 一本大道熟女人妻中文字幕在线| 在线免费观看激情视频| 天天模,夜夜模夜夜爽| 激情五月综合网| 天堂呦 呦百度搜索-百度搜索| 国产精品久久久久久白浆色欲| 9999热这里只有精品| 人操人人| 五月激情网五月综合网| 丁香综合网| 97久久五月丁香婷婷| 思思久久99热只有频精品66| 五月婷婷六月丁香综合| 黄色热99| 99爱免费在线观看| 婷婷色在线播放| 开心色五月天久久久久久久| 色色色色网站| 丁香五月色色| 在线另类视频| 五月天怕怕| 婷婷.com| 婷婷9月天| 无码地址| 91九色在线| 日本精品99| 婷婷九月丁香| 激情婷婷色色| 國語久久婷| 国产精品国产| 电影爱拉战争免费观看| WWW久久久| 日本色99| 97人人干| 九九人人操| 久久精品4| 日本三级韩三级99久久| www.婷婷五月| 九九色热| 99热这里只有精品2| 丁香五月婷婷综合视频| 色五月丁香婷婷久草| 欧美性爱专区| 色婷婷影音| 97精品人人A片免费看| 综合激情五月四射婷婷| 日韩一区二区A片免费观看 | 丁香色播五月天| 色婷婷狠狠| 久久五月天激情| 性色播| 婷婷五月色天| 最新精品视频99| 国产亚洲精品AAAAAAA片| 五月总合激情网| 婷婷天堂站| 色五月91| 色人久久| www 五月天 com| 色五月情| 人人摸人人| 激情久久网 | 激情婷婷五月社区| 一起草Av| 五月婷五月婷伊人伊人五月婷| 欧美色图天堂网| 538久久| 日本A片一区| 久久伊人五月天| 超碰人人99| 一级精品999WWW| 99re思思在线视频| 99啪99| 偷偷狠狠久久婷婷五月天| 五月天久久色| 99久久大片| 色情五月| 五月丁香香蕉| 丁香五月欧美激情| www色婷婷com| 欧美顶级少妇做爰HD| 五月天色婷婷基地| 狠狠久久婷婷| 久久人妻久久| 六月婷婷激情小说网| 亚洲乱码w在线观看| 五月丁香色情| 婷婷黄色五月天在线视频| 激情五月婷婷老师| 亚洲成人婷婷| 婷婷色五月丁香六月欧美啪| 91精品丝袜久久久久久| 六月丁香激情| 国产日日操夜夜操的肉棒视频| 伊人久久大香| 色热久| 久久久月丁香| 黄色aa观看aaguochan| 在线视频99| 超碰色天堂| 五月丁香六月激情| 丁香五月婷婷激情中文| 很很操很很操| 91九色中文| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 日日干夜夜撸夜夜骑| 九九热青青草| 天天操天天曰| 久热中文字幕| 91视屏在线观看com.wwwvv| 综合久久综合久久| 欧美色必爱| 91超级碰碰碰| 五月丁香六月婷婷婷婷| 99热大香蕉| 大香蕉伊在| 噼里啪啦在线观看免费完整版视频 | 精品色| 激情5月婷婷| www.日日日.com| 国产亚洲色婷婷99精品| 婷婷她六月天| 六月丁香成人| 亚洲愉拍99热成人精品| 五月天色五月天| 色婷六月| 婷婷欧美激情综合| 91成人电影| 久久日婷婷| 熟女人妻一区二区三区免费看| 五月婷激情影院| av久热| 激情丁香婷婷六月天| 国产乱人偷精品人妻A片| 开心深爱激情网| 丁香五月天啪啪a日本| 天天色综合网1| 色久播播| 五月婷婷六月丁香综合视频在线| 婷婷丁香六月| 午夜成人综合| 色婷婷9| 91热在线| 五月婷婷开心深| 在线成人网址| 色色热| 99综合免费视频| 99久热视频在线| 亚洲日日操| 97干欧美| 蜜臀嫩草| 2020久久婷婷五月| 色情·com| 成人超碰AV| 99热99在线| 婷婷丁香五月亚洲欧美| a九九热www| 丁香色婷婷| 午夜日韩久久久网站| 激情 久久 婷婷| 久热精彩视频98| 五月婷久久草| 丁香五月婷婷六月婷婷| 亚洲女婷婷五月基地综合久久久| 狠狠狠狠狠草| 丁香五月婷婷av| 婷婷成人视频| 97色天堂| 九九热黄色| 国产午夜精品一区二区三区嫩草| 噜噜五月天综合| 婷婷激情图片| 拍真实国产伦偷精品| 久草婷婷视频| 中文在线成人| 色欲色天天香综合| www.色五月| 久久久五月激| 超碰99久久| 五月婷婷五月天| 一级操逼内射在线视频| 亚洲成人免费电影| 日本欧美成人片AAAA| 97超碰,人人舔,人人操,人人摸 | 99精品视频推荐| 人妻爽爽爽久久久久久久久| 丁香涩涩爱| 色射影院| 久久全色| 久久婷五月婷| 强伦轩人妻一区二区电影| 无码人妻电影| 日本不卡一区二区三区| 成片免费观看大全| 蜜乳9188| 天堂草在线看www| 久99| 玖玖在线视| 五月丁香六月婷婷久久久综合| 天天综合色综合| 日本色视| 97搞在线| 9999热在线免费观看| 97色色色色色色色| 国产精品久久99| 婷婷五月天日日日干干干| 日本va欧美va国产激情| 99热亚洲| 九月色婷婷婷| 综合五月天天天天天五月| 色五月丁香伊人| 欧美99热| 伊人久久丁香五月91| 26UUU成人网| 情婷婷五月天| 色播婷婷五月天| 久久全意婷婷| 亚洲天堂久久| 六月丁AV| 69精品人人人人| 六月激情丁香一道本7777| 丁香五月日韩| 香蕉人在线香蕉人在线 | 任你弄在线视频免费| 久热九九| 婷婷色五月天在线观看| 狠狠插狠狠插| 婷香狠狠爱五月| 婷婷六月天精品| 99热这里只有精品青草| 五月婷婷很很色| 五月天婷婷丁香蜜桃91| 开心五月婷婷| 久久66er久久| 日本网站久久| PORNY九色9l自拍视频成人| 亚洲爆乳无码精品AAA片蜜桃| 天堂中文国产| 国产精品久久久海的味道| 99网| 天天情天天狠天天透| 婷婷月综合| 丁香五月综合激情啪啪| 曰曰久久| 香蕉婷婷| 性爱久久| 欧美美女国产日韩一区二区久| 激情综合五月丁香| 91超级碰碰| tingtingjiqingwuyue| 婷婷五月天福利| 久久视频这里都是精品| 四川BBB搡BBB搡多人乱亂| 丁香六月婷月91婷月| 国产亚洲在线观看| 五月开心婷婷网| 久机视频这只有精品| 国产精品99久久久久久猫咪| 久久五月婷| 五月天丁香啪啪综合| 69精品人人人人| 五月天婷婷黄色| 亚洲国产成人AV在线| 麻豆雪千夏| 综合色图区| 婷婷六月色| 五月婷婷在线视频免费观看| 色色色热| 激情五月四色| 一操久久| XX色综合| 97激情五月天| 美女久久天堂| 99视频只有精品| 激情婷婷五月久久| 白度黄视频| 亚洲网视屏| 激情五月婷婷综合| 激情婷婷丁香| 久色激情| ww久久| 亚洲男女激情| 日本女人久久| 丁香五月天社区| 九月激情网| 淫荡综合网| 成人一区在线观看| 天天在线XXX| 怡红院 久久| 综合色播| 色婷婷综合视频| 天天色综合天天| 国产精品18久久久| 丁香五月成人社区| 丁香六月狠狠干| 婷婷五月丁香久久| 九九热短视频在线观看| 麻豆忘忧草午夜| 青草激情综合| 久久99这里只有精品视频| 俺去也五月| 少妇人妻人伦A片| 激情五月综合网| 亚洲欧美成人在线| 久久这里只有国产精品视频| 久久婷婷网址| 亚洲va成人va成人va在线观看| 婷婷丁香激情综合色情| 成人无码髙潮喷水A片| 久久精品系列| 加勒比色色| 无码橾| 久草婷婷在线| 六月丁香婷| 欧美黄色韩日网| 久热这里只精品| 逼特逼在线免费播放| 丁婷婷五月天在线播放| 深爱五月天 开心网| 99色色网| 成人.在线日韩| 天天色天天日天天舔| 婷婷五月天激情偷拍| 久久99精品久久久| 丁香五月婷婷啪啪| 狠狠插日日干撸| 六月婷婷激情图片| 狠狠色综合网| 91九色白丝| 热九九精品| 五月婷精品| 久热中文字幕在线线观看 | 99国产精品白浆在线观看免费 | 五月天成人在线| 美女黄频aⅴ视频| 99热精品在线在线| 婷婷丁香亚洲色综合91| 开心激情五月天网| 五月天成人在线视频网站| 色婷婷五月天不卡| 国产AV一区二区三区最新精品| www天天色天天射| 天天操天天操| 欧美激情五月天在线观看| 草草视频91| 丁香综合网| 亚洲综合99| 色婷婷AⅤ| 五月丁香六月婷婷综合| 白人荫道BBWBBB大荫道| 婷婷色网| 中文字幕 中文字幕明步| 婷婷五月图片小说网| 5月婷婷综合| 色天天综合天天综合频道。| 国产超碰av| 亚洲丁香婷婷| 日韩黄黄| 99资源人人| 色综合综合综合| 久草婷婷| 亚洲精品一二三| WWW,婷婷,COM| 天堂婷婷丁香六月网| 日本 @ va 免费| 夜夜骑福利资源| 成人色五月天| 另类小说五月天激情| 热99精品视频| 性小说五月天| 丁香五月婷婷欧美成人色图| 操逼福利视频| 深爱激情五月天色婷婷| 激情丁香婷婷六月天| 九月丁香婷婷| 激情五月天黄色小说| 日韩一级片| 九月丁香亭亭| 第四色婷婷最爱| 国产三级秋霞| 亚洲妇女熟BBW| 综合激情在线观看| 丁香五月天堂婷婷| 色婷婷香蕉| 五月丁香啪啪网| 在线不卡视频| 色吊丝99| 欧美精品A片一区在线观看| 99re这里只有精品99| 五月丁香婷婷激情久久| 中文字幕综合| 五月综合激情久久| 人人干av| 亚洲热热视频| 五月丁香六月激情| 丁香五月狠狠在线观看| 碰超亚洲| 99久久97久久欧美综合网| 91精品又长又大又粗又爽又猛| 五月天婷婷免费| 国产乱码久久| 日本在线99| 超碰人人艹| 激情综合五月激情XXXX| 久草婷婷| 久久久月丁香| 五月婷激情| 99色视频| www狠狠爱com| 婷婷性爱影院| 夜夜操天天干| 香蕉99网| 丁香六月婷婷高清| 五月婷婷六月丁香在线| 黄久久久| 日日爽天天| 日韩少妇内射免费播放| 色婷婷亚洲在线观看| 五月丁香六月花| 色综合色| 欧美久久网| 丁香六月久久| 蜜乳中文字| 婷婷九月丁香久久| 这里只有精品在线视频在线观看| 久久电影五月天丁香电影| 久久伊人大香蕉| 色婷婷社区| 欧美日韩中文国产一区发布| 99色在线视频观看| 丁香九月久久| 六月丁香激情最新更新| 久久少妇视频| 色噜噜婷婷| 9福利性视频欧美| 中文字幕色色| 欧洲色区| 99热r| 五月丁香亭亭操逼| 亚洲综合色色| 久久久久久婷| 99热最新| oVV4WIB3vFi8D| www:99热视频| 婷婷五月天电影区小说区| 亚洲婷婷五月天| 色月丁| 婷婷久久内射| 五月婷婷丁香在线| 97超级碰人人| 激情综合色五月六月婷婷| 99成人网一区| 99re热视频这里只精品| 五月丁香啪啪网| 91ncom.色| 五月丁香啪啪网| 久久伦乱| 九九热青青草| 丁香五月中文字幕久色| 亚洲激情综合五月婷婷啪啪| 日韩AV免费电影在线播放| 99热综合网| 99热国产这里只有精品| 狠狠精品干练久久久无码中文字幕 | 五月天色官网| 激情综合丁香六| www一区二区三区| 丁香婷婷色五月天| 国产AV一区二区三区最新精品 | 99久在线精品99re8| 超碰a女人的天堂| 视频这里只有精品| 丁香亚洲色综合| 97在线精品| 亚洲性图一区二区三区| 久久您您综合网| 天天做天天爱天天高潮| 五月婷无码| 午夜AV网| 人人综合久| Www.狠狠| 超碰在线人人| 色综合久久综合中文综合网| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 激情综合青草| 日韩欧美老妇性视频91久久久| 国产AV一区二区三区最新精品| av在线资源| 五月天色五月| 91啪级电影| 久久性爱网| 热99在线精品| 精品人妻伦| 久久精品无码一区| 可以免费观看的av| 五月天综合在线观看视频| 天天摸.天天mo| 日韩人妻白浆视频系列| 超碰99资源站| 久久亚洲婷婷| 五月婷婷开心爱| 97超级操操| 免费看欧美成人A片无码| 丁香五月天网站| 色五月激情五月开心五月| 色玖玖| 国语精品探花| 日韩黄色电影| 日本不卡一区二区三区| 五月丁香基地| 五月天婷综合| 激情五月开心五月丁香五月| 开心婷婷五月天综合| 9色免费网| 丁香婷婷婷婷十二月在线观看视频| 大香蕉婷婷五月天| 激情综合网五月丁香| 亚洲色综久久五月| 天堂AV在线看| 丁香六月中文| 丁香五月婷婷成人色区| 丁香色五月 97干| 色婷婷色和| 精品热青草| 中文成人在线| 五月婷婷影视| 9色操| 激情6月| 免费视频WWW在线观看网站| 99综合久久| 国产色色色色| 亚洲六月婷| 五月天婷婷中文字幕在线播放| 亚洲色婷婷| 天天摸天天肏| 91ncm视频| 丁香久月婷| 久久一级片| 久久九九九九| 丁香色婷婷| 人人视频人人干人人做| 综合激情网五月激情| 91婷婷丁香| 停停五月色宗合| 丁香婷婷五月份| 啪啪综合网| 国产免费一区二区三州老师F1F1| 嫩草乱码一区三区四区| 久热这里这里有精品| 狠狠综合| 九九色热| 丁香五月激情啪啪| 欧美丁香五月97色| 大香蕉视频婷| 丁香五月婷婷欧美性爱| 99热国产| 五月婷婷色播| 色五月偷偷| .精品久久久麻豆国产精品| 久久免费高| 无码激情| 99热热九九| 热久久77777| 婷婷六月爽| 婷婷综合五月| 色播五月丁香| 美日韩成人| 影音先锋91资源站| 色99欧洲色19| 色婷婷综合电影| 久久99久久99精品免观看粉| 狠狠操狠狠狠| 99热成人| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 天天爽日日搞| 丁香六月色婷婷| 婷婷色五月天色| 婷婷丁香五月天小说| 五月天桃色深爱网| 99色在线视频观看| 五月婷婷干| 五月天天天色| 五月色网| 这里只有精品亚洲| 99热这里只有精品13| 99热在线看| 五月婷婷影| 国产一区二区三区影院| 婷婷色欧美激情| 婷婷激情六月| 精品无码av丁香五月激情| 久久精品系列| 人妻久久做| 色综合日日| 婷婷五月香蕉| 99ER热精品视频| 97在线日本| 婷婷 久综合| 久久国产色| 婷婷综合九色伊人| 久久伦乱| 襙逼网| 97人人操人人| 丁香网五月天| www.婷婷六月天| 丁香六月激情蜜桃| av九九| avh片在线观看| 97在线精品| 狠狠色综合久久| 五月花婷婷| 五月丁香五月婷婷| 91色逼| 五月激情在线| 欧美va亚洲va在线播放| 久久99操| 噜噜五月天综合| 狠狠综合网| 亚洲综合视频网| 丁香五月中文字幕久色| se99视频| 大香蕉九九操| 四月婷婷丁香| 涩涩五月天综合| 欧美五月婷婷综合| 97碰人人操| 丁香五月老师| 91 九色 入口| 丁香五月成人| 婷婷区日本| 久99久99精品免| 久热只有精品| 丁香激情综合| 丁香婷婷人妻| 97丁香婷婷| 这里只有精品免费视频| 欧美日韩中文国产一区发布| 亚洲性视频| 五月花激情| 五月久久综合| 袁子仪视频观看| 五月天激情网站| 91精品久久久久久| www.99热精品| 五月丁香另类网| 激情五月婷婷啪啪| 婷婷五月天激情网| 另类图片天天影视在线观看| A1片久久久| 久久五月情| 强伦轩人妻一区二区电影| 91ncm视频| 在线99精品| 人人操AV| 中文网婷婷字幕婷| 五月婷婷成人| 99热全是精品| 丁香五月影院| 五月婷婷综合激情小说| 97干在线| 五月亭亭直播| 玖玖在线| 五月天婷婷成人网| 激情小说视频图片网| 激情五月com| 激情av在线| 婷婷五月天综合久久| 日韩操逼大片| 97在线精品| 综合九色| 婷五月天| 久草视频一,二三四| 激情五月婷婷| 2015好吊操| 搡BBBB搡BBB搡五十| 颜射 精品性爱av| 六月丁香婷婷综合狠狠爱夜夜爱| 天天夜天天色天天| 五婷婷六月合| 思思久ren热| 婷婷久久综合久| 99热这里是精品| 天天干天天爽天天爽| 九九激情| 99激情在线| 怕怕視頻| www.1024久久| 久久婷婷啪啪视频| 另类图片激情五月天| 国产成人精品一区二三区熟女在线 | 九九热亚洲中文在线观看免费| 国产精自产拍久久久久久蜜| 婷婷色成人| 久久新| 乱精品一区字幕二区| 99热中文字幕久久| aa久久| 国产精品18久久久| 五月丁香婷婷激情视频| 国产激情AV| 中文字幕乱码亚洲精品一区| 停婷丁五月在线| 这里只有精品视频国产| 精品国婬伦V无码久久久| 激情久久五月天| 久久综合伊人综合在线| 狠狠色九月| 色色99| 五月丁香亚洲婷婷| 开心婷婷五月天综合| 欧美日本韩国亚洲| 九色PORNY自拍成人精彩视频| 五月人人丁香婷婷五月人人丁香| 丁香五月九九| 99热官网| 夜夜干夜夜操| 五月婷免费视频久久久| 日韩AV在线免费观看| 午夜少妇在线观看视频| 婷婷五月天天爽| 五月天无码视屏播放| 伊人五月婷婷| 91丨人妻丨国产丨丝袜| A片试看120分钟做受视频红杏 | 99热日| 亚洲综合色丁香五月天| 97色碰| 五月婷婷色综图片| 欧美三级韩国三级日本三斤| 婷婷综合| 亚洲无码色色| 噜一噜在线| 色情免费视频播放| 欧美久热| 色婷婷五月在线| 天天艹| 色吧婷婷五月亚洲| 青青草五月天| 亚洲最大在线| 色色 9| 热99re| 99久热这里只有精品视频删减版| 青青草婷婷久久| av网站免费在线| www.色婷婷| 五月婷婷性爱| 久久香蕉丁香| 五月天婷婷基地综合网| 天天爱天天天射AV| 九九综合| 五月婷婷婷| 色五月激情五月开心五月| 综合网视频| 色五月视频无码播放| 五月久久噜噜| 人妻射精AV| 国产成人av在线| 91丨九色丨熟女| 婷婷丁香亚洲色综合91| 久久婷婷大香蕉| 色婷婷亚洲综合网站| 九月丁香八月婷婷加勒比| 伊人综合网站| 日良久久| 黄色AV日韩| 97碰| 色综合色综合网| 婷婷伊人久久| 操骚货在线| 欧美色频| 五月丁香综合中文| 婷婷激情在线| 色天堂A| 久久婷婷国产| 97色婷| 在线中文av| www.爱婷婷.com| 五月婷婷丁香| 另类精品视频在线观看| 麻豆雪千夏| 亚洲婷婷五月天| 国产在线aaa片一区二区99| 五月久久丁香| 婷婷五月色惰| 亚洲成人超碰| 人妻啪啪啪| 国产精产国品一二三在观看| 亚洲欧美另类在线23p| 思思热在线免费视频| 永久精品| 超碰人人干| 五月天激情国产综合婷婷婷| 激情五月黄色| 日韩日比视频| 影音先锋按摩| 日本熟女一区二区| 这里只有精品视频免费在线观看| 久久综合干| 五月天丁香| 一区二区你懂的| 99热欧美| 无码婷婷五月天| 五月激情综合网| 涩五月婷婷| 日日操夜夜操中国无码| 欧日韩成人| 五月婷婷婷婷婷婷艺术| 丁香五月天电影| 天天做天天爱天天高潮| 中文字幕丰满乱孑伦无码专区| 任你操精品免费| 婷婷丁香五月激情中文字幕版| 日韩操逼小电影| 丁香婷婷精品视频| 99热这里只有精品23| 丁香五月在线观看综合| 另类激情中文| 色综合99无码 | 五月停停999| 99色中文| 欧美群妇大交乱婬网| 天天干天天爽天天操| 成人午夜无码视频| 伊人五月天综合网| 久热丁香| 毛v一区二区视频| Www.Av网9| 九九婷| 青草视频在线播放| 第九色区av天堂| 日本色五月| 99热精品在线播放| 日韩成人电影AV| 免费黄色AV| 天天肏天天肏天天肏| 激情五月天综合网| 五月婷婷中文字幕| 俺去也五月天婷婷| 五月丁香龟婷婷| 久久99这里只有精品视频 | 台湾无码A片一区二区| 久久五月天免费网站| 性色综合网| 久久婷婷五月综合一| 殴美97色| 久久五月天丁香花| 玖玖热99| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | JAPANRCEP老熟妇乱子伦视频 | 色五月婷婷很很操| 五月天播播| 黄久久久| 欧美天天干五月丁香| 激情色色色| 成人午夜免费电影| 激情五月婷婷色| 欧美私人家庭影院| 综合欧美五月婷婷| 美女精品一级不卡视频| 色情网综合| 五月婷丁香亚洲| 亚洲妇女熟BBW| 婷婷六月丁香开心深深爱| 影音先锋噜一噜| 97色色综合| www.婷婷亚洲基地| 9热久久| 天天碰夜夜爽| 久久婷婷五月丁香蜜桃网| 五月天天天开心激情网| 性欧美日本| 日本色图综合| 26.uuu丁香五月婷婷| 在线综合91| 婷婷五月无码| 亚洲色色图片| 内射丰满人妻| 79色色免费| 91精品综合久久久久久五月丁香 | 精品少妇人妻AV无码专区偷人| 538在线精品| 丁香花社区av| 久久182| 五月丁香婷婷婷激情爱爱| 色色丁香五月天| 天天搞夜夜叫| 内射丰满人妻| av人人操| 日本va欧美va国产激情| 六月婷婷av| 色五月激情综合网| 激情久久久| 婷婷五月丁香综合网|