欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

DBmotion全量遷移容器集合:Docker Compose部署實(shí)戰(zhàn)指南

DBmotion全量遷移容器集合:Docker Compose部署實(shí)戰(zhàn)指南 簡(jiǎn)介面向部署數(shù)據(jù)庫(kù)遷移工具的開發(fā)與運(yùn)維人員這份容器鏡像集合將遷移引擎、代理服務(wù)、監(jiān)控告警、可視化界面等組件打包為可一鍵編排的部署方案。包內(nèi)共十一個(gè)文件包含十個(gè)gz格式的容器鏡像包和一個(gè)YAML編排文件整體大小約七百三十八兆。鏡像覆蓋數(shù)據(jù)庫(kù)、消息代理、監(jiān)控、可視化等核心服務(wù)配合編排文件執(zhí)行單條命令即可批量啟動(dòng)所有依賴組件省去手工配置網(wǎng)絡(luò)、卷掛載與環(huán)境變量的繁瑣步驟。對(duì)于需要快速搭建數(shù)據(jù)庫(kù)同步或遷移環(huán)境的技術(shù)團(tuán)隊(duì)該資源能顯著縮短環(huán)境準(zhǔn)備時(shí)間并借助監(jiān)控與可視化組件獲得清晰的運(yùn)行狀態(tài)視圖。目前已有四十八人學(xué)習(xí)下載適合具備基礎(chǔ)容器使用經(jīng)驗(yàn)、希望直接復(fù)用現(xiàn)成編排方案的讀者。1. 為什么說 DBmotion 的全量遷移先從一份容器集合開始做數(shù)據(jù)遷移的人應(yīng)該都有這種體會(huì)真正耗時(shí)間的往往不是遷移任務(wù)本身而是把源端、采集端、傳輸通道、目標(biāo)端這一整套依賴環(huán)境湊齊。DBmotion 這類遷移工具雖然把同步邏輯封裝得很好但它的全量遷移鏈路里ZooKeeper、Kafka、etcd、采集與寫入服務(wù)一個(gè)都少不了。手動(dòng)一個(gè)個(gè)裝、一個(gè)個(gè)調(diào)半天過去了還沒開始遷移數(shù)據(jù)。所謂“DBmotion 全量所需要容器集合包含可執(zhí)行的 docker-compose.yaml”就是把這條鏈路里的每個(gè)環(huán)節(jié)都做成容器用一份 docker-compose 編排文件一次性拉起來。適合兩種人一是想快速評(píng)估 DBmotion 遷移效果、不想在環(huán)境搭建上花太多時(shí)間的開發(fā)者二是要給客戶或內(nèi)部環(huán)境交付遷移方案需要一套可復(fù)現(xiàn)、可移植的部署模板。這篇文章按我實(shí)際搭建這套環(huán)境的順序把容器集合怎么設(shè)計(jì)、compose 文件怎么寫、參數(shù)怎么調(diào)、哪些坑必踩一次講清楚。2. 拆開 DBmotion 的容器集合每個(gè)容器解決遷移鏈路里的哪個(gè)環(huán)節(jié)2.1 一條全量遷移鏈路里哪些組件是不能省的DBmotion 做全量遷移簡(jiǎn)單說就是“讀源庫(kù) → 傳輸 → 寫目標(biāo)庫(kù)”。但中間為了保證數(shù)據(jù)不丟、順序不亂、斷點(diǎn)能續(xù)引入了一組支撐組件。我最早做模擬項(xiàng)目X的時(shí)候就想著精簡(jiǎn)只起源端和目標(biāo)端兩個(gè)容器結(jié)果根本跑不通。后來把鏈路理清楚才發(fā)現(xiàn)下面這些角色各有各的活誰(shuí)也替不了誰(shuí)。源端數(shù)據(jù)庫(kù)容器承擔(dān)“數(shù)據(jù)從哪來”的角色。全量遷移要驗(yàn)證數(shù)據(jù)一致性沒有真實(shí)的源庫(kù)實(shí)例后面所有環(huán)節(jié)都是空轉(zhuǎn)。我一般用 MySQL 或 PostgreSQL 的官方鏡像直接掛初始化腳本造數(shù)據(jù)。采集端容器是 DBmotion 里干累活的。它連上源庫(kù)把全量數(shù)據(jù)按表讀出來轉(zhuǎn)成統(tǒng)一的消息格式發(fā)到 Kafka。這個(gè)角色通常對(duì)應(yīng) DBmotion 的采集服務(wù)如果只是做功能驗(yàn)證可以用輕量模擬程序代替但正式評(píng)估時(shí)必須用真實(shí)的采集節(jié)點(diǎn)。Kafka 是核心傳輸通道。全量數(shù)據(jù)量大采集端不可能直接往目標(biāo)庫(kù)灌那樣源庫(kù)和目標(biāo)庫(kù)會(huì)互相拖垮。Kafka 在這里相當(dāng)于一個(gè)高速緩沖帶采集端只管往里面寫寫入端只管從里面讀兩者解耦。Kafka 本身依賴 ZooKeeper 做元數(shù)據(jù)管理所以 ZooKeeper 容器成了隱藏的必需項(xiàng)。etcd 管的是遷移任務(wù)的元數(shù)據(jù)。哪些表遷移完了、遷移到哪個(gè)偏移量了、任務(wù)當(dāng)前什么狀態(tài)這些都存在 etcd 里。沒有它斷點(diǎn)續(xù)傳就是空話。最后是寫入端容器它消費(fèi) Kafka 里的數(shù)據(jù)把全量數(shù)據(jù)按目標(biāo)庫(kù)的方言寫入同時(shí)往 etcd 上報(bào)進(jìn)度。這么一拆就很清楚了源端、采集端、Kafka、ZooKeeper、etcd、寫入端、目標(biāo)端七個(gè)角色缺一個(gè)鏈路就斷。我見過有人想把 ZooKeeper 省掉直接連 Kafka只能說那是給自己挖坑。2.2 為什么用 ZooKeeper Kafka etcd 三件套而不是單機(jī)版很多人第一次看到這套組合會(huì)問都是存元數(shù)據(jù)為什么 Kafka 要配 ZooKeeperDBmotion 自己又要一個(gè) etcd這倆不能合并嗎答案是職責(zé)不同。Kafka 用 ZooKeeper 存的是 broker 列表、分區(qū)分配、消費(fèi)者組偏移量這些“消息系統(tǒng)自己的狀態(tài)”。Kafka 的歷史版本把 ZooKeeper 當(dāng)成硬依賴雖然新版本在做 KRaft 模式去 ZooKeeper但 DBmotion 官方鏈路默認(rèn)還是走 ZooKeeper 的方式實(shí)盤驗(yàn)證時(shí)扯皮最少。我自己試過 KRaft 模式不是說不行而是排查問題時(shí)社區(qū)資料少一旦出狀況很難判斷是 DBmotion 的問題還是 Kafka 自身的問題。etcd 管的是遷移任務(wù)級(jí)別的元數(shù)據(jù)比如哪個(gè)表遷移到哪條記錄了。這不是 Kafka 的分區(qū)偏移量是業(yè)務(wù)數(shù)據(jù)在遷移管道里的進(jìn)度。如果硬塞進(jìn) Kafka 的 topic 里任務(wù)一旦重建歷史偏移量會(huì)污染新任務(wù)。所以這套“三件套”不是重復(fù)造輪子而是各自守住各自的邊界。ZooKeeper 守消息系統(tǒng)etcd 守遷移任務(wù)。明白了這一點(diǎn)編排容器時(shí)就能理解為什么每個(gè)服務(wù)都要獨(dú)立部署而不是圖省事塞進(jìn)同一個(gè)容器里。進(jìn)程混在一起日志、重啟、擴(kuò)容全都互相干擾全量遷移跑到一半某個(gè)組件掛了排查起來想死的心都有。2.3 容器集合的拓?fù)渑c端口規(guī)劃我把整套容器集合的拓?fù)涔潭ǔ闪艘粡埍砻看未钚颅h(huán)境直接照著抄。拓?fù)渖戏譃槿龑訑?shù)據(jù)層、傳輸層、任務(wù)層。數(shù)據(jù)層是源端和目標(biāo)端數(shù)據(jù)庫(kù)傳輸層是 Kafka 加 ZooKeeper任務(wù)層是采集端、寫入端和 etcd。DBmotion 本身的管理端如果有放在任務(wù)層最上面負(fù)責(zé)下發(fā)任務(wù)和查看狀態(tài)。服務(wù)鏡像類型默認(rèn)端口數(shù)據(jù)持久化職責(zé)source-dbMySQL/PostgreSQL 官方鏡像3306/5432是初始化腳本掛載全量數(shù)據(jù)來源target-db目標(biāo)數(shù)據(jù)庫(kù)官方鏡像3306/5432是全量數(shù)據(jù)寫入目標(biāo)zookeeperZooKeeper 官方鏡像2181是dataDir 掛載Kafka 元數(shù)據(jù)存儲(chǔ)kafkaKafka 官方鏡像9092是log.dirs 掛載全量數(shù)據(jù)傳輸通道etcdetcd 官方鏡像2379, 2380是data 目錄掛載遷移任務(wù)進(jìn)度/狀態(tài)dbmotion-collectorDBmotion 采集端鏡像無(wú)外部端口否讀源庫(kù)寫 Kafkadbmotion-writerDBmotion 寫入端鏡像無(wú)外部端口否讀 Kafka寫目標(biāo)庫(kù)端口規(guī)劃有個(gè)原則只有需要被外部訪問的服務(wù)才映射到宿主機(jī)服務(wù)間通信用 Docker 內(nèi)部網(wǎng)絡(luò)。Kafka 比較特殊因?yàn)榭蛻舳瞬杉恕懭攵伺茉趧e的容器里Kafka 自己的 advertised.listeners 必須配成容器網(wǎng)絡(luò)內(nèi)的地址否則會(huì)踩“容器里連不上 Kafka”的經(jīng)典大坑。這一點(diǎn)后面專門講。etcd 的 2380 是集群內(nèi)部 peer 通信用的單節(jié)點(diǎn)部署不需要映射到宿主機(jī)2379 看需要再?zèng)Q定要不要暴露。3. 寫一份可執(zhí)行的 docker-compose.yaml部署模型與關(guān)鍵參數(shù)3.1 先從 compose 文件結(jié)構(gòu)入手網(wǎng)絡(luò)、卷、服務(wù)三段式一份可執(zhí)行的 compose 文件結(jié)構(gòu)上分三塊networks 定義容器間通信網(wǎng)絡(luò)volumes 定義持久化存儲(chǔ)services 定義每個(gè)容器。全量遷移的場(chǎng)景里容器之間都是“服務(wù)發(fā)現(xiàn)”的關(guān)系——采集端通過 etcd 找任務(wù)通過 Kafka 發(fā)數(shù)據(jù)寫入端從 Kafka 拉數(shù)據(jù)。所以網(wǎng)絡(luò)必須用自定義 bridge 網(wǎng)絡(luò)而不是默認(rèn)的 default 網(wǎng)絡(luò)這樣才能用服務(wù)名互相訪問。下面是我整理出來的精簡(jiǎn)版文件框架。注意 source-db 和 target-db 的初始化腳本我用的是掛載目錄而不是鏡像內(nèi)嵌這樣換表結(jié)構(gòu)、換數(shù)據(jù)都不用重新 build 鏡像。version: 3.8 networks: dbmotion-net: driver: bridge ipam: config: - subnet: 172.28.0.0/16 volumes: zk-data: kafka-data: etcd-data: source-db-data: target-db-data: services: zookeeper: image: zookeeper:3.8 container_name: dbmotion-zookeeper networks: dbmotion-net: ipv4_address: 172.28.0.10 ports: - 2181:2181 volumes: - zk-data:/data - ./zk-conf:/conf environment: ZOO_MY_ID: 1 ZOO_SERVERS: server.1zookeeper:2888:3888;2181 healthcheck: test: [CMD, zkServer.sh, status] interval: 10s timeout: 5s retries: 5network 指定了固定子網(wǎng)和固定 IP。這個(gè)做法在 compose 里不是必須的但配合 healthcheck 和 depends_on 的 condition 時(shí)服務(wù)名解析穩(wěn)定排查網(wǎng)絡(luò)問題也少一層干擾。volumes 全部用 named volume而不是 bind mount 到宿主機(jī)目錄原因是遷移環(huán)境經(jīng)常要在不同機(jī)器之間搬named volume 隨 compose 項(xiàng)目走不會(huì)被宿主機(jī)路徑差異絆倒。zookeeper 這里指定了 ZOO_MY_ID 和 ZOO_SERVERS。單節(jié)點(diǎn)時(shí) ZOO_MY_ID 寫 1 就行ZOO_SERVERS 的格式是 server.1主機(jī)名:2888:3888;21812888 是 Leader 選舉端口3888 是集群內(nèi)通信端口。單節(jié)點(diǎn)不涉及選舉但配全了以后想擴(kuò)成三節(jié)點(diǎn)集群只需再追加 server.2 和 server.3不用改其他配置。healthcheck 用的是 zkServer.sh status這條命令在容器里返回 0 表示服務(wù)健康。3.2 中間件服務(wù)的參數(shù)陷阱Kafka 的 advertised.listeners 與健康檢查Kafka 是這套容器集合里最容易翻車的服務(wù)沒有之一。官方鏡像默認(rèn)的 listener 配置只對(duì)宿主機(jī)訪問友好容器內(nèi)其他服務(wù)通過服務(wù)名訪問時(shí)Kafka 返回的 broker 地址是容器 ID客戶端拿著這個(gè)地址去連必然超時(shí)。這就是業(yè)界說的“Kafka 容器網(wǎng)絡(luò)黑匣子”問題。解決辦法是在 environment 里顯式指定三組 listenerPLAINTEXT 負(fù)責(zé)容器內(nèi)通信EXTERNAL 負(fù)責(zé)宿主機(jī)訪問CONTROLLER 是給新版本 Kafka 用的。advertised.listeners 必須寫成服務(wù)名 kafka:9092而不是 localhost 或宿主機(jī) IP。如果寫 127.0.0.1采集容器里的客戶端能連上 broker但 broker 返回的元數(shù)據(jù)里寫的地址還是 127.0.0.1客戶端拿這個(gè)地址根本路由不到 Kafka 容器。kafka: image: bitnami/kafka:3.4 container_name: dbmotion-kafka networks: dbmotion-net: ipv4_address: 172.28.0.11 ports: - 9092:9092 volumes: - kafka-data:/bitnami/kafka environment: KAFKA_CFG_NODE_ID: 1 KAFKA_CFG_PROCESS_ROLES: broker,controller KAFKA_CFG_LISTENERS: PLAINTEXT://:9092,CONTROLLER://:9093 KAFKA_CFG_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092 KAFKA_CFG_CONTROLLER_LISTENER_NAMES: CONTROLLER KAFKA_CFG_CONTROLLER_QUORUM_VOTERS: 1kafka:9093 KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE: true KAFKA_CFG_OFFSETS_TOPIC_REPLICATION_FACTOR: 1 KAFKA_CFG_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 1 KAFKA_CFG_TRANSACTION_STATE_LOG_MIN_ISR: 1 ALLOW_PLAINTEXT_LISTENER: yes KAFKA_HEAP_OPTS: -Xmx512m -Xms256m healthcheck: test: [CMD, kafka-topics.sh, --bootstrap-server, localhost:9092, --list] interval: 15s timeout: 10s retries: 5 start_period: 30s這里用的是 bitnami 鏡像環(huán)境變量前綴 KAFKA_CFG_ 是 bitnami 的封裝規(guī)范和 Apache 官方鏡像的 KAFKA_ 前綴不一樣。選 bitnami 的原因是其健康檢查腳本更完整kafka-topics.sh --list 能真實(shí)反映 broker 是否對(duì)外可用而 Apache 鏡像默認(rèn)的 healthcheck 經(jīng)常只是檢查進(jìn)程在不在。KAFKA_CFG_PROCESS_ROLES 寫成 broker,controller 是讓單節(jié)點(diǎn)同時(shí)承擔(dān) broker 和 controller 職責(zé)。全量遷移的最小環(huán)境不需要獨(dú)立的 KRaft controller 節(jié)點(diǎn)。副本因子全部設(shè)成 1因?yàn)閱喂?jié)點(diǎn) Kafka 上不允許配大于 1 的副本因子這個(gè)參數(shù)不影響遷移正確性但能避免一堆 “Replication factor is larger than available brokers” 的報(bào)錯(cuò)刷屏。KAFKA_HEAP_OPTS 限制 JVM 內(nèi)存后面避坑章節(jié)專門講內(nèi)存問題。etcd 的配置相對(duì)清爽主要注意 client 端口和 peer 端口的區(qū)分。etcd: image: quay.io/coreos/etcd:v3.5.5 container_name: dbmotion-etcd networks: dbmotion-net: ipv4_address: 172.28.0.12 ports: - 2379:2379 volumes: - etcd-data:/etcd-data command: - /usr/local/bin/etcd - --nameetcd0 - --data-dir/etcd-data - --advertise-client-urlshttp://etcd:2379 - --listen-client-urlshttp://0.0.0.0:2379 - --listen-peer-urlshttp://0.0.0.0:2380 - --initial-advertise-peer-urlshttp://etcd:2380 - --initial-clusteretcd0http://etcd:2380 - --initial-cluster-statenew healthcheck: test: [CMD, etcdctl, endpoint, health] interval: 10s timeout: 5s retries: 5advertise-client-urls 寫容器服務(wù)名 etcd 而不是 IP這樣 DBmotion 寫入端的容器不管調(diào)度到哪個(gè)網(wǎng)絡(luò)位置都能通過服務(wù)名穩(wěn)定訪問。initial-cluster-state 必須寫 new如果寫 existingetcd 會(huì)去找舊集群狀態(tài)單節(jié)點(diǎn)場(chǎng)景下會(huì)一直卡在等待集群就緒。3.3 DBmotion 相關(guān)服務(wù)的啟動(dòng)順序與 depends_on 的正確用法容器編排里啟動(dòng)順序是個(gè)老生常談但永遠(yuǎn)有人踩坑的問題。DBmotion 采集端啟動(dòng)時(shí)必須能連上 etcd 和 Kafka寫入端必須能連上 Kafka 和 etcd而 Kafka 又要等 ZooKeeper 就緒。這些依賴如果用默認(rèn)的 depends_ondocker compose 只保證“先啟動(dòng)”不保證“真就緒”采集端大概率在 Kafka 還在初始化時(shí)就嘗試連接然后崩潰退出。容器退出后 compose 不會(huì)自動(dòng)重啟整套環(huán)境就癱在那里。正確做法是 depends_on 配 condition: service_healthy再配合每個(gè)中間件的 healthcheck。compose 會(huì)先啟動(dòng)依賴服務(wù)等 healthcheck 通過后才啟動(dòng)下游服務(wù)。dbmotion-collector: image: dbmotion-collector:latest container_name: dbmotion-collector networks: dbmotion-net: ipv4_address: 172.28.0.20 depends_on: kafka: condition: service_healthy etcd: condition: service_healthy environment: DBMOTION_ROLE: collector DBMOTION_ETCD_ENDPOINTS: http://etcd:2379 DBMOTION_KAFKA_BOOTSTRAP: kafka:9092 DBMOTION_SOURCE_DSN: root:sourcepasstcp(source-db:3306)/migration_db?charsetutf8mb4 command: [/app/dbmotion-collector, --config, /etc/dbmotion/collector.yaml] dbmotion-writer: image: dbmotion-writer:latest container_name: dbmotion-writer networks: dbmotion-net: ipv4_address: 172.28.0.21 depends_on: kafka: condition: service_healthy etcd: condition: service_healthy environment: DBMOTION_ROLE: writer DBMOTION_ETCD_ENDPOINTS: http://etcd:2379 DBMOTION_KAFKA_BOOTSTRAP: kafka:9092 DBMOTION_TARGET_DSN: root:targetpasstcp(target-db:3306)/migration_target?charsetutf8mb4 command: [/app/dbmotion-writer, --config, /etc/dbmotion/writer.yaml]DBMOTION_SOURCE_DSN 和 DBMOTION_TARGET_DSN 里的主機(jī)名全部寫服務(wù)名tcp(source-db:3306) 這種格式是 Go 語(yǔ)言數(shù)據(jù)庫(kù)驅(qū)動(dòng)的標(biāo)準(zhǔn)寫法。這里有個(gè)容易忽略的點(diǎn)source-db 和 target-db 這兩個(gè)容器本身也要配 healthcheck否則 depends_on 里如果加了它們condition 會(huì)檢查不到健康狀態(tài)而一直等待。MySQL 鏡像的 healthcheck 建議用 mysqladmin pingPostgreSQL 用 pg_isready。啟動(dòng)順序變長(zhǎng)了以后整套環(huán)境冷啟動(dòng)可能要等 1 到 2 分鐘這不是卡死是中間件在做初始化。后面加了一個(gè) start_period 參數(shù)專門解決“啟動(dòng)慢被 healthcheck 誤殺”的問題。采集端和寫入端的鏡像這里用 dbmotion-collector:latest 指代實(shí)際使用時(shí)換成你自己的鏡像名。4. 把容器集合跑起來從 docker compose up 到第一個(gè)遷移任務(wù)4.1 啟動(dòng)前檢查端口沖突、內(nèi)存預(yù)算、鏡像源啟動(dòng)之前有三次檢查能幫你省掉后面至少兩個(gè)小時(shí)的排查時(shí)間。第一次檢查端口沖突。2181、9092、2379 這三個(gè)端口是中間件默認(rèn)端口本機(jī)如果已經(jīng)跑著別的 ZooKeeper、Kafka 或 etcdcompose 起服務(wù)時(shí)會(huì)直接報(bào) bind: address already in use。檢查命令很簡(jiǎn)單lsof -i :2181 -i :9092 -i :2379有輸出說明端口被占了。解決方式有兩個(gè)關(guān)掉宿主機(jī)的舊服務(wù)或者在 compose 文件里改 ports 映射的宿主機(jī)側(cè)端口比如把 Kafka 改成 19092:9092。要注意改宿主機(jī)側(cè)端口不影響容器間通過服務(wù)名訪問因?yàn)槿萜鏖g走的是 9092 這個(gè)容器內(nèi)端口。第二次檢查內(nèi)存預(yù)算。Kafka 默認(rèn)的 JVM 堆上限是 1G加上 ZooKeeper、etcd、兩個(gè)數(shù)據(jù)庫(kù)實(shí)例整套環(huán)境冷啟動(dòng)大概需要 3 到 4G 可用內(nèi)存。如果機(jī)器只有 2GKafka 會(huì)頻繁 Full GC然后被 healthcheck 判死compose 就會(huì)反復(fù)重啟它日志里全是內(nèi)存溢出。建議在 compose 里給 Kafka 顯式限制 KAFKA_HEAP_OPTS給 MySQL/PostgreSQL 用 shm_size 控制共享內(nèi)存。第三次檢查鏡像源。DBmotion 相關(guān)鏡像如果是私有倉(cāng)庫(kù)docker compose 不會(huì)自動(dòng)登錄需要先手動(dòng) docker login。ZooKeeper、Kafka、etcd 這幾個(gè)中間件鏡像建議提前 docker pull 到本地免得 compose up 時(shí)才開始拉一旦網(wǎng)絡(luò)不穩(wěn)定整個(gè)環(huán)境起得斷斷續(xù)續(xù)。4.2 啟動(dòng)整套環(huán)境與驗(yàn)證每個(gè)容器狀態(tài)檢查做完就可以啟動(dòng)了。我習(xí)慣用后臺(tái)模式啟動(dòng)然后把日志輸出到文件方便后面排查。docker compose up -d這個(gè)命令會(huì)按依賴順序依次啟動(dòng)所有容器。等第一次執(zhí)行完別急著配遷移任務(wù)先花 30 秒確認(rèn)每個(gè)容器都進(jìn)入了 healthy 狀態(tài)docker compose ps輸出里每個(gè)服務(wù)對(duì)應(yīng)一行STATUS 列應(yīng)該有 healthy 字樣。這一步非常重要因?yàn)椴杉撕蛯懭攵说膯?dòng)依賴于 Kafka 和 etcd 健康如果中間件還處于 starting下游容器會(huì)卡在等待狀態(tài)??吹?unhealthy 的容器立即看它的日志docker compose logs -f kafka docker compose logs -f etcd日志出現(xiàn)的常見關(guān)鍵字也有套路。ZooKeeper 日志里出現(xiàn) bind to port 2181 說明監(jiān)聽成功Kafka 日志里出現(xiàn) [KafkaRaftServer nodeId1] Started 說明 KRaft 模式啟動(dòng)完成etcd 日志出現(xiàn) serving insecure client requests on 0.0.0.0:2379 說明客戶端接口可用。如果等了兩分鐘這些關(guān)鍵字還沒出現(xiàn)基本可以斷定配置有問題而不是啟動(dòng)慢。所有容器都 healthy 之后再驗(yàn)證一下容器間的網(wǎng)絡(luò)連通性。我一般會(huì)進(jìn)入采集端容器里用內(nèi)置工具測(cè)試到 Kafka 和 etcd 的連通性docker exec -it dbmotion-collector bash # 在容器內(nèi)執(zhí)行 curl http://etcd:2379/health # 期望輸出 {health:true} kafka-topics.sh --bootstrap-server kafka:9092 --list # 期望輸出不報(bào)錯(cuò)哪怕沒有 topic這一步驗(yàn)證的是服務(wù)名解析和端口連通。curl 輸出 health true 說明 etcd 正常kafka-topics.sh 能連上說明 Kafka 的 advertised.listeners 配置生效了。如果這兩步有一處失敗不要繼續(xù)往下配任務(wù)先回頭改配置。4.3 跑通一個(gè)最小全量遷移任務(wù)環(huán)境就緒后遷移任務(wù)本身怎么下發(fā)DBmotion 的做法是通過 etcd 寫入任務(wù)配置采集端和寫入端監(jiān)聽 etcd 的變化然后開始干活。所以我需要往 etcd 里寫入一個(gè)最小的遷移任務(wù)配置。任務(wù)配置的核心內(nèi)容包括源庫(kù)連接信息、目標(biāo)庫(kù)連接信息、要遷移的表列表、Kafka topic 名稱。docker exec -it dbmotion-etcd etcdctl put /dbmotion/tasks/task001 { name: full_migration_demo, source: root:sourcepasstcp(source-db:3306)/migration_db, target: root:targetpasstcp(target-db:3306)/migration_target, tables: [users, orders], kafka_topic: dbmotion-full-001, mode: full, batch_size: 1000 }這段配置我一般在源庫(kù)和目標(biāo)庫(kù)里都先建好同名表再填到 etcd。batch_size 控制每個(gè)批次寫入的記錄數(shù)設(shè) 1000 是保守值主要考慮目標(biāo)庫(kù)寫入性能和 Kafka 消息大小。模式寫成 full表示只做全量遷移不做增量同步。字段名和結(jié)構(gòu)按實(shí)際 DBmotion 版本可能略有差異但核心信息就是這四類兩端連接、表清單、通道、批大小。任務(wù)寫進(jìn)去之后采集端監(jiān)聽到配置變化會(huì)去源庫(kù)讀數(shù)據(jù)然后發(fā)到 Kafka寫入端從 Kafka 拉數(shù)據(jù)寫入目標(biāo)庫(kù)。整個(gè)過程中可以通過 etcd 查看任務(wù)進(jìn)度docker exec -it dbmotion-etcd etcdctl get /dbmotion/tasks/task001/status看到 status 字段變成 finished 或 done說明全量遷移跑完了。這時(shí)進(jìn)目標(biāo)庫(kù)查一下數(shù)據(jù)量docker exec -it dbmotion-target-db mysql -uroot -ptargetpass -e SELECT COUNT(*) FROM migration_target.users;如果和目標(biāo)庫(kù)源表行數(shù)一致第一個(gè)全量遷移任務(wù)就算通了。第一次跑通的意義不在于遷移了多大數(shù)據(jù)量而在于驗(yàn)證了從容器集合到任務(wù)下發(fā)的整條鏈路是通的后續(xù)換真實(shí)庫(kù)、加表、調(diào)并發(fā)都在這條鏈路上迭代。5. 容器集合落地避坑五個(gè)最容易翻車的點(diǎn)5.1 Kafka 容器起來了客戶端卻連不上現(xiàn)象docker compose ps 顯示 Kafka 是 healthy但采集端容器日志里反復(fù)報(bào) connection refused 或者 timeoutKafka 的 topic 列表也拉取失敗。原因絕大多數(shù)情況是 advertised.listeners 配置不對(duì)。Kafka 容器對(duì)外廣播的地址寫成了 localhost 或 127.0.0.1容器內(nèi)的采集端拿到這個(gè)地址后嘗試連自己自然連不上。我見過有人排查了一下午最后發(fā)現(xiàn)是 KAFKA_CFG_ADVERTISED_LISTENERS 漏了 KAFKA_CFG_ 前綴導(dǎo)致配置根本沒生效。 解決把 advertised.listeners 顯式寫成 PLAINTEXT://kafka:9092注意主機(jī)名必須和 compose 服務(wù)名一致。改完之后重啟 Kafka 容器然后進(jìn)入采集端容器里執(zhí)行 kafka-topics.sh --bootstrap-server kafka:9092 --list 驗(yàn)證。改完配置不重啟、只看 docker inspect 里的 Environment 字段是不會(huì)生效的。5.2 depends_on 直接寫服務(wù)名下游容器還是崩潰退出現(xiàn)象dbmotion-collector 容器啟動(dòng)后立即退出日志顯示連接 etcd 超時(shí)或 Kafka 未就緒但 Kafka 容器明明是 running。原因depends_on 只保證服務(wù)啟動(dòng)先后順序不保證服務(wù)內(nèi)部就緒。Kafka 容器進(jìn)程起來了但 broker 還在加載磁盤里的日志、注冊(cè) controller這個(gè)窗口可能持續(xù)幾十秒。采集端這個(gè)時(shí)候去連必然失敗。容器退出之后 compose 不會(huì)自動(dòng)拉起它所以整個(gè)環(huán)境就靜默地“半死”了。 解決depends_on 里加上 condition: service_healthy然后給 Kafka 和 etcd 都配上真正的 healthcheck。注意 Kafka 的 healthcheck 不要用 telnet 端口要用 kafka-topics.sh --list因?yàn)槎丝谕瞬淮?broker 完成注冊(cè)。這是一個(gè)很典型的“玄學(xué)問題”其實(shí)不是玄學(xué)是就緒語(yǔ)義沒搞清。5.3 etcd 容器啟動(dòng)失敗名叫“permission denied”現(xiàn)象docker compose up 時(shí) etcd 容器反復(fù)重啟日志里出現(xiàn) mkdir /etcd-data: permission denied。原因etcd 官方鏡像里的進(jìn)程默認(rèn)以非 root 用戶運(yùn)行而掛載進(jìn)來的 named volume 初始所有權(quán)是 root。容器用戶沒有寫權(quán)限etcd 建不了數(shù)據(jù)目錄。這個(gè)坑在大部分 Linux 發(fā)行版上都會(huì)踩macOS 上因?yàn)?Docker Desktop 的特殊權(quán)限模型可能不觸發(fā)反而增加了迷惑性。 解決最簡(jiǎn)單的方式是在 compose 的 etcd 服務(wù)里加 user: 0:0 強(qiáng)制以 root 運(yùn)行或者用初始化容器預(yù)先 chown 數(shù)據(jù)目錄。生產(chǎn)環(huán)境建議用初始化容器本地評(píng)估可以直接加 user。改完記得 docker compose down -v 把舊的卷刪掉重建否則權(quán)限修復(fù)不會(huì)套用到已創(chuàng)建的卷上。5.4 整套環(huán)境跑著跑著某個(gè)容器被系統(tǒng)殺掉現(xiàn)象遷移任務(wù)跑到一半Kafka 或兩個(gè)數(shù)據(jù)庫(kù)容器突然消失docker compose ps 里看不到系統(tǒng)日志里出現(xiàn) oom-kill 記錄。原因宿主機(jī)內(nèi)存被占滿。Kafka 默認(rèn)的 JVM 堆內(nèi)存上限是 1G加上 ZooKeeper、etcd、兩個(gè)數(shù)據(jù)庫(kù)實(shí)例再算上 Docker 本身的開銷2G 內(nèi)存的機(jī)器根本扛不住。系統(tǒng) OOM killer 會(huì)優(yōu)先殺掉內(nèi)存占用最大的進(jìn)程Kafka 首當(dāng)其沖。 解決在 compose 里給每個(gè)服務(wù)加 mem_limitKafka 設(shè) 512mZooKeeper 設(shè) 256metcd 設(shè) 256m數(shù)據(jù)庫(kù)各自設(shè) 512m。同時(shí)給 Kafka 設(shè)置 KAFKA_HEAP_OPTS 為 -Xmx512m -Xms256m讓 JVM 在容器內(nèi)存限制之內(nèi)運(yùn)行。壓內(nèi)存之前先用 docker stats 看實(shí)時(shí)占用確定是誰(shuí)在吃內(nèi)存。5.5 數(shù)據(jù)“丟了”重啟后源庫(kù)或目標(biāo)庫(kù)是空的現(xiàn)象整套環(huán)境重啟之后遷移任務(wù)的任務(wù)還在但目標(biāo)庫(kù)里的數(shù)據(jù)沒了有時(shí)候源庫(kù)的初始化數(shù)據(jù)也沒了。原因數(shù)據(jù)庫(kù)容器雖然掛了 volumes但掛的是匿名卷或沒掛卷。compose down 的時(shí)候如果沒加 -v匿名卷會(huì)保留但 docker compose down -v 會(huì)把匿名卷一起刪掉。更隱蔽的場(chǎng)景是鏡像自帶的數(shù)據(jù)目錄路徑和你在 volumes 里掛載的容器內(nèi)路徑不一致比如 MySQL 鏡像的數(shù)據(jù)目錄是 /var/lib/mysql你掛成了 /var/lib/mysql/data卷里存了文件但 MySQL 根本不認(rèn)識(shí)啟動(dòng)時(shí)生成一個(gè)空的數(shù)據(jù)目錄看起來就是“數(shù)據(jù)丟了”。 解決先確認(rèn)鏡像文檔里的數(shù)據(jù)目錄路徑。MySQL 官方鏡像是 /var/lib/mysqlPostgreSQL 是 /var/lib/postgresql/dataetcd 的路徑通過 --data-dir 參數(shù)自己指定。compose 里 volumes 的容器側(cè)路徑必須和實(shí)際數(shù)據(jù)目錄完全一致。養(yǎng)成一個(gè)好習(xí)慣改動(dòng)環(huán)境之前先 docker compose down不要直接 docker compose down -v-v 是刪除數(shù)據(jù)卷的操作沒有后悔藥。6. 讓這套容器集合更順手參數(shù)化模板與多環(huán)境復(fù)用容器集合能跑通只是第一步第二步是讓它能復(fù)用。我最常用的是 .env 配合 compose 變量替換。把端口、密碼、數(shù)據(jù)目錄這些環(huán)境相關(guān)的值抽到 .env 文件里compose 文件本身保持一份不動(dòng)。# .env 示例 SOURCE_DB_PORT3306 TARGET_DB_PORT3307 MYSQL_ROOT_PASSWORDsourcepass TARGET_MYSQL_ROOT_PASSWORDtargetpass KAFKA_PORT9092compose 文件里用 ${MYSQL_ROOT_PASSWORD} 引用這些變量。這樣同一份 compose 文件開發(fā)環(huán)境、測(cè)試環(huán)境、客戶現(xiàn)場(chǎng)只要改 .env 就能遷移不用動(dòng) YAML 本身。變量替換是 compose 原生的能力不需要額外工具。數(shù)據(jù)校驗(yàn)是另一個(gè)值得養(yǎng)成的習(xí)慣。全量遷移結(jié)束只對(duì)比行數(shù)遠(yuǎn)遠(yuǎn)不夠。行數(shù)一樣但內(nèi)容對(duì)不上比如字符集編碼問題、時(shí)區(qū)轉(zhuǎn)換問題、浮點(diǎn)數(shù)精度問題都會(huì)讓遷移“成功但錯(cuò)誤”。我一般用一個(gè)簡(jiǎn)單的校驗(yàn)?zāi)_本把源表和目標(biāo)表按主鍵排序后做哈希對(duì)比docker exec source-db mysql -e SELECT CRC32(GROUP_CONCAT(col1, col2, col3 ORDER BY id)) FROM users; docker exec target-db mysql -e SELECT CRC32(GROUP_CONCAT(col1, col2, col3 ORDER BY id)) FROM users;兩邊的 CRC32 值一致說明這批數(shù)據(jù)內(nèi)容層面也對(duì)上了。不一致時(shí)把排序后的主鍵列表導(dǎo)出做 diff就能定位到具體哪一行差異。這個(gè)校驗(yàn)方法簡(jiǎn)單直接不用引入額外的工具鏈。這套容器集合做到現(xiàn)在這個(gè)程度我最大的教訓(xùn)是不要因?yàn)樽非蟆碍h(huán)境小”而閹割依賴組件。最早我為了省內(nèi)存把 ZooKeeper 換成嵌入式模式把 etcd 塞進(jìn)采集端進(jìn)程里結(jié)果每次排查問題都要先懷疑自己改過的地方反而浪費(fèi)更多時(shí)間。按標(biāo)準(zhǔn)鏈路把容器集合完整拉起來雖然占資源多一點(diǎn)但每一步行為和線上行為一致驗(yàn)證出來的結(jié)論才作數(shù)。希望這篇筆記能幫你把環(huán)境搭建這一步真正省下來把精力留給遷移任務(wù)本身。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
成人AV在线电影| 亚洲日韩26uuu| 香蕉婷婷色五月| 久久九九亚洲| 婷婷爱五月| 91九九九色在| 青草少妇激情| bukadeavzaixian| 夜夜骑天天玩天天日| 婷婷综合网站| 狠狠色丁婷婷日日,伊人激情综合网 | 五月婷婷六月爱| www.夜夜操| 色色爽爽天天| 播播网色播播| 五月天色婷婷av| 激情六月婷婷| 变态 另类 在线| 99热这里只有精品中文字幕| 婷婷她六月天| 熟妇无码乱子成人精品| 激情五月婷婷网在线观看| 久久思思热| 狠狠干总合| 精品香蕉99久久久久网站| 亚洲视频在线观看99| 天天综合色| 狠狠狠狠狠狠狠狠草| 婷婷婷久久| 丁香五月天成人网站| 五月丁香婷婷99| 欧美性爱一区| 婷婷另类开心| 99精品在线| 婷婷五月综合色中文字幕| 琪琪布丁香社区激情五月天| 五月天天综合| 中文字幕婷婷五月天| 精品夜夜澡人妻无码AV| 久9无码视频| 婷婷五月天色色| 丁香五月激情婷婷| 激情五月狠狠| 激情五月图| 亚洲av综合在线| 天天爱天天秀天天做| 色婷婷丁香六月| 丁香婷婷老司机久操| 丁香五月天.com| 开心婷婷五月天电影院| 丁香婷婷超碰 | 天天天久久人人人合| 激情 婷婷| 久久538| 五月婷婷丁香瑟瑟视频| 伍月婷丁香婷| www.精品久9| 91一起操| 中美日韩成人在线| 少妇搡BBBB搡BBB搡毛茸茸 | 射久久丁香五月| 91精品综合久久婷婷九色| 91在线就要啪| 亚洲va综合va国产va中文| 五月天激情啪啪| AV在线免费播放| 久久国产一区二区三区| 99re在线精品视频| 日日夜夜婷婷| 六月婷婷国产| 九九久久视频| 免费试看小视频 99| 狠狠爱夜夜| 日韩二区搞逼插逼毛片| 色色色网站| 五月激情在线| www.五月瑟| 综合色天天| 99色色爰| 亚洲另类婷婷综合| av第一二区| 久久一级免费黄色片| 粉嫩AV久久一区二区三区| 色五月婷婷影院| 激情五月婷婷丁香| 五月丁香六月婷婷激情网| 天天狠狠插| 婷婷五月精品中文字幕| 国产亚洲精品AAAAAAA片| 色婷婷天堂| 色色色色色爱| 人妻VideOssS人妻高清| 亚洲性色XXXXX| 色色操| 免费亚洲成人电影AV| 操操操91| 久婷婷五月天影院| 久九九热| 成人AV网站在线| 99热日本精品| 五月丁香婷婷欧美色图视频五月丁香777电影 | 综合激情深爱| 欧美黑人巨大猛烈cuckold| 思思久久网| jiZZdr| 嫩草乱码一区三区四区| 五月第四色| 亚洲激情视频网| 婷婷五月天在线综合导航| 色噜噜狠狠色综| 超碰高清在线| 人人操人人操919999| 六月婷婷色| 开心五月深爱激情| 婷婷五月天在婷| 丁香五月六月欧美| 天天干天天操天天拍| 99这里只有精彩视频| 婷婷丁香五月天狠狠| 激情五月丁香色婷婷| 蜜桃婷婷五月| 色婷婷社区| se影音资源在线观看| 亚洲精品国产精品乱码不99| 深爱激情丁香| 婷婷九月色| 三人荫蒂添的好舒服A片| 成熟妇人A片免费看网站| 超碰日韩成人| 97热久久| 婷婷五月天成人网站| 成 人片 黄 色 大 片| 天天爽人人爽| 五月天激情综合10p| 色五月丁香五月婷婷五月成人网| 99热无码| 深爱开心激情| 美女被肏网站在线看| 婷婷基地成人五月天| 色婷婷色情| 99r这里只有精品哦| 五月婷六月丁香| 天天操比比| 激情综合网五月婷婷| 91碰碰| 婷婷视频在线碰| 涩涩婷婷五月| 七七九九色色| 激情五月视频在线婷婷| 亚洲激情综合| 久久免费干| 九九狠狠干| 丁香午月AV中文字幕| 天天干天天av天天射| 97久久超级| 日本精品在线噜噜噜| Av性爱网站| 色色色.COM| 久久精品人妻| 97性视频| 丁香五月六月欧美| 99色在线| av九九| 国产婷婷五月天| 色欲五月婷婷| 99久久国产综合精品五月天喷水\| 五月天停停日日| 久热这里精品免费| 色色激情| 91viP在线看| 色天天综合| 五月天婷婷久久| 在线观看中文字幕亚洲| 久久久久久18| 久热这里只有精品6官网亚洲| 亚洲操B| 亚洲日本韩国| 色色热99| 日本久久高清| 日韩成人综合| 99热这里只有精品在线播放 | 91人妻视频| 中文字幕 中文字幕明步| 99热视| 婷婷久久久| 人人搡人人| 中文AV网站| 99国产97在线,| 五月婷婷五月天天| http:色情日本com| 久热a| 亚洲激情五月丁香久久久久| 亚洲人妻av| 色婷婷五月天中文字幕| 91狠狠色丁香婷婷综合久久精品| 婷婷色色五月天| 欧美25p| 91成人电影| 婷婷色五月婷| 97色色婷婷| 99热老司机| 婷婷色色网| 丁香五月成人社区| 丁香六月 婷婷六月| 亚洲欧美成人在线| 内射丰满人妻| 91日精品| 日日干天天射| 成人在线网址| 婷色五月| 久久99美女精彩视频| 久在线综合69| 五月天婷婷丁香导航| 97人人爱人人操| 五月婷婷色综图片| 精品国产va久久久久久久| 狼人狠狠操| 91久久五月天| 日韩黄在免| 这里只有精品在线免费视频| 99视频在线观看网址| 岛国av网站| 91久久| 国产又爽又猛又粗的视频A片| 五月丁了香蕉综合| 久久桃花网色婷婷| 亚洲啪视频| 久色网| sisi热国产| 婷婷五月综合中文字幕| 99re视频在线播放| 婷婷五月天激情偷拍| 91狠狠色丁香婷婷综合久久精品| 天天日天天干天天操| 综合色五月天| 久久久性爱网| 六月天婷婷| 91久久免费| 九九热99热| 性 色 婷婷| 日本性视频| 日韩成人无码人妻| 九九精品视频在线6| 婷婷五月综合婷婷| 狠狠色狠狠爱| 国外亚洲成AV人片在线观看| 久久激情五月| 99网| 精品色色网| 九九色大香蕉| 免费V片在线| 激情色播| 九九热超碰| 热久视频| 99久久99热这里只有精品| 大香蕉婷婷丁香视频在线| 影音先锋美国A| 五月丁香六月婷综合成人综合| 激情五月丁香六月婷婷| 色综合xx| 激情久久五月天| 激情婷婷丁香色五月| 色婷婷狠狠18禁| 狠狠操狠狠插| 五月激情婷婷丁香| 日日夜夜爽| 夜夜www| av大香蕉| 欧美日比视频| 丁香婷婷六月天| 欧美熟妇一区二区三区| 丁香六月天婷婷| 亚洲AV免费在线| 色停停香蕉视频| 六月综合在线| 婷婷 月 丁香| 人人草人人视| 国产免费av网站| 欧美成人AAA片一区国产精品| 五月婷婷深深爱| 久久女婷| 五月丁香网站| 韩国真做片在线观看| 国外亚洲成AV人片在线观看| 青青草成人网| 色婷婷久久| 天天日夜夜| 五月激情站| 亚洲精品视频在线播放| 成人AV在线电影| 五月天激情久久| 亚洲中文字幕AV| 99在线精品观看99| 天天插天天射| 江苏少妇性BBB搡BBB爽爽爽| 第四色色六月色综合| 国内熟女黄色系列| 婷婷丁香18| www.玖玖九| 久久精品凹凸分类| 色婷婷亚洲综合天堂| 狠狠色丁香久久综合婷婷亚洲成人福利| 精品AV无码超碰| www.AV在线| 五夜丁香| 五月婷丁香花| 99惹精品视频| 久久人人妻| 国产 亚洲 在线| 九九热在线视频观看| 亚洲久热| 久久激情婷婷| 久久久婷| 九九这里有精品| 激情五月天偷拍综合网| 激情AV| 亚洲熟妇AV乱码在线观看| 丰满少妇猛烈A片免费看观看| AA片在线观看视频在线播放| 1024国产在线| wWW九九在线播放| 天天色月| 狠狠色综合网站久久久久| 日本爆乳片手机在线播放| 色色无码| 色五月,婷婷大香蕉| 玖月婷婷爱丁香| 丁香婷婷激情网站| 色婷婷综合视频| 久久综合9| 五月天日日操夜夜操 | 99热这只有| 99热这里只有精品最新地址获取| 中文字幕AV在线| 又大又粗九一在线| 538午夜激情| 激情综合五月开心狠狠| 99人妻碰碰久久久禁片| 日本97在线视频| 欧美婷婷五月天综合| 99在线视频免费| 男女啪啪做爰高潮无遮挡| 综合色吧| 互月天综合| 丁香婷婷影院| 丁香激情四射| 国产综合网在线| 色婷婷五月综合| 91精品婷婷国产综合| 五月天伊人日日噜影片AV| 久久99久久99久久99人受| 另类视屏| 欧美黄色韩日网| 婷婷五月色综合香五月| site:jszngf.com| 99日本精品视频热| 天天久久狠狠色综合| 色五月av| 综合久久久婷| 成人免费va| 亚洲成人无码专区| 99热在线中文字幕| 九九婷婷五月天| 激情图片亚洲| 久大香蕉| 欧美大香蕉视频| 综合五月丁香六月婷婷| 人妻中文字幕精品| www激情五月天| 韩日另类| 久久这里有精品在线观看| 婷婷久热| 九九热色视频| 99爱精品| 亚洲第精品| 午夜成人片400| 伊人天天色| 亚洲精品久久久久久久久久飞鱼| 操逼123网| 亚洲AV成人无码精品| 人人人操B超碰| 思思久久99热只有频精品66| 超碰成人免费| 91chinese在线| 天天日综合网射| 亚洲综合激情五月久久| 五月天婷基地| 激情五月天久久| 国产精品蜜臀99| 亚洲视频一区| 激情综合色播| 色婷婷色九月| 色婷婷影院| 第2色五月婷| 五月综合久久| www.狠狠操.con| 亚洲成人综合在线| 色天天狠狠干| 久9热插入| 婷婷五月六月丁香综合| 超碰在线网站| 色婷婷六月| 五月丁激情| 婷婷五月激情小说| 色综合大香蕉| 五月天播播综合| 偷拍九九热| www.射伊蕉婷婷| 九九热在线视频| 热成人网| 超碰在线人妻| 国产SUV精品一区二区6| 婷婷五月六| 婷婷综合| 九九美女视频| 超碰国产在线| 五月激情网站| 久久这里只有精品网| 久久香蕉婷婷| 国产真人做爰视频免费| 影音先锋一区二区三区| 99免费视频精品| 嫩草视频在线观看| 九色激情| 婷婷情色开心五月天99| 操逼六区| 六月丁香婷婷在线波多| 天天插天天射天天干| 五月婷在线观看| 深爱激情网噜噜色| 66精品国产成人| 婷久久综合| 熟女激情五月天| www.henhengan| 色七色九九| 色五月色五天色情网址| 欧美日韩成人| 五月丁香欧美综合| 99免费| 五月天婷婷色小说| site:901-07.com| 亚洲欧美日韩VIP| 99热在线中文字幕| 激情婷婷五月天| 五月天婷婷丁香社区| 啪啪啪大香蕉| 五月综合丁香婷婷| 99在线视频女女视频| 欧洲电影在线观看免费版英语版| 日本色天堂| 午夜丁香五月天综合| 六月丁香婷婷尤物| 69五月天视频| 天天曰夜夜爽| 久久色在线视频| 九九精品网站| 丁香六月激| 亚洲无码九九九| 欧美日韩婷婷五月天| 亚洲视频一区| 天天日色情| 久久婷婷超碰| 人妻Av在线| 大地资源色婷婷视频在线| 97精品自拍| 色5月婷婷色| 无码髙清| 美女五月天| 大香蕉九九| 激情五月天综合网| 婷婷五月天成人视频| 综合色七七| 97超碰免费超级在线观看| chaopengdaxiangjiao| 五月婷婷六月色| 婷婷性爱影院| 俺去也五月| 国产成人综合亚洲| 久久精品国产AV一区二区三区 | 五月婷狠狠| 美腿丝袜AV天堂网| 99色激| 琪琪秋霞| 婷婷六月偷拍| 中文字幕天天干| 色站9/| 亚洲一级AV在线免费播放| 伊人久久大香蕉网| 精品思思久久| 五月婷婷激情中心| 国产97色在线 | 日韩| 97色97干| 狠狠搞狠狠操| 伊人久久婷婷五月综合97色| 噜噜五月天综合| 日本在线观看91| 色综合色五月| 夜夜夜叫天天天做| 99热精品无码| 99热精品在线观看| 亚洲网在线观看| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 色综合av超碰| 182TV亚洲| 伊人干练久| 99综合自拍| 五月婷婷丁香啪啪| 五月天色婷婷图片| 色九月婷婷综合| 丰满少妇猛烈A片免费看观看 | 久久丁香五月| 久久久天堂国产精品女人| 97色视频网| 色婷婷影院| 成人性爱无码| 综合久| 1024成人在线观看| 影音先锋人妻出差| 天天射综合网站| 人妻有码乱操| 欧美综合激情五月| 婷婷五月天小说网| 色婷婷色综合久久精品V| 婷婷6月综合网| 国产日韩欧美性爱| 婷婷五月欧美| 99爱精品视频| 国产精品人人做人人爽人人添| 色99免费视频中文| 色五月婷婷激情五月| 久热这里这里有精品| 色婷婷狠狠18| 91碰免费视频| 伊人婷婷激情| 亚洲黄色网址| 情涩婷婷五月天| 成人av免费观看| 九九婷婷综合| 欧美日韩999| 狠狠色丁香久久婷婷综合五月| 五月花亭亭| 日本99视频| 亚洲视频操| 9久精品视频| 99色色爰| 超碰在线人妻| 激情五月丁香在线观看直播| 性一交一乱一交A片久| 婷婷开心青青草| 激情五月婷婷视频| 国产乱妇乱子伦| 国产美女无遮挡裸体毛片A片| 99色最新在线视频| 极品少妇XXXX精品少妇偷拍| 成人婷婷五月| 思思久久精品| 综合久久婷婷99| 9色操| 婷婷五月黄色激情在线| 亚洲精品另类| 少妇AB又爽又紧无码网站| 婷婷午夜激情| 国产精品爽爽久久久久久| 天天日天天做天天操| 激情综合青草| 亚洲色五月天| WWW激情五月天| 婷婷五月天播| 色~性~乱~伦~噜| 99 福利 导航| 久久丁香婷| 51精品国自产在线| 婷婷激情五月| 公的粗大挺进了我的密道| 九热视频| 青青草Avb在线| 99er热精品视频| 香蕉久久五月| 五月婷婷六月激情| 久久婷婷五月草视频在线播放| 在线播放 精品| 香蕉久久国产AV一区二区| 久久久婷婷| 午夜精品777| 五月丁香六月婷婷中合网| 天天色天天搡| 久久久.www| 色婷婷狠狠久久综合五月| 五月永久激情| 五月天丁香欧美激情| 极品嫩草| 综合色视频| 激情婷婷网| 99热这里只有精品在线观看| www.射伊蕉婷婷| 26uuu欧美| 综合网激情| 开心五月天激情网| 99热亚洲精品| 丁香婷婷激情| 97久久草草超级碰碰碰| 色五月激情综合网| 丁香五月天综合| 五月天国产| 九九久久99| 亚洲天天| 欧美性猛交XXXX乱大交极品| 久爱综合| 久久爱综合| 9久9久| 黄网在线观看免费| 婷婷色在线| 99精品久久久久| 六月婷婷啪啪| 操一操干一干| 色婷婷99| www.一区二区三区| 91 九色 入口| 色伊人啪| 精品国产va久久久久| 欧美群妇大交乱婬网| 激情五月综合六月丁香婷婷狠狠干| 99高级会所久久| 久久人人人人妻| 99热免| 九九自拍网| 五月天综合激情网| 色婷久久| 亚洲成av人影院| 四虎99热在线观看网站| 91.com男女操| ,99视频久久| 五月丁香激情欧洲啪啪| 激情网五月天| 成人丁香五月天| BBWCUCKOLD精品熟妇| 色哟呦av| 67久久| 色色五月婷婷狠狠| 潮汕成人AV片在线| 九九综合九九| 五月丁香六月婷婷免费视频| 人人摸人人| 五月天婷婷无码| 亚洲精品久久久无码| 亚洲天堂碰碰婷婷| 色色色欧美| 亚洲麻豆乱码国产2028| 五月天婷婷激情小说电影| 91九色视频| 无遮挡国产高潮视频免费观看 | 激情四射亚洲| 99热热这里只精品996小说| 热的国产99热| 亚洲欧美一区二区三区四区爱爱动图| 99热99精品| 99自拍视频在线观看| 99九九精品视频推荐| 黄色五月婷婷| 五月婷六月丁| 色欲av伊人久久大香线蕉影院| 91丨九色丨白浆| 噼里啪啦完整版中文在线观看| 六月丁香天堂| 9色视频在线| 欧美性色五月天| 天天操加勒比| 国产SUV精品一区二区6| 91互操| 婷婷玉月丁香五月在线视频| 五月色婷婷影院| 人妻中文在线| 久久婷婷人人| 色情激情五月| 武则天精品久久| 狠狠插.com| www久久99| 79精品视频| 综合久久婷婷| 丁香密臀AV激情网| 色五月天综合| 色五月婷婷基地| 91在线视频观看午夜福利| 夜色综合网| 亚洲永远av在线播放| 爱草视频在线观看| 久久婷婷五月天| 五月丁香福利| 91精品久久久久久77777| 色婷婷啪啪| 淑女丝袜bi操逼123| 欧美十二区| 69婷婷丁香午夜| 韩国天天婷婷| 婷婷伊人网| 99九九这里有免费视频| 婷婷丁香五月视频| 婷婷伊人无码| 中文毛片无遮挡高潮免费| 午夜天天精品视频| 欧洲永久精品| 人妻AV在线观看| 五月丁香A片| 国外亚洲成AV人片在线观看| 婷婷射图| 丁香六月婷婷久久综合| 久久久久久久久久久久久久久久久精典| 亚洲性爱99在线| 五月丁香| 99久热在线精品99re6热| 久久黄色免费视频| 激情人妻综合| 超碰丁香五月| 欧美激情五月| 国外亚洲成AV人片在线观看| 99色天堂| 91成人看片| 加勒比久热| 人人射av| 伊人五月综合网| 国产色网站| 婷婷深爱五月| αV电影| 人人射av| 国产又黄又爽又色的免费| 婷婷丁香成人| 婷婷涩涩五月天| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 射区导航| 亚洲综合激情五月| 亚洲精品第一国产综合亚AV| 月婷婷亚洲| 日韩九九| 九九99精品视频在线观看| 99精品亚洲| 丰满少妇猛烈A片免费看观看| 色情五月综合婷婷| 深爱婷婷丁香五月激情| 色婷丁香91| 99色在线视频| 人人视频色| 激情五月综合网| 日本久久婷婷| 国产激情婷婷| 激情丁香久久久久久| 婷婷五月天视频亚洲| 婷婷五月天丁香久久| 亚洲激情综合免费| 六月色 亚洲| 天天日,天天射,天天舔| 中文字幕人妻AV| 五月天影院| 玖玖色综合色| www.99热. com这里只有精品| 久久久全国免费视频| 久久99久久99精品免视看婷婷| 99精品视频在线观看| 《诡秘之主》在线观看| 久久婷婷热| 色婷婷操逼| 日韩在线视频网站| 久久激情五月| 五月天婷婷成人网| 亚洲天堂亚洲色色色| 婷婷五月天在线观看| 深爱激情网婷婷| 天天日日夜夜| 精品国产人人爱人人| 嫩草AV久久伊人妇女超级A| 丁香六月激情综合网| www,婷婷,com| 五月天激情久色| 婷久久高清| 五月天婷婷高清无码| 狼人久草| 九九热只有这里是精品| 91人久| 色区域网站视频| 国产乱人偷精品人妻A片| 久久99热这里只有精品23| 中文字幕按摩做爰| 色婷婷五月天激情久久| 91大屁股在线| 久久婷婷视频| 六月丁香久久| 亚洲亚洲人成综合网络 | 91精产一区三区免费观看| 九九99九九99| 久久久久久xxxxx| 欧美激情五月天| 五月丁香六月婷婷综合伊人| www.九月婷婷丁香.com| 五月婷婷六月色| 蜜桃婷婷狠狠久久| 伊人激情综合网| 都市激情蜜桃婷婷五月天| 97色婷婷| 五月丁香av在线| 精品无码久久久久久久久| 99热无码| 538任你爽| http:色情日本com| 久久99性爱| 五月丁香自拍| 性做久久久久久久免费看| 开心婷婷五月中文字幕组| 五月丁香色婷婷久久| 色婷婷久久| 精品色色网| 欧美精品A片一区在线观看| 99久热| 国语对白性爱视频播放| 久久久久久五月天| 深爱婷婷丁香五月激情| 婷婷伊人久久| 亚洲操B| 色。 婷婷婷| 色天使色综合| 婷婷伊人綜合中文字幕小说| 天天干天天 亚洲| 久久艹 五月天| 99热| 久久成人性爱| 91操屁股| 性色五月天| 日韩十国产极品久久| 激情图片久久| 亚洲成人免费电影| 精品,99| 日本片日本片祼观看网站在线看中文版网页在线看 | 五月夜丁香| 综合网啪| 无码少妇高潮喷水A片免费| 五月天婷婷小说| 97色色色视屏| 999九九九久久久99HD| 超碰激情网| 久久黄色免费视频| 亚洲成人中文字幕| 中文字幕人成乱码在线观看| enecarbon-materials.com污K127封锁请涟系@wip1688 | 婷婷狠狠综合网入口| 丁香大香蕉| 狠狠干思思热| 五月丁欧美| 国产亚洲成AV人片在线| JAPANRCEP老熟妇乱子伦视频| 日本在线免费中文com.| 天天干天天av天天射| 久久久久久久久久8888| 日日爱激情| 国内裸舞二区| 大香蕉婷婷久久| 婷婷干| 色综合99| 天天插天天爽| www.色婷婷。com| 欧美综合五月丁香六月婷| 国产69久久久欧美黑人A片 | 九九亚洲视频| 色综合久网| 极品人妻VIDEOSSS人妻| 五月综合激情| 丁香五月婷婷激情123| 中文字幕在线观看视频www| 99久久色| 日本不卡高字幕在线2019| 婷婷丁香成人| 五月婷婷在线视频| 色5月婷婷| 精品99这里有| 欧美在线97| 五月停亭久久电影| 99在线精品免费视频| 婷婷伊人| 激情综合一| 五月WWW| 深爱激情九九五月天 | 天天天天天天操| www.五月天婷婷姐姐| 丁香六月婷婷一区| 偷偷操99| 亚洲激情六月丁香| 五月停性愛| 欧美在线视频99| 婷婷五月天色色| 这里只有精品在线观看视频| 思思热在线视频99| 天天干狠狠操| 97碰啪啪| 91色综合网| 97香蕉人人在线观看| 爱99干99| av在线免费播放| 中文字幕成人影视| 五月天婷婷视频小说| www激情五月天| 五月色欧洲| 91艹人| 日本三级毛片| se色综合网| 亚洲天堂碰碰婷婷| 丁香五月伊人| 久久曰9| 超碰免费人| 五月激情综合网| 天天澡天天狠天天天做| 婷婷婷婷婷开心无码播放| 九九热经典视频在线观看| site:publishdd.com| 丁香五月天欧美| 久久伊人日日夜夜| 九九草热在线观看| 天天爱天天做天天舔| 99自拍网| 亚洲影院婷婷色| av高清无码| 日本女色人人| AA片在线观看视频在线播放| 国产肥白大熟妇BBBB视频| 中字幕视频在线永久在线观看免费| 久久久久久欧美精品se一二三四| 丁香六月激情| 午夜激情综合| 五月丁香婷婷在线| 婷婷激情社区| 久久五月丁香| 九九热视频在线观看| A片试看50分钟做受视频| 99视频精品| 97人妻碰碰碰久久香蕉| 女婷久久| 色播丁香| 色色色色网| 亚洲超碰在线| 风流少妇A片一区二区蜜桃| 久久久免费精彩视频| 五月丁香久久| 亚洲成人综合在线| 最近免费中文字幕大全高清大全1| www.五月天| 色和综合网| 影音先锋男士资源网一区| 日日噜噜夜夜狠狠久久丁香五月| 999热在线观看视频| 91超级碰人人操| 久久新| 狠狠爱综合网| 色播丁香五月婷婷操:屄| 人人干AV| 五月丁花六月丁香综合| 男女免费视频999| 超碰在线人妻| 丁香五月激情网| 天天色综网| 丁香五月婷婷激情中文| 99亚洲视频| 天天日天天舔天天摸| 丁香六月 人妻| ss99热| 日韩精品色| www,av好吊操| 婷婷丁香五月天激情| 午夜一区| 国産精品| 天天日,天天插| 99色视频| 国产看真人毛片爱做A片| 婷婷五月色花丁香社区| 色色五月天丁香婷婷| 超碰精品在线| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 欧美五月婷婷综合| 黄网在线免费播放| 丁香六月AV| 久8色色| 色情丁香五月婷婷精品| 婷婷综合网| 亚洲AV成人无码精品| 丁香五月天狠狠操| av 一区三区四区| 婷婷色色播五月天| 午夜国产精品AV在线播放| 五月婷婷影| 大香蕉520| 成人αV视频免费观看| 婷婷国产五月天17c| 久激情| 人人操AV| 婷婷五月色花丁香社区| 亚洲亚洲永久无码777777| 五月天开心网| 亚洲精品色| 97超碰9久热婷婷热| 黄色一级影片| 天天激情视频| 五月在线| 丁香六月综合激情| 久久ri精品| 亚洲婷婷丁香| 色婷五月天网站| 五月天播播中文字幕| 91九色在线| 五月天丁香色色| 婷婷五月天首页激情| 天天色·欧美| 天天干天天日天天操| 色婷婷综合视频| 国产97在线日韩亚洲女人被黑人巨大| 黑人熟妇一区二区三区| 亚洲永久四色| 亚洲人成人五月天| 五月天婷婷无码| AV在线免费观看不卡| 99在线观看| 亚美欧色影院| 激情五月小说婷婷| 亚洲殴洲精品Av在线| 激情丁香婷婷六月天| 五月婷婷AV| 亚洲激情网| 欧美、日韩、中文、制服、人妻| 久草五月天电影网| 丁香六月色婷婷| 亚洲六月色| 99视频在线播放大全| 99精品久久久久久久婷婷久久| 超碰在线成人| 五月天丁香花婷婷| 天堂婷婷五月在线| 色五月婷婷基地| 无码成人AAAAA毛片AI换脸| 久久婷狠狠色| 天天成人综合视频| 亭亭玉月丁香| 91啪啪网| 婷婷精品性性性性性性性| 大香蕉520| 国产婷婷综合| 精品色色色| 亚洲精品无码一区二区| 日韩久热| 婷婷五月天视频亚洲| 97人妻超级碰碰碰碰碰| 五月丁香六月在线欧美| 99成人| 激情婷婷激情在线不卡| 亚洲第一色色色色| 色激情综合| 毛片蕉地一二| 婷婷五月激情在线| 亚洲精品在线视频| 青青久久91| 日韩激情人伦人| 日韩成人综合网| www五月天com| 99综合一区| 最新高清无码专区| 99热99在线| 欧美色爱五月天| 九九9久九9国产视频| av 一区三区四区| 婷婷五月综激情| 婷婷五月丁香综合人妻| 日日操天天操| 欧美色九| 丁香九月婷婷色| 国外亚洲成AV人片在线观看| 免费黄色视频网址| 色五月丁香五月天| 伊人久久大香线蕉精品| 成人午夜无码视频| 久热中文字幕| 色欲久久久久久综合网综合网| 视频色色色色色色| 色www99| 97丁香五月天| 天天色播| 久久九九网| 色情五月停停丁香| 五月婷婷啪啪啪啪| 夜夜爽日日躁| 大地9中文在线观看免费高清| 天天摸天天舔在线视频| 色色色色五月| 久热大香蕉| 丁香色六月婷婷| 久久婷婷五月天激情四射| 日本婷婷色日| 996热re视频在线观看视频| 26uuu欧美激情另类| 超碰天堂网| www.久久66| 超碰九九热| 五月婷婷色影院| 成年人看Va免费视频| 五月天激情亚洲| 婷婷丁香人妻天天久久| 亚洲视频另类| 色五月婷婷很很操| 久久久五月天婷婷成人网| 夜夜操天天干| 丁香五月婷婷啪啪视频| 狠狠五月天婷婷激情网。| 我淫我色婷婷五月天激情四射| 俺也去综合| 桃色五月婷婷| 日韩精品无码99| 北京熟妇搡BBBB搡BBBB| 久久婷婷五月草视频在线播放| 色色色99| 久99久热| 99热老网站| av超碰在线| 丁香五月手机在线| 五月停停999| 久久五月视频| 婷婷五月天成人五月天| 久久久免费精彩视频| 色五月激情问网站| A片试看120分钟做受图片| 国产99精品免费视频| 色五月首页| 天天日夜夜高潮| 亚洲精品字幕| 激情五月天色婷婷| 欧美啪啪五月天| www.jiujiujiu| 久热超碰91| www.五月天色色.com| 伊人久久艹| 五月婷婷六月天| 色情播放| 一级黄色片看看| 六月婷婷五月天| av国产精品偷| 五月婷婷激情综合| 欧洲亚洲欧洲99久久| 亚洲精品第一国产综合亚AV| 久久人妻人人| 丁香五月首页| 色色国产| 99色看| 色吊丝av中文字幕| 99福利导航| 26uuu.| 超碰一区二区| 色婷另类| 亚洲热手机在线观看| 97精品人人A片免费看| 天天狠狠干| 99久久久久久久| 色综合色| 这里都是精品99| 第四色在线观看| 五月婷婷官网色| 色婷婷色99国产综合精品| 色色色综合网| 激情综合色播| 噜噜干日本| 色色a| 亚洲综合婷婷六月丁香五月| 色玖玖综合| 色婷婷网| 天天爽日日爽夜夜爽| 婷婷九九| 婷婷色五月激情| 久久婷婷激情视频| 2020夜夜操天天爽| 狠狠色综合网| 亚洲最大五月天成人网| 狼人婷婷久久| JAPANRCEP老熟妇乱子伦视频| 伊人五月人妻精品| 色婷婷综合影院| 婷婷伊人网| 五月婷婷六月奇米网丁香| 色九综合| 欧美成人AAA片一区国产精品| 激情婷婷六月| 91精品国产91久久久久青草| 天天做天天爱| 天天色综合图片| 激情小说五月天| 黄急一级视频| 9久久婷婷国产综合精品性色| 婷婷五月天无码熟女| 亚洲人妻电影| 久久er99热精品一区二区| 婷婷五月天av| 亚洲综合干| 日本三久久| 九九99免费视频| 五月激情丁香六月狠狠干| 激情综合文学| 日日操夜夜撸| 色色色色色色色色色色色色色色,网站| 色情综合| 五月丁香日逼| 大香网伊人久久综合| 天天爱天天吃狠天天透| 欧美日韩大黄| 国内一级精品| 婷婷色综合| 停停五月丁香| 欧洲激情五月天婷婷| 欧美日韩成人在线网站| 色欧美色色色| 丁香五月天激情| 五月丁六月香| 99er6| 久大香蕉| 香蕉AV777XXX色综合一区| 色婷狠狠| 丁香婷婷激情五月| 婷婷午夜精品久久久| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | av亚洲国产小电影| 久久久精品色| 六月婷五月丁香| 精品九九网| 丁香五月大香蕉| 天天夜夜操| 丁香激情网| 久久久久久久久久久jjjj| 99啪啪| 99在线69| 激情五月天婷婷在线网址发给我| 五月丁香六月婷婷中文版| 99久久99九九99九九九| 中文字幕操比影片| 色婷婷成人做爰A片免费看网站 | 五月婷婷网久久| 九九色色色| 99九九这里有免费视频| 99热只有| 久久婷婷综合基地| 亚洲综合狠狠艹| 大香蕉伊人久久| 狠狠色大香蕉| 操草草草| 四色永久成人网站| 久久色婷婷| 99亚洲精品| 深情五月天| 五月丁香六月婷婷中合网| 91超碰在线播放| 在线播放 精品| 天天干,夜夜爽| 99热日| 青青草五月天| 思思精品热在线| 日韩色色小视频| 色五月琪琪| 日本99在线| 九九激情综合| 天天影院色| 色吧五月婷婷| 色玖玖综合网| 99人人操人人操人人精| 日日夜夜亚洲一区| 婷婷香蕉精品| 无码人妻少妇色欲AV一区二区| 丁香五月综合| 99免费| 五月丁香狠狠爱|