欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Canal Docker部署性能調(diào)優(yōu):從單容器到K8s的實戰(zhàn)指南

Canal Docker部署性能調(diào)優(yōu):從單容器到K8s的實戰(zhàn)指南 1. 項目概述為什么我們需要關(guān)注Canal的Docker啟動方式在數(shù)據(jù)同步和實時數(shù)據(jù)處理的領(lǐng)域里Canal這個名字對于很多后端和數(shù)據(jù)處理工程師來說已經(jīng)不再陌生。它扮演著數(shù)據(jù)庫“搬運工”的角色悄無聲息地監(jiān)聽MySQL的binlog然后將數(shù)據(jù)變更事件實時推送到下游的Kafka、RocketMQ或者直接給到應(yīng)用消費。我最早接觸Canal是在一個微服務(wù)架構(gòu)的訂單系統(tǒng)中當(dāng)時需要將訂單狀態(tài)的變更實時同步到Elasticsearch里做搜索和報表手動解析binlog的復(fù)雜度和維護(hù)成本讓我望而卻步Canal的出現(xiàn)直接解決了這個痛點。隨著容器化技術(shù)的普及Docker幾乎成了應(yīng)用部署的標(biāo)配。把Canal塞進(jìn)Docker容器里好處顯而易見環(huán)境隔離、一鍵部署、版本管理和資源控制都變得異常簡單。但問題也隨之而來——Canal在Docker里怎么啟動才最合適是簡單跑個單機(jī)版還是用Docker Compose編排一套帶管理界面的抑或是為了生產(chǎn)環(huán)境的高可用上Kubernetes不同的啟動方式在資源占用、性能表現(xiàn)、運維復(fù)雜度上差異巨大。直接影響到數(shù)據(jù)同步的延遲、吞吐量以及整個系統(tǒng)的穩(wěn)定性。我見過不少團(tuán)隊在開發(fā)環(huán)境用docker run命令跑得挺好一到生產(chǎn)環(huán)境面對稍大的數(shù)據(jù)流量容器就頻繁O(jiān)OM內(nèi)存溢出或者CPU被打滿同步延遲飆升。這往往不是因為Canal本身不行而是啟動方式和資源配置沒摸對門道。所以今天我們就來深挖一下Canal在Docker下的三種主流啟動方式單容器命令啟動、Docker Compose編排啟動、以及面向生產(chǎn)的Kubernetes部署。我會結(jié)合真實的壓測數(shù)據(jù)和調(diào)優(yōu)經(jīng)驗告訴你每種方式適合什么場景背后的性能關(guān)鍵點在哪里以及如何通過調(diào)整JVM參數(shù)、容器資源限制和Canal自身配置把它的性能榨干確保你的數(shù)據(jù)同步流水線既快又穩(wěn)。2. 三種Docker啟動方式深度解析與選型選擇哪種Docker啟動方式絕不是拍腦袋的決定它需要綜合考慮你的團(tuán)隊規(guī)模、項目階段、運維能力和性能要求。下面我們就來逐一拆解看看它們各自的“脾性”。2.1 方式一單容器命令啟動——快速驗證與開發(fā)利器這是最直接、最快速的方式適合個人學(xué)習(xí)、功能驗證或者開發(fā)測試環(huán)境。你只需要一條docker run命令一個Canal服務(wù)就起來了。docker run -d --name canal-server \ -p 11111:11111 \ -e canal.instance.master.address192.168.1.100:3306 \ -e canal.instance.dbUsernamecanal \ -e canal.instance.dbPasswordcanal \ -e canal.instance.filter.regex.*\\..* \ canal/canal-server:latest這條命令做了幾件事以后臺模式運行一個名為canal-server的容器將容器內(nèi)的11111管理端口映射到宿主機(jī)通過環(huán)境變量傳入MySQL主庫地址、賬號密碼以及要監(jiān)聽的表過濾規(guī)則這里是監(jiān)聽所有庫所有表最后指定使用官方的canal-server鏡像。它的核心優(yōu)勢在于“快”和“簡”。無需編寫任何配置文件對于想快速體驗Canal功能、測試某個MySQL實例的binlog解析是否正?;蛘唛_發(fā)階段需要臨時搭建一個數(shù)據(jù)同步源這種方式是首選。你可以在一分鐘內(nèi)完成部署并開始測試。注意這種方式將所有配置通過環(huán)境變量傳遞雖然方便但只適用于最基礎(chǔ)的配置。對于復(fù)雜的配置如定義多個數(shù)據(jù)源destination、調(diào)整網(wǎng)絡(luò)參數(shù)、設(shè)置ZooKeeper地址等就顯得力不從心了。而且容器內(nèi)的配置是“一次性”的容器刪除后配置就沒了不適合需要持久化的場景。性能與資源考量在默認(rèn)情況下這樣啟動的Canal容器其JVM參數(shù)也是默認(rèn)的。對于小數(shù)據(jù)量的測試沒問題但如果突然來一波大的數(shù)據(jù)更新可能會因為GC垃圾回收頻繁或內(nèi)存不足導(dǎo)致同步卡頓。在開發(fā)階段我建議即使這樣啟動也最好加上資源限制為后續(xù)調(diào)優(yōu)做個鋪墊docker run -d --name canal-server \ --memory2g --cpus1 \ -p 11111:11111 \ ...其他環(huán)境變量這里限制了容器最多使用2GB內(nèi)存和1個CPU核心防止測試時它占用過多宿主機(jī)資源影響其他服務(wù)。2.2 方式二Docker Compose編排啟動——標(biāo)準(zhǔn)化團(tuán)隊協(xié)作與集成部署當(dāng)你的項目需要將Canal與MySQL、ZooKeeper用于Canal Server高可用和管理、管理界面Canal Admin等組件一起部署時單條命令就變得冗長且難以管理。這時Docker Compose的優(yōu)勢就體現(xiàn)出來了。它通過一個docker-compose.yml文件定義和運行多容器的應(yīng)用。version: 3.8 services: zookeeper: image: zookeeper:3.8 container_name: zookeeper ports: - 2181:2181 restart: unless-stopped canal-server: image: canal/canal-server:latest container_name: canal-server depends_on: - zookeeper ports: - 11111:11111 environment: - canal.zkServerszookeeper:2181 - canal.admin.managercanal-admin:8089 - canal.admin.useradmin - canal.admin.passwdadmin # 更多實例配置可通過volume掛載 volumes: - ./canal-server/conf:/home/admin/canal-server/conf - ./canal-server/logs:/home/admin/canal-server/logs restart: unless-stopped deploy: resources: limits: memory: 4G cpus: 2 canal-admin: image: canal/canal-admin:latest container_name: canal-admin depends_on: - canal-server ports: - 8089:8089 environment: - server.port8089 - spring.datasource.urljdbc:h2:./conf/canal-admin.h2;MODEMYSQL - canal.admin.useradmin - canal.admin.passwdadmin volumes: - ./canal-admin/conf:/home/admin/canal-admin/conf - ./canal-admin/logs:/home/admin/canal-admin/logs restart: unless-stopped這個編排文件定義了一個典型的Canal微服務(wù)集群先啟動ZooKeeper作為協(xié)調(diào)服務(wù)然后啟動Canal Server它依賴ZooKeeper并且通過卷volumes將本地的配置目錄和日志目錄掛載到容器內(nèi)實現(xiàn)了配置和日志的持久化最后啟動Canal Admin提供一個Web管理界面。這種方式的核心價值在于“聲明式”和“可復(fù)用”。配置文件即文檔新成員加入項目一看docker-compose.yml就知道整個Canal棧的構(gòu)成和依賴關(guān)系。通過docker-compose up -d一鍵啟動所有服務(wù)docker-compose down一鍵清理極大地簡化了環(huán)境搭建和銷毀的流程非常適合中小型團(tuán)隊的測試、預(yù)發(fā)布甚至生產(chǎn)環(huán)境。性能調(diào)優(yōu)的切入點配置持久化通過volumes掛載conf目錄允許你在宿主機(jī)上精細(xì)地編輯canal.properties和instance.properties。這是性能調(diào)優(yōu)的基礎(chǔ)你可以修改線程池大小、批處理尺寸、網(wǎng)絡(luò)超時等關(guān)鍵參數(shù)。資源預(yù)定義在Compose文件中直接使用deploy.resources.limits或老版本的mem_limit,cpus為容器預(yù)設(shè)資源上限。這比在docker run時指定更清晰也便于版本管理。依賴管理depends_on確保了服務(wù)啟動順序避免了因依賴服務(wù)未就緒而導(dǎo)致的啟動失敗提升了部署的可靠性。2.3 方式三Kubernetes部署——面向生產(chǎn)的高可用與彈性伸縮對于大規(guī)模、高可用的生產(chǎn)環(huán)境Kubernetes (K8s) 是更專業(yè)的選擇。它將Canal的每個組件Server, Admin都視為一個微服務(wù)通過Deployment、StatefulSet、Service、ConfigMap等資源對象進(jìn)行管理。為什么生產(chǎn)環(huán)境需要考慮K8s核心就兩點高可用HA和彈性伸縮。單點運行的Canal Server一旦掛掉整個數(shù)據(jù)同步就會中斷。在K8s里你可以輕松地為Canal Server部署多個副本Replicas并通過Service實現(xiàn)負(fù)載均衡和故障轉(zhuǎn)移。當(dāng)監(jiān)控發(fā)現(xiàn)同步延遲增加或資源使用率過高時可以基于HPAHorizontal Pod Autoscaler自動擴(kuò)容Canal Server的實例數(shù)。一個簡化的Canal Server Deployment配置可能如下apiVersion: apps/v1 kind: Deployment metadata: name: canal-server spec: replicas: 2 # 兩個副本實現(xiàn)高可用 selector: matchLabels: app: canal-server template: metadata: labels: app: canal-server spec: containers: - name: canal image: canal/canal-server:latest ports: - containerPort: 11111 env: - name: canal.zkServers value: zookeeper-service:2181 resources: requests: memory: 2Gi cpu: 500m limits: memory: 4Gi cpu: 2 volumeMounts: - name: canal-config mountPath: /home/admin/canal-server/conf volumes: - name: canal-config configMap: name: canal-server-config --- apiVersion: v1 kind: ConfigMap metadata: name: canal-server-config data: canal.properties: | # 這里放入你的canal.properties完整內(nèi)容 canal.zkServerszookeeper-service:2181 canal.serverMode kafka ... example-instance.properties: | # 這里放入一個實例的配置 canal.instance.master.addressmysql-master:3306 ...這種方式的挑戰(zhàn)與優(yōu)勢挑戰(zhàn)在于復(fù)雜度高需要團(tuán)隊具備一定的K8s運維能力。優(yōu)勢則是提供了企業(yè)級應(yīng)用所需的全部特性服務(wù)發(fā)現(xiàn)、配置集中管理ConfigMap、密鑰安全管理Secret、滾動更新、資源配額與監(jiān)控集成。性能調(diào)優(yōu)在這里變成了對Pod資源請求requests和限制limits的精確把控以及對整個K8s集群資源的合理規(guī)劃。選型總結(jié)單容器命令啟動適用于個人學(xué)習(xí)、快速概念驗證PoC、臨時調(diào)試。追求極致的簡單和速度。Docker Compose啟動適用于中小型項目、團(tuán)隊開發(fā)測試環(huán)境、CI/CD流水線。平衡了易用性、可維護(hù)性和一定的生產(chǎn)就緒能力。Kubernetes部署適用于大型生產(chǎn)環(huán)境、需要高可用和彈性伸縮的場景。雖然前期投入大但為系統(tǒng)的長期穩(wěn)定和可擴(kuò)展性提供了堅實基礎(chǔ)。3. 核心性能調(diào)優(yōu)參數(shù)與實踐指南確定了部署方式只是萬里長征第一步。要讓Canal在Docker里跑出最佳性能必須深入其內(nèi)部從JVM、容器資源、Canal自身配置三個層面進(jìn)行精細(xì)調(diào)優(yōu)。這部分內(nèi)容是區(qū)分“能用”和“好用”的關(guān)鍵。3.1 JVM層調(diào)優(yōu)給Canal一個穩(wěn)健的“心臟”Canal是Java應(yīng)用JVM參數(shù)直接決定了其內(nèi)存使用效率和垃圾回收行為。在Docker環(huán)境中尤其需要注意內(nèi)存參數(shù)的設(shè)置因為容器有明確的內(nèi)存限制。關(guān)鍵參數(shù)解析-Xms 和 -Xmx堆內(nèi)存初始與最大大小這是最重要的參數(shù)。必須設(shè)置為相同的值。為什么在容器環(huán)境中如果Xms和Xmx不同JVM會嘗試根據(jù)使用情況在兩者之間調(diào)整堆大小這個調(diào)整過程Resize本身是STWStop-The-World的會導(dǎo)致應(yīng)用暫停。更嚴(yán)重的是當(dāng)內(nèi)存使用增長時如果容器內(nèi)存限制Cgroup limit已經(jīng)接近XmxJVM嘗試擴(kuò)容堆可能會觸發(fā)容器OOM Killer直接殺掉進(jìn)程。因此固定堆大小可以避免運行時調(diào)整也讓內(nèi)存規(guī)劃更清晰。# 在Docker run命令中設(shè)置 -e JAVA_OPTS-Xms4g -Xmx4g # 或者在Dockerfile或entrypoint腳本中設(shè)置JAVA_OPTS環(huán)境變量-XX:MaxMetaspaceSize元空間上限存放類元數(shù)據(jù)。如果不設(shè)置默認(rèn)是無限使用受限于容器內(nèi)存存在耗盡容器內(nèi)存的風(fēng)險。建議設(shè)置一個上限如256m或512m。垃圾回收器選擇對于Canal這類延遲敏感的后臺服務(wù)推薦使用G1Garbage-First收集器。它在延遲和吞吐量之間取得了較好的平衡尤其適合堆內(nèi)存較大的情況。-e JAVA_OPTS-Xms4g -Xmx4g -XX:MaxMetaspaceSize256m -XX:UseG1GC -XX:MaxGCPauseMillis200-XX:MaxGCPauseMillis200是給G1的一個目標(biāo)希望每次GC暫停時間不超過200毫秒G1會努力達(dá)成這個目標(biāo)但不保證。容器內(nèi)存與JVM內(nèi)存的關(guān)系這是一個極易踩坑的點。容器的內(nèi)存限制-m 4g或 K8s中的limits.memory是硬上限。JVM的堆內(nèi)存Xmx是JVM向操作系統(tǒng)申請的一部分。Xmx必須顯著小于容器內(nèi)存限制。因為除了堆JVM進(jìn)程本身、線程棧、本地內(nèi)存Direct Buffer、元空間、還有Canal可能依賴的本地庫如網(wǎng)絡(luò)緩沖區(qū)都需要內(nèi)存。一個經(jīng)驗法則是容器內(nèi)存限制 Xmx 1GB ~ 2GB。例如你給容器分配了4GB那么Xmx設(shè)置為2.5GB到3GB是比較安全的。設(shè)置得過于接近很容易觸發(fā)容器OOM。3.2 容器資源層調(diào)優(yōu)劃定清晰的“邊界”Docker通過Cgroups控制容器的資源使用。不合理的資源限制會成為性能瓶頸。CPU限制--cpus或--cpuset-cpus。對于Canal Server它需要足夠的CPU來解析binlog、序列化數(shù)據(jù)、進(jìn)行網(wǎng)絡(luò)傳輸。如果限制過緊在數(shù)據(jù)高峰期會導(dǎo)致解析和發(fā)送隊列積壓延遲增加。建議根據(jù)實際負(fù)載監(jiān)控來調(diào)整。在K8s中requests.cpu是調(diào)度依據(jù)limits.cpu是硬限制。內(nèi)存限制如上所述需要與JVM參數(shù)配合設(shè)置。務(wù)必設(shè)置防止單個容器拖垮宿主機(jī)。I/O與網(wǎng)絡(luò)Canal需要頻繁讀寫本地文件日志、元數(shù)據(jù)和網(wǎng)絡(luò)通信。在物理機(jī)或云主機(jī)上確保容器使用的磁盤是SSD以獲得更好的日志寫入性能。網(wǎng)絡(luò)方面確保容器與MySQL、下游消息隊列如Kafka之間的網(wǎng)絡(luò)延遲低、帶寬足。在Docker Compose或K8s中讓這些服務(wù)部署在同一個網(wǎng)絡(luò)或可用區(qū)可以減少網(wǎng)絡(luò)開銷。3.3 Canal應(yīng)用層調(diào)優(yōu)精準(zhǔn)控制數(shù)據(jù)流這是最體現(xiàn)業(yè)務(wù)特性的調(diào)優(yōu)層面主要修改canal.properties和instance.properties。canal.serverMode與下游發(fā)送如果下游是Kafka (canal.serverMode kafka)重點調(diào)優(yōu)canal.mq.*參數(shù)。例如canal.mq.flatMessage true發(fā)送扁平化的JSON消息通常解析效率更高。canal.mq.canalBatchSize和canal.mq.canalFetchTimeout控制一次從Canal Server獲取消息的批大小和超時時間。增大canalBatchSize可以提高吞吐但會增加單次處理的延遲和內(nèi)存占用。需要根據(jù)下游消費者的消費能力平衡。canal.mq.maxRequestSize控制發(fā)送到Kafka的單個請求最大字節(jié)數(shù)需要匹配Kafka Broker的message.max.bytes配置。canal.instance相關(guān)參數(shù)canal.instance.parser.parallel是否啟用并行解析。對于有多個數(shù)據(jù)庫schema或大量表的情況開啟并行true可以充分利用多核CPU提升解析速度。canal.instance.parser.parallelThreads并行解析的線程數(shù)建議設(shè)置為容器分配的CPU核心數(shù)或略少。canal.instance.transaction.size事務(wù)合并的大小。Canal會嘗試將多個小事務(wù)合并后投遞。增大此值可以減少下游消息數(shù)量提升吞吐但會略微增加端到端延遲。需要根據(jù)業(yè)務(wù)對實時性的要求來定。網(wǎng)絡(luò)與超時canal.instance.network.receiveBufferSize/canal.instance.network.sendBufferSizeTCP緩沖區(qū)大小。在高吞吐場景下適當(dāng)調(diào)大如1048576可以減少網(wǎng)絡(luò)I/O次數(shù)。canal.instance.detecting.interval檢測MySQL主庫是否存活的間隔。生產(chǎn)環(huán)境可以適當(dāng)調(diào)低如5秒以便更快感知主庫故障。canal.instance.detecting.timeoutThreshold檢測超時閾值。如果網(wǎng)絡(luò)不穩(wěn)定可以適當(dāng)調(diào)大。調(diào)優(yōu)實踐步驟基準(zhǔn)測試在調(diào)整任何參數(shù)前先用一個代表性的數(shù)據(jù)流量進(jìn)行測試記錄當(dāng)前的吞吐量TPS/QPS、同步延遲、CPU和內(nèi)存使用率作為基準(zhǔn)。一次只改一個參數(shù)這是黃金法則。同時修改多個參數(shù)你無法知道是哪個參數(shù)起了作用或引發(fā)了問題。監(jiān)控與觀察調(diào)整后運行壓力測試密切監(jiān)控GC日志通過-Xloggc輸出、Canal自身日志、以及容器資源使用情況docker stats或 K8s Metrics。迭代優(yōu)化根據(jù)監(jiān)控結(jié)果判斷是CPU瓶頸、內(nèi)存瓶頸還是I/O瓶頸然后有針對性地調(diào)整相應(yīng)層次的參數(shù)。4. 實戰(zhàn)部署與性能壓測對比理論說再多不如實際跑一跑。我搭建了一個測試環(huán)境MySQL 8.0生成持續(xù)增刪改的流量Canal Server 1.1.7下游對接一個Kafka集群。分別用三種方式部署Canal并施加相同的負(fù)載來觀察它們的表現(xiàn)。測試環(huán)境統(tǒng)一宿主機(jī)4核CPU16GB內(nèi)存SSD磁盤。MySQL持續(xù)以約5000 TPS的速率產(chǎn)生binlog。Kafka3節(jié)點集群Topic配置3分區(qū)。監(jiān)控工具使用docker stats、jstat、Canal Admin界面、Kafka監(jiān)控。4.1 單容器命令啟動壓測啟動命令如前所述并賦予容器2核CPU、4GB內(nèi)存限制JVM堆內(nèi)存設(shè)置為2.5GB。表現(xiàn)在負(fù)載平穩(wěn)期同步延遲可以穩(wěn)定在100毫秒以內(nèi)資源使用正常。但當(dāng)模擬MySQL出現(xiàn)一個短暫的大事務(wù)批量更新10萬行時問題出現(xiàn)了。Canal解析這個大事務(wù)消耗了大量內(nèi)存由于是單容器無高可用整個過程延遲飆升到數(shù)秒并且docker stats顯示容器內(nèi)存使用率長時間超過90%接近OOM邊緣。結(jié)論這種方式抗突發(fā)流量的能力較弱。適合流量平穩(wěn)、無高可用要求的場景。一旦出現(xiàn)大事務(wù)或流量尖峰風(fēng)險較高。4.2 Docker Compose啟動壓測使用前面給出的Compose文件Canal Server同樣配置2核/4GB并掛載了優(yōu)化后的配置文件主要調(diào)整了canal.mq.canalBatchSize1000默認(rèn)500和canal.instance.parser.paralleltrue。表現(xiàn)平穩(wěn)期延遲與單容器類似。在面對同樣的大事務(wù)時由于開啟了并行解析CPU利用率更高解析速度有所加快大事務(wù)導(dǎo)致的延遲峰值從數(shù)秒降低到1-2秒。通過掛載的日志可以清晰看到GC情況G1收集器表現(xiàn)平穩(wěn)未出現(xiàn)長時間的Full GC。最大的優(yōu)點是通過Canal Admin可以圖形化地監(jiān)控各個實例destination的同步位點和延遲運維體驗大幅提升。結(jié)論Docker Compose方式在可維護(hù)性和可觀測性上優(yōu)勢明顯。通過配置文件調(diào)優(yōu)也能有效提升一定的性能。是測試和中小規(guī)模生產(chǎn)的理想選擇。4.3 Kubernetes啟動壓測在Minikube中部署了2副本的Canal Server Deployment每個Pod請求1核/2GB限制2核/4GB。通過ConfigMap管理配置并通過Service暴露。表現(xiàn)這是最穩(wěn)健的一種。首先兩個Pod提供了高可用能力雖然測試中未主動殺死Pod。其次K8s的調(diào)度器保證了Pod分配到的資源。在壓測工具突然將TPS提高到10000時雖然單個Pod的CPU使用率接近極限但整個服務(wù)依然能維持延遲增長在可接受范圍內(nèi)500毫秒左右。如果配置了HPA此時可以自動觸發(fā)擴(kuò)容。結(jié)論K8s部署方式在資源隔離、高可用和彈性方面具有不可替代的優(yōu)勢。它能更好地應(yīng)對流量波動和節(jié)點故障為生產(chǎn)環(huán)境的穩(wěn)定性保駕護(hù)航。當(dāng)然復(fù)雜度也最高。壓測數(shù)據(jù)對比摘要啟動方式平均延遲 (平穩(wěn)期)大事務(wù)延遲峰值資源利用率運維復(fù)雜度高可用性單容器命令~80ms 5000ms高易觸及限制極低無Docker Compose~80ms1000-2000ms中等可控中需額外配置Kubernetes~90ms500-1000ms均衡彈性高內(nèi)置5. 常見問題排查與運維技巧實錄在實際運維中你會遇到各種各樣的問題。這里記錄了幾個我踩過的坑和對應(yīng)的解決方案。5.1 容器啟動失敗Virtualization Support Not Detected這個問題在Windows或Mac上使用Docker Desktop時常見尤其是第一次安裝后。錯誤信息通常是“Docker Desktop failed to start because virtualisation support wasnt detected”。原因與解決這通常是因為宿主機(jī)的虛擬化功能如Intel VT-x或AMD-V在BIOS/UEFI中被禁用或者被其他軟件如某些安卓模擬器、舊版Hyper-V占用。重啟進(jìn)入BIOS/UEFI確保CPU的虛擬化技術(shù)VT-x/AMD-V是Enabled狀態(tài)。關(guān)閉沖突軟件徹底關(guān)閉或卸載VMware Workstation、VirtualBox、以及各種安卓模擬器。Windows用戶確?!癢indows功能”中的Hyper-V、Windows Subsystem for Linux (WSL)和虛擬機(jī)平臺已啟用。WSL 2是Docker Desktop推薦的后端。使用wsl --update更新WSL內(nèi)核。5.2 Canal連接MySQL失敗Access DeniedCanal容器日志中報錯ERROR c.a.otter.canal.parse.inbound.mysql.tsdb.MemoryTableMeta - executor failed when dumping table : xxxxxx. Access denied for user canal% to database xxxxxx。原因與解決這通常是MySQL賬號權(quán)限不足。Canal需要的權(quán)限比普通應(yīng)用賬號多。創(chuàng)建專屬賬號不要使用root賬號。專門為Canal創(chuàng)建一個用戶例如canal。授予足夠權(quán)限這個賬號需要SELECT、REPLICATION SLAVE、REPLICATION CLIENT權(quán)限。如果是MySQL 8.0可能還需要顯式授予SHOW VIEW權(quán)限。CREATE USER canal% IDENTIFIED BY your_strong_password; GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, SHOW VIEW ON *.* TO canal%; FLUSH PRIVILEGES;檢查防火墻與網(wǎng)絡(luò)確保Canal容器所在網(wǎng)絡(luò)能夠訪問MySQL的3306端口。5.3 同步延遲高CPU/內(nèi)存飆升這是性能問題中最常見的現(xiàn)象。排查思路看日志首先查看Canal Server日志是否有大量的ERROR或WARN特別是解析錯誤或網(wǎng)絡(luò)超時。查監(jiān)控CPU高使用docker stats或kubectl top pod。如果CPU持續(xù)接近限制可能是canal.instance.parser.parallelThreads設(shè)置過高或者遇到了非常復(fù)雜的SQL解析如沒有主鍵的全表更新??梢試L試適當(dāng)降低并行度或者檢查MySQL側(cè)是否有不合理的批量操作。內(nèi)存高結(jié)合JVM GC日志分析。如果頻繁Full GC說明堆內(nèi)存不足需要調(diào)大-Xmx同時等比例調(diào)大容器內(nèi)存限制。如果堆內(nèi)存使用正常但容器總內(nèi)存高可能是堆外內(nèi)存Direct Buffer泄漏常見于網(wǎng)絡(luò)傳輸大量數(shù)據(jù)時。可以嘗試在JVM參數(shù)中添加-XX:MaxDirectMemorySize進(jìn)行限制。下游瓶頸延遲可能不是Canal造成的。檢查下游Kafka的堆積情況。如果Kafka消費者消費慢Canal發(fā)送的消息就會積壓在內(nèi)存隊列里導(dǎo)致內(nèi)存上漲和延遲增加。需要優(yōu)化下游消費者的性能或增加分區(qū)數(shù)。大事務(wù)這是延遲飆升的常見元兇。一個事務(wù)包含數(shù)十萬次修改Canal需要將其解析、組裝再發(fā)送這個過程非常耗時??梢酝ㄟ^Canal日志看到大事務(wù)的警告。解決方案通常是在業(yè)務(wù)端避免如此大的事務(wù)或者調(diào)整canal.instance.transaction.size讓Canal不要等待太久而是分批發(fā)送。5.4 配置文件不生效或掛載權(quán)限錯誤在Docker Compose或K8s中通過Volume掛載了本地的配置文件但啟動后Canal還是使用了鏡像內(nèi)的默認(rèn)配置。解決檢查掛載路徑確保volumes映射的宿主機(jī)路徑和容器內(nèi)路徑完全正確。容器內(nèi)路徑通常是/home/admin/canal-server/conf。檢查文件權(quán)限D(zhuǎn)ocker容器通常以非root用戶如admin運行。確保宿主機(jī)上的配置文件對這個用戶是可讀的??梢杂胏hmod 644 your-config.properties修改權(quán)限。檢查文件內(nèi)容確保配置文件語法正確沒有中文亂碼或格式錯誤。最簡單的驗證方法是先啟動一個臨時容器用cat命令查看容器內(nèi)掛載的文件內(nèi)容是否正確。對于K8s ConfigMap確保ConfigMap已正確創(chuàng)建并掛載。使用kubectl describe pod canal-server-xxxx查看Pod的事件和Volume掛載狀態(tài)使用kubectl exec -it canal-server-xxxx -- cat /home/admin/canal-server/conf/canal.properties查看容器內(nèi)的實際文件內(nèi)容。5.5 鏡像源與版本選擇建議直接使用canal/canal-server:latest雖然方便但在生產(chǎn)環(huán)境存在風(fēng)險因為latest標(biāo)簽會變動。最佳實踐使用具體版本標(biāo)簽例如canal/canal-server:v1.1.7。這保證了部署的一致性便于回滾和問題追蹤??紤]自建鏡像如果網(wǎng)絡(luò)環(huán)境拉取Docker Hub鏡像慢可以先將官方鏡像推送到私有的鏡像倉庫如Harbor或者基于官方鏡像在Dockerfile中添加一些公司特定的工具或配置構(gòu)建自己的業(yè)務(wù)鏡像。版本升級關(guān)注Canal的GitHub Release頁面。升級前務(wù)必在測試環(huán)境充分驗證新版本與當(dāng)前MySQL版本、下游組件的兼容性。特別注意配置項是否有變更。最后關(guān)于性能調(diào)優(yōu)我的體會是它永遠(yuǎn)是一個動態(tài)平衡的過程。沒有一套放之四海而皆準(zhǔn)的參數(shù)。最好的方法是建立完善的監(jiān)控容器資源、JVM GC、Canal日志、同步延遲設(shè)定明確的性能基線SLA然后根據(jù)實際業(yè)務(wù)負(fù)載的變化持續(xù)地觀察、分析和小步調(diào)整。從簡單的單容器開始隨著業(yè)務(wù)增長平滑過渡到Compose或K8s架構(gòu)每一步都做到心中有數(shù)你的Canal數(shù)據(jù)同步鏈路才能真正成為業(yè)務(wù)穩(wěn)定可靠的“大動脈”。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久青草大香蕉| 色综合五月天| 欧美婷婷九月| 久久丁香久久| 婷婷色色宗合网| 久久这里有精品99| 99干日日干| 亚洲色激婷| 欧美日综合| 第四色五月激情网| 久久丁香综合精品综合| www.丁香五月| 9l视频自拍9l视频自拍九色学生| 丁香色五月天| 五月天玖玖狠狠色色| 99精品成人无码A片观看金桔| 婷婷丁香六月影视| 激情婷婷五月丁香啪啪啪| 六月婷五月丁香| 丰满老熟妇BBBBB搡BBB| 欧美激情-区二区三区| 99热最新国内| 激情综合国产| 国产欧美婷婷五月| 一区二区三区四区牛| 夜夜操激情| 99热费观看| 精品99在线观看| 在线1青婷| 五月六月伦理| WWW,激情五月天,COM| 色婷婷基地| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 欧美成人精品A片免费一区99| 九九热这里只有精品7| www.色综合| 六月色婷婷欧美| 色色色色丁香| 激情久久丁香| 婷婷五月天亚洲天堂| 婷婷久久久| 99热99这里有免费的精品| 伊人99久久| 五月六月丁香激情| 五月天婷婷午夜丁香| www,奇米影视| 丁香婷婷啪啪| 亚洲开心激情网| 五月丁香 狠狠爱| 婷婷五月综合亚洲| 日韩欧美一级大黄网站| 国内久久婷婷| 丁香六月啪啪| 成人在线视频一区| 五月丁香婷婷激情久久| 内射综合网| 强辱丰满人妻HD中文字幕| 激情小说婷婷五月| 精品99久久久久成人网站免费| 欧美色激情四射| 狠色狠色综合久久| 五月天激情综合首页| 亚洲AV久久久久久久久久久久久久久久| 美女五月狠狠| 亚洲五月综合色播| 日韩ac不卡无码| 天天插操| 五月天色综合| 天天色噜| 成 人 色 色| 五月婷婷中文字幕| 色婷婷yy久| AV在线大香蕉| 伊人五月久久| 欧美黑人大吊| 婷婷综合av| 日本三级韩三级99久久| 色色色成人网| 婷婷激情丁五月| 丁香五月婷婷黑人妻黄色电影院| 色色色色色色色色色色色色色五月天| 无码AV免费精品一区二区三区| 婷婷五月天视频亚洲| 五月激情丁香久久综合网| 婷婷五月六月丁香| 欧美成人一区二区三区在线视频| 这里只有精品在线观看视频| 五月婷婷欲色| www.色九月| 精品婷婷| 99热免费| 五月天亚洲图片婷婷| 中文字幕综合| 久碰视频| 色综合天堂| 五月丁综合在线观看| 97婷婷色| 五月丁香欧美综合免费视频| 99狠狠操一| 久久91久久精品久久| www.99热这里只有精品| 99色五月| 激情亚洲婷婷| 久热免费| 五月婷婷六月色| 久去色色| 婷婷99狠狠躁天天躁中文| 青青久久五月| seav天堂| 91丨九色丨国产打屁股| 五月天婷婷久久| 99热66| 五月综亚洲| 免费AV播放| 色婷婷av综合网| 色婷婷基地 | 26UUU精品一区二区| 99在线视频播放| 欧美色播综合在线观看| 激情播丁香| 超碰在线人妻| 97天堂| 五月久久婷婷天堂视频| 婷婷欧美综合| 六月大香蕉| 91jiuseshunv| 久久久久久久久久久44| 精品无码久久久久久久久| 九九热这里| 亚洲精品视频在线播放| 99色色视频| 五月天婷婷在线AN| 91超级碰在线视频| 视频一二区| 久久久久人妻网址| 色婷婷五月天成人网| 五月天色婷婷伊人网| 千人斩操逼| 9久热免费视频99| 婷婷激情综合色五月久久91| 91互操| 另类亚洲视频| 99久久精| 五月丁香美女| 99re这里只有精品99| 色玖玖玖| 色色色99| 开心五月婷婷激情| 欧美成人网99网| 五月丁香综合伦理片| 色色网站在线免费观看视频| 只有久久精品免费| 夜夜骑天天操| 久久久婷婷婷| 日本三级日本三级99| 天天插天天射| 五月婷婷爽爽爽| 乱乱av| 婷婷五月综合中文字幕| 99色精品| 天天日天天干天天爱| 乱女乱妇熟女熟妇综合网站| 色丁香五月婷婷在线| 五月丁香婷爱在线| 丁香六月激情综合| 久久人人妻| 精品一区二区三区免费毛片爱| 综合色五月| 99在线精品观看99| 九九Y精品热播| 狠狠色狠狠爱| 丁香六月AV| 99久久综合网| 色色热| 97人人操| 久操热| 99只有精品| 亚洲成av人影院| 97超级碰| 欧美日韩99| 久久这有这里精品| 四月丁香五月婷婷久久| 六月天婷婷| 中文字幕精品无码一区二区| 五月天伊人久久| 久热综合| 婷婷五月天论坛| www.久热| 乱精品一区字幕二区| 天堂在线伊久| 婷五月天天| 欧美激情凹凸丁香网| 99色在线| 日韩少妇内射免费播放| 日韩在线视频网站| 色丁香五月婷婷在线| 蜜桃人妻无码AV天堂三区| 无码人妻电影| 99热伊人综合| 亚洲综合激| 激情内射p| 91色久| 狠狠爱深色婷婷综合| 婷婷丁香五月天色色| 99热欧美精品| 五月婷婷狠狠干| 五月激情视频| 91色情播放| 亭亭五月丁香五月天激情| 色情五月婷婷| 十二区无码| 激情网站五月| 久久免费操| 国产一区二区av免费| 成人永久免费视频在线观看| 先锋男人99资源| 日日夜夜爽| 另类小说色婷婷| 97超级碰碰碰久久久| 91性高潮久久久久久久久| 思思热在线视频99| 色色色热| 天天日天天做天天舔| 综合色色色色色色| www.激情在线| 国产成人亚洲综合A∨婷婷| 亚洲av成人在线| 激情黄色小说五月天| 亚洲天天| 99热传媒| 亚洲综合成人网| 性日本激情| www.五月天| 色色色九九九五月婷婷| 婷婷五月天激情综合婷婷五月天激情综合| 久久最新色| 大香蕉久久综合网| 五月激情开心婷婷| 天天操无码| 色五月婷婷操逼| 色婷婷中文在线| 五月婷婷人人人操| 成人五月天婷婷| 国外亚洲成AV人片在线观看| 丁香花五月天激情| 婷婷五月激情欧美大胆视频| 九九综合网色全集| 99热这里只有精品13| 色激情五月| 在线理论片| 99精品国产乱码久久久人妻| 色色激情五月| 婷婷综合成人| 五月丁香婷婷啪啪综合| 国产精品婷婷午夜在线观看| 91精品国产综合久久久不卡电影| 狠狠色丁婷婷日日,伊人激情综合网 | 丁香婷婷五月天色综合| 亚洲va成人va成人va在线观看| 日本久久精品18| 9久久婷婷国产综合精品性色| 性爱激情五月| 五月婷深深爱激情网| 中文字幕在线不卡| 欧美影院婷婷| 久碰视频| 淫视馆aV二区一区| 精品乱码久久久久| 激情五月天色爱| 成人免费120分钟啪啪| 婷婷色成人| 婷婷狠狠干| 久久九九国产精品怡红院| 五月丁欧美| 色情丁香五月婷婷精品| 日韩久久色| 丁香六月伊人| 69人妻人人澡人人爽久久| 91人人爽久久涩噜噜噜| 一级片无码| 婷婷激情五月天亚洲综合| 欧美色五月| 日韩成人综合网| 婷婷五月情| 91一起操| 超碰成人电影| 手机在线日韩视频中文字幕| 五月丁香香蕉| 五月丁香久人妻中文| 玖玖资源在线视频| 97色色色色| 色婷婷a v| 99九九热在线观看| 狠狠五月激情婷婷直播片| 亚洲激情97五月天| 9久久精品| 午夜一区| 五月久久婷婷丁香| 激情性爱婷婷| 欧美色久| 天天噜天天爱| 激情性爱网站| 婷婷色五月丁香六月欧美啪| 青青草原中文字幕| 六月婷婷毛片| 色久丁香五| 九九99免费理论| 激情综合网色播五月| 色五月婷婷五月久久| 日逼AV影音先锋男人资源站| 五月天另类激情在线| 无码啪啪| 丁香五月天成人| 51avj视频大全| 日本91在线播放| 久久aaaa片一区二区| 玖玖五月丁香| 99无码| 激情久久五月网| 一区二区三区四区牛| 日韩综合久久| 99视频精品| 99婷婷精品推荐在线视频| 五月婷在线播放| 色情五月天丁香社区| a久久| 六月丁香婷婷天堂| 99精品人人| 色噜噜婷婷| 久久99热免费| 超碰无码318604| 狠狠做深爱婷婷久久综合一区| 亚洲旡码| 一本道在线电影| 婷婷五月天在线观看| 日韩三级视频一区二区| 99日本精品视频热| 99热国产精品| 日韩激情人伦人| 99色精品| 色婷婷香蕉| 91九色偷拍| 色五月综合激情网| 9精品国产在热久久| 天天狠狠综合精区| 丁香婷婷社区| 日本特黄aaaaa| 日韩久综合| 97操碰| 婷婷五月丁香伊人| www.99热最新视频8| 色天堂操| 久久婷婷青青草| 色五月天丁香婷婷| 26uuuuuuuu国产| 在线不卡视频| 五月丁香成年黄色| 九色综合五月天婷五月| 亚洲操逼网| 丁香五月天啪啪| 婷婷基地成人五月天| 九月激情综合婷婷| 99re资源在线视频导航| 超碰在线91| 婷婷丁香五月在线播放| 五月婷婷久久内射| 色色综合成人网| 激情五月丁香色色去久久| 色婷婷成人做爰A片免费看网站| www.99热| 九九九九这里只有精品| 新激情五月开心五月婷婷五月丁香五月| 丁香密臀AV激情网| 色婷婷AV久久| 国产婷婷婷| 婷婷六月啪啪| 97综合在线| 99免费视频在线观看爱| 婷婷丁香一月| oumeisesewang| 色婷婷六月天| 婷婷九九色| 丁香激情五月天| 91凹凸在线| 五月激情天天干| 日操五月婷| 婷婷五月天成人| 中文AV在线观看| 人人操婷婷| 国外亚洲成AV人片在线观看| 无码少妇高潮喷水A片免费| 超碰成人免费| 五月丁香色| 丁香五月婷婷视频| 五月激情婷婷丁香天堂| 婷婷五月天啪啪| site:esunnet.com| aaaaa不卡| 99热全是精品| 婷婷丁香五月社区亚洲| 最新国产AV| 成人av在线网| 久久五月婷6 9| 大香网伊人久久综合| 九九热av| 五月天色社区| 五月天婷婷色综合| 成人日韩欧美| 夜夜骑夜夜撸| 婷婷六月激情| 99精品在这里| 久久久中文| 99久久网站| 9色在线| 五月天国产婷婷精品视频在线| 草做免费在线观看| 亚洲aV写真天天综合网久久 | 99精品无码网站| 六月丁香婷婷视频综合在线观看| 性色播| 大伊香蕉精品视频在线| 亚洲无AV在线中文字幕| 色五月av| 六月丁香婷| 色婷婷电影网| 国产性爱在线| 久久婷婷大香蕉| 丁香久久激情俄| 欧美婷婷综合网| 自拍视频在线观看9| Www.久久| 丁香五月综合激情性爱| 99视频内射三四| 伊人春天av| 亚洲色激婷| 呦呦AV| 这里只有精品久| 99亚洲色色| 五月婷丁香亚洲| 99热这里只有免费精品| 色婷婷五月综合在线| 五月激情丁香五月| 婷婷五月开心中文字幕色| 在线观看玖玖资源免费观看| 色婷婷久久| 久久综合激情| 97在线观看| 99操不停| 色五月婷婷中文字幕| 五月天色婷好好| 色婷婷五月基地在线| 婷婷五月天首页| 日日杆天天| 国产99久久久| 五月天激情四射| 激情五月天久久| 婷婷黄色五月| 噜噜狠狠| 色性五月天| 成人va视频| 99热最新| yirenjiqingshiping| 九九99热| 无码网| 丁香 婷婷 亚洲 熟女| 综合一区二区三区| 亚洲无AV在线中文字幕| www.日本91| 99色精品| 欧美熟女乱又伦| 久狠狠| 天天干电影| 久爱综合| 色五月综合在线| 亚洲成人电影aaaa| 日本一毛片| 中文字幕无码人妻少妇免费视频 | 日本色色色| 国产精品美女久久久久AV超清 | 色婷婷五月天堂资源| 超碰高清在线| 日本二级毛片二级毛片| 五月婷婷五月天| www.sezonghe| 九九热最新视频| 色综合99色| 免费黄色AV| 亚洲AAA| 婷婷中文无码| 免费观看全黄做爰的视频| 色九九丁香九月色九九色| 激情深爱婷婷网| 丁香五月六月激情久久| 人人操AV| 玖玖爱资源站| 99思思| 五月天婷婷基地| 超碰AV成人| 免费日韩99| 丁香婷婷色色| 亚洲韩国日产综合AV| 丁香六月 婷婷六月| 五月婷婷五月天| 国产偷人爽久久久久久老妇APP| 九九这里是免费的视频5| 激情小说之五月| 久久久久这里只有精品| 日本九九视频| 丁香五月综合AV在线| 国产成人精品123区免费视频| 久久视频这里99| 精品三区影院| 深爱激情网五月天| 久久久这里有精品| 另类图片色五月| 97婷婷丁香五月天激情图片| 久久五月天婷婷视频| 天堂网啪啪| 另类丁香五月天区图| 久久这里只有精彩| 欧美日韩99| 五月天婷婷色情| 深爱丁香激情| 成人精品视频99在线观看免费| 九九热黄色| 五月丁香六月| 91精品综合久久久五月天| 色婷婷色五月色丁香| 久久ww| 男人天堂 久久| 岛国av网| 天天射影院| 6月丁香婷婷| 香蕉国产2013| 一区中文字幕电影| 婷婷综合精品视频97| 国产内射婷婷| 婷婷色丁香五月| 午夜天堂一区人妻| 只有精品在线观看| 国产在线6| A片一曲| 吊色AV男人的天堂| 五月天久久综合| 婷婷久久影院| AV操逼网| 亚洲精品国产成人AV在线| 99精彩视频| 亚洲Av成人在线观看| 五月天婷婷亚洲| 91人人爽人人操| 婷婷五月天高清无码| 日本A片一区| 丁香婷婷婷五月| 99在线视频。| 五月丁香六月香综合激情| 国产亚洲在线| 插插插色综合网| 99视频精品在线| 久er免费视频| 亚洲精品又粗又大又爽A片| 色五月天综合| 老师高潮流白浆喷水的A片| 色五月六月婷婷| 最近免费中文字幕大全高清大全1| 亚洲色色图片| 婷婷五月天 丁香五月天 裸体| 婷久看人爽| 国产亚洲成AV人片在线观黄桃| 五月丁香六月色情网欧美| 六月丁香啪啪| 婷婷日日天天| 六月丁香开心婷婷欧美| 九月色婷婷综合| 99碰| 久久久免费精彩视频| 丁香五月在线视频| 五月激香蕉网| 婷婷淫淫狠狠六月| BT综合在线视频观看| 久久久五月天| 亚洲激情五月婷婷日日| 九九综合网| 五月精品| 99久久99视频只有精品| ..真实国产乱子伦对白在线_欧| 五月丁香六月花| ...婷婷五月综合不卡,国产在线手机| 日韩在线视频中文字幕| 九九热这里精品| 人妻第九页| 五月天 无码| 综合色五月天| 粉嫩AV久久一区二区三区| 天天情色五月天| 丁香花五月天社区| 婷婷金品综合视频| 五月丁香六月婷婷在线播放| 九九色之九九色之88| 欧美久热| 热99re| 日本色色网站| 99操逼| 日韩在线五月天婷婷| 美国不卡视频| www激情| 四月婷婷丁香| AV九九| 艹B高清无码| 人人色婷婷| 久久久五月天| 婷色综合| 婷婷激情图片| 亚洲五月情| 天堂久久精品| 国产成人精品一区二三区熟女在线| 精品五月天| 色色色色欧洲| 久久天堂女人| 日韩aaaaa| 五月婷婷六月开心| 久久99热只有精品| 熟美女麻豆| www.婷婷| 五月激情六月婷婷| 国庆精品久久| 一区操| www.zbzhongsen.com| 亚洲日韩欧美综合VA| 久热这里只有精品性色AV| 色婷婷狠狠18yy| 国产亚洲99久久精品| 九九色视频| 99热99网| 色色丁香五月天社区| 99久久极情精品一区| 99热99色| 99综合婷婷五月| www.五月天婷婷| 国产偷人爽久久久久久老妇APP| 97香蕉久久超级碰碰高清版 | 大香蕉人妻| 激情综合五月婷婷丁香| 99福利视频| 免费九九热| 激情久久丁香| 色九月综合| 91综合在线| 在线色色| 996er热| 五月丁香久久呀| 国产精品操| 激情婷婷五月综合| 亚州在线中文字幕| 涩五月婷婷| 日韩欧美成人片| 婷婷久久综合久色| 好吊丝aV| 五月天婷综合网站| 97福利视频| 婷婷色五月开心五月| 九月婷婷人人操人人舔人人爱| 色香欲综合| 26UUU欧美激情一区二区| 欧美成人A片AAA片在线播放| 五月天综合区| 怡红院院久久| 99热99思午夜精品| 婷婷国产综合| 青草网在线观看| 丁香久久五月婷综合| 9色操| 亚洲午夜成人av电影网| 欧美三级A做爰在线观看| 超碰人人色| 色域五月婷婷丁香| 久婷婷色| 日本在线99| 99网99热| 我去色色网五雨天| 欧美色爱五月天| 俺去啦综合网| www.五月天社区| 亚洲婷婷丁香五月视频| ss99热| 蜜臀九九九九| 亚洲小说欧美激情| 一本综合丁香日日狠狠色| 天天操天天操| 这里只有精品99www| 久草五月天电影网| 五月丁香怕怕综合| 六月丁香综合网| 深爱激情久久| 婷婷五月图片小说视频| 深爱激情五月婷婷| 久狠狠| 天堂综合久| 五月婷婷丁香大陆免费| 激情五月六月婷婷| 任你操精品免费| 人人97碰| 五月天综合| 亚洲爆乳无码精品AAA片蜜桃| 五月天综合网| 亚洲超碰青涩| 色 五月 天 婷婷 丁香 九月| 五月激情射| 丁香六月婷婷综合激情欧美| 天天综合情| 操人妻90p| 99热99精品在线观看| 五月丁香色婷婷熟女| 亚洲色激情| 激情五月天网| 五月丁香久久网| 丁香六月婷婷色XXXXX| 五月香婷婷| 国产黄色在线观看| 人妻激情网| 亚欧州精品视频| 五月开心婷婷中文字幕| 很很干五月天| 538在线精品| 亚洲综合五月天婷婷丁香| 婷婷亚洲综合| 激情综合网激情五月俺也去| 91 九色 入口| 日韩色色色色色| 人人色AV| 久久人人妻| 婷婷五月激情中文字幕| 四季8848精品成人免费网站| 97色视频网| 久久9视频| 丁香色啪综合| 亚洲激情五月天| 97人人干| 狠狠色丁香| 亚州第一A片| 狠狠综合网| 婷婷五月丁香基| 亚洲色五月天| 色婷网| 成人国产网| w婷婷五月婷婷w| 很操日本7| 久热这里| 国产精品久久久久久久久久| 久久精品日| 久久这里都是精品免费| 久久免费婷婷视频| 婷婷开心激情| 久久五月情| 婷婷色五月天第7色| 亚洲激情婷婷| 婷婷激情五月综合| 久久久久久久久久婷婷| 狠狠色丁香综合| 欧美日本va| 色婷婷影院| 在线超碰91| 五月色婷婷影视在线电影| www.婷婷五月| 丰满女老板BD高清A片| 久久天堂加勒比| 婷婷五月 丁香六月| 久久92| 热99色| 大香蕉久久| 色婷婷五月天视频在线| 久热久| 五月天婷婷情色| 国产一区男女| 99操逼| 欧美性久| 亚洲国产精品综合色区| 丁香婷婷色五月激情综合| 色色丁香色五月| 日本五月婷婷久久久六月丁香| 97精品自拍| 亚洲殴洲精品Av在线| 六月婷婷网| 日本婷久久| 六月丁香婷婷五月| 五月丁香网站| 91丨九色丨熟女丰满| 日日爽日日爽| 精品国产乱码久久久久久免费| aa久久| 天天干天天操天天拍| 成人无码髙潮喷水A片| 激情综合无码| 色播五月天激情| 在线综合啪| 欧美一区二区三区不卡影视| 成人精品在线观看| 噜噜色五月| 噜噜久| 99视频这里有精品| www.婷婷网| 丁香色婷婷五月天| 色吧婷婷| 婷婷网五月天| 五月丁香色色色| 五月婷综合性中心| 综合五月天| 玖玖色综合| 影音先锋四区| 五月丁香六月婷婷久久| 色五月第四色| 182无码| 超碰AAAAAAV| 亚洲精品色| ,99视频久久| 五月天色区| 超碰大香蕉网| 欧美精产国品一二三区| 91久久免费| 天天色综网| 最近中文字幕2019视频1| 色五月久久成人婷婷| www夜夜操| 人人操人人操919999| 五月婷婷激情| 五月天另类图片区99| 舔色婷婷| 五月天丁香综合在线| 怡红院视频| 亚洲欧洲美女在线观| 久久66精品| 久久五月婷天天干| 丁香五月六月欧美| 爱操天堂| 六月丁香色婷婷| 日本熟妇乱妇熟色A片蜜桃| 天天日夜夜夜操操操操| 天天躁日日躁狠狠躁日日躁2022年5月9日| 成人五月天在线视频在线观看| 97色色视频| 婷婷六月激情啪啪| 国产偷人爽久久久久久老妇APP| 日本熟妇人妻在线| www.丁香六月婷婷久久天堂影院.con| 婷婷六月中文字幕| 8050一级网| 国产精品五月天婷婷| 99在线免费视频播放| 欧美VA在线| 99er热精品视频| 大天天伊人| 九月激情综合婷婷| 影音先锋噜一噜| 99热这里是精品| 99色| 玖操97| 啪啪九九色| 色五月色五天免费视频| 97超碰在线观看免费| 99综合视频| 超碰97久久| www色婷婷| 色五月婷婷天天干| 三级黄色大片视频| 99热免| 色情五月天丁香社区| 婷婷五月天小说| 天天干天天操天天干天天操天天干天天操| 影音先锋五月婷婷| 来吧亚洲综合网| 六月婷婷激情| 五月婷婷六月丁香| 性生活久久人妻| 九月激情综合婷婷| 欧美25p| www.五月婷婷久久.com| 五月婷av| 九九热在线视频观看| 婷婷五月丁香在线观看| 五月丁香婷婷伊人日韩| 九九精品亚洲| 夜夜躁狠狠 | 另类激情中文| 丁香六月综合激情| 熟女人妻视频| 99精品免费欧美小视频| 亚洲色啪| 天天色中文字幕女优AV| 99ri视频在线播放| 亚洲 25P| 99热99思午夜精品| 婷婷成人五月天| 日日夜夜狠狠干| 大香蕉五月婷婷| 日本少妇裸体做爰高潮片| 99久在线精品99re8热| 国产乱码久久| 婷婷五月开心六月AV| 人妻22p| 欧美丁香六月激情视频| 铁牛TV人妻| 大色鬼综合| 五月婷婷深深爱| 婷婷五月AA五月在线| 天天噜噜| 久久这里只有精品1| 久久婷婷五月综合啪| 色色五月天婷婷| 噜噜狠狠色综无码久久合欧美| 99色在线视频观看| 超级碰碰碰久久网站视频| 91精品久久久久| 婷婷五月丁香手机在线视频| 天天操夜夜爽天天操| 啪啪视频99| 99久久网站| 激情五月丁香亭亭| 色五月天中文字幕| www.色色五月天.com| 精品一二三区久久AAA片| 亚洲成人网站在线播放| 丁香五月激情视频在线| 五月天丁香婷婷社区| 九九操屄| 丁香五月Av| 韩国激情五月天综合网| 久久五月网| 色婷婷99| www.久久9| 99精彩视频网站在线| 六月丁香啪啪啪| 六月丁香色婷婷| 日日爽日日操| 99热人人| 综合玖玖偷拍| 综合色五月亭亭| 婷婷另类小说| 99热国产精品| 五月激情六月丁香| 安息电影在线观看完整版| 色色狼人综合| 97ai婷婷| 婷婷综合中文| 狠狠综合| 婷婷俺去也| 色丁香五月| 色深爱五月| 逼逼AV| 九洲一级A片| 婷婷五月丁香色综合| 9视频在线成人网站| 亚洲天堂热| 碰碰女| 色五月 五月婷婷| 婷婷激情五月天小说| 色9色| 色色五月婷| 9久热在线视频精品| 99久热精品在线| 东北熟女高潮99综合99| 亚洲精品字幕| 婷婷导航| www.99在线| 99re思思热久久| 日本色99| 久久婷婷五月综合激情国产| 五月婷婷六月丁香色| 亚洲最大五月天成人网| 婷婷在线精品| 99re免费精品视频| 国产麻豆视频| 久久精品99国产精品日本| 婷婷久久色| 国产激情视频在线观看| 五月天婷婷免费| 丁香五月婷婷色偷偷| www91色网站| 热日韩欧美| 亚洲 在线 另类| 青青草青青草五月天| 超碰v| 国产成人精品一区二三区熟女在线| 婷婷狠狠干| 国产成人99久久亚洲综合精品| 激情五月丁香五月| 99re思思久久| 天天干狠狠| 色色色99| 国产成人精品一区二三区熟女在线 | 站长推荐无码播放| 99在线视频免费| 色玖玖玖| 综合久久久| 另类亚洲2| 久久99网站| 深爱五月综合网| 日本无va视频| 六月丁香深深爱| 先锋资源996| 综合深爱五月| 色五狠狠| 九九热最新地址| 99热免费观看| 婷婷五月天成人| 九九aV| 香蕉久久国产AV一区二区| 亚洲精品国产熟女久久久| 丁香五月婷婷啪啪视频| 婷婷六月香| 四射综合网| 国产婷婷综合在线免费视频| 开心六月婷| 久久亚洲色导航| 五月天激情国产综合AV| 色欲AV导航| 婷婷操久久| 亚洲色网络| 年轻的妺妺伦理HD中文 | 国产JK精品白丝AV在线观看| 五月丁香久久综合91| 91碰操| 人妻aV在线| 99精品热| 婷婷爱婷婷| 日日杆天天| 免费黄色片子| 五月丁香影院| www网站在线观看| 97色在线观看视频| 99视频这里只有免费精品| 人妻videos人妻高清| 99亚洲精品视频| 亚洲综合色婷婷| 亚洲视频一区| 影音先锋91在线资源站| 91热网址| 婷婷五月成人色综合| 色婷婷在线视频综合| 天天做天天摸| 超碰碰碰碰| 爽tv | 婷婷玖玖丁香| 99久久综合网| 婷婷五月天色综合| 丁香激情五月| 色色99| 免费人人操| 久久精品色| 亚州性爱99| 爆乳熟妇一区二区三区爆乳照片| 在线理论片| 91久久免费| 五月丁香六月婷婷,婷| 五月天精品综合| 天天色综网| 婷婷五月花.97| 激情五月色综合网| 思思热思在线精品视频| 色五月婷婷一二| 另类视频五月天| 色情激情五月婷婷| 色噜噜夜夜夜综合网| 色爱爱综合网| 久热伊人| 亚洲成人噜噜| 97色干| 成年视频免费观看| eeuss人妻| 天天综合在线网| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 亚洲视频丁香网va| 成人综合AV| 国产熟妇乱子伦hd| 91人妻人人操人人爽| 99这里有精品视频3| 五月婷婷天天| 99精品视频在线观看| 欧美色97| 天天夜夜操| 丁香五月天综合| 五月丁香久久色| 天天摸天天舔天天爽| 久9久9热久热| 欧美日本不卡黄色片| 色五月婷婷中文字幕在线观看| 都市激情小说婷婷| 大香蕉人妻| 五月婷婷婷| 久久人妻情侣| 婷婷五月在线视频| 激情五月综合久久| 亚洲色a| 大香蕉啪啪| 婷婷热色| 天天舔天天摸天天射| 久久六月天| 激情婷| 亚洲女婷婷五月基地综合久久久| 大香蕉五月天| 狠狠久久婷| 可以免费看的av网站| 337p大胆噜噜噜噜噜91Av| 激情久久久久久久久久| 99re思思热久久| 日韩一区二区A片免费观看| 99热99在线| 丁香美女五月天婷婷| 怡春院天天干| 99色色最新视频| 99热| 久久99免费视屏| 色五月大| 中文字幕av网站| 天天婷婷天天| 五月丁香婷婷基地| 九色91美女| 播五月,色五月,开心五月播放器 | 91 久热| 开心丁五月| 狠狠爱综合| 人妻九九九九| 色婷婷电影网| 九九色情网五月天| www,婷婷| 久久久久9久无码视频| 五月丁香六月激情网| 丁香五月社区| 99色婷婷视频| 婷婷综合色图| 涩 五月 婷婷 狠狠| 五月激情小说网| 亚洲人成网站999综合| 日日肏天天操| www五月婷婷| 这里只有精品99www| 极品少妇XXXX精品少妇偷拍| 丁香五月婷婷少妇| 丁香五月激情五月| 国产婷婷色五月| 亚洲综合五月天婷婷| 成人av免费观看| 日本色色图| 日本一级一级一级一级| 久久婷婷热| 久久久999精品| 久久亚洲激情五码| 99久久婷婷| 久久婷婷五月综合| 五月婷在线影院| 69久久99精品久久久久婷婷| 激情床戏| 婷婷狠狠狠爱| 影音先锋天天日| 日韩黄色网络| 26uuu精品一区二区| 91艹人| 五月久久婷婷丁香| 无码人妻电影| 99人人干| 色综合色综合色综合高潮| www.五月天| 青青五月天婷婷| 久久无码成人| 热久久66| 色色综合网。| 色七七色九九| 美国不卡视频| 97色片| 天搞天天天天天| 亚洲色婷婷| 色狠狠伊人久久五月丁香| 欧美A级成人婬片免费看理论| 国产婷婷五月天| 久久99免费视屏| 五月丁香六月婷婷色日| 婷婷涩涩五月天| 99综合视频| 五月丁色AV| 97luluse| 五月丁香六月激情在线| 人人干99| 欧美肉大捧一进一出免费视频| 婷婷五月天99| 色综合久久8| 丁香五月中文字幕| 99re思思热在线视频| 最近中文字幕2019视频1| 这里只有精品网站| 996精品热视频| 97在线视频观看| 美女激情婷婷| 97精品综合久久内射| 天天五月天综合网址| 9久久精品| 国产熟妇的荡欲午夜视频| 99综合色| 婷婷激情九月| 色色亚洲| 日本色狠狠| 91碰视频| 蜜臀AV在线观看| 日本五月天激情| 欧美久热| 色婷婷五月综合激情中文字幕| 久久99网| www.激情.com.| 99视频日韩| 超碰在线观看99| www.伊人天堂偷偷婷婷| 五月婷婷综合社区| 插插网爽妇五月丁香| 色播五月丁香| 久久婷婷五月综合伊人| 色噜噜97视频在线观看| 成人综合网站| 99热国产免费| 婷婷六月丁香开心深深爱| 久久综合综合综合| 婷婷成人五月天成人文学| 夜夜爽天天日| 久久婷婷伊人| 五月丁香婷婷伊人| 婷婷性福五月天| 五月丁香六月婷婷亚洲激情综合| 1囯产午夜仑鲁鲁| 五月天婷婷久久| 色播播婷婷| 激情综合4月| 日本丁香久在线| 国产JK精品白丝AV在线观看| 日韩在线观看亚洲| 欧美激情xxxXX| 六月婷婷九月丁香| 综合久久激情久久| 婷婷激情性爱| 先锋av性爱成人电影| 超碰无码318604| 99色在线视频| 天天日天天爽夜夜爽| 婷婷97狠狠干| 狠狠色五月| 色情终和网| 26uuu在线观看| 26uuu最新地址| 这里只有精品日韩精品| 亚洲综合视频网| 韩国三级五月天婷婷。| 欧日美女Va| 九九久久高清| 国产欧美日韩综合精品一区二区| 天天操B| 丁香五月综合网亚洲综合欧美狠狠| 久久久思思热| 香蕉伊人综合| 久久艹 五月天| 亚洲精品视频在线播放| 五月婷婷丁香五月| 色性五月天| 777久久综合视频| 五月丁香六月婷婷久久| 亚洲av另类在线观看| 夜夜操狠狠操| 天天射美女| 狠狠草在线观看| 五月四色色| 天天综合激情|