欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

MySQL到BigQuery數(shù)據(jù)同步:CDC如何彌補周期同步的漏失

MySQL到BigQuery數(shù)據(jù)同步:CDC如何彌補周期同步的漏失 MySQL 到 BigQuery 的數(shù)據(jù)同步最容易被低估的問題就是時間窗口。無論是定時導(dǎo)出還是按updated_at增量拉取本質(zhì)上都屬于 periodic syncs。它們的共同點是數(shù)據(jù)庫里的變化并不會等待調(diào)度任務(wù)開始也不會按周期整齊地落入邊界。一次刪除、一條字段被改回舊值、一張表在夜間被大批量 UPDATE 后又改回來這些事件都可能發(fā)生在兩批同步任務(wù)的間隙最終 BigQuery 里的數(shù)據(jù)既不是源表的真實狀態(tài)也不是任何歷史時刻的真實狀態(tài)。CDCChange Data Capture通過讀取 MySQL binlog把每一條數(shù)據(jù)變更作為事件流送到 BigQuery正好從機(jī)制上補上了這個缺口。這篇文章圍繞周期同步會漏什么、binlog 為什么能避免漏、落地時要注意什么展開適合正在設(shè)計數(shù)據(jù)管道、給數(shù)倉接增量數(shù)據(jù)或者被批量任務(wù)數(shù)據(jù)不一致問題困擾的開發(fā)者與數(shù)據(jù)工程師。1. 周期同步在 MySQL 到 BigQuery 場景下到底漏了什么1.1 常見的三種周期同步寫法先看最常用的三種同步方式它們并不只是實現(xiàn)細(xì)節(jié)不同能捕獲的數(shù)據(jù)變化粒度也完全不同。第一種是全量導(dǎo)出覆蓋。直接把 MySQL 表導(dǎo)出成文件或通過 SQL 拉取寫入 BigQuery 臨時表再覆蓋目標(biāo)表。這種方式能保證目標(biāo)表最終狀態(tài)一致但同步窗口很長且 BigQuery 做覆蓋時下游可能讀到一半數(shù)據(jù)。數(shù)據(jù)量一旦上億這個方案基本不可持續(xù)。第二種是按自增 ID 增量拉取。記錄max(id)每次只拉大于該 ID 的行像這樣SELECT * FROM orders WHERE id :last_max_id ORDER BY id;這個方案只能捕獲新增數(shù)據(jù)。業(yè)務(wù)表一旦發(fā)生 UPDATE主鍵 ID 不變增量 SQL 永遠(yuǎn)拉不到這一行。DELETE 更不會出現(xiàn)在結(jié)果里。第三種是按更新時間戳增量拉取SELECT * FROM orders WHERE updated_at :last_sync_ts;這是目前最常見的周期同步方案前提是業(yè)務(wù)表有updated_at字段并且所有寫入路徑都正確更新這個字段。實際項目里這個前提經(jīng)常被破壞某些批量導(dǎo)入腳本沒有更新updated_at某些框架寫入時沒有映射該字段于是出現(xiàn)數(shù)據(jù)明明變了增量 SQL 卻查不到的問題。1.2 周期同步一定會錯過的幾類變更物理刪除是最典型的一類。DELETE 之后這條記錄不再存在于表中任何基于當(dāng)前表狀態(tài)的 SELECT 都無法發(fā)現(xiàn)它曾經(jīng)存在過。全量對拍能發(fā)現(xiàn)問題但只能事后補救而且對拍本身在大表上成本極高。沒有更新時間字段或者更新時沒有寫入時間戳也是一類。訂單表如果通過第三方系統(tǒng)直接改庫或者 DBA 手工執(zhí)行 UPDATE 時沒有維護(hù)updated_at那么增量邊界從一開始就是錯的。同周期內(nèi)狀態(tài)回跳同樣會被掩蓋。假設(shè)訂單在 00:00:10 從pending改為paid00:00:20 又改回pending。周期任務(wù)在 01:00 運行拉到的最終狀態(tài)還是pending。從業(yè)務(wù)角度看中間那次paid狀態(tài)也曾經(jīng)是真實數(shù)據(jù)但周期同步完全感知不到。高頻更新更不用說。一張促銷表每秒更新幾千行周期任務(wù)每隔 5 分鐘拉一次單行在周期內(nèi)被反復(fù)更新后最終拉到的只是最后一次值中間所有取值全部丟失。1.3 為什么不是多跑幾次就能解決周期同步的失敗模式是邏輯性漏數(shù)據(jù)不是漏跑任務(wù)。把調(diào)度頻率從小時改成分鐘只是縮小時間窗口并沒有改變讀取當(dāng)前表狀態(tài)的本質(zhì)。一張表在周期內(nèi)發(fā)生了 100 次更新周期同步只能看到最后一行binlog 能看到 100 個事件并且每個事件都保留前鏡像和后鏡像。這就是原理層面的差異。周期同步試圖通過查詢結(jié)果反推變化而 binlog 是 MySQL 自己記錄的寫操作流水賬。流水賬不會因為業(yè)務(wù)表沒有updated_at就缺頁也不會因為 DELETE 后記錄消失就抹去歷史。1.4 三種方案的能力對比維度全量快照增量字段輪詢binlog CDC刪除事件全量對拍后才發(fā)現(xiàn)通常無法發(fā)現(xiàn)每條 DELETE 都有對應(yīng)事件更新歷史只有最后狀態(tài)只有最后一次變更每次 UPDATE 都有前鏡像和后鏡像對業(yè)務(wù)表要求無必須有updated_at等字段無binlog 與業(yè)務(wù)表結(jié)構(gòu)獨立實時性取決于調(diào)度周期取決于調(diào)度周期秒級到分鐘級可配置對源庫壓力大全表掃描代價高中等取決于索引較小讀取日志而不是反復(fù)掃描表從這張表能看出周期同步不是慢而是漏。CDC 的價值不是讓同步更快而是讓變化過程本身可見。2. binlog 為什么能捕捉每一次變化CDC 的原理2.1 binlog 是什么binlog 是 MySQL 的二進(jìn)制日志記錄所有改變數(shù)據(jù)庫內(nèi)容的操作包括 INSERT、UPDATE、DELETE以及部分 DDL。MySQL 主從復(fù)制、崩潰恢復(fù)、數(shù)據(jù)恢復(fù)都依賴它??梢岳斫鉃?MySQL 把每一次寫操作按順序?qū)懙揭槐玖魉~上。binlog 并不是默認(rèn)可用的。MySQL 5.7 中l(wèi)og_bin默認(rèn)關(guān)閉8.0 默認(rèn)開啟但不同發(fā)行版和云廠商的默認(rèn)值可能不同落地前必須先確認(rèn)。如果 binlog 沒有開啟后續(xù)所有 CDC 方案都無從談起。2.2 ROW 格式給 CDC 提供了什么binlog 有三種格式STATEMENT、ROW、MIXED。STATEMENT 格式記錄的是 SQL 語句本身例如UPDATE orders SET statuspaid WHERE id1001;。這種格式日志量小但無法可靠還原每一行在語句執(zhí)行前后的具體值。MIXED 格式是兩者的混合MySQL 會根據(jù)語句類型自動選擇但對于 CDC 場景依然不夠穩(wěn)定。CDC 要求使用 ROW 格式。ROW 格式下binlog 直接記錄行的變化包括字段級的前鏡像和后鏡像。具體來說INSERT 事件包含插入后的完整行數(shù)據(jù)。UPDATE 事件包含變更前的整行數(shù)據(jù)和變更后的整行數(shù)據(jù)。DELETE 事件包含刪除前的整行數(shù)據(jù)。這意味著 CDC 消費者不僅能知道某張表發(fā)生了變化還能拿到 哪一行的哪個字段從什么值變成什么值。2.3 CDC 連接器如何消費 binlogDebezium、Flink CDC 這類工具在原理上會偽裝成 MySQL 從庫。它們通過 MySQL 的復(fù)制協(xié)議從主庫拉取 binlog并把 binlog 里的二進(jìn)制事件解析成結(jié)構(gòu)化的 JSON 變更事件。連接器需要記錄自己的消費位點。傳統(tǒng)方式是記錄 binlog 文件名加偏移量例如mysql-bin.000023的position 45123。更可靠的方式是使用 GTID即全局事務(wù)標(biāo)識符。GTID 能唯一標(biāo)識每個事務(wù)即使 binlog 文件被清理只要 MySQL 實例保留了完整的事務(wù)歷史連接器也能定位到正確的起點。CDC 連接器通常具備先快照再增量的能力。首次啟動時它會先讀取一次源表全量數(shù)據(jù)記錄當(dāng)時的 binlog 位點之后繼續(xù)從該位點消費增量從而保證從啟動那一刻起不遺漏后續(xù)變更。2.4 從 binlog 到 BigQuery 的完整鏈路一個常見的生產(chǎn)架構(gòu)是MySQL master - binlog - CDC Connector (Debezium / Flink CDC) - Kafka Topic - 流處理或?qū)懭氤绦?- BigQuery Storage Write API / Load Job - BigQuery Table也可以簡化為MySQL master - Flink CDC - BigQuery 目標(biāo)表無論采用哪種架構(gòu)核心都是從日志讀取變化而不是定時查詢表。這也決定了后面的環(huán)境準(zhǔn)備、配置、驗證和排錯方式。3. 前期準(zhǔn)備MySQL、BigQuery 和權(quán)限一項都不能省3.1 版本與前置條件在配置 CDC 之前先確認(rèn)環(huán)境是否滿足基本條件組件要求說明MySQL5.7 或 8.0開啟 binlog5.7 建議顯式開啟8.0 確認(rèn)默認(rèn)配置BigQuery數(shù)據(jù)集、目標(biāo)表、服務(wù)賬號建議單獨建服務(wù)賬號避免共用管理員賬號CDC 工具Debezium 或 Flink CDC版本需要與 MySQL 和 Kafka 版本匹配網(wǎng)絡(luò)源庫與數(shù)倉側(cè)連通私網(wǎng)優(yōu)先公網(wǎng)場景需要做好傳輸加密如果源 MySQL 是云數(shù)據(jù)庫還需要查看云廠商是否允許開啟 binlog 保留策略、是否開放復(fù)制賬號權(quán)限。有些托管數(shù)據(jù)庫默認(rèn)不開放REPLICATION SLAVE這是接入 CDC 前最容易發(fā)現(xiàn)的阻塞點。注意開啟 binlog 并切換為 ROW 格式后binlog 日志量通常會變大磁盤占用和復(fù)制延遲都會上升。生產(chǎn)環(huán)境切換前需要評估磁盤余量。3.2 修改 MySQL 配置下面是一份最小可用的 MySQL CDC 配置示例[mysqld] server_id 1001 log_bin /var/log/mysql/mysql-bin.log binlog_format ROW binlog_row_image FULL expire_logs_days 7 # MySQL 8.0 可用以下參數(shù)控制 binlog 保留時長 # binlog_expire_logs_seconds 604800每個參數(shù)的作用server_idMySQL 實例在復(fù)制拓?fù)渲械奈ㄒ粯?biāo)識。CDC 客戶端也會占用一個 server-id不能與主從庫中其他節(jié)點重復(fù)。log_bin開啟 binlog并指定日志文件路徑。binlog_formatROW讓 binlog 記錄行級變更。CDC 必須使用 ROW 格式。binlog_row_imageFULL讓 UPDATE 事件包含整行前鏡像和后鏡像。如果設(shè)置為 MINIMALbinlog 只包含被修改的字段和主鍵CDC 拿不到完整舊行和新行。expire_logs_days控制 binlog 文件保留天數(shù)。保留太短CDC 位點落后時可能追不上保留太長磁盤占用過大。常見建議是 3 到 7 天具體要結(jié)合源庫寫入量和磁盤容量調(diào)整。修改配置后需要重啟 MySQL。重啟前確認(rèn)max_allowed_packet等參數(shù)不會限制大事務(wù)的 binlog 傳輸。3.3 創(chuàng)建 MySQL CDC 賬號建議為 CDC 單獨創(chuàng)建一個賬號避免使用 rootCREATE USER cdc_user% IDENTIFIED BY strong_password; GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO cdc_user%; FLUSH PRIVILEGES;三個權(quán)限的含義SELECT用于 CDC 工具首次啟動時的全量快照以及讀取表結(jié)構(gòu)信息。REPLICATION SLAVE允許該賬號通過復(fù)制協(xié)議讀取 binlog這是 CDC 的核心權(quán)限。REPLICATION CLIENT允許執(zhí)行SHOW MASTER STATUS、SHOW BINARY LOG STATUS等命令用于確認(rèn)位點信息。不要把ALL PRIVILEGES都授出去。CDC 賬號只需要讀取能力不需要寫源庫。3.4 BigQuery 側(cè)準(zhǔn)備BigQuery 側(cè)需要準(zhǔn)備數(shù)據(jù)集、目標(biāo)表和服務(wù)賬號。在 Google Cloud Console 中先創(chuàng)建數(shù)據(jù)集例如analytics。目標(biāo)表建議在接入 CDC 之前就定義好字段類型盡量與 MySQL 類型對應(yīng)。如果后續(xù)依賴 BigQuery 自動加列容易遇到 schema 不一致導(dǎo)致寫入失敗。服務(wù)賬號需要授予 BigQuery Data Editor 或更細(xì)粒度的角色。把服務(wù)賬號的 JSON 密鑰下載到寫入服務(wù)所在機(jī)器并通過環(huán)境變量GOOGLE_APPLICATION_CREDENTIALS指向密鑰文件。BigQuery 是列式存儲目標(biāo)表 schema 在寫入前就要對齊。CDC 事件字段如果比目標(biāo)表多需要做過濾如果少目標(biāo)表多出的列會使用默認(rèn)值或 NULL。4. 最小落地鏈路Debezium 捕獲 binlog程序?qū)懭?BigQuery4.1 兩種常用的技術(shù)選型常見方案有兩種方案鏈路適合場景Debezium KafkaMySQL - Debezium - Kafka - 寫入程序 - BigQuery已有 Kafka 基礎(chǔ)設(shè)施需要多消費方Flink CDCMySQL - Flink CDC - BigQuery Sink團(tuán)隊熟悉 Flink希望用 SQL 處理流下面以 Debezium Kafka Python 消費者為例把鏈路拆開看。這樣更容易理解每個環(huán)節(jié)的職責(zé)。Flink CDC 只是把 Debezium 和流處理合并到一個框架里原理一致。4.2 Debezium connector 的配置Debezium 通過 Kafka Connect 運行一個典型配置如下{ name: mysql-orders-connector, config: { connector.class: io.debezium.connector.mysql.MySqlConnector, database.hostname: 10.0.0.10, database.port: 3306, database.user: cdc_user, database.password: xxxx, database.server.id: 5400, database.include.list: ecommerce, table.include.list: ecommerce.orders, database.history.kafka.bootstrap.servers: kafka:9092, database.history.kafka.topic: schema-changes.ecommerce, topic.prefix: mysql, include.schema.changes: true } }關(guān)鍵參數(shù)database.server.idDebezium 會占用一個 server-id。它必須與 MySQL 現(xiàn)有主從庫、其他 CDC 實例的 server-id 不沖突否則連接會被 MySQL 拒絕。database.include.list/table.include.list限定監(jiān)聽的庫表。只同步需要的表能顯著減少 binlog 解析壓力。database.history.kafka.topicDebezium 用這個 topic 記錄表結(jié)構(gòu)歷史。binlog 里的舊事件在解析時可能依賴歷史 schema因此這個 topic 不能隨意刪除。topic.prefix生成 Kafka topic 名稱的前綴。最終 topic 名稱一般是{topic.prefix}.{database}.{table}。4.3 變更事件長什么樣Debezium 輸出的變更事件是一段 JSON核心結(jié)構(gòu)如下{ before: { id: 1001, status: pending }, after: { id: 1001, status: paid }, source: { db: ecommerce, table: orders, server_id: 1001, ts_ms: 1719900000123 }, op: u }op字段表示操作類型op 值含義事件內(nèi)容cINSERT只有afteruUPDATE有before和afterdDELETE只有beforer快照讀取類似 INSERTafter為快照行注意DELETE 事件沒有after。寫入 BigQuery 時如果目標(biāo)表要反映刪除必須自己定義刪除策略比如寫入一條帶刪除標(biāo)記的記錄或者通過主鍵 MERGE 刪除目標(biāo)行。4.4 寫入 BigQuery 的示例程序下面是一個最小 Python 消費者示例從 Kafka 讀取 MySQL 變更事件批量寫入 BigQueryimport json from google.cloud import bigquery from kafka import KafkaConsumer PROJECT my-project DATASET analytics TABLE orders client bigquery.Client(projectPROJECT) table_ref client.get_table(f{PROJECT}.{DATASET}.{TABLE}) def process_event(msg): payload json.loads(msg.value()) op payload.get(op) if op in (c, r): return payload[after] if op u: return payload[after] if op d: before payload[before] before[_is_deleted] True return before return None consumer KafkaConsumer( mysql.ecommerce.orders, bootstrap_serverskafka:9092, group_idbigquery-sync, auto_offset_resetlatest, enable_auto_commitFalse, ) rows [] batch_size 500 for message in consumer: row process_event(message) if row is not None: rows.append(row) if len(rows) batch_size: errors client.insert_rows_json(table_ref, rows) if not errors: consumer.commit() rows [] else: print(errors)這個示例說明的是思路不是完整生產(chǎn)代碼。insert_rows_json適合小規(guī)模驗證生產(chǎn)環(huán)境更推薦使用 BigQuery Storage Write API并配合監(jiān)控、重試和死信隊列。enable_auto_commitFalse是為了避免消息未成功寫入就提交位點減少丟失風(fēng)險但代價是重復(fù)消費因此目標(biāo)表必須容忍重復(fù)。4.5 如果團(tuán)隊已經(jīng)用 Flink可以考慮 Flink CDCFlink CDC 可以把上面的鏈路壓縮成一個 SQL 和一套連接器。用 Flink SQL 創(chuàng)建 MySQL CDC 源表CREATE TABLE mysql_orders ( id INT, user_id INT, amount DECIMAL(10, 2), status STRING, updated_at TIMESTAMP(3), PRIMARY KEY (id) NOT ENFORCED ) WITH ( connector mysql-cdc, hostname 10.0.0.10, port 3306, username cdc_user, password xxxx, database-name ecommerce, table-name orders, server-id 5400-5406, scan.incremental.snapshot.enabled true );scan.incremental.snapshot.enabled在較新版本默認(rèn)開啟。它讓 Flink CDC 以分片方式并行快照大表不需要像舊版本那樣先對全表加鎖再讀取對大表更友好。源表創(chuàng)建后可以再創(chuàng)建 BigQuery Sink 表通過INSERT INTO完成同步。具體 Sink 類名和參數(shù)取決于連接器版本落地前要以當(dāng)前使用的 Flink 和連接器文檔為準(zhǔn)。5. 怎么驗證 binlog 同步?jīng)]有漏數(shù)據(jù)5.1 先確認(rèn) binlog 真的開了進(jìn)入 MySQL 命令行執(zhí)行SHOW VARIABLES LIKE log_bin; SHOW VARIABLES LIKE binlog_format; SHOW VARIABLES LIKE binlog_row_image;預(yù)期結(jié)果中l(wèi)og_bin為ONbinlog_format為ROWbinlog_row_image為FULL。還可以執(zhí)行SHOW BINARY LOG STATUS;如果輸出包含當(dāng)前 binlog 文件名和 position說明 binlog 文件正在正常寫入。5.2 驗證 Kafka 收到了哪些變更先用 Kafka 自帶的控制臺消費命令觀察 MySQL 變更是否進(jìn)入 topickafka-console-consumer.sh \ --bootstrap-server kafka:9092 \ --topic mysql.ecommerce.orders \ --from-beginning然后在 MySQL 中分別執(zhí)行一次 UPDATE 和一次 DELETEUPDATE orders SET status paid WHERE id 1001; DELETE FROM orders WHERE id 1002;正常情況下消費端會看到op為u和d的兩條事件。這一步直接驗證了周期同步最難做到的能力刪除和更新都能被捕獲。5.3 驗證 BigQuery 目標(biāo)表觀察 BigQuery 目標(biāo)表是否有新數(shù)據(jù)寫入。可以通過控制臺查詢也可以執(zhí)行SELECT COUNT(*) FROM my-project.analytics.orders; SELECT MAX(updated_at) FROM my-project.analytics.orders;必須注意一個容易誤判的地方BigQuery 目標(biāo)表不會因為收到了 DELETE 事件就自動刪除對應(yīng)行。如果寫入程序只是把after或before以追加方式寫入刪除事件只會變成一行帶標(biāo)記的數(shù)據(jù)。要真實反映刪除目標(biāo)表需要按主鍵做 MERGE或者通過分區(qū)覆蓋實現(xiàn)。驗證時先明確自己的目標(biāo)表語義是追加明細(xì)還是鏡像源表。5.4 延遲監(jiān)控指標(biāo)從 binlog 到 BigQuery 的同步不是一次性的必須持續(xù)監(jiān)控。常見指標(biāo)包括指標(biāo)含義告警建議Kafka consumer lag消費程序落后的消息數(shù)持續(xù)增長則告警Debezium 位點與當(dāng)前 binlog 的文件間隔連接器是否在追趕超過 binlog 保留期則高風(fēng)險端到端延遲事件寫入 MySQL 到進(jìn)入 BigQuery 的時間差根據(jù)業(yè)務(wù)要求設(shè)置閾值BigQuery 寫入錯誤率schema 不匹配等寫入失敗立即告警把位點落后和consumer lag 持續(xù)增長作為關(guān)鍵告警能提前發(fā)現(xiàn)大事務(wù)、網(wǎng)絡(luò)抖動或消費程序故障。6. 數(shù)據(jù)到達(dá) BigQuery 后模式映射、DDL 和冪等才是真正的坑6.1 MySQL 與 BigQuery 類型映射字段類型映射是 CDC 鏈路里最容易踩坑的部分。下面是常見映射關(guān)系MySQL 類型BigQuery 類型注意事項INT / INTEGERINT64無符號 INT 可能超過 INT64 有符號范圍BIGINTINT64超過 2^63-1 的數(shù)據(jù)要改用 NUMERIC 或 STRINGDECIMAL(p, s)NUMERIC / BIGNUMERIC金額字段不要用 FLOAT精度會丟失DATETIMEDATETIME無時區(qū)語義按原值寫入TIMESTAMPTIMESTAMP建議統(tǒng)一按 UTC 存儲VARCHAR / TEXTSTRING長度和編碼要注意JSONJSONBigQuery 需要字段模式為 JSON 或先轉(zhuǎn)成 STRINGTINYINTINT64 / BOOL看業(yè)務(wù)語義確定最容易出問題的是 DECIMAL。MySQL 中的DECIMAL(10, 2)如果映射成 BigQuery 的 FLOAT640.1 這樣的值可能出現(xiàn)精度誤差。正確做法是映射為 NUMERIC。TIMESTAMP 也容易出問題。MySQL 的TIMESTAMP有會話時區(qū)概念CDC 事件里的ts_ms可能是 UTC 時間而業(yè)務(wù)字段本身可能是本地時間。建議在寫入端統(tǒng)一規(guī)范避免目標(biāo)表同一列混入不同時區(qū)的數(shù)據(jù)。6.2 DDL 變更會打斷 CDC當(dāng) MySQL 表結(jié)構(gòu)變化時CDC 鏈路會面臨兩個層面的問題。第一Debezium 需要依賴database.history.kafka.topic中的 schema 歷史來解析 binlog 里的舊事件。如果這個 topic 被刪除或清理連接器可能無法反序列化舊的 binlog 事件。第二BigQuery 目標(biāo)表的 schema 不會自動跟隨 MySQL DDL 變化。MySQL 加了一列CDC 事件里出現(xiàn)了新字段但 BigQuery 目標(biāo)表沒有這一列寫入就會報錯。處理建議是把 DDL 納入變更流程先審查 MySQL DDL 對同步鏈路的影響。先在 BigQuery 目標(biāo)表補充或調(diào)整 schema。再在 MySQL 執(zhí)行 ALTER TABLE。同步完成后核對事件是否正常。對于大表的 ALTER TABLE還可能導(dǎo)致源庫鎖表和復(fù)制延遲。生產(chǎn)環(huán)境做主從切換時要評估 DDL 對 binlog 位點的影響。注意不要依賴 BigQuery 自動加列來處理所有 DDL 變更。自動加列在不同版本和連接器里行為不一致且不能處理列重命名、刪除、類型變更等復(fù)雜操作。6.3 至少一次語義下重復(fù)是正常的binlog CDC 鏈路通常提供 at-least-once 語義。網(wǎng)絡(luò)閃斷、消費程序重啟、位點提交失敗都可能導(dǎo)致同一事件被重復(fù)消費。因此目標(biāo)表必須能接受重復(fù)。常見做法按主鍵去重寫入前先判斷目標(biāo)表是否已有該主鍵。使用 BigQuery MERGE按主鍵更新目標(biāo)行。在記錄中增加事件版本字段如event_ts_ms或 GTID寫入時取較新的事件。下面是 BigQuery MERGE 的簡化思路MERGE my-project.analytics.orders AS t USING changes AS s ON t.id s.id WHEN MATCHED THEN UPDATE SET status s.status, amount s.amount WHEN NOT MATCHED THEN INSERT (id, user_id, amount, status, updated_at) VALUES (s.id, s.user_id, s.amount, s.status, s.updated_at);MERGE 在處理刪除事件時還可以加一個WHEN MATCHED AND s._is_deleted TRUE THEN DELETE分支。但 MERGE 的成本比流式追加高適合對一致性要求高、更新頻率可控的場景。如果表更新量極大需要考慮分區(qū)覆蓋、冷熱分離等方案。6.4 亂序事件怎么處理同一個主鍵的多條變更在 Kafka 中如果分布到不同分區(qū)消費程序收到的順序可能和源庫事務(wù)提交順序不一致。比如先提交了statuspaid后提交了statuscancelled亂序可能導(dǎo)致目標(biāo)表最終停在paid。處理方式Kafka Topic 按主鍵 hash 分區(qū)保證同一主鍵路由到同一分區(qū)。寫入端使用 binlog 里的ts_ms或 GTID 做排序只接受更新的事件。如果業(yè)務(wù)允許短暫延遲可以在寫入端做窗口緩沖按主鍵排序后批量提交。如果源表存在刪主鍵后重新插入同一主鍵的場景還需要區(qū)分刪除后插入和舊 UPDATE 后到否則可能出現(xiàn)舊數(shù)據(jù)覆蓋新數(shù)據(jù)的現(xiàn)象。這種情況下GTID 或事務(wù) ID 是更可靠的順序依據(jù)。7. 常見問題排查從現(xiàn)象倒推 binlog 鏈路故障7.1 現(xiàn)象連接器啟動時報權(quán)限不足或無法讀取 binlog可能原因MySQL 賬號缺少REPLICATION SLAVE權(quán)限。連接器配置的 server-id 與現(xiàn)有從庫沖突。binlog 未開啟或者binlog_format不是 ROW。排查命令SHOW VARIABLES LIKE binlog_format; SHOW GRANTS FOR cdc_user%; SHOW PROCESSLIST;處理方式核對 MySQL 配置和賬號權(quán)限修改后重啟連接器。server-id 沖突通常會在 MySQL 錯誤日志里看到A slave with the same server_uuid/server_id as this slave has connected to the master之類的信息。7.2 現(xiàn)象任務(wù)運行一段時間后Kafka 里有歷史事件但新事件遲遲不來可能原因Kafka Connect 或連接器進(jìn)程掛掉后位點沒有正確恢復(fù)。MySQL 實例重啟導(dǎo)致 binlog 文件名變化連接器找不到舊位點對應(yīng)的文件。table.include.list配置了大小寫敏感的表名實際表名大小寫不一致。排查方式kafka-consumer-groups.sh --bootstrap-server kafka:9092 --describe --group bigquery-sync重點看CURRENT-OFFSET、LOG-END-OFFSET和LAG。如果 consumer lag 為 0 但新數(shù)據(jù)沒進(jìn)來檢查連接器日志里 binlog offset 是否還在推進(jìn)。必要時做一次 重新快照 增量 的初始化。7.3 現(xiàn)象BigQuery 寫入報錯字段不存在或類型不匹配可能原因MySQL DDL 新增了列BigQuery schema 沒有同步。DECIMAL 字段映射成了 FLOAT64導(dǎo)致精度丟失或?qū)懭胧?。MySQL JSON 字段映射到了 BigQuery STRING但事件里是 JSON 對象。排查方式SELECT column_name, data_type FROM my-project.analytics.INFORMATION_SCHEMA.COLUMNS WHERE table_name orders;處理方式定位是哪一列不匹配先同步 schema再重放失敗事件。不要直接丟棄報錯事件否則會在對賬時發(fā)現(xiàn)數(shù)據(jù)缺口。7.4 現(xiàn)象同步延遲持續(xù)增長可能原因源庫執(zhí)行了大事務(wù)例如一次 UPDATE 超過十萬行binlog 事件量巨大。消費程序單線程寫入 BigQuery寫入速度跟不上源庫變更速度。網(wǎng)絡(luò)帶寬不足或者 BigQuery 寫入配額受限。處理方式在源庫側(cè)避免一次性更新超大范圍拆成小事務(wù)。寫入端改用批量并行寫并啟用 Storage Write API。增加監(jiān)控觀察 binlog 保留時間是否充足。如果消費端位點落后太遠(yuǎn)而 binlog 文件已經(jīng)過期可能需要重新快照。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
第五婷婷伊人丁香色| 久操婷婷| 欧美性生交A片免费看| 五月婷在线色视频| 人妻爽爽爽久久久久久久久| 国产精品久久久爽爽爽麻豆色哟哟 | 久久久久亚洲AV综合| 精品人妻一区二区三区四区不卡在| 色婷婷香蕉| 五月丁香亭亭电影久久| 天天弄天天操| 99热在线观看精品| 久久婷婷亚洲五月天| 婷婷久久免费| 加勒比久热| 99热在线观看精品| 99久久玖玖| 深爱激情四射| 99久久婷婷国产综合精品草原| 91婷婷视频| 99九九在线精品热动漫| 天天爽天天操| 国产在线另类五月婷婷| 三区激情四射av| 婷婷五月丁香综合瑟瑟| 大香蕉五月婷婷丁香| 亚洲不卡| 97人妻碰碰碰久久香蕉| 91婷婷五月天嫩女| 天天透天天摸天天舔| 中文字幕av在线播放| 成人免费120分钟啪啪| 96精品久久久久久久久| 久热免费视频| 婷婷五月综合激情免费| 国产日韩亚洲欧美在线观看| 婷婷伊人久久综合| 一本综合丁香日日狠狠色| 天天插综合在线| 综合色影院| 嫩草免费视频| 强奸幻女毛片| 色婷婷在线影院| 四季8848精品成人免费网站| 色婷婷丁香A片区毛片区女人区| 91AV婷婷| 激情综合激情综合| 丁香五月婷婷大香蕉| 五月婷婷伊人久久| 色天天综合成人网| 激情五月深爱婷婷| 最新精品视频99| 超碰人人操在线| 91干99| 亚洲国产精品成人午夜| 精品热青草| 91操操| 丁香婷婷色五月| 2025天天日爽| 五月婷婷视频| 色五月成人| 国产精品电影网| 四色五月婷婷| 国产97色在线 | 日韩| 国产成人亚洲综合A∨婷婷| 久久99美女精彩视频| 婷婷久久久久久久| 国产精品色色色色| www.五月天社区| 综合激情五月综合激情五月激情1| 色狠狠色| 99精品视频在线6| 久久这里只有国产| 五月天欧美激情| 伊人丁香婷婷东京| 激情五月天综合婷婷网| 激情五月综合网最新| 在线中文字幕av| 久操激情| 婷婷五月花| 久久久天堂国产精品女人| 久久性爱视频网站| 嫩草免费视频| 99爱99操| 久婷婷五月激情| 色宗合,宗合网| 亚洲综合网激情小说| 婷婷5月开心6月| 亚洲激情免费视频| 丁香九月久久| 青青草伊人婷婷| 99欧美精品99日本精品| 成人欧美日韩| 色色色777| 九九伊人网| 丁香五月天激情婷婷丁香六月| 丁香五月大片| 久9视频免费播放| 国产精品久久..4399| 96丁香六月婷婷蜜桃综合久久| 操一区| 男女啪啪做爰高潮无遮挡 | 狠狠操天天操天天操| 第四色婷婷色五月| 97精品在线| 丁香五月激情综合| 日韩肏屄网| 九九青青草成人| 成人va在线观看视频| 九九视频精品在线免费| 性视频久久| 激情九月婷婷| 97五月婷婷| 超碰99热| 狠狠操狠狠操| 久久精品凹凸分类| 啪啪综合网| 精品久久久久久久久久久久人妻| 五月天色色色| 狠狠九九婷婷韩| 丁香色色网| 九九视频精品在线免费| 五月天婷婷基地| 久久无码成人| 九玖视频这里只有精品| 五月天亭亭俺也| 五月天另类视频| 思思久久久婷婷| 99在线视频精品| 中文字幕日韩无码制服诱或| 亚洲九区| 丁香五月综合首页| 婷婷激情五月综合丁| 成人版视频在线观看| 亚洲精品又粗又大又爽A片| 一级性爱大片| 亚洲小视频| 99热爱爱干干日| 在线中文AV| 日本一道久久| 九九自拍网| 91午夜婷婷狠狠久久综合9色| 婷婷五月电影| 五月婷婷说| 亚洲精品亚洲人成人网| 无码se| 色五月激情五月天| 日韩不卡123| 五月色婷婷亚洲| 五月婷网站| 五月天com| 老师把我爽高潮了免费A片| 色五月婷婷丁香国产在线| 狠狠色噜噜狠狠狠888| 中文字幕网伦射乱中文| 激情综合自拍五月婷婷色五月| 久久五月天色| 久草婷婷视频| 五月天最新网| 99热在线网站| 丁香婷婷基地| 蜜桃婷婷狠狠久久综合| 五月丁香六月成人| 久草嫩草在线观看| 精品久久久久久久人妻| 综合色、色综合| 人妻久久做| 看全色黄大色大片| 蜜臀av粉嫩av懂色av| 婷婷五月天激情五月天网站| 免费看欧美成人A片无码| 久久婷综合| 殴美综合激情五月天免费视频| 成人免费黄色短视频| 99热 这里只有精品 国产 日韩| 婷婷九月丁香| 91日综合欧美| 色丁香五月| 色噜噜五月丁香婷婷| 婷婷亚洲色| 成人.在线日韩| 涩涩涩,com| 色婷婷综合网| 五月色丁香综合| 99精品视频网| 蜜乳A√| 五月丁香六月天| 激情视频网址| 无码日本精品XXXXXXXXX| 婷婷五月花免费视频在线| 操一区| 久久五月激情综合| 丁香婷婷激情| 激情婷婷另类| 色yeye色综合| 婷婷综合色| 六月激情丁香一道本7777| 人人草人| 99热综合在线| 久久久五月天| 玖玖色综合色| 天天摸色吧天天摸色吧| 这里只有精品96| 99色在线观看视频| 国产亚洲成AV人片在线| 99热日本| 婷婷深爱色五月| 夜夜操狠狠操| 99精品免费欧美小视频 | 欧美日本一区二区三区| 黑人无码一区| 久草五月| 五月婷婷av| 亚洲人人操| 五月丁香色色| 婷婷五月中文字幕国产| 国产精品电影| 9九九久久精品无码专区| 五月婷婷人妻| 九九热超碰| 久久婷婷精品| 九九99视频| 婷婷综合偷拍| 激情五月天婷婷| 五月综合六月婷婷| 国产色香蕉精品五夜婷| 99亚州综合精品成人网| 九九婷| 天天狠天天叉| 激情丁香婷婷六月天| 丰满少妇猛烈A片免费看观看 | 黄色AAAAAAA| 中文字幕色色| 婷婷第六色| 成人.在线日韩| 国产色五月婷婷| www久久艹| 中文字幕在线日亚州9| 久久这里都是精品视频| 人人操女人| 精品人妻伦一二三区久久| 欧美VA在线观看| 五月婷婷五月天| 男女啪啪做爰高潮无遮挡| 79精品视频| 天天色天天射天天日| 激情丁香五月| 日韩久久视频| www久热com| 婷婷精品视频| 久热9热| 99精品在线观看视频| 日韩成人精品一区久久久久| 色婷婷丁香综合中文字幕| 刘玥av在线| 99久久婷婷五月综合| 99热久只有| sewuyuetingtingiii| 色婷婷99| 在线播放中文字幕| 热99在线精品| 99re思思久久| 色色色欧美| 精品九九婷婷| 久热精品免费视频4| 99热九九热| 色屌丝中文字幕| 99在线视频精品| 婷婷伊人綜合中文字幕小说| 婷婷五月天情色| 三人荫蒂添的好舒服A片| 成人综合视频在线| 色婷婷狠狠| 五月天色综合服务平台| 99 频99热国里只有精品| 大香蕉五月天婷婷| 色综合中文色综合网| 99只有精品9| av九九| 久久多色| 成人在线精品| 久久久8| 96丁香六月婷婷蜜桃综合久久| 婷婷五月色丁香在线看| 久久性爱网站| 人妻在线中文字幕久久| 色色丁香五月婷婷| 亚洲婷婷五月天综合| 国产精品社区| 超碰97人人操| 狠狠色婷婷777| 五月婷啪| 99热这里是精品| 成人网在线视频| 丁香婷婷浪潮AV久久综合| 美国少妇性做爰| 天天插天天插| 丁香五月天啪啪| 色五月人妻| 亚洲AV成人片无码网站| 中文字幕不卡+婷婷五月| 色五月涩涩婷婷| 激情五月天婷婷五月天| 少妇人妻人伦A片| 精品人妻伦一二三区久久| 亚洲狠狠干| 五月开心激情| 99热主页日本| 色五月综合在线| 六月丁丁香| 人人干人人看| 中文字幕丰满孑伦无码专区| 亚洲天堂色| 亚洲精品字幕在线观看| 精品一二三区久久AAA片| 来吧亚洲综合网| 亚洲九九视频| 亚洲第一成人AV| 国产操B| ztEJj| 婷婷五月天天激情| 国产成人AV在线播放| 99玖玖人人| 欧美日韩成人高清在线| 日韩色色色99| 99九九视屏| 人人操人av| 情婷婷五月天| 国产精品电影网| www99精品| 五月激情婷婷丁香| 91大操| 丁香花操逼| 蜜臀av粉嫩av懂色av| 激情久久五月天| 婷婷五月天改成什么了| 天天爽综合网| 9色视频在线| 能看的av| 六月丁香天堂| 五月丁香日本片| 五月婷婷激情色情网| 丁香五月亚洲天堂| 亚洲激情av| 婷婷大香蕉| 婷婷中文字暮| 精品视频这里只有精品| 丁香5月婷婷| 成人av在线网址| 亚洲激情久久| 精品九九婷婷| 天天爱天天日| 99热这里只有精品99| 五月丁香| 免费V片在线| 伊人色综合影院视频| 26uuu.| 热99只有里视频| 人人综合久| 丁香五月天综合| 婷婷五月天综合亚洲| 午夜日韩久久久网站| 久操操| 激情都市五月天| 桃色五月天| 六月丁丁香| 美女视频图片久久91| 婷婷狠狠97| 永久99免费视频网站| 欧洲激情精品婷婷| 一本大道熟女人妻中文字幕在线 | 好看的国产精品| 成人色五月天| 丁香色五月 97干| 666555。COm毛片| 久久久久久97| 色婷婷丁香香香蕉视频| AA片在线观看视频在线播放| 丁香婷婷六月天| 欧洲免费视频色| 九九色综合九九色| 久久久久98| 五月天激情网址| 婷婷97碰碰| 婷婷丁香五月天综合在线日韩| 九九色精品| rr天天操| 99精品丰满| WWW丁香五月| 激情五月天网| 国内在线99视频| 丁香五月成人论坛| 欧美性做爰大片免费看办公室| 操日视频| 激情综合五月婷婷| 9久热在线视频| 五月激情精品视频| 天天干天天插| 91天天操天天干天天射| 玖玖资源站中文| www.色色色com| 99热在这里只有免费精品| 久久婷婷五月综合伊人| 九九精品热播| 天天插天天日| 五月香蕉网| 六月婷婷激情小说网| 无码AV久久久久久久久| WWW丁香五月| 一区二区三区视频| 碰碰91| 五月色综合| 奇米四色五月天| 六月婷婷影院| 婷婷丁香五月天综合在线日韩| 五月天色婷婷av| 日日爽夜夜爽| 国产裸舞福利资源在线视频| 日韩啪啪网| 五月天激情小说| 综合色五月| 91超级碰在线| 久久激情五月天| 色五月超碰| 丁香婷婷九月| 99色在线视频| 99在线精品观看99| 日日操夜夜爽天天天| 五月婷婷激情综合| 色婷婷AV五月天| 丰满少妇猛烈A片免费看观看 | 天天综合天天玩夜夜玩天天玩夜夜玩 | 99热在线里有精品| 青草视频在线播放| 热的无码综合视频| 五月婷丁香久久综合| 九九在线这里只有精品视频| 丁香五月综合无码趴趴| 殴美激情综合网| 亚洲综合久| 色香蕉影院| 丁香五月激情宗合网| 96丁香六月婷婷蜜桃综合久久| 99,色| 六月婷婷五月丁香| 6080av| 夜色热久| 五月天偷拍| 五月天婷婷社区久久综合| 五月婷六月| 91狠狠综合久久| 色五月av| 操熟女成人网| 丁香六月婷| 99久久婷婷国产综合精品草原| 国产韩日亚洲美州欧亚综合在线| 噼里啪啦完整版中文在线观看| 四色女婷婷| 9999热在线观看| 91色噜噜狠狠狠狠色综合| 五月丁香婷婷色| 婷婷亚洲综合| 中文在线视频久1| 久久精品99久久久久久| 黑人糟蹋人妻HD中文字幕| 操丝袜视频影院导航| 伊人9草在线观看| 97干视频| 天天天日天天天干| 五月婷婷久久久| 色婷婷成人做爰A片免费看网站| 亚洲色综久久五月| 97碰久久| 影音先锋 萱萱| 婷婷在线激情| 亚洲精品五十一区| 国产成人AV在线播放| 丁香五月成人网| 日日做夜夜爱| 操操操操操操婷婷五月天| A片试看120分钟做受图片| 五月天婷婷乱论小说| 这里只有精品免费在线视频| 嘿嘿视频免费看9| 综合久久综合| 99亚州综合精品成人网| 99热20| 密视AV综合在线| 色99在线| www.久久爱.com| 南京搡BBBB搡BBBB| 色月九九| 思思热99er| 久久草中文日韩欧美| 狠色狠色综合久久| 深爱 五月天| 日韩成人电影av| 激情av| 这里精品| 五月丁香婷婷激情久久| 中文激情网| 色婷婷狠狠18yy| 色婷婷亚洲精品天天综| 亚洲色热| 婷婷天天色| 久久激情综合| 日韩成人av在线| 五月婷婷激情在线| 国产成人精品一区二三区熟女在线| 久久大香蕉同僚| 伊人久久五月天| 五月婷婷激情综合在线| 久久久27操| 五月色亭丁香| 久久视9精| 激情五月综合网| 亚洲av网站在线观看| 丁香五月开心五月激情| 久久综合天天综合| 综合狠狠五月婷婷| 久久只有精| 男人的天堂五月丁香| 色婷婷呢狠禁久禁| 日韩av变天就操逼不卡区| 五月天久久婷婷| 亚洲视频操| 久久99热在线观看| 色五月激情婷婷| 婷婷综合激情五月综合| 激情五月亚洲综合网| 天天爽夜夜爽夜夜爽精品| 超碰爱爱爱| 婷婷97C| 97操碰人免费| www.色五月| 天天干天天爽| 婷婷五月天影院| 婷婷色五月天在线观看| 亚洲色网址| 伊人久久艹| 日本婷久久| www.日本91| 色欲一区二区三区精品A片| 色操b| www.夜夜騎夜夜狠| 欧美成人五月天| 五月丁香花免费视频| 婷婷五月丁香激情色情| 思思热在线视频99| 开心五月天激情| 五月丁香激情在线| 天天爽天天草| 99在线观看视频| 五月婷婷自拍| 日本狠狠网| 婷婷五月天综合久久| 99er精品视频| 天天草天天爽| 久久久久久激情| 99日本黄站| 97人人看| 激情四射五月天| 色播丁香| 五月久久丁香| 综合精品99| 五月天综合久久丁香91| 五月婷婷啪| 婷婷她六月天| 色综合xx| 丁香五月无码| 国产午夜精品一区二区| 欧美一级色| 欧美这里只有精品| 国外亚洲成AV人片在线观看| 人人操人| 久久激情五月婷婷| 丁香五月亭亭六月综合激情网| 日本熟妇人妻在线| 成人开心五月天| www.五月婷婷.com| 啊v视频在线观看| 2018国产大陆天天弄| 五月Huangsewang| 色玖玖网| 色婷婷大香蕉| 涩涩五月天| 五月丁香婷婷钟和色图| 97色在线观看视频| 日本在线免费中文com.| 婷婷天天日婷婷| 色色网站日本91| 丁香激惜男女| 国产成人AV不卡| 天天干天天色天天干| 9视频在线成人网站| 综合色综合| 高清av在线国产| 美女天天爽| 99热丁香五月| 精品人妻伦一二三区久久| 最新热中文字幕| 色墦五月丁香| 色六月视频| 欧美月久久| 日韩久热| 婷婷一本和五月丁香| 国产99久| 日本婷婷在线| www.婷婷网| 日韩黄在免| 色色色成人网| 色色色色色色色色五月先| 日日撸夜夜操| 5月丁香六月婷婷| 国产免费av在线| 天天插天天插天天插天天插| 开心五月激情五月丁香五月婷婷| 国产在线视频1234| 色五月激情五月天| www夜夜操wwwcon| 久热超碰91| 婷婷色网| 香蕉人在线香蕉人在线 | 天天爽人人综合免费7799| 国产精品日本一区二区在线播放 | 久热免费| 久久国产色| 66精品国产成人| 爱99干99| 久久久激情视频| 开心五激情网| 色情五月天丁香社区| 天天操天天插| 六月丁香婷婷综合在线| 狠狠色情婷婷| 久热一本| 丁香五月天亚洲综合| 天天激情站| 日本VA视频| 激情深爱五月婷婷| 9九色首页| 国产成人精品一区二区三区视频| 91九色欧美| 婷色成人| 九九色精品| 久久色六月| 天天日夜夜拍| 五月天婷婷社区| 五月丁香琪琪| 色五月激情婷婷| 久久精品凹凸分类| 情情五月天色| 欧美大片免费播放器| www,8050,午夜三级| 久久东京热婷婷五月| 亚洲AV免费国产电影| 五月天五月天成人网亭亭成人色网站| 人人摸人人操人人爱| bbwcuckold精品熟妇| 亚洲欧洲另类| 久久婷婷五月综合97色一本| 这里只有精品2| 婷婷五月天六点丁香五月| 亚洲婷婷免费| 天天色综| 五月婷婷,狠狠操| 五月丁香综合| 99热这里只有精品在线免费| 欧洲色| 六月五月丁香五月欧美| 欧美性爱五月天| 欧美婷婷六月丁香综合色| 色色色国产| 久热一本| 色色色成人网| 99在线观看视频精品| 久久伊人大香蕉| 99热欧| 图片区 小说区 区 亚洲五月 | 97干在线视频| 黄色99视频| 久久婷婷伊人| 亚洲五月天综合| av免费在线看不卡无毒| 洗浴中心操B视频| 日韩野外 无套| 开心色播色五月婷婷| 天天做天天爱天天高潮| www激情网| 99啪视频在线观看| 91肏| 六月婷婷天天操夜夜爽视频| 日本人妻伦在线中文字幕| 我爱宗和色| 啪啪日本欧美| 丁香婷婷激情六月五月开心| 丁香五月婷婷超碰在线| 99热这里只有精品8| www.丁香黄色五月天人与| 婷婷五月天国产性感美女演员久久久久| 婷婷久久亚洲| 婷婷人人操| 操碰97| 天天在线久久综合| 精品自拍99| 婷婷五月天影院| 色丁香五月天| 噜噜噜久久| 韩国婷婷丁香五月| 国产亚洲色婷婷久久99精品9j| 91视频精品99| 婷婷丁香五另类网站| 丁香五月 无码| 东京热伊人| 天天插轮理| 亚洲一级AV在线免费播放| 丁香六月婷婷久久综合| 五月丁香六月激情综合在线| 丁香久久久| 综合激情五月丁香| 色色色色色色色色综合网| 另类A片| 国产黄大片在线观看画质优化 | 九九无码AV| 亚洲综合五月天| 色热久资源| 亚洲岛国电影| 五月份婷婷| 色五月丁香五月天| 人妻人人操| 激情婷婷| 啪啪东京热| 久久丁香| 日韩在线五月天婷婷| av在线观看免费| 久久人妻超碰一区| 超碰超碰在线| 成人性爱无码| 天天婷婷综合亚洲亚洲| 日本9区视频| 性色综合网| 第2色五月婷| 色婷婷亚洲六月婷婷中文字幕| 97五月天| 六月婷婷香蕉| 深爱激情av| 久9视频| 日本三级日本黄色| www.久久爱| 日日操夜夜骑| 国产AV一区二区三区日韩| 99精品久| 婷婷亚洲五月丁香综合在线 | 天天色天天操天天射| 五月婷婷五月天| www.五月天婷婷| 精品成人无码A片观看香草视频| 狠狠丁香| 婷婷五月丁香色播| 欧美va亚洲va在线播放| 九九99精品视频在线观看| 艹天天射| 一级操逼内射在线视频| 在线99热| 激情六月婷婷| 伊人啪啪网| 影音先锋女人AA鲁色资源| 色婷婷888| 天天免费日日夜夜夜夜| 99色综合| 性色欲情 网站| 97人妻碰碰碰久久香蕉| 婷婷综合在线视频| 色了色综合| 超碰在线人人| 色99免费视频中文| 亚洲人妻一区二区| 99热97| 久久激情综合| www.色五月.com| 9热在线观看| 深爱开心激情| 婷婷综合干| 国产色99| 久久日本wwww色| 婷婷五月天激情视频| 疯狂做受XXXX高潮A片| 激情综合五月婷| 99久久婷婷| 久久人操| 这里只有精品免费视频| 九九色色| 五月丁香综合啪啪| www色婷婷久久综合久色| 五月婷婷啪啪| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 欧美日韩精品一区二区三区钱| www.五月婷婷久久.com| 亚洲精品V天堂中文字幕| 婷婷五月天成人动漫 | 无码色色色| 激情久久久久| 日韩aaa| www.99视频| 久久五月视频| 丁香五月色| 操一区| 99热只有| 午夜性做爰电影| 性欧美大战久久久久久久83| 超碰人妻公开在线| 激情色五月天| 色婷婷性爱| 色婷婷先锋| 超碰成人电影| 久久66er久久| 激情五月亚洲综合网| 五月天色视频| 久久性爱视频这里只有精品| 99精品久久| 超碰在线国产| 高清无码 一区 二区 三区| 九九热123| 婷婷五月天在线一区| 67194中文字幕| 国产成人网| 五月丁香网中文字幕| 婷婷久久欧美| 五月丁香成人小说| 99热福利| 91在线观看九区| 天天干天天爽| WWW、日本色丁香co m| 成人丁香五月| 激情婷婷色五月| 9精品视频在线观看| 开心激情婷婷| 热99AV网站| 色综合色| 99九九免费精品| 99爱在线视频| 欧美成人性爱网| 婷婷激情丁香五月婷婷激情丁香五月婷婷| 六月婷婷狠狠| 91丨九色丨老农村| 白人荫道BBWBBB大荫道| 久久激情天堂| 六月色色婷婷| 国产欧美日韩性爱| 91在线观看www| 五月婷色丁香| 色视频色综合91| 天天色播| 99激情网| 开心五月色婷| 日本爆乳片手机在线播放| 五月天狠狠| 中文字幕av久久爽| 五月婷婷大香蕉| 亚洲激情四射| 婷婷五月在线播放| 操国产人妻| 99久超碰| 久久色大香蕉| 五月丁香六月色| 亚洲五月天婷婷| 五月婷婷六月丁香综合视频在线| 综合玖玖偷拍| 日B日潘金莲BB| 五月叮香啪| 天天色天天日天天舔| 丁香六月婷婷综合麻豆| 91人人澡人人爽人人看| 在线综合亚洲欧美65| 精品人妻久久久久久| 亚洲五月天另类小说图片| 天天色伊人| 99热在线观看| 538任你爽视频不一样的| 久久黄色片| 久热免费视频| 人人人操| 亚洲色视频| 天天碰天天插天天操| 可以直接看的av| 天天色天天搡| 九九久久五月天综合伊人| 97在线日本| 在线sebiav精品视频| 一区二区三区四日本| 少妇性按摩无码中文A片| 久机视频这只有精品| 操99| 色播综合| 91久久久久久久久久久| 五月天色色网站| 日韩啪啪视频| WWW.婷婷| 操人无码| 国产偷人爽久久久久久老妇APP| 9+1视频网址| 亚洲激情综合| 少妇2做爰HD韩国电影| 激情又色又爽又黄的A片 | 日韩操人| 亚洲综合婷婷| 黄桃AV无码免费一区二区三区| 无遮挡国产高潮视频免费观看| 一本大道熟女人妻中文字幕在线| 性av| 中文字幕成人版| 色五月婷婷影视| 亚洲狠狠婷婷| www色五月| 五月婷婷新网站| 激情综合五月.....| 天天成人丁香美女AV| WWW,五月| 伊人www22综合色| 色色亚洲五月天| 99re6在线视频精品免费| 丁香婷婷AV| 婷婷激情啪啪| 大香蕉五月丁香| 久久一热免费视频| 五月天艹天天| 婷婷在线播放| 久热免费视频| 超碰婷婷五月| 9人人操人人看| 国产欧美婷婷| 丁香五月天天高清在线| 这里只有精品视频在线| 久久视频这里有精品99| 韩日另类| 亚洲婷婷久久综合| 欧美大奶熟女噜噜噜噜| 五月婷婷精品视频| 久久丁香五月| 激情网五月天| 国产综合A片| 大香蕉久操| 丁香五月亚洲综合| 六月婷婷色| 婷婷五月激情丁香| 97久久精品视频| 99九九99九九九视频精彩| 五月婷婷综合色啪| 五月天啪啪啪| 色色色欧美| 五月丁香婷婷99| 蜜臀A∨在线水帘洞| 天天五月天综合网址| 天天插天天爽| se婷97| 玖月婷婷爱丁香| 丁香六月欧美| 成人精品在线观看| 日熟女| 五月开心啪啪| av大香蕉| 色吊丝av中文字幕| 爱爱色五月天| 99色色视频| 天天干天天爽| www.99热在线观看| 五月天另类小说久久小说网| 五月天婷婷在线播放| 99ri视频在线观看| 丁香六月av| 99久久99九九九99九他书对| www.韩日视频| peg 2区三区四区的| 五月丁香激情综合啪啪| 秋霞av吧| www.25五月婷婷| 色婷婷精品视频| 国产av网| 青青草护士中出内射-欧美电影在线天堂新版| 狠狠狠狠狠狠色| 国产精品黑丝| 亚洲综合婷婷| 色婷网| 色综合色综合网| 伊人激情影院| 五月丁香六月停停停| 婷婷丁香五月精品| 人妻久久久久久| 精品成人在线观看| 狠狠狠狠狠干| 五月丁香综合网| 五月天激情.com| 国产69久久久欧美黑人A片| 亚洲高清在线| 99热碰碰热| 欧美色色色色色色| 狠狠做深爱婷婷久久综合一区| 91丁香综合| 五月婷婷中字在线| 色婷婷久久综合中文久久一本| 亚洲情色一区| 99riAV国产精品视频| 色一情一乱一乱一区9| 99爱视频在线播放| 991自拍视频| 牛牛碰免费| 日本大人久久| 人人舔天天| 610018岁成人视频| 五月天激情婷婷五月天久久| 色五月激情五月| 小视频aaa久久久| 激情综合五月| 婷丁香五月天| 亚洲精品无AMM毛片| 五月天婷婷色播| 玩熟女五十AV一二三区| 激情五月色综合国产精品| 97精品人人A片免费看| 激情五月天之五月婷婷| AA片在线观看视频在线播放| 伊人六月丁香婷婷| 丁香六月丁香婷婷激情| 思思久久99热只有频精品66| 操精品9| 婷婷五月无码| 日本黄色在线观看| 久久久香| 丁香五月影院| 五月丁香影院| 亚洲丁香网| 天天艹| 超碰9| 天天狠天天狠| 伊人热在线大香蕉| 色色色.COM| 高清成人综合| 色吧五月婷婷| 国产日日夜夜操| 97自拍视频网| 九九久久99精品免费观看www| 色999亚洲人成色| 国产婷婷色综合AV蜜臀AV | 先锋资源婷婷| 99久久精| 亚洲黄色网址| 五月综合激情网| 久久香蕉影院| 99五月香婷婷丁香在线视频| 色色亚洲五月天| 久综合网| 超碰免费人| 婷婷五月天亚洲五码| 丁香六月婷婷激情综合| www久久久久久久久久久| 久久精品视频在这里有| www.五月婷婷久久.com| 大陆极品少妇内射AAAAAA| 狠狠色噜噜色狠狠狠综合久久成人波| 青996青| 大香蕉AV在线| 天天天综合网| 天天操天天爱天天日| 青青草婷婷五月天| 色婷婷9| 色狠狠六月| enecarbon-materials.com污K127封锁请涟系@wip1688 | 99免费在线视频| 五月天六月丁香| 99久久婷婷五月| 99爱这里只有精品免费视频| 色色色色色色色色色999| 五月天婷婷操逼视频| 成人无码精品1区2区3区免费看 | 五月激激激情综合网| 丁香六月婷婷| www狠狠爱com| www.色婷婷| 久久怡红院| 欧美毛片www| 99riAV国产精品视频| 男人操女人高潮91视频| 国产 亚洲 在线| 色丁香五月婷婷在线| 五月开心婷婷网| 婷婷五月天久| 开心激情婷婷| 五月丁香亭亭操逼| 99爱精品视频| 六月婷婷无码| 九九99热久久精品66中文字幕| 成人国产欧美大片一区| 婷婷丁香熟妇综合网| 吉澤明步Av一區二區| 激情欧美婷五月| 日本三级日本三级三级人妇四虎| 国产精品成人网址| 婷婷成人五月天| 香蕉视频91| 五月婷婷激情综合网| 人人色AV| 五月婷俺去也| 久久婷婷久久| 九九综合五月欧美| 六月色丁香婷婷| 99精品久久| 日本色道视频网站| 九九干视频| 色丁香影院| 婷婷五月激情欧美大胆视频| 婷婷综合激情五月中文字幕| 六月婷婷激情图片| 午夜丁香综合婷婷| HD久久精品视频| 色九九中文字幕| 天堂成人A片永久免费网站| 亚洲综合色色| 丁香婷婷五月色成人网站| 人人干人人看| 天天综合影院| 性生活久久人妻| 伊人五月人妻精品| 五月丁香六月日逼| 樱花99视频| 婷婷六月激情小说网| 欧美人人草草| 99超级碰碰| 婷婷综合五月天| 九九热99热| 久草热视频在线观看| 视频色色色色色色| www.开心激情| 九九激情视频| 这里只有精品免费| 激情五月婷婷丁香| 蜘蛛女侠2003满天星免费观看| 俺也去在线视频| 99热国产这里只有精品| 天天操人人干| 黄色激情五月天| 色噜噜狠狠色综合日日| 丁香六月婷婷综合缴| 热久精品| 在线视频激情网站| 日本久久婷婷| 激情综合亚洲| 免费视频无码| 精品一区二区三区四区五区六区| 国产成人精品一区二三区熟女在线| 五月婷婷综合在线| 九九视频在线观看视频6| 精品香蕉99久久久久网站| 久久久天堂国产精品女人| 亚洲黄色操逼| 天天综合久久| 狠狠香蕉| 五月天快乐开心激情网| 五月丁香亭亭天天舔| 天堂草在线观看| 色婷婷六月| 999热在线视频| 免费AV播放| 五月天丁香婷婷网| 丁香五月 无码| 五月丁香六月成人| 激情五月第四色| 五月丁香亚洲综合网| 丁香五月婷久久| 婷婷五月激情图片| 99热综合| 热婷婷av| 色啪影院| 啪啪啪五月天| www夜夜操| 婷婷五月丁香基地| 麻豆AV一区二区三区| 超碰97色| 热99国产精品| 婷婷丁香五月天亚洲| 国产激情在线| 丁香婷婷久久 | 伊人在线大香蕉网| 91男同| 丁香五月天在线直播观看| 人人爱国产| 精品色色| 婷婷五月综合基地| 97色色色| 天天狠狠色| 夜夜 操无码| 99综合97| 91色久| 深爱激情网五月天| 夜夜夜夜夜操| 欧美A片在线视频免费观看| 综合久久综合久久| 欧美婷婷五月天综合| 91男同| 五月丁香亭亭A片| 思思热久久阴99| 99热6精品| 国产精品久久久久久久久久| 99热99| 美女激情婷婷| 色综合久久44| 久久综合五月情| 久久这里这里有精品免费视频| 色婷婷五月天视频网站| 九九在线视频| 婷婷五月综合久久中文字幕| 精久久色| 久久九九网| 五月丁香网站| 五月停停丁香| www.夜夜操| 久久丝袜婷婷| 国产成人+亚洲+欧洲| 色综合色色| 激情久久肏屄视频| 亚洲色在线观看| 精品一二三区久久AAA片| 九色自拍| 99热这里只有精彩| 大香伊人久色| 亚洲日本激情| 婷婷综合97| 94干大香蕉| 婷婷丁香综合成人| 亚洲五月婷| 97在线综合| www.色五月| 色天使久久综合| 久久五月天黄色五月天色网址| 99碰碰| 天天操加勒比| 日本色婷婷| 日美三级| 99热精品一| 免费视频WWW在线观看网站| 思思热天天看| 婷婷色影院| 97欧美在线| 五月天狠狠| 伊人影院久久网| 337午夜福利| 碰超亚洲| 99日本黄站| 九九狠狠干| 日本99在线| 色情五月天。| 开心婷婷中文字幕| 丁香激情五月少妇| 俺也去在线视频| 九一九九黄色| 亚洲99精品欧美一区| av免费在线观看0| 淫水导航| 色色色宗合网| 激情五月天伊人av| 91jiuseshunv| 欧洲亚洲精品| 综合五月丁香97| 五月丁香成人小说| 综合一区二区三区| 丁香五月综合激情啪啪| 51XX午夜影福利|