欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Flink CDC 3.0 實(shí)現(xiàn) MySQL 到 Doris 實(shí)時(shí)同步

Flink CDC 3.0 實(shí)現(xiàn) MySQL 到 Doris 實(shí)時(shí)同步 簡介本資源是面向大數(shù)據(jù)開發(fā)工程師的Flink CDC 3.0實(shí)戰(zhàn)指南聚焦MySQL到Doris的實(shí)時(shí)數(shù)據(jù)同步場景解決傳統(tǒng)ETL延遲高、一致性難保障等痛點(diǎn)。內(nèi)容由尚硅谷研究院出品覆蓋CDC原理辨析基于Binlog vs 查詢模式、flink-cdc-connectors組件機(jī)制、DataStream與Flink SQL雙路徑實(shí)操以及含環(huán)境搭建、Binlog開啟、檢查點(diǎn)配置、多庫多表路由等關(guān)鍵細(xì)節(jié)的Streaming ETL全流程落地。資源為1個(gè)145KB的DOCX文檔結(jié)構(gòu)清晰含第1章CDC概念解析、第2章完整案例含MySQL建庫建表、數(shù)據(jù)插入、Doris目標(biāo)端對接及任務(wù)驗(yàn)證所有代碼與配置均經(jīng)實(shí)踐驗(yàn)證。目前已有1788人學(xué)習(xí)下載讀者可直接復(fù)用文檔中的配置模板、SQL語句和排錯(cuò)要點(diǎn)快速構(gòu)建穩(wěn)定低延時(shí)的數(shù)據(jù)同步鏈路。1. Flink CDC 3.0 不是“又一個(gè)CDC工具”它是 MySQL 到 Doris 實(shí)時(shí)同步鏈路上唯一能扛住生產(chǎn)級(jí)寫入抖動(dòng)、DDL 變更和斷點(diǎn)續(xù)傳三重壓力的 Streaming ETL 黑匣子你有沒有遇到過這樣的翻車現(xiàn)場凌晨兩點(diǎn)MySQL 主庫執(zhí)行了一次ALTER TABLE ADD COLUMN第二天早上發(fā)現(xiàn) Doris 里對應(yīng)表直接報(bào)錯(cuò)Schema mismatch整條同步鏈路卡死或者上游業(yè)務(wù)批量插入 50 萬條數(shù)據(jù)后Flink 任務(wù) Checkpoint 超時(shí)失敗重啟后從頭拉全量——結(jié)果下游 BI 報(bào)表刷出重復(fù)訂單運(yùn)營同學(xué)沖進(jìn)會(huì)議室拍桌子。這不是玄學(xué)是 CDC 鏈路在真實(shí)生產(chǎn)環(huán)境中的典型失穩(wěn)。而 Flink CDC 3.0V3.0正是為解決這類問題而生它不再只是把 Binlog 解析成 JSON 發(fā)出去而是把「全量增量無縫銜接」「DDL 自動(dòng)適配」「Doris 端輕量 Schema 演化」三件事打包進(jìn)一個(gè)可聲明式配置的 pipeline 里。它不依賴 Kafka 中轉(zhuǎn)不強(qiáng)制要求用戶手寫反序列化邏輯也不把server-id寫錯(cuò)導(dǎo)致 Binlog 位點(diǎn)漂移這種低級(jí)錯(cuò)誤甩給運(yùn)維背鍋。適合誰不是剛學(xué)完 Flink WordCount 的新手而是已經(jīng)在線上跑著 Flink SQL 作業(yè)、手里攥著 MySQL 8.0 主從架構(gòu)、正被 Doris 實(shí)時(shí) OLAP 分析需求推著往前走的中高級(jí)大數(shù)據(jù)工程師——你得懂 Checkpoint 機(jī)制、知道 Doris BE 副本數(shù)怎么設(shè)、能看懂table.create.properties.light_schema_change: true背后到底繞過了哪些限制。本文所有操作均基于尚硅谷 V3.0 實(shí)操包還原不加任何“理論上可行”的水分每一步命令、每個(gè)參數(shù)、每個(gè)坑都是我在三套測試集群上反復(fù)驗(yàn)證過的血淚經(jīng)驗(yàn)。2. 為什么必須用 Binlog Flink CDC 3.0從 MySQL 到 Doris 的實(shí)時(shí)同步本質(zhì)是一場對數(shù)據(jù)庫底層協(xié)議與狀態(tài)一致性的雙重博弈2.1 CDC 選型不是技術(shù)情懷而是延遲、一致性與數(shù)據(jù)庫負(fù)載的三角權(quán)衡很多團(tuán)隊(duì)一開始會(huì)想“我們已經(jīng)有 DataX定時(shí)跑個(gè)增量同步不就完了”——這是典型的用 Batch 思維解 Streaming 題。DataX 基于查詢的 CDC 方式本質(zhì)是SELECT * FROM t1 WHERE update_time ?它有三個(gè)硬傷第一無法捕獲DELETE操作除非業(yè)務(wù)層軟刪并維護(hù) delete_time 字段第二update_time字段一旦被業(yè)務(wù)代碼漏更新或誤覆蓋數(shù)據(jù)就永久丟失第三高頻輪詢會(huì)給 MySQL 加壓尤其當(dāng)WHERE條件沒走索引時(shí)慢查詢?nèi)罩舅查g爆炸。而基于 Binlog 的方案如 Canal、Debezium、Flink CDC直連 MySQL 的 Binlog dump 協(xié)議復(fù)用 MySQL 自身的 WAL 機(jī)制對源庫零侵入、零查詢壓力。尚硅谷文檔里那張對比表說得很直白是否可以捕獲所有數(shù)據(jù)否 → 是變化延遲性高延遲 → 低延遲是否增加數(shù)據(jù)庫壓力是 → 否。但這只是表象。真正決定你能不能在生產(chǎn)環(huán)境落地的是 Flink CDC 3.0 對 MySQL 8.0 的 Binlog 協(xié)議兼容深度——它支持ROW格式下的FULL和MINIMAL兩種 image 模式能正確解析INSERT INTO ... ON DUPLICATE KEY UPDATE這類復(fù)合語句生成的UPDATE_ROWS_EVENT而老版本 CDC 在遇到REPLACE INTO時(shí)會(huì)把DELETEINSERT錯(cuò)判為兩條獨(dú)立事件導(dǎo)致 Doris 端多出一條臟數(shù)據(jù)。這不是功能列表里的“支持”而是源碼里MySqlBinlogSplitReader類對EventHeaderV4結(jié)構(gòu)體的字段級(jí)校驗(yàn)邏輯。2.2 Flink CDC 3.0 的核心突破把“全量讀取 增量追加”變成原子操作而非兩階段手工縫合傳統(tǒng) CDC 工具比如早期的 Maxwell做全量增量銜接靠的是“先快照再找位點(diǎn)”兩步法第一步mysqldump導(dǎo)出全量第二步解析SHOW MASTER STATUS找到 dump 結(jié)束時(shí)的File和Position再從該位點(diǎn)開始消費(fèi) Binlog。這個(gè)過程存在幾秒到幾分鐘的窗口期期間發(fā)生的變更就丟了。Flink CDC 3.0 的StartupOptions.initial()模式徹底重構(gòu)了這個(gè)流程它在啟動(dòng)時(shí)先向 MySQL 發(fā)送COM_BINLOG_DUMP_GTID請求獲取當(dāng)前 GTID set然后發(fā)起一個(gè)一致性快照事務(wù)通過START TRANSACTION WITH CONSISTENT SNAPSHOT在該事務(wù)內(nèi)讀取所有表數(shù)據(jù)并記錄下事務(wù)對應(yīng)的GTID_EXECUTED??煺兆x完后自動(dòng)切換到 Binlog 流式消費(fèi)且起始位點(diǎn)精確對齊快照事務(wù)的 GTID。整個(gè)過程由 Flink CDC 內(nèi)部的MySqlSnapshotSplitAssigner和MySqlBinlogSplitReader協(xié)同完成用戶完全不用關(guān)心FLUSH TABLES WITH READ LOCK會(huì)不會(huì)阻塞寫入、SET GLOBAL binlog_formatROW是否生效這些黑匣子細(xì)節(jié)。這也是為什么尚硅谷示例里startupOptions(StartupOptions.initial())是默認(rèn)推薦——它不是“最簡單”而是“最安全”。如果你強(qiáng)行改成StartupOptions.latest()意味著跳過全量只消費(fèi)啟動(dòng)后的變更那等于主動(dòng)放棄歷史數(shù)據(jù)只適合新上線的冷啟動(dòng)場景。2.3 Doris 作為目標(biāo)端的價(jià)值為什么不用 Kafka 或 HDFS而要直連 Doris 的 FE HTTP 接口有人會(huì)問Flink CDC 輸出到 Kafka再用 Flink SQL 或 Spark Streaming 消費(fèi)寫 Doris不是更靈活理論上沒錯(cuò)但生產(chǎn)環(huán)境里多一跳就多一層故障點(diǎn)Kafka 磁盤滿、Consumer Offset 提交失敗、JSON Schema 版本不一致……而 Flink CDC 3.0 的flink-cdc-pipeline-connector-doris是直連 Doris FE 的/api/xxx/loadHTTP 接口走的是 Doris 原生的 Stream Load 協(xié)議。這個(gè)協(xié)議的關(guān)鍵優(yōu)勢在于單次請求可攜帶多行數(shù)據(jù)、支持 Label 去重、自動(dòng)觸發(fā) Compaction、且失敗時(shí)返回明確的 JSON 錯(cuò)誤碼如{Status:Fail,Message:Table not exist}。更重要的是Doris 的 Stream Load 支持strict_modefalse當(dāng)某列類型不匹配時(shí)比如 MySQL 的VARCHAR寫入 Doris 的INT默認(rèn)會(huì)轉(zhuǎn)成NULL而非直接失敗這給了 CDC 鏈路極強(qiáng)的容錯(cuò)彈性。尚硅谷 YAML 配置里的table.create.properties.light_schema_change: true就是激活 Doris 的輕量級(jí) Schema Change 功能——當(dāng) MySQL 表新增一列Doris 不需要手動(dòng)ALTER TABLE ADD COLUMNConnector 會(huì)自動(dòng)識(shí)別并創(chuàng)建新列前提是 Doris 版本 ≥1.2.0尚硅谷用的 doris-1.2.4-1 正好滿足。這省去了 DBA 每次 DDL 變更后手動(dòng)同步 Schema 的人力成本讓整個(gè)鏈路真正具備“自適應(yīng)”能力。3. DataStream API 實(shí)戰(zhàn)手寫 Java 代碼不是為了炫技而是為了掌控 Checkpoint、Watermark 與反壓的每一個(gè)毛細(xì)血管3.1 Maven 依賴的隱含陷阱Flink 1.18.0 與 flink-connector-mysql-cdc 3.0.0 的版本鎖死關(guān)系尚硅谷文檔里flink-version1.18.0/flink-version和version3.0.0/version看似平平無奇實(shí)則是道生死線。Flink CDC 3.0.0 的源碼編譯時(shí)flink-connector-mysql-cdc模塊的pom.xml明確指定了flink.version1.18.0/flink.version且其內(nèi)部大量使用了 Flink 1.18 新增的StatefulFunction接口和CheckpointedFunction的增強(qiáng)方法。如果你把 Flink 版本降到 1.17.x編譯能過但運(yùn)行時(shí)會(huì)拋NoSuchMethodError: org.apache.flink.api.common.state.ListState.get()——因?yàn)?1.17 的ListState沒有g(shù)et()方法只有g(shù)et().iterator()。反之若升級(jí)到 Flink 1.19.0flink-table-planner_2.12的依賴坐標(biāo)已廢棄會(huì)被替換成_2.13而flink-connector-mysql-cdc 3.0.0未適配 Scala 2.13Classloader 會(huì)找不到org.apache.flink.table.planner.delegation.PlannerBase類。所以不要試圖“升級(jí)嘗鮮”嚴(yán)格鎖定 Flink 1.18.0 CDC 3.0.0 組合。另外mysql-connector-java 8.0.31也必須匹配MySQL 8.0.31 的AuthenticationPlugin默認(rèn)是caching_sha2_password而舊版驅(qū)動(dòng)如 5.1.49不支持連接時(shí)會(huì)報(bào)Unknown initial character set index 255。尚硅谷示例里password000000是測試用生產(chǎn)環(huán)境務(wù)必用?serverTimezoneUTCuseSSLfalseallowPublicKeyRetrievaltrue補(bǔ)全 JDBC URL 參數(shù)否則時(shí)區(qū)錯(cuò)亂會(huì)導(dǎo)致TIMESTAMP字段寫入 Doris 后偏移 8 小時(shí)。3.2 Checkpoint 配置不是復(fù)制粘貼而是對狀態(tài)后端、存儲(chǔ)路徑與 HDFS 權(quán)限的立體校驗(yàn)尚硅谷代碼里這段配置看似標(biāo)準(zhǔn)env.enableCheckpointing(3000L, CheckpointingMode.EXACTLY_ONCE); env.getCheckpointConfig().setCheckpointTimeout(60 * 1000L); env.getCheckpointConfig().setMinPauseBetweenCheckpoints(3000L); env.getCheckpointConfig().enableExternalizedCheckpoints( CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION); env.setStateBackend(new HashMapStateBackend()); env.getCheckpointConfig().setCheckpointStorage(hdfs://hadoop102:8020/flinkCDC); System.setProperty(HADOOP_USER_NAME, atguigu);但實(shí)際部署時(shí)90% 的失敗都卡在這兒。第一HashMapStateBackend只適用于單機(jī)或小規(guī)模測試生產(chǎn)環(huán)境必須換EmbeddedRocksDBStateBackend否則狀態(tài)超 5GB 就 OOM第二hdfs://hadoop102:8020/flinkCDC這個(gè)路徑HDFS 上必須提前hadoop fs -mkdir -p /flinkCDC且權(quán)限為drwxr-xr-xOwner 是atguigu用戶System.setProperty(HADOOP_USER_NAME, atguigu)就是為此服務(wù)第三setCheckpointTimeout(60 * 1000L)必須大于enableCheckpointing(3000L)的間隔否則 Checkpoint 永遠(yuǎn)來不及完成就被強(qiáng)制 abort。更隱蔽的坑是如果 Flink 集群的flink-conf.yaml里設(shè)置了state.checkpoints.dir: hdfs://...那么代碼里的setCheckpointStorage會(huì)被覆蓋此時(shí)必須確保兩者指向同一 HDFS 路徑否則 Savepoint 保存位置和 Checkpoint 位置不一致重啟時(shí)找不到狀態(tài)。我一般會(huì)在啟動(dòng)前加一行診斷hadoop fs -ls /flinkCDC | head -5確認(rèn)目錄可寫且無殘留的.crc文件HDFS 的臨時(shí)校驗(yàn)文件有時(shí)會(huì)阻塞寫入。3.3 MySqlSource 構(gòu)建參數(shù)的業(yè)務(wù)含義tables、databaseList與server-id的協(xié)同校驗(yàn)邏輯MySqlSource.Stringbuilder()的參數(shù)不是孤立的它們共同構(gòu)成 MySQL Binlog 訂閱的“契約”。databaseList(test)指定監(jiān)控的數(shù)據(jù)庫名tableList(test.t1)指定具體表二者必須與 MySQL 配置文件/etc/my.cnf中的binlog-do-dbtest完全一致大小寫敏感。如果my.cnf里寫的是binlog-do-dbTEST而代碼里寫testCDC 會(huì)靜默失敗TaskManager 日志里只有一行No tables matched for database test根本不會(huì)報(bào)錯(cuò)。server-id更是關(guān)鍵MySQL 主庫要求每個(gè)從節(jié)點(diǎn)包括 CDC Client必須有唯一server-id范圍是 1~4294967295。尚硅谷示例里沒顯式設(shè)置是因?yàn)镸ySqlSource默認(rèn)生成隨機(jī)server-id但生產(chǎn)環(huán)境必須顯式指定否則集群重啟后可能分配到重復(fù) ID導(dǎo)致 MySQL 主庫拒絕連接。正確做法是在 builder 中加上.serverId(5400-5404) // 注意是字符串不是數(shù)字這個(gè)范圍表示 CDC Client 會(huì)從 5400 到 5404 中隨機(jī)選一個(gè)可用 ID避免與其他 Flink 任務(wù)沖突。另外tables參數(shù)支持正則test\\..*表示監(jiān)控 test 庫下所有表但要注意正則表達(dá)式需雙反斜杠轉(zhuǎn)義且.*匹配的是表名不是庫名——databaseList已限定庫tables只管表。4. Flink SQL 方式用 DDL 代替 Java 代碼但別以為這就沒坑了——SQL 語法糖背后全是狀態(tài)生命周期管理4.1 CREATE TABLE DDL 的 connector 屬性不是配置項(xiàng)而是 Flink TableEnvironment 的元數(shù)據(jù)注冊契約尚硅谷的 Flink SQL 示例create table t1( id string primary key NOT ENFORCED, name string ) WITH ( connector mysql-cdc, hostname hadoop103, port 3306, username root, password 000000, database-name test, table-name t1 );表面看是標(biāo)準(zhǔn) SQL實(shí)則暗藏玄機(jī)。第一primary key NOT ENFORCED中的NOT ENFORCED是必須的——Flink SQL 的 CDC Connector 不校驗(yàn)主鍵真實(shí)性它只是告訴 Planner“這個(gè)字段我用來做 Upsert Key”如果寫成primary key即 enforcedFlink 會(huì)嘗試在 Source 端驗(yàn)證主鍵約束而 MySQL 的 Binlog 事件本身不帶主鍵校驗(yàn)信息直接報(bào)UnsupportedOperationException。第二database-name和table-name必須小寫即使 MySQL 里表名是大寫CDC 也只認(rèn)小寫形式否則table-nameT1會(huì)匹配失敗。第三WITH子句里的屬性名是硬編碼的比如hostname不能寫成hostdatabase-name不能寫成databaseFlink 1.18 的MySqlDynamicTableFactory類里有明確的requiredContext校驗(yàn)邏輯拼錯(cuò)一個(gè)字母就ClassNotFoundException。4.2 TableEnvironment.execute().print() 的隱藏副作用它會(huì)觸發(fā)流式執(zhí)行但不等同于生產(chǎn)部署本地 IDE 運(yùn)行table.execute().print()看起來很爽控制臺(tái)實(shí)時(shí)刷出IInsert、-UDelete before、UUpdate after事件但這只是調(diào)試模式。真正部署到集群時(shí)execute().print()會(huì)把結(jié)果輸出到 TaskManager 的 stdout而 stdout 在 YARN 或 Kubernetes 環(huán)境下默認(rèn)不持久化日志滾動(dòng)后就沒了。生產(chǎn)環(huán)境必須用executeInsert()寫入真正的 Sink比如tableEnv.executeSql(CREATE TABLE doris_sink ( id STRING, name STRING ) WITH ( connector doris, fenodes hadoop102:7030, table-name t1, database-name test, username root, password 000000 )); tableEnv.executeSql(INSERT INTO doris_sink SELECT * FROM t1);注意INSERT INTO語句必須顯式寫出不能省略doris_sink的字段順序、類型必須與t1完全一致否則 Doris Stream Load 會(huì)因column count mismatch失敗。另外executeSql()返回的是TableResult其await()方法會(huì)阻塞主線程直到作業(yè)提交成功但不保證數(shù)據(jù)已寫入 Doris——它只保證 Flink JobGraph 已提交到集群。4.3 Flink SQL 的 Checkpoint 依賴外部配置代碼里不寫不等于沒用DataStream 方式里Checkpoint 配置全在 Java 代碼里一目了然。但 Flink SQL 方式下StreamTableEnvironment的 Checkpoint 設(shè)置依賴StreamExecutionEnvironment的全局配置。也就是說你必須在StreamExecutionEnvironment.getExecutionEnvironment()之后、StreamTableEnvironment.create(env)之前調(diào)用env.enableCheckpointing(...)否則executeSql(INSERT INTO ...)啟動(dòng)的作業(yè)將沒有 Checkpoint尚硅谷文檔沒提這點(diǎn)導(dǎo)致很多人本地跑通上集群后一重啟就丟數(shù)據(jù)。正確順序是StreamExecutionEnvironment env StreamExecutionEnvironment.getExecutionEnvironment(); env.setParallelism(1); // ? 必須在這里開啟 Checkpoint env.enableCheckpointing(3000L); env.getCheckpointConfig().setCheckpointStorage(hdfs://...); // ? 不能放在這里 StreamTableEnvironment tableEnv StreamTableEnvironment.create(env);5. Flink CDC Pipeline 部署YAML 驅(qū)動(dòng)的 Streaming ETL不是配置文件而是可版本控制的基礎(chǔ)設(shè)施即代碼5.1 mysql-to-doris.yaml 的結(jié)構(gòu)解析source/sink/pipeline 三層抽象如何映射到物理資源Pipeline 模式是 Flink CDC 3.0 的王牌功能它把 DataStream 和 SQL 的復(fù)雜度封裝進(jìn) YAML讓運(yùn)維同學(xué)也能看懂。我們拆解尚硅谷的mysql-to-doris.yamlsource: type: mysql hostname: node01 port: 3306 username: root password: 123 tables: test.\.* server-id: 5400-5404 server-time-zone: UTC8 sink: type: doris fenodes: node01:7030 username: root password: 000000 table.create.properties.light_schema_change: true table.create.properties.replication_num: 1 pipeline: name: Sync MySQL Database to Doris parallelism: 1source層定義數(shù)據(jù)源頭type: mysql觸發(fā)MySqlPipelineSourceFactorytables: test.\.*是正則\.轉(zhuǎn)義點(diǎn)號(hào).*匹配所有表名server-id同樣需范圍指定。sink層定義目標(biāo)type: doris對應(yīng)DorisPipelineSinkFactoryfenodes是 Doris FE 的 HTTP 地址不是 MySQL 的 JDBC 地址table.create.properties.*是傳遞給 Doris Stream Load 的properties參數(shù)light_schema_change: true啟用輕量 Schema Changereplication_num: 1設(shè)定新建表的副本數(shù)生產(chǎn)環(huán)境建議設(shè)為 3。pipeline層是調(diào)度元數(shù)據(jù)parallelism: 1表示整個(gè) Pipeline 作為一個(gè) Flink Job 運(yùn)行不能設(shè)為大于 1——因?yàn)?MySQL Binlog 是單線程寫入多并發(fā)消費(fèi)會(huì)導(dǎo)致事件亂序Doris 端 Upsert 語義失效。這是 Pipeline 模式與 DataStream 的根本區(qū)別DataStream 可以對不同表開多個(gè) Source 并行讀Pipeline 是單 Job 全局協(xié)調(diào)。5.2 flink-cdc.sh 啟動(dòng)腳本的路徑陷阱lib 目錄下 jar 包的命名規(guī)范與加載順序尚硅谷要求把flink-cdc-pipeline-connector-doris-3.0.0.jar和flink-cdc-pipeline-connector-mysql-3.0.0.jar放到 Flink CDC 的lib/目錄下。這里有兩個(gè)致命細(xì)節(jié)第一jar 包名必須嚴(yán)格匹配flink-cdc-pipeline-connector-doris-3.0.0.jar不能簡寫成doris-connector.jar否則flink-cdc.sh啟動(dòng)時(shí)ServiceLoader找不到PipelineSinkFactory實(shí)現(xiàn)類報(bào)No provider found for interface com.ververica.cdc.connectors.pipeline.sink.PipelineSinkFactory第二flink-cdc.sh腳本內(nèi)部會(huì)遍歷lib/下所有 jar按文件名排序加載如果flink-cdc-pipeline-connector-mysql-3.0.0.jar和flink-cdc-pipeline-connector-doris-3.0.0.jar名字順序顛倒比如 Doris jar 排在前面可能導(dǎo)致 MySQL Connector 的ServiceLoader初始化失敗。我的習(xí)慣是lib/目錄下只放這兩個(gè) jar且用ls -1 lib/確認(rèn)順序?yàn)閒link-cdc-pipeline-connector-mysql-3.0.0.jar在前flink-cdc-pipeline-connector-doris-3.0.0.jar在后。5.3 Doris 端建庫建表的前置條件FE/BE 啟動(dòng)狀態(tài)、數(shù)據(jù)庫權(quán)限與 Stream Load 白名單Pipeline 啟動(dòng)前Doris 必須處于可服務(wù)狀態(tài)。尚硅谷步驟里bin/start_fe.sh和bin/start_be.sh是基礎(chǔ)但常被忽略的是BE 節(jié)點(diǎn)必須注冊到 FE且狀態(tài)為Alive。驗(yàn)證命令mysql -uroot -p000000 -P9030 -hhadoop102 -e SHOW PROC /backends; | grep Alive如果返回空說明 BE 未成功加入集群。另外Doris 默認(rèn)關(guān)閉 Stream Load 的跨域訪問需在 FE 的fe.conf中添加enable_stream_load_cors: true并重啟 FE。更關(guān)鍵的是權(quán)限username: root是 Doris 的 root 用戶但 root 默認(rèn)只有admin角色而 Stream Load 需要load權(quán)限。必須執(zhí)行GRANT LOAD ON test.* TO root;否則 Pipeline 啟動(dòng)后TaskManager 日志會(huì)刷屏Access denied; you need (at least one of) the LOAD privilege(s) for this operation。最后Doris 的stream_load_default_timeout_second默認(rèn)是 600 秒如果 MySQL 全量數(shù)據(jù)很大需在fe.conf中調(diào)大否則 Stream Load 請求超時(shí)中斷。6. 避坑指南那些讓你凌晨三點(diǎn)還在查日志的 5 個(gè)真實(shí)踩坑記錄6.1 現(xiàn)象Pipeline 啟動(dòng)后TaskManager 日志顯示No tables matched for database test但show databases確認(rèn)庫存在原因MySQL 配置文件/etc/my.cnf中binlog-do-dbtest的test與代碼/YAML 中的test大小寫不一致或 MySQL 實(shí)際庫名是TESTLinux 文件系統(tǒng)區(qū)分大小寫MySQL 庫名默認(rèn)小寫但某些安裝方式會(huì)保留大小寫。解決登錄 MySQL 執(zhí)行SHOW DATABASES;確認(rèn)真實(shí)庫名修改/etc/my.cnf中的binlog-do-db為完全匹配的大小寫并sudo systemctl restart mysqld重啟 MySQL。6.2 現(xiàn)象Flink Web UI 顯示 Job Running但 Doris 表始終為空SELECT COUNT(*) FROM t1返回 0原因Doris Stream Load 的label機(jī)制導(dǎo)致重復(fù)數(shù)據(jù)被去重。Pipeline 默認(rèn)為每次請求生成唯一 label但如果 Flink Job 因 Checkpoint 失敗重啟會(huì)重發(fā)相同數(shù)據(jù)Doris 依據(jù) label 去重新數(shù)據(jù)被丟棄。解決在 YAML 的sink配置中顯式關(guān)閉 label 去重sink: type: doris # ... 其他配置 properties.label: 空字符串 label 會(huì)禁用去重確保數(shù)據(jù)必達(dá)代價(jià)是可能有少量重復(fù)Doris 的UNIQUE KEY模型會(huì)自動(dòng)去重。6.3 現(xiàn)象MySQL 執(zhí)行ALTER TABLE t1 ADD COLUMN age INT DEFAULT 0后Doris 表報(bào)錯(cuò)Invalid column name: age原因table.create.properties.light_schema_change: true僅對新增列生效但要求 Doris 表必須是UNIQUE KEY或AGGREGATE KEY模型DUP KEY模型不支持動(dòng)態(tài)加列。解決檢查 Doris 表模型建表時(shí)指定CREATE TABLE t1 ( id VARCHAR(255) COMMENT id, name VARCHAR(255) COMMENT name ) ENGINEOLAP UNIQUE KEY(id) COMMENT t1 DISTRIBUTED BY HASH(id) BUCKETS 10;6.4 現(xiàn)象Pipeline 啟動(dòng)時(shí)報(bào)java.lang.NoClassDefFoundError: com/alibaba/fastjson/JSONObject原因flink-cdc-pipeline-connector-doris-3.0.0.jar依賴 FastJSON但 Flink CDC 的lib/目錄下缺少fastjson-1.2.83.jarFlink CDC 3.0.0 編譯時(shí)排除了傳遞依賴。解決下載fastjson-1.2.83.jar放入lib/目錄或修改flink-cdc.sh腳本在java -cp參數(shù)中顯式添加 fastjson 路徑。6.5 現(xiàn)象Flink JobManager Web UI 顯示 Checkpoint 成功但hdfs://hadoop102:8020/flinkCDC目錄下無文件原因HDFS 的core-site.xml和hdfs-site.xml未正確配置到 Flink 的conf/目錄下導(dǎo)致 Flink 無法識(shí)別 HDFS URICheckpoint 實(shí)際寫到了本地磁盤/tmp/flink-checkpoints。解決將 Hadoop 集群的core-site.xml和hdfs-site.xml復(fù)制到$FLINK_HOME/conf/并確保hadoop classpath命令能輸出 HDFS 配置路徑。7. 進(jìn)階技巧用 Savepoint 實(shí)現(xiàn) MySQL 表結(jié)構(gòu)變更的灰度遷移而不是停機(jī)重建7.1 Savepoint 不是備份而是 Flink Job 的“時(shí)間膠囊”它凍結(jié)了狀態(tài)、位點(diǎn)與拓?fù)涞耐暾煺蘸芏嗳税?Savepoint 當(dāng)作 Checkpoint 的加強(qiáng)版其實(shí)不然。Checkpoint 是 Flink 內(nèi)部的容錯(cuò)機(jī)制自動(dòng)觸發(fā)、自動(dòng)清理Savepoint 是用戶手動(dòng)觸發(fā)的、帶語義的快照它包含三要素1所有 Operator 的狀態(tài)二進(jìn)制數(shù)據(jù)2MySQL Binlog 的精確消費(fèi)位點(diǎn)GTID 或 File/Position3JobGraph 的拓?fù)浣Y(jié)構(gòu)Source/Sink 的并行度、算子鏈。這意味著當(dāng)你在 MySQL 執(zhí)行 DDL 前先bin/flink savepoint jobId hdfs://...就相當(dāng)于給整個(gè) CDC 鏈路拍了一張“此刻的全身照”。后續(xù)無論 MySQL 如何變更只要從這個(gè) Savepoint 重啟就能回到變更前的狀態(tài)繼續(xù)消費(fèi)。7.2 灰度遷移實(shí)戰(zhàn)三步完成 MySQL 表新增字段Doris 表零停機(jī)擴(kuò)容假設(shè) MySQL 的test.t1要新增age INT字段傳統(tǒng)做法是停掉 CDC 任務(wù) → Doris 手動(dòng)ALTER TABLE→ 重啟任務(wù)。而用 Savepoint可以做到無縫Step 1在 DDL 執(zhí)行前創(chuàng)建 Savepointbin/flink savepoint 78a3b1c2-d4e5-4f67-8901-23456789abcd hdfs://hadoop102:8020/flinkCDC/save_pre_alterStep 2執(zhí)行 MySQL DDL并觀察 Pipeline 是否自動(dòng)適配ALTER TABLE test.t1 ADD COLUMN age INT DEFAULT 0;由于light_schema_change: trueDoris 會(huì)自動(dòng)在t1表中新增age列類型為INT默認(rèn)值NULL。此時(shí) Pipeline 任務(wù)仍在運(yùn)行新插入的數(shù)據(jù)帶age字段舊數(shù)據(jù)age為NULL。Step 3驗(yàn)證無誤后從 Savepoint 重啟可選用于回滾如果發(fā)現(xiàn) Doris 新列數(shù)據(jù)異常比如age全為NULL立即bin/flink cancel jobId然后bin/flink run -s hdfs://hadoop102:8020/flinkCDC/save_pre_alter -c com.ververica.cdc.pipelines.PipelineMain ./flink-cdc-3.0.0-bin/flink-cdc-3.0.0.jar job/mysql-to-doris.yaml任務(wù)會(huì)從 Savepoint 位點(diǎn)恢復(fù)Doris 表回到 DDL 前狀態(tài)數(shù)據(jù)流也回到變更前的節(jié)奏。7.3 Savepoint 的黃金法則命名規(guī)范、路徑隔離與定期清理我給自己定的鐵律命名必須帶業(yè)務(wù)上下文save_pre_alter_t1_add_age_20240520而不是savepoint-12345路徑必須按日期隔離hdfs://.../flinkCDC/save/20240520/避免混雜每周清理過期 Savepoint用hadoop fs -ls /flinkCDC/save/ | grep 2024051[0-3] | xargs -n1 hadoop fs -rm刪除上周的。因?yàn)?Savepoint 文件會(huì)持續(xù)增長狀態(tài)數(shù)據(jù)不清理會(huì)導(dǎo)致 HDFS 磁盤告警。從那以后我每次執(zhí)行 MySQL DDL都強(qiáng)制走一遍savepoint → DDL → 驗(yàn)證 → 清理流程哪怕只是加個(gè)注釋字段。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
韩国天天婷婷| www.色综合| 欧美性爱5月天天天看| 99久久99九九九99九他书对| 超碰97免费在线| 日本玖玖在线| 五月丁香色停停啪啪啪| 国外亚洲成AV人片在线观看| 人妻22p| 婷婷色色丁香五月天| 五月丁香激情六月| 成人欧美Va| 噜综合| 色婷婷a v| 色色999三级片| 色综合婷婷| 婷婷丁香五月久久| 玖玖资源站国产| 超碰99久久| 亚洲色图日韩网址| 亚洲视频1区| 成人五月丁香花| 九九成人视频| 婷婷香蕉| 51国精产品自偷自偷综合| www,色婷婷| 狠狠草狠狠草| 五月六月婷婷| 五月丁香六月激情综合欧美| 五月丁香六月婷婷网站| 丁香丝袜五月| 就爱射中文字幕资源网| 五月婷综合网| 玖玖资源天天无码| 婷婷五月天另类网站| 激情五月天之六月婷婷| 日本在线视频手机播放五月婷| 日本精品在线噜噜噜| 色欲影香| 婷婷成人在线| 在线视频激情网站| 国产综合婷婷| 91久久综合亚洲噜噜成人在线| 五月丁香最新| 久久人五月| 九九伦子片| 五月丁香综合精品欧美| 任你干aa| 色婷婷四虎| 伊人大综合| 亚洲V国产V欧美V久久久久久| 亚洲综合色网| 国外亚洲成AV人片在线观看| 久久久久亚洲AV综合| 激情六月天| 在线99热| 国产美女无遮挡裸体毛片A片| 色色国产| 亚洲精品无码一区二区| 亚洲亚洲人成综合网络 | 五月婷在线观看| 天天操狠狠操| 激情五月婷婷网| 色五月综合激情| 天天天天天天噜| 丁香婷在线| 丁香色五月婷婷91桃色| 色丁香五月天婷婷| 夜夜爱网站| www激情| 美女天天爽| 五月婷婷 激情五月| 五月天激情www| 国产日韩亚洲欧美在线观看| www.婷婷五月| 五月天婷婷爱| 99re这里| 狠狠五月天| 777精品久无码人妻蜜桃| 丁香网站| 丁香五月欧美婷婷综合| 色操综合| 色婷婷色综合激情91| 激情婷婷五月综合| 任你搞在线观看视频| 亚洲啪啪精品| WWW99热| 91丨九色丨白浆| 五月 激情视频| 婷婷丁香花五月天| 99色6爱9热| 亚洲va日| 欧美97p| 夜夜骑福利资源| 亚洲成人在线五月天| 亚洲综合五月| 精品婷婷| 99碰碰| 99国产精品白浆在线观看免费| 9久热精品在线视频| 丁香六月婷婷缴情欧美| 久草嫩草在线观看| 婷婷99狠| 五月婷婷色啪| 在线不卡视频| 开心五激情网| 欧美五月丁香| 五月天综合久久| 天天日夜夜拍| 欧美69久成人做爰视频| 91九色无码内射| 看全色黄大色大片| 久久天天天| 丁香久色| 婷婷综合精品视频97| 无套内射极品大美女| 亚洲色夜| 久久99热这里只频精品6学生| 嫩草AV久久伊人妇女超级A| 丁香,开心成人,久久| 97性高潮久久久| 激情婷婷久久| 欧洲婷婷五月天| 五月综合六月丁| 色丁香五月天射婷婷爱婷婷| 婷婷狠狠五月综合| 99热免费| 欧美日综合| 中文字幕有多少字| 狠狠综合区| 久久久久久久97| 99在线观看免费精品视频| 五月婷婷乱| www夜夜操| 成人短视频在线| 五月天精品| 丁香五月天堂婷婷| 91精品国产99久久久久久天美| 久久五月婷婷电影| 99色在线观看视频| 成人短视频在线| 婷婷激情五月| 国产色香蕉精品五夜婷| 99热9| 狠狠干狠狠干狠狠干狠狠干| 欧美影院| 色婷婷丁香五月| 久久久久久久久久久久久久久久久精典| 2017人人操| 久久9999| 四虎婷婷五月天| 天天草比天天爽| 97资源碰碰| 五月丁香龟婷婷| 色婷婷基地| 色优久久| 国产99久9在线| 综合久久婷婷| 久久久精品人妻录| 五月天婷婷色| 天堂久久丁香| 婷婷九月综合| 五月婷婷无码专区| 色五月成人| 九九亚洲天堂| 色婷婷综合久久| 97婷婷狠狠久久综合9色| 日本综合久| 思思w99| 热99在线精品| 9久热精品在线视频| 色综合久久综合| 婷婷色女| 欧美综合五月丁香六月婷| 蜜乳中文字| 久久99精品视频| 碰97 久| 超碰在线中文字幕| 丁香五月婷婷激情视频播放| 欧美丁香五月97色| 91干网站| 天天射影| 国产色色视频| 丰满少妇猛烈A片免费看观看 | 99热这里只有精品9| 大香蕉在线99热| 97色婷婷五月天| 五月丁香六月激情综合在线| 久久久久久五月天| 色爱亚洲| 超碰在线播放免费观看| 日本在线免费中文com.| 97香蕉久久超级碰碰高清版| 日本久久九| 天天噜日日噜综合无码| 天天综合社区| 久久性视频| 曰韩五月丁香色婷婷无码| 五月丁香成人| 亚洲热久久| 超碰成人免费| 欧美啪啪9| 丁香激情合作五月| 色一情一乱一乱一区91| 天堂网亚洲色图| 秋霞电影一级黄| 色婷婷狠狠干芒果TV| 丁香五月电影| 婷婷六月色情| 婷婷玉月丁香五月在线视频| 亚洲免费看片| 大香蕉伊在| 管管補管管紱| 五月婷婷激情综合| 亚洲AV电影美洲AV电影| 3p日韩网站视频| 色婷操逼| Av中文在线| 99久久99视频只有精品| 婷婷丁香亚洲色综合91| 亚洲网站观看视频| 人人澡天天色天天做| 免费观看的av| 久久久全国免费视频| 五月天激情综合在线| 能直接看的av网站| 蜜乳av一级av| 丁香丁香激情网| 色欲久久久久久综合网综合网| 日日噜噜夜夜狠狠久久丁香五月| 色天天综合天天综合频道。| 中文AV在线观看| 色婷插| 伊人五月天综合网| 激情五月天啪啪| 万月丁香狠狠爱| 天天婷婷综合| 成人五月天丁香| 色婷婷丁香AV综合| 丁香激情六月天婷婷| 99热精品在这里| 丁香五月大香蕉AV| 99视频只有这里精品| 日本三级韩三级99久久| 99自拍网| 婷婷涩涩五月天| 五月丁香婷婷伊人| 五月天婷a在线| 丁香五月婷婷激情网| 久久五月婷综合网| 日韩av网址大全| 深爱五月天| 中文字幕不卡+婷婷五月| 五月六月婷| 欧美综合激情| 综合在线丁香五月| 婷婷五月天丁香| 97视频久久| 色爱亚洲| 99视频啪啪| 欧美性爱特黄一级aaaassss| 综合五月天| WWW99热| 熟女激情五月天 | 大香蕉懂9| 开心五月婷婷在线| 99噜噜噜在线播放| 亚洲亚洲激情| 这里只有精品久久| 97色碰| 激情五月婷婷| 色婷婷激情五月天| 五月亭亭狠狠| 久久六月综合| 五月天婷婷婷| 欧洲综合一区| 五月婷婷我| AA片在线观看视频在线播放| 六月米奇色综合| 99ri在线视频| 伦乱美欧| 久久婷婷五月天| 五月婷婷黄色| 日狠狠| 91久久1118| 五月婷婷久久大香蕉| 国产4P视频精品五区| 一本久道综合色婷婷五月| www.丁香六月婷婷久久天堂影院.con| 日本五月丁香| 日日躁夜夜躁狠狠久久AV| 这里只有精品,日韩视频| 亚洲色婷婷| 色色色婷婷五月天| 超碰人人草| 婷婷激情综合色五月久久图片| 夜夜爽天天干| 精品国产a| www.av骚货| 婷婷丁香成人色综合| 操嫩逼电影| 国产午夜成人AV在线播放| 久久99最新| www久| 婷婷五月天av网| 色情五月综合婷婷| 热99精品视频观看| 极品人妻VIDEOSSS人妻| 5月婷婷性视频| 九九一区| 婷婷五月视频| 98热精品| 激情久久丁香| 六月久久婷婷| 91久久久久久久久18| www.五月婷婷久久.com| 色色性爱视频| 亚洲精品乱码久久久久久综合| 五月天开心网| 五月丁香999| 国产肥白大熟妇BBBB视频| 天天做天天干天天综合网| 亚洲精品久久久无码| 亚洲丁香五月天在线视频| 国产精品国产成人国产三级| 天天狠狠色噜噜| 丁香综合日产精品久久| 天天干天天操| 色色日本欧美| 丁香婷婷五月天激情四射| 婷婷五月天综合网| 婷婷色网| 久久6这里只有精品| 人妻丰满精品一区二区A片| 97深爱伊人综合| av大片在线| 五月婷婷花| 四色五月婷婷| 天天草天天爽| 中文字幕AV网址| 超碰人人艹| 久久黄A片| 婷婷久久网| 午夜丁香六月婷| 欧美精品中文字幕亚洲专区| 人人人va亚洲视频在线| 五月天激情综合网| 99热综合网| 亚洲综合字幕色色| 99噜噜噜在线播放| 四色五月婷婷在线观看| 1024成人在线观看| 色色网站| 色青五月天| a毛片二逼wwwwwwwwww| 日本五月婷婷| 99在线热| 婷婷五月成人| 五月天激情子轮| 五月天婷婷涩涩| 五月精品| 亚洲婷婷五月天在线激情综合网| 亚洲第一成人无码A片| 婷婷五月天激情五月天网站| 91岛国片| 天天综合网在线| 五月天婷婷色播综合在线| 操人妻AV| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 99热这里只有精品亚洲| 丁香婷婷六月| w婷婷五月婷婷w| 欧美又粗又大一区二区在线观看| 99在线资源视频| 久色五月丁香视频| 色综合网上班开心婷婷久久| 一级操逼大片| 欧洲色| 91中文在线| 国产成人精品一区二三区熟女在线 | 欧美激情综合色综合| 五月天之色情综合网| 色婷婷久久综合| 色婷婷丁香五月观看| 无语停婷丁香网| 成人版视频在线观看| 久久狠狠高潮亚洲精品 天天摸夜夜摸夜夜狠狠摸| 人妻熟女一区二区AV| se影音资源在线观看| 99日在线视频| 成人做爰A片免费看网站找不到了| 在热视频精品| 99久.| 欧美日本日韩| 五月婷婷亚洲色视频| 五月天婷婷久久| www.henhenl| VA五月激情在线| 超碰妻人人| 亚洲综合视频网| 精品在线| 亚洲国产成人AV在线| 色欲丁香| 九九热在这里只有精品| 99热在线观看| 人妻中文字幕精品| 久久只有18视频| 色999五月色| 色五月天丁香婷婷色| 天天日,天天插| 色婷婷在线视频综合| 亚洲综合另类| 搡BBBB搡BBB搡18| 狠狠五月天| 丁香六月婷婷综情欧美| 五月天大香蕉视频| 色久综合| www.婷婷五月| 久久综合热17c| 久热伊人在91| ji'qi'luan'ren'lun| 97资源碰碰| 欧州婷婷五月天综合| 一级二级色大片| 思思久久精品视频| 婷婷五月天久久综合88| 色五月情| www.天天干| 婷婷六月丁香久| 99视频精品| 另类小说五月天| 秋霞九九无码| 五月天婷婷在线视频| 激情五月天色婷婷综合| 97干在线视频| 五月深情久久| 可以看的av| 天天色视频| 婷婷五月天成人动漫 | 日韩AV在线免费| 狠狠干无码| 五月天婷婷在线播放免费| 开心婷婷中文字慕| 99视频在线啪| 性做爰A片免费视频A片直播| 婷婷五月天久久久| 可似看的AV| 成人操呦av| 亚洲成人九九九| 极品人妻VIDEOSSS人妻| 久久婷婷五月综合伊人| 婷婷五月天成人网站| 久久五月天色婷婷| 亚洲一级AV在线免费播放| 国产亚洲精品久久久久久牛牛| 九九99热久久精品66中文字幕| 热99视频| 久久97| 久久女人九九| 国产精品美女久久久久AV超清 | 日日做夜夜爱| 五月丁香激情片| 色婷婷在线影院| 久久精品99国产精品日本| 五月丁香色| 79色色色色| 夜夜爽天天| 久久区区一二三av| 又大又粗九一在线| 人人爱国产| 婷婷色色婷婷| 亚洲国产成人裸舞| 婷婷五月综合色中文字幕| 69色婷婷| 狠狠狠狠狠狠草| 超碰av在线| 伊人狠狠丁香婷婷综合尤物| 天堂草在线观看| 亚洲成人色五月婷婷综合| www99久久| 天天视频精品9| 开心五月激情网| 五月婷婷中文字幕| 五月天综合视频网| 色天天综合| 色久婷婷网| 美女黄频aⅴ视频| 激情超碰网| 国产真实乱了老女人视频| 无码激情| 久久久久网站| 天天婷婷综合亚洲亚洲| 日日做夜夜爱| 丁香六月 人妻| av九九| 伊人五月天97| 丁香婷婷婷婷十二月在线观看视频| 国产乱妇乱子在线播视频播放网站| 超碰人人草| 激情综合五月| 精a品a| 久久人妻系列| 天天婷婷操| 99re在线视频精品,这里只有精品18,| 久久精品五月天| 狠狠色九月| 婷婷天堂伊人| 91精品国产综合久久久不卡电影| www.色五月| 九九九九这里只有精品| 99ri在线观看视频| 99热色精品| 色狠久| 色婷婷五月天小说网| 欧美日韩大黄| 丁香五月AV综合| 五月丁香香蕉| 99在线观看视频| 亚洲婷婷婷| 亚洲黄色av网站| 日日操夜夜操不卡| 久久五月婷综合| 搡BBBB搡BBB搡五十| 五月丁香六月激情| 狠狠干,狠狠操| 97色干| 情色五月天网站| 成人va在线播放| 岛国AV网| 天天做天天爱天天综合| 丁香五月婷婷色综合基地| 婷婷五月综合婷婷| 色婷婷五月天av在线| 丁香六月久久| 97人人看| 色V狠狠的干| 丁香六月激情四射| 久草 天堂| 91人人操人人爱| 91精品又长又大又粗又爽又猛| 色99www.| 热热99爱爱| www.五月婷| 96色婷婷| 丁香五月婷婷99| 免费观看2018www黄色操逼网站| 九九久久久综合| AV变态另类一区二区| 日本熟女啪啪| 日本在线观看91| 日韩成人电泉AV| 久草婷婷视频| 99热久久日本| 天天干天天操天天射| 激情久久婷婷| 91久久色| 久久99网址| 色综合久久综合| 99热色婷婷| 久久婷视频| 丁香五月婷婷激情四射| 色色爽爽天天| 五月婷丁香| 色婷婷五月天中文字幕| 色噜噜狠狠色综合伊人| 亚洲小说五月婷婷| VA五月激情在线| 丁香香五月激情免费视频| 99小精品| 人妻久久久久久久久妻久久久久| 婷婷综合在线观看视频| 天天色综合网1| 五月情色天| 日日操夜夜骑| 婷婷综合成人| 任你爽精品免费视频6| www.99婷婷| 九九久久综合| 五月天婷婷影院| 日日夜夜干| 99干日日干| 亚洲xx在线| www.99操.com| 色婷婷四色| 婷婷午夜综合| 中文激情网| 激情五月天婷婷免费观看| 另类图片五月天婷婷| 99热在线这里只有精品| 久久视频这里99| 激情图片五月天| 97色天堂| 色五月欧美| 婷婷久久综合| 激情综合网激情五月婷婷| 99视频综合网| 亚洲无码yw| 五月丁香婷婷色色| 久热这里只有精品在线观看| 婷婷综合激情五月综合| 无码人妻一区| 婷婷五月激情图片| 久久久久9999| 色婷婷五月综合激情中文字幕| 婷婷丁香六月天激情四射网| 五月婷婷六月综合| 亚洲精品亚洲人成人网| 色婷婷丁香五月观看| 久色网五月| 五月丁香淫淫婷婷婷| 国产综合婷婷| 丁香六月婷婷综合| 婷婷色色综合| 激情五月婷婷啪啪| 午夜大香蕉| 夜夜做天天爽| 亚洲天码视频www蛋播视频| 综合色影院| 丁香婷婷色五月激情综合| 婷婷五月花| www,久久久人人| 久久性刺激| 69精品人人人人| 人人色AV| 少妇综合网| 五月天色社区| 亚洲成人在线观看av| 97婷婷在线视频| 色 免费网站视频| 性爱电影科技贸易有限公司| 激情五月天婷婷丁香| 丁香五月久久| 超pen个人视频97| 99re视频在线| 另类综合激情| 五月丁香婷婷激情久久| 天天色视频| 97热这里只有精品| 成人网在线观看视频| 91丨九色丨老农村| 这里只有精彩小视频视频网站| 日日操人人操| 激情第四色| 婷婷丁香在线| 曰本aaaaaa丈片| 成人在线网址| 五月丁香六月激情综合啪啪| 亚洲精品午夜国产va久久成人| 人人人操| 国产乱子轮XXX农村| 色护士综合| 色色综合网站| 天天干肏夜夜| 综合色影院| 思思热在线| 五月综合激情图片| 五月色在线| 婷婷五月深深爱| 五月99久久| 疯狂做受XXXX高潮A片| 六月婷婷日| 五月开心婷婷极品激情| 婷婷夜夜操| 欧美日韩成人在线| 色婷婷狠狠久久综合五月| av国产精品偷| 欧美性爱特黄一级aaaassss| 九九热re99re6在线精品| 97精品人人A片免费看| 另类国产区| 久久这里只有精品07 | 日本久久精品| 久久日韩婷婷五月| 日日日日做夜夜夜夜无码| 五月天色丁香| 色色色综合色| 97ai婷婷| 丁香亭亭久久| 综合图片色色| 一点色成人网| 亚洲六月色婷婷| 五月婷婷无码专区| 99ri国产| 9久9久9久女女女九九九一九| 99热九九这里只有精品| 日本色色色| 97色干| 99碰在线视频| 久久五月婷综合网| 啪啪激情综合| 99综合入口| 色婷婷狠狠干| 91se在线观看| 九月丁香久久网| www.99色| 丁香六月久久| 国产特级毛片AAAAAAA高清| 色色色婷婷五月| 。久久久久久久久久久久久久人妻| 色婷婷小说| 97碰碰人人视频| 79亚洲精品少妇| www.99热精品| 婷婷五月天天| 色综合夜夜| 99re6久热只有精品6在线直播| 少妇水多A片太爽了| 九热精品| 色婷婷综合视频| 天堂无码人妻精品AV一区| 亚洲视频五区| 一级性爱视频| 99免费超碰在线| 丝袜大香蕉| 婷婷另类小说| 九九99精品免费播放| 99在线精品观看99| 丁香婷婷激情六月五月开心| 牛牛澡牛牛爽| 色播五月婷婷综合| 97久久人人| 色五月婷婷影视| 综合视频五月| 五月婷婷五月天| 99re久热只有精品6在线直播.com| 亚洲经典小视频| 九九在线视频| 婷婷激情四射| 操九色| 九九热99久久99| 亚洲 小说 欧美 激情 另类| 日日撸夜夜操| 99A级片| 五月婷婷丁香俺日污视频| 亚洲成人无码专区| 思思视频精品| 亚洲天天| 成人国产欧美大片一区| 九九热这里只有精品5| 五月婷婷激情日本| 亚洲第二AV| 久久AV电影| 年轻的妺妺伦理HD中文| 人妻性爱av网站| 欧美三级欧美一级| 大香蕉久久久久久久久| 天天热夜夜操| 国产精自产拍久久久久久蜜 | 丁香婷婷免费| 看片视频在线免费日产在线看| 91久久精品无码一区二区三区| 婷婷五月色播放| 丁香花大香蕉婷婷综合| 五月丁香激情婷婷综合字幕| 日本五月婷| 影音先锋一区二区三区| 99色 | 欧美丁香五月夫妻天| www久久久久久久久久久久久久久久久| 久热这里这里有精品| 99A片| 婷婷精品在线| 日本啪啪网| 天天综合色丁香| 深爱激情综合网| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 国产片色| 丁香香蕉射射射| 丁香六月亚洲| 五月天社区| 九玖视频这里只有精品| 中文字幕永久在线| 九九aV| 欧美婷婷丁香五月社区| 色七七九九| 91久久电影| 亚洲狠狠婷婷| 91精品久久久久、久五月天| 天堂美国久久| 思思热久久久在线| 99色综合久久| 这里只有精品在线免费视频| 婷婷五月激情四射手| 九九九成人在线视频| 99精品视频在线观看| site:picc-up.com| 九九在线视频| 五月天婷婷色播综合在线| www99热| 五月丁香综合啪啪啪啪啪| 色五月综合网| 九九色热| 五月天伊人手机在线播放AV| 婷婷五月欧美综合| 四色女婷婷| 草草色情综合网| 五月丁香婷婷综合网色欲| 婷婷激情五月呦呦| 伊人网色婷婷五月天| 日本美女97在线视频| 色5月婷婷| 久久日本wwww色| 99视频在线精品免费观看2| 五月激情久久| 天天干 夜夜爽| 日本一级大片| XX久久| 色婷婷19| www.久久爱| www.99热| 日本九九九九| 亚洲婷婷五月草久| 久草婷婷网| 天天舔天天摸天天透| 五月天大香焦| 99久在线精品99re8热| 九九久久高清| 丁香六月激情| 91狠狠综合久久| 精品人妻伦一二三区久久| 涩涩五月天综合| 影音先锋女人AA鲁色资源| 激情5月婷婷狠狠干| 久久久av久av久片一区二区| 操熟女成人网| 99婷婷色| 久碰婷婷视频| 色色吧综合| 婷婷五月天久久久| 婷婷五月欧美综合| 婷婷无五月无码视频| 色五月丁香伊人| 亚洲AV另类| 国产精品色婷婷久久久精品| 亚洲六月婷婷| 激情六月婷婷| 久久五月网| 色婷婷中文| 婷婷狠狠干| 超碰三级片| 99热这里只有精品2| 五月婷婷中字在线| 日本啪啪视频HD| 午夜激情五月| 丁香五月激情月| 亚洲另类婷婷综合| 操操操www.com| 少妇出轨做爰高潮A片| 五月开心深深爱激情综合| 九9九9无码| 综合久| 久久这里只有精品07| 五月Huangsewang| 天天日夜夜拍| 色欲丁香| 韩国真做片在线观看| 伊人深爱综合| 另类亚洲视频| 五月天综合视频| 五月丁香亚洲五月| 婷婷五月在线| 久热中文字幕| 99国产小视频免费观看| 亚洲人操亚洲人| 波多野结衣AV无码Porn| 五月丁香久久| 成人国产欧美大片一区| 欧美五月丁香| www.久久久.com| 国产亚洲精品AAAAAAA片| 伊人色综在线| 亚洲精品视频电影| 五月丁香六月| 都市激情小说婷婷| 9久热在线视频精品| 色婷网| 。久久久久久久久久久久久久人妻| 99日本视频| 射久久丁香五月| 大香蕉操操| 激情婷婷五月天| 99热只有国产在线精品| 婷婷伊人五月丁香天堂网| 超碰人人干| 丁香六月婷婷高清| 91久久18| 亚洲高清在线| 五月婷婷免费在线观看| 伊人久久大香天蕉亚洲特级| 天天狠狠夜夜狠狠2023| 中文网av| 啪啪99| 狠狠精品干练久久久无码中文字幕 | 色停停五月天| 超碰人人干| 国产精品久久久久久喷浆| www.婷婷五月| 激情五月综合色| 黄色AAAA韩国guochansanji | 婷婷五月天亚洲| 亚洲Va成人| 波多野结衣不卡AV| 亚洲成人AV在线观看| www,色中色| 欧美伊人9| 99色视频| 丁香婷婷影院| 九九视频网| 亚洲激情六月| 日本五月婷| 天天操天天日天天操| 亚洲在线资源| 免费观看全黄做爰的视频| 九九热婷婷| 都市激情五月婷婷综合| 欧美日韩五月婷婷| 99亚洲天堂| 婷婷五月天播播| www久久99com| 丁香五月天激情四射网络不好| 热久久99热欧美国产亚洲| 日韩精品无码99| 九九香蕉网| 久久婷五月影院| 另类小说五月天| 性天天中文网| 日本超碰在线| 99碰碰。| 天天干天天干天天干天天干天| 婷婷激情五月天小说| www久久99| 97色综合视频| 五月丁香色婷婷| AAAA网站| 亚洲色色爱| 99在线一区| 久久久网站| 九九免费视频| 99热久久这里只有精品| 中文字幕成人影视| 亚洲最大成人综合网720P| 色色色婷| 这里只有精彩亚洲视频推荐| 婷婷综合在线| 午夜九九九九九九| 九月婷婷| www.天天干| 五月色丁香婷婷中文字幕| 久久色五月| 超碰色综合| 亚洲激情五月丁香久久久久| 91九色丨国产丨爆乳| 色就色94欧美setu| 日本丁香五月| 亚洲婷婷五月天| 九九视频精品视频精品| 丁香九月婷| 国产探花一片区| 成功精品影院| 九九这里只有精品| 可以直接看的av网站| 99热人人| 大香蕉丁香五月| 色狠狠综合| 啪啪色区| 久久这里只有国产视频| 色婷婷五月天中文字幕| 大天天伊人| 丁香五月天AV在线| 天天干天天干天天干天天干天天干| 青青草成人网| 色综合久久88色综合中文字幕| 色色色干| 色婷婷亚洲在线观看| 国产无套精品一区二区| 日韩视频99| 色婷婷激情| 婷婷激情啪啪| Se.婷婷五月天| 久久久99视频| 久草婷婷视频| 九九视频在线观看视频6| 五月天大香蕉| 天天干一干| 国产精品视频久久99| 婷婷六月丁香综合| 九九热自拍| 成人国产网| www久| 9久精品视频| 婷婷五月天天天| 思思热久久婷婷五月天| 人妻乱码久久久| 任你爽免费视频| 亚洲AV另类| A片天天| 国产毛片精品一区二区色欲黄A片| 丁香激情网| 思思久久99| 亚洲色综合性| 天天射射夜| 99re热精品视频国| 亚洲乱码在线观看| 亚洲成Av人片乱码色第1集| 五月精品99综合| 婷婷97狠狠成人网站| 丁香六月情| 五月婷婷啪啪| 丁香五月a| 五月天婷婷开心| 亚洲夜五月| 婷婷欧美综合| 国产一区18| 肏日网在线看| 国产成人AV不卡| 丰满女老板BD高清A片| 色欧洲| 五月丁香啪啪激情| 色五月婷婷五月天| 丰满熟女人妻一区二区三| 久久久区区一久久久久久| 色久婷婷网| 66精品国产成人| 97操在线视频| 日韩 中文 欧美| 9久久久| 丁香五月 无码| 超碰婷婷五月| 成人做爰黄A片免费看直播室男男| 99热在这里只有精品| 97超碰人人操| 天堂中文国产| 五月婷婷啪啪综合网| 久久婷婷六月综合| 五月婷婷六月婷| 五月天自拍视频| 五月婷婷色综图片| 色99亚洲| 亚洲艹网| 天天日天天做天天舔| 久久综合婷婷五月| 五月婷综合| 视频一区二区在线| 秋霞AV吧| 亚洲视频一区| 国产日产亚洲系列最新| 最近中文字幕2019视频1| 九九色影院| av色色国产| 色婷视频| 婷婷五月丁香久久| 99热综合网| 最新色色五月天| 中文字幕,综合,91| 五月激情综合网| 丁香六月婷婷久久综合| 色色色热| 人人操五月天| 老司机日日夜夜青草| 99精品小视频| 日日夜夜婷婷| 天天综合中文| 偷拍五月丁香| 激情五月影院| 婷婷五月丁香六月| 五月丁香六月综合激情无码软件亮点 | www.五月丁香| 九九视频在线观看| 久久婷婷视频| 五月丁香人妻| 五月天色社区| www.国产色| 婷婷色婷婷| 91啪啪视频| 91综合在线| 丁香五月激情啪啪| 狠狠狠狠狠| 成人视频网| 国产精品久久久久久亚洲毛片| 色五月激情五月| 色呦精品| 五月天丁香婷婷视频网址| 日本wwww在线| 色色色1网址| 欧洲区自拍| 男人天堂AV在线一区二区| 玖玖爱导航| 丁香五月婷婷亚洲色图| 天天操五月天| 性视频久久| 亚洲综合五月天婷婷丁香| 新97人人上人人| 狠狠做六月爱婷婷综合aⅴ| 色之综合网| 亚洲 精品 综合 精品| 森林影视大全,最好看的2019年视频 | 久久精彩免费视频精彩免费视频| 亚洲美女高潮久久久久久69| 六月丁香啪啪| 爱之国产色情综合| 狠狠草婷婷| 26uuu激情五月天| 久久这里只有国产精品视频| 五月丁香六月婷综合成人综合| 天天操夜夜橾| 丁香六月激情| 五月丁香操婷逼| 色色色综合色| 国产人妻777人伦精品HD| 国产五月视频| 禁片二区| 婷婷色五月大香蕉在线观看| 大香蕉伊人99| 丁香五月天欧洲在线| 色噜噜狠狠色综合日日免费| 思思热再线视频| 婷婷五月天开心激情网| 操97免费超级视频 | 欧美日本韩国亚洲| 国产超碰av| 超碰无码318604| 亚洲精品视频在线播放| 亚洲中文无码成人| 热久久国产视频| 五月开心色| 爽极品色| 99激情| 97干干干丁香| 看逼中文字幕| 9999三级片| 久久久人妻久久久| 婷婷成人丁香色情基地30 | 99re思思在线视频| 成年人99热| 99乱视频| 97碰| 丁香六月婷婷综合| 碰碰人人人| 丁香五月123| 激情久久久| 婷婷 亚洲图片 丁香| 五月六月婷婷| 九月丁香亭亭| 天天综合精品| 五月刺激丁香月综合| www.婷婷.com| 996er在线观看| 亚洲麻豆乱码国产2028| 色情成人五月天| 开心五月婷婷激情| 天天干天天干天天干| 嫩草视频| 一区视频网站| 性色播| 夜丁香五月婷婷| 99婷婷国产最新视频| 婷婷五月天久久| 香蕉人妻AV久久久久天天| 九九精品碰| 伊人婷婷综合| 99在线观看精彩视频| 色婷婷丁香五月综合| 99re视频在线播放| 婷婷中文字幕| 99视频日韩| 六月婷婷激情| 日本熟妇人妻在线| 天天做夜夜爽| 五月丁香六月婷婷啪啪| 丁香五月之久操视频| 超碰在线网站| 天天日天天添| 欧美性爱5月天天天看| 激情五月婷| 国产精自产拍久久久久久蜜 | 另类小说五月天| 香蕉五月婷婷| 色婷久久| 五月丁香六月情亚洲| 五月婷婷综合影院| 伊久久婷婷| 婷婷综合网在线| 色色色热| www.婷婷六月天| 日韩人妻在线播放| 狼人久草| 日本性激情色播| 人人操AV| 激情99| 婷婷激情四射五月天| 26uuu欧美日韩| 久热网站| 99欧美| Www.久久| 久久女婷| 五月婷婷之激情五月| 情色婷婷五月天| 国产肥白大熟妇BBBB视频| 久久精品综合色| 99久热这里有精品| 人人摸人人摸| 天天综合网站| 18久久| 色久婷婷五月| 婷婷六月天激情| 在线不卡视频| 99精品偷拍视频| 丁香五月综合色婷婷| 婷婷五月视屏| 91丨九色丨熟女高潮| 啪啪五月综合| 五月色亭丁香| 五月婷婷六月丁香在线| 超碰成人免费| 六月丁香激情| 99热这只有| 天天狠狠夜夜狠狠2023| 五月婷婷五月天| 伊人久久大香天蕉亚洲特级| 五月天婷婷色播综合在线| 激情网婷婷五月天| www99热| 97碰碰在线观看视频| 丁香5月综合啪啪| 91碰| 伊大人久久| 五月婷婷av| 欧美色五月天| 色色色色综合| 亚洲欧美国产A片免费观看| 亚洲激情丁香五月天色| 婷婷五月天成人小说| 久久婷婷五月天| 大香蕉操操| 婷婷五月色丁香在线看| 91久操| 五月丁香综合久久夜夜| 五月天天天操天天爽夜夜操| 五月天婷婷乱论小说| 久久综合久色欧美综合狠狠| 亚洲、欧美、国产另类笫二区| 天天爽天天干天天| 天天干,天天日| caopeng97人人| 婷婷色丁香五月| 五月激情六月宗合| 婷婷中文字幕在线| 五月丁香少妇网| 九九人人精品| 午夜激情四射影院| 六月婷婷六月天天在线免费| 狠狠99| Aaa久久| 色欲Av五月天| 久久久久激情网| 影音先锋秋秋五月婷婷| 婷婷五月天改成什么了| 七七色色综合| 久久婷婷艹| 综合激情五月丁香9999久久精| 成人版视频在线观看| 五月 婷 久| 免费日韩99| 91狠狠综合久久久| 中文字幕婷婷在线| 这里只有免费的精品|