欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Canal實(shí)戰(zhàn):基于MySQL binlog的增量數(shù)據(jù)同步全解析

Canal實(shí)戰(zhàn):基于MySQL binlog的增量數(shù)據(jù)同步全解析 1. 先搞清楚canal到底在解決什么問(wèn)題如果說(shuō)這兩年數(shù)據(jù)同步領(lǐng)域哪個(gè)組件最值得花一個(gè)星期認(rèn)真學(xué)一遍我的答案一定是canal。這名字你可能在簡(jiǎn)歷上見(jiàn)過(guò)在招聘JD里見(jiàn)過(guò)甚至在同事的代碼評(píng)審里被吐槽過(guò)但真要問(wèn)你它到底是干嘛的很多人的回答其實(shí)是模糊的嗯就是同步MySQL數(shù)據(jù)的——差不多對(duì)但不夠準(zhǔn)確。我換個(gè)說(shuō)法你就明白了canal做的是MySQL增量數(shù)據(jù)訂閱也就是監(jiān)聽(tīng)MySQL的binlog日志每當(dāng)數(shù)據(jù)庫(kù)里發(fā)生insert、update、delete操作canal就能像裝了竊聽(tīng)器一樣在毫秒級(jí)把這個(gè)變更事件推給你。注意關(guān)鍵詞是增量——它不是全量復(fù)制不是每天導(dǎo)一次數(shù)據(jù)而是從你部署那一刻開(kāi)始實(shí)時(shí)關(guān)注每一條新變化。那它解決的到底是什么問(wèn)題我舉個(gè)最常見(jiàn)的場(chǎng)景。你們系統(tǒng)里肯定有一張熱點(diǎn)表比如商品信息、用戶資料、配置數(shù)據(jù)業(yè)務(wù)方讀得很頻繁。為了扛住流量你引入了Redis做緩存查詢走緩存寫(xiě)操作更新數(shù)據(jù)庫(kù)。聽(tīng)起來(lái)沒(méi)問(wèn)題但更新數(shù)據(jù)庫(kù)的同時(shí)同步緩存這一步寫(xiě)法稍微不嚴(yán)謹(jǐn)就會(huì)出現(xiàn)緩存和數(shù)據(jù)庫(kù)不一致的臟數(shù)據(jù)。常見(jiàn)的做法有幾種雙寫(xiě)、定時(shí)任務(wù)全量刷新、消息隊(duì)列異步通知。雙寫(xiě)邏輯侵入業(yè)務(wù)代碼定時(shí)任務(wù)有延遲且浪費(fèi)資源消息隊(duì)列異步通知倒是好但你需要手動(dòng)把每一次數(shù)據(jù)變更封裝成消息發(fā)出去代碼量不小。canal的思路是我不碰你的業(yè)務(wù)代碼我在數(shù)據(jù)庫(kù)這一側(cè)偷聽(tīng)binlog把變更事件統(tǒng)一抓出來(lái)再推給你的下游。無(wú)論你是想去同步緩存、同步到ES、同步到數(shù)據(jù)倉(cāng)庫(kù)還是同步到另一個(gè)MySQL都不需要改業(yè)務(wù)代碼。這個(gè)解耦的價(jià)值用過(guò)的人都懂——只需要一次配置全公司的數(shù)據(jù)消費(fèi)方都能受益。對(duì)小白來(lái)說(shuō)canal最友好的一點(diǎn)是它自帶一個(gè)客戶端訂閱模型你只要能寫(xiě)Java代碼幾行就能跑通一個(gè)Demo完全不需要一開(kāi)始就理解它的存儲(chǔ)原理。但如果你想用好它光是會(huì)跑肯定不夠因?yàn)檎嬲目尤诩?xì)節(jié)里binlog格式?jīng)]配對(duì)、位點(diǎn)丟失導(dǎo)致重復(fù)消費(fèi)、和多個(gè)訂閱端搶數(shù)據(jù)……這些問(wèn)題我用后面幾個(gè)章節(jié)慢慢展開(kāi)。順便說(shuō)一句canal項(xiàng)目的名稱(chēng)來(lái)自canal這個(gè)英文單詞中文意思是運(yùn)河、水道寓意很直白數(shù)據(jù)從MySQL流向下游的通道。這個(gè)比喻特別貼切你越往后用越會(huì)覺(jué)得它真的就像一條管道把數(shù)據(jù)庫(kù)的血液輸送到各個(gè)需要的地方。2. 安裝前的三個(gè)關(guān)鍵開(kāi)關(guān)JDK、binlog和權(quán)限安裝canal本身不難難的是準(zhǔn)備工作。很多小白按照網(wǎng)上的教程一步步來(lái)結(jié)果客戶端連不上、收不到消息回頭一看全是配套環(huán)境沒(méi)弄對(duì)。所以這一章我把安裝前置條件拆成三個(gè)開(kāi)關(guān)每個(gè)都要提前確認(rèn)壞了哪一個(gè)都會(huì)讓你后面抓狂。2.1 第一個(gè)開(kāi)關(guān)JDK版本canal的server端是Java寫(xiě)的所以你機(jī)器上得有JDK。這里有個(gè)坑需要你避一下canal 1.1.x系列用JDK 8沒(méi)問(wèn)題但如果你用的是比較新的canal 1.1.7版本或者想跑源碼調(diào)試建議直接用JDK 11。我遇到過(guò)用JDK 8跑新版本canal啟動(dòng)的時(shí)候報(bào)了一些奇怪的并發(fā)類(lèi)加載錯(cuò)誤看起來(lái)像是代碼問(wèn)題其實(shí)是編譯目標(biāo)版本太高導(dǎo)致的。裝好之后確認(rèn)一下版本java -version正常情況下你會(huì)看到類(lèi)似openjdk version 1.8.0_***或openjdk version 11.0.***的輸出。如果你的機(jī)器上存在多個(gè)JDK建議用export JAVA_HOME/path/to/jdk指定清楚避免canal的啟動(dòng)腳本拿到錯(cuò)誤的版本。2.2 第二個(gè)開(kāi)關(guān)MySQL必須開(kāi)啟binlogcanal的工作原理是偽裝成MySQL的從節(jié)點(diǎn)向主庫(kù)請(qǐng)求binlog日志。所以你的MySQL必須開(kāi)啟binlog這是整個(gè)鏈條的源頭。修改MySQL配置文件Linux下一般是/etc/my.cnf或/etc/mysql/mysql.conf.d/mysqld.cnf[mysqld] log-binmysql-bin binlog-formatROW server-id1這三行缺一不可尤其第二行binlog-formatROW。我見(jiàn)過(guò)有人在測(cè)試環(huán)境用了默認(rèn)的STATEMENT格式結(jié)果canal解析出來(lái)一堆SQL語(yǔ)句根本拿不到精確的行級(jí)變更數(shù)據(jù)。因?yàn)閏anal的核心輸出是某行某個(gè)字段從舊值變成了新值而這種結(jié)構(gòu)化信息只有ROW格式才完整保留。改完之后記得重啟MySQLservice mysqld restart或者systemctl restart mysqld。然后進(jìn)入MySQL命令行驗(yàn)證SHOW VARIABLES LIKE log_bin; SHOW VARIABLES LIKE binlog_format;兩個(gè)結(jié)果都符合預(yù)期這個(gè)開(kāi)關(guān)才算真正打開(kāi)。還有一個(gè)細(xì)節(jié)容易被忽略server-id不能和canal實(shí)例配置的server-id重復(fù)。我用一個(gè)真實(shí)的踩坑經(jīng)歷說(shuō)明第一次部署的時(shí)候我隨手給canal設(shè)置了server-id1和MySQL自己的server-id沖突結(jié)果canal連接主庫(kù)時(shí)直接被拒日志里報(bào)ERROR: Got error 1236。這個(gè)問(wèn)題排查了很久才定位到因?yàn)閳?bào)錯(cuò)信息很不直觀。所以提前規(guī)劃好MySQL給一個(gè)server-idcanal給另一個(gè)比如101、102這種互不干擾。2.3 第三個(gè)開(kāi)關(guān)MySQL授權(quán)賬號(hào)canal需要用一個(gè)專(zhuān)門(mén)的MySQL賬號(hào)連接主庫(kù)這個(gè)賬號(hào)要有REPLICATION SLAVE和REPLICATION CLIENT權(quán)限。很多人在這步直接用root賬號(hào)倒也能跑通但從規(guī)范角度不推薦尤其到了生產(chǎn)環(huán)境最少權(quán)限原則是底線。創(chuàng)建賬號(hào)的SQL如下CREATE USER canal% IDENTIFIED BY canal123; GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO canal%; FLUSH PRIVILEGES;這里給%是允許任意主機(jī)連接實(shí)際生產(chǎn)建議限定為運(yùn)行canal的那臺(tái)機(jī)器IP安全第一。另外注意如果數(shù)據(jù)庫(kù)里已有的表結(jié)構(gòu)比較復(fù)雜canal在解析DDL事件時(shí)可能還需要訪問(wèn)表定義所以順手把SELECT權(quán)限也加上。這三件事做完環(huán)境準(zhǔn)備基本就緒。老實(shí)說(shuō)這個(gè)過(guò)程十分鐘都用不了但價(jià)值遠(yuǎn)超十分鐘——它決定了你后面所有排查動(dòng)作能不能有一個(gè)干凈的基礎(chǔ)。3. 一條數(shù)據(jù)從MySQL到客戶端的完整路徑很多教程上來(lái)就讓你裝canal、跑Demo等你跑通了還是一頭霧水它到底是怎么拿到數(shù)據(jù)的這一章我從原理層面完整講一遍大概需要你花五分鐘耐心讀讀完之后你就擁有了排查問(wèn)題的底層地圖遇到任何詭異現(xiàn)象都能知道往哪個(gè)環(huán)節(jié)去查。3.1 先理解MySQL主從復(fù)制是怎么回事canal的核心機(jī)制其實(shí)是在模仿MySQL的從庫(kù)。MySQL的主從復(fù)制過(guò)程很簡(jiǎn)單主庫(kù)把每一次變更寫(xiě)入binlog從庫(kù)連接到主庫(kù)請(qǐng)求從某個(gè)binlog位點(diǎn)開(kāi)始的數(shù)據(jù)拿到之后在本地重放。canal做的事情和從庫(kù)一模一樣只不過(guò)它拿到這些日志之后重放的不是SQL而是把日志解析成結(jié)構(gòu)化的數(shù)據(jù)變更事件交給下游程序處理。這個(gè)過(guò)程涉及binlog里的幾個(gè)概念我用大白話解釋一下binlog文件MySQL落盤(pán)生成的日志文件比如mysql-bin.000001達(dá)到一定大小后自動(dòng)切換下一個(gè)文件。binlog位點(diǎn)position一條日志在文件中的偏移量它是唯一的??蛻舳嘶謴?fù)消費(fèi)時(shí)只要記住上次消費(fèi)到的position就能從斷點(diǎn)繼續(xù)。GTID全局事務(wù)ID是比position更高級(jí)的定位方式不依賴(lài)具體文件名和偏移量。新版本canal推薦用GTID模式主從切換時(shí)能自動(dòng)適應(yīng)。3.2 canal內(nèi)部的三段式流水線canal從拿到binlog到吐出數(shù)據(jù)內(nèi)部經(jīng)歷了三個(gè)核心階段第一階段抓取Parser。canal偽裝成從庫(kù)向MySQL發(fā)送dump協(xié)議請(qǐng)求。MySQL就會(huì)從指定的binlog位點(diǎn)開(kāi)始把日志一條條推送給canal。這個(gè)階段最純粹只負(fù)責(zé)拿。第二階段解析Sink。拿到的binlog是事件流需要解析。比如一個(gè)UPDATE事件會(huì)解析出舊值before和新值after這個(gè)是canal最有價(jià)值的輸出——下游可以直接拿到{id: 1, name: 舊值}變成{id: 1, name: 新值}這樣的JSON數(shù)據(jù)而不需要自己拼SQL去反查。第三階段存儲(chǔ)Store。解析完成后事件會(huì)寫(xiě)入一個(gè)內(nèi)存環(huán)形隊(duì)列等待客戶端來(lái)拉取。canal內(nèi)置了一個(gè)基于內(nèi)存的存儲(chǔ)組件默認(rèn)容量是16384個(gè)事件客戶端消費(fèi)速度跟不上時(shí)事件會(huì)在內(nèi)存里排隊(duì)排滿了之后才會(huì)出現(xiàn)丟數(shù)據(jù)或者阻塞的情況。整個(gè)鏈條如下圖所示文字版MySQL binlog → canal Server 抓取 → 解析 → 內(nèi)存隊(duì)列 → 客戶端(Client) 拉取 → 你的業(yè)務(wù)代碼/ES/Redis...3.3 你眼里的canal組件Server、Instance和Client實(shí)際部署時(shí)你會(huì)接觸到幾個(gè)概念這里一次性講清楚避免后續(xù)被配置項(xiàng)繞暈canal Server一個(gè)獨(dú)立運(yùn)行的Java進(jìn)程核心服務(wù)。canal InstanceServer內(nèi)部的一個(gè)邏輯實(shí)例每個(gè)Instance對(duì)應(yīng)一個(gè)MySQL數(shù)據(jù)源。一個(gè)Server可以配置多個(gè)Instance每個(gè)Instance有獨(dú)立的配置、獨(dú)立的訂閱位點(diǎn)、獨(dú)立的隊(duì)列。canal Client你寫(xiě)的消費(fèi)端程序通過(guò)TCP協(xié)議從Server拉取數(shù)據(jù)。打個(gè)比方Server是餐廳Instance是廚房里的一個(gè)灶臺(tái)——每個(gè)灶臺(tái)對(duì)應(yīng)一個(gè)供應(yīng)商MySQLClient是來(lái)吃飯的顧客。一個(gè)餐廳有多個(gè)灶臺(tái)很正常每個(gè)灶臺(tái)負(fù)責(zé)炒不同的菜互不干擾。從部署角度小白剛開(kāi)始只需要一個(gè)Server、一個(gè)Instance、一個(gè)Client后面需要訂閱多個(gè)庫(kù)或者對(duì)接多套下游時(shí)再考慮多Instance。4. 跑通第一個(gè)Demo用Java代碼訂閱一條insert前面講了那么多理論和準(zhǔn)備這一章我們真正動(dòng)手。我用一臺(tái)Linux機(jī)器做演示canal部署包從官方GitHub Release頁(yè)面下載最新穩(wěn)定版即可解壓后目錄結(jié)構(gòu)大致如下/canal ├── bin ├── conf │ ├── canal.properties │ ├── example │ │ └── instance.propertiesconf/canal.properties是全局配置conf/example是默認(rèn)實(shí)例的配置目錄instance.properties是實(shí)例級(jí)配置。4.1 修改實(shí)例配置先改instance.properties這是核心# MySQL主庫(kù)地址 canal.instance.master.address127.0.0.1:3306 # 連接MySQL的賬號(hào)密碼 canal.instance.dbUsernamecanal canal.instance.dbPasswordcanal123 # 訂閱的數(shù)據(jù)庫(kù)和表*表示所有 canal.instance.filter.regextest\\..* # 位點(diǎn)定位方式 canal.instance.gtidfalse重點(diǎn)說(shuō)明一下filter.regex這個(gè)配置。它的格式是數(shù)據(jù)庫(kù)名\\..*比如我只想訂閱test庫(kù)的所有表就寫(xiě)test\\..*想訂閱test庫(kù)下的user表就寫(xiě)test\\.user想訂閱多個(gè)庫(kù)用|分隔。這個(gè)正則很容易寫(xiě)錯(cuò)因?yàn)镴ava字符串本身也要轉(zhuǎn)義所以\\.寫(xiě)成\\.而不是\.。我見(jiàn)過(guò)有人照抄配置把轉(zhuǎn)義符弄丟了結(jié)果canal直接不輸出任何數(shù)據(jù)查了半天才發(fā)現(xiàn)是正則匹配問(wèn)題。4.2 修改全局配置再看canal.properties重點(diǎn)確認(rèn)以下幾項(xiàng)canal.port11111 canal.destinationsexample canal.instance.global.modetcpcanal.port是客戶端連接的TCP端口默認(rèn)11111不用改。canal.destinations指定啟動(dòng)哪些實(shí)例默認(rèn)example對(duì)應(yīng)conf目錄下的example文件夾。canal.instance.global.modetcp表示消費(fèi)端通過(guò)TCP直連方式拉取數(shù)據(jù)——這是最簡(jiǎn)單的方式后面聊MQ模式時(shí)再說(shuō)。4.3 啟動(dòng)Servercd /canal/bin ./startup.sh啟動(dòng)后看日志確認(rèn)沒(méi)有異常tail -f /canal/logs/canal/canal.log如果看到canal server is running now之類(lèi)的字樣并且沒(méi)有報(bào)錯(cuò)說(shuō)明Server起來(lái)了。再檢查實(shí)例狀態(tài)tail -f /canal/logs/example/example.log正常情況下能看到start successful。這里有個(gè)新手最容易遇到的情況日志里顯示canal is starting然后卡住不動(dòng)多半是MySQL連接沒(méi)通去查example.log里有沒(méi)有connect timeout或者Access denied字樣。4.4 寫(xiě)一個(gè)最小客戶端canal官方提供了一個(gè)客戶端庫(kù)canal.client用Maven引入dependency groupIdcom.alibaba.otter/groupId artifactIdcanal.client/artifactId version1.1.7/version /dependency然后寫(xiě)一個(gè)最簡(jiǎn)單的Java類(lèi)核心邏輯是建立連接 → 拉取消息 → 解析事件 → 打印變更內(nèi)容。import com.alibaba.otter.canal.client.CanalConnector; import com.alibaba.otter.canal.client.CanalConnectors; import com.alibaba.otter.canal.protocol.Message; import com.alibaba.otter.canal.protocol.CanalEntry; import com.alibaba.otter.canal.protocol.CanalEntry.EntryType; import java.net.InetSocketAddress; import java.util.List; public class CanalDemo { public static void main(String[] args) { // 連接canal server CanalConnector connector CanalConnectors.newSingleConnector( new InetSocketAddress(127.0.0.1, 11111), example, // instance名稱(chēng) , // 無(wú)認(rèn)證時(shí)填空 ); connector.connect(); // 訂閱所有表這里要和instance的filter.regex對(duì)應(yīng) connector.subscribe(test\\..*); while (true) { // 一次拉取100條不設(shè)置超時(shí) Message message connector.getWithoutAck(100); long batchId message.getId(); if (batchId -1 || message.getEntries().isEmpty()) { // 沒(méi)有數(shù)據(jù)睡1秒再試 try { Thread.sleep(1000); } catch (InterruptedException e) {} continue; } for (CanalEntry.Entry entry : message.getEntries()) { if (entry.getEntryType() ! EntryType.ROWDATA) { continue; } CanalEntry.RowChange rowChange CanalEntry.RowChange.parseFrom(entry.getStoreValue()); CanalEntry.EventType eventType rowChange.getEventType(); for (CanalEntry.RowData rowData : rowChange.getRowDatasList()) { if (eventType CanalEntry.EventType.INSERT) { System.out.println(INSERT: rowData.getAfterColumnsList()); } else if (eventType CanalEntry.EventType.UPDATE) { System.out.println(UPDATE before: rowData.getBeforeColumnsList()); System.out.println(UPDATE after: rowData.getAfterColumnsList()); } else if (eventType CanalEntry.EventType.DELETE) { System.out.println(DELETE: rowData.getBeforeColumnsList()); } } } // 確認(rèn)消費(fèi)成功 connector.ack(batchId); } } }這段代碼看著有點(diǎn)長(zhǎng)但核心就三件事連接、拉取、確認(rèn)。所有canal客戶端的骨架都是這個(gè)模式你以后無(wú)論用Spring Boot封裝還是寫(xiě)其他語(yǔ)言的客戶端都逃不開(kāi)這個(gè)套路。4.5 實(shí)測(cè)驗(yàn)證運(yùn)行上面的Java類(lèi)然后在MySQL里執(zhí)行INSERT INTO test.user (name, age) VALUES (張三, 25);立刻就能在控制臺(tái)看到類(lèi)似下面的輸出INSERT: [name: 張三, age: 25]看到這一行你的canal入門(mén)第一個(gè)Demo就算真正跑通了。從這一刻起任何數(shù)據(jù)庫(kù)變更都會(huì)實(shí)時(shí)出現(xiàn)在你的消費(fèi)端面前剩下的就是你怎么利用這些數(shù)據(jù)了。5. 小白最容易踩的五個(gè)坑含完整排查思路說(shuō)實(shí)話canal的部署和Demo真的很簡(jiǎn)單但越是這種看起來(lái)簡(jiǎn)單的組件越容易在細(xì)節(jié)上翻車(chē)。這一章我把自己和周?chē)瞬冗^(guò)的坑整理出來(lái)每一項(xiàng)都附上排查鏈路而不是直接給結(jié)論——因?yàn)橄麓文阌龅降目赡苤皇莻€(gè)相似但不完全一樣的問(wèn)題思路比答案更重要。5.1 坑一binlog格式不是ROW解析結(jié)果全是SQL現(xiàn)象客戶端能連上能收到消息但解析出來(lái)的RowData是空的只有SQL語(yǔ)句。排查鏈路第一步回到MySQL執(zhí)行SHOW VARIABLES LIKE binlog_format;如果結(jié)果是STATEMENT或MIXED基本就是問(wèn)題所在。第二步修改配置為ROW重啟MySQL。第三步重新執(zhí)行一條INSERT看canal是否輸出結(jié)構(gòu)化的列值。根因只有ROW格式才會(huì)記錄每一行變更的具體列值STATEMENT格式記錄的是原始SQL文本canal無(wú)法從中還原出行級(jí)別數(shù)據(jù)。5.2 坑二server-id沖突導(dǎo)致連接被拒現(xiàn)象canal日志里出現(xiàn)ERROR: Got error 1236或者直接連接不上MySQL。排查鏈路第一步檢查MySQL的server-idSELECT server_id;第二步檢查canal的canal.instance.properties里有沒(méi)有canal.instance.mysql.slaveId配置項(xiàng)這個(gè)值默認(rèn)是123456。如果和MySQL的server-id一樣就改成一個(gè)不同的值比如654321。第三步重啟canal實(shí)例觀察日志。根因MySQL主從復(fù)制機(jī)制要求每個(gè)從節(jié)點(diǎn)的server-id必須全局唯一。canal偽裝成一個(gè)從節(jié)點(diǎn)如果它的server-id和MySQL主庫(kù)相同主庫(kù)會(huì)認(rèn)為這是我自己直接拒絕復(fù)制請(qǐng)求。這里插一句生產(chǎn)中很多人會(huì)忽略這個(gè)參數(shù)因?yàn)樗哪J(rèn)值看起來(lái)沒(méi)存在感。建議部署清單里專(zhuān)門(mén)加一行確認(rèn)slaveId與所有MySQL節(jié)點(diǎn)均不重復(fù)。5.3 坑三位點(diǎn)丟失導(dǎo)致重復(fù)消費(fèi)或漏消費(fèi)現(xiàn)象canal重啟后客戶端收到了之前已經(jīng)處理過(guò)的舊數(shù)據(jù)或者直接跳過(guò)了部分?jǐn)?shù)據(jù)。排查鏈路第一步確認(rèn)canal的meta信息存儲(chǔ)在哪里。默認(rèn)情況下位點(diǎn)存在內(nèi)存中Server重啟就會(huì)丟失從當(dāng)前最新位置開(kāi)始消費(fèi)。如果你需要持久化要在canal.properties里配置canal.instance.global.spring.xmlclasspath:spring/memory-instance.xml改為file-instance.xml可以把meta寫(xiě)到本地文件。第二步檢查客戶端代碼是否正確ack。只get不ack重啟后會(huì)從上次ack的位置重新拉取產(chǎn)生重復(fù)消費(fèi)ack太快也可能出問(wèn)題如果先ack再處理業(yè)務(wù)邏輯處理失敗時(shí)數(shù)據(jù)就再也拉不回來(lái)了這是至少一次語(yǔ)義下最常見(jiàn)的取舍。第三步設(shè)計(jì)消費(fèi)冪等。無(wú)論位點(diǎn)多可靠分布式環(huán)境下重復(fù)消費(fèi)幾乎不可避免所以消費(fèi)端的冪等才是最終兜底。根因canal的位點(diǎn)機(jī)制是經(jīng)典的有且至少一次消費(fèi)語(yǔ)義重復(fù)消費(fèi)是常態(tài)漏消費(fèi)是因?yàn)槲稽c(diǎn)推進(jìn)到了業(yè)務(wù)成功之前。5.4 坑四多個(gè)客戶端實(shí)例同時(shí)消費(fèi)同一個(gè)instance現(xiàn)象多個(gè)服務(wù)實(shí)例都連了同一個(gè)canal destination結(jié)果每條數(shù)據(jù)只被其中一個(gè)實(shí)例收到而不是每個(gè)實(shí)例都收到。排查鏈路第一步確認(rèn)你的業(yè)務(wù)訴求是廣播還是負(fù)載均衡。canal不保證多個(gè)client同時(shí)消費(fèi)時(shí)每個(gè)client都能拿到全量數(shù)據(jù)默認(rèn)是競(jìng)爭(zhēng)消費(fèi)——一條數(shù)據(jù)只會(huì)給一個(gè)client。第二步如果確實(shí)需要多個(gè)下游分別消費(fèi)同一份數(shù)據(jù)可以有三種方案一是每個(gè)下游對(duì)應(yīng)一個(gè)獨(dú)立的instance二是通過(guò)MQ模式發(fā)布訂閱三是使用canal的CanalMQStarter配多個(gè)不同的group。根因canal的tcp模式的定位是一個(gè)destination對(duì)應(yīng)一個(gè)消費(fèi)組多個(gè)client是在消費(fèi)組內(nèi)競(jìng)爭(zhēng)拉取不是復(fù)制分發(fā)。5.5 坑五DDL事件和事務(wù)邊界導(dǎo)致的數(shù)據(jù)異常現(xiàn)象執(zhí)行ALTER TABLE之后消費(fèi)端收到的數(shù)據(jù)突然解析失敗或者一個(gè)事務(wù)內(nèi)的多變更變得不完整。排查鏈路第一步檢查消費(fèi)端是否處理了EntryType.ROWDATA之外的事件。DDL事件屬于ENTRY_TYPE的其他類(lèi)型如果你在消費(fèi)端直接跳過(guò)所有非ROWDATA事件DDL對(duì)下游可能造成結(jié)構(gòu)不一致。第二步開(kāi)啟canal的并行消費(fèi)時(shí)要注意事務(wù)一致性。如果下游是數(shù)據(jù)庫(kù)或緩存建議按事務(wù)邊界整體提交避免同一個(gè)事務(wù)的變更被拆到不同地方執(zhí)行。根因canal按事務(wù)為單位讀取binlog但消費(fèi)端如果并行處理事務(wù)邊界會(huì)被人為拆散。這五個(gè)坑基本覆蓋了我見(jiàn)過(guò)的90%小白問(wèn)題。說(shuō)實(shí)話每個(gè)坑背后都對(duì)應(yīng)一個(gè)理解盲區(qū)不是性能問(wèn)題不是bug而是對(duì)canal是怎么工作的理解不到位。所以每次出問(wèn)題先回到第3章的原理圖里定位是在哪個(gè)環(huán)節(jié)排查速度會(huì)快很多。6. 進(jìn)階思路從單機(jī)Demo走向生產(chǎn)環(huán)境Demo跑通、坑也避開(kāi)之后你可能會(huì)問(wèn)那真實(shí)項(xiàng)目里一般怎么用這一章我講三個(gè)最常用的落地方向以及小白從單機(jī)走向生產(chǎn)時(shí)需要補(bǔ)的功課。6.1 實(shí)戰(zhàn)方向一數(shù)據(jù)庫(kù)變更同步到Redis這是canal最常見(jiàn)的用法。假設(shè)你的商品表product里有價(jià)格字段價(jià)格變了緩存也得變。傳統(tǒng)做法是改業(yè)務(wù)代碼在更新數(shù)據(jù)庫(kù)后刪除緩存用canal之后消費(fèi)端收到UPDATE事件直接從JSON里提取最新值執(zhí)行SET key value或者刪除緩存。業(yè)務(wù)代碼零侵入。要注意兩點(diǎn)第一canal發(fā)來(lái)的是列名值的結(jié)構(gòu)不是SQL所以你需要自己把變更映射成業(yè)務(wù)對(duì)象這個(gè)映射邏輯一般寫(xiě)在消費(fèi)端一個(gè)獨(dú)立模塊里第二如果變更頻繁要注意給緩存加防抖比如1秒內(nèi)同一行的多次變更合并成一次刷緩存避免抖動(dòng)。6.2 實(shí)戰(zhàn)方向二異構(gòu)數(shù)據(jù)同步到Elasticsearch把MySQL的數(shù)據(jù)同步到ES做全文檢索也是高頻場(chǎng)景。流程大致是canal監(jiān)聽(tīng)MySQL變更 → 消費(fèi)端把變更拼成ES文檔 → 調(diào)用ES的index/update接口。這里有個(gè)常見(jiàn)的設(shè)計(jì)問(wèn)題ES里可能需要寬表比如訂單文檔里要包含用戶名、商品名而這些字段來(lái)自其他表。如果只訂閱訂單表拿不到關(guān)聯(lián)信息。解決思路有兩個(gè)一是訂閱多張表在消費(fèi)端做內(nèi)存關(guān)聯(lián)二是讓業(yè)務(wù)方寫(xiě)出包含所有所需字段的預(yù)聚合表canal只訂閱這一張。第二個(gè)方案更簡(jiǎn)單可靠推薦小白先這么做。6.3 從單機(jī)到集群三個(gè)生產(chǎn)級(jí)配置生產(chǎn)環(huán)境不可能只跑一個(gè)單機(jī)canal但我也要提醒你一開(kāi)始別急著上集群先把下面三件事做好比盲目加機(jī)器更有價(jià)值。第一個(gè)是位點(diǎn)持久化。前面說(shuō)過(guò)默認(rèn)位點(diǎn)在內(nèi)存在Server重啟就丟。生產(chǎn)環(huán)境務(wù)必配置成file模式或zookeeper模式。我用的是file模式最簡(jiǎn)單但要注意磁盤(pán)空間和文件權(quán)限。第二個(gè)是訂閱粒度收斂。開(kāi)發(fā)環(huán)境訂閱所有庫(kù)所有表沒(méi)問(wèn)題生產(chǎn)環(huán)境一定要用filter.regex收窄到具體業(yè)務(wù)庫(kù)和表不然會(huì)白白消耗大量性能還可能把其他團(tuán)隊(duì)的數(shù)據(jù)變更也帶進(jìn)你的消費(fèi)邏輯。第三個(gè)是監(jiān)控告警。canal是實(shí)時(shí)鏈路一旦它停了下游全部數(shù)據(jù)滯后。至少要做到進(jìn)程存活監(jiān)控、消費(fèi)延遲監(jiān)控canal有delayed指標(biāo)、客戶端積壓消息數(shù)監(jiān)控。這些指標(biāo)都可以通過(guò)JMX或者集成到現(xiàn)有監(jiān)控系統(tǒng)里別等業(yè)務(wù)方來(lái)問(wèn)為什么數(shù)據(jù)還沒(méi)同步過(guò)來(lái)你才發(fā)現(xiàn)問(wèn)題。至于集群模式canal支持多Server ZooKeeper的HA方案多個(gè)instance由ZK協(xié)調(diào)一臺(tái)掛了自動(dòng)切換到另一臺(tái)。這個(gè)配置本身不復(fù)雜但我建議在你的業(yè)務(wù)真正需要高可用之前先把單機(jī)的監(jiān)控和運(yùn)維做扎實(shí)因?yàn)榧阂步鉀Q不了消費(fèi)端邏輯的bug。7. 最后的實(shí)用建議這一章不聊原理、不聊配置就說(shuō)一些零散但真實(shí)的經(jīng)驗(yàn)。第一開(kāi)發(fā)環(huán)境一定要把binlog打開(kāi)。我見(jiàn)過(guò)不少團(tuán)隊(duì)本地MySQL默認(rèn)沒(méi)開(kāi)binlog結(jié)果canal跑不起來(lái)排查半天發(fā)現(xiàn)是本地環(huán)境的鍋。你可以在MySQL配置里直接默認(rèn)開(kāi)啟對(duì)開(kāi)發(fā)環(huán)境性能影響微乎其微。第二消費(fèi)端一定要做冪等。不管你用哪種位點(diǎn)配置重復(fù)消費(fèi)都是可能發(fā)生的所以消費(fèi)邏輯必須能反復(fù)執(zhí)行而結(jié)果一致。比如同步到ES用文檔ID做upsert天然冪等同步到Redis覆蓋寫(xiě)本來(lái)就冪等同步到另一個(gè)MySQL用主鍵做INSERT ... ON DUPLICATE KEY UPDATE就能保證不炸。第三binlog里的時(shí)間字段要小心。canal解析出的時(shí)間字段默認(rèn)是字符串格式時(shí)區(qū)可能有偏移。如果你發(fā)現(xiàn)同步的數(shù)據(jù)在時(shí)間上差了8個(gè)小時(shí)去檢查canal的時(shí)區(qū)配置。第四測(cè)試的時(shí)候別只測(cè)INSERT。我見(jiàn)過(guò)有人Demo只驗(yàn)證了insert就以為一切正常結(jié)果上線后update和delete全沒(méi)處理數(shù)據(jù)越差越多。測(cè)試至少覆蓋增刪改三種事件最好再測(cè)一個(gè)事務(wù)里多條變更的順序性。最后說(shuō)一句掏心窩的話canal入門(mén)真的不難難的是你要理解它和業(yè)務(wù)系統(tǒng)的邊界在哪里。它能幫你解決數(shù)據(jù)同步但它不會(huì)幫你把下游的消費(fèi)邏輯寫(xiě)好也不會(huì)幫你兜住消費(fèi)端拋出的異常。把它當(dāng)成一個(gè)可靠的數(shù)據(jù)搬運(yùn)工真正干活的內(nèi)容還是要靠你精心設(shè)計(jì)消費(fèi)端來(lái)處理。我用canal做了好幾個(gè)項(xiàng)目的增量同步從最開(kāi)始照貓畫(huà)虎跑通Demo到現(xiàn)在能快速定位各種奇怪問(wèn)題最大的感受就是工具本身只是管道關(guān)鍵還是對(duì)數(shù)據(jù)變化鏈路有一顆敬畏之心。希望你也能順著這篇文章跑通自己的第一個(gè)Demo然后在這個(gè)基礎(chǔ)上一步步把數(shù)據(jù)流動(dòng)做得更穩(wěn)、更優(yōu)雅。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色婷婷小说| 国产在线aaa片一区二区99| 日本wwww在线| 六月丁婷婷| ji'qi'luan'ren'lun| 婷婷五月天久久久| 久久人人九九| 亚洲热久久| 国产精品久久欧美久久一区| 精品久久99码| 任你日视频| 婷婷中文综合网| 五月停停直播| 少妇综合网| 久久婷婷草| 五月天中文字幕在线婷婷| 99啪啪| 丁香九月色| av在线超清中文| www99在线观看视频| 精品成人在线| 五月丁香六月激情综合啪啪| 久久98| 午夜九九九九九九九九九九九九九| 欧美激情凹凸丁香网| www99热| 色99自拍| 九九亚洲| 五月婷婷黄| 99热久草| 99热在线极品极品| 青青草视频福利| 亚洲妇女熟BBW| 九九無碼| 亚洲黄色影视| 亚洲成片在线观看| 五月婷婷之婷婷| 五月伊人91| 99热成人精品| 亚洲亚洲人成综合网络| 丁香婷婷免费| 天天爽天天爽| 五月激情综合婷婷| 国产看真人毛片爱做A片| 欧美成人Va| 亚洲AV免费在线| 色色五月丁香婷婷综合| 丁香五月婷婷日本| 色婷成人狠干| 五月婷婷69| 国产精品久久久久9999小说| 99热6这里只有精品6| 噜噜五月天综合| 亚洲av日韩无码| 五月丁香六月天| 超碰A V在线| 五月婷婷狠狠干| 99国产在线精品视频| 综合久色五月| 特级西西4444www无码| 亚洲色图45p| 婷婷六月亚洲综合| 91免费看片| 色五月丁香婷婷| 操操综合网婷婷| 色五月色综合| 国产乱妇无乱码大黄AA片| av在线超清中文| 色婷婷五月天| 丁香六月婷婷综合激情欧美| 粉嫩AV久久一区二区三区| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 六月丁香社区| 日本玖玖在线| 66色在线日韩| 天天综合网~91综合网| 六月99天天婷婷激情综合| 人人干女人| 天天色99| 操逼视频一区| www.五月天婷婷| 九九热在线亚洲免费视频| 99爱视频在线| 日韩好吊操| 色九九综合| 激情六月丁香综合| 婷婷五月天VI| 日本色狠狠| 青青草网武则天| 色丁香五月| 超碰永久在线| www.色色五月天.com| 婷婷99中文字幕| 五月婷婷深深爱| 91无码视频| 殴美日比视频| 六月欧美综合色情| 青青草婷婷五月天| 天堂草在线看www| 啪啪操网| 性爱网五月天| 激情小说五月天社区丁香| 99在线免费视频| 婷婷欧美色| 99精品国产乱码久久久人妻| 欧美VA在线观看| 六月婷婷青青青视频| 天天爽天天| 97香蕉久久超级碰碰高清版| 99热这里只有精品2| 丁香五月激情宗合网| 丁香五月婷婷色| 五月天婷亚洲天综合网综合| 婷婷丁香色五月天| 99精彩视频| 国产精品国产| 99热免费| 停停五月天激情网| 五月丁香激情婷婷| 五月丁香啪啪啪| 玖操97| 超碰在线资源| 99ri精品| 五月天影院婷婷在线观看| 伊大人久久| 丁香综合婷婷五月天| 色狠狠色综合久久久绯色AⅤ影视 大香蕉五月天婷婷丁香91 | 激情婷婷久久| 久久aaa| 久久婷婷五月天丁香| www.99热这里精品| 国产日批视频免费播放| 99福利视频导航| 五月天伊人| 婷婷综合欧美| 9色婷婷| 99热这里只有精品在线观看| 五月丁香六月婷婷综合在线| 伊人天堂婷婷| 日本片日本片祼观看网站在线看中文版网页在线看 | 久久五月婷综合| 欧美成人色婷婷| 99九九综合久久九九| 99热在线观看免费精品| 毛片毛片毛片毛片| 超碰免费99| 99热这里只有精品9| 五月丁香在线婷婷蜜桃| 亚洲成人九九九| 丁香六月综合激情| 可以免费看AV网站| 丁香婷婷久久 | 天天天天天久久久久久| 成人 在线 日韩| 亚洲乱码日产精品BD| 婷婷五月天开心网| 激情文学天天| 久久大香蕉伊人| 老司机日日夜夜青草| 婷婷六月激情丁香| 91偷拍视频| 激情内射人妻1区2区3区| 婷婷久久色| 激情婷婷五月| 亚洲精品**不卡在线播he| 激情人妻综合| 操丝袜视频影院导航| 夜夜躁婷婷AV| 91919191919久久成人视频| 天天干天天拍| 99色一| 色5月婷婷色| 欧美色男人网站| 六月婷婷啪啪| www色五月天| 大香蕉久久久久| 丁香伍月婷电影全集| 97久久精品| 天天色色婷婷| www99热| 最新无码专区| 婷婷激情六月| 婷婷五月丁香超碰| 狠婷婷五月| 99视频内射三四| 国产精品黑丝| 国产精品99久久久久久久女警 | 9热在线观看| 国产精品久久久久久久久久 | 成人五月丁香花| 狠狠色噜噜狠狠| 日韩AV色色色| 9.1综合网| 人人超碰99| 久久免费精彩视频| 中文无码婷婷| 亚洲激情五月| 思思久久思思| 婷香五月网在线| 久热伊人9| 人妻丰满精品一区二区A片| 激情床戏| 色久五月天| 丁香婷婷五月天亚洲| 久久婷婷综合国产| 丁香花五月天社区| 老师的粉嫩小又紧水又多A片视频| 色五月激情五月开心五月| 色视五月天婷婷| 激情九月综合| 久久综合婷婷五月| 亚洲天堂制| 日本99视频| 久久精品99久久久久久| 五月激情婷婷丁香| 丁香五月狠狠综合欧美| 激情婷婷内射| 九九热这里只有精品23| 五月天丁香网站| 99综合99| 激情98色婷婷五| 亚洲婷婷五月天| 国产综合婷婷| 久久机热/这里只有精品| 婷婷五月丁香基| 九九Av| 日熟女| 7777久久亚洲中文字幕| 亚洲精品一二三| 香蕉久久国产AV一区二区| 精品久久久999| 99精在线| 国产日韩亚洲欧美在线观看| 99精品久久久久久久婷婷久久| 婷婷五月丁香综合亚洲 | 丁香五月综合婷婷| 色婷婷五月天激情在线观看| 99成人免费热视频| WWW.色婷婷.COM| 99丁香五月婷| 婷婷五月综合婷婷| 91超级碰| 天天肏高清在线| 在线sebiav精品视频| 婷婷最新地址| 黄色热99| 婷婷香草网| 国产日比| 国产成人网站在线观看| 精品人妻一区二区| 天天色天天操天天射| 偷拍91九色| 99爱视频在线观看| 狠狠干,狠狠操| 亚洲成人噜噜| 激情VA视频| 天天精品视频在线观看视频| 狠狠狠狠狠草| 无码人妻一区二区三区免费九色| 五月丁香综合精品| 激情五月综亚网| 丁香六月婷婷综合激情欧美| 99综合色色色| 激情久久四色| 国产裸舞福利资源在线视频| 天天噜天天爱| 99久久99热| 欧美群妇大交乱婬网| 色V狠狠的干| 婷婷情色五月天| 97香蕉人人在线观看| 日韩三级视频一区二区| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 六月丁香婷婷网| 欧美黑人大吊| 丁香综合伊人| www.色窝| 五月丁香六月欧美| 777精品成人a v久久| 丁香五月激情欧欧美| 精品无码色欲AV| 国内婷婷丁香社区在线播放| 五月色情网| 日日鲁鲁夜夜爽爽| 人人人操97| www激情| 婷婷丁香综合| 99在线视频播放| 91干视频| 99er这里只有精品| 人人人人人人人人人草| 2w在线视频| 99爱精品视频| 日韩三级高清无码| 色婷婷免费观看| 欧美熟女99| 在线99热| 亚洲精品99| 香蕉AV777XXX色综合一区| 少妇高潮呻吟A片免费看软件| 91 欧美| 人人操9| ww超碰在线| 9热在线视频| 伊人久久综合| 成年人夜夜喷水| 国产精品久久..4399| 久久综合激情| 日本色婷婷久久99精品91| 久久性爱网站| 91色情播放| 天天操婷婷| 色噜噜狠狠色综合网| 婷婷五月综合激情| 激情内射人妻1区2区3区| 激情性爱五月| 99久久99九九99九九九| 欧美黑人巨大性生话| 五月Huangsewang| 亚洲国产黄色电影| 五月天激情四射网站| 色婷婷导航| 五月婷婷激情四季| 精品久久久久久久人妻| 五月激情小说| 五月婷婷综合激情| 狠狠爱青青草| 另类国产区| 激情五月天综合网| 深爱五月激情综合| 视频色色色色色色| 伊人99热| 黄网在线免费| 五月天激情网址| 色色色999| 日本狠狠爽| 五月婷婷亞洲中文| 日本三级中国三级99| 日韩无码成人电影| 日韩在线看AV| 特级操b片| 婷婷,五月天,丁香,第一| 夜夜爽日日躁| www.激情| 疯狂做受XXXX高潮A片| 操逼电影免费看| 久久Xx| 99re这里只有精品9| 婷婷五月天论坛| 人人舔人人| 欧美 日韩 成人在线| 中文字幕无码人妻少妇免费视频| 五月深情久久| 亚洲婷婷在线播放十月| 天天爽天天做| 欧美丁香婷婷五月| 国内自拍97在线| 久青操| 狠狠久久婷五月综合色| 思思精品视频| 狠狠五月天| 亚洲国产成人AV在线| 欧洲一区二区| 99色看| 五月天婷婷爱| 激情内射人妻1区2区3区| 大香蕉人人网| 色99视| 婷婷色色婷婷| 激情六月天| 91制片厂久久久国产电影| www.黄色片-久久成人国产精品在线播放-999AV| 日韩免费乱轮网站| 色婷婷成人| 天天色丁香| 亚洲乱码日产精品BD| 94干大香蕉| 开心五月婷婷五月| 色播五月婷婷| 国产成人精品一区二三区熟女在线| 色约约视频一区二区三区四区五区 | 久久久久99精品成人片| 丁香婷婷性爱| 97人人干视频| 玖玖资源站国产| 色永久| 色色色热| 好色婷婷| 热99视频精品| 外国碰视频网站97| 丁香六月婷婷激情| 色五月婷婷狠狠撸| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 久久五月天免费网站| 天堂婷婷五月在线| 超碰三级片| 一本大道伊人AV久久综合| 久热超碰91| 亚洲无码成人性爰网| 伊人网大香| 五月天操逼激情| 九九激情网| 婷婷五月丁香手机在线视频| 精品一二三区久久AAA片| 亚洲天堂无码| 狠狠五月天婷婷激情网。| 成人av在线网站| 五月天丁香久久综合| 九九精品热| 狠狠色狠狠操| 色婷婷五月综合激情中文字幕| 综合色99| z色五月播播久久| www.97视频| 亚洲超碰在线| 五月天久久91| 三级毛片视频| 美女五月天婷婷| 色婷久九| 综久久久| 五月天五月婷五月激情网| 欧美精品99久久久| 中文字幕欧美久久| 婷婷五月天小说网| 免费黄网不卡AV| 俺也去婷婷五月天第五色| 天天爱天天操| 91久久18| 久久视频这里都是精品| 狠狠干狠狠色| 婷婷刺激综合| 九九色综合视频| 国产欧美熟妇另类久久久| 欧美啪啪五月天| 怡红院精品视频久久久久久久久| 五月天婷婷色| 丁香六月色婷婷| 天天爱天天做天天操| 亚洲黄色网址| 五月丁香六月激情综合啪啪| 99热这里都是精品| 色人久久| 永久免费视频| 4438成人电影| 九九热在线精品| 九月婷婷在线视频| 99热6这里只有精品6| 级情九色| av网址在线| 丁香五月综合| 九九99男女视频在线观看| 亚洲狠狠狠| 亚洲精品白浆高清久久久久久| 久久网站免费亚洲| 99亚州综合精品成人网| 激情综合五月| 思思久久精品| 色六月丁香婷婷啪啪啪| 饮料下药迷倒漂亮女同事强干| 深夜男女福利刺激影院一区| 婷婷五月丁香综合| 婷婷五月天堂| 五月丁香久久综合| 玖玖爱伊人| 五月久久婷婷天堂视频| 99热网址| 日本视频99| 日本天堂免费99| 丁香六月五月天| 伊人喵咪a V| 五月丁香六月情婷婷久久| 久久视频在线视频| 成人婷婷深爱综合网| 99热这里| 九九综合精品| 亚洲成av人影院| 99热精在线九九久久保| 少妇性按摩无码中文A片| 五月婷婷久久综合| 亚洲无AV在线中文字幕| 我要看激情五月天| 日韩欧美婷婷丁| 亚洲日韩欧美综合VA| 99啪视频在线观看| 色婷婷五月天| 另类综合激情| 96丁香六月婷婷蜜桃综合久久| 成久综合视频| 国产成人精品一区二三区熟女在线| 天堂婷婷五月色| 97在线观视频免费观看| 乱色色色| 五月婷婷丁香网| 五月天伊人久久久久| 在线你懂的亚洲欧| 色播五月| 五月综合婷婷网| 中文字幕视频色婷婷| 六月久久狠狠| 97碰人人操| 成人在线精品| 精品无码色| 99久久户外勾搭| 欧美久久婷婷| 色色丁香五月| www.激情| 五月丁香拍拍激情综合| 日逼影音先锋男人资源站| 黄色激情五月天| 色吊丝永久访问网址| 天天摸天天肏| 久久亚洲色导航| 国产AV影片| 丁香六月久| 午夜成人综合| 五月天婷婷影院| 五月丁香在线国产| 国产婷婷五月| 亚洲区视频| 欧美激情 日韩无码 婷婷 五月天 久久婷婷丁香五月一二三 | 亚洲色婷婷网站| 1024AV视频| 婷婷成人视频| 九九热这里只有精品5| 天堂成人A片永久免费网站| 婷婷五月天亚洲综合网| 69人妻人人澡人人爽久久| 超碰人人射| 99小精品| 91日本在线免费| 91丨九色丨熟女| 激情 五月 婷婷 丁香| 九九无码AV| 五月天天视频| 婷婷激情肏屄网| 中日韩美欧成人一区二区精品在线| 婷婷精品性视频| 色欲天天综合| 性欧美大战久久久久久久83| 涩五月婷婷| 99精品久久| 免费三级黄色| 在线观看欧美| 色五月在线| 综合激情四射一theav| 久久久99久久| 天天摸日日舔狠狠添婷婷婷| 大香蕉操操| 丁香五月自拍| 亚洲色爱综合| 九九国产精视频| 99九九这里有免费视频| 久久久99视频| 囯产精品一品二区三区| 五月丁香激情怕怕| 亚洲乱码日产精品BD| 五月丁香六月综合激情| 夜夜骑日日操| 色99婷婷五月天| 能看的AV| 99热在线观看精品免费| 99小视频在线| 亚洲成人av中文| 久操人妻| 久久精品66| 久久新地址| 九月丁香八月婷婷加勒比| 婷婷丁香九月| 色五月丁香在线| 爽极品色| 欧美日韩婷婷五月天| 久久人人超| 伊人婷婷五月| 另类亚洲2| 99久久超级| 五月婷在线观看| 日本激情五月天‘| 国产 码在线成人网站| www九九免费视频| 伊人久久婷| 婷婷五月天色综合| 永久无码色| 一区无码| 婷婷五月天av| 色你久久| 色天天综合| 亚洲激情亚洲激情| 亚洲九九婷婷| 国精产品一区一区三区免费视频| 色5月婷婷色| 五月婷婷丁香av| www.99视频| 成人无码中文| 嫩草AV久久伊人妇女超级A| AV成人在线播放| 99综合99| 色婷婷影视| 综合婷| 欧洲色色| 青草久久五月婷伊人| 久久99久久久久久久噜噜| 亚洲无AV在线中文字幕| 丁香六月色婷婷| 一本综合丁香日日狠狠色| 色亚洲无码| 七月激情六月婷婷综合在线播放| 久久AV无码精品人妻系列试探| 欧洲亚洲免费视频9 | 五月婷无码| 伊久久婷婷| 草久私拍| 99免费超碰在线| 久久五月天婷婷| 天天天干夜夜夜操| 一级A片天天操夜夜操| 色婷婷基地在线| 99热在线看片| 人人操婷婷| 五月丁香六月激情| 91久久久久久| 综合网啪| 这里只有精品网| 五月夜丁香| 91丨九色丨大屁股| 久久99综合网| 婷婷五月丁香激情图片| 国外亚洲成AV人片在线观看| 99精品综合| 丁香久久五月婷综合| 操射国产日本| 色青青视频| 亚洲综合视频天天精品| 色丁香久久| 91色吧网| 九九热99精品| 天天操天天干天天射| 亚洲色色色| 99热久| 永久免费视频| www.五月天| 天天色色天天| 五月天婷婷视频30| 狠狠干狠狠干狠狠干狠狠干| 日韩三级片一区二区| 久99久视频| 久99热在线观看| 欧美在线视频9| 久久婷婷艹| 国产午夜成人免费看片无遮挡| 99热精品在线观看| 色五月婷婷丁香五月| 日本啪啪网| 播播网色播播| 99热地址| rr天天操| 五月丁香六月综合激情无码软件亮点 | 狠狠色噜噜狠狠狠888| 中文字幕乱轮| 夜夜爽天操| www色中色综合| 婷婷激情五月天亚洲综合| 欧美色播综合在线观看| 久久99激情| 天天日天天干天天爱| 天天射影| 综合亚洲色色| 天天色综和网| 伊人婷婷青青cao| 美日韩成人| 五月香婷婷| 99久久久久| 在线中文字幕视频| WWW久久久| 日韩成人中文字幕| 久久性爱视频| 99视频内射三四| 色婷婷五月综合| 99热91| 2015好吊操| 在线观看熟女少妇| 五月婷婷中字在线| 天天爱天天做天天舔| 亚州激情在线视频| 9热在线视频| 一区二区三区四区牛| 中文av在线观看| 啪啪五月综合| 超碰97久久| 婷婷丁香五月天影院| 婷婷碰碰| 五月综合婷婷五月| 婷婷成人五月天成人文学| 爽天天天天天天天| 亚洲性爱电影| 久久久久婷婷| 26uuu国产| 中文字幕永久在线| 亚洲综合色网| 国产精品久久久久久久久久| 97亚洲视频在线| 久久一级AV| 色综合77777| 激情婷婷。| 丁香婷婷婷五月综合色情| 婷婷五月丁香超碰| 99视频九九热| 欧洲毛片基地c区| 五月婷丁香花| 五月丁香婷婷久久| 草做免费在线观看| 99视频精品在线| 欧美色色色色色色色色色色| 九九色逼| 91操人| 欧美情色一区| 99ri视频在线观看| 婷婷色色丁香五月天| 亚洲激情AV| 91艹人| 婷婷五月天激情五月天网站| 色婷婷婷婷| 婷婷欧美综合| 99热这里| 综合久久激情久久| 综合九九久久| 九九九九毛片| 干婷婷五月天| 天天日日综合| 五月丁香六月激情综合| 激情综合五月婷婷| 九九综合影音先锋| AVV黄| 日本三级黄色大片| 人妻videos人妻高清| 婷婷五月天BBw| 婷婷五月天网址| 亚洲九九视频| 大香蕉久久视频久久视频| 亚州第一A片| 九九碰九九爱97超| 五月婷人妻| 色五月婷婷丁香五月| 人妻久久婷婷| 六月丁香网| 五月天婷婷激情六月久久| 日韩另类在线观看| WWW五月婷婷| 亚洲色 视频| 久久婷婷五月综合激情国产 | 玖玖五月| 九月婷婷| 超级97碰碰| 亚洲永久四色| 久久成人精品视频| 婷婷久久免费| 丁香五月婷婷基地| 色五月激情综合网站| 久9视频| 婷婷成人丁香色情基地30| 人妻久久人妻久久第一区| 八戒青柠影视剧在线观看| 天天干 夜夜爽| 久久无码成人| AV成人在线播放| 亚洲一色色色色色色色色| 天天色,天天日,天天做| 中文字幕在线日亚州9| 极品人妻VIDEOSSS人妻| 五月丁香成年黄色| 欧美va国产va| 色婷婷综合网| 99这里有精品| 婷婷丁香综合| 蜜臀av无码久久久久久久久| 99热免| 色欲色香综合网| 老师高潮流白浆喷水的A片| 91丨九色丨白浆秘| 天天 青草 丝袜制服 在线| 久99热在线观看| 风流少妇A片一区二区蜜桃| 色综合久久综合| 日日操夜夜操狠狠操| 婷婷五月丁香综合激情| 亚洲超碰在线| 久久综合网桃花| 久久亚洲色导航| 天天色天天日| 国产婷婷色综合AV蜜臀AV| 五月激情射| 就爱干 在线| 91九色无码日韩| 99人妻碰碰久久久禁片| 亚洲六月婷婷| 五月婷在线视频免费播放| 久久婷综合| 九九色婷婷Av| 丁香婷婷五月天校园春色| 五月在线| 成人做爰高潮A片免费视频| 狠狠色97| aaa日韩| 永久精品| 五月花激情网| 性爱电影科技贸易有限公司| 丁香五月香蕉| 成人小说色图婷婷五月| 99婷婷五月天| 婷婷九月在线| 久久婷婷六月综合国际| 婷婷月五天在线在线看| 思思热精品在线| 最近免费中文字幕大全高清大全1| 丁香婷婷色九月| 欧美综合激情五月天| 99精品亚洲| 99热99思午夜精品| 青青草护士中出内射-欧美电影在线天堂新版 | 这里只有精品视频视频在线观看| 99色热| 色综啪啪网| 五月丁香六月婷婷精品| 色婷五月天| 婷婷色色网站| 婷色人人狠| 久久婷婷久久| 9久9久9久女女女九九九一九| 思思视频这里是精品| www999日韩精品| 九九色中文| 天天拍天天做视频| 五月婷婷性爱| 色综合久久综合| 成年人99热| 婷婷五月丁香五月| 久久综合丁香| 天天干 夜夜爽| 亚洲天堂婷婷丁香| 丁香五月天天哦| 五月丁香好婷婷A片网| 天堂网操| 丁香六月婷婷色XXXX| 婷婷五月天在线观看| 26uuu精品一区二区| 日韩色五月| 人人色人人弄人人操| 国产VA播放| av网址在线| 色婷婷久久视屏| 久久精品亚洲一级牲爱综合| 国产成人片| 99re熱| 五月天丁香综合| 秋霞丝袜啪啪啪| 激情五月婷婷老师| 日韩黄色影院| 5月丁香婷婷| 996er热| 亚洲愉拍99热成人精品| 五月丁香六月激情| 日本人妻操| 五月网网站| 天天日天天久久青青| 国产成人AV人人爽人人澡Va| 五月亭亭六月天| 99热青青草| 婷婷五月天情色| 先锋男人91资源| 亚洲综合丁香五月天| 青青草青青草五月天| 日日天天操| 久久九九综合| 久青青久| 狠狠干五月天| 九九黄色网| 色婷婷久久综合| 五月婷婷丁香大陆免费| 久色激情| 一起草av在线观看| 欧美综合激情丁香五月六月婷| 丁香影院五月综合| 亚洲无码九九| 97碰碰免费.视频| 精品怡红九九九| 偷拍丁香九月激情| 丁香五月激情视频在线| 狠狠CAO日日穞夜夜穞AV| 亚州激情在线视频| 久久99久久99久久99人受| 激情五月婷婷免费视频| 婷婷中文字幕| 性爱先锋AV| 色偷偷五月天| 操操操操操操婷婷五月天| 色色色9| 99视频内射三四| 亚洲av骚货| 青青热视频| 成人丁香| 狠狠狠婷婷五月综合| 色播播五月天| 色情五月丁香婷婷网| 丁香五月影院| 五月婷婷六月丁香综合视频在线| 99精品在线播放| xx色综合| 人人插操| 日撸夜撸日操| 色婷婷播放| 亚洲成人五月天| 丁香五月综合久久| 久久综合影院 | 久久久久人妻网址| av第一二区| 五月丁香激情综合啪啪| 人人操插| 深爱激情丁香| 色色色99韩| 99热在线观看| 久久96热| 日韩AV在线免费| 九九视频在线观看| 色欲久久久久久综合网综合网| 色婷婷88| 婷婷色五月激情| 久久五月视频| 岛国av网| 十二区无码| 亚洲天天操| 99久久婷婷五月综合| 亚洲精品亚洲人成人网| 丁香五月天欧洲在线| 亚洲精品又粗又大又爽A片| 色色婷婷综合网| 欧美久久久中文字幕| 六月丁香婷婷综合在线| 国产97色在线| 99久久这里只有精品| 天天草天天舔| 国内熟女黄色系列| 色色色色色网| 东京热伊人| 大香蕉伊人久久| 亚洲综合婷婷| 热久久婷婷| 九月综合| 色五月天丁香| 五月天激情四射| 色色色色av777| 色色网91| 色婷操逼| 五月激情丁香久久综合网| 欧美情色一区| 欧洲亚洲精品| 色播婷婷五月天| 26uuu国产| 一级二级香港秋霞欧美欧美秋霞| 九月丁香欧美综合| 在线视频你懂得| 妻久久久久| 婷婷五月综合社区在线| 五月婷激情影院| 天天色天天搡| 色青青电影色五月| 亚洲欧美丁香五月天亚洲欧美| 99ri在线| 欧美私人家庭影院| 99热这里只有精品16| 成人一级片| 精品一二三区久久AAA片| 欧美激情综合色综合| 超碰资源在线| 色色五月婷婷| 综合色激情| 玖玖色综合网| 欧洲电影在线观看免费版英语版 | 综合婷| 欧美日韩成人在线| 米奇影视资源777狠狠色婷婷五月天激情网 | 大功率国产在线| 碰碰碰97国产| 久久婷婷五月综合激情国产 | 狠狠干狠狠干狠狠干狠狠干| 久久九九re热| 青青草五月天| 99色最新在线视频网站| 亚卅毛片| 专区无日本视频高清8| 可以直接看的AV| 色综合九九| 六月成人网| 六月婷婷五月丁香| 日日干日日色| xxxx五月天色色| 久久a热| 五月婷导航| 亚洲无码播放| 九九成人电影婷婷| 另类精品视频在线观看| 天天爽,天天操。| 亚洲九九婷婷| 久热这里| 另类激情综合| 99热欧| 欧美激情久| 婷婷激情五月综合| 在线观看中文字幕| 亚洲五月天综合色| 久久久人人操A V| 婷婷成人视频| 色色射| 好吊操这里只有精品| 四川操逼站| 国产成人网址| 色色色com| 天天摸,天天爽| 啪啪操操| 亚洲人人操| 婷婷五月天成人动漫 | 激情美女五月天激情在线| 久久99久久99精品免观看粉| 色吧婷婷五月亚洲| 影音先锋噜一噜| 国产日日操夜夜操的肉棒视频| 五月色色色| 91丨九色丨老熟女激情| 狠狠干,狠狠操| 色婷婷久久综合中文久久一本| 99久久66| 色五月婷婷激情基地| 国产又黄又爽又色的免费| 色色五月婷婷久久| 99久久99热这里只有精品| 综合大香蕉| 99精品丰满| 丁香婷婷久久| 色爱综合网| 久久99久久99精品免视看婷婷| 六月丁香婷婷综合狠狠爱夜夜爱| 日韩AV免费电影在线播放| 中文字幕婷婷| 开心色五月天久久久久久久| 思思久ren热| 国产婷婷综合在线免费视频| 亚洲无码 图片区| 五月婷婷之综合激情| 人人摸人人摸| 久久婷婷色丁香| 九九99精品| 99视频在线观看视频| 国产露脸150部国语对白| www色五月| 丁香婷婷婷五月| 婷婷五月天成人动漫 | 亚洲狠狠干| 五月丁香少妇网| 亭亭色色五月天| 日日噜噜久久婷婷五月天| AA片在线观看视频在线播放| 99热啪啪| 激情图片五月天| 人妻操操色| 人人亚洲| 五月丁香 啪啪| 五月深情久久| 欧洲电影在线观看免费版英语版| 九九碰九九爱97超碰| 这里只有精品无码| 婷婷五月天成人基地| 丁香六月天AV| 五月丁香婷中文| 69精品人妻不卡视频| 熟女色色一区二区| 九九激情网| 九九热九九| 欧美精品18| 日韩操| 五月亭亭激情综合| 狠狠干综合| 91九色小视频| 综合日本婷婷| 国产毛片操B| 色五月婷婷五月天| 青草激情综合| 午夜九九九九九九九九九九九九九| 色五月综合激情| 五月天综合区| 深爱 五月天| 超碰人人艹| 五月激情射| 丁香97综合| 久777| 中文毛片无遮挡高潮免费| 天天干天天操天天爽| 婷婷五月AV| 天天综合精品| 99热这里只有精品2| 日韩精品色| 天天舔天天摸天天射| 日韩色色网| 欧美影院婷婷| 六月丁香色色色| 另类小说色婷婷| 97AV在线视频| 97欧美在线| 99热8| 丁香狠狠色婷婷久久无码视频| 亚洲人妻一区二区| 五月婷婷久久激情| 夜夜爽天天| 九九热视频精品2| 99久久综合网| 综合AV在线| 五月天伊人综合| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 婷婷五月综合啪| 久久这里只有精品热在99| 日本颜色视频人人爱| 狠狠色噜噜| 色五月婷婷久久大| 激情久久五月网| 婷婷久久夜| 丁香五月婷婷呀| 久久99热这里| 五月天第四色开心色播| 快乐婷婷五月天| 丁香五月婷婷深爱综合激情| 九九色热| 久久久精品视频79| 五月丁香激情啪啪| 色情五月丁香| 婷婷色五月激情| 大香蕉九九| 九九99久久| 五月6香色婷婷视频| 午夜婷婷丁香| 亚洲欧洲99| 人妻射精AV| xxxx五月| 色播丁香五月婷婷操:屄| 色婷婷丁香五月天在线视频| 五月天无码视屏播放| VA国产在线综合网站| 五月婷伊人| 五月天色婷婷小说| 亚洲综合色丁香婷婷六月| 日本噜噜色网| 狠狠干 狠狠操| 五月久久丁香| 久久婷婷六月综合| 26uuu| 色五月涩涩婷婷| 日本欧美国产| 成人 在线 日韩| 五月开心激情| 婷婷五月天色色| 777影视理论片大全在线观看| 202丰满熟女妇大| 婷婷情色开心五月天99| 7777国产盗摄农村女人| 婷婷丁香色女人| 婷婷五月精品中文| 激情亭亭五月| 日本99在线视频| 色噜噜综合网| 337p大胆噜噜噜噜噜91Av| www.com色播五月天| 2015超碰| 91丨九色丨熟女|新版| av九九| 色情五月丁香婷婷网| 五月天婷婷激情干干| 天天情色五月天| 99色免费观看全部| 色婷婷丁香五月| 情色五月天网站| 五月天婷婷在线视频| 99热在线观看| 色啪久 | 丁香五月婷老师| 狠狠干在线| 亚洲成人免费在线| 激情久久久| 亚洲免费综合一区| 欧美69色| 外国碰视频网站97| 99色在线视频观看| 五月婷丁香久久久| 洗浴中心操B视频| 狠狠干综合| 亚洲操操| 最近中文字幕在线中文视频| 九九色网专区| 人妻在线网站| 婷婷五月激情图片| 婷婷五月天播| 激情 婷婷 插| 人人爽天天爽| 色色色色综合网| 五月婷婷激情综合| 超碰cap| 综合99视频| 另类激情五月天。| www天天干| 六月合五月婷| 操操人人| 丁香五月综合| 丁香婷婷婷| 超碰免费大香蕉| 天天天操天天天爰| 日韩精品无码99| 丁香久久久| 婷婷五月色| 久操香蕉| 亚洲色夜| www.av视频xx999.com| 激情婷婷丁香色五月| 婷婷的色色五月天| 色噜噜狠狠色综无码久久合欧美| 日韩在线观看网址| 久久婷婷激情四射五月天| 九九热a| 丁香五月第四色88| 成人视频在线免费播放| 九九99精品| 亚洲9久久精品| 大香蕉九操| 六月伊人婷婷| 色婷婷五月在线| 激情五月天在线视频| 婷婷97色| 久久婷婷五月综合精品蜜芽| 激情99热| 色色色图| 国产精品电影| 成人草榴视频| 九月婷婷激情| 婷婷亚洲五月丁香综合在线| 热99这就是精品视频| 五月婷婷在线视频| a免费在线| 9操在线| 日韩按摩二区| 99人妻碰碰碰久久久久视| 亚洲第一综合| 婷婷激情啪啪| 蜜桃婷婷五月| 激情五月,婷婷五月,丁香五月| 色婷婷基地| 91九色偷拍| 久婷婷| 伊人午夜综合色啪| 香蕉综合在线| 六月婷婷综合网2| 婷婷九月激情| 久久99久久99精品免观看软件| 综合伊人久久| 国产美女无遮挡裸体毛片A片| www,超碰| 五月丁香六月婷婷在线小说视频| 99热8| 最近中文字幕2019视频1| 色五月婷婷激情基地| 天堂婷婷五月色| 99久久www| 超碰亚洲欧美|