欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

IoTDB Pipe數(shù)據(jù)同步實(shí)戰(zhàn):從時(shí)序數(shù)據(jù)庫(kù)原理到自定義插件開(kāi)發(fā)

IoTDB Pipe數(shù)據(jù)同步實(shí)戰(zhàn):從時(shí)序數(shù)據(jù)庫(kù)原理到自定義插件開(kāi)發(fā) 1. 先把同步這件事想清楚時(shí)序庫(kù)的同步為什么比關(guān)系庫(kù)更麻煩這篇文章是這個(gè) IoTDB 實(shí)操系列里專門講數(shù)據(jù)同步的一篇主題是 Apache IoTDB 的 Pipe 機(jī)制以及基于插件體系做自定義同步的完整指南。先從我自己的一段經(jīng)歷說(shuō)起之前幫一個(gè)新能源平臺(tái)做集群遷移源端累積了三年多的測(cè)點(diǎn)數(shù)據(jù)好幾千億個(gè)點(diǎn)如果按老辦法導(dǎo)出再導(dǎo)入光校驗(yàn)就得折騰一周。后來(lái)用 IoTDB 1.2 的 Pipe 一條 SQL 建管道history 拉存量、realtime 接增量半天時(shí)間目標(biāo)端數(shù)據(jù)就已經(jīng)可以對(duì)外服務(wù)了。這種體驗(yàn)在數(shù)據(jù)庫(kù)同步場(chǎng)景里其實(shí)很少見(jiàn)也因此值得專門寫一篇。內(nèi)容會(huì)覆蓋時(shí)序數(shù)據(jù)庫(kù)同步的基本思路、Pipe 的 Source/Processor/Sink 三段架構(gòu)、從零創(chuàng)建一個(gè)同步管道、以及自定義插件同步的完整步驟適合正在做時(shí)序數(shù)據(jù)容災(zāi)、雙活、邊云匯聚或跨集群遷移的架構(gòu)師、DBA 和平臺(tái)開(kāi)發(fā)。為了有個(gè)參照系我也會(huì)拿 SQL Server 的 CDC/CT 和 MongoDB 生態(tài)里的 MongoShake 做對(duì)比畢竟很多人對(duì)“數(shù)據(jù)同步”的第一印象是從關(guān)系庫(kù)那邊來(lái)的。1.1 關(guān)系庫(kù)與 NoSQL 的同步方案CDC、CT、oplog 重放先給幾個(gè)參照物。SQL Server 的數(shù)據(jù)同步有非常經(jīng)典的兩種方式CDCChange Data Capture變更數(shù)據(jù)捕獲和 CTChange Tracking變更跟蹤。CDC 的思路是后臺(tái)進(jìn)程持續(xù)解析事務(wù)日志把每一次插入、更新、刪除解析成結(jié)構(gòu)化變更記錄。好處是你拿到的不僅是“誰(shuí)變了”還有變更前后的完整數(shù)據(jù)非常適合數(shù)據(jù)倉(cāng)庫(kù)增量抽取、審計(jì)和跨庫(kù)同步。代價(jià)是解析日志有額外開(kāi)銷鏈路會(huì)帶來(lái)延遲。CT 就輕量得多它只維護(hù)一個(gè)版本號(hào)標(biāo)記記錄“哪些行在某個(gè)版本之后發(fā)生過(guò)變化”不保存變化的內(nèi)容。業(yè)務(wù)端需要定時(shí)查詢變更版本拿到變更行號(hào)之后再自己回表?yè)茢?shù)據(jù)。省資源但拿不到最終數(shù)據(jù)適合“只想知道哪些數(shù)據(jù)變了再自己處理”的場(chǎng)景。再看 MongoDB 生態(tài)里常用的 MongoShake。它的原理是訂閱 MongoDB 的主節(jié)點(diǎn) oplog把變更事件解析后投遞給目標(biāo)端可以是另一個(gè) MongoDB 集群也可以是其他異構(gòu)存儲(chǔ)屬于典型的日志消費(fèi)型同步工具。這三者的共同點(diǎn)一句話能概括源的變更先進(jìn)日志工具消費(fèi)日志、解析事件、按序投遞。記住這個(gè)模型后面理解 IoTDB 的 Pipe 會(huì)非常順。順帶說(shuō)一句市面上時(shí)序數(shù)據(jù)庫(kù)還有不少InfluxDB、TDengine、TimescaleDB、Prometheus、QuestDB、KDB 等每家的同步方案差異很大有的是商業(yè)版功能有的依賴外部工具真正把同步做成數(shù)據(jù)庫(kù)內(nèi)建能力、還開(kāi)放插件接口的并不多IoTDB 的 Pipe 算是其中做得比較完整的一套。1.2 時(shí)序數(shù)據(jù)的寫入形態(tài)決定了同步不能照搬關(guān)系庫(kù)思路既然參照物有了接下來(lái)要回答的問(wèn)題是為什么不直接把 SQL Server CDC 那套搬過(guò)來(lái)用關(guān)鍵在于時(shí)序數(shù)據(jù)庫(kù)的寫入形態(tài)和關(guān)系庫(kù)完全不一樣。關(guān)系庫(kù)的最小單元是“一行數(shù)據(jù)”有主鍵、有約束、有事務(wù)時(shí)序庫(kù)的最小單元是一個(gè)又一個(gè)數(shù)據(jù)點(diǎn)按時(shí)間序列時(shí)間線組織同一條測(cè)點(diǎn)下面不斷追加不同時(shí)間戳的值。這意味著幾件事底層存儲(chǔ)是 TsFile 文件加 WAL不是傳統(tǒng)事務(wù)日志。想把“某個(gè)測(cè)點(diǎn)新寫了一個(gè)值”從存儲(chǔ)層單獨(dú)解析出來(lái)必須重新設(shè)計(jì)一套事件模型無(wú)法直接套用 SQL 日志解析。寫入體量不在一個(gè)量級(jí)。一個(gè)大型風(fēng)電場(chǎng)一天可能寫入上千億個(gè)點(diǎn)如果按“每條變更一條事件”的方式同步事件本身的序列化和投遞開(kāi)銷就會(huì)壓垮鏈路。亂序?qū)懭胧浅B(tài)。設(shè)備側(cè)網(wǎng)絡(luò)抖動(dòng)、邊緣緩存補(bǔ)發(fā)都會(huì)導(dǎo)致晚到的數(shù)據(jù)點(diǎn)時(shí)間戳更早。同步機(jī)制如果要求嚴(yán)格按提交序回放反而會(huì)制造大量等待和阻塞。所以 IoTDB 在設(shè)計(jì) Pipe 時(shí)必須同時(shí)處理三件事從 WAL 實(shí)時(shí)捕獲新事件、從歷史文件回溯存量數(shù)據(jù)、以及容忍目標(biāo)端亂序批量寫入。它不是把數(shù)據(jù)庫(kù)日志復(fù)制一下而是構(gòu)建了一條完整的、面向時(shí)序數(shù)據(jù)形態(tài)的同步管道。1.3 Pipe 機(jī)制解決的四個(gè)核心問(wèn)題正式給個(gè)定位Pipe 是 Apache IoTDB 從 1.0 版本開(kāi)始重構(gòu)并持續(xù)演進(jìn)的內(nèi)置數(shù)據(jù)同步框架。它在數(shù)據(jù)庫(kù)內(nèi)部解決了四個(gè)典型問(wèn)題存量遷移舊集群到新集群不需要導(dǎo) dump 再 load建一條帶 history 的管道歷史數(shù)據(jù)就能按時(shí)間片流式搬過(guò)去。增量實(shí)時(shí)同步創(chuàng)建管道之后新寫入的數(shù)據(jù)持續(xù)投遞到目標(biāo)端中間無(wú)需人工干預(yù)??缇W(wǎng)絡(luò)形態(tài)適配既能通過(guò) Thrift RPC 直接寫對(duì)端 IoTDB也能落地成文件應(yīng)對(duì)物理隔離環(huán)境。可編程擴(kuò)展通過(guò) pipe-api 插件接口自定義處理邏輯與投遞目標(biāo)不用改內(nèi)核代碼。下面我把 Pipe 拆成三段逐一說(shuō)這也是理解插件同步的地基。2. Pipe 三段式管道拆解Source、Processor、Sink 各自承擔(dān)什么Pipe 的命名很形象它就是一段一段的管道拼接。你可以在 create pipe 語(yǔ)句里顯式聲明三段也可以省略讓系統(tǒng)用默認(rèn)值。默認(rèn)三段分別是 iotdb-source、do-nothing-processor、iotdb-thrift-sink這個(gè)組合覆蓋了絕大多數(shù)“IoTDB 到 IoTDB”的同步需求。2.1 Source存量數(shù)據(jù)與增量數(shù)據(jù)的雙通道捕獲Source 是整個(gè)管道的進(jìn)水口決定數(shù)據(jù)從哪里來(lái)。我習(xí)慣把它的工作拆成兩個(gè)通道來(lái)看增量通道和存量通道。增量通道監(jiān)聽(tīng) WAL 中的新寫入事件解析后轉(zhuǎn)成管道內(nèi)部的事件對(duì)象。你可以把它理解成“數(shù)據(jù)庫(kù)自己的 CDC 讀取端”——只不過(guò)它讀的不是 SQL 事務(wù)日志而是 IoTDB 的寫入日志。存量通道則是直接掃描本地已有的 TsFile 數(shù)據(jù)文件按時(shí)間范圍切片讀取并把讀取進(jìn)度持久化下來(lái)。source 段常用的參數(shù)就幾個(gè)source插件類型默認(rèn) iotdb-source一般不用換realtime是否同步新寫入的數(shù)據(jù)true/falsehistory是否回溯同步歷史數(shù)據(jù)true/falsestart-time/end-time歷史數(shù)據(jù)的時(shí)間范圍ISO 8601 格式注意帶時(shí)區(qū)including/excluding部分版本支持的測(cè)點(diǎn)路徑過(guò)濾規(guī)則按需使用。這里有個(gè)新手常踩的誤區(qū)以為“得等 history 跑完再手動(dòng)開(kāi) realtime”。實(shí)際不用。history 和 realtime 可以同時(shí)開(kāi)啟IoTDB 會(huì)一邊把存量按時(shí)間片搬過(guò)去一邊把新數(shù)據(jù)接上兩邊各自維護(hù)進(jìn)度。實(shí)測(cè)大存量遷移時(shí)這種并行追平比串行“先遷歷史再等增量”快得多。2.2 Processor在數(shù)據(jù)到達(dá)對(duì)端之前攔一道干點(diǎn)活Processor 是管道中間的處理段也是插件體系里最常被擴(kuò)展的地方。默認(rèn)的 do-nothing-processor 就是原樣放行不做任何加工零額外開(kāi)銷。很多人第一反應(yīng)是“那我永遠(yuǎn)用默認(rèn)不就行了”沒(méi)問(wèn)題但如果同步的數(shù)據(jù)在途中需要被改造Processor 就是那個(gè)唯一的改造點(diǎn)??梢宰龅氖虑榘ǖ幌抻诎礈y(cè)點(diǎn)路徑過(guò)濾比如只同步wind_*前綴的時(shí)間序列其他一概丟棄字段級(jí)別的裁剪或格式轉(zhuǎn)換比如去掉 tag、把攝氏溫度換算成華氏路由改寫比如給目標(biāo)路徑統(tǒng)一加前綴避免邊云匯聚時(shí)多個(gè)邊緣端的設(shè)備 ID 互相沖突敏感信息脫敏比如對(duì)設(shè)備 ID 做哈希處理再寫入目標(biāo)端。用過(guò)流處理框架比如 Kafka Streams的人會(huì)覺(jué)得很熟悉無(wú)非就是 filter、map、transform 的組合。區(qū)別在于 Processor 操作的對(duì)象是批量時(shí)序事件不是單條消息所以性能模型上更接近批處理。2.3 Sink數(shù)據(jù)出口決定你能把數(shù)據(jù)運(yùn)到哪里Sink 是管道末端負(fù)責(zé)把數(shù)據(jù)投遞出去。IoTDB 1.2 內(nèi)置了兩種典型的 Sinkiotdb-thrift-sink通過(guò) Thrift RPC 直接寫入另一個(gè) IoTDB 集群。這是默認(rèn)選擇核心參數(shù)是node-urls對(duì)端 DataNode 地址多個(gè)地址用分號(hào)分隔、username、password。傳輸采用批量 Tablet 形式網(wǎng)絡(luò)利用率比較高。iotdb-air-gap-sink專門應(yīng)對(duì)不能開(kāi)網(wǎng)絡(luò)端口的隔離場(chǎng)景。它把同步數(shù)據(jù)滾動(dòng)寫成本地文件物理隔離環(huán)境下由運(yùn)維用擺渡方式把文件帶到目標(biāo)環(huán)境再導(dǎo)入。適合等保要求高、專網(wǎng)隔離這類生產(chǎn)環(huán)境。選 Sink 的本質(zhì)是在“實(shí)時(shí)性”和“可達(dá)性”之間做取舍。網(wǎng)絡(luò)能通走 thrift-sink 最簡(jiǎn)單網(wǎng)絡(luò)不通就老老實(shí)實(shí)走 air-gap 文件擺渡不要硬開(kāi)端口安全部門不會(huì)同意的。2.4 一條數(shù)據(jù)從寫入到目標(biāo)端落地的完整旅程把三段拼起來(lái)一條數(shù)據(jù)被同步的完整過(guò)程是這樣的業(yè)務(wù)執(zhí)行 insert 寫入源端 IoTDB數(shù)據(jù)先落 WALSource 的增量通道消費(fèi) WAL 事件解析成管道內(nèi)部事件Processor 按配置處理事件默認(rèn)透?jìng)鱏ink 把事件批量投遞給目標(biāo)端目標(biāo)端寫入成功之后返回確認(rèn)管道收到確認(rèn)才把這一批事件的進(jìn)度 checkpoint 往前走一格。注意第 5 步這是整個(gè)機(jī)制的靈魂。管道堅(jiān)持“只有對(duì)端確認(rèn)才推進(jìn)進(jìn)度”保證了斷點(diǎn)續(xù)傳的語(yǔ)義。管道中途異常中斷重啟后從最后一個(gè)已確認(rèn)位置繼續(xù)不會(huì)把已經(jīng)同步過(guò)的數(shù)據(jù)整段重發(fā)。提示排查“數(shù)據(jù)對(duì)不上”問(wèn)題時(shí)先回想這個(gè)五步模型問(wèn)題一定出在某一段源端沒(méi)抓到、中間處理掛了、目標(biāo)端沒(méi)寫進(jìn)或者進(jìn)度沒(méi)推進(jìn)。3. 最快上手一條 SQL 把兩個(gè) IoTDB 實(shí)例接起來(lái)理論講完直接上手。這一節(jié)我用一套可以在本地復(fù)現(xiàn)的配置把兩個(gè) IoTDB 實(shí)例用一條 SQL 接起來(lái)。3.1 動(dòng)手前的環(huán)境檢查假設(shè)你已經(jīng)有源端和目標(biāo)端兩套 IoTDB 實(shí)例版本以 1.2.x 為例。同步本身是“寫入即轉(zhuǎn)發(fā)”目標(biāo)端不需要預(yù)先建好時(shí)間序列寫入時(shí)會(huì)自動(dòng)創(chuàng)建。動(dòng)手前確認(rèn)三件事兩端大版本盡量一致??绱蟀姹静皇前俜职俨荒芡降录袷娇赡艽嬖诓患嫒萆a(chǎn)環(huán)境我不會(huì)冒險(xiǎn)。目標(biāo)端需要給同步賬號(hào)開(kāi)寫權(quán)限。最省事先用 root 把鏈路跑通后續(xù)再收斂成專用賬號(hào)。集群環(huán)境注意管道是節(jié)點(diǎn)級(jí)別運(yùn)行的。多 DataNode 場(chǎng)景下需要確認(rèn)每個(gè) DataNode 上的管道都已經(jīng)建好可以在任意節(jié)點(diǎn)執(zhí)行 show pipes 檢查整體情況。3.2 創(chuàng)建同步管道下面是我在 1.2.x 上驗(yàn)證過(guò)的創(chuàng)建語(yǔ)句create pipe p_to_backup with source ( source iotdb-source, realtime true, history true, start-time 2024-01-01T00:00:0008:00 ), processor ( processor do-nothing-processor ), sink ( sink iotdb-thrift-sink, node-urls 10.0.1.10:6667, username root, password root );各參數(shù)的含義拆開(kāi)看historytrue且不寫 end-time表示把從 start-time 到當(dāng)前的所有歷史數(shù)據(jù)按時(shí)間順序同步過(guò)去一直掃到最新。整庫(kù)遷移不要 start-time系統(tǒng)會(huì)從最早數(shù)據(jù)開(kāi)始。realtimetrue創(chuàng)建完成之后的新寫入持續(xù)同步。我建議存量加增量同時(shí)開(kāi)一步到位省得后面再補(bǔ)一條管道。start-time注意帶時(shí)區(qū)。寫成2024-01-01T00:00:0008:00和2023-12-31T16:00:00Z是同一個(gè)時(shí)間搞混時(shí)區(qū)會(huì)漏數(shù)據(jù)。processor先用默認(rèn)不要一上來(lái)就加自定義插件基線跑通最重要。node-urls填目標(biāo)端 DataNode 的地址和 6667 端口。如果目標(biāo)端是集群可以寫多個(gè)地址10.0.1.10:6667;10.0.1.11:6667。3.3 管道的生命周期管理創(chuàng)建完成之后第一件事是確認(rèn)狀態(tài)show pipes; show pipe p_to_backup;show pipe 會(huì)輸出管道的運(yùn)行狀態(tài)、任務(wù)數(shù)、延遲等關(guān)鍵信息。如果狀態(tài)不是 RUNNING先看日志再往下走不要急著刪管道重建。日常管理命令很簡(jiǎn)單stop pipe p_to_backup; -- 暫停定義保留 start pipe p_to_backup; -- 恢復(fù)執(zhí)行 drop pipe p_to_backup; -- 刪除管道定義這里有個(gè)值得注意的細(xì)節(jié)drop 之前盡量先 stop。在同步還在大規(guī)模灌數(shù)據(jù)時(shí)直接 drop目標(biāo)端可能出現(xiàn)半截寫入的中間態(tài)雖然不影響數(shù)據(jù)正確性但會(huì)給后續(xù)檢查制造噪音。3.4 三種常見(jiàn)部署拓?fù)湓趺磁渫ǖ澜ê弥舐涞氐骄唧w業(yè)務(wù)無(wú)非就三種拓?fù)渲鱾淙轂?zāi)一主一備源端建一條管道指向備庫(kù)備庫(kù)只讀。主庫(kù)故障時(shí)切到備庫(kù)管道可以 stop 掉避免浪費(fèi)資源。這種最簡(jiǎn)單不需要額外配置。邊云匯聚多對(duì)一多個(gè)邊緣 IoTDB 各建管道指向中心集群難點(diǎn)在路徑?jīng)_突。多個(gè)邊緣端可能都有同名的設(shè)備測(cè)點(diǎn)直接在中心端會(huì)互相覆蓋。我的做法是用 Processor 給每條管道寫入的目標(biāo)路徑加不同的前綴從管道上做隔離比到中心之后再想辦法區(qū)分要省事。雙活 / 讀寫分離A-B 雙向A 到 B 一條B 到 A 一條。最大的坑是回環(huán)A 的數(shù)據(jù)同步到 BB 端把它當(dāng)成新寫入再被 B 到 A 的管道同步回 A形成無(wú)限循環(huán)。我的經(jīng)驗(yàn)是從架構(gòu)層面解決而不是指望數(shù)據(jù)庫(kù)去重——讓兩端只允許本地寫入不同的設(shè)備或路徑段從源頭切斷交叉路徑。4. 插件同步指南內(nèi)置插件不夠用時(shí)自己寫一個(gè)前面講的是“開(kāi)箱即用”的部分。這一節(jié)進(jìn)入標(biāo)題里另一個(gè)關(guān)鍵詞插件同步。當(dāng)你發(fā)現(xiàn)內(nèi)置的 Source、Processor、Sink 不夠用需要自己定義同步邏輯時(shí)就進(jìn)入這個(gè)環(huán)節(jié)了。4.1 什么場(chǎng)景需要進(jìn)入插件開(kāi)發(fā)模式內(nèi)置三段在“IoTDB 到 IoTDB”的同步場(chǎng)景里確實(shí)夠用但下面三類情況就必須寫插件目標(biāo)端不是 IoTDB。數(shù)據(jù)要同步到 Kafka、RocketMQ、MySQL、對(duì)象存儲(chǔ)或者自研平臺(tái)這時(shí)候最干凈的做法是寫一個(gè)自定義 Sink。數(shù)據(jù)需要在途中做業(yè)務(wù)轉(zhuǎn)換。單位換算、按區(qū)域分流、敏感字段脫敏、路徑前綴改寫這些都是 Processor 的職責(zé)。硬要用外部 ETL 工具繞一圈延遲和復(fù)雜度都會(huì)上來(lái)。同步鏈路上需要觀測(cè)能力。比如每條事件打一條日志、輸出指標(biāo)、觸發(fā)告警同樣可以做成一個(gè)輕量 Processor 插件掛在管道里。4.2 手寫一個(gè)自定義 Processor測(cè)點(diǎn)過(guò)濾示例先講骨架。一個(gè) Pipe 插件本質(zhì)上是依賴 pipe-api 模塊的 Java 工程實(shí)現(xiàn)對(duì)應(yīng)接口打成 jar 放到 DataNode 擴(kuò)展目錄在 create pipe 時(shí)用全類名引用。Maven 依賴長(zhǎng)這樣版本換成你實(shí)際目標(biāo)版本的坐標(biāo)dependency groupIdorg.apache.iotdb/groupId artifactIdiotdb-pipe-api/artifactId version1.2.2/version scopeprovided/scope /dependency以“只同步特定前綴測(cè)點(diǎn)”的 Processor 為例核心邏輯如下。接口方法為了講清思路做了簡(jiǎn)化實(shí)際簽名以你拉取的 pipe-api 源碼為準(zhǔn)package com.example.pipe; import org.apache.iotdb.pipe.api.PipeProcessor; public class PathFilterProcessor implements PipeProcessor { private String allowPrefix; Override public void validate(PipeParameterValidator validator) { String v validator.getAttributes().getString(allow-prefix); if (v null || v.isBlank()) { throw new IllegalArgumentException(allow-prefix must be set); } } Override public void customize(PipeProcessorRuntimeConfiguration config) { this.allowPrefix config.getEvaluator().getString(allow-prefix); } Override public void process(PipeData data) { if (data.getPath().startsWith(allowPrefix)) { data.forward(); } else { data.drop(); } } }接口雖然簡(jiǎn)化了但你要記住的關(guān)鍵點(diǎn)不變validate 校驗(yàn)參數(shù)、customize 讀取 create pipe 里傳入的配置、process 決定每批事件是放行、丟棄還是改寫。特別提醒事件在自定義 Processor 里必須明確調(diào)用放行方法否則后面的 Sink 什么都收不到而且不會(huì)報(bào)錯(cuò)排查時(shí)很容易懵。4.3 手寫一個(gè)自定義 Sink轉(zhuǎn)發(fā)到消息隊(duì)列再舉一個(gè)更貼合“插件同步”訴求的例子目標(biāo)端不是 IoTDB而是 Kafka。package com.example.pipe; import org.apache.iotdb.pipe.api.PipeSink; public class KafkaSink implements PipeSink { private KafkaProducerString, byte[] producer; private String topic; Override public void customize(PipeSinkRuntimeConfiguration config) { this.topic config.getEvaluator().getString(topic); // 用 config 提供的 bootstrap.servers 等參數(shù)初始化 producer } Override public void transfer(PipeData data) { producer.send(new ProducerRecord(topic, data.toBytes())); } Override public void close() { producer.close(); } }這個(gè)例子里最關(guān)鍵的也是最有教訓(xùn)的一點(diǎn)資源生命周期。KafkaProducer 這類連接型資源必須在 customize 或 start 階段初始化、close 階段釋放。如果寫進(jìn) transfer 里每批事件都 new 一個(gè) Producer同步吞吐會(huì)肉眼可見(jiàn)地崩掉而且大概率把目標(biāo)端連接數(shù)打滿。4.4 插件的部署與使用完整流程插件寫好之后部署流程是固定的mvn clean package打出 jar把 jar 復(fù)制到每個(gè) DataNode 的ext/pipe目錄不同版本擴(kuò)展目錄名略有差異以官方文檔為準(zhǔn)重啟 DataNode確保插件類被加載。有些版本支持動(dòng)態(tài)加載但重啟是最穩(wěn)妥的做法在 create pipe 語(yǔ)句的對(duì)應(yīng)段里把插件名換成你的全類名并傳入插件需要的參數(shù)create pipe p_kafka with source ( source iotdb-source, realtime true ), processor ( processor do-nothing-processor ), sink ( sink com.example.pipe.KafkaSink, bootstrap.servers 10.0.2.10:9092, topic iotdb-raw );用 show pipes 確認(rèn)狀態(tài)后往源端寫一條數(shù)據(jù)去 Kafka 消費(fèi)驗(yàn)證。注意自定義插件的加載依賴 DataNode 的 classpath。遇到“插件放了卻沒(méi)生效”第一件事去 DataNode 日志搜 ClassNotFoundException第二件事確認(rèn) ext/pipe 路徑下沒(méi)有因?yàn)槭謩?dòng)解壓多套一層目錄。5. 生產(chǎn)環(huán)境實(shí)戰(zhàn)筆記從踩坑到監(jiān)控優(yōu)化管道跑起來(lái)只是開(kāi)始真正考驗(yàn)人的是長(zhǎng)期穩(wěn)定運(yùn)行。這一節(jié)把我實(shí)際踩過(guò)的、以及幫別人排查過(guò)的典型問(wèn)題整理成筆記。5.1 最容易翻車的幾個(gè)典型瞬間先列高頻問(wèn)題清單都是真實(shí)發(fā)生過(guò)的目標(biāo)端磁盤寫滿Sink 寫失敗不斷重試管道進(jìn)入 ERROR 狀態(tài)。磁盤恢復(fù)以后需要手動(dòng) start pipe不要指望它會(huì)自動(dòng)恢復(fù)。history 同步的 start-time 時(shí)區(qū)配錯(cuò)導(dǎo)致漏了前一個(gè)小時(shí)的數(shù)據(jù)。排查時(shí)先看管道進(jìn)度和源端最早數(shù)據(jù)的時(shí)間戳對(duì)不上就基本鎖定是時(shí)區(qū)問(wèn)題。雙向同步?jīng)]做路徑隔離A 同步給 B 的數(shù)據(jù)在 B 端被當(dāng)成新寫入又被 B 到 A 的管道同步回 A形成回環(huán)風(fēng)暴。這個(gè)從架構(gòu)上隔離最靠譜。自定義 Processor 里拋異常沒(méi)處理整個(gè)事件流被阻塞。癥狀是源端業(yè)務(wù)正常、目標(biāo)端遲遲沒(méi)數(shù)據(jù)定位時(shí)看 DataNode 日志里的 pipe-plugin 異常棧。5.2 故障排查的完整鏈路我自己排查詢題的順序是固定的按這個(gè)鏈路走90% 的問(wèn)題能定位到具體一段show pipe p1看總體狀態(tài)和最近延遲先判斷管道是不是活的看源端 DataNode 的 pipe 相關(guān)日志logs 目錄下按天滾動(dòng)直接搜 pipe 關(guān)鍵字看目標(biāo)端 DataNode 日志確認(rèn)有沒(méi)有收到連接、寫入有沒(méi)有失敗如果兩端日志都正常再回到數(shù)據(jù)本身源端查最新寫入目標(biāo)端查對(duì)應(yīng)測(cè)點(diǎn)看時(shí)間差是否合理最后才懷疑進(jìn)度問(wèn)題確認(rèn)管道的 checkpoint 是否長(zhǎng)期不推進(jìn)。這個(gè)順序的核心邏輯是從外圍到核心逐步縮小范圍。最忌諱的是還沒(méi)看日志就 drop 管道重建那等于銷毀了現(xiàn)場(chǎng)。管道定義重建很容易但日志和進(jìn)度信息一丟下次再出問(wèn)題還是抓瞎。5.3 延遲、吞吐與參數(shù)調(diào)優(yōu)同步管道的性能調(diào)優(yōu)方向上無(wú)非四個(gè)維度批量大小與批量時(shí)間Sink 端攢批發(fā)送吞吐高但延遲會(huì)稍微增加。追求低延遲就調(diào)小批量時(shí)間追求吞吐就調(diào)大。并發(fā)通道數(shù)單管道吞吐不夠時(shí)優(yōu)先看 Source 側(cè)讀歷史文件的并發(fā)通道數(shù)。多測(cè)點(diǎn)大批量場(chǎng)景加并發(fā)通常是立竿見(jiàn)影的。目標(biāo)端寫入能力同步的終點(diǎn)還是寫目標(biāo)庫(kù)。目標(biāo)端如果有 TTL 清理、壓縮、亂序合并策略都會(huì)成為隱形瓶頸規(guī)格上不要比源端差。網(wǎng)絡(luò)參數(shù)跨機(jī)房同步要配置連接超時(shí)和重試次數(shù)避免長(zhǎng)鏈路抖動(dòng)把管道打成 ERROR。具體參數(shù)名以你所用版本官方手冊(cè)為準(zhǔn)方向就是“別讓一次性抖動(dòng)變成持久故障”。5.4 我現(xiàn)在默認(rèn)使用的穩(wěn)定性配置清單最后給一份基線建議都是我經(jīng)歷過(guò)多次之后沉淀下來(lái)的默認(rèn)做法架構(gòu)上默認(rèn)只做單向業(yè)務(wù)同步雙活必須做路徑隔離不賭數(shù)據(jù)庫(kù)的去重能力監(jiān)控上把 show pipe 的延遲和狀態(tài)接入告警IoTDB 的 metrics 可以對(duì)接 Prometheus或者腳本輪詢 show pipe 輸出至少保證異常半小時(shí)內(nèi)能被發(fā)現(xiàn)容量上目標(biāo)端預(yù)留源端寫入峰值 1.2 到 1.5 倍的磁盤和內(nèi)存余量同步是有放大效應(yīng)的演練上每個(gè)月做一次 stop/start pipe 加目標(biāo)端斷網(wǎng)恢復(fù)演練確認(rèn)斷點(diǎn)續(xù)傳在你自己環(huán)境里真的可用別到災(zāi)備切換那天才第一次驗(yàn)證文檔上每條管道建完在平臺(tái)描述里寫清楚源地址、目標(biāo)地址、過(guò)濾規(guī)則、創(chuàng)建人和時(shí)間。半年之后沒(méi)人記得這條管道是誰(shuí)建來(lái)干什么的是運(yùn)維事故的開(kāi)始。最后說(shuō)點(diǎn)個(gè)人體會(huì)。我最早用 IoTDB 做同步時(shí)總想著“同步不就該靠獨(dú)立同步工具嗎”后來(lái)把 Pipe 的 Source、Processor、Sink 三段拆開(kāi)看明白之后發(fā)現(xiàn)它其實(shí)是把“日志捕獲、流式處理、連接器”這一整套思路內(nèi)聚到了數(shù)據(jù)庫(kù)自身和關(guān)系庫(kù)的 CDC、MongoDB 的 oplog 同步在精神上是同一件事。插件接口的存在讓這套機(jī)制不至于變成黑盒遇到內(nèi)置能力不夠的同步場(chǎng)景先寫一個(gè)最小的 Processor 或 Sink 驗(yàn)證事件流再逐步加邏輯比一開(kāi)始就設(shè)計(jì)一個(gè)全功能插件要穩(wěn)妥得多。如果你也在生產(chǎn)環(huán)境跑 Pipe建議按上面的排查鏈路把問(wèn)題過(guò)一遍尤其是那些“看起來(lái)沒(méi)報(bào)錯(cuò)但數(shù)據(jù)就是沒(méi)到”的情況多半都出在進(jìn)度推進(jìn)和插件事件處理這兩個(gè)容易被忽略的環(huán)節(jié)上。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久综合| 色综合丁香| 亚洲国产网站| 丰满人妻一区二区三区| 五月婷婷丁香五月| 狠狠色无码| 天天色凹凸| 亚洲激情五月| 激情五月婷黄版| 激情四射亚洲| 亚洲九九夜夜| 91碰| 99成人在线观看| 激情六| 九九婷婷激情综合网| 99亚洲精品视频| 99久久综合网| 97资源碰碰在线| 丁香五月婷婷五月| 丁香五月Av| 天天夜天天色天天| 丁香五月激情综合在线观看| 六月丁香婷婷五月天| 99精品综合在线| 九九碰九九爱97超碰| 婷婷五月天免费视频| 亚洲精品亚洲人成人网| 美欧日韩国产成人在战| 国产婷婷五月| 九九久久久综合| 天天操天天曰| 99热只有这里有精品| 色婷婷成人五月| 五月丁香日本片| 亚洲综合无码| 91精品国产99久久久久久天美| 第四色在线观看| 91青娱乐青青草| 操你av| 五月丁香久久| 操操操操操操婷婷五月天| 影音先锋91男人资源在线播放| 五月丁香久久| 国产日韩欧美| 天天揷综合网| 日本大人久久| 国产精品激情AV久久久青桔| 久久A极片| 狠狠色综合网站久久久久| 婷婷五月丁香六月综合网| 五月丁香伊人网| 久久婷五月天| 色婷婷成人丁香| 91在线日| 婷婷久久五月| 色 五月婷婷基地| 婷婷欧美激情综合| 亚洲婷婷月丁香五月| 亚州精品色情无码A片| 操人精品| 色五月色五天色情网| 婷婷丁香色性爱| 欧美婷婷丁香社区在线播放| 先锋男人91资源| 丁香婷婷六月| 亚洲婷婷激情综合激情999精品| 九 九九九AV| 五月丁香综合色婷婷| 亚洲春色奇米影视| 久久婷婷丁香五月宗合| 色吧综合网| 丁香五月综合婷婷| 色色永久| 婷婷色五月在线视频| www.久久av.com| 噜噜噜噜噜色| 六月婷久久| 久久色婷婷| 午夜色婷婷| 欧洲亚洲精品| 操大屄五月天视频| 超碰a女人的天堂| 亚洲 欧洲 国产 伦综合| 天天综合 99久久婷婷| 超碰在线观看9| 九九99九九99| 婷婷激情五月天亚洲综合| 99热只有精品在线观看| 色色色婷婷五月| 久操人妻| 狠狠色噜噜狠狠亚洲A∨| 激情五月天啪啪| 丁香五月天啪啪| 黄色99网| 色色婷| 99re在线观看| www.无码com| 殴美日比视频| 九九爱激情| 五月天成人免费视频| 色婷婷五月综合在线| 99在线观看视频精品| 色99最新网址| 天天做天天要天天爱| 婷婷5月天激情综合| 日日操天天| 亚洲性视频| 99精彩视频| 六六久久黄色| 婷婷伊在线| 丁香六月视频免费观看| 天天日天天干天天操| 国产69久久久欧美黑人A片| 丁香婷婷激情四射五月| 玖玖资源部在线播放| 婷婷激情社区| 黄桃AV无码免费一区二区三区| 青青草五月天| 色国产五月| 99久久er| 强壮的公次次弄得我高潮A片日本 | 91在线人| 伊人婷婷五月| 综合色久| 在线中文av| 婷婷丁香五月天狠狠| 色色色色色色色色五月先| 国产婷婷婷| 人妻AV在线| 99热a片免| 丁香五月成人| 久久网站观看免费欧洲国产| 六月婷婷五月天| 九九热内射| 色婷婷色五月另类综合| 51国精产品自偷自偷综合 | AVV黄| 五月深爱婷婷| 欧类av怡春院| 五月婷婷六月丁香激情综合网| 久青草大香蕉| 五月婷婷激情综合视频| 成人无码精品1区2区3区免费看| 色色综合网www| 亚洲另类在线观看| 五月激情站| 99久久精彩视频| 日日夜夜小色哥| 99热66| 91人操人人人操人| 久久激情网| 大香蕉狠狠爱主页| 久久九精品| 五月婷婷综合在线视频| 五月婷色激情五月| 91日综合欧美| 五月丁香综合激情| 9 1在线视频| 激情色视频| 国外亚洲成AV人片在线观看| 丁香五月aV| 婷婷五月天网| 丁香婷婷六月激情| 猫咪伊人AV| 久久婷婷五月丁香| 大香蕉伊然在亚洲90| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 色色三级视频| 天插天啪天啪天啪| 久久色午夜在线导航| 亚洲操b| 丁香五月停停av| 九色视频这里只有精品| 婷婷五月天亚洲综合网| 狠狠穞A片一區二區三區| 精品九九网| 丁香婷婷六月男男| 色很很96| 人操综合| 五月天色婷婷网| 91丁香色五月| 99视频在线精品免费观看2| 九九热av| 九九精品免费视频99| 婷婷香五月综合激情| 久久ri精品| 66精品成人免费网站在线观看| 丁香五月婷婷操逼| 久久久久亚洲AV成人无码电影| 五月丁香激情四射综合| 一级操逼大片| 色九月婷婷综合| 欧美在线视频99| 中国女人做爰A片| 六月婷婷狠狠做| 狠狠色噜噜狠狠亚洲A∨| 日韩淑女人妻luan伦激情精品一区二| 色婷婷91激情小说| 91精品综合久久久五月天| 丁香婷婷色九月| 天天激情5月天亚洲| 99色在线视频| 色五月欧美| 伊人大香五月天| 九九成人电影婷婷| 国产99热| 五月天激情开心网| 久久er免费视频| 97色精品视频| 日韩无码专区| 婷婷色五月激情强奸四射| 永久思思热在线| 九色99视频| 婷婷六月天天| 五月天婷婷丁香社区| 婷婷射丁香| 国产毛片精品一区二区色欲黄A片| 深情五月天| 五月丁香大香蕉| 五月婷婷黄色网址| 色欲久久综合| 五月丁香色色| 五月丁香六月婷婷网| 五月天婷婷色五月天| 丁香操逼| 搡BBBB搡BBB搡18| 激情五月天啪啪| 夜夜爽日日躁| 毛片网站谁有| 二色AV| 伊人婷婷99热精品| 丰满少妇乱A片无码| 天天干天天干天天干天天干天天干| 激情久久五月天| 婷婷伊人网| 中文字幕综合色| 久久99热这里只有精品| 91超碰在线播放| 99成人无码| 大香蕉久艹| 变天就操逼婷婷五月| 国产特级毛片AAAAAAA高清| 婷婷爱五月天| 66色在线日韩| 99热这里只有精品1| 操逼福利视频| 五月丁香六月合| 九九热99re8热免费观看 | 在线视频你懂得| 婷婷丁香综合成人| 99色免费视频| 五月丁香龟婷婷| 色婷婷成人影片| 91九色丨国产丨爆乳| 99精彩视频在线观看| 国产精品色情AAAAA片软件| 深爱婷婷网| www.99日本| 婷婷五点亚洲| 永久精品| 99啪啪网| 婷婷伊人五月天| 在线天堂9| 久久视频婷婷| 色婷婷亚洲婷婷| 五月丁香成年黄色| 99热官网精品在线| 五月丁香六月激情综合| 天天射影院| 99视频只有精品| 九九激情网| 婷婷五月成人| 日韩艹比| 六月丁香婷婷综合影院| 97狠狠色| 天天 青草 制服丝袜 在线| 婷婷八月激情| 激情二色月| 婷婷日日天天| 婷婷五月在线观看| 婷婷伊人五月天| 天天插天天爽| 狠狠干五月| 九九九九九九热| 婷婷五月综合色小姐小说| 永久天堂日本| 91玖玖| 乱码操操| 亚洲va在线| 五月丁香亚洲综合| 99精品在线| 五月天激情四射| 色婷婷成人做爰A片免费看网站| 三男玩一女三A片| 又大又粗九一在线| 久久99网| 精品久热| 开心五月天激情网站| 婷婷五月丁香综合激情| 中文AV网| 九九色情网五月天| 国产一级片| 五月婷网| 天天操天天谢| 欧美色99| 99热综合| 爆乳熟女一区二区三区爆乳| 激情开心五月婷婷| 999久久久国产精品| 99热碰碰热| 五月丁香色综合| 手机在线视频观看9| ww久久| 逼逼AV| 五月天伊人| 六月婷婷五月天| 欧美三级巜人妻互换| 肏日网在线看| 丁香婷婷六月天| 五月婷婷69| 开心五月婷婷激情| 激情综合五月丁香六月婷婷| 99热高清在线| 久热这里只有精品3| 亚洲婷婷五月天激情综合| 九九热免费视频| 色婷操逼| 日本少妇AA一级特黄大片| 五月婷婷黄色| 亚洲天天| 国内9l视频自拍老熟女九色| 丁香婷婷免费| 六月综合婷婷开心伊人| 久9精品| 日日干日日s| 婷婷色色丁香五月天| 夜精品无码A片一区二区蜜桃| 啪啪操超碰| 天天干天天操天天上| 久久九九网| 99riAV成人在线视频| 大香蕉久久草| 五月丁香六月激情| 狠狠色婷婷丁香五月| 欧美va视频不用播放器的va视频网| 婷婷综合五月天| 成人草榴视频| 俺去也在线官网| 人人爱操| 我爱大香蕉| 成人丁香五月| 涩玖玖免费视频| WWW色五月天| 成人在线精品| 99热免费精品| 97人妻碰碰碰久久香蕉| 日本女人久久| 日韩精品999| 六月婷婷AV| 天天干狠狠艹| 色婷婷四虎| 天天碰天天插天天操| 97综合在线| 色婷婷9| 欧美色97| 色~性~乱~伦~噜| 丁香激情五月| www.婷婷五月| 日韩啪啪网| AV色五月婷婷| 六月丁香五月婷婷| 丁香婷婷啪啪啪| 亚洲国产精品SUV| 91精品熟女| 人妻人人操| 99 re视频一区| 亚洲在线资源| www.xtbsty.cn.com蜜乳AV| 五月丁香免费视频| 日本狠狠爽| 丁香婷婷综合激情五月色| 天天搞夜夜叫| 伊人爱爱日本| 99热色精品| 日本道久久91| 婷婷成人综合| 日韩99色| 色约约视频一区二区三区四区五区 | 精品成人无码A片观看香草视频| 丁香五月在线伊人| 日韩成人不卡| 五月丁香激情综合网| 高清成人综合| 99久在线精品99re8热| 深爱激情四射| 极品五月天| 五月天婷婷爱| 丁香五月婷婷动漫视频| 婷婷综合在线视频| 丰满人妻一区二区三区| 久热A| 久久嘟嘟丁香| 五月婷色| 五月婷婷成人| 丁香六月色情| 亚洲av网址| 91久操| 色综合久久88色综合天天人守婷| 婷婷日本在线| 日韩九区| 天天插天天干| 五月激情婷婷色| 五月婷婷性爱视频| 天天干夜夜谢| 色狠狠色噜噜AV天堂五区消防| 啪啪黄页网| 99色综合| 亚洲性视频| 日日操夜夜爽天天天| 开心久久网婷婷| 五月婷婷婷| 久久欧洲综合网| AV在线观看网站| www.狠狠| 久久久ww| 午夜丁香五月天综合| 综合色99| 欧美丁香五月| 综合色、色综合| 99色色| 婷婷五月天色网久| 天天噜天天插| 人人人操| 九九99在线视频| 涩综合婷婷| 五月激激激情综合网| 热99这里只是精品| 超碰在线观看9| 爱久久小说下载网| 丁香激情网| 色婷婷激情| 日本噜噜色网| 91色涩| 影音先锋五月天婷婷丁香在线观看| 国产一级片| 婷婷六月情| 99热这里只有精品手机在线观看| 超碰97人人操| 成人资源在线| 婷婷新网址| 青柠影视免费高清电视剧| 香焦网五月天| 色五月在线播放| www.色婷婷。com| 在线中文字幕视频| 97视频91| 影音先锋毛片网站| 亚洲色色五月天| 久久免费高| 日本久久精品| 久9热| av大香蕉| 深爱激情五月网| 99精品久久久| 91ncom.色| 精品色色| 伊人久久大香线蕉av最新| 色停停五月天| 五月丁香青草综合啪啪| 激情网婷婷婷| www.99热. com这里只有精品| 无码激情精品色婷婷久久久久| 色色精品色| 中文网AV| 日韩成人五月天| 大香婷婷| 亚洲国产另类av| 777影视理论片大全在线观看| 五月婷亚洲精品| www.五月丁香av| 五月天天天操天天爽夜夜操| 99热精品网| 美女丁香五月天| 色婷婷成人| 激情人妻综合| 91成人性爱视频| 婷婷久久五月丁香| 色婷婷基地| 人妻AV在线| 九九热在线精品| 色播播五月天| 亚洲中字AV电影在线网站| 天天爽天天| 欧美顶级少妇做爰HD| 在线观看免费人成视频无码| 免费在线观看av网站| 久久99jiu9| 狠狠色丁香久久| 最新色色五月天| 9九热视频| 欧美丁香六月激情视频| 开心深爱激情网| 夜夜撸日日操| 97精品自拍视频| 91蜜桃婷婷狠狠久久综合9色| 99色视频| 色久一| 九九这里是免费的视频5| 婷婷五月天成人网| 五月天激情.com| 色五月成人| 五月天啪啪啪| 9精品国产在热久久| 97碰在线免费观看| 婷婷九月| 夜夜操夜夜姧| 碰97久久| 久久黄色片| 五月天婷综合| 亚洲色小说在线综合| 另类激情首页| 人人爱操| 天天插天天射天天干| 99五月丁香丁| 五月色色激情网| 天天干夜夜想| 岛国午夜视频| 五月丁香婷色| 中文AV在线播放| 丰满少妇乱A片无码| 国产黄色一级片| 99re这里只有精品国产99| 人人爱国产| 九九婷婷网五月天| 丁香狠狠操| 伊人青草成人| 婷婷五月色综合| 婷婷成人基地| 六月丁香婷婷视频综合在线观看| 五月亭亭直播| 91狼友视频网页更新| 99色久| 九九视频精品在线免费| 婷婷久久综合| 色婷婷国产精品综合在线观看| 婷婷五月天亚洲色| 狠狠干婷婷| 卡视频1区2区| 久久婷婷欧美| 免费无码毛片一区二区A片| 91九色在线视频| 99性感视频| 久久99久久99精品免视看婷婷| 婷五月天丁香婷五月| 丁香桃色综合网| 久久色情| 99日本在线| 九九99久久| 九色成人AV在线| 国产在线6| 97人妻碰碰中文无码久热丝袜| 2021日韩无码| 国产无套精品一区二区| 五月丁香综合精品欧美| 五月夜丁香| 丁香六月婷婷| 丁香5月激情网| 久久久大香蕉| 精品久久久999| 婷婷大乡焦噜噜| 免费超碰在线| 国产精品色色| 色婷婷88| 97在线精品视频| 色在线99| 日本三级中国三级99| 免费在线a| www.丁香五月| 婷婷五月天丁香久久| 色999;丁香五月| 内射爽无广熟女亚洲| 五月丁香在线视频观看| 99色综合| 狠狠操天天日| 天天干天天日蜜臀av| 操操操操操电影网| 欧美激情-区二区三区| 色久激情在线| 少妇婷婷五月天| 婷婷九月在线| 色婷婷五月影视| 成人电影一区| 99在线国| 人妻中文字幕网| 久久这里只有精品热在99| 少妇婷婷五月天| 99re热在线视频观看| 久久精品63| 婷婷五月丁香香蕉| 呦呦v线| www.91五月| 99亚洲无码| 91天堂网综合| 97人人射| 久热中文字幕在线线观看| Www.久久| 91久久| 日日日,com| 91无码色色| 岛国AV网| 五月婷丁香| 欧美性生交XXXXX无码小说 | 色色三级视频| 99精品免费| 99热热这里只精品996小说| 国产99久久久| 色情五月天婷婷| 99人人操人人操人人精| 可以看的av| 日本五月视频| 日韩 mm 不卡| 狠狠色色| 亚洲精品永久久久久久| 99色视| 一区二区无码视频| 亚洲色综合| 综合xx网| 丁香六月婷婷久久高清| 五月天久久色| 青青草原亚洲天堂| www.狠狠干com| 超碰二区| 伊人五月婷| 久久久www| 热99只有精品| 成人网址在线观看| 9999热在线| 老司机日日夜夜青草| 五月婷婷丁香五月亚洲色| 婷婷性福五月天| 最新午夜理论片| 我去色色网五雨天| 丁香五月激情综合| 婷婷内射视频在线| 丁香六月婷婷综合在线| 深爱五月月天| 日本久久精品18| 九九婷婷五月天| 丁香五月欧美成人| 五月丁香性| 久久五月天黄色五月天色网址| 亭亭色网| 人人叉久| 九九伦子片| 香蕉久久国产AV一区二区| 亚洲网站999| 婷婷色成人| 99热欧| 91美女被操| 久久婷婷电影| 五月婷婷伊| 97色婷婷| 色五月激情综合网| 五月丁香成人网| 蜜臀av粉嫩av懂色av| 亚洲激情精品| 色色色.com| 99在线观看亚洲| 伊人网大香| 色综合色婷色基地| 99国产欧美视频| 色噜噜婷婷| 日本高清久久| 狠狠久久婷五月| 日本色综合| 婷婷五月丁香伊人网| 99热在这里只有免费精品| 色色婷婷丁香| 五月丁香六月婷| 日本三级中国三级99| 久久久久五月丁香| 婷婷五月天首页激情| 白度黄视频| 丰滿爆乳一区二区三区| 日本韩国视频在线观看社区免费的9| 91精品久久久久久77777| 久久婷婷综合五月天| 婷婷五月激情网| 成人视频一区| 色五月成人| 色播五月丁香| 91|疯狂丨高潮丨对白| 影音先锋91在线资源站| 不卡成人免费| 色五月婷婷91在线| 色婷婷情片| 天堂中文国产| 久久伊人五月天| 秋霞三级色戒| 五月色导航| 五月婷婷激情综合拍| 久色网五月| 婷婷婷婷色| 欧美日韩成人高清在线| 亚洲中文字幕av| 97人人射| 97碰碰草| 欧美色九| 久久九九免费大视频| 五月婷婷综合色啪首页| 99爱这里只有精品免费视频| 另类激情首页| 色婷婷影视| 久久小说网| 人人草碰| 九九热在线亚洲免费视频| 狠狠操天天操| 婷婷久久草| 91超碰人人操| 亚洲乱码日产精品BD| 五月婷护士| 99热精品观看| 婷婷综合五月激情| 色噜噜狠噜噜视频| 国产成人综合网| 天堂网操| 婷婷五月小说色综合| 婷婷六月激情丁香| 久热AA| 99国产精品久久久久久久久久久 | 国产欧美日韩性爱| AV天堂婷婷五月天| 欧美日朝成人| 亚洲AV成人无码精品| 久久3p| 99色热视频| 亚洲操精品| 无码激情AAAAA片-区区| 婷婷99狠狠躁天天躁中文| 久久久久婷婷五月热综合| 精品A√| 激情五月天影院| 91黄色五月天视频| 亚洲精品va| 亚州操人在线视频| 亚洲无AV在线中文字幕| 色欲五月婷婷| 婷婷五月天免费视频在线观看| 99精品久久久久久久婷婷| 夜色五月天| 久久久这里都是精品| 涩涩涩五月天| 九九色情网站| 欧美群妇大交乱婬网| 亚洲九九视频| 岛国在线观看91| 色婷婷手机在线| 月婷婷婷婷五月| 伊久大香蕉| 久久er免费视频| www热久久yy9| 亚洲视频另类| 九九视频在线免费视频| 色99在线| 成人av中文字幕| 激情五月天社区| 青柠影视免费高清电视剧| 91欧美| 五月丁香啪啪综合| 91热手机在线| 天天干夜夜b| 五月丁香网站| 淫视馆aV二区一区| 超碰大香蕉网| 天天干,天天操,天天射| 青青福利网| 一本色道久久88综合日韩精品| 五月总合激情网| 亚洲AV网址| 激情婷婷护士激情| 五月婷婷六月基地| 不卡在线中文字幕无| 成人超碰AV| 性爱久久| 夜夜骑日日操| 丁香六月综合激情| 99热国产这里只有| 久久婷婷亚洲| 亚洲色碰| 91久久久久久| 丁香六月综合激情| 狠狠色色| 久久99热这里只有精品| 国产干逼片| 人人人va亚洲视频在线| 婷婷九九色| 夜夜操天天爽| 国产探花一片区| 天天激情| 97操碰在线视频| 日日夜夜狠狠| 欧美综合五月丁香六月婷| 大香蕉99| www99热| 色无码| 日日色五月天| 超碰只有精品在线| 色婷婷小说| 在线视频激情网站| 超碰免费99| 99国产小视频2013| 极品少妇高潮啪啪AV无码| 天天综合图片| 婷婷丁香五月天色色| 俺去也婷婷| 日本综合色色| 欧美人与性动交CCOO| 五月天婷婷深深爱| 久久丁香社| 大香蕉五月天| 深爱五月天婷综合| 成人无码精品1区2区3区免费看| 一本综合丁香日日狠狠色| 亚洲啪啪精品| 97在线碰| 激情五月综合视频| 伊人喵咪a V| 婷婷色综合| 99热色无码| 九月丁香久久网| 这里只有精品视频| 日韩色色小视频| 碰超亚洲| 成人五月天丁香| 深爱婷婷色| 天天色综| 色综合色色| 停停五月丁香| 五月丁香婷婷网网网网| 五月四色激情| 欧美性色视频| 婷婷五月天激情偷拍| 丁香五月 无码| 天天插综合| 热成人网| 这里只有精品偷拍| 91九色无码内射| 五月丁香六月激情欧美综合| 99热精品一| 在线婷婷| 久久香视频| 99热在线观看| 综合五月天| 五月丁香网站在线播放| 激情综合网激情五月天| 青草视频在线观看视频| XX久久| 色婷婷五月天综合网| 婷婷五月丁香久久| 国产无套精品一区二区| 亚洲99在线| 色婷婷视频| 九九精品热播| 日操夜操天天操不卡| 久久99精品久久只有精品| 天天做天天爱天天综合| 他改变了拜占庭| www.99精品视频| 成人αV视频免费观看| 丁香婷婷91在线观看视频| 激情开心五月亚洲| 激情综合5月| 久99综合婷婷| 亭亭玉月丁香| 欧美色激情四射| 五月天婷婷久久| 婷婷五月天无码| 婷婷五月天成人影片| 六月亚洲婷婷6月中文字幕| 婷婷五月天综合AV| 九月婷婷人人操人人舔人人爱| 91久久久久久久久18| 91大屁股精品| 狠狠做深爱婷婷久久综合一区| 丁香五月骚喷水视频| 99热欧美在线观看| 婷婷五月丁香六月| 国产精品国产| 五月丁香最新| 狠狠狠狠青草| 色五月色开心开心五月| 无码少妇高潮喷水A片免费| 婷婷丁香五月亚洲17cao| 久操激情| 久久99精品久久久久久噜噜| 亚洲这里只有精品| 九九九九这里只有精品| 色5月婷婷| 日日操,夜夜撸| 五月婷婷综合色啪首页| 婷婷五月综合欧美在线播放| 五月综合亚洲色| 超碰免费人人| AV伊人青草丁香六月| 少妇高潮一区二区三区99欧美| 97久久精品| 五月丁香成人| 丁香五月婷婷啪啪啪| 91seav| 日韩日比视频| 思思99久久| 色综合中文色综合网| www.久久婷婷| 久久亚洲无码| 欧美色99| 99这里只有精品视频免费| 99久久精彩视频。| 久久国产性爱A V| 婷婷成人综合免费视频| 五月天婷婷久色| 五月天欧美 另类小说| 婷婷五月天激情小说网站| 第一区久久网站| 婷婷丁香色情五月天| 99网| www.yw色| 丁香五月成人社区| 免费无码毛片一区二区A片| 99热在这里只有精品| 婷婷五月情| 99热在线观看| 免费成人中文字幕| 色综合久久88色综合天天99| a色色片| 狠狠色激情综合| 色久天| 99热97| www.狠狠| 国产午夜伦鲁鲁| 色综合久久88色综合天天| 久久久久99精品成人网站| 99re久热只有精品6在线直播.com| 午夜激情综合| 五月婷婷丁香大陆免费| 久久亚洲激情五码| 色综合区| av高清无码| 69精品人人人人人人| www91在线| ss五月天激情| 五月丁香六月激情欧美综合| 婷婷五月天久久久| 国产精产国品一二三在观看| 色九四色| 高清不卡一区| 怡红院精品视频久久久久久久久| 五月丁香综合激情| 狠狠综合| 9色在线视频精品观看| 99热欧美| 常久最新免费的色吊丝| 五月天激情四射| www99精品日韩| 武则天精品久久| 五月色精品| 人妻中文在线| 91人人妻人人操人人爽| 精品99在线| 色婷婷亚洲在线| 色9999日韩国产| 伊人久久丁香狠狠婷婷综合香蕉| 黄网免费观看| 五月之婷婷| 亚洲五月婷婷| 亚洲色基地| 五月丁香在线国产 | 五月婷婷成人网首页| 婷婷五月天手机版视频| 婷婷五月天综合AV| 五月丁香色欲| 久鲁鲁色网| 99re热在线视频观看| 欧美婷婷丁香社区在线播放| 天天爽人人综合免费7799| www.深爱激情| 国产亚洲成AV人片在线观黄桃| 大香蕉九九热| 激情五月天激情综合网| 激情久久久| 任你日视频| 日韩九九| 五月婷婷丁香91| 第2色五月婷| caop在线| 综合色色综合| 天天夜夜操| 欧洲MV日韩MV国产| 99色色热| 日本久久婷婷| 九九久久高清| 99精品在线下载| 国产人妻人伦精品一区二区| 激情婷婷| 91一起操| 丁香色成人| 综合久久99| 91九色 熟| 都市激情小说婷婷| 国产毛片精品一区二区色欲黄A片| 亚洲另类婷婷综合| 久青操| 午夜福利成人AV91| 天天综合影院| 999热视频精品99免费在线| 激情五月综合ì香亚洲| 久久久婷| 亚洲精99| 99热在线观看| AV中文在线| 99在线观看| 色色婷婷丁香| 99啪啪| 超碰在线成人| 波多野结衣AV无码Porn| 九九亚洲无码| 99色色网| www.久久爱.com| 99九九视频精彩在线| 久re热视频| 成人永久免费视频在线观看| 色香久久| 91一起艹| 丁香五月天在线观看视频| 99这里都是精品6| 狠狠干综合| 丁香成人五月天| 丁香伊人激情| 97人人干视频| 亚洲五月天婷婷| 97久人人| 思思热视频| 天天色天天爱天天舔| 国产成人精品一区二三区熟女在线| 五月丁香激情婷婷综合字幕| 激情婷婷丁香| 色视频五月天| 久9热视频在线观看| 青青草激情网| 色综合爱综合| 五月天丁香婷婷久久九| 六月婷婷开心| 婷婷午夜精品久久久| 天天天干夜夜夜操| 亚洲色域网| 久久综合综合综合| 美女激情综合| 99亚洲综合| 五月四色激情| 九九成人| 五月天另类小说亚洲| 国产av一区二区三区| 五月激情小说网| 婷婷性爱网| 开心五月婷婷| 丁香五月天在线| 4399在线日本A片| 日日影院 | 99热首页| 久久久精品99亚洲综合| 丁香五月天91| 色婷婷AV在线| 激情婷婷综合| www,色综合| 狠狠色成人影片| 天天爽天天摸| 六月激情婷婷| 夜色热久| 午夜丁香| 狠狠操狠狠干综合| 婷婷综合五月天| 国产AV影片| 超碰免费大香蕉| 婷婷五月免费在线| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 东北熟女视频99| 国产精品成人AV在线| 日操五月婷| 亚洲色人妻| 香蕉久久国产AV一区二区| 色色色综合| 中文不卡一二三区| 天天操中文字幕| 超PEN精品在线| 九九99免费视频| 五月天,激情四射,婷婷频道| www,五月天com| 奇米色大香蕉| 啪啪五月天啪啪| 久9免费视频| 日逼AV影音先锋男人资源站| 久久免费少妇高潮99精品| www.五月婷婷久久.com| 五月亭亭综合五码| 性爱动图国产麻豆一区二区三区| 大香蕉在线观看9| 伊人无码高清| 操99| 五月天婷婷在线视频| 六月丁香射婷婷欧美色图片| 久久精品五月天| 色色97丁香婷婷五月天| 99精品偷自拍| 欧美操人| 五月天狠狠色| 色婷婷丁香五月综合| 91精品熟女| 九九99精品视频在线观看| 9 1大香蕉| 五月天婷婷色播综合在线| 色99色| 99在线播放视频| 五月天六月色| 天天射色五月天| 96性爱视频| 五月天六月丁香| 久99| 五月天堂色| 91精品婷婷国产综合| 玖玖婷婷五月天毛片| 搡BBBB搡BBB搡18| av色色国产| 国产操碰| 婷婷五月天堂| 九九re精品视频在线观看| 六月综合婷婷开心伊人| 色欲五月婷婷| 热久久视频99| 天天拍夜夜爽日日| 管管補管管紱| 九九成人高清视频| 久久丁香五月婷婷激情综合网| 日韩成人av在线| 99爽视频| 超级碰碰91| 久99综合婷婷| 亚洲欧美国产A片免费观看| 婷婷丁香五月视频| 琪琪色网址| 狠狠狠狠草草| 免费99色| 情色五月天 网站| 激情五月天色播| 91美女被操| 五月天激情丁香| 日韩欧美骚货| 色色色色色色色色色色色色色色,网站| 婷婷丁香五月天狠狠| 九九热这里只有精品31| 欧美激情综合色丁香婷婷五月天| 这里只有精品免费视频在线观看| 婷婷五月天六月| 怡红院一二三| 青青草原伊人网| 欧美久久婷婷| 久久538| 亚洲色色色| 色五月婷婷777| 91综合网| 婷婷五月色色| 99综合网| 丁香五月婷婷丫| 婷婷五月天男人影院色色网| 伊人久久五月天综合| 玖玖热视频| 99精品视频偷拍| 五月丁香五月婷婷| 欧美内射AAAAAAXXXXX| 四虎99热在线观看网站| 麻豆精品| 国产激情久久久| 丁香女人五月天| 丁香五月婷婷狠狠色| 激情五月天啪啪视频| 啪啪婷婷五月天激情| 久色国产| 九九性视频| 丁香蜜臀黄色婷婷五月天| 天天插天天爽| 99欧美热| 99九九在线精品热动漫| 五月丁香久久网| 丁香五月天天高清在线| 99热久草| 免费视频WWW在线观看网站| 色亭亭九月| 啪啪激情网| 色婷丨日丨天丨综合久久| 色中色综合| 五月天激情丁香| 性爱激情久久| 日本91在线| 久久久久99精品成人片| 婷婷激情人妻| 亚洲电影在线观看| 日韩色色一区| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 七月激情六月婷婷综合在线播放| 丁香综合伊人| 无码动漫av| 好吊兆人妻| 天天狠天天狠| 97亚洲婷婷| 九九无毛| 婷婷色无码| 婷婷丁香在线| 亚洲国产网站| 色五月开心开心五月激情五月| 久久婷婷五月综合激情国产| 欧美 日韩 人妻 高清 中文| 久久99看免费| 天天添天天摸天天天天做| 色婷婷亚洲| 五月婷av| eeuus五月婷| 操逼视频一区| 无码人妻一区二区一牛影视| 亚洲精品网站色视频| 精品久久99码| av高清无码| 婷婷成人综合| www,99热| 五月天激情小说电影| 开心五月深爱婷婷| 玖玖综合色| 国内9l视频自拍老熟女九色| 丁香五月天色综合| 成人av播放| 欧在线一区| 五月天成人网婷婷| 天天日,天天插| 激情视频综合| 久久99热久久99精品| 青草视频在线观看视频| 婷婷五月天激情网| 四月婷婷五月丁香| 久99久视频精品| 色情丁香五月天| 色婷婷久久| 日韩精品成人在线| 色婷婷小说| 五月天社区婷婷| 狠狠五月丁香色婷| 久久婷婷视频| 久久五月婷| 色色色综合色| 碰碰碰97国产| 五月婷色| 69色婷婷| 日本久久9| 亭亭五月色男人| 久久44| 婷婷涩五月天综合| 久久人妻熟女一区二区| 99在线观看免费精品视频| 五月婷婷激情| 都市激情蜜桃婷婷五月天|