欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Iceberg Java API從入門到實(shí)戰(zhàn):表操作、Schema演進(jìn)與性能調(diào)優(yōu)

Iceberg Java API從入門到實(shí)戰(zhàn):表操作、Schema演進(jìn)與性能調(diào)優(yōu) 1. 為什么非要用Java API操作Iceberg先聊點(diǎn)實(shí)在的。很多人接觸Apache Iceberg是從Spark或者Flink開(kāi)始的一條SQL下去數(shù)據(jù)就寫好了好像根本不需要關(guān)心Iceberg本身。但一旦你脫離大數(shù)據(jù)平臺(tái)自帶的那套封裝比如寫一個(gè)獨(dú)立的數(shù)據(jù)服務(wù)、做在線元數(shù)據(jù)管理、或者做定制化的數(shù)據(jù)入湖程序你遲早要直面Iceberg的Java API。我最初踩進(jìn)這個(gè)坑是因?yàn)槟硞€(gè)數(shù)據(jù)中臺(tái)項(xiàng)目需要把業(yè)務(wù)庫(kù)的增量數(shù)據(jù)實(shí)時(shí)寫入數(shù)據(jù)湖并且要保證寫完之后立刻能被查詢引擎讀到。用Spark Streaming寫是可以但多了一層Spark任務(wù)就多了一份調(diào)度成本和資源開(kāi)銷。后來(lái)改成直接用Java API調(diào)Iceberg的底層寫入接口整個(gè)鏈路輕了很多這才意識(shí)到Iceberg的Java API才是它的真正核心Spark和Flink都只是上層封裝。這篇文章就圍繞Iceberg的Java API從環(huán)境準(zhǔn)備到表創(chuàng)建、數(shù)據(jù)寫入、查詢讀取、Schema演進(jìn)再到實(shí)際開(kāi)發(fā)中那些文檔里根本不會(huì)寫的坑完整過(guò)一遍。適合已經(jīng)對(duì)Iceberg有基本概念、準(zhǔn)備在業(yè)務(wù)系統(tǒng)里直接嵌入Lakehouse能力的開(kāi)發(fā)者。如果你只是想跑個(gè)Demo看完前兩章就能動(dòng)手后面幾章建議收藏等真遇到問(wèn)題了再翻出來(lái)對(duì)號(hào)入座。2. 開(kāi)發(fā)環(huán)境與依賴搭建2.1 從零構(gòu)建最小化Maven工程Iceberg的Java API依賴項(xiàng)并不多但版本匹配是個(gè)容易翻車的地方。先看一個(gè)最基礎(chǔ)的Maven依賴配置properties iceberg.version1.4.3/iceberg.version hadoop.version3.3.6/hadoop.version /properties dependencies !-- Iceberg 核心 API -- dependency groupIdorg.apache.iceberg/groupId artifactIdiceberg-core/artifactId version${iceberg.version}/version /dependency !-- Hadoop 文件系統(tǒng)支持 -- dependency groupIdorg.apache.iceberg/groupId artifactIdiceberg-hadoop/artifactId version${iceberg.version}/version /dependency !-- 可選如果需要訪問(wèn) Hive Metastore 則引入 -- dependency groupIdorg.apache.iceberg/groupId artifactIdiceberg-hive/artifactId version${iceberg.version}/version /dependency !-- Hadoop 客戶端依賴 -- dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-client/artifactId version${hadoop.version}/version /dependency /dependencies這里有個(gè)關(guān)鍵決策點(diǎn)iceberg-core加iceberg-hadoop能覆蓋絕大多數(shù)本地開(kāi)發(fā)和HDFS場(chǎng)景但如果你要對(duì)接Hive Metastore來(lái)做表元數(shù)據(jù)統(tǒng)一管理就必須引入iceberg-hive。一個(gè)常見(jiàn)誤區(qū)是只引入iceberg-core結(jié)果跑起來(lái)報(bào)找不到TableOperations實(shí)現(xiàn)類其實(shí)就是缺少對(duì)應(yīng)Catalog的后端實(shí)現(xiàn)依賴。2.2 Catalog選型背后的邏輯Iceberg里所有操作的起點(diǎn)都是Catalog它決定了表元數(shù)據(jù)存在哪里、怎么被發(fā)現(xiàn)。三種常用Catalog各對(duì)應(yīng)不同場(chǎng)景Catalog類型元數(shù)據(jù)存儲(chǔ)位置典型使用場(chǎng)景關(guān)鍵注意點(diǎn)HadoopCatalog指定文件系統(tǒng)目錄獨(dú)立測(cè)試、本地文件系統(tǒng)不依賴外部服務(wù)最簡(jiǎn)單HiveCatalogHive Metastore生產(chǎn)環(huán)境、與Hive/Spark共用需要Hive Metastore可用RESTCatalog獨(dú)立元數(shù)據(jù)服務(wù)多引擎統(tǒng)一管理、跨集群場(chǎng)景需要額外部署REST服務(wù)我在生產(chǎn)項(xiàng)目里用HiveCatalog比較多因?yàn)楝F(xiàn)有數(shù)據(jù)平臺(tái)已經(jīng)有一套Hive Metastore直接用Catalog統(tǒng)一納管Spark和Flink的表避免各算各的賬。但如果你是做嵌入式集成不想依賴外部服務(wù)HadoopCatalog一個(gè)配置就能跑起來(lái)// 使用 HadoopCatalog 構(gòu)建 Catalog import org.apache.iceberg.hadoop.HadoopCatalog; import org.apache.iceberg.CatalogProperties; MapString, String properties new HashMap(); properties.put(CatalogProperties.WAREHOUSE_LOCATION, /user/iceberg/warehouse); HadoopCatalog catalog new HadoopCatalog(); catalog.initialize(hadoop, properties);注意initialize的第一個(gè)參數(shù)是Catalog名稱在Iceberg 1.4.x里這個(gè)名稱會(huì)體現(xiàn)在元數(shù)據(jù)路徑上雖然不影響功能但建議起得有意義一點(diǎn)避免后面看目錄結(jié)構(gòu)時(shí)一頭霧水。3. 表結(jié)構(gòu)設(shè)計(jì)與表創(chuàng)建3.1 Schema定義時(shí)最常見(jiàn)的三個(gè)坑Schema是Iceberg表的骨架定義方式很直觀但細(xì)節(jié)問(wèn)題不少。一個(gè)完整的示例import org.apache.iceberg.Schema; import org.apache.iceberg.types.Types; Schema schema new Schema( Types.NestedField.required(1, id, Types.LongType.get()), Types.NestedField.required(2, name, Types.StringType.get()), Types.NestedField.optional(3, age, Types.IntegerType.get()), Types.NestedField.optional(4, score, Types.DoubleType.get()), Types.NestedField.required(5, ts, Types.TimestampType.withZone()), Types.NestedField.optional(6, tags, Types.ListType.ofRequired(7, Types.StringType.get())) );第一個(gè)坑字段ID必須全局唯一。很多人習(xí)慣按字段順序?qū)?、2、3但如果后來(lái)刪除了字段新增字段又順手給了重復(fù)IDIceberg的元數(shù)據(jù)會(huì)直接報(bào)錯(cuò)而且這個(gè)報(bào)錯(cuò)發(fā)生在寫入階段表格創(chuàng)建時(shí)反而靜默通過(guò)。建議從一開(kāi)始就預(yù)留ID段位或者干脆用后臺(tái)自動(dòng)生成。第二個(gè)坑Timestamp字段要明確是否帶時(shí)區(qū)。Types.TimestampType.withZone()和withoutZone()在存儲(chǔ)上不一樣如果源頭數(shù)據(jù)是帶時(shí)區(qū)的你不小心定義錯(cuò)了讀出來(lái)的時(shí)候時(shí)間會(huì)差8個(gè)小時(shí)。這個(gè)坑表面上不痛不癢一旦做時(shí)間分區(qū)就會(huì)發(fā)現(xiàn)數(shù)據(jù)全跑偏了。第三個(gè)坑ListType.ofRequired(7, ...)里面的7是嵌套字段的ID不是初始值。這里單獨(dú)強(qiáng)調(diào)一下是因?yàn)槲揖鸵?jiàn)過(guò)有同事把這個(gè)ID理解成“數(shù)組起始長(zhǎng)度”導(dǎo)致ID亂寫最后排查了半天。3.2 分區(qū)策略怎么定才能兼顧查詢和寫入Iceberg的分區(qū)方式和Hive有本質(zhì)區(qū)別。Hive是靜態(tài)分區(qū)目錄寫入前就必須確定分區(qū)值Iceberg是隱藏分區(qū)寫入時(shí)根據(jù)分區(qū)規(guī)則自動(dòng)計(jì)算而且分區(qū)布局可以隨時(shí)改不會(huì)把歷史數(shù)據(jù)推倒重來(lái)。這就給設(shè)計(jì)留下了很大的優(yōu)化空間。來(lái)看一個(gè)按天分區(qū)的建表操作import org.apache.iceberg.PartitionSpec; import org.apache.iceberg.Table; PartitionSpec spec PartitionSpec.builderFor(schema) .day(ts) .build(); Table table catalog.createTable( TableIdentifier.of(db, user_events), schema, spec );這里我實(shí)際踩過(guò)一個(gè)性能相關(guān)的坑。如果業(yè)務(wù)查詢經(jīng)常按小時(shí)過(guò)濾按天分區(qū)就太大了每個(gè)分區(qū)文件數(shù)量會(huì)膨脹查詢時(shí)需要掃描的分區(qū)數(shù)量也偏多。優(yōu)化方式是改成hour(ts)或者用bucket(id, 64)做分桶來(lái)配合高基數(shù)的等值查詢。分區(qū)策略適用場(chǎng)景注意事項(xiàng)day(ts)常規(guī)時(shí)間范圍掃描查詢粒度粗時(shí)文件數(shù)偏多hour(ts)小時(shí)級(jí)時(shí)間過(guò)濾小文件數(shù)量可能增加bucket(id, N)高基數(shù)等值查詢分桶數(shù)不宜過(guò)多否則小文件爆炸truncate(name, len)字符串前綴過(guò)濾低基數(shù)前綴字段效果好從實(shí)際效果看Iceberg的分區(qū)是“按需演進(jìn)”的不需要像Hive那樣一開(kāi)始就想得盡善盡美。一個(gè)穩(wěn)妥做法是先按天分區(qū)跑業(yè)務(wù)等發(fā)現(xiàn)查詢Pattern變化了再通過(guò)table.updateSpec()調(diào)整分區(qū)。這是Iceberg相對(duì)Hive最有價(jià)值的設(shè)計(jì)之一后面Schema演進(jìn)部分會(huì)詳細(xì)展開(kāi)。4. 核心寫入流程與事務(wù)保障4.1 快速上手流式寫入的完整代碼Iceberg 1.4.x提供了Flink和Spark的寫入封裝但純Java API寫入有自己的套路。最直接的方式是使用IcebergGenerics或者直接操作Table實(shí)例。下面演示一個(gè)批量寫入的完整代碼import org.apache.iceberg.data.GenericRecord; import org.apache.iceberg.data.iceberg.IcebergGenerics; import org.apache.iceberg.data.iceberg.IcebergGenerics.WriteBuilder; import org.apache.iceberg.data.iceberg.IcebergGenerics.AppendBuilder; // 構(gòu)造一條記錄 GenericRecord record GenericRecord.create(schema); record.setField(id, 1001L); record.setField(name, alice); record.setField(age, 28); record.setField(score, 95.5d); record.setField(ts, Timestamp.valueOf(2024-05-01 12:30:00)); record.setField(tags, Arrays.asList(dev, test)); // 寫入 AppendBuilder appendBuilder IcebergGenerics.write(table); appendBuilder.records(Collections.singletonList(record)).commit();注意這里的GenericRecord.create(schema)必須和表Schema綁定否則setField時(shí)字段名對(duì)不上會(huì)在序列化階段報(bào)ClassCastException或者字段缺失錯(cuò)誤。另一個(gè)細(xì)節(jié)是commit()才真正觸發(fā)快照生成之前的操作都在內(nèi)存緩沖區(qū)里。如果業(yè)務(wù)需要批量寫入大量數(shù)據(jù)建議攢一批再commit比如每5000條一次提交效率會(huì)好很多。4.2 事務(wù)邊界與快照隔離機(jī)制Iceberg的寫入核心機(jī)制是快照隔離。每次commit()會(huì)生成一個(gè)新快照舊快照不受影響讀寫互不阻塞。這個(gè)設(shè)計(jì)對(duì)并發(fā)控制特別友好但也帶來(lái)一個(gè)很容易忽略的問(wèn)題寫入成功后舊快照仍然占著存儲(chǔ)空間。我這里給出一份快速上手的調(diào)用關(guān)系table.newAppend()追加新數(shù)據(jù)文件不影響已有文件table.newOverwrite()覆蓋指定分區(qū)內(nèi)的數(shù)據(jù)table.newDelete()刪除指定分區(qū)或指定行table.newRewrite()重寫數(shù)據(jù)文件用于合并小文件從實(shí)踐角度講newAppend()是最常用的。它有四個(gè)階段創(chuàng)建Append對(duì)象、添加數(shù)據(jù)文件、添加快照信息、commit()提交。前面三步都在內(nèi)存中完成只有commit()會(huì)觸發(fā)元數(shù)據(jù)寫入。這四步中任何一步失敗整個(gè)提交都會(huì)回滾不會(huì)留下半截狀態(tài)。一個(gè)真實(shí)的業(yè)務(wù)案例某天我準(zhǔn)備給在線服務(wù)做數(shù)據(jù)回流直接調(diào)newAppend()接口把業(yè)務(wù)庫(kù)的數(shù)據(jù)寫入Iceberg表期間正好有另一個(gè)任務(wù)在做數(shù)據(jù)重跑兩邊同時(shí)操作同一批分區(qū)。因?yàn)镮ceberg的樂(lè)觀鎖機(jī)制兩個(gè)任務(wù)都能提交成功但后提交的那個(gè)不會(huì)覆蓋前面寫的內(nèi)容而是追加為新的數(shù)據(jù)文件。最終查詢時(shí)兩個(gè)快照的數(shù)據(jù)都在但邏輯上不沖突因?yàn)闀r(shí)間戳字段不同。這一點(diǎn)比Hive的動(dòng)態(tài)分區(qū)寫入靠譜太多。4.3 寫入性能調(diào)優(yōu)的幾個(gè)參數(shù)Java API寫入的默認(rèn)配置在某些場(chǎng)景下并不理想尤其是小批量高頻寫入。我實(shí)測(cè)過(guò)單條記錄單獨(dú)commit比批量commit慢50倍以上。原因不只是網(wǎng)絡(luò)IO還有每次commit都要更新元數(shù)據(jù)文件、寫入Manifest列表、更新快照信息這一套磁盤操作開(kāi)銷相當(dāng)大。幾個(gè)實(shí)測(cè)有效的調(diào)優(yōu)參數(shù)commit.retry.num-retries提交失敗重試次數(shù)默認(rèn)4次網(wǎng)絡(luò)抖動(dòng)頻繁的系統(tǒng)可以調(diào)大commit.retry.min-wait-ms重試最小等待時(shí)間默認(rèn)100ms可以根據(jù)業(yè)務(wù)容忍度調(diào)commit.manifest.target-size-bytesManifest文件目標(biāo)大小默認(rèn)8MB寫入量大時(shí)可以適當(dāng)增大減少M(fèi)anifest文件數(shù)量write.metadata.metrics.default控制列的統(tǒng)計(jì)信息收集級(jí)別寫頻繁的表建議設(shè)為none或summary減少計(jì)算開(kāi)銷注意write.metadata.metrics.default對(duì)查詢性能有影響如果你后續(xù)要用Iceberg的metadata做列級(jí)統(tǒng)計(jì)過(guò)濾千萬(wàn)別把它關(guān)掉。這個(gè)參數(shù)我一開(kāi)始圖省事設(shè)為none結(jié)果某個(gè)報(bào)表查詢直接慢了3倍后來(lái)才反應(yīng)過(guò)來(lái)統(tǒng)計(jì)信息是謂詞下推的重要依據(jù)。5. 查詢讀取與謂詞下推5.1 數(shù)據(jù)讀取的兩種方式Java API讀取Iceberg表不像JDBC那樣直接給一條SQL就完事而是通過(guò)構(gòu)建Scan對(duì)象來(lái)定義讀哪些文件。核心API就三個(gè)IcebergGenerics.read()、TableScan、DataTask。最直接的是IcebergGenerics方式import org.apache.iceberg.data.iceberg.IcebergGenerics; import org.apache.iceberg.expressions.Expressions; CloseableIterableRecord result IcebergGenerics.read(table) .where(Expressions.greaterThan(ts, 2024-05-01T00:00:00)) .select(id, name, ts) .build(); for (Record record : result) { System.out.println(record.getField(name)); } result.close();注意CloseableIterable必須顯式關(guān)閉否則文件句柄泄漏會(huì)逐漸吃掉JVM的文件描述符。這是個(gè)大坑我見(jiàn)不少開(kāi)發(fā)者最后莫名拋Too many open files追根溯源都是這里沒(méi)關(guān)。5.2 IN、LIKE、空值過(guò)濾的正確姿勢(shì)謂詞下推是Iceberg查詢性能的殺手锏但API用錯(cuò)了反而可能失效。先看幾個(gè)典型寫法// 等值過(guò)濾 Expressions.equal(id, 1001L) // 范圍過(guò)濾 Expressions.greaterThanOrEqual(age, 18) Expressions.lessThan(age, 60) // IN過(guò)濾 Expressions.in(name, alice, bob, carol) // LIKE過(guò)濾 注意通配符大小寫敏感 Expressions.startsWith(name, al) Expressions.endsWith(name, ice) // 空值過(guò)濾 Expressions.isNull(age) Expressions.notNull(age)這里有一個(gè)和生產(chǎn)環(huán)境強(qiáng)相關(guān)的細(xì)節(jié)Expressions.startsWith和SQL里的LIKE al%等價(jià)但是Iceberg的實(shí)現(xiàn)是基于字典編碼的大小寫敏感。如果業(yè)務(wù)數(shù)據(jù)大小寫不敏感容易導(dǎo)致過(guò)濾結(jié)果不正確。實(shí)際調(diào)優(yōu)中我還發(fā)現(xiàn)or條件組合謂詞會(huì)讓Iceberg的元數(shù)據(jù)過(guò)濾效率大打折扣。如果用Expressions.or()把多個(gè)條件混在一起Iceberg會(huì)有部分情況退化為“對(duì)每個(gè)文件做全量過(guò)濾”這時(shí)候不如把表分區(qū)設(shè)計(jì)得更貼合查詢條件讓分區(qū)裁剪直接命中。5.3 通過(guò)快照時(shí)間讀取歷史數(shù)據(jù)Iceberg的快照機(jī)制天然支持時(shí)間旅行Java API里實(shí)現(xiàn)起來(lái)也很簡(jiǎn)單long snapshotId table.currentSnapshot().snapshotId(); // 讀取指定快照 CloseableIterableRecord result IcebergGenerics.read(table) .useSnapshot(snapshotId) .build(); // 按時(shí)間點(diǎn)讀取 long asOfTimestamp System.currentTimeMillis() - 24 * 3600 * 1000L; CloseableIterableRecord historyResult IcebergGenerics.read(table) .asOfTime(asOfTimestamp) .build();這個(gè)能力做數(shù)據(jù)回滾和數(shù)據(jù)審計(jì)都非常實(shí)用。比如業(yè)務(wù)方發(fā)現(xiàn)某個(gè)批量任務(wù)把數(shù)據(jù)寫壞了你直接把讀取時(shí)間點(diǎn)改到寫壞之前就能快速恢復(fù)出干凈數(shù)據(jù)不用從備份重新灌一遍。不過(guò)要注意時(shí)間旅行依賴快照文件的保留策略如果元數(shù)據(jù)被expireSnapshots()清理掉了歷史查詢一樣會(huì)失敗。6. Schema演進(jìn)線上改表結(jié)構(gòu)的正確姿勢(shì)6.1 新增列、修改類型、重命名示例Iceberg支持在線修改表結(jié)構(gòu)而且不需要重寫數(shù)據(jù)文件這是很多傳統(tǒng)數(shù)倉(cāng)做不到的。Java API修改Schema的代碼非常直觀// 新增一個(gè)字段 table.updateSchema() .addColumn(email, Types.StringType.get()) .commit(); // 修改字段類型僅支持向兼容方向擴(kuò)展 table.updateSchema() .updateColumn(age, Types.LongType.get()) .commit(); // 重命名字段 table.updateSchema() .renameColumn(name, user_name) .commit();注意字段id在新增列時(shí)會(huì)自動(dòng)分配不需要人工管理但updateColumn只能做類型拓寬。比如IntegerType改成LongType是允許的反過(guò)來(lái)就不行。因?yàn)镮ceberg底層Parquet文件里存的是整數(shù)精度改成Long只是讀出來(lái)做轉(zhuǎn)換反過(guò)來(lái)精度會(huì)丟失。從實(shí)踐角度講我一直建議生產(chǎn)環(huán)境盡量不要做“破壞ACID”的字段變更比如刪除字段再重新加。雖然Iceberg支持deleteColumn但刪除后舊文件的元數(shù)據(jù)里仍然存在該字段只是查詢時(shí)被忽略如果不小心重名新增字段可能產(chǎn)生意想不到的兼容問(wèn)題。6.2 分區(qū)字段變更的演進(jìn)策略分區(qū)策略變更在Iceberg里是“平滑”的因?yàn)樾聰?shù)據(jù)按新規(guī)則分區(qū)舊數(shù)據(jù)按舊規(guī)則保留查詢引擎會(huì)自動(dòng)合并不同分區(qū)元數(shù)據(jù)table.updateSpec() .removeField(day(ts)) .addField(bucket(id, 32)) .commit();執(zhí)行這條代碼后后續(xù)寫入會(huì)按bucket(id, 32)分區(qū)舊數(shù)據(jù)依然按day(ts)存儲(chǔ)。查詢時(shí)Iceberg會(huì)從兩個(gè)分區(qū)規(guī)則各自掃描數(shù)據(jù)文件再合并結(jié)果。這個(gè)機(jī)制解決了傳統(tǒng)數(shù)倉(cāng)改分區(qū)必須重寫數(shù)據(jù)的問(wèn)題。但要注意分區(qū)規(guī)則變化會(huì)直接增加Manifest元數(shù)據(jù)復(fù)雜度。我遇到過(guò)一個(gè)場(chǎng)景某張表先后改過(guò)三次分區(qū)策略結(jié)果一條簡(jiǎn)單的查詢要掃描四五個(gè)Manifest文件性能反而下降了。解決辦法是用RewriteManifests合并文件或者定期清理歷史快照降低元數(shù)據(jù)膨脹壓力。7. 元數(shù)據(jù)管理、快照清理與文件合并7.1 如何安全地清理過(guò)期快照Iceberg每commit一次就會(huì)生成一個(gè)快照快照數(shù)量一多元數(shù)據(jù)文件就跟著膨脹。默認(rèn)情況下快照會(huì)保留很長(zhǎng)時(shí)間如果不手動(dòng)清理一個(gè)高頻寫入的表甚至可能產(chǎn)生幾千個(gè)快照文件。清理代碼如下import org.apache.iceberg.util.SnapshotUtil; table.expireSnapshots() .expireOlderThan(System.currentTimeMillis() - 7 * 24 * 3600 * 1000L) .retainLast(10) .commit();這里兩個(gè)條件要一起用expireOlderThan按時(shí)間清理retainLast保證至少保留最近N個(gè)快照。只設(shè)時(shí)間不設(shè)數(shù)量有可能在低頻寫入場(chǎng)景下一個(gè)快照都清不掉只設(shè)數(shù)量不設(shè)時(shí)間又可能把業(yè)務(wù)需要的時(shí)間旅行數(shù)據(jù)刪掉。兩個(gè)條件配合使用才是最穩(wěn)妥的方案。7.2 小文件合并的完整執(zhí)行流程小文件問(wèn)題是數(shù)據(jù)湖最常見(jiàn)的性能殺手。Java API合并小文件的入口是RewriteDataFilestable.rewriteDataFiles() .targetFileSizeBytes(128 * 1024 * 1024L) // 目標(biāo)文件大小128MB .rewriteIf(file_size_bytes 32 * 1024 * 1024L) .maxParallelism(4) .commit();實(shí)測(cè)經(jīng)驗(yàn)是目標(biāo)文件大小要結(jié)合查詢模式來(lái)定。純OLAP場(chǎng)景128MB是合理的但如果這個(gè)表還要被高頻的在線服務(wù)讀取文件太大反而降低點(diǎn)查性能。我一般建議先設(shè)置64MB跑一輪觀察查詢耗時(shí)變化再?zèng)Q定要不要調(diào)大。合并操作會(huì)占用不少臨時(shí)存儲(chǔ)和CPU資源建議在業(yè)務(wù)低峰期執(zhí)行并且加上maxParallelism限制并發(fā)度防止把整個(gè)集群的IO吃滿。7.3 并發(fā)寫入時(shí)的沖突處理生產(chǎn)環(huán)境最怕的就是兩個(gè)任務(wù)同時(shí)寫同一張表數(shù)據(jù)還沒(méi)沖突元數(shù)據(jù)先沖突了。Iceberg的樂(lè)觀并發(fā)機(jī)制允許提交時(shí)沖突然后通過(guò)重試解決import org.apache.iceberg.exceptions.CommitFailedException; try { table.newAppend() .appendFile(dataFile) .commit(); } catch (CommitFailedException e) { // 說(shuō)明有并發(fā)寫入需要重試 // 實(shí)際業(yè)務(wù)里建議這里重新加載最新的表元數(shù)據(jù)后再嘗試 }如果重試次數(shù)超過(guò)閾值還失敗一般是兩個(gè)寫入任務(wù)在改同一個(gè)分區(qū)下的數(shù)據(jù)文件這時(shí)候要檢查業(yè)務(wù)上是否真的重疊。真的重疊那就得用Overwrite配合條件表達(dá)式來(lái)保證冪等性。8. 配套工具與運(yùn)維經(jīng)驗(yàn)8.1 用Java API做數(shù)據(jù)質(zhì)量校驗(yàn)Iceberg的Java API除了讀寫表還能做數(shù)據(jù)體檢。比如統(tǒng)計(jì)某張表的文件數(shù)、總大小、小文件比例import org.apache.iceberg.TableScan; TableScan scan table.newScan(); long fileCount 0; long totalSize 0; for (FileScanTask task : scan.planFiles()) { fileCount; totalSize task.file().fileSizeInBytes(); } System.out.println(文件數(shù): fileCount , 總大小: totalSize);這個(gè)統(tǒng)計(jì)在生產(chǎn)運(yùn)維里很有用。我每次做大版本上線前都會(huì)跑一遍這個(gè)掃描看看有沒(méi)有不正常的文件膨脹趨勢(shì)提前發(fā)現(xiàn)問(wèn)題。8.2 生產(chǎn)環(huán)境配置清單速查結(jié)合多次實(shí)戰(zhàn)我整理了一份相對(duì)穩(wěn)妥的生產(chǎn)環(huán)境配置參考配置項(xiàng)推薦值用途commit.retry.num-retries10提高并行提交成功率commit.retry.min-wait-ms200給沖突恢復(fù)留出時(shí)間write.metadata.metrics.defaultfull保證謂詞下推有效write.target-file-size-bytes134217728控制目標(biāo)文件大小history.expire.max-snapshot-age-ms604800000自動(dòng)清理快照以上配置可在建表時(shí)傳入也可通過(guò)table.updateProperties()動(dòng)態(tài)調(diào)整。有一點(diǎn)要提醒別一上來(lái)就追求極致參數(shù)調(diào)優(yōu)先把默認(rèn)配置跑通再根據(jù)監(jiān)控?cái)?shù)據(jù)局部調(diào)整效果反而更好。9. 高頻踩坑來(lái)自真實(shí)開(kāi)發(fā)一線的排錯(cuò)實(shí)錄9.1 元數(shù)據(jù)文件找不到這是我在接入初期遇到最多的報(bào)錯(cuò)核心癥狀是NoSuchFileException或者M(jìn)anifestFileNotFoundException。通常不是文件真的沒(méi)了而是元數(shù)據(jù)緩存過(guò)期。排查方向檢查寫入和讀取用的Catalog是否指向同一個(gè)warehouse路徑檢查是否操作了不同Catalog類型比如寫入用HadoopCatalog讀取用HiveCatalog檢查是否存在多個(gè)進(jìn)程同時(shí)清理快照導(dǎo)致某個(gè)進(jìn)程拿著過(guò)期快照ID去讀文件日常最好的預(yù)防辦法是在程序啟動(dòng)時(shí)統(tǒng)一使用同一個(gè)Catalog實(shí)例或者至少保證配置一致。9.2 Schema字段錯(cuò)位問(wèn)題使用GenericRecord方式寫入時(shí)如果Schema定義和記錄字段順序不一致Iceberg不會(huì)報(bào)錯(cuò)但數(shù)據(jù)會(huì)寫錯(cuò)列。這個(gè)問(wèn)題隱蔽性極強(qiáng)因?yàn)樽x出來(lái)的時(shí)候也不會(huì)報(bào)錯(cuò)。排查方法很簡(jiǎn)單把寫進(jìn)去的樣例數(shù)據(jù)原樣打印出來(lái)肉眼對(duì)比看是否錯(cuò)位。不過(guò)更推薦的是在建表時(shí)就把字段ID定義好然后寫入代碼里始終通過(guò)字段名setField而不是按下標(biāo)設(shè)置。9.3 小文件數(shù)量失控寫入頻率高、分區(qū)粒度過(guò)細(xì)都會(huì)導(dǎo)致小文件爆炸。我見(jiàn)過(guò)一張表分區(qū)字段是分鐘級(jí)時(shí)間列結(jié)果每小時(shí)生成上萬(wàn)個(gè)文件查詢性能直線下降。解決辦法有兩條路一是調(diào)大寫入批次降低commit頻率二是周期性跑rewriteDataFiles()合并小文件。兩者建議同時(shí)做前者治標(biāo)后者治本。9.4 常見(jiàn)問(wèn)題速查表現(xiàn)象可能原因解決方案寫入報(bào)CommitFailedException并發(fā)寫沖突捕獲異常后重試查詢報(bào)了FileNotFound快照過(guò)期或路徑變更檢查快照策略和warehouse配置寫進(jìn)去查不到Catalog不一致統(tǒng)一Catalog配置數(shù)據(jù)列錯(cuò)亂Schema字段順序不一致嚴(yán)格用字段名操作Manifest文件過(guò)多提交頻繁調(diào)大commit.manifest.target-size-bytes查詢很慢但文件數(shù)不多統(tǒng)計(jì)信息關(guān)閉檢查write.metadata.metrics.default配置10. 關(guān)于Java API的高級(jí)用法與后續(xù)擴(kuò)展10.1 自定義寫入器的實(shí)現(xiàn)思路如果對(duì)寫入性能有極致要求或者在寫之前需要做復(fù)雜的數(shù)據(jù)清洗可以考慮自定義FileAppenderFactory。Java API暴露了DataWriter和DataReader接口這意味著你可以在寫入前做數(shù)據(jù)轉(zhuǎn)換、按目標(biāo)文件大小切分、甚至自定義文件格式的數(shù)據(jù)打包邏輯。不過(guò)這里要提醒一句普通業(yè)務(wù)用IcebergGenerics或Table.newAppend()就夠了自定義DataWriter是給二次開(kāi)發(fā)框架用的殺雞用牛刀反而增加維護(hù)成本。10.2 與其他組件集成的經(jīng)驗(yàn)把Iceberg Java API集成到Spring Boot服務(wù)里是完全可行的而且可以做到很輕量。建議使用Configuration來(lái)創(chuàng)建全局的Catalog和Table管理對(duì)象而不是每次操作時(shí)臨時(shí)創(chuàng)建這樣可以復(fù)用連接池配置和元數(shù)據(jù)緩存。另一個(gè)注意點(diǎn)是線程安全。Iceberg的Table對(duì)象在并發(fā)讀寫上是線程安全的嗎實(shí)測(cè)結(jié)果是讀取階段安全寫入提交階段因?yàn)橛袠?lè)觀鎖機(jī)制大多也能并發(fā)提交但如果你在同一線程里同時(shí)維護(hù)多個(gè)Append操作容易出現(xiàn)不可預(yù)期的狀態(tài)。建議一個(gè)事務(wù)對(duì)應(yīng)一個(gè)獨(dú)立對(duì)象不要跨線程共享未提交的寫入上下文。11. 基于Java API的實(shí)戰(zhàn)總結(jié)與個(gè)人心得做了一年多的Iceberg Java API開(kāi)發(fā)個(gè)人最大的體會(huì)是這個(gè)API設(shè)計(jì)得很講究但學(xué)習(xí)曲線確實(shí)陡。好處是它把表的讀寫、元數(shù)據(jù)管理、Schema演進(jìn)全部統(tǒng)一成一個(gè)事務(wù)模型不用像以前那樣同時(shí)維護(hù)幾十張Hive表結(jié)構(gòu)腳本。如果你正準(zhǔn)備上手我的建議是先用HadoopCatalog加本地文件系統(tǒng)把讀寫流程跑通別一上來(lái)就上HiveMetastore加分布式集群。等理解了快照、Manifest文件這些核心概念再遷移到生產(chǎn)環(huán)境會(huì)順很多。最后再分享一個(gè)實(shí)際工作中特別受益的小技巧所有提交操作無(wú)論時(shí)Append、Overwrite還是Schema更新都在外層包一個(gè)統(tǒng)一的重試工具類每次提交捕獲CommitFailedException后按指數(shù)退避重試。這個(gè)工具類我寫完之后幾乎所有并發(fā)沖突問(wèn)題都自動(dòng)消失了省去了大量手工排查時(shí)間。如果你后續(xù)還要做更復(fù)雜的事情比如跨集群復(fù)制、數(shù)據(jù)湖增量讀取Iceberg的Java API都會(huì)給你足夠的底子。多花點(diǎn)時(shí)間把這篇文章里的示例代碼跑一遍你會(huì)對(duì)Iceberg的工作機(jī)制有完全不一樣的理解。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
伊人久久丁香狠狠婷婷综合香蕉| 日本乱子人伦在线视频| 日韩精品色| 日韩精品呦呦va| 天天色天天操天天射| 外国碰视频网站97| 婷婷久久婷婷色五月| 碰97久久| 午夜色丁香| 99久久9| 黄色三级毛片中字| 人人爱操| 超碰狠狠色| 大香蕉久久草| 丁香五月婷婷亚洲激情四射| 最近中文字幕大全免费版在线 | 99在线公开视频| 亚洲va综合va国产va中文| 婷婷六月久久综合导航| 久久奄也去色色网站| 玖玖五月| WWW99视频| 91精品久久久久久综合五月天| 丁香婷婷深情五月亚洲| 这里只有精品热| 亚洲成Av人片乱码色第1集| 色婷婷综合视频| 婷婷五月天电影在线| 中文AV在线播放| 丁香五月婷婷社区| 亚洲成av人影院| 另类激情五月| www.激情| 亚洲五月婷婷| 思思热99在线| 色情激情五月| 99性爱无码| 99热碰碰热| WWW.五月com| 超碰免费在线| www.色综合| 丁香五月六月| 婷婷丁香人妻天天爽| 激情图片婷婷| 五月天久久成人| 亚洲激情综合| 99,色| aaaa.黄| 色狠狠色| 五月天婷婷色| 国产99久久久国产精品免费看| 97人人看| 色色激情五月天| 丁香五月婷婷基地| 色女人久久| 婷婷五月婷| 91操操操| 99热这里有精品24| 午夜美女人啪最红院| 色婷五月天| 五月天婷婷社区久久综合| 影音先锋一区二区资源站| 熟女人妻一区二区三区免费看| www.色色五月天.com| 婷婷伊人网| 九九综合久久| 天天干天天爽天天操| 久久精品夜色噜噜亚洲a∨| 五月婷婷乱| 天天日天天舔天天摸| 狠狠色综合网站| 欧美三级欧美一级| 欧美日韩成人一区二区| 人妻精品一区二区三区| 久久色亭亭五月天| 99久热在线精品| 亚洲av成人在线| 九九热最新| 五月丁香六月欧美综合网站| 色婷婷成人网| 激情五月天综合| 亚洲丁香花色| 无码成人AAAAA毛片AI换脸| 成人做爰A片免费看视频| 五月婷婷丁香| 99在线看片| 9色天堂| 亚洲丁香花五月丁香花| 五月婷婷久久久久| sesesesezonghe| 丁香六月啪| 色情综合| 色五月婷婷丁香婷婷| 久久 这里只有精品1| 亚洲婷婷五月天激情综合| 久久这里只精品66| 五丁香激情综合| 五月婷六月综合在线观看| 超碰无码318604| 婷婷激情在线| 六月婷伊人| 婷婷五月天色网久| 操操自拍| 影音先锋91在线资源站| www.五月天婷婷| 久久人操| 色欲一区二区三区精品A片| 日本久久精品| 亚洲无AV在线中文字幕| 五月婷婷六月丁香玖玖玫瑰91| 射久久丁香五月| 成人在线视频网| 密黄站| 2025天天爽天天摸| 丁香美女主播视频在线观看| 99久视频| 国产成人片| 国产精品24r| 天天日P天天射P| 在线观看av网站| 丁香五月花婷婷开心| 激情久久五月网| 99这里只有精品视频| 激情五月综合网| 日本不卡高字幕在线2019| 日韩操啪| 婷婷五月天手机版视频| 激情五月综合网| 久久婷婷综合五月| 99色精品视频| 五月婷婷与六月丁香图片激情| 欧美激情五月天| 大香蕉在线观看9| 亚洲综合1024| 99这里只有精品|v| 爱久久小说下载网| 亚洲网站在线鸭子av| 五月天婷婷五月| 日韩99视频| 国自产拍偷拍精品啪啪一区二区| 大香蕉伊人99| 亚洲综合99| 五月丁香综合激情| 国产67194| 色吧五月婷婷| 婷婷五月天97干| 97人人操人人| 婷婷 丁香 精品| 人与禽A片啪啪| www.91在线观看| 六月丁香五月激情网| 综合AV在线| 婷婷9月天| 亚洲精品网站色视频| 伊人五月天在线| 中文字幕欧美日韩VA免费视频| 很很色丁香久久停停| 丁香五月天在线直播观看| 五月婷婷偷拍| 97超碰在线免费观看| WWW.色婷婷.COM| 超碰人人超碰| 99热第一页| 一级二级香港秋霞欧美欧美秋霞| 丁香五月欧美婷婷综合| 亚洲婷婷丁香五月亚洲| 欧美人与性动交CCOO| 色综合色色| 色五月激情五月| 九月丁香婷婷基地| WWW.99热| 久久婷婷激情四射五月天| 五月天激情小说| 色噜噜狠狠色综合日日| 台湾佬天天日丁香婷婷五月天| 北京熟妇搡BBBB搡BBBB| 成人欧美Va| 精品香蕉99久久久久网站 | 91人人爽人人操| 欧美激情综合色丁香婷婷五月天| 九九色院| 婷婷成人五月天| 亚洲激情婷婷| 久久曰曰| 综合色在线| 九九免费在线视频| 九九九九成人| 五月综合久久| 激情综合网,婷婷五月天| 另类在线免费视频| 婷婷丁香18| 超碰不卡在线| 综合五月天| 深爱激情网婷婷| 久久婷婷五月综合色丁香花| 99热免费| 久久丁香五月婷婷激情综合网| 狠狠色丁香| 国产五月天激情小说| 亚洲无码影音| www.日日夜夜.com| 丁香激情婷婷网| 99精品手机在线视频| 色偷偷五月天| 色综合播放| 中文字幕无码AV| 婷婷亚洲五月色综合| 91九色PORNY中文啦| 97色五月天| 久久人人做人人妻人人玩精品va| 舔色婷婷| 成人狠狠成人狠狠成人狠狠成人狠狠 | 欧美WW在线网| 韩国真做片在线观看| 久8色色| www.99精品视频| 色噜噜狠狠一区二区三区| 婷婷AV丁香| 久久婷婷青青| 婷婷五月天基地| 99精品爱| 色婷婷内射| 一区操| 九九伊人网| 丁香六月毛片| 天天情天天狠天天透| 婷婷五月丁香99| 久草五月婷婷| 欧美激情综合色综合啪啪五月| 5月婷婷综合| 九九综合五月欧美| 97日韩无套内| 777精品久无码人妻蜜桃| 五月色色激情网| 五月婷丁香花| 色九月婷婷综合| 九色综合网| 色色色国产| 久久66精品| 超碰成人免费| 婷婷五月色综合| 亚洲狠狠色丁香婷婷综合久久| 狠狠综合久久| 国产免费一区二区三区三州老师F1F1.CC| 欧美成人网婷婷综合在线| 在线天堂9| 久久久精品婷婷五月天| 大战熟女丰满人妻AV| 97操操操| www.91.com黄| 五月丁香成人| 99热碰碰热| 激情开心五月天婷婷基地丁香社区| 五月天婷亚洲天综合网综合| 丁香六月开心| 婷婷丁香六月综合激情站| 色天堂97| 欧美日本国产欧美日本韩国99| 久久99大| 日韩人人操| 成人短视频在线观看| 亚洲AV中文在线| 成人丁香五月| 天天插综合网| 97精品自拍视频| 丁香午夜天| 久久久久久久合一狠狠做深爱| 99性爱无码| 色青青五月| 六月丁香婷婷视频综合在线观看| 久久婷婷五月国产激情综合片| 一本久道综合色婷婷五月| 国产综合婷婷| 99视频久久| 激情久久丁香| 五月天社区| 99ri国产| 婷婷久久国产视频| 婷婷香五月| 人妻尝试久久久久久久久久久久| 欧美人人草| 这里只有精彩视| 激情婷婷丁香色五月| 国产26uuu视频| 涩涩涩婷婷| www.色婷婷。com| 这里只有精品视频在线观看免费| www色中色综合| 五月婷婷亞洲中文| 91久久五月天| 激情综合五| 狠狠操狠狠| 人妻熟人中文字幕一区二区 | 99日本黄站| 五月丁香婷婷啪啪| 亚洲无码成人网| 色五月婷婷中文字幕在线观看| 婷婷五月天视频免费在线观看| 色五月亚洲| 日本精品人妻无码77777| 粉嫩AV久久一区二区三区| 99精品国产在热久久| 成人做爰高潮A片免费视频| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 五月天成人综合| 大香蕉伊人久久| 日韩a热| 99亚洲色| 级情九色| 婷婷五月另类网站| 久青青久| 亚洲综合五月天| 久99久视频| 色999五月色| 99操九九网| 嫩草视频观看| 天天操,天天插| 日本在线va| 久久激情综合| 26uuu色五月| 丁香六月| 色婷婷久久综合丁香五月| 色99色| 国产又粗又大又爽又黄| 影视av久久久噜噜噜噜噜三级| 狠狠色五月激情| 五月婷婷AV| 久久综合婷婷| 婷婷色五月天色| 色婷婷XXXXX| se影音资源在线观看| 99热.com| 日韩精品一区二区亚洲AV观看| 日本美女天天日天天爽| 九九aV| 日韩av免费版| A一级操| 玖玖资源在线视频| 五月Huangsewang| 黄网网站在线播放| 99热精品免费| 青青久久五月天丁香婷婷| 大香蕉九操| 亚洲最大五月天成人网| 欧美交换配乱吟粗大25P| 丁香五月最新网址| 五月激情久久综合网| 六月婷婷色| 99热这里有精品首页10| 色婷婷的五月天| 被强行糟蹋的女人A片| 91婷色| 人草人人| 野外99热| 久久五月激情网| 国产精品A成V人在线播放| 99久精品| 久久精品系列| 五月天激情图| 色色婷婷婷丁香五月天| 丁香 婷婷五月| 武则天精品久久| 大香蕉伊然在亚洲90| 日本乱论99| 亚洲综合99| 亚洲中文乱字字幕在线永久| 成人一级片| 久9热| 五月天堂在线| 色婷婷综合久久| 激情五月综亚网| 天天操天天操天天操天天操天天操| 久久激情五月网| www,天天干| 丁香婷婷六月| 国产视频婷婷| 色www.con| 久久人人妻| 色九九一二| 午夜激情五月天| 婷婷成人av| 五月天激情国产综合AV| 丁香五月综合网| 婷婷综合激情五月综合| 少妇水多A片太爽了| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 在线视频99| 啪啪干伊人婷婷| 黄页大全十八禁| 狠狠插.com| 5月激情天| 亚洲性爱99| 天天五月情| 日韩成人电影av| 五月天色色网站| 99在线免费视频播放| 人妻自慰在线| AA片在线观看视频在线播放| 久久aaaa片一区二区| 色八戒操婷婷| 91爱操| 黄网在线播放| 在线观看免费观看在线9久| 六月婷婷九月丁香亚洲综合| www.久久| 丁香花五月天激情| 玖玖婷婷综合| 久久视频婷婷| 99热在线观看精品| 婷婷五月激情小说| 综合五月天婷婷色| 丁香婷婷激情网站| 激情五月天小说视频| 色婷视频| 六月婷婷五月丁香首页| 久99热| 91综合在线视频| 天堂草在线看www| 欧洲电影在线观看免费版英语版 | 六月丁香综合| 日本97在线视频| 99热这里只有精品在线| 色婷婷四色| 五月天,激情四射,婷婷频道| 婷婷94s| 色色婷婷综合网| 国产毛片欧美毛片久久久| 激情小说五月天| ztEJj| 天天爽夜夜操| 97成人在线视频精品| 狠狠五月天婷婷激情网。| 中文字幕网伦射乱中文| 欧美成性色| 丁香六月婷| 六月丁香久久| 99热这里是精品| 五月婷婷AV| 色色色干| 婷婷五月综合婷婷| 国产精品激情AV久久久青桔| 很很干在线视频| 草草女人亚洲| 亚洲激情综合免费| 91久久99久久91熟女精品| 色色色婷| 丁香大香蕉| 亚洲丁香花色| 色色色色色色色综合| 91狠狠综合久久| 五月婷婷六月丁香激情深爱| 久久精彩视频| 婷婷五月天在线一区| 色婷婷性爱| 99九九在线精品热动漫| 密黄站| 国产亚洲精品AAAA片APP| 激情五月婷婷欧美极品| 99综合色色色| 亚洲五月停停| 激情九月综合| 成人精品一区日本无码网| 日日夜夜青青草| 天天操天天干天天射| 99热这里只有精品16| 99狠狠操一| 99思思| 婷婷开心青青草| 丁香九月激情在线视频| 成人欧美日韩| 婷婷免费无视频| 先锋男人91资源| av久热| 色色色在线免费视频| 狠狠色综合五月人人| 天天婷婷| 婷婷五月亚洲激情| 丁香六月av| 天天色天天| 五月噜噜| www.色综合| 成人 在线 日韩| 538任你爽| 九月激情婷婷丁香| 婷婷亚洲天堂| 国产裸舞表演WWWW| 99热在线爱| 激情五月婷婷综合网| 天天干一干| 五月天婷婷久久日| 人人爽欧美婷婷久久久五月丁香| 狠狠干婷婷| 午夜做爱影院| 五月情四婷婷| 亚洲熟女色| AV中文网| 久久只有18视频| 久久久人妻系列| www.久久| 色婷婷91| 亚州欧美黄色电影| 狠狠穞A片一區二區三區| 夜夜撸日日操| 亚洲性色XXXXX| 婷婷涩五月| 色婷婷呢狠禁久禁| 色情五月婷婷| 黄网在线免费观看| 五月婷婷av| 五月丁香WWW| 91丨九色丨熟女|新版| 亚洲无码影音| 91蜜桃婷婷狠狠久久综合9色| 日本色五月| 欧洲综合视频在线观看。欧洲,亚洲综合食品在线观看。 | 99日本精品视频热| 丁香五月大香蕉AV| 亚洲色就是色色色| 99热国产在| 亚洲婷婷婷| 丁香五月大香蕉在线99| 夜夜躁爽日| 久久精品小视频| 99操视频| 91天堂网综合| 色综合久久久综合久久网| 亚洲操人| 九九自拍网| 色99网| 婷婷五月天影视| 九月影院義母在线播放| 欧美日韩成人高清在线| 婷婷综合干| 色色色激情网| 欧美精品在线观看| 性做久久久久久久免费看| 色九九综合| 婷婷色婷婷| 色 色 色综合com| 丁香婷婷久久综合在线| 五月天成人手机在线视频| 六月婷婷六月天天在线免费| 色综合九九| 综合另类视频| 欧美三级欧美一级| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 婷婷五月综合色拍| 色欲九区| 欧美色99| 91精品久久久久久| 香蕉婷婷| 亚洲色情久久| 九九激情网| 熟女色专区| 好好干Av| 天天插天天草人人玩| 久久这里只有国产| 久久亚洲网| 六月婷伊人| 五月丁花色综合网| 色婷婷久久综合丁香五月| 亚洲国产色色| www夜夜| 在线视频激情网站| 色五月成人| 99黄色性生活| 高清无码网址| 日本久久久97| 婷色综合| 九 九九九AV| 亭亭五月基地在线| 99热日本| 99热色精品| 噜噜国产| 思思热精品在线视频| 色五月天丁香婷婷| 99精品在这里| 天天干天天操| 九九热99热| 五月天色丁香| 99在线视频精品| 99精品丁香五月| 无码AV大香线蕉伊人| www,超碰| 色婷婷av综合网| 国产操逼网站| 激情六月丁香| 丁香五月天人体| www,色中色| 五月丁香六月色婷婷综合五月天| 日本人妻丁香婷婷久久寝取熟女五月| 久久人妻伊人| 五月婷婷六月天| 老司机日日夜夜青草| 四虎国产精品永久在线国在线| 在线播放中文字幕| 色99免费视频中文| 婷婷五月天精品| 影音先锋男人资源站一区二区| 五月天激情国产综合婷婷婷| 中文字幕精品在线观看| 综合亚洲五月天| www.色色色色| 99九九在线视频| 天天婷婷综合亚洲亚洲| 中文字幕成人版| 一月婷婷色色| 99热国产这里只有| 亚洲热久久| 欧美色婷婷| 操婷婷基地| 操操操www.com| 99久热在线精品99re6热| 丁香六月婷婷| 婷婷 月 丁香| 北京熟妇搡BBBB搡BBBB| 99色免费在线观看| 激情综合激情综合| 五月丁香婷婷色色色| 99国产精品白浆在线观看免费| 色色热日| 人人干AV| 夫妇交换刺激做爰| 97碰啪啪| 天天人人人人人人人人人人人| 国产乱人偷精品人妻A片| 2018国产大陆天天弄| 日本操天堂| 91性高潮久久久久久久久| 激情网开心网| 极品人妻VIDEOSSS人妻| 欧美噜噜免费观看| 99热碰碰| 99干日本| 尔尔AV一区| 91丨九色|PRNY熟妇| 性生活久久人妻| 九九热最新| 精品99在线| 激情VA视频| 99久久欧美| 激情五月丁香激情综合网 | 丁香婷婷丁香五月欧美人| 婷婷的色色五月天| 亚洲九九婷婷| 精品久久这里热66| 日韩婷婷五月| 99久久大片| 乱精品一区字幕二区| 激情开心五月天| 丁香五月 综合| 日本欧美在线| 国产一区18| 五月伊人网| 久久婷婷五月丁香网| 精品久久66| 91av视频| 国产精品色色| 男人的天堂av俄罗斯热| 综合色色网| 激情五月婷婷综合| 伊人91| 天天在线天天综合网色| 超碰2021| 综合激情五月天| 亚洲成人电影aaaa| 成人免费黄色短视频| sisi热国产| 被强行糟蹋的女人A片| 综合五月激情| 久久网日本| 亚洲综合五月| 操逼棍操逼| 五月丁香激情四射综合| 国产精产国品一二三在观看| 五月丁香啪啪啪免费看| 婷婷精品综合| 五月婷婷激情网| 91成人电影| 综合色色婷婷| 天天拍夜夜爽| 99久免费视频| 亚洲六月综合激情久久下卡| 99riAv1国产在线观看| 99久久激情视频| 色五月天影视| 欧美123区免| 丁香五月婷婷欧美成人色图| 五月婷婷另类| 人人草碰| 亚洲精品又粗又大又爽A片| 五月婷婷丁香五月| 六月婷婷狠狠| 婷婷色五月激情强奸四射| 久久996re热这里只有精品无码| 伊人网碰碰| 天天日夜夜草进麻麻的子宫| 久久婷婷综合基地| 色五月色情| 91九色在线| 五月婷婷很很色| 99er6| 激情九九六月激情免费视频| 丁香五月天堂网AV| 99爱在线| 666555。COm毛片| 综合网天天| 丁香五月91| 激情九九这里只有精品| 久久五月激情网| 九九色影视| 五月婷婷之综合激情| 五月婷婷,六月激情| 五月丁香六月日逼| 国产精品久久久99视频| 黄网免费看| 97色天堂| 中文字幕AV网址| 久久99热网| 天天色粽合合合合合合合| 91黄操| A A色色| 99热99免费| 人妻久久做| 亚洲激情网| 超碰三级秋霞| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 欧美影院| 欧美va欧美va差| 五月的婷婷六月丁香| 天天情色五月天| 婷婷激情五月天综合| 婷婷丁香六月五月天| 五月婷婷偷拍| 婷婷色五月天综合网| 五月天婷婷黄色| 亚洲AAAA网| 天天干、天天日日| 97碰碰视频在线观看| 天天干天天干天天干天天干天天干天天 | 热久久这里只有精品| AV操操操| 国产成人AV| 精品日本视频444| 94干大香蕉| 欧美日韩成人在线| 天天综合网亚洲综合网| 播播网色播播| 九九色精品| 开心婷婷五月综合| 色综合网上班开心婷婷久久| 99爱欧美| 99干视频| 久久免费干| 日本久久人人| 天天操天天日天天操| 综合激情视频| 激情六月天| 日韩大片艹艹| 欧美精品99久久久| 色久五月天| 九九色色| 色婷婷亚洲综合av| 国产 亚洲 在线| 亚洲色频| 九九色网专区| 中文字幕在线日亚洲9| 久久只有精品| 777色色色| 九九99精品视频在线观看| 色色五月婷婷网| 婷婷欧美激情| 五月婷婷丁香深深爱| 日日插日日干| 久综合4| 丁香五月婷婷色情综合| www.婷婷六月天| 亚洲国产精品二二三三区 | 任你日视频| 婷婷五月丁香激情色情| 色色99| 777久久久| 欧洲第一久色| 99re6在线视频精品免费| 婷婷亚洲天堂| 久久ww| 色五月婷婷基地| 久久丁香五月天| 欧洲色| 天天噜天天爱| 欧美性爱五月天| 深爱激情四射| 午夜天天精品视频| 丁香5月婷婷| 八戒青柠影视剧在线观看| 五月色激情综合网| 丁香九月婷婷综合| 综合五月丁香六月婷婷| 色五月婷婷成人| 日本熟女一区二区| 综合色99| 九九热啪啪| 日日干日日s| 九九re精品视频在线观看| 婷婷五月色综合| 99操逼| 第四色网婷婷| 婷婷五月天激情文学| 久久9久| 久久久免费精彩视频| 五月丁香激情综合网| 色色五月天婷婷| 婷婷5月色| 91超级碰碰| 日本片日本片祼观看网站在线看中文版网页在线看 | 蜜桃成语时李时珍 免费| 六月丁香啪啪啪| 69精品人人人人| 久久五月综合| 五月丁香啪啪综合| 亚洲情综合五月天| 日本色狠狠| 9月色婷婷| 99热在线播放| 婷婷色5月激情网| 中文字幕九九九九| 久久综合九色综合97婷婷| 伊人深爱综合| 热久久91| 婷婷丁香五月视频| 色婷五月天| 99视频精品视频| 久久hd| 少妇被躁爽到高潮无码文| 丁香婷婷婷五月| 九九九这里只有精品| 狠狠色丁香久久婷婷综合五月| 久久久亚洲精品一区二区三区浴池| 懂色AⅤ| 色婷婷小说| 天天色天天舔天天爱天天爽| 五月丁香色综合| 可以看的AV网站| 九九热这里只有精品首页| 超碰婷婷色| 综合色五月| 综合伊人久久| 噜噜噜噜噜色| 亚洲五月天伊人| 五月婷婷啪啪| 色九九九综合| 丁香五月手机在线| 婷婷五月天综合中文| 超碰九九热| 91打屁股视频网站| 99热 在线播放| 精品国产va久久久久| 91玖玖| 久操干| 婷婷碰碰| 久久久久久9热不雅视频| 四色五月婷婷| 丁香五月激情五月| 日韩av变天就操逼不卡区| 国产成人网址| 99视频这里只有免费精品| 久艹久| 日本99热| 欧美色五月| 国产精品扒开腿做爽爽爽A片唱戏| 欧美槡BBBB槡BBB少妇| 五月激情综合网| 九九热精品在线| 五月婷婷综合网| www.五月婷婷久久.com| 色五月久久成人婷婷| 午夜美女人啪最红院| 欧美日韩成人| 玖玖热99| 五月婷婷六月丁香激情深爱| 成人av在线电影| 久久久久激情| 久久婷婷视频| 天天色天天色天天色天天色天天色| www.深爱激情| 久久综合中文字幕| 五月色网| 日韩中文字幕| 97精品人人A片免费看| 国产成人一区二区三区在线观看| 99精品偷自拍| 婷婷五月丁香性爱| 五月丁香婷婷成人版| 美女黄频aⅴ视频| 五月天激情综合网俺也去| 亚洲99手机免费看视频| 无套内射极品大美女| 五月婷婷激情五月| 激情五月婷婷网| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 综合性视频99| 狠狠狠狠狠操| 五月婷婷开心网| 五月丁香av中文| 任你爽视频| 婷婷丁香无码专区| 久久99最新| 99热中文字幕久久| 五月婷在线| 婷婷丁香18| 天堂成人久久| 亚洲性爱区无码区| 欧美精品在线观看| 六月丁香婷婷色狠狠久久| 少妇性按摩无码中文A片| 国内精品免费一区二区2009| 婷婷第六色| 99色在线观看视频| 91精品综合久久久五月天| 久久视频这里99| 大地资源色婷婷视频在线| 大香蕉五月天婷婷| 五月婷亚洲精品| AA片在线观看视频在线播放| 狠狠狠婷婷五月综合| 久久久久思思热| 性按摩玩人妻HD中文字幕| 久久久18| 色婷网| 99re热在线视频| 五月丁香婷婷色| 五月丁香AV在线| 99热的无码| 五月天成人网在线观看| 99色热视频在线| 色婷婷亚洲| www.99视频| 五月天激情网图片| 婷婷五月天国产传媒| 伊人在线大香蕉网| 精品99视频| 91啪啪视频| 色色色99韩| 丁香五月天啪啪| 天天 日综合| 丁香婷婷激情网站| 123草逼网| 五月天丁香网| 欧美大片免费播放器| www婷婷色| 东北黄色一级| 丁香五月天AV在线| 少妇人妻凹凸视频| 99无码精品| 激情五月天婷婷丁香| 丁香网五月天| 久草 tingting| 97人人操| 天色综合网站| 亚洲色热| av大香蕉| 99热精品网| 激情五月丁香婷婷夜夜操| 色五月开心开心五月激情五月| 日日综合网| 色香欲综合| 丁香五月婷婷操逼| 4399在线日本A片| 久色五月| 久热9| 成人网站免费在线播放| 狠色狠色综合久久| 97久久超碰| www.婷婷,com| 亚洲激情综合免费| 色色综合网站| 日本在线视频www色| 伊人久热91| 婷婷五月天AV激情| 久久婷婷五月综合| 五月天丁香欧美激情| 五月激情偷拍婷婷| 91九色首页| 香蕉乱插| 香蕉AV777XXX色综合一区| 亚洲综合在线视频| 色色色综合网| 色噜噜五月天| 婷婷五月天首页激情| 亚洲XX日本| 亚洲精品色| www.99热视频| 狠狠99| 黄色91在线观看| 丁香五月天天高清在线| 蜜臀AV在线观看| 久热只有这里有精品| 激情久久久久| 日韩色五月| 五月激情综合网| 五月天婷婷涩涩| 婷婷激情六月天视频| 亚洲视频一区| 五月激情精品视频| 婷婷五月综合在线| 俺也去婷婷五月天第五色| a在线观看| 9l视频自拍九色9l视频自拍九色9l社区| 色播五月网| 极品五月天| 天天综合网亚洲网站| 婷婷中文字幕欧美| AV天堂婷婷五月天| 色99综合色88| 看久久性爱视频| www.婷婷五月.com| 超碰人妻公开在线| 99这里精品| 国产乱子轮XXX农村| 欧美综合激情五月丁香| 欧美人与性动交CCOO| 丁香色啪综合| 三级黄色大片视频| 色久五月| 99爱在线| 思思热在线播放| 五月花激情网| 超碰在线综合| WWW.99热| 99视频在线精品| 亚洲激情高潮| 五月丁香亭亭电影久久| 五月婷婷六月丁香在线视频| 日本人妻久久| 内射综合网| 伊人网欧美在线男人天堂五月丁香| 亚洲va成人va成人va在线观看| 五月天激情综合网站| 欧美成人AAA片一区国产精品| 五月丁香好婷婷A片网| 人人操婷婷| 久久久噜噜噜久久人妻| 六月丁香av| 五月婷婷影院| 99色在线观看视频| 97五月综合网| 亚洲操B| 色综合久久天天综合网 | 色色啊| 五月久久丁香| 99九九视频| 噜噜色五月| 成人免费黄色短视频| www.com五月天| 五月丁香婷草| 色色激情五月天| 五月婷婷久| 色婷婷免费观看| 免费观看全黄做爰的视频| 激情深爱五月| 久久久网站| 超碰婷婷五月| 九九99九九99| 黄色视频网站在线播放| 狠狠色精品综合| 久久视频婷婷| 99热啪啪| 色偷偷色婷婷| 极品色丁香| www.cao.com久久| 丁香婷婷网| wwwxxx五月婷婷小说| 亚洲AV第二区国产精品| www.婷婷| 色五月 五月婷婷| 九月婷婷综合八月丁香在线观看| 69人人操人人爽| 天天插天天插天天插天天插| 五月丁香婷婷俺| 超碰在线99| 久99久视频精选| 成人精品在线观看| 一级二级色大片| 99久久思思| 婷婷操逼| 久热在线观看视频9| 婷婷五月天av| 婷婷九月在线| 996热re视频精品视频这里| 97干在线视频| 一级性感毛片| 艳妇野外情欲放荡HD| 色欲婷婷五月天| 日韩在线婷婷五月天综合| 丁香五月婷婷无码AV| 欧美伊人9| 久婷婷视平| 丁香六月激情综合| 国产精品视频免费看| 秋霞三及片| 午夜丁香六月婷| 丁香五月色色| 热热99爱爱| 婷婷色色欧美综合网| 天天影院色| 天天操中文字幕| 日韩九九| 久久99久久99精品免观看软件| 丁香色五月婷婷17C| 99九九在线精品热动漫| 亚洲色区17| 色五月婷婷7777| 丝袜大香蕉| 99视频在线精品免费观看2| 久久人妻精品| 玖玖资源在线视频| 这里只精品热在线18| 桃色伊人在线| 操操操av| 天天综合网、天天综合色 | 九九精品碰| 99ri网站在线观看| 日本乱子人伦在线视频| 99国产精品久久久久久久久久久 | 狠狠999| 亚洲激情图文小说| 婷婷丁香五月亚洲欧美| 操操啪| www.99色| 久久伊人大香蕉| 九九久久99精品免费观看www| 在线观看av网站| 91精品综合久久婷婷九色| 91视频久久久| 婷婷性爱视频在线| 成人在线视频男人的天堂4399| 婷婷久久女人| 色色网91| 丁香六月婷婷色播| 久久99激情五月天| 大香蕉视频婷| 丁香五月天社区婷婷| 操b视频在线观看一区二区| 99人人干人人操| 狠狠久久婷婷| 久久五月婷婷丁香| 4399亚洲视频| 久久停停超碰| 婷婷色女| 婷婷五月天激情综合婷婷五月天激情综合| 五月综合激情啪啪啪啪啪| 激情激情激情网| 思思久热6| 婷婷丁香人妻天天爽| 久久丁香五月| 色色色婷婷五月天| 这里只有精品视频免费在线观看| 久久99网站| 五月日韩中文字幕| 99黄色在线视频精品熟女| 97人人妻人人艹| 国产AV成人精品| 婷婷五月激情综合啪啪| 亚洲无aV在线中文字幕| 日韩久热| 天天做天天爱天天日| 激情综合网激情五月网| 激情五月婷婷综合色播小说| 色香欲综合| 久久激情网| 免费看欧美成人A片无码| 另类丁香五月天区图| www99精品亚| 99碰网站| 五月天另类小说| 99九九精品| 免费碰碰视频久| 第五婷婷伊人丁香| 婷婷六月色| 五月天婷婷深深爱| 女人被男人吃奶到高潮| 五月丁香啪| 超碰成人黄色网| 爆乳熟女一区二区三区爆乳| 五月天丁香六月综合| 丁香五月综合婷婷| 99只有这里有精品在线视频| 狠狠色综合网| 久久视频在线视频| 五月花激情网| 丁香亭亭久久| 久久丁香久久| 五月天婷婷基地| 日撸夜撸日操| 色婷婷六月天| tingtingjiqingwuyue| 色五月婷婷五月丁香五月| 亚洲av日韩无码| 风流少妇A片一区二区蜜桃| 97久久超视频| 91啪啪视频| 最新丁香六月婷婷| 91九色国产| 男人大jjc女人免费视频| 综合色网站| 婷婷色五月色妇| www色五月| 亚洲精品一二三| 免费黄色视频网址| 九九久热| 97人人操人人干| 大香蕉七区| 丁香5月啪啪| 婷婷五月天黄色| 婷婷99狠| 欧洲激情五月天| 色婷婷电影网| 美英法精品无码免费视频| 五月天久久婷婷| 操逼五月天| 五月婷婷熟女| 色五月激情网| 日韩久久欧亚| 26UUU在线观看| 亚州操人在线视频| 色婷婷在线影院| 五月丁香婷婷婷婷综合网| 99ri在线| 日本黄色精品| 午夜电影网VA内射| 五月天开心网| 久久99婷婷| 亚洲国产精品VA在线看黑人| 九九99精品视品| 国产欧美婷婷五月| 亚洲色啪| 九九大香蕉黄色影院| 五月婷婷在线综合| 中文字幕有多少字| 色情五月丁香婷婷网| 五月丁香无码| 51XX嘿嘿午夜无码| 成人综合伍月天| 日本视频不卡123区| 九九热这里都是精品6| 99视频精品在线| 国产精品人妻欲求不满| 婷婷成人五月天| 亚洲蜜乳AV| 天天插天天操| 五六月婷婷久久| 丁香五月天av| 综合AV网| 思思热再线视频| 久久综合婷婷激情| 97色伦另类图片小说视频 | 秋霞电影一级黄| 色五月婷婷久久| 婷婷综合五月天| 久久色婷婷| 日韩成人网址| 激情五月小说婷婷| 五月丁香六月婷婷精品| 性爱久久| 狠狠va| 八戒青柠影视剧在线观看|