欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Spark Streaming中foreachRDD的避坑指南:連接管理與性能調(diào)優(yōu)

Spark Streaming中foreachRDD的避坑指南:連接管理與性能調(diào)優(yōu) 1. 為什么foreachRDD是Spark Streaming里最容易翻車的算子剛接觸Spark Streaming那會(huì)兒我對(duì)foreachRDD的理解就是把每個(gè)批次的數(shù)據(jù)拿出來處理一下看起來跟RDD的foreach差不多能有多難結(jié)果第一次在生產(chǎn)環(huán)境用它往外部存儲(chǔ)寫數(shù)據(jù)就踩了個(gè)大坑——每個(gè)批次都新建一個(gè)連接跑了幾分鐘直接把連接池打滿了任務(wù)全線卡死。后來復(fù)盤才發(fā)現(xiàn)問題根本不在業(yè)務(wù)邏輯而在于我對(duì)foreachRDD的執(zhí)行位置和生命周期完全沒有概念。foreachRDD是Spark Streaming中唯一一個(gè)逃出DStream抽象、直接操作底層RDD的算子。它的定位非常特殊DStream本身是一系列RDD的序列而foreachRDD讓你在每個(gè)批次生成的RDD上執(zhí)行任意操作。這個(gè)任意就是雙刃劍——它給了你最大的靈活性也把資源管理的責(zé)任全部甩給了你。你可以用它寫數(shù)據(jù)庫、寫消息隊(duì)列、寫文件系統(tǒng)、調(diào)用外部接口但每一個(gè)操作都需要你自己考慮連接復(fù)用、序列化、冪等性、失敗重試這些事。這篇文章適合已經(jīng)寫過基礎(chǔ)Spark Streaming任務(wù)、但對(duì)foreachRDD的內(nèi)部機(jī)制和最佳實(shí)踐還不夠清晰的開發(fā)者。我會(huì)從執(zhí)行架構(gòu)講起把連接管理的坑、序列化的坑、冪等性的坑一個(gè)個(gè)拆開配上可以直接抄的代碼模板。如果你正在用foreachRDD往MySQL、HBase、Kafka或者Redis寫數(shù)據(jù)這篇內(nèi)容應(yīng)該能幫你少走不少彎路。2. foreachRDD在Spark Streaming執(zhí)行鏈路中的真實(shí)位置2.1 DStream的惰性本質(zhì)與foreachRDD的觸發(fā)角色要理解foreachRDD得先搞清楚DStream到底是什么。DStream并不是一個(gè)裝著數(shù)據(jù)的容器它更像一份生產(chǎn)計(jì)劃書——描述了數(shù)據(jù)從哪里來、經(jīng)過哪些變換、最終要到哪里去。真正承載數(shù)據(jù)的是每個(gè)批次間隔batch interval生成的一個(gè)個(gè)RDD。這些RDD按時(shí)間順序排列就構(gòu)成了DStream的底層結(jié)構(gòu)。Spark Streaming的調(diào)度器會(huì)按照batch interval周期性地觸發(fā)作業(yè)。每個(gè)周期內(nèi)DStream Graph中所有的轉(zhuǎn)換操作會(huì)被編譯成一個(gè)Job交給底層的Spark引擎執(zhí)行。而foreachRDD就是這個(gè)Graph的終點(diǎn)站——它是一個(gè)Output Operation只有Output Operation才會(huì)真正觸發(fā)Job的提交。沒有Output Operation的DStream Graph就是一張廢紙什么都不會(huì)執(zhí)行。這一點(diǎn)跟RDD的惰性求值是一個(gè)道理。你寫了一堆map、filter、reduceByKey只要沒有actionSpark什么都不會(huì)做。DStream也一樣foreachRDD就是那個(gè)action級(jí)別的存在。區(qū)別在于RDD的action觸發(fā)一次計(jì)算就結(jié)束了而foreachRDD會(huì)在每個(gè)batch interval被反復(fù)觸發(fā)直到StreamingContext停止。2.2 Driver端與Executor端的執(zhí)行邊界foreachRDD最容易被誤解的地方就是它的代碼到底在哪里執(zhí)行。很多人以為foreachRDD里面的代碼都在Executor上跑其實(shí)不是。foreachRDD的方法體本身是在Driver端執(zhí)行的它接收一個(gè)函數(shù)func: RDD[T] Unit這個(gè)函數(shù)在每個(gè)批次被調(diào)用一次調(diào)用發(fā)生在Driver上。但函數(shù)內(nèi)部對(duì)RDD的操作就不一樣了。如果你在foreachRDD里面寫了rdd.foreach(...)那么rdd.foreach里面的代碼才會(huì)被分發(fā)到Executor上執(zhí)行。如果你寫的是rdd.collect()數(shù)據(jù)會(huì)被拉到Driver端。如果你寫的是rdd.saveAsTextFile(...)寫操作由Executor完成。這個(gè)邊界搞不清楚就會(huì)犯一個(gè)經(jīng)典錯(cuò)誤在foreachRDD的方法體里直接創(chuàng)建數(shù)據(jù)庫連接。因?yàn)榉椒w在Driver上執(zhí)行你創(chuàng)建的連接對(duì)象在Driver上然后你試圖在rdd.foreach里用它——這個(gè)連接對(duì)象需要被序列化后發(fā)送到Executor而數(shù)據(jù)庫連接根本不可序列化直接報(bào)NotSerializableException。就算某些連接碰巧能序列化每個(gè)Executor上拿到的也是一個(gè)反序列化后的副本跟Driver上的原始連接沒有任何關(guān)系用完了也不會(huì)關(guān)閉連接泄漏是必然的。2.3 批次間隔與foreachRDD調(diào)用頻率的關(guān)系foreachRDD的調(diào)用頻率等于batch interval的倒數(shù)。如果你設(shè)置的batch interval是5秒那么foreachRDD的方法體每5秒被執(zhí)行一次里面的RDD操作也會(huì)每5秒觸發(fā)一次。這個(gè)頻率直接決定了你對(duì)外部系統(tǒng)的寫入壓力。我見過有同學(xué)把batch interval設(shè)成1秒然后在foreachRDD里往MySQL寫數(shù)據(jù)每個(gè)批次建一次連接、關(guān)一次連接。1秒一次連接創(chuàng)建和銷毀MySQL的wait_timeout還沒到連接數(shù)就已經(jīng)爆了。這不是MySQL的問題是batch interval和連接管理策略沒有匹配好。一般來說batch interval的設(shè)置要綜合考慮數(shù)據(jù)量、處理延遲要求和外部系統(tǒng)的承載能力。如果外部系統(tǒng)對(duì)連接創(chuàng)建比較敏感要么把batch interval調(diào)大要么在foreachRDD內(nèi)部做連接池復(fù)用。這兩個(gè)方向后面都會(huì)詳細(xì)講。3. 連接管理的三種寫法與它們的性能差距3.1 最直覺但最致命的寫法每個(gè)RDD建一次連接先看一段很多人一開始都會(huì)寫的代碼dstream.foreachRDD { rdd val connection createConnection() // 在Driver上執(zhí)行 rdd.foreach { record connection.write(record) // 連接被序列化到Executor必然失敗 } connection.close() }這段代碼有兩個(gè)致命問題。第一createConnection()在Driver上執(zhí)行得到的連接對(duì)象要隨rdd.foreach的閉包一起序列化發(fā)送到Executor絕大多數(shù)數(shù)據(jù)庫連接不支持序列化直接拋異常。第二即使某個(gè)連接庫支持序列化每個(gè)Executor上反序列化出來的連接是獨(dú)立的副本connection.close()在Driver上調(diào)用關(guān)的是Driver上的那個(gè)連接Executor上的連接永遠(yuǎn)不會(huì)被關(guān)閉。正確的做法是把連接的創(chuàng)建和關(guān)閉都放到Executor端dstream.foreachRDD { rdd rdd.foreachPartition { partition val connection createConnection() // 在Executor上執(zhí)行 partition.foreach { record connection.write(record) } connection.close() // 在Executor上關(guān)閉 } }用foreachPartition代替foreach連接的創(chuàng)建和關(guān)閉就都發(fā)生在Executor端了。每個(gè)分區(qū)一個(gè)連接而不是每條記錄一個(gè)連接性能提升是數(shù)量級(jí)的。但即便如此如果分區(qū)數(shù)很多每個(gè)批次仍然會(huì)創(chuàng)建大量連接。假設(shè)你的RDD有200個(gè)分區(qū)batch interval是10秒那么每10秒就會(huì)創(chuàng)建和銷毀200個(gè)連接一分鐘就是1200個(gè)。對(duì)于連接創(chuàng)建開銷大的數(shù)據(jù)庫來說這個(gè)壓力依然不小。3.2 連接池方案用單例對(duì)象管理連接生命周期連接池的核心思路是讓連接在Executor的JVM生命周期內(nèi)復(fù)用而不是每個(gè)批次都重新創(chuàng)建。實(shí)現(xiàn)方式是利用Scala的object單例特性——每個(gè)Executor的JVM里這個(gè)object只會(huì)被初始化一次里面的連接池也就只創(chuàng)建一次。object ConnectionPoolManager extends Serializable { transient private var pool: HikariDataSource _ def getPool(): HikariDataSource { if (pool null) { synchronized { if (pool null) { val config new HikariConfig() config.setJdbcUrl(jdbc:mysql://host:3306/db) config.setUsername(user) config.setPassword(pass) config.setMaximumPoolSize(10) config.setMinimumIdle(2) pool new HikariDataSource(config) } } } pool } }然后在foreachRDD里這樣用dstream.foreachRDD { rdd rdd.foreachPartition { partition val pool ConnectionPoolManager.getPool() val connection pool.getConnection() try { partition.foreach { record // 用connection寫數(shù)據(jù) } } finally { connection.close() // 歸還連接到池不是真正關(guān)閉 } } }這里有幾個(gè)關(guān)鍵點(diǎn)需要注意。transient注解讓pool字段不被序列化因?yàn)镃onnectionPoolManager這個(gè)對(duì)象本身會(huì)被序列化到Executor但連接池不應(yīng)該被序列化。getPool()方法里的雙重檢查鎖保證了線程安全因?yàn)橐粋€(gè)Executor上可能有多個(gè)Task并發(fā)執(zhí)行。connection.close()在HikariCP里是歸還連接到池不是物理關(guān)閉所以可以放心調(diào)用。連接池的大小需要根據(jù)Executor的核數(shù)和并發(fā)Task數(shù)來調(diào)整。如果每個(gè)Executor有4個(gè)核最多同時(shí)跑4個(gè)Task那么maximumPoolSize設(shè)成4到8就夠了。設(shè)太大反而會(huì)浪費(fèi)資源還可能把數(shù)據(jù)庫的連接數(shù)打滿。3.3 三種方案的量化對(duì)比方案連接創(chuàng)建頻率每批次連接數(shù)適用場(chǎng)景風(fēng)險(xiǎn)點(diǎn)每RDD建連接每批次一次1但不可用無序列化失敗、連接泄漏每分區(qū)建連接每批次每分區(qū)一次等于分區(qū)數(shù)低頻批次、小分區(qū)數(shù)連接創(chuàng)建開銷大連接池Executor生命周期一次等于并發(fā)Task數(shù)高頻批次、大分區(qū)數(shù)池大小配置不當(dāng)從實(shí)際經(jīng)驗(yàn)來看只要你的batch interval小于30秒或者分區(qū)數(shù)超過50就應(yīng)該用連接池方案。每分區(qū)建連接的方式只適合batch interval較大比如1分鐘以上、分區(qū)數(shù)較少比如10個(gè)以內(nèi)的場(chǎng)景。4. 序列化問題為什么你的連接對(duì)象總是報(bào)錯(cuò)4.1 閉包序列化的底層機(jī)制Spark在分發(fā)Task到Executor時(shí)會(huì)把Task對(duì)應(yīng)的閉包序列化成字節(jié)數(shù)組。閉包會(huì)捕獲它引用的外部變量這些變量必須支持序列化。foreachRDD的方法體在Driver上執(zhí)行但方法體內(nèi)部的rdd.foreach或rdd.foreachPartition的閉包會(huì)被序列化發(fā)送到Executor。如果你在foreachRDD的方法體里定義了一個(gè)連接對(duì)象然后在rdd.foreach里引用它這個(gè)連接對(duì)象就會(huì)被閉包捕獲進(jìn)而被序列化。數(shù)據(jù)庫連接、網(wǎng)絡(luò)連接、文件句柄這些資源都不支持序列化所以會(huì)直接報(bào)java.io.NotSerializableException。更隱蔽的情況是你定義了一個(gè)包含連接字段的類這個(gè)類實(shí)現(xiàn)了Serializable接口但連接字段本身不可序列化。這種情況下序列化會(huì)在運(yùn)行時(shí)失敗而且報(bào)錯(cuò)信息可能不會(huì)直接指向連接字段排查起來比較費(fèi)勁。4.2 transient注解的正確使用姿勢(shì)transient是Scala和Java都支持的注解作用是標(biāo)記某個(gè)字段不參與序列化。在Spark Streaming的場(chǎng)景里它通常用來標(biāo)記那些不應(yīng)該被序列化、需要在Executor端重新初始化的字段。class DataWriter extends Serializable { transient private var connection: Connection _ def write(records: Iterator[Record]): Unit { if (connection null) { connection DriverManager.getConnection(url, user, pass) } records.foreach { record // 用connection寫 } } }這里connection被標(biāo)記為transient序列化時(shí)會(huì)被跳過。到了Executor端反序列化后connection是null需要在第一次使用時(shí)重新創(chuàng)建。這種惰性初始化的模式在Spark里非常常見。但要注意transient只是讓字段不被序列化它不會(huì)自動(dòng)幫你重新初始化。你必須在代碼里顯式判斷null并創(chuàng)建連接否則會(huì)報(bào)NullPointerException。而且如果多個(gè)Task共享同一個(gè)對(duì)象實(shí)例還需要考慮線程安全問題。4.3 一個(gè)真實(shí)的序列化報(bào)錯(cuò)排查過程有一次同事找我?guī)兔匆粋€(gè)任務(wù)報(bào)錯(cuò)信息是Task not serializable但代碼里看起來沒有任何明顯的不可序列化對(duì)象。我讓他把foreachRDD里的代碼逐行注釋最后定位到一行看起來人畜無害的代碼val logger LoggerFactory.getLogger(this.getClass) dstream.foreachRDD { rdd rdd.foreach { record logger.info(sProcessing $record) // 這里引用了logger } }問題出在logger上。LoggerFactory.getLogger返回的Logger對(duì)象內(nèi)部持有大量不可序列化的狀態(tài)被閉包捕獲后導(dǎo)致序列化失敗。解決辦法是在rdd.foreach內(nèi)部重新獲取Logger或者用transient標(biāo)記Logger字段。這個(gè)案例說明序列化問題不一定來自你顯式創(chuàng)建的連接對(duì)象任何被閉包捕獲的、不可序列化的對(duì)象都可能成為罪魁禍?zhǔn)住E挪榈臅r(shí)候最有效的方法就是逐行注釋二分定位。5. 冪等性與Exactly-OnceforeachRDD繞不開的難題5.1 At-Least-Once語義下重復(fù)寫入的根源Spark Streaming默認(rèn)提供的是At-Least-Once語義。這意味著在發(fā)生故障恢復(fù)時(shí)某些批次的數(shù)據(jù)可能會(huì)被重復(fù)處理。對(duì)于foreachRDD來說重復(fù)處理就意味著重復(fù)寫入外部系統(tǒng)。重復(fù)寫入的根源在于Spark Streaming的Checkpoint機(jī)制和WALWrite-Ahead Log。當(dāng)Executor失敗時(shí)Driver會(huì)根據(jù)Checkpoint信息重新調(diào)度失敗的批次。如果失敗發(fā)生在數(shù)據(jù)已經(jīng)寫入外部系統(tǒng)之后、但Checkpoint還沒更新之前那么這個(gè)批次就會(huì)被重新執(zhí)行導(dǎo)致重復(fù)寫入。舉個(gè)例子你的任務(wù)從Kafka讀取數(shù)據(jù)用foreachRDD寫入MySQL。某個(gè)批次的數(shù)據(jù)已經(jīng)成功寫入了MySQL但在更新Checkpoint時(shí)Driver崩潰了?;謴?fù)后Driver從上一個(gè)Checkpoint點(diǎn)重新開始這個(gè)批次會(huì)被重新處理同樣的數(shù)據(jù)會(huì)被再次寫入MySQL。如果你的寫入操作是簡單的INSERTMySQL里就會(huì)出現(xiàn)重復(fù)記錄。5.2 用冪等寫入對(duì)抗重復(fù)數(shù)據(jù)解決重復(fù)寫入最直接的辦法是讓寫入操作本身具備冪等性。冪等的意思是同樣的操作執(zhí)行一次和執(zhí)行多次對(duì)外部系統(tǒng)的影響是一樣的。對(duì)于MySQL常見的冪等方案有三種。第一種是用INSERT ... ON DUPLICATE KEY UPDATE前提是表上有唯一鍵。第二種是先用REPLACE INTO效果類似。第三種是先DELETE再INSERT但這種方式在并發(fā)場(chǎng)景下可能有問題。INSERT INTO user_events (event_id, user_id, event_type, event_time) VALUES (?, ?, ?, ?) ON DUPLICATE KEY UPDATE user_id VALUES(user_id), event_type VALUES(event_type), event_time VALUES(event_time)對(duì)于HBase可以利用RowKey的唯一性用Put操作天然實(shí)現(xiàn)冪等——同樣的RowKey重復(fù)寫入后寫的會(huì)覆蓋先寫的結(jié)果是一樣的。對(duì)于Kafka可以啟用Producer的冪等性enable.idempotencetrueKafka會(huì)為每條消息分配序列號(hào)Broker端會(huì)去重。但要注意Kafka的冪等性只在單個(gè)Producer會(huì)話內(nèi)有效跨會(huì)話的重復(fù)還是需要業(yè)務(wù)層處理。5.3 事務(wù)性寫入與手動(dòng)提交Offset的配合如果你需要更強(qiáng)的Exactly-Once保證就需要把數(shù)據(jù)寫入和Offset提交放在同一個(gè)事務(wù)里?;舅悸肥窃谔幚砻總€(gè)批次時(shí)先開啟事務(wù)寫入數(shù)據(jù)同時(shí)把Offset信息也寫入同一個(gè)事務(wù)最后提交事務(wù)。如果事務(wù)失敗Offset不會(huì)提交批次會(huì)被重新處理。dstream.foreachRDD { rdd val offsetRanges rdd.asInstanceOf[HasOffsetRanges].offsetRanges rdd.foreachPartition { partition val connection getConnection() connection.setAutoCommit(false) try { partition.foreach { record // 寫入業(yè)務(wù)數(shù)據(jù) } // 在同一個(gè)事務(wù)里寫入Offset offsetRanges.foreach { range writeOffset(connection, range) } connection.commit() } catch { case e: Exception connection.rollback() throw e } finally { connection.close() } } }這種方案的關(guān)鍵在于Offset的存儲(chǔ)位置必須和業(yè)務(wù)數(shù)據(jù)在同一個(gè)數(shù)據(jù)庫、同一個(gè)事務(wù)里。如果Offset存在ZooKeeper或Kafka里就無法和業(yè)務(wù)數(shù)據(jù)寫入構(gòu)成原子操作Exactly-Once就無從談起。需要提醒的是這種方案會(huì)顯著增加寫入延遲因?yàn)槊總€(gè)批次都要等事務(wù)提交完成。而且如果事務(wù)回滾整個(gè)批次的數(shù)據(jù)都要重寫對(duì)數(shù)據(jù)庫的壓力會(huì)成倍增加。在實(shí)際項(xiàng)目中我通常只在數(shù)據(jù)準(zhǔn)確性要求極高的場(chǎng)景比如金融交易記錄才用這種方案普通場(chǎng)景用冪等寫入就夠了。6. 性能調(diào)優(yōu)讓foreachRDD不再成為瓶頸6.1 批量寫入代替逐條寫入逐條寫入是foreachRDD最常見的性能殺手。每寫一條記錄就發(fā)一次網(wǎng)絡(luò)請(qǐng)求網(wǎng)絡(luò)往返時(shí)間RTT累積起來非??捎^。假設(shè)RTT是1毫秒寫10000條記錄就是10秒這還沒算數(shù)據(jù)庫端的處理時(shí)間。批量寫入的思路是把多條記錄攢成一個(gè)批次一次性發(fā)給外部系統(tǒng)。對(duì)于JDBC可以用addBatch()和executeBatch()rdd.foreachPartition { partition val connection getConnection() val statement connection.prepareStatement(INSERT INTO ...) var count 0 partition.foreach { record statement.setString(1, record.field1) statement.setInt(2, record.field2) statement.addBatch() count 1 if (count % 500 0) { statement.executeBatch() count 0 } } if (count 0) { statement.executeBatch() } statement.close() connection.close() }批量大小需要根據(jù)記錄大小和數(shù)據(jù)庫配置來調(diào)整。一般來說500到1000條一批比較合適。太小了效果不明顯太大了可能超過數(shù)據(jù)庫的max_allowed_packet限制。6.2 控制分區(qū)數(shù)避免連接爆炸RDD的分區(qū)數(shù)直接決定了foreachPartition的并發(fā)度也決定了同時(shí)創(chuàng)建的連接數(shù)。如果分區(qū)數(shù)是500每個(gè)分區(qū)創(chuàng)建一個(gè)連接那么瞬間就會(huì)有500個(gè)連接打到數(shù)據(jù)庫上。大多數(shù)數(shù)據(jù)庫的默認(rèn)最大連接數(shù)是100到200直接就被打滿了??刂品謪^(qū)數(shù)有幾種方式。如果數(shù)據(jù)源是Kafka可以用directStream的repartition或者調(diào)整spark.streaming.kafka.maxRatePerPartition來控制。如果是receive方式可以調(diào)整spark.streaming.blockInterval來間接影響分區(qū)數(shù)。更直接的方式是在foreachRDD之前調(diào)用rdd.repartition(n)或rdd.coalesce(n)來顯式控制分區(qū)數(shù)。但要注意repartition會(huì)觸發(fā)Shuffle有額外的開銷coalesce不觸發(fā)Shuffle但只能減少分區(qū)數(shù)不能增加。我的經(jīng)驗(yàn)是分區(qū)數(shù)控制在Executor總核數(shù)的2到3倍比較合適。比如你有10個(gè)Executor每個(gè)4核總共40核那么分區(qū)數(shù)設(shè)在80到120之間。這樣既能保證并發(fā)度又不會(huì)創(chuàng)建過多連接。6.3 異步寫入與背壓機(jī)制的取舍如果外部系統(tǒng)的寫入延遲比較高同步寫入會(huì)拖慢整個(gè)批次的處理速度進(jìn)而導(dǎo)致批次堆積。這時(shí)候可以考慮異步寫入——把數(shù)據(jù)放到一個(gè)隊(duì)列里由單獨(dú)的線程池負(fù)責(zé)寫入foreachRDD只負(fù)責(zé)入隊(duì)不等待寫入完成。object AsyncWriter { private val executor Executors.newFixedThreadPool(10) private val queue new LinkedBlockingQueue[Record](10000) def start(): Unit { (1 to 10).foreach { _ executor.submit(new Runnable { override def run(): Unit { while (true) { val record queue.take() // 寫入外部系統(tǒng) } } }) } } def write(record: Record): Unit { queue.put(record) // 隊(duì)列滿時(shí)會(huì)阻塞 } }異步寫入能顯著提升吞吐量但會(huì)帶來兩個(gè)問題。第一如果隊(duì)列滿了put操作會(huì)阻塞反而拖慢處理速度。第二異步寫入無法保證數(shù)據(jù)在批次完成時(shí)已經(jīng)落盤如果任務(wù)在這期間崩潰隊(duì)列里的數(shù)據(jù)就丟了。Spark Streaming本身有背壓機(jī)制spark.streaming.backpressure.enabledtrue可以根據(jù)處理速度動(dòng)態(tài)調(diào)整數(shù)據(jù)攝入速率。但背壓只控制攝入不控制寫出。如果寫出是瓶頸背壓會(huì)導(dǎo)致攝入速率被壓低整體吞吐量上不去。這種情況下要么優(yōu)化寫出邏輯要么增加寫出并發(fā)度單純靠背壓解決不了問題。7. 那些文檔里不會(huì)寫的實(shí)戰(zhàn)經(jīng)驗(yàn)7.1 Checkpoint目錄的清理與版本兼容用了foreachRDD的任務(wù)通常都需要開啟Checkpoint因?yàn)橐4鍻ffset和DStream Graph的元信息。但Checkpoint目錄會(huì)隨著時(shí)間不斷增長如果不清理磁盤很快就會(huì)被占滿。Spark Streaming本身沒有提供自動(dòng)清理Checkpoint的機(jī)制需要手動(dòng)處理。常見的做法是寫一個(gè)定時(shí)任務(wù)定期刪除過期的Checkpoint文件。但要注意不能刪除正在使用的Checkpoint否則任務(wù)恢復(fù)時(shí)會(huì)失敗。另一個(gè)坑是Checkpoint的版本兼容性。如果你修改了DStream Graph的結(jié)構(gòu)比如增加了一個(gè)轉(zhuǎn)換操作從舊Checkpoint恢復(fù)時(shí)會(huì)報(bào)錯(cuò)因?yàn)樾屡fGraph不匹配。這種情況下只能刪除Checkpoint重新開始或者用spark.streaming.stopGracefullyOnShutdown優(yōu)雅停止后手動(dòng)遷移。我的建議是如果業(yè)務(wù)邏輯可能頻繁變更盡量不要依賴Checkpoint恢復(fù)而是用外部存儲(chǔ)如ZooKeeper或數(shù)據(jù)庫來保存Offset每次啟動(dòng)時(shí)從外部存儲(chǔ)讀取Offset重新構(gòu)建DStream。這樣DStream Graph的變更就不會(huì)受Checkpoint限制。7.2 foreachRDD內(nèi)部的異常處理策略foreachRDD內(nèi)部的異常如果沒被捕獲會(huì)導(dǎo)致整個(gè)批次失敗進(jìn)而觸發(fā)重試。如果異常是持續(xù)性的比如數(shù)據(jù)庫連不上重試會(huì)一直失敗任務(wù)會(huì)陷入死循環(huán)。合理的做法是在foreachRDD內(nèi)部做細(xì)粒度的異常處理。對(duì)于可恢復(fù)的異常如網(wǎng)絡(luò)抖動(dòng)可以重試幾次對(duì)于不可恢復(fù)的異常如數(shù)據(jù)格式錯(cuò)誤應(yīng)該記錄日志并跳過而不是讓整個(gè)批次失敗。rdd.foreachPartition { partition partition.foreach { record try { // 寫入邏輯 } catch { case e: RetryableException // 重試邏輯 case e: Exception // 記錄到死信隊(duì)列或日志 logger.error(sFailed to process $record, e) } } }但要注意如果異常被吞掉了Spark Streaming會(huì)認(rèn)為批次處理成功Offset會(huì)正常提交。那些被跳過的數(shù)據(jù)就永久丟失了。所以跳過數(shù)據(jù)的前提是你已經(jīng)把失敗的數(shù)據(jù)記錄到了某個(gè)地方后續(xù)可以人工補(bǔ)償。7.3 本地測(cè)試與生產(chǎn)環(huán)境的差異本地測(cè)試foreachRDD時(shí)通常用local[*]模式所有Task在同一個(gè)JVM里跑連接池、單例對(duì)象的行為和生產(chǎn)環(huán)境完全不同。本地測(cè)試通過不代表生產(chǎn)環(huán)境沒問題。我踩過的一個(gè)坑是本地測(cè)試時(shí)連接池大小設(shè)成10跑得好好的到了生產(chǎn)環(huán)境每個(gè)Executor的JVM里都有一個(gè)連接池10個(gè)Executor就是100個(gè)連接直接把數(shù)據(jù)庫打滿了。本地測(cè)試時(shí)只有一個(gè)JVM連接池只有一份所以看不出問題。另一個(gè)差異是序列化。本地模式下閉包可能不需要真正序列化因?yàn)槎荚谕粋€(gè)JVM里所以一些序列化問題在本地不會(huì)暴露。到了集群模式閉包必須序列化問題才會(huì)顯現(xiàn)。所以foreachRDD相關(guān)的代碼一定要在真實(shí)集群環(huán)境上做集成測(cè)試至少要用yarn-client或standalone模式跑一遍才能發(fā)現(xiàn)連接池、序列化、并發(fā)這些方面的問題。7.4 監(jiān)控與告警別等任務(wù)掛了才發(fā)現(xiàn)foreachRDD的寫入失敗往往不會(huì)立即導(dǎo)致任務(wù)崩潰而是表現(xiàn)為批次處理時(shí)間逐漸變長、數(shù)據(jù)延遲越來越大。如果沒有監(jiān)控可能等到數(shù)據(jù)延遲幾小時(shí)才發(fā)現(xiàn)問題。需要監(jiān)控的指標(biāo)包括批次處理時(shí)間Batch Processing Time、調(diào)度延遲Scheduling Delay、每個(gè)批次的記錄數(shù)、寫入失敗率。Spark Streaming的Web UI提供了前兩個(gè)指標(biāo)后兩個(gè)需要自己在代碼里埋點(diǎn)。dstream.foreachRDD { rdd val startTime System.currentTimeMillis() val count rdd.count() rdd.foreachPartition { partition // 寫入邏輯 } val endTime System.currentTimeMillis() metricsReporter.report(write_latency, endTime - startTime) metricsReporter.report(record_count, count) }這些指標(biāo)可以推到Prometheus或Graphite配上告警規(guī)則。比如批次處理時(shí)間連續(xù)5分鐘超過batch interval的80%就觸發(fā)告警。這樣在問題惡化之前就能介入處理。8. 一個(gè)完整的生產(chǎn)級(jí)foreachRDD模板把前面講的要點(diǎn)整合起來下面是一個(gè)可以直接參考的生產(chǎn)級(jí)模板。這個(gè)模板包含了連接池管理、批量寫入、異常處理、冪等寫入和監(jiān)控埋點(diǎn)。object ProductionForeachRDDTemplate { def main(args: Array[String]): Unit { val conf new SparkConf() .setAppName(ProductionForeachRDD) .set(spark.streaming.backpressure.enabled, true) .set(spark.streaming.stopGracefullyOnShutdown, true) val ssc new StreamingContext(conf, Seconds(10)) ssc.checkpoint(hdfs://checkpoint/path) val kafkaParams Map( bootstrap.servers - kafka:9092, group.id - group1, auto.offset.reset - latest, enable.auto.commit - false ) val topics Set(topic1) val stream KafkaUtils.createDirectStream[String, String]( ssc, PreferConsistent, Subscribe[String, String](topics, kafkaParams) ) stream.foreachRDD { rdd val offsetRanges rdd.asInstanceOf[HasOffsetRanges].offsetRanges if (!rdd.isEmpty()) { val startTime System.currentTimeMillis() var totalCount 0L var failCount 0L rdd.foreachPartition { partition val pool ConnectionPoolManager.getPool() val connection pool.getConnection() connection.setAutoCommit(false) val statement connection.prepareStatement( INSERT INTO events (id, data, ts) VALUES (?, ?, ?) ON DUPLICATE KEY UPDATE data VALUES(data) ) var batchCount 0 try { partition.foreach { record try { val parsed parseRecord(record) statement.setString(1, parsed.id) statement.setString(2, parsed.data) statement.setLong(3, parsed.ts) statement.addBatch() batchCount 1 totalCount 1 if (batchCount % 500 0) { statement.executeBatch() connection.commit() batchCount 0 } } catch { case e: Exception failCount 1 logger.error(sFailed to process record: $record, e) } } if (batchCount 0) { statement.executeBatch() connection.commit() } } catch { case e: Exception connection.rollback() throw e } finally { statement.close() connection.close() } } // 提交Offset stream.asInstanceOf[CanCommitOffsets].commitAsync(offsetRanges) val endTime System.currentTimeMillis() metricsReporter.report(batch_latency, endTime - startTime) metricsReporter.report(total_count, totalCount) metricsReporter.report(fail_count, failCount) } } ssc.start() ssc.awaitTermination() } }這個(gè)模板里有幾個(gè)設(shè)計(jì)決策值得說明。用createDirectStream而不是createStream是為了拿到OffsetRanges方便手動(dòng)提交Offset。enable.auto.commit設(shè)為false避免Kafka自動(dòng)提交Offset導(dǎo)致數(shù)據(jù)丟失。ON DUPLICATE KEY UPDATE保證了冪等性。批量大小設(shè)為500是經(jīng)驗(yàn)值可以根據(jù)實(shí)際情況調(diào)整。異常處理分兩層內(nèi)層捕獲單條記錄的異常避免一條壞數(shù)據(jù)導(dǎo)致整個(gè)批次失敗外層捕獲批量提交的異?;貪L事務(wù)并拋出讓Spark Streaming重試整個(gè)批次。連接池的配置需要根據(jù)Executor數(shù)量和數(shù)據(jù)庫承載能力來調(diào)整。如果每個(gè)Executor的maximumPoolSize是5有20個(gè)Executor那么總連接數(shù)是100。要確保數(shù)據(jù)庫的max_connections大于這個(gè)值并留出余量給其他應(yīng)用。監(jiān)控埋點(diǎn)建議推到外部監(jiān)控系統(tǒng)不要只打日志。日志在分布式環(huán)境下分散在各個(gè)Executor上排查問題很不方便。推到Prometheus或類似的系統(tǒng)可以統(tǒng)一查看和告警。這套模板我在多個(gè)生產(chǎn)任務(wù)里用過穩(wěn)定性不錯(cuò)。但每個(gè)項(xiàng)目的數(shù)據(jù)庫、數(shù)據(jù)量、延遲要求都不一樣具體參數(shù)需要根據(jù)實(shí)際情況調(diào)整。比如批量大小數(shù)據(jù)記錄大的時(shí)候要調(diào)小記錄小的時(shí)候可以調(diào)大。連接池大小也是數(shù)據(jù)庫性能好可以多開一些性能一般就要控制。最后說一個(gè)容易被忽略的點(diǎn)foreachRDD里的代碼在Driver上執(zhí)行的部分如果耗時(shí)太長比如做了復(fù)雜的計(jì)算會(huì)阻塞Driver的調(diào)度線程導(dǎo)致后續(xù)批次無法及時(shí)提交。所以foreachRDD方法體里盡量只做輕量的操作重活都放到rdd.foreachPartition里讓Executor去干。這個(gè)邊界意識(shí)是用好foreachRDD的關(guān)鍵。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
996er热| 激情五月天黄色小说| 久久区区一二三av| 天天爽在线视频| 就要去操亚洲成人精品五月天丁香婷婷| 综合激情网五月激情| 婷婷五月丁香青青草在线| 婷婷色情 | 狠狠婷婷日韩| 日韩九区| 《战争与艾拉》完整版| 日本颜色视频人人爱| 能看的AV| 99操视频| 亚洲欧美国产A片免费观看| 91九色小视频| 五月天婷婷丁香视频| 五月天网站亭亭| 亚洲综合九九| 激情五月婷婷丁香综合网| www.99精品视频| 色婷婷五月天激情| rr天天操| 国产乱子轮XXX农村| 啪啪操网| 丁香六月综合激情| 五月草影视| 5月丁香婷婷激情网| 婷婷四色五月| 婷婷婷久久| 亚洲午夜视频| 精品A√| 婷婷97碰碰| 最近中文字幕大全免费版在线 | www.夜夜爱.com| 婷婷丁香五月激情密臀av| 九九热在线精品| 日韩欧美不卡| 婷婷激情肏屄网| 99热无码| 人妻体体内射精一区二区| 色九九一二| 丁香六月婷婷| 久热视频这里只有精品| 91精品久久久久久77777| 五月激情综合婷婷| 天天摸天天舔天天爽| 婷婷五月在线播放| 202丰满熟女妇大| WWW久| 99在线精品视频免费| 丁香五月天网友自拍啪啪啪视频| 26uuu国产| 色综合色综合色综合| 色色色激情| 色五月激情婷婷| 26uuu最新地址| 91男人资源站| \\五月天婷婷激情| 色五月综合| www.97干视频| 999热在线视频| 久久五月天综合| 色99色| 日本久久网| 丁香色影院| 五月天a婷婷伊人| 丁香六月啪啪啪| 乱精品一区字幕二区| 1024操逼视频| 午夜婷婷久久| 91AV视频| 婷婷五月天开心激情网| 久久se 综合网| 五月婷婷五月天| 激情五月色在线播放| 天天弄天天操| 婷香五月网在线| 亚洲激情久久| www色婷婷com| 噜噜视频| 97在线日本| 99这里只有精品在线| 九九香蕉网| 一级性感毛片| 婷婷五月丁香综合激情| 久久五月天丁香花| WWW,婷婷,COM| 久久激情四射| 成 人 色 色| 99热精品在线在线| 婷婷五月天激情四射五月天激情| 狠狠做深爱婷婷久久综合一区| 婷婷狠狠操| 猫咪伊人AV| 《战争与艾拉》完整版| 久久婷婷精品| 久久久久久久久久久久久久人妻视频| 99亚州综合精品成人网| WWW久久久| 国产精品色色| 婷婷丁香五月天影院| 国产26uuu| 91大操| 五月激情丁香五月宗合| 99ree6| 99超在线| 日本操天堂| 丁香五月另类小说在线阅读| CHINESE熟女老女人HD视频| 欧美色婷婷| 五月天激情图片| 欧美、日韩、中文、制服、人妻| 色爱综合网| 久久精品天| 这里只有免费的精品| 99精品国产在热久久| 大香蕉av在线| 色久综合| 婷婷激情六月中文| 伊人激情综合| 99激情| 九色地址91视频| 五月 成人 婷婷| 夜夜骑天天操| 琪琪色五月天| 日韩婷婷| 欧美天天干天天草| 丁香五月ⅤA久久久| 成人视频婷婷| 色婷婷狠| 亚洲色久| 天天干天天爽天天爽| 7777国产盗摄农村女人| 99热官网| 婷婷99狠狠躁天天躁| 久久国产色| 丁香婷婷六月激情文学 | 这里只有精品视频在线观看免费| 欧美激情综合五月色丁香| 激情婷婷丁香色五月综合| 中国女人做爰A片| 五月色 亚洲| 亚洲精品字幕在线观看| 色婷婷丁香五月天| 开心五月婷婷婷美女| 激情五月婷| www.久久久.com| 色婷婷五月在线| 性色播| 欧美大片免费播放器| 天天开心AV色综合婷婷五月天| 激情综合色播| 丁香五月欧美成人| 蜜乳久AV| 深爱五月天| 婷婷综合五月天| 婷婷综合五月| 亚洲日日操| 久婷婷色| 色优久久| 丁香六月婷婷综合欧美| 激情五月婷黄版| 成人综合网站| 七七色色综合| 五月婷婷成人网首页| 丁香8月手机综合| 丁香五月天电影| 91肏| 人妻日日日| 久久精品视频在这里有| 99热这里只有精品268| 美国少妇性做爰| 色五月综合在线| 色情丁香五月婷婷精品| 丁香五月婷婷激情四射深爱激情| 99精品一二三四视频| 婷婷激情伍月网| 五月婷婷电影院| 人人干av| 丁香五月狠狠综合欧美| 婷婷免费无马| 9热超碰| 开心五月综合激情网| 大香蕉五月婷婷丁香| 日本色色视频| 激情五月天激情网| 日本WWW九九九| 内射爽无广熟女亚洲| 99久久玖玖| 久久久97| www久久久久久| 色婷婷综合影院| 午夜色婷婷| 久草热8精品视频在线观看 | 狠狠色丁香| 五月婷婷色色爱| 欧美日比视频| 五月色天五月色| 熟女91九色| 色情综合网| 夜夜爽天天干| 人人射av| 91日韩在线| 在线日本www| 久久九九99| 丁香五月婷婷色播艳门照| 色丁香五月| 少妇高潮呻吟A片免费看软件| 久久久人妻| 人人爱天天摸摸天天爱| 欧美日朝成人| 99九九中文字幕视频| www激情网| av激情在线| 婷婷99狠狠躁天天久久久九九九| 色色射| 激情五月四色| 无码人妻一区二区三区四区| 婷婷激情五月综合| 日韩日比视频| 丁香五月婷婷激情蜜桃| 韩国中文字幕91| 超碰国产在线| 丁香五月社区| 另类小说五月天综合网| 五月色婷婷亚洲| 国产精品丝| 亚洲中文字幕在线观看| 婷婷色综合| 俺去也五月天婷婷| 婷婷五月天成人综合网| 亚洲性图一区二区| 婷婷五月免费观看| 开心婷婷五月激情网小说| 伊人综合婷婷| 婷婷五月超碰| 9l视频自拍九色9l黑人| A片试看120分钟做受图片| 色婷婷久久综合| 色爱亚洲| 丁香五月综合AV在线| 婷婷五月丁香综合激情小说| 97色干| 操逼三区| 五月丁香六月色| 色五月色五天色情网址| 色五月综合网站| 久久欧洲综合网| 激情网站五月| 激情五月综合网| 久操激情| 国产激情AV| 啪啪丁香五月| 久久久大香蕉| 91丨九色丨高潮丰满日本| 9热在线视频精品| 五月丁香久久久| 爱久久小说下载网| WwW色婷婷| 伊人综合网站| 操人妻AV| 久爱综合| 91五月花丁香| 久婷婷久草| av网址在线播放| 最近中文字幕大全免费版在线| 五月天成人免费视频| 日本色色色| 丁香色色网| 亚洲精品电影| 99久热这里只有精品| 久久五月天色婷婷| 久久久久婷婷| 开心激情站| 久色视频| 青柠影视免费高清电视剧| 天天综合网站| 99久久户外勾搭| 欧类av怡春院| 日韩中出视频| 99在线热视频| 五月天久久网站| 久婷五月| 五月丁香婷婷中文| 大香蕉五月天婷婷| 亚洲妇女熟BBW| 99国产精品白浆在线观看免费| 婷婷大香蕉| 极品少妇XXXX精品少妇偷拍| 午夜在线成人网站免费观看| 国产小网站| 天天色99| 久久久人妻久久久| 伊人成人宗合网| 久久99这里只有精品视频| 婷婷丁香五月噜噜噜| 色色免费网战视频| 97五月久久丁香婷婷| 欧美日本黄色| 亚洲中文字幕av| 亚洲亚洲人成综合网络| 国产操逼视频网站| 丁香六月激情| 天天成人综合| 久久五月天色| 99啪啪视频| 丁香五月成人| 丁香五月桃花在线激情综合| 久久在线大香蕉| Caop在线| 99久久66| 丁香色综合| 天天爽天天操| 亚洲天堂99| http:色情日本com| 丁香五月日韩| 丁香五月婷婷色| 成人中文网| 婷婷六月丁综合| 激情文学第四色婷婷丁香五月| www.精品99| 99热思思在线观看| 26UUU欧美| 久99久在线| 丁香六月综合激情| 日韩五月婷婷| 精品无码av丁香五月激情| 色五月天激情| 婷婷丁香久久| 色综合综合综合| www.综合久久| 2025最新亚洲激情在线| 国产精品久久久海的味道| 夜色综合网| 丁香婷婷啪啪| 五月丁香婷婷激情爱爱| 啪啪色激情五月天| 九九久热| 天天弄天天操| 亚洲欧洲午夜成人精品av| 99热这里| 婷婷五月天激情丁香| 黄色一级影片| 欧美色片中文字幕久久久久| 久久婷婷成人| 色婷婷狠狠干芒果TV| 久久久ww| 超碰国产一区| 五月婷婷开心亚洲无| www.久久66| 五月丁香综合激情网| 精品少妇蜜臀91| 91丨九色丨熟女|新版| 五月丁香综合网| 91热久| 天天 青草 制服丝袜 在线| 有哪些A片网站| 五月天啪啪视频| 99热 日韩| 丁香九月久久| 色五月综合在线| 婷婷激情四射| 99精品久久久| 九九九九这里只有精品| 一起草AV| 九九色99| 俺去也五月天| 中文字幕视频色婷婷| 精品久久久999| 婷婷五月天六月| 性爱视频99| 91亚洲免费片| 色五月色五天色情网| 婷婷五月天亚洲五码| 亚洲视频一区| 五月婷婷xxx| 色五月婷婷五月天激情综合| 少妇人妻偷人精品无码视频新浪| 五月丁香六月激情综合网| 操一操干一干| 天天干天天av天天射| 99色视频| 91九色熟女| 91国产精品视频播放| 96人人操人人操人人| 婷婷色啪| 大大香蕉综合在线| 色六月丁香婷婷狠狠干| 成人丁香五月| 婷婷色五月开心五月| 国产乱妇乱子伦| 久久久com| 婷婷丁香激情综合色情| 色爱综合网| 精品自拍97| 五月丁香六月婷婷在线小说视频| 亚洲最大视频| 99re热精品在线视频| 婷婷五月色惰| www久久久久| 欧美综合激情五月天| 东京热免费视频| 99热精品10| www色婷婷com| AV中文字幕夜夜操b天天摸bb | 亚洲Av成人在线观看| 天天干天天干天天干天天干天天| 欧美 日韩 人妻 高清 中文| 五月天激情综合网站| 99精品久久久| www.91在线观看| 色五月婷婷亚洲| 综合久久激情久久| 狠狠插狠狠| 日韩成人无码| 色综合天天网| 国产毛片欧美毛片久久久| 亭亭玉立国色天香| 色婷婷影院| 成人av在线电影| 五月天婷婷基地综合网| 国产综合视频婷婷| 婷婷伊人綜合中文字幕小说| 五月天社区| 丁香六月啪| 91美女被操| 天堂A∨在线| 超碰免费99| 久久99热免费最新版| 超碰A V在线| 日日狠狠久久偷偷四色综合免费| 日本在线观看aaa 99| 玖玖资源站视频| 香蕉久日夜| 天天五月情| 大香蕉色婷婷伊人在线| 日日操天天| 欧美内射AAAAAAXXXXX| 色吧五月婷婷六月丁香| 在线看的免费网站| 米奇影视五月天| 色涩视频久久| 天天摸天天舔| 亚洲天堂爱爱| 日本人妻A片成人免费看片| 日韩免费乱轮网站| 欧美色五月| 丁香婷婷五月天校园春色| 久热九九| 五月天欧美激情| 五月丁香婷婷伊人日韩| 国产亚洲色婷婷久久99精品91| 极品另类| 婷婷亚洲综合| 俺去也在线视频| 五月丁香A∨在线| 婷婷情色激情| 婷婷丁香五月天影院 | 激情五月天色婷婷| 国产免费av在线| 久久激情五月天| 日本美女上人| 99亚洲精品| 激情五月视频| 综合性爱网| 婷婷香蕉| 少妇口诉沐足视频播放器网址| 欧美熟女视频 色婷婷| 婷婷五月天小说网| 色九网| 亚洲中文字幕在线观看| 激情五月狠狠| 久久婷婷色| 亚洲乱码日产精品BD在线观看| 天天影视色综合网| 欧美性爱日韩性爱| 欧美成人va| 久色中文| 五月丁香黄色| 白人荫道BBWBBB大荫道| 久狠狠狠| 在线观看熟女少妇| 五月丁香六月停停停| 婷婷色啪| 欧美韩日AAA网站| 99欧美三级视频| 亚洲综合草草| 伦99热| 色婷婷色| 狠狠狠狠狠干| 天天色官网| 99九九综合久久九九| 欧美顶级少妇做爰HD| 日韩五月丁香| 狠狠色丁香五月婷巨| 不卡在线视频| 婷婷射综合| 天天摸天天爽| 丁香六月婷婷综合啪啪| 亚洲日韩乱码一区二区三区四区 | 日本丁香五月| 另类小说五月天| 婷婷影视久久| 91久热| 亚洲丁香网| 爆乳熟妇一区二区三区爆乳| 97色射| 91久久婷婷| 天天做天天爱综合| 99热大全在线观看| 色综合久久88| 国产乱妇乱子在线播视频播放网站| 99视频在线| 狠狠88综合久久久久噜噜噜| 婷婷五月精品中文字幕| 欧美色一级色| 中文av网| 99色综合| 99re在线这里只有精品视频首页| 色婷婷五月影视| 九月av在线| 九九99久久| 狠狠操狠狠操AV| 亚洲VA欧美VA| 日韩超碰在线| 天天久久九九| 欧美99| a久久| 囯产精品一品二区三区| 97人人干| 六月婷欧美| 亚洲六月色| 日本啪啪天堂| www.婷婷五月天| 九九婷婷五月天影视| 亚洲欧洲小视频9| 福利视频在线播放| 99re在线观看| www.天天干| 久99久热只有精品国产99| 超碰在线看| 39视频第二区| 丝雨一区二区| 黄桃AV无码免费一区二区三区| 99操碰| 日日干日日| 天天肏天天爽夜夜爽| 丁香六月色婷婷欧美| 日韩在线99| 色色综合网www| 久久婷婷五月综合色奶水99啪| www.激情五月天| 精品一区二区三区四区五区六区介绍| 色噜噜狠狠色综无码久久合欧美| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 99热精品观看| 五月婷婷丁香婷婷| 99热6色| 狠狠草综合网| 色日本丁香婷婷| 五月丁香六月综合情在线观看| 激情综合网五月| 激情网 久久| 99热在线观看| 大香蕉伊人久久| 日日夜夜天天综合| 99热精品在线观看| 色色99| 超碰在线精品| 丁香五月影视| 欧美日本黄色| 九九这里是免费的视频5| 操骚货在线| 亚州操操| 天天综合网色欲香| www.一起草av| 色情婷婷久久五月天| 一本色道久久综合狠狠躁一二三 | 99久久久国产大片| 丁香六月色婷婷欧美| 久热这里只有精品3| 异能之下短剧免费观看全集| WWW,五月天| 大香蕉啪啪网| www。狠狠干。com| 狠狠 婷婷| yazhou seshipin| 思思热思在线精品视频| 五月婷婷和六月| 婷婷五月天亚洲天堂| 色欲五月天| 亚洲看av的网站| 深爱激情久久| 99er久久| 日操夜撸| 激情开心五月天婷婷基地丁香社区| 五月丁香花婷婷玉莉AV| av免费人人| 九九久热| 超碰人人91| 9色视频在线| 玖玖资源在线视频| 深爱五月婷婷| 国产FREESEXVIDEOS性中国| 日韩一区二区A片免费观看 | 黄色片精品| 九九操操| 人妻内射麻豆视频| 丁香六月视频| 婷婷爱五月天人人爱| 色在线视频网2025| www.91在线观看| 色婷婷网| 另类少妇人与禽zOZZ0性伦| 五月网站| 69天堂99| 五月天久久综合| 91狠狠综合久久久久久| 四虎婷婷五月天| 六月久久狠狠| 91AV婷婷| 九九热在线视频| 丁香五月-激情综合| 综合精品啪啪| 五月婷婷五月天| aaaaaa片| 欧美激情综合色丁香婷婷五月天| 思思热在线| 久久婷婷五月天懂色| 天天干,天天日| 极品人妻VIDEOSSS人妻| 99A片| 五月色丁香婷婷综合| 色丁香五月| 亚洲va日| 婷婷五月天成人综合网| 五月综合丁香婷婷| 无码人妻精品一区二区蜜桃色欲| 39视频第二区| 性五月激情| 欧美va亚洲va在线播放| 色色五月婷婷久久| 免费视频WWW在线观看网站| 五月天婷婷网站| 色噜噜狠狠色综合成人99| 丁香九月婷| 丁香五月激情澎湃一区| 91久久色| 午夜69成人做爰视频| 国产婷婷久久| 琪琪理论片| 人草人人| 99无码视频| 人妻免费网站| 操人无码| 日日激情网| 超碰男人色| 97自拍视频在线| 9999综合99综合人| 五月天第四色开心色播| 人人摸人人摸| 99熟女| 日hao1区| 加勒比色色| 日日夜夜天天| 岛国在线观看91| 久久网日本| 综合图区激情| 久久精品人妻| 五月婷婷日| 综合色色婷婷| 婷婷五月天精品| 国产精品大香蕉| 婷婷欧美激情| 五月开心婷婷| 六月婷婷五月天| 色综合久久无码| 色激情综合狠狠婷婷| 99热这里只有精品在线观看| 少妇性BBB搡BBB爽爽爽视頻 | 26uuu亚洲| 婷婷丁香黄色| renrencaoav| 99操碰| 九月大香蕉| 色五月久久成人婷婷| 欧美大香蕉视频| 91男人资源站| 激情综合网,婷婷| 999婷婷综合| 91碰人人| 丁香婷婷久久激情| 无码操B| 亚洲免费电影2| 深爱五月中文字幕| www.99久| 九九综合88| 白天AV月月| 五月丁香777| 九九激情| 影音先锋人妻出差| 日本色婷婷| 97久久草草超级碰碰碰| 来吧亚洲综合网| 999热在线观看视频| 婷婷AV丁香| 久热超碰| 亚洲av成人在线| 天天日天天干天天操| 爱操天堂| 色综合色欲综合天天免费| 99九色视频在线观看| 成人色图情色成人网 www.5b5b5bcom 五月天| 天天操天天谢| 高清无码网址| 天天操夜夜啊| 综合网五月| 91操片| 五月丁香婷婷网在线在线| 啪啪啪丁香五月| 另类小说五月天综合网| 国产亚洲99久久精品| www.色五月.com| 五月婷婷婷丁香播| www,色综合| 综合色激情| 久久婷婷一级片| 精久久色| 激情人妻蜜夜系列区| 五月综合婷婷网| 99视频这里有精品| 久久久婷婷| 丁香婷婷久久| 丁香五月性| www.激情| 九九综合久久| 热99在线| 日韩三级片一区二区| 五月婷婷成人| 天天爽成人综合网站| 色偷偷五月天| 五月丁香日本一抹本| 激情五月天影院| 激情综合啪啪啪| 天天做夜夜爽| 亚洲欧洲色色| 成人国产欧美大片一区| 丁香婷婷五月六月天| 青青草视频免费观看| 天堂五月婷婷| 久草热8精品视频在线观看 | 久久天堂| 国产白丝在线一区| 色色婷婷丁香| 久久66er久久| 99re热视频这里只精品| 人人干天天操五月丁香| 超喷97免费在线视频| 俺也去综合| 沈娜娜av| 婷婷五月18永久免费视频| 五月婷色丁香| 9有码中文| 亚洲性视频| 色综合色综合网| 五月份婷婷| 大香网伊人久久综合| 婷婷在线五月天观看| 人与禽A片啪啪| 日日夜夜爽爽| 亲子乱AV-区二区三区| 99久在线精品99re8| 丁香五月天激情四射网络不好 | 9久久网| 99在线视频播放| 91碰| 九九热精品| 精品少妇蜜臀91| 9999热在线| 超碰在线中文字幕| 99热大香蕉| 99热欧美| 丁香五月婷婷欧美成人色图| 久久九九婷婷| 超碰99在线| 色五月成人婷婷| 久久五月天激情| 99色网站| 久色网| 五月婷婷激情综合| 99在这里有精品| 亚洲无码11| 久热婷婷| 亚洲另类噜噜| 91vip在线观看| 国产精品a无线| 五月丁香六月婷婷国产视频| 玖玖综合色| 无码日本精品XXXXXXXXX| 婷婷开心五月| 97欧美在线| 五月天伊人| 狠狠草狠狠草| 婷婷五月激情网站| 99爱在线| 伊人狠狠丁香婷婷综合尤物| 丁香桃色综合网| 色99无码| 99综合视频一体| 久色国产| 久久9久| 日韩成人影片网站| 婷婷月综合| 婷婷六月丁香色| 婷婷狠狠97| 免费黄色片子| 色婷婷综合网站| 草草操操| 亚洲精品第一国产综合亚AV | 五月激情偷拍| 99热亚洲精品66| 97久久五月丁香婷婷| 五月婷婷色| 狠狠干综合网| 午夜免费试看| 天啪天啪天啪天啪| 涩五月婷婷| 五月婷婷69| 欧美日韩大黄| 偷拍91九色| 变态 另类 在线 | 97福利视频| 亚洲中文AV网站| 99热这里有精品| 色五月天综合网| 99激情视频热| 中文字幕不卡视频| 日本乱子人伦在线视频| 色爽九九| 26uuu另类| 99久久久国产大片区| 色九月综合网| 香蕉久久国产AV一区二区| 成人五月天丁香婷| 色婷婷五月天不卡| 久久婷婷青草五月天| 美女91一起草| 精品国产一区二区三区四区阿崩| 久久婷婷人人| 草做免费在线观看| 五月婷婷亚洲天堂激情在线| 综合伊人久久| 万月丁香狠狠爱| 五月丁香综合| rr天天操| 五月综合激情综合久| 五月天婷婷色| 草榴视频网| 婷婷亚洲五月| 婷婷五月综合在线视频| 丁香五月婷婷激情小说| 激情五月婷婷视频一区二区三区| 五月丁香激情啪啪| 成人av播放| 人人爽天天爽| 五月婷婷激清网| 丁香五月色播中文在线播放| 日本色婷婷| www91精品| 九九九AAA热视频| 能看的AV| 五月婷婷黄色| 色欲午夜无码久久久久久张津瑜 | 欧美在线ee日韩| 亚洲激情五月| 9热视频在线观看| 五月六月丁香激情| 欧美综合五月丁香六月婷| 蜜桃婷婷五月| www.久久| 久久停停超碰| 国产激情av| 久九九热| 国自产拍偷拍精品啪啪一区二区| 久操干| 秋霞网在线免费基地五月婷婷丁香| 久热九九| 亚洲婷婷基地| 色婷婷色综合激情91| 成人永久免费视频在线观看| 午夜AV网| 99热精品在线观看| 99爱视频免费| 亚洲愉拍99热成人精品| 五月丁香激情综合久久| 色欲久久久久| 艾小青av| 丁香五月骚喷水视频| WWW色综合| 天天曰夜夜爽| 婷婷激情五月| 超碰91av| 日韩成人AV在线| 欧美 日韩 成人 在线| 五月开心啪啪| 久久婷五月影院| 亚洲中文字幕翔田千里| 丁香婷婷五月色综合| 婷婷伊人五月天| 婷色天堂| 国产欧美日韩综合精品一区二区| 日日干夜夜干| 性做久久久久久久免费看| 五月婷婷性爱| 色五月综合激情| 色玖玖综合网| www.五月天色色.com| 亚韩在线视频| 欧美日朝成人| 99热免| 啪啪啪大香蕉| 久久婷婷综合网| 色5月婷婷色| 成人片在线播放| 成人丁香五月天| 99天堂网| 女人高潮内射99精品| 国外亚洲成AV人片在线观看| 成人综合网站| 电影91久久久| 久久婷婷五月综合网| 99啪视频在线观看| 九九色院| 99re在线视频| 久久久久久久,99精品视频| 日本欧美999久久久三级片| 五月丁了香蕉综合| 色五月婷婷操逼| 91超碰在线观看| 思思热闹这里只有精品| 精品久久久999| 色色综合成人网| 99re这里只有精品免费| 色婷婷丁香特级性爱视频| 九色色| 天天爽综合网| 五月婷亚洲精品| 久久99久久99精品免观看粉嫩| 玖玖在线视频| 中国丰满熟女A片免费观| 99热这里是精品| 粉嫩AV久久一区二区三区| 亚洲狠狠丁香婷婷香蕉| 无码九九九九| 成人午夜无码视频| 亭亭丁香aV| 五月激情婷婷六月丁香| 常久最新免费的色吊丝| 天堂综合久| 五月综合久久| 99久操视频| 日本操片| 婷婷综合| 99爱免费在线观看| 五月婷婷自拍视频| 99热最新网址| 涩涩五月天| 直接看的av| 日韩国产在线精品| 超碰高清在线| 欧美一级色| 开心五月婷婷激情网| 丁香五月婷婷激情中文| 五月丁香好婷婷A片网| 精品久热| 婷婷五月色花丁香社区| www.色五月.com| 天天射夜夜爽| 六月久久狠狠| 97碰啪啪| 4399无码视频| 婷婷欧美激情| 狠狠夜夜五月丁香| 99热99热不卡| 欧美操人| 99欧美热| 久久久久9| RenRenSe在线视频网站| se99视频| 另类小说五月天| YW无码| 99热国产| 蜜桃五月天色| 中文字幕在线资源| 成人丁香婷婷| 99热99美国在线观看| 色五月亚洲五月天| 久久久久久人妻| 九九黄色网| 久久香蕉婷婷| 丁香五月婷婷狠狠色| 丁香五月亚洲| 色情综合| 91九色超碰正在播放| 99开心五月五月丁香激情| 五月婷婷开心综合| 亚洲精品国产成人AV在线| 9色婷婷| 久久伊人9| 丁香六月婷婷久久综合八月| 激情五月天综合| 激情婷婷丁香| 99热欧美偷拍| 青青草a在线| 五月狠狠| 麻豆AV一区二区三区| 婷婷丁香九月| 五月丁香婷婷激情澎湃四射| 九九热精品视频| 在线成人av播放| 色综合久久88色综合天天人守婷| 天天影视天天爽天天草| 日韩AV免费电影在线播放| 婷婷99狠狠躁天天| 色深爱五月| 日本天天色| 天天se在线视频| 久久婷婷五月天激情唯美| 五月天婷婷在线视频| 激情五月份婷婷| 婷婷五月天堂网| 99色色| 5月丁香美女影院| 色情五月天小说| 久久婷婷五月免费视频| 六月成人网| 91九色国产在线| 9999色色色色| 亚洲AV综合网| 久久久久久久久月丁| 六月丁香视频网站| 五月丁香久久久久| 任你爽在线视频| 天天色一道本综合婷婷| 99在线热| 影音先锋天天日| 婷婷五月丁香激情色情| 天天操人人干| 久久总和99| 久久机热/这里只有精品 | 天天骑日日爽| AA久久| 六月激情网| 九九精品视频在线6| 青柠影视免费高清电视剧| 一起草av| www.久久久.com| 欧美日韩成人h| 五月天婷婷爱丁香中文字幕| 激情五月天色播| 无码AV免费精品一区二区三区 | 国模狼狼| 79色色免费| 亚洲亚洲人成综合网络| av大香蕉| 国产熟女一区二区三区五月婷| 亚洲人人操| 激情综合丁香五月| 伊人狼人干| 26UUU精品一区二区Com| 亚洲乱码日产精品BD| 天天综合久久| 婷婷丁香十月| 丁香五月婷婷基地| 婷婷九九| 影音先锋毛片网站| 婷婷久久免费| 丁香久久九九99| www,色色色网站| 国产女生爱爱AA| 亚洲国产成人裸舞| 亚洲中文字幕AV在线| 久久五月天激情视频| 国产精品国产成人国产三级| 熟女色专区| 久久九九国产精品怡红院| www.99在线| 色色婷| 99狠狠色| 91操网| 日本久热| 亚洲激情综合| 丁香五月ⅤA久久久| 五月开心色| 九九伦子片| 五月丁香婷婷激情视频| 超碰在线资源| 五月天激情社区| 欧美日本韩国亚洲| 日日操,日日爽| 午夜精品久久久久久久爽| 思思热久久艹| 九色无码| WWW·色色色·COM| www激情| 噢美99| www,26uuu,c0m,色情| 九九热99在线视频| 天天综合色| 久久超级碰视频| 人妻久热| 成人五月天丁香婷| 99狠狠| 欧洲亚洲免费视频9| 99热6这里只有精品| 五月天婷婷六月激情网| 粉嫩AV久久一区二区三区| 丁香五月天五码婷婷| 六月婷综合| 深情五月天| 色色五月天婷婷丁香| 色九九综合| 丁香五月婷婷少妇| 草了bav视频在线观看| 99免费热视频| cao视频,现在观看| 婷婷丁香五月婷婷| 色五月琪琪| www.狠狠操| 丁香五月天BBw| 香蕉视频性爱BB做爱| 色色COm| 97丁香五月| 欧美中文五月天| 涩涩婷婷五月| 激情五月天丁香| 色婷婷深爱五月| http://www.com久久久精品一区| 99热这里全是精品| w婷婷五月婷婷w| 日本99久久| www.99热最新视频8| 欧美A片在线视频免费观看| 99网99热| 婷婷丁香亚洲色综合91| 激情五月综合亚洲另类| 九九热在线视频,| 亚洲一二三网| 91色噜噜狠狠狠狠色综合| 丁香九月综合| 碰碰人人人| 天天天操天天天日| 国产熟女一区二区三区五月婷| 五月婷婷丁香| 96五月丁香熟女| 色热久| 国产古装妇女野外A片| 婷婷久久色| WWW,色五月| 91欧美日韩| 99爱视频在线观看| 五月色综合网欧美网| 五月天婷婷无码| 亚洲精品影视| 欧洲亚洲欧洲99久久| 1024亚洲| 五月婷婷激情综合网| 丁香婷婷啪啪啪| 91丨九色丨熟女丰满| 久久小视频| 五月婷婷天天| 婷婷五月天激情四射五月天激情| 色噜婷婷| 思思99热| 久久精品人妻| 琪琪理论片| 欧美操逼天堂| 99re在线播放| 五月丁香婷婷婷激情爱爱| 五月婷综合性中心| 超碰在线9| 日韩成人中文| 色三级色三级| 97婷婷五月| 大香蕉久久久久| 色婷婷很很丝袜| 丁香六月婷婷色XXXXX| 热久视频| 草操网| 五月天婷婷久草丁香| 一本大道嫩草AV无码专区| 日本婷婷在线| 五月丁香六月激情综合在线| 97影院一级片| 99九九这里有免费视频| 操一操干一干| 开心网五月色婷婷| 国产日批视频| 六月婷婷激情图片| 极品五月天| 丁香五月影院| 久久婷综合| 天天综合在线网| 色欲Av五月天| 九色 在线| 99re在线播放| 操人91| 五月丁香六月情| 久久婷婷色丁香| 丁香婷婷五月综合影院| 91丨九色丨老熟女激情| 激情五月激情综合网| 九九这里是免费的视频5| 五月天激情电影| 天天日夜夜操五月| 色婷婷丁香网| 情色五月天网站| 日韩精品无码AV| 成人AV在线中文版| 色色性爱视频| 婷婷狠狠97| 婷婷五月天干干| 婷婷五月电影院| 久久天堂婷婷五月| 91人久| 日本狠狠色| 激情六月婷婷| 五月丁香久久呀| WWW.夜夜操.com| 99热久| 久久电影4399| 9色在线视频精品观看| 噢美99| 国自产拍偷拍精品啪啪一区二区| 色婷婷五月在线| 99热在线观看免费精品| 色5月婷婷| 五月婷婷就去色| 婷婷激情伍月网| 婷婷久久久| AV成人在线播放| 五他月天啪啪啪| 欧美综合激情| 超碰免费成人网站| 九九热精品视频在线观看| 色五月五月婷婷| 久色大| 激情综合丁香五月| 五月丁香亚洲婷婷| 日本不卡高字幕在线2019| 在热视频精品| 狠狠色激情综合| 99热视| 久久这有这里精品| 26uuu美女三级视频| 丁香五月综合高清在线| 激情小说五月天| 9久热在线视频精品| 婷婷丁香91| 丁香六月婷婷社区| 天天久久婷婷| 91九色 熟| 五六月婷婷久久| 91女人18毛片水多国产| 欲求不满的人妻|