欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Kafka Java客戶端實(shí)戰(zhàn):原理、參數(shù)與排障全解析

Kafka Java客戶端實(shí)戰(zhàn):原理、參數(shù)與排障全解析 Kafka這名字在Java后端圈子里基本屬于“躲不開”的那一類技術(shù)。不管是搞微服務(wù)、大數(shù)據(jù)管道還是簡(jiǎn)單的異步解耦消息隊(duì)列總得選一款而Kafka往往是選項(xiàng)里最“硬核”的那個(gè)。很多人第一反應(yīng)是“分布式、高吞吐、源碼復(fù)雜”還沒(méi)上手就先被勸退也有同學(xué)把Kafka當(dāng)成普通MQ用結(jié)果生產(chǎn)環(huán)境頻頻踩坑才回頭補(bǔ)課。這篇文章不打算從源碼講起也不粘貼一堆文檔參數(shù)湊字?jǐn)?shù)。我從一名Java開發(fā)者的視角出發(fā)聊清楚三件事Kafka到底是靠什么做到的“快”、我們?cè)陧?xiàng)目里怎么用Java客戶端正確讀寫消息以及日常運(yùn)維/開發(fā)中最容易踩的坑和排查思路。內(nèi)容會(huì)帶著我實(shí)際項(xiàng)目中的參數(shù)選擇、異常處理和排障實(shí)錄力求讓看完的人能直接回到工位上用起來(lái)。1. 先搞清楚Kafka是干嘛的——本質(zhì)是“日志”不是“隊(duì)列”很多Java開發(fā)者第一次接觸Kafka都會(huì)下意識(shí)把它和RabbitMQ、ActiveMQ放在一起比較。這種對(duì)比能幫助理解但也會(huì)帶來(lái)誤導(dǎo)Kafka的底層抽象和傳統(tǒng)消息隊(duì)列有著根本區(qū)別。1.1 從“削峰填谷”說(shuō)起Kafka解決的痛點(diǎn)場(chǎng)景很老套某個(gè)接口突然被流量打滿數(shù)據(jù)庫(kù)連接池耗盡應(yīng)用直接雪崩。加機(jī)器數(shù)據(jù)庫(kù)成了瓶頸擴(kuò)展數(shù)據(jù)庫(kù)不是寫幾個(gè)腳本就能完成的。不加機(jī)器流量高峰扛不住。消息隊(duì)列在這里面扮演的角色是“蓄水池”請(qǐng)求先打到隊(duì)列由消費(fèi)者按自己的節(jié)奏慢慢處理。Kafka能承擔(dān)這個(gè)角色而且承擔(dān)得比大多數(shù)消息中間件更“寬”——單機(jī)每秒幾十萬(wàn)條消息的吞吐量還能扛住長(zhǎng)時(shí)間的數(shù)據(jù)堆積。用生活里的話說(shuō)RabbitMQ像一家定制化服務(wù)的小店每個(gè)客戶單獨(dú)招呼Kafka像一條大型流水線不在乎單個(gè)消息的“特殊待遇”只關(guān)心整體處理速度。1.2 核心抽象Topic、Partition、Offset與Consumer GroupKafka最核心的模型我用一張“抽屜”來(lái)類比Topic相當(dāng)于一個(gè)分類標(biāo)簽所有同類型消息放進(jìn)同一個(gè)Topic。Partition是Topic內(nèi)部的分區(qū)相當(dāng)于把抽屜分成了多個(gè)小格子。消息真正存儲(chǔ)的最小單位是分區(qū)。Offset是消息在分區(qū)內(nèi)的序號(hào)相當(dāng)于抽屜里每件物品的“位置編號(hào)”。Consumer Group是一組消費(fèi)者協(xié)作消費(fèi)同一個(gè)Topic的機(jī)制相當(dāng)于多個(gè)人分工處理同一批物品。這套模型里最關(guān)鍵的一點(diǎn)是Topic只是邏輯概念分區(qū)才是物理概念。生產(chǎn)者寫入消息時(shí)會(huì)根據(jù)key或者輪詢策略決定消息落到哪個(gè)分區(qū)消費(fèi)者讀取時(shí)也是在分區(qū)維度上拉取數(shù)據(jù)。為什么要這么設(shè)計(jì)直接回答為了并行度和擴(kuò)展性。一個(gè)分區(qū)的消息是有序的但Kafka不承諾Topic維度跨分區(qū)的有序性。如果你只用一個(gè)分組消費(fèi)分區(qū)數(shù)決定了你能啟動(dòng)多少個(gè)消費(fèi)者實(shí)例并行干活如果分區(qū)數(shù)是3即使你啟動(dòng)了10個(gè)消費(fèi)者也最多只有3個(gè)消費(fèi)者在干活另外7個(gè)處于空閑狀態(tài)。這個(gè)特性既是Kafka吞吐量的來(lái)源也是很多人使用時(shí)迷茫的起點(diǎn)——我在后面會(huì)專門展開。1.3 Kafka為什么快順序?qū)懕P、零拷貝與批量拉取Kafka高吞吐的三大殺器值得每個(gè)Java開發(fā)者認(rèn)真理解一遍因?yàn)槔斫饬怂鼈兡悴拍茉谠O(shè)計(jì)業(yè)務(wù)時(shí)充分利用Kafka的特性。第一順序?qū)懘疟P。傳統(tǒng)數(shù)據(jù)庫(kù)隨機(jī)讀寫磁盤磁頭要來(lái)回移動(dòng)尋址耗時(shí)嚴(yán)重。Kafka基于文件追加寫的方式每個(gè)分區(qū)在磁盤上對(duì)應(yīng)一組segment文件消息永遠(yuǎn)追加在文件尾部寫入過(guò)程接近順序IO速度可以接近內(nèi)存。這里有個(gè)容易誤解的點(diǎn)Kafka不是把數(shù)據(jù)放在內(nèi)存里就完事它把數(shù)據(jù)持久化到磁盤但依靠順序?qū)懽尨疟P寫入速度跑出內(nèi)存級(jí)體驗(yàn)。第二零拷貝。消費(fèi)者讀取消息時(shí)傳統(tǒng)流程是磁盤→內(nèi)核態(tài)緩沖區(qū)→用戶態(tài)→應(yīng)用程序→socket發(fā)送數(shù)據(jù)被拷貝了多次。Kafka使用sendfile系統(tǒng)調(diào)用讓數(shù)據(jù)從磁盤直接進(jìn)入socket緩沖區(qū)繞開了用戶態(tài)拷貝大大降低了IO消耗和上下文切換開銷。第三批量與壓縮。生產(chǎn)者不是一條一條發(fā)送消息的而是把多條消息攢成一個(gè)批次batch再發(fā)送消費(fèi)者拉取時(shí)也不是一次一條而是按最大拉取字節(jié)數(shù)批量返回。配合壓縮算法比如lz4、zstdKafka在網(wǎng)絡(luò)傳輸上的效率遠(yuǎn)高于逐條發(fā)送。這三條疊加Kafka才扛得住大數(shù)據(jù)生態(tài)里那個(gè)著名的口號(hào)——“一個(gè)Topic承載全公司所有日志”。理解了原理你后面配置參數(shù)時(shí)才明白為什么要調(diào)batch.size為什么要關(guān)注頁(yè)緩存的利用率。2. 從Java開發(fā)者視角看Kafka——客戶端實(shí)踐與參數(shù)選型服務(wù)端原理了解個(gè)大概就夠了Java開發(fā)者日常接觸最多的還是客戶端。Kafka官方Java客戶端kafka-clients設(shè)計(jì)得相對(duì)簡(jiǎn)潔但參數(shù)極多每一項(xiàng)都直接影響性能和數(shù)據(jù)可靠性。我挑幾個(gè)實(shí)操價(jià)值最高的配置仔細(xì)講。2.1 工程接入Maven依賴與基礎(chǔ)環(huán)境準(zhǔn)備我建議新項(xiàng)目?jī)?yōu)先選用服務(wù)端版本和客戶端版本一致或接近的組合。比如服務(wù)端是2.8.x客戶端就用2.8.x或者3.x早期版本避免協(xié)議兼容性問(wèn)題。Maven依賴只需要一個(gè)dependency groupIdorg.apache.kafka/groupId artifactIdkafka-clients/artifactId version3.4.0/version /dependency不要直接引入kafka全量依賴那會(huì)帶出一大堆scala依賴和broker端實(shí)現(xiàn)客戶端用不到還會(huì)拖大構(gòu)建體積。本機(jī)開發(fā)環(huán)境最簡(jiǎn)單的方式是用Docker起一個(gè)單節(jié)點(diǎn)實(shí)例docker run -d --name kafka-dev -p 9092:9092 \ -e KAFKA_ADVERTISED_LISTENERSPLAINTEXT://localhost:9092 \ -e KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR1 \ -e KAFKA_AUTO_CREATE_TOPICS_ENABLEtrue \ apache/kafka:3.4.0注意上面設(shè)置了分區(qū)副本因子為1因?yàn)閱喂?jié)點(diǎn)多個(gè)副本沒(méi)有意義而且默認(rèn)副本因子為3會(huì)導(dǎo)致分區(qū)一直處于ISR不滿狀態(tài)。2.2 生產(chǎn)者核心配置從“最快”到“最穩(wěn)”的取舍生產(chǎn)者最核心的三個(gè)參數(shù)放在任何生產(chǎn)環(huán)境都必須考慮acksall retries3 enable.idempotencetrue很多人看到acksall會(huì)擔(dān)心性能下降確實(shí)有影響但換來(lái)的是消息不丟失的強(qiáng)保證。acksall表示分區(qū)leader收到消息且ISR中所有副本都同步完成后才返回確認(rèn)代價(jià)是單條消息延遲升高但吞吐量在批量發(fā)送模式下并沒(méi)有想象中那么差。我在項(xiàng)目中觀測(cè)過(guò)acksall配合linger.ms5、batch.size32KB千兆網(wǎng)絡(luò)下單條平均延遲約增加2~4毫秒吞吐量幾乎不變。關(guān)于冪等生產(chǎn)者enable.idempotencetrue很多人忽略它。這個(gè)參數(shù)讓producer為每條消息生成序列號(hào)broker端用序列號(hào)去重保證即使網(wǎng)絡(luò)重試也不會(huì)產(chǎn)生重復(fù)消息。Kafka從3.0開始默認(rèn)開啟冪等但如果你的代碼沒(méi)顯式設(shè)置舊版本客戶端還是默認(rèn)關(guān)閉的。建議所有新項(xiàng)目在生產(chǎn)者配置里加上這行它是性價(jià)比極高的一項(xiàng)數(shù)據(jù)保障。剩下的生產(chǎn)者參數(shù)按項(xiàng)目規(guī)模調(diào)整buffer.memory生產(chǎn)者本地緩沖區(qū)大小默認(rèn)32MB。高并發(fā)場(chǎng)景建議調(diào)大否則瞬時(shí)流量積壓會(huì)導(dǎo)致RecordTooLargeException或TimeoutException。max.block.ms緩沖區(qū)滿了之后send操作阻塞的最長(zhǎng)時(shí)間默認(rèn)60秒太短會(huì)導(dǎo)致頻繁報(bào)錯(cuò)太長(zhǎng)會(huì)拖垮上游接口。compression.type建議lz4或zstdlz4是速度和壓縮比折中zstd壓縮率更高但CPU開銷稍大。日志類數(shù)據(jù)首選zstd業(yè)務(wù)消息用lz4即可。2.3 生產(chǎn)者代碼模板異步發(fā)送與回調(diào)處理Java生產(chǎn)者API的經(jīng)典寫法如下Properties props new Properties(); props.put(bootstrap.servers, 192.168.1.10:9092,192.168.1.11:9092); props.put(key.serializer, org.apache.kafka.common.serialization.StringSerializer); props.put(value.serializer, org.apache.kafka.common.serialization.StringSerializer); props.put(acks, all); props.put(retries, 3); props.put(linger.ms, 5); props.put(batch.size, 32768); props.put(enable.idempotence, true); KafkaProducerString, String producer new KafkaProducer(props); producer.send(new ProducerRecord(user_events, userId, eventJson), (metadata, exception) - { if (exception null) { log.info(send success, offset{}, metadata.offset()); } else { log.error(send failed, exception); // 這里建議把消息落入本地文件或者Redis做補(bǔ)償 } });這段代碼里最該注意的一點(diǎn)是send()方法是異步的。很多人圖省事直接調(diào)用producer.send(record)不關(guān)心返回結(jié)果當(dāng)broker端異?;蚓W(wǎng)絡(luò)故障時(shí)消息其實(shí)已經(jīng)寫失敗了但你的業(yè)務(wù)無(wú)感知最后數(shù)據(jù)對(duì)不上賬又無(wú)從排查。生產(chǎn)環(huán)境務(wù)必把回調(diào)函數(shù)寫完整或者至少在發(fā)送失敗時(shí)打印日志。多條記錄批量發(fā)送的封裝可以用producer.send循環(huán)也可以自己維護(hù)一個(gè)List然后循環(huán)發(fā)送后者對(duì)性能和可維護(hù)性更友好。我曾經(jīng)在一個(gè)訂單系統(tǒng)里直接每條消息單獨(dú)調(diào)用send()TPS只有幾百時(shí)毫無(wú)問(wèn)題后來(lái)活動(dòng)流量激增到每秒五千條生產(chǎn)者遲遲不返回接口堆積崩潰。排查后確認(rèn)問(wèn)題不在broker而是本地的buffer.memory被打滿、發(fā)送回調(diào)沒(méi)有及時(shí)釋放加批量發(fā)送策略后才穩(wěn)定下來(lái)。2.4 消費(fèi)者核心配置消費(fèi)者組與提交策略消費(fèi)者端的參數(shù)比生產(chǎn)者更容易踩坑。核心配置如下group.iduser-event-consumer-group enable.auto.commitfalse auto.offset.resetearliest max.poll.records500 max.poll.interval.ms300000 session.timeout.ms10000這里要展開的細(xì)節(jié)比較多我分別說(shuō)明。enable.auto.commit到底是true還是false我強(qiáng)烈建議生產(chǎn)環(huán)境設(shè)置為false用手動(dòng)提交。自動(dòng)提交默認(rèn)是每5秒提交一次消費(fèi)位點(diǎn)。如果你拉取了一批消息處理耗時(shí)超過(guò)5秒消費(fèi)者在提交位點(diǎn)時(shí)這批消息可能還沒(méi)處理完——這時(shí)候進(jìn)程崩潰重啟后會(huì)從已提交的位點(diǎn)繼續(xù)消費(fèi)那些沒(méi)處理完的消息就丟了。即使你的業(yè)務(wù)對(duì)少量數(shù)據(jù)丟失不敏感手動(dòng)提交也能讓你對(duì)消費(fèi)進(jìn)度“心里有數(shù)”不會(huì)被自動(dòng)提交的滯后時(shí)間迷惑。手動(dòng)提交的兩種方式// 同步提交 —— 提交失敗會(huì)立即拋異常便于感知 consumer.commitSync(); // 異步提交 —— 提交失敗不阻斷消費(fèi)需要回調(diào)處理 consumer.commitAsync((offsets, exception) - { if (exception ! null) { log.error(commit failed, exception); } });我在項(xiàng)目里的習(xí)慣是先commitAsync處理正常情況如果異常退出再加一次commitSync兜底。因?yàn)閏ommitSync在rebalance時(shí)會(huì)阻塞線程沒(méi)必要每次都用它拖慢消費(fèi)速度。auto.offset.reset這個(gè)參數(shù)決定了消費(fèi)者從頭讀還是從最新讀。earliest如果沒(méi)有提交位點(diǎn)從分區(qū)最早的消息開始讀。latest如果沒(méi)有提交位點(diǎn)從最新的消息開始讀。最容易出問(wèn)題的是“消費(fèi)者組第一次啟動(dòng)”的場(chǎng)景。新consumer group啟動(dòng)時(shí)沒(méi)有歷史位點(diǎn)如果業(yè)務(wù)要求處理歷史數(shù)據(jù)用earliest如果只關(guān)心后續(xù)新數(shù)據(jù)用latest。但是只要這個(gè)消費(fèi)組之前已經(jīng)提交過(guò)位點(diǎn)auto.offset.reset就不再起作用消費(fèi)者只會(huì)從上次提交的位點(diǎn)繼續(xù)消費(fèi)。很多人以為改了latest就能從頭消費(fèi)其實(shí)不會(huì)生效必須手動(dòng)重置位點(diǎn)。重置消費(fèi)位點(diǎn)的命令行kafka-consumer-groups.sh --bootstrap-server localhost:9092 \ --group user-event-consumer-group \ --topic user_events \ --reset-offsets \ --to-earliest \ --execute注意執(zhí)行這個(gè)命令前消費(fèi)者組必須處于停止?fàn)顟B(tài)否則重置會(huì)被跳過(guò)或者報(bào)錯(cuò)。2.5 消費(fèi)者代碼模板從poll到處理的完整閉環(huán)Properties props new Properties(); props.put(bootstrap.servers, localhost:9092); props.put(group.id, user-event-service); props.put(key.deserializer, org.apache.kafka.common.serialization.StringDeserializer); props.put(value.deserializer, org.apache.kafka.common.serialization.StringDeserializer); props.put(enable.auto.commit, false); props.put(auto.offset.reset, earliest); props.put(max.poll.records, 500); KafkaConsumerString, String consumer new KafkaConsumer(props); consumer.subscribe(Collections.singletonList(user_events)); try { while (running) { // 注意poll必須循環(huán)調(diào)用不能省略很多初學(xué)者只poll一次就退出了 ConsumerRecordsString, String records consumer.poll(Duration.ofMillis(1000)); for (ConsumerRecordString, String record : records) { handleMessage(record.value()); } // 處理完畢后提交 consumer.commitAsync(); } } catch (WakeupException e) { // 關(guān)閉時(shí)會(huì)觸發(fā)wakeup不用處理 } finally { consumer.commitSync(); consumer.close(); }這段代碼中有個(gè)細(xì)節(jié)需要注意poll(Duration)的語(yǔ)義是“最多阻塞這么久等待消息到達(dá)”而不是“超過(guò)這個(gè)時(shí)間就拋異常”。只要你循環(huán)調(diào)用poll消費(fèi)者就會(huì)持續(xù)工作。如果業(yè)務(wù)消息來(lái)得少比如每秒只有幾條poll會(huì)頻繁返回空列表這完全正常不要去降低阻塞時(shí)間來(lái)提升“靈敏度”純粹是無(wú)效操作。處理消息的handleMessage方法里還需要考慮一個(gè)問(wèn)題如果某條消息處理失敗到底要不要提交offset兩個(gè)常見做法直接拋出異常讓消費(fèi)線程退出/停止這樣該批記錄的offset沒(méi)有提交后續(xù)rebalance時(shí)會(huì)再次消費(fèi)到失敗記錄實(shí)現(xiàn)“重試”。但要注意如果消息本身是臟數(shù)據(jù)每次都失敗就會(huì)形成消費(fèi)卡死。捕獲異常并記錄日志然后繼續(xù)消費(fèi)。這種方式適合“消息丟了影響不大”的場(chǎng)景但要注意數(shù)據(jù)完整性。更穩(wěn)妥的方案是結(jié)合死信隊(duì)列處理失敗的消息先判斷重試次數(shù)達(dá)到閾值后寫入一個(gè)專門存放死信的Topic人工介入修復(fù)。這個(gè)方案需要自己寫一點(diǎn)重試狀態(tài)邏輯但對(duì)于核心鏈路的數(shù)據(jù)完整性非常有效。3. 實(shí)際項(xiàng)目中的Topic設(shè)計(jì)與參數(shù)調(diào)優(yōu)到了真實(shí)項(xiàng)目里Kafka的難點(diǎn)往往不在API使用而在于“設(shè)計(jì)”?!霸趺炊ǚ謪^(qū)數(shù)”“怎么設(shè)計(jì)消息結(jié)構(gòu)”“怎么選擇消息可靠性級(jí)別”每一樣都影響后續(xù)的系統(tǒng)穩(wěn)定性和排障難度。3.1 分區(qū)數(shù)量的設(shè)定別拍腦袋定個(gè)數(shù)分區(qū)數(shù)是Kafka并行度的上限這決定了消費(fèi)端能啟動(dòng)的最大并發(fā)消費(fèi)者數(shù)量。設(shè)計(jì)分區(qū)數(shù)先要回答一個(gè)問(wèn)題你的下游處理能力能消化多少并發(fā)我見過(guò)團(tuán)隊(duì)一上來(lái)就建48個(gè)分區(qū)的Topic理由是“以后業(yè)務(wù)量會(huì)很大多分區(qū)保險(xiǎn)”。結(jié)果消費(fèi)者只有兩臺(tái)機(jī)器各2個(gè)實(shí)例總共4個(gè)消費(fèi)者大部分分區(qū)處于無(wú)人消費(fèi)狀態(tài)。分流不均、rebalance耗時(shí)增加、個(gè)別分區(qū)數(shù)據(jù)傾斜運(yùn)維復(fù)雜度遠(yuǎn)超實(shí)際收益。分區(qū)數(shù)參考公式基于目標(biāo)吞吐量計(jì)算目標(biāo)吞吐量每秒需要處理的峰值消息數(shù) 5000條/秒 單個(gè)消費(fèi)者實(shí)際處理能力1000條/秒含業(yè)務(wù)邏輯 所需消費(fèi)者實(shí)例數(shù) 5000 / 1000 5個(gè) 分區(qū)數(shù) 消費(fèi)者實(shí)例數(shù) 或 略大于該值預(yù)留彈性和rebalance空間一般建議分區(qū)數(shù)取消費(fèi)者實(shí)例數(shù)的1.5~2倍既能充分利用消費(fèi)能力又能在某個(gè)消費(fèi)者宕機(jī)時(shí)有足夠分區(qū)分配給其他消費(fèi)者。比如需要5個(gè)消費(fèi)者分區(qū)數(shù)設(shè)為10左右是合理區(qū)間。另外一個(gè)容易忽略的問(wèn)題Kafka基本不支持減少分區(qū)數(shù)只能增加。增加分區(qū)會(huì)導(dǎo)致key-based路由下同一key的消息分布到新的分區(qū)打亂原有順序。所以設(shè)計(jì)分區(qū)數(shù)時(shí)寧多勿少同時(shí)也要避免無(wú)腦擴(kuò)大。3.2 消息體設(shè)計(jì)的加分項(xiàng)schema、key與時(shí)間戳Kafka的消息格式自由但建議在項(xiàng)目一開始就定好規(guī)范寫入統(tǒng)一信封格式包含eventId、eventType、timestamp、payload。用eventId做去重依據(jù)比用payload內(nèi)容優(yōu)雅得多。合理設(shè)置key如果業(yè)務(wù)要求同一個(gè)用戶的消息按時(shí)間順序處理key就用userId如果不關(guān)心順序甚至可以不傳key讓Kafka輪詢分區(qū)分擔(dān)負(fù)載。傳key后同一個(gè)key一定進(jìn)同一個(gè)分區(qū)但也可能造成某些熱點(diǎn)key所在分區(qū)數(shù)據(jù)膨脹。慎重使用Avro/Protobuf還是JSONJSON最方便但占用空間大Protobuf性能最好但引入schema管理和代碼生成成本。我的建議是團(tuán)隊(duì)規(guī)模小、階段早先用JSON快速迭代等業(yè)務(wù)穩(wěn)定、消息量大到需要優(yōu)化時(shí)再遷移到Protobuf或Avro。3.3 消息可靠性級(jí)別三種組合看清代價(jià)Kafka的可靠性除了生產(chǎn)者端acks還涉及broker端的副本配置以及消費(fèi)者端的提交策略。我把組合整理成一張表可靠性級(jí)別生產(chǎn)者設(shè)置消費(fèi)者設(shè)置可能存在的問(wèn)題適用場(chǎng)景最高不丟不重acksall,enable.idempotencetrue手動(dòng)提交冪等消費(fèi)延遲升高消費(fèi)端需處理重復(fù)訂單、支付、積分變動(dòng)中盡量不丟允許不重復(fù)acksall自動(dòng)提交極端情況下消費(fèi)端可能重復(fù)或丟失一般業(yè)務(wù)通知低高吞吐優(yōu)先acks0自動(dòng)提交消息可能大量丟失日志采集、監(jiān)控指標(biāo)實(shí)際做項(xiàng)目時(shí)很多同學(xué)把“最高可靠”設(shè)為默認(rèn)但代價(jià)是吞吐量下降和消費(fèi)端復(fù)雜度上升。建議按消息業(yè)務(wù)價(jià)值分級(jí)核心交易鏈路走最高可靠普通用戶行為日志走最低可靠?jī)烧吒饔袣w屬不浪費(fèi)性能也不犧牲關(guān)鍵數(shù)據(jù)。從我自己的經(jīng)歷來(lái)看Kafka大部分可靠性問(wèn)題出在“配置組合不一致”上生產(chǎn)者用了acksall消費(fèi)者卻用了自動(dòng)提交加短poll數(shù)據(jù)鏈路依然是脆弱的??煽啃缘耐暾湕l是由三端生產(chǎn)者、broker、消費(fèi)者共同組成的只看單點(diǎn)配置沒(méi)有意義。4. 常見問(wèn)題與排查技巧實(shí)錄Kafka開發(fā)里最考驗(yàn)人的不是寫代碼而是線上出問(wèn)題后能不能快速定位。我把反復(fù)踩過(guò)的坑整理成一份“排障速查表”每一條都對(duì)應(yīng)真實(shí)的排查過(guò)程。4.1 消費(fèi)者組頻繁Rebalance消費(fèi)時(shí)停時(shí)續(xù)這是消費(fèi)者端最經(jīng)典的問(wèn)題?,F(xiàn)象是日志里頻繁出現(xiàn)“Rebalance started/Completed”消費(fèi)速率忽高忽低有時(shí)甚至幾分鐘不消費(fèi)。原因一單條消息處理時(shí)間過(guò)長(zhǎng)超過(guò)max.poll.interval.ms默認(rèn)5分鐘。消費(fèi)者poll后開始處理處理時(shí)間超過(guò)閾值broker認(rèn)為消費(fèi)者死亡觸發(fā)rebalance把分區(qū)分配給其他消費(fèi)者。等原消費(fèi)者處理完再poll時(shí)又會(huì)觸發(fā)新一輪rebalance。原因二session.timeout.ms設(shè)置太短而消費(fèi)者的GC停頓或網(wǎng)絡(luò)抖動(dòng)超過(guò)該時(shí)間broker誤判會(huì)話失效。排查建議分兩步查看日志里rebalance前是否有處理耗時(shí)長(zhǎng)的方法調(diào)用。我遇到過(guò)某個(gè)業(yè)務(wù)在消息處理器里同步調(diào)了一次外部HTTP接口接口平均耗時(shí)2秒但偶發(fā)超時(shí)達(dá)到30秒而當(dāng)時(shí)max.poll.interval.ms只有60秒高峰時(shí)段連續(xù)觸發(fā)rebalance協(xié)調(diào)開銷巨大。檢查消費(fèi)者實(shí)例的JVM GC日志。Full GC超過(guò)幾秒在session.timeout.ms10000的設(shè)置下很容易被判死。調(diào)整方向調(diào)大max.poll.interval.ms和session.timeout.ms給業(yè)務(wù)處理留足時(shí)間。在消息處理邏輯里把耗時(shí)操作異步化或者拆成多個(gè)步驟放在線程池里執(zhí)行縮減poll間隔內(nèi)的工作量。減少單次poll回來(lái)的消息數(shù)量比如max.poll.records100可以有效降低單批處理時(shí)間。4.2 消息發(fā)送成功但消費(fèi)端永遠(yuǎn)收不到有一個(gè)排查場(chǎng)景讓我印象很深服務(wù)A發(fā)送消息到Topic控制臺(tái)確認(rèn)消息數(shù)在上漲但消費(fèi)端就是打印不到日志。查了消費(fèi)者日志沒(méi)有異常查了offset顯示消費(fèi)位點(diǎn)沒(méi)動(dòng)查了消費(fèi)者組狀態(tài)顯示“Stable”。最后發(fā)現(xiàn)消費(fèi)端訂閱的Topic名稱寫錯(cuò)了——消息發(fā)到了user_events消費(fèi)者訂閱的是user-event連字符和下劃線之差數(shù)據(jù)各走各路。因?yàn)镵afka允許自動(dòng)創(chuàng)建不存在的Topic開發(fā)環(huán)境開啟auto.create.topics.enable消費(fèi)者訂閱時(shí)自動(dòng)建了一個(gè)空Topic所以既不報(bào)錯(cuò)也不消費(fèi)。排查順序建議固定下來(lái)先看消費(fèi)端有沒(méi)有加入正確的group用命令確認(rèn)kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group user-event-consumer-group輸出會(huì)顯示LAG字段如果LAG一直為0說(shuō)明消費(fèi)端在正常消費(fèi)問(wèn)題在下游邏輯如果LAG持續(xù)增長(zhǎng)且活躍消費(fèi)者為0說(shuō)明消費(fèi)者根本沒(méi)poll到數(shù)據(jù)。確認(rèn)Topic列表和分區(qū)leader狀態(tài)kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic user_events確認(rèn)客戶端配置的bootstrap.servers能連通所有broker不只是某一個(gè)節(jié)點(diǎn)。這種問(wèn)題最坑的地方在于一切“看起來(lái)正?!币?yàn)镵afka的容錯(cuò)設(shè)計(jì)讓異常靜默化了。務(wù)必在消費(fèi)者啟動(dòng)日志里加上“subscribed topic xxx”的輸出方便排查時(shí)一眼看出訂閱對(duì)沒(méi)對(duì)。4.3 消息堆積嚴(yán)重分區(qū)數(shù)據(jù)傾斜消息堆積在三種場(chǎng)景下出現(xiàn)消費(fèi)者處理速度跟不上生產(chǎn)速度。分區(qū)數(shù)遠(yuǎn)多于消費(fèi)者數(shù)導(dǎo)致部分分區(qū)長(zhǎng)期無(wú)人消費(fèi)。某個(gè)分區(qū)的數(shù)據(jù)量特別大比如同一key的消息特別多把消費(fèi)者線程堵在該分區(qū)上。前面兩種好解決加消費(fèi)者實(shí)例、調(diào)大max.poll.records、優(yōu)化處理邏輯。第三種比較隱蔽本質(zhì)是key設(shè)計(jì)的問(wèn)題。我曾見過(guò)一個(gè)行為日志Topic全部用userId做key結(jié)果是某個(gè)頭部用戶的消息占了一個(gè)分區(qū)總消息量的50%以上其他分區(qū)空閑。由于同key消息必須有序處理消費(fèi)者只能串行處理該分區(qū)其他線程再快也幫不上忙。解決思路熱點(diǎn)key加后綴打散到多個(gè)分區(qū)比如userId _ (hash % 10)。代價(jià)是同一個(gè)用戶的消息可能亂序降級(jí)為“最終可達(dá)”要在業(yè)務(wù)上評(píng)估能否接受。如果必須保證嚴(yán)格順序只能接受熱點(diǎn)分區(qū)慢的事實(shí)并把該分區(qū)的消費(fèi)鏈路單獨(dú)優(yōu)化比如減少下游IO操作。日常如何發(fā)現(xiàn)數(shù)據(jù)傾斜除了業(yè)務(wù)日志可以借助Kafka自帶的消費(fèi)組命令看每個(gè)分區(qū)的LAG差異kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group xxx輸出中同一個(gè)分區(qū)如果LAG達(dá)到幾十萬(wàn)而其他分區(qū)LAG為零就要考慮熱點(diǎn)key的問(wèn)題了。4.4 消費(fèi)重復(fù)數(shù)據(jù)怎么從根本上去重Kafka官方語(yǔ)義是“至少一次”At Least Once也就是說(shuō)重復(fù)消費(fèi)是設(shè)計(jì)上允許發(fā)生的。生產(chǎn)端重試會(huì)重復(fù)消費(fèi)端rebalance會(huì)重復(fù)。要保證業(yè)務(wù)數(shù)據(jù)的最終一致性必須自己搞定冪等。第一層防線利用業(yè)務(wù)消息內(nèi)的唯一ID做去重。比如訂單消息自帶orderId消費(fèi)時(shí)先查Redis里有沒(méi)有這個(gè)orderId的處理標(biāo)記有則跳過(guò)沒(méi)有則處理并寫入標(biāo)記。這個(gè)方法簡(jiǎn)單有效絕大多數(shù)場(chǎng)景夠用。第二層防線數(shù)據(jù)庫(kù)寫入用唯一約束。比如消費(fèi)邏輯是往訂單表插入記錄直接在表上建orderId唯一索引重復(fù)消費(fèi)時(shí)數(shù)據(jù)庫(kù)會(huì)拒絕重復(fù)插入日志報(bào)錯(cuò)后業(yè)務(wù)判定為“已處理”。這種方式比Redis標(biāo)記更可靠因?yàn)镽edis本身也可能丟數(shù)據(jù)。第三層防線消費(fèi)邏輯天然冪等。比如“累加積分”“更新最后登錄時(shí)間”這類操作重復(fù)執(zhí)行多次和執(zhí)行一次結(jié)果一致。設(shè)計(jì)新系統(tǒng)時(shí)盡量把消費(fèi)邏輯設(shè)計(jì)成這種形式從根上消滅重復(fù)問(wèn)題。我在不同項(xiàng)目里都實(shí)踐過(guò)上述方案最省心的還是數(shù)據(jù)庫(kù)唯一索引。但要注意如果消費(fèi)邏輯涉及多個(gè)表的更新唯一索引只能保證單表不重復(fù)跨表事務(wù)還是要用分布式事務(wù)或事務(wù)性消息方案這屬于另一個(gè)深水區(qū)了本文不展開。4.5 Broker端“磁盤寫滿”和“分區(qū)副本失效”最后提兩個(gè)運(yùn)維側(cè)的常見問(wèn)題因?yàn)镴ava開發(fā)者排查消息發(fā)送超時(shí)時(shí)很容易忽略broker的狀態(tài)。磁盤寫滿Kafka不會(huì)主動(dòng)拒絕寫入請(qǐng)求它會(huì)持續(xù)報(bào)NotEnoughReplicasException或DiskUsageException但業(yè)務(wù)側(cè)表現(xiàn)出來(lái)的是生產(chǎn)者的send回調(diào)異常。排查時(shí)看broker日志里是否有“Disk is full”相關(guān)消息。預(yù)留足夠的磁盤空間、配置好清理策略是關(guān)鍵。Kafka的日志清理策略有兩種delete按過(guò)期時(shí)間刪除舊數(shù)據(jù)compact按key保留最新值。業(yè)務(wù)消息一般用delete配置log.retention.hours即可。副本失效某個(gè)broker宕機(jī)后它管轄的分區(qū)副本全部變?yōu)榉峭綘顟B(tài)。如果所有副本都失效分區(qū)就不可用。日常檢查/describe輸出看Isr列是否包含所有副本。處理方式取決于集群的容災(zāi)需求。如果允許自動(dòng)恢復(fù)確保unclean.leader.election.enablefalse避免“臟副本”被選為leader導(dǎo)致消息丟失。如果該參數(shù)被改成true數(shù)據(jù)丟失的風(fēng)險(xiǎn)會(huì)顯著升高但分區(qū)可用性提高了。在業(yè)務(wù)允許臨時(shí)不可用但絕不允許丟消息的場(chǎng)景下務(wù)必保持false。5. 基于實(shí)際項(xiàng)目經(jīng)驗(yàn)的幾條終極大坑提醒寫到這里Kafka客戶端使用、參數(shù)配置、問(wèn)題排查的主體內(nèi)容基本覆蓋了。最后再分享幾條只有實(shí)際跑過(guò)線上系統(tǒng)才會(huì)體會(huì)到的經(jīng)驗(yàn)每一句話都對(duì)應(yīng)過(guò)我踩過(guò)的坑。第一條不要為了“解耦”而強(qiáng)行引入Kafka。有些系統(tǒng)只有兩個(gè)服務(wù)A調(diào)用B同步調(diào)用完全能滿足卻為了“跟上架構(gòu)潮流”加入Kafka。結(jié)果消息鏈路多出一環(huán)排障復(fù)雜度上升延遲多了幾十毫秒分布式一致性問(wèn)題也隨之而來(lái)。Kafka更像是“高吞吐量場(chǎng)景下的基礎(chǔ)設(shè)施”小流量系統(tǒng)用HTTP同步調(diào)用反而更簡(jiǎn)單可靠。第二條Consumer的冪等不是Kafka的職責(zé)是業(yè)務(wù)自己的職責(zé)。無(wú)數(shù)團(tuán)隊(duì)在消費(fèi)端接入Kafka后被重復(fù)消息打得焦頭爛額才意識(shí)到Kafka官方從未承諾過(guò)不重復(fù)。提前在系統(tǒng)設(shè)計(jì)階段把冪等方案想清楚遠(yuǎn)比事后補(bǔ)丁優(yōu)雅。第三條監(jiān)控一定要前置。Kafka的排障大多數(shù)情況下靠數(shù)據(jù)說(shuō)話沒(méi)有監(jiān)控全靠日志撈非常痛苦。至少要在應(yīng)用容器里集成Metrics采集關(guān)注消費(fèi)延遲、生產(chǎn)者發(fā)送失敗率、請(qǐng)求隊(duì)列平均時(shí)間這幾個(gè)指標(biāo)。我在項(xiàng)目上線穩(wěn)定運(yùn)行兩個(gè)月后深有體會(huì)監(jiān)控指標(biāo)比任何代碼都能更快告訴你系統(tǒng)什么時(shí)候開始“不舒服”。第四條升級(jí)版本要謹(jǐn)慎。我曾在一個(gè)項(xiàng)目中從Kafka 2.7升級(jí)到3.2單測(cè)階段一切正常上預(yù)發(fā)后發(fā)現(xiàn)一個(gè)消費(fèi)組的位點(diǎn)全部跳到latest。排查后確認(rèn)是舊版客戶端提交的位點(diǎn)在新版服務(wù)端讀取時(shí)出現(xiàn)了協(xié)議不兼容問(wèn)題。升級(jí)前先讀官方遷移文檔尤其關(guān)注“client compatibility”章節(jié)最好先在預(yù)發(fā)環(huán)境跑滿一天再灰度生產(chǎn)。Kafka的深度遠(yuǎn)不止這篇筆記講完的內(nèi)容還有Kafka Streams流處理、Exactly-Once語(yǔ)義、Schema Registry等更進(jìn)階的話題。但作為一名Java開發(fā)者先把客戶端用穩(wěn)、把可靠性參數(shù)理解透、把常見排障方法掌握住已經(jīng)能支撐90%的日常工作了。之后再有新的實(shí)戰(zhàn)經(jīng)驗(yàn)我會(huì)繼續(xù)在這個(gè)話題下補(bǔ)充。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天草天天爽| 色色五月天网站| 丁香五月婷婷在线| 99在线视频精品| 亚洲中文字幕在线观看| 97碰久久| 狠狠人人婷婷| 91精品国产综合久久密臀 | 五月婷婷影院| 99网| 色综合久久久久| 久久机热这里只有| 久久五月天合网| 久久六月综合| 丁香六月婷婷基地| 久久综合婷婷| 婷婷五月天成人网| 操操天堂| 桔色成人在线| 亚洲九九99精品视频在线播放| 久久超视频| 四LLL少妇BBBB槡BBBB| 天天骑天天操| 婷婷综合在线观看视频| 亚洲精品乱码久久久久久综合| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 成人国产欧美大片一区| 男人天堂99| 色J香五月天| 第四色色六月色综合| 日日噜狠狠| 亚洲超碰在线| 色婷婷丁香特级性爱视频| 五月五丁香婷婷| 99热这里只有精品手机在线观看| 丁香五月AV综合激情| 国产成人网站在线观看| 婷婷五月天AV网| 欧美群妇大交乱婬网| 射久久丁香五月| 99在线精品视频在线观看| 婷婷五月天情色| 超碰人人射| 97色干| 性做久久久久久久免费看| 超碰在线免费观看日韩| 91久久国产综合久久| 91九色小视频| 五月天综合区| 婷婷99狠狠躁天天躁| 操逼综合激情网| 午夜福利8055| 亚洲欧洲色色| 天天插综合| 久99热| CAOBIBI| 草草操操| 亚洲激情.com| 亚洲天堂99| 五月天另类激情在线| 免费日本aⅴ中文字幕 | 婷婷五月天黄色小说| 亚韩在线视频| www. 五月. com| 91.com男女操| 亚洲婷婷免费| 久99婷婷色综合| 午夜精品777| 超碰人人在线| 大香蕉五月天| 中文字幕av久久爽一区| 天天操夜夜爽| 91超级碰碰碰| 欧美人人操| 五月人妻婷婷视频| 五月天久久小说| 婷婷激情四射五月天| 99热这里只有免费精品| 99在线观看精品| 婷婷狠狠干| 久热99久热| 日韩成人精品一区久久久久| 涩涩五月天| 久久超级碰视频| 99热九九热| 日韩色色色99| 色综合久久久综合久久网| 色偷偷狠狠| 国产一区二区三区影院| 4399在线日本A片| 天天噜噜| 大香蕉久久婷婷| 狠狠色噜噜| 婷婷玖玖丁香| 丁香五月天激情视频| 美女黄频aⅴ视频| 婷婷中文字幕| 五月丁香手机在线| 操B无码视频国语| 激情综合色五月六月婷婷| 色婷婷在线播放| 天天操夜夜肏| 玖玖婷婷精品| 超碰99在线观看| 丁香五月性| 成人 九九九九| 雪千夏麻豆| AV成人在线播放| 丁香色情五月综合网站| 超碰av在线| 天天操夜夜操| 婷婷激情视频| 激情小说 五月天| 男人天堂AV在线一区二区| 五月天丁香久久| 色婷婷小说| 免费视频WWW在线观看网站| 激情五月www| tingtingjiqingwuyue| 丁香九月激情在线视频| 久久激情网| 婷婷综合色播网| 91超级碰在线| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 99热99热在线| 人妻操操色| 草榴视频网| 激情小说五月天| 99在线亚洲| 国产婷婷五月| 免费看无码视频A级| 婷婷丁香社区| 国产婷婷婷| 五月婷婷久草在线视频综合| 第二色AⅤ| 久久综合播放| 久久综合婷| 99热99艹在线观看| 久久婷婷六月综合| 天天插天天插天天操| 在线超碰免费| 亚洲 成人 电影av在线观看| 中文字幕操比影片| 亚洲精品无码一区二区| 99热这里是精品| 99热这里只有精品最新地址获取| 日韩免费乱轮网站| 色婷五月天亚洲| 久久狠狠高潮亚洲精品 天天摸夜夜摸夜夜狠狠摸| 99re资源在线视频导航| 激情五月天视频| 成人在线视频一区| 五月婷啪啪| 91九九| 婷婷五月天电影网| 亚洲超碰在线| jiujiuxiangjiaowang| 怎么样可以看免费的一级av| 欧美日本免费一道免费视频| 天天射影院| 六月婷婷综合网2| 久久六月综合| 丁香六月色婷婷欧美| 久久激情综合| 狠狠色婷婷六月激情网| 成人在线99| 久久婷五月| 国产99久久久国产精品免费看| 丁香六月婷| 婷婷综合丁香| 91狠狠综合久久| 亚洲va欧美| 五月激情黄色小说| 热99AV网站| 五月激情影视| 激情五月天网站| 婷婷十月激情综合网| 97九色视频| 日本片日本片祼观看网站在线看中文版网页在线看 | A在线观看| 草草操操| 婷婷六月激情在线视频| 丁香婷婷大香蕉| 五月婷婷激情久久| 99碰网站| 五月婷婷深深爱| 五月色婷婷亚洲 | 婷婷五月花| 久热这里精品免费| 狠狠狠狠狠狠色| 色婷婷中文字母五月丁香| 天堂草在线观| 五月激情四射网站| av在线色五月丁香婷区久| 激情综合色婷婷啪啪六月天| 天天爽夜夜爽| 精品人妻伦一二三区久久| 99啪啪骑| 五月婷天天搞视频| 99色视频在线| 久久色五月天| 深爱激情综合| 99精品综合在线| 99热这里只有精品98| 五月婷婷中文网| 成人综合视频在线| 97热久久五月婷婷| 日韩色五月| 婷婷五月丁香综合桃花色网| 五月丁香六月婷婷综合网| 亚洲婷婷欧美婷婷| 久热九九| 丁香婷婷六月天| 99爱在线| 久99999热视频在线观看免费| 能直接看的AV网站| 熟女少妇内射日韩亚洲| 伊人青草成人| 中文字幕欧美日韩VA免费视频| 欧美婷婷六月丁香综合色连续高潮抽搐| 色婷婷五月综合在线| 免费黄色AV| 婷婷激情视频欧美视频自拍视频欧美剧| 午夜不卡久久精品无码免费| 9在线9在线婷婷在线国产| av电影在线播放| 成人av在线网| 大香蕉AV电影在线| 色色色国产| 五月丁香琪琪| 可以看的av网站| 婷婷五月激情六月丁香| 国产亚洲精品久久久久苍井松 | 色婷婷影院| 99热思思在线观看| 丁香婷婷综合影院| 超碰97干| 可以直接看的av网站| 五月色婷丁香| 26uuu成人网| 精品99网站| 久久五月天免费网站| 另类综合激情| 这里只精品热在线18| 九九人人自拍| 色五月婷婷777| 六月丁香成人网| 91日日日| 人人操人人妻| 色五月激情网| 激情丁香九九五月综合网| 五月婷婷新网站| 色播jjjj| 色婷婷成人做爰A片免费看网站 | 夜夜谢天天干| 99.N在线视频| 亚洲激情97五月天| 婷婷六月插屄激情| 天天插天天插天天插天天插| 一区三区视频有限公司| 97人人做| 国产精品黑丝| 日日操夜夜撸| 91精品无码| 五月婷婷久久大香蕉| 秋霞午夜理论| 日日夜夜狠狠操| 久久婷婷大香蕉| 天天日天天爽夜夜爽| 色五月天中文字幕| 婷婷六月色情| 日本A片一区| 久久婷.com| 日韩操| 九月婷婷综合| 97视频91| WWW99热| 91精品刘玥| 丁香五月天综合| 99色视频| 亚洲午夜一区二区| 亚洲一区二区无码蜜乳av| 丁香五月性| 日本专区久久| 欧美色碰| 影音先锋91资源站| 色 五月 天 婷婷 丁香 九月| 狠狠色综合网| 色综合激情| www.色九月| 开心五月天激情| 第四色五月激情网| 色欲婷婷夜夜| 色婷婷丁香五月在线| 久久久精品视频79| 好好干Av| 丁香五月天黄色片| 婷婷五月天网址| 五月婷婷之综合激情在线| 狠狠干狠狠干| 婷婷在线视频| 美女天天久久| 激情婷婷| 色之综合网| AV九九| 久久婷婷五月天激情四射| www.1024久久| 五月天AV大香蕉| 丁香五月婷婷欧美成人色图| 日本道久久91| 狠狠se| 99热热热国产超碰| 日本久久超碰| 91精品丝袜久久久久久久久粉嫩| 五月婷婷色色网址| 九九狠狠干| 日韩99视频| 99热99精品| 日本123区日韩欧美不卡在线看| 成人午夜视频精品一区| 影音先锋五月婷婷| 丁香五月ⅤA久久久| 去色色五月天| 91视频一起草| 成人AV在线中文版| 激情都市五月天| 天天色综和网| 99婷婷国产最新视频| 玖玖婷婷色五月| 日韩一级网站| 综合激情sV| 91九色国产| 天堂久久精品| 狠狠色婷婷| 国产乱妇乱子在线播视频播放网站| 女人高潮内射99精品| 日本二级毛片二级毛片| 色婷丁香91| 去色色五月天| 婷婷在线视频| 亚洲综合激| 天天做天天双| 五月丁香六月色| 九九色人| 大战熟女丰满人妻AV| 99精品视频免费观看近期发布| 色九九九综合| 午夜丁香| 夜丁香五月婷婷| 碰97久久| 99久久99九九99九九九| AV大片在线观看| 激情性爱网站| 色99在线| 五月激情丁香啪啪| 六月色播| 色婷婷丁香AV综合| 亚洲精品无码久久| yirenjiqingshiping| 色婷婷激情| 色天天狠狠干| 六月丁香久久| 极品嫩草| 98毛片| 国产在线另类五月婷婷| 久久九九爽| 韩日另类| 91蜜桃婷婷狠狠久久综合9色| 亚洲一区先锋影音| 色五月五月婷婷| 久久久久9| bukadeavzaixian| 国产xxxxx在线观看| 丁香婷停五月激情综合深爱| 久久五月天 91| 九九热九九| 久草热视频在线观看| 色五月丁香五月天| 国产毛片欧美毛片久久久| 99偷拍视频在线日本| 九九视频免费| 婷婷成人AV| 色欧美色色色| 五月色网| 激情网五月天| 成人视频免费观看高清完整版在线观看| 99操视频| 五月婷婷日| 国产看真人毛片爱做A片| 亚洲视频另类| 欧美性色五月天| 丁香五月色| 狠爱婷色| 五月婷婷六月基地| 亚洲A片成人无码久久精品青桔| 97干在线观看视频| 天天爱天天做天天爽| 天天搞天天爽| 亚洲日比视频| 2w在线视频| 91se在线视频| A1片久久久| 婷婷亚洲色| 麻豆WWWCOM内射软件| 婷婷激情九月| 久色大| 一区二区三区四日本| 亚洲无码成人| 午夜爱爱网站| 日韩另类在线观看| 超碰国产AV| 国产三级在线播放| 亚洲mm色| 不卡在线中文字幕无| 婷婷激情丁香五月婷婷激情丁香五月婷婷| 九九热自拍| 四色五月视频| 五月开心久久| 日韩在线一级| 殴美日韩成人| 日本久久性| 99在线视频精品| 婷婷五月在线观看| 亚洲色色图片| 久er7久热| 天天插天天射| 91色九| 五月天社区婷婷丁香社区| 99久久久精品| 久热这里只有精品6| tingtingseav| 999热这里只有精品| 91综合视频在线| 只有精品视频在线观看| 天天摸.天天mo| 亚洲网视屏| 超碰色综合| 中文字幕,综合,91| 久久久久久久久久久月丁| 综合色五月| 黄色99热| 激情六月丁香| 久久九九怡红院| 天天做天天爽| 五月丁香九九九综合| 天天躁日日躁狠狠躁日日躁2022年5月9日 | 殴美日韩成人| 国产成人综合网| www.婷婷| 久久草婷婷丁香网站| 99热网精品| 五月天婷婷青青| 狠狠ri| 亚洲精品激情| 色色色色综合网| 五月激情小说| 色五月婷婷啪啪五月| 丁香五月色情av| 欧美色色色色色| 91chinese 在线| 综合AV在线| 五月丁香婷婷色色色| 99热.com| 伊人久久丁香婷婷六月五月综合| 成人资源在线| www色色色com| 丁香五月婷婷手机| 99久久网站| 五月婷婷六月天| 天天日夜夜| 日韩久久这里只有精品| 色吊丝永久访问网址| 五月开心激情| 婷婷五月天偷拍| 欧美日韩成人在线网| 婷婷综合久久| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪 | 日韩色色色99| 岛国午夜视频| 任你草| 九九在线免费观看| 桃色激情五月天| 99色在线| 五月丁香婷婷视频| 五月婷婷香蕉| 色色丁香五月天| 久久视频在线视频| 99激情网| 2025年最新亚洲在线欧美| WWW.久久久久久久| 久热婷婷| 天堂综合久久 | 亚洲综合干| 99久精品| 99精品丁香五月| 丁香六月无码播放| www.sd-xiangsu.cpm| 国产亚洲成AV人片在线| 五月份婷婷| 97碰91| 变态另类9| 天天撸夜夜爽| 丁香玖玖| 97碰碰草| 婷婷综合色| 深爱激情网综合| 99久久久国产大片| 色婷婷亚洲综合天堂| 少妇激情五月天| 丁香六月欧美| 激情综合色婷婷啪啪六月天| 亚州精品色情在线观看| 丁香婷婷六月天| 亚洲V国产V欧美V久久久久久| 婷婷射丁香| 涩五月色婷婷| 婷婷五月天视频在线观看| 九九RE视频在线精品| 亚洲综合欧美色丁香婷婷888月图片| 99热这里只有精品免费| 久99久在线观看| 婷婷五月天六点丁香五月| 欧美激情五月天在线观看| 97精品在线| 国产色色小草视频| 日B日潘金莲BB| 91精品综合久久久久久五月丁香| 中文字幕在线资源| 99爱在线精品视频免费观看| 开心激情站婷婷五月天| 颜射 精品性爱av| 五月婷婷激情| 人人摸人人操人人爽| 久久综合五月婷婷| 月丁香久久久| 五月天堂六月丁香亚州中文字幕久久| 综合色、色综合| 极品人妻VIDEOSSS人妻| 色情婷婷| 99啪啪| 亚洲AV人人操| 欧美婷婷日本| 激情六月丁香| 日本九九九九| 九九视频在线观看| 色婷操逼| 六月丁香啪啪| 六月丁香五月天| 欧美日韩123| 999久久久国产精品| 丁香五月天综合| 精品成人a v无码内射| 丁香六月天之亚州热女| 九九热在这里只有精品| av性爱在线| 婷婷五月色網站| site:901-07.com| 99热99在线| 色综合com| 丁香六月啪啪| 天天舔夜夜操www com| 亚洲日韩国产黑丝黑丝AVAV一区二区三区| 国产成人av在线| 99视频九九热| 九九色精品| 免费黄色视频网址| 狠狠综合| 狠狠色 综合色区| 好吊兆人妻| 五月天大香焦| 色在线99| 五月丁香综合啪啪| 五月激情偷拍婷婷| 夜夜干天天干| 色五月综合激情| 99热这里只有精品9| 久99视频在线观看| 五月婷婷影院| 狠狠 久久| 91人人爱| 丁香婷婷五月综合影院| WWW,色五月| 亚洲婷婷丁香五月视频| 丁香五月天AV| 久久婷婷伊人| 天天揷综合网| 91疯狂操操操操| www狠狠| 日韩六十路91性交电影| 中文av网| 欧美在线视频99| 午夜天堂一区人妻| 哇嘎成人久久| 播五月婷婷开心| 亚洲va欧美va国产综合久久久| 欧美性爱五月天| 操91| 91在线精品一区二区| 超碰国产在线观看| 91精品电影18T| 五月丁香啪啪啪啪| 六月丁香社区| 97人人干人人操| 夜夜撸夜夜骑| 三日本无码| 99re视频在线播放| 囯产精品一品二区三区| 丁香五月情| 国产人妻人伦精品一区二区| 激情婷婷综合网| 天搞天天天天天| 国产资源91在线| 超碰在线观看99| 国产成人片| Av免费网站在线| 九九99在线免费在线观看视频| 99热6这里只有精品6| 九九無妻| 国产亚洲精品久久久久苍井松 | 黄色AAAAAAA| 久久综合丁香五月| 91 九色 入口| 五月天六月丁香| 在线观看中文字幕| 国产乱妇乱子在线播视频播放网站| 大天天伊人| renrencaoav| 日韩AV片| 日韩黄色AV无码| 五月天婷婷丁香蜜桃91| 中文字幕在线不卡| 国产色香蕉精品五夜婷| 综合在线丁香五月| 激情久久久| 94干大香蕉| 婷婷的五月天另类视频| 久久99精品九九久久久婷婷| 亚洲国产精品VA在线看黑人| 九九av| 天天插插天天| 播丁香五月婷婷欧美| 日韩久热| 久色五月丁香视频| 九 九九九AV| 亚洲色婷婷婷婷人人爽| 99热99久久| www.91AV.com| 天天拍久久| 99综合免费视频| 久9视频免费播放| 色色COm| 狠狠操狠狠插| 99热永久在线观看| 99九九视频| 人人干99| 婷婷九月丁香| 操操熟女| 五月婷在线播放| 婷婷5月久久综合网站| 梁铮版《蜘蛛女侠》在线| 九九热九九| 伊人色五月| 久久丁香久久| Www.久久| 婷婷激情社区| 岛国午夜视频| 婷婷五月丁香六月| 色99婷婷五月天| 激情五月天婷婷五月天| 2013AV天堂| 综合网天天| 黄页免费一级视频懂色| 99精品免费欧美小视频| 97自拍视频网| 色噜噜五月天| 182TV大香蕉| 91肏| 大香蕉久| 婷婷五月天综合网| 五月激情精品视频| 性生生活大片又黄又| www.十八禁不禁AV.com| WWW.亚洲无码| 91小黄书网址在线观看| 另类婷婷五月天啪帕帕| 噜噜精品| 欧美视频五区| 婷婷五月天AV| 热的国产,热的综合,热的有码| 六月婷婷五月丁香| 99热这里只是精品| 天天做天天爱天天爽综合网| 99视频在线观看视频| 婷婷成人五月天| 婷婷久久精品| 五月天激情国产综合婷婷| 五月天色婷婷激情综合| 国产69久久久欧美黑人A片| 99er6| 极品少妇高潮啪啪AV无码| 婷婷在线午夜| 国产精品美女久久久久AV超清 | 色www99| 五月色丁香| 玖玖在线视| 色999五月色| 色综合网综合| 婷婷丁香成人五月天| 色情久久久| 五月天色色激情综合| 成人国产欧美大片一区| 这里只有精品99www| 99综合99| 小视频久久久aaa| 成人视屏在线观看| 欧美性生交A片免费看| 99热这里只有精品最新网址| 国产婷婷久久| 91碰碰| 米奇影视资源777狠狠色婷婷五月天激情网| 丁香五月婷婷老师网站| 九九精品综合| 婷婷五月天综合蜜桃| 超碰97色| 99视频内射三四| 五月婷婷激情视频| 亚洲色9| 9久久久久久久久久久| 婷婷丁香色五月| 综合色情网| 五月婷婷丁香综合| 欧美综合婷婷网| 五月激情四射网站| 色视频五月天| 五月天激情站| 亚洲色色在线| 激情五月综合婷婷| 婷婷激情六月天视频| AⅤ网站在线看| 天堂综合久| 大香蕉久久草| 九九五月天| 色色色色色色色色色色色色色97| 丁香婷婷综合激情五月色| Av九九| 精品一二三区久久AAA片| 五月婷婷丁香婷婷| 欧美日韩大黄| 99热在线精品播放| 国产九月婷婷| 亚洲国产精品VA在线看黑人| 另类在线| 亚洲欧美999| 五月色婷婷在线观看| 久久久久久久久久久久63| 久久这里只精品| 99热这里是精品| 开心五月激情| 91精品91久久久中77777久久玖玖九九| 五月丁香影院| 操日视频| 婷婷五月天啪啪| 亚洲在线激情婷婷五月| 色护士综合| 极品人妻XXXXOOOO| 日本三级日本三级99| 大鸡巴伊人网| 激情五月婷婷| 超碰在线91| 久久久18| 人人色婷婷| 婷婷五月天日日日干干干| 久er免费视频| 9久久久久久久久久久| 大香蕉免费9| 操日本色| 九色在线观看91av| 丁香五月婷婷少妇| www91色网站| 久久色大香蕉| 国产又色又爽又黄又免费| 五月丁香综合啪啪| 精品在线网站| 9l视频自拍9l九色9l成人| 五月激情小说网| 欧美草久久五月天91| a v色婷婷| 美女婷婷六月色| 激情五月天激情网| 九九国产精视频| 99精品热| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 狠狠干综合网| 婷婷色欧美激情| 激情九九这里只有精品| 色婷婷五月天小说网| 激情丁香五月激情婷婷| 五月天婷婷激情干干| 99视频精品视频| 久久99热这里| 高清无码 一区 二区 三区| 人人草成人视频| 一起草av| 色狠狠999综合网| 91丨熟女丨首页| 思思热99er在线视频| www.99热国产| 六月婷婷日| 五月天色导航| 囯产精品一品二区三区| 色五月婷婷色| 伦乱美欧| 亚洲性色XXXXX| 天天碰夜夜爽| 九九无码| 婷婷五月无码| 中文字幕欧美日韩VA免费视频| 99精品国产在热久久| 亚洲成人AV电影在线| 色插综合网| 婷婷久久欧美| 婷婷五月天色综合翘| 99热首页在线30| 久久99久久99精品免观看软件| 久久性爰视频这里只有精品| 五月天婷婷在线AN| 日本激情91| 色色激情五月天| 91碰碰碰| 香蕉久久av一区二区三区| 九九婷婷热| 久久九九99.www| av无码电影| se99高清无码| 天天干肏夜夜| 丁香 久久| 99热在线播放| 啪啪操网| 欧美在线干| 色婷婷五月天堂资源| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 亚洲视频操| 久久xxxx| 亚洲AV成人精品网站在线播放| 99热在线播放精品| 國語久久婷| www.夜夜夜| 亚洲久久激情| 这里只有精品久久| 日本97在线看片| 色五月天.con| 五月天影院| 欧美激情五月天| 丁香花综合永久入口| 色综合久| 久久婷婷激情视频| 91精品久久久久久77777| 欧美日韩一区二区三区四区| 九九视频免费| 色色射| 国产精品人成A片一区二区| 39视频第二区| 五月丁香婷婷婷婷综合网| 五月天成人综合| 精品久久久91久久影视网| av免费在线网站| 亚洲欧洲自拍图片专区五月天| 五月天另类激情在线| 一本色道久久88加勒比| 9久久婷婷国产综合精品性色| 开心五月深爱五月婷| 91精品无码| 97婷婷丁香五月综合| 在线观看熟女少妇| 天天做天天爽| 超碰九热| 第二色AⅤ| h亚洲| 丁香六月综合激情| 在线日韩视频| 伊人在线视频| 丁香五月激情啪啪啪啪| 99r这里只有精品哦| 久久久久亚洲AV成人无码电影| 久草丁香婷婷1024| 五月激情精品视频| 日本久热| 99日本视频| 婷婷日日天天| 国产精品久久久久久妇女6080| 大香蕉婷婷久久| 亚洲激情婷婷| 婷婷伊人五月天| 天天在线天天综合网色| 久久久精品AV| 九九 激情 网| 99爱免费视频在线观看| 欧亚成人A片一区二区| 综合色婷婷| 亚洲综合色色| 亚洲妇女熟BBW| 激情五月开心五月在线视频| 色婷婷狠狠| 大香伊人婷婷影院| 99色丁香婷婷综合网| 思思热在线观看| 激情图片久久| 另类综合色| 色图亚洲91| 俺去也在线官网| 1024操逼视频| 日本婷婷在线| 99这里有精品视频| 一区二区aV电影免费看| 色爱亚洲| 成人 九九九九| 激情六月天婷婷| 色亭亭九月| 五月婷精品| 婷婷天天五月天| 99re思思热久久| 丁香五月天影院| 激情五月天伊人影院| 99久久超级| 五月丁香基地| 九九色情网五月天| 久热网站| 人妻五月天激情开心网| 欧美Va日本Va| 99干视频| 91超级碰| 做爱夜夜干天天操| 狠狠穞A片一區二區三區| 91热er| 国产人妻人伦精品一区二区| 免费久久这里只有精品99| 色噜噜狠狠色综无码久久合欧美| 操逼123网| 在线成人va| 天天热夜夜操| 天花AV无码| 玖玖五月| 色噜噜狠狠色综合AV兰草影视| 五月婷婷激情| 色情播放| 婷婷九月丁香中文| 欧美Va婷色| 九九九九国产| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 天天视频亚洲| 五月丁香激情综合啪啪| 婷婷五月丁香六月| 99色啊| 99在线资源视频| 九九热在线视频| 99色6爱9热| 99热久久这里只有精品| 婷婷五月丁香基地| 婷婷五月天亚洲综合| www夜夜| 天天模,夜夜模夜夜爽| 色五月激情综合网站| 日日干日日| 新久久五月天激情| AV片一区在线观看| 色色婷婷丁香五月天| 色噜噜婷婷| 大香伊人久色| 五月六月婷| 久久er这里只有精品| 久久婷婷免费| 一区视频网站| 5月丁香六月情| 婷婷九月在线| 成人视频网| 天天做天天摸| 99热超碰| 久久加勤综合| 久热99| 五月天久久综合婷婷丁香| 操日视频| 色一色综合| 99久久www| 五月婷婷影视| 在线观看亚洲视频影院| 男同91 | 米奇激情婷婷| 欧美综合123区| 日日躁夜夜躁狠狠久久AV| 99啪啪网| 天天摸夜夜爽天天做| 超碰在线9| 青柠影视免费高清电视剧| 五月丁香六月婷婷久久肏| 天天做天天爱天天爽夜夜揉| 五月婷婷精品视频| 99啪啪| 五月天婷婷7米| 九九亚洲无码| 精品一二三区久久AAA片| 深爱1激情网| 99综合| 丁香五月ⅤA久久久| 色五月婷婷久久| 色五月激情| 五月丁香网av| 婷婷午夜精品久久久| 性做爰A片免费视频A片直播 | 综合激情在线视频| av在线免费播放观看| 99在线热| 另类综合色| 99视频在线观看欧| 99日在线视频| 色色网91| 日本熟妇乱妇熟色A片蜜桃| 丁香婷婷啪啪| 五月天 另类图片| 婷婷五月天激情综合| 婷婷久久综| 超爽内射| 91国产精品视频播放| 丰满人妻一区二区三区| 久久人人九九| 色五月影视| 婷婷丁香人妻久久在线观看| 丁香五月天无码AV| 欧美精品99| 99热日| 一区无码| 亚洲精品无码A片一区二区| av在线资源| 中文字幕永久在线| 99.N在线视频| 天天操天天干天天日| 午夜激情五月天| 狠狠色丁香99| 六月婷婷无码观看| 久久免费精品小视频| 性视频久久| 精品九九九久| 五月天丁香婷婷久久九| 激情五月婷婷| 婷色五月| 亚洲中文字幕网| 六月婷婷激情| 婷婷丁香97| 精a品a| 精品久久久人妻| 五月婷婷在线播放| 亚洲丁香五月| 婷婷色丁香六月| 天天操夜夜肏| 狠狠撸激情综合丁香五月天俺来啦| 丁香亚洲婷婷五月| 丁香婷婷免费| 日日操夜夜爽天天天| 久久综合激情五月天| 五月色丁香综合| 狠色综合网| 97五月天婷婷午夜| 婷婷五月天777| 成人超碰AV| 丁香五月婷婷激情123| 五月婷婷亚洲综合网| 色婷婷五月天激情综合| 99精品爱| 狠狠干 狠狠操| 五月激情六月宗合| 九九热在线99| 婷婷狠狠操| 成人丁香五月| 99精品视频网站| AA丁香综合激情| 亚洲精品久久久无码| 婷婷五月丁香青青草在线| 五月丁香 狠狠爱| 久久久.www| 日熟女| 激情婷婷丁香五月天| 色欲人妻综合aaaaaaaa网| sisi热国产| 六月丁香五月亭亭| 国产精品热搜丁香五月婷婷| 天干夜夜操| 日本啪啪网| 天天爱天天爽| 日日影院 | 91亚洲视频| 2016日日夜夜操| jiujiu热在线视频| 春色激情第四色| 999热成人在线综合网| 五月婷婷九九热| 日韩久热| 丁香五月天社区| 狠狠一日| 狠狠色丁香婷婷五月| 婷婷月综合| 狠狠五月激情在线| 99热99免费| 五月激情影视| 欧美精品18| 97在线观视频免费观看| 色色婷婷色色| 色噜噜狠狠色综合日日| 婷婷色五月天第7色| 五月婷婷在线综合| 五月丁香综合激情网| 亚洲无码99| 综合婷| 成片免费观看视频大全| site:publishdd.com| 热久精品| 思思精品视频| 天啪天啪天啪天啪| 五月天丁香综合| 丁香五月网在线观看| 色婷| 97亚洲视频在线| 亚洲色图五月丁香| 婷婷综合久久| 色婷婷五月天不卡| 五月婷婷之综合激情| AAA级久久久精品| www.久久综合| 人人干AV| 亚洲 视频 导航 一区| 久久AV无码精品人妻系列试探| 天天操天天插天天射| 99视频这里只有免费精品| 99热这里只有精品在线播放| 五月婷婷激情| 性爱激情久久| 天天五月香欧美| 五月婷婷香| 桃色成人网| 91九色|疯狂|高潮|对白|| 99亚洲欧洲| 久久婷婷视频| 色就色94欧美setu| 色10月婷婷视频| 婷婷色导航| 国外亚洲成AV人片在线观看| 久久刺激网| 五月丁香啪啪伦理电影| 亚洲色网络| 亚洲操B视频| 99性感视频| 久草五月天| 丁香 亚洲 久久| 99热这里只有精品一区| 深爱开心激情| 狠狠色噜噜狠狠| 五月丁香六月香综合激情| 91黄址| 色九九九九| 激情五月婷| 亚洲情色一区| 久久亚洲婷婷| 亚洲天堂色色| 9久热在线视频精品| 天天爽夜夜爽天天爽夜夜爽| 五月天色丁香| 国产午夜精品一区二区| 婷婷另类开心| 五月丁香亚洲综合| 久草a片| 天天色综合网1| 国产JK精品白丝AV在线观看| 9久视频| 色五月天电影| 操逼综合激情网| 深爱五月天 开心网| 亚洲色视频| 五月婷婷丁香综合| 九月婷婷色色| 亚洲一区二区 成人网站戴套| 五月丁香六月婷婷综合网| AV性爱网| 国産精品| 激情床戏| 91黄操| 婷婷欧美| 91操屁股| 五月丁香六月在线| se色婷婷视频| 第四色婷婷五月| 五月日韩中文字幕| 激情影院内射| 大香蕉五月天婷婷| 丁香婷婷六月婷婷六月婷婷六月婷婷| 色婷婷综合亚洲| 啪啪黄页网| 久久精彩免费视频| 国内在线99视频| 日本色色视频| 久久伊人婷| 在线1青婷| 久久99久久久久久久噜噜| 五月丁香在线观看| 九一九九黄色| 婷婷色正月| 色色影院黄大片| 国产性爱亚洲是图| 97碰在线免费观看| 色婷婷AV在线| 丁香五月婷婷综合精品素人| 五月丁香六月婷婷操操操| 色噜婷婷| 五月婷婷性| 9l视频自拍九色9l黑人| 人人爽欧美婷婷久久久五月丁香| 中文字幕av久久爽| 五月丁香啪啪伦理电影| 9热在线视频精品| 先锋资源91| 久青操| 玖玖婷婷五月天| 99热精品在线播放观看| 日韩人妻AV在线| 天天色天天舔天天爱天天爽| 久9草在线观看视频| 热久精品| 14色综合婷婷| AV性爱网| 五月丁香在线偷拍视频| 色色综合网www| 色欧洲| 色婷婷操逼| 99热这里只有精品1025| 综合激情五月四射婷婷| 少妇性按摩无码中文A片| 婷婷色五月综合| 国产永久一黄| 五月天大香蕉| 97色五月天| 激情影院69| 久久五月激情综合| 另类五月婷婷| 六月婷婷激情| 开心五月深爱五月丁香五月激情五月| 亚洲另类av| 亚洲男女激情| 伊人五月久久| 五月婷免费视频| 日韩AV大全| 狠狠干总合| 久久香视频| 日本三级黄色大片| 国产成人高清| 激情综合五月| 夜夜夜夜夜骑撸| 操91| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 天天综合网~91| 97碰| 开心激情久久久久久久| 日本A片一区| 99热这里只有精品22| 天天做天天爱天天玩夜夜爽| 五月丁香色婷婷久久| 丁香久久| 99re在线这里只有精品视频首页| 美欧成人视频| 亚洲中文字幕av|