欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

RocketMQ消息堆積排查與治理:從原理到實(shí)戰(zhàn)

RocketMQ消息堆積排查與治理:從原理到實(shí)戰(zhàn) 面試時(shí)候被問到“RocketMQ 消息堆積怎么辦”其實(shí)真正想聽的未必是標(biāo)準(zhǔn)操作而是你有沒有獨(dú)立處理過線上壓測(cè)和真實(shí)故障。因?yàn)橄⒍逊e背后的坑太典型了消費(fèi)速度跟不上、隊(duì)列并發(fā)配錯(cuò)、死信沒人管、監(jiān)控看不到積壓趨勢(shì)。這篇文章不打算背八股我會(huì)把排查思路、應(yīng)急手段、治本方案、還有我實(shí)際踩過的坑全部攤開講一遍適合正在準(zhǔn)備面試的研發(fā)同學(xué)也適合已經(jīng)上了 RocketMQ 但還沒遭過大堵車的運(yùn)維和架構(gòu)師。先說一下我的態(tài)度消息堆積本身不可怕可怕的是堆積之后你還在亂加機(jī)器。很多人一看到積壓數(shù)字變紅第一反應(yīng)就是擴(kuò)容消費(fèi)者實(shí)例結(jié)果加了 20 臺(tái)上去積壓一點(diǎn)沒降。為什么因?yàn)?RocketMQ 的消費(fèi)并行度根本不由機(jī)器數(shù)量決定隊(duì)列數(shù)量才是上限。這些底層機(jī)制不搞明白后續(xù)所有操作都是盲人摸象。這篇內(nèi)容從堆積發(fā)生的原理講起再給出一套完整的排查命令和監(jiān)控指標(biāo)然后按“應(yīng)急、優(yōu)化、擴(kuò)容、治本”四個(gè)層次拆解解決方案最后附上真實(shí)案例復(fù)盤和日常預(yù)防體系。你可以把它當(dāng)作一張消息堆積處理的地圖線上出了狀況照著走至少不會(huì)慌。1. 消息堆積的本質(zhì)先搞清楚消息積壓在哪里1.1 一條消息從生產(chǎn)到消費(fèi)堆積到底發(fā)生在哪個(gè)環(huán)節(jié)我特別喜歡用一個(gè)比喻來解釋 RocketMQ 的消息流轉(zhuǎn)生產(chǎn)者是擰開的水龍頭消費(fèi)者是下水道地漏Broker 是中間的蓄水池。正常情況下水龍頭進(jìn)水速度和地漏排水速度差不多水池水位穩(wěn)定一旦進(jìn)水速度超過排水速度或者地漏本身堵了水位就開始漲。RocketMQ 里的“水位”就是消費(fèi)位點(diǎn)ConsumerOffset和最大位點(diǎn)MaxOffset的差值也就是我們常說的積壓量。你手上有這么一條鏈路Producer 把消息寫到 BrokerBroker 把消息順序追加到 CommitLog同時(shí)按照 Topic 隊(duì)列生成邏輯索引 ConsumeQueue然后等消費(fèi)者來拉取。消息一旦進(jìn)了 CommitLog它就穩(wěn)穩(wěn)地躺在 Broker 磁盤上不存在“弄丟”的可能唯一的問題是消費(fèi)者有沒有及時(shí)把它消費(fèi)掉并提交位點(diǎn)。所以嚴(yán)格來說消息堆積不是消息在 Producer 端堵住而是 Broker 里的消息沒有被消費(fèi)者按照正常速度取走屬于消費(fèi)側(cè)問題。這里有一個(gè)很多人容易忽略的細(xì)節(jié)Broker 上的“積壓”其實(shí)分兩塊一塊是正常業(yè)務(wù) Topic 下每個(gè)隊(duì)列里未被消費(fèi)的消息另一塊是消費(fèi)失敗后進(jìn)入的重試隊(duì)列和死信隊(duì)列。當(dāng)你打開 Dashboard 看某個(gè)消費(fèi)組的積壓數(shù)量時(shí)統(tǒng)計(jì)口徑通常是所有隊(duì)列位點(diǎn)差值的總和但如果業(yè)務(wù)里消費(fèi)失敗率很高你會(huì)發(fā)現(xiàn)重試隊(duì)列里其實(shí)還壓著一批“隱形積壓”主隊(duì)列看著還好實(shí)際消息已經(jīng)從主隊(duì)列挪到重試隊(duì)列了消費(fèi)滯后依舊無法緩解。這個(gè)視角很重要因?yàn)楹芏嗯挪槭侄蔚谝徊蕉级⒅麝?duì)列結(jié)果忽略了重試和死信。還要注意Broker 側(cè)每個(gè) Topic 默認(rèn)會(huì)劃分成多個(gè)隊(duì)列比如默認(rèn)創(chuàng)建 4 個(gè)寫隊(duì)列和 4 個(gè)讀隊(duì)列。消息會(huì)按照選擇策略分配到不同隊(duì)列里而消費(fèi)端同一個(gè)消費(fèi)組的消費(fèi)者實(shí)例會(huì)瓜分這些隊(duì)列。水位到底是均勻上漲還是某個(gè)隊(duì)列單獨(dú)暴漲這是判斷瓶頸位置的第一張圖。1.2 消費(fèi)并發(fā)模型和重試機(jī)制決定了你能怎么處理堆積RocketMQ 的客戶端雖然叫 PushConsumer但底層其實(shí)是長輪詢拉取模式。消費(fèi)者啟動(dòng)后每個(gè)實(shí)例會(huì)啟動(dòng)拉取線程向 Broker 拉取一批消息然后提交到消費(fèi)線程池里執(zhí)行業(yè)務(wù)邏輯處理成功就上報(bào)位點(diǎn)處理失敗就會(huì)觸發(fā)重試。這個(gè)“拉一批、處理一批、上報(bào)位點(diǎn)”的過程有個(gè)關(guān)鍵含義消費(fèi)并行度是由隊(duì)列數(shù)量和消費(fèi)線程數(shù)共同決定的但隊(duì)列數(shù)量是天花板。我打個(gè)比方隊(duì)列就像是傳送帶上的工位每個(gè)工位同時(shí)只能站一個(gè)工人消費(fèi)者實(shí)例就是工人數(shù)量。傳送帶只有 8 條你哪怕喊來 100 個(gè)工人同一時(shí)刻能上手處理的也只有 8 條傳送帶上的 8 份工作。在 RocketMQ 這里一個(gè)隊(duì)列同一時(shí)刻只分配到一個(gè)消費(fèi)者實(shí)例一個(gè)消費(fèi)者實(shí)例內(nèi)部才能多個(gè)線程并行消費(fèi)它擁有的隊(duì)列所以消費(fèi)者實(shí)例再多的只要 Topic 隊(duì)列數(shù)不增加并行度就上不去。這就是“加了 20 臺(tái)機(jī)器但積壓紋絲不動(dòng)”的根本原因。重試機(jī)制也得拎出來說清楚。業(yè)務(wù)消費(fèi)拋異常時(shí)RocketMQ 會(huì)按延遲級(jí)別重試默認(rèn) 16 次間隔從 1 秒逐步拉長到最長 10 分鐘以上。重試期間消息不在原隊(duì)列里而是進(jìn)入 ConsumerGroup 對(duì)應(yīng)的重試隊(duì)列。如果重試全失敗消息會(huì)進(jìn)入死信隊(duì)列等待人工處理。這套機(jī)制保護(hù)了消息不丟但也帶來一個(gè)副作用如果業(yè)務(wù)邏輯處于“一直失敗”狀態(tài)重試隊(duì)列會(huì)不斷吞噬積壓主隊(duì)列積壓數(shù)字看著上漲不明顯但消費(fèi)位點(diǎn)就是不動(dòng)。所以排查積壓?jiǎn)栴}時(shí)重試次數(shù)、消費(fèi)失敗率、死信隊(duì)列積壓三項(xiàng)必須一起看任何一個(gè)異常都可能導(dǎo)致“水龍頭正常、地漏卻堵了”。了解完這些底層機(jī)制你就能理解為什么我不主張一上來就重啟服務(wù)。重啟消費(fèi)者只是讓進(jìn)程恢復(fù)那些已經(jīng)掛在 Broker 上的消息依然在消費(fèi)邏輯沒變重啟一百遍也消不完。正確做法是先分清是“水龍頭放水變快”還是“地漏排水變慢”再?zèng)Q定下一步動(dòng)作。2. 排查消息堆積的完整思路從監(jiān)控到定位瓶頸2.1 第一步先確認(rèn)這是不是真的堆積線上遇到積壓告警先別急著操作第一步是確認(rèn)告警本身是否可靠。所謂“偽堆積”指的是消費(fèi)位點(diǎn)其實(shí)在正常推進(jìn)但由于監(jiān)控系統(tǒng)數(shù)據(jù)延遲、消費(fèi)組名寫錯(cuò)、Dashboard 統(tǒng)計(jì)口徑異常等原因展示出一個(gè)虛高的積壓數(shù)字。我在實(shí)際工作中就見過監(jiān)控系統(tǒng)每 5 分鐘拉一次 Broker 數(shù)據(jù)在消費(fèi)位點(diǎn)尚未刷新到最新時(shí)算出來的差值偏大誤報(bào)了好幾次。最原始也最可靠的辦法是用命令行工具查看真實(shí)位點(diǎn)。找到你部署 RocketMQ 的機(jī)器直接執(zhí)行# 查看某個(gè)消費(fèi)組的消費(fèi)進(jìn)度的簡(jiǎn)單命令具體參數(shù)以你安裝的版本為準(zhǔn) mqadmin consumerProgress -g 你的消費(fèi)組名 -n 你的nameserver地址輸出里會(huì)列出每個(gè) Topic 每個(gè)隊(duì)列的最大位點(diǎn)、消費(fèi)位點(diǎn)以及兩者差值。如果差值是 0 或者在一個(gè)很小的區(qū)間內(nèi)波動(dòng)說明消費(fèi)速度是跟得上的當(dāng)前告警大概率是誤報(bào)如果差值持續(xù)變大這個(gè)積壓才是真積壓。同時(shí)還要確認(rèn)消費(fèi)組名字別搞錯(cuò)。RocketMQ 里消費(fèi)進(jìn)度是按消費(fèi)組維度存儲(chǔ)的你明明有一套新的消費(fèi)者示例在跑但如果 group 名和監(jiān)控面板里配的不是同一個(gè)監(jiān)控自然顯示積壓原消費(fèi)組卻已經(jīng)把消息消費(fèi)完了。這種低級(jí)問題在微服務(wù)化改造后特別常見不同團(tuán)隊(duì)各建一套 group 卻不更新監(jiān)控配置。此外建議一上來就把三個(gè)面板拉出來看實(shí)時(shí)積壓量、積壓變化趨勢(shì)、消費(fèi) TPS。積壓量是存量變化趨勢(shì)是速度消費(fèi) TPS 是能力。只看積壓量會(huì)誤判嚴(yán)重程度比如積壓 10 萬條但消費(fèi) TPS 有 5000理論上 20 秒就能追平真不用慌反之積壓只有 5000 條但消費(fèi) TPS 為 0那才叫真故障。2.2 判斷“能消化”還是“消化不動(dòng)”消費(fèi)能力和耗時(shí)是關(guān)鍵確認(rèn)積壓真實(shí)之后先分清楚一個(gè)核心問題當(dāng)前消費(fèi)能力有沒有在正常輸出如果消費(fèi) TPS 接近正常水平只是生產(chǎn)峰值更高導(dǎo)致積壓這是“流量壓差型”積壓處理起來相對(duì)容易如果消費(fèi) TPS 掉到 0 或者極低這是“消費(fèi)故障型”積壓必須立刻找消費(fèi)端哪里出了問題。判斷消費(fèi)能力用命令行工具看消費(fèi)狀態(tài)同時(shí)觀察消費(fèi)者進(jìn)程本身運(yùn)行是否正常。消費(fèi)狀態(tài)里可以看到每個(gè)客戶端實(shí)例的消費(fèi)位點(diǎn)、拉取位點(diǎn)、隊(duì)列分配情況以及在線的消費(fèi)者列表。如果某個(gè)實(shí)例遲遲沒有上報(bào)位點(diǎn)同時(shí)隊(duì)列分配集中在剩余幾個(gè)實(shí)例上大概率是某個(gè)消費(fèi)者實(shí)例已經(jīng)掛掉或者卡死觸發(fā)了隊(duì)列的重新分配Rebalance而新分配的實(shí)例還沒來得及追上。接下來要確認(rèn)消費(fèi)耗時(shí)。一個(gè)常見的排查姿勢(shì)是在業(yè)務(wù)代碼里給消費(fèi)邏輯加上埋點(diǎn)日志打印單條消息的處理耗時(shí)。別小看這個(gè)動(dòng)作很多積壓的根源就是消費(fèi)邏輯里某個(gè)環(huán)節(jié)從平均 50ms 漲到了 800ms比如下游數(shù)據(jù)庫出現(xiàn)慢查詢、Redis 熱點(diǎn)鍵超時(shí)、外部 RPC 接口抖動(dòng)。耗時(shí)一長線程池被占滿新消息拉出來了也排不上隊(duì)整體消費(fèi) TPS 自然往下掉。這里我分享一個(gè)我自己的排查習(xí)慣先把消費(fèi)線程池核心數(shù)和最大數(shù)、當(dāng)前活躍線程數(shù)、隊(duì)列長度這些指標(biāo)用 JMX 或可視化工具拉出來看一眼。如果活躍線程數(shù)始終等于最大線程數(shù)并且阻塞隊(duì)列一直有等待任務(wù)說明你的消費(fèi)線程已經(jīng)被卡住了消費(fèi)耗時(shí)變大是果線程耗盡才是表象。這時(shí)再去逐層排查消費(fèi)邏輯里是什么拖慢了速度。我遇到過最典型的一次是業(yè)務(wù)方在消費(fèi)邏輯里同步調(diào)了下游的“用戶等級(jí)判定”接口平時(shí)就 30ms 左右結(jié)果那天數(shù)據(jù)庫連接池被打滿接口耗時(shí)漲到 5 秒消費(fèi)線程很快全部卡住。最后那個(gè)系統(tǒng)的積壓從 0 漲到 30 萬只用了不到半小時(shí)。所以排查積壓一定要先看消費(fèi)鏈路上游的健康度而不是一上來就調(diào) RocketMQ 參數(shù)。2.3 逐個(gè)環(huán)節(jié)掃描實(shí)例、隊(duì)列、消費(fèi)組一個(gè)都不漏確認(rèn)消費(fèi)能力有問題之后就開始做系統(tǒng)性掃描我習(xí)慣按“實(shí)例層、隊(duì)列層、消費(fèi)組層”三步走。實(shí)例層排查消費(fèi)者進(jìn)程的資源占用和健康度CPU 利用率是否長期跑滿、JVM GC 是否頻繁、線程池有沒有大量拒絕任務(wù)、機(jī)器網(wǎng)絡(luò)吞吐有沒有異常。這一步可以用 Arthas 或者 jstack 直接抓線程棧看看消費(fèi)線程到底阻塞在哪個(gè)調(diào)用點(diǎn)上。我得提醒一句很多開發(fā)者會(huì)忽略機(jī)器網(wǎng)絡(luò)本身消費(fèi)組所在機(jī)器的帶寬打滿也會(huì)讓拉取速度急劇下降這種積壓你光看業(yè)務(wù)日志完全看不出來。隊(duì)列層排查從 Broker 側(cè)看每個(gè) Topic 隊(duì)列的積壓分布。用命令或者 Dashboard 把每個(gè)隊(duì)列的位點(diǎn)差單獨(dú)列出來如果積壓均勻分布在所有隊(duì)列大概率是整體消費(fèi)能力不夠如果積壓集中在一兩個(gè)隊(duì)列就要考慮消息分配是否不均勻或者有沒有某個(gè)隊(duì)列對(duì)應(yīng)的消費(fèi)者實(shí)例出問題。我在實(shí)戰(zhàn)里見過最離譜的情況是某個(gè)消費(fèi)者實(shí)例所在機(jī)器磁盤滿了ReBalance 之后它的隊(duì)列遲遲分配不出去結(jié)果積壓全堆在少數(shù)隊(duì)列上。消費(fèi)組層排查要看有沒有多個(gè)消費(fèi)者實(shí)例訂閱了同一個(gè)消費(fèi)組但它們實(shí)際處理邏輯卻不一樣。由于 RocketMQ 中同一個(gè)消費(fèi)組內(nèi)消息會(huì)被負(fù)載均衡地分到所有實(shí)例上如果某個(gè)實(shí)例的代碼邏輯有問題比如它消費(fèi)失敗率高或者處理特別慢整體消費(fèi)能力就會(huì)被這個(gè)“木桶短板”拉低。這類問題尤其容易出現(xiàn)在沒有做灰度隔離、新老版本共存一段時(shí)間的系統(tǒng)里。3. 解決消息堆積的四個(gè)層次優(yōu)化、擴(kuò)容、兜底、治本3.1 消費(fèi)端優(yōu)化先把單條消息的消費(fèi)速度提上去在擴(kuò)容和重置位點(diǎn)之前我強(qiáng)烈建議先做一輪消費(fèi)端優(yōu)化因?yàn)橥瑯右粭l消息你要是能把它處理得更快積壓自然就消化得快。第一個(gè)可以動(dòng)的是消費(fèi)線程數(shù)。RocketMQ 的 DefaultMQPushConsumer 默認(rèn)消費(fèi)線程數(shù)在 20 左右你可以按實(shí)際 CPU 核數(shù)和業(yè)務(wù)邏輯調(diào)整。設(shè)置方式是在代碼里指定consumer.setConsumeThreadMin(20); consumer.setConsumeThreadMax(64);注意線程數(shù)不是越大越好如果業(yè)務(wù)邏輯里有鎖、有數(shù)據(jù)庫行鎖競(jìng)爭(zhēng)、有外部接口阻塞線程數(shù)拉高反而會(huì)增加等待和上下文切換TPS 未必上行。一般建議先從 30 到 50 之間開始調(diào)整觀察消費(fèi) TPS 和 CPU 使用率找到一個(gè)拐點(diǎn)。第二個(gè)是批量消費(fèi)。RocketMQ 的 DefaultMQPushConsumer 默認(rèn)一次拉取的消息數(shù)不多如果你每條消息的處理邏輯都包含網(wǎng)絡(luò) IO可以考慮開啟批量消費(fèi)。設(shè)置參數(shù)是consumer.setConsumeMessageBatchMaxSize(8);批量消費(fèi)適合那種可以攢一批再處理的消息類型比如批量寫數(shù)據(jù)庫、批量調(diào)批量接口。但如果一條消息本身的處理就涉及事務(wù)性操作批量反而難處理因?yàn)槟阋约罕WC批內(nèi)消息部分失敗時(shí)的重試語義。這一步?jīng)]有萬金油需要按業(yè)務(wù)形態(tài)取舍。第三個(gè)優(yōu)化點(diǎn)才是重點(diǎn)消費(fèi)邏輯本身。把消費(fèi)邏輯里的外部 RPC 調(diào)用從串行改成并行能走本地緩存的一定要走緩存能合并到批量查詢的不要一條一條查數(shù)據(jù)庫能異步化的非關(guān)鍵步驟丟到獨(dú)立線程池里執(zhí)行不讓它卡消費(fèi)主流程。很多時(shí)候消費(fèi)耗時(shí)的瓶頸根本不在 RocketMQ 上而是業(yè)務(wù)代碼自己把鏈路拉長了。你要記住消息積壓只是表象消費(fèi)端處理能力才是真正的核心瓶頸。3.2 擴(kuò)容的正確姿勢(shì)別只盯著機(jī)器數(shù)量消費(fèi)端優(yōu)化做完還不夠如果積壓量很大比如幾十萬上百萬條光靠提高單機(jī)消費(fèi)速度可能需要幾個(gè)小時(shí)才能消化這時(shí)候就得考慮擴(kuò)容。但擴(kuò)容前先記住一句話RocketMQ 的消費(fèi)并行度由隊(duì)列數(shù)量決定機(jī)器數(shù)量只影響單臺(tái)機(jī)器上的并發(fā)線程數(shù)機(jī)器再多也突破不了隊(duì)列總數(shù)的上限。具體來說如果你 Topic 的讀隊(duì)列數(shù)是 8當(dāng)前有 8 臺(tái)消費(fèi)者實(shí)例那么每臺(tái)實(shí)例各消費(fèi) 1 個(gè)隊(duì)列擴(kuò)容到 16 臺(tái)實(shí)例也只能讓 8 臺(tái)實(shí)例干活剩下 8 臺(tái)不會(huì)有任何消費(fèi)行為。所以擴(kuò)容集群前先確認(rèn) Topic 的隊(duì)列數(shù)量是否足夠。查看和修改隊(duì)列數(shù)的辦法是利用管理工具或者 Dashboard 更新 Topic 配置把讀隊(duì)列數(shù)從 8 調(diào)整到 16、32甚至更多。但是有一個(gè)極其重要的坑如果業(yè)務(wù)里用到了順序消息你就不能隨意改動(dòng)隊(duì)列數(shù)。因?yàn)轫樞蛳⒁蕾囅㈥?duì)列選擇規(guī)則比如按業(yè)務(wù)主鍵 hash 到固定隊(duì)列一旦隊(duì)列數(shù)變化hash 分布就會(huì)重新洗牌原來同一個(gè)業(yè)務(wù)鍵的消息可能被分配到不同隊(duì)列破壞局部順序。這種情況下擴(kuò)容消費(fèi)者實(shí)例并不能提升并行度因?yàn)橥粋€(gè)隊(duì)列同時(shí)只允許一個(gè)消費(fèi)者實(shí)例消費(fèi)而順序消息又不能讓多個(gè)線程并發(fā)消費(fèi)同一個(gè)隊(duì)列。遇到這種場(chǎng)景更合理的方案是業(yè)務(wù)層面拆分 Topic把不同業(yè)務(wù)域的訂單消息拆到不同 Topic每個(gè) Topic 可以有獨(dú)立的隊(duì)列數(shù)和消費(fèi)者實(shí)例這樣既保證業(yè)務(wù)內(nèi)順序又提升了鏈路整體并行度。還要注意擴(kuò)容消費(fèi)實(shí)例之后一定要重啟或者觸發(fā) rebalance讓新實(shí)例能真正分到隊(duì)列。很多團(tuán)隊(duì)給容器平臺(tái)擴(kuò)容了 Pod 數(shù)量但因?yàn)?RocketMQ 客戶端實(shí)例注冊(cè)有延遲新實(shí)例沒有及時(shí)拿到隊(duì)列分配舊實(shí)例依然在扛壓力。通過 consumerStatus 命令可以確認(rèn)每個(gè)實(shí)例當(dāng)前分到的隊(duì)列數(shù)量看到分配均衡后再下結(jié)論。3.3 緊急兜底重置位點(diǎn)、死信處理和臨時(shí)降級(jí)有些積壓場(chǎng)景時(shí)間緊、任務(wù)重比如大促時(shí)積壓了幾百萬條消息但業(yè)務(wù)要求 10 分鐘之內(nèi)恢復(fù)這時(shí)候免不了要做一些“非常規(guī)”操作。必須說清楚這類操作有副作用一定要在確認(rèn)業(yè)務(wù)可接受、并且有人審批的情況下才能執(zhí)行。最直接的兜底操作是重置消費(fèi)位點(diǎn)也就是把消費(fèi)組的消費(fèi)進(jìn)度直接調(diào)到最新位點(diǎn)。這樣積壓的歷史消息就不消費(fèi)了相當(dāng)于放棄了舊消息只從當(dāng)前時(shí)間點(diǎn)往后消費(fèi)新消息。具體命令# 重置消費(fèi)位點(diǎn)到一個(gè)較早或較新的時(shí)間點(diǎn)需要用時(shí)間戳單位毫秒 mqadmin resetOffsetByTime -g 消費(fèi)組名 -t Topic名 -s 當(dāng)前時(shí)間戳 -n nameserver地址這個(gè)操作一旦執(zhí)行消費(fèi)進(jìn)度就跳到指定時(shí)間點(diǎn)歷史消息不會(huì)進(jìn)入正常消費(fèi)流程。所以你一定要問清楚業(yè)務(wù)方這些積壓消息里有沒有必須處理的訂單、扣款、補(bǔ)償類消息如果丟棄會(huì)造成數(shù)據(jù)不一致那絕對(duì)不能盲目跳過。我見過有的團(tuán)隊(duì)為了快速恢復(fù)系統(tǒng)直接 reset 了一大堆交易消息事后發(fā)現(xiàn)大量訂單狀態(tài)沒更新只能靠人工跑批補(bǔ)償折騰了整整兩天。死信隊(duì)列的處理也需要配套進(jìn)行。積壓期間很多消息會(huì)經(jīng)歷 16 次重試最終進(jìn)入死信隊(duì)列這些消息如果業(yè)務(wù)上還有價(jià)值就要寫一個(gè)專門掃死信隊(duì)列的程序把消息撈出來重新投遞到正常 Topic 或者直接調(diào)用補(bǔ)償接口。我在后面會(huì)專門講到死信排查這里想強(qiáng)調(diào)的是死信不是終點(diǎn)務(wù)必清零。臨時(shí)降級(jí)指的是在消費(fèi)端代碼上做個(gè)方案開關(guān)把非核心邏輯臨時(shí)關(guān)閉。比如消費(fèi)訂單消息時(shí)原本需要同步調(diào)用積分服務(wù)、短信服務(wù)、審計(jì)服務(wù)在堆積嚴(yán)重時(shí)只保留訂單狀態(tài)更新這個(gè)核心動(dòng)作其余全部降級(jí)或異步化。這種做法能迅速把單條消息的處理耗時(shí)降下來相當(dāng)于給地漏臨時(shí)加大排水口徑先把水位降下去等活動(dòng)峰值過去再恢復(fù)完整鏈路。這個(gè)思路在電商大促場(chǎng)景下非常常用前提是業(yè)務(wù)方同意非核心邏輯的延時(shí)執(zhí)行并且有補(bǔ)償機(jī)制。3.4 治本容量規(guī)劃、隔離與鏈路治理應(yīng)急處理完更要回頭思考一個(gè)問題為什么這次會(huì)堆積如果只是流量突然翻倍那下一次流量再翻倍怎么辦消息堆積治理的治本方案其實(shí)就是容量規(guī)劃和系統(tǒng)性隔離。容量規(guī)劃層面要對(duì)核心 Topic 做生產(chǎn)流量峰值的預(yù)估并按照這個(gè)峰值預(yù)留消費(fèi)能力。一般建議消費(fèi)端的處理能力要比預(yù)估峰值高出 30% 到 50%再加上彈性擴(kuò)容的能力保證突發(fā)流量增長時(shí)能快速補(bǔ)充消費(fèi)實(shí)例。這里我推薦定期對(duì)消費(fèi)端做壓測(cè)用壓測(cè)工具向指定 Topic 灌入平時(shí)流量的 2 到 3 倍消息觀察消費(fèi) TPS、積壓曲線和消費(fèi)耗時(shí)把每個(gè)業(yè)務(wù)鏈路的容量基準(zhǔn)摸出來。有了基線后面再談擴(kuò)容和告警閾值才有參考意義。隔離層面我提倡把一個(gè)大的 Topic 按業(yè)務(wù)重要性拆開。比如訂單系統(tǒng)可以拆成“訂單核心狀態(tài)消息 Topic”和“訂單營銷通知消息 Topic”前者消費(fèi)端配備了更高的機(jī)器規(guī)格和更完善的監(jiān)控后者消費(fèi)端即便堆積也不影響主流程。這種拆分的本質(zhì)是把資源隔離和治理邊界劃清楚避免一條慢業(yè)務(wù)拖垮所有消費(fèi)組。你如果做過 RocketMQ 選型對(duì)比就會(huì)發(fā)現(xiàn)類似這種基于 Topic 進(jìn)行業(yè)務(wù)隔離的能力RocketMQ 相比另一些消息隊(duì)列更靈活這也是當(dāng)時(shí)很多人選它的原因之一。鏈路治理層面要把消費(fèi)端對(duì)下游的依賴做分級(jí)。能降級(jí)的降級(jí)能異步的異步能做成輪詢補(bǔ)償?shù)木蛣e用同步強(qiáng)依賴。我在一家公司做技術(shù)負(fù)責(zé)人那會(huì)兒團(tuán)隊(duì)約定所有消費(fèi)邏輯不能超過三個(gè)依賴調(diào)用每多一個(gè)依賴就得寫一個(gè)獨(dú)立降級(jí)方案。這個(gè)約定后來挽救了無數(shù)個(gè)大促夜因?yàn)檎嬲鸱e壓的從來不是消息中間件自己而是消費(fèi)邏輯里那些脆弱的遠(yuǎn)程調(diào)用。4. 實(shí)戰(zhàn)案例復(fù)盤和日常預(yù)防體系4.1 一次大促消息堆積處置流程復(fù)盤講一個(gè)很典型的場(chǎng)景。某次大促預(yù)熱期訂單系統(tǒng)流量瞬間翻了三倍用 Dashboard 看消息積壓數(shù)字從個(gè)位數(shù)一路漲到近 80 萬消費(fèi)組的消費(fèi) TPS 卻在持續(xù)探底。當(dāng)時(shí)負(fù)責(zé)的同學(xué)第一反應(yīng)是給消費(fèi)者集群擴(kuò)容但擴(kuò)容完 15 分鐘積壓不但沒降反而還在漲。后來排查發(fā)現(xiàn)Topic 隊(duì)列數(shù)只有 8擴(kuò)容后的 20 個(gè)應(yīng)用實(shí)例有一大半是空閑的真正干活的只有 8 個(gè)實(shí)例。處置過程我盡量還原大家看這個(gè)順序先看 Dashboard 確認(rèn)積壓分布發(fā)現(xiàn)每個(gè)隊(duì)列積壓都很高排除單個(gè)隊(duì)列異常再查消費(fèi)者實(shí)例狀態(tài)發(fā)現(xiàn)部分實(shí)例 CPU 使用率長時(shí)間超過 80%消費(fèi)線程大量阻塞隨后抓線程棧定位到消費(fèi)邏輯中調(diào)用的庫存服務(wù)接口耗時(shí)飆升單次調(diào)用從 50ms 漲到了 2 秒以上。這時(shí)候做兩件事一是在配置中心打開降級(jí)開關(guān)讓消費(fèi)端跳過幾個(gè)非核心的校驗(yàn)邏輯和營銷同步二是把 Topic 隊(duì)列數(shù)提升到 32然后給消費(fèi)者集群擴(kuò)容觸發(fā)一次平滑 rebalance。降級(jí)開關(guān)一打開單條消息耗時(shí)就降下來了消費(fèi) TPS 從 200 漲到接近 1500。隊(duì)列擴(kuò)容后32 個(gè)消費(fèi)者實(shí)例各占一個(gè)隊(duì)列整體并行能力也上來了。差不多 40 分鐘以后80 萬積壓被徹底消化完系統(tǒng)恢復(fù)平穩(wěn)。這次復(fù)盤讓我拿到的教訓(xùn)很深刻擴(kuò)容前不看隊(duì)列數(shù)等于白花錢消費(fèi)邏輯里的非核心依賴在流量尖峰時(shí)要能一鍵摘除。4.2 日??陕涞氐谋O(jiān)控告警和預(yù)防措施處理完了一次事故接下來要做的是不讓同樣的問題在下次發(fā)生。消息堆積的監(jiān)控體系我建議至少包含三個(gè)維度積壓量、消費(fèi)能力、異常率。RocketMQ 自身提供的 Dashboard 可以看消費(fèi)組的 diff 數(shù)據(jù)但更推薦把指標(biāo)接入 Prometheus搭配 rocketmq-exporter 采集 Broker 端的消息積壓、生產(chǎn)速率、消費(fèi)速率等指標(biāo)。rocketmq-exporter 的安裝其實(shí)不復(fù)雜準(zhǔn)備好 nameserver 地址和 exporter 的配置文件部署成一個(gè)單獨(dú)服務(wù)然后在 Prometheus 里添加抓取任務(wù)即可。這個(gè)過程官網(wǎng)文檔挺清楚照著做基本沒坑唯一要注意的是 exporter 版本和 RocketMQ 服務(wù)端版本最好保持一個(gè)大版本內(nèi)一致否則偶爾會(huì)出現(xiàn)指標(biāo)抓取不到的兼容問題。監(jiān)控面板搭好之后告警規(guī)則要定得有層次。最核心的幾條我通常這樣配消費(fèi)組積壓量超過 5000 條且持續(xù) 5 分鐘告警一次消費(fèi)組消費(fèi) TPS 掉到 0 時(shí)秒級(jí)告警消費(fèi)失敗率或重試次數(shù)在短時(shí)間內(nèi)翻倍時(shí)告警。積壓量這種指標(biāo)不要設(shè)置太低的閾值否則系統(tǒng)一抖動(dòng)就告警告警轟炸反而讓人麻木消費(fèi) TPS 為 0 這種指標(biāo)則必須配置秒級(jí)或分鐘級(jí)告警因?yàn)檫@意味著消費(fèi)鏈路完全癱瘓。除了監(jiān)控告警日常也要做定期的存量巡檢。我建議每周挑一個(gè)業(yè)務(wù)低峰時(shí)段自動(dòng)跑一遍主題消費(fèi)組位點(diǎn)巡檢腳本把積壓量超過閾值的消費(fèi)組列表拉出來給研發(fā)同學(xué)確認(rèn)原因。這么做的好處是很多小問題在變成事故前就被發(fā)現(xiàn)了比如某個(gè)消費(fèi)組由于代碼發(fā)布失敗一直沒啟動(dòng)如果沒有巡檢它可能會(huì)在你大促前幾天才被注意到那種被動(dòng)局面大家都不想經(jīng)歷。4.3 消息堆積問題速查表最后整理一個(gè)速查表大家可以把這張表貼在團(tuán)隊(duì)文檔里線上出問題時(shí)照著對(duì)一遍能省不少排查時(shí)間。現(xiàn)象常見原因快速處理建議整體積壓持續(xù)上漲消費(fèi)TPS正常生產(chǎn)流量峰值超過消費(fèi)能力擴(kuò)容消費(fèi)者或增加隊(duì)列做好流量預(yù)估整體積壓上漲消費(fèi)TPS接近為0消費(fèi)端故障、線程池阻塞或?qū)嵗礄C(jī)抓線程棧、查日志先恢復(fù)消費(fèi)能力積壓集中在單個(gè)或少量隊(duì)列消息分配不均、對(duì)應(yīng)實(shí)例異常查看隊(duì)列分配情況檢查實(shí)例健康度積壓數(shù)字一直波動(dòng)但實(shí)際消費(fèi)正常監(jiān)控統(tǒng)計(jì)延遲或消費(fèi)組名配置錯(cuò)誤用命令行查看真實(shí)位點(diǎn)校準(zhǔn)監(jiān)控配置消費(fèi)失敗率高重試隊(duì)列積壓上升下游依賴異常、業(yè)務(wù)邏輯拋錯(cuò)檢查異常堆棧隔離或降級(jí)失敗邏輯擴(kuò)容消費(fèi)者實(shí)例后積壓沒下降Topic隊(duì)列數(shù)不足或rebalance未觸發(fā)增加隊(duì)列數(shù)確認(rèn)實(shí)例都分配到了隊(duì)列死信隊(duì)列消息越積越多重試次數(shù)耗盡仍未成功查死信消息內(nèi)容寫補(bǔ)償程序人工處理這張表不可能覆蓋所有場(chǎng)景但覆蓋了我在實(shí)際運(yùn)維中遇到的大多數(shù)問題。大家在做技術(shù)方案、寫復(fù)盤文檔時(shí)也可以把類似表格放進(jìn)去讓新人接到告警時(shí)知道從哪里入手。最后再分享一個(gè)經(jīng)驗(yàn)。消息堆積處理得多了之后你會(huì)發(fā)現(xiàn)真正需要你直接用“重置位點(diǎn)跳過消息”來救場(chǎng)的場(chǎng)景很少絕大多數(shù)情況下是消費(fèi)邏輯本身有退化點(diǎn)或者容量預(yù)估遠(yuǎn)遠(yuǎn)不足。所以與其練一手騷操作不如老老實(shí)實(shí)把消費(fèi)鏈路做可靠把監(jiān)控做靈敏把預(yù)案做細(xì)。RocketMQ 消息堆積這道面試題能回答到“從原理分析到應(yīng)急處理、再到預(yù)防體系”這個(gè)顆粒度面試官看到的就不只是你會(huì)用工具而是你在真實(shí)系統(tǒng)里扛得住事。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色五月婷婷少妇人妻| 一夜福利不卡| 这里有精品99| 天天婷婷天天| 99re热视频| 另类激情五月| 日韩无码色色| 97久久人人| 欧美 日韩 成人 在线| 97婷婷丁香| 99热天堂| 婷婷久久亚洲| 亚洲第一综合| av在线免费播放观看| 碰碰碰97国产| 99久久五月天| 色玖玖综合网| 日韩a热| 婷婷五月蜜桃成人桃色丁香| 五月丁香六月合| 日本激情五月天‘| 99热只有| 亚洲色视频| 五月色网| 五月婷无码| 久久日九九| 成年人丁香五月| 天天做夜夜爽| 中字幕视频在线永久在线观看免费| 密着浓厚中出乚交尾GvG935| 少妇婷婷五月天| 一区二区传媒视频| 色五月色图| 色丁香五月天| 熟女五月天久久综合| 色久综合天天做视频| 久久性爱视频网站| 久久99网| 以及AA大片看看| 97ai婷婷| 成人五月天综合网| 五月婷婷激情四月| 五月婷婷色影院| 26uuu欧美日本| 另类少妇人与禽zOZZ0性伦| 夜夜嗨一区二区三区直播内容| 超碰妻人人| 婷婷激情人妻| 五月色欧美| 婷婷五月成人系列| 狠狠狠狠狠狠狠狠| 人碰人人人玩91| 色婷婷91| 激情婷婷五月天伊人在线观看| 人人人va亚洲视频在线| 色五月婷婷在线视频| 欧美噜一噜| 五月丁香亚洲综合| 久久人妻精品| 一区二区三区四区牛| 91色九| 亚洲视99| 午夜丁香婷婷| 精品一区二区三区四区五区六区| 激情婷婷五月天丁香| 久久婷婷五月综合色奶水99啪| 六月婷婷五月丁香首页| 亚洲综合激情五月久久| 久久精彩视频| 婷婷激情五月视频| 激情丰满熟妇五月| 日本啪啪网| 亚洲精品99| 久久综合55| 婷婷久久丁香五月| 日撸夜撸日操| 91碰碰| 国产真实乱对白精彩| 操日本三片99| 婷婷色丁香五月| 九九在线视频| 欧美成人猛片AAAAAAA| 激情 婷婷| 五月丁香婷婷AV天堂| 五月婷精品| 美臀自射自家人妻| 99干视频| 碰99在线| 午夜婷婷丁香| 九九热这里| 任你艹| 五月丁香婷婷激情四射迷人| 亚洲天天免费| 综合AV在线| 清纯唯美 激情四射| 丁香九九九九| 天天日,天天射,天天舔| 精品一二三区久久AAA片| 色色婷婷色色| 亚洲色vA| 99色在线观看| 欧美婷婷丁香五月社区| 99热在线这里| 99人妻碰碰久久久禁片| 18av天堂| 五月婷婷激情| 日本人妻操| 亚洲精品乱码久久久久99| 五月丁香五月婷婷| 大香蕉AV电影在线| 久久6这里只有精品| 九色无码| 人人草碰| 丁香六月视频免费观看| 图片区 小说区 区 亚洲五月| 夜夜干 夜夜操| 丁香婷婷五月综合欧美另类| 色噜噜狠狠色综合日日免费| 丁香五月大香蕉| 色婷婷亚洲综合天堂| 婷婷免费精品视频| 欧美婷婷丁香五月社区| Av中文在线| 婷婷五月色花丁香社区| 天天在线XXX| 强辱丰满人妻HD中文字幕| 欧美 日韩 成人 在线| 五月婷婷啪啪网| 亚洲综合激情五月久久| 婷婷欧美综合| 激情五月丁香亭亭| 色五月色五天色情网址| 99精品久久久久久久婷婷久久| 99在线观看| 极品九九九九九九| 亚洲第一精品网站| 久久综合久色欧美综合狠狠| 99热6这里只有精品6| 99九九综合久久九九| 丁香五月色情av| 26uuu国产色| 天天操中文字幕| 精品九九久久| 五月丁香六月婷婷网站| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 婷婷狠狠97| 五月丁香无码| 五月婷婷综合社区| 国产精品久久久海的味道| 婷婷色色网站| 丁香六月婷婷高清| 久久九区| 99色干| 久久538| 内射 无码 伊人| 热久久99视频| 欧美交换配乱吟粗大25P| 九热精品| 婷婷综合色色| 日本高清久久| 深爱五月激情| 九九国产精视频| 无码色| 五月天婷婷涩涩| 亚洲无码九九| 日本A片一区| 婷婷色色网| 少妇人妻偷人精品无码视频新浪| 成人欧美一区二区三区在线观看| 99热精品在线播放| 婷婷国产日本欧美| www.激情| 午夜九九电影| 日韩二区搞逼插逼毛片| 操操熟女| 五月天婷婷在线视频| 五月婷九月| 五月婷婷激情四月| 日本人妻伦在线中文字幕| 亭亭五月丁香综合欧美| 婷婷丁香在线| 婷婷五月天影视网址| 久久性视频| 五月婷丁香花| 夜夜爽77777妓女免费下载| 久久色五月天| 午夜少妇在线观看视频| 东北婷婷五月天| 精品国产AV色一区二区深夜久久| tingtingzonghewang| 中国女人做爰A片| AV天堂淫乩| 婷婷五月天激情网| 久色网五月| 色色五月婷婷狠狠| 天天婷婷色六月| 五月婷婷亚洲综合在线 | 婷婷区日本| CHINESE熟女老女人HD视频 | 丁香五月日啪| 五月婷婷很很色| 综合图区激情| 久久网婷婷| 99精品视频免费观看| 色综合香蕉| 六月色播| 欧美性生交XXXXX无码小说| 天天AV导航网| 在线综合亚洲欧美65| 婷婷丁香人妻天天| 欧美三级黄色片久久| 中文字幕,综合,91| 五月婷婷久久大香蕉| AV在线资源| 久久99网站| 久久激情视频| 开心五月综合| 91日视频| 狠狠狠狠狠| 精品综合久久久久久五月天| WWW色色色COM| 狠狠人妻色综合| 婷婷色婷婷| 99久久久久| 色综合久久天天综合网 | 亚洲情欲久久| 色你久久| 色婷婷综合久色AV五色最新| 香蕉AV777XXX色综合一区| 天堂草在线观| 久久精品噜噜噜成人A∨色欲| 久99在线视频| 国产欧美婷婷五月| 停停六月 综合| 99热国内精品| 99在线免费视| 国产亚洲成AV人片在线| 99久久9| 超级碰碰碰久久网站| 激情五月天影院| 五月婷婷AV| 99激情视频| 99思思热只有在这里看| 久久久宗合| a在线观看| 狠狠五月天婷婷激情网。| www,99色| 日日干夜夜干| 五月丁香在线综合| 亚洲日韩国产黑丝黑丝AVAV一区二区三区| 天堂伊人干| 婷婷免费视频| 五月激情丁香久久综合网| 国产精品久久久久9999小说| 欧美影院| 深爱开心激情网| 婷婷五月超碰| 色偷偷五月天| 日日夜夜天天综合| 色综合色婷婷色伊人| 97日本操| 26uuu精品一区二区| 婷婷五月天777| 艹色18p| 久久久com| 人妻久久久久久久久| www.com.色色| 深爱五月天| 久99久热只有精品国产99| 国产精品国产| 日本欧美成人片AAAA | 91人无码久久久久久| 五月丁香好婷婷姑娘综合网| 99热99日天天干| 97婷婷色| 九九热视频精品| 99精品热| 色色五月综合| A片试看50分钟做受视频| 九九热最新地址| 在线视频色五月| 六月丁香开心婷婷欧美| 色婷婷综合视频| 国产精品蜜臀99| 91视频综合网| 教师性爱毛片| 久久精品性爱| 激情深爱五月天| 婷婷黄色五月天在线视频| 最新日韩久热免费视频看看| 嫩BBB槡BBBB搡BBBB| 色五月av| 天天爽综合| 丁香五月综合| 欧美日本高清视频99| 丁香五月中文字幕| 青草青青草| 色五月婷色彩免播放器| 久久久久久久8| 免看黄大片AA | 亚洲精品成人| 青青草成人网| 99热这里有精品2| 久久综合爱| 色五月在线综合| 九九色色| 久久五月网| 亚洲色综合性| 婷婷色五月天色| 精品夜夜澡人妻无码AV| 91久久精品无码一区二区三区| 日日日日做夜夜夜夜无码| 婷婷五月欧美综合| 亚洲中文字幕网| 狠狠色五月| 六月香五月婷| 99热大香蕉| 五月天丁香啪啪啪啪| 激情五月综合网| 色玖玖综合| 色六月视频| 色色亚洲无码| 婷婷五月天激情小说| 成片免费观看大全| 国产性爱在线| 亚洲视频在线观看| 色色色色热| 久久婷五月综合| 丁香五月开心婷婷| 狠狠色性| 色五月婷婷久久爱| 综合亚洲六月婷婷在线| 99色综合网| 久久婷婷激情四射五月天| 婷婷五月天免费99| 99视频这里有精品| 大地资源色婷婷视频在线 | 天天综合色| 婷婷五月色网| 亚洲爱爱无码婷婷色五月| 久久久久婷婷| 超碰色婷婷| 色三级色三级| 婷婷成人视频| 日韩五月丁香| 玖玖资源站中文| 五月婷婷色情| wwwxxx五月婷婷小说| 色婷丁香五月| 婷婷 久综合| www91在线| 四川女人毛多水多A片| 高清无码入口| 日日天天干| 九九综合伊人| 99在线视频免费| 久久色情综合免费网站| 久久婷婷五月综合色丁香| 天天爱天天做综合| 天天激情综合| 99久久九九| 欧美图片丁香五月天| 国产操逼网站| 人人操人人添人人摸97| 国产黄色av| 成人在线免费网址| 久久ri精品视频| 久9热视频在线| 久热婷婷综合| 国产成人AV| 天天操天天干天天日| 久久综合激情| 人人摸人人搞| 色婷婷狠狠18禁| 亚洲综合九九| 欧美性生交XXXXX无码小说| 日日夜夜天天| 国产在线aaa片一区二区99| 久久香蕉网| 亚洲无码99| 国产肥白大熟妇BBBB视频| 99免费视频| 免费视频无码| 精品一二三区久久AAA片 | 思思精品视频| www.色五月| 伊人久久婷婷| 少妇水多A片太爽了| 婷婷五月18永久免费视频| 丁香婷婷五月综合影院| 久久视频这里99| 操操操AV| 丁香六月激情| 精品人人操| 91超级碰碰| 婷婷狠狠干| 性综合网| 五月婷六月丁香| 婷婷五月天性| 天天草比天天爽| 欧洲亚洲精品| 婷婷五月电影| 91大神操美女| 亚洲免费婷婷| 国产肥白大熟妇BBBB视频| 超碰在线免费观看日韩| 丁香五月综合网| 色综合99色| 色婷婷丁香AV综合| 婷综合六月| 五月天综合色| 内射综合网| 亚洲操人| caopeng超碰| 狠狠操天天操综合| 五月色婷婷综合丁香精品无遮挡| 免费观看欧美成人AA片爱我多深| 狠狠五月天| 色色丁香婷婷综合| 九九av| 婷婷五月在线影院| 色情五月| 婷婷五月天色色| 99热99日…..| 亚洲综合婷婷六月丁香五月| 欧美Va婷色| 99ri精品在线| 激情九月婷婷| 色色欧美。| 狠狠 久久| 夜夜爱伊人| 久久机热这里只有精品免费视频| 亚洲中文乱字字幕线在永久| 欧美婷婷五月天| 色综合九九色综合88| 欧洲亚洲精品| 久久精彩视频18| 日本人妻操| 在线网黄| 久久这里都是精品视频| 狠狠操天天干| 91久久婷婷| 天天肏视奸| 超碰在线观看9| 99re99在线看| 久久性爱视频久久性爱视频| 色五月婷婷基地| BBWCUCKOLD精品熟妇| 亚洲婷婷综合视频| 色色日韩| 中文在线视频久1| 99精品热视频| 综合激情站| 91一起操| 丁香五月婷婷av影院| 日韩精品成人在线| 五月天六月天| 五月天激情婷婷| 丁香五月色| 久久婷婷五月综合| 91pornav在线| 激情五月激情综合网一级丸片| 六月婷婷久久大全| 婷婷五月色播放| 天堂久热| 欧美色五月| 99久久精品网| 久久亚洲激情五码| 色吧网综合| 深夜男女福利刺激影院一区完整| 99爱在线| 操九色| 亚洲无AV在线中文字幕| 亭亭五月基地在线| 激情影院免费视频婷婷五月天| 丁香五月影院| 色狠狠色综合久久久绯色aⅴ影视| 激情久久久久久久久| 黄色99网| 97资源碰碰| 开心色色五月天综合| 伊人久久大香网| 六月婷婷激情小说网| 超碰九九热| 婷婷中文字幕网站| 99re99热| 激情综合网激情五月天| 丰满少妇乱A片无码| 婷婷五月天久久综合88| 午夜 外网 精品 在线| 神马欧美精| 97日韩无套内| 亚洲va日| 97人妻碰碰碰久久香蕉| 内射干少妇亚洲69XXX| 操日视频| 99成人免费热视频| 专区无日本视频高清8| 九九干视频| 欧美日韓成人亚洲精品另类| 性生活视频98791| 9热成人在线视频| 久久婷狠狠色| 六月亭亭久久综合激情| 激情99| 日熟女| 婷婷激情五月综合在线视频| 色99视频| 第四色激情网| 久久婷婷综合国产| 神马久久五月天| 玖玖在线资源视频| 激情五月综亚网| 国产成人av在线| 伊人影院久久网| 天堂五月婷婷| 丁香五月av| 婷婷色色丁香五月天| 亚艹艹| 中文成人在线| 性色欲情 网站| 成人网在线视频| 色综合婷婷99| 五月天激情日色在线| 99色婷婷视频| 大香线蕉伊人| 婷婷六月综合激情| 91 久热| 777久久精品| 中文字幕在线日亚洲9| 9999热在线观看| 色婷婷九月| 任你爽视频| 一本狠婷婷综合| 久久久久99精品成人片| 亚洲精品久久久无码| 狠狠搞五月天| 色五月婷婷中文字幕| 91九色大屁股| www.婷婷五月| 操比激情五月| 狠狠色噜噜| av网站不卡在线| 精品网站99| 直接看的av| 丁香九月久久| 久久色天堂| www.99精品视频| 噜噜网免费视频| 亚洲欧洲美女在线观| 超碰AAAAAAV| 99国产精品久久久久久久久久久| sS丁香五月婷婷| 亚洲色婷婷| 欧美啪啪五月天| 国产三级秋霞| 欧美97超碰| 天天爽夜夜爽夜夜爽精| 可以免费观看的av| 另类五月婷婷| 亚洲色五月| 婷婷四月 成人 狠狠干| 无码色| 热99这里只是精品| jiZZdr| 99er这里只有精品| 99色综合| 婷婷久久国产视频| 播播网色播播| 狠狠88综合久久久久噜噜噜| 亚洲精品又粗又大又爽A片| 五月天激日本色情在线| 午夜性做爰电影| 99热精品10| 。久久久久久久久久久久久久人妻| 亚洲视频一区| 丁香五月综合图片在线观看| 丁香,开心成人,久久| 99色色最新视频| 中文字幕人妻熟女在线| 538午夜激情| 色婷婷电影网| 亚洲色色在线| AA片在线观看视频在线播放| 五月综合六月丁| 九九九九九九热| 婷婷丁香五月综合激情视频| 丁香香蕉婷婷| 丁香五婷婷| 无码区婷婷五月花开| 五月天色色网站| 99,色| 超碰人妻在线| 日本在线视频手机播放五月婷| 少妇AB又爽又紧无码网站| 婷婷六月插屄激情| 99视频热99| 丁香五月婷中字幕| 亚洲色夜| 久99| 国产Va视频| 久久久五月天| 天天操夜夜玩!| 最近免费中文字幕大全高清大全1| 五月香蕉婷婷| 99综合色色色| 久热这里| 五月天婷婷色在线视频免费观看| 国外亚洲成AV人片在线观看| 五月丁香六月婷婷综合网缴情| 色五月大香蕉婷婷| 久久激情五月天| 9精品在线| 立川无码av| xxx.色婷婷| 五月丁香久久综合| www.com操| 色综合色| 二级黄色毛片| 天天爽天天摸天天爱| 亚洲V国产V欧美V久久久久久| 丁香五月六月激情| 亚洲欧洲中文日韩久久AV乱码| 国产资源91在线| 青青草婷婷久久| 99精品小视频| 久久伦乱| 丁香网站| 五月天激情国产综合婷婷| 无码人妻激情| 日韩视频99| 粉嫩AV久久一区二区三区| 亚洲狠狠色丁香婷婷综合久久| 99久久超级| 丁香九月激情| 久久久天堂国产精品女人| www.深爱激情| 91九色欧美| 99re这里只有| 开心四月婷婷在线色播播| 五月丁香 狠狠爱| 9精品在线| 天天干天天日天天插| 婷婷五月天丁香久久| 久99久精品视频| 精品婷婷五月视| 99人人看| 亚洲精品色| 亚洲天天综合| 五月天激情小说| 夜夜嗨一区二区三区直播内容 | 9色视频在线| 亚洲字幕AV一区二区三区四区| 开心五月网 | 一本久久亚洲五月婷婷| 十区AV| 久久五月丁香| 六月激情久久| 九热在线这里有精品6| 日本在线观看91| jiZZdr| 深爱五月婷| 热99这里只是精品| 亚洲 在线 另类| 成人电影AV在线观看| 丁香五月天色综合| 亚洲天堂制| 天天干夜晚夜操| 综合九九| 婷婷五月天天天日日夜夜| 欧美碰碰| 亚洲精品久久久久AV无码| 五月成人天| 中文网AV| www.99热这里精品| 粉嫩AV久久一区二区三区| 五月综合激情| 九六五月天婷婷| 91精产一区三区免费观看| 99热这里只有精品99| 丁香五月六月| 思思re视频在线| 丁香五月婷婷基地| 丁香五月婷综合| 99热思思| 欧洲色色| 五月丁香青草综合啪啪| 99色在线观看免费| 99亚洲精美视频在线观看| 亚洲愉拍99热成人精品| 久久激情视频| 亚洲VA口| 99久久久99久久91熟女| 狠狠狠狠青草| 五月丁香六月合| 天天综合精品| 热99国产精品| www,久久久| 天天se在线视频| 婷婷五月天狠狠| www...com黄在线观看| 三级成人网站| 丁香五月天激情| 婷婷成人av| 五月天丁香欧美激情| 久久久久久97| 黄色大片又大粗又爽| 五月好婷婷| 婷婷五月综合在线| 丁香五月a| 26uuu丁香婷婷五月| 99久| 天天爽天天爽| 99热伊人| 五月五婷婷| 大香蕉狼人久久| 丁香狠狠干| 婷婷激情四射| 久超超碰| 亚洲热综合| 性色99| 色五月av伊人| 六月婷婷天天操夜夜爽视频| 色吧婷婷| 六月激情网| 91制片厂久久久国产电影| 一点色成人网| 亚洲精品色| 婷婷五月色激情欧美激情| 日本熟女内射| 五月天激情婷婷丁香| 在线五月色播| 五月天婷婷午夜丁香| 色色婷婷五月天| 综合网网欲色| 六月丁香啪| 91碰碰视频在线观看| 日本不卡一区二区三区| 五月婷色| 伊人久久艹| 中美日韩成人在线| 天天在线XXX| 五月综合婷婷五月| 九九热视频免费的| 久久aaa| 激情五月第四色| 97人人干| av在线免费播放| 14色综合婷婷| 青青草轻轻操| 99视频35精品视频在线观看| 九九精品少妇| 99精品综合在线| 8050一级网| 婷婷五月天99综合网站| 1024国产在线| 丁香婷婷欧美综合| 五月婷婷黄色网址| 九九热狼人| 五月久久丁香| 国产av第一专区| 久久婷婷网址| 色爱爱综合网| 99re视频在线精品| 婷婷狠狠青青| 国产亚洲成人综合| 国产综合丁香五月天| 91九九九九九九| 婷婷五月丁香性爱| 操操操91| 婷婷五月精品| 天天透天天干| 日本黄色在线观看| 超碰高清在线| 99热99精品| 五月婷婷啪啪网| 另类视频一区| 欧美色狠婷久| 婷婷五月天 偷拍| 深爱开心五月天| 桃色激情婷婷伊人网| 亚洲精品小视频| 99国产性感视频| 99热这里只有精品2024| 天天摸天天日天天舔| 岛国AV网站| 色五月婷婷九月| 热五月婷婷| 亚洲秘 无码一区二区三区妃光/1| 婷婷深爱五月| 天天爱天天做天天| 秋霞AV淫| 五月天狠狠| 天天干天天干天天干| 天天日夜夜| 极品人妻VIDEOSSS人妻| 免费无码毛片一区二区A片| 婷婷五月丁香第四色超碰在线| 五月婷婷欧洲| 涩涩婷婷五月| www.91色| 五月色综合| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 婷婷六月香| 在线99精品| 伊人久久99| 久久久久久久综合狠狠综合| 9久热这里只有精品视频| 丁香五月五月婷婷五月天激情四射| 99热网站| 欧美色99| 五月婷婷激情| 婷婷五月丁香综合瑟瑟| 色99色| 午夜丁香婷婷| 六月婷婷俺也去| 天天色天天爱天天爽| 天天爽综合网| 人人97碰| 婷婷五月天丁香| 蜜桃成语时李时珍 免费| 操逼亚洲天堂| 久草视频一,二三四| 激情宗合哪里能看| 欧美色色色| 色婷婷久久| 亚洲中文乱字字幕在线永久| 国产 码在线成人网站| 午夜成人片400| 久cao香蕉影院| 香蕉大综综综合久久| 性爱动图国产麻豆一区二区三区| 久99久热只有精品国产99| 国产欧美va| 青青草成人网| 色色色宗合网| 九九九热精品| 激情色色| 新激情五月天色播| 日本一级特黄大片AAAAA级| 涩五月婷婷| 成人网在线观看视频| 五月天丁香花婷婷| 九九热精品| 亚洲婷婷开心五月| 婷婷五月天在线一区| 第四色激情网| 色婷婷伊人激情在线观看| 日韩在线观看亚洲| 美女va| 激情网婷婷婷| 欧洲一区二区| 国产精品第一国产精品| 久热亚洲| 天天综合干| 99色在线视频| 六月天婷婷| 色99免费视频中文| 国产五月天婷婷| 99热99免费| 五月天激情图片| 国产超碰在线| 天天色99| 色情五月天首页| 97性视频| 日本精品人妻无码77777| 色伊人啪| 亚洲九九在线| 丁香五月性| 99精品视频在线观看| 五月久久丁香| 欧美A级网站| 婷婷五月天成人综合网| 婷婷伊人綜合中文字幕| 97自拍视频网| 六月丁香基地| 五月天精品视频| 99九九久久| 综合 蜜月 婷婷| 99极品视频| 大地资源色婷婷视频在线| 思思久久精品| 久久99免费视频| 男人天堂亚洲综合| xx人人xx| 性按摩玩人妻HD中文字幕| 激情无码网| 中出内射的人妻视频| 九九综合久久| 婷婷激情五月天桃花网| 天天 青草 制服丝袜 在线| 五月天天爽| 少妇大叫太大太粗太爽了A片 | 色色cOm| 东京热免费视频| 操日视频| 97婷婷五月| 99爱视频| 综合玖玖偷拍| 另类激情五月| 亭亭玉月丁香| 成人网站av免费网站推荐| 久色五月婷婷综合| 啪啪一区| 久久99免费视屏| 日本特黄aaaaa| 亚洲色婷婷| 亚洲超级碰| 五月激情视频网| 欧美久热| 综合色网站| 99热的无码| 五月天综合网| 亚洲AV成人精品日韩在线播放| 激情5月婷婷| 97超碰,人人舔,人人操,人人摸| 91婷婷丁香五月天免费视频网站| 日韩爱操视频| 4399无码视频| 色狠狠激情五月| 丁香五月色网| 超碰无码老师| 天天爽—爽| 狠狠草狠狠草| 超碰不卡在线| 狠狠xx| 成人午夜无码视频| 久久天堂婷婷五月| 婷婷丁香在线播放| 久久久久久久久久久-久五月天婷婷| 大功率国产在线| 亚洲成人一区| 99在线视频免费| 日韩五月丁香| 九九九激情网| 精品国产人人爱人人| 成人精品在线观看| 色99在线观看| 婷婷刺激综合| 极品嫩草| 开心五月激情五月丁香五月婷婷| 色五月激情五月| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 人妻射精AV| 99自拍视频| 国产亚洲99久久| 99视频只有这里精品| 婷婷丁香熟女| 丁香色播五月天| 五月婷婷六月激情| 丁香五月天啪啪| 欧美日朝成人| 日本婷久久| 俺也高清无码高清视频| 丁香花社区av| 天天操天天日天天爽| 无码少妇高潮喷水A片免费| 亚洲啪啪啪啪| www.99热视频| www99xxxx五月丁| 99在线精品免费视频| 刘玥av在线| www.操逼comm| 欧美性生交XXXXX无码小说| 久草五月天电影网| 欧美成人精品A片免费一区99| 色情·com| 色5月婷婷| 五月丁香综合网色欲| 久久综合激情| 天天色综合色色色色色。| 婷婷久草| 久久小视频免费| 粉嫩AV久久一区二区三区| 7月婷婷六月丁香| 五月天色区| 五月丁香好婷婷A片网| 激情99热| 大香蕉五月丁香| 国产成人网址| 伊人五月天综合网| 婷婷丁香六月天| 久久六月天| 激情九月婷婷| 天天骑日日爽| 激情开心五月天| 五月激激网w'w'w| 少妇人妻丰满做爰XXX| 玖玖九九99| 乱岳熟女50岁| 激情五月天色爱| 性爱激情久久| 丰满熟女人妻一区二区三| 五月丁香婷婷啪啪网| 狼人婷婷综合| 超碰人人超碰| 97人人操人人爽| 婷婷五月丁香花综合| 99热一区| 国产脫衣舞一区二区三区| 丁香五婷婷| 激情综合五月天| 久婷婷| 性色婷婷| 人人爱摸视频| 亚洲综合婷婷五月| 激情五月婷| 色九月激情综合网| 色操综合| 丁香六月婷婷综合| 日熟女| 亚洲综合在线视频| 激情99。| 久久久久9久无码视频| 久久人妻乱| 婷婷99中文字幕| 人妻少妇色综合| 99综合在线| 五月丁香综合网| 色婷婷五月天小说网| 亚洲欧美国产A片免费观看| 久久人妻人人| 日韩在线视频网站| 激情综合网五月激情| www.xtbsty.cn.com蜜乳AV| 大伊香蕉精品视频在线| 日本va欧美va欧美va| 丁香五月婷婷偷拍| 91chinese在线| 五丁香激情综合| 91日婷婷在线| 9999三级片| 国产色色网址网站| 激情五月婷婷视频| 色爱亚洲| 99操碰| 久久久亚洲精品一区二区三区浴池 | 五月丁香啪啪啪| 99热精品一区| 39视频第二区| 亚洲中文字幕网| 就爱啪啪婷婷| 欧美啪啪网| 激情综合婷婷| 26uuuu精品一区二区| 人人看人人97| 五月丁香五月综合欧美| www.六月丁香看AV| 天天se在线视频| 99精品在线| 久色欧美| 蜜臀av粉嫩av懂色av| 91婷婷| 欧美激情凹凸丁香网| 激情综合网五月| 五月丁香综合| 日日.c| 大香蕉伊人久久| 夜夜嗨一区二区三区直播内容| 综合久久99| 精品亚洲国产成AV人片传媒 | 六月婷色| 狠狠色综合网| 丁香六月激情国产| 波多野结衣AV无码Porn| 色色色综合| 五月丁香天堂网| 色10月婷婷视频| 69天堂99| 五月丁香啪啪网| 色五月婷婷激情五月| 九月婷婷激情| 亚洲亚洲人成综合网络 | 激情五月婷婷视频| 久草五月婷婷| 五月开心婷婷| 综合性爱网| 国产做爰视频免费播放| 精品99在线| 婷婷五月天激情视频| 无码yw| 亚洲精品又粗又大又爽A片 | 日熟女| 婷婷丁香五月天欧美| 色五月自偷自拍婷婷婷婷| 丁香五月电影| 五月丁香六月婷婷网站| 亚洲AV成人精品日韩在线播放| 五月天激情网图片| 99九九综合久久九九| 色色欧美。| 五月婷婷久久综合| 五月网网站| 操逼巨乳91| 99热个人在线| 五月色网| 色婷五月天激情| 色欲婷婷夜夜| 亚洲在线成人| 国产小精品| 久热综合| 人人草人人视| 99色色热热| 绿色小导航AV| 三人荫蒂添的好舒服A片| 色色99| 六月丁香婷啪射| 欧洲综合视频| 五月天综合色| 成人精品视频99在线观看免费| 熟女网站久久| 99热99re6国产在线播放| 婷婷色婷婷亚洲成人| 五月婷免费视频| 九九热视频在线观看| 色噜噜狠狠一区二区三区| 五月天合网| 久久色五月| www.色色色com| 伊人色综合网| 4438激情网| 丁香色播五月天| 91chinese在线| 一起肏在线视频| 国产精品色情AAAAA片软件 | 日韩操逼小电影| 五月亭亭六月色| 激情综合网五月| 人人操91色| 丁香六月欧美| 丁香六月婷| www.成人婷婷综合| 亚洲色色在线| 超碰在线看| 午夜成人网站在线观看| 综合一本道| 五月天综合区| 亚洲激情校园| 中文字幕婷婷| 亚洲秘 无码一区二区三区妃光/1| 成人五月天综合网| 五月婷婷综合在线| 精品久久99码| 激情综合五| 天天天摸夜夜夜玩| 色综合xx| 欧亚色色| 99re热在线视频| 久久婷婷内射| 色情五月| www.99操| 七月丁香五月婷婷在线| 欧美激情综合色综合啪啪五月| 亚洲综合在线视频| 4438激情网| 欧美综合激情丁香五月六月婷| 天天插天天插天天插| 丁香激情六月天婷婷| site:picc-up.com| 天天摸天天舔在线视频| 棕合影院色色| 99人妻碰碰碰久久久久| www。五月,com| 久久婷婷午夜| 亚洲成av人影院| 99成人| 五月丁香综合啪啪| WWW.婷婷| 久久婷丁香五月| xx久久| 99在线视频免费| 夜夜撸日日操| 激情婷婷五月社区| 婷婷五月天干干| 婷婷五月天人妻| 色五月婷婷激情五月| 久久国产精品乱子伦_靑青草…| 人人人操Av| 激情五月婷婷丁香六月| 99男人的天堂| 九色PORNY在线精品酒店| Www.Av网9| 91日本在线免费| 婷婷五月综合丁香久久| BlACKEDRAW视频一区二区| 96丁香婷婷九月蜜桃综合久久| 在线视频区| 精品一二三区久久AAA片| 精品香蕉99久久久久网站| 专区无日本视频高清8| www.婷婷| 国产精品久久久久久久久久| 五月综合激情网| 裸睡玩奶头(高H)| 九九在线精品| 激情网五月天| 久久人妻熟女一区二区| 大战熟女丰满人妻AV| 欧美成人AAA片一区国产精品| 密着浓厚中出乚交尾GvG935| 亚洲妇女熟BBW| 黄色中文字目| 久久AAAA片一区二区| 狠狠综合网| 禁欲电影完整版在线播放| 亚洲精品久久久无码| 国产在线aaa片一区二区99| 久久精品99国产精品日本| 丰满少妇乱A片无码| 色五月婷婷在线观看第一页舔| 婷婷五月花| 高清资源站日A美A欧亚…| 99婷五月| www.9色色色| 黄色AAAAAAA| 亚洲美女网Va| 丁香五月天成人| 99热这里只有精品最新网址| 久久A区B区| 亚洲热久久| 99久久这里只有精品| 国产婷婷综合在线免费视频| 久久永久视频| 俺去也综合| 国产一区二区三区影院| 96自拍视频九色在线观看| 五月婷婷六月丁香| 五月丁香六月激情| 欧亚中文A V| 天天干天天操天天射 | 极品少妇高潮啪啪AV无码| 91av传媒高清在线视频网| 日韩黄色影院| 国产,欧美,学生妹,视频| 婷婷五月丁香色色| 一操久久| 中文字幕不卡+婷婷五月| 亭亭丁香aV| 五月花婷婷最新| 天天摸色吧天天摸色吧| 九九精品热| 色玖玖爱| 99热91| 色五月首页| 五月天丁香婷婷网| 亚洲精品一二三| 777久久久| 九九色大香蕉| 六月丁香五月激情亚洲AV| 婷婷六月丁香色| 99热这里只有精品33| 天天爽,夜夜爽| 91操片| 色99色| 九月婷婷在线视频| Www.狠狠| 激情综合亚洲| 99无码免费视频| 五月丁香六月婷婷视频| 激情综合国产| 爱射综合| 超碰人人在线观看| 五月婷激情影院| 国产色色网站网址| 五月天婷婷中文字幕在线播放| 久色激情|