欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

JMS與ActiveMQ實(shí)戰(zhàn)筆記:從消息模型到可靠消息機(jī)制

JMS與ActiveMQ實(shí)戰(zhàn)筆記:從消息模型到可靠消息機(jī)制 我第一次正兒八經(jīng)看 JMS 和 ActiveMQ并不是因?yàn)橐嬖嚤嘲斯啥琼?xiàng)目里兩個(gè)服務(wù)之間的同步調(diào)用把數(shù)據(jù)庫連接池打爆了。上游接口一個(gè)超時(shí)下游跟著雪崩運(yùn)維的告警群半夜響成一片。翻來覆去折騰了幾天之后同事丟給我一句話“用消息中間件把調(diào)用拆開吧先看看 JMS 和 ActiveMQ?!碑?dāng)時(shí)我連 JMS 和 MQ 的關(guān)系都說不清楚硬著頭皮把那套消息模型啃了一遍才有了這篇“JMS、ActiveMQ 學(xué)習(xí)一則”。這篇筆記適合兩類人一是剛開始接觸消息中間件、被一堆 JMS API 術(shù)語搞暈的開發(fā)者二是能把 Demo 跑通但不清楚 Queue、Topic、ACK、持久化到底意味著什么的人。我會(huì)把規(guī)范、代碼、踩坑都放在一起講盡量還原當(dāng)時(shí)的學(xué)習(xí)路徑也把網(wǎng)絡(luò)上那些講得含糊的地方補(bǔ)完整。1. 為什么我先啃 JMS 而不是直接學(xué)某個(gè) MQ 客戶端1.1 消息中間件解決的核心問題把“同步等待”變成“異步解耦”先說我當(dāng)時(shí)的場(chǎng)景。有個(gè)訂單創(chuàng)建服務(wù)處理完訂單之后要通知庫存服務(wù)扣庫存、通知積分服務(wù)加積分、通知短信服務(wù)發(fā)通知。最開始寫的代碼很“樸素”——A 服務(wù)直接用 HTTP 調(diào)用 B 服務(wù)同步等返回??雌饋磉壿嫼苤卑椎粔簻y(cè)就出問題任何一個(gè)下游服務(wù)變慢訂單接口的響應(yīng)時(shí)間立刻被拖垮下游服務(wù)一重啟上游的調(diào)用直接報(bào)超時(shí)訂單雖然建成功了但庫存、積分、短信全部沒執(zhí)行數(shù)據(jù)就錯(cuò)亂了。消息中間件解決的就是這種“你完成你的我完成我的然后把變化告訴別人”的通信問題。訂單服務(wù)把“訂單已創(chuàng)建”這個(gè)事實(shí)寫到消息隊(duì)列里訂單服務(wù)的接口直接返回成功庫存、積分、短信服務(wù)各自從隊(duì)列里取消息按自己的節(jié)奏處理。這樣三個(gè)下游服務(wù)誰慢、誰掛都不影響訂單主流程。這個(gè)模型里有幾個(gè)術(shù)語你得先建立直覺Broker是中間件服務(wù)器負(fù)責(zé)消息的存儲(chǔ)和轉(zhuǎn)發(fā)Producer是消息的生產(chǎn)者Consumer是消息的消費(fèi)者。消息不是直接給某個(gè)消費(fèi)者的而是先放到 Broker 的某個(gè)“容器”里消費(fèi)者自己來取。這個(gè)“容器”就是后來的 Queue 或 Topic。1.2 JMS 是規(guī)范ActiveMQ 是實(shí)現(xiàn)先理解這對(duì)關(guān)系JMSJava Message Service是 Java 平臺(tái)制定的一套消息服務(wù)接口規(guī)范它規(guī)定了 Java 程序怎么創(chuàng)建連接、怎么發(fā)消息、怎么收消息但 JMS 自己不干活真正干活的是符合這套規(guī)范的 provider比如 Apache ActiveMQ、開源的 OpenMQ 等。這個(gè)關(guān)系有點(diǎn)像 JDBC 和 MySQL 驅(qū)動(dòng)的關(guān)系——JDBC 規(guī)定了你用什么方法連接數(shù)據(jù)庫MySQL 驅(qū)動(dòng)負(fù)責(zé)把這些方法翻譯成 MySQL 能懂的協(xié)議。這就解釋了為什么學(xué)習(xí)的時(shí)候要先看 JMS 再看 ActiveMQ如果你只對(duì)著 ActiveMQ 的 API 抄一遍換個(gè) MQ 你就廢了如果你把 JMS 的核心模型理解了接觸任何一個(gè)兼容 JMS 的中間件都能很快上手。我當(dāng)初踩過一個(gè)認(rèn)知誤區(qū)以為 ActiveMQ 提供了比 JMS 多得多的高級(jí)功能所以直接按 ActiveMQ 的文檔寫就行。實(shí)際上 ActiveMQ 對(duì) JMS 規(guī)范做了很完整的實(shí)現(xiàn)它的核心 API 就是 JMS API你寫代碼時(shí) import 的主要是javax.jms.*這個(gè)包而不是org.apache.activemq.*。后者只在構(gòu)造連接工廠時(shí)才會(huì)用到。1.3 什么場(chǎng)景才需要引入消息中間件先潑盆冷水消息中間件不是銀彈學(xué)習(xí)過程中我也遇到過濫用它的團(tuán)隊(duì)。一個(gè)內(nèi)部查詢接口沒有任何瞬時(shí)流量壓力硬是套一層消息隊(duì)列結(jié)果多了一個(gè)運(yùn)維節(jié)點(diǎn)、多了一段延遲、多了一堆消息亂序問題。什么時(shí)候才值得引入我的判斷標(biāo)準(zhǔn)有三條一是上下游節(jié)奏不一致下游來不及同步處理需要用隊(duì)列做緩沖二是下游故障不應(yīng)該影響上游主流程需要隔離故障三是同一份業(yè)務(wù)事件需要被多個(gè)系統(tǒng)各自消費(fèi)比如訂單創(chuàng)建之后庫存、積分、日志都要處理。反過來說如果只是簡(jiǎn)單的 A 調(diào) B響應(yīng)時(shí)間敏感且 B 很少故障那直接 HTTP 調(diào)用反而更合適。這部分認(rèn)知雖然當(dāng)時(shí)不成熟但后來回看幫我在選型時(shí)規(guī)避了不少坑。2. JMS 核心模型五個(gè)抽象角色串起全部消息邏輯JMS 1.1 里抽象出的角色其實(shí)就五個(gè)ConnectionFactory、Connection、Session、Destination、MessageProducer/MessageConsumer。剩下的概念比如 Message、AcknowledgeMode 都是在這五者之上附加的。把這五個(gè)角色串成一個(gè)故事你就能看懂 90% 的 JMS 代碼。2.1 ConnectionFactory創(chuàng)建連接的唯一入口ConnectionFactory 是一個(gè)連接工廠接口它封裝了與某個(gè) Broker 建立連接所需的參數(shù)。在 ActiveMQ 中最常見的是ActiveMQConnectionFactory構(gòu)造時(shí)傳入 Broker 的地址典型格式是tcp://127.0.0.1:61616。ActiveMQConnectionFactory factory new ActiveMQConnectionFactory(tcp://127.0.0.1:61616);這個(gè)對(duì)象通常是重量級(jí)對(duì)象創(chuàng)建成本高所以應(yīng)該復(fù)用不要每次發(fā)消息都 new 一個(gè)。我看到不少剛?cè)腴T的同學(xué)把ActiveMQConnectionFactory寫在方法內(nèi)部短時(shí)間大量請(qǐng)求一來連接資源就爆炸了。正確做法是使用連接池或至少是單例持有。2.2 Connection 與 Session消息通信的骨架從工廠拿到Connection之后需要顯式調(diào)用connection.start()這時(shí)候連接才真正建立。然后從 Connection 創(chuàng)建 Session。Session 是一個(gè)非常重要的中間層消息的生產(chǎn)和消費(fèi)都是基于 Session 的Session 的創(chuàng)建方式?jīng)Q定了本次會(huì)話的確認(rèn)模式和事務(wù)邊界。Connection connection factory.createConnection(); connection.start(); Session session connection.createSession(false, Session.AUTO_ACKNOWLEDGE);createSession的第一個(gè)參數(shù)是事務(wù)標(biāo)志第二參數(shù)是確認(rèn)模式。在 JMS 1.1 中如果第一個(gè)參數(shù)傳 true第二個(gè)參數(shù)會(huì)被忽略因?yàn)槭聞?wù)模式下發(fā)送和接收都通過commit和rollback控制。剛開始不用懵理解成“Session 是一段通信上下文凡是這次會(huì)話內(nèi)的消息都可以在這個(gè)上下文里標(biāo)記狀態(tài)”就行。2.3 Destination消息要發(fā)往的地址Destination 是抽象類實(shí)際子類要么是Queue要么是Topic。Queue 對(duì)應(yīng)點(diǎn)對(duì)點(diǎn)模型Topic 對(duì)應(yīng)發(fā)布訂閱模型。在代碼里session.createQueue()或session.createTopic()創(chuàng)建的只是邏輯地址不需要在 Broker 側(cè)預(yù)先建好ActiveMQ 會(huì)在第一次使用時(shí)自動(dòng)創(chuàng)建。Queue queue session.createQueue(DEMO.ORDER); Topic topic session.createTopic(DEMO.NEWS);這里有個(gè)細(xì)節(jié)隊(duì)列名稱建議使用“域名前綴 業(yè)務(wù)名”的格式比如ORDER.CREATED、STOCK.DEDUCTED為了在管理后臺(tái)一眼能看出用途。我見過用queue1、test2這樣的名字上生產(chǎn)的后來排查問題差點(diǎn)被隊(duì)友打死。2.4 MessageProducer 與 MessageConsumer實(shí)際干活的兩個(gè)角色生產(chǎn)者和消費(fèi)者都在 Session 上創(chuàng)建。生產(chǎn)者創(chuàng)建時(shí)可以指定默認(rèn)目的地也可以不指定發(fā)送時(shí)再傳目的地。生產(chǎn)者還支持設(shè)置是否持久化、優(yōu)先級(jí)、存活時(shí)間等特性這部分會(huì)影響消息的存儲(chǔ)行為后面展開。MessageProducer producer session.createProducer(queue); producer.setDeliveryMode(DeliveryMode.PERSISTENT); TextMessage message session.createTextMessage(hello jms); producer.send(message);消費(fèi)者既可以主動(dòng)拉取消息也可以注冊(cè)消息監(jiān)聽器異步接收消息。主動(dòng)拉取用consumer.receive()它會(huì)阻塞等待可以傳入超時(shí)時(shí)間異步監(jiān)聽用MessageListener接口Broker 一有消息就回調(diào)onMessage方法。2.5 Message 結(jié)構(gòu)消息頭、屬性、消息體三層分工JMS 的消息對(duì)象由三部分組成。第一個(gè)是消息頭header存放 JMS 規(guī)范定義的固定字段比如JMSDestination、JMSMessageID、JMSPriority、JMSExpiration。第二個(gè)是消息屬性properties可以看成附加的元數(shù)據(jù)支持字符串、數(shù)字、布爾等類型常用在消息篩選和路由上。第三個(gè)是消息體body存放業(yè)務(wù)數(shù)據(jù)本身。消息體有幾種類型TextMessage適合傳輸文本和 JSON 字符串BytesMessage適合二進(jìn)制數(shù)據(jù)MapMessage適合鍵值對(duì)結(jié)構(gòu)ObjectMessage適合序列化對(duì)象但跨語言不友好StreamMessage用得最少。實(shí)際項(xiàng)目里 80% 的流量都是TextMessage因?yàn)闃I(yè)務(wù)方一般約定用 JSON 傳結(jié)構(gòu)化數(shù)據(jù)不會(huì)強(qiáng)行依賴 Java 對(duì)象序列化。我自己的習(xí)慣是消息體只放必要的業(yè)務(wù)數(shù)據(jù)別把整個(gè)數(shù)據(jù)庫實(shí)體塞進(jìn)去。因?yàn)橄⒖赡鼙欢鄠€(gè)系統(tǒng)消費(fèi)每個(gè)系統(tǒng)關(guān)心字段不一樣塞整個(gè)實(shí)體不僅體積大而且上游實(shí)體變更會(huì)導(dǎo)致下游反序列化失敗。3. ActiveMQ 落地實(shí)操從下載啟動(dòng)到第一個(gè)消息跑通理論講完了得有真家伙。我當(dāng)時(shí)本地環(huán)境是 JDK 8下載的是 Apache ActiveMQ 的穩(wěn)定發(fā)行版。注意 ActiveMQ 有兩個(gè)分支一個(gè)叫 ActiveMQ Classic一個(gè)叫 ActiveMQ Artemis兩者都是 ActiveMQ但 Artemis 是新一代架構(gòu)API 上對(duì) JMS 規(guī)范的支持更現(xiàn)代。作為學(xué)習(xí) JMS 的入口我建議用 Classic因?yàn)橘Y料多、踩坑記錄全先把規(guī)范玩明白。3.1 啟動(dòng) Broker十分鐘確認(rèn)環(huán)境下載解壓后進(jìn)入 bin 目錄Linux/macOS 下執(zhí)行./activemq startWindows 下執(zhí)行activemq.bat start。啟動(dòng)完成后默認(rèn)監(jiān)聽以下幾個(gè)重要端口端口用途61616JMS 客戶端連接的 OpenWire 端口8161Web 管理控制臺(tái)端口5672AMQP 協(xié)議端口默認(rèn)也開啟打開瀏覽器訪問http://127.0.0.1:8161/默認(rèn)登錄賬號(hào)是 admin密碼也是 admin進(jìn)去就能看到隊(duì)列列表、Topic 列表、連接數(shù)、消息統(tǒng)計(jì)等。我強(qiáng)烈建議學(xué)習(xí)階段養(yǎng)成盯控制臺(tái)的習(xí)慣很多代碼“看起來沒反應(yīng)”的問題在控制臺(tái)里一眼就能看出來——消息到底有沒有進(jìn)來、被誰消費(fèi)了、有沒有進(jìn)入死信。3.2 第一個(gè) JMS 生產(chǎn)者發(fā)送一條持久化文本消息下面這端代碼是我當(dāng)時(shí)跑通的第一個(gè)生產(chǎn)者。為了方便閱讀我把異常處理簡(jiǎn)化了學(xué)習(xí)階段先跑通生產(chǎn)上請(qǐng)務(wù)必正確封裝資源關(guān)閉邏輯。import javax.jms.*; import org.apache.activemq.ActiveMQConnectionFactory; public class QueueProducer { public static void main(String[] args) throws Exception { // 1. 連接工廠指向本地 Broker ActiveMQConnectionFactory factory new ActiveMQConnectionFactory(tcp://127.0.0.1:61616); // 2. 創(chuàng)建連接并啟動(dòng) Connection connection factory.createConnection(); connection.start(); // 3. 創(chuàng)建會(huì)話非事務(wù) 自動(dòng)確認(rèn) Session session connection.createSession(false, Session.AUTO_ACKNOWLEDGE); // 4. 創(chuàng)建目的地 Queue queue session.createQueue(DEMO.ORDER); // 5. 創(chuàng)建生產(chǎn)者 MessageProducer producer session.createProducer(queue); producer.setDeliveryMode(DeliveryMode.PERSISTENT); // 6. 發(fā)送一條文本消息 TextMessage textMessage session.createTextMessage(訂單已創(chuàng)建訂單號(hào)20250101); producer.send(textMessage); System.out.println(已發(fā)送消息 textMessage.getText()); // 7. 關(guān)閉資源 producer.close(); session.close(); connection.close(); } }這個(gè)例子里最容易忽略的是connection.start()。有的教程會(huì)在創(chuàng)建生產(chǎn)者之前就調(diào)用 start有的會(huì)在發(fā)送之后才調(diào)用。start()本身不是發(fā)送動(dòng)作的開關(guān)但它會(huì)讓連接進(jìn)入可發(fā)送/接收狀態(tài)。如果你只創(chuàng)建連接不 start消息照樣能發(fā)出去但消費(fèi)者端不 start 的話就一直收不到消息。我當(dāng)初就踩過這個(gè)坑后面專門講。3.3 第一個(gè) JMS 消費(fèi)者同步接收和異步監(jiān)聽兩種方式消費(fèi)者有兩種寫法我建議都試一遍。第一種是主動(dòng) receive適合測(cè)試和批處理任務(wù)。import javax.jms.*; import org.apache.activemq.ActiveMQConnectionFactory; public class QueueConsumer { public static void main(String[] args) throws Exception { ActiveMQConnectionFactory factory new ActiveMQConnectionFactory(tcp://127.0.0.1:61616); Connection connection factory.createConnection(); connection.start(); Session session connection.createSession(false, Session.AUTO_ACKNOWLEDGE); Queue queue session.createQueue(DEMO.ORDER); MessageConsumer consumer session.createConsumer(queue); // 阻塞 3 秒沒消息會(huì)超時(shí)返回 null Message message consumer.receive(3000); if (message instanceof TextMessage) { System.out.println(收到消息 ((TextMessage) message).getText()); } consumer.close(); session.close(); connection.close(); } }第二種是注冊(cè)監(jiān)聽器異步接收實(shí)際項(xiàng)目里這種用得更多因?yàn)樗粫?huì)阻塞業(yè)務(wù)線程。示例代碼我放在下面consumer.setMessageListener(new MessageListener() { Override public void onMessage(Message message) { if (message instanceof TextMessage) { try { System.out.println(異步收到消息 ((TextMessage) message).getText()); } catch (JMSException e) { e.printStackTrace(); } } } }); Thread.sleep(5000);這里有個(gè)容易翻車的地方Thread.sleep(5000)是必要的。因?yàn)閙ain方法執(zhí)行完后 Java 進(jìn)程就退出了消費(fèi)者監(jiān)聽器注冊(cè)完還沒來得及收消息進(jìn)程就沒了。看起來像是“監(jiān)聽器沒生效”其實(shí)只是主線程提前退出。生產(chǎn)環(huán)境一般由應(yīng)用服務(wù)器或 Spring 容器持有消費(fèi)者生命周期不存在這個(gè)問題。3.4 跑完之后去控制臺(tái)觀察四個(gè)維度第一個(gè)消息鏈路跑通后我不急著寫第二個(gè) Demo而是去管理控制臺(tái)把所有變化對(duì)照了一遍。四個(gè)維度最有價(jià)值Number Of Pending Messages隊(duì)列里待消費(fèi)的消息數(shù)量。如果這個(gè)數(shù)字一直漲說明消費(fèi)端有問題。Number Of Consumers當(dāng)前有多少消費(fèi)者掛著。Messages Enqueued / Dequeued入隊(duì)和出隊(duì)的累計(jì)數(shù)能看出積壓到底是多少。Blocked Time連接被阻塞的時(shí)間如果很大說明消費(fèi)者處理不過來。先建立這套觀察手段后面排坑會(huì)省很多時(shí)間??湛谡f“消息丟了”“隊(duì)列卡了”很容易被運(yùn)維懟把控制臺(tái)截圖甩過去才是正確的溝通方式。4. 隊(duì)列模式和發(fā)布訂閱模式看起來代碼差不多語義差遠(yuǎn)了JMS 里最繞、也最影響選型的就是兩種消息模型點(diǎn)對(duì)點(diǎn)模式Queue和發(fā)布訂閱模式Topic。很多初學(xué)者能分別跑通但沒搞明白為什么需要兩種。4.1 Queue一條消息只被一個(gè)消費(fèi)者取走點(diǎn)對(duì)點(diǎn)模型下一條消息只會(huì)被一個(gè)消費(fèi)者成功接收。你可以啟動(dòng)多個(gè)消費(fèi)者實(shí)例同時(shí)消費(fèi)同一個(gè)隊(duì)列ActiveMQ 會(huì)自動(dòng)做負(fù)載均衡把不同消息分發(fā)給不同的消費(fèi)者。這像是一堆快遞包裹放在驛站多個(gè)配送員各自拿走一部分每個(gè)包裹最終只會(huì)被一個(gè)配送員取走。這個(gè)模型適合“任務(wù)分發(fā)”場(chǎng)景比如一批待處理文件10 個(gè) worker 搶占處理比如訂單狀態(tài)變更庫存服務(wù)和積分服務(wù)如果都要處理就不能用同一個(gè) Queue因?yàn)橄⒅唤o一個(gè)人。這里我補(bǔ)充一個(gè)容易誤解的點(diǎn)多個(gè)消費(fèi)者消費(fèi)同一個(gè)隊(duì)列和 JMS 1.1 里的 QueueReceiver 概念有細(xì)微差別。如果兩個(gè)消費(fèi)者的selector條件互斥消息可能會(huì)按條件被分流但默認(rèn)無 selector 時(shí)就是平均分發(fā)不是廣播。4.2 Topic一條消息廣播給所有訂閱者發(fā)布訂閱模型下一條消息會(huì)被所有“當(dāng)前活躍訂閱者”都收到。這像是廣播喇叭誰在聽誰就能聽見。Topic 模式下沒有“競(jìng)爭(zhēng)消費(fèi)”的概念消費(fèi)者訂閱同一個(gè) Topic各自都能收到全量消息。但 Topic 有一個(gè)關(guān)鍵限制默認(rèn)情況下非持久訂閱者只在連接期間且保持訂閱狀態(tài)時(shí)才能收到消息。如果消費(fèi)者先掛了生產(chǎn)者后發(fā)消息這個(gè)消費(fèi)者重啟之后是收不到“離線期間”的消息的。這讓我當(dāng)初很意外因?yàn)樗?Queue 的行為明顯不一樣——隊(duì)列里消費(fèi)者掛多久都不怕消息會(huì)積壓著但 Topic 不會(huì)。要解決離線訂閱丟失的問題JMS 提供了持久訂閱Durable Subscription。持久訂閱狀態(tài)下Broker 會(huì)為這個(gè)訂閱者保存未消費(fèi)的消息等它上線后再推送。4.3 代碼對(duì)比一條線上隊(duì)列一條線上廣播Queue 和 Topic 的代碼結(jié)構(gòu)幾乎一致只有兩行不同——目的地對(duì)象和創(chuàng)建方式。// 消費(fèi)者隊(duì)列模式 Queue queue session.createQueue(DEMO.ORDER); MessageConsumer consumer session.createConsumer(queue);// 消費(fèi)者Topic 模式非持久訂閱 Topic topic session.createTopic(DEMO.NEWS); MessageConsumer consumer session.createConsumer(topic);持久訂閱的消費(fèi)者寫法會(huì)多一點(diǎn)Topic topic session.createTopic(DEMO.NEWS); // 需要為訂閱者設(shè)置唯一名稱 MessageConsumer consumer session.createDurableSubscriber(topic, news-consumer-1);createDurableSubscriber第二個(gè)參數(shù)是訂閱 IDBroker 用這個(gè) ID 區(qū)分不同的持久訂閱者。如果你用相同的訂閱 ID 連接兩次第二次會(huì)替代第一次的訂閱關(guān)系。發(fā)送端完全一樣MessageProducer producer session.createProducer(topic); producer.send(session.createTextMessage(財(cái)經(jīng)早報(bào)));4.4 選型判斷別讓“感覺好用”替你做決定學(xué)習(xí)期間我總結(jié)了一個(gè)很簡(jiǎn)單的判斷規(guī)則同一業(yè)務(wù)事件如果多個(gè)系統(tǒng)需要各自獨(dú)立處理用 Topic如果一個(gè)任務(wù)的多個(gè)實(shí)例競(jìng)爭(zhēng)處理同一批消息用 Queue。舉兩個(gè)對(duì)比場(chǎng)景訂單創(chuàng)建后觸發(fā)庫存扣減、積分增加、短信通知這是“一魚多吃”三個(gè)系統(tǒng)各自消費(fèi)同一事件應(yīng)該用 Topic 或給每個(gè)消費(fèi)者建獨(dú)立 Queue。秒殺活動(dòng)里有 50 萬條搶購請(qǐng)求后面有 10 臺(tái)冪等處理服務(wù)實(shí)例消化這是“任務(wù)競(jìng)爭(zhēng)”應(yīng)該用 Queue。更常見的企業(yè)做法是“混合使用”用 Topic 接收領(lǐng)域事件然后每個(gè)訂閱者內(nèi)部再用 Queue 做異步削峰。初學(xué)階段先別追求花哨能把 Queue 和 Topic 的邊界吃透就超過了大多數(shù)人。5. 可靠消息的底層機(jī)制確認(rèn)、事務(wù)、持久化一次講清消息中間件最常被問的一句話是“消息到底會(huì)不會(huì)丟”答案取決于三層配置消費(fèi)者的確認(rèn)方式、會(huì)話的事務(wù)邊界、Broker 的持久化策略。每一層都直接影響消息的可靠性但要組合起來才有意義。5.1 確認(rèn)模式消費(fèi)者收完之后Broker 才敢刪消息主動(dòng)和異步監(jiān)聽之外Session 的確認(rèn)模式?jīng)Q定了消息何時(shí)被“算作處理成功”。在 JMS 1.1 里有四種常見模式模式行為適用場(chǎng)景AUTO_ACKNOWLEDGE消費(fèi)者收到消息后自動(dòng)確認(rèn)receive 返回或 onMessage 返回時(shí)業(yè)務(wù)處理邏輯簡(jiǎn)單、處理失敗可以接受消息丟失的場(chǎng)景CLIENT_ACKNOWLEDGE需要手動(dòng)調(diào)用 message.acknowledge() 確認(rèn)處理流程較復(fù)雜希望確認(rèn)時(shí)機(jī)由業(yè)務(wù)代碼控制的場(chǎng)景DUPS_OK_ACKNOWLEDGE允許重復(fù)消息延遲確認(rèn)性能好可容忍重復(fù)消費(fèi)的統(tǒng)計(jì)類場(chǎng)景SESSION_TRANSACTED配合事務(wù)會(huì)話使用需要保證消息收發(fā)與業(yè)務(wù)操作原子一致的場(chǎng)景最常見的坑是使用 AUTO_ACKNOWLEDGE但是消費(fèi)者在onMessage里處理到一半拋異常。此時(shí)消息實(shí)際上已經(jīng)被確認(rèn)了Broker 會(huì)把它刪除重啟消費(fèi)者后這條消息不會(huì)再出現(xiàn)處理自然就丟失了。正確的做法是——如果處理失敗需要重試要么用 CLIENT_ACKNOWLEDGE 模式收到消息后先不確認(rèn)處理成功再調(diào)用message.acknowledge()要么開啟事務(wù)處理失敗就session.rollback()。CLIENT_ACKNOWLEDGE 模式有一個(gè)細(xì)節(jié)很容易忽略acknowledge()不只是確認(rèn)當(dāng)前這條消息而是確認(rèn)這個(gè) Session 里“已經(jīng)消費(fèi)但尚未確認(rèn)”的所有消息。如果同時(shí)消費(fèi)了多條且逐條處理調(diào)用一次 acknowledge 會(huì)把這批全確認(rèn)了。要精確控制單條消息必須結(jié)合事務(wù)會(huì)話每個(gè)事務(wù)處理一條就 commit 一次。5.2 事務(wù)會(huì)話讓發(fā)送和接收具備原子性connection.createSession(true, Session.SESSION_TRANSACTED)開啟了事務(wù)模式。事務(wù)模式下生產(chǎn)者的發(fā)送動(dòng)作不會(huì)立即生效而是要等session.commit()才真正把消息提交給 Broker消費(fèi)者的接收動(dòng)作也不會(huì)立即被確認(rèn)而是等 commit 時(shí)才確認(rèn)這一批消息。如果業(yè)務(wù)處理失敗調(diào)用session.rollback()消息會(huì)被回滾之后可以再次消費(fèi)。事務(wù)會(huì)話對(duì)“發(fā)送”和“接收”是獨(dú)立的語義。比如在一個(gè)服務(wù)里先接收消息 A處理后發(fā)送消息 B然后 commit。這意味著 A 的消費(fèi)確認(rèn)和 B 的發(fā)送是同時(shí)生效的。這個(gè)組合非常實(shí)用相當(dāng)于把“業(yè)務(wù)成功了才把消息標(biāo)記為已處理”這一個(gè)要求交給中間件來保證。不過事務(wù)也不能濫用。事務(wù)越大、批量越大Broker 的鎖競(jìng)爭(zhēng)和日志壓力越大。經(jīng)驗(yàn)值是一個(gè)事務(wù)里處理的業(yè)務(wù)消息量控制在幾十條以內(nèi)尤其在高并發(fā)場(chǎng)景下過大的事務(wù)反而會(huì)成為瓶頸。5.3 持久化消息存儲(chǔ)到磁盤進(jìn)程重啟才能恢復(fù)ActiveMQ 默認(rèn)將消息保存在內(nèi)存里同時(shí)提供 KahaDB 作為默認(rèn)持久化方案它會(huì)將消息寫入本地磁盤。對(duì)生產(chǎn)環(huán)境來說強(qiáng)烈建議開啟持久化并且生產(chǎn)者發(fā)送時(shí)設(shè)置DeliveryMode.PERSISTENT??梢赃@樣理解二者的關(guān)系持久化確保 Broker 重啟后消息還在PERSISTENT 發(fā)送模式確保每條消息都走持久化存儲(chǔ)。即使 Broker 配置了 KahaDB如果生產(chǎn)者發(fā)送時(shí)用的是非持久化模式消息還是可能因?yàn)?Broker 崩潰而丟失。ActiveMQ 的主配置文件中persistenceAdapter的部分默認(rèn)就是 KahaDBpersistenceAdapter kahaDB directory${activemq.data}/kahadb/ /persistenceAdapter學(xué)習(xí)階段可以刻意做一次“重啟測(cè)試”發(fā)送一條持久化消息但消費(fèi)者不啟動(dòng)然后重啟 Broker再啟動(dòng)消費(fèi)者觀察消息是否還在。我第一次測(cè)的時(shí)候發(fā)現(xiàn)消息還在其實(shí)很不解——后來意識(shí)到這就是持久化在起作用。5.4 組合起來可靠消息的生產(chǎn)端配置怎么開把三層機(jī)制組合起來一個(gè)穩(wěn)妥、可靠的生產(chǎn)者配置看起來是這樣Session session connection.createSession(false, Session.AUTO_ACKNOWLEDGE); MessageProducer producer session.createProducer(queue); producer.setDeliveryMode(DeliveryMode.PERSISTENT); producer.setTimeToLive(60000); // 消息有效期為 1 分鐘 producer.send(message);消費(fèi)者側(cè)如果對(duì)處理結(jié)果有嚴(yán)格成功要求通常選擇事務(wù)會(huì)話Session session connection.createSession(true, Session.SESSION_TRANSACTED); MessageConsumer consumer session.createConsumer(queue); TextMessage msg (TextMessage) consumer.receive(); // 處理業(yè)務(wù)邏輯比如更新數(shù)據(jù)庫、調(diào)用外部接口 // 都成功后提交 session.commit(); // 失敗則回滾 session.rollback();這里涉及一個(gè)進(jìn)階考量如果消費(fèi)者處理到一半進(jìn)程崩了事務(wù)尚未 commitBroker 會(huì)重新投遞這條消息。重新投遞可能導(dǎo)致重復(fù)消費(fèi)所以消費(fèi)者的業(yè)務(wù)邏輯必須做冪等。消息中間件本身并不能徹底避免重復(fù)投遞它只能保證“至少一次”不能保證“正好一次”。這句話我建議所有初學(xué)者刻在腦子里。6. 學(xué)習(xí)過程中實(shí)際踩過的四個(gè)坑這部分是我最想寫的。Demo 都能跑通但生產(chǎn)要素一進(jìn)來問題就花樣百出。下面四個(gè)坑都是我真實(shí)遇到過的按照排查鏈路寫出來方便你以后對(duì)著復(fù)現(xiàn)。6.1 第一個(gè)坑啟動(dòng) Broker 就報(bào)端口占用現(xiàn)象執(zhí)行./activemq start后控制臺(tái)報(bào)java.net.BindException: Address already in use: JVM_Bind。排查我把堆棧里暴露的端口號(hào) 61616 用lsof -i:61616查了下發(fā)現(xiàn)是本機(jī)之前跑過一個(gè)沒關(guān)干凈的 ActiveMQ 實(shí)例。這提醒我兩個(gè)習(xí)慣一是問題定位要先確認(rèn)端口占用而不是盲目重裝二是啟動(dòng)前用./activemq stop或jps查看已有 Java 進(jìn)程別把多個(gè) broker 實(shí)例混在一起跑。如果你是在同一臺(tái)機(jī)器上跑多個(gè) broker 做集群學(xué)習(xí)必須修改conf/activemq.xml里的 transportConnector 端口還要調(diào)整conf/jetty.xml里的管理端口否則必然沖突。6.2 第二個(gè)坑隊(duì)列里明明有消息消費(fèi)者卻收不到現(xiàn)象生產(chǎn)者發(fā)送成功控制臺(tái)里Number Of Pending Messages是 5但消費(fèi)者啟動(dòng)后一條都沒收到。排查過程我先確認(rèn)消費(fèi)者確實(shí)連接上了 broker——控制臺(tái)的 Connections 頁面能看到消費(fèi)者連接。然后檢查消費(fèi)的隊(duì)列名發(fā)現(xiàn)生產(chǎn)者和消費(fèi)者用的隊(duì)列名不一致。這個(gè)屬于低級(jí)錯(cuò)誤。但還有一個(gè)更隱蔽的原因困擾了我更久消費(fèi)者連接沒調(diào)用connection.start()。我照著網(wǎng)上某篇文章只創(chuàng)建了 connection 和 session沒有顯式調(diào)用 start。這個(gè)操作在“異步監(jiān)聽 等待”的例子中看起來沒問題但實(shí)際消息分發(fā)一直沒有真正開始。補(bǔ)上connection.start()后一切正常。這個(gè)教訓(xùn)讓我從此養(yǎng)成了一個(gè)習(xí)慣JMS 樣板代碼一定逐行核驗(yàn)別漏掉生命周期方法。6.3 第三個(gè)坑發(fā)布訂閱模式下“先啟動(dòng)生產(chǎn)者后啟動(dòng)消費(fèi)者”丟消息現(xiàn)象我用 Topic 建模一個(gè)廣播消息先運(yùn)行生產(chǎn)者發(fā)了兩條消息再啟動(dòng)消費(fèi)者結(jié)果消息一條都沒收到。排查過程這其實(shí)是 Topic 模型的正常行為不是 bug。非持久訂閱者不會(huì)收到訂閱之前的消息。我當(dāng)時(shí)誤以為 Topic 和 Queue 一樣消息會(huì)先積壓在 broker 里消費(fèi)者一來就全推給它。搞清楚這個(gè)機(jī)制后我重新設(shè)計(jì)了一版客戶端先啟動(dòng)消費(fèi)者并保持在線再觸發(fā)生產(chǎn)者發(fā)送消息就正常收到了。如果業(yè)務(wù)上確實(shí)需要“離線訂閱不丟消息”就要在消費(fèi)端使用createDurableSubscriber。注意持久訂閱的訂閱 ID 一旦創(chuàng)建就不能隨意變更否則舊的持久訂閱消息將無法再被消費(fèi)會(huì)一直堆積在 broker 中。6.4 第四個(gè)坑重復(fù)消費(fèi)引發(fā)的臟數(shù)據(jù)問題現(xiàn)象消費(fèi)者消費(fèi)消息后更新了數(shù)據(jù)庫但進(jìn)程在數(shù)據(jù)庫事務(wù)提交后、Session 提交前崩潰了重啟后同一消息被再次消費(fèi)數(shù)據(jù)庫被更新了兩次。排查過程當(dāng)時(shí)我用了事務(wù)會(huì)話以為有事務(wù)就萬事大吉。實(shí)際上事務(wù)會(huì)話保證的是“消息確認(rèn)和業(yè)務(wù)處理的原子性”但“業(yè)務(wù)處理”本身如果不在同一個(gè)數(shù)據(jù)庫事務(wù)里狀態(tài)就無法對(duì)賬。后來我用了一個(gè)冪等方案消息體帶業(yè)務(wù)主鍵消費(fèi)者在處理前先查一下數(shù)據(jù)庫是否已有對(duì)應(yīng)記錄有就直接返回沒有才執(zhí)行業(yè)務(wù)并落庫且主鍵唯一索引兜底。這樣即使消息重復(fù)投遞也不會(huì)產(chǎn)生重復(fù)數(shù)據(jù)。這個(gè)坑給我最大的啟發(fā)是消息中間件只保證傳輸層面的至少一次投遞消費(fèi)端必須自己做好冪等。你以為中間件幫你解決了所有問題它只是幫你把問題限定在了一個(gè)可控范圍內(nèi)剩下的還要靠自己的業(yè)務(wù)設(shè)計(jì)。7. 學(xué)習(xí)收尾時(shí)的一些心得過完前面這六個(gè)章節(jié)后我又重新回頭看了最初促使我開始學(xué)習(xí)的那個(gè)“同步調(diào)用雪崩”場(chǎng)景。用上 ActiveMQ 之后其實(shí)還沒有結(jié)束還配套做了消費(fèi)并發(fā)度控制、數(shù)據(jù)庫連接數(shù)控制、失敗重試隊(duì)列、監(jiān)控告警才敢說這個(gè)鏈路基本可靠了。這個(gè)認(rèn)知我覺得比學(xué)會(huì) API 本身更重要消息中間件解決的是通信模式問題但一個(gè)系統(tǒng)的穩(wěn)定性永遠(yuǎn)要靠整體設(shè)計(jì)不會(huì)因?yàn)橐胍粋€(gè)組件就自動(dòng)變好。如果你正在學(xué) JMS 和 ActiveMQ我給三條很實(shí)在的建議。第一條不要只看著我的代碼抄一定自己把生產(chǎn)者、消費(fèi)者、管理控制臺(tái)三樣對(duì)起來跑通一個(gè)完整的收發(fā)。第二條把 Queue 和 Topic 的區(qū)別多做幾個(gè)實(shí)驗(yàn)包括離線訂閱、多個(gè)消費(fèi)者消費(fèi)同一個(gè)隊(duì)列、持久訂閱恢復(fù)這些體驗(yàn)比背概念管用太多。第三條第一次接觸消息可靠性的時(shí)候強(qiáng)制自己回答“消息什么時(shí)候會(huì)丟、重復(fù)消費(fèi)怎么兜底、中間件重啟后消息還在不在”這三個(gè)問題回答完再繼續(xù)深入事務(wù)和持久化否則知識(shí)很容易停留在 API 層面。最后分享一個(gè)小技巧學(xué)習(xí)期間可以在 ActiveMQ 的配置里臨時(shí)把日志級(jí)別調(diào)成 DEBUG重點(diǎn)看 messages 相關(guān)日志和 session 相關(guān)日志。以前我一直覺得中間件日志太多不看后來排查那兩次詭異問題時(shí)DEBUG 日志里的 broker 內(nèi)部流轉(zhuǎn)信息幫了大忙。日志是排查問題最早出手的武器不要等到控制臺(tái)里消息都詭異了才想起來翻日志。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷五月综合亚洲| 天天综合五月天| www.99热| 天天操中文字幕| 潘金莲AAAAAAAAAA| 激情五月天色网站| 色五月激情综合| www.五月天性.com| 99免费在线视频| 97夫妻超碰| 婷婷久久免费| 五月婷婷开心丁香| wwwxxx五月婷婷小说| 国产在线aaa片一区二区99| 久久婷婷色色| 五月丁香天堂网| 色综合色五月| 超碰av天堂| 久久全意婷婷| 夜夜操加勒比| 极品人妻VIDEOSSS人妻| 丁香网站| 中文字幕 码精品视频网站| 久久性操| 26UUU精品一区二区| 六月婷婷国产| 九九在线免费观看| 久久女人天堂| 日韩欧美一道四区中文字幕| 野外99热| 51精品国内探花| 激情内射人妻1区2区3区| 色婷婷影视| 激情综合在线观看| 久久xxxx| 九色自拍| www.婷婷.com| 婷婷五月色影视先锋| 国产高清视频91九九九久久久| 国产精品扒开腿做爽爽爽A片唱戏 亚洲爆乳无码精品AAA片蜜桃 | 五月天开心婷婷激情网站 | 色播婷婷五月天| 久久婷婷激情四射五月天| 婷婷丁香色五月天| wwwav大香蕉| 99亚洲精品| 337p大胆噜噜噜噜噜91Av| 少妇搡BBBB搡BBB搡毛茸茸 | 激情婷婷五月天| 99er日韩| 超碰色女| 久久在线92| 日韩无码亚欧无码| 精品9l九九九九九77777| 人五月天婷婷喷水| 婷婷综合国产| 丁香五月久久| 天天日天天舔| 120分钟婬片免费看| 97色色综合| 日韩一级片| 在线视频激情网站| 久久人人九九| 九九99久久| 天天拍夜夜爽日日| 五月丁香亚洲综合网| 69五月天视频| 色婷婷六月开心中文字| 亚洲五月天婷婷综合| 天天综合插插| 欧美丁香五月天| 五月丁香WWW| 91一起操| 婷婷六月丁香开心深深爱| 久久综合中文| 狠狠干综合网| av在线资源| 六月丁香综合| 伊人网欧美在线男人天堂五月丁香| 五月婷婷性爱| 色色网站免费在线视频| 婷婷五月天激情在线观看| 综合99在线| 午夜免费试看| 丁香五月天色综合| 天天操天天操综合| 丁香五月综合亚洲| 五月丁香婷在线| 翔田千里aV中文字幕| 九九免费视频在线| www.av视频xx999.com| 开心久久五月天| 色欲婷婷夜夜| 日韩精品色| 大香蕉院线| 天天撸夜夜爽| 99无码黄色视频| 亚洲综合五月天婷婷| 婷婷丁香熟妇综合网| 婷婷精品| 天天肏天天插| 色色综合视频| 99re最新地址| 天天做天天爱天天玩夜夜爽| 九九热这里只有精品6| 人人操av| 韩国久久少妇视屏| 五月激情小说| 婷婷久热| 大地9中文在线观看免费高清| 色五月激情五月| 26UUU欧美| 丁香激情网| 高清一区二区三区日本久| 狠狠综合网| 日本精品人妻无码77777| 91嫩草国产线观看亚洲一区二区| 少妇婷婷五月天| 人妻视频在线| 日韩中文欧美| 婷婷永久在线| 五月激情婷婷在线| 99免费视频精品| 99视频网| 五月停停色色丁香| 成人视频网| WwW色婷婷| 91久女| 伊人五月天久久| 亚洲无码成人| 99色综合网| 激情五月天啪啪| 五月天色婷婷小说| 婷婷狠狠色| 色天堂A| 久久婷婷婷| 99色在线视频| 中文不卡av| 日韩成人无码片| 五月婷婷六月丁香玖玖玫瑰91| 成人av免费观看| 日本久久超碰| 色久婷婷网| 综合五月激情网| 深爱激情网婷婷| 91精品综合久久久久久五月丁香| 99久久玖玖| 五月丁香影院| 久久蜜臀婷婷| 91人妻人人操人人爽| 丁香六月婷婷缴情欧美| 99re思思热久久| 热99在线| 日韩AV大全| 丰满人妻妇伦又伦精品国产| 亚洲精品网址| 天天看片日日夜夜| 婷婷五亚洲| 91九色在线视频| 开心五月激情网| 五月丁香婷婷三级| 亚洲国产成人在线| 国产成人一区二区三区在线观看| 91婷婷五月丁香碰| WWW、日本色丁香co m| 新激情五月天色播| 91婷婷在线| 伊人综合网站| 99九九精品| 成人国产欧美大片一区| 9有码中文| 久久大香蕉同僚| 就99这里只有精品| 亚洲色频| 色婷婷成人做爰A片免费看网站| yw.av| 日韩av在线免费观看| 激情五月天综合图片小说网站| 国产精品视频久久99| 91人妻视频| 人人干99| 九九青草热| 色情综合| 97ai婷婷| 五夜丁香| 少妇人妻凹凸视频| 五月丁香婷久久| 九九色黄色| 91热在线| www.99成人视频| 久9热| 韩国中文字幕91| 熟女91九色| 综合97五月| 人妻久久久久久久久久| 综合网亚洲| 午夜天堂一区人妻| 婷婷激情九月| site:feetmall.com| 综合网激情五月天| 武则天精品久久| 成人午夜天| www.久久久久久| 五月婷成人网| 激情图片婷婷丁香五月| 天堂久久丁香| 九九国产精视频| 日本AAAAAAAAAAAAAA片| 99久久99九九99九九九| 欧美日韩国产一区二区| 丁香五月激情视频在线| 99精品视频网| 日本少妇AA一级特黄大片| 人人爽在线视频综合网| 日本婷婷在线| 色欧美一级| 人人操91| 中文AV网站| 丁香五月激情五月| 热久久91| 99久久玖玖| 久久久久9999| 91大神操美女| 人妻自慰高清合集| 99re在线播放| 丁香大香蕉| 五月天影院| 五月丁香综合在线| 狼人婷婷综合| 国产婷婷五月| 99秘 在线| 国产免费一区二区三区三州老师F1F1.CC| 亚洲乱码日产精品BD| 日本色久| 另类五月激情| 五月丁香大香蕉| 久久五月天婷婷| 久久99精品久久久久久青青AR| 天天爽—爽| 深爱激情AV| 在线另类视频| 亚洲国产网址| 九九久久五月天综合伊人| 天天色综网| 国产av天天插天天操天天爽| 一本久久亚洲五月婷婷| 99热九九热| 婷婷五月丁香亚洲| 色五月婷婷天天干| 丁香五月婷婷亚洲综合精品| 丁香九月激情在线视频| 午夜理论片最新午夜理论剧| 久99热| 麻豆精品| 九六五月天婷婷| 91久久1118| 狠干综合| 久99久热只有精品国产99| site:pnnrt.com| 色综合久久综合| 开心五月丁香综合久久| av在线资源| aa久久| 精品无吗va视频免费观看| 六月婷婷毛片| 少妇口诉沐足视频播放器网址| 开心激情五月天网| 超碰大香蕉网| 97碰碰视频在线观看免费| 综合激情九月婷婷,激情综合婷婷中文字| 久久五月激情网| 午夜激情综合| 97欧美在线| 欧美va在线| www.丁香六月婷婷久久天堂影院.con| 五月色情婷婷开心五月色情| 狠狠干综合| 99熟女| 丁香五月综合激情啪啪| 亚洲AVDVD| 亚洲色情网站| 婷婷婷久久| 天天综合亚洲综合| 亚洲天堂婷婷丁香| 26uuu亚洲色| 一起草av| 99热这只有| 丁香激情网| 大香网伊人久久综合| 91人操人人人操人| 91九色国产熟女| 日本成人噜噜噜| 99热 日韩| www.操逼comm| 欧美日韩成卜| 丁香五月综合在线播放| 丁香性爱在线视频| www.五月丁香av| 综合色色五月| 激情五月婷在线精品| 久久久国产精品黄毛片| 丁香五月天婷婷久久综合| 欧洲色| 可以免费看av网站| 五月综合激情| 99视频精品视频| 国产成人网址| 色婷婷深爱五月| 亚洲亚洲人成综合网络| 涩涩涩婷婷| 大陆极品少妇内射AAAAAA| 久久小视频免费| 五月丁香啪啪啪| 五月丁香激情五月天| 狠狠操狠狠操AV| 婷婷爱在线观看| 操骚货在线| 婷婷综合网| 五月婷婷天| 久er免费视频| 天天插天天射| 日 日干 日日做| 99热国品| 五月丁香无码| 中文字幕不卡视频| 99在线精品视频| 久草狼人| 久久性爱视频| 97亚洲色 torrent magnet| 天天影院色| 另类图片天天影视在线观看| 婷婷五月在线视频| 色欲香综合网| 猫咪伊人AV| 怡红院视频| 五月丁了香蕉综合| 99热在线精品播放| 玖玖综合网| 亚洲热综合| 六月色日韩| 日本熟妇乱妇熟色A片蜜桃| 激情六月五月婷婷综合网| 国产毛片精品一区二区色欲黄A片| 久热这里精品免费| 啪啪啪丁香五月| 天天色天天爱天天爱天天爱y| 另类丁香综合| AV在线免费播放| 妇激情基地| 天天干天天干天天干| 亚洲色婷婷色| 综合色五月亭亭| 丁香五月婷婷激情中文| 激情四射婷婷色色色| 99re视频在线播放| 五月丁香婷婷综合在线| 色吧婷婷五月亚洲| 操操操Av| 欧美视频五区| 五月婷婷基地| 色噜综| 久久全色| 色五月综合| 亚洲五月天第一综合干| chaopengdaxiangjiao| 亚洲激情综合免费| 国产免费一区二区三州老师F1F1| 色综合伊人网| 亚洲行行色色| 91视频免费后入强操| 9久久精品| 婷婷丁香77777| 亚洲欧洲另类图片| 日日夜夜干| 97人人射| 久久se 综合网 | 婷婷天天综合| 五月天色色色色色| 丁香五月天啪啪| 深爱激情四射| 99热久久日本| 九九99精品视频在线观看| 夜夜爽天天| 天天激情站| 欧美va在线观看| 亚洲激情av| 精品无码久久久久久久久| 婷婷五月偷拍| 亚洲色图45p| 91Chinese在线| 天天天日天天天干| 婷婷久久五月天丁香| 色香蕉影院| 五月开心深深爱激情综合| 日韩精品无码AV| 色5月婷婷| 丁香花五月天| 色综合香蕉| 亚洲综合九九| 另类小说婷婷色| 九九偷拍网| 岛国av网站| 五月天激情婷婷丁香| 亚洲超级碰| 婷婷五月天基地| 99热这里只有在线| 超碰在线成人| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 久久婷婷五月丁香网| 另类综合激情| 热久久这里只有三级视频| Av九九| 色插综合网| 91oumei| 亚洲色频| 99热费观看| 精品久久99| 婷婷狠狠综合网入口| 色婷婷天堂| 五月婷成人网| 91九色视频在线观看| 丁香五月天激情综合| 五月丁香婷婷俺| 大香蕉久操| 婷婷碰碰| 亚洲综合五月| 天天日,天天干,天天操| 激情综合五月激情XXXX| 另类国产欧美视频| 久久久中文| 欧美成人网婷婷综合在线| 久热爱大香蕉在线蜜臀悦色 | 先锋资源996| 婷婷综合偷拍| 色色亚洲| 久久综合影院| 亚洲综合色丁香婷婷六月| av激情在线| 色啪网| 泰州成人视频| 久久黄色免费视频| 日韩精品超碰在线观看| 久cao香蕉影院| 婷婷激情性爱| 亭亭五月天黑人2014| 67194成I人在线观看线路1| 色色欧美。| 色情五月天丁香社区| 六月色狠狠色| 美女精品一级不卡视频| 九九热视频精品999| 99在线观看视频| 天天操天爱综合| 成人视频一区| 久久全色| 疯狂做受XXXX高潮A片动画| 丁香六月婷| 亚洲精品性色| 欧亚洲在线高清视频| 色综合激情图区| 欧美激情综合| 五月激激激情综合网| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 国产成人精品一区二三区熟女在线| 五月婷婷啪啪综合网| 日韩婷婷五月天| 综合久久综合| 91九色PORNY中文啦| 丁香五月影院| 色私五月婷婷| 激情网五月婷婷| 国产黄色大片| 99亚洲精品| 色婷婷激情四射视频| 色五月天在线| xxxx五月| 超碰激情网| 一区二区三区四区牛| 丁香五月av| 大香蕉久热| 无月播播激情在线观看视频| 青草性爱视频| 丁香五月天黄色片| 亚洲成人AV在线| 日本黄色三级片内射| 天天噜噜| 婷婷五月免费视频| 丁香婷婷在线| 婷婷丁香六月激情综合| 国产1区2区3区在线观| 午夜成人综合| 久久国产AV| 五月天久久色| www.色婷婷.com| 久久色五月| 桔色成人在线| 丁香五月六月激情| 男人的天堂999| 无码橾| 丁香五月婷婷av影院| 五月香婷婷| 婷婷综合成人| 色五月综合激情| 97久久香草精品视频| 97碰| 激情丁香久久| 久婷狼色诱惑在线| XX色综合| 国外亚洲成AV人片在线观看| 99热免费观看| 久99| 另类综合激情| 99狠狠操一| www.久久av.com| 色亚洲色宗合| va中文资源在线观看| 色九月| 五月婷婷影| 久久五月天丁香| 日韩丁香涩| 97人人射| 五月婷婷久久综合| 五月天激情图片| 超碰97免费在线| 深爱婷婷网| 五月涩涩网| 五月色欧洲| 全网最新网黄大秀直播高清,主播国产录屏在线| 国产精品VIDEOSSEX久久发布| 五月色综合| WWW免费视频碰碰碰碰| 国产精品色婷婷AV综合色色| 久热视频这里只有精品| 天天舔天天摸视频| 狠狠五月激情婷婷直播片| 色婷婷色久综| 情五月亚洲婷婷| 丁香六月狠狠| 五月激情婷婷图片基地| 丁香六月婷婷综情欧美| 亚洲一个色| 99热精品在线| 丁香六月啪| 99热大香蕉| 色播播婷婷| 中文久久婷婷| 99热欧美精品| 亚洲午夜一区二区| 综合激情肏逼网| 综合网色综合| 五月亭亭色| 激情婷婷综合网| 久久久香港| 激情婷婷丁香色五月| 欧美超碰亚洲| 99热日本精品| 婷五月天丁香婷五月| 久久婷婷草| 婷婷五月天AV在| 日本毛片内射| 午夜日韩久久久网站| 婷婷丁香色性爱| 色九综合| 高清国产AV| a在线免费v| 色吊丝永久访问网址| 性爱五月丁香| 色天堂A| 91操片| 九九热黄色| 丁香啪啪| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 五月婷婷久久内射| 激情五月天啪啪| 影音先锋激情网| 白天AV月月| 密桃激情五月天综合网| 天天日天天干天天天| 桃色激情网| 天天插综合网| 丁香六月啪啪啪| 婷婷91| 天天爱天天做天天操| 天天肏夜夜肏| 人与禽A片啪啪| 五月婷婷久久大片| 91男人资源站| 国精产品一区二区三区| 9人人操人人看| 99碰碰| 六月丁香五月激情亚洲AV| 五月丁香六月婷婷中合网| 九九热手机在线视频| 性日本精品| 天天噜| 九九RE视频在线精品| 激情五月激情综合网| 99热这里只有精品8| 极品人妻VIDEOSSS人妻| 五六月婷婷久久| 99ri国产精品| 97操碰视频| 丁香六月婷婷综情欧美| 久久av电影| 亚洲bt丁香五月天婷婷激情小说| 99激情视频| 久久综合干| 亚洲精品视频在线| www,99视频| 亚洲另类毛片| 91热久久| 婷婷综合五月激情| www天天爽| 五月婷婷婷| 天天操加勒比| 五月天偷拍| 激情五月天婷婷播播久久综合91| 色婷婷AⅤ| 亚州色婷婷| 日韩成人五月天| 这里只有精品在线看| 久久久免费精彩视频| 97久久人人| 久久思思热| 婷久久久| 五月丁香好婷婷A片网| www.精品99| 久久激情综合| 丁香五月婷综合网| 久热黄色| 成人做爰A片免费看网站找不到了| 99九九这里有免费视频| 国产综合丁香五月天| 久久新地址| 开心五月激情站| 色播激情五月天| 九九99免费理论| 成人国产欧美大片一区| 在线亚洲综合网| 伊人网大香| 久久久久综合激动五月天| 婷婷五月激情视频| 成人av免费观看| 丰满少妇猛烈A片免费看观看 | 婷婷五月天电影网| 久热伊人91| 九九综合色综合| 思思久久精品视频| 日日色综合| 99在线观看| 天天揷综合网| 97色啪| 十月丁香婷婷| 久热这里只有| 91丨九色丨东北熟女| 色婷婷四虎| 亚洲激情av| 婷婷开心激情综合五月天| 玖玖婷婷色五月| 成人做爰A片免费看网站找不到了| 欧美性爱专区| 六月婷婷综合| 久久精品66| 成人av在线电影| 亚洲中文字幕在线观看| 182TV大香蕉| 天天拍天天做视频| 99热这里只有精品9| 丁香五月激情啪啪| 激情久久综合网| 五月婷婷激情四季| 99热首页| 色色无码| 国产91九色| 婷婷5月天激情综合| 色五月婷婷在线| 九九99久久| yazhochengrenavwang| 色之综合网| 91婷婷五月天嫩女| 99热久| 伊人久久综合| 激情校园 亚洲| 日韩欧美成人片| 免费无码毛片一区二区A片| 色婷婷久久综| 久久成人综合五月天| 久99综合婷婷| 99热午夜精品| 99热 这里只有精品 国产 日韩| 国产玖玖资源| 中文字幕在线观看视频www| 99视频在线观看视频| 噜噜噜噜噜日本视频| 五月婷婷激情中文字幕| 欧美日本韩国亚洲| 99综合久久| 五月天狠狠草| www.狠狠| 91超级碰在线| 天天拍夜夜爽日日| 玖玖无码中文| 色婷婷av综合网| 丁香六月婷婷综情欧美| 九九热这里| 白人荫道BBWBBB大荫道| 天天操中文字幕| www,婷婷五月天,com| 久久久久亚洲AV成人无码电影| 中文字幕乱码亚洲精品一区| 日韩啪| 天天日天天日天天搞| 狠狠色丁香| 91狼友视频网页更新| 久久久久久久丁香五月天婷婷| 婷婷五月花西瓜| 天天日夜夜爽| 狠狠色噜噜狠狠狠狠综合| 五月丁香六月激情啪| 91超级碰| 激情床戏| 99爱这里只有精品免费视频| 婷婷色综合| 爆乳熟妇一区二区三区爆乳| 色婷婷色五月天| 99热成人| 色情丁香五月婷婷精品| VA婷婷| 成功精品影院| 久久婷婷青青| 五月激情另类| 久久免片| 久久电影4399| 激情五月天激情综合网| 91色婷婷综合久久中文字幕二区| 黄网在线免费播放| 婷婷色激情五月天| 麻豆WWWCOM内射软件| 在线色色| 亚洲综合99| 任你躁XXXXX麻豆精品| jiqingtaose五月天| 99热一区| 亚洲欧美综合7777色亭亭| av中文在线| 九九无码| 婷婷色五月91啪啪| 开心婷婷五月激情网小说| 十一月婷婷激情四射| 亚洲欧美成人在线观看| 婷婷丁香高潮了| 思思热视频在线观看| 色色色区| 色欧洲| 人人操9| 中文字幕日韩无码制服诱或| 啪啪激情网| 色婷婷激情四射视频| 天堂草在线看www| 丁香婷婷五月香蕉91| 亚洲性爱干干| 五月激情六月丁香| 五月天啪啪视频| 综合五月天| 9999热在线| 激情黄色小说五月天| 亚洲精品无码一区二区| 99热99ai| 玖玖在线视频| 久久性操| 91九色熟女| 大香婷婷| 五月丁花六月丁香综合| 久久久高清| 婷婷六月插屄激情| 五月丁香综合网| 成人片在线播放| 视频一二区| 国产高潮白浆一区二区| 色婷五月| 中国丰满熟女A片免费观| 亚洲综合婷婷| 国产免费AV网站| 庭庭久久内射| 天天综合五月| 9热在线视频精品| 婷婷开心激情五月激情网| 丰滿爆乳一区二区三区| 五月丁香婷庭在线| 久久婷婷超碰| 亚洲性爱区无码区| 久久五月天影院| 天天射天天射一道本日本社区| 国产做爰视频免费播放| 五月丁香婷婷AV天堂| 99视频只有精品| 色五月丁香五月五月婷婷| 人妻久久久| 欧美va精品va老师va| 成年人丁香五月| 这里只有精品亚洲| 这里只有精品在线观看视频| 色五月激情视频在线综合| 狠狠色婷婷777| 91狠狠色| 欧美人妻一区二区| 婷婷五月天免费小说| 久操大香蕉| 久综合色| 91久操| 色五月婷婷中文字幕| 亚洲综合在线视频| 丁香五月婷婷激情小说| 五月丁香婷婷综合| 久久曰曰| 午夜丁香| 色综合色综合网| 天天日天天爽夜夜爽| 激情五月天在线观看婷婷| 五月丁香色色网| 激情综合五月丁香| 在线观看玖玖资源免费观看| 成人在线日韩| 久久开心五月婷婷| 婷婷久久伊人| 97色干| 欧美精品久久久久久视频观看| 欧洲区自拍| 久久久久久人妻| 久久精品五月天| 婷婷伊人久久| 天天色天天搡| 99啪啪| 伊人六月无码视频| 五月天丁香婷婷视频网址| 激情五月狠狠| 97自拍99| 色婷婷免费观看| 欧亚洲在线高清视频| 久色网| 无码激情精品色婷婷久久久久| 乱精品一区字幕二区| 狠狠操天天日| 婷婷激情六月中文| 狠狠色噜噜狠狠狠狠综合| 婷婷丁香成人五月天| 久久大香蕉同僚| 九月丁香婷婷| 五月天综合网| 久久99久久99精品免观看软件 | 五月天婷婷综合网| 涩涩涩婷婷| 在线超碰免费| 十一月婷婷激情四射| 色欲九区| 丁香激情五月天| 影音先锋 91工厂| 激情涩播| 人妻精品一区二区三区| 另类激情五月| 996热| 狠狠色丁香婷婷综合久久97AV| 超碰一区二区| 五月婷婷深深爱| 六月婷婷激情| 成人精品视频99在线观看免费| 国产精品久久久丁香五月八戒视频| 久久色吧| 变态另类9| 激情五月图| 九九99精品视品| 99国产这里只有精品| 偷拍91九色| 色五月婷婷在线| 亚洲 小说 欧美 激情 另类| 激情淫乱男女| 97久久超碰| 啪啪啪啪五月天| 色在线免费观看| 香蕉婷婷色五月| 亚洲激情综合色站| 婷婷在线五月综合| 丁香婷婷深情五月亚洲| 色婷婷AAA| 少妇2做爰HD韩国电影| ss视频xx91| 色吊丝永久访问网址| 五月婷婷丁香五月| 深爱丁香激情| 99九九热视频免费| 日本综合色图| 青青草六月丁香| 热久久色| 饮料下药迷倒漂亮女同事强干| 丁香五月成人在线| 久久久五月婷婷| 九九99精品视频在线观看| 婷婷丁香五月天小说| CAOBIBI| 丁香五月天啪啪| 激情婷婷丁香色情五月天| 激情综合婷婷久久| 99在线精品免费视频| 丁香五月婷婷成人网| 中文字幕丰满人妻无码专区| 9久热| 色播激情五月天| 大香蕉伊人久久| 大香蕉久久视频久久视频| 丁香婷婷五月综合| 亚洲久久视频| 婷婷激情啪啪| 99精品在线观看| 亚洲色A| 欧洲毛片基地c区| 无码人妻丰满熟妇奶水区码| 五月激情六月丁香| 亚洲小说五月婷婷| 天综合日日夜综合7799| 人人摸人人| 五月天婷婷人妻| 美日韩成人| 欧美A片在线视频免费观看| 久9热在线视频| 热久久这里只有精品20| 九九大香蕉黄色影院| 午夜性做爰电影| 色综合久久88色综合天天99| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 强伦轩人妻一区二区电影| 极品人妻VIDEOSSS人妻| 激情五月六月| 亚洲综合激| se.久久视频在线观看| 激情五月天视频| 久久久精品人妻录| 国产 亚洲 在线| 成人中文网| 久久天堂网| 丁香五月婷婷乱| 99操逼视频| 99ri网站在线观看| 久9久9久9久9久9久9| 黄页大全十八禁| 激情九月综合| 色色色色色色色五月| 激情丁香五月天| wwxx日本| 久婷久婷激情肉| 超pen个人视频97| 成人五月天丁香| 亚洲婷婷乱乱丁香| 亚洲激情四射| 激情五月天福利| 91操操| WWW.桔色成人.COM| 天天拍夜夜爽| 激情四射五月天| 日韩成人影片在线观看| 另类图片五月天| 天天色视频| 色婷婷综合中心| 97视频91| 99热九九九九| 天天日天天摸| 日本狠狠色| 天天摸日日舔狠狠添婷婷婷| 91精品婷婷国产综合久久| 婷婷天天五月天| 五月丁香综合| 五月综合视频| 色情免费视频播放| 久热精品视频在线观| 亚洲无码你懂的| 久久久国产精品黄毛片| 色婷婷a| 99热在线观看亚洲区| 亚洲综合视频天天精品| www.综合久久.com| 啪啪日本欧美| 亚洲九区| 天堂久久婷婷| 少妇人妻综合色6699| 第二色AⅤ| 99在线精品视频| 色约约视频一区二区三区四区五区| 亚洲欧洲另类| 97色片| 五月丁香色| 秋霞簧片| 精品久久二6| 成人在线综合| www.99操| 日日影院 | 六月丁香激情网| 婷婷另类小说| av人人操| 激情婷婷综合| 国产免费一区二区在线A片视频| 免费在线a| 色色色色热| 97极品在线| 婷婷久久亚洲| 亚洲日韩26uuu| 久久天天天| 欧美日本黄色| 欧洲区自拍| 亚洲日韩久久婷婷伊人| 99久久99久久综合| 日本三级黄色大片| 婷婷五月天视频免费在线观看| 日日夜夜天天爽| 亚洲激情高潮| 六月丁香花婷婷| 另类图片激情五月| jiuse91在线| 九九爱激情| 色人久久| 五月婷婷丁香| 九九精品热播| 婷婷五月丁香香蕉| 99色色网站| 婷婷的99视频网站| 色五月大| 九97免费视频| 激婷网| 国产精品涩涩涩视频网站| 久久亚洲激情五码| 热五月婷婷| 丁香五月天资源网| 99日韩网站| 亚洲99手机免费看视频| 99精品色色| 这里只有精品视频222| 99超级碰碰| 免费超碰在线| 五月美女婷婷风骚| 亚洲日韩一页精品发布| 9色在线| 色日本五月天| 国产精品久久..4399| www.狠狠操| 五月天开心激情综合网| 欧美啄木乌丝袜人妻系列| 色婷丁香| 婷婷爱爱蜜臀天天操| 综合久久六月| 天天视频精品9| 超碰在线免费观看日韩| 免费看欧美成人A片无码| 天天骑天天操| 9999久久久久| 色播六月| 大香蕉婷婷丁香视频在线| 久久九九@| 蜜臀99精品| 狠狠色综合网| 丁香六月婷婷色XXXXX| 九九亚洲视频| 开心激情站婷婷五月天| 美女激情婷婷| 人妻熟妇六区| 综合狠狠干| 久久五月天激情婷婷| 久久66er久久| 中文字幕永久在线| 少妇激情基地| 久草A片| 久久久www| 久99久视频| 亚洲综合成人网| 丁香色色网| 亚洲AV成人精品日韩在线播放| 影视av久久久噜噜噜噜噜三级| 色情五月天。| 91精品综合久久婷婷九色| 婷婷五月色色| 在线观看亚洲视频影院| 激情图片婷婷| 五月综合激情| 伊人久久婷| 99综合久久| 九九aV| 香蕉久久国产AV一区二区| 丁香五月婷婷啪啪| 思思久久网| 狠狠操.com| 五月丁香激情综合啪| 青青草搞屄视频网站| 欧洲激情五月天婷婷| 亚洲色婷婷婷婷人人爽| 国产裸舞福利资源在线视频| 婷婷五月 丁香六月| 国产精品噜噜在线视频| 亚洲色色在线| 婷婷丁香高潮了| 丁香婷婷五月天色播| 夜夜夜夜操| 天天操夜夜玩!| 五月天玖玖狠狠色色| 五月婷婷开心六月激情小说| 大香蕉院线| 婷激情五月| 五月综合缴情网| 五月婷婷色吧!| 成 人 色 色| 天天五月天综合网址| 天天狠天天叉| 婷婷丁香五月综合| 丁香婷婷六月天| 久久三级视频| 色色亚洲| 内射干少妇亚洲69XXX| 日本不卡一区二区三区| 九九九激情网| 久热在线观看视频9| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 天天婷婷综合亚洲亚洲| 美日韩成人| 成人做爰高潮A片免费视频| 狠狠综合网| 9久热精品在线视频| 26uuu色五月| 91婷婷五月丁香碰| 99热这里都是精品| 亚洲日韩国产黑丝黑丝AVAV一区二区三区 | 激情综合网五月天天| 久久一二三视频| 天堂草在线看www| 九九热精品| 97香蕉碰碰人妻国产欧美| www.婷婷六月天| 五月天电影网| 亲子乱AV-区二区三区| 人人爽欧美婷婷久久久五月丁香| 操日视频| 久久婷婷亚洲| 第2色五月婷| 五月丁香久久久| 五月婷婷 激情五月| 欧美超级视频97| 五月丁香综合在线| 中文字幕在线免费看线人| 黄色av高清| 97色图片中文字幕视频在线观看 | 色国产五月| 操逼棍操逼| 激情婷婷五月天| 亚洲激情婷婷| 精品亚洲国产成AV人片传媒| 殴美97色| 成人五月天丁香婷| 色欲Av五月天| SS丁香五月婷婷| 日本欧美成人片AAAA| 99热99干| 91色色色| 婷婷五月天99综合网站| 大胆伊人久久| 久久婷婷网站| 中文字幕丰满乱孑伦无码专区| 免费观看的AV| 少妇综合网| 国产午夜一区二区三区| 99国产在线精品视频| 综合精品99| 99re在线观看| 99爱最新免费视频在线观看| 丁香婷婷成人网站| 久久婷婷视频| 欧美亚洲色色色色| 婷婷激情五月视频| 亚洲久热| 色情一区二区播放| 婷婷五月色惰| 五月丁香六月| 99视频热99| 久久丁香五月| 欧美久人人| 六月婷婷色色色| 国产伊人五月天| 人人爽亚洲| 激情四射网| 国产美女无遮挡裸体毛片A片| 97婷婷久久丁香| 91Chinese在线| 丁香成人综合| 激情五月婷婷视频一区二区三区| 九九热这里只有精品6| 一级片操逼视频| 亚洲有码在线视频| 5月色婷婷| 亚洲第79页| 九九性视频| 婷婷五月性感| 色综合久久综合中文综合网| se99在线| 影音先锋天天日| 丁香五月av| 久久aaaaa| 婷婷丁香六月五月天| 中文字幕乱轮| 欧美婷婷| av操B网站| 成人在线精品| 色性日本| 91操熟女| 亚洲视频一区| 91porn一起草| 成人精品一区二区三区四区五区 | 色综天天综合| 欧美色色色色色色色| 婷婷久久综合久| 97色综合| 久久久99久久| 精品久久久久久久人妻| 欧美熟女99| 久久91久久精品久久| 亚洲啪啪啪啪| 五月停停丁香| 色一情一乱一乱一区91| 强辱丰满人妻HD中文字幕| 久久精品夜色噜噜亚洲a∨| 午夜丁香六月婷| 九九热精品99| 天堂伊人干| 影音先锋噜一噜| 国产精品A片| 丁香六月色婷婷| 五月色情婷婷| 人妻狠狠操| 婷婷五月天黄色小说| 99ri视频| 亚洲欧美成人在线观看| 99re这里只有精品99| www.日日夜夜.com| 91狠狠综合久久| 五月婷婷九九热| 日日操日日射| 99久久6| 99热官网精品在线| 色五月丁香一区在线| 草一草avb| 东北熟女视频99| 五月丁香久久综合| 综合久久久| 久久99草五月婷婷| 久久99热免费| 色哟哟www| 婷婷五月丁香99| 日本婷婷综合精品| 丁香九月婷婷综合| 久久婷婷五月综合色和| 99超在线| 婷婷五月天激情小说| 9 1大香蕉| 综合激情网| 综合色99| 午夜日日| 伊人色欲五月天| 丁香婷婷激情| 久99久热| 婷婷五月天欧美| 99视频这里有精品| 9久久精品| 五月天激情婷婷|