欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

WebSocket集群方案詳解:從Sticky Session到MQ推送架構(gòu)的演進(jìn)與實踐

WebSocket集群方案詳解:從Sticky Session到MQ推送架構(gòu)的演進(jìn)與實踐 前陣子有個朋友的公司做在線客服系統(tǒng)單機跑了一年多相安無事。結(jié)果有次渠道推廣爆量WebSocket 在線連接數(shù)直接沖上五位數(shù)服務(wù)開始頻繁卡頓、內(nèi)存飆高。他們第一反應(yīng)是加機器結(jié)果加了機器不但沒緩解反而冒出更詭異的 bug用戶明明在線消息卻經(jīng)常推送不到發(fā)一條消息別人要隔好幾秒才收到甚至干脆收不到。問題就出在 WebSocket 的本質(zhì)上——它是一條有狀態(tài)的 TCP 長連接。HTTP 請求處理完就斷開了隨便負(fù)載均衡到哪臺機器都行WebSocket 一旦握手成功這個連接就長在了某一臺節(jié)點上后續(xù)所有消息都只能由那臺節(jié)點轉(zhuǎn)發(fā)。你可以在 Redis 里存用戶的 session 數(shù)據(jù)但沒法把一條已經(jīng)建立的 TCP 連接瞬移到另一臺機器上。這就是所有 WebSocket 集群方案的出發(fā)點。這篇文章我會從單機服務(wù)的容量邊界講起再逐步拆解三種主流的集群方案Sticky Session 粘連、Redis Pub/Sub 消息路由、MQ 推送服務(wù)化架構(gòu)最后給出一套可以直接落地的代碼骨架和我在生產(chǎn)環(huán)境踩過的坑。不管你是做在線客服、消息推送、聊天室還是實時協(xié)作這套思路都能直接套用。1. WebSocket 的有狀態(tài)本質(zhì)所有集群麻煩的根源1.1 一條 TCP 長連接不是一份可以隨意路由的報文WebSocket 的握手過程和 HTTP 很像本質(zhì)是借助 HTTP Upgrade 機制完成協(xié)議升級GET /ws/chat HTTP/1.1 Host: im.example.com Upgrade: websocket Connection: Upgrade Sec-WebSocket-Key: x3JJHMbDL1EzLkh9GBhXDw Sec-WebSocket-Version: 13關(guān)鍵是這次握手發(fā)生在哪臺機器上后續(xù)一整條雙向通道就跟死在哪臺機器上。因為 WebSocket 是長連接服務(wù)端內(nèi)存里保存著這個連接的 session 對象、讀寫緩沖區(qū)、各種狀態(tài)標(biāo)記這些都不是 Redis 里存一個字符串就能搬走的東西。TCP socket 四元組綁定的是某一臺機器的某個端口數(shù)據(jù)報文只會被投遞到那個 socket 上其他節(jié)點根本沒有這個連接的任何信息。這就導(dǎo)致了一個很尷尬的現(xiàn)狀你可以在 Redis 里存用戶的登錄態(tài)沒法把連接本身同步給所有節(jié)點。負(fù)載均衡可以把 HTTP 請求均勻分發(fā)到每臺機器但對 WebSocket 來說連接一旦建立它的歸屬就固定了。1.2 HTTP 無狀態(tài)與 WebSocket 有狀態(tài)的對比HTTP 的每個請求都是獨立的服務(wù)端處理完就丟不存任何客戶端的狀態(tài)。所以 Nginx 后面掛 10 臺機器和掛 1 臺機器對業(yè)務(wù)代碼來說沒有區(qū)別隨便怎么輪詢都行。WebSocket 完全不同它在一次 TCP 連接上建立了全雙工通道而且這個通道是長久的。服務(wù)端必須要記住這個 userId 對應(yīng)哪個 session這個 session 連在哪個 socket 上否則收到消息不知道往哪里發(fā)。這就是狀態(tài)而狀態(tài)是分布式系統(tǒng)最棘手的敵人。對比維度HTTP 短連接WebSocket 長連接連接生命周期請求結(jié)束即斷開一直保持直到雙方關(guān)閉服務(wù)端是否保存連接狀態(tài)一般不保存必須保存 session 引用負(fù)載均衡策略隨便輪詢、隨機、加權(quán)連接一旦建立就不能遷移故障轉(zhuǎn)移請求重發(fā)即可連接斷開需要客戶端重連集群復(fù)雜度低天然橫向擴展高需要額外的路由機制很多人第一次做 WebSocket 集群時會下意識地按 HTTP 的思路去設(shè)計前邊掛 Nginx后邊掛一堆應(yīng)用節(jié)點結(jié)果一上線就發(fā)現(xiàn)消息發(fā)不出去然后才開始理解有狀態(tài)意味著什么。1.3 先定義業(yè)務(wù)場景再選后續(xù)方案做技術(shù)選型前我建議先想清楚業(yè)務(wù)場景因為不同的場景對集群方案的要求差別很大。我見過最典型的幾類服務(wù)端主動推送比如庫存變動通知、訂單狀態(tài)推送數(shù)據(jù)源在服務(wù)端客戶端被動接收。這類場景廣播和點對點都要用但對消息可靠性要求相對寬松。在線客服 / IM 聊天消息是雙向的用戶和客服之間的消息要準(zhǔn)確投遞不能丟順序還不能亂。這類場景對點對點路由要求很高通常要配套離線消息。聊天室 / 直播彈幕重點是廣播能力一個房間的消息要推給房間內(nèi)所有人而且量大、實時性要求高。這類場景要特別注意廣播風(fēng)暴問題。實時協(xié)同編輯比如白板、在線文檔消息頻率高、延遲敏感而且要求多端狀態(tài)一致。不同場景決定了你后面是用 Redis Pub/Sub 就夠了還是必須上 MQ甚至需要單獨做一個推送網(wǎng)關(guān)。這些決策在單機階段看不出來但等到集群階段就全是債。2. 單機服務(wù)先把容量邊界和連接管理做扎實2.1 一臺機器到底能扛多少連接很多人的第一個誤區(qū)是WebSocket 很重一臺機器扛不了多少連接。其實恰恰相反WebSocket 的協(xié)議開銷非常小真正吃資源的是每個連接占用的文件描述符、內(nèi)核 socket 緩沖區(qū)和應(yīng)用層 buffer。Linux 下 WebSocket 服務(wù)底層走的是 epoll 模型百萬并發(fā)連接在理論上是可以做到的但實際業(yè)務(wù)環(huán)境遠(yuǎn)達(dá)不到。我通常這樣估算每個空閑連接在應(yīng)用層大約占用 20KB50KB 內(nèi)存包括 session 對象、讀緩沖區(qū)、寫緩沖區(qū)。10 萬在線連接大約需要 2GB5GB 內(nèi)存這是純連接的消耗還不算業(yè)務(wù)對象。CPU 消耗主要來自心跳包的編解碼和消息的序列化空閑連接幾乎不占 CPU。所以一臺 8C16G 的機器跑 5 萬在線連接、每秒幾千條消息一般綽綽有余跑到 20 萬以上就要認(rèn)真調(diào)優(yōu)了。單機部署前一定要改幾個 Linux 內(nèi)核參數(shù)這是最容易被忽略的# 調(diào)整文件描述符上限 ulimit -n 1048576 # 內(nèi)核層面提升連接隊列長度 net.core.somaxconn 65535 net.ipv4.tcp_max_syn_backlog 65535 # 加大本地端口范圍防止大量短連接耗盡端口 net.ipv4.ip_local_port_range 1024 65535 # 加快 TIME_WAIT 回收 net.ipv4.tcp_fin_timeout 15不調(diào)文件描述符上限的話默認(rèn) 1024 的 ulimit 會直接卡死在連接數(shù)上業(yè)務(wù)代碼寫得再漂亮也沒用。2.2 連接管理的核心數(shù)據(jù)結(jié)構(gòu)單機模式下連接管理的核心就是在內(nèi)存里維護(hù)一張用戶 ID 到 WebSocketSession的映射表。Java 里用 ConcurrentHashMapGo 里用 sync.Map本質(zhì)都一樣Component public class SessionRegistry { // userId - WebSocketSession private final ConcurrentHashMapString, WebSocketSession sessions new ConcurrentHashMap(); public void register(String userId, WebSocketSession session) { sessions.put(userId, session); } public void unregister(String userId) { sessions.remove(userId); } public WebSocketSession get(String userId) { return sessions.get(userId); } public int count() { return sessions.size(); } }注意這里有個細(xì)節(jié)注冊的 key 是業(yè)務(wù)用戶 ID不是 session ID。因為你的消息投遞是面向用戶的而不是面向連接的。如果同一個用戶開多個標(biāo)簽頁、多臺設(shè)備那就需要建立 userId 到一組 session 的映射也就是 MapString, Set 廣播給這個用戶所有端。這個在 IM 場景下屬于剛需做單機的時候就要留好這個設(shè)計余地。2.3 心跳與死連接清理單機模式最容易踩的坑是連接泄漏。客戶端斷網(wǎng)、拔網(wǎng)線、電腦休眠TCP 層不一定能及時感知尤其是有中間 NAT 設(shè)備的情況下連接會一直掛在那里變成半開連接half-open。如果不做處理這些死連接會一直占著內(nèi)存和文件描述符最終把服務(wù)拖垮。解決方式就是應(yīng)用層心跳。我常用的方案是服務(wù)端每 30 秒下發(fā)一個 Ping 幀客戶端收到后回 Pong 幀服務(wù)端如果連續(xù) 3 次90 秒沒收到某個連接的 Pong就判定它已死亡主動關(guān)閉并清理 session。public void startHeartbeatCheck() { scheduledExecutor.scheduleAtFixedRate(() - { long now System.currentTimeMillis(); sessionRegistry.getAll().forEach((userId, session) - { long idleTime now - lastPongTime(userId); if (idleTime 90_000) { session.close(CloseStatus.SESSION_NOT_RELIABLE); sessionRegistry.unregister(userId); } else if (idleTime 30_000) { session.sendMessage(new PingMessage()); } }); }, 10, 10, TimeUnit.SECONDS); }這里間隔不是隨便定的。間隔太短比如 5 秒心跳包會占用大量帶寬和 CPU10 萬連接每秒光心跳就是幾萬條消息間隔太長比如 5 分鐘死連接清理不及時連接數(shù)虛高。30 秒心跳、90 秒判定死亡是我在多個項目里驗證過比較穩(wěn)的參數(shù)。2.4 單機模式最常見的坑除了心跳單機還會遇到幾個高頻問題Nginx 默認(rèn)超時如果前面掛了 Nginx 做反向代理默認(rèn) proxy_read_timeout 是 60 秒WebSocket 連接空閑超過 60 秒就會被 Nginx 掐斷。解決方式是顯式設(shè)置較大的超時時間proxy_read_timeout 3600s。在事件循環(huán)里做阻塞操作很多 WebSocket 框架是基于 Netty 或類似的事件循環(huán)模型如果你在消息處理器里直接調(diào)用遠(yuǎn)程 API、查數(shù)據(jù)庫會阻塞事件線程導(dǎo)致整個服務(wù)吞吐暴跌。正確做法是把耗時的操作丟到業(yè)務(wù)線程池或者用異步方式處理。單機依賴單點連接全在一臺機器上進(jìn)程崩潰、機器重啟所有連接瞬間全部斷開。這個無解只能靠集群解決。單機做扎實的意義在于它幫你把連接管理的細(xì)節(jié)注冊、心跳、清理、投遞都理清楚了這些邏輯在集群模式下會被復(fù)用而不會白白浪費。3. 集群第一板斧Sticky Session 粘滯與網(wǎng)關(guān)層配置3.1 ip_hash 與 cookie 粘滯的原理先說說最簡單的一種集群思路讓同一個用戶的連接總是被負(fù)載均衡到同一臺后端節(jié)點。Nginx 的 ip_hash 算法會根據(jù)客戶端 IP 做哈希同一個 IP 的請求會被分配到同一個 upstream 節(jié)點upstream ws_backend { ip_hash; server 192.168.1.10:8080; server 192.168.1.11:8080; server 192.168.1.12:8080; } server { listen 80; location /ws { proxy_pass http://ws_backend; # WebSocket 升級必需 proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection upgrade; # 長連接超時放寬 proxy_read_timeout 3600s; proxy_send_timeout 3600s; } }這樣同一個客戶端 IP 的所有 WebSocket 連接都會落在同一臺節(jié)點上。對于用戶量不大、節(jié)點不多的場景這個方案能解決大部分問題而且改動量最小。還有一個變體是基于 cookie 的粘滯Nginx 會下發(fā)一個帶后端節(jié)點標(biāo)識的 cookie后續(xù)請求根據(jù) cookie 直接路由到指定節(jié)點。相比之下 cookie 方案比 ip_hash 更精確因為同一個 NAT 后面的多個用戶 IP 相同ip_hash 會把他們都砸到同一臺節(jié)點上而 cookie 方案能區(qū)分開。3.2 粘滯方案的優(yōu)勢與天花板Sticky Session 的優(yōu)勢非常明顯零業(yè)務(wù)改造不需要額外引入 Redis 或 MQ連接在哪個節(jié)點就是哪個節(jié)點點對點消息直接查本地 session 表就能發(fā)。但它的天花板也很低節(jié)點故障就是災(zāi)難如果一臺節(jié)點宕機粘滯在這臺機器上的所有連接全部斷開客戶端需要重新握手但此時 ip_hash 仍然會把它們路由到同一臺已經(jīng)宕機的節(jié)點直到 Nginx 把該節(jié)點摘除。即使摘除了其它節(jié)點上也沒有這些用戶的 session必須靠客戶端重新注冊。負(fù)載不均衡某個 IP 段用戶量大時ip_hash 可能把大量連接堆在同一臺節(jié)點上其他節(jié)點空閑。這就是加了機器反而沒效果的經(jīng)典原因之一。無法解決廣播問題要向所有用戶廣播消息時需要遍歷所有節(jié)點上的所有連接。粘滯方案里每個節(jié)點只知道自己本地的連接你仍然需要一套機制把廣播消息分發(fā)到每個節(jié)點。所以我的結(jié)論是Sticky Session 只適合作為最小可用集群方案一般在項目初期、用戶量不大、對可用性要求不高的場景使用。它不能算真正意義上的集群解決方案只能算負(fù)載均衡策略。3.3 網(wǎng)關(guān)層必須處理的細(xì)節(jié)不管用不用粘滯網(wǎng)關(guān)層Nginx的 WebSocket 配置都有幾個必須處理的細(xì)節(jié)很多人在這里踩坑location /ws { proxy_pass http://ws_backend; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection upgrade; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_connect_timeout 60s; proxy_read_timeout 3600s; proxy_send_timeout 3600s; proxy_buffer_size 64k; proxy_buffers 8 64k; }幾個關(guān)鍵點proxy_http_version 1.1必須設(shè)置WebSocket Upgrade 依賴 HTTP/1.1 的持久連接特性。proxy_set_header Upgrade和Connection upgrade是協(xié)議升級的關(guān)鍵不設(shè)置的話 Nginx 不會轉(zhuǎn)發(fā) Upgrade 頭WebSocket 握手直接失敗。proxy_read_timeout和proxy_send_timeout必須調(diào)大否則空閑連接會被 Nginx 掐掉。proxy_buffer_size關(guān)系到 WebSocket 幀的緩沖區(qū)大小如果消息體比較大比如超過 64KB需要同步調(diào)大 buffer否則會出現(xiàn)消息截斷或報錯。另外如果集群里走的是 HTTP/2要注意 Nginx 對 WebSocket over HTTP/2 的支持在較老版本里不完善生產(chǎn)環(huán)境建議 WebSocket 走獨立的 HTTP/1.1 監(jiān)聽端口和普通 HTTPS 業(yè)務(wù)分開。4. 集群第二板斧Redis Pub/Sub 做跨節(jié)點消息路由4.1 核心思路本地注冊表 全局路由表Sticky Session 解決了連接歸屬問題但沒有解決跨節(jié)點消息路由的問題。真正通用的做法是引入一層全局路由信息用 Redis 保存用戶 ID 落在哪個節(jié)點的映射關(guān)系節(jié)點間通過 Redis Pub/Sub 互相通信。這個方案的核心思路是每個節(jié)點在本地內(nèi)存維護(hù)自己的 session 注冊表只保存連到本節(jié)點的連接。每個節(jié)點啟動時生成一個全局唯一的 nodeId并把自己注冊到 Redis。用戶連接建立時把 userId - nodeId 的映射寫入 Redis并定期續(xù)期。節(jié)點間消息傳遞走 Redis Pub/Sub發(fā)送節(jié)點把消息發(fā)布到指定節(jié)點的頻道目標(biāo)節(jié)點的訂閱者收到后查本地 session 表并推送。這樣每個節(jié)點都不需要知道其他節(jié)點的完整連接信息只需要知道目標(biāo)用戶在哪臺節(jié)點剩下的投遞動作由目標(biāo)節(jié)點本地完成。Redis 的 key 設(shè)計我習(xí)慣這么搞ws:user:{userId} - nodeId # 全局路由表TTL 90 秒心跳續(xù)期 ws:nodes - SetnodeId # 存活節(jié)點列表 ws:msg:{nodeId} - 消息 # 點對點消息頻道發(fā)往指定節(jié)點 ws:broadcast - 消息 # 廣播消息頻道所有節(jié)點訂閱每個節(jié)點訂閱兩個頻道ws:msg:{自己的nodeId}和ws:broadcast。這樣點對點和廣播就用一套機制統(tǒng)一處理了。4.2 點對點消息的完整鏈路點對點消息的完整鏈路是這樣的業(yè)務(wù)服務(wù)想給用戶 U 推送一條消息。查詢 Redisws:user:U得到目標(biāo)節(jié)點 nodeId。如果 nodeId 就是本節(jié)點直接從本地 session 表查連接并發(fā)送。如果不是本節(jié)點把消息發(fā)布到 Redis 頻道ws:msg:{nodeId}。目標(biāo)節(jié)點的訂閱者收到消息查詢本地 session 表找到連接后發(fā)送。用 Java 偽代碼表示大概是這個樣子public void sendToUser(String userId, String payload) { String nodeId stringRedisTemplate.opsForValue().get(ws:user: userId); if (nodeId null) { // 用戶不在線走離線消息邏輯 handleOfflineMessage(userId, payload); return; } if (nodeId.equals(localNodeId)) { // 本節(jié)點直接投遞 WebSocketSession session sessionRegistry.get(userId); if (session ! null session.isOpen()) { session.sendMessage(new TextMessage(payload)); } } else { // 跨節(jié)點路由發(fā)布到目標(biāo)節(jié)點頻道 WsRouteMessage routeMsg new WsRouteMessage(userId, payload); stringRedisTemplate.convertAndSend(ws:msg: nodeId, routeMsg.toJson()); } }訂閱端統(tǒng)一處理Component public class WsMessageSubscriber extends AbstractMessageListener { Override public void onMessage(Message message, byte[] pattern) { WsRouteMessage msg JSON.parseObject(message.getBody(), WsRouteMessage.class); if (msg.isBroadcast()) { // 廣播消息遍歷本地所有連接發(fā)送 sessionRegistry.getAll().forEach((userId, session) - { if (session.isOpen()) { session.sendMessage(new TextMessage(msg.getPayload())); } }); return; } // 點對點消息查本地 session WebSocketSession session sessionRegistry.get(msg.getTargetUserId()); if (session ! null session.isOpen()) { session.sendMessage(new TextMessage(msg.getPayload())); } } }這套機制的核心好處是每個節(jié)點只保存自己的連接路由信息收斂到 Redis 里節(jié)點可以隨時水平擴展新節(jié)點上線只需要訂閱自己的頻道即可。4.3 廣播消息的完整鏈路廣播消息的處理比點對點簡單發(fā)送方直接往ws:broadcast頻道發(fā)布消息所有節(jié)點訂閱后各自往本地連接推送。但這里有一個隱蔽的問題如果廣播的接收者是某個聊天室的所有人而不是所有在線用戶那么每個節(jié)點在收到廣播后還需要判斷哪些本地連接屬于這個聊天室。這就需要在本地 session 表之外再維護(hù)一個聊天室 - 成員連接的映射表。// 房間 - userIds private final ConcurrentHashMapString, SetString roomMembers new ConcurrentHashMap();連接建立時根據(jù)客戶端帶上來的參數(shù)比如 URL query 里的 roomId把 userId 加入對應(yīng)房間連接銷毀時從所有房間移出。廣播給房間時節(jié)點拿到房間成員列表再逐個查 session 表發(fā)送。這樣廣播的范圍就被限制在目標(biāo)房間內(nèi)而不是全量廣播。4.4 Redis Pub/Sub 的邊界消息丟失與不可回溯Redis Pub/Sub 有個非常重要的特性消息不持久化。發(fā)布者把消息發(fā)出去如果此時某個訂閱者恰好不在線節(jié)點宕機、網(wǎng)絡(luò)抖動這條消息就永久丟失了。Redis 不會像 MQ 那樣幫你把消息存起來等消費者恢復(fù)后再投遞。所以 Redis Pub/Sub 方案只適用于消息實時投遞、丟了也無所謂或可以從業(yè)務(wù)側(cè)補償?shù)膱鼍?。比如在線狀態(tài)推送、心跳類通知、彈幕這類實時性消息。如果消息不能丟——比如聊天記錄、訂單通知——就必須在業(yè)務(wù)層做持久化和補償或者直接換用 MQ 方案。另外Redis Pub/Sub 的廣播是 push 模型如果某個節(jié)點處理消息過慢會導(dǎo)致該節(jié)點的訂閱者積壓甚至斷連。如果消息量非常大建議結(jié)合以下做法把廣播消息按業(yè)務(wù)維度切分到多個 channel比如ws:broadcast:room:{roomId}只有需要接收的節(jié)點才訂閱減少無效消息傳輸。在節(jié)點本地用隊列緩沖收到的消息再由獨立線程池發(fā)送避免阻塞 Redis 訂閱線程。這個是生產(chǎn)環(huán)境很重要的優(yōu)化點后面踩坑部分會細(xì)說。5. 集群第三板斧消息隊列與推送服務(wù)化架構(gòu)5.1 什么時候必須上 MQRedis Pub/Sub 有消息丟失的硬傷對于 IM、客服系統(tǒng)、交易通知這類要求不丟消息的場景就需要引入消息隊列RabbitMQ、Kafka、RocketMQ 等。我判斷是否需要上 MQ 的幾條標(biāo)準(zhǔn)消息不能丟比如用戶聊天記錄、支付結(jié)果通知丟失會引發(fā)資損或客訴。需要削峰填谷比如秒殺場景服務(wù)端瞬間產(chǎn)生大量推送消息直接打到 WebSocket 連接上會把節(jié)點打掛MQ 可以做流量緩沖。需要離線消息用戶不在線時消息要持久化等用戶上線后再補推。需要消息有序性IM 場景里同一個聊天窗口的消息必須有序Redis Pub/Sub 做不到精細(xì)化的順序保證而 MQ 可以按 key 分區(qū)保證局部有序。5.2 事件驅(qū)動設(shè)計引入 MQ 之后架構(gòu)從節(jié)點間互相路由演進(jìn)成事件驅(qū)動 獨立的推送層。整個鏈路變成業(yè)務(wù)服務(wù) --生產(chǎn)-- MQ Exchange --路由-- Queue --消費-- WebSocket 節(jié)點 --推送-- 客戶端業(yè)務(wù)服務(wù)不再直接關(guān)心目標(biāo)用戶在哪個節(jié)點它只需要把消息投遞到 MQ 對應(yīng)的隊列。WebSocket 節(jié)點作為消費者監(jiān)聽隊列拿到消息后查本地 session 表并推送。這個設(shè)計最大的好處是業(yè)務(wù)邏輯和連接管理徹底解耦。訂單服務(wù)不需要關(guān)心用戶當(dāng)前連在哪臺機器上它只管發(fā)消息WebSocket 節(jié)點只管消費和推送。節(jié)點可以隨時擴縮容對業(yè)務(wù)方完全透明。從 Redis Pub/Sub 遷移到 MQ 時之前那套路由表依然有用——節(jié)點消費到消息后仍然需要查ws:user:{userId}判斷目標(biāo)用戶是否在本節(jié)點。不過這里有個優(yōu)化點可以讓 MQ 按目標(biāo)節(jié)點做分區(qū)比如把消息路由到指定節(jié)點的專用隊列這樣每個節(jié)點只消費自己需要處理的消息減少無效消費。5.3 離線消息與消息補償有了 MQ離線消息就好處理了。用戶不在線時消息先落庫或者存儲在 Redis 里用戶重新建立 WebSocket 連接后服務(wù)端從存儲中拉取該用戶的離線消息補推。這里有一個我趟過的坑離線消息的補推不能一股腦全推。用戶斷線十分鐘可能積壓幾百條消息一次性推過去不僅客戶端渲染卡頓還會觸發(fā)大量 ACK 回執(zhí)反而把剛剛恢復(fù)的連接打掛。正確做法是分批補推比如每次推 20 條等客戶端確認(rèn)后再推下一批。另外消息補償機制要考慮冪等。客戶端收到消息后可能會回執(zhí)服務(wù)端重推時要有去重邏輯否則用戶會看到重復(fù)消息。通常用消息 ID 做冪等鍵客戶端按 ID 去重服務(wù)端按 ID 記錄已推送游標(biāo)。MQ 方案也有新的問題要處理消費者宕機恢復(fù)后從哪個 offset 開始消費超時未 ACK 的消息是否會重復(fù)投遞這些屬于 MQ 使用的基礎(chǔ)問題這里不展開但一定要在設(shè)計方案時提前想好。6. 實戰(zhàn)拆解一套可落地的 WebSocket 集群骨架6.1 整體架構(gòu)布局把前面的方案結(jié)合起來一套比較完整的 WebSocket 集群架構(gòu)長這樣接入層Nginx / SLB 做負(fù)載均衡不配置粘滯WebSocket 握手隨機分發(fā)到任意節(jié)點。因為引入路由層后連接落在哪臺節(jié)點已經(jīng)無所謂了。連接層N 個 WebSocket 應(yīng)用節(jié)點每個節(jié)點維護(hù)自己的本地 session 表并注冊到 Redis。路由層Redis 保存 userId - nodeId 映射節(jié)點間通過 Pub/Sub 通信。消息層RabbitMQ 承擔(dān)可靠消息投遞業(yè)務(wù)系統(tǒng)通過 MQ 解耦。存儲層MySQL 存聊天記錄等需要持久化的數(shù)據(jù)Redis 同時承擔(dān)路由表和熱數(shù)據(jù)緩存。這個架構(gòu)的好處是每一層都可以獨立擴展連接多了加 WebSocket 節(jié)點消息量大了擴 MQ 分區(qū)路由表性能不夠就升級 Redis 集群。6.2 連接注冊與注銷流程連接建立時的完整流程客戶端發(fā)起 WebSocket 握手Nginx 轉(zhuǎn)發(fā)到任意一個應(yīng)用節(jié)點。節(jié)點在 onOpen 回調(diào)里拿到 userId從 token 或 URL 參數(shù)解析。把 WebSocketSession 注冊到本地 session 表。把ws:user:{userId}寫入 Redis值為當(dāng)前節(jié)點 nodeIdTTL 90 秒。開啟該連接的心跳監(jiān)控。連接斷開時的清理流程客戶端主動關(guān)閉或心跳超時判定死亡后觸發(fā) onClose 回調(diào)。從本地 session 表移除該 userId。刪除 Redis 里的ws:user:{userId}先比對 nodeId 是否為本節(jié)點防止誤刪。從所有房間成員表里移除該 userId。把離線消息標(biāo)記為待補推狀態(tài)。這里有個細(xì)節(jié)刪除 Redis 路由表時要帶上 nodeId 做條件刪除。因為可能用戶剛斷線又在新節(jié)點上建立了新連接并寫入了新的路由表此時舊節(jié)點如果直接 del會把新路由信息也刪掉導(dǎo)致消息路由失敗。用 Lua 腳本或者 compare-and-delete 都能解決。6.3 節(jié)點上下線與故障轉(zhuǎn)移節(jié)點的健康檢查一般在 Redis 里做每個節(jié)點啟動時把自己的 nodeId 寫進(jìn)一個有序集合并周期性地更新心跳時間戳// 節(jié)點心跳上報每 30 秒一次 stringRedisTemplate.opsForZSet().add( ws:nodes, localNodeId, System.currentTimeMillis() );其他節(jié)點或監(jiān)控服務(wù)定期掃描這個有序集合把心跳時間超過 90 秒的 nodeId 判定為宕機節(jié)點從集合里移除并幫他做善后工作廣播節(jié)點 xxx 已下線的通知各節(jié)點清理本地可能存在的該節(jié)點的關(guān)聯(lián)信息。該節(jié)點持有的所有用戶連接被動斷開客戶端通過重連機制落到其他節(jié)點。如有必要從存儲層拉取這些用戶的會話狀態(tài)重新路由。節(jié)點故障時客戶端重連是不可避免的但一定要做重連保護(hù)否則會觸發(fā)重連風(fēng)暴。我常用的策略是指數(shù)退避 隨機抖動??蛻舳说谝淮沃剡B等 1 秒之后 2 秒、4 秒、8 秒……最大 30 秒封頂每次重連時間加一個 030% 的隨機抖動避免所有客戶端同時重連壓垮網(wǎng)關(guān)。6.4 關(guān)鍵代碼骨架最后給一個完整的 WebSocket 連接注冊 跨節(jié)點路由的最小骨架基于 Spring Boot 和 RedisServerEndpoint(/ws/{userId}) Component public class WsEndpoint { OnOpen public void onOpen(Session session, PathParam(userId) String userId) { // 1. 本地注冊 SessionRegistry.register(userId, session); // 2. 全局路由表注冊TTL 90s心跳續(xù)期 RedisUtil.set(ws:user: userId, LocalNode.getNodeId(), 90); // 3. 訂閱當(dāng)前節(jié)點的消息頻道只訂閱一次 RedisSubscriber.subscribe(ws:msg: LocalNode.getNodeId()); // 4. 啟動心跳任務(wù) HeartbeatManager.start(session, userId); } OnClose public void onClose(PathParam(userId) String userId) { SessionRegistry.unregister(userId); RedisUtil.compareAndDelete(ws:user: userId, LocalNode.getNodeId()); RoomManager.removeFromAllRooms(userId); } OnMessage public void onMessage(String message, PathParam(userId) String userId) { // 業(yè)務(wù)消息處理投遞到 MQ 或直接路由 ChatService.handleUserMessage(userId, message); } OnError public void onError(Session session, Throwable error) { // 記錄日志連接由心跳機制兜底清理 log.error(ws error, error); } }消息路由服務(wù)Service public class MessageRouter { public void sendToUser(String userId, String payload) { String targetNode RedisUtil.get(ws:user: userId); if (targetNode null) { offlineMessageStore.save(userId, payload); return; } if (targetNode.equals(LocalNode.getNodeId())) { SessionRegistry.sendToUser(userId, payload); } else { RedisUtil.publish(ws:msg: targetNode, payload); } } public void broadcastToRoom(String roomId, String payload) { RedisUtil.publish(ws:broadcast:room: roomId, payload); } }這套骨架可以直接跑通單機和集群兩種模式單機運行時所有連接都注冊到唯一的節(jié)點上sendToUser 直接走本地發(fā)送集群運行時靠 Redis 路由表自動切換到跨節(jié)點發(fā)布。業(yè)務(wù)層幾乎不需要改動。7. 生產(chǎn)環(huán)境踩坑記心跳、連接泄漏與廣播風(fēng)暴7.1 心跳間隔不當(dāng)引發(fā)的雪崩重連有次我在壓測環(huán)境發(fā)現(xiàn)一個詭異現(xiàn)象在線連接數(shù)穩(wěn)定在 5 萬左右但每分鐘都有大量連接斷開重連服務(wù)端日志里全是session closed和new connection。排查了很久才發(fā)現(xiàn)問題出在心跳參數(shù)上。當(dāng)時的配置是 10 秒發(fā)一次 Ping、30 秒判定死亡但網(wǎng)關(guān)層 Nginx 的超時設(shè)置只有 20 秒。Nginx 在超過 20 秒沒有收到任何數(shù)據(jù)時會主動關(guān)閉連接而服務(wù)端的心跳判定周期是 30 秒導(dǎo)致 Nginx 先于服務(wù)端把空閑連接關(guān)掉了??蛻舳税l(fā)現(xiàn)連接斷開后立刻重連重連風(fēng)暴把負(fù)載打得很高。這個問題的根源是網(wǎng)關(guān)超時和心跳周期不匹配。后來我把整套鏈路的心跳節(jié)奏統(tǒng)一了應(yīng)用層 30 秒發(fā)心跳Nginx 超時 3600 秒服務(wù)端 90 秒判定死亡。至此再沒出現(xiàn)過莫名重連。教訓(xùn)很簡單心跳不是一個應(yīng)用層參數(shù)而是一條完整鏈路上的協(xié)作參數(shù)??蛻舳恕⒕W(wǎng)關(guān)、應(yīng)用節(jié)點、Redis TTL 四者的超時時間必須按防火墻 Nginx 應(yīng)用判定死亡 心跳間隔的層級關(guān)系設(shè)置好任何一環(huán)不匹配都會出怪問題。7.2 連接泄漏只會讀不會關(guān)的客戶端怎么處理還有一次線上問題讓我印象很深某個老版本的 App 客戶端在弱網(wǎng)環(huán)境下不會正常發(fā)送關(guān)閉幀也不會響應(yīng) Pong。TCP 連接半死不活服務(wù)端檢測不到異常連接數(shù)一直漲最終內(nèi)存被打滿。應(yīng)用層心跳只能發(fā)現(xiàn)不響應(yīng) Pong的連接但如果你只是每 30 秒發(fā)一次 Ping且客戶端永遠(yuǎn)不會回 Pong那你最早也要等 90 秒才能清理掉它。如果 QPS 很高90 秒就能積累大量死連接。后來我做了兩個優(yōu)化在心跳檢測時除了發(fā) Ping還會檢查連接最近一次收到任何幀的時間。只要客戶端還在 TCP 層傳輸數(shù)據(jù)哪怕是垃圾幀就把它標(biāo)記為活躍超過 90 秒沒有任何數(shù)據(jù)到達(dá)的直接強殺。對客戶端主動斷開但 TCP 層沒有 FIN 的情況依賴內(nèi)核的 keepalive 來做最后兜底應(yīng)用層只負(fù)責(zé)更快的檢測。另外我要強調(diào)一點清理死連接時一定要在 finally 塊里執(zhí)行 unregister。否則連接關(guān)閉異常會導(dǎo)致 session 殘留在注冊表里造成幽靈連接這是連接泄漏最隱蔽的形態(tài)。7.3 廣播風(fēng)暴與消息重復(fù)最后一個坑來自廣播場景。做直播彈幕時一開始廣播消息直接走ws:broadcast全局頻道所有節(jié)點收到后向本地所有連接推送。等房間人數(shù)上到幾千問題就爆發(fā)了每個節(jié)點推送隊列積壓Redis 訂閱線程卡死消息延遲從毫秒級飆升到秒級。問題本質(zhì)是廣播范圍沒有做細(xì)粒度控制。全局廣播頻道會讓每個節(jié)點都收到所有消息但一個彈幕只屬于一個房間節(jié)點收到后還要去查這個房間里有哪些本地連接大部分查詢都是空轉(zhuǎn)。我把廣播頻道從全局切到了房間維度ws:broadcast:room:{roomId}節(jié)點按需訂閱用戶所在房間的頻道。在此基礎(chǔ)上發(fā)送線程也從 Redis 訂閱線程里拆了出來訂閱線程收到消息后只負(fù)責(zé)放進(jìn)本地隊列由獨立的發(fā)送線程池消費并推送給客戶端。這樣即使某個房間的消息量特別大影響的也只是這個房間的發(fā)送線程不會拖垮整個節(jié)點。消息重復(fù)的問題也值得一提。Redis Pub/Sub 本身不會重復(fù)投遞但引入 MQ 后消費者如果在發(fā)送推送后、ACK 之前宕機重啟后會重新消費這條消息導(dǎo)致用戶收到重復(fù)推送。解決方式是給每條消息生成唯一 ID節(jié)點在本地維護(hù)一個最近處理過的消息 ID 緩存收到重復(fù) ID 直接丟棄。緩存窗口不用太長30 秒即可因為 MQ 的重復(fù)消費通常發(fā)生在很短時間內(nèi)。做 WebSocket 集群這幾年我最大的體會是不要一上來就追求最復(fù)雜的架構(gòu)。單機能把連接管理、心跳、推送這些基本功做扎實是比上來就上分布式更重要的能力。集群方案的選擇也遵循這個原則——用戶量上來了先做 Sticky Session 頂一陣遇到跨節(jié)點路由需求了再加 Redis Pub/Sub消息可靠性要求高了再引入 MQ 和服務(wù)化改造。每一層方案都解決上一層的痛點但也會引入新的復(fù)雜度只有在真正需要的時候才值得接住這份復(fù)雜度。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷日欧美在线观看| 丁香五月激情综合| 激情综合网五月在线播放| 99热在线观看精品| 91久热| 另类图片激情五月| 26uuu欧美日韩| 99乱视频| 99久久婷婷国产综合精品草原| 神马欧美精| 狠狠色丁香久久| 开心五月激情网| 久久五月情| 婷婷情爱五月天6| 九色在线观看91av| 婷婷久久色| 六月丁香视频网站| 日韩欧美成人一区二区三区| 99热在线这里| 天天肏高清在线| 色五月视频,小说| 婷婷九月丁香中文| 97精品自拍| 久久98| 激情床戏| 五月天色小说| 99啪啪网| 婷婷五月天激情文学小说| 午夜不卡久久精品无码免费| 亚洲天堂aaa| 综合网网欲色| 欧美在线视频99| 激情综合网五月天天| 色999;丁香五月| 久久久宗合视频88| 精品色色| 狠狠五月丁香色婷| 激情 婷婷| 丁香五月影院| 亚洲色模骚货| 五月天激情综合在线| 97在线观视频免费观看| www,com,五月色色| 2025天天爽天天摸| 婷婷久久五月天丁香| 丝袜大香蕉| 99这里精品| 色婷婷五月天av在线| 五月丁花六月丁香综合| 久久婷婷成人视频| 激情碰碰碰| 五月天成人综合| 精品九九在线观看| 婷婷伊人75| 天天插天天爽| 婷婷五月丁香色播| 亚洲天堂热| 五月天 另类图片| 色999五月色| 日本色色色色色色色色一色二色| 97久久超碰| 伊人丁香花综合影院| 久七香蕉| 丁香五月综合狠狠| 另类小说五月天| 99免费热视频在线| 婷婷六月色情| 亚洲天天免费| 久久婷婷综合网| 久久性爱99国产| 久久999久久999久久999久久| 婷婷在线五月天观看| 婷婷伊人五月丁香天堂网| 五月天成人综合| 五月天激情无码| AV色五月婷婷| 丁香五月最新地址| 亚洲无码猫咪| 欧美成人AAA片一区国产精品| 丁香激情五月| 九九無妻| 精品99爱免费视频在线观看| 99啪啪网| 日韩av在线免费观看| 色色色com| 中文字幕丰满孑伦无码专区| 欧美久热| 射区导航| 婷婷性爱视频在线| 99热这里只有精品免费| 色吧婷婷| 丁香五月六月综合激情| 五月婷婷色激情| 激情五月开心五月在线视频| 91色综合| 五月丁香六月激情综合| 国产一区18| 韩日另类| 久久小视频| www99精品| 天天干夜夜谢| 五月天婷久精视频| 激情五月开心五月丁香五月| 久久机热这里只有精品| 99在线视频在线观看| 国产免费一区二区三州老师F1F1……| 99爱在线| www...com黄在线观看| 激情四射五月天| 成人亚洲精品| 日韩另类在线观看| 啪啪 综合网| 五月天 无码| 五月丁香婷婷激情久久| 婷婷五月激情丁香激情| 色国产五月| 欧美噜噜噜草| 激情深爱综合| 密黄站| 欧美色图天堂网| 五月丁香综合成人社区| 婷婷九月亚洲| 99碰| 91九色视频在线观看| 天天综合网色欲香| 六月色婷婷综合影视| 亚洲色图五月丁香五月婷婷| 99综合99| 在线视频九色97| 国产69精品久久久久999小说| 激情五月天网| 五月综合激情综合久| 欧亚色色| 激情综合色五月六月婷婷| 狠色狠色狠狠色综合网| 26UUU欧美激情一区二区| 五月丁香日本片| 色播丁香| hd五月婷婷在线| 五月天 综合 在线| 国产乱妇乱子伦| 青青草日本亚洲| 欧洲亚洲最新精品| 丁香五月婷婷欧美成人色图| 国产三级秋霞| 中文字幕,综合,91| 色女人久久| 色综合九九色综合88| 九九精品热播| 婷婷五月激情中文字幕| 日日躁夜夜躁狠狠久久AV| 99ER热精品视频| 日本一级淫| 亚洲午夜在线视频| 五月香蕉婷婷| 思思久久网| 成人天天爽| 99热这只有| www.操逼comm| 天天干天天爽| 亚洲色啪| 六月婷婷最新网址| 这里只有精品免费在线视频| 五月丁香好婷婷A片网| 亚洲色色色色| 婷婷十月激情综合网| www.婷婷五月天.com| 欧美视频五区| 蜜桃人妻无码AV天堂三区| av九九| 丁香色综合| 激情亚洲网| 五月婷婷亚洲色视频| 婷婷丁香色情| 日韩黄在免| 色婷婷影视99| 婷婷激情中文综合| 天天干狠狠艹| 国产色色视频| 成人 九九九九| 91精品无码久久久久久五月天| 五月丁香久久网| 久久久18| 五月丁香狠狠| 老司机日日夜夜青草| 八戒青柠影视剧在线观看| 狠狠狠狠狠狠草| 99碰| 草婷婷在线| 久久人人妻| 婷婷综合五月天| 两性婷婷丁香五月| jiujiu热在线视频| 婷婷五月天激情五月天深爱五月天| 亚洲秘 无码一区二区三区妃光/1| 99热免| 日本WwW色偷偷丁香花久久久京东热| 综合网网欲色| 伊人天天色| 欧美色色网| 91久久久久久| 操婷婷基地| 俺也去婷婷五月天第五色| 亚洲精| 亚洲久久激情| Blackedraw视频一区二区| 影音先锋男人AV资源站| 亚洲va日| 26uuu精品国产| 激情婷婷| 久久99精品久久久久久三级| 五月丁香婷婷激情图片| 五月天天天操天天爽夜夜操| 噜噜狠狠色综合久| 成人日韩欧美| AAA久久| 99久久免费精品| 99热都是精品| 综合久久综合久久| 第五色婷婷| 国产69久久久欧美黑人A片| 五月天婷婷久草丁香| 五月天六月丁香| 噜噜吧天天爱| 五月婷婷综合成人| 色狠狠六月| AV九九| 婷婷日本色| 久草久青福利| 日本系列_4页_777FP| 90色免费视频| 色色网站观看| 久久久久人妻精品| 婷婷五月综合网| 另类综合国产| 亚洲无AV在线中文字幕| 色婷婷狠狠干| 色丁香五月| 97人操| 欧美亚洲婷婷五月| 最近免费中文字幕大全高清大全1 色狠狠色噜噜AV天堂五区 | 夜夜躁婷婷AV| 日本成人噜噜噜| 秋霞少妇AV网站| 99久久精彩视频。| 99热在线看| 国产精品视频免费看| 丁香五月激情婷婷| 精品日本视频444| 久婷婷五月激情| 日韩在线五月天婷婷| 成人电影在线免费试看| 亚洲色夜| 婷婷五月天精品| 成人五月天色天堂| 玖玖在线视频| 天天做天天双| 成人精品一区日本无码网| 97干97色| 色五月综合在线| 性色婷婷| 婷婷五月天天| 九九日本视频| 五月天婷婷自拍图片在线观看| 五月丁香另类图片| 这里只有精品视频视频在线观看| 国产片天天爽夜夜爽| 超碰在线国产9| 婷婷性爱五月天丁香网| 婷婷WWW久久| 啪啪日热| 九九中文字幕九| 久久五月婷天天干| 色婷婷欧美在线| 丁香五月欧美婷婷| 久久婷色| 色香欲综合| 亚洲国产成人综合| 色优久久| 亭亭五月激情亚洲在线| 婷婷五月激情综合网| 开心五月婷婷在线| 人人97操| 人妻人人操| 婷婷伊人网| 中文字幕在线观看视频www| 91在线日| 丁香五月综合| 国产资源91在线| 秋霞少妇AV网站| 婷婷六月天| 日韩乱轮AV| 大大香蕉综合在线| 成人性爱无码| www.婷婷五月| 国产婷婷婷| 99爱在线| 婷婷九月色| 激情欧美婷婷| 天天摸人人摸| 久久艹 五月天| 五月丁香六月婷婷中文版| 97人妻超级碰碰碰碰碰| 99热这里只有精彩| 一级精品999WWW| 色哟哟www| 91精品久久久久久| 亚洲亚洲人成综合网络| 99er6热在线观看精品6| www.综合久久.com| 免费AV播放| 欧美综合五月丁香五月天| 1024久婷| 久久机热/这里只有精品| 色综合播放| 亚洲不卡123| 久久艹99| 婷婷综合激情五月综合| 色99婷婷五月天| 激情五月天综合| 天天舔天天摸天天射| 婷婷碰碰| 婷婷五月天色| 综合久久人妻| 色五月婷色彩免播放器| 成人小说色图婷婷五月| 五月丁香啪啪综合| 五月丁香六月婷婷久久久综合| 久久久.www| 婷婷五月天激情电影| 第2色五月婷| 99情色五月天| 激情五月丁香婷婷| 综合成人小说婷婷| 狠狠色激情在线| 碰超在线九色| 久久精品99国产精品日本| 精品人妻久久久久久| 国产人妻777人伦精品HD| 丁香美女主播视频在线观看| 开心激情婷婷| 五月婷婷 婷婷五月 一区二区 久久久| 狠狠色噜噜狠狠| 99热播放| 成人网站免费在线播放| 久久免费干| 激情五月综合视频| 婷婷五月天久久| 狠狠色色综合| 蜜乳久AV| 久久9视频| 婷婷五月天视频亚洲| 99色在线观看| 久久久久婷| 成人免费120分钟啪啪| 激情久久丁香| 亚洲久久视频| 综合久久婷婷| 99超碰人人| 国产国产乱老熟女视频网站97| 天天色天天操天天射| 激情婷婷五六月天| 91狠狠综合久久久| www。五月天。com| 亚洲欧美成人在线| 在线99热| 99久久综合网| 婷婷五月天视| 久久99网址| 色五月色开心开心五月| 精品乱码久久久久| 欧洲不卡视频| www,com,五月色色| 丁香五月综合在线视频| 五月综合婷婷开心网| 综合另类视频| 伊人大香蕉在线视频| 狠狠色婷婷777| 深爱激情丁香五月| 激情九九这里只有精品| 色婷婷丁香五月在线| 都市激情亚洲| 九九精品re免费视频| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 婷婷五月丁香激情图片| 免费日本aⅴ中文字幕| 午夜色婷婷| 色综合色综合网| 人操人人| 性爱网六月丁香| 色五月综合激情网| 色色欧美色色色| 五月丁香激情综合网| 亚洲免费婷婷| 五月丁香网站| 天天玩夜夜操| 综合婷婷五月天| 国精产品一区二区三区| 五月婷深深爱激情网| 色婷婷五月天天天做| ss五月天激情| 97ai婷婷| 天天操天天日天天操| 色五月激情综合网站| 欧美xx激情视频在线观看| 亚洲乱啪| 天天色天天日| 婷婷99狠狠躁| 九九综合视频在线观看| 婷婷综合天堂| 久久婷婷网| 五月婷婷开心深| 熟妇高潮一区av| 欧美日综合| 草草影院爱爱| 婷婷色在线播放| 亚洲av无码精品色午夜| 91porn一起草| 91爱操| 影音先锋天天日| 大香蕉狠狠爱主页| 久久婷婷网站| 色狠狠狠干| 五月色丁香综合| 久久99久久99久久99人受| 国产免费AV网站| 99这里有精品视频| 婷婷久久欧美| 久久草婷婷丁香网站| 亚洲99视频| 中文字幕 久久9999| 伊人午夜综合色啪| 狠狠五月天| 97操碰在线视频| 国产9色在线/日韩| www.色婷婷| 日本欧美成人片AAAA| 久久婷婷丁香花综合网| 久婷婷五月天影院| 婷婷五月播| 成人色五月天| 色色日本| 99九九中文字幕视频| 久99热| 人人摸人人| 色频玖玖五月天| 九九性视频| 婷婷香草网| 日韩五月婷婷久久| www.色色五月天.com| 91色久| 丁香婷婷六月天| 色婷婷综合网| 久久九精品| 97婷婷五月天| 婷婷五月丁香久久| 久久久久99精品成人片| 思思热思在线精品视频| 欧美日韩一区二区三区四区| 婷婷九月在线| 激情99| 中文字幕在线免费| 91免费看片| 婷婷影院A成人| 99在线免费视频| 2025天天爽天天摸| 99热在线里有精品| 五月丁香六月日逼| 狠狠做五月婷婷| 激情四射五月天偷偷看婷婷| 婷婷综合av| 99热国内精品| 涩涩网五月天| 色婷婷五月视频| 这里只有精品1| 99视频在线9| 殴美日韩成人| www.91九色| www.com在线操视频免费观看| 久久9热好| 色玖玖综合网| 免费看欧美成人A片无码| 99色在线免费观看视频| 五月天色狠狠| 欧美成人性爱网| 99热欧美| 在线日韩av| 97综合在线| 色高清无码视频| 97狠狠色| 色97啪啪| 人人看人人草人人摸| 超碰人人艹| 欧美人人草草| 婷婷色5月天在线。| 色色色99| 久久大香蕉丁香| 91在线视频综合| 丁香五月丁香伊人| 99视频只有精品| 欧美性色A片免费免费观看的| 色五月激情网| 成人婷婷色综合| 五月婷婷中文字幕| 色婷婷在线视频综合| www99精品| 嫩草视频| 国产一级婬片毛片| 婷婷五月天色| 婷婷色综合| 夜夜干天天干| 九一娱乐在线观看视频| AA片在线观看视频在线播放| 97偷拍在线视频| 色综合九九色综合88| 激情视频91| 天天射天天射一道本日本社区| 欧美黄色AA片哗啦啦啦| 欧洲一区二区| 99精品视频在线观看| 五月婷婷丁香91| 99久久婷| 99热只有| 久久ri精品| jiujiujiuwuyuetian| 日本99视频| 色婷婷激情五月天丁香| 色五月婷婷在线视频| 亚洲精品无码久久| 啪啪综合| 色六月婷婷| 97操碰在线视频| 五月天婷婷青青草| 丁香婷婷AV| 六月丁香婷婷网| 久久99热免费最新版| 精品一区久热| 五月四色婷婷| 亚洲精品99| 99在线观看亚洲| 色婷婷狠| 大香蕉久久久| 综合久久影院| 五月天堂色| 久青操| 丁香五月婷婷激情蜜桃| 日本色色视频| 亚洲第二AV| 九九热思思| 丁香五月婷婷久久久| 狠色色狠网| www.ywav| 成人丁香婷婷| 久综合4| 热99只有里视频| 五月停停99| 九九RE视频在线精品| 国产午夜伦鲁鲁| 精品久热| 碰碰91| 怡红院成人AV| AV在线中文| 五月天社区| 色婷婷综合综合网| 91操碰| 婷婷五月丁香av网站| 婷婷伊人綜合中文字幕| 欧美一区二区三区不卡影视| 成人五月天色天堂| 99色综合| 亚洲人妻av| AV天堂婷婷五月天| 国产毛片操B| 亚洲婷婷成人五月天| 久久99久久99www| 婷婷久久丁香| 9191avse| 人人草人人舔| 天天艹夜夜爽| 91美女啪啪| 97碰碰视频| 丁香九月综合| 五月婷三级片| 婷婷色六月| 在线另类视频| 亚洲成av人影院| 久久婷婷五月综合色和| 色婷婷久久综| 婷婷色五月激情| 精品无码99| 91凹凸在线| 久热91| 五月天天天色| 丁香六月啪啪| 五月天丁香婷婷久久九| www.精品99| 婷婷五月俺要去| 丁香社92视频| 久久草大香蕉| 亚洲色婷婷激情| 五月丁香最新| 久久大香蕉| 色五月丁香五月婷婷五月成人网| 色综合久| 热99热久| 99久久网站| 天天爽天天透天天爱| 久久久久亚洲AV成人无码电影| 大香蕉九九| 激情五月丁香六月| 成人色站,在线视频,看片-SS1AV| 亚洲视频久久| 欧洲色| 九九热最新| 激情五月图| 色原狠狠综合| 五月激情天| 国产VA亚洲VA96| 九九人人操| 色六月 婷婷| 色久九| 婷婷五月天男人影院色色网| 超碰成人av| 久婷狼色诱惑在线| av大香蕉| 亚洲婷婷免费| www.久久66| 大香蕉99| 色噜婷婷| 天堂成人A片永久免费网站| 丁香五月AV| 五月婷婷干| 亚洲激情亚洲激情 | site:jszngf.com| 一操久久| 亚洲丁香五冃97色| 99热9| WWW免费视频碰碰碰碰| 亚洲、热| 天天噜天天爱| 丁香五月婷婷黑人妻黄色电影院| 丁香婷婷五月天成人| 在线观看国产高清视频免费网站 | 色五月综合激情| xxxx五月天色色| 少妇被躁爽到高潮无码文| 亚洲av综合网| 极品人妻VideOssS人妻| 战争与艾拉电影免费观看| 欧美美女国产日韩一区二区久 | 国内精品免费一区二区2009| 中文字幕无码人妻少妇免费视频| 激情五月丁香五月| 五月天婷婷AV| www五月| 婷婷伊人久久综合| 五月丁香少妇A| 色五月xxx| www.91九色| 亚洲免费电影2| 色婷婷yy久| 青青草视频免费观看| 五月丁香六月激情欧美综合| 久久久久9| 第四色大香蕉| 天天爽天天日| 五月天激情图片| 996日日爱| 伊人综合网4| 日日干综合| 狠狠色噜噜狠狠色噜噜噜999| AV在线免费播放| 国产ava| 免费97碰碰| av在线观看网址| 99热精品超碰| 99啪在线| 婷婷五月中文字幕| 欧美视频五区| 97操碰碰无码视频| 99re久热只有精品6在线直播.com| 久热伊人9| 色五月,婷婷大香蕉| 99综合99| aaa9区免费在线观看| 婷婷五月a| 日韩 mm 不卡| 狠狠色97| 丁香激情久久| 成人永久免费视频在线观看| 色5月婷婷色| 五月丁香啪啪激情| 亚洲黄色av网站| 久久婷狠狠色| 亚洲av网站在线观看| 91九色精品| 激情五月天小说网| 99在线热视频| 五月丁香精品| 日本久久精品| 日日夜夜狠狠| 人人摸人人操人人爱| aaa久久久| 婷婷丁香五月天操逼| 性爱五月婷婷| 日本综合色色| 久久婷婷成人视频| 丁香婷婷五月天色播| 激情综合亚洲色婷婷五月| 婷婷精品性性性性性性性| www.五月瑟| 99色色| 九九九九国产| 婷婷丁香六月| 影音先锋日本三级资源| 久超免费视频| 99激情网| 99热九九这里只有精品10| 五月天a婷婷伊人| 婷婷五月18永久免费视频| 婷婷五月天高清无码| 天天干天天干天天| 夜夜干 夜夜操| 欧洲电影在线观看免费版英语版| 色小说五月天| 99热在线观看精品| 北京熟妇搡BBBB搡BBBB| 午夜在线成人网站免费观看| 亚洲六月色婷婷| 激情五月天婷婷久久久久久久久久久| 久久视频九九视频| 97干在线观看视频| 欧洲色区| 色播五月丁香综合| 精品五月丁香| 色色色色色色色色网站| 九九99久久| 婷婷五月丁香综合亚洲| 九热久| 亚洲综合色丁香五月天| 99色热视频在线| 婷婷99狠狠| 国产伊人大香蕉| 久久久久婷婷| 伊人AV五月婷| 婷婷色五月天在线观看| 99热有精品在线观看| 色99日韩| 校园激情 亚洲| 在线成人网址| 熟妇高潮一区av| 9热视频在线观看| 激情 婷婷 丁香五月天| 五月丁香激情婷婷| 久久综合五月天激情小说网站 | 五月婷婷久久爱| 九月激情网| 最新亚洲色色网| 五月丁香六月成人| 天天色天天操天天射| 99日本黄站| 综合五月天婷婷色| 伊人啪啪网| 日韩天堂久久| 人人爱天天摸摸天天爱| 人妻人人操| 婷婷伊人综合| 丁香五月婷婷婷婷欧美综合| 天天综合五月| 99热这里只有精品最新| 五月婷婷六月丁香| 99啪啪网| 婷婷五月天亚洲综合| 成人AV在线电影| 永久免费一区二区三区| 丁香婷婷激情五月色| 丁香五月天电影| 国产69久久久欧美黑人A片| 91久久综合亚洲鲁鲁五月天| 色噜噜狠狠狠综合曰曰曰| 欧美25p| 超碰伊人碰婷婷五月| 337p午夜影院| 久热大香蕉| 日本久久性| 欧美啄木乌丝袜人妻系列| 国产精品色色| 五月丁香综合啪啪| 99热网址| 红桃91人妻爽人妻爽| 久久99最新| 五月丁香黄色视频| 精品亚洲国产成AV人片传媒| 国产婷婷五月中文字幕高清| 天天操天天操天天操天天操天天操 | 狠狠爱深色婷婷综合| 国产亚洲精品AAAAAAA片| 国产操B视频| 99亚洲无码| 色综合激情图区| 久久66er久久| 色色色无码| 丁香婷婷超碰 | 天天干-天天日| 色色婷婷五月天| 久久九九网| 五月天婷婷操逼视频| 丁香六月婷婷久久亚洲天堂| 日韩操逼小电影| 成人国产欧美大片一区| 人人干天天操五月丁香| 亚洲午夜av| 美欧日韩国产成人在战| 人妻激情在线| 久草狼人| 97色永久免费视频| 婷婷丁香成人五月天| 五月天天天天天天天天天天天婷婷婷| 亚洲中文AV网站| 色综合色色色色色| 亚洲美女裸体被操在线观看| www,色中色| 天天揷综合网| 五月丁香婷婷啪啪综合网| 亚洲久热| 亚洲 25P| 女人被躁到高潮嗷嗷叫小| 色六月丁香婷婷狠狠干| www.婷婷五月天| 激情二色月| 影音先锋一区二区资源站| 99精品视频在线观看| 丁香六月婷婷综情欧美| 激情AV网| 五月婷中文字幕| 五月亚洲激情| 色五月丁香伊人五月| 婷婷五月成人社区| 五月丁香六月停停| 天天操天天插天天射| 啪啪小说五月天| 91九色欧美| 无码区婷婷五月花开| 日韩成人AV在线| 可以看的av| 99爱视频在线| 蜜桃婷婷丁香| 超碰免费成人| 亚洲无码九九九| 99热这里只有精品9| 婷婷久久综合久色| 色婷五月婷婷| 97碰碰电影| 狠狠爱青青草| 亚洲第一第二网站| 九九成人视频| 26uuu亚洲欧美另类| 久久综合五月天| 国产乱轮一区二区三区| 久久丁香| 99啪99| 五月天中文网| 五月婷婷六月丁香在线| 婷婷六月插屄激情| 色色色色色色色色网站| 色九月欧美| 中文字幕成人| 国产阿姨日皮艹逼内射视频| 色五月婷婷久久| 婷婷激情人妻| 亚洲中文字幕翔田千里| 五月丁香久人妻中文| 精品色色| 色六月天| 99久久久国产大片区| 99无码视频| 美女五月天| 久久99免费视频网站| 新99色色色色色色| 色色色五月婷| 乱岳熟女50岁| 99亚洲天堂| 51国精产品自偷自偷综合| 琪琪色网在线| 狠狠做六月爱婷婷综合aⅴ| 99性爱视频| 激情98色婷婷五| 日本的α片xxxwww| 九九九热精品| 青青草Avb在线| 99热这里只有的精品视| 99热色精品| 99热九九这里只有精品| 日韩淑女人妻luan伦激情精品一区二| 婷色影院| 热久久77777| 久久久久久久久久人妻| 日本视频久久| 婷婷丁香六月五月天| 99激情网| 丁香久久久| 六月婷婷中文字幕| 国产九月婷婷| 久热精品视频| 成人AV在线中文版| 天天射射夜| 大香蕉手机视频| 色五月综合网| 色色色色色综合| 丁香婷婷五月天激情四射| 超碰国产在线观看| 色婷婷色| 国产激情在线| 亚洲成人网站在线| 婷婷五月天小说| 欧美月久久| 五月天com| 综合久久六月| 国产激情综合五月久久| 欧在线一区| 色人妻五月| 超碰一区二区| 日日插日日干| 久久九九九九| 伊人激情影院| www,色婷婷| 婷婷五月天Av| 久久曰曰| 激情婷婷六月天| 99国产小视频免费观看| 色婷婷小说| 狠狠色丁香婷婷综合久久97AV| 九九色色| 99在线观看免费精品视频| 国产又爽又猛又粗的视频A片 | 六月婷婷色| 九九久久久综合| 日日夜夜久| 婷婷五月精品中文| 久操激情| 激情五月综合网| 99无码| 内射丰满人妻| 97久操| 五月丁香啪| 久9视频| 精品人人操| 色狠狠色| 五月天激情婷婷五月天久久| 日本97人人| 99精品网| 日本老女人黄页在线播放| www.zbzhongsen.com| 色五月婷婷视频| 99热九九九九| 99在线热| 激情丁香婷婷五月天| 啪啪日本欧美| 国产婷婷综合| 亚洲国产精品成人免费一区久久久在线观看AAAA | 在线视频你懂得| 九九热精品| 五月花婷婷丁香| 91 九色 入口| 啊v视频在线观看| 日日射天天射| 国产97色在线 | 日韩| 天天干天天色综合| 丁香五月欧美色综合| 色噜噜五月丁香婷婷| 深爱婷婷网| 久久99色色| 九九热大香蕉| 专区无日本视频高清8| 99热6精品| 99热这里只有精品1025| 影音先锋美国A| 天天干电影| 五月天激情综合网站| 激情综合网激情五月丁香五月俺也去| 久久99大全| 狠狠88综合久久久久噜噜噜| 成人一区在线观看| 婷婷网五月天| 免费观看的婷婷五月视频在线| 国产欧美第五十五页| 丁香五月天AV在线| 色五月天堂| www夜夜操wwwcon| 99久在线精品| 国产干逼片| 99日韩| 天天插天天操| 婷婷激情肏屄网| 大香蕉伊在| 99热精品在线观看| 综合一区二区三区| 美女主播野战视步页| 91大神操美女| 七月丁香婷婷 色色| 婷婷基地爱| 99re思思热久久| 婷婷五月天777| www.99日本| 婷婷五月,综合伊人| www.色99| 婷婷五月天伊人| 亚洲欧洲自拍图片专区五月天| 日本在线视频播放91| 97超碰,人人舔,人人操,人人摸 | 99无码视频| 深夜激情网| 天天模,夜夜模夜夜爽| 9色在线| 激情www| tingting五月天亚洲| 殴美激情综合网| WWW色色色COM| 四虎国产精品永久在线国在线| 婷婷色在线视频| 毛片色五月| 日 日干 日日做| 久久66er久久| 91干在线| 久久亚洲天堂| 日本久碰| 99热个人在线| 极品人妻VIDEOSSS人妻| www.99在线| 国产激情在线| 丁香五月激情啪啪| 五月丁香婷婷伊人| 婷婷色色综合激情| 可以免费观看的av网址| 丁香五月色网| 激情五月婷婷视频一区二区三区| 538在线精品| 福利视频在线播放| 久久免片| 亚洲最大视频| 色婷操逼| 激情综合五月天| 夜夜干 夜夜操| 九九色热视频| 久久久精品人妻录| 99久久综合网| 思思热在线精品视频网站| 凹凸7777操操操| 丁香婷婷五月天校园春色| 九月丁香亭亭| 丁香九月婷| 庭庭久久内射| 久操无码| 丁香五月另类色婷婷麻豆| 91视频一起草| 99亚洲视频| 五月婷婷丁香大陆免费| 性欧美日本| 婷婷九月狠狠色| www.黄色片-久久成人国产精品在线播放-999AV| 9999热精品| 综合亚洲AV| 色婷婷丁香社综合| 超碰在线中文字幕| 天天色99| 久久久99视频| 成人 在线 日韩| 中文网AV| 五月色婷婷综合色| 天天干天天日日| 五月天自拍视频| 伊人干练久| 婷婷五月天电影在线| 天天色综合网吨吧| 五月六月伦理| 思思热在线视频精品| 婷婷99中文字幕| 丁香九月婷| 色色五月天婷婷| 五月天久久色| 婷婷碰碰| 亚洲在线视频321| 九九大香蕉黄色影院| 婷婷91| xxxx五月| 九九热在这里只有精品| 99在这里有精品| 少妇人妻人伦A片| 色五月婷婷丁香五月| 久久婷婷伊人| 日本婷婷激情四射中文字幕在线观看| 亚洲欧洲美女在线观| www.99热精品| 五月丁香婷婷色色| 五月丁香六月婷婷中文版| 久久这里99| 亚洲婷婷五月天| 天天做天天爽| 日本黄 色 片| 五月天激情网址| 91操熟女| 国产99视频永久免费| 99在线视频喷水| 9 1超碰九色| 婷婷激情综合网| 五月丁香淫淫婷婷婷| 欧洲毛片基地c区| www.色五月| 天啪天啪天啪天啪| 激情五月婷| 6080av| 操操自拍| 人妻AV在线| 婷婷色基地在线看| 先锋五月婷婷丁香草草| 操逼123网| 五月丁香婷婷激情澎湃四射| 日韩人妻在线观看| 国产成人精品亚洲线观看| 久久丁香婷婷色情综合| 99综合| www久热com| 啪啪啪综合网| 5月丁香美女影院| 国产日韩av片| 色五月成人在线| 色欲影香| 秋霞少妇AV网站| 六月婷欧美| 麻豆123区| 成人视频一区| 久婷狼色诱惑在线| 99久re热视频精品98| 激情综合网激情五月欧美| 亚洲在线操| 精品一二三区久久AAA片| 色情五月天。| 思思热热久久| 激情另类综合| 东北熟女高潮99综合99| 久久久com| 欧美婷婷精品激情| 国产又色又爽又黄又免费| 久久久五月婷婷| 婷婷色Av| 欧美操人| 婷婷五月18永久免费网站| 激情五月天之五月婷婷| 视频一二区| 五月婷婷黄网站大全| 色五月婷婷中文字幕在线观看 | 国产成人AV| 色色爽爽天天| 色综合激情| 国产精品久久久久久亚洲毛片| 97碰碰视频在线观看免费| 五月天激情AV| 少妇人妻人伦A片| 99久视频| 狠狠狠狠狠干| 亚洲第一成人AV| 狠狠狠狠狠狠草| 大香蕉综合在线| 欧美色碰| 人妻操操色| 99国产精品久久久久久久久久久| 中文字幕不卡+婷婷五月| 毛片色五月| 婷婷色色网站| 丁香婷婷大香蕉| 九热免费视频| 久久九九九九| 五月婷婷激清网| 久久精品99国产精品日本| 黄色aaaaa| 丁香五月手机在线| 啪啪操操| 啪啪小说五月天| 99九九99九九九视频精品| 99视频这里只有久久精品 | 五月天综合在线观看视频| 日本www免费九九| 激情婷婷五月亚洲| 夜夜撸夜夜骑| 无码se| 在线成人网站| 精品牛仔裤超碰| 久久3p| 丁香五月婷婷亚洲另类| 天天狠狠六月婷丁香影院| 综合色99| 亚洲五月丁香综合网| 色五月激情| 激情五月天色色网| 成人在线网址| www.yw尤物| 婷婷五月电影院| 色色色99| 亚洲免费婷婷| 99操视频| 欧美操人| 深爱五月月天| 99热日韩这里只有精品| 五月丁香六月欧美综合网站| 超碰人人艹| 亚洲成人五月天| 噜噜色五月| 五月丁香婷婷综合网| 无码毛片992367| 综合天堂AV久久久久久久| 激情五月天之六月婷婷| 免费在线观看AV网站| 色综合五月婷婷狠狠干| 国产做A爰片毛片A片美国| 草AV9999| 久久五月婷综合| 丁香五月婷久久| 五月天久久网站| 影音先锋91| 欧美天天草人人草| 日日夜夜干| 日在线V视频在线播放| 在线综合亚洲欧美65| 色播五月| 99久操| 色五月婷婷亚洲| 色九月激情综合网| 影音先锋五月婷婷| 色综合久久88色综合天天| 极品色丁香| 色婷婷基地 | 丁香五月婷婷成人网| 久久色午夜在线导航| 激情婷婷久久| AV电影在线播放| 全部老头和老太XXXXX| 激情五月婷婷综合色播小说| wwww.9免费视频| 99A级片| 国产五月丁香在线| 国产精品激情AV久久久青桔| 激情五月色综合| 久久久精品AV| 色色操| 呦呦v线| 99草视频在线观看| 香蕉国产2013| 亚洲色情一区二区三区四区| 狠狠狠狠草草| 久9视频免费播放| 激情五月天激情网| 九九九九热99超碰| 婷婷六月综合基地| 3pAV| 婷婷中文字暮| 91超碰人人操| 热99这里只有精品视频| 久久色五月天| 久久综合激情| 手机免费福利视频| 五月婷婷六月丁香| 中文字幕一色哟哟哟哟| 六月丁香激情| 五月天激情网址| 激情啪啪五月天| 色五月婷婷五月天|