欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

IM系統(tǒng)用戶管理子服務(wù)架構(gòu)設(shè)計(jì)與踩坑實(shí)踐:從表結(jié)構(gòu)到緩存策略

IM系統(tǒng)用戶管理子服務(wù)架構(gòu)設(shè)計(jì)與踩坑實(shí)踐:從表結(jié)構(gòu)到緩存策略 做IM系統(tǒng)用戶管理子服務(wù)往往是看起來最簡單、坑卻最多的那一塊。很多人一開始會(huì)覺得無非就是注冊(cè)、登錄、改個(gè)昵稱、拉個(gè)好友列表有什么好寫的但真正上手做才發(fā)現(xiàn)一個(gè)IM系統(tǒng)里最基礎(chǔ)的用戶服務(wù)牽扯到數(shù)據(jù)一致性、在線狀態(tài)、增量同步、token安全、熱點(diǎn)緩存一堆問題任何一個(gè)環(huán)節(jié)沒設(shè)計(jì)好后面消息推送和會(huì)話模塊全都跟著遭殃。這篇文章把我在實(shí)際開發(fā)用戶管理子服務(wù)過程中涉及的架構(gòu)設(shè)計(jì)、表結(jié)構(gòu)、緩存策略、接口實(shí)現(xiàn)和踩坑實(shí)錄都整理出來適合正在做IM項(xiàng)目、或者準(zhǔn)備把用戶模塊獨(dú)立成微服務(wù)的朋友參考。1. 項(xiàng)目背景與總體設(shè)計(jì)思路1.1 IM系統(tǒng)里為什么用戶服務(wù)必須獨(dú)立拆出來很多單體項(xiàng)目里用戶模塊就是一個(gè)UserController加幾張表但在IM項(xiàng)目里用戶服務(wù)幾乎是整個(gè)系統(tǒng)的心臟。你想想看每一次消息發(fā)送都要查用戶關(guān)系、每一個(gè)會(huì)話列表都要拉取用戶資料、每一次好友操作都要變更關(guān)系鏈數(shù)據(jù)如果這些邏輯全部跟消息模塊耦合在一起后期幾乎無法維護(hù)。我參與的這個(gè)IM項(xiàng)目團(tuán)隊(duì)在一開始就確定了微服務(wù)拆分方向。用戶管理子服務(wù)作為最底層的基礎(chǔ)服務(wù)獨(dú)立負(fù)責(zé)賬號(hào)體系、用戶資料、好友關(guān)系、在線狀態(tài)和通信錄同步其他所有服務(wù)都在它之上工作。這樣的好處非常明顯首先是解耦消息服務(wù)只管消息推送服務(wù)只管推送用戶服務(wù)只管用戶出了問題各查各的日志其次是彈性伸縮比如做活動(dòng)拉新的時(shí)候注冊(cè)量暴漲只需要單獨(dú)擴(kuò)容用戶服務(wù)不必把整個(gè)系統(tǒng)都帶起來再有就是故障隔離用戶服務(wù)掛了已經(jīng)在線的人還能繼續(xù)收發(fā)消息不會(huì)導(dǎo)致全盤崩潰。不過獨(dú)立拆服務(wù)也帶來一個(gè)必須正視的問題跨服務(wù)的用戶數(shù)據(jù)訪問怎么辦。不可能每個(gè)服務(wù)都直連用戶數(shù)據(jù)庫那樣連接數(shù)先撐不住。所以實(shí)際架構(gòu)里消息服務(wù)、會(huì)話服務(wù)都要通過用戶服務(wù)提供的接口獲取信息同時(shí)用Redis緩存扛住熱點(diǎn)流量。這也是這次項(xiàng)目架構(gòu)設(shè)計(jì)里反復(fù)權(quán)衡的一個(gè)點(diǎn)。1.2 用戶管理子服務(wù)的職責(zé)邊界先把這個(gè)服務(wù)到底管什么理清楚。我梳理下來用戶管理子服務(wù)大概覆蓋六個(gè)核心域賬號(hào)注冊(cè)與登錄、用戶資料管理昵稱、頭像、個(gè)性簽名、好友關(guān)系鏈管理添加、刪除、拉黑、在線狀態(tài)管理、用戶設(shè)置管理消息免打擾、加好友驗(yàn)證方式、增量同步多端登錄時(shí)的資料同步。邊界之外的東西堅(jiān)決不往里放。比如消息推送那是推送服務(wù)的事文件存儲(chǔ)那是對(duì)象存儲(chǔ)服務(wù)的事敏感詞過濾和審核那是內(nèi)容安全服務(wù)的事。這個(gè)邊界一開始就要在團(tuán)隊(duì)內(nèi)部達(dá)成共識(shí)不然每個(gè)人都在用戶服務(wù)里順手加接口最后變成一個(gè)“大雜燴”。尤其是頭像上傳這個(gè)功能最容易被放在用戶服務(wù)里。我的建議是頭像上傳盡量走獨(dú)立的文件服務(wù)用戶服務(wù)只保存一個(gè)頭像URL和更新版本號(hào)。道理很簡單文件上傳涉及大流量和存儲(chǔ)擴(kuò)容如果圖片流量把用戶服務(wù)的網(wǎng)絡(luò)帶寬占滿正常的查詢接口就直接變慢了。1.3 整體技術(shù)架構(gòu)與數(shù)據(jù)流向用戶管理子服務(wù)的技術(shù)棧選型比較常規(guī)但組合起來效果很穩(wěn)定。后端用的是Java棧Spring Boot對(duì)外提供接口內(nèi)部通過OpenFeign給其他微服務(wù)調(diào)用數(shù)據(jù)庫用MySQL存主數(shù)據(jù)Redis用來扛緩存和在線狀態(tài)消息中間件用的RocketMQ來處理注冊(cè)成功之后的異步事件比如初始化默認(rèn)設(shè)置、創(chuàng)建通信錄目錄、發(fā)送歡迎消息等。數(shù)據(jù)流向分兩條線。一條是寫鏈路客戶端請(qǐng)求進(jìn)來先經(jīng)過網(wǎng)關(guān)鑒權(quán)然后到用戶服務(wù)接口層落庫MySQL同時(shí)同步更新Redis緩存再發(fā)MQ事件給其他下游服務(wù)。另一條是讀鏈路優(yōu)先查Redis緩存沒命中的時(shí)候查MySQL然后回填緩存。這套讀寫分離加上緩存兜底的模式在百萬用戶級(jí)別撐住日常流量問題不大。有一個(gè)細(xì)節(jié)值得說用戶服務(wù)作為基礎(chǔ)服務(wù)很多時(shí)候不是面對(duì)最終用戶而是面對(duì)其他微服務(wù)。比如消息服務(wù)要判斷兩個(gè)用戶是不是好友關(guān)系、會(huì)話服務(wù)要拉取群成員的昵稱頭像這些內(nèi)部調(diào)用接口在設(shè)計(jì)時(shí)需要更高可用性不能因?yàn)槟骋凰查g的流量波峰就雪崩所以接口層做了統(tǒng)一熔斷和降級(jí)處理下游服務(wù)依賴用戶服務(wù)的時(shí)候也要做好容錯(cuò)。2. 技術(shù)選型與數(shù)據(jù)模型設(shè)計(jì)2.1 存儲(chǔ)選型MySQL加Redis加對(duì)象存儲(chǔ)的搭配用戶數(shù)據(jù)的存儲(chǔ)架構(gòu)我最終定下來的是MySQL做持久化主存儲(chǔ)Redis做緩存和在線狀態(tài)存儲(chǔ)頭像和文件類的二進(jìn)制數(shù)據(jù)放在對(duì)象存儲(chǔ)里MySQL里只存元信息。把這個(gè)組合拆開說。MySQL的選擇幾乎沒什么懸念成熟穩(wěn)定事務(wù)支持好適合存儲(chǔ)用戶基礎(chǔ)資料和好友關(guān)系這類強(qiáng)一致性要求高的數(shù)據(jù)。表引擎統(tǒng)一用InnoDB支持行鎖和事務(wù)好友關(guān)系變更這種高頻操作不會(huì)有鎖表問題。Redis則是整個(gè)服務(wù)性能的主力注冊(cè)用戶資料、熱點(diǎn)用戶信息、好友關(guān)系列表、用戶在線狀態(tài)全都在Redis里有對(duì)應(yīng)緩存層。對(duì)象存儲(chǔ)解決的是頭像這類大文件的存儲(chǔ)問題下載走CDN數(shù)據(jù)庫不會(huì)因?yàn)殪o態(tài)資源被打爆。很多人會(huì)問為什么不用MongoDB或者PostgreSQL代替MySQL說實(shí)話IM系統(tǒng)的用戶數(shù)據(jù)量沒有大到需要引入太復(fù)雜的存儲(chǔ)方案MySQL在互聯(lián)網(wǎng)行業(yè)的成熟運(yùn)維經(jīng)驗(yàn)最豐富出問題能找到的解決方案也最多。技術(shù)上夠用就好不必為了新而新。2.2 核心表結(jié)構(gòu)設(shè)計(jì)用戶基礎(chǔ)表和好友關(guān)系表是用戶管理子服務(wù)最重要的兩張表設(shè)計(jì)上花了很多功夫。用戶基礎(chǔ)表第一版設(shè)計(jì)的時(shí)候字段盡量精簡核心就用戶ID、昵稱、頭像URL、性別、個(gè)性簽名、手機(jī)號(hào)或郵箱作為登錄憑證。有一個(gè)很容易踩的坑是用戶ID到底用自增ID還是雪花ID。IM系統(tǒng)里用戶ID會(huì)出現(xiàn)在消息內(nèi)容、分享鏈接、好友添加等對(duì)外場(chǎng)景用自增ID容易被遍歷抓取而且MySQL自增主鍵在分庫分表場(chǎng)景下會(huì)沖突。所以最終用戶ID用了雪花算法生成的長整型對(duì)外展示和內(nèi)部存儲(chǔ)都用同一個(gè)ID避免了兩套ID映射的麻煩。登錄憑證字段的設(shè)計(jì)也值得注意。手機(jī)號(hào)和郵箱都可以作為登錄憑證如果分開建兩個(gè)字段并都允許為空會(huì)出現(xiàn)一個(gè)用戶既有手機(jī)號(hào)又有郵箱時(shí)數(shù)據(jù)冗余的情況。實(shí)際實(shí)現(xiàn)時(shí)建了一張登錄憑證表用戶ID、憑證類型、憑證值三個(gè)字段一個(gè)用戶多條記錄靈活擴(kuò)展且查詢效率不差。好友關(guān)系表的細(xì)節(jié)更多。首先是雙向好友關(guān)系處理A加B為好友成功后關(guān)系鏈里同時(shí)存在A對(duì)B、B對(duì)A兩條記錄每條記錄都有一個(gè)狀態(tài)字段區(qū)分正常、已刪除、拉黑中。其次是好友備注名A給B備注的名字和B給A備注的名字可以不一樣這兩個(gè)字段必須分別保存不能只存一條關(guān)系一個(gè)備注名。最后是索引設(shè)計(jì)關(guān)系表上建了用戶ID加狀態(tài)的聯(lián)合索引查詢好友列表的語句走這個(gè)索引實(shí)測(cè)全表百萬級(jí)數(shù)據(jù)量下響應(yīng)時(shí)間穩(wěn)定在幾十毫秒。用戶設(shè)置表同樣是獨(dú)立的一張表消息免打擾開關(guān)、好友驗(yàn)證方式允許任何人添加、需要驗(yàn)證、不允許添加、被拉黑之后是否可見在線狀態(tài)等都放這張表里和用戶基礎(chǔ)表分開的好處是不會(huì)因?yàn)樵O(shè)置項(xiàng)頻繁更新導(dǎo)致基礎(chǔ)表的緩存頻繁失效。2.3 緩存設(shè)計(jì)Key規(guī)范與數(shù)據(jù)結(jié)構(gòu)選擇緩存設(shè)計(jì)直接決定用戶服務(wù)的查詢性能這塊的規(guī)范在項(xiàng)目里是強(qiáng)制執(zhí)行的。Redis緩存的Key命名統(tǒng)一采用“服務(wù)名:業(yè)務(wù)域:用戶ID:內(nèi)容類型”的格式比如用戶資料緩存是user:profile:10001好友關(guān)系緩存是user:friends:10001:list在線狀態(tài)是user:status:10001。統(tǒng)一規(guī)范看著是小事但等后面緩存幾十個(gè)業(yè)務(wù)域的時(shí)候排查問題和避免Key沖突會(huì)方便太多。數(shù)據(jù)結(jié)構(gòu)的選擇上用戶資料緩存用Hash比用JSON字符串更合適。Hash類型可以單獨(dú)修改某個(gè)字段而不需要整體重新序列化比如用戶只是改了個(gè)昵稱直接hset一個(gè)字段就夠了其他字段的緩存不受影響。我之前用JSON字符串存整個(gè)用戶資料用戶修改昵稱之后要對(duì)整個(gè)對(duì)象做讀寫和緩存更新在高頻更新場(chǎng)景下浪費(fèi)了不少不必要的序列化開銷。好友關(guān)系列表則用ZSet存儲(chǔ)把好友ID作為member成為好友的時(shí)間戳作為score這樣拉取好友列表天然按時(shí)間排序也能方便地做分頁。緩存過期時(shí)間也做過一個(gè)統(tǒng)一約定。用戶基礎(chǔ)資料這種變更頻率不高但又需要高可用的數(shù)據(jù)設(shè)置為24小時(shí)過期并主動(dòng)更新雙寫在線狀態(tài)這種強(qiáng)時(shí)效數(shù)據(jù)不設(shè)置過期時(shí)間完全依賴狀態(tài)上報(bào)來覆蓋。項(xiàng)目里的原則是緩存必須有過期兜底防止極端情況下緩存和數(shù)據(jù)庫不一致時(shí)永遠(yuǎn)無法自愈。3. 核心接口與實(shí)操實(shí)現(xiàn)3.1 注冊(cè)流程服務(wù)端怎么防重復(fù)、防漏洞注冊(cè)接口是整個(gè)用戶服務(wù)流量最大的接口之一也是最容易被人搞的接口。我在實(shí)現(xiàn)注冊(cè)流程時(shí)把重點(diǎn)放在三個(gè)環(huán)節(jié)合法性校驗(yàn)、防重復(fù)提交、數(shù)據(jù)一致性。客戶端傳入手機(jī)號(hào)和驗(yàn)證碼之后先做格式校驗(yàn)然后用驗(yàn)證碼確認(rèn)手機(jī)號(hào)是真實(shí)在用的。服務(wù)端再根據(jù)手機(jī)號(hào)查登錄憑證表判斷這個(gè)手機(jī)號(hào)是否已經(jīng)注冊(cè)過這里要用唯一索引兜底因?yàn)槟呐麓a邏輯里判斷了不存在高并發(fā)下兩個(gè)人同時(shí)注冊(cè)同一個(gè)手機(jī)號(hào)還是可能插入兩條記錄唯一索引能保證數(shù)據(jù)庫層面不會(huì)出現(xiàn)臟數(shù)據(jù)。注冊(cè)時(shí)數(shù)據(jù)寫入用了事務(wù)同時(shí)更新用戶基礎(chǔ)表、登錄憑證表和用戶設(shè)置表任何一個(gè)操作失敗都會(huì)回滾。注冊(cè)成功之后把新用戶ID和手機(jī)號(hào)的映射寫入Redis方便后續(xù)登錄時(shí)快速反查同時(shí)發(fā)送一個(gè)注冊(cè)成功的MQ事件下游服務(wù)收到事件后初始化用戶通信錄目錄、發(fā)送好友推薦等。這里典型的坑是如果MQ發(fā)送失敗會(huì)導(dǎo)致下游服務(wù)收不到通知所以發(fā)送事件要失敗重試并記錄日志重試幾次仍然失敗就要走定時(shí)任務(wù)對(duì)賬補(bǔ)償。3.2 登錄與Token方案雙Token為什么是標(biāo)配登錄流程在IM項(xiàng)目里和普通網(wǎng)站登錄不一樣不只是為了拿到一個(gè)身份憑證更重要的是保證多端登錄互不影響、消息推送能定位到具體設(shè)備。每個(gè)設(shè)備獨(dú)立登錄所以登錄成功后生成的是設(shè)備級(jí)的會(huì)話憑證而不是用戶級(jí)。Token方案最終用了雙Token設(shè)計(jì)短期TokenAccess Token有效期兩小時(shí)用于實(shí)際接口調(diào)用的身份認(rèn)證長期TokenRefresh Token有效期三十天用于短期Token過期后無感刷新。客戶端拿Refresh Token換新的Access Token這樣即使用戶長期沒打開App只要三十天內(nèi)打開過一次就能自動(dòng)續(xù)期體驗(yàn)上不會(huì)出現(xiàn)頻繁要求重新登錄的情況。Access Token采用了JWT格式簽名密鑰單獨(dú)配置并且定期輪換JWT里只放用戶ID、設(shè)備ID、會(huì)話類型幾個(gè)必要字段不放任何敏感信息。Refresh Token則不是JWT而是服務(wù)端生成的隨機(jī)串存Redis設(shè)置有效期并關(guān)聯(lián)設(shè)備ID每次刷新使用后輪換一次舊Token作廢發(fā)新Token。之所以不對(duì)稱處理是因?yàn)镴WT無法服務(wù)端主動(dòng)作廢而Refresh Token需要支持踢人下線、強(qiáng)制注銷等操作必須能被服務(wù)端控制。登出操作要做的就是刪除Redis里的Refresh Token、清理設(shè)備在線狀態(tài)、發(fā)送下線通知給消息服務(wù)。這里有一個(gè)很容易被忽視的細(xì)節(jié)用戶賬號(hào)在別的設(shè)備上登錄或者被管理員封禁時(shí)需要做到強(qiáng)制下線那就得把所有設(shè)備對(duì)應(yīng)的Refresh Token全部刪除同時(shí)維護(hù)一個(gè)用戶維度的Token版本號(hào)存在Redis里Access Token校驗(yàn)時(shí)會(huì)檢查這個(gè)版本號(hào)一旦版本號(hào)變了舊Access Token就算沒過期也直接失效。3.3 增量同步與在線狀態(tài)管理多端登錄場(chǎng)景下一個(gè)手機(jī)端的用戶改了昵稱另一個(gè)平板端要盡快看到更新。如果每次改完立刻通知所有在線端會(huì)制造大量推送如果完全依賴客戶端主動(dòng)拉取數(shù)據(jù)又不及時(shí)。最終的方案是版本號(hào)加增量同步機(jī)制。用戶基礎(chǔ)表加一個(gè)數(shù)據(jù)版本號(hào)字段任何資料變更都讓版本號(hào)加一??蛻舳伺空?qǐng)求增量同步接口時(shí)帶上本地版本號(hào)服務(wù)端拉取更高級(jí)別的數(shù)據(jù)變化返回給客戶端。Redis里用一個(gè)ZSet保存用戶數(shù)據(jù)的版本歷史member存字段IDscore存版本號(hào)這樣斷線重連后只需要同步缺失的那一段版本不需要全量拉取傳輸數(shù)據(jù)量小受網(wǎng)絡(luò)波動(dòng)影響也小。在線狀態(tài)管理的設(shè)計(jì)經(jīng)歷了兩次迭代。最初是用推模式用戶上線上線都通過消息服務(wù)實(shí)時(shí)推給所有好友這樣做的好處是好友用戶看到在線狀態(tài)最及時(shí)但代價(jià)是消息量大——一個(gè)千萬用戶級(jí)別的系統(tǒng)如果一個(gè)百萬粉絲用戶頻繁上下線光狀態(tài)推送就能把消息服務(wù)打爆。后來改成拉模式用戶在線狀態(tài)保存在Redis里狀態(tài)變更只寫Redis并通知自己的所有在線設(shè)備好友列表頁面加載或刷新時(shí)才主動(dòng)拉取好友的在線狀態(tài)。這樣把推送的扇出量降下來了代價(jià)是狀態(tài)展示有延遲但對(duì)于絕大多數(shù)IM使用場(chǎng)景這個(gè)延遲完全能接受。在線狀態(tài)的數(shù)據(jù)模型用的是Redis StringKey是用戶IDValue是設(shè)備列表加最新心跳時(shí)間的JSON結(jié)構(gòu)客戶端每隔60秒發(fā)一次心跳服務(wù)端記錄心跳時(shí)間。判斷下線的邏輯是如果某個(gè)設(shè)備超過90秒沒有心跳認(rèn)為該設(shè)備離線從設(shè)備列表里移除一個(gè)用戶所有設(shè)備都離線了整個(gè)用戶才標(biāo)記為離線。心跳報(bào)文越頻繁狀態(tài)越精準(zhǔn)但服務(wù)端壓力越大60秒心跳加90秒超時(shí)這個(gè)參數(shù)組合在線上跑下來是性能和準(zhǔn)確率的平衡點(diǎn)。4. 常見問題與排查實(shí)錄4.1 用戶資料在不同端不一致改完昵稱之后手機(jī)端顯示新昵稱電腦端還是舊昵稱這個(gè)問題我們?cè)诨叶葴y(cè)試階段復(fù)現(xiàn)過很多次。排查下來無非兩種原因一種是某個(gè)端的本地緩存太久沒有過期沒有及時(shí)觸發(fā)增量同步另一種是服務(wù)端緩存更新失敗導(dǎo)致舊數(shù)據(jù)又返回給了客戶端。服務(wù)端緩存更新失敗這個(gè)原因比較隱蔽。當(dāng)時(shí)的實(shí)現(xiàn)是先更新MySQL再刪除緩存結(jié)果MySQL更新成功、刪除緩存時(shí)Redis剛好發(fā)生主從切換舊緩存沒被清掉后續(xù)讀請(qǐng)求又把舊數(shù)據(jù)回填了。解決方案是引入更新緩存時(shí)的版本號(hào)比對(duì)寫入緩存的用戶資料版本號(hào)如果小于當(dāng)前版本就丟棄同時(shí)修復(fù)了緩存刪除失敗的重試機(jī)制。排查這個(gè)問題時(shí)用了一個(gè)取巧的方法直接對(duì)比用戶在MySQL里的數(shù)據(jù)版本號(hào)和客戶端拿到的最新版本號(hào)版本號(hào)對(duì)不上順著鏈路查下去很快就能定位。4.2 登錄態(tài)突然失效用戶反映App用著用著突然被退出登錄這類問題的排查方向應(yīng)該放在Refresh Token的刷新流程上。最容易出問題的是并發(fā)刷新場(chǎng)景客戶端多個(gè)請(qǐng)求同時(shí)發(fā)現(xiàn)Access Token過期同時(shí)拿同一個(gè)Refresh Token去刷新后發(fā)起的刷新請(qǐng)求把先發(fā)起的舊Refresh Token覆蓋掉導(dǎo)致其中一個(gè)請(qǐng)求拿到一個(gè)已經(jīng)作廢的Token然后用戶被判定為異常登錄強(qiáng)制下線。解決方式也簡單Refresh Token的刷新接口要做并發(fā)控制同一個(gè)用戶同一個(gè)設(shè)備的刷新請(qǐng)求串行化處理Redis里用分布式鎖保證同一時(shí)間只有一個(gè)刷新請(qǐng)求在處理其他請(qǐng)求稍等一下復(fù)用同一個(gè)刷新結(jié)果就行。另外客戶端也做了配合在Token過期時(shí)全局只觸發(fā)一次刷新流程其他接口等待刷新完成后再重放業(yè)務(wù)請(qǐng)求從源頭避免了并發(fā)刷新的可能性。4.3 在線狀態(tài)誤判與抖動(dòng)用戶明明在線好友那邊顯示離線或者剛顯示在線過一會(huì)又變灰了過幾分鐘又亮了。這種抖動(dòng)的常見原因是客戶端網(wǎng)絡(luò)切換——比如WiFi切換到5G網(wǎng)絡(luò)時(shí)TCP連接斷開重建心跳包發(fā)出去了但中間有一個(gè)短暫的斷檔超過90秒超時(shí)閾值后服務(wù)端誤判離線。針對(duì)這個(gè)情況做了兩方面優(yōu)化一是客戶端心跳不依賴網(wǎng)絡(luò)連接狀態(tài)每次進(jìn)后臺(tái)和回前臺(tái)的時(shí)候主動(dòng)補(bǔ)發(fā)一次心跳二是服務(wù)端收到心跳時(shí)如果發(fā)現(xiàn)用戶之前已被標(biāo)記為離線恢復(fù)在線狀態(tài)時(shí)不要立刻向好友端廣播上線通知而是延遲30秒等心跳穩(wěn)定后再廣播避免網(wǎng)絡(luò)切換導(dǎo)致的上線、下線通知風(fēng)暴。有一次線上觀察到某個(gè)用戶的好友端瘋狂收到上下線通知原因就是這個(gè)用戶在地鐵里頻繁進(jìn)出隧道導(dǎo)致網(wǎng)絡(luò)反復(fù)切換加上延遲廣播機(jī)制后這個(gè)現(xiàn)象基本消除。4.4 緩存穿透與熱點(diǎn)用戶問題緩存穿透問題在用戶服務(wù)里很容易被忽略因?yàn)榇蟛糠钟脩魯?shù)據(jù)是存在的但偏偏注冊(cè)、查詢陌生人資料這些場(chǎng)景會(huì)頻繁查一個(gè)不存在的用戶ID。攻擊者可以偽造一批不存在的用戶ID批量請(qǐng)求資料接口請(qǐng)求全部穿透到MySQL。解決方法很直接用戶查詢接口緩存空結(jié)果空值也緩存5分鐘同時(shí)用布隆過濾器做第一層攔截盡快把不存在的ID擋在前面。熱點(diǎn)用戶問題的典型場(chǎng)景是系統(tǒng)里某些達(dá)人賬號(hào)粉絲量特別大好友狀態(tài)被大量用戶同時(shí)輪詢一個(gè)ZSet緩存被高頻讀取單線程的Redis在這個(gè)Key上就成了瓶頸。臨時(shí)方案是熱點(diǎn)Key做多副本把同一個(gè)邏輯Key的數(shù)據(jù)復(fù)制到多個(gè)物理Key上讀請(qǐng)求通過hash分散到不同副本上能在不改變整體架構(gòu)的情況下把單Key壓力降下來。更長期的方案是把這個(gè)讀取邏輯移出同步鏈路走異步批量聚合接口一次查詢批量合并多個(gè)熱點(diǎn)用戶的資料返回減少客戶端單用戶逐個(gè)請(qǐng)求的次數(shù)。4.5 好友關(guān)系數(shù)據(jù)不一致A給B發(fā)消息被提示“您還不是對(duì)方好友”但兩邊的好友列表里明明都顯示對(duì)方。這類問題多半是好友關(guān)系表的分庫分表策略和消息服務(wù)判斷好友關(guān)系時(shí)用的索引不一致造成的。我們的好友關(guān)系表是按用戶ID取模分片的消息服務(wù)判斷好友關(guān)系時(shí)調(diào)用用戶服務(wù)接口如果接口內(nèi)部查詢時(shí)沒有帶全分片鍵就會(huì)落到錯(cuò)誤的庫上把關(guān)系查丟了。排查下來發(fā)現(xiàn)是接口實(shí)現(xiàn)時(shí)在內(nèi)部方法調(diào)用加了一層防重邏輯把好友關(guān)系查詢參數(shù)做了緩存Key歸一化歸一化后丟失了分片鍵信息導(dǎo)致路由錯(cuò)庫。去掉這層錯(cuò)誤的緩存歸一化強(qiáng)制所有好友關(guān)系查詢必須攜帶用戶ID全文路由后問題解決。這里也提醒我微服務(wù)接口對(duì)外暴露的入?yún)⒈仨殧y帶足夠的路由信息任何緩存Key的歸一化邏輯都要仔細(xì)評(píng)審不然很容易在這個(gè)環(huán)節(jié)上埋雷。4.6 發(fā)布與灰度用戶管理子服務(wù)這種基礎(chǔ)服務(wù)發(fā)布的時(shí)候稍微有點(diǎn)問題就會(huì)影響全站。我們的做法是灰度發(fā)布分三步走先在灰度環(huán)境的網(wǎng)關(guān)層只放行內(nèi)部測(cè)試賬號(hào)的流量觀察半小時(shí)日志和錯(cuò)誤率然后把線上5%的流量切到新版本重點(diǎn)關(guān)注注冊(cè)、登錄、資料更新三個(gè)核心鏈路的錯(cuò)誤率和耗時(shí)曲線穩(wěn)定運(yùn)行一小時(shí)后逐步放量到20%、50%、100%。每個(gè)階段都有關(guān)聯(lián)告警任何一步指標(biāo)異常就自動(dòng)回滾到舊版本。上線前還會(huì)做一個(gè)核對(duì)任務(wù)把灰度時(shí)段內(nèi)用戶基礎(chǔ)表和好友關(guān)系表的變更數(shù)據(jù)導(dǎo)出和舊版本服務(wù)處理的結(jié)果做對(duì)賬確保兩邊的數(shù)據(jù)完全一致。這項(xiàng)工作多花半小時(shí)但能擋住很多潛在的邏輯錯(cuò)誤。有一次就是通過這個(gè)方法發(fā)現(xiàn)新版本在好友備注名更新時(shí)丟失了源備注字段全量發(fā)布前攔了下來。5. 項(xiàng)目復(fù)盤幾個(gè)值得堅(jiān)持的決策和踩坑總結(jié)做完這個(gè)用戶管理子服務(wù)有幾個(gè)決策我覺得堅(jiān)持得對(duì)第一是用戶基礎(chǔ)表和登錄憑證表分開設(shè)計(jì)這讓后來增加郵箱登錄、第三方登錄都只需要在憑證表加記錄改動(dòng)成本非常低第二是緩存Key的規(guī)范化管理排查問題時(shí)省了大量時(shí)間第三是狀態(tài)管理堅(jiān)持拉模型配合心跳的折中方案雖然狀態(tài)有秒級(jí)延遲但換來了系統(tǒng)整體的穩(wěn)定性。踩過的最大坑是在設(shè)計(jì)接口時(shí)沒有充分考慮到下游服務(wù)的異常場(chǎng)景。比如消息服務(wù)在用戶服務(wù)不可用時(shí)應(yīng)該返回降級(jí)數(shù)據(jù)而不是報(bào)錯(cuò)當(dāng)時(shí)沒有在客戶端做這層容錯(cuò)導(dǎo)致用戶服務(wù)一次短暫抖動(dòng)引發(fā)了消息模塊的連環(huán)超時(shí)。后來專門在所有下游調(diào)用方加了一組降級(jí)策略配置用戶服務(wù)不可用時(shí)直接返回緩存里的舊資料而不是等超時(shí)再去查數(shù)據(jù)庫?;A(chǔ)服務(wù)的穩(wěn)定性不是靠自身不犯錯(cuò)保證的而是靠上下游一起兜底保證的。如果讓我重新做一遍我會(huì)把用戶數(shù)據(jù)模型設(shè)計(jì)的重心再往前移一點(diǎn)在動(dòng)手寫代碼之前做一輪更徹底的數(shù)據(jù)對(duì)賬和容量規(guī)劃比如幾個(gè)關(guān)鍵表的預(yù)期數(shù)據(jù)量、單Key緩存的大小上限、在線狀態(tài)Redis的持久化策略。這些在項(xiàng)目初期沒有被足夠重視中期都回來找補(bǔ)了代價(jià)。做底層服務(wù)設(shè)計(jì)上的預(yù)見性永遠(yuǎn)比寫代碼的速度重要。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
六月丁香六月婷婷欧美| 丁香五月成人婷婷| 超碰99在线| 五月婷婷之综合激情| 亚洲字幕AV一区二区三区四区 | 欧美 日韩 成人 在线| 色欲婷婷五月天| 激情九月综合| 激情五月婷婷伊人| 99久| 激情五月天视频| 色婷婷基地| 91色性感五月婷婷丁香| 日本色五月| 国产av基地| 久久九九怡红院| 超碰99在线| 色深爱五月| 91oumei| 激情五月激情综合网| 丁香五月色欲| 六月婷久久| 五月天激情图片| 激情美女五月天| www.久久99精品| 婷婷色五月天在线观看| 99福利导航| 丁香五月亚洲婷婷| 激情五月色婷婷| 亚洲成人在线观看av| 丁香激激情网| 丁香五月婷婷亚洲综合精品在线| 亚洲啪啪自拍| 天天爱天天操| 色色丁香| 婷婷综合色| 天天操天天曰| 丁香五月婷婷在线观看| 操比激情五月| 久久久久九九九九视屏小说88| 开心五月天激情网| 亚洲婷婷丁香五月在线| 亚洲欧洲另类| 日本WWW九九九| 婷婷成人丁香色情基地30 | 大香蕉视频婷| 婷婷伊人| 66成人网| 激情五月天激情综合网| 五月伊人网| 久久久这里有精品| 久久五月丁香| 五月天另类小说| 亚洲日韩欧美综合VA| 色人久久| 乱岳熟女50岁| 五月天综合| 五月婷视屏在线观看| 91婷婷丁香| 日韩黄色中文字幕| 91色综合网站在线| 变态 另类 在线| 丁香五月在线观看| 亚洲综合激情五月久久| 亚洲V国产V欧美V久久久久久| 深爱激情六月| www.五月天性.com| 99热最新精品| 欧美综合激情| 婷婷九月综合| 很很干天天干| 国精产品一区一区三区免费视频| 久久久久久综合88| 五月激情视频| 激情开心五月天| √天堂资源在线人妻熟女| 丁香五月天婷婷久久综合| 百度一下国产精品A| 99婷婷精品推荐在线视频| 最近韩国日本免费高清观看| 色五月美女| 91碰碰碰| 字幕网AV中文字幕| 99人人操| 思思热99er| 日本猛少妇色XXXXX猛叫| 色婷久久| 色丁香五月婷婷| 91丨九色丨熟女|新版| 婷婷五月天小说网| 亚洲99精品欧美一区| 丁香六月高清视频| 亚洲性爱日韩无码| 五月情婷婷| 色噜噜狠噜噜视频| 国产真人做爰视频免费| 日韩黄色中文字幕| 丁香五月天成人| 色欲AVV| 亚洲色频| 丁香六月成人网| 2020日日干| 丁香五月婷婷啪啪| 五月天色色色| 六月婷婷五月丁香首页| 激情六月五月婷婷综合网| 久久婷婷亚洲五月天| 五月成人天| 天天干天天做| 天天操无码| 国产日韩欧美性爱| 97超碰欧美中文字幕| 激情婷婷色色| 激情综合网之激情五月| 97精品自拍视频| 久久精品亚洲一级牲爱综合| 久久久免费精彩视频| 色九网| 97福利视频| 亚洲碰碰碰| 天天色天天日| 超碰AV成人| 国产综合久久久777777| 五月婷婷性爱| 激情网 五月天| 亚洲精品成人| 亚州视频九九99| www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | 午夜亚洲国产精品av一区二区| 超碰在线国产| 991精品在线视频| 高清 码 免费看片短视频| 色综久久AV| 五月人人丁香婷婷五月人人丁香| 五月婷婷综合在线| 123日本不卡在线| 日本三级韩三级99久久| 久久久久99精品成人片| 色五月在线观看| 五月天丁香婷婷久久九| 色综合久久99色| 夜夜噜夜夜奇| 在线99热| 偷拍99在线视频观看| 欧美婷婷六月丁香综合色| 久久永久网址| 日韩成人av在线| 97色碰| 五月丁香综合网| 五月婷婷色播视频| 日韩AAAAA| 婷婷自拍| 思思热在线播放| 一本大道嫩草AV无码专区| 色欲婷婷五月天丁香| 91婷婷色| 色综合久久88色综合天天99| 欧美日本免费一道免费视频| 综合激情五月丁香9999久久精| 六月丁香婷婷开心综合基地| 国产乱人偷精品人妻A片| 去色色五月天| 丁香五月狠狠在线观看| 婷婷综合色播网| 婷婷性爱影院| 欧美久久婷婷| 久草五月| 天天做天天要天天爱| 夜夜爽天天爽| 夜夜爱影院| 色呦呦免费观看| 五月花免费视频| 色五月首页| 九九99香蕉在线视频播放| 激情五月婷婷丁香六月| 热99在线| 懂色av蜜臀av粉嫩av永陈冠希| 超碰超碰在线| 丁香五月天成人网站| 久久综合26p| 婷婷五月天无码视频| 三级三久久线久久99久目本WW| 久久色大香蕉| 99热精国产这里只有精品| 久久久网站| 婷婷五月在线免费| 夜精品无码A片一区二区蜜桃| 九九99精品| 一区二区乱码视频| 久久3级片| 色呦呦美女| 五月婷婷色丁香| 亚洲成人高清在线| 婷婷综合网站| 婷婷丁香六月| 六月婷婷激情图片| 97在线精品| 4399伦理午夜| 日日夜夜狠狠操| 97影院一级片| 五月天婷基地| 噢美99| 色噜噜狠狠色综合无码久久欧美| 色婷婷久久| 激情五月图| 丰满老熟妇BBBBB搡BBB| 国产激情综合| 色婷婷激情| 精品五月花| 国产成人99久久亚洲综合精品| 久久99综合| 五月激情射| 日本一级一片免费视频| 色99亚洲| 人妻啪啪啪| 91大神操美女| 五月丁香六月婷| 《诡秘之主》在线观看| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 丁香婷婷六月| 色婷青青| 99色色| 天天色天天搡| 久久99草五月婷婷| site:publishdd.com| 日本色超碰| 九色七七| 五月婷婷天| 国产成人高清| 五月天天丁香婷婷| 色欲婷婷五月天| 精品一二三区视频立| 亚洲黄网AV| 思思视频久久| 超级碰91| 激情丁香五月婷婷| 九月婷婷综合八月丁香在线观看| 亚洲精品网址| 少妇被下春药玩弄A片| 婷婷五月天免费| 91丨九色丨东北熟女| 日本超碰在线| 婷婷五月综合基地| 亚洲综合色棒| 五月开心网| 开心五月婷| 色日本五月天| 婷婷丁香五月天激情| 色愛综合网| 99久久综合| 色五月丁香伊人五月| 九九黄色网| 大香蕉色婷婷伊人在线| 丁香六月色婷婷| 狠狠色情婷婷| 91男人资源站| 99久在线精品99re8| 五月色婷婷激情| 欧美日比视频| 婷婷伊人綜合中文| 蜜臀久久99精品久久久久久酒店| 99久久玖玖| 色五月激情问网站| 99热国内精品| 超碰在线网站9| 色哟哟www| 五月丁香婷婷人体| 夜夜躁婷婷AV| 99视频在线看| 日韩中文欧美| 97色永久免费视频| 亚洲视频色婷婷| 91精品国产99久久久久久天美| www.超碰97| 色五月婷婷丁香五月| 五月天伊人日日噜影片AV| 婷婷爱五月| 国产精品社区| 天天插天天插| 日本狠狠干| 97操碰| 婷婷五月色图| 六月丁香网| 亚洲五月色| 色情·com| 婷婷欧美综合| 99精品视频偷拍| 99色精品| 久久久久这里只有精品| 婷婷性爱影院| 四色AVwww| 丁香五月中文字幕| 大香蕉网 久久| 香蕉久久av一区二区三区| www.操.com| 婷婷五月天激情免费在线观看| 99惹精品视频| 99 热| 另类伊人婷婷| 在线成人网址| 久久女婷| 啪啪啪丁香五月| 色色色99| 99热这里有精品| 国产成人片| 色吧五月婷婷| 丁香激情久久| 久久综合性| Aaa久久| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 少妇人妻人伦A片| 99热这里只有精| 亚洲人成人五月天| 五月六月丁香激情| 99精品一二三四视频| 丁香成人综合| 五月人人丁香婷婷五月人人丁香| 成人在线综合| 色婷婷性爱| 丁香五月WWW| 婷婷久久18| 久婷婷色| 丁香五月婷婷激情中文| 国产成人AV在线播放| 天天综合网~91综合网| 99热在线爱| 亚洲热久| 国产精品电影| Va另类视频| 婷婷射图五月天| 99综合一区| 99热这里只有精品1| 天天日夜夜爽| 色色色综合网| 99久久天堂婷婷| 欧美性爱专区| 五月婷婷黄色视频| 激情五月天激情综合网| www.henhenl| 五月开心久久| 久久色情| 无码激情AAAAA片-区区| 亚洲激情六月| 久久久这里都是精品| 九热免费视频| 丁香五月天黄色片| 伊人狠狠操| 翔田千里无码| 亚洲欧洲午夜成人精品av| 九月丁香亭亭| 90色免费视频| 日韩色色一区| 亚洲性图一区二区三区| 欧美69久成人做爰视频| 99re久热| 777久久久| 成人午夜天| 一级七香蕉| 精品网站:999WWW| 玖玖视频福利| 国产精品久久久久久白浆色欲| site:901-07.com| 丁香五月开心五月激情| 五月天色丁香| 久久国产AV| 亚洲综合网区| 欧美人人草| 97人人干| 美女爆乳18禁www久久久久久| 色欲影香| 五月停亭六月,六月停亭的英语| 久草视频一,二三四| 操人视频91| 热婷婷在线视频| 五月婷婷xxx| 中文网AV| 日韩黄色电影| 婷婷激情小说| 婷婷五月丁香花综合| 开心亚洲久久开心| 婷婷丁香成人五月天| 天天干天天操天天拍| 亚洲va久久久噜噜噜久久天堂| 久久久久久久久久久久63| 97成人丁香婷婷| 99热精品在线播放| 色婷婷亚洲婷婷在线观看| www.婷婷六月天| 亚洲中文字幕翔田千里| 五月婷婷色在线| 五月天婷婷基地| 手机AVAV天堂看网| 亚洲操逼网| 在线视频99| 婷婷五月色综合| 另类综合色| 婷婷综合激情| www,99色| 婷婷激情五月综合丁香社| 五月婷亚洲精品| 国产古装妇女野外A片| 久婷| 亚洲情a| 色色亚洲| 大香蕉人在线65| 这里只有精品视频一区| 丁香五月成人| 五月婷婷开心深| 婷婷成人五月天成人文学小说| 九九婷婷网五月天| 亚洲av成人一区二区电影在线| 丁香五月狠狠综合欧美| 99网| 婷婷99狠狠躁天天躁中| 久久92| 亚洲另类毛片| 激情黄色五月天| 日日干日日| 天堂婷婷综合| 国产片色| 午夜丁香| 外国碰视频网站97| 色色亚洲视频| 五月天婷婷丁香成人网| 婷婷五月激情四月综合| 五月婷婷六月丁香综合| 婷婷丁香综合| 婷婷五月天天爽| 99热99草97| 色婷婷亚洲婷婷在线观看| 天天干天天色综合| 日韩在线观看网址| 色5月婷婷| 91久女| 婷婷五月综合啪| 五月天色不卡| 五月婷婷co.m| 影音先锋五月天婷婷丁香在线观看| 深爱丁香激情| 超碰自拍天堂| 天天夜天天色天天| 国产99久久久国产精品免费看 | 婷婷丁香成人色综合| 成人婷婷| 偷拍91九色| 久久色五月| 91玖玖| 任你艹| 色婷婷网| 99人人干人人| 九九综合| 婷婷色色狠狠| 婷婷五月丁香亚洲| 狠狠色婷婷六月激情网| 国产一区二区av免费| 丁香五月深爱五月婷婷| 伊人五月天| 五月色色色| 日本三级日本三级99| www.超碰在线| 色色欧美。| 久久er+| 免费观看的av| 丁香五月色| 日本99久久| 久草久青福利| 97操女视频| pom538精品视频| 成人做爰A片免费看视频| 丁香五月天的网址。| 综合亚洲六月婷婷在线| 另类激情中文| www.精品99| 亚洲激情婷婷| 开心五月婷婷在线视频免费观看| 另类视频五月天| www,婷婷五月天777me,com| 天干夜夜操| 热99精品视频五月| 99这里只有精品视频| 九九爱看亚洲| 久久婷狠狠色| 网站免费一站二站| 有哪些A片网站| 超碰在线视屏| 午夜激情四射影院| 96精品久久久久久久久| 色小说五月婷婷| 欧美三级黄色片久久| 伊人狠狠丁香婷婷综合尤物| 九月丁香| 久久性视频| 狠狠舔| 99热这里只有精品3| 玖玖色资源| 久热免费视频| 99成人小视频| 99热在线精品播放| 国产AV一区二区三区日韩| 国产精品久久久海的味道| 久热这里只有精品3| 日本97在线看片| 天天色综网| 久久只有精| 激情丁香久久| 九九综合九九| 丁香五月香蕉| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 在线看的免费网站| 激情综合久久| 亚洲色婷婷99一9|| 久热 91| 黄色av网站在线免费播放| 日日爽日日| 五月亭亭六月激情| 伊人丁香在线| 另类激情综合| 人人摸人人干| 5月婷婷激情在线| 丁香六月色情| 丁香综合伊人| 99亚洲精品视频在线观看| 丁香六月激情毛片| 色色图五月天| 国产精女同一区二区三区久| renre人人操国产超碰在线 | 米奇激情婷婷| 99色五月| 大香蕉75线| 激情 久久 婷婷| 激情五月综合| 丁香六月在线| 这里只有精9| 激情久久网 | 色五月开心婷婷| 婷婷 丁香 久久| 色天使色综合| 69久久久| 久久曰曰| 婷婷五月天开心网| 久久久性爱视频| 夜夜躁狠狠| 欧美狠狠草| 色色丁香| 亚洲精品成人片在线播| 日韩无码人妻一区二区| 久久33视频| 婷婷丁香色五月天| AV亚洲在线| 狠狠爱丁香婷| 色婷婷综合电影| 久久成人亚洲欧美电影| 国产三级在线播放| 六月婷在线| 色五月综合97| 久久99综合网| 97操碰日本女人| www激情| 国产日韩亚洲欧美在线观看| 五月丁香婷婷综合激情基地| 精品99网站| 久热超碰91| 丁香性爱在线视频| 99日本视频在线观看专区| 丁香网五月天| 97性高潮久久久| 亚洲久久天堂| 熟妇人妻中文字幕无码老熟妇| 亚洲乱码日产精品BD| 成人免费在线电影| 99爱精品| 久久婷婷六月综合| 99色在线视频| 色婷婷香蕉丁丁网| 玖玖资源在线视频| 亚洲天堂99| 日韩另类| 狠狠色综合无线观看| 久久天堂婷婷五月| 亚洲综合在线伊人婷| 【乱子伦】黄色| 天天综合网91| 99日本在线| 伊九九三级区| 综合一区二区三区| 色色99色色| 亚洲激情综合色站| 五月婷婷综合潮喷| 五月婷婷人妻| 99在线视频播放| 色婷婷久久久| 一级片操逼视频| 久久婷婷综合拍| 91黄址| 激情五月婷婷色综合| 日本九九九九| 日本狠狠爽| 激情五月激情综合网一级丸片| 国际国外精品欧洲南美洲专区无码不卡| 99视频久久免费视频| 久久这里只精品66| 色99综合视频| 午夜成人天堂久久无码日韩久久| 大地资源色婷婷视频在线| 九一牛视频探花| 久/久精品99看9| 操一操| 五月天婷婷丁香视频| 国产熟女日日骚五月丁香爱| 热五月婷婷| AA片在线观看视频在线播放| 桃色五月婷婷| 久久激情视频| 情欲综合网| 激情四射五月天偷偷看婷婷| 丁香婷婷成人网| 一本色道久久综合狠狠躁小说| 99色婷婷视频| 五月婷婷激情网| 九97免费视频| 99色啊| 亚洲无码色| 538在线精品| 9久久AV| 人人综合五月人人婷婷| 伍月婷婷六月丁香| 欧美成人va| 99免费视频| 91人人超碰在线| 婷婷综合欧美| 五月激情天| 久婷婷婷| 综合久久8| 丁香五月第九色| 婷婷五月伦理| 99re在线视频| 天天操精品| hd五月婷婷在线| 激情文学五月丁香六月婷婷| 99热热热99精品婷婷| 欧美色偷偷大香| 婷婷五月丁香影院| www超碰| 天天爽天天日| 99自拍网| 激情久久久久久久久久久| 天天爽天天| 秋霞免费三级片| 天天综合干| 9999三级片| 丁香五月六月综合激情| 亚洲经典三级| 久久aaaaa| 久久综合网免费视频| 激情五月婷婷在线观看| 亚洲日韩一页精品发布| 九九色院| 99综合| 久草婷婷视频| 另类激情五月天| 操老逼综合网| 翔田千里aV中文字幕| 伊人婷婷五月天| 狠狠99| 欧美噜噜免费观看| 色播五月天激情| 欧美性猛交99久久久久99按摩| 久久欧洲久久| 色五月大| 亚洲图片 丁香婷婷| 六月婷婷影院| 性爱视频久久| 99热欧美| 九九热精品视频| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 97电影99热| AAAA网站| 五月婷无码| 久久精品亚洲一级牲爱综合| 五月婷婷丁香综合,亚洲天堂| 五月婷婷网站| 91seAV| 婷婷五月成人有| 日本欧美成人片AAAA| 狠狠狠狠狠狠色| 操操操AV| 日本天堂免费99| 婷婷六月激情在线视频| 国产成人精品一区二三区熟女在线 | 国产精品激情AV久久久青桔| 9这里只有精品| 综合AV在线| 中文字幕无码成人电影| 亚洲欧洲午夜成人精品av| 超碰资源在线| 深爱五月激情| 久久九九99.www| 99热思思| 变态另类色图 | 超碰人人在线| 天天日人人| 天天日色情| 婷婷久久综合久色| 亚洲人成播放网站| 无码色| 六月丁香深深爱综合网| 天天日天天久久青青| 婷婷五月天激情基地| 99在线视频观看| 丁香六月婷婷| 五月刺激丁香月综合| 色五月天婷婷| 色拍九九九| 超碰免费99| 精品牛仔裤超碰| 丁香婷婷91在线观看视频| 亚洲AV成人精品日韩在线播放| 久久综合婷婷五月| 色小说婷婷五月天天天| 亚洲欧美日韩另类| 色五月丁香在线| 99热九九在线| 午夜成人综合| 激情婷婷五月在线合集| 永久精品| 色色色精品无码区| 无码少妇高潮喷水A片免费| 日日夜夜婷婷| 狠狠色五月激情| 婷婷色色色| 亚洲人妻av| 国产成人va在线| WWW、日本色丁香、co m| 欧美成人色婷婷| 97人人操人人爽| 丁香五月天激情综合| 日日干综合| 激情五月丁香六月综合AVXXXX| 狠狠色综合网| 日本婷色| 色五月色图| 99久久网站| 婷婷激情五月天激情| 国产成人在线不卡AV| 免费亚洲婷婷中文字幕| 人妻久久久久| 91se在线观看| 丁香五月狠狠在线观看| 裸体美女丁香五月天。| www.五月天色色.com| 热日韩欧美| 夜丁香综合| 99大香蕉| 9色免费网| 超碰人人操在线| 婷婷五月天在线综合| 国产日韩欧美性生活| 国产亚洲精品久久久久久牛牛| 五月天伊人久久久久| 五月丁香花伦理电影| 婷婷五月色花丁香社区| 99热国产精品| 亚洲综合99| 情涩婷婷五月天| 九九热视频首页/这里只有精品| 婷婷五月欧美| 久久机热/这里只有精品| 狠狠狠狠狠干| 天天夜夜爽| 极品人妻videosss人妻| 亚洲精品V天堂中文字幕| 9月色婷婷| 综合色色色| 热成人网| www.久久爱.com| 国产精品99久久久久久久女警| 国产 亚洲 在线| 69久久99精品久久久久婷婷| 超碰京东热av男人的天堂| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 五月婷婷色色| 国产精品国产| 大香蕉娱乐| 五月婷婷综合色啪首页| 91人人网| 婷婷在线免费| 99性感视频| 九九Av| 国产 亚洲 在线| 色情五月| 操操精品| 色爱99| 色色日本欧美| av在线婷婷| 五月丁香婷婷六月| 思思热这里只有精品| 婷婷丁香色五月| 99热这里精| 六月丁香婷婷五月天| 二色av| 九九亚洲综合| 久久婷婷五月天懂色| 色婷婷成人| 欧美 日韩 成人| 五月天成人网婷婷| 成人五月天色天堂| 婷婷五月丁香综合亚洲| 激情五月丁香五月| 天天五月香欧美| 亚洲午夜视频| 亚洲成人网站在线播放| 无码少妇高潮喷水A片免费| 99色色网| 国产VA亚洲VA96| 秋霞午夜理论| Va另类视频| 五月婷婷深爱六月| 综合婷婷五月丁香在线观看| 五月天六月婷婷| 九九干视频| 五月婷亚洲精品AV天堂| 天天干天天做| 日韩综合成人| 99在线观看| 天天日天天爽夜夜爽| 五月天色图| 91九色中文| 大香蕉九九| 综合久久人妻| 91色综合网| 综合久久99| 丁香五月性| 国产精品久久久久久久久久久久| 九九热精品视频在线观看| 久久五月激情| 丁香色六月婷婷| 九九久久综合| 亚洲狠狠爱婷婷| 五月花激情网| 激情网站五月| 热99精品视频| 九月丁香婷婷综合| 亚洲无AV在线中文字幕| 夜夜爱爱亚洲| 亚洲精品另类| 大香蕉中文| 激情 五月 婷婷 丁香| 91热在线| 婷婷97碰碰| 99国产小视频2013| 激情婷婷网| 91色色色| 操B无码视频国语| 爱穴久久| 91美女被操| 天天爽天天爽夜夜爽| 色综合色欲综合天天免费| 深爱激情丁香| 丁香五月情| 国产又粗又大又爽又黄| 六月丁香天堂| 激情五月天婷婷色色色色色色色色色色色| 97国产精品女人碰碰| 2015WWW永久免费观看播放| 日亚二欧美| 六月香五月婷| 色吧五月婷婷| 五月丁香久久激情综合| 婷婷丁香久久网| 色噜噜婷婷| 色五月激情问网站| 五月婷婷婷丁香播| 强辱丰满人妻HD中文字幕| 91久久综合亚洲噜噜成人在线 | 免费AV播放| www.久久久久久久久久.com| 97碰在线视频| 欧美丁香五月天| 99A级片| 婷婷99视频全集高清| 99热网精品| 丁香五月婷婷久久久| 桃色激情五月天| 极品五月天| 亚洲熟妇无码乱子AV电影| 中文字幕 中文字幕明步| 五月丁香六月成人| 亚洲中文乱字字幕在线永久| 大伊香蕉精品视频在线| 日本色99| 99热官网精品在线| 日韩人妻无码专区| 婷婷九月丁香中文| 狠狠va| 色狠狠综合| 五月天婷婷基地| 五月亭亭欧美女人| 99丁香五月婷| 夜夜骑夜夜操| 两性婷婷丁香五月| 色婷婷最爱五月| 91午夜激情| 久久免费高| 在线另类视频| www.刺激色网站www.| 色婷婷色情| 色色色热| 日亚二欧美| 精品99网站| 激情WWW| www.色擼擼.com| 丁香六月综合激情| 蒲京久久无码视频| 欧美综合婷婷网| 日本色爽| 久久九九经典| 狠狠狠狠狠狠草| 色色色色色色色色色色色色色97| 99热草草| 国产精品A片| 婷婷五月丁香第四色超碰在线| 亚洲另类电影| 色婷婷九月| 99九九热在线观看| 狠狠干在线视频| 人妻丰满精品一区二区A片| 老司机午夜福利视频金瓶梅| 综合色99| 五月丁香网av| 亚洲综合五月天| .comwww在线观看免费操| 五月激情久久综合网| 亚洲色婷婷五月天| 97婷婷狠狠久久综合9色| 色婷婷色五月丁香| 99热九九热| 激情综合五月| 79精品视频| 五月天色五月| 久久五月天激情视频| 九九精品免费| 爱爱色五月天| 成片免费播放| 色久婷婷五月| 欧美日韩中文国产一区发布| 五月天色婷婷视频| 天天色宗合| 久久丁香五月婷婷激情综合网| 婷婷久久综合| 日韩欧美五月丁综合| 97久久超碰| 四虎婷婷五月天| 亚洲精品V天堂中文字幕 | xxxx五月| www.henhengan| 激情亚洲婷婷| 婷婷色婷婷| 日韩精品无码AV| WWW.99视频| 五月丁香日逼| 六月婷婷av| 亚洲操B视频| 色综合久久88色综合天天99| 五月久久丁香| 婷婷在线激情| 久久婷综合| 天天拍天天操| 国产片天天爽夜夜爽| 久久久国产精品黄毛片| 五月丁香欧美综合| 五月婷中文字幕| WWW99热| 97色色色色色色色| 色五月丁香com| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 色婷婷五月天偷拍| 色色色色热| 激情综合婷婷久久| 五月丁香啪| 他改变了拜占庭| 噼里啪啦在线观看免费完整版视频| 激情婷婷丁香色五月| 九月激情婷婷丁香| 激情色情五月天| 午夜丁香 婷婷| 久婷| 久操婷婷| 午夜不卡久久精品无码免费 | 欧美毛片www| 日本一级黄色片。| 最新午夜理论片| 综合五月激情| 丁香五月婷婷骚视屏| 影音先锋AV资源男人站| 99福利导航| 91成人品| 国产成人片| 色五月播五月| 天天肏屄夜夜爽| 99人人精品| 9热精品| 亚洲视频色色| 色www.con| www.色五月| 91seav| 啄木鸟丝袜美女福利视频| 婷婷综合激情| 91热手机在线| 丁香五月综合| 天天久| 五月天六月天| 操人无码| 97碰操| 久久人妻熟女一区二区 | 婷婷六月偷拍| 99精品在这里| 大香蕉伊人99| 日韩成人影片网站| 亭亭五月丁香五月天激情| 综合激情在线视频| 天天日天天爽| 久热99热| 丁香六月婷婷综合网| 五月天激情久久| 亚洲色无码A片一区二区麻豆| 日韩精品一区二区亚洲AV观看 | 依人大香蕉| 欧美va| 99精品热视频只有精品10| 99热热热国产超碰| 色色a| 亚洲激情精品| 久久九九99字幕| 激情都市另类| 狠狠色色| 2017人人操| 欧美婷婷综合| 无码髙清| 婷婷五月天丁香久久| 激情综合五月色丁香婷婷 | 99热这里只有精品1025| 在线不卡的视频| 五月天婷婷婷| 婷婷五月亚洲一本在线丁香| 天天综合网亚洲综合网| 91狠狠色色丁香婷婷综合久久| 天天舔天天摸天天透| 狠狠婷婷爱| 天天爱天天做天天舔| 久久丁香五月天| www.婷婷,com| 六月激情网| 婷婷深爱五月天| 欧美色久| 色色综合视频| 好好干Av| 六月婷婷色综合| 97香蕉久久超级碰碰高清版 | 99思思| www.夜夜.com| 色色色色色色97| 久操大香蕉| 色婷婷色和| 开心五月婷婷伊人| 色色99| AV九九| 超碰色色综合| 99热最新精品| 97九色视频| 巴基斯坦粉嫩无码视频| 99爱视频在线免费观看| 五月婷婷成人w| 五月总合激情网| 成人婷婷色综合| www.色99| 性爱综合网| 99在线精品免费视频| 亚洲人妻av| 激情五月天天狠狠久久| 丁香激情五月天| 99热天堂| 婷婷精品在线| 日韩亚洲视频| 天天综合色| 五月天激情网址| 99这里只有精品在线| 欧美丁香五月天| 五月天激情无码专区| 婷婷久久五月天| 91色五月| 91se在线视频| 国产在这里只有精品| 极品人妻VIDEOSSS人妻| 97色干| 五月婷婷六月色| 无码 av电影| 人人操人人看97干| 人人操大| 丁香五月在线自慰| 日本三级毛片| 天天肏视频| 久久婷婷五月综合97色一本| 欧美日韓成人亚洲精品另类| 欧美激情综合色丁香婷婷五月天| 色综合天天网| dingxiangtingtingliuyue| 婷婷丁香人妻| 久热网站| 精品少妇蜜臀91| 直接看的AV| 超碰大香蕉网| 国产精自产拍久久久久久蜜 | 在线免费观看激情视频| 1024操逼视频| 丁香五月狠狠在线观看| Av在线资源| 91超碰在线播放| 婷婷色播六月无码| 色五月激情网| 九九热在线观看视频| 99热这里只有精品4| 91精品婷婷国产综合久久| 91碰碰| 亚洲国产精品VA在线看黑人| 青柠影视免费高清电视剧| 婷婷最新地址| 五月丁香六月婷婷成人| 久久婷婷五月天激情四射| 色婷婷久久综| 色婷婷在线视频久| 婷婷天天日婷婷| 五月婷色| 五月婷婷大香蕉| 日韩久久成人| 在线观看av网站| 深爱激情网婷婷| 欧洲免费视频色| 婷婷丁香五月综合网上| a在线观看| 九九婷婷热| 第2色五月婷| 很很干天天干| 六月天婷婷| 影音先锋女人AA鲁色资源| 无码色综合| 欧美天天爽| 色五月视频无码播放| 国产精品热搜丁香五月婷婷| 婷婷激情九月| 中文字幕高清av| 免费在线a| 久热这里只有精品在线观看| 思思精品久久艹| 99久久成人| 99热在这里只有精品| 五月色激情综合网| 丁香综合伊人AV| 色色色国产| 开心激情站| 嫩草视频在线观看| 丁香色综合| 欧美激情性做爰免费视频| 亚洲99精品欧美一区| 五月婷啪| 五月婷婷中文网| 婷婷香五月天| www.丁香六月婷婷久久天堂影院.con| 原琪琪色影院| 九九热在这里只有精品| 99热这里只有精品一区| 丁香婷婷网| 玖玖九九超碰| 激情六月丁香综合| 丁香五月天堂| 婷婷五月激情四射手| 99久热这里有精品| 中文AV在线观看| 伊人喵咪a V| 草草影院爱爱| 黄网免费看| 丁香久久五月婷综合| 久久曰9| 婷婷六月丁香色| 99色色网| 九月大香蕉| 色婷婷五月天小说网| 99热免费| 任我肏| 影音先锋色婷婷| 狠狠综合色网| 久久色情| 天天揷综合网| 影音先锋xfplay资源男人网| 色色色色热| 久久久99婷婷久久久久久| 美女要搞搞天天搞搞搞网站| 99爱在线免费视频| 天天日色情| 丁香激激情网| 婷婷色五月丁香六月欧美啪| 伊人九九68| 五月色婷婷影院| 五月丁香婷中文字幕 | 99这里只有精彩视频| 六月婷婷五月天| 99热在线网站| 久久机热这里只有 | 停停六月 综合| 色色吧综合| 久久婷婷亚洲| 黄色片avv| 久久综合激情五月天| 天天插天天干| 五月婷婷色播| 操操操AV| 色色色999| 另类色视频| 亚洲中文字幕在线观看| 婷婷五月天亚洲天堂| 丁香五月欧美| 婷婷 激情 五月| 日本不卡一区二区三区| 四色综合网| 婷婷激情九月| 久九色| 狠狠狠狠狠狠| 五月激情丁香六月狠狠干| www.色九月| 91一起操| 天天操天天曰| 久久xx| 亚洲综合激情五月久久| 五月色情婷婷开心五月色情| 99色天堂| 天天色五月| 国产成人AV不卡| 99爱视频在线| 99热综合色图| 色婷五月天| 六月婷伊人| 91re色综合视频| 5月婷婷6月六月丁香| ..真实国产乱子伦对白在线_欧| 99爱这里只有精品| 欧美婷婷丁香社区在线播放| 色狠狠综合| 超碰在线成人| 性生活久久人妻| 视频久久9| 色XX综合网| 国产色视频网站2| www.久久久.com| 天天综合五月| 九九色影院| 狠狠干综合网| 五月丁香好婷婷A片网| 狼人婷婷综合| 婷婷丁香午夜综合影视| 热久久这里只有精品| 婷婷丁香激情| 丁香五月手机在线| 久久激情五月天| 五月天色婷伊人| 丁香五月天社区婷婷| 91精品久久久久久久| 六月丁香深深爱|