欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Elasticsearch+Canal搭建優(yōu)惠券搜索架構(gòu):從MySQL同步到毫秒級(jí)查詢優(yōu)化

Elasticsearch+Canal搭建優(yōu)惠券搜索架構(gòu):從MySQL同步到毫秒級(jí)查詢優(yōu)化 周末大促那幾天優(yōu)惠券APP的用戶突然涌入首頁(yè)搜一下“某品牌券”服務(wù)端平均延遲直接飆到2.3秒第5頁(yè)之后翻頁(yè)基本超時(shí)。這大概是所有做優(yōu)惠券聚合類APP都會(huì)撞上的墻不是單個(gè)查詢慢而是多維度組合篩選下的全文檢索慢。我當(dāng)時(shí)接手這個(gè)性能優(yōu)化第一步就想給MySQL加索引、上緩存搞了一圈發(fā)現(xiàn)只是治標(biāo)。真正把方案落到Elasticsearch以下簡(jiǎn)稱ES和Canal的搭配上搭了一條MySQL→binlog→Canal→Kafka→ES的增量同步管道再對(duì)查詢層做了filter緩存、聚合預(yù)計(jì)算和深分頁(yè)改造單次搜索穩(wěn)定壓在20ms上下。這篇文章就把這條鏈路從頭講一遍適合正在做商品/優(yōu)惠券/本地生活檢索的同學(xué)參考也適合剛接觸ES和同步組件的后端工程師抄作業(yè)。1. 優(yōu)惠券搜索場(chǎng)景到底難在哪里不只是“查得快”這么簡(jiǎn)單1.1 多條件疊加一次搜索背后藏著多少約束先還原一下優(yōu)惠券APP里的真實(shí)查詢形態(tài)。用戶搜“火鍋”的時(shí)候系統(tǒng)要同時(shí)滿足類目是“生活服務(wù)-美食-火鍋”價(jià)格區(qū)間在20到200之間折扣力度必須是滿100減50或5折券商家評(píng)分不低于4.5還需要按“最多人領(lǐng)券”排序。這還沒(méi)算地理位置用戶可能在杭州想把附近3公里內(nèi)的可用券也篩出來(lái)。把這些條件拆開(kāi)后你會(huì)發(fā)現(xiàn)任何單一條件都不難難在組合。MySQL應(yīng)對(duì)這種查詢時(shí)最常用的是建聯(lián)合索引。(類目, 價(jià)格, 折扣力度)這組索引可能可以覆蓋部分場(chǎng)景但只要條件里加上評(píng)分、距離或者領(lǐng)券人數(shù)排序索引就開(kāi)始失效優(yōu)化器要么走某個(gè)條件后回表要么干脆全表掃。加上優(yōu)惠券商品表的行數(shù)往往上千萬(wàn)甚至上億聚合后的結(jié)果集又大分頁(yè)深度超過(guò)100頁(yè)時(shí)索引的作用基本為零。合作方那邊偶爾還要求模糊搜索比如輸“海底撈”結(jié)果匹配“海底撈火鍋”輸“公斤”要能搜到“kg”。這種同義詞、拼音、錯(cuò)別字糾錯(cuò)的需求MySQL的LIKE %關(guān)鍵字% 根本接不住。這不是加個(gè)索引能解決的問(wèn)題而是索引模型和查詢模型都不是為這個(gè)場(chǎng)景設(shè)計(jì)的。1.2 MySQL的B樹(shù)索引與ES倒排索引的先天差異要想理解為什么最后選了ES而不是繼續(xù)堆MySQL得先把兩種數(shù)據(jù)結(jié)構(gòu)的差異講透。MySQL的B樹(shù)索引就像一本書(shū)的目錄告訴你某個(gè)詞在哪些頁(yè)碼但如果你要查找“第3章第2節(jié)里包含‘圖例’且頁(yè)數(shù)少于20頁(yè)”的內(nèi)容目錄只能分頭查到相關(guān)頁(yè)碼范圍然后你去取交集這個(gè)交集可能大得嚇人因?yàn)槟夸浿挥许?yè)級(jí)粒度沒(méi)有段落級(jí)粒度。優(yōu)惠券查詢里的“類目、價(jià)格、折扣、評(píng)分”就相當(dāng)于不同的頁(yè)碼條件組合起來(lái)后回表讀取所有候選商品行再做內(nèi)存過(guò)濾和排序自然慢。ES的倒排索引則是一張?jiān)~條到文檔ID列表的映射表。比如“火鍋”這個(gè)詞由分詞器提前拆出來(lái)它對(duì)應(yīng)一份包含“火鍋”的所有商品ID列表。多個(gè)查詢條件就是多個(gè)倒排列表ES用高效的集合運(yùn)算把結(jié)果算出來(lái)全程都是位圖、跳表這類批量操作不需要逐行掃描。更關(guān)鍵的是ES天然支持相關(guān)性打分、短語(yǔ)匹配、同義詞擴(kuò)展、拼音前綴等能力這些都是MySQL需要寫(xiě)大量代碼才能模擬出來(lái)的。我并不是說(shuō)ES能完全替代MySQL它的角色是搜索加速層MySQL繼續(xù)扮演事實(shí)數(shù)據(jù)源和事務(wù)系統(tǒng)。ES只存搜索需要的字段不存大字段、不存復(fù)雜關(guān)系單條文檔干脆利落這才能保證毫秒級(jí)返回。2. 數(shù)據(jù)從MySQL流向ElasticsearchCanal鏈路全解析2.1 binlog監(jiān)聽(tīng)原理與Canal的定位數(shù)據(jù)同步方案很多為什么選Canal這類binlog監(jiān)聽(tīng)方案而不是雙寫(xiě)或者定時(shí)任務(wù)雙寫(xiě)的問(wèn)題在于業(yè)務(wù)代碼侵入性太強(qiáng)每次商品變更都要同時(shí)改MySQL和ES任何一處漏寫(xiě)就會(huì)造成數(shù)據(jù)不一致。定時(shí)任務(wù)的問(wèn)題更明顯要么延遲高要么效率低全量掃描一次幾千萬(wàn)行對(duì)數(shù)據(jù)庫(kù)壓力很大在夜里跑還會(huì)拖累其他業(yè)務(wù)。Canal做的事情本質(zhì)上就是偽裝成MySQL的一個(gè)slave節(jié)點(diǎn)申請(qǐng)binlog日志然后按MySQL主從復(fù)制協(xié)議把更新流接過(guò)來(lái)。MySQL只要能配置主從復(fù)制Canal就能工作業(yè)務(wù)側(cè)完全無(wú)感。這一步最關(guān)鍵的是binlog格式必須是ROW模式只有ROW模式才記錄每行變更前后的完整數(shù)據(jù)Canal才能還原出“哪個(gè)ID更新成什么值”這種結(jié)構(gòu)化事件。為了消費(fèi)穩(wěn)定典型拓?fù)涫荂anal把解析出來(lái)的變更事件投遞到Kafka再用獨(dú)立的消費(fèi)服務(wù)批量寫(xiě)入ES。這樣的好處是Kafka做緩沖即使ES短暫抖動(dòng)消費(fèi)端也不會(huì)把消息丟掉同時(shí)消費(fèi)速率可以自己控制寫(xiě)入ES時(shí)能攢一批走bulk批量接口比單條寫(xiě)高效得多。2.2 實(shí)際部署配置從binlog開(kāi)啟到消費(fèi)端寫(xiě)入先確保MySQL服務(wù)端開(kāi)啟了log_bin同時(shí)設(shè)置server_id為一個(gè)不會(huì)與現(xiàn)有主從機(jī)器沖突的唯一值不能改成和庫(kù)內(nèi)其他實(shí)例一樣的數(shù)字。開(kāi)啟后需要專門(mén)給Canal建一個(gè)賬號(hào)權(quán)限建議控制在SELECT、REPLICATION SLAVE、REPLICATION CLIENT這三項(xiàng)別直接給全局所有權(quán)限生產(chǎn)環(huán)境安全還是要守住的。創(chuàng)建賬號(hào)的SQL大致是這樣CREATE USER canal% IDENTIFIED BY your_password; GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO canal%; FLUSH PRIVILEGES;接下來(lái)在Canal的instance.properties里配置數(shù)據(jù)源和監(jiān)聽(tīng)規(guī)則canal.instance.master.address127.0.0.1:3306 canal.instance.dbUsernamecanal canal.instance.dbPasswordyour_password canal.instance.connectionCharsetUTF-8 canal.instance.filter.regexproduct_db\\.coupon_productfilter.regex這里我建議精確匹配到業(yè)務(wù)表而不是監(jiān)聽(tīng)整個(gè)庫(kù)否則所有表的變化都會(huì)涌進(jìn)來(lái)白白消耗解析與傳輸資源。需要監(jiān)聽(tīng)多張表時(shí)用逗號(hào)分開(kāi)比如product_db\\.coupon_product,product_db\\.merchant。Canal拿到變更后如果選擇推給Kafka在canal.properties里配置adapter或者直接使用客戶端模式都可以。更常見(jiàn)的是用Canal的Tcp模式開(kāi)發(fā)一個(gè)簡(jiǎn)單的客戶端這個(gè)客戶端收到的是序列化的消息對(duì)象里面包含tableName、eventTypeINSERT/UPDATE/DELETE、以及before和after的數(shù)據(jù)Map。消費(fèi)端的核心邏輯很直接大致是解析事件類型如果是INSERT或者UPDATE就構(gòu)造ES的upsert請(qǐng)求用主鍵ID作為文檔ID如果是DELETE就調(diào)用ES的delete接口。每次攢夠一定數(shù)量或到時(shí)間閾值就執(zhí)行一次bulk提交我這里用的是每批2000條或每500ms刷一次線上跑下來(lái)寫(xiě)入速率很穩(wěn)定。2.3 數(shù)據(jù)一致性版本號(hào)與冪等更新同步鏈路最容易出問(wèn)題的不是千篇一律的插入而是更新順序。比如一個(gè)商品在很短時(shí)間內(nèi)被改了三次三條變更事件幾乎同時(shí)到達(dá)Kafka消費(fèi)端并發(fā)去寫(xiě)同一份ES文檔如果先寫(xiě)后寫(xiě)的順序亂了ES里最終存的可能是舊數(shù)據(jù)。解決這個(gè)問(wèn)題的關(guān)鍵是每一張業(yè)務(wù)表都要有單調(diào)遞增的update_time或者版本號(hào)。ES文檔里把這個(gè)字段存成long類型消費(fèi)端在寫(xiě)之前做一次“版本校驗(yàn)”如果ES里已有文檔的版本號(hào)大于等于當(dāng)前變更事件的版本號(hào)就跳過(guò)這次更新否則才用當(dāng)前數(shù)據(jù)覆蓋。具體實(shí)現(xiàn)可以在ES文檔里加入_meta.version字段{ id: 10001, name: 海底撈100元券, category_id: 120, price: 88.00, update_time: 1678543200 }在upsert腳本里如果當(dāng)前ctx._source.update_time params.update_time就執(zhí)行更新否則返回noop這樣即使消費(fèi)并發(fā)也不會(huì)出現(xiàn)舊寫(xiě)新覆蓋的情況。3. 商品索引建模把“毫秒級(jí)查詢”做出來(lái)的核心3.1 Mapping設(shè)計(jì)一個(gè)追求檢索速度的多字段組合索引模型定得好不好直接決定了查詢是幾個(gè)毫秒還是幾百毫秒。優(yōu)惠券商品搜索需要支撐文本搜索、精確篩選、范圍篩選、地理位置篩選和排序我的做法是采用經(jīng)典的“寬表設(shè)計(jì)”把每個(gè)檢索維度都獨(dú)立成一個(gè)字段而不是塞在一個(gè)大JSON里。核心Mapping長(zhǎng)這樣{ mappings: { properties: { id: { type: keyword }, name: { type: text, analyzer: ik_max_word, fields: { keyword: { type: keyword } } }, brand_name: { type: keyword }, category_id: { type: keyword }, price: { type: scaled_float, scaling_factor: 100 }, discount_rate: { type: keyword }, merchant_score_level: { type: keyword }, coupon_type: { type: keyword }, sales_total: { type: long }, location: { type: geo_point }, update_time: { type: long } } } }name字段采用中文分詞器這里用ik_max_word是想盡可能多切出詞配合match查詢召回全而name.keyword字段用于精確匹配或排序比如“按名稱排序”的罕見(jiàn)需求??赡苡型瑢W(xué)會(huì)問(wèn)為什么不把類目設(shè)為long或者把價(jià)格設(shè)為double在ES里數(shù)值類型的倒排索引和范圍查詢性能其實(shí)不差但keyword類型在filter上下文中走的是位圖配合緩存效果更好。尤其像discount_rate這種可枚舉的離散值用keyword天然適合做聚合和過(guò)濾。3.2 空間換時(shí)間預(yù)計(jì)算維度與字段降級(jí)剛開(kāi)始做的時(shí)候我一度想把所有條件都在查詢時(shí)實(shí)時(shí)計(jì)算比如“折扣力度大于7折”用range查詢“商家評(píng)分大于4分”用range查詢。后來(lái)壓測(cè)發(fā)現(xiàn)這種自由range雖然靈活但會(huì)讓filter緩存復(fù)用率很低因?yàn)橛脩舻脑u(píng)分閾值可能變化很大很難命中緩存。于是我們改用預(yù)計(jì)算字段上線前在數(shù)據(jù)加工階段把商品按價(jià)格切成price_bucket比如low(0-50)、mid(50-200)、high(200-1000)把商家評(píng)分切成score_high、score_mid等幾個(gè)檔位。查詢時(shí)直接對(duì)price_bucket做term過(guò)濾而不是對(duì)price做range過(guò)濾。這樣改動(dòng)之后效果非常明顯因?yàn)閠erm過(guò)濾的位圖計(jì)算幾乎可以忽略不計(jì)。誠(chéng)然多一個(gè)字段就多一份存儲(chǔ)但換來(lái)的是更穩(wěn)定的查詢時(shí)延。結(jié)合優(yōu)惠券場(chǎng)景用戶對(duì)價(jià)格區(qū)間本來(lái)也是大致看的真正需要精確價(jià)格范圍的場(chǎng)景非常少損失一點(diǎn)精確性換取性能性價(jià)比很高。地理位置字段我用了geo_point類型配合geo_distance查詢過(guò)濾周圍3公里。由于地理距離計(jì)算相對(duì)較重我們?cè)贓S里也預(yù)存了city_id字段先按城市粗篩再用真正的距離精篩這樣大部分請(qǐng)求在城市維度就打住了距離計(jì)算只發(fā)生在同一個(gè)城市內(nèi)的少量候選集上。4. 查詢優(yōu)化三板斧真正把檢索速度壓下去4.1 用filter替代query讓緩存和位集做主力很多剛接觸ES的同學(xué)寫(xiě)查詢時(shí)喜歡把所有條件都用query上下文包起來(lái)例如{ query: { bool: { must: [ { match: { name: 火鍋 } }, { range: { price: { gte: 20, lte: 200 } } } ] } } }這里面其實(shí)有一個(gè)大坑range在query上下文會(huì)被當(dāng)成詞項(xiàng)參與相關(guān)性打分還要單獨(dú)算一個(gè)norm效率并不理想。更麻煩的是ES的query cache和filter cache是兩套緩存query上下文里的條件普遍很少被緩存復(fù)用。正確做法是把結(jié)構(gòu)化條件全部放進(jìn)filter上下文{ query: { bool: { must: [ { match: { name: 火鍋 } } ], filter: [ { term: { category_id: 120 } }, { term: { price_bucket: mid } }, { term: { merchant_score_level: high } }, { term: { city_id: hangzhou } }, { geo_distance: { distance: 3km, location: { lat: 30.27, lon: 120.15 } } } ] } } }filter上下文內(nèi)的每個(gè)子查詢都會(huì)被ES緩存成一個(gè)獨(dú)立的位集下次遇到完全相同的條件直接用位集取交集不再重復(fù)計(jì)算。在我們的場(chǎng)景里city_id和coupon_type是復(fù)用率最高的條件第二個(gè)請(qǐng)求開(kāi)始基本就是內(nèi)存位運(yùn)算P99能再壓好幾毫秒。4.2 商品維度聚合用terms和composite替代實(shí)時(shí)掃描除了查詢結(jié)果APP首頁(yè)往往還要展示每個(gè)類目下的券數(shù)量、滿減檔位的分布。直接在ES里對(duì)全量商品做一次agg返回結(jié)果當(dāng)然沒(méi)問(wèn)題但每次請(qǐng)求都觸發(fā)一次聚合掃描開(kāi)銷不小。我們的做法是分兩級(jí)第一級(jí)在查詢主索引用terms聚合拿幾個(gè)常用的key比如類目、折扣檔位因?yàn)镋S的terms聚合可以直接讀取正排doc_values速度已經(jīng)很快只要?jiǎng)e在高基數(shù)字段上做深聚合就行比如“按商品ID聚合”這種千萬(wàn)級(jí)不同值的必須堅(jiān)決避免。第二級(jí)對(duì)于首頁(yè)全局頻道的那種大通欄我們會(huì)用一個(gè)單獨(dú)的小索引或者Redis緩存提前算好“每個(gè)城市每天發(fā)券數(shù)量Top10”每10分鐘刷新一次。這樣首頁(yè)頻道打開(kāi)時(shí)連ES都不用查直接走Redis幾乎零耗時(shí)。結(jié)論是聚合能避開(kāi)就避開(kāi)不能避開(kāi)的盡量用低梯度聚合再往上層用緩存擋住高流量。4.3 深分頁(yè)改造search_after才是真實(shí)選項(xiàng)很快你就會(huì)發(fā)現(xiàn)ES的fromsize一旦超過(guò)1萬(wàn)會(huì)直接報(bào)錯(cuò)即使不報(bào)錯(cuò)翻頁(yè)越深代價(jià)也越大因?yàn)槊看味家?jì)算全局排序后丟掉前from個(gè)結(jié)果。優(yōu)惠券APP的場(chǎng)景里用戶基本上不會(huì)翻超過(guò)10頁(yè)但我們依然要防住尾部流量和爬蟲(chóng)。我的改造方案是第一頁(yè)仍用普通的fromsize可以接受但從第二頁(yè)開(kāi)始前端傳回上一頁(yè)最后一條商品的排序字段值集合后端使用search_after來(lái)續(xù)接。例如上一頁(yè)最后一條商品按銷量排序的值是4650查詢下一頁(yè)就帶上{ query: { ... }, sort: [ { sales_total: desc }, { _id: desc } ], search_after: [4650, 10001], size: 20 }注意search_after必須依賴穩(wěn)定的排序主鍵我習(xí)慣在sales_total后面追加_id作為二級(jí)排序防止兩個(gè)商品銷量相同導(dǎo)致翻頁(yè)錯(cuò)亂。另外還有一個(gè)隱藏的好處search_after查詢不會(huì)像深分頁(yè)那樣在協(xié)調(diào)節(jié)點(diǎn)消耗大量?jī)?nèi)存它天然只需要維護(hù)一個(gè)小窗口。5. 性能壓測(cè)與實(shí)戰(zhàn)調(diào)優(yōu)從200ms到20ms的路徑5.1 壓測(cè)場(chǎng)景設(shè)計(jì)與核心指標(biāo)優(yōu)化有沒(méi)有效不能只看平均延遲必須用P90、P95、P99和TPS來(lái)驗(yàn)收。我們壓測(cè)時(shí)模擬了200個(gè)并發(fā)用戶查詢條件分布刻意做得比較真實(shí)50%的請(qǐng)求是“關(guān)鍵詞類目?jī)r(jià)格區(qū)間”的組合30%是純關(guān)鍵詞搜索剩下的20%是只按類目或城市篩選。這樣能和線上用戶行為基本對(duì)上不然只跑一個(gè)最簡(jiǎn)單查詢壓出來(lái)的數(shù)據(jù)沒(méi)有任何參考價(jià)值。最初階段的結(jié)果非常有代表性MySQL老接口的P95是1400msTPS只有400左右換成ES之后第一版還沒(méi)做三維打法的P95是80msTPS到了2000做完filter上下文和預(yù)計(jì)算字段后P95直接掉到25msTPS穩(wěn)定在5000以上。這個(gè)對(duì)比不是為了證明MySQL差而是想說(shuō)明架構(gòu)層優(yōu)化比SQL層優(yōu)化帶來(lái)的數(shù)量級(jí)提升更顯著。5.2 慢查詢拆解profile API告訴我們瓶頸都在哪壓測(cè)過(guò)程中出現(xiàn)過(guò)幾次波動(dòng)明明只有20ms左右的查詢偶爾會(huì)突然飆到200ms。這時(shí)候我打開(kāi)了ES的profileAPI一條慢請(qǐng)求的詳細(xì)耗時(shí)段立刻暴露出來(lái)。有段時(shí)間慢主要卡在build_scorer階段原因是某個(gè)篩選字段是高基數(shù)的keyword比如merchant_id直接拿來(lái)過(guò)濾雖然能過(guò)濾掉大部分?jǐn)?shù)據(jù)但構(gòu)建位集的成本很高。后來(lái)改成對(duì)merchant_id做“范圍歸一化”預(yù)計(jì)算生產(chǎn)一個(gè)merchant_size_level字段把商家按商品數(shù)量分成大中小幾檔過(guò)濾這個(gè)字段后就快非常多。還有一次是中文分詞器在單次查詢中被觸發(fā)了太多詞項(xiàng)。原因是我用了match_phrase來(lái)搜索商品名用戶輸入“麻辣小龍蝦”時(shí)倒排表合并的詞項(xiàng)非常多導(dǎo)致fetch階段從磁盤(pán)取原始文檔的時(shí)間變高。最后我改成同時(shí)保留match召回寬結(jié)果和match_phrase做精排——先用match拿到候選集再對(duì)候選集按短語(yǔ)匹配重算分?jǐn)?shù)而不是把所有詞項(xiàng)放在一個(gè)查詢里硬扛。5.3 集群參數(shù)與寫(xiě)入優(yōu)化Refresh、堆內(nèi)存與批量很多優(yōu)化是發(fā)生在查詢之前寫(xiě)入側(cè)的參數(shù)直接決定查詢時(shí)的數(shù)據(jù)布局。ES默認(rèn)refresh_interval是1s這個(gè)對(duì)近實(shí)時(shí)搜索足夠但大批量同步時(shí)每1秒就會(huì)生成一個(gè)分段分段多了之后查詢要在多個(gè)分段上取結(jié)果反而變慢。我把商品索引的refresh_interval在增量峰值時(shí)段調(diào)成30s配合bulk批量寫(xiě)入分段數(shù)量大大減少。用戶對(duì)新增券時(shí)效性的容忍度一般在分鐘級(jí)30s這個(gè)值完全夠用。JVM堆內(nèi)存我給了32GB單機(jī)物理內(nèi)存64GB這個(gè)比例正好能把es的filter cache、segment cache的都裝進(jìn)內(nèi)存。如果給小了頻繁GC對(duì)耗時(shí)的沖擊非常明顯如果給太大又會(huì)讓OS層的文件緩存被嚴(yán)重?cái)D壓反而得不償失。另外indices.queries.cache.size我設(shè)置為堆的10%并觀察filter cache命中率命中率低于50%時(shí)優(yōu)先檢查是不是條件寫(xiě)法不統(tǒng)一而不是簡(jiǎn)單加大緩存。6. 同步鏈路里那些防不勝防的坑6.1 binlog格式設(shè)置與主從沖突有一次我們把一個(gè)新商品表接入監(jiān)聽(tīng)結(jié)果Canal一直報(bào)Table xxx doesnt exist排查了半天才發(fā)現(xiàn)MySQL里binlog_format仍然是STATEMENT而不是ROW。STATEMENT格式只記錄SQL語(yǔ)句Canal沒(méi)法解析出變更行數(shù)據(jù)自然什么都拿不到。切換binlog格式不能隨意執(zhí)行SET GLOBAL必須修改配置文件并重啟MySQL否則只對(duì)之后的新會(huì)話生效存量數(shù)據(jù)同步依然拿不到。還有一個(gè)小坑是Canal的slaveId片不能和MySQL現(xiàn)有從庫(kù)的server_id重復(fù)重復(fù)會(huì)導(dǎo)致MySQL報(bào)錯(cuò)并終止復(fù)制鏈路這是最容易被忽略的也是新加實(shí)例最常踩的坑。6.2 延遲放大與消費(fèi)壓力告警同步鏈路里的延遲問(wèn)題分為兩種Canal到Kafka的延遲Kafka到ES消費(fèi)端的延遲。前者如果長(zhǎng)期在高位一般說(shuō)明Canal解析速度跟不上可以適當(dāng)調(diào)大Canal的批大小后者如果積壓嚴(yán)重先別急著加消費(fèi)者線程看看ES的bulk寫(xiě)入有沒(méi)有報(bào)rejected_execution。我們的告警策略是在每條事件里帶上MySQL的update_time消費(fèi)端記錄當(dāng)前時(shí)間并算出差值如果落后超過(guò)2分鐘觸發(fā)P2告警。超過(guò)10分鐘就觸發(fā)P1因?yàn)檫@已經(jīng)說(shuō)明增量鏈路斷了用戶看到的搜索結(jié)果是舊數(shù)據(jù)。剛開(kāi)始上線時(shí)這種告警救了我好幾次有一次Kafka的某個(gè)分區(qū)因?yàn)榇疟P(pán)滿被限流延遲悄悄拉高到5分鐘搜索引擎還在照常響應(yīng)而這個(gè)告警幫我兜住了底。6.3 全量增量的雙通道恢復(fù)方案不管Canal鏈路設(shè)計(jì)得多嚴(yán)謹(jǐn)總有全量重建索引的時(shí)候比如突然發(fā)現(xiàn)一段時(shí)間內(nèi)線上數(shù)據(jù)有遺漏或者索引Mapping需要大改。我們習(xí)慣的做法是保留一條全量同步通道平時(shí)不用但隨時(shí)可以拉起。具體流程是先從MySQL導(dǎo)出一份全量數(shù)據(jù)快照用離線任務(wù)寫(xiě)入到ES的臨時(shí)索引寫(xiě)完臨時(shí)索引后再把當(dāng)天開(kāi)始累積的增量事件按版本號(hào)合并過(guò)去最后通過(guò)別名切換把線上流量從舊索引切到新索引。切換別名的操作可以在ES里用原子接口完成{ actions: [ { remove: { index: old_index, alias: product_search } }, { add: { index: new_index, alias: product_search } } ] }這套雙通道方案的好處是重建期間舊索引繼續(xù)服務(wù)不會(huì)出現(xiàn)搜索中斷。整個(gè)切換過(guò)程有5秒左右的流量緩沖配合消費(fèi)端繼續(xù)消費(fèi)增量事件保證切換時(shí)間點(diǎn)前后的數(shù)據(jù)一致。我建議任何做CanalES同步的團(tuán)隊(duì)都要提前演練一次全量切換這比出故障時(shí)再臨場(chǎng)設(shè)計(jì)靠譜得多。最后再提醒一句性能優(yōu)化沒(méi)有銀彈ES和Canal只是我所在場(chǎng)景下的解法。如果你的數(shù)據(jù)量、查詢模型或者更新頻率和優(yōu)惠券APP不一樣完全可以參考這里的思路換用其他框架但幾件事是通用的——先搞清楚查詢約束再做索引和查詢適配然后讓數(shù)據(jù)同步鏈路做到可觀測(cè)、可恢復(fù)。只有這樣所謂毫秒級(jí)響應(yīng)才不是一個(gè)演示Demo而是真能扛住大促流量的生產(chǎn)事實(shí)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
殴美97色| 五月婷婷九九热| 九月色婷婷婷| 99色综合网| 超碰在线人人| 天天做天天爱天天高潮| 成人丁香婷婷五月天| 丁香五月婷综合| 婷婷操超碰| 男女99免费视频| 色婷婷综合网站| 97干免费视频| 99久久婷婷国产综合精品草原| 99热欧| 日日干四虎| 啪啪啪啪五月天| 天天综合网~91| 天天综合色| 高清不卡一区| 天天日天天久久青青| 国产精品色婷婷AV综合色色| 久久人人看| 色综合99| 涩婷婷五月天| 欧美色图45678| 亚洲爆乳无码精品AAA片蜜桃| 综合狠狠五月婷婷| WWW·色色色·COM| 啪啪91| 视色综合| 婷婷永久在线| 区欧美日韩成人| 五月婷在线| 人妻性爱av网站| 婷婷五月天桃花网| 色五月婷婷老师| 66精品国产成人| 男女啪啪做爰高潮无遮挡| 丁香六月在线| 九九九激情综合| 激情五月色播五月| 热无码A∨| 色婷婷啪啪| 五月天婷婷基地| 色色丁香五月婷婷| 色v综合网| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 色色国产| 激情综合丁| 天天肏天天舔AV| 九九热10| 五月天激情婷婷久久| 婷婷丁香色五月亚洲| 碰99在线| 伊人五月天| 这里只有精品1| 丁香色六月| 色五月噜噜| 91超级碰碰| 桃色伊人在线| 97碰超级人人看| 99ER热精品视频| 伊人玖玖网| 久久五月丁香伊人青草| 色九亚洲| 亚洲狠9| 五月激情综合网| 深爱丁香激情| 一起草无码视频| www.久久色.com| 亚洲久久激情| 五月丁香综合影院| 五月天婷婷青青| 婷婷天堂视频| 亚洲123区高清入口| 99思思| WWW,五月| 五月婷婷免费| 青青草a在线| 琪琪理论片| 色九月综合| 丁香婷婷色| 天天日P天天射P| 激情综合五月开心狠狠| 九色自拍| 丁香五月婷婷激情网| 欧美激情丁香五月| 久久综合激情五月天| 国产毛片精品一区二区色欲黄A片| 久久五月激情综合| www.激情在线| 五月丁香婷婷色色色| 亚洲精品一区无码A片| 丁香六月色婷婷| 激情综合丁香五月| 五月丁香激情欧洲啪啪| 99精品视频免费观看,| 亚洲欧美成人在线| 色色色婷| 色五月婷婷天堂| 91九色最新视频| 亚洲综合色色| 大香蕉av在线| 97色在线| 99热日本| 久久人人看| 五月丁香六月综合激情| 综合色五月| 五月婷婷干| 欧美日本综合网| 久久性刺激| 丁香婷婷婷婷十二月在线观看视频| 国产乱子轮XXX农村| 欧美25p| 在线天堂9| Www,五月天| Va另类视频| 激情com| 96丁香六月婷婷蜜桃综合久久| 亚洲激情六月| 99热精品99| 婷婷五月天综合在线| 久久思思热视频| 人妻熟妇六区| 99视频精品8 | 99热精品免费| 黄色AV日韩| 婷婷五月天天爽| 日韩1区2区| 天天爽天天摸人妻综合网| 激情五月婷婷在线区| 婷婷亚洲五| 亚洲精品色色| 五月天激情综合首页| 另类图片激情五月| 996er热| 97干在线观看视频| 亚洲五月婷| 91超级碰在线视频| 激情av| 丁香大香蕉| 国产成人av在线播放| 久久人人九| 日韩啪图| 婷婷成人AV| 98永久精品| 99热丁香| 91久热| 99er6免费视频热播| 97色婷婷| 中文无码精品一区二区三区| www.狠狠干com| 五月激情丁香| 五月天婷婷综合网| 99超级碰免费视频| 国自产拍偷拍精品啪啪一区二区| 亚洲网站观看视频| 96自拍视频九色在线观看| 亚洲国产精品成人午夜| 色情成人五月天| 五月天婷婷综合色| 97色 五月天丁香| 99燥99日| 成人网页在线观看| 9月色婷婷| 六月丁香婷| 丁香五月激情综合| 亚洲亚洲人成综合网络| 婷婷黄色网| 99视频在线啪| 五月丁香婷婷久久| 人人人人人人人人人草| 久久性爰视频这里只有精品| 六月激情网| 久大香蕉| 久久激情五月| 秋霞少妇AV网站| 操精品9| 人操人人| 桃色Av色哟哟| 婷婷色五月天综合网| 色狠狠综合入口| 六月婷婷久久| 婷婷综合五月| 国产成人综合电影| 在线超碰91| 99A级片| 丁香六月婷婷五月天| 亚洲综合丁香婷婷六月天| 就爱射中文字幕资源网| 五月婷婷色综图片| 色伦专区97中文字幕| 97操在线| 伊人久久婷婷| 婷婷丁香激情五月天色色| 色五月激情五月| 色色色99| 99久久国产综合精品五月天喷水\| 成人丁香五月婷| 337p大胆噜噜噜噜噜91Av| 天天操天天操综合| 久久亚洲无码| 午夜性做爰电影| 婷婷丁香精品视频在线观看| 99热在线观看| 狠狠色 综合色区| 五月99久久| 婷婷五月成人| 丁香婷婷性久久| 中文字幕婷婷五月天| 五月婷久久在线| 最新久久网址| 99福利视频| 色噜噜狠噜噜视频| 欧美成人AAA片一区国产精品| 五月婷丁香久久综合| 大天天伊人| 99这里的视频都是精品| 大婷婷色呦呦噜噜色呦呦噜噜| 欧美日韩99| 丁香综合日产精品久久| 夜夜躁婷婷AV| 热久久视频99| 99热这里都是精品| 91丨九色丨首页| 大香蕉网站,大香蕉综合| 色国产五月| 五月天综合视频| 丁香久久综合| 中文字幕不卡网站| 九九精品片一| av在线激情| 色伦专区97中文字幕| 色狠狠综合入口| 免费精品66| 综合XX网| 精品久9| 91婷色| 婷婷射图五月天| 九九伊人网| 久久精99| 国产淫熟妇| 亚洲成人在线综合| 欧美日本国产| 久热视频A.| 亚洲天码视频www蛋播视频| 99爱爱| 99在线视频观看| 99热超碰| 九九综合色综合| 五月天久久婷| 色婷婷婷婷成人网| 丁香五月色| 99热大| 情欲综合网| 久婷| 欧美超碰人人| 激情综合亚洲色婷婷五月| 五月激情丁香六月狠狠干| 99er6| 色婷婷www| AV网址大全在| 开心五月婷婷激情网| 97综合在线| 伊人影院久久网| 亚洲va欧美| 五月天婷婷色综合| 六月婷婷天堂| 欧洲综合色| 五月婷婷色| 91超级碰在线视频| 亚洲丁香婷婷丁香五月天激情| 欧美日本免费一道免费视频| 六月激情婷婷色| 激情丁香九九五月综合网| 久久这里只有精品视频15 | 五月草影视| 成人丁香五月天| 色婷婷激情五月天| 久久久久久久久人妻| 色婷婷久久| 综合色图区| 色婷婷AV在线| 九月丁香八月婷婷久久综合久97| 激情伊人五月天| 九月丁香八月婷婷加勒比| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 蜘蛛女免费观看完整版高清电影| 99热精品在线在线| 亚洲成人AV一区在线观看| 天天噜天天爱| 国产精品第一国产精品| 嫩草综合网| 超碰人人射| 色在线99| 五月婷婷激情综合av| 亚洲精品一二三| 五月丁香六月激情综合啪啪| 夜夜爽77777妓女免费下载| 亚洲五月丁香综合网| 九九色图| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 99免费视频网| 黄色AAAA韩国guochansanji| 26uuu欧美宗合| 激情九月婷婷九月| 日本三级第一页| 99热精品一区| 激情五月天久久| 99综合99| 国产偷人爽久久久久久老妇APP| 九九视频这里是精品五月| 亚洲成人五月天| 五月天大香蕉| 综合久久99| 91碰碰碰| 任你草| 六月色色| 五月婷丁香| 综合亚洲六月婷婷在线| 99精品偷自拍| 久草五月天电影网| 91色性感五月婷婷丁香| 91精品综合久久久久久五月丁香| 久久看九九90| 开心五月网 | 久久人人九| 欧美啪啪9| 99在线观看精品| 99热国产精品| 99精品在线观看| 人人摸人人摸| 99热日| 草草色情综合网| 99r这里| 五月天激情色色| 中文字幕性爱丰满| 黄色91在线观看| 久婷五月| 色婷婷久久| 五月婷婷激情五月| 丁香五月天激情综合网| 五月婷九月| 五月婷婷丁香狠狠撸久久| 婷婷丁香黄色| 日本久久高清| 精品无码色欲AV| 久婷狼色诱惑在线| 婷婷成人AV| 久婷| 丁香九月婷婷| 天天爽综合网| 国产色视频网站2| 婷婷五月在线播放| 婷婷五月丁香久久| 日日干四虎| 丁香五月婷婷激情蜜桃| 色婷婷狠狠| 第二色AⅤ| 亚洲爆乳无码精品AAA片蜜桃| 婷婷六月丁香色| 激情综合五月丁香六月婷婷| 色婷天天| 久久香蕉婷婷五月天| 玖玖婷婷色欲| 激情综合网五月丁香| 日日日,com| 欧美 色婷婷| rr天天操| 99在线观看视频免费| 无码激情AAAAA片-区区| 99热成人在线观看| 激情五月天色网站| WW婷婷五月天com| 九九热在线观看视频| 五月婷婷激情综合| 999热这里只有美国精品| 九月色婷婷综合| 婷婷五月亚洲激情| 欧美日本99| 欧美色婷婷| 色五月欧美| 九九热超碰| 久色欧美| 色五月丁香总合网| 色97啪啪| 99精品热| 俺也去在线视频| 99九九在线| 免费看欧美成人A片无码| 色狠狠婷婷| 国产1区2区3区在线观| 日日操夜夜操不卡| 91黄操| 3p日韩网站视频| aaaa.黄| 九九综合久久| 日本天堂免费99| 蜜臀A∨在线水帘洞| Caoporn公开| 婷婷久久五月| 国产午夜精品久久久观看| 操人无码| 婷婷激情啪啪| 三十熟女| 五月天综合网| 久久99网| 内射丰满人妻| 婷婷五月色| 久久综合55| 久久久久人妻精品| 色五月欧美| 婷婷日本色| www.五月婷婷| 婷婷性爱五月天| 亚洲精品五十一区| 久久99婷婷| 色婷婷AV久久| 国产特级毛片AAAAAAA高清| 婷丁香五月天| 国产日韩亚洲欧美在线观看| 美女要搞搞天天搞搞搞网站| 亚洲五月婷| 久久精品日| 六月婷婷激情| 欧美色色色色色色色| 亚洲丁香五月在线观看| 久久99最新| 久久在线大香蕉| 激情五月天久久| 人妻精品一区二区三区| 97影院一级片| www.天天日| 久久婷婷五月天激情| 亚洲人妻av| a在线免费v| 天天色2017| 五月丁香激情综合网| 五月天伊人久久久久| 操你av| A一级操| 五月婷婷熟女| 99亚洲精美视频在线观看| www.91热久久| 91超级碰碰碰| 婷婷丁香五月激情| 91干| 五月婷婷偷拍| a久久| 狠狠色噜噜色狠狠狠综合久久成人波| 五月天色五月天| 九九热99re8热免费观看| 色色五月天网站| 精品一区二区三区三区| 人妻在线观看视频| 亚洲精品**不卡在线播he| 日本色色网| 香蕉久久国产AV一区二区| 婷婷五月色情| 这里只有精品久久| 亚洲色另类| 亚洲综合激情五月| 色婷婷社区| 五月婷婷伊人久久| 婷婷激情五月综合基地| 亚洲五月天伊人| 五月婷婷开心亚洲无| WWW.99热| 熟女人妻视频| .精品久久久麻豆国产精品| 91久热| 日本婷婷| 色五月首页| 婷婷五月激情图片| www.五月天婷婷| 亚洲热热视频| 97精品综合| 人妻人人操| 久久婷婷五月天| 99久久网站| 婷婷久久综合| 亚洲永久免费| 99婷婷| 色婷婷狠狠| 性一交一乱一交A片久久四色| 伊人婷婷大香蕉| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 色综合久久88| 激情文学第四色婷婷丁香五月| 色五月天丁香婷婷色| 色五月天丁香婷婷色| 激情久久月| 亚洲有码在线视频| 婷婷射图| 欧美A级网站| 六月丁香婷婷色狠狠久久| 五月亭亭六月色| 天天搽天天射| 五月丁香婷中文字幕| 婷婷五月丁香色情| 天天色激情| 色婷婷综合视频| 日本婷婷五月天| 久草狼人| 色婷婷www| 色综合色| 国模九区| 丁香久月婷| 97视频.干com| 丁香五月婷婷无码AV| WWW色综合| 婷婷五月丁香高清无码| 久久这里只有国产视频| 综合久久99| 久久99网| 91超级碰碰| 伊人91| 欧美综合五月天婷婷tin| 爱iii做iiii日日| 日韩情色在线观看| 婷婷伊人中文字幕| 五月丁香六月综合情在线观看| 天天看片日日夜夜| 色综合xx| 激情小说视频图片| 成人av在线电影| 亚洲人人操| 日日爽日日| 播五月,色五月,开心五月播放器| 日本99视频| 欧美日韩中文国产一区发布| 久久33视频| 五月激情婷婷综合| 色色综合日韩| 婷婷丁香人妻天天爽| 任你爽精品免费视频6| 大香蕉五月天婷婷| 伊人在线另类| 欧美 日韩 成人在线| 无码一区二区日韩| 婷婷五月天黄色小说| 91视频一起草| 荫道BBWBBB高潮潮喷| AV变态另类一区二区| 久久婷婷色情7777网站| 99热久久最新地址| 亚洲美女网Va| 五月丁香六月| 第四色色六月色综合| 综合网啪啪| 五月激情另类| 五月婷婷AV| 色五月首页| 99热欲| 五月丁香婷婷在线| 激情婷婷综合| 久草热在线视频| 天天舔天天爽| 婷婷激情五月天激情小说| 久久性爱视频| 色五XX| 99re在线观看| 亚洲成人AV高清字幕| 99re热在线视频观看| 五月总合激情网| 色色哒五月婷婷六月丁香| 97操视频| 久久涩视频| 91九色国产| 乱轮A片| 亚洲99热| 久久 中文 日本| 91艹人| 99人妻碰碰碰久久久久视| 少妇人妻丰满做爰XXX| A在线观看| www狠狠| 亚洲精品婷婷| Caop在线| 丁香五月激情澎湃一区| 婷婷丁香成人| 超碰97色| 色波激情五月天| 激情小说婷婷| 亚洲日韩久久婷婷伊人| 久久亚洲婷婷| 亚洲天天操| 无码免费人妻A片AAA毛片西瓜 | 六月丁香成人| 操逼六区| 北条麻妃伊人 | 国产激情婷婷| 少妇水多A片太爽了| 99 re视频一区| 五月丁六月婷| 欧美日综合| 综合色影院| 婷婷热婷婷色| 激情五月天视频| 99玖玖视频| 婷婷丁香成人在线视频| 中文资源在线a| 久草x色在线观看99| 婷婷免费精品视频| 九色91视频| 淫五月停停| 色色综合无码| 色色激情网| 九九色情网五月天| 婷婷玉月丁香五月在线视频| 色在线五月天免费| 99亚洲天堂| www.久久9| 丁香综合网| 国产做A爰片毛片A片美国| 婷婷九月激情| 91激情五月开心| 婷婷色色宗合网| 久久精品永久免费| 99热国品| 天天草天天爱| 日日夜夜干| 97色色-99久久| 国产精品久久久久久白浆色欲| 婷婷性爱视频在线| 丁香婷婷噜噜| 五月婷婷亚洲综合在线 | 99热这里只有精品免费| 久操大香蕉| 91操在线视频| 五月婷在线影院| 欧美 日韩 成人| 99超碰在线免费| 久久精品视频在这里有| 九九精品碰| 狠狠五月激情丁香六月| 男人的天堂在线婷婷| 日日操,天天操| 色五月,com| 亚洲综合视频一下| 91中文狠狠综合| 五月丁激情| 少妇性按摩无码中文A片| 思思99精品视频在线观看| 久9视频| 久色视频在线| 午夜婷婷| 色五月丁香一区在线| 疯狂做受XXXX高潮A片| 99热九九这里只有精品10| 九九久久精品| 色丁香综合影院| 青青久在线视频免费观看| 干婷婷五月天| co超碰在线观看| 五月天色婷婷基地| 亚洲a片免费观看| 色婷婷精品| 久久香蕉婷婷| www.色色五月天.com| AV网站免费在线| 丁香五月激情啪啪| 六月婷婷成人| 国产精品成人AV在线观看春天| 亚洲久久婷婷丁香五月天| αv中文字幕在线观| 日日日影院| 久操大屁股女人av| 丁香激情四射| www,五月天com| 涩五月婷婷| 99色丁香婷婷综合网| 色色色com| 日日夜夜天天综合| www,色婷婷| 国产激情久久久| 五月丁香六月婷婷啪啪综合| 免费观看18视频网站| 激情五月天网页| 微拍92| 丁香婷五月天开心六月| 综合久| 久久久天堂国产精品女人| 婷婷播播五月天| 五月婷婷丁香综合,亚洲天堂| 色色国产| 亚洲激情亚洲激情| 激情5月婷婷| 六月婷婷五月天| 另类A片| 五月丁香成人网| 五月婷婷我| av成人在线播放| 五月丁香美女| 激情AV综合| 婷婷开心激情| 丁香五月婷婷啪啪| 不卡在线视频| 色婷婷日本| 亚洲无码成人网| 婷色天堂| 超碰猛烈的性猛交| 天天色综合色色色色色。| 五月精品99综合| 久久五月婷婷丁香| 激情精品久久| 99re免费视频| 99色亚洲| 日日夜夜小色哥| 激情婷婷久久| 国产成人精品一区二区三区视频| 伊人五月综合网| 五月丁香美女视频| 97碰碰免费.视频| 超碰二区| 久久 这里只有精品1| 五月丁香婷婷啪啪综合| 色婷婷导航| 深爱婷婷丁香五月激情| 色五月综合激情| 亚洲宗合激情| 久久作爱| AV天堂婷婷五月天| 天天久久狠狠色综合| 色www久视频| 激情久久久久久久久久| 天干干夜夜操| 123草逼网| 久久精品国产精品| 99在线免费视频| 森林影视大全,最好看的2019年视频 | 色婷婷瘦婷婷日韩| 国产毛片欧美毛片久久久| 五月天播播中文字幕 | 五月婷婷啪啪啪| 婷婷无五月无码视频| 99热综合网| 狠狠久综合| 亚洲成人一区| 97在线日韩| 桃色五月天| 丁香五月婷婷在线观看| 激情五月天啪啪视频| 丁香六月激情毛片| 国产成人精品亚洲线观看| 美国十月色婷婷在线观看| 五月丁香六月婷婷不卡免费无码| 99riAV国产精品视频| av中文网| 色五月在线播放| 538在线精品| 天天日天天摸天天| 99在线视频播放| 激情五月四色| 日本三级日本三级99| 综合久久99| 婷婷性爱无码视频| 色99视频| 激情丁香五月AV| 色狠狠色噜噜AV天堂五区| 九色视频91| 五月天综合在线观看| 五月天另类综合网| 开心五月综合激情网| 一区二区你懂的| 国产成人精品一区二区三区视频 | 激情五月综合| 99这里只有精品视频| 91九九| 五月天婷婷丁香导航| 日逼免费视频 | 六月大香蕉| AV片在线观看| 成人国产欧美大片一区| 草草视频91| 狠狠色成人影片| 伊人狠狠干| 青青草a在线| 伊人超碰| 五月天婷婷色情| 婷婷五月综合丁香久久| 精品成人无码A片观看香草视频| 中文字幕在线日亚州9| 久色网五月| 激情丁香久久| 淫视馆aV二区一区| 亚洲色色五月天| 狠狠综合久久综合| 免费观看欧美成人AA片爱我多深| 伊人五月天在线| 五月天综合激情网| 九九这里都是精品| 五月婷婷啪啪网| 玖玖99福利| 热九九精品| 99综合自拍| 日本理论久久| 1024欧美看片| 国产麻豆视频| 久草热久草在线视频| 26uuu成人网| 丁香六月激情四射| 六月婷婷八月丁香| 五月天婷婷在线播放| 色五月丁香六月婷婷| 日韩av干| 色九月激情综合网| 思思视频这里是精品| 婷婷五月四狠狠| 久久9久| 六月丁香婷婷综合狠狠爱夜夜爱| 丁香五月最新网址| 丁香五月婷综合| 色亭亭九月| 婷婷五月欧美综合| 色哟呦av| 午夜少妇在线观看视频| 99精品网| 亚洲色五月| 综合色久| 五月丁香色情| 亚洲精品视频在线| 五月丁香激情综合| 国产亚洲在线观看| 91久操| 超碰国产在线| 激情五月综合| 五月天久久久| 极品少妇XXXX精品少妇偷拍| 九九色热| 亚洲妇女熟BBW| 极品人妻VIDEOSSS人妻| 国产成人精品亚洲线观看| 色九九综合| 成人精品视频99在线观看免费| 久色网| 在线观看国产高清视频免费网站| 色婷婷狠狠| 欧美大片免费播放器| 婷婷五月天激情小说| 亚洲熟妇AV乱码在线观看| 婷婷五月色| 怡红院AV亚洲一区二区三区H| 久久小说网| 日韩中文字幕| 99热最新国内| 超碰免费电影| 色情开心五月| xxxx久| 99视频内射三四| 韩国中文字幕91| 九九XX视频| 91干99| 激情婷婷九月| 久久网日本| 国产激情综合五月久久| 婷婷激情丁香五月婷婷激情丁香五月婷婷 | www久| 九九视频在线观看视频6| 99人妻碰碰久久久禁片| 丁香五月伊人| 99伊人婷婷在线| 91碰超| 亭亭五月丁香综合欧美| 五月丁香六月婷婷综合免| 五月丁香亭亭天天舔| 噜噜久| 91视频综合网| 亚洲午夜av| 色婷婷影院| 影音先锋91网站在线观看| 91色色色视频| 五月丁香六月婷婷成人| 99在线观看视频免费| 伊人六月丁香婷婷| 五月之婷婷| 色婷婷五月天| 中文av网站| 亚洲精品无人区| Av在线资源| 亚洲在线综合| 国产亚洲色婷婷99精品| 婷婷五月久久| 久草热视频在线观看| 色99日韩| 中文字幕人成乱码在线观看| 婷婷色色欧美综合网| 久热丁香| 色就是色婷婷五月亚洲激情| 思思热99在线| 一本色道久久综合狠狠躁小说| 丁香九月婷婷| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 五月天丁香| 97日本操| 26.uuu丁香五月婷婷| www.25五月婷婷| www.五月瑟| 九热免费视频| 国产欧美精品AAAAAA片| 4399精品一区二区| 99九九久久| RenRenSe在线视频网站| 五月激情婷婷国产精品久久久久久| 啪啪啪大香蕉| 久久婷婷五月综合色丁香花| 极品色丁香| 色五月无码| 国产视频婷婷| 操一操干一干| 日本97在线观看| 六月色色| 国精产品久久| 91精品久久久久| 日韩人妻AV在线| 超碰人人91| 久色成人| 丁香六月综合激情| 夜精品无码A片一区二区蜜桃| 99热很操老逼| 99惹| 五月天色婷婷综合| 六月丁香五月婷婷| 五月激情综合性爱| 琪琪秋霞| 五月婷婷色| 99无码| 超碰无码318604| 性爱在线播放av| 天天色天天日天天舔| 成人片黄网站色大片免费毛片| 久久精品天| 思思热久在线观看视频| 六月丁香婷婷综合在线| 中文字幕人妻熟女在线| 伊人色综合久久久| 6080av| 超碰在线人妻| 五月婷婷综合成人| 激情五月天婷婷激情| 草五月| www.婷婷| 九九re精品视频在线观看| 五月天婷婷丁香视频| 91久热| 亚洲视频在线观看区| 月月AV| 99欧州偷拍视频| 99天堂在线观看免费视频| 五月天无码| 五月天婷婷视频| 狠狠精品干练久久久无码中文字幕 | 无码G高清天| 亚洲网视屏| 婷婷丁香六月天激情四射网| 精品一二三区视频立| 五月天综合久久| 五月综合激情啪啪啪啪啪| 丁香无月在线观看| 久久人妻人人| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 丁香综合网| 99色在线| av在线观看网站| 久久99性爱视频| A片试看50分钟做受视频| 成人丁香五月| 天天爽天天干| 日本在线播放97| 亚洲激情图文小说| 亚洲精品国产成人AV在线| 丁香天堂夜| 伊人五月网| www.yw尤物| 另类激情五月| 99色视频| www.91AV.com| 六月天六月婷| 99热综合| 色婷婷在线播放| 99热资源在线| 91综合在线观看| 九九九九九九九热| 色色99| 欧美97色| 高清无码网址| 亚洲成人无码片| 玖玖福利视频资源| 日日做A爰片久久毛片A片英语| 中文网AV| 无码人妻电影| 激情久久久久久久久久久| WWW.婷婷| 天堂网亚洲色图| 五月丁香黄色| 欧美成人AAA片一区国产精品| 激情5月舔| 久久九九爽| 激情综合网五月| 超碰猛烈的性猛交| 国产中文字幕在线视频免费观看| 久久精品66| 婷婷丁香18| 五月色婷婷综合丁香精品无遮挡| 色综合色色| 丁香五月在线人妻| 大香网伊人久久综合| 乱码操操| 激情综合在线观看| 9久热免费视频99| 开心五月婷婷婷美女| 五月色丁香婷婷综合| 五月天激情网开心网| 激情婷婷五月丁香啪啪啪| 色五月天网| 日韩一级一片内射视频4K| 都市激情五月婷婷综合| 国产精产国品一二三在观看| 丁香五月AV综合| 色色色色色综合| 另类视频综合| 91丨九色丨43老版熟女| 九九综合九九| 婷婷激情五月综合| 色综合婷婷| 亚洲久热| www.久久| 日本色色色| 99这里有精品久久97| 超碰在线91| 99热乎| 婷婷综合五月天| 狠狠干天天内射| 五月天激情网站| 亚洲AAA| 五月天丁香婷婷网| ss视频xx91| 免费在线观看av网站| 99这里只有精彩视频| 97自拍视频网| 色导航色婷婷五月天在线观看| 亚洲无码九九九| 丁香五月婷婷网| 天天色99| 综合啪啪| 综合五月草 | 天天做夜夜爽| 99热这只有| 99精彩视频网站在线| 9这里只有精品| WWW久久99久久99久久| 婷婷五月天六月丁香| 日本97久久久精品| 天堂色婷婷| 深爱激情中文五月天av| www.狠狠| 天天透天天摸天天舔| 丁香97综合| 五月婷婷影院| 六月丁香婷| 婷婷久久综合| 激情WWW| 99热亚州综合| 天天干天天射色综合| 五月婷婷日| 超碰碰碰碰| 久久黄色网扯| 天天肏在线视频| 欧美性爱五月天| 乱码操操| 成人国产欧美大片一区| 99综合激情久久精品久久| 日韩精品一区二区刘| 久久久久亚洲AV成人无码电影| 99超级碰免费视频| 国产做爰视频免费播放| 开心五月婷婷在线| 4399欧美另类视频| 久热91| 精品99久久久久成人网站免费| 激情涩播| 夜夜躁爽日日| 婷婷亚洲日本| 任你躁XXXXX麻豆精品| 99精色| 玖玖爱伊人| 99热啪啪| 五月婷婷综合潮喷| 亚洲精品视频电影| 五月丁香久久| 激情婷婷五月天在线观看| 丁香五月婷婷五月| 欧美色色色色色色色| 激情五月综合视频| 51精品国内探花| 超碰人人艹| 婷婷5月开心6月| 激情啪啪五月天| 色色色热| 丁香五月天BBw| 综合久久五月天| 超pen个人视频97| 色色色色色综合| 久久永久视频| 在线视频区| 精品人妻伦一二三区久久| 天天射影| 91碰操| 久久久网站| 婷婷五月天伊人网在线观看视频| www狠狠com| 色婷婷综合网站| 日本五月婷婷| 丁香五月婷婷狠狠色| 色婷婷丁香女女| 97操碰视频| 人人色AV| 婷婷五月网图片区| 香蕉AV777XXX色综合一区| 久久婷婷综合五月趴| 欧美激情综合| 日韩av高清| www.夜夜| 日韩视频99| 丁香五月 综合| 丁香五月大香蕉AV| AV在线观看网站| 婷婷激情啪啪| 大香蕉啪啪啪| 青青999| www色色com| 欧美激情VA永久在线播放| 2020久久婷婷五月| 97干婷婷| 午夜69成人做爰视频| 97影院一级片| www.人人操人人看人人想人人摸 人人人人操,COM | 日韩av高清| 99精品热| 激情深爱五月天| 激情伍月 欧美| 五月婷啪啪| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 五月丁六月婷| 91久久婷婷| 99视频在线观看视频| 极品人妻VIDEOSSS人妻| 丁香六月婷| 乱轮A片| 日韩色色小视频| 婷婷激情五月视频| 亚洲偷| 99精品综合视频| 色五月大| 丁香五月亚洲综合| 婷婷成人网五月天| 久婷婷五月综合欧美| 综合aV在线| 亚洲日日日| 五月天激情国产综合婷婷婷| 色高清无码视频| 日韩成人综合网| 婷婷色片| 综合福利网| 亚洲综合另类| 色噜噜五月天| 五月天综合婷婷| 天天综合天天做天天综合| 丁香五月久久| 69综合在线| 91黄色五月天视频| 97操操| 亚洲精品国产setv| 第五色婷婷| 蜜臀av在线成人电影| 天天色情站| 欧美色久| 午夜丁香久久久久久| 中文字幕日产A片在线看| 99精品热| 日韩久热| 免费不卡狠操美女视频网 | 超碰天堂网| 性av| 亭亭玉月丁香| 婷婷丁香成人| 久久99久久99精品免观看粉嫩| 丁香五月开心五月激情| 五月婷无码| 精品色情一区二区三区四区| 香蕉综合在线| 亚洲无码成人网| 色婷婷色综合| 丁香九月激情在线视频| 1024亚洲无码| 日韩成人免费电影| 色五月婷婷丁香五月| 色综合网址| 激情五月天婷婷| 六月丁香影院| 人人爽人人爽人人爽人人爽| 99在线观看视频| 婷婷色婷婷| 中文无码婷婷| 五月丁香性爱| 91日韩美女被插视频| 97成人超碰免| 日韩婷久| 人妻丰满精品一区二区A片| 亚洲日日日| 99热6精品| 亚洲操b| 久草五月婷婷| 色噜噜狠狠色综无码久久合欧美 | 久久这有这里精品| 五月丁香婷婷综合在线| 亚洲性受XXXX五月丁香| 啊V视频在线观看| 久久婷婷人人| 九月婷婷色色| 激情人妻综合| 99色日本| 丁香五月先锋| 99碰| 182TV亚洲| 欧美日韩成人一区二区| 1区2区视频| 国产精品国产| 成人资源在线| 久热超碰91| 六月99天天婷婷激情综合| 中美月韩免费A片| 婷婷综合视频| WWW.99热| 婷婷五月天受日本法律保护| 激情宗合哪里能看| 精品久久二6| 久久ER视频com| 色久五月| 天天做天天爱天天玩夜夜爽| 天天日天天干天天插天天射| 激情99在线视频| 婷婷社区五月天| 超碰资源在线| 98色花堂98t.R| 久九色| 欧美色婷婷| 国自产拍偷拍精品啪啪一区二区| 丁香激情五月天| 无码激情AAAAA片-区区| 久久大香蕉丁香| 色停停影院五月天| 99re视频在线| 激情五月婷婷色色| 亚洲综合另类| 色色婷婷丁香| 男人的天堂999| 天天操天天操综合| 婷婷五月丁香色情| 婷婷五月天在线观看第二页| 久久性爱视频久久性爱视频| 99精品大片| www.婷婷| 狠狠干婷婷| 99爱在线免费视频| 99精品偷自拍|