欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

全文檢索與高頻更新沖突?三種架構(gòu)方案與選型指南

全文檢索與高頻更新沖突?三種架構(gòu)方案與選型指南 1. 先搞清矛盾根源全文檢索和高頻更新為什么天然打架幾年前我接手過一個電商后臺的搜索模塊業(yè)務(wù)方提了一個看似普通的需求商品標(biāo)題、賣點、品類路徑要做全文檢索同時價格、庫存、狀態(tài)這類字段每天會被訂單系統(tǒng)和庫存系統(tǒng)高頻更新高峰期每秒上百次修改大促時還會翻幾倍。當(dāng)時團隊的第一反應(yīng)是直接上 Elasticsearch 不就行了結(jié)果上線后第一周就出現(xiàn)了搜索延遲飆到 2 秒、CPU 頻繁打滿、段合并把寫入毛刺放大到無法接受的問題。那次經(jīng)歷讓我徹底明白一件事全文檢索和高頻更新放在一起不是加一臺機器能解決的存儲架構(gòu)必須從一開始就認真選型。先理解為什么這兩件事天然沖突。全文檢索依賴倒排索引而倒排索引為了追求查詢效率通常設(shè)計成不可變的。以 LuceneElasticsearch 的底層引擎為例一次文檔更新本質(zhì)上不是改掉那行數(shù)據(jù)而是把舊文檔標(biāo)記為 deleted再寫入一個全新文檔。這個標(biāo)記刪除 新寫入的動作落在磁盤上就是不斷產(chǎn)生新的小 segment 文件。后臺的 segment merge 線程會持續(xù)把這些小文件合并成大文件合并過程中又涉及 IO 和 CPU 的大量消耗。高頻更新對這套機制的沖擊是全方位的。你寫入越快refresh 產(chǎn)生的 segment 越多segment 越多查詢時需讀取的文件越多耗時自然上升merge 越頻繁CPU 和磁盤 IO 越緊張又反過來拖慢寫入。結(jié)果就是寫得更快查得更慢兩頭堵。更隱蔽的是被標(biāo)記刪除的文檔并不會立刻釋放空間如果你的更新頻率遠大于新增頻率索引文件會越來越大磁盤占用虛高最后連緩存命中率都跟著下降。所以看到全文檢索 高頻更新這個組合第一反應(yīng)不應(yīng)該是選某個具體數(shù)據(jù)庫而是先搞清楚你真正的更新負載是什么樣的。這決定了后面所有技術(shù)選型的方向。我這篇文章會把常見的幾種架構(gòu)方案拆開來講包括單集群調(diào)優(yōu)、主存儲與檢索層分離、更新緩沖層設(shè)計以及它們各自適用的場景和實測表現(xiàn)希望對正在做技術(shù)選型的人有實際幫助。我理解很多人看到全文檢索就直接想到 Elasticsearch但 ES 默認配置是為讀多寫少、數(shù)據(jù)基本不變設(shè)計的。它的refresh_interval默認是 1 秒意味著每秒都可能把內(nèi)存中的索引緩沖刷成一個可查詢的 segment。這對索引構(gòu)建類的場景沒問題但如果是高頻更新每隔幾秒就有一大批文檔需要更新默認配置會制造大量碎片化 segment。避免這個問題的第一步是把索引刷新周期拉開同時理解這背后可見性與寫入成本的博弈。2. 選型前必答的四個問題實時性、一致性、數(shù)據(jù)規(guī)模、運維邊界架構(gòu)選型最忌諱一上來就討論用 MySQL 還是 ES、用 CDC 還是雙寫。我在做方案評審的時候習(xí)慣先讓團隊把下面四個問題用一句話回答清楚。這四個答案基本能鎖定 80% 的選型空間。第一個問題業(yè)務(wù)允許搜索結(jié)果的延遲是秒級還是毫秒級全文檢索的近實時特性決定了它天然有延遲。Elasticsearch 默認 1 秒 refresh意味著你寫入一條數(shù)據(jù)后最多 1 秒才能被搜到。如果業(yè)務(wù)要求用戶剛修改的商品標(biāo)題必須立刻能搜到那 ES 單寫方案基本出局除非你能接受更復(fù)雜的實時性補償。反過來如果延遲 3 到 5 秒完全沒問題大多數(shù) B 端運營后臺、商品管理后臺都屬于這一類那 ES 的近實時機制反而能給你省下大量架構(gòu)成本。第二個問題更新后數(shù)據(jù)的一致性是強一致還是最終一致業(yè)務(wù)方嘴上說要一致但你要追問一句如果用戶搜到的商品價格是 3 秒前的會造成資損嗎會造成嚴重客訴嗎如果不會那就是典型的最終一致場景完全可以用異步鏈路。真正需要強一致的高頻更新場景比如秒殺庫存、銀行賬戶余額這些字段本來就不應(yīng)該放進全文檢索系統(tǒng)——它們應(yīng)該留在業(yè)務(wù)主庫或者放到 Redis 這類高性能存儲里檢索層只保存可搜索但不強一致的副本字段。第三個問題數(shù)據(jù)量級和更新比例是多少我見過一個團隊ES 集群只有 3 個節(jié)點但商品表每天有 2000 萬條記錄需要更新更新比例超過全量數(shù)據(jù)的 60%這已經(jīng)不是調(diào)優(yōu)能解決的了。你需要估算三件事全量文檔總數(shù)、日均更新文檔數(shù)、更新字段占整個文檔的比例。如果更新文檔數(shù)超過總量的 20%或者單個文檔的更新頻率達到每分鐘一次以上我都建議不要在 ES 里做原地震動更新而是考慮分層架構(gòu)。第四個問題團隊有多少精力能投入到 ES 集群運維上這是最現(xiàn)實的問題。ES 集群的坑非常深分片分布不均、堆內(nèi)存壓力、合并風(fēng)暴、冷熱節(jié)點規(guī)劃每一樣都需要專人跟進。如果團隊只有一兩個后端平時還要兼顧業(yè)務(wù)開發(fā)那就老老實實選一個運維簡單、出問題好排查的方案。比如把全文檢索放在 PostgreSQL 的 GIN 索引上或者接受用 MySQL 的LIKE %keyword%頂著——雖然并發(fā)能力差一點但至少不會半夜被 on-call 電話叫醒。這四個問題回答完之后選型就變成了一個約束求解問題。比如延遲 3 秒可接受、最終一致、更新占比 40%、運維人力有限那答案大概率是主庫 異步任務(wù)更新 ESES 只做檢索而不是死磕 ES 參數(shù)。3. 方案一單體 ES 集群硬扛調(diào)參調(diào)出第二春如果數(shù)據(jù)量不大單分片 30GB 以內(nèi)、更新頻率不算變態(tài)每秒幾百次以內(nèi)、業(yè)務(wù)能接受秒級延遲那最簡單的方案不是推翻 ES而是把 ES 的參數(shù)調(diào)到適配高頻更新的形態(tài)。默認配置是為批量導(dǎo)入設(shè)計的你需要反向調(diào)整。3.1 拉開 refresh 間隔減少 segment 碎片refresh_interval從默認的 1 秒調(diào)到 30 秒甚至更久高頻更新場景下收益非常明顯。每次 refresh 都會把 buffer 里的數(shù)據(jù)生成一個新的 segment如果每秒更新 500 條默認配置下 1 分鐘會產(chǎn)生 60 個 segment查詢時要把這些 segment 全部掃一遍調(diào)到 30 秒后1 分鐘只有 2 個 segment。PUT /your_index/_settings { index: { refresh_interval: 30s } }代價是數(shù)據(jù)從寫入到可搜索的延遲從 1 秒變成最長 30 秒。對運營后臺這類場景搜索按鈕點下去等幾秒才出現(xiàn)結(jié)果用戶完全能接受。但對 C 端搜完立刻下單的場景30 秒延遲就是災(zāi)難這條要提前想清楚。3.2 調(diào)整 translog 刷新策略減少磁盤同步次數(shù)ES 默認每次寫請求都會把 translog fsync 到磁盤這是保證數(shù)據(jù)不丟的關(guān)鍵機制但高頻更新下會變成嚴重的性能瓶頸。對可以接受丟失幾秒數(shù)據(jù)的場景可以改成異步刷盤并調(diào)大刷盤閾值。PUT /your_index/_settings { index: { translog.durability: async, translog.sync_interval: 5s, translog.flush_threshold_size: 1gb } }這里要特別提醒async意味著如果節(jié)點宕機最近幾秒的寫入可能會丟。數(shù)據(jù)庫領(lǐng)域有一句老話沒有免費的可靠性你省下的每一次磁盤同步都是用數(shù)據(jù)安全換來的。這個方案只適合丟了能重建的數(shù)據(jù)比如從主庫重新導(dǎo)一次就能恢復(fù)的檢索索引。3.3 關(guān)閉副本寫入寫完再恢復(fù)寫入期間把副本數(shù)臨時設(shè)為 0只寫主分片寫完再改回去。這樣寫入鏈路少了一半的副本同步開銷對吞吐的提升非常直接。但副作用是副本數(shù)為 0 期間一旦主分片所在節(jié)點宕機數(shù)據(jù)就沒了。實操中我會選擇在業(yè)務(wù)低峰期做這種操作并且控制窗口時間。很多團隊會在這里踩坑改設(shè)置改得爽忘了改回來之后集群一直處于無副本狀態(tài)。3.4 用 index 代替 update減少讀改寫ES 的updateAPI 內(nèi)部邏輯是讀取舊文檔 - 合并字段 - 索引新文檔比直接index多了一次讀操作。如果更新的是整個文檔比如商品詳情的多個字段一起變了直接用indexAPI 寫入完整文檔性能會好不少。如果確實只需要更新其中一兩個字段也寧可構(gòu)造完整文檔去 index而不是依賴 update 的部分字段能力。高頻場景下省一次讀就是省一次分片間的網(wǎng)絡(luò)往返。3.5 從 mapping 設(shè)計上降低更新代價把會高頻更新的字段和幾乎不變的字段分開處理。比如商品標(biāo)題、描述這種低頻修改字段正常建立倒排索引價格、庫存這種高頻字段用doc_values: false或者干脆不建索引、只做存儲。倒排索引的更新代價遠高于列存你為價格搜索這個低頻需求付出的成本會在每次庫存更新時加倍奉還。方案一適合什么情況我建議數(shù)據(jù)量在百萬級、更新 QPS 在 500 以下、團隊只有一兩個人維護 ES 的小團隊優(yōu)先考慮。它的好處是架構(gòu)簡單不需要引入額外的中間件和鏈路。缺點是天花板低只要業(yè)務(wù)增長到一定程度你早晚要面對調(diào)不動了的尷尬。我們當(dāng)時在方案一上撐了大概半年直到大促壓測時發(fā)現(xiàn) 30 秒的 refresh 已經(jīng)讓 merge 線程持續(xù) 100% CPU才下定決心做架構(gòu)升級。4. 方案二MySQL ES 雙寫用 CDC 把更新動作解耦當(dāng)更新頻率超出單 ES 集群的承受范圍或者業(yè)務(wù)主庫已經(jīng)是 MySQL/Oracle 這類關(guān)系型數(shù)據(jù)庫時最常見的升級路徑就是雙寫 異步同步。這里的核心思路業(yè)務(wù)系統(tǒng)只寫主庫ES 不再接收業(yè)務(wù)方的直接寫入而是通過 CDC 工具訂閱主庫的 binlog異步更新到 ES。4.1 業(yè)務(wù)寫入鏈路業(yè)務(wù)后端正常寫 MySQL事務(wù)提交后什么都不用管。ES 的更新由下游消費者負責(zé)業(yè)務(wù)系統(tǒng)不用感知 ES 的存在。這一步就把業(yè)務(wù)邏輯和檢索索引維護徹底解耦后續(xù) ES 集群抖動、重啟、甚至整體重建都不會影響主鏈路。4.2 CDC 組件選型MySQL 生態(tài)里最常用的是 Canal阿里開源和 Debezium。兩者的原理一致偽裝成 MySQL 的從庫讀取 binlog解析成結(jié)構(gòu)化變更事件。我用 Canal 比較多部署相對簡單配置也直觀# canal.properties 關(guān)鍵配置 canal.instance.master.address127.0.0.1:3306 canal.instance.dbUsernamecanal canal.instance.dbPasswordcanal canal.instance.connectionCharsetUTF-8 canal.instance.filter.regexproduct_db\\.product_info拿到 binlog 事件后下一步是推到消息隊列。這幾乎是必須的原因是 Canal 本身只是一個數(shù)據(jù)通道如果直接把變更事件同步調(diào)用 ES一旦 ES 抖動就會導(dǎo)致 Canal 消費積壓、延遲升高進而影響 binlog 的拉取進度。加上一層 Kafka/RocketMQ 后Canal 只負責(zé)生產(chǎn)消息消費速度由下游單獨控制天然就有了削峰填谷和故障隔離能力。4.3 消費者側(cè)的冪等與去重這是雙寫方案最容易翻車的地方。ES 的更新操作必須是冪等的——同一個文檔更新 10 次和更新 1 次最終結(jié)果一致。做法很簡單用業(yè)務(wù)主鍵作為 ES 文檔的_id消費者每次都執(zhí)行index全文檔覆蓋寫而不是update局部更新。這樣即使 MQ 重復(fù)投遞或者消費端重啟后重放也不會產(chǎn)生臟數(shù)據(jù)。消費者的偽代碼大致是public void onMessage(ProductChangeEvent event) { // 1. 根據(jù)主鍵查詢最新數(shù)據(jù)從主庫或緩存 Product product productService.getById(event.getProductId()); if (product null || product.isDeleted()) { // 2. 已刪除則從 ES 中刪除 esClient.delete(product_index, event.getProductId()); return; } // 3. 全文檔覆蓋寫入 esClient.index(product_index, event.getProductId(), buildDoc(product)); }注意第 1 步不要直接用 binlog 里的變更字段構(gòu)造 ES 文檔。因為 binlog 記錄的是這一次變更的字段不是完整文檔。如果你只用變更字段去 update遇到多個字段先后變更、順序錯亂時ES 里的數(shù)據(jù)就是缺胳膊少腿的。這也是為什么很多團隊用雙寫方案后經(jīng)常出現(xiàn)搜索結(jié)果的標(biāo)題是新的但描述是舊的這類靈異問題。4.4 對賬與補償機制異步鏈路跑久了必然會出現(xiàn)漏消費、MQ 消息丟失、ES 寫入失敗等事故。所以一定要設(shè)計定期對賬任務(wù)每天凌晨掃描一批業(yè)務(wù)主鍵比對 MySQL 和 ES 中的關(guān)鍵字段發(fā)現(xiàn)不一致就觸發(fā)重新同步。對賬的頻率取決于你對數(shù)據(jù)質(zhì)量的容忍度。我們當(dāng)時是每小時對賬一次最近 24 小時有變更的商品全量對賬放到凌晨低峰期做。4.5 這個方案的邊界和代價最大的代價是鏈路變長定位問題不再像以前那樣一條命令能解決。另外binlog 的保留時間也要關(guān)注MySQL 默認可能只保留幾天如果 MQ 消費延遲超過這個窗口就必須用全量重建的方式補齊。還要注意Canal 本身也有單點問題生產(chǎn)環(huán)境至少部署兩個實例做主備切換。方案二是我個人最常用的推薦尤其是數(shù)據(jù)量達到千萬級、更新頻率達到每秒數(shù)千次的業(yè)務(wù)。它在穩(wěn)定性和架構(gòu)復(fù)雜度之間取得了一個比較好的平衡。但這個方案的 ES 集群依然要承擔(dān)全部更新壓力只是從業(yè)務(wù)直接打變成異步批量打。如果你的更新頻率已經(jīng)高到所有商品的價格庫存每小時全量變一遍那方案二的 ES 寫入量依然是全量文檔數(shù) × 更新次數(shù)這時候就要考慮方案三了。5. 方案三ES 只做索引層把易變字段隔離出去第三個方案的思路更激進一點既然 ES 怕高頻更新那就不讓它存那些高頻變動的字段。ES 里只保存用于檢索、排序、過濾的靜態(tài)字段標(biāo)題、描述、類目、品牌等而價格、庫存、狀態(tài)這些高頻字段留在 MySQL/Redis 等主存儲中。查詢時先通過 ES 拿到命中的文檔 ID 列表再用 ID 去主存儲批量拉取最新字段做最終的結(jié)果組裝。5.1 為什么這樣設(shè)計能解決本質(zhì)問題回到第一節(jié)說的矛盾根源ES 的寫入成本主要來自倒排索引的不可變特性更新一個字段需要重寫整個文檔。如果你把價格從 ES 文檔里挪出去那一次庫存變更就不再觸發(fā) ES 的任何寫入。ES 里的商品文檔可能一個月才更新一次標(biāo)題改了、描述改了而價格庫存每天變一千次ES 全都感知不到。高頻更新壓力被完全擋在了檢索系統(tǒng)之外。5.2 查詢鏈路的改造查詢邏輯會變成兩步。第一步用關(guān)鍵詞在 ES 里搜拿到 doc id 列表和靜態(tài)字段的排序分數(shù)。第二步拿這批 id 去 Redis或者 MySQL批量獲取最新價格、庫存、狀態(tài)再在應(yīng)用層做合并。// 第一步ES 檢索只拿 id SearchResponse response esClient.search(product_index, keyword, pageNum, pageSize); ListLong ids extractIds(response); // 第二步批量回源獲取最新可變字段 ListProductPriceInfo priceInfos redisClient.mget(ids); // 第三步應(yīng)用層組裝結(jié)果 ListProductResult results merge(response.getHits(), priceInfos);這個方案的查詢延遲理論上會多一跳網(wǎng)絡(luò)開銷但 Redis 的批量讀取是微秒到毫秒級整體影響不大。而且換來的是一個寫入壓力極低的 ES 集群查詢穩(wěn)定性會好很多。實測中我們用這個方案把 ES 的寫入 QPS 從 5000 降到了不到 200段合并風(fēng)暴基本消失查詢 P99 從 800ms 降到了 120ms。代價是應(yīng)用層多了一段合并邏輯以及對 Redis/主庫的額外讀取壓力。5.3 什么字段適合留在 ES什么字段必須拆出去我按字段特征做了一個劃分需要參與倒排索引、分詞匹配的字段標(biāo)題、賣點、描述——必須留 ES。需要范圍過濾、排序的數(shù)值字段價格、銷量如果更新頻率高強烈建議拆出更新頻率低如一天一次可以留。狀態(tài)類字段上下架、審核狀態(tài)幾乎每次業(yè)務(wù)操作都會變動拆出。冗余的商家名稱、類目路徑低頻變動的可以留 ES 用于展示和過濾。這個方案的變體也很實用如果實在拆不干凈也可以保留雙份字段即 ES 里留一個用于展示但允許過期的價格查詢時用主存儲的最新價格覆蓋。搜索列表頁可以先展示過期價格占位詳情頁再用最新價大部分用戶根本感知不到。5.4 這個方案最大的坑最容易被忽視的問題是如果 ES 文檔的 ID 在主存儲中已經(jīng)不存在商品被刪了、下架了回源查詢時會發(fā)現(xiàn) ID 取不到數(shù)據(jù)。此時要在結(jié)果組裝階段過濾掉這些空文檔否則前端拿到一個沒有價格沒有狀態(tài)的商品卡片體驗很差。我們最初的實現(xiàn)就漏了這一步上線后出現(xiàn)了一批幽靈商品排查了半天才發(fā)現(xiàn)是回源時沒做存在性過濾。方案三比較適合文檔量大、單文檔更新頻率極高、更新字段集中在少數(shù)幾個業(yè)務(wù)屬性的場景。比如電商、OTA 酒店房價、招聘網(wǎng)站的職位狀態(tài)都屬于這個類型。它不是所有場景的最優(yōu)解但如果你正在被 ES 的寫入毛刺折磨這個思路值得認真考慮。6. 高頻更新壓垮 ES 的真正元兇段合并與寫入放大很多人以為 ES 寫入慢是因為每個文檔都要做分詞、建索引其實分詞的開銷遠沒有想象中大。真正吃 CPU 和磁盤的是隱藏在寫入鏈路底層的段合并segment merge。我單獨用一節(jié)來講因為這個知識點決定了你在做前三章方案時能不能想明白為什么 ES 不適合高頻更新。6.1 段合并的全過程ES 的每個分片shard底層是一個 Lucene 索引而 Lucene 索引由多個 segment 組成。寫入流程大致是數(shù)據(jù)先進內(nèi)存 bufferrefresh 時生成一個 segment 并寫盤此時該 segment 可以被查詢。隨著寫入持續(xù)進行小 segment 越積越多。Lucene 后臺線程會根據(jù)合并策略挑選一些 segment把它們讀出來、合并排序、寫成一個更大的新 segment然后刪除舊 segment。這個過程是異步的但它的 CPU、IO 開銷非??捎^合并時既要讀舊 segment 的全部數(shù)據(jù)又要寫新 segment 的全部數(shù)據(jù)等于一次全量搬運。6.2 什么是寫入放大假設(shè)你有 100GB 的索引數(shù)據(jù)不更新時 merge 只發(fā)生在初始導(dǎo)入階段。但高頻更新意味著每個 segment 里都有大量被標(biāo)記刪除的舊文檔這些舊文檔不會被立刻清理而是占著空間等 merge。后臺要不斷把含垃圾的 segment 合并成新 segment才能釋放空間。這會導(dǎo)致一個讓人崩潰的循環(huán)寫入越多 - 標(biāo)記刪除越多 - merge 越頻繁 - merge 又搶走寫入的 CPU - 寫入變得更慢 - 業(yè)務(wù)方加大寫入重試 - 更多 segment 產(chǎn)生。這就是典型的寫入放大現(xiàn)象磁盤 IO 和 CPU 消耗可能達到實際數(shù)據(jù)量的 3 到 5 倍。6.3 調(diào)優(yōu) merge 策略Lucene 默認的TieredMergePolicy把 segment 按大小分層次合并理論上效果不錯但高頻更新場景下需要調(diào)整參數(shù)PUT /your_index/_settings { index.merge.policy.segments_per_tier: 10, index.merge.policy.max_merge_at_once: 5, index.merge.scheduler.max_thread_count: 1 }這里的思路調(diào)小max_merge_at_once和max_thread_count是為了限制 merge 并發(fā)避免它在高峰期和寫入搶資源segments_per_tier控制每一層允許多少 segment調(diào)大一點可以減少合并頻率但可能會讓查詢讀取的文件數(shù)變多。這是一個在查詢性能和寫入穩(wěn)定性之間找平衡的游戲。沒有絕對正確的值只能靠自己的業(yè)務(wù)壓測去試。6.4 更治本的做法分片/索引粒度拆分如果你已經(jīng)預(yù)見到某個索引會被高頻更新不要把所有數(shù)據(jù)塞進一個大索引。按時間滾動索引比如按天建索引是最常見的解法。每天的索引獨立生成、獨立 merge不會互相拖累。配合 ILMIndex Lifecycle Management策略可以把 3 天前的索引自動切到只讀甚至 force merge 成一個大 segment徹底杜絕舊數(shù)據(jù)的 merge 開銷。這種設(shè)計下高頻更新只影響當(dāng)天那個索引其他索引的查詢和寫入穩(wěn)如泰山。6.5 冷熱分離把近期高頻更新的索引放在熱節(jié)點SSD、高 IO 配置把歷史索引放在冷節(jié)點機械硬盤、低配置。這樣即使某個熱索引發(fā)現(xiàn) merge 風(fēng)暴也不會干擾到冷節(jié)點上承載的歷史檢索和聚合報表。我們在實踐中還把冷節(jié)點的副本數(shù)調(diào)成 0進一步降低集群整體負載。這么看下來你已經(jīng)能理解為什么高頻更新 ES是一個需要嚴肅對待的組合。單純在業(yè)務(wù)代碼里調(diào) API 是沒用的如果不從底層機制上做規(guī)避性能天花板就在那里。但反過來說只要理解了段合并的運行機制前文提到的方案三把易變字段拆出去為什么能同時解決寫入放大和查詢變慢就很好理解了——ES 的寫入量直接減少了一個數(shù)量級merge 的頻率自然降下來了。7. 三套方案實測對比延遲、吞吐、成本和坑位盤點紙上談兵沒有說服力這里把我們當(dāng)時在同一業(yè)務(wù)場景下做的一組壓測數(shù)據(jù)分享出來。測試環(huán)境是 3 臺 8C16G 的云主機ES 集群 3 節(jié)點單索引 20 個分片副本 1數(shù)據(jù)量約 800 萬商品文檔。寫入負載是每秒 2000 次文檔更新其中 80% 是價格/庫存類高頻字段更新20% 是標(biāo)題/描述等低頻字段更新。查詢負載是固定的 200 QPS 關(guān)鍵詞搜索。指標(biāo)方案一單體 ES 調(diào)優(yōu)方案二MySQL CDC ES方案三ES 索引層 Redis 回源寫入鏈路業(yè)務(wù)直接寫 ES業(yè)務(wù)寫 MySQL異步同步 ES業(yè)務(wù)寫主存儲ES 幾乎無寫入更新延遲30s 后可搜到約 3s 可搜到取決于 MQ 消費速度靜態(tài)字段更新秒級價格庫存實時回源ES 寫入 QPS約 2000已接近上限約 1500Canal 消費速率限制不到 200只有低頻字段變更查詢 P99800ms350ms120ms高峰期 CPU持續(xù) 95%75%40%磁盤占用虛高大量 deleted 文檔未清理正常正常數(shù)據(jù)一致性強一致單鏈路最終一致需對賬最終一致查詢回源保證準(zhǔn)確架構(gòu)復(fù)雜度低中中高運維成本高需長期調(diào)參優(yōu)化中依賴 MQ、Canal 穩(wěn)定性高需要維護 Redis 回源邏輯適合規(guī)模百萬級數(shù)據(jù)、更新頻率每秒幾百次內(nèi)千萬級數(shù)據(jù)、更新頻率每秒數(shù)千次大文檔量 極高更新頻率、字段可拆分有幾個數(shù)據(jù)點值得展開解釋一下。方案一在 2000 QPS 更新下已經(jīng)出現(xiàn)明顯毛刺這個毛刺來自 merge 線程和寫入線程的 CPU 競爭調(diào)參只能緩解不能根治。方案二的查詢 P99 比方案一好是因為寫入從同步變成異步ES 的壓力小了但 350ms 仍然偏高——當(dāng)時的瓶頸在 MQ 消費積壓導(dǎo)致 ES 批量寫入的 wave 效應(yīng)。方案三的查詢 P99 最低但這是犧牲了價格庫存字段的索引能力換來的如果業(yè)務(wù)需要按當(dāng)前價格做搜索過濾比如價格區(qū)間查詢方案三的那些字段就無法參與這種查詢了必須回源后在內(nèi)存里二次過濾。這是方案三最需要權(quán)衡的點。成本和坑位方面方案一的人力成本最被低估。很多人以為不用引入新組件就是省錢但當(dāng) ES 成為瓶頸后你會花大量精力做索引調(diào)優(yōu)、擴容評估、段合并監(jiān)控這些隱性成本往往超過一套 MQ 加 CDC 的硬件費用。方案二穩(wěn)定運行的前提是 MQ 集群本身靠譜如果公司已經(jīng)有 Kafka/RocketMQ 基礎(chǔ)設(shè)施那方案二是性價比最高的。方案三引入了 Redis 依賴如果 Redis 抖動搜索結(jié)果會直接受影響這種查詢鏈路中的單點故障需要提前設(shè)計降級方案。8. 我的最終選型建議與幾條保命經(jīng)驗綜合這些年的實際項目經(jīng)驗我給一套可落地的選型建議姑且當(dāng)成一個決策清單來用更新頻率低每小時幾百次以內(nèi)、數(shù)據(jù)量百萬級、團隊不想引入新組件優(yōu)先方案一但必須接受秒級延遲和持續(xù)調(diào)參。更新頻率中等每秒數(shù)百到數(shù)千次、已有 MySQL 主庫、公司有 MQ 基礎(chǔ)設(shè)施方案二是最穩(wěn)妥的選擇鏈路雖長但每一環(huán)都是成熟組件。單文檔更新頻率極高每分鐘多次、價格庫存等字段占更新 80% 以上、搜索又不依賴這些字段做過濾直接上方案三ES 只做靜態(tài)檢索可變字段全走 Redis 回源。如果搜索必須支持按最新價格過濾這種需求那方案三的適用性就要打折扣。這時候我會考慮把價格字段做成獨立索引比如價格區(qū)間 上下架狀態(tài)單獨放一個輕量 ES 索引主文檔索引只存靜態(tài)信息兩個索引通過商品 ID 關(guān)聯(lián)。這相當(dāng)于一個更細粒度的拆分。最后分享幾條自己的保命經(jīng)驗。第一永遠不要只依賴一條鏈路。不管是方案二還是方案三必須預(yù)留一條全量重建退路。我們每個月會跑一次全量同步腳本把 MySQL 全量數(shù)據(jù)重新灌入 ES用新索引 別名切換的方式發(fā)布確保任何增量鏈路問題最終都能靠全量修復(fù)兜底。第二監(jiān)控不要只看集群整體指標(biāo)單索引級別的 segment 數(shù)量、merge 耗時、deleted 文檔占比這三個指標(biāo)一定要配告警。deleted 文檔占比超過 30% 時基本可以判斷更新模型出了問題該考慮拆索引或換方案了。第三線上調(diào)參一定要留變更記錄。ES 的_settings接口改起來太方便生產(chǎn)環(huán)境經(jīng)常有人隨手改掉 refresh 或 merge 參數(shù)出了問題卻不知道誰改的。至少對索引 settings 的變更走一次代碼評審流程。關(guān)于這套架構(gòu)后續(xù)還可以怎么演進我目前的計劃是在方案三的基礎(chǔ)上加入實時數(shù)倉的維度把價格庫存的歷史變化軌跡單獨存儲這樣既能做當(dāng)前價過濾又能支持價格趨勢分析檢索系統(tǒng)和高頻更新系統(tǒng)之間的邊界會更干凈。選型這件事沒有銀彈關(guān)鍵是搞清楚自己的業(yè)務(wù)屬于哪種更新模型再決定讓哪個組件承擔(dān)什么職責(zé)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99热在线观看亚洲区| 亚洲激情久久| 伊人玖玖婷婷| 欧美成人日韩| 26uuu欧美亚洲日韩| 中文无码婷婷| 九九re精品视频在线观看| 天天操天天爱天天玩| 狠狠狠狠狠狠| 日本一道久久| 丁香婷婷色情| 热99色| 国产综合色婷婷精品久久| 五月婷婷二月丁香| 偷拍丁香九月激情| 五月丁香色五月| 超碰国产在线| 超碰免费人妻| 亚洲 视频 导航 一区| 中文字幕91,综合| 99性感视频| 婷婷色中文字幕| 天天插天天射天天干| 天天日天天日天天搞| 婷婷在线播放| 婷婷五月天中文字幕.| 久久久免费精彩视频| 天天干天天日蜜臀av| 天堂AV三级| 99热久草| 97九色视频| 79色色| 日本色视| 丁香五月 无码| 欧美性丁香色色五月天| 亚洲视频在线网站| 色情五月天首页| 亚洲激情五月| 久久婷婷五月综合97色一本| 狠狠做婷婷| 日韩成人AV在线| 五月综合婷婷五月| 五月婷婷,六月婷婷| 成人丁香婷婷五月天| 操99| 激情综合4月| 91婷婷在线| 99热超碰天堂网| 狠狠色噜噜色狠狠狠综合久久成人波 | 九九www| 噜噜久| 色狠狠婷婷| 精品五月丁香| 91日本在线观看| 日韩九九视频| 97热这里只有精品| 成人操呦av| 五月婷婷影| 天堂中文国产| 热99这里只有精品视频| 五月婷婷影视| av操一操| 99少妇精品| 停停五月丁香| www,色综合| 欧美成人A片AAA片在线播放| 97成人超碰免| 99热热这里只精品996小说| 久久人操-久草婷婷-成人AV| 午夜婷婷久久| 99热国产精品| 99只有精品| 色婷婷综合网| 成人精品在线观看| 亚洲色小说在线综合| 天天日天天爽| 亚洲 无码 中文字幕 中出 | 成人精品一区日本无码网| 九九香蕉网| 久久草大香蕉| 开心五月天私房婷婷| 婷婷五月天网| 六月丁香婷啪射| 亚洲成av人影院| 开心四月婷婷在线色播播| 久久九九99| 五月婷成人| 色丁香久久| tingtingjiqingwuyue| 久久久中文| h在线看免费版在线看| se色婷婷视频| 欧美婷婷成人| 中文字幕不卡+婷婷五月| 九九热在线99| 天天摸夜夜爽天天做| 婷婷的五月天另类视频| 亚洲激情婷婷| 97综合在线| 夜夜爽天天爽| 人妻尝试久久久久久久久久久久| 青青草Avb在线| 九九人人精品| 5月婷婷视频网站综合| 激情深爱五月天| 国产五月天激情小说| 国产一区二区av免费| 国产婷婷五月天| 成人片在线免费看| 亚洲精品成人| AV五月丁香| 中国无码av| 99这里只有精品|v| 综合色色网| 99色色| www天天干| 操逼电影免费看| 久久这里只有精品8| 另类 在线| 99视频内射三四| 丁香婷婷激情五月色| www久久久久久久久久久| 激情五月深爱婷婷| 午夜爱插插| 日韩成人综合网| 五月天全国最大成人网| 99久久久久久久| 伊人久久99| 婷婷大香蕉| 免费视频在线观看的网站| 午夜五月天| 久久久久亚洲AV无码网影音先锋| 国产毛片欧美毛片久久久| 婷婷五月激情在线| 91精品国产99久久久久久天美| 五月婷婷五月| 五月第四色| aaa久久| 人人爱操| 婷婷激情视频欧美视频自拍视频欧美剧| 99视频久久久| 大战熟女丰满人妻AV| 色色综合色| 久久久性爱网| 日曰躁夜夜躁2026| 国产精品成人AV在线| 六月婷婷俺也去| 丁J香六月首页| www.五月婷婷久久.com| 99热精品9| 色五月婷婷自拍| 91色久| 色色 亚洲| 亚洲综合五月天婷婷丁香| 五月丁香综合网| 天天做天天爱天天综合| 无码九九| 任你干嘛免费视频播放| 欧美三级A做爰在线观看| 亚洲99精品欧美一区| 综合色99| 人人综合色| www.91.com黄| 涩涩涩.com| 超碰不卡在线| 五月丁香亭亭电影久久| 99久久久久| 99re这里有精品手机在线| 国产一区18| 五月婷婷综合在线| 综激情网| www.亭亭五月天| 久久九九爽| 91麻豆国产三级精品福利在线观看| 久久 婷婷 五月天| 婷婷色成人| 超碰九九热| 先锋影音av色五月天资源站| 九九热超碰| 久久婷婷五月天亚洲欧美| 久99| 色玖玖玖| 婷婷狠狠综合网入口| 99精品久久久久久久婷婷| 涩涩网五月天| 一起草AV| 国产免费av在线| 内射干少妇亚洲69XXX| 婷婷五月,偷窥偷拍网| 丁香久久AV| av在线激情| 深夜婷婷 丁香| www.99在线| 欧美日韩aaaa| 亚洲avjiujiur91| 日本人人干| 激情五月婷婷综合秋霞| 久久婷色| 午夜免费试看| 99色色视频| 夜夜爽日日躁| 天搞天天天天天| 婷婷丁香综合| 久在热99| 99在线精品免费视频| 欧日韩成人| 婷婷五月花西瓜| 色五月丁香五月五月婷婷| 婷婷五月色情| 九九伦子片| 六月婷婷五月丁香| www.五月丁香| 精品婷婷| 亚洲色图五月丁香| 天天干夜夜谢| 亚洲人成人五月天| 亚洲第精品| 日韩欧美颜射| av在线中文| 久热精彩视频98| 国产伦亲子伦亲子视频观看| 色综合伊人网| 超碰在线成人| 丁香五月先锋| 亚洲精品永久久久久久| 五月开心深爱激情网| 综合性视频99| 婷婷爱综合| 九九色网专区| 色婷婷成人做爰A片免费看网站| 五月婷婷五月天| 激情五月丁香五月| 亚洲色激情| 激情综合婷婷| 天天婷婷操| 色婷婷狠狠| 日本久久人| 欧美成综合在线观看| 51精品国自产在线| 欧美 日韩 人妻 高清 中文| 午夜大香蕉| 色五月婷婷中文字幕| www.婷婷| 天天日夜夜| 天天草天天摸| 色婷婷五月视频| 夜夜撸天天日| 不卡影院午夜理论片| 五月色欧洲| www。狠狠干。com| 夜夜人妻五月天| 粉嫩av懂色av蜜臀av熟妇| 亚洲无aV在线中文字幕 | 欧洲亚洲欧洲99久久| 密黄站| 久热伊人| 狠狠爱综合网| www久久久| 九九色影视| 婷婷射综合| 成人Av在线大片| 久久狠婷婷| 婷婷色色丁香| 成人在线视频一区| 免费看无码视频A级| 丁香天堂夜| 久久一伦| 玖玖婷婷婷丁香五月| 久久九九re热| 97亚洲婷婷| 五月婷婷,狠狠操| 午夜日韩久久久网站| 999九九九久久久99HD| 麻豆忘忧草午夜| 国产免费一区二区三州老师F1……| 97caop| 精品国产AV色一区二区深夜久久 | 五月天五月天成人网亭亭成人色网站| 亚洲日日操| 亚洲成人黄色网| 日韩在线五月天婷婷| 天天做天天爱天天玩夜夜爽| 久久99激情丁香婷婷小说网| 99热在线观看免费精品| 99在线免费视频| 成人五月天丁香婷| 亚洲成人免费电影| av在线资源| 丁香五月激情网| 久久久天堂国产精品女人| 丁香五月婷婷色| 天天插天天射| 丁香五月影| 99色热综合| 五月丁香亭亭A片| 婷婷丁香黄色| 婷婷五月电影| 亚洲综合99| 天天摸天天肏| 精品视频99看在线视频| 淫荡综合网| 五月天色婷婷成人| 99热天堂| 人人摸人人搞| 99精品偷自拍| 六月丁香婷婷爱| 999精品久久久久久久| 久久伊人婷| 五月丁香在线观看99| 亚洲无码成人| 这里只精品| 天天舔天天| 丁香五月六月激情久久| 五月天婷婷成人网| 在线不卡视频| 婷婷五月花| 日本三级99人妇网站| 婷婷色五月天色色| 亚洲中文av| 五月噜噜噜色综合| 五月丁香六月婷婷亚洲视频| 久久婷婷五月综合激情国产 | 男人大jjc女人免费视频| 亚洲丁香婷婷| 成人AV中文字幕| 99色在线| anquye五月| 色婷婷五月天激情在线观看| 淫视馆aV二区一区| 欧美激情五月天| 亚洲AV在线免费看| 亚洲AV无码成人精品区电影网| 久久婷婷五月天蜜桃| 99久久66| 五月天婷婷丁香社区| 高清无码网址| 97人人干| 九九美女视频| 久久99操| 99热日本| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 99在线精品视频| 4399啪啪视频| 色婷六月| 五月婷婷开心爱| 五月天社区狠狠| 日本一毛片| 99操逼| 丁香婷婷五月综合欧美另类| 91干| 亚洲综合色五月| 久久亚洲无码| 图片区 小说区 区 亚洲五月| 青吴乐视频| 五月婷在线影院| 99热精品少| 精品无码99| 色情久久久| 伊人综合网站| 亚洲无码黄色| 五月丁香直播| 九九色图| 国产人妻777人伦精品HD| 婷婷五月激情五月丁香五月| 深爱五月激情网| 五月停停激情网| 大香蕉五月天婷婷| 欧美日本国产| 亚洲色碰| 国产午夜精品久久久观看| 九月丁香亭亭| 超碰人人在线观看| 天搞天天天天天| 色色色国产| 九九色热| 亚洲无码九九九| 538午夜激情| 99精品免费欧美小视频 | 97婷婷丁香五月综合| 99九九久久| WWW.色婷婷.COM| 久久婷婷内射| 91色综合久久| 丁香五月六月久久综合| 丁香五月天综合| 五月天成人综合| AVV黄| 99在线免费视| 久久婷婷视频| av大片在线| 日本系列_4页_777FP| 色婷婷伦理| 婷婷射综合| 日木WWW视频| 九九色99| 五月婷在线播放| 99热最新网址| 六月丁香婷婷综合狠狠爱夜夜爱| 丁香丝袜五月| 天天插天天插| 婷婷六月天天| 亚洲色亚洲精品| 久久婷婷五月| 精品99视频| 五月天激情婷婷丁香| 伊人啪啪网| Av在线不卡一区| 99热这里只有精品在线免费| 玖玖在线视| 超碰免费人人肏| 日本a片网址| 婷婷五月天av| 7777久久亚洲中文字幕| 在线,国产,色,热视频| 99丁香五月婷| 亚洲成人AV电影网| 人妻操操色| 五月婷婷丁香六月| 日本色天堂| 深爱激情婷| 国产成人精品123区免费视频| 五月丁香婷草| 99亚州综合精品成人网| 丁香五月婷婷激情97| 思思热国产视频| AA久久| 激情婷婷22月间| 99热这里精| 五月婷婷啪啪| 色久影院| 婷婷久久色| 日本黄 色 片| 婷婷的五月天另类视频| www.夜夜操| 丁香五月情| 精品国产va久久久| 五月婷婷免费在线观看视频| 荫道BBWBBB高潮潮喷| 色综天天综合| 亚洲区视频| 亚洲AV无码成人精品电影| 亚洲噜色| 超碰只有精品在线| 婷婷黄色五月天在线视频| 26UUU欧美| 亚洲 视频 导航 一区| 五月天婷婷在线AN| 色婷婷精| 色色色国产| 91紱請| 亚洲激情无码久久| 99视频内射三四| 超碰九色| 秋霞性爱AV| 久9精品| 99热99热在线| 丁香久久激情俄| 天天爽综合| 欧美性生交XXXXX无码小说| 婷婷丁香人妻天久久| 婷婷五月天激情综合| 狠狠色丁香婷婷五月| 深情五月天| 久热精品免费视频4| 婷婷激情五月综合基地| 亚洲蜜桃精久久久久久久久久久久 | 五月丁香婷婷久久| 九九AV在线| 丁香五月123| 舔色婷婷| 五月丁香激情啪啪网| 五月婷婷影| 婷婷丁香大香蕉| 午夜电影网VA内射| 教师性爱毛片| 狠狠操狠狠做| 亚洲成人av在线观看| 狠狠色丁香久久婷婷综合五月| 少妇高潮呻吟A片免费看软件| 五月丁香视频在线观看| 搡BBBB搡BBB搡五十| 色五月天天| www.色五月| 丁香五月天在线直播观看| 午夜69成人做爰视频| 色五月婷婷成人视频| www激情| 亚洲综合激| 丁香五月综合网亚洲综合欧美狠狠| 婷婷视频在线| 五月婷婷啪啪网| 婷婷五月丁香青青草在线| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 成人做爰黄A片免费看直播室男男| 五月天婷婷在线观看精品男人| 久热免费视频| 69er小视频| 99色免费观看全部| 99热这里只有精品18| 久久婷婷五月综合色和| 婷婷六月天激情| 婷婷五月天午夜激情影院| 日韩精品一品二区三区的使用体验| 9精品视频在线| 淫视馆AV在线| 好好干Av| 少妇2做爰HD韩国电影| 亚洲欧洲自拍图片专区五月天| 欧美顶级少妇做爰HD| 五月丁香久久久| 亚洲婷婷性爱| 26uuu精品一区二区| 天天综合久久| 婷婷五月天AV| 天天网站天天爽| 牛色色碰| 五月婷婷中文字幕| 色狠狠综合网| 亚洲va综合va国产va中文| 成人视频九九| www.99.色| 这里只有精品在线视频在线观看| 久久新| 日日综合网| 国产成人VA| 91精品久久久久久久久| 成人看片网站| 国产伦亲子伦亲子视频观看| 色吧五月婷婷| 国产综合色婷婷精品久久| 婷婷五月六月丁香| 深爱五月天 开心网| 在线超碰精品| 亚洲精品影视| 中文久久久人妻| Www.sesese丁香| 亚洲色频| 秋霞电影一级黄| 精品少妇人妻AV无码专区偷人 | 伊人婷婷激情| 欧美三级视频下载| 99精色| 五月社区丁香| 97婷婷丁香五月天激情图片| 丁香五月Av| 中文字幕日韩无码制服诱或| 91久久九| 人人综合久| 激情美女五月天| 97碰精品| 99久.| 狠狠擼综合| 亚洲天堂婷婷| 伊人超碰| 99热精品一区| 色婷婷偷拍| 啪啪综合网| 色婷婷六月丁香综合欲精品| 日本一级一级一级一级| 99欧美精品99日本精品| 中文字幕AV在线播放| 激情图片婷婷| 亚洲乱码w在线观看| 日本色婷婷| 婷婷欧美激情| 色色丁香| 五月丁香六月停停停| 91久久| 99啪啪骑| 丁香六月啪啪| 五月天婷婷视频30| 九九色影院| 9久热精品在线视频| 婷婷五月天激情小说| 九九激情网| 五月天婷婷激情四射综合| 日本综合色图| 丁香五月综合在线视频| 六月婷婷天天操夜夜爽视频| 久久五月热| 五月激情婷婷在线| 五月天色婷婷网| 国产成人网址| 好大好粗嗯啊-一级黄色大片免费观看-成人AV| 婷婷久久综合久| 五月天婷婷高清无码| 欧美久久婷婷| AV在线免费观看不卡| 日韩亚洲视频| 欧美成人五月天| 婷婷综合欧美| 日日操无码| 另类激情综合| 欧美婷婷成人| 亚洲欧洲自拍图片专区五月天| 中文AV在线观看| 亚洲精品又粗又大又爽A片| 九九热免费视频| 五月丁六月香av| 日本久久婷婷| 九九成人电影婷婷| 九九碰九九爱97超碰| 99热99热不卡| 五月激情丁香久久综合网| 9久久久| 久久精品国产AV一区二区三区 | av中文在线| 伊人影院久久网| 99精品在线| 超碰在线免费9| 久久久久99精品成人片| 激情婷婷五月久久| 91在线日本| se色婷婷视频| 五月婷丁香| 欧美性色视频| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 午夜天堂一区人妻| 99久久性爱| 婷婷六月丁香五月| 日韩狠狠色婷婷| 91丁香五月| 1024AV视频| 99热这里都是精品| 婷婷五月色情天| 99re这里| 亚洲性色XXXXX| 五月天无码| 五月天天综合| 色综合色综合色综合| .精品久久久麻豆国产精品| 成人AV免费观看| 99热在线只有精品| 中文字幕 久久9999| 婷婷五月丁香av网站| 国产精品美女| 综合日本婷婷| 丰滿爆乳一区二区三区| 婷婷97狠狠成人网站| 丁香五月影院| 五月丁香六月色| 婷婷色爱| 九九色99| 色狠狠伊人久久五月丁香| 另类天堂| 伊人色综合影院视频| 久久机热探花| 91呦呦呦| 大香蕉久久青青| 久久婷色| 九九热视频这里只有精品| 国产avapp 网| 久久久久久久人妻| 五月色丁香视频精品| 26uuu亚洲欧美另类| 丁香五月激情天AV无码| 91啪啪视频| 国产精品人成A片一区二区| 91精品久久久久久| 丁香久久综合| 五月婷婷婷丁香播| 五月花激情| 热99精品视频| 中文字幕 久久9999| 婷婷丁香久久五月综合| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 2022人人操人人看| 丁香五月婷婷亚洲激情四射| av免费在线观看0| 91se视频| 综合色色五月| 丰满少妇猛烈A片免费看观看 | 五月婷婷激情综合网| 丁香激情五月天| 欧美婷婷综合| 99re8在这里只有精品| 99精品免费欧美小视频 | 色玖玖| 日韩欧洲亚洲| AV在线观看网站| 久久婷婷网| 玖玖爱综合网| 五月婷婷三级| 成人午夜无码视频| 99久久婷婷| 亚洲黄色影视| 国产日产成人亚洲欧美国产VA| 成人视频一区| 99久热在线精品| 久久精品99| 99精品久久| 丁香五月婷婷久久综合激情网 | 丁香蜜臀黄色婷婷五月天| 人妻AV在线| 五月婷婷啪啪| 狠色综合网| 99思思在线视频| 伊人丁香六月婷婷| 婷婷六月爽| 五月婷丁香在线视频在线| 五月天婷婷爱丁香中文字幕| 五月天四色房丁香| 99久久精品视频女神1| 五月婷婷欧美激情| 激情五月,婷婷五月,丁香五月| 五月丁香六月激情综合欧美| 情久久综合五月天| 色色色色综合| 99操免费视频| 超碰成人在线观看| 99热只有这里有精品| 丁香六月无码播放| 夜夜操天天干| 播播网色播播| 色99自拍| 五月丁香六月在线| 五月激情影院| 丁香五月婷婷欧美性爱| 午夜激情四射影院| www.色色com| www.五月天婷婷| 97人人干人人操| 久思思久视频| 99热日| 五月丁香婷婷三级| 狠狠干婷婷| 超碰在线免费| 日本三级韩三级99久久| 精品夜夜澡人妻无码AV| 99丁香五月| 91AV视频| 久久久久久久97| 色五月丁香五月激情五月激情| 深爱激情网婷婷| 久热只有这里精品| 婷婷金品综合视频| 九九婷婷综合| 六月丁香久久| 婷婷五月天免费99| 综合www色| 在线婷婷| 深爱激情五月天色婷婷| 思思国产99| 色久影院| www99热| 伊久大香蕉| 99丁香五月婷婷在线| 婷婷五月天久久| 这里只精品| 五月婷婷欲色| 97干婷婷| 久久九九网| 99婷五月| 欧美超级视频97| 99色在线观看免费| 99热大片| 女人被男人吃奶到高潮| 狠狠色噜噜狠狠狠狠综合| 亚洲视频在线网站| 欧美乱码国产一级A片| 天天久久人人| 日日操,天天操| 99热资源在线| 色色色综合网| 色综合久久88色综合天天| 五月色丁香| 婷婷AV丁香| 成年人看Va免费视频| 天色综合网站| 欧美色色色色色| 五月天婷婷色色| 五月Huangsewang| 综合色影院| av婷婷丁香 六月| 五月丁香六月激情啪| 天天久久狠狠色综合| 人妻内射一区二区在线视频| 丁香久久九九99| www.粉嫩av.com| 99免费视频在线观看爱| 六月丁香久久| 色五月丁香com| 91肏| 久久奄也去色色网站| 婷婷五月天国产在线播放| 99精品免费视频| 激情综合九| 99热偷拍| 99热这里只有精品最新| 婷婷五月天激情四射| 九九爱激情| 精品久久9| 久久这里99| 超碰99热精品| 97在线观视频免费观看| 五月停停色| 婷婷免费成人视频| 精品久久这里热66| 狠狠操狠狠插| 青青操丝袜美腿| 亚洲va日| 色播五月天激情| 夜夜穞天天穞狠狠穞AV美女按摩| www91精品| 丁香婷五月天| 日本久久性| 天堂伊人干| 婷婷黄色| www五月天激情com| 色播五月| 欧美久人人| 五月婷婷少妇之| 色五月婷婷五月天| 69超碰在线| 色玖玖综合网| 九九热精品6| 五月婷婷综合在线| 97伊人综合婷婷| 六月丁香深深爱| 天天操B| 香蕉久久五月| 精品色情一区二区三区四区| 99这里有精品| AⅤ网站在线看| 狠狠色综合网| 精品久久久人妻| 被强行糟蹋的女人A片| 婷婷综合日本| 色99综合视频| 99爱精品视频| 五月天激情四射| 9l视频自拍9l视频自拍九色学生| 综合深爱五月| 99爱在线免费视频| 丁香六月婷婷开心婷婷网| 97色五月天| 婷婷午夜激情| 久久婷婷五月综合色天| 天天爱天天做综合| 99热偷拍| 欧美日韩国产一区二区| 五月婷婷开心六月激情小说| 色婷婷六月| 婷婷五月丁香花综合| 99热99re6国产在线播放| 操人无码| 91大神操美女| 天天干夜夜想| 五月丁香婷婷伊人| 丁香五月婷婷婷婷欧美综合| 丁香婷婷五月色成人网站| 激情婷婷五月社区| 五月婷婷综合激情| 九九亚洲视频| 99热费观看| 丁香五月六月激情久久| 大战熟女丰满人妻AV| 激情色播| 综合99久久天天综合| 99re资源在线视频导航| 婷婷的五月天另类视频| 99热亚洲精品| 日韩成人电影在线播放| 五月丁香六月婷婷国产视频| 天天射影院| 99re66热这里只有精品| 久久婷婷五月天| 久久99免费视频网站| 天天拍天天做视频| 天天综合网在线| 婷婷涩涩五月天| 色99在线观看| 欧在线一区| 婷婷激情欧美| 99国产精品白浆在线观看免费| 伊人99热| 亚洲av综合网| 五月丁香激情综合六月涩涩爱| 天天色宗合| 丰滿爆乳一区二区三区| 就爱干 在线| 99热66| 久热这里只有精品3| 99久久久久| 人人操人人操919999| www.激情五月| 色婷大香蕉| 天天爽天天摸| 五月天丁香啪啪网| 久久只这里有精品| http:色情日本com| 天天爽天天日人人爱| 亚洲激情另类| 久久五月婷婷电影| 丁香五月激情视频在线| 国产真实乱了老女人视频| 袁子仪视频观看| 九月丁香| 丁香五月天色综合| 亭亭玉月丁香| 第四色激情网| 成人网站在线观看视频| 另类激情五月| 丁香五月婷婷亚洲综合精品| 991国产精选视频在线播放下载| 99热成人| 色欲影香| 欧美啪啪9| 9热精品| 婷婷 伊人 久久| 亚洲AV无码影院| 婷婷成人五月天成人文学| 91日综合欧美| 99爱在线免费视频| www.91AV.COM| 日本色爽| 嫩草视频观看| 色五月婷婷综合在线| 久久最新色| 91大神操美女| 99九色视频在线观看| www99在线观看视频| 久久刺激网| 婷婷色影院| 婷婷在线视频| 亚洲精品成人| 天天摸,天天爽| 香蕉久久国产AV一区二区| 天天色色婷婷| 五月激情丁香啪啪| www.热99热| 婷婷六月成人| 五月婷婷六月丁香综合| 久久五月情| 亚洲精品视频电影| 9久国产精品| 五月天综合视频| 亚洲视99| 午夜69成人做爰视频| www 五月天 com| 老司机视频lsj爱就色| 五月婷婷激情久久| 欧美 日韩 成人| 大香蕉五月婷婷| 综合激情五月天| 婷婷综合| sewuyuejiqingwang| 婷婷亚洲在线| 激情www| 视频一二区| 婷婷综合网| 天天日夜夜B久久| 91丁香综合| 五月丁香操亭亭网| 久久hd| 一起草Av| 99re熱| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 久热精彩视频98| 人人操人人干AV| 六月丁香婷婷拍拍| 亚洲av日韩无码| 91干| 99无码视频| 丁香婷婷色五月合集| 日本三级片片| 色色色国产| 婷婷久久婷婷色五月| 久草热8精品视频在线观看| 婷婷五月18永久免费视频| 欧美大道不卡| 99精品视频网| 啪啪激情网站| 18久久| www.婷婷五月| 激情丁香淫荡婷婷| 婷婷五月天丁香综合网| 丁五月激情视频免费| 91婷婷丁香| 国产亚洲精品久久久久久郑州| 欧美久久婷婷| 偷偷操99| 丁香五月天激情综合| 五月婷婷干| 99丁香五月婷婷在线| 99热久| 欧美五月丁香在线观看| 91久久精品视频| 五月丁香综合激情| 天堂婷婷五月色| 婷婷五月综合免费在线| 99激情网| 日韩AAA| 三级毛片7979| 人妻丰满精品一区二区A片| 六月综合在线| 国产精品久久久99视频| 九月色婷婷综合亚洲| 五月丁香婷婷色色| 中文字幕 久久9999| 色欲影香| 搡BBBB搡BBB搡18 | 婷婷综合一二三| 色五月亚洲五月天| 欧美日韩国产一区二区| 婷婷综合五月天| 天天操婷婷| 亚洲欧洲色色| 五月五月婷婷| 欧美大肥婆大肥BBBBB| 天天色天天日| jiujiu无码五区| 九9九9无码| 大学生高潮无套内谢视频| 婷婷六月综合激情| 久久亚洲色导航| 91在线视频综合| 婷婷成人基地| 亚洲免费99| 五月天色在线| 色婷婷丁香| 激情精品久久| 亚洲天堂色色| 五月婷婷五月丁香| 99热国产国产| 久99热在线观看| 成人网在线观看视频| 人人澡玖玖一| 久狠日av| 久热爱大香蕉在线蜜臀悦色| 伊人婷婷五月天av| 欧美日韩成人在线观看| 欧美韩国日本| 日本欧美国产| 五月婷婷手机在线| 玖玖在线视频福利| 性爱五月婷婷| 强辱丰满人妻HD中文字幕| 丁香五月在线自慰| 丁香婷婷色五月合集| www.激情.com.| 五月天婷婷深深爱| 激情亚洲网| 欧美日韩一a.无| 天堂久久大香蕉| 丰满少妇猛烈A片免费看观看| 中文色婷婷| 婷婷五月天综合色| 密黄站| 99狠狠操一| 五月丁香亭亭激情操逼网| 九九热在线99| 噜噜在线| 色狠狠综合| 久久婷婷五月国产色综合激情| 天堂色色色| 久操乱| 久99久视频| 97色在线观看视频| 99热99热| 九九sese| 激情五月天视频| 亚洲色色五月| 91精品91久久久久77777| 色五月成人| 五月激情婷婷综合| 丁香狠狠色婷婷久久无码视频| 精品综合久久久久久五月天| 色色色999| 五月天伊人久久久久| www.99色在线| 国产毛片精品一区二区色欲黄A片| 91一起艹| 26uuu国产| 99热国产在线| 激情五月综合ì香亚洲| 丁香五月综合高清在线| 大香蕉久久婷婷| 奇米色大香蕉| 日本啪啪视频HD| 久久激情五月| 久热婷婷| 色综合久久88色综合天天看| 国产无套精品一区二区| 天天狠狠色| 五月天免费色| 天天狠狠婷婷在线| 亚洲六月婷婷| 婷婷伊人75| 激情五月狠狠喔| 久cao香蕉影院| 曰韩少妇内射免费播放| 国产这里只有精品| 亚洲五月婷| 一起草无码| 婷婷深爱五月天| 99精品免费欧美小视频| 色噜综| 天天舔天天| 激情播丁香| 亚洲五月丁香综合网| 日韩一级片| 色六月婷婷| 色色色五月婷| 99日在线观看视频| 99艹精品在线观看| 99在线资源视频| 影音先锋男人女人| A片试看50分钟做受视频| 操碰97| 九九无码| 色色色色色色色色网站| 99热99干| 亚洲av免费在线| 色综合久久99色| 超级碰碰碰97免费| 99这里只有精品| 99热这里只有精品免费| 色婷婷久久综合久色综| 婷婷五月激情视频在线| 四月婷婷丁香| 99热99热不卡| www.五月天社区| 3www激情| 色色丁香激情五月| www五月天激情com| 色五月视频,小说| 色五月综合婷婷| 思思热99在线| 婷婷色五月天综合网| 能看的AV网站| 精品99网站| 色丁香久综合在线久综合在线观看| 五月婷婷久久爱| 婷婷深爱五月亚洲综合| 五月丁香AV、伊人业余、性色熟妇| www,欧美干干干干干干| 久99精品视频| 91AV视频| 色婷婷色| 久久五月天网| 99干99| 欧美精品啪啪| 超碰人人操在线| www超碰| 激情五月,色五月| 99 热| 777久久精品| 日韩成人网站精品久久大全| 天天成人综合| 99热这里有精品24| 五月色丁香激情| 色六月视频| 五月天另类小说| 色五月欧美| 国产激情av| 91久久99久久91熟女精品| 婷香五月激情视频| 人妻AV在线| 亚洲电影在线观看| 久久九久久| 91久久九九| 久久亚洲无码| 五月丁香色色| 成人看片网站| 婷婷色五月激情| 天天模,夜夜模夜夜爽| 小视频一区| 狠狠干综合网| 色婷婷五月天在线观看| www.精品99| 天干夜夜操| 国产成人网址| 久久黄色片| 碰人人97| 99草视频在线观看| 色色丁香婷婷综合| 久热久色| 五月丁香综合伦理片| 99热这里只有精品 搜| 99精品在这里| 亚洲六月色婷婷| 久久xx| 伊人激情AV一区二区三区| 久久五月婷综合| 色九月综合网| 99玖玖免费视频| 激情五月激情综合俺也去婷婷小说| 激情小说五月天中文字幕| 操熟女成人网| 色五月亚洲| 婷婷九月色| 日日夜夜天天| 99久99久| 五月丁香色婷基地综合久久| 亚洲精品又粗又大又爽A片| 99热97| 亚洲精品国产A久久久久久| 日本97在线观看| 国产三级片91| 色一区高清| 国产精品色色色色| av色色国产| 超碰在线观看99| 疯狂做受XXXX高潮A片| 五月婷婷综合天天操| 久久久27操| 99视频超级精品| 99这里只有精品在线观看| 天天婷婷| 丁香婷婷久久| http:色情日本com| 大香蕉在线观看9| 六月丁香啪啪啪| 无码中文一区二区三区| 婷婷噜噜| 欧日韩成人| 国产精品18久久久| 7777久久亚洲中文字幕| 精品牛仔裤超碰| 狠狠做五月婷婷| 色五月激情婷婷| 色色综合网站| 丰满人妻妇伦又伦精品国产| 亚州精品成人片| 色婷婷丁香| 26UUU在线观看| 亚洲无码色| 99热欧美| wwww.9免费视频| 成人在线精品| 婷婷免费无视频| 日亚二欧美| 9久热| 99资源人人| 影音先锋91在线资源站| 久久91久久91色欲精品| 五月丁香久久综合| 激情五月天无人视频在线| 久久综合爱| 国产av一区二区三区| av在线免费网站| 九月婷婷综合八月丁香在线观看 | 婷婷伊人久久| 亚洲精品久久久久久久久久飞鱼| 五月婷婷国产| 天天肏屄夜夜爽| 99热这里只有精品22| 久久五月丁香| 婷婷亚洲在线| 九九久久五月天综合伊人| 激情五月丁香在线观看直播| 色五月欧美| 亚洲欧洲中文日韩久久AV乱码| 91视频久久久| 色9色| 99色热视频在线| 99噜噜噜在线播放| 色婷婷色综合激情91| 丁香 婷婷五月| 婷婷情爱五月天6| 九九热精品| 3p久久| 天天干天天 亚洲| 丁香九月久久|