欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Elasticsearch Serverless無狀態(tài)架構(gòu):計(jì)算存儲(chǔ)分離解決集群擴(kuò)縮容難題

Elasticsearch Serverless無狀態(tài)架構(gòu):計(jì)算存儲(chǔ)分離解決集群擴(kuò)縮容難題 手頭有個(gè)搜索和日志分析的場景數(shù)據(jù)量說大不大說小不小但業(yè)務(wù)波動(dòng)特別明顯——白天高峰和夜間低谷能差幾十倍。用傳統(tǒng) Elasticsearch 集群扛這種流量要么常年空轉(zhuǎn)浪費(fèi)資源要么擴(kuò)容速度跟不上突發(fā)流量。后來我把項(xiàng)目遷到了 Elasticsearch Serverless 架構(gòu)上核心思路就是無狀態(tài)化計(jì)算節(jié)點(diǎn)不保存任何持久數(shù)據(jù)所有數(shù)據(jù)都落到遠(yuǎn)程共享存儲(chǔ)這才算徹底解決了我的痛點(diǎn)。這篇文章不聊PPT式的架構(gòu)演進(jìn)就從我實(shí)際遷移和運(yùn)維的視角把 Elasticsearch Serverless 到底怎么做到無狀態(tài)、數(shù)據(jù)怎么流動(dòng)、部署時(shí)要注意什么、遇到問題怎么排查一條線講清楚。無論你是剛開始接觸 ES 的新手還是在為集群擴(kuò)縮容發(fā)愁的老手這篇應(yīng)該都能給你一些可以直接落地的參考。1. 傳統(tǒng)集群的痛點(diǎn)以及無狀態(tài)架構(gòu)的解題思路1.1 傳統(tǒng) Elasticsearch 集群為什么難伺候先說結(jié)論傳統(tǒng) ES 集群的痛點(diǎn)幾乎全來自狀態(tài)這兩個(gè)字。所謂狀態(tài)就是節(jié)點(diǎn)本地保存了數(shù)據(jù)、分片、副本、集群元數(shù)據(jù)。每個(gè)數(shù)據(jù)節(jié)點(diǎn)都要維護(hù)自己的分片副本又要把分片狀態(tài)和集群狀態(tài)保持一致這讓節(jié)點(diǎn)變得非常重。我舉個(gè)例子一個(gè) 3 節(jié)點(diǎn)的集群每新增一個(gè)節(jié)點(diǎn)新節(jié)點(diǎn)要先把分片數(shù)據(jù)拷貝過去集群要做數(shù)據(jù)再平衡rebalance這個(gè)過程對磁盤 IO 和網(wǎng)絡(luò)帶寬的消耗都很大。而且節(jié)點(diǎn)掛了之后其它節(jié)點(diǎn)要重新分配副本稍有疏忽就容易出現(xiàn) yellow 或 red 狀態(tài)。另一個(gè)繞不開的問題是擴(kuò)縮容。業(yè)務(wù)流量漲了你想把集群從 5 個(gè)節(jié)點(diǎn)擴(kuò)到 20 個(gè)節(jié)點(diǎn)正常情況下必須等待分片遷移完成這個(gè)等待時(shí)間往往以小時(shí)計(jì)。反過來流量降下來想縮容還得小心翼翼地把某個(gè)節(jié)點(diǎn)上的分片先移走否則又會(huì)出現(xiàn)數(shù)據(jù)丟失風(fēng)險(xiǎn)。這種操作非常依賴運(yùn)維經(jīng)驗(yàn)不敢輕易自動(dòng)化。還有單分片容量、副本數(shù)、磁盤空間、內(nèi)存分配這些規(guī)劃問題。我印象很深的一回集群里一個(gè)索引的分片計(jì)劃定得太粗結(jié)果半年后單分片撐到了接近 40GB查詢速度明顯下降但那時(shí)候再改分片數(shù)就得重建索引相當(dāng)痛苦。這些運(yùn)維負(fù)擔(dān)說到底是等價(jià)的你選擇了有狀態(tài)的數(shù)據(jù)持久化方式就要接受帶狀態(tài)的管理成本。1.2 無狀態(tài)架構(gòu)無掉的是數(shù)據(jù)節(jié)點(diǎn)里的持久數(shù)據(jù)Elasticsearch Serverless 的核心設(shè)計(jì)思路不是把 Elasticsearch 功能砍掉而是把數(shù)據(jù)存儲(chǔ)從計(jì)算節(jié)點(diǎn)上徹底剝離出來。傳統(tǒng)架構(gòu)里一個(gè)數(shù)據(jù)節(jié)點(diǎn)的本地磁盤就承擔(dān)著分片數(shù)據(jù)的持久化任務(wù)。無狀態(tài)架構(gòu)則完全不同數(shù)據(jù)節(jié)點(diǎn)本質(zhì)上只是一臺(tái)計(jì)算資源它本地不保存任何必須長期保留的數(shù)據(jù)所有分片數(shù)據(jù)都以 segment 文件的形式寫入遠(yuǎn)程共享存儲(chǔ)比如對象存儲(chǔ)或者共享文件系統(tǒng)。節(jié)點(diǎn)本地的磁盤只用來放緩存和臨時(shí)文件隨時(shí)可以被清空、被替換。這就像把一間小賣部改成了中央倉庫加臨時(shí)攤位。攤位只負(fù)責(zé)把商品擺出來賣商品本身都鎖在倉庫里。攤位燒了、搬了換一個(gè)攤位繼續(xù)賣就行不用一箱箱把貨搬走。落到 Elasticsearch 的實(shí)現(xiàn)上數(shù)據(jù)節(jié)點(diǎn)啟動(dòng)時(shí)不需要從其它數(shù)據(jù)節(jié)點(diǎn)復(fù)制數(shù)據(jù)只需要從遠(yuǎn)程存儲(chǔ)讀取分片元數(shù)據(jù)和 segment 文件。所以新節(jié)點(diǎn)加入集群幾乎秒級完成。節(jié)點(diǎn)異常退出也沒有影響——它本身沒有必須搶救的數(shù)據(jù)頂多是本地緩存丟失重新從遠(yuǎn)程存儲(chǔ)拉一遍就好。1.3 什么場景適合無狀態(tài)什么場景不建議我自己的判斷標(biāo)準(zhǔn)很簡單如果你的業(yè)務(wù)有明顯的流量波峰波谷或者你想讓一套搜索/日志系統(tǒng)能按需伸縮那 Serverless 無狀態(tài)架構(gòu)非常合適因?yàn)樗奄Y源成本和數(shù)據(jù)副本解耦了。反過來說如果你的數(shù)據(jù)量很小、流量常年平穩(wěn)、團(tuán)隊(duì)對傳統(tǒng) ES 運(yùn)維已經(jīng)很熟練那就沒必要引入這套復(fù)雜度。加一個(gè)遠(yuǎn)程存儲(chǔ)引入新的網(wǎng)絡(luò)開銷和配置項(xiàng)帶來的收益并不明顯。小集群上傳統(tǒng)架構(gòu)完全夠用硬上一個(gè)無狀態(tài)架構(gòu)反而增加故障點(diǎn)。另外要注意無狀態(tài)架構(gòu)對網(wǎng)絡(luò)帶寬和遠(yuǎn)程存儲(chǔ)的讀寫性能要求很高。如果你所在機(jī)房到對象存儲(chǔ)的延遲超過幾十毫秒查詢和寫入都會(huì)明顯變慢。這一點(diǎn)在規(guī)劃階段就得想清楚。2. 核心設(shè)計(jì)拆解計(jì)算存儲(chǔ)分離背后的三層角色2.1 三層角色分裂協(xié)調(diào)、數(shù)據(jù)與存儲(chǔ)Elasticsearch Serverless 的邏輯架構(gòu)我習(xí)慣分成三層來看。第一層是協(xié)調(diào)層Coordinator。它負(fù)責(zé)接收客戶端請求解析查詢做權(quán)限校驗(yàn)把請求路由到合適的數(shù)據(jù)節(jié)點(diǎn)然后匯總結(jié)果返回。協(xié)調(diào)層本身不存數(shù)據(jù)也不做數(shù)據(jù)持久化所以它可以非常輕量地做水平擴(kuò)展。第二層是數(shù)據(jù)節(jié)點(diǎn)層Data Node。這是干活的角色負(fù)責(zé)執(zhí)行寫入、查詢、聚合。每個(gè)數(shù)據(jù)節(jié)點(diǎn)在收到請求后會(huì)操作本地的緩存數(shù)據(jù)如果緩存未命中就去遠(yuǎn)程存儲(chǔ)拉取相應(yīng)的 segment。數(shù)據(jù)節(jié)點(diǎn)沒有任何持久化存儲(chǔ)的義務(wù)它可以隨時(shí)銷毀重建。第三層是存儲(chǔ)層Storage。也就是遠(yuǎn)程共享存儲(chǔ)保存了所有索引的 segment 文件、translog 以及分片元數(shù)據(jù)。這一層才是整個(gè)集群唯一的狀態(tài)持有者。存儲(chǔ)層通常由對象存儲(chǔ)承擔(dān)它天然具備高可用性、高持久性以及無限擴(kuò)展能力。傳統(tǒng) ES 的分片有主備副本概念在無狀態(tài)架構(gòu)里發(fā)生了變化。副本不再是完整的數(shù)據(jù)拷貝而是同一份 segment 文件在遠(yuǎn)程共享存儲(chǔ)上的不同引用方式。數(shù)據(jù)節(jié)點(diǎn)不需要各自持有一份完整副本避免了很多一致性問題。2.2 數(shù)據(jù)到底怎么進(jìn)入倉庫要理解數(shù)據(jù)寫入流程我們先說 Elasticsearch 中的一個(gè)核心概念segment段。ES 中每個(gè)分片的數(shù)據(jù)實(shí)際是由若干不可變的 segment 文件組成的新寫入的數(shù)據(jù)先進(jìn)入內(nèi)存 buffer等到滿足刷新條件默認(rèn) 1 秒后生成一個(gè)新 segment再經(jīng)過合并merge把多個(gè)小 segment 合并成一個(gè)大 segment。在有狀態(tài)的傳統(tǒng)架構(gòu)里這些 segment 直接寫進(jìn)節(jié)點(diǎn)本地磁盤。在無狀態(tài)架構(gòu)里segment 生成之后會(huì)被上傳到遠(yuǎn)程共享存儲(chǔ)節(jié)點(diǎn)本地只保留最近一小部分熱數(shù)據(jù)的緩存。至于 translog事務(wù)日志為了保證寫入不丟同樣會(huì)同步到遠(yuǎn)程存儲(chǔ)。所以數(shù)據(jù)寫入的鏈路大概是這樣客戶端請求到達(dá)協(xié)調(diào)層協(xié)調(diào)層路由給某個(gè)數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)寫 translog 并寫入內(nèi)存 bufferperiodic flush 后生成 segment再把 segment 和 translog 上傳遠(yuǎn)程存儲(chǔ)最后返回客戶端寫入成功。這里實(shí)際上做了一個(gè)很重要的取舍用一次遠(yuǎn)程網(wǎng)絡(luò)寫入來換取數(shù)據(jù)節(jié)點(diǎn)的完全無狀態(tài)。如果你的業(yè)務(wù)寫入量特別大、對 p99 延遲要求又非??量踢@種設(shè)計(jì)相對傳統(tǒng)本地寫入確實(shí)多了網(wǎng)絡(luò)開銷這也是為什么無狀態(tài)架構(gòu)更適合流量可彈性伸縮 對延遲不是極度敏感的場景。2.3 為什么必須要一個(gè)遠(yuǎn)程共享存儲(chǔ)很多剛接觸無狀態(tài)架構(gòu)的同事會(huì)問我能不能用數(shù)據(jù)節(jié)點(diǎn)之間的復(fù)制來替代遠(yuǎn)程存儲(chǔ)答案是否定的。無狀態(tài)的前提是節(jié)點(diǎn)隨時(shí)可以被替換。如果數(shù)據(jù)還是放在某個(gè)節(jié)點(diǎn)的本地磁盤那節(jié)點(diǎn)掛了數(shù)據(jù)就持有狀態(tài)的那部分就丟了。遠(yuǎn)程共享存儲(chǔ)之所以必要是因?yàn)樗羌喝w節(jié)點(diǎn)都能訪問、且不依賴于某一個(gè)具體節(jié)點(diǎn)存活的公共底座。數(shù)據(jù)只要進(jìn)了遠(yuǎn)程存儲(chǔ)業(yè)務(wù)計(jì)算節(jié)點(diǎn)再怎么增減數(shù)據(jù)都在。從實(shí)現(xiàn)層面看遠(yuǎn)程共享存儲(chǔ)可以理解為一個(gè)大得多的分布式文件系統(tǒng)但它和本地文件系統(tǒng)有一個(gè)明顯的不同它不保證低延遲的隨機(jī)寫。所以 Elasticsearch 在無狀態(tài)架構(gòu)里會(huì)把寫操作盡量合并成較大的 segment 文件再上傳減少小文件頻繁上傳的開銷。這也是為什么無狀態(tài) ES 通常會(huì)調(diào)整合并策略和刷新頻率讓 segment 足夠大、數(shù)量足夠少。3. 無狀態(tài)架構(gòu)與傳統(tǒng)架構(gòu)的對比與選型判斷3.1 一張表看懂兩者的關(guān)鍵差異對比項(xiàng)傳統(tǒng) ES 架構(gòu)Serverless 無狀態(tài)架構(gòu)數(shù)據(jù)持久化位置節(jié)點(diǎn)本地磁盤遠(yuǎn)程共享存儲(chǔ)對象存儲(chǔ)等節(jié)點(diǎn)故障影響需要重新分配分片集群可能變紅節(jié)點(diǎn)被替換數(shù)據(jù)從遠(yuǎn)程恢復(fù)擴(kuò)容速度依賴分片遷移分鐘到小時(shí)級秒級拉起新節(jié)點(diǎn)縮容復(fù)雜度需遷移分片并規(guī)避數(shù)據(jù)丟失風(fēng)險(xiǎn)直接銷毀節(jié)點(diǎn)即可存儲(chǔ)彈性受限于節(jié)點(diǎn)磁盤配額獨(dú)立擴(kuò)展幾乎無限計(jì)算/存儲(chǔ)耦合高度耦合規(guī)劃困難完全解耦按需分配成本模型按節(jié)點(diǎn)固定成本付費(fèi)按實(shí)際計(jì)算資源和存儲(chǔ)用量付費(fèi)運(yùn)維深度需要專業(yè) ES 運(yùn)維經(jīng)驗(yàn)平臺(tái)托管為主運(yùn)維成本低延遲敏感度適合對延遲極度苛刻的場景多一層網(wǎng)絡(luò)開銷延遲略高3.2 從幾個(gè)核心指標(biāo)看架構(gòu)變化我最直觀的感受在三個(gè)方面第一擴(kuò)容時(shí)間從小時(shí)級變成分鐘級。以前加節(jié)點(diǎn)分片遷移要等磁盤 IO 一點(diǎn)點(diǎn)搬現(xiàn)在新節(jié)點(diǎn)啟動(dòng)后直接從遠(yuǎn)程存儲(chǔ)加載元數(shù)據(jù)只要計(jì)算資源到位基本上兩三分鐘就能接入集群服務(wù)查詢。第二CPU 和磁盤不再綁定。傳統(tǒng)架構(gòu)里磁盤滿了往往 CPU 還很閑想加計(jì)算能力就不得不擴(kuò)大磁盤造成浪費(fèi)。無狀態(tài)架構(gòu)下存儲(chǔ)獨(dú)立擴(kuò)展計(jì)算資源按需增減成本模型更精確。第三故障恢復(fù)的心態(tài)變了。以前晚上收到節(jié)點(diǎn)宕機(jī)告警第一反應(yīng)是分片有沒有損壞、副本能不能頂上。現(xiàn)在節(jié)點(diǎn)宕機(jī)對我而言只是少了一臺(tái)計(jì)算資源遠(yuǎn)程存儲(chǔ)里的數(shù)據(jù)還在我完全不慌。這種心態(tài)上的轉(zhuǎn)變實(shí)際上就是架構(gòu)穩(wěn)定性提升的體現(xiàn)。3.3 選型判斷什么情況下可以遷移我建議你按這三步來做判斷第一步評估流量特征。如果一天的流量波動(dòng)超過 3 倍或者未來有比較明顯的增長預(yù)期無狀態(tài)架構(gòu)的價(jià)值就很大。第二步評估延遲需求。你的業(yè)務(wù)查詢響應(yīng)要求是幾百毫秒級別還是秒級如果要求極端的低延遲且數(shù)據(jù)量不大傳統(tǒng)架構(gòu)反而更穩(wěn)。第三步評估團(tuán)隊(duì)能力。你們有沒有專門的 ES 運(yùn)維人力如果沒有選擇托管式的 Serverless 服務(wù)能節(jié)省很多精力如果有那也可以基于開源組件自建無狀態(tài)集群但那個(gè)復(fù)雜度和運(yùn)維成本就不低了。4. 實(shí)操記錄本地啟動(dòng)與服務(wù)部署的完整過程4.1 Windows 本地啟動(dòng) Elasticsearch 的注意點(diǎn)說實(shí)話網(wǎng)上說Windows 啟動(dòng) Elasticsearch的教程很多但踩坑的細(xì)節(jié)沒幾個(gè)人講清楚。第一步是準(zhǔn)備 JDK。Elasticsearch 7.17 之后的版本內(nèi)置了捆綁的 JDK但建議你還是單獨(dú)安裝一個(gè) JDK 并配置好環(huán)境變量方便后續(xù)操作和排查。這里有個(gè)我踩過幾次的坑如果你機(jī)器上裝過其它軟件環(huán)境變量里的 PATH 順序可能導(dǎo)致 ES 用了錯(cuò)誤版本的 Java建議在命令行里先執(zhí)行java -version確認(rèn)版本。第二步是下載對應(yīng)版本的安裝包。盡量在官方渠道下載不要用不明來源的整合包。下載 zip 包后解壓注意路徑不要包含中文和空格否則后續(xù)腳本執(zhí)行容易出問題。第三步是修改配置。在config/elasticsearch.yml里本地單機(jī)測試至少要把discovery.type設(shè)置為single-node否則默認(rèn)的zen發(fā)現(xiàn)機(jī)制會(huì)嘗試找其它節(jié)點(diǎn)一直在 bootstrap 階段卡住。內(nèi)存設(shè)置方面在config/jvm.options里把-Xms和-Xmx設(shè)為一樣大小避免運(yùn)行時(shí)堆擴(kuò)容的停頓建議設(shè)為本機(jī)物理內(nèi)存的一半左右比如 8GB 內(nèi)存的機(jī)器就設(shè) 4GB。第四步是啟動(dòng)。Windows 下直接運(yùn)行bin/elasticsearch.bat然后訪問http://localhost:9200能得到一個(gè) JSON 響應(yīng)就說明啟動(dòng)成功了。這里我可以給一段最小啟動(dòng)步驟清單下載 zip 包并解壓配置JAVA_HOME環(huán)境變量修改config/elasticsearch.yml設(shè)置cluster.name和discovery.type: single-node設(shè)置jvm.options里的堆內(nèi)存執(zhí)行bin\elasticsearch.bat啟動(dòng)訪問http://localhost:9200驗(yàn)證4.2 Serverless 部署的配置與驗(yàn)證流程當(dāng)你準(zhǔn)備部署到 Serverless 環(huán)境事情就從裝一個(gè)單機(jī)進(jìn)程變成了管理一套自動(dòng)伸縮的計(jì)算集群。我用過的 Serverless 部署方式主要面向云廠商托管服務(wù)或者基于容器平臺(tái)自建。先說托管方式。通常你只需要?jiǎng)?chuàng)建一個(gè) Serverless 項(xiàng)目填入要支持的地域、數(shù)據(jù)歸屬和網(wǎng)絡(luò)配置剩下的數(shù)據(jù)節(jié)點(diǎn)數(shù)量、分片分配都由平臺(tái)自動(dòng)搞定。部署完可以直接拿到一個(gè)專用的接入地址體驗(yàn)非常清爽。如果是自建我會(huì)建議把數(shù)據(jù)節(jié)點(diǎn)做成容器化工作負(fù)載讓它跑在支持橫向擴(kuò)容的容器平臺(tái)上。部署的關(guān)鍵點(diǎn)有三處第一處節(jié)點(diǎn)配置里要指定遠(yuǎn)程存儲(chǔ)的地址和認(rèn)證信息。比如在elasticsearch.yml里配置對象存儲(chǔ)的 endpoint、bucket 和密鑰這些是數(shù)據(jù)節(jié)點(diǎn)連接遠(yuǎn)程存儲(chǔ)的橋梁。第二處必須保證所有配置的不變性。節(jié)點(diǎn)鏡像一旦構(gòu)建好運(yùn)行參數(shù)不再修改要變就重新構(gòu)建鏡像。這樣節(jié)點(diǎn)掛了被替換時(shí)新起的節(jié)點(diǎn)就和舊的完全一樣這是無狀態(tài)部署的基礎(chǔ)。第三處要配置數(shù)據(jù)節(jié)點(diǎn)的存活探針。平臺(tái)應(yīng)該能夠定期檢查節(jié)點(diǎn)健康狀態(tài)一旦發(fā)現(xiàn)節(jié)點(diǎn)異常立刻拉一個(gè)新的節(jié)點(diǎn)替換而不需要人工介入。部署完成后的驗(yàn)證我建議做三步檢查第一步確認(rèn)所有節(jié)點(diǎn)都能從遠(yuǎn)程存儲(chǔ)讀取分片元數(shù)據(jù)可以在數(shù)據(jù)節(jié)點(diǎn)的啟動(dòng)日志里看到recovered相關(guān)記錄。第二步隨機(jī)殺掉一個(gè)節(jié)點(diǎn)確認(rèn)平臺(tái)自動(dòng)恢復(fù)后查詢服務(wù)沒有出現(xiàn)長時(shí)間中斷。第三步人為打入少量索引數(shù)據(jù)然后刪除一個(gè)節(jié)點(diǎn)再看數(shù)據(jù)是否能正常檢索以確認(rèn)數(shù)據(jù)確實(shí)持久化在遠(yuǎn)程存儲(chǔ)上。4.3 與 Spring Boot 集成時(shí)需要注意的幾個(gè)參數(shù)服務(wù)端部署好之后實(shí)際業(yè)務(wù)應(yīng)用接入時(shí)最常見的就是 Spring Boot 項(xiàng)目。我通常用spring-data-elasticsearch配合 REST High Level Client 或者新版的ElasticsearchClient。集成時(shí)我最推薦直接使用官方的 transport 客戶端或 REST 客戶端因?yàn)樗鼘?Spring Boot 生態(tài)兼容性好參數(shù)調(diào)整也方便。比較重要的配置項(xiàng)有這么幾個(gè)spring.elasticsearch.uris接入地址使用 Serverless 接入點(diǎn)時(shí)直接填為返回的 HTTPS URL。spring.elasticsearch.username/spring.elasticsearch.password認(rèn)證信息。spring.elasticsearch.connection-timeout和socket-timeout如果集群處在不同的地域網(wǎng)絡(luò)延遲偏高務(wù)必調(diào)大超時(shí)時(shí)間否則業(yè)務(wù)端很容易報(bào)ConnectionTimeOutException。集成時(shí)還要注意一個(gè)細(xì)節(jié)Serverless 環(huán)境通常會(huì)限制索引的自定義 mapping 不能隨意變更推薦把 mapping 和 setting 的模板提前定義好。如果直接在業(yè)務(wù)代碼里通過IndexRequest動(dòng)態(tài)建索引可能會(huì)出現(xiàn)字段類型和模板不一致的報(bào)錯(cuò)。我一般會(huì)在項(xiàng)目里放一份索引映射的初始化腳本部署新環(huán)境時(shí)先執(zhí)行一次避免奇奇怪怪的字段類型問題。5. 無狀態(tài)架構(gòu)下的讀寫流程與故障恢復(fù)邏輯5.1 寫入流程從協(xié)調(diào)層到遠(yuǎn)程存儲(chǔ)無狀態(tài)架構(gòu)下一次典型的寫入請求經(jīng)過的鏈路如下客戶端把寫入請求發(fā)到協(xié)調(diào)節(jié)點(diǎn)。協(xié)調(diào)節(jié)點(diǎn)對請求做解析、鑒權(quán)和路由找到合適的索引主分片所在的數(shù)據(jù)節(jié)點(diǎn)。數(shù)據(jù)節(jié)點(diǎn)接收請求后先寫 translog再寫入內(nèi)存 buffer。當(dāng) buffer 達(dá)到一定大小或時(shí)間達(dá)到刷新閾值觸發(fā) flush生成一個(gè)新的 segment。這個(gè) segment 緊接著被上傳到遠(yuǎn)程共享存儲(chǔ)。等遠(yuǎn)程存儲(chǔ)確認(rèn)接收成功寫入請求才會(huì)返回成功。這段鏈路里我最在意的是 translog 和 segment 的安全。translog 如果丟了內(nèi)存 buffer 里的數(shù)據(jù)就丟了segment 如果沒傳到遠(yuǎn)程存儲(chǔ)這個(gè)分片就等于沒有持久化成功。因此無狀態(tài)架構(gòu)對這兩個(gè)操作的同步要求比較嚴(yán)格通常會(huì)等遠(yuǎn)程存儲(chǔ)返回 ACK 之后再給客戶端發(fā)成功響應(yīng)。5.2 查詢流程緩存與遠(yuǎn)程存儲(chǔ)的取舍查詢請求的路徑和寫入略有不同??蛻舳苏埱蟮絽f(xié)調(diào)節(jié)點(diǎn)后協(xié)調(diào)節(jié)點(diǎn)把查詢廣播到所有相關(guān)分片的數(shù)據(jù)節(jié)點(diǎn)。每個(gè)數(shù)據(jù)節(jié)點(diǎn)先在本地緩存里查找相關(guān) segment本地沒有的再去遠(yuǎn)程存儲(chǔ)拉取。這里有一個(gè)取舍要注意如果本地緩存總是未命中幾次查詢之后緩存會(huì)逐漸暖起來后續(xù)延遲會(huì)下降但如果查詢范圍跨越大量 segment遠(yuǎn)程存儲(chǔ)的隨機(jī)讀會(huì)被放大。所以我在配置無狀態(tài)集群時(shí)會(huì)優(yōu)先保證頻繁查詢的索引足夠小并且設(shè)置合理的 segment 合并策略減少落到遠(yuǎn)程讀的次數(shù)。5.3 故障恢復(fù)演示從節(jié)點(diǎn)消失到業(yè)務(wù)無感這是我覺得無狀態(tài)架構(gòu)最優(yōu)秀的地方。假設(shè)某個(gè)數(shù)據(jù)節(jié)點(diǎn)因?yàn)橛布收贤蝗诲礄C(jī)傳統(tǒng)架構(gòu)此時(shí)要經(jīng)歷主分片重選舉、副本重分配、數(shù)據(jù)重新復(fù)制無狀態(tài)架構(gòu)里協(xié)調(diào)層會(huì)把這個(gè)節(jié)點(diǎn)標(biāo)記為異常平臺(tái)自動(dòng)啟動(dòng)一臺(tái)新數(shù)據(jù)節(jié)點(diǎn)。新節(jié)點(diǎn)啟動(dòng)時(shí)不需要從其它節(jié)點(diǎn)復(fù)制數(shù)據(jù)而是先從遠(yuǎn)程存儲(chǔ)獲取這個(gè)分片的元信息再用遠(yuǎn)程讀取的方式直接對外提供服務(wù)。整個(gè)過程客戶端感知到的可能就是個(gè)別請求的響應(yīng)時(shí)間略微變長但不會(huì)出現(xiàn)整個(gè)索引不可查詢的情況。我開始做遷移實(shí)驗(yàn)時(shí)做過一次破壞性測試在一個(gè)正常運(yùn)行的無狀態(tài)集群里直接殺掉所有數(shù)據(jù)節(jié)點(diǎn)結(jié)果因?yàn)橄M(fèi)端有連接重試機(jī)制節(jié)點(diǎn)恢復(fù)后數(shù)據(jù)依舊可查。這正是計(jì)算無狀態(tài)、存儲(chǔ)有狀態(tài)的價(jià)值所在。6. 常見問題與排查技巧實(shí)錄6.1 啟動(dòng)失敗heap 設(shè)置和端口占用我碰到最多的啟動(dòng)失敗場景本地調(diào)試時(shí)八成是 heap 設(shè)置得不合理或者端口被占用。如果你看到native thread creation failed之類的錯(cuò)誤通常是線程數(shù)或內(nèi)存超了。換個(gè)測試環(huán)境時(shí)先把jvm.options里的堆內(nèi)存調(diào)小一點(diǎn)比如 512MB等啟動(dòng)成功再慢慢往上加。端口占用也很常見9200 和 9300 被占用時(shí)啟動(dòng)日志會(huì)直接報(bào)Address already in use。Windows 下用netstat -ano | findstr 9200找出占用進(jìn)程手動(dòng)處理掉就行。還有一點(diǎn)容易忽略ES 默認(rèn)不允許以 root 身份在 Linux 下運(yùn)行如果你正在容器里跑記得用非 root 用戶運(yùn)行。Windows 下沒有這個(gè)限制但配置文件的權(quán)限要開放否則可能啟動(dòng)時(shí)報(bào)access denied。6.2 數(shù)據(jù)節(jié)點(diǎn)無法連接遠(yuǎn)程存儲(chǔ)無狀態(tài)架構(gòu)里的一個(gè)高發(fā)問題數(shù)據(jù)節(jié)點(diǎn)配置了遠(yuǎn)程存儲(chǔ)但啟動(dòng)后大量刷報(bào)錯(cuò)檢查發(fā)現(xiàn)節(jié)點(diǎn)根本無法訪問對象存儲(chǔ)的 endpoint。排查思路我總結(jié)成一個(gè)順序確認(rèn)遠(yuǎn)程存儲(chǔ) endpoint 可以被數(shù)據(jù)節(jié)點(diǎn)的網(wǎng)絡(luò)解析并且可以連通。在容器環(huán)境里做ping或curl測試。確認(rèn)訪問憑證配置正確。密鑰信息如果放在環(huán)境變量里要檢查數(shù)據(jù)節(jié)點(diǎn)的環(huán)境變量是否真的注入進(jìn)去了。確認(rèn)訪問策略允許數(shù)據(jù)節(jié)點(diǎn)所在網(wǎng)絡(luò)的讀寫操作。很多云環(huán)境要通過 VPC 或安全組規(guī)則放行相應(yīng)端口和 IP。如果以上都沒問題但節(jié)點(diǎn)還是報(bào)錯(cuò)檢查一下本地時(shí)鐘和遠(yuǎn)程服務(wù)器時(shí)鐘的偏差時(shí)間偏差超過 5 分鐘往往會(huì)導(dǎo)致請求簽名校驗(yàn)失敗。6.3 查詢結(jié)果不全segment 與緩存機(jī)制有同事遇到過一個(gè)困惑數(shù)據(jù)寫入幾秒后查詢偶爾會(huì)漏掉一部分新數(shù)據(jù)。我第一反應(yīng)是查詢默認(rèn)的_refresh間隔。ES 默認(rèn) 1 秒刷新剛寫入的數(shù)據(jù)不會(huì)立刻對查詢可見這是正?,F(xiàn)象。如果你需要更強(qiáng)的實(shí)時(shí)性可以在寫入后強(qiáng)制refreshtrue但代價(jià)是頻繁刷新會(huì)生成大量小 segment影響后續(xù)查詢性能不建議在批量寫入場景使用。另一個(gè)點(diǎn)比較容易忽略無狀態(tài)架構(gòu)的本地緩存替換機(jī)制。當(dāng)本地緩存打滿節(jié)點(diǎn)會(huì)按策略淘汰部分 segment。如果查詢落在被淘汰的 segment 上節(jié)點(diǎn)需要重新從遠(yuǎn)程存儲(chǔ)加載這會(huì)表現(xiàn)為偶發(fā)的慢查詢。所以查詢耗時(shí)的曲線不應(yīng)該只看平均值一定要觀察 p99 分位值出現(xiàn)明顯抖動(dòng)時(shí)優(yōu)先排查緩存命中率。6.4 我的排查工具與日常體檢清單很多剛?cè)胄械呐笥严矚g遇到問題就上論壇搜索我的習(xí)慣是先自己盯一套指標(biāo)集群健康狀態(tài)GET _cluster/health看status是不是 green。節(jié)點(diǎn)熱點(diǎn)GET _nodes/hot_threads看數(shù)據(jù)節(jié)點(diǎn)的 CPU 熱點(diǎn)。分片分配GET _cat/shards看有沒有分片長時(shí)間處于 UNASSIGNED。緩存命中GET _nodes/stats重點(diǎn)看query_cache和request_cache的命中率。存儲(chǔ)寫入延遲針對遠(yuǎn)程存儲(chǔ)做一次讀寫壓測確認(rèn)延遲是否在合理范圍內(nèi)。日常我是按周做一次體檢查一遍集群健康、看看數(shù)據(jù)增長和分片數(shù)量、檢查有沒有頻繁刷新的索引。這套習(xí)慣看起來簡單但能幫我提前攔住不少問題。最后說點(diǎn)個(gè)人體會(huì)從傳統(tǒng)集群遷到無狀態(tài)架構(gòu)我最大的收獲不是省了多少運(yùn)維時(shí)間而是想清楚了一個(gè)問題在分布式系統(tǒng)里狀態(tài)放對位置比什么都重要。把數(shù)據(jù)狀態(tài)集中到遠(yuǎn)程共享存儲(chǔ)計(jì)算節(jié)點(diǎn)才能真正變成可丟棄的廉價(jià)資源。這個(gè)思路不只適用于 Elasticsearch很多大數(shù)據(jù)組件都在往這個(gè)方向走。如果你正準(zhǔn)備上手我個(gè)人建議先從一個(gè)小規(guī)模的非核心業(yè)務(wù)開始。先在本地按單節(jié)點(diǎn)模式跑通再部署到 Serverless 環(huán)境然后逐步加數(shù)據(jù)量、加查詢壓力。不要一上來就把核心業(yè)務(wù)遷過去無狀態(tài)架構(gòu)雖然穩(wěn)定但多了一層網(wǎng)絡(luò)依賴你得先摸清自己業(yè)務(wù)對延遲和成本的邊界在哪里。Windows 上啟動(dòng) Elasticsearch 的坑、Serverless 部署的配置、Spring Boot 集成的注意點(diǎn)這些具體操作我在前面已經(jīng)寫得很細(xì)了。你照著走一遍大概率能順利跑通。真碰到奇怪的問題再回頭看看第 6 部分的排查清單基本能定位個(gè)八九不離十。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99色中文| 激情五月色综合| 国产成人精品一区二区三区视频| 开心深爱激情网| 秋霞AV美国| 婷婷综合在线| 这里只有精品视频在线看| 爱狠射| 五月天操逼网| 综合在线丁香五月| 无码髙清| 强辱丰满人妻HD中文字幕| 久久99这里只有精品视频 | 一级片操逼视频| 五月丁香六月综合激情无码软件亮点 | 六月婷五月丁香| 99情色五月天| 五月花婷婷| 99精品在线下载| 婷婷综合九月| 99网| 亚洲日韩国产黑丝黑丝AVAV一区二区三区| 亚洲熟妇AV乱码在线观看| 激情丁香图片| 亚洲激情无码久久| 伊人碰碰婷婷| 丁香五月影| 亚洲精品色| 99re这里只有精品9| 伊人网色婷婷五月天| 久99在线视频| 丁香五月精品| AAAA亚洲| 五月天成人综合| 51精品国自产在线| 五月丁香成人网| 99只有这里是精品| 久热久色| 五月丁香花激情综合网| 欧美97超碰| 日夜操B| 婷婷十月丁香| 五月婷婷播| 激情熟女网| 九九热免费视频| 人人摸人人| 五月情综合| 五月天社区婷婷丁香社区| 国产AV一区二区三区最新精品| 久久999久久999久久999久久| 久久 中文 日本| 国产在这里只有精品| 婷婷爱五月天人人爱| 综合色99| 丁香五月AV| 最近中文字幕2019视频1| 亚洲精品视频电影| 人。妻久久| 五月天婷婷三级黄| 97人人操人人爽| 九九九九中文字幕| 久久人人添人人爽添人人片αV | 99热99色| 香蕉人在线香蕉人在线 | 99色色最新视频| 九九aV| 韩日AV片| 综合狠久久| 狠狠色噜噜狠狠狠狠综合| 五月丁香六月婷婷综合网站| 大伊久久| 人妻videos人妻高清| 9久久久久久久久久久| 久9热在线免费观看| 婷婷五月天小说| 天天综合五月天| 婷婷五月天色综合| 五月天激情网图片 - 百度| 久久婷婷色综合| 日噜噜色| AV在线免费观看不卡| 丁香五月激情网| 99久久网站| 能直接看的av网站| 丁香五月AV| 91男人操女人视频| 日产精品久久久久久久蜜臀| 啪啪啪综合网| www五月| 丁香五月天激情| AV性爱网| 久草a片| 五月丁香人妻| 亚洲va欧洲va国产va不卡| 婷婷激情五月综合基地| 丁香婷婷人妻综合网| 99自拍视频在线| 任你搞网站| 視频福利乱色| 狠狠情色| 婷婷五月天网址| 色婷婷综合在线| 五月丁香婷婷伊人日韩| 九九99九九精品视频| 久草热8精品视频在线观看 | 岛国资源网| 久久婷婷五月国产色综合激情| 99色视频在线观看最新| www.久久久.com| 丁香五月激情综合婷综| 99ri精品在线| 色情久久久| 亚洲av无码精品色午夜| 九色七七| 精品人人操| 久久婷网| 99热99干| 伍月婷丁香婷| 噜色精品| 91疯狂操操操操| 色原狠狠综合| 国产无人区大片| 69精品人人人人人人| 草久私拍| 欧美色97| 激情婷婷五月久久| 都市激情蜜桃婷婷五月天 | 超碰色色综合| 日本色色色| 九月婷婷综合| 9久热| 97在线视频观看| 色婷婷综合网站| 五月丁香婷婷啪啪| 婷婷综合仓库中文| 超碰97色| 97在线精品视频| AV在线大香蕉| 3pAV| 九九机热| 久久久久久97| www.夜夜操.com| www久久久| 日日夜夜干| 九九视频在线观看视频6| 日本熟妇乱妇熟色A片蜜桃| 国产午夜精品一区二区三区四区| 一区二区乱视频码| 婷婷成人综合| 丁香五色月婷婷网| 拳交大逼| 678五月丁香亚洲综合| 婷婷五月天少妇| 日日日影院| 婷婷丁香成人五月天| 色五月AV| 婷婷99狠狠| 无码色| 亚洲成人在线观看av| 五月丁香 狠狠爱| 久久宗合影| 丁香五月日韩| 五月丁香亚洲五月| 色婷婷小说网| 99久久婷婷国产综合| 中文字幕 中文字幕明步| 丁香狠狠色婷婷久久无码视频| 狠狠色综合网站久久久久| 另类 在线| 五月丁香六月花| 免费看欧美成人A片无码| 婷婷五月天天天| 婷婷亚洲五| 婷婷九九色| 婷婷五月在线观看| 97色在线视频| 综合色播| 香蕉AV777XXX色综合一区| 色~性~乱~伦~噜| 91视频一起草| 99热啪啪| 中国女人内射6XXXXX| 99久久久精品| 亚洲综合字幕色色| 色婷婷黄色网络| 亚洲五月婷天天操| 色婷婷婷婷| 中文字幕性爱视频| 亚洲综合激| 久久久精品色色色| 综合激情视频| A片试看50分钟做受视频| 人人爱摸视频| 97操操| 91a片爽| 91丨九色丨熟女|新版| 超碰免费大香蕉| 思思久ren热| 丁香六月无码播放| 五月婷久久| 亞洲自怕| 殴美日韩成人| 97久久草草超级碰碰碰| 五月天色官网| 天天插天天插天天插| 丁香五月激情婷婷婷婷在线观看| 亭亭玉月丁香| 夜夜操加勒比| 玖玖综合色| 操逼在线视频| 亚洲AV日韩在线观看| 网站免费一站二站| 色五月综合网| 99干日日干| 六月丁香成人| 五月天婷婷爱丁香中文字幕| 色五月婷婷操逼| 国产毛多水多女人A片| 丁香五月婷婷亚洲另类| 99r久久这里只有精品| 人人操av| 久久婷婷六月综合| 99小视频在线观看| 五六月丁香激情视频| 色五月五月婷婷| 91丁香色| 少妇日麻屄| 婷婷五月情| 99操| YJLZZJLZZ亚洲乱熟无码| 九九免费在线视频| 久久人人妻| 亚洲天堂九九九| 综合激情网五月激情| 日日噜噜夜夜狠狠久久丁香六月| 久草x色在线观看99| 日本a片网址| 亚洲五月天激情| www.97视频| 妇激情基地| 直接看的AV| 久久综合久色欧美综合狠狠| 婷丁香久综合| 丁香九月婷婷综合| 99人妻碰碰碰久久久久视| 婷婷丁香基地在线| 五月婷婷影院| 色婷婷手机在线| 五月丁香六月| 色爱综合五月| 日日狠狠久久偷偷四色综合免费 | 国产欧美第五十五页| 激情五月天婷婷播播久久综合91| 五月在在观看| 色婷婷成人做爰A片免费看网站| 亚洲av网站| 久久婷婷五月| 婷婷中文字暮| 激情小说视频图片| 日韩精品一曲二曲三曲四曲五曲| 综合色色婷婷| 日韩二区搞逼插逼毛片| 五月婷婷co.m| 天天狠狠干| 99久久国产宗和精品1上映| 婷婷五月综合久久中文字幕| 天天综合五月天| 婷婷五月天性爱视频| 婷婷开心综合人妻小说网址| 麻豆AV一区二区三区| 久久机热这里只有精品免费视频| 亚洲热视频在线| 亚欧州精品视频| 色五月人妻| 国产av第一专区| 色婷婷五月天激情综合| 无码一区精品一区视频| www.五月婷婷久久.com| 综合天堂AV久久久久久久| 久久这里都是精品免费| 99久久久| 五月天婷婷六月| 亚洲欧洲另类| 色天天综合色| 成人 在线观看国产| 五月丁香综合伦理片| 午夜婷婷| 婷婷五月天天| 午夜无码熟熟妇丰满人妻 | 热九九精品| 琪琪色五月天| 91久久婷婷| 久热 91| WWW,五月| 91九色国产| 天天肏夜夜肏| 亚洲国产精品成人免费一区久久久在线观看AAAA | 亚洲视频久久| 天天日天天干天天操| 色婷婷色五月综合| 久9视频免费播放| 97碰免费精采视频| 九九AV在线| 综合视频久久| 五月丁香色婷婷| 看婷婷五月天网| 婷婷五月激情小说| 婷婷五月天激情综合| 亚洲无AV在线中文字幕| 天天日婷婷| 67久久| 丁香婷婷视频一区二区| 碰碰碰91| 六月激情婷婷| WWW夜夜| 欧美人与性动交CCOO| 人妻五月天激情开心网| 99精品九九| 激情五月天影院| 五月天婷婷激情网| 色综合综合色| 热久久思思热思思| 抽插特写| 婷婷五月色综合| 免费观看亚洲AV片| 国产精品久久久久久久久久| 激情网五月婷婷| 婷婷五月天丁香久久| 成年人最刺激的综合网| 婷婷五月深情丁香深爱日韩| 午夜69成人做爰视频| 欧美婷| 日本一区二区三区精品视频| 91婷婷色五月| 这里只有精品99视频| 精品国产一区二区三区四区阿崩| 亚洲日韩欧美综合VA| 五月丁香九九| 日韩一级片| sewuyuejiqingwang| 亚洲成人丁香花| 丁香六月婷婷色播| 婷婷丁香色五月天久久88| 色狠狠色噜噜AV天堂五区| 天天干狠狠艹| 五月婷亚洲精品AV天堂| AA片在线观看视频在线播放| 蜘蛛女侠2003满天星免费观看| 91干在线| 久久久亚洲精品一区二区三区浴池 | 天天爽天天爽| www.henhengan| 中文字幕,综合,91| 色婷久久| 亚洲色99| 久久婷婷丁香五月一二三| 色色五月婷婷网| 99精品在线| 婷婷五月天播| 91干在线视频| 五月丁香六月婷婷啪啪| 婷婷欧美激情| 他改变了拜占庭| 婷婷无五月无码视频| 另类激情综合| 日本在线视频手机播放五月婷| 99视频日韩| 综合久久97| 啪啪五月天啪啪| 激情久久网| 开心五月网| www狠狠| 婷婷99视频精品| 99网| 开心五月综合激情网| 五月天播播综合| 免费成人网在线观看| 五月天婷婷无码| 99综合一区| 亚洲、欧美、国产另类笫二区| 欧洲电影在线观看免费版英语版| 99A级片| 极品人妻videosss人妻| 色色免费网站| 91N 一起草| 99热这里只有精品66| 五月丁香六月婷婷亚洲视频| 青青热视频| 九九热内射| 99精品在这里| 激情网五月天| 久热这里只有精品66| 欧美色宗和激情| 九月婷婷在线视频| 久热这里| 123草逼网| 国产熟女日日骚五月丁香爱| 九九人人操| 亚洲情欲久久| 超pen个人视频97| 久久久久激情| 色播五月| sewuyuejiqingwang| 婷婷天堂综合| 九九人人看| 精国产品一区二区三区A片| 丁香激情五月| 婷婷欧美激情| 九九爱看亚洲| 五月天丁香啪啪综合| 99热色婷婷| 色六月 婷婷| 99久久激情视频| 色偷偷综合| 99久久综合网| 色八月婷婷| 色婷婷国产精品综合在线观看| 色婷婷激情五月天丁香| 嫩草AV久久伊人妇女超级A| 玖玖99免费视频| 五月婷婷二月丁香| 婷婷五月天激情亚洲小说| 大香网伊人久久综合| 久久99三级在线视频| 国产成人精品一区二区三区视频| 狠狠干,狠狠操| 日熟女| 成人性爱无码| 九九亚洲小视频| 婷婷五月激情的图片| www.91婷婷| 人人操操97| 秋霞少妇AV网站| 五月天社区| 狼人久草| 在线观看的av| 伊人玖玖婷婷| 五月天激情国产综合婷婷婷| 激情六月综合| 婷婷激情五月天视频在线| WWW.桔色成人.COM入口| 免费的日逼视频| 欧美精品99久久久| 日韩成人中文字幕| 九色PORNY自拍成人精彩视频| 五月婷婷黄色毛片| 97婷婷久久丁香| 99色在线观看视频者| 熟妇内谢69XXXXXA片| 日日噜噜夜夜狠狠久久丁香五月| 伊人久久婷婷| 9久视频| 丝袜激情网| 99久久网站| 天天爱夜夜爽| 九九视频这里只有精品| 79精品视频| 99热国产在线| 五月天天爽| 五月天色网站| 丁香五月开心五月激情| 亚洲aV写真天天综合网久久| 深情五月天| 狠狠插日日干撸| 这里只精品热在线18| 69er小视频| 精品人妻久久久| 激情五月综合色婷婷| 亚洲婷婷月丁香五月| 九九免费精品在线视频| 五月婷婷熟女| 亚洲婷婷五月天激情综合| er99免费视频在线| 综合图区激情| 99re思思热久久| 99re思思久久| 天天日天天干天天操| 色婷婷久久综合久色综| 97九色视频| 超碰色色综合| 六月激情婷婷| 丁香六月婷婷久久综合| 超碰免费人| 色99久草在线| 婷婷五月丁香A∨| 色色色色色五月| 538任你爽视频不一样的| 在线不卡中文字幕| 色综合婷婷| 99热只有精品综合| 五月丁香婷婷五月色| 色五月综合激情网| 伊人大香蕉综合在线| 久久婷婷亚洲无码一起| 97亚洲婷婷| 中文字幕综合| 亚洲精品网站色视频| 婷婷爱综合| 五月丁香伊人网| 五月五婷婷| 这里有精品| 大香蕉婷婷色| 丁香五月婷婷啪啪| 无码碰碰| 五月丁香激| 色色99| 婷婷五月天另类视频| 婷婷五月免费在线| www.五月丁香| 婷婷激情社区| 午夜天堂一区人妻| 五月深情久久| 婷婷色影院| 99精品视频在线免费观看| 五月婷婷久久网| 婷婷婷婷婷婷婷五月丁香| 亚洲熟妇无码乱子AV电影| 99热精品在线播放| 日韩黄在免| 九热视频免费观看| 97碰在线视频| 婷婷激情五月综合基地| 五月久久婷婷成人网| WWW99热| 亚洲成人免费电影| 久久五月热| 99久久精品色老| 性爱在线播放av| 亚艹艹| 成人短视频在线| 国产乱子轮XXX农村| 东北熟女视频99| 久草 天堂| 五月婷人妻| 夜夜爱网站| 日本一级黄色电影| 97啪在线观看视频| 婷婷午夜丁香| 色五月天在线| 激情九月婷婷| 欧美色色色色色色| 无码人妻少妇色欲AV一区二区| 激情五月天福利| 操一区| 99精品爱| 91超级碰碰| 91久久精品国产91性色TV| WWW,五月| 久久草婷婷丁香网站| 热99在线精品| 91精品国产综合久久久不卡电影| xx久久| 天天插夜夜爽| 五月婷婷色综图片| 色色综合网www| 成年人夜夜喷水| 色婷婷色久综| 日本熟妇精品99| 曰韩五月丁香色婷婷无码| 伊人www22综合色| 美女激情婷婷| 99热欧美| www.九九婷婷| 五月天亚洲最大成人| 丁香五月偷拍| 色无婷婷| 婷婷五月中文在线| 五月天激情网站| 思思久久99热只有频精品66| 五月丁香激情四射综合| 激情小说五月欧美亚洲丁香| 五月丁香综合啪啪| 玖玖婷婷五月| 99色视频免费在线规看| 色五月婷婷色| 丁香五月综合激情啪啪| 91wwmm导航| 色情综合| 97婷婷狠狠| 一级操逼内射在线视频| 国产人妻人伦精品一区二区| 8区视频在线| 五月天激情啪啪| 色综合99| 色九亚洲| 色婷婷久久综合中文久久一本| 最近中文字幕大全免费版在线 | 大香蕉精品视频| 丁香婷婷五月| 五月婷婷视频| www色婷婷久久综合久色 | www.婷婷| 丁香五月久久| 五月婷婷深深爱| 狠狠色丁香乆乆| 丁香六月婷月91婷月| 久久玖玖综合| 青青操日本摸摸看看| 五月丁香婷婷AV天堂| 五月婷婷欧美| 婷婷五月色情| 操人妻视频91| 久久久91精品| 久久五月网| 久热免费| 五月停亭六月,六月停亭的英语 | 激情五月综合网| 天天婬色综合| 六月五月婷婷| 亚洲电影在线观看| 人妻系列久久久久久久久久久| 久久综合爱| 五月丁香六月婷婷久久| 岛国AV网| 免费在线观看av网站| wwccc久久久| 97操操| 五月婷婷综合激情| 婷婷综合色色| 超碰在线免费| 久久激情五月婷婷| 黄色一级影片| 五月丁香成人小说| 久99精品视频| 99乱视频| 爱狠射| 人人噜天天上| 天天操天天插天天射| 麻豆五月丁香婷婷| 丁香五月狠狠在线观看| 九九久久五月天综合伊人| 成AV人片一区二区三区久久| 五月香蕉综合| 亚洲综合激情五月久久| 欧洲精品欧洲情| 综合婷婷| 丁香五月婷婷六月婷| 久久久久久久久久8888| 日韩欧美一区二区三区四区| 97色干| 99久久久国产大片区| 色婷婷综合网| 日韩av免费版| 这里只有精品免费观看网占| av一区二区电影免费在线观看| 这里只有精品免费观看网占| 激情婷婷。| 五月天婷婷婷| 四射综合网| 99视频这里有精品| 日本WWW九九九| 伊人玖玖精品| 成人视频一区| 丁香色五月 97干| 久久这有这里精品| 鲁鲁色五月| 99爱免费在线视频| Y11111111111少妇电影院| 开心激情播播五月天| 综合爱久久| 五月婷婷色| 五月婷六月| 婷婷久久五月| bbwcuckold精品熟妇| 一级片操逼视频| 亚洲色图五月丁香| 色综合中文| a久久| 综合婷婷都市激情| 五月天婷婷综合免费| 久久久精品色色色| 狠狠干综合网| 色色色无码| 婷婷五月婷| 激情丁香五月天图片| 五月婷婷人妻| 激情五月天电影| 久机视频这只有精品| 九九色综合九九色| 中文字幕成人影视| 五月丁香av中文| 99这里有精品视频| 婷婷性爱| 国产精品涩涩涩视频网站| 亚洲爆乳无码精品AAA片蜜桃| 五月丁香综合激情| 97热91| 婷婷欠久少妇| 大香伊人婷婷| 午夜成人AV在线| 97色碰| 夜夜骑日日操| 六月丁香婷婷在线波多| 人人草人| 97干在线| 久久机只有这里精品| 亚洲五月天婷婷在线| 五月婷婷中文| 97色色婷婷| 五月天成人在线视频网站| 99热综合| 91熟妇大香蕉| 五月婷婷av| 99热20| 天天摸夜夜夜| 婷婷激情人妻| 国产精品VIDEOSSEX久久发布| 亚洲深喉AV| 黄色91在线观看| 激情九月婷婷| 欧美综合激情五月| 狠狠爱婷婷| 九九99久久| 97色碰碰公开视频| 婷婷视频网| 色婷婷丁香AV综合| 五月99久久| 五月天丁香| 亚洲成人无码免费| 五月综合亚洲色| 99热精地址| 久久久久9999| 亚洲中文AV网站| 97精品综合久久| 伊人午夜综合色啪| 伊人久久99| chaopengdaxiangjiao| 婷婷五月天亚洲综合| 这里只精品| 一本色道久久综合狠狠躁小说| 五月婷婷激情网| 亚洲色五月婷婷| 久久杏爱视频| 在线看片av| 97久久综合网| 丁香香五月激情免费视频| 99热这里只有精品中文字幕| 亚洲亚洲人成综合网络| 久久久久激情| 丰满熟女人妻一区二区三| 99热这里| 九九热AV| 99啪啪网| 亚洲免费成人电影AV| 色五月婷婷激情综合网| 婷久久| 7777久久亚洲中文字幕| 丁香五月婷婷动漫| 97人妻碰碰中文无码久热丝袜| 操逼电影免费看| 丁香五月天色综合| 91人操| 伊人五月天久久| 婷婷五月综合激情小说| 日本九九九九| 婷婷中文字幕| 99热青青草| 成人网页在线观看| 五月丁香基地| 江苏少妇性BBB搡BBB爽爽爽| 99rewww| 五月丁香| 91丨九色丨国产打屁股| www.婷婷六月天| av线电影| 99激情| 18久久| 欧洲激情精品婷婷| 97黑人精品区| WWW色色色COM| 欧美性猛交99久久久久99按摩| www.久久99| 激情图片婷婷丁香五月| 97丁香五月| 色播五月丁香综合| 婷婷五月激情热播| 51成人| 九九人人看| 久久成人亚洲欧美电影| 被强行糟蹋的女人A片| 久久机热/这里只有精品| pom538精品视频| 五月婷婷第四色| 久久婷婷五月天激情| 久久五月天合网| 色五月首页| 影视av久久久噜噜噜噜噜三级| 成片免费观看大全| 91呦呦呦| 五月婷婷色在线| 亚洲视频一区| 亚洲五月婷| 狠狠操狠狠爱| 久色网址| 人人操插| 99九九视频| 激情六月天婷婷| 新伍月婷婷| 97韩国久久电影院| 人人摸人人射| 丁香五月婷婷色综合基地| www.狠狠操.co m| 色五月婷婷婷婷婷婷婷婷婷婷| 久久婷婷网| 久热99热| 色婷婷啪啪啪啪啪啪| 色涩影院六月丁香| 啪啪东京热| 亚州色综合| 去色色五月天| 成人短视频免费| 美女被肏网站在线看| 婷婷五月天成人视频| 日本综合99| 99热99精品在线观看| 99se丁香| 日韩av在线播放综合网| 丁香婷婷色情| 91精品久久久久、久五月天| 夜夜谢天天干| 九九这里有精品| 亚洲综合五月天| 99热成人精品网站| 六月色婷婷| 色婷另类| 超碰99久久| 91久久久久久久久18| 色情五月丁香| 99免费| 五月天另类激情在线| 日日干日日| 久久精彩视频| 国产精产国品一二三在观看| 最近中文字幕2019视频1| 在线成人va| 1级欧美日韩| av超碰在线| 五月丁香中文婷婷中文| 超碰猛烈的性猛交| 色色丁香五月天| 99天堂网| 蜜臀av无码久久久久久久久 | 亚洲午夜视频| 婷婷激情四射| 五月天伊人av| 狠色狠色狠色狠色狠色网| 日日操日日干| 五月激情久久综合网| 久久婷婷五月天蜜桃| 色婷婷综合影院| 自拍偷窥99热| 色婷婷久久| 色综合久久之分久久| 婷婷五月丁香四射| 婷婷五月丁香色播| 热久久91| 婷婷五月蜜桃成人桃色丁香| 亚洲 小说 欧美 激情 另类| 这里只有精品9| 九九無妻| 色婷婷久久| 99这里只有精品| www日本熟妇99在线视频| 996黄色片| 激情五月天啪啪| 五月花综合| 久热这里精品免费| 玖玖资源在线视频| AV在线中文| 免费精品99| 伊人大香蕉爱聚| 3p久久| 欧美日本VA| 午夜爱爱爱成人| 色久天| 久久久99久久| 伊人综合网站| 丁香五月婷婷www..com| 丁香婷婷色色| 99在线免费视| 丁香五月婷综合网| 久综合| 欧美日韩999| 婷婷六月成人| 玖玖色综合网| 色狠狠六月| 国产欧洲欧洲精品久久| 亚洲综合在线丁香五月| 婷婷五月天播播| 五月丁香人妻| 深夜婷婷 丁香| 射久久丁香五月| 激情五月深爱五月| 国产精品香蕉| 五月婷婷亚洲色图| 1024国产在线| 亚洲综合另类| 久久性爱视频免费| 成人精品亚洲性爱| 婷香五月激情视频| 狠狠色综合图片| 婷婷99中文字幕| 乱抡小BB| 日韩在线观看亚洲| 国产欧美日韩综合精品一区二区| 激情文学 综合 九月| 久草婷婷| 久久久精品色色色| 夜夜操夜夜操| AⅤ在线播放网| 色啪网| 久狠日av| 色婷婷www| 婷婷五月天丁香综合网| 97色婷婷| 激情婷婷五月社区| 免费AV播放| 五月花激情网| 五月丁香视频在线观看| 日韩无码色色| 婷婷久久亚洲| 风流少妇A片一区二区蜜桃 | 婷婷五月,偷窥偷拍网| 亚州操操| 中文字幕成人| 久久婷婷五月综合色丁香花| 美国天天操无码| 9l视频自拍9l九色成人| 婷婷五月综合欧美在线播放| 激情综合亚洲色婷婷五月| 婷婷色五月在线视频| 99riAV国产精品视频| 欧美激情五月天| 五月婷婷香蕉| 第四色网婷婷| www.25五月婷婷| 久久思思热视频| AV网站免费在线| 天天日天天操心| 婷婷新网址| 色情综合| 色五月综合婷婷| 成人一级片| 黄桃AV无码免费一区二区三区| 色播五月丁香综合| 久久精品爱爱| 啄木鸟丝袜美女福利视频 | 久久久国产精品黄毛片| 九月丁香八月婷婷久久综合久97| 好好干Av| 亚洲热热视频| 成人片黄网站色大片免费毛片| 狠狠干狠狠操狠狠爱| 丁香婷婷久久| av人人干| 日本欧美成人片AAAA| 色婷婷久久综| 久久九九蜜| 五月丁香六月情| 99久热在线精品99re6热| 天天做天天爱天天爽夜夜揉| 色日本五月天| 国色天香成人网| 性高潮久久久久久-九九九九九九九九九九热-成人AV| 另类五月婷婷| 五月婷婷,狠狠操| 黄网在线免费| 热的国产99热| 五月天成人在线视频网站| 亚洲国产精品VA在线看黑人| 99色1| 色啪影院| 五月婷婷|欧美| 天天干狠狠| 久久人人添人人爽添人人片αV| 亚洲 精品 综合 精品| 丁香五月婷婷超碰在线| 激情久久丁香| 国产精品色婷婷AV综合色色| 色婷婷激情Av久久久| 5月婷婷6月丁香aV| 看片视频在线免费日产在线看| 丁香婷婷六月天| 五月天停婷基地| 九月婷婷综合在线| 久久精品视频9| 人人摸人人操人人爱| 激情婷婷五月天网址| 人人摸人人| 久/久精品99看9| 成人av中文字幕| 97久操视频| 色情婷婷五月天| 香蕉色色网| 深爱1激情网| 丁香伍月婷电影全集| 综合在线丁香五月| 欧美成人AAA片一区国产精品 | 国精产品一区二区三区| av高清无码| 狠狠五月天婷婷| 日日夜夜狠狠| 丁香六月天AV| 91狠狠综合久久| 丁香五月天在线观看视频| 五夜婷婷| 日本色色图| 亚洲成人免费在线| WWW99热| 六月丁香av| 大香蕉五月婷婷| 欧洲综合视频| 99热国产精品| 国产成人+综合亚洲+天堂| 五月丁香六月婷婷啪啪| 夜夜 操无码| 国产在线中文字幕| 涩涩涩五月天| 五月花综合| 日本三级日本三级99| WWW色综合| 亚洲乱码精品久久久久..| 79亚洲精品少妇| 欧美性做爰大片免费看办公室| 婷婷五月激情基地| 五月丁香在线看| 美女91一起草| 欧美色色色色色色| 人人人操| 色综合色综合网| 67194成I人在线观看线路1 | 九九色欲网| 超碰人人艹| 开心激情五月天网| 丁香综合伊人| 中文字幕日本最新乱码视频| 婷婷免费无视频| 伊人久久丁香五月91| 亚洲天堂aaa| 精品亚洲日韩99欧美片| 一区二区免费看| 91一起操| 六月婷婷综合| 思思热在线视频99| 色欲色香,www,com| 97五月天| 五月丁香免费视频| 91久久久久久久| 伊人丁香婷婷东京| 黄色激情网站在线观看| 五月久视频| 久操激情| 久久精品99| 五月欧美色色五月| 日本人妻久久| 久久久久亚洲AV无码网影音先锋| 久久五月婷| 97精品人人A片免费看| 亚洲va欧美va国产综合久久久| 91趴趴| 丁香五月首页| 丁香六月色香蕉视频| 男女啪啪做爰高潮无遮挡| 色婷婷丁香五月| 欧洲激情网站| 偷偷操九九| 99热免费精品| 婷婷五月天香蕉| 四色永久成人网站| 91综合视频丁香| 色婷婷网| 综合婷婷五月丁香在线观看| 日良久久| 91干99| 色婷婷六月天| www.色婷婷.com| 色婷婷成人影片| 丁香九月综合激情| 91 影音先锋| 日本超碰在线| 日日舔夜夜操| 五月激情丁香六月狠狠干| 大香伊人婷婷影院| 色婷婷影院| 天天操中文字幕| www.五月丁香av| 秋霞黄色一级久久| 日本色色网站| 蜜臀综合久草| 99色在线| 一起草Av| 综合网天天| 九九久久99| 99热精品在线| 伊人热婷婷| 婷婷五月激情四射手| 久久狠狠干| 色色婷婷综合| 中文在线成人| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 无码人妻激情| 色五月丁香激情| 五月天综合视频网| 九九综合九九| 久久机热这里只有精品免费视频| 黄色激情久久| 香蕉97碰碰碰超视精品| 91男人资源站| 午夜不卡久久精品无码免费| 色五月丁香五月| 久久免费操| 丁香五月婷婷基地| 五月花综合视频| 五月天婷婷青青草| xx色综合| 色婷婷五月天激情在线播放| 婷婷久久综合| caop在线| 中文AV在线播放| 色私五月婷婷| 激情图片婷婷| 婷婷久久性爱| 六月婷婷综合久久| www.com.色色| 久久色吧| 青青草Avb在线| 玖玖综合玖玖| 五月丁香啪。| 久久免费丁香| 影音先锋91| 免费啪啪亚州视频| 91超级碰在线视频| 91超碰在线观看| 午夜天堂啪啪| 狠狠色丁香久久久婷| 香蕉久久国产AV一区二区| 在线中文av| 丁香五月1页| 激情com| 丁香五月日啪| 三级成人网站| 丁香婷婷十月| 天天色综网| 天天噜| 99在线视频精品| 激情五月综合网| 日本色色色| 免费三级黄色| 色综合婷婷99| 色色日本欧美| 五月婷婷熟女| 五月婷六月综合在线观看| 激情影院内射| 五月婷婷免费| 欧美激情综合五月色丁香| 精品人妻伦一二三区久久| 91凹凸在线| 色婷婷小说网| 热91久| 超碰激情五月| 99热99干| www.狠狠操.con| 99视频在线精品免费观看2| 99.N在线视频| av人人干| 色六月 婷婷| 久久久99日本大片| 99久久亚洲精品视频| 狠狠色综合777| 精品人妻久久久久| 92久久| 成人国产欧美大片一区| 婷婷丁香黄色| www.久久99| 天天操天天日天天爽| 五月丁香激情综合久久| 九九伊人网| 色综合久久久综合久久网| 色情婷| 色婷婷视频| 99热这里只有精品3| 啪啪啪综合网| 亚洲无码 图片区| 第五婷婷伊人丁香色| 五月色欧洲| 在线成人视频免费| 国产肥白大熟妇BBBB视频| 涩玖玖免费视频| 亚州精品色情无码A片| 亚洲五月情| 大香蕉九九| 超碰cap| 99久久久久| 久久66成人网站| 丁香五月天堂| 九月丁香| 99,色| 五月深爱激情网| 91操人视频| WWW久久99久久99久久| 色五月综合激情| 五月丁香六月婷婷婷婷| 色综合久| 99精品网址| 日日天天操| 原琪琪色影院| 99热超碰人| 亚洲精品色色| 丁香六月欧美| 全部老头和老太XXXXX| 综合另类视频| 色婷视频| 国产全是老熟女太爽了| 99热1| 婷婷丁香在线播放| 五月天开心网| 玖玖色综合网| 五月激情小说网| 日本不卡一区二区三区| 丁香五月婷婷啪啪啪| 六月婷婷五月天| 97超碰婷婷五月天| 中文网AV| 琪琪色五月天| 日本在线观看91| 6080av| 99热这里都是精品| 大香蕉婷婷久久| 思思热在线播放| 99re欧美精品| 六月婷婷五月丁香首页| 伊人久久五月天| 九九热在线视频观看免费10| 六月丁香激情婷婷| 国产成人精品亚洲线观看| 中文字幕成人| 成人av中文字幕| 人人操人人干AV| 天天透天天爱| Www.se.久久| 亚洲久久婷婷| AA片在线观看视频在线播放 | 99A片| 美女主播野战视步页| 五月婷婷六月色| 亚洲夜五月| 99这里有精品视频| 久久九九综合| 九月婷婷久久| 色综合久久综合中文综合网| 五月婷婷激情| 99干99| 天天插天天干| 第四色五月婷婷| 操逼六区| av在线激情| 99日在线视频| 91超级碰在线视频| 久久久91| 操碰99| 99热这里只有精品22| 久久婷婷精品| www超碰| 一二三区视频韩国| 激情五月婷婷综合网| www.五月瑟|