欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Elasticsearch 監(jiān)控體系搭建實(shí)戰(zhàn):從指標(biāo)采集到告警定位

Elasticsearch 監(jiān)控體系搭建實(shí)戰(zhàn):從指標(biāo)采集到告警定位 1. 從零搭建 Elasticsearch 監(jiān)控體系為什么裸奔的集群遲早要出事剛接手一個(gè)搜索集群的時(shí)候我最怕看到的不是報(bào)錯(cuò)日志而是一切正常這四個(gè)字。因?yàn)?Elasticsearch 這東西它不像傳統(tǒng)數(shù)據(jù)庫(kù)那樣CPU 打滿了會(huì)立刻告警、連接數(shù)爆了會(huì)直接拒絕服務(wù)。它更像一個(gè)慢性病患者——今天寫(xiě)入慢一點(diǎn)明天查詢抖一下你覺(jué)得還能用等到某天早上打開(kāi) Kibana 發(fā)現(xiàn)索引變紅、分片分配失敗、節(jié)點(diǎn)掉出集群那基本就是 ICU 搶救的節(jié)奏了。elasticsearch-monitor這個(gè)項(xiàng)目說(shuō)白了就是給 ES 集群裝上一套體檢監(jiān)護(hù)系統(tǒng)。它要解決的核心問(wèn)題有三個(gè)第一讓你在集群還沒(méi)掛之前就知道它快撐不住了第二出問(wèn)題的時(shí)候能快速定位是哪個(gè)節(jié)點(diǎn)、哪個(gè)索引、哪類操作在搗鬼第三把歷史數(shù)據(jù)留下來(lái)方便做容量規(guī)劃和性能趨勢(shì)分析。適合誰(shuí)來(lái)參考如果你手頭維護(hù)著至少一個(gè) ES 集群不管是三節(jié)點(diǎn)的測(cè)試環(huán)境還是幾十個(gè)節(jié)點(diǎn)的大集群只要你不希望半夜被電話叫醒這套東西就值得花時(shí)間搭起來(lái)。我見(jiàn)過(guò)太多團(tuán)隊(duì)的做法是ES 部署完Kibana 能打開(kāi)就覺(jué)得監(jiān)控已經(jīng)有了。實(shí)際上 Kibana 自帶的 Monitoring 面板只能算體溫計(jì)它能告訴你發(fā)燒了但不會(huì)告訴你為什么發(fā)燒、該吃什么藥。真正要做的監(jiān)控體系得覆蓋指標(biāo)采集、日志聚合、告警規(guī)則、可視化看板、以及事后排查的完整鏈路。下面我就按自己實(shí)際搭建和踩坑的順序把整套東西拆開(kāi)講清楚。2. 監(jiān)控指標(biāo)到底該盯哪些別被幾百個(gè) metrics 晃花了眼2.1 集群級(jí)指標(biāo)先看大局有沒(méi)有崩ES 通過(guò)_cluster/health和_cluster/stats暴露的指標(biāo)有上百個(gè)但真正需要設(shè)置告警的我認(rèn)為不超過(guò)十五個(gè)。集群健康狀態(tài)status是最粗粒度的信號(hào)green/yellow/red 三檔但這里有個(gè)坑yellow 在很多單副本場(chǎng)景下是常態(tài)如果你把 yellow 直接設(shè)成告警運(yùn)維群會(huì)被轟炸到麻木。我的做法是yellow 持續(xù)超過(guò) 10 分鐘才觸發(fā)低優(yōu)先級(jí)通知red 則立即電話告警。分片相關(guān)指標(biāo)里unassigned_shards是最關(guān)鍵的。它一旦大于 0 且持續(xù)增長(zhǎng)說(shuō)明有分片分配不出去常見(jiàn)原因是磁盤(pán)水位線觸發(fā)、節(jié)點(diǎn)掉線、或者分片分配規(guī)則配置沖突。另一個(gè)容易被忽略的是initializing_shards和relocating_shards短時(shí)間有值是正常的但如果某個(gè)分片長(zhǎng)時(shí)間處于 initializing 狀態(tài)大概率是恢復(fù)過(guò)程卡住了需要人工介入。節(jié)點(diǎn)數(shù)量number_of_nodes和數(shù)據(jù)節(jié)點(diǎn)數(shù)量number_of_data_nodes要對(duì)比著看。如果兩者差值突然變大說(shuō)明有數(shù)據(jù)節(jié)點(diǎn)掉線但主節(jié)點(diǎn)還在這時(shí)候集群可能還能響應(yīng)但數(shù)據(jù)完整性已經(jīng)受威脅了。2.2 節(jié)點(diǎn)級(jí)指標(biāo)找出拖后腿的那一臺(tái)節(jié)點(diǎn)級(jí)指標(biāo)我重點(diǎn)關(guān)注四類JVM、磁盤(pán)、線程池、以及網(wǎng)絡(luò)。JVM 這塊heap_used_percent超過(guò) 75% 就要警惕超過(guò) 85% 基本離 OOM 不遠(yuǎn)了。但光看堆使用率不夠還要看 GC 情況。老年代 GC 頻率和耗時(shí)是更靈敏的指標(biāo)——如果 full GC 每分鐘超過(guò)一次或者單次耗時(shí)超過(guò) 1 秒說(shuō)明堆內(nèi)存已經(jīng)嚴(yán)重不足這時(shí)候調(diào)大堆或者優(yōu)化查詢才是正事重啟只能續(xù)命幾個(gè)小時(shí)。磁盤(pán)方面ES 默認(rèn)的低水位線是 85%高水位線是 90%。一旦某個(gè)節(jié)點(diǎn)磁盤(pán)使用率超過(guò) 85%ES 就不會(huì)再往這個(gè)節(jié)點(diǎn)分配新分片了超過(guò) 90%它會(huì)嘗試把現(xiàn)有分片遷走。所以磁盤(pán)告警閾值我一般設(shè)在 80%留出緩沖時(shí)間。這里有個(gè)經(jīng)驗(yàn)磁盤(pán)使用率的增長(zhǎng)往往不是線性的日志類索引在業(yè)務(wù)高峰期可能一天漲 10%所以容量規(guī)劃要按峰值算不能按平均值。線程池指標(biāo)里write和search兩個(gè)隊(duì)列的 rejected 數(shù)量是核心。rejected 大于 0 說(shuō)明線程池滿了請(qǐng)求被拒絕用戶側(cè)會(huì)直接感知到失敗。search隊(duì)列的 rejected 通常意味著查詢太慢或者并發(fā)太高write隊(duì)列的 rejected 則可能是批量寫(xiě)入過(guò)大或者磁盤(pán) IO 跟不上。2.3 索引級(jí)指標(biāo)定位到具體的問(wèn)題索引集群和節(jié)點(diǎn)都正常但業(yè)務(wù)方反饋搜索變慢了這時(shí)候就得下鉆到索引級(jí)別。我重點(diǎn)看三個(gè)指標(biāo)索引的search.query_total和search.query_time_in_millis的比值平均查詢耗時(shí)、indexing.index_total和indexing.index_time_in_millis的比值平均寫(xiě)入耗時(shí)、以及segments.count和segments.memory_in_bytes。平均查詢耗時(shí)突然飆升常見(jiàn)原因有某個(gè)大查詢打滿了緩存、分片數(shù)過(guò)多導(dǎo)致協(xié)調(diào)節(jié)點(diǎn)壓力大、或者有慢查詢?cè)谕虾笸?。平均?xiě)入耗時(shí)變長(zhǎng)可能是 refresh 頻率太高、translog 刷盤(pán)慢、或者 merge 壓力大。segments 數(shù)量過(guò)多單分片超過(guò) 50 個(gè)會(huì)導(dǎo)致查詢變慢因?yàn)槊總€(gè) segment 都要單獨(dú)搜索再合并結(jié)果。下面這張表是我在實(shí)際運(yùn)維中總結(jié)的指標(biāo)-閾值-動(dòng)作對(duì)照表可以直接拿去配告警指標(biāo)警告閾值嚴(yán)重閾值建議動(dòng)作cluster.statusyellow 持續(xù) 10minred檢查分片分配、節(jié)點(diǎn)狀態(tài)unassigned_shards 0 持續(xù) 5min 10檢查磁盤(pán)水位、分配規(guī)則heap_used_percent 75% 85%排查大查詢、考慮擴(kuò)容disk_used_percent 80% 85%清理舊索引、擴(kuò)容磁盤(pán)thread_pool.search.rejected 0 100/min優(yōu)化查詢、增加節(jié)點(diǎn)thread_pool.write.rejected 0 100/min降低批量大小、檢查磁盤(pán)index.search.avg_time 100ms 500ms分析慢查詢、優(yōu)化映射3. 采集方案選型Exporter、API 輪詢還是 Agent 直采3.1 三種采集方式的本質(zhì)區(qū)別給 ES 做監(jiān)控采集方式無(wú)非三種用現(xiàn)成的 exporter 拉指標(biāo)、自己寫(xiě)腳本輪詢 REST API、或者在每個(gè)節(jié)點(diǎn)上部署 agent 直接讀本地指標(biāo)。Exporter 方案最省事社區(qū)有成熟的 elasticsearch_exporter它通過(guò)調(diào)用 ES 的_nodes/stats、_cluster/health、_cluster/stats等接口把指標(biāo)轉(zhuǎn)成 Prometheus 格式暴露出來(lái)。優(yōu)點(diǎn)是開(kāi)箱即用指標(biāo)覆蓋全和 Prometheus 生態(tài)無(wú)縫集成。缺點(diǎn)是它只能看到 ES 主動(dòng)暴露的指標(biāo)像操作系統(tǒng)層面的 CPU、內(nèi)存、磁盤(pán) IO 這些拿不到而且如果 ES 集群本身響應(yīng)慢exporter 的采集也會(huì)超時(shí)。自己寫(xiě)腳本輪詢的好處是靈活你想采什么就采什么想怎么聚合就怎么聚合。比如你可以寫(xiě)個(gè) Python 腳本每 30 秒調(diào)一次_cat/indices把每個(gè)索引的文檔數(shù)、存儲(chǔ)大小、健康狀態(tài)存到自己的監(jiān)控庫(kù)里。但缺點(diǎn)是維護(hù)成本高ES 版本升級(jí)接口變了你得跟著改而且輪詢頻率高了會(huì)給集群增加額外負(fù)擔(dān)。Agent 直采適合對(duì)指標(biāo)精度要求高的場(chǎng)景。在每個(gè) ES 節(jié)點(diǎn)上跑一個(gè)輕量 agent直接讀/proc下的系統(tǒng)指標(biāo)同時(shí)通過(guò)本地回環(huán)調(diào)用 ES 的 API。這樣既能拿到系統(tǒng)層指標(biāo)又能避免網(wǎng)絡(luò)開(kāi)銷(xiāo)。但部署和升級(jí)麻煩節(jié)點(diǎn)多了之后 agent 的生命周期管理是個(gè)問(wèn)題。3.2 我為什么最終選了 Exporter 自定義腳本的組合純 exporter 方案有個(gè)硬傷它拿不到操作系統(tǒng)的磁盤(pán) IO 和網(wǎng)絡(luò)指標(biāo)而這兩個(gè)恰恰是排查 ES 性能問(wèn)題的重要線索。比如你發(fā)現(xiàn)寫(xiě)入變慢了如果只看 ES 的 indexing 指標(biāo)你只能知道慢了但不知道是磁盤(pán) IO 飽和了還是網(wǎng)絡(luò)帶寬打滿了。所以我的做法是用 exporter 采集 ES 自身的指標(biāo)用 node_exporter 采集系統(tǒng)指標(biāo)再寫(xiě)一個(gè)輕量腳本采集一些 exporter 不提供的業(yè)務(wù)指標(biāo)比如特定索引的文檔增長(zhǎng)速率。這里有個(gè)細(xì)節(jié)要注意exporter 的采集頻率不要設(shè)得太高。我見(jiàn)過(guò)有人設(shè)成 5 秒一次結(jié)果 exporter 自己成了集群的負(fù)載來(lái)源。ES 的_nodes/stats接口在節(jié)點(diǎn)多的時(shí)候響應(yīng)很慢頻繁調(diào)用會(huì)占用大量協(xié)調(diào)節(jié)點(diǎn)資源。我的經(jīng)驗(yàn)值是 30 秒一次對(duì)于大多數(shù)場(chǎng)景足夠了。如果確實(shí)需要更高精度可以針對(duì)關(guān)鍵指標(biāo)單獨(dú)提高頻率而不是全量拉取。3.3 采集端的資源隔離不管用哪種采集方式都要記住一個(gè)原則監(jiān)控系統(tǒng)本身不能成為被監(jiān)控系統(tǒng)的負(fù)擔(dān)。我一般會(huì)把 exporter 部署在獨(dú)立的監(jiān)控節(jié)點(diǎn)上不要和 ES 數(shù)據(jù)節(jié)點(diǎn)混部。如果資源實(shí)在緊張至少要給 exporter 設(shè)置 CPU 和內(nèi)存限制防止它失控。另外采集超時(shí)時(shí)間要設(shè)置合理。ES 集群在壓力大的時(shí)候API 響應(yīng)可能從幾十毫秒變成幾秒。如果 exporter 的超時(shí)設(shè)得太短會(huì)頻繁采集失敗導(dǎo)致監(jiān)控?cái)?shù)據(jù)出現(xiàn)空洞設(shè)得太長(zhǎng)又會(huì)拖慢整個(gè)采集周期。我的建議是超時(shí)時(shí)間設(shè)為采集間隔的三分之一左右比如 30 秒采集一次超時(shí)設(shè) 10 秒。4. 告警規(guī)則設(shè)計(jì)怎么做到既不漏報(bào)又不騷擾4.1 告警分級(jí)的核心邏輯告警設(shè)計(jì)最怕兩種極端一種是狼來(lái)了天天報(bào)警但都是誤報(bào)最后大家都不看了另一種是沉默的羔羊出大事了卻一聲不吭。要避免這兩種情況核心是做好分級(jí)。我把告警分成三級(jí)P0 是必須立即處理的比如集群 red、所有數(shù)據(jù)節(jié)點(diǎn)掉線、磁盤(pán)使用率超過(guò) 95%P1 是需要在工作時(shí)間內(nèi)處理的比如 yellow 持續(xù)超過(guò) 30 分鐘、堆使用率超過(guò) 85%、查詢拒絕率超過(guò) 1%P2 是記錄備查的比如單次查詢超時(shí)、segment 數(shù)量偏多。P0 走電話短信P1 走即時(shí)通訊工具P2 只寫(xiě)日志和看板。分級(jí)的關(guān)鍵在于持續(xù)時(shí)間這個(gè)維度。瞬時(shí)尖峰大多數(shù)時(shí)候是正常的比如業(yè)務(wù)高峰期查詢量突增導(dǎo)致隊(duì)列短暫排隊(duì)這不需要告警。但如果某個(gè)指標(biāo)持續(xù)超過(guò)閾值一段時(shí)間那就說(shuō)明系統(tǒng)真的有問(wèn)題了。我一般給 P0 設(shè)置 1 分鐘的持續(xù)時(shí)間P1 設(shè)置 5 分鐘P2 設(shè)置 15 分鐘。4.2 那些年我踩過(guò)的告警坑第一個(gè)坑是磁盤(pán)使用率告警風(fēng)暴。有段時(shí)間我們集群每天凌晨都會(huì)收到一堆磁盤(pán)告警查了半天發(fā)現(xiàn)是日志索引的定時(shí)滾動(dòng)任務(wù)在凌晨執(zhí)行滾動(dòng)瞬間會(huì)創(chuàng)建新索引導(dǎo)致磁盤(pán)使用率短暫上升。后來(lái)我把磁盤(pán)告警改成了預(yù)測(cè) 4 小時(shí)后會(huì)超過(guò)閾值才觸發(fā)而不是看當(dāng)前值。這個(gè)用 Prometheus 的predict_linear函數(shù)就能實(shí)現(xiàn)效果立竿見(jiàn)影。第二個(gè)坑是JVM 堆告警誤報(bào)。ES 的堆使用率是波動(dòng)的GC 之后會(huì)降下來(lái)GC 之前會(huì)升上去。如果只看瞬時(shí)值你會(huì)收到大量無(wú)意義的告警。正確的做法是看GC 后堆使用率或者看一段時(shí)間內(nèi)的平均值。Prometheus 里可以用avg_over_time來(lái)做平滑。第三個(gè)坑是分片告警漏報(bào)。我們?cè)?jīng)遇到過(guò)某個(gè)索引的主分片分配失敗但集群狀態(tài)還是 yellow因?yàn)楦北痉制钦5?。如果只監(jiān)控集群 status這個(gè)情況就漏掉了。后來(lái)我加了一條規(guī)則監(jiān)控unassigned_shards的變化率如果 5 分鐘內(nèi)從 0 變成大于 0就觸發(fā)告警不管集群狀態(tài)是什么顏色。4.3 告警收斂與靜默策略節(jié)點(diǎn)批量重啟或者滾動(dòng)升級(jí)的時(shí)候告警會(huì)集中爆發(fā)。這時(shí)候需要做告警收斂把同一時(shí)間窗口內(nèi)的同類告警合并成一條。Prometheus 的 Alertmanager 支持分組group_by和抑制inhibit規(guī)則可以把集群 red和節(jié)點(diǎn)掉線這兩類告警關(guān)聯(lián)起來(lái)只發(fā)一條根因告警。靜默策略也很重要。計(jì)劃內(nèi)的維護(hù)操作提前設(shè)置靜默窗口避免誤報(bào)。但靜默時(shí)間不要太長(zhǎng)我一般設(shè) 2 小時(shí)到期自動(dòng)恢復(fù)。如果維護(hù)沒(méi)做完手動(dòng)續(xù)期這樣能防止靜默了但忘了取消導(dǎo)致真正的問(wèn)題被掩蓋。5. 可視化看板讓數(shù)據(jù)自己說(shuō)話5.1 看板分層設(shè)計(jì)我習(xí)慣把 ES 監(jiān)控看板分成三層全局概覽、節(jié)點(diǎn)詳情、索引詳情。全局概覽放在最上面一屏之內(nèi)要能看到集群健康狀態(tài)、節(jié)點(diǎn)數(shù)量、分片總數(shù)、總文檔數(shù)、總存儲(chǔ)大小、當(dāng)前寫(xiě)入和查詢 QPS、以及最近 24 小時(shí)的告警數(shù)量。這一層是給值班人員看的目的是一眼判斷有沒(méi)有問(wèn)題。節(jié)點(diǎn)詳情層展示每個(gè)節(jié)點(diǎn)的 CPU、內(nèi)存、磁盤(pán)、JVM 堆、GC 次數(shù)、線程池隊(duì)列長(zhǎng)度。這一層是給運(yùn)維人員排查用的目的是定位到具體哪臺(tái)機(jī)器有問(wèn)題。索引詳情層展示每個(gè)索引的文檔數(shù)、存儲(chǔ)大小、查詢耗時(shí)、寫(xiě)入耗時(shí)、segment 數(shù)量。這一層是給開(kāi)發(fā)人員優(yōu)化用的目的是找到哪個(gè)索引拖慢了整體性能。5.2 那些容易被忽略但很有用的圖表除了常規(guī)的折線圖我強(qiáng)烈建議加幾個(gè)非典型圖表。第一個(gè)是分片分布熱力圖。用表格形式展示每個(gè)節(jié)點(diǎn)上的分片數(shù)量顏色越深表示分片越多。這個(gè)圖能快速發(fā)現(xiàn)分片分布不均的問(wèn)題。我曾經(jīng)遇到過(guò)一個(gè)節(jié)點(diǎn)上分了 200 多個(gè)分片而其他節(jié)點(diǎn)只有幾十個(gè)導(dǎo)致那個(gè)節(jié)點(diǎn)查詢特別慢。熱力圖一眼就能看出來(lái)。第二個(gè)是查詢耗時(shí) P99 曲線。平均值會(huì)騙人P99 才能反映真實(shí)用戶體驗(yàn)。如果 P99 突然飆升但平均值沒(méi)變說(shuō)明有少量請(qǐng)求遇到了嚴(yán)重延遲這往往是慢查詢或者 GC 導(dǎo)致的。第三個(gè)是索引增長(zhǎng)趨勢(shì)圖。把每天的索引存儲(chǔ)大小畫(huà)成曲線再疊加一條線性預(yù)測(cè)線能直觀看到什么時(shí)候會(huì)觸發(fā)磁盤(pán)水位線。這個(gè)圖對(duì)于容量規(guī)劃特別有用比看當(dāng)前使用率有價(jià)值得多。5.3 看板的性能優(yōu)化看板本身也會(huì)消耗資源。如果看板查詢的數(shù)據(jù)量太大每次刷新都會(huì)給 ES 造成壓力。我的做法是對(duì)于時(shí)間范圍超過(guò) 7 天的圖表使用預(yù)聚合數(shù)據(jù)比如 Prometheus 的 recording rules而不是直接查原始指標(biāo)。另外看板的自動(dòng)刷新間隔不要設(shè)得太短30 秒足夠了設(shè)成 5 秒除了讓屏幕閃得更快之外沒(méi)有任何實(shí)際意義。6. 從告警到定位一次真實(shí)的排查過(guò)程復(fù)盤(pán)6.1 問(wèn)題現(xiàn)象某天下午告警群收到一條 P1 告警集群查詢拒絕率超過(guò) 1%持續(xù) 5 分鐘。同時(shí)業(yè)務(wù)方反饋搜索接口偶爾超時(shí)。登錄看板一看thread_pool.search.rejected在幾分鐘內(nèi)從 0 漲到了 300 多search隊(duì)列長(zhǎng)度也滿了。6.2 排查鏈路第一步看集群和節(jié)點(diǎn)狀態(tài)。集群是 green所有節(jié)點(diǎn)都在線磁盤(pán)和 JVM 都正常。這說(shuō)明不是資源耗盡導(dǎo)致的。第二步看索引級(jí)別的查詢指標(biāo)。發(fā)現(xiàn)有一個(gè)索引的平均查詢耗時(shí)從平時(shí)的 20ms 漲到了 800msP99 更是超過(guò)了 5 秒。問(wèn)題定位到這個(gè)索引上。第三步看這個(gè)索引的 segment 數(shù)量。發(fā)現(xiàn)單分片的 segment 數(shù)量達(dá)到了 120 多個(gè)遠(yuǎn)超正常水平。segment 太多會(huì)導(dǎo)致查詢時(shí)需要遍歷大量小文件性能急劇下降。第四步查為什么 segment 沒(méi)有合并???merge 線程池的指標(biāo)發(fā)現(xiàn)thread_pool.force_merge隊(duì)列里有大量任務(wù)積壓。再查操作記錄發(fā)現(xiàn)前一天有人手動(dòng)觸發(fā)了一次全量 force merge但沒(méi)等它完成就下班了導(dǎo)致 merge 任務(wù)一直排隊(duì)新的寫(xiě)入又不斷產(chǎn)生新 segment形成了惡性循環(huán)。6.3 解決方案與后續(xù)預(yù)防當(dāng)時(shí)的緊急處理是先取消積壓的 force merge 任務(wù)讓 ES 自己按默認(rèn)策略做后臺(tái) merge。然后對(duì)那個(gè)索引做了一次滾動(dòng)重啟rollover把寫(xiě)入切到新索引舊索引不再寫(xiě)入后 segment 數(shù)量自然穩(wěn)定下來(lái)。最后對(duì)舊索引做了一次 force merge 到 1 個(gè) segment查詢耗時(shí)恢復(fù)到 15ms。后續(xù)預(yù)防措施有三條第一force merge 操作必須走審批流程且只能在業(yè)務(wù)低峰期執(zhí)行第二給 force merge 線程池的隊(duì)列長(zhǎng)度設(shè)置告警超過(guò) 10 就通知第三把 segment 數(shù)量納入日常巡檢指標(biāo)單分片超過(guò) 50 個(gè)就預(yù)警。這個(gè)案例告訴我們監(jiān)控不只是看有沒(méi)有掛更要看有沒(méi)有在變壞。很多故障不是突然發(fā)生的而是有一個(gè)漸進(jìn)的過(guò)程只是我們沒(méi)有在早期發(fā)現(xiàn)而已。7. 監(jiān)控系統(tǒng)自身的維護(hù)別讓保安先倒下監(jiān)控系統(tǒng)跑起來(lái)之后它自己也需要被監(jiān)控。我見(jiàn)過(guò)不止一次因?yàn)?exporter 掛了或者 Prometheus 磁盤(pán)滿了導(dǎo)致整個(gè)監(jiān)控體系失效而運(yùn)維人員渾然不知。最基本的要給監(jiān)控組件本身加上存活檢測(cè)。exporter 的/metrics接口如果連續(xù) 3 次采集失敗就觸發(fā)告警。Prometheus 的磁盤(pán)使用率也要監(jiān)控因?yàn)樗臄?shù)據(jù)是只增不減的默認(rèn)保留 15 天如果磁盤(pán)規(guī)劃不足很容易寫(xiě)滿。另外監(jiān)控?cái)?shù)據(jù)的保留策略要合理。ES 的指標(biāo)數(shù)據(jù)量很大如果全量保留一年存儲(chǔ)成本會(huì)很高。我的做法是原始指標(biāo)保留 15 天5 分鐘粒度的降采樣數(shù)據(jù)保留 90 天1 小時(shí)粒度的降采樣數(shù)據(jù)保留 1 年。這樣既能滿足短期排查需求又能支持長(zhǎng)期的趨勢(shì)分析。還有一個(gè)容易被忽略的點(diǎn)監(jiān)控配置的版本管理。告警規(guī)則、看板配置、采集配置這些都應(yīng)該納入版本控制。每次修改都要有記錄出問(wèn)題的時(shí)候可以快速回滾。我見(jiàn)過(guò)有人直接在 Grafana 界面上改看板改錯(cuò)了想恢復(fù)都找不到之前的版本只能憑記憶重建。最后分享一個(gè)我自己的小習(xí)慣每個(gè)月做一次監(jiān)控盲區(qū)檢查。具體做法是隨機(jī)挑一個(gè)歷史故障案例假設(shè)它現(xiàn)在重新發(fā)生看看現(xiàn)有的監(jiān)控體系能不能在 5 分鐘內(nèi)發(fā)現(xiàn)并定位。如果發(fā)現(xiàn)某個(gè)環(huán)節(jié)缺失就補(bǔ)上對(duì)應(yīng)的指標(biāo)或告警。這個(gè)習(xí)慣幫我堵住了不少漏洞推薦你也試試。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
无码网| 九九色影院| 色婷婷AAA| 九九热这里只有国产精品| 超碰国产在线| 激情久久天天| 人人操碰| 日韩成人av在线| 91狠狠色丁香| 色婷婷成人五月| yw国产AV| 人妻久久久| 丁香五月最新网址| 69精品人人人人| 激情综合五月丁香| 国产高清av黄色看片| 婷婷狠狠五月综合| 久久超级碰视频| 日日操,夜夜撸| 亚洲中文字幕在线电影| 99无码黄色视频| 色综合77777| 亚洲婷婷六月天| 黑人巨粗进入警花疼哭A片| 色亭亭五月天网扯| 性爱五月婷| 99热在线只有精品| 欧美色图45678| 成人丁香色| 亚洲精品国产成人AV在线| 69综合在线| 久久婷婷五月天蜜桃| 任你爽视频| 久青青久| 亚洲在线成人| 久操激情| renre人人操国产超碰在线| 中文字幕网伦射乱中文| 婷婷五月天日本无码| 99资源人人| 色久五月天| www,com,五月色色| 成人免费120分钟啪啪| 天天爽日日搞| 香蕉网婷婷| 五月天欧美激情| 97超碰99热99| www.狠狠操| 日日夜夜爽| 丁香五月色网| 五月天色婷婷激情综合| 色婷婷91激情小说| 97色五月婷婷在线| 婷婷激情综合| 1024操逼| 亚洲综合视频在线| 久热9| www.婷婷五月天| 99热日本| 久久综合性| 亚洲V国产V欧美V久久久久久| 九九热视频思思| 操日视频| 99久在线观看| 热99视频| 日韩黄黄| 思思热99er| 久久激情综合| 91九色视频| 午夜美女人啪最红院| 天天综合色| 四月婷婷丁香| 五月激情综合激情五月| 五月丁香激| 伊人综合网站| 婷婷色网| 五月丁香 啪啪| 影音先锋 91工厂| 亚洲综合五月天婷婷丁香| 终合激情网| 99在线爽| 婷婷天天婷婷天天澡| 色玖玖玖| 五月天丁香综合在线| 婷婷激情社区| 五月婷婷激情性爱| 操操熟女| 中文字幕无线久必| 日本超碰在线| 丁香五月成人| 国精产品一区二区三区| 激情丁香淫荡婷婷| 亚洲激情亚洲激情| 日本nghangse中文字幕| 搡BBBB搡BBB搡五十| 天堂网啪啪| 久久有码| 视频一区二区在线| 99精品成人无码A片观看金桔| 91无码高清| 26uuu淫色| 久久加勒比| 欧美狠狠一在草| av网址在线| 99免费视频精品| 大香蕉婷婷丁香| 日日噜噜夜夜狠狠久久丁香五月| 五月婷婷AV| 九九色综合九九色| 婷婷开心六月| 夜夜综合色| 99热 免费| 久草性爱| 成人在线网址| 丁香五月天.com| 五月丁香久久综合91| 久久曰曰| 婷婷色综合| 狠狠干在线| 思思久久99| 五月丁香青草综合啪啪| 亚洲色vA| 久热A| 思思综合热| 丁香六月婷婷缴情欧美| 立川无码av| 丁香五月影院| 操逼三区| 色伊人婷婷| 天天肏夜夜肏| 97福利视频| 婷香五月激情视频| 久久婷网| 色婷婷五月综合网| 欧美激情-区二区三区| 99这里只有精品视频| 欧美性二区| 天天爽天天日人人爱| 亚洲V国产V欧美V久久久久久 | 丁香五月欧美| 五月丁香操婷逼| 五月天五月天成人网亭亭成人色网站| 色五月婷婷五月丁香五月激情五月视频| 人人爽天天爽| 色青青视频| 激情丁香淫荡婷婷| 亚洲bt丁香五月天婷婷激情小说| 思思re视频在线| 国产又黄又爽又激情不遮挡视频在线观看| 亚洲色色精品| 色五月AV| 来吧亚洲综合网| 五月婷六月| AV九九| 综合婷婷| 九九99九九精品免费| 欧美成人猛片AAAAAAA| 九九九九毛片| 色色色成人网| 婷婷五月天天| 97在线刺激| 超碰人人艹| www.99热视频| 五月婷丁香在线视频在线| 激情五月天在线观看婷婷| 六月婷婷成人| 色婷婷五月中文字幕在线dvd| 九九热免费| 日韩九九| 婷婷亚洲色| 五月丁香啪啪啪| 久碰视频| 嫩模草| 天堂二区| 激情综合久久| 激情五月天之六月婷婷| 婷婷综合激情| 99视频只有精品| 五月天丁香网| 色色影院黄大片| YJLZZJLZZ亚洲乱熟无码| 狠狠操狠狠爱| 激情开心五月天婷婷基地丁香社区| 精品无码99| 丁香五月色情| 色色图五月天| w婷婷五月婷婷w| 操91| 超碰人人艹| 日日色五月天| 99热这里只有的精品视 | 日本3级片一区2区| 激情五月深爱五月| 在线播放成人网站| 超碰在线中文字幕| 五月天精品| 99啪啪| 九九九九九无码| 噜噜噜狠狠色综合| 97超碰色| 色综合天天天天做夜夜| 天天爱天天天射AV| 丁香六月激情毛片| 思思久久96热在精品国产,| 99国产小视频免费观看| www.色婷婷| √天堂资源在线人妻熟女| 337p大胆噜噜噜噜噜91Av| 99久久偷拍视频| 色综合九九色综合88| 五月婷婷色丁香| 色色国产| 九月婷婷综合| 啪色综合| 久久亭亭电影| 深爱五月激情| 久色视频| www.久久爱.c n| 婷婷五月天堂网| 五月丁香婷婷潮喷中文字幕| 天天综合色| 激情操逼婷婷| 97丁香花五月天激情小说| 综合激情站| 男人天堂99| 双性美人被调教到喷水A片| www.99精品视频| se色99| 欧美黄色韩日网| 香蕉久久av一区二区三区| 亚洲综合999| 婷婷丁香色五月| 激情久久伊人| 久久丁香五月天| 激情婷婷啪啪| 日本人妻伦在线中文字幕| 色天使色婷婷| 九九久热| 婷婷五月,综合伊人| 啪啪五月综合| VA国产在线综合网站| 五月婷婷综合网| 亚洲色视频| 国产激情综合五月久久| 4399在线日本A片| 九九九九这里只有精品| 五月丁香六月婷综合成人综合 | 懂色av蜜臀av粉嫩av永陈冠希| 色亚洲中文| 九九这里是免费的视频5| 91久久久久| 高清无码一区二区三区四区| 婷婷色综合| 人人人操| 免费播放片大片| 噜噜精品| 激情婷婷网| 思思热在线视频99| 另类天堂| 婷婷五月天伦理| 丁香五月成人网| 五月天停婷基地| 欧美性爱5月天天天看| 99色热| 91人人澡人人爽人人看| 国产va视频| 亚洲丁香花五月丁香花| 五月综合777| 久久草大香蕉| 天天激情综合| 第九色区av天堂| 人人亚洲| 婷婷丁香六月| 国产欧美婷婷五月| 91大操| 五月色丁香激情| 国产AV一区二区三区日韩| 夜夜操夜夜爽| 超碰日韩人妻在线| 99精品福利视频| 丁香五月瑟瑟| 婷婷亚洲综合| 91精品久久久久| 99综合久久| 亚洲永久免费| 五月天婷婷影院| 婷婷色五月综合丁香| 五月丁香啪啪啪| 激情五月婷婷网在线观看| 天天综合精品| 99热色在线精品| 99久久婷婷综合| 亚洲成人在线五月天| 97人人操com| 色五月天婷婷| 天天射美女| 天天艹夜夜艹| 99视频精品全部免费 在线| 91啪啪视频| 亚洲成人色五月天| 日本色五月婷婷| 色婷婷亚洲综合天堂| 思思热久久久在线| 日韩欧美成人片| 久热99| 欧美日韓成人亚洲精品另类| 亚洲AV电影av| 欧美日朝成人| 深爱婷婷色| 好叼操在线观看| 色亚洲欧洲| 婷婷丁香五月基地| 丁香五婷婷| 丁香六月婷婷激情综合| 久久婷婷五月天大香蕉| 开心五月天激情网| 91超级碰碰| 97人人搞| 亭亭色天香| 夜色爱爱亚洲| 这里只有精品1| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 日韩精品超碰在线观看| 桃色五月天| WWW.五月com| 色综合五月| 东京热免费视频| 成人国产欧美大片一区| 激情五月丁香亭亭| site:jszngf.com| 另类五月激情| 色九亚洲| 91精品国产综合久久密臀| 中文久久婷婷| 99久久户外勾搭| 欧美黄色韩日网| 天天久久狠狠色综合| 亚洲国产精品VA在线看黑人 | 亚洲亚洲人成综合网络| 色丁香五月综合网| 九热...av| 中文字幕日本最新乱码视频| 久久五月天色| 欧美va国产va| 91精品国产日韩91久久久久久国模| 色噜噜狠狠色综合日日| 91热手机在线| 欧美成人AAA片一区国产精品| 婷婷五月天亚洲| 九九黄色网| 亚洲成人日韩无码精品| 久久天天| 狠色狠色综合久久| 79亚洲精品少妇| 六月丁香婷婷色狠狠久久| 九色七七| 丁香五月天婷婷中文| 激情五月婷在线精品| 婷婷五月天激情电影| 精品一二三区久久AAA片| 欧美色一级色| 五月美女婷婷风骚| 婷婷基地爱| 五月丁香在线偷拍视频| 秋霞黄色一级久久| 五月丁香六月激情综合| 日韩AV中文字幕在线| www.操.com| 狠狠色狠狠| 婷婷五月天熟妇| 9l视频自拍九色9l视频在线观看| 色色色婷婷五月| 少妇性BBB搡BBB爽爽爽电影| 色色免费网站| 五月丁香激情综合网官网| 亚洲人妻av| 婷婷丁香六月| 五月婷在线视频免费看| 五月天狠狠干| 五月丁香在线精品| 天天日夜夜B久久| 久久99久久久| xxxx五月天色色| 丰满少妇乱A片无码| 超碰在线国产| 日日干天天射| 99热色婷婷| 大地9中文在线观看免费高清| 9l视频自拍9l视频自拍九色学生| 狠狠色综合精品视频在线| 啪啪干伊人婷婷| 国产 码在线成人网站| 啪啪五月综合| 色开心五月丁香| 5月丁香综合网| 婷婷欧美激情综合| 最新高清无码专区| 91人人看| 婷婷大美在线| 婷婷五月色情| 激情深爱五月天| 九九成年视频| 亚洲六月综合激情久久下卡| www.五月.com| 五月丁香激情在线| 91人久| 岛国在线观看91| 五月丁香手机在线| 五月丁香999| 影音先锋噜一噜| 99精品无码| 色欲五月丁香| 91男人资源站| 91丨九色丨东北熟女| 99热这里只有精品最新| 婷婷五月天综合色| 五月婷婷六月色| 色色色综合网| jiqingtaose五月天| www.9操| 五月天婷婷影院| www.五月天婷婷| 五月色综合| 超碰成人AV| 日hao1区| 4399在线观看免费高清黄色视频| 丁香综合久久| 99热国产免费| 任你弄在线视频免费| 九九综合视频在线观看| 国产女生爱爱AA| 天天综合天天玩夜夜玩天天玩夜夜玩 | 99re这里只有精品99| 99视频在线观看网址| 婷婷五月综合免费在线| 婷婷激情小说| 激情五月天久久| 天天更新天天亚洲| 九九色大香蕉| 五月天婷婷影院| 激情久久综合网| 26UUU一区二区| 九色七七| 狠狠夜夜五月丁香| 九九免费视频| 夜夜躁狠狠| 丁香婷婷大香蕉| 国产 码在线成人网站| 99久re热视频精品98| 婷婷中文字幕在线| 色婷婷婷婷| 久久五月视频| 五月天丁香| 亚洲舔观看| 97色干在线观看| 狠狠干思思热| 色婷婷文字幕| 97碰| 婷婷开心深爱五月天| 激情综合五月丁香| 五月丁香色婷| 中文字幕亚洲-区久久99婷婷| 五月丁香影院| 五月天精品综合| 久操综合| 九九AV| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 色欲一区二区三区精品A片| 婷婷五月综合色中文字幕| 色色色综合| 视色综合| 26uuu精品一区二区| 激情五月婷婷| 五月丁香六月婷婷综合伊人| 婷五月天丁香婷五月| 久久久噜噜噜久久人妻| 久久激情网| 丁香激情五月| 91人妻视频| 97人碰人操| 26uuu精品一区二区| Av九九| 日本狠狠色| 久久99热精品a片在线观看| 天天干天天干天天干天天干天天干天天| 丁香婷婷婷婷十二月在线观看视频| 色综合开心五月深爱五月| 亚洲精品V天堂中文字幕| 五月婷婷性| 黄页大全十八禁| 久久综合综合综合| 激情五月婷婷网| 91视屏在线观看com.wwwvv| 日日夜夜亚洲一区| 狠狠色丁香| 六月丁香五月亭亭| 97操碰碰无码视频| 国产精品18久久久| 婷婷五月六月| 狠狠草天天草| 97精品综合久久内射| 人人摸人人搞| 伊人午夜综合色啪| 久久精典| #NAME?| 丁香五月天激情| 五月丁香网站在线播放| 99热在线资源| 99色综合| 开心激情综合| 激情五月份婷婷| 久久婷婷啪啪视频| 五月色婷婷影视在线电影| 色约约视频一区二区三区四区五区| 日本色色网站| 亚洲五月色| 天天色播| 丁香五月狠狠在线观看| www.婷婷五月天.com| 日韩综合大黄| 久久丁香五月综合六月激情红杏视频 | 日本色婷婷| 五月婷婷自拍视频| 丁香丁婷五月激情| 欧美色色色色色色| 少妇性BBB搡BBB爽爽爽电影| 9久久久久久久久久久| 五月婷婷色色| 国产性爱亚洲是图| 五月丁香久人妻中文| 成人AV片播放| www,com,五月色色| 激情五月婷婷在线区| 深爱 五月天| 久久aaaaa| 五月丁香| 99爱视频在线观看| 另类小说五月天综合网| 色婷婷国产精品综合在线观看| 同性gv国产精品一区二区| 啪啪东京热| 五月丁香六月婷婷网| 亚洲激情精品| 精品人妻久久久| 婷婷亚洲天堂| 九色视频91疯狂| 区区欧美你爱| 狠狠久久婷五月综合色| 玖玖在线视频| 影音先锋噜一噜| 中文字幕婷婷在线| 亚洲AV成人一区二区在线观看| 欧美在线干| 欧美久久网| 婷婷五月天高清无码| 久久HD| 色亭亭九月| 99色在线| 久99久99精品免| 色偷偷色婷婷| 青996青| 免费操超碰| 99热久久这里只有精品| www.深爱激情| 色八戒操婷婷| 免费超碰在线观看| av色色国产| 97视频.干com| 五月丁香六月婷婷中文版| 一起草无码视频| 日韩综合网络男女香蕉a片| 红桃91人妻爽人妻爽| 黄色视频网站在线播放| 久草热8精品视频在线观看| 国产成人+综合亚洲+天堂| 婷婷五月天亚洲| 欧美啪啪9| 天天综合精品| 丁香五月开心亚洲| 五月天啪啪啪| 久久99热免费最新版| 午夜天堂啪啪| 99色在线视频| 久久国产色| 五月婷婷av| www久视频com| 一级操逼大片| 久久99免费视频网站| 久久久久久久五月| 婷婷97碰碰| 久热AA| 日韩啪啪视频| 八戒青柠影视剧在线观看| 久久婷婷热| 中文字幕 中文字幕明步| 99热久久这里只有精品| 久热只有这里有精品| 五月丁香六月婷婷免费视频| 久婷五月| 六月成人网| 丁香五月婷婷av影院| 伊人丁香在线| 色五月大香蕉婷婷| 久99久精品| 99er免费在线观看| 色婷婷超碰| 国产91视频| 九九草草逼| 综合网啪啪| 久久婷出差欧美色两性综合网| AV美美午夜| 亚洲性爱电影| 男女啪啪视频久 9| 亭亭色网| 五月婷婷六月奇米网丁香| AV在线大香蕉| 97干在线看| 2050人人操免费工开爱| 操逼六区| 五月天停婷基地| 五月色丁香| 天天爱天天做天天爽| 亚洲天天| 久久婷综合网| 婷婷五月天激情综合深爱| 色色色五月婷| 久久婷婷六月综合综合| 六月丁香啪啪| 99热官网精品在线| 四川女人毛多水多A片| 色欲天天综合| 99热自拍| 综合xx网| 欧美色综合天天久久综合精品| 丁香六月| 亚洲AV综合在线观看| 精品九九网| 丁香六月天婷婷开心综合| 狠狠色丁香乆乆| 综合激情开心五月| 五月天色丁香| 激情五月天网| 综合狠狠干| 国产真人做爰视频免费| 热久久这里只有精品20| 中文字幕网伦射乱中文| eeuss人妻| 色综合色综合网| 色五月综合在线| 婷婷伊人中文字幕| 婷婷综合网在线| 99在线精品免费视频| 婷婷五月深深的爱| 91精品91久久久久77777| 伍月婷丁香婷| 久热91精品| 99热99成人| 五月天桃色深爱网| 久久久久久草黄色片AV在线观看| 天天肏夜夜肏| 日逼免费视频 | 丁香婷婷情色五月天| 久久码久久无清| 男人天堂99| 天天色天天搡| 国外亚洲成AV人片在线观看| 狠狠操狠狠做| 91操女| 久久机热这里只有精品| av成人在线播放| 这里只有精品视频免费在线观看| 干一干xxxx| 亚洲色综合| 天天日人人| 97热九九| 深爱五月天| 婷婷内射视频在线| 五月天婷婷五月| 天天日狠狠| 天天色,天天操,天天射| 激情色情五月天| 五月天狠狠色| 色狠久| 五月开心久久| 天天操比比| 天天插天天操| 丁香六月色香蕉视频| 九九色婷婷五月天| 久久久国产精品黄毛片| 天天日天天干天天天| 大香蕉啪啪啪| 婷香五月网在线| 久久91久久精品久久| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 在线网黄| 天天爽天天摸人妻综合网| 人妻22p| 国产三级在线播放| 999热这里只有美国精品| 99热这里只有精品2| 五月婷婷影视| 五月天激情.com| 亚洲一级色电影| 久草婷妨| 久久99草五月婷婷| 五月天婷婷av| 91久久久久久久久18| WWW、日本色丁香co m| 婷婷婷五月香蕉| 热久久婷婷| 九九XX视频| 开心五月婷婷激情| 日本熟妇乱妇熟色A片蜜桃| 久久东京热婷婷五月| 婷婷六月激情| 五月丁香色婷婷久久| 色久综合| 热五月婷婷| 亚洲精品色| 99在线精品视频| 五月激情婷婷丁香| 99热手机在线精品| 久久久这里有精品| 97色操| 丁香五月婷婷影院| 97色色色| 中文av网| 成人国产欧美大片一区| 久久婷婷五月综合色和| 五月婷婷97| 综合超碰熟| 色婷婷小说| 色色日韩无码| 婷婷五月丁香在线视频| www.99久| 婷婷天天五月天| 日韩欧美性爱| 亚洲av无码影院| 超碰成人在线观看| site:wpjngj.com| 午夜电影网VA内射| 亚洲午夜av| BBWCUCKOLD精品熟妇| 激情五月综合亚洲另类| 91碰操| WWW.99视频| ...婷婷国产成人亚洲日韩| 俺也去在线视频| 色综合久| 岛国资源站| 丁香五月激情啪| 激情性爱五月天| 天天激情欧美美女| 婷婷五月天色| 人妻丰满精品一区二区A片| 日本系列_4页_777FP| 99视频这里只有免费精品| 激情五月少妇| 中文成人在线| 五月丁香婷婷爱激情综合网| 色婷婷色久综| 久操福利| 激情婷婷五月少妇| 俺也去在线视频| 日韩超碰在线| 婷婷五月激情综合网| 日本在线免费中文com.| 五月色婷婷影院| 91婷婷视频| 久久综合热17c| 激情五月婷婷六月丁香| 91人人爱| 天天插天天很| 久久一级AV| 亚洲综合网激情五月天| 99视频内射三四| 97人人干| 婷婷五月天桃花网| 五月天激情啪啪| 五月丁香六月婷婷不卡免费无码 | 丁香五月天综合网| 激情五月综合网| 婷婷五月天激情电影| 日本色五月婷婷| 91色综合久久| 久久久久思思热| 久9热在线免费观看| 日韩AV色色色| av最新在线| 婷婷综合五月天| chaopeng在线人人| 99色中文| 操操操操操操婷婷五月天| 97热这里只有精品| caobi四区| 另类国产欧美视频| 嫩BBB槡BBBB搡BBBB| 丁香五月中文字幕久色| 色婷婷AV在线| 欧美色婷婷| 九色色| 色色色综合色| 天天干天天做| 激情五月丁香六月婷婷| 91精品久久久久久久| 色婷婷激情| 开心激情网五月| 大香蕉九九操| 色狠狠综合| 伊人色综在线| 色综合久久88色综合天天99| 亚洲精品V天堂中文字幕| 曰本aaaaaa丈片| 婷婷成人av| 五月丁香亭亭A片| 激情操逼婷婷| 狠狠干狠狠色| 91超级碰碰碰| 超碰大香蕉网| 精品久久人妻| 九九自拍网| 在线视频另类| 五月开行婷婷色五月| 丁香五月天婷婷久久| 综合99视频| 日本人妻伦在线中文字幕| 亚洲成人av在线播放| 秋霞网在线观看理论91| 99热播放| 色色色色色综合| 熟女人妻一区二区三区免费看| 天天插天天插天天插| 九九99视频精品| 久久激情五月婷婷| 婷婷五月18永久免费网站| 日本99视频| 五月激情婷婷丁香| 日日日,com| 婷婷激情综合网| 国产在线激情视频| 丁香婷婷网| 色婷视频| 婷婷色五月大香蕉在线观看| www,setingting| 欧美性做爰大片免费看办公室| 亚洲婷婷激情综合激情999精品| 色吧五月婷婷| 开心五月婷婷在线视频免费观看| 五月激情基地| 亚洲综合视频一下| 99re久热只有精品6在线直播| 99re这里只有精品9| 婷婷丁香五月天综合AV| 午夜丁香婷婷| 99色6爱9热| 亭亭丁香aV| 激情五月婷婷啪啪| 激情婷婷色五月| 五月天国产| 久热这里只有精品99re| 超碰人人操| 久久作爱| 99精品无码| 激情综合五月丁香六月婷婷| 亚洲精品久久久久AV无码| 久草婷婷在线| 91人碰| 99精品在线| 色婷婷五月天小说网| 五月丁香六月综合基地| 操操啪| 久久免费精彩视频| 九九青草热| 97九色视频| 婷婷五月激情网站| 桔色成人官方网站| 99热最新| 天天天天干| 99re视频在线精品| 成人在线精品| 99热精这里只有精品| 久久色这里只有精品| 五月婷婷激情| 久久99人人| 99re热精品在线视频| 久久这里只有精品16| 综合色图区| AV大片在线播放| 中文字幕,综合,91| 婷婷天天综合| 久久超级碰碰| 亚洲综合色激情色五月| 色啪久| 激情桃色网| 五月天激情小说网| 波多婷婷久久| 五月丁香六月婷婷综合在线| 天天做天天干天天综合网| 伊人久久大香线蕉av最新| 亚洲AV日韩在线观看| 激情99热| 人妻AV在线| 亚洲成人超碰| 亚洲人成人五月天| 国产超碰在线| 91久热| 秋霞AV淫| 丁香六月色| 色丁香在线视频| 俺去也婷婷| 色综合久久天天综合网| 婷婷五月天激情开心网| 色欲AVV| 丁香五月天天| 91成人性爱视频| 97久久精品| 97热精品| 久久无意婷婷| 五月激情综合美女久久| httpwww色com日本| Jh7Uf088VHafNm| 精品夜夜澡人妻无码AV| 人妻久久久久久久久妻久久久久久久久| 中文AV网| 综合亚洲AV| 激情五月丁香亭亭| 操比激情五月综合| 色色色色综合网| 天天肏天天肏天天肏| 婷婷五月天网| 激情亚洲婷婷| 国产三级片91| 婷婷激情性爱| 日本欧美成人片AAAA| 国产乱码久久| 无码少妇高潮喷水A片免费| 丁香5月综合啪啪| 最新国产AV| 久99久在线观看| www91精品| 五月丁香六月| 日韩六十路91性交电影| 丁香婷婷AV| 涩涩涩五月天| 国产avapp 网| 操99| 伊人五月婷婷| 婷婷色偷拍| 思思热视频在线| 婷婷五月天另类网站| 大香蕉婷婷久久| 久久久久久久久月丁| 99热只有| 深爱开心五月天| 五月婷婷六月丁香玖玖玫瑰91| 性爱综合网| 第一区久久网站| 最新久久网址| 婷婷97| 99热在线这里| 丁香五月天导航| 日本人妻伦在线中文字幕| 偷拍五月丁香| 六月色国内综合| 婷婷久久综合| 色偷偷色婷婷| 丁香五月亚洲综合| 久久婷综合| 第四色五月婷婷| 五月婷婷手机在线| 看黄的网站18禁| 最新日韩久热免费视频看看| 亚洲综合五月天婷婷| 亚洲成人AV在线观看| 狠狠色成人影片| 日日噜狠狠色综合久久| 激情综合网丁香| 五月丁香视频色色| 91久女| 日日夜夜干| 婷婷97| 九九久久精品| √天堂资源在线人妻熟女| 玖玖精品视频| 天天干天天操天天上| 亚洲成人一区| 丁香五月成人自拍| 91黄色五月天视频| 高清资源站日A美A欧亚…| 日韩九区| www.久久| A片试看120分钟做受视频红杏| 人妻激情在线| 看全色黄大色大片| 深爱五月天 开心网| 丁香五月婷婷俺也要去| 日日夜夜综合| 激情五月丁香婷婷| 婷婷五月天激情在线| 婷婷爱五月天| 丁香五月婷婷六月| 六月综合在线| 五月丁香六月成人| 97综合在线| 欧美怡红院黄站| 超碰免费在线| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 97人妻碰碰碰久久香蕉| 国产性爱一级| 国内久久亭亭| 91精品久久久久久久久久久久| 日本三级片片| 伊人久久大香网| 第二色AⅤ| 婷婷激情六月综合| 丁香五月六月欧美| 五月丁香激情婷婷| av操一操| 这里只有精品视频99| 色色色五月婷| 天天色图| 风流少妇A片一区二区蜜桃| 影音先锋 萱萱| 亚洲激情综| 琪琪理论片| 99爱在线视频| 伊人久久婷婷| 射琪琪| 管管補管管紱| 婷婷爱五月天| 思思综合热| 夜夜躁婷婷AV| 日B日潘金莲BB| 亚洲在线综合| 婷婷丁香五月亚洲欧美| 丁香五月婷婷成人色区| 久久丁香综合| 亚洲亚洲人成综合网络 | 97碰人人操| 另类的婷婷| 九九99热| 中文字幕高清av| 国产夫妻操逼内射视频| 日91高清无玛| 国内在线99视频| 久久一二三视频| 极品少妇XXXX精品少妇偷拍| 97天堂| 99热丁香| 九九九AAA热视频| 五月天夜夜爱夜夜操| 亚洲综合在线视频| 午夜成人天堂久久无码日韩久久| 久色欧美| 蜜桃成语时李时珍 免费| 99热免费精品| 操骚货在线| 色色色国产| 一本婷婷丁香久久| 婷婷开心青青草| 少妇人妻人伦A片| 天天肏天天插| 婷婷色情 | 人妻自慰在线| 少妇高潮A片无套内谢麻豆传| 亚洲成色综合网站免费观看| av狠狠操| 激情五月天在线观看婷婷| 婷婷六月久久综合导航| 欧美丁香五月97色| 五月婷亚洲精品| 97碰成超视频免费视频| 99这里只有精品|v| 超碰av天堂| 日本久久综合| 情色婷婷五月天| 欧美精品999| 色婷婷六月综合| 亚洲色图81p| 色色色色热| 成年视频免费观看| 久草热在线视频| 五月丁香狠狠爱| 777精品久无码人妻蜜桃| 狠狠五月激情婷婷直播片| 葵花AV在线| 久久伊人大香蕉| 99热这里只有精品96| 另类图片五月天婷婷| 九九五月天| 深爱激情AV| 99久久97| 色五月婷婷老师| 伊人五月网| 久久92| 久久无码成人| 五月婷婷草| 婷婷伊人綜合中文字幕| 欧美三级A做爰在线观看| 九九热这里只有精品在线观看| 91seAV| 五月婷婷色| 久久久噜噜噜久久人妻| 久久综合伊人综合在线| 丁香五月婷婷欧美激情-中文天堂最新版在线观看 | 玖玖资源站国产| 五月丁香六月婷婷综合| 久9热插入| 99热这里是精品| 色五月激情网| 天天爱天天做天天舔| 色婷婷文字幕| 国产熟妇乱子伦hd| 丁香五月天啪啪a日本| 97超碰色| 天天婷婷综合亚洲亚洲| 91成人看片| 狠狠干五月天| 婷婷五月天少妇| 啪啪日本欧美| 成人丁香婷婷| 69久久99精品久久久久婷婷| 五月丁香网站| 在线一起草av| 七七婷婷综合| 色婷婷六月| 亚洲综合色色色| 色女人久久| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 五月婷婷色情| 梁铮版蜘蛛女在线观看| 91精品国产综合久久久不卡电影| 天天成人丁香美女AV| 99精品视频免费观看近期发布| 天天干天天 亚洲| 无码动漫AV| 五月天激情婷婷| 色色综合色视频| 亚洲正能量欧美| 久久98热re| 亚洲激情免费久久| 久热9热| 69激情小说| 日本久久精品18| 婷婷综合| 色五月丁香五月| 久久人妻爱爱| 久久婷婷五月天蜜桃| 天天做天天爽| 色色色99| 色色色综合网| 狠狠色 综合色区| 91视频久久久| 五月久久丁香| 99热超碰在线| 久久婷婷五月综合色欧美| 欧美婷婷日本| 丁香五月婷在线| 99免费成人网| 午夜成人综合| 五月Huangsewang| 九九久久99| 色色欧美色色色| 精品人妻在线| 色五月丁香总合网| 直接看的AV网站| 丁香五月影院| 九九超碰人人| 大香蕉精品视频| 色婷婷激情| 99熟女啪啪视频| 亚洲综合色色色| 桃色激情婷婷伊人网| 久久婷网| av人人操| 久久99网站| 天天爽综合网| 久久综合五月天| 人碰人人人玩91| 99re思思在线视频| 精品九九网| 久久影视婷婷五月| 久久丁香网| 日韩av一区二区在线/日产精品久久久| 日韩成人精品中文字幕| 99在线视频播放| 久久综合首页| 九九激情| 成年人看Va免费视频| 色婷婷六月激情| 久久九九网| 91日本在线| 色婷婷婷av| 六月婷婷网| 久久婷婷成人视频| 五月综合激情| 亚洲天堂爱爱| 婷婷五月天激情电影| 美女伊人久久| 超碰成人在线免费观看| 日逼影音先锋AV男人资源站| 久热精品9999| 草五月| 欧美日本国产欧美日本韩国99| 丁香五月天亚洲视频| 热久久这里只有精品| 91色在线/日韩| 97色女人在线| 婷婷色五月激情| 欧美日韩99| 丁香六月婷| 万月丁香狠狠爱| 综合玖玖偷拍| 婷婷的99视频网站| 六月婷婷之青青草| 五月丁香六月欧美综合| 天天日天天操天天干| 丁香五月久久综合| 婷婷五月无码| 六月婷久久| 国自产拍偷拍精品啪啪一区二区| 国产婷婷五月中文字幕高清| 99精彩视频网站在线| 五月花免费视频| 五月花综合| 68热超碰在线| 色色999三级片| 激情综合国产| 婷婷亚洲五月丁香综合在线| 久久这里只| 99热精品在线| 九九爱激情| 激情久久久久久久久久久| 欧美成人Va| 色丁香影院| 97五月久久丁香婷婷| 情欲禁地| 激情AV在线| 深爱开心激情网| 婷婷五月激情综合啪啪| www.色婷婷.com| 九九热亚洲中文在线观看免费| 综合色七七| 欧美在线视频99| 久久精品66| 9 1在线视频| 天天插综合网| 五月天伊人日日噜影片AV| www,com,五月色色| 色婷婷亚洲婷婷| 99久久免费精品| 色狠狠五月天| www.久久久久久| 狠狠草狠狠草| 激情六月天婷婷| 中国激情网| 亚洲美女婷婷五月天| 色5月婷婷| 99色在线| 玖玖色综合网| 热99在线| 成人亚洲精品久久久久| 开心五月婷婷激情| 秋霞A V毛片| 91性人人| 久久人妻在线|