欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Prometheus監(jiān)控體系實戰(zhàn):數(shù)據(jù)模型、PromQL與告警避坑指南

Prometheus監(jiān)控體系實戰(zhàn):數(shù)據(jù)模型、PromQL與告警避坑指南 簡介Prometheus作為開源監(jiān)控與報警系統(tǒng)是運維和DevOps工程師常用的時序數(shù)據(jù)監(jiān)控方案。這份學習資料面向具備基礎Linux操作能力的技術人員系統(tǒng)講解時間序列數(shù)據(jù)模型、PromQL查詢語法、Prometheus架構組成以及它與傳統(tǒng)數(shù)據(jù)庫和其他監(jiān)控系統(tǒng)的適用場景對比。內容從環(huán)境準備入手完整演示Prometheus服務安裝、配置prometheus.yml再通過node_exporter監(jiān)控遠程Linux主機通過mysqld_exporter采集MySQL性能指標并進一步集成Grafana繪制CPU負載、MySQL監(jiān)控圖表最后使用Alertmanager配置報警規(guī)則和通知策略形成一套可落地的監(jiān)控全鏈路。資源以單個PDF形式提供壓縮包僅2.95MB適合按章節(jié)循序漸進學習目前已吸引633人學習下載。學完可獨立完成監(jiān)控平臺部署、自定義指標定義、報警規(guī)則設置與儀表盤構建達成實時監(jiān)控和故障排查的目標。1. Prometheus 從入門到精通這套監(jiān)控體系到底在解決什么問題凌晨三點某公司 A 同學被電話叫醒線上接口超時率飆到 40%。打開監(jiān)控看板CPU 沒滿、內存沒滿、磁盤沒滿滿屏的綠色曲線就是找不到問題在哪——排查到天亮才發(fā)現(xiàn)是下游第三方 API 的 P99 延遲翻了一倍。這類“什么都正常但業(yè)務不正?!钡暮谙蛔訒r刻就是監(jiān)控體系的真正價值所在。Prometheus 是當前云原生場景下最被廣泛接受的監(jiān)控方案它以拉取方式采集指標把數(shù)據(jù)存成帶標簽的時間序列再用 PromQL 這套查詢語言把運行狀態(tài)變成可追溯的曲線和可觸發(fā)的告警。這篇文章適合運維、后端開發(fā)以及任何想用數(shù)據(jù)而不是直覺來定位故障的人。無論你是在容器環(huán)境還是傳統(tǒng)虛擬機讀完你都能獨立搭一套能用的監(jiān)控體系。2. 玩轉 Prometheus 先吃透數(shù)據(jù)模型從計數(shù)器到直方圖的選型邏輯Prometheus 的文檔很多但多數(shù)人第一步就卡在概念上什么叫樣本、什么叫標簽Counter 和 Gauge 有什么區(qū)別。不理解數(shù)據(jù)模型后面全是靠瞎試。這一章把 Prometheus 最核心的幾個機制講透后面的配置和查詢才不會發(fā)虛。2.1 拉取式采集為什么 Prometheus 用 pull 而不是 push傳統(tǒng)監(jiān)控系統(tǒng)多用 push 模式客戶端裝 agentagent 定時把數(shù)據(jù)推給服務端。推的模式看起來省事但有幾個根本問題服務端無法判斷“沒有數(shù)據(jù)”是因為客戶端掛了還是真的沒數(shù)據(jù)客戶端數(shù)量多了以后服務端要分別承擔流量峰值擴容困難數(shù)據(jù)在傳輸過程中沒有統(tǒng)一的采樣節(jié)奏時間戳對齊很費勁。Prometheus 選擇了 pull 模式服務端按 scrape_interval 定時到每個 target 的 /metrics 端口里抓取指標。這樣做的直接好處是抓取目標的狀態(tài)是標準的——成功、失敗、超時都是服務端主動探測出來的采集節(jié)奏由服務端統(tǒng)一控制target 只要暴露一個 HTTP 端口就能被任何 Prometheus 抓取。這也是為什么云原生環(huán)境下它比老牌監(jiān)控系統(tǒng)更順手。但 pull 模式對“生命周期很短的任務”有天然缺陷一個批處理任務可能跑 30 秒就退出了Prometheus 還沒等到下一次抓取。常見的做法是這類短命任務額外推一個 PushgatewayPushgateway 是一個持有指標快照的緩存層Prometheus 再從它那里拉。注意Pushgateway 只適合“臨時任務指標匯總”不適合把業(yè)務所有指標都塞進去否則它會變成一個故障點。2.2 四種指標類型Counter、Gauge、Histogram、Summary接口暴露出來的每條指標都有類型聲明。選錯類型是新手最容易犯的錯比如用 Gauge 存累計請求數(shù)那 rate 算出來會很難看。先記結論類型特點典型用法Counter只增不減請求總數(shù)、錯誤總數(shù)、字節(jié)數(shù)Gauge可增可減內存用量、連接數(shù)、溫度Histogram累計桶計數(shù)請求耗時分布服務端可求分位數(shù)Summary客戶端預計算分位數(shù)舊系統(tǒng)兼容或需要精確分位時Counter 之所以叫 Counter是為了配合 rate()只看絕對值沒有意義絕對值除以時間才是每秒速率。Gauge 描述當前狀態(tài)直接讀數(shù)不要對它做 increase。Histogram 和 Summary 都用于“分布”類指標區(qū)別在分位數(shù)在哪一側計算——Histogram 在服務端算Summary 在客戶端算。推薦優(yōu)先使用 Histogram因為你可以在 PromQL 里隨意調整分位值Summary 則是一錘子買賣必須提前在埋點里定死。一個實際指標端點的樣子可以用 curl 看curl -s http://127.0.0.1:9100/metrics | \ grep -E ^node_cpu_seconds_total|^node_memory_MemAvailable_bytes | head -n 5返回的每一行結構是指標名、用花括號包圍的標簽、空格后的值。node_cpu_seconds_total 這個 Counter 后面帶著 cpu 和 mode 兩個標簽分別代表核序號和 CPU 工作模式值表示該模式下累計的 CPU 秒數(shù)。看到 _total 后綴基本可以斷定它是 Counter這是社區(qū)約定。2.3 標簽是它的靈魂job、instance 與自定義標簽怎么命名同一臺機器上的 node_cpu_seconds_total 之所以有多條序列就是因為標簽值不同。Prometheus 的多維模型意味著同一個指標 一組不同的標簽值 一條獨立的時間序列。所有查詢都是在這個多維空間里做切片。抓取配置里自帶兩個內建標簽job 是配置里的 job_nameinstance 是 targets 的地址加端口。比如 jobnodeinstance192.168.1.10:9100。自定義標簽用 static_configs 里的 labels 字段加scrape_configs: - job_name: node static_configs: - targets: [192.168.1.10:9100] labels: env: prod role: web這段配置的效果是這個 target 抓回來的每個序列都會帶 envprod、roleweb 這兩個固定標簽。標簽命名的原則是標簽值的變化頻率越低越好。env、zone、role 這種固定值是理想標簽Pod 名稱、容器 IP、用戶 ID 這種高頻變化的字段如果進了標簽序列數(shù)量會爆發(fā)式增長直接撐爆內存這個問題在第 5 章單獨展開。2.4 本地存儲機制block、壓縮與保留策略Prometheus 不是通用時序數(shù)據(jù)庫它的本地存儲是按 2 小時為一個 block 寫的后臺再做 compaction 壓縮。默認保留時間是 15 天超過保留期的 block 會被刪除。這個設計決定了它的定位為近期排障和告警而生的短周期監(jiān)控不適合做跨月趨勢分析和審計留存。相關參數(shù)在啟動里能看到./prometheus \ --storage.tsdb.path/var/lib/prometheus \ --storage.tsdb.retention.time30dstorage.tsdb.path 指定數(shù)據(jù)目錄storage.tsdb.retention.time 寫成 30d 表示保留 30 天。我一般會在測試環(huán)境用 7d 省磁盤生產(chǎn)環(huán)境按合規(guī)要求設 15d 或 30d。想長期留數(shù)年就得把遠程存儲或者 Thanos 這類邊車方案引入進來讓歷史 block 上傳到對象存儲。這個復雜度不是入門階段要考慮的但你要知道邊界在哪。3. 本地跑通 Prometheus 的最小部署從下載到第一個查詢概念到這兒差不多了下面直接動手。這一章的最終目標在你的 Linux 機器上跑起一個 Prometheus抓取機器自身的指標然后用 curl 驗證一條真實查詢。整個過程不需要 Docker、不需要容器用最小依賴把鏈路打通。3.1 二進制安裝與 systemd 托管常見做法是直接下載官方發(fā)布的二進制包不用編譯不依賴額外運行時。到官方下載站的 release 頁面拿當前最新穩(wěn)定版的 linux-amd64 包文件名形如 prometheus-2.x.x.linux-amd64.tar.gz。解壓后目錄里自帶 prometheus 和 promtool 兩個二進制tar xzf prometheus-2.x.x.linux-amd64.tar.gz cd prometheus-2.x.x.linux-amd64 ./prometheus --versionprometheus 是主服務promtool 是命令行校驗工具配置寫完之后拿它驗證語法很有用。下載的版本號按你實際拿到的文件替換下文其他地方同理。把服務交給 systemd 管理便于開機自啟和崩潰拉起。先建運行用戶和數(shù)據(jù)目錄sudo useradd --no-create-home --shell /bin/false prometheus sudo mkdir -p /etc/prometheus /var/lib/prometheus sudo cp prometheus promtool /usr/local/bin/然后寫 systemd 單元文件配置文件路徑指定到 /etc/prometheus/prometheus.yml[Unit] DescriptionPrometheus Wantsnetwork-online.target Afternetwork-online.target [Service] Userprometheus Groupprometheus Typesimple ExecStart/usr/local/bin/prometheus \ --config.file/etc/prometheus/prometheus.yml \ --storage.tsdb.path/var/lib/prometheus \ --storage.tsdb.retention.time30d \ --web.enable-lifecycle Restartalways [Install] WantedBymulti-user.targetUser 和 Group 指定服務降權運行避免 Prometheus 以 root 身份跑。storage.tsdb.path 是數(shù)據(jù)目錄務必保證 prometheus 用戶對它可寫。Restartalways 保證進程不因意外退出而失聯(lián)。Typesimple 表示 ExecStart 啟動的進程本身就是主進程。--web.enable-lifecycle 是為了后面能通過接口熱加載配置不加的話配置改動必須重啟進程。啟動sudo systemctl daemon-reload sudo systemctl enable --now prometheus systemctl status prometheus看到 active (running) 說明服務起來了瀏覽器訪問服務器 9090 端口就能看到自帶的 UI。3.2 第一份 prometheus.yml抓取間隔、規(guī)則加載與 storage 配置Prometheus 的一切行為都從這份 YAML 開始。一個能工作的最小配置長這樣global: scrape_interval: 15s evaluation_interval: 15s scrape_timeout: 10s rule_files: - /etc/prometheus/rules/*.yml scrape_configs: - job_name: prometheus static_configs: - targets: [localhost:9090]global 里的三個參數(shù)是全局默認值scrape_interval 表示多久抓一次目標evaluation_interval 表示多久評估一次告警規(guī)則scrape_timeout 表示單次抓取允許的最大耗時。三者之間有個硬約束scrape_timeout 必須小于 scrape_interval如果抓一次要 8 秒、但 5 秒就再抓請求會重疊產(chǎn)生一堆超時誤報。rule_files 指向告警規(guī)則的存放路徑現(xiàn)在還沒有規(guī)則文件留空也會正常啟動。scrape_configs 里定義的 job_nameprometheus 是讓 Prometheus 抓自己暴露的指標targets 寫 localhost:9090 就是它的 /metrics 地址。配置改完之后用 promtool 校驗promtool check config /etc/prometheus/prometheus.yml輸出 SUCCESS 說明語法通過。配置文件改動后需要重載才生效不用重啟進程因為 3.1 里已經(jīng)開了 lifecycle 開關curl -X POST http://127.0.0.1:9090/-/reload注意 9090 端口的默認監(jiān)聽地址是 0.0.0.0生產(chǎn)環(huán)境一定用防火墻限制訪問來源或者在前面加一層帶認證的反向代理否則任何人都能查你的監(jiān)控數(shù)據(jù)。3.3 掛載 Node Exporter監(jiān)控一臺普通 Linux 機器Prometheus 只負責拉取指標從哪來取決于被監(jiān)控對象。對 Linux 服務器社區(qū)標準做法是跑一個 node_exporter它把 CPU、內存、磁盤、網(wǎng)絡等系統(tǒng)指標暴露在 9100 端口。同樣從官方下載站拿 node_exporter 的 linux-amd64 包tar xzf node_exporter-1.x.x.linux-amd64.tar.gz cd node_exporter-1.x.x.linux-amd64 sudo cp node_exporter /usr/local/bin/ node_exporter --web.listen-address:9100 同樣可以把它寫進 systemd 管理此處先用后臺方式驗證。起來之后用 curl 看一眼指標端點curl http://127.0.0.1:9100/metrics | head -n 20能看到一堆 node_ 開頭的指標就說明 exporter 工作正常。此時回到 Prometheus 配置文件把 target 加進去scrape_configs: - job_name: prometheus static_configs: - targets: [localhost:9090] - job_name: node static_configs: - targets: [192.168.1.10:9100] labels: role: web重載之后Web UI 里 Status - Targets 頁面會多出一個 node 任務狀態(tài)為 UP 表示抓取鏈路通暢。labels 里的 role 是自定義標簽加它的目的是在查詢時能按業(yè)務角色切分。3.4 用 curl 做第一次手動查詢看一眼 /api/v1/queryWeb UI 里的 Graph 面板本質就是發(fā) HTTP 請求到查詢 API。直接 curl 能更清楚看到數(shù)據(jù)如何返回curl -G http://127.0.0.1:9090/api/v1/query \ --data-urlencode queryup返回的 JSON 會有 status、data.resultType 和 data.result。result 數(shù)組里每項代表一條序列up 的值是 1 表示上一次抓取成功。Prometheus 內置的 up 指標是自檢探活最常用的每個 target 都有。再查一個真實指標curl -G http://127.0.0.1:9090/api/v1/query \ --data-urlencode querynode_memory_MemAvailable_bytes這時候返回結果里帶著 instance 和 job 標簽值是該機當前可用內存字節(jié)數(shù)。查詢 API 是 Prometheus 對外的數(shù)據(jù)接口Grafana、自研平臺、命令行都是通過它拿數(shù)據(jù)的理解 curl 的行為等于理解了所有下游工具的調用方式。4. PromQL 進階rate、histogram_quantile 與聚合的正確打開方式PromQL 是 Prometheus 的查詢語言也是“玩轉”這個詞里含金量最高的部分?;A查詢照葫蘆畫瓢不難難在窗口、速率、分位、聚合這些概念之間存在大量邊界條件。這一章把最常見也最容易出錯的四個操作講透。4.1 四類選擇器匹配字符串的四個符號一條完整的 PromQL 由指標名、標簽選擇器和可選的函數(shù)/運算組成。標簽選擇器有四種寫法http_requests_total{jobapi} http_requests_total{job!api} http_requests_total{job~api|web} http_requests_total{job!~api|web}第一行是精確匹配第二行是不等于第三行是正則匹配第四行是不匹配正則。正則表達式用 RE2 語法不是 PCRE所以像 ? 這類需要回溯的斷言是不能用的。選擇器寫的標簽越多篩選條件越收斂。注意一個陷阱PromQL 里 {job} 能匹配到?jīng)]有該標簽的序列但 {job!} 不會排除沒有該標簽的序列——它只在有 job 標簽的序列里過濾。兩套語義不一致寫排除條件時習慣先確認目標序列確實帶著這些標簽。4.2 速率計算的三條公式rate、irate 和 increaseCounter 型指標本身是累計值用它排查問題必須轉成速率。三個函數(shù)是等價的入口但行為差異很大rate(node_cpu_seconds_total{modeuser}[5m]) irate(node_cpu_seconds_total{modeuser}[5m]) increase(http_requests_total[5m])rate 計算窗口內每秒平均增速取窗口第一個樣本和最后一個樣本差值除以兩者時間差。irate 只看窗口最后的兩個樣本反映瞬時尖峰曲線更敏感、也更毛糙。increase 返回窗口內的總增量用于看“這 5 分鐘漲了多少”這類問題。窗口參數(shù) [5m] 不是隨便填的窗口至少要是抓取間隔的兩倍否則窗口里可能只有一兩個樣本rate 算出來要么是 0 要么是殘值。我個人的習慣是15s 抓一次就用 5m看長期趨勢用 rate看突發(fā)尖峰用 irateincrease 只在要和總量對比時用。4.3 直方圖分位數(shù)histogram_quantile 的參數(shù)與坑耗時類指標是排查性能問題的關鍵用的就是 Histogram。它把觀測值按 bucket 累計比如http_request_duration_seconds_bucket{le0.1} 3521 http_request_duration_seconds_bucket{le0.5} 5600 http_request_duration_seconds_bucket{le1} 7200 http_request_duration_seconds_bucket{leInf} 9800le 標簽是“小于等于”的邊界數(shù)值是累計計數(shù)耗時 0.1 秒以內的請求 3521 個1 秒以內的 7200 個。求 P99 的標準寫法是histogram_quantile(0.99, sum(rate(http_request_duration_seconds_bucket[5m])) by (le))里面那層 rate 先把累計計數(shù)變成每秒增量sum by (le) 按 le 標簽聚合所有實例維度外層 histogram_quantile 在 bucket 之間做線性插值。三個細節(jié)必須記住第一聚合時只能保留 le其他維度都要用 by 規(guī)則聚合掉或過濾掉不然插值會錯第二bucket 的粒度決定分位數(shù)的精度le 跨度越大P99 的誤差越大第三不要對 Histogram 用 increase因為分位數(shù)需要的是速率分布總量沒有意義。4.4 聚合與維度控制CPU 使用率的正確寫法聚合函數(shù)控制著多序列如何合并。最常用的帶上 by 保留維度sum(rate(node_cpu_seconds_total[5m])) by (instance) avg(rate(node_cpu_seconds_total{modeidle}[5m])) * 100第一行按 instance 分組計算整機 CPU 每秒使用速率第二行算的是空閑率。要 CPU 使用率取空閑率的補集100 - avg(rate(node_cpu_seconds_total{modeidle}[5m])) * 100這個公式看似繞但它是社區(qū)里對 CPU 使用率最穩(wěn)定的定義之一。不能直接對 user mode 求和因為 mode 還有 system、iowait、steal 等好幾種只取 user 會漏掉一部分負載。寫內存使用率也有類似的套路100 * (1 - node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes)用空閑內存的補集避免被 buffer/cache 干擾。聚合維度的選擇和指標語義強相關這部分的判斷經(jīng)驗比語法本身更值錢建議每個團隊都沉淀一套自己的常用指標字典。5. Prometheus 實戰(zhàn)避坑5 個讓我熬夜的血淚教訓精確踩坑比順暢教程更救命。這里列的是我在多個環(huán)境中真實遇到的問題每條都按現(xiàn)象、原因、解決方案展開你遇到同類問題可以直接照著走。5.1 現(xiàn)象targets 一直 UP查詢卻沒有最近數(shù)據(jù)某個環(huán)境里界面顯示所有 target 都是 UP但曲線時間軸越往前越近最新數(shù)據(jù)停在幾分鐘前再往后就沒點了??雌饋硐瘛皝G了數(shù)據(jù)”。原因是虛擬機所在宿主機和監(jiān)控服務器的時鐘不同步node_exporter 上報的樣本時間戳比 Prometheus 本地時鐘慢了幾分鐘。Prometheus 在寫入時會對時間戳做合理性判斷過于陳舊的樣本直接拒絕。解決給所有被監(jiān)控節(jié)點統(tǒng)一部署 NTP 同步配合 chrony 或 systemd-timesyncd 都可以。同步完成后重啟 exporter讓新樣本帶正確的時間戳。這類問題排查時最容易迷惑的是“指標還在但圖形在漂”先查兩端 date 命令輸出10 秒就能確認。5.2 現(xiàn)象increase 在服務重啟后數(shù)值明顯失真某服務每隔幾天重啟一次increase(http_requests_total[5m]) 在重啟時刻出現(xiàn)一個異常的尖峰或斷崖告警也跟著誤報。原因是 Counter 在進程重啟時歸零。increase 計算的是窗口內最后一個樣本減第一個樣本如果重啟發(fā)生在窗口中間兩側的樣本來自新舊兩個進程周期差值把正常增長和歸零突變混在一起算出來結果必然失真。解決不要在重啟場景里直接用 increase 做告警閾值先看 up 是否發(fā)生過翻轉再決定要不要信這個增量。也可以改用來對比兩個時間點的總量差值或者把重啟事件計入部署流程里的告警屏蔽窗口。一句話rate 和 increase 的前提是 Counter 連續(xù)遞增進程一旦重啟這個前提就破了你需要自己補條件。5.3 現(xiàn)象up 1 但業(yè)務已經(jīng)連續(xù)報錯Prometheus 自帶的 up 指標表示“抓取到了指標”不表示“服務健康”。很多團隊的第一條告警就是 up 0結果某次接口全面 5xxup 卻依然全綠。原因是 exporter 的探活停留在網(wǎng)絡層面node_exporter 能抓到數(shù)據(jù)說明操作系統(tǒng)活著、9100 端口通至于業(yè)務進程是不是在返回錯誤up 根本不關心。它是基礎設施探活不是業(yè)務健康探活。解決業(yè)務健康要單獨埋點。HTTP 服務用 blackbox_exporter 做真實探活或者用業(yè)務自身暴露的指標比如 http_requests_total{code5xx} 的速率超過閾值時告警。把 up 當“基礎設施在線”看把業(yè)務指標當“用戶體感在線”看兩者組合才是完整的健康判斷。5.4 現(xiàn)象Prometheus 內存一路攀升頻繁 OOM某次上線新業(yè)務后Prometheus 進程的 RSS 曲線肉眼可見地往上走幾天后 OOM 被殺重啟后繼續(xù)攀升。原因是標簽基數(shù)爆炸。某個客戶端埋點把請求里的請求 ID 或者用戶 ID 寫成了標簽值這會導致每來一個 ID 就新增一條時間序列。10 個 ID 沒問題1 萬個 ID 內存就崩了。Prometheus 的時序是按標簽組合存儲的組合數(shù)等于各標簽值數(shù)量的笛卡爾積增長是指數(shù)級的。解決先看當前序列總量prometheus_tsdb_head_series如果數(shù)值遠超預期去收集端把高基數(shù)標簽去掉。已經(jīng)在內存里的數(shù)據(jù)用 metric_relabel_configs 在抓取時把標簽丟棄scrape_configs: - job_name: problem_app metric_relabel_configs: - source_labels: [request_id] regex: . action: labeldrop注意relabel 只控制寫入 Prometheus 的數(shù)據(jù)源頭埋點不改的話流量早晚還會漲回來。更徹底的方案是把這類標簽從指標設計階段就刪除或者用日志系統(tǒng)去承載這類高基數(shù)維度。5.5 現(xiàn)象抓取超時exporter 數(shù)據(jù)間歇性空白某個 exporter 產(chǎn)生的指標特別多15 秒的間隔里經(jīng)常抓不完目標一會 UP 一會 DOWN曲線斷斷續(xù)續(xù)。原因是 scrape_timeout 太短。注意 Prometheus 的超時邏輯抓取開始后如果超過 scrape_timeout 還沒返回完這次抓取會被標記失敗下一次間隔再試所以圖形上表現(xiàn)為“漏點”。默認 10s對于大 exporter 來說確實不夠。解決拆開兩個參數(shù)——拉長抓取間隔、增大超時但超時必須小于間隔scrape_configs: - job_name: big_exporter scrape_interval: 60s scrape_timeout: 30s也可以檢查 exporter 自身是不是花了太多時間在計算指標上例如 node_exporter 的某些 collector 可以按需關閉。參數(shù)調節(jié)本質是拿時效性換完整性到底多長合適要看你對數(shù)據(jù)粒度還是數(shù)據(jù)連續(xù)性的優(yōu)先級更高。6. 從查詢到告警Prometheus 的進階用法與自檢習慣把數(shù)據(jù)查出來是一回事讓監(jiān)控自動找你就是另一回事。最后這一章補上告警閉環(huán)然后給你一份自檢清單把這套體系真正變成日常依賴的“值班伙伴”。6.1 告警規(guī)則與 Alertmanager兩個組件各管一段告警規(guī)則寫在 Prometheus 的 rule_files 里Prometheus 按 evaluation_interval 周期評估規(guī)則表達式觸發(fā)后把告警發(fā)給 Alertmanager。Alertmanager 負責去重、分組、路由和通知渠道。先在 rules 目錄建一個 node_alerts.ymlgroups: - name: node_alerts rules: - alert: NodeDown expr: up{jobnode} 0 for: 2m labels: severity: critical annotations: summary: instance {{ $labels.instance }} downexpr 是觸發(fā)條件for: 2m 表示條件持續(xù) 2 分鐘才激活避免瞬時抖動誤報。labels 和 annotations 是告警的元數(shù)據(jù)和可讀描述Alertmanager 里會按 labels 做路由。Alertmanager 的配置負責把告警發(fā)出去一個最小配置長這樣route: receiver: default receivers: - name: default webhook_configs: - url: http://127.0.0.1:8080/alertwebhook 通道是為了對接企業(yè)內部的消息平臺。生產(chǎn)環(huán)境一定要配置分組規(guī)則把同服務多實例的告警合并成一條否則大故障時告警轟炸是必然的。6.2 長期可用的自檢清單監(jiān)控系統(tǒng)自己也會生病我習慣每周跑一遍下面的檢查成本不到十分鐘檢查項方法關注點抓取失敗率up 0 的 target 數(shù)不應持續(xù)存在抓取耗時max(scrape_duration_seconds)是否逼近 scrape_timeout時間戳延遲timestamp(up) 與當前時間差不應持續(xù)增長序列總量prometheus_tsdb_head_series和上周對比是否翻倍規(guī)則執(zhí)行失敗prometheus_rule_evaluation_failures_total必須為 0磁盤使用tsdb 目錄占用率按 retention 估算增長這套清單不解決所有問題但能擋住大部分“監(jiān)控沒報警才知道監(jiān)控掛了”的尷尬。從我自己的經(jīng)驗講每次出問題后回來反思最后 80% 都落在指標設計不嚴謹或告警閾值沒對齊上Prometheus 本身反而很少是根源。把基礎打牢比追新工具值錢得多。希望幫到你。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
91精品刘玥| 97久久五月丁香婷婷| 97人人干人人操| 丁香五月婷婷五月| 色色色色色网站| 思思视频精品| 婷婷丁香五月天综合AV| 色琪琪一综合久久激情五月视频| 综合婷| 婷婷色五天| 色婷婷婷婷成人网| 欧美性二区| 成人在线网站| 蜜桃婷婷狠狠久久综合| 91日本在线免费| 五月香婷婷| 综合久久97| 久色婷婷200| 亚洲综合色丁香五月天| 热久久77777| 久久久91| 色欲色天天香综合| 九九综合图片网| 丁香五月影| 婷婷天天色| 九九99精品视频| 丁香五月六月婷婷殴美综合| 久久96热| 艹| 天天爽天天爽天天爽天天爽天天爽| 日韩精品超碰在线观看| 亚洲爱婷婷| 伊人丁香五月天丁香在线婷| 精品夜夜澡人妻无码AV| 五月丁香| 天天日天天色| 九九热免费视频| 天堂五月婷婷| 六月丁香啪啪啪| 国产精品视频久久99| 久久黄色网扯| 五月天色婷婷激情综合| 99热r| 夜夜嗨一区二区三区直播内容| 伊人久久艹| 天天日日夜夜| 天天操婷婷| 色五XX| 人人操A| 激情五月综亚网| 台湾综合丁香五月蜜桃| 婷婷久久五月| 亚洲人人96@| 天天色天天搡| www.激情在线| 99热精品网| 99热欧美在线观看| 五月丁香六月婷婷精品| 中文精品久久久久人妻不| 91啪啪视频| 久久人人超| A1片久久久| 99热热热国产超碰| 久久新| 久热久操久热久草国产91| www.久操| 久久人操-久草婷婷-成人AV| 精品爆操| AV在线大香蕉| 欧洲99视频在线| 噜噜噜噜噜在线| 人妻操逼视频。| 91爱啪啪| 日韩免费乱轮网站| site:esunnet.com| 免费观看的AV| 1010日日无码| 丁香六月激情国产| 中文久久婷婷| 激情久久久久| 思思热在线视频精品| 夜夜骑夜夜撸| 天天日日夜夜| 伊人久久丁香狠狠婷婷综合香蕉| 91丨九色丨老熟女激情| 视频1区2区| 99视频在线观看视频| 五月婷婷六月丁香玖玖玫瑰91| 第四色五月婷婷| 色天使色婷婷| 中文字幕成人| 七七九九色色| 婷婷激情啪啪| 青青草成人网| 久久精品婷婷| 日韩操人| 天天日色情| 婷婷丁香六月天激情四射网| 大香蕉七区| 色情婷| 五月婷六月| 日韩综合天堂| www.狠狠操.co m| 色的色综合| 色婷婷综合五月| 五月天夜夜爱夜夜操| 996日日爱| 99精品综合| 免费看成人747474九号视频在线观看| 亚洲色综合| 开心深爱激情网| 97操操| 99国产精品久久久久久久久久久| 日日操夜夜操中国无码| 五月综合激情| 久久人妻乱子伦| 激情综合网激情五月网| 五月丁香在线看| 色五月五月婷婷| 人人澡玖玖一| 办公室少妇激情呻吟A片在线观看 白人荫道BBWBBB大荫道 | 看片视频在线免费日产在线看| 99久久综合网| 久久女伦| 久久精品99久久| 久久视网36| www,欧美干干干干干干| 六月激情婷婷| 丁香六月五月天| 国产成人精品一区二三区熟女在线| 婷色影院| 成人永久免费视频在线观看| 狠狠五月激情在线| 婷婷五月天堂一本在线| 九色PORNY自拍成人精彩视频| 99热这里只有精品免费| 曰韩五月丁香色婷婷无码| 五月天婷婷丁香人人操91| 五月婷婷丁香啪啪| 99国产小视频免费观看| 午夜色丁香| 亚洲网站999| 五月婷婷成人| www99精品在线观看| 中文字幕性爱视频| 丁香六月婷婷久久综合八月| 俺去啦综合网| 色色色国产| 日本欧美成人片AAAA| 婷婷五月丁香四射| 久久性爱视频| 五月婷婷激情中心| 色噜噜狠狠色综合成人99| 一起草av| 日韩无码性爱| 少妇日麻屄| dingxiangtingtingliuyue| 玖玖五月丁香| 99久热| 五月色情精品| 99在线播放视频| 婷婷五月天综合蜜桃| 五月天天爽| 婷婷久久五月| 九九九九精品精| 婷婷五月无码| mmm1717.6dbm人人爱人人操| 五月天亭亭俺也| 久久曰曰| 69热91天堂| 九九热99免费视频| 丁香五月激情六月综合| 五月天婷婷免费| 婷婷五月花| 婷婷国产五月天17c| 91精品无码| 精品人妻久久久| 五月婷婷激情综合av| 婷婷丁香五月激情| 国产三级在线播放| 婷婷激情丁香五月婷婷激情丁香五月婷婷 | 丁香六月啪啪| 中文字幕av久久爽| 婷婷她六月天| 五月天天视频| AA丁香综合激情| 97在线视频 欧美| 丁香婷婷激情综合五月激情| 激情五月婷婷开心网| 色五月丁香五月| 丁香五月婷婷国产在线| 色色综合无码| 五月丁香啪啪| 4399无码视频| 欧美六月| 五月丁香综合啪啪| 26uuu精品国产| 五月天成人综合| 丁香久久激情俄| 嫩草AV久久伊人妇女超级A| 综合久久人妻| 99热免费| 97人凄人人操人人爽| 五月丁香婷中文字幕| 亚洲综合无码| 色域五月丁香| 欧美又粗又大一区二区在线观看| 美国十月色婷婷在线观看| 九九色热| 激情婷婷久久| 五月天俺去也| 超碰99在线观看| 成人在线高清| 26uuuavcom| 91超级碰在线视频| 97色五月丁香婷婷| 久久国产性爱A V| 天天日日夜夜| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 婷婷婷久久久| 操逼五月婷婷| 激情婷婷五月亚洲| 99热1| 婷婷视频在线碰| 亚洲成人免费在线| 五月天亚洲综合网| ..真实国产乱子伦毛片| WWW,色五月| 久久人妻伦理| 亚洲色图欧美色图日本视频| ay2区| 免费在线观看欧美激情xx小视频| 日本一級黃色一級片| 五月天大香蕉| 色色网站| 婷婷五月五月丁香| 日韩狠狠色婷婷| 99re在线视频| 伊人影院久久网| 色天天综合色| 99热地址| 91黄址| 人妻操逼视频| 丁香五月婷婷社区| 大波美女VA网站| 91偷拍视频| 久久久色情| 爱草视频在线| 无码色| 中文字幕欧美久久| 五月激情小说网| 国产偷人爽久久久久久老妇APP | 欧美人人超级碰| 深爱五月天 开心网| 99re思思久久| av色婷婷| 91人操人人人操人| 丁香五月成人自拍| 天天操天天草天天草天天| 婷婷五月天影院| 天天色天天射天天日| 亚洲无码99| avh片在线观看| www.狠狠狠狠| 99热思思| 91欧美| 26uuu欧美| 久久男人网婷婷| 婷婷久久六月天| 另类小说五月天| 狼人狠狠操| 日日天天干| 婷婷丁香成人色综合| 亚洲久久视频| 97色婷婷| 激情六月丁香综合| 99热这里是精品| 夜夜资源站| 激情五月婷| 国产91在线视频| 丁香婷婷五色月| 六月丁香啪啪| 美女天天久久| 久久综合丁香激情五月| 超碰人人操人人干| 91美女被操| www.综合久久.com| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 亚洲看av的网站| 欧洲色色| 欧美va国产va| 欧美交换配乱吟粗大25P| 九九AV在线| 14色综合婷婷| 五月婷婷影| 少妇性按摩无码中文A片| 丁香五月天社区婷婷| 丁香五月冃欧美| 疯狂做受XXXX高潮A片动画| 亚洲美女婷婷五月天| 99热精品中文字幕| 欧美婷婷六月丁香综合色| 9久久精品| 五月丁香精品| 日本99久久| 在线成人网址| 另类视频一区| 激情婷婷五月天。| 99在线精品观看99| 玖玖在线资源视频| 五月天电影网| 国产精品蜜臀99| 亚洲AV影片在线观看| 天天操九九插| 97人人操人人插| 天天舔天天插天天干| 99热在线观看| 天天日天天操天天干| 一本色道久久88加勒比| 天天插天天干天天舔| 韩日另类| 丁香综合网| 99干在线视频| 丁香六月婷婷| 91人人网| 96丁香六月婷婷蜜桃综合久久| 天天插天天玩天天干| 另类视频一区| 五月天五月色婷婷综合| 极品人妻VIDEOSSS人妻| 99热九九在线| 墨西哥毛片内射精| 五月丁香婷婷爱| 婷婷九月亚洲| 五月天婷婷在线AN| 婷婷五月 丁香六月| 中国丰满熟女A片免费观| 婷婷深爱五月亚洲综合| 91精选国| 色五月AV| 97在线精品视频| 五月丁香狠狠爱| 丁香九月综合| 熟妇人妻中文字幕无码老熟妇| 影音先锋激情网| 九九综合影音先锋| 久久精品只有这| 嫩草视频观看| 久久草大香蕉| 草美女在线观看视频在线播放| 538在线精品| 丁香五月成人在线| 色色丁香五月天社区| 九九热免费视频| 黄网免费看| 天天天干夜夜夜操| 色婷婷色久综| 欧亚中文A V| 激情五月综合亚洲另类| 搡BBBB搡BBB搡五十| 精品99在线| 伊人婷婷大香蕉| 一级黄色影片| 丁香五月激情网| 91919191919久久成人视频| 热久综合| 久久99精品久久久久久噜噜| 99热这里只有精品热| 成人片在线播放| 97人人操人人干| 99激情视频| 欧美色小说婷婷| 色激情网| 色99在线观看| 天天日夜夜B久久| 黄色三级毛片中字| 99色精品| 久久激情视频99| 疯狂做受XXXX高潮A片动画| 五月丁香六月香综合激情| www.99热这里精品 | 日韩AV片| 欧美性爱一区| 精品视频这里只有精品| 久久综合26p| 亚洲激情网| 九月丁香| 丁香五月天天久久综合小说| 婷婷色五月婷| 人人色婷婷五月天| 亚洲黄网在线| 情色五月天网站| 久热这里只有精品在线观看 | 97碰在线视频| 九九爱看亚洲| 9久久久| 激情伊人五月天| 色。 婷婷婷| 五月色激情综合网| 五月天播播中文字幕 | 亚洲99在线| 99热国内精品| 久久99国产综合精品免费| 五月五婷婷| 六月婷欧美| 婷婷五月在线观看| 天天色,天天日,天天做| 色九区| 国产69久久久欧美黑人A片| 超碰AAAAAAV| 婷婷激情五月视频| 色婷婷六月| 天天草天天日| 丁香婷婷六月天| 99视频| 婷婷深爱五月天| 欧美情月伍月天| 亚洲成AV人片在线观看| 色婷婷操逼| 婷婷美女精品视频| 欧美伊人9| 色九区| 亚洲欧美999| 婷婷在线精品| 狠狠婷婷日韩| 久久久这里有精品| 五月天婷婷无码视频| 91丨九色丨国产打屁股| 婷婷五月丁香四射| 99爱视频在线观看这里只有精品| 九九精品视频在线6| 色综合综合色| 久久大大香| 在线另类视频| 六月婷婷国产| www.99在线| 99热10在线高清播放| 大香线蕉伊人| 久色网五月| 97五月婷| 99自拍视频在线| 婷婷五月伦理| 五月丁香六月综合情在线观看| 成人五月天。COM| 丁香综合网| 都市激情小说婷婷| 国产精品久久99| 伊人成综合五月婷婷| 99热在线播放| 日日夜夜狠狠| 天天色综合色| 六月婷婷av| 九九九九九九热| 欧美日韩999| 五月激情五月婷婷五月天在线| 激情五月丁香五月| 久久久潮喷-久久久九九-成人AV| 美女五月天| www.99情趣网| 五月婷丁香在线视频在线| 99久久.www| 欧美性猛交99久久久久99按摩| 97色女人在线| 亚洲激情网站| 有码人妻久久| 婷婷伊人久久| 免费看片在线观看| 99ER热精品视频| www.99视频| 99这里都是精品6| 免费99情趣网视频| 五月婷婷啪啪网| 人妻免费网站| 天天操夜夜操| 日本欧美国产| 五月天婷婷人妻| 九九热免费观看视频| 亚洲天堂啪啪| 欧美婷婷综合| 激情性爱五月| 婷婷六月色播| 丁香婷婷激情五月| 成人视频一区| 五月丁香综合影院| 久久婷五月影院| 粉嫩AV久久一区二区三区| 自拍偷窥99热| 九九在线精点品| 日日肏夜夜干| 精品视频99看在线视频| 亚洲激情在线| 婷婷综合影院| 99在线小视频| 久777| 噜噜在线| 久久婷婷六月综合综合| 久久久WWW| 天天干天天干天天干天天干天天干| 新激情五月开心五月婷婷五月丁香五月| 亭亭色色五月天| 久久狠婷婷| 亚洲精品第一国产综合亚AV | 99啪| 午夜婷婷久久 | 亚洲字幕AV一区二区三区四区| 六月婷婷七月丁香| 在线综合亚洲欧美65| 欧美激情 日韩无码 婷婷 五月天| www.夜夜操.com| 色婷丁香五月| 琪琪狠狠干| 五月丁香婷婷成人网| 99久久婷婷国产综合精品| 久久色五月| 久久婷婷综| 丁香婷婷婷五月综合色情| www,天天干| 五月天偷拍| 日韩精品二三区| 青青草深爱激情网| 丁香五月婷婷呀| 五月天婷婷久久| 六月婷婷综合久久| 高清国产AV| 久久日婷婷| 影音 五月 婷婷 久久| 蜜桃五月天| 国产成人+综合亚洲+天堂| 日本精品99网站| 97热这里精品在线视频| 天天日日夜夜| 久热这里只有| 欧美这里只有精品| 狠狠干夜夜干| 人人射人人高潮| 亚洲激情免费视频| 五月婷婷之美女图片| www狠狠| 颜射 精品性爱av| 久久五月婷综合网| 丁香五月天在线直播观看| 丁香五月婷婷亚洲色图| 亚洲俩性性爱图片久久第六页| 色婷婷WWW| 久久色情| 久久99热这里只有精品首| 亚洲AV成人片无码网站| 人妻综合网| 久久综合婷婷五月| 热99免费在线| 人人性久久| 狼友超碰| 99操逼| 五月天婷婷av| 99久久久久| 婷婷偷拍网| 天天搞夜夜爽夜夜爽| 超碰在线国产| 久久婷婷激情五月天一区二区| 五月丁香六月色婷| 五月丁香在线视频观看| 天天婷婷天天| www.久久66| 婷婷播播五月天| 色五月婷婷久久大| 丁香五月乱中文字幕| 欧美精品熟女一区二区| 亚洲综合五月天婷婷| 激情网五月| 久久婷婷六月综合综合| 美女网黄| 激情五月天综合| 天天干,天天日| 女人高潮内射99精品| 人妻体体内射精一区二区| 国产精品色情AAAAA片软件| 婷婷五月天国产传媒| 99在线视频网址在线观看| 岛国AAAV| 51XX嘿嘿午夜无码| 六月婷婷色色色| 丁香五月影视| 日韩999| 久久色频| 天天干天天日日| 战争与艾拉电影免费观看| 亚洲色激情| 99视频这里有精品| 五月婷婷|欧美| 色色五月丁香婷婷| 五月综合激情| 99久re热视频精品98| 香蕉久久国产AV一区二区| 中日韩美欧成人一区二区精品在线| 69精品人人人人人人人人人| 99精品久| 九九九九大香蕉| 日本久久性| 日本久久99| 一夜福利不卡| 日本噜噜色网| 情久久综合五月天| 日本婷久久| 青青草五月天| 伊人综合网站| 99在线资源视频| www. 五月. com| 色综合中文| 五月综合激情久久| VA婷婷亚洲| www夜夜| 精品久久9| 日本99视频| 五婷婷综合网| 午夜丁香 婷婷| 色色吧综合| 欧美99热| 色停停五月天| 五月停亭六月,六月停亭的英语| 五月色网| 超碰97在线观看免费| 超碰不卡在线| 丁香五月综合激情久久潮喷| 无月播播激情在线观看视频| 欧美在线视频免费播放| 综合五月婷婷| 国产女生爱爱AA| 色碰干| 台湾综合丁香五月蜜桃| 5月婷婷激情网| 丁香六月啪啪啪| 大香蕉av在线| 午夜激情久久| 99啪啪视频| 五月婷伊人| 九九热视| 天天综合在线网| 五月丁香综合精品欧美| 久久色五月天| 综合激情五月丁香9999久久精| 深爱五月日韩| 99久在线视频| 免费看成人AA片无码视频吃奶| yazhochengrenavwang| 丁香五月天堂网| 热久久66| 涩综合网| 国产国产乱老熟女视频网站97| 五月婷婷激情啪啪| 色婷婷香蕉| 99久久思思| 91九色中文| 五月丁香| 九九久久免费视频44| 丁香五月天导航| 久久人妻情侣| 五月婷六月| 被男人添B超爽视频| 久婷自拍视频| 99热精品在线播放观看| 丁香五月婷婷香| 丁香五月综合| 亚洲av午夜精品一区二区| 国产中文亚洲欧美日韩性交| 久久九九蜜| 成人精品在线观看| 丁香九月激情在线视频| 激情欧美婷婷| 亚洲欧美一区二区三区爱爱动图| 色五月婷婷影院| 99视频啪啪| 成人五月天综合网| 开心婷婷五月天激情网| 天天搞天天爽| 久久婷婷的综合色丁香五月| 玖月婷婷爱丁香| 色五月天成人| 国产偷人爽久久久久久老妇APP| 日韩一级网站| 丁香伊人激情| AV成人在线播放| 日韩成人无码| 激情久久综合| 五月丁香婷婷成人综合网| 久久婷婷五月| 91pornav在线| 人人干天天操五月丁香| 99久久婷| 91操女| 99热只有精品在线播放| 激情五月久久| 任你躁XXXXX麻豆精品| 91丨九色丨白浆秘| va亚洲中文在线| 26uuu| 亚洲婷婷丁香五月| 亚洲色情一区二区三区四区| 色哟哟精品| 久久婷婷五月综合网| 婷婷五月丁香av网站| 九九九九这里只有精品| 午夜天堂一区人妻| 日韩性视频| 91人人爽久久涩噜噜噜| 精品人妻伦九区久久AAA片| 久久99精品久久久久久噜噜| 色色cOm| 日日噜噜夜夜狠狠久久丁香五月| 五月婷婷成人| 99er视频在线| 午夜婷婷| 国产激情AV| 婷婷五月天在线综合| 香蕉AV福利精品导航| 人人干99| 婷婷5月九九| 亚洲精品字幕在线观看| 玖玖色综合网| 久久开心五月天激情| 中文字幕日本最新乱码视频| 99综合视频| 天天综合色| 91九色白丝| 麻豆科斗777| 九九热中文| 亚洲第二AV| 精品久久久久久久久久久久人妻| 天天做天天爽| 4399在线观看免费高清黄色视频| 涩五月色婷婷| 久久精品A片777777| 五月丁香久久精品在线观看 | 亚洲色图五月丁香| 久久婷五月| 岛国资源站| 色情五月天A片| 欧美99| 色婷婷电影| 五月丁香啪啪啪| 五月天色小说| 丁香婷婷综合五月天| 婷婷精品免费久久| 色五月婷婷影院| 老司机伊人| 欧美性生交A片免费看| 激情五月深爱五月| 日本九九九九| 91色噜噜狠狠狠狠色综合| 99精品视频免费| 99热最新国内| 婷婷色五月色妇| 99综合视频一体| 婷婷和五月天| 色婷网| 婷婷五月色综合| 亚洲精品永久久久久久| 色八戒操婷婷| 婷婷五月天综合中文| 99re热视频这里只精品| 亚洲激情 久久| av色色国产| 综合激情婷婷| 91超碰在线观看| 国产AV一区二区三区最新精品| 丁香五月婷婷激情小说| 91精品久久久久久久| AV色婷婷| 九九热婷婷| 91九色成人原创视频| 五月婷婷欧美激情| 婷婷五月天97干| 婷婷五月天视频小说| 丁香激情五月天| 婷婷5月色| www.99热| 色色五月丁香婷婷| 91人人操人人| 97婷婷狠狠| 色情丁香五月婷婷精品| 91色吧网| 丁香婷婷色色| 超碰国产av| 伊人玖玖网| 丁香五月天激情四射网| 久热这里只有精品6| 欧美在线视频9| 五月色综合网| 婷婷色偷拍| 五月婷婷之综合激情| 丁香熟女乱| 五月婷婷之综合激情| 色综啪啪啪啪啪啪| 99无码黄色视频| 亚洲综合碰| 99爱这里只有精品免费视频| 亲子乱av一区二区三区的| 五月丁香中文字幕| 久久天堂色| 色五月婷婷一二| 无码色综合| 五月婷婷婷丁香播| 97五月婷婷| 伊人久久大香蕉网| 丁香伊人网| 激情久久五月天| 操碰91| 丁香五月欧美| 久久久er热| 色婷婷小说| 艹| 久久人人添人人爽添人人片αV| 日本 @ va 免费| jiujiuxiangjiaowang| 五月婷婷自拍| 99玖玖视频| 99在线免费视频| 蜜桃婷婷狠狠久久| 日本色色色| 91婷婷丁香五月天免费视频网站| 99在线精品观看99| 天天色天天干天天插| 草草色情综合网| 色狠狠色综合| 狠干综合| 久久精品9| 久9热| 97操碰| 久久五月丁香综合17C| 碰碰碰97国产| 九九久热| 99在线视频免费| 大香蕉婷婷色| 色五月天影视| 99热这里| 思思re视频在线| 五月丁香婷婷六月| 亚洲激情丁香五月天色| 四川BBB搡BBB爽爽视频| 五月停停丁香| 日本一级大片| 99热在线中文字幕| 天天人人综合| 精品国产乱码久久久久夜深人妻| 五月花婷婷丁香| 丁香久久九九99| 色婷婷免费视频| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 亚洲最大视频| 狠狠 婷婷| 欧美搡BBBBB摔BBBBB| 夜夜操天天爽| 99五月婷| 丁香午夜天| 亚洲AV激情五月综合网| 五月婷久久久久综合| 狠狠狠狠狠狠狠狠| 97精品在线| 久久精品性爱| 国产精品国产VA片国产| 色五月激情综合网站| 99啪啪网| 女性自慰系列第五页| 国产成人精品亚洲线观看| 天天插天天插天天插| 久久久久久久久久久44| 亚洲色视频| 狠狠人妻久久久久久综合丁香| 婷婷丁香综合在线| 久久99久久99精品免观看粉嫩| 就要去操亚洲成人精品五月天丁香婷婷| 国产人妻777人伦精品HD| 这里只有精品在线观看视频| 大香蕉婷婷五月| 91超级碰| av性爱在线| 九九九午夜视频| 婷婷六月综合激情| 热久久这里只有精品20| 99热欧美精品| 夜夜操天天干| 亚洲综合婷婷五月天| 婷婷九月丁香天堂丁香天堂| 操一操干一干| 天天舔天天插天天干| 啪精品| 天天干天天干天天干天天干天天干| www.日日夜夜| 丁香五月激情月| 亚洲这里只有精品| 五月丁香六月停停| 国产色网站| 色色色综合网| 日日色综合| 无码se| 99久热视频在线| 色你久久| 天天噪夜夜爽| 狠狠久久婷婷| 99精品免费| 婷婷激情五月天在线| 久人操| 丁香五月色| 久久久久久久久人妻| 中文字幕在线免费| 国产午夜精品一区二区三区四区| 欧美 日韩 成人| 天天插综合在线| 壅壅儕家a| 996热| 色丁香五月天| 国产古装妇女野外A片| 66色在线日韩| 五月婷婷开心深| 欧洲区自拍| 丁香五月天综合| 五月天综合激情网| 狠狠舔| 亚洲图色五月天| 人人爱操| 婷婷五月丁香伊人| 99re这里只有精品99| 国产精品 的国产| 色吧五月婷婷| 亚洲色激情| 99re6热在线精品视频播放速度| 思思热99er| 色色丁香| av性爱网站| 五月激情丁香五月| 天啪色| 色婷婷久久| www.夜夜操| 六月色婷婷欧美| 婷婷激情四射网| 色五月激情五月| 色五月婷婷在线| site:publishdd.com| 丁香五月欧美成人| 婷婷五月丁香青青草在线| 大香网伊人久久综合| 色99欧洲色19| VA五月激情在线| avv在线| http:色情日本com| 色情五月天丁香社区| 婷婷日日天天| 51XX午夜影福利| 九九伦子片| 激情五月丁香婷婷| 婷婷久久色| 九九热只有这里是精品| 9热精品| 色色色com| www色五月| 夜夜骑夜夜操| 色五月五月丁香| 99自拍视频网站| 精品无码片| 久色视频| 九月色婷婷综合| 五月婷综合网| 激情小说五月天社区丁香| 亚洲av网址| 亚洲字幕AV一区二区三区四区| 97色婷婷成人综合在线观看| 婷婷五月天偷拍| 99热精品在线播放观看| 超级碰碰碰97免费| 五月婷婷久久爱| 99免费视频| 九热免费视频| 国产婷婷五月天| 美妞av| 9久热在线视频精品| WWW.HENHENL.| 激情第四色| 色欲久久综合| 这里只有精品1| www.思思99热| 五月婷婷丁香| av无码电影| 婷婷五月天亚洲综合网| 狠狠爱综合网| 久久九九爽| 97色碰| 热久69| 激情网 久久| 1024日韩| 91碰| 色色色色色网| 天天摸天天高潮天天爽| 99亚洲综合| 欧美六月| 国产精品色婷婷久久久精品| 北条麻妃伊人| 日本不卡高字幕在线2019| 五月天堂婷婷| 五月激情影院| 97色色在线视频| 色狠狠六月| 婷丁五月| 另类图片色五月| 小色小蛇伊人婷婷色香五月| 丁香深五月婷婷| 综合天堂AV久久久久久久| 久久九九国产精品怡红院| 97久久久久| 欧美综合激情丁香五月六月婷| 日夜夜天天| 99er免费在线观看| 欧美色色色| www.五月天色色.com| 久久综合色情网站| 色亭亭丁香五月天| 国产婷伊人| 五月天色色色| 99热思思| 五月婷婷丁香| 久久五月激情| 五月天激情婷婷| 婷婷性爱五月天| Www.婷婷五月| 天天干天天操天天干天天操天天干天天操| 激情丁香五月婷| 人妻人人操| 五月天伊人综合| 男人天堂 久久| 99在线爽| 99久久国产综合精品五月天喷水\| 超pen个人视频97| 色婷婷丁香五月| 婷婷基地爱| 大香蕉五月天婷婷| 色婷婷A| 性热视频99精品| 99热97| www.婷婷五月| 丁香 婷婷 亚洲 熟女| 99er视频在线| 天天檫天天爽| 99爱视频在线免费观看| 五月激情偷拍婷婷| 第二色AⅤ| 另类色视频| 天天激情5月天亚洲| 91碰碰碰| 丁香五月亚洲激情婷婷射| 婷婷久久五月丁香| 97精品欧美91久久久久久久| 日韩成人电影在线播放| 久久婷婷久久| 爆乳熟女一区二区三区爆乳| 国产婷婷综合| 99热第一页| 日本三日本三级少妇三级66| www.久久色.com| 日本熟女啪啪| 另类图片五月天激情| 久久久潮喷-久久久九九-成人AV| 欧美久久久中文字幕| 五月婷婷激情在线| 婷婷五月丁香色色| 9色天堂| 91怕怕网| 成人VAV视频在线观看| 4399在线观看免费高清毛片| 香蕉色色网| 婷婷综合另类| AV电影在线播放| 久久久18| 色色99| 精品国产乱码久久久久夜深人妻| 久久ww| 国产精品a无线| 日本熟妇乱妇熟色A片蜜桃| 性av| 丁香五月之久操视频| 五月停视频天堂| yw.av| 激情五月婷婷丁香综合网| 激情婷婷五月在线合集| 久热AⅤ| 婷五月天六| 九九 激情 网| 成人电影在线免费试看| 丁香五月综合| 五月色婷婷亚洲 | 亚洲成av人影院| 黑人糟蹋人妻HD中文字幕 | 婷婷欧美激情| 中文字幕丰满人妻无码专区| 情色五月天网站| 中文字幕在线免费观看视频| 色一区高清| 丁香开心深爱| 天天射天天射一道本日本社区| 天天爽天天做| 天天操天天曰| 婷婷综合视频| www.国产色| 色色激情五月天| 大伊香蕉精品视频在线| 丁香五月婷婷社区| 一起操 91N.com| www.99精品在线| 久久综合性| 色婷婷成人丁香| 综合狠狠干| 丁香五月六月激情久久| 91精品久久久久、久五月天| 丁香久久久| 亚洲激情网| AAA久久| 日本人妻A片成人免费看片| 天堂成人A片永久免费网站| 色综合激情图区| 欧美啪啪五月天| 大香蕉五月| 91久久婷婷| 婷婷五月天少妇| 五月婷婷狠狠干| 亚洲无码99| 91人妻PORNY九色大屁股| 日本99久久| 婷婷丁香红五月91C| 九九九九无码| 丁香九九九九| 99这里只有精品8| 综合五月天天天天天五月| 99热精品中文字幕| 97人人操在线| 色丁香五月婷婷| 丁香五月婷婷色综合| 日本三级色| www.91操| 情欲综合网| 五月天激情无码专区| 99啪啪网| 九热视频| 日本人妻伦在线中文字幕 | 天天爽日日爽夜夜爽| 日韩欧美成人片| 99热激情| 丁香五月激情图片婷婷 | 超碰人人干| 久久奄也去色色网站| 五月激情婷婷丁香| 色玖玖综合网| 国自产拍偷拍精品啪啪一区二区 | 天天插,天天射| 97婷婷丁香| 另类天堂| 1024久婷| 亚洲综合婷婷五月| 琪琪色热色色| 伍月婷丁香婷| 亚洲第一视频 久久| 丁香五月人妻| 丁香五月激情婷婷| 99久久天堂婷婷| 丝袜人妻| 婷婷丁香六月激情综合| 99精品色| 激情五月天网| 激情色五月天| 一级精品999WWW| 激情5月婷婷狠狠干| 五月天激情亚洲| 99热综合| 国产操B| 婷婷激情人妻| 久久视频这里都是精品| 色综合综合网| 婷婷精品在线| 欧美情色一区| 午夜丁香综合婷婷| 亚洲精品操一操、噜一噜、摸一摸、爽| 婷婷丁香五月亚洲| 亚洲中文字幕av| 婷婷色色综合| www999日韩精品| 激情五月天啪啪| 高清无码网址| 俺也去色| 91人人妻人人操| 婷婷久久午夜网| 99A片| 99精品视频网| www.1024久久| site:xiongshengzz.com| 超碰婷婷五月| 狠狠色九月| 国产伦理精品高清在线观看网站一区二区| 99热这里只有精品50| 久久婷婷网| 国产精品美女久久久久AV超清| 色五月激情综合| 六月丁香综合999| 在线视频激情网站| 强辱丰满人妻HD中文字幕| 九九十99视频| 色五月激情五月丁香五月婷婷啪啪综合 | 久久婷婷五月天激情新地址| 色五月五月婷婷| 九九九九九无码| 狠狠操狠狠插| 麻豆AV一区二区三区| 久久天堂加勒比| 五月激激网w'w'w| 欧美在线视频免费播放| 99re6在线视频精品免费| 99在线视频免费| 亚州视频九九99| 五月综合久久| 丰满少妇乱A片无码| 另类综合激情| 天天操天天谢| 91viP在线看| 丁香五月 性爱| 丁香五月天偷拍| 深爱激情六月天| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 第二色AⅤ| 久久99热这里只频精品6学生| 五月婷婷激情网| 99资源在线视频| 婷婷五月色网| 丁香五月婷婷啪啪| 偷偷操九九| 婷婷丁香高潮了| 操人久久| 五月停视频天堂| 人妻自慰在线| 天天狠狠夜夜狠狠2023| 婷婷成人基地| 网色99| 天天综合网亚洲综合网| 亚洲成人五月天| 狠狠久久婷婷| 五月丁婷婷| 成人在线视频网| 久久婷婷电影| 六月丁香婷婷色综合| 日韩狠狠色| 91丨九色丨国产打屁股网站| 另类五月婷婷| 婷婷久久免费| 日韩一级淫乱片一区二区三区| 五月婷婷六月丁香激情深爱| 日韩爱操视频| 亚洲成av人影院| 日本99久久| 色五月婷婷基地| 青草视频在线观看视频| 久久久18| 性色天| 色五月婷婷在线观看第一页舔| 色婷婷五月天激情| 五月丁香啪啪啪| 91人人网| 亚洲婷婷综合视频| 人妻久久久久久久久妻久久久久| 久久免片| 91 原创 在线 九色| 这里只有精彩视| 免费无码毛片一区二区A片|