欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

數(shù)據(jù)庫沒重啟,Prometheus卻說重啟了?根因與告警規(guī)則優(yōu)化

數(shù)據(jù)庫沒重啟,Prometheus卻說重啟了?根因與告警規(guī)則優(yōu)化 1. 從一次“重啟告警”說起現(xiàn)場還原與第一反應(yīng)凌晨一點(diǎn)釘釘群連響三聲告警標(biāo)題寫著“MYSQL_PROD_01 instance restarted”觸發(fā)表達(dá)式是changes(process_start_time_seconds{jobmysql}[5m]) 0。值班同事把截圖丟進(jìn)群里我的第一反應(yīng)是看看數(shù)據(jù)庫內(nèi)部狀態(tài)登錄上去執(zhí)行show status like uptime返回的是一個持續(xù)了兩百多天的運(yùn)行秒數(shù)線程數(shù)、連接數(shù)、慢查詢統(tǒng)計(jì)全部正常沒有任何重啟痕跡。群里的對話幾乎可以預(yù)料“數(shù)據(jù)庫沒動Prometheus是不是抽風(fēng)了”這種場景在維護(hù)過 Prometheus 監(jiān)控?cái)?shù)據(jù)庫的人眼里并不陌生監(jiān)控判定數(shù)據(jù)庫重啟了數(shù)據(jù)庫自己卻堅(jiān)持聲稱根本沒重啟。兩邊掌握的證據(jù)完全沖突而且誰都不是故意說謊。這個問題的核心在于Prometheus 眼里的“重啟”和數(shù)據(jù)庫內(nèi)部的“重啟”是兩個不同維度的事件。這篇文章我會把這類誤報(bào)的根因拆開講清楚從 Prometheus 判定重啟的原理、到最常見的幾種“假重啟”信號、再到真實(shí)案例復(fù)盤和告警規(guī)則優(yōu)化一次講透。如果你正在寫數(shù)據(jù)庫相關(guān)的 PromQL 告警規(guī)則或者被這類“幽靈重啟”告警折騰過這篇內(nèi)容應(yīng)該能幫你省掉不少凌晨的折騰。1.1 告警長什么樣DBA為什么堅(jiān)決說沒重啟先還原一下告警本身。這類告警通常由 Alertmanager 聚合后發(fā)出正文里往往只有幾條標(biāo)簽和一個簡短的 PromQL 表達(dá)式。告警屬性示例值告警名稱MySQL process restarted觸發(fā)表達(dá)式changes(process_start_time_seconds{jobmysql}[5m]) 0觸發(fā)時(shí)間2025-06-11 23:58:17監(jiān)控目標(biāo)instance10.0.8.15:9104 jobmysql告警級別P1 / Critical收到告警后DBA 的第一反應(yīng)通常是查數(shù)據(jù)庫進(jìn)程到底有沒有重啟show status like uptime看運(yùn)行時(shí)長檢查 processlist 里的連接創(chuàng)建時(shí)間或者看一眼 binlog 和 relay log 的文件序號。如果這些證據(jù)都指向“進(jìn)程一直在線”DBA 就會理直氣壯地回復(fù)“數(shù)據(jù)庫沒動”。站在他的視角這句話沒有錯因?yàn)閿?shù)據(jù)庫內(nèi)部確實(shí)沒有發(fā)生過重啟事件。但 Prometheus 也不是無中生有。它觀察到的process_start_time_seconds確實(shí)在窗口內(nèi)發(fā)生了變化這個值代表著數(shù)據(jù)庫進(jìn)程的啟動時(shí)間戳正常情況下恒定不變一旦出現(xiàn)跳變監(jiān)控端有充分的理由判定“進(jìn)程重啟了”。兩邊說的都是各自視角下的客觀事實(shí)問題出在“進(jìn)程啟動時(shí)間戳變化”這個信號本身能否等價(jià)于“數(shù)據(jù)庫重啟”。實(shí)際排查中這個等價(jià)關(guān)系經(jīng)常不成立也就是我們要聊的“假重啟”。1.2 常規(guī)排查路徑先別改告警規(guī)則先看這五張圖遇到這類告警我的建議是不要急著去修改告警規(guī)則、不要 silence先拉五張圖把證據(jù)鏈補(bǔ)完整。第一張是process_start_time_seconds的曲線重點(diǎn)看它是單點(diǎn)跳變還是持續(xù)變化跳變幅度有多大。第二張是同一臺機(jī)器的node_time_seconds或者系統(tǒng)時(shí)間曲線看同一時(shí)間窗內(nèi)有沒有出現(xiàn)時(shí)間回?fù)芑蛱內(nèi)绻到y(tǒng)時(shí)間被 NTP 調(diào)整過進(jìn)程啟動時(shí)間戳的計(jì)算基準(zhǔn)就會被帶偏。第三張是采集器的up指標(biāo)看數(shù)據(jù)庫 exporter 在告警前有沒有短暫置 0。第四張是數(shù)據(jù)庫內(nèi)部 uptime 指標(biāo)MySQL 對應(yīng)mysql_global_status_uptimePostgreSQL 對應(yīng)pg_postmaster_start_time如果進(jìn)程真的重啟了這個值一定會歸零重新開始累計(jì)。第五張要看部署環(huán)境容器場景下查 Pod 重啟次數(shù)和漂移記錄物理機(jī)場景下查 systemd 的服務(wù)狀態(tài)變更和 journalctl 日志時(shí)間線。這五張圖拉出來誤報(bào)的方向基本就能鎖定。很多人拿到告警的第一反應(yīng)是打開 Alertmanager 把規(guī)則靜默掉這是最危險(xiǎn)的操作。因?yàn)椤爸e報(bào)重啟”背后往往藏著一個真實(shí)問題可能是監(jiān)控采集器不穩(wěn)定、系統(tǒng)時(shí)鐘異常也可能是數(shù)據(jù)庫確實(shí)發(fā)生了自動恢復(fù)但沒有被業(yè)務(wù)感知。silence 只能讓告警不再打擾你卻無法讓問題消失所以我一直堅(jiān)持“先看證據(jù)再動規(guī)則”。1.3 數(shù)據(jù)口徑數(shù)據(jù)庫uptime與Prometheus怎么看“重啟”這里需要理清一個基礎(chǔ)概念Prometheus 本身沒有“重啟事件”這種記錄它只保存時(shí)間序列。我們判斷一個進(jìn)程是否重啟通常依賴三類信號。第一類是進(jìn)程啟動時(shí)間戳也就是process_start_time_seconds一旦變化就說明進(jìn)程的啟動時(shí)刻變了。第二類是數(shù)據(jù)庫內(nèi)部的運(yùn)行時(shí)長指標(biāo)比如 MySQL 的 uptime 或者pg_postmaster_start_time歸零重計(jì)才是真正的進(jìn)程級重啟。第三類是業(yè)務(wù)層面的信號比如連接數(shù)斷崖、線程數(shù)清零、主從延遲突變這些指標(biāo)能反映出服務(wù)可用性的變化。這三類信號在正常運(yùn)行時(shí)是同步的進(jìn)程真重啟時(shí)啟動時(shí)間戳變化、內(nèi)部 uptime 歸零、連接數(shù)重建會在同一時(shí)間窗內(nèi)一起出現(xiàn)。但如果只有啟動時(shí)間戳變化而內(nèi)部 uptime 連續(xù)說明問題大概率出在采集端或時(shí)間基準(zhǔn)上。我在排查中會把這句話當(dāng)作一個基本判斷框架先問自己哪個指標(biāo)變了哪個指標(biāo)沒變變化之間能不能用“數(shù)據(jù)庫進(jìn)程重啟”這一個假設(shè)統(tǒng)一解釋解釋不通就別急著下結(jié)論。2. “假重啟”的機(jī)制解剖毫厘之間藏著哪些變量要理解為什么數(shù)據(jù)庫沒動、Prometheus 卻說重啟了必須先搞清楚 Prometheus 是如何得到進(jìn)程啟動時(shí)間戳的。這個過程不算復(fù)雜但里面藏著好幾個容易出問題的細(xì)節(jié)每一個細(xì)節(jié)都可能讓一個本來穩(wěn)穩(wěn)當(dāng)當(dāng)?shù)谋O(jiān)控項(xiàng)變得敏感異常。2.1 Prometheus判定重啟的核心依據(jù)process_start_time_seconds與changes()在 Linux 環(huán)境下process_start_time_seconds通常由 node_exporter 或 mysqld_exporter 暴露。它的計(jì)算方式是讀取/proc/[pid]/stat中的 starttime 字段這個字段記錄的是進(jìn)程自系統(tǒng)啟動以來經(jīng)過的時(shí)鐘 tick 數(shù)再結(jié)合系統(tǒng)啟動時(shí)間換算成 Unix 時(shí)間戳。對 mysqld 這類常駐進(jìn)程來說這個值從進(jìn)程創(chuàng)建那一刻起就固定了無論系統(tǒng)運(yùn)行多久都不會改變所以它成了判斷重啟的天然錨點(diǎn)。PromQL 里有一個專門配合它使用的函數(shù)changes()作用是統(tǒng)計(jì)一個時(shí)間序列在指定時(shí)間窗口內(nèi)發(fā)生變化的次數(shù)。changes(process_start_time_seconds[5m]) 0表達(dá)的就是“在最近 5 分鐘內(nèi)進(jìn)程啟動時(shí)間戳發(fā)生過變化”。這個判斷邏輯本身是合理的一旦這個值變了說明被監(jiān)控對象確實(shí)重新創(chuàng)建過。但它隱含了兩個前提假設(shè)第一這個時(shí)間戳完全來自進(jìn)程本身第二系統(tǒng)時(shí)間軸是穩(wěn)定的。實(shí)際運(yùn)維中這兩個前提都可能被打破。Prometheus 默認(rèn)的抓取間隔通常是 15 秒如果某個 target 在超過 5 分鐘沒有上報(bào)數(shù)據(jù)這個時(shí)間序列會被標(biāo)記為 stale也就是過期。過期之后再恢復(fù)上報(bào)某些聚合函數(shù)的計(jì)算結(jié)果會出現(xiàn)波動這也是很多“假重啟”告警在查詢層面被放大的原因。你看到的可能不是進(jìn)程真的重啟了而是時(shí)間序列的新鮮度發(fā)生變化導(dǎo)致 changes 的計(jì)算結(jié)果出現(xiàn)了非預(yù)期跳變。2.2 四種典型的“類重啟”信號根據(jù)我這幾年排查監(jiān)控誤報(bào)的經(jīng)驗(yàn)所謂“假重啟”基本逃不出下面四類原因每一類背后的機(jī)制都不一樣特征曲線也各不相同。類型表面現(xiàn)象根因特征曲線驗(yàn)證方法采集器自身重啟start_time 變化internal uptime 連續(xù)mysqld_exporter / node_exporter 被 OOM 或手動拉起up 指標(biāo)短暫置 0restart 計(jì)數(shù)增加查看 systemd 狀態(tài)與 journalctl 日志系統(tǒng)時(shí)間跳變start_time 小幅突變NTP 回?fù)芑蚴謩诱{(diào)整系統(tǒng)時(shí)間node_time_seconds 同時(shí)出現(xiàn)臺階對比 node_time_seconds查系統(tǒng)日志PID 復(fù)用start_time 變化但進(jìn)程其實(shí)沒重啟采集目標(biāo) PID 被新進(jìn)程復(fù)用指標(biāo)值和 /proc 實(shí)際信息不一致執(zhí)行 cat /proc/[pid]/stat 對比容器漂移或高可用切換start_time 變化業(yè)務(wù)側(cè)無感知調(diào)度器重排 Pod、VIP 切換后端實(shí)例連接數(shù)、線程數(shù)等曲線同時(shí)跳變查容器事件、VIP 變動記錄第一種采集器自身重啟非常常見尤其是內(nèi)存比較緊張的機(jī)器上mysqld_exporter 這類小進(jìn)程很容易被內(nèi)核 OOM Killer 選中隨后被 systemd 自動拉起來。數(shù)據(jù)庫沒動但它的“眼睛”眨了一下Prometheus 就把這次眨眼當(dāng)成了數(shù)據(jù)庫重啟。第二種系統(tǒng)時(shí)間跳變是最隱蔽的因?yàn)檎{(diào)整的往往是毫秒級或秒級的偏移肉眼根本察覺不到但在計(jì)算啟動時(shí)間戳?xí)r會留下清晰的痕跡。第三種 PID 復(fù)用主要影響 exporter 這類生命周期短的進(jìn)程數(shù)據(jù)庫主進(jìn)程上概率較低。第四種容器漂移和高可用切換在云原生環(huán)境里越來越常見數(shù)據(jù)庫數(shù)據(jù)沒丟、業(yè)務(wù)無感但監(jiān)控視角的實(shí)例已經(jīng)換了一個。2.3 你的告警規(guī)則為什么這么容易被觸發(fā)很多時(shí)候誤報(bào)頻發(fā)不是因?yàn)楸O(jiān)控工具不行而是告警規(guī)則本身寫得太粗糙。我自己早期也踩過不少坑總結(jié)下來最容易觸發(fā)誤報(bào)的寫法有這么幾種。第一是時(shí)間窗口設(shè)得太短。changes(process_start_time_seconds[1m]) 0這種規(guī)則只要采集端一個抓取周期內(nèi)出現(xiàn)抖動就會命中Prometheus 的抓取偶爾延遲個一兩秒或者網(wǎng)絡(luò)產(chǎn)生瞬時(shí)擁塞都會造成指標(biāo)值的異常波動被誤認(rèn)為重啟。第二是忽略了時(shí)間基準(zhǔn)變化。規(guī)則里只判斷啟動時(shí)間戳變化沒有同時(shí)判斷node_time_seconds是否變化于是 NTP 回?fù)芫捅划?dāng)成了一次重啟。第三是不區(qū)分“數(shù)據(jù)庫進(jìn)程重啟”和“采集器重啟”只要 start_time 變化就觸發(fā) Critical 級告警把監(jiān)控鏈路的脆弱性放大成了業(yè)務(wù)故障。第四是for子句缺失或過短導(dǎo)致一次瞬時(shí)毛刺直接升級到最高級別通知。我后來在寫告警規(guī)則時(shí)都會過一遍自檢清單這個規(guī)則的判斷窗口能不能覆蓋至少兩到三個抓取周期有沒有結(jié)合其他指標(biāo)共同確認(rèn)變化幅度是否需要設(shè)置一個閾值如果這些問題回答不上來規(guī)則仍然處于“看見影子就開槍”的狀態(tài)。2.4 疑似誤報(bào)速查表排查過程中我習(xí)慣把判斷口訣壓縮成一張速查表遇到告警先對照一遍往往能在十分鐘內(nèi)定位方向。檢查項(xiàng)正常情況異常含義process_start_time_seconds 是否跳變恒定進(jìn)程創(chuàng)建時(shí)間發(fā)生變化同節(jié)點(diǎn) node_time_seconds 是否跳變平穩(wěn)遞增系統(tǒng)時(shí)間被調(diào)整可能導(dǎo)致假重啟up 指標(biāo)是否連續(xù)為 1連續(xù)出現(xiàn) 0 說明采集器中斷過mysql_global_status_uptime 是否連續(xù)單調(diào)遞增歸零重啟才是數(shù)據(jù)庫進(jìn)程級重啟容器場景 Pod 重啟次數(shù)無變化發(fā)生變化說明運(yùn)行時(shí)重建數(shù)據(jù)庫連接數(shù)是否有斷崖平穩(wěn)波動整體歸零可能意味著實(shí)例不可用這個表格的價(jià)值在于幫你快速區(qū)分“該處理的”和“該忽略的”。如果只有第一項(xiàng)變化其余全正常那大概率是時(shí)間或采集層面的問題如果多項(xiàng)同時(shí)異常就可能是數(shù)據(jù)庫真的發(fā)生了一次無人察覺的自動恢復(fù)需要進(jìn)一步追查原因。3. 三個真實(shí)案例復(fù)盤從“謊報(bào)”到“實(shí)錘”理論講再多不如實(shí)際復(fù)盤幾個案例有說服力。下面這三個案例都是我在日常維護(hù)中真實(shí)遇到過的每個的根因都不一樣但它們的共同點(diǎn)是數(shù)據(jù)庫進(jìn)程本身都沒有主動重啟監(jiān)控卻給出了重啟告警。3.1 案例一NTP回?fù)軒资撩氡O(jiān)控自證“重啟”第一個案例發(fā)生在一套測試環(huán)境的 MySQL 實(shí)例上。凌晨四點(diǎn)告警觸發(fā)process_start_time_seconds從 1738496000 變成 1738496032變化了 32 秒。從數(shù)字上看這不像一個大跨度的時(shí)間跳變更像是進(jìn)程在 32 秒前被重新創(chuàng)建。但我登錄數(shù)據(jù)庫后uptime 顯示實(shí)例已經(jīng)運(yùn)行了 18 天完全沒有中斷跡象。我把 Grafana 時(shí)間軸拉近疊加了node_time_seconds曲線發(fā)現(xiàn)在同一時(shí)刻節(jié)點(diǎn)系統(tǒng)時(shí)間出現(xiàn)了一個明顯的回跳臺階幅度大約也是 32 秒和進(jìn)程啟動時(shí)間的變化完全吻合。再查系統(tǒng)日志確認(rèn)是 NTP 服務(wù)在同步時(shí)對系統(tǒng)時(shí)間進(jìn)行了一次回?fù)?。原理上并不?fù)雜node_exporter 計(jì)算進(jìn)程啟動時(shí)間時(shí)要結(jié)合當(dāng)前系統(tǒng)時(shí)間做換算墻上時(shí)鐘被回?fù)芎蟮雇瞥鰜淼倪M(jìn)程啟動時(shí)間就會向后偏移于是在 Prometheus 眼里一個已經(jīng)跑了 18 天的進(jìn)程突然變成了“32 秒前才啟動”。這個案例的教訓(xùn)有兩層。第一層是系統(tǒng)級對運(yùn)行監(jiān)控 agent 的機(jī)器要謹(jǐn)慎配置 NTP 同步策略避免出現(xiàn)大步回?fù)苋绻粋€節(jié)點(diǎn)上同時(shí)跑著大量被監(jiān)控進(jìn)程主機(jī)時(shí)間任何一次微小調(diào)整都可能在監(jiān)控端造成連鎖誤報(bào)。第二層是規(guī)則級判斷重啟時(shí)不能只盯著啟動時(shí)間戳還要把節(jié)點(diǎn)時(shí)間變化作為排除項(xiàng)否則 NTP 的毫厘之誤就會升級成一次數(shù)據(jù)庫“重啟故障”。3.2 案例二exporter被systemd靜默拉起數(shù)據(jù)庫毫發(fā)無損第二個案例更具迷惑性。告警顯示 MySQL 進(jìn)程重啟但數(shù)據(jù)庫的 uptime 連續(xù)我知道問題多半出在采集鏈路。打開 Prometheus 的 Target 頁面up指標(biāo)在告警前出現(xiàn)過一次 0 值持續(xù)時(shí)間大約 40 秒隨后恢復(fù)為 1。這個細(xì)節(jié)說明數(shù)據(jù)庫 exporter 在那段時(shí)間里不可達(dá)。再去被監(jiān)控節(jié)點(diǎn)上執(zhí)行systemctl status mysqld_exporter進(jìn)程狀態(tài)顯示 active但 restart 計(jì)數(shù)已經(jīng)增加了 1。翻看 journalctl發(fā)現(xiàn)了 OOM Killer 的行內(nèi)存壓力導(dǎo)致 mysqld_exporter 被殺systemd 隨即把它從一堆日志里默默拉了起來。為什么 Prometheus 會把這次 exporter 重啟當(dāng)成數(shù)據(jù)庫重啟因?yàn)閜rocess_start_time_seconds本來抓取的就是 exporter 視角下 mysqld 進(jìn)程的信息而 exporter 自己重啟后它重新采集、重新上報(bào)的進(jìn)程啟動時(shí)間戳依然是從 mysqld 的/proc里讀到的理論上不會變。真正變化的是 exporter 和 Prometheus 之間的通信上下文發(fā)生了變化up短暫置 0 后恢復(fù)配合抓取端對時(shí)間序列新鮮度的判斷最終在查詢層形成了一個“進(jìn)程重啟過”的假象。這個案例的啟示是數(shù)據(jù)庫雖然是核心服務(wù)但監(jiān)控鏈路本身的穩(wěn)定性同樣重要。mysqld_exporter 這類小進(jìn)程往往被忽視內(nèi)存限制沒配、資源爭搶時(shí)第一個被犧牲結(jié)果就是數(shù)據(jù)庫還穩(wěn)穩(wěn)跑著報(bào)警卻已經(jīng)打到值班電話上了。我后來把所有 exporter 都納入統(tǒng)一資源限制管理并為 exporter 自身重建設(shè)立了單獨(dú)的、低等級的告警和數(shù)據(jù)庫重啟告警區(qū)分開。3.3 案例三數(shù)據(jù)庫節(jié)點(diǎn)漂移業(yè)務(wù)無感但監(jiān)控“眼尖”第三個案例放在容器和主備切換的場景下。業(yè)務(wù)端通過一套 VIP 訪問 MySQL 主庫Prometheus 采集的也是這個 VIP 對應(yīng)的 mysqld_exporter 端口一切看起來都很正常。某天告警觸發(fā)說數(shù)據(jù)庫重啟但這次連數(shù)據(jù)庫內(nèi)部 uptime 都出現(xiàn)了歸零重計(jì)的跡象看起來像是實(shí)錘。然而 DBA 再次堅(jiān)持?jǐn)?shù)據(jù)庫沒動因?yàn)閮蓚€數(shù)據(jù)庫節(jié)點(diǎn)各自都運(yùn)行正常沒有主動重啟記錄。真相是 Keepalived 的 VIP 發(fā)生了漂移主庫所在節(jié)點(diǎn)出現(xiàn)短暫的心跳超時(shí)VIP 被切換到備庫Prometheus 依然對著 VIP 采集采集到的卻是備庫實(shí)例的指標(biāo)。備庫的process_start_time_seconds在 Prometheus 看來是一個“新的”時(shí)間戳內(nèi)部 uptime 也是從另一個起點(diǎn)開始累計(jì)于是一組合計(jì)下來一個完整的“重啟證據(jù)鏈”就拼出來了。但對業(yè)務(wù)來說VIP 切換過程中的連接重試讓服務(wù)幾乎沒有中斷應(yīng)用日志里也沒有出現(xiàn)大規(guī)模斷連。這個案例說明在數(shù)據(jù)庫主備切換或容器漂移場景下監(jiān)控對象已經(jīng)從“某一個具體進(jìn)程”變成了“某一個服務(wù)入口”。如果還固執(zhí)地用進(jìn)程啟動時(shí)間戳去判斷服務(wù)是否重啟必然會出現(xiàn)誤報(bào)。正確的做法是區(qū)分實(shí)例監(jiān)控和服務(wù)監(jiān)控進(jìn)程級重啟看內(nèi)部 uptime 和 start_time服務(wù)級可用性則要結(jié)合 VIP 探活、連接數(shù)、查詢成功率和主從狀態(tài)來判斷。4. 把誤報(bào)扼殺在規(guī)則層告警優(yōu)化與監(jiān)控架構(gòu)加固排查根因的過程固然有意思但真正讓運(yùn)維省心的還是把規(guī)則改成“不輕易說謊”的狀態(tài)。我見過很多團(tuán)隊(duì)被誤報(bào)折磨到把所有重啟告警全部靜默這等于把監(jiān)控的雙眼蒙上反而危險(xiǎn)。更好的路徑是在規(guī)則層面加入多重確認(rèn)邏輯讓監(jiān)控在報(bào)警之前先自己排除常見干擾。4.1 單一changes()為什么不夠組合判斷怎么落單一的changes(process_start_time_seconds[5m]) 0有太多誤報(bào)空間把它作為唯一判據(jù)本質(zhì)上就是在用“猜”代替“確認(rèn)”。我的做法是把規(guī)則拆成兩層判斷先確認(rèn)啟動時(shí)間戳確實(shí)變化了再確認(rèn)這個變化不是一個已知干擾源導(dǎo)致的。第一類干擾排除是系統(tǒng)時(shí)間跳變。如果節(jié)點(diǎn)時(shí)間在同一個窗口內(nèi)發(fā)生了變化那么啟動時(shí)間戳的變化就不可信可以這樣抑制( changes(process_start_time_seconds{jobmysql}[15m]) 0 ) and on(instance) ( changes(node_time_seconds{jobnode}[15m]) 0 )這段表達(dá)式的含義是只有在節(jié)點(diǎn)時(shí)間保持穩(wěn)定的前提下啟動時(shí)間戳變化才被認(rèn)定為可疑事件。如果系統(tǒng)時(shí)間自己也跳了那我暫時(shí)不認(rèn)為數(shù)據(jù)庫發(fā)生了重啟。這個規(guī)則能過濾掉案例一里的 NTP 誤報(bào)。第二類干擾排除是采集器自身重啟。要確認(rèn)數(shù)據(jù)庫進(jìn)程真正重啟最好的證據(jù)來自數(shù)據(jù)庫內(nèi)部MySQL 的mysql_global_status_uptime是一個單調(diào)遞增的運(yùn)行秒數(shù)進(jìn)程重啟會讓它瞬間歸零重新累加而 exporter 重啟不會影響它的值。所以可以加一個內(nèi)部 uptime 下降判斷( changes(process_start_time_seconds{jobmysql}[15m]) 0 and delta(mysql_global_status_uptime{jobmysql}[15m]) 0 )如果啟動時(shí)間戳變了但數(shù)據(jù)庫內(nèi)部 uptime 在窗口內(nèi)始終保持單調(diào)遞增說明 mysqld 從來沒有重啟過問題出在采集端或者環(huán)境層。這套組合規(guī)則雖然多寫了幾行 PromQL但能過濾掉絕大部分誤報(bào)值得為每個核心數(shù)據(jù)庫單獨(dú)配置一套。4.2 外部探針與服務(wù)視角讓監(jiān)控自己排除干擾白盒指標(biāo)只能告訴我們“進(jìn)程視角發(fā)生了什么”要判斷一個數(shù)據(jù)庫服務(wù)是否真正可用還需要黑盒探針來補(bǔ)位。我通常會給核心數(shù)據(jù)庫配置兩個額外的監(jiān)控維度TCP 層面的撥測探針和 SQL 層面的執(zhí)行探針。TCP 探針可以用 blackbox_exporter 來做定期嘗試連接數(shù)據(jù)庫端口只要端口能連通、握手成功就證明服務(wù)入口是活的。SQL 探針則需要一個很小的探活腳本定時(shí)執(zhí)行select 1把返回結(jié)果作為指標(biāo)上報(bào)。這樣即使 Prometheus 從白盒指標(biāo)上看到了“重啟”的信號只要黑盒探針連續(xù)正常我們就有足夠的底氣判斷這是誤報(bào)而不是數(shù)據(jù)庫真的不可用。從監(jiān)控架構(gòu)設(shè)計(jì)上我更建議把數(shù)據(jù)庫監(jiān)控分成三層節(jié)點(diǎn)層負(fù)責(zé)主機(jī)資源與系統(tǒng)時(shí)間進(jìn)程層負(fù)責(zé) mysqld 或 postgres 進(jìn)程本身服務(wù)層負(fù)責(zé)客戶端視角的可用性。三層指標(biāo)互相印證單一層級的異常就不會輕易升級成高等級告警。關(guān)鍵數(shù)據(jù)庫實(shí)例的告警配置也應(yīng)該符合這個分層邏輯而不是把所有指標(biāo)塞進(jìn)同一條規(guī)則里讓一個采集器的抖動引發(fā)全局紅色警報(bào)。4.3 告警設(shè)計(jì)上的幾個務(wù)實(shí)建議最后聊幾個告警設(shè)計(jì)的務(wù)實(shí)原則。第一不要把“可能重啟”和“確認(rèn)重啟”混在同一級別只有擁有了數(shù)據(jù)庫內(nèi)部證據(jù)的告警才值得走 Critical 路由只有啟動時(shí)間戳變化的告警可以先走 Warning人工看一眼再決定是否升級。第二給每套 exporter 單獨(dú)建一條“exporter 進(jìn)程重啟”的規(guī)則。這條規(guī)則的指標(biāo)也是process_start_time_seconds但監(jiān)控對象要明確指向 exporter 自身。這樣數(shù)據(jù)庫重啟和采集器重啟可以被一眼區(qū)分不需要每次誤報(bào)的時(shí)候人工去翻日志。第三所有涉及重啟判斷的規(guī)則for子句至少設(shè)置 5 分鐘也就是至少覆蓋 15 到 20 個抓取周期。時(shí)有時(shí)無的抖動不值得觸發(fā)告警持續(xù)翻轉(zhuǎn)才值得關(guān)注。第四關(guān)于目標(biāo)實(shí)例的標(biāo)簽體系要規(guī)范。同一個數(shù)據(jù)庫的 node_exporter 和 mysqld_exporter 最好帶上相同的 instance 標(biāo)識這樣 PromQL 里做多指標(biāo)組合判斷時(shí)才能正確對齊。我見過不少規(guī)則因?yàn)?instance 標(biāo)簽不一致而無法生效明明該被抑制的誤報(bào)硬是漏了出來。還有一點(diǎn)容易被忽略數(shù)據(jù)庫的自動恢復(fù)能力越來越強(qiáng)很多數(shù)據(jù)庫在主進(jìn)程異常退出后會被守護(hù)進(jìn)程快速拉起業(yè)務(wù)無感但進(jìn)程啟動時(shí)間戳確實(shí)變了。這種時(shí)候監(jiān)控報(bào)一聲“重啟”其實(shí)是合理的信息不該被當(dāng)作誤報(bào)完全抹掉。所以我的建議是把這類告警降級為一個需要次日確認(rèn)的事件而不是直接 silence畢竟一次無人知曉的自動重啟往往意味著系統(tǒng)層或者數(shù)據(jù)庫層存在隱患值得花時(shí)間查明。我把上面這些規(guī)則在測試環(huán)境里模擬驗(yàn)證過人為調(diào)時(shí)間不會觸發(fā)人為 kill exporter 不會觸發(fā)真正重啟 mysqld 會立刻報(bào)警能達(dá)到“謊報(bào)變少實(shí)報(bào)更準(zhǔn)”的效果。再遇到“數(shù)據(jù)庫沒動Prometheus 卻說起重啟了”我建議你先看一眼節(jié)點(diǎn)時(shí)間、再看一眼 up 指標(biāo)、最后看一眼數(shù)據(jù)庫內(nèi)部 uptime三個證據(jù)對不上就千萬別急著去重啟數(shù)據(jù)庫先把問題定位到采集鏈路和時(shí)間基準(zhǔn)上。這套排查順序幫我避免了好幾次對健康數(shù)據(jù)庫的“暴力修復(fù)”算是這條路上最值得分享的一點(diǎn)經(jīng)驗(yàn)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九九九午夜影院成人| 国产露脸150部国语对白| 伊人热婷婷| 久久综合中文字幕| 亚洲色色精品| 大香蕉婷婷色| 九九精品婷| 亚洲另类电影| 天天日天天舔| 丁香五月天殴美激情| 日本综合99| 91碰超| 情久久综合五月天| 五月丁香香蕉| 在线观看免费观看在线9久| 婷婷爱五月天人人爱| 伊人热婷婷| 久久只有18视频| 26uuu亚洲欧美另类| 亚洲亚洲人成综合网络| 久操婷婷| 丁香五月Av| 99视频自拍| 五月丁香六月激情| AA丁香综合激情| 色婷婷狠狠色| 天天干-天天日| 玖玖综合色区在线观看| 麻豆AV一区二区三区| 色色丁香激情五月| 婷婷综合网伊人| www婷婷色| 婷婷深爱五月| 91色色色18| 五月天色官网| 激情五月综合免费| 日本3级片偷拍网站| 97超碰人人操| 97香蕉久久超级碰碰高清版| 99爱爱网| 久99久精品视频| 五月中旬婷婷丁香六| 激情久久久久| 欧美日本国产欧美日本韩国99| 日韩欧美一区二区三区四区| 大香蕉五月天| 欧美在线视频99| av高清无码| 天天干天天干天天| 热99精品视频观看| 69人人操人人爽| 91丨九色丨白浆秘| 99er6| 日本婷久久| 天堂二区| 九九激情网| 免费亚洲婷婷中文字幕| 婷婷99狠狠躁天天躁中| 日本WWW九九九| 久久九九爽| 青草青草视频2免费观看| 性日本激情| 亚洲精品又粗又大又爽A片| 综合激情深爱| 久久这里精彩免费在线观看| 少妇2做爰HD韩国电影| 国产永久一二一起草| 超碰97在线观看免费| 97超级碰碰碰久久久| 国产精品视频免费看| 欧美日朝成人| 婷婷色丁香五月| 精品丁香五月天在线播放| 日本乱子人伦在线视频| 曰韩五月丁香色婷婷无码| 国产在线视频1234| 成人欧美一区二区三区在线观看| 婷婷丁香综合| 色琪琪一综合久久激情五月视频| 九九热这里只有精品5| 五月色网| 99热只有| 九九视频精品这里只有| 精品人妻伦一二三区久久| 精品一二三区久久AAA片| 色婷婷五月天成人网| 日本9区视频| 99热99| 极品少妇XXXX精品少妇偷拍| 色五月成人| 青青草伊人婷婷| 开心激情站| 五月婷婷丁香综合网| 东京热伊人| 婷婷五月天亚洲综合网| 丁香婷婷成人网| ...婷婷国产成人亚洲日韩| 欧洲不卡视频| 欧洲色| 婷婷五月天小说网| 日韩国产在线精品| 另类激情四射| 九九99热久久精品66中文字幕| 亚洲AV成人在线观看| 亚洲成人在线观看网址| 色色色综合网| 亚洲激情免费视频| 五月婷婷之综合激情| 天天色天天| 亚洲精品成人| www.综合久久.com| YJLZZJLZZ亚洲乱熟无码| 天天操狠狠操| 婷婷六月天亚州| 五月丁香成人| 九九在线视频| 久久久999精品| 色色色综合视频| 操逼福利视频| 综合狠狠五月婷婷| 曰本久久女| 亚洲另类av| 激情五月综合网最新| 另类A片| 婷婷伊人激情婷婷| 97人人操人人干| 天堂在线观看视频| 99爱视频精品在线观看| 激情五月天婷婷| 五月婷婷综合网| 激情综合视频| 狠狠操在线视频| 婷婷五月激情网| 亚洲第一综合| 五月婷婷六月丁香免费| 婷婷五月天堂| 狠狠精品干练久久久无码中文字幕| 激情操逼婷婷| 五月婷色丁香| 丁香五月久久| 久久久大香蕉| 日本色99| AV色婷婷| 婷婷激情小说| 男同色五月开心五月激情五月| 欧美综合激情| 色情一区二区播放| 五月婷婷深深爱| 在线五月婷| 婷婷五月 丁香六月| 色色免费网战视频| 九月婷婷综合色干| 色色哒五月婷婷六月丁香| 日日艹思思热| 国产精品99久久久久久久女警| 婷婷九月| 日本精品99| 香蕉人在线香蕉人在线 | 翔田千里aV中文字幕| 欧美性爱五月天| 色色色婷婷| 综合五月激情| 久久人妻乱| 99精品久久| 五月丁花色综合网| 亚色网站小视频| 国产婷婷五月天| 亚洲欧美在线观看| 99九九视屏| 大香蕉久操| 激情综合五月丁香六月婷婷| 色播综合| 五月丁香欧美综合| 亚洲综合九九| 婷婷五月天最新综合你懂的 | 先锋五月婷婷丁香草草| 色色婷婷五月| 色色色99韩| 激情久久久| 亚洲另类婷婷综合| 婷婷五月天成人网| 特级片神马电影| 五月丁小婷婷激情四射| 婷婷色片| 99热这里有精品首页10| 深爱五月激情五月| 婷婷五月天伊人网在线观看视频| 精品无码片| 九九色热视频| 中文字幕成人版| 激情五月四色| 国产精品热搜丁香五月婷婷| 大香蕉丁香婷婷| 五月丁花六月丁香综合| 99色婷婷| 中文字幕操比影片| 91色综合| 色色色色色色色色色999| 一起草性爱不卡视频| 婷婷五月天激情电影| 爽天天天天天天天| 97香蕉碰碰人妻国产欧美| 色区久久| 这里只有精品在线播放| 97干干干丁香| 婷婷激情在线| 色六月天| 色婷婷五月天中文字幕| 色婷婷久久7777| 婷婷大乡焦噜噜| 五月丁香| 丁香六月色| 久久92| 欧美视频五区| 最新婷婷五月丁香| 久久3p| 狠狠色狠狠鲁| 五月天激情四射| 午夜婷婷| 99色 | 五月成人网站| 久久五月婷综合网| 久久婷婷激情| 五月天激情小说| 九九色热视频| 久久精品这里只有精品免费首页| 精品三区影院| 久久激情综合| 超级碰碰碰碰视频| 337久久| 9l视频自拍九色9l视频自拍九色9l社区 | 热的五码久久精品| 精品在线网站| 丁香五月电影| www.五月天婷婷| 日本欧美在线| 激情婷婷网| 婷婷丁香六月| av大香蕉| 六月婷婷久久| 五月天综合网| 五月婷婷丁香在线视频| 婷久看人爽| 97久人人| 免费看无码视频A级| 成人做爰A片免费看视频| 丁香色五月天| WWW五月| 色五月婷婷激情综合网| 18av天堂| 婷婷欧美偷拍综合| www,8050,午夜三级| 五月美女婷婷风骚| 97超级碰人人| 丝雨一区二区| 丁香五月婷婷综合激情啪啪啪| 丁香五月天堂网| 青草青青草| 亚洲性爱干干| 五月的丁香六月的婷婷| 六月丁香久久| 中文字幕丰满孑伦无码专区| 欧洲综合视频| 色情婷| 超碰cap| 91人人人人人| 97亚洲视频在线| 精品一二三区久久AAA片| 九九热re99re6在线精品| 天天干狠狠艹| 五月婷婷网五月在线| 六月婷婷七月丁香| 热久久视频99| 天天日,天天干,天天操| 激情婷婷六月天| 婷婷五月开心中文字幕在线| 午夜爱爱爱成人| 色八月婷婷| 91青娱乐青青草| 99视频在线看| 成人精品一区日本无码网| 久久婷五月天| 大香蕉在线99热| 玖玖91| 香港九九六区八区99| 99热传媒| 奇米四色五月天| 五月做爱| 五月婷精品| 日本久草福利| 婷婷伊人| www.五月天。com| 午夜婷婷五月天在线| 亚洲婷婷在线播放十月| 这里只有精品视频看看| 婷婷婷婷色| 婷婷五月天在线观看免费| 色五月丁香一区在线| 五月丁香激情片| 人人操99| 久久婷婷欧美| www久久艹| 人人干99| 国产 A片 自拍| 婷婷精品在线| 五月婷婷五月| 午夜不卡久久精品无码免费 | 99热最新精品| 99在线看片| 思思色播| 播五月,色五月,开心五月播放器 | 色五月在线视频观看| www色五月| 色色色色色色色色网站| 99狠狠色| 成人无码精品1区2区3区免费看| 人操综合| 99热播放| 婷婷五月天BBw| 99九无网码| 日韩婷久| 99热在线看| 99热这里只有精品18| 91seav| 婷婷五月婷婷| 丁香五月婷婷动漫| 俺来也综合网精品一区| 久超超碰| 99九九精品视频| 99国产精品久久久久久久久久久| 人人操婷婷| 婷婷五月AV| 九九热10| 好吊丝aV| 色五月xxx| 日本九九网| 色综合久久8| 在线视频另类| 九九精品免费| 97极品在线| SESE无码AV| 激情综合综合综合| 五月综合无码| 婷婷丁香人妻天天爽| 婷婷五月天色网久| 色婷婷裸体色性在线| 丁香五月狠狠综合欧美| 婷婷色情小说| 五月丁香免费看| 99热这里只有精彩| 天天爽天天| 色色色色色色网| 97色色色视屏| 五月天久久综合婷婷| 丁香五月激情综合| 婷婷丁香成人| 99在线视频免费| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 4399无码视频| 光棍影院日韩精品| 伊人六月丁香婷婷| 99爱视频在线播放| 日本啪啪网| 国产成人AV在线| 精品人妻伦一二三区久久| 亚洲色婷婷99一9|| 99亚洲视频| 亚洲精品久久久无码| 婷婷五月丁香色播| 99色最新在线视频| 色色亚洲| www.cao.com久久| 超碰com| 26UUU| 另类综合网| 色五月六月| 亚洲啪啪精品| 国产在线6| 亚洲无码影音| 91超碰九色| 亚洲综合色色色| 成人美女网| 日本97在线看片| 激情亭亭五月| 六月丁香激情综合| 久久久久久久久久久-久五月天婷婷| 色五月五月婷婷| 亚洲激情视频网| 色综合伊人网| 另类婷婷五月天啪帕帕| 九九九午夜影院成人| 婷婷色九月| 91丨九色丨国产| 热99re| 99热精品在线观看| 激情九九这里只有精品| 91操人视频| 国产在线中文字幕| 99热碰碰热| 踪合专区啪啪| 五月丁香婷婷基地| 五月丁香啪综合| 五月天停停日日| 五月天婷婷基地| 婷婷久久色| 思思99久久| 99人人看| 风流少妇A片一区二区蜜桃 | 无码任你操| 婷婷激情视频| 婷婷五月天激情网| 殴美日比视频| 五月婷婷六月丁香| 99愛国产| 大香蕉婷婷久久| 午夜少妇在线观看视频| 激情五婷精品网在线观看网址| 无码少妇高潮喷水A片免费| 亚洲中文无码成人| 丁香九色不卡aaa | 乱抡小BB| 五月天婷婷社区久久综合| 五月丁香| 26uuu亚洲| 色八月婷婷| 五月丁香最新| www.婷婷六月天| 伊人深爱综合| 99视频内射三四| 激情人妻蜜夜系列区| 思思热视频| 男人的天堂五月丁香| 久久综合婷婷| 色99视频| 九九免费在线视频| 激情啪啪五月| 色婷婷色五月综合| 一级AV片| 国产精品美女久久久久AV超清| 五月丁香亚洲婷婷| 激情五月丁香婷婷夜夜操| 99啪在线| 91九色成人原创视频| 丁香深五月婷婷| 黄色五月婷| 色婷婷很很丝袜| 久久久婷婷| 成年人丁香五月| 色婷婷丁香五月综合| 色综合狠狠色| 久99视频| 99人妻碰碰碰久久久久视| 天天更新天天亚洲| 色色热99| 亚洲性视频| 91碰免费视频| 日产精品久久久久久久蜜臀| 久色视频| 99视频精品| 呦呦v线| 亚洲成人影视在线观看| 一起肏在线视频| 美女婷婷激情亚洲| 国产精品久久久久9999小说 | 影音先锋偷偷色男人站| 色五月激情综合网站| 国产成人片| 久久婷婷伊人| 日本九九九九| 久色| 久久性操| 丁香五月91| 婷婷色导航| 日在线V视频在线播放| www.久久爱.com| 婷婷99| 亚洲尤物在线| 嫩BBB槡BBBB搡BBBB视频| 色综合久久五月| 99热久97| www.韩日视频| 国产内射婷婷| 婷婷丁香激情综合色情| 亚洲视频五区| 天天干天天做| 99热国品| 97婷婷五月丁香| 激情 久久 婷婷| 97人人妻人人艹| 日韩性视频| 色婷婷综合视频| 五月丁香久久激情综合| 久久久av久av久片一区二区| 高潮毛片又色又爽免费| 丁香五月亚洲综合| 99色免费| 99热18| 99热网站在线观看| 九九机热| 色播五月网| 99热这里是精品| 人人爱人人添| 五月激情小说网| 婷婷五月情色| 天天日本夜夜谢| 亚洲AV网站在线观看| 婷婷九月激情| 风流少妇A片一区二区蜜桃| 91操人人操| 五月伊人婷婷999| 热久69| 午夜成人AV在线| 婷婷五月天激情电影| 丁香五月天激情网址| 成人婷婷桔色| 噜噜色婷婷| 综合色情网| 99这里有精品| 精品爱欲五| 国产婷婷久久| 99热99日…..| 五月天啪啪啪| 亚洲视频在线观看| 玖玖五月丁香| 黄色91在线观看| 成人av免费观看| 日日夜夜噜噜爽爽| 亚洲va国产va天堂va综合va| 婷婷导航| 婷婷综合在线播放| 九九热区一区二区三区| 五月婷婷六月激情网| 狠狠综合网| 日韩无码成人电影| 亚洲成人AV一区在线观看| 97色色婷婷五月天| 激情六月婷| 99热伊人| www.com久久久久久久久久久久久久久久久| 成人免费网站免费看| 丁香六月婷婷激情综合| 五月丁香六月婷| 免费看欧美成人A片无码| 人人操女人| 激情五月婷婷啪啪| 欧美婷婷| 变态 另类 在线 | 色停停香蕉视频| 精品久久9| 亚洲乱码精品久久久久..| 婷婷久久在线| 天天婷婷综合| 另类图片天天影视在线观看| 色色婷婷色色| 99成人小视频| 日韩1区2区| 色婷婷五月天在线观看| 国产在线自| 久久五月婷婷电影| 泰州成人视频| 最近中文字幕2019视频1| 丁香五月婷婷激情尤物| 激情婷婷内射| 五月丁香啪啪网| 伊人婷婷福利网| 亭亭丁香aV| 这里只有精品视频一区| 免费AV播放| 色色操| 福利视频在线播放| 无码九九| 超碰一区二区| 国产性av| 开心五月婷婷五月| 色婷婷AAA| 无码动漫av| 五月激情六月综合| 怡红院成人AV| 久久怕怕视频| wwww.色婷婷| 日在线V视频在线播放| 开心激情综合| 一起草av| 99精品视频在线观看| 九九亚洲综合| 综合色色网| 九九RE视频在线精品| 婷婷黄色| 国产综合婷婷| 第四色五月天| 久综合九| 五月婷婷啪| www99精品| 99色天堂| 欧美情月伍月天| 26uuu在线观看| 九色91视频| 婷婷色导航| 久久无码激情视频| 精品一二三区久久AAA片| 五月丁香 啪啪| 91碰碰碰| 精品人妻久久久| 五月丁香色停停啪啪啪| 丁香五月天激情小说| 人人射人人高潮| 五月香蕉网| 激情九九这里只有精品| 色五月综合97| 大香网伊人久久综合| 好好干Av| 超碰狠狠干99| 婷婷五月美女直播| 男人天堂99| 99热精品在线| 色婷婷五月六月丁香综合视频| 色婷婷基地 | 激情丰满熟妇五月| 色婷婷网大全在线| 六月色婷婷| 中文字幕在线日亚洲9| 六月丁丁香| 丁香五月av在线| 五月婷婷丁香网| 精品色| 色久九| 狠狠色噜噜狠狠| 日日日,com| 欧美性猛交 XXXX 乱大交| 涩涩婷婷五月| 色哟哟精品| 色播播五月天| 色五月天成人| 色五婷婷| 婷婷五月丁香图片人人操| 婷婷丁香在线播放| 欧美99| 色播激情| 五月天婷婷色色| 热99这就是精品视频| 亚洲国产网站| 欧美成人精品三区综合A片| www激情五月天| 色婷婷在线影院| 五月综合视频| 五月丁香亭亭操逼| 99re热| 久久九久久| 九九色大香蕉| 五月丁香无码| 情趣视频66| www夜夜操wwwcon| 99激情视频| 五月婷婷性爱| 色五月婷婷91在线| 国产成人精品一区二三区熟女在线| 26.uuu丁香五月婷婷| 色色色免费视频| 99色亚洲| 欧美色图45678| 99热久久日本| 色域五月婷婷丁香| 激情q青青草在线婷婷| www.综合久久.com| 国产免费av网站| 色婷婷导航| 色欲一区二区三区精品A片| 亚州激情在线视频| 五月丁香婷婷综合激情基地| 9精品视频在线| 97精品人人A片免费看| 婷婷伊人中文字幕| 激情久久久久久| 婷婷六月丁| 99国产性感视频| 伊人干练久| 丁香五月AV| 国产婷婷久久| 丁香九色不卡aaa| 91九色超碰| 精品亚洲国产成AV人片传媒| 青青草免费公开视频| 97影院一级片| 91超级碰在线| 色哟哟www| 五月天另类激情在线| 婷婷开心五月| 婷婷综合激情| 久久色9| 开心五月网| 久久综合人妻| 亚洲操操操| 激情五月天综合婷婷网| 激情5月婷婷| 99精品久久久久久久婷婷久久| 91啪级电影| 婷婷综合成人五月天| WWW色五月天| 亚州激情在线视频| 26uuu欧美亚洲日韩| 五月婷婷六月丁香激情深爱| 五月婷婷av| ww亚洲ww在线观看| 99这里有精品久久97| www色五月| 婷婷操逼| 亚洲五月综合色播| 天天情色综合网| 色五婷婷开心缴| 久久九九@| 香蕉综合在线| 婷婷五月影院| av不卡网站| 九九超日本| 五月丁香激情综合啪啪| 九九综合色| 色色色99韩| 中文不卡一二区| 99热这里只有精品86| anquye五月| 五月欧美丁香在线观看| 色婷视频| 丁香五月在线播放| 色播五月综合网| 天天影院色| 久久婷婷七月丁香| 天天综合五月天| 久久只有精| 站长推荐无码播放| 5月激情天| www夜夜操wwwcon| 激情五月婷婷色播网| 婷婷丁香五月在线播放| 久色大| 五月天社区| 二区成人视频| 色综合婷婷| 色综合色色色色色| 天天色综合网吨吧| 天天狠狠夜夜狠狠2023| 婷婷五月精品| 丁香五月1页| 激情小说视频图片网| 婷婷丁香五月网| 丁香五月综合| av激情在线| 国产欧美第五十五页| 亚洲综合另类| WWW.99热| 色五天综合| 在线看片av| 99热在线免费| 色情五月婷婷| 婷婷色情网| 久热这里只有精品99re,久热这里只有精品7 | 五月婷婷亚洲天堂激情在线| 婷婷伊人五月天| 人妻少妇色综合| 伊人五月天97| 五月婷婷欧美激情| 国产精产国品一二三在观看| 色色97丁香婷婷五月天| 久热黄色| 久久久久久久五月| 99精品爱| 婷婷综合激情| 中文无码婷婷| 婷婷五月丁香五月| 丁香综合日产精品久久| 人妻六月天| WWW.天天日| 欧美成人网99网| 亚洲免费婷婷| 婷婷久久综合| 色婷婷亚洲综合网站| 免費亭亭成人| 九九激情| 激情爱爱网站| 夜夜骑天天操| 丁香88AV五月婷婷| 97在线视频观看| 色婷婷五月天成人网| 日韩成人不卡| 26uuu国产精品| 五月激情综合网| 91 九色 熟女| www.99热| 丁香婷婷色九月| 亚洲激情婷婷| 综合网网欲色| 国产在这里只有精品| 91久久久久久久| 色色精品色| 五月花激情| 五月婷婷激情综合| 婷婷五月天天aV| 无码人妻少妇色欲AV一区二区 | 五月丁香色婷婷久久| 99这里都是精品6| 国产成人精品123区免费视频| 六月丁香成人| 亚洲妇女熟BBW| 99r这里只有精品哦| 99精品网| 五月色丁香国产在线视频| 伊人无码高清| 国产在线6| 国产精产国品一二三在观看| 五月丁香福利| 丁香婷婷色色| 五月丁香久久| 五月天综合| 婷婷丁香五月天综合AV| 色五月天丁香婷婷| 丁香婷婷色情| 日日夜夜爽| 天天久久九九| 色色色色av色色色色| 日本黄色精品| 亚洲精品视频在线| 欧美在线干| 久久丁香五月天| 婷婷播播五月天| 另类图片五月天激情| 婷婷五月婷婷| 婷婷香香五月| 99视频精品在线| 99免费视频久久| 丰满人妻妇伦又伦精品国产| 久久性爱视频这里只有精品| 99热在线资源| 国产亚洲99久久精品| 伊人9999| 亚洲成人在线五月天| 色综合久久无码| 香蕉视频91| 丁香五月天色综合| 亚洲AV影片在线观看| 一丁香五月天月AV| 激情综合自拍五月婷婷色五月| 白人荫道BBWBBB大荫道| 国产密乳av一区二区三区四区| 99免费偷拍视频| 色情五月婷婷| 丁香五月综合在线观看| 婷婷色网站| 69精品人人人人人人人人人| 国内外色色色色色成人视频| 婷婷五月天中文字幕.| 免费三级黄色| 久久五月网| 甈你aaaaa| 综合www色| 激情五月天综合网| 中文AV网| 91视频精品99| 精品二区| 久久草大香蕉| 丁香五月天色婷婷| 丁香综合日产精品久久| 激情久久五月天| www.26uuu.com亚洲电影| 91性高潮久久久久久久久| 91狼友视频在线观看| 亚洲精品又粗又大又爽A片 | 国产免费av在线| 免费观看全黄做爰的视频| 99热国产这里只有精品| 久久精品在线| 7777国产盗摄农村女人| 四色99久久| 五五月五月| 九九色中文| 五月激情综合性爱| 热91久| 亚洲一区二区无遮挡A片| 开心五月六月婷婷| www91久久| 亚洲色色色| www.狠狠艹| 欧日韩AV| 激情综合婷婷| 亚洲第一av| 狠狠干.com| 图片区 小说区 区 亚洲五月| 深爱婷婷色| 色色色色欧洲| 亚洲色图五月丁香| 久草热在线视频| www.久久爱.com| 五月丁香六月婷婷综合网站| 欧美综合婷婷网| 色情五月天小说| 五月激情婷婷国产精品久久久久久| 久久xx| 爱操人妻| 成人AV中文字幕| 停停五月丁香| 五月丁香网中文字幕| 色五月婷色彩免播放器| 色欲色天天香综合| 99九无网码| 爆乳熟女一区二区三区爆乳| 色婷婷色| 91成人看片| 99色在线观看视频| 开心五月婷婷综合在线精品素人| 色吧网综合| 色欧美一级| 国产在线网| 97亚洲视频在线| 大地9中文在线观看免费高清| 激情五月婷婷| 婷婷在线视频| 日本欧美成人片AAAA| 97人人干| 99精品成人无码A片观看金桔| 亚洲中文字幕av| 丁香五月社区| www.99婷婷| 激情AV| 色五月综合| 五月天婷婷小说| 久久这里只| 天天爽天天摸天天爱| 一夜福利不卡| 丁香五月激情综合在线观看| 99免费视频久久| 色久婷婷网| 五月天婷婷色小说| 欧美日韩AAA| 久久久久久久人妻| 五月六月丁香激情| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 色情综合网| 婷婷五月天成人动漫 | 婷婷丁香花五月天| 这里只有精品在线视频精品| AV国产有码| 欧美一级操逼视频| 啪啪99| 天天爱天天爽| 97操在线| 天堂网操| 黄色成人网站在线播放| 伊人超碰在线| 九九热啪啪| 激情涩涩网| 婷婷伊人激情婷婷| 99国产视频网| 伊人婷婷五月天| AV色色天堂中文| 成人在线高清| AV激情五月| 噜噜噜精品欧美成人在线观看| 嫩草乱码一区三区四区| 9|无码久久久久久| 天天天天干| 五月婷婷性爱网| 精典久久| 六月丁香婷婷开心综合基地| 五月婷婷,六月激情| 欧美激情综合色丁香婷婷五月天| 五月天婷婷綜合院| 国产69久久久欧美黑人A片| 激情婷婷99| 五月婷婷国产| 中文字幕婷婷五月天| 丁香 婷婷 亚洲 熟女| 亚洲欧美婷婷五月色综合| 六月久久婷婷| 久久婷婷精品| 丁香五月性| 色婷婷丁香香香蕉视频| 丁香五月在线观看| 色你久久| 日本啪啪网| 天天玩夜夜操| 六月婷婷九月丁香| 人人操婷婷| 久久最新色| 极品少妇XXXX精品少妇偷拍 | 五月丁香大相交| 国产综合激情五月久久| 久久99精品久久久久久噜噜| 久久久天堂国产精品女人| 色天使色婷婷| 99色 色| 狠狠的日| 亚洲精品久久久久久久久久飞鱼 | 婷婷五月天激情视频| 婷婷六月色开| 亚洲爆乳无码精品AAA片蜜桃| 六月丁香六月婷婷欧美| 五月婷婷丁香五月婷婷| 99久久网站| 九九99偷拍视频| site:hcxsz888.com| 五月天婷婷7米| 日韩性爱AV| 九久9精品| 99精品免费| 碰99在线| xxxx五月| 99热这里有精力| 婷婷六月视频| 五月综合婷婷久久在线| 亚洲无码99| 五月丁香婷婷基地| www.yw色| 亚洲国产网址| 五月精品免费XXX| 色色五月天婷婷| 丁香激情网| 天天五月天综合网址| 91丨九色丨首页| 激情综合网婷婷久久| 婷婷色五月天在线| WWW.99热| 丁香五月六月婷婷综合| 色婷婷AV久久| 综合久久人妻| 久久精99| 人妻操逼视频。| 九九这里都是精品| 综合AV在线| 操碰99| 老司机视频lsj爱就色| 色婷婷色五月丁香| 亚洲亚洲人成综合网络| 欧美丁香五月97色| 武则天精品久久| 色婷婷19| 色播六月| 色五月网址| 亚洲色五月| 久久9久久| 人妻久久人妻久久第一区| 亚洲综合五月天婷婷| 婷婷丁香五月欧美人| 色六月 婷婷| 五月天激情av| 婷婷五月激情综合啪啪| 婷婷五月免费视频| 97色综合| www.minyis.com【JT】实力收量可预付QQ2101460746 | 成人在线日韩| 亚洲色视频| 成人必爱视| 人妻少妇色综合| 亚洲热综合网在线观看| 婷婷影视久久| 欧州色色| 婷婷99热| 五月丁香影院| 天天干天天干天天干天天干天天干天天干天天 | 熟妇人妻中文字幕无码老熟妇| 天天干-天天日| 狠狠爱婷婷五月天| 精品五月天| 九九热99视频在线| 99在线视频免费| 色爱99| 激情小说婷婷| 丁香五月亚洲无码| 白度黄视频| 人人97碰| 七七九九色色| 亚洲中文AV网站| 欧洲一区二区| 梁铮版《蜘蛛女侠》在线| 97精品人人A片免费看| 久久久久久五月天| 99热亚洲| 亚洲亚洲人成综合网络| 国产婷婷五月色情综合| 99热在线播放精品| 久久玖玖综合| 夜夜涩涩涩| 丁香九月婷婷综合| 婷婷五月丁香激情色情| 99九九在线视频| www.色婷婷| 开心婷婷五月中文字幕组| 婷婷久久久久| 久久婷婷五月综合网| 狠狠爱五月婷婷| 五月天无码视屏播放| 久久精品噜噜噜成人A∨色欲| 日韩人妻无码专区| 六月色播| 第二色AⅤ| 好大好粗嗯啊-一级黄色大片免费观看-成人AV| 97在线/亚洲| 先锋资源 996| 91xxxx九色| 另类视频在线| 99热99热不卡| 五月丁香欧美综合| 亚洲成人在线观看av| 高清无码入口| 欧美狠狠草| 在线观看日韩12345区| 九九久久精品| 日日夜夜噜噜爽爽| 婷婷五月色图| 新激情五月天| 播播网色播播| 婷婷六月综合基地| 五月天激情av| 天天爽—爽| 五月综合丁香婷婷| 色吧网综合| 亚洲精品无AMM毛片| YJLZZJLZZ亚洲乱熟无码| 国产乱妇乱子伦| 五月香婷婷| 综合色影| 97超级碰碰碰久久久| 精品一二三区久久AAA片| 97色色综合| 激情合网婷婷| 99色综合网| 99热99美国在线观看| 97碰久久| 五月婷婷六月激情| 丁香六月五月婷婷| 开心激情久久久久久久| 亚洲一个色| 99色中文| 九九综合网色全集 | 伊人五月人妻精品| 狠狠大香婷婷爱| 久久久久激情| 蜜乳人妻一区二区三区| 天堂二区| 熟女色色一区二区| 六月婷婷毛片| 五月丁香久| 99精品在线| 亚洲情欲| 99精品小视频| Www,五月天| 九九精品视频在线6| 熟女激情网| 久久精品爱爱| 五月婷婷激情综合在线| 97人人看| 大香蕉九九操| 欧美激情伊人| 综合玖玖偷拍| 丁香六月成人网| 丁香六月婷婷久久亚洲天堂| 97成人在线视频| 午夜少妇在线观看视频| 九九亚洲天堂| 99热10在线高清播放| 久久五月天影院| 激情色情五月天| 无人区码一码二码三码医生系列| 色色色网站| 久操操| 白人荫道BBWBBB大荫道| 中文字幕日产A片在线看| 最近中文字幕2019视频1| 伊人在线视频| 国内自拍97在线| 亚洲情综合五月天| 色综合色香蕉网| 婷婷丁香激情五月天色色色| 黄色激情网站在线观看| 亚洲亚洲人成综合网络| 国产婷婷婷| 婷婷五月综合丁香久久| 9久热视频| 天堂综合久| 五月丁香六月香香蕉| 99久久www| 五月总合激情网| 开心色播色五月婷婷| 九九性视频| 五月丁香婷婷综合视频| 丁香色五月天| 婷婷激情综合| 性爱视频久久| 1024日韩| 久99在线| 4399伦理午夜| 久久99这里只有精品| 五月天成人在线视频丁香| 狠狠色丁婷婷日日,伊人激情综合网| 成人综合AV| 丁香五月影院| 五月天色婷婷图片| 国产在线另类五月婷婷| 亚洲色婷婷| 开心五月婷婷婷美女| 综合色99| 噜噜噜久久| 色色99| 九一九九黄色| 日韩三级高清无码| 日本女人久久| 婷婷久久综合| 五月丁香色婷婷基地| 五月天桃色深爱网| 99在线免费观看| 日韩有码久久| 人妻AV在线| 五月天激情无码专区| 91精品无码| 极品少妇XXXX精品少妇偷拍| 色五月开心久久网| 欧美va国产va| 天天干天天插| 99极品视频| 成人综合伍月天| 五月天综合色| 97色五月丁香婷婷| 九九黄色网| 日本色色色| 日日操夜夜骑| 少妇性按摩无码中文A片| 日韩久久成人| 色五月激情综合网站| www.主妇. com| 国产婷婷五月在线视频| 久久久18| txt五月激情四射网综合俺也来了| 激情婷婷五月久久| 69五月天视频| 九九干视频| 久久R激情| 丁香六月婷婷综合| 五月激情综| 亚洲精品国产熟女久久久| 97人妻碰碰中文无码久热丝袜| 看国产探花操逼三级片| 色婷婷丁香五月| 天天网曰日曰夜夜综合永久免费| ,99视频久久| 色玖玖综合网| 五月天堂六月丁香亚州中文字幕久久| 九九热在线视频观看免费10| 五月天婷婷涩涩| 精品九九在线观看| 色婷婷亚洲精品天天综| 思思99热| 97碰| 婷婷五月骚厕所| www超碰| 超碰超碰在线| 天天爽天天| 久久日曰| 伊人深爱综合| www.五月天| 婷五月丁香俺| 99九无网码| 久久综合网桃花| 婷婷五月天综合小说网| 五月桃花网综合| 97精品综合| 色色网站| 日本久碰| 久久这里都是精品免费| 九九色综合|