欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

夜鶯監(jiān)控Nightingale:從告警到時序數(shù)據(jù)的運維監(jiān)控實踐

夜鶯監(jiān)控Nightingale:從告警到時序數(shù)據(jù)的運維監(jiān)控實踐 1. 項目概述夜鶯監(jiān)控到底是什么如果你維護(hù)過幾百臺機(jī)器又被某個傳統(tǒng)監(jiān)控平臺按著頭皮做告警規(guī)則大概率體會過這種糾結(jié)數(shù)據(jù)確實能收到但告警一多就產(chǎn)生疲勞規(guī)則寫起來費勁想按團(tuán)隊隔離數(shù)據(jù)發(fā)現(xiàn)大家都在一個大池子里通知渠道還固定得死死的想接個企業(yè)微信都要研究半天。夜鶯監(jiān)控Nightingale這套開源系統(tǒng)正是沖著這些歷史遺留問題來的。它最早由滴滴出行開源核心代碼用 Go 編寫現(xiàn)在掛在 CNCF 沙盒項目里定位是覆蓋“采集、存儲、告警、通知”全鏈路的大規(guī)模監(jiān)控平臺同時原生兼容 Prometheus 生態(tài)。你完全可以把它理解成一套更貼合團(tuán)隊協(xié)作、更適合企業(yè)級落地的現(xiàn)代化監(jiān)控作戰(zhàn)平臺。這套系統(tǒng)適合誰如果你是運維工程師、SRE、平臺開發(fā)或者在維護(hù)幾十臺以上服務(wù)器、一堆容器化應(yīng)用又對 Zabbix 的復(fù)雜配置和 Prometheus 的分散組件感到頭疼夜鶯值得你花一個下午認(rèn)真試試。它不是一個只停留在 demo 層面的玩具而是大量生產(chǎn)環(huán)境驗證過的項目。我身邊不少團(tuán)隊都是先用 Zabbix 頂著規(guī)模上來了以后逐步把業(yè)務(wù)組往夜鶯遷移。下面我會從架構(gòu)、部署、告警生命周期、與 Zabbix 的選型對比、常見問題這幾個維度把整個項目拆開講透。1.1 夜鶯的定位與核心價值夜鶯的核心設(shè)計目標(biāo)我總結(jié)下來就是三個詞大規(guī)模、多租戶、高可用。傳統(tǒng)監(jiān)控系統(tǒng)在幾千臺機(jī)器、幾千萬條時間序列面前往往會遇到數(shù)據(jù)庫瓶頸、告警卡頓、規(guī)則評估超時這類問題。夜鶯從一開始就按超大規(guī)模場景設(shè)計底層指標(biāo)存儲直接對接時序數(shù)據(jù)庫而不是把所有數(shù)據(jù)塞進(jìn)關(guān)系型數(shù)據(jù)庫里硬扛。這意味著你的監(jiān)控容量天花板被大幅抬高擴(kuò)容也變成了一件相對自然的事情。多租戶是夜鶯區(qū)別于很多開源監(jiān)控系統(tǒng)的重要特性。它用“業(yè)務(wù)組”Business Group做資源隔離不同團(tuán)隊各自管理自己的機(jī)器、采集器、告警規(guī)則互相不干擾。這個設(shè)計在大型公司里極其重要。以前用一臺 Zabbix 管全公司DBA 想看數(shù)據(jù)庫的監(jiān)控運維想看主機(jī)的監(jiān)控網(wǎng)絡(luò)組想看交換機(jī)的監(jiān)控所有人擠在同一個界面里權(quán)限不好控制告警通知也容易亂。夜鶯里天然地把這些拆開每個業(yè)務(wù)組是一個獨立工作空間從權(quán)限到告警再到通知渠道都可以各自獨立配置。另外一個值得說的點是它對云原生環(huán)境的包容度。夜鶯的指標(biāo)模型和 Prometheus 對齊支持 PromQL這意味著你在 Kubernetes 里用的那些 exporter、ServiceMonitor 概念都能順滑地和夜鶯銜接。很多 K8s 集群已經(jīng)在跑 Prometheus夜鶯可以扮演統(tǒng)一告警中心的角色把多個 Prometheus 的數(shù)據(jù)匯聚起來做集中告警和通知分派而不是逼你把原有采集體系推倒重來。1.2 系統(tǒng)架構(gòu)與關(guān)鍵組件夜鶯的整體架構(gòu)可以分成四層采集層、服務(wù)層、存儲層、告警通知層。采集層負(fù)責(zé)從機(jī)器、中間件、應(yīng)用里拿指標(biāo)服務(wù)層負(fù)責(zé)接收數(shù)據(jù)、維護(hù)元數(shù)據(jù)、處理 API 請求存儲層負(fù)責(zé)指標(biāo)數(shù)據(jù)落盤和元數(shù)據(jù)記錄告警通知層負(fù)責(zé)規(guī)則評估、事件生成、消息推送。理解了這個分層后面部署和排錯就順了。采集層官方主推 Categraf 采集器它是一個用 Go 寫的輕量 agent支持大量內(nèi)置插件可以采集 CPU、內(nèi)存、磁盤、進(jìn)程、端口、MySQL、Redis、Kafka 等常見對象。同時夜鶯也兼容 Telegraf、grafana-agent以及各種 Prometheus exporter。服務(wù)層最新版本的服務(wù)端是一個統(tǒng)一進(jìn)程包含 webapi、server、告警引擎等模塊部署上比早期版本簡單很多。元數(shù)據(jù)存 MySQL緩存走 Redis。存儲層指標(biāo)數(shù)據(jù)本身不存 MySQL而是通過遠(yuǎn)程寫入的方式寫進(jìn)時序數(shù)據(jù)庫。官方推薦 VictoriaMetrics也可以用 Prometheus、Mimir 等兼容的時序存儲。告警通知層內(nèi)部告警引擎基于 PromQL 做規(guī)則評估事件產(chǎn)生后通過內(nèi)置的通知渠道分發(fā)給企業(yè)微信、釘釘、飛書、郵件、webhook 等。這里我要特別強(qiáng)調(diào)一句“元數(shù)據(jù)和指標(biāo)數(shù)據(jù)分離”的重要意義。很多人在初次接觸夜鶯時會習(xí)慣性以為它和 Zabbix 一樣把所有監(jiān)控歷史都放在 MySQL 里。實際上表格設(shè)計完全不是這套思路。MySQL 只存機(jī)器列表、業(yè)務(wù)組、用戶、告警規(guī)則、通知記錄這類結(jié)構(gòu)化信息而真正的指標(biāo)曲線數(shù)據(jù)全部進(jìn)入時序數(shù)據(jù)庫。這套設(shè)計直接決定了它能支持幾十億條時間序列而不會像早期 Zabbix 那樣在數(shù)據(jù)量一大時明顯變慢。2. 核心功能拆解從采數(shù)到告警通知2.1 指標(biāo)采集Categraf、Telegraf 與 Prometheus 生態(tài)夜鶯的采集策略我總結(jié)了四個字“兼容并包”。最省心的方式是直接部署 Categraf。它是一個二進(jìn)制 agent部署完以后先去夜鶯頁面生成一個采集器 token把 token 填進(jìn) Categraf 配置文件的 HTTP 地址里它就會自動向夜鶯上報機(jī)器信息和指標(biāo)數(shù)據(jù)。Categraf 的配置非常直白比如你要監(jiān)控 MySQL就在conf/input.mysql/mysql.toml里填上實例地址、賬號、密碼然后啟用插件采集器重啟后數(shù)據(jù)就會出現(xiàn)在夜鶯的指標(biāo)視圖里。我在實際項目里用得最多的反而是另一個組合服務(wù)已經(jīng)暴露了 Prometheus 指標(biāo)接口比如 Spring Boot 的 Actuator、Nginx Exporter、Node Exporter 這類夜鶯提供了“抓取”功能可以直接配置 URL 去拉取這些指標(biāo)不需要再裝 Categraf。這種拉模式很適合監(jiān)控那些不想被安裝 agent 的中間件或云服務(wù)。再加上 Categraf 本身也支持 prometheus 抓取插件兩邊一配合基本能覆蓋所有常見采集場景。有些場景需要推送指標(biāo)比如短生命周期任務(wù)、業(yè)務(wù)自定義指標(biāo)。夜鶯也支持通過 remote write 協(xié)議直接寫入指標(biāo)數(shù)據(jù)。換句話說你的應(yīng)用只要往指定 HTTP 接口推一段 Prometheus 格式的數(shù)據(jù)即可完全不用關(guān)心服務(wù)端內(nèi)部如何處理。2.2 告警引擎與規(guī)則設(shè)計告警是夜鶯的重頭戲也是我從 Zabbix 遷移過來后感受最深的部分。Zabbix 的觸發(fā)器表達(dá)式寫起來需要記一套獨立的語法說實話遷移和學(xué)習(xí)成本都不小。夜鶯直接用 PromQL 寫告警規(guī)則凡是接觸過 Prometheus 的人都能很快上手。更通用一點說PromQL 是整個云原生可觀測性領(lǐng)域的通用語言你用熟了以后不只在夜鶯里能寫在 VictoriaMetrics、Mimir 里也能寫技能是可平移的。夜鶯的告警規(guī)則支持兩種模式一種是對機(jī)器/業(yè)務(wù)組的“主機(jī)指標(biāo)告警”適合 CPU、內(nèi)存、磁盤這類以機(jī)器為維度的監(jiān)控另一種是“自定義指標(biāo)告警”直接寫 PromQL適合應(yīng)用類指標(biāo)、K8s 指標(biāo)這類更靈活的查詢。規(guī)則里可以設(shè)置持續(xù)時長、執(zhí)行頻率、告警級別、通知對象還可以關(guān)聯(lián)通知模板。我在生產(chǎn)環(huán)境里踩過一個很重要的坑告警規(guī)則里的持續(xù)時長不是越短越好。比如 CPU 使用率超過 95% 持續(xù) 1 分鐘就觸發(fā)告警看起來很及時其實很容易被瞬時峰值轟炸。我一般會設(shè)置成持續(xù) 5 到 10 分鐘并且配合“恢復(fù)通知”功能讓告警在恢復(fù)后自動通知一次。這樣既不會漏掉真實故障也不會制造太多噪音。這個經(jīng)驗放在 Zabbix 里同樣成立只不過 Zabbix 的觸發(fā)器里對這種持續(xù)時間表達(dá)得稍微隱晦一些。2.3 通知渠道與降噪企業(yè)微信、釘釘、飛書告警通知渠道決定了故障響應(yīng)效率。夜鶯內(nèi)置了多種通知渠道其中企業(yè)微信通知是國內(nèi)團(tuán)隊用得最多的。配置方式并不復(fù)雜你需要先在企業(yè)微信管理后臺創(chuàng)建一個自建應(yīng)用拿到企業(yè) IDCorpID、應(yīng)用 AgentId、應(yīng)用 Secret然后在夜鶯的“通知配置”里新建一個企業(yè)微信渠道把這三個信息填進(jìn)去保存后發(fā)一條測試消息驗證即可。我額外建議做兩件降噪優(yōu)化。第一按告警級別分渠道發(fā)送例如 P0 告警發(fā)到專門的故障響應(yīng)群P2 告警只發(fā)郵件或者在工作日報里匯總。第二利用夜鶯的“靜默”功能在維護(hù)窗口、發(fā)版期設(shè)置定時靜默避免半夜因為例行變更觸發(fā)的告警把值班同事嚇醒。很多人前期不重視降噪結(jié)果告警渠道接入后群里全是刷屏消息沒人愿意看。這不是渠道的問題是使用姿勢的問題。3. 從零部署一套夜鶯監(jiān)控3.1 部署方式選型與資源規(guī)劃夜鶯最新的部署方式我建議直接采用官方提供的 Docker Compose 編排。一條命令拉起來整套環(huán)境省去手工安裝 MySQL、Redis、VictoriaMetrics 的麻煩。二進(jìn)制包部署方式依然存在適合那些需要把夜鶯打進(jìn)公司內(nèi)部自動化運維體系的場景。資源規(guī)劃方面我給出一個經(jīng)驗值如果監(jiān)控規(guī)模在 100 臺機(jī)器以內(nèi)4 核 8G 內(nèi)存的虛機(jī)完全夠用500 臺機(jī)器左右推薦 8 核 16G超過 1000 臺就建議把 MySQL、VictoriaMetrics、夜鶯服務(wù)端拆開部署。這里最容易被低估的是磁盤性能指標(biāo)寫入對磁盤 IOPS 要求較高有條件盡量用 SSD或者給 VictoriaMetrics 單獨掛數(shù)據(jù)盤避免和系統(tǒng)盤搶 IO。3.2 快速安裝實操我以 Docker Compose 方式為例操作步驟非常直接。先裝好 Docker 和 docker-compose 插件然后拉取官方倉庫里的部署目錄執(zhí)行docker-compose up -d把整套環(huán)境啟動起來。等待一分鐘左右打開瀏覽器訪問http://服務(wù)器IP:17000看到的就是夜鶯登錄頁。默認(rèn)賬號是root默認(rèn)密碼是root.2020這里我必須強(qiáng)調(diào)一句登錄后第一件事就是改密碼并且建議關(guān)閉默認(rèn)賬號新建自己的管理員用戶。這套系統(tǒng)暴露在公網(wǎng)以后默認(rèn)口令很容易被掃描器利用屬于絕對的低級風(fēng)險。啟動完成后你在頁面里會看到“業(yè)務(wù)組”的概念。先創(chuàng)建自己的業(yè)務(wù)組然后進(jìn)入業(yè)務(wù)組創(chuàng)建采集器 token。這個 token 就是 Categraf 連接夜鶯服務(wù)端的身份憑證和 Zabbix 里的主動注冊密碼作用類似。3.3 接入第一個監(jiān)控目標(biāo)這里我用一臺 Linux 服務(wù)器舉例子。下載 Categraf 二進(jìn)制包解壓后修改conf/config.toml把 HTTP 地址改成http://夜鶯服務(wù)器IP:17000再把剛才創(chuàng)建的 token 填進(jìn)去。啟動 Categraf 進(jìn)程幾秒鐘后回到夜鶯頁面在“機(jī)器列表”里就能看到這臺宿主機(jī)的注冊信息同時 CPU、內(nèi)存、磁盤這些基礎(chǔ)指標(biāo)已經(jīng)開始上報。如果你要監(jiān)控的是 MySQL在 Categraf 的 input.mysql 目錄下配置連接信息并啟用插件然后重啟 Categraf。通常一分鐘內(nèi)夜鶯的“即時查詢”里就能查到mysql_up這類指標(biāo)。這里有個排查技巧數(shù)據(jù)沒出現(xiàn)時先別急著懷疑服務(wù)端直接在 Categraf 機(jī)器上手動執(zhí)行一次采集器看報表有沒有報錯這個步驟能快速定位是連接問題還是配置問題。4. 告警生命周期管理從觸發(fā)到解決4.1 告警的觸發(fā)、恢復(fù)與自動消除原理很多從 Zabbix 遷移過來的朋友第一次看到夜鶯的告警列表都會迷惑為什么這個主機(jī)的指標(biāo)明明已經(jīng)恢復(fù)正常告警還沒自動消失這里要先理解夜鶯的告警生命周期模型。一個告警事件會經(jīng)歷“觸發(fā)中 - 已觸發(fā) - 已恢復(fù)/已解決”這幾個狀態(tài)。當(dāng)指標(biāo)滿足規(guī)則條件時事件被創(chuàng)建并產(chǎn)生通知此時狀態(tài)是“已觸發(fā)”當(dāng)指標(biāo)恢復(fù)到正常值并且滿足規(guī)則里設(shè)置的恢復(fù)條件時事件才會進(jìn)入“已恢復(fù)”狀態(tài)。Zabbix 里有一個很直觀的“主機(jī)問題已解決”的展示邏輯問題恢復(fù)后前面會打上綠色的勾。夜鶯的思路其實是一樣的只是它的恢復(fù)狀態(tài)不會默認(rèn)從列表里移除而是作為歷史事件保留下來。這樣設(shè)計的好處是保留了完整的告警審計鏈路事后復(fù)盤時可以很清楚地看到這個告警什么時候開始、什么時候恢復(fù)、通知發(fā)給了誰。所以不要用“Zabbix 會自動變成綠色”的固有印象來套夜鶯你得適應(yīng)它的狀態(tài)流轉(zhuǎn)。4.2 手動消除告警的幾種正確姿勢如果你確實遇到了“告警恢復(fù)后還掛在列表里”或“某些告警需要人工介入處理后才能關(guān)閉”的場景夜鶯提供了很多手動操作手段。處理單個告警在告警事件詳情頁可以對事件執(zhí)行“關(guān)閉/標(biāo)記解決”操作相當(dāng)于人工確認(rèn)這個事件已經(jīng)處理完畢。靜默指定對象如果某臺機(jī)器正在進(jìn)行重裝系統(tǒng)、硬件維修等操作不想因為這些操作引發(fā)噪音告警可以創(chuàng)建一個屏蔽規(guī)則設(shè)置起始結(jié)束時間到點自動解除。屏蔽整個規(guī)則當(dāng)某個業(yè)務(wù)組正在進(jìn)行大版本變更預(yù)計會長時間觸發(fā)多條規(guī)則時可以直接把相關(guān)告警規(guī)則暫停或加全局靜默避免告警風(fēng)暴。我的經(jīng)驗是手動消除只能作為應(yīng)急手段不要養(yǎng)成“用手點掉”的習(xí)慣。真正要靠的是把告警規(guī)則、恢復(fù)條件和靜默策略設(shè)計好讓系統(tǒng)在常態(tài)下能自己閉環(huán)。手動操作太多總有一天會漏掉一條真正重要的告警。4.3 夜鶯企業(yè)微信通知配置全過程企業(yè)微信通知我前面簡單提過這里把完整流程拆開。登錄夜鶯后進(jìn)入“通知配置”新建一個“企業(yè)微信”渠道。企業(yè)微信管理后臺需要你創(chuàng)建一個自建應(yīng)用記錄下 CorpID企業(yè) ID、AgentId、Secret。在夜鶯渠道配置里填好這些參數(shù)后保存并測試發(fā)送。測試消息會通過企業(yè)微信應(yīng)用推送到你綁定的成員賬戶里。這里要注意一個細(xì)節(jié)企業(yè)微信應(yīng)用默認(rèn)只能向應(yīng)用可見范圍內(nèi)的成員發(fā)送消息。如果測試沒收到優(yōu)先檢查企業(yè)微信應(yīng)用的可見范圍是否包含了接收人。另外告警通知的接收人需要和企業(yè)微信里的賬號對應(yīng)上夜鶯通過手機(jī)號或者賬號 ID 做映射如果接收人配置對不上通知就會靜默失敗。我一般建議單獨建一個“監(jiān)控告警”企業(yè)微信群把告警機(jī)器人拉進(jìn)群再用群機(jī)器人 webhook 的方式作為消息通道。這種方式比直接推送企業(yè)微信應(yīng)用消息更適合值班場景因為所有相關(guān)同事都在同一個群里共享故障上下文響應(yīng)協(xié)作更方便。5. 夜鶯 vs Zabbix要不要遷移5.1 核心能力對比這個問題幾乎每個用 Zabbix 的團(tuán)隊都會問。我把兩者的關(guān)鍵差異整理成一張表你可以對照自己的情況判斷。對比項Zabbix夜鶯架構(gòu)ServerProxyAgent數(shù)據(jù)庫驅(qū)動采集器服務(wù)端時序數(shù)據(jù)庫存儲分離指標(biāo)存儲MySQL/PostgreSQL 為主歷史數(shù)據(jù)摘要VictoriaMetrics/Prometheus 等時序庫告警語法專屬觸發(fā)器表達(dá)式PromQL云原生通用語言多租戶較弱主要靠主機(jī)組和權(quán)限業(yè)務(wù)組機(jī)制天然隔離適合多團(tuán)隊采集生態(tài)Agent 為主插件豐富Categraf、Telegraf、Exporter 全兼容云原生需要額外適配原生對齊 K8s/Prometheus 生態(tài)告警通知媒介類型豐富但配置較繁瑣內(nèi)置企業(yè)微信、釘釘、飛書、webhook 等二次開發(fā)自帶 API 但整體偏重Go 體系較輕組件可替換這張表充分體現(xiàn)了夜鶯的“現(xiàn)代感”。不是說 Zabbix 不好它依然是很多傳統(tǒng)企業(yè)網(wǎng)絡(luò)設(shè)備、服務(wù)器監(jiān)控場景里的可靠選擇只是在指標(biāo)規(guī)模、告警靈活度、多團(tuán)隊協(xié)作這幾個維度夜鶯的設(shè)計更貼合當(dāng)下基礎(chǔ)設(shè)施的形態(tài)。5.2 什么情況建議遷移我總結(jié)了幾類適合遷移的典型場景。第一服務(wù)器規(guī)模上千且指標(biāo)量持續(xù)增長Zabbix 的數(shù)據(jù)庫開始成為瓶頸歷史數(shù)據(jù)的查詢越來越卡。第二K8s 容器集群越來越多需要和 Prometheus 生態(tài)深度打通Zabbix 對云原生支持始終差一些意思。第三公司內(nèi)部有多個開發(fā)團(tuán)隊各自需要獨立的監(jiān)控和告警視圖夜鶯的業(yè)務(wù)組機(jī)制能省下大量權(quán)限管控時間。反過來如果團(tuán)隊對 Zabbix 非常熟悉機(jī)器規(guī)模也不大遷移帶來的收益就沒那么明顯。監(jiān)控系統(tǒng)的價值在于穩(wěn)定和熟悉不必為了“趕時髦”去做大規(guī)模替換。我見過不少團(tuán)隊遷移失敗原因不是夜鶯不好用而是部門慣性太大規(guī)則遷移又沒做好最后兩套系統(tǒng)并行維護(hù)反而增加了負(fù)擔(dān)。5.3 從 Zabbix 到夜鶯的遷移平滑方案如果你決定遷移我建議不要搞“大爆炸”切換。比較穩(wěn)妥的做法是先用邊緣業(yè)務(wù)組做試點把一部分非核心服務(wù)器用 Categraf 采集起來和 Zabbix 并行運行一段時間。確認(rèn)告警規(guī)則評估結(jié)果和 Zabbix 基本一致后再逐步擴(kuò)大范圍。歷史數(shù)據(jù)遷移這塊我個人建議止損。Zabbix 里積累的歷史曲線數(shù)據(jù)遷移到夜鶯后格式和語義都不同強(qiáng)行遷移代價很大。通常保留近期 30 天的指標(biāo)數(shù)據(jù)供趨勢參考就夠了更早的數(shù)據(jù)直接歸檔。告警規(guī)則方面可以把 Zabbix 的觸發(fā)器逐條翻譯成 PromQL。這個過程會比較痛苦但值得用心梳理一次很多觸發(fā)器其實已經(jīng)過時了趁著遷移做一次規(guī)則瘦身比純平移效果更好。6. 常見問題速查與避坑手冊6.1 高頻問題排查我把實際運維夜鶯過程中遇到的典型問題整理成速查表方便你遇到情況時快速對照?,F(xiàn)象可能原因排查思路Categraf 上報后機(jī)器列表無數(shù)據(jù)token 錯誤或 HTTP 地址不通檢查 config.toml確認(rèn)能 ping 通服務(wù)端 17000 端口指標(biāo)有數(shù)據(jù)但告警不觸發(fā)規(guī)則里查詢的指標(biāo)名/標(biāo)簽不匹配在即時查詢里手動執(zhí)行 PromQL確認(rèn)結(jié)果非空企業(yè)微信通知收不到可見范圍未包含接收人檢查企業(yè)微信應(yīng)用可見范圍測試發(fā)送告警恢復(fù)后仍顯示未解決恢復(fù)條件配置不正確檢查規(guī)則的恢復(fù)通知配置確認(rèn)恢復(fù)表達(dá)式正確頁面查詢歷史數(shù)據(jù)很慢時序庫磁盤 IO 不足或存儲空間緊張檢查 VictoriaMetrics 磁盤指標(biāo)考慮擴(kuò)容服務(wù)端重啟后數(shù)據(jù)斷點采集器本地緩沖未生效確認(rèn) Categraf 是否開啟了寫入緩沖功能另外一個常見誤區(qū)是很多人把夜鶯當(dāng)作一臺普通的 Web 應(yīng)用來看忽略了時序數(shù)據(jù)庫的運維。VictoriaMetrics 的存儲目錄會持續(xù)增長你需要關(guān)注磁盤空間的告警設(shè)置數(shù)據(jù)保留策略。夜鶯默認(rèn)情況下會以遠(yuǎn)程寫入的方式不斷向時序庫寫入指標(biāo)一旦磁盤寫滿整個監(jiān)控都會停擺這個問題比服務(wù)端本身的故障更隱蔽。6.2 實戰(zhàn)經(jīng)驗筆記關(guān)于告警規(guī)則編寫我強(qiáng)烈建議先做一段時間的“靜默運行”。規(guī)則創(chuàng)建后不開啟通知只產(chǎn)生告警事件持續(xù)觀察一兩天確認(rèn)告警頻率合理、沒有大量重復(fù)事件后再打開通知。這個習(xí)慣能避免很多因為規(guī)則設(shè)計不當(dāng)導(dǎo)致的告警風(fēng)暴也是我從多次教訓(xùn)里總結(jié)出來的。另一個經(jīng)驗是關(guān)于告警恢復(fù)通知的。很多人覺得恢復(fù)通知無所謂實際上它很重要。值班同事收到一條告警后會很自然地等待恢復(fù)消息來關(guān)閉工單。如果只有觸發(fā)通知沒有恢復(fù)通知值班人員就得反復(fù)刷新面板確認(rèn)狀態(tài)。夜鶯里開啟恢復(fù)通知后整條告警鏈路就完整了觸發(fā)、通知、恢復(fù)、再通知整個過程不需要人工介入去確認(rèn)。還有一點權(quán)限和賬號體系最好在剛開始就規(guī)劃好。夜鶯支持本地賬號也支持對接 LDAP/OAuth。如果公司已經(jīng)有統(tǒng)一登錄直接對接別給每個運維同事單獨開一堆賬號。賬號不及時回收和權(quán)限過寬是監(jiān)控系統(tǒng)里最容易出安全問題的環(huán)節(jié)這一點我建議所有團(tuán)隊都重視起來。7. 場景延伸監(jiān)控系統(tǒng)如何支撐低空與邊緣場景7.1 低空監(jiān)控對基礎(chǔ)設(shè)施的訴求最近“低空監(jiān)控系統(tǒng)”這個詞熱度很高無人機(jī)、低空飛行器、城市治理相關(guān)的監(jiān)控需求明顯增多。但很多人的第一反應(yīng)是低空監(jiān)控等于雷達(dá)和攝像頭這套專門系統(tǒng)其實這類系統(tǒng)背后同樣需要一套扎實的基礎(chǔ)設(shè)施監(jiān)控。無人機(jī)機(jī)巢的電池健康、飛控系統(tǒng)的 CPU 負(fù)載、通訊鏈路的信號強(qiáng)度、邊緣網(wǎng)關(guān)的網(wǎng)絡(luò)穩(wěn)定性這些數(shù)據(jù)都要被持續(xù)采集和告警。這個場景對監(jiān)控系統(tǒng)提出了幾個要求采集端部署輕量、能跑在邊緣小設(shè)備上數(shù)據(jù)量可能不大但需要統(tǒng)一管理告警要及時推送到維護(hù)人員的手機(jī)上。這些恰好是夜鶯這類現(xiàn)代化監(jiān)控系統(tǒng)的強(qiáng)項。Categraf 采集器非常輕量可以跑在只有 512M 內(nèi)存的邊緣網(wǎng)關(guān)或工業(yè)盒子上采集到的指標(biāo)通過標(biāo)準(zhǔn)協(xié)議傳到中心端再通過企業(yè)微信、釘釘?shù)惹腊迅婢平o現(xiàn)場維護(hù)團(tuán)隊。7.2 基于夜鶯擴(kuò)展邊緣監(jiān)控的路線如果你要設(shè)計一套低空飛行器基礎(chǔ)設(shè)施監(jiān)控方案可以參考這個思路所有機(jī)巢和無人機(jī)接入點部署 Categraf采集系統(tǒng)級指標(biāo)CPU、內(nèi)存、磁盤、進(jìn)程狀態(tài)和業(yè)務(wù)級指標(biāo)設(shè)備電量、充電狀態(tài)、信號強(qiáng)度、任務(wù)狀態(tài)通過夜鶯統(tǒng)一展示在一張業(yè)務(wù)組的監(jiān)控面板上針對關(guān)鍵指標(biāo)配置告警規(guī)則。例如當(dāng)某個機(jī)巢的電池溫度持續(xù)高于閾值或者通訊鏈路丟包率持續(xù)升高夜鶯的告警引擎會立刻觸發(fā)企業(yè)微信通知值班人員可以在手機(jī)上看到具體是哪個點位、什么指標(biāo)、多少數(shù)值再決定是否需要遠(yuǎn)程重啟或安排現(xiàn)場處理。這套模式不僅適用于低空監(jiān)控也適用于一切邊緣節(jié)點、IoT 設(shè)備、移動基站等分布式基礎(chǔ)設(shè)施場景。還有一個小建議邊緣設(shè)備的網(wǎng)絡(luò)經(jīng)常不穩(wěn)定Categraf 本地最好開啟磁盤緩沖網(wǎng)絡(luò)恢復(fù)后數(shù)據(jù)能自動補(bǔ)傳不會因為斷網(wǎng)導(dǎo)致指標(biāo)出現(xiàn)空洞。夜鶯對斷點補(bǔ)傳的支持雖然不是特別花哨但應(yīng)付邊緣網(wǎng)絡(luò)抖動場景已經(jīng)夠用了。實際部署時我建議邊緣端和中心端之間盡量建立一條低延遲鏈路否則數(shù)據(jù)延遲會很影響告警的實時性。最后再分享一個我個人的體會。監(jiān)控系統(tǒng)這種東西剛開始接觸時很容易被各種概念和組件帶偏總覺得功能越多越好、圖表越花哨越好。真正用下來幾年我的標(biāo)準(zhǔn)反而越來越樸素數(shù)據(jù)能不能穩(wěn)定采集、告警能不能在需要的時候準(zhǔn)確定位、通知能不能到該到的人手里。夜鶯在這三點上做得相當(dāng)扎實它沒有過多炫技而是把大規(guī)模監(jiān)控里的各種臟活累活安排得明明白白。如果你一直在為 Zabbix 的擴(kuò)展性發(fā)愁或者厭倦了拼湊一堆開源組件來搭建監(jiān)控平臺不妨從今天這個部署實操開始給它一個機(jī)會也給自己一個更省心的運維方案。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
av一区二区电影免费在线观看| 五月天婷婷导航| 九九热免费视频| 九九色之九九色之88| 成人婷婷| 丁香六月av| 婷婷色五月综合| 一级性爱视频| 9久视频| 色色色色网站| 99性感视频| 色九月婷婷综合| 97色在线视频| 热久久999| 五月天 婷 欧美亚洲| 婷婷色网站| 五月天婷婷久久| 天天做天天爱天天摸| 成熟妇人A片免费看网站| 甈吧vv| 亚洲成人在线观看av| 99re思思热久久| 久xxxx| 91爱啪啪| 深爱五月最新网址| 婷婷五月播| 免费观看全黄做爰的视频| 久久亚洲A| 九九视频在线观看视频6| 五月婷婷福利| 五月色网| YW无码| 操逼视频一区| 激情二色月| 99啪视频在线观看| 欧美性爱五月天| 婷婷五月天偷拍| 五月丁香啪啪综合| 婷婷五月天国产性感美女演员久久久久| 亚洲综合色色| 猫咪伊人AV| 婷婷人人操| 色综合xx| 99热主页日本| 色婷婷丁香AV综合| 婷婷伊人綜合中文字幕| 十一月婷婷激情四射| 激情深爱综合| 成人在线综合| 日韩AC在线免费观看| 天堂久久婷婷| av在线色五月丁香婷区久| www99久久| 成人做爰A片免费看视频| 熟女激情五月天| 久久机热这里只有精品免费视频| www.久久婷婷| av操逼网| www.久热| 噜噜操操| 第四色婷婷丁香五月| 五月久久五月激情| www.97碰碰com| 日韩人妻白浆视频系列| 久久婷婷亚洲| 丁香五月在线播放| 欧美激情xxxXX| 色婷婷精品视频| 成人精品视频99在线观看免费 | 久久久久激情网| 五月网在线| 久久黄A片| 大香伊人婷婷影院| 精品久久久久成人码免费动漫 | 色青青电影色五月| 色综合久久888| 色五月成人| 五月色导航| 91精品久久久久久久| 91丨九色丨老熟女激情| 色综合久久之分久久| 色九月婷婷综合| 婷婷五月情天| 爱婷婷久久视频| 狠狠舔| 涩 五月 婷婷 狠狠| 国产精品美女| 五月婷婷综合激情| 亚洲在线操| 婷婷五月综合激情免费视频| 亚洲十月婷婷综合| 五月丁香六月欧美综合| 五月天婷婷色五月天| 2016日日夜夜操| 九九无码AV| 六月婷婷五月丁香| 狠狠色综合网| 九月丁香婷婷综合| 五月丁香六月成人| 色五月偷偷| 欧美激情综合色综合色| 久久视频九九视频| tingtingzonghewang| 天天久久66xxx| 久久婷婷内射| 婷婷色五月开心五月| www...com黄在线观看| 国产成人va在线| 九九人妻福利| 五月婷婷六月丁香激情深爱| 丁香五月1页| 欧美日韩国产一区| 99在线视频播放| se.久久视频在线观看| 五月天婷久久| 丁香五月婷婷色综合| 五月丁香网站| 久久久中文| 久久久久9| 日本色色网站| 日本久久婷婷| 激情五月天色网站| 日韩AV大全| 97碰啪啪| 91成人性爱视频| 久久伦乱| 99热网站| 99热免费观看| 九九黄色网| 色五月亚洲| 玖玖在线视频| 97色婷| 色五月婷婷基地| 婷婷狠狠干| 婷婷久久网| 婷婷亚洲综合| 丁香六月婷婷| 深爱激情五月天| Www.婷婷五月| 五月 婷婷 成人| 五月婷婷手机在线| 丁香五月婷婷色情综合| 免费看欧美成人A片无码| 亚洲色优| 色5月婷婷色| 激情综合色图| 亚洲中文乱字字幕在线永久| 五月天开心网| 99欧美精品99日本精品| 91xxxx九色| 99久久新视频| 久热成人| 秋霞学生妹一二级| 五月婷婷六月奇米网丁香| 婷婷五月中文字幕国产| 99re这里| 五月天啪啪视频| 成片免费播放| 日产精品一线二线三线芒果 | AV九九| 日本婷婷| 亚洲视频综合网| 五月婷婷很很色| 91精品久| 五月丁香激情四射综合| 久久99激情| 情情五月天色| 丁香五月婷综合网| 丁香九九九九| 精品成人a v无码内射| 五月天激情无码| 丁香五月成人婷婷| 啊V视频在线观看| 亚洲五月婷婷| 大香蕉丁香五月| 丁香五月婷婷少妇| 九九九九国产| 五月婷在线色视频| 性色天| 九月丁香婷婷综合| 亚洲亚洲人成综合网络| 国产亚洲99久久精品熟女| 五月天激情网址| 99re在线观看| 婷婷六久久| 婷婷久久影院| 亚洲 日韩色色| 亚洲十月婷婷综合| 激情五月婷| 天天爽天天干| 好叼操在线观看| 亚洲av无码精品色午夜| 激情丁香婷婷五月天| 国产片色| 五月婷婷欧美| 七月丁香五月婷婷在线| 日韩另类在线观看| 婷婷丁香六月影视| 99精品视频在线观看| 狠狠干狠狠色| 岛囯综合激情网| 久久女婷| 色婷婷啪啪| 成片免费播放| 婷婷六月五月天综合| 操九色| 五月婷在线| 欧洲电影在线观看免费版英语版 | 成人无码髙潮喷水A片| 狠狠色噜噜色狠狠狠综合色| 99re在线观看| 色婷婷亚洲精品天天综| 九月婷婷久久| 五月婷婷导航| 五月婷婷中文网| 色偷偷五月天| 免费视频WWW在线观看网站| 大香久久伊人网| 丁香色五月婷婷17C| 99re26视频| 五月婷婷丁香啪啪| 色五月色综合| 婷婷免费精品视频| 欧美激情VA永久在线播放| 天天拍天天操| 久久久久久久8| 小视频aaa久久久| 五月丁香777| 激情www| 90色免费视频| 第四色色六月色综合| 99在线精品视频免费观看20| 亚洲色五月| 亚洲Av成人在线观看| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 五月天六月天| 五月天色婷婷视频| 午夜五月天| 天天射色五月天| 狠狠狠狠狠狠草| 91综合色| 五月丁香天堂| 六月天无码网址| 五月丁香六月成人| 4438全国最大视频成人网站在线观看 | 99欧美| 五月天最新网| AV成人在线网站| 欧美日韩91| 久热这里只有精品6| 一本大道嫩草AV无码专区| 97在线/亚洲| 婷婷瑟瑟五月天| 欧美成人精品A片免费一区99| 第五婷婷伊人丁香色| 久久久久久丁香五月| 人人草人人爱| 97人妻碰碰中文无码久热丝袜| 天天干天天操天天爽| 激情婷婷狠狠干综合| 久这里只有精品99| www.minyis.com【JT】实力收量可预付QQ2101460746 | 国产无遮挡又黄又爽免费网站| 99热网站| 久久伊人大香蕉| www91在线| 日韩啪| 天天日天天爽夜夜爽| 在线中文AV| 国产色色网址网站| 777精品久无码人妻蜜桃| 91爱啪啪| 色狠狠色| 色五月首页| 在线中文亚洲| 色玖玖导航| 66色在线日韩| 日本乱论99| 五月婷婷六月丁香综合| 久久色吧| 亚洲视频色婷婷| 七七久久婷婷| 日日夜夜久| 1024欧美看片| 亚洲AV色婷婷人禽五月天| 丁香婷婷欧美综合| 色六月视频| www.seqingwuyuetian| 青青草深爱激情网| 美女久久婷婷| 丁香美女主播视频在线观看 | 亚洲九九免费| 国产精品第一国产精品| 婷婷亚洲丁香五月| 91se精品国产| 五月丁香六月婷婷的女人| 2050人人操免费工开爱| 激情五月深爱婷婷| 大香婷婷| 日本高清久| 婷婷六月视频| 五月丁香综合激情| 九九99在线观看视频| 亚洲天堂色色| 激情五月天开心网丁香无码| 亚洲五月六月婷婷| 婷婷色色欧美| 91热网址| www九九热| 无码激情AAAAA片-区区| 亚洲综合婷婷五月天| 婷婷丁香综合网| 人人人人人人人草| 99精品女人天堂| 99热免费| 狠狠色综合网| 99精品网| 婷婷色色网| 日噜噜色| 五月丁香六月激情| 中文字幕成人| 风流少妇A片一区二区蜜桃| 激情网站综合五月天| 黄色国久久| 五月天激情啪啪| 久艹久| 色综合九九| 丁香五月激情站| 色婷婷8| 夜夜干天天干| 99九色视频在线观看| 激情五月天在线视频| 婷婷久久五月| 亚洲天堂婷婷| 伊人五月综合网| 丁香婷婷六月天| 丁香五月天激情综合| 色五月开心五月激情五月| 丰满少妇猛烈A片免费看观看| 婷婷五月天亚洲图片| 九九热99在线视频| 99ri在线| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 久久黄色片| 亚洲99在线| 激情久久久| 色色色视频| 婷婷五月丁香成人网| 5五月综合网亚洲| 日韩狠狠色| 狠狠色婷婷| 婷婷五月久久| 色域五月婷婷丁香| 青草青草视频2免费观看| 亚洲色情网站| 色玖玖| 免费看欧美成人A片无码| 思思热久热| 国产精品人妻欲求不满| 免费无码毛片一区二区A片| 九九热在线视频观看| 五月久久婷婷| 丁香婷婷激情网站| 成人网站在线观看视频| 99视频精品全部免费观看| 91丁香婷婷综合资源| 极品人妻VideOssS人妻| 99热无码| 久久最新色色色| 丁香五月激情久久麻豆| 97AV在线视频| 思思久久青草热| 99福利导航| 亚洲精品V天堂中文字幕| 亚洲va欧洲va国产va不卡| 五月丁香香蕉| 五月激情网站| 99视频精品8 | 婷婷一本和五月丁香| 99久久亚洲国产| 婷婷操逼| 亚洲成人在线综合| www.热99热| 色婷婷中文在线| 精品一二三区久久AAA片| 五月综合在线| 99视频在线观看视频| 色色色色色色色色色色色色色97| 久久caop| 99热网站| 天天久| 99久久a线观| 97婷婷狠狠久久综合9色| 超碰av在线| 99视频这里有精品| 丁香五月天婷婷中文| 99色热视频| 99五月香婷婷丁香在线视频| 色色射| 婷婷深爱五月| 五月婷深深爱激情网| 操操国产| www九月婷婷| 久久久久久人妻| 亚洲天堂aaaa| 成 久久| 99re66热这里只有精品| av线电影| 婷婷五月综合丁香久久| 免费看欧美成人A片无码| 第四色五月婷婷| www.夜夜騎夜夜狠| 五月丁香六月欧美综合| 色婷五月天| 精品色色| 五月天五月天成人网亭亭成人色网站| 亚洲AV激情五月综合网| 狠狠色综合网| 91九色小视频| 91日综合欧美| 超碰国产一区| 中文字幕乱码亚洲精品一区| 五月天婷婷影院| 无码动漫av| 丁香六月天堂| 天天干天天干天天干天天干天天| 久久婷婷六月| 婷婷永久在线| 婷婷综合亚洲| 六月丁香停| 1024在线视频| 99青青草99| 精品夜夜澡人妻无码AV| 婷婷在线播放| 日日杆天天| 日本一毛片| 五月丁香六月婷婷国产视频| 九九机热| 丁香五月亚洲婷婷| 99在线视频在线观看| 五月天天丁香婷婷在线中| 亚洲AV中文在线| 久久精品噜噜噜成人A∨色欲| 久久婷婷六月综合国际| 99婷婷狠狠成为人免费视频| 专区无日本视频高清8| 六月丁香激情网| 丁香五月日韩| 婷婷丁香激情综合色情| 五月停停999| 思思热视频| 久久激情五月天| 97人妻碰碰碰久久久久-最近国语高清| 伊人丁香在线| 色99综合色88| 亚洲人操亚洲人| 黄色片久久| 99网| AV片一区在线观看| 狠狠婷婷色| 99热 精品在线| 亚洲欧洲中文日韩久久AV乱码| 97久久久| 影音先锋女人AA鲁色资源| 九九在线精点品| 99久久婷婷国产综合精品草原| 欧美综合五月丁香六月婷| 五夜丁香| 久久99操| 日韩啊啊啊| 久久久久er热| 丁香六月综合激情| 国外亚洲成AV人片在线观看| 天天碰夜夜操| 狠狠色噜噜狠狠狠狠狠色综合久久| A片天天| 欧洲综合一区| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 777久久综合视频 | 成人做爰A片免费看视频| 色婷久久| 中国丰满熟女A片免费观| 99国产精品久久久久久久久久久 | 五月丁香久久色| 色婷久| 亚洲一区国产传媒| 玖热精品综合视频| 五月丁香好婷婷姑娘综合网| 天天狠狠色噜噜| 日本成人噜噜| 激情五月天在线免费美女视频| 色五月综合资源推荐| 婷婷狠狠18禁久久| 伊人激情| 免费做A爰片77777| 久久久精品免费啪啪国| 月色色综合婷婷网| 久9热在线视频| 噜噜狠狠| caopeng97日韩| 色五月亚洲开心网| 五月精品| 色屌丝中文字幕| 图片区 小说区 区 亚洲五月| 丁香五月花| 九九九九九九热| 99精品偷拍视频| 婷婷五月丁香91| 激情网第九色| 麻豆123区| 丁香五月天天高清在线| 婷婷狠狠97| www.yw尤物| 亚洲乱码日产精品BD| 波多野结衣不卡AV| 国产成人AV在线播放| 精品久久99码| tingtingzonghewang| 五月婷婷AV| 日韩 中文 欧美| 能看的av| 丁香五月婷婷操逼| 在线成人网址| 五月丁综合在线观看| 九九热免费| 久久久久久激情| 色色五月婷婷| 超碰人人妻| 激情综合五| 天堂爱爱| 国产偷人妻精品一区| 色五月婷婷中文字幕| 白人荫道BBWBBB大荫道| 六月激情丁香一道本7777| 五月天久久婷婷| 天天日夜夜草进麻麻的子宫| 五月丁香婷婷免费视频| 色婷婷丁香五月| avh片在线观看| 99热在线观看精品| 天天模,夜夜模夜夜爽| 99热精品中文字幕| 久久丁香五月婷婷| 丁香久久九九99| 婷婷色激情网| 国产午夜一区二区三区| 天天操综合网| 青青999| 婷婷五月天堂网| 丁香五月婷婷欧美成人色图| 精品久久99码| 超碰自拍天堂| 婷香五月网在线| 激情五月婷婷色| 亚洲这里只有精品| 亚洲婷婷丁香五月| 欧美激情 日韩无码 婷婷 五月天| 亚洲色激情| 久久这里只有精品热在99| www久久久久久久久久久久久久久久久| 狠狠人妻色综合| 久久深爱激情网| www.激情| 97狠狠碰| 天天操天天爽天天爱| 另类 在线| 国产精品第一国产精品| 欧洲亚洲免费视频9| 天天爽综合| 欧美成人AAA片一区国产精品 | 精品无码99| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 久婷婷五月综合欧美| 婷婷五月天伦理| 涩综合网| 超碰在线个人观看| 婷婷色无码| 色综合久久中文| 丁香五月婷婷色综合| 久久9久| 五月天久久网站| 中文字幕网伦射乱中文| 丁香婷婷五月天激情四射| 欧美va欧美va差| 久久激情视频| 婷婷99狠狠躁天天| 精品人妻一区二区三区四区不卡在| 日产精品一线二线三线芒果| 九色视频91| 99久在线精品99re8热| 成人精品视频99在线观看免费| 91久久九久久九久久九久久九久久| 1995年关宝慧版蜘蛛女| 婷婷五月在线视频| 91色五月| 五月激情在线| 91猫咪国产在线播放| 婷婷成人在线| 色五月激情网| 久99视频在线观看| 五月天播播| 91re色综合视频| 亚州欧美国产久精国产99综合视频| 99热1| 无码一级片| m色激情网| www.狠狠操| 国产激情综合| 丁香花五月天激情| 99视频网址| 日韩色五月| 狠狠干.com| 六月激情婷婷综合| 久久婷婷精品| 丁香五月婷婷狠狠色| 大香线蕉伊人| 久久婷婷夜| 久久人妻伊人| 久久99网| 亚洲色图五月丁香| 丁香五月激情婷婷婷婷在线观看| 在线视频九色97| 天天干天天干天天干天天干天天干天天| 五月天婷婷激情小说电影| 色碰碰| 激情五月婷婷| 亚洲AV无码成人精品区电影网| 丁香六月婷婷综合在线| 亚洲丁香花五月丁香花| 婷婷五月丁香伊人网| 双性美人被调教到喷水A片| 这里只有精品日韩| 婷婷五月在线观看| 成人天天爽| 深爱激情综合网| 五月天社区| 九九99久久| 欧美内射AA| 国产精品电影| 婷婷丁香五月天哟啪| www.99热| 久久99热这里只有精品首| 日本三级中国三级99人妇网站| 7超碰自拍| 四虎成人精品永久免费AV九九| 国产精品成人AV在线| 九热免费视频| 99日本黄站| 色噜噜综合网| 五月丁香日本一抹本| 夜夜爱网站| 婷婷五月天播| 精品国产乱码久久久久夜深人妻| 亚洲瑟瑟精品在线| 99热 日韩| 久久婷婷五月天综合| 亚洲视频另类| 婷婷五月成人| 婷婷五月天综合久久| 丁香五月婷婷AV| 五月天开心色情网| 五月婷婷啪啪| 日韩欧美四五区| 7777国产盗摄农村女人| 亚洲综合激情五月| 99人人干人人| 亚洲精品午夜国产va久久成人| 亚洲色精彩| 激情五月婷婷| 五月婷婷六月丁香玖玖玫瑰91| 中文在线成人| 色墦五月丁香| 中文字幕按摩做爰| 五月丁香激情欧洲啪啪| 97人人干。| h亚洲| 色婷婷99| 国产真实乱了老女人视频| 欧美综合五月丁香六月婷| 色婷婷丁香AV综合| 丁香五月婷婷大香蕉| 久久色情| 成人无码精品1区2区3区免费看| 五月天激情婷婷小说| 91九色成人原创视频| 久久与婷婷| 六月丁香视频网站| 毛片九九九九九九九九18| 色婷婷五月天激情在线观看| 九九色99| 最新高清无码专区| 99免费| 91精品久久久久久| 青青草视频免费观看| 日屌日日操日日色| 婷婷四色五月| 九九视频在线观看视频6| 五月天激情网开心网| 亚洲av日韩无码| 婷色五月| 婷婷开心五月| 99成人网一区| 久热久69| 亚洲视频二区| 五月在在观看| 婷婷亚洲久久| 色婷婷综合网站| 五月草影视| 久婷| 伊人丁香在线| 91狠狠色色丁香婷婷综合久久| wwW天天干| 好大好粗嗯啊-一级黄色大片免费观看-成人AV | 五月激情婷婷播播网| 五月婷婷综合社区| 婷婷色婷婷| 五月婷婷综合久久| 婷婷色色网| 另类丁香五月天区图| 丁香五月色网| 天天操天天操| 免费黄色AV| 无码AV免费精品一区二区三区 | 99日精品视频| 日韩一本操| 99精品一二三四视频| 深爱激情九九五月天 | 乱码操操| 26uuu亚洲欧美| 天天肏夜夜肏| 婷婷丁香大香蕉| 五月婷婷基地| 五月激情久久综合网| 色色99| 亚洲成人在线观看网址| 五月天色不卡| 日狠狠| 色狠狠伊人久久五月丁香| 99.N在线视频| 日韩乱轮AV| 97色干| 丁香狠狠色婷婷久久无码视频| 丁香五月天在线观看视频| 婷婷激情综合色五月久久91| 狠狠色综合网| 久久精品系列| 日本九九热| 成片免费观看视频大全| AV大片在线观看| 亚洲人人操| 五月 成人 婷婷| 丁香婷婷色六月| 五月婷婷色播视频| 婷婷网影院| 九九久久9 9在线观看| 人人干av| AV色婷婷| 丁香五月六月婷婷殴美综合| 国内婷婷丁香社区在线播放| 欧美日韩123| Av在线资源| 精品一二三区久久AAA片| 91婷色| 激情小说婷婷五月| 热99久久这里只有精品| 狠狠操狠狠爱| 99精品国产在热久久婷婷| 色和综合网| 激情丁香婷婷| 91精品久久久久久久| 亚洲天天| 五月花亭亭| 久久这里只有精品07 | 久久xxxx| 色综合九九| 另类综合色| 日韩av网址大全| site:jszngf.com| 亚洲不卡| 98永久精品| 色婷婷播放| 99年操人人爽| 色欲天天综合网| 黄色片区子| 婷婷五月天社区| 欧美啄木乌丝袜人妻系列| 青草视频在线蜜臀| 国产色丁香| 99色天堂| 久久久久亚洲AV成人无码电影| 婷婷综合在线视频| 婷婷五月精品| 色综合激情图区| 极品人妻VIDEOSSS人妻 | av狠狠操| 婷婷午夜| 五月丁香六月婷| 99综合自拍| 丁香五月天堂网| 色色AV色色色东莞| 五月丁香婷爱在线| 欧美性爱5月天天天看| 久久av电影| 国产阿姨日皮艹逼内射视频| 丁香九月综合| 婷婷色亚洲| 久久人人看| 亚洲AV日韩无码| 久久人人九| www.99精品视频| 五月丁香激情啪啪网| 99热欲| 亚洲情欲久久| 有码一区二区三区| 人妻视频一区而且二区| 久久久全国免费视频| 色婷插| 激情五月天小说网| 精品久久艹| 九九精品热| 熟女激情五月天 | 久久五月天大美女| 天天肏屄夜夜爽| 色色色综合视频| Av性爱网| 五月婷婷少妇之| 五月丁香天天| 开心五月深爱五月婷| 99热这里只有精品33| 亚洲九九九九| 天天成人丁香美女AV| 99爱精品视频| 色婷婷久综合久久一本国产AV| 五月婷视屏在线观看| 六月丁香五月天| 丁香五月婷婷网| 色欲久久久久久综合网综合网| 99热日| 久久久99久久| 欧美激情综合| 操一区| 精品香蕉99久久久久网站| 97日韩无套内| 97男人天堂| 9久久精品视频| 91精品久久久久久久久久久久| 色噜噜狠狠色综合成人网| 热九九精品| 日本女天天爽| 丁香五月激情六月综合| 深爱五月最新网址| 日本成人噜噜噜| 丁香婷婷色九月| 色五月婷婷久久| 超碰在线成人| 日本一级淫| 欧美激情-区二区三区| 视频1区2区| 99热在线精品观看| 久热视频A.| 亚洲瑟瑟精品在线| 丁香六月婷婷一区二区三区| 思思热在线视频精品| 成人 在线 日韩| av九九| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 五月丁香六月婷婷激情视频在线观看免费| 成人免费高清在线播放| 欧美久热| 亚洲欧洲中文日韩久久AV乱码| 99久久婷婷国产综合精品| 国产中文字幕在线视频免费观看 | 狼人伊人干| 99热思思| 1级欧美日韩| 小色小蛇伊人婷婷色香五月| 日本三级大片| 26uuu欧美亚洲日韩| 丁香六月色婷婷| 丁香六月婷婷综合激情欧美| 色五月综合| 婷婷五月天国产性感美女演员久久久久| 亚洲成人av在线播放| 激情综合网五月婷婷| 丁香五月综合在线| 天天色噜| 欧美性爱五月天| www日本熟妇99在线视频| 激情无码网| 色五月婷婷五月丁香五月激情五月视频| 甈你aaaaa| 亚洲五月天另类小说图片| 99在线观看| 秋霞av吧| 色吧婷婷| 久婷婷久草| 日日夜夜狠狠| 狠狠色婷婷777| 亚洲a片免费观看| 婷婷五月亚洲综合| 五月婷婷干| 亚洲人妻电影| 欧美交换配乱吟粗大25P| 久久99jiu9| 婷婷五月激情四月综合| 久久性爰视频这里只有精品| 久久五月激情综合| 婷婷成人基地| 五月天激情四射网站| 天天噜天天爱| 久久九九国产精品怡红院| 九九色热| 婷婷五月无码| 五月视频日本免费观看| 99视频这里有精品| 韩国真做片在线观看| 99久久精品亚洲综合| 99热香港| 99在线免费视频| 色婷婷五月天| www.sebowuyue| 五月丁香网中文字幕| 色你久久| 久久大大香| 亚洲综合99| 五月激情久久综合网| 夜夜爽天天爽| 在线看av| 先锋男人99资源| 人妻激情综合| 国产干逼片| 色欲人妻综合aaaaaaaa网| 激情伊人五月天| 五月天婷婷综合| h亚洲| 色婷婷在线视频综合| 久久99久久99久久99人受| 久久天堂女人| 六月激情婷婷综合| AV网站免费在线| 黄色网址五月婷婷| 色一区高清| 亚洲色另类| 十月色综合| 免费视频WWW在线观看网站| 亚洲黄色精品| 九九精品在线观看视频6| 亚洲激情网| 在线观看亚洲视频影院| 婷婷激情五月天视频在线| 丁香五月社区| 91精品综合久久婷婷九色| 五月婷婷丁香在线视频| 99人人干| 久久久.COM| 丁香五月色欲| 情欲禁地| 天天插天天玩天天干| 99热这里| 嫩草视频| www.五月婷婷久久.com| 久久综合99| 五月婷婷成人| VfJxEwPH| 熟女人妻视频| 婷婷激情五月天网站| 色呦呦美女| 色色婷婷婷丁香五月天| 亚洲九九在线| www.色婷婷| 日本99视频| 在线天堂9| 久久久久久18| 五月天激情开心网| 香蕉AV777XXX色综合一区| 97成人丁香婷婷| 99久久婷| 免费AV在线| 天天综合中文| 五月久久丁香| 天天操夜夜玩!| 久碰视频| 久思思久视频| 五月婷在线| 丁香五月最新地址| 丁香五月偷拍| 日本在线wwww| 丁香婷婷激情网站| 久久se 综合网| 综合激情五月丁香| 色五月婷婷在线| WWW,激情五月天,COM| 五月丁香久久综合| 色私五月婷婷| 人人草人人舔| 成人在线视频一区| 五月天综合视频| 熟妇天天综合| 丁香五月五婷| 91呦呦呦| 99热的无码| 99操九九网| 五月婷六月天| 色色婷婷综合| 天天成人综合视频| 97色五月婷婷在线| www.婷婷,com| 久久婷婷青青草| 俺去也在线官网| 欧美婷婷色| 六月丁香婷婷色69| 色综啪啪网| 激情网开心网| 91色呦哟| 日日肏夜夜干| ai97re99一本| 色婷婷色婷婷五月| 婷婷五月欧美AA片免费| 久久亚洲激情五码| 亚洲欧洲小视频9| 91精品婷婷国产综合久久| 91九色国产| 99热这里只有精品1025| 91久久久久久久| 久久久中文| 欧美精品18| 人人爱干人人爱草| 五月婷婷综合在线| 五月丁香狠狠爱婷婷综合| 五月色情| 五月综合影院| 热久91| 久久久久人妻精品| 九热久| 超碰成人电影| 天天激情5月天亚洲| 六月婷婷五月丁香| 日本狠狠爽| 激情综合色五月丁香| 五月婷婷开心丁香| 9 1大香蕉| 五月天成人在线播放| 99 re视频一区| 一级性爱视频| 99在线爽| 69凹凸成人综合网| 色婷婷裸体色性在线| 色婷婷影音| 色婷婷五月天成人网| 久久性爱视频| 五月综合色| 国产片色| 色月丁| 九热精品| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 九九热自拍| 五月天综合视频| 激情婷婷综合| 91碰免费视频| 天天干天天操天天爽| 成人一级片| 99久久网站| 天天久久综合| 中文字幕婷婷在线| 久久久99久久| 丁香香五月激情免费视频| 婷婷情色开心五月天99| 99这里只有精品|v| 狠狠久久婷五月| 色色色热| 色99欧洲色19| 亚洲婷婷久久综合| 五月婷婷五月天| 欧美va| 超碰9在| 丁香六月五月天| 婷婷成人五月天一区| 亚洲视频久久| 在线播放成人网站| 国产丁香五月天婷婷| 91窝窝| 久久激情视频| 五月婷婷在线网站| 丁香五月大香蕉AV| 九九热在线精品视频| 欧洲高清免费久久| 99亚洲精品视频| 操人91| 午夜做爱影院| 大香蕉五月天婷婷| 精品爱欲五| 综合激情五月婷婷| 日日干综合| 超碰在线观看成人视| 婷婷五月婷婷| 亚洲人成人五月天| 中文字幕av在线| 四川女人毛多水多A片| www.天天干| site:picc-up.com| 五月丁了香蕉综合| 97干在线视频| 色婷婷六月丁香综合欲精品| 五月激情啪啪| 九九99热| 伊人大香五月天| 久久无意婷婷| 青草五月天| 色婷婷裸体色性在线| 啪啪91| 日本丰满久久| 99精品在这里| 涩五月色婷婷| 金桔一区二区ab地址| 国产精品黑丝| 青草五月天| 99热99热在线| 激情久久四色| 激情熟女网| 免费看欧美成人A片无码 | 色噜噜婷婷| 婷婷狠狠操| 婷婷六月激情综合| 亚洲VA欧美VA| 九月av在线| 99噜噜噜在线播放| 五月天婷婷AV| 五月婷深深爱激情网| 97干在线播放| 爆乳熟妇一区二区三区四区| 欧美婷婷丁香五月社区| www.俺去也com| 婷婷八月激情| 色综合久久综合| 欧美三级巜人妻互换| www.久久久久久久| site:ornaments52.com| 色五月激情网| 日本久久极品| 中文字幕在线免费看线人| 综合久久久| 婷婷五月天美女视频| 亚洲一个色| 《久久综合九色综合97婷婷| 欧美日本韩国亚洲| 婷婷在线视频| 涩五月婷婷| 婷婷五月天亚洲图片| 欧美婷婷六月丁香综合色| 狠干综合| 日本一級黃色一級片| 五月婷婷片| 五月天色五月| 久久婷婷色五月| 婷婷在线观看五月天在线视频| 婷婷五月天中文字幕| 91久女| 色婷婷基地| 亚洲综合1024| 99爱视频在线观看这里只有精品| 婷婷激情五月天色| 亚洲色久| 五月天婷婷情色| 色婷婷久久9.com| 成人精品视频99在线观看免费| 亚洲综合99| 五月丁香六月婷婷姐| 色狠狠综合| xx色综合| 久久久久这里都是精品| 另类激情四射| 91干在线视频| 婷婷五月丁香基| 成人做爰A片免费看视频| 五月丁香| 九九re精品视频在线观看 | 热九九精品| 天天碰夜夜操| 激情六月天| 九九九九国产| 天天综合精品| 亚洲色在线观看| 第六色在线| 激情另类综合| 久色网| 色情久久久| 欧美婷婷丁香五月| 十二区无码| 国产高清av黄色看片| 99精品久久| 婷婷操逼| 婷婷中文无码| 久久久人妻久久久| 超碰免费大香蕉| 91xxxx九色| 日韩AV免费| 久久成人亚洲欧美电影| 四季8848精品成人免费网站| 天天操天天插| 99热官网精品在线| 色色吧综合| 青青草轻轻操| 激情婷婷六月天| 中文乱子伦视频| 天天爽天天摸| 五区毛片七区毛片| 少妇久久诱惑视频| 日日干日日s| 色在线五月天免费| 玖玖在线资源视频| 亚洲精品国产成人AV在线| 婷婷伊人75| 第四色大香蕉| 玖玖婷婷婷丁香五月| 亚洲爱婷婷| 激情丁香五月| 色站9/| 日韩黄色AV无码| 五月丁香久久色| 五月深情久久| 一区二区aV电影免费看| 日本99婷婷| 日韩成人综合| 秋霞少妇AV网站| 欧美综合激情| 黄色av高清| 久久久.www| 五月丿香啪啪| 97精品综合久久内射| 美欧成人视频| 婷婷激情人妻| 久久资源网五月婷| 久9精品| 久久久久亚洲AV成人无码电影| 六月婷婷av| 色9999日韩国产| 这里只有精彩小视频视频网站| 区区久久妻| 激情无码五月天| 9999热精品在线免费播放| 日日夜夜青青草| 婷婷激情鹿城五月天| 五月天成人在线| 五月天久久综合婷婷丁香| 色五月激情五月天| 日韩黄色电影| 性生活视频98791| 91狠狠综合久久| 丁香啪啪| 男同91| WwW色婷婷| 九九色情网五月天 | 色青青电影色五月| 亚洲不卡123| 日韩五月婷婷| 色婷婷偷拍| 伊人网欧美在线男人天堂五月丁香 | 97人人做| 久超超碰| 五月天婷婷久久| 少妇人妻人伦A片| 狠狠狠狠狠狠草| 婷丁香五月天| 97在线精品视频| 影音先锋女人av鲁色资源网小说免费 | 色欲丁香|