欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

可視化運(yùn)維監(jiān)控實(shí)戰(zhàn):從故障可見到可控可定位的完整體系搭建

可視化運(yùn)維監(jiān)控實(shí)戰(zhàn):從故障可見到可控可定位的完整體系搭建 干了這么多年運(yùn)維我最大的感觸是系統(tǒng)出故障不可怕可怕的是故障發(fā)生之后你盯著滿屏的告警郵件卻說不清楚現(xiàn)在到底是什么掛了、影響多大、從哪開始查。那種“明明知道出事了卻無從下手”的無力感比通宵加班更折磨人。可視化運(yùn)維監(jiān)控要解決的就是把這個(gè)過程從“靠猜、靠問、靠翻日志”變成“靠看、靠點(diǎn)、靠鉆取”讓故障從發(fā)生到定位有一條清晰的路。這篇文章我想圍繞“可見、可控、可定位”這三個(gè)關(guān)鍵詞把我自己做監(jiān)控體系搭建時(shí)的思路、工具選型、踩坑記錄和排查經(jīng)驗(yàn)完整梳理一遍。不管你是剛接手公司監(jiān)控系統(tǒng)的運(yùn)維新人還是準(zhǔn)備把現(xiàn)有監(jiān)控從“能用”升級到“好用”的負(fù)責(zé)人這篇文章應(yīng)該都能給你一些可以直接抄作業(yè)的參考。1. 故障可見監(jiān)控體系的地基是先讓你“看得見”1.1 你真正需要看見的是什么很多人一提到可視化監(jiān)控第一反應(yīng)就是“搞個(gè)大屏把 CPU、內(nèi)存、磁盤畫成花花綠綠的圖表”。這個(gè)方向不能說錯但太淺了。做了幾年監(jiān)控之后我總結(jié)了一句話可視化的本質(zhì)不是畫圖而是壓縮信息。你在一個(gè)面板上看到的每一個(gè)數(shù)字、每一條曲線都是在幫你回答四個(gè)問題什么東西出故障了影響面有多大持續(xù)了多久當(dāng)前是正在惡化還是在恢復(fù)所以第一步不是選工具而是先盤點(diǎn)你的監(jiān)控對象。一個(gè)典型的業(yè)務(wù)系統(tǒng)你至少要把下面幾個(gè)層面拆出來基礎(chǔ)設(shè)施層物理機(jī)或虛擬機(jī)的 CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)流量、硬件健康狀態(tài)比如 RAID 陣列卡、電源、風(fēng)扇。中間件層MySQL、Redis、Kafka、Elasticsearch 這些組件的連接數(shù)、主從延遲、內(nèi)存碎片率、隊(duì)列積壓量。應(yīng)用層接口的 QPS、響應(yīng)時(shí)間、錯誤率、JVM 或 Go runtime 的 GC 情況。業(yè)務(wù)層訂單量、支付成功率、用戶登錄失敗次數(shù)這些直接反映用戶體驗(yàn)的指標(biāo)。這四層缺哪一塊你的監(jiān)控面板都會“偏科”。只盯 CPU 和內(nèi)存你根本不知道 Redis 已經(jīng)積壓了幾萬條消費(fèi)消息只盯應(yīng)用日志你可能凌晨四點(diǎn)才會發(fā)現(xiàn)磁盤早就滿了。1.2 從采集到展示一條完整的數(shù)據(jù)鏈路可視化不是平白無故變出來的它背后是一條完整的數(shù)據(jù)管道。我自己搭監(jiān)控的時(shí)候習(xí)慣把它拆成四段來看采集從目標(biāo)機(jī)器或應(yīng)用里把指標(biāo)揪出來。最常見的開源方案是 Prometheus 的各類 exporter比如 node_exporter 負(fù)責(zé)機(jī)器基礎(chǔ)指標(biāo)mysqld_exporter 負(fù)責(zé)數(shù)據(jù)庫指標(biāo)redis_exporter 負(fù)責(zé) Redis 指標(biāo)。如果你的應(yīng)用是 Java 寫的還可以直接暴露 Micrometer 格式的端點(diǎn)讓 Prometheus 來抓。存儲指標(biāo)數(shù)據(jù)是典型的時(shí)間序列數(shù)據(jù)不適合往 MySQL 里塞。Prometheus 自帶 TSDB 存儲默認(rèn)保留時(shí)間夠用我一般設(shè)置 15 天左右如果要長期留存可以再接一套 Thanos 或者 VictoriaMetrics。展示Grafana 是繞不開的選擇它跟 Prometheus 配合得最舒服支持的圖表類型也足夠豐富從折線圖到熱力圖到儀表盤都能做。告警Prometheus 的 Alertmanager 負(fù)責(zé)根據(jù)規(guī)則觸發(fā)告警再通過 webhook 投遞到釘釘、企業(yè)微信、飛書或者郵件。這里我多說一句選型的事。經(jīng)常有人問我用 Zabbix 不也能做監(jiān)控嗎為什么非要用 Prometheus 這一套我的看法是Zabbix 在傳統(tǒng)網(wǎng)絡(luò)設(shè)備監(jiān)控和純內(nèi)網(wǎng)環(huán)境里確實(shí)很成熟但如果你有大量動態(tài)擴(kuò)縮容的容器環(huán)境或者應(yīng)用是微服務(wù)架構(gòu)Prometheus 的標(biāo)簽label設(shè)計(jì)、服務(wù)發(fā)現(xiàn)機(jī)制和活躍的生態(tài)會順手得多。反過來如果你公司環(huán)境非常固定、沒有容器化需求那 Zabbix 反而是省心選擇。工具沒有絕對的好壞只有跟場景合不合適。1.3 可視化大屏的設(shè)計(jì)信息分層比炫酷重要說到可視化大屏我得潑一盆冷水。很多人只看過那些數(shù)據(jù)大屏的 demo覺得“夠炫”就要求運(yùn)維也做一個(gè)。實(shí)際上真正在生產(chǎn)環(huán)境里扛過故障的監(jiān)控大屏設(shè)計(jì)原則是反著來的寧可樸素不可花哨。我后來把大屏信息分成三層第一層是全局健康度一眼掃過去就知道今天有沒有大事。這一層放最頂級的幾個(gè)數(shù)字比如整體可用率、當(dāng)前嚴(yán)重告警數(shù)、核心服務(wù)的平均延遲。我習(xí)慣給這層加顏色邏輯正常情況下綠色有 P0 告警就整塊變紅配合閃爍效果值班的人抬頭就能看到。第二層是趨勢和關(guān)聯(lián)讓你快速判斷故障是正在發(fā)展還是逐漸恢復(fù)。這里放核心服務(wù)的 QPS、錯誤率、P99 延遲再加幾條關(guān)鍵中間件的連接數(shù)和積壓量曲線。這層的重點(diǎn)是曲線不是數(shù)字因?yàn)橼厔荼人矔r(shí)值更能說明問題。第三層才是明細(xì)入口本質(zhì)上是“鉆取”的起點(diǎn)。大屏上每一個(gè)看起來能點(diǎn)的區(qū)塊背后都要能跳到對應(yīng)的 Grafana Dashboard甚至繼續(xù)下鉆到具體機(jī)器的具體進(jìn)程。我踩過最大的坑就是把大屏做成“數(shù)據(jù)堆砌”八塊屏幕全放著相似的折線圖真出了故障所有圖都在波動但你根本不知道先看哪一塊。后來我立了一條規(guī)矩每一屏只回答一個(gè)問題裝不下的問題就翻頁不要硬塞。2. 故障可控告警機(jī)制才是監(jiān)控的靈魂2.1 告警不是越多越好先學(xué)會分級可視化解決的是“看得見”但“看見”之后你得有動作否則多好看的大屏也只是個(gè)觀賞屏。告警體系說白了就是給監(jiān)控裝上手腳。告警最忌諱的是什么是“一視同仁”。如果磁盤快滿了和數(shù)據(jù)庫主從斷開的告警用的是同一個(gè)通知渠道、同一個(gè)優(yōu)先級那運(yùn)維人員遲早會對所有告警脫敏最后連真告警也被忽略了。我自己的分級邏輯是這樣的P0 級核心服務(wù)不可用、數(shù)據(jù)丟失風(fēng)險(xiǎn)、大面積故障轉(zhuǎn)移失敗。要求立即響應(yīng)通知到值班負(fù)責(zé)人和研發(fā)負(fù)責(zé)人支持電話和短信雙重轟炸。P1 級核心功能受損但還可用比如接口 P99 延遲翻倍、數(shù)據(jù)庫連接數(shù)逼近上限、Redis 內(nèi)存淘汰頻繁。要求 15 分鐘內(nèi)響應(yīng)。P2 級非核心功能異常或資源接近瓶頸比如某臺非核心機(jī)器 CPU 持續(xù) 90%、日志目錄磁盤使用率超過 80%。要求當(dāng)天處理。P3 級輕微波動、已知問題的重復(fù)提醒這類告警甚至可以選擇不通知只記錄在案。做這個(gè)分級的時(shí)候我一直提醒自己一句話告警的等級不能拍腦袋定要看它對業(yè)務(wù)的實(shí)際影響。一個(gè)冷門報(bào)表服務(wù)的 CPU 飆到 95%可能只是定時(shí)任務(wù)在跑不用拉響 P0但支付鏈路的 P99 延遲漲了 200ms哪怕絕對值也不高也得嚴(yán)肅對待。2.2 告警抑制與收斂躲開告警風(fēng)暴告警風(fēng)暴這個(gè)詞做過線上運(yùn)維的人一定不陌生。某個(gè)核心數(shù)據(jù)庫一抖動依賴它的幾十個(gè)服務(wù)全開始報(bào)告警一瞬間你的釘釘群、郵件、短信全炸了。我遇到最夸張的一次是某個(gè)基礎(chǔ)組件升級失敗觸發(fā)了級聯(lián)告警一晚上收到了 3000 多條通知真正有用的信息早就被淹沒在垃圾里了。從那次之后我認(rèn)認(rèn)真真研究了 Alertmanager 的抑制inhibit和路由分組group機(jī)制這才算把告警風(fēng)暴給管住。抑制規(guī)則的核心邏輯是如果出現(xiàn)了一個(gè)高級別告警那么由它引發(fā)的低級別告警都先閉嘴。舉個(gè)例子如果某個(gè)數(shù)據(jù)庫實(shí)例掛了它下面的所有主從延遲、連接數(shù)異常、慢查詢類告警都不要發(fā)了。我只需要知道“數(shù)據(jù)庫掛了”然后順著數(shù)據(jù)庫往下排查就行。分組機(jī)制解決的是“同類告警刷屏”的問題。比如一個(gè)服務(wù)有 30 個(gè)實(shí)例同時(shí)出現(xiàn) CPU 告警不需要發(fā) 30 條消息應(yīng)該按告警名分組一條消息里列出哪些實(shí)例受影響就夠。我通常把 group_by 設(shè)置成告警名稱和告警級別這樣同類告警會被合并到同一條通知里。這里有一個(gè)我能直接分享的 Alertmanager 配置片段核心就是 inhibit 規(guī)則inhibit_rules: - source_matchers: - severityP0 target_matchers: - severityP1|P2 equal: - alertname這個(gè)規(guī)則的意思是如果存在 P0 告警那么相同 alertname 的 P1 和 P2 告警都會被抑制。有了這個(gè)兜底級聯(lián)故障時(shí)消息量至少能砍掉七成。2.3 通知路由讓告警找到對的人告警被收斂之后下一個(gè)問題是發(fā)給誰不同團(tuán)隊(duì)的職責(zé)邊界不一樣基礎(chǔ)架構(gòu)告警應(yīng)該讓基礎(chǔ)設(shè)施團(tuán)隊(duì)看到業(yè)務(wù)應(yīng)用告警應(yīng)該讓對應(yīng)業(yè)務(wù)的研發(fā)收到。我見過很多公司是一個(gè)大群接收所有告警結(jié)果就是“人人都在群里人人都不覺得該自己動手”。我的做法是給告警規(guī)則打上團(tuán)隊(duì)標(biāo)簽通過 Alertmanager 的 route 做分叉。每個(gè)團(tuán)隊(duì)獨(dú)立的釘釘群或企業(yè)微信機(jī)器人只接收跟自己相關(guān)的告警。只有 P0 級告警才會廣播到所有管理者和核心負(fù)責(zé)人確保一件事情有且只有一個(gè)第一責(zé)任人。通知內(nèi)容本身也非常重要。純文字告警說“CPU 高”沒有任何上下文等于沒報(bào)。我一般在告警模板里帶上這幾樣?xùn)|西告警對象、當(dāng)前指標(biāo)數(shù)值、持續(xù)了多長時(shí)間、對應(yīng)的 Grafana 面板鏈接、最近一次變更記錄。讓收到消息的人不用再登機(jī)器查一遍才知道發(fā)生了什么。2.4 告警自愈把重復(fù)勞動交給自動化告警可控的更高一級形態(tài)是讓一部分告警根本不需要人處理。運(yùn)維時(shí)間應(yīng)該花在復(fù)雜故障上而不是每天重復(fù)“重啟一下服務(wù)”這種瑣碎操作。我碰到過一種場景某個(gè)定時(shí)任務(wù)每天凌晨都會把內(nèi)存吃滿然后觸發(fā) OOM 告警值班同事每天到點(diǎn)手動重啟。后來我把這個(gè)操作做成了告警聯(lián)動Prometheus 觸發(fā)特定告警后通過 webhook 調(diào)起一個(gè)腳本檢查服務(wù)進(jìn)程、清理緩存、自動重啟并記錄操作日志。只要自愈成功告警會自動關(guān)閉人只需要第二天看總結(jié)報(bào)告確認(rèn)這不是一個(gè)需要根治的問題。不過自愈要克制只對“動作明確、風(fēng)險(xiǎn)低、可回滾”的操作開啟。比如自動重啟一個(gè)無狀態(tài)服務(wù)是可以的自動切換數(shù)據(jù)庫主從或者自動清理數(shù)據(jù)這類高風(fēng)險(xiǎn)操作還是老老實(shí)實(shí)讓值班人員確認(rèn)后再執(zhí)行。3. 故障可定位從“知道掛了”到“知道為什么掛”3.1 可觀測性的三支柱指標(biāo)、日志、鏈路追蹤可視化大屏可以讓你一秒發(fā)現(xiàn)“訂單服務(wù)響應(yīng)變慢了”但這只是開始。真正困難的是從“變慢”定位到“是 SQL 慢查詢導(dǎo)致的還是下游 Redis 抖動導(dǎo)致的還是 GC 停頓導(dǎo)致的”。所以我一直強(qiáng)調(diào)可視化只是入口定位故障需要完整的可觀測性體系。業(yè)內(nèi)常說的三支柱——指標(biāo)Metrics、日志Logs、鏈路追蹤Traces一個(gè)都不能少。指標(biāo)回答“發(fā)生了什么”比如延遲升高、錯誤率上升。這部分由 Prometheus 負(fù)責(zé)。日志回答“細(xì)節(jié)是什么”比如報(bào)錯堆棧、參數(shù)內(nèi)容、具體的 SQL。由 Loki、Elasticsearch 或 ClickHouse 負(fù)責(zé)。鏈路追蹤回答“問題出在哪個(gè)環(huán)節(jié)”一次請求經(jīng)過了 A、B、C、D 四個(gè)服務(wù)時(shí)間都耗在哪了由 Jaeger 或 Zipkin 負(fù)責(zé)。三者缺一不可。沒有指標(biāo)你連“故障發(fā)生的時(shí)間點(diǎn)”都難確定沒有日志你找到了異常服務(wù)卻不知道它具體報(bào)了什么錯沒有鏈路追蹤微服務(wù)架構(gòu)下你根本不知道一次慢請求到底慢在哪個(gè)下游。3.2 從可視化面板“鉆取”到根因我追求的效果是一個(gè)人在 Grafana 上看到某條指標(biāo)不對勁點(diǎn)一下能直接跳到對應(yīng)的日志搜索頁和鏈路查詢頁。具體做起來就是統(tǒng)一標(biāo)簽。Prometheus 指標(biāo)里有 service、instance 這些標(biāo)簽日志在采集進(jìn) Loki 時(shí)也打上相同的 service、instance 標(biāo)簽鏈路追蹤同樣帶上這類元信息。這樣在 Grafana 里通過 Explore 功能就能實(shí)現(xiàn)“指標(biāo)查詢”和“日志查詢”的聯(lián)動。舉個(gè)例子我在 Grafana 看到order_service_http_requests_total這個(gè)指標(biāo)的錯誤率突然升高我點(diǎn)擊面板上的“View logs”按鈕Grafana 會自動跳轉(zhuǎn)到 Loki 查詢頁面并且?guī)?serviceorder-service 這個(gè)過濾條件。再點(diǎn)一下具體的 trace_id就能看到整條請求鏈路上每個(gè)服務(wù)耗時(shí)多少、哪一步返回了 5xx。整個(gè)過程不需要手動復(fù)制粘貼查詢語句也就大大縮短了故障定位的時(shí)間窗口。這個(gè)聯(lián)動機(jī)制我強(qiáng)烈建議每個(gè)做監(jiān)控的人都去配一下因?yàn)樗拇_是我這些年用下來單位時(shí)間收益最高的一個(gè)功能。3.3 K8s 集群場景故障轉(zhuǎn)移時(shí)該盯哪些指標(biāo)說到故障定位不得不提 K8s 集群?,F(xiàn)在生產(chǎn)環(huán)境用 K8s 的團(tuán)隊(duì)越來越多而 K8s 的故障有個(gè)特點(diǎn)很多故障直接影響用戶但故障源藏在很深的調(diào)度和編排層。比如一個(gè)節(jié)點(diǎn)出了問題Pod 被重新調(diào)度到其他節(jié)點(diǎn)這個(gè)過程本身有自愈能力但如果節(jié)點(diǎn)頻繁 NotReady、Pod 不斷 Evicted業(yè)務(wù)就會間歇性抖動。這種故障光盯業(yè)務(wù)指標(biāo)很難看出來你看到的只是錯誤率曲線像鋸齒一樣波動但找不到規(guī)律。我的建議是K8s 的監(jiān)控必須分層做控制面層API Server 的請求延遲和錯誤率、etcd 的 fsync 耗時(shí)和 leader 穩(wěn)定性。etcd 一旦出問題整個(gè)集群都會受影響。節(jié)點(diǎn)層節(jié)點(diǎn)的 CPU、內(nèi)存、磁盤壓力尤其要盯kubelet的 heartbeat 延遲。工作負(fù)載層Pod 重啟次數(shù)、Pending 狀態(tài)的 Pod 數(shù)量、副本數(shù)與期望副本數(shù)的差值。資源層HPA 的擴(kuò)縮容事件、資源限額LimitRange有沒有導(dǎo)致容器頻繁被殺。這里有個(gè)很典型的案例有一次我們公司的業(yè)務(wù)偶爾抖動現(xiàn)象是每隔幾分鐘就有幾條 502。一開始所有人都在看網(wǎng)關(guān)日志排查了半天沒結(jié)果。后來我拉出了 K8s 節(jié)點(diǎn)層指標(biāo)發(fā)現(xiàn)某個(gè)節(jié)點(diǎn)的磁盤 IO 延遲周期性飆升再往下查原來是那個(gè)節(jié)點(diǎn)上跑了一個(gè)寫日志特別頻繁的 Pod把節(jié)點(diǎn)磁盤 IO 打滿了導(dǎo)致 etcd 心跳超時(shí)觸發(fā)了 Pod 驅(qū)逐。業(yè)務(wù)側(cè)看只是偶發(fā) 502但真實(shí)原因在基礎(chǔ)設(shè)施層。這就是分層監(jiān)控的價(jià)值也是鏈路追蹤替代不了的排查路徑。3.4 硬件級故障別讓 RAID 陣列卡成為盲區(qū)軟件層的監(jiān)控大家比較熟悉但硬件層的故障很多人會忽略。這幾年我在實(shí)際運(yùn)維中吃過一次虧就是服務(wù)器用的是 RAID 陣列卡硬盤快故障預(yù)故障狀態(tài)時(shí)系統(tǒng)層面完全沒有明顯異常直到有硬盤徹底掉線陣列降級甚至數(shù)據(jù)重建失敗才追悔莫及。這里我要推薦一個(gè)實(shí)踐用 storcli 或 megacli 監(jiān)控 RAID 卡狀態(tài)并把結(jié)果暴露成 Prometheus 指標(biāo)。比如 LSI 9361-8i 陣列卡可以通過定時(shí)執(zhí)行storcli /c0 /vall show來獲取每個(gè)硬盤的狀態(tài)重點(diǎn)關(guān)注“Predictive Failure”或“Media Error”這類預(yù)警信息。把這些輸出解析成指標(biāo)后接入 Grafana再配上告警規(guī)則就能在硬盤剩余壽命耗盡之前及時(shí)發(fā)現(xiàn)把故障消滅在“還沒影響業(yè)務(wù)”的階段。有次我朋友的服務(wù)器就是預(yù)先報(bào)出了“Predictive Failure”提前做了數(shù)據(jù)遷移后來那塊硬盤果然在幾天之內(nèi)徹底壞掉了但因?yàn)樘崆疤幚砹藰I(yè)務(wù)一點(diǎn)沒受影響。這種硬件監(jiān)控你說它是可視化也好是告警也罷核心價(jià)值就是讓你把故障定位在最早期、代價(jià)最小的階段。4. 一個(gè)完整的排查實(shí)戰(zhàn)Redis 主從切換的監(jiān)控與定位4.1 故障現(xiàn)象業(yè)務(wù)側(cè)延遲突增我覺得理論講再多不如完整過一遍案例。這里我挑一個(gè)比較典型又不復(fù)雜的故障Redis 集群主從切換。某天下午我們收到告警說訂單服務(wù)的 P99 延遲從 20ms 跳到了 800ms持續(xù)時(shí)間大概兩分鐘。但詭異的是等我們打開 Grafana 想看曲線時(shí)延遲已經(jīng)恢復(fù)了。這種“過去式”故障最讓人頭疼。我當(dāng)時(shí)的排查邏輯是這樣走的。先看訂單服務(wù)的應(yīng)用指標(biāo)面板發(fā)現(xiàn)延遲曲線確實(shí)有個(gè)尖峰同時(shí)錯誤率并沒有升高說明服務(wù)沒掛只是變慢。接著看下游依賴的中間件面板發(fā)現(xiàn) Redis 的連接數(shù)有個(gè)斷崖式下跌又快速回升的過程這通常是主從切換的典型特征。再點(diǎn)開 Redis 實(shí)例面板確認(rèn)了確實(shí)發(fā)生過一次 failover切換過程中部分請求因?yàn)檫B接重連而出現(xiàn)了延遲尖峰。4.2 定位過程從指標(biāo)到日志再到底層原因確認(rèn)了“Redis 發(fā)生過主從切換”之后下一個(gè)問題就是為什么會切換我按照下面的順序查下去第一步看 Redis 的日志我這里是用文件采集接入日志平臺做全文檢索的。主從切換分為主動切換和被動切換。被動切換通常是因?yàn)橹鞴?jié)點(diǎn)失聯(lián)哨兵或集群檢測到心跳超時(shí)后發(fā)起的選舉。日志里如果看到failover-election相關(guān)的記錄說明走的是被動流程。第二步看主節(jié)點(diǎn)的健康指標(biāo)。我打開了主節(jié)點(diǎn)的監(jiān)控面板發(fā)現(xiàn)切換發(fā)生前CPU 使用率有一個(gè)階梯式上升內(nèi)存碎片率也異常偏高。這提示我主節(jié)點(diǎn)當(dāng)時(shí)可能已經(jīng)處于“亞健康”狀態(tài)只是還沒有徹底宕機(jī)。第三步順著排查底層的資源限制。登錄主節(jié)點(diǎn)機(jī)器確認(rèn)是集群規(guī)格偏小內(nèi)存被大量緩存數(shù)據(jù)占滿觸發(fā)了頻繁的內(nèi)存淘汰淘汰過程帶來額外 CPU 開銷最后在高峰期撐不住了觸發(fā)了故障轉(zhuǎn)移。到這里整條鏈就串起來了業(yè)務(wù)延遲升高 → Redis 主從切換 → 主節(jié)點(diǎn)資源不足、內(nèi)存淘汰嚴(yán)重 → 集群規(guī)格需要擴(kuò)容。4.3 這次故障暴露的問題事后我復(fù)盤發(fā)現(xiàn)這次故障其實(shí)在半小時(shí)前就有征兆內(nèi)存監(jiān)控面板上used_memory 早就逼近 maxmemory 了只是當(dāng)時(shí)值班的人沒有把“內(nèi)存水位”和“故障轉(zhuǎn)移”這兩件事關(guān)聯(lián)起來看。所以我在 Grafana 里專門建了一個(gè)“Redis 健康總覽”面板把內(nèi)存使用率、內(nèi)存淘汰鍵數(shù)、主從切換次數(shù)、集群狀態(tài)這幾個(gè)關(guān)鍵指標(biāo)放在同一個(gè)頁面。再加一條告警規(guī)則當(dāng) Redis 內(nèi)存使用率連續(xù) 5 分鐘超過 85%并且內(nèi)存淘汰鍵數(shù)開始增長時(shí)自動升為 P1 告警。這樣下次還沒到故障轉(zhuǎn)移那一步我們就能提前介入。這套做法也可以平移到其他中間件上核心思路就是不要等故障發(fā)生了才開始定位把可能導(dǎo)致故障的隱患點(diǎn)預(yù)先做成可視化和告警故障才會真正“可控”。5. 落地過程中我踩過的坑5.1 儀表盤“好看但沒用”的陷阱做監(jiān)控可視化的第一年我花了很多時(shí)間整 Grafana 的排版、配色、交互做出來的面板截圖發(fā)到群里大家都說漂亮。但真有一次線上事故那個(gè)漂亮的儀表盤竟然沒能幫我快速定位問題我才醒過來。原因是儀表盤上的圖表粒度太粗時(shí)間范圍默認(rèn)是 6 小時(shí)故障發(fā)生前 5 分鐘的變化曲線在這種視圖下被拉平成了一條幾乎看不見的毛刺。等我手動把時(shí)間范圍縮到 15 分鐘才發(fā)現(xiàn)異常早就開始了。這是我的第一個(gè)經(jīng)驗(yàn)儀表盤默認(rèn)時(shí)間范圍一定不能太長。我自己現(xiàn)在的默認(rèn)值是 1 小時(shí)關(guān)鍵面板甚至默認(rèn) 30 分鐘。另外每個(gè)核心服務(wù)都要準(zhǔn)備兩套視圖一套是“總覽版”適合長期盯屏一套是“排障版”默認(rèn)時(shí)間短、粒度細(xì)還帶自動刷新適合點(diǎn)擊進(jìn)入后直接判斷。5.2 數(shù)據(jù)采集本身的誤差可視化監(jiān)控依賴的是采集數(shù)據(jù)但采集過程本身也會引入誤差這個(gè)很多人沒意識到。最典型的是 Prometheus 的拉取機(jī)制如果你使用scrape_interval默認(rèn)的 15 秒那某些持續(xù)時(shí)間很短的問題比如只有 30 秒的 CPU 毛刺很可能被漏掉。我還碰到過一次非常搞笑的誤判因?yàn)?node_exporter 采集腳本里用了rate()函數(shù)去計(jì)算磁盤 IO但沒有處理 counter 重置的問題導(dǎo)致磁盤 IO 指標(biāo)在 Grafana 上畫出來的曲線像鋸齒一樣瘋狂跳動告警規(guī)則差點(diǎn)誤報(bào)。所以我的建議是監(jiān)控告警規(guī)則上線之前一定要拿歷史數(shù)據(jù)“回測”一遍。把過去一周的真實(shí)指標(biāo)數(shù)據(jù)拉到告警規(guī)則里跑一遍看它會在哪些時(shí)間點(diǎn)觸發(fā)觸發(fā)的告警是不是都真實(shí)有效。這個(gè)動作成本不高但能幫你省掉深夜被誤報(bào)警吵醒的痛苦。5.3 告警渠道失靈發(fā)了等于沒發(fā)告警鏈路的最后一環(huán)是通知渠道。我遇到過企業(yè)微信機(jī)器人 webhook 地址配錯、消息發(fā)不出去結(jié)果整個(gè)團(tuán)隊(duì)在故障期間完全沒收到提醒的情況。更尷尬的是那時(shí)候所有人都在排查為什么服務(wù)沒告警結(jié)果發(fā)現(xiàn)是 webhook 掛了。這個(gè)問題的解決辦法說穿了也不復(fù)雜告警鏈路本身也要監(jiān)控。Alertmanager 自己會暴露指標(biāo)比如alertmanager_notifications_total我把這個(gè)指標(biāo)接入 Grafana并設(shè)了一條規(guī)則如果通知投遞失敗率連續(xù) 10 分鐘超過 50%就通過備用渠道短信通知到值班人。第二道保險(xiǎn)是每周自動發(fā)送一次“告警自檢報(bào)告”里面列出本周所有告警是否都成功送達(dá)。這樣至少能保證告警通道本身不成為盲區(qū)。5.4 給新手的落地順序建議最后說一下我建議的落地順序。很多人一上來就想搞一套完備的可觀測性平臺結(jié)果項(xiàng)目體量太大最后不了了之。我的建議是三步走第一步先把基礎(chǔ)監(jiān)控做扎實(shí)。用 Prometheus node_exporter 把機(jī)器指標(biāo)管理起來再接入 Grafana配上最基礎(chǔ)的 CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)告警。即使只有這些東西已經(jīng)能覆蓋相當(dāng)一部分基礎(chǔ)設(shè)施故障了。第二步接中間件和應(yīng)用指標(biāo)。把公司里最核心的 MySQL、Redis、Kafka 等組件指標(biāo)接進(jìn)來應(yīng)用自己暴露的 HTTP 指標(biāo)或 JVM 指標(biāo)也想辦法接到 Prometheus。建好 3 到 5 個(gè)核心業(yè)務(wù)儀表盤。第三步再考慮日志聯(lián)動、鏈路追蹤、告警自愈這些進(jìn)階能力。不用貪多每加一塊都要保證它是真正被用起來的不然就是維護(hù)負(fù)擔(dān)。按照這個(gè)順序走通常兩到三周就能讓監(jiān)控體系從“沒有”變成“初步可用”之后隨著對業(yè)務(wù)的深入理解再逐步迭代而不是一開始就鋪一個(gè)大攤子。我個(gè)人做了這么多年可視化運(yùn)維監(jiān)控最大的體會是監(jiān)控本質(zhì)上是在跟時(shí)間賽跑可視化、告警、鏈路追蹤所有這些技術(shù)手段最終目的都是把故障定位的時(shí)間從小時(shí)級壓縮到分鐘級。每個(gè)系統(tǒng)、每個(gè)團(tuán)隊(duì)的情況都不一樣但方向是一致的——讓故障可見、可控、可定位這三件事做到了運(yùn)維的底氣就完全不一樣了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲mm色| 狠狠色婷婷7777久| 五月综合色| 停停五月丁香| 丁香五月偷拍| 原琪琪色影院| 丁香婷婷影院| 国产精品久久久久久久久久久久| 日韩色色色色| 婷婷五月综合中文字幕| 99色免费| 91狠狠综合网| 丁香五月婷婷啪| 久久九九怡红院| 五月天激情站| 热99这里只有精品视频| 亚洲国产va| 999影院成人在线影院| 久久深爱激情网| 婷婷五月天资源| 亚洲人成人五月天| 六月亚洲婷婷6月中文字幕| 色五月综合网| 天天做天天爱天天爽在| 天天色综合网吨吧| 五月婷婷av| 六月丁香五月天| 99色视频| 欧美25p| 热99这就是精品视频| 婷婷五月天视频在线观看| 丁香六月天色婷婷| A久久| 五月丁香色婷婷| 婷婷五月精品中文字幕| 婷婷久久五月| 无码碰碰| 99九无网码| 91精品婷婷国产综合久久| 99热精品在线| 色婷婷影音| 99热99这里有免费的精品| www夜夜操comwww| 婷婷激情视频欧美视频自拍视频欧美剧 | 内射在线CHINESE| 色五月丁香91| 欧美色偷拍| 成人AV免费观看| 婷婷丁香色五月天久久88| 婷婷丁香五月激情中文字幕版| 五月天婷婷色小说| 欧洲色色| 涩涩五月天| 97超碰免费超级在线观看| 大鸡巴伊人网| 久99视频| 五月婷婷六月奇米网丁香| 欧美色色色色色| 91色色色| 久9综合| 9l视频自拍9l九色9l成人| 91色色色| 亚洲综合视频一下| 丁香五月AV| 五月婷婷在线视频| 色播激情| 三级黄网站| 日本熟妇人妻在线| 久久精品99久久久久久| 极品人妻VIDEOSSS人妻| 奇米网大香蕉| 欧美在线骚货| 久久这里只有精品热在99| 武则天精品久久| 色婷婷久久| 久久婷五月影院| 欧美在线操| 激情开心五月婷婷| 色婷婷先锋| 99久久综合| 免费观看日韩成人av| 九九99九九99偷拍视频免费看| 九九热这里都是精品6| 亚洲狠狠狠| 色婷婷操逼| 国产精产国品一二三在观看| 亚洲无码成人网| 欧美狠狠草| 丁香五月天在线| 亚洲永久四色| 天天久久婷婷| 精品一二三区视频立| 色色哒五月婷婷六月丁香| 中文字幕成人| 亚洲AV成人一区二区在线观看| 九九综合色综合| 婷婷激情五月综合基地| 激情文学久久| 9在线9在线婷婷在线国产| 狠狠综合| 色五月五月天色婷婷色五月| 无码激情AAAAA片-区区| 婷婷中文在线| 怡红院视频| av在线资源| 天综合日日夜综合7799| 五月天婷婷网站| 97人妻碰碰碰久久香蕉| 激情五月婷婷丁香综合网| 国产成人网址| 丁香五月激情综合| 亚州第一黄网| 婷久看人爽| 强伦轩人妻一区二区电影| 亚洲精品久久久无码| 综合色网站| 亚洲十月婷婷综合| 深爱激情六月天| 91九九精品| 婷婷激情丁香五月天综合| 色五月婷婷九月| 国产人妻人伦精品一区二区| 精品久热| 91人操| ztEJj| 色婷婷丁香五月| 欧美激情综合五月色丁香| 成人做爰高潮A片免费视频| 婷婷婷久久久| 五月丁香六月婷婷操操操| 国产精品色色| 久热视频A.| 久久免费精彩视频| 人人操碰| 久久精品66| 97色干| 丁香五月天天| 玖玖精品视频| 天天综合网~91| 久久亚洲色导航| 久操97| 日韩av免费版| 久久开心五月婷婷| 专区无日本视频高清8| 亚洲精品国产成人AV在线| 丁香五月电影| 99热亚州综合| 色五狠狠| 婷婷五月,综合伊人| 无码一区二区日韩| 99热66| 色婷婷88| 91九色精品| 一区二区三区四区牛| 丁香五月人妻熟女| 开心五月色婷婷综合开心网| 婷婷五月天直播| 开心婷婷五月| 婷婷香香五月| 99热在线精品观看| 久热9| 超碰在线9| 综合日本婷婷| 五月丁香六月婷婷网| 蜜桃婷婷丁香综合久久开心亚洲| 手机看片日日做夜夜| 伊人在线视频| www.天天干.com| 开心激情网在线| 国产免费一区二区三州老师F1F1| 激情99热| 亚州操逼网| 日撸夜撸日操| 91色五月在线观看| 99爱免费视频| 97人人操人人拍| 亚洲中文乱字字幕线在永久| 丁香综合| 99成人免费热视频| 婷婷色色色| 亚洲XX日本| 激情丁香五月婷婷| 丁香五色月婷婷网| 97色婷婷| 激情九九综合网| 黄色国久久| 婷婷色香六月综合激情| 91蝌蚪窝视频在线| 99热在线免费| 五月丁香激情啪啪网| 狠狠五月激情丁香六月| 成年视频免费观看| 九九人人精品| 精品少妇人妻AV无码专区偷人| 婷婷六月丁香开心深深爱| 亚洲精品视频在线播放| 天天成人综合| 婷婷中文字幕欧美| 欧州色色| 精品视频网| 玖玖资源站中文| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 狠狠色成人影片| 久久婷婷五月天激情新地址| 久久久久婷婷| 日韩精品色| WWW.亚洲无码| 激情五月天婷婷在线网址发给我| 成人午夜免费电影| 日韩操人| 91热er| 亚洲综合激情五月久久| 一月婷婷色色| 色综合99| 五月天激情AAAA| 人操综合| 激情丁香五月| 婷婷丁香69精华| 天天综合精品| 色婷婷亚洲在线| 激情文学综合婷婷五月天丁香花| 在线可以看的av网址| 国产女人十八水真多1| 狠狠高潮精品亚洲1| 操操操91| 日本色婷婷| 天天天久久久| 欧美A片在线视频免费观看| 99精品视频网站| 91好好热日本在线| 欧美性爱五月天| 五月丁六月香av| 九九精品免费视频99| 五月丁香另类图片| 婷婷五月天成人网| 丰满少妇猛烈A片免费看观看| 色综合久久天天综合网| 艹天天射| 丁香五月欧美| 华人在线免费| 91精品在线看| 97超碰,人人舔,人人操,人人摸| 夜夜撸日日骑| 色播六月| 91妻人人爽人人看片| 婷婷丁香激情综合色情| 在线看片av| 99视频只有精品| 婷婷丁香综合成人| 色综合久久88色综合天天99| 欧美性猛交99久久久久99按摩| 激情五月视频在线婷婷| 五月婷婷人人人操| 另类激情首页| 色狠狠激情五月| 97大香蕉五月天| 色99色| 大香蕉520| 欧美性生交xXxX久久久| 久久综合影院| 色五月视频无码播放| 丁香五月婷婷欧美成人色图| 人人操av| 狠狠xx| 综合网色| 嘿嘿视频免费看9| 六月婷婷av| 激情五月综亚网| 99热观看| 狠狠综合网| 青青草原精品久久| 色六月丁香婷婷啪啪啪| www.久久久久久久久久.com| 婷婷爱五月天| 欧美xx激情视频在线观看| 婷婷综合网| 色婷婷8| 九九色欲网| 内射丰满人妻| 99热综合网| 欧美大片免费观看| 中文无码婷婷| 婷婷色激情五月天| 五月婷色| 亚洲色五月婷婷| 激情五月婷婷视频一区二区三区| 天天久| 综合激情啪啪| 色情五月综合婷婷| 久9视频免费播放| oumeisesewang| 成人AV网站在线| 99综合网| 9精品在线| www.五月天。com| 91色噜噜狠狠狠狠色综合| 欧美性色A片免费免费观看的| 亚洲综合另类| 色婷婷五月天小说网| av在线中文| 99丁香五月| 五月婷婷六月丁香| 亭亭玉月丁香| 99只有这里是精品| 婷婷五月天成人导航| 五月激情久久| 亚洲亚洲人成综合网络| 婷婷在线免费| 久久99热这里只有精品 | 色噜噜狠狠色综合无码久久欧美| 日韩啪图| 色欧美一级| 久久久婷| 97亚洲婷婷| 亚州精品久久久久AV无码| 色色激情| 色婷婷五月综合在线| 久草婷婷网 | 直接看的AV| 天天爽夜夜操| 色综合色综合网| 久久综合香蕉国产国产蜜臀AV| 人人摸人人干| 六月激情婷婷| 大香蕉久久婷婷精品综合| 丁香六月天婷婷开心综合| 99er6免费视频热播| 黄色一极大片| 91人无码久久久久久| 丰满老熟妇BBBBB搡BBB| 天天爽夜夜操| 九九99久久| 激情婷婷五月天| 久久人妻在线| 五月婷婷之六月丁香| www.婷婷五月天,com| 996热re视频在线观看视频| 97碰碰碰免费公开在线视频| 亚洲男女激情| 综合激情五月天| 青青草成人网| 99精品免费欧美小视频| SS丁香五月婷婷| 亚洲色激婷| 激情五月丁香五月| 综合AV在线| 伊人玖玖综合| 九 九九九AV| www久视频com| 国产成人精品123区免费视频| 99久久激情视频| 五月天天综合| 色五月综合| 操射国产日本| 五月天激情啪啪| 九九一综合精品| 26uuu美女三级视频| 激情色五月天| 极品精品一区二区三区在线| 操B视频在线播放| 激情又色又爽又黄的A片| 日日杆天天| 精品婷婷| 丁香九月激情| 激情五月天在线视频| 99视频久久| 日韩在线视频网站| 亚洲成人AV在线观看| 欧洲色| 五月天婷婷无码| 五月婷视屏在线观看| 婷婷五月天电影在线| A A色色| 超碰AAAAAAV| www.狠狠狠.com| 天天爽天天弄| 丁香五月天av| 这里只有精品视频在线看| 五月丁香六月欧美| 五月丁香花婷婷玉莉AV| 91成人性爱视频| 日本颜色视频人人爱| 五月天俺去也| 天天日夜夜拍| 这里只有久久精99| 99综合| 丁香成人五月天| 天天色天天| 夜夜躁爽日日| 日本一毛片| 五月丁香婷中文| 久久五月激情综合| 五月综合久久| 国外亚洲成AV人片在线观看| 97在线观视频免费观看| 狠狠爱青青草| www色哟哟| 操婷婷基地| 欧美人人女女精品综合五月天| 草榴视频网| 99久久99久久| 91碰碰| 99国产小视频2013| 色播五月丁香综合| 99国产小视频| 色色色网站| 欧美视频五区| 九九亚洲| 成人在线观看精品| 丁香五月综合激情久久潮喷| 99日精品视频| 99五月丁香丁| 狠狠狠激情网| 欧美色爱五月天| 婷婷五月天av| 婷婷五月丁香香蕉| 狠狠精品干练久久久无码中文字幕 | 国产XXXX搡XXXXX搡麻豆| 婷婷五月,综合伊人| 七七色综合| 4438成人电影| 九九视频免费| 去干网最新版本亚洲版| 久久久久人妻网址| 五月婷在线观看| 色999;丁香五月| 97在线观视频免费观看| 91亚洲免费片| 人人操AV| 九九操综合网| 欧洲色色| 99精品在这里| 人人妖人人97| 在线观看亚洲视频影院| 天天综合久久| 99小视频网站| 99久久久免费| 99国产精品久久久久久久久久久| 五月丁香偷拍| 玖玖视频福利| 淫荡综合网| 婷婷丁香六月| 99热免费| 色九月综合| 99干日本| 开心五月婷婷在线视频免费观看| 婷婷久久色| 久久三级视频| 丁香五月影| 丁香五月综合久久综合| 色婷婷五月天天天天天| 婷婷噜噜| 五月婷婷啪啪| 天天婬色综合| 97碰在线视频| 伊人网色婷婷五月天| 婷婷五月天在线观看| 九九在线视频| 超级久久久| 91Chinese在线| 婷婷日日天天| 超碰女人天堂| 99久久超级| 99在线视频精品| 六月婷婷狠狠| 亚洲精品99| 99热91| 自拍视频在线观看9| 丁香六月婷婷| 婷婷色五月色| 婷婷五月色| 91综合色噜噜| se色99| 九九在线精品| 99爱视频| 成人丁香色| 思思色综合网站| www.91在线观看| 成人精品视频99在线观看免费| 91无码高清| 欧美综合激情五月丁香| 日韩在线视频网站| 操91综合网| 五月丁香久久综合| 欧美美美女性色视频| 婷婷五月色播| 婷丁香五月天| 久久在线人妻| 久久99热这里只有精品| 婷婷五月天丁香激情| 丁香五月天激情五月天激情五月天激情网| 天天色视频| www.色综合| 日本97久久久精品| 狠狠干青青草| 丁香五月天激情视频| 91窝窝| 九九99视频精品| 久9免费视频| 日韩成人不卡| 99色区| 亚洲色频| 天天操天天干天天射| 五月丁欧美| 婷婷综合在线| 五月婷婷久久大片| 婷丁香久综合| 996er热| 无码人妻一区二区一牛影视| 五月丁香综合伦理片| 亚洲综合五月天婷婷丁香| 婷婷五月综合中文字幕| 97激情五月天| 色色网站| 丁香五月区| 亚洲日韩欧美综合VA| 婷婷丁香社区| 久久综合丁香五月| 激情床戏| 99热久97| 人人爱人人添| 99原创自拍视频在线观看| 五月婷婷中文字幕| 99热免费在线| 九九热9| 综合激情五月综合激情五月激情1| 色婷婷亚洲| 综合精品99| 操一操插一插| 99国产精品白浆在线观看免费| 免费黄色视频网址| 久久五月天色婷婷| 激情丁香五月AV| 久久66成人网站| 国产亚洲成AV人片在线观黄桃| 超碰人人草| 成人在线视频一区| 亚洲欧洲一二| www.五月天。com| 久热这里| 97丁香花五月天激情小说| 久久五月激情综合| 日韩另类在线观看| 夜夜谢天天干| 午夜福利8055| 五月婷婷中文字幕| 久久天堂女人| www.激情五月天com| 少妇伦子伦精品无吗| 日韩欧美一区二区三区四区| 激情综合网五月天| 久久激情视频| 色色色欧美| 手机在线日韩视频中文字幕| 无码髙清| 9999热在线观看| 色亚洲激情| 丁香六月综合| 99在线亚洲| 人妻免费网站| 亚洲小视频| 亚洲xx在线| 秋霞影音91人妻久久| 五月婷婷六月色| 91狼友视频网页更新| AⅤ色区| 亚洲精品白浆高清久久久久久| 91精品电影18T| 97香蕉碰碰人妻国产欧美| 99热99成人| 亚洲99综合| 久久久8| 色婷丁香| 久久XX| 色五月亚洲| 快乐婷婷五月天| 丁香六月综合激情| tingting五月天亚洲| 亚洲人妻av伦理| 美女婷婷六月色| 少妇熟女视频一区二区三区| 色综合五月婷婷狠狠干| www婷婷色| 天堂AV在线看| 日韩啪图| 九色啦蜜臀| 五月天之色情综合网| 类似婷婷激情综合网站| www.黄色片-久久成人国产精品在线播放-999AV| 色播五月综合网| www.夜夜操| 手机AVAV天堂看网| 狠狠色综合图片| 99re8这里只有精品99re8热视频| 91在线日本| 91超碰在线播放| 色色激情| 丁香婷婷综合激情五月色| 伊人天天色| 亚洲亚洲人成综合网络| 开心五月深爱激情| 日韩伊人大香蕉| 五月婷婷六月丁香在线视频免费在线观看| www99在线观看视频| 久久婷婷伊人| 婷婷区日本| 99re热视频这里只精品| 常久最新免费的色吊丝| 色噜久| 久婷五月| 丁香五月婷婷丫| 91人妻人人操| 婷婷九月丁香| 97精品欧美91久久久久久久| 日本片日本片祼观看网站在线看中文版网页在线看 | 丁香五月婷婷国产在线| www.99热在线| 五月激情丁香五月| 亚洲色就是色色色| 色五月婷婷在线| 婷婷99热| 能看的AV| 五月激情六月婷婷| 任你日热视频| 色色亚洲视频| 色天天综合成人网| 日本久久人| 成人丁香五月| 色噜噜在线| 97热久久| 五月婷综合| 热久久精品视频网站| 99热欲| 99九九在线| 婷婷五月天激情偷拍| 99国产97在线,| 丁香婷婷五月天激情四射| 噜噜噜噜噜日本视频| 男人的天堂av俄罗斯热| 99爽视频| 婷婷亚洲五月丁香综合在线| 一级性感毛片| 五月天另类激情在线| 激情综合色| 五月丁香六月婷婷久久肏| 大香蕉五月天婷婷| 色性五月天| 9久久久久久久久久久| 最近中文字幕在线中文视频| 思思久久精品| 另类的婷婷| 9色天堂| 婷婷五月天影院| 丁香五月天欧美| 激情五月天的婷婷| 国产特级毛片AAAAAAA高清| 久久精品这里只有精品免费首页| 亚洲精品乱码久久久久久按摩观| 九九久久色| 色99日韩| 9999色色色色| 五月丁香激情婷婷| 九久久婷婷| 色五月婷婷操逼| 婷婷五月综合欧美在线播放| 欧美日本99| 天天插天天干| 欧美色色色色色| 五月婷婷丁香深深爱| 色99超碰| 五月丁香六月激情| 婷婷五月天小说网| 婷丁五月| 丁香密臀AV激情网| 五月婷婷色在线| 日本久久天堂| AV五月婷婷露脸| 国产1区2区3区在线观| 色婷大香蕉| 五月丁香大香蕉| 五月婷婷六月丁香五月| www.日韩艹| 大香蕉久久久久| 久草婷妨| 五月丁香| 丁香六月激情| 五月天婷婷在线播放免费| 久久五月天精品视频| 色月丁| 欧美性生交XXXXX无码小说| www久久艹| 五月天电影网| 日本a片网址| 伊人狠狠色婷婷综合丁香一区| 少妇人妻人伦A片| 精品爆操| 天天综合网网欲色| 五月天免费色| 色五月成人| 久久99jiu9| 无码激情AAAAA片-区区| 狠狠干无码| 婷婷五月天av| 丁香五月综合网亚洲综合欧美狠狠| 开心婷婷五| 久久大香蕉视频| 五月丁香综合精品欧美| 91中文在线| 中文字幕综合网| 99热这里只有精品2| 五月丁香拍拍激情综合| 99色在线| 色碰干| 天天综合色99| 久久婷婷丁香花综合网| 天天天天干| 激情五月天视频| 丁香六月激情| 婷婷丁香五月亚洲免费| 色色色视频| 色色综合网站| 欧美色99| 97日在线视频| 婷婷五月天性爱视频| 欧美黄色一级录像| 亚洲五月天激情| 丁香五月婷婷AV| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 婷婷五月天在线综合| 激情五月网站| 婷婷色五月噜噜| 久久精典| 91精品婷婷国产综合 | 亚洲五月天另类小说图片| 亚洲最大五月天成人网| 26UUU精品一区二区Com| 激情丁香淫荡婷婷| 五月综合激情久久| 亚洲综合字幕色色| 九月激情网| 久久性刺激| 天堂色色色| 午夜成人在线免费视频| a毛片二逼wwwwwwwwww| 婷婷香蕉精品| www.婷婷| 高清无码网址| 思思热在线视频精品| 婷婷五月天小说| 丁香五月六月综合激情| 99免费| 九九激情综合| 久久9视频| 色婷婷a v| 九九精品热播| 96丁香六月婷婷蜜桃综合久久| 五月天精品视频| 深爱婷婷丁香五月激情| 亚洲AV色婷婷人禽五月天| 情婷婷五月天| 丁香五月婷婷激情中文| 亚洲欧美另类在线23p| 婷婷五月天激情综合| 性小说五月天| WWW、日本色丁香、co m| 婷婷丁香午夜综合影视| 激情丁香淫荡婷婷| 123日本不卡在线| A1片久久久| 丁香五月播播| 另类小说激情五月天| 国产午夜精品久久久观看| 狠狠色精品综合| 伊人色综在线| 五月天激情AV| 五月丁香在线婷婷美女| 99热在线观看精品| 第五色色色婷婷| 99色视频在线| 99热99极品观看| 色婷婷激情| 久热91| 五月丁香六月欧美综合网站| 超碰人人在线| 午夜一区| 强辱丰满人妻HD中文字幕| 影音先锋高清无码资源网| 日日噜噜夜夜狠狠久久丁香五月| www.久99| 九月av在线| 综合一区二区三区| 日本久久高清| 婷婷五月天播| 五月丁香六月婷婷免费视频| 五月天成人在线播放丁香| 99热6色| 色色色五月婷| 99性视频| 拍真实国产伦偷精品| 超碰人人摸人人操| 国产精品成人网站| 午夜九九九九九九九九九九九九九| 亚洲愉拍99热成人精品| 亚洲综合视频天天精品| 久久 这里只有精品1| 丁香九月婷婷色| 五月天婷婷在线视频| 婷婷射图| 操一区| 九色综合网| 丁香五月www| 婷婷99中文字幕| 色婷婷五月六月丁香综合视频| 色婷五月丁香久亚洲| www.av骚货| 五月婷婷视频| 九月婷婷| 国产精品久久久爽爽爽麻豆色哟哟 | 久色欧美| 婷婷伊人综合中文字幕| 啪啪一区| 色综久久久| 99精品视频推荐| 九九黄色网| 另类图片 五月激情| 婷婷五月天开心激情网| 丁香婷婷六月天| 亚洲激情网| 成人AV播放| www.jiujiujiu| 思思99精品视频在线观看| 丁香五月停停av| 99在线观看精品| 九九热最新| 3DAV亚洲香蕉久久 一区二区| 五月天天堂久久| 99成人精品六| 天天舔天天操| 99热这里只有精品1| AⅤ网站在线看| 91丨九色|PRNY熟妇| 少妇高潮一区二区三区99欧美| 午夜九九电影| 爱婷婷都市激情| 天天插天天日| 九九伦子片| 久久99精品九九久久久婷婷| 五月天综合区| 丁香婷婷性久久| 日日夜夜天天| 九九中文字幕九| 婷婷激情五月天综合| 天天爽综合网| 婷婷五月丁香基地| 91九九九色在| 超碰97人人操| 婷婷激情丁五月| 伊人六月丁香婷婷| 色婷久久| 国产69久久久欧美黑人A片| 婷婷五月丁香综合桃花色网| 久热久色| 人人人舔人人人操人人人摸人人人97| 久久婷婷热| 五月婷婷色色爱| 亚洲六月婷婷| 亚洲女婷婷五月基地综合久久久 | 亚洲黄3级片网站欧美| 99色在线| 激情5月婷婷| 色色操| 欧美WW在线网| 五月色 亚洲| 五月天丁香成人| 91在线操逼视频| 99无码超碰| 色五狠狠| 超碰91在线| 六月丁香成人| 狠狠va| 婷婷婷久久久| 婷婷五月五月丁香| 97在线视频观看| 99这里只有| 丁香婷婷综合激情五月色| 另类丁香综合| 伊人婷婷激情| 久久婷色| 婷婷不卡基地| 久久九九怡红院| 激情五月综合婷婷| 日韩一区二区A片免费观看| av色婷婷| 日日爽日日| 丁香网站| 99色日本| 2025天天爽天天摸| 综合色五月| 97久操视频| 欧美婷婷丁香五月社区| 99热中文字幕久久| 99re在线播放| 影音先锋 一区| 热久久国产视频| 色播五月网| 九九99香蕉在线视频播放| VA婷婷亚洲| 日本狠狠干| www.99日本| 伊人五月丁香| 无码人妻AV久久久一区二区三区| 久久久久久久久久婷婷| 我爱va亚洲va52| 激情第四色| 久久艹99| 五月婷婷激情综合网| 久久综合久色欧美综合狠狠| AV中文在线| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | www.激情五月天com| 丁香婷婷大香蕉| www.婷婷亚洲基地| 狠狠干五月天| 亚洲精品亚洲人成人网| 五月婷视频在线观看| 激情五月丁香在线观看直播| 九九热在线精品| 六月丁香中文字幕| 久久婷婷五月免费视频| 一本道在线电影| 五月丁香啪啪啪| 一区视频网站| 99热99天堂| 这里只有精品免费观看网占| 亚洲精品色| 99re热精品在线视频| 大香蕉久久婷婷| 91久久国产综合久久| 欧美综合五月丁香六月婷| 婷婷中文字幕| 婷婷五月天成人五月天| 狠狠操综合| 99日本黄站| 123草逼网| 丁香婷婷综合激情五月色| 精品久久久人妻| www.久操| 性99网站| 色五月综合激情网| 婷婷五月天熟妇| 免费观看全黄做爰的视频| 婷婷激情五月天激情在线| 五月天大香蕉| AV在线观看网站| 人妻操逼视频| 日韩成人影片在线观看| 丁香五月天激情小说| 年轻的妺妺伦理HD中文| 99久久婷婷国产综合精品青桔| 国产在线中文字幕| 99热e| 成人五月天丁香婷| 日韩AV在线免费观看| 五月天偷拍| 加勒比日本一区二区三区| 婷婷六月天激情| 综合爱久久| 婷婷丁香五月激情| 天天日日| 婷婷丁香五月综合激情视频| 蒲京久久无码视频| 国产精品久久7777777精品无码| www五月婷婷| 欧美婷婷五月天综合| 牛牛澡牛牛爽| 五月丁香av在线| 午夜无码熟熟妇丰满人妻| 久热这里精品免费| 亚洲中文字幕AV在线| 天天干肏夜夜| 色色色色色色综合网| 天天久久综合| 婷婷六月激情综合| 日本欧美国产| 久9热视频在线| www.亭亭五月天| 亚洲精品另类| 日日干天天爽| 色五月丁香五月| 26uuu.| 少妇伦子伦精品无吗| 伊人婷婷色激情丁香| 99热国产在线| 人人舔人人| 日本97久久久精品| 婷婷操久久| 狠狠爱综合网| 99视频内射三四| 色插综合网| 最新无毒无码AV| 17.c黄色| 人妖色AV色综合| 97干综合网| 婷婷久热| 六月激情综合| 天天操天天爽天天爱| 丁香伍月婷电影全集| 丁香五月天天高清在线| 久久五月情| 久久免片| 久久艹99| 综合激情婷婷| 久久99热免费| 激情四射亚洲| 色久天| BT综合在线视频观看| 丁香五月婷久久| 婷婷六月色丁香视频在线观看| 99热网精品| 天干夜夜操| 五月综合丁香婷婷| 五月婷婷综合在线| 五月噜噜| 色色婷婷婷丁香五月天| 婷婷五月天播播| 91碰碰视频| 天天日天天插| AV 3P| 99丝袜精品视频网站| 久久久久亚洲AV无码网影音先锋| 91超级碰碰| 激情五月婷婷| 这里只有精品在线视频在线观看| 99干视频| 天天插天天射| 五月婷婷之六月丁香| 99热很操老逼| 超碰成人免费| 丁香六月婷婷综合麻豆| 91日本在线| 婷婷97狠狠干| 97亚洲精品| 狠狠色狠狠| 五月天成人在线视频丁香| 久久天堂色| 色吧综合网| 就去涩涩丁香五月天| 久久丁香九| 开心激情婷婷| 激情五月丁香六月| 婷婷精品免费久久| 日本91在线播放| 人人澡玖玖一| 久婷婷久草| 日韩在线观看亚洲| 99成人| 人妻啪啪啪| 综合五月丁香久久| 91人人人人人人人| 欧美人妻一区二区| www、色色色| 五月色色色| 三日本无码| 综合激情站| 婷婷综合六月| 九九碰九九爱97| 久久桃花网色婷婷| 99热婷婷| 五月婷婷性| 亚洲五月婷婷| 九九色黄色| 99热色精品| 婷婷六月情| 高清无码.com| 玖玖热99| 丁香色色网| 五月激情婷婷播播开心| 五月天婷亚洲综合在线嫩草网| 丁香五月黄色| 国产FREESEXVIDEOS性中国| 天天色视频| 五月丁香啪啪激情| 婷婷五月综激情| 欧美色图片88| 99操逼| 亚洲六月色| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 深爱开心激情| 丁香婷婷五月激情综合| 97干在线看| 亚洲精品第一色色色色色色| 丁香五月成人| 九九热99精品| 婷婷综合色图| yw国产AV| 久久婷五月| 日本九九视频| 亚洲AV无码久久精品色欲| 色停停香蕉视频| www.久久色.com| 丝袜大香蕉| 亚洲成人AV在线播放| 天天日日夜夜爽。| 天天五月香欧美| 久久免费操| 五月婷久草| 五月天婷婷基地| 天天综合精品| 5月婷婷性视频| 丁香五月香蕉在线| 97色97干| 九九色婷| 六月婷婷色综合| 婷婷激情九月| 日日日日操| 另类图片 五月激情| 久久狠狠欧美| 亚州综合色| 免费色婷婷| 在线理论片| 另类专区在线| 五月天综合色| 色五月丁香五月婷婷五月成人网 | 五月天婷婷基地| 哇嘎成人久久| 激情又色又爽又黄的A片| 久久九九网| 99在线免费观看| 六月婷婷九月丁香亚洲综合| 婷婷五月天伦理| 91性高潮久久久久久久久| 久久在线92| 亚洲无码AV片| 99精品综合| 麻豆AV一区二区三区| 天天综合在线网| 97久久精品| 丁香五月天社区| 五月丁香婷婷激情视频| 国产精品久久久丁香五月八戒视频| 久热这里只有精品6官网亚洲| 黄色精品五月婷婷| 99少妇精品| 4399精品一区二区| 伊人久久婷婷五月综合97色| 99热综合| 99精品在线观看| 超碰在线视屏| 色吧婷婷| 99成人| 天天天天天久久久久久| 99re热视频| 678五月丁香亚洲综合| 久久人妻乱子伦| 婷婷亚洲五| aaaaa不卡| 大香蕉婷婷色| 久操福利| 一区二区免费看| 日本久久人| 99九九热视频| 色444综合网| 亚洲殴洲精品Av在线| 337久久| 色青青电影色五月| 五月色情| 国产精品激情AV久久久青桔| 五月天婷婷色色| 丁香六月啪| 五月激情小说| 激情婷婷丁香| 丁香婷婷六月| 综合激情在线| 超碰9| 婷婷天堂综合| 综合激情五月天| 色色日本| 婷婷伊人网| 欧美成人精品A片免费一区99| 九九视频在线| 婷婷丁香久久| 天天爽—爽| 久久综合色情网站| 亚洲天堂有码| 激情五月天第四色| 久久狠婷婷| www91色网站| 殴美97色| 超碰99热在线观看| 丁香五月黄色| 97婷婷在线视频| 欧美性猛交99久久久99| 日本九九视频| 超碰99热精品| 久热黄色| 久久激情五月| 丁香九月激情| 91精品综合久久久久久五月丁香| 久久精品色| 久久99热免费| 五月婷婷天天色| 四色女婷婷| 美女美女美女三级色天天天天天| 色欲久久久久| 日本颜色视频人人爱| 日韩1区2区| 婷婷五月色色| 丁香九月激情| 啪啪一区| 欧美顶级少妇做爰HD| 五月丁小婷婷激情四射| 婷婷综合伊人| 久久婷婷综合国产| 91色逼| 99操| 大波美女VA网站| 6080av| 五月天婷婷在线播放免费| 五月婷婷综合视频| 狠狠综合网| 99精品综合视频| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 噢美99| 偷拍九九五月丁香婷婷| 人伦30P| 五月天另类小说亚洲| 春色激情第四色| 日日日影院| 噜一噜在线| 色五月大香蕉| 国产99久久久国产精品免费看| 无码激情AAAAA片-区区| 久久天堂女人| 狠狠色97| 91久久久久久| 亚洲99激情| 成人九九视频| 免费视频无码| 日本一级一片免费视频| 五月丁香网站| 日本婷婷激情四射中文字幕在线观看| 久久人操-久草婷婷-成人AV| 狠狠第四色| 青青操绿aaa一区日v| 精品无码99| 97色永久免费视频| 思思精品视频| 激情综合色五月丁香| 99热超碰天堂网| 如何安全看伊人婷婷| 色色色在线播放| 日本久久爱| 激情性爱五月天| 久久精品99国产精品日本| 久久探花91swag| 性生活视频98791| 有码人妻久久| 国产无套精品一区二区| 26uuu精品一区二区| 99无码视频| 久热伊人在91| 婷婷色婷婷亚洲成人| 五月天婷婷色播在线网| 天天干天天插| 色色五月婷婷| 五月天婷婷涩涩|