欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

容器化JVM監(jiān)控實(shí)戰(zhàn):從JMX Exporter到Prometheus告警

容器化JVM監(jiān)控實(shí)戰(zhàn):從JMX Exporter到Prometheus告警 前陣子線上服務(wù)連續(xù)兩個晚上報(bào)警一次是容器被 OOM Kill另一次是 Full GC 直接把接口拖到大面積超時。兩次排查下來我最大的感受是容器里的 JVM 監(jiān)控跟物理機(jī)時代完全不是一個套路。我見過不少團(tuán)隊(duì)把 Java 應(yīng)用容器化之后第一反應(yīng)是進(jìn)容器敲 jstat結(jié)果發(fā)現(xiàn)基礎(chǔ)鏡像里根本沒有這些工具也見過堆內(nèi)存參數(shù)不調(diào)整容器明明只有 4G 內(nèi)存JVM 卻按宿主機(jī)幾十G來算最后 Pod 直接被系統(tǒng)殺死。這篇文章我會把線上 Docker 容器里 JVM 監(jiān)控的完整鏈路拆開講清楚重點(diǎn)說三件事一是為什么容器場景不能照搬老一套二是怎么用 Prometheus 這套生態(tài)把指標(biāo)采上來三是這幾年我踩過的坑和排障方法。適合正在給線上 Java 服務(wù)做容器化監(jiān)控、或者正被 GC 和 OOM 問題折騰的開發(fā)和運(yùn)維朋友內(nèi)容不挑團(tuán)隊(duì)規(guī)模哪怕你只有一臺服務(wù)器也能落地。1. 容器場景下 JVM 監(jiān)控的難點(diǎn)與整體思路1.1 容器里的 JVM 為什么那么難監(jiān)控先說一個很反直覺的點(diǎn)JVM 本身是自帶監(jiān)控能力的JMXJava Management Extensions就是它的“體檢接口”可以暴露堆內(nèi)存、GC、線程、類加載等一系列指標(biāo)。問題在于容器化之后這個接口變得非常難用。原因有三個。第一容器有獨(dú)立的網(wǎng)絡(luò)命名空間JVM 的 JMX 服務(wù)如果監(jiān)聽了某個端口外部訪問時需要做端口映射而 JMX 內(nèi)部的 RMI 協(xié)議還會隨機(jī)開端口經(jīng)常出現(xiàn)“端口明明映射了指標(biāo)就是拉不到”的情況。第二生產(chǎn)環(huán)境的基礎(chǔ)鏡像為了精簡體積很多用的是裁剪版 JRE連 jps、jstat、jcmd 這些 JDK 自帶工具都沒有你想進(jìn)去看一眼“現(xiàn)場”都無從下手。第三JVM 對容器資源限制的感知能力是拆分 JDK 版本演進(jìn)的早一點(diǎn)的版本根本不知道 cgroup 的存在會按宿主機(jī)物理內(nèi)存來算最大堆這一條直接引發(fā)了我開頭說的容器被殺死的事故。用一句生活化的話來理解JVM 像一個租客容器是它租的單間。以前租整棟樓的時候租客知道整棟樓有多大想怎么用都行現(xiàn)在住進(jìn)單間如果不明確告訴它房間的實(shí)際面積它還按照整棟樓的標(biāo)準(zhǔn)來布置家具結(jié)果必然把房間拆了。1.2 我把監(jiān)控體系拆成了四層解決容器監(jiān)控問題首先要建立分層思維不要一上來就糾結(jié)用哪個工具。一套完整的 JVM 監(jiān)控體系我習(xí)慣拆成四層采集層負(fù)責(zé)從 JVM 進(jìn)程里把指標(biāo)“掏”出來比如 JMX Exporter、Micrometer。存儲層負(fù)責(zé)把這些帶時間戳的指標(biāo)存下來生產(chǎn)里幾乎都是時序數(shù)據(jù)庫Prometheus 是事實(shí)標(biāo)準(zhǔn)。展示層把指標(biāo)畫成圖最常用的是 Grafana。告警層基于指標(biāo)閾值或趨勢觸發(fā)通知對應(yīng) Prometheus 的 Alertmanager。這四層更像是一條流水線每一層的選擇都影響上下游。不過這里我不建議一開始就追求大而全很多人第一步就想去搞 APM應(yīng)用性能監(jiān)控那是另一套復(fù)雜度。最務(wù)實(shí)的方法是先把采集層和存儲層做通讓指標(biāo)在 Grafana 里能看到再逐步加告警規(guī)則。只要底層指標(biāo)是準(zhǔn)的后面加告警、做報(bào)表都只是配置的事。1.3 方案選型講究“夠用 好擴(kuò)展”在選型上我踩過一次彎路最早在生產(chǎn)環(huán)境部署監(jiān)控時團(tuán)隊(duì)選擇自己寫腳本定時執(zhí)行 jstat然后把輸出解析存進(jìn)文本文件再用 Python 腳本畫圖。結(jié)果就是三天兩頭出問題——容器重建后腳本跑不起來、存量數(shù)據(jù)沒有時序、報(bào)警只能靠人工盯。后來換了 Prometheus 方案整個體系才算穩(wěn)定下來。那套臨時方案的問題在于jstat 本質(zhì)上是“命令行的瞬時快照”適合人工看一眼不適合做長期數(shù)據(jù)積累。長期監(jiān)控必須解決三個問題指標(biāo)怎么持續(xù)暴露、怎么被自動發(fā)現(xiàn)、怎么存得下。Prometheus 生態(tài)之所以能成為主流是因?yàn)樗?Pull 模型主動抓取目標(biāo)容器無論漂移到哪臺機(jī)器只要服務(wù)發(fā)現(xiàn)能拿到地址指標(biāo)就能持續(xù)入庫不需要像 Push 模式那樣時刻維護(hù)發(fā)送方和接收方的連接關(guān)系。2. 采集層方案選型四種方式各有各的適用場景2.1 首選方案JMX Exporter 以 Agent 方式注入采集層是整套監(jiān)控的地基我這里用的標(biāo)配是 JMX Exporter更準(zhǔn)確說是官方提供的 Java Agent 方式。原理很簡單啟動 JVM 時通過 -javaagent 參數(shù)把這個 jar 注入到應(yīng)用進(jìn)程里它通過 JMX 的 MXBean 讀取 JVM 運(yùn)行數(shù)據(jù)再在本地暴露一個 HTTP 端口輸出 Prometheus 格式的指標(biāo)。選擇 Agent 方式而不是獨(dú)立進(jìn)程方式是因?yàn)?Agent 和業(yè)務(wù)進(jìn)程同生命周期配置跟著鏡像走。應(yīng)用發(fā)版監(jiān)控配置也跟著原子更新不存在“進(jìn)程起來了但監(jiān)控進(jìn)程掛了”的尷尬。而且它規(guī)避了 RMI 隨機(jī)端口問題——JMX Exporter 自己就是 Java 進(jìn)程的一部分直接把數(shù)據(jù)轉(zhuǎn)成 HTTP 輸出Prometheus 只需要訪問一個固定端口。啟動方式非常直白在 JAVA_TOOL_OPTIONS 環(huán)境變量里加一行JAVA_TOOL_OPTIONS-javaagent:/path/to/jmx_prometheus_javaagent.jar9091:/path/to/config.yaml其中 9091 是監(jiān)控端口config.yaml 是采集規(guī)則配置用來過濾和裁剪指標(biāo)。實(shí)際使用中千萬別小看這個配置文件默認(rèn)全量抓取 JMX 域會導(dǎo)致指標(biāo)爆炸后面我會講怎么收斂。2.2 備選方案Micrometer 直接暴露 Prometheus 指標(biāo)如果你的服務(wù)已經(jīng)基于 Spring Boot 3.x 或 Cloud 全家桶還有一個更輕的接入方式引入 Micrometer 的 Prometheus 注冊表依賴。這樣應(yīng)用直接通過 actuator 接口在 /actuator/prometheus 上暴露指標(biāo)根本不需要額外掛 agent。這個方案的好處是侵入性小依賴一加、配置一開就能跑而且你能在同一端口同時拿到 HTTP 請求延遲、線程池狀態(tài)等應(yīng)用層指標(biāo)。但它也有一個坑actuator 接口本身是一個具有信息泄露風(fēng)險的管理端點(diǎn)一旦暴露到公網(wǎng)等于把 JVM 內(nèi)部狀態(tài)拱手送人。我的安全基線是必須放到內(nèi)網(wǎng)網(wǎng)段并且通過網(wǎng)段限制或認(rèn)證保護(hù)起來否則別開。從長期維護(hù)角度我并不認(rèn)為 Micrometer 和 JMX Exporter 是二選一的關(guān)系。很多團(tuán)隊(duì)兩個都用比如核心鏈路服務(wù)用 agent 拿 JVM 層指標(biāo)輕量 Web 服務(wù)用 actuator 一筆帶過。這完全可行只要最終指標(biāo)名能統(tǒng)一進(jìn) Prometheus 就行。2.3 應(yīng)急方案jstat 和 Arthas 只能救急不能當(dāng)長期依賴說一個容易被忽略的事實(shí)容器里靠 jstat 排查問題的時代已經(jīng)過去了主要原因不是命令不好用而是新版本的 JDK 對 attach 機(jī)制的限制越來越多容器里 PID 1 是 Java 進(jìn)程時尤其麻煩。后來更多團(tuán)隊(duì)轉(zhuǎn)向 Arthas一款 Java 診斷工具在 JVM 內(nèi)做線程棧、方法耗時、反編譯等操作確實(shí)方便像 watch 一個線上方法的入?yún)⒊鰠追昼娋湍芏ㄎ粏栴}。但 Arthas 的思路是“手動診斷”適合你在報(bào)警之后進(jìn)去看現(xiàn)場不適合做持續(xù)監(jiān)控。你要是拿它監(jiān)控七天的心率曲線先不說數(shù)據(jù)怎么存光是每次連接一個生產(chǎn)容器這件事就有很高的操作風(fēng)險。所以我的總結(jié)是長期監(jiān)控用 JMX Exporter 或 Micrometer應(yīng)急排查用 Arthas兩者缺一不可但功能絕不能互相替代。2.4 四種方案橫向?qū)Ρ确桨附尤氤杀境掷m(xù)監(jiān)控適用場景注意風(fēng)險JMX Exporter Agent引入 jar 改啟動參數(shù)強(qiáng)生產(chǎn)環(huán)境默認(rèn)首選配置文件需裁剪指標(biāo)量Micrometer Actuator添加依賴 配置強(qiáng)Spring Boot 應(yīng)用管理端點(diǎn)需做安全收斂jstat 手動命令零接入弱臨時看現(xiàn)場JDK 工具鏈可能不存在Arthas 診斷按需啟動弱單次問題定位有侵入風(fēng)險需謹(jǐn)慎使用方案這東西沒有絕對的好壞只有適不適合當(dāng)前環(huán)境。我見過只靠 actuator 就跑了幾年的公司也見過所有非 Spring Boot 服務(wù)全掛 agent 的團(tuán)隊(duì)。只要你能說得清每個方案解決了什么問題、犧牲了什么選哪個都說得過去。3. 實(shí)操落地從 JVM 參數(shù)到 Grafana 面板3.1 第一個坑就藏在鏡像構(gòu)建里JVM 參數(shù)必須顯式設(shè)置真正動手搭建時第一件事不是裝 Grafana而是檢查 JVM 對容器內(nèi)存的感知。這里有一個很多教程不會重點(diǎn)提的版本分界線Java 8u191 之前的版本沒有開啟容器支持JVM 在容器里看到的內(nèi)存是宿主機(jī)內(nèi)存4G 的容器限額形同虛設(shè)堆會一直增長到宿主機(jī)物理內(nèi)存的 1/4 或更高最后的結(jié)果就是 Pod 被 OOM Killer 殺掉而你去看 Java 日志根本找不到 OutOfMemoryError——因?yàn)檫M(jìn)程是被 CGroup 層直接殺的。Java 8u191 及以上版本默認(rèn)開啟 -XX:UseContainerSupport但這并不意味著你什么參數(shù)都不用管。我推薦在啟動命令里顯式加上下面這組參數(shù)用百分比而不是固定大小這樣能應(yīng)對容器內(nèi)存動態(tài)調(diào)整的場景java -XX:UseContainerSupport \ -XX:InitialRAMPercentage50.0 \ -XX:MaxRAMPercentage75.0 \ -XX:MinRAMPercentage50.0 \ -jar my-service.jar這里 MaxRAMPercentage 取 75.0 是有講究的。容器里除了 JVM 堆還有 Metaspace、線程棧、直接內(nèi)存Direct Buffer、JIT 編譯器內(nèi)存等一堆“堆外開銷”如果堆直接吃到 90%剩下的區(qū)域稍一波動就可能觸發(fā) OOM。留出大約 25% 給堆外和系統(tǒng)保留是經(jīng)歷多次事故后比較穩(wěn)妥的經(jīng)驗(yàn)值。注意不要把 -Xmx 和 MaxRAMPercentage 混用一旦手動指定了 -Xmx容器感知和百分比配置就都會失效。3.2 把 JMX Exporter 裝進(jìn)鏡像接下來把監(jiān)控探針打進(jìn)鏡像。這里我會把步驟說細(xì)一點(diǎn)因?yàn)殓R像構(gòu)建階段少一個文件后面調(diào)試成本會加倍。先在應(yīng)用部署目錄下放好 agent jar 和配置文件我通常單獨(dú)建一個監(jiān)控目錄避免和其它文件混在一起# 目錄結(jié)構(gòu) /opt/app/ ├── my-service.jar ├── jmx/ │ ├── jmx_prometheus_javaagent.jar │ └── config.yaml └── start.shconfig.yaml 的關(guān)鍵作用是裁剪指標(biāo)。官方默認(rèn)配置會暴露所有 JMX 域量非常大我一般是把和故障排查強(qiáng)相關(guān)的指標(biāo)全放行其它雜項(xiàng)過濾掉。一個可用的最小配置長這樣rules: - pattern: java.langtypeMemory(HeapMemoryUsage|NonHeapMemoryUsage)(committed|init|max|used) name: jvm_memory_$1_$2 - pattern: java.langtypeGarbageCollectorname(.*):(CollectionCount|CollectionTime) name: jvm_gc_$1_$2啟動腳本里直接讀取環(huán)境變量這樣同一份鏡像在測試環(huán)境和線上環(huán)境可以共用#!/bin/bash export JAVA_TOOL_OPTIONS${JAVA_TOOL_OPTIONS} \ -javaagent:/opt/app/jmx/jmx_prometheus_javaagent.jar9091:/opt/app/jmx/config.yaml exec java $JAVA_OPTS -jar /opt/app/my-service.jar啟動之后先在容器內(nèi)部驗(yàn)證指標(biāo)是否正常暴露docker exec -it container_id sh curl http://127.0.0.1:9091/metrics | head -20這一步非常關(guān)鍵。如果在容器內(nèi) curl 能看到 java_lang 前綴的指標(biāo)說明 agent 注入成功如果看不到優(yōu)先檢查 JAVA_TOOL_OPTIONS 是否真的傳到了 Java 進(jìn)程可以直接在啟動命令里加 -verbose:gc 看啟動日志驗(yàn)證。提示jmx_prometheus 的指標(biāo)名在不同版本之間兼容性很好但如果你以后在 Grafana 里用到別人的面板注意確認(rèn)指標(biāo)前綴和 label 是否匹配。3.3 配置 Prometheus 抓取容器指標(biāo)指標(biāo)已經(jīng)暴露出來了接下來讓 Prometheus 找到它。網(wǎng)絡(luò)拓?fù)渖媳M量保持簡單Prometheus 部署在和業(yè)務(wù)容器相同的網(wǎng)絡(luò)環(huán)境里。如果你用的是 Kubernetes想都不用想直接通過 Pod 注解做服務(wù)發(fā)現(xiàn)apiVersion: v1 kind: Pod metadata: annotations: prometheus.io/scrape: true prometheus.io/port: 9091 prometheus.io/path: /metrics然后在 prometheus.yml 里寫一段自動發(fā)現(xiàn)配置scrape_configs: - job_name: jvm-app kubernetes_sd_configs: - role: pod relabel_configs: - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape] action: keep regex: true - source_labels: [__address__] action: replace regex: ([^:])(?::\d)? target_label: __address__ replacement: $1:9091如果只是單機(jī) Docker Compose 環(huán)境配置更簡單直接在 compose 里把 9091 端口映射到宿主機(jī)再用靜態(tài)配置scrape_configs: - job_name: jvm-app static_configs: - targets: [192.168.1.10:9091] labels: env: production配好后去 Prometheus 的 Targets 頁面看狀態(tài)Up 就代表連通了。如果顯示 Down先別急著懷疑 Prometheus去容器里 curl 一下地址大概率是網(wǎng)絡(luò)不通或者 agent 沒起來。排查時記住一句話永遠(yuǎn)分步驗(yàn)證每一層通了再往上走。3.4 用 Grafana 把數(shù)字變成圖Prometheus 只是把指標(biāo)存下來了真正讓團(tuán)隊(duì)愿意用的還是圖形化界面。Grafana 接入 Prometheus 數(shù)據(jù)源后在官方面板市場里搜 “JVM” 關(guān)鍵字找一個下載量最高的 Micrometer 或 JMX Exporter 面板導(dǎo)入就能直接看到堆內(nèi)存、GC 次數(shù)、線程數(shù)量這些圖。不過這里我必須提醒一句第三方面板導(dǎo)入后十有八九會有部分圖表無數(shù)據(jù)。原因不是面板有問題而是面板的變量名、指標(biāo)前綴和你實(shí)際采集到的不一致。比如有人用 Micrometer 風(fēng)格指標(biāo)jvm_memory_used_bytes有人用 JMX Exporter 風(fēng)格指標(biāo)java_lang_memory兩個風(fēng)格在面板里對應(yīng)的 label 完全不一樣。正確的做法是先導(dǎo)入然后在 Grafana 的 Explore 頁面查一下實(shí)際指標(biāo)名再手動改面板的 PromQL 查詢。我自己的習(xí)慣是不用第三方面板直接自己建幾個核心圖堆內(nèi)存使用率趨勢、GC 暫停時間、Full GC 次數(shù)、Old 區(qū)利用率、活躍線程數(shù)。五個圖足夠應(yīng)對 90% 的排查場景圖畫得再漂亮關(guān)鍵看報(bào)警后能不能快速定位根因。4. 告警配置的實(shí)戰(zhàn)經(jīng)驗(yàn)指標(biāo)怎么選、閾值怎么定4.1 先把這幾個指標(biāo)盯住監(jiān)控的目的是提前發(fā)現(xiàn)問題不是事后看報(bào)表。所以告警指標(biāo)的選取必須和故障模式強(qiáng)相關(guān)。我根據(jù)自己的踩坑經(jīng)歷把優(yōu)先級排了一個序容器內(nèi)存 / 堆內(nèi)存使用率直接決定會不會 OOM最重要沒有之一。GC 暫停時間特別是 Full GC決定了接口會不會突然變慢、超時。Old 區(qū)/老年代使用率堆內(nèi)存問題的第二觀察窗口如果 Old 區(qū)持續(xù)上漲且回落不明顯大概率是內(nèi)存泄漏。線程數(shù)線程泄漏在高并發(fā)服務(wù)里很常見線程數(shù)持續(xù)增長且不回落需要立刻關(guān)注。Metaspace容器鏡像經(jīng)常動態(tài)生成類Metaspace 漲滿會觸發(fā) Full GC。判斷手段上Grafana 里“堆使用率”和“GC 耗時”這兩條曲線一定要放在同一個時間軸上。經(jīng)驗(yàn)是如果 GC 變長時堆內(nèi)存使用率同時在爬升說明內(nèi)存壓力較大需要擴(kuò)容或者排查泄漏如果 GC 變長但堆內(nèi)存很平穩(wěn)優(yōu)先級排在 Native 內(nèi)存或線程方面。4.2 閾值不能拍腦袋先跑一段基線告警閾值是我見過團(tuán)隊(duì)分歧最大的一塊。有人喜歡拍一個固定數(shù)比如堆使用率超過 80% 就報(bào)警結(jié)果業(yè)務(wù)高峰每天例行報(bào)警最后大家把告警當(dāng)成背景音真正出事反而沒人看。我的做法是分兩步走。第一步先讓監(jiān)控跑一到兩周把正常業(yè)務(wù)波峰波谷的基線記錄下來。不同服務(wù)的差異非常大一個是計(jì)算密集型服務(wù)堆使用率常年 70% 上下波動另一個是緩存型服務(wù)平時 20%促銷期直沖 90%套同一套閾值顯然不合理。第二步閾值設(shè)置要帶時間和趨勢維度不要做單點(diǎn)判斷。比如“堆使用率超過 80%”這個條件可以加上“持續(xù) 15 分鐘”避免瞬時抖動打擾Full GC 頻率可以按分鐘發(fā)生次數(shù)來算而不是看一次事件就報(bào)警。我自己的經(jīng)驗(yàn)閾值僅供參考不同服務(wù)請自行調(diào)整是這樣的指標(biāo)建議閾值持續(xù)時長級別堆內(nèi)存使用率 80%15 分鐘Warning堆內(nèi)存使用率 90%5 分鐘CriticalFull GC 次數(shù) 2 次/分鐘5 分鐘WarningGC 單次暫停時間 1000 ms1 分鐘Critical活躍線程數(shù)超過基線 2 倍10 分鐘Warning4.3 一套可以拿著改的 Prometheus 告警規(guī)則最后給出一套我在生產(chǎn)環(huán)境里實(shí)際用過的規(guī)則片段指標(biāo)名以 JMX Exporter 風(fēng)格為主。需要提醒的是不同 exporter 版本指標(biāo)名會有細(xì)微差別務(wù)必先在自己環(huán)境里確認(rèn)指標(biāo)真實(shí)名稱再套用規(guī)則。具體的 PromQL 寫法如下groups: - name: jvm-alerts rules: - alert: JVM Heap Usage High expr: | sum(jvm_memory_used_bytes{areaheap}) by (instance) / sum(jvm_memory_max_bytes{areaheap}) by (instance) 0.8 for: 15m labels: severity: warning annotations: summary: JVM 堆內(nèi)存持續(xù)高位 description: 實(shí)例 {{ $labels.instance }} 堆內(nèi)存使用率超過 80% 已持續(xù) 15 分鐘 - alert: JVM Full GC Too Frequent expr: | increase(jvm_gc_collection_seconds_count{actionend of major GC}[5m]) 10 for: 5m labels: severity: warning annotations: summary: Full GC 過于頻繁 description: 實(shí)例 {{ $labels.instance }} 最近 5 分鐘內(nèi) Full GC 超過 10 次規(guī)則寫完之后可以在 Prometheus 的 Alerts 頁面看到觸發(fā)狀態(tài)。Alertmanager 再通過 Webhook 把消息推給釘釘或企業(yè)微信整條鏈路就閉環(huán)了。但記住規(guī)則不是越多越好。告警數(shù)量每增加一條就意味著有人要起來處理一次。寧缺毋濫先保住上面那幾條核心的再根據(jù)事故復(fù)盤逐步補(bǔ)充。5. 高頻問題與排障實(shí)錄5.1 容器里的監(jiān)控端口連不上怎么辦Prometheus 的 Targets 顯示 Down或者 Grafana 里全是“No data”這是最常遇到的情況。先按層排查我在現(xiàn)場一般按下面的順序操作第一步進(jìn)容器里 curl http://127.0.0.1:9091/metrics確認(rèn) Agent 是否真的在監(jiān)聽。如果命令報(bào) Connection refused問題出在 Java 進(jìn)程層面去查啟動命令和日志。第二步如果容器內(nèi)正常再去宿主機(jī) curl http://容器IP:9091/metrics這一層驗(yàn)證網(wǎng)絡(luò)策略。在 Kubernetes 里尤其注意 NetworkPolicy 是否放行。第三步檢查 Prometheus 的 target 配置和 labels看 Job 名是否匹配服務(wù)發(fā)現(xiàn)是否拿到正確的地址。這層問題絕大多數(shù)出在“容器內(nèi)已通、容器外不通”基本就是端口映射漏了或網(wǎng)絡(luò)策略卡了沒什么玄學(xué)。只記一條不到最后一步不要去 Prometheus 里改來改去。5.2 容器被 OOM Kill 但應(yīng)用日志沒有 OutOfMemoryError這是容器場景最恐怖的一個問題你的應(yīng)用日志干干凈凈里面沒有任何 OOM 異常但容器重啟了。原因大概率不是 Java 堆內(nèi)存溢出而是進(jìn)程占用內(nèi)存超過容器 CGroup 限制被內(nèi)核直接殺死JVM 根本沒有機(jī)會輸出任何日志。回頭看 Java 進(jìn)程默認(rèn)最大堆是宿主機(jī)內(nèi)存的 1/4。如果你的容器只有 4G 而宿主機(jī)是 32GJVM 會認(rèn)為堆上限是 8G實(shí)際內(nèi)存一逼近 4G 時CGroup 直接動刀。排查方法是先看容器狀態(tài)docker inspect container_id --format {{.State.OOMKilled}}如果返回 true說明就是這層原因。解決辦法就是我前面說的用 MaxRAMPercentage 把堆限制在容器內(nèi)存的 75% 以內(nèi)并同時盯容器整體內(nèi)存監(jiān)控曲線。記住一個原則容器里跑 JVM寧可讓 JVM 因?yàn)槎褍?nèi)存不夠拋出 OutOfMemoryError也不要讓它被內(nèi)核無聲殺死前者至少能在日志里留下證據(jù)。5.3 GC 日志也能進(jìn) Docker 日志嗎可以而且強(qiáng)烈建議這么做。容器場景下日志采集都是圍繞 stdout 展開的docker logs、EFK、Loki 都是默認(rèn)從標(biāo)準(zhǔn)輸出抓。如果你把 GC 日志寫到 /tmp/gc.log那它大概率會被日志系統(tǒng)忽略應(yīng)用出問題時才發(fā)現(xiàn)缺少關(guān)鍵數(shù)據(jù)。Java 8 里這樣做java -XX:PrintGCDetails -XX:PrintGCDateStamps -Xloggc:/dev/stdout從 Java 11 開始日志參數(shù)做了統(tǒng)一化改造/dev/stdout 這個寫法失效了改用java -Xlog:gc*:stdout:time,uptime,level,tags這樣一個docker logs container_id就能直接看到 GC 詳細(xì)輸出配合監(jiān)控曲線的異常點(diǎn)復(fù)盤時信息非常完整。5.4 指標(biāo)有數(shù)但 Grafana 面板空蕩蕩這個問題的根因大多是信息“型號”不匹配。Prometheus 里明確查得到 jvm_memory_used_bytes但 Grafana 面板硬是畫不出來十次有八次是面板里的 PromQL 用了另一個指標(biāo)名。還有一個隱蔽原因是 label 不匹配面板用 jobxxx 過濾但你的采集配置里 job 叫 releases, 自然就查不到。排查路徑很明確在 Grafana Explore 里手動執(zhí)行指標(biāo)查詢能查到數(shù)據(jù)說明存儲鏈路沒問題問題一定在面板變量層。依次檢查數(shù)據(jù)源、 panel 的 PromQL、變量里的 label 條件。第三方面板在容器環(huán)境里尤其容易踩這個坑所以我前面才建議大家干脆自己建面板。5.5 生產(chǎn)出問題時正確的排查順序是什么監(jiān)控裝好以后真正考驗(yàn)人的是生產(chǎn)出問題時你能不能穩(wěn)住心態(tài)按順序排查。我的習(xí)慣是這樣的先看監(jiān)控大盤的“三件套”堆內(nèi)存、GC 耗時、容器內(nèi)存。十秒鐘內(nèi)判斷問題是內(nèi)存趨勢型持續(xù)上升、瞬時沖擊型流量突刺還是 GC 暫停型。如果內(nèi)存異常下一個動作是抓堆 dump 或用 jmap -histo 看對象分布目標(biāo)行業(yè)是找實(shí)例數(shù)暴漲的對象類型。如果線程異常用 jstack 看線程狀態(tài)尤其關(guān)注 BLOCKED 和 WAITING 狀態(tài)占比。如果都不明確再上 Arthas 做在線診斷看請求鏈路里哪些方法耗時異常。這個順序的正確之處在于它把“成本從低到高”的操作排在最前??幢O(jiān)控是零成本的抓 dump 有停頓風(fēng)險Arthas 在線診斷是侵入操作所以這些動作必須靠后在確認(rèn)需要時再執(zhí)行。繞了這么大一圈最后分享一個我的個人習(xí)慣監(jiān)控系統(tǒng)做完之后一定要主動做一次演練——手動把堆內(nèi)存調(diào)小幾個百分點(diǎn)或者模擬一次內(nèi)存泄漏看看告警會不會在五分鐘內(nèi)響起來。只有真的把你叫醒過這套系統(tǒng)才不算白裝。容器里跑 JVM 并不玄核心就是把資源邊界告訴它把指標(biāo)通道打開再把日志交出來剩下的事就是不斷在實(shí)戰(zhàn)里修正閾值和規(guī)則。這套鏈路你按上面步驟搭完基本就比大多數(shù)團(tuán)隊(duì)的監(jiān)控體系要靠譜了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色综合色色色| 99只有精品9| 丁香五月人妻| 色五月丁香伊人五月| 五月天色色网站| 亚洲综合五月天| 2017狠狠干| 狠狠的日| 久久精品63| 六月婷婷色综合| 人人干人人操外国| 色综合中文| www.久久婷婷| 超碰人人干| 色五月自偷自拍婷婷婷婷| 色综合射婷婷| 五月天停婷基地| 天干夜夜操| 五月色婷丁香| 思思热在线观看| 99九九热视频免费| 久久久精品AV| 激情五月开心五月在线视频| 五月婷婷五月天| 天天综合亚洲综合网天天αⅴ| 色情婷婷| 五月天色婷婷av| 少妇2做爰HD韩国电影| 这里只有精品在线播放| 991自拍视频| 亚洲色在线观看| 97干在线免费| 婷婷综合亚洲| 亚洲日本激情| 爱iii做iiii日| 婷婷六月色情| 亚洲成人AV在线| 成人网页在线观看| 丁香 亚洲 久久| 婷婷五月天综合久久| 996热| 99久久久免费| 风流少妇A片一区二区蜜桃| 青青操avbb| 激情深爱五月天| 五月婷婷伦理| 91色综合网站在线| 欧美丁香婷婷五月| 日本一级一片免费视频| 亚洲高清在线| 五月婷婷开心丁香| 玖玖爱综合网| 欧美搡BBBBB摔BBBBB| 五月婷婷五月天天| 激情视频综合| 婷婷五月综合激情| 亚洲色五月天| 国产99美少妇| 丁香婷婷综合色五月激情国产基地| 播播网色播播| 天天日日人| 精品一区二区三区免费毛片爱| 婷丁香五月天| 五月天久草| 99热这里都是精品| 日在线V视频在线播放| 九月停停| 婷婷啪啪| 丁香五月六月婷婷殴美综合| 性欧美日本| 狠狠干婷婷| 亚洲情a| 超碰高清在线| 国产精品第一国产精品| 能看的av| 六月色色综合| www久久久久久| 综合色播| 九九综合久久| 99久久99视频只有精品| 亚洲成Av人片乱码色第1集| 五月丁香婷婷久久| 婷婷六月色播| 欧美天天草人人草| 男人天堂AV在线一区二区| 久婷婷| 视频这里只有精品16| 婷婷六月成人| 九九热自拍| 天天噜天天爱| 中文字幕综合| www...com黄在线观看| 五月丁香婷婷综合视频| 99精品无码网站| 欧洲S级在线观看| 精品国产AV色一区二区深夜久久| 天堂网啪啪| 久草久青福利| 97欧美在线| 天天天天干| 日本色狠狠| 婷婷的激情五月| 亚洲影院婷婷色| 日日干日日| 五月丁香激情五月天| 丁香花五月天婷婷成人社区| 色色色99| 99免费在线视频| 五月开心六月婷婷在线播放网站| 亚洲av网站| 七月丁香五月婷婷在线| 色爱综合网| www.深爱激情| 六月香五月婷| 东京热免费视频| 五月天婷婷色综合| 国产暴力强伦轩1区二区小说| 久久爱婷婷| 色婷婷狠狠干| 婷婷五月丁香欧洲| 99干在线视频| 91操人人操| 人人舔人人色人人高潮| 五月丁香色婷基地综合久久| 激情六月婷婷啪啪| 综合婷婷| 一本久道综合色婷婷五月| 亚洲色综合性| 啪啪五月天啪啪| 色5月婷婷色| 精品日本视频444| 丁香六月天| 五月天丁香| 玖久精品视频9| 色色五月丁香婷婷| 极骚大香蕉伊人| 综合久久婷婷| 97人人做| 婷婷五月综合网| 五月丁香网站在线播放| www.激情五月天。com| 99在线一区| 国产精品激情AV久久久青桔| 激情色色| 五月丁香啪啪网| 久久怡红院| 26uuu欧美宗合| 五月天开心成人网| 色色99色色| 99热老网站| 色婷久| 97综合视频在线| 99久久婷婷国产综合精品草原| 婷婷99热| 色哟哟精品| 丁香婷婷视频| 亭亭五月色男人| 妻久久久久| 狠狠操狠狠爱| 丁香五月中文字幕| 青青草原亚洲天堂| 五月天婷综合| 久久新地此| 婷婷激情五月天激情小说| 成人免费黄色短视频| 影音先锋女人AA鲁色资源| 亚洲综合婷婷| a网站免费观看| 丁香五月婷婷偷拍| 综激情网| www.国产色| 久久98热re| 激情综合一| 婷婷六月丁香欧美视频在线| 97 A I色色| 特级片神马电影| 啪啪激情网站| 久久激情五月网| 国产热精品| WWW.桔色成人.COM入口| 丁香婷婷久久激情| 天天情色五月天| 六月婷五月丁香| 婷婷五月激情基地| 五月丁香久久激情网| 开心婷婷五月花| 丁香色啪综合| 在热视频精品| 99在线观看精品视频| 日本va欧美va欧美va| 26UUU精品一区二区Com| 午夜激情五月天| 99久久激情视频| 嫩草AV久久伊人妇女超级a| 丁香五月天五码婷婷| 夜夜操夜夜爽| 无码网| 五月天另类小说亚洲| 天堂AV三级| 丁香九月综合| 99色1| 色性五月天| 激情网五月婷婷| 婷婷五月天男人影院色色网| 天天色综合网1| 亚洲成人噜噜| 啪啪色区| 可以免费观看的av| 成人精品视频99在线观看免费| 大伊香蕉精品视频在线| 在线观看欧美3区| 日本色色影院| WWW.久久久久久久| 婷婷五月天播| 六月天六月婷| 99热精品免费| 久久久网站| 综合久久婷婷| 欧美日韩成人综合9| 九九Y精品热播| 日韩视频女神99| 影音先锋一区| 热久久99视频| 婷婷六月伊人| 亚洲成人超碰| 久久99网站| 国产偷人爽久久久久久老妇APP | 亚洲操操操| 九月色婷婷综合| 九九综合伊人| 少妇大叫太大太粗太爽了A片| 艹B高清无码| 激情婷婷视频在线| 色综合婷婷| 婷婷五月天.com| 五月丁香六月欧美| 丁香五月婷婷网| 青青草原伊人网| 色色色五月婷| 久久久人妻| 九色在线五月婷婷网址| 色热久| 色色亚洲无码| 丁香午夜天| 五月丁香激情四射| 在线看的免费网站| 99色久| 超碰99在线观看| 天天日夜夜草进麻麻的子宫| 国产成人亚洲综合A∨婷婷| 久久婷婷成人| 91麻豆国产三级精品福利在线观看| 狠狠综合久久综合| 综合丁香婷婷五月天| 就爱射中文字幕资源网| 9久久精品| 国产XXXX搡XXXXX搡麻豆| 九九99在线| 色婷婷五月天激情| 婷香五月激情视频| 少妇性按摩无码中文A片| 爱iii做iiii日日| 伊久久婷婷| 26uuu色噜噜精品一区| 亚洲欧美另类在线23p| 六月丁香综合| www.金莲av| 成人综合视频在线| va婷婷在线免费观看| 激情99| 公的粗大挺进了我的密道| 免费视频1区| 五月停停色色丁香| 丁香五月无码| 日本九九九九| 午夜丁香 婷婷| 色婷婷六月性| 免费看欧美成人A片无码| 日本久久99| 亚洲区在线| 爱射综合| 五月丁香六月欧美综合网站| 婷婷成人基地| 91色逼| 少妇性按摩无码中文A片| 色婷婷AⅤ| 婷婷五月天伦理| 五月婷婷日| 亚洲午夜AV| 久久五月婷婷视频| 欧美亚洲婷婷五月| 精品久热| 婷婷丁香社区| 思思热久久爱| 激情伊人五月天| 中文字幕高清av| 97丁香花五月天激情小说| 色婷婷五月天视频网站| 婷婷五月丁香五月基地| 婷婷五月天播| 婷婷五月天久久| 婷婷五月天综合小说网| 亚洲天堂色色| 久久看婷婷| 激情婷婷网| 啪啪啪综合网| www.久久久久| 国产激情在线| 日韩 mm 不卡| 五月婷婷亞洲中文| 熟女人妻一区二区三区免费看| 99色五月| 久久99热这里只有精品| Blackedraw视频一区二区| 草综合网| 激情av| 婷婷色六月| 桃色激情婷婷伊人网| 8区视频在线| 色五月色五天色情网址| 天插天啪天啪天啪| 青青草国产亚洲精品久久| 国产精品久久久久久白浆色欲| 婷婷爱五月天| 99精品偷拍视频| 伊人狠狠干| 婷婷五月天综合网| 99色婷婷视频| 久久激情视频| AV在线中文| 第四色大香蕉| 91在线视频综合| 噜噜久| av九九| 99超级碰免费视频| 天天干天天干天天干天天干天| 九九色之九九色之88| 亚洲人成人五月天| 久久这里只有精品视频15| 色久婷婷网| 亚洲综合色色色| AA久久| 思思热在线| 综合久久8| 五月花亭亭| 黑人巨粗进入警花疼哭A片| 96五月丁香熟女| 激情久久久| 色婷天天| 丁香花色色网| 天天操天天操天天操天天操天天操 | 五月天婷婷影院影院观看| 亚洲综合色婷| 五月丁香六月婷婷在线播放| 天天肏视奸| www.六月丁香看AV| 91n啪啪| 色婷婷五月天天天干天天操天天爽| 五月桃花网综合| 噜噜噜噜在线| 日日夜夜亚洲一区| 人人爱人人摸人人澡| 婷婷六月香| 99久久大片| 婷婷五月丁香综合瑟瑟| 五月亭亭直播| 色情激情五月婷婷| 激情六月色| 超碰国产在线观看| 五月婷婷与六月丁香图片激情| 欧美日韩成人在线网站| 色播播五月天| 激情五月天啪啪| 日本九九视频| 99视频内射三四| 开心五月网| 久久66er久久| 九九亚洲视频| 五月婷婷六月丁香综合视频在线| 青青久在线视频免费观看| 伦乱美欧| 精品综合网在线| 99色色色色| 99re热在线视频观看| 综合激情在线视频| 激情无码五月天| 色婷婷影视| 开心五月天私房婷婷| 五月天色五月| 久久婷婷五月天激情| 狠狠色综合久久久久| 五月天色婷婷伊人网| 亚洲AV永久无码影院黑人 | 九九视频热| 五月色情婷婷| 中文字幕综合| 欧美激情五月天婷婷| 99热国品| 一丁香五月天月AV| 五月婷色色| 综合网色| 操日挥操日日| 操97| 久久黄色片| 九九無妻| 九九热这里有精品视频| 天天干人人奸97| 婷婷王月天影院| 黄网在线观看免费| 国产精品电影| 久久思思热视频| 9精品一区| 91黄址| 99热这里只有精品98| 97精品人人A片免费看| av操一操| 九九人人操| 亚洲亚洲人成综合网络| 思思精品视频| 国产五月天婷婷| 99在线观看| 99视频热| 日韩操人| 99热伊人综合| 五月天啪啪啪| www,99热| 六月丁香婷婷拍拍| 亚洲AV永久无码影院黑人| 婷婷综合色图| 五月天小说激情| 色五月婷婷天堂| 五月天激情小说| 激情精品久久| 伊人五月天97| 少妇高潮呻吟A片免费看软件 | 六月婷婷六月天天在线免费| 五月婷婷亚洲综合在线 | 激情综合色| 人人操操| 91在线就要啪| 91偷拍视频| 天天插夜夜爽| 玖玖色综合网| 97搞在线| 精品久久99码| 亚洲综合狠狠艹| 超碰97干| 亚洲深喉AV| 99玖玖在线视频| 五月天色婷婷小说| 婷婷五月天奸女| 精国产品一区二区三区A片| 一丁香五月天月AV| 我爱宗和色| 综合伊人久久| 五月丁香六月片| 五月丁香婷婷网在线在线| 99久久a线观| 1囯产午夜仑鲁鲁| 天天色天天日| 久久精品视频在这里有| 久色成人| av网址在线| Av狠狠色丁香婷| 特黄三级片| 婷婷精品性性性性性性性| 99九色视频在线观看| 精品亚洲国产成AV人片传媒| 日本99热| 激情婷婷六月天| 激情五月天之六月婷婷| 大香蕉精品视频| 九九草草逼| 色色射| 九九热免费| 深爱激情四射| 色啪综合| 成人Av在线大片| 先锋影音男人的天堂AV| 北京熟妇搡BBBB搡BBBB| 啪啪啪大香蕉| 国产偷人妻精品一区| 丁香五月婷婷亚洲综合精品在线| 久久五月婷| 九九99男女视频在线观看| 国产毛片精品一区二区色欲黄A片| www婷婷| 婷婷五月天堂| 欧美97p| 久久久人妻久久久| 丁香五月在线自慰| 五月天激情日色在线| 国产精品18久久久| 色色a| www.91在线观看| 色天天综合成人网| 熟女五月天久久综合| 六月99天天婷婷激情综合| 99热一本久道| 亚洲成人在线观看av| 色婷婷99| 色婷婷久久| 久久久18| 成人短视频在线| 婷婷五月天av| 五月天综合在线观看| 思思热久在线观看视频| 久久久人妻人伦| 猫咪伊人久久| 啪啪黄页网| 久久色吧| 日韩三级视频一区二区| 色婷婷精品视频在线播放| 久草热8精品视频在线观看| 亚洲综合五月天婷婷| 久久 婷婷 五月天| 色五月婷婷大香蕉| 俺也高清无码高清视频| 99热日韩| 丁香五月激情啪啪| www.99热这里只有精品| 婷婷丁香18| 成人丁香婷婷| 丁香五月天激情网| 天天综合影院| 婷婷丁香五月天综合网| 国产XXXX搡XXXXX搡麻豆| 欧美成人精品A片免费一区99| 婷婷综合激情| 播播网色播播| 五月婷婷久久综合| 超碰99在线观看| 密桃激情五月天综合网| 日韩抽插操逼| 色天堂在线| 欧美三级欧美一级| 五月丁香综合激情网| AV成人在线播放| 99爱精品| 97久久视频| 五月激情视频| www.超碰| 色婷婷19| 婷婷亚洲五| 久久婷婷成人| 亚洲日比视频| 日本久久综合| 久热伊人91| 懂色av粉嫩av蜜臀av| 在线视频区| 久久er99热精品一区二区| 狠狠干在线| 涩五月色婷婷| 亭亭五月色男人| 99热精品中文字幕| 五月色丁香激情| 新精品99| 色日本综合| 色狠狠综合网| 99精品在线观看视频| 99精品在线观看| 国产亚洲精品AAAAAAA片| 欧美在线干| 免费看欧美成人A片无码| 色色五月丁香| 精品无码久久久久久久久| 久久AAAA片一区二区| 综合色五月亭亭| 婷婷五月丁香99| 97爱综合| se色综合网| 综合AV在线| 亚洲丁香婷婷五月天综合色| 九九精品这里只有| 亚洲色激情| 天天性视频| 日日日,com| 色婷婷丁香五月天激情综合网| 色吧五月婷婷| 亚洲啪啪啪啪| 综合激情五月天| 操大屄五月天视频| 色五月婷婷综合在线| www.婷婷,com| 2015好吊操| 激情五月综合六月丁香婷婷狠狠干| 五月丁香激情欧洲啪啪| 黄色一级影片| 国产精品18久久久| 91色性感五月婷婷丁香| 99热亚洲精品| 国产99热在线看| 伊人久久五月天| 亚洲激情网| 久久这里只有精品99| 综合 激情 婷婷| 精品人妻在线| renrencaoni| 亚洲中文无码成人| 色五月婷婷五月丁香五月| www999日韩精品| 免费精品99| 久久婷综| 色情五月丁香| 婷婷色欧美激情| 六月丁香五月亭亭| 五月天婷婷社区| 丁香五月六月综合激情| 伊人喵咪a V| 九九这里是免费的视频5| 色五月激情问网站| 99爱这里只有精品免费视频| 丁香五月香蕉| 亚洲精品444久久久久久| 久久99久久99精品免观看粉| 色综合久久伊伊婷婷五月| 五月天播播| 婷婷伊人网| 99精品无码| 久久九九re热| 天天人人天天爽| 色丁香五月婷婷| 日本乱子人伦在线视频| 十区AV| 狠狠久久婷五月综合色| 激情图片婷婷| 久久九九激情五月天 | 99热这里只有精| 日本丰满久久| 丁香色六月| 人妻无码精品一区| 久草婷婷| 91久久五月天| 婷婷 亚洲图片 丁香| 色婷婷888| 两性婷婷丁香五月| 伍月婷丁香婷| 99精品综合视频| 国产成人精品一区二三区熟女在线| 日本色久| 婷婷色av| 99色天堂| 丁香五月AV| 五月婷婷色综图片| 伍月婷婷六月丁香| 色噜噜狠狠色综无码久久合欧美| 亚洲人人操| 九月婷婷丁香| 五月天.com| 亚洲啪| 丁香六月av| 日韩人妻在线观看| 色色婷婷综合| 五月激情丁香久久综合网| 丁香五月天之婷婷影院| 69凹凸成人综合网| 丁香五月六月久久综合 | 亚洲VA在线| 永久免费视频| 日韩成人电影Av| 婷婷激情五月吧| 久久丁香五月| 日韩AC在线免费观看| 五五月丁香花激情综合网| 五月婷婷综合在线| 9999热免费视频视频| 激情图片婷婷| 天天狠狠夜夜狠狠2023| 九九99精品视频| 五月天色丁香| 99色热| 五月丁香啪啪| 色婷婷欧美| 久久新地此| 99热国产这里只有精品| 青青草原亚洲久| 丁香五月aV| 成人在线99| 婷综合| 亚洲最大激情无码| 色五月婷婷在线观看第一页舔| 激情五月丁香综合蜜桃| 色色色综合色| 99热这里是精品| 9久热免费视频99| 激情五月婷婷啪啪| 99热无码首页| 婷婷热色| 99日韩网站| 操人无码| 色情五月丁香| 狠狠狠狠狠干| 在线成人国产| 99成人免费热视频| 人人肏逼视频在线一区二区| 色 五月婷婷基地| 97色婷| 亚洲色精彩| 日日干日日| 9色小视频在线观看| 婷婷日日天天| 丁香五月天久久| 激情五月婷婷综合视频| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 风流少妇A片一区二区蜜桃| 五月激情婷婷图片基地| 丁香婷婷大香蕉| 日本久久网| 26uuu欧美日本| 激情九月婷婷| 婷婷免费视频| 丁香六月婷月91婷月| 亚洲五月天激情| 九九人人精品| 九色91国产| 九色在线观看91av| 这里只有精品无码| 大香蕉Av在线| 五月狠狠| 久久超级碰视频| 五月激情六月综合| 26uuu偷拍亚洲欧洲综合| 色欧美影院| 成人在线不卡| 九九热精品| 天天色爽| 青青草视频免费观看| 噜噜噜噜在线| 99九九99九九九视频精品| 99久久6| 人人操人人看97干| 欧美性色视频| 狠狠色狠狠爱| 五月丁香婷婷基地| 色婷婷五月六月丁香综合视频| 伊人无码高清| 狠狠干思思热| 91天堂网综合| 亚洲激情97五月天| 99丁香五月婷婷在线| 中文字幕精品在线观看| 99综合视频| 欧美成人精品A片免费一区99| 人人干AV| 日本性视频| 激情噜噜噜| 久久9精品视频| 婷婷六月丁香五月| 人人爱天天摸摸天天爱| 精品热青草| 99激情视频| 欧美99热| 成人做爰黄A片免费看直播室男男| 97五月天婷婷| 日韩av网站在线观看| 五月婷婷五月天| 一级片sese片.COM| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 六月丁香网| www天天干| 99精品视频播放| 夜色综合网| 色色综合成人网| 超碰婷婷色| 五月开心久久| 天天做天天爱天天爽夜夜揉| 苗黎美女四级成人版一级二级毛片| 亚洲色情在线| 色综合综合色| 香蕉AV777XXX色综合一区| 丁香五月无码| 日韩ac不卡无码| 亚洲六月婷婷| 99免费综合网| 精品热九九| 久久婷婷五月综合色奶水99啪| aaaaa黄色| 五月精品99综合| 五月天伊人综合| 国产日韩欧美性生活| 婷婷五月丁香人妻无码高清| 婷婷色啪| 婷婷五月永远18免费久久久| 婷婷激情综合色五月久久图片| 婷婷操逼| 99综合一区| 成人丁香五月| 影音先锋男人AV资源站| 成人国产综合| 五月婷久久在线| 婷婷五月网图片区| 北京熟妇搡BBBB搡BBBB| 婷婷婷婷婷开心无码播放| 天搞天天天天天| 午夜伊人大香蕉| 女婷久久| 国产色五月| 婷婷五月色| 一区二区你懂的| 99色综合| 亚洲激情97五月天| 日本a片网址| 五月丁香婷婷综合网色欲| www.色五月| 久久激情五月婷婷| 五月天婷婷在线啪啪视频| 成人午夜在线视频| 亚洲激情久久| 亚洲成人无码网站| 婷婷五月综合在线视频| 高清不卡一区| 国产AV网页| 婷婷另类小说| 777.色色| 五月婷婷日| 天天揷综合网| 日韩AAAAA| 婷婷婷婷色| 色婷婷视频| 日韩啪| 亞洲自怕| 99综合视频一体| 国产婷婷综合| 五月草影视| 六月色婷婷色| www91在线| 天天射影院| 亚洲av免费在线| 人人草人| 激情综合网亚洲色图| 五月色色网| 免费视频WWW在线观看网站| www,久久久| 激情五月,深深爱五月| 九九这里只有精品在线视频| 精品久久婷婷| 五月婷婷五月天激情网| www.com操| 久久色五月天| 少妇婷婷五月天| 色婷婷激情五月天丁香| 九九久久精品| 婷婷久久综| 99精品福利视频| 久久婷婷操| site:wpjngj.com| 九九久久五月天综合伊人| 热婷婷av| 久久久天堂国产精品女人| 六月婷婷五月丁香| 在线视频99| 丁香婷婷成人网| 日本黄色在线观看| 五六月婷婷久久| 欧美日韩91| 99久在线| 99热国产免费| 怡红院精品视频久久久久久久久| 天天综合网、天天综合色 | 婷婷五月亚洲一本在线丁香| 五月丁香亚洲综合网| 久久久久婷婷五月热综合| 91一起操| 天天色图| 九色无码| 99re在线免费视频| 99天天操夜夜操| 99精品成人无码A片观看金桔| 五月天另类视频| 九九热视频99| 五月天社区婷婷丁香社区| 五月婷婷激情中心| 激情综合网亚洲色图| 色欲五月天| 色婷婷久久综合| 丁香五月影视| 金品在线视频99| 日韩无码系列| 色综合色婷色基地| 久操人| 91熟妇大香蕉| 国产欧美大香蕉一区| 五月天色软件| 婷婷91视频| 亚洲国产精品成人午夜| 黄色三级毛片中字| 成人在线二区| A久久| 婷婷亚洲综合| 六月丁香五月天| 8区视频在线| 激情六月婷婷| 色玖玖爱| 五月婷婷激情综合视频| 五月丁香六月婷婷综合免| 96人人操人人操人人| 欧美色色色色色色色色色色影视| 伊人久久激情图区五月| 伦乱美欧| 26uuu亚洲欧美另类| 人人操超踫| 狠色狠色综合久久| 这里只精品热在线18| 99久久婷婷五月天| 99热骚货| 五月天婷婷成人资源站| 亚洲色婷婷视频| 婷婷噜噜| 蜜臀99精品| 婷婷射综合| 丁香桃色网| 色九亚洲| 超碰在线99| 色色色综合网| 无码AV久久久久久久久| 成人精品视频99在线观看免费| 桃色五月天| 国产日韩欧美| 激情五月天婷婷播播久久综合91| 伊人激情网| 99久操| 成人AV免费观看| 伊人99热| 91干99| 色婷婷影视99| 激情爱爱网站| 丁香五月婷婷狠狠色| 久久婷婷成人| 久久99久久99精品免视看婷| 婷五月天天| 色天天综合色| 五月丁香六月婷婷婷婷| 99热国产免费| 天堂综合久| 欧洲毛片基地c区| 婷婷五月丁香五月| 极品人妻VIDEOSSS人妻| 久久一级AV| 婷婷色播婷婷| 欧美日本免费一道免费视频| 亚洲啪啪自拍| 婷婷色中文| 超碰免费99| 九九sese| 婷婷五月天电影区小说区| 激情五月天婷婷五月天| 久久九精品| 五月婷婷开心网| 激情五月黄色| AAA久久久AAA久久久AAA| jiujiu热在线视频| 天天干-天天日| 九九免费精品| 五月丁香六月成人| 五月丁香六月婷| 亚洲国产精品二二三三区 | 这里只有九九精品| 婷婷五月天激情在线| 国产毛片精品一区二区色欲黄A片| 9有码中文| 欧美日韩aaa| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 9久国产精品| 成人无码髙潮喷水A片| 97碰碰九九视频| 欧美 日韩 成人在线| 色丁香综合影院| 噜噜国产| 婷婷综合五月| 婷婷丁香五月天色色| 超碰操网| 人妻操操色| 97色天堂| 1000部毛片A片免费观看| 操逼综合网| 久久视屏这里只有久久| 婷婷五月18永久免费视频| 激情99| 全部老头和老太XXXXX| 婷婷va| 免費亭亭成人| 草综合14| 国产精品国产成人国产三级| 狠干综合| 久热2025无码| 五月婷六月天| 99亚洲视频| 婷婷五月花| Caop在线| 夜夜骑日日夜夜| 欧洲色| 欧美内射AAAAAAXXXXX| 天堂综合久| 婷婷六月天精品| 超碰免费大香蕉| 丁香婷婷欧美综合| 久久女婷| 激情亚洲网| 激情五月综合网| 婷婷刺激综合| 丁香花五月天| 97影院一级片| 好叼操在线观看| 亚州激情网站无码| 亚洲成人中心| 九九色婷| 99热在线爱| 日本五月婷婷| 99精品国产在热久久| 97人人操人人| 女人天堂 AV| 久色激情| 午夜丁香综合婷婷| 丁香激情婷婷网| 超碰99在线观看| 丁香婷婷综合影院| 五月婷婷亚洲天堂激情在线| 婷婷俺去也| 美女久久婷婷| 午夜婷婷丁香| 9九色首页| a级毛片一区二区免费视频| 99 r热| 99这里只有精品视频| 国产AV影片| 五月综合亚洲色| 亚洲成人中心| 9热网站| 操操操操操操婷婷五月天| 婷婷另类小说| 久99久视频精品| 91婷婷色五月| 色综合色色色| 久99久视频精品| 玖玖资源部在线播放| 激情99| 久久se 综合网| 玖玖伦理电影| 亚洲美女高潮久久久久久69| 亚洲电影中文字幕| 五月永久激情| 六月丁香啪啪| 一月婷婷色色| 噜噜色com| 丰满少妇乱A片无码| 色久播播| 99福利导航| 五月天丁香久久综合 | 婷婷中文在线| 亚州激情九月| 婷婷五月天综合色| 亚洲电影在线观看| 亚洲中文丁香| 夜夜操天天干| 91人人操人人| 激情人妻综合| 91无码高清| 久久九九免费视频| WwW色婷婷| 欧日韩AV| 天天干天天拍| 日本老女人黄页在线播放| 色色免费网站| 五月天激情网址| 久久五月天婷婷| www.91AV.com| 婷婷五月天干干| 人妻中文在线| 久热只有这里有精品| 五月婷婷影| 97香蕉碰碰人妻国产欧美| 无码区婷婷五月花开| 超碰国产av| 丁香五月天婷婷中文字幕| 开心五月婷婷伊人| 九九色视频| 狠狠干最新地址| 婷婷激情综合网| 最近中文字幕大全免费版在线 | 婷婷成人综合免费视频| 天天综合精品| 久久机热这里只有精品免费视频| 草草视频91| 色999亚洲人成色| 五月婷婷性爱| 日本视频99| 天天操加勒比| 91婷婷在线观看| 丁香婷婷激情| 丁香五月最新网址| 丁香五月婷婷俺也要去| 五月丁香婷婷激情图片| 99热99色| 婷婷五月六月| 色五月激情网| 熟女国产在线一区二区三区四区| 啪啪小说五月天| 六月婷婷AV| 99无码视频| 99热精品观看| 色五月琪琪| 九九碰九九爱97| 开心五月天激情网| 亚洲色激婷| 国产日产亚系列精品版优势| 久久精品永久免费| 97日本操| 免费久久这里只有精品99| 色综合视频在线| 79色色| 亚洲av网址| 久久色婷婷| 久久这里这里有精品免费视频| 丁香色色网| 丁香六月开心| 色狠狠综合| 伊人日日干| 色色三级视频| 第四色首页| 五月丁香视频色色| 九九色欲网| 九九热视频精品2| 伊人综合网站| 亚洲婷婷激情888精品久| 91欧美日韩| 狠狠操天天干| 天天色播| 91久久婷婷| 激情黄色小说五月天| 日本97在线看片| 欧美色97| 丁香丁香激情网| 苗黎美女四级成人版一级二级毛片| 色色COm| 91亚洲免费片| 粉嫩av懂色av蜜臀av熟妇| 五月天激情黄色小说在线观看| 啊v视频在线观看| 久久99这里只有精品视频| 丁香97综合| 五月天狠狠色| 人人干天天舔| 在线综合亚洲欧美65| 婷婷五月在线观看| 九九干视频| 婷婷五月花| 视色综合| 久久婷婷丁香| 五月天精品| 丁香六月无码播放| 97人人爱人人操| 狠狠操狠狠| 欧洲免费视频色| www.无码com| 色色色com| 六月丁香好婷婷| 久re热视频| 色丁香五月婷婷| 天堂草在线观| 大香蕉久久草| 97精品人人A片免费看| 久久99色色| 久操干| 思思热视频在线| 激情五月婷在线精品| 香蕉久久国产av一区二区| 激情五月天 婷婷| AAA亚洲AV| 伊人五月婷婷| 亚洲日韩一页精品发布| 思思热在线精品视频| 丁香五月婷婷狠狠色| www免费在线视频| 九九大香视频| www.狠狠狠狠| 九九99在线| 天天草天天爽| 婷婷色五月天在线| 婷婷久久亚洲| 91操黄| 国产亚洲在线观看| 伍月婷婷六月丁香| 99无码超碰| 国产乱人偷精品人妻A片| 久色五月丁香视频| 深爱激情AV| 丁香婷婷色九月| 610018岁成人视频| 开心五月天激情网| 五月综合婷婷网| 人人操操| 丰满人妻妇伦又伦精品国产| 99精品国产在热久久婷婷| 婷婷丁香五月激情中文字幕版| 六月大香蕉| 中文字幕乱码亚洲精品一区| 99视频九九热| 99久久99视频只有精品| 色开心五月丁香| 99国产精品白浆在线观看免费| 婷婷九月在线| 五月开心婷婷| 超碰AV在线| 五月天激情日色在线| 五月丁香综合| 天天草天天爽| 1995年关宝慧版蜘蛛女| 亚洲九区| bukadeavzaixian| 欧美丰满熟妇BBB久久久| 久久婷婷成人| 69婷婷丁香午夜| 亭亭色色五月天| 激情色情五月天| 97人人操人人干| 日本爆乳片手机在线播放| 人人干AV| 婷婷色婷婷亚洲成人| 九九精品少妇| 亚洲经典三级| 91色吧网| 丁香五月婷婷成人网| 丁香六月婷婷久久综合| 月色色综合婷婷网| 这里只有精品96| 99精品免费视频| 91激情五月开心| 色婷婷丁香五月综合| 激情婷婷五六月天| 在线看片av| 4399欧美另类视频| 日本美女97在线视频| 中文字幕在线免费观看视频| 亚洲第一成人AV| 日韩精品一品二区三区的使用体验| 激情五月天在线观看色婷婷| 99人人操人人操人人精| 国产午夜精品AV一区二区麻豆 | 婷婷五月天激情在线观看| 91ncom.色| 日韩三及成人AV片| 亚洲日韩乱码一区二区三区四区| 伊人五月天| 六月丁香综合| 国产精品视频久久99| 777久久精品| 人妻人人操| 五月婷婷婷| 精品国婬伦V无码久久久| 免费无码毛片一区二区A片 | 激情综合自拍五月婷婷色五月| 色色色综合色| 99久久.www| 亚洲精品又粗又大又爽A片| 丁香六月综合激情| 丁香五月电影| 色综合九九| 日日夜夜狠狠干| 婷婷五月天熟妇| 99热国产国产| ww亚洲ww在线观看| www.色五月| 99无码视频| 啪啪啪综合网| 很很干天天干| 丁香五月天综合网|