欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Prometheus+Grafana實(shí)戰(zhàn):從零構(gòu)建JVM監(jiān)控與性能調(diào)優(yōu)體系

Prometheus+Grafana實(shí)戰(zhàn):從零構(gòu)建JVM監(jiān)控與性能調(diào)優(yōu)體系 1. 項(xiàng)目概述從“黑盒”到“白盒”的JVM監(jiān)控之旅在微服務(wù)和云原生架構(gòu)大行其道的今天Java服務(wù)作為后端的主力軍其運(yùn)行狀態(tài)的透明化變得前所未有的重要。想象一下你的服務(wù)在線上跑著CPU偶爾飆升內(nèi)存緩慢增長GC垃圾回收越來越頻繁但除了偶爾的告警和日志你對(duì)JVM內(nèi)部到底發(fā)生了什么其實(shí)知之甚少。這就像一個(gè)飛行員在駕駛艙里卻看不到引擎的轉(zhuǎn)速、油壓和溫度表只能憑感覺和事后分析來飛行風(fēng)險(xiǎn)不言而喻?!癙rometheus監(jiān)控Java服務(wù)通過Grafana工具將JVM參數(shù)可視化樣式4701參數(shù)解讀”這個(gè)項(xiàng)目正是為了解決這個(gè)痛點(diǎn)。它不是一個(gè)簡(jiǎn)單的工具堆砌而是一套完整的可觀測(cè)性解決方案。其核心目標(biāo)是將JVM這個(gè)復(fù)雜的“黑盒”變成一個(gè)“白盒”讓每一個(gè)關(guān)鍵的運(yùn)行時(shí)參數(shù)——從堆內(nèi)存使用、線程狀態(tài)到垃圾回收的每一次停頓——都能以直觀、實(shí)時(shí)、歷史可追溯的圖表形式呈現(xiàn)在我們面前。這里的“樣式4701”通常指的是Grafana社區(qū)中一個(gè)非常經(jīng)典且功能強(qiáng)大的JVM監(jiān)控儀表盤模板其ID往往是4701它預(yù)置了數(shù)十個(gè)精心設(shè)計(jì)的面板幾乎覆蓋了JVM監(jiān)控的所有關(guān)鍵維度。這套組合拳的價(jià)值在于對(duì)開發(fā)者而言它是性能調(diào)優(yōu)和問題排查的“顯微鏡”和“時(shí)間機(jī)器”可以快速定位內(nèi)存泄漏、線程死鎖或GC瓶頸對(duì)運(yùn)維和SRE而言它是保障服務(wù)SLA服務(wù)等級(jí)協(xié)議的“儀表盤”能基于豐富的指標(biāo)設(shè)定精準(zhǔn)的告警規(guī)則實(shí)現(xiàn)主動(dòng)運(yùn)維對(duì)團(tuán)隊(duì)管理者而言它提供了統(tǒng)一的技術(shù)視圖消除了開發(fā)、測(cè)試、運(yùn)維之間的信息壁壘。接下來我將以一個(gè)資深從業(yè)者的視角帶你從零開始拆解如何搭建這套監(jiān)控體系并深度解讀那些關(guān)鍵指標(biāo)背后的故事。我們不僅會(huì)完成部署更會(huì)弄懂每一個(gè)數(shù)字的含義。2. 技術(shù)棧選型與架構(gòu)設(shè)計(jì)思路為什么是Prometheus Grafana Micrometer這個(gè)“黃金組合”在開始動(dòng)手之前理解這個(gè)選擇背后的邏輯比盲目執(zhí)行命令更重要。市面上監(jiān)控工具很多比如Zabbix、Nagios或者商業(yè)化的APM應(yīng)用性能管理套件。我們的選擇基于以下幾個(gè)核心考量2.1 Prometheus拉取模型與多維數(shù)據(jù)模型的勝利Prometheus是一個(gè)開源的系統(tǒng)監(jiān)控和告警工具包它最大的特點(diǎn)是拉取Pull模型。傳統(tǒng)的推Push模型如Agent將數(shù)據(jù)推送到中心服務(wù)器在Agent異常時(shí)中心服務(wù)器會(huì)丟失數(shù)據(jù)且難以統(tǒng)一管理抓取間隔。而Prometheus主動(dòng)去配置好的目標(biāo)Target上拉取指標(biāo)控制權(quán)在監(jiān)控端更容易管理全局的抓取頻率和一致性。這對(duì)于監(jiān)控成千上萬個(gè)動(dòng)態(tài)變化的容器實(shí)例尤其友好結(jié)合Service Discovery可以自動(dòng)發(fā)現(xiàn)新實(shí)例。它的數(shù)據(jù)模型也極其強(qiáng)大一個(gè)指標(biāo)由指標(biāo)名稱Metric Name和一組鍵值對(duì)標(biāo)簽Label唯一標(biāo)識(shí)。例如jvm_memory_used_bytes{area“heap”, id“Eden Space”}這個(gè)時(shí)間序列清晰地告訴我們這是堆內(nèi)存中伊甸園區(qū)Eden Space的使用字節(jié)數(shù)。這種多維數(shù)據(jù)模型使得查詢和聚合變得異常靈活你可以輕松地查看整個(gè)集群的堆內(nèi)存使用也可以下鉆到某個(gè)特定服務(wù)、特定實(shí)例的某個(gè)內(nèi)存區(qū)域。2.2 MicrometerJava應(yīng)用的度量門面要讓Java應(yīng)用暴露JVM指標(biāo)給Prometheus我們需要一個(gè)橋梁。早期常用的是Prometheus官方提供的client_java庫但它需要手動(dòng)注冊(cè)和定義指標(biāo)比較繁瑣?,F(xiàn)在更主流的選擇是Micrometer。你可以把Micrometer理解為Java監(jiān)控領(lǐng)域的“SLF4J”。它是一個(gè)供應(yīng)商中立的度量門面Facade提供了統(tǒng)一的API。你的應(yīng)用代碼通過Micrometer API來記錄指標(biāo)然后在運(yùn)行時(shí)通過添加一個(gè)Micrometer到Prometheus的橋接器即micrometer-registry-prometheus依賴這些指標(biāo)就會(huì)自動(dòng)以Prometheus期望的格式通常是/actuator/prometheus端點(diǎn)暴露出來。這樣做的好處是應(yīng)用代碼與監(jiān)控后端解耦未來如果你想換到InfluxDB、Datadog等其他監(jiān)控系統(tǒng)只需要更換Registry依賴代碼幾乎不用動(dòng)。2.3 Grafana可視化與告警的瑞士軍刀Prometheus自帶一個(gè)簡(jiǎn)單的表達(dá)式瀏覽器但用它來做日常監(jiān)控和可視化無異于用記事本寫代碼。Grafana的出現(xiàn)完美彌補(bǔ)了這個(gè)缺口。它是一個(gè)功能強(qiáng)大的開源數(shù)據(jù)可視化和分析平臺(tái)支持多種數(shù)據(jù)源Prometheus是其一。它的核心價(jià)值在于豐富的面板Panel支持圖形、表格、儀表盤、熱圖等多種展示方式。靈活的儀表盤Dashboard可以自由拖拽、組合面板構(gòu)建業(yè)務(wù)和技術(shù)視圖。強(qiáng)大的查詢編輯器直接編寫PromQLPrometheus查詢語言實(shí)時(shí)預(yù)覽圖表。告警管理雖然Prometheus有Alertmanager但Grafana內(nèi)置的告警規(guī)則配置對(duì)于簡(jiǎn)單的閾值告警非常直觀易用。社區(qū)生態(tài)擁有極其活躍的社區(qū)共享了成千上萬個(gè)儀表盤模板如著名的“樣式4701”讓你可以站在巨人的肩膀上快速開始。2.4 整體架構(gòu)流程圖整個(gè)系統(tǒng)的數(shù)據(jù)流非常清晰Java應(yīng)用集成Spring Boot Actuator和Micrometer Prometheus Registry啟動(dòng)后會(huì)在/actuator/prometheus端點(diǎn)暴露指標(biāo)。Prometheus Server定期如每15秒向Java應(yīng)用的上述端點(diǎn)發(fā)起HTTP請(qǐng)求拉取指標(biāo)數(shù)據(jù)并存儲(chǔ)在自身的時(shí)序數(shù)據(jù)庫中。Grafana配置Prometheus作為數(shù)據(jù)源。用戶通過Grafana界面編寫PromQL查詢語句從Prometheus中獲取數(shù)據(jù)并渲染成圖表展示在儀表盤上??蛇xAlertmanagerPrometheus根據(jù)配置的告警規(guī)則Rule將觸發(fā)的告警推送給Alertmanager由后者進(jìn)行分組、去重、靜默并通過郵件、釘釘、Slack等渠道發(fā)送給接收人。注意在生產(chǎn)環(huán)境中通常會(huì)將Prometheus、Grafana、Alertmanager部署在Kubernetes集群內(nèi)或獨(dú)立的監(jiān)控虛擬機(jī)/容器中與應(yīng)用實(shí)例網(wǎng)絡(luò)互通。同時(shí)Prometheus的數(shù)據(jù)存儲(chǔ)需要考慮持久化卷PV以滿足數(shù)據(jù)保留策略。3. 實(shí)戰(zhàn)部署一步步搭建監(jiān)控環(huán)境理論說得再多不如動(dòng)手做一遍。我們假設(shè)一個(gè)典型的場(chǎng)景在一個(gè)Linux服務(wù)器上部署一個(gè)Spring Boot的Java應(yīng)用并配置完整的監(jiān)控鏈。這里我會(huì)給出詳細(xì)的命令和配置并解釋每一個(gè)步驟的意圖。3.1 目標(biāo)Java應(yīng)用準(zhǔn)備首先我們需要一個(gè)能暴露監(jiān)控指標(biāo)的Java應(yīng)用。如果你手頭沒有可以用Spring Initializr快速生成一個(gè)。依賴引入在pom.xml中確保包含以下關(guān)鍵依賴。!-- Spring Boot Actuator提供生產(chǎn)就緒的特性包括端點(diǎn)暴露 -- dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-actuator/artifactId /dependency !-- Micrometer Prometheus Registry橋接Micrometer和Prometheus -- dependency groupIdio.micrometer/groupId artifactIdmicrometer-registry-prometheus/artifactId /dependency對(duì)于Gradle項(xiàng)目在build.gradle中添加implementation org.springframework.boot:spring-boot-starter-actuator implementation io.micrometer:micrometer-registry-prometheus應(yīng)用配置在application.yml或application.properties中啟用Prometheus端點(diǎn)并對(duì)其進(jìn)行一些安全或管理配置生產(chǎn)環(huán)境務(wù)必考慮安全這里以開放為例。management: endpoints: web: exposure: include: health,info,prometheus # 暴露健康檢查、信息和prometheus端點(diǎn) base-path: /actuator # 端點(diǎn)基礎(chǔ)路徑默認(rèn)為/actuator metrics: export: prometheus: enabled: true tags: application: ${spring.application.name} # 為所有指標(biāo)添加一個(gè)應(yīng)用標(biāo)簽便于區(qū)分 server: port: 8080 # 應(yīng)用端口 spring: application: name: demo-monitoring-app啟動(dòng)應(yīng)用啟動(dòng)你的Spring Boot應(yīng)用。訪問http://你的服務(wù)器IP:8080/actuator/prometheus你應(yīng)該能看到一大串以# HELP和# TYPE開頭后面跟著metric_name{label“value“ ...} metric_value格式的文本數(shù)據(jù)。這就是Prometheus能夠理解的指標(biāo)格式。如果能看到恭喜應(yīng)用端配置成功。實(shí)操心得在本地開發(fā)時(shí)經(jīng)常遇到訪問/actuator/prometheus端點(diǎn)返回404的情況。請(qǐng)按順序檢查1) 依賴是否正確引入2)management.endpoints.web.exposure.include是否包含了prometheus3) 項(xiàng)目是否成功引入了micrometer-registry-prometheus有時(shí)依賴沖突會(huì)導(dǎo)致它未生效。使用./mvnw dependency:tree | grep micrometer來確認(rèn)。3.2 Prometheus Server安裝與配置我們將在同一臺(tái)服務(wù)器或另一臺(tái)監(jiān)控專用服務(wù)器上安裝Prometheus。下載與解壓從Prometheus官網(wǎng)下載最新版本的Linux二進(jìn)制包。wget https://github.com/prometheus/prometheus/releases/download/v2.47.0/prometheus-2.47.0.linux-amd64.tar.gz tar -xzf prometheus-2.47.0.linux-amd64.tar.gz cd prometheus-2.47.0.linux-amd64配置Prometheus編輯解壓目錄下的prometheus.yml文件這是Prometheus的核心配置文件。我們需要添加一個(gè)抓取我們Java應(yīng)用的任務(wù)job。global: scrape_interval: 15s # 全局抓取間隔默認(rèn)15秒 evaluation_interval: 15s # 告警規(guī)則評(píng)估間隔 # 告警規(guī)則文件這里先不配置 rule_files: # - first_rules.yml # - second_rules.yml # 抓取配置這里定義Prometheus要監(jiān)控哪些目標(biāo) scrape_configs: # 監(jiān)控Prometheus自身 - job_name: prometheus static_configs: - targets: [localhost:9090] # Prometheus默認(rèn)端口是9090 # 監(jiān)控我們的Java應(yīng)用 - job_name: spring-boot-app metrics_path: /actuator/prometheus # 指標(biāo)暴露的路徑 static_configs: - targets: [你的Java應(yīng)用服務(wù)器IP:8080] # 替換為你的應(yīng)用實(shí)際IP和端口 labels: group: demo-services # 可以為這組目標(biāo)添加自定義標(biāo)簽 # 建議添加抓取超時(shí)、認(rèn)證等配置生產(chǎn)環(huán)境需要 # scrape_timeout: 10s # basic_auth: {...}關(guān)鍵配置解析job_name任務(wù)名稱會(huì)在指標(biāo)中生成一個(gè)job”spring-boot-app”的標(biāo)簽。targets監(jiān)控目標(biāo)地址列表格式為host:port。metrics_path目標(biāo)暴露指標(biāo)的HTTP路徑我們的Spring Boot應(yīng)用是/actuator/prometheus。labels為這個(gè)job下的所有target添加額外的靜態(tài)標(biāo)簽方便后續(xù)聚合篩選。啟動(dòng)Prometheus# 前臺(tái)啟動(dòng)方便看日志 ./prometheus --config.fileprometheus.yml # 或后臺(tái)啟動(dòng) nohup ./prometheus --config.fileprometheus.yml prometheus.log 21 訪問http://Prometheus服務(wù)器IP:9090進(jìn)入Prometheus Web UI。點(diǎn)擊頂部菜單欄的“Status” - “Targets”你應(yīng)該能看到兩個(gè)Targetprometheus和spring-boot-app狀態(tài)State應(yīng)為“UP”。如果spring-boot-app是“DOWN”請(qǐng)檢查網(wǎng)絡(luò)連通性、應(yīng)用是否啟動(dòng)、/actuator/prometheus端點(diǎn)是否能訪問。3.3 Grafana安裝與配置同樣在監(jiān)控服務(wù)器上安裝Grafana。安裝以Ubuntu/Debian為例使用官方倉庫安裝。sudo apt-get install -y software-properties-common sudo add-apt-repository “deb https://packages.grafana.com/oss/deb stable main“ wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add - sudo apt-get update sudo apt-get install grafana啟動(dòng)并設(shè)置開機(jī)自啟sudo systemctl daemon-reload sudo systemctl start grafana-server sudo systemctl enable grafana-server # 啟用開機(jī)自啟Grafana默認(rèn)運(yùn)行在3000端口。訪問http://Grafana服務(wù)器IP:3000默認(rèn)用戶名和密碼都是admin首次登錄會(huì)要求修改密碼。添加Prometheus數(shù)據(jù)源登錄Grafana后點(diǎn)擊左側(cè)齒輪圖標(biāo)“Configuration” - “Data Sources”。點(diǎn)擊“Add data source”選擇“Prometheus”。在URL處填寫你的Prometheus服務(wù)器地址如http://localhost:9090如果Grafana和Prometheus在同一臺(tái)機(jī)器。如果不在同一臺(tái)則填寫Prometheus的實(shí)際IP和端口。其他選項(xiàng)保持默認(rèn)點(diǎn)擊最下方的“Save Test”。如果顯示“Data source is working”恭喜數(shù)據(jù)源配置成功。至此監(jiān)控的基礎(chǔ)設(shè)施已經(jīng)全部就位。數(shù)據(jù)正在從Java應(yīng)用流向Prometheus而Grafana已經(jīng)準(zhǔn)備好查詢和展示這些數(shù)據(jù)。接下來就是最激動(dòng)人心的部分——使用強(qiáng)大的“樣式4701”儀表盤讓數(shù)據(jù)開口說話。4. 深度解讀Grafana儀表盤樣式4701與核心JVM參數(shù)在Grafana中儀表盤Dashboard是面板Panel的集合。與其從零開始創(chuàng)建每一個(gè)監(jiān)控圖表不如直接導(dǎo)入社區(qū)大神們已經(jīng)打磨好的模板?!皹邮?701”通常指的是Grafana官網(wǎng)Dashboards庫中一個(gè)非常受歡迎的JVM監(jiān)控儀表盤其ID可能是4701或8563等數(shù)字會(huì)變但內(nèi)容經(jīng)典。我們以JVM (Micrometer)這個(gè)經(jīng)典模板為例進(jìn)行解讀。4.1 導(dǎo)入儀表盤模板在Grafana首頁點(diǎn)擊“”號(hào) - “Import”。在“Import via grafana.com”輸入框中輸入儀表盤ID例如4701或8563然后點(diǎn)擊“Load”。在下一步中為儀表盤命名如“My App JVM Dashboard”并選擇我們剛才添加的Prometheus數(shù)據(jù)源最后點(diǎn)擊“Import”。瞬間一個(gè)包含數(shù)十個(gè)面板、信息密度極高的專業(yè)監(jiān)控視圖就呈現(xiàn)在你面前。它通常被劃分為幾個(gè)邏輯行Row如“Overview”、“Memory”、“Threads”、“Garbage Collection”等。我們來逐一拆解最關(guān)鍵的部分。4.2 核心面板與參數(shù)解讀4.2.1 內(nèi)存Memory監(jiān)控這是JVM監(jiān)控的重中之重主要關(guān)注堆Heap和非堆Non-Heap內(nèi)存。關(guān)鍵指標(biāo)jvm_memory_used_bytes已使用的內(nèi)存字節(jié)數(shù)。這是最直接的“用了多少”的指標(biāo)。jvm_memory_max_bytes最大可用的內(nèi)存字節(jié)數(shù)如果存在限制。對(duì)于堆內(nèi)存這就是你設(shè)置的-Xmx參數(shù)值。jvm_memory_committed_bytes已提交給JVM使用的內(nèi)存字節(jié)數(shù)。這是操作系統(tǒng)實(shí)際分配給JVM的內(nèi)存它會(huì)隨著使用增長但可能小于max。area標(biāo)簽這是最重要的標(biāo)簽之一其值包括heap堆內(nèi)存。其下又有id標(biāo)簽進(jìn)一步區(qū)分Eden Space伊甸園區(qū)新創(chuàng)建的對(duì)象首先在這里分配。Survivor Space幸存者區(qū)通常有兩個(gè)From和To在Minor GC后存活的對(duì)象會(huì)在這里來回拷貝。Tenured Gen或Old Gen老年代經(jīng)歷多次GC依然存活的對(duì)象最終晉升到這里。nonheap非堆內(nèi)存。包括MetaspaceJava 8或Perm GenJava 7及以前存儲(chǔ)類元數(shù)據(jù)、方法信息等。Code Cache存儲(chǔ)JIT編譯后的本地代碼。Compressed Class Space壓縮類指針空間。面板解讀堆內(nèi)存使用趨勢(shì)圖通常展示jvm_memory_used_bytes{area“heap”}。你會(huì)看到一條鋸齒狀的曲線這是GC工作的典型特征——內(nèi)存使用增長GC回收后下降。你需要關(guān)注的是曲線的“基線”是否在緩慢上升這可能暗示內(nèi)存泄漏。內(nèi)存池詳情一個(gè)堆疊面積圖分別展示Eden、Survivor、Old Gen的使用量。正常情況下Eden區(qū)頻繁升降Old Gen相對(duì)穩(wěn)定增長。如果Old Gen持續(xù)快速增長且Full GC后回收有限是內(nèi)存泄漏的強(qiáng)信號(hào)。Metaspace使用量監(jiān)控jvm_memory_used_bytes{area“nonheap” id“Metaspace”}。如果這個(gè)值持續(xù)增長到接近max可能會(huì)觸發(fā)Metaspace的GC甚至OutOfMemoryError常見于動(dòng)態(tài)生成類如CGlib代理、Groovy腳本的場(chǎng)景。實(shí)操心得看內(nèi)存圖不要只看瞬時(shí)值更要看趨勢(shì)。設(shè)置一個(gè)時(shí)間范圍如最近1小時(shí)、6小時(shí)觀察GC后內(nèi)存是否能回到一個(gè)穩(wěn)定的低點(diǎn)。對(duì)于Metaspace建議設(shè)置一個(gè)基于使用率的告警例如80%而不是等OOM發(fā)生。4.2.2 垃圾回收Garbage Collection監(jiān)控GC是影響Java應(yīng)用吞吐量和延遲的關(guān)鍵因素。關(guān)鍵指標(biāo)由Micrometer自動(dòng)從GarbageCollectorMXBean采集jvm_gc_pause_seconds_countGC暫停事件發(fā)生的總次數(shù)。jvm_gc_pause_seconds_sumGC暫停時(shí)間的總和秒。jvm_gc_pause_seconds_max單次GC暫停的最大時(shí)間。action和cause標(biāo)簽區(qū)分GC類型如action“end of minor GC“、cause“Allocation Failure“。面板解讀GC暫停時(shí)間與頻率儀表盤常用rate(jvm_gc_pause_seconds_count[5m])來計(jì)算每分鐘GC次數(shù)用rate(jvm_gc_pause_seconds_sum[5m])來計(jì)算每分鐘GC耗時(shí)。對(duì)于低延遲應(yīng)用你需要密切關(guān)注平均暫停時(shí)間和最大暫停時(shí)間P99 P999。GC類型分布通過標(biāo)簽區(qū)分Young GCMinor GC和Full GCMajor GC。Full GC會(huì)暫停所有應(yīng)用線程Stop-The-World耗時(shí)遠(yuǎn)長于Young GC。頻繁的Full GC是性能殺手。GC原因cause標(biāo)簽告訴你為什么觸發(fā)GC如“Allocation Failure”分配失敗、“System.gc()”代碼調(diào)用等。如果頻繁出現(xiàn)“System.gc()”可能需要檢查代碼或第三方庫。衍生計(jì)算平均GC暫停時(shí)間rate(jvm_gc_pause_seconds_sum[5m]) / rate(jvm_gc_pause_seconds_count[5m])。這個(gè)值應(yīng)該保持在一個(gè)較低且穩(wěn)定的水平。GC吞吐量可以粗略估算為(1 - (GC總時(shí)間 / 運(yùn)行總時(shí)間)) * 100%。高吞吐量應(yīng)用如批處理追求高GC吞吐量低延遲應(yīng)用如交易系統(tǒng)則追求短暫停。4.2.3 線程Threads監(jiān)控線程狀態(tài)是診斷死鎖、鎖競(jìng)爭(zhēng)、資源等待等問題的重要窗口。關(guān)鍵指標(biāo)jvm_threads_live_threads當(dāng)前存活的線程數(shù)包括守護(hù)和非守護(hù)線程。jvm_threads_daemon_threads當(dāng)前存活的守護(hù)線程數(shù)。jvm_threads_peak_threads自JVM啟動(dòng)以來的峰值線程數(shù)。jvm_threads_states_threads按狀態(tài)統(tǒng)計(jì)的線程數(shù)狀態(tài)包括runnable,blocked,waiting,timed_waiting,new,terminated。面板解讀線程總數(shù)趨勢(shì)監(jiān)控jvm_threads_live_threads。如果線程數(shù)持續(xù)無限制增長“線程泄漏”最終會(huì)耗盡資源導(dǎo)致OutOfMemoryError: unable to create new native thread。常見的泄漏原因是使用了線程池但未正確關(guān)閉或者任務(wù)隊(duì)列無限堆積。線程狀態(tài)分布一個(gè)堆疊圖展示各狀態(tài)線程的數(shù)量。健康的應(yīng)用大部分線程應(yīng)處于runnable可運(yùn)行或timed_waiting限時(shí)等待如Sleep。如果blocked阻塞或waiting無限期等待狀態(tài)的線程持續(xù)很多可能意味著存在激烈的鎖競(jìng)爭(zhēng)或資源死鎖。4.2.4 其他關(guān)鍵指標(biāo)CPU使用system_cpu_usage系統(tǒng)CPU使用率和process_cpu_usage本進(jìn)程CPU使用率。結(jié)合線程狀態(tài)如果CPU使用率高且runnable線程多可能是計(jì)算密集型任務(wù)如果CPU使用率不高但blocked線程多可能是I/O或鎖瓶頸。類加載jvm_classes_loaded_classes已加載類數(shù)量和jvm_classes_unloaded_classes_total已卸載類總數(shù)。結(jié)合Metaspace內(nèi)存使用一起看。文件描述符process_files_open_files打開的文件描述符數(shù)。如果接近系統(tǒng)限制ulimit -n會(huì)導(dǎo)致無法創(chuàng)建新的連接或文件。HTTP請(qǐng)求如果集成了Micrometer的Timed注解或Spring MVC指標(biāo)還可以監(jiān)控請(qǐng)求量、延遲、錯(cuò)誤率等這對(duì)于Web服務(wù)至關(guān)重要。5. 高級(jí)配置、告警與生產(chǎn)環(huán)境實(shí)踐基礎(chǔ)監(jiān)控搭建好后我們需要讓它變得更智能、更可靠以適應(yīng)生產(chǎn)環(huán)境的需求。5.1 Prometheus抓取配置優(yōu)化服務(wù)發(fā)現(xiàn)Service Discovery在微服務(wù)或K8s環(huán)境中靜態(tài)配置targets是不現(xiàn)實(shí)的。Prometheus支持多種服務(wù)發(fā)現(xiàn)機(jī)制如Kubernetes SD、Consul、DNS SD等。例如在K8s中可以配置自動(dòng)發(fā)現(xiàn)所有帶有特定注解annotation的Pod。- job_name: kubernetes-pods-springboot kubernetes_sd_configs: - role: pod relabel_configs: # 只抓取包含特定注解的pod - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape] action: keep regex: true # 從注解中獲取抓取路徑和端口 - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_path] action: replace target_label: __metrics_path__ regex: (.) - source_labels: [__address__, __meta_kubernetes_pod_annotation_prometheus_io_port] action: replace regex: ([^:])(?::\d)?;(\d) replacement: $1:$2 target_label: __address__抓取間隔與超時(shí)根據(jù)應(yīng)用的重要性和指標(biāo)變化頻率調(diào)整scrape_interval。對(duì)于核心業(yè)務(wù)應(yīng)用可以縮短到5-10秒對(duì)于變化慢的基礎(chǔ)設(shè)施可以延長到30-60秒。同時(shí)設(shè)置合理的scrape_timeout通常略小于scrape_interval。標(biāo)簽重寫Relabeling這是Prometheus最強(qiáng)大的功能之一。你可以在抓取前后修改目標(biāo)的標(biāo)簽。例如為所有從K8s發(fā)現(xiàn)的Target添加namespace、pod_name標(biāo)簽或者根據(jù)Pod標(biāo)簽添加一個(gè)service業(yè)務(wù)標(biāo)簽使得查詢和聚合維度更加豐富。5.2 配置告警規(guī)則Prometheus Rule監(jiān)控是為了發(fā)現(xiàn)問題告警是為了及時(shí)通知。我們?cè)赑rometheus中定義告警規(guī)則。創(chuàng)建規(guī)則文件在Prometheus目錄下創(chuàng)建rules/jvm_alerts.yml。groups: - name: jvm_alerts rules: # 規(guī)則1: 堆內(nèi)存使用率超過80%持續(xù)2分鐘 - alert: HighHeapMemoryUsage expr: (sum(jvm_memory_used_bytes{area“heap”}) by (instance, job) / sum(jvm_memory_max_bytes{area“heap”}) by (instance, job)) * 100 80 for: 2m # 持續(xù)2分鐘才觸發(fā)避免瞬時(shí)毛刺 labels: severity: warning annotations: summary: “高堆內(nèi)存使用率 (實(shí)例 {{ $labels.instance }})“ description: “堆內(nèi)存使用率已超過80%當(dāng)前值為 {{ $value }}%。可能面臨GC壓力或存在內(nèi)存泄漏?!?# 規(guī)則2: Full GC頻繁發(fā)生每分鐘超過1次 - alert: FrequentFullGC expr: rate(jvm_gc_pause_seconds_count{action“end of major GC“}[5m]) 1/60 # 換算為每分鐘 for: 5m labels: severity: critical annotations: summary: “頻繁Full GC (實(shí)例 {{ $labels.instance }})“ description: “Full GC發(fā)生頻率過高當(dāng)前每分鐘 {{ $value }} 次。將導(dǎo)致應(yīng)用長時(shí)間停頓嚴(yán)重影響性能?!?# 規(guī)則3: 線程數(shù)異常增長 - alert: ThreadLeak expr: predict_linear(jvm_threads_live_threads[30m], 3600) 1000 # 基于過去30分鐘線性預(yù)測(cè)1小時(shí)后線程數(shù)超過1000 for: 5m labels: severity: warning annotations: summary: “疑似線程泄漏 (實(shí)例 {{ $labels.instance }})“ description: “當(dāng)前線程數(shù) {{ $value }} 預(yù)測(cè)1小時(shí)后將超過1000。請(qǐng)檢查線程池配置或是否存在未關(guān)閉的資源?!斑@里使用了predict_linear函數(shù)進(jìn)行線性預(yù)測(cè)是一個(gè)很實(shí)用的高級(jí)用法。在prometheus.yml中引用規(guī)則文件rule_files: - “rules/jvm_alerts.yml“重啟Prometheus使配置生效。在Prometheus Web UI的“Alerts”標(biāo)簽頁可以看到定義的告警規(guī)則及其當(dāng)前狀態(tài)Inactive, Pending, Firing。5.3 配置Alertmanager進(jìn)行告警分發(fā)Prometheus負(fù)責(zé)觸發(fā)告警Alertmanager負(fù)責(zé)去重、分組、靜默和路由到不同接收器。安裝與配置Alertmanager下載并配置alertmanager.yml設(shè)置郵件、釘釘、Webhook等接收器。配置Prometheus與Alertmanager聯(lián)動(dòng)在prometheus.yml中指定Alertmanager地址。alerting: alertmanagers: - static_configs: - targets: - ‘localhost:9093‘ # Alertmanager默認(rèn)端口配置告警路由在Alertmanager中可以根據(jù)告警標(biāo)簽如severity: critical將告警路由到不同的團(tuán)隊(duì)或渠道如PagerDuty、釘釘群、短信。5.4 Grafana告警除了Prometheus AlertmanagerGrafana自身也提供了強(qiáng)大的告警功能配置更直觀適合簡(jiǎn)單的閾值告警。在任何一個(gè)圖表面板的編輯界面切換到“Alert”標(biāo)簽頁。創(chuàng)建告警規(guī)則設(shè)置評(píng)估條件如WHEN last() OF query(A, 5m, now) IS ABOVE 0.8表示查詢A最近的值超過0.8。設(shè)置通知渠道需要先在“Configuration” - “Alerting” - “Notification channels”中配置好釘釘、郵件等。Grafana會(huì)定期評(píng)估規(guī)則并發(fā)送告警。它的優(yōu)勢(shì)是與圖表緊密結(jié)合設(shè)置方便但功能上不如Alertmanager強(qiáng)大如分組、靜默。6. 常見問題排查與性能調(diào)優(yōu)實(shí)戰(zhàn)即使搭建好了監(jiān)控面對(duì)海量數(shù)據(jù)如何快速定位問題這里分享一些實(shí)戰(zhàn)中總結(jié)的排查思路和調(diào)優(yōu)技巧。6.1 典型問題排查清單現(xiàn)象可能原因排查步驟與關(guān)鍵指標(biāo)CPU使用率持續(xù)100%1. 存在無限循環(huán)或計(jì)算密集型任務(wù)。2. 頻繁的GC尤其是Full GC。3. 大量線程處于runnable狀態(tài)競(jìng)爭(zhēng)CPU。1. 使用top -Hp [pid]或jstack查看占用CPU高的線程棧定位熱點(diǎn)代碼。2. 查看GC頻率和暫停時(shí)間面板確認(rèn)是否由GC引起。3. 查看線程狀態(tài)面板看runnable線程數(shù)是否異常多。內(nèi)存使用率不斷攀升Full GC后回收很少內(nèi)存泄漏。對(duì)象被意外地長期持有無法被GC回收。1. 觀察堆內(nèi)存趨勢(shì)圖特別是Old Gen區(qū)是否呈“階梯式”上漲且不回落。2. 使用jmap -histo:live [pid]或jcmd GC.class_histogram查看存活對(duì)象直方圖尋找數(shù)量異常多的類。3. 使用專業(yè)內(nèi)存分析工具如Eclipse MAT, JProfiler對(duì)堆轉(zhuǎn)儲(chǔ)jmap -dump:live,formatb,fileheap.hprof [pid]進(jìn)行分析找到GC Root引用鏈。應(yīng)用響應(yīng)變慢但CPU和內(nèi)存不高1.鎖競(jìng)爭(zhēng)激烈大量線程處于blocked狀態(tài)。2.I/O等待數(shù)據(jù)庫、外部API調(diào)用慢。3.頻繁的Young GC雖然暫停短但頻率極高。1. 查看線程狀態(tài)面板blocked線程數(shù)是否激增。使用jstack分析線程鎖信息。2. 監(jiān)控應(yīng)用層面的HTTP請(qǐng)求延遲、數(shù)據(jù)庫連接池使用率等指標(biāo)。3. 查看GC面板關(guān)注rate(jvm_gc_pause_seconds_count[5m])Young GC頻率是否異常如每秒數(shù)次。Metaspace持續(xù)增長導(dǎo)致OOM1. 動(dòng)態(tài)類生成過多如CGLib代理、Groovy腳本引擎。2. 應(yīng)用服務(wù)器熱部署頻繁。1. 監(jiān)控jvm_memory_used_bytes{id“Metaspace”}趨勢(shì)。2. 檢查jvm_classes_loaded_classes是否持續(xù)增長。3. 考慮增大-XX:MaxMetaspaceSize但更重要的是找到類泄漏的根源檢查相關(guān)框架配置。線程數(shù)無限增長線程泄漏線程池創(chuàng)建了線程但未正確回收或任務(wù)隊(duì)列無限堆積導(dǎo)致不斷創(chuàng)建新線程。1. 監(jiān)控jvm_threads_live_threads趨勢(shì)線是否一直向上。2. 使用jstack查看線程名通常泄漏的線程會(huì)有相似的命名模式如pool-1-thread-*。3. 檢查代碼中線程池的創(chuàng)建和使用確保使用了有界隊(duì)列和合理的拒絕策略。6.2 基于監(jiān)控?cái)?shù)據(jù)的JVM調(diào)優(yōu)實(shí)戰(zhàn)思路監(jiān)控?cái)?shù)據(jù)是指標(biāo)調(diào)優(yōu)是行動(dòng)。不要為了調(diào)優(yōu)而調(diào)優(yōu)一定要有明確的目標(biāo)如降低GC暫停時(shí)間、提高吞吐量、解決OOM。目標(biāo)減少GC停頓時(shí)間低延遲應(yīng)用策略減少Full GC優(yōu)化Young GC。行動(dòng)如果Old Gen持續(xù)增長首先排查內(nèi)存泄漏。如果對(duì)象“朝生夕死”的特性明顯可以嘗試增大年輕代-Xmn的比例。讓大部分對(duì)象在Young GC時(shí)就被回收避免過早進(jìn)入Old Gen。考慮使用G1垃圾回收器-XX:UseG1GC。它旨在提供可預(yù)測(cè)的停頓時(shí)間模型。你需要設(shè)置最大停頓時(shí)間目標(biāo)-XX:MaxGCPauseMillis200G1會(huì)盡力達(dá)成。對(duì)于ZGC或Shenandoah這類超低延遲GC需要在支持的高版本JDK上使用并充分測(cè)試。目標(biāo)提高吞吐量批處理、計(jì)算密集型應(yīng)用策略減少GC總時(shí)間占比。行動(dòng)在內(nèi)存充足的情況下增大整個(gè)堆大小-Xmx, -Xms。更大的堆意味著GC發(fā)生的頻率更低??梢钥紤]使用Parallel GCJDK8默認(rèn)它專注于吞吐量。監(jiān)控顯示Young GC頻繁但每次回收量小可以嘗試增大Eden區(qū)大小通過調(diào)整-XX:NewRatio如-XX:NewRatio2表示老年代:年輕代2:1年輕代變大。目標(biāo)解決Metaspace OOM行動(dòng)立即措施增加-XX:MaxMetaspaceSize256m例如。根本解決使用-XX:TraceClassLoading和-XX:TraceClassUnloading或JDK Flight Recorder追蹤類加載/卸載找到類加載的源頭并修復(fù)。檢查是否有多余的庫、重復(fù)的依賴或動(dòng)態(tài)代理框架的濫用。6.3 一個(gè)真實(shí)的調(diào)優(yōu)案例電商大促前的準(zhǔn)備假設(shè)一個(gè)電商應(yīng)用日常流量平穩(wěn)但大促時(shí)流量增長10倍。監(jiān)控發(fā)現(xiàn)平時(shí)Young GC頻率為2次/分鐘平均暫停15msOld Gen使用率穩(wěn)定在60%。大促壓測(cè)時(shí)Young GC頻率飆升至20次/秒平均暫停時(shí)間到50msOld Gen在30分鐘內(nèi)被填滿并觸發(fā)頻繁的Full GC導(dǎo)致服務(wù)間歇性卡頓。分析Young GC頻率激增說明對(duì)象創(chuàng)建速率極快。Old Gen被快速填滿說明很多對(duì)象“存活”時(shí)間變長可能是緩存、會(huì)話對(duì)象等或者Young GC survivor區(qū)設(shè)置太小導(dǎo)致對(duì)象過早晉升。調(diào)優(yōu)動(dòng)作增加總堆內(nèi)存從-Xmx4g調(diào)整為-Xmx8g為系統(tǒng)提供更大緩沖。調(diào)整新生代比例顯式設(shè)置新生代大小為3G (-Xmn3g)讓更多對(duì)象在年輕代被回收。調(diào)整Survivor區(qū)比例使用-XX:SurvivorRatio8Eden:Survivor8:1:1增大Eden區(qū)減少對(duì)象晉升頻率。切換垃圾回收器從Parallel GC切換到G1 GC (-XX:UseG1GC -XX:MaxGCPauseMillis100)追求更可控的停頓時(shí)間。結(jié)果驗(yàn)證再次壓測(cè)。監(jiān)控顯示Young GC頻率降至5次/秒平均暫停30msFull GC在1小時(shí)內(nèi)未發(fā)生Old Gen使用率緩慢增長至70%后穩(wěn)定。服務(wù)延遲達(dá)標(biāo)。這個(gè)案例的核心是監(jiān)控提供了“是什么”和“在哪里”而基于經(jīng)驗(yàn)的調(diào)優(yōu)策略提供了“怎么辦”。沒有監(jiān)控調(diào)優(yōu)就是盲人摸象沒有正確的策略調(diào)優(yōu)可能適得其反。最好的調(diào)優(yōu)永遠(yuǎn)是帶著明確目標(biāo)基于監(jiān)控?cái)?shù)據(jù)進(jìn)行有根據(jù)的、可驗(yàn)證的調(diào)整。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色五月激情五月开心五月| 色五月丁香91| 色色综合网络| 九九这里只这里只有精品| 操91综合网| 色五月天激情| 亚洲中文无码成人| 综合性爱网| 成人片黄网站色大片免费毛片| 激情色视频| www.yw色| 影音先锋AV资源男人站| 婷婷久久综合| 色婷婷狠狠18禁| 精品人妻久久久| 91凹凸在线| 无码激情AAAAA片-区区| 91精品在线看| 久热这里| 五月婷婷婷丁香播| Www,五月天| 噜噜色五月| 去色色五月天| 久操乱| 五月婷网| 九九人人精品| h亚洲| 激情综合婷婷| 六月丁香婷婷色综合| 五月天激情久久| 99婷五月| 婷婷丁香社区| 婷婷五月天小说| www.婷婷.com| 99色日本| 涩五月丝袜婷婷| 五月丁香久久| 97色吧| 色综合婷婷| 色色网站免费| 欧美噜一噜| 99久久99九九99九九九| 人人操91| 色频玖玖五月天| 久久久性爱视频| 色综合久久无码| 九九热视频在线观看| 9精品在线| 激情五月婷婷开心网| 婷婷五月天视频小说| 色五月天堂| 国产av网| 国产精品A片在线| 免费视频WWW在线观看网站| 免费黄色片子| 精品人妻一区| 婷婷97狠狠成人网站| 婷婷五月综合在线| 色播五月| 成人午夜天| 色综合色色| www.久久99| 五月天丁香久久| 久久色五月天激情小说| 五月婷婷五月天| 久色资源网| 99综合激情久久精品久久| 婷婷五月天国产传媒| 丁香五月性| 色色色婷婷五月| 婷婷成人五月天成人文学| 欧美激情五月| 亚洲色五月婷婷| 99这里只有精彩视频| 五月丁香六月色婷婷| 激情综合婷婷| 五月天激情亚洲| 久久亚洲激情五码| 天天射综合网站| 99ri国产| 伊人在线视频| 无码一级片| 天综合日日夜综合7799| 99热在线观看精品| 色插综合网| 午夜爱爱爱成人| 激情五月天免费视频| 五月噜噜| 五月天成人综合| 亚洲无线视频| 亚洲V国产V欧美V久久久久久| 欧美成人精品A片免费一区99 | 丝袜熟女一区二区三区| 五月天婷婷久草丁香| 91视频免费后入强操| 婷婷综合97| 久久丁香| 五月丁香综合久久夜夜| 色天使色婷婷| 色播丁香五月婷婷操:屄| 久热这里精品免费| 丁香婷婷九月| 一本大道伊人AV久久综合| 亚洲午夜成人av电影网| 九九精品热播| 丁香五月人妻熟女| 日日噜噜夜夜狠狠久久丁香六月| 色偷偷AV亚洲男人的天堂| 激情五月成年| 九九热在线观看6| 天天操天天爽天天爱| 日日舔夜夜操| 9l视频自拍9l九色成人| 99精品偷拍视频| AV在线大香蕉| 亚洲aV写真天天综合网久久| 熟女激情五月天| 日韩色色色色| 天天干,天天操,天天射| 97色伦另类图片小说视频| 六月丁香色婷婷| 夜夜资源站| www色色com| 中文在线视频久9| 97精品自拍| 婷婷丁香五月激情图片| 国产激情久久久| 五月婷婷综合精品| 99性爱视频| 六月丁香婷婷综合影院| 丁香六月婷婷高清| 色色色色色色色色网站| 91成人看片| 久久99热免费| 五月色网| 中文av在线观看| 99 频99热国里只有精品| av狠狠操| av五月天婷婷丁香| 久色中文| 五月天婷婷色| 五月天国产成人| 人人爱国产| 激情丁香五月婷婷| 丁香五月,开心五月,成人婷婷| 99色亚洲| 中文字幕乱码亚洲精品一区| 色频玖玖五月天| 天天天在线观看| 狠狠色 综合色区| 激情黄色小说色五月| 狠狠撸激情综合丁香五月天俺来啦| 亚洲在线资源| 成人av观看| www,五月天激情| 天天色亚洲| 青青艹b| 亚洲天堂婷婷丁香| 天天做天天爰天天爽天天无遮挡| 精品久久久人妻| 综合激情在线观看| 天天色视频| 久久大香蕉丁香| 婷婷五月天激情文学小说| 日本美女五月天| 色五月婷婷丁香凹凸| 26UUU成人网| 五月丁香操婷逼| 日韩五月婷婷| 99热精品中文字幕| 99热全是精品| www.五月丁香| 日本熟妇精品99| 婷婷五月天综合在线 | 色导航色婷婷五月天在线观看| 日本精品人妻无码77777| 久久久人妻不卡| 久久九九热视频| 99热在线观看| 婷婷综合激情五月综合| 97成人丁香| 丁香色播五月天| 性做爰1一7伦| 综合色综合| 国产熟妇乱子伦hd| 天天操天天草天天草天天| 亚洲乱码日产精品BD| 九九激情网| 色狠狠激情五月| 久久久久9999| 青青热久久综合| 在线播放中文字幕| 欧洲高清免费久久| 9婷婷内射| 色五月天成人| 五月婷婷色综图片| 五月丁香婷婷色| 婷婷六月色开| 人妻中文在线| 热的无码综合视频| 人人叉久| 99热国产免费| 天天干天天操天天上| 欧美日本免费一道免费视频| 婷婷激情五月综合| 成片免费播放| 免费无码毛片一区二区A片| 亚洲性图一区二区| 日日操夜夜操无码免费| 99热精品在线观看| 99愛国产| 97人人操在线| 蜜桃婷婷丁香综合久久开心亚洲| 久久天天| 停停色综合伊人| 婷婷五月花.97| 国产色五月婷婷| 五月停视频天堂| 丁香五月婷婷色播艳门照| 婷婷激情图片| www.狠狠| 久久天堂女人| 99热精品中文字幕| 久久久久人妻中文| 99精品在线| 精品人妻伦九区久久AAA片| 丁香 婷婷 亚洲 熟女| 成人AV中文字幕| 色欲天天综合网| 婷婷丁香五| 大香蕉丁香五月| 丁香六月婷| 婷丁五月| 丁香久月| av国产精品| 天天狠狠夜夜狠狠2023| 99这里的视频都是精品| 久久久A级视频| 丁香五月婷婷啪| 激情五月综合六月丁香婷婷狠狠干| 人人插操| 丁香五月婷婷六月| 色婷婷久久综合久色综| 99色啊| 一级七香蕉| 国产无套精品一区二区| 99热这里只有精品青草| 能看的AV网站| 天天玩天天摸| 久久综合色五月| 蜜桃人妻无码AV天堂三区| 五月婷婷在线综合| 伊人丁香五月天丁香在线婷| 九九热视频99| 天天日夜夜帕| 亚洲欧洲自拍图片专区五月天| 伊人久久大香天蕉亚洲特级| 香蕉视频性爱BB做爱| 五月婷色色| 99热这里只有精品一区| 亭亭丁香久久五月| 婷婷综合五月| 99精品综合| 五月丁香久久| 日韩久热| 女人天堂AV| 婷婷五月天激情在线观看| 亚洲精品视频电影| 俺去婷婷 丁香| 久久9视频| 丁香五月在线观看| 六月丁香色婷婷| 色色无码日韩| AV九九| 国产小网站| 一点色成人网| 五月天婷婷综合网| 天天弄天天操| 99re8在这里只有精品| 青草五月天| www国产亚洲色婷婷com| 森林影视大全,最好看的2019年视频 | 久热re在线视频| 精国产品一区二区三区A片| 91超级碰在线视频| 天天色粽合合合合合合合| 色小说五月婷婷| 99,色| 日本九九视频| 天堂在线婷婷| 亚洲热久| 99综合熟女| 久久综合综合综合| 婷婷色六月| 182tv992tv人之初午夜免费观看| 婷婷97色| 久9草在线观看视频| 婷婷99视频在线| 五月开心激情| 五月综合视频| 9久久精品| 夜夜骑夜夜操| 激情五月天婷婷| 丝袜大香蕉| 成人免费高清在线播放| 五月天激情久久| 五月婷丁香| 五月丁香激情综合久久| 日韩AV片| 激情伊人五月天| 国产成人av在线| 开心激情婷婷| 狠狠色噜噜狠狠狠狠综合| 五月婷婷在线视频| 伊人久久艹| 狼人婷婷久久| 激情综合网五月在线播放| 91色综合| 美女要搞搞天天搞搞搞网站| 色播婷婷五月天| 天天爽天天摸| 色狠狠999综合| 色婷婷六月天| 性一交一乱一交A片久| 超碰v| 伊人婷婷大香蕉在线| 婷婷色五月91啪啪| 久婷婷五月天影院| 色婷婷手机在线| 五月婷庭丁香在线| 天天爽天天爽| 欧洲第一无人区观看| 综合av在线| 91夫妻网站九色| 99热在线观看| 久碰综合| 激情五月第四色| 婷婷五月天深爱| 天堂婷婷丁香六月网| 婷婷五月天干干| 日本色爽| 狠狠干,狠狠操| 久99久视频精品| 六月综合婷婷开心伊人 | 丁香五月六月激情久久| 麻豆雪千夏| 久热超碰| 欧美一黄一色一乱一伦| 婷婷五月天久久久| 丁香花综合永久入口| 五月天丁香看婷婷| 婷婷丁香六月综合激情站| 5月丁香综合网| 婷婷丁香色五月| 日本啪啪网| 天天天天干| 一级操逼大片| 成人色图情色成人网 www.5b5b5bcom 五月天 | 91久久99久久91熟女精品| 五月婷伊人| 五月丁香色婷婷基地| 五月天激情视频| 亚洲色婷婷| 亚洲综合色婷婷文学| 久久激情五月婷婷| 另类视频丁香五月| 天天影院色| 久久这里只有精品视频15| 日本三级中国三级99| 丁香五月日啪| 激情九色| 色色亚洲99com| 九色91视频| 五月丁香婷婷色色色| 婷婷六月爽| 99热大香蕉| 五月色情精品| 丁香五月人妻熟女| 日日干日日| 国产精品视频| 五月婷婷视频在线观看| 亲子乱AV-区二区三区| 五月丁香六月婷婷啪啪综合| 8区视频在线| 操你av| 激情五月综合网| 日韩操逼大片| 欧美丁香五月| 日韩性爱无码| 99热费观看| 亚洲日韩一页精品发布| 五月天激日本色情在线| 激情五月天影院| 五月婷婷偷拍| 久久久久久9| 天堂在线婷婷| 97色色综合| yazhoujiqingav| 热的国产,热的综合,热的有码| 五月丁香婷婷在线| 二色av| www,色中色| 国产精品国产成人国产三级| 五月伊人综合| 五月丁香啪啪网| 91一起操| 激情五月小说婷婷| 亚洲五月天,激情视频| 丁香六月啪啪啪| 日本久久人| 丁香婷婷视频在线| 大香av| 狠狠操狠狠插| 91ncm视频| 五月婷婷六月激情| 4399在线日本A片| 91成人电影| 久久99看免费| 五月天久久婷婷| 五月色色网| 91九色国产在线| 五月激情婷婷国产精品久久久久久| 国产探花一片区| 亚洲av骚货| 色月丁| 亚洲婷婷五月| 色色操| 免费AV播放| va中文资源在线观看| 国产欧美熟妇另类久久久| 六月亚洲| 丁香婷婷老司机久操| 人人草人| 五月天开心色情网| www.狠狠操| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 国产乱码久久| 91av传媒高清在线视频网| 天天日人人爽| avv在线| 激情99| 五月丁香综合啪啪| 欧美 日韩 人妻 高清 中文| www.开心激情| 91九色国产在线| 久久人妻视频| 五月婷婷丁香综合| 超碰在线免费| 超碰狠狠干99| 天天爽天天| 亚洲综合字幕色色| 97涩婷婷| 婷婷色婷婷| 色亚洲中文| 色婷婷亚洲综合天堂| 久久久精品人妻| 91精品婷婷国产综合久久| 色婷婷成人做爰A片免费看网站| 丰满少妇猛烈A片免费看观看 | 日本V在线观看不卡视频网站| 婷婷五月天在线综合| 久久性刺激| 激情第四色| 色情综合网| 婷婷成人综合| www99精品在线观看| 九色啦蜜臀| 那里有AV网址| CAoub青青超碰| 久久婷婷亚洲| 日韩啊啊啊| 亚洲色精彩| 嫩模草| 一区二区三区视频| 99久久大片| 任你草| 激情综合文学| 五月婷婷激情综合| 日本高清久| 99色色最新视频| 婷婷五月激情的图片| 97精品人人A片免费看| 欧美va在线观看| 色综合久久88色综合天天人守婷| 超碰资源在线| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 月婷婷亚洲| 欧美日韩成人在线免费| 人人艹艹艹| 91viP在线看| 丁香五月婷综合网| 激情五月天啪啪| 另类A片| 妻久久人久久| 2020夜夜操天天爽| 开心五月六月婷婷| 久久最新色| 久操欧美在线观看97| 婷婷伊人五月天| 色欧洲| 天堂婷婷丁香六月网| 久热伊人| ww久久| 99久免费视频| 91/九色黑人| 色5月婷婷| 97视频久久| 色五月婷婷综合| 99久久思思| 99热欧美在线观看| aaaaa黄色| 七七九色| 操比激情五月综合| 丁香花操逼| 欧美日韩成人综合9| 91久久久久久| 少妇综合网| 美女激情综合| 99超级碰碰| 日日天天干| 久久五月婷天天干| 狠狠草综合网| 亚州AV超碰人人操| 五月亭亭综合五码| 婷婷之六月丁香| 色色婷五月天| 狠狠色综合777| wwW天天干| 思思热闹这里只有精品| 色婷婷丁香网| 激情婷婷内射| 五月天播播综合| av在线超清中文| 九九热这里只有精品23| 久久精品爱爱| 国产国产乱老熟女视频网站97| 婷婷综合| 国内外色色色色色成人视频| 六月色婷婷| 亚洲1区| 九九热在线视频| 777精品久无码人妻蜜桃| 日本人妻A片成人免费看片| 亚洲操B| 天天爱天天操| 日日做A爰片久久毛片A片英语| 免费观看的av| 最新无码专区| 激情五月婷婷色色| 中文字幕丰满人妻无码专区| 婷婷综合五月天| 99热都是精品| 丁香五月视频在线观看| 国产婷婷色综合AV蜜臀AV| 色婷綜合网| 五月婷综合网| 色五月婷婷九月| 99热亚洲| 91丨九色丨东北熟女| 欧美性生交XXXXX无码小说| 51精品国自产在线| 丁香五月天日韩无码| 久久精品五月| 99热99色| 婷婷五月天伊人网在线观看视频| www,26uuu,c0m,色情| 激情网五月天| 91超碰人人操| 成人精品网站在线观看| 久久 婷婷 五月天| 秋霞午夜理论| 九九亚洲视频| 五月色综合| 亚洲精品V天堂中文字幕| 亞洲自怕| 欧美六月| 极品五月天| 五月婷婷色| 五月天成人免费视频| 日韩AV中文在线观看| 欧美久久久久久久久中文字幕| 一级精品999WWW| 9999热精品在线免费播放| 天天日天天日天天搞| 97热在线精品| 久久97久久99久久综合欧美| 欧美VA视频| 五月婷婷综合热| 婷婷亚洲色| 99热这里| 九七色色六月丁香| 日本3级片偷拍网站| 五月天色综合服务平台| 五月丁香激情综合啪啪| av高清无码| 97人妻碰碰碰久久香蕉| 先锋av性爱成人电影| 婷婷成人五月天成人文学| 五月天色色网站| 9色免费网| 五月丁香A片| 狠狠色综合久久| 色婷婷丁香五月| 91亚洲免费片| 狠狠色无码| 91viP在线看| 亚洲mm免费| 天天情天天狠天天透| 婷婷五月花西瓜| 操骚货在线| 五月花激情网| 逼逼AV| 性一交一乱一交A片久久四色| 综合狠久久| 亚洲国产婷婷色五月| 亚洲日韩欧美综合VA| 色情五月综合婷婷| 色99日韩| 日本九婷婷| 青青草青青草五月天| 丁香五月天堂| 综合网啪| 国内在线99视频| 五月天成人在线精品| 五夜婷婷| 91精产品自偷自偷综合| 五月情婷婷| 国产乱人偷精品人妻A片| 色综合综合色| 狠狠99| 丁香五月婷婷久久久| 能看的av片| 久久激情网| 久久总和99| 六月婷婷在线| 国产在线网址1| 婷婷大美在线| 91碰碰| 久久五月婷婷电影| 亚洲天堂久久| 久久久.COM| 婷婷五月天基地| 大香蕉在线观看9| 伊人9999| 影音先锋男士资源网一区| 深爱开心五月天| 久青草影院| 五月激情丁香五月| 五月丁香六月婷婷网| 激情四射网| 日韩啪| 黄色一级影片| 亚洲操精品| 久久Xx| 操逼巨乳91| www.久久爱.c n| 色综合99| 激情人妻综合| 中文字幕永久免费| 开心婷婷五月天综合| 九九精品热| 26UUU一区二区| 婷婷中文字幕| 五月婷婷视频啪啪美女| 中文字幕日本最新乱码视频| 色色亚卅| 色碰97| 熟女激情五月天| 99热久97| 色五月综合激情| 婷婷五月激情四月综合 | 成人AV在线电影| 婷丁五月| 超碰免费人| 久久九九大香蕉电院| 97碰 在线视频观看| 开心激情网五月| 91丁香婷婷综合资源| 99久精品视频| 淫视馆aV二区一区| 激情五月综合网| 久色中文| 婷婷激情五月视频| 26uuu最新地址| 综合五月亭亭9| 丁香狠狠色婷婷久久无码视频| 婷婷五月美女直播| 五月综合丁香婷婷| 啪啪综合网| 色综合网综合| 538任你爽视频不一样的| 午夜免费试看| 亚洲乱码成人| 婷婷色在线播放| 五月天开心网| 欧美激情凹凸丁香网| 国内久久亭亭| 五月婷婷深深爱| 五月色俺婷婷| 97香蕉久久超级碰碰高清版| 国产精品久久久久久久久久| 久久综合丁香激情五月| 99日本黄站| 极品人妻VIDEOSSS人妻| 舔色婷婷| 五月天快乐开心激情网| 日韩精品无码AV| 开心五月婷婷激情| 天天天天色天天天天天干| 大香蕉天堂| 黄桃AV无码免费一区二区三区| 午夜丁香婷婷| 久久激情视频99| 久久婷婷原创视频| 天天干天天干天天干天天干天| 久久婷婷欧美| 久久久久久久97| 热热色色五月天婷婷| 五月婷婷激情性爱| www.亚洲激情| 午夜婷婷| 狠狠久综合| 少妇做爰免费视看片| 国产精品色色| 人人看人人草人人摸| 婷婷午夜丁香| Av在线资源| 六月婷婷色综合| 99这里只有精品| 狠狠操天天日| 九九Av| 日日噜噜久久婷婷五月天| 天天插天天射| 六月婷婷av| 五月天六月婷婷电影| 亚洲国产精品五月天| 久七香蕉| 五月丁香综缴情性爱| 狠狠操狠狠| 在线观看免费狠狠色丁香香综合| 五月婷婷深爱六月| 婷婷五月激情的图片| 色噜噜五月丁香婷婷| 色五月婷婷777| 色婷婷综合网| 久久婷丁香五月| 激情五月天开心总和网| 九九热思思热| 丁香五月亭亭六月综合激情网| av在线观看网站| 丁香综合久久| 超碰人人摸AV| 欧美午夜乱妇午夜福利| 天天插天天日| 人人操97| 欧美色色色色色色| 色偷偷色婷婷| 狠狠色噜噜狠狠| 亚洲精| 色播丁香五月婷婷操:屄| 五月婷婷激情网| 4438国产免费看| 国产女生爱爱AA| 五月婷婷影视| 高清资源站日A美A欧亚…| 五月天综合网| 色五月AV| 丁香五月天堂网| 婷婷久久五月| 国产67194| 色久九| 亚洲性爱电影| 丁香九九九九| 日本不卡中文字幕| 免费黄色AV| 五月婷婷成人| 五月天伊人综合| 五月婷婷AV| 天天插天天干| 久久9热| 香蕉操亚洲| 影音先锋一区| 久热婷婷| 久久思思热| 激情五月天网| 性做爰A片免费视频A片直播| 久九男女天堂| 激情6月| 嘿嘿视频免费看9| 日本久久极品| 色播五月综合网| 69久久99精品久久久久婷婷| 五月婷婷色影院| 在线不卡视频| 久久这里面只有精品视频| 五月激情网五月综合网| 久热视频这里只有精品68| 操你av| 久久偷拍综合五月天| 久色五月丁香视频| 99九九在线| 人人干人人看| 国产欧美精品AAAAAA片| 182.t午在线观看| A1片久久| 狼人久草| 九九九午夜影院成人| 五月天婷婷视频30| 天天插天天射| 婷婷丁香五月综合| 啪啪91| 大香蕉福利导航| 久久婷婷激情久久| 九九香蕉网| 狠狠色激情在线| 日日夜夜爽| 情色婷婷五月天| 五月天婷婷综合| 成人婷婷色综合| 色九综合| 色婷婷五月天中文字幕| 欧美丁香六月激情视频| www.99热视频| 激情综合五月| 婷婷视频在线| 超碰在线免费9| 26uuu四色| 激情婷婷色五月| 中文无码婷婷| 欧美怡红院黄站| 9久久精品视频| 成人五月天婷婷| 永久AⅤ1| 色墦五月丁香| 淫视馆av三区| 狠狠综合网| 久热这里只有精品66| 91久久九久久九久久九久久九久久| 色五月av| 婷婷五月丁香综合桃花色网| 日日骑夜夜撸| www99热| 丁香五月综合| 婷婷综合另类| 丁香六月av| 囯产精品久久欠久久久久久九大| 激情四射五月天| 大香蕉娱乐| 五月丁香久久综合| 天天做天天爱天天爽| 婷婷成人五月天| 色噜久| 丁香五月狠狠综合欧美| 婷婷内射视频在线| 色婷婷伊人激情在线观看| 91丨九色丨熟女|新版| 色五月天视频| 久久久久人妻精品| 日韩伊人大香蕉| 久久婷婷五月综合激情国产| 婷婷五月天小说| 国产黄色在线| aⅤ79成人片| 五月天四色房丁香亭亭| 国产精品18久久久| 久久婷婷五月丁香网| A久网| 日本色色色| 综合色网站| www激情网| 久久激情网| 五月天婷综合| 激情婷婷网| 国产古装妇女野外A片| 久久HD| 99热这里只| 五月天婷婷婷| 久久AAAA片一区二区| 中文字幕AV在线播放| 国产44页| www.丁香五月| 五月婷婷爽爽爽| 另类色视频| 亚洲AV综合在线观看| 亚洲精品成人片在线播| 激情五月婷婷综合色播小说| 天天做天天爽| 久热婷婷| 丁香激情久久| 99综合自拍| 五月天六月色| 99热黄| 五月婷婷欲色| www久久久久久久久久久| 蜜桃婷婷五月| 五月天六月色| 99超级碰免费视频| 开心五月综合激情网| 黑人无码一区| 久久五月丁香| 94干大香蕉| 婷婷五月无码| 五月婷婷之综合激情在线| 五月天激情日色在线| 色婷婷五月天| 怡红院院在线导航网| 六月丁香五月婷婷| 2014天天爽| 久久免费精彩视频| 丁香六月婷婷综情欧美| 激情六月综合| 九九热只有这里精品| 99这里只有精品视频| 狠狠色婷婷7777久| 色综合天天综合成人网| 丁香五月综合高清在线| 天天干天干| 99er这里只有精品视频| 99久久网站| 五月婷婷五月丁香综合| 欧美色五月| 色月视频| 丁香婷婷天堂| 日日夜夜爽| 天综合日日夜综合7799| 色综合久久五月天| 婷婷趴趴| 丁香九月婷| 久久永久网址| 男女啪啪做爰高潮无遮挡| 欧美五月丁香在线观看| 日本在线播放97| 婷婷五月天激情诱惑| 色色五月激情| 五月天堂色| 俺来也综合网精品一区| 北京熟妇搡BBBB搡BBBB| 超碰renrenai| 色综合色综合色综合| 激情五月天综合网| 婷婷五月电影院| www婷婷| 99热这里只有精品2016| 91免费试看| 99狠狠| 青青草原中文字幕| AAA级久久久精品| 99热6色| 26uuu精品一区二区| 成人丁香| 日本欧美国产| 综合伊人久久| 亚洲人人操| 激情狠狠丁香月| 色五月大香蕉婷婷| 亚洲这里只有精品| 亚洲行行色色| 色综合香蕉| 俺去也五月天| www久热com| 99久久99久久| 国产精品久久久久久久久久| 色色网五月激情| 99热e| 欧美性生交XXXXX无码小说| 99热这里只有精品22| 九九综合九九| 青青草伊人婷婷| 五月婷婷草| 色情丁香五月天| 丁香五月大香蕉AV| 丁香五月天啪啪| 亚洲婷婷免费| 综合久久婷婷五月丁香| 日韩成人电泉AV| 99re这里只有| 一起草性爱不卡视频| 99热综合| 久久综合综合综合| 丁香五月伊人| 91婷婷五月天嫩女| 色日本丁香婷婷| 一起草av在线观看| 午夜少妇在线观看视频| 精品爆操| 夜夜夜叫天天天做| 天天摸天天肏| 99碰碰碰| 国产一级片| 狠狠操狠狠插| 六月色五月天天婷婷| 五月丁香六月综合基地| 性色九九| 五月天综合| 亚洲va欧美va天堂v国产综合| 五月激情丁香久久综合网| 怡红院91a√| 欧美日本日韩| 日韩啪啪网| 天天干天天操天天拍| 久色视频首页| 久月婷婷| 色五月中文字幕| 99年操人人爽| www.婷婷五月天.com| 第五色婷婷| 色婷婷影音| 六月丁香视频网站| 久久综合无| 一区二区你懂的| 在线理论片| 六月激情婷婷| 91超级碰在线| 狠狠干综合网| 五月婷婷中文网| www.99热日韩.com| 9热视频在线观看| 久久综合婷| 色婷插| 中文字幕在线免费看线人| 噜噜噜狠狠色综合| 大香线蕉伊人| 天天做天天爱天天爽综合网| 亚洲色vA| 很很干在线视频| 欧美日韩AAAAA| 欧美日韩99| 97操碰在线视频| 99超级超级超级碰| av婷婷六月丁香社区在线观看| 久草五月| 婷婷色婷婷| 99久热| 中文字幕av久久爽一区| 久久视频婷婷| 婷婷五月天综合在线 | 婷婷成人综合| 亚洲色人妻| 996精品热视频| 欧美精品A片一区在线观看| 涩婷婷视频快播人妻| 激情五月最新网址| 99久99久| 成人AV片播放| 欧美久久久中文字幕| 色综合视频在线| 九久久婷婷| 乱乱av| 久久五月婷婷综合网| 91久久精品国产91性色TV| 超pen个人视频97| 国产精品A成V人在线播放 | 美妞av| 日本精品。999| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 亚洲第一综合| 丁香五月婷婷综合精品素人| 免费看欧美成人A片无码| 99这里有精品| 亚洲精品视频电影| 狼友视频在线观看18| 丁香六月久久| 亚州操人在线视频| 超碰在线99| 99国产精品白浆在线观看免费 | 超碰免费成人| 久9视频| 亚洲激情久久| 人妻体体内射精一区二区| 黄色三级毛片中字| 超碰cap| 欧美操我| 9久久婷婷国产综合精品性色| 久久人操| 亚州激情网站无码| 丁香五月激情视频在线| 深爱激情网五月天| 五月天婷婷丁香| 婷婷精品在线| 婷婷五月av| 国产在线激情视频| 亚州第一A片| 夜夜大香蕉婷婷丁香| 欧美精品999| 激情五月综亚网| 深爱激情网五月天| 神马欧美精| 久久综合五月天| 婷婷五月天日日日干干干| 99亚洲天堂| 九月激情综合| 欧美色色色色色| 五月婷婷六月激情| 婷婷va| 99成人无码| 99ri精品视频在线观看| 9l视频自拍九色9l黑人| 玖玖视频福利| 亚洲操操操| 九热av| 久久久久亚洲A∨成人乱码电影| 无码 色| 免费做A爰片77777| 黄色91在线观看| VA婷婷| 五月激情六月宗合| 丁香五月婷婷啪啪| 99免费在线视频| 91在线操逼视频| 碰碰操91| 色婷婷丁香五月天在线视频| 丁香六月婷婷综合缴| 色偷偷综合| 久久婷婷五月综合啪| 日本精品。999| 丁香五月婷婷大香蕉| 国自产拍偷拍精品啪啪一区二区| 九月婷婷久久| 伊人五月婷婷国产视频| 婷婷五月综合视频| 日韩中文字幕| 婷婷伊人75| 五月婷婷中字在线| 色六月 婷婷| 91啪啪视频| 夜丁香五月婷婷| 色色亚洲| 26uuu成人网| 激情深愛五月視頻| 日本美女五月天| 无码成人播放器| 99人人操人人爱久久久| 99久久婷婷五月天| 91性高潮久久久久久久久| 久久九九99.www| 日本色色色| 中文字幕AV网址| 丁香五月电影院在线观看| 日韩黄黄| 色五婷婷开心缴| 99色色网| 99re热精品在线视频| 91狠狠综合网| 久久大香免费| 天天色域综合网| 精国产品一区二区三区A片| 另类激情五月| 国产激情综合五月久久| 色婷婷狠狠久久综合五月 | 久久狠色噜噜狠狠狠狠97| 五月婷婷啪| 97五月天婷婷综合激情网| 日本狠狠网| 午夜av网| 国模淫穴色图| 2025超碰| 性生活久久人妻| 亚洲不卡123| 婷婷激情五月综合| 一起操 91N.com| 欧州色色| 成人美女网| 欧美韩日AAA网站| 嫩草AV久久伊人妇女超级A| 五月婷婷五月天激情视频| 91丨九色丨国产打屁股| 色色网站免费在线视频| 婷婷五月av| 男人天堂亚洲综合| 丰满人妻妇伦又伦精品国产| 五月丁香久久综合| 色香蕉影院| sewuyue第四色| 五月婷婷9| 五月丁香 啪啪| 中文字幕在线播放视频| 色色色综合| 五月丁香婷婷人体| 国产伊人大香蕉| 99精品综合| 超碰男人色| 婷婷五月影院| 激情深爱五月| 超碰人人操人人干| 在线看片av| 国产伊人五月天| 色欲AVV| 碰97久久| 99热这里只有精品23| 日日爽夜夜爽| 亚洲人人操BD| 伊人婷婷色| 欧美交换配乱吟粗大25P| 甈你aaaaa| 9在线9在线婷婷在线国产| 激情开心五月天| 五月丁香综合啪啪| 96丁香婷婷九月蜜桃综合久久| www.99热精品| 综合激情网| 五月丁香六月婷婷综合| 色色性爱视频| 一区二区三区四区无码| 精品婷婷| 性爱五月婷婷| 九九aV| 99热综合| 婷婷五六日| 色99网| 丁香伍月婷电影全集| AV人人操| 日韩综合大黄| 色播五月婷婷综合| 五月丁香综合成人社区| 91|疯狂丨高潮丨对白| 97碰在线| 99热这里只有精品5| 丁香婷婷丁香五月欧美人| 超碰在线国产9| 美女久久婷婷| 六月丁丁香| 久久综合影院 | 免费无码毛片一区二区A片| 九九热九九| 天天天天天天天操| 激情婷婷五六月天| 91肏| 天干夜夜操| 午夜色丁香| 亚洲狠狠婷婷综合久久久| 人人人舔人人人操人人人摸人人人97| 久久这里只有国产| 在线不卡视频| 婷婷色五月激情| 996热| 六月婷在线| 老师的粉嫩小又紧水又多A片视频| 亚洲综合五月天婷婷丁香| 另类综合婷婷五月天欧美视频| 色色色色热| 丁香五月影视| 欧美色97| 激情五月天com| 午夜不卡成人一区二区| 丁香六月激情综合网| 五月婷六月综合在线观看| 欧美丁香婷婷天天操| 99热这里只有精品1025| 中文字幕av在线| 激情黄色小说色五月| A1片久久| 久久精典| 、激情六月天| 免费观看的AV| 婷婷五月天激情五月天深爱五月天| 夜丁香综合| 婷婷五月天伊人| 免费啪啪亚州视频| 99国产在线| 婷婷伊人綜合中文字幕| 熟女少妇内射日韩亚洲| 色综合激情图区| 国产女人十八水真多1| 久婷狼色诱惑在线| 丁香九色不卡aaa| 五月婷在线影院|