欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Logstash性能排查實戰(zhàn):JVM調(diào)優(yōu)解決Kafka積壓

Logstash性能排查實戰(zhàn):JVM調(diào)優(yōu)解決Kafka積壓 說句實話以前看到“JVM調(diào)優(yōu)”這四個字我腦子里第一時間蹦出來的也是“八股文”內(nèi)存模型、GC算法、類加載機制、雙親委派……背得滾瓜爛熟但真正到了線上面對一個“瘋了一樣吞CPU卻不吐結(jié)果”的Java進程還是會有點手足無措。這次Logstash性能問題排查記錄就是一次把“面試題”重新拆成“排查工具”的完整過程——我打算把它原原本本寫出來如果你也在維護ELK這套日志管道或者正在被Kafka消費延遲、日志積壓這類問題折磨這篇應(yīng)該能給你省下不少彎路。這篇文章不會講太多花哨的理論重點是一臺Logstash在高峰期卡死之后我如何通過JVM自帶工具、GC日志分析、啟動參數(shù)調(diào)整一步步找到根因并最終恢復(fù)吞吐量的全過程。中間會穿插我踩過的坑、查過的資料、以及最終沉淀下來的一套參數(shù)配置。不管你是剛接觸Logstash的運維新手還是后端Java開發(fā)想借實例真正理解JVM調(diào)優(yōu)這篇文章都按“現(xiàn)象 → 分析 → 操作 → 復(fù)盤”的順序來寫可以直接照著做。1. 問題是怎么發(fā)生的Kafka Lag 突然翹了上來先說下當時的架構(gòu)線上日志通過Filebeat采集發(fā)到Kafka再由Logstash消費并清洗最后寫入Elasticsearch做檢索。這套鏈路跑了大半年一直很穩(wěn)直到某一天流量高峰監(jiān)控面板上的Kafka消費延遲Consumer Lag曲線突然像坐了火箭一樣往上竄。一開始我以為是Elasticsearch寫入變慢了因為Logstash的寫入端和數(shù)據(jù)量直接掛鉤但查了一圈ES的bulk隊列、線程池、慢日志都正常索引速率也沒掉那問題大概率就出在Logstash本身。1.1 現(xiàn)象描述進程活著但就是不吐數(shù)據(jù)登錄服務(wù)器敲幾條命令CPU占用直接飆到百分之八九百但看一眼Logstash的監(jiān)控指標事件處理速率卻不升反降Kafka里積壓的消息越來越多。最氣人的是進程沒有掛日志里也沒有明顯異??雌饋怼耙磺姓!睂嶋H上數(shù)據(jù)就是卡在里面出不去。這是最典型的“假死”狀態(tài)——進程活著線程也占著但真正的處理能力已經(jīng)崩潰了。我當時的第一個反應(yīng)是檢查Logstash的管道配置懷疑是不是filter里的grok正則寫得太復(fù)雜或者某個插件在高峰時段出現(xiàn)了阻塞。但把pipeline的worker數(shù)和batch size隨便改了幾下重啟之后問題并沒有實質(zhì)改善。這時候我才意識到問題的根源可能不在Logstash的業(yè)務(wù)處理邏輯上而是承載它的JVM環(huán)境已經(jīng)處于“亞健康”狀態(tài)了。1.2 初步判斷Logstash性能問題先別急著懷疑管道很多人有一個誤區(qū)Logstash處理性能慢了第一反應(yīng)就是加filter、調(diào)grok、換插件很少有人會去想JVM本身是不是已經(jīng)不行了。但Logstash的本質(zhì)是一個跑在JRuby上的Java應(yīng)用它的所有事件處理、隊列緩沖、內(nèi)存分配全部依賴底層JVM的健康程度。JVM堆內(nèi)存、垃圾回收、JIT編譯這些“聽起來像八股文”的東西在高壓場景下會直接決定Logstash是每秒處理一萬條還是每秒處理一千條。所以排查思路從這一步開始轉(zhuǎn)變不再盯著Logstash的管道配置看而是把它當成一個普通的Java進程先用JVM的視角去體檢。這里也順帶說明一下網(wǎng)上經(jīng)常有人問“JDK、JVM、JRE有什么區(qū)別”——簡單來說JRE是Java運行環(huán)境JVM是JRE核心里真正負責執(zhí)行字節(jié)碼的虛擬機JDK則是開發(fā)工具包。Logstash自帶JRuby和Java運行時所以它本質(zhì)上就是一個“套了Ruby皮的Java程序”所有Java系的JVM調(diào)優(yōu)知識在它身上完全適用。2. 把Logstash當Java應(yīng)用來查先看懂JVM在干什么既然決定按Java應(yīng)用的思路排查那第一步就是把JVM的內(nèi)存模型、GC機制這些“八股文基礎(chǔ)”重新?lián)炱饋硪驗楹竺嫠蟹治龆冀⒃谶@上面。很多情況下不懂原理的人拿到j(luò)stat輸出只會看數(shù)字而懂原理的人能從數(shù)字倒推出一整套現(xiàn)場還原。2.1 JVM內(nèi)存模型快速復(fù)習(xí)堆、元空間、線程棧和直接內(nèi)存JVM運行時數(shù)據(jù)區(qū)可以粗略分成四塊堆內(nèi)存Heap用來存放對象實例是GC回收的主戰(zhàn)場元空間Metaspace存放類元數(shù)據(jù)在Java 8之后替代了永久代默認情況下只受本機內(nèi)存限制但類加載過多也可能撐爆虛擬機棧Stack是線程私有的每個線程執(zhí)行方法時都會創(chuàng)建棧幀棧深度過大就會拋StackOverflowError還有一塊是直接內(nèi)存Direct MemoryNIO和Netty用得最多不在堆內(nèi)但在物理內(nèi)存里如果做網(wǎng)絡(luò)傳輸時分配太多同樣可能觸發(fā)OOM。Logstash這種數(shù)據(jù)處理型應(yīng)用最敏感的就是堆內(nèi)存。因為每條日志進來都會被包裝成Logstash::Event對象還有中間的各種String、Hash全都住在堆上。堆如果設(shè)置得不對垃圾回收就會頻繁發(fā)生輕則吞吐下降重則進程假死。2.2 排查工具組合拳top、jstat、jmap、jstack怎么配合登錄到Logstash所在機器我會按以下順序操作先用top -Hp查看進程的CPU和內(nèi)存占用確認是不是某個線程在瘋狂自旋。Logstash啟動后會有一個獨立的JRuby運行時很多線程名都帶jruby關(guān)鍵字如果發(fā)現(xiàn)某個線程CPU占用異常高說明它正在反復(fù)執(zhí)行代碼或頻繁觸發(fā)GC。用jps -l確認Logstash進程的PID然后jstat -gcutil 1000觀察每秒的GC情況。這一步能立刻判斷出當前GC頻率、單次GC耗時、老年代使用率等關(guān)鍵指標。用jmap -heap 看當前堆的分配情況和各分代使用率特別是Eden區(qū)和老年代的比例是否合理。如果懷疑線程卡住用jstack 抓線程快照看看JRuby的工作線程是不是阻塞在某個地方。這里我想重點說一下gcutil輸出里的幾個字段E代表Eden區(qū)使用率O代表老年代使用率FGC是Full GC發(fā)生次數(shù)FGCT是Full GC累計耗時。如果FGC在短時間內(nèi)快速增長FGCT占比很高基本就能斷定系統(tǒng)正在被垃圾回收拖死。GC本身是為了騰出空間但Full GC觸發(fā)時會“停止整個世界”Stop The World簡稱STW應(yīng)用線程全部暫停這期間Logstash完全無法處理數(shù)據(jù)。2.3 現(xiàn)場抓到的證據(jù)GC日志不會騙人當時我連續(xù)觀察了差不多五分鐘jstat的輸出大致是下面這個樣子S0 S1 E O M CCS YGC YGCT FGC FGCT GCT 0.00 0.00 92.34 95.67 98.12 96.45 1123 18.23 47 23.81 42.04 0.00 0.00 94.12 96.02 98.20 96.50 1124 18.25 48 24.95 43.20 0.00 0.00 95.78 96.89 98.25 96.52 1125 18.28 49 26.03 44.31看得出什么Eden區(qū)使用率一直維持在90%以上老年代也一直在95%左右徘徊Full GC幾乎每10秒就會來一次而且每次FGCT都在1秒以上。翻譯成人話就是堆內(nèi)存不夠用了JVM疲于奔命地做垃圾回收但回收完了馬上又填滿根本沒有足夠的空間讓數(shù)據(jù)處理線程順暢跑。這就像一個人一邊工作一邊不停地打掃房間房間卻永遠堆滿東西工作效率能高才怪。3. 根因分析為什么默認配置撐不住高峰日志量拿到這些數(shù)據(jù)之后我心里基本有數(shù)了但還是要搞清楚一個最關(guān)鍵的問題為什么之前一直沒事偏偏這段時間出問題這就得從頭檢查Logstash的默認JVM配置和數(shù)據(jù)量增長情況。3.1 堆內(nèi)存太小默認1GB根本只夠“自家日用”Logstash的默認JVM堆大小是1GB這個數(shù)值在官方文檔里寫得很清楚除非你通過LS_HEAP_SIZE或jvm.options里的-Xmx參數(shù)顯式指定否則它就老老實實用1GB。對很多小規(guī)模日志場景來說1GB確實夠用因為日志量小事件在高頻GC完成之前就被消費掉了。可一旦業(yè)務(wù)量漲上去比如高峰期每秒涌入幾千上萬條日志這1GB的堆就會變成瓶頸。為什么會這樣我們簡單估算一下假設(shè)一條日志原始文本平均2KB經(jīng)過系統(tǒng)解析后會變成Logstash::Event對象除了message字段還有host、path、timestamp等一堆元數(shù)據(jù)。JRuby環(huán)境下每個Ruby對象在Java層的開銷都比較大換算下來一條日志在堆里實際占用的空間差不多是原始文本的3到5倍也就是6到10KB。如果配置的批處理大小是默認的125條一批數(shù)據(jù)在堆里也就1MB左右看起來不多但架不住Logstash是持續(xù)不斷地消費和寫入在1GB堆里同時存在幾十批數(shù)據(jù)在排隊、在轉(zhuǎn)換、在等待寫入ES內(nèi)存壓力一下就上來了。3.2 G1收集器默認參數(shù)不一定適合你的場景大多數(shù)現(xiàn)代JVM默認的垃圾收集器是G1Logstash也不例外。G1的設(shè)計目標是“可預(yù)測的停頓時間”它把堆分成一個個Region然后根據(jù)各Region垃圾比例來優(yōu)先回收垃圾最多的區(qū)域理論上很優(yōu)雅。但G1對參數(shù)的敏感度也很高默認的MaxGCPauseMillis是200ms意思是JVM會盡量把每次GC停頓時長控制在200毫秒左右但這只是一個“目標”如果堆太小、對象分配太快G1為了追上分配速度依然會觸發(fā)Full GC。更麻煩的是當老年代占滿之后G1會退化到Serial Old式的Full GC這種回收是單線程執(zhí)行大范圍全堆掃描的停頓時間可能是好幾秒。這個過程對Logstash來說是毀滅性的一次幾秒鐘的STW管道里堆積的數(shù)據(jù)會成倍增長等到GC結(jié)束后瞬間把內(nèi)存又填滿然后再次觸發(fā)FGC形成惡性循環(huán)。我當時從jstat里看到FGC之后老年代使用率幾乎沒降多少就猜到已經(jīng)進入這種退化狀態(tài)了。3.3 JRuby執(zhí)行模型與批量參數(shù)Logstash性能的“命門”Logstash的pipeline配置里有幾個非常重要的參數(shù)pipeline.batch.size默認125代表每次從隊列里取多少個事件交給filter和output處理pipeline.batch.delay默認50ms代表即使沒有湊夠batch.size最多等多久也要把現(xiàn)有事件送出去pipeline.workers默認是CPU核數(shù)代表并行處理管道的線程數(shù)。這三個參數(shù)加在一起決定了Logstash處理數(shù)據(jù)的“節(jié)奏”。批處理的好處是減少JRuby和JVM之間的交互次數(shù)讓一批事件一次性完成filter和output提升吞吐。但batch.size調(diào)大的同時內(nèi)存占用也會線性上漲如果堆空間跟不上就會誘發(fā)更頻繁的GC。這就像把一個餐廳的翻臺率公式里加了一個“每桌人數(shù)”的變量每桌人越多廚房備菜的效率越高但倉庫如果不夠大食材堆不下了就只能扔掉重買——扔食材就是垃圾回收買食材就是重新加載成本全在這上面。所以批量調(diào)整和JVM堆配置必須同步考慮不能只看一頭。3.4 順帶說下-XX:CompileThreshold這類JIT參數(shù)在排查過程中我也重新研究了一個常見的面試參數(shù)-XX:CompileThreshold。它的作用是控制熱點代碼被JIT編譯為本地代碼的觸發(fā)閾值默認值在C1編譯器下是1500次方法調(diào)用在C2編譯器下是10000次左右。JRuby本身是Ruby代碼JVM對JRuby的調(diào)用棧進行C2編譯時也需要時間如果CompileThreshold設(shè)置得過高熱點方法會長時間停留在解釋執(zhí)行階段性能自然上不去。反過來如果把這個閾值調(diào)低可以讓高頻執(zhí)行的方法盡早編譯成機器碼減少解釋執(zhí)行的CPU開銷。不過說實話在實際排查過程中這個參數(shù)不是主要矛盾屬于“錦上添花”的優(yōu)化項。如果GC問題不解決把CompileThreshold調(diào)到天上也沒有意義。但了解它的存在是很重要的因為很多面試題里都會問“JVM是如何判斷熱點代碼的”這個問題放到Logstash這種解釋型語言套殼應(yīng)用上有完全不同的解讀——JRuby代碼在JVM里到底算不算“熱點”取決于這段Ruby邏輯被調(diào)用的頻率以及是否觸發(fā)了編譯閾值。4. 調(diào)優(yōu)落地一套我正在用的Logstash JVM配置確定了問題是JVM堆內(nèi)存和GC、批量參數(shù)配置不匹配之后我重新整理了整個Logstash環(huán)境。這里要特別注明以下配置是從實際場景出發(fā)做的調(diào)整不一定適合所有人但思路可復(fù)現(xiàn)先根據(jù)業(yè)務(wù)量估算內(nèi)存需求再反推JVM參數(shù)最后通過監(jiān)控驗證。4.1 堆內(nèi)存怎么定不能拍腦袋要看數(shù)據(jù)量和物理機器這臺機器是32GB內(nèi)存Elasticsearch部署在另一臺機器上所以Logstash可以安心地使用這臺機器的內(nèi)存。我第一反應(yīng)是直接把堆調(diào)到16GB但冷靜下來想了想不妥。為什么因為JVM堆之外還有Metaspace、JRuby本身的原生內(nèi)存、線程棧、網(wǎng)絡(luò)緩沖區(qū)等非堆內(nèi)存如果堆占了16GB整個進程實際占用可能輕松超過20GB。萬一物理機器還有其他任務(wù)在跑就容易觸發(fā)系統(tǒng)級別的內(nèi)存壓力甚至被內(nèi)核OOM Killer直接殺掉。Logstash官方建議堆大小不要超過系統(tǒng)內(nèi)存的50%這個建議是合理的。我最后選擇把-Xmx和-Xms都設(shè)為8GB理由也很簡單高峰期Logstash單批事件batch_size2000在堆里占用的空間大約幾十MB8GB堆可以容納足夠多的批次在隊列里排隊同時給JRuby解釋器、Metaspace、線程棧留出充足余地。Xms和Xmx設(shè)置為相同值是為了避免JVM在運行期動態(tài)擴容堆時產(chǎn)生額外開銷。對追求穩(wěn)定吞吐的在線服務(wù)來說啟動時就把堆分配好比運行中頻繁擴縮容要靠譜得多。4.2 批量參數(shù)和worker數(shù)量怎么配合關(guān)鍵是找到平衡點調(diào)整JVM參數(shù)的同時我把pipeline配置中的batch.size從125調(diào)到了2000batch.delay保持默認的50mspipeline.workers從默認值當時機器是16核所以默認16調(diào)到了8。為什么worker要減半因為數(shù)據(jù)管道不是無腦并行就能提升性能的當batch.size變大之后單個worker在一輪處理中的數(shù)據(jù)量已經(jīng)很大了如果還開16個worker并行對堆內(nèi)存的壓力和對下游ES的沖擊都會成倍增加。尤其在filter階段跑的是grok、dissect這類CPU密集型插件時線程過多反而會導(dǎo)致上下文切換開銷和頻繁GC。我建議一個比較穩(wěn)妥的起步點是pipeline.workers設(shè)置為CPU核數(shù)的一半到三分之二batch.size從500開始壓測逐步往上調(diào)到1000、1500、2000同時盯著GC監(jiān)控。如果發(fā)現(xiàn)FGC頻率上升就說明batch.size調(diào)得太激進需要回退一點。批量調(diào)優(yōu)不是越大越好這句話需要寫在墻上。4.3 完整配置參考jvm.options和pipelines.yml這是我這套環(huán)境最終使用的配置供參考# jvm.options -Xms8g -Xmx8g -XX:UseG1GC -XX:MaxGCPauseMillis200 -XX:UseStringDeduplication -XX:ParallelRefProcEnabled -XX:DisableExplicitGC -Xlog:gc*info,gcheapdebug,gcergodebug:file/usr/share/logstash/logs/gc.log:utctime,uptimemillis,level,tags:filecount5,filesize50m這里解釋幾個關(guān)鍵參數(shù)-XX:UseG1GC顯式指定G1作為垃圾回收器避免不同JDK版本默認GC行為不一致的坑。-XX:MaxGCPauseMillis200把目標停頓時間設(shè)為200ms這是Logstash默認值但顯式寫出來便于后續(xù)審計。-XX:UseStringDeduplication日志處理場景會產(chǎn)生大量重復(fù)字符串開啟去重可以降低堆占用。-XX:ParallelRefProcEnabled并行處理引用對象減少GC停頓時間。-XX:DisableExplicitGC防止第三方庫調(diào)用System.gc()觸發(fā)不必要的Full GC。Xlog參數(shù)把GC日志輸出到文件方便事后追溯這是整個調(diào)優(yōu)過程中我最后悔沒有早點做的事——日志是最好的老師。然后在pipelines.yml里核心配置如下pipeline: batch: size: 2000 delay: 50 workers: 8 max_inflight: 8192max_inflight代表管道內(nèi)允許同時存在的最大事件數(shù)默認值為batch.size * workers的兩倍我顯式設(shè)置成8192是為了給突發(fā)流量留緩沖同時避免內(nèi)存無限增長。4.4 調(diào)優(yōu)效果前后數(shù)據(jù)對比調(diào)整完并重啟Logstash之后我盯著監(jiān)控面板觀察了好久數(shù)據(jù)變化非常明顯指標調(diào)優(yōu)前調(diào)優(yōu)后Full GC頻率每10秒一次左右基本為0偶發(fā)一次Full GC平均耗時3秒以上無事件處理速率約2000 events/s波動大穩(wěn)定在10000 events/sKafka消費延遲持續(xù)增長達到分鐘級穩(wěn)定歸零CPU使用率800%以上空轉(zhuǎn)明顯300%左右各線程干實事這里我想特別提醒CPU使用率從800%降到300%看起來像是“占用變低了效率變低了”但其實恰恰相反。之前的高CPU有很大一部分是垃圾回收線程和內(nèi)存分配的消耗真正處理數(shù)據(jù)的線程一直在被STW打斷屬于“忙但不出活”。調(diào)優(yōu)后CPU降下來了但事件處理速率反而提升了五倍這才是健康的CPU占用。5. 常見報錯與避坑指南調(diào)優(yōu)過程中我還順手解決了一些Logstash運行中的經(jīng)典報錯這里整理成速查省得大家再走彎路。5.1 “stopped processing because of an error: (SystemExit) exit org.jruby”這個報錯在Logstash社區(qū)里出現(xiàn)頻率很高很多人一看到就慌了以為是管道崩潰。其實它翻譯過來的意思就是“JRuby進程主動退出了”SystemExit是一種JRuby主動拋出的退出信號。最常見的原因有三個一是進程被系統(tǒng)的OOM Killer殺掉JVM被迫退出二是Logstash啟動腳本在執(zhí)行過程中檢測到配置錯誤主動調(diào)用了System.exit三是堆內(nèi)存設(shè)置不合理導(dǎo)致OutOfMemoryErrorJRuby捕獲后以SystemExit的形式退出。排查思路分三步先看dmesg | tail確認有沒有Out of memory: Kill process的記錄再看Logstash日志里有沒有Java heap space相關(guān)的異常最后檢查jvm.options里有沒有寫錯參數(shù)。我遇到過有人把-Xmx寫成-Xms然后進程一啟動就報錯退出很隱蔽。5.2 Docker容器部署時怎么定位JVM異常重啟和GC日志現(xiàn)在很多人用Docker部署Logstash如果容器異常重啟第一反應(yīng)是docker logs看標準輸出但JVM的GC日志默認不會打到stdout而是輸出到文件或丟棄。針對這類問題我建議啟動時通過LS_JAVA_OPTS環(huán)境變量顯式指定GC日志路徑然后把對應(yīng)目錄掛載為Volume這樣即使容器重建日志也能保存下來。docker run -d \ -e LS_JAVA_OPTS-Xlog:gc*:file/usr/share/logstash/logs/gc.log:time,uptime,level,tags:filecount2,filesize20m \ -v /data/logstash/logs:/usr/share/logstash/logs \ docker.elastic.co/logstash/logstash:8.11.0另外容器里的jmap、jstack這類JDK工具可能沒有打包進鏡像。遇到這種情況可以先用docker exec -it bash看看有沒有如果沒有就只能在啟動時掛載宿主機JDK目錄進去或者用docker cp把JVM自帶的工具拷進容器。更簡單的辦法是讓Logstash開啟JMX遠程監(jiān)控從本機用jconsole或VisualVM遠程連接查看。但JMX端口暴露在公網(wǎng)有安全風險生產(chǎn)環(huán)境建議走內(nèi)網(wǎng)。5.3 集成自定義插件時容易忽略的JVM因素如果你像很多團隊一樣給Logstash集成了自定義插件那還要注意JVM層面對插件代碼的影響。JRuby調(diào)用Java API時會頻繁發(fā)生Ruby對象和Java對象的互轉(zhuǎn)這個轉(zhuǎn)換過程是有內(nèi)存開銷的。如果插件內(nèi)部創(chuàng)建了大量臨時數(shù)組或列表沒有及時釋放引用就會造成堆內(nèi)存泄漏。調(diào)優(yōu)時可以用jmap -histo:live 查看當前堆里哪些對象占用了最大空間如果發(fā)現(xiàn)自己的插件類名列前茅那基本可以斷定插件存在內(nèi)存管理問題。這在Logstash集成自定義插件時是特別容易踩的暗坑——插件功能沒毛病但內(nèi)存損耗拖垮了整個管道。5.4 調(diào)優(yōu)誤區(qū)速查表面試常見參數(shù) vs 線上實際操作最后整理一個我個人的對照表很多概念在面試題里是“考記憶”在真實場景里則要“看語境”千萬別混淆面試常見問題八股文標準回答線上真實操作JVM默認堆大小是多少物理內(nèi)存1/4要根據(jù)進程實際數(shù)據(jù)量重設(shè)別信默認值G1和CMS哪個好低停頓選G1高吞吐選Parallel先看你的停頓敏感性和內(nèi)存大小G1不是銀彈-XX:CompileThreshold有什么用控制JIT編譯觸發(fā)次數(shù)對JRuby型應(yīng)用有點幫助但優(yōu)先級靠后Full GC為什么慢要掃描整個堆實際上更可能是堆太小導(dǎo)致G1退化成了Serial OldJDK、JVM、JRE啥區(qū)別一個是開發(fā)包一個是虛擬機一個是運行環(huán)境排查時你只需要關(guān)心JVM的運行時參數(shù)和GC狀態(tài)順帶提一句網(wǎng)上經(jīng)??吹健癕axKB知識庫如何調(diào)優(yōu)”這類問題雖然MaxKB不是Logstash但它同樣是Java系服務(wù)底層邏輯一樣先看GC再看堆匹配再看線程池和批量配置。核心方法論是通用的。6. 寫在最后的個人體會這次排查前后花了大半天時間其中最浪費時間的一環(huán)恰恰是最開始“不想去碰JVM配置”的心理——總覺得Logstash日志不報錯就等于沒問題結(jié)果監(jiān)控數(shù)據(jù)狠狠打了臉。JVM調(diào)優(yōu)在面試里是八股文在線上就是保命技能差別只在于你有沒有真的拿著jstat輸出逐行分析過。調(diào)優(yōu)完成之后我痛定思痛做了一件事給所有Java系服務(wù)統(tǒng)一開啟了GC日志并且用腳本定時掃描FGCT增長率只要Full GC累計耗時在短時間內(nèi)翻倍就立刻告警。這樣一來再遇到類似問題我不用再從零開始抓現(xiàn)場直接從監(jiān)控面板和GC日志里就能把病根揪出來。我也建議大家排查性能問題時盡量“每次只改一個變量”改完給足觀察時間不要同時動堆大小、GC算法、batch size和worker數(shù)——不然你根本不知道是哪個調(diào)整起了作用又回到了猜謎游戲。最后分享一個小技巧調(diào)優(yōu)JVM參數(shù)后別急著馬上看吞吐量先看GC曲線穩(wěn)不穩(wěn)定再看Kafka Lag有沒有下降趨勢。如果GC穩(wěn)定了但吞吐還沒上來那再考慮是filter邏輯還是下游ES的問題如果GC還是像過山車一樣那堆內(nèi)存設(shè)置就還沒到位繼續(xù)調(diào)。這套判斷順序是我這次踩過坑之后總結(jié)出來的最可靠的節(jié)奏。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美激情综合色丁香婷婷五月天| 五月婷久久草| 欧美在线视频免费播放| 色九月婷婷| 综合网色| 丁香五月婷婷基地| 99国产er热视频| 99性爱| 色婷婷国色天香综合| 丁香五月狠狠在线观看| 综合激情五月婷婷| 九九成人高清视频| 99热个人在线| 六月婷久久| 久久只有精| 久久97久久99久久综合欧美| 97超碰在线免费观看| 五月天丁香成人| 337p大胆噜噜噜噜噜91Av| 五月丁香直播| 日本WWW九九九| 亚洲成人五月天| 五月天婷婷丁香蜜桃91| 另类亚洲电影| 日韩无码成人电影| 日日夜夜天天爽| 玖玖婷婷婷丁香五月| 91天天操天天干天天射| 五月天婷爱综合| 伦99热| 少妇激情五月天| 激情的五月| 久久五月天丁香花| 午夜五月天| 婷婷五月天手机版视频| 久久久久久综合88| 日噜噜色| 99热精品在线观看| 色色色色av色色色色| 亚洲综合色棒| 婷五月天| 综合久久99| 成人丁香五月天| 激情综合五月| 亚洲人人操| 亚洲天堂久久| 丁香五月婷婷偷拍| 亚洲色情一区二区三区四区| 激情婷婷五月| 激情五月婷婷色色| 欧美搡BBBBB摔BBBBB| 色婷婷激情| 99 频99热国里只有精品| 97超级啪啪在线观看| 国产操碰| 婷婷五月天视频亚洲| 五月激情日本在线| 丁香五月情| 欧美三级巜人妻互换| 色你久久| 久久这里有精品视频| 狠狠丁香| 日本欧美啪啪| 丁香伍月婷电影全集| 91丨九色丨高潮丰满日本| 成人欧美Va| 欧美日韩成人免费在线| 欧美毛卡| 亚洲成AV人片在线观看| 婷婷五月激情五月丁香五月| 色色婷婷丁香| 高清不卡一区| 五月丁香六月| 思思re99视频在线观看| 99色看| 色啪影院| 久久久久久久久久久97| yjzz亚洲国产| 亚洲妇女熟BBW| 在线观看婷婷5月| 色综合性视频| 在线视频色五月| 亚洲AV第二区国产精品| 在线成人av播放| 办公室少妇激情呻吟A片在线观看| 日韩一级网站| 色天五月天在线观看视频| 日日噜噜久久婷婷五月天| 久久综合色情网站| 丁香婷婷婷| 婷婷色色五月| 丁香五月欧美| 超碰99热精品| 色色色色色色色色综合网| 午夜美女人啪最红院| 九热...av| 欧美色色日韩| 一起草日本| 黄桃AV无码免费一区二区三区| 热五月婷婷| 天天日夜夜拍| 99热综合网| 亚洲噜色| 天天操天天日天天操| 亚洲第一色色色色| 欧美日本韩国亚洲| 婷婷五月天论坛| 五月激情五月丁香| 快乐婷婷五月天| ww久久| 91色在线 | 日韩| 午夜亚洲AV日韩无码| 欧洲色| 开心五月天激情网| 日本婷婷色日| 婷婷六月综合激情| 可以免费观看的AV| 激情五月综合网| 这里只有精品视频99| 99热在线这里只有精品| 99aese| 精品久色| 色播五月婷婷综合| 6月丁香婷婷激情| 久久这里只有精彩| 五月丁香婷婷无码A∨| 精品乱码视频| 熟女激情网| 无码九九| 色狠狠伊人久久五月丁香| 色色色精品无码区| 久久这里只有精品无码| 婷婷激情五月综合基地| 天天舔天天摸天天透| 97色色色视屏| 天天综合天天做天天综合| 色玖玖综合网| 日日噜狠狠色综合久| 天天爽天天摸人妻综合网| 热久久视频99| 国产色色色色| 91热网址| 99热这里有精力| 久久女婷| 国外亚洲成AV人片在线观看| 婷婷色色综合| 久在线综合69| 97电影99热| 色综合中文色综合网| 99热精品99| 夜夜躁婷婷AV| 色10月婷婷视频| wWwCom夜操wwW| 丁香色六月| 五月婷婷在线视频免费观看| 性爱电影科技贸易有限公司| 六月久久狠狠| 婷婷五月激情的图片| 九九AV在线| 天天干天天色综合| 人人色人人弄人人操| 五月天综合在线网| 91丨九色熟女丨首页| 丁香五月天狠狠操| 五月丁香 六月婷婷a| 思思99精品视频在线观看| 97激情五月天| 亚州操人在线视频| 色狠狠色| 影音先锋91在线资源站| 玖玖激情网| 伊人婷婷91| 丁香五月激情啪| 这里只有精品日韩| 色婷五月| 久热91精品| 久久激情五月婷婷| 91人妻人人操| 六月婷欧美| 操一区| ri电影在线| 草婷婷在线| 99热精品在这里| 六月丁香综合| 丁香五月激情五月| 婷婷色色综合| 欧美日本黄色| 99这里只有免费的小视频在线观看| 色婷五月丁香久亚洲| 人妻久久久久久久久久久| 丁香五月成人社区| 综合久久99| 五月开心播播网| 操日本99| 五月天a婷婷伊人| 婷婷五月天亚洲综合网| 激情五月综合网| 99久热| 淫五月停停| 久久五月天 91| 丁香久久综合| 丁香五月综合在线播放| 99精品热视频| 中文AV网站| 伊人玖玖婷婷| 五月激激网w'w'w| 99热这| 大香蕉婷婷丁香天堂AV| 另类五月激情| 玖玖综合网| 色狠狠伊人久久五月丁香| 九九99视频| 色五月激情五月天| 超爽内射| 精品综合久久久久久五月天| 能看的av网站| 熟女少妇内射日韩亚洲| 五月色婷婷中文字幕| 夜夜操少妇| 日本爆乳片手机在线播放| 激情综合网五月婷婷| 深夜婷婷 丁香| 亚洲操B视频| 婷婷AV丁香| 婷婷色五月丁香六月欧美啪| 五月婷婷黄色| 精品9l九九九九九77777| 99久久网站| 婷婷射综合| 日韩黄色影院| 日韩婷婷五月| 开心五月婷婷| 99热人人艹| 激情综合国产| 亚洲婷婷激情五月天| 色情五月丁香| 婷婷五月a| 综合丁香婷婷五月天| 五月天精品视频| 丁香五月天综合| 亚洲无码激情| 色五月婷婷天天操夜夜操| 婷婷色在线观看| 99精品久| 亚洲色情一区二区三区四区| 97资源碰碰| 68热超碰在线| 久久与婷婷| 91色噜噜狠狠狠狠色综合| 午夜天堂一区人妻| 亚洲小视频免费观看| 欧美人人草| 色五月首页| 色婷六月| 丁香激情五月少妇| 最近韩国日本免费高清观看| 婷婷色综合| 五月天啪啪啪| 超级碰碰99| 激情综合色五月六月婷婷| 色综合播放| 久草五月婷婷| 五月天狠狠色| 五月天基地| 亚洲色婷婷色| 99性视频| 久久亚洲婷婷| 任你日视频| 亚洲电影中文字幕| 婷婷涩五月天综合| 四川女人毛多水多A片| 九九AV| 久久看婷婷| 伊人九九九久| 婷婷基地五月色| 日本五月婷婷| 99在线观看| 人人摸人人澡人人| 婷婷 丁香 久久| 欧美激情五月| 丁香五月婷婷啪啪视频| 天天拍夜夜爽| 国产乱人偷精品人妻A片| 免费黄色AV| 思思热精品在线| 婷婷五月天久草在线| 综合激情开心五月| 超碰免费人人| 97人人草| www,天天干| www.99久久久| 丁香五月天堂| 六月丁香啪啪| 色久综合| 99re在线观看| 五月丁香亚州综合网| 丁香五月激情视频在线| 午夜伊人大香蕉| 亚洲激情免费久久| 天天干天天爽| 日韩六十路91性交电影| 91碰碰| 久热这里只有精品6官网亚洲| 国产在线中文字幕| 99综合在线| 97碰碰视频在线观看| 婷婷久久内射| 色玖玖综合网| 亚洲综人色综网| 开心激情网在线| www.婷婷五月| 色情五月综合婷婷| 九九热在视频| 风流少妇A片一区二区蜜桃 | 国产干逼片| 麻豆五月丁香婷婷| 91无码一起草| 婷婷香五月天| 久久五月婷婷视频| www.黄色片-久久成人国产精品在线播放-999AV| 婷婷久久18| 终合激情网| 99在线播放| 夜夜综合色| 四川操逼站| 婷婷深爱五月| 97丁香婷婷| 99免费在线| 秋霞黄色一级久久| 精品香蕉99久久久久网站 | 亚洲色色五月| 日本久热| 成人超碰AV| 国产黄大片在线观看画质优化| 五月激情丁香五月宗合| 五月永久激情| 精品国产AV色一区二区深夜久久| 青草热视频这里只有精品| 五月丁香久久激情综合| 99视频这里有精品| 影音先锋一区| 久久五月天婷婷| 久色视频在线| 丁香婷婷激情网站| 婷婷中文字幕网| 99操久久| 日欧一片内射VA在线影院| 亚洲五月综合色播| 伊人久久中文网| 丁香五月人妻| 婷婷月五天在线在线看| 国产精品色情AAAAA片软件| 丁香五月天啪啪激情综和网| 九九色天堂| 色五月女| 中文字幕在线观看视频www| 99热这里是精品| 丁香五月综合亚洲| 99热在线网站| 色九网| 91精品熟女| 黄色片avv| 99久久这里只有精品| 九九综合九九| 国产毛片操B| 人人噜天天上| 丁香婷婷五月六月久久| 色五月情| 日韩啊啊啊| 99热 这里只有精品 国产 日韩| 大战熟女丰满人妻AV| 激情文学五月丁香六月婷婷| 色婷婷视频| 熟妇人妻中文字幕无码老熟妇| 欧美色五月天| 一级片sese片.COM| 色五月,com| 五月丁香久久| 日韩在线观看亚洲| 久婷五月| 日韩黄色中文字幕| 五月丁香婷婷色色色| 婷婷欧美色| 中文字幕欧美精品久久| 自拍偷窥99热| 欧美成人精品一区二区| 91精品91久久久中77777| 国产偷人爽久久久久久老妇APP| 夜夜干夜夜操| 天天摸,天天爽| 久久婷婷五月综合一| 五月天婷婷綜合院| 久久在线人妻| 99er6免费视频热播| www,婷婷,com| 天天日,天天干,天天操| 五月丁香淫淫婷婷婷| 五月天激情小说| 激情久久伊人| 亚州色色色| www.亭亭五月天| 婷婷丁香五月天哟啪| 丁香五月玖玖| 亚洲激情AV| 五月天色区| 婷婷操逼| 九九99在线视频| 五月激情在线| 欧美在线视频免费播放| 99re这里只有精品首页| 99色激| 任我肏视频精品| 91狠狠综合久久久| 天天搞天天爽| 五月天激情综合10p| 久久久天堂国产精品女人| 草综合14| 婷婷亚洲五月色综合| 日本婷婷在线| 激情婷婷护士激情| 亚洲精品V天堂中文字幕 | 婷婷五月天六月综合| 色噜噜狠狠色综合网| 丁香综合| 日本欧美成人片AAAA| 色私五月婷婷| 婷婷射丁香| 五月天激情综合首页| 久草a片| 9久久狠狠的| 婷婷久久综合久| 亚洲精品激情| 思思热99在线| 超碰AV在线| 丁香六月欧美| 亞洲自怕| 日本精品人妻无码77777| 97干视频在线| 裸体美女丁香五月天。| 伊人9999| 色婷綜合网| 新久久五月天激情| 伊人久久婷婷| 9 99免费视频| 啪啪东京热| 六月丁花香啪啪激情欧美| 99久久婷婷国产综合精品青桔| 久9热插入| 少妇人妻丰满做爰XXX| 久久这里都是精品| 亚洲中文字幕av| 色婷五月天| 五月婷婷福利| 婷婷五月天天| 亚洲日韩操B| 亚洲中文字幕av| 综合久久婷婷| 五月婷婷婷婷网| www一起操在线观看| 91精品激情9| 99re久久| 337p大胆噜噜噜噜噜91Av| 97人人干人人操| 九九青草热| 99热免费在线| 九九热这里| 五月综合激情视频| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 久久丁香五月| 成人在线综合| 91碰碰视频| 五月婷婷丁香五月天| 丁香婷婷综合激情五月色| 六月婷婷色宗合| 呦呦v线| 99r久久这里只有精品| 久久激情综合| 三人荫蒂添的好舒服A片 | 色亚洲婷婷| AV天堂淫乩| 亚洲天堂亚洲色色色| 狠狠香婷婷五月| 丁香五月天色婷婷| 亚洲天天操| 色色五月婷婷| 九九热在线视频| 99热这里只有精品免费| 色噜噜狠狠色综合日日| 性爱电影科技贸易有限公司| 激情五月综合六月丁香婷婷狠狠干| 韩国情人在线电视剧免费观看高清版全集| 九九精品片一| 五月丁六月香av| 婷婷五月天综合蜜桃| 激情婷婷亚洲五月| 天堂草在线观| 五月天婷婷激情综合| 婷婷十月丁香| 婷婷色爱| 天天日 天天草| 91婷婷色| 狠狠操狠狠操AV| 五月丁香婷婷啪啪| 91丨九色丨东北熟女| 精品国产AV色一区二区深夜久久| 成人网在线观看视频| av免费在线看不卡无毒| 久久久久五月丁香| 日本一毛片| 99熟女视频| 开心五月婷婷五月| 九九热九九| 玖玖九九99| 婷婷丁香五月亚洲综合网在线视频观看| 色五月丁香伊人| 5月婷婷6月六月丁香| 色亚洲欧洲| www.夜夜| 久久精彩视频| 无码AV久久久久久久久| 人妻免费网站| 色哟哟www| 久久婷五月| 久久国产性爱A V| 99 这里只有精品| 亚洲欧美另类在线23p| 欧美婷婷成人| 婷婷激情社区| 图片区 小说区 区 亚洲五月| 99久久99九九99九九九| 亚洲色另类| 精品成人在线观看| 日韩色色视频| 色综合激情图区| 成人免费视频一区| 91色噜噜狠狠狠狠色综合| 久久五月天大美女| 五月天激情视频五月天| 女人天堂久久| 丁香五月欧美| 五月丁香激情综合网官网| 天堂色色色| 色五月成人婷婷| 久久精品66| 丁香五月激情网| 婷婷色婷婷| AV片一区在线观看| 成人网在线视频| 色综合久| 丁香六月婷婷综合在线| 99热爱爱干干日| 中文AV网站| a性生活久久无| 激情五月天综合网| 99热这里只有精品96| 99色视频在线| 色色色综合网| 亚洲av无码精品色午夜| 久久黄色网扯| 五月精品| 国产3p露脸普通话对白| 《久久综合九色综合97婷婷| 色爱综合视频| 女人被男人吃奶到高潮| 日本人妻伦在线中文字幕 | 激情网五月天| 五月香婷婷| 毛片九九九九九九| 久婷五月| 九九99一区| 99热这里只有精品青草| 九九综合88| 99无码视频| 色色婷婷丁香五月天| 99久久国产成人精品| 狠狠操狠狠操AV| 中文字幕永久在线| 操逼巨乳91| 五月婷婷香蕉| 武则天精品久久| 丁香六月天婷婷色| www.日本久久videos| 五月丁香亚洲婷婷| 午夜婷婷| 九色 在线| 美女婷婷六月色| 激情五月婷婷| 亚洲中文字幕在线观看| 九九久久五月天| 久久成人人妻| 无码少妇高潮喷水A片免费| 五月天婷婷AV| 丁香5月婷婷| 九九九九毛片| 任你搞在线观看视频| 九九热九九热精品| 久久九区| 丁香激情五月少妇| 天天草天天日| 九九在线视频| 97精品在线| 婷婷久久亚洲| 桃色成人网| 色吧五月| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 色色a| 激情九月婷婷九月| 婷婷欧美偷拍综合| 婷婷五月色惰| 思思干精品| 九九热这里精品| 久久婷婷网站| 婷婷玖玖丁香| 婷婷色成人| 99久久9| 日本熟妇精品99| 天天日天天草| 大香蕉丁香婷婷| 色播丁香五月婷婷操:屄| 黄色三级日本| 另类 在线| 婷婷综合精品视频97| 任你躁XXXXX麻豆精品| 91婷婷搞| 99re这里只有| 久久婷婷桃花五月天| 狠狠色丁香婷婷综合久久97AV| 五月天婷婷影院| 99热99天堂| 五月婷婷丁香色播网| 久久精彩视频| 999精品乱码77777| 亚洲美女网Va| 婷婷五月天渟渟| 五月永久激情| 婷婷久久五月| 亚洲啪视频| www.9797国产| 婷婷色偷拍| 日本五月视频| 久久黄色片| 深情六月婷婷综合久久| 色噜噜狠狠色综无码久久合欧美| 亚洲另类在线观看| 综合色图区| 伊人五月婷婷| 久久女人天堂| 亚洲视频二区| 五月色婷| 五月停停色色丁香| 成人 在线 日韩| 激情亭亭五月| 色婷另类| 中文字幕九九九九| 久久人操| 大香蕉九九| 99视频内射三四| 久久视频婷婷视频| 99热免| 丁香五月,开心五月,成人婷婷| 丁香五月性爱| 久热这里只有精品3| 91久久久久久久| 无码啪啪| 99久在线精品99re8热| 婷婷综合| 色色色欧美| 久久er九九| 国产AV一区二区三区最新精品| xx综合网| 色色色色色色综合网| 综合色天天| 色香蕉精品五夜婷| 婷婷开心六月| 99热高清在线| 8区视频在线| 丁香色色色| 久久久久久久人妻| 五月婷婷色播网| 国产成人网| 99热日本| 伊人超碰在线| 激情无码网| 色五月欧美| 婷婷激情综合| 久久综合激情五月天| 最近中文字幕在线中文视频| 丁香婷婷偷拍| 亚洲成AV人片在线观看| 婷婷五月综合网| 欧洲S级在线观看| 日韩黄黄| 再綫Av免费視品| 国产精产国品一二三在观看| 色婷婷色人人射| 色久99| 99热免费| 99综合网| 国精产品一区一区三区免费视频 | 丁香五月天导航| 精品亚洲国产成AV人片传媒| 丁香五月在线观看完整版| 丁香狠狠操| 色噜噜五月天| 精品无码av丁香五月激情| 成人亚洲精品久久久久| 亚州操人在线视频| 久久性爱视频| 欧洲色区| 婷婷五月天免费视频| 婷婷丁香花五月天| 日本色婷婷| 五月婷婷久草在线视频综合| 91精品婷婷国产综合| 九九久久99| 午夜婷婷五月天| 婷婷五月丁香综合激情| 婷婷激情五月| 色色性爱视频| 99热思思久| 日韩欧美不卡| 99噜噜| 色色综合无码| 啪啪五月婷婷| 超碰人人色| 色综合久久天天综合网 | 操嫩逼电影| 亚洲视频另类| 99热6精品| 丁香婷婷久久综合在线| 色婷精品91| 亚洲乱码日产精品BD| 六月天婷婷| A一级操| 九九九九成人| 天天爽人人综合免费7799| 九九热这里只有精品在线观看| 97碰免费视频在线| 色九月综合| 深爱激情五月网| 综合久久五月天| 26uuu四色| 第四色大香蕉| 国产视频色色色色色色色| 亚洲一区二区无遮挡A片| 丁香五月另类小说在线阅读| 色日本综合| 久久精品国产一区二区三区四区 | 亚洲国产精品VA在线看黑人| 日本女人久久| 色婷婷影音| 久久网日本| 久婷狼色诱惑在线| 久草五月天| 五月婷婷中文字幕| 色五月久久成人婷婷| 婷婷 伊人 久久| 欧美激情五月天| 99热热这里只精品996小说| 极品人妻videosss人妻| 五月色网| 激情九九九九| 大地资源色婷婷视频在线| 激情五月色婷婷| 日本va视频| 黄色aaaaa| 黄色99热| 99久久户外勾搭| 日韩久热| 思思久久99热只有频精品66| www,8050,午夜三级| 另类图片五月天激情| 国产精自产拍久久久久久蜜 | 色五婷婷| 天天摸天天舔天天爽| 超碰成人av| 婷婷五月综合丁香久久| 五月婷婷六月激情| 六月撸婷婷| 这里只有精品网站| 婷婷五月天天| 91chinese在线| 丁香五月很很肏| 久久久亚洲精品一区二区三区浴池| 亚洲成人在线免费| 亚洲综合99| 久久久久99精品成人片| 久久综合激情五月天| 超级黄色片| 丁香五月婷婷五月基地| 国产特级毛片AAAAAAA高清| 91久热| 丁香五月六月综合欧美| 99精品久久久久久久婷婷久久| 99色区| 97精品在线| Aα在线免费观看| 99福利视频导航| 日韩av一区二区在线/日产精品久久久 | 99热综合色图| 五月丁香偷拍| 久草五月天| 这里只有精品免费观看网占| 另类小说五月天综合网| www.色婷婷。com| wWw色五月| 丁香五月情色| 99小视频| 丁香五月激情宗合网| 色欲婷婷五月天| 九九AV在线| 97操碰碰无码视频| 五月天婷婷操逼视频| 操碰久| www.久久久久久久久久久| 玖玖综合网| 久久电影4399| 91人人操人人爱| WWW,五月| 热99精品视频五月| 淫视馆AV在线| 亚洲成人AV在线观看| 99视频在线播放大全| 9九色首页| 玖玖午夜视频| 综激情网| 99操碰| 色婷婷丁香五月天| 99久在线精品99re8热| 丁香六月五月天| 丁香五月婷婷五月| 五月综合久久| 久久视频在线视频| 97在线观视频免费观看| 久久婷婷七月丁香| 色婷婷在线视频观看| WWW久久99久久99久久| 亚洲无码猫咪| 国产精品视频网| 91 原创 在线 九色| 激情婷婷久久| 91婷婷| 婷婷久久午夜网| 色婷婷在线综合色播网| 大狠狠在线| 五月丁香激情在线| 夜夜夜夜夜骑撸| 亚洲va综合va国产va中文| 激情综合国产| 亚洲国产99| 五月丁香久久丝袜啪啪| A久网| 橾逼网| 91激情五月开心| 狠狠爱综合网| 丁香久久| 亚洲六月综合激情久久下卡| 亚洲图色五月天| 五月婷婷|欧美| 99日韩| 婷婷爱综合| 日韩久久这里只有精品| 婷婷五月激情在线视频| 五夜丁香| www久久99| 激情婷婷丁香| 久久丁香九| 狠狠色噜噜狠狠狠狠综合| 天天射夜夜爽| 激情宗合网激情五月天| 夜夜谢天天干| 色吧五月婷婷| 99超超碰| 色色五月天com| 人妻人人操| 激情五月无码| 日韩视频99| 激情另类综合| 强辱丰满人妻HD中文字幕| 91日婷婷在线| 无码区婷婷五月花开| 国语对白性爱视频播放| 色六月视频| 9久热在线视频精品| 亚洲九区| 婷婷五月综合基地| 日韩色久| 五月人妻婷婷| 日日噜噜夜夜狠狠久久丁香六月| 五月色综合| AV片一区在线观看| 嫩草视频观看| 久久久er热| 啪啪小说五月天| 五月丁香色色网| 国产,欧美,学生妹,视频| 婷婷丁香社区| 秋霞午夜理论| 五月色影院| 丁香婷婷五月| 1024成人免费看| 激情伊人| 另类综合国产| 欧美色色色色色色色| 国产肥白大熟妇BBBB视频| 五月丁香久久色| 婷婷激情五月天天天开心| 婷婷久久亚洲| 99亚洲精品视频| WWW.HENHENL.| 精品久久99码| 婷婷五月天激情丁香| 欧美日韩999| 婷婷激情六月中文| 日本色色网| 久久色这里只有精品| 欧美日韩成人| 五月婷九月| 《诡秘之主》在线观看| 噜噜五月天综合| 免费黄色片子| CAoub青青超碰| 激情五月天开心网丁香无码| 2020日日干| www.超碰97| 色婷婷欧美| 丁香婷婷中文字幕| 亚洲综合另类| 九九九九九九综合| 日韩AV在线免费| 啪啪色激情五月天| 色五月人妻| 女人高潮内射99精品| 五月丁香色婷婷色| 91人妻视频| 成人丁香五月| 婷婷五月丁香色播| 婷婷激情区| 婷婷激情四射| 99日视频在线| 思思综合热| 国产激情久久久| 吾爱AV导航| 97深爱伊人综合| 亚洲超碰在线| 色天堂操| 开心五月深爱五月婷| 97色婷婷| 大香蕉九九操| 色丁香五月综合网| www99热| 婷婷99狠狠躁天天躁中| 欧美激情综合色丁香婷婷五月天| 五月丁香婷婷啪啪| 五月丁香啪啪综合网| 日本五月天一页| 人妻内射一区二区在线视频| 伊人久久五月天| 色色色热热热| 丁香五月亚洲综合丝袜| 欧美成人无码高清一区二区三区| 日本九九视频| 秋霞网在线免费基地五月婷婷丁香| 五月天另类综合网| 天天日,天天插| www.综合久久.com| 婷婷色色欧美| 天堂婷婷综合| 亚洲精品乱码久久久久99| 超碰人人操在线| 婷婷成人在线| 久久性爰视频这里只有精品| 免费观看18视频网站| 色色婷| 91久久九久久九久久九久久九久久| 伊人大香蕉毛片| 桔色成人官方网站| 大香蕉520| 五月天婷婷久久| 激情爱爱网站| 婷婷六月色情| 色五月激情婷婷| 2025超碰| 亚洲五月天综合| 色婷婷导航| 五月色在线| 丁香五月另类色婷婷麻豆| 综合五月丁香六月婷婷| 亚洲视色| 天天日P天天射P| 麻豆五月丁香婷婷| 国产精品久久久久9999小说| 日韩a热| 日日夜夜狠狠| 婷婷啪啪| av中文在线| 亚洲综合1024| 六月丁香av| 99久久www| 美国十月色婷婷在线观看| 激情婷| 丁香婷婷深情五月亚洲| 特黄三级又爽又粗又大| 婷婷五月天成人网站| 婷婷五月性感| 91综合色噜噜| 婷婷色五月色| 五月色丁香婷婷综合| 亚洲色模骚货| 99视频日韩| 91精品久久久久久综合五月天| 日韩欧美成人网| 五月婷导航| 91a片爽| 无码色色| 97超碰99热99| 六月色播| 99九精品| 丁香综合婷婷五月天| 99视频在线啪| 五月丁香婷婷婷激情爱爱| 久久激情五月网| 99热碰碰| 26UUU欧美激情一区二区| 色99日韩| 中文无码婷婷| 激情综合网五月天| 久久色在线视频| 久久香蕉网| 五月色导航| 欧州婷婷五月天综合| 综合图区激情| 欧美三级大片AA在线看| 第四色五月天| 99九九视频| 999热在线视频| 99re66热这里只有精品| 久久小视频| 日本www五月婷婷| 四季8848精品成人免费网站| 久久久久久丁香五月| 九九中文色色| 久久99热在线观看| 五月丁香婷草| 九热视频| 狠狠久久婷五月综合色| 爱99干99| 夜夜综合色| 丁香五月婷婷五月| 免费亚洲婷婷中文字幕| 26uuu视频欧美| 丁香婷婷综合激情五月色| 激情五月色综合国产精品| 亚洲9久久精品| 色五月 五月婷婷| 久久作爱| www.久久| 五月天基地| 丁香婷婷五月综合| 九九99精品视频在线观看| 六月欧美综合色情| 久久免费少妇高潮99精品| 久久这里有精品| 激情久久五月天| 91丨九色丨熟女高潮| 综合综合网| 操操精品| 九月丁香婷婷| 天天综合五月| 精品导航在线x不卡| 人妻AV在线观看| 日日噜狠狠色综| www.色色色com| 亚洲激情综合| 99re熱| 婷婷六月激情综合| 五月天国产| 亚洲激情视频在线观看| 国产毛多水多女人A片| 五月天伊人综合| 久久婷婷综合网| 最近中文字幕2019视频1| 这里精品| 成人片在线播放| 99久久66综合| 天天色天天日天天舔| 五月婷婷在线短视频| 丁香五月天操B| 五月天伊人久久久久| 丁香六月色香蕉视频| 国内熟女黄色系列| 欧美激情五月天婷婷| 色综合视频在线| 天天操婷婷| 婷婷五月天天| 热99久| 69精品人人人人| 丁香婷婷成人网| www.色五月| 97碰碰叉| 色情五月综合婷婷| 天天拍久久| 日本在线视频播放91| 国精产品一区一区三区免费视频| 亚洲免费婷婷| 婷婷,五月天,丁香,第一| #NAME?| 少妇激情五月天| 性生活视频98791| 亚洲综合久| 五月天社区婷婷| 婷婷天堂综合| 五月激情基地| 日本久久综合| 久久综合五月天激情小说网站| 丁香狠狠色婷婷| 亚洲女婷婷五月基地综合久久久| 99超级碰碰| www免费在线视频| 99熟女视频| 丁香婷婷色五月天| 97人妻碰碰碰久| 丁香五月激情五月| 丁香六月激情| 久久a热| 色色色综合视频| 99精品女人天堂| 亚州美女| 激情四射网| 五月丁香基地| 久久视频66| 激情啪啪五月天| 日本不卡高字幕在线2019| 成人丁香色| 六月狠狠综合| 亚洲精品色色| 97碰碰碰| 欧美婷婷色| 99久久6| 99视频在线精品| 欧美性爱特黄一级aaaassss| 另类A片| 婷婷五月天涩涩| 婷婷成人五月天| 五月丁香亭亭操逼| 色情综合网| 天天色爽| 人人操91| 欧美在线视频9| 夜夜嗨一区二区三区直播内容 | 九九99久久| 五月丁香六月在线| 欧美视频在线观看噜噜| 91操人视频| 色婷婷AⅤ| 香蕉影院色| 激情五月天视频| 成人短视频在线免费观看| 婷婷六月色情| 婷婷在线观看五月天在线视频| 99热狠狠操| 婷婷五月天综合久久日美女| 91久久99久久91熟女精品| 婷婷综合视频| 婷婷五月情天| 五月噜噜| 天天做天天视天天谢| 五月丁香久人妻中文| 九九热99在线视频| 色网五月婷婷| 五月婷婷六月丁香| 欧美在线干| 婷婷成人五月天| 丁香婷婷婷五月| 玖久精品视频9| 九九热这里都是精品6| 婷婷五月天黄色| 激情五月天色婷婷综合| 欧美,日韩成人在线| 熟妇内谢69XXXXXA片| 囯产精品久久欠久久久久久九大| 超碰成人av| 人妻久久久久久久| 婷婷五月天成人网站| 亚洲无码AV片| 五月婷婷很很色| 成人做爰高潮A片免费视频| 天天综合网在线| 欧美日韩99| 性视频久久| 91se在线观看| 亚洲色网络| 婷婷五月激情在线视频| 综合综合网| 久热最新视频| 2020久久婷婷五月| 男人天堂伊人五月丁香| www.yw尤物| 五月色网| 丁香五月婷婷亚洲综合精品| 99热日| 97婷婷狠狠久久综合9色| 99久高清视频| 丁香激情五月天| 色婷婷小视频| 精品99*| 99cao婷婷| 激情五月天天| chaopengdaxiangjiao| 丰满少妇乱A片无码| 强壮的公次次弄得我高潮A片日本 | 亚洲成人网站在线观看| 五月天婷婷在线视频| 色婷婷五月天偷拍| 成人丁香五月| www.婷婷五月| 这里只有精彩视频| 婷婷狠狠操| 色色色综合网| 五月丁香六月婷| 亚洲午夜AV| 五月婷婷六月天| 极品少妇高潮啪啪AV无码| 538在线精品| 成人无码精品1区2区3区免费看 | 99热成人| 91精品久久久久久综合五月天| 99久久9| 777精品久无码人妻蜜桃| 疯狂做受XXXX高潮A片| 青草青草视频2免费观看| 少妇人妻人伦A片| 亚洲视频在线网站| 69热91天堂| 永久天堂日本| 婷婷色六月| 精品人妻在线| 影音先锋噜一噜| 91操碰| 久久五月丁香伊人青草| 久久五月丁香六月婷| 激情综合网,婷婷五月天| 婷婷激情五月综合在线视频| 天天综合五月| 五月婷婷婷婷网| 九九在线精点品| 色婷婷五月综合在线| 久99久在线| 99热在线看| 99热精品在线| 热热色色五月天婷婷| 日韩精品在线观看9| 9视频1在线| 99精品久久久| 久热只有这里有精品| 婷婷五月丁香高清无码| 五月天成人在线| 99热这里只有精品免费观看| www五月| 成人婷99最新| 思思热在线视频精品| 国产FREESEXVIDEOS性中国| www99精品日韩| 久啪欧美| 91超碰在线观看| 二人电影免费版在线观看|