欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Arthas實(shí)戰(zhàn):Java線上問題排查利器,無需重啟即可診斷JVM

Arthas實(shí)戰(zhàn):Java線上問題排查利器,無需重啟即可診斷JVM 真香定律放在技術(shù)圈一樣適用。以前總覺得線上排查問題靠日志、靠監(jiān)控、靠人肉加日志就夠用了直到真正把 Arthas 用起來才發(fā)現(xiàn)以前那些操作有多繞。Arthas 是一個(gè)開源的 Java 診斷工具不用改代碼、不用重啟服務(wù)可以直接 attach 到正在運(yùn)行的 JVM 進(jìn)程上實(shí)時(shí)查看類加載情況、方法出入?yún)?、調(diào)用棧、線程狀態(tài)、JVM 指標(biāo)還能反編譯和在線熱更新。它專門解決一類問題線上偶發(fā)、日志不全、無法本地復(fù)現(xiàn)、一重啟現(xiàn)場就沒了。無論你是后端開發(fā)、維護(hù)過老項(xiàng)目還是正在被“線上 bug 怎么都復(fù)現(xiàn)不了”折磨這篇文章都值得花十分鐘讀完。1. 為什么說它是排查線上問題的“真香”工具1.1 傳統(tǒng)排查方式的三座大山先聊聊大家最熟悉的排查流程。遇到線上故障第一反應(yīng)通常是翻日志。但日志工具抄出來的往往是“結(jié)果”不是“過程”很多關(guān)鍵參數(shù)、臨時(shí)變量、調(diào)用時(shí)序根本不存在。如果日志里什么都有那問題可能早就被監(jiān)控平臺發(fā)現(xiàn)了現(xiàn)實(shí)往往是日志不夠、不夠細(xì)、沒有參數(shù)上下文。接著你會想本地復(fù)現(xiàn)把線上數(shù)據(jù)導(dǎo)出來構(gòu)造請求打一遍結(jié)果發(fā)現(xiàn)本地怎么都復(fù)現(xiàn)不出來。因?yàn)椴l(fā)量、緩存狀態(tài)、時(shí)鐘順序、臟數(shù)據(jù)都可能影響最終結(jié)果本地環(huán)境永遠(yuǎn)只是線上環(huán)境的一種近似。最后一招是加日志重啟改一行 log.info編譯打包發(fā)版等流量進(jìn)入再看日志這中間耗時(shí)少說半小時(shí)多則幾個(gè)小時(shí)而且頻繁重啟會讓現(xiàn)場被破壞流量重放也未必能還原問題。這三座大山我相信每個(gè)后端都經(jīng)歷過。Arthas 恰好能繞開它們不需要提前埋點(diǎn)因?yàn)樗茉谶\(yùn)行時(shí)直接查看真實(shí)出入?yún)⒉恍枰磸?fù)發(fā)布因?yàn)樗苯硬僮鳟?dāng)前進(jìn)程不需要靠猜因?yàn)樗馨颜{(diào)用路徑和方法執(zhí)行細(xì)節(jié)攤開給你看。用過一次之后你會真心覺得“真香”。1.2 原理attach 與字節(jié)碼增強(qiáng)要理解 Arthas 為什么能做到這些得先知道它的原理基礎(chǔ)。Arthas 本質(zhì)上利用了 Java 的 attach 機(jī)制和字節(jié)碼增強(qiáng)技術(shù)。attach 是 JDK 提供的一種能力允許一個(gè) JVM 進(jìn)程運(yùn)行時(shí)連接另一個(gè) JVM 進(jìn)程并通過 Agent 方式執(zhí)行操作。字節(jié)碼增強(qiáng)則是在類加載或運(yùn)行時(shí)對已經(jīng)加載的類做動(dòng)態(tài)修改在方法執(zhí)行前后插入攔截邏輯相當(dāng)于給方法裝上一套“臨時(shí)探針”。這套探針是臨時(shí)的JVM 一重啟就沒了不會影響原有邏輯。原理本身在 Java 生態(tài)里不算多新鮮但真正難的是把這一套能力封裝得好用做成命令行交互式的產(chǎn)品。Arthas 做到的正是這一點(diǎn)從啟動(dòng)到使用幾乎不需要在應(yīng)用代碼里增加任何依賴這對排查場景來說是極大的優(yōu)勢。1.3 什么時(shí)候該想到用它很多人問什么場景下 Arthas 才是剛需。我的判斷標(biāo)準(zhǔn)很簡單只要你遇到“日志看不出來、重啟代價(jià)高、需要確認(rèn)運(yùn)行期狀態(tài)”這三個(gè)條件中的兩個(gè)就該考慮它。典型場景包括接口耗時(shí)突然變長、CPU 飆升、線程池被打滿、緩存數(shù)據(jù)異常、灰度環(huán)境某個(gè)請求表現(xiàn)不一致、老項(xiàng)目沒有源碼無法重新編譯。這里有一個(gè)容易被忽略的點(diǎn)Arthas 不是只給“救火”用的。在正常的壓測、聯(lián)調(diào)、性能分析階段也可以主動(dòng)用它。我經(jīng)常在壓測時(shí)開著 dashboard一邊加壓一邊觀察線程池大小、GC 頻率和熱點(diǎn)方法比事后看測試報(bào)告直觀得多。因?yàn)樗皇菑慕y(tǒng)計(jì)數(shù)據(jù)里做推測而是直接從運(yùn)行中的 JVM 里拿事實(shí)。1.4 為什么團(tuán)隊(duì)?wèi)?yīng)該統(tǒng)一學(xué)習(xí)Arthas 這類工具個(gè)人會用和團(tuán)隊(duì)都會用的效果差別很大。一個(gè)人掌握遇到問題只能是他上團(tuán)隊(duì)都掌握任何值班的人都能快速定位初級問題不用每次都把核心開發(fā)叫起來看服務(wù)器。我見過不少團(tuán)隊(duì)把 Arthas 列為后端必修技能要求每個(gè)人至少掌握 dashboard、thread、watch、trace 四個(gè)命令的基本用法我覺得是非常務(wù)實(shí)的做法。2. 上手必須先掌握的 6 個(gè)高頻命令命令速查表先放在前面后面會逐個(gè)細(xì)講命令用途典型場景dashboard全局面板CPU、內(nèi)存、GC、線程狀態(tài)一眼看全watch觀察方法出入?yún)⒋_認(rèn)參數(shù)是否正常、異常在哪拋出trace方法調(diào)用鏈耗時(shí)定位慢請求卡在哪個(gè)子調(diào)用thread線程分析CPU飆高、死鎖、線程阻塞jad反編譯看線上實(shí)際運(yùn)行的代碼mc redefine熱更新緊急修復(fù)后臨時(shí)止損2.1 啟動(dòng)與選擇進(jìn)程java -jar arthas-boot.jarArthas 的使用路徑非常直接。第一步下載 arthas-boot.jar放到服務(wù)器某個(gè)目錄下執(zhí)行java -jar arthas-boot.jar啟動(dòng)后它會自動(dòng)列出當(dāng)前機(jī)器上所有 Java 進(jìn)程輸入序號就能 attach。如果想跳過交互直接選進(jìn)程可以在后面直接加 PIDjava -jar arthas-boot.jar 1234512345 是目標(biāo)進(jìn)程的進(jìn)程號。剛上手時(shí)我建議大家執(zhí)行 help 看看當(dāng)前版本支持的命令列表因?yàn)椴煌姹局g命令細(xì)節(jié)會有差異老是照著老資料敲容易踩坑。有一個(gè)小細(xì)節(jié)Arthas 本身運(yùn)行需要 JDK但需要 attach 的目標(biāo)進(jìn)程不一定要用 JDK 啟動(dòng)部分 JRE 環(huán)境也可以兼容。不過實(shí)際部署中建議用和運(yùn)行環(huán)境同一版本的 JDK 去啟動(dòng) Arthas 客戶端減少無謂的兼容性問題。attach 成功后會進(jìn)入交互終端提示符變成$所有命令都在這里輸入。2.2 dashboard 一眼看全局attach 成功后的第一個(gè)建議命令是 dashboard。它會實(shí)時(shí)刷新一個(gè)面板展示 CPU 占用率、內(nèi)存使用、GC 次數(shù)、線程狀態(tài)分布、每個(gè)線程的 CPU 消耗等信息。這等于給 JVM 裝了一個(gè)實(shí)時(shí)監(jiān)控屏幕打開它就能快速判斷問題在哪一層是 CPU 整體打滿還是內(nèi)存上漲觸發(fā)頻繁 GC還是某個(gè)線程卡死。初次使用的人容易被大量指標(biāo)淹沒我一般只看四樣?xùn)|西最上面的 CPU 使用率、內(nèi)存區(qū)域變化、GC 頻率、線程狀態(tài)里 BLOCKED 和 WAITING 的數(shù)量。如果 GC 頻率異常優(yōu)先排查堆內(nèi)存和對象分配如果有大量 BLOCKED 線程優(yōu)先找鎖競爭。面板是持續(xù)刷新的按 q 可以退出回到交互終端。2.3 watch 查看入?yún)?、返回值和異常watch 是線上排查使用頻率最高的命令沒有之一。它的作用是對指定方法觀察當(dāng)方法被調(diào)用時(shí)打印出入?yún)ⅰ⒎祷刂祷蛘弋惓P畔?。watch com.example.order.OrderServiceImpl createOrder {params, returnObj, throwExp} -x 2這條命令的意思是觀察 OrderServiceImpl 類的 createOrder 方法當(dāng)它執(zhí)行時(shí)打印入?yún)ⅰ⒎祷刂岛彤惓ο笄短渍归_深度 2 層。這里用了 OGNL 表達(dá)式用單引號包裹內(nèi)置變量包括 params 數(shù)組、returnObj 和 throwExp。我第一次用 watch 排查問題時(shí)整個(gè)人的感覺就是開了天眼。以前要加日志重新發(fā)版才能看到的參數(shù)現(xiàn)在直接在當(dāng)前進(jìn)程里實(shí)時(shí)看到而且可以臨時(shí)加條件只觀察特定用戶或特定業(yè)務(wù)類型watch com.example.order.OrderServiceImpl createOrder {params[0]} params[0].userId 10086 -x 3條件表達(dá)式寫最后返回布爾值只有滿足條件才打印。這樣在流量大的接口下看不會被無關(guān)請求刷屏。2.4 trace 定位方法耗時(shí)分布如果說 watch 解決的是“參數(shù)對不對”trace 解決的就是“時(shí)間花在哪”。它會輸出指定方法的調(diào)用鏈路上每個(gè)子方法的耗時(shí)自動(dòng)計(jì)算總耗時(shí)和每個(gè)節(jié)點(diǎn)耗時(shí)執(zhí)行效果類似一棵調(diào)用樹trace com.example.order.OrderServiceImpl createOrder命令執(zhí)行后目標(biāo)方法一旦被調(diào)用你會看到類似下面的輸出---createOrder() # 總耗時(shí) 823ms ---checkStock() # 56ms ---deductBalance() # 720ms ---sendMessage() # 47ms順著耗時(shí)最大的節(jié)點(diǎn)繼續(xù)往下 trace逐層鉆取就能鎖定真正慢的底層方法。這個(gè)過程就像剝洋蔥把慢請求一層層拆到最小執(zhí)行單元。有一點(diǎn)要提醒trace 是通過字節(jié)碼增強(qiáng)實(shí)現(xiàn)的它只增強(qiáng)執(zhí)行命令之后發(fā)生的調(diào)用歷史調(diào)用不會回溯。所以想抓到想要的 trace 結(jié)果必須讓目標(biāo)請求再進(jìn)來一次。如果接口觸發(fā)頻率低可以配合定時(shí)任務(wù)或者手動(dòng)打一個(gè)測試請求。2.5 thread比 jstack 更實(shí)用的線程分析很多同學(xué)排查線程問題只會 jstack但 jstack 一下輸出大量線程棧分不清哪個(gè)線程才是問題源頭。Arthas 的 thread 命令可以直接按 CPU 消耗排序這個(gè)能力非常實(shí)用thread -n 3它會打印出 CPU 占用最高的 3 個(gè)線程同時(shí)帶上對應(yīng)線程棧。對比 jstack 還得自己去數(shù)線程 ID、對應(yīng) 16 進(jìn)制換算效率高了一個(gè)量級。它還能直接查死鎖thread -bFound one Java-level deadlock: thread-1: waiting to lock monitor ...thread -b會直接輸出檢測結(jié)果和相關(guān)線程棧不用再從 jstack 輸出里手工解析 Locked ownable synchronizers。如果需要看指定線程可以帶線程 ID 精確查看這個(gè)在分析阻塞場景時(shí)很管用。2.6 jad mc redefine 實(shí)現(xiàn)在線熱更新這一組命令要謹(jǐn)慎使用但在緊急情況下非常救命。jad 用于反編譯已加載的類可以看線上運(yùn)行的真實(shí)代碼而不是本地倉庫里可能已經(jīng)過期的版本mc 是內(nèi)存編譯基于 jad 查看后的源碼在內(nèi)存里重新編譯redefine 是把編譯好的字節(jié)碼替換到運(yùn)行中的 JVM 里。jad --source-only com.example.order.OrderServiceImpl /tmp/OrderServiceImpl.java mc /tmp/OrderServiceImpl.java -d /tmp redefine /tmp/com/example/order/OrderServiceImpl.class熱更新最典型的使用場景是線上有 bug 需要臨時(shí)改一行邏輯發(fā)布流程要走審批這時(shí)先用 Arthas 做臨時(shí)修復(fù)讓服務(wù)先恢復(fù)然后馬上走正規(guī)發(fā)布。要注意這個(gè)操作不會改磁盤上的 class 文件也不會寫回 jar 包服務(wù)一重啟就失效。而且不是所有代碼都能熱更新成功增加類、改變方法簽名的場景通常會失敗。3. 實(shí)戰(zhàn)從幾個(gè)真實(shí)故障看 Arthas 的實(shí)際用法3.1 場景一CPU 飆高快速定位到正則災(zāi)難性回溯我先講一個(gè)最常見的 CPU 100% 問題。某服務(wù)在活動(dòng)流量上來后CPU 使用率持續(xù)接近滿核業(yè)務(wù)方反饋接口響應(yīng)很慢。按老辦法先看 top 找到進(jìn)程 PID然后 jstack 導(dǎo)出線程棧再做 16 進(jìn)制轉(zhuǎn)換找到對應(yīng)線程整個(gè)過程相當(dāng)繁瑣。用 Arthas 的流程會快很多。attach 之后先執(zhí)行 dashboard整體看一眼 CPU 和線程狀態(tài)當(dāng)時(shí)很明顯看到幾個(gè)線程占用 CPU 非??鋸垺H缓髨?zhí)行thread -n 5它直接給出了 CPU 最高的 5 個(gè)線程及其調(diào)用棧。我看到一個(gè)線程棧反復(fù)停在同一個(gè)業(yè)務(wù)方法里跟進(jìn) trace 這個(gè)方法發(fā)現(xiàn)內(nèi)部有一段非常復(fù)雜的字符串正則匹配在特定輸入下觸發(fā)災(zāi)難性回溯CPU 全部耗在了正則引擎內(nèi)部。定位過程前后不到五分鐘全程沒有重啟服務(wù)。定位到原因之后我用 jad 反編譯出當(dāng)前代碼把正則邏輯臨時(shí)替換成樸素的字符串前綴匹配通過 mc 和 redefine 熱更新到線上進(jìn)程服務(wù)立刻恢復(fù)。這個(gè)案例給我的最大感觸是CPU 飆高和接口慢本質(zhì)上都是“定位問題”的效率問題。只要能看到線程在干什么排查時(shí)間就能從小時(shí)級縮短到分鐘級。3.2 場景二接口偶發(fā)超時(shí)trace 逐層揪出隱藏阻塞另一個(gè)案例是某接口偶發(fā)超時(shí)頻率不高大概每天幾次。這種偶發(fā)問題最折磨人日志里偶爾看到超時(shí)但不知道卡在哪個(gè)環(huán)節(jié)。我先用 watch 看接口入?yún)l(fā)現(xiàn)超時(shí)請求和正常請求的參數(shù)沒有明顯區(qū)別于是改用 trace 觀察調(diào)用鏈路。第一次 trace 還沒有抓到超時(shí)等了差不多十幾分鐘才有一次超時(shí)出現(xiàn)。這次 trace 輸出里接口方法總耗時(shí)接近 3 秒其中一個(gè)下游 RPC 調(diào)用的子節(jié)點(diǎn)耗時(shí)占 2.5 秒其他子節(jié)點(diǎn)都只有幾十毫秒。順著這個(gè)異步下游繼續(xù)往下定位最后發(fā)現(xiàn)是某個(gè)配置中心客戶端的刷新邏輯在特定時(shí)刻阻塞導(dǎo)致請求串行等待。這個(gè)例子想說明一個(gè)關(guān)鍵點(diǎn)很多偶發(fā)問題根本不體現(xiàn)在業(yè)務(wù)日志里因?yàn)闃I(yè)務(wù)代碼里沒有打印每一次下游調(diào)用的耗時(shí)明細(xì)。Arthas 的運(yùn)行時(shí)觀察能力等于給線上系統(tǒng)裝了一臺顯微鏡它能把正常日志看不到的細(xì)節(jié)全部拉到眼前。3.3 場景三驗(yàn)證修復(fù)方案不用發(fā)布就能試還有一種很常見的用法不是緊急救火而是驗(yàn)證方案。曾經(jīng)有一個(gè)灰度問題我們懷疑是某個(gè)枚舉映射導(dǎo)致數(shù)據(jù)錯(cuò)亂但不敢完全確定。改代碼發(fā)布會話成本高而且如果改完還是錯(cuò)的等于白折騰。我先用 jad 反編譯出線上實(shí)際運(yùn)行的類確認(rèn)枚舉字段順序和本地代碼不一致這是一個(gè)非常關(guān)鍵的信息。因?yàn)楸镜卮a經(jīng)過多次迭代線上的 class 可能已經(jīng)和 git 分支對不上。確認(rèn)問題后我在本地改好用 mc 和 redefine 熱更新到灰度進(jìn)程再跑一次請求問題復(fù)現(xiàn)時(shí)已經(jīng)不出現(xiàn)了這才放心走正式發(fā)布流程。很多人擔(dān)心熱更新有副作用。我的經(jīng)驗(yàn)是先在測試環(huán)境或灰度環(huán)境做驗(yàn)證確認(rèn)無誤后再對生產(chǎn)操作操作完成之后立刻用 watch 或重新發(fā)一次請求確認(rèn)行為符合預(yù)期。熱更新在 JVM 層是支持的但生產(chǎn)環(huán)境的變更仍要符合團(tuán)隊(duì)變更流程最好有同事在場一起確認(rèn)至少留一條操作記錄。4. 常見問題與排查技巧實(shí)錄4.1 attach 不上目標(biāo)進(jìn)程怎么辦我遇到最多的問題是 attach 失敗報(bào)錯(cuò)或者列不出進(jìn)程。這里有一個(gè)速查表基本覆蓋我遇到過的原因常見原因現(xiàn)象處理建議用戶權(quán)限不一致attach 時(shí)報(bào)錯(cuò)或無權(quán)限切換成目標(biāo)進(jìn)程同一用戶啟動(dòng)/tmp 空間滿了attach 后立刻異常退出清理 /tmp 下臨時(shí)文件目標(biāo)進(jìn)程已退出進(jìn)程列表里找不到用 jps 確認(rèn)進(jìn)程狀態(tài)端口被占用telnet 連接失敗指定新端口啟動(dòng)Linux 下 attach 有權(quán)限限制最好用和目標(biāo)進(jìn)程相同的用戶操作。Arthas attach 時(shí)會在 /tmp 寫臨時(shí)文件空間不足會導(dǎo)致各種奇怪問題。如果還是不行可以在啟動(dòng) arthas-boot.jar 時(shí)帶上--telnet-port和--http-port參數(shù)換兩個(gè)沒被占用的端口很多端口沖突的問題就解決了。4.2 對線上服務(wù)的影響到底有多大這是每個(gè)初次接觸的人都會問的問題。字節(jié)碼增強(qiáng)確實(shí)會帶來一些性能開銷但實(shí)際影響通常很小。我的實(shí)測經(jīng)驗(yàn)是在常規(guī)業(yè)務(wù)方法上開啟 watch 或 trace單次調(diào)用的額外開銷在幾毫秒以內(nèi)對整個(gè)請求來說幾乎感知不到。但如果是對超級熱點(diǎn)方法開 trace比如某個(gè)每秒調(diào)用上萬次的基礎(chǔ)工具方法開銷就會放大。這種基礎(chǔ)方法被所有上層業(yè)務(wù)調(diào)用攔截和記錄的成本會被放大到不可忽略。我的建議是精準(zhǔn)選擇目標(biāo)方法不要對整個(gè)包路徑做通配觀察觀察期間留意 dashboard 的 CPU 變化如果發(fā)現(xiàn)明顯升高立刻縮小范圍或者停掉觀察命令。4.3 權(quán)限控制不能忽視Arthas 很強(qiáng)強(qiáng)到可以隨時(shí)查看進(jìn)程內(nèi)數(shù)據(jù)、修改運(yùn)行中的代碼所以它也是一把雙刃劍。在團(tuán)隊(duì)里使用至少要做到三件事控制在指定的運(yùn)維和開發(fā)人員范圍內(nèi)使用不要全員開放服務(wù)器權(quán)限生產(chǎn)環(huán)境使用前提前申請臨時(shí)權(quán)限并記錄操作原因操作完成后及時(shí)退出交互終端不要長期掛著會話。有些團(tuán)隊(duì)會把 Arthas 封裝成內(nèi)部平臺通過 Web 界面暴露受限接口避免開發(fā)人員直接登錄服務(wù)器亂敲命令。我比較認(rèn)可這種思路能力強(qiáng)大和可控并不矛盾。安全這塊做到位工具才能長期用下去。4.4 部分命令在生產(chǎn)環(huán)境不可用跟具體 JDK 版本相關(guān)的問題也值得關(guān)注。某些 JDK 版本下 jad 反編譯可能不完美尤其是涉及 Lambda 表達(dá)式或者動(dòng)態(tài)代理生成的類時(shí)反編譯結(jié)果會讓人看得很困惑。redefine 的限制更多對新增成員變量、改變方法簽名這類結(jié)構(gòu)性變更通常不支持強(qiáng)行操作會報(bào)錯(cuò)。遇到這種情況不要死磕熱更新。先用 watch 拿到足夠信息確認(rèn)根因后該走發(fā)布流程就走發(fā)布流程。工具的作用是幫你看清現(xiàn)場而不是替代正常的變更管理。5. 使用經(jīng)驗(yàn)和技巧分享5.1 條件表達(dá)式讓 watch 不再刷屏watch 默認(rèn)打印所有請求在流量大的接口下輸出會刷得飛快關(guān)鍵是里面有價(jià)值的請求可能只占很小比例。用條件表達(dá)式可以做到精準(zhǔn)觀察比如只看某類訂單創(chuàng)建失敗的請求watch com.example.order.OrderServiceImpl createOrder {params[0], returnObj} params[0].orderType 2 returnObj.success false條件表達(dá)式寫在命令最后返回布爾值滿足條件才觸發(fā)打印。這個(gè)技巧能讓你在繁忙環(huán)境下直接鎖定目標(biāo)請求不用從大量日志輸出里去撈。5.2 ognl 命令主動(dòng)觸發(fā)靜態(tài)方法調(diào)用有些時(shí)候你不僅想看還想主動(dòng)觸發(fā)某個(gè)方法比如清理某個(gè)靜態(tài)緩存、查看某個(gè)配置項(xiàng)。Arthas 提供 ognl 命令可以不寫代碼直接執(zhí)行靜態(tài)方法調(diào)用ognl com.example.config.CacheManagerclear()這種操作在應(yīng)急時(shí)很有效但風(fēng)險(xiǎn)也高它相當(dāng)于直接往 JVM 里執(zhí)行代碼。我建的建議是先把命令在測試環(huán)境驗(yàn)證一次再上生產(chǎn)并且必須明確這個(gè)調(diào)用會影響什么、會不會有并發(fā)問題。5.3 腳本批量采集線程現(xiàn)場遇到周期性出現(xiàn)的問題比如每小時(shí)整點(diǎn)偶發(fā)一次卡頓單次執(zhí)行 thread 不一定能抓到現(xiàn)場??梢杂靡粭l簡單的 shell 循環(huán)把 Arthas 的批處理模式用起來while true; do echo --- $(date) --- thread_dump.log java -jar arthas-boot.jar PID -c thread -n 5 -i 1000 thread_dump.log 21 sleep 5 done這里用到了-c參數(shù)可以讓 Arthas 執(zhí)行一條命令后自動(dòng)退出非常適合在腳本里批量使用。-i 1000是采樣間隔單位是毫秒。把多次采集到的線程快照放在一起對比周期性問題的觸發(fā)特征就很容易暴露出來。5.4 工具是幫手不是萬能藥最后說一點(diǎn)個(gè)人觀察。Arthas 確實(shí)香但解決的是“運(yùn)行態(tài)信息不可見”的問題很多線上故障的根因其實(shí)是代碼邏輯、容量規(guī)劃或者架構(gòu)設(shè)計(jì)。工具能幫你更快定位問題但定位完之后該重構(gòu)要重構(gòu)、該擴(kuò)容要擴(kuò)容不能把熱更新當(dāng)成常態(tài)化修復(fù)方式。我現(xiàn)在的習(xí)慣是復(fù)雜問題先用 Arthas 快速觀察現(xiàn)場拿到關(guān)鍵證據(jù)后把結(jié)論和操作記錄整理到運(yùn)維工單然后走穩(wěn)定的修復(fù)流程。工具負(fù)責(zé)把定位時(shí)間從小時(shí)降到分鐘剩下的工程質(zhì)量問題還是要靠扎實(shí)的代碼和可靠的變更流程解決。前后踩過幾次坑之后我對 Arthas 的態(tài)度已經(jīng)從“要不要學(xué)”變成了“怎么用得更穩(wěn)”。如果你也被線上問題復(fù)現(xiàn)難、定位慢困擾別猶豫找個(gè)低峰期在測試環(huán)境把 watch、trace、thread 這幾個(gè)基礎(chǔ)命令練熟真到救火那一刻你會感謝這個(gè)“真香”工具。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天射夜夜爽| 大香蕉娱乐| 色五月超碰| 五月天综合婷婷| 丁香综合伊人AV| 九月av在线| 丁香五月成人婷婷| 色婷婷丁香网| 996黄色片| 日本爆乳片手机在线播放| 深爱女色婷婷丁香五月亚洲图区| 美国天天操无码| 久久伊人五月天| 天天想夜夜爽天天爽| 激情都市另类| 亚洲无码播放| 2025色婷婷| 操人久久| 色欲色香,www,com| 九九久久精品| 五月丁香六月综合激情网| 色开心五月丁香| 夜精品无码A片一区二区蜜桃| 激情第四色| 狠狠狠狠狠狠狠狠草| 五月婷婷综合成人| 天天日天天操心| 欧洲激情精品婷婷| 婷丁香五月天| 9+1视频网址| 精品国产a| 欧美色九| 任你日视频| WWW.99热| 天天色天天射天天日| 国产亚洲精品久久久久久久久动漫 | 国产偷人爽久久久久久老妇APP| 精品无码99| 五月丁香综合啪啪| 九九www| www.婷婷| 思思热在线视频精品| 激情综合网五月激情| 99狠狠操一| 五月丁香花激情啪啪网| 婷婷丁香无码专区| AV成人在线网站| 91丨九色丨国产打屁股| 婷婷综合在线| 丁香五月天激情小说| 色婷婷手机在线| 色婷婷狠狠禁久久| 婷婷激情五月吧| 色伊人婷婷| 亚洲成人无码片| 久久99久久99精品免视看婷婷| 亚洲区视频| 欧美婷婷色五月| 一本综合丁香日日狠狠色| 六月丁香五月婷婷首页| 欧美99热| 色五月五月天| 99日韩网站| 丁香五月色色色色| oVV4WIB3vFi8D| 色婷婷六月激情| 香焦网五月天| 五月天婷婷操逼视频| 大香蕉婷婷婷| 中文字幕在线视频播放| 久久人妻少妇嫩草AV| 亚洲综合激情五月久久| 五月天色社区| 99热只有这里有精品| 婷婷五月天99| 色五月欧美| 五月丁香花激情综合网| jiqingliuyuetian| 亚洲无码99| 五月婷婷二月丁香| 久久这里只有精品热在99| 99综合自拍| 婷婷六月丁香欧美视频在线| 67194成I人在线观看线路1| 五月婷婷激情| 99re思思精品视频在线观看| 婷婷丁香五月天在线视频| 91超碰在线观看| 97超碰综合| 九九99精品视频| 99毛片| 伊人超碰| j久久性爱视频| 人人97碰| 五月婷婷色影院| 日本色色色| 六月丁香深深爱综合网| 99福利视频| 色婷婷丁香九月| 婷婷激情肏屄网| 久久久久久综合88| 久久机只有这里精品| sewuyuejiqingwang| 激情人妻综合| 青草视频在线观看视频| 久久色吧| 伊人9在线| 欧美激情综合| 国产精品色色色色| 99综合| 欧美成人精品A片免费一区99| 国产精品A片在线| 狠干综合| 丁香久久综合| 亭亭五月天黑人2014| 六月丁香社区| www.91九色| 亚洲热视频在线| 色五月婷婷色五月| www99热| 啪啪五月综合| 五月婷婷开心亚洲无| 另类五月激情| 337p大胆噜噜噜噜噜91Av| 色婷婷五月天偷拍| 六月婷婷操逼| 99色精品视频| 五月丁香无码视频| www.天天干| 久久天堂色| 精品久久婷婷五月天| 久久精品亚洲一级牲爱综合| 性爱网五月天| 91 原创 在线 九色| 99热超碰在线| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 99 热国产在| 婷婷丁香五月激情中文字幕版| 99热在线看| 久久久久久人妻| 天天综合久久| 人妻精品久久久久久久| 色五月在线播放| 北条麻妃九九九国产精品视频| 九九激情综合| 色五月综合激情| 丁香五月色情| 综合网色| 天天做夜夜爽| 黄网免费观看| 五月停停丁香| 五月丁小婷婷激情四射| 婷婷五月天堂网| 综合网色| 五月丁香久久综合| 99噜噜| 久久艹 五月天| 丁香六月啪啪| 大香蕉欧美在线| 色啦啦视频| 天天上天天爽| 天天做天天爱| 色99视| 色婷婷亚洲精品天天综| 国产免费av在线| 色五月在线视频观看| 婷婷香蕉香| 亚洲色爽| 人人人操 超碰| 精品一区二区三区木瓜| 疯狂做受XXXX高潮A片| 色五月xxx| 可以看的av| 婷婷五月开心六月AV| 亚洲欧洲99| 午夜丁香婷婷| 五月婷色色| 欧美25p| 性爱激情小说AV五月丁香花| 婷婷五月天免费视频在线观看| 欧美三级巜人妻互换| 99色综合网| 97性视频| 色色影院黄大片| 99视频在线精品| 六月婷婷日| 久久人妻伦理| 超级碰 久久9| 丁香五月首页| 丁香六月啪啪| 亚洲中文字幕av| 亚洲成人免费在线| 丁香五月天啪啪| 五月天婷婷丁香社区| 一婬一伦一区二区三区| 色婷婷操逼| 亚洲啪啪啪啪| 日韩成人电影AV| 在线观看熟女少妇| 久久久久久xxxxx| 97人人干| 狠狠操狠狠做| 亚洲AV网站在线观看| 91无码视频| 激情婷婷九月| 亚洲AV中文在线| 97久久久久| 婷婷久久久| 99re热视频这里只有综合亚洲| 99在线播放视频| 五月丁香婷婷爱激情综合网| 亚洲综合在线伊人婷| 亚洲精品国产A久久久久久| 久久99久久99精品免视看婷婷| 免费色婷婷| 直接看的AV网站| 日韩不卡DvD| 亚洲AV日韩无码| 极品色丁香| 狠狠干,狠狠操| 99热这里只有在线| WWW.久久久久久久| 超碰v| jizzdr| 国产99热| 激情超碰网| 亚洲综合激情五月久久| 天天综合亚洲综合网天天αⅴ| 日韩精品在线观看9| 99九九视频| 丁香成人五月天| 69五月天视频| 丁香五月 综合| 久久综合中文字幕| 激情婷婷视频在线| 色五月婷婷成人| 婷婷综合| 欧美精品啪啪| 久久怡红院| 俺去也在线www色官网| 俺也去婷婷五月天第五色| 久久婷婷色情7777网站| www.日日夜夜| 99综合视频| 日韩啪图| 青青草视频福利| 97碰在线视频| 日本99色| 色情婷婷。| 丁香五月综合狠狠| 丁香五月综合网| 婷婷五月花| 天天综合五月天| 伊人网欧美在线男人天堂五月丁香| 99热这里只有精品9| 婷婷五月免费在线| 91黄操| 婷婷碰碰| 六月伊人婷婷| 亚洲精品大片| 婷婷性爱综合| 久久久久久久久久婷婷| 97日本操| 久9热插入| 色就色94欧美setu| 秋霞九九无码| 亚洲成人AV一区在线观看| 777米奇影视第四色| 日日干日日| 天天骑天天操| 丁香色五月 97干| 99热精品99| 97碰人人操| 色综合久久88色综合天天99| 能看的av| 色情久久久| 狠狠99| 9l视频自拍九色9l视频在线观看| 婷婷五月天AV在线| 超碰人人射| 免费亚洲婷婷中文字幕| 国产亚洲色婷婷99精品| 99热老网站| 五月天婷婷綜合院| 欧美综合五月丁香六月婷| 月丁香久久久| 色久影院| 色综合色色| 日韩欧洲亚洲| 丁香五月丐人妻| 丁香五月天色综合| 99精品7| 日日操日日爽| 激情五月婷黄版| 熟女网站久久| 天天操天天插| 久久婷婷五月综合色区| 69精品人妻不卡视频| 午夜成人在线免费视频| 99久久99九九九99九他书对| 色综合天天网| 丁香五月天激情网| 狠狠色噜噜狠狠| 另类专区在线| 国产午夜精品AV一区二区麻豆| 碰97 久| 色噜噜狠狠狠狠色综合久欧美| 97操男人的天堂| 久久的爱大香蕉| 婷婷人人操| 丁香五月婷婷久久综合激情网| 干亚洲天堂| www.婷婷,com| 久久激情天堂| 九九av| seav天堂| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 色情五月婷婷| 九九精品热播| 久99热| 久9视频| 婷婷四色成人综合色视| 五月天婷婷影院影院观看| 色婷婷88| 亚洲电影在线观看| 秋霞日本免费毛片A片| 久久婷婷内射| 天天艹夜夜爽| 女人被男人吃奶到高潮| 欧美婷婷综合| 日韩人人操| 日本97在线视频| 99热福利| 国产精品蜜臀99| 泰州成人视频| 91Chinese在线| 91婷婷视频| 碰碰人人漕| 婷婷五月天成人在线视频| 思99热精品久久只有精品| 草综合14| 精品国产AV色一区二区深夜久久| 激情AV中文| 激情欧美婷婷| 深爱激情丁香五月| 久99| 99re久热只有精品6在线直播.com| 国产1区2区3区在线观| 天天色官网| 色综合综合色| 亚洲妇女熟BBW| 婷婷色在线播放| 五月婷婷亚洲天堂激情在线| 噜啊噜在线| 99成人在线观看| 99精品丰满| www.色婷婷| 丁香 婷婷 亚洲 熟女| 大香蕉五月天婷婷| 国产免费性爱| 天天色月| 人人干女人| 免费视频WWW在线观看网站| 玖玖99精品视频| 日日干综合| 激情五月深爱五月| 99热这里有精品| 丁香六月婷婷| 亚洲美女高潮久久久久久69| 丁香色婷婷| 天天做天天爽| 99色婷婷视频| 99热思思| 中文不卡av| 婷婷综合另类小说| 成人版视频在线观看| 丁香五月婷婷图片综合| 丁香五月综合久久八| 久久婷婷亚洲五月天| 免费黄色视频网址| 激情五月天色婷婷综合| 日日狠狠久久偷偷四色综合免费 | www夜夜操wwwcon| 91久久久久久久久18| 婷婷五月天大香蕉在线视频观看| 日日干日日s| 97久久人人| Aα在线免费观看| 中文字幕簧片| 久热综合| 九九色大香蕉| www色婷婷com| 久久大大香| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 99re久热只有精品6在线直播| 91久久精品无码一区二区三区| 在线超碰免费| 日日肏天天操| 狠狠爱青青草| yw.av| 欧美色色色色色色色色色色影视| 99久久婷婷国产综合精品草原| 壅壅儕家a| 日批在线看| www.色婷婷| 婷婷丁香花五月天| 欧美久久婷婷| 日91高清无玛| 人人干av| 婷婷色情五月| 五月丁香六月色| 六月婷婷天堂| 狠婷婷五月| 99久久99综合| 日韩成人精品一区久久久久| 少妇人妻丰满做爰XXX| 天天综合久久| 丁香五月久久| 婷婷五月天成人动漫| 婷婷五月色播放| 超碰二区| 91久久99久久91熟女精品| 99碰网站| 五月丁香婷婷色色| 综合色播| 久久久久人妻| 91操色| 91久久婷婷| 五月婷婷丁香深深爱| 色综合五月| 五月花综合| 久久99网| 99在线视频免费| 婷婷色五月天在线| 91狠狠色丁香婷婷综合久久| 日本va欧美va国产激情| 日韩99色| 五月天丁香色色| 欧美啪啪网| 天天插天天插天天插天天插| 婷婷欧美激情| 综合色情网| 大香蕉九九| 久久五月视频| 这里只有国产精品在线| 丁香花狠狠婷婷亚洲中文字幕| 五月天色婷婷网| 99综合成人视频在线观看 | 色五月首页| wWwCom夜操wwW| 天天干天天干天天| 天天射射夜| 骚逼视频一区2区| 色五XX| 99热热热国产超碰| 九九久久99| 婷婷五月综合色中文字幕| 99精品视频在线观看| 欧洲亚洲欧洲99久久| 日本三级99人妇网站| 五月天精品视频| 射琪琪| 久久综合激情| 伊人丁香五月| 日本色色影院| 色情婷婷| 婷婷五月天激情视频| 丁香九月色| 色五月涩涩婷婷| 91美女被操| 欧美色五月| 天天色综合网吨吧| 91久久精品无码一区二区三区| 激情综合久久| 深爱五月天天| 超碰在线中文字幕| 五月丁香综合| 色综合色综合网| 久久色天堂| 五月色亭丁香| 老师把我爽高潮了免费A片| 午夜激情综合| 99色1| 71在线精品视频一区| 操一区| 婷婷中文字幕版| 天堂久久大香蕉| 五月天综合网| 天天日日夜夜爽。| 91操碰| 99热草草| 伊人啪啪网| 婷婷五月久久| 九九久久五月天综合伊人| 欧美成人AAA片一区国产精品| 久久九九视频| 五月天婷婷三级黄| 五月五月婷婷| 白人荫道BBWBBB大荫道| 婷婷丁香五月综合| 五月色丁香国产在线视频| 五月丁香综合中文| 69精品人人人人人人人人人| 日韩成人电影在线播放| 欧美婷| 久久久精品AV| 任我干视频在线观看| 亚洲啪啪啪啪| 色色色色av777| 亚洲视频操| 色婷婷小说| 99精品国产在热久久婷婷| 五月丁香亭亭成人电影| 国产日韩av片| 五月婷性爱| 天天色亚洲| 操人妻视频91| 五月婷婷这里都是精品| 婷婷黄色| 亚洲国产网站| 开心色五月天久久久久久久| 五月丁香综合伦理片| 先锋资源91| 久久久久久久久久久-久五月天婷婷| 影视av久久久噜噜噜噜噜三级| 六月婷婷影院| 五月丁香六月婷婷,婷| 99re青青草| 少妇性按摩无码中文A片| 欧美日韩成人一区二区| 五月婷婷在线综合| 激情五月丁香在线观看直播| 久久久久久久丁香五月天婷婷| 色五月婷婷影视| 极品人妻VIDEOSSS人妻| 日本色色网| 婷婷成年人免费视频| 色。 日日日| 综合久久综合| 在线视频99| 99在线看片| 亚洲亚洲人成综合网络| 99色在线视频| 丁香婷婷大香蕉| 这里只有精品视频在线| 久久婷婷五月综合伊人| 九九亚洲小视频| 99re热精品视频国| 成人AV在线电影| www.com亚洲网站在线免费| 丁香五月婷婷国产av| 91一起操| 日日操天天操| 亚洲激情婷婷| 久久亚洲婷婷| 五月婷婷五月天| 99精彩视频| 色五月首页| 26UUU亚洲欧美| 婷婷色五月噜噜| 99色在线视频| 婷婷五月丁香久久| 伊人激情综合网| 色五月网址| 国产美女视频久| 五月天综合影院| 久久视频九九视频| 五月噜噜| 天天干-天天日| 婷婷精品免费久久| 色婷婷19| 一逼色综合| 成人av播放| 午夜成人综合| 啪啪 综合网| 九草性爱| 久久婷综合网| 99人人干人人| 操日视频| 久久网日本| 婷婷五月天六点丁香五月| 色天使色婷婷| 婷婷激情九月| 婷婷在线精品| 天天爽天天爽天天爽天天爽天天爽| 精品久久99| 久热超碰| 五月香蕉综合| 亚洲丁香五月美女| 日撸夜撸日操| 99精在线| 日韩一级网站| www激情| 91精品久久久久久综合五月天| 99无码视频| 日本色色色| 激情深爱五月天| 婷婷丁香六月| 国产美女无遮挡裸体毛片A片| AA片在线观看视频在线播放| 伊久大香蕉| 26uuu成人网| 婷婷丁香五月天色色| 日本网站久久| 91色吧网| 欧美日韩999| 热九九在线| 五月视频日本免费观看| 五月婷婷六月奇米网丁香| 毛片毛片毛片毛片| 五月天综合| 国产免费AV在线| 五月天.com| 婷婷久草| 国产免费一区二区三州老师F1……| 99热午夜精品| 大香人妻| 欧美丁香五月97色| peg 2区三区四区的| 99秘 在线| 欧美精品熟女一区二区| 91九色无码日韩| 五月丁香婷婷综合网| 国产精品扒开腿做爽爽爽A片唱戏| 亚洲性爱AV在线| 日韩国产在线精品| 高清国产一级婬片a免费| 天天日夜夜欢| 婷婷五月综合欧美在线播放| 99爱在线观看视频| 五月丁香啪啪激情| 成人精品视频99在线观看免费| 激情98色婷婷五| 美国不卡视频| 久久99这里只有精品| 丁香五月天激情小说| 夜夜干夜夜操| 久久激情网| 婷婷五月丁香综合网| 色婷婷无吗| 激情丁香五月天综合| 五月婷婷综合色拍| 五月综合激情| 狠狠操狠狠| av五月丁香婷婷网| 丁香色婷婷| 九九热短视频在线观看| 国产精品色婷婷99久久精品| 国产婷婷色综合AV蜜臀AV| 伊人大蕉香| 五月激情丁香五月| www99热| 婷婷综合| 成人va在线| 任你草| 婷婷丁香五月亚洲综合网在线视频观看| 五月婷婷第四色| 99色色网| 婷五月天影院| 丁香六月啪啪| 激情小说视频图片| 综合五月婷婷| 五月狠狠| 亚洲99视频| 91九色熟女| 国产毛多水多女人A片| 91丨九色丨老农村| 久久成人综合五月天| 色99热| 七月丁香五月婷婷在线| 五月婷婷狠狠干| xfplayav在线| 99免费| 色色五月丁香婷婷综合| 天干干夜夜操| 丁香色色网| 丁香五月熟女| 蜜臀av无码久久久久久久久| 五月丁香色婷婷色| 依人大香蕉在钱1| 欧美成人Va| 五月综合在线| 久久R激情| 综合亚洲六月婷婷在线| 五月丁香六月婷婷啪啪| 激情网 久久| 色狠狠五月天| 天天综合 99久久婷婷| 99五月香婷婷丁香在线视频| 久久只有精| 天天插综合| 免费视频WWW在线观看网站| 五月婷婷亚洲| 人妻啪啪啪| 99热国品| 激情五月天婷婷直播| 久久久免费精彩视频| 91人人人人人| 色婷婷久久综合久色| 影音先锋一区| 色色网91| 色综合综合网| 久热在线中文字幕色999舞 | 婷婷五月天综合网| 99九九热在线观看| 色五月天成人| 天天肏在线视频| 亚洲激情电影五月天色婷婷丁香一起草 | 狠狠五月激情丁香六月| 综合 蜜月 婷婷| 国产精品蜜臀99| 天天综合精品| 午夜色色色极品视频| 久99久在线| 99精品97| 久色欧美| 五月丁香综缴情性爱| 综合在线丁香五月| 日韩aaaaa| 婷婷五月激情欧美| 手机旧版看人妻1025| 精品动漫 无码av| 欧美激情综合色丁香婷婷五月天 | 九九99九九精品视频| 国产精品色一哟哟| 九九99九九精品免费| 婷婷爱综合| 色色色婷婷五月天| 婷婷五月天综合久久| 99热这里只有精品在线| 激情五月天婷婷色色色色色色色色色色色| 情婷婷五月天| 人人综合色| 亚洲免费99| 欧美性生交A片免费看| www。五月天激情| 中文字幕在线资源| 婷婷天堂综合| 激情五月综合网| 亚洲成人综合在线| 久久99网| 五月色丁香综合| 久久99久久99久久99人受| 91碰碰视频| 97精品欧美91久久久久久久| 丁香色五月 97干| 91Chinese在线| 五月丁香婷婷啪啪| 99精品在线观看视频| 婷婷色五月婷婷姐妹| 五月婷婷六月激情| 国产视频久色| 亚洲乱码日产精品BD| 色播五月丁香婷婷| 操B视频在线播放| 色情久久久| 成人丁香婷婷| 久久视频九九视频| 婷婷五月丁香性爱| 思思热这里只有精品| 色伊人啪| 精品久久艹| 1024日韩| 五月激情天| 五月丁香六月婷婷a v| 国产av天天插天天操天天爽| 丁香五月综合在线视频| 久久婷婷激情久久| www.婷婷五月天.com| 五月丁香六月婷婷综合在线| 被男人添B超爽视频| 国产性色蜜乳| 丁香六月亚洲| 欧美日本国产欧美日本韩国99| 99久久九九| 蜜桃成语时李时珍 免费| 天天爽人人爽| 任你搞在线观看视频| 亚洲欧美婷婷五月色综合| 天天搡日日搡aaaaⅩ| 激情九月婷婷| 伊人9999| www91精品| 99在线精品免费视频| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 99热新网址| 日日夜夜狠狠婷婷色| 97丨九色丨国产丨PORNY| 噜噜色噜噜网| 97人人干人人操| 大地9中文在线观看免费高清| 婷婷无码视频| 一起草无码| 久久99视频| 99视频热| 欧美精产国品一二三区| 女人高潮内射99精品| 99热精国产这里只有精品| 9超碰在线| 婷婷六月天| 天天夜夜爽| 五月婷婷黄色| 三级片AAA久久久AAA久久久AAA | 色5月婷婷| 久久婷五月综合| 五月天另类小说| 五月丁香 啪啪啪| 色综合色色色色| 啪啪啪综合网| 色五月丁香五月天| 九九这里只有精品在线视频| 操97在线观看| 亚洲精品成人| 亭亭社区五月天| 丁香五月影视| 婷婷五月天免费99| 天天射影院| 在线va网站| 97超级碰碰碰| 五月婷婷综合网| 天天日天天草| 99er免费在线观看| 日本97在线| 国产人妻777人伦精品HD| 中文成人在线| 97激情五月天| 久久3p| 免费视频在线观看的网站| 9久国产| 丁香五月天欧美在线| 婷婷五月AV| 日逼影音先锋男人资源站| 丁香婷婷久久 | 狠狠狠狠狠草| 亚洲综合激情五月天婷婷| 97操男人的天堂| 99成人| 色五月欧美| 丁香五月婷婷激情123| 天天肏夜夜肏| 无套内射极品大美女| 天天爱天天做天天舔| 五月激情网站| 亚洲中文字幕在线电影| 思思热在线观看| 综合网天天| 开心婷婷五月花| 啪啪丁香五月| 影音先锋男人av资源站| 五月激情综合网| 亚洲乱码w在线观看| 就爱射中文字幕资源网| 日日夜夜狠狠婷婷色| 亚洲99在线| 成人五月天综合网| 99操视频| 粉嫩av懂色av蜜臀av熟妇| 香蕉AV777XXX色综合一区| 九九热10| WWW.99热| 大香蕉人人人| 国产干逼片| 丰满少妇猛烈A片免费看观看| 97色色网| 五月婷婷丁香网| 五月综合亚洲婷婷| 婷婷欧美偷拍综合| 91精品国产日韩91久久久久久国模| 爱iii做iiii日| 色色网站| 久久婷婷色综合| 涩涩涩五月天| 婷婷五月色丁香在线看| 色色色视频| 亚洲日本韩国| 夜夜干夜夜操| 综合久久99| 天天操夜夜橾| 婷婷射图五月天| 综合激情网| WWW五月婷婷| 五月激情视频| 任你日视频| 日本久草福利| 超碰免费电影| 久久ri精品| 亚洲成人AV高清字幕| 操91| 能看的AV| 狠狠干天天日| 日本不卡中文字幕| 激情五月天啪啪| AA丁香综合激情| 思思热99热| 99无吗| 婷婷丁香五月亚洲免费| 色色色色色爱| 色婷婷丁香五月色综合网| 五月天色婷婷小说| 26uuu国产色| 天天日天天狠狠操| 成人天天爽| 久久久妻人人人| 五月丁香久人妻中文| 综合色播| 色婷婷久久| 久久作爱| 婷婷综合网站| 天天操天天日天天爱| 激情AV| 99re6热在线精品视频播放速度| 黄色片区子| 超碰91av| 这里只有精品视频222| 五月天激情综合在线| 婷婷激情肏屄网| 五月综合亚洲色| 婷婷色色狠狠| 亚洲 精品 综合 精品| 色五月开心五月激情五月| 影音先锋女人av鲁色资源网小说免费| Xx色综合| 亚洲综合网激情五月天| 五月天色婷婷视频| 天天综合永久| 五月丁香六月婷综合成人综合| 婷婷综合网站| av在线色五月丁香婷区久| 美女视频图片久久91| 色婷婷无吗| www:99热视频| 日本久草福利| 五月丁香激情四射综合| 六月丁香啪啪| 99久久66| 激情五月天综合网站网站网站| 色婷婷精品小视频| 丁香六月视频| 夜夜做夜夜愛| 丁香五月婷婷影院| 婷婷97碰碰| 操骚货在线| 人妻体体内射精一区二区| 六月五月天婷婷涩播在线| 大香蕉伊然在亚洲90| 殴美日韩成人| 婷婷伊人| 激情综合激情五月| 婷婷五月色網站| 激情五月综合网| 91碰碰| 亚洲无AV在线中文字幕| 五月丁香久久激情综合| 五月99久久| 丁香五月香蕉在线| 狠狠狠狠狠狠狠狠狠狠狠色宗合图片| 这里只有精品视频一区| 五月丁香婷婷爱| 伊人五月综合网| 大香蕉久久青青| 综合精品99| 色综合色综合网| 呦呦v线| 我要射综合| 97碰人人操| 六月婷婷综合| 天堂在线伊久| 欧美性爱一区| 色播五月婷婷综合| 久久婷婷激情视频| 99热老网站| 98国产精品综合一区二区三区 | 拍真实国产伦偷精品| 婷婷性爱五月天丁香网| 综合激情在线视频| www.主妇. com| 激情五月,激情综合网| 亚洲综合1024| 精品少妇人妻AV无码专区偷人 | 51精品国内探花| 人妻精品在线| 日本成人噜噜噜噜噜| 51国精产品自偷自偷综合| 色激情五月| 67久久| 香蕉综合在线| 五月丁香六月婷婷手机无线| 国产婷婷综合在线免费视频| WWW.国产| 婷婷色色欧美| 超碰三级秋霞| 久狠狠| 99啪啪| 色99免费视频中文| 六月丁香成人| 亚洲操b| 丁香五月av| 九月婷婷在线视频| 天堂久久精品| 天天综合网亚洲综合网| 丁香六月色婷婷| 热99玖玖99玖玖99九九| 色~性~乱~伦~噜| 天天日天天日天天搞| 成人短视频在线| 操操综合网婷婷| 玖玖爱综合网| 五月丁香婷婷激情| 99干视频| 玖玖婷婷五月天毛片| 大香蕉啪啪啪| 婷婷婷婷婷开心无码播放| 日日爽夜夜爽| 亚洲xx网| 亚洲Av入口| 大香蕉综合在线| 变态另类色图| 亚洲 日韩色色| 九九热最新| 夜夜爽77777妓女免费下载| 欧美色色色色色色色色色色| 秋霞影音91人妻久久| 99热这里是精品| 久久天堂色| 天天五月丁香五月| 久久婷婷六月综合| 日本一级一级一级一级| 97综合色片| 能看的AV网站| 亚洲热视频| 永久免费一区二区三区| 99成人无码| 久久婷婷五月天| 99玖玖在线视频| 丁香婷婷色五月合集| 成人丁香五月| 综激情网| 五月婷婷69| 婷婷99狠狠躁天天久久久九九九| 大香蕉久久| 五月婷婷激情| 第四色色色色色丁香五月天| 激情综合网,婷婷| 超碰成人免费| 六月丁香婷婷色狠狠久久| 婷婷丁香五月天中文字幕| 五月丁香综合激情| 狠狠第四色| 99热色精品| 天天操天天干天天射| 色99视| 日韩欧美颜射| 综合99久久天天综合| 99热这里只要精品免费| 色天堂婷婷| 五月天婷亚洲综合在线嫩草网| 五月丁香啪啪激情| 男人大jjc女人免费视频| 婷五月天在线草| 五月色婷婷综合| 伊人五月婷婷| 在线成人视频免费| 影音先锋91男人资源在线播放| 色婷婷五月亚洲| 在线理论片| 久热这里这里有精品| 99啪啪视频| 五月丁香婷婷色色| 五月玖玖| 黄色激情久久| 久久综合影院| 51XX嘿嘿午夜无码| 五月花综合视频| 婷婷情色五月| 天天热夜夜操| 人妻体体内射精一区二区 | 先锋av性爱成人电影| 成人精品视频99在线观看免费| site:minyis.com| 五月天婷婷色| www.婷婷网| 婷婷在线精品| 婷婷久久午夜网| www.色综合| av久热| 色综合com| 无码啪啪| 色婷婷丁香五月| 婷婷久久网| 五月丁香啪啪| 成人网站在线观看视频| 久99视频| 大香蕉啪啪网| 婷婷五月天基地| 五月六月丁香激情视频| 久草五月| 天天 日综合| 国产精品久久久久9999小说| 在线五月婷婷小电影| 五月丁香综合网| 日日干日日s| 国产精品日本一区二区在线播放| 丁香婷婷偷拍| 狠狠爱深色婷婷综合| www,五月丁,com| 精品一区二区三区四区五区六区| 天天爽,天天操。| 亚洲精品又粗又大又爽A片| 天色综合网站| 日韩熟女啪啪视频| 伊人色欲五月天| 欧美三级大片AA在线看| 538在线精品| 婷婷 伊人 久久| 91精品无码| 久思思热视频在线观看| 国产亚洲99久久精品| 午夜九九电影| 亚洲午夜国产成人电影VA国产欧…| 五月婷婷AV| 日日噜噜久久婷婷五月天| 99爱视频| 亚洲中文字幕AV| 五月婷婷,六月丁香| 激情网第四色| 91九色 熟| 五月天狠狠色| 1024人妻| 激情五月婷婷| 天天综合网亚洲综合网| 吾爱AV导航| 丁香婷婷五月天激情四射| 六月丁香婷婷五月天| 五月天激情四射| 丁香五月天天高清在线| 五月婷婷婷| 9999久久久久| 激情合网婷婷| 日本欧美啪啪| 午夜成人AV在线| 欧美久久五月婷婷| 热91久| 婷婷九月丁香| www.91操| 天天射影院| 六月丁香VA| 亚洲操逼网| A久久| 久久性爰视频这里只有精品| 中文字幕激情综合| 亚洲九区| 天天色,天天操,天天射| 五月婷婷亚洲色图| 大香蕉五月婷婷| 狠狠色丁婷婷日日,伊人激情综合网 | 欧美熟女99| 成人做爰高潮A片免费视频| 九九精品网| 成人av免费观看| 久久人人做人人妻人人玩精品va| 五月婷婷六月天| www.xtbsty.cn.com蜜乳AV| 开心色色五月天综合| 另类 在线| 色婷婷4| 日韩无码91| 五月婷久久| 亚州色色色| 色哟哟www| 色.五月综合网| 五月天婷婷网站888| 五月花成人网| 丁香五月婷婷深爱综合激情 | 天天综合干| 91丁香| 国产99热| 欧美视频在线观看噜噜| 丁香五月手机在线| 超碰在线caop| 看全色黄大色大片| 南京搡BBBB搡BBBB| h亚洲| 色135综合网| 久青操| 99re这里只有精品首页| 人人操97| 超碰97在线观看免费| 97天堂| 五月天综合激情网| 少妇丁香婷婷| 碰碰碰91| 精品人妻伦九区久久AAA片| 热99在线| 五月色丁香成人| 91丁香五月| 亚洲啪| 五月色综合| 色色色地址| 激情综合亚洲色婷婷五月| 婷婷色中文字幕| 99久久五月婷婷| 欧美日韩91| 深爱激情综合| 天天开心AV色综合婷婷五月天| 色婷婷免费观看| 丁香婷婷五月激情四射网| 久久久精品人妻| 色婷久久| 天天天天天天天操| 狠狠五月激情在线| 色播五月天婷婷老师| 风流少妇A片一区二区蜜桃| 婷婷五月天无码| 天天插夜夜爽| 99热这里是精品| 亚洲黄3级片网站欧美| 久99婷婷色综合| 天天天天天日| 热99精品视频五月| 狠狠激情五月天| 久久五月激情网| 婷婷香蕉| 在线成人视频免费| 久久国产成人9999久久久久| 99热在线播放| 婷婷久久五月| 丁香五月天视频| 丁香五月婷婷色| 桃色激情婷婷伊人网| 六月激情婷婷| 婷婷色中文| 日韩AV成人电影| .青娱乐天天操B| 开心五月婷婷| 色色色国产| 丁香五月天电影| 日韩在线五月天婷婷| 成人小说 五月天 婷婷| 色五月天激情| www.91.com黄| 日韩久久日| 五月婷三级片| 国产精品久久欧美久久一区| 天天操天天曰| www.yw色| 五月丁香六月欧美综合网站| 精品无码99| 久99久热只有精品国产99| 好好日激情五月天| 99爱免费在线观看| 婷婷五月色播网| 久久电影4399| 99热99| 无码一区二区三区四区五区91c| 国产午夜伦鲁鲁| 91狠狠色丁香婷婷综合久久| 婷婷五月天精品| 精品激情| 色五月婷婷av| 91九色在线视频| 日本五月天网站| 中文av网| 天天色天天日| 色久丁香五| 丁香五月综合激情性爱| 婷婷五月综合体验看|