欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Java線上排查利器Arthas實(shí)戰(zhàn):從CPU飆高到接口超時(shí)

Java線上排查利器Arthas實(shí)戰(zhàn):從CPU飆高到接口超時(shí) 在Java后端摸爬滾打久了你大概率經(jīng)歷過這樣的場(chǎng)景線上應(yīng)用突然CPU飆高、接口超時(shí)、用戶反饋某個(gè)功能時(shí)好時(shí)壞可日志里干干凈凈一點(diǎn)異常都沒打出來。重啟大法雖然能暫時(shí)緩解但根本問題還在而且重啟以后什么現(xiàn)場(chǎng)都沒了。這種時(shí)候我第一反應(yīng)就是開Arthas這個(gè)工具我第一次用就覺得“真香”甚至可以說它已經(jīng)成了我排查線上問題的默認(rèn)入口。所有要連著好幾臺(tái)機(jī)器、翻各種日志、反復(fù)猜測(cè)代碼邏輯的日子在Arthas面前基本可以畫上句號(hào)了。Arthas是Java生態(tài)里非常出名的在線診斷工具它最大的特點(diǎn)是不用改代碼、不用重啟應(yīng)用直接附著在運(yùn)行中的JVM上就能實(shí)時(shí)查看類加載信息、方法調(diào)用參數(shù)、返回值、異常甚至還能動(dòng)態(tài)修改內(nèi)存中已加載的類重新定義類邏輯。對(duì)于需要快速定位生產(chǎn)環(huán)境問題的開發(fā)、運(yùn)維和SRE同學(xué)來說這是一把不折不扣的瑞士軍刀。這篇內(nèi)容我會(huì)把日常用得最多、最順手的功能串起來講一遍從怎么快速附著到具體命令怎么用、遇到問題的排查思路是什么盡量按照實(shí)戰(zhàn)場(chǎng)景來寫方便你直接照葫蘆畫瓢。1. 為什么Arthas值得“真香”先搞清楚它解決的痛點(diǎn)1.1 傳統(tǒng)排查方式的困境我最早排查線上問題基本靠三板斧看日志、加臨時(shí)日志重新發(fā)版、重啟試試。日志如果沒有打印出關(guān)鍵堆棧就得靠猜加日志發(fā)版光是走流程就要很久而且改了代碼的行為可能就和問題現(xiàn)場(chǎng)不一致了有些偶發(fā)問題根本復(fù)現(xiàn)不出來重啟就更不用提了JVM里的現(xiàn)場(chǎng)被清得一干二凈線程狀態(tài)、堆內(nèi)存數(shù)據(jù)、正在執(zhí)行的調(diào)用鏈全都沒了。更難受的是定位性能問題。一個(gè)接口耗時(shí)忽高忽低你懷疑某個(gè)第三方調(diào)用超時(shí)但沒法確認(rèn)到底卡在哪一行。最原始的方案是到處打時(shí)間戳然后重新發(fā)版算下來一個(gè)下午就過去了。而且發(fā)版本身會(huì)引入變量問題可能就這次發(fā)完消失了下次出問題又不知道什么時(shí)候。Arthas這類工具的思路完全不同應(yīng)用不需要重啟它會(huì)在目標(biāo)JVM進(jìn)程上啟動(dòng)一個(gè)代理然后把診斷命令通過socket傳給這個(gè)代理代理用字節(jié)碼注入技術(shù)去攔截目標(biāo)類的方法把你想看的參數(shù)、返回值、異常、執(zhí)行耗時(shí)實(shí)時(shí)抓回來。相當(dāng)于給運(yùn)行中的應(yīng)用做了一次“無痛內(nèi)窺鏡”檢查隨時(shí)都能做做完拔掉恢復(fù)原樣。1.2 和BTrace、Greys等同類工具的取舍其實(shí)在Arthas之前已經(jīng)有BTrace這類早期工具我也試用過。BTrace有一個(gè)很大的問題是使用門檻比較高需要編寫專門的腳本而且對(duì)版本、對(duì)JVM參數(shù)比較敏感用得不好容易把自己搞掛。Arthas雖然也用了類似字節(jié)碼增強(qiáng)的原理但它在交互體驗(yàn)和命令設(shè)計(jì)上做了很多工程化的打磨像看板一樣實(shí)時(shí)刷新的dashboard、一鍵查看線程CPU占用的thread命令、跟蹤方法調(diào)用鏈的trace命令都是直接敲命令就能用非常符合后端開發(fā)的直覺。另外Arthas對(duì)Java版本和中間件環(huán)境的兼容性做得不錯(cuò)像Spring Boot這類框架的項(xiàng)目幾乎開箱即用不需要額外改啟動(dòng)參數(shù)。所以很多團(tuán)隊(duì)會(huì)把Arthas作為標(biāo)準(zhǔn)線上問題排查工具來推廣甚至要求每個(gè)服務(wù)鏡像里都預(yù)留Arthas的安裝路徑方便隨時(shí)附著排查。提示Arthas本身是一個(gè)診斷工具它不改變業(yè)務(wù)代碼的最終邏輯。但要注意在敏感環(huán)境使用時(shí)需要做好權(quán)限管理避免有人通過它執(zhí)行危險(xiǎn)操作比如動(dòng)態(tài)修改類邏輯。生產(chǎn)環(huán)境建議配合審計(jì)和權(quán)限體系來用。2. 五分鐘上手Arthas安裝、啟動(dòng)與附著2.1 用官方腳本快速安裝Arthas的安裝方式很靈活最省事的方法是直接下載官方提供的as.sh腳本然后執(zhí)行curl -L -O https://github.com/alibaba/arthas/releases/latest/download/arthas-boot.jar java -jar arthas-boot.jar這里我個(gè)人更推薦直接下載arthas-boot.jar來用因?yàn)楹罄m(xù)版本升級(jí)時(shí)用它來引導(dǎo)會(huì)更統(tǒng)一也方便自定義下載目錄。腳本方式適合快速體驗(yàn)它的本質(zhì)也是下載arthas-boot.jar再啟動(dòng)。啟動(dòng)之后命令行會(huì)列出當(dāng)前機(jī)器上所有的Java進(jìn)程就像這樣[INFO] arthas-boot version: 3.x.x [INFO] Found existing java process, please choose one and input the serial number: * [1] 12345 xxx-order-service [2] 23456 xxx-gateway輸入序號(hào)回車就能附著到對(duì)應(yīng)的進(jìn)程上。需要注意當(dāng)前登錄用戶必須和目標(biāo)進(jìn)程的啟動(dòng)用戶一致否則會(huì)附著失敗或者出現(xiàn)權(quán)限不足的問題。這個(gè)坑我踩過很多次后面會(huì)在排查章節(jié)單獨(dú)說。2.2 無交互式啟動(dòng)適合腳本和自動(dòng)化場(chǎng)景如果你需要在CI/CD流水線或者自動(dòng)化腳本里啟動(dòng)Arthas就不能用交互式選擇進(jìn)程的方式。這時(shí)候可以直接指定進(jìn)程ID啟動(dòng)java -jar arthas-boot.jar --attach-only --target-ip 127.0.0.1 -p 12345或者直接用as.sh帶參數(shù)./as.sh -p 12345還有一種場(chǎng)景是應(yīng)用本身就集成了Arthas的agent方式啟動(dòng)即在JVM參數(shù)里加上-javaagent:arthas-agent.jar這樣應(yīng)用一跑起來Arthas的attach通道就已經(jīng)準(zhǔn)備好了需要診斷的時(shí)候直接用客戶端連接即可。這種方式特別適合容器環(huán)境因?yàn)槿萜鞯腜ID 1進(jìn)程往往不是Java進(jìn)程動(dòng)態(tài)attach會(huì)受PID namespace影響提前掛agent反而更省心。2.3 理解Arthas的attach與Agent機(jī)制Arthas底層用的是Java的Attach API。它向目標(biāo)JVM發(fā)送attach請(qǐng)求并加載一個(gè)agent這個(gè)agent會(huì)和Arthas的服務(wù)端建立通信服務(wù)端再開一個(gè)telnet端口默認(rèn)8563以及一個(gè)HTTP端口默認(rèn)8562。你敲的每一條命令都會(huì)先經(jīng)過本地的Arthas客戶端再通過這個(gè)通道發(fā)送給目標(biāo)JVM里的agent去執(zhí)行。這條鏈路聽起來有點(diǎn)繞但只要理解了排錯(cuò)就快多了。比如你遇到attach成功但命令半天沒反應(yīng)那大概率是目標(biāo)進(jìn)程中agent初始化出了問題比如類加載器沖突、Arthas版本過舊等。再比如你發(fā)現(xiàn)本地能連上自己的測(cè)試環(huán)境但線上環(huán)境始終連接失敗就要檢查網(wǎng)絡(luò)策略是否開放了8563和8562這兩個(gè)端口。2.4 檢查Arthas是否工作正常附著成功后可以先執(zhí)行一個(gè)最簡單的命令試試[arthas12345]$ version如果返回版本號(hào)說明鏈路通暢。然后可以執(zhí)行[arthas12345]$ sysprop查看系統(tǒng)屬性。這些都正常了再進(jìn)入正式的診斷流程。3. 高頻命令實(shí)戰(zhàn)解析從看板到方法級(jí)追蹤3.1 dashboard實(shí)時(shí)全局看板dashboard是我每次進(jìn)入Arthas后幾乎必敲的第一條命令。它會(huì)以一個(gè)動(dòng)態(tài)面板的形式展示當(dāng)前JVM的概況包括線程、內(nèi)存、GC、類加載數(shù)量以及運(yùn)行時(shí)環(huán)境信息??窗鍟?huì)自動(dòng)刷新默認(rèn)每3秒刷新一次當(dāng)然你可以用-i參數(shù)指定刷新間隔比如[arthas12345]$ dashboard -i 1000這樣每秒刷新一次。下面給你看一眼典型輸出長什么樣ID NAME GROUP PRIORITY STATE %CPU TIME INTERRUPTED DAEMON 67 xx-rpc-thread-14 main 5 RUNNABLE 33 0:23 false true ... Memory used total max usage GC heap 1.2G 2.0G 4.0G 30.00% gc.ps_scavenge.count: 128 ...看板里最值得關(guān)注的是CPU占用排前幾的線程。如果某條業(yè)務(wù)線程長期處于RUNNABLE狀態(tài)而且CPU占比明顯偏高基本可以鎖定它就是CPU飆高問題的元兇。再用thread -n命令抓它的線程棧就能進(jìn)一步確認(rèn)卡點(diǎn)位置。3.2 thread線程排查利器thread命令有好幾個(gè)重要的用法按實(shí)用頻率排大概是這么個(gè)順序第一查看當(dāng)前最耗CPU的線程棧[arthas12345]$ thread -n 5這個(gè)命令會(huì)把CPU占用最高的5個(gè)線程的堆棧信息全部打印出來并且自動(dòng)帶上線程的ID、名稱、CPU使用率、狀態(tài)。有一次我遇到線上CPU突然打滿用這個(gè)命令一下就看到了某個(gè)線程卡在了一個(gè)JSON序列化工具的循環(huán)里棧頂清清楚楚寫著某行代碼的toString調(diào)用問題原因秒定位。第二查看指定線程的完整棧[arthas12345]$ thread 67其中67就是線程ID。這會(huì)打印該線程的完整堆棧適合排查線程阻塞在哪里、鎖等待在哪里。第三查找線程間是否有鎖等待和死鎖[arthas12345]$ thread --stateBLOCKED如果想要檢查死鎖Arthas沒有專門的一條命令但是可以結(jié)合thread --stateBLOCKED和線程棧中的“waiting for monitor”字樣來判斷。某次我處理過一個(gè)偶發(fā)死鎖問題兩個(gè)線程都在等對(duì)方的鎖通過這個(gè)命令一查堆棧里兩個(gè)線程互相等待的鎖對(duì)象非常直觀最后定位到是加鎖順序不一致導(dǎo)致的經(jīng)典死鎖。3.3 jad反編譯線上類確認(rèn)跑的是不是你以為的代碼線上最尷尬的情況之一就是代碼看著是新的實(shí)際發(fā)出去的包是舊的。與其問別人不如直接反編譯看字節(jié)碼。jad命令能反編譯任意已加載類打印出它的Java源碼結(jié)構(gòu)實(shí)際是反編譯結(jié)果可能和原始源碼有細(xì)微差別但邏輯基本可讀。用法非常簡單[arthas12345]$ jad com.example.OrderService輸出會(huì)帶類加載器信息、源碼位置、反編譯的Java代碼。這個(gè)命令在排查“為什么線上行為和本地不一致”時(shí)特別有用。有一次客戶端反饋某功能表現(xiàn)異常我用jad一查發(fā)現(xiàn)類里根本沒有最新加的判斷邏輯立刻確認(rèn)是發(fā)布流程出了問題省掉了無休止的討論。如果你的類被JIT優(yōu)化了反編譯出來可能有部分內(nèi)容顯示不出來但不影響判斷大致邏輯。可以用jad --source-only只輸出源碼方便復(fù)制到本地做diff比較。3.4 watch觀察方法調(diào)用入?yún)?、返回值和異常watch是Arthas里我最喜歡的命令沒有之一。它用來觀察指定方法的每一次調(diào)用抓取入?yún)?、返回?duì)象、拋出的異常、耗時(shí)等。寫法如下[arthas12345]$ watch com.example.OrderService createOrder {params, returnObj, exception, cost} -x 3拆解一下這個(gè)命令第一個(gè)參數(shù)是類全限定名。第二個(gè)參數(shù)是方法名。第三個(gè)參數(shù)是OGNL表達(dá)式?jīng)Q定要輸出什么。{params, returnObj, exception, cost}分別代表入?yún)⒘斜?、返回?duì)象、異常、耗時(shí)。這個(gè)大括號(hào)不是列表字面量而是輸出多個(gè)字段的組合。-x表示展開對(duì)象的層級(jí)數(shù)字越大展開細(xì)節(jié)越多。比如-x 3能看到入?yún)?duì)象的三層嵌套結(jié)構(gòu)。這個(gè)命令在排查“參數(shù)對(duì)了卻得到奇怪結(jié)果”、“某個(gè)方法偶爾拋異常但日志沒記錄”的場(chǎng)景下幾乎是精準(zhǔn)制導(dǎo)。比如有次同行遇到一個(gè)接口偶爾返回錯(cuò)誤碼但代碼里沒打日志我建議用watch帶異常參數(shù)去抓結(jié)果沒等多久就抓到了異常棧是一個(gè)特殊的非法參數(shù)組合導(dǎo)致的本地測(cè)試完全沒覆蓋到。注意點(diǎn)watch默認(rèn)只監(jiān)控方法進(jìn)入時(shí)的信息如果你想額外看方法退出時(shí)的結(jié)果要加上-b或-e參數(shù)來控制位置或者更常用的是保持默認(rèn)然后在OGNL表達(dá)式里同時(shí)取返回值和異常即可。Arthas的做法是默認(rèn)在方法結(jié)束以后統(tǒng)一輸出所以直接查returnObj和exception是能拿到的。3.5 trace定位方法內(nèi)部耗時(shí)分布有時(shí)候接口慢但你不知道熱點(diǎn)是在內(nèi)部哪個(gè)子調(diào)用上。trace命令可以追蹤一個(gè)方法內(nèi)部的所有子調(diào)用輸出每一層的耗時(shí)以及調(diào)用次數(shù)。[arthas12345]$ trace com.example.OrderService createOrder #cost 200這個(gè)命令的含義是當(dāng)createOrder整體耗時(shí)超過200毫秒時(shí)打印方法內(nèi)部的調(diào)用鏈耗時(shí)詳情。每一行會(huì)顯示類名、方法名、耗時(shí)、調(diào)用來源。trace是我處理性能問題時(shí)最依賴的工具。比如你懷疑數(shù)據(jù)庫查詢慢但數(shù)據(jù)庫監(jiān)控又沒查到慢SQL或者懷疑HTTP外部服務(wù)超時(shí)卻不知道具體在哪個(gè)階段。trace一跑整個(gè)方法內(nèi)部的每一步耗時(shí)一目了然是內(nèi)存計(jì)算慢還是RPC調(diào)用慢還是某個(gè)循環(huán)里做了太多無用計(jì)算全都能看到。和watch不同的是trace的成本相對(duì)高一些尤其是在高頻調(diào)用方法上開啟trace會(huì)有一定的性能開銷。所以在生產(chǎn)環(huán)境使用時(shí)要控制好追蹤的目標(biāo)方法不要掛在整個(gè)入口上大規(guī)模trace更推薦在定位到大致方法后細(xì)粒度去開trace。3.6 stack方法被誰調(diào)用、調(diào)用鏈長什么樣stack命令會(huì)輸出當(dāng)前方法被調(diào)用的調(diào)用路徑簡單理解就是“誰調(diào)用了我”。用法[arthas12345]$ stack com.example.OrderService createOrder這個(gè)命令適合回答“這個(gè)方法為什么被反復(fù)觸發(fā)”、“這個(gè)入口是被人調(diào)用還是內(nèi)部定時(shí)任務(wù)觸發(fā)的”。有一次排查一個(gè)數(shù)據(jù)錯(cuò)亂問題就是想弄清楚某條數(shù)據(jù)為什么會(huì)走到一個(gè)異常分支最后用stack發(fā)現(xiàn)原來是消息消費(fèi)邏輯里間接調(diào)用了同一個(gè)方法導(dǎo)致數(shù)據(jù)狀態(tài)被重復(fù)修改。stack還支持按條件輸出比如只輸出耗時(shí)超過閾值的調(diào)用[arthas12345]$ stack com.example.OrderService createOrder #cost1000這樣既能看到調(diào)用鏈也能篩選出慢調(diào)用用來排查偶發(fā)性慢請(qǐng)求特別好使。3.7 tt時(shí)間隧道記錄方法調(diào)用的歷史現(xiàn)場(chǎng)如果說watch是“實(shí)時(shí)看每一次調(diào)用”那tt就是“把調(diào)用的現(xiàn)場(chǎng)記下來回頭慢慢看”。tt命令能記錄一段時(shí)間內(nèi)某個(gè)方法的調(diào)用快照包含入?yún)?、返回、異常、調(diào)用時(shí)間等并且你能用tt的Play功能去重放某一次調(diào)用?;居梅╗arthas12345]$ tt -t com.example.OrderService createOrder -n 20意思是記錄最近20次createOrder調(diào)用的快照。輸出里每行有一個(gè)ID如果你想看第8次調(diào)用的具體參數(shù)和返回值[arthas12345]$ tt -i 8有一次線上偶發(fā)問題最讓人頭疼的就是無法復(fù)現(xiàn)當(dāng)時(shí)我用tt掛了半小時(shí)記錄到了那一次異常調(diào)用的完整入?yún)⑷缓笥眠@個(gè)參數(shù)在測(cè)試環(huán)境一跑就復(fù)現(xiàn)了整個(gè)排查從“玄學(xué)”變成了“確定性”。tt的代價(jià)比watch更大因?yàn)樗诜椒ǔ鋈肟诙疾迦霐r截邏輯并且保存快照。所以開啟時(shí)間不要過長記錄次數(shù)也要限制比如-n 20抓完立即關(guān)閉。3.8 monitor統(tǒng)計(jì)方法調(diào)用頻率、成功率和耗時(shí)趨勢(shì)如果你想看一個(gè)方法在一段時(shí)間內(nèi)的整體表現(xiàn)比如每分鐘被調(diào)多少次、成功率如何、平均耗時(shí)多少monitor就是干這個(gè)的[arthas12345]$ monitor com.example.OrderService createOrder -c 30表示每30秒統(tǒng)計(jì)一次createOrder的調(diào)用次數(shù)、失敗次數(shù)、失敗率、平均耗時(shí)等。這個(gè)命令適合不需要看單個(gè)調(diào)用細(xì)節(jié)而是想看宏觀趨勢(shì)的場(chǎng)景。比如壓測(cè)過程中觀察某個(gè)方法的TPS、RT變化或者線上某個(gè)接口失敗率突然升高時(shí)先確認(rèn)是不是這個(gè)原因。3.9 sc、getstatic與ognl查看類信息、讀取靜態(tài)變量、執(zhí)行任意表達(dá)式這三個(gè)命令放到一起講因?yàn)樗鼈兪茿rthas里“探查類結(jié)構(gòu)”的組合拳。sc用來搜索所有已加載的類[arthas12345]$ sc *OrderService*輸出會(huì)顯示類全限定名、類加載器、類狀態(tài)。如果想看類的詳細(xì)結(jié)構(gòu)加-d參數(shù)[arthas12345]$ sc -d com.example.OrderService這樣會(huì)輸出類的修飾符、注解、父類、接口、成員變量等。getstatic用來讀取類的靜態(tài)變量[arthas12345]$ getstatic com.example.OrderService CACHE_SIZE比如某個(gè)配置類的靜態(tài)字段是在啟動(dòng)時(shí)加載的又沒辦法動(dòng)態(tài)刷新用getstatic能直接看到當(dāng)前內(nèi)存里的值判斷配置是否真的生效了。ognl是最靈活的命令它能在目標(biāo)JVM里執(zhí)行任意表達(dá)式。比如調(diào)用某個(gè)靜態(tài)方法、獲取某個(gè)對(duì)象的字段、甚至修改某個(gè)字段的值[arthas12345]$ ognl com.example.GlobalConfiggetConfig()也可以帶上下文執(zhí)行比如獲取當(dāng)前線程上下文的某個(gè)Bean[arthas12345]$ ognl -x 2 #context org.springframework.web.context.ContextLoadergetCurrentWebApplicationContext(), #bean context.getBean(orderService), #bean.queryStatus()ognl的“任意執(zhí)行”能力非常強(qiáng)但也要格外小心它相當(dāng)于給了你在生產(chǎn)環(huán)境執(zhí)行代碼的權(quán)限。尤其是在寫修改類型表達(dá)式時(shí)一定要仔細(xì)確認(rèn)不要改錯(cuò)字段。3.10 mc與redefine動(dòng)態(tài)更新類邏輯redefine是我用得比較謹(jǐn)慎但關(guān)鍵時(shí)刻能救命的命令。它允許你修改已加載類的字節(jié)碼相當(dāng)于在運(yùn)行中“熱更新”類的邏輯。基本流程是先用jad把目標(biāo)類反編譯出來導(dǎo)出源碼到本地改完邏輯以后用mc命令編譯成.class文件再用redefine命令把它加載進(jìn)JVM。步驟如下[arthas12345]$ jad --source-only com.example.OrderService /tmp/OrderService.java # 然后在本機(jī)編輯 /tmp/OrderService.java改好邏輯 [arthas12345]$ mc /tmp/OrderService.java -d /tmp/output [arthas12345]$ redefine /tmp/output/com/example/OrderService.class注意事項(xiàng)redefine只改變后續(xù)新執(zhí)行的邏輯對(duì)已經(jīng)執(zhí)行到一半的調(diào)用是無效的而且redefine不會(huì)改變類的結(jié)構(gòu)你不能新增字段、不能新增方法簽名、不能增加銷毀原結(jié)構(gòu)。一般我拿它來做臨時(shí)補(bǔ)丁加一個(gè)日志輸出、調(diào)一個(gè)參數(shù)值等等等新的版本發(fā)上去以后就不要再依賴redefine的臨時(shí)邏輯了。警告redefine本質(zhì)上是修改運(yùn)行中的JVM內(nèi)存里的類定義風(fēng)險(xiǎn)等級(jí)很高只適合臨時(shí)應(yīng)急。不到萬不得已我建議你先嘗試用ognl修改配置值、用dashboard觀察趨勢(shì)最后才考慮redefine。而且redefine前一定要把原始類文件備份好保證能回滾。4. 實(shí)戰(zhàn)案例拆解從CPU飆高到接口超時(shí)的排查全流程4.1 案例一CPU突然飆到500%的線程定位事情大約是這樣的某跨平臺(tái)訂單服務(wù)的CPU在下午兩點(diǎn)左右突然飆高監(jiān)控報(bào)警直接打到群里。按照以前的處理方式第一件事是登錄機(jī)器看top找到CPU高進(jìn)程的PID然后jstack導(dǎo)出線程棧再手動(dòng)去找nid對(duì)應(yīng)的線程。這一套流程本身沒問題但jstack的線程棧里全是十六進(jìn)制線程ID要對(duì)應(yīng)到業(yè)務(wù)線程還得人工比對(duì)效率很低。有了Arthas之后流程變成了這樣先附著到目標(biāo)進(jìn)程執(zhí)行dashboard馬上就能看到哪個(gè)線程的CPU占用異常高通常那個(gè)線程的ID還會(huì)反復(fù)出現(xiàn)在刷新面板的最前面。然后執(zhí)行[arthas12345]$ thread -n 3Arthas會(huì)直接打印出CPU占用最高的三個(gè)線程的完整堆棧自動(dòng)把線程名稱、CPU時(shí)間、堆棧都組裝好了。那次我一眼就看到某個(gè)線程卡在一個(gè)XML解析方法內(nèi)部最底層是在JVM里做正則匹配數(shù)據(jù)量一大CPU直接被吃滿。順著棧里的業(yè)務(wù)類名很快就對(duì)應(yīng)到了代碼行發(fā)現(xiàn)是一個(gè)對(duì)超大字符串做了多次replaceAll的循環(huán)屬于典型的正則回溯問題。這個(gè)案例關(guān)鍵點(diǎn)在于thread -n非常省事省掉了jstack 人工匹配nid的過程。如果只靠jstack十幾分鐘能定位就算不錯(cuò)了用Arthas一兩分鐘就鎖定了根因。4.2 案例二接口偶發(fā)超時(shí)怎么抓到慢調(diào)用的具體位置另一個(gè)印象深刻的案例是某個(gè)查詢接口偶發(fā)超時(shí)時(shí)好時(shí)壞。我先打開trace守護(hù)在入口方法上[arthas12345]$ trace com.example.QueryService queryDetail #cost 1000跑了大約十分鐘抓到了一次耗時(shí)1200毫秒的調(diào)用快照。結(jié)果顯示大部分耗時(shí)花費(fèi)在調(diào)用下游的某個(gè)HTTP接口上時(shí)間約900毫秒而我對(duì)這個(gè)下游HTTP接口的容錯(cuò)判斷閾值是500毫秒所以導(dǎo)致上游超時(shí)。順著這個(gè)線索檢查了下游服務(wù)的響應(yīng)時(shí)間分布發(fā)現(xiàn)是對(duì)方服務(wù)在整點(diǎn)時(shí)刻做批量任務(wù)導(dǎo)致該時(shí)段RT拉長。后續(xù)調(diào)整了調(diào)用方的超時(shí)時(shí)間并且給這個(gè)下游調(diào)用增加了本地緩存問題徹底解決。如果不用trace靠加日志排查這種偶發(fā)問題可能要發(fā)好幾個(gè)版本才能抓到一個(gè)慢樣本而且很有可能會(huì)因?yàn)殡S機(jī)性導(dǎo)致錯(cuò)過現(xiàn)場(chǎng)。trace的價(jià)值在于它不需要任何提前埋點(diǎn)事后診斷能力很強(qiáng)。4.3 案例三方法返回值為什么和預(yù)期不一致還有過一次經(jīng)歷是同事在排查一個(gè)對(duì)賬系統(tǒng)的金額計(jì)算差異。日志里打了入?yún)⒁泊蛄俗罱K返回值但中間經(jīng)過了好幾個(gè)子方法的嵌套調(diào)用看不出是哪一步把金額改錯(cuò)了。這種情況watchstack組合拳非常管用。先watch最外層方法看看入?yún)⒑妥罱K返回值如果出入?yún)]問題就深入內(nèi)部方法分別watch找到第一個(gè)出現(xiàn)差異的那一層。當(dāng)時(shí)我們用watch單獨(dú)盯了一個(gè)金額調(diào)整的方法抓到的入?yún)⑹且粋€(gè)對(duì)象對(duì)象的某個(gè)金額字段是100.00但returnObj返回時(shí)變成了99.99。再往下一層看發(fā)現(xiàn)里面調(diào)用了一個(gè)舍入工具舍入模式默認(rèn)是向下取整而業(yè)務(wù)方預(yù)期是四舍五入。順著這個(gè)鏈路往下追又用stack查了舍入工具方法的調(diào)用來源確認(rèn)只有這一條業(yè)務(wù)路徑走錯(cuò)了舍入模式。整個(gè)過程沒有重啟、沒有改動(dòng)一行代碼一個(gè)下午就把根因挖干凈了。5. 常見問題與排查思路Arthas使用中踩過的坑5.1 attach失敗提示Unable to open socket file這個(gè)報(bào)錯(cuò)最常見的場(chǎng)景是你用的系統(tǒng)賬號(hào)和目標(biāo)Java進(jìn)程的啟動(dòng)賬號(hào)不一致。比如應(yīng)用是用service用戶啟動(dòng)的你sudo到root用戶執(zhí)行Arthas那么Arthas無法讀取目標(biāo)JVM的臨時(shí)目錄文件就會(huì)出現(xiàn)socket文件路徑相關(guān)報(bào)錯(cuò)。解決辦法很直接換成和啟動(dòng)進(jìn)程相同的用戶執(zhí)行。如果一定要root操作可以考慮安裝Arthas到目標(biāo)用戶目錄下并用su切換到該用戶后再啟動(dòng)。5.2 所有命令都能執(zhí)行但watch/trace沒有任何輸出這個(gè)有兩種可能。一種是方法已經(jīng)啟動(dòng)了很久沒有被調(diào)用你可以先用monitor確認(rèn)調(diào)用是否真的存在。另一種是方法是在其他類加載器里加載的而Arthas默認(rèn)匹配的類加載器集合不對(duì)。特別是用到自定義類加載器、OSGi環(huán)境時(shí)需要用sc -d確認(rèn)類的類加載器信息然后用classloader命令配合指定類加載器再觀察[arthas12345]$ classloader -l然后指定類加載器的索引再對(duì)目標(biāo)方法執(zhí)行watch。你也可以用watch時(shí)帶上-c參數(shù)指定類加載器的hash值。當(dāng)然現(xiàn)實(shí)中多數(shù)Spring Boot應(yīng)用是單一類加載器基本不會(huì)遇到這類問題。5.3 對(duì)象層級(jí)太深輸出被截?cái)嗄J(rèn)情況下Arthas為了避免把大量數(shù)據(jù)一股腦打印出來會(huì)限制OGNL表達(dá)式輸出對(duì)象的展開深度。如果你想看更多字段用-x參數(shù)調(diào)大即可。比如[arthas12345]$ watch com.example.OrderService createOrder {params, returnObj} -x 5如果-x調(diào)得太大導(dǎo)致輸出非常長影響閱讀可以同時(shí)用-n限制觀察次數(shù)比如-n 3只輸出三次結(jié)果。5.4 ognl表達(dá)式寫復(fù)雜了容易出錯(cuò)怎么調(diào)試ognl表達(dá)式在Arthas里雖然功能強(qiáng)大但一旦寫復(fù)雜了語法錯(cuò)誤可能比業(yè)務(wù)代碼本身還難排查。我的習(xí)慣是先在本地用一個(gè)簡單的Spring Boot應(yīng)用試表達(dá)式確認(rèn)無誤了再拿到生產(chǎn)環(huán)境執(zhí)行。還有一個(gè)技巧是拆分成小的表達(dá)式逐步驗(yàn)證先獲取對(duì)象引用再訪問字段不要一口氣寫超長的OGNL鏈條。比如你想拿到Spring容器里的某個(gè)Bean并調(diào)用方法可以先執(zhí)行[arthas12345]$ ognl #ctxorg.springframework.web.context.ContextLoadergetCurrentWebApplicationContext(), #ctx確認(rèn)這個(gè)對(duì)象能拿得到再去擴(kuò)展后面的字段訪問。5.5 Arthas本身對(duì)性能的影響很多人會(huì)擔(dān)心Arthas附著之后影響業(yè)務(wù)性能。實(shí)話實(shí)說開啟watch/trace/monitor這類命令會(huì)對(duì)目標(biāo)方法做字節(jié)碼增強(qiáng)有一定額外開銷。如果目標(biāo)是低頻方法影響幾乎可以忽略如果目標(biāo)是高QPS方法性能損耗會(huì)明顯一些。所以生產(chǎn)使用有幾個(gè)原則只在需要排查的時(shí)間窗口打開命令用-n限制記錄次數(shù)用完馬上關(guān)閉。不要同時(shí)開啟大量方法的trace/watch。優(yōu)先用dashboard和thread這類低開銷命令做初步排查鎖定目標(biāo)后再用watch/trace做精細(xì)分析。5.6 Arthas版本太舊導(dǎo)致命令行為不一致Arthas迭代速度比較快一些命令的參數(shù)和輸出格式在舊版本里可能不兼容。如果你發(fā)現(xiàn)某個(gè)命令行為和文檔不一致優(yōu)先檢查版本[arthas12345]$ version建議下載最新release版本并保持目標(biāo)環(huán)境和運(yùn)維腳本里使用的版本一致免得今天在這臺(tái)機(jī)器上可用、明天換臺(tái)機(jī)器就報(bào)錯(cuò)。5.7 容器環(huán)境里attach的特殊情況容器化部署越來越普遍在容器里用Arthas有時(shí)會(huì)遇到PID namespace限制導(dǎo)致attach失敗或者容器里沒有安裝完整JDK只有JRE。解決辦法是基礎(chǔ)鏡像里提前安裝JDK而不是只有JRE。使用Arthas的agent模式啟動(dòng)應(yīng)用避免動(dòng)態(tài)attach的限制。容器內(nèi)執(zhí)行Arthas時(shí)確認(rèn)/tmp目錄可寫并且PID對(duì)得上宿主機(jī)還是容器內(nèi)的Namespace。5.8 無法訪問8563端口如果Arthas在遠(yuǎn)程機(jī)器上運(yùn)行而你想從本地連上去操作需要確保8563端口默認(rèn)telnet端口和8562端口默認(rèn)HTTP端口被你當(dāng)前的網(wǎng)絡(luò)允許連接。一些公司內(nèi)部網(wǎng)絡(luò)策略較嚴(yán)格需要提網(wǎng)絡(luò)放行申請(qǐng)或者你可以用ssh隧道把遠(yuǎn)程端口映射到本地再訪問這樣就不用額外開防火墻端口了。整體來說Arthas確實(shí)是一個(gè)讓我“用過就回不去”的工具。它解決的不是某一個(gè)具體的問題而是把人從“盲人摸象”的排查模式里解放出來讓你能直接看到運(yùn)行中JVM的內(nèi)部。剛開始接觸時(shí)可能會(huì)被它的命令數(shù)量嚇到但只要把dashboard、thread、jad、watch、trace、tt這幾個(gè)核心命令用熟就已經(jīng)能覆蓋絕大部分日常排查場(chǎng)景了。我自己一次一次踩坑之后才慢慢意識(shí)到滿屏的命令并不可怕關(guān)鍵是把每一條的適用時(shí)機(jī)記清楚——先看全局再鎖線程然后用watch或trace深入方法內(nèi)部再用ognl處理疑難雜癥這套思路比硬記命令參數(shù)重要得多。希望這篇文章能幫你少走一些彎路也歡迎你把這些命令在測(cè)試環(huán)境多試幾遍熟能生巧之后線上問題再也不用靠“重啟大法”來解決了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
在线另类视频| 99热首页| 色狠狠色噜噜AV天堂五区 | 日韩黄黄| 色婷婷A| 综合狠狠干| 久久色天堂| 久婷视频| 日本狠狠色| 野战J办公桌椅H| 91ncm视频| 操逼在线视频| 五月天操逼激情| 狠狠狠人妻| 伊人激情AV一区二区三区| av在线免费网站| 色五月婷婷激情| 国产成人一区二区三区在线观看| 婷婷色播婷婷| 久久精品系列| 影音先锋一区二区三区| 九九视频这里只有精品| 欧美性生交XXXXX无码小说| 性爱视频99| 五月丁香综合激情| 久久人妻久久| 色噜久| 综合视频五月| 色香蕉婷婷| 另类综合网| 国产伦亲子伦亲子视频观看| 337p大胆噜噜噜噜噜91Av| 日韩黄色电影| 69久久99精品久久久久婷婷| 99热丁香| 99热8| 99热热热国产超碰| 婷婷色丁香五月| 大香蕉伊人丁香五月| 婷婷五月,偷窥偷拍网| 91大屁股| 五月婷婷七月丁香| 99免费视频| 伊人大香蕉在线视频| 色欲久久久久| 色欲久久综合| 99热爆在线| 五月天另类综合网| 丁香五月婷婷总啪啪| 密乳视频| 伊人网啪啪| 天天爱天天爽| 5月婷婷综合| 婷婷国产综合| 综合99综合久久久久久久| 天天操综合网| 夜夜夜天天操| 色婷婷成人做爰A片免费看网站| 99色色网| 69人人操人人爽| 激情网综合| 丁香五月ⅤA久久久| www.婷婷五月天.com| 玖玖视频福利| 亚洲性爱AV| 激情五月婷婷欧美极品 | 五月色综合| 五月天激情国产综合婷婷婷就去爱| www.激情五月| 五月丁香六月在线| 丁香色六月婷婷| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 婷婷激情四射| 五月婷色啪| 亚州操操| 人人综合色| 亚洲另类在线观看| 五月天社区婷婷丁香社区| 深爱女色婷婷丁香五月亚洲图区| 久久九九囯产| 色噜噜狠狠色综合日日| 日本eVa一区=区视频| 婷婷五月天成人| 国产精品久久久久9999小说| 26uuu精品一区二区| 色亚洲色宗合| 五月丁香啪啪婷婷| 91猫咪国产在线播放| 国产9色在线/日韩| 天天操天天操天天操天天操天天操| 99日本黄站| 四川女人毛多水多A片| 伊人网碰碰| 久久这里只有精品网| 在线成人视频免费| 国产超碰av| 久久9久| 激情校园 亚洲| 五月天基地| 国产AV一区二区三区最新精品| 99精品热| 99性视频| 色色五月天激情| 婷婷色丁香五月| 日韩成人综合| 五月婷婷深深爱| 婷婷六月久久综合导航| 人人干AV| 大狠狠在线| 9|人妻人人操| 日韩成人电影av| 五月天久久网站| 亚洲色情一区二区三区四区| 先锋av性爱成人电影| 久热最新视频| 老司机伊人| 99热无码首页| 国产精品日日躁夜夜躁| 亚洲精品婷婷| 色婷婷网大全在线| 操逼五月天| 婷婷色偷拍| 久99久视频免费观看| 波多野结衣AV无码Porn| 丁香五月天色综合| 婷婷五月av| 色色色色色色网| 天天综合网91| 中国操逼99| 超碰人人妻| 99久久99九九九99九他书对| 五月丁香AV、伊人业余、性色熟妇| xfplayav在线| 亚洲人妻AV| 婷婷五月丁香图片人人操| 日韩精品一品二区三区的使用体验 | www.婷婷五月天| 亚洲成人中心| 五月婷色| 天天操天天操天天操天天操天天操 | 国产精品人妻在线网址| 五月丁香日本在线视频观看| 九九视频在线观看| 99热91| 九九久久偷拍| 五月天综合久久| 五月天色婷婷图片| 香蕉综合在线| 狠狠婷婷综合| 色停停香蕉视频| 99热国产这里只有| 五月激情婷婷播播开心| 国产露脸150部国语对白| 色天使色婷婷| 国产99视频永久免费| 婷婷五月天视频免费在线观看| 婷婷亚洲天堂| 99ri在线| 99re在线精品视频| www.天天色综合| 五月婷婷综合网| www.亚洲激情| 婷婷丁香中文字幕| AV在线中文| 九九综合五月欧美| 五月天婷婷影院影院观看| 久久五月婷婷电影| 国产又黄又爽又激情不遮挡视频在线观看| 五月激情小说网| 丁香婷婷五月| 九九亚洲无码| 日韩精品色| 在线视频99| 亚洲国产精品VA在线看黑人| 在线网黄| 亚洲第79页| 少妇激情五月天| 成人丁香五月| 色五月激情| 色综合日日| 99热国内精品| 婷婷色情五月| va亚洲中文在线| 99久久综合网| 天堂五月婷婷| 五月丁综合在线观看| 久操无码| 99久久五月丁香野外| 色人久久| 91婷婷在线| 成人欧美Va| 五月婷婷激情综合| 婷婷色导航| 激情五月色婷婷| 色色网站免费观看| 久久婷婷五月综合色丁香| www.99热视频| 香蕉色色网| 五月丁香婷婷综合视频| www,99色| 九九精品热播| 天堂A∨在线| 日日.c| 欧美激情综合色综合啪啪五月| 99九九99九九九视频精彩| 青青草tp| 婷婷五月天直播| 五月婷婷六月丁香| 综合久久人妻| 波多野结衣AV无码Porn| 超级碰 久久9| 婷激情五月| 日本二级毛片二级毛片| 激情五月婷在线精品| 九九这里有精品| 激情五月综合免费| 久色资源| 99热99热不卡| 狠狠色婷婷色| 夜夜骑夜夜撸| 99热精品在线| 思思热久久婷婷五月天| 久操香蕉| 五月丁香婷婷久久| 99网址在线看| 久久婷婷精品| 精品色色网| 不卡在线视频| 婷婷丁香成人| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 色蜜婷婷| 五月婷婷啪啪| 99视频自拍| 成人AV中文字幕| 亭亭玉月丁香| 26uuu在线观看| 五月色亚洲| 99热官网| 五月好婷婷| 亚洲五月天色色| 在线观看婷婷5月| 五月天色站| 五月婷婷av| 无码啪啪| 成 人 色 色| 色激情五月| 亚洲精品又粗又大又爽A片 | 婷婷五月综合久久中文字幕| av国产精品| 99亚洲精品视频| 任你爽视频| 九九视频在线观看视频6| 丁香婷婷视频一区二区| 色婷婷狠狠干| 亚洲旡码| 五月婷婷中文字幕| 日韩日比视频| 九九热AV| 狠狠爱激情网| www.日韩艹| 亚洲综合五月天婷婷| 色停停五月,在线观看| 欧美色色色| 小骚穴电影| 超碰久热| 噼里啪啦完整版中文在线观看| 手机旧版看人妻1025| 五月丁香成人网| 色色五月丁香| 亚欧州精品视频| 激情五月天www| 久月丁香爱婷婷综合| a性生活久久无| 大香蕉伊人久久| 免费婷婷| 激情五月婷| 99热精品在线在线| 色色国产| 婷婷大乡焦噜噜| 综合激情网激情五月。| 婷婷五月18永久免费视频| 亚洲女婷婷五月基地综合久久久| www.国产亚洲69ty.久久久久久久久久久久| 黄久久久| 亚洲黄色影视| 色综合久久888| 91精品久久久久久77777| 夜夜爽天天爽| 国产婷婷婷| 亚洲AV影片在线观看| 久久这里只有精品视频15| 天堂在线伊久| 99爱99操| 丁香五月 综合| 秋霞午夜理论| 人人爱国产| 婷婷五月天伊人网| 久久性爱视频网站| 天天操夜夜橾| 亚洲综合五月| 99热这里只有精品22| 91日本在线| 婷婷色色丁香五月天| 五月婷婷久久综合| 97色吧| 婷婷五月AV| 99这里是精品| 99久精品视频| 四川BBB搡BBB搡多人乱亂| 中文字幕成人日韩| 日本久久婷婷| 婷婷 激情 五月| 亚洲日韩欧美综合VA| 丁香久久| 色狠狠999综合| 26uuu欧美| 综合亚洲五月天| 日日爱678| 亚洲激情在线| 色婷婷狠狠色| WWW.五月天9999| 色天天综合天天综合频道。| 开心五月丁香婷婷| 人人草人人舔| 天天色天天爱天天爱天天爱y| 天天久| 少妇激情五月天| 五月婷在线观看| 久99热| 99精彩视频网站在线| 人人人操 超碰| 久久五月婷婷丁香| 丁香五月欧美色综合| 夜夜操天天干| 五月天大香焦| 婷婷五月四狠狠| 色婷五月天激情| 91狠狠色丁香婷婷综合久久| 男人大jjc女人免费视频| 99久久久久久www| 日本高清久久| 97精品人人A片免费看| 六月婷综合| av无码电影| 99超级碰碰| 五月总合激情网| 夜夜躁爽日日| 丁香av网| 欧美色播综合在线观看| 色偷偷五月天| 97在线99| 超级碰碰碰97免费| 日 日干 日日做| 91丨九色丨大屁股| 激情综合国产| 午夜色婷婷| 婷婷丁香五月综合| 97碰| 丁香桃色网| 操逼五月天| 婷婷色色网| 亚洲国产精品成人免费一区久久久在线观看AAAA | 天天日夜夜B久久| 热99AV网站| 夜夜操天天干| VA色婷婷| 五月天综合在线观看视频| 99热自拍| 综合久久首页| 婷婷六月丁香五月| 色插人人| www.夜夜夜| 99热新网址| 成人无码免费一区二区中文| 韩国三级五月天婷婷。| 久九九热| 久久婷婷成人综合色怡春院| 99福利视频导航| 甈你aaaaa| 97碰碰叉| 日日操夜夜爽| 91碰碰视频| 9色在线| 婷婷色五月激情| 色色亚洲| 色婷亚洲| 亚洲视频另类| 激情五月开心五月丁香五月| 色欲色香,www,com| 女人天堂久久| 久久99网| 婷婷五月色情天| 5月色婷婷| 九九在线热九九在线热99热| 99热a片免| wWW九九在线播放| 丁香婷婷色五月激情综合| 婷婷爱综合| 超级碰碰99| 91chinese在线| 激情综合网,五月| 99综合99| 26uuu日韩| 五月婷婷视频28| 激情丁香六月| 操逼五月婷婷| www.婷婷五月天.com| 99热福利| 丁香五夜激情四射夜夜夜| 久草大| 五月婷婷综合色啪首页| 成片免费播放| 久久99热 这里有精品| 一区二区你懂的| 337p大胆噜噜噜噜噜91Av| 在线可以看的av网址| 精品牛仔裤超碰| 久久成人亚洲欧美电影| 五月天亭亭俺也| 狠狠操狠狠做| 五月色婷婷综合色| 99久扒热| 99热偷拍| 九九热视频免费| 亚洲国产精品五月天| 极品五月天| 综合久久高清| 久久精彩视频99| 超碰人人干| 东京热五月婷婷| 91色色色视频| 国产毛多水多女人A片| 噜噜狠狠色综无码久久合欧美| 欧美啪啪9| 另类少妇人与禽zOZZ0性伦| 丁香六月成人网| 五月天激情国产综合婷婷| 丁香五月成人在线| 91婷婷伊人牛牛| 五月丁香久久| 26uuu亚洲| 久久婷婷婷| 99热在线观看亚洲区| 久久只有这里精品免费| av国产精品偷| 99资源在线| 丁香综合日产精品久久| 五月开心网| 婷婷va| 99热这里只是精品| 婷婷丁香五另类网站| 啪啪啪综合网| 中文字幕在线视频播放| 亚洲激情丁香五月基地| 超碰色色综合| 久久九九九九| 182.t午在线观看| 色婷婷欧美| 成人婷婷五月天| 91婷色| 婷婷99狠狠躁天天躁中| 丁香五月婷婷啪啪啪| 蜜桃婷婷狠狠久久| www.一起草av| 九一牛视频探花| 超级碰碰碰久久网站| 97色五月丁香婷婷| 逼特逼在线免费播放| 精品欧美一区二区三区久久久| 天天射网站| 五月天大香焦| 日本三级毛片| 久婷婷五月天影院| 婷婷五月天激情四射| 91精品在线看| 激情综合网络插| 激情99热| 天天做天天爱综合| 99久久玖玖| 日日操夜夜骑| 玖玖午夜视频| 丁香六月色婷婷| 五月丁香激情啪啪| 国产美女无遮挡裸体毛片A片| 黑人巨粗进入警花疼哭A片| 中国丰满熟女A片免费观| 啪色综合| 啄木鸟丝袜美女福利视频| 99久在线精品99re5热视频| 九九黄色网| 久草视频大香蕉99| 中文字幕黄色电影网址| 激情五月天婷婷图| www.sd-xiangsu.cpm| 亭亭五月天黑人2014| 华人在线免费| XX久久| 天天婷婷综合亚洲亚洲| 色135综合网| 日日干四虎| 欧美一线视频| 99er这里只有精品| 色色色色网色色网色色| 丁香五月婷婷激情尤物| 狠狠色噜噜狠狠| 99啪啪网| 中文字幕在线免费看线人| 中文字幕人妻熟女在线| 插逼综合网| 天天操夜夜玩!| www.五月天婷婷| 婷婷五月天综合网| 性色婷婷| 丁香婷婷成人网| 超pen个人视频97| 日韩高清久久| 色五月婷婷DVD| 色五月激情五月天| 久久人人做人人妻人人玩精品va| 色色九九五月天 | 丁香五月激情网| 久热婷婷| www.操逼comm| 99操99| 9久久久| 欧美狠狠地| 亚洲综合色网| 男人天堂99| 都市激情小说婷婷| 97干干干丁香| 偷偷狠狠久久婷婷五月天| 丁香五月婷婷大香蕉| 人妻在线观看视频| 狠狠色婷婷7| 99热婷婷| 丁香婷婷黄网站| 婷婷五月深爱五月| 五月丁香六月激情| 五月丁香六月合| 欧美成人一区二区三区在线视频| 激情五月天久久丁香| 婷婷六月色开 | 大香蕉手机视频| 人妻射精AV| 鲁鲁色五月| 色婷婷五月天不卡| 日韩AV在线免费| 精品99*| 日本一级| 婷婷五月激情六月| 欧美超碰亚洲| 亚洲色图五月丁香五月婷婷| 九九伊人网| 天天综合久久| 欧美激情久| 思思热久久久在线| av在线婷婷| 色另类五月天| 九九在线视频| A一级操| 91碰| 久久99网站| 日韩成人综合网| 九九成人高清视频| 91黄色五月天视频| 天天xxxxxx天天日| 天堂网亚洲色图| 激情五月婷| 亚洲免费观看高清完整版AV线| 99re久久| 99热这里有精品6| 激情又色又爽又黄的A片 | 男人天堂99| 婷婷五月电影院| 激情综合网婷婷久久| 激情五月天.色网| 激情爱爱网站超大免费| 欧美极品999| 欧美99热| 九九热只有精品| 女婷久久| 91色综合网站在线| 99在线热| 99久久婷婷五月| 激情开心五月天| 色婷婷丁香网| 日韩一级| 五月天色社区| 色丁香久综合在线久综合在线观看| 怡红院AV亚洲一区二区三区H | 综合色色网| 五月丁香婷婷俺| 五月丁香另类图片| 91在线观看www| 色综合久久888| .操區COm| 色综合久久五月天| 五月丁香久久呀| 久久丁香五月婷婷| 婷婷丁香五月视频| 超碰婷婷五月| 99爱在线免费视频| 天天干天天插| 超碰久热| 欧美精品18| 99这里只有免费的小视频在线观看| www.激情| 99色免费观看全部| 五月天色婷婷小说| 激情二色月| 亚洲一区二区 成人网站戴套| 99热成人精品网站| 久久婷婷六月综合资源| 91久久综合亚洲噜噜成人在线| 久草婷婷| www.久久久久| 五月综合色播播丁香婷婷| 五月婷婷综合久久| 综合五月激情| www久久久久久久久久久| 超碰在线超碰| 天天综合网在线| 日日操,天天操| 色999;丁香五月| 99丁香五月婷| 香蕉AV福利精品导航| 婷婷五月天美女视频| 五月丁香成人| 一区二区免费看| 98永久精品| 六月丁香婷婷大香蕉| 日本女人久久| 丁香婷婷激情| 激情涩涩网| 一起肏在线视频| 玖久久网站| 久久一级AV| 婷婷伊人网| 国产 亚洲 在线| 日日噜狠狠色| 丁香六月AV| 色婷丁香五月| 亚洲天堂AV免费片| 九九国产视频| 亚洲第一色色色| 久久五月天黄色五月天色网址| 国产va在线视频| 婷婷五月天无码熟女| 激情亚洲色图片丁香综合| AV天堂淫乩| 99热这里有精品24| 99热久草| 午夜激情五月天| 欧美美美女性色视频| 久久9999| 玖玖激情网| 五月天婷婷AV| 中美日韩成人在线| 九月丁香婷婷| 人人亚洲| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 操操操B| 嫩草AV久久伊人妇女超级A| 67194中文在线| 激情丁香五月AV| 久久刺激网| 五月情综合| 综合图区激情| 丁香六月啪啪啪| 久久久精品人妻| 国产在线aaa片一区二区99| www久久久久久久久久久久久久久久久| 亚洲久热| 来吧亚洲综合网| 色婷婷婷婷| 先锋资源91| 五月婷婷啪啪啪| 亚洲天堂啪啪| 久久五月丁香| 人人人人人人人草| 狠狠综合久久综合| 五月综合激情| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | www超碰| 九九亚洲小视频| 婷婷五月激情网| 国产日产亚系列精品版优势 | 五月婷婷综合潮喷| 碰碰91| 热热色色五月天婷婷| 亚洲综合色色| 亚洲成人网在线观看| 强伦轩人妻一区二区电影| 丁香色啪综合| 亚洲天堂久久| 激情五月婷婷网| 伊人五月天日日夜夜久久久天天| 91丨九色丨东北熟女| 天天日本夜夜谢| 五月婷丁香花| 在线91日韩| 九九精品热| 欧美激情凹凸丁香网| 色七七九九| 天天躁日日躁狠狠躁日日躁2022年5月9日| 五月天激情小说网| 日日狠狠久久偷偷四色综合免费 | 草榴视频网| 26uuu精品国产| 久久9久| 婷婷综合在线视频| av大片在线| 99视频精品在线| 亚洲99精品欧美一区| 国产阿姨日皮艹逼内射视频 | 99精品网址| 97 天堂| 日韩aaa| 五月天播播中文字幕 | 欧美性爱中文字幕| 五月婷婷啪啪| 婷婷五月天国产精品| 五月婷久久久久综合| 97色操| 五月天六月婷婷电影| 久久er视频6| 伊人色综合影院视频| 曰韩五月丁香色婷婷无码| 激情欧美五月丁香| 欧美激情综合色综合啪啪五月| 婷婷五月亚洲激情| 九九热99视频在线| 图片区 小说区 区 亚洲五月| 啪啪激情网| 99激情视频| 色屌丝中文字幕| 亚洲 五月 婷婷 成人| 米奇影视资源婷婷狠狠色激情欧美五月丁香 | 午夜69成人做爰视频| 九九色色| 久久9视频欧美| 99视频精品全部观看10| 婷婷色丁香五月| 超碰三级片| 婷婷国产欧美97| avh片在线观看| 。久久久久久久久久久久久久人妻| 日本久久高清| 色婷婷狠狠| www.久久久久久久久久久| 五月丁香久久婷| 欧美电影在线播放| 激情综合五月丁香六月婷婷| 五月丁香在线观看国产| 五月婷婷婷| 97在线视频观看| 色噜噜狠狠色综合日日| 99热亚洲| 久久视频在线视频| 成人五月天综合网| 亚洲综合色成丁香五月色| 五月开心播播网| 国产真实乱了老女人视频| 亚洲乱码日产精品BD| 国产成人片| 欧美槡BBBB槡BBB少妇| 丁香五月Av| 激情六月综合| 日本99视频| 国产精品久久久久久久久久| 182tv992tv人之初午夜免费观看| 五月天婷婷色色首页| 欧美日韩国产伦精品日韩人妻一| 182TV大香蕉| 激情五月丁香五月| 国产VA播放| 日日夜夜小色哥| 亚洲欧美综合7777色亭亭| 啪啪六月婷婷| 99热国产| 婷婷五月天亚洲综合网| 丁香五月综合网亚洲综合欧美狠狠| 婷婷丁香五月综合激情小说| 看全色黄大色大片| 五月天色色色| #NAME?| 99se丁香| 日本三级色| 日韩成人电影在线播放| 99视频地址| 成人性爱精品视频| 99这里| 97久久精品| 婷婷五月天激情小说| 日本精品人妻无码77777| 1级欧美日韩| 丁香九月久久| 99久久精品视频女神1| 色女人久久| 麻豆AV一区二区三区| 91窝窝| 日本美女天天日天天爽| 婷婷综合成人| 欧美A级成人婬片免费看理论| 婷婷五月天丁香久久| 2014天天爽| 久久这里只有精品热在99| 久久免费精彩视频| 亭亭玉月丁香| 丁香六月av| 天天做天天爽| 色五月激情五月| 99热欧美偷拍| 奸逼视频| 久久机热/这里只有精品| 婷婷干| 六月婷婷中文字幕| 五月丁香六月婷婷综合| 丁香婷婷久久激情| 久久九精品| 极品人妻VIDEOSSS人妻| 玖玖爱综合网| 色婷婷五月天视频在线| 婷婷五月天在线观看| 九月婷婷在线观看| 丁香六月狠狠| 丁香六月婷婷五月婷婷| 欧美肉大捧一进一出免费视频| 99热99精品在线观看| 久久精彩免费视频精彩免费视频| 色噜噜五月天| 日本美女97在线视频| 99在线热| 日日杆天天| 免费无码毛片一区二区A片| 丁香五月激情综合婷综| 99热这里精| 91操片| 变态另类色图| 亚洲天堂99| 激情五月小说婷婷| 精品人妻在线免费观看| 轮奸综合网| 香焦网五月天| 婷婷成人在线| 日本在线免费中文com.| 色色五月婷| 色色五月丁香婷婷综合| 五月婷婷欲色| 久久六月婷婷| 99九九精品视频推荐| 色天天综合色| 日本不卡高字幕在线2019| 五月六月激情婷婷| 午夜成人片400| 五月丁香五月丁香| 亚洲国产精品VA在线看黑人| 日韩色色网| 婷婷色导航| 久久成人性爱| a级毛片一区二区免费视频| 婷婷五月天激情视频| www.9操| WWW.开心五月天.COM| 五月婷性爱| 26UUU欧美| 99热全是精品| 51国精产品自偷自偷综合| 五月婷婷婷综合网| 婷婷99狠狠躁天天躁| 大香蕉啪啪啪| 中字幕视频在线永久在线观看免费| 五月激情丁香久久综合网| 成人无码髙潮喷水A片| 丁香六月婷月91婷月| 99热综合| 人人干AV| 日韩AV一区二区三区| 99热在线看| 亚洲五月天综合色| 天天狠狠综合精区| 五月婷婷综合在线| 在线观看亚洲视频影院| 色五月婷婷综合| 天天综合天天做天天综合| 女人天堂AV| 伊人久久婷| 婷婷精品免费久久| xxxx五月| 精品五月花| 久久多色| 婷婷色播综合五月| 第四色网婷婷| 免费看成人AA片无码视频吃奶| 都市激情五月婷婷综合| 人人操操97| 丁香色五月 97干| 五月婷婷 六月丁香| 久久玖玖99| 亚洲久热| 激情综合一| 五月婷婷xxx| 人妻中文字幕精品| 另类小说五月天| 丁香五月婷婷激情蜜桃| 婷婷丁香六月综合激情站| 蜜臀久久99精品久久久久久酒店| 五月婷婷综合潮喷| 天天操无码| 超爽内射| 99这里| 日韩视频99| 丁香五月亚洲激情婷婷射| 狠狠一日| 丁香五月天社区| 五月天婷婷乱论小说| 这里只有免费的精品| 色婷婷大香蕉| 人人操人人看97干| 天天婷婷综合亚洲亚洲| AV五月婷婷露脸| 99re99热| 97干在线看| 欧美综合激情| av在线资源| 91se在线视频| 九九婷婷五月天| 五月丁香亚洲综合网| 国产成人网| www.9797国产| 五月天婷婷综合免费| 98毛片| 成人 在线 日韩| 久久久香港| 色婷婷AV久久| 色婷丁香91| 亚洲精品又粗又大又爽A片| 五月天婷婷久久| 九九热在线视频| 亭亭五月天黑人2014| 思思久ren热| 九九Av| 在线播放中文字幕| 99热爱爱干干日| 激情视频91| 影音先锋 一区| 97人人操com| 99热人人操人人操| 91主播在线| 9 7总站超级碰免费视频| 丁香五月停停av| 七七久久综合| 99热日本精品| 婷婷新网址| 91黄色五月天视频| 伊人喵咪a V| 久99在线| 丁香性爱在线视频| 九九99精品免费播放| a性生活久久无| 欧洲第一无人区观看| 国产精品a无线| AV片在线观看| 青青草五月天| 亚洲久久日| pom538精品视频| 国产免费一区二区三州老师F1F1| 91网站黄| 91色久| 黄色99网| 婷婷丁香五月天狠狠| 婷婷六久久| 四川女人毛多水多A片| 成人无码髙潮喷水A片| 91九九九色在| 五月天婷婷久草丁香| 在线观看欧美| 91色久| 日韩免费乱轮网站| 五月婷婷开心爱| 开心激情久久久久久久| 日韩黄色电影| av狠狠操| 国产无套精品一区二区| 午夜AV网| 97超级碰碰碰| 五五月丁香花激情综合网| 激情婷婷狠狠干| 思思热在线视频精品| 六月婷婷色综合| 丁香婷婷九月在线| 99九九视频精彩在线| 久久er视频6| 日韩小视频在线99| 99热综合在线| 99在线精品免费视频| 91久久九色| 99色在线观看免费| 五月婷婷久| 丁香六月欧美| 亚洲精品第一国产综合亚AV| 亚洲人人操| 超碰av在线| 五月婷婷二月丁香| 精品久久久人妻| avh片在线观看| 狠狠爱综合| 丁香五月婷婷激情中文| 亭亭玉月丁香| 色欲婷婷五月天丁香| 婷久看人爽| 9九色首页| 五月婷婷爽爽爽| 欧美六月| 亚洲九九视频| 人妻精品一区二区三区| 91在线视频综合| 五月婷婷久久爱| 日本精品99网站| 影音先锋五月婷婷| 蜜臀丁香黄色婷婷五月天| 五月丁香六月激情在线| 午夜天堂一区人妻| AV操逼网| 任你搞网站| 六月丁香综合网| 超碰人人色| 婷婷99狠狠| 五月婷婷网站| 中文字幕网伦射乱中文| 欧美日本黄色| 第五色婷婷| 欧美色激情四射| 就爱操www com| 精品久久人妻| 色五月天堂| 涩五月婷婷| 狠狠色噜噜狠狠狠777奇米| 九色自拍| 婷婷五月天视频免费在线观看| 182tv992tv人之初午夜免费观看| 天天噜天天插| 99热这里只有精品66| 四虎成人精品永久免费AV九九| 婷婷亚洲综合| 91丨人妻丨国产丨丝袜| 婷婷六月天亚州| 久久密臀婷婷| 狠狠色情婷婷| 99亚洲天堂| 天天弄天天爽| 91九色国产| 久9免费视频| 丁香五月激情在线| 色5月婷婷| 久久这有这里精品| 亚洲中文字幕在线观看| 婷婷色五月天第7色| 亚洲无AV在线中文字幕| va中文资源在线观看| 中文字幕欧美日韩VA免费视频| 激情四射五月天偷偷看婷婷| 婷婷婷婷色| 91欧美| 婷婷婷婷色| 台湾综合丁香五月蜜桃| 国产成人精品一区二三区熟女在线| www.五月天婷婷.com| 五月天婷婷久久| 我要色综合五月婷婷| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 99自拍视频在线观看| 26uuu视频欧美| 亚洲另类婷婷综合| 久草五月| 天天综合网在线| 婷婷成人综合免费视频| 色香蕉婷婷| 激情婷婷五月基地| 77777亚洲午夜久久| 亚洲视频五区| 最新热中文字幕| 亚洲亚洲人成综合网络| 欧美VA在线| www.久操| 五月丁香婷中文| 婷婷5月天激情综合| 色欲久久99精品久久久久久| 日日干天天爽| 婷婷丁香五月亚洲欧美| 婷婷综合网| 天堂草在线观| 久久日韩婷婷五月| 婷婷金品综合视频| 五月天婷婷五月| av久热| 色色五月婷婷狠狠| 26UUU欧美激情一区二区| 久久6这里只有精品| 黄色短视频在线观看| 激情久久久| 色青五月天| 五月天六月色| 欧美丁香五月天| 五夜丁香| 狠狠五月婷婷| 天天日,天天插| 婷婷丁香五月色| 人人澡天天色天天做| Aα在线免费观看| 国外亚洲成AV人片在线观看| 播五月开心婷婷欧美综合| 五月丁香网站在线播放| 欧美久久久久久久久中文字幕| 久久综合99| 婷婷五月天在线观看免费 | 九九免费精品在线视频| 五月天伊人久久久久| 激情久久伊人| www.minyis.com【JT】实力收量可预付QQ2101460746 | 99ri视频在线观看| 色五月综合| 99色热视频| 激情综合网五月激情| 亚洲婷婷月丁香五月| 操碰91| 国产精品黑丝| 国产日韩精品SUV| 天天干天天干天天干天天干天| 日日夜夜干| 五月婷婷丁香综合网| 五月天合网| 人人爽天天莫| 97视频.干com| 婷婷 丁香 久久| 2050人人操免费工开爱| 丁香五月婷婷五月| 色色99| 99亚洲视频| 99热这里只有精品免费观看| 色婷婷五月天小说网| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 中文网av| 色欲AVV| 色爽干| 国产精产国品一二三在观看| 激情都市五月天| 五月花婷婷最新| 白天AV月月| 五月婷婷丁香大陆免费| 婷婷五月在线综合| 婷婷五月天AV| 亚洲av综合网| 九九RE视频在线精品| 色情五月综合婷婷| 五月色婷| 久久色婷婷| 一起草av| 高清激情av在线观看| 丁香五月婷婷色五月| 五月丁香婷婷激情久久| 色黑鬼导航| 色色成人網| 99热这里只有精品33| 色色色色色色色色色999| 精品人妻伦| 操逼在线视频| 欧美成人五月天| 色九月婷婷丁香| 97色片| www久久99| 五月天开心网| 成人国产欧美大片一区| 99精品免费| W色综合| 在线精品97| 色色婷婷婷丁香五月天| 婷婷激情六月综合| 99色在线观看免费| 综合五月亭亭9| 五月丁香六月婷婷在线小说视频| 国产成人AV在线播放| 激情六月色| 97九色| 天天射影院| 99色热| 播丁香五月婷婷欧美| 一本九九色| 级情九色| 九九九九热99超碰| 中文字幕在线不卡视频| 亚洲精品视频电影| 亚州欧美国产久精国产99综合视频| 26UUU精品一区二区c〇m| 99热在线只有精品| 天天干天干| 在线精品97| 久久久久久综合88| 怡红院院久久| 丁香五月激情五月| 成功精品影院| 日韩无码亚欧无码| 丁香九月综合| 婷婷五月激情六月| 26uuu最新地址| 97婷婷久久丁香| 都市激情久久| 九九久久综合网站| 丁香五月天堂| 第四色色六月色综合| 成人精品人妻| 蜜乳国产网站| 精品久热| 国内熟女黄色系列| 五月婷婷xxx| 99无码超碰| 丁香六月综合激| 婷婷五月天激情在线观看| 伊人婷婷色| 激情五月四色| 青青草原中文字幕| 99视频网| 亚洲婷婷五月天| 狠狠色色综合| 天天日天天日天天搞| 夜夜操夜夜操| 99日视频在线| 午夜无码精品色综合久久| 99热伊人| 丁香五月另类色婷婷麻豆| 99re热视频这里只精品5| 免费视频WWW在线观看网站| 五月激情婷婷图片基地| 天天综合五月| 99久久婷婷五月| 人人看人人草人人摸| 丁香五月天网站| 婷婷性爱综合| http://www.sd-xiangsu.com/| 婷婷成人基地| 97激情五月天| www,天天干| 99在线视频色版| 婷婷刺激综合| 97碰碰人人视频| 天天天摸夜夜夜玩| 五月丁香| 深爱 五月天| 4399亚洲视频| 亚洲xx网| 五月婷婷日| 久人操| 五月天狠狠| 九月色婷婷综合亚洲| 狠狠色噜噜| 31色区视频免费看| 狠狠操狠狠干综合| 精品久9| 99操逼| 91主播在线| 五月婷婷五月丁香| 美国天天操无码| 婷婷六月色开 | 激情久久 婷婷| 久热播这里只有精品| 丝袜熟女一区二区三区|