欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Java性能排查利器:JDB調(diào)試器實(shí)戰(zhàn)與配合技巧

Java性能排查利器:JDB調(diào)試器實(shí)戰(zhàn)與配合技巧 排查 Java 服務(wù)的性能問(wèn)題命令行里常見(jiàn)的套路是先top看一眼負(fù)載再用jstack拉線程棧條件允許的話上jmap或者jcmd再看堆。這套流程能回答“哪里慢”但是常?;卮鸩涣恕盀槭裁绰?。我上次在一臺(tái)只剩 SSH 的白盒服務(wù)器上排查接口延遲時(shí)發(fā)現(xiàn)線程棧反復(fù)提示某個(gè)方法在忙但光靠棧信息完全看不出是入?yún)⒌膯?wèn)題還是循環(huán)的邏輯問(wèn)題。這時(shí)候需要的不是采樣工具而是一個(gè)能把程序暫停下來(lái)、讓我把當(dāng)前變量和調(diào)用關(guān)系看得明明白白的調(diào)試器。JDB 就是 JDK 自帶的那把“手術(shù)刀”它沒(méi)有圖形界面、也不用裝插件專治這種需要現(xiàn)場(chǎng)取證的場(chǎng)景。這篇文章就把我在真實(shí)排查中摸熟的 JDB 用法、踩坑記錄和與其它性能工具配合的思路整理出來(lái)。1. 為什么說(shuō) JDB 是性能排查鏈路里最被低估的調(diào)試工具1.1 從定位到取證JDB 和性能工具的關(guān)系大多數(shù)人對(duì) JDB 的第一印象是“命令行調(diào)試器”和性能分析沒(méi)什么關(guān)系。這個(gè)印象不準(zhǔn)確。性能工具可以分為兩層第一層負(fù)責(zé)定位例如用 JFR 或 async-profiler 做 CPU 采樣用jstat觀察 GC 節(jié)奏用jstack抓線程卡點(diǎn)第二層負(fù)責(zé)取證也就是當(dāng)你知道問(wèn)題出在某個(gè)方法、某個(gè)對(duì)象或者某個(gè)線程狀態(tài)時(shí)需要停下來(lái)把現(xiàn)場(chǎng)翻個(gè)底朝天。JDB 屬于第二層。它本質(zhì)上是 JDK 官方提供的 Java 調(diào)試工具底層走的是 JPDA 體系通過(guò) JVM 的調(diào)試接口獲取運(yùn)行信息。IDE 里的斷點(diǎn)、單步、變量檢查本質(zhì)上和它是同一套機(jī)制只不過(guò) IDE 把命令封裝成了圖形按鈕。換句話說(shuō)你日常在 IDEA 里做的那套調(diào)試動(dòng)作JDB 全部能做只是在命令行里完成??粗匦阅艿娜顺7敢粋€(gè)誤區(qū)覺(jué)得調(diào)試器只能在開(kāi)發(fā)環(huán)境用。實(shí)際上在做性能分析的后期尤其是問(wèn)題已經(jīng)縮到某個(gè)類、某個(gè)方法甚至某一行時(shí)JDB 的價(jià)值非常大。比如一個(gè)接口響應(yīng)突然變慢jstack只能看到線程停留在某處但你不知道它手里拿到的List到底有多大不知道某個(gè)字段是不是已經(jīng)變成null不知道循環(huán)條件為什么一直沒(méi)有退出。這些信息只有把程序暫停下來(lái)才能確認(rèn)而 JDB 就是干這個(gè)的。1.2 哪些場(chǎng)景該用它哪些場(chǎng)景不該用它先說(shuō)適合的場(chǎng)景。目標(biāo)機(jī)器是無(wú)桌面環(huán)境的 Linux、容器或云主機(jī)沒(méi)法開(kāi) IDE問(wèn)題屬于偶發(fā)需要等到某個(gè)條件滿足時(shí)立刻觀察現(xiàn)場(chǎng)程序啟動(dòng)階段就有異常需要從第一條指令開(kāi)始調(diào)試或者團(tuán)隊(duì)在做自動(dòng)化故障演練希望用腳本把“設(shè)置斷點(diǎn)、觸發(fā)、抓棧、退出”變成一條命令。這些場(chǎng)景下 JDB 幾乎是零成本的選擇因?yàn)?JDK 裝好之后它就躺在bin目錄里。不太適合的場(chǎng)景也很明確需要統(tǒng)計(jì)熱點(diǎn)方法耗時(shí)、需要生成火焰圖、需要大面積采集樣本時(shí)JDB 不是干這個(gè)的。它會(huì)讓目標(biāo)線程停下來(lái)逐幀檢查狀態(tài)這種“顯微鏡”式的操作不適合做全局掃描。原因在于 JDB 啟動(dòng)后會(huì)啟用調(diào)試基礎(chǔ)設(shè)施被附加的 JVM 內(nèi)部會(huì)有額外事件處理的開(kāi)銷而且斷點(diǎn)如果設(shè)置不當(dāng)會(huì)讓本來(lái)應(yīng)該在熱路徑上的代碼被強(qiáng)制掛起。所以正確的打開(kāi)方式是先用采樣工具畫(huà)出輪廓再用 JDB 做定點(diǎn)解剖。2. 先把 JDB 跑起來(lái)兩種啟動(dòng)方式與常用會(huì)話配置2.1 直接啟動(dòng)目標(biāo) Java 程序第一種方式是讓 JDB 直接啟動(dòng)目標(biāo) Java 類適合調(diào)試本地可復(fù)現(xiàn)的問(wèn)題。命令格式很簡(jiǎn)單jdb -classpath target/classes com.example.OrderService執(zhí)行后會(huì)進(jìn)入jdb提示符但此時(shí)目標(biāo)程序還沒(méi)有真正跑起來(lái)。新手最容易在這里踩坑直接輸入run程序瞬間跑完還沒(méi)反應(yīng)過(guò)來(lái)調(diào)試就結(jié)束了。正確的做法是先設(shè)置好斷點(diǎn)再發(fā)起運(yùn)行。例如 stop at com.example.OrderService:126 runrun之后 JDB 才會(huì)拉起目標(biāo) JVM。如果程序一開(kāi)始就命中斷點(diǎn)會(huì)進(jìn)入暫停狀態(tài)這時(shí)候可以做棧和變量檢查。如果程序能一路跑完最后 JDB 會(huì)提示目標(biāo)進(jìn)程退出整個(gè)調(diào)試會(huì)話當(dāng)然也就結(jié)束了。直接啟動(dòng)時(shí)還可以帶參數(shù)例如run arg1 arg2會(huì)把參數(shù)傳給目標(biāo)程序。對(duì)于有多個(gè) classpath 的項(xiàng)目用-classpath指定即可。如果你有多個(gè)依賴 jar建議把它們都列在啟動(dòng)參數(shù)里否則 JDB 在解析某個(gè)斷點(diǎn)類時(shí)會(huì)提示找不到類。2.2 掛到運(yùn)行中的 JVMJDWP 參數(shù)是關(guān)鍵遠(yuǎn)程或線上問(wèn)題的調(diào)試更多用的是第二種方式目標(biāo) JVM 已經(jīng)跑著JDB 從外部附加進(jìn)去。這里有一個(gè)前置步驟容易被忽略目標(biāo) JVM 必須要以調(diào)試模式啟動(dòng)也就是帶上 JDWP 代理參數(shù)。我常用的啟動(dòng)參數(shù)是這樣的java -agentlib:jdwptransportdt_socket,servery,suspendn,address127.0.0.1:8787 -jar order-service.jar每個(gè)參數(shù)的含義都比較固定我按自己的習(xí)慣解釋一下。參數(shù)作用transportdt_socket指定調(diào)試通信走 Socket 協(xié)議servery表示當(dāng)前 JVM 作為調(diào)試服務(wù)端等待客戶端接入suspendn目標(biāo)程序啟動(dòng)時(shí)不掛起方便日常附加調(diào)試suspendy目標(biāo)程序會(huì)在啟動(dòng)點(diǎn)等待調(diào)試器連入適合排查啟動(dòng)階段問(wèn)題address127.0.0.1:8787監(jiān)聽(tīng)地址和端口建議只綁回環(huán)地址參數(shù)就緒后用 JDB 附加jdb -attach 127.0.0.1:8787如果連接成功會(huì)看到一堆初始化提示隨后進(jìn)入jdb提示符。這里有個(gè)值得記住的點(diǎn)suspendn和suspendy不是隨便選的。日常觀察運(yùn)行中的服務(wù)一定選n因?yàn)槌绦蛞坏﹩?dòng)就掛起業(yè)務(wù)就停了而調(diào)試 Spring 容器初始化、應(yīng)用啟動(dòng)配置這類代碼選y才能保證在main方法啟動(dòng)前就拿到斷點(diǎn)。2.3 啟動(dòng)配置文件與基礎(chǔ)命令習(xí)慣JDB 和很多命令行工具一樣支持從用戶主目錄下的.jdbrc文件讀取初始化命令。文件里每行放一條 JDB 命令啟動(dòng)時(shí)自動(dòng)執(zhí)行。我一般會(huì)把常用斷點(diǎn)放進(jìn)去省得每次都敲stop at com.example.OrderService:126但要注意這種自動(dòng)執(zhí)行可能在類還沒(méi)加載時(shí)就把斷點(diǎn)設(shè)置成 deferred 狀態(tài)也就是延遲斷點(diǎn)。大部分情況沒(méi)有問(wèn)題因?yàn)?JVM 會(huì)在類加載完成后自動(dòng)把斷點(diǎn)裝上。只是如果你發(fā)現(xiàn)斷點(diǎn)一直沒(méi)命中優(yōu)先確認(rèn)是不是這類原因?;A(chǔ)命令里我會(huì)先記住四個(gè)help查看命令清單exit正常退出quit強(qiáng)制退出!執(zhí)行外部 shell 命令。用!可以在不退出 JDB 的情況下執(zhí)行top或者cat在排查現(xiàn)場(chǎng)非常順手。JDB 對(duì)命令大小寫(xiě)不敏感但為了可讀性我還是保持小寫(xiě)。3. 核心調(diào)試命令拆解斷點(diǎn)、線程、棧幀與步進(jìn)3.1 斷點(diǎn)命中代碼熱點(diǎn)的唯一入口斷點(diǎn)是 JDB 里最重要的動(dòng)作沒(méi)有斷點(diǎn)程序就會(huì)一直跑你沒(méi)有任何機(jī)會(huì)檢查內(nèi)部狀態(tài)。最常用的是行斷點(diǎn) stop at com.example.OrderService:126命令的關(guān)鍵字是stop at后面跟類名和行號(hào)。如果你只知道方法名可以用方法斷點(diǎn) stop in com.example.OrderService.batchProcess這個(gè)寫(xiě)法適合記不住具體行號(hào)的場(chǎng)合但方法斷點(diǎn)會(huì)讓 JVM 在方法入口處插入更多事件性能開(kāi)銷比行斷點(diǎn)大優(yōu)先級(jí)也低一些。做性能排查時(shí)我建議用行斷點(diǎn)因?yàn)槟憧梢园褦帱c(diǎn)精確放到循環(huán)體內(nèi)、條件分支里或者一個(gè)if判斷的右側(cè)直接觀察最窄的現(xiàn)場(chǎng)。查看和刪除斷點(diǎn)用clear clear clear com.example.OrderService:126不加參數(shù)時(shí)列出當(dāng)前全部斷點(diǎn)加了參數(shù)就刪除指定斷點(diǎn)。還有一個(gè)很實(shí)用的進(jìn)階玩法是條件斷點(diǎn) stop at com.example.OrderService:126 if orderList.size() 1000這個(gè)意思是只有orderList的大小超過(guò) 1000 時(shí)才暫停。條件斷點(diǎn)在性能復(fù)現(xiàn)中特別有用因?yàn)楹芏鄦?wèn)題只在特定數(shù)據(jù)規(guī)模下暴露每次都手動(dòng)檢查太費(fèi)勁。要注意條件表達(dá)式里的變量必須在該行可見(jiàn)否則 JDB 會(huì)報(bào)變量找不到的錯(cuò)誤。3.2 線程在卡住現(xiàn)場(chǎng)里切換視角斷點(diǎn)命中后程序只是暫停在某個(gè)線程上。性能問(wèn)題通常涉及多個(gè)線程比如一個(gè)線程池里有 10 個(gè)線程只有其中 3 個(gè)出現(xiàn)異常。這時(shí)候要先看線程列表 threads輸出會(huì)列出所有線程的調(diào)試編號(hào)、名稱、優(yōu)先級(jí)和狀態(tài)信息。注意這里的編號(hào)是 JDB 內(nèi)部的線程 ID不是操作系統(tǒng)看到的 native thread id。想切到某個(gè)線程深挖用thread命令 thread 12切換之后再用where看當(dāng)前線程的調(diào)用棧。如果嫌一條一條看太慢直接用where all等價(jià)于把全部線程的棧打出來(lái)效果接近一次簡(jiǎn)化版的jstack。我在實(shí)際排查中會(huì)先執(zhí)行一次where all快速判斷哪些線程卡在業(yè)務(wù)代碼哪些線程在等待鎖然后再用thread精確切換過(guò)去。這里有個(gè)細(xì)節(jié)值得多說(shuō)一句JDB 只有在線程掛起時(shí)才能安全地查看棧幀和變量。斷點(diǎn)命中的線程天然是掛起的所以你直接操作沒(méi)問(wèn)題。但如果是手動(dòng)附加到運(yùn)行中的 JVM線程還在跑有些棧信息可能不好拿。遇到這種情況可以先用suspend把目標(biāo)線程掛起或者設(shè)置一個(gè)斷點(diǎn)讓代碼自然停住。3.3 棧幀、變量與表達(dá)式求值線程切換好之后最常用的三連是where、locals、print。where看調(diào)用棧棧頂是最當(dāng)前正在執(zhí)行的幀編號(hào)從[1]開(kāi)始。如果想深入到某個(gè)具體棧幀JDB 提供up和down命令在幀之間移動(dòng)。這個(gè)動(dòng)作和 IDEA 調(diào)試面板里切棧幀是一個(gè)意思。locals打印當(dāng)前棧幀里的局部變量這是我最喜歡的命令。很多性能問(wèn)題的答案就藏在局部變量里比如循環(huán)次數(shù)變量、集合大小、臨時(shí)對(duì)象引用。打印出來(lái)的結(jié)果一般是這樣args instance of java.lang.String[0] orderList instance of java.util.ArrayList只看引用還不夠要展開(kāi)對(duì)象內(nèi)容用dump dump orderListdump會(huì)把對(duì)象的字段值遞歸展開(kāi)讓你直接看到對(duì)象內(nèi)部狀態(tài)。如果只想看某個(gè)字段或者一個(gè)簡(jiǎn)單的計(jì)算結(jié)果用print print orderList.size() print this.userId另外methods和fields可以分別查看類的方法簽名和字段定義適合在搞不清楚類結(jié)構(gòu)時(shí)臨時(shí)查一下。這里必須提醒一個(gè)很多人會(huì)踩的坑不要在print或者dump里隨便調(diào)用有副作用的 getter。調(diào)試器對(duì)表達(dá)式的求值有時(shí)會(huì)真實(shí)觸發(fā)目標(biāo)對(duì)象的方法。如果那個(gè)方法內(nèi)部有狀態(tài)修改或者在等待一把鎖輕則調(diào)試結(jié)果不準(zhǔn)重則直接讓線程卡死。優(yōu)先看字段再看簡(jiǎn)單表達(dá)式最后再?zèng)Q定要不要調(diào)用方法。3.4 步進(jìn)、恢復(fù)與自動(dòng)執(zhí)行trace、monitor暫停之后并不一定只看局部變量你還可以用步進(jìn)命令觀察代碼執(zhí)行的走向。step進(jìn)入當(dāng)前行調(diào)用的方法next執(zhí)行當(dāng)前行并停在下一行step up直接跳出當(dāng)前方法回到調(diào)用方cont讓程序繼續(xù)運(yùn)行直到下一個(gè)斷點(diǎn)或退出。實(shí)際操作中next用的頻率比step高。因?yàn)樾阅芘挪榈闹攸c(diǎn)是“代碼怎么走到這一步”的而不是走得太深。一旦發(fā)現(xiàn)某個(gè)方法可疑再單獨(dú)用step進(jìn)入也不遲。還有兩個(gè)命令對(duì)性能分析特別有價(jià)值。第一個(gè)是monitor它可以在每次程序暫停時(shí)自動(dòng)執(zhí)行指定命令。例如 monitor where monitor locals這樣每次斷點(diǎn)命中JDB 都會(huì)自動(dòng)把棧和局部變量打出來(lái)省去了反復(fù)手動(dòng)敲命令的麻煩。第二個(gè)是trace用來(lái)開(kāi)啟方法調(diào)用跟蹤。trace go methods會(huì)讓 JDB 在方法進(jìn)入和返回時(shí)打印日志看起來(lái)會(huì)非常啰嗦但是當(dāng)你想確認(rèn)一個(gè)調(diào)用鏈里到底重復(fù)執(zhí)行了多少次時(shí)它比斷點(diǎn)更直觀。我用trace時(shí)一般會(huì)把范圍縮小比如先在可疑方法入口設(shè)置斷點(diǎn)等命中后再開(kāi)trace然后cont跑一小段時(shí)間及時(shí)用exit停掉不然日志量能大到把終端沖掉。4. 一個(gè)真實(shí)風(fēng)格的 JDB 實(shí)操案例模擬一個(gè)服務(wù)響應(yīng)變慢的調(diào)查4.1 案例背景為什么選擇 JDB 而不用直接看代碼為了把前面的命令串起來(lái)我準(zhǔn)備用一個(gè)虛擬的訂單聚合服務(wù)來(lái)說(shuō)明。假設(shè)某個(gè)服務(wù)里有一個(gè)MockOrderService類batchProcess方法負(fù)責(zé)把一批訂單做聚合計(jì)算最近線上響應(yīng)變慢jstack顯示大量線程停留在這個(gè)方法里。光看棧信息你只能確認(rèn)“這個(gè)方法有問(wèn)題”但不知道是訂單數(shù)量太大、某個(gè)字段為 null還是循環(huán)里在做重復(fù)計(jì)算。如果直接把代碼翻出來(lái)看一是代碼和線上版本未必一致二是很多狀態(tài)是在運(yùn)行期才產(chǎn)生的靜態(tài)代碼看不出來(lái)。用 JDB 的意義就是直接在運(yùn)行現(xiàn)場(chǎng)把方法暫停把變量值拿出來(lái)對(duì)照著代碼做判斷。4.2 步驟一啟動(dòng)目標(biāo) JVM 并掛載 JDB先啟動(dòng)模擬服務(wù)并打開(kāi)調(diào)試端口java -agentlib:jdwptransportdt_socket,servery,suspendn,address127.0.0.1:8787 -classpath order-service.jar com.example.MockOrderService進(jìn)程起來(lái)后用jps -l確認(rèn) PID 存在再檢查調(diào)試端口有沒(méi)有監(jiān)聽(tīng)ss -lntp | grep 8787然后另開(kāi)一個(gè)終端執(zhí)行jdb -attach 127.0.0.1:8787看到j(luò)db提示符會(huì)話就建立了。因?yàn)閟uspendn目標(biāo)服務(wù)還在正常跑不會(huì)因?yàn)?JDB 接入就起飛。4.3 步驟二設(shè)置斷點(diǎn)并命中熱點(diǎn)在代碼里找到可疑的邏輯點(diǎn)。為了方便演示我假設(shè)batchProcess方法里有一個(gè)循環(huán)循環(huán)體內(nèi)部在動(dòng)態(tài)拼接 JSON 字符串行號(hào)對(duì)應(yīng) 126 行。先在 JDB 里設(shè)置斷點(diǎn) stop at com.example.MockOrderService:126然后讓程序恢復(fù)運(yùn)行 cont如果這時(shí)沒(méi)有流量進(jìn)來(lái)斷點(diǎn)不會(huì)觸發(fā)??梢酝ㄟ^(guò)壓測(cè)或者手動(dòng)觸發(fā)接口的方式來(lái)制造調(diào)用。斷點(diǎn)命中后終端會(huì)顯示類似這樣的信息Breakpoint hit: http-nio-8080-exec-3 (id15) [1] com.example.MockOrderService.batchProcess (MockOrderService.java:126)命中的同時(shí)線程被掛起現(xiàn)在可以開(kāi)始取證。4.4 步驟三查看線程和本地變量定位根因先看一下線程列表確認(rèn)當(dāng)前命中的線程編號(hào) threads輸出里能看到http-nio-8080-exec-3對(duì)應(yīng)的調(diào)試 id 是 15。切過(guò)去再看完整棧 thread 15 where接著打印局部變量 locals如果一切正常會(huì)看到orderList、startTime、resultMap這些變量。我想確認(rèn)訂單集合的大小直接執(zhí)行 print orderList.size()如果返回的數(shù)字異常比如一進(jìn)來(lái)就是幾萬(wàn)條說(shuō)明這個(gè)接口的輸入規(guī)模比設(shè)計(jì)預(yù)期大了很多。再深入看某個(gè)訂單對(duì)象 dump orderList.get(0)輸出會(huì)展開(kāi)對(duì)象的字段比如status、amount、rawJson。這時(shí)候如果發(fā)現(xiàn)每個(gè)訂單都攜帶一大段原始 JSON循環(huán)里還在反復(fù)解析慢的原因就找到了不是框架的問(wèn)題也不是 GC 的問(wèn)題而是同一個(gè) JSON 在循環(huán)體里被解析了多次重復(fù)計(jì)算把 CPU 吃掉了。4.5 步驟四用 trace 和 monitor 驗(yàn)證調(diào)用鏈初步懷疑是重復(fù)解析后可以用trace驗(yàn)證。先把當(dāng)前斷點(diǎn)留著輸入 trace go methods然后cont繼續(xù)跑一小段時(shí)間再看終端里輸出的調(diào)用日志。日志會(huì)顯示MockOrderService.batchProcess內(nèi)部反復(fù)進(jìn)入某個(gè)解析方法而且同一個(gè)rawJson對(duì)應(yīng)的解析方法被調(diào)用的次數(shù)和訂單數(shù)量幾乎一樣。這個(gè)信號(hào)基本可以證實(shí)問(wèn)題不在外部依賴而在循環(huán)內(nèi)部。為了讓每次命中斷點(diǎn)都自動(dòng)打印調(diào)用棧我還會(huì)加一個(gè)monitor monitor where之后每次遇到斷點(diǎn)棧信息自動(dòng)出來(lái)不用反復(fù)手動(dòng)敲。這招在連續(xù)觀察多個(gè)請(qǐng)求時(shí)非常省事特別適合判斷“是否每個(gè)請(qǐng)求都走到同一行”。4.6 步驟五修復(fù)和驗(yàn)證以及對(duì) JDB 能力的邊界說(shuō)明定位到原因后修復(fù)思路很清晰把 JSON 解析從循環(huán)內(nèi)移到循環(huán)外或者做成緩存避免重復(fù)加工。修復(fù)后重新編譯再用同樣的方式啟動(dòng)和附加 JDB在同一個(gè)斷點(diǎn)觀察變量里的緩存命中情況確認(rèn)解析方法不再被高頻調(diào)用。這個(gè)案例也說(shuō)明了 JDB 的能力邊界它不會(huì)告訴你“這個(gè)方法的平均耗時(shí)是多少毫秒”那是采樣工具的事它只會(huì)告訴你“這一秒這個(gè)方法內(nèi)部到底發(fā)生了什么”。所以在性能鏈路里JDB 和采樣工具是搭檔不是替代關(guān)系。5. JDB 與其它性能工具配合的正確姿勢(shì)5.1 JDB、jstack、jmap 報(bào)警時(shí)的工作分工我習(xí)慣把排查鏈路分成三步。第一步用jstack看線程棧判斷是業(yè)務(wù)線程卡住、鎖等待、還是 GC 線程異常第二步用jstat或jmap看堆判斷內(nèi)存壓力和對(duì)象分布第三步才是 JDB針對(duì)第一步和第二步里最可疑的點(diǎn)做暫停取證。工具主要作用弱點(diǎn)jstack快速抓全部線程棧只有棧沒(méi)有變量值jmap堆轉(zhuǎn)儲(chǔ)和對(duì)象統(tǒng)計(jì)分析對(duì)象存活鏈比較重jstat觀察 GC 和類加載狀態(tài)只統(tǒng)計(jì)不解釋業(yè)務(wù)邏輯JFR/ async-profiler做熱方法和采樣統(tǒng)計(jì)偏趨勢(shì)難以做單點(diǎn)暫停JDB把線程暫停檢查變量、斷點(diǎn)、調(diào)用鏈不能用于全量采樣例如前面那個(gè)案例如果沒(méi)有jstack先發(fā)現(xiàn)線程集中在batchProcess我就不可能在 JDB 里快速定位到那一行。反過(guò)來(lái)說(shuō)如果只看jstack你也永遠(yuǎn)不會(huì)知道orderList.size()竟然那么大。工具之間是接力關(guān)系。5.2 腳本化 JDB 操作.jdbrc和輸入重定向調(diào)試動(dòng)作如果重復(fù)執(zhí)行就有腳本化的價(jià)值。JDB 初始化文件.jdbrc放在用戶主目錄下啟動(dòng)時(shí)自動(dòng)逐行執(zhí)行命令。我偶爾會(huì)在里面臨時(shí)放一個(gè)斷點(diǎn)stop at com.example.MockOrderService:126除初始化文件外JDB 也支持用標(biāo)準(zhǔn)輸入喂命令。管道輸入的方式可以嵌入自動(dòng)化腳本printf stop at com.example.MockOrderService:126\nrun\nwhere\nexit\n | jdb -classpath target/classes com.example.MockOrderService這種方式適合做回歸測(cè)試一旦某個(gè)構(gòu)造函數(shù)里面出現(xiàn)異常腳本能夠自動(dòng)把當(dāng)時(shí)的棧打出來(lái)不用人盯著鍵盤(pán)敲。自動(dòng)化演練場(chǎng)景里甚至可以先把.jdbrc準(zhǔn)備好再通過(guò)控制腳本去觸發(fā)流量。5.3 安全與運(yùn)維注意點(diǎn)JDB 附加到 JVM 的能力很強(qiáng)這意味著如果調(diào)試端口暴露在不安全的網(wǎng)絡(luò)里等于給攻擊者開(kāi)了一扇門(mén)。我個(gè)人的原則是調(diào)試端口永遠(yuǎn)綁定127.0.0.1不要直接綁0.0.0.0或公網(wǎng) IP。需要跨機(jī)器調(diào)試時(shí)優(yōu)先用 SSH 隧道把本地端口轉(zhuǎn)發(fā)過(guò)去。調(diào)試結(jié)束后立即在目標(biāo) JVM 上恢復(fù)正常啟動(dòng)參數(shù)不要長(zhǎng)期掛著調(diào)試代理。另一個(gè)容易被忽略的點(diǎn)是JDB 附加后即便沒(méi)有觸發(fā)斷點(diǎn)JVM 內(nèi)部也會(huì)產(chǎn)生調(diào)試事件相關(guān)的開(kāi)銷。在高并發(fā)生產(chǎn)環(huán)境這種開(kāi)銷會(huì)被放大。所以我的建議是“用完就走”不要在業(yè)務(wù)高峰期長(zhǎng)時(shí)間保持調(diào)試會(huì)話。6. 踩坑記錄JDB 常見(jiàn)問(wèn)題與排查技巧6.1 常見(jiàn)錯(cuò)誤現(xiàn)象速查下面這張表是我在實(shí)操中遇到過(guò)或者身邊同事踩過(guò)的坑整理出來(lái)方便速查?,F(xiàn)象可能原因處理建議附加時(shí)提示Unable to connect調(diào)試端口沒(méi)開(kāi)、綁定地址不對(duì)、防火墻攔截用jps -l確認(rèn)進(jìn)程用ss -lntp檢查端口附加成功但斷點(diǎn)一直不命中類還沒(méi)加載或斷點(diǎn)行號(hào)和線上源碼不一致先確認(rèn)代碼路徑執(zhí)行到了使用條件斷點(diǎn)縮小范圍stop at報(bào)No code at line指定行沒(méi)有字節(jié)碼或源碼版本不匹配用list查看當(dāng)前行號(hào)核對(duì) classpathlocals輸出為空當(dāng)前棧幀沒(méi)有局部變量或類編譯沒(méi)有帶調(diào)試信息用javac -g編譯確保線程已掛起print報(bào)異常表達(dá)式求值時(shí)調(diào)用了帶副作用的方法或?qū)ο鬄?null改用dump查看字段避免調(diào)用 getter線程切不過(guò)去線程 ID 記錯(cuò)或線程已終止用threads重新確認(rèn)編號(hào)日志量爆炸trace范圍太大沒(méi)及時(shí)關(guān)閉只在小范圍內(nèi)開(kāi)啟用完exit退出會(huì)話這個(gè)表格里最高頻的問(wèn)題其實(shí)是“附加成功但斷點(diǎn)不命中”。原因很多但最常見(jiàn)的是源碼和線上 jar 的行號(hào)對(duì)不上。排查前最好先確認(rèn)編譯產(chǎn)物對(duì)應(yīng)的源碼版本不要拿一份舊代碼去猜斷點(diǎn)位置。6.2 我在實(shí)操中的幾點(diǎn)心得最后聊幾個(gè)偏經(jīng)驗(yàn)的東西。第一JDB 最適合用來(lái)驗(yàn)證“假設(shè)”不適合用來(lái)做“探索”。也就是說(shuō)你心里要先有一個(gè)大致判斷比如“會(huì)不會(huì)是這里循環(huán)次數(shù)太多”“會(huì)不會(huì)是某個(gè)字段沒(méi)初始化”然后再去設(shè)置斷點(diǎn)驗(yàn)證。如果完全沒(méi)有方向先用jstack和采樣工具縮小范圍再上 JDB。否則就是大海撈針。第二條件斷點(diǎn)雖然好用但性能開(kāi)銷不小。JVM 每執(zhí)行到斷點(diǎn)行都要計(jì)算一次條件表達(dá)式如果那一行在熱路徑上調(diào)試期間的性能會(huì)明顯惡化。我的做法是把條件寫(xiě)得盡量簡(jiǎn)單比如只比較一個(gè)整數(shù)或一個(gè)布爾值不要寫(xiě)復(fù)雜的字符串拼接或方法調(diào)用。第三monitor命令是容易被新手忽略的寶藏。它能把重復(fù)操作自動(dòng)化尤其適合查看多個(gè)請(qǐng)求連續(xù)進(jìn)入同一個(gè)熱點(diǎn)的情況。我在排查一批請(qǐng)求超時(shí)時(shí)就是用monitor where讓每個(gè)斷點(diǎn)自動(dòng)打棧然后連續(xù)觸發(fā)幾輪流量很快看出只有特定參數(shù)的請(qǐng)求會(huì)卡住。第四不要在重要環(huán)境中輕易嘗試不熟悉的 JDB 命令。調(diào)試器可以暫停線程、觸發(fā)方法調(diào)用甚至執(zhí)行redefine來(lái)修改類定義。這些操作在錯(cuò)誤的時(shí)間點(diǎn)上手可能造成線上進(jìn)程狀態(tài)異常。建議先在本地起一個(gè)最小 Demo把所有命令都過(guò)一遍再上真實(shí)環(huán)境。如果只能帶一條經(jīng)驗(yàn)走我會(huì)說(shuō)JDB 不是一個(gè)花哨的工具但它值得你在每個(gè) Java 工程里留一個(gè)印象。性能定位的最后一步往往就是從“大概知道哪里有問(wèn)題”到“確鑿看到問(wèn)題現(xiàn)場(chǎng)”的過(guò)程而 JDB 就是幫你完成這最后一步的工具。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色.五月综合网| 丝袜熟女一区二区三区| 九九久久精品| 成人美女网| 少妇大叫太大太粗太爽了A片| 激情第四色| 色婷婷电影网| 七月丁香五月婷婷在线| 综合99在线| www99精品亚| 殴美97色| 婷婷五月天网址| 9月色婷婷| 婷婷少妇激情| 欧美欧盟性爱网| 开心久久xxx色| 婷婷五月播| 日本精品在线噜噜噜| 色一情一乱一乱一区91Av| 玖玖综合色| 99精品久久久久久久婷婷| 激情性爱五月天| jiujiu热在线视频| 99色丁香婷婷综合网| 六月婷婷网站| 久热只有精品| 一起草性爱不卡视频| 看片视频在线免费日产在线看| 亚洲操操| 国产精品黑丝| 97在线刺激| 超碰人人在线| 天天天天天色| 丁香五月婷在线| 婷婷五月天色| hd五月婷婷在线| 性色99| 丁香五月综合在线视频| 亚洲不卡欧洲| 五月天综合网| 96色婷婷| 亚州精品色情无码A片| 婷婷激情五月天激情在线| 情欲综合网| 五月天久久成人| 色色婷婷综合网| 桔色成人在线| 思思热视频| 激情小说五月天| www,999日本色| AV中文字幕夜夜操b天天摸bb| 久久9久久| 一级片sese片.COM| 九九热短视频在线观看| 久久综合丁香| 色噜噜综合网| 久久综合66| 色噜久| 色噜噜婷婷| www..com色爱| 久久久久人妻网址| 99久热这里只有精品| 人妻av在线| 操精品9| 操操自拍| 五月天色婷婷图片| 五月丁香综合| 熟女人妻一区二区三区免费看 | 五月激情啪啪| 久草婷婷网| 欧美日韩国产一区二区| 99re这里只有精品视频6| 五月天停停成人网| 色五月丁香五月| 无码激情AAAAA片-区区| 天堂久久婷婷| 五月噜噜| 午夜激情婷婷| 婷婷影视久久| 99天堂网| 丁香综合网| 五月丁香无码| 色天使色综合| 九九av| 久久AV电影| 婷婷五月综合啪| 成人综合网站| 六月婷婷九月丁香| 热久久国产视频| 久久性刺激| 亚洲V国产V欧美V久久久久久| 丁香五月婷婷色偷偷| 99热6这里只有精品6| 天天干天天操天天拍| 五月丁香六月综合激情| 玖玖爱导航| 五月激情精品视频| 色五月天丁香婷婷| 五月丁香狠狠爱婷婷综合| 色五月成人| 69婷婷丁香午夜| 99九无网码| 亚洲精品无AMM毛片| 婷婷色在线视频| 青青草蜜臀| 丁XX 成人| 欧美电影在线播放| 99久久9| 激情五月视频在线婷婷| 大战熟女丰满人妻AV| 亚洲综合另类| 狠狠擼综合| 五月 激情视频| 国产古装妇女野外A片| 金品在线视频99| 插插插色综合网| 五月天综合久久| 亚洲色热| 丁香九九九九| 激情五月天激情综合网| 久久er99热精品一区二区| 亚欧州精品视频| 精品A√| www.狠狠| 日日爱678| 婷婷丁香五月天激情| 欧美情色一区| 色婷婷综合五月| 狠狠爱综合网| 色色免费网站| 欧美在线操| 丁香五月天社区婷婷| 五月天色婷婷av| 五月婷色| www.超碰在线| 91九色国产| 香蕉中文在线| 丁香五月激情五月开心五月| 婷婷丁香18| xxxx五月| 99色色网| 五月丁香色婷婷伊人| 97中文在线| 国产婷婷综合| 99无码| 五月丁香亭亭A片| www.狠狠干| 天天干天天插| 性爱先锋AV| 超碰九九热| 狠狠色丁香婷婷| 99视频一区| av在线播放网站| 激情五月天综合图片小说网站| 99在线精品免费视频| 色婷婷色情| 99精品在线| 九月av在线| 亚洲欧美999| 狠狠婷婷综合| 久久性爱视频这里只有精品| 99在线看片| 婷婷五月天日日日干干干| 国产日韩精品SUV| 五月天激情黄色小说在线观看| 伊人婷婷大香蕉| 激情文学第四色婷婷丁香五月| www.激情五月| 秋霞日本免费毛片A片| 色婷婷丁香五月在线观看| 在线综合亚洲欧美65| 三十路磁力链接| 欧洲色区| 六月婷婷影院| 国产AV网页| 毛片色五月| H亚洲| 五月婷婷六月奇米网丁香| 51精品国自产在线| 四月婷婷丁香| 五月久久| 超碰97干| 色综合色| 国产成人片| 久色姿源| 伊人久久丁香狠狠婷婷综合香蕉| 亚洲成人人人操| Caoub青青超碰 | 精品动漫 无码av| 五月六月丁香激情| h亚洲| 中文字幕,综合,91| 五月天丁香综合久久国产| 五月天婷婷基地综合网| 六月丁香啪啪| BBWCUCKOLD精品熟妇| 婷婷六月开心网| 国产欧美熟妇另类久久久| 呦呦v线| 色噜噜丁香| 色婷婷狠狠干芒果TV| 99ri视频在线观看| 九色91国产| av网址在线| 日本色色色| 26uuu国产色| 丰满人妻妇伦又伦精品国产| 99热免| 97天堂| 噜噜噜狠狠色综合| 7EzOBIhNq85TO| 99爱在线视频观看| 日韩不卡DvD| 五月激情小说| 婷婷色Av| 九九干视频| 色色五月丁香| 草婷婷在线| 中文字幕av网站| 97亚洲婷婷| 91久久久久久久久18| 九九在线精品| 女力报到正好爱上你| 大香蕉人人网| 婷婷五月天电影网| 丁香六月亚洲综合| 久热大香蕉| 色婷婷五月天激情综合| 丁香五月婷婷亚洲另类| 日韩AAAAA| 色丁香在线视频| 婷婷五月丁香成人网| 色五月激情综合| 婷婷综合| 国内9l视频自拍老熟女九色| 操操碰| 月婷婷亚洲| 婷婷五月丁香99| 日本久热| www.五月天婷婷姐姐| 久久久五月天婷婷成人网| 人人摸人人操人人爽| site:esunnet.com| 99丁香五月婷婷在线| 婷婷五月天成人| 五月天婷婷伊人| 98色丁香五月婷婷综合网| 直接看的AV| 99免费视频精品| 最新日韩久热免费视频看看| 综合婷婷| 婷婷99狠狠| 热中文字幕| 色婷婷五月综合激情中文字幕| 九九热最新| 99rewww| Www.久久| 无码色| 久久这里只有欧美| 伊人网欧美在线男人天堂五月丁香 | 国产毛片精品一区二区色欲黄A片| 天天情天天狠天天透| 五月天婷婷丁香成人网| 丁香九月激情| 天天狠狠干| 五月丁香| 久久99免费视频| 国产激情视频在线观看| 激情小说五月欧美亚洲丁香| 久久机热这里只有精品免费视频| 国产伊人大香蕉| 亚洲操操操| 五月丁香六月婷婷国产视频| 日韩成人网站精品久久大全| 日韩精品超碰在线观看| 青青久久五月| 五月婷婷色| 五月丁香婷婷成人网| 色色网站免费在线视频| 人人插9| 裸体做A爰片毛片A片免费| www.狠狠| 久8色色| 99久久久久| 99视频综合网| 成人国产欧美大片一区| 九九黄色网| WWW五月| 5月婷婷视频网站综合| 啪啪五月综合| 新激情五月天| 99综合| 91九色欧美| 婷婷夜夜夜夜| 五月丁香色婷婷伊人| 丁香色五月AV在线| 丁香六月丁香婷婷激情| 色情综合网| www.久久爱.com| 婷婷六月色播| 天天插夜夜爽| 99色精品视频| 97狠狠色| 成人网站av免费网站推荐| 99国产在线精品视频| 色五月综合激情| 丁香六月伊人| 激情五月天婷婷视频| 丁香综合婷婷开心激情网| 七月激情六月婷婷综合在线播放| 99riAV成人在线视频| 色偷偷综合| 超碰不卡在线| 五月天六月婷婷| 五月天婷婷伊人| www.婷婷五月天,com| 婷婷色在线播放| 激情五月婷婷色综合| 伊人综合网站| 人人操AV| 99热官网精品在线| 黄网在线播放| 99噜噜| 五月丁香六月婷婷无码| 99热99re6国产在线播放| 亚洲五月天天| 激情涩涩网| 婷婷伊人久久| 人人综合久| 欧美婷婷综合网| 婷婷综合中文字幕| 日本V在线观看不卡视频网站| 99热欧美| 另类专区在线观看| 亚洲精品视频在线播放| 婷香五月激情视频| 五月天精品视频| www.久久爱.com| 99热这里只有精品首页| 欧美α√| 色色A| 丁香六月天堂| 天天操天爱综合| 色亚洲色宗合| caopeng97日韩| 77799热| 26uuu视频欧美| 综合久久综合| 五月丁香999| 丁香五月手机在线| 久99视频在线观看| 激情综合婷婷| 99精品在线| 丁香五月婷婷啪| 激情99| 91超级碰在线| 91婷婷搞| 91超级碰碰| 久久久久9999| 五月天激情综合在线| 亚洲天堂99| 久久99婷婷| 五月丁香六月香香蕉| 在线观看亚洲视频影院| 99ri在线视频| 久久99这里只有精品| 97综合在线| 91操人视频| 亚洲激情av| 欧美性爱五月天| 色五月综合在线| 久久久8| 日本九九九九| 久久久妻人人人| 六月婷婷五月丁香首页| 欧美一区二区三区不卡影视| 狠狠干伊人| 天天夜夜六月丁香五月婷婷老师| 久热网在线视频| 亚洲成人黄色网| 天天操夜夜橾| 五月综合久久| 久热9| 99这里只有精品视频| 狠狠操综合| 国产 码在线成人网站| 日韩精品AV一区二区三区| 青青草免费公开视频| 精品亚洲国产成AV人片传媒| 色色97丁香婷婷五月天| 99热费观看| 欧美在线看| 婷婷五月天影院| 99热这里只有精品26| 婷婷五月综合欧美在线播放| 思思精品久久艹| 男人的天堂五月丁香| 夜夜干夜夜操| 97色天堂| 九九热最新| 丁香五月激情网| 欧美性生交XXXXX无码小说| 91色性感五月婷婷丁香| 久人人操| 丁香色五月 97干| 国产欧美日韩性爱| 激情五月亚洲综合网| 色婷婷九月综合| 五月天综合图片| 狠狠色成人影片| 五月综合丁香婷婷| 色色色热| 人妻第九页| 中文字幕无码成人电影| 久久九九爽| 久久五月天精品视频| 六月婷五月丁香| 激情六月一二| 久久久99视频| 狠狠穞A片一區二區三區| 亚洲第一成人无码A片| 久热精品9999| 伊人五月婷婷| 欧美综合婷婷欧美综| 久久婷婷色五月| 激情丁香五月婷婷| 99热97| 激情久久久| 亚洲182在线观看| 五月丁香久久丝袜啪啪| 五月婷婷六月丁香免费| 天天爽天天摸| 国产在线黄色| 少妇性BBB搡BBB爽爽爽视頻| 91黄色五月天视频| 91互操| 久久久思思热| 婷婷色成人| 日韩AV片| 成人国产欧美大片一区| 久久狠婷婷| 五月婷婷新网站| 热久久视频99| 91狠狠综合网| 96精品成人无码A片观看金桔| 色欲色香综合网站| 婷婷八月激情| 另类激情五月天| 亚洲操人| 人人操9| 日本啪啪网| 天天爽日日搞| 色噜噜五月天| 亚洲国产精品VA在线看黑人| 91啪啪网| 天天拍久久| 久久999久久999久久999久久| 天天色粽合合合合合合合| 国产在线网址1| 五月色综合| 五月花婷婷丁香| 日本不卡中文字幕| 性生活视频98791| 中文字幕黄色片| 99精品综合在线| 色综合久久综合中文综合网| 日日日影院| 新97人人上人人| 97人妻超级碰碰碰碰碰| 久久伊人五月天| 天天插天天| 丁香花五月天激情| 色婷婷成人做爰A片免费看网站| 色综合色婷色基地| 五月婷婷六月丁香激情综合网| 色五月人妻| 狠狠干狠狠干| 国产精品操| 婷婷之六月丁香| 色婷婷先锋| 色欲色欲久久宗合网| 久久人人超| 狠狠狠狠狠操| 9久精品| 婷婷人妻激情| 综合色天天| 婷婷丁香18| 无码人妻丰满熟妇奶水区码| 青青草tp| 日日夜夜狠狠操| 婷婷五月天综合网| av久热| 99久久免费精品| www.久久99| 9999热在线免费观看| 天天色,天天操,天天射| 婷婷久久久| 99啪在线视频| 99热只有精品在线观看| 九九在线视频| 人人操插| 这里只有精品免费视频| 在线18av | 一区色色色色网| 五月久视频| 久久精品A片777777| 九九精品在线视频观看| 99色| 色色色1网址| va婷婷在线| 亚洲精品99| www.玖玖婷婷在线| 色五月激情基地| 天天射影院| 国产综合视频婷婷| 中文av网| WWW.久久99| 成 久久| 超碰九色| 日韩色色网| 丁香五月手机在线| 久久一操| 久久久五月婷婷| 婷婷丁香六月| 五月丁香日本一抹本| 色五月欧美| 丁香97综合| 另类小说五月天激情| 色香欲综合| 黄网免费观看| 黄色一级影片| 精品九九网| 精品久久66| 在线视频婷婷| 天天插夜夜爽| 亚洲视频一区| 伦乱人妻| 久热a| www.狠狠| 亚州激情在线视频| 欧美激情综合色综合啪啪五月| 97人人做| 99热国内精品| 久大香蕉| 91超级碰在线| 亚洲网站999| 五月婷婷丁香婷婷| 91九色PORNY中文啦| 五月天激情av| avh片在线观看| 久久成人精品视频| 99热午夜精品| 久久久久久丁香五月| 久热在线中文字幕色999舞 | 狠狠五月激情丁香六月| 久久丁香综合精品综合| ss视频xx91| 99久久婷婷国产综合精品| 丁香五月婷婷88在线| 天天操夜夜操| www.操逼comm| 激情小说色五月| 五月丁香成人版| av免费在线看不卡无毒| 99热99这里有免费的精品| 青柠影视免费高清电视剧| 怡红院院久久| 婷婷5月久久综合网站| 婷婷狠狠五月综合| 99色综合久久| 深爱激情网综合| 综合另类激情| 精品人妻一区| 91精品久久久久久久久久久久| 五月天婷婷综合网| 伊人网大香| 久久新地址| 91精品无码| 淫视馆aV二区一区| 欧美噜噜免费观看| 免费无码毛片一区二区A片| 亚洲天堂AV免费片| 中日韩美欧成人一区二区精品在线 | 天天成人综合视频| 五六月婷婷久久| 六月丁香久久| 蜜臀av粉嫩av懂色av| 精品在线网站| 激情网第九色| 久久精品99国产精品日本| 五月婷婷丁香大陆免费| 精品视频二级九九| 日本va欧美va国产激情| 欧美日本国产欧美日本韩国99| 天天肏在线观看| 九月色婷婷| 五月婷婷综合激情| 婷婷五月激情欧美大胆视频| www.九九婷婷| 婷婷五月丁香91| 超碰AV在线| 99婷婷| 天天综合天天玩夜夜玩天天玩夜夜玩| 日本91在线播放| 色综合色综合色综合色综合| 婷婷月综合| 婷婷天天日婷婷| 婷婷五月开心中文字幕色| 99九九这里有免费视频| 99热色精品| 色情五月丁香| 人妻内射一区二区在线视频| 五月天五月天成人网亭亭成人色网站| 91成人看片| 婷婷六月综合激情| 精品色色网| 色青五月天| 在线成人网址| 热久久99视频| 亚洲成人中文字幕| 996热| 思思99精品视频| 丁香五月婷婷五月基地| 综合网啪啪| site:minyis.com| 91大屁股在线| 久草性爱| 亚洲尤物在线| 99久久五月天| 久久人妻高清中文| 夜夜久久综合网 | 婷婷五月激情热播| 久久电影五月天丁香电影| 婷婷五月色播| 97丁香花五月天激情小说| 欧美成人在线观看| 久婷五月| 色婷婷成人影片| 五月天婷婷涩涩| 九九性视频| 婷婷五月天免费| 五月丁香婷婷成人版| 9久久精品| 99操逼| 久久99视频| 色五月婷婷7777| 色5月婷婷色| 国产寻花在线| 五月婷婷偷拍| 国产精品色情AAAAA片软件| 开心婷婷丁香五月| 99精品这里只有免费视频| 噜噜五月天综合| 直接看的AV| 2025年最新亚洲在线欧美| 色五月婷婷av| 97超级碰| 九九热99热| 毛片毛片毛片毛片| 丁香五月婷婷深五月| 六月丁香婷婷爱| 人妻中文在线| 小视频久久久aaa| 密黄站| 色色综合热| 欧美久热| 婷婷五月激情网| 亚洲激情五月婷婷日日| 伊人色综合影院视频| AⅤ网站在线看| 91色综合| 欧美爆乳一区二区三区| 人妻爽爽爽久久久久久久久| www91久久| 亚洲欧洲中文日韩久久AV乱码| 99这里只有精品| 翔田千里无码| 1024日韩| 99精在线| 激情五月丁香亭亭| 色五月五月天| 伊人五月天综合网| 欧美日韩国产一区二区| 欧洲MV日韩MV国产| 久久婷婷成人综合色怡春院| 丁香桃色网| WWW丁香五月| 综合久久久| 丁香婷婷浪潮AV久久综合| 丁香九月激情| 97精品在线| 色噜噜婷婷| 亚洲综合激| 精品99在线| 99热综合在线观看| 激情五月婷婷| 人妻中文在线| 这里只有精品视频| 丁香五月天天高清在线| 可以免费看av网站| 婷婷五月天综合网| 日韩av网站在线观看| 亚洲国产精品VA在线看黑人| 五月丁香人妻| 九九热re99re6在线精品| 综合激情网激情五月。| 插插插色综合网| 超碰av在线| 久久婷婷丁香| ...婷婷五月综合不卡,国产在线手机| 色一色综合| 久久久五月天| 亚洲激情AV| 96精品久久久久久久久| 欧洲亚洲精品| 99热这里精| 婷婷国产日本欧美| 天天爽夜夜爽夜夜爽精品| 婷婷97碰碰| 国产亚洲色婷婷久久99精品9j| 激情婷婷丁香| 久久精品99国产精品日本| 久久538| 亚洲午夜av| 99热这里都是精品| 99A片| 噜噜久| 久久久久99精品成人片| 亚洲AAA| 99热欧| 99热亚洲只有色| 五月天激情国产综合婷婷婷| 五月天婷婷色| 99热这里只有精品8| 97视频久久| 亚洲激情综合| 狠狠色噜噜狠狠狠888| 免费五月婷婷网| 99热这里只有精品1998| 9999热这里只有精品| 色五月婷婷、老熟女| 97丁香五月天| av在线超清中文| 亚洲成人免费在线| 亚洲激情网| 色婷五月| 欧美日韩一a.无| 91一起操| 97干97色| 黄网免费观看| 在线成人网址| 丁香五月性| 日韩操人| 六月丁香婷婷拍拍| 美女天天久久| 天天天操天天天爰| 99久久国产宗和精品1上映| 丁香五月综合激情久久潮喷| 色黑鬼导航| 五月六月丁香婷婷在线观看| 高清激情av在线观看| 色婷婷丁香五月在线| 伊人婷婷激情| 色婷婷五月天在线| 人人视频色| 深爱激情网五月天| 亚洲va在线∨a天堂va欧美va| 婷婷五月天在线综合| 天天日日综合| 青草少妇激情| 天天干天天干天天干| 亚洲婷婷激情综合激情999精品| 激情五月天啪啪| 99在线热| 丁香六月婷婷综合| 精品夜夜澡人妻无码AV| 9热网站| 色吧网综合| 丁香九色不卡aaa| 狠狠情色| 91avse| 天天肏夜夜肏| 成年AAAA色情| 五月婷婷之六月丁香| 九九爱激情| 99精品性爱| 久久婷.com| 色婷丨日丨天丨综合久久| 婷婷深爱五月亚洲综合| 99热中文字幕久久| 色香欲综合| 激情伊人| 丁香婷婷久久| 欧美激情综合| 久操乱| 操婷婷基地| 99日本在线| 九月丁香婷婷综合激情| 日夜夜天天| 久久小片| 色综合天堂| 天天色播| 久久99久久99久久99| 综合激情sV| 中文字幕在线不卡| 综合xx网| 五月综合色播播丁香婷婷 | 99九精品| 色五月天激情| 99综合婷婷五月| 99riAV国产精品视频| 九九色精品| 婷婷五月色播放| 激情久久五月天| 精品夜夜澡人妻无码AV| 亚洲中文AV| 草榴视频网| 欧美天天爽| WWW.桔色成人.COM| 五月综合视频| site:pnnrt.com| 7777国产盗摄农村女人| 成人毛片在线免费观看| 精品久久二6| 久久网思思| 婷婷色婷婷| 五月丁香婷婷色| 久久婷婷五月综合网| 欧美色宗和激情| 男人天堂亚洲综合| 草综合14| 99热只有| 婷婷狠狠爱| 大香蕉五月天婷婷| 日日鲁鲁夜夜爽爽| 天天草天天爽| 97色色网| 97在线视频 欧美| 久久婷婷视频| 久热播这里只有精品| 男人天堂99| 专区无日本视频高清8| 国产黄色av| 日韩色色网| 激情综合色播| 日本五月婷婷| 色99欧洲色19| 六月丁香啪啪| 丁香五月婷婷激情蜜桃| 午夜五月天| 碰人人97| 99色这里| 六月综合婷婷开心伊人| 五月综合久久| 香蕉中文在线| VA五月激情在线| 欧美色五月天| 婷婷综合五月天| 亚洲中文AV网站| 九色综合网| 狼人婷婷综合| 天天干天天色天天干| 五月天婷婷影院| 超碰国产一区| 丁香五月婷婷深爱综合激情| 五月色影院| 日韩成人综合网| 少妇婷婷五月天| 婷婷丁香人妻| 五月丁香六月婷| 色网五月婷婷| 日韩另类| 99热在线只有精品| 99热这里只有精| 婷婷五月天亚洲综合| 五月天婷婷六月| 变态另类9| 激情五月婷婷色综合| 五月天五月色婷婷综合| 五月丁香激情综合久久| 国产五月视频| 免费AV播放| 欧美黄色韩日网| 风流少妇A片一区二区蜜桃| 日本丁香久在线| 婷婷四色成人综合色视| 久久机热/这里只有精品| 丁香六月青青草| 中文不卡一二三区| 91蜜桃婷婷狠狠久久综合9色| 天堂网亚洲色图| 婷婷色5月天在线。| 玖玖爱资源站| 怡红院成人AV| 色五月天成人在线| 五月亭亭直播| 五月丁香久久色| 国产色五月婷婷| 色噜噜综合网| 青青草原亚洲天堂| xxx.色婷婷| 丁香性爱在线视频| 五月丁香爱婷婷深深| 久久婷网| 另类亚洲电影| 梁铮版蜘蛛女在线观看| 久久9久| 91精品国产色猫| 丁香五月天婷婷中文| 丁香六月在线| 五月丁香六月婷婷成人| 婷婷五月视频| 91在线操逼视频| 丁香五月网络网络| 久久久18| 99亚洲精美视频在线观看| 五月天激情网开心网| 日韩精品无码一区二区| 色综久久AV| 一本久道综合色婷婷五月| 婷婷五月中文字幕| 色丁香影院| 五月美女婷婷风骚| 亚洲婷婷丁香五月天激情小说| 99久久6| 久久久久亚洲AV无码网影音先锋| 四月丁香五月婷婷久久| 9 7总站超级碰免费视频| 婷五月天在线草| www激情| 婷婷伊人中文字幕| AV色婷婷| 99久久精彩视频| 久久99性爱| 久久丁香综合精品综合| 婷婷丁香五月天小说| 91狠狠综合久久| 九九热超碰| 五月色网| 成人婷婷| 超碰a女人的天堂| 成人在线观看一区| 五月丁香六月婷婷操操操| 色播jjjj| 最新亚洲色色网| 另类少妇人与禽zOZZ0性伦| 亚洲美女婷婷五月天| 狠狠狠狠狠狠狠狠| 99九九久久| 网色99| 激情久久五月天| 久久草中文日韩欧美| 99色五月| 五月天伊人久久久久| 欧美WW在线网| 青青草五月天| 久久五月天网| 五月天色综合| 婷婷丁香五月91| 人人爱摸视频| 9热在线观看| www.夜夜| 大香蕉99| 色射影院| 中文字幕婷婷| 我爱大香蕉| 天天爽在线视频| 婷婷五月天影院| 六月激情婷婷| 激情五月天在线视频| 国产精品大香蕉| 婷婷伊人綜合中文字幕小说| 91日本在线观看| 网站免费一站二站| 9一精品视频观看| 婷婷五月天久久久| 日本九九九九九九| 久久久精品人妻| 色五月婷婷天堂| 99热在线这里| 精品无码片| 五月婷婷成人| 夜夜久久综合网 | 日本不卡高字幕在线2019| tingtingzonghewang| 99免费在线视频| 欧洲亚洲最新精品| 欧美精品中文字幕亚洲专区| 六月丁香五月激情婷婷| 六月婷婷天堂| 丁香五月av| 午夜婷婷久久| 色爱综合网| 久热精品视频在线观| 久久久人妻| www.99热最新视频8| 日日躁夜夜躁狠狠久久AV| 99热99这里有免费的精品| 久久久潮喷-久久久九九-成人AV| 五月婷婷真爱激情网| 久久婷婷丁香视频网| 婷婷激情人妻| 99热这里在线精品| 国产精品久久久爽爽爽麻豆色哟哟| 五月天婷婷成人资源站| WWW.久久99| 激情综合色图| 五月综合亚洲色| 午夜天堂一区人妻| 婷婷五月激情在线视频| 无码A片一区二区免费| 人妻人人操| 婷婷五月蜜桃成人桃色丁香| 中文字幕婷婷9月天| 激情五月www| 久久久欧美精品sm网站| 五月丁香六月激情综合| 性五月激情| 淫五月停停| 丁香婷婷五月| 亚洲操逼网| 欧美激情性做爰免费视频| 狠狠操狠狠做| 91在线视频综合| 狠狠搞狠狠操| 亚洲99激情| 99热在线极品极品| 丁香婷婷色九月| 丁香六月婷婷久久综合八月| 丁香五月综合网| 亚洲五月天另类小说图片| 色九九综合| 国产午夜精品AV一区二区麻豆| 久久久精品色| 色婷婷免费观看| 国产精品久久久久久久久久免费| 婷婷王月天影院| 91成人视频| 另类少妇人与禽zOZZ0性伦| 婷婷五月视频| 大香蕉五月天| 老美AA片| 久久亚洲天堂| 五月伊人综合| 五月婷婷丁香大香蕉| 色爱亚洲| 狠狠狠狠狠草| 99碰在线视频| 无码操B| 色5月婷婷| 亚洲色图五月丁香| 欧美性生交XXXXX无码小说| 天天激情| 欧韩性爱| 色开心五月婷婷丁香HD| 婷婷五月丁香综合| 开心五月婷婷六月丁香| 91干网| 99ri精品| 丁香五月激情在线| 99色在线视频观看| 黄色网址五月婷婷| 激情久久久久久| 久久久99精品| 色婷婷a v| www.色五月| AV操操操| 国产日批视频| 午夜婷婷久久| 国产AV一区二区三区最新精品| 丁香久久| 涩涩涩,com| www.com色播五月天| 能看的av| 亭亭玉月丁香| 久久er免费视频| 五月婷婷性爱视频| 亚洲人妻av| 五月丁香六月婷婷姐| 日本在线视频手机播放五月婷| 99色.com| 被强行糟蹋的女人A片| 久超超碰| 丁香五月成人在线| 在线色色| 99视频啪啪| 99热99在线| 天天摸天天透天天舔| 天天插天天很| 国产.亚洲.欧洲视频在线| 欧美性生交XXXXX无码小说| 99热9999| 九九热这里只有精品31| 轮奸综合网| 婷婷色基地在线看| 国产做爰视频免费播放| 9久国产精品| 色色丁香激情五月| wuyuedingxiang99| 99视频久久久| 五月激情丁香啪啪| 天天日天天干天天操| 夜夜操夜夜操| 人人爽人人爽人人爽人人爽| 99热网址| 超碰色碰碰| 天天插天天插| 五月丁香激情综合啪啪| 操熟女成人网| 婷婷五月在线免费| 99草视频在线观看| 五月丁香婷婷欧美色图视频五月丁香777电影 | 久久99大| 另类专区在线观看| 天天色丁香| 五月婷婷开心综合| 欧美99热| 五月天堂婷婷| 亚洲无码九九九| 五月天色小说| 激情五月婷婷五月| 超碰人人91| 新精品99| 人人爱天天摸摸天天爱| 97在线精品| 69人妻人人澡人人爽久久| 热久久999| 五月综合视频| 久久激情综合| 亭亭五月天成人| 热99视频精品| 五月婷亚洲精品AV天堂| www.com任你艹| 色五月婷婷在线观看第一页舔| 五月丁香啪啪网| 五月丁香婷婷在线| 影音先锋91资源站| 色色日本| 亚洲一区二区无码蜜乳av| 久久与婷婷| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 99热费观看| 丁香五月aV| 五月久久五月激情| 99色综合网| 99热精品10| 精品一区二区三区三区| 欧美一级a | www.91在线观看| 中文av网| 六月丁香社区| 武汉美女啪啪视频免费一级片| 婷婷五月开心中文字幕色| 婷婷成人网五月天| 黄网在线免费观看| 色五月超碰| 亚洲无码成人网| 激情熟女网| 亭亭丁香97| 日本在线观看aaa 99| 99热国产在线| 九九热青草| 国产精品第一国产精品| 97碰碰碰免费公开在线视频| 五月综合视频| 色五月婷婷老师| 九九九热精品| 婷婷伊人久久| 自拍偷窥99热| 久久久五月五丁香| 天天弄天天操| 色激情五月天| 天天爽,夜夜爽| 99国产在线| 日韩三级高清无码| 丁香婷婷色| 天天五月天综合网址| 六月婷婷激情小说网| 五月婷婷激情中心| 青草激情在线| 天天射影视综合网| 无码激情精品色婷婷久久久久| 婷婷丁香五月激情中文字幕版| 婷婷五月丁香六月伊人网| Av性爱网站| 婷婷激情丁香五月婷婷激情丁香五月婷婷| 丁香婷婷五月综合影院| 国产五月天婷婷| 久99久精品| 97色色色| 五月丁香999| 色欲久久综合| 五月丁香激情综合网| 久久婷婷五月天激情新地址| 日韩成人网址| 中海油常州环保涂料有限公司| 日本女天天爽| 熟女乱论网| 日本的α片xxxwww| 天天色,天天操,天天射| 九九视频热| 99色视频免费在线规看| 女高怪谈在线观看| 操操操Av| 五月婷婷激情综合| 97碰| 中文字幕在线播放视频| 亚洲激情网| 亚洲日日操| 五月丁香色婷婷| 国产午夜精品一区二区三区四区| 粉嫩AV久久一区二区三区 | 丁香六月天堂| 成人开心五月天| 夜色综合网| 综合婷婷久久| 中文字幕 中文字幕明步| 99国产精品久久久久久久久久久| 五月婷婷视频| 一起操最新网址| 大天天伊人| AV在线大香蕉| 玖玖色综合| ji'qing'luan'ren'lun| 久热这里只有精品在线| 九九久久网| 91黄操| 国产精品大香蕉| 五月婷婷无码| 99热在线极品极品| 婷婷六月色情| 91超碰在线播放| Av狠狠色丁香婷| 日韩小视频在线99| 婷婷五月天欧美| 久草视频一,二三四| 99精品综合视频| 伊人在线视频| 9久热在线精品| 欧洲综合视频| 5月色婷婷| 日韩乱玛久久| 九九色播五月丁香| 中文字幕 中文字幕明步| 色婷视频| 婷婷日日天天| 91午夜激情| 日韩啪啪视频| 五月天婷婷色综合| 亚洲妇女熟BBW| 丁香六月婷婷色XXXXX| 91丨九色丨熟女| 九九精品片一| 日本熟女内射| 亚洲婷婷五月天| 激情亚洲网| 五月Huangsewang| 久久精品噜噜噜成人A∨色欲| 91天天操天天干天天射| 97色色色色色色色色色色色色色| 婷婷五月天六月| 久久狠狠干| 狠狠综合网| www.激情五月天.con| 97人人操人人爽| 五月天玖玖狠狠色色|