欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

深入拆解ThreadLocal:線程隔離、弱引用、內(nèi)存泄漏與OOM排查

深入拆解ThreadLocal:線程隔離、弱引用、內(nèi)存泄漏與OOM排查 并發(fā)編程系列寫到這一篇前面的內(nèi)容基本都在圍繞一個詞打轉(zhuǎn)共享。鎖、原子類、并發(fā)容器本質(zhì)上都是想讓多個線程更安全、更高效地協(xié)作同一份數(shù)據(jù)。而ThreadLocal的思路是反著來的——既然共享這么容易出問題那干脆每個線程各存一份誰也別碰誰的。這個思路聽著簡單但背后牽扯到弱引用、內(nèi)存泄漏、線程池上下文傳遞一系列坑值得用一整篇來拆。ThreadLocal解決的是線程隔離問題不是并發(fā)原子性問題搞清楚這一點后面所有原理和實戰(zhàn)姿勢才立得住。這一篇我打算從最經(jīng)典的SimpleDateFormat翻車現(xiàn)場切入先讓你明白ThreadLocal到底解決了什么問題然后進(jìn)源碼拆一遍set/get/remove的完整鏈路重點講ThreadLocalMap的哈希設(shè)計和弱引用機(jī)制接著把內(nèi)存泄漏的形成鏈路徹底還原說清楚為什么線程池是重災(zāi)區(qū)再給出實戰(zhàn)層面的使用規(guī)范包括remove的幾種姿勢和上下文封裝思路最后記錄一次線上OOM排查實錄手把手走一遍jmap加MAT的定位流程。適合剛學(xué)并發(fā)編程的同學(xué)建立正確認(rèn)知也適合被ThreadLocal泄漏或臟數(shù)據(jù)坑過的人對照著排查。1. 從SimpleDateFormat翻車現(xiàn)場切入ThreadLocal到底解決了什么問題1.1 SimpleDateFormat在多線程下的崩潰如果你在Java后端寫過日期格式化大概率見過這個經(jīng)典事故一個SimpleDateFormat實例被多個線程同時調(diào)用parse()或format()結(jié)果日期串錯位、數(shù)字亂掉甚至直接拋NumberFormatException。private static final SimpleDateFormat SDF new SimpleDateFormat(yyyy-MM-dd HH:mm:ss); public String formatDate(Date date) { return SDF.format(date); // 并發(fā)調(diào)用時偶發(fā)錯亂 }根因不復(fù)雜SimpleDateFormat內(nèi)部維護(hù)了一個Calendar對象format()和parse()過程中要反復(fù)讀寫這個共享的Calendar。多個線程同時操作同一份可變狀態(tài)又沒有同步數(shù)據(jù)被互相覆蓋自然就亂了。你單獨跑單測永遠(yuǎn)復(fù)現(xiàn)不出來一壓測就現(xiàn)原形。1.2 加鎖、每次新建和ThreadLocal三條路的取舍解決這個線程安全問題通常有三條路。第一條是給format()加synchronized或使用ReentrantLock。這能保證正確性但等于把并發(fā)的日期格式化全部串行化。想象一個支付系統(tǒng)每秒鐘幾千筆訂單都要格式化時間所有請求擠在同一把鎖上性能損耗肉眼可見。第二條是每次調(diào)用都new SimpleDateFormat()。這條路避免了共享可變狀態(tài)但頻繁創(chuàng)建對象會增加GC壓力。雖然JIT的逃逸分析在部分場景能把對象優(yōu)化到棧上但依賴編譯器優(yōu)化本身不可靠尤其在對象構(gòu)造較重、調(diào)用頻繁時效果并不穩(wěn)定。第三條就是用ThreadLocal給每個線程緩存一個SimpleDateFormat實例private static final ThreadLocalSimpleDateFormat DATE_FORMAT ThreadLocal.withInitial(() - new SimpleDateFormat(yyyy-MM-dd HH:mm:ss)); public String formatDate(Date date) { return DATE_FORMAT.get().format(date); }每個線程第一次get()時通過withInitial創(chuàng)建自己的實例之后一直復(fù)用。線程之間互不干擾不需要加鎖也不存在頻繁創(chuàng)建對象的開銷。這也直接點出了ThreadLocal的核心定位給每個線程一份獨立的私有副本把共享問題轉(zhuǎn)化成隔離問題。方案是否線程安全并發(fā)度對象創(chuàng)建開銷代碼侵入synchronized加鎖安全低串行無額外對象低每次new實例安全高高依賴GC兜底低ThreadLocal緩存安全高每個線程僅一次中需注意清理1.3 ThreadLocal解決的是線程隔離不是并發(fā)修改不少初學(xué)者把ThreadLocal當(dāng)成線程安全的Map來用這是個危險的誤解。ThreadLocal并不保證你對某個對象內(nèi)部狀態(tài)的修改是原子的它只是讓每個線程看到不同的對象實例。你往ThreadLocal里放一個共享的ArrayList再讓100個線程同時往這個List里add那該出事還是出事因為List本身還是同一個。所以在實踐中ThreadLocal的典型場景是那種每個線程天然該有一份但又不方便作為參數(shù)層層傳遞的東西事務(wù)連接、用戶登錄上下文、traceId、請求級別的緩存、框架層面的上下文對象。Spring的RequestContextHolder、MyBatis的SqlSessionTemplate在底層都用ThreadLocal綁定當(dāng)前線程的資源。理解這點你才不會被后續(xù)的內(nèi)存泄漏問題帶偏思路——它存儲的本質(zhì)是線程級上下文而不是并發(fā)安全容器。2. ThreadLocal的源碼級拆解線程本地變量是怎么存進(jìn)去、取出來的2.1 每個線程都自帶了兩個Map字段很多人以為ThreadLocal是把數(shù)據(jù)存在ThreadLocal對象里這是錯的。真正存儲數(shù)據(jù)的地方是Thread類內(nèi)部的兩個字段threadLocals和inheritableThreadLocals??碕DK源碼里Thread.java的字段定義一目了然ThreadLocal.ThreadLocalMap threadLocals null; ThreadLocal.ThreadLocalMap inheritableThreadLocals null;每個線程對象自帶一個ThreadLocalMap。當(dāng)你調(diào)用ThreadLocal.set(value)的時候本質(zhì)是把當(dāng)前線程的threadLocals這個Map取出來往里面塞了一條記錄key是ThreadLocal對象自身value是你傳入的數(shù)據(jù)。不同ThreadLocal實例就是同一個線程Map里不同的key。所以線程隔離的準(zhǔn)確含義是數(shù)據(jù)分散存儲在各個線程自己的Map里而不是存在ThreadLocal對象上。inheritableThreadLocals則是給子線程用的后面講子線程傳遞時再細(xì)說。這里先記住getMap(t)方法本身沒做什么高深的事它就是返回t.threadLocals這個字段。很多人在看源碼時卡在這個方法上其實它就是個訪問器熱詞里那句threadlocal getmap指的就是這一步。ThreadLocalMap getMap(Thread t) { return t.threadLocals; }2.2 set、get、remove的完整調(diào)用鏈先看set()在JDK 8里的實現(xiàn)public void set(T value) { Thread t Thread.currentThread(); ThreadLocalMap map getMap(t); if (map ! null) map.set(this, value); else createMap(t, value); }流程很直白拿到當(dāng)前線程取出它的threadLocals如果Map已經(jīng)存在就直接往里放不存在就創(chuàng)建一個新Map并塞入第一條記錄。createMap內(nèi)部會new一個初始容量16的ThreadLocalMap并把當(dāng)前ThreadLocal和value作為第一個Entry放進(jìn)去。再看get()public T get() { Thread t Thread.currentThread(); ThreadLocalMap map getMap(t); if (map ! null) { ThreadLocalMap.Entry e map.getEntry(this); if (e ! null) return (T)e.value; } return setInitialValue(); }線程的Map存在并且能找到以當(dāng)前ThreadLocal為key的Entry就返回里面的value找不到就調(diào)用setInitialValue()——它會執(zhí)行initialValue()方法默認(rèn)返回nullwithInitial就是重寫這個方法把初始值塞進(jìn)Map再返回。remove()更直接public void remove() { ThreadLocalMap m getMap(Thread.currentThread()); if (m ! null) m.remove(this); }看到這里你應(yīng)該已經(jīng)發(fā)現(xiàn)一個關(guān)鍵點ThreadLocal的線程隔離能力完全建立在每個Thread對象內(nèi)部的Map之上。這意味著只要線程還活著它Map里所有的value都不會被自動釋放。這條結(jié)論是理解內(nèi)存泄漏的起點。2.3 哈希散列為什么ThreadLocal敢用線性探測硬扛沖突ThreadLocalMap底層是個Entry數(shù)組初始容量16負(fù)載因子是2/3。每個ThreadLocal實例在創(chuàng)建時都會通過一個全局的AtomicInteger累加得到一個threadLocalHashCode增量是那個著名的魔數(shù)0x61c88647源碼里叫HASH_INCREMENT。private final int threadLocalHashCode nextHashCode(); private static int nextHashCode() { return nextHashCode.getAndAdd(HASH_INCREMENT); }為什么要定這個增量它和黃金分割比例有關(guān)對應(yīng)的是斐波那契散列。簡單說0x61c88647能保證ThreadLocal的哈希值在數(shù)組長度是2的冪時均勻地散布在槽位上最大程度避免多個ThreadLocal擠在同一條探測序列上。你不需要深挖數(shù)學(xué)推導(dǎo)只要記住結(jié)論ThreadLocalMap的鑰匙分布是經(jīng)過精心設(shè)計的所以在ThreadLocal數(shù)量不多的前提下用開放地址法線性探測解決沖突就夠了不需要像HashMap那樣掛鏈表、轉(zhuǎn)紅黑樹。定位槽位的語句是這樣的int i key.threadLocalHashCode (table.length - 1);table.length永遠(yuǎn)是2的冪所以按位與等價于取模而且比取模快。如果槽位被占就往后找空位找的時候如果遇到key為null的過期Entry還會順手做清理。這套機(jī)制讓ThreadLocalMap在低沖突場景下性能非常好代價是它不適合存儲大量key——如果你在一個線程里new了幾百個ThreadLocal線性探測的性能就會明顯劣化。這也是為什么實戰(zhàn)規(guī)范里強(qiáng)調(diào)能復(fù)用的ThreadLocal盡量復(fù)用。3. 弱引用不等于安全ThreadLocal內(nèi)存泄漏的完整鏈路分析3.1 Entry的引用鏈key是弱引用value是強(qiáng)引用先看ThreadLocalMap.Entry的定義static class Entry extends WeakReferenceThreadLocal? { Object value; Entry(ThreadLocal? k, Object v) { super(k); value v; } }注意Entry繼承自WeakReference也就是說Entry本身是個弱引用引用的是key也就是ThreadLocal對象。而value字段是一個普通強(qiáng)引用。整條引用鏈畫出來是這樣Thread 對象 └─ ThreadLocalMap └─ Entry[] └─ Entry (弱引用 - ThreadLocal key) └─ value (強(qiáng)引用 - 你塞進(jìn)去的數(shù)據(jù))弱引用的語義是當(dāng)GC發(fā)生時如果一個對象只被弱引用指向沒有任何強(qiáng)引用它就會被回收。也就是說ThreadLocal對象一旦在業(yè)務(wù)代碼里失去外部強(qiáng)引用比如方法局部變量用完了GC就有資格回收它Entry的key就變成null。這看起來是個保護(hù)機(jī)制框架不知道業(yè)務(wù)什么時候不再需要ThreadLocal所以用弱引用保證ThreadLocal實例本身可以被回收。但value沒有這層保護(hù)。value是強(qiáng)引用只要Entry還在value就一直在。而Entry被線程的ThreadLocalMap持有ThreadLocalMap又被線程對象持有。只要線程還活著這條鏈就斷不開。3.2 泄漏的完整形成條件我見過很多人把ThreadLocal內(nèi)存泄漏簡單歸結(jié)為用了弱引用這其實是誤解。弱引用恰恰是為了避免ThreadLocal對象本身泄漏真正的問題出在value的強(qiáng)引用鏈上。一個完整的泄漏需要同時滿足三個條件ThreadLocal對象失去外部強(qiáng)引用。最常見的是在方法內(nèi)部直接new ThreadLocal()使用方法執(zhí)行完局部變量沒了ThreadLocal實例只剩Entry里的弱引用GC一發(fā)生就被回收。線程是長生命周期的。線程池里的worker線程、Tomcat的請求處理線程都是長期存活的只要線程不死它的ThreadLocalMap就一直在。沒有后續(xù)操作觸發(fā)清理。如果后面再也不碰這個ThreadLocalMap底層的expungeStaleEntry()清理邏輯永遠(yuǎn)不會執(zhí)行value就變成永遠(yuǎn)無法訪問但一直被強(qiáng)引用的垃圾。典型的業(yè)務(wù)場景長這樣public void handleRequest(Request req) { ThreadLocalbyte[] holder new ThreadLocal(); holder.set(new byte[1024 * 1024]); // 1MB // 業(yè)務(wù)處理... // 忘記remove方法結(jié)束后holder失去外部引用 }如果這個handleRequest被丟進(jìn)一個線程池執(zhí)行每個請求都new一個ThreadLocal并set入大對象那么每次請求都會在線程的Map里留下一個key為null、value為1MB數(shù)組的過期Entry。線程池線程不死這些Entry就永遠(yuǎn)躺在那里。QPS稍微高一點內(nèi)存漲起來非??臁?.3 線程池既是泄漏放大器也是臟數(shù)據(jù)制造機(jī)線程池把線程長生命周期這個條件放大了。普通線程執(zhí)行完一個任務(wù)就結(jié)束整個ThreadLocalMap隨著線程銷毀被回收根本談不上泄漏。但線程池的worker線程是復(fù)用的它們一直在等新任務(wù)threadLocals這個Map也跟著一直存活。線程池還會帶來第二個問題臟數(shù)據(jù)串線。假設(shè)你寫了一個登錄用戶信息上下文private static ThreadLocalUser currentUser new ThreadLocal();任務(wù)A里執(zhí)行了currentUser.set(userA)但忘了remove任務(wù)A跑完worker線程回到池子里待命。任務(wù)B被分配到同一個worker線程如果任務(wù)B的代碼路徑在某個分支沒有主動set用戶信息它currentUser.get()讀到的就是用戶A的信息。輕則業(yè)務(wù)數(shù)據(jù)錯亂重則出現(xiàn)越權(quán)訪問。這類問題在代碼Review里很難發(fā)現(xiàn)因為它不是必現(xiàn)的完全取決于線程池把哪個任務(wù)分配給哪個worker。所以在線程池場景下ThreadLocal的正確用法不是用完等GC而是用后必須remove甚至要在任務(wù)最外層做防御性清理。3.4 ThreadLocalMap的兜底清理機(jī)制能救命但不能依賴JDK的設(shè)計者當(dāng)然知道這個坑所以ThreadLocalMap在幾個關(guān)鍵操作里內(nèi)置了清理邏輯set()時如果發(fā)現(xiàn)相同key的Entry會用新值覆蓋并對探測路徑上的過期Entry做清理get()未直接命中時會在getEntryAfterMiss()里線性向后找遇到key為null的Entry會調(diào)用expungeStaleEntry()把value置null、槽位置空rehash()時也會先全面清理再擴(kuò)容。這套機(jī)制確實能在很多情況下兜底比如你反復(fù)set同一個ThreadLocal舊的過期Entry大概率會被順帶清掉。它的問題是一切清理都必須由后續(xù)的set/get/remove操作觸發(fā)。如果線程執(zhí)行完任務(wù)后長時間閑置沒有任何關(guān)于這個Map的操作過期Entry就一直靜止在內(nèi)存里。你指望GC救你但GC根本碰不到value——它有一條完整的強(qiáng)引用鏈。結(jié)論很明確底層清理是優(yōu)化不是保障業(yè)務(wù)側(cè)的remove()才是唯一靠得住的釋放手段。4. 實戰(zhàn)守則如何正確使用ThreadLocal而不埋雷4.1 remove是底線三種清理姿勢先說最基礎(chǔ)的姿勢也是我要求團(tuán)隊必須遵守的用完之后在finally里remove無論正常返回還是拋出異常都必須執(zhí)行。private static final ThreadLocalString TRACE_ID new ThreadLocal(); public void process() { try { TRACE_ID.set(generateTraceId()); doSomething(); } finally { TRACE_ID.remove(); } }為什么必須在finally而不是在方法末尾因為方法中間拋了異常末尾的remove根本執(zhí)行不到然后殘留值就留在線程里了。線上拋異常是常態(tài)不是意外。很多泄漏就是在某個異常分支里漏掉了清理。第二種姿勢是在框架的攔截器或過濾器中統(tǒng)一清理。以Spring Web應(yīng)用為例如果你需要請求級的上下文更推薦用HandlerInterceptor的afterCompletion方法public class TraceIdInterceptor implements HandlerInterceptor { Override public void afterCompletion(HttpServletRequest request, HttpServletResponse response, Object handler, Exception ex) { TraceContext.clear(); // 內(nèi)部調(diào)用ThreadLocal.remove() } }Filter或者Interceptor的好處是入口和出口都在框架層面業(yè)務(wù)代碼不需要在每個方法里try-finally漏清理的概率大大降低。第三種姿勢是封裝成AutoCloseable配合try-with-resources使用public class AutoThreadLocalT extends ThreadLocalT implements AutoCloseable { Override public void close() { remove(); } }這種寫法適合那種只在單個方法里臨時用的場景代碼會更緊湊但我個人更推薦前兩種——因為try-with-resources要求每個用到的代碼塊都正確寫語法而Filter/Interceptor是集中式治理對團(tuán)隊更友好。4.2 static修飾符到底該不該加這是一個經(jīng)常被問到的點。結(jié)論分兩種情況。如果ThreadLocal是Spring單例Bean的成員變量那實例只有一份ThreadLocal對象長期存活相當(dāng)于static。這種情況下用不用static修飾影響不大但為了語義清晰統(tǒng)一用private static final。真正危險的是在短生命周期對象里持有ThreadLocal。比如一個每次請求都new的Helper類里面定義了一個實例字段ThreadLocalString holder。Helper對象在請求結(jié)束時失去引用ThreadLocal對象也失去強(qiáng)引用GC把這key回收后Map里就剩一個value還在。如果這個請求跑在線程池里下次任務(wù)又new一個新的Helper、新的ThreadLocalMap里的過期Entry持續(xù)累積。這種寫法是我在代碼Review里看到最多的隱性雷。所以我的建議是ThreadLocal實例能定義為static final就優(yōu)先static final。它不會讓你少寫remove但能避免ThreadLocal對象本身被GC回收導(dǎo)致value失聯(lián)這條更隱蔽的泄漏路徑。4.3 統(tǒng)一封裝上下文工具類把ThreadLocal關(guān)進(jìn)籠子業(yè)務(wù)代碼里散落使用ThreadLocal最大的問題不是語法錯誤而是管理混亂。今天你在A服務(wù)里set了個用戶ID明天B服務(wù)也想用又不好意思改A的代碼于是自己又new了一個ThreadLocal。線程Map里的key越來越多清理也越來越不徹底。我建議每個項目針對線程級上下文做統(tǒng)一封裝。比如這樣一個TraceContextpublic final class TraceContext { private static final ThreadLocalString TRACE_ID new ThreadLocal(); private TraceContext() { } public static void setTraceId(String traceId) { TRACE_ID.set(traceId); } public static String getTraceId() { return TRACE_ID.get(); } public static void clear() { TRACE_ID.remove(); } }然后在整個調(diào)用鏈的最外層——Filter、Interceptor、或者異步任務(wù)的入口——統(tǒng)一調(diào)用setTraceId統(tǒng)一在finally里調(diào)用clear。業(yè)務(wù)代碼只通過靜態(tài)方法讀寫不需要知道底層的ThreadLocal長什么樣。這樣做還有一個好處以后想換成TransmittableThreadLocal只需要改這一個類不用滿項目找散落的ThreadLocal.set/get。4.4 子線程與線程池的變量傳遞InheritableThreadLocal的局限和TTL的解法很多場景需要把父線程的上下文傳到子線程比如異步任務(wù)里記錄traceId。JDK提供的原生方案是InheritableThreadLocal。它的實現(xiàn)原理是父線程創(chuàng)建子線程時把父線程的inheritableThreadLocals里的Entry復(fù)制一份給子線程。注意是創(chuàng)建線程那一刻的快照而且這個復(fù)制是淺拷貝——如果value是可變對象父子線程持有的是同一個引用并發(fā)修改照樣有競爭問題。InheritableThreadLocal最大的局限在于線程池。線程池的worker線程不是每次任務(wù)都新建的它早在提交任務(wù)之前就創(chuàng)建好了。父線程想傳值給worker線程根本不觸發(fā)線程創(chuàng)建過程InheritableThreadLocal完全無效。而且即使你第一次提交任務(wù)時值傳過去了下次提交新值也不會更新因為worker線程不會再走創(chuàng)建線程復(fù)制這條路徑。這個場景下業(yè)界更常用的方案是阿里開源的TransmittableThreadLocal簡稱TTL。它的思路是在任務(wù)提交時捕獲當(dāng)前線程TTL值的快照任務(wù)真正執(zhí)行前把快照回放到執(zhí)行線程上執(zhí)行結(jié)束后恢復(fù)執(zhí)行線程原有的值。使用方式很簡單ExecutorService executor TtlExecutors.getTtlExecutorService(executorService); executor.submit(() - { // 這里能正確讀到提交任務(wù)時的上下文 });不引入依賴包的情況下你也可以自己包裝Runnable在run()前后手動set/remove實現(xiàn)思路和TTL一致提交時快照執(zhí)行前回放執(zhí)行后清理。只不過TTL把這個邏輯封裝好了還支持Java Agent方式自動透傳。如果項目里大量使用線程池且需要傳遞traceId、用戶身份這類上下文建議直接把TTL納入基礎(chǔ)設(shè)施。5. 一次線上OOM排查實錄如何定位到ThreadLocal泄漏5.1 現(xiàn)象老年代持續(xù)上漲但GC后回不去之前接手過一個異步處理服務(wù)現(xiàn)象很典型JVM老年代使用率從啟動后一路爬升Full GC之后也只是從95%降到80%很快又漲回去。接口響應(yīng)時間越來越長最后每天固定OOM一次只能靠重啟續(xù)命。第一反應(yīng)肯定是先看GC日志和內(nèi)存曲線。用jstat看一眼jstat -gcutil pid 1000輸出里重點觀察FGCFull GC次數(shù)和O老年代使用率。如果YGC很頻繁、FGC也在持續(xù)增長但老年代使用率始終處于高位說明堆里有大量對象無法被回收。這時候就要考慮是不是有對象被長生命周期對象比如線程、類加載器、緩存持有形成了事實上的泄漏。值得提醒的是不要一看內(nèi)存高就無腦調(diào)-Xmx。調(diào)大堆只會推遲OOM時間不會解決問題。正確步驟是把堆dump下來看對象構(gòu)成。5.2 用jmap導(dǎo)出堆快照再用MAT定位可疑對象低峰期用jmap導(dǎo)出堆快照jmap -dump:live,formatb,fileheap.bin pid注意live參數(shù)會先觸發(fā)一次Full GC生產(chǎn)環(huán)境盡量在業(yè)務(wù)低谷操作或者改用jcmd pid GC.heap_dump heap.bin。dump文件通常很大本地用MATMemory Analyzer打開。打開后先看Histogram直方圖按retained heap排序。在這個服務(wù)里我很快就看到了一個熟悉的自定義類RequestContext有幾萬個實例retained heap占了差不多1GB。這個類為什么會單例持有那么多實例肯定是被某個容器類緩存了。接下來右鍵這個類選擇List objects - with incoming references看看引用它的是什么。你會看到大量引用來自java.lang.ThreadLocal$ThreadLocalMap$Entry這就基本鎖定方向了這些對象都被ThreadLocalMap里的Entry強(qiáng)引用著。5.3 順著GC Roots路徑確認(rèn)是ThreadLocal鏈確認(rèn)這一步需要右鍵對象選Path to GC Roots - exclude weak references。如果之前看過一遍ThreadLocal的引用鏈此刻再看這條路徑會非常清晰Thread (worker線程) └─ ThreadLocalMap └─ Entry[ ] └─ Entry └─ value (RequestContext實例)路徑里能看到Thread對象是GC Roots因為線程池里的worker線程都活著正等著新任務(wù)。順著路徑往下還會發(fā)現(xiàn)一個關(guān)鍵細(xì)節(jié)很多Entry的key已經(jīng)是null了。這說明ThreadLocal對象本身已經(jīng)被GC回收但value還躺在Entry里。這就是典型的key弱引用被回收、value強(qiáng)引用殘留的泄漏形態(tài)。如果只看Entry數(shù)量還不足以定位到代碼就再切到線程棧視圖把目標(biāo)Thread的線程棧打出來看看這個線程最近在執(zhí)行什么業(yè)務(wù)然后回代碼里找這個業(yè)務(wù)鏈路上的set()調(diào)用。我當(dāng)時就是從worker線程綁定的任務(wù)名一路追到一個公共的異步切面發(fā)現(xiàn)在切面里為了記錄traceId每次請求都new ThreadLocal()set完之后沒有remove方法結(jié)束ThreadLocal失去強(qiáng)引用剩下的value就全留在線程池線程的Map里了。5.4 修復(fù)與驗證一行remove解決幾百MB內(nèi)存修復(fù)方案很簡單把那個切面里的new ThreadLocal改成靜態(tài)常量并在finally塊里調(diào)用remove()。public class AsyncTraceAspect { private static final ThreadLocalString TRACE_ID new ThreadLocal(); public Object around(ProceedingJoinPoint point) throws Throwable { try { TRACE_ID.set(buildTraceId()); return point.proceed(); } finally { TRACE_ID.remove(); } } }改完之后再用jmap導(dǎo)一次堆用MAT對比修復(fù)前后的對象數(shù)量。最直觀的驗證指標(biāo)有兩個一是RequestContext的實例數(shù)從幾萬降到了和線程數(shù)同一量級二是老年代使用率在幾次Full GC后穩(wěn)定在30%左右不再持續(xù)爬坡。這個效果不是靠調(diào)參數(shù)調(diào)出來的是真正把引用鏈斷了。排查過程中還有一個容易忽略的點如果你在MAT里用exclude weak references查不到GC Roots路徑不要慌。key為null的Entry本身已經(jīng)斷開了對ThreadLocal的引用MAT的弱引用排除規(guī)則可能導(dǎo)致路徑不顯示。這時候換include all references再查或者直接在Dominator Tree里找ThreadLocalMap通常能看到完整的引用鏈。這次排查給我留下的最深印象是ThreadLocal泄漏很少是單個大對象的問題更多是業(yè)務(wù)對象被線程池線程長期持有的組合問題。你單看每個對象都不算大但線程池有幾百個線程每個線程攢幾百個過期Entry就是幾百MB甚至上GB的垃圾。它在代碼Review階段極難發(fā)現(xiàn)因為所有set/remove分散在各個方法里沒有一個集中的審視點。這也是為什么我會在前面的實戰(zhàn)部分反復(fù)強(qiáng)調(diào)統(tǒng)一封裝和攔截器清理——線上少踩一個坑比事后排查輕松太多。最后分享一個我個人的習(xí)慣線上服務(wù)里如果需要排查ThreadLocal相關(guān)的問題除了jmap和MAT也可以用Arthas的watch命令觀察某個上下文類的set和remove調(diào)用次數(shù)。如果發(fā)現(xiàn)set被瘋狂觸發(fā)但remove幾乎不觸發(fā)那基本不用dump堆也能判斷問題出在哪了。這套組合拳下來ThreadLocal這個線程私有的小籠子在你手里就不再是黑盒了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99re热视频这里只有综合亚洲| 日日爽日日| 热久久91| 五月丁香六月色婷| 婷婷五月色激情欧美激情| 五月婷婷爽爽爽| 婷婷五六月丁香| av狠狠操| xx色综合| 99精品在线观看| 成人看片网站| 婷婷五月丁香六月伊人网| 久久婷色| 99日本黄站| 婷婷五月情| 91精品又长又大又粗又爽又猛| 婷婷色五月天在线| 在线中文亚洲| 久热91| 开心婷婷五月激情网小说| 五月丁香六月激情综合| 狠狠大香婷婷爱| 大香蕉伊人久久| anquye伊人| 狠狠精品干练久久久无码中文字幕| 天天天操天天天爰| 丁香五月天激情| 情欲禁地| 亚洲精品视频电影| 天天综合网、天天综合色| 日韩成人电影AV| 伊人天天色| 香蕉久久av一区二区三区| 五月天久久丁香| 一婬一伦一区二区三区| 中文字幕日产A片在线看| 五月婷婷片| 色色亚洲无码| 久久久久久久久久久44| 欧美激情综合五月色丁香| 人妻在线网站| 丁香五月在线自慰| 色欲五月天| 68热超碰在线| 色色色99| 婷婷五月综合啪| 久久久久久久97| av久热| 农村熟妇高潮精品A片| 天天夜夜爽| 98毛片| 99操视频| 狠狠999| 性爱五月婷| 亚洲色五月天| 久久超级碰碰| 5月婷婷激情网| www.久久| 97操在线视频| 五月亭久久无码视频| 婷婷天天色| 五月涩涩网| 婷婷丁香五月天大香蕉| 亚洲精品字幕在线观看| 在线看片av| 久久久久久久久人妻| 那里有AV网址| 99人妻碰碰碰久久久久| 少妇被躁爽到高潮无码文| 色五月 五月婷婷| 丁香五月日本| 77799热| 日韩在线一级| 免费人人操| 中文字幕人妻AV| 超碰成人黄色网| 99热这里只有精品4| 色狠狠999综合| 激情综合网五月激情| www.亚洲激情| 丁香激情五月综合网| 骚五月婷婷| 4438国产免费看| 人妻中文av| 婷婷色六月| 久久精品A片777777| 色色色在线观看| 51国精产品自偷自偷综合| 狠狠干夜夜干| 丁香五月另类色婷婷麻豆| 人人播| 亚洲天堂AV免费片| 色婷婷中文在线| 色99免费视频中文| 日本操碰碰| 婷婷伊人綜合中文字幕| 婷婷 久综合| 狠狠色狠狠鲁| 五月色婷婷综合丁香精品无遮挡| 任你日视频| 超碰99成人在线| 日本久草福利| 五月丁香色婷婷色| 91丁香| 丁香五月综合| 婷婷的99视频网站| 99 这里只有精品| 夜夜操夜夜姧| 激情爱爱网站超大免费| 色婷婷香蕉| 玖玖婷婷五月天| 狠狠色大香蕉| 丁香婷婷九月| 九九色色| 成人综合网站| 丁香五月成人社区| 九月激情婷婷丁香| 国产婷婷久久| 久青青久| 狠狠操狠狠操AV| 九九热视频这里只有精品| 狠狠88综合久久久久噜噜噜| 婷婷五月丁香综合人妻| 亚洲五月天伊人| 激情五月丁香亭亭| 五月激情天| 色五月色情| 婷婷五月综合色中文字幕| 97色婷婷| 色小说婷婷五月天天天| 九九性爱网| 亚洲性爱区无码区| 婷婷深爱五月亚洲综合| 久久综合激情婷婷激情| 激情五月婷婷开心网| 六月激情久久| 久久久久久综合88| 丁香婷婷激情四射五月| 婷婷丁香六月综合激情站| 五月婷婷丁香色播网| 五月综亚洲| 婷婷五月综合网| 99亚洲天堂| 欧美日韩成人综合9| 99热狠狠操| 中文字幕丰满孑伦无码专区 | 色综合久久99色| 青草青草视频2免费观看| 婷婷五月综合社区在线| 色色精品色| 日日爱699| 丁香桃色网| 国产亚洲精品AAAA片APP| 激情五月天婷婷五月天| 九九热视频精品999| 色天天综合天天综合频道。 | 五月激情网站| 国产真实乱对白精彩| 色婷婷丁香五月| 99热色精品| 午夜激情五月天| 丁婷婷五月天在线播放| 五月天激情久久| 射琪琪| 夜夜爽天天日| 五月丁香777| 婷婷黄色网| 五月综合亚洲| 五月丁香色婷婷色| 亚洲婷婷欧美婷婷| 日韩精品无码99| 婷婷色色网| 亚洲精品乱码久久久久99| 激情六月丁香| 日韩人妻操逼视频| 色天堂A| 夜夜骑夜夜撸| 最新日韩AV中文字幕| 干一干xxxx| 激情五月激情综合俺也去婷婷小说| 色婷婷亚洲婷婷| 91色婷婷综合久久中文字幕二区| 99五月香婷婷丁香在线视频| 五月婷婷免费在线| 1024国产| 日本44久久在线| 日本精品99网站| 六月婷婷综合激情| 五月丁香啪啪啪| 五月丁香在线| 婷婷激情五月天激情小说| 狠狠大香婷婷爱| 婷婷五月天影院| 激情五月婷| www.丁香五月| 久久久五月婷婷| 日本婷久久| 婷婷五月av| 可以看的AV| 淫五月停停| 日韩狠狠色婷婷| 天天操天天曰| 天天上天天爽| 超碰操网| 美女xx不卡| 五月激情婷婷色| 久久久com| 久9久9久9久9久9久9| 日韩成人五月天| 九九综合九| 五月社区婷婷激情| 五月停亭久久电影| 婷婷六月激情| 五月婷婷综合性爱噜噜| 激情综合九月| 精热在线综合网| 色五月天在线观看| 异能之下短剧免费观看全集| 五月丁香综合影院| 开心激情色婷婷五月天| 国产又爽又猛又粗的视频A片 | 五月丁香婷婷色色| 丁香性爱在线视频| 婷婷五月丁香六月| 色宗合久久五月婷婷| 国内一级片| 成人色站,在线视频,看片-SS1AV| 九九在线视频| 日本三级中文字幕| 丰满少妇猛烈A片免费看观看| www久久99com| 色婷婷综合影院| 日本三级日本三级99| 伊人久久激情图区五月| 九九精品在线观看视频6| 99这里只有精品| 欧美成人网99网| 成人美女网| 99爱精品| 五月熟妇婷婷久久| 狠狠色丁香久久| 国产亚洲精品久久久久久郑州| 六月丁香社区| av色婷婷| 丁香色色五月| 婷婷久久五月天| 色色射| 色情五月丁香| 丁香亚洲色综合| 性综合网| 婷婷激情视频| 婷婷丁香五月天狠狠| 午夜色婷婷| 色吧网综合| 开心五月深爱五月| 玖玖婷婷色五月| 日夜夜天天| 超碰人人草| 人妻五月天激情开心网| 精品影院| 五月大香蕉| 五月综合丁香婷婷| 可以直接看的av| 99热首页在线30| 精品五月视频婷婷在线观看| 久久一品区| 综合网精品99| www.99热| 人人干人人看| 久久99久久99精品免观看粉嫩| 五月婷婷综合潮喷| 丁香伊人激情| ss五月天激情| 丁香五月天导航| 日韩影院三级| 亚洲成人av在线观看| 超碰人人摸人人操| www,黄色在线,con| 国产成人精品亚洲线观看| 亚洲日日操| 丁香六月激情综合| 五月丁香激情欧洲啪啪| 国产寻花在线| tingting五月天亚洲| 婷婷伊人| 99视频这里只有免费精品| 午夜丁香婷婷| 久色网| 国产在线黄色| 人人超碰99| 五月天婷婷丁香人人操91| av在线免费播放观看| 伊人婷婷大香蕉在线| 五月婷婷综合在线亚洲视频| 日本成人噜噜| 婷婷综合网在线| 日本色图综合| 开心五月婷婷婷美女| 97偷拍对白视频| 亚洲宗合激情| 熟女网站久久| 大香蕉丁香婷婷| 亚洲视频在线观看| 香蕉人妻AV久久久久天天| 久久久久久久人妻| 五月天婷婷社区| 天天久久狠狠色综合| 免费精品99| 五夜丁香| 99久在线精品99re8| 色爱综合网| 情一色一乱一伦一91A| 色婷婷电影网| 伊人久久丁香狠狠婷婷综合香蕉 | 狠狠干综合| 影音 五月 婷婷 久久| 久久天堂色| 日韩操人| 激情综合自拍五月婷婷色五月| 四季日韩AV无码综合| 五月激情网五月综合网| 丁香欧美| 六月婷婷综合| 六月丁香视频网站| 国内精品99| 天天操天天操天天操天天操天天操天天操| 99啪在线| 99综合| 综合欧美五月婷婷| 91 欧美| 久久色五月天综合网| 伊人久久大香线蕉亚洲五月天,| 婷婷九月丁香| 亚洲黄色影视| 色婷婷丁香花五月天| 97色色在线视频| 丁香五月婷婷激情尤物| 九月丁香| 天天色,天天日,天天做| 日本美女上人| 午夜成人片400| 天天操电影院色狼性av| 婷婷激情性爱| 国产精品成人AV在线观看春天 | 另类激情五月| 伊人在线视频| 五月激情在线| 色五月xxx| 国产成人AV不卡| 色小说五月天| 丁香五月婷婷深五月| 狠狠精品干练久久久无码中文字幕| 在线可以看的av网址| 超级黄色片| 五月天成人综合| 青青草婷婷综合五月| 91xxxx九色| 九九香蕉网| 青草久久五月婷伊人| 久久香视频| 久久九九爽| 五月丁香成人日| 曰本aaaaaa丈片| 91热99| 色五月视频无码播放| 开心五月婷婷综合在线精品素人| 亚洲第一综合| 日本五月婷婷| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 久久性刺激| 欧美搡BBBBB摔BBBBB| 婷婷操婷婷干婷婷射| 97人妻碰碰中文无码久热丝袜| 日本视频久久| 中文字幕在线日亚洲9| 很很干在线视频| 伊人综合色干| 丰满少妇乱A片无码| 九月av| 婷婷舔| 超碰色女人| a在线观看| 激情欧美五月丁香| 久色成人| 五月丁香亭亭操逼| 黄色激情网站在线观看| 色色亚洲视频| 97色色色| 亚洲噜色| 五月婷婷激情四季| 日本97在线视频| 日99网站| 欧美色婷婷| 激情内射p| 开心深爱五月天| 伊人三级激情| 丁香五月综合网| 色五月激情五月天| 久久思思热| 色五月婷婷开心| 国产在线中文字幕| 色色丁香五月天社区| 婷婷五月天激情网| 97干97色| 96丁香六月婷婷蜜桃综合久久| 色综合久久88色综合天天人守婷| 九九激情综合| 久久亚洲无码| 激情婷婷五月在线合集| 亚洲成av人影院| 日本熟妇精品99| 99国产这里只有精品| 5月婷婷综合| 97色色婷婷五月天| 五月丁香婷婷99| 国产黄大片在线观看画质优化| 超碰97人人操| 丁香五月婷婷基地| 色婷五月天激情| 天天爽日日搞| 婷婷五月综合婷婷| 嫩草视频在线观看| 大香蕉操操| 亚洲传媒在线观看| 国产黄色在线| 无码人妻少妇色欲AV一区二区| 亚洲av成人在线| 五月婷婷,六月丁香| 五月天a婷婷伊人| 亚洲五月天,激情视频| 国产精品色婷婷久久久精品| 艹色18p| 成人免费黄色短视频| 激情五月天影院| 激情四射婷婷| 婷婷 伊人 久久| 九九爱激情| 黄涩毛片| 五月天婷婷六月| 色就是色婷婷五月亚洲激情| 一逼色综合| 67194中文字幕| 亚洲人成网站999综合| 亚洲欧洲中文日韩久久AV乱码| 色五月激情五月| 人人操AV| 日本美女上人| 99福利导航| 五月天久久综合婷婷| 九九热经典视频在线观看| 玖玖九九99| 翔田千里aV中文字幕| 久久婷婷青草五月天| 91人人网| 91九色视频| 色哟哟精品| 日韩99视频| 另类 在线| 色五月大| 欧美日本黄色| 色综合久久88色综合天天99| 五月丁香婷婷在线| 爱射综合| 99久久99视频只有精品| 亚洲综合视频天天精品| 丁香五月婷婷少妇| 丁六月激情| 色五月开心五月激情五月| 性爱在线播放av| 99无码免费视频| 日本va网站| 久久婷出差欧美色两性综合网| 久久五月人人摸| 思思99精品视频在线观看| 丁香五月AV在线| 色狠狠999综合网| 婷婷六月爽| 色国产五月| 伊人超碰| 中国激情网| 99在线精品在线视频| 日韩爱操视频| 免费观看大片视频 丁香婷婷 六月欧美| 五月亭亭网成人在线视频| 久久99热免费最新版| 久婷五月| 日本三级韩三级99久久| 色综合夜夜| 美妞av| 色噜噜狠狠色综合日日免费| 久久九九99亚洲国产久精综合| 五月综合六月婷婷| 五月婷婷丁香五月天| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 五月开行婷婷色五月| ji'qi'luan'ren'lun| 色婷婷电影网| 色区久久| 国产SUV精品一区二区6| 欧美五月婷婷综合| 久久99大全| 激情综合区| 婷婷丁香视频在线观看免费| 婷婷五月天手机版视频| 婷婷开心激情| 99热91| 五月天婷婷综合网| 丁香婷婷久久五月天| 婷婷色五月天色| 久久婷婷综| 99精品色色| 色五月天视频| 六月婷婷八月丁香| 亚洲五月婷| 超碰日韩人妻在线| 激情综合在线播放| 色综天天综合| 9久热这里只有精品| 天天插天天爽| 天天插天天爱| 中文字幕不卡网站| 婷久久| wuyuedingxiang99| 天天爽免费视频| 激情伊人| 久久精品A片777777| 色吊丝中文字幕| 久久精典| 无码婷婷五月天| 天天拍天天操| 久久思思热| av一区免费看| 玖玖在线视频福利| 天天操夜夜爽歪歪| 99热这里只有精品16| 国产精品久久久久久喷浆| 人妻中文av| 大香蕉综合网| 五月婷婷自拍| 久热这里只有精品6| 久久久27操| 日韩人妻无码专区| 久久99日本精品视频免费观看| 综合久| 六月丁香激情婷婷| 超碰在线国产| 丁香五月激情五月| 性色欲情 网站| 丁香六月婷婷综合啪啪| 亚洲操B| 国产三级在线播放| 丁香六月婷婷缴情欧美| 婷婷五月色天| 国产精品A成V人在线播放| 热99久| 欧美99热| 色五月五月婷婷| 五月天色小说| 丁香花五月天激情| 久久婷婷五月天综合| 欧美激情综合| 婷婷色一二三区波多野结衣| 久草久青福利| 五月丁香啪综合| 免费无码毛片一区二区A片| 啪啪黄页网| 最新亚洲色色网| 久久久激情| 伊人碰碰碰| 永久AⅤ1| 91碰碰碰| 综合网啪啪| 国产一二三四五六七八视频| 深爱婷婷网| 色婷婷性爱| 丁香亚洲婷婷五月| 色色色免费视频| 色色色天堂网| 天天综合亚洲综合| 五月丁香六月激情综合| 婷婷五月色情| 天天碰天天插天天操| 超碰99在线观看| 精品九九久久| 就爱啪啪婷婷| 丁香婷婷五月天激情四射| 97人碰人操| 婷婷,五月天,丁香,第一| 激情五月婷婷五月丁香五月开心五月| 96精品成人无码A片观看金桔| 丁香五婷婷| 婷婷五月六月激情| 欧美叉叉叉BBB网站| 丁香五月区| 久久精品小视频| 婷婷色五月天在线| 99免费偷拍视频| 婷婷综合六| 天天综合网在线| 1024成人在线观看| 亚洲第79页| 99精品视频在线观看| 丁香五月久久| 亚洲综合五月天婷婷丁香| 淫五月停停| 婷婷色五月偷拍| 九九五月天| 99热在线看片| 狠狠色综合网站久久久久| 国产乱妇乱子在线播视频播放网站| 99操逼| 久热免费视频| 久久色午夜在线导航| 26UUU精品一区二区c〇m| 久久婷婷五月| 久久精品99| 成人在线视频一区| 丁香五月黄色| 五月婷婷激情综合网| 日本三级成人秘书精品片| 久思思久视频| 操操碰| 色婷久| 九九这里都是精品| 日韩AC在线免费观看| 欧美性爱特黄一级aaaassss| 97色碰| 蜜臀丁香黄色婷婷五月天| 天天综合五月| 91人人操人人看| 婷婷狠狠操| 31色区视频免费看| va亚洲中文在线| 婷婷五月欧美综合| 日本精品人妻无码77777| 激情五月天色色色| 五月丁香AV在线| 五月天丁香久久综合 | 久久一级免费黄色片| 久久婷婷色| 欧美熟女乱又伦| 操人精品| 五月婷婷激情| 操婷婷基地| 激情综合五月| 久久性爱视频| 中文在线成人| 五月亭亭网成人在线视频| 丁香五月网| 久久综合九九| 色色色色色色色色五月先| 日韩欧美性爱| 亚洲精级| 丁香六月天婷婷色| 九九热在线观看视频| 久久人妻久久久久| 五月丁香亭亭AV女优| 五月天激情网站| 久久人妻www| 99色色热| 伊人综合婷婷| 8090在线影视少妇| 久热综合| 91久久婷婷人人澡草| 久操婷婷| 色久一| 色五月天在线观看| 99视频精品全部观看10| 天天爽天天日人人爱 | 伊人久久大香线蕉av最新| 婷婷五月丁香五月基地| 激情丁香婷婷| 五月婷婷之美女图片| 伊人久久艹| 97操碰日本女人| 婷婷综合网站| 天天色粽合合合合合合合| 天天插夜夜爽| 狠狠精品干练久久久无码中文字幕 | 丁香五月婷婷色综合基地| 国产精品成人AV在线| 婷婷大香焦| 五月天桃色深爱网| 丁五月激情视频免费| 久久九九免费大视频| 色女人久久| 五月天丁香色色| 亚洲综合激情五月久久| 激情开心五月天| 99热这里只有精品一区| 丁香五月网络网络| 天堂久久大香蕉| 丁香,开心成人,久久| 99免费| 欧美在线视频免费播放| 成人精品99| 天天网站天天爽| 9l视频自拍九色9l视频自拍九色9l社区| 91se精品国产| www.色婷婷| 91欧美日韩综合| 亚洲热视频在线| 伊人五月天久久| 五月天激情四射| 香蕉婷婷色五月| 婷婷综合精品视频97| 激情精品久久| 久久99视频| 婷婷丁香亚洲色综合91| 天啪天啪天啪天啪| 中文字幕视频色婷婷| 婷婷五月天基地| 婷婷伊人久久| 思思热这里只有精品| 99re26视频| 99 频99热国里只有精品| 九色PORNY自拍成人精彩视频| www.99久久久久99| 五月丁香婷婷狠狠操| 国产精产国品一二三在观看| 婷婷五月天影院| 激情久久久| 五月婷婷色综图片| 久久久噜噜噜久久人妻| 色五月丁香网| 久久九九大香蕉电院| 亚洲五月丁| 思思视频久久| 天天干,天天舔| 另类激情五月| 欧美精品99久久久| 天天爱天天操| 激情综合五月| 久久久91| 久久久久久久久99精品| 99视频网址| 99色视频在线| 久热这里只有精品6| 夜夜骑天天玩天天日| 综合五月激情| 五月婷婷免费视频| 五月丁香九九九综合| 天天日天天摸天天| 99re热精品视频国| 日日夜夜狠狠婷婷色| 这里只有精品亚洲| 思思久久99热| 五月天色色激情综合| 狠狠搞五月天| 丁香色五月婷婷17C| 亚洲综人色综网| 日韩成人综合网| 99操| 五月婷婷激情刺激| eeuus五月婷| 婷婷丁香77777| 丁香婷婷五月天网站| 夜夜躁狠狠| 天天色综合色色色色色。| 国产色色网站网址| 天天色天天爱天天舔| 六月婷五月丁香| 人人干人人操人人摸人人做| 色噜噜在线| 99热视精品| 这里只有精品2| 激情伊人五月天| 九九亚洲| 日本熟妇精品99| 婷婷五月激情欧美| 玖玖热视频| 成功精品影院| 欧美性生交XXXXX无码小说| 欧洲MV日韩MV国产| 天天肏天天舔AV| 九月婷婷激情久久| 五月天天综合| 玖玖爱伊人| 无码地址| 色五月天天| 婷婷六月花| 色爱亚洲| 婷婷九九| 综合久久99| www.五月天| 久久五月婷综合| 人人草碰| 99热91| 欧美激情综合色综合啪啪五月| 极品人妻VIDEOSSS人妻| 国产精品电| 丁香综合久久| 中文精品在| 丁香五月花婷婷开心| 天天草婷婷五月| 色噜噜狠狠狠综合曰曰曰| 色五月婷婷色五月婷婷色五月婷婷| 一级二级色大片| 99热最新网址| 成人精品视频99在线观看免费| 婷婷综合性爱网| 日日噜噜久久婷婷五月天| 色激情五月| 五月丁香综合啪啪| www好屌操| 国产欧洲欧洲精品久久| 亚洲天堂爱爱| 中文字幕在线日亚洲9| 激情五月天天| 99热色婷婷| 欧美噜噜噜草| 黄涩毛片| www.天天干| 婷婷五月天伊人网| 日韩AV在线影片| 国产精品成人网站| 亚洲五月婷婷| 白天AV月月| nvrentiantang av| 99热九九热| 色级停停| 黄色一级影片| 99色看这里只有精品| 99色最新在线视频网站| 婷婷五月激情欧美| 男女啪啪做爰高潮无遮挡| AV中文字幕夜夜操b天天摸bb | 激情婷婷五月黑人| 五月天色影院| 国产成人网址| 激情五月天久久| 狠狠99| 色五月婷婷在线视频| se影音资源在线观看| 五月天综合网| 久久婷婷七月丁香| 久大香蕉| 婷婷六月激情啪啪| 天天做天天爱| 婷婷久久五月天| 一区二区传媒视频| 婷婷色激情网| 综合一本道| 99热精品在线播放| 久操香蕉| 久久精品视频99| h亚洲| 婷婷欧美色| 色 色 色综合com| 综合色播| 先锋男人91资源| 色色色色热热| 婷婷丁香18| 99色| 激情丁香久久久久久| 五月天色播网| 性色天| 国产人妻777人伦精品HD| 九月激情综合婷婷| 密臀久久| 啪啪色区| 婷婷六月天国产综合| 人妻久久婷婷| 午夜婷婷六月天| 六月婷婷色综合| 丁香深五月婷婷| 婷婷色网| 激情五月婷婷综合| 99精品偷自拍| 99大香蕉| 99这里是精品| 色色婷| 密臀av无码人妻精品| 天天AV导航网| 久久婷婷网站| 99九九这里有免费视频| 亚洲综合在线伊人婷| 婷婷六月五月| 中字幕视频在线永久在线观看免费| 国产亚洲网站在线| 五月色俺婷婷| 久久狠狠干| 69精品人妻不卡视频| 激情五月综合色婷婷| 大香蕉婷婷色| a毛片二逼wwwwwwwwww| 热这里只有精| 五月色丁香| 第四色色六月色综合| 天天综合亚洲综合网天天αⅴ| 久久久久久97| 丁香五月玖玖| 天天舔夜夜操www com| 欧洲激情五月天| 久久99jiu9| 亚洲操操| 国产精品色色| 九九色黄色| 亚州激情在线视频| 黄网在线免费观看| 蜜桃婷婷狠狠久久综合| 深爱丁香激情| AV操操操| 婷婷综合亚洲| 日日夜夜天天综合| 超碰婷婷色| 99热在线爱| 美女网黄| Av在线资源| 亚洲 小说 欧美 激情 另类| 五月婷婷色播| 久久久宗合| 性色五月天| 久久久91精品| 97色色色色色色色色色色色色色| 九九亚洲综合| 九色视频入口91| 五月天全国最大成人网| 天天日夜夜拍| 人人妻人人澡| 深爱综合网| 永久天堂日本| 六月丁香婷婷开心综合基地| 亚洲天堂aaa| 丁香五月花| 六月婷婷五月丁香首页| 综合色99| 色天堂在线| 97色色色| 大香蕉久久久久久久久| 丁香五月,激情五月,深爱五月| 婷婷伊人| 热的五码久久精品| 激情久久五月天| 97综合色片| 天天操狠狠操| 国产jd1024基地手机看国产| 99精品网站| 欧美性生交XXXXX无码小说| 夜夜骑操AV| 五月婷婷激情五月| 99热九九这里只有精品| 在线视频另类| 色99日韩| 五月综合丁香婷婷| 色综合久久中文| 激情婷婷五月天| 97艹| 5月婷婷6月六月丁香| 啪啪五月婷婷| 六月婷婷久久大全| 大操人妻| 久久99性爱视频| 免费色婷婷| 欧美成人精品一区二区 | 婷婷六久久| 婷婷中文字暮| 五月天婷婷无码| 亚洲人成人五月天| 日韩在线视频9色| 天天日夜夜爽。| 九九色网专区| 久久精品亚洲热| 激情婷婷激情在线不卡| 久久久久久五月天| 婷婷天天五月天| 毛片色五月| 欧美日韩中国| 五月天婷婷乱论小说| 丁香五月123| 思思热在线视频精品| 玖玖婷婷色五月| 91碰超| 91黄操| 五月婷婷色| 婷婷放心五日爱| 色九区| 狠狠人人| 精品久久久91久久影视网| 五月www| A片试看120分钟做受图片| 五月婷婷综合网在线播放| 五月丁香久久| 国产 A片 自拍| 无码少妇高潮喷水A片免费| 五月丁香AV、伊人业余、性色熟妇| 亚洲视频在线观看| 五月天色婷婷av| 精品久久久中文字幕大豆网推荐理由| 色久综合天天做视频| 久久综合55| 五月丁香六月玩女人| 成人电影在线免费试看| 欧美99热| 亚洲精品乱码久久久久99| 大战熟女丰满人妻AV| 九九色综合网| 99热6这里只有精品| 丁香六月婷婷开心| 四川女人毛多水多A片| 五月丁香六月婷婷亚洲| 丁香五月天亚洲综合| 六月丁香综合| 成年人夜夜喷水| 婷婷视频网| 啪啪啪五月天| 久久丁香九| 婷婷六月亚洲综合| 婷婷久热| 一本大道嫩草AV无码专区| 丁香五月婷婷亚洲另类| 超碰啪啪网| 日韩av在线免费观看| 无码se| 日产精品久久久久久久蜜臀 | 五月色网| 六月色色综合| 婷婷亚州综合| 91丁香五月| 亚洲VA欧美VA| 天天揷综合网| 五月丁香婷婷欧美| 91操碰| 亚洲亚洲人成综合网络| 天天色综网| AA久久| 国产精品国产成人国产三级| 99久久免费精品| 超碰人人99| 天天综合色| 99热这里只有精品1998| 日韩久综合| 夜夜谢天天干| 婷婷五月天激情综合深爱| 大香婷婷| 午夜五月天| 思思热在线视频99| 亚洲久久日| 日日日日日| 亚洲激情97五月天| 五月激情婷婷综合| 成人无码精品1区2区3区免费看| 久久婷婷六月综合| 欧美97色| 婷婷大香焦| 99久视频| 丁香无月在线观看| 在线五月婷| 丁香五月婷婷基地| 久久精品小视频| 五月婷婷综合影院| 婷婷久久色| 99爱在线视频观看| 久久久五月天| 激情五月天婷婷播播久久综合91| 另类视在线| 伊人婷婷激情| 成人短视频在线免费观看| 九色视频91| 亚美欧色影院| 丁香五月激情综合| 色婷婷色丁香色欲av| 五月婷婷丁香| 婷婷五月天成人综合网| 色九网| 九九婷婷激情综合网| 激情另类综合| 天天碰天天插天天操| 欧美天堂久久| 深夜婷婷 丁香| 亚洲成人av在线| 毛片新网地| 狠狠色综合网| 婷婷五月精品| 精品乱码久久久久| 亚艹艹| 人人色人人摸人人看| 婷婷狠狠狠爱| 超碰在线国产| 五月婷婷色播| 五月婷婷六月爱| 99亚洲精美视频在线观看| 久久精品国产AV一区二区三区 | 丁香五月天啪啪| 欧美日韩大黄| 91视频精品99| 牛牛澡牛牛爽| AV性爱网| 激情综合自拍五月婷婷色五月| 色婷婷五月丁香色| 久色| 丁香婷婷激情六月五月开心| 色五月aV| 99人人干| 韩日AV片| 国产69久久久欧美黑人A片| 天天搞天天色综合| 热这里| 色情五月天视频网| 91久久免费| 亚洲国产精品VA在线看黑人| 久久久激情视频| 婷婷五月天电影在线| 婷婷四月 成人 狠狠干| www.五月天婷婷| 九九爱激情| 丁香五月天堂网| 大香蕉久久婷婷| 亚州精品久久久久AV无码| 亚洲精品色色| 亚洲啪啪网| www.com久久久久久久久久久久久久久久久| 激情综合网五月天| 婷婷五月激情天| 色综合五月婷婷狠狠干| 99 r热| 色五月婷婷伊人| 玖玖婷婷色欲| 婷婷丁香六月| 婷婷丁香熟妇综合网| 日本五月天激情| 99热在线观看这里只有精品| 色综合爽| www九九| 国产免费av在线| 九九九激情网| 亚洲精品又粗又大又爽A片| 秋霞性爱AV| 五月丁香六月婷婷姐| 五月丁香六月情婷婷久久| 九九激情网| 色婷五月天| 激情综合网五月激情| 90色免费视频| 狠狠操狠狠做| 成人五月天综合网| 五月婷网站| 1024在线视频| 天天高潮夜夜爽| 69人人操人人爽| 欧美婷婷精品激情| 色播色丁香五月| 五月婷婷亚洲| 九九色之九九色之88| 婷婷 色 丁香 夜| 九月婷婷激情| 超碰在线观看99| 五月婷婷黄色| 开心五月婷婷激情| 天天骑日日爽| 天天天天操| 五月婷高清视频| 亚洲欧洲另类图片| 五月婷婷六月激情网| 六月婷婷毛片| 丁香涩涩爱| 9久热在线精品| pom538精品视频| 国产操碰| 六月丁香啪啪| Xx色综合| 超碰狠狠干99| 午夜色丁香| 五月色婷丁香| 99热免费精品| 99re99在线看| 六月激情婷婷| 五月天激情中文字幕| 国产九月婷婷| 五月天色影院| 色婷婷六月天| 大香蕉啪啪啪| 五月丁香六月婷婷免费| 操日本99| 人人操AV| 91九色丨国产丨爆乳| 91久久久久久久| anquye五月| 综合精品啪啪| 婷婷五月色综合| 热九九在线| www99精品日韩| 五月天狠狠网| 五月婷丁香| 久九男女天堂| 99久久6| 欧美日综合| 在线播放人妻| 五月丁香成人网| 婷婷伊人网| 91精品国产综合久久久不卡电影| 五月婷婷基地| 欧美五月婷婷| 熟妇人妻中文字幕无码老熟妇| 五月丁香色| 三级三久久线久久99久目本WW| 亚洲字幕AV一区二区三区四区 | 婷婷五月激情小说| 久久久www| 五月天色婷婷图片| 亚洲精品中文字幕成人片| 日本久久精品| www,五月丁,com| 亚洲色综久久五月| 色偷偷五月天| 激情网五月婷婷| 五月婷婷AV| 五月婷婷很很色| 123草逼网| 国产26uuu视频| www,com,五月色色| 五月婷婷激情综合| 婷婷五月另类网站| 婷婷六月天激情影院| 亚洲成av人影院| site:pnnrt.com| 九九Av| 97超级碰碰碰久久久| 91久久久久久| 男女久久婷婷五月天| av色婷婷| 久久XX日本综合| 五月婷婷无码| 婷婷五月六月丁香综合| 草草操操| 91久久九| 综合网色| 婷婷六月久久综合导航| 天天人人综合| 99ri视频在线播放| 国产超碰在线| www.久久爱.com| 婷婷开心激情综合五月天| 99色在线观看视频| 丰满老熟妇BBBBB搡BBB| 精品无吗va视频免费观看| 五月天婷婷三级黄| 综合网啪| 色色色九九九五月婷婷| 九月丁香婷婷| 欧美日本va| 色五月丁香一区在线| 国产精品视频免费看| 日本一级黄色片。| 久久只有18视频| 五月婷婷六月情| 五月婷婷婷自由综合| 超碰91在线| 五月丁香啪。| 97日本在线播放| 婷婷丁香久久| 色九九九九| 天天摸天天日天天舔| 人人澡天天色天天做| 久9热视频| 日本91在线播放| 99色在线| 九九这里都是精品| 五月六月婷| 六月五月婷婷| 国产阿姨日皮艹逼内射视频| 成人网站免费在线播放| 色九月综合| 午夜精品久久久久久久爽| 俺去也婷婷| 色婷网|