欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

JDK8 JVM調(diào)優(yōu)與GC實戰(zhàn):回收器選型、參數(shù)模板及OOM排查

JDK8 JVM調(diào)優(yōu)與GC實戰(zhàn):回收器選型、參數(shù)模板及OOM排查 現(xiàn)在團隊里只要有人問“線上接口偶爾卡個幾百毫秒是什么原因”十有八九最后都會落到 JVM 調(diào)優(yōu)和垃圾回收器這個話題上尤其是還在跑 JDK8 的項目。JDK8 是個很特殊的分水嶺它既有成熟的 Parallel Scavenge 和 CMS又帶來了 G1還徹底刪掉了永久代改用元空間。這意味著同樣一段“加大堆內(nèi)存、調(diào)小新生代”的老經(jīng)驗放在 JDK8 上可能反而把系統(tǒng)推向頻繁 Full GC。這篇內(nèi)容我打算按自己的實戰(zhàn)路徑來寫——先把內(nèi)存模型和對象生命周期講透再逐個拆解 JDK8 里能用的垃圾回收器然后給出可以直接抄的參數(shù)模板、工具鏈用法、GC 日志判讀方法最后落到 OOM 的各種現(xiàn)場。適合正在做服務(wù)端開發(fā)、需要處理線上性能問題或者準(zhǔn)備面試想真正搞懂 JVM 工作原理的人。1. 先把 JVM 內(nèi)存模型捋直調(diào)優(yōu)才有坐標(biāo)系我見過太多“調(diào)優(yōu)”是這么做的上來就-Xmx4g然后看 GC 日志里 Full GC 次數(shù)少了就完事。這種做法能碰對是運氣碰不對就是埋雷。真正動手前必須把內(nèi)存模型這張地圖在腦子里畫出來否則你連參數(shù)改的是哪塊區(qū)域都不知道。1.1 運行時數(shù)據(jù)區(qū)到底分幾塊JDK8 改了什么JVM 在運行時會把自己管的內(nèi)存切成幾塊每塊職責(zé)不同回收策略也完全不同。按線程私有和線程共享來分理解起來最快。線程私有的三塊程序計數(shù)器記錄當(dāng)前線程執(zhí)行到哪條字節(jié)碼指令。唯一不會拋 OOM 的區(qū)域占用的內(nèi)存可以忽略不計。虛擬機棧每個方法調(diào)用創(chuàng)建一個棧幀棧幀里放局部變量表、操作數(shù)棧、動態(tài)鏈接、方法出口。平時說的“棧溢出”絕大多數(shù)就是這里由-Xss控制單個線程棧大小。本地方法棧給 native 方法用的HotSpot 里和虛擬機棧合并實現(xiàn)一般不單獨關(guān)心。線程共享的兩塊堆對象實例和數(shù)組的主要存放地也是垃圾回收的主戰(zhàn)場。調(diào)優(yōu) 90% 的參數(shù)都在動這塊。方法區(qū)存放類元信息、常量、靜態(tài)變量、即時編譯后的代碼緩存。JDK7 及以前叫永久代PermGen由 JVM 堆管理JDK8 開始改成元空間Metaspace挪到了本地內(nèi)存由操作系統(tǒng)管。這個改動的影響被嚴(yán)重低估了。以前永久代容易OutOfMemoryError: PermGen space因為類加載多了會把堆里那塊固定區(qū)域撐爆JDK8 換成元空間之后元空間默認(rèn)不設(shè)上限能一直吃到操作系統(tǒng)內(nèi)存耗盡報錯變成OutOfMemoryError: Metaspace而且更容易連帶觸發(fā)機器層面的不穩(wěn)定。所以-XX:MaxMetaspaceSize在 JDK8 里是必須顯式設(shè)置的參數(shù)不能放任不管。除了這幾塊還有兩塊容易被忽略但很要命的區(qū)域直接內(nèi)存Direct Memory通過-XX:MaxDirectMemorySize限制NIO 的DirectByteBuffer就住在這它不受堆大小約束以及JVM 自身的開銷包括 GC 元數(shù)據(jù)、JIT 編譯線程、線程棧總量、代碼緩存等。這兩塊加起來經(jīng)常占到堆內(nèi)存的 30% 以上算容器內(nèi)存配額時漏掉就會被打死。1.2 對象從分配到回收的完整路徑理解對象的一生比背參數(shù)有用得多。新建對象優(yōu)先在Eden 區(qū)分配。如果開啟 TLAB-XX:UseTLAB默認(rèn)開啟線程會先在 Eden 里劃一小塊私有區(qū)域避免多線程分配時爭搶指針。這塊優(yōu)化不顯眼但對高并發(fā)分配的影響很大。Eden 滿了觸發(fā)Minor GC。存活對象被復(fù)制到 Survivor 區(qū)From 到 To 來回復(fù)制對象年齡加 1。年齡達(dá)到閾值后晉升老年代閾值由-XX:MaxTenuringThreshold控制Parallel 和 G1 下默認(rèn)是 15。這里有個很多人不知道的機制動態(tài)年齡判定。不是非得熬到 15 歲才能晉升。如果 Survivor 區(qū)中某一批同齡對象的總大小超過了 Survivor 空間的一半那么年齡大于等于這批對象年齡的所有對象會直接晉升老年代。這就是為什么有時候你把MaxTenuringThreshold調(diào)到 15實際對象三四歲就進(jìn)老年代了——參數(shù)沒生效是動態(tài)判定提前觸發(fā)了。還有兩個特殊通道大對象直接進(jìn)老年代。-XX:PretenureSizeThreshold可以設(shè)置這個閾值但它只對 Serial 和 ParNew 生效Parallel Scavenge 不認(rèn)這個參數(shù)G1 里則用 Humongous Region 處理一個對象超過單個 Region 大小的一半就算大對象。長期存活對象。老年代滿了觸發(fā) Full GC這個代價通常比 Minor GC 高一到兩個數(shù)量級。反向看回收一個對象要經(jīng)過兩次標(biāo)記第一次可達(dá)性分析從 GC Roots 出發(fā)掃描引用鏈不可達(dá)的對象被標(biāo)記第二次檢查對象是否重寫了finalize()且未被調(diào)用過如果是就放進(jìn) F-Queue 等待執(zhí)行執(zhí)行完還沒被引用才真正回收。finalize()這個方法在實際項目里基本不該用它的執(zhí)行時機不確定還容易拖慢 GC。1.3 一次 Minor GC 的現(xiàn)場還原假設(shè)堆是 4G用 Parallel Scavenge默認(rèn)新生代和老年代是 1:2那新生代約 1.33GEden 和兩個 Survivor 按 8:1:1 分Eden 約 1.06G每個 Survivor 約 133M。當(dāng) Eden 被填滿觸發(fā) Minor GC暫停所有應(yīng)用線程Stop-The-World。從 GC Roots 出發(fā)標(biāo)記 Eden 和當(dāng)前 From Survivor 里的存活對象。把存活對象復(fù)制到 To Survivor年齡 1。清空 Eden 和 From Survivor然后 From 和 To 角色互換。關(guān)鍵點來了如果 To Survivor 裝不下所有存活對象多余的對象會通過“分配擔(dān)?!睓C制直接進(jìn)老年代。這是最隱蔽的問題來源之一很多人看到老年代莫名其妙漲得快其實就是 Survivor 太小導(dǎo)致的提前晉升。提示如果你觀察到 Minor GC 之后老年代占用明顯上升先別急著調(diào) GC 策略先把-XX:SurvivorRatio和新生代大小重新算一遍。Survivor 太小是提前晉升最常見的原因。2. JDK8 里的垃圾回收器怎么挑JDK8 這個版本的好處是選擇多壞處也是選擇多。很多人上手就查“哪個回收器最好”這個問題問法本身就錯了——沒有最好的只有適配當(dāng)前內(nèi)存規(guī)模、延遲要求和吞吐要求的。2.1 分代收集器的組合關(guān)系與適用邊界先搞清楚哪些回收器能配對。新生代和老年代各有各的實現(xiàn)必須成對使用。新生代回收器老年代回收器啟用方式特點SerialSerial Old-XX:UseSerialGC單線程客戶端模式或小內(nèi)存場景ParNewCMS-XX:UseConcMarkSweepGC低延遲響應(yīng)優(yōu)先Parallel ScavengeParallel Old-XX:UseParallelGC吞吐優(yōu)先JDK8 默認(rèn)G1自身管理整堆-XX:UseG1GC可預(yù)測停頓大堆首選補充一點容易搞混的JDK8 的默認(rèn)回收器在服務(wù)端機器上CPU 大于 2 核、內(nèi)存大于 2G是 Parallel Scavenge Parallel Old在客戶端機器上是 Serial。所以很多項目其實一直跑在 Parallel 上從沒動過參數(shù)。Serial 系列現(xiàn)在基本只在嵌入式或者內(nèi)存極小的場景用得上。它的優(yōu)勢是簡單、沒有線程交互開銷、沒有額外內(nèi)存占用單核環(huán)境下反而比并行版本快。但如果你的堆有 8G 以上單線程回收一次全堆能卡秒級直接排除。2.2 Parallel、CMS、G1 的取舍邏輯Parallel Scavenge Parallel Old的核心目標(biāo)是吞吐量也就是用戶代碼運行時間 / (用戶代碼時間 GC 時間)。它的設(shè)計取向是少停頓次數(shù)、多干活適合后臺批處理、離線計算、數(shù)據(jù)同步這類對單次停頓不敏感、但對整體算力敏感的場景??烧{(diào)參數(shù)主要是兩個-XX:MaxGCPauseMillis設(shè)置最大停頓時間-XX:GCTimeRatio設(shè)置吞吐量目標(biāo)默認(rèn) 99即 GC 時間不超過 1%。注意MaxGCPauseMillis調(diào)小之后JVM 會自動縮小新生代代價是 GC 更頻繁、吞吐量下降。這是個蹺蹺板不能兩頭都要。CMS是 JDK8 時代低延遲的代表目標(biāo)是縮短停頓代價是犧牲吞吐量并占用額外 CPU。它把老年代回收拆成四個階段初始標(biāo)記STW很短、并發(fā)標(biāo)記、重新標(biāo)記STW、并發(fā)清除。最長的并發(fā)標(biāo)記和并發(fā)清除階段是和應(yīng)用線程同時跑的所以停頓短。但 CMS 有幾個硬傷這也是它后來被 G1 取代的原因浮動垃圾并發(fā)清理期間應(yīng)用還在產(chǎn)生新垃圾這些只能等下一次。所以 CMS 不能等老年代滿了才動手默認(rèn)老年代使用到 92% 就觸發(fā)-XX:CMSInitiatingOccupancyFraction通常要調(diào)到 70 到 80 留出余量。并發(fā)模式失敗Concurrent Mode Failure如果在并發(fā)清理期間老年代就被填滿了CMS 會退化成 Serial Old 做一次單線程 Full GC那個停頓就是災(zāi)難級的。這是 CMS 線上事故的第一大來源。內(nèi)存碎片CMS 用的是標(biāo)記-清除不做壓縮跑久了老年代全是碎片大對象分配不下又觸發(fā) Full GC。G1是 JDK8 里唯一兼顧吞吐和停頓、并且能處理大堆的通用回收器。JDK9 之后它成了默認(rèn)但 JDK8 里需要手動開啟。它的整體思路是把堆切成很多等大的 Region每個 Region 可以動態(tài)扮演 Eden、Survivor、Old 或 Humongous然后基于“哪個 Region 垃圾最多”來優(yōu)先回收這就是 Garbage First 名字的由來。選型上我一般這么定堆小于 4G、追求吞吐、能接受百毫秒級停頓Parallel。堆 4G 到 8G、延遲敏感、有調(diào)優(yōu)經(jīng)驗CMS 或者 G1。CMS 需要精細(xì)調(diào)參G1 相對省心。堆大于 8G直接 G1別猶豫。CMS 在這個量級上的碎片和并發(fā)失敗風(fēng)險太高。堆超過 16G、停頓要求 10ms 級JDK8 里 G1 也吃力這時候應(yīng)該考慮升級 JDK 版本用 ZGC。2.3 G1 的 Region 模型與停頓預(yù)測原理G1 的參數(shù)里有個容易被忽略的-XX:G1HeapRegionSize。如果不設(shè)JVM 會自動推算規(guī)則大致是把整堆除以 2048 得到一個目標(biāo)值然后向上取到 2 的冪且限制在 1M 到 32M 之間。比如 4G 堆4G/2048 2M那 Region 就是 2M16G 堆是 8M32G 堆是 16M。這個值為什么重要因為它決定了大對象的標(biāo)準(zhǔn)。超過 Region 一半的對象會被標(biāo)記為 Humongous直接分配在連續(xù)的 Region 里且回收時機比較尷尬——如果它被判定為全垃圾會立刻回收否則要等并發(fā)標(biāo)記周期結(jié)束。所以如果應(yīng)用里有大量 1M 到幾 M 的緩存對象Region 設(shè)小了會產(chǎn)生一堆 HumongousGC 效率反而下降。我遇到過一個案例16G 堆沒設(shè) Region 大小推算出來是 8M但業(yè)務(wù)里有大量 6M 左右的圖片緩存對象每個都觸發(fā) Humongous 分配GC 日志里全是Humongous字樣調(diào)大-XX:G1HeapRegionSize16m之后問題就沒了。G1 的停頓預(yù)測靠的是-XX:MaxGCPauseMillis默認(rèn) 200ms。這里必須提醒一句這個值是目標(biāo)不是承諾。G1 通過歷史回收數(shù)據(jù)估算哪些 Region 值得回收選出能在目標(biāo)時間內(nèi)搞定的集合Collection Set。如果你把目標(biāo)設(shè)成 10msG1 會幾乎收不動老年代最后堆積到并發(fā)模式失敗。經(jīng)驗值3 到 8G 堆設(shè) 100 到 200ms8G 以上設(shè) 200ms 就夠了別貪心。3. 參數(shù)怎么定從機器規(guī)格倒推 JVM 參數(shù)參數(shù)不是背下來的是算出來的。而且必須從機器規(guī)格和容器限制倒推不能拍腦袋設(shè)個大值。3.1 堆內(nèi)存、元空間、線程棧的賬要算清楚先說默認(rèn)值很多人不知道默認(rèn)堆是多少。JDK8 里-Xms默認(rèn)是物理內(nèi)存的 1/64-Xmx默認(rèn)是 1/4。真跑在生產(chǎn)上8G 的機器默認(rèn)堆上限只有 2G而且初始堆小會經(jīng)歷一段不斷擴堆的過程每次都觸發(fā) Full GC。關(guān)于-Xms和-Xmx是否要一樣我的觀點很明確生產(chǎn)環(huán)境必須設(shè)成一樣。堆動態(tài)擴縮容本身是有代價的而且初始堆小會在啟動階段頻繁 GC。唯一例外是你確定這個應(yīng)用是低頻的、內(nèi)存占用極小的邊緣服務(wù)那可以省點內(nèi)存。算賬的順序是這樣的以一臺 8G 內(nèi)存、8 核的機器為例第一步確定 JVM 總的可用內(nèi)存上限。這臺機器如果只跑這一個 Java 進(jìn)程可以給到 6G留 2G 給操作系統(tǒng)和可能的外部依賴。如果是容器那容器 limit 才是硬邊界。第二步從這 6G 里扣掉堆外開銷元空間按類加載數(shù)量估。一般業(yè)務(wù)系統(tǒng) 200 到 300M 足夠用 Spring 全家桶加上動態(tài)代理的大項目給 512M 也是合理的。設(shè)-XX:MetaspaceSize256m -XX:MaxMetaspaceSize512m。直接內(nèi)存-XX:MaxDirectMemorySize256m用 Netty 或者大量 NIO 的項目要按實際連接數(shù)和緩沖區(qū)大小估算。線程棧-Xss默認(rèn) 1M如果線程數(shù)峰值 500那就是 500M。線程數(shù)乘以棧大小是實打?qū)嵉拈_銷這就是為什么-Xss512k在這種場景下很有必要。代碼緩存-XX:ReservedCodeCacheSize默認(rèn) 240MJDK8JIT 編譯的代碼放這里一般夠用。第三步剩下的才是堆。6G 減掉 512M 元空間、256M 直接內(nèi)存、512M 線程棧、240M 代碼緩存大約 4.5G那-Xmx4g是個穩(wěn)妥的取值。第四步劃分新生代。如果不用 G1新生代大小用-Xmn或-Xmn配合-XX:NewRatio控制。NewRatio是“老年代 : 新生代”的比值默認(rèn) 2也就是新生代占整堆 1/3。對于短生命周期對象多的 Web 應(yīng)用可以把比例調(diào)到 1:1 甚至新生代更大減少晉升壓力。注意-Xmn一旦顯式設(shè)置-XX:NewRatio就失效了而 G1 里-Xmn會被忽略需要用-XX:G1NewSizePercent和-XX:G1MaxNewSizePercent默認(rèn) 5% 和 60%來控制新生代占比。這幾個參數(shù)互相覆蓋的關(guān)系是調(diào)參時最容易翻車的地方。3.2 GC 日志參數(shù)在 JDK8 下的正確寫法生產(chǎn)上不開 GC 日志就是閉眼開車。JDK8 的日志參數(shù)和 JDK9 之后完全不同別混著寫。-XX:PrintGCDetails -XX:PrintGCDateStamps -XX:PrintGCTimeStamps -XX:PrintHeapAtGC -XX:PrintTenuringDistribution -XX:PrintGCApplicationStoppedTime -Xloggc:/data/logs/gc-%t.log -XX:UseGCLogFileRotation -XX:NumberOfGCLogFiles10 -XX:GCLogFileSize50M逐個說作用PrintGCDetails輸出詳細(xì)日志包含各代容量變化PrintGCDateStamps加絕對時間戳排查問題必須要有PrintGCTimeStamps加相對 JVM 啟動的時間PrintHeapAtGC在每次 GC 前后打印堆布局量很大一般排查期開穩(wěn)定后關(guān)掉PrintTenuringDistribution打印對象年齡分布判斷提前晉升全靠它PrintGCApplicationStoppedTime打印 STW 總時長這個是判斷“接口偶爾卡頓”的直接證據(jù)。-Xloggc后面加%t會用啟動時間戳命名文件避免重啟覆蓋。配合輪轉(zhuǎn)參數(shù)10 個文件每個 50M一共 500M基本夠追一周的問題。JDK8 的日志文件名參數(shù)是-XX:GCLogFileSize注意 JDK9 之后這套全被-Xlog:gc*:filexxx:time,uptime,level,tags取代了網(wǎng)上搜到的參數(shù)經(jīng)?;熘鴣韺χ姹境?。3.3 三檔常見規(guī)格的參數(shù)模板下面這三套是我自己在項目里反復(fù)用過的可以直接作為起點再根據(jù) GC 日志微調(diào)。4C8G堆 4GWeb 服務(wù)延遲敏感G1-Xms4g -Xmx4g -XX:UseG1GC -XX:MaxGCPauseMillis200 -XX:G1HeapRegionSize4m -XX:InitiatingHeapOccupancyPercent45 -XX:MetaspaceSize256m -XX:MaxMetaspaceSize512m -XX:MaxDirectMemorySize256m -Xss512k -XX:ParallelRefProcEnabled -XX:HeapDumpOnOutOfMemoryError -XX:HeapDumpPath/data/dump/InitiatingHeapOccupancyPercent默認(rèn) 45意思是老年代占用達(dá)到整堆 45% 就啟動并發(fā)標(biāo)記周期。如果日志里經(jīng)常出現(xiàn)to-space exhausted或者Evacuation Failure說明這個值太高標(biāo)記得太晚要往下調(diào)到 35 到 40。8C16G堆 8G數(shù)據(jù)同步吞吐優(yōu)先Parallel-Xms8g -Xmx8g -XX:UseParallelGC -XX:ParallelGCThreads8 -XX:MaxGCPauseMillis500 -XX:GCTimeRatio99 -Xmn3g -XX:SurvivorRatio8 -XX:MaxTenuringThreshold15 -XX:MetaspaceSize256m -XX:MaxMetaspaceSize512m -Xss512kParallelGCThreads默認(rèn)是按 CPU 核數(shù)算的約等于核數(shù)超過 8 核時按公式縮減顯式設(shè)置成 8 是為了避免容器里 CPU 配額識別不準(zhǔn)導(dǎo)致線程數(shù)異常。SurvivorRatio8是 Eden 和一個 Survivor 的比例所以新生代里 Eden 占 80%。16C32G堆 16G核心交易低延遲G1-Xms16g -Xmx16g -XX:UseG1GC -XX:MaxGCPauseMillis150 -XX:G1HeapRegionSize8m -XX:InitiatingHeapOccupancyPercent40 -XX:G1NewSizePercent10 -XX:G1MaxNewSizePercent40 -XX:ConcGCThreads4 -XX:ParallelGCThreads12 -XX:UnlockExperimentalVMOptions -XX:UseStringDeduplication -XX:MetaspaceSize512m -XX:MaxMetaspaceSize1g -Xss512kUseStringDeduplication是 G1 獨有的字符串去重能省下不少堆但會消耗額外的 CPU 和并發(fā)線程只在字符串重復(fù)度高的場景比如大量 JSON 解析才值得開。ConcGCThreads是并發(fā)標(biāo)記線程數(shù)默認(rèn)是ParallelGCThreads/4設(shè)太大反而搶業(yè)務(wù) CPU。4. 工具鏈命令行四件套加 Arthas 的組合拳工具不在多在于知道什么時候用哪個。我的習(xí)慣是現(xiàn)場診斷先用命令行四件套需要動態(tài)追蹤再上 Arthas需要看趨勢圖才開 VisualVM。4.1 jps、jstat、jmap、jstack 的準(zhǔn)確用法與坑jps用來找進(jìn)程號最基礎(chǔ)的入口。jps -l # 輸出主類全名 jps -lv # 加上 JVM 參數(shù)確認(rèn)啟動參數(shù)是不是你想要的jps -lv這個用法我強烈推薦排查“參數(shù)改了沒生效”這類問題時一眼就能看出實際生效的參數(shù)。jstat用來看 GC 實時數(shù)據(jù)每秒一次打十次jstat -gcutil 12345 1000 10輸出里的S0、S1、E、O、M是各區(qū)域使用百分比YGC/YGCT是新生代 GC 次數(shù)和總耗時FGC/FGCT是老年代 GC 次數(shù)和總耗時GCT是總耗時。判斷標(biāo)準(zhǔn)很簡單FGC 一直漲就是有問題正常穩(wěn)定的服務(wù) FGC 應(yīng)該長期不變FGCT / FGC得到的單次 Full GC 平均耗時超過 1 秒就需要處理。常用變體還有-gcnew只看新生代、-gcold只看老年代、-gccapacity看各區(qū)域容量。jmap用來做堆分析但有兩個坑必須先說jmap -heap 12345 # 查看堆配置和使用情況 jmap -histo 12345 | head -30 # 對象直方圖看誰占內(nèi)存 jmap -dump:formatb,file/tmp/heap.hprof 12345 # 導(dǎo)出堆快照第一個坑jmap -histo:live帶live會先觸發(fā)一次 Full GC 再統(tǒng)計線上執(zhí)行就是一次幾十秒的停頓除非萬不得已別在生產(chǎn)上用。用jmap -histo不帶 live 時統(tǒng)計的是所有對象包括待回收的會虛高但沒停頓風(fēng)險先粗看足夠了。第二個坑jmap -dump在堆大的時候非常慢而且會 STW。8G 堆導(dǎo)出一次可能要一兩分鐘甚至更久業(yè)務(wù)直接受影響。正確的做法是配置-XX:HeapDumpOnOutOfMemoryError讓它自動在 OOM 時 dump或者從負(fù)載均衡摘掉節(jié)點再手動導(dǎo)。jstack用來看線程棧jstack -l 12345 /tmp/stack.log-l會額外打印鎖信息Locked ownable synchronizers排查死鎖必須加。想找死鎖也可以直接用jstack輸出后搜Found one Java-level deadlockJVM 會自動檢測并打印出來。排查 CPU 飆高的標(biāo)準(zhǔn)流程是先用top -Hp pid找出占 CPU 最高的線程 ID把它轉(zhuǎn)成十六進(jìn)制再到 jstack 輸出里搜nid0x加那個十六進(jìn)制值定位到具體代碼行。top -Hp 12345 printf %x\n 12346 # 假設(shè)高 CPU 線程是 12346得到 0x303a jstack 12345 | grep -A 30 nid0x303a4.2 VisualVM、JConsole、Arthas 的上手姿勢JConsole現(xiàn)在基本只作為兜底工具界面老、功能弱但勝在自帶??磧?nèi)存曲線、手動觸發(fā) GC 這些它能干看看線程數(shù)變化也夠。VisualVM是 JDK8 時代最順手的圖形化工具jvisualvm命令直接啟動。裝上 Visual GC 插件之后能實時看到 Eden、Survivor、老年代、元空間的曲線一眼就能看出內(nèi)存是不是鋸齒狀健康回收還是在緩慢爬升。判斷內(nèi)存泄漏最快的方式就是看這條曲線正常是鋸齒泄漏是一路向上、GC 之后回不到原位置。Arthas是后來居上的利器尤其是不能重啟的線上環(huán)境。核心命令我常用的就幾個dashboard # 總覽包含線程、內(nèi)存、GC 情況 thread -n 3 # 找 CPU 占用最高的 3 個線程 thread -b # 直接找阻塞其他線程的元兇 heapdump /tmp/a.hprof # 導(dǎo)出堆快照 trace com.xxx.Service method # 追蹤方法內(nèi)部調(diào)用耗時 watch com.xxx.Service method {params, returnObj} -x 2 # 觀察入?yún)⒑头祷刂祎hread -b這個命令救過我好幾次它能直接告訴你哪個線程持有鎖不放導(dǎo)致別的線程全卡住了比翻 jstack 快得多。但trace和watch在高頻方法上有明顯性能損耗用完一定要stop掉我見過有人忘了 stop第二天發(fā)現(xiàn)接口 P99 漲了三倍。dashboard里還有個細(xì)節(jié)值得看GC 那一欄會顯示各代的使用率曲線和 GC 次數(shù)。如果老年代使用率穩(wěn)定在 90% 以上且 FGC 緩慢增長就是內(nèi)存不夠或者有輕微泄漏的信號。4.3 一次 Full GC 頻繁的完整排查記錄說個真實場景。一個訂單查詢服務(wù)8G 堆用 Parallel上線兩周后監(jiān)控報 FGC 每小時從 0 漲到 20 多次每次約 1.5 秒高峰期接口超時。排查步驟第一步j(luò)stat -gcutil看趨勢。確認(rèn) YGC 正常每秒幾次每次 20ms 左右但老年代占用在 GC 后從 40% 一路爬到 95%然后 Full GC 打回 40%。GC 后老年代能回落到 40%說明沒有嚴(yán)重泄漏只是對象產(chǎn)生速度超過了回收能力。第二步加-XX:PrintTenuringDistribution重啟一個實例。日志里看到大量對象年齡是 1 和 2 就直接晉升了。結(jié)合年齡分布算一下Survivor 里的同齡對象總大小確實超過了 Survivor 一半動態(tài)年齡判定在起作用。第三步看新生代參數(shù)。原來是-Xmn2g -XX:SurvivorRatio8新生代 2GEden 1.6G每個 Survivor 只有 200M。而請求高峰期 Eden 每秒產(chǎn)生大約 400M 垃圾Survivor 根本裝不下存活的跨越對象。第四步調(diào)整。把-Xmn從 2G 提到 2.7GSurvivorRatio從 8 改成 6Survivor 變成約 337M同時把MaxTenuringThreshold顯式設(shè)為 15 防止被過早抬高。老年代從 5.3G 縮小到 4.6G。第五步觀察。改完后 FGC 從每小時 20 多次降到每天 1 到 2 次YGC 頻率略升但單次耗時沒變整體 P99 從 800ms 降到 120ms。這個過程里最關(guān)鍵的一步其實是第二步——加PrintTenuringDistribution看到年齡分布沒有這個信息前面所有的調(diào)整都是猜。5. OOM 與各類異常場景的排查套路OOM 不是一個錯誤是一類錯誤的統(tǒng)稱。不同后綴的 OOM 指向完全不同的根因處理方法也完全不同。把報錯后綴看懂排查能省一半時間。5.1 八種 OOM 的成因與定位方法報錯后綴觸發(fā)位置常見根因處理方向Java heap space堆大量對象未釋放、緩存無上限、查詢?nèi)砑虞d看 heap dump 找大對象檢查緩存淘汰策略GC overhead limit exceeded堆GC 花了 98% 以上時間卻只回收不到 2% 的空間基本等同于內(nèi)存泄漏先加堆續(xù)命再找泄漏點Metaspace元空間動態(tài)生成類太多CGLIB、反射、腳本引擎設(shè) MaxMetaspaceSize檢查是否每次調(diào)用都創(chuàng)建新類加載器Direct buffer memory直接內(nèi)存NIO 緩沖區(qū)未釋放、Netty 池配置不當(dāng)設(shè) MaxDirectMemorySize檢查 ByteBuf 是否 releaseunable to create new native thread操作系統(tǒng)線程數(shù)超過系統(tǒng)限制、線程棧太大查 ulimit、線程數(shù)上限、是否存在線程泄漏Requested array size exceeds VM limit堆申請數(shù)組長度超過 int 上限附近通常代碼邏輯錯誤檢查數(shù)組長度計算Kill process or sacrifice child操作系統(tǒng)進(jìn)程被 OOM Killer 殺掉容器內(nèi)存配額不足或堆外內(nèi)存超限Compressed class space元空間壓縮類指針空間耗盡調(diào)-XX:CompressedClassSpaceSize這里重點說兩個最容易被誤判的。GC overhead limit exceeded經(jīng)常被當(dāng)成“內(nèi)存不夠”于是加堆結(jié)果只是把崩潰時間推遲。它的本質(zhì)是垃圾產(chǎn)生速率超過了回收速率加堆不能降低產(chǎn)生速率。正確姿勢是先用jmap -histo看對象分布如果是某個業(yè)務(wù)對象數(shù)量異常就去查對應(yīng)的業(yè)務(wù)邏輯如果是HashMap$Node或者byte[]占了大頭八成是某個緩存容器沒有上限。unable to create new native thread的詭異之處在于堆內(nèi)存可能還很空但就是創(chuàng)建不了線程。原因通常是三種一是操作系統(tǒng)ulimit -u限制了單用戶進(jìn)程數(shù)二是線程棧 1M 乘以線程數(shù)吃掉了大量內(nèi)存堆又開得大兩邊一起把物理內(nèi)存擠爆三是線程池創(chuàng)建了太多核心線程。我遇到過Executors.newCachedThreadPool()在突發(fā)流量下創(chuàng)建了上萬個線程的情況改成有界隊列的ThreadPoolExecutor之后就好了。順帶說一句線程池和 JVM 的關(guān)系線程池里每個線程都要占用一份??臻g所以最大線程數(shù)乘以-Xss是必須從內(nèi)存預(yù)算里扣掉的。有人算過“最大線程數(shù) JVM 剩余可用線程”這個思路是對的但實際約束往往來自操作系統(tǒng)限制而不是堆內(nèi)存。合理的做法是把最大線程數(shù)控制在幾百這個量級配合有界隊列和合適的拒絕策略。5.2 CPU 飆高、GC 停頓、內(nèi)存泄漏怎么查CPU 飆高的三種典型模式第一種業(yè)務(wù)線程在跑密集計算或者死循環(huán)。用前面說的top -Hp加jstack定位到具體方法能看到線程一直停在同一個方法棧上。第二種GC 線程在瘋狂跑。表現(xiàn)是top里 GC 線程名字帶GC或者G1占用很高jstat里 YGC 或 FGC 頻率暴漲。這時候要處理的是內(nèi)存問題不是 CPU 問題。第三種頻繁的上下文切換。pidstat -w -p pid 1能看到cswch/s很高一般是鎖競爭嚴(yán)重。用jstack搜BLOCKED狀態(tài)的線程或者用 Arthas 的thread -b。GC 停頓的排查要區(qū)分是 Young GC 還是 Full GC 的停頓。判斷方式看PrintGCApplicationStoppedTime的輸出里面會列出每次 STW 的持續(xù)時間。如果 STW 時間遠(yuǎn)大于 GC 日志里標(biāo)注的 GC 時間那說明停頓另有原因——可能是在做偏向鎖撤銷、類加載、或者 JIT 反優(yōu)化。這個坑很深見過一次線上停頓 300ms 但 GC 日志顯示只停了 20ms 的情況最后查出來是 JVM 在做大量偏向鎖批量撤銷用-XX:-UseBiasedLocking關(guān)掉偏向鎖才解決。內(nèi)存泄漏的定位流程我固定這么走先用jstat -gcutil觀察老年代在 Full GC 后能否回落。能回落說明只是壓力大不能回落才是泄漏。然后用jmap -histo看對象排名對比兩次相隔幾分鐘的輸出看哪個類的實例數(shù)在持續(xù)增長。這一步不需要 dump 文件開銷小適合線上。鎖定可疑類之后再找個低峰期導(dǎo) heap dump用 MAT 或者 JProfiler 打開看這個類的 GC Roots 引用鏈。MAT 的Dominator Tree視圖能直接告訴你誰占內(nèi)存最多Path to GC Roots能告訴你為什么這個對象回收不掉。常見的原因就那么幾個靜態(tài) Map 只增不減、ThreadLocal 用完沒 remove、監(jiān)聽器注冊后沒注銷、連接池/線程池未關(guān)閉。注意ThreadLocal 泄漏是重災(zāi)區(qū)。線程池里的線程是復(fù)用的ThreadLocal 如果不在 finally 里 remove它引用的對象會一直活到線程銷毀而線程池的線程基本不會銷毀。5.3 開發(fā)環(huán)境與容器環(huán)境的調(diào)優(yōu)注意點IDEA 本身的 JVM 調(diào)優(yōu)也值得說兩句因為開發(fā)機的卡頓經(jīng)常被誤判成代碼問題。IDEA 的 JVM 參數(shù)在Help Edit Custom VM Options里改配置文件是idea.vmoptions。默認(rèn)堆上限通常只有 750M 到 1G對于大型項目多模塊、大量索引根本不夠。-Xms1g -Xmx4g -XX:ReservedCodeCacheSize512m -XX:UseG1GC -XX:SoftRefLRUPolicyMSPerMB50 -XX:CICompilerCount2ReservedCodeCacheSize調(diào)大到 512M 是因為 IDEA 的索引和插件代碼量巨大默認(rèn) 240M 經(jīng)常觸發(fā) JIT 代碼緩存滿表現(xiàn)就是 CPU 突然飆高、卡頓日志里能看到CodeCache is full的提示。SoftRefLRUPolicyMSPerMB50讓軟引用更快被回收減少內(nèi)存壓力。注意如果你開了大量插件導(dǎo)致 CPU 高先試試File Invalidate Caches重建索引比調(diào)參有用。容器環(huán)境的坑更隱蔽。JDK8 在 8u191 之前的版本JVM 根本識別不到容器的 cgroup 限制它會讀到宿主機的物理內(nèi)存然后按 1/4 算堆上限。容器 limit 是 2G宿主機 64G堆就開了 16G一啟動就被 OOM Killer 干掉。查版本java -version看構(gòu)建號。8u191 及以后默認(rèn)開啟-XX:UseContainerSupport能正確讀取容器限制。更早的版本要么升級要么老老實實手動寫死-Xmx。即使在 8u191 之后容器里也建議顯式設(shè)堆。因為在容器里堆外內(nèi)存元空間、直接內(nèi)存、線程棧、JVM 自身都算在容器配額內(nèi)堆設(shè)成 limit 的 70% 到 75% 是比較穩(wěn)的比例剩下的留給堆外。見過太多“容器 limit 4G堆設(shè) 4G跑一會兒就被 Kill”的案例。6. GC 日志判讀與批量壓測調(diào)優(yōu)日志是唯一的客觀證據(jù)。很多人調(diào)優(yōu)調(diào)不好不是不懂參數(shù)是不會讀日志。6.1 三種回收器的日志格式對比Parallel 的 Young GC 日志2024-03-15T10:23:45.1230800: 25.456: [GC (Allocation Failure) [PSYoungGen: 65536K-10752K(76288K)] 65536K-11664K(251392K), 0.0234567 secs] [Times: user0.09 sys0.01, real0.02 secs]拆開看25.456是 JVM 啟動后的秒數(shù)Allocation Failure是觸發(fā)原因表示新生代沒空間分配了PSYoungGen: 65536K-10752K(76288K)表示新生代從 64M 降到 10.5M總?cè)萘?74.5M65536K-11664K(251392K)是整個堆從 64M 降到 11.4M堆總?cè)萘?245.5M0.0234567 secs是這次 GC 的耗時Times里的user是所有 GC 線程消耗的 CPU 時間總和real是實際墻鐘時間。user 遠(yuǎn)大于 real 說明并行度好user 接近 real 說明基本是串行在跑。CMS 的日志會多出幾個階段2024-03-15T10:23:45.1230800: 25.456: [GC (CMS Initial Mark) [1 CMS-initial-mark: 131072K(174784K)] 145600K(251392K), 0.0012345 secs] 2024-03-15T10:23:45.2000800: 25.533: [CMS-concurrent-mark-start] 2024-03-15T10:23:45.8000800: 26.133: [CMS-concurrent-mark: 0.567/0.600 secs] 2024-03-15T10:23:45.8100800: 26.143: [CMS-concurrent-preclean-start] 2024-03-15T10:23:46.1000800: 26.433: [CMS-concurrent-preclean: 0.290/0.290 secs] 2024-03-15T10:23:46.1100800: 26.443: [GC (CMS Final Remark) [YG occupancy: 80000 K (131072 K)] 0.0850000 secs] 2024-03-15T10:23:46.2000800: 26.533: [CMS-concurrent-sweep-start] 2024-03-15T10:23:47.5000800: 27.833: [CMS-concurrent-sweep: 1.300/1.300 secs]看 CMS 日志只關(guān)心兩個有 STW 的階段CMS Initial Mark和CMS Final Remark。這兩個的耗時才是真正影響業(yè)務(wù)的。中間的concurrent-mark、preclean、sweep都是并發(fā)的耗時再長也只影響吞吐。如果 Final Remark 時間很長通常是新生代對象多導(dǎo)致重新標(biāo)記工作量大可以調(diào)-XX:CMSScheduleRemarkEdenPenetration之類的高級參數(shù)但更簡單的辦法是減小新生代。G1 的日志信息量最大2024-03-15T10:23:45.1230800: 25.456: [GC pause (G1 Evacuation Pause) (young), 0.0234567 secs] [Parallel Time: 18.2 ms, GC Workers: 8] [GC Worker Start (ms): Min: 25456.1, Avg: 25456.3, Max: 25456.5, Diff: 0.4] [Ext Root Scanning (ms): Avg: 0.5, Max: 1.1, Sum: 4.0] [Update RS (ms): Avg: 0.8, Max: 1.5, Sum: 6.4] [Scan RS (ms): Avg: 0.3, Max: 0.9, Sum: 2.4] [Object Copy (ms): Avg: 12.1, Max: 14.3, Sum: 96.8] [Eden: 512.0M(512.0M)-0.0B(504.0M) Survivors: 4096.0K-8192.0K Heap: 1024.0M(2048.0M)-530.0M(2048.0M)]重點看Parallel Time和各個子階段的耗時。如果Ext Root Scanning很高說明 GC Roots比如大量線程、大量類太多了檢查線程數(shù)是不是失控如果Update RS或Scan RS高說明跨 Region 引用多Remembered Set 維護壓力大通常意味著老年代對象和新生代對象交互頻繁得考慮對象是不是過度分散了如果Object Copy占大頭那就是存活對象太多得減小新生代或者減少對象存活時間。6.2 關(guān)鍵指標(biāo)與判讀閾值我整理了一張自己常用的閾值表長時間越界就要動手了。指標(biāo)獲取方式健康范圍越界含義YGC 頻率jstat 里 YGC 變化率每秒小于 5 次新生代太小或?qū)ο蠓峙渌俾蔬^高YGC 單次耗時YGCT / YGC小于 50ms存活對象太多Survivor 不夠FGC 頻率jstat 里 FGC 變化率每天少于 2 次老年代不夠或有泄漏FGC 單次耗時FGCT / FGC小于 1s堆太大或回收器選擇不當(dāng)GC 總時間占比GCT / 運行時長小于 5%吞吐量受損需要重新選型老年代 GC 后占用jstat 里 O穩(wěn)定不持續(xù)上升持續(xù)上升即有泄漏STW 總時長PrintGCApplicationStoppedTime單次小于 200ms影響接口 P99這張表里我覺得最該盯的是最后一個STW 總時長。因為它包含了 GC 之外的停頓原因是對用戶最直接的影響。只看 GC 耗時很容易漏掉偏向鎖撤銷、類加載、JIT 反優(yōu)化這些隱性停頓。6.3 壓測對比的落地做法調(diào)優(yōu)最后一步必須驗證而且不能只在一個參數(shù)下跑。我一般的做法是準(zhǔn)備一組參數(shù)組合在同一臺機器、同一份壓測流量下逐個跑收集 GC 日志后用腳本對比。先寫個提取腳本把日志里的關(guān)鍵指標(biāo)算出來#!/bin/bash LOG$1 echo 文件: $LOG echo YGC 次數(shù): $(grep -c GC (Allocation Failure) $LOG) echo Full GC 次數(shù): $(grep -c Full GC $LOG) echo 平均 STW: $(grep Total time for which application threads were stopped $LOG | awk {s$10; n} END {printf %.2f ms\n, s/n*1000}) echo 最長 STW: $(grep Total time for which application threads were stopped $LOG | awk {if($10m) m$10} END {printf %.2f ms\n, m*1000})然后準(zhǔn)備三到四組參數(shù)比如新生代 2G、2.7G、3.2G 三檔每組用同樣的壓測流量跑 30 分鐘收集日志之后橫向?qū)Ρ取簻y工具用什么不重要關(guān)鍵是流量模型要貼近真實——尤其是對象創(chuàng)建速率和對象存活時間這兩個特征必須和線上一致否則調(diào)出來的參數(shù)沒有參考價值。我自己踩過的一個坑是在壓測環(huán)境用簡單的接口壓對象創(chuàng)建快、存活短調(diào)出來的參數(shù)是新生代越大越好但線上業(yè)務(wù)的對象存活時間明顯長兩個環(huán)境的最優(yōu)參數(shù)完全不同。后來我改成從線上拉一份真實的請求采樣做流量回放參數(shù)才有參考意義。還有個實用技巧參數(shù)不要一次改多個。有人喜歡一次改五六項跑出來效果好也不知道是哪項起的作用效果差更不知道是哪項搞壞了。一次改一到兩項觀察至少半小時記錄下變化這才是可積累的調(diào)優(yōu)經(jīng)驗。最后再分享一個我自己的做法把每次調(diào)優(yōu)的參數(shù)、機器規(guī)格、前后 GC 指標(biāo)記錄在一個表格里。跑的項目多了之后這張表就成了自己的經(jīng)驗庫新項目上手時直接找規(guī)格相近的那一行做起點比從零開始試快得多。尤其是內(nèi)存規(guī)格在 4G 到 16G 這個區(qū)間很多業(yè)務(wù)形態(tài)的參數(shù)其實高度相似復(fù)用率相當(dāng)高。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
深爱激情五月天色婷婷| 欧美精品999| 肏屄色播伊人97婷婷| 99热9999| 这里精品| 另类丁香五月天区图| 久久久久九九九九视屏小说88| 久久3p| 丁香婷最新动态| 国产91资源在线| 五月丁香六月婷婷激情网| 免费成人网在线观看| 色99在线| 看全色黄大色大片| 新精品99| 婷婷六月天精品| 欧美日韩成卜| 色婷婷六月天| 99ri在线观看视频| 性爱久久| 深爱开心激情| 欧美精品熟女一区二区| 婷婷五月天成人动漫 | 五六月婷婷| 97色精品视频| 三级片AAA久久久AAA久久久AAA | 久久激情网| 熟妇高潮一区av| 深爱五月激情| 六月丁香久久| 国产在线中文字幕| 天天综合五月| 激情五月婷黄版| 精品99这里有| 中美日韩成人在线| 深爱五月激情| 亚洲综合色棒| 色性五月天| 欧美天堂久久| 激情四射婷婷色色色| 欧洲MV日韩MV国产| 婷婷五月天桃花网| 六月婷婷毛片| 人妻综合网| 久久99久久99精品免观看软件| 五月久久| 色色色五月| www.狠狠操| 99性感视频| AAA久久| 丁香六月av| www.91av.com| 不卡成人免费| 2021日韩无码| 久久婷婷五月天激情四射| 婷婷中文综合网| www.色五月| 五月婷婷av| 五月丁香啪啪婷婷| 色丁香五月| 久热成人| 亚洲五月婷婷| 婷婷丁香人妻天天爽| 久草视频一,二三四| 91成人性爱视频| 99色 色| 五月婷婷与六月丁香图片激情| 丁香五月自拍| 亚洲性图一区二区三区| 色九月激情综合网| 婷婷激情五月天激情| 亚洲中文乱字字幕线在永久| 丁香五月婷老师| 玖玖热视频| 这里只有精品视频99| 婷婷五亚洲| 丁香五月大片| 国产色99| 久久伊人9| 激情婷婷丁香五月天| 激情婷婷久久| 五月天婷婷色| 色婷婷亚洲综合网站| 猫咪伊人AV| 九色激情| 婷婷午夜精品久久久| 97在线综合| 婷婷伊人中文字幕| 第一区久久网站| 婷婷 月 丁香| 91丨九色丨东北熟女| 99久热| 亚洲超碰在线| 色青青电影色五月| 91人人操人人爱| 日韩欧美一级大黄网站| 激情五月婷婷综合网| 日韩综合大黄| 五月激情影院| 国产精品色色| 久久免费干| 99色免费在线观看| 丁香婷婷六月婷婷六月婷婷六月婷婷| 激情五月,深深爱五月| 五月激激激情综合网| 亚洲操B| 天天插天天插| 怡红院AV亚洲一区二区三区H| 九九热青青草| 精品久久99码| 99热九九热| 激情AV在线| 色五月在线观看| 中国女人做爰A片| 欧美电影在线播放| 婷婷成人AV| 天天综合亚洲综合网天天αⅴ| 婷婷丁香五月六月激情| 丁香五月影院| 丁香五月手机在线| 97婷婷在线| 五月天色播网| 99久久玖玖| 国产精品18久久久| 久久久久久激情| 人妻在线中文字幕久久| 亚洲六月色| 伊人网色婷婷五月天| 国产操B视频| 亚洲天堂亚洲色色色| 丁香五月a| 777色色色| 色九月丁香婷婷蜜桃在线观看| 六月婷婷av| 人妻VideOssS人妻| 欧美电影在线播放| WWW,五月天| 婷婷六月久久综合导航| 久久曰曰| 丁香五月色| 色婷五月天网站| 91碰| 亚洲精品网址| 79色色色色| 99久热| 91视频免费后入强操| 日本www五月婷婷| 人人爱人人草| 婷婷五月激情综合啪啪| 亚洲精品九九| 香蕉AV777XXX色综合一区| 婷婷五月天综合在线| 久久伊人五月天| 疯狂做受XXXX高潮A片| 色玖玖综合| 男女久久婷婷五月天| 婷婷激情综合| 丁香五月天亚洲综合| 琪琪秋霞| 91精品久久久久久77777| 9色天堂| 日韩成人精品中文字幕| 99在线精品免费视频| 99超碰人人| 天天爽天天干天天| 中文字幕不卡网站| 极品五月天| 久久99热这里只频精品6学生| 激情久久五月天| 婷婷色导航| 人人摸人人干| 岛国av电影网站| av九九| 婷婷丁香射射| 午夜五月天| 超碰电影在线播放| 97AV在线视频| 五月天色图| 九九热在线99| 婷婷五月综合免费在线| 五月婷婷亚洲色视频| 九 九九九AV| 丁香涩涩五月天| 色婷婷久久| 99综合| 亚洲AV中文在线| 日韩操啪| 久综合| 7777精品伊人久久久大香线蕉最新版| 国产avapp 网| 玖玖国产视频一区| 无码免费人妻A片AAA毛片西瓜| 婷婷五月天激情四射五月天激情| 午夜69成人做爰视频| 99色啊| 99热这里只有精品在线| 丁香六月婷婷一区| 国产AV一区二区三区最新精品| 婷婷六月丁香久| 欧美成人精品A片免费一区99| 久青青久| 国产又粗又大又爽又黄| 夜夜操天天爽| 日韩操逼大片| 人人操av| 伊人午夜综合色啪| 午夜福利成人AV91| 99在线视频资源| 大伊香蕉玖玖爱| 在线观看欧美| 亚洲婷婷月丁香五月| 色噜噜狠狠色综合伊人| 99精品偷自拍| 精品三区影院| 五月 成人 婷婷| 九九九热精品| 五月丁香六月激情综合在线| 9 9 9色色| 98永久精品| 久热中文字幕| av大香蕉| 久久久久久久合一狠狠做深爱| www.激情com| 99热丁香| 操日本人妻视频| 琪琪色网址| 亚洲综合色网| 久婷婷久草| 人妻免费网站| 99精品在线观看| 五月丁香六月婷婷不卡免费无码 | 五月天色站| 婷婷五月天av| 五月丁香激情五月天| 精品国产乱码久久久久夜深人妻| 五月婷婷激情| 色五月视频无码播放| 五月丁香六月婷婷激情四射| 色丁香久久| 色色免费网战视频| 99热亚洲| 一级韩国产精品毛| 九九碰九九爱97| 欧美成人网99网| 99在线播放视频| 少妇性按摩无码中文A片| 婷婷五月色播放| 欧美日韩一a.无| www.第四色99| 五月丁香色婷婷| 99亚州综合精品成人网| 玖玖九九99| 开心五月婷婷婷美女| 五月丁香啪啪网| 看国产探花操逼三级片| 久久在这里有精品| 色~性~乱~伦~噜| 免费黄网不卡AV| 五月丁香久| 热99热9| 久久久久9| 亚洲AV无码成人电影| 色婷婷综合网| 婷婷伊人久久| 伊人五月天| www。五月天。com| 日韩无码一区二区三区四区| 99ri在线视频| 色偷偷色婷婷| 日韩无码性爱| 丁香五月天日韩无码| 五月丁香网站| 人人妻人人澡| 夜色综合网| 五月婷婷六月婷| 激情宗合哪里能看| 看婷婷五月天网| 99久免费视频| 99日本视频在线观看专区| 中文字幕在线日亚州9| 色婷婷在线电影| 天天日夜夜拍| 第四色五月天| 97干在线| 婷婷五月丁香基地| 六月丁香啪啪| 色爱五月天| 色色色地址| 天天天操天天天日| 免费观看欧美成人AA片爱我多深| 天天操夜夜肏| site:feetmall.com| 5月色亭亭视频| 久久婷色| 五月6香色婷婷视频| 日本在线99| 欧美操我| 日本97在线| 日韩情色在线观看| 黄网在线观看免费| 日韩av在线免费观看| 蜜桃婷婷狠狠久久综合| 激情伊人网| 五月丁香偷拍| 色情五月天丁香社区| 超碰五月婷婷五月天| 教师性爱毛片| 久久九九囯产| 九艹在线| 激情综合青草| 99热日本| 天天色视频| 99热这里有精力| 天天舔天天摸天天透| 激情内射人妻1区2区3区| 婷婷伊人五月天| 九九热99热| 99在线精品观看99| 91精品综合久久久久久五月丁香| 少妇高潮呻吟A片免费看软件| 操91| 色狠狠婷婷| 五月丁香久久激情综合| 婷婷五月中文字幕| 欧美在线视频99| 婷婷六月丁香在线| 五月激情基地| 六月色婷婷| 色情五月婷| 丝袜人妻| WWW.国产| 99小视频在线观看| 五月婷婷激情综合| 99久久99热这里只有精品| 天天爽夜夜爽| 任你搞网站| 天天干狠狠| 丁香五月婷婷基地| 五月丁香婷婷激情图片| 97影院一级片| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 欧美性爱一区| 午夜不卡久久精品无码免费 | 熟女国产在线一区二区三区四区| 97在线刺激| 草综合网| 天天日夜夜帕| 日本三级韩三级99久久| 国产夫妻操逼内射视频| 色99视频| 99在线精品免费视频| 久久丁香婷婷色情综合| 99久热这里只有精品视频删减版| 国产精品久久7777777精品无码| 九九色播五月丁香| 日日躁夜夜躁狠狠久久AV| 99九九99九九九视频精品| 久久 婷婷 五月天| 不卡影院午夜理论片| 久久婷婷五月综合激情国产| 国产乱子轮XXX农村| 91天堂网综合| www.色婷婷。com| 一级性爱视频| 久久综合婷婷| 殴美日韩成人| 丁香五月激情澎湃一区| AV中文在线| 九九艹女| 久久成人性爱| 五月丁香无码| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 中文字幕色色色| 日本啪啪天堂| 在线不卡的视频| 婷婷6月综合网| 丁香五月另类小说| 女人高潮内射99精品| 婷婷综合av| 色五月av伊人| 五月天综合视频| 狠狠干五月| 99热人人| 在线视频99| 精品久久久91久久影视网| 六月丁香综合| 激情五月天综合网| 沈娜娜av| 五月婷婷五月丁香综合| 丁香九月久久| www.婷婷.com| 天天草天天摸| a性生活久久无| 色五月婷婷老师| 99热999| 99热这里只有精品国产免费| 99热都是精品| 亚洲综合在线播放| 色婷婷六月| 六月婷婷毛片| 九九九成人在线视频| 狠狠干综合| 亚洲高清在线| 婷婷五月天激情亚洲小说| 91干视频| 久久九九@| 99热在线观看这里只有精品| 日比网免费国产| 99热在线观看免费中文| 婷婷的99视频网站| 婷婷丁香97| 五月婷婷激情| 丁香五月天狠狠操| 天天综合色丁香| 成人性生活免费观看。| 婷婷激情五月综合丁香社| 久/久精品99看9| 久/久精品99看9| 91色综合网| 六月丁香狠狠爱| 色五月激情婷婷| 国产毛片操B| 激情综合激情五月| 三级毛片视频| 激情网婷婷婷| 无码一区精品一区视频| 五月综合六月婷婷| 婷婷五月在线| 久久五月丁香| 日韩精品超碰在线观看| 色色丁香婷婷| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 婷婷五月丁香综合亚洲| 五月综合婷婷久久在线| 久久久久久久久久久jjjj| 五月丁花色综合网| www.婷婷五月天,com| 婷婷五月伦理| 色色网91| 激情六月天| 日本三级毛片| 99热亚洲| 99热在线观看精品| 六月婷婷色五月| 久久人妻少妇嫩草AV| 婷婷亚洲在线| 嫩草视频观看| 丁香桃色网| 午夜理论片最新午夜理论剧| 久久怡红院| 色五月婷婷激情五月| 内射爽无广熟女亚洲| 色小说婷婷五月天天天| 婷婷色狠狠| 可以免费观看的AV| WWW,五月天| 五月婷婷激情| 亚洲激情婷婷| 九九性视频| 欧美韩国日本| 欧美xx激情视频在线观看| 《久久综合九色综合97婷婷| 婷婷六月丁香五月| 人人干AV| 九九re精品视频在线观看| 99综合| 狠狠狠狠狠狠狠狠草| 婷婷99综合| 五月丁香六月婷婷无码| 99爱视频精品在线观看| 4399无码视频| 九色91国产| 91爱操| 亚洲乱码日产精品BD| 色色色色网色色网色色| 亚洲操逼片| 国产成人精品123区免费视频| 婷婷丁香五月亚洲综合网在线视频观看| 99热99草97| 亚洲久久激情| 激情綜合W W W,激情五月天| 永久的网站AAAA| 碰超亚洲| 99精品色| 婷婷五月色天| 大地资源色婷婷视频在线| 色婷婷色五月色丁香| 东京热人妻一区二区三区在线| 九九99九九99| 久久婷婷色五月| 色综合九九| 色九区| 五月丁香中文| 先锋男人99资源| 久久久久激情网| 成人国产欧美大片一区| 99激情网| 综合一本道| 激情五婷精品网在线观看网址| 1024在线视频| 乱岳熟女50岁| 黄网在线播放| 久久99热免费最新版| 六月婷婷狠狠| 亚洲性视频| 激情五月婷婷综合网| 日韩成人综合网| 五月花激情| 热无码A∨| 9久热在线视频精品| 色香蕉婷婷| www夜夜| 亚洲丁香婷婷丁香五月天激情| 久久综合热17c| 插逼综合网| 五月停视频天堂| 午夜天堂啪啪| 激情文学久久| 五月天天综合| 亚洲热综合| 99色热视频| 精品久久二6| 婷婷激情五月视频| 丁香婷婷婷婷十二月在线观看视频| 色色99| 91九色在线视频| 成人网丁香五月| 五月天婷婷黄色视频| 97热在线精品| 婷婷六月丁香欧美视频在线| 五月丁香激情婷婷| 激情综合六月| 欧美日本一区二区三区| 五月综合在线婷婷图片| 另类图片五月天婷婷| 久久激情五月| 美日韩成人| www.婷婷五月天| 91丨九色丨老农村| 停停综合色色| 国产精品日日躁夜夜躁| 亚洲成人在线综合| 九九综合网色全集 | 国产成人精品一区二三区熟女在线 | 六月香五月婷| 五月色婷婷综合丁香精品无遮挡| 99超在线| 婷婷色色播五月天| 开心五月婷婷在线| 丁香五月天的网址。| 婷婷深爱五月天在线| 99高级会所久久| 五月婷婷综合热| 五月丁香六月婷婷,婷| 九九热亚洲中文在线观看免费| 欧洲毛片基地c区| 久热一本| 天天综合激情| 插少妇综合网| 婷婷六月伊人| 蜘蛛女侠2003满天星免费观看| WWW,五月| 天天操中文字幕| 大香蕉网站,大香蕉综合| 日韩在线视频网站| 五月色婷婷综合| 丁香五月av| 精品一区二区三区四区五区六区| 久久久区区一久久久久久| 亚洲成色综合网站免费观看| 六月丁香激情最新更新| 四月婷婷丁香| 天天色粽合合合合合合合| 激情丁香五月婷婷| 日韩九九| 日日噜噜夜夜狠狠久久丁香五月| 97色综合视频| 六月丁香av| 综合五月草| 五月的婷婷六月丁香| 久久思思热视频| 99热一区| 丁香六月婷婷综合| 91色综合网站在线| 色狠狠综合入口| 久久草大香蕉| 99色一| 日韩1区2区| 久操大香蕉| 69精品人人人人| 婷婷中文综合网| 国产婷婷综合| 婷婷成人在线| 久久婷婷五月| 婷婷色中文字幕| 五月丁香婷婷欧美色图视频五月丁香777电影| 五月色情婷婷| 色色丁香| 五月丁香六月婷婷亚洲| av色婷婷| 丁香五月花影院| 色99婷婷五月天| 六月丁香婷婷五月天| 亚洲成人乱码av网站| 日本久久人| 日本人妻伦在线中文字幕| 色综啪啪啪啪啪啪| 开心五月激情| 97色色色| 国外亚洲成AV人片在线观看| 99色在线观看视频| 五月天自拍视频| 97碰碰在线观看视频| 色五月亚洲| 色亭亭五月天丁香综合AV - 百度 - 百度| 婷婷久久五月| 97干在线免费| 开心婷婷五月天电影院| 国产成人高清| 久久婷婷五月天丁香| 97碰免费视频在线| 婷婷五月激情视频在线| 99精品在线观看| 五月婷婷六月综合| 天天射综合网夜夜操| 丁香九月激情| 日韩视频女神99| 婷婷五月天视频小说| 天天操中文字幕| 婷婷五月色播天| 婷婷大乡焦噜噜| 99热这里只有精品50| 久久9久| 亚洲综合色激情色五月| 激情涩涩网| www.91婷婷| www.久操| 日日夜夜噜噜爽爽| 丁香五月影院| 9999久久久久| 亚洲视频操| 婷婷丁香大香蕉| 国产精品五月丁香| 国产在这里只有精品| 91精产一区三区免费观看| 六月丁香激情婷婷| 日韩中文字幕| 欧美日韩大黄| 婷婷久久五月天| 97在线综合| 99热免| 九九综合影音先锋| 色丁香在线视频| 久久久人妻| 四虎成人精品永久免费AV九九| 国产密乳av一区二区三区四区| 久婷婷视平| 五月婷婷,六月激情| 五月丁香黄色视频| 婷婷综合色色| 91精品久久久久久| 在线观看的av| 亚洲成人网站在线播放| 五月色影院| 超碰无码老师| 午夜五月天| 91久久18| 色五婷婷开心缴| 亚洲国产黄色电影| 99无码精品| 99视频九九热| 成人丁香五月天| 五月婷婷激情刺激| 五月丁香网站| 激情婷婷五月天在线观看| 四川BBB搡BBB搡多人乱亂| 欧美日韩大黄| www久| WWW五月婷婷| 久久丁香五月天| 播五月婷婷开心| 99在线免费视频| 成人 在线 日韩| 国产成人+综合亚洲+天堂| 二级黄色毛片| 在线色色| Av狠狠色丁香婷| 五月激情综合网| 久久五月丁香激情综合| 成人综合视频网址| 性色视频| 99热碰碰| 天天日,天天插| 色六月天天激情综合网| 丁香久久| 丁香五月色五月婷婷宗合| 97操资源婷婷| 香焦网五月天| 婷婷五月激情四月综合| 色婷婷导航| 99热欧| 日本天堂网站99| 99久热在线精品| 国内婷婷丁香社区在线播放| 9999热在线| 99在线热| 色五月丁香在线| 色九亚洲| 高潮毛片又色又爽免费| 久久色亭亭五月天| 99热久久这里只有精品| 色青五月天| 五月丁香爱婷婷深深| 高潮毛片又色又爽免费| 色婷另类| 日本噜噜色网| 欧美三级欧美一级| 激情五月黄色| 成人 在线 日韩| 欧美婷婷五月天综合| 六月婷基地| 亚洲精品国产熟女久久久| 亚洲综合色网| 99久久思思| 99精品一二三四视频| 激情内射人妻1区2区3区| 综合XX网| 丁香六月毛片| 激情AV| 日韩欧美性爱| 五月激情小说| 综合AV在线| 五月丁香婷婷俺| 人人草成人视频| 天堂久久大香蕉| 丁香婷婷综合激情五月色| 七七色色综合| 17.c黄色| 五月丁香婷婷综合激情基地| 亚洲av免费在线| 色婷婷激情视频| 激情五月综合网| 91狠狠色色丁香婷婷综合久久| 色五月激情基地| 国产精品大香蕉| 亚洲AV免费国产电影| www,婷婷,com| 欧美久热| 丁香六月五月天| 人人操AV| 亚洲色婷婷视频| 婷婷丁香五月视频| 亚洲激情在线| 久久看婷婷| 婷婷五月超碰| 丁香婷婷激情网站| 嫩草AV久久伊人妇女超级A| AV中文在线| 亚洲午夜电影| 婷香五月激情视频| 婷婷五月天堂一本在线| 精品一区二区三区木瓜| 凹凸7777操操操| 色9999日韩国产| 狠狠色丁香婷婷久久综合| 狠狠色噜噜色狠狠狠综合色 | 久久久久九九九九视屏小说88| 被强行糟蹋的女人A片| 综合网亚洲| 日本三久久| 91九色欧美| 亭亭五月丁香五月天激情| 婷婷综合色播网| 色天天综合成人网| 婷婷四色五月| 天天日人人爽| 黄页大全十八禁| 亚洲99视频| 99er在线观看| 久久五月婷婷开心网| 亚洲激情高潮| 色播五月丁香婷婷| 丁香五月aV| 婷婷五月免费观看| 天天做天天爱天天爽在| 亚洲激情99| 婷婷五六日| WWW.桔色成人.COM入口| 亚洲综合色丁香婷婷六月| 先锋男人99资源| 久久婷婷五月天激情| 色婷婷丁香五月天激情综合网| 人妻videos人妻高清| 丁香色播五月天| 天天干天天 亚洲| 五月天停停基地| 涩五月色婷婷| 五月婷婷在线视频观看| 991国产精选视频在线播放下载| 97色操| 色婷婷综合久久久久| 中文字幕在线播放视频| www色五月| 久青草影院| 狠狠精品干练久久久无码中文字幕| 国产69久久久欧美黑人A片| 4399无码视频| 大香伊人婷婷影院| 97干视频在线| 色婷婷影院| 色婷婷欧美在线| 国产精品A片| 五月婷婷69| 色婷婷免费视频| 99久久6| 中文字幕日产A片在线看| 97操碰人免费| 六月婷婷色色色| 国产精品大香蕉| 森林影视大全,最好看的2019年视频| 激情九九综合网| 九九热最新| 丁香六月在线| 婷婷五月天天| 日韩大片艹艹| 日本色频| 五月亭亭综合五码| 色天堂在线| 涩五月婷婷| 日本婷婷色| 日本久热| 五月开心婷婷| 天天综合五月| 嫩草AV久久伊人妇女超级A| 97男人天堂| 日本综合久久| 五月丁香六月婷婷在线播放| 秋霞AV淫| 国产露脸150部国语对白| 丁香五月www| 婷婷激情小说网| 亚洲 五月 婷婷 成人| 日韩在线视频中文字幕| 91久久久久久| 91久久九色| 亚洲激情图文小说| 精品无吗va视频免费观看| 99色网站| 五月开心深爱激情网| 91久久九久久九久久九久久九久久| www.久久| 综合网狠狠| 丁香综合伊人| 久热免费| www.色五月| 大香蕉99热| 狠狠狠狠狠操| 丁香五月色情| 超碰在线资源| 亚洲avjiujiur91| 色欲午夜无码久久久久久张津瑜| 国产婷婷色综合AV蜜臀AV| 97五月婷婷| 色情激情五月| 开心五月网 | 在线视频激情网站| 五月婷婷之六月丁香| 婷婷午夜精品久久久| 久9精品视频在线| 色五月开心婷婷| 五月婷婷六月色| 午夜亚洲AV日韩无码| 96丁香六月婷婷蜜桃综合久久| 亭亭五月激情亚洲在线| 99爱在线视频| 97性视频| 天天精品视频免费观看| 欧美情色一区| 日本激情ⅩXX免费视频| 色婷婷先锋| 丁香八月综合激情| 午夜丁香六月婷| 99在线精品观看99| 五月天婷婷社区久久综合| 狠狠色噜噜狠狠狠888了| 99热精品在线在线| 色九月婷婷综合| 综合成人小说婷婷| 天天肏视奸| 99精品视频在线| 天天色视频| 超碰人人操在线| 激情五月综合网| 我想看国产大学生口爆吞精的视频| 啪啪啪啪五月天| 99精品性爱| 一起草Av| 秋霞A V毛片| 综合伊人久久| 久久99网| 精品九九婷婷| 色五月第四色| 亚洲精级| 99热这里只有精品官网| 久久婷婷七月丁香| 很很干在线视频| 97在线精品| AV色五月婷婷| 久久99热这里只有精品| 色碰碰视频| 久热91| 第四色激情网| 亚洲精品无码久久| 日韩综合网络男女香蕉a片| 国产性爱一级| 久热黄色| 国产91视频| 丁香五月天黄色片| 色婷婷九月| 五月停亭六月,六月停亭的英语| 91色逼| 激情五月丁香社区| 超碰人人超碰| 日日爱678| 久久精品99| 色婷婷国色天香综合| 欧美性猛交99久久久久99按摩| 婷婷五月天另类视频| 成人片黄网站色大片免费毛片| 亚洲激情电影五月天色婷婷丁香一起草| 色婷婷综合网站| 停停色综合伊人| 日本黄 色 片| 啄木鸟丝袜美女福利视频| 秋霞少妇毛片| 啪啪黄页网| 91操熟女| 无码少妇高潮喷水A片免费| 亚洲 无码 中文字幕 中出| 五月婷婷丁香日韩在线| 99精品大片| 天堂爱啪啪| 婷婷色在线| 色五月开心五月激情五月| 五月婷婷视频| 日本婷婷色日| 丁香蜜臀黄色婷婷五月天| www.五月丁香| 婷婷之六月丁香| www.99热精品99.com| 婷丁香五月天| 欧美成性色| 丁香五月狠狠在线观看| 人人操五月天| 九九久久精品| 极品人妻VIDEOSSS人妻| 日韩爱操视频| 九九99精品视频| 欧美交换配乱吟粗大25P| 蜜臀嫩草| 日本一级特黄大片AAAAA级| 天天干天天插| 婷婷丁香五月综合激情小说| 天堂爱啪啪| 大香蕉九九| 99热这里只有精品18| 久久久五月婷婷| 日日夜夜天天| 婷婷六月情| 99久久99九九九99九他书对| 免费无码毛片一区二区A片| 可似看的AV| 婷婷丁香久久| 激情五月成年| 91在线日| 亚洲99手机免费看视频| 婷婷丁香成人五月天| 99精品热| 色婷婷激情| 国产夫妻操逼内射视频| 91大神在线免费看视频全集男男一起操| 大香蕉婷婷色| 激情五月丁香激情综合网| 亚卅毛片| 亚洲国产精品VA在线看黑人| 久久综合首页| 五月丁香激情综合六月涩涩爱| 婷婷综合网性| 欧美性生交xXxX久久久| 亚洲人妻Av| 天天操夜夜玩!| 91色综合网| 久久婷婷原创视频| 激情图片五月天| 五月婷婷中文| 婷婷五月天影视网址| 丁香五月激情网| 婷婷综合性爱网| 91超级碰碰碰| 五月婷婷丁香社区| 激情小说五月丁香在线视频观看视频| 美国不卡视频| 成人中文网| 婷婷伊人| 久久久久人妻精品| 玖玖九九99| 日本久久99| 久久99精品久久久久久青青AR| 成人精品视频99在线观看免费| 综合性爱网| 丁香五月婷婷俺也要去| 久久久久久天天日天天爱| 久久婷视频| 婷婷不卡基地| 久久视频在线视频| 色色色综合网| 思思热在线视频精品| 区区欧美你爱| 婷五月丁香| 色亚洲无码| 五月天婷婷香蕉狠狠超碰综合| 免费日本aⅴ中文字幕 | 香蕉婷婷五月| 99免费在线视频| 丁香久久综合| 噜噜色婷婷| 久久这里99| 婷婷六月爽| 欧美日韩一a.无| 热五月婷婷| 丁香五月激情月| 激情电影五月婷婷| 亚洲乱码日产精品BD| 婷婷五月天激情小说| www.婷婷六月天| 婷婷色五天| 日本成人噜噜噜| 激情五月天伊人av| 天天爽夜夜爽天天爽夜夜爽| 婷婷六月久久| 丁香五月第九色| 亚洲色色色色色| 婷婷99狠狠躁天天躁| 久久婷婷网站| 99干日本| 狠狠色丁香婷婷久久综合| 丁香五月婷婷欧美成人色图| 热99热久| 香蕉99网| 伊人激情网| 国产女18毛片多18精品| 婷婷在线中文字幕| 天堂伊人干| 亚洲色图欧美色图日本视频| 精品夜夜澡人妻无码AV| 欧美内射AAAAAAXXXXX| 思思热在线| 日韩免费视频| 97caop| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | WWW,五月| 综合激情视频| 天天日天天色| 色播五月综合网| 91丨九色丨熟女| 色婷网| 五月综合色| 五月丁香综合网| 国产又爽又猛又粗的视频A片| 成人中文网| 国产av天天插天天操天天爽| 665566 无码| 69人人操人人爽| 一起草av在线观看| 中文字幕综合| 怡红院 久久| 亚洲综合网激情小说| Va另类视频| 色综合色综合色综合| 99热在线看| 中文字幕永久免费| 激情六月婷婷| 亚洲欧美日韩VIP| 红桃91人妻爽人妻爽| 亚洲第一av| 婷婷久久五月| 成人五月天在线视频在线观看| 精品热九九| 日日干天天| 99色综合网| 99操视频| 97五月婷| 激情五月色综合网| 婷婷综合网| 5月婷婷激情6月| 成人五月天视频| 四虎成人精品永久免费AV九九| 色五月综合| 久久探花91swag| 国产免费一区二区三区三州老师F1F1.CC | 停停色综合伊人| 九九色综合九九色| 九九综合伊人| 无码AV免费精品一区二区三区| 琪琪色网址| www.婷婷五月天| 色婷婷4| 99在线小视频| 日本va欧美va国产激情| 丁香五月花影院| 国产精品电影网| 五月天激情在线视频| 99热这里有精力| AV操操操| 婷婷色资源| 丁香五月天网站| 丁香六月天色婷婷| 九九热99免费视频| 国产精品A成V人在线播放| 亚洲精品网址| 亚州精品色情在线观看| 天天爽天天做| 天天天天天天操| 九九色插| 成人看片网站| 婷婷色正月| 亚洲色频| 久久九⑨| 色综合xx| 97碰碰在线看视频免费| 99精品视频在线观看| 色九亚洲| 操熟女成人网| 思思久久精品| 玖玖综合玖玖| 精品无码色欲AV| 91丨九色丨白浆秘| 久草免费福利视频| 天天爽在线视频| 婷婷五月天六月丁香| 色五月激情五月| 97九色视频| 九九九九九九九热| 日韩 中文 欧美| 五月婷婷大香蕉| 草久私拍| 亚洲AV激情五月综合网| 久久怡红院| 丁香六月天婷婷色| 99在线观看视频免费| 天天干天天拍| 九九艹女| 日本婷婷综合精品| 中文字幕AV在线播放| 日韩AV在线免费| 另类图片五月天婷婷| 亚洲av成人在线| 激情五月天情色| 天天色,天天操,天天射| 99热6这里只有精品| 综合玖玖偷拍| 天天做天天爱天天玩夜夜爽| 九九碰九九爱97| 99九九热在线观看| 色五月丁香五月| 五月久久丁香| 桃色伊人在线| 色婷婷久久综合中文久久一本| 日本久草福利| 五月天精品视频| 教师性爱毛片| 色婷婷最爱五月| 色五月综合| 五月色网| 久久婷婷五月综合色奶水99啪| 91碰九色| 婷婷五月丁香网| 91干婷婷| 日日操日日干| 色狠狠色噜噜AV天堂五区| 丁香五月婷婷六月婷婷| 五月激情综合网| 婷婷射图五月天| 超碰在线中文字幕| 亚洲第一av| 五月婷天天搞视频| ai97re99一本| 久噜久噜| 久久久久久久久18久久| 狠狠色五月| 亚洲三A| www.色婷婷。com| 欧美日韩精品人妻狠狠躁免费视频| 婷婷色五月婷婷姐妹| 99精品视频在线观看| 五月天日日操夜夜操| 婷婷五月六月| 色噜噜狠狠色综合AV兰草影视| www九九热| 色婷丁香| 五月丁香在线观看| 26UUU一区二区| 免费黄色视频网址| 激情99。| 久久人妻熟女一区二区| www.操逼comm| 狠狠婷婷综合| 色五月丁香伊人| 九九精品婷| 九九无码| 日韩AV片| 色香欲综合| 九九爱这里只有精品| 嫩草AV久久伊人妇女超级A| 婷婷综合成人五月天| 天天色综网| 亚洲色模骚货| 玖玖爱导航| 激情婷婷久久| AV电影在线播放| 久久五月婷| 五月天色婷婷图片| 99色热综合| 色情婷婷五月天| 五月婷婷婷| 六月丁香婷| 亚洲五月婷婷在线| 婷婷碰碰| 日本欧美成人片AAAA| 色玖玖综合网| 亚洲综合成人网| 91啪级电影| 六月婷婷最新网址| 97久久久久| 欧美激情xxxXX| 婷婷香蕉香| 大香蕉99| 婷婷五月天成人动漫 | 日本va视频| 色婷亚洲五月丁香| 91狠狠色丁香婷婷综合久久| 美妞av| 99在线看视频| 五月天婷婷免费| 亚洲综合激情五月天婷婷| .青娱乐天天操B| 狠狠综合网| 婷婷色色狠狠| 亚洲人操亚洲人| 久久女人天堂| 丁香六月激情综合网| 大香蕉娱乐| 色99在线视频| 天天干天天操天天爱| 伊人玖玖精品| 香蕉AV777XXX色综合一区| 丁香久久| 俺来也综合网精品一区| 真实的国产乱XXXX在线91| 色呦呦美女| 天天天天天操| 91视频五月丁香| 色欲一区二区三区精品A片 | 五月婷婷亚洲色图| 天天干天天爽| 五月在线|