欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

微服務(wù)性能調(diào)優(yōu)實(shí)戰(zhàn):從線程池餓死到P99延遲飆高的排查與修復(fù)

微服務(wù)性能調(diào)優(yōu)實(shí)戰(zhàn):從線程池餓死到P99延遲飆高的排查與修復(fù) 凌晨?jī)牲c(diǎn)半被值班電話叫醒的時(shí)候我其實(shí)已經(jīng)有預(yù)感訂單服務(wù)的P99延遲曲線在20分鐘前陡增從日常的80ms一路拉到接近1200ms。對(duì)任何一個(gè)跑過微服務(wù)架構(gòu)的人來說這都不是“加點(diǎn)機(jī)器”就能解釋的現(xiàn)象——它更像是一次典型的性能調(diào)優(yōu)戰(zhàn)役正式打響。那會(huì)兒距離我們剛交付的構(gòu)建版本20260122172653上線還不到48小時(shí)線上流量又正好卡在月末活動(dòng)高峰。運(yùn)營(yíng)群里開始有用戶反饋“下單轉(zhuǎn)圈超過三秒”客服那邊的零散工單也在增加。接下來的十幾個(gè)小時(shí)里我們完成了從告警響應(yīng)、鏈路定位、組件整改到壓測(cè)回歸的完整閉環(huán)。這篇就是當(dāng)時(shí)那次調(diào)優(yōu)的復(fù)盤不繞理論只記錄我們踩過的坑和每次改動(dòng)前后最真實(shí)的數(shù)據(jù)。如果你正在做微服務(wù)性能調(diào)優(yōu)或者線上服務(wù)突然變慢卻不知道從哪查起這篇應(yīng)該能給你一條可以直接照抄的排查路徑。1. 這次調(diào)優(yōu)的起因不是CPU打滿而是線程池餓死1.1 告警現(xiàn)場(chǎng)指標(biāo)看起來都很正常說實(shí)話第一眼看到監(jiān)控面板時(shí)我是懵的。CPU使用率只有35%內(nèi)存還有大量余量磁盤IO也平穩(wěn)網(wǎng)絡(luò)入流量沒有突變。按大多數(shù)人的第一反應(yīng)這種狀態(tài)不該“卡”但用戶的體感就是慢。關(guān)鍵指標(biāo)暴露在另外幾個(gè)地方Tomcat活躍線程數(shù)長(zhǎng)時(shí)間貼著max值數(shù)據(jù)庫(kù)連接池的連接數(shù)在往上爬訂單服務(wù)的P99從80ms一路升到1100ms錯(cuò)誤率也出現(xiàn)了一個(gè)0.3%左右的尖峰。這時(shí)候才意識(shí)到問題不是哪臺(tái)機(jī)器被打滿而是“某個(gè)資源在等待鏈路上被堵死了”。這類問題在單體應(yīng)用里其實(shí)不容易出現(xiàn)。單體架構(gòu)下請(qǐng)求進(jìn)來之后線程拿到數(shù)據(jù)庫(kù)連接、執(zhí)行SQL、返回結(jié)果鏈路短路徑簡(jiǎn)單就算某個(gè)環(huán)節(jié)慢影響面也很容易控制。但到了微服務(wù)架構(gòu)一次請(qǐng)求要跨服務(wù)、跨網(wǎng)絡(luò)、跨數(shù)據(jù)庫(kù)任何一層出現(xiàn)資源等待都會(huì)沿著調(diào)用鏈一路向上傳導(dǎo)。更麻煩的是如果上游配置了超時(shí)重試超時(shí)的請(qǐng)求還會(huì)成倍地再次涌入把故障進(jìn)一步放大。1.2 為什么微服務(wù)鏈路會(huì)把慢放大成“假死”先解釋一個(gè)特別容易誤導(dǎo)人的現(xiàn)象為什么CPU不高服務(wù)卻響應(yīng)極慢我當(dāng)時(shí)跟同事做了一個(gè)類比——就像收費(fèi)站。假設(shè)一個(gè)收費(fèi)站有50個(gè)車道對(duì)應(yīng)線程池但是ETC通道對(duì)應(yīng)數(shù)據(jù)庫(kù)連接池只有10個(gè)窗口。高峰期同時(shí)來了40輛車前面10輛進(jìn)ETC后都堵在了收費(fèi)窗口上后面的30輛即使排進(jìn)了車道也只能停在原地等待。CPU對(duì)應(yīng)的是“收費(fèi)員的工作量”收費(fèi)員其實(shí)很閑但車子就是動(dòng)不了。對(duì)應(yīng)到系統(tǒng)里就是Tomcat線程都在等待數(shù)據(jù)庫(kù)連接釋放活躍線程數(shù)堆滿新請(qǐng)求進(jìn)不來但CPU幾乎沒有繁忙計(jì)算。從調(diào)用鏈數(shù)據(jù)看那會(huì)兒訂單服務(wù)訪問用戶服務(wù)的耗時(shí)只有18ms左右真正的時(shí)間黑洞是在用戶服務(wù)訪問MySQL的階段SQL本身的執(zhí)行時(shí)間平均不到5ms但連接池獲取連接的等待時(shí)間平均高達(dá)780ms。這說明SQL寫得并不差問題是連接池容量不夠同時(shí)連接占用時(shí)間被一些慢查詢拉長(zhǎng)把整個(gè)池子占滿了。這件事也奠定了后面整個(gè)調(diào)優(yōu)的核心方法論不能靠“加機(jī)器”來應(yīng)對(duì)必須先搞清楚請(qǐng)求時(shí)間都花在了哪一個(gè)具體環(huán)節(jié)上再分而治之。1.3 為什么沒有第一時(shí)間去擴(kuò)容這里多說一句為什么當(dāng)時(shí)沒有選擇直接擴(kuò)容機(jī)器其實(shí)我們?cè)u(píng)估過。從指標(biāo)看CPU、內(nèi)存都不高單純加機(jī)器解決的是“計(jì)算資源不夠”的問題而當(dāng)前瓶頸在數(shù)據(jù)庫(kù)連接池的等待上加服務(wù)實(shí)例只會(huì)讓更多實(shí)例去搶同一批數(shù)據(jù)庫(kù)連接反而可能加劇競(jìng)爭(zhēng)。所以擴(kuò)容只能在極少數(shù)場(chǎng)景下兜底比如確實(shí)存在單機(jī)CPU打滿、內(nèi)存不足這類物理資源瓶頸。資源等待型瓶頸擴(kuò)容往往治標(biāo)不治本必須先定位等待發(fā)生在哪一層。2. 定位瓶頸把“感覺慢”拆成可驗(yàn)證的數(shù)據(jù)鏈路2.1 先確??吹玫綇娜齻€(gè)維度補(bǔ)齊觀測(cè)調(diào)優(yōu)的前提是可見性。如果線上監(jiān)控只有CPU和內(nèi)存遇到這種問題基本要靠猜。我們?cè)谶@次事件里用到了三層數(shù)據(jù)缺一不可基礎(chǔ)設(shè)施層CPU、內(nèi)存、磁盤IO、網(wǎng)絡(luò)帶寬用來排除硬件和機(jī)器容量問題。這一層很快就能看完確認(rèn)不是資源打滿。中間件層連接池活躍數(shù)、等待數(shù)、線程池活躍數(shù)、GC暫停、Redis命中率、MySQL慢查詢數(shù)。這一層是定位“資源等待”的關(guān)鍵連接池pending和線程池active就是在這里拿到的。業(yè)務(wù)鏈路層也就是分布式鏈路追蹤系統(tǒng)。一秒鐘幾萬(wàn)個(gè)請(qǐng)求進(jìn)來具體哪個(gè)環(huán)節(jié)拖慢的必須靠traceId把一次請(qǐng)求的經(jīng)過完整串聯(lián)起來。這里有個(gè)很實(shí)在的經(jīng)驗(yàn)很多團(tuán)隊(duì)接了監(jiān)控但指標(biāo)之間是割裂的。比如只看服務(wù)CPU和內(nèi)存掛了也看不出來只有把基礎(chǔ)設(shè)施指標(biāo)、中間件指標(biāo)和鏈路追蹤打通到同一塊看板上才能在做性能調(diào)優(yōu)時(shí)快速縮小范圍。這次我們是用了Prometheus加Grafana做指標(biāo)監(jiān)控鏈路追蹤用的是SkyWalking再把關(guān)鍵指標(biāo)和trace入口放在同一個(gè)面板上省去了來回切換的麻煩。2.2 用一條traceId把問題釘死在“DB連接等待”上當(dāng)時(shí)我們做了這樣一件事從網(wǎng)關(guān)的訪問日志里隨機(jī)挑了一個(gè)P99附近的慢請(qǐng)求拿到它的traceId。在鏈路追蹤系統(tǒng)里展開這個(gè)請(qǐng)求總共耗時(shí)1100ms分布很清晰網(wǎng)關(guān)耗時(shí)12ms主要是轉(zhuǎn)發(fā)和鑒權(quán)正常。訂單服務(wù)處理28ms路由、參數(shù)校驗(yàn)、業(yè)務(wù)編排正常。用戶服務(wù)分片983ms進(jìn)一步展開發(fā)現(xiàn)其中連接MySQL的“獲取連接”階段占了780ms真正執(zhí)行SQL不到5ms??吹竭@個(gè)分布基本就可以確定鏈路追蹤里最長(zhǎng)的環(huán)不是業(yè)務(wù)代碼也不是SQL執(zhí)行質(zhì)量而是連接池資源競(jìng)爭(zhēng)。再結(jié)合連接池監(jiān)控里pending等待數(shù)維持在20以上幾乎可以實(shí)錘。這里有一個(gè)容易被忽視的細(xì)節(jié)鏈路追蹤不能只記錄“服務(wù)調(diào)用了哪個(gè)服務(wù)”還要把每次數(shù)據(jù)庫(kù)操作的“獲取連接/執(zhí)行SQL/歸還連接”作為獨(dú)立span記下來。很多團(tuán)隊(duì)接入SkyWalking時(shí)只看了RPC調(diào)用層結(jié)果數(shù)據(jù)庫(kù)的等待時(shí)間被算進(jìn)服務(wù)自身耗時(shí)里問題定位就要多繞一大圈。我們?cè)诮尤霑r(shí)特意自定義了JDBC攔截器把connection acquire和statement execute分開埋點(diǎn)這才讓問題浮現(xiàn)得這么清晰。2.3 壓測(cè)復(fù)現(xiàn)動(dòng)手之前先鎖定可復(fù)現(xiàn)路徑定位到假設(shè)之后沒有直接上生產(chǎn)改參數(shù)而是先在預(yù)發(fā)環(huán)境壓測(cè)復(fù)現(xiàn)。原因是線上流量是多因素疊加的直接改動(dòng)后如果指標(biāo)好轉(zhuǎn)很難確定到底是哪一步起的作用。壓測(cè)可以把問題縮小成“可控變量下的復(fù)現(xiàn)實(shí)驗(yàn)”。壓測(cè)腳本用JMeter寫了下單場(chǎng)景400并發(fā)持續(xù)5分鐘。預(yù)發(fā)環(huán)境很快就復(fù)現(xiàn)出了線上癥狀連接池pending從0漲到15~25P99沖到1150ms和線上幾乎一致。有了這個(gè)可復(fù)現(xiàn)路徑后面每一個(gè)改動(dòng)都能用同一套腳本驗(yàn)證改完一版壓一版數(shù)據(jù)變化一目了然。3. 分而治之幾類典型瓶頸的完整處理記錄3.1 服務(wù)編排把串行調(diào)用改成并行要小心上游依賴排查過程中我們還發(fā)現(xiàn)訂單預(yù)覽接口存在明顯的串行編排問題。一次請(qǐng)求里先調(diào)用戶服務(wù)拿地址再調(diào)庫(kù)存服務(wù)查庫(kù)存再調(diào)營(yíng)銷服務(wù)算優(yōu)惠價(jià)三個(gè)服務(wù)各自耗時(shí)30~50ms串行加起來接近120ms。在高峰期這120ms會(huì)讓連接池的占用時(shí)間變得更長(zhǎng)屬于典型的“無依賴卻排隊(duì)”。改造邏輯很簡(jiǎn)單三個(gè)調(diào)用之間沒有數(shù)據(jù)依賴時(shí)并行執(zhí)行。Java這邊用CompletableFuture也可以選擇WebFlux這類響應(yīng)式方案但考慮到團(tuán)隊(duì)上手成本還是選了CompletableFuture并指定獨(dú)立的線程池避免把Tomcat工作線程池的任務(wù)編排吃光。CompletableFutureUserAddress addrFuture CompletableFuture.supplyAsync(() - userClient.getAddress(uid), bizThreadPool); CompletableFutureStockInfo stockFuture CompletableFuture.supplyAsync(() - stockClient.getStock(skuId), bizThreadPool); CompletableFuturePromoInfo promoFuture CompletableFuture.supplyAsync(() - promoClient.calcPrice(orderId), bizThreadPool); CompletableFuture.allOf(addrFuture, stockFuture, promoFuture).join();改造后這個(gè)接口P95從380ms降到了170ms。注意兩點(diǎn)一是如果接口之間存在數(shù)據(jù)依賴A的結(jié)果是B的入?yún)⒕筒荒苊つ坎⑿卸遣⑿泻笠欢ㄒo每個(gè)遠(yuǎn)程調(diào)用設(shè)超時(shí)我們當(dāng)時(shí)把Feign的connectTimeout設(shè)成500msreadTimeout設(shè)成1000ms防止單個(gè)慢服務(wù)把整個(gè)CompletableFuture卡死。并行改造看起來簡(jiǎn)單但超時(shí)、異常聚合、線程池隔離這三個(gè)細(xì)節(jié)缺一不可否則一個(gè)慢依賴就能把整個(gè)并行池拖垮。3.2 用戶服務(wù)連接池先用最穩(wěn)妥的參數(shù)改動(dòng)完成“第一波止血”回到最核心的連接池問題。用戶服務(wù)的HikariCP當(dāng)時(shí)配置是maximumPoolSize10minimumIdle5。根據(jù)Littles Law的經(jīng)驗(yàn)估算連接池容量至少應(yīng)該覆蓋“單位時(shí)間并發(fā) × 單請(qǐng)求連接占用時(shí)間”高峰下單QPS大約800。每個(gè)請(qǐng)求事務(wù)平均占用連接約30ms不是SQL執(zhí)行時(shí)間而是整個(gè)事務(wù)從開啟到提交的時(shí)間。理論并發(fā)連接數(shù) 800 × 0.03 24。再預(yù)留50%冗余取40左右。我們把maximumPoolSize從10調(diào)到40minimumIdle調(diào)到20連接池等待時(shí)間立即從780ms降到15ms。這一步看似直接其實(shí)有幾個(gè)容易忽略的關(guān)聯(lián)項(xiàng)數(shù)據(jù)庫(kù)側(cè)max_connections當(dāng)時(shí)是200單服務(wù)就得留足余量所以順手把數(shù)據(jù)庫(kù)max_connections調(diào)整到了500同時(shí)確認(rèn)沒有其他服務(wù)把連接數(shù)打到上限。調(diào)整后P99從1100ms降到了280ms第一波止血成功。為什么說這是“止血”因?yàn)檫B接池容量只是兜底。如果慢查詢繼續(xù)長(zhǎng)時(shí)間占著連接調(diào)大池子遲早會(huì)撞上數(shù)據(jù)庫(kù)連接上限。所以我們把SQL層面的問題當(dāng)成下一步的必須動(dòng)作而不是調(diào)完連接池就收工。3.3 MySQL側(cè)調(diào)優(yōu)深分頁(yè)、隱式類型轉(zhuǎn)換和一堆“以為有用”的索引慢查詢?nèi)罩纠飺瞥隽藥讞l典型的這里說兩個(gè)影響最大的。第一個(gè)是深分頁(yè)。下面這條SQL在訂單列表翻頁(yè)時(shí)高頻出現(xiàn)SELECT * FROM order_item WHERE order_id 123456 ORDER BY create_time DESC LIMIT 100000, 20;執(zhí)行時(shí)間穩(wěn)定在1.2s。MySQL在LIMIT偏移量很大時(shí)會(huì)先把前100000行數(shù)據(jù)都查出來再丟棄回表次數(shù)相當(dāng)驚人。我們改成了“延遲關(guān)聯(lián)”寫法先查主鍵再用主鍵回表取完整行。SELECT t1.* FROM order_item t1 JOIN (SELECT id FROM order_item WHERE order_id 123456 ORDER BY create_time DESC LIMIT 100000, 20) t2 ON t1.id t2.id ORDER BY t1.create_time DESC;同樣場(chǎng)景下執(zhí)行時(shí)間降到52ms。如果產(chǎn)品允許更徹底的方式是改成游標(biāo)分頁(yè)用上次查詢的最后一條create_time作為下一次的查詢條件但前端改動(dòng)較大我們暫且保留了延遲關(guān)聯(lián)方案配合做了一層“只允許查看前N頁(yè)”的交互限制。第二個(gè)是隱式類型轉(zhuǎn)換。手機(jī)號(hào)字段在表里是varchar但代碼里傳參時(shí)寫成了BigInteger導(dǎo)致MySQL無法使用索引只能全表掃。還有一條查詢里有DATE_FORMAT(create_time, %Y-%m-%d) ?對(duì)索引列做了函數(shù)處理索引直接失效。這兩種情況都很好修參數(shù)類型轉(zhuǎn)成String函數(shù)處理改成范圍查詢create_time ? AND create_time ?單從執(zhí)行計(jì)劃上看掃描行數(shù)從幾十萬(wàn)降到了幾百。另外還清理了一批“以為有用、實(shí)際沒人用”的二級(jí)索引。清理之前每插入一條數(shù)據(jù)都要同時(shí)維護(hù)七八棵索引樹實(shí)測(cè)寫入性能提升了15%左右。索引不是越多越好它要占存儲(chǔ)還要拖慢寫入調(diào)優(yōu)時(shí)值得把冗余索引納入清掃范圍。這里我特別建議定期用sys.schema_unused_indexes或者慢日志分析來排查無效索引而不是靠DBA拍腦袋刪除。3.4 緩存層三兄弟穿透、擊穿、雪崩的一次系統(tǒng)性處理第三個(gè)瓶頸在緩存。商品詳情和價(jià)格信息都走了Redis但大促預(yù)熱期間熱key集中過期數(shù)據(jù)庫(kù)在凌晨出現(xiàn)過幾次短時(shí)打滿。我們把這一類問題拆成三個(gè)場(chǎng)景分別處理緩存穿透查詢的key在DB中根本不存在大量請(qǐng)求繞過緩存直接打DB。處理方式是加布隆過濾器前置過濾同時(shí)把空值也緩存到RedisTTL設(shè)為60秒防止惡意或無效參數(shù)掃庫(kù)。布隆過濾器用Guava的BloomFilter就夠數(shù)據(jù)量不大時(shí)沒必要上Redis模塊。緩存擊穿某個(gè)熱點(diǎn)key過期瞬間大量并發(fā)請(qǐng)求同時(shí)回源DB。我們?cè)跓醟ey場(chǎng)景選了“邏輯過期”方案緩存里同時(shí)存數(shù)據(jù)和邏輯過期時(shí)間請(qǐng)求發(fā)現(xiàn)邏輯過期后不阻塞等待而是先返回舊數(shù)據(jù)讓拿到重建鎖的線程異步刷新緩存。相比互斥鎖邏輯過期對(duì)RT更友好——互斥鎖會(huì)讓請(qǐng)求排隊(duì)等鎖邏輯過期則完全不等。RedisData redisData redis.get(key); if (redisData.getExpireTime() System.currentTimeMillis()) { return redisData.getData(); } // 邏輯過期先嘗試獲取重建鎖 if (redis.setnx(LOCK: key, 1, 3, TimeUnit.SECONDS)) { executor.execute(() - reloadCache(key)); } // 無論是否拿鎖成功都先返回舊值 return redisData.getData();緩存雪崩大量key在同一時(shí)間點(diǎn)過期。做法是TTL設(shè)置成基礎(chǔ)值加0~300秒的隨機(jī)數(shù)把過期時(shí)間打散。同時(shí)把核心熱數(shù)據(jù)在預(yù)熱腳本里做一次錯(cuò)峰加載避免凌晨批量任務(wù)同時(shí)刷新緩存。加上這套緩存策略之后數(shù)據(jù)庫(kù)峰值QPS從3800降到了500壓力直接小了一個(gè)量級(jí)。這三個(gè)場(chǎng)景往往同時(shí)出現(xiàn)排查時(shí)建議按“穿透→擊穿→雪崩”的順序逐個(gè)排除不要混在一起改否則出了問題很難回推。4. 驗(yàn)證與回歸壓測(cè)數(shù)據(jù)不會(huì)騙人4.1 壓測(cè)怎么設(shè)計(jì)才不是走過場(chǎng)三塊改動(dòng)都落地后我們回到預(yù)發(fā)環(huán)境重新壓測(cè)。壓測(cè)設(shè)計(jì)上我堅(jiān)持了幾個(gè)原則先單接口后混合場(chǎng)景。單獨(dú)壓一遍下單接口壓一遍商品查詢接口確認(rèn)各自沒有瓶頸再按線上流量比例混合跑下單30%、查詢50%、支付20%避免單一接口優(yōu)化好但混合場(chǎng)景互相爭(zhēng)搶資源。持續(xù)時(shí)長(zhǎng)不能短。400并發(fā)下至少跑10分鐘只看前10秒的數(shù)據(jù)沒有意義線程、內(nèi)存、GC、連接池都需要時(shí)間才會(huì)暴露問題。關(guān)注分位數(shù)而不是平均值。平均值容易被少數(shù)慢請(qǐng)求拉高P95/P99更能反映用戶真實(shí)體感。執(zhí)行壓測(cè)時(shí)還有個(gè)容易踩的坑壓測(cè)機(jī)本身會(huì)成為瓶頸。我們當(dāng)時(shí)用兩臺(tái)8C16G的JMeter節(jié)點(diǎn)做分布式壓測(cè)并對(duì)壓測(cè)結(jié)果做了校驗(yàn)確保每個(gè)節(jié)點(diǎn)的線程都能發(fā)滿而不是攢在本地排隊(duì)。4.2 優(yōu)化前后的數(shù)據(jù)對(duì)比同配置、同腳本、同持續(xù)時(shí)長(zhǎng)整理出對(duì)比數(shù)據(jù)指標(biāo)優(yōu)化前優(yōu)化后下單接口P991100ms220ms平均RT420ms88ms連接池等待時(shí)間780ms12ms下單接口TPS6501800數(shù)據(jù)庫(kù)慢查詢10分鐘38081800對(duì)650的TPS提升不是哪一項(xiàng)的功勞而是連接池、SQL、緩存、服務(wù)編排一起作用的結(jié)果慢查詢少了連接占用時(shí)間短了池子不用一直等串行改并行后單請(qǐng)求占用的線程時(shí)間短了同樣的線程數(shù)能扛更多并發(fā)。需要提醒的是壓測(cè)時(shí)一定要保留同一套腳本和參數(shù)否則數(shù)據(jù)沒有可比性。每次改動(dòng)只動(dòng)一個(gè)變量壓測(cè)一輪記錄一輪最后形成了上面這張表。4.3 壓測(cè)意外收獲另一個(gè)被掩蓋的隱患這一輪壓測(cè)還壓出了一個(gè)此前被“大故障”掩蓋的問題網(wǎng)關(guān)實(shí)例在高峰期出現(xiàn)了一次1.8秒的GC暫停P99抖動(dòng)明顯。雖然不在核心鏈路里但這種停頓在流量尖峰到來時(shí)很致命。隨后我們把網(wǎng)關(guān)JVM堆從4GB調(diào)到6GB給G1設(shè)置-XX:MaxGCPauseMillis100重新壓測(cè)后GC暫??刂圃?50ms以內(nèi)。這件事讓我更確信一個(gè)結(jié)論壓測(cè)不是做完一次就結(jié)束的動(dòng)作每次壓測(cè)都可能暴露新的瓶頸性能調(diào)優(yōu)本身就是“發(fā)現(xiàn)、修復(fù)、再發(fā)現(xiàn)”的循環(huán)。5. 調(diào)優(yōu)持續(xù)落地把“救火”變成日常節(jié)奏5.1 給核心接口建性能基線這次調(diào)優(yōu)之后最該做的是把臨時(shí)成果固化成基線。我們給訂單、商品、支付三類核心接口建立了一張基線表服務(wù)場(chǎng)景P99目標(biāo)TPS目標(biāo)資源規(guī)格order-service下單300ms15008C8G/3實(shí)例product-service商品查詢200ms30008C8G/4實(shí)例pay-service支付回調(diào)500ms8008C8G/2實(shí)例每周在預(yù)發(fā)環(huán)境自動(dòng)跑一遍壓測(cè)超過基線5%就告警保證性能不會(huì)在一次優(yōu)化之后慢慢回退回去。建立基線的過程中最重要的是先跑三四輪壓測(cè)拿到方差而不是拿單次數(shù)據(jù)當(dāng)目標(biāo)。我們的經(jīng)驗(yàn)是壓測(cè)數(shù)據(jù)本身有波動(dòng)用中位數(shù)或P90作為基線比用平均值更穩(wěn)。5.2 三個(gè)值得長(zhǎng)期養(yǎng)成的習(xí)慣第一發(fā)布前做性能驗(yàn)收。新功能、新接口合并到主干之前在CI/CD流水線里加一個(gè)冒煙壓測(cè)階段花十幾分鐘就能攔截大多數(shù)性能回歸比上線后再發(fā)現(xiàn)要便宜得多。第二慢查詢?nèi)罩竞玩溌纷粉檹牡谝惶炀痛蜷_不要等出事了再開。慢查詢?nèi)罩镜拈撝狄矂e設(shè)太寬long_query_time設(shè)置為1s就好太大會(huì)漏掉很多有問題的SQL。第三做容量預(yù)估時(shí)連接池?cái)?shù)量和實(shí)例數(shù)按高峰期QPS乘1.5冗余度去定而不是拍腦袋??梢韵扔卯?dāng)前監(jiān)控里的峰值數(shù)據(jù)推算一次再給下次活動(dòng)的增長(zhǎng)留出余量。最后再分享一個(gè)在這輪調(diào)優(yōu)里最重要的習(xí)慣每次只改一個(gè)變量。我們過程中有一度想把連接池、SQL、緩存、并行全改完再壓測(cè)后來發(fā)現(xiàn)一旦壓測(cè)數(shù)據(jù)變差完全分不清是哪個(gè)改動(dòng)引起的。后來強(qiáng)制改成“一次只改一個(gè)單獨(dú)壓測(cè)通過之后再改下一個(gè)”再難的性能問題也能變成可追溯的逐步迭代。性能調(diào)優(yōu)不像解數(shù)學(xué)題它更像給病人做診斷改一針觀察一針確認(rèn)有效之后再改下一針。這一輪下來我們學(xué)到最多的不是某條SQL怎么優(yōu)化而是這套“可觀察、可復(fù)現(xiàn)、可對(duì)比”的調(diào)優(yōu)節(jié)奏本身。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亭亭丁香久久五月| 99视频只有精品| 久久er视频6| 国产偷人爽久久久久久老妇APP| 日韩十国产极品久久| 婷婷丁香五月激情密臀av| 亚洲中文字幕网| 色五月天激情| 天天综合网91| 激情骚五月| 丁香五月婷婷网| 五月天激情美女久久| 综合99久久天天综合| 国产成人精品亚洲线观看| 久久精品亚洲一级牲爱综合 | 亚洲九九夜夜| 久久激情天堂| 五月丁香淫淫婷婷婷| 丁香六月婷婷综情欧美| www.99婷婷| 黄色高清无码| 久久久久久久久久久久久9| 天天日天天色| se影音资源在线观看| 97啪啪| 久草免费福利视频| 亚洲乱码日产精品BD| 99A级片| 精品一区二区三区木瓜| 成人在线日韩| 丁香婷婷性爱| 久热大香蕉| 婷婷丁香综合| 久久码久久无清| 无码激情AAAAA片-区区| 日本天天操| 狠狠狠狠狠狠| 久久久无码精品成人A片小说 | 91狠狠综合久久| 人人视频色| 久久黄色免费视频| 狠狠色性| 六月婷伊人| 婷婷四色五月| 2015好吊操| www.日本91| 91高潮喷水久久久久久久久| 97日本操| 色综合播放| 国产成人综合电影| 色激情网| 五月亭亭色| 99婷五月| Y11111111111少妇电影院| 九九视频在线观看视频6| 伊人玖玖网| 天天操屄网| 日日日影院| 五月丁香婷婷五月色| 丁香蜜臀黄色婷婷五月天| 黄网网站在线播放| 99精品热视频只有精品10| 五月综合丁香婷婷| 丁香午月AV中文字幕| 五月天丁香网站| 99热免费精品| 狠狠色噜噜狠狠狠狠综合| 视频1区2区| 1234操逼网| 色婷婷操逼网| 激情五月丁香五月| 99精品在| 五月天桃色深爱网| 91狠狠色丁香婷婷综合久久精品| 丁香五月社区| 色婷婷激情视频| 激情五月五月五月婷婷| 九九久久视频| 第四色五月婷婷| 97色片| 五月丁香六月婷| 大香线蕉伊人| 亚洲电影在线观看| 一区二区传媒视频| 激情AV| 成人噜噜网| 夜夜骑日日操| 俺去也五月| 噜噜国产| 爱射综合| 日本丰满久久| 超碰成人免费| 婷婷五月天亚洲综合网| 这里只有精品免费观看网占| 婷婷激情九月| 日日操夜夜擼| 久婷| 五月天影院| 丁香五月天视频| 亚洲中文乱字字幕在线永久| 99这里只有精品|v| www.99操.com| www.yw尤物| sewuyue第四色| 五月天婷婷视频| 99干视频| 91热久88| 综合玖玖性爱免费视频| 99热在线观看精品免费| 婷婷五月天堂| 98色丁香五月婷婷综合网| 超碰99在线| 亚洲一区先锋影音| 黄网免费看| 色综合五月天| 色色激情网| 欧美色骚婷婷五月天| 丁香婷婷六月在线资源观看| 91碰碰碰| 欧美色色色色色色| m色激情网| 五月丁香婷婷免费视频| 99视频在线观看地址| 五月天色色色网| www婷婷| 色婷婷丁香AV综合| 欧洲色色| www.日本91| 日本色婷婷五月天成人电影| 色婷婷丁香九月| 久操大香蕉| 婷婷色丁香五月| 婷色五月天| 丁香六月婷婷基地| 深爱激情AV| 午夜丁香综合婷婷| 九色视频入口91| 国产激情综合五月久久| www.天天干| 五月丁香色婷婷| 亚洲午夜Av| 婷婷五月天伦理| 思思热99热| 丁香五月婷婷五月| 91九九| 日日夜夜久| 精品无码久久久久久久久| 免费97碰碰| 另类综合网| 五月天另类视频| 中文字幕无码成人电影| 欧美婷婷综合| 九九综合网| 成人片久久网站| 超碰国产在线观看| 久久丁香婷婷五月| 天天操比比| aaaa久久| 色综合色综合色综合高潮| 日本爆乳片手机在线播放| 97精品人人A片免费看| 无码区婷婷五月花开| 99热在线观看免费| 1024欧美看片| 开心激情网在线| 亚洲日韩乱码一区二区三区四区| 欧美丁香五月97色| 99riAV国产精品视频| 日日做夜夜爱| 玩熟女五十AV一二三区| 九色视频这里只有精品| 婷久久高清| 六月丁香婷婷天堂| 青青青在线视频国产| 99热在线看片| www.91九色| 日韩乱轮AV| 亚洲在线激情婷婷五月| 亚洲国产精品二二三三区| 丁香色六月| 99在线精品免费视频| A1片久久久| 丁香五月影院| 99超级碰免费视频| 久久激情网| 人操91在线| 五月激情基地| 日韩AV一区二区三区| 日日夜夜爽| 教师性爱毛片| 大婷婷色呦呦噜噜色呦呦噜噜| 丁香五月天社区婷婷| 天天舔天天摸天天透| 成人无码免费一区二区中文| 五月婷婷中文| 青青草色在线视频观看| 九九Av| 色婷婷免费视频| 婷婷久久五月天丁香| 国产精品视频免费看| 991国产精选视频在线播放下载| 天天干,天天操,天天射| 婷婷五月激情图片| 五月天激情日色在线| 免费碰碰视频久| 久操香蕉| 婷婷综合精品| 婷婷基地成人五月天| 开心五月婷婷| 在线可以看的av网址| 国产特黄色精品一区二区三区精品无广告| 婷婷五月婷婷| 激情另类综合| 91n啪啪| 91婷婷丁香五月| 伊人干综合| 丁香五月香蕉| 久久人人人人妻| 免费观看高清无码| 婷婷色色网| 日日操夜夜爽天天天| 天天肏视奸| www.天天干| 草草操操| 岛国AAAV| 天天日,天天插| 激情六月五月婷婷综合网| 色五月激情五月开心五月| 婷婷成人在线| 九九热99视频在线| 九月激情婷婷丁香| 亚洲六月婷婷| 婷婷五月激情在线| 六月丁香啪啪| 丁香六月婷婷社区| 被男人添B超爽视频| 五月天自拍网| 99日韩| 超碰av在线| 丁香五月综合在线观看| 六月亚洲婷婷6月中文字幕| 99综合色色色| 五月婷婷激情网| 日本一級黃色一級片| 五月丁香婷婷成人综合网| 99 re视频一区| 91干| 日韩无码色色| www好屌操| 99五月婷| 亚洲国产无线乱码在线观看| 九九99九九99偷拍视频免费看| 五月激情精品视频| 亚洲天堂99| 操日本99| 九九精品热| 开心五月深爱婷婷| 精品无码人妻一区| 快乐激情五月色婷婷| 亚洲天堂AV综合网| 亚洲日韩成人三级av| 91人人操.COM| 丁香五月欧美| 99er热精品视频| 久久这有这里精品| 五月丁香六月色婷| 五月激情啪啪啪| 最新日韩AV中文字幕| 啪啪综合网| 国产午夜一区二区三区| 国产热精品| 97热久久| 九九精品碰| 国产精品天天狠天天看| 九九碰九九爱97超碰| 裸体美女丁香五月天。| www.五月天激情| 男人天堂亚洲综合| 五月丁了香蕉综合| 大香蕉狼人久久| 99riAV成人在线视频| 丁香五月婷婷网| 色99视频| 99这里只有精| 天天爽免费视频| 丁香五月AV综合激情| 婷婷综合激情| 激情五月天激情五月天| 色色网站免费| 操日视频| 婷婷久久综合久色| 这里只有精彩视| 在线va网站| 亚洲操逼网| 色婷婷88| 99日逼视频| 9999综合99综合人| 伊人超碰在线| 日韩AV在线免费| 淫视馆av三区| 五月婷婷综合在线视频| 亚洲视频在线观看区| av高清无码| 99热在线观看| 丰满少妇猛烈A片免费看观看 | 国产精品视频| 91操片| 久操激情| 日日干天天| 在线综合网| 99riAv1国产在线观看| 色五月婷婷一二| 婷婷播5月| 日本五月婷婷| 久久WW| 伊人婷婷大香蕉| 色五月五月婷婷| 第四色五月天| 亚洲啪视频| 啪啪91| 六月激情网| 操操碰| 色噜噜狠狠色综合日日| 成人国产欧美大片一区| AAA级久久久精品| 亚洲欧洲中文日韩久久AV乱码| 一本道在线电影| 人人天堂操| 色高清无码视频| 婷婷丁香五月欧美人| 婷婷丁香五月亚洲综合网在线视频观看| 思思久久青草热| 黄色激情五月天| 日本色综合| 国产精品成人AV在线| 日韩另类| 亚洲操女| www.91九色| 另类视频一区| 99热只有这里才是精品| 色吧五月婷婷| 色婷婷av在线观看| 97日本在线播放| 欧美久人人| 亚洲超碰在线| 六月婷婷色宗合| 欧美激情xxxXX| 亚洲天天综合| 国产性爱亚洲是图| 超级碰碰99| 婷婷九月亚洲| 伦乱美欧| 五月天婷婷综合| 五月天婷婷社区| 色综合综合综合| 墨西哥毛片内射精| 丁香婷婷精品视频| 久久99热在线观看| 午夜少妇在线观看视频| 黄久久久| 五月婷婷开心六月激情小说| 婷婷色在线观看| 欧美大片免费观看| 色婷婷成人网| 精品国产va久久久| 影音先锋色婷婷| 日本色色影片| 亚洲综合在线视频| 思思热这里只有精品| 九九精品视频免费在线| 五月丁香人妻| 很很干天天干| 影音先锋91视频| 五月丁香婷婷久久| 青青草激情网| 五月婷婷视频| 密黄站| 五月天激情无码| 九九热免费视频| 51XX嘿嘿午夜无码| 国产精品激情五月天色婷婷| 免费亚洲婷婷| A1片久久久| 五月天色婷婷小说| 丁香五月天激情综合| 色色97丁香婷婷五月天| 开心五月婷婷六月丁香| 色婷婷久久综合| www.激情五月天.com| 99爱这里只有精品| 99碰超| 91主播在线| 免费99情趣网视频| 亚洲中文乱字字幕在线永久| 久久免费操| 色色综合视频| 五月婷婷视频| 五月丁香六月婷婷啪啪综合| 亚洲国产成人在线| 五月天三级久久| 久久久五月婷婷| 色啪网| 操B五月天| 人妻久久久久久久| 一级性爱大片| 另类激情网| 青草视频在线观看视频| 日韩狠狠色婷婷| 五月婷婷六月丁香在线| 超碰免费人人| 五月天综合视频| 色婷婷偷拍| 五月天开心激情综合网| Caoub青青超碰 | 亚洲色五月婷婷| 99极品视频| 26uuu最新地址| 久久99精品久久久久久噜噜| 丁香六月婷婷社区| 欧洲亚洲精品| 亚洲色婷婷五月天| 14色综合婷婷| 免费人人操| 婷婷射丁香| 丁香五月激情综合久久| 17.c黄色| 丁香五月开心七月| 色99欧洲色19| 色九综合| 在线中文字幕av| 人人干99| 婷婷狠狠操| 婷婷偷拍网| 91操碰| 天天日天天添| 五月婷丁香| 怕怕av| 日本久久精品| 26UUU欧美激情一区二区| 狠狠色婷婷| 色吧五月婷婷六月丁香| 激情 久久 婷婷| 深爱激情五月天色婷婷| 天天干人人奸97| 色五狠狠| 嫩草视频观看| 99热在线精品观看| 初夜av| OYIWbGcPu8H| 婷婷五月天欧美| 99热丁香五月| 99热6这里只有精品| 亚洲九九夜夜| 精品国产乱码久久久久夜深人妻| 五月天久久成人| 在线免费视频caop| 国产婷婷五月天| 中文字幕在线资源| 欧美成人猛片AAAAAAA| 久久免费视频62| 欧美久久久久久久久中文字幕| 五月狠狠| 丁香五月婷婷无码AV| 另类在线| 五月之婷婷| 5月丁香美女影院| 色婷婷五月中文字幕在线dvd| 91精品视频男人的天堂| 欧美黄色AA片哗啦啦啦| 久久综合干| 日韩成人无码| 色丁香五月| 婷婷欧美色| a级毛片一区二区免费视频| 五月婷婷网站| 久久精品99| 亚洲第一成人无码A片| 欧美成人网99网| 超碰亚洲天堂| 免费在线观看av网站| 日韩另类在线观看| 五月丁香爱婷婷深深| 久久小说网| 99这里| 99色最新在线视频| 激情九月天天天天婷婷| 成人在线二区| 久久这里只有精品热在99| 久操人妻| www,99色| 人妻熟人中文字幕一区二区| 大香蕉伊人99| 亚洲夜夜操| 思思色播| 超碰资源在线| 91制片厂久久久国产电影| 99ri在线观看视频| 99精品视频网站| 夜色.cnm| 免费无码毛片一区二区A片| 亚洲无码色| 亚洲色域网| 狼友视频在线观看18| 久久婷青青草原| 日本色色色| 日批在线看| 综合色五月天| 人人操 色| 亚洲亚洲人成综合网络| 激情五月婷婷| 精品人妻久久久久久久| 婷婷激情丁香五月婷婷激情丁香五月婷婷 | 大地9中文在线观看免费高清| 久婷五月| 69色色视频| 日日日日做夜夜夜夜无码| 日韩无码人妻一区二区| 欧美69久成人做爰视频| 激情五月婷婷五月| 亚洲AV成人片无码网站| 激情五月天网| 丁香五月综合福利视频导航| 人人干人人干骚美女| 五月丁香激情综合啪啪| 大香蕉久久久久久久久| 99热草草| 丁香五月天大香蕉啪啪| 嫩草极品| 思思久久99| 碰碰女| 日韩99精品| 激情婷婷五月天在线观看| 五月天丁香啪啪综合| 日韩一级A片黄色| avv在线| 一起草日本| AAA级久久久精品| 操97| 五月丁香| 五月激情视频| 天天色综网| 丁香五月首页| 91啪啪视频| 极品人妻VideOssS人妻| 欧美色爱五月天| 丁香六月亚洲综合| 狠狠插日日干撸| 视色综合| 五月婷婷激情久久| 中文AV网站| 久久怕怕视频| 五月丁香六月欧美综合网站| 五月婷婷丁香婷婷| 欧美色五月| 五月婷婷六月丁香综合| 99亚州综合精品成人网| 色婷婷综合影院| 五月婷婷深深爱| 色七七九九| 另类视频综合| 六月丁香网| 色色色99韩| 天天摸,天天爽| 激情五月婷婷老师| 丁香五月婷婷色| 国产精产国品一二三在观看| 婷婷五月天淫荡| 六月丁香婷婷爱| 色婷亚洲| 久久99久久99精品免视看婷婷| 深爱五月月天| 婷婷成人综合五月| 99热这里只有精品3| 六月激情久久| 色色婷婷五月天| 午夜大香蕉| 九月激情婷婷丁香| 玖玖爱导航| 99久在线| 激情五月天啪啪| 99r这里| 亚洲日日日| 99久在线观看| 女人高潮内射99精品| 99综合97| 激情四射婷婷| 色9色| 免费的日逼视频| 色操b| 日本99在线| 啪啪一区| 婷婷干六月综合旧址| 国产91九色| 996er在线观看| 五月激情综合深爱| 综合AV在线| 国产古装妇女野外A片| 精品动漫 无码av| 色播五月婷婷| 婷婷五月花西瓜| 丁香五月综合婷婷| 办公室少妇激情呻吟A片在线观看| 五月婷婷六月奇米网丁香| 天天做天天爱天天做| 色色激情网| 嫩草AV久久伊人妇女超级A| 色五月情| 99热综合网| 久热最新视频| 婷婷五月天久久久| 爱99干99| 丁香色色网| 夜夜操天天爽| 婷婷综合网| 五月丁香久久色| 亚洲视频丁香网va| 亚洲操逼片| 久操乱| 大香蕉九九| 婷婷草| 99视频只有精品| 色婷婷丁香社综合| 色婷五月天网站| 久久婷婷六月综合| 日韩无码人妻一区二区| 激情五月丁香激情综合网 | 成人午夜视频精品一区| 日韩久久视频| 99性色| 中文字幕乱码亚洲精品一区| 综合激情婷婷| 伊人玖玖网| 亚洲成人在线在线| 婷婷舔| 五月色网| 国产超碰人人| 激情五月视频在线婷婷| 91男同视频| 综合激情伊人影视在线| 色综合丁香婷婷| 色播激情婷婷| 99re这里有精品手机在线| 99热一区| 欧美性爱五月天| 熟女激情五月天| 免费黄网不卡AV| 丁香五月丐人妻| 亚洲成人网在线观看| 9色免费网| 丁香五月六月婷婷自拍| www.色五月| 亚洲操人| 国产精品大香蕉| 香蕉婷婷色五月| 婷婷五月丁香综合激情| ..真实国产乱子伦对白在线_欧| 99热这里是精品| 一区视频网站| 极品色丁香| 99热只有这里有精品| 丁香五月激情五月| 五月丁香花婷婷玉莉AV| 在线色婷婷| 五月丁香六月香综合激情| 狠狠精品干练久久久无码中文字幕| 欧美五月丁香啪啪响视频| 337p大胆噜噜噜噜噜91Av| 亚洲成人av在线| 五月丁香婷婷综合| 久久精品综合色| 狠狠操狠狠| 狠狠综合色网| 91日视频| 亚洲成人影视在线观看| 色狠狠综合| 久久久激情| 天天插综合| 激情视频婷婷五月花| 人人操五月天| 亚洲色五月天是什么| 五月婷在线观看| 国产日产成人亚洲欧美国产VA| 欧美日韩91| 欧美日韩成人高清在线| 狠狠插狠狠插| 亚洲成人中文字幕| 天天操夜夜橾| 99热在线资源| 婷婷综合网| 色网站99| 9999热在线| 99精在线| 97碰碰视频在线观看| 99热这| 色之综合网| 99视频| 亚洲日韩欧美综合VA| 任你日热视频| 综合久久99| 久草A片| 99精品久久| 淫水导航| 无码yw| www.99视频| 人妻videos人妻高清| 亚洲成人在线观看av| 99精品在线下载| 青青草婷婷久久| 超碰人妻在线| 综合五月天天天天天五月| 日本nghangse中文字幕| 婷婷五月天堂| 五月丁香在线国产 | 影音先锋91| 五月天婷婷三级黄| 影音先锋91视频| 成人综合视频在线| 丁香六月天婷婷色| 五月天停婷基地| 婷婷五月天av| 丁香五月婷婷色情综合| 秋霞免费三级片| 欧美综合激情| 大香蕉九九| 深爱激情四射| 婷婷va| 天天日天天色| 五月丁香综合中文| 色欲日日躁| 色婷婷69| 五月四色激情| 一起草av| 九九热免费视频| 99爱免费在线观看| 国产激情在线| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 思思久热6| 99爱爱| 色播激情| 狠狠爱综合网| 欧美日韩成人在线网站| 婷婷在线午夜| 九九国产视频| 99 福利 导航| 热91久| 99精品热| 五月色丁香| 99热这里有精品24| 九九精品在线视频观看| 亚洲成片在线观看| 色色色色色色色色网站| 综合婷婷都市激情| 亚洲狠狠婷婷综合久久久| 久久人人九九| 99er热精品视频| A短视频免费在线观看| 五月综合久久| 五月天婷婷色色网| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 亲子乱av一区二区三区的| av大香蕉| 日韩九九| 九九99九九99| 人妻操在线看| 91免费在线视频6| 成片免费播放| 欧美色色色色色色色色色色| 99视频在线看| 665566 无码| 亚洲精品V天堂中文字幕| www.婷婷五月天.com| 激情五月丁香亭亭 | 五月婷婷激情| 色 色 色综合com| 久久在线人妻| 色久五月| 色色五月天婷婷| 五月天久久www| 色噜久| 96色婷婷| av一区二区电影免费在线观看| 国产精品人成A片一区二区| 综合五月婷婷| 九月婷婷| 无码人妻激情| 五月婷婷综合久久| 看久久性爱视频| 成人丁香婷婷五月天| 五月天色婷婷视频| 激情五月天无码| 亚洲色婷婷激情| 99热久久这里只有精品| 玖玖资源站国产| 婷婷五月四狠狠| 久er免费视频| 激情婷婷五月亚洲| 丁香六月狠狠干| 日韩操人| 国产片天天爽夜夜爽| 婷婷五月天成人| 精品乱码视频| 日本本土色网第一区| 99热思思久| 六月欧美综合色情| 婷婷一本和五月丁香| 日在线V视频在线播放| 丁香婷停五月激情综合深爱| 思思久热6| 五月婷婷六月丁香综合| 天天日综合| 久久天堂| 婷婷综合激情| 五月婷婷丁香| 九九热青草| 国产亚洲AV人片在线| 婷婷国产五月天17c| 亚洲蜜乳AV| 超碰在线观看9| 超碰91av| 九九热这里精品| 久久成人综合五月天| 久久久五月婷婷| 日本操逼九九九九58日本操逼| 天天干天天干天天操| 五月婷婷色播| 久热91| 久久五月婷天天干| 欧美久人人| 亚洲色综合| 情五月亚洲婷婷| 五月天综合图片| 五月丁香啪综合| 婷婷六月天| 婷婷在线五月综合| 免费人人操| 嫩草AV久久伊人妇女超级A| 色欲五月天| 玖玖资源在线视频| 综合色播| 婷婷五月综合在线| 久久婷婷网址| 99熟女视频| 99er6| 六月综合在线| 国产欧美日韩性爱| 国产AV不卡福利| 日韩成人精品中文字幕| 免费黄色视频网址| 五月婷婷AV| 这里只有精品久久| 婷婷激情丁五月| 精品无码人妻一区| 五月丁香欧美综合免费视频| 狠狠色丁香婷婷综合久久97AV| www.狠狠色.com| 99激| 激情综合网激情五月欧美| www.六月丁香看AV| 狠狠狠狠狠草| 久久五月天网| 色色色色色综合| 久热91| 亚洲爆乳无码精品AAA片蜜桃 | 99视频在线精品免费观看2| 九热视频| 色五月激情| 婷婷五月天综合AV| 97香蕉久久超级碰碰高清版| 1024欧美看片| 婷婷伊人久久| 天天插天天干天天舔| 狠狠狠狠狠操| 大香蕉久久久| 全部老头和老太XXXXX| 久久精品日| 狠狠爱婷婷| 好好日激情五月天| 激情五月婷在线精品| 六月婷婷色| 成人精品在线| 在线99精品| 蜜臀A∨在线水帘洞| 色色色成人网| 久久小视频| 日韩啪啪视品| 国产五月丁香在线| 激情综合色五月丁香六月亚洲| www.99热这里只有精品| 五月婷婷基地| 国产黄色av| 美女激情婷婷| 色久天| 97超碰色| 99精品无码网站| 色婷婷www| 中文字幕免费高清电视剧| 99综合自拍| 丁香婷婷色五月天| CHINESE熟女老女人HD视频 | 丁香五月婷婷在线| 99精品在线| 天天干天天操天天射| 丁香五月激情无码视频| www.99视频| 久婷婷五月综合欧美| 天天色天天日| 欧美色碰| 天天插天天干天天舔| 亚洲妇女熟BBW| 99爱99操| 狠狠插日日干撸| 校园春色亚洲色| 五月婷高清视频| www.婷婷五月.com| 久操b网| 夜夜撸天天操| 九九热视频精品2| 五月婷婷基地| 99热在线资源| 天天插天天插| 色婷婷免费观看| 人人97碰| av 一区三区四区| 天天爽人人综合免费7799| 国产日比| 国产精品扒开腿做爽爽爽A片唱戏| ss五月天激情| 操人无码| VA婷婷| 密着浓厚中出乚交尾GvG935| 五月婷婷乱| 欧洲综合视频| 五月社区婷婷激情| 激情综合婷婷| 婷婷色无码| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 久久婷婷六月| 99精品视频免费观看近期发布| 亚洲性爱区无码区| 久久婷婷桃花五月天| 97色啪| 丁香六月婷婷综情欧美| 免费观看的av| 久久网站免费亚洲| 欧美日韩成人综合9| 五月丁香六月婷婷免费视频| 亚洲妇女熟BBW| 亚洲精品五月| 色婷婷色综合激情91| 亚洲中文字幕在线观看| 日韩在线aaa| 4438激情网| 色五月 五月婷婷| 色婷五月| 午夜丁香综合婷婷| 五月天堂色| 色色色色色色色色色999| 99国产精品久久久久久久久久久| 激情网狠狠干| 色碰碰视频| 色五月丁香A欧美com | 人人干AV| 天天肏视频| 久久人妻视步| 婷婷激情五月综合基地| 色私五月婷婷| 99久久五月婷婷| 五月天激情小说| 欧美色97| 深爱五月婷婷| 99在线精品在线视频| 午夜婷婷丁香| 99久久婷婷精品视频| 色五月激情五月| 99精品热| 激情婷婷五月| 激情婷婷六月天| 99色 色| 欧美久久婷婷| 丁香婷婷六月天| 天天综合天天玩夜夜玩天天玩夜夜玩 | 婷婷色片| 99免费青青蜜臀| 色玖玖网| 丁香狠狠色婷婷久久无码视频| 人人草人人爱| 欧美久热| 99热婷婷| 成AV人片一区二区三区久久| 丁香五月六月综合激情| 国产精品国产| 91九色熟女| 亚艹艹| 日本va欧美va国产激情| 中文av网站| 亚洲综合99| 日日噜狠狠色综合久| 丁香五月深爱五月婷婷| 深爱开心激情网| 丁香五月激情性色郤| http://www.lingjunshare.com/| 五月天激情无码高清| 六月色播| 婷婷五月综合网| 色五月综合在线| 99久久综合网| 久久这里只有精品热在99| 五月天亭亭俺也| 六月激情网| 欧洲MV日韩MV国产| 婷婷中文字幕网| 99riAV国产精品视频| 色婷婷久久| 五月丁香综合伦理片| 天天影院色| 色偷偷五月天| 九九综合九| 丁香五月影| 久久性刺激| site:xmssd.com| 中文字幕簧片| 色婷婷丁香五月天在线观看| 91在线日| 99国产97在线,| www.五月婷| 五月丁香婷婷激情爱爱| 亚洲综合99| 国产激情婷婷| 婷婷五月丁香香蕉| av首页在线| 91人妻PORNY九色大屁股| 激情精品久久| 14色综合婷婷| 2025神马午夜福利| av在线激情| 婷婷丁香五另类网站| 五月天狠狠草| 狠狠狠狠狠干| 婷婷九九| 婷婷丁香激情综合色情| 五月天久久久| 中文字幕九九九九| 婷婷五月另类网站| 欧美私人家庭影院| 人人色性网| 久九色| 成人短视频在线免费观看| 五月丁香久久呀| 激情六月婷婷| 91人人超碰在线| 激情五月天色婷婷综合| 免费视频99| 丁香婷婷五月综合欧美另类| 五月天色婷婷网| 久久婷婷成人综合色怡春院| 黄色一级影片| 97干婷婷| 91嫩草久久| 色J香五月天| 成人αV视频免费观看| 色狠狠图片| 久草婷婷在线| 天天做 天天爱| 色情综合| 熟女乱论网| 亚洲成人av在线播放| 五月丁香999| 性爱久久| 婷婷五月天成人综合网| 91色综合网站在线| 无月播播激情在线观看视频| 碰碰碰97国产| 亚洲精品国产精品乱码视99| 狠狠色狠狠色综合日日91| 丁香六月婷婷姐网| 超爽内射| 久久久人妻系列| AV在线免费播放| 五月丁香影视| 思思热思在线精品视频| 久久一级AV| 99久久久国产精品免费蜜乳tv| 丁香深五月婷婷| 五月天丁香成人| 九九热这里只有精品12| 人碰91| 婷婷伊人久久| 天天操夜夜夜拍拍拍| 激情五月婷婷色色| 激情九月综合| 99re热在线观看| 欧美大片| 婷婷99中文字幕| 久久五月天色婷婷| www,奇米影视| 久8色色| 人人摸人人操人人爽| 丁香五月天婷婷激情| 精品99只有。| 青青草轻轻操| 成人做爰黄A片免费看直播室男男| 久久99热久久99精品| 桃色五月婷婷| 伊人九九综合| 中文字幕乱码亚洲精品一区| 91精品久久久久、久五月天| 爱之国产色情综合| 五月婷婷涩涩爱| 91久久久久久久久久久| 五月婷婷婷| av网站中文| 亚洲久久婷婷| 五月丁香六月日逼| 成人在线不卡| 狠狠情色| 91性人人| 伊人大综合| 国产成人片| 欧美日韩999| 五月丁香大相交| 色爱综合网| 久久机热思思热| 99er在线观看| 久久黄A片| 91日综合欧美| 丁香狠狠干| 欧美五月婷婷综合| 色欲五月丁香| 色色婷婷综合| 国产真实乱对白精彩| 乱岳熟女50岁| 99热在线观看| 热思思九九| 免看黄大片AA | 丁香五月婷中字在线| 超碰在线国产| 色999五月色| 丁香五月成人| 婷婷综合激情| 91超级碰碰碰| se色婷婷视频| 国产AV一区二区三区最新精品| 专区无日本视频高清8| 精品一二三区久久AAA片| 九九这里有精品| 色五月激情综合网| 无码激情AAAAA片-区区| 99热精品在线| 日碰日| 五月丁香偷拍| 九9九9无码| 狼人婷婷综合| 97综合在线| 久1色色| Www,五月天| 久久久久亚洲AV无码网影音先锋| 丁香五月综合婷婷| 色播五月婷婷| 综合网亚洲| 久久99久久99久久99| 久久婷婷草| 日日日,com| 婷婷五月天伊人网| 日韩精品999| 综合网天天| 国产精品久久久久久久久久久久| 69精品人人人人| 婷婷趴趴| 99热欧| 久久综合五月天| 亚洲丁香婷婷丁香五月天激情| 激情五月丁香五月色| 色婷婷影| 久久这里只有精品无码| 人人人va亚洲视频在线| 26uuu国产| 69精品人人人人| 色亭亭九月| 婷婷基地成人五月天| 国产亚洲在线观看| 777久久综合视频| 天天天干夜夜夜操| 香蕉AV福利精品导航| 婷婷趴趴| 5月丁香六月婷婷| 婷婷五月天激情小说| AV网在线观看| 五月丁香婷婷久久| 91丨九色丨熟女丰满| 久久久宗合视频88| 五月丁香色色综合| 我去色色网五雨天| 色色色九九九五月婷婷| 狠狠操天天操天天操| 欧美久久婷婷| 99色五月| 五月婷婷丁香五月天| 97色综合| 丁香五月天在线| 亚洲美女裸体被操在线观看| 亚洲 无码 中文字幕 中出| 99久视频| 久久久激情| 香蕉久久国产AV一区二区| 色五婷婷| 五月色丁香| 亚洲天堂啪啪| 热九九精品| 99久久久99久久91熟女| 五月丁香久久综合| 区区久久妻| 五月婷婷激情综合在线| 五月婷婷偷拍| 久久久久久97| 碰超99| 欧美日韩成人在线免费| 天天干,天天日| 超碰色婷婷| 久热免费| 国产色婷婷亚洲| 亚洲综合网在线| 五月天久久91| 9久热在线视频精品| 欧洲亚洲精品| 婷婷五月天六点丁香五月| 99这里只有精| 国产噜一噜天天噜| 欧美日本日韩| 亚洲久久婷婷| 五月丁香久久丝袜啪啪| 五月婷婷啪啪啪啪| 色色色婷婷五月天| 亚洲亚洲人成综合网络| 99热这里只有精品16| 无码人妻电影| 99热官网| 99热在线只有精品| 大香婷婷| 97av在线视频| 丁香五月婷婷色| 婷婷伊人綜合中文字幕小说| 丁香婷婷天堂| 99热精品中文字幕| Av狠狠色丁香婷| 好大好粗嗯啊-一级黄色大片免费观看-成人AV| 九九综合| 色欲天天综合| 成人网站av免费网站推荐| 色综合色色| 99在线精品视频免费观看20| 99热综合| 色婷婷色| 99视频只有精品| 久久丁香综合| 丁香五月av在线| 狠狠色大香蕉| 精品少妇人妻AV无码专区偷人| 99re这里有精品手机在线| 这里只有精9| 激情综合五月| 色色免费网站| 丁香五月婷婷香| 蜜乳中文字| 69热在线| 九九这里是免费的视频5| 欧美人与性动交CCOO|