欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Sentinel系統(tǒng)規(guī)則實(shí)戰(zhàn):CPU使用率與JVM指標(biāo)聯(lián)動(dòng)限流

Sentinel系統(tǒng)規(guī)則實(shí)戰(zhàn):CPU使用率與JVM指標(biāo)聯(lián)動(dòng)限流 Sentinel 系統(tǒng)規(guī)則實(shí)戰(zhàn)讓 JVM 的 CPU 使用率直接參與限流決策先扯個(gè)實(shí)際場景。你有沒有遇到過這種詭異情況線上服務(wù) QPS 明明還在可接受范圍接口 RT 卻開始直線飆高緊接著整個(gè)應(yīng)用像被什么東西掐住脖子一樣卡頓、超時(shí)、批量報(bào)錯(cuò)最后連著數(shù)據(jù)庫一起拖垮。我早期做高并發(fā)服務(wù)時(shí)就栽過一回流量洪峰到來前業(yè)務(wù)團(tuán)隊(duì)粗估了一個(gè) QPS 閾值辛辛苦苦配好了單機(jī)限流結(jié)果流量真的沖上來時(shí)單機(jī) QPS 還沒到預(yù)設(shè)值機(jī)器 CPU 先被打滿了限流規(guī)則根本沒機(jī)會(huì)觸發(fā)服務(wù)照樣雪崩。這事逼著我重新想一個(gè)問題限流到底應(yīng)該限什么是數(shù)字上的 QPS還是背后真正決定系統(tǒng)吞吐能力的資源后來我把目光放到了阿里開源的 Sentinel 上。Sentinel 的系統(tǒng)規(guī)則不按調(diào)用次數(shù)卡你而是直接盯 JVM 所在節(jié)點(diǎn)的系統(tǒng)負(fù)載、CPU 使用率這類硬指標(biāo)把限流決策和機(jī)器真實(shí)狀態(tài)綁在一起。今天這篇就圍繞“Sentinel 系統(tǒng)規(guī)則 JVM 指標(biāo)聯(lián)動(dòng)靠 CPU 使用率觸發(fā)限流”展開把原理、配置、實(shí)戰(zhàn)參數(shù)、踩坑記錄全盤托出。適合正在用 Sentinel 做服務(wù)保護(hù)、但對系統(tǒng)規(guī)則模塊還不太熟的讀者也適合那些和我一樣被“誤傷型限流”坑過的同學(xué)。1. 系統(tǒng)規(guī)則的核心思路為什么不用固定 QPS反而盯 CPU1.1 單機(jī) QPS 限流的局限在哪里先拆一下固定 QPS 限流的邏輯。它的核心假設(shè)是單機(jī)能扛 2000 QPS超過就攔。這個(gè)假設(shè)有兩個(gè)脆弱點(diǎn)。第一QPS 閾值是拍腦袋定的。上線前壓測得出 2000 QPS上線后業(yè)務(wù)代碼加了一段耗時(shí)邏輯或者 JVM 堆內(nèi)存調(diào)小了實(shí)際扛 1500 QPS 就喘不過氣。你原來的 2000 閾值不但沒保護(hù)服務(wù)反而成了幫兇因?yàn)檎埱蠓胚M(jìn)來之后線程在瘋狂堆積RT 指數(shù)級惡化這就是經(jīng)典的請求堆積 → 線程饑餓 → 服務(wù)假死鏈路。第二固定 QPS 限流只能看到調(diào)用量看不到系統(tǒng)真實(shí)健康度。舉個(gè)極端例子一個(gè)接口 CPU 密集計(jì)算 50ms另一個(gè)接口只查了一次緩存耗時(shí) 2ms。兩個(gè)接口配同樣的 QPS 閾值顯然不合理但如果分別配又很難預(yù)先算準(zhǔn)每種業(yè)務(wù)的資源開銷。所以固定 QPS 本質(zhì)上是“以預(yù)測代替感知”而分布式系統(tǒng)的突發(fā)負(fù)載、Full GC、宿主機(jī)搶占都不是你提前能預(yù)測準(zhǔn)的。這也是我后來堅(jiān)定轉(zhuǎn)向系統(tǒng)規(guī)則的原因——它不做預(yù)測只做響應(yīng)。1.2 系統(tǒng)規(guī)則的運(yùn)行邏輯自適應(yīng)保護(hù)Sentinel 的系統(tǒng)規(guī)則官方叫 SystemRule核心思想是讓入口流量自適應(yīng)系統(tǒng)承載能力。它的保護(hù)對象是整臺 JVM 所在的機(jī)器節(jié)點(diǎn)不是某個(gè)接口。具體實(shí)現(xiàn)上Sentinel 會(huì)周期性采樣當(dāng)前系統(tǒng)的幾個(gè)核心指標(biāo)指標(biāo)說明觸發(fā)保護(hù)的動(dòng)作系統(tǒng)負(fù)載Load基于操作系統(tǒng) 1 分鐘負(fù)載平均值做 BBR 風(fēng)格換算根據(jù)系統(tǒng)負(fù)載和當(dāng)前 RT 計(jì)算最大允許 QPS超出即攔截CPU 使用率本機(jī)所有核心的平均使用率不是單個(gè)進(jìn)程的超過閾值后拒絕所有新請求進(jìn)入RT所有入口流量的平均響應(yīng)時(shí)間超過閾值后拒絕新請求線程數(shù)入口流量的并發(fā)線程數(shù)超過閾值后拒絕新請求入口 QPS所有入口流量的聚合 QPS一般配合負(fù)載策略使用注意上表里兩個(gè)容易混淆的點(diǎn)。一是 CPU 使用率指標(biāo)和系統(tǒng)負(fù)載指標(biāo)是兩套獨(dú)立邏輯CPU 使用率一旦超閾值是直接把后續(xù)請求全部拒絕根本沒有協(xié)商余地系統(tǒng)負(fù)載則是動(dòng)態(tài)調(diào)整入口 QPS負(fù)載越高允許進(jìn)來的請求越少控制更柔和。二是 CPU 使用率采樣的是整個(gè)操作系統(tǒng)層面不是 JVM 進(jìn)程本身。這點(diǎn)后面還會(huì)展開講它直接影響你的規(guī)則能不能觸發(fā)。1.3 系統(tǒng)規(guī)則的代碼結(jié)構(gòu)看一眼核心類你會(huì)更清楚它的運(yùn)作方式。Sentinel 里系統(tǒng)規(guī)則入口是SystemRuleManager它內(nèi)部有個(gè)定時(shí)任務(wù)默認(rèn)每秒執(zhí)行一次采樣。// Sentinel 核心系統(tǒng)狀態(tài)采樣與規(guī)則檢查入口 public class SystemRuleManager { // 負(fù)載閾值-1 表示不限制 private static double highestSystemLoad Double.MAX_VALUE; // CPU 使用率閾值-1 表示不限制 private static double highestCpuUsage Double.MAX_VALUE; // 定時(shí)采樣任務(wù)線程池固定頻率執(zhí)行 static { ScheduledExecutorService scheduler Executors.newScheduledThreadPool(1); scheduler.scheduleAtFixedRate(() - { try { currentSystemLoad SystemStatusListener.getSystemLoad(); currentCpuUsage SystemStatusListener.getCpuUsage(); // 計(jì)算當(dāng)前允許的最大入口 QPS calculateAllowedQps(); } catch (Throwable e) { RecordLog.warn([SystemRuleManager] Error when computing system metrics, e); } }, 1, 1, TimeUnit.SECONDS); } }這個(gè)定時(shí)任務(wù)會(huì)刷新維護(hù)一個(gè)SystemMetric對象里面保存著當(dāng)前負(fù)載、CPU、RT、線程數(shù)。每個(gè)請求進(jìn)入 Sentinel 的 slot 鏈路時(shí)SystemSlot會(huì)讀取這些指標(biāo)和規(guī)則閾值比較決定放行還是拒絕。整個(gè)鏈路是典型的“異步采樣 同步判斷”實(shí)時(shí)性依賴采樣頻率這也是后面排查問題時(shí)一個(gè)關(guān)鍵切入點(diǎn)。2. 核心實(shí)操CPU 閾值與負(fù)載參數(shù)的配置全流程2.1 系統(tǒng)規(guī)則有哪些參數(shù)該怎么定初始值我直接給你一套我在生產(chǎn)環(huán)境驗(yàn)證過的基礎(chǔ)配置思路。參數(shù)配置入口我的生產(chǎn)建議備注CPU 使用率閾值SystemRule的highestCpuUsage80%85%超過后直接拒絕所有新請求系統(tǒng)負(fù)載閾值SystemRule的highestSystemLoad等于 CPU 核心數(shù)如 4 核設(shè) 4.0動(dòng)態(tài)調(diào)整入口 QPS平均 RT 閾值SystemRule的avgRt根據(jù)業(yè)務(wù)壓測結(jié)果比如 300ms超過后拒絕新請求線程數(shù)閾值SystemRule的maxThread核心線程數(shù) * 2 附近防線程堆積為什么 CPU 使用率閾值選 80%85%因?yàn)?CPU 超過這個(gè)值后系統(tǒng)可能還有一點(diǎn)緩沖余量但 RT 已經(jīng)開始出現(xiàn)明顯毛刺。如果設(shè)到 95%設(shè)備長時(shí)間滿負(fù)荷運(yùn)行JVM 的 GC 線程和業(yè)務(wù)線程互相搶 CPU服務(wù)已經(jīng)處在崩潰邊緣保護(hù)動(dòng)作來得太晚。如果設(shè)到 50%機(jī)器經(jīng)常因?yàn)橐淮尾凰銍?yán)重的毛刺就整體拒絕流量可用性受損。系統(tǒng)負(fù)載閾值我建議直接等于 CPU 核心數(shù)。這里需要解釋一下“系統(tǒng)負(fù)載”和 CPU 使用率的區(qū)別。系統(tǒng)負(fù)載是“當(dāng)前正在運(yùn)行 等待 CPU 的線程平均數(shù)量”4 核機(jī)器負(fù)載 4.0意味著每個(gè)核正好有一個(gè)任務(wù)在跑CPU 接近飽和但還沒過載。負(fù)載超過核心數(shù)說明有線程在排隊(duì)這時(shí)候再繼續(xù)放流量進(jìn)來排隊(duì)只會(huì)越來越嚴(yán)重。2.2 Sentinel 的負(fù)載閾值是怎么換算成 QPS 的這里值得多說一句因?yàn)楹芏嗳伺渲猛曦?fù)載閾值后發(fā)現(xiàn)實(shí)際生效的 QPS 數(shù)字和預(yù)期完全對不上。Sentinel 沒有拿負(fù)載閾值直接限流它參考了 TCP BBR 的帶寬延遲積思想做了一個(gè)換算公式。核心邏輯是當(dāng)前系統(tǒng)能承受的最大 QPS約等于“并發(fā)線程數(shù)當(dāng)前值 / 平均 RT”。我拆解一下這個(gè)過程。Sentinel 在DefaultNode里維護(hù)了入口流量的統(tǒng)計(jì)包含當(dāng)前并發(fā)線程數(shù)curThreadNum和平均 RT。系統(tǒng)負(fù)載超過閾值后它按 BBR 風(fēng)格帶寬評估公式計(jì)算出一個(gè)新的最大 QPSprivate static double calculateAllowedQps() { double avgRt SystemStatusListener.getCurrentMetric().avgRt(); double maxQps maxThread / avgRt; // 再根據(jù)當(dāng)前負(fù)載和臨界負(fù)載的比例做平滑調(diào)整 return maxQps * (highestSystemLoad / currentSystemLoad); }簡單理解就是系統(tǒng)負(fù)載越高可放行的 QPS 越低但不是直接跌到 0而是按比例平滑下降。這個(gè)設(shè)計(jì)比一刀切拒絕要合理得多能消化掉一些突發(fā)毛刺又不至于把系統(tǒng)壓垮。所以你在配置負(fù)載規(guī)則時(shí)心里要有個(gè)預(yù)期規(guī)則控制的不是某個(gè)固定 QPS 數(shù)值而是一條動(dòng)態(tài)曲線它會(huì)根據(jù) RT 和線程數(shù)實(shí)時(shí)變化。如果接口 RT 漲了一倍系統(tǒng)允許進(jìn)入的 QPS 自動(dòng)減半這是自適應(yīng)保護(hù)最明顯的價(jià)值。2.3 實(shí)操三種方式配置系統(tǒng)規(guī)則方式一硬編碼適合測試環(huán)境和快速驗(yàn)證。// 加載系統(tǒng)規(guī)則以下參數(shù)按實(shí)際機(jī)器配置調(diào)整 private void initSystemRule() { SystemRule rule new SystemRule(); rule.setHighestCpuUsage(0.85); // CPU 使用率閾值 85% rule.setHighestSystemLoad(4.0); // 4 核機(jī)器負(fù)載閾值 4.0 rule.setAvgRt(300); // 平均 RT 閾值 300ms rule.setMaxThread(16); // 最大并發(fā)線程數(shù) 16 SystemRuleManager.loadRules(Collections.singletonList(rule)); }方式二通過控制臺動(dòng)態(tài)推送。在 Sentinel 控制臺的“系統(tǒng)規(guī)則”菜單里新增填好閾值后直接發(fā)布。這種方式適合生產(chǎn)環(huán)境動(dòng)態(tài)調(diào)整但要注意控制臺版本和服務(wù)端版本要匹配否則推送不生效。方式三通過FlowRule的grade參數(shù)指定為RuleConstant.SYSTEM_LOAD或RuleConstant.SYSTEM_CPU在流控規(guī)則里單獨(dú)配置 CPU 維度。這種方式相對少見但從命名上能看出 Sentinel 把系統(tǒng)保護(hù)規(guī)則也納入到了統(tǒng)一規(guī)則體系里。我實(shí)踐下來最推薦的方式是代碼初始化兜底 控制臺動(dòng)態(tài)調(diào)參。代碼里寫一套保守閾值做啟動(dòng)保護(hù)控制臺再根據(jù)壓測數(shù)據(jù)調(diào)優(yōu)到合理值。不然線上機(jī)器配置變更或者業(yè)務(wù)擴(kuò)容后硬編碼的閾值就成了定時(shí)炸彈。2.4 如何驗(yàn)證規(guī)則真的生效了配置完了不代表它就會(huì)按下你想象的方式工作。我見過不少人配完規(guī)則壓測半天沒觸發(fā)懷疑規(guī)則沒用。其實(shí)很大概率是壓測姿勢不對。驗(yàn)證要分三步走。第一步確認(rèn)機(jī)器的 CPU 使用率確實(shí)能通過 Sentinel 采集到。打開日志看sentinel-record.log里面會(huì)周期性打印系統(tǒng)指標(biāo)采樣值確認(rèn)不是 0也不是空。第二步制造壓力。用壓測工具我常用 wrk 或 JMeter直接打入口服務(wù)觀察控制臺或日志里有沒有出現(xiàn)一個(gè)關(guān)鍵日志[Sentinel] Blocked by system protection: SystemRule或類似字樣。只要出現(xiàn)這條日志說明系統(tǒng)規(guī)則真正參與攔截了。第三步驗(yàn)證恢復(fù)。停掉壓測流量觀察系統(tǒng)指標(biāo)回落后請求是否自動(dòng)恢復(fù)放行。有時(shí)候規(guī)則觸發(fā)后一直不恢復(fù)多半是采樣線程被 GC 或線程池饑餓影響了這個(gè)后面排查章節(jié)會(huì)細(xì)說。3. JVM 指標(biāo)聯(lián)動(dòng)的進(jìn)階玩法不只盯 CPU 使用率還要看 GC 和內(nèi)存標(biāo)題里專門提到“JVM 指標(biāo)聯(lián)動(dòng)”很多人會(huì)理解為直接讀取 JVM 的 CPU 使用率。但實(shí)際做生產(chǎn)監(jiān)控時(shí)我會(huì)把聯(lián)動(dòng)拆成兩個(gè)層面一是 CPU 使用率觸發(fā)的剛性攔截一是 JVM 內(nèi)部指標(biāo)Full GC 頻次、堆內(nèi)存占用、線程數(shù)對閾值調(diào)整的柔性修正。這兩個(gè)結(jié)合起來才是完整的“系統(tǒng)規(guī)則 JVM 指標(biāo)聯(lián)動(dòng)”。3.1 為什么 CPU 使用率高時(shí)先要看是不是 Full GC 在搗鬼有一次線上服務(wù) CPU 使用率飆到 90% 以上系統(tǒng)規(guī)則觸發(fā)后大量請求被攔截但業(yè)務(wù)團(tuán)隊(duì)說沒看到明顯的流量增長。最后查了半天是堆內(nèi)存里有一個(gè)本地緩存實(shí)現(xiàn)有誤數(shù)據(jù)無限增長導(dǎo)致 Full GC 頻繁觸發(fā)。Full GC 是多線程并行回收階段會(huì)吃滿所有 CPU 核心表現(xiàn)為“系統(tǒng)負(fù)載高、CPU 使用率高”而業(yè)務(wù)線程其實(shí)沒有干多少活。這個(gè)案例說明CPU 使用率高只是一個(gè)結(jié)果不一定是業(yè)務(wù)流量導(dǎo)致的。如果直接把 CPU 閾值當(dāng)成唯一限流依據(jù)那么一次頻繁的 GC 就會(huì)引發(fā)全站“無差別限流”甚至把正常流量也擋在門外。所以我在實(shí)踐里會(huì)做一層過濾當(dāng) CPU 使用率觸發(fā)系統(tǒng)規(guī)則后先通過 JMX 拉取 JVM 的 GC 頻次數(shù)據(jù)判斷 CPU 是被業(yè)務(wù)線程消耗還是被 GC 線程消耗。// 通過 JMX 獲取 Full GC 次數(shù)輔助判斷 CPU 飆高的原因 public long getFullGcCount() { ListGarbageCollectorMXBean gcBeans ManagementFactory.getGarbageCollectorMXBeans(); long fullGcCount 0L; for (GarbageCollectorMXBean bean : gcBeans) { // 老年代回收器名稱通常包含 Old 或 MarkSweep if (bean.getName().contains(Old) || bean.getName().contains(MarkSweep)) { fullGcCount bean.getCollectionCount(); } } return fullGcCount; }完整的決策邏輯是這樣的CPU 使用率觸發(fā)限流 → 檢查 Full GC 頻次是否在短時(shí)間內(nèi)大幅上升 → 如果是說明系統(tǒng)進(jìn)入“GC 抖動(dòng)狀態(tài)”此時(shí)不應(yīng)該簡單拒絕所有請求因?yàn)榱髁勘旧頉]有超載真正的問題是內(nèi)存或 GC 參數(shù)不合理。這時(shí)候最優(yōu)動(dòng)作是保底攔截一部分請求給 GC 喘息時(shí)間同時(shí)觸發(fā)內(nèi)存 dump 或擴(kuò)容而不是讓正常用戶在無感知情況下全部被攔截。3.2 聯(lián)動(dòng)方案一根據(jù) JVM 指標(biāo)動(dòng)態(tài)調(diào)整系統(tǒng)規(guī)則閾值系統(tǒng)規(guī)則的閾值不應(yīng)該是靜態(tài)寫死的。我基于 Spring Boot 的Scheduled任務(wù)做過一個(gè)動(dòng)態(tài)修正器每 10 秒采集一次 JVM GC 和內(nèi)存指標(biāo)動(dòng)態(tài)調(diào)整 Sentinel 的 CPU 閾值。核心思路是正常情況下 CPU 閾值保持 85%如果監(jiān)測到 Full GC 頻繁自動(dòng)把 CPU 閾值下調(diào)到 70%讓系統(tǒng)更早進(jìn)入保護(hù)狀態(tài)減少因 GC 造成的請求堆積。Component public class SentinelDynamicRuleAdjuster { private static final double DEFAULT_CPU_THRESHOLD 0.85; private static final double GC_PRESSURE_CPU_THRESHOLD 0.70; Scheduled(fixedDelay 10000) public void adjustSystemRule() { long currentFullGcCount getFullGcCount(); long delta currentFullGcCount - lastFullGcCount; // 10 秒內(nèi)超過 2 次 Full GC認(rèn)為 GC 壓力大 if (delta 2) { updateCpuThreshold(GC_PRESSURE_CPU_THRESHOLD); } else { updateCpuThreshold(DEFAULT_CPU_THRESHOLD); } lastFullGcCount currentFullGcCount; } }這么做的好處是把“限流保護(hù)”和“系統(tǒng)自治”綁在了一起。流量高峰時(shí) CPU 超過 85%限流先兜住JVM 內(nèi)存異常時(shí) GC 頻繁閾值自動(dòng)前移到 70%兜得更早。兩條防線互相配合而不是只靠一個(gè)靜態(tài)閾值硬扛。3.3 聯(lián)動(dòng)方案二把 JVM 線程數(shù)指標(biāo)納入限流判斷很多人只盯著 CPU 和負(fù)載忽略了線程數(shù)。Sentinel 的線程數(shù)閾值其實(shí)是針對“入口并發(fā)線程數(shù)”的而不是 JVM 全部線程。但生產(chǎn)環(huán)境里一個(gè)比入口線程數(shù)更危險(xiǎn)的信號是 JVM 整體的活線程數(shù)逼近線程池上限。當(dāng) Tomcat 或業(yè)務(wù)線程池的線程全部處于RUNNABLE狀態(tài)并且大量阻塞在遠(yuǎn)程調(diào)用或鎖等待上時(shí)JVM 線程數(shù)這個(gè)指標(biāo)比 CPU 使用率更早反映問題。我在壓測中遇到過CPU 使用率才 40%但線程池已經(jīng)被占滿RT 狂飆此時(shí)系統(tǒng)規(guī)則根本沒觸發(fā)因?yàn)?CPU 還沒到閾值。對這種場景我把 JVM 線程數(shù)也納入聯(lián)動(dòng)判斷定期檢查ThreadMXBean.getThreadCount()如果超過預(yù)設(shè)水位比如核心線程數(shù) 150水位設(shè)在 120就自動(dòng)加載一條臨時(shí)系統(tǒng)規(guī)則把入口 QPS 壓低或者直接把線程數(shù)閾值調(diào)低。long threadCount ManagementFactory.getThreadMXBean().getThreadCount(); if (threadCount threadPoolHighWatermark) { SystemRule systemRule new SystemRule(); systemRule.setMaxThread(currentAllowedThreadCount); systemRule.setHighestCpuUsage(0.8); // 讓規(guī)則在 30 秒內(nèi)自動(dòng)過期避免長時(shí)間誤傷 SystemRuleManager.loadRules(Collections.singletonList(systemRule)); }3.4 JVM 參數(shù)調(diào)優(yōu)對系統(tǒng)規(guī)則效果的影響聊到這里必須提一嘴 JVM 參數(shù)因?yàn)楹芏嗳税l(fā)現(xiàn)系統(tǒng)規(guī)則“該觸發(fā)時(shí)沒觸發(fā)”問題不在 Sentinel而是 JVM 本身的機(jī)制掩蓋了真實(shí)壓力。以 Tomcat 啟動(dòng)設(shè)置 JVM 參數(shù)為例如果你的堆內(nèi)存和 GC 策略不合理那么系統(tǒng)在 CPU 高負(fù)載之前很早就會(huì)進(jìn)入頻繁 GC 的狀態(tài)CPU 時(shí)間大半被 GC 吃掉但 JVM 對外表現(xiàn)的 RT 可能還沒有明顯惡化。這時(shí)候系統(tǒng)規(guī)則以為系統(tǒng)“還行”等 RT 真正惡化時(shí)其實(shí)已經(jīng)晚了。我常用的生產(chǎn) JVM 參數(shù)組合是這樣-Xms4g -Xmx4g -XX:UseG1GC -XX:MaxGCPauseMillis200 -XX:HeapDumpOnOutOfMemoryError -XX:HeapDumpPath/data/logs/jvm -XX:PrintGCDetails -XX:PrintGCDateStamps -Xloggc:/data/logs/gc.log核心原則是堆內(nèi)存初始值和最大值保持一致避免運(yùn)行時(shí)動(dòng)態(tài)擴(kuò)容造成 CPU 尖峰用 G1 回收器并設(shè)置 GC 停頓目標(biāo)讓 GC 造成的 CPU 消耗可控。這幾點(diǎn)直接影響系統(tǒng)規(guī)則采樣的“體感”GC 平穩(wěn)了CPU 使用率才有資格作為限流信號。否則你限的是“GC 引發(fā)的 CPU 毛刺”而不是真正的業(yè)務(wù)負(fù)載整個(gè)聯(lián)動(dòng)邏輯就失真了。4. 常見問題排查與避坑實(shí)錄這部分全是真金白銀的踩坑記錄。我按出現(xiàn)頻率排個(gè)序把典型問題和排查思路整理成一張速查表再展開講幾個(gè)最坑的。問題現(xiàn)象可能原因排查步驟系統(tǒng)規(guī)則配置了但不生效控制臺版本不匹配未引入sentinel-parameter-flow-control或系統(tǒng)規(guī)則模塊檢查依賴查看控制臺是否展示規(guī)則用代碼加載規(guī)則做對照一臺機(jī)器限流另一臺不限流單機(jī)采樣差異宿主機(jī) CPU 爭搶負(fù)載不均衡對比各節(jié)點(diǎn)日志中的系統(tǒng)指標(biāo)檢查是否在同一宿主機(jī)CPU 閾值很明顯超了但還是放行采樣頻率是 1s秒級數(shù)據(jù)存在窗口判斷用的是上一秒指標(biāo)降低觸發(fā)窗口連續(xù)多秒超標(biāo)才攔截增強(qiáng)采樣日志觸發(fā)后不恢復(fù)采樣線程卡死GC 導(dǎo)致采樣線程調(diào)度延遲檢查 GC 日志優(yōu)化 JVM 參數(shù)確認(rèn)采樣線程優(yōu)先級控制臺推送規(guī)則成功但服務(wù)端不生效服務(wù)端未接入數(shù)據(jù)庫/配置中心推送給應(yīng)用但應(yīng)用未注冊監(jiān)聽檢查應(yīng)用側(cè)日志確認(rèn)是否包含SentinelAutoConfiguration負(fù)載閾值換算出來的 QPS 不直觀對 BBR 換算公式不理解看calculateAllowedQps邏輯在日志看動(dòng)態(tài) QPS 值4.1 系統(tǒng)規(guī)則“不生效”的經(jīng)典坑版本與控制臺不匹配這個(gè)問題排查成本最高。有些團(tuán)隊(duì)的 Sentinel 控制臺是早期版本應(yīng)用內(nèi)嵌的sentinel-core卻升級到了較新版本兩個(gè)版本之間規(guī)則推送協(xié)議不一致控制臺上配置了系統(tǒng)規(guī)則應(yīng)用端完全沒有感知。我的排查習(xí)慣是三步走。第一直接跑一個(gè)本地 Java 進(jìn)程用官方控制臺同版本對接把同樣的規(guī)則推一遍看本地是否觸發(fā)。第二檢查服務(wù)的sentinel-record.log里面有沒有Receive new config from command center之類的記錄。第三用最原始的辦法驗(yàn)證代碼里手動(dòng)寫死一條 CPU 閾值規(guī)則來測試排除一切外部依賴先確認(rèn)基礎(chǔ)鏈路通不通。4.2 CPU 使用率采集偏差別忽略宿主機(jī)的影響Sentinel 讀取 CPU 使用率是通過OperatingSystemMXBean.getSystemLoadAverage()和自定義的 CPU 采樣器來實(shí)現(xiàn)的。注意getSystemLoadAverage()返回的是系統(tǒng) 1 分鐘平均負(fù)載而 CPU 使用率是通過com.sun.management.OperatingSystemMXBean.getSystemCpuLoad()獲取。在容器化部署比如 Docker 或 K8s場景下這個(gè)采集有一個(gè)天坑容器默認(rèn)讀取的是宿主機(jī)整體 CPU 狀態(tài)。假如宿主機(jī) 32 核你的 Pod 被限制只用 2 核Pod 計(jì)算密集型業(yè)務(wù)能把 2 核打滿但getSystemCpuLoad()看到的是 32 核里只有 2 核忙整體算下來 CPU 使用率可能只有 6%系統(tǒng)規(guī)則永遠(yuǎn)觸發(fā)不了。這是我在容器化落地中遇到的最頭疼的問題。目前可用的解決方案是引入容器 CPU 感知的采集器或者干脆繞過系統(tǒng)整體 CPU直接用 cgroup 文件計(jì)算容器 CPU 使用率。雖然 Sentinel 自身沒有提供完美的容器適配但你可以通過定時(shí)任務(wù)讀取/sys/fs/cgroup/cpu/cpuacct.usage或cpu.stat計(jì)算容器級別的 CPU 使用率再手動(dòng)調(diào)用SystemRuleManager的規(guī)則觸發(fā)邏輯。// 通過 cgroup 計(jì)算容器 CPU 使用率替代系統(tǒng)級 CPU 使用率 private double getContainerCpuUsage() throws IOException { Path cpuStatPath Paths.get(/sys/fs/cgroup/cpu/cpu.stat); if (!Files.exists(cpuStatPath)) { return -1; } // nr_periods 為周期數(shù)nr_throttled 為被限制周期數(shù) ListString lines Files.readAllLines(cpuStatPath); long nrPeriods 0, nrThrottled 0; for (String line : lines) { if (line.startsWith(nr_periods)) { nrPeriods Long.parseLong(line.split(\\s)[1]); } else if (line.startsWith(nr_throttled)) { nrThrottled Long.parseLong(line.split(\\s)[1]); } } if (nrPeriods 0) { return -1; } return (double) nrThrottled / nrPeriods; }這段代碼的思路是容器被 CPU 限流的時(shí)間占比本質(zhì)上就是容器能夠使用的 CPU 配額被打滿的占比。如果這個(gè)值超過 50%說明容器長期處于 CPU 饑餓狀態(tài)比宿主機(jī)級別指標(biāo)準(zhǔn)確得多。4.3 閾值觸發(fā)后一直不恢復(fù)這個(gè)坑也很有代表性。系統(tǒng)規(guī)則在 CPU 使用率下降后理論上應(yīng)該自動(dòng)恢復(fù)放行。但實(shí)際中如果觸發(fā)限流時(shí)有很多請求在被拒絕前已經(jīng)進(jìn)入了業(yè)務(wù)線程池它們會(huì)繼續(xù)在后臺處理一段時(shí)間導(dǎo)致系統(tǒng)負(fù)載和 CPU 在限流生效后依然高居不下。然后規(guī)則就不停觸發(fā)形成死鎖感。解決方案是給系統(tǒng)規(guī)則加一個(gè)“冷卻期”概念也就是連續(xù) N 次采樣都低于閾值才恢復(fù)放行而不是一次采樣低于閾值就立刻放行。這個(gè)邏輯 Sentinel 原生沒有需要自己包一層。private int consecutiveHealthyCount 0; private static final int HEALTHY_THRESHOLD 5; public boolean shouldBlock(boolean isCpuOverThreshold) { if (isCpuOverThreshold) { consecutiveHealthyCount 0; return true; } // 連續(xù) 5 次采樣健康才恢復(fù) if (consecutiveHealthyCount HEALTHY_THRESHOLD) { return false; } consecutiveHealthyCount; return true; }從效果看這個(gè)冷卻期避免了規(guī)則在臨界閾值附近快速抖動(dòng)讓系統(tǒng)有足夠時(shí)間消化存量請求恢復(fù)過程更平滑。代價(jià)是誤傷時(shí)間變長但比起在臨界點(diǎn)反復(fù)抖動(dòng)造成的不穩(wěn)定體驗(yàn)這點(diǎn)代價(jià)完全值得。4.4 閾值設(shè)多少才合理給一套可復(fù)用的“試探法”我推薦用灰度試探法。具體操作先配一個(gè)高閾值比如 CPU 使用率 95%系統(tǒng)負(fù)載 2 倍核數(shù)同時(shí)觀察線上 RT 和錯(cuò)誤率。每隔 15 分鐘下調(diào)一次閾值每次下調(diào) 5% 或 0.5 倍核數(shù)直到你發(fā)現(xiàn) RT 毛刺明顯減少、而業(yè)務(wù) QPS 沒有大量被拒絕那個(gè)點(diǎn)就是當(dāng)前版本的“甜點(diǎn)區(qū)間”。這套方法的原理是在閾值高位時(shí)系統(tǒng)規(guī)則的介入少能觀察到底層數(shù)據(jù)逐步下調(diào)找到“攔截最陡曲線”的拐點(diǎn)。這比直接拍腦袋設(shè) 80% 要科學(xué)因?yàn)椴煌?wù)對 CPU 的敏感度完全不同——純 IO 型服務(wù) CPU 到 90% 可能都沒影響計(jì)算密集的服務(wù) 70% 就得限制。5. 生產(chǎn)落地的擴(kuò)展動(dòng)態(tài)數(shù)據(jù)源與多節(jié)點(diǎn)一致性5.1 把規(guī)則遷移到配置中心別讓控制臺背鍋使用控制臺推送規(guī)則有個(gè)隱患控制臺本身是獨(dú)立進(jìn)程一旦它掛了或者規(guī)則推送通道斷了服務(wù)端的規(guī)則還停留在最后一次推送的狀態(tài)。生產(chǎn)環(huán)境最好把規(guī)則持久化到配置中心比如 Nacos 或 ApolloSentinel 通過DataSource接口監(jiān)聽配置變化。// 使用 Nacos 作為 Sentinel 規(guī)則數(shù)據(jù)源的偽代碼 ReadableDataSourceString, ListSystemRule systemRuleDataSource new NacosDataSource(nacosAddr, groupId, dataId, source - JSON.parseObject(source, new TypeReferenceListSystemRule() {})); SystemRuleManager.register2Property(systemRuleDataSource.getProperty());這樣做還有一個(gè)額外的好處多實(shí)例的規(guī)則版本一致。控制臺手動(dòng)推規(guī)則是推給單個(gè) IP配置中心推給的是所有訂閱節(jié)點(diǎn)不會(huì)出現(xiàn)一臺機(jī)器限流一臺不限流的“半抬起半落下”狀態(tài)。熱詞里有人搜spring cloud sentinel datasource redis集群其實(shí)也是這個(gè)思路——規(guī)則源的存儲無所謂Redis、數(shù)據(jù)庫還是 Nacos只要能保證一致性和實(shí)時(shí)性就行。5.2 多節(jié)點(diǎn)限流的公平性問題集群部署下還有一個(gè)注意點(diǎn)每臺機(jī)器獨(dú)立運(yùn)行系統(tǒng)規(guī)則而系統(tǒng)負(fù)載是單機(jī)指標(biāo)。如果負(fù)載均衡算法不完美可能出現(xiàn)一臺機(jī)器 CPU 爆掉觸發(fā)限流另一臺還很空閑。這不算 Sentinel 的 bug而是“自適應(yīng)保護(hù)”天然沒有全局視角的體現(xiàn)。如果業(yè)務(wù)對全局一致性要求高可以把系統(tǒng)規(guī)則和集群流控配合使用。集群流控負(fù)責(zé)全局流量分配系統(tǒng)規(guī)則負(fù)責(zé)單機(jī)兜底。一個(gè)簡單的組合集群流控把總流量控制在整個(gè)集群容量的 70%剩下 30% 留給單機(jī)系統(tǒng)規(guī)則動(dòng)態(tài)消化。這樣 CPU 使用率監(jiān)控在單機(jī)層面繼續(xù)生效但全局流量不會(huì)因?yàn)橐慌_機(jī)器抖動(dòng)就大面積受限。最后分享一個(gè)我堅(jiān)持在生產(chǎn)環(huán)境使用的驗(yàn)證腳本每次調(diào)完系統(tǒng)規(guī)則參數(shù)我會(huì)用一段腳本做煙霧測試確認(rèn)限流不是“紙面配置”。# 用 wrk 制造持續(xù) 30 秒的并發(fā)壓力觀察系統(tǒng)規(guī)則觸發(fā)后 QPS 是否被壓低 wrk -t8 -c200 -d30s http://your-service/api/test # 同時(shí)從 sentinel-record.log 里過濾系統(tǒng)保護(hù)記錄 grep System protection /data/logs/sentinel-record.log | tail -20確認(rèn)輸出里有連續(xù)的“Blocked”記錄同時(shí)服務(wù)依然能返回部分成功請求而不是完全 502說明規(guī)則有效且系統(tǒng)仍在兜底運(yùn)行。這套“邊壓邊驗(yàn)”的流程我堅(jiān)持了很久每次調(diào)參心里都有底。系統(tǒng)規(guī)則 JVM 指標(biāo)聯(lián)動(dòng)這件事核心不在于 Sentinel 配置本身多復(fù)雜而是想明白“到底拿什么信號來代表系統(tǒng)過載”。CPU 使用率是一個(gè)好信號但它必須結(jié)合 JVM 的 GC、線程、內(nèi)存一起看才能區(qū)分“流量過載”和“系統(tǒng)自身抖動(dòng)”。希望這篇實(shí)戰(zhàn)記錄能幫你把限流從“拍數(shù)字”進(jìn)化到“看體征”。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国色天香成人网| 免费无码毛片一区二区A片 | 色噜久| 狠狠干在线视频| 国产毛片精品一区二区色欲黄A片| 婷婷五月精品中文| 天天肏高清在线| 久久天堂婷婷五月| 久9视频免费播放| 丁香六月婷婷色XXXXX| 不卡影院午夜理论片| 青青草国产亚洲精品久久| 久久精品国产色| 亚洲色啪| 五月激情婷婷开心| 99久久久免费| 激情六月天| 开心五月综合激情网| 综合久久影院| 99热国产国产| 九九爱精品网站| 欧美精品熟女一区二区| 精品99在线| 日本3级片偷拍网站| 五月婷婷色影院| 成人AV中文字幕| 丁香婷婷色| 另类激情五月天。| 九七色色六月丁香| 激情av在线| 97精品自拍| 久久婷婷伊人| 五月丁香婷中文| 五月丁香婷婷钟和色图| 热久精品| 婷婷色五月噜噜| 国产精产国品一二三在观看| 五月天婷网| 九九精品少妇| 亚洲综合五月天| 无码地址| 久久久噜噜噜www成人| 性热视频99精品| 99九九精品| 色婷婷视频| 97色伦另类图片小说视频 | 久久婷婷综合国产| 天天色综合色| 色五月色图| 天天色色天天| 密视AV综合在线| 99热这里全都是精品| 男人的天堂99| 天天搞天天色综合| 欧美色偷拍| 情欲综合网| 婷婷五月伦理网站| 五月婷视频久久| 欧美精品中文字幕亚洲专区| 丁香五月人妻| 热99久久这里只有精品| 五月丁香色婷婷色| 久久婷婷老| 五月天丁香久久| 婷婷久久五月| 91综合在线视频| av狠狠操| 51国精产品自偷自偷综合| 国产精品色婷婷99久久精品| 色婷婷中文| 欧美啪啪9| 色综合久久五月| 日本44久久在线| 99色中文| 久久婷婷五月综合伊人| 在线,国产,色,热视频| 97伦色婷婷| 91热久久| 天天色综网| 婷婷五月天亚洲图片| 六月大香蕉| 99精品色| 啪啪啪丁香五月| 色99在线视频| 亚洲天码视频www蛋播视频| 婷婷久久图片| 无码AV大香线蕉伊人| 99热最新| 另类激情综合| 五月婷婷网五月在线| 99久久精彩视频。| 色婷婷激情五月天| 色欲久久99精品久久久久久| 日本乱子人伦在线视频| 丁香六月五月天| 另类激情网| 人人玩人人橾| 久久这里都是精品免费| 香蕉综合在线| 99热网址| 日韩成人电影Av| 精品国产人人爱人人| 亚洲亚洲人成综合网络| 丁香婷婷色九月| wwwC0maV五月花| 色色五月婷| 91av色色乱视频| 天天日日夜夜| 伊人久久艹| 婷婷六月丁香五月| 丁香五月六月婷婷殴美综合| 婷婷丁香五月天中文字幕| 天天做天天爱天天摸| 亚洲欧洲午夜成人精品av| 9色资源在线| 1000部毛片A片免费观看| 他改变了拜占庭| 日本一级| 日本色色色| 婷婷综合一二三| 色婷婷中文| 亚洲无AV在线中文字幕| 丰满少妇乱A片无码| 五月激情站| 91婷婷丁香| 五月天丁香成人社| 色九区| 丁香婷婷五月基地| 激情五月丁香六月综合AVXXXX| 激情五月丁香色婷婷| 久热九九| 激情五月图| 婷婷香蕉| av在线超清中文| 九九九这里只有精品| 亚洲免费看片| 涩涩五月天综合| 婷婷导航| 五月天自拍网| www一区二区三区| 无码婷婷五月天| 婷婷久久夜| 六月婷婷视频| 五月婷婷六月奇米网丁香| 五月天婷婷色小说| 狠狠五月激情丁香六月| 激情综合无码| 99热伊人| 国产精品色色色色| 思思re99视频在线观看| 婷婷无码五月天| 激情五月婷婷视频一区二区三区| 婷婷大香蕉| www,天天干| 亚洲精品99| 成人亚洲精品久久久久| 婷婷伊人视婷婷婷| 六月婷婷成人| 色综合色综合色综合| 久久99热这里只有精品| 99热思思| 91精产一区三区免费观看| 狠狠爱婷婷| 99久久婷婷国产综合精品青桔| 多精窝99在线视频| 婷婷深爱五月| 91九色精品熟女内射| 麻豆AV一区二区三区| 久久精99| 激情五月激情综合俺也去婷婷小说| 九九99视频精品| 色综合综合色| 深爱激情五月婷婷| 久久婷婷网址| 色婷婷五月天激情| 激情www| 久久伊人婷婷| 久久大国产香蕉| 激情五月综合久久| www好屌操| 99九九视频| 99精品在线观看视频| 色婷婷丁香花五月天| 青青草网武则天| 性一交一乱一交A片久| aV直接看| 人妻性爱av网站| 天天色天天色天天色天天色天天色| 亚洲五月丁香六月婷婷| 欧美三级巜人妻互换| www.91AV.COM| 欧美黑人巨大猛烈cuckold| 综合在线色婷婷| 天天射影院| av一区二区电影免费在线观看| 久9热在线视频| 激情五月天网页| 五月丁香久人妻中文| 国自产拍偷拍精品啪啪一区二区| 五月婷婷天堂| 五月激情综| 97碰在线视频| 久操大香蕉| 欧美va欧美va差| 99精品在线观看| 91碰碰碰久久久久| 热99久久这里只有精品| 五月婷在线观看| 成人 九九九九| 五月丁香拍拍激情综合| 99操99| 91九色超碰| 啪啪啪大香蕉| 狠狠色97| 激情五月,激情综合网| 黄页大全十八禁| 婷婷色综合| 国产伊人大香蕉| 色五月 激情婷婷 综合五月天| 99ri视频在线播放| 婷婷丁香五月天操逼| 亚洲 综合中文| 狠狠综合网| 蜜乳av一级av| 99aese| 丁香五月成人社区| 91精品婷婷国产综合久久| 中文字幕日韩成人| 99热激情| 国产三级在线播放| 俺去啦综合网| 97色五月丁香婷婷| 五月丁香狠狠地噜噜噜噜| 久久99网| 婷色五月| 天天干天天干天天操| 久久激情五月网| 久久久久久五月天| 超91热| 99er免费在线观看| 开心五月深爱五月| 婷婷色五月天第7色| 97人人草| 婷婷丁香六月综合激情站| 大香蕉伊人爱在线| 一区视频网站| 亚洲AV网站| 99热插| 亚艹艹| 天天揷综合网| www.26uuu.com亚洲电影| 激情五月综合网| 激情五婷网| 日本久久人| 久久日韩婷婷五月| 五月天综合在线观看| 99免费超碰在线| 情情五月天色| 99色热综合| 亚洲人人艹| 亚洲综合色棒| 99干在线| 97热在线精品| 激情五月天色网站| 婷婷丁香六月天| 欧美噜噜噜草| 国产成人精品亚洲线观看| 久久黄色免费视频| 国产69久久久欧美黑人A片| 精品国产va久| 色色综合网www| 伊人狠狠综合| 97人人操人| 狠狠色综合精品视频在线| 亚洲婷婷丁香五月| av久热| 色爱综合网| 青草激情综合| 青青草a在线| 精品一二三区久久AAA片| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 五月天激情综合首页| 婷婷五月综合在线| 日韩色情亚洲五月天婷婷| 色色色色丁香| 亚洲男女激情| 丁香六月婷婷综合| 成人国产欧美大片一区| 日本五月天婷婷丁香| 18久久| 日本三级中国三级99| 欧美婷婷丁香五月社区| 精品亚洲国产成AV人片传媒| 深爱激情网五月天| 国产97色在线| 成人免费120分钟啪啪| 激情五月婷婷中文字幕| 丁香 亚洲 久久| aa久久| 丁香六月婷婷综合色| 极品人妻VIDEOSSS人妻| 亚洲va综合va国产va中文| 五月婷婷五月天| 99er视频在线| 五月婷婷七月丁香| 香蕉AV福利精品导航| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 亚洲 在线 性爱| 久久丁香九| 色七七九九| 夜夜人妻五月天| 亚洲成av人影院| 丁香五月六月欧美| 色色丁香婷婷| 欧美成人在线观看| xxxx久| 开心四月婷婷在线色播播| 亚洲黄色网址| 色色综合激情| 六月丁香射婷婷欧美色图片 | 色色自拍视频网站| 日韩欧美性爱| 婷婷爱五月| 狠狠狠狠狠操| 久久色区| 婷婷情色五月| 青草五月天| 五月六月激情| 99视频超级精品| 婷婷五月丁香图片人人操| 五月天婷婷7米| 色播综合| 超碰国产AV| 思思热视频在线观看| se.久久视频在线观看| 99热老司机| 国产精品色一哟哟| 激情五月天色色| 色一色综合| 日韩在线一级| 五月天激情无码专区| 99久在线观看| 91碰碰视频在线观看| 日本啪啪网| 99 这里只有精品| 99久扒热| 91窝窝| 五月天激情国产综合婷婷婷| 六月激情综合| 成人色色综合| 亚洲精品视频在线播放| 9在线9在线婷婷在线国产| 五月天色不卡| 激情久久丁香| 亚洲欧美999| 天天人人综合| 亚洲啪啪网| 色五月婷婷777| 色999亚洲人成色| 亚洲成人黄色网| 色天天综合天天综合频道。| 婷婷五月激情的图片| 久久精彩免费视频| 婷婷五月丁香久久| 五月婷婷五月丁香| 丁香五月婷婷高清| 精品亚洲国产成AV人片传媒| PORNY九色9l自拍视频成人| 狠狠色噜噜狠| 成人片在线播放| 99热在线看| 99精品爱| 婷婷五月丁香高清无码| 五月天久久久| 婷婷丁香黄色| 日日操,夜夜爽| 91一起操| 久久精品系列| 激情小说视频图片网| 亚洲精品成人| 9 1超碰九色| 99热中文字幕久久| 中文中文在线| 欧美激情丁香五月| √天堂资源在线人妻熟女| 成人AV在线中文版| 亚洲小说五月婷婷| 91超级碰| 色久影院| 狠狠色噜噜色狠狠狠综合色 | 一级二级色大片| 色五XX| 99热日韩| 婷婷五月丁香在线视频| www.色色色com| 久久之人妻| 亚洲不卡欧洲| 色香欲综合| 欧美日韩AAA| 夜夜夜叫天天天做| 天天成人综合视频| 日日舔夜夜操| 秋霞丝袜啪啪啪| www.cao.com久久| 激情人妻蜜夜系列区| 婷婷99狠狠躁天天久久久九九九| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 丁香婷婷六月天| 播五月开心婷婷欧美综合| 日日干干天天干| 日日噜狠狠色综合久久| 久久综合天天综合| 久久这里有精品视频| 亚洲色综合性| 182TV大香蕉| 99惹精品视频| 婷婷无五月无码视频| 成人婷婷色五月天| 麻豆AV一区二区三区| 色五月天.con| 99热这里只有精品1| 影音先锋色婷婷| 久久 婷婷 五月天| 97超碰人人操| 99爱视频在线| 天天日综合网射| 97人人干| 噜色精品| 性爱激情综合网| 婷婷瑟五月天久久综合| 日逼影音先锋AV男人资源站| 大胆伊人久久| 九九aV| 综合亚洲六月婷婷在线| Va另类视频| 五月丁香婷婷激情澎湃四射| 播播网色播播| 久久婷五月| 国产亚洲精品久久久久久牛牛| 国产乱人偷精品人妻A片| 亚洲欧美在线观看| se婷97| 伊人网大香| 九九热在线观看6| 色97综合婷婷天天色| 狠狠999| 人人干Av| 天天噜| 久久久www| 五月天丁香久久| 婷婷六月天精品| 婷婷激情五月天桃花网| 99.N在线视频| 9er热在线精品视频| 婷婷色五月激情| 五月丁香啪啪啪啪| 大香伊人婷婷影院| 91久久| 免费色色色| 激情五月成年| 人人爱人人草| 五月色婷婷亚洲 | 婷婷久久五月| 色色色999| 婷婷丁香五月,狠狠综合| 婷婷五月天天激情| 91超级碰| 久久91久久精品久久| 日日日天天干| 婷婷综合激情| 久久婷色| 久热久69| 九九色精品| 日韩操逼小电影| 玖玖婷婷综合| 亚州成人综合在线| 99综合视频一体| 99视频在线观看欧| 婷婷色情网| 久久精品国产AV一区二区三区 | 激情爱爱网站超大免费| 五月婷婷免费| 亚洲另类在线观看| 丁香久久九九99| 欧美成人无码一区二区三区| 亭亭玉月丁香| 五月丁香综合网| 狠狠干夜夜干| 91啪啪视频| 激情五月天久久| 爽极品色| 丁香色婷婷| 天天天天天天噜| 人人爱人人草| 免费播放片大片| 激情综合六月| 婷婷丁香在线| 夜夜资源站| 激情综合亚洲| 六月婷婷久久大全| 99精品视频在线免费观看| 丁香婷婷午夜| 大香蕉视频99| 大地9中文在线观看免费高清 | 狠狠噪| 日韩黄黄| 婷婷金品综合视频| 。久久久久久久久久久久久久人妻| 天天噜天天爱| 久久婷五月综合| 9精品国产在热久久| 99re这里只有精品国产99| 色综合久久88色综合天天看| 天天色五月婷婷91久久久久久久| 婷婷五月天99| 免费观看全黄做爰的视频| 性日本精品| 色欲九区| 久久99免费视频| 97人人操人人干| 久久久久亚洲AV成人无码电影| 天天热夜夜操| 丁香五月天久久| 99热最新地址在线| 91超碰人人操| 91久久| 色无码| 99情色五月天| 五月婷婷狠狠干| 丰满少妇猛烈A片免费看观看| 色99在线| www激情| 中文字幕九九九九| 国产激情av| 亚洲深喉aV| a在线观看| 色五月婷婷内射| 视频这里只有精品16| 色婷婷在线视频久| 九玖欧洲亚洲| 色婷婷丁香五月| 深爱激情中文五月天av| 五月丁香六月激情| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 日日影院 | 全部老头和老太XXXXX| AA丁香综合激情| 五月色影院| 日韩欧美一级大黄网站| 五月丁香久久| 欧美成人网婷婷综合在线| 丁香五月性| 99色精品视频| 九九99九九99偷拍视频免费看| 97碰久久| 色婷婷久久视屏| 99热这里只有精品1| 色色草97| 97婷婷狠狠| Av九九| 超碰免费在线| 成人 视频免费观看网站| 99色区| 六月婷婷av| 中文字幕人妻一区二区| www.久99| 日91高清无玛| 小视频aaa久久久| 激情98色婷婷五| 婷婷五月综合社区| 日本天天色| 激情五月婷婷综合| 丁香婷婷久久五月天| 九九九九中文字幕| 九热久| 婷婷免费精品视频| 丰满人妻一区三区三区| 五月开心色| www.婷婷.com| WWW.桔色成人.COM| 久久性爱激情| 成人五月天丁香| 色五月婷婷天天干| 激情婷婷综合五月少妇| 五月综合久久| 五月婷婷六月丁香| 亚洲AV成人精品网站在线播放| 婷婷五月激情小说| 五月天基地| 国产成人AV在线播放| 色综合色综合网| 五月天六月天| 免费AV播放| 激情综合网之激情五月| 亚州操人在线视频| 久久婷婷网| 欧美精品XXXXBBBB| 99色免费| 日本婷婷综合精品| 五月婷婷六月丁香五月| 五月丁香啪| 色五月噜噜| 99re66热这里只有精品| 国产高清精品色| 婷婷涩五月| 丁香五月婷婷欧美性爱| 综合99久久| www.狠狠狠.com| 婷婷五月av| 国产欧美精品AAAAAA片| 亚城区在线| 午夜婷婷久久| 99国产精品久久久久久久久久久| 99久久精| 五月天激情亚洲| 日韩AAAAA| 欧美VA在线观看| 97资源欧美日韩大香蕉超碰一区| 免费视频在线观看的网站| 色婷婷先锋| 色五月天天| 大香av| 日本乱子人伦在线视频| 爽极品色| 婷婷色网站| 99色色热| 99热热热国产超碰| 日本熟妇乱妇熟色A片蜜桃| 欧美日韩成人在线网| www.狠狠操.com| 亚洲色激情| ZpRSw| 亚洲色婷婷五月天| 激情五月天偷拍综合网| 激情中文在线| 色小说婷婷五月天天天| 久久色婷婷| 丁香婷婷九月| 在线观看视频1区| 日日日日做夜夜夜夜无码| 猫咪伊人久久| 日韩伊人大香蕉| 亚洲激情视频网| 婷婷五月花| 91碰| 99亚洲视频| 中文字幕婷婷在线| 伊人午夜综合色啪| 亚洲字幕AV一区二区三区四区| 久久这里这里有精品免费视频| 激情网五月天| 超级碰人人操人人干| 激情五月无码| 无码日本精品XXXXXXXXX | 99热9| 一起草Av| 六月婷婷av| 婷婷丁香五月婷婷| 色情五月天导航| 欧美人妻一区二区| 成人va在线| 米奇影视五月天| 狠狠爱青青草| 色青青视频| 天天碰夜夜操| 成人国产欧美大片一区| 午夜丁香| 五月婷婷激情网| 色婷婷亚洲精品天天综| 婷婷激情九月| 日韩 中文 欧美| 人人摸人人| 天天爽天天草| 亚洲色欲AAAAAA| 一二三区视频韩国| 激情丁香淫荡婷婷| 丁香六月天婷婷在线| 热的国产99热| 国产精品久久99| 91精品久久久久| 99啪啪视频| 久久精品63| 97五月天婷婷综合激情网| 青青草婷婷久久| 色婷婷a v| 日本97久久久精品| 九九九色综合| 欧美日韩99| 九九爱这里只有精品| 无码激情AAAAA片-区区| 五月激情婷婷色| 久久综合爱| 加勒比日本一区二区三区| 99热在线爱| 激情玖玖综合网| 99五月香婷婷丁香在线视频| 色五月婷婷在线| 99ri视频在线播放| 色吧99| 91久久九久久九久久九久久九久久 | 激情开心五月天婷婷基地丁香社区| 婷婷五月综合社区在线| 五月 激情视频| 婷婷五月天成人网| 色色亚洲| 五月激情综| 狠狠高潮精品亚洲1| 国产99久9在线| 夜夜躁爽日日| 99热官网精品在线| 国产AV网页| 国产无人区大片| 中文字幕视频在线播放| 丁香五月在线人妻| 五月婷婷伊人网| Www.婷婷五月| 色J香五月天| 婷婷久久丁香五月| 婷婷五月天堂一本在线| 丁香五月综合久久| 亚洲操逼网| 欧美va亚洲va在线播放| 激情五婷网| 久久这里只有精品5| 精品福利911| 噜噜色com| 先锋资源91| 激情五月天 婷婷| 国产一区二区av免费| 啪啪操网| 9色视频在线| 亚洲色婷婷婷婷人人爽| 丁香五月无码| 日本久久婷婷| 六月色国内综合| 九九热思思| 91狠狠综合久久久久久| 99超超碰| 超碰人人操| 密黄站| 丁香婷五月| 色综合色| 五月婷婷六月天| 五月天开心婷婷激情网站 | 99热自拍| 在线中文亚洲| 婷婷五月天激情综合网| 丁香六月综合激情| 超碰在线94| 亚洲熟妇AV乱码在线观看| 男人天堂99| 性生活久久朋友人妻| 婷婷色激情网| 欧美色碰| 超碰人人在线| 九月综合| 欧美成人AAA片一区国产精品| 天天插天天射| 99热99re6国产在线播放| 久热这里只有精品6官网亚洲| 久久婷婷电影| 碰99在线| 国产又色又爽又黄又免费| 在线中文字幕av| 色五月婷婷小说亚洲中文字幕组| 狠狠做六月爱婷婷综合aⅴ| 成人在线日韩| 五月天激情社区| 色五月天在线观看| 99久久久精品| 激情涩涩网| 人人爱人人草| 色五月婷婷成人| 99综合久久| 夜丁香五月婷婷| 丁香五月在线观看| 国产成人亚洲综合亚洲| 日本无va视频| 九九99精品视频| 婷婷五月丁香亚洲| 五月花综合网| 免费亚洲婷婷五月| 伊人狼人干| 欧美色狠婷久| 婷婷六月综合基地| 丁香五月亚洲综合丝袜| 精品九九在线观看视频| 另类图片五月天| 久久婷青青草原| 丁香九月综合| AV在线观看网站| 超碰操日| site:minyis.com| 9有码中文| 91五月花丁香| 五月伊人综合| 99视频超级精品| 五月天婷婷乱论小说| 91精品国产综合久久密臀| 九九人妻福利| 亚洲精品网站色视频| 色,激情五月天| 五月天狠狠网站| 色婷婷XXXXX| 99热综合在线| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 丁香六月综合激情| 久久网日本| 另类激情五月天| 国产成人AV| 婷婷激情五月天7| 五月丁香啪啪啪综合网| 亚洲在线播放| 丁香五月综合网亚洲综合欧美狠狠 | 99这里只有精| 久热99久热| 天天情色综合网| 日韩精品一区二区三区,四区,五区视频| 激情婷婷五月久久| 亚洲AV成人片无码网站| 91色吧网| 99热综合网| 久久激情中文| 色丁香综合影院| 五月天亭亭俺也| 永久无码色| www.超碰在线| 日亚二欧美| 六月婷婷啪啪| 色玖玖玖| 亚洲综合草草| 色婷久九| 丁香色色网| 91日本在线| 色婷婷综合久久久久| 日本一级一片免费视频| 综合性爱网| 天天肏天天肏天天肏| 天天弄天天操| 激情中文在线| 黄色AV日韩| 久久99视频| 天天肏夜夜肏| 激情精品久久| 中文字幕人妻熟女在线| 深爱婷婷色| 一本大道伊人AV久久综合| 国产欧美婷婷| 性做久久久久久久免费看| 国产人人操| 五月丁香色色| 色婷婷视频| 99久久精彩视频。| 色99在线| www.夜夜夜| AV在线不卡播放| 99热这里只有精品 搜| 久色大香蕉| 婷婷五月激情图片| 97视频.干com| 丁香婷婷深情五月亚洲| 综合婷婷六月| 99燥99日| 五月婷婷丁香网| 日韩五月婷婷| 欧美影院婷婷| 国产av基地| 99热这里都是精品| 丁香婷婷久久激情| 天天综合区| 九九热在线精品视频| 五月天丁香网站| 日韩aaa| 五月的婷婷六月丁香| 秋霞网在线免费基地五月婷婷丁香| 激情综合激情综合| 91狠狠综合久久久久久| 成人无码髙潮喷水A片| 91精品国产综合久久密臀| 综合 蜜月 婷婷| 婷婷五月激情图片| 婷婷色五月偷拍| 99干日日干| 开心激情五月天网| 色999五月色| 婷婷五月综合在线| 天天日人人爽| 嫩草视频观看| 色婷婷在线视频| 亚洲欧美另类在线23p| 久久久久久久97| 99这里只有| 青青草视频福利| 狠狠爱婷婷丁香| 激情五月天网| 久久五月天激情| 在线色色| 亲子乱AV-区二区三区| 婷婷丁香九月| 日日噜狠狠色综合久久| 六月婷婷色色色| 国产FREESEXVIDEOS性中国| 人人干av| 婷婷丁香五月亚洲欧美| 九九色网| 亚洲色视频| 丁香午夜天| 热的国产99热| 1024亚洲| 婷婷五月天色| 丁香五月天社区| 久久久er热| 超碰99热在线观看| 午夜丁香五月天综合| 久久精品91视频| 热热色色五月天婷婷| 伊人网大香| 思思热久久久在线| 国产成人网址| 日韩成人电影av| 大香蕉久久| 日日爽夜夜爽| 亚洲精品五月| 青草青草久热这里只有精品| 久久五月情| 99热在线观看| 激情综合色网| va亚洲中文在线| 新99色色色色色色| 激情啪啪五月| 玖玖婷婷色欲| 99这里只有| 99热精品中文字幕| 婷婷5月开心6月| 十区AV| 亚洲黄网在线| 色色丁香| 婷婷九月激情| AV五月婷婷露脸| 狠狠88综合久久久久噜噜噜| 激情綜合網址| 婷婷五月欧美综合| 色五月婷婷在线| 四色AVwww| 丁香婷婷免费| 丁香花五月天激情| 日韩精品无码AV| 被强行糟蹋的女人A片| 色婷婷综合视频| 开心深爱激情网| 99热这里只有精品国产免费| 美女精品一级不卡视频| 国产精品岛国片在线观看免费| 国产AV一区二区三区最新精品| 亚洲综合婷婷| 五月丁香影院| 国产成人+亚洲+欧洲| 五月天婷婷在线观看精品男人| 欧美97色| www999日韩精品| 日韩成人电影Av| 国产精品黑丝| 九久久婷婷| 成人片黄网站色大片免费毛片| 亚洲五月花| 亚洲va国产va天堂va综合va| 日本VA视频| anquye五月| 天天射天天射一道本日本社区| 亭亭丁香aV| 婷色五月| 碰碰91| 久久婷网| 99久久久久久久| 久久精99| 狠狠色综合图片| 色情网综合| 日韩av免费版| 久久ri精品视频| 亚洲传媒在线观看| 婷婷色网址| 日韩乱轮AV| 九八Av| 天天爱夜夜爽| www.狠狠操.con| 婷五月天在线草| 久久久九九九 99| 精品九九网| 91色碰| 久久人五月| 亚洲精品成人片在线播| 九九99九九精品视频| 丁香五月停停av| 久久色吧| 欧美三级视频下载| 97久久五月丁香婷婷| 9久操| 39视频第二区| 亚洲AV永久无码影院黑人| 99丝袜精品视频网站| 天天透天天干| www,99色| 91在线日本| 人妻激情综合| 操人无码| 狠狠色激情在线| 婷婷瑟五月天久久综合| 色久五月| 久久思思热视频| 五月好婷婷| 日本高清综合网五月丁香| 色婷婷88| 激情六月综合| 久99热| 狠狠精品干练久久久无码中文字幕| 乱精品一区字幕二区| 高清av在线国产| 五月婷婷之综合激情在线| 六月色激情| 97在线精品视频| 99视频地址| 色99欧洲色19| 丁香五月婷婷五月| 伊人五月天在线| 丁香五月在线观看| 欧美情色电影一区二区| cao视频,现在观看| 成人在线日韩欧美| 九九激情综合| 99视频在线观看欧| 丁香五月激情在线| 级情九色| 狠狠色噜噜狠狠狠狠综合| 人人色人人弄人人操| 另类图片五月天激情| 色情婷婷。| 婷色人人狠| 亚洲第一色区| 九九大香视频| 婷婷五月天基地| 日B日潘金莲BB| 久久九九@| 亚洲VA欧美VA| 66精品成人免费网站在线观看| 婷婷激情六月| 五月天天久久香| 婷婷激情综合| 中文字幕人妻一区二区| 99玖玖在线视频| 色欲Av五月天| 深爱激情网综合| 天天色丁香| 国产精品扒开腿做爽爽爽A片唱戏| 五月丁香婷久久| 生活片五区| 丁香婷婷偷拍| 五月婷婷在线免费| 久久久婷婷| 综合网色综合| 99 热| 婷婷五月美女直播| 99久热| 久久综合26p| 97人人看| 六月色色婷婷| 五月丁香性爱| 激情AV网| 成人亚洲精品| 五月婷婷中文网| 五月天婷婷在线AN| 五月天激情久久| 在线五月婷| 99热这里只有99| 另类五月激情| 婷婷五月天激情小说| 国产婷婷五月| 91精品熟女| 超碰9| 性爱网五月婷婷| 国产精品电影| 99热6色| 激情丁香五月| 六月婷婷视频| 色综色五月天婷婷| 亚洲天天| 激情五月丁香六月综合AVXXXX| 色婷婷在线视频久| 991精品在线视频| 国产乱轮一区二区三区| 五月天狠狠网站| 色综合色色色| 思思久久99热只有频精品66| 久操人妻| 色色AV色色色东莞| 97爱艹婷婷开心丁香激情综合| 91久久久久久久| www,色色色网站| 亚洲亚洲人成综合网络| 久久婷婷丁香视频网| 婷婷五月免费观看| 天天干 夜夜爽| 51XX嘿嘿午夜无码| 亚州日本欧州韩美高青高潮一| 久久99热这里只有精品| 六月激情丁香一道本7777| 人人做人人看人人摸| 激情五月天综合网| 久热99热| 无码人妻一区| 刘玥精品一区| 色色亚洲无码| 精品久久99| 99riAV国产精品视频| 色婷婷激情五月天| 五月婷婷 婷婷五月 一区二区 久久久 | OYIWbGcPu8H| 思思网站| 91狠狠色| 伊人九九热| 日日天天干| 色九九九综合| 国产一区男女| 国产精品第一国产精品| 五月色情婷婷| 人人操插| av操B网站| 26UUU精品一区二区Com| 激情综合网五月婷婷| 五月天综合久久| 色综合久久88色综合天天99| 婷婷 丁香 久久| www.狠狠艹| 苗黎美女四级成人版一级二级毛片| 亚洲va日| 99这里有精品视频| 激情性爱五月天| 熟女网站久久| 五月婷久久草| 丁香五婷婷| 精品动漫 无码av| 激情五月综合网最新| 91九色 熟| 久久五月激情| 991自拍视频| 人草人人| 91久久18| 婷婷五月激情六月| 九九色中文| 色爱终和网| 9久热精品在线视频| 久久996re热这里只有精品无码| 九九aV| 亚洲激情图文小说| 亚洲V国产V欧美V久久久久久| 天天色天天搡| 五月婷婷深深爱| 亚洲色域网| 无码成人AAAAA毛片AI换脸| 婷婷综合激情五月综合| 久久激情中文| 啪啪激情网站| 九九九激情网| 99热只有精| 九九中文字幕九| 五月激情六月丁香| 色玖玖导航| 99精品视频网| 美女亚洲五月丁香| 国产午夜伦鲁鲁| 丁香婷停五月激情综合深爱| 91人人人人人| 丁香五月另类小说| 人人操大| 亚洲成人AV在线观看| 婷婷丁香先锋资源网站| 97性视频| 久久网站免费亚洲| 五月天激情国产综合婷婷婷| 色婷婷六月精品| 天天射色五月天| 激情综合五月天| 狠狠干狠狠色| 五月婷婷啪啪| 亚洲人人96@| 婷婷丁香成人色综合| 天干夜夜操| 久久婷婷啪啪视频| 婷婷欧美| 综合激情深爱| 五月激情射| 色婷婷影视| 国产精品国产VA片国产| 99视频在线观看视频| 婷婷五月天奸女| 麻豆科斗777| seuuu婷婷| 天天做天天爽| 日本va欧美va欧美va精品| 免费看欧美成人A片无码| 天天操夜夜爽歪歪| 91九色视频| 欧美肉大捧一进一出免费视频| 五月天婷婷丁香六月| 婷婷黄色五月| 欧洲毛片基地c区| 亚洲日韩26uuu| 久久婷婷五月综合一| 久久只有18视频| 五月丁香操婷逼| 色婷婷五月天| 婷婷五月天播播| 久久精典| 九九综合九| 婷婷成人视频| wWwCom夜操wwW| 玖玖@三月天天丁香婷婷| 99久久婷婷五月综合| 综合在线丁香五月| 综合网色综合| 中文AV网| 五月婷婷丁香俺日污视频| 日韩在线一级| 九九热在线视频| 夜夜骑夜夜撸| 色五月天影视| 狠狠爱五月婷婷综合六月| 91精品久久久久久| 九九热区一区二区三区| 伊人玖玖精品| 久久精品99国产精品日本| 免费在线观看欧美激情xx小视频| 天天干夜夜操A片| 99热人人操人人操| 九热视频| 99九九视频| VA国产在线综合网站| 亚洲色基地| 午夜精品久久久久久久爽| 美欧成人视频| 天天日天天做天天操| www.婷婷亚洲基地| 国产麻豆视频| 久久大香蕉| 欧洲亚洲欧洲99久久| 五月天伊人综合| 欧洲综合一区| 狠狠色成人影片| 开心深爱激情网| 无码激情精品色婷婷久久久久 | 丁香五月色网| 99视频精品8| 午夜色婷婷| 日本视频欧美观看免费| 天天操天天插| 91色噜噜狠狠狠狠色综合| 五月丁香六月婷综合成人综合| 99色色热| 九月停停| A片试看120分钟做受视频红杏| 天天肏视频| 欧美黄色AA片哗啦啦啦| 久热这里只有精品在线观看| 大香蕉伊人99| 欧美一级毛卡片无码| 夫妇交换刺激做爰| 婷婷五月天激情网|