欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Sentinel實(shí)戰(zhàn):配置流程、底層原理與高并發(fā)防護(hù)策略

Sentinel實(shí)戰(zhàn):配置流程、底層原理與高并發(fā)防護(hù)策略 做服務(wù)治理的人都知道一句話流量防護(hù)不是上線之后就一勞永逸的事。我最早接觸 Sentinel 是在一次壓測(cè)現(xiàn)場(chǎng)——某個(gè)核心接口在流量翻倍時(shí)直接讓數(shù)據(jù)庫(kù)連接池打滿后續(xù)所有依賴它的服務(wù)開始連環(huán)超時(shí)當(dāng)時(shí)團(tuán)隊(duì)的應(yīng)對(duì)方式還停留在“加機(jī)器”這一個(gè)維度上。后來(lái)才開始認(rèn)真搞限流降級(jí)也才慢慢把這些問(wèn)題帶到 Sentinel 的配置和底層原理上來(lái)。聊到“Sentinel 的配置流程及底層原理”大多數(shù)人第一反應(yīng)是去控制臺(tái)加幾條流控規(guī)則。但真正踩過(guò)坑之后才會(huì)意識(shí)到配置流程背后是對(duì)資源模型的理解底層原理背后是統(tǒng)計(jì)窗口和狀態(tài)狀態(tài)機(jī)。這篇文章不打算把官方文檔復(fù)述一遍而是從一個(gè)實(shí)踐者的角度把接入步驟、規(guī)則設(shè)置、控制臺(tái)用法和核心機(jī)制串成一條線講清楚“每一步為什么要這么做”也讓準(zhǔn)備接手這塊的讀者少走彎路。你可能已經(jīng)用它做過(guò)一些基礎(chǔ)限流也可能只是聽過(guò)名字這里盡量讓兩種讀者都能拿到自己需要的東西。1. 先想明白 Sentinel 解決什么問(wèn)題很多團(tuán)隊(duì)是在系統(tǒng)已經(jīng)被突發(fā)流量打掛之后才想起上 Sentinel但上完之后又不確定它到底應(yīng)該管到哪一層。先把這個(gè)底層問(wèn)題聊透后面配置才會(huì)自然。Sentinel 的核心價(jià)值說(shuō)起來(lái)很樸素保護(hù)系統(tǒng)不被瞬時(shí)流量沖垮同時(shí)避免某個(gè)下游故障把整條鏈路拖死。它做的事情可以拆成三件一是流量控制給每個(gè)接口設(shè)置一個(gè)可接受的最大訪問(wèn)量超過(guò)的部分直接拒絕二是熔斷降級(jí)當(dāng)下游接口的失敗率或者響應(yīng)時(shí)間超過(guò)閾值時(shí)暫時(shí)切掉這條調(diào)用讓下游有時(shí)間恢復(fù)三是系統(tǒng)負(fù)載保護(hù)當(dāng)整體機(jī)器的 CPU、負(fù)載已經(jīng)過(guò)高時(shí)就不再讓新的請(qǐng)求進(jìn)入系統(tǒng)。這三件事看起來(lái)獨(dú)立最終目的其實(shí)一致把“不可控的外部流量”和“已經(jīng)出現(xiàn)的內(nèi)部故障”隔離在系統(tǒng)承受范圍之內(nèi)。所以你在配置時(shí)不應(yīng)該只是為了填一個(gè)數(shù)字而是要回答一個(gè)問(wèn)題這個(gè)接口在當(dāng)前的機(jī)器規(guī)格、數(shù)據(jù)庫(kù)連接數(shù)、第三方依賴能力下到底能承受多少 QPS如果答不上來(lái)那后面所有規(guī)則都是拍腦袋。1.1 核心能力限流、熔斷、系統(tǒng)保護(hù)拿一張對(duì)照表來(lái)概括這也是我在做技術(shù)選型評(píng)審時(shí)習(xí)慣用的方式能力解決什么問(wèn)題典型配置入口流量控制閾值內(nèi)的請(qǐng)求放行超出部分快速失敗、排隊(duì)或預(yù)熱流控規(guī)則熔斷降級(jí)下游異常比例或響應(yīng)時(shí)間超限時(shí)主動(dòng)斷開調(diào)用熔斷規(guī)則系統(tǒng)自適應(yīng)保護(hù)根據(jù)機(jī)器整體負(fù)載限制入口流量防止系統(tǒng)整體過(guò)載系統(tǒng)規(guī)則熱點(diǎn)參數(shù)限流針對(duì)某個(gè)熱點(diǎn)參數(shù)值如商品ID、用戶ID單獨(dú)設(shè)定閾值熱點(diǎn)規(guī)則這四類規(guī)則在配置時(shí)互不沖突也可以疊加使用。比如一個(gè)訂單查詢接口既需要設(shè)置總量限流又需要對(duì)某些秒殺商品的參數(shù)做熱點(diǎn)限流還需要在數(shù)據(jù)庫(kù)慢查詢導(dǎo)致 RT 上升時(shí)觸發(fā)熔斷。規(guī)則之間是不同維度的保護(hù)沒(méi)有誰(shuí)替代誰(shuí)的問(wèn)題。1.2 引入前先做一次技術(shù)判斷有一點(diǎn)我想先潑冷水并不是所有系統(tǒng)都需要 Sentinel。如果你的服務(wù)沒(méi)有明顯的波峰波谷、也沒(méi)有脆弱的第三方依賴純單機(jī)部署且并發(fā)量極低那用更輕量的信號(hào)量限流或者一個(gè)簡(jiǎn)單的攔截器就夠了。引入 Sentinel 本身會(huì)帶來(lái)一些運(yùn)行成本和學(xué)習(xí)成本比如控制臺(tái)部署、規(guī)則持久化、客戶端上報(bào)這些對(duì)小團(tuán)隊(duì)來(lái)說(shuō)并不是零負(fù)擔(dān)。我的建議是先判斷是否存在以下場(chǎng)景第一有突發(fā)的營(yíng)銷流量或者被爬蟲刷接口的可能第二系統(tǒng)中存在一個(gè)明顯脆弱的依賴比如某臺(tái)數(shù)據(jù)庫(kù)、某個(gè)外部 API一旦它故障會(huì)拖垮整條鏈路第三你們正在做微服務(wù)拆分服務(wù)的調(diào)用關(guān)系網(wǎng)越來(lái)越密。滿足其中任意一條才有必要認(rèn)真考慮 Sentinel并且值得把規(guī)則設(shè)計(jì)和持續(xù)調(diào)優(yōu)當(dāng)成一項(xiàng)長(zhǎng)期工作。2. 接入 Sentinel 的完整配置流程前面是認(rèn)知層面的事這一節(jié)開始進(jìn)入實(shí)際操作。接入流程說(shuō)簡(jiǎn)單也簡(jiǎn)單總共就四步引入依賴、埋點(diǎn)資源、啟動(dòng)控制臺(tái)、下發(fā)規(guī)則。但每一步里都藏著容易繞彎的細(xì)節(jié)。2.1 依賴引入與資源埋點(diǎn)首先在項(xiàng)目的依賴管理文件里加入 Sentinel 相關(guān)組件。如果你用的是 Java 技術(shù)棧最簡(jiǎn)單的做法是先引入核心包再加上控制臺(tái)通信的擴(kuò)展包。具體坐標(biāo)不用死記到 Maven 倉(cāng)庫(kù)搜sentinel-core和你使用的那一套微服務(wù)集成器拿對(duì)應(yīng)版本即可。我一般會(huì)把版本統(tǒng)一管理在一個(gè)依賴清單文件里避免多個(gè)服務(wù)各自為戰(zhàn)。引入依賴之后還有一個(gè)更重要的動(dòng)作埋點(diǎn)。Sentinel 所有規(guī)則都是圍繞“資源”來(lái)定義的資源名就是一個(gè)接口、一段代碼或者一個(gè)方法的唯一標(biāo)識(shí)。埋點(diǎn)最原始的方式是手動(dòng)保護(hù)業(yè)務(wù)代碼Entry entry null; try { // 進(jìn)入資源資源名建議使用接口路徑例如 /api/order/create entry SphU.entry(/api/order/create, EntryType.IN); // 這里是你的業(yè)務(wù)邏輯 } catch (BlockException e) { // 被限流或熔斷時(shí)執(zhí)行兜底邏輯比如返回提示 } finally { if (entry ! null) { entry.exit(); } }手動(dòng)埋點(diǎn)的好處是控制精確壞處是侵入性強(qiáng)每個(gè)需要保護(hù)的接口都要寫一遍。所以更常見的做法是用注解SentinelResource(value createOrder, blockHandler createOrderBlockHandler) public String createOrder(Long orderId) { // 業(yè)務(wù)邏輯 } public String createOrderBlockHandler(Long orderId, BlockException e) { return 系統(tǒng)繁忙請(qǐng)稍后重試; }這里我非常想強(qiáng)調(diào)一個(gè)配置時(shí)最容易忽略的細(xì)節(jié)注解里的value和控制臺(tái)上看到的資源名必須完全一致包括大小寫和路徑風(fēng)格。很多規(guī)則“不生效”根本不是系統(tǒng)問(wèn)題而是代碼里和規(guī)則上寫的是兩個(gè)不同的字符串。團(tuán)隊(duì)內(nèi)部最好約定統(tǒng)一規(guī)則接口路徑風(fēng)格的資源名入口寫在 Controller 層內(nèi)部細(xì)粒度方法再單獨(dú)埋點(diǎn)。另外埋點(diǎn)后entry.exit()必須放在finally里保證執(zhí)行。如果漏了統(tǒng)計(jì)的“當(dāng)前正在執(zhí)行數(shù)量”會(huì)一直累加后續(xù)的請(qǐng)求就會(huì)被誤判成超線程并發(fā)規(guī)則表現(xiàn)就跟預(yù)期完全對(duì)不上了。2.2 啟動(dòng)控制臺(tái)與規(guī)則下發(fā)依賴和埋點(diǎn)完成后第二步是部署控制臺(tái)。控制臺(tái)是一個(gè)獨(dú)立運(yùn)行的應(yīng)用負(fù)責(zé)展示每個(gè)客戶端的實(shí)時(shí)指標(biāo)也負(fù)責(zé)把人寫的規(guī)則推送到客戶端內(nèi)存。客戶端接入控制臺(tái)時(shí)一般通過(guò) JVM 參數(shù)指定控制臺(tái)地址和項(xiàng)目名java -Dproject.nameorder-service \ -Dcsp.sentinel.dashboard.server127.0.0.1:8080 \ -jar order-service.jar把csp.sentinel.dashboard.server指向控制臺(tái)的地址和端口。啟動(dòng)完成后打開控制臺(tái)網(wǎng)頁(yè)過(guò)十幾秒就能在“機(jī)器列表”里看到你的服務(wù)實(shí)例。之后再進(jìn)入“簇點(diǎn)鏈路”頁(yè)面就能看到所有被埋過(guò)點(diǎn)的資源。選擇某個(gè)資源點(diǎn)“流控”按鈕填入閾值并保存規(guī)則就被實(shí)時(shí)推送到 JVM 內(nèi)存。這里必須明確通過(guò)控制臺(tái)配置的規(guī)則默認(rèn)只保存在內(nèi)存里應(yīng)用一重啟規(guī)則就沒(méi)了。很多第一次用的人都會(huì)在這個(gè)地方翻車頭天下午辛辛苦苦配了一堆規(guī)則晚上發(fā)布一個(gè)新版本第二天發(fā)現(xiàn)所有限流全部失效。因此規(guī)則持久化不是可選項(xiàng)而是生產(chǎn)環(huán)境接入的必選動(dòng)作。2.3 規(guī)則如何做到不丟持久化規(guī)則持久化的思路是把規(guī)則從“控制臺(tái)直接推內(nèi)存”改成“客戶端從一個(gè)可靠數(shù)據(jù)源里拉”。這個(gè)數(shù)據(jù)源可以是本地文件、數(shù)據(jù)庫(kù)或者你們已有的配置中心。Sentinel 提供了一套數(shù)據(jù)源擴(kuò)展機(jī)制核心就是ReadableDataSource和WritableDataSource。以本地文件為例規(guī)則會(huì)先寫到磁盤文件里應(yīng)用啟動(dòng)時(shí)就從這個(gè)文件加載ReadableDataSourceString, ListFlowRule flowDataSource new FileRefreshableDataSource(flow-rules.json, source - JSON.parseArray(source, FlowRule.class) ); FlowRuleManager.register2Property(flowDataSource.getProperty());這樣應(yīng)用重啟后會(huì)自動(dòng)從文件里恢復(fù)規(guī)則。但本地文件只解決“規(guī)則不丟”的問(wèn)題還沒(méi)解決“多臺(tái)機(jī)器同時(shí)改”的問(wèn)題所以生產(chǎn)環(huán)境我更推薦走配置中心把所有規(guī)則放在同一個(gè)配置里改動(dòng)后自動(dòng)推送到每一臺(tái)機(jī)器。只要把規(guī)則文件的內(nèi)容變成配置中心里的一個(gè)配置項(xiàng)然后使用對(duì)應(yīng)的數(shù)據(jù)源擴(kuò)展客戶端就能保持和配置中心同步。做持久化時(shí)要注意一個(gè)坑規(guī)則推送方式有“拉模式”和“推模式”的區(qū)別。拉模式下客戶端定時(shí)從數(shù)據(jù)源拉取最新規(guī)則簡(jiǎn)單但對(duì)數(shù)據(jù)源壓力大更新延遲高推模式下配置中心主動(dòng)推送實(shí)時(shí)性好也更容易在推送前做校驗(yàn)。多數(shù)線上環(huán)境都應(yīng)該選擇推模式。3. 底層原理從一次調(diào)用看 Sentinel 內(nèi)部發(fā)生了什么配置層面的東西練幾遍就熟了但底層原理才是區(qū)分“會(huì)用”和“用得明白”的分水嶺。我下面用一次普通的接口調(diào)用來(lái)拆解 Sentinel 的內(nèi)部動(dòng)作。3.1 責(zé)任鏈設(shè)計(jì)ProcessorSlot 鏈當(dāng)你調(diào)用SphU.entry()時(shí)Sentinel 并不是簡(jiǎn)單做一個(gè)計(jì)數(shù)器判斷而是把這次請(qǐng)求交給一條處理鏈去執(zhí)行。這條鏈由一組 slot 組成每個(gè) slot 負(fù)責(zé)一件獨(dú)立的事Slot 名稱職責(zé)NodeSelectorSlot負(fù)責(zé)構(gòu)建調(diào)用鏈路徑上的上下文節(jié)點(diǎn)用來(lái)區(qū)分不同來(lái)源的調(diào)用ClusterBuilderSlot構(gòu)建資源的集群維度統(tǒng)計(jì)節(jié)點(diǎn)維護(hù)該資源的全局實(shí)時(shí)統(tǒng)計(jì)StatisticSlot完成所有指標(biāo)統(tǒng)計(jì)比如請(qǐng)求總數(shù)、成功數(shù)、失敗數(shù)、RT并觸發(fā)后續(xù)規(guī)則判斷AuthoritySlot黑白名單判斷校驗(yàn)調(diào)用來(lái)源是否被允許SystemSlot系統(tǒng)負(fù)載保護(hù)超過(guò)系統(tǒng)閾值直接攔截FlowSlot流量控制規(guī)則校驗(yàn)DegradeSlot熔斷降級(jí)規(guī)則校驗(yàn)這套設(shè)計(jì)借鑒了 Web 應(yīng)用里常見過(guò)濾器鏈的思路。每次調(diào)用依次經(jīng)過(guò)這些 slot每個(gè) slot 只關(guān)心自己負(fù)責(zé)的邏輯。以流控規(guī)則為例StatisticSlot 先把本次請(qǐng)求記錄到統(tǒng)計(jì)結(jié)構(gòu)里然后 FlowSlot 讀流控規(guī)則看當(dāng)前統(tǒng)計(jì)值是否已經(jīng)超過(guò)閾值。一旦超過(guò)就直接拋出限流異常后面的業(yè)務(wù)代碼就不會(huì)執(zhí)行了。理解這條鏈還有個(gè)好處就是知道 Sentinel 的擴(kuò)展點(diǎn)在哪。官方允許你插入自定義 slot通過(guò)實(shí)現(xiàn)ProcessorSlot接口再替換SlotChainBuilder來(lái)追加自己的處理邏輯。這樣你可以在不改變?cè)幸?guī)則的前提下加入自定義的攔截邏輯比如做灰度放行、自定義優(yōu)先級(jí)排隊(duì)。鏈本身是每個(gè)資源單獨(dú)構(gòu)建的內(nèi)部會(huì)緩存復(fù)用不會(huì)每次請(qǐng)求都重新創(chuàng)建。這也是 Sentinel 能夠保持低開銷的關(guān)鍵之一。3.2 滑動(dòng)窗口如何統(tǒng)計(jì) QPS搞清楚 QPS 是怎么算出來(lái)的是理解限流閾值的關(guān)鍵。很多人在寫限流時(shí)下意識(shí)用“固定一秒”的計(jì)數(shù)但固定時(shí)間窗口有一個(gè)問(wèn)題如果 0.9 秒時(shí)來(lái)了 100 個(gè)請(qǐng)求下一秒剛開始又來(lái)了 100 個(gè)請(qǐng)求這兩個(gè)窗口單獨(dú)看都沒(méi)超閾值但零點(diǎn)幾秒內(nèi)的瞬時(shí)請(qǐng)求其實(shí)是 200 個(gè)能把服務(wù)瞬間打沒(méi)。Sentinel 用的是滑動(dòng)窗口。它把時(shí)間切成一格一格的“槽”每個(gè)槽記錄這個(gè)小時(shí)間段內(nèi)的計(jì)數(shù)統(tǒng)計(jì)當(dāng)前時(shí)間點(diǎn)往前推一個(gè)完整窗口的總和。舉個(gè)例子默認(rèn)配置下 1 秒被分成 2 個(gè)槽每個(gè)槽記錄 500ms 的數(shù)據(jù)。當(dāng)前時(shí)間落在哪個(gè)槽就更新哪個(gè)槽窗口滑動(dòng)時(shí)早于當(dāng)前時(shí)間窗口的數(shù)據(jù)會(huì)被自動(dòng)丟掉。這樣統(tǒng)計(jì)出來(lái)的 QPS 更貼近真實(shí)瞬時(shí)流量不會(huì)出現(xiàn)固定窗口那種跨邊界突刺。在實(shí)現(xiàn)層面這一套數(shù)據(jù)結(jié)構(gòu)叫LeapArray底層是一個(gè)環(huán)形數(shù)組。數(shù)組里的每個(gè)槽維護(hù)一個(gè)MetricBucket里面存放著各種計(jì)數(shù)指標(biāo)。因?yàn)榻y(tǒng)計(jì)操作非常高頻Sentinel 在底層用了一些無(wú)鎖化和原子類的技巧來(lái)減少并發(fā)沖突這也是它能在高并發(fā)下保持穩(wěn)定性能的原因。你需要記得的關(guān)鍵點(diǎn)Sentinel 統(tǒng)計(jì)窗口本身也可以通過(guò)配置調(diào)整。默認(rèn)是 1 秒窗口對(duì)常規(guī)場(chǎng)景足夠了如果你的服務(wù)要求更精細(xì)的統(tǒng)計(jì)可以把窗口切小但代價(jià)是統(tǒng)計(jì)數(shù)據(jù)結(jié)構(gòu)占用更多內(nèi)存。我在調(diào)優(yōu)時(shí)一般不會(huì)輕易動(dòng)這個(gè)參數(shù)除非壓測(cè)發(fā)現(xiàn)有明顯的窗口邊緣誤判。3.3 熔斷降級(jí)的狀態(tài)機(jī)實(shí)現(xiàn)流量控制看統(tǒng)計(jì)窗口熔斷降級(jí)看的是狀態(tài)機(jī)。Sentinel 的熔斷邏輯圍繞三種狀態(tài)轉(zhuǎn)換CLOSED熔斷關(guān)閉請(qǐng)求正常放行。OPEN熔斷開啟所有請(qǐng)求都會(huì)被快速拒絕。HALF_OPEN半開狀態(tài)允許少量探測(cè)請(qǐng)求通過(guò)用探測(cè)結(jié)果決定是恢復(fù)關(guān)閉還是繼續(xù)保持熔斷。狀態(tài)流轉(zhuǎn)是這樣的初始是 CLOSED當(dāng)熔斷策略的指標(biāo)超過(guò)閾值時(shí)狀態(tài)進(jìn)入 OPENOPEN 狀態(tài)會(huì)持續(xù)一個(gè)時(shí)間窗口這個(gè)窗口時(shí)間由timeWindow參數(shù)控制窗口到了之后不直接回到 CLOSED而是先進(jìn)入 HALF_OPEN放幾個(gè)請(qǐng)求去試探下游是否已經(jīng)恢復(fù)如果試探成功狀態(tài)轉(zhuǎn)回 CLOSED重新正常放流如果試探還是失敗則立刻打回 OPEN繼續(xù)熔斷等待下一次嘗試。這套狀態(tài)機(jī)的價(jià)值在于“試探”。熔斷不是一刀切永久拒絕而是給下游恢復(fù)留出通道。生產(chǎn)環(huán)境里一個(gè)常見錯(cuò)誤是把timeWindow設(shè)置得太短比如 5 秒下游數(shù)據(jù)庫(kù)還在重啟半開試探立刻失敗又被打回 OPEN往復(fù)幾次后效果不好設(shè)置太長(zhǎng)又會(huì)造成長(zhǎng)時(shí)間的無(wú)效拒絕。我的經(jīng)驗(yàn)是結(jié)合依賴方實(shí)際的恢復(fù)速度來(lái)設(shè)置通常 30 秒起步寧可長(zhǎng)一些也不要頻繁在半開狀態(tài)間震蕩。4. 規(guī)則配置細(xì)節(jié)與參數(shù)調(diào)優(yōu)控制臺(tái)上填幾個(gè)數(shù)字很容易但每個(gè)數(shù)字背后的含義和組合效果才是重點(diǎn)。這一節(jié)會(huì)把主流規(guī)則類型的關(guān)鍵參數(shù)拆開。4.1 流量控制規(guī)則的關(guān)鍵參數(shù)流量控制規(guī)則最基礎(chǔ)的配置里有這么幾個(gè)參數(shù)參數(shù)含義取值說(shuō)明resource資源名和埋點(diǎn)名稱完全一致grade閾值類型0 表示 QPS1 表示并發(fā)線程數(shù)count閾值達(dá)到這個(gè)值就觸發(fā)限流strategy流控策略0 表示直接基于資源自身1 表示關(guān)聯(lián)資源2 表示鏈路controlBehavior流控效果0 快速失敗1 預(yù)熱2 勻速排隊(duì)大多數(shù)場(chǎng)景直接用 QPS 閾值就夠了也就是把grade設(shè)為 0。但有一種情況我建議用并發(fā)線程數(shù)就是你的接口內(nèi)部阻塞較多、連接池有限、單個(gè)請(qǐng)求耗時(shí)很長(zhǎng)。這時(shí)候 QPS 限流會(huì)掩蓋“同時(shí)占用線程過(guò)多”的真實(shí)風(fēng)險(xiǎn)改用并發(fā)線程數(shù)限制反而更穩(wěn)。再單獨(dú)說(shuō)controlBehavior??焖偈∽畋┝Φ珪?huì)把超出的請(qǐng)求一瞬間全部拒絕對(duì)用戶不友好預(yù)熱模式適合系統(tǒng)剛啟動(dòng)、或者規(guī)則閾值長(zhǎng)期較低的場(chǎng)景——它允許流量在設(shè)定的預(yù)熱時(shí)間內(nèi)緩慢爬升到目標(biāo)閾值而不是一上線就滿負(fù)荷放行勻速排隊(duì)則適合有任務(wù)堆積場(chǎng)景的削峰填谷請(qǐng)求排成隊(duì)列勻速通過(guò)而不是集中爆發(fā)。我自己在秒殺系統(tǒng)里用得最多的是預(yù)熱勻速排隊(duì)組合既能保住后端又不會(huì)把用戶體驗(yàn)全砍掉。4.2 熔斷規(guī)則的閾值設(shè)置技巧熔斷規(guī)則在配置時(shí)有三種策略慢調(diào)用比例、異常比例、異常數(shù)。官方不同版本的參數(shù)名有差異我以當(dāng)前主流版本的習(xí)慣寫法來(lái)說(shuō)明DegradeRule rule new DegradeRule(); rule.setResource(/api/pay/callback); // 慢調(diào)用比例策略RT 超過(guò) 500ms 算慢調(diào)用 rule.setGrade(CircuitBreakingStrategy.SLOW_REQUEST_RATIO); rule.setCount(500); rule.setTimeWindow(30); rule.setStatIntervalMs(10000); // 10 秒內(nèi)至少 5 個(gè)請(qǐng)求時(shí)才開始判斷 rule.setMinRequestAmount(5); // 慢調(diào)用占比超過(guò) 80% 就熔斷 rule.setSlowRatioThreshold(0.8);這里有一個(gè)新手常犯的錯(cuò)誤直接把count當(dāng)成平均響應(yīng)時(shí)間閾值來(lái)填。SLOW_REQUEST_RATIO 策略下count表示“響應(yīng)時(shí)間超過(guò)多少毫秒算慢調(diào)用”而不是“平均 RT 超過(guò)多少就熔斷”。兩者的差別很大。慢調(diào)用比例更科學(xué)因?yàn)槠骄?RT 容易被極端值拉高只要少數(shù)請(qǐng)求特別慢就會(huì)觸發(fā)誤判。異常比例和異常數(shù)則適合那些錯(cuò)誤率明顯代表下游故障的場(chǎng)景。但要注意這里統(tǒng)計(jì)的是業(yè)務(wù)代碼拋出的異常如果你在業(yè)務(wù)邏輯里大量使用 try-catch 把異常吞掉或者對(duì)外層錯(cuò)誤做了包裝統(tǒng)計(jì)到的異常數(shù)就是包裝后的數(shù)量規(guī)則效果可能會(huì)失真。熔斷規(guī)則配置時(shí)還要注意minRequestAmount。它的作用是避免“樣本太少誤判”。比如一個(gè)接口剛上線只在 3 個(gè)請(qǐng)求里失敗了 2 次異常比例就到 66%如果沒(méi)設(shè)置最小請(qǐng)求數(shù)可能瞬間就被熔斷。我一般要求團(tuán)隊(duì)在多數(shù)場(chǎng)景下把這個(gè)值設(shè)為至少 5 到 10。4.3 系統(tǒng)保護(hù)與熱點(diǎn)參數(shù)規(guī)則系統(tǒng)規(guī)則和前面幾種規(guī)則不同它不針對(duì)某個(gè)具體資源而是對(duì)整個(gè)系統(tǒng)的入口流量做保護(hù)。你可以設(shè)定一個(gè)負(fù)載閾值當(dāng)系統(tǒng)負(fù)載超過(guò)這個(gè)值就開始限制入口請(qǐng)求。這種規(guī)則適合應(yīng)對(duì)“服務(wù)整體過(guò)載”的場(chǎng)景因?yàn)樗吹牟皇悄硞€(gè)接口的指標(biāo)而是整個(gè)機(jī)器的健康度。配置時(shí)一般從 JVM 參數(shù)或者控制臺(tái)讀取系統(tǒng)指標(biāo)再和預(yù)設(shè)閾值比較。熱點(diǎn)參數(shù)限流則非常適合常見的“單點(diǎn)熱點(diǎn)”場(chǎng)景。比如一個(gè)商品詳情接口總 QPS 可能沒(méi)超過(guò)整體閾值但某個(gè)爆款商品的 QPS 單獨(dú)很高。這時(shí)普通流量規(guī)則攔不住因?yàn)榭偭繘](méi)超。熱點(diǎn)規(guī)則可以針對(duì)參數(shù)值單獨(dú)限流參數(shù) id 等于 9527 時(shí)每秒只允許 100 個(gè)請(qǐng)求其他參數(shù)值按默認(rèn)總閾值走。配置時(shí)通常要指定參數(shù)索引和第幾位的參數(shù)這里最容易踩的坑是參數(shù)索引寫錯(cuò)比如方法首參是userId次參是goodsId你要對(duì)商品限流就必須把索引配成 1而不是 0。5. 常見問(wèn)題與排障經(jīng)驗(yàn)實(shí)錄配置和原理都聊完了最后一節(jié)是我在落地過(guò)程中真正遇到過(guò)的疑難雜癥。這些坑在官方文檔里不會(huì)寫太細(xì)但遇到了非常耗時(shí)。5.1 規(guī)則不生效的排查路線規(guī)則配置后界面上也顯示成功了流量打上去就是不被限流。遇到這種情況我一般按下面的順序排查。先看資源名是否完全一致。前面提到過(guò)手動(dòng)埋點(diǎn)SphU.entry(/api/order/create)和注解SentinelResource(value createOrder)寫出的資源名只要有一點(diǎn)不一致規(guī)則就關(guān)聯(lián)不上。這一步是最常見的根因。再看當(dāng)前應(yīng)用是否成功接入了控制臺(tái)。進(jìn)控制臺(tái)“簇點(diǎn)鏈路”頁(yè)找到對(duì)應(yīng)資源確認(rèn)已經(jīng)能看到實(shí)時(shí)的請(qǐng)求數(shù)和指標(biāo)。如果資源根本不出現(xiàn)在鏈路里說(shuō)明埋點(diǎn)本身有問(wèn)題規(guī)則自然無(wú)效。還要看統(tǒng)計(jì)采樣。默認(rèn)規(guī)則只在統(tǒng)計(jì)滑窗內(nèi)有數(shù)據(jù)時(shí)才參與判斷。如果你設(shè)置了minRequestAmount或類似的閾值而當(dāng)前請(qǐng)求樣本太少即使流量看起來(lái)超了也不會(huì)觸發(fā)。很多人在壓測(cè)時(shí)發(fā)現(xiàn)前幾秒規(guī)則不生效其實(shí)是因?yàn)闃颖緮?shù)還沒(méi)達(dá)到最低判定要求。最后看是否并發(fā)到達(dá)。QPS 限流判斷的是滑動(dòng)窗口內(nèi)統(tǒng)計(jì)出來(lái)的速率如果你用線程并發(fā)數(shù)模式那要看的是“當(dāng)前占用線程數(shù)”兩者表現(xiàn)完全不同。改規(guī)則前先確認(rèn)自己用的哪個(gè)模式別拿 QPS 的預(yù)期去解釋線程數(shù)的現(xiàn)象。5.2 控制臺(tái)數(shù)據(jù)不刷新或看不到服務(wù)控制臺(tái)列表里遲遲看不到客戶端或者看到之后指標(biāo)曲線死的一般不動(dòng)我通常會(huì)先排查客戶端到控制臺(tái)的網(wǎng)絡(luò)連通性。Sentinel 的 dashboard 通信走的是 HTTP 接口如果中間有防火墻或者端口沒(méi)放開數(shù)據(jù)就傳不過(guò)來(lái)。然后看客戶端的project.name和dashboard.server參數(shù)是否真實(shí)生效。Spring Boot 應(yīng)用在引入相關(guān)依賴后可能會(huì)自動(dòng)注入?yún)?shù)但如果你同時(shí)指定了配置文件里的對(duì)應(yīng)項(xiàng)兩邊不一致時(shí)容易讓人困惑。啟動(dòng)時(shí)加-Dcsp.sentinel.dashboard.server...是最直接的方式。還有一個(gè)環(huán)境相關(guān)的問(wèn)題服務(wù)實(shí)例注冊(cè)到控制臺(tái)會(huì)有一定的延遲并不是啟動(dòng)后立即出現(xiàn)。正常情況大約需要等 10 到 30 秒。如果等了很久還是沒(méi)有去看客戶端在logs/csp目錄下生成的sentinel-record.log里面會(huì)明確記錄注冊(cè)過(guò)程和報(bào)錯(cuò)信息。5.3 高并發(fā)下的性能損耗與取舍另一個(gè)大家最關(guān)心的問(wèn)題是Sentinel 本身會(huì)吃掉多少性能從我的壓測(cè)經(jīng)驗(yàn)看常規(guī)的限流判斷在每請(qǐng)求上增加的耗時(shí)非常低通常在大幾十微秒到一百多微秒這個(gè)量級(jí)主要影響不是 CPU而是業(yè)務(wù)代碼里多了一次資源的 entry/exit 調(diào)用和統(tǒng)計(jì)更新。對(duì)于絕大多數(shù)業(yè)務(wù)系統(tǒng)這個(gè)開銷可以接受。但如果你的接口本身就是超高頻調(diào)用比如單機(jī)每秒幾萬(wàn)次又想同時(shí)開啟多種規(guī)則那就要關(guān)注幾個(gè)點(diǎn)一是把不必要的規(guī)則類型關(guān)掉只保留必需的二是合理控制統(tǒng)計(jì)窗口和滑窗粒度三是避免在兜底邏輯里做耗時(shí)操作。兜底方法里如果做了遠(yuǎn)程調(diào)用或者復(fù)雜計(jì)算這個(gè)開銷反而容易掩蓋 Sentinel 本身的性能表現(xiàn)。壓測(cè)時(shí)建議單獨(dú)測(cè)兩種狀態(tài)一種是不接入 Sentinel 的裸接口性能一種是開啟限流規(guī)則后的性能。兩者對(duì)比你才能真正知道規(guī)則疊加帶來(lái)的成本而不是憑感覺(jué)懷疑它。使用 Sentinel 一年多之后我最大的感受是這類組件的難點(diǎn)不在于“怎么配置”而在于你是否真正理解流量和依賴之間的因果關(guān)系。配置只是一個(gè)出口背后的滑動(dòng)窗口、責(zé)任鏈、熔斷狀態(tài)機(jī)才是決定規(guī)則是否合理的地基。每次上線新業(yè)務(wù)、每次壓測(cè)調(diào)優(yōu)我都會(huì)回到控制臺(tái)重新看一遍資源名、閾值和規(guī)則之間的對(duì)應(yīng)關(guān)系而不是只看那一兩條報(bào)警。希望這篇文章里那些踩過(guò)的坑和調(diào)參的思路能幫你少走一段彎路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
人人叉久| 99啪| 色三级色三级| 色婷婷深爱五月| 婷婷五月天熟妇| 婷婷五月色網站| 五月天婷婷成人网| 99久久久久| 99噜噜噜在线播放| 超碰国产av| 永久无码色| 玖玖资源部在线播放| 五月婷深深爱激情网| 久久亚洲婷婷| 激情五月六月婷婷| 色婷婷亚洲综合av| 超碰碰碰碰| 久操b网| 亚洲AAA| 婷婷五月美女直播| 91九色国产| 色五月激情网| 东北黄色一级| 色婷婷丁香五月天在线视频| 人人草人人爱| 人妻丰满精品一区二区A片| 伊人网色婷婷五月天| 97丁香视频| 99久在线视频| 色噜噜狠狠插综合| 五月天婷婷影院| 丁香九月激情在线视频| 玖玖在线视频福利| 九九色热| 国产FREESEXVIDEOS性中国| 色八戒操婷婷| 免费色色色| 亚洲精品午夜国产va久久成人| 久久久久久久97| 高清无码网址| 91一起艹| 538在线精品| 夜夜撸天天操| 久久综合影院| 五月婷色激情五月| 99欧美| 婷婷丁香色性爱| 五月情丁香色| 大香蕉啪啪| 天堂婷婷综合| 97精品欧美91久久久久久久| 婷婷五月天激情诱惑| 91婷婷丁香五月| 青草视频在线播放| 亭亭玉立国色天香| 日本99在线视频| 屁股翘好撅高迎合跪趴| 这里只有精品视频222| 亚洲色情网站| 人妻激情久久| 99久久精彩视频。| 日韩在线视频中文字幕| 婷婷久久天堂网| 亚洲综合色网站| 51国精产品自偷自偷综合| 国产精品久久久久久久久久免费| 欧美久热| 国产精品色婷婷久久久精品| 一区操| 99热日韩这里只有精品| 99这里只有精品|v| 五月玖玖| 丝袜激情网| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 五月天精品视频| 狠狠色色| 免费黄色片子| 91婷婷搞| 成人在线视频男人的天堂4399| 天干干夜夜操| 99热综合| 久热这里只有精品在线观看| 99久热这里只有精品| 狠狠99| 精品香蕉99久久久久网站| 亚洲视频国产一区| 激情五月综合亚洲另类| 婷婷五月天综合AV| 亚洲综合五月| 色99免费视频中文| 99热6精品| 久久9热好| 思思热久久阴99| 丁香 久久| 超碰97色| 激情色色色| 日本久久久97| 26uuu另类亚洲欧美日本一| 国外亚洲成AV人片在线观看| 人妻内射麻豆视频| 第九色区av天堂| 色播综合| 99热精品免费| 激情久久四色| 国产乱人偷精品人妻A片| 人人玩人人橾| 国产欧美日韩综合精品一区二区| 婷婷综合五月天激情| 91蜜桃婷婷狠狠久久综合9色| 亚洲超级碰| 天天日天天做天天操| 天天爱天天操| 丁香五月婷婷乱| 国产3p露脸普通话对白| 五月婷婷婷婷婷婷艺术| 老司机视频lsj爱就色| 亚洲mm色| 激情综合五月丁香六月婷婷| 99色色色色| 丁香五月激情综合久久| www.久久综合| 超碰猛烈的性猛交| 激情视频网址| 99色在线观看| 六月五月婷婷| 丁香五月婷婷www..com| www.狠狠操| 99re青青草| 五月天亚洲综合网| 五月丁香无码| 色五月综合| 丁香色五月婷婷17C| 91精品久久久久久| 五月天婷亚洲天综合网综合| 成人AV在线中文版| 久久偷拍综合五月天| 超级久久久| 综合色五月| 丁香五月综合激情久久潮喷| 久久视频婷婷| 91人妻色色网| 亚洲亚洲人成综合网络| 成人综合伍月天| 中文在线视频久9| 狠狠狠色激情综合适合| 91操人视频| 思思热在线| 99无码免费视频| 免费观看全黄做爰的视频| 日韩无码人妻一区二区三区综合 | 日本欧美成人片AAAA| 天天色,天天操,天天射| 色站9/| 婷婷八月激情| 99热在线观看| 欧美Va日本Va| 人妻久久久久久久久妻久久久久久久久 | 色五月婷婷激情基地| av在线免费网站 | 超碰AAAAAAV| 综合久久五| 天天噜噜| 色婷五月婷婷| 成人五月天。COM| 久草热在线视频| 九九AV在线| 五月丁香久久| 婷婷五月天堂| 99九九精品视频| 亚洲色啪| 伊人五月综合网| 色婷婷久久综合| 99视频只有精品| 成 人 色 色| 五月天激情网址| 五月婷婷啪啪| 国模淫穴色图| 婷婷综合五月天| 五月丁香啪啪啪| www.lingjunshare.com| 无码人妻电影| 色啦啦视频| 五月丁香六月激情在线| 99热在线里有精品| 91精品又长又大又粗又爽又猛| 五月丁香综合激情| 99成人小视频| 欧美成人一区二区三区在线视频 | 国产精品香蕉| 少妇激情基地| 男人的天堂99| 九九热AV| 色综合天天| 天天色情站| 超级碰碰碰久久网站视频| 亚洲成人av在线| 久久久er热| 亚洲免费电影2| 亚洲激情综合| 色婷婷小说网| 久久精彩视频99| 91av色色乱视频| www.夜夜操.com| 26uuu另类亚洲欧美日本一| 99人人干| 五月天婷婷激情网| 九九婷| 丁香蜜臀黄色婷婷五月天| 精品婷婷五月视| 中文在线视频久9| 日本va欧美va国产激情| 婷婷六月色| 狠狠五月丁香色婷| 7777激情基地| 97人妻碰碰碰久久久久-最近国语高清| 久热婷婷| 亚洲99综合| 岛国午夜视频| AA片在线观看视频在线播放| 婷婷五月激情欧美| 六月 丁香 视频| 婷婷五月天成人娱乐| 色婷婷综合丁香五月天| 亚洲国产精品成人午夜| 婷婷五月天色色| 五月婷婷AV| 亚洲 小说 欧美 激情 另类| 丁香五月在线伊人| 97在线碰| 久9热视频| 级人人91| 日本少妇裸体做爰高潮片| 婷婷色中文字幕| 色色色9| 梁铮版《蜘蛛女侠》在线| 99免费偷拍视频| 日韩黄在免| 久久久精品人妻| 久久综合中文字幕| 国产视频婷婷| 色深爱五月| WwW天天干| 久热婷婷| 亚洲99综合| 久热久操久热久草国产91| 色色五月天 亚洲| 99热久久这里只有精品| 色五月首页| 99热综合网| 伊人www22综合色| WWW、99热| 九热视频| 丁香婷婷色五月| 久久伊人婷婷| 久久久99免费视频| 丁香 久久| 日本色狠狠| 欧美草久久五月天91| 五月天色狠狠| av 一区三区四区| 99热精品在线播放| 九九久久精品| 久热只有这里有精品| 91久久久久久久久| 日韩欧美颜射| 99五月丁香丁| 国产乱码久久| 99热国内| 男人综合网| 99爱免费在线观看| 久久九九99字幕| 婷色成人| 夜夜骑日日夜夜| 五月婷人妻| 久一这里有精品国产| 婷婷丁香视频在线观看免费| 欧洲激情五月天婷婷| 久久婷婷六月| 色色日韩| 婷婷区日本| 亚洲综合网激情小说| 怡红院院在线导航网| 97色干在线观看| 色综合99| WW婷婷五月天com| WW婷婷五月天com| 无人区码一码二码三码医生系列| 色无婷婷| 五月婷综合激情| 婷婷久久18| 伊人婷婷五月天av| 9999久久久久| 丁香六月 婷婷六月| 熟女激情网| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 色色色色区| 婷婷五月中文字幕| 亚洲人妻AV| 性色欲情 网站| 99热九九这里只有精品10| 无码中文一区二区三区| 久久99性爱视频| 99这里只有| 五月婷婷在线观看黄| 日本色99| 婷婷综合五月天| 国产XXXX搡XXXXX搡麻豆| 精品久久久91久久影视网| 青青久久五月| 小色小蛇伊人婷婷色香五月| 这里只有精彩小视频视频网站| 开心亚洲久久开心| 激情六月综合| 五月丁香婷婷AV天堂| 日本婷婷网| 五月婷婷乱| 色五月女| 五月色影院| 少妇真实被内射视频三四区| 久久婷婷的综合色丁香五月| 秋霞免费三级片| 久久激情综合| 99视频久久| 五月丁香久久综合| 欧美色男人网站| 碰人人97| 色噜噜婷婷| 深爱五月中文字幕| 狠狠干综合网| 丰满人妻妇伦又伦精品国产| 成年视频免费观看| 久婷婷五月丁香在线观看| 五月丁香人人婷婷在线观看| 日韩精品一区二区亚洲AV观看| 综合色图区| 国产一区二区三区影院| 色天堂操| 亚洲精品乱码久久久久99| 97婷婷五月| 激情综合区| 青青草国产亚洲精品久久| 婷婷五月另类网站| 天天插天天狠| 久久这里有精品视频| 99热丁香| 色色五月婷婷狠狠| 亚洲AV人人操| 亚洲无码猫咪| 激情综合网丁香| 丁香激情久久| 激情的五月| 荫道BBWBBB高潮潮喷| 草榴视频黄色网| 麻豆雪千夏| 婷婷色五月亚洲| 青青草五月天| 亚洲精品又粗又大又爽A片| 久久资源综合| 欧美婷婷五月无砖| 亚洲在线综合| 依人大香蕉在钱1| 亚洲av综合网| 人人舔人人| 丁香色五月 97干| 婷婷五月欧美| 丁香六月高清视频| 五月丁香婷中文| www久久久久久久久久久久久久久久久| 久久久香| 狠色狠色综合久久| 性综合网| 色六月婷婷| 久久er99| 精品少妇人妻AV无码专区偷人| 五月丁香激情综合六月涩涩爱| 五月天无码视屏播放| 99这里只有精品| 人人爽网| 大香蕉综合网| 99成人在线观看| 亚洲精品又粗又大又爽A片 | 婷婷99中文字幕| 26uuu亚洲欧美| 99九九视频| 狠狠情色| 亚洲天天操| 丁香六月在线综合| 91婷婷五月天综合视频| 五月丁香六月婷婷综合网| 九月色婷婷综合| 亚洲激情四谢| 99综合视频在线| 成人在线99| 狠狠色丁香乆乆| 99久久免费性爱视频`| 99热激情| 人人操婷婷| 爱草视频在线观看| 色综合伊人网| 九色PORNY9l原创自拍| 色婷久| 久久44| 丁香久久AV| 婷婷五月花| 综合久久首页| 色五月丁香伊人五月| 色婷婷成人做爰A片免费看网站 | 久久er这里只有精品| 婷婷亚洲综合| 日本人妻操| 激情网婷婷婷| 超碰在线caop| 九九热短视频在线观看| 7777国产盗摄农村女人| 亚洲人人操BD| 婷婷五月欧美| 涩综合婷婷| 五月深情久久| 99无码视频| 五月天丁香综合在线| 免费不卡狠操美女视频网 | 99色干| www999日韩精品| 中文字幕黄色片| 婷婷九月| 97久久视频| 日本女天天爽| 三人荫蒂添的好舒服A片| 六月婷婷视频| 久久婷婷五月综合色丁香花| 美国色五月天婷婷资源站| 久久精99| 色五月成人| 99玖玖在线视频| 久99久精品| 99九九99九九九视频精彩| 殴美激情综合网| 91久久久久久久久| 五月丁香激情综合| 欧美婷婷五月天综合| 激情五月天。| 婷五月天| 五月天婷婷色| 亚洲精品字幕| 亭亭五月色男人| 97自拍99| 开心五月网 | www.99操| 99爽视频| 亚洲性天天| 丁香婷婷综合激情五月色| 六月天六月婷| 黄色91在线观看| 丁香婷婷色| 26UUU一区二区| 精国产品一区二区三区A片| 国产在线另类五月婷婷| 五月久久婷婷天堂视频| 人妻久久久久久| 五月婷婷中文网| 五月婷精品| 亚洲午夜av| 五月天激情小说网| 26UUU欧美| 182TV亚洲| 色婷婷电影网| 色丁香影院| 综合视频久久| 99精品国产在热久久| 夜夜骑天天玩天天日| 六月久久婷婷| 少妇水多A片太爽了| 精品五月天| 99热爱爱干干日| 六月丁丁香| 婷婷情色激情| 中文字幕av久久爽一区| 影音先锋91在线资源站| www999日韩精品| 99色看这里只有精品| 婷婷狠狠青青| AA丁香综合激情| 综合视频五月| 婷婷五月色综合| 中文字幕丰满孑伦无码专区| 激情五月色婷婷| 99亚色色色| 婷婷丁香五月社区亚洲| WWW.婷婷| 色色色综合色| 99这里只有精品国产| 亚洲色综合色网| 久久人人妻| 深爱五月网| 成人五月天综合网| 国产婷婷五月| 丰满少妇猛烈A片免费看观看| 天天干电影| 九九精品片一| 欧美三级黄色片久久| 五月丁六月香| 丁香五月激情天AV无码| 99精品视频推荐| 国产乱子轮XXX农村| 日本婷婷| 五月丁香六月欧美| 色婷婷丁香网| 色五月婷婷自拍| 国产精品久久久久9999小说| 婷婷99中文字幕| 色色色色色色色色色999| 9久久久久久久久久久| 婷婷丁香综合网| 五月丁香综合啪啪| 免费不卡狠操美女视频网 | 人人草人人爱手机视频看看 | 五月六月激情| 天天做综合| 亚洲XX网| 丁香啪啪中文字幕| 国产毛片欧美毛片久久久| 婷婷五月综合久久中文字幕| 五月婷婷丁香综合网| 99久久久国产大片| 五月丁香婷婷色色色| 久久色大香蕉| 人妻久久久| 成人一级片| 午夜激情五月天| 婷婷丁香久久五月综合| 丁香五月婷婷激情小说| 69久久99精品久久久久婷婷| www狠狠爱com| 天天碰夜夜操| 国产伦亲子伦亲子视频观看 | 五月天色在线| 99r这里只有精品哦| 色五月色图| 五月婷婷欧洲| 色色色激情网| 蜜桃成语时李时珍 免费| Av大香蕉| 97碰碰视频在线观看免费| 另类小说激情五月天| 青娱乐美女福利视频美臀| 99久久99视频只有精品| 99黄色性生活| 丁香六月久久| 日日色综合| 99热这里都是精品| 深爱激情五月网| 五月天色婷婷伊人网| 丁香五月婷婷激情123| 丁香五月婷婷亚洲色图| 色色综合无码| j久久性爱视频| 超碰女人天堂| 丁香五月婷婷啪啪啪| 色欲久久久久久综合网综合网| 日韩成人电泉AV| 波多婷婷久久| 亚洲AV成人精品网站在线播放| 日本少妇裸体做爰高潮片 | 色狠久| 五月丁香狠狠| 亚洲人妻五月丁香婷婷| 综合色综合| 天天开心AV色综合婷婷五月天| 99高级会所久久| 丁香综合伊人| 天天草天天舔| 亚洲看av的网站| 日日天天操| 五月天婷婷在线啪啪视频| 91精品电影18T| 日韩色色色99| 婷婷亚洲激情在线观看视频| 插插干干干色| 99热首页在线30| 思思热精品免费视频| 六月五月久久丁香| 9这里只有精品| 五月丁香久久丝袜啪啪| 婷婷五月激情视频| 九九激情| av在线中文| 综合激情在线视频| 91中文在线| 婷婷激情六月| 欧美丰满熟妇BBB久久久| 国产精品扒开腿做爽爽爽A片唱戏| 色婷婷五月网| 五月天婷婷婷| 狠狠干在线| 天堂中文国产| 五月天六月色| 狠狠精品干练久久久无码中文字幕| 国产偷人爽久久久久久老妇APP | 亚洲va综合va国产va中文| 五月天伊人综合| 五月色婷| 国产亚洲色婷婷久久99精品91| 色婷婷久久| 无码激情AAAAA片-区区| 玖玖九九9999在线观看视频精品| av操一操| 99久在线精品99re8热| 精品无码av丁香五月激情| 亚洲综合丁香婷婷六月天| www.六月丁香看AV| 五月丁香六月婷婷激情网| 在线成人网站| 四虎国产精品永久在线国在线| 丁香五月天堂婷婷| 天天干天天曰天天射| 狠狠色综合网| 九九热在线观看视频网站| 99亚洲日韩| 人人妻人人澡| 欧美大肥婆大肥BBBBB| 毛片九九九九九九九九18| 久久嘟嘟丁香| 综合五月草| 第一区久久网站| 五月天播播| 五月婷婷激情久久| 中文字幕视频色婷婷| 九九综合88| 亚洲天堂爱爱| 热99久久这里只有精品| www.色五月| 久热免费| 婷婷五月激情综合网| 青青草轻轻操| 1024欧美看片| 五月丁香大相交| 99热这是里只有精品| 91久久婷婷人人澡草| 久久综合丁香| 精品香蕉99久久久久网站| 97人妻碰碰碰碰碰久久久久久| 日本综合久久| 九九无码视屏| 日本久久精品| 99久久欧美| 黄色AV日韩| 狠狠久综合| 日本久热| 日韩AC在线免费观看| 六月99天天婷婷激情综合| 五月丁香婷婷婷婷综合网| 五月天天久久香| 人人操AV| 色天使色婷婷| 秋霞影音91人妻久久| 五月丁香成人| 91狼友视频在线观看| 丁香九月婷| 婷婷亚洲色| 六月婷婷开心| 亚洲色图日韩网址| 五月丁香六月婷婷中文版| 婷婷色综合| 欧美性猛交XXXX乱大交极品| 综合久久综合久久| 久久思思精品| 六月婷婷综合| 182TV亚洲| 伊人五月天婷婷| 激情綜合W W W,激情五月天| 丁香婷婷午夜| 好好干av| 天天操天天插| 99re久热只有精品6在线直播.com| 热热久久久久久久久| 日本色道视频网站| 中文字幕性爱视频| 五月天婷婷深深爱| 天天天天操| 五月天综合久久丁香91| 亚洲综合狠狠艹| 五月婷婷啪啪| 99热这里只有精品9| 青青草五月天| 国产色五月婷婷| 99热精品在线播放| 久久伊人婷婷| 色综合久久88色综合天天99| 久cao香蕉影院| 99久久这里只有精品免费官网| 久久98热re| 肏日网在线看| 99re这里有精品手机在线| 婷婷五月天视频| 色婷婷五月综合在线| 思思re99视频在线观看| 51精品国自产在线| 婷婷五月花免费视频在线| 99综合一区| 综合爱久久| 人妻自慰高清合集| 在线观看免费观看在线9久| 久久精彩综合视频| 91色五月| 91精品国产日韩91久久久久久国模| 日日狠狠久久偷偷四色综合免费 | www.26uuu.com亚洲电影| 五月天开心网| 激情综合五月激情17| 五月激情视频| AV在线观看网站| 五月丁香啪| 亚洲AVwwwwwww| 丁香五月六月激情久久| 日本综合九九| 五月天婷婷成人资源站| 国产午夜精品一区二区三区四区 | 婷婷五月欧美| 思思热精品在线观看| www.99riav99| 99色免费视频| 在线超碰免费| 99综合免费视频| 激情图片亚洲| 五月天成人在线| 丁香情色五月| 天天干、天天日日| 大香焦A∨| 99思思热只有在这里看| 天堂呦 呦百度搜索-百度搜索| 蜜乳A√| 99国产精品白浆在线观看免费 | 色月丁| 亚洲免费婷婷| 五月婷婷色啪| 99在线精品视频| 五月婷婷激情久久| 国产亚洲99久久精品| 色999;丁香五月| 五月婷婷av| 激情五月天婷婷激情| 精品久久人妻| 色婷婷五月基地在线| 亚洲亚洲人成综合网络 | 人人97碰| 99re66热这里只有精品| www.zbzhongsen.com| 五月丁香婷婷AV天堂| 欧美电影在线观看| 日本成人噜噜| 狠干综合| 久久久久久久97| 丁香五月婷婷狠狠色| 大香网伊人久久综合| 欧美韩日AAA网站| 大香蕉婷婷婷| 99热色精品| 亚洲AV综合网| 91丨九色丨国产打屁股| 96性爱视频| 97色碰碰公开视频| www.五月天婷婷| 色色色色五月天| 色99视频| 久久激情五月网| 丁香久久九九99| 中文字幕视频在线播放| 丁香五月激情宗合| 国产精品久久久久久久久久免费| 久久精品视频9| 十区AV| 婷婷狠狠操| 手机AVAV天堂看网| 9 9热这里有精品| 婷婷激情九月| 色六月丁香婷婷狠狠干| 精品自拍99| 五月婷婷丁香大陆免费| 色五月丁香五月激情五月激情| 99热网精品| 色色色色热| 国产亚洲色婷婷久久99精品91| 色五月婷婷五月天| 婷婷五月天色| 免费九九热| 电影91久久久| 五月花婷婷| 久久视这里只有精品| 老师高潮流白浆喷水的A片| 五月婷视频| 丁香六月婷婷综合色| 色综合久久久综合久久网| 五月天伊人| 九九蜜臀精品| 色婷婷色和| 操一区| 襙逼网| 丁香婷婷91在线观看视频| 激情婷婷| 激情五月天影院| 婷婷激情丁香五月天综合| 婷婷五月天av小说| 色播六月| 五月亭亭综合五码| 国产激情AV| 狠狠婷婷色综合| 亚洲熟女色| 四色女婷婷| 美女黄频aⅴ视频| 久久AV无码精品人妻系列试探| 激情网五月| 99爱在线| 色婷婷久久综| 中文字幕丰满孑伦无码专区 | 国产肥白大熟妇BBBB视频| www.婷婷五月天.com| 婷婷五月成人有| 激情av网| 国产欧美熟妇另类久久久| 婷婷六月综合基地| 丁香六月爱综合| www.91久久| 嫩草视频| 蜜桃人妻无码AV天堂三区| 五月丁香激情综合| 婷婷丁香五月六月激情| 五月丁香婷婷综合网| 日韩成人电泉AV| 婷婷五月成人| 97视频.干com| 亚洲夜夜操| www.五月天婷婷.com| 日韩在线一级| 色婷婷网大全在线| 五月丁香免费看| 久久久这里有精品| 玖玖九九99| 亚洲综合激情五月久久| 色婷av| 激情性爱五月天网页| 五月叮香啪| 激情综合五月婷婷| 色六月天| 色五月婷婷狠狠撸| 一本久道综合99| 99精品综合在线| 99这里只有精品| 自拍偷窥99热| 久久这里只精品| 激情婷婷五月天在线观看| 综合五月草| 亚洲啪啪网| 狠狠爱婷婷五月天| 欧美性猛交99久久久久99按摩| 九九九九综合| 九九热最新视频| 六月丁香激情婷婷| 婷婷五月综合欧美在线播放| 久热综合| 色婷婷AV在线| 色综合色综合色综合| 91av传媒高清在线视频网| 2025天天爽天天摸| 欧美婷婷六月丁香综合色| 欧洲S级在线观看| 婷婷五月天大香蕉在线视频观看| 国产肥白大熟妇BBBB视频| 丁香六月综合激情| 99热超碰在线| 98色花堂98t.R| 婷婷五月六月丁香| 五月丁香六月婷婷综合| 婷婷激情五月天亚洲综合| 丁香五月自拍| 六月丁香啪啪| 亚洲av免费在线| 五月婷婷偷拍| 色五月婷婷91| 九九精彩久久| 我去色色网五雨天| 日本在线视频看se99| 超碰人人妻| 成人婷婷色综合| 97在线观视频免费观看| 极品人妻XXXXOOOO| 国产99久久久国产精品免费看| 九九热精品视频| 99热精品在线播放| 婷婷激情四射| 99热啪啪| 丁香六月情| 色综合99| 婷婷五月激情图片| 99热这里是精品| 可以直接看的AV| 婷婷色网| 丁香五月天之婷婷影院| 97色色色| 五月丁香婷婷色| 婷婷中文字幕| 精品国产乱码久久久久夜深人妻| 一点色成人网| 欧美三级巜人妻互换| 99热在线观看| 操逼五月婷婷| 成人精品免费在线观看| 色婷婷AV在线观看| 久久久久久久五月| 亚洲AV无码一区二| 99亚洲视频| 99在线精品视频| 九九色图| 激情五月,色五月| 色七色九九| 狠狠狠人妻| 天天爽夜夜爽| 丁香六月情| 丁香激情网| 97碰啪啪| 婷婷五月激情综合| 亚洲第一成人无码A片| 九九丁香社区欧美激情| 99精品丰满| 丁香五月大香蕉AV| 91黄址| 狠狠色丁香久久久婷| 欧洲激情五月天婷婷| 五月色欧美| 成人性爱无码| 天天日天天插| 婷婷丁香五月亚洲| 疯狂做受XXXX高潮A片动画| av婷婷六月丁香社区在线观看| 99精品综合在线| 日韩在线观看亚洲| 亚洲小视频免费播放| 免费精品66| 激情小说 五月天| 日狠狠| 99操逼| 青草青草视频2免费观看| 在线看AV| 亚洲视频操| 新久久五月天激情| 99热这里只是精品| 婷婷五月免费视频| 亚洲激情四射| 操人妻AV| 欧美伊人9| 精a品a视a频| 区区欧美你爱| 丁香五月最新地址| 九九色热| 爆乳熟女-区二区三区| 99热1| 亚州激情在线视频| 深爱激清网| 日韩一级片| 少妇搡BBBB搡BBB搡毛茸茸| 偷偷操九九| 五月丁香啪啪网| 婷婷基地五月色| 亚洲人人操| 激情色色| 婷婷亚州综合| 五月婷俺去也| www,婷婷| 狠狠干婷婷| 亚洲丁香五冃97色| 国产成人在线精品| www.操逼comm| 九月婷婷激情| 欧美三级巜人妻互换| 另类视屏| 综合色五月天| 久久婷婷丁香| 国外亚洲成AV人片在线观看 | 丁香五月在线播放| 欧美高潮9| 亭亭五月丁香综合欧美| 激情六月一二| 久久久免费精彩视频| 啪啪视频99| 狠狠色丁香久久久婷| 亚洲综合丁香五月天| 永久精品| 婷婷五月六月| 美女婷婷六月色| 五月婷婷深深爱| 香蕉久久国产AV一区二区| 激情爱爱网站超大免费| 97婷婷丁香五月天激情图片| 色综合久久88色综合天天看| 国产黄大片在线观看画质优化| 丁香五月婷婷激情四射| 99re热久久| 婷婷五月色| 91seAV| 妻久久久久| 97性视频| 热99色| 五月丁香六月婷婷亚洲天堂网站| 日韩无码色色| 色欲一区二区三区精品A片| 五月色丁香| 无码色色| EEUSS鲁片一区二区三区| 久久伦乱| 丁香五月婷婷色播艳门照| 欧美精品999| 99亚洲精美视频在线观看| 只有久久精品免费| 可以看的av| 五月天丁香久久| 一区二区三区四区无码| 99性爱视频| 97色女人在线| cc精品国产性传播| 国产又黄又爽又色的免费| 色呦呦美女| 婷婷五月天伊人网| 思思re最新视频| 99啪啪| 九九干视频| 日本97在线看片| 深爱激情五月天色婷婷| 99碰碰| 久久久99日本大片| 亚洲婷婷激情五月天| 免费无码毛片一区二区A片| 五月婷婷久久综合| 婷婷久久五月天| 开心五月婷婷伊人| 天天插天天很| 天天色天天操天天射| 亚洲AV网站在线观看| www.99热这里精品| www.99.色| 激情网第四色| 婷婷操逼| 丁香五月成人| 亚洲天堂爱爱| 色九九九九| 色五月天综合网| 99A片| 丁香五月婷婷激情123| 91九九| 色五月婷色彩免播放器| 色综合久久天天综合网| 色狠狠综合入口| 99这里只有精品|v| 久久综合55| 伊人色欲五月天| 日韩AV免费电影在线播放| 六月丁香婷婷亚洲中文玖玖| 欧美激情VA永久在线播放| 7777激情基地| 天天摸天天肏| 欧美 日韩 成人在线| 久久九九@| 丁香六月| 日韩在线一级| 97碰人人操| 午夜婷婷久久 | 天天日夜夜高潮| 久久久久9| 婷婷五月色播网| 久久五月天婷婷| WWW.天天日| 夜夜撸夜夜骑| 九九热99re8热免费观看| 青青草激情网| 激情婷婷丁香五月天小说| 天天干夜晚夜操| 久久无码激情视频| 色吧五月| 亚洲天天免费| 午夜天堂一区人妻| www.伊人天堂偷偷婷婷| 国产精品激情AV久久久青桔| 欧美韩日AAA网站| 久久艹 五月天| av网站中文| www.久操| 综合色播| 激情久久久久久久久| 99色色| 九九AV在线| 五月叮香啪| 夜夜涩涩涩| 成人无码精品1区2区3区免费看| 91啪级电影| 精品热青草| 婷婷色五月在线视频| 成人网站av免费网站推荐| 一区视频网站| 综合久久婷婷| 99啪啪| 激情五月色综合国产精品| 色色亚洲99com| 国产午夜一区二区三区| 亚洲一区二区无遮挡A片| ww久久| 五月婷丁香花| 免费观看欧美成人AA片爱我多深| 色色婷婷综合网| 欧美一黄一色一乱一伦| 激情五月天在线免费美女视频| 色色综合五月| 亚洲成人五月| 乱码操操| 超碰久热| 欧美丁香五月天| 久热视频97AV在线观看| 日韩一级网站| 丁香五月,开心五月,成人婷婷| 国产毛片欧美毛片久久久| 色婷婷狠狠色| 色噜久| www.zbzhongsen.com| 综合亚洲色色| 婷婷色色综合| 另类激情中文| 97人人操人人干| 99热9| 天天日日夜夜爽。| 91精品91久久久中77777久久玖玖九九 | 久婷婷| 婷婷丁香第一页| 亚洲99热| 99噜噜| 狠色狠色狠狠色综合网| 91|疯狂丨高潮丨对白| 婷婷五月天小说网| 狠狠色97| 婷婷久月| 婷婷精品| 日本精品人妻无码77777| 婷婷五月天电影区小说区| www,色婷婷| 这里只有精品视频| 婷婷情色激情| 91婷婷在线| 日本视频不卡123区| www.开心激情| 九九热中文| 欧美情色一区| 97色在线观看视频| 五月噜噜噜色综合| 丁香五月熟女| 九九Av| 久久婷婷操| 婷婷色五月天色| 五月丁香色婷婷| 色五月丁香伊人| 秋霞性爱AV| www.色五月| 天天综合久久| 五月婷婷香蕉| 五月婷婷综合性爱噜噜| 五月婷婷色播| 俺去也五月天婷婷| 99热99成人| 99re资源在线视频导航| 五月婷婷黄色| 婷婷五月天成人综合网| 99色综合网| 日韩无码AV电影网站| 色色丁香五月天| 5月丁香六月情| 色五月激情| 操人妻AV| 九月激情网| 久久久精品人妻录| 综合亚洲六月婷婷在线| 久久成人亚洲欧美电影| 五月色婷婷综合| 五月丁香天堂网| 激情五月婷婷丁香六月| 97婷婷五月丁香| 激情综合网激情五月天| 亚洲av骚货| 伊人网欧美在线男人天堂五月丁香| 亚洲成人在线观看网址| 丁香五月性| 色综合五月| 99在线精品视频免费| 欧美日韩五月婷婷| 欧美成人一区二区三区在线视频| 亚洲成人高清在线| 欧洲综合视频在线观看。欧洲,亚洲综合食品在线观看。 | 日本久久99久久| 牛牛澡牛牛爽| 婷婷五月天成人网| 丁香婷婷六月| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 嫩草综合网| 亚洲色碰| 97日本在线| 无码少妇高潮喷水A片免费| 久久性操| 精品五月天| 亚洲五月天伊人| 日本 欧美在线| 九月婷婷综合在线| 农村熟妇高潮精品A片| 中文字幕成人| 五月丁花六月丁香综合| www.五月天婷婷姐姐| 国产欧美日韩性爱| 99狠狠| 国产亚洲99久久精品熟| 欧美性猛交 XXXX 乱大交| 亚洲美女高潮久久久久久69| 五月丁香六月婷婷无码| 六月米奇色综合| 天天日天天做天天舔| 五月天三级久久| 丁香婷婷久久综合在线| 九九九激情综合| 色优久久| 婷婷九月亚洲| 中文av网| 午夜激情五月天| 五月婷婷开心激情六月蜜桃| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 思思精品久久艹| 免费色色色| 亚洲色情久久| 成人五月天丁香| 91久草五月天婷婷| 亚洲黄色操逼| 婷婷五月天天| 97精品人人A片免费看| 日本一级黄色电影| 亚洲六月色婷婷| 久久色亭亭五月天| 色亚洲欧洲| 成人操呦av| 欧美噜噜噜草| 成人在线精品| 91无码视频| 色婷婷a v| 一起草av在线观看| 天天艹| 一区二区三区四区牛| 久草婷| av婷婷丁香| 欧美槡BBBB槡BBB少妇| 免费看欧美成人A片无码| 激情五月天色色网| 夜夜操夜夜操| 中文激情网| 大香蕉综合| 91狠狠综合久久久| 五月色色色| 久久婷婷伊人| 婷婷丁香激情综合色情| 激情床戏| 丁香五月综合婷婷| 爆乳熟妇一区二区三区爆乳照片| 丁香色五月天| 五月丁香婷爱在线| 六月婷婷久久| 六月丁香婷婷综合在线| 亚洲欧美丁香五月天亚洲欧美|