欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Spring Cloud Gateway動態(tài)路由實戰(zhàn):基于Nacos實現(xiàn)不重啟配置熱更新

Spring Cloud Gateway動態(tài)路由實戰(zhàn):基于Nacos實現(xiàn)不重啟配置熱更新 接手這個項目的時候我第一反應(yīng)是路由嘛寫死在配置文件里不就行了。直到有一次線上有一個新服務(wù)要接入網(wǎng)關(guān)按老流程改完application.yml重新發(fā)布結(jié)果恰好趕上業(yè)務(wù)高峰網(wǎng)關(guān)重啟那幾十秒所有經(jīng)過網(wǎng)關(guān)的請求直接502。從那之后我就明白了網(wǎng)關(guān)路由如果只能靠重啟生效那它就是整個微服務(wù)架構(gòu)里最脆弱的一環(huán)。這也是我為什么花時間把Spring Cloud Gateway的動態(tài)路由徹底捋了一遍。這篇文章是SpringCloud實戰(zhàn)系列的第十三篇專注講清楚一件事怎么讓Gateway在不重啟的情況下把新路由、改路由、刪路由全部在線完成。內(nèi)容會覆蓋動態(tài)路由的動機(jī)、三條主流實現(xiàn)路線的對比、基于Nacos落地動態(tài)路由的核心代碼、路由刷新的底層機(jī)制以及我上線后踩過的一堆坑。適合已經(jīng)跑通Gateway基礎(chǔ)用法、想把網(wǎng)關(guān)做得更工程化的同學(xué)參考。1. 靜態(tài)路由的僵局一次配置變更引發(fā)的連鎖反應(yīng)1.1 網(wǎng)關(guān)路由配置的真實痛點Spring Cloud Gateway最基礎(chǔ)的用法是在application.yml里這樣寫spring: cloud: gateway: routes: - id: order-service uri: lb://order-service predicates: - Path/order/** filters: - StripPrefix1這本身沒什么問題小規(guī)模項目完全夠用。但一旦微服務(wù)數(shù)量上來了你會碰到幾個很現(xiàn)實的問題。第一改動成本高。只要新增一個服務(wù)、調(diào)整一個路徑前綴、修改一次超時時間都得改配置然后重啟網(wǎng)關(guān)。微服務(wù)架構(gòu)里服務(wù)是高頻變動的新服務(wù)上線、舊服務(wù)拆分、接口路徑調(diào)整都是家常便飯每次都要重啟網(wǎng)關(guān)整個系統(tǒng)的入口就跟著抖動一次。第二配置膨脹嚴(yán)重。幾十上百條路由堆在application.yml里誰改過什么、為什么改、什么時候改的完全沒法追溯。我見過最夸張的項目路由配置文件三千多行review的時候根本沒人敢動。第三環(huán)境隔離差。開發(fā)、測試、生產(chǎn)環(huán)境的網(wǎng)關(guān)配置往往有差異靠profile區(qū)分還行但一旦某些公共路由需要保持一致配置維護(hù)就跟復(fù)制粘貼一樣痛苦。第四發(fā)布窗口限制。網(wǎng)關(guān)屬于核心基礎(chǔ)組件重啟需要走變更流程、評估影響面、選低峰期發(fā)布。一個新服務(wù)想接入網(wǎng)關(guān)要等一次完整的發(fā)版窗口這在業(yè)務(wù)快速迭代的團(tuán)隊里非常難受。1.2 動態(tài)路由到底解決什么問題所謂動態(tài)路由核心就一句話路由規(guī)則的增刪改查不依賴應(yīng)用重啟而是在運行期通過外部配置源實時生效。它解決的問題可以拆成幾個層面接入效率新服務(wù)上線往配置中心寫一條路由網(wǎng)關(guān)秒級刷新不用排隊等發(fā)布配置治理路由集中放到配置中心或數(shù)據(jù)庫有版本管理、有操作審計、可以回滾網(wǎng)關(guān)穩(wěn)定性避免因路由變更而重啟網(wǎng)關(guān)保障入口流量持續(xù)可用灰度與應(yīng)急可以在線把某個服務(wù)摘掉、掛維護(hù)頁、切流量到新集群從業(yè)務(wù)價值來看動態(tài)路由最大的意義不是省了一次重啟而是讓網(wǎng)關(guān)從靜態(tài)基礎(chǔ)設(shè)施變成了可實時編排的流量入口。你可以在大促前臨時加一條分流規(guī)則也可以在服務(wù)異常時快速摘流量這種靈活性在復(fù)雜環(huán)境里幾乎是剛需。2. 動態(tài)路由的三條路線輪詢、推送與事件監(jiān)聽確定要做動態(tài)路由之后接下來的問題是怎么讓Gateway拿到最新的路由配置。我調(diào)研和試過的主流方案大致可以分成三條路線。每條路線的取舍都不一樣這里把對比展開講講。2.1 路線一數(shù)據(jù)庫存儲加定時輪詢這個方案的思想很樸素路由配置存到MySQL里網(wǎng)關(guān)起一個定時任務(wù)每隔幾秒查一次路由表發(fā)現(xiàn)變化就刷新內(nèi)存中的路由定義。優(yōu)點很直接——實現(xiàn)簡單不用引入額外中間件只要你項目里本來就有MySQL就能跑。而且數(shù)據(jù)庫天然支持復(fù)雜的查詢和管理界面運營同學(xué)可以直接通過管理后臺增刪改路由。但它的問題也很明顯。輪詢間隔不好設(shè)間隔太短數(shù)據(jù)庫壓力大、網(wǎng)關(guān)頻繁重建路由間隔太長路由變更生效太慢失去了動態(tài)的意義。另外每次全量拉取路由表再對比差異在路由數(shù)量大的時候?qū)?shù)據(jù)庫和網(wǎng)關(guān)都是一個不小的負(fù)擔(dān)。還有一個隱患多實例網(wǎng)關(guān)部署時每個實例的輪詢時間點不一樣會導(dǎo)致一段時間內(nèi)各實例路由不一致流量被分發(fā)到不同規(guī)則上去。這個方案適合對生效延遲不敏感分鐘級可接受、團(tuán)隊不想引入額外中間件的場景。但如果你的網(wǎng)關(guān)是多實例部署我建議謹(jǐn)慎考慮一致性會讓你很頭疼。2.2 路線二Redis發(fā)布訂閱加主動刷新為了解決輪詢的延遲和一致性問題有人把路由配置放Redis利用Redis的Pub/Sub機(jī)制做變更通知。網(wǎng)關(guān)啟動時把路由數(shù)據(jù)加載到內(nèi)存訂閱一個專門的channel管理端修改路由后往channel里發(fā)一條消息所有網(wǎng)關(guān)實例收到消息后重新從Redis拉取路由并刷新。這個方案的延遲可以做到毫秒級而且通過Redis的訂閱發(fā)布天然實現(xiàn)了一對多的廣播多實例網(wǎng)關(guān)能同時刷新比輪詢的一致性要好很多。但落地時要注意幾個細(xì)節(jié)Redis里的路由數(shù)據(jù)結(jié)構(gòu)需要自己設(shè)計相當(dāng)于把配置中心的一部分功能搬到了Redis里Pub/Sub消息是即發(fā)即棄的如果網(wǎng)關(guān)實例剛好在消息發(fā)出時斷連或重啟這條變更通知就丟了得靠啟動時全量加載機(jī)制來兜底Redis的持久化和配置版本管理能力弱操作審計之類的功能需要自己另做2.3 路線三配置中心監(jiān)聽加事件驅(qū)動這就是我最終采用并會詳細(xì)展開的方案。思路是路由配置放在Nacos或Apollo配置中心里網(wǎng)關(guān)通過監(jiān)聽配置變更事件觸發(fā)RouteDefinitionRepository的更新邏輯最終由Gateway內(nèi)部的事件機(jī)制完成路由重建。這個方案的優(yōu)勢在于Nacos本身就承擔(dān)了配置管理的職責(zé)版本管理、回滾、權(quán)限控制、操作審計開箱即用監(jiān)聽機(jī)制是服務(wù)端主動推送生效延遲低且Nacos客戶端有重連和補(bǔ)償邏輯比Redis Pub/Sub可靠配置的變更歷史可以追溯哪條路由什么時候被誰改過一清二楚三條路線對比下來我的建議是如果你的團(tuán)隊已經(jīng)在用Nacos或Apollo做配置中心直接走第三條路線如果沒有配置中心從零搭建的話可以考慮Redis方案數(shù)據(jù)庫輪詢只作為兜底或過渡方案。3. Nacos落地動態(tài)路由從監(jiān)聽配置到刷新內(nèi)存路由表3.1 前置準(zhǔn)備與依賴引入我的項目里Nacos本來就在承擔(dān)配置中心和注冊中心的職責(zé)所以動態(tài)路由直接復(fù)用了這套設(shè)施沒有新增組件。網(wǎng)關(guān)服務(wù)需要引入以下依賴!-- Spring Cloud Gateway 核心 -- dependency groupIdorg.springframework.cloud/groupId artifactIdspring-cloud-starter-gateway/artifactId /dependency !-- Nacos 配置中心 -- dependency groupIdcom.alibaba.cloud/groupId artifactIdspring-cloud-starter-alibaba-nacos-config/artifactId /dependency !-- Nacos 服務(wù)發(fā)現(xiàn) -- dependency groupIdcom.alibaba.cloud/groupId artifactIdspring-cloud-starter-alibaba-nacos-discovery/artifactId /dependency版本上我用的是Spring Cloud 2021.0.x搭配Spring Cloud Alibaba 2021.x對應(yīng)Nacos Client 2.x。不同版本之間API有差異老項目如果用的是Spring Cloud Greenwich或Hoxton代碼可能需要微調(diào)下文我會標(biāo)注出來。3.2 路由數(shù)據(jù)模型設(shè)計動態(tài)路由的第一步是要確定路由配置在Nacos里以什么格式存放。我采用的是JSON數(shù)組格式一個路由一個JSON對象結(jié)構(gòu)對齊Spring Cloud Gateway的RouteDefinition模型[ { id: order-service-route, uri: lb://order-service, predicates: [ { name: Path, args: { pattern: /order/** } } ], filters: [ { name: StripPrefix, args: { parts: 1 } } ], metadata: { source: nacos, owner: middleware-team }, order: 0 } ]為什么直接對齊RouteDefinition模型因為Gateway內(nèi)部的RouteDefinition就是長這樣我拿到JSON后直接做反序列化省去了字段映射的麻煩。Nacos里對應(yīng)的Data ID我命名為gateway-routes.jsonGroup用DEFAULT_GROUP配置文件類型選JSON。這里有個設(shè)計取舍想提一下你也可以把路由配置放在YAML里用spring.cloud.gateway.routes這個key然后通過RefreshScope配合PropertiesRouteDefinitionLocator實現(xiàn)動態(tài)刷新。但這種方式有個局限——它本質(zhì)上是讓Spring容器重新綁定配置屬性如果配置內(nèi)容較大刷新時容易出幺蛾子而且對路由的增刪操作要通過比對前后配置來實現(xiàn)邏輯不夠干凈。直接維護(hù)RouteDefinition列表的方式更可控推薦優(yōu)先考慮。3.3 核心代碼路由加載與監(jiān)聽我寫了一個DynamicRouteService負(fù)責(zé)從Nacos拉取路由配置、把配置轉(zhuǎn)換成RouteDefinition、注冊到Gateway并在配置變更時完成更新。核心邏輯如下Component public class DynamicRouteService implements ApplicationEventPublisherAware { private static final Logger log LoggerFactory.getLogger(DynamicRouteService.class); public static final String DATA_ID gateway-routes.json; public static final String GROUP DEFAULT_GROUP; private final RouteDefinitionWriter routeDefinitionWriter; private final RouteDefinitionLocator routeDefinitionLocator; private ApplicationEventPublisher applicationEventPublisher; Autowired public DynamicRouteService(RouteDefinitionWriter routeDefinitionWriter, RouteDefinitionLocator routeDefinitionLocator) { this.routeDefinitionWriter routeDefinitionWriter; this.routeDefinitionLocator routeDefinitionLocator; } Override public void setApplicationEventPublisher(ApplicationEventPublisher applicationEventPublisher) { this.applicationEventPublisher applicationEventPublisher; } /** * 全量刷新路由先清空舊路由再批量添加新路由 */ public void refreshRoutes(ListRouteDefinition definitions) { // 1. 獲取當(dāng)前所有已加載的路由定義 ListRouteDefinition existing routeDefinitionLocator.getRouteDefinitions() .collectList().block(); if (existing ! null !existing.isEmpty()) { existing.forEach(routeDefinition - { try { routeDefinitionWriter.delete(Mono.just(routeDefinition.getId())).subscribe(); } catch (Exception e) { log.error(刪除路由失敗, id{}, routeDefinition.getId(), e); } }); } // 2. 批量添加新路由 definitions.forEach(definition - { try { routeDefinitionWriter.save(Mono.just(definition)).subscribe(); } catch (Exception e) { log.error(保存路由失敗, id{}, definition.getId(), e); } }); // 3. 發(fā)布路由刷新事件觸發(fā)RouteRefreshListener重建路由 this.applicationEventPublisher.publishEvent(new RefreshRoutesEvent(this)); log.info(動態(tài)路由刷新完成, 共 {} 條路由, definitions.size()); } /** * 增量更新單條路由 */ public void updateRoute(RouteDefinition definition) { try { routeDefinitionWriter.delete(Mono.just(definition.getId())).subscribe(); routeDefinitionWriter.save(Mono.just(definition)).subscribe(); this.applicationEventPublisher.publishEvent(new RefreshRoutesEvent(this)); log.info(路由增量更新完成, id{}, definition.getId()); } catch (Exception e) { log.error(更新路由失敗, id{}, definition.getId(), e); } } /** * 刪除單條路由 */ public void deleteRoute(String id) { try { routeDefinitionWriter.delete(Mono.just(id)).subscribe(); this.applicationEventPublisher.publishEvent(new RefreshRoutesEvent(this)); log.info(路由刪除完成, id{}, id); } catch (Exception e) { log.error(刪除路由失敗, id{}, id, e); } } }然后寫一個NacosRouteConfigWatcher在網(wǎng)關(guān)啟動完成后從Nacos拉取配置并注冊監(jiān)聽器Component public class NacosRouteConfigWatcher implements ApplicationRunner, InitializingBean { private static final Logger log LoggerFactory.getLogger(NacosRouteConfigWatcher.class); private final DynamicRouteService dynamicRouteService; private final ObjectMapper objectMapper; Autowired private NacosConfigManager nacosConfigManager; Autowired private NacosConfigProperties nacosConfigProperties; public NacosRouteConfigWatcher(DynamicRouteService dynamicRouteService, ObjectMapper objectMapper) { this.dynamicRouteService dynamicRouteService; this.objectMapper objectMapper; } Override public void run(ApplicationArguments args) { initAndWatch(); } private void initAndWatch() { try { // 1. 先獲取配置確保網(wǎng)關(guān)啟動時路由就位 ConfigService configService nacosConfigManager.getConfigService(); String config configService.getConfig(DynamicRouteService.DATA_ID, DynamicRouteService.GROUP, 60000); if (StringUtils.hasText(config)) { parseAndApply(config); } // 2. 訂閱配置變更事件 Listener listener new Listener() { Override public void receiveConfigInfo(String configInfo) { log.info(檢測到Nacos路由配置變更, 開始刷新); parseAndApply(configInfo); } Override public Executor getExecutor() { return Executors.newSingleThreadExecutor(r - { Thread t new Thread(r, nacos-route-listener); t.setDaemon(true); return t; }); } }; configService.addListener(DynamicRouteService.DATA_ID, DynamicRouteService.GROUP, listener); log.info(Nacos動態(tài)路由監(jiān)聽器注冊完成); } catch (Exception e) { log.error(初始化Nacos動態(tài)路由監(jiān)聽器失敗, e); } } private void parseAndApply(String config) { try { ListRouteDefinition definitions objectMapper.readValue(config, new TypeReferenceListRouteDefinition() {}); if (definitions null || definitions.isEmpty()) { log.warn(路由配置為空, 跳過刷新); return; } dynamicRouteService.refreshRoutes(definitions); } catch (JsonProcessingException e) { log.error(路由配置解析失敗, 內(nèi)容{}, config, e); } } }這里有一個很關(guān)鍵的點監(jiān)聽器里的ConfigService不能直接用NacosConfigManager.getConfigService()在構(gòu)造時獲取因為Nacos配置中心的初始化可能還沒完成。所以我用InitializingBean或者ApplicationRunner延遲到Spring容器啟動后期再注冊監(jiān)聽器確保ConfigService可用。這是我踩過的第一個坑后面會詳細(xì)說。3.4 為什么選擇全量刷新而不是增量更新我在代碼里默認(rèn)實現(xiàn)了refreshRoutes全量刷新同時保留了updateRoute和deleteRoute的增量接口。實際生產(chǎn)環(huán)境中我首選全量刷新。理由有三點第一配置中心里的內(nèi)容就是一個完整的路由表全量刷新邏輯最簡單不容易出錯。增量更新需要對比前后差異這個對比邏輯本身就有bug的容身之地。第二網(wǎng)關(guān)的路由表通常不會特別大幾十條到上百條的量級全量刷新的耗時在毫秒級到十毫秒級完全可以接受。第三全量刷新天然冪等重復(fù)執(zhí)行不會產(chǎn)生臟數(shù)據(jù)。增量更新如果出現(xiàn)一次失敗網(wǎng)關(guān)內(nèi)就可能殘留一條錯誤的路由。當(dāng)然全量刷新也有它的副作用清空再重建的間隙理論上路由表是空的。但因為整個刷新過程是在單線程里順序執(zhí)行delete和save加上最后publish的RefreshRoutesEvent是同一個事務(wù)上下文里觸發(fā)的實際影響窗口非常小。后面我會講到怎么用并行刷新和原子切換來進(jìn)一步縮小這個窗口。4. 路由刷新機(jī)制拆解事件驅(qū)動下Gateway怎么重建路由4.1 Gateway的路由存儲結(jié)構(gòu)要理解動態(tài)路由為什么刷新一下就能生效得先搞清楚Spring Cloud Gateway內(nèi)部是怎么存路由的。Gateway里有兩個核心接口RouteDefinitionLocator負(fù)責(zé)加載路由定義。它返回的是RouteDefinition也就是配置解析后的原始對象RouteDefinitionWriter負(fù)責(zé)新增和刪除路由定義默認(rèn)情況下Gateway會組合多個RouteDefinitionLocator來加載路由包括從配置文件讀取的PropertiesRouteDefinitionLocator、從注冊中心服務(wù)發(fā)現(xiàn)的DiscoveryClientRouteDefinitionLocator等。路由定義加載之后RouteDefinitionRouteLocator會把這些RouteDefinition轉(zhuǎn)換成真正的Route對象放進(jìn)一個FluxRoute的緩存里。Route對象里包含了具體的斷言Predicate和過濾器Filter實例是真正參與請求匹配和轉(zhuǎn)發(fā)的對象。當(dāng)你通過RouteDefinitionWriter.save()新增或刪除一條路由定義后如果不做任何額外操作Gateway內(nèi)存里的Route緩存是不會自動更新的。這時候就需要RefreshRoutesEvent出場。4.2 RefreshRoutesEvent如何觸發(fā)路由重建看一下RouteRefreshListener的源碼邏輯不同版本略有差異但核心一致public class RouteRefreshListener implements ApplicationListenerRefreshRoutesEvent { Override public void onApplicationEvent(RefreshRoutesEvent event) { // 跳過未啟動的路由刷新 if (!this.gatewayProperties.isStartup()) { return; } // 清除路由緩存 routeDefinitionRouteLocator.reset(); } }reset()方法清空了RouteDefinitionRouteLocator內(nèi)部的緩存Map。這樣下一次請求進(jìn)來時RouteDefinitionRouteLocator發(fā)現(xiàn)緩存為空就會重新從所有RouteDefinitionLocator加載路由定義再走一遍RouteDefinition到Route的組裝過程。也就是說動態(tài)刷新的鏈路是這樣的Nacos配置變更 → ConfigService監(jiān)聽器觸發(fā) → DynamicRouteService.refreshRoutes() → RouteDefinitionWriter 刪除舊定義 保存新定義 → 發(fā)布 RefreshRoutesEvent → RouteRefreshListener.reset() → 清空 Route 緩存 → 下次請求重新加載路由定義并組裝 Route → 新路由生效這一整條鏈路里RouteDefinitionWriter和RefreshRoutesEvent是兩個關(guān)鍵的把手。前者負(fù)責(zé)改數(shù)據(jù)后者負(fù)責(zé)通知Gateway重新計算。4.3 刷新期間的性能問題與優(yōu)化搞清楚刷新機(jī)制之后你會發(fā)現(xiàn)一個問題reset()清空緩存后下一個請求觸發(fā)重新加載這個加載過程是同步阻塞的。如果路由數(shù)量很大或者路由斷言邏輯很復(fù)雜比如每個路由都要遠(yuǎn)程調(diào)用某個系統(tǒng)判斷流量重建時延會直接影響第一個請求的耗時。我在壓測里碰到過這個情況100條路由全量刷新后第一個請求的P99從正常的20ms直接飆到300ms。這個現(xiàn)象叫緩存擊穿式冷啟動本質(zhì)上是因為新路由還沒準(zhǔn)備好請求就已經(jīng)到了。解決方案有兩個方向方向一預(yù)熱。在發(fā)布刷新事件之前先手動觸發(fā)一次路由加載讓緩存先重建然后再發(fā)布事件。但Gateway沒有提供官方的預(yù)熱API實現(xiàn)起來相對麻煩。方向二控制刷新頻率和粒度。把路由按業(yè)務(wù)域拆成多個配置文件哪個域變了就刷新哪個域的配置避免全量刷新帶來的全局冷啟動。我最終采用的就是這個方案把公共路由和業(yè)務(wù)路由拆到不同Data ID下各自維護(hù)監(jiān)聽器。實測下來單次刷新涉及的路由數(shù)量從100降到20左右P99影響可以忽略不計。另外補(bǔ)充一個細(xì)節(jié)RouteDefinitionWriter的save和delete返回的都是MonoVoid我用的是subscribe()這意味著操作是異步觸發(fā)的。如果你在refreshRoutes方法里調(diào)完save立刻publishEvent理論上前面的寫操作可能還沒真正完成。穩(wěn)妥的做法是先把所有Mono收集起來等它們?nèi)客瓿珊笤侔l(fā)布刷新事件。寫法可以參考這樣public void refreshRoutes(ListRouteDefinition definitions) { // 刪除舊的 ListMonoVoid deleteMonos existing.stream() .map(rd - routeDefinitionWriter.delete(Mono.just(rd.getId()))) .collect(Collectors.toList()); // 保存新的 ListMonoVoid saveMonos definitions.stream() .map(rd - routeDefinitionWriter.save(Mono.just(rd))) .collect(Collectors.toList()); // 等待全部完成后發(fā)布事件 Flux.concat(Flux.fromIterable(deleteMonos), Flux.fromIterable(saveMonos)) .then() .doOnSuccess(v - applicationEventPublisher.publishEvent(new RefreshRoutesEvent(this))) .subscribe(); }這樣用Flux.concat串行執(zhí)行并等待完成再發(fā)事件能避免異步競態(tài)。這也是我在生產(chǎn)環(huán)境收到過路由刷新后部分請求匹配到舊路由的bug報告后做的修復(fù)。5. 上線三個月的踩坑實錄從路由不生效到雪崩邊緣5.1 坑一修改配置后路由紋絲不動這是我遇到的第一個問題。Nacos配置改了網(wǎng)關(guān)日志里也打印了檢測到Nacos路由配置變更但實際請求還是按老路由走新路由完全沒生效。排查了很長時間最后定位到兩個原因。第一個原因是RouteDefinitionRouteLocator和RefreshRoutesEvent的事件發(fā)布不在同一個線程里我第一版代碼用的是EventBus的異步監(jiān)聽導(dǎo)致reset()執(zhí)行時路由定義還沒寫完。前面4.3里講的Flux.concat方案就是為了解決這個競態(tài)問題。第二個原因更隱蔽Gateway內(nèi)部存在緩存一致性延遲。RouteDefinitionRouteLocator除了內(nèi)部的一個Map緩存外還通過CompositeRouteDefinitionLocator組合了多個RouteDefinitionLocator。其中DiscoveryClientRouteDefinitionLocator會定期從注冊中心拉取服務(wù)列表生成路由如果Nacos配置里的路由ID和注冊中心自動生成的路由ID沖突注冊中心那側(cè)的路由可能覆蓋掉配置中心的路由。解決方式是在Nacos路由配置里避免使用和注冊中心服務(wù)名相同的路由ID。5.2 坑二刪除路由后舊路由依然攔截請求另一個詭異的問題是我在Nacos里刪掉了一條路由網(wǎng)關(guān)日志顯示刪除成功但請求打到老路徑上依然有響應(yīng)。排查后發(fā)現(xiàn)問題出在RouteDefinitionRouteLocator的緩存重置機(jī)制上。reset()清空的是緩存Map但如果請求已經(jīng)被路由到下游服務(wù)連接還在保持中舊路由的自動恢復(fù)邏輯會讓連接繼續(xù)走完。更麻煩的是有些情況下Gateway從緩存里取Route對象時拿到的不是最新一次reset()后的版本。最終的修復(fù)方案是刪除路由后除了發(fā)布RefreshRoutesEvent還要主動調(diào)一次routeDefinitionLocator.getRouteDefinitions()來確認(rèn)當(dāng)前存活的路由定義并且對下游連接做主動斷開。同時給路由增加了metadata里的status字段刪除不是物理刪而是先置為disabled讓斷言不匹配再異步清理定義這樣能避免刪除瞬間仍有請求命中的窗口。5.3 坑三多實例網(wǎng)關(guān)刷新不同步生產(chǎn)環(huán)境的網(wǎng)關(guān)是多實例部署的Nacos配置變更后各實例的監(jiān)聽器幾乎同時觸發(fā)但每個實例執(zhí)行全量刷新的時間點有細(xì)微差異。如果正好有流量打到還沒刷新完成的實例上新路由就是404。這個問題的本質(zhì)是全量刷新不是原子的。后來我把refreshRoutes改成了先保存新路由再刪除舊路由順序調(diào)整后每個實例在任何時刻都至少擁有一個版本的路由表。再加上Nacos配置本身是帶版本號的我在配置內(nèi)容里加了一個version字段刷新時先比較版本號版本號相同就不重復(fù)刷新避免無意義的全量重建。5.4 坑四路由刷新引發(fā)下游雪崩這是最嚴(yán)重的一次事故。某天線上做全量路由刷新過程中Gateway發(fā)出了大量并發(fā)請求到下游的某個核心服務(wù)直接把那個服務(wù)的線程池打滿了引發(fā)連鎖故障。根因有兩層。第一層全量刷新時我做了并行刪除和保存刪掉舊路由后正在處理的請求如果還沒完成路由匹配會重新走一遍路由查找這個查找過程在緩存被清空后會變成同步加載多個請求同時觸發(fā)加載就會產(chǎn)生并發(fā)涌入。第二層我有一條路由的GlobalFilter里做了下游服務(wù)的批量調(diào)用路由刷新導(dǎo)致Filter被重建那些新Filter實例在Spring容器里的初始化邏輯又觸發(fā)了對下游的批量預(yù)熱請求。事后我做了三個調(diào)整刷新路由操作加了分布式鎖保證同一時間只有一個網(wǎng)關(guān)實例在做全量刷新路由加載改為分批進(jìn)行每批50條批次之間sleep 100ms防止一次性加載過多導(dǎo)致下游壓力梳理了自定義GlobalFilter的初始化邏輯把啟動時的批量預(yù)熱調(diào)用改成了惰性加載5.5 踩坑后的最終版配置規(guī)范經(jīng)過三個月的折騰我沉淀了一套自己的動態(tài)路由配置規(guī)范在這里直接分享出來維度規(guī)范配置存儲NacosData ID為gateway-routes.jsonGroup為DEFAULT_GROUP配置格式JSON數(shù)組對齊RouteDefinition模型拆分粒度公共路由和業(yè)務(wù)路由拆到不同Data ID減少全局刷新刷新方式全量為主、增量為輔串行執(zhí)行刪除和保存版本管理配置內(nèi)容帶version字段避免重復(fù)刷新冪等控制刷新前校驗配置CRC值無變化則跳過多實例協(xié)調(diào)刷新操作加分布式鎖避免并發(fā)刷新監(jiān)控告警監(jiān)聽配置刷新耗時和路由數(shù)量變化超出閾值告警回滾預(yù)案Nacos配置歷史保留30天快速回滾配置即可恢復(fù)舊路由這套規(guī)范的核心思路就一句話動態(tài)路由的價值在于快速響應(yīng)變化但越是靈活的東西越需要約束不然靈活性本身就變成了風(fēng)險源。6. 動態(tài)路由以外的兩個擴(kuò)展點路由動態(tài)化只是網(wǎng)關(guān)治理的第一步。跑通之后我順手把下面兩個能力也接入了同一個配置通道這里簡單提一下后續(xù)文章再展開。6.1 動態(tài)限流與熔斷配置路由能動態(tài)了那路由上的限流參數(shù)、熔斷閾值、重試策略理論上也可以動態(tài)化。我在DynamicRouteService里增加了一個擴(kuò)展字段extraConfig專門存放限流閾值、熔斷開關(guān)、超時時間等參數(shù)監(jiān)聽器解析時把這些參數(shù)同步到對應(yīng)的Filter配置中。這樣大促前調(diào)整限流閾值就不需要動代碼了。6.2 路由灰度與流量染色另外一個我比較看重的擴(kuò)展點是利用路由的metadata做灰度標(biāo)識。比如新版本服務(wù)上線后在Nacos里臨時改路由給versionv2的服務(wù)打個標(biāo)簽通過Weight斷言把5%的流量切過去驗證沒問題再逐步放量。整個過程完全不用重啟網(wǎng)關(guān)也不改服務(wù)端代碼灰度發(fā)布對運維來說非常友好。7. 一點個人體會動態(tài)路由這個功能代碼量不算大核心邏輯一百多行但真正把它用好靠的是對Gateway內(nèi)部機(jī)制的充分理解和對生產(chǎn)環(huán)境的敬畏。我剛開始的時候覺得不就是監(jiān)聽配置然后刷新嘛結(jié)果上線后連續(xù)被坑從路由不生效到雪崩每次都是血淚教訓(xùn)。如果你準(zhǔn)備在自己項目里落地動態(tài)路由我最后給三個建議第一先把Gateway的RouteDefinitionRouteLocator、RouteRefreshListener源碼讀一遍搞清楚緩存和刷新的完整鏈路再動手寫代碼能幫你避掉一大半的坑。第二一定要做正反向驗證。正向驗證改一條路由后能否秒級生效反向驗證刪一條路由后流量能否正常摘除。我在測試環(huán)境反復(fù)驗證了兩周才敢上生產(chǎn)。第三不要把動態(tài)路由做成萬能鑰匙。路由的頻繁變動本身說明你的服務(wù)治理可能有問題動態(tài)路由應(yīng)該服務(wù)于灰度、容災(zāi)和快速接入而不是掩蓋架構(gòu)設(shè)計的混亂。這套東西上線幾個月最大的感受就是網(wǎng)關(guān)終于不再是改一次配置提一次心吊膽的瓶頸了。后面我會繼續(xù)更新這個系列把網(wǎng)關(guān)限流、灰度、熔斷的實戰(zhàn)內(nèi)容整理出來希望對你有用。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲狠狠狠| 超碰在线caop| 色色婷婷综合网| 久热A片| 日日夜夜爽| 婷婷丁香五月天色色| 成人视频在线免费播放| 激情网五夜婷婷| 亚洲狠狠色丁香婷婷综合久久| 俺也去在线视频| 欧美在线视频免费播放| 五月天色图| 亚洲 无码 中文字幕 中出| 亚州操人在线视频| 五月天激情网页| 婷婷日本色| 五月婷婷激情综合av| 91超碰在线观看| 成片免费播放| 五月天婷婷综合| 97天堂| 久色激情| 岛国av网| 五月天婷婷免费| 丁香色婷婷| 日日鲁鲁夜夜爽爽| 一区二区乱码视频| 亚洲综合色成丁香五月色| www.狠狠操| 欧美99热| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 婷婷性爱网| 天天日日天天| 精品在线网站| 成人 在线观看国产| 99视频只有精品| 亚洲综合网 665566| 操B视频在线播放| 日亚二欧美| 天天艹天天综合网| 亚洲黄色网址| www.国产色| 婷婷五月天激情五月天网站| 亚洲综合婷婷五月| 婷婷色狠狠| 九热免费视频| 日韩人妻操逼视频| 狠狠综合久久| 中文字幕无码成人电影| 丰满老熟妇BBBBB搡BBB| 91色五月| 五月天涩涩| 亚洲一个色| 丁香五月激情综合久久| 日本三级韩三级99久久| 九九综合| 五月天婷婷中文字幕在线播放| 丁香色色色| 97碰精品| 国产午夜精品AV一区二区麻豆| 久久婷婷视频| 伊人午夜综合色啪| 丁香五月色综合色播五月| 亚洲第二AV| 婷婷色婷婷| 婷婷五月天精品| 深爱丁香网| 人妻中文av| 免费视频无码| 大香蕉啪啪网| 九色91视频| 天天日天天干天天插天天射| 日韩黄黄| 9在线9在线婷婷在线国产| 丁香六月综合| 婷婷丁香成人| 青青草成人网| 深爱激清网| 九九色图| 成人中文字幕在线| 免费亚洲婷婷中文字幕| 日日夜夜综合| 亚州欧美国产久精国产99综合视频| 久久精品综合色| 8050一级网| 第四色五月天| 五月丁香六月婷| rr天天操| 96五月丁香熟女| 婷婷五月天777| 在线观看的av| 亚洲旡码| 日本在线视频播放91| 影音先锋五月婷婷| 久热一区| 自拍偷窥99热| 影音先锋四区| 天天日天天插| 人人色婷婷| 亚洲丁香五月在线观看| 五月丁香六月婷婷不卡免费无码| 欧美性二区| 色婷另类| 久99热在线观看| 开心婷婷五月综合| 少妇性BBB搡BBB爽爽爽视頻| h在线看免费版在线看| 色色婷婷五月天| 六月激情综合| 狠狠色97| 亚洲婷婷五月天| 人人爽欧美婷婷久久久五月丁香| 久久久久人妻精选| 五月天婷婷视频30| 天天橾夜夜爽| 久久色五月天激情小说| 五月婷婷六月丁香色| 99色热综合| 538久久| 婷婷五月综激情| 色五月婷婷青娱乐| 六月婷婷啪啪| 婷婷综合色| 99九九玖玖| 久久一级片| 91fuliwang| 九九免费精品| 五月婷婷激情中心| 精品亚洲VA网站| 激情小说视频图片网| 五月激情黄色小说| 激情综合网亚洲色图| 天天爽在线视频| 中文字幕在线播放视频| 丁香婷婷性爱| 精品国产va久久久久| 久久Xx| www.第四色99| 99热黄| 亚洲韩国日产综合AV| 丁香婷婷五月色综合| 色五月丁香com| 少妇大叫太大太粗太爽了A片| 大香蕉婷婷五月| 开心激情婷婷| 丁香大香蕉| 九九热精品| 亚洲网视屏| 色婷婷a v| 久久久大香蕉| 五月婷婷丁香五月| 日本二级毛片二级毛片| 这里只有精品96| 9色资源在线| 九九综合九色欧美狠狠| 人妖色AV色综合| 欧美日韩五月婷婷| 婷婷九月色| 婷婷五月综合婷婷| 午夜无码精品色综合久久| 丁香五月色播中文在线播放| 五月丁香无码| 亚洲婷婷五月| 99久热| 五月婷视频| 五月天色影院| 国产古装妇女野外A片 | 99热777| 99愛国产| 六月丁香激情网| 五月激情综合网| 色射影院| 伊人五月综合网| 99噜噜噜在线播放| 亚洲成人无码免费| 色五月激情视频在线综合| 99热这里只有精品21| 色五月视频无码播放| 丁香五月亚洲| 色99网| 久久er99热精品一区二区| 精品夜夜澡人妻无码AV| 亚洲无码九九九| 艹色18p| 婷婷天堂视频| 在线,国产,色,热视频| 五月丁香啪啪综合网| 久草五月天| 欧美成人精品老美女噜噜噜| 综合99视频| 五月天中文网| 色在线99| 亚洲乱码日产精品BD| 五月婷狠狠| 狠狠第四色| 国产精品久久..4399| 色五月首页| 婷婷五日b| 丁香五月 六月婷婷首页| 久久人妻久久| 丁香激情五月天| 男人大jjc女人免费视频| 岛国资源站| 99er6免费视频热播| 国产热精品| 欧美性爱中文字幕| 九九热123| 超碰色婷婷| 热99视频精品| 超碰在线观看9| 92久久精品一区二区| 久久天堂女人| 99er6| 色综合色综合色综合色综合| 97精品人人A片免费看| www亚洲无码| 婷婷丁香五月亚洲欧美| 毛片色五月| 99操久久| www.久操| 插插网爽妇五月丁香| 夜夜操夜夜操| 99热国品| 婷婷在线综合| 色深爱五月| 狠狠狠狠狠狠| a在线免费v| 狠狠va| 99热在线看片| 九九热内射| 久久婷婷五月综合97色一本| 国产欧洲欧洲精品久久| 成人国产欧美大片一区| 丁香五月性爱| 亚洲五月天激情| 丁香五月欧美| 久综合| 激情婷婷五月天在线观看| 99视频网址| 8090在线影视少妇| 丁香五月天在线观看视频| 国产综合网在线| 啪啪综合网| 人妻aV在线| 国产精品蜜臀99| 五月婷婷香| www.91AV.COM| 插插五月天| 婷婷五月色| 操操熟女| www.色擼擼.com| 狠狠操天天干| 最新av在线观看| 五月婷婷综合在线观看| 婷婷丁香九色| 狠狠肏综合网| 国产成人综合网| 9l视频自拍9l九色9l成人| 欧洲亚洲激情五月天在线| 九九这里只有精品| 欧美内射AA| 丁香六月婷婷色XXXXX| 久久久99精品免费观看| 色很很96| 丁香五月电影| 色情五月综合婷婷| 五月丁香婷婷色色色| 色五月婷婷丁香凹凸| www.狠狠狠.com| 欧美操人| 91婷婷在线| 五月亭亭网成人在线视频| 香蕉久久国产AV一区二区| 99热精品在线观看| 啊V视频在线观看| 丁香婷婷午夜| 五月开心色| 五月婷婷黄色网址| 五月婷婷色情| 天天久综合网永久入口18| 婷婷色五月激情| 亚洲欧美成人在线| 女婷久久| www.五月婷婷久久.com| 99 re视频一区| 日本色爽| 98永久精品| 久色欧美| 91干网| 亚洲激情97五月天| www99精品亚| www夜夜操wwwcon| 亚洲最大成人综合网720P| 久久五月天精品视频| 色婷婷丁香五月天| 俺来也综合网精品一区| 欧美25p| www99精品| 91色涩| 日韩AV中文字幕在线| 五月天俺去也| 大香蕉婷婷婷| 26UUU欧美| 超碰成人影视| 97热这里只有精品| 六月婷色| 五月丁香婷婷色色| 六月丁香花婷婷| 久久精品99| 香蕉综合在线| 国产成人网站在线观看| 樱花99视频| 五月天婷婷久久| www.精品99| 天天色综合网1| WWW色五月| 26uuu亚洲欧美| 99欧美精品99日本精品| 99热99热在线| 欧洲S级在线观看| 少妇性按摩无码中文A片| 色欲婷婷五月天丁香| 五月天影院| 肏日网在线看| 五月丁香六月婷婷成人电影| 日本3级片偷拍网站| 婷婷伊人| 激情五月婷婷在线区| 国产精品第一国产精品| 99热成人在线观看| 色吊丝永久访问网址| 99性爱| 在线观看996精品| 丁香九月综合激情| 色五月婷婷激情综合网| 五月丁香花成人社区| 色人妻五月| 欧美碰碰碰| 超碰国产AV| 婷婷五月丁香久久| 99国产精品久久久久久久久久久| 天天夜夜操| 91热久| www.五月天色色.com| 婷婷激情综合网| 伊人婷婷五月天| 久久这里都是精品视频| 久久区区一二三av| 婷婷大香蕉| 日本色婷婷综合| av网站免费在线| 丁香五月婷婷六月丁香| 亚洲色9| 久久精品99| 开心五月激情五月丁香五月婷婷| 综合激情sV| 五月婷婷三级| 色五月天成人在线| 91在线操| 天天操夜夜操| 激情五月天激情五月天| jiqingtaose五月天| 国产JK精品白丝AV在线观看| 色导航色婷婷五月天在线观看| 欧美日韩国产日本精品四虎网网站物| 日日干天天爽| 婷激情五月| 日韩一级网站| a久久| 人人爱人人添| 无码色色色色色| 韩国中文字幕91| 人人干人人看| 玖玖伦理电影| www.色色com| 色在线99| 激情五月六月婷婷综合啪啪| 婷婷国产欧美97| 思思热视频| 欧美婷婷五月| 五月丁香A片| 青青久久五月| 久久精品视频99| 狠狠干在线视频| 爆乳熟女一区二区三区爆乳| www.色五月| 天天玩夜夜操| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 新激情五月天| 99九九精品| 色情久久久| 人人97碰| 婷婷伊人欧美| www.激情五月| 日本五月天激情| www.激情在线| 精品人妻在线| 性爱网五月婷婷| 影音先锋色婷婷| 天天干-天天日| 婷婷五月丁香花综合| 欧洲电影在线观看免费版英语版| 任你爽精品免费视频6| 欧美色骚婷婷五月天| 月色色综合婷婷网| 少妇水多A片太爽了| 久久总和99| 婷婷丁香基地在线| 九九五月天| 日本道久久91| 久久精品99国产精品日本| 激情综合一| 中文字幕簧片| 丁香五月激情宗合| 97色婷婷在线观看| 另类婷婷五月天啪帕帕| 这里只有精品久久| 香焦网五月天| 丁香六月婷婷一区二区三区| 99热这里只有精品26| 婷婷五月丁香色播| 久久精彩综合视频| 99久久网站| 五月婷婷婷色| 丁香久久五月婷综合| 婷婷成人视频| 99riAV国产精品视频| 五月香六月婷| 五月丁香六月婷婷免费| 人人摸人人操人人爽| 丁香av网| 艹B高清无码| 99在线观看| 狠狠搞狠狠操| 婷婷夜夜操| 亚洲性图一区二区三区| 97碰在线视频| 丁香婷婷色色| 日韩久综合| 99热午夜精品| 这里只有精品视频在线| 久久综合丁香激情五月| 久草五月婷婷| 色五月成人| www.99成人视频| 丁香桃色综合网| 99久久久| 99久久网站| 啪啪夜久久| 变天就操逼婷婷五月| 99综合| 成人丁香五月| 天天综合久久| 人人草人人舔| 色五月激情五月开心五月| 这里只有免费精品| 激情婷婷五月天日本系列| 激情婷婷丁香色五月综合| 婷婷天堂综合| 操操天堂| 伦乱天堂| 开心五月综合激情网| 亚洲无码www| 婷婷五月天天激情| 激情网色五月| 婷婷五月在线| 婷婷综合在线网| 丁香五月婷婷免费视频| 国产性爱在线| 热91久| 另类少妇人与禽zOZZ0性伦| 99热久| 五月婷婷丁香| 婷婷五月综合激情| 色五月人妻| 色色婷婷丁香| 婷婷免费视频| 免费视频无码| 99久久国产宗和精品1上映| 91精品91久久久中77777| 亚洲无码色| 丁香五月天激情综合| 99热这| 五月激情偷拍| 大香蕉综合| 色九九综合| 国产成人片| 性做爰1一7伦| 国产精品日本一区二区在线播放| 日日影院 | 欧美午夜乱妇午夜福利| 99操九九网| 久久丁香网| 在线亚洲综合网| www.色色com| 久色88| 91艹人| 原琪琪色影院| 深爱婷婷基地| 美女要搞搞天天搞搞搞网站| 日韩欧美骚货| 99亚洲视频| 国产avapp 网| 色色色婷婷五月天| 狠狠干天天日| 丰满少妇乱A片无码| 五月婷婷亚洲天堂97色婷婷| 99精品丰满| 东北熟女高潮99综合99| 丁乡久久| 天天日天天做天天舔| 狠狠操天天操| 狠狠va| 五月丁香花伦理电影| 伍月婷婷六月丁香| 99在线免费视频| 91九色视频| 五月婷婷基地| 九月丁香婷婷网| 五月天婷婷亚洲| 色天堂97| 天天操夜夜爽天天操| 日日夜夜青青草| 丁香五月在线观看完整版| 五月激情站| 人妻综合网| 六月色婷婷| 国产欧美精品AAAAAA片| 91狼友视频网页更新| 69精品人人人人人人| 伊人超碰| 丁香五月天在线直播观看| 婷婷丁香五月天小说| 婷婷噜噜| 91操碰| 国产真实乱了老女人视频| 大香蕉丁香婷婷| 2017人人操| 日本色噜| 婷婷王月天影院| www.婷婷网| 欧美色欲色欲天天天www| 天堂综合久久 | 热久久视频99| 色欲婷婷五月天丁香| 可以看的av网站| 激情五月丁香五月色| 激情五月天99色| 色婷婷影院| 五月激情开心婷婷| 五月丁香六月在线| 丁香五月婷婷啪啪| 亚州第一A片| 99小视频在线| 久久色五月天激情小说| 欧美久久婷婷| 好吊兆人妻| 九洲一级A片| 久久婷婷六月综合资源| 日日操天天操| 欧美操人| 丁香五月成人自拍| 新久久五月天激情| 亚洲a色| 激情五月婷婷五月| 久草视频大香蕉99| 欧洲永久精品| 激情六月天婷婷| 噜噜综合网| 五月天亭亭俺也| 日韩一级片| 色色影院黄大片| 丁香丁香激情网| 婷婷五月丁香在线视频| 五月天成人综合| 无码A片一区二区免费| 欧美激情 日韩无码 婷婷 五月天| 天堂草在线观看| 五月丁香六月情| 91av无码| 狠狠色官网| 九月婷婷激情| 在线超碰免费| 丁香女人五月天| 婷婷五月天激情网| www.丁香黄色五月天人与| 婷婷久久五月天中文字幕在线观看| 思思热久久阴99| 丁香成人五月天| 亚洲亚洲人成综合网络| 天天肏在线观看| 色色欧美色色| 五月丁香六月激情| 另类图片色五月| 丁香五月天在线| 五月天激情网站| 丁香久久综合| 日日插日日干| 人妻丰满精品一区二区A片| 成人电影在线免费试看| 第四色首页| 天天色粽合合合合合合合| 开心五月婷婷婷美女| 亚洲五月情| 丁香五月社区| 99精品视频偷拍| 九九精品在线观看视频6| 成人精品视频99在线观看免费| 超碰免费大香蕉| 在线1青婷| 97干干干丁香| site:jszngf.com| 九九aV| 欧美三级级99久久| A久网| 国产99久久久国产精品免费看 | 色约约视频一区二区三区四区五区| mmm1717.6dbm人人爱人人操| 九九99久久| 久久大香蕉视频| 天天碰夜夜爽| 韩国中文字幕91| www.99热最新视频8| 欧美精品99久久久| 91干视频| 亚洲成人网站在线播放| WWW.久久久久久久久久久久久| 天天爱天天做天天爽| 9久久精品| 五夜婷婷| 国产成人网站在线观看| 97人操人免费视频| 这里只有精品视频| 五月亭亭色| 亚洲性爱区无码区| 六月婷综合| 色五月丁香激情视频| 九九在线视频| 99色这里| jiZZdr| 99熟女| 亚洲国产成人综合| 大香蕉五月丁香| 丁香九月综合激情| 五月丁香黄色| 五月天久久网站| 婷婷激情五月视频| 激情六月婷婷| 日本色色网站| 亚卅毛片| 欧美日韩成人免费在线| 欧美婷婷日本| 九九青青草成人| 亚洲永久四色| 天天爽在线视频| 狠狠干狠狠色| 毛片网站谁有| 激情五月婷婷| 五月天亚洲最大成人| 91狠狠综合久久久久久| 亚洲色激婷| 高清一区二区三区日本久| 婷婷五月丁香在线观看| 91精品久久久久久久久久| 六月丁香五月亭亭| 一本久久婷婷| www,99热| 伊人九九综合| 超碰国产在线观看| 91操片| 九九精品热| 开心久久xxx色| 五月天婷婷色| 99这里只有免费的小视频在线观看| 五月天婷婷影院| 五月丁香激情婷婷综合字幕| 激情婷婷丁香五月| 亚洲aV写真天天综合网久久| 天天透天天干| 91丁香五月| 日韩操人| 女人高潮内射99精品| 99热精品综合| 色综合久久无码| 色婷婷综合影院| 综合色五月天| 一起草av| 亚洲、热| 亚洲综合在线网站| 色婷网| 熟女乱论网| 久久婷婷七月丁香| 久久婷婷五月综合色丁香| 亚洲成人无码片| 久久激情五月天| 激情五月综合色| 裸体做A爰片毛片A片免费| 丁香婷婷色五月合集| 超级碰人人操人人干| 欧美久久网| 99干日日干| 这里只有精品视频在线看| www.99久久久久99| 亚洲另类在线观看| 欧美噜一噜| 99caobi| 天天摸天天肏| 伊人丁香五月| 色婷婷五月天无码视频| 九九综合精品| 婷婷综合五月激情| 超碰在线94| 亚洲成人综合在线| 思思综合热| 色五月婷婷五月天激情综合| 婷婷成人视频| 九九无码视屏| 999婷婷综合| 风流少妇A片一区二区蜜桃 | 色婷婷成人影片| 97在线视频 欧美| 色在线99| 丁香开心深爱| 婷婷丁香91| 99re这里只有| 婷婷丁香五月天中文字幕| 操比激情五月综合| 国产成人+综合亚洲+天堂| 午夜婷婷五月天| 五月天丁香成人| 女人高潮内射99精品| 久久婷婷五月免费视频| 国产色色在线| 少妇性按摩无码中文A片| 99精在线| 午夜大香蕉| 久久九九激情五月天 | 五月婷婷天堂| 日韩无码AV电影网站| 99在线视频资源| 国产丁香五月天婷婷| 99碰| 亚洲熟妇AV乱码在线观看| 婷婷色综合| 人人舔人人色人人高潮| 色婷婷天堂| 国产69久久久欧美黑人A片| 激情小说五月欧美亚洲丁香| 激情综合五月| 欧洲区自拍| 婷婷六月色| 夜夜爱网站| 亚色网站小视频| 九九亚洲无码| 在线看片h站| 欧美丁香五月| 丁香五月 六月婷婷首页| 99久久久免费| 五月丁香日逼| 婷婷五月天激情网| 九九av| 日逼影音先锋男人资源站| 日日干天天爽| 婷婷色五月丁香六月欧美啪| 色婷婷五月天激情久久| 9精品视频在线观看| 97色射| 丁香六月啪啪| 激情五月天影院| 人人添人人| 欧美六月| 久久综合五月| 久久久宗合视频88| 大香蕉520| 九九热自拍| WWW五月| 五月天婷婷六月| 日韩人妻无码专区| 婷婷国产欧美97| 丁香五月欧美婷婷综合| 婷婷五月花| 九九这里是免费的视频5| 婷婷五月图片小说视频| 激情五月天综合网| 色五月天网| 天天艹天天综合网| 久久久久8888| 激情丁香五月天图片| 久热婷婷综合| 久久人妻精品| 婷婷五月天网址| 色丁香影院| 99亚洲欧洲| 五月婷婷啪啪| 亚洲婷婷丁香| 人人妻人人澡人人爽| 91聚色综合网| 欧美成人AAA片一区国产精品| 天堂A∨在线| 另类图片五月天| 婷婷.com| 五月婷婷乱| 激情婷婷五月天伊人在线观看| 五月婷婷丁香| 九九综合色综合| 77777亚洲午夜久久| 丁香婷婷浪潮AV久久综合| 激情内射人妻1区2区3区| 婷婷综合视频| 久久9久| 九九热婷婷| 思思国产99| 五月婷婷丁香色播网| 天天干-天天日| 久久在这里有精品| 亚洲激情丁香五月天色| 婷婷久久五月天| 久草大| 黄色成人网站在线播放| www.日韩国产| 91丨九色丨白浆| www:99热视频| 日韩AV一区二区三区| 日噜噜色| 激情综合另类| 91色色色视频| 五月综合激情网| 99只有精品9| 丁香五月天成人| 韩日另类| 九月婷婷在线视频| 色六月 婷婷| 色综色网| 伊人久久丁香狠狠婷婷综合香蕉 | 超碰99热| 综合激情五月丁香| 狠狠色丁香| 色色激情五月天| 色婷婷香蕉| 久热久| 久久精品99国产精品日本| 欧美精品18| 婷婷五月激情网| 天天干天天干天天| 丁香五月综合| 国产亚洲精品久久久久久牛牛| 99欧美| 国产精品a无线| 99国产精品白浆在线观看免费| 成人片黄网站色大片免费毛片| 八戒青柠影视剧在线观看| 色狠狠色噜噜AV天堂五区| 欧美午夜乱妇午夜福利| 五月丁香久久久| 色情网综合| 婷婷久久在线| www.maotanji.com| 99热99在线| 激情五月天噢美| 婷婷综合五月天激情| 噜噜噜噜在线| 综合激情网激情五月。| 激情综合五月开心狠狠| 婷婷丁香宗合888| 亚洲久热| 五月激情综合网| 成人美女网| 色色色丁香| 色婷久| 久碰久操| 思思色播| AⅤ色区| 五月天久久网站| 九九99热| 五月丁香五月综合欧美| 少妇被下春药玩弄A片| 沈娜娜av| 狠干综合| 色婷婷AAA| 色www久视频| 婷婷干六月综合旧址| 操九色| 最新热中文字幕| 丁香五月狠狠综合欧美| 丁香五月激情啪啪| 婷婷欧美激情综合| 99色色网| 超极99精品| 97色图片中文字幕视频在线观看 | 五月激激激情综合网| 婷婷涩涩五月天| 天天操人人干| 日韩人妻白浆视频系列| 99热久久日本| 色优久久| 欧美亚洲婷婷五月| 中文久久婷婷| 五月婷婷影院| 超碰在线日夜| 97干在线观看| 五月丁香日本片| 呦呦v线| 99久久五月婷婷| 亚洲这里只有精品| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 99这里只有精品| 中文字幕成人| AV中文网| 成人中文字幕在线| 九九热这里都是精品6| 香蕉AV777XXX色综合一区| 综合伊人久久| 99热综合| 97人人操com| 99,色| 婷婷色成人| 国产欧美第五十五页| 精品夜夜澡人妻无码AV| 狠狠色丁香婷婷五月| 精品国产va久久久久| 台湾佬天天日丁香婷婷五月天| 九色无码| 色色五月婷婷| 黄色AAAA韩国guochansanji| 九九综合九九| 丁香五月综合亚洲| 丁香色六月婷婷| 狠狠干五月| 久9久9久9久9久9久9| 五月色导航| 9热在线观看| 欧美日本日韩| 99热精品观看| 久99久热只有精品国产99| 日本高清久| 天天揷综合网| 亚洲AV人人操| 米奇影视资源777狠狠色婷婷五月天激情网| 丁香五月先锋| 99色爱| 综合另类视频| 337午夜福利| 婷婷五月激情小说| cao视频,现在观看| 亚洲另类在线观看| 九九热99热| 俺也去色| 婷久久| 日本激情五月天‘| 涩五月婷婷| 色色色色色五月| 夜夜www| 色欲婷婷五月天| 激情综合网激情五月婷婷| 热99精品视频五月| 亚洲丁香五月| 这里只有精品视频在线| 亚洲无码yw| 婷婷深爱网| 色婷婷六月天| 91色在线| 99在线精品在线视频| 精品无码久久久久久久久| 激情AV在线| 色色色成人网| 熟妇人妻中文字幕无码老熟妇 | 婷婷色色欧美| 六月五月婷婷| 最近中文字幕大全免费版在线| 激情99| 五月婷人妻| 五月婷色色| 色吊操色妞| 夜夜涩涩涩| 噜噜干日本| 91精品丝袜久久久久久久久粉嫩| 热久久思思热思思| 激情九月综合| 9999热精品| 婷婷五月天com| 成年人丁香五月| 天天搞天天色综合| 久久这里有精品视频在线免费观看| www色色com| 色综合九九色综合88| 九九视频这里只有精品| 99热91| 丁香六月啪| 五月丁香亚洲综合| 婷婷五月丁香亚洲| 激情深爱婷婷网| AV操逼网| 狠狠狠狠青草| 。久久久久久久久久久久久久人妻| 五月激情小说| 日韩啪啪视频| 深爱激情五月网| 国产精品 的国产| 思思热精品免费视频| 五月丁香婷婷色| 秋霞免费三级片| 色玖玖导航| 色播五月丁香综合| 日日舔夜夜操| 色色五月婷婷狠狠| 777精品成人a v久久| 五月婷婷激情综合网| 久99在线视频| 亚洲婷婷五月| 中文字幕婷婷在线| 亚洲激情免费视频观看| 日本波多野结衣视频| 五月婷婷之激情五月| 亚洲乱码日产精品BD| 婷婷香香五月| 欧美成人A片AAA片在线播放| 99激情网| 在线另类视频| 色色五月婷婷久久| 97色色色| 色噜噜五月丁香婷婷| 激情五月,色播五月| 9精品国产在热久久| 99热这里只有精品最新| 百度一下国产精品A| 久久AV电影| 91无码一起草| 狠狠狠狠狠草| 风流少妇A片一区二区蜜桃| aaa丁香五月天| 五月丁香影院| 久久婷丁香五月| 91热99| 亚洲中文字幕AV| 激情综合五月| 亚洲sesesese| www.zbzhongsen.com| 99这里只有免费的精品| 五月激情综合网| 翔田千里无码| 猫咪伊人AV| 毛片色五月| 国产精品丝| www.夜夜操| ww久久| 99操视频| 六月丁香射婷婷欧美色图片| 日韩丁香涩| 玖玖精品视频| 五月丁香少妇| 九月婷婷| 婷婷丁香五另类网站| 国产性av| 直接看的AV| 激情综合在线观看| 天天日夜夜拍| 欧洲激情五月天| 九九色情网五月天 | 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 五月在线| 插插插色综合网| 日本婷婷激情四射中文字幕在线观看| 这里精品| 久久九九亚洲| 丁香五月中文字幕| 亚洲人人96@| 中文字幕成人网站| 色五月婷婷在线观看| 六月99天天婷婷激情综合| 五月天色社区| 五月天五月色| 人人操人人看97干| 六月婷婷色色色| 久鲁鲁色网| 国产精品成人网址| 婷婷综合五月| 丁香五月激情婷婷视频| 丁香六月婷婷色XXXX| 色色AV色色色东莞| 97色片| 精品国产乱码久久久久久免费| 久久久久久五月天| 99热在线资源| 蜜桃人妻无码AV天堂三区| 五月婷婷福利| 激情爱爱网站| 成人片黄网站色大片免费毛片| 激情五月丁香六月婷婷| 久久激情五月网| 色五月激情婷婷| 99久久成人| av最新在线| 婷婷综合网站| 五月的丁香六月的婷婷| 日韩一级网站| 日本色五月| 淫荡综合网| 亚洲在线资源| 色色激情五月天| 九九婷婷五月天| 五夜婷婷| 亚洲精品一区无码A片| 热久精品| 无码一区二区日韩| 影音先锋男人女人| 91视频综合网| 婷婷综合成人五月天| 婷婷大香焦| 日本啪啪网| 六月色五月天天婷婷| www91久久| 狠狠爱综合网| 色停停五月,在线观看| 另类图片天天影视在线观看| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 九九热只有这里是精品| 国产jd1024基地手机看国产| 香蕉婷婷| 丁香成人色情五月天| 久久婷婷五月丁香网| 丁香六月天婷婷色| 天天色播| 五月婷婷免费| 国产精品视频免费看| 丁香五月婷婷欧美性爱| 色婷婷超碰| 婷婷五月丁香激情色情| 91婷色| 97操资源婷婷| 超碰在线99| 色99网| 激情婷婷亚洲五月| 日韩美女羞羞网站在线观看| 五月天色五月| 五月丁香久| 玖久精品视频9| 超碰在线国产| 国产永久一黄| 久久综合五月天| 大香蕉啪啪啪| 熟女国产在线一区二区三区四区| 九九在线精品| www.99日本| 五月天色五月天| 丁香五月自拍| www.激情五月天.com| 99热99色| 婷婷五月天AV在线| 9这里只有精品| 五月天亚洲图片婷婷| 久久婷婷五月综合色丁香| 久久97| 91视频一起草| 婷婷爱五月天人人爱| 亚洲小视频免费观看| 99超碰人人| 亚洲欧洲美女在线观| 婷婷丁香六月| 99啪99| 无码人妻一区| 人人综合五月人人婷婷| 97在线刺激| 成人国产网站| 久久综合五月天激情小说网站| 久久多色| 婷婷婷婷婷开心无码播放| 人人干Av| 久久这里只有精品07| 丁香婷婷五月色成人网站| 美女爆乳18禁www久久久久久| 亚洲亚洲人成综合网络| WWW,五月| 色综合天天天天做夜夜| 天天天操天天天爰| 色99日韩| 91热手机在线| 色婷婷色综合久久精品V| 久草热8精品视频在线观看| 激情综合区| 182TV大香蕉| 色情五月停停丁香| 天天成人综合视频| 亚州精品色情在线观看| 国产日产成人亚洲欧美国产VA| 伊人五月天97| 亚洲AV日韩在线观看| 99久热| 97人人干人人操| 9l视频自拍9l九色9l成人| 五月天成人网在线观看| 亚州精品久久久久AV无码| 丁香婷婷射| 久久九九怡红院| 91九色熟女| 非洲一级AV| 第四色五月婷婷| 五月丁香A∨在线| 99在线视频。| 日本一级黄色片。| 图片区 小说区 区 亚洲五月 | 婷婷香香五月| 色99在线观看| 亚洲AV无码影院| 久久国产高清| 不卡成人免费| 久久五月婷婷综合网| 日本操天堂| 国产古装妇女野外A片| 亚洲中文字幕在线观看| 夜夜爽天天爽| 色色色网站| 久久99热这里只频精品6学生| 深爱五月激情| 色色婷婷丁香| 操碰91| 激情五月小说婷婷| 久久久精品人妻| 91久久久久久久久18| 99热都是精品| 日本色色色| 婷婷六月久久综合导航| 色玖玖综合| 国产激情综合五月久久| 丁香五月在线观看| 少妇达人正片在线播放_ikun_福利吧| 99热这里有精力| 99re视频精品| 五月天亭亭俺也| 俺去也五月天婷婷| 五月开心激情| 天天婷婷| 五月婷丁香| 五月丁香综合| 亚洲激情五月婷婷日日| 日本一毛片| 国产精品色婷婷99久久精品| 另类精品视频在线观看| 99综合久久| 激情五月综合| www.狠狠操.co m| 玖玖资源部在线播放| 日日干夜夜撸夜夜骑| wuyuedingxiang99| 99re热| 五月丁六月香av| 婷婷伊人五月| 亚洲激情免费视频| 五月婷婷激情久久| 天天日,天天射,天天舔| www.亭亭五月天| 99无吗| 天天干电影| 九九色图| 99九九玖玖| 六月婷婷开心| 操人91| 婷婷在线网| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 91九色欧美| 日本99热| 中文字幕在线观看视频www| 韩国真做片在线观看| 9久热精品在线视频| 丁香五月天社区婷婷| 4399伦理午夜| 婷婷精品在线|