欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

微服務(wù)拆分實踐復(fù)盤:邊界判斷、SpringCloud落地與避坑指南

微服務(wù)拆分實踐復(fù)盤:邊界判斷、SpringCloud落地與避坑指南 以下是我對這次微服務(wù)拆分實踐的全部復(fù)盤和思考希望對正在做同樣決定的你有些參考價值。1. 拆之前的靈魂拷問你確定你的系統(tǒng)真的需要微服務(wù)嗎1.1 一次為了微服務(wù)而微服務(wù)的翻車經(jīng)歷幾個月前某公司一個日活量并不高、團隊只有七八個人的項目組因為看到技術(shù)社區(qū)里都在聊SpringCloud就拍板把原本跑得好好的單體應(yīng)用拆成了十幾個微服務(wù)。服務(wù)拆完以后噩夢開始了。原本一次本地啟動只要十幾秒的應(yīng)用現(xiàn)在要同時啟動注冊中心、配置中心、網(wǎng)關(guān)和五六個業(yè)務(wù)服務(wù)光等全部起來就要將近十分鐘。線上一個簡單的用戶下單流程要經(jīng)過API網(wǎng)關(guān)、訂單服務(wù)、庫存服務(wù)、用戶服務(wù)、支付服務(wù)五跳轉(zhuǎn)發(fā)任何一個環(huán)節(jié)慢一點整個鏈路就超時。最離譜的是有一次因為訂單服務(wù)的一個配置項寫錯導致所有依賴訂單服務(wù)的模塊全部異常排查了半天才發(fā)現(xiàn)問題出在配置中心而不是代碼邏輯。這不是個例。我見過太多團隊把用了SpringCloud當成技術(shù)先進的標志卻忽略了微服務(wù)本質(zhì)上是一筆巨大的前期負債。拆之前沒人認真算過這筆賬網(wǎng)絡(luò)開銷增加了多少、排障鏈路長了多少、發(fā)布流程復(fù)雜了多少、分布式事務(wù)怎么處理、團隊有沒有能力維護一套完整的治理體系。1.2 微服務(wù)的收益曲線和成本曲線從來不是同步的很多人只看到了微服務(wù)的收益——獨立部署、獨立伸縮、故障隔離、團隊自治——卻忽略了這些收益要到達一定規(guī)模之后才會顯現(xiàn)。小團隊、小流量的系統(tǒng)拆成微服務(wù)收益幾乎為零成本卻是實打?qū)嵉?。我習慣畫兩條曲線來幫助團隊做判斷。一條是收益曲線隨著服務(wù)拆分粒度變細收益先上升但到了某個點之后開始下降因為服務(wù)之間的協(xié)作成本、運維成本開始吃掉收益。另一條是成本曲線拆得越細基礎(chǔ)設(shè)施成本、監(jiān)控成本、溝通成本、排障成本就越高這條曲線幾乎沒有上限。這兩條曲線的交點就是最優(yōu)拆分粒度。對大多數(shù)中小團隊來說交點遠比想象中靠左。很多系統(tǒng)拆到二三十個服務(wù)的時候?qū)嶋H上已經(jīng)過了最優(yōu)點只是團隊礙于面子不愿承認。1.3 明確拆分的啟動信號而不是跟風那到底什么時候才應(yīng)該考慮拆分我的經(jīng)驗是不要看技術(shù)指標先看痛感。如果團隊出現(xiàn)了下面幾種情況才說明單體架構(gòu)真正撐不住了變更頻率嚴重失衡某幾個模塊每天都在改版本而其他模塊幾個月不動一次。單體的發(fā)布周期被高頻變更模塊綁架低頻模塊為了配合發(fā)布不得不頻繁回歸測試。擴容效率低下某模塊存在明顯的資源瓶頸比如大量計算或高內(nèi)存占用但整個應(yīng)用只能整體擴容導致資源嚴重浪費。團隊協(xié)作成本激增多人同時在一個代碼倉庫里開發(fā)合并沖突頻繁發(fā)布窗口需要各方協(xié)調(diào)。代碼倉庫的復(fù)雜度已經(jīng)超過了團隊溝通的復(fù)雜度。技術(shù)債阻礙演進代碼高度耦合改了A模塊必須小心翼翼影響B(tài)模塊團隊已經(jīng)無法安全地進行重構(gòu)。如果以上四點一條都沒觸到那我真心建議你再冷靜想一段時間。單體架構(gòu)不是恥辱把單體寫好、模塊化邊界清晰配合上完善的CI/CD同樣可以支撐相當大的業(yè)務(wù)體量。強行拆分只會把你從一個可控的復(fù)雜系統(tǒng)拖進一個更復(fù)雜的分布式系統(tǒng)。2. 四個邊界判斷法業(yè)務(wù)、數(shù)據(jù)、團隊、事務(wù)交叉驗證一旦確定要拆下一個問題就是怎么劃邊界。這是拆分最核心、也最容易出錯的地方。很多人上來就按技術(shù)分層拆——Controller拆一個服務(wù)、Service拆一個服務(wù)、DAO拆一個服務(wù)——這屬于典型的自殺式拆分。拆服務(wù)不能看代碼結(jié)構(gòu)要看業(yè)務(wù)結(jié)構(gòu)。我總結(jié)了一套四邊界交叉驗證法把業(yè)務(wù)邊界、數(shù)據(jù)邊界、團隊邊界、事務(wù)邊界四個維度放在一起驗證每個候選服務(wù)都要經(jīng)過這四重檢驗全部通過才算合格。2.1 業(yè)務(wù)邊界先別急著寫代碼先把領(lǐng)域模型畫出來微服務(wù)拆分的第一原則是跟著業(yè)務(wù)領(lǐng)域走。這一步需要回到領(lǐng)域驅(qū)動設(shè)計的基本功上雖然這個詞已經(jīng)被講爛了但真正做起來依然非常有效。具體操作上我推薦團隊用事件風暴Event Storming的方式做一次徹底的領(lǐng)域梳理。找一個會議室準備好便利貼把系統(tǒng)里所有業(yè)務(wù)事件按時間順序鋪開然后反向追索每個事件是由誰發(fā)起的、需要哪些數(shù)據(jù)、會修改哪些狀態(tài)。這個過程通常需要一到兩天但收益非常大你會發(fā)現(xiàn)很多服務(wù)之間其實根本沒有那么強的業(yè)務(wù)關(guān)聯(lián)其耦合只是歷史代碼造成的假象。做完領(lǐng)域梳理之后識別出聚合根和限界上下文每一個限界上下文就是一個天然的業(yè)務(wù)邊界。注意劃分邊界看的是業(yè)務(wù)能力不是代碼實現(xiàn)層。比如用戶注冊、用戶登錄、用戶資料管理屬于用戶領(lǐng)域的同一個邊界不應(yīng)該因為代碼上分了多個Controller就拆成多個服務(wù)。2.2 數(shù)據(jù)邊界拆分服務(wù)之前先看你的數(shù)據(jù)能不能分離很多團隊拆服務(wù)的時候只盯著業(yè)務(wù)功能完全忽視了數(shù)據(jù)歸屬問題。這是大忌。服務(wù)拆分的最終目的是讓每個服務(wù)擁有獨立的生命周期和伸縮能力而這一切的前提是每個服務(wù)必須擁有自己獨占的數(shù)據(jù)存儲。如果一個服務(wù)的所有操作都要跟其他服務(wù)搶同一張數(shù)據(jù)庫表那它就不具備拆分的條件。我在判斷數(shù)據(jù)邊界時有一個非常簡單的標準把候選服務(wù)涉及的數(shù)據(jù)表單獨列出來問自己兩個問題。第一這些表能否脫離其他表獨立存在如果某張表必須通過數(shù)據(jù)庫外鍵關(guān)聯(lián)其他表的字段才能完成業(yè)務(wù)邏輯說明數(shù)據(jù)耦合了。第二如果這個服務(wù)被刪掉這些數(shù)據(jù)還有沒有其他業(yè)務(wù)在依賴如果有說明數(shù)據(jù)歸屬還沒界定清楚。這里我的一個忠告是不要指望通過微服務(wù)架構(gòu)去解決已存在的數(shù)據(jù)庫耦合問題因為大概率解決不了只會讓問題變得更隱蔽。原來單體內(nèi)你還能直接查表定位問題拆成服務(wù)之后數(shù)據(jù)被兩個服務(wù)各管一部分出問題的時候你連SQL都寫不完整排障成本成倍增加。正確的順序是先把數(shù)據(jù)庫的關(guān)系理清楚該拆的表先拆了該做數(shù)據(jù)遷移的先做了然后再考慮代碼層拆服務(wù)。2.3 團隊邊界康威定律決定了你的服務(wù)邊界拆服務(wù)本質(zhì)上是在拆組織架構(gòu)因為最終維護這些服務(wù)的還是人。如果你把某個服務(wù)拆出來卻沒有一個團隊哪怕是一個人可以全權(quán)負責它那么這個服務(wù)注定會成為公共廁所——人人都能改出了事沒人管??低稍谶@里的作用被很多團隊低估了系統(tǒng)的架構(gòu)會鏡像組織的溝通結(jié)構(gòu)。你按什么方式拆分團隊你的服務(wù)最終就會變成什么樣。如果你的團隊是前端、后端、測試這樣按職能劃分的服務(wù)邊界就算拆得再合理執(zhí)行的時候也會被組織邊界拉回去。所以我的建議是先調(diào)整團隊結(jié)構(gòu)再定服務(wù)邊界。每個服務(wù)必須有一個明確的主人也就是一個負責它的全生命周期需求、開發(fā)、測試、部署、運維的最小團隊。這個團隊可以只有兩三個人不要貪多。團隊和服務(wù)的對應(yīng)關(guān)系最好是單向的——一個團隊可以維護多個內(nèi)聚度高的服務(wù)但一個服務(wù)不能由多個團隊共同維護否則等于沒拆。2.4 事務(wù)邊界強一致與最終一致的分野第四個邊界是事務(wù)邊界這也是拆分中最容易翻車的地方。單體時代一個事務(wù)就能搞定的事情拆成服務(wù)之后跨服務(wù)的數(shù)據(jù)一致性怎么保證這個問題的答案在某種程度上決定了你該不該拆、該怎么拆。在驗證事務(wù)邊界之前先做一道是非題候選服務(wù)之間的數(shù)據(jù)修改是否必須保持強一致如果答案是必須——比如賬戶余額扣減和訂單狀態(tài)更新屬于同一個業(yè)務(wù)操作任何一步失敗都會產(chǎn)生資金差錯——那就要非常謹慎了。我的經(jīng)驗是能保持強一致的事務(wù)操作最好還是留在同一個服務(wù)/同一個數(shù)據(jù)庫內(nèi)不要為了拆而拆。如果業(yè)務(wù)能夠接受最終一致——比如下單后庫存先扣減、異步通知物流或用戶修改手機號后不影響其他模塊立即生效——那這個服務(wù)就具備了拆分的可行性。但要注意最終一致不等于不做一致性處理你必須為這種跨服務(wù)操作準備明確的補償機制和定時對賬。我見過太多團隊在拆完之后才發(fā)現(xiàn)很多看似可以最終一致的操作實際上業(yè)務(wù)方要求強一致結(jié)果只能硬著頭皮引入分布式事務(wù)框架性能和復(fù)雜度雙雙爆炸。所以這個驗證一定要在拆分之前做而且要跟業(yè)務(wù)方掰開揉碎了確認清楚。3. 拆分粒度與控制面寧可粗一點也不要細到失控3.1 粒度選擇的核心參考維度變更頻率、數(shù)據(jù)規(guī)模、團隊規(guī)模很多人在規(guī)劃微服務(wù)拆分時第一個問題就是服務(wù)拆多大合適。這其實沒有標準答案但可以依據(jù)三個維度來輔助決策。第一個維度是變更頻率。一個模塊如果代碼量很大但一年到頭只改幾次那它就沒有拆出來的必要留在單體里反而穩(wěn)定。真正值得拆分的是那些變更頻繁、每星期都在發(fā)版的模塊。拆出來的目的就是為了讓這個高頻變更模塊能夠獨立上線而不拖累其他低頻模塊。第二個維度是數(shù)據(jù)規(guī)模。如果一個業(yè)務(wù)模塊的數(shù)據(jù)量已經(jīng)大到了需要單獨分庫的水平那它就應(yīng)該拆出去。反過來如果幾張表加起來才幾十萬行放在一起完全沒有性能壓力那拆分就是純增加復(fù)雜度。第三個維度是團隊規(guī)模。我常說一句話團隊的溝通帶寬決定了服務(wù)粒度的下限。一個只有五人左右的技術(shù)團隊私有微服務(wù)最好控制在八到十個以內(nèi)再往上拆光是服務(wù)之間的聯(lián)調(diào)對接就會消耗大量溝通成本最終反而拖慢交付速度。我的建議是初期拆分時寧可粗一點把幾個強相關(guān)的業(yè)務(wù)合并成一個服務(wù)也不要為了追求微而拆到極致。粒度太粗的壞處是后續(xù)可以再做二次拆分但粒度太細的壞處是治理成本會立刻吞噬你的開發(fā)效率而且極難回頭。3.2 演進式拆分先拆骨架服務(wù)再逐步細化拆分不需要一步到位完全可以采用漸進式的策略。我實操下來比較穩(wěn)妥的路徑是從外向內(nèi)、從穩(wěn)到變。第一輪只拆出三個骨架服務(wù)注冊登錄服務(wù)、基礎(chǔ)數(shù)據(jù)服務(wù)比如用戶、組織、字典、核心業(yè)務(wù)服務(wù)。這三個服務(wù)的特點是不依賴太多其他模塊拆出去之后系統(tǒng)的運行穩(wěn)定性受影響最小。先跑通SpringCloud全家桶的基礎(chǔ)設(shè)施注冊中心、網(wǎng)關(guān)、配置中心、鏈路追蹤驗證這套體系在你的業(yè)務(wù)場景下是否真的能帶來收益。第二輪再根據(jù)運行情況決定要不要繼續(xù)拆。如果核心業(yè)務(wù)服務(wù)內(nèi)部仍然存在變更頻率差異很大的模塊再考慮從內(nèi)部拆出獨立的服務(wù)。這時候你的基礎(chǔ)設(shè)施已經(jīng)經(jīng)過驗證拆分的風險就小很多了。這種演進式拆分的好處是每一步都是可回滾的。如果你拆完第一輪發(fā)現(xiàn)微服務(wù)帶來的收益遠低于預(yù)期回到單體只需要合并幾個倉庫成本完全可控。但如果一開始就一次性拆十幾個服務(wù)想回滾就沒那么容易了光是數(shù)據(jù)遷移就夠你喝一壺。3.3 三種典型拆分范式的適用場景對比在具體操作層面服務(wù)拆分的范式大體有三種按不同的業(yè)務(wù)和團隊情況選擇。第一種是縱向拆分按業(yè)務(wù)模塊垂直切分。這是最常用的方式比如把訂單、用戶、商品、支付分別拆成獨立服務(wù)。每個服務(wù)自治程度最高業(yè)務(wù)邊界清晰適合團隊結(jié)構(gòu)也按業(yè)務(wù)線劃分的組織。第二種是橫向拆分按功能層次切分。比如把公共的基礎(chǔ)能力文件上傳、短信發(fā)送、消息通知抽成獨立的平臺服務(wù)業(yè)務(wù)中臺服務(wù)再聚合這些能力向下游提供統(tǒng)一接口。這種方式適合服務(wù)復(fù)用需求強的場景但要注意控制層級深度避免出現(xiàn)業(yè)務(wù)服務(wù)依賴中臺服務(wù)、中臺服務(wù)又依賴基礎(chǔ)服務(wù)、基礎(chǔ)服務(wù)還依賴業(yè)務(wù)服務(wù)的循環(huán)依賴。第三種是混合拆分業(yè)務(wù)服務(wù)按縱向拆公共服務(wù)按橫向抽。這是大多數(shù)中大型系統(tǒng)的實際選擇也是我比較推薦的形態(tài)。先用縱向拆分定義業(yè)務(wù)邊界保證核心業(yè)務(wù)自治再把公共能力抽取出來做收斂防止重復(fù)建設(shè)。思路清晰后還需要結(jié)合自己團隊的交付節(jié)奏來做平衡。比如你所在的團隊對快速上線要求很高那就要警惕公共服務(wù)帶來的額外協(xié)調(diào)成本如果團隊對強復(fù)用要求很高縱向拆分時也要提前預(yù)留公共能力的接口。4. 拆完之后SpringCloud的落地細節(jié)注冊、配置、網(wǎng)關(guān)、調(diào)用鏈服務(wù)邊界劃分清楚以后才輪到SpringCloud技術(shù)棧的落地。這一部分如果只停留在會用層面的配置后面運行期出問題時會很難排查。所以我結(jié)合幾次實際項目經(jīng)驗把每一步里最關(guān)鍵的注意點整理出來。4.1 注冊中心選型Nacos和Eureka怎么選選注冊中心的本質(zhì)是在選 服務(wù)發(fā)現(xiàn)機制 和 配置管理 的組合。國內(nèi)現(xiàn)在的環(huán)境下Nacos的使用頻率和生態(tài)完整度都遠高于Eureka而且Eureka在開源維護層面已經(jīng)進入停滯狀態(tài)不少團隊還在用舊版本跑生產(chǎn)遇到問題基本得靠社區(qū)經(jīng)驗去填。如果是從零開始我建議直接用Nacos。Nacos同時提供服務(wù)注冊發(fā)現(xiàn)和配置管理兩大能力這意味著你可以少部署一套配置中心組件。細節(jié)上服務(wù)實例注冊使用臨時節(jié)點還是持久節(jié)點直接決定你的服務(wù)在宕機后能否被快速摘除。我推薦使用臨時節(jié)點心跳超時時間按默認值走就夠了不要把心跳超時調(diào)得過大否則故障時服務(wù)提供者依然會留在注冊列表里導致調(diào)用方請求大面積超時。部署Nacos時我習慣用至少三個節(jié)點組成集群并啟用持久化存儲。配置中心的namespace按環(huán)境隔離比如dev、test、prod各一套這樣可以避免多環(huán)境之間互相干擾。這里有一個常見誤區(qū)很多人把配置都放在默認namespace里然后環(huán)境切換的時候忘了刷新導致開發(fā)環(huán)境把測試環(huán)境的配置加載進來。這種問題在微服務(wù)架構(gòu)里特別難排查因為服務(wù)本身沒報錯只是在錯誤的配置下運行。4.2 網(wǎng)關(guān)設(shè)計入口聚合與業(yè)務(wù)收斂服務(wù)拆完之后所有外部請求都需要一個統(tǒng)一入口這就是網(wǎng)關(guān)的職責。我使用Spring Cloud Gateway的經(jīng)驗是網(wǎng)關(guān)只做路由轉(zhuǎn)發(fā)、跨域處理、統(tǒng)一鑒權(quán)校驗、限流熔斷這四件事絕對不寫任何業(yè)務(wù)邏輯。一個非常容易踩的坑是有人喜歡把多個內(nèi)部服務(wù)的請求邏輯寫在網(wǎng)關(guān)里做聚合搞出一個大網(wǎng)關(guān)。表面上看起來前端調(diào)用方便了但網(wǎng)關(guān)代碼越來越重最后變成一個新的單體不改不行改了又容易全站故障。正確做法是如果確實需要前后端接口的聚合不要讓網(wǎng)關(guān)來做而是單獨設(shè)計一個BFFBackend for Frontend層服務(wù)這個服務(wù)可以專門為前端聚合接口然后調(diào)用各個基礎(chǔ)服務(wù)。網(wǎng)關(guān)只負責對外部流量做第一層收斂BFF做業(yè)務(wù)聚合基礎(chǔ)服務(wù)做領(lǐng)域能力三層職責分離后續(xù)維護會清爽很多。網(wǎng)關(guān)還有一個容易被忽略的配置項路由的超時時間。默認的響應(yīng)超時往往不夠用如果某個下游服務(wù)處理大文件或復(fù)雜查詢耗時較長而網(wǎng)關(guān)超時設(shè)置得太短就會出現(xiàn)服務(wù)實際處理成功但客戶端收到超時的假失敗。這種問題最容易出現(xiàn)在支付回調(diào)、文件導出這類異步或慢操作場景中。4.3 配置中心與多環(huán)境管理改配置時要能快速回滾服務(wù)多起來之后配置管理就變成了一個高危操作。我見過不少微服務(wù)故障根因都是某個人改了配置中心的某個值影響面波及全部服務(wù)而且因為服務(wù)間有緩存故障還帶延遲性特別難追。所以配置的管理流程要遠比單體時代更嚴謹。我的做法是所有涉及生產(chǎn)環(huán)境的配置變更必須走配置中心的發(fā)布審核流程改動前先看diff發(fā)布后快速驗證下游。同時要確保配置中心的自動保存歷史版本可用這樣一旦出現(xiàn)問題能一鍵回滾到上一版本。另外命名空間和服務(wù)分組要設(shè)計得足夠清晰。比如每個服務(wù)一個命名空間公共配置單獨放一個共享空間這樣各服務(wù)引用的時候不會亂。實際操作中我還發(fā)現(xiàn)配置文件的格式盡量統(tǒng)一不要一個服務(wù)用properties、一個服務(wù)用yaml排障的時候格式差異會浪費很多時間。4.4 分布式事務(wù)與最終一致性的落地選擇前面在事務(wù)邊界部分我們已經(jīng)確定了哪些業(yè)務(wù)能接受最終一致。剩下那些跨服務(wù)但又要求一致性的操作怎么辦我的方案是按業(yè)務(wù)等級分治而不是一刀切全部引入強一致框架。對于嚴格強一致的操作我目前用得比較順的是AT模式事務(wù)框架。但要注意AT模式依賴全局鎖會產(chǎn)生一定的性能開銷所以僅限并發(fā)量不高的場景。如果并發(fā)量大但業(yè)務(wù)又強一致那比較好的辦法不是用分布式事務(wù)框架硬扛而是重構(gòu)業(yè)務(wù)設(shè)計看能不能把操作放到同一個服務(wù)里完成。對于可以最終一致的場景我推薦用本地消息表加消息隊列的方式。業(yè)務(wù)流程中先寫入本地事務(wù)表再異步發(fā)送消息消費者消費成功后回調(diào)失敗則定時重試。整套機制配合定時對賬能夠做到大部分一致性需求。這里我不建議為了炫技而把所有用到分布式事務(wù)的場景都換成TCC模式。TCC的Confirm和Cancel邏輯寫起來費時費力業(yè)務(wù)稍復(fù)雜一點幾乎沒有團隊能真正把每個分支都調(diào)對。能用自己的框架解決的事情就不要平白增加工作量。5. 拆分后的治理成本沒有配套的監(jiān)控就別急著拆5.1 可觀測性的三支柱日志、指標、鏈路追蹤缺一不可單體時代排查問題看一份日志、查一個數(shù)據(jù)庫就差不多了。拆成微服務(wù)之后一次用戶請求可能要穿透六個服務(wù)每個服務(wù)都有自己的日志文件沒有一套統(tǒng)一的可觀測性體系排障只能靠猜。可觀測性包含三塊日志、指標和鏈路追蹤。日志解決具體發(fā)生了什么指標解決系統(tǒng)狀態(tài)是否健康鏈路追蹤解決一次請求在多個服務(wù)之間是如何流轉(zhuǎn)的。三塊缺一不可。我見過有些團隊只做了日志收集沒做鏈路追蹤。這樣當一個請求超時你看到的是一堆來自不同服務(wù)的日志碎片根本拼不出一個完整的請求路徑。這時候你只能逐個服務(wù)去翻日志效率極低。而鏈路追蹤通過一個traceId就能把整個調(diào)用鏈串起來哪個環(huán)節(jié)慢、哪個環(huán)節(jié)報錯一目了然。5.2 日志按服務(wù)聚合后再按traceId串聯(lián)檢索微服務(wù)的日志處理我的建議是分兩個階段做。第一階段先把所有服務(wù)的日志統(tǒng)一采集到日志平臺里按服務(wù)名和日志級別建立索引第二階段接入鏈路追蹤組件讓每個請求都生成一個traceId并且讓這個traceId在HTTP調(diào)用時自動傳遞到下游服務(wù)。實際操作中鏈路追蹤的透傳需要依賴日志里也打印traceId。如果日志系統(tǒng)的索引沒建好每個服務(wù)的traceId格式不一致那日志就依然是一盤散沙。曾經(jīng)有段時間我們的服務(wù)日志里traceId就是空的因為日志框架的配置里沒有把MDC里的traceId帶出來排查問題時只能通過時間大致對齊特別痛苦。后來我改了日志格式在pattern里加上traceId字段再按這個字段做索引聚合排查體驗才迎來真正的拐點。5.3 穩(wěn)定性治理熔斷、限流、降級不能停留在紙面上服務(wù)拆完之后一個有問題的下游服務(wù)如果處理能力崩了會發(fā)生什么如果沒有任何保護機制上游服務(wù)會一直等待直到超時然后線程資源被耗盡最終引起服務(wù)雪崩。所以穩(wěn)定性治理必須在基礎(chǔ)設(shè)施層配置好。熔斷和降級我這里直接說經(jīng)驗首次接入時不要糾結(jié)該哪個架構(gòu)果斷選擇成熟的降級限流組件靠配置解決大多數(shù)問題。如果團隊里有精力去鉆研自定義策略再逐步加規(guī)則。接口的閾值先按經(jīng)驗值粗配比如RT超過500毫秒或異常比例達到20%就觸發(fā)熔斷運行兩周之后根據(jù)線上實際情況再調(diào)整。降級策略要提前設(shè)計好返回值。比如庫存服務(wù)掛了下單服務(wù)要怎么降級是提示庫存繁忙還是返回一個兜底庫存值這兩種策略的取舍要跟業(yè)務(wù)方提前對齊別等故障發(fā)生了才討論。6. 容易翻車的拆分陷阱我把真實經(jīng)驗都寫在這里6.1 過度拆分的三個典型癥狀如果你們的服務(wù)數(shù)量已經(jīng)開始失控可以用下面三個特征自查。第一調(diào)用鏈路過長。下單流程如果經(jīng)歷了三層以上的服務(wù)跳轉(zhuǎn)而每一跳都有網(wǎng)絡(luò)開銷和序列化開銷那性能一定有問題。我見過有的系統(tǒng)下單流程要走七跳響應(yīng)時間輕松超過兩秒用戶差評如潮。第二一個簡單的需求改動需要同時修改多個服務(wù)。這說明服務(wù)邊界沒有真正切對業(yè)務(wù)本身在一個服務(wù)內(nèi)才能內(nèi)聚你卻把它強行拆開了。這種拆分的最終結(jié)果必然是邏輯重復(fù)和不停聯(lián)調(diào)。第三服務(wù)之間的依賴關(guān)系已經(jīng)無人能說清。如果團隊里已經(jīng)沒有人能畫出一張完整的服務(wù)依賴圖那你們的微服務(wù)架構(gòu)已經(jīng)失控了。失控的架構(gòu)比單體更糟糕因為連安全的回滾路徑都沒有。6.2 分布式事務(wù)的濫用一個域的教訓我之前參與過一個項目團隊為了讓系統(tǒng)架構(gòu)先進把原本一個數(shù)據(jù)庫的事務(wù)操作全部拆到了多個服務(wù)里然后引入分布式事務(wù)框架強頂一致性。一開始功能上沒有問題但到了大促期間性能立刻暴露出來全局鎖導致并發(fā)吞吐量劇降大量事務(wù)處理超時最終不得不緊急回滾到合并部署。這個教訓讓我深刻理解到微服務(wù)的拆分不能以犧牲數(shù)據(jù)一致性為代價。如果強一致是硬要求最好的辦法就是不要拆分如果必須拆分就要盡早設(shè)計好異步補償和最終一致的方案。6.3 無效的微治理成本大于收益時的及時止損拆錯了怎么辦及時止損比硬撐更重要。我發(fā)現(xiàn)不少團隊在拆完之后發(fā)現(xiàn)復(fù)雜度上升、交付變慢但礙于已經(jīng)拆了半年投入太大的心態(tài)不愿意再走回頭路。這種心態(tài)在技術(shù)上是大忌。如果拆完的服務(wù)沒有明確的獨立發(fā)展空間如果它的存在只是讓系統(tǒng)復(fù)雜度單調(diào)增加那合并回去就是最優(yōu)解。我在組織合并服務(wù)時一般遵循把強相關(guān)的服務(wù)合并為一個保留每個服務(wù)獨立配置和部署的能力同時保證合并后仍然可以通過擴展實現(xiàn)橫向擴容。反正是退回到一個比原單體更清晰的中間態(tài)成本可控收益卻很明確。6.4 拆分是組織問題不是純技術(shù)問題走到最后你會發(fā)現(xiàn)微服務(wù)拆分真正難的地方從來不是技術(shù)而是組織和協(xié)作。Service拆出來團隊沒有對應(yīng)的負責制服務(wù)就會自然回歸到人人可改、無人負責的公共狀態(tài)。如果組織還是按前端、后端、測試這種職能劃分微服務(wù)的獨立部署優(yōu)勢就會被部門墻徹底消解。所以在啟動拆分之前我建議你先跟團隊把關(guān)鍵事項對清楚每個服務(wù)的Owner是誰服務(wù)間的接口變更通過什么流程達成一致線上故障由哪個角色來做第一響應(yīng)這些問題的答案決定了微服務(wù)的架構(gòu)能走多遠。我個人最深的體會是如果你能用單體架構(gòu)解決的問題就不要輕易上微服務(wù)如果決定要上就把上面這幾個問題想透了再動手。SpringCloud只是工具把服務(wù)拆好、治理好靠的是對整個系統(tǒng)邊界的持續(xù)思考和務(wù)實取舍。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美日韩国产伦精品日韩人妻一| 夜夜夜天天操| 丁香五月天激情综合| 狠狠狠人妻| 夫妻超碰在线| 久久精品熟女亚洲AV麻豆| 99免费视频| 日韩人妻无码一区二区| 五月婷婷影| 欧美性猛交AAAA片黑人 | 丁香五月五婷| 婷婷五日b| 色婷婷久久综| 欧美在线视频免费播放| 97人人干| 99在线观看视频| 色一情一乱一乱一区91Av| 五月婷久久综合| 久久婷婷成人综合色怡春院| www.91在线观看| 五月开行婷婷色五月| 丁香五月婷婷狠狠色| 婷婷五月综合免费在线| 97se在线视频| 色吊操色妞| 色999;丁香五月| 日本天堂免费99| 久久五月激情| 五月播播| 99久久网站| 亚洲丁香五月在线观看| 五月丁香六月婷婷网站| 99热这里只有精品最新| 另类综合国产| 色色色色网| 婷婷涩五月天综合| 久久这里有精品在线观看| 激情的五月婷婷蜜桃| 中文字幕,综合,91| 波多野结衣成人作品在线| 午夜69成人做爰视频| 五月婷婷激情四月| 呦呦v线| 六月成人网| 久久婷婷五月| 欧美性爱五月天| 六月婷婷激情| 9久久精品| 玖玖综合网| 亚洲综合婷婷五月| 99ri精品视频在线观看| 激情五月婷婷丁香六月| 99热在这里只有免费精品| 成人在线日韩| 亚洲色婷婷网站| 思思视频这里是精品| 久久精品性爱视频,| 日本久久婷| 人妻AV在线观看| 丁香五月综合激情性爱 | 久久99久久99精品免观看软件 | 久青操| 五月色亚洲| 久久精品五月| 综合婷婷| www·五月天| 丁香色播五月天| 色综合久久88色综合中文字幕| 综合色天天| 干婷婷五月天| 欧美成人五月天| 丁香五月综合网亚洲综合欧美狠狠| 一级A片天天操夜夜操| 丁香婷婷五月综合影院| 狠狠操综合| 五月色丁香| 色综合久久天天综合网| 成人午夜视频精品一区| 香蕉五月婷婷| 99啪啪| 国产色丁香| 老美AA片| 久久 中文 日本| 丁香五月激情啪| 91碰视频| 天天免费日日夜夜夜夜| 97干97色| 亚洲欧美综合7777色亭亭| 国产免费一区二区三州老师F1F1……| 丁香五月天AV在线| 婷婷五月情天| 婷婷激情五月综合| 色99婷婷五月天| 色婷婷激情| 激情五月婷婷| 综合激情五月天六月婷免费视频| 五月天成人小说| 亚洲亚洲人成综合网络| 操逼毛片国语对白| 欧美成人精品一区二区| 色婷婷色99国产综合精品| 成人网在线观看视频| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 激情五月天婷婷色色色色色色色色色色色| 天天操天天日天天爱| 岛国av网| 天天做天天爱天天日| 丁香五月综合福利视频导航| 26uuu丁香婷婷五月| 久久五月婷| 99久久婷婷国产综合亚洲| 亲子乱AV一区二区三区下载| 丁香五月婷婷色情综合| 最近中文字幕大全免费版在线| 五月丁香综合网| 九玖视频这里只有精品| 五月婷婷六月色| 久久性视频| 婷婷五月天大香蕉在线视频观看| www。88热在线视频免费观看| 99色免费视频| 香蕉AV777XXX色综合一区| 久久精品99久久久久久久久| 亚洲99在线| 日本天天操| 亚洲欧洲另类| 丁香无月在线观看| 久久久久亚洲AV成人无码电影| 国产精品第一国产精品| 五月婷俺去也| 五月婷婷色色色| 亚洲AV成人在线观看| 天天久久狠狠色综合| 蜜乳国产网站| 免费试看小视频 99| 人人操人人干AV| 国产精品18久久久| 99视频久久免费视频| 婷婷丁香五月综合| 婷婷国产五月天17c| 开心丁五月| 99狠狠| 秋霞少妇AV网站| 色五月色五天色情网| 婷婷五月天啪啪| 九九99久久| 99操逼| 色情五月天首页| 五月丁香六月激情欧美综合| 久久婷婷网| 色五月婷婷很很操| 日韩AV中文字幕在线| 丁香五月激情澎湃一区| 色婷婷性爱网| 我要看激情五月天| 色色色com| 热99精品视频观看| 欧美大肥婆大肥BBBBB| 色综合色五月| 狠狠草狠狠草| 色婷婷五月影视| 色色色色综合网| 伊人久久大香线蕉av一区| www,婷婷| 啪啪五月综合| 久9视频免费播放| 五月色情婷婷| 午夜九九九九九九九九九九九九九| 色丁香五月婷婷综合久久| 色五月成人网| 色涩视频久久| 激情五月婷婷综合| www.com.色色| 99精品国产在热久久婷婷| 91九九九九九九| 婷婷丁香人妻| ..真实国产乱子伦毛片 | 99精品小视频| 久久精品天| 婷婷五月天成人影片| 专区无日本视频高清8| 激情婷婷网| 天天爱综合网| 五月综合丁香婷婷| 六月激情综合| 蜜乳A√| 98国产精品综合一区二区三区| 五月丁香色婷婷伊人| 久久久久久人妻| 天天射影| 五月婷婷性爱网| 婷婷五月天成人网站| 人人色人人弄人人操| 亚洲色五月天在线| 色亭亭九月| 婷婷5月九九| 色亭亭九月| 99热久草| 亚洲免费av在线| 超碰人人艹| 超碰大香蕉网| 丁香六月啪啪| 婷婷五月六月激情| 久久综合无| 九九精品综合| 五月丁香婷婷综合在线| 1024亚洲无码| 五月婷婷激情综合网| 99 福利 导航| 亚洲欧美成人在线| 26uuu欧美激情另类| 91久久九| 老司机日日夜夜青草| www.粉嫩av.com| 激情婷婷五月天| 丁香婷停五月激情综合深爱| 26.uuu丁香五月婷婷| 久久久99免费视频| 久久午夜理论| 激情丁香九九五月综合网| 亚洲国产成人综合| 婷婷激情五月天亚洲综合| 成人国产网| 天天爱天天吃狠天天透| wuyuedingxiang99| 五月间天堂综合| 黄色AV日韩| 热99视频精品| 玖玖婷婷婷丁香五月| 丁香六月色婷婷| 人妻内射麻豆视频| 久久久久久久久久久97| 荡乳尤物3HP1V5| 婷婷丁香五月亚洲综合网在线视频观看| 欧美日韩色色| 狠狠色综合网| 欧美色频| 欧美亚洲操逼| 婷婷综合五月| 色婷婷四虎| 99噜噜| 色五月视频无码播放| 国产精品成人网站| 婷色五月天| 99热精品中文字幕| 婷婷丁香视频| www.久久| 久久一品区| 丁香五月激情五月| 亚洲精品影视| 国产精品日韩十五区| 丁香五月色色| 最新AV在线观看| 综合久久婷婷| 男人天堂99| 五月丁香好婷婷A片网| 夜夜爱影院| 国产人妻人伦精品一区二区| 日韩啪啪视频| 久久99大全| 四虎婷婷五月天| 99热国内精品| avv在线| 专区无日本视频高清8| 激情综合五月天| 玖操97| 一起草Av| 色婷婷色情| 91大操| 综合色播| 思思久久精品| 亚洲这里只有精品| 天天干 夜夜爽| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 五月婷六月| 99A片| 欧美色色色| 亚洲综合99| 国产视频婷婷| 26uuu亚洲| 狠狠干青青草| 久久99热 这里有精品| 91黄操| 日韩AV免费| 日本强伦片中文字幕免费看| 国产超碰在线| av大香蕉| 久久综合久色欧美综合狠狠| 大地9中文在线观看免费高清| 操一区| 丁香桃色网| 亚洲婷婷激情888精品久| 九九家庭影院| 日日日,com| 日本不卡中文字幕| 婷婷丁香久久| 大香蕉综合| 69人妻人人澡人人爽久久| 色九月| 99视频精品在线| 色色婷婷丁香五月天| 丁香五月激情婷婷婷婷在线观看| 九九99久久| 曰日爽日日操| 激情亚洲婷婷| 精品久热| 91久操| 亚洲操B| 大香蕉九九| 久热91精品| 久久久久亚洲AV无码网影音先锋| 噜噜噜狠狠色综合| 99r久久这里只有精品| 伊人久久激情图区五月| 天天婷婷天天| 热成人网| 婷婷刺激综合| 99熟女| 99热超碰| 丁香五月天AV在线 | 人人摸人人干| 欧美97超碰| 欧美一级a| 亚洲天堂制| 色五月开心久久网| 99在线热| 六月激情婷婷综合| 天天色域综合网| 天天爱天天秀天天做| 国产精品色| 狼人婷婷久久| 天天日日夜夜| H亚洲| 综合超碰熟| 无码橾| 天天肏夜夜肏| 六月丁香好婷婷| 婷婷五月激情视频| 色色色色色色色色网站| 亚洲精品V天堂中文字幕| 色噜噜狠狠狠狠色综合久欧美| 国洲夜色亚热在线久久| 九九色逼| 狠色色狠网| 26uuu欧美| 丁香大香蕉| 丁香五月综合| 91精品综合久久久五月天| 99爱爱网| 五月天婷婷色播| 五月婷婷激情综合拍| 久久综合婷婷五月| 欧美成人精品A片免费一区99| 五月色婷丁香| 国在线激情网| 日日综合网| 大香蕉五月丁香| 少妇性按摩无码中文A片| 五月色亭丁香| 五月六月激情婷婷| 亚洲无码yw| 色九月| 热婷婷在线视频| 玖玖国产视频一区| 色播五月| 亚洲国产无线乱码在线观看| 色丁香久久| 五月婷婷开心亚州在线| 99热66| 五月丁香天堂| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 九色91视频| 国产欧美日韩一区二区三区| www.色五月.com| 精品香蕉99久久久久网站| 大香蕉久久久| 婷婷五月天激情基地| 五月丁香婷婷六月| 97se视频在线| 99亚洲无码| 五月丁香激情综合网| 婷婷九九色| 色婷婷五月在线| 99热日韩| 亚洲亚洲人成综合网络| 婷婷丁香五月天综合AV| 六月婷婷激情| 五月丁香天堂| 五月天激情久色| 婷婷午夜| 丁香五月性| 五月综合无码| 五月丁香婷婷狠狠操| 天天天久久久| 婷婷六月色开| 色九月欧美| 九九九九这里只有精品| 五月天婷a在线| 色婷婷av在线观看| 亚洲美女高潮久久久久久69| 99er热精品视频| 国产又黄又爽又激情不遮挡视频在线观看| 99色网站| 婷婷丁香五另类网站| 99热99热在线| 97色一二三| 婷婷开心青青草| 亚洲色视频| 99热精品观看| 香蕉综合网| 亚洲色综久久五月| 丁香六月婷婷| 九月激情综合婷婷| 美女主播野战视步页| 激情综合网激情五月天| 成人色五月天婷婷| 亚洲最大视频| 他改变了拜占庭| 玖玖在线视| 丁香五月婷婷免费视频| 亚洲视频操| 久热这里| 婷婷丁香社区| 国产97色在线| -91九色大屁股| 熟女激情五月天 | 另类的婷婷| 久久婷五月| 午夜免费试看| 婷婷五月婷婷| 千人斩操逼| 风流少妇A片一区二区蜜桃 | 激情小说五月天| 思思热天天看| 福利视频在线播放| 色婷婷色情| 精品香蕉99久久久久网站 | 丁香婷婷色情| 天天干天天色综合| 色噜噜伊人| 丁香五月婷婷基地| 99热这里只有精品热| 国产午夜精品AV一区二区麻豆| 丁香五月aV| 影音先锋美国A| 少妇口诉沐足视频播放器网址| 亚洲V国产V欧美V久久久久久| 97涩涩丁香五月天| 久久精品天| 久婷婷色| 色性综合| 91麻豆国产三级精品福利在线观看| 亚洲精品色色色| 久草婷妨| 亚洲欧洲国产精品| 久久这里在精品视频| 少妇被下春药玩弄A片| 六月天六月婷| 婷婷五月色情| 婷婷五月天av| 婷婷六月丁香五月| 亚洲艹网| 黄色网址五月婷婷| 色婷婷中文在线| 五月六月播婷婷| 亚洲无码99| 丁香五月亚洲婷婷| 一本久道综合99| 99这里只有精品视频| 黄色99网| 婷丁香五月天| 五月婷婷啪啪| 噜噜色婷婷| 欧美三日本三级少妇三99| 五月天婷婷无码| 5月婷婷性视频| 五月天激情综合网| 亚洲无码99| 激情五月天色婷婷| 91丨九色丨东北熟女| 被强行糟蹋的女人A片| 日本久久爱| 九九色逼| 丁香五夜激情四射夜夜夜| 国产综合色婷婷精品久久| 婷丁五月| 六月激情婷婷综合| 国产精产国品一二三在观看| 99九无网码| 天天摸日日舔狠狠添婷婷婷| 丁香五月综合激情啪啪| 亚洲欧美成人在线观看| 热久久99热欧美国产亚洲| 五月天色五月天| 五月天丁香成人社| 超碰99热精品在线| 天天日天天操心| 色99网站| 99 这里只有精品| 狼人婷婷综合| 色天使久久综合| 激情五月婷婷五月| 亚洲人成色A777777在线观看| 99超在线| 99热九九这里只有精品| 丁香五月综合久久综合| 激情AV综合| 天天干电影| 五月丁香综合激情网| 久久婷婷五月国产色综合激情| 久久婷婷大香蕉| 亚洲精品V天堂中文字幕| 日日夜夜干| 成人九九视频| 只有精品在线观看| 婷婷综合精品| 成人色图情色成人网 www.5b5b5bcom 五月天 | 欧美丁香六月激情视频| 婷婷丁香视频在线观看免费| wwwwww.色| 天搞天天天天天| 日本九九网| 雪千夏麻豆| 色婷婷丁香五月| 欧美熟女99| 色综合综合网| 日日干干天天干| 天天想夜夜爽天天爽| 九九色播五月丁香| 91操在线观看| 97热超碰| 99热观看| 午夜日韩久久久网站| 亚洲丁香五冃97色| 久久久av久av久片一区二区| 色五月激情五月| 五月婷婷深深爱| 国产免费AV在线| 亚洲天堂色色| 精品爆操| 秋霞成人毛片一级A片| 99精品小视频| 少妇人妻人伦A片| 丁香婷婷深情五月亚洲| 国产成人亚洲综合A∨婷婷| 婷婷五月六月激情| 激情小说视频图片网| 亭亭五月天黑人2014| 六月婷五月丁香| 五月婷婷狠天天色综合| 亚洲激情五月婷婷日日| 亚洲色情激情丁香五月| 九九热在线观看视频网站| 热这里只有精| 人人天堂操| 婷婷六月丁香久| 婷婷五月天无码视频| 99热这里只有精品98| 欧美噜噜噜草| 亚洲激情免费久久| 五月色导航| 色高清无码视频| 五月丁香色狠狠干大屄| 99热只有这里才是精品| 婷婷99狠狠躁| 亚洲成人网站在线播放| 婷婷射丁香| 国产精品美女| 色综合婷婷| 大香蕉久操| 国产成人精品一区二三区熟女在线| 日产精品久久久久久久蜜臀| 99精品视频在线观看| 最新高清无码专区| 大香蕉久久久久久久久| 九九色区| 五月丁香婷婷中文| 欧美综合激情五月丁香| www,26uuu,c0m,色情| 噜噜视频| 岛国AV网| 天堂伊人干| 狠狠色中色| 六月色播| 性爱综合网| 天天爽天天爽| 另类国产欧美视频| 激情伊人| 婷婷五月 丁香六月| 婷婷五月天堂一本在线| www.99久久久| 四川女人毛多水多A片| 五月天激情日色在线| 激情丁香九九五月综合网| 色色婷| 少妇久久诱惑视频| 五月激情在线| 五月天婷婷小说| 婷婷综合天堂| 婷婷丁香五月亚洲欧美| 26uuu亚洲精品国产| 色婷婷婷婷| av国产精品| 伊人久热91| 婷婷她六月天| 婷婷激情五月色综合| 婷婷五月亚洲综合| 97碰精品| 久久精彩免费视频精彩免费视频| 色色色成人网| 五月婷婷丁香六月| 一二区成人电影| 婷婷综合五月激情| 五月天天天天天天天天天天天婷婷婷| 99自拍视频在线观看| 在线成人国产| 千人斩操逼| 亚洲综合激情五月久久| 丁香五月av| 干一干xxxx| 精品综合久久久久久五月天| 91色色色18| 激情五月天婷婷播播久久综合91| 91ncom.色| 有哪些A片网站| 第五色婷婷| 91大屁股精品| 丁香五月婷婷啪啪视频| 五月天综合网| 99色在线视频| 亚洲av电影网站| 婷婷激情丁香五月婷婷激情丁香五月婷婷 | 新激情五月天天在线网| 96自拍视频九色在线观看| 9久久久久| 狠狠色噜噜色狠狠狠综合久久成人波 | 久久人妻人人| 日本成人内射| 久久伊人日日夜夜| 91丨九色丨大屁股| 亚洲AV网站| SS丁香五月婷婷| 9久久精品| 色综合久久88色综合天天99| 激情五月天综合婷婷网| 婷婷9月天| 五月天婷婷一起草| 婷婷五月天久久| 婷婷射图五月天| 亚洲视频图片婷婷五月| 激情亚洲五月| 五月开心婷婷| 97在线观视频免费观看| 九九热在视频| 丁香婷婷性爱| 久综合九| 人人草人人舔| 99九九热视频免费| 激情综合五月婷婷六月丁香| 五月婷婷综合天天操| 国精产品一区二区三区| 国内一级片| 欧美丁香六月在线观看视频| www.久久久久| 久久婷婷六月| 思思久久96热在精品国产,| 亚洲最大视频| 2015好吊操| 狠狠色狠狠操| 久色网址| 99精品在线| ss五月天激情| 粉嫩AV久久一区二区三区| 掩去也综合五月视频| 99热这里只有精品5| 九月婷婷| 国产精品久久久久久久久久| 婷婷亚洲五| 丁香五月av| 久久婷婷五月综合啪| 五月天综合在线观看视频| 男人天堂AV在线一区二区| 成人免费va| 久久五月天免费网站| 开心激情综合| 五月综合丁香婷婷| 夜夜干 夜夜操| 久久激情综合| 开心五月婷婷| 亚洲免费99| 久久性爱激情| 天天婷婷| 日本色天堂| 天天插天天插天天插天天插| 丁香五月色播中文在线播放| 影音先锋91在线资源站| 婷婷永久在线| Www.久久| 97婷婷丁香| 噜噜噜噜婷婷五月天| 91久久婷婷| 小视频aaa久久久| 91精品国产综合久久久不卡电影| 亚洲欧美国产高清vA在线播放| 操人精品| 思思久久99| 人人操A| 六月婷婷AV| 亚洲成人网在线观看| 亚洲国产精品成人免费一区久久久在线观看AAAA | 一起草性爱不卡视频| 天天激情夜夜干| 丁香亚洲色综合| 五月丁香六月成人| 九九色综合| 久久综合五月情| 伊人久久大香线蕉av最新| 婷婷五月天中文字幕.| 国产精产国品一二三在观看| 免费在线观看欧美激情xx小视频| 丁香五月情色| 色99欧洲色19| 99这里| 另类视频丁香五月| 激情婷婷久久| 中字幕视频在线永久在线观看免费| 婷婷色情五月| 婷婷五月天成人网| 日韩小视频在线99| 99热成人| www.五月天婷婷| 婷婷社区五月天| 99热这里只有是亚洲国产| 激情五月综合网最新| 7EzOBIhNq85TO| 午夜成人综合| 五月丁香好婷婷A片网| 99久操| 9精品久久999| 九九Av| 综合色五月| 亚洲精品色色| 婷五月天| 亚洲精品一区无码A片| 99re视频在线播放| 亚洲国产va| 丁香六月婷婷综合激情欧美| 久久九精品| 青青草免费公开视频| 色丁香婷婷| 五月天婷婷丁香社区| 第2色五月婷| 色综合av超碰| 开心激情网五月天| 思思热视频| 色色色.com| WWW,激情五月天,COM| 人操人人| 国产在线网| 99热亚洲| 第四色激情网| 婷婷爱五月| 五月天激情社区| 99视频精品视频| 综合色99| 久久婷丁香五月| 成片免费观看大全| 97人碰人操| 超碰久热| 色综合天天综合成人网| 国产亚洲色婷婷久久99精品91| 五月天婷婷成人| 天天天天天天天操| 插插干干干色| 秋霞黄色一级久久| 另类视频综合| 超碰com| 色色色色区| 久久99免费视频网站| 日本三级成人秘书精品片| 色五月网址| 色色亚洲视频| 综合激情站| 久久九九爽| 五月丁香影院| 久热这里| 久久婷婷五月综合| 丁香六月婷婷综合欧美| 六月丁香婷婷色综合| 玖玖伦理电影| 国产伊人五月天| 丁香六月婷婷激情综合| 异能之下短剧免费观看全集| AV在线中文| 婷婷97碰碰| 日本超碰在线| 91大屁股精品| 国产精品视频| 婷婷五月综合社区| 丁香婷婷五月六月久久| 色天堂A| 狠狠爱五月婷婷| 五月婷婷亚洲| 久久新地址| 成人在线视频一区| 97人人做| 97se视频在线| 五月婷在线| 91久久九久久九久久九久久九久久| 丁香 婷婷 亚洲 熟女| 色五月首页| 99免费在线| 五月天播播中文字幕| 久久九九国产精品怡红院| 狠狠爱婷婷丁香| 97干欧美| 久久伊人大香蕉| 丁香婷婷综合激情五月色| 欧美大肥婆大肥BBBBB| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 婷婷五月天在线观看| 色婷婷69| 色五月婷婷丁香五月| 日韩成人精品中文字幕| 国产毛片精品一区二区色欲黄A片| 成人 在线观看国产| 亚洲日本三级片| 激情婷| 久色五月天| 丁香五月天偷拍| 婷婷丁香亚洲五月天| 久久久人妻系列| 97碰人人操| 丁香婷婷五月| 色婷婷丁香花五月天| 国产亚洲成AV人片在线| 日韩超碰在线| 国产精品在线视频| 五月丁香六月婷婷视频| 欧美一级色| 成人在线二区| 伊人综合色干| 天搞天天天天天| 人人爽人人爽人人爽人人爽| 天天狠狠六月婷丁香影院| 99热国产精品| 亚洲六月色| 日熟女| 第2色五月婷| 91色情播放| 激情综合婷婷| 狠狠色丁香乆乆| 婷婷五月丁香超碰| 天天日天天摸天天| 婷婷九月丁香| 九九在线视频| 五月天激情综合网| 99在线观看精彩视频| 99精色| 黄桃AV无码免费一区二区三区| 色欲色香,www,com| 五月天日日操夜夜操| 色婷婷狠狠干芒果TV| 色五月激情综合网| 影音先锋一区二区资源站| 久久久激情视频| 激情婷婷色五月| 久色激情| 日本毛片内射| 五月丁香欧美| 激情五月天婷婷| 影音先锋男人av资源站| 六月婷婷无码| 五月天开心婷婷激情网站 | 久99久视频免费观看| 少妇水多A片太爽了| 色九九九九| 日韩五月天婷婷| 中文无码婷婷| 操97在线观看| 老司机午夜福利视频金瓶梅| 五月婷婷亚洲色视频| 午夜少妇在线观看视频| 亚洲情色一区| 99热久久这里只有精品2010| 狠狠操天天干| 色色五月天丁香| 色色综合色| 婷婷综合| 91色综合网| 999热在线视频| 99精品在线观看| 久久婷婷国产| 天天操天天曰| 潘金莲AAAAAAAAAA| 久久亚洲网| 四色永久成人网站| avv在线| 婷婷精品综合| 99年操人人爽| 五月天婷婷三级黄| 欧美婷婷日本| 精品九九网| 这里只有精品免费观看网占| 亚洲AV在线免费看| 国产夫妻操逼内射视频| 1024人妻| 国产婷婷五月天| 色婷婷婷婷| 婷婷丁香五月视频| 亚洲色色香蕉| 五月精品99综合| 人人爽人人爽人人爽人人爽| 亚洲色啪| 99久久久国产大片| 五月天婷婷久久| 欧美丁香五月97色| www.yw色| 人妻激情视频| 久久久天天啊| 韩日AV片| 久久久精品色色色| 在线成人国产| 久久综合激情婷婷激情| 伊人网色婷婷五月天| 伊人六月无码视频| 成人精品视频99在线观看免费 | WWW、99热| 色综合色色色色色| 婷婷六月激情综合| 综合五月天天天天天五月| 国外亚洲成AV人片在线观看| 精品色情一区二区三区四区| 欧美色婷婷| 大香蕉精品视频| 99在线观看| 91色操| 色爱五月天| 丁香五月天在线观看视频| 另类图片色五月| 玖玖综合网| 99A片| 啪啪啪大香蕉| 五月人人丁香婷婷五月人人丁香| 99精品在线观看| 成人必爱视| 国产成人精品一区二三区熟女在线| 五月天激情偷拍| 伊人综合网站| 日日操人人操| 国产黄大片在线观看画质优化| 天天色天天爱天天舔| 大学生高潮无套内谢视频| 91热er| 91热爆在线| 亚洲男人的天堂婷婷色五月| 婷婷情色五月| 五月丁香婷婷导航视频| 色色色99| 天天干天天插| 五月丁香啪啪啪啪| 奇米色大香蕉| 日韩成人电影在线播放| 激情综合婷婷| 99国产精品久久久久久久久久久| 久久这里只有国产精品视频| 久久99精品久久久久久三级| 婷婷五月电影院| 亚州欧美国产久精国产99综合视频| 这里只有精品视频在线| 精品久久久久久久人妻| 激情五月天.色网| 久re热视频| 五月天激情综合网站| 色婷青青| 五月丁香婷婷色色色| 天天综合激情| 玖玖婷婷五月天毛片| 欧美性爱中文字幕| 五月天色婷婷激情综合| 色99久草在线| 大香蕉网站,大香蕉综合| 久久这里在精品视频| 国产中文字幕在线视频免费观看 | 98永久精品| 婷婷五月综合婷婷| 97碰 在线视频观看| 99在线69| 99 频99热国里只有精品| 丁香婷婷久久综合在线| 激情伊人五月天| 色色亚卅| av久热| 91无码一起草| 精品成人在线观看| 日日干日日s| 大香蕉久久婷婷| 这里只有精品视频在线| 中文字幕 中文字幕明步| 婷五月丁香俺| 中文字幕性爱视频| 91狠狠综合久久久| 国产精品VA在线| 色婷婷成人在线| 欧美性猛交99久久久99| 色婷久久| 婷婷爱五月天| 久久久月丁香| 青青草tp| 久久精彩免费视频| 久久婷出差欧美色两性综合网| 五月天婷婷涩涩| 丁香五月天堂网| 婷婷五月六月| 开心五月丁香婷婷| 久久婷婷激情| 激情图片久久| 丁香婷婷狠狠97| 国产激情久久| 久久综合影院 | 丁香五月大片| 婷婷欧美激情| 九九99久久精品| 深爱五月激情| 六月久久婷婷| 思思精品久久艹| 五月丁香啪综合| 六月婷婷最新网址| 超级碰碰97在线| 激情综合网五月婷婷| 女人天堂AV| 婷婷六月花| 色天天久婷婷| 啪啪啪综合网| 色色色婷婷五月天| 亚洲激情五月| 玖玖婷婷免费| 丁香婷婷综合激情五月色| 日本三级日本三级99| 噜噜噜噜综合在线| 米奇影视资源777狠狠色婷婷五月天激情网| 天堂久久大香蕉| 色婷婷影视99| 婷婷综合中文| 农村熟妇高潮精品A片| 在线日韩视频| 夜夜干夜夜操| 婷婷五月天小说网| 殴美日比视频| 另类 在线| 五夜丁香| 激情五月天色播| 思思热在线视频精品| 婷婷五月天深爱| 第二色AⅤ| 丁香婷婷激情五月| 台湾综合丁香五月蜜桃| 五月天天天操天天爽夜夜操| 丁香五月天啪啪| 亚洲区视频| 激情综合五月| 色婷婷亚洲婷婷| 激情婷婷丁香五月天小说| 大香蕉综合| 婷婷娌伦网| 综合激情四射一theav| 天天日日| 五月色情婷婷| 99欧美三级视频| 九九热99在线视频| 久久区区一二三av| www.com任你艹| 免费97碰碰| 99热1| 成人色五月天婷婷| 激情深爱婷婷网| 丁香大香蕉| 五月婷婷开心爱| 日韩一区二区三区无码| 色婷婷五月亚洲| 色爱终和网| 99热思思| 97精品欧美91久久久久久久| 丁香五月自拍| 久热久| 国精产品一区一区三区免费视频 | 色狠狠色噜噜AV天堂五区| 欧美三级巜人妻互换| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 99热日韩这里只有精品| 伊人国产婷婷五月天 | 激情小说五月天| 五月丁香龟婷婷| 日本精品。999| 99成人小视频| 国产婷伊人| 五月天大香蕉AV| 国产操B视频| 丁香婷婷激情综合五月激情| 天天舔天天摸天天射| 精品久久人妻热| 天天夜夜六月丁香五月婷婷老师| 五月婷婷说| 丝袜激情网| 色色亚洲视频| 婷婷五月天色色| 五月天社区婷婷| 色婷婷丁香社综合| 婷婷色婷婷| 亚洲婷婷丁香五月亚洲| 99色性爰网络| 日本三级韩三级99久久| www.色五月| 激情综合婷婷久久| 丁香六月婷| 六月色婷婷欧美| 免费视频这里只有精品| 欧美三级欧美一级| 六月 丁香 视频| 五月综合人妻| 六月婷婷七月丁香| 久久久婷婷| 深爱1激情网| 五月丁香婷婷色色| 国外亚洲成AV人片在线观看| 色色婷婷丁香| 91成人看片| 精品久热| 99天堂在线观看免费视频| 99热这里只有精品1025| 色五月激情五月丁香五月婷婷啪啪综合| 涩婷婷五月天| 亚洲操b| 五月天婷婷Av| 色综合久久天天综合网| 五月婷婷之激情五月| 久大香蕉| 婷婷五月成人| 九九热大香蕉| 久久五月婷婷开心网| 色婷婷精品视频| 久久99国产综合精品免费| 亚洲啪啪网| 五月婷婷免费视频| 五月天婷婷色| 波多野结衣不卡AV| 色婷婷手机在线| 六月综合在线| 色播五月婷婷| 99色在线观看视频| 六月婷婷七月丁香| 婷婷五月天久久| 久草免费福利视频| 婷婷五月成人有| 亚洲这里只有精品| 中文字幕无码人妻少妇免费视频| 久久久27操| 日本在线噜噜| 久操婷婷| 欧美六月| 丁香六月欧美| 丁香六月av| 中美日韩成人在线| 91 久热| 99热免费网站| 99操免费视频| 任我干视频在线观看| 婷婷五月天激情在线观看| 91婷婷色五月| 丁香婷婷午夜| 五月丁香婷婷五月色| 婷婷激情综合网| 五月叮香啪| 丁香六月天婷婷开心综合| 日本久久天堂| 婷婷成人综合| 婷婷少妇激情| 免费AV在线| 亚洲精品午夜国产va久久成人| 少妇真实被内射视频三四区| 九九久久综合| 亚洲无码播放| 激情五月丁香六月综合AVXXXX| 午夜爱爱爱成人| 丁香六月婷婷久久综合| 9久久AV| 丁五月激情视频免费| 色九九中文字幕| 狠狠干2007| 五月丁香综合网| 天天想夜夜爽天天爽| 殴美日比视频| 9色在线视频| 五月天丁香综合久久国产| 牛牛色av| 99re这里只有精品视频了| 在线综合亚洲欧美65| 五月丁香综合久久| 在线观看国产高清视频免费网站| 久久婷五月天| www.婷婷| 午夜色婷婷| 婷婷六月丁| 久热大香蕉| 99爱视频免费| 99久久婷婷国产综合精品草原| 天天操B| 涩综合网| www.狠狠| 热99这里只是精品| 激情综合网色播五月| 五月开心婷婷网| 五月婷婷六月丁香在线| 91久久久久久久| 玖玖婷婷五月天| 激情五月深爱五月观看| 激情五月婷婷| 五月丁香啪啪啪免费看| 玖玖资源在线视频| 日本色频| 五月开心网| 日日夜夜狠狠婷婷色| 日韩操人| 天天做天天爱天天摸| 久久视频在线视频| 九九成人高清视频| 激情图片亚洲| 天天色域综合网| 婷五月天| 亚洲婷婷91丁香| 五月婷婷丁香| 99色在线观看| 丁香综合伊人AV| 综合久久首页| 五月六月婷| 人人操日| 天天干天天拍| 丁香五月久久综合| 好大好粗嗯啊-一级黄色大片免费观看-成人AV | 久婷婷视平| 五月婷婷六月丁香色| 五月丁香综合成人社区| 日本婷婷| 色久婷婷五月| 九九精品丁香花| 丁香美女五月天婷婷| 婷婷五月丁香综合亚洲| 激情五月天综合网| 五月天另类小说久久小说网| 亚州第一A片| 欧美va视频| 丁香五月天色综合| 日韩国产在线精品| 婷婷婷婷婷婷婷五月丁香| 久久六月天| 日韩在线看AV| 五月丁香婷婷综合网| 欧洲不卡视频| 天天干天天拍| 色色性爱视频| 99久视频| 成人久碰| 久久激情五月天| 精品色色网| 丁香玖玖| 伊人激情AV一区二区三区|