欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

企業(yè)微服務(wù)架構(gòu)演進(jìn)方案:從單體拆分到容器化落地的完整路徑

企業(yè)微服務(wù)架構(gòu)演進(jìn)方案:從單體拆分到容器化落地的完整路徑 簡(jiǎn)介企業(yè)微服務(wù)技術(shù)架構(gòu)演進(jìn)方案提供了一套面向企業(yè)架構(gòu)師、技術(shù)負(fù)責(zé)人及DevOps團(tuán)隊(duì)的系統(tǒng)性演進(jìn)路徑分析重點(diǎn)拆解微服務(wù)落地牽扯的IT架構(gòu)、應(yīng)用架構(gòu)與組織架構(gòu)三方面調(diào)整。方案以三個(gè)典型階段為主線單體架構(gòu)群、組織服務(wù)化與SOA化/云化、組織DevOps化與微服務(wù)化/容器化對(duì)各階段的組織狀態(tài)、運(yùn)維模式、應(yīng)用架構(gòu)特點(diǎn)及觸發(fā)轉(zhuǎn)變的條件進(jìn)行了對(duì)比說(shuō)明。在此基礎(chǔ)上文檔進(jìn)一步給出架構(gòu)SOA拆分回歸測(cè)試、中臺(tái)服務(wù)統(tǒng)一管理、關(guān)鍵服務(wù)調(diào)用安全、開(kāi)放平臺(tái)API構(gòu)建、灰度發(fā)布、預(yù)發(fā)測(cè)試、性能壓測(cè)及熔斷限流降級(jí)等場(chǎng)景的實(shí)施思路可直接用于微服務(wù)演進(jìn)規(guī)劃與改造參考。資源為單個(gè)Word文檔壓縮包共1個(gè)docx文件約2.55MB已有113人瀏覽學(xué)習(xí)適合正在進(jìn)行微服務(wù)架構(gòu)選型或階段性升級(jí)的技術(shù)團(tuán)隊(duì)。1. 企業(yè)微服務(wù)技術(shù)架構(gòu)演進(jìn)方案先認(rèn)清這是工程問(wèn)題不是技術(shù)問(wèn)題接到一份《企業(yè)微服務(wù)技術(shù)架構(gòu)演進(jìn)方案》的評(píng)審邀請(qǐng)時(shí)我通常不會(huì)先翻架構(gòu)圖而是先問(wèn)一句現(xiàn)在這套單體系統(tǒng)的瓶頸到底在哪。這份文檔要回答的不是“用不用微服務(wù)”而是“怎么拆、拆完怎么保證不翻車(chē)”。很多團(tuán)隊(duì)把演進(jìn)當(dāng)成一次轟轟烈烈的大重構(gòu)結(jié)果拆出來(lái)的服務(wù)比單體還慢排查問(wèn)題比之前更痛苦。這份方案的真正價(jià)值是讓團(tuán)隊(duì)在拆分前想清楚邊界、在拆分后接好治理與容災(zāi)。適合誰(shuí)讀被 Java 單體壓得喘不過(guò)氣的后端開(kāi)發(fā)、需要向管理層匯報(bào)演進(jìn)計(jì)劃的技術(shù)負(fù)責(zé)人、以及準(zhǔn)備微服務(wù)面試題時(shí)想找真實(shí)落地場(chǎng)景的求職者。下面按我寫(xiě)這類(lèi)方案的順序把演進(jìn)怎么落地、參數(shù)怎么定、坑在哪里一一道來(lái)。2. 演進(jìn)前的現(xiàn)狀盤(pán)點(diǎn)單體為什么撐不住三個(gè)信號(hào)先確認(rèn)寫(xiě)演進(jìn)方案的第一步不是畫(huà)目標(biāo)架構(gòu)圖而是把現(xiàn)狀量化。沒(méi)有壓測(cè)數(shù)據(jù)和瓶頸分析就直接拆服務(wù)等于給醫(yī)生一份空白病歷就讓對(duì)方開(kāi)刀。先確認(rèn)三個(gè)信號(hào)再?zèng)Q定要不要拆。2.1 容量壓測(cè)與鏈路分析拆之前先量化瓶頸先壓測(cè)再談拆分。很多人憑直覺(jué)說(shuō)“系統(tǒng)慢”但慢在應(yīng)用層、數(shù)據(jù)庫(kù)還是網(wǎng)絡(luò)不壓測(cè)是看不出來(lái)的。常見(jiàn)的做法是先用 wrk 這類(lèi)輕量工具做一輪粗篩wrk -t4 -c200 -d60s --latency http://localhost:8080/order/list這個(gè)命令用 4 個(gè)線程、200 個(gè)并發(fā)連接壓 60 秒重點(diǎn)看兩個(gè)輸出Requests/sec 和 Latency Distribution。如果 QPS 在幾百左右就上不去了而 CPU 沒(méi)跑滿說(shuō)明瓶頸大概率在數(shù)據(jù)庫(kù)或遠(yuǎn)程調(diào)用上而不是應(yīng)用本身。這時(shí)候要配合慢查詢?nèi)罩竞?Arthas 抓線程棧定位到具體是哪條 SQL 或哪個(gè)下游接口拖住了鏈路。壓測(cè)的目的不是測(cè)出一個(gè)好看的數(shù)字而是找出“單點(diǎn)”。我見(jiàn)過(guò)一個(gè)系統(tǒng)壓測(cè)時(shí) QPS 卡在 300翻日志發(fā)現(xiàn)是訂單狀態(tài)查詢走了全表掃描加個(gè)索引直接翻到 2000。像這種問(wèn)題拆不拆微服務(wù)都不影響先按容量治理走就夠了。只有壓測(cè)確認(rèn)應(yīng)用層水平擴(kuò)展被進(jìn)程邊界擋住比如單機(jī)線程池打滿、內(nèi)存無(wú)法隔離、多團(tuán)隊(duì)部署互相踩踏才到了非拆不可的程度。2.2 演進(jìn)路線選型絞殺者模式還是大規(guī)模重構(gòu)確認(rèn)系統(tǒng)該拆之后下一個(gè)問(wèn)題是用什么方式拆。這里有兩個(gè)主流路線幾乎決定了項(xiàng)目接下來(lái)的風(fēng)險(xiǎn)敞口。對(duì)比維度絞殺者模式Strangler Pattern大規(guī)模重構(gòu)Big Bang風(fēng)險(xiǎn)等級(jí)低逐步替換高一次性切換周期數(shù)月到數(shù)年按業(yè)務(wù)節(jié)奏推進(jìn)數(shù)月集中開(kāi)發(fā)一次性上線團(tuán)隊(duì)要求少量架構(gòu)組 業(yè)務(wù)團(tuán)隊(duì)協(xié)作需要獨(dú)立平臺(tái)團(tuán)隊(duì)長(zhǎng)期封閉開(kāi)發(fā)回滾代價(jià)低按域名或路由切換高幾乎不可回滾適合場(chǎng)景存量單體系統(tǒng)業(yè)務(wù)仍在迭代系統(tǒng)規(guī)模小、調(diào)用鏈短或已停維護(hù)真實(shí)企業(yè)場(chǎng)景里我?guī)缀鯖](méi)見(jiàn)過(guò)哪家敢對(duì)核心交易鏈路做 Big Bang。大部分演進(jìn)方案寫(xiě)到最后都落回絞殺者模式保留單體新業(yè)務(wù)按微服務(wù)落地老功能通過(guò)網(wǎng)關(guān)逐步切流到新服務(wù)。這個(gè)模式還有個(gè)額外的好處團(tuán)隊(duì)不用等微服務(wù)全部建完才交付每?jī)芍芫湍苌暇€一塊管理層看得到進(jìn)度開(kāi)發(fā)有成就感風(fēng)險(xiǎn)也被拆小了。網(wǎng)上不少公開(kāi)的后端技術(shù)架構(gòu)演進(jìn)分享包括 GitHub 上能搜到的企業(yè)級(jí)微服務(wù)架構(gòu)倉(cāng)庫(kù)走的基本都是同一條軌跡先治理、再拆分、再容器化。怎么看出來(lái)的看他們的服務(wù)目錄和網(wǎng)關(guān)路由老域名還掛著單體新接口已經(jīng)在獨(dú)立服務(wù)上走灰度了。這就是絞殺者模式的典型痕跡。2.3 服務(wù)拆分邊界DDD 限界上下文與組織架構(gòu)對(duì)齊拆分邊界定錯(cuò)是演進(jìn)方案里最隱蔽的坑。按技術(shù)層拆是最常見(jiàn)的錯(cuò)誤比如抽出 user-service、order-service、pay-service 這種按數(shù)據(jù)表歸屬拆的聽(tīng)起來(lái)清晰實(shí)際產(chǎn)線一跑就亂。正確做法是面向業(yè)務(wù)能力拆用 DDD 的限界上下文找到哪些業(yè)務(wù)規(guī)則是強(qiáng)耦合的哪些是相對(duì)獨(dú)立的。舉個(gè)例子訂單創(chuàng)建時(shí)要扣庫(kù)存、鎖優(yōu)惠券、記賬這幾個(gè)動(dòng)作如果在單體里是同一個(gè)事務(wù)拆開(kāi)后就成了分布式事務(wù)代價(jià)很大。所以拆分單元不是“訂單表”和“庫(kù)存表”而是“交易過(guò)程”和“庫(kù)存管理”這兩個(gè)業(yè)務(wù)域。我的經(jīng)驗(yàn)是一個(gè)服務(wù)的粒度以“能不能被一個(gè) 5 人團(tuán)隊(duì)獨(dú)立維護(hù)、獨(dú)立發(fā)布、獨(dú)立擴(kuò)縮容”為準(zhǔn)而不是以表數(shù)量為準(zhǔn)。同時(shí)要注意服務(wù)邊界要和團(tuán)隊(duì)組織架構(gòu)對(duì)齊??低蓻Q定了如果你按訂單域拆出了服務(wù)但團(tuán)隊(duì)還是按前端后端分組聯(lián)調(diào)成本反而會(huì)翻倍。演進(jìn)方案里應(yīng)該畫(huà)兩個(gè)圖業(yè)務(wù)域劃分圖和組織分工圖二者疊加看是否吻合。不吻合的地方要么調(diào)服務(wù)邊界要么調(diào)組織結(jié)構(gòu)。這一步不做好后面每次發(fā)版都是扯皮。3. 微服務(wù)架構(gòu)選型Spring Cloud、Service Mesh 與注冊(cè)中心怎么定演進(jìn)方案里最容易被過(guò)度討論的就是技術(shù)選型。選型這事有一個(gè)討巧的辦法不要看哪個(gè)框架 2026 年最火要看哪個(gè)框架你團(tuán)隊(duì)能修 bug、能堅(jiān)持用三年。下面按應(yīng)用框架、注冊(cè)配置中心、網(wǎng)關(guān)三層來(lái)說(shuō)取舍。3.1 技術(shù)棧選型按團(tuán)隊(duì)能力定框架不按熱度先把家族體系說(shuō)清楚Spring Boot 是基礎(chǔ)開(kāi)發(fā)框架Spring Cloud 是分布式能力套件Service Mesh 是又一個(gè)層級(jí)的治理方案。很多團(tuán)隊(duì)在“直接用 Service Mesh”和“Spring Cloud 夠不夠用”之間猶豫。方案優(yōu)勢(shì)劣勢(shì)適用情況Spring CloudJava 生態(tài)成熟文檔多招人容易落地快對(duì) Rust / Go 服務(wù)治理弱侵入性強(qiáng)一點(diǎn)團(tuán)隊(duì)以 Java 為主業(yè)務(wù)迭代壓力大Dubbo 體系性能好服務(wù)治理功能豐富與 Spring Cloud 生態(tài)結(jié)合要額外適配內(nèi)部 RPC 調(diào)用為主吞吐要求高Go 微服務(wù)go-micro / Kratos 等占用資源低部署輕量生態(tài)碎片化業(yè)務(wù)團(tuán)隊(duì)跨語(yǔ)言維護(hù)成本高新業(yè)務(wù)團(tuán)隊(duì)是 Go 主力且運(yùn)維配套齊全Service MeshIstio / Linkerd治理能力下沉到 Sidecar語(yǔ)言無(wú)關(guān)基礎(chǔ)設(shè)施復(fù)雜度高排錯(cuò)鏈路長(zhǎng)多語(yǔ)言并存且已有較強(qiáng)云原生運(yùn)維能力我最常給的判斷是如果你團(tuán)隊(duì)以 Java 為主直接走 Spring Cloud 路線。因?yàn)檠葸M(jìn)方案不是從零做新項(xiàng)目而是把存量 Java 單體拆出來(lái)Spring Cloud 對(duì) Spring Boot 應(yīng)用的侵入改造最小。那種“微服務(wù)架構(gòu)最新 2026 開(kāi)源項(xiàng)目”看起來(lái)再熱鬧也要先回答一個(gè)問(wèn)題這個(gè)框架的社區(qū)活躍度和版本穩(wěn)定性能不能支撐你的核心交易鏈路如果它每半年發(fā)一個(gè)大版本落在生產(chǎn)環(huán)境就是給運(yùn)維上強(qiáng)度。順帶一提若依微服務(wù) Plus 這類(lèi)開(kāi)源腳手架常被當(dāng)作快速起步基線優(yōu)點(diǎn)是省去搭權(quán)限和代碼生成的功夫缺點(diǎn)是模塊邊界和權(quán)限模型是寫(xiě)死的跟你的業(yè)務(wù)域不一定對(duì)得上。拿來(lái)參考可以直接套用要掂量改造量。3.2 注冊(cè)中心與配置中心Nacos 集群部署與核心參數(shù)配置中心和注冊(cè)中心是三選一還是合一常見(jiàn)做法是直接用 Nacos 一起管掉理由是這一層省一個(gè)組件運(yùn)維就少背一個(gè)黑匣子。Nacos 集群部署時(shí)最需要注意的是 AP 和 CP 的取舍Nacos 作為注冊(cè)中心走 AP作為配置中心走 CP集群至少要三個(gè)節(jié)點(diǎn)形成 Raft 組。生產(chǎn)環(huán)境的 Nacos 配置有幾個(gè)關(guān)鍵參數(shù)直接用配置項(xiàng)說(shuō)明# application.propertiesNacos 服務(wù)端 server.port8848 spring.datasource.platformmysql db.num1 db.url.0jdbc:mysql://127.0.0.1:3306/nacos?characterEncodingutf8connectTimeout1000socketTimeout3000 db.usernacos db.passwordnacos nacos.core.auth.plugin.nacos.token.secret.key你的隨機(jī)Base64密鑰 nacos.core.auth.enabledtrue這里把 Nacos 的配置存儲(chǔ)從內(nèi)嵌 Derb 切到 MySQL是生產(chǎn)必備。nacos.core.auth.plugin.nacos.token.secret.key這行是配置鑒權(quán)的核心很多團(tuán)隊(duì)圖省事不開(kāi)鑒權(quán)結(jié)果任何能訪問(wèn) 8848 端口的人都能改配置。密鑰要用隨機(jī)生成的 Base64 字符串長(zhǎng)度不能低于 32 字節(jié)。客戶端側(cè)的參數(shù)同樣有講究spring: cloud: nacos: discovery: server-addr: nacos-0:8848,nacos-1:8848,nacos-2:8848 namespace: prod group: ORDER_GROUP config: server-addr: ${spring.cloud.nacos.discovery.server-addr} namespace: prod file-extension: yamlnamespace做環(huán)境隔離group做業(yè)務(wù)域隔離這兩個(gè)字段很容易被搞混。我的習(xí)慣是 namespace 按環(huán)境分dev / test / prodgroup 按業(yè)務(wù)域分訂單域、支付域、用戶域配置文件的命名用“服務(wù)名-環(huán)境.yaml”的規(guī)范。這樣設(shè)計(jì)之后微服務(wù)從本地聯(lián)調(diào)到生產(chǎn)環(huán)境只要能確定 namespace 和 group配置就不會(huì)串。3.3 網(wǎng)關(guān)層設(shè)計(jì)路由、鑒權(quán)、限流的配置邊界網(wǎng)關(guān)是微服務(wù)的流量入口也是整個(gè)架構(gòu)里最容易被塞業(yè)務(wù)邏輯的地方。演進(jìn)方案里對(duì)網(wǎng)關(guān)的要求只有一條只做路由、鑒權(quán)、限流、灰度切流不做任何業(yè)務(wù)編排。Spring Cloud Gateway 的最小配置長(zhǎng)這樣spring: cloud: gateway: routes: - id: order-service uri: lb://order-service predicates: - Path/api/order/** filters: - StripPrefix1 - name: RequestRateLimiter args: redis-rate-limiter.replenishRate: 100 redis-rate-limiter.burstCapacity: 200 key-resolver: #{userKeyResolver}lb://前綴表示走注冊(cè)中心負(fù)載均衡StripPrefix1是把 /api/order 去掉后再轉(zhuǎn)發(fā)給下游。限流這里的兩個(gè)參數(shù)最容易調(diào)錯(cuò)replenishRate是每秒補(bǔ)充的令牌數(shù)burstCapacity是桶容量。實(shí)際壓測(cè)時(shí)把 burstCapacity 設(shè)成 replenishRate 的 2 倍是起步值具體還要根據(jù)下游服務(wù)的承受能力來(lái)定不能拍腦袋寫(xiě)個(gè) 1000 就上。網(wǎng)關(guān)還有一個(gè)隱蔽邊界是超時(shí)。很多人只給網(wǎng)關(guān)配一層全局超時(shí)下游數(shù)據(jù)庫(kù)慢查一拖網(wǎng)關(guān)線程全被占住。正確做法是劃分為讀操作和寫(xiě)操作讀接口網(wǎng)關(guān)超時(shí) 2 到 3 秒寫(xiě)接口看業(yè)務(wù)容忍度放寬到 5 秒但決不做全局統(tǒng)一超時(shí)。另外網(wǎng)關(guān)層不要把鑒權(quán)邏輯寫(xiě)在過(guò)濾器里太重常見(jiàn)做法是網(wǎng)關(guān)只校驗(yàn) JWT 簽名和有效期細(xì)粒度權(quán)限放到各業(yè)務(wù)服務(wù)內(nèi)做。4. 基礎(chǔ)設(shè)施落地容器化、CI/CD 與可觀測(cè)性缺一不可服務(wù)拆完之后如果發(fā)布方式還是手工傳 jar 包那演進(jìn)方案就只完成了一半。微服務(wù)架構(gòu)落地必須同步建設(shè)三塊基礎(chǔ)設(shè)施鏡像標(biāo)準(zhǔn)化、流水線自動(dòng)化、可觀測(cè)性。三者推進(jìn)順序和落地方案如下。4.1 Docker 鏡像規(guī)范基礎(chǔ)鏡像、分層緩存與標(biāo)簽策略Java 服務(wù)鏡像的常見(jiàn)問(wèn)題是把整個(gè)構(gòu)建過(guò)程塞進(jìn)一個(gè)鏡像導(dǎo)致鏡像幾百 MB構(gòu)建五分鐘。多階段構(gòu)建是標(biāo)準(zhǔn)解法Dockerfile 寫(xiě)出來(lái)大概是這樣的FROM maven:3.8-openjdk-11 AS build WORKDIR /app COPY pom.xml . RUN mvn dependency:go-offline -B COPY src ./src RUN mvn clean package -DskipTests FROM openjdk:11-jre-slim RUN groupadd -r app useradd -r -g app app COPY --frombuild /app/target/order-service.jar /app/order-service.jar EXPOSE 8080 USER app ENTRYPOINT [java, -XX:MaxRAMPercentage75, -jar, /app/order-service.jar]這段的關(guān)鍵在兩點(diǎn)第一COPY pom.xml .和mvn dependency:go-offline單獨(dú)成層這樣只要 pom 依賴不變后續(xù)構(gòu)建都能命中 docker layer 緩存構(gòu)建時(shí)間能從三分鐘降到二十秒。第二運(yùn)行階段用-XX:MaxRAMPercentage75而不是-Xmx2g這種固定值讓容器內(nèi)存限制變化時(shí) JVM 堆能自適應(yīng)避免 K8s 限制了內(nèi)存而 JVM 不知道的情況?;A(chǔ)鏡像標(biāo)簽一定要釘死版本。用openjdk:11-jre-slim而不是latest因?yàn)?latest 今天構(gòu)建和明天構(gòu)建可能拿到不同鏡像上線一時(shí)爽排查火葬場(chǎng)。鏡像標(biāo)簽則建議用 git commit 短哈希保證每個(gè)鏡像對(duì)應(yīng)一份源碼回滾時(shí)能精確定位。4.2 CI/CD 流水線從提交代碼到灰度發(fā)布的最小配置流水線的最小閉環(huán)是代碼提交觸發(fā)編譯、跑單測(cè)、構(gòu)建鏡像、推鏡像倉(cāng)庫(kù)、更新 K8s 部署。GitLab CI 的配置可以這樣寫(xiě)stages: - build - test - package - deploy build-job: stage: build script: - mvn compile -q only: - branches test-job: stage: test script: - mvn test only: - branches package-job: stage: package script: - docker build -t ${REGISTRY}/${CI_PROJECT_NAME}:${CI_COMMIT_SHORT_SHA} . - docker push ${REGISTRY}/${CI_PROJECT_NAME}:${CI_COMMIT_SHORT_SHA} only: - main deploy-job: stage: deploy script: - kubectl set image deployment/order-service order-service${REGISTRY}/${CI_PROJECT_NAME}:${CI_COMMIT_SHORT_SHA} - kubectl rollout status deployment/order-service --timeout300s only: - main when: manualwhen: manual是部署階段的常用做法鏡像構(gòu)建完成后部署動(dòng)作需要人點(diǎn)一下確認(rèn)避免每次合并主干都自動(dòng)上線。對(duì)于演進(jìn)初期這層手動(dòng)閘門(mén)能防止開(kāi)發(fā)手滑把未驗(yàn)證的代碼推到生產(chǎn)。發(fā)布策略上K8s Deployment 的滾動(dòng)更新參數(shù)值得單獨(dú)說(shuō)spec: replicas: 3 strategy: type: RollingUpdate rollingUpdate: maxSurge: 1 maxUnavailable: 0maxSurge: 1表示先啟動(dòng)一個(gè)新副本maxUnavailable: 0表示舊副本一個(gè)都不能少。這樣發(fā)布期間容量不會(huì)掉只是多占一份資源。追求極致的團(tuán)隊(duì)還可以接 Istio 做金絲雀發(fā)布按流量百分比逐步放量但這要求服務(wù)都接入 Service Mesh演進(jìn)初期可以先不搞滾動(dòng)更新足夠用了。4.3 可觀測(cè)性建設(shè)日志、指標(biāo)、鏈路追蹤的落地順序我見(jiàn)過(guò)團(tuán)隊(duì)一上來(lái)就鋪全量鏈路追蹤結(jié)果業(yè)務(wù)服務(wù)只接了一半 SDKtraceId 斷鏈排查問(wèn)題比單體還慢??捎^測(cè)性的正確落地順序是先結(jié)構(gòu)化日志再上指標(biāo)告警最后接鏈路追蹤。結(jié)構(gòu)化日志是第一步也是最容易被忽視的。服務(wù)日志必須統(tǒng)一輸出 JSON 格式包含 timestamp、traceId、serviceName、level、message 五個(gè)字段。舉一個(gè)簡(jiǎn)單示例{timestamp:2025-06-18T10:23:11.223Z,traceId:a1b2c3d4e5f6,serviceName:order-service,level:WARN,message:庫(kù)存扣減重試第2次}日志只要變成這種結(jié)構(gòu)后續(xù)在 Kibana 里按 traceId 一搜整條調(diào)用鏈的日志就全串起來(lái)了。bilibili 后端技術(shù)架構(gòu)這類(lèi)公開(kāi)分享里反復(fù)強(qiáng)調(diào)的也是這個(gè)邏輯海量日志不可怕可怕的是沒(méi)法過(guò)濾的結(jié)構(gòu)化能力。指標(biāo)層面用 Prometheus Grafana 是事實(shí)標(biāo)準(zhǔn)每個(gè)服務(wù)暴露 /metrics 端點(diǎn)重點(diǎn)采集 QPS、P99 延遲、線程池活躍數(shù)、數(shù)據(jù)庫(kù)連接池用量。告警規(guī)則寧少勿多初期只配三個(gè)接口錯(cuò)誤率突增、P99 超過(guò) 1 秒、連接池使用率超過(guò) 80%。鏈路追蹤放到最后接是因?yàn)樗蕾嚾罩竞椭笜?biāo)已經(jīng)穩(wěn)定。選擇 SkyWalking 還是 Micrometer Tracing取決于你技術(shù)棧是否統(tǒng)一。如果全是 Java Spring CloudSkyWalking 的 Java Agent 方式侵入最小改一行啟動(dòng)參數(shù)就能接入。如果你要拿 IDEA 本地跑微服務(wù)聯(lián)調(diào)鏈路追蹤的配置往往是在本地起一個(gè) SkyWalking OAP 容器把 agent 指向本地端口——這一步會(huì)在聯(lián)調(diào)階段反復(fù)踩坑后面避坑章節(jié)會(huì)細(xì)說(shuō)。5. 微服務(wù)演進(jìn)的避坑記錄五個(gè)讓項(xiàng)目返工的典型事故這套方案我在落地產(chǎn)線時(shí)見(jiàn)過(guò)太多反例下面五個(gè)坑基本覆蓋了“拆完比不拆還差”的大部分原因。每一條都是真實(shí)發(fā)生過(guò)的事故現(xiàn)象、原因、解決路徑一起說(shuō)。5.1 數(shù)據(jù)庫(kù)連接池被打滿服務(wù)全掛現(xiàn)象服務(wù)拆分上線后第一周訂單服務(wù)頻繁報(bào)Connection is not available, request timed out緊接著支付服務(wù)和庫(kù)存服務(wù)相繼超時(shí)整個(gè)交易鏈路雪崩。原因拆分時(shí)每個(gè)服務(wù)都從單體的數(shù)據(jù)庫(kù)配置里復(fù)制了連接池參數(shù)單體時(shí)一個(gè)應(yīng)用占 100 個(gè)連接拆成 10 個(gè)服務(wù)后每個(gè)服務(wù)默認(rèn)連接池上限還是 100加起來(lái)對(duì)數(shù)據(jù)庫(kù)產(chǎn)生了 10 倍連接壓力。解決把每個(gè)服務(wù)的連接池上限按業(yè)務(wù)量級(jí)重新設(shè)置并加上最大等待時(shí)間spring: datasource: hikari: maximum-pool-size: 20 minimum-idle: 5 connection-timeout: 3000記住一個(gè)估算規(guī)則數(shù)據(jù)庫(kù)總連接預(yù)算除以服務(wù)實(shí)例數(shù)再預(yù)留 50% 余量。比如數(shù)據(jù)庫(kù)能扛 200 個(gè)連接5 個(gè)服務(wù)各 3 個(gè)實(shí)例單實(shí)例最大連接數(shù)就控制在 20 以內(nèi)。連接池不是越大越好大連接池在數(shù)據(jù)庫(kù)側(cè)會(huì)加劇鎖競(jìng)爭(zhēng)吞吐反而下降。5.2 分布式事務(wù)選錯(cuò)模式數(shù)據(jù)對(duì)不上賬現(xiàn)象下單接口偶爾出現(xiàn)訂單已創(chuàng)建但庫(kù)存沒(méi)扣的情況用戶重復(fù)下單對(duì)賬系統(tǒng)每天都能查出幾十筆不一致數(shù)據(jù)。原因團(tuán)隊(duì)從單體事務(wù)思維直接跳到微服務(wù)用了本地事務(wù)的寫(xiě)法跨服務(wù)調(diào)用沒(méi)有引入分布式事務(wù)方案。更隱蔽的是有人選了 2PC 強(qiáng)一致方案結(jié)果在庫(kù)存服務(wù)高延遲時(shí)鎖全局資源整個(gè)下單鏈路的可用性掉到 99% 以下。解決分布式事務(wù)選型要看業(yè)務(wù)容忍度。交易鏈路中必須強(qiáng)一致的場(chǎng)景用 Seata 的 AT 模式配置如下seata: enabled: true application-id: order-service tx-service-group: order_pay_group service: vgroup-mapping: order_pay_group: default config: type: nacos nacos: server-addr: 127.0.0.1:8848 namespace: seataAT 模式的做法是業(yè)務(wù) SQL 執(zhí)行前記錄 before image執(zhí)行后記錄 after image事務(wù)提交時(shí)通過(guò)全局鎖校驗(yàn)數(shù)據(jù)是否被并發(fā)修改過(guò)。它的優(yōu)點(diǎn)是業(yè)務(wù)代碼侵入小適合效率優(yōu)先的場(chǎng)景。但注意它的限制AT 模式依賴全局鎖并發(fā)高的熱點(diǎn)數(shù)據(jù)上性能會(huì)明顯下降。庫(kù)存扣減這類(lèi)高頻熱點(diǎn)應(yīng)該改成 TCC 模式把 Try 階段做成預(yù)扣、Confirm 階段做成確認(rèn)扣減、Cancel 階段做回補(bǔ)。方案文檔里要寫(xiě)清楚哪些服務(wù)走 AT哪些走 TCC并有對(duì)應(yīng)的降級(jí)預(yù)案而不是一個(gè)方案打天下。5.3 網(wǎng)關(guān)超時(shí)配置不當(dāng)雪崩反而加重現(xiàn)象某天下游庫(kù)存服務(wù)發(fā)生慢查詢響應(yīng)時(shí)間從 50ms 漲到 5 秒。網(wǎng)關(guān)層線程池被占滿原本正常的訂單查詢接口也跟著超時(shí)整條鏈路一起掛。原因網(wǎng)關(guān)配置的是全局 30 秒超時(shí)下游慢的時(shí)候沒(méi)有及時(shí)熔斷請(qǐng)求全部堆積在網(wǎng)關(guān)線程池里。網(wǎng)關(guān)的超時(shí)時(shí)間設(shè)得比下游服務(wù)的實(shí)際處理能力還寬松等于給故障開(kāi)了綠燈。解決把讀寫(xiě)超時(shí)分開(kāi)配置并配合熔斷。以 Spring Cloud Gateway 為例不能只調(diào)超時(shí)參數(shù)要接 Sentinel 或 Resilience4j 做熔斷降級(jí)resilience4j: circuitbreaker: instances: orderService: slidingWindowSize: 10 failureRateThreshold: 50 waitDurationInOpenState: 10s timeouts: instances: orderService: read: 2000ms write: 5000ms配合上網(wǎng)關(guān)讀接口超過(guò) 2 秒就快速失敗寫(xiě)接口超過(guò) 5 秒也直接返回失敗由前端引導(dǎo)重試。熔斷器在失敗率超過(guò) 50% 時(shí)打開(kāi)后續(xù)請(qǐng)求直接走降級(jí)邏輯不回源。寫(xiě)完這段配置后一定要做故障演練否則參數(shù)到底合不合理上線前是看不出來(lái)的。5.4 鏈路追蹤只接了一半排查問(wèn)題比單體還慢現(xiàn)象某接口報(bào)錯(cuò)后日志里查 traceId 只能看到當(dāng)前服務(wù)這一段上游入口和下游調(diào)用的日志全斷掉。運(yùn)維為了找一個(gè)報(bào)錯(cuò)還是要在各服務(wù)日志文件里人工 grep耗時(shí)從單體時(shí)代的十分鐘變成四十分鐘。原因鏈路追蹤 SDK 只覆蓋了新拆出來(lái)的服務(wù)老的服務(wù)沒(méi)接另外服務(wù)里有用線程池異步處理的部分子線程里 traceId 是空的。解決接入鏈路追蹤的驗(yàn)收標(biāo)準(zhǔn)是“入口請(qǐng)求打上的 traceId 能完整貫穿所有下游調(diào)用直到日志落盤(pán)”。異步線程池必須做 traceId 透?jìng)骱诵拇a如下public class TraceTaskDecorator implements TaskDecorator { Override public Runnable decorate(Runnable runnable) { String traceId TraceContext.getTraceId(); return () - { try { TraceContext.setTraceId(traceId); runnable.run(); } finally { TraceContext.clear(); } }; } }在創(chuàng)建線程池時(shí)加上.setTaskDecorator(new TraceTaskDecorator())子線程就能繼承父線程的 traceId。這個(gè)細(xì)節(jié)不處理鏈路追蹤的效果直接打五折。聯(lián)調(diào)階段也建議按這個(gè)標(biāo)準(zhǔn)檢查本地 IDEA 起多個(gè)服務(wù)發(fā)一個(gè)請(qǐng)求看 traceId 是否貫穿所有服務(wù)沒(méi)有貫穿就是配置漏了。5.5 配置中心權(quán)限失控線上配置被開(kāi)發(fā)誤改現(xiàn)象某天下午支付服務(wù)突然開(kāi)始報(bào)簽名失敗排查了兩小時(shí)發(fā)現(xiàn)是開(kāi)發(fā)在本地聯(lián)調(diào)時(shí)誤把生產(chǎn) Nacos 上的一個(gè)加密配置項(xiàng)改成了測(cè)試值。原因配置中心沒(méi)有做環(huán)境隔離和權(quán)限控制所有環(huán)境共用一個(gè) namespace任何能訪問(wèn) Nacos 控制臺(tái)的人都能修改生產(chǎn)配置。更麻煩的是配置變更沒(méi)有審批流改完立刻生效沒(méi)有回滾入口。解決在 Nacos 中強(qiáng)制按環(huán)境拆分 namespace并開(kāi)啟配置的權(quán)限校驗(yàn)spring: cloud: nacos: config: namespace: prod username: config-admin password: ${NACOS_CONFIG_PWD}生產(chǎn) namespace 的讀寫(xiě)權(quán)限只給運(yùn)維和架構(gòu)組業(yè)務(wù)開(kāi)發(fā)對(duì)生產(chǎn)配置只讀。同時(shí)開(kāi)啟 Nacos 的配置變更審計(jì)每次修改記錄操作人和變更內(nèi)容出問(wèn)題能追溯。配置中心這一層寧可多花一天配權(quán)限也不要給線上留一個(gè)誰(shuí)都能動(dòng)的后門(mén)。6. 演進(jìn)方案的驗(yàn)證與進(jìn)階先用容量表和故障演練守住上線底線方案寫(xiě)完不是終點(diǎn)驗(yàn)證才是。我習(xí)慣把驗(yàn)證分成三層容量評(píng)估、故障演練、節(jié)奏控制。這三件事在演進(jìn)過(guò)程中反復(fù)做每拆出一個(gè)服務(wù)就跑一遍形成標(biāo)準(zhǔn)動(dòng)作。6.1 容量評(píng)估表給每個(gè)服務(wù)定內(nèi)存、QPS 和連接數(shù)預(yù)算拆出來(lái)的每個(gè)服務(wù)都要有一份容量評(píng)估表數(shù)據(jù)來(lái)自壓測(cè)和線上監(jiān)控而不是拍腦袋。格式可以固定成下面這樣服務(wù)名核心 QPS峰值 QPS單副本內(nèi)存上限D(zhuǎn)B 連接數(shù)預(yù)算副本數(shù)備注order-service80016002 GiB204峰值來(lái)自大促場(chǎng)景模擬pay-service50012002 GiB153上游是第三方渠道重試多user-service3008001 GiB82可加緩存壓峰值這張表有兩個(gè)用途。第一預(yù)算容量如果 order-service 峰值 QPS 是 1600單副本能扛 400那么副本數(shù)至少 4再加上 25% 的冗余配置 5 副本。第二發(fā)布時(shí)對(duì)照如果某次發(fā)版后監(jiān)控顯示單副本內(nèi)存超過(guò)預(yù)算的 80%說(shuō)明出了問(wèn)題要么代碼有泄漏要么容量評(píng)估不準(zhǔn)要及時(shí)修正方案。6.2 故障演練清單用三個(gè)場(chǎng)景檢驗(yàn)架構(gòu)韌性故障演練不是運(yùn)維團(tuán)隊(duì)單方面的事架構(gòu)演進(jìn)方案里必須包含。有三個(gè)場(chǎng)景最能檢驗(yàn)微服務(wù)架構(gòu)的真實(shí)水平演練場(chǎng)景操作方式預(yù)期結(jié)果失敗時(shí)的止血手段單實(shí)例宕機(jī)kubectl delete pod order-service-xxx30 秒內(nèi)新副本拉起請(qǐng)求成功率保持在 99.9% 以上手動(dòng)擴(kuò)容副本數(shù)下游服務(wù)延遲用 Chaos Mesh 給 pay-service 注入 3 秒延遲網(wǎng)關(guān)讀接口 2 秒內(nèi)快速失敗返回不拖垮其他服務(wù)關(guān)閉該服務(wù)灰度流量配置中心不可用停止 Nacos 節(jié)點(diǎn)服務(wù)已加載的配置繼續(xù)生效日志有報(bào)警不影響當(dāng)前運(yùn)行恢復(fù) Nacos檢查配置變更演練的關(guān)鍵在于“在故障發(fā)生時(shí)就驗(yàn)證而不是等上線后再驗(yàn)證”。有些團(tuán)隊(duì)把容災(zāi)參數(shù)配好了但從來(lái)不敢演練結(jié)果線上真掛了發(fā)現(xiàn)配置的熔斷閾值跟實(shí)際流量模型完全對(duì)不上。每個(gè)月跑一次花半天時(shí)間能省掉未來(lái)幾十個(gè)小時(shí)的線上救火。6.3 演進(jìn)節(jié)奏控制每?jī)芍芤粋€(gè)服務(wù)不搞大爆炸最后是節(jié)奏。演進(jìn)方案落地的合理節(jié)奏是每?jī)芍懿鹨粋€(gè)服務(wù)而不是一次性拆完再統(tǒng)一上線。拆的順序按業(yè)務(wù)變更頻率排變更最頻繁的模塊先拆因?yàn)樗钅軓莫?dú)立部署中獲益低頻模塊留在單體里不影響演進(jìn)效果。每個(gè)服務(wù)的拆分要遵循同樣的流程先加監(jiān)控埋點(diǎn)、再按網(wǎng)關(guān)切流、灰度觀察一周、最后切量。切量后發(fā)現(xiàn)問(wèn)題回滾手段是改網(wǎng)關(guān)路由而不是改代碼重新上線?;叶绕陂g對(duì)照容量評(píng)估表里的預(yù)期值盯三個(gè)數(shù)字QPS、P99 延遲、錯(cuò)誤率。只要這三個(gè)數(shù)字跟單體時(shí)代持平或更好才算這一個(gè)服務(wù)的演進(jìn)真正完成。我自己吃過(guò)的虧是過(guò)于迷信架構(gòu)圖畫(huà)得漂亮但忘了評(píng)估表里那個(gè)服務(wù)峰值 QPS 是從哪來(lái)的。后來(lái)養(yǎng)成習(xí)慣方案里每一個(gè)數(shù)字都標(biāo)注來(lái)源和統(tǒng)計(jì)口徑?jīng)]有數(shù)據(jù)支撐的架構(gòu)決策一律不寫(xiě)進(jìn)演進(jìn)方案寧缺毋濫。這份方案文檔的價(jià)值不在于你畫(huà)了多完整的微服務(wù)架構(gòu)圖而在于每拆一個(gè)服務(wù)都有驗(yàn)證、有回滾、有容量依據(jù)。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
热久精品| 丁香五月天日韩无码| 欧美人妻一区二区| 99免费| 久久综合性| 91碰碰视频| 欧洲色| 色婷婷五月天偷拍| 婷婷五月综合社区| 色色亚洲五月天| 色婷婷久久| 成人AV在线电影| www.色99| 夜夜穞天天穞狠狠穞AV美女按摩| 日韩少妇内射免费播放| 五月丁香久久激情综合| 九色激情网| 久婷久婷激情肉| 六月色 亚洲| 婷婷五月综合中文字幕| 97五月综合网| 色婷网| 久久激情五月| 婷婷五月天无码视频| 五月丁香六月色婷婷综合五月天| 免费99情趣网视频| 九色色| 丁香成人色情五月天| 五月天激情视频五月天| 六月婷婷视频| 色色色综合色| ..真实国产乱子伦对白在线_欧 | 亚洲第一成人无码A片| 激情五月综合网| 狠狠干,狠狠操| 激情第四色| 成人无码精品1区2区3区免费看| 黄网在线免费| 亚洲操B视频| 婷婷五月丁香综合| 国产五月婷| 99热这里只有精品一区| 9月色婷婷| 91超碰在线观看| 婷婷五月天堂| 99热爆在线| 天啪色| 九九热精品99| 99热国内| 婷婷五月av| 亚洲网站999| 天天狠天天叉| 182无码| 久久婷婷丁香视频网| 九色91美女| 色欲人妻综合aaaaaaaa网| 二人电影免费版在线观看| 精品福利911| 五月天激情图| 久青操| 婷婷五月婷婷| 色亭亭九月| 天堂久久大香蕉| 五月婷婷天堂| 婷婷六月中文字幕| 色婷婷精品视频| 激情五月综合网| 四虎国产精品永久在线国在线| 高清免费在线视频| 中文字幕婷婷| 激情五月婷在线精品| 99无码| 99色综合| 伊人五月天久久| 九热视频| 狠狠干综合网| 亚洲色情激情丁香五月| 爱婷婷都市激情| 99免费在线视频| 五月伊人91| 婷婷久久内射| 五月天激情婷婷五月天久久| 操逼视频一区| 亚洲亚洲人成综合网络| 色五月婷婷1| 六月色日韩| 久久精品亚洲热| 超碰在线精品| 182.t午在线观看| 99久久婷婷五月综合| 热的国产,热的综合,热的有码| 色五月婷婷色五月| 国产亚洲99久久精品| 五月婷婷丁香综合,亚洲天堂| 婷婷玖玖五月天| 性色播| 人妻操操色| 91九色精品| 国产精品99久久久久久久女警| 色婷婷玖玖影院| 98毛片| AV性爱在线| 欧美在线干| 婷婷五月无码| 青青草日本亚洲| www.五月婷婷| 亚洲AV永久无码影院黑人| 久久久中文| 亚洲综合色棒| 中文字幕按摩做爰| 999婷婷综合| 婷婷五月色丁香在线看| 丁香婷婷久久 | 天天综合网在线| 欧美99热| 狠狠爱婷婷| 青青草视频福利| 99热精品在线播放| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 超级碰碰碰久久网站| 久久五月丁香婷婷| 一级二级色大片| 99精品偷自拍| 人妻乱码久久久| 婷婷久久精品| 色婷婷啪啪| 激情五月天开心网丁香无码| 欧美啪啪9| 五月久久综合| 天天色天天爱天天舔| 性热视频99精品| 婷婷丁香日韩五月| 丁香婷婷激情五月| 激情五月综合网| 182.t午在线观看| 久久五月丁香伊人青草| 97人妻碰碰中文无码久热丝袜| 九九久久久综合| 天天色伊人| 亚洲综合九九| 日本97在线视频| 婷婷五月天美女视频| 五月丁香综合网| 九九99热| 色色色热| 极品五月天| 久久精品小视频| 丁香五月手机在线| 99啪啪视频| 99这里| 激情五月黄色| 深爱婷婷色| 九九热在线视频观看| 草草影院爱爱| 无码区婷婷五月花开| 激情 久久 婷婷| 久久成人性爱| 99色视频| 色9999日韩国产| 欧洲色色| 热99在线精品| 99人妻碰碰碰久久久久视| 色婷婷精| 丁香五月天网友自拍啪啪啪视频| 婷婷综合婷婷| av免费人人| 北条麻妃九九九国产精品视频| 丁香五月婷婷姐| 天天干天天日天天操| 啪啪操超碰| 开心激情网在线| 黄网在线免费观| 99久久超级| 激情五月激情综合网一级丸片| 婷婷在线视频| 日本专区久久| 综合五月丁香六月婷婷| 大香蕉五月| 丁香色五月婷婷| 99re资源在线视频导航| 丁香六月激情综合啪啪| 色婷婷中文| 五月天性色| 欧美激情性做爰免费视频| 美女五月天婷婷| 丁香六月激情综合| 欧美99热| 内射干少妇亚洲69XXX| 婷婷五月丁香综合激情小说| 嫩草AV久久伊人妇女超级A| 天天做综合| 丁香成人五月天| 激情小说五月天社区丁香 | www.婷婷,com| 婷婷五月电影院| 成人在线网址| aaa丁香五月天| 五月天色综合| 丁香花五月天| 3DAV亚洲香蕉久久 一区二区| 色狠狠综合入口| 俺去婷婷 丁香| 久久九九免费视频| 九色91视频| 我爱大香蕉| 国产xxxxx在线观看| 日日干日日| 深爱激情小说五月婷婷| 人碰人人人玩91| 国产VA亚洲VA96| 超碰在线观看成人视| 久久婷婷五月综合| 色呦呦免费观看| 久9热| 激情5月婷婷狠狠干| 亚洲12p| 九九精品在线观看视频6| 激情九九九九| 亚洲黄色影视| 国产丁香五月天婷婷| 操97在线观看| 日本欧美国产| 九九热这里有精品23| 国产露脸150部国语对白| 综合网五月天123| 在线看av| 亚洲第一综合| 思思热久久久在线| 九九狠狠干| 狠狠狠狠狠狠| 婷婷五月天天aV| 激情五月婷婷啪啪| 丁香在线视频| 热99只有里视频| 无码橾| 大香蕉啪啪网| 色五月婷婷啪啪五月| 99日在线观看视频| 欧美色五月| 99性感视频| 天天操五月天| 思思热在线观看| 天天爽天天干天天| 色五月综合网| 丁香五月婷婷av影院| 亚洲中文乱字字幕在线永久| 激情五月激情综合俺也去婷婷小说| 男女啪啪做爰高潮无遮挡 | 人人爱人人添| 五月天亚洲图片婷婷| 免费无码毛片一区二区A片| 婷婷丁香五月综合网上| 色色五月天婷婷| 97久久人人人干| 99视频只有精品| 那里有AV网址| 超级碰碰视频无码| 伊人久久艹| 激情婷婷网| 大香蕉天堂| 国产FREESEXVIDEOS性中国| 久色激情| 91人在线观看| 丁香婷婷啪啪| 九九久久视频| 五月天婷婷色在线视频免费观看 | 91人妻九色大屁股| 五月天婷婷视频| 婷婷五月激情在线| 久久婷五月| 4399无码视频二区| 99热6这里只有精品| 我要看激情五月天| 激情小说五月天社区丁香| 欧美五月婷婷综合| 五月天激情国产综合婷婷婷| 夜夜骑天天操| 五月综亚洲| 极品另类| 万月丁香狠狠爱| 丁香五月婷婷超碰在线| 开心激情网五月| 色五月丁香六月资源站| 91九色中文| 国产精品久久久久久亚洲毛片| 五月天成人在线视频网站| 夜夜操夜夜爽| 女同激情久久av久久| 婷婷五月激情欧美大胆视频| 婷婷色婷婷| 久久99性爱| www色婷婷久久综合久色 | 99色精品| 欧美日韩成人高清在线| 色综合色色色色色| 狠狠夜夜五月丁香| www.五月婷婷| 五月花激情网| 九色综合网| 久久免片| 大香蕉中文| 五月天成人在线| 97在线精品| 99久高清视频| 久婷婷视平| 色香欲综合| 99精品热| 丁香五月激情无码视频| 五月www| 97人人操在线| 丁香五月婷婷天堂大香蕉| 国产国产乱老熟女视频网站97| 婷婷综合色图| 亚洲精品永久久久久久| 天天操天天日天天操| 狠狠操.com| 色色色色色五月丁香| 91人妻九色大屁股| 男男野外做爰全过程69| 女人天堂AV| 久大香蕉| 这里只有精品无码| 色99热| 99爱免费在线观看| 99re热精品在线视频| 欧美、日韩、中文、制服、人妻| 婷婷性爱五月天丁香网| 丁香色婷婷色手机免费在线| 国产精品色色| 久久人妻视频| 丁香桃色网| 色欲婷婷五月天丁香| 五月丁香无码| 久色国产| 黄页大全十八禁| 十月丁香婷婷| www.狠狠操.co m| 91狠狠色| A片一曲| 久久久久久久久久久44| 久久久久久18| AV网在线观看| 97超级碰碰碰久久久| 51精品国自产在线| 中字幕视频在线永久在线观看免费| 五月丁香在线观看| a网站免费观看| A在线观看| 色久综合| 婷婷色综合av| 激情五月婷黄版| 九九热99热| 色性五月天| 激情综合网激情五月欧美| 伊人五月婷婷| 婷婷在线五月天观看| 激情五月天色| 人人干人人干骚美女| 91狠狠综合久久久| 婷婷色婷婷亚洲成人| 久热成人| 久热99| 特黄三级片| 91九色精品女同系列| 五月天天堂久久| 婷婷激情在线| 久激情网| 婷婷五月天受日本法律保护| 六月丁香基地| 涩涩涩婷婷| 五月丁香六月婷婷综合免| 亚洲丁香婷婷五月天综合色| 【乱子伦】黄色| 成人操呦av| 欧美丁香婷婷天天操| 看黄的网站18禁| 激情四射五月天偷偷看婷婷| 狠狠夜夜五月丁香| 五月天婷婷丁香蜜桃91| 99热最新网址| 激情综合网五月激情| 五月天婷婷激情综合| 色 色 色综合com| 久久婷婷五月天蜜桃| 66成人网| 久热欧美| 色九区| 性无码专区无码| 99精品国产在热久久| 亚洲熟妇AV乱码在线观看| 九九无码AV| 第四色色色色色丁香五月天| 亚洲有码在线视频| 婷婷色丁香五月| 九月婷婷| 五月丁香六月婷婷中文版| 色婷婷丁香特级性爱视频| 激情五月天婷婷视频| 天天色天天色天天色天天色天天色| 五月天色视频| 97se视频在线| AVDV久久| 99热香港| 人橾人| 色色五月丁香婷婷| 日韩一66精品| 久久丁香久久| 91丨九色丨白浆秘| 婷婷五月丁香五月| 五月天社区婷婷| 日本三日本三级少妇三级66| www.久久久.com| 精品国产va久久久久| 色五月aV| 五月天天爽| 丁香五月色网| 狠狠综合| WWW久久99久久99久久| 99久精品视频| 色久在| 天天插天天| 人人干av| 激情综合网五月婷婷| 狠狠CAO日日穞夜夜穞AV| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 亚洲免费av在线| 婷婷激情小说网| 很很干五月天| 殴美日韩成人| 亚洲激情网| 国av网| 91久久综合亚洲噜噜成人在线| 91丨九色丨东北熟女| 色五月天天| 久久机热/这里只有精品| 玖玖爱综合网| 六月综合婷婷开心伊人| 五月丁香啪啪综合| 综合狠久久| 日本WWW九九九| 热九九在线| 天天操天天爱天天玩| 国产色网站| 大香蕉综合| 超碰免费人人肏| 99网址在线看| 五月婷婷网久久| 99热这里只有精品5| 看片视频在线免费日产在线看| 丁香五月开心七月| 丁香蜜臀黄色婷婷五月天| www.狠狠狠.com| 五月丁香偷拍| 国产亚洲精品AAAAAAA片| 久久五月婷综合网| 色婷五月婷婷| 思思热这里只有精品| 色色99| 色综合久久88色综合天天| 国产精品久久久爽爽爽麻豆色哟哟 | 天天操夜夜操| 国产精品久久久久久久久久免费| 五月丁香激| W色综合| 日韩久热| 五月丁香六月花| 9色视频在线| 97一区二区| 9精品在线| 色5月婷婷| 91精品综合久久久久久五月丁香| 97偷拍对白视频| 五月婷色| 五月六月伦理| 青草视频在线观看视频 | 五月丁香 久久久| 成人免费在线电影| 久综合九综合99| 激情网第九色| 99爱视频在线观看| 91人在线观看| 丁香五月婷婷啪啪| 五月婷婷在线免费观看| 久操欧美在线观看97| 久草五月婷婷| 色吧五月婷婷| 亚洲日韩乱码一区二区三区四区| 亚洲视频久久| 五月情四婷婷| 久艹大香蕉| 中文字幕网伦射乱中文| 9999久久久久| 久久99热免费最新版| 中文字幕欧美日韩VA免费视频| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 久久人妻超碰一区| 婷婷综合| 色播五月综合网| 色色色香蕉五月婷| 激情婷婷五月亚洲| 人人操插| 久久一操| 99热这里只有精品2016| 日本狠狠色| 婷婷娌伦网| 色五月婷婷久久大| 99热在线观看| 黄色AV日韩| 九九色综合九九色| www九九免费视频| 66精品国产成人| 超碰免费大香蕉| 日韩九区| 日本99视频精品免费播放| 天天综合色综合| 99色在线| 婷婷五月天Av| 天天婷婷| 99@久久@99精品视频| 久久黄色免费视频| 可以直接看的AV| 婷婷综合网性| 久久性爱视频网站| 久热A片| 天天做天天爱天天爽在| 五月婷婷在线免费观看| 综合视频久久| 五月丁香啪| 一区操| 九九视频精品在线免费| 久久HD| 五月丁香激情综合网| 婷婷婷久久久| www.99久久久久99| 五月亭亭六月天| 久久久婷婷五月天| 久久五月婷综合网| 2018国产大陆天天弄| 亚洲AV成人在线| 激情五月丁香六月综合AVXXXX| 4399精品一区二区| www狠狠| 亚洲中文字幕在线观看| www.狠狠操.co m| 另类天堂| 狠狠香蕉| 欧美色色色| 91人妻人人操人人爽| 天天天天操| 狠狠色狠狠爱| 天天干天天干天天干天天干天| 国产黄大片在线观看画质优化| 五月综合激情久久| 丁香五月天激情综合| 久久女婷| www.国产色| 色五月综合在线| 色五月婷婷av| 99久在线观看| 色久九| 91青娱乐青青草| 超碰资源在线| 综合久久久| 激情婷婷久久| 92久久| 欧美婷婷日本| 欧美人人操| 超碰精品在线| www.99热| 激情五月婷婷| 亚洲激情五月婷婷日日| 少妇搡BBBB搡BBB搡毛茸茸| 亚洲色婷婷婷婷人人爽| 日韩艹比| 五月激情丁香| 五月婷婷香蕉视频| 五月丁香欧美| 日韩AV免费| 噜噜色噜噜网| 色婷婷情片| 九九热99免费视频| 五月丁香香蕉| 99色视频| www.爱操com.| 色色婷婷综合| 开心激情播播五月天| av一区二区电影免费在线观看| 狠狠激情五月天| 99在线播放| 久狠狠狠| 激情床戏| 午夜丁香婷婷| 国产熟女日日骚五月丁香爱| 欧美三级大片AA在线看| 色五月五月婷婷| 丁香久久综合| 欧美日韩99| 中文字幕丁香五月| 婷婷激情六月中文| 综合啪啪| 99久久99久久综合| 欧美顶级少妇做爰HD| 天天肏天天爽夜夜爽| 99久久五月婷婷| 五月丁香婷婷婷激情爱爱| 五月丁香久| 色色色色色色网| 亚洲欧洲色色| 色婷婷狠狠禁久久| 97丁香五月| 婷婷五月丁香综合亚洲 | 99久久婷婷国产综合精品草原| 天天做天天要天天爱| 五月丁香综合| 丁香六月激情综合啪啪| 激情五月色婷婷| 激情www| 综合狠狠干| 婷婷综合久久综合| www.99久久久| 有码人妻久久| 色都都狠狠色都都色综合色| 99热日韩| 日韩无码人妻一区二区三区综合 | 伊人玖玖网| 欧美日韩一区二区三区四区| 欧洲亚洲欧洲99久久| 超碰99热在线观看| 日韩亚洲视频| 欧洲亚洲欧洲99久久| 黄色毛片精品| 九九这里都是精品| 五月丁香婷婷啪啪综合网| 成人免费视频一区| 亚洲激情网| 三级大香蕉网| 丁香六月婷婷综合欧美| 性一交一乱一交A片久| 天天做天天爱天天做| 九九热自拍| 亚洲日韩乱码一区二区三区四区| 丁香六月五月天| 婷婷久久久| 丁香五月天AV在线| 五月婷婷六月丁香综合| 天天爽夜夜爽夜夜爽精品| 婷婷情色开心五月天99| 婷婷少妇激情| 色五月婷婷大| 超碰网站在线观看| 婷婷综合激情| 天天日天天爱天天噪| 色婷婷先锋| 这里有精品| 激情五月婷婷五月丁香五月开心五月| 激情5月舔| 国产欧美大香蕉一区| 久久五月综合| 激情小说五月欧美亚洲丁香| 五月天大香蕉| 黄色短视频在线观看| 激情综合久久| 婷婷激情五月天在线| 色婷婷狠狠爱| 婷婷色狠狠| 天天干,天天日| 色导航色婷婷五月天在线观看| 99在线er热| 色五月色五天色情网址| 超碰在线国产| 婷婷五月天亚洲综合| 狠狠人妻久久久久久综合丁香| 99久久精品国产色欲| 年轻的妺妺伦理HD中文| 色婷六月| 色婷婷六月天在线| 亚洲国产精品成人免费一区久久久在线观看AAAA | 大地9中文在线观看免费高清| 天天日天天摸| 在线色五月婷婷| 久久 婷婷 五月天| 日韩AC在线免费观看| 久久五月婷婷开心网| 五月丁香大相交| 播丁香五月婷婷欧美| 精品久久久人妻| www.狠狠艹| 狠狠va| 国产免费一区二区三区三州老师F1F1.CC| 无码激情AAAAA片-区区| 国产亚洲色婷婷久久99精品91| 天天综合影院| 婷婷 激情 五月| 92久久| 久草婷妨| 一本道在线电影| 五月久久婷婷| 婷婷丁香五月天激情| 高清无码一区二区三区四区| 激情婷婷丁香五月天| 色yeye色综合| 三级av在线| 色色色热| 人人妻人人澡| 欧洲色色| 久久婷婷激情视频| 激情综合五月.....| 热中文字幕| 99热热这里只精品996小说| 免费色婷婷| 乱精品一区字幕二区| 五月天婷婷影院| 亭亭五月丁香五月天激情| 9这里只有精品| 久这里只有精品| 91日本在线| 丁香久久九九99| 九九婷婷热| 亚洲操操操| 99色免费观看全部| 97人人操| www.五月丁香| 天天日天天爽夜夜爽| 丁香欧美| 国产99视频永久免费| 免费视频舔| 99性视频| 成人一级片| 超碰97久久| 婷婷丁香综合色AV| 五月激情四射网站| 牛牛热这里只有jingpin| AV九九| 日本婷婷| 色综合色色| 伊人久久大香线蕉av一区| 五月婷婷官网色| 久久精品亚洲一级牲爱综合 | 天天综合色丁香| 九九热在线视频观看| 99国产小视频| 五月婷婷丁香色吧网| 丁香五月天欧美| 色噜噜狠狠色综合日日免费| se99高清无码| 久久五月天精品视频| 人妻AV在线| 99热都是精品| 99日本精品视频热| 操一区| 91人人爽狠狠狠| 草草操操| 欧美婷婷丁香五月社区| 色欲九区| 五月婷婷色情| www.婷婷五月| 六月丁香婷| 日韩成人电影AV| 婷婷综合久久| 亭亭玉立国色天香| 99惹在线精品免费观看| 天天搞夜夜叫| 色色永久| www.91有码.com| 久久婷婷色丁香| 男女久久婷婷五月天| 丁香婷婷五月综合影院| 亚洲综合色棒| 99re8这里只有精品99re8热视频| 狠狠xx| 五月丁香婷婷深深爱| 五月天天久久香| 庭庭久久内射| 六月激情婷婷| 色色色色综合网| 一级黄色影片| 日本不卡高字幕在线2019| 无码成人播放器| yw国产AV| www.99久久久久99| 综合一区二区三区| 色色婷婷丁香| 五月天婷婷三级黄| 亚洲激情视频网| 五月丁香欧美在线| 人妻久久做| 日韩好吊操| 亚洲色情免费网| 操丝袜视频影院导航| www.亭亭五月天| 99综合视频| 91视频精品99| 狠狠操天天干| 中国丰满熟女A片免费观| 91九色超碰| 牛牛色av| 操B五月天| 丁香五月天天哦| 狠狠色官网| 色色免费网战视频| 中文av网| 婷婷婷婷色| 99国产精品久久久久久久久久久 | 久久人视频| 九色91美女| 久久66er久久| 色色色欧美色色| www.日日夜夜.com| 六月婷婷在线| 91狠狠综合久久久| 欧美操人| 美女被操一区二区| 婷婷玖玖五月天| 丁香六月婷婷综情欧美| 这里只有精品99www| 久久偷拍综合五月天| 五月婷婷色影院| 热九九精品| 久99久视频精品| 久热亚洲| 九九视频网| 色婷婷婷综合五月天| 99视频这里只有精品10| 久久92| 狠狠干综合| 婷婷五月综合丁香久久| 久久资源网五月婷| 五月丁香va| 色五月婷婷在线观看| 91人人爽狠狠狠| 久久精品一区二区三区四区| 超碰成人在线免费观看| 亚洲午夜AV| 操嫩逼电影| 五月丁香六月婷婷激情网| 亭亭五月丁香五月天激情| 久久五月婷天天干| 久久激情五月网| 婷婷五月天成人娱乐| 丁香色综合| 婷婷中文无码| 亚洲字幕AV一区二区三区四区| 99热超| 玖月婷婷爱丁香| www激情五月天| 99热这里只有精品22| 伊人久久大香线蕉精品| 91超级碰在线视频| 五月婷婷色男女| 激情网婷婷五月天| 久久曰曰| 四射综合网| 五月天色狠狠| 99热这里只有精品4| 婷婷香五月天| 91av无码| 九九这里只有精品在线视频| 久久人妻伦理| 欧美激情综合色综合啪啪五月| 丁J香六月首页| 婷婷亚洲日本| 天天干 夜夜爽| 99爱爱| 91九色 熟| 欧美色婷婷| WWW,婷婷,COM| 五月天综合在线| 日本大逼91| 久久综合热17c| 欧美成人精品A片免费一区99| 极品少妇高潮啪啪AV无码| 色色色色区| 五五月五月| 97色片| 婷婷丁香大香蕉| 激情五月丁香婷婷夜夜操| 思思热99热| 欧美三级A做爰在线观看| 99超级碰碰| 九九九九九九九热| 婷婷五月天精品| 色444综合网| 天天综合插插| 丁香五月首页| 欧美碰碰碰| VA国产在线综合网站| 丁香婷婷九月| 日韩精品呦呦va| 久月丁香爱婷婷综合| 色五月五月天色婷婷色五月| 97一区二区| 丁香五月婷婷久久综合激情网| 色色色色热| 性欧美大战久久久久久久83| 99re66热这里只有精品| 日日操日日撸| 婷婷五月丁香第四色超碰在线| 激情五月丁香五月| 免费视频无码| 天天爱天天天射AV| 性爱在线播放av| 色色丁香婷婷综合| 六月丁香啪| 欧美丁香六月激情视频| 99视频在线| 五月天激情网址| 丁香六月五月婷婷| 色五月激情五月| 色色婷婷五月天| 色屌丝中文字幕| 亚洲超碰青涩| 五月六月丁香婷婷在线观看| 91精品国产91久久久久青草| 狠狠爱丁香婷| 啪啪干伊人婷婷| 成人欧美日韩| 大香蕉 伊人夜| 先锋男人99资源| 亚洲综合婷婷| 色五月首页| 五月天狠狠色| 欧美日韩中国| 区区欧美你爱| 国产精品久久久爽爽爽麻豆色哟哟| 99热九九这里只有精品| 五月丁香啪啪综合| 91热手机在线| 天天插插天天| 狠狠色综合五月人人| 成人小说 五月天 婷婷| 久久久这里有精品| 任你爽免费视频| 99精品在线观看| 日韩精品无码AV| 色婷婷色五月综合| 99久久66综合| 十月丁香婷婷| 午夜一区| 五月婷婷基地| 色九区| 99在线视频免费| 天天色色天天| 亚洲视频码| 婷婷丁香人妻久久在线观看| 国产精品天天狠天天看| 狠狠色官网| 97操操| 六月丁香啪| 思思热视频在线| 色亚洲无码| 99热在线观看| 日本一道久久| 99九九精品视频| 九月综合| 91九色无码日韩| se99热久久一本| 俺去也婷婷| 黄色五月婷| 狠狠狠色激情综合适合| 五月婷天堂视频| 婷婷天天日婷婷| a片在线免费观看一区| 99精品在这里| 97偷拍在线视频| 夜夜干夜夜操| 丁香青青五月天| 人妻无码精品一区| 99伊人婷婷在线| 五月天伊人网| 一级二级色大片| 99这里只有精品| 人人干99| 97碰碰视频在线观看| 久热成人| 欧美色色色| 五月欧美色播| 丁香五月婷久久| 五月婷婷综合热| 疯狂做受XXXX高潮A片动画| 操笔无码| 少妇搡BBBB搡BBB搡毛茸茸| 五月婷婷丁香大陆免费| AV网在线| 韩国久久少妇视屏| 99玖玖视频| 丁香婷婷社区| 久久99久久99精品免观看粉| 色播婷婷五月天| 先锋五月婷婷丁香草草| 久久久久人妻| 久热2025无码| 爱99干99| 激情五月综合网最新 | 亚洲日本韩国| 1995年关宝慧版蜘蛛女| 丁香婷婷婷| 五月激情天| 五月丁香六月综合基地| 五月天亭亭俺也| 九九成人高清视频| 婷婷五月丁香图片人人操| 操逼棍操逼| 大香蕉人人网| 综合色色婷婷| 99re热视频这里只有综合亚洲| 99精品久久| 婷婷国产日本欧美| 开心色色五月天综合| 色爱亚洲| 久久超级碰碰| 久色| 东北婷婷五月天| 亚洲视频在线观看区| 天天干天天操天天拍| 99大香蕉| 99热在线播放| 99久久精品网| 日韩av网站在线观看| 大香蕉婷婷色| 亚洲视频丁香网va| 99精品偷自拍| 六月婷婷开心| 久热欧美| 久久er99热精品一区二区| 亚洲bt丁香五月天婷婷激情小说| 亚洲成片在线观看| 夜夜撸天天操| 五月天婷婷丁香花| 婷婷伊人五月丁香天堂网| 黄色AV日韩| 丁香 婷婷五月| 国产91在线视频| 91丨九色丨熟女|老版| ri电影在线| 黄色AAAA韩国guochansanji| 激情五月婷黄版| 日日日,com| 一本色道久久综合狠狠躁一二三| 丁香六月天| 99久久精彩视频。| 婷婷99狠| 亚洲综合久| www,欧美干干干干干干| 性爱网六月丁香| 九九色综合九九色| 特级片神马电影| 亚洲成人AV在线播放| 激情综合五月| 综合网亚洲| 91久操| 9 7总站超级碰免费视频| 99热综合在线| 天天成人综合| 亚洲无码黄色| 色婷婷九月| 久久精品视频在这里有| 久9久9久9久9久9久9| 免费看成人AA片无码视频吃奶| 婷婷九月丁香| 婷婷五月黄色激情在线| 色色色五月| 色婷婷狠狠| 五月综合色播播丁香婷婷| 中文字幕AV在线播放| 97超碰婷婷五月天| 狠狠狠狠狠狠色| 天干天天干天天天天天| 成人毛片在线免费观看| 乱岳熟女50岁| 激情五月天网站| 婷婷丁香五另类网站| 大香蕉人人人| 国产精品久久久久久久久久久久| 婷婷丁香六月天| 亚色网站小视频| 久久久久98| 亚州美女| 九九re精品视频在线观看 | 丁香花社区av| 婷婷五月天成人| 婷婷六月伊人| 国产婷婷色五月| 五月色丁香婷婷综合| 天天综合精品| 日本婷婷| 丁香五月第九色| 欧美日本国产欧美日本韩国99| 热热色色五月天婷婷| 思思热久久艹| 欧美色色色色色色色| 激情五月综合网| 五月婷婷国产| 欧美槡BBBB槡BBB少妇| 精品女人九九九| 久久机热这里只有精品| 久热超碰| 日本视频欧美观看免费| 国产肥白大熟妇BBBB视频| 另类激情五月| 五月丁香在线看| 欧美激情五月天婷婷| 九月婷婷综合网| 色婷婷很很丝袜| 亚州操人在线视频| 九九热在线精品视频| 久久婷婷五月综合色播| 婷婷精品在线| 欧美男女婷婷| 八戒青柠影视剧在线观看| 精品婷婷| 欧美Va日本Va| 丁香五月激情六月综合| 丁香五月婷婷狠狠色| Caop在线| 五月婷A V在线| 久久小视频| 99操免费视频| 色色综合色| 五月丁香六月婷婷亚洲激情综合| 庭庭久久内射| 丁香五月久久社区| 日本视频不卡123区| 大香蕉人妻| 婷婷色五天| 99色爱| 丁香五月婷婷丫| 噜噜噜噜婷婷五月天| 精品爆操| 一区操| 国产成人AV不卡| 天天日天天爽| 啪啪激情网| 五月丁香婷婷网在线在线| 中文网av| 五月丁香天天| av九九| 久久婷婷91| 丁香五月婷婷亚洲另类| 久久六月综合| 99热这里只有精品一区| 婷婷五月天色综合翘| 婷婷月五天在线在线看| 六月婷婷九月丁香| 一区无码| 午夜亚洲AV日韩无码| 国产精产国品一二三在观看| 99爱视频在线观看这里只有精品| 丁香五月天社区| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪| 久婷婷久草| 国产噜一噜天天噜| 九九精品在线视频观看| 久久五月网| 日韩黄色电影| 色婷婷最新域名 | 六月丁香久久| 久久久精品色| 97久久精品| 欧美在线视频免费播放| 天天日天天摸| Www.激情| 最新久久网址| 91打屁股视频网站| 久久机热探花| 美女xx不卡| 丁香五月天激情四射网络不好 | 一区二区乱码视频| 五月天婷婷丁香| 丁香五月天中文字幕| 婷婷五月天欧美| 婷婷五月激情在线| 久久开心五月婷婷| 狠狠插狠狠| 狠狠干青青草| 热久久国产视频| 日日操夜夜爽天天天| 5月婷婷综合| 再次出发二| 丁香婷最新动态| 综合天天综合| 欧洲激情网站| 97操操| 激情网第九色| 2014天天爽| www.99视频| 日木狠狠干| 五月花婷婷在线精品视频| 丁香九月婷婷| 色婷婷WWW| 丁香五月网络网络| 79精品在线视频| 色色网站在线免费观看视频| 五月天开心成人网| 夜夜操夜夜姧| 思思色综合网站| 六月丁香五月激情婷婷| 亚洲最大五月六月丁香婷婷| 色婷婷久久综合丁香五月| 丁香五月六月婷婷怡红院| 99亚洲精品视频| 这里只有精品在线视频在线观看| 色停停五月,在线观看| 中文AV在线观看| 色综合久久88色综合天天看| 伊人久久大香线蕉av一区| 国产91视频| 婷婷五月丁香五月| 色色婷婷丁香| 男男野外做爰全过程69| 精品国产AV色一区二区深夜久久 | 亚洲 激情 中文| 深爱开心五月天| 新激情五月开心五月婷婷五月丁香五月| 丁香五月天BBw| 色五月婷婷色五月婷婷色五月婷婷| 色情五月婷婷| 台湾无码A片一区二区| 99久久综合| 久热九九| 影音先锋日本三级资源| 九九久久偷拍| 五月婷免费视频| 97碰久久| 五月丁香综合啪啪啪啪啪| 欧洲亚洲免费视频区| 人人色AV| 操操操AV| 久久99精品久久久久久噜噜| 日韩欧洲亚洲| 另类视频在线| 99热在线极品极品| 99ri视频在线观看| www.jiujiujiu| 亚洲va日| 夜夜天天天天天干天天爽| 色五月第四色| 丁香五月色五月| 狠狠干综合| 精品国产AV色一区二区深夜久久 | AV变态另类一区二区| 99综合熟女| 99爱视频精品| 五月天婷婷色小说| 色婷婷综合网站| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 9久9久| 另类视频在线| 丁香婷婷人妻综合网| 深爱婷婷丁香五月激情| 91视频精品99| 丁香五月综合| 久久九九激情五月天 | 日本爆乳片手机在线播放| 色色色色色色色色网站| 天天爽天天干| enecarbon-materials.comWu染请涟系Bao护@wip1688| 丁香激情久久| 中文字幕无码人妻少妇免费视频 | 色五月丁香婷婷| 人妻无码精品一区| 日韩成人影片网站| 婷婷色基地在线看 | 综合在线色婷婷| 久热只有精品| 久草免费福利视频| 亚洲综合婷婷五月|