欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

架構現(xiàn)代化轉型實踐:從單體到微服務的落地路徑與避坑指南

架構現(xiàn)代化轉型實踐:從單體到微服務的落地路徑與避坑指南 簡介這份PDF是IBM大中華區(qū)實驗室服務總經(jīng)理孫宏關于架構現(xiàn)代化轉型的實踐分享適合企業(yè)技術管理者、架構師及數(shù)字化轉型負責人閱讀。內(nèi)容圍繞數(shù)據(jù)作為戰(zhàn)略資產(chǎn)、混合多云環(huán)境下的數(shù)據(jù)流轉、結構化與非結構化數(shù)據(jù)協(xié)同、多數(shù)據(jù)中心整合等關鍵議題展開并結合國內(nèi)大型保險公司與百度冷數(shù)據(jù)管理案例剖析上云與擴容中的臨界點、數(shù)據(jù)豎井及合規(guī)難題。資源為單個PDF文件大小3.9MB共1個文件便于直接閱讀。已有60人學習下載。通過這份分享讀者可以系統(tǒng)了解IBM地平線項目等解決方案的思路掌握從數(shù)據(jù)中心整合、高性能計算到冷數(shù)據(jù)調用與成本控制的具體實踐路徑為企業(yè)架構現(xiàn)代化規(guī)劃提供參考。1. 架構現(xiàn)代化轉型IBM這份實踐分享到底在解決什么問題很多團隊是被業(yè)務倒逼著才來做架構現(xiàn)代化的單體系統(tǒng)跑了好幾年發(fā)版要排期到一個低流量窗口業(yè)務方要上新功能改一行代碼要牽連十幾個模塊CI/CD基本形同虛設。市面上講架構現(xiàn)代化的文章不少IBM這份實踐分享的可貴之處在于沒有把“上云”“微服務”當作終點而是把它拆成一連串有先后順序的工程動作評估現(xiàn)狀、技術選型、容器化、切入口、拆服務、遷中間件。這套邏輯對從業(yè)者的實際價值是提供了一條可以按步驟復現(xiàn)的落地路徑。這篇筆記就順著這條路徑把每一步該做什么、參數(shù)怎么設、坑在哪里拆開講。適合正在做系統(tǒng)改造、準備遷移上云但還沒想清楚先動哪一塊的團隊也適合剛接手一個老系統(tǒng)、想找到切入點的新人。2. 現(xiàn)狀評估與技術選型上微服務之前先把賬算清楚2.1 現(xiàn)狀盤點先給系統(tǒng)做一次體檢而不是直接談微服務我在實際項目里最常見的開場錯誤就是團隊還沒摸清自己的系統(tǒng)長什么樣就開始討論用 Spring Cloud 還是 Service Mesh。做架構現(xiàn)代化第一步一定是先做現(xiàn)狀盤點而且盤點要有可操作的具體動作不是開個會大家憑感覺打分。常見的做法是下面三件事并行第一代碼層面的依賴分析。用工具把模塊間的調用關系拉出來看依賴是清晰的還是纏成一團的。Java 項目可以用 jdepend、ArchUnit 這類工具掃描包依賴或者用 IntelliJ IDEA 的 Dependency Structure Matrix 看依賴走向。如果發(fā)現(xiàn)核心域模塊被十幾個周邊模塊反向依賴那拆分順序就要往后排了。第二數(shù)據(jù)層面的形態(tài)梳理。查一下生產(chǎn)庫里有多少張表哪些表被跨模塊訪問。很多老系統(tǒng)的“業(yè)務耦合”本質是“數(shù)據(jù)耦合”——訂單服務直接讀用戶表用戶服務直接寫訂單表的冗余字段。這種耦合不拆開后面微服務拆得再干凈數(shù)據(jù)庫一發(fā)生鎖等待服務層面照樣全掛。第三運行層面的現(xiàn)狀記錄??匆恢艿谋O(jiān)控數(shù)據(jù)發(fā)布頻率、峰值 QPS、平均響應時間、錯誤率、慢 SQL 數(shù)量、有沒有定時任務在跑批。重點看一下這個系統(tǒng)是不是每周都要人工半夜發(fā)版有沒有人肉運維的“黑匣子”操作。盤點完要輸出一張現(xiàn)狀表不要只寫“耦合嚴重”“性能一般”這種模糊描述。建議按下面這張表收集數(shù)據(jù)評估維度具體檢查項現(xiàn)狀記錄發(fā)布能力從提交代碼到上生產(chǎn)的耗時、發(fā)布窗口期每周四凌晨發(fā)版 2 小時模塊耦合度跨模塊調用數(shù)、反向依賴數(shù)核心域被 15 個模塊反向調用數(shù)據(jù)形態(tài)單庫表數(shù)量、跨域訪問的表數(shù)量單庫 400 張表20 張被跨域訪問技術棧狀態(tài)JDK / 中間件 / 框架版本是否 EOLJDK 8 老版本MQ 版本已停止維護可觀測性日志是否統(tǒng)一、有沒有鏈路追蹤無 Trace日志散落各節(jié)點成本結構大機 / 物理機 / 云上的資源賬單物理機集群擴容周期 2 周這張表的價值在于它決定了你后續(xù)選哪條改造路線。如果數(shù)據(jù)耦合已經(jīng)從 20 張表惡化到 60 張表那前面就算選“絞殺者模式”漸進拆分也得先處理數(shù)據(jù)歸屬問題。我自己基本會花一整個星期在調研上這個時間后面一定省得回來。2.2 技術路線選型重寫、絞殺者模式還是平臺化改造現(xiàn)狀盤點完擺在你面前的無非三條路大多數(shù)團隊在沒有搞清楚差異的情況下直接選了第一條然后陷入長達一年的“重構泥潭”。第一條路是推倒重寫。用新技術棧把老系統(tǒng)從頭實現(xiàn)一遍。這條路只適合業(yè)務邏輯相對簡單、用戶規(guī)模不大、團隊有充足人力和業(yè)務方愿意等的情況。重寫的最大風險是“舊系統(tǒng)的隱性邏輯”根本沒法從代碼里看全——很多規(guī)則散落在存儲過程、定時腳本、甚至某個運維的手里。你在重寫過程中會不斷發(fā)現(xiàn)“原來這里還有個補丁邏輯”拖幾個月甚至一年根本交付不了。第二條路是絞殺者模式Strangler Pattern這也是我見過落地成功率最高的一種。從老系統(tǒng)外圍的功能開始用新架構的服務逐步替換替換完一個就把老系統(tǒng)對應的入口切到新服務。你的老系統(tǒng)不會一次性死掉而是像被藤蔓纏繞的老樹一樣慢慢被新系統(tǒng)接管。這條路適合大多數(shù)業(yè)務邏輯復雜、不能停服的系統(tǒng)。IBM 實踐分享里強調的也是這種漸進式思路本質上是把風險控制在一個可回退的范圍內(nèi)。第三條路是平臺化先行。先把承載應用的運行環(huán)境標準化統(tǒng)一容器平臺、統(tǒng)一 CI/CD 管道、統(tǒng)一日志與監(jiān)控體系應用層暫時不動。這樣做的收益是不用動業(yè)務代碼就能先拿到發(fā)布效率和可觀測性的提升也為后續(xù)拆分打底。很多傳統(tǒng)制造業(yè)和金融客戶的項目第一步往往就是這個。因為他們的痛點不是微服務化而是發(fā)版太慢、系統(tǒng)不透明。選型不是拍腦袋可以用一張簡單的對比表來輔助決策路線適配場景主要風險周期預估團隊要求推倒重寫邏輯簡單、停服可接受隱性邏輯丟失、交付遙遙無期12 個月以上需要完整業(yè)務專家團隊絞殺者模式業(yè)務復雜、不能停服雙系統(tǒng)并行期長、數(shù)據(jù)一致性處理難每個模塊 3~6 個月需要能穩(wěn)定推進的迭代型團隊平臺化先行基礎設施老舊、發(fā)布效率低應用層仍然耦合后續(xù)仍需拆基礎設施 2~4 個月需要運維與架構能力強的平臺團隊如果你的系統(tǒng)已經(jīng)是一個“大型單體”我的建議是直接選“平臺化先行 絞殺者模式”的結合先用容器和 CI/CD 把底座打平隨后挑一個相對獨立的功能模塊做第一個替換試點用試點的經(jīng)驗校準后續(xù)節(jié)奏。2.3 量化評估用一張打分表決定是否啟動改造前面的盤點輸出的是定性結論但很多團隊在立項時需要給領導一個“該不該干、干到什么程度”的量化說法。我習慣把盤點表里的幾個核心維度做成一個打分模型每項 1 到 5 分分數(shù)越低越需要改造。評估維度打分標準得分發(fā)布效率1 分每周一次以上人工深夜發(fā)版5 分隨時可發(fā)布2擴展能力1 分擴容要重新申請物理機5 分資源可按需伸縮1模塊耦合1 分核心域被超 10 個模塊反向依賴5 分依賴清晰2數(shù)據(jù)歸屬1 分單庫承載全部業(yè)務且嚴重跨域訪問5 分數(shù)據(jù)域清晰2可觀測性1 分無日志聚合無鏈路追蹤5 分全鏈路可追蹤2技術棧健康1 分存在 EOL 且有高危漏洞的組件5 分版本受支持2總分的經(jīng)驗判斷低于 15 分建議啟動系統(tǒng)性改造15 到 20 分之間選擇局部改造20 分以上說明當前架構還能支撐只需要持續(xù)優(yōu)化。這個模型不嚴謹?shù)锰幨悄軓娭茍F隊把含糊認知變成可比較的數(shù)據(jù)后續(xù)改造做完一個模塊再用這張表復打分可以直觀看到“什么時候可以驗收”。這個打分還有一個隱藏作用它能擋住不合理的需求。很多時候領導看了一篇講微服務的文章就要求拆微服務但打完分發(fā)現(xiàn)當前系統(tǒng)問題根本不在服務粒度而在于發(fā)布與可觀測性。這時候拿數(shù)據(jù)說話比講一百句技術道理都管用。3. 分步落地路徑從容器化到老中間件遷移的可復現(xiàn)順序3.1 第一步先把運行形態(tài)統(tǒng)一到容器讓環(huán)境不再飄忽架構現(xiàn)代化不要上來就拆服務。對任何一個仍有業(yè)務價值的單體系統(tǒng)來說第一步應該是把它的運行形態(tài)統(tǒng)一到容器。這一步不改變業(yè)務代碼但能解決兩個實際問題環(huán)境一致性開發(fā)、測試、生產(chǎn)不再因為環(huán)境差異出現(xiàn)“在我本機是好的”和部署效率鏡像構建完直接滾動更新不用再登錄服務器手動替換 JAR。對一個 Java 單體應用我一般會從一份這樣的 Dockerfile 開始FROM eclipse-temurin:17-jre LABEL maintainerteamexample.com RUN useradd --system --no-create-home appuser COPY --chownappuser:appuser target/app.jar /app/app.jar WORKDIR /app EXPOSE 8080 HEALTHCHECK --interval30s --timeout5s --start-period20s --retries3 \ CMD curl -f http://localhost:8080/actuator/health || exit 1 USER appuser ENTRYPOINT [java, -XX:MaxRAMPercentage75.0, -jar, /app/app.jar]這份文件的關鍵點有四個。第一使用非 root 用戶運行降低容器內(nèi)被入侵后的影響半徑第二通過 HEALTHCHECK 聲明健康檢查指令便于容器編排平臺感知應用狀態(tài)第三JVM 參數(shù)刻意不寫-Xmx而是用-XX:MaxRAMPercentage75.0讓 JVM 根據(jù)容器內(nèi)存限制動態(tài)取值避免容器設置 2G 而 JVM 認為物理機有 64G 內(nèi)存、最終被 OOMKilled 的經(jīng)典事故第四時區(qū)和字體這類隱性問題直接在鏡像層處理比在每個啟動腳本里做要可靠得多。3.2 第二步在負載均衡后面插入 API 網(wǎng)關先把入口切開容器化跑穩(wěn)之后第二步是切入口。老單體通常是對外暴露一堆直接 HTTP 接口或者基于 ESB 的 SOAP 服務客戶端直接打到應用服務器上。這種形態(tài)下你不敢拆服務因為只要換一個 IP所有客戶端都要跟著改配置。解決方法是引入 API 網(wǎng)關作為統(tǒng)一入口。常見選型是 Kong、APISIX 或 Spring Cloud Gateway。我的習慣是 APISIX 或者 Kong 這類獨立部署網(wǎng)關因為它們不綁定某個特定編程語言后續(xù)服務用 Java、Go、Python 都能統(tǒng)一接入。落地時先把現(xiàn)有負載均衡的流量原樣轉發(fā)到網(wǎng)關網(wǎng)關按原來相同的路徑規(guī)則轉發(fā)到后端單體客戶端完全無感知。這一階段不要急著在網(wǎng)關上搞復雜的認證和限流先把路由跑通。一個最小可用的 APISIX 路由配置是這樣的routes: - name: legacy-monolith uri: /* upstream: type: roundrobin nodes: legacy-app-1:8080: 1 legacy-app-2:8080: 1 plugins: proxy-rewrite: regex_uri: [^/api/(.*), /$1]這段配置做的事情很簡單所有以/api/開頭的請求都轉發(fā)到后端的兩個單體節(jié)點并且把/api/前綴剝掉與老應用實際接口路徑對齊。roundrobin是負載均衡策略兩個節(jié)點權重都是 1表示均分流量。網(wǎng)關就位后后續(xù)每拆出一個新服務只需要加一條更具體的路由規(guī)則把某個 URL 前綴的流量從單體切到新服務客戶端與網(wǎng)關之間的約定完全不用變。做完這一步你的系統(tǒng)入口變成了一個可編程的開關這個開關是后續(xù)絞殺者模式落地的關鍵。沒有這個開關每拆一個服務都要動客戶端等于給自己上刑。3.3 第三步按依賴關系由外向內(nèi)拆服務接口兼容優(yōu)先網(wǎng)關就位后可以開始真正動手拆服務了。最常見的拆分錯誤是從核心域下手——比如電商系統(tǒng)上來就先拆訂單服務。因為訂單被所有模塊依賴拆它的瞬間會牽出一大片調用方改造項目直接卡住。我通常會倒過來拆。拿第 2 章的依賴分析結果從“被依賴最少、邏輯相對獨立”的功能開始。很典型的是通知服務、短信服務、導出服務這類周邊功能。把它們拆出來通過網(wǎng)關把對應 URL 轉發(fā)到新服務老代碼里的原入口下線。這樣一個周期通常一到兩周就能完成一次上線且風險可控——出問題把網(wǎng)關路由切回去就行這就是后悔藥。拆服務的技術細節(jié)里接口兼容性問題最大。老系統(tǒng)內(nèi)部大量 Feign 或 HTTP 調用拆出去的服務不可能讓所有調用方一次性改完。我的做法是三個原則新服務提供 V1 版本的 REST 接口路徑和參數(shù)盡量與老的內(nèi)部調用方式對齊老系統(tǒng)保留原有調用方式通過網(wǎng)關或注冊中心把請求轉到新服務期間不在老代碼里新增對拆分服務的新調用點避免兩頭擴展。這一步不需要分布式事務框架因為拆的都是周邊功能操作的數(shù)據(jù)相對獨立。真正的數(shù)據(jù)耦合問題放到下一步處理。3.4 第四步老中間件的遷移與替換IBM MQ 是繞不開的場景在很多制造業(yè)、銀行和政企客戶現(xiàn)場IT 系統(tǒng)里一定有一個繞不開的老中間件IBM MQ。它是上一代 SOA 架構的核心組件承擔著系統(tǒng)間的異步消息通信。我在不少項目里見過同一個問題IBM MQ 的版本已經(jīng)非常老舊跑在幾臺物理機上運維手冊只有一個人會看每次擴容都要停機變更。老中間件遷移通常有三條路。第一條路是版本升級與容器化部署把老版本 MQ 遷移到新版并跑在容器里。這適用于“消息中間件本身運行穩(wěn)定只是硬件老化、運維不便”的場景。IBM MQ 有官方容器鏡像支持在 Kubernetes 上部署高可用隊列管理器但要注意它的 License 模式和傳統(tǒng)部署有差別需要和廠商確認指標。第二條路是替換為云上的托管消息服務。如果業(yè)務允許更換協(xié)議這是最省運維成本的路。原來用 MQ 的 JMS/原生 API 改成新客戶端隊列模型換成主題/消費組模型。這條路的工程量主要在應用代碼適配不在消息路由本身。第三條路是保留 IBM MQ 但把它邊緣化在新架構中用 Kafka 或 RocketMQ 承載新的業(yè)務事件流老 MQ 只做新舊系統(tǒng)之間的數(shù)據(jù)交換橋接逐步把它的負載降到最低。這個方案特別適合絞殺者模式過渡期——新舊系統(tǒng)并存時消息通信還是走 MQ但新系統(tǒng)內(nèi)部的事件已經(jīng)走新的消息管道。我見過走得最穩(wěn)的遷移路徑是把這三條路按時間先后串起來先容器化部署解決硬件與運維問題中間件穩(wěn)定后新系統(tǒng)間逐步使用新的事件管道替代 MQ最后把只在舊系統(tǒng)間流轉的消息保留在 MQ 上設置好最終下線時間。這個節(jié)奏下每一步都有明確驗收標準不會出現(xiàn)“遷移到一半消息兩端對不上賬”這種黑匣子式返工。4. 關鍵技術參數(shù)容器、網(wǎng)關與 IBM MQ 遷移里的落地配置4.1 容器資源與 JVM 參數(shù)別讓 Java 應用在容器里死得不明不白Java 應用容器化最容易翻車的就是內(nèi)存參數(shù)。傳統(tǒng)部署時大家習慣在啟動腳本里寫-Xmx2g但到了容器環(huán)境里這個固定值會帶來兩個問題容器內(nèi)存上限設了 2GJVM 堆也只認 2G堆外內(nèi)存一超就 OOMKilled或者容器明明只有 2GJVM 卻按物理機內(nèi)存自動算出一個大堆直接把自己壓死。推薦的做法是讓 JVM 感知容器限制動態(tài)取值。在 Kubernetes 的 Deployment 配置里資源聲明和 JVM 參數(shù)要配套寫resources: requests: memory: 2Gi cpu: 1 limits: memory: 2Gi cpu: 2配套的 JVM 啟動參數(shù)是-XX:MaxRAMPercentage75.0 -XX:InitialRAMPercentage50.0MaxRAMPercentage75.0的意思是 JVM 最多使用容器內(nèi)存上限的 75%剩下的留給堆外內(nèi)存和系統(tǒng)開銷。InitialRAMPercentage50.0是讓 JVM 啟動時先申請一半內(nèi)存避免一次性把堆撐到頂也給運維留出觀察空間。這里有兩個血淚經(jīng)驗一是不要試圖把MaxRAMPercentage調到 90 以上除非你確定應用沒有大量堆外緩沖二是 JVM 參數(shù)不要寫在 Dockerfile 里寫死要允許通過環(huán)境變量在部署層覆蓋否則不同規(guī)格的 Pod 只能共用同一套內(nèi)存策略。CPU 方面Java 應用在容器里的線程池大小默認會參考可用 CPU 核數(shù)。如果limits.cpu設得太小而requests.cpu設得過大會出現(xiàn) Pod 能調度但一壓測就線程饑餓的現(xiàn)象。我的經(jīng)驗值是requests和limits之間的差距不要超過 1 倍且要壓測確認。4.2 網(wǎng)關限流與超時參數(shù)數(shù)值差一點表現(xiàn)差很多網(wǎng)關給系統(tǒng)帶來了統(tǒng)一的入口但也容易成為新的不穩(wěn)定點。最常見的問題不是網(wǎng)關本身掛了而是上游服務變慢時網(wǎng)關的連接池被占滿導致所有下游服務跟著不可用。因此網(wǎng)關上三個參數(shù)必須提前設置合理。以 APISIX 為例我一般在每個服務路由上配一個統(tǒng)一的超時時間upstream: timeout: connect: 5 send: 10 read: 15數(shù)字單位是秒。connect: 5表示連接到后端服務最多等 5 秒超過即失敗send: 10指網(wǎng)關向服務發(fā)送請求的整體超時read: 15是從發(fā)送完請求到收到響應體的最大等待時間這是最需要關注的參數(shù)。如果后端服務有長輪詢或大文件下載接口read需要單獨調大不要全局套用否則會出現(xiàn)“新服務一切正常但老系統(tǒng)頻繁報 504”的現(xiàn)象。限流參數(shù)方面做現(xiàn)代化改造的初期我一般不用復雜的限流算法先在網(wǎng)關上做最簡單的固定窗口限流按 URL 前綴限制 QPS。數(shù)值可以這樣配plugins: limit-count: count: 2000 time_window: 60 rejected_code: 429 key: remote_addr這組配置的含義是每個客戶端 IP 在 60 秒窗口內(nèi)最多 2000 次請求超過返回 429。key: remote_addr是按來源 IP 限流。需要注意如果你們的系統(tǒng)前端是統(tǒng)一出口 IP那這個 2000 會非常容易被擊穿。此時應改用key: remote_addr 全局限流的組合或者按請求路徑做限流而不是只依賴單一維度。限流參數(shù)調不好經(jīng)常給人一種玄學的感覺其實背后的判斷邏輯只有一個——你的后端服務在峰值負載下能承受多少 QPS壓測打出來的真實數(shù)字就是限流值的上限。4.3 IBM MQ 遷移時的關鍵參數(shù)與雙跑策略IBM MQ 遷移的細節(jié)大多數(shù)踩坑都集中在參數(shù)與數(shù)據(jù)一致性上。先講最要命的一個連接參數(shù)。老系統(tǒng)連 MQ 時很多用的是綁定模式當前 MQ 客戶端用 Java Native Interface 直連隊列管理器遷移到容器化部署或新環(huán)境后必須改為客戶端模式連接。這個改動涉及連接工廠參數(shù)包括隊列管理器名稱QMGR、連接主機、端口、通道名稱Channel和傳輸類型Transport Type任何一個填錯客戶端都體現(xiàn)為“MQRC 2059無法連接隊列管理器”或“MQRC 2009連接斷開”。這里有一份常見參數(shù)對照參考參數(shù)項傳統(tǒng)部署方式容器化/客戶端模式隊列管理器QMGR本地綁定直連填寫遠端 QMGR 名稱連接通道無綁定模式不需要必須指定如CHL.TO.QMGR連接端口本機進程隊列管理器監(jiān)聽端口常見 1414傳輸類型綁定BINDING客戶端CLIENT消息確認AUTO_ACKNOWLEDGEAUTO_ACKNOWLEDGE 或 TRANSACTED數(shù)據(jù)一致性是另一個大坑。遷移期間新舊系統(tǒng)并存消息不能丟也不能重復。穩(wěn)妥的做法是采用“雙寫 消費冪等”生產(chǎn)端同時將消息寫入 MQ 和新的消息管道消費端在新舊系統(tǒng)都上線后先消費新管道消息消息表記錄消費唯一鍵這條遷移期一過再把生產(chǎn)端 MQ 寫入關掉。消費冪等表是實現(xiàn)數(shù)據(jù)不重不漏的關鍵核心字段就是消息 ID 和業(yè)務唯一鍵。我在現(xiàn)場見過很多團隊在遷移 MQ 時只關注生產(chǎn)端雙寫忘了消費端的冪等結果消息被兩個系統(tǒng)各消費一次第二天對賬單數(shù)據(jù)全亂了。這個教訓后面細講。5. 避坑指南架構現(xiàn)代化最常見的六個翻車點5.1 服務拆了數(shù)據(jù)庫沒拆微服務白拆現(xiàn)象團隊花了大半年把服務拆成了十幾個每個服務能獨立部署了但生產(chǎn)庫還是原來那一個大庫。上線第一個雙十一訂單庫的慢 SQL 把用戶服務拖死了所有服務集體超時。原因拆分順序搞反了。代碼層面的接口調用可以快速改完但數(shù)據(jù)層面的耦合才是根上的依賴。不拆數(shù)據(jù)服務之間的“隱藏依賴”就永遠存在數(shù)據(jù)庫一張表被幾個服務同時讀寫的時候你的微服務在物理上還是單體。解決回到第 2 章的數(shù)據(jù)盤點先把跨域訪問的表梳理出來按歸屬分配給某個服務其他服務不再直連這張表改為通過 API 調用歸屬服務訪問數(shù)據(jù)。這個過程比拆服務本身要長但這是唯一正確的路徑。5.2 容器化后應用一重啟用戶全部掉線現(xiàn)象單體應用容器化上線某次滾動更新后大量用戶被踢下線登錄態(tài)消失。原因老單體應用把 Session 存在 JVM 本地內(nèi)存里。容器化后Pod 重建意味著內(nèi)存清空。過去物理機部署很少重啟問題不顯眼容器一滾動問題立刻暴露。這也是容器化對“無狀態(tài)化”要求的典型體現(xiàn)。解決把 Session 外置到 Redis或直接改用無狀態(tài)登錄憑證。單體階段改造成本最低的做法是把 Session 從 Tomcat 本地存儲遷移到 Redis 存儲Tomcat 有現(xiàn)成的tomcat-redis-session-manager方案或者用 Spring 的 session 共享方案??傊磺胁荒茈S Pod 重建而消失的狀態(tài)都不能留在 JVM 里。5.3 網(wǎng)關成了新的單點掛了以后全站癱瘓現(xiàn)象服務拆分進展順利某天凌晨發(fā)版后網(wǎng)關機器負載飆高然后所有接口不可用??匆幌卤O(jiān)控后端服務都活著只有網(wǎng)關掛了。原因網(wǎng)關在拆分初期承接了所有流量但團隊沒有給它配置熔斷和合理的超時。上游一個服務變慢連接池被占滿網(wǎng)關線程全部阻塞最終拖垮整個網(wǎng)關進程。解決兩個動作。第一網(wǎng)關必須集群化部署至少兩個副本前面用負載均衡掛住第二給所有下游路由配上超時與熔斷規(guī)則參考 4.2 的參數(shù)。熔斷觸發(fā)后寧可讓這部分功能暫時不可用也別讓網(wǎng)關整體死掉。網(wǎng)關是接入層它的可用性優(yōu)先級高于任何單個業(yè)務服務。5.4 IBM MQ 遷移時消息雙寫后出現(xiàn)重復消費現(xiàn)象按“生產(chǎn)端雙寫 MQ 和新管道”的方案遷移消息系統(tǒng)上線后下游應用收到大量重復消息部分訂單狀態(tài)被重復更新。原因只做了生產(chǎn)端的雙寫沒有做消費端的冪等去重。兩條管道各自投遞消息消費端兩個進程并駕齊驅同一個業(yè)務消息被處理了兩次。這個坑是排隊系統(tǒng)遷移到流式系統(tǒng)最容易踩的。解決所有消費端統(tǒng)一加一張消息去重表以業(yè)務唯一鍵做唯一約束消費前先插入插入成功才處理業(yè)務邏輯。唯一鍵通常由消息頭加業(yè)務主鍵拼接生成。只要冪等表在重復消費最多浪費一點處理時間不會產(chǎn)生臟數(shù)據(jù)。后來我把“消費冪等必須先行”寫進了項目的驗收定義里這條屬于不需要討論的必要條件。5.5 分布式事務沒人想好方案數(shù)據(jù)對不上賬現(xiàn)象拆完服務后一個創(chuàng)建訂單的流程要經(jīng)過訂單服務、庫存服務、積分服務三個系統(tǒng)。某個節(jié)點失敗后數(shù)據(jù)出現(xiàn)不一致——訂單創(chuàng)建了庫存扣了積分沒加。原因單體時代靠本地數(shù)據(jù)庫事務保證一致性的邏輯在服務拆分后不再成立。而團隊在拆分設計階段沒有約定一致性方案以為同步調用就能保證不出錯。解決不是所有業(yè)務都需要強一致。先按業(yè)務場景劃分金錢賬與明細賬強一致場景用盡量縮小事務邊界的方案能接受最終一致的業(yè)務用本地消息表加異步補償。IBM 的實踐分享里提到的策略也是這個方向。拆服務前先把一致性方案定下來這件事要寫進設計文檔的必填項里評審時逐項確認。5.6 改造期間只上技術、不上治理半年后技術債照舊現(xiàn)象容器化也做了微服務也拆了但半年后新環(huán)境里的系統(tǒng)耦合度和老系統(tǒng)差不多只是從“大泥球”變成了“分布式大泥球”。原因現(xiàn)代化改造期間沒有同步建設架構治理機制。服務之間隨意新增調用新團隊不懂依賴規(guī)則代碼評審沒人約束跨服務調用邊界。架構現(xiàn)代化只解決了運行形態(tài)沒解決組織與協(xié)作方式。解決從拆分第一批服務起就建立兩個紀律新的跨服務調用必須經(jīng)過評審與登記每周用工具掃描一次服務依賴圖出現(xiàn)新環(huán)立即處理。架構治理不是成立一個虛擬架構組就完事要落到 CI 流水線里掃描不通過就不允許合入代碼。6. 進階技巧用灰度發(fā)布和流量回放給轉型上雙保險架構現(xiàn)代化改造進行到中后期最大的風險已經(jīng)不是“做不出來”而是“改完了不知道自己改壞了”。微服務拆分后接口的語義、超時行為、異常碼傳遞都可能與老系統(tǒng)存在細微差異這些差異在單元測試和預發(fā)環(huán)境里往往發(fā)現(xiàn)不了。我的習慣是給每個關鍵模塊上線時配兩套驗證手段灰度發(fā)布和流量回放。灰度發(fā)布是第一步。改造后的新服務先不要直接承接全部流量而是通過網(wǎng)關設置權重路由把 5% 的線上真實流量切到新服務人為讓新老兩套并行運行一段時間。APISIX 的權重路由配置很簡單給同一個路由配兩個 upstream 節(jié)點權重分別設 5 和 95 即可。運行時觀察新服務的錯誤率、響應延遲和業(yè)務報表數(shù)據(jù)是否與老系統(tǒng)對得上。沒有問題就逐步調高權重到 10%、30%、50%、100%有問題就一鍵把權重歸零切回老系統(tǒng)。這套機制比任何預發(fā)聯(lián)調都可靠因為線上真實流量的復雜程度永遠比測試環(huán)境模擬出來的高一個量級。流量回放是第二步?;叶劝l(fā)布能發(fā)現(xiàn)大多數(shù)問題但有些低頻操作可能一周才發(fā)生一次灰度窗口覆蓋不到。這時候用流量回放補盲區(qū)用 GoReplay 這類工具把老系統(tǒng)接到的線上請求錄下來回放到新服務里對比新老兩個系統(tǒng)的響應差異。我一般會在高峰期錄制半小時到一小時的流量然后在預發(fā)環(huán)境回放重點對比響應碼、響應耗時和部分關鍵字段。回放不要求 100% 報文一致——時間戳、生成的 ID 這類字段必然不同但響應碼分布和業(yè)務核心字段必須對得上。自動化對比腳本跑完后人工看一眼差異清單里的高優(yōu)先級項目這一步能篩出絕大多數(shù)隱藏問題。我自己做架構改造有一條始終堅持的教訓任何一次的切流上線都要準備好當天回滾的方案并確保團隊里至少有一個人完整演練過回滾操作?;叶劝l(fā)布、流量回放、回滾預案這三樣疊加起來架構現(xiàn)代化開工到收官都會踏實很多。希望幫到你。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
影音先锋一区| 五月色欧洲| 九九热这里只有精品556| 欧美A级网站| 99热都是精品| 亚州精品色情无码A片| 欧美色综合天天久久综合精品| 99re思思精品在线观看| 日本一级一级一级一级| 丁香综合久久| 狠狠干.com| 日韩超碰在线| 这里只有精品免费视频| 99在线看片| 91视频久久久| 天啪天啪天啪天啪| www五月| 五月天婷婷婷| 五月婷婷六月奇米网丁香| 国产1区2区3区| 亚洲三A| 五月婷婷激情综合av| 色婷婷五月天中文字幕| 97黑人精品区| 91色碰| 99在线精品观看99| 狠狠狠狠狠狠狠狠| 色色五月天丁香婷婷| 思思久久96热在精品国产,| 日韩肏屄网| 成人做爰黄A片免费看直播室男男| 九九无码视屏| 99久久er| 欧美丁香婷婷天天操| 久热久操久热久草国产91| 久热免费视频| 99色婷婷| 五月天综合网| 丁香婷婷社区| 色色五月婷婷| 五月天婷婷色综合| 狠狠草在线观看| 婷婷五月天小说| 亚洲五月六丁香激情| 色欲婷婷五月天丁香| 丁香伍月婷电影全集| 六月综合婷婷开心伊人| 99精品视频播放| 男人天堂99| 色高清无码视频| 色天堂在线| 国产日产亚洲系列最新| 婷婷五月丁香花综合| 亚洲中文字幕在线观看| 中文AV网| 99视频| ww久久| 另类激情五月天| 啪啪干伊人婷婷| 婷婷久久五月| 国产毛片精品一区二区色欲黄A片| 91dy.av| 五月色在线| 久草 天堂| 午夜微拍福利| 99五月婷| 人人操日| 色宗合,宗合网| 久久五月天激情婷婷| 久久er这里只有精品| 色色五月婷| 九九热大香蕉| 久久精彩综合视频| 伊人久久婷婷五月天激情四射| 色婷五月婷婷| 欧美综合婷婷网| 中文人妻主播久久| 五月天五月婷五月激情网| 午夜丁香| 99精彩视频在线观看| 欧美韩日AAA网站| 综合在线丁香五月| 99在这里有精品| 这里只精品热在线18| 777精品成人a v久久| www.91有码.com| 婷婷综合五月色播| 日本3级片一区2区| 啪啪啪大香蕉| 激情五月狠狠喔| 99免费成人网| 日日.c| 激情都市另类| 婷婷四色五月| 人人人操 超碰| 国产精品久久99| 五月婷俺去也| 九九九九九无码| 996er在线观看| 婷婷丁香成人在线视频| 欧美成人精品老美女噜噜噜| 色九亚洲| 色婷丁香91| 久久sp免费视频| 伊人狠狠丁香婷婷综合尤物| 99热无码精品| 99视频在线精品| 色丁香五月婷婷| 五月天久久婷婷| 狠狠精品干练久久久无码中文字幕| 丁香综合| 色欲天天综合网| 婷丁香五月天| 9久久婷婷国产综合精品性色| 超碰在线99| 久久小说网| 日本久碰| 天天操天天操天天操| 激情五月婷婷丁香综合网| 色综合久久天天综合网| 国产免费一区二区三州老师F1……| 丁香社92视频| 亚洲五月婷婷在线| 色色色在线观看| 九九RE视频在线精品| 超碰人人在线观看| 99re热| 色五月激情婷婷| 这里只有精品1| 狠狠色婷| 狠狠干在线视频| 久久免片| 激情五月丁香五月色| 99精品视频推荐| 欧美日韩大黄| 九九激情网| 九九九激情网| 91热er| 无码少妇高潮喷水A片免费| 91狠狠综合久久久久久| 久操热| 婷婷综合亚洲| 婷婷91| 精品婷婷五月天| 一起草AV入口| 婷婷狠狠操| 天久久久久| 色噜噜狠狠色综合成人99| 综合色99| 无码少妇高潮喷水A片免费| 涩涩网五月天| 啪啪东京热| 亚洲精品国产setv| 五月丁香亭亭| 五月天色视频| 国产亚洲色婷婷久久99精品91| 人妻激情久久| 另类激情五月| 国产成人精品一区二三区熟女在线| 综合网五月| 五月花激情网| 99性爱| 色天天久婷婷| www.99精品视频| 激情综合网五月丁香| 亚洲婷婷五月天在线激情综合网| 婷婷5月久久综合网站| 日本在线va| 色丁香五月天| 最近免费中文字幕大全高清大全1| 就爱操www com| 亚州欧美黄色电影| 色吧综合网| 丁香婷婷丁香五月欧美人| 91久女| 狠狠草在线观看| 亚洲成人免费在线| 欧美精品狠狠色丁香婷婷| www.yw色| 亚洲性图一区二区| 色人久久| 91日综合欧美| 99热在线观看| 丁香五月天.com| 激情综合4月| 五月婷婷av在线| 玖玖资源站中文| 婷婷五月大香蕉| 五月开心婷婷极品激情| 亚洲中文AV网站| 丁香五月色情| 丁香五月天堂| 亚洲综合丁香婷婷六月天| 色亭亭九月| 日本三级中文字幕| 五月天久久综合婷婷丁香| 色婷婷777狠狠| 国产真人做爰视频免费| 久久丁香五月| 日本九九热| 五月丁香色婷婷色| 亚洲av电影网站| 涩五月婷婷| 婷婷亚洲在线| 人妻熟妇国产精品| 99热欧美精品| 国产成人精品一区二三区熟女在线| 色五月人妻| 狠狠色婷婷7| 青青草原爱爱网| www久| 日韩AAAAA| 欧洲亚洲免费视频9| 艳妇野外情欲放荡HD| 丁香五月影院| 丁香欧美| 亚洲激情无码久久| 97色色婷婷| 日韩三级视频一区二区| 少妇性按摩无码中文A片 | 日本操天堂| 91人人网| 十一月婷婷激情四射| 五丁香激情综合| 强伦轩人妻一区二区电影| 美女久久婷婷| 六月婷婷综合| 五月婷婷成人| 亚洲av网站| 99热这里只有精品66| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | renrencaoni| 婷婷激情视频| 成人丁香五月婷| 久久一级AV| 日本色色色| 丁香婷五月天开心六月| 久久99热这里只有精品| 天天橾日日橾夜夜橾17| 亚洲婷婷五月天在线激情综合网| 婷婷五月丁香六月| 一级精品999WWW| 超级碰 久久9| 国产精品成人网址| 99热8在线| 亚洲天天| 五月婷婷婷婷| 婷婷激情图片| 天天影院色| 久久电影4399| 久9无码视频| 天天操夜夜橾| 99性视频| 亚洲第一精品网站| 热99在线| 成人αV视频免费观看| 色婷婷丁香特级性爱视频| 加勒比日本一区二区三区| 五月天综合在线| 婷婷五月丁香色综合| 婷婷激情五月天激情| 激情五月婷婷在线| 这里只有精彩视| 色综合性视频| 丁香五月在线视频黑人| AV79| 婷婷综合精品视频97| 99精品视频在线| 亚洲激情高潮| 午夜不卡久久精品无码免费| 青青草国产亚洲精品久久| 99无码精品| 精品五月天| 97久久视频| 91丨九色丨熟女|老版| 激情六月色| 五月婷婷中文字幕| 色玖玖综合| 超碰猛烈的性猛交| 九九色99| 99热只有| 成人做爰黄A片免费看直播室男男| 欧美成人精品A片免费一区99| 99热伊人| 操B视频在线播放| 俺来也狠狠| 99热热热天天人人人超超碰| 免费V片在线| 婷婷丁香五月天操逼| 婷五月天| 碰97久久| 丁香五月婷婷六月婷婷| 激情婷婷综合| 久狠日av| 91人碰| 97碰| 丁香五月天啪啪| 欧美性生交XXXXX无码小说 | 91在线观看www| 九月婷婷激情久久| 欧美性久| 亚洲综合网区| 久久99久久99精品免观看软件 | 免费无码毛片一区二区A片 | 久久激情综合| 野战毛片三一3| 这里只有精品免费视频| 99综合免费视频| 午夜色婷婷| 91狠狠综合久久久| 99精品丰满| 欧美色图天堂网色| 再次出发二| 丁香五月综合在线播放| 午夜婷婷久久| 99热这里只有精| 婷婷五月丁香第四色超碰在线| 天天婬色综合| 操B五月天| 婷婷激情五月天激情在线| 五月婷婷综合色啪首页| 99热成人精品网站| 色五月成人| 国产成人综合电影| 久操综合| 热久久视频99| 亚洲愉拍99热成人精品| 99re欧美精品| 婷婷激情九月| 亚洲行行色色| 国产精品激情五月天色婷婷| 青青草婷婷综合五月| WWW激情五月天| 26uuu另类| 久久HD| 深爱婷婷网| 亚洲无AV在线中文字幕| 91丨九色丨熟女|老版| 蜜臀A∨在线水帘洞| 狠狠色噜噜| 91精品国产91久久久久青草| 99riAV成人在线视频| 影音先锋91| 亚洲综合色网站| 亚洲激情婷婷| 国产乱妇无乱码大黄AA片| 婷婷久久天堂网| 狠狠操综合| 亚洲 在线 另类| 久色激情| 亚洲综合婷婷六月丁香五月| 五月天色影院| 激情五月天婷婷色色色色色色色色色色色 | www狠狠com| 五月天婷婷日日爱| 五月天天综合| 97超级碰人人| 另类五月婷婷| 91综合色| 爱操天堂| 99热99思午夜精品| 九热免费视频| 无码人妻一区二区一牛影视| 五月激情婷婷开心五月| av久热| 色播jjjj| 深夜婷婷五月丁香| 婷婷久久五月| 天天透天天干| 国产精品久久久丁香五月八戒视频| 久热黄色| 亚洲色五月婷婷| 久久这里面只有精品视频| 丁香婷婷激情六月五月开心| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 亚洲va综合va国产va中文| 亚洲成人中文字幕| 婷婷综合五月色播| 极品少妇XXXX精品少妇偷拍| 婷婷五月亚洲综合| 伊人激情影院| www,setingting| 青青操avbb| 99精品在线观看视频| 五月天丁香久久综合 | 婷婷五月色網站| 夜夜干 夜夜操| 无码九九九九| 天堂综合久久| 日韩99色99| 99综合网| wwwss在线观看| 婷婷综合成人| 爱狠射| 色婷婷五月天激情综合| 成人在线日韩| 丁香五月天偷拍| 婷婷综合亚洲| 色女人久久| 五月天天爽| 成人国产欧美大片一区| 亚洲激情图文小说| 天天拍天天操| 色五月激情视频在线综合| 五月丁香婷婷综合视频| 永久免费一区二区三区| 99爱在线免费视频| 久久久婷婷色五月资源网| 久久66精品| 国产精品涩涩涩视频网站| 综合激情婷婷| 丁香五月播播| 激情四射五月天| 97人人做| 日本狠狠爽| 婷婷成人视频| 五月天色播网| 丁香六月色婷婷| xx久久| 成人AV中文字幕| 激情五月婷婷啪啪| 丁香婷婷激情六月五月开心| 五月丁香六月婷婷久久| 丁香六月天| 玖玖99精品视频| 天天精品视频免费观看| 99re思思热久久| 99色人| 久久99久久99精品免观看软件| 国产美女无遮挡裸体毛片A片 | 综合五月天婷婷色| 殴美97色| 色婷婷激情| 69人妻人人澡人人爽久久| 色欲一区二区三区精品A片| 91伦| 六月婷婷八月丁香| 中文字幕九九九九| 色婷婷丁香五月| 色哟哟www| 97性视频| 91日韩在线| 另类激情综合| 就爱操www com| 97在线99| 日韩爱操视频| 人妻aV在线| 久久在这里99| 91色色色| 激情综合五月| 综合网五月天123| 日韩aⅴ视频| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 色噜噜狠狠色综合成人网| 九九色综合网| 九九蜜臀精品| 草草夜夜操| 伊人五月成人| 欧美色色色色色色色色色色| 丁香色婷婷五月天| 啪啪婷婷五月天激情| 日本精品人妻无码77777| 五月婷婷花| 激情文学综合婷婷五月天丁香花| 夜夜综合色| 国产午夜精品一区二区| 色五月在线观看| 久久99热这里只有精品23| 99热在线观看| 天天在线XXX| 碰碰91| 欧美99| 99热这里只有精品一| 久久日本wwww色| 91九色精品| 天天日日夜夜| 婷婷99视频精品| 日本熟妇乱妇熟色A片蜜桃| 五月婷婷开心综合| 六月丁香啪| 九月婷婷综合色干| www.激情五月| 综合色色色| 嫩草AV久久伊人妇女超级A| 影音 五月 婷婷 久久| 国产精品色婷婷99久久精品| 国产热精品| 色色色色色日韩午夜激情| 开心五月网| 五月天婷婷色在线视频免费观看| 狠狠噪| 伊人色综合久久久| 精a品a视a频| 久久精品熟女亚洲AV麻豆| 亚洲情色一区| 亚州日本欧州韩美高青高潮一| 色婷婷综合在线| 六月丁香啪啪| 五月婷色激情五月| 超碰成人免费| avh片在线观看| PORNY九色9l自拍视频成人| 伊人狠狠狠综合| 色播五月综合网| 五月婷婷综合网| 尔尔AV一区| 亚洲国产色婷婷| www.久操| 99精品网| 超碰色色综合| 丁香婷婷五月基地| 五月丁香激情片| 四川操逼站| 中文AV网| 天天做天天爽| 97韩国久久电影院| 欧美丁香婷婷天天操| 夫妻超碰在线| 少妇AB又爽又紧无码网站| 九九热婷婷| 99色视频在线观看| 金桔一区二区ab地址| 97久操| 无码免费人妻A片AAA毛片西瓜 | 热的无码综合视频| 99re久热只有精品6在线直播| 丁香五月AV| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 中文字幕av久久爽一区| 婷婷五月丁香人妻无码高清| 色婷婷成人做爰A片免费看网站| 天天爱天天秀天天做| 久这里只有精品| 久久婷婷内射| 免费观看日韩成人av| 五月婷婷激情| 婷婷久久网| 99热国产免费| 九九婷婷五月天| 亚洲视频色色| 99性视频| 久婷久婷| 五月亭亭色| 激情图片亚洲| 婷婷色播婷婷| 久色网址| 伊人网碰碰| 天天爱夜夜爽| 操啊操av| 亚洲女婷婷五月基地综合久久久| 亚洲综合视频天天精品| 色婷婷网| 六月丁香大香蕉| 人人叉久| 色情五月天导航| 夜色五月天| 中文字幕日产A片在线看| 天天激情站| 综合色色婷婷| 99亚洲精品| 天天做天天爱天天要| 99在线视频精品| 色综久久久| 亚洲欧美婷婷五月色综合| 久久婷婷色五月| 深爱婷婷丁香五月激情| 激情五月天天狠狠久久| www.91.com黄| 欧美性丁香色色五月天干干| 亚洲精品又粗又大又爽A片| 亚洲视频一区| 婷婷狠狠爱| 玖玖五月| 婷婷爱五月天人人爱| 99er精品| 丁香五月天色| 99ri国产在线| 九九综合| 99热主页日本| 丁香婷婷性爱| 五月婷婷另类| 五月丁香在线视频观看| .操區COm| 伊人五月久久| 五月丁香青草综合啪啪| 密桃激情五月天综合网| 天天综合网亚洲网站| 五月婷婷激情综合视频| 激情五月天小说| 99热免费在线| 香焦网五月天| 超碰成人免费| 嘿嘿视频免费看9| 久久婷婷五月丁香网| 狠狠 婷婷| 色丁香久久久| 国产成人av在线播放| 538在线精品| 天综合日日夜综合7799| 99色在线观看免费| 激情综合色播| 91日韩在线| 五月丁香六月情| 九九热最新视频| 五月丁香成人网| 少妇被躁爽到高潮无码文| 九九热青草| 天天碰夜夜操| 亚洲天堂九九九| 激情久久网 | 丁香五月天激情| 五月婷婷六月色| 日本人妻伦在线中文字幕| 蜜乳久AV| 九九在线91| 久久久久99精品成人网站| 欧美激情中文字幕| 99久久婷婷国产综合精品草原| 色情五月天视频网| 夜夜夜叫天天天做| 99精品在线观看视频| 日本99在线| 六月丁香五月天| 九九综合| 精品99*| 欧美性爱日韩性爱| 99re这里只有精品99| 啄木鸟黑丝一区二区| 色婷婷五月天综合网| 亚洲激情婷婷| 丁香五月在线| 婷婷五月天桃花网| 91视频久久久| 天天操天天日天天爱| 丁香五月天激情小说| 久久伊人五月天| 丁香五月天堂| 91性交在线播放| 亚洲激情五月| 色婷婷综合久色AV五色最新| 五月天激情社区| 极品嫩草| 丁香五月 综合| 亚洲操逼片| 日本欧美啪啪| 激情五月少妇| 97一区二区| 婷婷另类开心| 九九热在线观看视频| 狠狠色五月| 五月婷婷激情综合网| 婷婷综合仓库中文| 婷婷五月激情图片| 欧美激情性做爰免费视频| 99ri视频在线观看| 99在线观看视频免费| 丁香成人色情五月天| 色 丁香婷婷| 99色性爰网络| 亚洲综合五月天婷婷丁香| 99精品综合在线| 五月激情视频| 激情五月丁香六月综合AVXXXX| 综合色五月天| 亚洲综合色激情色五月| Av九九| 天天看夜夜看| 九九久久网| 1024在线视频| 狠色狠色狠狠色综合网| 九九热精品在线| 免费看成人747474九号视频在线观看| 99色热综合| 成人综合视频网址| 丁香六月天婷婷开心综合| 全部老头和老太XXXXX| 香蕉综合在线| 天天干天天插| 91免费在线视频6| www.五月天| 人妻av在线| 综合婷婷| 99九九视频| 日韩成人精品中文字幕| 91人人操人人| 女人天堂 AV| 日韩成人电影AV| 亚洲色图啪啪| 伊人日日干| 开心五月婷婷激情| 婷婷综合av| 玖玖精品资源| 亚洲这里只有精品| 97色操| 五月丁香六月婷婷亚洲| 五月天激情小说| 日本操片| 色射婷婷五月天| 99免费视频| 久久丝袜婷婷| 成人色五婷婷| 91re色综合视频| 五月丁香激情五月天| 最新久久网址| 一起草av在线观看| 五月香六月婷| 99热精品在线播放| 色婷婷久久综合| 天天色综网| 日韩av变天就操逼不卡区| 日本色噜| 五月婷婷先锋| 69五月天视频| 色色国产| 亚洲婷婷在线播放十月| 九九自拍网| 99免费青青蜜臀| 日韩在线观看亚洲| 成 人片 黄 色 大 片| 色色婷婷五月天| 另类 在线| 日韩啪啪自拍| 婷婷丁香激情五月天色色| 欧美大片| 五月婷婷久久综合| 色色色热| 六月丁香婷婷五月天| 曰曰久久| 五月丁香欧美综合| 99在线免费视频| 久久五月天色婷婷| 色呦呦美女| 超碰猛烈的性猛交| 久99视频在线观看| www.精品99| 日本一级黄色电影| 五月激情啪啪啪| 五夜婷婷| 超碰在线91| 丁香五月在线| 精品国产va久久久久| 99久久婷婷| 丁香五月婷婷亚洲综合精品| 色五月天丁香| 九九久久五月天| 无码激情| 色六月丁香婷婷啪啪啪| 另类图片五月天| 天天草人人摸| 欧美经典片免费观看大全| va婷婷在线| 国产精品人成A片一区二区| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 97偷拍在线视频| 久久久久久人妻久久久久久久久久人妻久久久 | 久久网思思| 26UUU| 五月丁香九九| 久婷婷五月综合欧美| 一级性爱视频| 九月婷婷色色| 日韩AV大全| 亚洲激情无码久久| 成人做爰黄A片免费看直播室男男| 九月婷婷丁香| 91亚洲视频| 欧美色五月| 夜夜 操无码| 天天天天天日| 久久久久亚洲A∨成人乱码电影| 丁香婷婷激情| 五月丁香啪啪拍| 久久婷婷青青| 激情综合五月婷婷| 国产成人+综合亚洲+天堂| 五月天婷婷久久| 人人做人人看人人摸| 久久99最新地址| 色在线视频网2025| 久99久在线观看| 久久激情五月天| av九九| 在线另类视频| 色婷久九| 99在线资源| 激情 婷婷| 丁香六月久久| 五月天激情久久| 丁香六月色婷婷| 夜夜骑天天玩天天日| 热久久国产视频| 人人干AV| 99热亚洲精品66| 丁香美女主播视频在线观看| 成 人 色 色| 欧美综合婷婷网| 丁香五月综合福利视频导航| 婷婷亚洲激情在线观看视频| 丁香五月冃欧美| 久久精彩视频18| 狠狠色丁香婷婷久久综合| 激情久久四色| 人人综合色| 天天色99| ,99视频久久| 9 9热这里有精品| 五月天久久久| 色婷婷精品小视频| 99热超| 97精品综合| 色婷婷婷婷成人网| 啪啪五月综合| 涩五月婷婷| 99er热精品视频| 色啪综合| 狠狠五月婷婷| 日本啪啪网| 亚州激情在线视频| 国产成人AV在线播放| 欧美性色A片免费免费观看的| 丁香五月六月综合激情| 婷婷久久亚洲| 成人在线日韩| 亚洲AV成人在线| 92久久精品一区二区| 五月婷婷 自拍| 日韩成人电影在线播放| 很很操96| 婷婷五月天综合小说网| 色99在线视频| 一本大道嫩草AV无码专区| 9久热视频| 99干日本| 69午夜成人影片| 五月天六月婷婷| 久久精品性爱| 极骚大香蕉伊人| 久久久久久久久久91| 99色这里| 激情伊人五月天| 99热国产精品| 91久久综合亚洲噜噜成人在线| 国产成人网站在线观看| 狠狠爱五月婷婷| 男女久久婷婷五月天| 91五月天| 久久 无毛。| 久久婷婷五月天丁香| 99精品视频网| 内射综合网| 天天做天天要天天爽| 开心五月婷婷激情| 久一网站| 九九久久偷拍| 激情都市另类| 99热66| 欧美色99| 青青草激情网| 久久99成人性爱高清视频| 丁香五月婷婷婷婷欧美综合| 久久婷婷五月丁香网| 日本99婷婷| 久久五月婷综合| 色色婷婷五月天| 97精品综合久久| 色五月av| 五月天激情小说欧美激情| 五月综合777| 激情小说五月天社区丁香 | 久久女婷| 思思热精品在线| 激情久久久久久久久久久| 婷婷伊人五月天| 婷婷五月天a| 色婷婷伦理| 深爱五月激情网| 操碰91| 夜夜大香蕉婷婷丁香| 秋霞av不能| 成人国产网| 五月婷婷综合激情小说| 无码少妇高潮喷水A片免费| 99热地址| 丁香激情久久| www.99热精品| 五月婷在线| 99色精品| 丁香五月天色婷婷| 极骚大香蕉伊人| 极品少妇高潮啪啪AV无码| 日本va欧美va国产激情| 日本五月婷婷| www.91久久| 亭亭色色五月天| 在线天堂9| 黄色成人网站在线播放| 久热中文字幕| 色99在线观看| 欧美综合五月丁香六月婷| 欧美色色色色色色| xx久久| 99热亚洲精品| 婷婷人人操| 91成人电影| 九月丁香婷婷综合| 丁香五月综合激情性爱| 九九热re99re6在线精品| 97干视频在线| 美女精品一级不卡视频| 亚洲AV综合在线观看| 夜夜爱伊人| 97狠狠色| 九月婷婷| 丁香激情网| 97人人干人人操| 丰满老熟妇BBBBB搡BBB| 国产成人精品一区二三区熟女在线| 99色色网| www,婷婷,com| www超碰com| 97碰操| 亚洲有码在线视频| 久久精品99久久| 五月丁香激| 大香网伊人久久综合| 快乐婷婷五月天| 热久久思思热思思| 婷婷四色五月| 欧美爆乳一区二区三区| 另类视频五月天| 97在线刺激| 精品久久99码| 婷香五月网在线| 亚洲不卡| 成人操呦av| 开心激情站| 天天拍夜夜爽| www婷婷色| 亚洲 在线 性爱 | 综合视频五月| 丁香六月无码| 久久视频婷婷| 九九99在线免费在线观看视频| 激情综合亚洲| 日韩一级一片内射视频4K| 亚洲久艹| 97碰在线| 天天做天天爱天天爽在| 五月天婷婷在线播放免费| 丁香五月婷婷六月丁香| 99热这里只有精品22| 欧美大肥婆大肥BBBBB| 视频一区二区在线| 超级碰碰91| 久久久久久久丁香五月天婷婷| 婷婷五月天亚洲天堂| 久久婷婷五月天综合| 狼人婷婷久久| 色婷婷基地| 视频一区二区在线| 九九色色网| 免费精品66| 夜夜骑夜夜撸| 亚洲1区| 欧美色图片88| 在线99精品| 色五月开心婷婷| 激情五月综合网最新| 91超级碰在线视频| 一点色成人网| 区啪精品| 久久婷婷六月| 色婷五月| 日韩人妻无码专区| 亚洲AV影片在线观看| 婷婷五月中文字幕| 色色色视频| 人妻操逼视频| www.久久久久| 综合婷| 亚洲色9| 欧美日本va| 五月激情婷婷在线| 殴美97色| 激情五月天婷婷激情| 婷婷五亚洲| 综合色五月| 影音先锋男人AV资源站| 五月丁香婷婷综合网| 操逼在线视频| 色噜噜五月天| 五月天婷久久| 99热在线精品播放| 五月天婷婷黄色| 日韩综合天堂| www天堂99| 激情婷婷五月久久| 色XX综合网| 中文字幕按摩做爰| 亚洲成人中心| 人人操A| 九热视频| 激情五月天色色色| 婷婷久久免费看| 五月天婷婷色色网| 97碰碰免费.视频| 99在线观看视频免费| 热99在线| 婷婷激情五月| txt五月激情四射网综合俺也来了| 全亚洲最大的婷婷五月天网站COM| 色色五月婷婷丁香| 99在线免费观看| 日本人人干| 97五月天婷婷| 天天日天天爽| 欧美天堂久久| 色亚洲欧洲| 91性高潮久久久久久久久| 五月天社区婷婷丁香社区| 噜噜噜精品欧美成人在线观看| 综合五月婷婷| 狠狠久综合| 五月开心啪啪| 可以免费观看的av| 久久免费操| 丁香婷婷五月基地| 92久久精品一区二区| www.99在线| 另类激情首页| 欧美A片在线视频免费观看| 色五月xxx| 精品激情| 日本3级片一区2区| 美女美女美女三级色天天天天天| 国产真人做爰视频免费| 日本天堂免费99| 五月丁香六月婷婷视频| 99热国品| 天天开心婷婷丁香五月| 91色在线/日韩| 加勒比日本一区二区三区| 日韩综合大黄| 亚洲无AV在线中文字幕| 亚洲激情四射| 激情伊人| 婷婷五月色色| 七七久久婷婷| 狠狠干在线视频| 国内外色色色色色成人视频| 激情九月婷婷| 久久五月激情综合| 成人丁香五月婷| 婷婷六月久久综合导航| 五月天综合在线网| 久久视频婷婷视频| 另类在线| 深爱五月激情网| 91狠狠综合久久久| 天天综合网91| 国产激情在线| 婷婷99狠狠躁天天躁中文| 婷婷五月无码| 深爱综合网| 激情网婷婷婷| 噜噜网免费视频| 久久人妻伦理| 婷婷色综合| 狠狠搞狠狠操| 七七色色综合| 男女99免费视频| 久久激情视频| 五月天偷拍| 99在线精品免费视频| 蜜桃五月天| 激情五月天福利| 人人草人| 丁香九色不卡aaa| 337p大胆噜噜噜噜噜91Av| AⅤ色区| 国产精品人人做人人爽人人添| 色墦五月丁香| 99热免费在线| 热99色| 丁香五月骚喷水视频| 五日激情综合| 午夜不卡久久精品无码免费| 色停停香蕉视频| 五月天啪啪啪| 久久aaaaa| 国产婷婷五月在线视频| 色婷婷第四色| 日韩视频99| yw国产AV| 五月婷婷开心综合| 超碰婷婷色| 婷婷丁香在线播放| 91九九九九九九| 无码激情精品色婷婷久久久久| 在线观看免费视频| 538久久| 天天干天天av天天射| 69er小视频| 日韩日比视频在线| 丁香五月天亚洲视频| 国产成人AV在线播放| www久久99| 久久综合激情五月天| 另类小说色婷婷| 丁香婷婷五月色成人网站| 婷婷伊人| 婷婷开心深爱五月天| 精品人妻一区二区| 在线天堂9| 色婷婷香蕉| AA片在线观看视频在线播放 | AV在线免费播放| 婷婷九月丁香| 日本人妻伦在线中文字幕| 丁香五月婷婷天| 日日操夜夜操中国无码| 色婷婷亚洲六月婷婷中文字幕| 亚洲免费电影2| 婷婷五月天激情网| 九月丁香婷婷| 九月丁香八月婷婷加勒比| 开心五月激情五月丁香五月婷婷| 97超碰,人人舔,人人操,人人摸| 国精产品久久| 区美毛片子| 9久精品| 五月天最新网| 99re思思在线视频| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 色情五月婷婷| 午夜成人天堂久久无码日韩久久| 九九成人| 人人操av| 婷婷伊人| 色婷婷很很丝袜| 五月婷婷色播| 五月丁香六月久久| 9视频在线成人网站| 六月婷婷色综合| 《诡秘之主》在线观看| 欧美三级巜人妻互换| 久婷五月| 99视频在线精品免费观看2| 色情五月天丁香社区| 婷婷综合五月天| 五月天综合激情网| 五月久久噜噜| 超碰啪啪网| 香蕉久久国产AV一区二区| 五月丁香婷婷综合在线| 精品国产AV色一区二区深夜久久| 中文字幕精品无码一区二区| 日本激情91| 五月激情综合婷婷| 26UUU欧美| 这里只有精品无码| 天天日天天干天天爱| 狠狠爱丁香婷| 激情婷婷六月天| 五月婷婷 激情五月| 五月婷婷性爱| 99re视频在线精品| 国产3p露脸普通话对白| 日韩成人中文字幕| www、色色色| wwW天天干| 五月激情视频| 区啪精品| 国产精品黑丝| 国产亚洲色婷婷久久99精品91| 五月激情六月综合| 五月天婷婷在线播放免费| 5月婷婷视频网站综合| 欧美在线视频免费播放| 日韩婷久| 99热思思| 欧美交换配乱吟粗大25P| 久久久久久久久99精品| 色色网五月激情| 婷婷四色成人综合色视| 激情综合网 激情五月天| 天天日天天插天天操| 久久综合激情| 久久久久久久久久91| 中文字幕激情综合| av免费在线观看0| 99久久喉9| 九九九激情综合| 色色五月天婷婷| 久久婷婷精品| 婷婷精品| 97碰在线视频| 日本精品人妻无码77777| 国产,欧美,学生妹,视频| 成人综合网站| 日韩黄在免| 日日影院 | 91免费啪视频| 综合久久伊人| 五月婷婷丁香大陆免费| 色玖玖综合| 免费看成人747474九号视频在线观看| 影音 五月 婷婷 久久| 五月色情| Aaa久久| 97碰碰九九视频| 精品自拍99| 97碰 在线视频观看| 久久九九思思| 99超碰人人| 激情综合国产| 久久色频| 五月丁香久久久| 五月天激情电影| 欧美在线视频免费播放| 色久影院| 国产精品第一国产精品| 99婷五月| 九九激情视频| 99久久亚洲精品视频| 就爱操www com| 亚洲最大五月天成人网| 人人操AV| 九九热精品视频在线观看| 国产毛片精品一区二区色欲黄A片| 国产午夜精品一区二区三区嫩草| 丁香五月婷婷社区| 一婬一伦一区二区三区| 亚洲sesesese| 操日挥操日日| 中文字幕在线不卡| 九九久久精品| 超碰免费人人肏| 99在线免费视频| 精品无码av丁香五月激情| 99热精品综合| 久久久久久久人妻| 97人妻碰碰碰久久香蕉| 激情开心五月天| 操逼综合激情网| 五月天婷婷色五月天| 丁香五月婷婷日本| 久久婷婷五月综合| 91九九热| 五月婷婷五月丁香综合| 五月婷婷免费在线视频| 亚洲中文字幕网| 操逼六区| 色婷婷综合网站| AA丁香综合激情| 色五月大| 婷婷色色播五月天| 五月天成人小说| 日本久久9| 能看的AV网站| 丁香久久| 91凹凸在线| 久99久热只有精品国产99| 天天天干夜夜夜操| 99riAV成人在线视频| 99热精品少|