欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Kubernetes異地多活實戰(zhàn):單元化、灰度切流與數(shù)據(jù)收斂

Kubernetes異地多活實戰(zhàn):單元化、灰度切流與數(shù)據(jù)收斂 做過兩輪企業(yè)級云服務平臺的異地多活改造之后我越來越確信一件事真正難的不是在 Kubernetes 上多起幾個集群而是想清楚哪個業(yè)務單元可以切、切過去之后數(shù)據(jù)怎么收斂、切回來的時候會不會把線上打穿。異地多活這四個字寫進方案里只有半頁 PPT落到工程上卻是一整套關于容量、數(shù)據(jù)、流量和運維節(jié)奏的賬本。這篇文章就把這套賬本攤開來講從形態(tài)選型、分層架構、單元化改造到一次真實的灰度切流、校驗腳本、回滾預案再到那些只有踩過才知道的坑。不論你是剛開始接觸多集群的運維同學還是正在被“兩地三中心”方案評審折磨的架構負責人應該都能從里面拿到能直接抄的東西。我不會堆概念會把每個關鍵參數(shù)怎么算、每個配置為什么這么寫盡量講透。1. 異地多活的目標形態(tài)與選型推演1.1 冷備、雙活、多活三種形態(tài)的賬要對得上很多團隊一開始就用“兩地三中心”這個說法但落到實現(xiàn)上有三種完全不同的東西成本和效果差了一個數(shù)量級。我在方案評審會上最常問的一句話是你要的到底是“掛了能起來”還是“掛了不掉線”這兩件事的投入差著好幾倍。我把常見形態(tài)按 RTO恢復時間目標、RPO恢復點目標、成本和復雜度做了個對照這張表基本可以直接拿去當評審材料的第一頁形態(tài)典型 RTO典型 RPO額外資源成本工程復雜度適用業(yè)務冷備備份重建小時級分鐘到小時級約 10%~20%低內部工具、離線任務、報表熱備主備切換分鐘級秒級約 50%~70%中中等重要業(yè)務、非核心交易同城雙活秒級接近 0約 100%中高核心業(yè)務的主流做法異地雙活/多活秒級到分鐘級秒級150%~200%高面向全國的 C 端核心鏈路看清楚這張表之后會發(fā)現(xiàn)一個殘酷的事實異地多活的資源成本不是“多買一臺機器”而是“每個站點都要能承接全量”。也就是說如果你在異地建了兩個站點各自平時跑 50% 流量那么每個站點都得按 100% 的峰值容量去設計否則一個站點掛了另一個站點立刻雪崩。這筆錢必須在立項時就說清楚不然做到一半被砍預算架構會被迫降級成四不像。我的建議是分層實施核心交易類業(yè)務做同城雙活 異地只讀/降級容災非核心業(yè)務做異步異地多活內部系統(tǒng)老老實實冷備就行。不要指望一套架構吃下所有業(yè)務那是自找麻煩。1.2 為什么把 Kubernetes 作為多活的底座選 Kubernetes 做底座原因不是它時髦而是它提供了一套“聲明式期望狀態(tài)”的機制。多活場景里最怕的是什么是同一個應用在兩個站點跑出了不同的版本、不同的副本數(shù)、不同的配置。K8s 的聲明式模型讓“站點 A 和站點 B 的應用形態(tài)一致”這件事變成了可校驗的而不是靠人肉比對。但必須說清楚 K8s 在這個場景里能干什么、不能干什么這一點很多方案書寫得含糊它能干的副本數(shù)保障、滾動升級、Pod 調度約束把負載打散到不同故障域、健康探針、資源配額、服務發(fā)現(xiàn)的基礎能力。它不能干的跨集群的服務發(fā)現(xiàn)原生不支持需要額外組件或自行封裝、跨集群一致性調度不解決、數(shù)據(jù)層完全不管、跨站點的全局流量調度也管不了。所以我的架構原則是K8s 只管單集群內的高可用跨站點的編排能力必須單獨做一層。這一層可以是多集群管理平臺也可以是最土的“一套 GitOps 倉庫管所有集群”關鍵是別指望一個 K8s 原語解決跨站點問題。另外一個容易被忽略的點多集群之后控制面本身的運維成本是非線性增長的。三個集群、五個集群還能靠腳本到了十幾個集群很多企業(yè)按業(yè)務域拆集群就必須有統(tǒng)一納管否則每次升級都是噩夢。我在項目里踩過這個坑后面會講。1.3 從 RTO 和 RPO 倒推數(shù)據(jù)層分級數(shù)據(jù)層是異地多活里最貴的部分也是最容易出問題的地方。我的做法是先按業(yè)務域做分級再倒推技術方案而不是先選技術再套業(yè)務。大致分三檔強一致核心域賬戶余額、庫存扣減、訂單狀態(tài)機。這類數(shù)據(jù)跨站點同步只能接受秒級延遲且寫入必須收斂到單一主副本跨站點做雙寫幾乎必然出問題。最終一致業(yè)務域消息、通知、日志、積分流水??梢杂卯惒酵郊訕I(yè)務側補償容忍分鐘級延遲。可重建域緩存、搜索索引、推薦特征。這類數(shù)據(jù)根本不參與同步故障時直接從源數(shù)據(jù)重建重建時間要算進 RTO。分級之后你會發(fā)現(xiàn)一個很有用的結論真正需要“異地多活”的數(shù)據(jù)其實很少大部分數(shù)據(jù)是最終一致的剩下的是可重建的。把范圍收窄方案立刻變得可實現(xiàn)。2. 分層拆解流量、應用、數(shù)據(jù)三條主線2.1 流量入口層DNS 只是兜底別當主力流量層最常見的錯誤設計是把所有切換壓力壓在 DNS 上。DNS 有 TTL 緩存很多運營商和地方解析服務器不遵守 TTL你改了解析可能幾十分鐘甚至幾小時還有流量打到舊地址上。拿著這個做秒級切換是不現(xiàn)實的。我的分層設計是這樣的第一層全局流量調度基于 Anycast 或專線接入的入口 IP按健康狀態(tài)和就近原則分流。這一層的切換是秒級的。第二層應用網(wǎng)關路由請求到了網(wǎng)關之后根據(jù)用戶身份做單元路由決定這一筆請求應該落在哪個單元。這一層是真正決定數(shù)據(jù)一致性的關鍵。第三層DNS 兜底只在整體站點級故障時使用TTL 設得比較短比如 60 秒但要有心理準備它不會立刻生效。第二層的單元路由是核心。具體做法是從用戶標識用戶 ID、設備 ID、租戶 ID里取一個穩(wěn)定的哈希值按分片數(shù)取?;蛘哂靡恢滦怨B涞焦潭ǖ膯卧?。這一步的規(guī)則必須保證同一個用戶永遠路由到同一個單元否則數(shù)據(jù)會出現(xiàn)跨單元寫沖突。這個映射表要落庫、要能動態(tài)調整、要有版本號并且每個單元本地都要緩存一份副本避免全局路由表成為新的單點。注意分片數(shù)一旦定了后續(xù)擴容會很痛苦。我的經(jīng)驗是初始就按未來三年的量規(guī)劃寧可分片多一點比如 64 或 128 片讓一個單元承載多個分片也不要一開始就按 8 片、16 片劃分。2.2 應用層多集群編排與跨集群服務發(fā)現(xiàn)應用層要解決的問題是“同一個服務在多個集群里怎么保持形態(tài)一致”。我實際采用的方案是 GitOps 驅動加統(tǒng)一控制面而不是引入重量級的聯(lián)邦調度。具體形態(tài)每個集群有一個獨立的 K8s 控制面保持故障隔離單集群的控制面故障不影響其他站點。所有部署描述文件放在一個配置倉庫里按“公共基線 站點覆蓋”的方式組織目錄站點的差異只允許出現(xiàn)在覆蓋層禁止在環(huán)境里手工改配置。一個輕量的同步代理部署在每個集群里持續(xù)拉取期望狀態(tài)并對齊拒絕漂移。目錄結構大概是這樣這是我在多個項目里都沿用的組織方式deploy/ ├── base/ # 全站點共享的基線 │ ├── app-order/ │ └── app-gateway/ └── overlays/ ├── site-a/ │ ├── kustomization.yaml │ └── patch-replicas.yaml ├── site-b/ │ ├── kustomization.yaml │ └── patch-replicas.yaml └── site-c/ └── kustomization.yaml跨集群服務發(fā)現(xiàn)這塊務實一點的做法是“不做通用服務發(fā)現(xiàn)”。微服務之間的調用盡量收斂在單元內閉環(huán)只有少數(shù)幾個明確需要跨站點的服務比如全局配置中心、統(tǒng)一鑒權才通過顯式的對外域名訪問走網(wǎng)關而不是走服務網(wǎng)格的跨集群能力。原因很簡單跨集群服務發(fā)現(xiàn)一旦放開通用的東西向流量網(wǎng)絡時延、故障域、限流全都失控出了問題連調用鏈都梳理不清。心得能用“域名 網(wǎng)關”解決的跨站點調用就不要用服務網(wǎng)格。我見過一個團隊把東西向流量全部做成跨集群可達結果一次跨域網(wǎng)絡抖動導致所有服務互相超時重試雪崩得比單站點還徹底。2.3 數(shù)據(jù)層單元內寫閉環(huán)與沖突收斂數(shù)據(jù)同步的形態(tài)取決于業(yè)務特性我總結出三條鐵律第一條寫入閉環(huán)在單元內。每個單元的數(shù)據(jù)分片只允許本單元寫跨單元只能讀或者異步同步。這條守住了就不會有寫沖突。代價是同一份數(shù)據(jù)不能在兩個單元同時被寫也就是“多活”其實是“按分片多活”不是“同一份數(shù)據(jù)到處都能寫”。第二條單向同步優(yōu)于雙向同步。只要業(yè)務場景允許就做單向復制主單元寫從單元讀。雙向同步的復雜度高出一個臺階需要處理循環(huán)復制、時鐘偏差、更新丟失等問題維護成本長期來看非常高。第三條沖突處理必須有確定的收斂規(guī)則。如果確實需要雙向寫比如某些強實時場景必須明確沖突解決策略按版本號大的勝出、按時間戳后到的勝出還是按業(yè)務規(guī)則合并。這里有個巨坑Last-Write-Wins 依賴時鐘而跨站點時鐘偏差是常態(tài)。我在生產環(huán)境見過兩個站點之間幾十毫秒的時鐘漂移導致數(shù)據(jù)被舊值覆蓋。如果你的同步鏈路依賴時間戳比較務必先把時鐘同步做扎實并且在比較時引入邏輯版本號作為第一優(yōu)先級。3. 集群搭建與單元化改造的實操要點3.1 集群規(guī)格與節(jié)點池規(guī)劃參數(shù)怎么算集群規(guī)劃是很多人憑感覺定的地方我給一套自己一直在用的算法。假設目標單個站點承載 1200 個 Pod業(yè)務峰值時每 Pod 的 CPU 請求 2 核、內存請求 4Gi系統(tǒng)組件和 DaemonSet 預留 15% 資源。單節(jié)點選 32 核 128Gi 的規(guī)格那么可調度 CPU 32 × (1 ? 0.15) ≈ 27 核可調度內存 128 × (1 ? 0.15) ≈ 108Gi按 CPU 算能放 ?27 / 2? 13 個 Pod按內存算能放 ?108 / 4? 27 個 Pod取瓶頸 13 個但這只是理論值還要打散到不同可用區(qū)和故障域實際按 10 個/節(jié)點規(guī)劃那么 1200 個 Pod 需要 120 個節(jié)點。再考慮故障冗余如果單站點要能承受一個可用區(qū)整體故障而集群跨三個可用區(qū)那么每個可用區(qū)需要 40 個節(jié)點承擔剩余兩個可用區(qū)要能接住這 40 個節(jié)點上的負載即單區(qū)需承載 60 個節(jié)點的量總量需要 180 個節(jié)點。這個數(shù)字明顯比拍腦袋的 120 高 50%但它才是真實的可用容量。很多方案書里寫的“資源利用率 60%”背后其實是沒算故障接管后的水位。節(jié)點池我會按用途拆成三類節(jié)點池用途規(guī)格傾向特殊配置通用池無狀態(tài)業(yè)務 Pod32C128G1:4 內存比開啟自動擴縮容計算池數(shù)據(jù)處理、批任務64C128G高主頻打污點只接特定任務系統(tǒng)池入口網(wǎng)關、監(jiān)控、日志16C64G禁止業(yè)務 Pod 調度系統(tǒng)池單獨隔離非常重要。我遇到過一次線上事故監(jiān)控組件和業(yè)務 Pod 搶內存導致節(jié)點 OOM監(jiān)控先掛然后沒人知道業(yè)務也在掛。系統(tǒng)組件和業(yè)務必須物理隔離。3.2 單元標簽體系與調度約束落地單元化改造的第一步不是改代碼是給所有資源打標簽。我用的標簽體系只有四個核心鍵labels: topology.example.com/site: site-a # 站點 topology.example.com/zone: zone-a1 # 可用區(qū) topology.example.com/cell: cell-01 # 單元 topology.example.com/tier: core # 業(yè)務分級調度約束分兩層。第一層是站點親和保證 Pod 只落在自己站點的節(jié)點上第二層是故障域打散保證同一服務的副本不在同一個可用區(qū)。apiVersion: apps/v1 kind: Deployment metadata: name: app-order spec: replicas: 24 template: spec: affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: - matchExpressions: - key: topology.example.com/site operator: In values: [site-a] - key: topology.example.com/cell operator: In values: [cell-01, cell-02] topologySpreadConstraints: - maxSkew: 1 topologyKey: topology.example.com/zone whenUnsatisfiable: DoNotSchedule labelSelector: matchLabels: app: app-order這里有兩個參數(shù)值得展開說。maxSkew: 1表示任意兩個可用區(qū)之間的副本數(shù)差不超過 1這是最嚴格的打散代價是節(jié)點數(shù)必須夠副本數(shù)也得被可用區(qū)數(shù)整除或其倍數(shù)附近。如果副本數(shù)是 24可用區(qū)是 3 個那每個區(qū)就是 8 個正好。whenUnsatisfiable: DoNotSchedule是硬約束寧可 Pod 掛起也不違反打散這在多活場景里是對的——寧可少幾個副本也不要所有副本擠在一個區(qū)里。同時務必配上 PodDisruptionBudget否則節(jié)點維護時的驅逐會把一個服務的副本一次性帶走apiVersion: policy/v1 kind: PodDisruptionBudget metadata: name: app-order-pdb spec: minAvailable: 80% selector: matchLabels: app: app-orderminAvailable: 80%的意思是主動驅逐時至少保留 80% 的副本可用。這個值不要設成 100%否則節(jié)點永遠排不空運維會瘋。3.3 配置與鏡像的跨域分發(fā)多站點之后鏡像拉取會成為一個隱性成本。一個 800MB 的鏡像三個站點各拉一次跨域帶寬和拉取時間都很可觀遇到大規(guī)模擴容時更明顯。我的做法是每個站點部署本地鏡像倉庫做上游代理緩存首次拉取走跨域后續(xù)命中本地緩存。配置分發(fā)則要堅決杜絕“每個站點手工改 ConfigMap”。我踩過的坑是某次緊急修復只在主站點改了配置另外兩個站點忘了同步結果一個功能在部分用戶那里表現(xiàn)不一致排查了整整一天。后來我們上了配置版本號機制每個 ConfigMap 都帶一個config-version注解同步代理比對版本號不一致就告警。對于需要按單元取不同值的配置比如單元路由表、分片規(guī)則用一份全局配置加運行時加載的方式而不是每個站點一份副本。全局配置的變更流程要像代碼一樣走評審和灰度這一點很多人不當回事直到一次配置事故。4. 一次灰度切流的完整實操鏈路4.1 切流前的準入檢查清單切流不是點一下按鈕是一個有前置條件的流程。我固定下來一份檢查清單每次切流前逐項確認這個習慣救過我好幾次檢查項判斷標準不通過的處置目標站點容量水位切流后 CPU 峰值 65%內存 70%擴容后再切數(shù)據(jù)同步延遲持續(xù) 10 分鐘 P99 500ms排查同步鏈路目標站點副本健康全部 Ready無反復重啟修復后再切依賴服務可達性跨站點依賴調用成功率 99.9%補鏈路或降級方案回滾預案就緒回滾腳本已演練耗時已實測補演練觀測看板關鍵指標已接入告警已生效補監(jiān)控這份清單里我最看重的是“回滾預案已實測”。很多團隊的回滾預案寫在文檔里從來沒跑過真出問題時才發(fā)現(xiàn)回滾腳本依賴的那個配置項早就改名了。4.2 灰度切流的步驟與觀察指標切流按用戶分片灰度而不是按流量比例隨機。隨機切流會導致同一個用戶的請求在兩個站點之間跳會話和數(shù)據(jù)都可能出問題。按分片切一個分片內的用戶是完整的、穩(wěn)定的。我用的節(jié)奏是 1% → 5% → 20% → 50% → 100%每一檔至少觀察 30 分鐘而且必須跨過一次業(yè)務高峰。這個“跨高峰”的要求很多人不理解覺得多余。但低谷期切流是自欺欺人真正的容量問題只在高峰暴露。每一檔要盯的指標不多但必須盯死錯誤率5xx 占比與切流前基線對比漲幅超過 0.1 個百分點就暫停。P99 時延注意區(qū)分“接口時延”和“端到端時延”跨站點調用會讓 P99 明顯抬升要看抬升是否在預算內。數(shù)據(jù)同步延遲這是最容易出事的指標切流后寫入量翻倍同步鏈路容易被打滿。目標站點資源水位尤其是連接數(shù)和線程池這兩項擴容不敏感。業(yè)務核心指標下單成功率、支付成功率。技術指標全綠但業(yè)務指標掉的場景我遇到過原因是某個下游服務按站點做了限流切流后配額不夠。4.3 數(shù)據(jù)校驗腳本與切換后的比對切流后必須做數(shù)據(jù)比對這是判斷“真的切成功了”的唯一依據(jù)。我常用三招按成本從低到高第一招總量核對。比對源站點和目標站點的關鍵表行數(shù)、關鍵金額匯總值。便宜但有效能發(fā)現(xiàn)大范圍丟失。第二招抽樣明細比對。按用戶 ID 抽樣把兩個站點的記錄拉出來做字段級 diff。下面這個腳本是我們實際在用的簡化版#!/usr/bin/env bash set -euo pipefail SAMPLE_SIZE500 BIZ_DATE$(date -d yesterday %Y-%m-%d) OUT_DIR./diff_out/${BIZ_DATE} mkdir -p ${OUT_DIR} # 從全局抽樣服務取出待校驗的用戶 ID 清單 curl -s http://sample-svc.internal/pick?date${BIZ_DATE}n${SAMPLE_SIZE} \ -o ${OUT_DIR}/ids.txt total0 mismatch0 while read -r uid; do [ -z ${uid} ] continue total$((total 1)) if ! diff (fetch_record site-a ${uid} ${BIZ_DATE}) \ (fetch_record site-b ${uid} ${BIZ_DATE}) /dev/null; then mismatch$((mismatch 1)) echo ${uid} ${OUT_DIR}/mismatch.txt fi done ${OUT_DIR}/ids.txt echo 校驗總數(shù): ${total}, 不一致: ${mismatch} # 不一致率超過 0.5% 直接失敗阻斷后續(xù)切流 awk -v m${mismatch} -v t${total} BEGIN { exit (m/t 0.005) ? 1 : 0 }第三招變更捕獲回放比對。從數(shù)據(jù)變更日志里提取一段時間窗口的所有寫操作在目標站點重放并校驗最終狀態(tài)。這個成本最高只在核心交易鏈路切換時做。提示校驗腳本里的失敗閾值不要設成 0??缯军c異步同步天然存在延遲切流瞬間的不一致是正常的關鍵是看它是否在一個時間窗口內收斂。我設的閾值是5 分鐘窗口內不一致率降到 0.01% 以下視為收斂正常。5. 常見問題與排查技巧實錄5.1 跨域網(wǎng)絡抖動與健康檢查誤判這是我遇到最多、也最隱蔽的一類問題??缯军c專線的延遲不是恒定的偶爾會出現(xiàn)幾十毫秒的抖動甚至短時丟包。如果你的健康檢查探針超時設得比較緊比如 1 秒超時、2 秒間隔一次網(wǎng)絡抖動就可能讓一大批 Pod 同時變成 NotReady然后被 Service 剔除流量瞬間打到剩余節(jié)點上連鎖反應。我的調參原則是跨站點場景下健康檢查的容忍度要比單站點寬 2 到 3 倍。livenessProbe: httpGet: path: /healthz port: 8080 initialDelaySeconds: 30 periodSeconds: 15 timeoutSeconds: 5 failureThreshold: 5 readinessProbe: httpGet: path: /ready port: 8080 periodSeconds: 10 timeoutSeconds: 3 failureThreshold: 3關鍵點在于把 liveness 的failureThreshold調大。liveness 探測失敗會重啟容器這是最重的處置絕不能因為一次抖動畫就重啟。readiness 可以相對敏感因為它只是摘流量代價小。還有一個細節(jié)探針的請求應該走本地回環(huán)或者本機 Sidecar不要讓它繞一圈外部依賴。我見過探針的/ready接口內部會去查數(shù)據(jù)庫數(shù)據(jù)庫一抖所有 Pod 一起 NotReady本來只是慢查詢最后演變成全站不可用。探針只反映“進程自身是否可服務”不要在里面做重依賴檢查。5.2 腦裂、時鐘與冪等的組合坑腦裂這個詞在多活場景里出現(xiàn)的頻率很高但真正的原因往往不是網(wǎng)絡分區(qū)而是故障判定邏輯太激進。比如主備模式下備站點連續(xù) 3 次心跳失敗就提升為主而心超時是 1 秒那么一次 3 秒的網(wǎng)絡抖動就會導致雙主。我的做法是把自動切換的門檻設得比人工介入慢一些。聽起來反直覺但對于核心交易系統(tǒng)一次錯誤的自動切換造成的損失遠大于多停幾分鐘。具體參數(shù)心跳間隔 2 秒判定失敗次數(shù) 10 次也就是 20 秒才認為主站點失聯(lián)觸發(fā)切換前還要做一次跨站點確認比如通過第三個站點的仲裁服務投票。三個站點在這里體現(xiàn)了真正的價值——沒有第三點雙站點架構在腦裂時是沒法自證的。時鐘問題更細碎??缯军c的服務器時間偏差哪怕只有幾十毫秒也會影響基于時間戳的沖突解決前面提過分布式鎖的租約判斷日志排查時的因果順序還原限流、熔斷的時間窗口計算我要求所有節(jié)點接入統(tǒng)一的時間同步源并且做偏移監(jiān)控偏差超過 50ms 就告警。這不是潔癖是必要的。冪等這塊我的經(jīng)驗是不要指望下游保證冪等要自己在入口生成冪等鍵。做法是請求進來時從業(yè)務流水號或“用戶 ID 業(yè)務類型 客戶端時間戳”生成一個冪等鍵寫入分布式緩存帶過期時間??缯军c重試時這個鍵要能跨站點識別所以緩存也必須是跨站點同步的或者干脆落到數(shù)據(jù)庫唯一索引上。后者更笨但更可靠我在核心交易鏈路上就用的唯一索引方案。5.3 問題速查表把上面這些坑整理成一張表出問題時按圖索驥會快很多現(xiàn)象高概率原因排查動作處置大批 Pod 同時 NotReady健康檢查過嚴、依賴抖動看探針配置與依賴耗時放寬閾值探針去重依賴切流后錯誤率陡升目標站點限流配額不足查下游按站點的配額配置調整配額或分檔切流數(shù)據(jù)不一致持續(xù)擴大同步鏈路積壓或雙向寫沖突看同步延遲曲線與沖突日志暫停切流回切分片主備雙寫故障判定過于激進查心跳日志與切換記錄引入第三點仲裁時延 P99 抬升明顯跨站點調用未收斂看調用鏈的跨域占比收斂到單元內閉環(huán)節(jié)點頻繁驅逐資源請求與實際用量偏差大對比 request 與真實用量修正 request/limit鏡像拉取超時跨域拉取大鏡像看拉取耗時分布本地倉庫代理緩存注意這張表里我最想強調的是“暫停切流回切分片”這個動作。很多團隊在數(shù)據(jù)不一致時選擇繼續(xù)觀察想等它自己收斂結果不收斂反而擴大最后只能全量回滾損失更大。發(fā)現(xiàn)不一致率超過閾值就立刻停這是紀律。6. 容量、成本與演練機制的經(jīng)驗賬6.1 冗余系數(shù)怎么定別拍腦袋多活架構里最容易被低估的是容量冗余。前面說過兩個站點各跑 50%任一站點故障后要承接 100%這意味每個站點必須有 100% 的承載能力也就是總資源是需求的 2 倍。這是理論值實際還要加余量。我的算法是基礎冗余系數(shù) 站點數(shù) / (站點數(shù) ? 1)兩站點是 2.0三站點是 1.5加上單站點內部可用區(qū)故障的冗余三可用區(qū)情況下再乘 1.5加上業(yè)務增長預留按未來 6 個月增長預估通常乘 1.2 到 1.3加上突發(fā)流量緩沖乘 1.2兩站點、三可用區(qū)的核心業(yè)務最終系數(shù)是 2.0 × 1.5 × 1.25 × 1.2 ≈ 4.5。這個數(shù)字第一次算出來的時候我自己都愣了一下但它解釋了為什么多活的賬單那么嚇人。好消息是實際落地時可以做分級核心鏈路按這個系數(shù)非核心鏈路只做 2.0 的基礎冗余內部系統(tǒng) 1.2 就夠。平均下來整體系數(shù)能壓到 2.5 到 3 左右還算能接受。壓測口徑也要統(tǒng)一必須是單站點全量承接的壓測而不是兩個站點各壓一半。前者才能驗證故障場景。我見過團隊壓測時兩個站點同時施壓各自跑 50%看著指標都很好真出故障時才發(fā)現(xiàn)單站點根本扛不住 100%。6.2 演練要常態(tài)化別等真故障多活架構最大的風險是“看起來能用實際切不過去”。架構圖再漂亮沒有經(jīng)過真實演練的切換鏈路都是紙上的。我的做法是每季度至少一次全鏈路演練每個月做一次局部演練單服務、單中間件。演練清單包含這些場景從輕到重單個 Pod 故障用混沌工具隨機殺 Pod驗證副本自愈。單個節(jié)點故障關機驗證 Pod 驅逐和重建觀察重建耗時。單可用區(qū)故障阻斷該區(qū)的網(wǎng)絡驗證跨區(qū)打散是否生效。數(shù)據(jù)同步鏈路中斷驗證積壓恢復能力和告警及時性。單站點整體切流驗證容量、切換時長、數(shù)據(jù)收斂。切回演練這個最容易被跳過但切回往往比切出更難。第 6 項特別重要。切出去是往有余量的方向走切回來是往剛恢復、狀態(tài)可能還不穩(wěn)定的方向走風險高得多。我堅持“切出和切回是兩次獨立演練”各自有獨立的檢查清單。演練必須產出可量化的結論切換耗時實測值、數(shù)據(jù)收斂耗時實測值、故障期間的錯誤率峰值、遺留問題清單。沒有這些數(shù)據(jù)的演練等于團建。心得我在一次演練中發(fā)現(xiàn)切回腳本里有個硬編碼的站點名只適合特定的切換方向。這種問題只有真跑才能發(fā)現(xiàn)代碼評審時幾乎看不出來。所以演練不僅要跑還要換方向跑。另外補充一個成本側的經(jīng)驗跨站點的數(shù)據(jù)同步和專線是整個架構里最貴的固定開銷而且會隨著數(shù)據(jù)量線性增長。我建議在數(shù)據(jù)分級時就明確“哪些數(shù)據(jù)真的需要跨站點同步”把可重建數(shù)據(jù)緩存、索引徹底排除把日志類數(shù)據(jù)改成按站點本地存儲加集中查詢能省下不少帶寬。我們做完這一輪瘦身跨域帶寬需求降了將近 40%同步延遲也跟著改善了。我個人在實際操作中的體會是異地多活這件事七分靠設計三分靠紀律。設計決定了天花板紀律決定了你能不能真的站到那個天花板上。所謂紀律就是切流前一定走清單、發(fā)現(xiàn)不一致一定先停、每次變更一定留版本號、每季度一定真演練。這些東西寫出來平平無奇但在我見過的所有出問題的多活項目里出問題的從來不是架構選型而是某一次“這次應該沒事先跳過檢查吧”。把這幾條守住剩下的就是慢慢打磨參數(shù)和工具鏈的事情了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色五月婷婷小说亚洲中文字幕组| 97操碰视频| 久操福利| 婷婷五月激情丁香| 91亚洲免费片| 婷婷六月色开| 丁香成人色情五月天| 97久久人人| 六月丁香综合| 情婷婷五月天在线| 精品99在线看| 久久久精品免费啪啪国| 五月天福利影院导航| 思思久久精品| 第四色首页| 中文无码婷婷| 国产44页| 天天插天天插| 超碰在线人妻| 99国产小视频| 开心五月丁香啪| 色色五月丁香婷婷| 色综合中文色综合网| 伊人喵咪a V| 丁香婷婷激情| 久久九九@| 六月婷婷国产| 中文字幕av亚洲| 中文字幕日本最新乱码视频| 色综合色色| 天天日天天干天天爱| 激情五月天婷婷免费观看| 97婷婷久久丁香| 激情小说色五月| 久久久久久久人妻| 欧美三级欧美一级| 亚洲国产色色| 中文字幕 中文字幕明步| XXXX岛国| 婷婷丁香第一页| 97碰免费视频在线| 丁香五月AV| 91热久| 狠狠色综合网| 日本色爽| www.色婷婷.com| 国产精品色婷婷AV综合色色| 精品久久久久成人码免费动漫| 97色色网| 九九综合九九| 色色五月天婷婷| 77799热| 国产热精品| 五月婷婷亚洲综合网| 99re这里只有精品免费| AV色婷婷| 综合色播| 五月婷综合| hd五月婷婷在线| 色情五月天se| 欧洲色| 日韩AV大全| 夜夜干 夜夜操| 婷婷综合97| 久久只有18视频| 91av传媒高清在线视频网| 热婷婷在线视频| 99 福利 导航| XXXX岛国| 丁香六月激情| 激情av| 亚洲五月综合色播| 91干在线| 国产真人做爰视频免费| www.金莲av| 97超美国视频在线观看| 大香蕉久久青青| 中文字幕有多少字| 狠狠色婷婷丁香五月| 久久99草五月婷婷| 超碰在线国产9| 色欲色香综合网站| 婷婷久久色| 九色99视频| 色插综合网| www.久久久久久久| 日本va欧美va国产激情| 婷婷操逼网| 大波美女VA网站| www.爱操com.| 开心婷婷五月| 五月天婷婷香蕉狠狠超碰综合| 综合逼五月激情婷婷| 99ri在线视频| 在线中文av| 久久五月天综合| 婷婷操无码| 五月丁香啪啪激情| 亚洲爆乳无码精品AAA片蜜桃| 激情四射五月天| 另类激情网| 粉嫩AV久久一区二区三区| 色色婷| 可以看的AV网站| 五月停视频天堂| 综合色天天| 综合网五月| 亚洲国产网站| 九九免费精品| 偷拍99在线视频观看| 日日射天天射| 婷婷五月综合社区在线| Www.狠狠| 99热99| 久热网在线视频| 热99玖玖99玖玖99九九| 五月婷婷中文| 久碰婷婷视频| 99婷婷| 婷婷亚洲综合| 九九色热| 青青草日本亚洲| 思思热在线视频精品| 99色热| 九九操操| 国产亚洲色婷婷99精品| 久久精品99国产精品日本| 深爱五月综合网| 99.N在线视频| 五月天综合在线| 久99久在线| 色色五月天丁香| 91操人| 91蜜桃婷婷狠狠久久综合9色| 天天色色天天| 天干天天干天天天天天| 天堂久热| 五月丁香色婷婷色| 丁香五月婷婷狠狠色| 婷婷狠狠操| site:minyis.com| 国产成人网站在线观看| 国产美女最新VA在线免费观看| 国产3p露脸普通话对白| 思思热99在线| 激情婷婷五月综合| 超碰在线精品| 婷五月天天| 大战熟女丰满人妻AV| 26uuu亚洲欧美| 俺去婷婷 丁香| 这里有精品| 激情五月天色网站| 久久久亚洲精品一区二区三区浴池 | 综合婷婷久久| 精品无码久久久久久久久| 五月丁香在线偷拍视频| 色吊丝永久访问网址| 日韩欧美一级大黄网站| 五月婷婷免费视频| 97碰碰碰| 五月天另类激情在线| 丁香婷婷射| 色色色色色日韩午夜激情 | 久狠日av| 国产精品成人在线| 色欲AVV| 狠狠xx| A1片久久久| 五月天激情图片| 婷婷五月色网| 九九aV| 亚洲日本韩国| 色婷婷国产精品综合在线观看| 色婷婷色综合| 天天插天天射| 久久婷婷五月天蜜桃| 九九色人| 九九99九九精品视频| 五月丁香啪啪综合| 五月婷婷色播视频| 狠狠九九婷婷韩| 91成人性爱视频| 天天操天天谢| av九九| 99在线精品免费视频| 思思热视频在线| 婷婷和五月天| 婷婷色基地在线看 | 五月婷婷与六月丁香图片激情| 婷婷亚洲五| 九九无毛| 亚洲激情久久| 麻豆雪千夏| 99热国产这里只有| 久久9热| 中文毛片无遮挡高潮免费| 久久婷婷五月免费视频| 丁香婷婷少妇| 日韩成人网址| 日韩伊人大香蕉| 亚洲操人| 亚洲成人av在线播放| 久久这里只有精品视频15| 丁香五月手机在线| 少妇熟女视频一区二区三区| 91凹凸在线| 一区二区三区四区五区| 9月色婷婷| 无码少妇高潮喷水A片免费| 99热精品在线播放| 综合五月天亚洲婷婷| 日本天天操| 亚洲超碰在线| 五月天激情四射| 日韩在线看AV| 激情五月六月婷婷| 亚洲99激情| 99热伊人| 97av在线视频| 夜夜夜夜操| 婷婷俺去也| 青青久在线视频免费观看| 激情五月久久| 色情五月停停丁香| 国产熟女日日骚五月丁香爱| 五月婷婷开心深| 婷婷影院A成人| 国产在这里只有精品| 99在线精品视频在线观看| 狠狠色五月激情| WWW.久久久久久久| 大香蕉人人网| 色99欧洲色19| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 亚洲天码视频www蛋播视频| 婷香五月网在线| 4399在线观看免费高清黄色视频| 婷婷久久色| 国产69久久久欧美黑人A片| 日本三级日本三级99| 婷婷丁香五月在线播放| 久色国产| 欧美丁香五月天| 婷婷五月天综合激情| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 在线成人va| 99色婷婷| 超碰99热| 婷婷丁香成人| 婷婷丁香成人| 久久伊人大香蕉| 丁香色色色| 色婷婷激情| 欧美日韩AAA| 小视频一区| 男人天堂亚洲综合| 九月婷婷综合八月丁香在线观看| 婷婷久久综合久| 六月丁香激情| 五月丁香A片| 天天操夜夜操| 日韩免费视频| 日本久久激情| 香港九九六区八区99| 精品国产乱码久久久久夜深人妻| 五月天激情国产综合婷婷婷| 亚洲情综合五月天| www,setingting| 婷婷97色| 国产99久| 区啪精品| 色五月天丁香婷婷| 精品乱码视频| 婷婷六月激情小说网| 色99视频| 六月激情婷婷色| 九九aV| 久久婷婷成人| 久久香蕉影院| 九九黄色网| 天天天天操| 无码人妻少妇色欲AV一区二区| 女人天堂AV| 99九九久久| 操91| 江苏少妇性BBB搡BBB爽爽爽 | 激情婷婷五月女| 蜜臀A∨在线水帘洞| 99热精品10| 亚洲第一色色色| 色。 日日日| 囯产精品一品二区三区| 五月花激情| 色无码| 五月天婷婷綜合院| av色色国产| 99色热| 秋霞少妇AV网站| 99色热综合| 国产特黄色精品一区二区三区精品无广告| 玖玖精品婷婷| 99在线观看视频免费| 国产阿姨日皮艹逼内射视频| 国产精品视频久久99| 久久偷拍综合五月天| 99色视频在线| 天天干天天干天天操| 亚洲色综合| 国产一区二区av免费| WWW.五月com| 五月五月婷婷| 国产VA播放| 婷婷丁香一月| 久久九九热视频| 日韩有码一区| 丁香婷婷五月份| 久久丁香五月天| 久久五月天精品视频| 六月伊人婷婷| 综合激情肏逼网| 亚洲另类婷婷综合| 丁香五月狠狠综合欧美| 99re6久热只有精品6在线直播| 色五月丁香网| 久久久免费精彩视频| 日本精品人妻无码77777| 4399在线观看免费高清毛片| 99re久久| 久久精品永久免费| 九色91国产| 五月婷婷基地| 第四色网婷婷| 色综合天天网| 久久婷婷五月综合| 国产成人精品亚洲线观看| 亚洲色频| 99热这里只有精品268| 久久久色情| 中文中文在线| 激情综合网色播五月| 激情五月天视频| 九热视频| 中文字幕丁香五月| 色爽九九| 色五月婷婷在线观看第一页舔| 草榴视频网| 亚洲乱码日产精品BD| 97精品人人A片免费看| 色婷婷影| 99在线视频精品| \\五月天婷婷激情| 超碰99久久| 婷婷五月天社区| 久久sp免费视频| 婷婷五月丁香五月丁香| 玖玖婷婷五月| 97日本在线播放| 91九色在线| 操比激情五月| 99热最新精品| 亚洲六月色婷婷| 亚洲有码在线视频| 五月婷色丁香| 国外亚洲成AV人片在线观看| 久久艹99| 激情五月婷婷老师| 国产亚洲精品AAAAAAA片| 97干婷婷| 精品无码99| 91操碰| 9色操| 丁香五月电影| 日韩在线观看亚洲| 亚洲啪啪自拍| 色婷婷综合五月| 狠狠久久婷五月| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | av在线免费播放| 婷婷丁香色五月久久88| 国外亚洲成AV人片在线观看| 九九精品自拍| 国产精品美女| 91av色色乱视频| 日日日,com| 婷婷五月天在线观看| 久99久视频精品| 色播五月婷婷综合| 丁香六月五月天| 69色婷婷| 婷婷五月激情天| 激情AV网| 丁香六月 人妻| 久久五月婷| 五月丁香人妻| 丁香五月香蕉| 92久操视频| 亚洲无码成人网| 五月婷婷深深爱| 无语停婷丁香网| 五月激情偷拍婷婷| 99ER热精品视频| 久久婷婷五月丁香网| 婷婷九月丁香| 亚洲无码激情| 色五月婷婷在线| 伊人色五月| 97丁香婷婷| 91婷婷丁香五月| 99ri精品| 亚洲色视频| 区啪精品| 五月天久久综合婷婷丁香| 色色热| 91色在线/日韩| 日本欧美成人片AAAA| 91在线97视频| 婷婷五月天偷拍| 激情五月丁香五月色| 日本在线视频手机播放五月婷| 婷婷六月丁| 色婷视频| 丁香五月偷拍| 五月天激情小说婷婷| 91成人性爱视频| www.99在线| 大香蕉婷婷五月| 亚洲成人无码网站| 久综合| 婷婷性爱综合| 五月婷婷六月天| 日本在线视频看se99| 这里精品| av在线免费网站 | 思思热在线视频观看精品| 天天狠狠夜夜狠狠2023| 久久婷婷五月国产激情综合片| 97人人干人人操| 97碰碰视频在线观看| 成人精品人妻| 色色色色五月天| 丝袜人妻| 黄色成人网站在线播放| 99re8这里只有精品99re8热视频| 99热加勒比| 婷婷久久精品| 99操视频| 专区无日本视频高清8| 99丁香五月婷| 国产一二区爆乳_1国产日韩一区二区三-成人AV | 亚洲色色五月天| 日日夜夜婷婷| 九色七七| 可以免费观看的av| 色综合色色| 五月激情视频| 激情综合丁| 午夜]香婷婷深深爱| 天天干天天操天天拍| 久久精彩视频99| 99综合| 人妻久久婷婷| 婷婷亚洲色| 国产成人AV人人爽人人澡Va| 91大操| 五月丁香成人视频| 第四色激情网| 少妇真实被内射视频三四区| 五月播播| 91在线日| 日韩少妇内射免费播放| 久久五月天激情婷婷| 亚洲色婷婷| 99无码超碰| 99在线免费视频| 五月婷婷六月婷| 精品久久婷婷| 天天舔天天爽| 开心五月深爱五月丁香五月激情五月| 五月婷婷综合影院| 久色激情| 99色色色色| 1234操逼网| 亚洲综合色色色| www.热99热| 激情丁香五月AV| 色啪影院| 激情综合五月.....| 第四色色六月色综合| 五月花婷婷| 天天日天天干天天爱| 丁香五月激情图片婷婷| 五月伊人网| 五月激激网w'w'w| 久久99三级在线视频| 九月激情网| 丁香五月婷婷亚洲色图| 日韩美一级毛卡片| 婷婷综合激情| 九九亚洲视频| 激情无码五月天| 免费观看日韩成人av| 五月久久婷婷| 国产精品久久7777777精品无码| 色月九九| 亚洲一二三网| 中文AV网| 99色在线视频| 色吧五月婷婷六月丁香| 人人妻人人澡人人爽| 五月丁香啪| 五月丁香久久丝袜啪啪| www.91在线观看| 熟女人妻一区二区三区免费看| 五月综合无码| 五月丁香在线婷婷蜜桃| 99热这里都是精品| 6 9式性爱视频在线播放| 九热视频| 五月天播播中文字幕 | 婷婷丁香六月天| 婷婷五月天欧美| 日韩 欧美 国产 一区 二区| 五月婷婷,狠狠操| 亚洲精品又粗又大又爽A片| 欧美性二区| 久久人人人人妻| 综合色七七| 黄色五月婷婷| 华人在线免费| 婷婷色播色五月五色五月天色妇| 丁香五月婷婷老师网站| 综合网激情| 婷婷五月天亚洲激情戏精品| 日韩成人综合网| 丁香婷婷激情四射五月| AV九九| 超碰99热| 看黄的网站18禁| 一本久久亚洲五月婷婷| 在线不卡的视频| 天天干天天干天天干| 五月婷婷中文| 123日本不卡在线| 久久综合五月天| 色色色色色色色色色色色色色色,网站| 综合精品啪啪| 色五月激情综合网| αV电影| 色色色国产| 夜夜撸夜夜骑| 丁香五月激情综合在线观看| 超碰碰碰碰| 啪啪黄页网| www.cao.com久久| 亚洲精品又粗又大又爽A片| 九九色综合| 任你搞网站| av性爱在线| 南京搡BBBB搡BBBB| 秋霞学生妹一二级| 色色成人網| 九九99在线免费在线观看视频| 天堂网色婷婷| 久久99免费视频网站| 婷婷丁香日韩五月| co超碰在线观看| 亚洲人人操| 另类视频五月天| 9色在线| 五月天精品| 99热在线观看精品免费| 五月深爱激情网| 思思99热这里只有精品6| 婷婷久久五月天亚洲欧美国产日韩在线观看| 91婷婷| 成人做爰A片免费看网站找不到了| 爆乳熟女一区二区三区爆乳| 九九综合图片网| 99精品久| 婷婷综合伊人| 日本人妻操| 我想看国产大学生口爆吞精的视频| 人人摸人人干| 婷婷综合玖玖五月| 丁香五月婷婷高清| 久啪欧美| 超碰婷婷五月| 色五月丁香A欧美com | 婷婷和五月天| 天天搞夜夜爽夜夜爽| 无码九九| 深爱网深爱综合网| 2025天天爽天天摸| 婷婷丁香色五月久久88| 日本五月天一页| 开心五月婷婷在线| 六月色国内综合| 欧美精品熟女一区二区| 丁香五月成人社区| 五月激情婷婷女| A色色| 五月丁香少妇A| 26UUU在线观看| www.日日日.com| 六月丁香婷婷视频综合在线观看| 五月丁香婷婷在线综合蜜桃| 婷婷五月丁香综合激情小说| 99热这里只有精品69| 亚州性爱99| 五月婷婷免费在线观看视频| 99热国产免费| www.99婷婷| 夜夜夜夜夜操| 蜜桃人妻无码AV天堂三区| 少妇性按摩无码中文A片| 五月婷婷 激情五月| 99色综合网| 操逼巨乳91| 五月丁香本色在线观看| 亚洲99在线| 六月婷婷色五月| 超碰人人插| 丁香六月婷婷五月天| 欧美日韩成人在线网| 综合久久综合久久| www.wuyuetian啪啪| 久久婷婷一级片| 欧美三级级99久久| 婷婷香香五月| 第四色婷婷色五月| 亚洲狠狠婷婷| 亚洲精品99| 激情五月激情综合网一级丸片| 五月婷婷六月奇米网丁香| 99热亚洲精品66| 香蕉视频91| 成人精品在线观看| 七七久久婷婷| 久热九九| 人人看人人摸人人| 激情五月色婷婷| 六月丁香久久| 狠狠狠狠青草| 婷婷色影院| 天天操九九插| 色综合五月| 伊人久久婷婷| 久久免费少妇高潮99精品| 婷婷七月丁香色色| 亚洲丁香五月天在线视频| 熟女激情网| 九九热精品6| 亚洲高清在线| 欧美日本国产| 亚洲中文字幕网| 亚洲色色色色| 色激情综合| 国产毛片欧美毛片久久久| 久久久精品99| 激情综合网,婷婷| 狠狠狠夜夜夜| 激情深爱五月天| 就爱日五月天| 极品色丁香| 丁香五月天信号| 色操b| 成人版视频在线观看| 97婷婷丁香| 丰满少妇乱A片无码| 伊人久久大香线蕉av一区| caopeng97日韩| 91大神操美女| 婷婷综合在线网| 色色色地址| 欧洲高清免费久久| 九九九九国产| cao视频,现在观看| 99热成人精品| 久草性爱| 97色精品视频| 日韩好吊操| 丁香五月成人婷婷| W色综合| 五月天伊人久久久久| 亚洲五月丁| 九九色影视| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 五月丁香六月色婷婷综合五月天| 婷婷五月另类网站| 国产看真人毛片爱做A片| 久婷| 丁香五月综合在线观看| 99色色网| 婷婷欧美综合| 亚洲欧美一区二区三区爱爱动图 | 99re热视频这里只有综合亚洲| 五月天社区狠狠| AV中文在线| 伊人超碰| 狠狠色成人影片| .青娱乐天天操B| 美女天天艹人人爽| 五月丁香av中文| 最新AV在线观看| 五月天伊人手机在线播放AV| 中文成人在线| 婷婷综合影院| 久久激情五月网| 色婷婷亚洲婷婷| 色色色999| 亚洲激情婷婷| 超碰cap| 亚洲色婷婷网站| 激情久久久| 丁香九月综合激情| 色婷婷亚洲六月婷婷中文字幕| 色色色五月天婷婷| 婷婷婷婷午夜| 色青青视频| 午夜丁香| 中文字幕在线资源| 99久超碰| 婷婷六月视频| 欧美α√| 欧美人与性动交CCOO| 97色射| 久久五月激情网| 激情五月激情综合网| 色99无码| 婷婷五月天亚洲综合网| 久久久天堂国产精品女人| 99超在线| 精品一区二区三区免费毛片爱| 婷婷黄色| 任你日视频| 在线观看亚洲视频影院| 在线中文亚洲| 亚洲精品视频电影| 婷婷综合视频| 色婷婷综合成人| 67194中文字幕| 99精品视频推荐| 久久婷婷视频| 天堂久久性| 无码se| 欧美日韩成人在线网| 五月丁香婷婷免费视频| 人妻体体内射精一区二区| 色~性~乱~伦~噜| 五月天色婷婷网| 亚洲人成网站999综合| 天天干com| 婷婷五月激情欧美大胆视频| 一本综合丁香日日狠狠色| 青青草伊人婷婷| 激情九九这里只有精品| 97碰91| 色婷婷五月天小说| 9999热免费视频视频| 五月婷婷中文字幕| 色玖玖玖| 五月婷婷黄色| 这里有精品99| 青草青草视频2免费观看| 第四色婷婷五月| 四色五月婷婷| 久久精品小视频| 1024人妻无码中文字幕| 五月成人网站| 超碰在线观看9| 日本99视频| 99这里的视频都是精品| 国产一区二区av免费| 三区激情四射av| 日本少妇裸体做爰高潮片| 99久热在线精品| 六月丁香网| 99色婷婷| 亚洲无AV在线中文字幕| 婷婷午夜精品久久久| 亚洲乱码在线观看| 色五月婷婷天天操夜夜操| 99久久久| 亚洲国产网站| 三级毛片7979| 色色色宗合网| 色综合婷婷| 国产亚洲精品久久久久久牛牛| 影音先锋男人AV资源站| 夜夜综合色| 欧美VA视频| 日日爽日日| 欧美日韩AAAAA| 狠狠操综合| 婷婷开心激情综合五月天| 5五月综合网亚洲| www.五月婷婷久久.com| 六月婷婷狠狠| 天堂网亚洲色图| 99热在线精品观看| 高清视频一区| 超碰97在线操| 天天爽夜夜爽夜夜爽精品视频| 精品久久久999| 欧美交换配乱吟粗大25P| 亭亭五月色男人| 操97| 青青久在线视频免费观看| 开心激情播播五月天| 色婷婷大香蕉| 色吧婷婷五月亚洲| 久艹大香蕉| 婷婷的五月天另类视频| 9热久久| 狠狠综合网| 久久婷婷五月综合伊人| 婷婷五月色情天| 色五月 婷婷, 大香蕉| 热五月婷婷| 国产六月婷婷| 欧美日韩五月婷婷| 26uuu成人网| 深爱1激情网| 国产99久久久| 欧美一级a| 婷婷综合久久| 五月天婷婷人妻| 97色婷婷| 最新高清无码专区| 97操碰视频| 精品99爱免费视频在线观看| 九九色天堂| 欧美成人精品三区综合A片| 丁香五月六月欧美| 亚洲超碰在线| 色五月丁香91| 亚洲九九视频| 色综合色综合色综合| 日本三级中国三级99人妇网站| 99热这里只有精品最新| 79精品视频在线观看,| 吉澤明步Av一區二區| 婷婷丁香五月天综合AV| 天天激情站| 欧美激情综合色综合啪啪五月| 伊人婷婷激情| 人人澡玖玖一| 51精品国内探花| 久久丁香五月婷婷| www.色九月| 99福利视频| 色欲色天天香综合| 999精品久久久久久久| 五月开心激情| 婷婷五月天六月丁香| 婷婷五月天com| 91操操操| 婷婷色操| 久久五月天丁香花| 97韩国久久电影院| 99精品无码| 丁香五月黄色| WWW、日本色丁香、co m| 怡红院视频| 人妻激情视频| 五月久久亚洲| 国产熟妇的荡欲午夜视频| 婷婷在线综合| 噜噜国产| 国产乱妇乱子在线播视频播放网站| 91jiuseshunv| 色婷网| 综合欧美五月婷婷| 激情丁香五月激情婷婷| 丁香涩涩爱| 婷婷大香焦| 热久久66| 99色精品| 婷婷五月天播播| 开心五月婷婷在线| 五月丁香激情综合| 六月婷色| 美女xx不卡| 成人短视频在线| 天堂爱啪啪| 玖玖婷婷色五月| 开心激情站| 欧美婷婷丁香五月社区| 91九色中文字幕女在线观看| 99久久婷婷国产综合精品电影| ww亚洲ww在线观看| 91热在线| 91 原创 在线 九色| 丁香五月天亚洲综合| 亚洲综合色成丁香五月色| 亚洲乱码日产精品BD| 99精品在线| 丁香五月婷婷基地| 夜夜干夜夜操| 婷婷五月综合激情免费| 久久思思精品| 婷婷性爱综合| 色婷婷无吗| 葵花AV在线| 免费V片在线| 五月天操逼激情| 亚洲愉拍99热成人精品| 色狠狠色噜噜AV天堂五区| 99ER热精品视频| 久久a热| 这里只有精彩视频| 婷婷激情图片| 久久婷婷啪啪视频| www.婷婷,com| 日本色爽| 99热碰碰| 久久黄色片| 激情五月丁香五月| 可以直接看的av| 99热这里只有精品在线观看| 欧美这里只有精品| 久久999久久999久久999久久| 五月丁香色综合| 九九AV在线| 丁香五月激情啪啪| 六月丁丁香| 婷婷丁香五月综合| 色婷婷网| 四川BBB搡BBB爽爽视频| 日韩在线看AV| 久久久久久久久久久jjjj| 羞羞嫩草视频| 激情综合网站| 九月激情综合| 91chinese在线| 婷婷的激情五月| 伊人成人宗合网| 另类综合网| 婷婷色5月激情网| 天天日本夜夜谢| 99精品在线观看视频| 久9热| 色香欲综合| 丁香五月天啪啪| 禁欲电影完整版在线播放| 东京热五月婷婷| 在线精品97| 激情丁香久久久久久| 久久一级片| 国产精品久久..4399| 婷婷五月综合网| 婷婷在线精品| www.天天干.com| 婷婷激情鹿城五月天| 久久这里有精品视频| 婷婷中文字幕网| 99热超碰| 五月天综合久久| 色五月av| 久久综合99综合| 九九99精品免费播放| 亚洲天堂无码| 五月婷婷免费在线| 五月婷婷精品视频| 天天摸天天舔天天天天爽| 久久久91| 无码日本精品XXXXXXXXX | 91 久热| 日韩美女羞羞网站在线观看| 性一交一乱一交A片久久四色| 色亚洲中文| 久久丁香久久| 欧美色骚婷婷五月天| 婷婷色情小说| 色婷婷888| 婷婷99| 色护士综合| 狠狠干狠狠色| 米奇影视资源婷婷狠狠色激情欧美五月丁香 | 妻久久久久| 狠狠草狠狠草| 五月丁香婷婷啪啪| 日本三级99人妇网站| 日韩 中文 欧美| 9l视频自拍9l九色成人| 丁香激情六月天婷婷| 九色无码| 日本人妻伦在线中文字幕| 91xxxx九色| 综合五月丁香久久| 26uuu精品一区二区| 超碰com| www.色五月| 日本久久精品18| 五丁香激情综合| 99成人免费热视频| 婷婷午夜天| 九九久久精品| 一操久久| 婷婷色吧| 激情丁香网| 亚洲av成人在线| 色五天综合| 色青五月天| 9er热在线精品视频| 99热这里只有精品一区| 亚洲九九夜夜| 极品五月天| 黄网在线免费播放| 亚洲性爱干干| 超碰成人av| 国产成人精品一区二区三区视频 | 五月婷婷激情综合| 任你躁XXXXX麻豆精品| 色婷亚洲五月丁香| 天天综合激情| 丁香五月婷婷色情综合| 色五月欧美| 丁香玖玖视频大全| 99热这里只有精品98| 婷婷色情五月| 色情综合网| AV成人在线播放| site:ornaments52.com| 天天干天天干天天操| 色婷婷色| 丁香六月天色婷婷| 丁香五月婷婷在线| 激情五月婷婷视频一区二区三区| www.婷婷五月天.com| 综合激情站| 丁香五月婷婷基地| 成人精品网站在线观看| 婷婷在线操| 丁香成人五月天| 久久影视婷婷五月| 思思热久久婷婷五月天| 综合网色| 久久东京热婷婷五月| 99热这里只有精彩| www.wuyuetian啪啪| 一级黄色影片| 天天色综合网1| 国产精品扒开腿做爽爽爽A片唱戏| 亚洲国产成人综合| 五月婷婷婷丁香播| 色小说婷婷五月天天天| 久久五月激情| 99热九九在线| 亚洲色色香蕉| 丁香综合日产精品久久| 干亚洲天堂| 26UUU欧美| 99ER热精品视频| 五月色婷婷在线观看| 天天搡日日搡aaaaⅩ| 亚洲 欧洲 国产 伦综合| 开心五月丁香婷婷| 99热手机在线精品| 99男人的天堂| 丁香婷婷激情六月五月开心| 五月婷婷伊| 久青青久| 六月天婷婷| 超碰A V在线| 另类小说五月天激情| 婷婷五月天综合AV| 丁香五月www| 五月天婷婷无码视频| 97色吧| 狠狠色婷婷7| 色五月婷婷在线| 色五月激情综合| 色婷婷国产精品综合在线观看| 99ri国产精品| 天天狠狠干| 伊人天堂婷婷| 开心五月激情婷婷| 久99在线| 丁香六月五月婷婷| 99热 精品在线| 亚洲久久视频| 大香蕉五月天| 欧美婷婷六月丁香综合色连续高潮抽搐| 亚洲操b| 五月停视频天堂| 婷婷瑟五月天久久综合| 五月婷婷丁香| 激情的五月| 做爰丰满少妇1313| 久久五月丁香激情综合| 亚洲国产精品二二三三区| 九九免费视频在线| 国产一级片| 婷婷丁香成人在线视频| 免费观看全黄做爰的视频| 亚洲AV免费在线| 九九精品免费| 丁香午月AV中文字幕| 色噜噜狠狠色综合日日| Se.婷婷五月天| 99热91| 五月色导航| 五月婷婷综合网| 激情五月图| 欧美电影在线播放| 丁香六月中文| 亚洲国产精品成人午夜| 高清无码一区二区三区四区| 久久婷婷五月综合色欧美| 26UUU精品一区二区c〇m| 五月精品99综合| 国产26uuu| 大香伊人婷婷影院| 激情五月四色| 五月丁香六月婷婷综合| www.com五月天| 久久久A级视频| 99re免费精品视频| 密黄站| 丰满老熟妇BBBBB搡BBB| 亚洲女婷婷五月基地综合久久久 | 99热精品中文字幕| 亚洲无码性爱| 天天干天天日天天操| 婷婷色啪| 色五月丁香五月| 五月婷婷 欧美| 欧亚成人A片一区二区| 婷婷四色成人综合色视| 亚洲久久天堂| 99热精品中文字幕| 91狠狠综合网| 色五月丁香五月| 五月丁香六月婷婷a v| 在线综合啪| 五月婷啪啪| 欧美色99| 亚洲精品字幕在线观看 | 色婷婷成人| 五月天婷爱综合| 婷婷免费视频| 五月丁香性爱| 丁香六月婷婷开心| 五月天丁香婷婷视频网址 | 伊人色综合久久久| 综合久久综合| 丁香五月天天| 婷婷五月综合亚洲| 97精品在线| 免费无码毛片一区二区A片| 久久五月天激情视频| 伊人大香蕉综合在线| 精品久久人妻| 噜噜干日本| 最近免费中文字幕大全高清大全1| 色色aⅤ網| 91呦呦呦| 久久人妻伊人| Av九九| 欧美成人AAA片一区国产精品| 26uuu亚洲欧美日本| www.91AV.COM| 99色热| 日韩综合大黄| 色噜噜狠狠色综合成人网| 午夜成人片400| 99热这里只有精品99| 色五月丁香六月资源站| 国产五月视频| 激情五月婷婷在线区| 香蕉曰比| 亚洲人成色A777777在线观看| 婷婷激情五月天激情在线| 色情五月综合婷婷| 五月天婷婷激情网| 大香蕉在线99热| 婷婷天堂综合| 电影蜘蛛女| 中文字幕亚洲-区久久99婷婷| 婷婷五月天综合网| 激情五月丁香五月| 五月色丁香综合| 综合激情在线观看| 色九月婷婷| 婷婷色5月激情网| 97色碰| 日本欧美999久久久三级片| 色99视频| 丁香六月天堂| 都市激情久久| 九九久久9 9在线观看| 五月丁香激情啪啪| 日日日日操| 另类激情码| 激情亚洲五月| 九九色综合| 播四月婷婷六月丁香| 大香蕉伊在| 色婷婷基地 | 桃色激情网| 婷婷黄色五月天在线视频| 九九热精品99| 激情综合网激情五月天| 国产激情综合五月| 国产超碰人人| 人妻久久久久久| 99色在线| 国产乱妇乱子伦| 看黄的网站18禁| 超碰色女人| 中文中文在线| 色婷婷狠狠| 色女伊人| 五月丁香六月色情网欧美| 婷婷五月a| 99燥99日| 91成人品| 五月色综合| 丁香五月激情鲁| 东京热免费视频| 玖玖五月| 日韩久久日| BBWCUCKOLD精品熟妇| 欧美va在线观看| 亚洲人人操BD| 色色色视频| 五月天综合在线| 98永久精品| AⅤ在线播放网| 亚洲激情四谢| www.狠狠操| 婷婷五月天丁香| 中文AV在线观看| 开心五月丁香啪| 99热日韩| 97日在线视频| 99热九九在线| 97涩婷婷| 免费无码毛片一区二区A片| 天天干天天插| 99九色视频在线观看| 97热这里只有精品| 99综合激情久久精品久久| 五月夜丁香| 老司机午夜福利视频金瓶梅| 天天久久人人| 亚洲婷婷基地| 淫荡A片| co超碰在线观看| 国产亚洲精品AAAAAAA片| www.婷婷五月| 五月丁香五月综合欧美| 久久总和99| 婷婷色在线视频| 国产激情综合五月久久| 丁香激情合作五月| 色性综合| www.激情| 9色在线视频| 丁香五月婷婷久久久| 一片AV片免费播放| 日本色超碰| 91干99| 婷婷丁香色五月天|