欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

全鏈路壓測(cè)方案:DESP仿真度、流量隔離與自動(dòng)化基線

全鏈路壓測(cè)方案:DESP仿真度、流量隔離與自動(dòng)化基線 簡(jiǎn)介《全鏈路壓測(cè)最佳實(shí)踐》是一份面向性能測(cè)試工程師、測(cè)試開(kāi)發(fā)人員與穩(wěn)定性保障團(tuán)隊(duì)的實(shí)戰(zhàn)型文檔聚焦生產(chǎn)級(jí)全鏈路壓測(cè)從理論方法到工程落地的完整路徑。內(nèi)容圍繞全鏈路壓測(cè)的核心概念、適用場(chǎng)景與DESP模型展開(kāi)逐一拆解數(shù)據(jù)仿真度、環(huán)境仿真度、場(chǎng)景仿真度和壓力仿真度的設(shè)計(jì)要點(diǎn)并結(jié)合新東方續(xù)班體系案例說(shuō)明核心鏈路梳理、背景數(shù)據(jù)與參數(shù)化數(shù)據(jù)構(gòu)造、并發(fā)與TPS負(fù)載配置、壓測(cè)流量隔離及自動(dòng)化實(shí)施過(guò)程同時(shí)覆蓋壓測(cè)平臺(tái)架構(gòu)與功能規(guī)劃。壓縮包僅含1個(gè)docx文件大小約1.65MB結(jié)構(gòu)集中便于按章節(jié)檢索和復(fù)盤(pán)。已有364人學(xué)習(xí)適合需要系統(tǒng)理解全鏈路壓測(cè)模型設(shè)計(jì)、案例拆解與平臺(tái)建設(shè)思路的讀者參考。1. 從一次續(xù)費(fèi)窗口期說(shuō)起全鏈路壓測(cè)要解決的是「測(cè)不準(zhǔn)」某在線教育平臺(tái)的續(xù)報(bào)窗口期在晚上八點(diǎn)開(kāi)啟。測(cè)試同學(xué)提前在預(yù)發(fā)環(huán)境把下單接口壓到 3000 QPS曲線漂亮報(bào)告也寫(xiě)了。窗口一開(kāi)鏈路中間一個(gè)不起眼的規(guī)則校驗(yàn)接口把數(shù)據(jù)庫(kù)連接池占滿(mǎn)整個(gè)下單流程卡在原地運(yùn)維臨時(shí)擴(kuò)容才扛過(guò)去。這類(lèi)翻車(chē)在窗口期和大促現(xiàn)場(chǎng)并不少見(jiàn)原因也不神秘單接口壓測(cè)只回答了「這個(gè)接口能扛多少」沒(méi)有回答「這條業(yè)務(wù)鏈路在真實(shí)數(shù)據(jù)分布、真實(shí)并發(fā)配比、真實(shí)環(huán)境拓?fù)湎履芸付嗌佟埂H溌穳簻y(cè)要解決的就是后者——基于生產(chǎn)業(yè)務(wù)場(chǎng)景、系統(tǒng)環(huán)境和真實(shí)數(shù)據(jù)模擬海量用戶(hù)請(qǐng)求跑完整條鏈路再持續(xù)調(diào)優(yōu)。這份方案適合兩類(lèi)人做性能方向畢設(shè)、需要把模型和落地都講清楚的學(xué)生以及要給窗口期、大促做容量評(píng)估的開(kāi)發(fā)與測(cè)試。下面按模型設(shè)計(jì)、流量隔離、數(shù)據(jù)構(gòu)造、負(fù)載建模、避坑排查、驗(yàn)收答辯的順序展開(kāi)。2. 壓測(cè)模型設(shè)計(jì)DESP 四維仿真度怎么拆成可執(zhí)行參數(shù)全鏈路壓測(cè)的核心是四件事業(yè)務(wù)場(chǎng)景、數(shù)據(jù)鏈路、壓力模型、環(huán)境拓?fù)?。把這四個(gè)核心點(diǎn)抽象成模型就是 DESP數(shù)據(jù)仿真度D、環(huán)境仿真度E、場(chǎng)景仿真度S、壓力仿真度P。模型本身不難背難的是每個(gè)維度落到具體參數(shù)上時(shí)你到底要改哪個(gè)值。仿真度決定壓測(cè)結(jié)果的參考價(jià)值一個(gè)維度偷懶整份報(bào)告就只?!概苓^(guò)了」三個(gè)字。2.1 數(shù)據(jù)仿真度規(guī)模只是及格線復(fù)雜度才是分水嶺壓測(cè)數(shù)據(jù)分兩塊。一塊是被壓系統(tǒng)的背景數(shù)據(jù)也就是歷史存量和存量規(guī)模查詢(xún)類(lèi)場(chǎng)景對(duì)這塊特別敏感——同一個(gè)列表接口返回 1 萬(wàn)條和返回 10 萬(wàn)條結(jié)果耗時(shí)可能差一個(gè)量級(jí)。原則很樸素背景數(shù)據(jù)規(guī)模盡量貼近真實(shí)寧可多導(dǎo)一些不要圖省事只造幾百條。另一塊是請(qǐng)求的參數(shù)化數(shù)據(jù)可以來(lái)自線上脫敏數(shù)據(jù)也可以按參數(shù)規(guī)則自己構(gòu)造。這里最容易忽略的是數(shù)據(jù)復(fù)雜度。真正影響性能的往往不是總量而是對(duì)象之間的關(guān)聯(lián)分布。以續(xù)報(bào)場(chǎng)景為例同樣 100 個(gè)學(xué)員一種分布是 90 個(gè)學(xué)員各報(bào) 2 個(gè)班、10 個(gè)學(xué)員各報(bào) 10 個(gè)班另一種是 10 個(gè)學(xué)員各報(bào) 2 個(gè)班、90 個(gè)學(xué)員各報(bào) 10 個(gè)班。后者的整體性能明顯更差因?yàn)閱蝹€(gè)學(xué)員的關(guān)聯(lián)對(duì)象變多鏈路里逐條校驗(yàn)和優(yōu)惠計(jì)算的成本被放大。如果構(gòu)造數(shù)據(jù)時(shí)按平均分布鋪開(kāi)這條瓶頸根本壓不出來(lái)。數(shù)據(jù)分層構(gòu)造來(lái)源規(guī)模目標(biāo)需要控制的復(fù)雜度因子背景存量數(shù)據(jù)生產(chǎn)脫敏抽樣與生產(chǎn)同量級(jí)單賬號(hào)關(guān)聯(lián)對(duì)象數(shù)分布、歷史數(shù)據(jù)時(shí)間跨度請(qǐng)求參數(shù)數(shù)據(jù)日志回放 規(guī)則構(gòu)造覆蓋 Top 接口主要取值參數(shù)取值多樣性、邊界值占比業(yè)務(wù)規(guī)則數(shù)據(jù)按窗口期規(guī)則改寫(xiě)覆蓋當(dāng)前生效規(guī)則集規(guī)則命中比例、優(yōu)惠疊加層數(shù)分布比例不是拍腦袋定的得從訂單明細(xì)里統(tǒng)計(jì)出來(lái)。通常的做法是拉一段時(shí)間窗口期的訂單統(tǒng)計(jì)每個(gè)學(xué)員的報(bào)班量分布再按這個(gè)分布生成壓測(cè)數(shù)據(jù)。下面這段腳本就是按統(tǒng)計(jì)結(jié)果反向構(gòu)造的# 按真實(shí)報(bào)班量分布構(gòu)造學(xué)員-班級(jí)關(guān)系而不是平均分配 import random def build_student_class_pairs(n_students10000, n_classes5000, seed42): random.seed(seed) # 固定種子保證每輪壓測(cè)數(shù)據(jù)可復(fù)現(xiàn) pairs [] for sid in range(n_students): r random.random() if r 0.90: k random.randint(1, 5) # 90% 學(xué)員報(bào) 1~5 個(gè)班主體流量 elif r 0.95: k random.randint(6, 10) # 5% 學(xué)員報(bào) 6~10 個(gè)班 else: k random.randint(11, 30) # 5% 長(zhǎng)尾學(xué)員專(zhuān)門(mén)用來(lái)壓出瓶頸 pairs.extend((sid, cid) for cid in random.sample(range(n_classes), k)) return pairs三個(gè)參數(shù)要跟著業(yè)務(wù)走n_students決定并發(fā)賬號(hào)基數(shù)一般按預(yù)估峰值在線人數(shù)除以單賬號(hào)可復(fù)用次數(shù)來(lái)估n_classes要保證班級(jí)容量規(guī)則不會(huì)在壓測(cè)中途被耗盡比例閾值 0.90、0.95 是從訂單明細(xì)里統(tǒng)計(jì)出來(lái)的換了業(yè)務(wù)就得重算不要直接抄。種子固定是為了讓每輪基線壓測(cè)跑在同一份數(shù)據(jù)上否則性能波動(dòng)沒(méi)法歸因。2.2 環(huán)境仿真度線上壓測(cè)優(yōu)先線下等比例不等于等比縮環(huán)境仿真度看三個(gè)因子是否線上壓測(cè)、線下部署規(guī)模、線下服務(wù)器資源配置。首選當(dāng)然是在線上壓但要先建壓測(cè)通道、做數(shù)據(jù)隔離不能把真實(shí)數(shù)據(jù)攪亂。做不到線上壓線下就得按線上集群等比例部署服務(wù)器配置盡量保持一致否則仿真度會(huì)大打折扣。這里有一條血淚經(jīng)驗(yàn)等比例壓縮只壓應(yīng)用層不壓中間件瓶頸位置會(huì)整體錯(cuò)位。線上 200 臺(tái)應(yīng)用對(duì)應(yīng) 20 臺(tái)數(shù)據(jù)庫(kù)你在線下壓成 20 臺(tái)應(yīng)用卻仍然只掛 2 臺(tái)數(shù)據(jù)庫(kù)先掛的一定是數(shù)據(jù)庫(kù)你據(jù)此得出的「數(shù)據(jù)庫(kù)是瓶頸」結(jié)論在線上根本不成立。折算清單要一起算應(yīng)用節(jié)點(diǎn)、數(shù)據(jù)庫(kù)連接數(shù)、緩存分片、消息隊(duì)列分區(qū)、網(wǎng)關(guān)實(shí)例缺一個(gè)都會(huì)讓瓶頸搬家。資源類(lèi)型線上規(guī)模線下折算折算時(shí)必須同步調(diào)整的參數(shù)應(yīng)用節(jié)點(diǎn)200 臺(tái) 8C16G20 臺(tái) 8C16G每節(jié)點(diǎn)連接池上限按比例下調(diào)數(shù)據(jù)庫(kù)主從多實(shí)例同比例縮減實(shí)例數(shù)最大連接數(shù)、慢查詢(xún)閾值同步下調(diào)緩存多分片集群縮減分片但保留集群模式客戶(hù)端分片算法不變避免壓測(cè)代碼走另一條路徑網(wǎng)關(guān)多可用區(qū)部署單可用區(qū)多實(shí)例限流閾值按實(shí)例數(shù)等比縮放2.3 場(chǎng)景仿真度核心鏈路要敢做減法壓測(cè)場(chǎng)景就是壓測(cè)的目標(biāo)和范圍前提是把業(yè)務(wù)吃透。做法是從日志和用戶(hù)行為里歸納出一條或幾條核心鏈路明確鏈路上每個(gè)接口、每類(lèi)調(diào)用同步還是異步、串行還是并行、每類(lèi)參數(shù)。所謂核心鏈路是用戶(hù)在關(guān)鍵時(shí)間點(diǎn)的真實(shí)操作序列打開(kāi)購(gòu)物車(chē)、進(jìn)結(jié)算頁(yè)、打開(kāi)收銀臺(tái)、選優(yōu)惠、選支付、下單、下單后置處理。確定核心鏈路最關(guān)鍵的一點(diǎn)是不要貪多。覺(jué)得用戶(hù)可能會(huì)點(diǎn)這里、也可能點(diǎn)那里把低頻操作也塞進(jìn)主鏈路結(jié)果是把核心鏈路的壓力稀釋掉還多了一堆無(wú)關(guān)的失敗點(diǎn)。以零點(diǎn)場(chǎng)景為例非核心查詢(xún)基本都會(huì)被降級(jí)——比如訂單列表只允許查最近三個(gè)月其余提示稍后再查把資源全部讓給核心鏈路。這個(gè)降級(jí)策略本身也要寫(xiě)進(jìn)壓測(cè)方案因?yàn)閴毫δP统闪⒌那疤崾墙导?jí)開(kāi)關(guān)真的生效了。接口峰值調(diào)用占比是否進(jìn)壓測(cè)鏈路降級(jí)策略登錄鑒權(quán)18%是不降級(jí)壓測(cè)標(biāo)識(shí)走獨(dú)立通道班級(jí)與規(guī)則校驗(yàn)26%是不降級(jí)優(yōu)惠計(jì)算24%是不降級(jí)下單與訂單落庫(kù)22%是不降級(jí)歷史訂單查詢(xún)6%否限時(shí)間范圍查詢(xún)推薦位與運(yùn)營(yíng)位4%否直接返回兜底內(nèi)容2.4 壓力仿真度并發(fā)模式與 TPS 目標(biāo)模式怎么選壓力仿真度就是負(fù)載參數(shù)壓測(cè)模式、并發(fā)數(shù)或目標(biāo) TPS、集合點(diǎn)、thinktime、預(yù)熱時(shí)長(zhǎng)、壓測(cè)時(shí)長(zhǎng)。模式選錯(cuò)整套壓測(cè)的方向就偏了。并發(fā)模式適合已知大概并發(fā)的場(chǎng)景。比如預(yù)估有 10 萬(wàn)用戶(hù)會(huì)來(lái)先判斷這 10 萬(wàn)是集中訪問(wèn)還是分散訪問(wèn)集中在秒殺、搶購(gòu)這類(lèi)瞬間場(chǎng)景那就設(shè) 10 萬(wàn)并發(fā)并開(kāi)集合點(diǎn)讓請(qǐng)求同一時(shí)刻放出去如果是一天累計(jì) 10 萬(wàn)按二八法則折算成峰值并發(fā)就夠。TPS 目標(biāo)模式適合后臺(tái)接口類(lèi)場(chǎng)景跟并發(fā)數(shù)無(wú)關(guān)只盯吞吐量接口設(shè)計(jì)上限是 3 萬(wàn) TPS就直接設(shè) 3 萬(wàn)壓測(cè)系統(tǒng)自動(dòng)調(diào)節(jié)并發(fā)去逼近目標(biāo)達(dá)不到就判定不達(dá)標(biāo)非常適合作為基線任務(wù)的固定口徑。# 續(xù)報(bào)核心鏈路壓測(cè)場(chǎng)景配置TPS 目標(biāo)模式 scene: renewal_core_chain mode: tps_target # 可選 tps_target / concurrency target_tps: 3000 # 按歷史峰值 TPS 上浮 20% 設(shè)定 ramp_up_seconds: 300 # 預(yù)熱 5 分鐘避開(kāi) JIT 與連接池冷啟動(dòng)造成的假瓶頸 duration_seconds: 1800 # 穩(wěn)定壓 30 分鐘覆蓋一次 GC 周期 think_time_ms: 800 # 按真實(shí)用戶(hù)操作間隔設(shè)置設(shè) 0 會(huì)虛高吞吐 rendezvous: enabled: false # 目標(biāo)模式不設(shè)集合點(diǎn)集合點(diǎn)只用于瞬時(shí)并發(fā)驗(yàn)證 data_binding: account_pool: pressure_account_q1 param_source: renewal_pair_distribution sla: p99_ms: 800 error_rate: 0.001幾個(gè)參數(shù)的理解比數(shù)值本身重要ramp_up_seconds太短第一分鐘的 p99 會(huì)非常難看那是冷啟動(dòng)不是瓶頸think_time_ms直接決定同一并發(fā)下的實(shí)際 TPS設(shè)成 0 相當(dāng)于讓每個(gè)虛擬用戶(hù)全速打壓出來(lái)的數(shù)字沒(méi)人敢信rendezvous開(kāi)在目標(biāo)模式下會(huì)把平滑壓力變成脈沖除非你就是要驗(yàn)證瞬時(shí)沖擊否則關(guān)掉sla里用 p99 而不是平均值平均值會(huì)把長(zhǎng)尾藏起來(lái)這是壓測(cè)報(bào)告里最常見(jiàn)的黑匣子。3. 流量與數(shù)據(jù)隔離壓測(cè)標(biāo)識(shí)怎么透?jìng)鳌?shù)據(jù)怎么回收線上壓測(cè)繞不開(kāi)隔離。壓測(cè)流量進(jìn)了生產(chǎn)庫(kù)、壓測(cè)訂單污染了真實(shí)報(bào)表后續(xù)清理成本遠(yuǎn)高于壓測(cè)本身。業(yè)界比較成熟的做法是給壓測(cè)流量打標(biāo)標(biāo)識(shí)隨調(diào)用鏈一路透?jìng)鞲飨到y(tǒng)按標(biāo)識(shí)分支處理數(shù)據(jù)側(cè)則用影子賬號(hào)、影子對(duì)象加規(guī)則改寫(xiě)把壓測(cè)數(shù)據(jù)和真實(shí)數(shù)據(jù)分開(kāi)。這套東西不難難在透?jìng)麈溌飞先魏我画h(huán)丟標(biāo)。3.1 標(biāo)識(shí)注入與全鏈路透?jìng)鞯娜齻€(gè)落點(diǎn)第一個(gè)落點(diǎn)是網(wǎng)關(guān)。壓測(cè)流量統(tǒng)一從壓測(cè)機(jī)或壓測(cè)通道進(jìn)來(lái)網(wǎng)關(guān)解析 header 里的標(biāo)識(shí)寫(xiě)進(jìn)請(qǐng)求上下文同時(shí)打到日志 MDC 上后續(xù)排查能按標(biāo)識(shí)撈全量日志。第二個(gè)落點(diǎn)是 RPC 上下文。服務(wù)間調(diào)用要把標(biāo)識(shí)放進(jìn)隱式參數(shù)或 header不能靠業(yè)務(wù)代碼逐層傳參否則遲早漏。第三個(gè)落點(diǎn)是消息隊(duì)列生產(chǎn)消息時(shí)把標(biāo)識(shí)寫(xiě)進(jìn)消息屬性消費(fèi)端讀出來(lái)重新塞進(jìn)上下文。// 網(wǎng)關(guān)層統(tǒng)一收口壓測(cè)標(biāo)識(shí)避免各業(yè)務(wù)方各自解析出偏差 public class PressureTagInterceptor implements HandlerInterceptor { public static final String PRESSURE_HEADER X-Pressure-Flag; private static final ThreadLocalBoolean HOLDER new ThreadLocal(); Override public boolean preHandle(HttpServletRequest req, HttpServletResponse resp, Object handler) { // 只認(rèn) 1其余取值一律按生產(chǎn)流量處理避免臟標(biāo)識(shí)誤傷真實(shí)請(qǐng)求 boolean isPressure 1.equals(req.getHeader(PRESSURE_HEADER)); HOLDER.set(isPressure); MDC.put(pressure, String.valueOf(isPressure)); return true; } Override public void afterCompletion(HttpServletRequest req, HttpServletResponse resp, Object handler, Exception ex) { // 線程池復(fù)用場(chǎng)景必須清理否則標(biāo)識(shí)會(huì)串到下一個(gè)請(qǐng)求上 HOLDER.remove(); MDC.remove(pressure); } }關(guān)鍵在afterCompletion里的清理動(dòng)作。Web 容器線程是復(fù)用的只 set 不 remove下一個(gè)真實(shí)請(qǐng)求可能繼承上一個(gè)壓測(cè)請(qǐng)求的標(biāo)識(shí)結(jié)果真實(shí)用戶(hù)的數(shù)據(jù)被當(dāng)成壓測(cè)數(shù)據(jù)清了這種事故修起來(lái)極其難受。異步線程和線程池場(chǎng)景要用可傳遞的 ThreadLocal 包裝或者顯式在提交任務(wù)時(shí)把標(biāo)識(shí)帶過(guò)去這是透?jìng)麈溌防镒钊菀讛嗟囊画h(huán)。3.2 數(shù)據(jù)隔離影子賬號(hào)、影子對(duì)象與規(guī)則改寫(xiě)隔離分讀寫(xiě)兩側(cè)。讀側(cè)靠賬號(hào)區(qū)分為壓測(cè)預(yù)留一批專(zhuān)用賬號(hào)綁定的學(xué)員是虛擬學(xué)員與真實(shí)學(xué)員在姓名和賬號(hào)維度上完全隔開(kāi)壓測(cè)怎么查都查不到真實(shí)數(shù)據(jù)。寫(xiě)側(cè)靠對(duì)象和規(guī)則班級(jí)可以復(fù)用真實(shí)班級(jí)信息這樣容量、狀態(tài)這些屬性才是真的但訂單、購(gòu)物車(chē)這類(lèi)寫(xiě)數(shù)據(jù)必須帶壓測(cè)標(biāo)識(shí)續(xù)報(bào)規(guī)則和優(yōu)惠規(guī)則通過(guò)標(biāo)識(shí)改寫(xiě)為「當(dāng)前時(shí)刻有效」的規(guī)則集讓壓測(cè)數(shù)據(jù)能正常走完業(yè)務(wù)流轉(zhuǎn)同時(shí)又不觸碰真實(shí)規(guī)則的時(shí)間窗口和名額限制。為什么不干脆建一套獨(dú)立影子庫(kù)成本高而且仿真度反而下降——影子庫(kù)的索引、數(shù)據(jù)量、慢查詢(xún)特征都和生產(chǎn)不一樣壓出來(lái)的結(jié)論沒(méi)法直接用。用標(biāo)識(shí)做邏輯隔離配合任務(wù)結(jié)束后的定向清洗通常是性?xún)r(jià)比最高的方案。前提是標(biāo)識(shí)透?jìng)鞅仨汄?yàn)證過(guò)不能只靠代碼 review 拍胸脯。3.3 壓測(cè)數(shù)據(jù)構(gòu)造與清洗回收的完整閉環(huán)壓測(cè)數(shù)據(jù)按三層準(zhǔn)備。基元數(shù)據(jù)是登錄賬號(hào)和學(xué)員方案里維護(hù)了一個(gè)數(shù)萬(wàn)級(jí)的測(cè)試賬號(hào)池由平臺(tái)按項(xiàng)目統(tǒng)一分配和回收業(yè)務(wù)型數(shù)據(jù)是班級(jí)、續(xù)報(bào)規(guī)則、優(yōu)惠規(guī)則班級(jí)支持一鍵構(gòu)造規(guī)則按標(biāo)識(shí)指定時(shí)間段生效鏈路數(shù)據(jù)則由基礎(chǔ)數(shù)據(jù)和業(yè)務(wù)規(guī)則模擬真實(shí)操作生成支持調(diào)度中心一鍵或定時(shí)觸發(fā)。-- 壓測(cè)任務(wù)結(jié)束后的數(shù)據(jù)回收三板斧刪業(yè)務(wù)數(shù)據(jù)、解綁賬號(hào)、回寫(xiě)賬號(hào)池 DELETE FROM order_item WHERE pressure_flag 1 AND created_at NOW() - INTERVAL 7 days; DELETE FROM cart WHERE pressure_flag 1; UPDATE account_pool SET status idle, bound_student_id NULL, released_at NOW() WHERE batch_no pressure_q1 AND status in_use;順序不能反。先刪業(yè)務(wù)數(shù)據(jù)再解綁賬號(hào)否則賬號(hào)先回池、舊數(shù)據(jù)還在下一輪壓測(cè)就可能讀到臟購(gòu)物車(chē)pressure_flag 1這個(gè)條件必須走索引否則一次清理能掃全表。回收還要考慮異常路徑任務(wù)中途掛掉清理任務(wù)得由調(diào)度中心兜底觸發(fā)不能指望人工發(fā)現(xiàn)。方案里通常會(huì)給賬號(hào)池設(shè)計(jì)狀態(tài)機(jī)idle / in_use / dirty / recycling任何一步失敗都能定位到卡在哪個(gè)狀態(tài)。4. 負(fù)載建模與自動(dòng)化基線把一次性壓測(cè)變成每周跑的任務(wù)一次壓測(cè)報(bào)告的說(shuō)服力有限真正有價(jià)值的是基線同一場(chǎng)景、同一壓力模型、同一數(shù)據(jù)分布每周或者每個(gè)版本跑一次指標(biāo)一偏就報(bào)警。這樣性能問(wèn)題從「上線后才發(fā)現(xiàn)」變成「合并前就發(fā)現(xiàn)」擴(kuò)容決策也有了數(shù)據(jù)支撐而不是等到窗口期前拍腦袋加機(jī)器。4.1 并發(fā)配比表怎么從日志和訂單里推出來(lái)壓力模型不是估出來(lái)的是算出來(lái)的。第一步拉核心鏈路各接口的日志峰值和占比定位鏈路覆蓋范圍和業(yè)務(wù)并發(fā)點(diǎn)第二步用調(diào)用量和抓包確認(rèn)上下游調(diào)用關(guān)系找出真正的并發(fā)點(diǎn)在哪一層第三步從窗口期訂單明細(xì)里統(tǒng)計(jì)報(bào)班量占比把數(shù)據(jù)分布和并發(fā)配比同時(shí)對(duì)齊真實(shí)流量第四步如果有條件全量拉取參與窗口期的真實(shí)加購(gòu)數(shù)據(jù)做一次瞬時(shí)并發(fā)評(píng)估這份數(shù)據(jù)對(duì)擴(kuò)容方案的參考價(jià)值最高。壓測(cè)場(chǎng)景并發(fā)占比目標(biāo) TPS 占比數(shù)據(jù)特征單班續(xù)報(bào)主流程55%58%學(xué)員報(bào) 1~5 個(gè)班占主體多班批量續(xù)報(bào)25%22%學(xué)員報(bào) 6~10 個(gè)班規(guī)則校驗(yàn)更重長(zhǎng)尾學(xué)員續(xù)報(bào)12%13%報(bào) 11~30 個(gè)班單請(qǐng)求耗時(shí)最長(zhǎng)購(gòu)物車(chē)加購(gòu)與結(jié)算8%7%基于真實(shí)加購(gòu)數(shù)據(jù)回放占比之間要有解釋力為什么長(zhǎng)尾場(chǎng)景只占 12% 的并發(fā)卻給了 13% 的 TPS因?yàn)樗膯握?qǐng)求耗時(shí)更長(zhǎng)占用的處理資源更多。這張表是壓測(cè)方案里最該被追問(wèn)的東西答辯時(shí)評(píng)委只要問(wèn)一句「這個(gè)比例怎么來(lái)的」你能不能報(bào)出日志統(tǒng)計(jì)口徑和訂單統(tǒng)計(jì)口徑基本就決定了方案的 credibility。4.2 基線任務(wù)的四段式流程基線任務(wù)通常拆成四段用調(diào)度中心串起來(lái)支持手動(dòng)和定時(shí)兩種觸發(fā)方式。# 基線任務(wù)編排構(gòu)造 - 試運(yùn)行 - 預(yù)熱 - 正式壓測(cè) - 對(duì)比通知 task_run() { step1_build_data # 按分布自動(dòng)構(gòu)造壓測(cè)數(shù)據(jù)產(chǎn)出批次號(hào) step2_smoke_run # 小流量試運(yùn)行驗(yàn)證鏈路連通與數(shù)據(jù)可用 step3_preheat # 數(shù)據(jù)預(yù)熱把熱點(diǎn)數(shù)據(jù)提前加載進(jìn)緩存 step4_baseline_run # 正式基線壓測(cè)固定 TPS 與時(shí)長(zhǎng) step5_compare_and_notify # 與上一輪基線對(duì)比超閾值告警 }第二步最容易被跳過(guò)也最不該跳。壓測(cè)場(chǎng)景復(fù)雜數(shù)據(jù)構(gòu)造完不等于數(shù)據(jù)可用賬號(hào)可能被上一輪占著沒(méi)釋放班級(jí)可能名額已滿(mǎn)規(guī)則可能已經(jīng)過(guò)期。試運(yùn)行用低流量把整條鏈路走一遍幾秒鐘就能發(fā)現(xiàn)「鏈路不通」和「數(shù)據(jù)失效」這兩類(lèi)問(wèn)題比正式壓測(cè)跑到一半大量報(bào)錯(cuò)強(qiáng)得多。第三步的預(yù)熱可以自定義也可以省略但如果你的業(yè)務(wù)有大量本地緩存省掉預(yù)熱會(huì)讓第一輪基線的數(shù)字明顯偏低。4.3 壓測(cè)平臺(tái)的最小功能集自建壓測(cè)平臺(tái)不需要一上來(lái)就做大而全先把跑通閉環(huán)的最小功能集做出來(lái)剩下的按需長(zhǎng)。模塊最小功能驗(yàn)收口徑腳本管理支持 HTTP/HTTPS在線創(chuàng)建與調(diào)試腳本新建到首次調(diào)試成功不超過(guò) 10 分鐘數(shù)據(jù)構(gòu)造一鍵生成基元數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)構(gòu)造失敗可重試產(chǎn)出批次號(hào)可追溯壓測(cè)建模場(chǎng)景、并發(fā)配比、目標(biāo) TPS 可配置同一場(chǎng)景配置可復(fù)制生成新版本施壓機(jī)管理統(tǒng)一注冊(cè)、心跳、任務(wù)分發(fā)施壓機(jī)掉線能自動(dòng)剔除且告警過(guò)程監(jiān)控實(shí)時(shí)指標(biāo)看板、閾值預(yù)警、熔斷觸發(fā)熔斷后 30 秒內(nèi)停止施壓結(jié)果歸檔報(bào)表聚合、基線庫(kù)、歷史對(duì)比任意兩輪結(jié)果可按場(chǎng)景對(duì)比任務(wù)調(diào)度基線任務(wù)定時(shí)執(zhí)行、結(jié)果通知支持郵件與即時(shí)消息兩類(lèi)通知其中熔斷這一條最容易被砍掉但它是后悔藥壓測(cè)過(guò)程中如果真實(shí)業(yè)務(wù)指標(biāo)出現(xiàn)異常核心接口錯(cuò)誤率飆升、數(shù)據(jù)庫(kù)連接數(shù)打滿(mǎn)系統(tǒng)要能自動(dòng)停止施壓。沒(méi)有這個(gè)開(kāi)關(guān)一次壓測(cè)可能直接把生產(chǎn)拖垮這個(gè)責(zé)任沒(méi)人擔(dān)得起。5. 避坑與排查壓測(cè)里最容易翻車(chē)的五類(lèi)問(wèn)題壓測(cè)方案寫(xiě)得再漂亮落地時(shí)總有幾個(gè)坑等著。下面五條是按「現(xiàn)象 → 原因 → 解決」整理的都是實(shí)際項(xiàng)目里反復(fù)出現(xiàn)的問(wèn)題提前知道能省掉大半天排查。5.1 數(shù)據(jù)與隔離類(lèi)看不見(jiàn)的臟數(shù)據(jù)最傷人現(xiàn)象一壓測(cè)跑完之后生產(chǎn)報(bào)表里的訂單量莫名多了一批客服反饋有用戶(hù)看到不屬于自己的購(gòu)物車(chē)。原因基本可以鎖定在標(biāo)識(shí)丟失。壓測(cè)標(biāo)識(shí)只在入口層打了異步任務(wù)、線程池、消息消費(fèi)這幾個(gè)環(huán)節(jié)沒(méi)有透?jìng)鲗?dǎo)致部分寫(xiě)操作按生產(chǎn)流量處理直接落進(jìn)了真實(shí)表。解決分三步一是把標(biāo)識(shí)透?jìng)髯龀煽蚣芗?jí)能力RPC 隱式參數(shù)、消息屬性、線程池包裝統(tǒng)一收口業(yè)務(wù)代碼不手寫(xiě)二是加一條回歸用例用壓測(cè)標(biāo)識(shí)發(fā)起請(qǐng)求斷言鏈路上每個(gè)節(jié)點(diǎn)的日志里都帶標(biāo)識(shí)三是清理任務(wù)改為按標(biāo)識(shí)定向刪除而不是按時(shí)間范圍模糊刪避免誤傷?,F(xiàn)象二壓測(cè)結(jié)果非常好TPS 達(dá)標(biāo)、p99 很漂亮但線上窗口期一開(kāi)就崩。多半是數(shù)據(jù)構(gòu)造偷懶了。用平均分布造數(shù)據(jù)每個(gè)賬號(hào)關(guān)聯(lián)的對(duì)象數(shù)量差不多鏈路上逐條校驗(yàn)、逐條計(jì)算的開(kāi)銷(xiāo)被攤平最耗時(shí)的長(zhǎng)尾路徑根本沒(méi)被觸發(fā)。解決方法是回到訂單明細(xì)統(tǒng)計(jì)真實(shí)的對(duì)象關(guān)聯(lián)分布按分位數(shù)構(gòu)造數(shù)據(jù)至少保證 5% 的請(qǐng)求落在長(zhǎng)尾區(qū)間。這類(lèi)問(wèn)題的排查有個(gè)技巧壓測(cè)結(jié)束后看耗時(shí)分布的偏度如果 p99 和 p50 差距很小先懷疑數(shù)據(jù)太均勻?,F(xiàn)象三第二周跑同一個(gè)基線任務(wù)指標(biāo)突然變差但代碼一行沒(méi)改。大概率是上一輪的數(shù)據(jù)沒(méi)清干凈。賬號(hào)沒(méi)解綁、購(gòu)物車(chē)還有舊數(shù)據(jù)、優(yōu)惠規(guī)則命中了過(guò)期配置都會(huì)讓第二輪的結(jié)果失真。解決是把清理做成任務(wù)的前置步驟而不是后置步驟每次開(kāi)跑前先對(duì)賬號(hào)池做一次全量校驗(yàn)狀態(tài)不是 idle 的一律回滾或剔除業(yè)務(wù)數(shù)據(jù)按批次號(hào)刪除不按時(shí)間刪規(guī)則改寫(xiě)帶上批次標(biāo)識(shí)避免不同批次互相污染。5.2 負(fù)載與環(huán)境類(lèi)瓶頸會(huì)搬家現(xiàn)象四線下壓測(cè)顯示應(yīng)用層 CPU 打滿(mǎn)、數(shù)據(jù)庫(kù)很閑于是結(jié)論是「應(yīng)用需要擴(kuò)容」線上實(shí)際是先扛不住數(shù)據(jù)庫(kù)。這是等比例壓縮只壓了一半的典型后果。應(yīng)用節(jié)點(diǎn)從 200 臺(tái)縮到 20 臺(tái)數(shù)據(jù)庫(kù)和緩存卻沒(méi)按同比例縮或者縮了實(shí)例數(shù)但沒(méi)調(diào)連接池上限瓶頸位置自然錯(cuò)位。解決方法是維護(hù)一張折算清單應(yīng)用、數(shù)據(jù)庫(kù)、緩存、網(wǎng)關(guān)、消息隊(duì)列逐項(xiàng)對(duì)照每項(xiàng)都要標(biāo)注「縮了多少、對(duì)應(yīng)參數(shù)改了什么」壓測(cè)前先用單機(jī)小流量校準(zhǔn)一次確認(rèn)各層資源利用率的關(guān)系與線上一致再上正式壓力?,F(xiàn)象五壓測(cè)一開(kāi)始的三十秒 p99 高得離譜之后突然變好報(bào)告不知道該怎么寫(xiě)。這是預(yù)熱不足加上 thinktime 設(shè)置不當(dāng)。JIT 編譯、連接池建立、本地緩存加載都需要時(shí)間一開(kāi)始的全速?zèng)_擊會(huì)把這些冷啟動(dòng)成本放大成假瓶頸反過(guò)來(lái)thinktime 設(shè)成 0 會(huì)讓每個(gè)虛擬用戶(hù)全速發(fā)請(qǐng)求壓出來(lái)的 TPS 虛高線上根本達(dá)不到。解決是固定預(yù)熱 5 到 10 分鐘預(yù)熱期的指標(biāo)單獨(dú)統(tǒng)計(jì)、不混進(jìn)正式結(jié)果thinktime 按真實(shí)用戶(hù)操作間隔設(shè)通常在幾百毫秒量級(jí)集合點(diǎn)只在驗(yàn)證瞬時(shí)并發(fā)時(shí)打開(kāi)常規(guī)基線一律關(guān)閉。6. 方案怎么驗(yàn)收答辯前必須能自證的四個(gè)交付物壓測(cè)方案和普通功能方案不一樣它的產(chǎn)出不是代碼是「結(jié)論 證據(jù)」。評(píng)審和答辯時(shí)被追問(wèn)的從來(lái)不是「你用了什么工具」而是「你憑什么說(shuō)這個(gè)結(jié)論可信」。所以驗(yàn)收前先把四份交付物備齊每份都要能獨(dú)立回答一個(gè)問(wèn)題。交付物回答的問(wèn)題驗(yàn)收口徑壓測(cè)模型說(shuō)明四個(gè)仿真度分別做到什么程度每個(gè)維度有可量化參數(shù)缺失項(xiàng)寫(xiě)明原因與影響隔離方案與驗(yàn)證記錄壓測(cè)數(shù)據(jù)會(huì)不會(huì)污染生產(chǎn)有標(biāo)識(shí)透?jìng)骰貧w用例的通過(guò)記錄有清理演練結(jié)果數(shù)據(jù)構(gòu)造與回收清單數(shù)據(jù)從哪來(lái)、跑完去哪了分布比例有統(tǒng)計(jì)來(lái)源回收腳本有執(zhí)行日志基線任務(wù)與對(duì)比報(bào)告性能是否穩(wěn)定、退化在哪至少兩輪同口徑對(duì)比指標(biāo)口徑一致、波動(dòng)可解釋答辯時(shí)最常被追問(wèn)的三個(gè)點(diǎn)提前想好答案。第一「為什么不用線下單接口壓測(cè)數(shù)據(jù)」——因?yàn)閱谓涌跓o(wú)法體現(xiàn)鏈路放大效應(yīng)和資源競(jìng)爭(zhēng)要能舉出自己鏈路里某個(gè)接口在串聯(lián)后耗時(shí)翻倍的例子。第二「壓測(cè)標(biāo)識(shí)會(huì)不會(huì)漏」——不要回答「不會(huì)漏」要回答「怎么發(fā)現(xiàn)漏」比如每個(gè)節(jié)點(diǎn)必須打標(biāo)、定時(shí)抽樣比對(duì)壓測(cè)請(qǐng)求數(shù)與應(yīng)用側(cè)命中數(shù)是否一致。第三「基線對(duì)比看哪個(gè)指標(biāo)」——答 p99 和錯(cuò)誤率平均值只作參考因?yàn)槠骄禃?huì)把長(zhǎng)尾藏起來(lái)而窗口期最先崩的就是長(zhǎng)尾。我自己的習(xí)慣是壓測(cè)正式開(kāi)跑前強(qiáng)制走一遍「標(biāo)識(shí)透?jìng)骰貧w 數(shù)據(jù)回收演練」兩件事各花不到十分鐘但能把后面最難受的兩類(lèi)事故擋在門(mén)外。這套流程第一次做會(huì)覺(jué)得繁瑣做上三輪就會(huì)變成肌肉記憶。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
大香蕉中文| 丁香五月天堂网AV| 亚洲女婷婷五月基地综合久久久| 免费观看全黄做爰的视频| 久久这里只有国产| 免费视频WWW在线观看网站| 激情色色| 色五月综合| a色色色色色| 免费婷婷| 激情五月激情综合网一级丸片| 色婷婷丁香五月| 色五月婷婷婷婷婷婷婷婷婷婷| 五月天大香蕉| 丁香五月色色色色| 亚洲熟妇AV乱码在线观看| 天天做天天爱天天爽夜夜揉| 亚洲熟女色| 成人Av在线大片| 欧美丁香五月| 亚洲一个色| 日日夜夜干| 五月激情精品视频| 中文字幕在线人妻| 夜夜撸日日操| 丁香五月激情综合婷综| 99热日本| 六月婷婷亚洲| 综合性爱网| 精品爆操| 激情久久四色| 色婷婷8| 丁香欧美| 天天色99| 五月丁香婷婷啪啪| 亚洲日日操| HD久久精品视频| 亚洲在线综合| 五月伊人视频在线看| 羞羞嫩草视频| 久9久9久9久9久9久9| 婷婷九九| 丁香婷婷激情| 婷婷五月天va| 97碰碰人人视频| www.99情趣网| 久久婷网| 婷婷大香焦| 天天做天天摸| 六月丁香五月婷婷首页| 久热在线观看视频9| caop在线| 午夜国产精品AV在线播放| 婷婷丁香www视频日本韩国| 97香蕉久久超级碰碰高清版 | 99色在线免费观看视频| 五月婷婷啪啪| 天天色天天日天天舔| 欧亚洲在线高清视频| 久久精品A片777777| 开心五月深爱五月| 人人干Av| 亚洲另类婷婷五月丁香在线播放| 激情亭亭五月| 色爆五月| 影音先锋色婷婷| 伊人超碰| 51成人| 国产国产乱老熟女视频网站97| 婷婷五月另类网站| 深爱开心激情网| 色玖玖玖| 五月丁香亭亭A片| 婷婷在线免费| 久久五月天婷婷| 色网站99| 玖玖综合色| 国产高清av黄色看片| 99热主页日本| 五月色亭丁香| 97人人干| 午夜五月天| 这里只有精品网| 激情六月丁香综合| 99日本精品视频热| 99久久久久久www| 成人午夜视频精品一区| 99热婷婷| 色婷婷电影网| 99热在线精品观看| 97婷婷狠狠| 色小说五月婷婷| 国产亚洲色婷婷久久99精品91| 麻豆观看夏晴子| 亚洲天堂AV免费片| 狠狠高潮精品亚洲1| 欧美性二区| 久久182| 国外亚洲成AV人片在线观看| 超碰免费在线| 五月婷婷狠狠干| 人人做人人看人人摸| 欧美精品99久久久| 超碰免费人人| 一本色道久久88加勒比—| 日韩综合成人| 六月天婷婷| 色色色在线观看| 色爱终和网| 久久这里面只有精品视频| 97色色婷婷五月天| 六月激情丁香一道本7777| se色婷婷视频| 丁香花大香蕉婷婷综合| 国模狼狼| 97自拍视频网| 超碰中文字幕在线| 久久丁香婷婷五月| 9月色婷婷| 9 9热这里有精品| 超碰97在线观看免费| 丁香五月AV| 99亚州综合精品成人网| 色情五月婷婷| 疯狂做受XXXX高潮A片| 直接看的av| 人人操97| 五月丁香六月在线| 99自拍视频| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 丁香五月天视频| 激情四射五月天| 另类小说激情五月天| 26uuu亚洲精品国产| 狠狠人妻久久久久久综合丁香| 五月婷婷开心亚洲无| 欧美激情丁香五月| 综合激情五月丁香9999久久精| 五月丁香网视频| 综合狠狠伊人| 精品九九视频| 丁香五月婷婷在线观看| 超碰人人干| 中文AV在线观看| 99久久婷婷五月综合| 桃色激情网| 五月丁香婷婷成人综合网| 爱婷婷久久视频| 天天爽天天草| 极品另类| 欧美色婷婷| 亚洲国产精品VA在线看黑人| 丁香五月婷婷操逼| 色色色色色五月| 激情五月天99色| 91 九色 入口| 国产精典视频在线观看| 亚洲色色在线| 九九热这里只有精品31| 狠狠爱五月婷婷| 91色色色| 五月婷婷爽爽爽| 色五月噜噜| 超碰激情网| 伊人五月天在线| 舔色婷婷| 狠狠干五月天| 久月久在线视频| www,setingting| 五月婷婷草| AV在线大香蕉| 欧美激情Va| 五月丁香黄色| 武则天精品久久| 99ri在线视频| 亚洲电影中文字幕| 中文字幕在线免费观看视频| 五月婷婷久久网| 欧美成人网99网| 综合久久9| 激情99| 色欧美一级| 91午夜婷婷狠狠久久综合9色| 91精品国产色猫| 久久网日本| 婷婷区日本| 天天狠天天叉| 五月婷在线| 草榴视频黄色网| 美女激情综合| 婷婷六月激情在线视频| 色99在线| 丁香五月婷婷99| 草草视频91| 1995年关宝慧版蜘蛛女| 色碰碰| 1024人妻| 美女91一起草| 狠狠狠人妻| 婷婷六月丁香五月| 亚洲精品又粗又大又爽A片| 伊人青涩网| 五月丁香六月久久| 色五月亚洲| 日本乱子人伦在线视频| 五月停停999| 婷婷激情欧美| 99只有精品| 五月天成人综合| 五月婷婷黄色视频| 成人五月天丁香| 超碰成人电影| 教师性爱毛片| 99久久99九九99九九九| 成人一区在线观看| 99久久思思| 五月天婷婷色色网| 97涩婷婷婷婷基地| 伊人五月人妻精品| 丁香婷婷六月| 日本久久视频| 亚洲综合五月天| 欧美激情综合五月色丁香| 九月激情综合| 五月婷婷欲色| 99精品偷自拍| 日本69日人视频| 五月天五月天成人网亭亭成人色网站| 色五月av| www.粉嫩av.com| 噜噜色噜噜网| 亚洲精品一二三| 国产成人网站在线观看| 五月丁香六月婷婷久久肏| 韩国中文字幕91| www.99色| 亚洲操逼片| 日本久碰| 99色色网站| 91人操| 五月丁香久久激情综合| 99热在线这里只有精品| 99ER热精品视频| 91精品婷婷国产综合久久| 五月婷婷六月综合| 九九爱精品网站| 婷婷五月丁香在线观看| 国产探花AV在线| 麻豆AV一区二区三区| 色婷婷亚洲在线| 亚洲人成播放网站| 六月丁香色婷婷| 久久色五月| 婷婷五月天AV在线| 五月婷婷无码| 丁香六月久久| 五月婷婷激情| 超碰久热| 久久久91精品| 六月色国内综合| 色色色9| 亚州精品久久久久AV无码| 丁香蜜臀黄色婷婷五月天| 99九九玖玖| 天天草天天爽| 国产高潮A片羞羞视频涩涩| 成人在线视频一区| 成人免费视频一区| 欧美色播综合在线观看| 丁香五月激情综合| 激情性爱五月天网页| a在线免费v| 中文无码婷婷| 69色色视频| 五月丁香色婷婷色| 97久久综合网| 九九热99热| 色婷婷先锋| 色99色| 97人妻碰碰碰久久| 激情99热| 婷婷丁五月| 热久精品| 开心深爱五月天| 大香蕉啪啪网| 亚州欧美国产久精国产99综合视频| 亚洲永久免费| 草操AV在线| 疯狂做受XXXX高潮A片| 婷婷色五月天第7色| www久久艹| 久久五月天激情视频| 色婷婷综合在线| 日韩九区| 久久久久视剧HD| 91丨九色|PRNY熟妇| 久久 天天| 中国女人做爰A片| 五月天狠狠网| 婷婷激情五月天天天开心| 九热视频| 婷婷伊人75| 丁香五月六月欧美| 成人VAV视频在线观看| 人人射人人高潮| 天天操五月天| 天天综合色| 五月婷婷免费| 欧美丰满熟妇BBB久久久| 日本色色网| 五月天大香蕉视频| 亚洲熟妇AV乱码在线观看| 天天做天天爱天天玩| 天堂网操| 99热这里只有99| 丰满老熟妇BBBBB搡BBB| 天天做天天爱天天要| www一起操在线观看| 人人操91| 丁香五月婷婷天| 琪琪色影音先锋| 九九碰九九爱97超碰| 日本色婷婷综合| 蒲京久久无码视频| 五月丁香久人妻中文| 五月丁香婷婷网网网网| 婷婷丁香五月基地| 思思久久99| 五月丁香色婷婷基地| 婷婷久久图片| 日本猛少妇色XXXXX猛叫| www,五月天激情| 任你爽精品免费视频6| 啪啪一区| 美国十月色婷婷在线观看| 99色这里| 五月亭久久无码视频| 久久九九色| 婷婷五月骚厕所| 五月天大香焦| 91综合国免费久入| 久久精品凹凸分类| www.久久66| 99超碰人人| 五月婷婷色色| 啪啪六月婷婷| 99久久极情精品一区| 激情综合网,婷婷| 久久天堂婷婷五月| 欧美成人精品A片免费一区99| 综合色播| 五月丁香综合久久| 国产操碰| 免费看片在线观看| 超级碰碰97在线| 99热成人精品网站| 综合五月激情网| 青草青草久热这里只有精品| 人人叉久| 色五月激情网| 成人短视频在线| 成人电影丁香六月天| 五月婷婷色色色| 大香蕉视频婷| 全部老头和老太XXXXX| 99热精品99| 人人干AV| 丁香五月色色| 九九视屏| 999九九九久久久99HD| 图片区 小说区 区 亚洲五月| 色婷婷丁香五月天在线观看| 丁香五月天婷婷中文| 婷婷五月花| 色综合久久8| 激情五月天丁香| 久久九精品| 久久狠狠高潮亚洲精品 天天摸夜夜摸夜夜狠狠摸 | 天天精品视频免费观看| 亚洲日韩人妻操逼| 国产伦理精品高清在线观看网站一区二区| 吊色AV男人的天堂| 亚洲五月天色色| av操逼网| 亚洲精品国产A久久久久久| 日韩久久色| 狠狠干夜夜干| 久久久99精品| 九九视频精品在线免费| 99久久精彩视频。| 婷婷色网| 婷婷激情中文综合| 九九热99免费视频| 26UUU欧美激情一区二区| 中文在线视频久9| 婷婷99狠狠| 激情五月天婷婷五月天| 色综合色综合网| 五月激情小说| 亚洲成人中心| 思思热视频| 麻豆123区| 国产片天天爽夜夜爽| 天天草天天舔| 另类图片五月天婷婷| 美女激情综合| 婷婷激情在线| 五月婷婷综合热| 久久久免费精彩视频| 开心五月天激情网| 啪啪黄页网| 人妻少妇色综合| 天天夜天天色天天| 五月天涩涩| 久久精品永久免费| 在线综合婷婷| 91一起艹| 欧美日韩国产日本精品四虎网网站物| 欧美亚洲成人在线| 中文精品在| 色婷婷888| 涩涩婷婷五月| 丁香婷婷九月| 婷婷激情五月天视频在线| 天天插天天插天天日| 在线看AV| 在线五月婷| 99热在线精品观看| 天天玩夜夜操天天爽| 91九色精品熟女内射| 婷婷久久网| 六月色日韩| www.婷婷,com| 亚洲人人操BD| 综合色五月| 99免费| 天天干天天插| 日本久久精品| 无码AV免费精品一区二区三区| 这里只有精品1| 大香蕉婷婷| 99免费超碰在线| www超碰com| 97香蕉人人在线观看| 丝袜激情网| 婷婷亚洲天堂| 激情婷婷五月色| 婷婷五月美女直播| 五月丁香色| 91chinese在线| 亚洲网站观看视频| 日韩AV中文字幕在线| 日韩 中文 欧美| 久久九九视频网站| 天天干天天色天天干| 夜夜干夜夜操| 伊人婷婷五月天| 免费无码毛片一区二区A片 | 99爱视频在线观看这里只有精品| 久9久9久9久9久9久9| 国产亚洲精品AAAAAAA片| 亚洲岛国电影| 日韩不卡DvD| 在线18av | 变天就操逼婷婷五月| 操九色| 丁香久色| 久久综合五月天| 婷婷综合一二三| 欧美性生交XXXXX无码小说| 九九视频免费| 99热免费观看| 日韩操人| wwww.色婷婷| 一本久道综合色婷婷五月| 婷丁香五月天| 五月丁香六月激情综合欧美| 丁香婷婷色五月激情综合| 丁香婷婷欧美综合| 五月婷婷综合久久| 久久久五月婷婷| 人人爽人人射-美女久久久久久久久久-成人AV | 亚洲色网址| 色丁香五月婷婷| 五月婷婷香蕉| 丁香九月激情| 天天做天天爱天天要| 99热99精品| 亚洲精品久久久久久久久久吃药| 狼人婷婷久久| 玖玖资源天天无码| 99热精品在线在线| 久久总和99| 久色视频首页| 婷婷成人综合| 婷婷激情综合色五月久久91| 久久免费操| 五月婷婷六月奇米网丁香| 丁香六月综合| 色婷婷五月网| 可以免费观看的av| 久久机热/这里只有精品| 超碰色碰碰| 久9热视频| 国产一区男女| 六月婷婷色综合| 九色地址91视频| 日日干日日色| 色综合九九| 九九综合五月欧美| 米奇激情婷婷| 婷婷五月天亚洲| WWW.久久久久久久久久久久久| 五月天播播综合| 久久精品4| 久久日曰| 天天爽天天摸| www.97视频| 久久色五月天| 九九婷婷网五月天| 婷婷午夜精品久久久| 五月六月婷| 国产做爰视频免费播放| 九九色热| 九九视频这里只有精品| 99久热这里只有精品| 99热精品10| 国色天香伊人狠狠色| 精品99视频| 五月天色影院| 狠狠色大香蕉| 99re在线这里只有精品视频首页| 97精品人人A片免费看| 五月丁香另类图片| 欧美 日韩 成人在线| 婷色视频| 99久久免费精品| 蜜臀AV在线观看| 色婷婷手机在线| 97干免费视频| 色五月天堂| 久久多色| 影音先锋一区| 亚洲AV人人操| 五月丁香婷婷色色| 色婷婷免费观看| 99碰| 91丨九色丨熟女丰满| 毛片九九九九九九| 九九热在线视频观看| 九色成人AV在线| 丁香五月在线观看完整版| 9精品久久999| AV国产有码| 五月丁香婷婷成人网| 亚洲99手机免费看视频| 婷婷操无码| 色情五月天A片| 人妻久久久久久| 亚洲avjiujiur91| 激情第四色| www久| 99亚洲精品视频| 日本久久网| 五月丁香好婷婷A片网| 国产熟女大叫受不了| 亚洲综合在线播放| 欧美天天搞| 99热99久久| 伍月婷婷六月丁香| 成人网在线视频| 五月六月伦理| 久热无码| 亚洲六月婷婷| 98国产精品综合一区二区三区| 久久亚洲婷婷| 五月丁香日本在线视频观看| 国产做A爰片毛片A片美国| 久久性爱视频| 色五月激情综合| 激情综合色婷婷啪啪六月天| 亚洲综合婷婷| 大香蕉视频99| 91丨九色丨白浆| 金桔一区二区ab地址| 亚洲精品V天堂中文字幕| 精品成人无码A片观看香草视频 | 天天肏天天肏| 六月丁香色色| 国产亚洲成AV人片在线观黄桃| 五月天婷婷成人资源站| 夜夜爱爱亚洲| 欧美日韩aaa| 婷婷 激情 五月| 久久婷婷五月综合网| 色七七色九九| 亚洲性受XXXX五月丁香| wwwav大香蕉| 人人操五月天| 欧美欧盟性爱网| 亚洲亚洲人成综合网络| 天天搞天天爽| 激情啪啪五月天| 99天堂在线观看免费视频| 热久视频| 99人人操人人操人人精| 玖玖婷婷五月天| 国产色色色色| 99综合视频一体| 久久桃花网色婷婷| 激情久久五月天| 热99视频| 最新久久网址| 天天干在线播放| 亚洲乱码日产精品BD| 亚洲成人电影在线免费观看| 超碰91在线| 国产精品久久久60086| 六月婷欧美| 91精品无码| 天天日人人爽| 91日本在线观看| 色五月亚洲| 在线中文av| caopeng97日韩| 激情视频91| 香蕉久久国产AV一区二区| 九九久热| 另类综合激情| 日韩三级视频一区二区| 亚洲色网络| 天天插天天插天天插天天插| 日本天天综合| 五月激情啪啪啪| 色五月激情图片| 99久久这里只有精品| 思思re视频在线| 九九Av| 婷婷精品性视频| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 色婷婷久久综合久色综| AA片在线观看视频在线播放| 婷婷精品在线| 天天五月天综合网址| 婷婷开心青青草| 人妻人人操| 亚洲无AV在线中文字幕| 丁香成人五月天| 久草热在线视频| 亚洲婷婷激情888精品久| 精品久久99| 九九色院| www.99操| 97超碰免费超级在线观看| 国产激情久久| 久久婷婷91| 天天激情| 婷婷香五月综合激情| 五月婷婷丁香啪啪| 久久182| 国产精品人人做人人爽人人添| 色色五月婷婷久久| 思思 热 99| 只有精品在线观看| 精品99在线| 不卡成人免费| 婷婷在线五月综合| 国产成人精品一区二区三区视频| 丁香五月婷婷五月| 99色婷婷| 久久综合五月天| 无码区婷婷五月花开| 久久视频在线| 亭亭五月天成人| 婷婷综合伊人丁香| 亚洲久久婷婷| 天插天啪天啪天啪| 亚洲无码成人性爰网| 秋霞电影一级黄| 九九精品热| 99久视频| 婷婷色婷婷| 99久热| 超碰大香蕉网| 亚洲色另类| 九九热手机在线视频| 五月丁香六月婷婷在线观看| 亚洲综合婷婷五月天| 色八月婷婷| 99热在线精品播放| 狠狠操狠狠爱| 99热这里只有精品5| 丁香五月婷婷啪啪啪| 六月丁香av| 97人人干人人操| 亚洲操逼网| 香蕉久久国产AV一区二区| 丁香五月婷婷亚洲综合精品| 色婷精品91| 色色色色综合网| 99综合网| AV五月丁香| 51XX午夜影福利| 色999;丁香五月| 狠狠搞狠狠操| 五月丁香网站| 久久女婷| 狠狠干在线| 亚洲成人免费电影| 午夜少妇在线观看视频| 五月婷婷激情久久| 99在线精品观看99| 九九av| www.夜夜| 国产在线激情视频| 影音先锋91视频| 亚洲人妻电影| 综合激情五月丁香| 色天天狠狠干| www 五月天 com| 欧美色色色| 激情美女五月天激情在线| 久久性爰视频这里只有精品| 狠狠草狠狠草| 97欧美在线| 色五月AV| 色五月激情五月| 欧美特大片黄| 激情久久 婷婷| 91精品91久久久中77777| 激情综合5月| 色区域网站视频| 人人摸人人澡人人| 色狠狠综合| 色色五月天 亚洲| 婷婷字幕在线| www.久热| 久久色情| 日产精品一线二线三线芒果| 色婷婷五月成人网| 欧美激情丁香五月| 欧美天天干天天草| 九九自拍网| 国产人妻人伦精品一区二区| jiuse91在线| 五月丁香婷婷啪啪| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 天天做天天爽| 性爱五月婷婷| 中文字幕婷婷五月天| 牛牛碰免费| 婷婷精品在线| 国产精品扒开腿做爽爽爽A片唱戏| 91人人看| 精品五月视频婷婷在线观看| 五月天婷婷永久免费视频| 狠狠爱激情网| 草了bav视频在线观看| 任你日热视频| 狠狠狠狠狠狠草| 丁香色五月天| 色情综合网| 9久久久| 五月久久丁香| 婷婷综合av| 翔田千里无码| 大香蕉五月天婷婷| 91青娱乐青青草| SESE无码AV| 久久人妻乱子伦| 人妻中文在线| 欧美成人性爱网| 思思99热| 97偷拍在线视频| 97在线精品| 99久久九九| 色噜噜狠狠色综无码久久合欧美| 亚洲操B视频| 婷婷五月天免费| 综合大香蕉| 久久性都花花世界成人免费视频 | 欧美肉大捧一进一出免费视频| 9 1在线视频| 日韩婷婷五月天| 色五月综合激情| 亚洲婷婷激情五月天| 久久婷色| 色狠狠999综合| 国产日韩亚洲欧美在线观看| 九九综合| 激情综合婷婷| 色噜噜五月天| 超爽内射| 亚洲一区二区无码蜜乳av| 五月天激情网图片| 色综合中文| 欧美激情综合五月色丁香| 天天弄天天操| 欧美在线视频99| 深爱五月婷婷开心中文字幕| 国产亚洲99久久精品| 九九综舍久久| 成人开心五月天| 五月丁香本色在线观看| 色色99色色| 五月天丁香网| 婷婷99中文字幕| 无码99| 色狠狠婷婷| 亚洲综合网激情五月天| 婷婷综合亚洲| AV动漫不卡无码免费| 激情五月天综合| 五月婷婷丁香日韩在线| 日日操,日日爽| 婷婷色五月激情| 久久综合婷婷| 97操在线视频| www..999热久| 日韩综合久久| 婷婷五月天综合久久| 激情综合网激情五月天| 五月天基地| 色婷婷五月天激情在线观看| 丁香色影院| 天天插天天操| 色婷婷文字幕| 亚洲第一综合| 丁香五月网| A久久| 一级性感毛片| 日韩色五月| 五月天婷a在线| 韩国婷婷丁香五月| 精品人妻伦一二三区久久| 无码九九| 五月天婷婷基地| 丁香婷婷五月天色综合| 大香蕉手机视频| 激情五月伊人婷婷| 一起草av| 五月激情婷婷色| 少妇大叫太大太粗太爽了A片| www.伊人天堂偷偷婷婷| 99燥99日| 欧美激情综合五月色丁香| 综合伊人久久| 99综合自拍| 影音先锋噜一噜| 色五月综合| 亚洲午夜av| 婷婷六月激情啪啪| 丁香五月综合网| 六月合五月婷| 97碰碰视频| 大香蕉婷婷色| 99热免费网站| 激情综合网五月激情| 婷婷丁香人妻天久久| 婷婷五月天色色| 婷婷五月天日本国产| 国产视频色色色色色色色| 六月久久狠狠| 超碰爱爱爱| 另类视频一区| 噜色精品| 激情综合九| 九九热视频在线观看| 久久色天堂| 99热这里是精品| 狠狠狠五月婷婷六月丁香| www狠狠爱com| 日本爆乳片手机在线播放| 天天爽人人综合免费7799| 国产67194| 婷婷五月色丁香在线看| 九九热在线视频观看免费10| 欧美影院婷婷| 开心五月丁香综合久久| 亚洲天堂青草| 丁香花五月天激情| 成人小说 五月天 婷婷| 婷婷综合天堂| www九九| 丁香五月视频在线观看| 天天肏天天舔AV| 丁香 久久| 激情com| 伊人网色婷婷五月天| 天天日夜夜曹| 99爱99操| 国产69久久久欧美黑人A片| 五月天激情.com| 99人人干人人| 色色色99| 天天插天天干天天舔| 久久婷中文字幕| 九九99精品| 99热这里只有精品青草| 亚洲va日| 精品九九网| 丁香六月婷婷| 天天干夜夜想| 色噜噜狠狠色综合伊人| 97人人操com| 五月天激情婷婷| 99热这里只有精品22| 99色综合网| 九九热青青草| 任我肏| 丁香五月无码| 五月丁香久人妻中文| 丁香六月婷婷一区二区三区| 99在线视频免费| 亚洲精品国产成人AV在线| 国产精品久久久爽爽爽麻豆色哟哟 | 日日爽日日| 五月天国产成人| 久久九九囯产| 香蕉AV福利精品导航| 成人va视频| www。五月天。com| 大香蕉啪啪| 日韩黄色中文字幕| 久久久久9| 狠狠狠激情网| 高清不卡一区| 国产探花一片区| 激情五月综合网| 色婷婷五月综合| 秋霞网在线观看理论91| 香蕉综合在线| 五月天色欧美| 亚洲无AV在线中文字幕| 九月激情网| 免费不卡狠操美女视频网 | 99色| 伊人综合网站| 亚洲六月婷婷| 欧美色色色色色色色| 人妻性爱| AAA久久久| 综合久久首页| 三级片AAA久久久AAA久久久AAA | www激情五月天| 五月丁香婷色| 亚洲色五月| 黑人熟妇一区二区三区| 色综啪啪| 风流少妇A片一区二区蜜桃| 國語久久婷| 婷婷五月色播放| 丁香六月天之亚州热女| 色婷婷成人影片| 九九蜜臀精品| 丁香五月天堂| 91久久精品无码一区二区三区| 狠狠狠狠青草| aaaa久久| 六月丁香婷| 激情色播| 色久女| 久热这里只有精品6| 丁香五月婷婷激情视频播放| 六月欧美综合色情| 色情婷婷| 久久久婷婷婷| 99精品高潮| 人妻在线网站| 97人碰人操| 嫩草极品| 国产毛片精品一区二区色欲黄A片| 99久久99热这里只有精品| 人妻视频一区而且二区| 91婷婷搞| 婷婷激情中文综合| 岛国AV网| 婷婷综合视频| 五月天丁香婷婷社区| 人人摸人人摸| 深爱激情五月婷婷| 色色综合网络| 丁香六月婷婷综合啪啪| 五月婷婷五月天亚洲无码| 天天爽—爽| 七七九九色色| www.minyis.com【JT】实力收量可预付TG@LXSPSW8 | 99色婷婷| 久久婷婷五月丁香网| 超级黄色片| 日亚二欧美| 国产激情在线| 大香蕉婷婷色| 99精品久久| www,久久久| 99久久久99久久91熟女| 日日骑夜夜撸| 超碰在线99| 四色综合网| 日日干日日s| 色情久久久| 十月色综合| 99热这里只有精品免费| 色色99| 91久久精品无码一区二区三区| 啪啪婷婷五月天激情| 成人AV在线网站| 人妻操逼视频| 67194国产| 日韩AV无码影片| 抽插特写| 亚洲黄网在线| 日韩美女在线视频19| www.99日本| 亚洲永久免费| www色婷婷久久综合久色| 中文无码精品一区二区三区| 五月天成人在线播放丁香| 五月婷婷中文| 欧美操人| 欧美大肥婆大肥BBBBB| 欧美五月停| 2005天天干天天1| 久久大香蕉同僚| 99色色热| 呦呦视频无码播放| 99热99热在线| 99在线观看精品| 99这里都是精品| 超碰在线免费观看日韩| 91精品久| 亚洲AV日韩无码| 亚洲无码成人网| 中文久久久人妻| 伊人午夜综合色啪| va婷婷| 中文字幕婷婷| 少妇高潮呻吟A片免费看软件 | 操精品9| 中文字幕第四色.999| 99热这里只有精品1025| 婷婷成人在线| 丁香五月综合网亚洲综合欧美狠狠 | 色婷婷丁香五月丁香| 婷婷丁香五月综合激情视频| 丁香九月综合| 蜜桃人妻无码AV天堂三区| 热99玖玖99玖玖99九九| Caop在线| 天天弄天天爽| 久久久久人妻精选| 久久九区| 欧美性生交XXXXX无码小说| 涩婷婷视频快播人妻| 色综合色色| 五月综合亚洲| 亚洲乱码w在线观看| 99热66| 久久久人人操A V| 日本99视频| 激情五月天激情综合网| 狠狠色综合网| 超碰啪啪网| 538午夜激情| 亚洲另类噜噜| 色色色色色色网| 香港九九六区八区99| 九热视频| 婷婷五月精品中文字幕| 久久多色| 久久九九热re6这里有精品| 久99视频| 五月丁香无码| 色色色热热热| 九九久久偷拍| 婷婷六月丁香在线| 国产精品爽爽久久久久久| 免费做A爰片77777| 激情综合五月天| 日韩十国产极品久久| 五月天色婷婷综合| 中文字幕+中文在线| 2020久久婷婷五月| 久久总和99| 91av成人| 开心婷婷五月激情网小说| 婷婷五月色| 成人免费黄色短视频| 人妻狠狠操| 激情婷婷丁香| 99热爆在线| 五月婷婷六月丁香综合视频在线| 91热视频色网站| 五月婷婷先锋| 色色无码日韩| 久久亚洲无码| 五月停停99| 丁香婷婷激情五月| 九九九色综合| 国产肏屄大片| 9久热这里只有精品| 成人无码髙潮喷水A片| 日本精品干| 激情网婷婷婷| 国产性av| 丁香五月婷婷无码AV| 曰曰久久| 激情五月四色| 色综合播放| 日本高清久久| 五月天伊人综合| 久久人妻乱| 丁香五月婷婷天激情| site:minyis.com| 香蕉综合在线| 性爱网六月丁香| 九九热视频思思| 艹B高清无码| 婷婷色五月偷拍| 丁香五月婷婷基地| 丁香六月啪啪| 激情综合区| 香蕉操亚洲| 五月丁香成人网| 五月久久| 国产资源91在线| 拍真实国产伦偷精品| 人妻久久久久久久久妻久久久久久久久 | 97精品人人A片免费看| 婷婷丁香人妻天久久| 91综合在线| 成人AV免费观看| 久久久久婷婷| 婷婷五月天激情电影| 天天天在线观看| 亚洲成人在线观看网址| 五月色婷婷影视在线电影| 99精品免费| 色VA| 亚洲色综合| 婷婷丁香色五月亚洲| 女人天堂AV| 婷婷综合另类小说| 中文字幕在线免费观看视频| 丁香婷婷人妻| 另类小说色婷婷| 五月天天天综合| 欧美色婷婷| 五月天激情综合网站| www久久99| 久久综合激情五月天| 思思热在线视频精品| 99热日韩这里只有精品| 人人爱操| 就99这里只有精品| 日日干夜夜干| 六月香五月婷| 色婷婷色综合久久精品V| 无码婷婷五月天| 婷婷综合九色伊人| 免费观看的婷婷五月视频在线| 一区二区传媒视频| 丁香五月偷拍| 人人操97| 99欧州偷拍视频| 国产成人av在线播放| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 久久天天天| 色五月综合网| 很很干在线视频| 国产毛片欧美毛片久久久| 五月综合亚洲| 97超级碰| 噜噜噜噜综合在线| 色婷婷免费视频| 99精品热视频| 亚州精品色情无码A片| 无码人妻AV久久久一区二区三区 | 丁香月五月天婷婷久久| www.色五月| 色噜噜婷婷| 《久久综合九色综合97婷婷| www久久久久久久97| 丁香5月激情网| 成人午夜视频精品一区| 五月丁香狠狠| 二色av| 狠狠婷婷色| 乱色色色| 色色色9 9 9| www.yw色| 欧美日韩五月婷婷| 五月丁香六月玩女人| 婷婷五月综合网激情| 色五月色图| 综合天天综合| BlACKEDRAW视频一区二区| 超碰免费人| 丁香美女主播视频在线观看| 日韩无码91| 九九黄色网| 影音先锋 91工厂| 丁香五月WWW| 亚洲午夜av| 五月永久激情| 69精品人人人人人人| 1024人妻| 五月天婷婷丁香视频| 夜夜AVV| 久久a热| 伊人五月网| 五月婷婷成人| 丰满老熟妇BBBBB搡BBB| 亚洲热热视频| www.狠狠| 91久女| 五月丁香六月玩女人| 婷婷五月激情网站| 99久久高清视频| 情色婷婷五月天| 婷婷五月激情欧美大胆视频| www.色婷婷| 色插综合网| 久久9999| 国产精产国品一二三在观看| 五月丁香影视| 丁香五月自拍| 五月丁香综合网| 亚洲1区| 五月丁香婷婷五月| 婷婷激情五月天综合| 四季AV综合网| ..真实国产乱子伦对白在线_欧| 久久久精品人妻| 婷婷丁香五月激情中文字幕版| 五月丁香六月婷婷成人| 色五月激情五月| 91精品婷婷国产综合久久| 激情五月天小说视频| 久久久久激情| 亚洲成人综合网在线免费观看| 丁香九月激情| 五月天伊人手机在线播放AV| 99热国产| av第一二区| 综合aV在线| 久久婷婷伊人| 丁香婷婷六月| 九九视频热| 五月色色色| 操人精品| 亚洲一级 片内射网站在线观看| 五月激情影院| 天天爽天天| 久久这里只有欧美| 情欲综合网| 中文无码婷婷| 久久在线大香蕉| 久久人妻熟女一区二区| 噜一噜在线| 热99re| 亚洲五月婷婷在线| 婷婷色婷婷亚洲成人| 久久九九婷婷| 1024AV视频| 秋霞AV吧|