欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

壓測(cè)工具選型全解析:從并發(fā)模型到容量評(píng)估的實(shí)戰(zhàn)指南

壓測(cè)工具選型全解析:從并發(fā)模型到容量評(píng)估的實(shí)戰(zhàn)指南 很多做后端和運(yùn)維的朋友遲早都會(huì)碰到同一個(gè)問(wèn)題系統(tǒng)上線前到底抗不扛得住真實(shí)流量尤其電商大促、整點(diǎn)秒殺、月末結(jié)算這類場(chǎng)景留給測(cè)試的時(shí)間窗口很短但壓測(cè)結(jié)論卻直接決定了要不要再加機(jī)器、要不要砍功能、能不能按時(shí)上線。壓測(cè)本身不是新鮮事真正的難點(diǎn)在于選哪把工具去壓以及怎么理解壓測(cè)出來(lái)的那一堆數(shù)字。這么多年下來(lái)我先后在團(tuán)隊(duì)里引入過(guò)好幾套壓測(cè)方案從早期拿命令行工具臨時(shí)頂一下到后來(lái)搭建統(tǒng)一的壓測(cè)平臺(tái)踩過(guò)不少坑也沉淀了些比較成熟的經(jīng)驗(yàn)。這篇就把壓測(cè)工具選型這件事完完整整拆開(kāi)聊一遍。1. 選型之前先想清楚壓測(cè)到底要回答什么問(wèn)題1.1 性能測(cè)試不只是壓一壓看掛不掛很多人對(duì)壓測(cè)有個(gè)誤解覺(jué)得壓測(cè)就是拿工具狠命打接口打到報(bào)錯(cuò)為止看哪個(gè)接口先扛不住修好再打。如果只是為了這個(gè)目的那用什么工具差別不大ab、wrk都?jí)蛴昧?。但真?shí)項(xiàng)目里壓測(cè)要回答的問(wèn)題遠(yuǎn)不止掛不掛而是要做三件事第一評(píng)估系統(tǒng)當(dāng)前容量天花板也就是最大能支撐多少并發(fā)、多少Q(mào)PS、多少吞吐第二定位性能瓶頸到底在哪一層是數(shù)據(jù)庫(kù)慢查詢、Redis連接耗盡、線程池排隊(duì)還是網(wǎng)絡(luò)帶寬打滿第三驗(yàn)證容量規(guī)劃是否合理比如預(yù)估要支撐2000 QPS用現(xiàn)在的集群配置到底能不能扛住差多少量級(jí)。想清楚這三個(gè)問(wèn)題你會(huì)發(fā)現(xiàn)壓測(cè)工具選型根本不是哪個(gè)工具比較火的問(wèn)題而是哪個(gè)工具能幫你把這三個(gè)問(wèn)題回答完整的問(wèn)題。舉個(gè)例子如果你只想知道單接口最高能承受多少Q(mào)PS那ab就足夠但如果你想分析一個(gè)下單鏈路里商品查詢、庫(kù)存扣減、優(yōu)惠計(jì)算、訂單落庫(kù)各環(huán)節(jié)的耗時(shí)分布那ab這種只報(bào)一個(gè)總吞吐、一個(gè)平均延遲的工具就完全不夠看了。1.2 壓測(cè)腳本本質(zhì)上是用戶行為的建模第二個(gè)容易忽略的點(diǎn)是壓測(cè)腳本不是請(qǐng)求發(fā)送腳本而是用戶行為模型。你寫(xiě)壓測(cè)腳本的過(guò)程本質(zhì)上是把真實(shí)用戶的操作路徑抽象成可量化的請(qǐng)求序列和參數(shù)分布。真實(shí)場(chǎng)景里沒(méi)有用戶會(huì)一秒鐘點(diǎn)十次下單按鈕也沒(méi)有用戶會(huì)平均分布在每個(gè)接口上。所以腳本里要體現(xiàn)的是用戶的思考時(shí)間think time、操作比例比如瀏覽和下單大概是多少比、數(shù)據(jù)分布比如用戶ID集中在幾個(gè)大號(hào)還是均勻分布這些都會(huì)直接影響壓測(cè)結(jié)論的參考價(jià)值。這也是選型時(shí)的關(guān)鍵分水嶺有些工具天然適合做輕量級(jí)并發(fā)測(cè)試腳本就是一個(gè)URL加幾個(gè)參數(shù)有些工具則內(nèi)置了比較完整的事務(wù)、斷言、關(guān)聯(lián)、參數(shù)化能力能把一個(gè)多步驟的業(yè)務(wù)流程模擬得比較像樣。選型之前先問(wèn)問(wèn)你團(tuán)隊(duì)里負(fù)責(zé)寫(xiě)腳本的人是誰(shuí)他準(zhǔn)備把用戶行為模型建模到什么程度這決定了你需要的是請(qǐng)求生成器還是壓測(cè)平臺(tái)。2. 主流壓測(cè)工具橫向能力摸底2.1 老牌勁旅與后起之秀的定位差異現(xiàn)在市面上能叫得上名字的壓測(cè)工具大致可以分成四類。第一類是老牌重量級(jí)工具比如JMeter它憑借豐富的插件生態(tài)和超長(zhǎng)的歷史沉淀依然是很多公司的默認(rèn)選擇第二類是面向大規(guī)模模擬的新生代工具比如Gatling、k6這類工具在腳本表達(dá)力、資源開(kāi)銷(xiāo)和報(bào)表展示上做了大量現(xiàn)代化改進(jìn)第三類是開(kāi)發(fā)者友好型的工具比如Locust用Python寫(xiě)壓測(cè)腳本對(duì)研發(fā)團(tuán)隊(duì)來(lái)說(shuō)上手門(mén)檻很低第四類是輕量級(jí)命令行工具比如ab、wrk、hey適合快速驗(yàn)證、臨時(shí)壓測(cè)和性能基準(zhǔn)對(duì)比。這幾類工具不是同一個(gè)賽道上的競(jìng)品用哪一個(gè)最好來(lái)選型是誤區(qū)。更合理的思路是先把它們放進(jìn)同一個(gè)能力坐標(biāo)系里去看腳本表達(dá)能力、分布式擴(kuò)展能力、性能數(shù)據(jù)采集豐富度、與CI/CD集成便捷度、報(bào)表與結(jié)果分析能力、團(tuán)隊(duì)學(xué)習(xí)成本。把這六個(gè)維度擺出來(lái)工具之間的差異就非常直觀了。維度JMeterGatlingk6Locustwrk/ab/hey腳本方式GUI配置為主Scala DSLJavaScript/GoPython命令行參數(shù)分布式壓測(cè)支持需配置Agent支持架構(gòu)較重支持云原生友好內(nèi)置Master/Slave單機(jī)為主指標(biāo)采集強(qiáng)支持二次開(kāi)發(fā)強(qiáng)圖表精美強(qiáng)內(nèi)置豐富指標(biāo)中依賴InfluxDB/Grafana弱僅基礎(chǔ)吞吐指標(biāo)CI/CD集成一般需插件配合一般優(yōu)秀為CI而生一般簡(jiǎn)單但作用有限學(xué)習(xí)成本低GUI深用則高高需懂Scala中需懂JS低Python極低報(bào)告呈現(xiàn)一般需插件增強(qiáng)優(yōu)秀良好依賴外部組件簡(jiǎn)陋2.2 各工具的適用邊界要?jiǎng)澢宄﨡Meter的優(yōu)勢(shì)在于它的生態(tài)幾乎你能想到的協(xié)議都有對(duì)應(yīng)的插件HTTP、JDBC、JMS、TCP、FTP一應(yīng)俱全很多老項(xiàng)目的性能測(cè)試用例是用它沉淀下來(lái)的新同學(xué)接手也方便。但它有幾個(gè)比較難受的點(diǎn)一是線程模型不高效模擬千級(jí)并發(fā)時(shí)本機(jī)資源消耗很大通常需要拆到多臺(tái)壓力機(jī)做分布式二是腳本維護(hù)偏重一旦業(yè)務(wù)流程變動(dòng)改腳本的工作量不小三是指標(biāo)在GUI里看還行想輸出給團(tuán)隊(duì)或接監(jiān)控平臺(tái)還得自己寫(xiě)插件。Gatling是好東西Scala DSL寫(xiě)出來(lái)的腳本可讀性很強(qiáng)天生異步架構(gòu)單機(jī)就能模擬很高的并發(fā)量生成的HTML報(bào)告非常漂亮有響應(yīng)時(shí)間分布圖、并發(fā)用戶隨時(shí)間變化圖這些對(duì)做匯報(bào)和性能分析特別有用。但問(wèn)題也很直接團(tuán)隊(duì)里得有愿意寫(xiě)Scala的人否則腳本維護(hù)就是個(gè)大坑。k6這幾年很火它的設(shè)計(jì)哲學(xué)很現(xiàn)代腳本用JavaScript寫(xiě)把壓測(cè)腳本當(dāng)作代碼工程管理內(nèi)置的指標(biāo)系統(tǒng)非常完善還支持將壓測(cè)結(jié)果輸出到InfluxDB、Prometheus等主流監(jiān)控體系。它也是目前做CI/CD集成的第一梯隊(duì)選擇能在流水線里作為質(zhì)量門(mén)禁跑冒煙壓測(cè)。代價(jià)是它的UI能力比較弱復(fù)雜場(chǎng)景編排不支持畫(huà)流程圖那種點(diǎn)選設(shè)計(jì)。Locust如果團(tuán)隊(duì)Python基礎(chǔ)好用起來(lái)是很舒服的純粹用代碼定義用戶行為支持自定義請(qǐng)求函數(shù)、動(dòng)態(tài)參數(shù)關(guān)聯(lián)、運(yùn)行中實(shí)時(shí)修改并發(fā)數(shù)。它的短板是性能和指標(biāo)采集相對(duì)偏弱單機(jī)大規(guī)模模擬時(shí)Python的協(xié)程優(yōu)勢(shì)能撐住不少并發(fā)但數(shù)據(jù)采集和圖表往往需要自己搭一套時(shí)序存儲(chǔ)加可視化工作量都轉(zhuǎn)移給了使用者。wrk、ab這類輕量工具我的定位是探針型工具適合開(kāi)發(fā)自測(cè)、上線前快速驗(yàn)證、或者做基準(zhǔn)性能參考。它們安裝簡(jiǎn)單、命令直觀、結(jié)果出得快但幾乎沒(méi)有場(chǎng)景建模能力也沒(méi)有分布式能力。拿它們做正式的容量評(píng)估報(bào)告說(shuō)服力是不夠的。3. 決定選型成敗的四個(gè)技術(shù)細(xì)節(jié)3.1 并發(fā)模型決定資源開(kāi)銷(xiāo)的上限選型時(shí)最容易被忽視的是壓測(cè)機(jī)的資源開(kāi)銷(xiāo)。壓測(cè)工具本身也要消耗CPU、內(nèi)存、文件描述符。輕量級(jí)工具比如wrk用的是基于epoll的事件驅(qū)動(dòng)模型單線程能扛幾萬(wàn)個(gè)連接Gatling、k6也是異步引擎資源利用效率很高但JMeter每個(gè)線程用戶虛擬用戶都要占用一個(gè)Java線程模擬500個(gè)并發(fā)時(shí)壓測(cè)機(jī)資源就已經(jīng)明顯吃緊想要模擬幾千并發(fā)就得堆多臺(tái)壓測(cè)機(jī)。這里有個(gè)非常經(jīng)典的選型判斷方法估算你的場(chǎng)景規(guī)模再估算壓測(cè)機(jī)資源。比如你想模擬3000并發(fā)用戶JMeter跑在4核8G的節(jié)點(diǎn)上線程數(shù)開(kāi)3000只的話你自己的壓測(cè)機(jī)可能先被GC拖垮出來(lái)的數(shù)據(jù)本身就不可信了換成Gatling或k6同樣一臺(tái)機(jī)器也許能撐住這個(gè)量級(jí)。所以先算清楚資源賬再定工具不要等壓測(cè)壓到一半發(fā)現(xiàn)壓測(cè)機(jī)才是瓶頸。3.2 腳本表達(dá)能力決定能模擬多復(fù)雜的場(chǎng)景第二個(gè)技術(shù)細(xì)節(jié)是腳本表達(dá)力。真實(shí)業(yè)務(wù)壓測(cè)里幾乎必然會(huì)遇到這些問(wèn)題請(qǐng)求之間有關(guān)聯(lián)上一個(gè)接口返回的token要帶進(jìn)下一個(gè)接口、參數(shù)有業(yè)務(wù)約束比如訂單號(hào)不能重復(fù)、用戶ID要落在指定范圍、不同請(qǐng)求的權(quán)重需要調(diào)整比如95%流量是查商品詳情5%流量是提交訂單、甚至某些請(qǐng)求要依賴前面請(qǐng)求的數(shù)據(jù)分布。這些能不能方便地寫(xiě)出來(lái)直接決定你的壓測(cè)腳本是玩具還是生產(chǎn)可用。用JMeter做關(guān)聯(lián)要加正則表達(dá)式提取器、JSON提取器配合BeanShell或JSR223腳本用Locust做關(guān)聯(lián)就是寫(xiě)Python函數(shù)邏輯怎么復(fù)雜都能寫(xiě)用k6做關(guān)聯(lián)就是JavaScript代碼內(nèi)置API豐富處理響應(yīng)數(shù)據(jù)、生成動(dòng)態(tài)參數(shù)都很順手。如果你要壓測(cè)的是一個(gè)鏈路很長(zhǎng)的核心接口腳本表達(dá)能力不夠最后只能退化成只測(cè)單個(gè)接口那壓測(cè)結(jié)論的價(jià)值就要打折扣。3.3 指標(biāo)采集完備度決定能不能精準(zhǔn)定位問(wèn)題壓測(cè)跑完如果只有平均延遲和QPS并不能告訴你系統(tǒng)瓶頸在哪。完整指標(biāo)應(yīng)該至少包括TPS/QPS、響應(yīng)時(shí)間分布的P50/P95/P99、錯(cuò)誤率、線程池活躍度、隊(duì)列深度、數(shù)據(jù)庫(kù)慢查詢數(shù)、Redis命中率、CPU/內(nèi)存/磁盤(pán)IO/網(wǎng)絡(luò)帶寬。這里面的關(guān)鍵是壓測(cè)工具指標(biāo)準(zhǔn)不準(zhǔn)、全不全、能不能和監(jiān)控體系打通。JMeter的指標(biāo)項(xiàng)比較完整但多曲折很多指標(biāo)要靠監(jiān)聽(tīng)器采樣再二次計(jì)算Gatling的報(bào)告直接把常見(jiàn)性能指標(biāo)做成圖表非常直觀k6則把所有指標(biāo)都結(jié)構(gòu)化輸出天然適合對(duì)接時(shí)序數(shù)據(jù)庫(kù)做持久化存儲(chǔ)和自定義看板Locust基本只給你原始數(shù)據(jù)想要完整的性能看板得自己上InfluxDBTelegrafGrafana組合。選型前建議先畫(huà)一條想看的指標(biāo)清單反向檢查工具能否滿足這一步省得后面做分析時(shí)到處找數(shù)據(jù)。3.4 與CI/CD和團(tuán)隊(duì)工作流的貼合度常被低估第三個(gè)容易被低估的是壓測(cè)工具和工作流的貼合度?,F(xiàn)在的團(tuán)隊(duì)基本都走GitLab或類似的代碼平臺(tái)加流水線壓測(cè)最好能變成CI流水線里的一個(gè)階段。那么問(wèn)題就來(lái)了這個(gè)工具能不能命令行跑能不能在容器里跑能不能在流水線里面接收參數(shù)能不能以非零退出碼標(biāo)識(shí)性能測(cè)試失敗把壓測(cè)固化成每次發(fā)布前自動(dòng)跑冒煙壓測(cè)這種最佳實(shí)踐選型必須支持這一環(huán)。k6在這方面是目前做得最徹底的它從設(shè)計(jì)之初就想好了要跑在CI里腳本可以放在代碼倉(cāng)庫(kù)里走版本管理命令行參數(shù)、閾值判定、環(huán)境變量注入都支持得很好。JMeter跑CI也能做到要借助Maven或Ant插件、命令行模式、再配合threshhold斷言插件但配置鏈路很長(zhǎng)。Locust也能用命令行方式跑無(wú)界面模式但結(jié)果判定和CI集成基本要靠自己用shell或Python腳本去串。4. 按真實(shí)業(yè)務(wù)場(chǎng)景給壓測(cè)方案4.1 場(chǎng)景一開(kāi)發(fā)自測(cè)、接口聯(lián)調(diào)階段開(kāi)發(fā)階段推薦大家用輕量級(jí)工具快速做冒煙壓測(cè)。比如后端開(kāi)發(fā)寫(xiě)完一個(gè)接口想知道自己寫(xiě)的查詢邏輯有沒(méi)有明顯的性能問(wèn)題不需要搞一套完整的壓測(cè)工程直接wrk壓一下看QPS和P99是否在一個(gè)正常量級(jí)就能快速發(fā)現(xiàn)比如沒(méi)有走索引或者循環(huán)發(fā)SQL這種低級(jí)事故。我自己的習(xí)慣是準(zhǔn)備一個(gè)標(biāo)準(zhǔn)的基準(zhǔn)壓測(cè)命令。比如wrk壓GET接口就寫(xiě)wrk -t4 -c200 -d30s --latency http://localhost:8080/api/v1/goods/list其中-t是線程數(shù)-c是連接數(shù)-d是持續(xù)時(shí)間--latency會(huì)輸出延遲分布。跑完看兩點(diǎn)平均QPS數(shù)量級(jí)是否合理P99延遲是否在預(yù)期內(nèi)。如果P99比平均值高好幾倍說(shuō)明存在明顯的長(zhǎng)尾效應(yīng)接口里八成有全表掃描或者鎖競(jìng)爭(zhēng)。4.2 場(chǎng)景二核心鏈路全鏈路壓測(cè)如果說(shuō)開(kāi)發(fā)自測(cè)是拿放大鏡看單點(diǎn)那么全鏈路壓測(cè)就是拿CT機(jī)掃全身。這種場(chǎng)景一般發(fā)生在業(yè)務(wù)上線前或者大促前目標(biāo)是驗(yàn)證核心鏈路的整體容量。比如一個(gè)交易場(chǎng)景鏈路涉及網(wǎng)關(guān)、鑒權(quán)、商品服務(wù)、庫(kù)存服務(wù)、訂單服務(wù)、支付回調(diào)至少四五個(gè)服務(wù)節(jié)點(diǎn)。這時(shí)候需要完整的腳本建模要有動(dòng)態(tài)token關(guān)聯(lián)、多組用戶數(shù)據(jù)、不同業(yè)務(wù)動(dòng)作的權(quán)重配比。這種場(chǎng)景我最推薦Gatling或k6。Gatling的優(yōu)勢(shì)是腳本結(jié)構(gòu)清晰Scenario就是鏈路定義Exec是動(dòng)作Pace是思考時(shí)間一眼就能看出業(yè)務(wù)流程長(zhǎng)什么樣報(bào)告也漂亮適合把結(jié)論同步給產(chǎn)品和管理層。k6的優(yōu)勢(shì)是工程化更好把腳本做成代碼工程后可以自由地用JavaScript組織復(fù)雜邏輯配合內(nèi)置的SharedArray、場(chǎng)景執(zhí)行器能把多階段壓測(cè)逐步加壓、持續(xù)保持、逐步釋放描述得很干凈。4.3 場(chǎng)景三海量并發(fā)下的容量探測(cè)當(dāng)需要探測(cè)系統(tǒng)極限容量比如預(yù)估大促峰值流量是日常的幾倍這時(shí)候比拼的就是壓測(cè)機(jī)的資源利用效率和分布式能力了。把3000并發(fā)平均分給三臺(tái)壓力機(jī)和在一臺(tái)機(jī)器上用異步引擎頂住3000并發(fā)后者的結(jié)果可比性更好因?yàn)樯倭藟毫C(jī)之間的調(diào)度偏差也省了運(yùn)維成本。Gatling和k6的單機(jī)性能在同等硬件條件下明顯優(yōu)于JMeter這是由并發(fā)模型決定的。如果還想追求更大的模擬規(guī)模k6是云原生友好型選擇支持把壓測(cè)機(jī)動(dòng)態(tài)部署到云端用Kubernetes作業(yè)的方式拉起幾十個(gè)Pod同時(shí)施壓配合內(nèi)置的實(shí)時(shí)指標(biāo)聚合整體體驗(yàn)非常順滑。這一能力對(duì)臨時(shí)需要千萬(wàn)級(jí)別虛擬用戶的場(chǎng)景至關(guān)重要。4.4 場(chǎng)景四線上流量回放與常態(tài)巡檢除了傳統(tǒng)的并發(fā)壓測(cè)現(xiàn)在很多團(tuán)隊(duì)還引入了流量回放。思路很簡(jiǎn)單把線上真實(shí)流量錄制下來(lái)經(jīng)過(guò)脫敏后重新打給測(cè)試環(huán)境或新版本環(huán)境觀察系統(tǒng)的性能表現(xiàn)和正確性。這類需求已經(jīng)超出了傳統(tǒng)壓測(cè)工具的能力范圍需要專門(mén)的流量錄制回放工具或者自建流量采集和回放系統(tǒng)通常和網(wǎng)關(guān)配合實(shí)現(xiàn)。如果團(tuán)隊(duì)還沒(méi)有能力自建流量回放平臺(tái)一個(gè)折中方案是用線上訪問(wèn)日志統(tǒng)計(jì)出的接口訪問(wèn)比例和參數(shù)分布來(lái)逆向構(gòu)建壓測(cè)模型。比如從日志統(tǒng)計(jì)出查商品詳情占比60%、搜索占比20%、加購(gòu)占比10%、下單占比5%、支付占比5%再把參數(shù)分布表導(dǎo)出來(lái)灌進(jìn)壓測(cè)腳本做參數(shù)化這樣壓測(cè)的流量模型就比人人都在下單靠譜得多。5. 工具選定后落地時(shí)容易踩的坑5.1 并發(fā)數(shù)和線程數(shù)、連接數(shù)根本不是一回事我見(jiàn)過(guò)太多次這樣的場(chǎng)景領(lǐng)導(dǎo)拍腦袋說(shuō)壓測(cè)目標(biāo)要達(dá)到5000并發(fā)執(zhí)行同學(xué)把壓測(cè)工具里的線程數(shù)或并發(fā)連接數(shù)設(shè)置為5000壓完就報(bào)告系統(tǒng)達(dá)標(biāo)。這是最容易產(chǎn)生誤導(dǎo)的做法。并發(fā)數(shù)是指同時(shí)處于業(yè)務(wù)處理中的用戶數(shù)不是工具里配置的線程數(shù)。壓測(cè)工具配置的并發(fā)值反映的是同時(shí)有幾個(gè)虛擬用戶在發(fā)請(qǐng)求如果每個(gè)請(qǐng)求耗時(shí)只有50毫秒那么5000并發(fā)里實(shí)際上同時(shí)在飛的在途請(qǐng)求可能只有幾百個(gè)系統(tǒng)的真實(shí)吞吐壓力遠(yuǎn)沒(méi)有5000那么高。要正確理解并發(fā)和吞吐的關(guān)系需要看“小流量高并發(fā)”和“大流量低并發(fā)”的差異。比如同樣目標(biāo)是支撐1萬(wàn)QPS如果每個(gè)請(qǐng)求平均耗時(shí)10ms那同時(shí)處理中的請(qǐng)求大約100個(gè)這是高吞吐低并發(fā)如果每個(gè)請(qǐng)求平均耗時(shí)500ms那同時(shí)處理中的請(qǐng)求就是5000個(gè)這是低吞吐高并發(fā)。兩種場(chǎng)景對(duì)線程池、連接池、緩存設(shè)計(jì)的要求截然不同壓測(cè)腳本里設(shè)置的并發(fā)值要配合平均響應(yīng)時(shí)間反推出來(lái)才合理。5.2 數(shù)據(jù)污染和緩存擊穿掩蓋了真實(shí)問(wèn)題壓測(cè)新手最容易忽略的是數(shù)據(jù)環(huán)境。比如你反復(fù)壓測(cè)同一個(gè)查詢接口第一次跑完后數(shù)據(jù)進(jìn)了緩存第二次再壓測(cè)時(shí)接口直接從緩存返回?cái)?shù)據(jù)P99性能極其亮眼但這個(gè)數(shù)據(jù)完全不可信。還有種情況是壓測(cè)產(chǎn)生的臟數(shù)據(jù)堆積在數(shù)據(jù)庫(kù)里比如每次都生成同樣的訂單號(hào)還能插入成功說(shuō)明唯一性約束根本沒(méi)被觸發(fā)這種情況下的寫(xiě)入性能參考價(jià)值低。我的建議是壓測(cè)前先明確數(shù)據(jù)準(zhǔn)備方案。只讀接口場(chǎng)景要預(yù)先準(zhǔn)備足夠大的數(shù)據(jù)集壓測(cè)過(guò)程中要有意識(shí)地繞過(guò)緩存或每隔一段時(shí)間清一下緩存測(cè)出真實(shí)的DB查詢能力寫(xiě)接口場(chǎng)景要么每次壓測(cè)后清表并重置自增ID要么用參數(shù)化方式保證每輪數(shù)據(jù)不重復(fù)。數(shù)據(jù)庫(kù)里的基準(zhǔn)數(shù)據(jù)量也要符合生產(chǎn)實(shí)際一個(gè)只有幾萬(wàn)條數(shù)據(jù)的表和幾千萬(wàn)條數(shù)據(jù)的表同樣一條SQL的壓測(cè)結(jié)果完全不是一個(gè)量級(jí)。5.3 只盯著平均值而忽略P95和長(zhǎng)尾平均響應(yīng)時(shí)間這個(gè)指標(biāo)說(shuō)實(shí)話意義有限。假設(shè)100個(gè)請(qǐng)求里99個(gè)都返回10ms1個(gè)因?yàn)镚C停頓返回了10秒平均響應(yīng)時(shí)間大約是110ms看起來(lái)系統(tǒng)還挺好但實(shí)際體驗(yàn)已經(jīng)崩了。線上用戶不會(huì)感受到平均體驗(yàn)用戶感受到的是自己那一次請(qǐng)求的體驗(yàn)所以必須重點(diǎn)關(guān)注P95和P99延遲也就是最慢的5%和1%的用戶體驗(yàn)。把P99指標(biāo)放到壓測(cè)結(jié)論里能推動(dòng)問(wèn)題真正被解決。比如壓測(cè)某商品列表接口平均RT是88msP99是320ms說(shuō)明有長(zhǎng)尾趨勢(shì)。進(jìn)一步排查發(fā)現(xiàn)320ms的長(zhǎng)尾里有相當(dāng)一部分集中在緩存過(guò)期后的緩存擊穿回源解決辦法就變成了加分布式鎖保護(hù)緩存重建或者預(yù)加載熱點(diǎn)key。如果沒(méi)有P99指標(biāo)這種問(wèn)題很容易被平均值平均過(guò)去。5.4 壓測(cè)環(huán)境和生產(chǎn)環(huán)境差異被低估經(jīng)常有團(tuán)隊(duì)在測(cè)試環(huán)境壓測(cè)出完美數(shù)據(jù)一到線上就出事然后懷疑壓測(cè)工具不準(zhǔn)。其實(shí)大概率是環(huán)境差異導(dǎo)致的。測(cè)試環(huán)境和生產(chǎn)環(huán)境的硬件配置不同是顯性的更多的差異是隱性的生產(chǎn)環(huán)境有真實(shí)流量干擾、有其他業(yè)務(wù)批量任務(wù)搶占資源、有多個(gè)更細(xì)粒度的服務(wù)發(fā)現(xiàn)和配置中心交互、有更完整的日志采集和鏈路追蹤組件哪怕多了一個(gè)trace-agent對(duì)性能的影響也可能有5%到15%的浮動(dòng)。所以我的原則是壓測(cè)結(jié)論要注明環(huán)境上下文包括機(jī)器規(guī)格、版本、依賴的中間件版本、數(shù)據(jù)規(guī)模、壓測(cè)機(jī)所在網(wǎng)絡(luò)位置。條件允許的情況下盡量在預(yù)發(fā)環(huán)境或者生產(chǎn)環(huán)境的低峰期做一次真實(shí)環(huán)境壓測(cè)這和測(cè)試環(huán)境壓測(cè)完全是兩個(gè)量級(jí)的工作收獲也完全是兩個(gè)量級(jí)。如果實(shí)在不方便在生產(chǎn)壓測(cè)至少要做到測(cè)試環(huán)境的硬件規(guī)格不能比生產(chǎn)低太多否則容量評(píng)估數(shù)據(jù)就是自欺欺人。6. 工具是起點(diǎn)完整的壓測(cè)體系才是終點(diǎn)6.1 從壓一下看看到壓測(cè)資產(chǎn)管理成熟團(tuán)隊(duì)的壓測(cè)工作不應(yīng)該是一次性的臨時(shí)活動(dòng)而應(yīng)該把壓測(cè)腳本、場(chǎng)景、數(shù)據(jù)、報(bào)告都當(dāng)作資產(chǎn)沉淀下來(lái)。每次大促前壓測(cè)完腳本里哪些參數(shù)需要調(diào)整、業(yè)務(wù)上哪些邏輯變化了都應(yīng)該同步更新到壓測(cè)工程里。KPI口徑也要固定下來(lái)什么樣的P99算達(dá)標(biāo)什么樣的錯(cuò)誤率可接受什么樣的資源水位屬于健康這些做成團(tuán)隊(duì)的性能基準(zhǔn)。這里就體現(xiàn)出了k6或者Gatling這類腳本即代碼的工具的價(jià)值壓測(cè)腳本可以進(jìn)代碼倉(cāng)庫(kù)、走Code Review、打版本標(biāo)簽新同學(xué)照著倉(cāng)庫(kù)里的文檔和腳本就能復(fù)現(xiàn)一次壓測(cè)。而用JMeter的GUI文件來(lái)管理壓測(cè)資產(chǎn)版本對(duì)比和Review永遠(yuǎn)是最痛苦的環(huán)節(jié)一個(gè).jmx文件幾千行XML肉眼Review幾乎不可行。6.2 壓測(cè)報(bào)告是給決策看的數(shù)據(jù)產(chǎn)品技術(shù)團(tuán)隊(duì)內(nèi)部看壓測(cè)報(bào)告關(guān)心的是哪里慢、為什么慢、怎么改管理層看壓測(cè)報(bào)告關(guān)心的是能不能上線、要不要加機(jī)器、風(fēng)險(xiǎn)多大。一份好的壓測(cè)報(bào)告要同時(shí)滿足這兩種讀者。工具選型時(shí)也要把這個(gè)因素考慮進(jìn)去Gatling的自帶報(bào)告精美直接適合對(duì)外展示k6的指標(biāo)結(jié)構(gòu)化程度高適合自建看板JMeter則通了插件也能做不錯(cuò)的圖就是默認(rèn)的美觀度和交互性比較弱。我現(xiàn)在的做法是把壓測(cè)報(bào)告沉淀成兩部分一部分是自動(dòng)化的實(shí)時(shí)看板展示壓測(cè)執(zhí)行過(guò)程中的QPS、RT、錯(cuò)誤率、系統(tǒng)資源方便技術(shù)人員盯現(xiàn)場(chǎng)另一部分是壓測(cè)結(jié)束后生成的總結(jié)報(bào)告包含結(jié)論、瓶頸分析、優(yōu)化建議、風(fēng)險(xiǎn)等級(jí)推送給相關(guān)決策人。能做到這一層壓測(cè)才真正參與到了發(fā)布決策里。6.3 漸進(jìn)式落地的個(gè)人路線建議如果團(tuán)隊(duì)現(xiàn)在還是零狀態(tài)我的建議是不要一口氣上完整的平臺(tái)那樣容易翻車(chē)。按照能用—好用—平臺(tái)化三步走。第一步先選定一款主力工具在試點(diǎn)項(xiàng)目里用起來(lái)把腳本和采集指標(biāo)的標(biāo)準(zhǔn)定下來(lái)第二步把壓測(cè)接入CI流水線做成發(fā)布前的質(zhì)量門(mén)禁第三步沉淀歷史數(shù)據(jù)和基準(zhǔn)報(bào)告逐漸形成性能容量基線。走到第二步團(tuán)隊(duì)的壓測(cè)能力就已經(jīng)超過(guò)很多公司了?;仡^看看自己這些年用過(guò)的工具早期用ab和wrk應(yīng)付開(kāi)發(fā)自測(cè)中期用JMeter搭了一套分布式壓測(cè)后來(lái)為了把壓測(cè)做進(jìn)流水線換成了k6同時(shí)保留Gatling做復(fù)雜鏈路的容量評(píng)估。工具換來(lái)?yè)Q去的核心驅(qū)動(dòng)始終是當(dāng)前的壓測(cè)方法能不能支撐業(yè)務(wù)決策。最后再分享一點(diǎn)個(gè)人心得選壓測(cè)工具時(shí)別被哪個(gè)測(cè)試工具最主流帶節(jié)奏。貴的不一定適合你功能多的不一定用得上腳本難寫(xiě)的也不一定學(xué)不會(huì)。把你自己團(tuán)隊(duì)的痛點(diǎn)列出來(lái)——是缺資源模擬能力、缺CI集成、缺指標(biāo)采集還是缺報(bào)告說(shuō)服力然后讓工具去匹配這些痛點(diǎn)遠(yuǎn)比到處復(fù)制別人的選型方案靠譜得多。工具本身不能給你答案但正確的工具能幫你發(fā)現(xiàn)真正的問(wèn)題后面的優(yōu)化才有方向和依據(jù)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
开心激情站| 97香蕉碰碰人妻国产欧美| 综合网啪| 婷婷涩涩五月天| 综合噜噜| 天天操加勒比| 精品一二三区久久AAA片| 五月婷婷在线综合| 丁香婷婷五月天成人| 99热欧美在线观看| 五月婷婷丁香六月| 久久九九99| 台湾无码A片一区二区| 婷婷亚洲天堂| 激情五月丁香激情综合网| 六月婷婷久久| 国产成人AV在线| 五月天色色色| 99热只有精品在线| 丁香女人五月天| 深爱五月天天| 91婷婷在线| 91九九| 九月丁香久久网| 日本情色一区二区| 五月婷婷亚洲天堂激情在线| 综合网亚洲| 久久婷婷六月天| 日本不卡中文字幕| 在线不卡AC| 成人免费视频一区| 精品夜夜澡人妻无码AV| 色宗合久久五月婷婷| 91操片| 成人色站,在线视频,看片-SS1AV| 成人丁香五月| 99激情| 亚洲xx在线| 超碰a女人的天堂| 深爱 五月天| 激情五月丁香六月综合AVXXXX| 九九热99热| 丁香六月婷| site:xmssd.com| 久久538| 人人超碰99| 欧美婷婷综合网| 日本久久99久久| 五月丁香日本片| 99亚洲无码| 日韩成人av在线| 国产精品久久久爽爽爽麻豆色哟哟| 九热视频免费观看| 黄色99网| 久久六月天| 色噜婷婷| 精品九九视频| AV在线大香蕉| 天综合日日夜综合7799| 五月色丁香综合| 玖玖福利视频资源| 另类天堂| 婷婷操久久| 天天成人五月天| 99热日| 男女啪啪做爰高潮无遮挡| 激情五月综合第一页| 五月婷婷综合激情| 丁香五月天激情| 九九热免费视频| 99热这里是精品| 五月婷av| 深爱五月亚洲| 中文字幕视频在线播放| 九色PORNY在线精品酒店| 亚洲激情免费久久| 91热在线| 另类视在线| 色婷婷在线视频综合| 综合久久97| 日本色超碰| 色婷婷精品小视频| 热久久这里只有精品| 色五月婷婷激情基地| 激情婷婷丁香色五月综合| 综激情网| 丁香五月激情综合婷综| 亚洲最大激情无码| 中文字幕av网站| 婷婷区日本| 五月色婷| 99日视频在线| 激情小说在线视频| 日比视频91| 欧美va国产va| 久久伊人大香蕉| 综合久久高清| 99综合自拍| 91性交在线播放| 亚州精品色情无码A片| 久色大| 日韩人妻在线播放| 九九热这里只有精品31| 丁香五月欧美婷婷| 亚洲六月色| 91久女| av 一区三区四区| 思思99久久| 熟美女麻豆| 婷婷五月天激情在线| 9色91视频| 激情开心五月婷婷| 色噜噜狠狠色综无码久久合欧美| 99re26视频| 五月丁香啪啪啪| 色婷五月| 五月婷婷大香蕉| 国产av基地| 五月丁香六月婷婷久久| 人人操超碰| 色色网站免费观看| 91干99| 天天橾夜夜爽| 一本久久婷婷| 开心五月网| av五月丁香婷婷网| 99久久精彩视频。| 中国女人做爰A片| 久久久久久天天日天天爱| 99婷婷| 五月丁香激情综合| 99久热| 热这里只有精| 精品国产乱码久久久久夜深人妻| 婷婷五月天激情五月天网站| 丁香五月婷婷av影院| 99re这里有精品手机在线| 中文字幕人妻熟女在线| WWW.99热| 欧美三级巜人妻互换| 婷婷六月激情啪啪| 荫道BBWBBB高潮潮喷| 6080av| 中文字幕丰满孑伦无码专区| 五月婷六月婷婷| 免费超碰在线| 亚洲性受XXXX五月丁香| 很很干天天干| 六月色五月天天婷婷| 久久综合九色综合97婷婷| 思思色综合网站| 亚洲五月六月婷婷| 最新va在线播放| 色五月婷婷操逼| 第四色激情网| 婷婷丁香水多多视频| 另类小说五月天| 99热在线免费观看精品| 麻豆忘忧草午夜| 婷婷色丁香六月| 丁香五月 激情文学| 99视频激情四射| 天天色图| 日日操夜夜擼| 超碰a女人的天堂| 婷婷五月综合色小姐小说| 久久婷婷综合五月趴| 久婷久婷| 五月婷激情| 丁香五月综合图片在线观看| 丁香五月天狠狠操| 五月丁香综合| 国产,欧美,日韩,性爱| 99热精品超碰| 国产精品美女久久久久AV超清| m色激情网| 99精品丰满| 五月婷婷九| 天天做天天爱天天摸| 亚洲情综合五月天| 玖玖爱资源站| 精品久久久久久久久久久久人妻| 大香蕉伊人99| 五月婷视频| 99色在线| 天天狠狠色| 亚洲AV无码成人精品区电影网| 91色色色18| 国产伊人五月天| 1024国产在线| 欧洲毛片基地c区| 99自拍视频在线| 4438亚洲欧美| 婷婷五月天视频亚洲| 日韩欧美一级大黄网站| 99操网站| 天天做天天爽| 美欧成人视频| 激情色情五月天| 婷婷97碰碰| 97色婷婷| 一区二区三区视频| 亚洲久热无码| 99热精品10| 六月丁香天堂| 国产精品成人AV在线观看春天| 天天操电影院色狼性av| 色五月丁香婷婷综合| 五月天停婷基地| 五月激情影院| 五月丁香综合| 激情五月天偷拍综合网| 婷婷激情5月| 亚洲av网站| 蒲京久久无码视频| 午夜性做爰电影| 99视频精品8 | 亚州操人在线视频| 欧美综合丁香网| 久久天堂| www亚洲无码| 国产又粗又大又爽又黄| 色色五月天丁香| 伍月婷婷六月丁香| 激情六| 日本A片一区| www.超碰| 五月丁香婷草| 色婷婷综合视频| 秋霞网在线观看理论91| 99er这里只有精品视频| 在线另类视频| 婷婷 丁香 久久| 操操碰| 日韩99视频| 天天做 天天爱| 国产99美少妇| 女婷久久| 色婷婷综合综合网| 9999热精品| 日韩成人无码| 9色在线| 99资源在线视频| 天天干天天操天天上| 久99| 五月丁香91| 9一精品视频观看| 一区二区成人电影免费播放| 99超级碰免费视频| 涩五月婷婷| 91视频人人做97| 北条麻妃伊人 | 六月婷婷av| 久久婷婷五月综合一| 婷婷丁香社区| 国产毛片欧美毛片久久久| 狠狠色噜噜狠狠| 亚洲天堂aaa| 桔色成人官方网站| 丁香五月婷婷88在线| 天天插天天狠| 色婷操逼| 久九色| 欧美婷婷色五月网| 亚洲AV无码电影| 亚洲中文字幕AV在线| 五月天婷婷av| 色99视频| 中文字幕在线观看视频www| 一区二区免费看| 婷婷六月亚洲综合| 天天肏高清在线| 99热久草| 色婷婷婷婷| 激情五月丁香六月综合AVXXXX| 色9色| 婷婷欧美偷拍综合| 色婷婷五月影视| 色噜久| 婷婷色基地在线看| 成人午夜免费电影| 九九九九大香蕉| 丁香五月色情av| 婷婷丁香日韩五月| 九九99九九精品视频| 久久久一级AAA| www.91av.com| 亚洲区1| 玖玖色综合色| 亚洲人成网站999久久久综合| 2015在线中文字幕| 777久久久| 91精品国产色猫| 五月婷天堂视频| 亚洲成人综合网在线免费观看| 五月婷婷 自拍| 久久精品99国产精品日本| 精品国产乱码久久久久久免费| 香蕉人妻AV久久久久天天| 亚洲AV色婷婷人禽五月天| 婷婷综合网站| 成年人丁香五月| 久久久久久人妻| 五月丁香婷婷成人综合网| 色。 婷婷婷| a级毛片一区二区免费视频| 在线sebiav精品视频| 色婷婷成人久久| 人人叉久| 99re热精品在线视频| 久久婷婷丁香五月一二三| 婷婷第六色| www.狠狠色.com| 色宗合久久五月婷婷| 巴基斯坦粉嫩无码视频| 九九热精品99| 色五月成人| 熟妇内谢69XXXXXA片| 国产成人精品一区二区三区视频| 七月婷婷色香综合网| 伊人激情网| 免费97碰碰| 婷婷综合久久| 99视频精品视频| 九九久久99| 中文字幕婷婷五月天在线观看| 五月婷视频| 丁香婷婷社区| 亚洲五月婷| 99国产在线精品视频| 在线中文字幕免费视频| 视频一二区| 狠狠操之狠狠操| 五月婷婷丁香av| 99色视频| 狠狠狠狠狠狠| 激情五月婷色| 丁香色色色| 亚洲爱爱无码婷婷色五月| 99热无码首页| 超碰人人在线| 97碰 在线视频观看| 人人叉久| 天干干夜夜操| 97超碰在线免费观看| 五月激情婷婷在线| 人人操人| 色激情综合狠狠婷婷| 思思热精品在线观看| 99热这里| 欧洲色色| 做爰丰满少妇1313| aaa久久| 99碰超| xfplayav在线| 天天日,天天干,天天操| 日本大人久久| 操97免费超级视频| 开心五月激情五月丁香五月婷婷| 久热成人| 亚洲天堂青草| Av性爱网| 久热 91| 九九热精品在线| 偷拍九九五月丁香婷婷| 婷婷丁香五月六月激情| 91色涩| 亚洲春色奇米影视| 婷婷放心五日爱| 六月色播| 亚洲熟妇AV乱码在线观看| AV动漫不卡无码免费| 99re久久| 狠狠色综合精品视频在线| 99久热这里只有精品| 亚洲精品第一国产综合亚AV| 欧亚洲在线高清视频| 色五月天本日| 538在线精品| 婷婷永久在线| 96丁香六月婷婷蜜桃综合久久| 亚洲视频一区| www.婷婷六月天| 六月香五月婷| 色色色地址| 亚洲成人在线在线| xxxx五月| 亚洲综合另类| 成人无码髙潮喷水A片| 九九热在线99| 五月婷婷在线播放| www,黄色在线,con| 五月婷婷综合色啪| 99热这里只有精品免费| 五月丁香久久激情综合| 久久奄也去色色网站| 97人人干人人操| 美女91一起草| 亚州操人在线视频| 大战熟女丰满人妻AV| 久久久18| 免费观看亚洲AV片| 婷婷色导航| 99男人天堂| 丁香狠狠色婷婷久久无码视频| 国色天香成人网| 婷婷五月激情的图片| 性色婷婷| 另类综合激情| 亚洲AV日韩无码| 停停六月 综合| 九九热在这里只有精品| 国产偷人爽久久久久久老妇APP| 欧美色图天堂网| 五月丁香龟婷婷| 97超碰,人人舔,人人操,人人摸| 狠狠香婷婷五月| 成人网站免费在线播放| www.五月丁香| 五月丁香六月婷婷姐| 中文字幕91,综合| 亚洲成人噜噜| 国产色色小草视频| 五月婷婷开心六月激情小说| 牛色色碰| 婷婷玉月丁香五月在线视频| 激情玖玖sh| 久久无码激情视频| 欧美日韩99| 日日干五月天婷婷| 亚洲九九视频| 一起草aV| 日本天堂免费99| 国产午夜精品一区二区| 激情都市丁香婷婷| 五月天婷婷狠狠| 国产精品久久7777777精品无码| 影音先锋自拍网| 激情二色月| 久久婷婷青青草| 国产Va视频| 无码少妇高潮喷水A片免费| 丁香五月激情宗合网| 日日夜夜天天综合| 婷婷基地成人五月天| 狠狠爱综合| 91超碰人人操| 99视频在线| 丁香五月婷婷少妇| 五月婷在线| 激情网五夜婷婷| 在线观看国产高清视频免费网站| 丁香五月天天哦| 激情五月激情综合网| 热久久思思热思思| 日韩野外 无套| site:feetmall.com| 精品无码片| 五月婷婷激情网| 久天综合| 曰韩少妇内射免费播放| 性天天中文网| 丁香婷婷综合激情五月色| 久久看婷婷| 婷婷激情四射| 婷婷综合六| 黄色av高清| 丁香五月激情婷婷婷婷在线观看| 9 9 9色色| 久久3p| 色婷婷99| 韩国中文字幕91| 天天色天天色天天色天天色天天色| 九九亚洲天堂| 人人草人人爱| 日本久久精品| 超碰在线观看三级片| 亚城区在线| 婷婷久久婷婷| 五月开心久久| 99日韩网站| 中文久久婷婷| 久碰视频| 成人色五婷婷| 成人va在线观看视频| 综合久久激情久久| 这里只有精彩视频| 美女亚洲五月丁香| 人操综合| 婷婷香五月天| 五月丁香色婷婷基地| 99碰在线视频| 大香蕉av在线| 色婷亚洲| 777色婷婷爱五月| 丁香五月婷婷操逼| 天天爽人人综合免费7799| 色色cOm| 丁香婷婷性爱| 成人国产欧美大片一区| 超碰色综合| 激情五月激情综合俺也去婷婷小说| 天天色中文字幕女优AV| 五月丁香综合激情| 综合图区激情| 丁香五月婷婷激情小说| 伊人超碰在线| 激情五月天色色网| 久久人妻伊人| 五月婷婷色播视频| 日韩久久日| 亚洲综合婷婷| 婷婷色欧美激情| 五月丁香综合啪啪| 热日韩欧美| 色色婷| 丁香五月天天高清在线| 婷婷丁香六月综合激情站| 丁香婷婷五月激情四射网| 丁香婷婷大香蕉| 国产资源91在线| 婷婷99丁香| 婷婷激情小说| 综合五月天| 日韩AAA| 亚洲成人av在线| 午夜天天精品视频| 五月婷婷激情性爱| 26uuu另类亚洲欧美日本一| 婷婷五月综合在线| 亚洲AV免费国产电影| 亚洲亚洲人成综合网络| 超碰在线国产| 天天免费日日夜夜夜夜| 1024操逼| 狠狠爱婷婷丁香| 久久久精品婷婷五月天| 天天日天天色| 丁香花五月天激情| 五月天婷婷成人| 中国AV性爱观看| 国产99热| 婷婷色啪| 狠狠色丁香婷婷五月| 搡BBBB搡BBB搡18| 婷婷在线综合| 色五月婷婷亚洲最大| 玖久精品视频9| 99精品无码视频| 99九九在线精品热动漫| 9久久久| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 色9999日韩国产| 九九久久高清| 国产亚洲成人综合| 日本www免费九九| 成人精品一区日本无码网 | 丁香五月天激情小说| 99久久亚洲精品视频| 亚洲午夜一区二区| 久久久精品99| 色婷婷AV久久| 色婷婷综合网站| 日本三级日本三级99| 天天做天天爱天天玩| 99爱在线视频观看| 五月丁香六月花| 人人色性网| 夜夜夜天天操| 99 r热| 伊人色综合影院视频| 五月狠狠| 婷婷五月天丁香社区| 亚洲无码成人| 五月综合激情网| 激情5月婷婷| 中文字幕色色| 开心五月天激情网站| 99精品在线下载| 久久精品小视频| caobi四区| 这里只有精彩小视频视频网站| 五月丁香成人| 中文字幕在线资源| 久久综合九九| 《诡秘之主》在线观看| 久99| 国产熟妇乱子伦hd| 激情综合网婷婷五夜| 婷婷天堂伊人| 五月婷婷综合热| A片试看120分钟做受图片| 97在线精品| 大香蕉伊人久久| 综合婷婷| 久久久国产精品黄毛片| 色天使久久综合| 久久五月丁香综合| 久久婷婷综合色丁香| 激情五月天.色网| 亚洲啪啪自拍| 丁香五月大香蕉AV| 9久久精品视频| 婷婷久久精品| 色婷婷综合网| 色久婷婷网| 久久久婷丁香五月| 五月婷婷综合潮喷| 99久久综合| 亚洲色色香蕉| 97色天堂| 色婷婷久久| 久久99热这里只频精品6学生| 婷婷五月影院| 天天综合精品| 久久38视频| 超碰国产在线观看| 婷婷综合激情| 婷婷四色成人综合色视| 欧美这里只有精品| 97干在线| 乱精品一区字幕二区| 人人操人人妻| 99日精品视频| se99高清无码| 精品皮股午夜AV| 色五月婷婷大| 5五月综合网亚洲| 9色在线视频| 亚洲AV成人在线| 激情图片亚洲| www.9797国产| 激情五月深爱五月| 99久久玖玖| 大香蕉啪啪| 五月丁香色婷婷基地| 色色色.COM| 五月天色图| 色激情五月| 六月五月婷婷| 精品国产一区二区三区四区阿崩| 六月婷婷视频| 色婷婷五月天堂资源| 天天综合精品| 五月婷婷啪| 99操逼视频| 在线另类| 停停六月 综合| 欧美在线视频99| 99视频这里只有久久精品| 五月天丁香婷| 成人国产欧美大片一区| 色婷婷久久视屏| 99色区| 中文字幕婷婷五月天在线观看| 久99久在线观看| 这里只有精品在线播放| 婷婷爱五月天| 少妇熟女视频一区二区三区| 精品九九网| 天堂婷婷五月在线| 五月天久久婷婷| www色色com| 丁香五月婷婷久久久| 超碰97色| 狠狠色狠狠干| 丁香五月在线播放| 嫩BBB搡BBBB榛BBBB| 成人国产网| 情色五月天网站| 亚州激情网| 婷婷五月六月| 日本天天操| 69人妻人人澡人人爽久久| 婷婷五月亚洲激情| 婷婷色综合| 1000部毛片A片免费观看| avv在线| 五月天色官网| 色五月综合在线| 狠狠五月天| 天天肏天天肏| 久久亚洲色导航| 91日视频| 182.t午在线观看| 色五月婷婷婷婷婷婷婷婷婷婷| 美女妹子后射视频网站在线观看| 精品婷婷| 99久扒热| 亚洲99热| 亚洲国产精品VA在线看黑人| 99久久久免费| 99精品亚洲| 中文字幕在线免费看线人| 97人人做| 婷婷色基地| 亚洲精品又粗又大又爽A片 | 97人人搞| 国产无套精品一区二区| 激情综合网激情五月天| 91人操| 六月婷婷久久大全| 综合天堂AV久久久久久久| 色五月激情综合网| 99热都是精品| 99爱在线| 丁香婷婷啪啪啪| 亚洲色婷婷五月天| 91se在线视频| 丁香五月天电影| 日韩三十六页| 欧美成人网婷婷综合在线| 色情婷婷五月天| 婷婷丁香五月天影院| 色婷婷AV久久久久久久| 大学生高潮无套内谢视频| 日91高清无玛| 国产午夜一区二区三区| 久777| 开心婷婷五月天电影院| 婷婷久久五月| 66精品国产成人| 丁香九九九九| A1片久久久| 黄色AAAAA| 久久婷婷免费| 天天天添天天操| 无码激情AAAAA片-区区| 这里只有精品视频在线观看免费| 五月大香蕉| 日韩99视频| 婷婷五月天激情开心网| 超级97碰碰| 这里只有精品免费观看网占| 一本婷婷丁香久久| 能直接看的AV网站| 日韩五月婷婷久久| 婷婷丁香综合成人| 一级片无码| 五月丁香六月婷婷久久久综合| WWW.久久.COM| 丁香五月天激情婷婷丁香六月| 九九99久久| 婷婷六月色| 九九激情网| 欧美欧盟性爱网| 天天做天天爱| 天天插天天插天天日| 99日韩| 夜夜爱影院| 激情综合色婷婷啪啪六月天| 任你擦免费视频| 丁香婷婷六月天| 久久久www| 久草五月天| 婷婷五月天视| 国产亚洲精品AAAAAAA片| 精品综合久久久久久五月天| 99九九这里有免费视频| 六月丁香社区| 五月天婷婷激情网| 亚州操操| 婷婷综合激情| 婷婷色导航| 婷婷丁香一月| 1024AV视频| 色五月婷婷久久| 射琪琪| www.婷婷亚洲基地| 99久久九九| 色噜噜狠狠色综合日日| 婷婷5月天av| 99ri网站在线观看| 丁香婷婷成人网| 超碰在线观看9| 久色网| 月婷婷亚洲| 爱久久小说下载网| 六月婷婷久久大全| 色播五月综合网| 日本三级大片| 就爱啪啪婷婷| 97成人视频| 99热思思| 大香蕉五月天婷婷丁香91| 97色婷婷| 日韩五月天婷婷| #NAME?| 99精品一二三四视频| 91综合在线| 国产69久久久欧美黑人A片| 亚洲人成人五月天| 91色在线| 另类小说五月天| 国产另类综合| 久久色五月| www超碰| 99成人免费视频| 超碰精品国产首页| 五月天桃色深爱网| 都市激情小说婷婷| 丁香五月婷婷www..com| 色婷五月天| 五月婷婷m| 青青日韩| www.99热视频| 久久 视频这里只有精总| 成人在线综合| 另类小说五月天| 成人色色视频| 97干免费视频| 天堂伊人干| 性爱视频久久| 激情综合自拍五月婷婷色五月| 91嫩草国产线观看亚洲一区二区| 色香久久| 六月五月久久丁香| 丁香婷婷性久久| 99久久婷婷| 噜噜色婷婷| 激情五月婷黄版| 色播激情| 草一草avb| 九九热在线观看视频网站| 激情五月天色色色| 婷婷五月激情网| 天天操夜夜夜拍拍拍| www热久久yy9| 国产亚洲精品久久久久苍井松| 婷婷五月天成人网| 99在线观看精彩视频| 人妻激情网| 亚洲激情综合| 桃色五月天| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 亚洲综合1024| 中文AⅤ大全| 五月丁香六月欧美综合网站| 一起草性爱不卡视频| 少妇丁香婷婷 | 妇激情基地| 久久丁香婷| www.天天干| 五月天婷婷乱论小说| 情五月亚洲婷婷| 亚洲情色一区| 国产精品 的国产| 五月婷婷性爱| 99热免费精品| 天天做天天爱天天玩夜夜爽| 久久永久网址| 9999热在线免费观看| yazhoujiqingav| 激情五月综合| 亚洲综合五月天婷婷| 密黄站| enecarbon-materials.com污K127封锁请涟系@wip1688 | 99亚洲精品| 999热这里只有精品| 66久久视频在线| 91九色熟女| AV大片在线观看| 国产婷婷色综合AV蜜臀AV| 久久久性爱视频| 综合激情网激情五月。| 五月婷婷久久综合| www.色综合| 亭亭玉月丁香| 97成人丁香| 色情成人五月天| 成人av播放| 婷婷无码视频| 色青青五月| 丁香五月激情六月欧亚激情综合导航 | 欧美狠狠色| 日日天天操| 色999五月色| 五月丁香婷婷狠狠操| 九九热精品| 久久九九色| 五月天小说激情| 天天肏在线观看| 丁J香六月首页| 久久性爱视频网站| 99热97| 99热777| 色 丁香婷婷| 性韩日色婷婷五月天激情啪啪XXX| 97碰碰视频| 色很久综合| 大香蕉婷婷婷| 538在线精品| 五月天激情四射| 亚洲激情综合| 色综合伊人网| 五月天激情小说婷婷基地| 99色啊| 九九人妻福利| 久久五月综合| 亚洲av成人在线| 9久久精品| 久99热| 永久思思热在线| 婷婷色婷婷| 国产在线6| 三十熟女| 五月婷婷网久久| 五月综合久久| 久久久99精品| 天天久久婷婷| 夜丁香五月婷婷| 久久久久久久久久久月丁| 草综合14| 亚洲综合欧美色丁香婷婷888月图片| 思思热在线视频99| 丁香五月婷婷网| 色欧美日| 婷婷五月综合色中文字幕| 成人综合视频在线| 99热在线观看精品| 丁香五月婷婷啪啪| 婷婷区日本| 超碰久热| 97福利视频| 亚洲婷婷91丁香| 综合AV在线| 成人丁香五月天| www夜夜操| 欧美性爱五月天| 丁香五月激情五月| 欧美成人一区二区三区在线视频| 亚洲成人影视在线| 操逼五月婷婷| 91啪啪啪啪| 99热久草| 深爱激情AV| 婷婷久久色| 婷婷丁香五月综合| 天堂婷婷五月色| 一级性感毛片| 丁香五月综合| 六月天六月婷| 91色涩| 五月丁香激情婷婷综合字幕| 欧美日韩五月婷婷| www.zbzhongsen.com| 美女激情婷婷| 亚洲成片在线观看| 丁香六月激情综合| 色婷婷成人| 国产美女无遮挡裸体毛片A片| 99视频自拍| 全部老头和老太XXXXX| 婷婷丁香日韩五月| 四色五月婷婷| 中文字幕av亚洲| 秋霞A V毛片| 99热99在线| 五月色导航| 79色色| 五夜丁香| 婷婷丁香十月| 日逼AV影音先锋男人资源站| 丁香六月激情国产| 97操碰碰无码视频| 天天舔夜夜操www com| 天天夜天天色天天| 99免费在线视频| 国产亚洲在线观看| 99久久国产宗和精品1上映| 天堂网操| 亚洲AV第二区国产精品| 国产VA播放| 99久久婷婷五月天| 婷婷久月| 欧美色色色色色| 色视频色综合91| 欧美一线视频| 五月婷婷六月丁香免费| 久久九九99亚洲国产久精综合| 深爱激情网综合| yellow视频在线观看91| 九九碰九九爱97超碰| 做爱夜夜干天天操| 婷婷五月深爱五月| 五月色丁香| 青草青草视频2免费观看| 亚洲日比视频| 色琪琪一综合久久激情五月视频| xxxx五月激情| www.日日夜夜.com| 九九亚洲综合| 99精品国产乱码久久久人妻| www一起操在线观看| 激情5月舔| 这里只有精品视频99| 狠狠操狠狠爱| 久草婷妨| 日韩婷婷五月| 天干夜夜操| 激情婷婷丁香五月天| 日本4399天堂中出| 色欲九区| 秋霞影音91人妻久久| 五月伊人网| www.夜夜操.com| 97碰碰久久| 在线日韩视频| 亚洲视频伍月婷婷| 成人丁香五月| 五他月天啪啪啪| 色激情综合狠狠婷婷| 情久久综合五月天| 久综合网| 欧美网站视频4399| 国产五月婷| 色综合com| 99热97美女| 天天天久久久| 色婷婷激情| 99热这| 丁香婷婷久久综合在线| www.粉嫩av.com| 丁香婷婷激情五月天无毒不卡蜜桃| 九月色婷婷| 丁香六月婷| 六月色国内综合| 97干视频在线| 伊人九九68| 激情深爱综合| 成人版视频在线观看| 99九九这里有免费视频| 五月丁香婷婷在线| 久久小片| 国产成人精品一区二三区熟女在线| 五月丁香综合成人社区| 色婷婷AV在线观看| 天天综合情| 久久这里只| 99久热这里只有精品| 综合婷| 激情综合五月激情XXXX| 午夜丁香综合婷婷| 香港九九六区八区99| site:901-07.com| 国产精品美女| 色五月婷婷丁香凹凸| www.色窝| 亚洲色网络| 国产精品色婷婷久久久精品| 亚美欧色影院| 免费无码毛片一区二区A片| 7月婷婷六月丁香| 五月丁香色婷婷基地| 啪啪91| 草草视频91| 婷婷狠狠97| 色婷av| 五月天电影网| 国产精品久久久久久久久久| 丁香五月婷婷婷婷欧美综合| 欧美色色色色色色色| av免费在线网站| 日韩五月丁香| 九一娱乐在线观看视频| 色色丁香五月婷婷| 色婷五月天| 久久只有精| 五月丁香色综合| 激情婷| 日日插日日干| 激情小说色五月| 开心五激情网| 九九av| 五月丁香婷婷网网网网| 亚洲国产精品VA在线看黑人| 婷婷黄色| 国産精品| 新97人人上人人| 五月丁香琪琪| 大香蕉五月天婷婷| 可以看的av网站| 五月婷丁香久久综合| 亚洲视色| 葵花AV在线| 99热无码| 亚洲黄色av网站| 天天干天天干天天干天天干天| 五月天婷婷综合色| 狠狠干激情五月| 欧美黄色一级录像| 丁香五月天婷婷中文| 国产精产国品一二三在观看 | 丰满少妇乱A片无码| 久久成人性爱| 国产色色视频| 九九99视频精品| 国产精品电影| 婷婷六月婷婷| .青娱乐天天操B| site:ornaments52.com| 天天干人人奸97| 婷婷五月天黄色小说| 激情五月婷婷色综合| 六月丁AV| 成人午夜免费电影| 丁香婷婷色色| 99久久婷| 99色在线视频| 天天婷婷操| 夜夜嗨一区二区三区直播内容 | 久久综合99| 99热乎| 精品国产乱码久久久久久免费| 五月婷婷五月天激情视频| 丁香六月婷婷久久综合| 亚洲色色精品| 91熟妇大香蕉| 大香蕉久热| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 97精品欧美91久久久久久久| 色人久久| 日韩三级片一区二区| 五月婷在线| 开心五月婷婷激情网| 热99热久| 婷色五月天| 成人AV在线电影| 日本欧美成人片AAAA| 欧美97p| 日韩aⅴ视频| 色综合久久中文| 在线国产精品色| 色综合色色| 99re在线这里只有精品视频首页| 五月天婷婷激情网| 在线色色| 99热在这里只有免费精品| 色就色94欧美setu| 五月花免费视频| 五月丁香啪综合| 搡BBBB搡BBB搡18| 色爱终和网| 人人爽欧美婷婷久久久五月丁香| 精品无吗va视频免费观看| 91狠狠色| 无码 av电影| 99热.com| 99热九九这里只有精品| 五月停停大香蕉| 色99网| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 丁香五月五月婷婷欧美大香蕉| 婷婷丁香综合| 激情爱爱网站超大免费| 中文字幕成人| 日本激情综合| 九月激情网| 色播五月天激情| 国产色色色色| 天天性视频| 无码视频国内精品久久久| 伊人玖玖婷婷| 色网站99| 91大操| 色99在线观看| 天天干天天干天天干天天干天天| 九九热91| 这里只有精品视频在线| 曰日爽日日操| 久热欧美| 中文字幕丰满孑伦无码专区| 九九综合| 狠狠色五月激情| 色色色色色色色色色色色色色五月天 | 大香蕉伊人久久| 影音先锋人妻出差| 免费看成人747474九号视频在线观看| 日日干天天| 思思久久精品| 色婷婷狠狠爱| 在线一起草av| 婷婷丁香成人| 六月色播| 99视频超级精品| 亚洲免费视频网站| AA片在线观看视频在线播放 | 在线看的免费网站| 色婷婷五月色| 亚洲天堂AAA| 超碰91av| 婷婷综合九色伊人| 黄网免费看| 99久久久| 中文人妻主播久久| 91婷婷五月丁香碰| 99燥99日| 亚洲激情婷婷| 婷婷激情丁香六月| 色五月成人婷婷| 一月婷婷色色| 黑人糟蹋人妻HD中文字幕| 丁香五月激情综合| 色五月天在线| 婷婷五月黄色激情在线| 极品九九九九九九| 国产国产乱老熟女视频网站97| 天天色,天天日,天天做| 激情碰碰碰| 日本色婷婷| 欧美日韩成人在线网| 婷婷综合网伊人| 激情视频婷婷五月花| 天天透天天干| www.色婷婷| 狠狠人妻色综合| 怡红院视频| 婷婷五月天激情综合婷婷五月天激情综合| ...婷婷五月综合不卡,国产在线手机 | 婷婷久久爱| 风流少妇A片一区二区蜜桃 | 色色色777| 色婷婷伊人| 99久热视频在线| 色五月婷婷网| 婷婷六月天| av免费人人| 日日操夜夜操狠狠操| 五月天婷婷影院| 久综合九综合99| 欧美大片| 丁香五月天堂网| 丁香狠狠色婷婷久久无码视频| 啪啪啪五月天| 天天日日夜夜爽| 欧美超级视频97| 日本三级日本黄色| 国产在线aaa片一区二区99| 91天天操天天干天天射| 天天操比比| 五月婷婷无码| 五月婷婷欧美激情| 色噜噜综合网| 青青草原伊人网| 91热手机在线| 一区=区操屄高清大全av| 伊人五月天| 久久九九网| 97人人操在线| 思思热在线视频精品| 成人开心五月天| 这里只有免费的精品| 丁香久久五月天视频在线观看| 香蕉综合网| 亚洲欧洲另类| 九九99九九99偷拍视频免费看| 丁香六月婷婷社区| 免费观看2018www黄色操逼网站| 色综合9| 九月丁香婷婷基地| 91狠狠综合久久久久久| 丁香五月激情婷婷| 91久久婷婷| 成人网址在线观看| 欧美日综合| 91热久久|