欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

ApacheBench (ab) 壓力測(cè)試工具:從入門到實(shí)戰(zhàn)性能調(diào)優(yōu)

ApacheBench (ab) 壓力測(cè)試工具:從入門到實(shí)戰(zhàn)性能調(diào)優(yōu) 1. 項(xiàng)目概述為什么我們需要ab命令在網(wǎng)站開發(fā)和運(yùn)維的日常工作中性能始終是懸在頭頂?shù)倪_(dá)摩克利斯之劍。一個(gè)新功能上線一個(gè)促銷活動(dòng)開啟最怕的就是服務(wù)器在流量洪峰面前“躺平”。作為一線工程師我們手里得有趁手的“壓力測(cè)試”工具來(lái)模擬真實(shí)用戶訪問提前發(fā)現(xiàn)瓶頸。ApacheBench也就是我們常說(shuō)的ab命令就是這樣一個(gè)簡(jiǎn)單、直接、高效的瑞士軍刀。它沒有復(fù)雜的圖形界面不依賴龐大的測(cè)試平臺(tái)僅僅通過一行命令就能告訴你服務(wù)器在并發(fā)請(qǐng)求下的表現(xiàn)每秒能處理多少請(qǐng)求QPS平均響應(yīng)時(shí)間是多少有多少請(qǐng)求失敗了。這種“開箱即用”的特性讓它成為L(zhǎng)inux環(huán)境下進(jìn)行快速、初步性能評(píng)估的首選工具。無(wú)論是開發(fā)者在本地驗(yàn)證接口性能還是運(yùn)維同學(xué)在生產(chǎn)環(huán)境變更前做一輪基準(zhǔn)測(cè)試ab都能在幾分鐘內(nèi)給出關(guān)鍵數(shù)據(jù)。今天我們就來(lái)徹底拆解這個(gè)工具從安裝到實(shí)戰(zhàn)從參數(shù)解讀到結(jié)果分析讓你不僅能“跑”起來(lái)更能“看懂”和“用好”它。2. ab命令核心原理與安裝部署2.1 ab命令的工作原理淺析ab本質(zhì)上是一個(gè)用于對(duì)HTTP/HTTPS服務(wù)器進(jìn)行基準(zhǔn)測(cè)試的命令行工具。它的工作模式非常純粹模擬多個(gè)并發(fā)用戶向指定的URL發(fā)送大量HTTP請(qǐng)求并統(tǒng)計(jì)服務(wù)器處理這些請(qǐng)求所花費(fèi)的時(shí)間。其核心工作流程可以概括為單線程、多連接。ab本身是一個(gè)單進(jìn)程程序但它會(huì)創(chuàng)建多個(gè)并發(fā)的“客戶端”通過操作系統(tǒng)套接字實(shí)現(xiàn)這些客戶端同時(shí)向服務(wù)器發(fā)起請(qǐng)求。它主要測(cè)量的是服務(wù)器的網(wǎng)絡(luò)處理能力和請(qǐng)求處理吞吐量而不是客戶端的負(fù)載生成能力。這意味著ab運(yùn)行所在的測(cè)試機(jī)性能不能太差否則可能成為瓶頸無(wú)法給服務(wù)器施加足夠的壓力。一個(gè)常見的誤解是認(rèn)為ab會(huì)模擬復(fù)雜的用戶行為比如點(diǎn)擊鏈接、填寫表單。實(shí)際上它只做一件事重復(fù)請(qǐng)求同一個(gè)URL。這對(duì)于測(cè)試API接口、靜態(tài)頁(yè)面或簡(jiǎn)單的動(dòng)態(tài)頁(yè)面如首頁(yè)的極限性能非常有效。如果你想測(cè)試包含登錄狀態(tài)Session、復(fù)雜業(yè)務(wù)流程的場(chǎng)景ab就顯得力不從心了這時(shí)需要考慮 JMeter、Locust 等更高級(jí)的工具。但對(duì)于快速回答“這個(gè)接口在100個(gè)并發(fā)下響應(yīng)時(shí)間是多少”這類問題ab的效率無(wú)與倫比。2.2 在不同Linux發(fā)行版上安裝abab工具通常作為 Apache HTTP Server 工具包的一部分提供包名通常是apache2-utils(Debian/Ubuntu) 或httpd-tools(RHEL/CentOS/Fedora)。安裝非常簡(jiǎn)單。在 Debian/Ubuntu 及其衍生系統(tǒng)上sudo apt update sudo apt install apache2-utils -y安裝完成后可以通過ab -V來(lái)查看版本信息確認(rèn)安裝成功。在 RHEL/CentOS/Fedora 及其衍生系統(tǒng)上# 對(duì)于 CentOS 7/RHEL 7 sudo yum install httpd-tools -y # 對(duì)于 CentOS 8/RHEL 8/Fedora sudo dnf install httpd-tools -y在 macOS 上如果你使用 Homebrew可以很方便地安裝brew install apache-httpd # 安裝后ab命令通常位于 /usr/local/bin/ab注意在某些極簡(jiǎn)的Docker鏡像或云服務(wù)器模板中可能沒有預(yù)裝。按照上述命令安裝即可。另外請(qǐng)確保測(cè)試機(jī)本身有足夠的可用端口和網(wǎng)絡(luò)帶寬避免因本地資源限制影響測(cè)試結(jié)果。安裝完成后一個(gè)簡(jiǎn)單的ab -n 10 -c 2 http://localhost/命令就可以開始你的第一次測(cè)試了。其中-n 10表示總請(qǐng)求數(shù)為10-c 2表示并發(fā)數(shù)為2。3. 命令參數(shù)深度解析與實(shí)戰(zhàn)場(chǎng)景ab的命令行參數(shù)是其強(qiáng)大功能的體現(xiàn)。理解每個(gè)參數(shù)的含義是設(shè)計(jì)有效壓力測(cè)試場(chǎng)景的關(guān)鍵。下面我們分類詳解最常用和最重要的參數(shù)。3.1 基礎(chǔ)負(fù)載參數(shù)定義測(cè)試的“量”與“形”這是構(gòu)建測(cè)試場(chǎng)景的骨架決定了壓力的大小和模式。-n requests總請(qǐng)求數(shù)。這是測(cè)試的停止條件。例如-n 1000表示總共發(fā)送1000個(gè)請(qǐng)求后結(jié)束測(cè)試。設(shè)置一個(gè)足夠大的數(shù)可以讓測(cè)試持續(xù)一段時(shí)間得到更穩(wěn)定的統(tǒng)計(jì)結(jié)果。對(duì)于快速驗(yàn)證可以設(shè)小一點(diǎn)如100對(duì)于正式基準(zhǔn)測(cè)試建議至少5000以上。-c concurrency并發(fā)用戶數(shù)。這是模擬的同時(shí)向服務(wù)器發(fā)起請(qǐng)求的客戶端數(shù)量。這是壓力測(cè)試的核心參數(shù)直接決定了服務(wù)器的并發(fā)負(fù)載。-c 10表示模擬10個(gè)用戶同時(shí)操作。這個(gè)值需要根據(jù)你服務(wù)器的預(yù)估并發(fā)量來(lái)設(shè)置可以從一個(gè)較小的值如10開始逐步增加觀察性能拐點(diǎn)。-t timelimit最大測(cè)試時(shí)間秒。當(dāng)測(cè)試時(shí)間達(dá)到這個(gè)限制無(wú)論是否完成-n指定的請(qǐng)求數(shù)測(cè)試都會(huì)停止。例如-t 30表示測(cè)試最多運(yùn)行30秒。這個(gè)參數(shù)在你想進(jìn)行“持續(xù)一段時(shí)間”的壓力測(cè)試時(shí)非常有用比如想觀察服務(wù)器在長(zhǎng)時(shí)間壓力下的穩(wěn)定性可以和-n參數(shù)二選一使用。實(shí)戰(zhàn)場(chǎng)景選擇容量規(guī)劃測(cè)試使用-n和-c。例如-n 50000 -c 100發(fā)送5萬(wàn)請(qǐng)求并發(fā)100看總耗時(shí)和QPS。穩(wěn)定性/耐力測(cè)試使用-t和-c。例如-t 600 -c 50用50并發(fā)持續(xù)壓測(cè)10分鐘觀察過程中響應(yīng)時(shí)間、錯(cuò)誤率是否有波動(dòng)。3.2 請(qǐng)求定制參數(shù)模擬更真實(shí)的請(qǐng)求默認(rèn)情況下ab發(fā)送的是簡(jiǎn)單的 GET 請(qǐng)求。但現(xiàn)實(shí)中的請(qǐng)求要復(fù)雜得多。-m method指定HTTP方法。默認(rèn)是GET你可以設(shè)置為-m POST、-m PUT等。-p postfile當(dāng)使用POST方法時(shí)包含POST數(shù)據(jù)的文件路徑。文件內(nèi)容通常是表單數(shù)據(jù)如useradminpasswd123或JSON字符串。這是測(cè)試API接口的關(guān)鍵參數(shù)。-T content-type設(shè)置POST/PUT數(shù)據(jù)時(shí)的Content-Type頭。例如發(fā)送JSON數(shù)據(jù)時(shí)必須設(shè)置為-T application/json。-H custom-header添加自定義的HTTP頭??梢灾貜?fù)使用此參數(shù)添加多個(gè)頭。這在測(cè)試需要認(rèn)證Authorization頭、特定客戶端標(biāo)識(shí)或處理CORS時(shí)必不可少。ab -n 100 -c 10 -H “Authorization: Bearer xxxxxxxx” -H “User-Agent: MyTestClient” http://api.example.com/v1/resource-C cookie-namevalue為請(qǐng)求附加Cookie??梢灾貜?fù)使用以添加多個(gè)Cookie。用于測(cè)試需要會(huì)話狀態(tài)的頁(yè)面。-k啟用HTTP KeepAlive持久連接。這會(huì)讓ab復(fù)用TCP連接來(lái)發(fā)送多個(gè)請(qǐng)求而不是為每個(gè)請(qǐng)求新建連接。這能大幅減少TCP握手和慢啟動(dòng)的開銷更貼近現(xiàn)代瀏覽器或客戶端的真實(shí)行為測(cè)出的QPS通常會(huì)高很多。在進(jìn)行性能對(duì)比時(shí)務(wù)必統(tǒng)一此參數(shù)的設(shè)置。實(shí)戰(zhàn)示例測(cè)試一個(gè)登錄API假設(shè)我們有一個(gè)登錄接口http://api.example.com/login接受JSON格式的POST請(qǐng)求。創(chuàng)建一個(gè)文件post_data.json內(nèi)容如下{username: testuser, password: testpass}執(zhí)行命令ab -n 1000 -c 50 -p post_data.json -T ‘a(chǎn)pplication/json’ -H “Accept: application/json” http://api.example.com/login這個(gè)命令會(huì)以50的并發(fā)向登錄接口發(fā)送1000個(gè)包含JSON體的POST請(qǐng)求。3.3 輸出與調(diào)試參數(shù)獲取更詳細(xì)的信息這些參數(shù)幫助你更好地理解測(cè)試過程和結(jié)果。-v verbosity設(shè)置詳細(xì)級(jí)別。-v 2會(huì)打印出每個(gè)請(qǐng)求的響應(yīng)頭信息-v 3會(huì)打印響應(yīng)體-v 4會(huì)打印更多調(diào)試信息。在排查“為什么請(qǐng)求失敗了”時(shí)非常有用但輸出會(huì)非常冗長(zhǎng)不建議在正式壓測(cè)時(shí)使用高等級(jí)。-w將結(jié)果以HTML表格形式輸出??梢詫⑤敵鲋囟ㄏ虻轿募缓笤跒g覽器中打開查看格式更友好。ab -n 100 -c 10 -w http://localhost/ result.html-X proxy[:port]通過代理服務(wù)器發(fā)送請(qǐng)求。-V顯示版本號(hào)并退出。實(shí)操心得參數(shù)組合的常見陷阱-n和-t同時(shí)使用ab會(huì)以先達(dá)到的條件為準(zhǔn)停止測(cè)試。如果你設(shè)置了-n 10000 -t 10可能10秒內(nèi)只完成了2000個(gè)請(qǐng)求測(cè)試就停止了總請(qǐng)求數(shù)并非10000。POST數(shù)據(jù)文件格式確保-p指定的文件內(nèi)容格式與-T指定的Content-Type匹配。如果是application/x-www-form-urlencoded文件內(nèi)容應(yīng)是key1value1key2value2如果是application/json則應(yīng)是標(biāo)準(zhǔn)的JSON格式。Cookie和Header的覆蓋通過-H設(shè)置的Header會(huì)覆蓋ab內(nèi)部生成的一些默認(rèn)頭如User-Agent。如果你需要保留默認(rèn)頭并添加新的需要顯式地一起設(shè)置。4. 測(cè)試結(jié)果報(bào)告全方位解讀執(zhí)行完ab命令后屏幕上會(huì)輸出一份詳細(xì)的報(bào)告。這份報(bào)告是性能分析的依據(jù)每一個(gè)數(shù)據(jù)都有其特定含義。我們以一個(gè)典型的輸出為例分段解讀。假設(shè)我們執(zhí)行了ab -n 1000 -c 100 http://demo.example.com/得到如下結(jié)果數(shù)據(jù)為示例This is ApacheBench, Version 2.3 $Revision: 1879490 $ Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ Licensed to The Apache Software Foundation, http://www.apache.org/ Benchmarking demo.example.com (be patient) Completed 100 requests Completed 200 requests Completed 300 requests Completed 400 requests Completed 500 requests Completed 600 requests Completed 700 requests Completed 800 requests Completed 900 requests Completed 1000 requests Finished 1000 requests Server Software: nginx/1.18.0 # 目標(biāo)服務(wù)器軟件 Server Hostname: demo.example.com Server Port: 80 Document Path: / Document Length: 15243 bytes # 單個(gè)響應(yīng)體的大小 Concurrency Level: 100 # 并發(fā)數(shù) Time taken for tests: 2.347 seconds # 整個(gè)測(cè)試持續(xù)的總時(shí)間 Complete requests: 1000 # 成功的請(qǐng)求數(shù) Failed requests: 15 # 失敗的請(qǐng)求數(shù) (Connect: 0, Receive: 0, Length: 15, Exceptions: 0) # 失敗分類 Non-2xx responses: 15 # 非2xx狀態(tài)碼的響應(yīng)數(shù) Total transferred: 15423000 bytes # 所有響應(yīng)數(shù)據(jù)的總大小包括頭信息 HTML transferred: 15243000 bytes # 所有響應(yīng)體中HTML內(nèi)容的總大小 Requests per second: 426.08 [#/sec] (mean) # 核心指標(biāo)每秒請(qǐng)求數(shù)QPS Time per request: 234.700 [ms] (mean) # 核心指標(biāo)每個(gè)請(qǐng)求的平均耗時(shí)用戶視角 Time per request: 2.347 [ms] (mean, across all concurrent requests) # 核心指標(biāo)服務(wù)器平均處理一個(gè)請(qǐng)求的耗時(shí) Transfer rate: 6417.00 [Kbytes/sec] received # 網(wǎng)絡(luò)吞吐量 Connection Times (ms) min mean[/-sd] median max Connect: 0 1 1.2 0 12 Processing: 20 233 45.6 225 412 Waiting: 18 230 45.1 222 410 Total: 20 234 45.7 226 412 Percentage of the requests served within a certain time (ms) 50% 226 # 中位數(shù)響應(yīng)時(shí)間 66% 245 75% 256 80% 263 90% 281 95% 302 98% 345 99% 367 100% 412 (longest request) # 最慢的請(qǐng)求耗時(shí)4.1 核心性能指標(biāo)解讀這是報(bào)告中最需要關(guān)注的部分直接反映了服務(wù)器的性能水平。Requests per second (QPS)每秒請(qǐng)求數(shù)這是衡量服務(wù)器吞吐量的黃金指標(biāo)。示例中426.08 [#/sec]表示服務(wù)器平均每秒能處理426個(gè)請(qǐng)求。這個(gè)值越高越好。在對(duì)比測(cè)試時(shí)例如優(yōu)化前后這是首要關(guān)注的指標(biāo)。Time per request (mean)這里有兩行容易混淆。第一行 (234.700 [ms] (mean))這是從單個(gè)用戶模擬客戶端視角看到的平均請(qǐng)求耗時(shí)。計(jì)算公式是總測(cè)試時(shí)間 * 并發(fā)數(shù) / 成功請(qǐng)求數(shù)。即2.347s * 100 / 1000 ≈ 0.2347s。它代表了用戶感受到的延遲。第二行 (2.347 [ms] (mean, across all concurrent requests))這是服務(wù)器平均處理每個(gè)請(qǐng)求所花費(fèi)的時(shí)間。計(jì)算公式是總測(cè)試時(shí)間 / 成功請(qǐng)求數(shù)。即2.347s / 1000 ≈ 0.002347s。這個(gè)值更接近服務(wù)器處理能力的理論值。這兩個(gè)值的關(guān)系是第一行 第二行 * 并發(fā)數(shù)。Failed requests / Non-2xx responses失敗請(qǐng)求數(shù)和非2xx響應(yīng)數(shù)。任何非零值都需要警惕。示例中失敗了15個(gè)且都是因?yàn)長(zhǎng)ength失敗響應(yīng)體長(zhǎng)度與第一個(gè)成功請(qǐng)求的長(zhǎng)度不一致或返回了非2xx狀態(tài)碼。這可能是服務(wù)器在高壓下出現(xiàn)了錯(cuò)誤如5xx或者響應(yīng)內(nèi)容不一致。必須結(jié)合日志排查原因。4.2 連接時(shí)間與百分比分布這部分?jǐn)?shù)據(jù)揭示了請(qǐng)求耗時(shí)的分布情況對(duì)于發(fā)現(xiàn)長(zhǎng)尾延遲至關(guān)重要。Connection Times分解了請(qǐng)求各階段的時(shí)間。Connect建立TCP連接的時(shí)間。如果這個(gè)值很大可能是網(wǎng)絡(luò)問題或服務(wù)器連接池滿了。Processing從發(fā)送完請(qǐng)求到接收完響應(yīng)的時(shí)間可以近似理解為服務(wù)器的處理時(shí)間。Waiting從發(fā)送完請(qǐng)求到接收到響應(yīng)第一個(gè)字節(jié)的時(shí)間TTFB - Time To First Byte。這個(gè)值很關(guān)鍵反映了服務(wù)器的即時(shí)響應(yīng)能力。Total整個(gè)請(qǐng)求的總耗時(shí)Connect Processing。mean[/-sd]表示平均值和標(biāo)準(zhǔn)差。標(biāo)準(zhǔn)差大說(shuō)明響應(yīng)時(shí)間波動(dòng)大性能不穩(wěn)定。Percentage of the requests served within a certain time響應(yīng)時(shí)間百分比分布。這是評(píng)估服務(wù)穩(wěn)定性和用戶體驗(yàn)的關(guān)鍵。50%中位數(shù)一半的請(qǐng)求在這個(gè)時(shí)間內(nèi)完成。示例是226ms。90%/95%/99%90%/95%/99%的請(qǐng)求在這個(gè)時(shí)間內(nèi)完成。我們尤其關(guān)注90%或95%線。示例中90%的請(qǐng)求在281ms內(nèi)完成但最慢的請(qǐng)求達(dá)到了412ms。如果99%線367ms比中位數(shù)226ms高很多說(shuō)明存在一些慢請(qǐng)求影響了部分用戶的體驗(yàn)需要優(yōu)化。在SLA服務(wù)等級(jí)協(xié)議中通常會(huì)承諾“95%的請(qǐng)求響應(yīng)時(shí)間低于X毫秒”。4.3 網(wǎng)絡(luò)與資源指標(biāo)Transfer rate網(wǎng)絡(luò)傳輸速率。示例6417.00 [Kbytes/sec]表示平均每秒從服務(wù)器接收了約6.4MB數(shù)據(jù)。這個(gè)值可以幫助判斷網(wǎng)絡(luò)帶寬是否成為瓶頸。如果這個(gè)值接近測(cè)試機(jī)或服務(wù)器的網(wǎng)絡(luò)帶寬上限那么性能瓶頸可能在網(wǎng)絡(luò)I/O上。Document Length / Total transferred反映了響應(yīng)數(shù)據(jù)的大小。過大的響應(yīng)體會(huì)消耗更多網(wǎng)絡(luò)帶寬和處理時(shí)間。分析心法如何從報(bào)告中發(fā)現(xiàn)問題看失敗率失敗率 0% 是最高優(yōu)先級(jí)問題。立刻檢查服務(wù)器日志看是超時(shí)、5xx錯(cuò)誤還是應(yīng)用層錯(cuò)誤??碤PS對(duì)比歷史基準(zhǔn)值或預(yù)期值。如果QPS過低說(shuō)明吞吐量不足??错憫?yīng)時(shí)間分布如果90%/95%線比50%線高很多例如3倍以上說(shuō)明服務(wù)有“長(zhǎng)尾”問題部分請(qǐng)求很慢??赡茉虬〝?shù)據(jù)庫(kù)慢查詢、緩存失效、外部依賴服務(wù)不穩(wěn)定、垃圾回收GC等??催B接時(shí)間如果Connect或Waiting時(shí)間異常高可能指向網(wǎng)絡(luò)問題、服務(wù)器負(fù)載過高導(dǎo)致無(wú)法快速接受連接或開始處理。結(jié)合監(jiān)控在壓測(cè)時(shí)同時(shí)使用top,vmstat,iostat等命令監(jiān)控服務(wù)器的CPU、內(nèi)存、磁盤I/O和網(wǎng)絡(luò)流量。如果QPS上不去但CPU已跑滿說(shuō)明是計(jì)算瓶頸如果CPU空閑但QPS低可能是I/O磁盤/網(wǎng)絡(luò)或外部服務(wù)瓶頸。5. 高級(jí)實(shí)戰(zhàn)技巧與腳本化壓測(cè)掌握了基礎(chǔ)用法和報(bào)告解讀我們可以進(jìn)行更貼近真實(shí)場(chǎng)景的復(fù)雜測(cè)試。5.1 模擬混合場(chǎng)景與參數(shù)化請(qǐng)求ab本身一次只能測(cè)試一個(gè)固定URL。但我們可以通過Shell腳本組合多個(gè)ab命令來(lái)模擬簡(jiǎn)單的混合場(chǎng)景。例如一個(gè)電商頁(yè)面70%的請(qǐng)求是瀏覽商品GET /product/{id}30%的請(qǐng)求是加入購(gòu)物車POST /cart。#!/bin/bash # simulate_mixed_traffic.sh BASE_URL“http://localhost:8080” CONCURRENCY50 TOTAL_REQUESTS1000 # 計(jì)算不同場(chǎng)景的請(qǐng)求數(shù) PRODUCT_REQS$((TOTAL_REQUESTS * 70 / 100)) CART_REQS$((TOTAL_REQUESTS * 30 / 100)) echo “ 開始?jí)簻y(cè)商品頁(yè) (70%) ” ab -n $PRODUCT_REQS -c $CONCURRENCY “${BASE_URL}/product/123” result_product.txt 21 echo “ 開始?jí)簻y(cè)購(gòu)物車接口 (30%) ” # 假設(shè)購(gòu)物車接口需要POST一個(gè)JSON body cat cart_data.json EOF {“productId”: 123, “quantity”: 1} EOF ab -n $CART_REQS -c $CONCURRENCY -p cart_data.json -T ‘a(chǎn)pplication/json’ -m POST “${BASE_URL}/cart” result_cart.txt 21 # 等待所有后臺(tái)任務(wù)完成 wait echo “ 壓測(cè)完成 ” echo “商品頁(yè)結(jié)果見 result_product.txt” echo “購(gòu)物車結(jié)果見 result_cart.txt”這個(gè)腳本同時(shí)啟動(dòng)了兩個(gè)ab進(jìn)程分別壓測(cè)不同的接口。需要注意的是這樣測(cè)試的是兩個(gè)獨(dú)立的流它們會(huì)競(jìng)爭(zhēng)測(cè)試機(jī)的網(wǎng)絡(luò)和端口資源并非嚴(yán)格的比例控制但可以作為一個(gè)近似的混合負(fù)載測(cè)試。對(duì)于URL路徑中的變量如/product/{id}ab無(wú)法直接參數(shù)化。一個(gè)變通的方法是準(zhǔn)備一個(gè)包含多個(gè)URL的文件然后寫一個(gè)循環(huán)但這樣每個(gè)ab進(jìn)程只測(cè)一個(gè)URL效率較低。對(duì)于復(fù)雜的參數(shù)化測(cè)試建議轉(zhuǎn)向 JMeter 或 Locust。5.2 持續(xù)壓力與梯度加壓測(cè)試我們經(jīng)常需要觀察系統(tǒng)在持續(xù)壓力下的表現(xiàn)或者逐步增加壓力找到性能拐點(diǎn)。持續(xù)壓力測(cè)試穩(wěn)定性測(cè)試# 持續(xù)壓測(cè)5分鐘并發(fā)100 ab -t 300 -c 100 -k http://localhost/api/health使用-t參數(shù)和-k啟用長(zhǎng)連接模擬穩(wěn)定持續(xù)的負(fù)載。梯度加壓測(cè)試尋找瓶頸點(diǎn)#!/bin/bash # step_load_test.sh URL“http://localhost:8080/api/data” DURATION60 # 每個(gè)梯度持續(xù)60秒 for concurrent in 10 30 50 80 100 150 200 do echo “” echo “正在測(cè)試并發(fā)數(shù): $concurrent” echo “” # 每個(gè)梯度壓測(cè)60秒輸出結(jié)果到獨(dú)立文件 ab -t $DURATION -c $concurrent -k “$URL” “result_${concurrent}.txt” 21 # 簡(jiǎn)單提取關(guān)鍵指標(biāo) grep “Requests per second:” “result_${concurrent}.txt” grep “Time per request:” “result_${concurrent}.txt” | head -1 grep “Failed requests:” “result_${concurrent}.txt” echo “” # 可選每個(gè)梯度之間休息10秒讓系統(tǒng)恢復(fù) sleep 10 done運(yùn)行這個(gè)腳本你會(huì)看到隨著并發(fā)數(shù)增加QPS和響應(yīng)時(shí)間的變化。當(dāng)并發(fā)數(shù)增加到某個(gè)點(diǎn)后QPS不再增長(zhǎng)甚至下降平均響應(yīng)時(shí)間急劇上升失敗率開始出現(xiàn)這個(gè)點(diǎn)就是系統(tǒng)當(dāng)前的一個(gè)性能拐點(diǎn)。5.3 結(jié)果數(shù)據(jù)的自動(dòng)化提取與分析手動(dòng)查看每個(gè)輸出文件效率低下。我們可以用grep,awk等命令快速提取關(guān)鍵指標(biāo)生成CSV格式便于導(dǎo)入Excel或數(shù)據(jù)分析工具進(jìn)行繪圖和對(duì)比。#!/bin/bash # extract_metrics.sh # 遍歷所有結(jié)果文件 for file in result_*.txt; do # 從文件名提取并發(fā)數(shù)例如 result_50.txt - 50 concurrency$(echo $file | grep -o -E ‘[0-9]’) # 使用awk提取關(guān)鍵指標(biāo) qps$(grep “Requests per second:” “$file” | awk ‘{print $4}’) # 提取用戶視角的平均時(shí)間第一行Time per request time_per_req$(grep “Time per request:” “$file” | head -1 | awk ‘{print $4}’) failed$(grep “Failed requests:” “$file” | awk ‘{print $3}’) # 提取90%響應(yīng)時(shí)間 p90$(grep “90%” “$file” | awk ‘{print $2}’) # 輸出CSV格式的一行 echo “${concurrency}, ${qps}, ${time_per_req}, ${failed}, ${p90}” done運(yùn)行./extract_metrics.sh metrics.csv你會(huì)得到一個(gè)包含并發(fā)數(shù)、QPS、平均響應(yīng)時(shí)間、失敗數(shù)、P90響應(yīng)時(shí)間的表格可以輕松地繪制出“并發(fā)數(shù)-QPS”和“并發(fā)數(shù)-響應(yīng)時(shí)間”曲線圖直觀地展示系統(tǒng)性能變化。6. 常見問題、性能瓶頸分析與排查指南在實(shí)際使用ab進(jìn)行壓測(cè)時(shí)你會(huì)遇到各種問題。下面是一些典型場(chǎng)景和排查思路。6.1 ab工具自身限制與誤區(qū)“Socket: Too many open files (24)” 錯(cuò)誤 這是Linux系統(tǒng)限制。ab每個(gè)并發(fā)連接都需要一個(gè)文件描述符。當(dāng)并發(fā)數(shù) (-c) 設(shè)置過高時(shí)可能超過用戶或系統(tǒng)的最大文件打開數(shù)限制。解決方案臨時(shí)提高限制ulimit -n 65535(僅對(duì)當(dāng)前Shell會(huì)話有效)。永久修改編輯/etc/security/limits.conf添加* soft nofile 65535和* hard nofile 65535重啟后生效。檢查系統(tǒng)全局限制cat /proc/sys/fs/file-max如果太小可以通過sysctl -w fs.file-max100000修改。測(cè)試機(jī)成為瓶頸 這是新手最容易忽略的問題。ab是單進(jìn)程的雖然能發(fā)起很多并發(fā)連接但其請(qǐng)求發(fā)送和接收統(tǒng)計(jì)都在一個(gè)進(jìn)程內(nèi)。如果測(cè)試的QPS非常高例如數(shù)萬(wàn)測(cè)試機(jī)本身的CPU可能被ab進(jìn)程占滿或者網(wǎng)絡(luò)帶寬被打滿導(dǎo)致無(wú)法對(duì)服務(wù)器施加足夠壓力測(cè)出的結(jié)果偏低。排查方法在運(yùn)行ab時(shí)另開一個(gè)終端在測(cè)試機(jī)上運(yùn)行top觀察ab進(jìn)程的CPU使用率。如果接近100%說(shuō)明測(cè)試機(jī)是瓶頸。運(yùn)行sar -n DEV 1查看網(wǎng)絡(luò)接口的吞吐量rxkB/s, txkB/s如果接近網(wǎng)卡帶寬上限也是瓶頸。解決方案使用性能更強(qiáng)的測(cè)試機(jī)或者采用分布式壓測(cè)用多臺(tái)機(jī)器同時(shí)跑ab。“apr_socket_recv: Connection reset by peer (104)” 錯(cuò)誤 服務(wù)器主動(dòng)重置了連接。這通常是因?yàn)榉?wù)器在高壓下崩潰、重啟或者達(dá)到了其連接數(shù)限制如Nginx的worker_connections主動(dòng)斷開了連接。排查方向立即檢查服務(wù)器日志如nginx error.log,dmesg查看是否有“out of memory”、“worker_connections are not enough”、“socket overflow”等錯(cuò)誤。6.2 服務(wù)器端性能瓶頸定位當(dāng)ab報(bào)告顯示QPS低、響應(yīng)時(shí)間長(zhǎng)或失敗率高時(shí)問題通常在服務(wù)器端。你需要登錄服務(wù)器進(jìn)行系統(tǒng)級(jí)和應(yīng)用級(jí)排查。系統(tǒng)級(jí)瓶頸排查使用命令行工具CPU瓶頸運(yùn)行top或htop。如果%us(用戶態(tài)CPU) 或%sy(系統(tǒng)態(tài)CPU) 長(zhǎng)期高于80%說(shuō)明CPU是瓶頸。進(jìn)一步用pidstat -u 1或top -Hp [pid]查看是哪個(gè)進(jìn)程或線程消耗CPU最多。內(nèi)存瓶頸運(yùn)行free -m或top。觀察available內(nèi)存是否充足。如果swap使用量 (Si,So) 在vmstat 1輸出中持續(xù)不為0說(shuō)明物理內(nèi)存不足發(fā)生了內(nèi)存交換性能會(huì)急劇下降。磁盤I/O瓶頸運(yùn)行iostat -x 1。關(guān)注%util(利用率)如果持續(xù)接近100%說(shuō)明磁盤I/O飽和。同時(shí)觀察await(平均等待時(shí)間)如果很高說(shuō)明磁盤響應(yīng)慢。網(wǎng)絡(luò)瓶頸運(yùn)行sar -n DEV 1。觀察網(wǎng)絡(luò)接口的吞吐量是否接近帶寬上限。也可以使用iftop查看實(shí)時(shí)流量。應(yīng)用級(jí)瓶頸排查Web服務(wù)器配置檢查Nginx/Apache的配置。關(guān)鍵參數(shù)包括worker_processes/StartServers工作進(jìn)程數(shù)建議設(shè)置為CPU核心數(shù)。worker_connections/MaxClients單個(gè)進(jìn)程的最大連接數(shù)。確保其值大于你的測(cè)試并發(fā)數(shù)。keepalive_timeout長(zhǎng)連接超時(shí)時(shí)間。適當(dāng)調(diào)大有助于提升性能。應(yīng)用服務(wù)器/框架查看應(yīng)用日志是否有大量錯(cuò)誤、超時(shí)或慢查詢?nèi)罩?。?duì)于Java應(yīng)用關(guān)注GC日志頻繁的Full GC會(huì)導(dǎo)致停頓。對(duì)于Python/Node.js等檢查是否有阻塞操作或內(nèi)存泄漏。數(shù)據(jù)庫(kù)/緩存這是最常見的瓶頸源。在壓測(cè)時(shí)監(jiān)控?cái)?shù)據(jù)庫(kù)的CPU、連接數(shù)、慢查詢。檢查緩存命中率是否過低。6.3 測(cè)試結(jié)果不穩(wěn)定的常見原因服務(wù)器有緩存第一次訪問和后續(xù)訪問性能差異巨大。解決方案在正式測(cè)試前先使用ab進(jìn)行幾輪預(yù)熱Warm-up讓服務(wù)器的緩存如數(shù)據(jù)庫(kù)查詢緩存、應(yīng)用層緩存熱起來(lái)然后再開始正式測(cè)試并記錄結(jié)果。外部依賴服務(wù)不穩(wěn)定如果你的應(yīng)用依賴其他API或服務(wù)它們的性能波動(dòng)會(huì)直接影響你的測(cè)試結(jié)果。盡量在隔離的環(huán)境如壓測(cè)專用數(shù)據(jù)庫(kù)、Mock外部服務(wù)下進(jìn)行測(cè)試。測(cè)試環(huán)境干擾測(cè)試環(huán)境與別人共享資源被搶占。盡量在獨(dú)立的、干凈的機(jī)器上進(jìn)行測(cè)試。JIT編譯影響針對(duì)Java/PHP等應(yīng)用服務(wù)器在啟動(dòng)初期JIT編譯器尚未優(yōu)化熱點(diǎn)代碼性能會(huì)較差。預(yù)熱一段時(shí)間后性能才會(huì)達(dá)到穩(wěn)定。這也是需要進(jìn)行預(yù)熱測(cè)試的原因之一。避坑技巧實(shí)錄一次真實(shí)的性能調(diào)優(yōu)案例我曾壓測(cè)一個(gè)返回JSON數(shù)據(jù)的API初始QPS只有120。ab報(bào)告顯示Time per request很高。服務(wù)器CPU使用率卻不高。首先我懷疑是網(wǎng)絡(luò)但sar顯示網(wǎng)絡(luò)流量很低。查看Nginx錯(cuò)誤日志發(fā)現(xiàn)大量*1024 worker_connections are not enough while connecting to upstream警告。原來(lái)是Nginx到后端應(yīng)用服務(wù)器的連接池滿了。調(diào)整Nginx配置增加了upstream塊中的keepalive連接數(shù)并增大了worker_connections。再次壓測(cè)QPS提升到300但CPU依然空閑。使用curl -w “\ntime_total: %{time_total}\n”手動(dòng)測(cè)試發(fā)現(xiàn)DNS解析時(shí)間占了大部分。原來(lái)API URL用的是域名每次請(qǐng)求Nginx都要解析。在Nginx的upstream中直接使用IP地址或者在Nginx的http塊中配置resolver并啟用緩存。最終壓測(cè)QPS穩(wěn)定在了850左右。關(guān)鍵教訓(xùn)性能瓶頸可能出現(xiàn)在任何環(huán)節(jié)客戶端、網(wǎng)絡(luò)、Web服務(wù)器、應(yīng)用服務(wù)器、數(shù)據(jù)庫(kù)。需要結(jié)合ab的報(bào)告和系統(tǒng)的全方位監(jiān)控像偵探一樣一層層排查。ab告訴你“病了”性能差而其他工具幫你找到“病因”瓶頸點(diǎn)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
他改变了拜占庭| 色99网| 99色免费观看全部| 91在线日| 激情开心五月天婷婷基地丁香社区| 99精品久久久久| 亚洲精品字幕在线观看| 欧美天堂久久| 婷婷五月激情小说| site:wpjngj.com| 色色综合网。| 超碰人人色| 久久综合伊人综合在线| 99色色热热| 综合久久五月| 无码人妻AV久久久一区二区三区| 亚洲视频五区| 另类激情中文| 淫荡综合网| 久久综合丁香| 99热第一页| 五月天色色色| site:901-07.com| 亚洲亚洲人成综合网络| 中文av网站| 思思久热6| 久久新| 婷婷99狠狠躁天天久久久九九九| 激情综合99| 天天操天天操综合| 亚洲久久视频| 99热99成人| 91超级碰人人操| 色播播五月天| 99热这里只有精品55| 噜噜精品| 日本五月天一页| 五月天色狠狠| 99热欧| AV免费在线网站| 7EzOBIhNq85TO| 色婷婷五月综合| 九九热在线精品| 中文aV网| 人人看人人草人人摸| 天天色天天搡| 色色色精品无码区| 亚洲综合丁香五月| 五月丁香婷婷激情在线| 伊人婷婷五月| 狠狠操婷婷| 婷婷五月天另类视频| 久久久999精品| 婷婷 伊人 久久| 日韩免费视频| 一二线视频 另类| 久久久久9| 淫视馆AV在线| 狠狠色综合网站久久久久| 日本五月天婷婷丁香| 99热99这里有免费的精品| 日本精品在线噜噜噜| 婷婷狠狠18禁久久| 婷婷丁香六月| 秋霞三级影视资源| 婷婷色情五月| 九九无码| 欧美性爱五月天| 亚洲中文字幕av| 9l视频自拍九色9l视频自拍九色9l社区| 久久六月天| 婷婷深爱五月| 色婷婷超碰| 婷婷内射视频在线| 日日操日日撸| 日韩人妻AV在线| 人妻内射一区二区在线视频| 国产成人精品一区二区三区视频 | 丁香五月婷婷影院| 久久久久激情| 久久综合五月天| 五月婷婷丁香| 婷婷五月欧美AA片免费| 亚洲AV综合网| 激情五月综合免费| 五月草影视| 五月丁香在线综合| 综合五月婷婷| 中文字幕婷婷9月天| 91人妻九色大屁股| 热99精品视频五月| 26UUU在线观看| 五月天婷婷五月| 色欲天天综合| 思思热在线播放| 一起草av| 玖玖精品婷婷| 欧美va视频不用播放器的va视频网| 五月丁香综合网色欲| 99热20| 婷婷伊人久久综合| 欧美va在线| 激情五月天社区| 中文字幕日产A片在线看| 先锋影音男人的天堂AV| 激情视频网址| 丁香六月婷婷姐网| 97人人草| 69久久久| 丁香六月天AV| 色九月婷婷丁香| 97色婷婷成人综合在线观看| 久久久久久久久18久久| 九九99精品视频在线观看| 天天拍天天做视频| 欧美影院婷婷| 亚洲国产精品VA在线看黑人| 综合久久影院| 婷婷夜夜操| 激情综合区| 午夜不卡久久精品无码免费| 人人人操| 亚洲成人黄色网| 在线观看中文字幕亚洲| WWW.HENHENL.| 婷婷五月天va| 超碰在线人人| 九九综合88| 99自拍视频网站| 亚洲开心激情网| 久久视频这里99| 五月丁香色婷婷| 欧美高潮9| 丁香色婷婷| 激情6月| 婷婷99狠狠躁天天久久久九九九| 色色免费网站| 亚洲九九视频| 人人操婷婷| 在线视频另类| 五月婷婷婷丁香播| yjzz亚洲国产| 五月天婷婷伊人| 综合久久久| 色五月丁香五| 五月婷婷免费视频| 黄桃AV无码免费一区二区三区| 伊人五月天97| 久狠日av| aaa久久久| 婷婷色网| 91干视频| 六月丁香六月婷婷欧美| 天天爽夜夜爽夜夜爽精品视频 | 久久九九热视频| 婷婷丁香六月天| 久久超级碰视频| 婷婷 激情 五月| 丁香婷婷六月天| 九九色网专区| 美女激情婷婷| 大色鬼综合| 色久女| 久久99性爱视频| 开心激情站| 亚洲综合色色色| 96色婷婷| 国产美女视频久| 99热伊人综合| 美国色五月天婷婷资源站| 极品少妇高潮啪啪AV无码| 超碰93在线观看| 久久免费婷婷视频| 大香人妻| 色五月播五月| 色玖玖玖| 五月丁香六月激情综合| 99色在线观看视频| 激情五月天婷婷在线网址发给我| 91聚色综合网| 自拍盗摄 另类| 日产精品一线二线三线芒果| 国产片色| 九九激情| 91久久色| 免费九九热| av中文在线| 玖玖综合色| 热久国产| 五月婷婷另类| 丰满女老板BD高清A片| 伍月婷丁香婷| 亚洲综合色成丁香五月色| 五月天婷五月天综合网在线观| 久久思思热| 97久久人人操| 八戒青柠影视剧在线观看| 婷婷另类开心| 99爱在线| 久久五月激情综合| 日本三级中国三级99人妇网站| 婷婷丁香宗合888| 五月婷婷激情综合| 少妇人妻人伦A片| 五月丁香六月婷婷亚洲激情综合| 五月婷婷久久爱| 久久一热| 婷婷五月天色| 在线免费视频caop| 91无码高清| 日本熟妇精品99| 婷婷啪啪| 五月丁香六月香综合激情| 精品九九久久| 婷婷色六月| Av狠狠色丁香婷| 日韩成人无码| 久久久无码精品成人A片小说 | 91丨九色丨东北熟女| 丁香久久| 91怕怕网| 久久激情网| 五月天欧美 另类小说| 六月丁花香啪啪激情欧美| 婷婷播5月| 激情爱爱网站超大免费| 青青草视频免费观看| 99热精地址| 开心五月婷婷婷美女| 99色在线观看免费| 九九色婷婷Av| 综合网亚洲| 俺去也在线官网| 欧美成人日韩| 亚洲亚洲人成综合网络| 美女精品一级不卡视频| 情欲综合网| 中文字幕欧美精品久久| 婷婷五月天社区| 国产精品A片| 欧美 日韩 成人 在线| 婷婷五月成人| 97香蕉久久超级碰碰高清版| 五月天中文网| 五月婷婷开心深| 婷婷丁香红五月91C| 丁香六月婷婷综合| 久久人人人人妻| 97在线刺激| 99ER热精品视频| 婷婷五月综合网| 欧美激情 日韩无码 婷婷 五月天| 五月婷婷久久爱| 亚洲人妻av| 99爱免费视频在线观看| 激情丁香婷婷六月天| 婷婷成人av| 五月天久久久| 91九色视频在线观看| 九九黄色网| 天堂色婷婷| 色五月婷婷九月| 婷婷亚洲色| 国产精产国品一二三在观看| 思思热视频在线观看| 97久久香草精品视频| 婷婷五月天丁香社区| 狠狠色综合网| 深爱激情五月网| 五月婷婷激情久久| 九九这里精品| 天天做综合| 国产精品色婷婷久久久精品| 丁香婷婷影院| 性爱激情综合网| www.99热这里只有精品| 97精品自拍| 婷婷久久亚洲| 99久久久国产精品免费蜜乳tv| 五月丁香综合啪啪| 色色色欧美| 婷婷色色丁香| 五月天丁香久久综合| 色五月综合| 色噜噜狠狠色综合网| 婷婷六月久久综合导航| 另类综合婷婷五月天欧美视频| 青青草搞屄视频网站| 女操碰| 97人人操人人拍| 亚洲欧美在线观看| 色五月激情五月| 亚洲最大视频| 色五月av| 日本人妻丁香婷婷久久寝取熟女五月| BT综合在线视频观看| 欲求不满的人妻| 婷婷情色开心五月天99| 色青青电影色五月| 在线播放 精品| 一级片操逼视频| 亚洲综合在线视频| 免费看欧美成人A片无码| 狠狠操狠狠爱| 亚洲色综合| 狼人久草| 99综合网| 国产精品99久久久久久久女警| 婷婷五月天久久久| 国外亚洲成AV人片在线观看| 久久婷婷五月天大香蕉| 九九Y精品热播| 91嫩草国产线观看亚洲一区二区| 91呦呦呦| 最新日韩久热免费视频看看| 丁香五月影视| 色综合播放| 狠狠操在线视频| 亚洲色婷婷五月| 这里只有精品1| 婷婷丁香五月婷婷| 天天射美女| 伊人久久大香网| 96精品久久久久久久久| 99色色网| 欧美综合五月天婷婷tin| 亚洲视频一区| 亚洲色情网站| 综合成人小说婷婷| 五月婷av| 91无码一起草| 免费亚洲成人电影AV| 久久久性爱网| 激情丁香婷婷五月天| 五月激情婷婷色| 俺去也在线官网| 日本熟女内射| 激情久久五月天| 日本天天色| 天天干,夜夜爽| 亚洲精品又粗又大又爽A片| 碰碰碰97国产| 人人操女人| 99在线播放视频| 欧美狠狠草| 欧美性爱5月天天天看| 色导航色婷婷五月天在线观看| 99免费视频| 色播五月网| 中字幕视频在线永久在线观看免费 | 五月丁香激情四射| 亚洲成av人影院| 97超级啪啪在线观看| 婷婷五月综合色中文字幕| 久久激情天堂| 激情久久五月网| 这里只有精品视频在线| 天天做夜夜爽| 99干免费视频| 婷婷五月色| 丁香五月天91| 精品99这里有| 99操免费视频| 丁香五月婷婷社区| 色五月丁香五月激情五月激情| 欧美日韩AAA| 色五月大香蕉| 久久视频婷婷| 五月婷婷开心综合| 99精品偷自拍| 丁香五月婷婷狠狠色| 丁香六月婷婷综合欧美| AA片在线观看视频在线播放| 色婷婷狠狠| 婷婷五月综合视频免费播放| 中文中文在线| 人人色婷婷五月天| 激情四射五月天| 香蕉五月婷婷| 丁香六月毛片| 1024日韩| 色婷婷手机在线| 99爱视频| www.爱婷婷.com| 色婷婷最爱五月| 五月天久久综合| 久久涩视频| 青青夜夜狠狠夜夜狠狠| 五月婷婷啪| 色五月婷婷天堂| Jh7Uf088VHafNm| 五月天婷婷色| 五月丁香亚洲校园欧美| 五月婷婷啪| 91疯狂操操操操| 成人色色视频| 丁香综合日产精品久久| 6080av| 久久综合激情| 激情网第九色| 五月婷综合| 婷婷久久99| 偷拍91九色| 另类综合国产| 婷婷丁香激情五月天色色色| 五月综合六月丁| 亚洲综合五月天| 婷婷久久综合| 成人AV在线电影| 色99在线| 久久性视频| 丁香五月性| 先锋资源91| 日本在线视频看se99| www,五月天激情| 影音先锋91在线资源站| 开心五月丁香婷婷| 欧美性爱专区| 婷婷色五月在线视频| 久久丁香网| 五月天婷婷丁香社区| 亲子乱AV-区二区三区| 五月丁香六月情婷婷久久| 中文字幕免费高清电视剧| 五月激情另类| 五月婷婷久久大片| 九九色综合九九色| 久久久久亚洲AV无码网影音先锋| 日本啪啪天堂| 无码网| 99热这里| 婷婷开心六月| 亚洲色图81p| 国产色网站| 久热 91| 激情久久五月天| 人人操AV| 538在线精品| 亚洲综合色五月| 丁香五月播播| 久月婷婷| 色伦专区97中文字幕| 婷婷综合网站| 中文字幕五月久久婷| 国产免费AV在线| 色久播播| 另类婷婷五月天啪帕帕| 99精品久久久久| 97人人操人人爽| 777精品久无码人妻蜜桃| 狠狠擼综合| www.99色在线| 日韩啪| 综合丁香婷婷五月天| 久久在线视频免费观看| 色色亚洲五月天| 大香蕉伊人99| 日本不卡高字幕在线2019| 精品色色色| 91互操| 狠狠综合网| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 国产成人网站在线观看| 影音先锋 91工厂| 欧美日韩精品一区二区三区钱| 久热AA| 久久er九九| 丁香五月天婷婷大香蕉| 九九精品热| 久久久人妻门| 五月丁香美女视频| ady狠狠入| 婷婷色五月天在线| 丁香五月激情五月开心五月| 99热首页| 免费不卡狠操美女视频网 | 精品久久99码| 激情超碰网| 五月天婷婷丁香| 色婷婷狠狠久久综合五月| XX久久| www久久久久久久久久久| 九九激情| 丁香婷婷啪啪啪| 91丨九色丨熟女丰满| 成人片黄网站色大片免费毛片| 精品久久这里热66| 狠狠狠狠狠操| 人人玩人人橾| AV在线免费网站| 性爱激情久久| 777精品久无码人妻蜜桃| 狠狠搞狠狠操| 婷婷五月天六月| 九九热99re8热免费观看| 91日综合欧美| 国产精品91抖高| 91精品久久久久久| 日本人人xxx| 色五月久久成人婷婷| 中文字幕丰满人妻无码专区| 亚洲成人AV一区在线观看| 人妻AV在线| 99热老司机| 丁香六月在线| 五月天精品综合在线| 婷婷亚洲五| 91久久综合亚洲噜噜成人在线| 天天干在线播放| 久/久精品99看9| 超碰人人操在线| 丁香六月婷婷激情| 丁香五月成人自拍| 国产婷婷婷| 精品久热| 天天做天天爱天天高潮| 一起草av| 色综合婷婷| jiZZdr| 丁香五月激情无码视频| 色色婷婷综合网| 色爱综合视频| 激情欧美婷五月| 天天插天天插天天日| 婷婷综合色| 成人午夜免费电影| 久久五月天色婷婷| 欧美久久网| 岛国操B不卡在线| 丁香啪啪中文字幕| 人人操碰| 色婷婷久久视屏| 日本9区视频| www。五月,com| 极骚大香蕉伊人| 香蕉久久av一区二区三区| 99热欧美| 久久人妻熟女一区二区 | 婷婷久久免费| 丁香五月综合激情啪啪| 97人人操在线| 九九色中文| 91操碰| 色婷婷五月天中文字幕| 亚洲五月天第一综合干| 婷婷五月激情丁香激情| 色大综合| 国产无套精品一区二区| 婷婷五月丁香色综合| 超碰在线超碰| 日日杆天天| AV中文在线| 亚洲欧洲中文日韩久久AV乱码| 2020久久婷婷五月| 午夜不卡成人一区二区| 激情五月天www| 激情五月婷婷六月丁香| 4438激情网| Av大香蕉| 性生生活大片又黄又| 另类丁香五月天区图| yirenjiqingshiping| 97AV人人插人人操| 久99久视频| 婷婷AV丁香| 99视频精品全部免费 在线| 五月婷在线视频免费播放| 91人人爽久久涩噜噜噜| 五月丁香六月成人| 丁香五月激情综合| 99情色五月天| 五月天婷婷影院| www。狠狠干。com| 丁香六月激情网C0W| 九九成人| 99精品免费| 一级黄色片看看| 98永久精品| 99色激| 九九热99精品| 色欲婷婷五月天丁香| 很很干天天干| 九九色婷婷Av| 五月丁香婷婷啪啪| 99热这里只有精品18| 日韩成人无码人妻| 九九色情网站| 9久视频| 天天天添天天操| 五月婷婷六月情| 久久xx| 九九精品系列| 台湾综合丁香五月蜜桃| 人人视频人人干人人做| AAA久久| 色综合网页| 五月婷婷啪啪| 色网站9| 91精品久久久久| 色五月成人网| 狠狠干综合| 久久久久视剧HD| 久久婷婷五月| 开心婷婷丁香五月| 99ER热精品视频| 激情婷婷在线中文字幕| 日本va欧美va欧美| 色婷婷电影| 9久久久| \\五月天婷婷激情| 婷婷久月| 亚洲视频无| 天天干狠狠操| 五月婷婷综合网| 婷婷五月丁香激情图片| 五月丁香久久久日婷婷久久婷婷日| 99爱精品| 97碰 在线视频观看| 99色色热| 久久激情综合| 97碰在线免费观看| 日本激情五月天‘| 精品夜夜澡人妻无码AV| 色五月激情综合网| 日本九九视频| 99热在线网站| 99热在线免费| 久久综合婷婷激情| 性 色 婷婷| 亚洲AV人人操| 99爱爱网| 五月激情综| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 综合五月天完整| 五月色情| 99精品视频在线6| 婷婷亚洲综合| 久久婷婷91| 日韩AAAAA| 蒲京久久无码视频| AV国产有码| 女人高潮内射99精品| 91碰碰| 97狠狠色| 日韩性视频| 久99久热| 激情综合国产| 亚欧州精品视频| 九色地址91视频| jizzdr| 日韩精品一曲二曲三曲四曲五曲| 4438亚洲欧美| 婷婷五月丁香色情| 久久caop| 天天肏天天爽夜夜爽| 9久热精品在线视频| 婷婷黄色五月天在线视频| 99色视频| 九九99视频精品| 大香蕉综合在线| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 五月婷婷少妇之| www.婷婷六月天| 婷婷五六月丁香| 天天日天天爽| 天天射综合网天天插| 激情婷婷丁香五月| 色五月首页| 婷婷丁香黄色| 久久婷五月综合| 9操在线| 色婷婷久久| 亚洲艹网| 国产乱妇乱子在线播视频播放网站| 婷婷 激情 五月| 夜夜操加勒比| 五月草视频| 五月婷丁香久久综合| 婷婷色色婷婷| 97操碰视频| 婷婷六月啪啪| 色综合久久伊伊婷婷五月| 密着浓厚中出乚交尾GvG935| 色五狠狠| 91婷婷色 | 五月丁香黄色视频| 人人操97| 色99色| 五月花婷婷丁香| 色综合狠狠色| 日韩婷婷| 五月丁香做爱视频| 色婷婷啪啪啪啪啪啪| 天天操天天操天天操天天操天天操| 亚洲色色爱| 国产女18毛片多18精品| 99资源在线视频| 色五月天影视| 婷婷丁香综合网| 永久精品| 99综合视频在线| WWW.亚洲无码| 大香蕉婷婷色| 天天干,天天日| 国产成人+亚洲+欧洲| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 亚州美女| 五月丁香综合中文| 婷婷综合网在线| 欧美男女婷婷| 天天爽天天爽| 五月婷婷六月丁香在线| 天天五月香欧美| 超碰自拍天堂| 999热这里只有精品| 日韩av网址大全| 日韩久久视频| 99在线资源视频| 亚洲综合99| 欧美综合激情五月| 色婷婷久久综合| 97操在线| 9l视频自拍9l九色成人| 综合网五月| 91精品熟女| 日本3级片一区2区| 国产精品久久久爽爽爽麻豆色哟哟| 婷婷综合激情| 亚洲丁香五月美女| 色五月天丁香| 色婷婷人人| 婷婷五月丁香五月| 婷婷久久精品| 99热国产在线| 免费的日逼视频| 97色啪| 我淫我色婷婷五月天激情四射| 亚洲精品视频在线播放| 激情VA视频| 婷婷丁香五月精品| 五月婷婷性爱| 91久久久久久久91| 色婷婷亚洲综合天堂| 国产精品大香蕉| 亚洲AV中文在线| 综合久久六月| 甈你aaaaa| 亚洲午夜精品久久久久久人妖| 综合五月丁香97| 亚洲狠9| 熟女人妻一区二区三区免费看| 亚洲六月婷婷| 亚洲国产成人AV在线| 亚洲A片成人无码久久精品青桔 | 欧美性丁香色色五月天干干| 激情五月天综合网| 婷香五月激情视频| 色播五月丁香| 婷婷五月天论坛| 开心激情色婷婷五月天| 91超级碰碰| 婷婷五月综合网| 激情婷婷九月| 丁香婷婷老司机久操| 国外亚洲成AV人片在线观看| 色香蕉影院| 东京热免费视频| 六月婷婷综合激情| 国产激情婷婷| 人人摸人人搞| 夜夜干天天干| 五月激情天天干| 五月天艹天天| 开心五月婷婷99| 五月婷婷黄色视频| 99丁香五月婷 | 97操操操| 色欲久久综合| 五月丁香综合啪啪| 操碰91| 99精品国产热久久91色欲| 99视频网址| 91丨九色丨丰满人妖| 激情中文在线| 九月丁香婷婷综合| 成人av免费观看| 九九色综合九九色| 这里只有精品久久| 开心激情站| 亚州美女| 影音先锋 萱萱| 欧美日本国产| 91窝窝| 成人在线精品| 国产avapp 网| 五月天婷婷基地| 久久99热在线观看| 天天插天天爱| 丁香蜜臀黄色婷婷五月天| 丁香色六月婷婷| 99玖玖视频| 六月色国内综合| 日本欧美成人片AAAA| 九九视频免费| 另类五月婷婷| 丁香五月在线观看| 五月丁香综合| 亚洲综合色色| 97色97干| 久久婷婷久久| 一区二区免费看| 蜜桃人妻无码AV天堂三区| 99国产欧美视频| 少妇人妻综合色6699| 色婷婷成人色网| 欧美婷婷五月天综合| 精品人妻午夜一区二区三区四区| 午夜丁香六月婷| 欧美日韩999| 操笔无码| 夜夜爽77777妓女免费下载| 电影爱拉战争免费观看| 99久久99久久综合| 亚洲视频色色| 国产3p露脸普通话对白| 白天AV月月| 色婷婷六月| 婷婷丁香五月天亚洲| 五月J香蕉婷婷| 天天天天做夜夜夜夜做| 丁香五月天影院| 桃色激情网| 国产午夜精品一区二区| 96精品久久久久久久久| 色停停香蕉视频| 婷婷色导航| 日日噜狠狠色综| 噼里啪啦完整版中文在线观看| 五月丁香六月婷婷综合免| 中国丰满熟女A片免费观| 思思热在线精品视频网站| 热99视频精品在线| 亚洲99精品欧美一区| 大香蕉人人人| 91色婷婷综合久久中文字幕二区| 亚洲综合激情五月久久| 人妻久久久久久| 亚洲瑟瑟精品在线| 91怕怕网| 伊人玖玖网| 99re久久| 国产成人精品一区二三区熟女在线| 5月婷婷性视频| 久久久五月天婷婷| 久久综合影院 | 99色视频| 六月婷婷亚洲| 很很色丁香久久停停| 大香蕉九操| 色欲婷婷夜夜| 五月天大香焦| 日韩啪| 天天插天天狠| 丁香五月天AV在线| 这里只有精品视频在线| 婷婷五月激情四月综合| 婷婷中合| 亚洲精品在线视频| 婷婷激情丁香五月天综合| 超碰人妻公开在线| 婷婷中文字幕| 五月天国产成人| 五月天婷婷狂暴白浆| 五月花婷婷| eeuus五月婷| 玖玖伊人网| 欧美久久婷婷| 噜噜噜色噜噜| 五月丁香激情综合啪啪| www久久久| 久久国产性爱A V| 丰满熟女人妻一区二区三| 北京熟妇搡BBBB搡BBBB| 色六月婷婷| 综合色色色| 99成人小视频| 国产成人+综合亚洲+天堂| 成人国产网站在线免费看| 激情小说五月天| 亚洲激情99| 超热久碰.com| 五月天激情小说网| 色五月亚洲| 日韩抽插操逼| 色狠狠综合入口| 伊人无码高清| 亚洲色图五月丁香| 色色日韩无码| 日本一级| 欧美三级韩国三级日本三斤| 天天爽人人综合免费7799| 婷婷成人小说综合| 丁香五月天啪啪| 欧美久久久中文字幕| 天天插天天插天天插天天插| 色色免费网战视频| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 黄网在线播放| 天天摸.天天mo| 欧美激情综合| 一起草AV| 丁香五月天堂网| aaa丁香五月天| 日韩啊啊啊| 99激情网| 久久激情综合| 婷婷久久夜| 中文字幕日本最新乱码视频| 国产五月丁香在线| 色99欧洲色19| 这里只有精品久久| 久久婷婷91| 亚洲aV写真天天综合网久久| 天天激情综合| 丁香五月手机在线| 91久久人人操| 成人视频网| 亚洲超碰在线| 超碰爱爱爱| 五月婷婷开心综合| 五月开心六月婷婷在线播放网站| 婷婷午夜精品久久久| 久热在线观看视频9| 屁股翘好撅高迎合跪趴| 五月丁香六月欧美综合网站| 久久久久网站| 五月丁香色| 六月婷色六月| 日本www五月婷婷| 亚洲九九夜夜| 色婷婷久久综合久色综| 狠狠色婷婷色| 91九色偷拍| 色伦专区97中文字幕| 色噜噜狠狠色综合日日| Av九九| 五月天婷婷成人网| 无码九九九九| 亚洲综合九九| 激情六月五月婷婷综合网| 91丁香色| 大香蕉欧美在线| 欧美噜噜噜草| 播丁香五月婷婷欧美| 无码激情AAAAA片-区区| 丁香六月婷| 久久久免费精彩视频| 五月停亭六月,六月停亭的英语 | 色婷婷综合在线| 精品五月花| 婷婷亚洲在线| tingtingcaobi| www久久久久久久久久久| 在线观看国产高清视频免费网站 | 婷婷五月综合免费在线| 久9久视频精品| 五月成人丁香av91| 大香伊人久色| 亚洲深喉aV| 美国少妇性做爰| 欧美性生交XXXXX无码小说| 97人人射| 五月激情天| 丁香六月婷婷久久综合| 天天干天天拍| 做爰丰满少妇1313| 中文中文在线| 亚洲激情视频网| 99ri视频在线观看| 99热99在线| 夜夜爽天天干| 这里只有视频精品| 超碰成人AV| 人妻丰满精品一区二区A片| 色无码| 永久99免费视频网站| 日本三级网址| 天天噜噜| 99九九在线| 亚洲成人五月天| 五月丁香啪| 噼里啪啦完整版中文在线观看| 蜜臀AV在线观看| 丁香婷婷九月在线| 99热九九九九| 九九视屏| 91久久久久久久久| 丁香婷婷六月婷婷六月婷婷六月婷婷| 丁香五月天人体| 久热这里只有精品视频6| 婷婷综合爱| AA丁香综合激情| 成人AV免费观看| 99免费视频| 小香蕉av| 婷婷久久女人| 久久久五月五丁香| 99色色热| 欧美婷| 天天日夜夜曹| 九九热欧美| 九九在线视频| 久久久日韩特色特黄AAAA| 《久久综合九色综合97婷婷| 欧美熟女99| 国产 A片 自拍| 情婷婷五月天| 激情人妻综合| 五月花婷婷| 超碰精品在线| 天天色综合网1| 婷婷丁香五月天在线视频| 久久曰曰| 综合激情在线视频| 激情五月婷婷啪啪| 精品日本视频444| 欧美在线| 狠狠香蕉| 欧美精品18| Aaa久久| 天天综合网91| 天色综合网站| 少妇人妻人伦A片| 啊v视频在线观看| 激情五月婷婷丁香综合网| 9久久久久久久久久久| 五月激情婷婷开心五月| 色婷婷视频在线| 婷婷激情社区| 婷婷五月综合性爱| 激情久久肏屄视频| 五月天综合区| 99久在线精品99re5热视频| 日韩成人电影AV| 久久艹网| 天天摸天天舔在线视频| 天天狠狠干| 五月花免费视频| 九月丁香婷婷网| 久操热| 夜夜操天天爽| 激情五月六月婷婷| 婷婷日韩| 丁香亭亭久久| 婷婷六月激情| 久草热8精品视频在线观看| 丁香激情五月少妇| 久热这里只有精品在线观看 | 亚洲经典小视频| 色情五月停停丁香| 天天婷婷| 婷婷丁香五月综合| 久久在这里99| 九九热超碰| 日本久久天堂| 久久久亚洲精品一区二区三区浴池| 久热在线中文字幕色999舞 | 2025最新亚洲激情在线| 婷婷久久夜| 另类小说婷婷色| 九九综合久久| 丁香婷婷深情五月亚洲| 五月婷婷日| 色婷婷久久| 激情久久久| 666555。COm毛片| 久久丁香婷| 日韩无码乱轮| 91超碰人人操| 99热这里只有精品21| 色五月婷婷丁香婷婷| 天天干狠狠艹| 26uuu成人网| 色色综合网www| 天天 青草 制服丝袜 在线| 丁香五月天婷婷中文字幕| 欧美黄色一级录像| 99色区| 九九自拍网| 91窝窝| 婷婷五月天亚洲精品| 欧美精品18| 97人人搞| 五月丁香六月婷婷姐| 五月婷婷六月激情| 4399在线观看免费高清电视剧| 91婷婷色五月| 91性人人| 99热中文字幕久久| 国产偷人爽久久久久久老妇APP | 99视频这里有精品| 91丨九色丨首页| 婷婷色香六月综合激情| 天天干天天日天天操| 任你日视频| 欧美激情五月天| www.玖玖婷婷在线| 丁香五月在线观看完整版| 欧美成人精品A片免费一区99 | 六月欧美综合色情| 丁香色婷婷五月天| 91婷色| 天天插天天插| 亚洲成人AV在线| 国产午夜精品久久久观看| 综合狠久久| 精品九九视频| 在线看的免费网站| 就99这里只有精品| 亚洲AV成人在线| 这里只有精品免费在线视频| 五夜婷婷| 色综合久久88色综合天天99| 日韩在线99| 日熟女| 婷婷色操| 婷婷综合网性| 99热在线看片| 97色色综合| 久草狼人| 超碰97干| 午夜激情综合| 91操网| 99色在线观看| 久久九九综合| 操骚货在线| 精热在线综合网| 亚洲五月婷婷| 激情综合五月婷| 婷香五月激情视频| 五月天无码| 色色色999| 9999热精品在线免费播放| 高清一区二区三区日本久| 亚洲激情电影五月天色婷婷丁香一起草 | 大香蕉伊人久久| 丁香六月五月天| 99精品无码视频| 少妇高潮呻吟A片免费看软件| 五月天开心婷婷久久| 久久人妻熟女一区二区| 79色色免费| 伊人大香蕉毛片| 天天插综合| 久久婷婷丁香| 91精品91久久久中77777| 五月婷婷与六月丁香图片激情| 五月色网| 玖玖九九99| 久久婷五月影院| 婷婷五月天在线观看| 在线视频另类| 激情99| 狠狠操.COM| 五月天丁香看婷婷| 五月天婷婷色色网| 无码se| 亚洲日本韩国| 新精品99| 亚洲成人网站在线播放| 五月色综合| 色婷婷婷综合五月天| 婷婷五月精品| 丁香五月人妻| 9er热在线精品视频| 精品国产AV色一区二区深夜久久 | 人人草人人爱| BlACKEDRAW视频一区二区| 综合激情站| 99re6久热只有精品6在线直播| 日韩国产在线精品| 综合色五月天| 香蕉AV福利精品导航| 五月天激情综合首页| 俺去也五月天婷婷| 7超碰自拍| 色婷婷大香蕉| 亚洲小电影在线观看黄999| 亭亭五月丁香五月天激情| 中文字幕精品推荐免费在线观| 亚洲激情综合五月婷婷啪啪| 91精品久久久久久久久久| 免费成人va| 年轻的妺妺伦理HD中文| www.狠狠艹| 99久久9| 成人草榴视频| 日韩精品一区二区亚洲AV观看 | 婷婷色在线视频| 综合丁香婷婷五月天| 九九久久9 9在线观看| 色噜噜狠狠色综合网| 激情婷婷五月天网址| 亚洲国产黄色电影| 99re在线观看| 天天精品视频在线观看视频| www久久艹| 无码日本精品XXXXXXXXX | 色综合伊人网| 五月天激情网图片 - 百度| 9久操| 久久婷婷精品| 天天日综合| 99色最新在线视频| 青青草Avb在线| 丁香婷婷激情| 婷婷丁香五月亚洲17cao| 美女天天久久| 丁香六月婷婷开心婷婷网| www.久久99| 婷婷五月天狠狠色| 千人斩操逼| 六月婷婷综合久久| 97超碰免费超级在线观看| 五月丁香好婷婷A片网| 天天做综合网色综合| 天天摸天天肏| 婷婷五月丁香色色| 婷婷亚洲综合| 99热这里只有精品中文字幕| 狠狠88综合久久久久噜噜噜| 久久婷综合网| 欧美顶级少妇做爰HD| 狠狠久久婷五月| 丁香婷婷色六月| 99久久丝| www.99热精品| 婷婷丁香六月| 99热国产国产| 欧美色必爱| 亚洲天堂啪啪| 色婷婷成人做爰A片免费看网站 | 图片区 小说区 区 亚洲五月 | 亚洲成AV人片在线观看| 激情综合五月天| 久久久久久久丁香五月天婷婷| 国产做爰视频免费播放| 丁香桃色网| 欧美日韩五月婷婷| 婷婷五月天成人| 操操人人| 玖玖热视频| 激情综合网亚洲色图| 丁香六月婷婷久久综合| 欧美丁香五月| 亚洲综合五月天婷婷| 大香蕉综合在线| 啪啪99| 色婷婷久久综合中文久久一本| 激情丁香网| 国产片天天爽夜夜爽| 五月婷婷深深爱| 日韩操啪| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 丁香婷婷五月天色综合| 日本综合色色|