欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Zabbix監(jiān)控Nginx:stub_status+UserParameter配置實(shí)戰(zhàn)指南

Zabbix監(jiān)控Nginx:stub_status+UserParameter配置實(shí)戰(zhàn)指南 Nginx 監(jiān)控這件事很多人一開始想復(fù)雜了。Zabbix 要拿到 Nginx 的運(yùn)行狀態(tài)并不需要裝額外探針也不一定非要解析訪問日志最穩(wěn)定的入口其實(shí)是 Nginx 自帶的 stub_status 狀態(tài)頁(yè)。只要把它打開再用 Zabbix Agent 把里面的幾個(gè)數(shù)字讀回來就能完成請(qǐng)求量、并發(fā)連接、讀寫狀態(tài)的監(jiān)控再配上觸發(fā)器和圖形連接數(shù)異常、請(qǐng)求速率突變這些情況都能直接看到。這篇內(nèi)容按實(shí)際落地順序來拆先講 Nginx 狀態(tài)頁(yè)每個(gè)字段是什么意思再講怎么讓 Zabbix Agent 把數(shù)據(jù)采回來然后是 Zabbix 前端里的監(jiān)控項(xiàng)、觸發(fā)器和圖形怎么配最后做一輪實(shí)測(cè)把請(qǐng)求打起來再去看統(tǒng)計(jì)結(jié)果怎么解讀。適合剛接觸 Zabbix 監(jiān)控 Nginx 的人也適合已經(jīng)在用 shell 腳本采集、但想轉(zhuǎn)成 Zabbix 規(guī)范化監(jiān)控的人。1. 先搞清楚 nginx 狀態(tài)頁(yè)Zabbix 監(jiān)控 Nginx 的數(shù)據(jù)從哪來1.1 stub_status 輸出字段對(duì)照Z(yǔ)abbix 監(jiān)控 Nginx底層數(shù)據(jù)源不是日志而是 Nginx 自己維護(hù)的計(jì)數(shù)器。只要在 Nginx 配置里啟用 stub_status訪問狀態(tài)頁(yè)就能看到一小段純文本Active connections: 291 server accepts handled requests 16630948 16630948 31070465 Reading: 6 Writing: 179 Waiting: 106這段文本雖然短但每個(gè)字段都有明確含義。字段含義類型Active connections當(dāng)前活動(dòng)連接數(shù)瞬時(shí)值acceptsNginx 啟動(dòng)以來累計(jì)接受的客戶端連接總數(shù)累計(jì)值handled成功處理的連接總數(shù)累計(jì)值requests累計(jì)處理的客戶端請(qǐng)求總數(shù)累計(jì)值Reading正在讀取請(qǐng)求頭的連接數(shù)瞬時(shí)值Writing正在讀取請(qǐng)求體、處理請(qǐng)求或?qū)戫憫?yīng)的連接數(shù)瞬時(shí)值Waiting空閑的 keep-alive 連接數(shù)瞬時(shí)值第一行Active connections是當(dāng)前活動(dòng)連接數(shù)。注意它包含后面 Reading、Writing、Waiting 三類的總和所以只要 Nginx 活著這個(gè)數(shù)值通常不會(huì)是 0。第二行是固定表頭server accepts handled requests。第三行的三個(gè)數(shù)字分別對(duì)應(yīng)表頭都是只增不減的累計(jì)計(jì)數(shù)器只有 Nginx 重啟才會(huì)歸零。第四行的 Reading、Writing、Waiting 是三個(gè)瞬時(shí)值。一個(gè)請(qǐng)求從進(jìn)入到結(jié)束通常會(huì)依次經(jīng)過 Reading、Writing 兩個(gè)階段最后進(jìn)入 Waiting或者直接關(guān)閉連接。這幾個(gè)字段之間的換算關(guān)系是Active connections Reading Writing Waiting。理解這個(gè)關(guān)系后面看圖形和觸發(fā)器才不會(huì)被數(shù)字騙到。1.2 哪些指標(biāo)值得接進(jìn) Zabbix不是每個(gè)字段都必須接進(jìn)來但下面這幾個(gè)我建議至少都要有。請(qǐng)求速率是最核心的指標(biāo)對(duì)應(yīng) requests 計(jì)數(shù)器看的是單位時(shí)間內(nèi)處理了多少請(qǐng)求也就是平時(shí)說的 QPS。只看累計(jì)值沒有意義必須換算成速率。新建連接速率對(duì)應(yīng) accepts 計(jì)數(shù)器看的是單位時(shí)間內(nèi)來了多少新連接。這個(gè)值和 QPS 的區(qū)別在于keep-alive 生效的情況下一個(gè)連接上可以連續(xù)發(fā)多個(gè)請(qǐng)求所以請(qǐng)求速率通常遠(yuǎn)大于連接速率。當(dāng)前并發(fā)連接數(shù)對(duì)應(yīng) Active connections是最直觀的負(fù)載指標(biāo)。但它不能單獨(dú)說明問題必須結(jié)合 Reading、Writing、Waiting 一起看。Reading 如果持續(xù)偏高說明有一些客戶端請(qǐng)求頭發(fā)得很慢或者請(qǐng)求頭一直沒發(fā)完。Writing 持續(xù)偏高說明 Nginx 正在大量往客戶端寫響應(yīng)這時(shí)候要關(guān)注帶寬和上游服務(wù)能不能跟上。Waiting 高反而是正?,F(xiàn)象說明大量連接是空閑 keep-alive對(duì)靜態(tài)資源或高并發(fā) Web 服務(wù)很常見。把這些字段全部接進(jìn) Zabbix才算真正把 Nginx 的運(yùn)行狀態(tài)看完整。2. 環(huán)境準(zhǔn)備與最小配置讓 Nginx 先吐出狀態(tài)數(shù)據(jù)2.1 確認(rèn) Nginx 是否支持 stub_statusstub_status 不是所有 Nginx 都默認(rèn)包含。編譯 Nginx 時(shí)如果沒有加--with-http_stub_status_module這個(gè)功能就不存在配置寫了也會(huì)報(bào)錯(cuò)。先檢查當(dāng)前 Nginx 有沒有這個(gè)模塊nginx -V 21 | grep -o http_stub_status_module如果輸出里有http_stub_status_module說明支持。如果沒有有兩個(gè)方向重新編譯 Nginx 時(shí)加上這個(gè)模塊或者換成已經(jīng)默認(rèn)包含該模塊的發(fā)行版軟件包。很多發(fā)行版和官方倉(cāng)庫(kù)自帶的 Nginx 都已經(jīng)開啟了這個(gè)模塊但自編譯版本一定要單獨(dú)確認(rèn)。這里提醒一下執(zhí)行nginx -V時(shí)編譯參數(shù)是在標(biāo)準(zhǔn)錯(cuò)誤輸出里所以我加了21把錯(cuò)誤輸出重定向到同一路。很多人第一次只看第一行 version以為不支持其實(shí)是沒看全。2.2 Nginx 狀態(tài)頁(yè)配置示例與安全限制確認(rèn)模塊存在后在 Nginx 的 server 配置里加一個(gè) location。以下是一份最小配置server { listen 80; server_name _; location /nginx_status { stub_status on; access_log off; allow 127.0.0.1; deny all; } }這里最關(guān)鍵的是allow和deny。stub_status 本身沒有任何認(rèn)證機(jī)制任何人能訪問就能看到你的連接數(shù)、請(qǐng)求量和連接狀態(tài)。如果把狀態(tài)頁(yè)暴露到公網(wǎng)內(nèi)部運(yùn)行信息等于公開了。所以默認(rèn)只允許本機(jī)訪問是最穩(wěn)妥的做法。如果你的 Zabbix Agent 和 Nginx 不在同一臺(tái)機(jī)器上不要直接把deny all刪掉應(yīng)該改成只允許采集機(jī) IP 訪問location /nginx_status { stub_status on; access_log off; allow 192.168.1.100; deny all; }改完配置先檢查再重載nginx -t nginx -s reloadnginx -t這一步不能省。stub_status 的 location 如果配置在錯(cuò)誤的上下文里或者和已有配置沖突reload 會(huì)直接失敗。2.3 用 curl 驗(yàn)證狀態(tài)頁(yè)是否生效配置完成之后先在 Nginx 所在機(jī)器上驗(yàn)證curl -s http://127.0.0.1/nginx_status如果能看到開頭那段文本說明狀態(tài)頁(yè)已經(jīng)可以訪問了。如果返回 404說明 location 沒生效或者配置在了錯(cuò)誤的 server 塊里。如果返回 403大概率是deny all生效了而你的請(qǐng)求來源 IP 不在allow列表里。這里有個(gè)容易忽略的點(diǎn)如果你的 Nginx 不是監(jiān)聽 80 端口或者同時(shí)有 HTTPSURL 里要帶上實(shí)際協(xié)議和端口例如http://127.0.0.1:8080/nginx_status。先花一分鐘把 curl 這步跑通后面會(huì)省很多時(shí)間。3. Zabbix Agent 接入一條 UserParameter 和一個(gè)監(jiān)控項(xiàng)的關(guān)系3.1 安裝與基礎(chǔ)配置 Zabbix AgentZabbix Agent 是部署在 Nginx 所在機(jī)器上的采集程序。它的作用和 Nginx 狀態(tài)頁(yè)互補(bǔ)狀態(tài)頁(yè)負(fù)責(zé)提供數(shù)據(jù)Agent 負(fù)責(zé)把數(shù)據(jù)讀出來再交給 Zabbix Server。安裝方式要看你的系統(tǒng)和 Zabbix 版本直接使用官方倉(cāng)庫(kù)安裝 zabbix-agent 即可。裝完需要修改配置文件常見要確認(rèn)三個(gè)參數(shù)Server192.168.1.10 ServerActive192.168.1.10 Hostnameweb01Server是允許給這臺(tái) Agent 下發(fā)被動(dòng)采集請(qǐng)求的 Zabbix Server 地址。ServerActive是主動(dòng)上報(bào)要連接的 Server 地址。Hostname是 Agent 上報(bào)時(shí)使用的名字在 Zabbix 前端添加主機(jī)時(shí)要保持一致特別是主動(dòng)檢查時(shí)Hostname 對(duì)不上會(huì)直接導(dǎo)致數(shù)據(jù)丟失。這里解釋一下被動(dòng)檢查和主動(dòng)檢查的區(qū)別。被動(dòng)檢查是 Zabbix Server 主動(dòng)連接 Agent 的 10050 端口要數(shù)據(jù)主動(dòng)檢查是 Agent 主動(dòng)連接 Server 的 10051 端口上報(bào)數(shù)據(jù)。自定義 UserParameter 兩種方式都支持但排查問題時(shí)的思路不一樣后面會(huì)詳細(xì)說。改完配置啟動(dòng)服務(wù)systemctl restart zabbix-agent systemctl status zabbix-agent3.2 通過 UserParameter 把 nginx_status 轉(zhuǎn)成監(jiān)控項(xiàng)Zabbix Agent 默認(rèn)不認(rèn)識(shí) nginx 的 key需要通過 UserParameter 來定義。UserParameter 的格式很簡(jiǎn)單一個(gè) key一個(gè)命令A(yù)gent 執(zhí)行命令把標(biāo)準(zhǔn)輸出作為監(jiān)控值返回。在/etc/zabbix/zabbix_agentd.d/目錄下創(chuàng)建一個(gè) nginx.conf寫入以下內(nèi)容UserParameternginx.active,/usr/bin/curl -s --max-time 3 http://127.0.0.1/nginx_status | awk /Active connections/{print $3} UserParameternginx.accepts,/usr/bin/curl -s --max-time 3 http://127.0.0.1/nginx_status | awk NR3{print $1} UserParameternginx.handled,/usr/bin/curl -s --max-time 3 http://127.0.0.1/nginx_status | awk NR3{print $2} UserParameternginx.requests,/usr/bin/curl -s --max-time 3 http://127.0.0.1/nginx_status | awk NR3{print $3} UserParameternginx.reading,/usr/bin/curl -s --max-time 3 http://127.0.0.1/nginx_status | awk /Reading/{print $2} UserParameternginx.writing,/usr/bin/curl -s --max-time 3 http://127.0.0.1/nginx_status | awk /Writing/{print $4} UserParameternginx.waiting,/usr/bin/curl -s --max-time 3 http://127.0.0.1/nginx_status | awk /Waiting/{print $6}逐個(gè)拆一下。每行都是一個(gè) key例如nginx.active。后面的命令先用 curl 抓取狀態(tài)頁(yè)再用 awk 提取對(duì)應(yīng)字段。awk 的寫法要特別注意。第三行的 accepts、handled、requests 是三個(gè)連續(xù)數(shù)字所以分別用NR3定位到第三行再打印第 1、2、3 列。Reading、Writing、Waiting 在同一行里所以要先用正則匹配到這一行再打印對(duì)應(yīng)列。Writing 是第 4 列Waiting 是第 6 列這個(gè)順序很多人會(huì)弄錯(cuò)。命令里的--max-time 3不是隨便加的。如果狀態(tài)頁(yè)異常導(dǎo)致 curl 一直掛住Agent 執(zhí)行這個(gè) UserParameter 就會(huì)卡住嚴(yán)重時(shí)會(huì)占滿 Agent 的檢查線程影響這臺(tái)機(jī)器上的其他監(jiān)控項(xiàng)。加上超時(shí)時(shí)間最壞 3 秒也會(huì)退出。改完配置后重啟 Agentsystemctl restart zabbix-agent3.3 先用 zabbix_get 還是前端測(cè)試功能配置完 UserParameter不要急著去 Zabbix 前端創(chuàng)建主機(jī)先在命令行驗(yàn)證一遍 key 能不能查到值。在有 zabbix-get 工具的機(jī)器上執(zhí)行它通常在 Zabbix Server 或 Proxy 上zabbix_get -s 192.168.1.20 -k nginx.requests返回一個(gè)數(shù)字說明這條鏈路通了。如果提示 Not supported 或者沒有輸出先不要懷疑 Zabbix 配置回到 Nginx 機(jī)器上直接執(zhí)行那條 UserParameter 命令看有沒有結(jié)果。這里有個(gè)容易踩的坑你手動(dòng)執(zhí)行命令時(shí)用的是 root 用戶而 Zabbix Agent 運(yùn)行時(shí)的用戶通常是 zabbix兩個(gè)用戶的環(huán)境變量、權(quán)限、可執(zhí)行路徑可能都不一樣。比如 zabbix 用戶沒有權(quán)限訪問某個(gè)目錄或者 SELinux 攔截了 zabbix 用戶執(zhí)行 curl都會(huì)導(dǎo)致手動(dòng)執(zhí)行正常、Agent 執(zhí)行失敗。新版 Zabbix 前端在監(jiān)控項(xiàng)配置里也有一個(gè) Test 按鈕可以直接測(cè)試當(dāng)前主機(jī)上的 key返回結(jié)果和報(bào)錯(cuò)更直觀。實(shí)際排查時(shí)我一般按三個(gè)地方順序看Agent 所在機(jī)器手動(dòng)執(zhí)行命令、zabbix_get 從 Server 端測(cè)試、前端 Test 按鈕看報(bào)錯(cuò)。4. 創(chuàng)建主機(jī)、監(jiān)控項(xiàng)、觸發(fā)器數(shù)據(jù)到告警的完整鏈路4.1 在 Zabbix 前端添加主機(jī)與監(jiān)控項(xiàng)命令行驗(yàn)證通過后進(jìn)入 Zabbix Web 界面按照 配置 → 主機(jī) → 創(chuàng)建主機(jī) 的路徑添加一臺(tái)主機(jī)。填寫主機(jī)名時(shí)要注意Agent 配置文件里的 Hostname 和這里的主機(jī)名必須一致否則主動(dòng)檢查會(huì)失敗。接口配置里選擇 Agent填寫 Nginx 所在機(jī)器的 IP 和默認(rèn)端口 10050。添加監(jiān)控項(xiàng)有兩條路線。一條是直接鏈接模板Zabbix 模板庫(kù)里有 Nginx by HTTP、Nginx by Zabbix agent 2 這類現(xiàn)成模板不同版本的模板數(shù)量和名稱會(huì)有差異底層采集方式也是去讀狀態(tài)頁(yè)適合不想自己維護(hù) key 的人。另一條是手動(dòng)創(chuàng)建監(jiān)控項(xiàng)用剛才定義的 UserParameter 鍵值自由度更高也更容易理解每個(gè)數(shù)字怎么來的。如果你是第一次做我更建議先手動(dòng)創(chuàng)建。原因很簡(jiǎn)單自動(dòng)模板會(huì)隱藏很多細(xì)節(jié)一旦出了問題你很難判斷是狀態(tài)頁(yè)的問題、Agent 的問題還是模板映射的問題。手動(dòng)創(chuàng)建一遍等于把鏈路里的每個(gè)環(huán)節(jié)都摸清楚了。手動(dòng)創(chuàng)建監(jiān)控項(xiàng)時(shí)以nginx.requests為例名稱Nginx Requests類型Zabbix Agent鍵值nginx.requests信息類型數(shù)字無正負(fù)更新間隔1m 或 30s 都可以歷史數(shù)據(jù)保留7d趨勢(shì)數(shù)據(jù)保留365d其他幾個(gè) key 按同樣方法創(chuàng)建。4.2 請(qǐng)求速率、連接數(shù)怎么存儲(chǔ)和計(jì)算單位這里要解決一個(gè)關(guān)鍵問題accepts、handled、requests 這三個(gè)字段是累計(jì)值直接存進(jìn) Zabbix 只能看到一根一直向上的線很難判斷當(dāng)前請(qǐng)求量到底是多少。所以必須讓 Zabbix 把累計(jì)值換算成速率。在 Zabbix 監(jiān)控項(xiàng)配置里有一個(gè)字段叫“存儲(chǔ)值”可以選“原樣存儲(chǔ)”“增量簡(jiǎn)單變化”和“增量每秒速率”。存儲(chǔ)方式適用場(chǎng)景示例原樣存儲(chǔ)瞬時(shí)值當(dāng)前是多少就存多少active、reading、writing、waiting增量簡(jiǎn)單變化累計(jì)值的兩次差值accepts 每次變化量增量每秒速率累計(jì)值換算成每秒速率requests、accepts、handled對(duì) requests、accepts、handled 這三個(gè)累計(jì)計(jì)數(shù)器應(yīng)該選擇“增量每秒速率”單位寫成 req/s 或 conn/s。這樣 Zabbix 會(huì)在后臺(tái)自動(dòng)計(jì)算兩次采集之間的差值再除以時(shí)間間隔得到每秒速率。如果你不想在監(jiān)控項(xiàng)里改存儲(chǔ)方式也可以用預(yù)處理步驟里的“每秒更改量”來實(shí)現(xiàn)同樣效果。兩者本質(zhì)上是一樣的看你習(xí)慣哪種。唯一要注意的是如果 Nginx 在兩次采集之間重啟過計(jì)數(shù)器歸零速率可能會(huì)出現(xiàn)一次很大的負(fù)值或異常值統(tǒng)計(jì)圖形上會(huì)出現(xiàn)明顯的斷點(diǎn)這是正常現(xiàn)象不是系統(tǒng)崩潰。active、reading、writing、waiting 這四個(gè)瞬時(shí)值就保持“原樣存儲(chǔ)”它們的數(shù)值本身就是當(dāng)前狀態(tài)不需要做速率換算。4.3 觸發(fā)器和告警閾值怎么定監(jiān)控項(xiàng)建好后數(shù)據(jù)會(huì)不斷進(jìn)入 Zabbix但沒人盯著圖形的話異常還是發(fā)現(xiàn)不了。觸發(fā)器的意義就是自動(dòng)判斷數(shù)值是否超過預(yù)期。觸發(fā)器配置路徑是 配置 → 主機(jī) → 觸發(fā)器 → 創(chuàng)建觸發(fā)器。以活躍連接數(shù)為例一個(gè)簡(jiǎn)單表達(dá)式last(/web01/nginx.active)10000含義是當(dāng)前活躍連接數(shù)大于 10000 時(shí)觸發(fā)警告。再比如請(qǐng)求速率min(/web01/nginx.requests,5m)5000含義是最近 5 分鐘請(qǐng)求速率平均值超過 5000 req/s 時(shí)觸發(fā)。閾值定多少?zèng)]有標(biāo)準(zhǔn)答案取決于你的業(yè)務(wù)。我建議先讓 Zabbix 跑兩三天積累一段基線數(shù)據(jù)再根據(jù)圖形里的峰值來定警告和嚴(yán)重閾值不要憑感覺拍腦袋。第一次設(shè)置可以把閾值放寬一點(diǎn)確認(rèn)告警鏈路能正常觸發(fā)后再往回收。觸發(fā)器還可以設(shè)置恢復(fù)表達(dá)式也就是數(shù)值降到多少以下時(shí)自動(dòng)恢復(fù)為正常。這個(gè)最好一起配好否則每次數(shù)值震蕩都會(huì)反復(fù)觸發(fā)、恢復(fù)告警會(huì)很吵。要測(cè)試告警鏈路的完整效果除了觸發(fā)器還需要配置好動(dòng)作和通知方式。如果暫時(shí)沒配郵件或其他通知也可以先只做觸發(fā)器通過 Zabbix 首頁(yè)的告警記錄來確認(rèn)觸發(fā)是否成功。5. 實(shí)測(cè)一輪用請(qǐng)求壓一壓再去看統(tǒng)計(jì)結(jié)果和圖形5.1 制造流量curl 循環(huán)或 ab 簡(jiǎn)單壓測(cè)配置完成之后最關(guān)鍵的一步就是實(shí)測(cè)。沒有流量監(jiān)控圖形是一條平線你很難判斷數(shù)據(jù)到底有沒有采集成功。最簡(jiǎn)單的測(cè)試方法是用 curl 發(fā)一批請(qǐng)求。在 Nginx 機(jī)器上執(zhí)行for i in $(seq 1 1000); do curl -s -o /dev/null http://127.0.0.1/; done這個(gè)循環(huán)會(huì)向本機(jī) Nginx 發(fā)送 1000 次請(qǐng)求每次丟棄響應(yīng)內(nèi)容。優(yōu)點(diǎn)是環(huán)境干凈不需要額外工具。缺點(diǎn)是速度不夠快產(chǎn)生的請(qǐng)求速率不會(huì)特別高。如果你機(jī)器上有 ab也就是 ApacheBench可以壓得更明顯一些ab -n 5000 -c 100 -k http://127.0.0.1/這條命令的含義是總共發(fā)送 5000 個(gè)請(qǐng)求同時(shí)保持 100 個(gè)并發(fā)連接-k表示啟用 keep-alive。ab 在測(cè)試時(shí)會(huì)持續(xù)請(qǐng)求能把 Nginx 的請(qǐng)求速率和活躍連接數(shù)明顯拉起來。執(zhí)行的時(shí)候建議一次只跑一種跑完等一分鐘讓 Zabbix 完成幾個(gè)采集周期再去前端看數(shù)據(jù)。如果立刻去看采集周期還沒到可能什么都看不到。5.2 分析 Latest data 和 Graphs進(jìn)入 Zabbix 前端的“監(jiān)測(cè) → 最新數(shù)據(jù)”選擇剛才創(chuàng)建的主機(jī)就能看到每條監(jiān)控項(xiàng)的當(dāng)前值。這時(shí)候你看到的應(yīng)該是有具體數(shù)字的綠色狀態(tài)而不是“不支持”或“無數(shù)據(jù)”。以剛才 ab 壓測(cè)為例壓測(cè)過程中可以看到 requests 數(shù)值沖上去壓測(cè)結(jié)束后又會(huì)回落。如果配上圖形把請(qǐng)求速率、活躍連接、Reading、Writing、Waiting 放在同一張圖里觀察能很直觀地看到整個(gè)請(qǐng)求生命周期的變化。如果你沒有在監(jiān)控項(xiàng)里單獨(dú)創(chuàng)建圖形也可以在儀表盤中添加一個(gè)圖表組件數(shù)據(jù)源選擇對(duì)應(yīng)主機(jī)的監(jiān)控項(xiàng)。Zabbix 的圖表組件支持把多個(gè)監(jiān)控項(xiàng)疊加到同一張圖上非常適合對(duì)比 Active connections、Reading、Writing、Waiting 這幾個(gè)相關(guān)指標(biāo)。5.3 從數(shù)據(jù)反向判斷 Nginx 狀態(tài)是否健康數(shù)據(jù)有了接下來的重點(diǎn)是怎么讀這些數(shù)字。先看 active connections 和 waiting 的關(guān)系。如果活躍連接數(shù)很高但 waiting 也很高說明大量連接是空閑 keep-aliveNginx 實(shí)際壓力不大只是在維持長(zhǎng)連接。如果活躍連接數(shù)高waiting 卻很低說明連接都在真正干活這時(shí)候負(fù)載才是真的高。再看 accepts 和 handled 的對(duì)比。正常情況下這兩個(gè)數(shù)值應(yīng)該非常接近。如果 handled 長(zhǎng)期明顯小于 accepts說明有一部分連接沒有被 Nginx 成功處理可能原因是 worker_connections 配置過低連接數(shù)被系統(tǒng)層面拒絕了。通過 Zabbix 監(jiān)控這兩個(gè)值的曲線差值能比看錯(cuò)誤日志更早發(fā)現(xiàn)問題。再看請(qǐng)求速率和連接速率的關(guān)系。用 requests 速率除以 accepts 速率可以得到平均每個(gè)連接上的請(qǐng)求數(shù)。如果這個(gè)值接近 1說明 keep-alive 基本沒起作用客戶端每次請(qǐng)求都新建連接連接效率很低。如果明顯大于 1說明 keep-alive 生效良好一個(gè)連接上處理了多個(gè)請(qǐng)求。Reading 和 Writing 是更細(xì)的觀察點(diǎn)。靜態(tài)資源站點(diǎn)在壓測(cè)時(shí)Writing 會(huì)明顯升高因?yàn)?Nginx 正在往客戶端輸出響應(yīng)。如果 Writing 持續(xù)高位但 requests 并不高可能是網(wǎng)絡(luò)帶寬打滿了響應(yīng)寫不出去。Reading 持續(xù)高位則要小心可能是客戶端請(qǐng)求頭發(fā)送緩慢也可能是存在慢連接這種情況即使活躍連接數(shù)不高worker 也可能被拖住。這些判斷不能只看一兩個(gè)采樣點(diǎn)最好結(jié)合 5 分鐘、1 小時(shí)的時(shí)間窗口來看趨勢(shì)。這也是為什么前面建議把趨勢(shì)數(shù)據(jù)保留時(shí)間設(shè)長(zhǎng)一些。6. 常見問題排查與生產(chǎn)環(huán)境落地的邊界6.1 Agent 顯示 Not supported 時(shí)按什么順序查Zabbix Agent 返回 Not supported 是監(jiān)控 Nginx 時(shí)最常遇到的問題。很多人第一反應(yīng)是去改 Zabbix 配置其實(shí)大多數(shù)時(shí)候問題出在 Agent 側(cè)。我的排查順序是固定的。第一步直接手動(dòng)執(zhí)行那條 UserParameter 命令看有沒有輸出。如果命令本身就沒輸出說明狀態(tài)頁(yè)、curl、awk 里有一環(huán)斷了。第二步確認(rèn)執(zhí)行用戶。Zabbix Agent 通常以 zabbix 用戶運(yùn)行手動(dòng)用 root 執(zhí)行成功不代表 zabbix 用戶能執(zhí)行??梢杂胹u - zabbix -s /bin/bash -c 命令來模擬 Agent 的執(zhí)行環(huán)境。第三步看 Agent 日志默認(rèn)在 /var/log/zabbix/zabbix_agentd.log。日志里會(huì)記錄 key 對(duì)應(yīng)的錯(cuò)誤信息比如命令找不到、執(zhí)行超時(shí)、權(quán)限不足等。第四步改完 UserParameter 后確認(rèn)重啟了 Agent。UserParameter 是在 Agent 啟動(dòng)時(shí)讀取的不重啟不會(huì)生效。第五步從 Server 端用 zabbix_get 測(cè)試連通性。這一步能區(qū)分問題是出在 Agent 執(zhí)行命令還是 Server 與 Agent 之間的網(wǎng)絡(luò)、端口、密鑰配置上。還有一個(gè)常見問題Linux 有 SELinux 或 AppArmor 環(huán)境時(shí)zabbix 用戶執(zhí)行 curl 連接本機(jī)端口可能會(huì)被攔截。手動(dòng)執(zhí)行正常Agent 執(zhí)行就是失敗排查到這一步時(shí)要看安全審計(jì)日志確認(rèn)是不是被策略攔截了。6.2 狀態(tài)頁(yè)不能直接暴露在公網(wǎng)前面配置 Nginx 狀態(tài)頁(yè)時(shí)寫了 allow 和 deny這個(gè)限制在正式環(huán)境同樣重要。stub_status 只有數(shù)據(jù)輸出沒有認(rèn)證、沒有訪問控制任何人拿到狀態(tài)頁(yè)地址就能看到你所有虛擬主機(jī)的連接數(shù)、請(qǐng)求量等信息。這些數(shù)據(jù)單獨(dú)看不算機(jī)密但結(jié)合業(yè)務(wù)時(shí)序可能暴露促銷活動(dòng)、低谷期等運(yùn)營(yíng)信息。所以生產(chǎn)環(huán)境要遵守幾個(gè)原則狀態(tài)頁(yè)只監(jiān)聽內(nèi)網(wǎng)地址或只允許內(nèi)網(wǎng)訪問。Zabbix Agent 與 Nginx 部署在一起時(shí)直接限制為 127.0.0.1。如果需要遠(yuǎn)程采集優(yōu)先讓 Agent 本機(jī)讀取不要讓其他機(jī)器直接 HTTP 訪問狀態(tài)頁(yè)。Nginx 服務(wù)本身就開啟了公網(wǎng)監(jiān)聽時(shí)更要檢查 allow 列表不要把公網(wǎng)網(wǎng)段放進(jìn)去。另外狀態(tài)頁(yè)建議使用獨(dú)立 location不要放在一個(gè)會(huì)匹配大量路徑的通用規(guī)則里避免被掃描工具順帶發(fā)現(xiàn)。access_log off也要保留否則每個(gè)狀態(tài)頁(yè)請(qǐng)求都會(huì)寫一條訪問日志白白增加磁盤 IO。6.3 多實(shí)例和規(guī)范化模板、宏、命名規(guī)則如果只有一臺(tái)機(jī)器手動(dòng)創(chuàng)建監(jiān)控項(xiàng)沒什么問題。一旦機(jī)器多起來比如七八臺(tái) Nginx 都要監(jiān)控逐臺(tái)手動(dòng)創(chuàng)建就很痛苦而且容易漏配。這時(shí)候應(yīng)該把監(jiān)控項(xiàng)、觸發(fā)器、圖形整理成模板。在模板里創(chuàng)建好 nginx.active、nginx.requests 這些監(jiān)控項(xiàng)和對(duì)應(yīng)的觸發(fā)器再把模板鏈接到主機(jī)上所有主機(jī)自動(dòng)繼承配置。后續(xù)要加閾值、加圖形只需要改模板一處所有主機(jī)同步生效。模板里的閾值可以做成宏比如{$NGINX_ACTIVE_WARN}、{$NGINX_REQ_HIGH}。這樣在不同業(yè)務(wù)機(jī)器上可以差異化覆蓋不用復(fù)制整個(gè)模板。比如 A 機(jī)器請(qǐng)求量本來就大警告閾值定 8000B 機(jī)器是小業(yè)務(wù)閾值定 1000。用宏就能在同一套模板下按主機(jī)單獨(dú)調(diào)整。key 的命名也要規(guī)范。前面用的 nginx.active、nginx.requests 就是比較清晰的命名方式。如果一臺(tái)機(jī)器上有多個(gè) Nginx 實(shí)例建議在 key 里帶實(shí)例編號(hào)比如 nginx1.active、nginx2.active避免數(shù)據(jù)串臺(tái)。6.4 歷史數(shù)據(jù)保留和監(jiān)控頻率最后聊一下采集頻率和數(shù)據(jù)保留。對(duì) Nginx 監(jiān)控來說30 秒到 1 分鐘的采集間隔已經(jīng)足夠。不要看到別人用 1 秒間隔就覺得越快越好越短的間隔意味著越多的 Agent 執(zhí)行、越多的 Server 輪詢和越大的存儲(chǔ)開銷。尤其是自定義 UserParameter 每次都執(zhí)行 curl 命令如果一臺(tái)機(jī)器上有 7 個(gè) nginx key每個(gè)采集周期就有 7 次 curl。機(jī)器數(shù)量一多這個(gè)開銷會(huì)被明顯放大。如果想降低開銷有兩個(gè)方向。一個(gè)方向是把采集間隔統(tǒng)一調(diào)大成 1 分鐘。Nginx 的指標(biāo)本來就是慢變量1 分鐘內(nèi)的尖峰對(duì)告警影響不大。另一個(gè)方向是寫一個(gè)單獨(dú)的采集腳本一次抓取狀態(tài)頁(yè)把結(jié)果寫到臨時(shí)文件再由多個(gè) UserParameter 去讀文件避免每次都重新 curl。后一種方案適合機(jī)器多、又不愿意放寬采集間隔的場(chǎng)景但腳本邏輯和錯(cuò)誤處理要寫得更嚴(yán)謹(jǐn)否則一個(gè)腳本崩了所有 nginx key 都會(huì)失效。歷史數(shù)據(jù)保留方面原始監(jiān)控值保留 7 到 14 天足夠趨勢(shì)數(shù)據(jù)保留 365 天用于回顧容量。如果你發(fā)現(xiàn)自己經(jīng)常要回溯更久之前的 Nginx 指標(biāo)建議單獨(dú)導(dǎo)出到外部存儲(chǔ)不要無限拉長(zhǎng) Zabbix 的保留周期否則數(shù)據(jù)庫(kù)膨脹之后整個(gè)監(jiān)控系統(tǒng)的查詢速度都會(huì)受影響。我個(gè)人更建議按這個(gè)順序落地先把狀態(tài)頁(yè)和 curl 驗(yàn)證跑通再用 zabbix_get 確認(rèn) key 有數(shù)據(jù)然后創(chuàng)建主機(jī)和監(jiān)控項(xiàng)最后才是觸發(fā)器和圖形。看起來流程更長(zhǎng)但每一步都有明確的成功標(biāo)準(zhǔn)出了問題也知道在哪一段排查。真正跑過一輪測(cè)試之后你會(huì)發(fā)現(xiàn) Zabbix 監(jiān)控 Nginx 并不復(fù)雜難點(diǎn)反而不是工具而是你愿不愿意把一個(gè)累計(jì)計(jì)數(shù)器、一個(gè)狀態(tài)頁(yè)字段吃透。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
综合色99| 91精品国产综合久久蜜芽解析速度| 丁香六月天婷婷开心综合| 综合久久五月| 婷婷五月天成人网| 91人人操.COM| 婷婷五月色情天| 色五月综合激情| 无码成人AAAAA毛片AI换脸| 婷婷五月六月丁香| 婷婷五月丁香六月天亚洲综合| 婷婷五月色影视先锋| 秋霞免费视频| 国产91视频| 亚洲综合色五月| 狠狠爱婷婷色| 欧美久久九九| 久久国产一区二区三区| 婷婷99狠狠| 天天插,天天射| 五月天婷婷基地丁香| 亚洲成人网址在线观看| 国产午夜精品AV一区二区麻豆| 亚洲99在线| 亚洲十月婷婷综合| site:esunnet.com| 婷婷丁香六月综合激情站| 久99久99精品免| 成人做爰高潮A片免费视频| 婷婷五月天综合AV| 婷婷丁香五月网| 深爱五月天婷综合| 亚洲日本韩国| 国产精品国产成人国产三级| 亚洲黄色影视| 婷婷五月天色色| 久草a片| 色五月视频,小说| 五月六月播婷婷| 色婷婷文字幕| 91人人操| 日本在线视频播放91| 久久九九热re6这里有精品| 91九色精品熟女内射| 五月婷婷之美女图片| 欧美噜噜免费观看| 天天弄天天爽| 香蕉综合网| 97超级碰碰碰| 婷婷五月丁香色综合| 婷婷在线五月综合| xxxx五月天色色| 国产91资源在线| 开心激情站| 国产在线黄色| 久久99久久99精品免视看婷婷| 五月天激情久久| 婷婷涩涩五月天| 人人干天天操五月丁香| 丁香五月激情视频在线| 婷婷五月骚厕所| 天天日人人爽| 99热这里只有精品2| 淫水导航| 天天摸天天舔天天天天爽| 99爱免费视频| 99性爱视频| 色综合色色色| 在线视频另类| 六月婷婷色综合| 亚洲五月婷| 第五色婷婷| 午夜五月天| 国产精品色| 六月综合婷婷开心伊人| 成人免费120分钟啪啪| 成人做爰A片免费看视频| 激情五月天网| 久久大香蕉丁香| 五月婷色| 色五月婷婷天天干| 99.色| 五月丁香六月婷婷手机无线| 99精彩视频| 久久99热免费最新版| 久久色五月天激情小说| 婷婷丁香花五月天| 涩涩五月天| 亚洲精品久久久无码| 97超碰,人人舔,人人操,人人摸| av婷婷六月丁香社区在线观看| 色五月天 丁香| 伊人婷婷五月天av| 狠狠五月丁香色婷| 免费看欧美成人A片无码| 五月丁香色色| 九九热青草| 国产欧美大香蕉一区| 色婷婷AⅤ| 色婷婷亚洲| 这里只有精彩小视频视频网站| 婷婷久久婷婷色五月| 色小说婷婷五月天天天| 大香蕉伊人爱在线| 欧美性猛交XXXX乱大交极品| 99热国产婷婷| 午夜无码精品色综合久久| 无码人妻一区| 九九黄色网| 色狠狠婷婷| 99九九视频精彩在线| 丁香五月婷婷深爱综合激情| 狠狠做深爱婷婷久久综合一区| 狠狠五月天| 激情小说视频图片| 色婷婷综合久久| 91/九色黑人| 97热这里精品在线视频| 久色五月| 亚洲激情综合| 久久久www| 色七色九九| 婷婷五月天综合小说网| 午夜一区| 久久久久久综合88| 婷婷激情五月天激情| 五月激情影视| 天天综合网~91综合网| 综久久久| 亚洲AV激情五月综合网| 超碰成人免费| 夜夜躁婷婷AV| 婷婷综合精品视频97| 亚洲色热| 成人 在线 日韩| 伊人婷婷五月天av| 国产毛片欧美毛片久久久| 色欧美日| www.国产色| 丁香五月大香蕉| 婷婷五月综合色中文字幕| 婷婷舔| 精品成人在线观看| 激情综合在线播放| 另类激情网| 91一起操| 成久综合视频| 九九色色| 亚洲久热| 这里只有精品免费视频| 色婷网| 欧美激情综合五月色丁香| 中文字幕,综合,91| 日B日潘金莲BB| 五月天婷婷三级黄| 免费黄色片子| 色色精品色| 久久人妻精品| 激情五月婷婷她| 99热这里只有精品96| 思思热视频在线观看| 欧美激情综合色综合啪啪五月| 内射 无码 伊人| 婷婷激情四射| 成人在线视频网| 超碰97在线操| 亚洲AV无码成人电影| 五月天婷婷人妻| 99啪啪视频| 五月丁香婷婷免费视频| 精品九九久久| 狠狠色中色| 99爱视频在线免费观看| 爱久久小说下载网| 五月激情综合激情五月| 色婷婷五月天久久| 色播五月丁香婷婷| 99综合99| 久热99视频在线观看| 99热综合| 亚洲成人一区| 日本熟女一区二区| 色欲AVV| 国产精品大香蕉| 色婷婷五月综合在线| 百度4399有码精品V在线观看| 婷婷五月激情综合| 99偷拍视频在线日本| 婷婷色婷婷| 婷婷激情五月天天天开心| 影音先锋激情网| 日本九婷婷| 婷婷 激情 五月| 五月天天丁香婷婷| 九九热视频免费| 欧美极品999| AV在线免费播放| 亚洲在线操| 色综合天天| 少妇婷婷五月天| 综合五月婷婷| 天天操无码| 91天天操天天干天天射| 性爱动图国产麻豆一区二区三区| www.色婷婷| 干亚洲天堂| 青柠影视免费高清电视剧| 就99这里只有精品| 欲求不满的人妻| 综合婷婷都市激情| 99国产er热视频| 久综合网| 91成人性爱视频| 人人爽欧美婷婷久久久五月丁香| www.99视频| 天天草天天爱| 久久国产高清| 天天爱天天爽| 丁香五月成人在线| 91人人超碰在线| 婷婷丁香六月| 去干网最新版本亚洲版| 五月婷婷综合影院| 欧美在线视频99| 天天干天天干天天干天天干天天干天天 | 日本色婷婷| 婷婷操逼| 国产VA亚洲VA96| 9久久婷婷国产综合精品性色| 五月天婷婷社区| 亚洲五月天综合| 久久五月婷综合| www,天天干| 九九AV在线| 久久激情五月婷婷| 天天日天天干天天插天天射| 色婷久久| 日本玖玖在线| 日日干夜夜干| 亚洲视频色婷婷| 婷婷在线免费| 97日日碰碰| 91精品91久久久中77777| 亚洲婷婷六月天| 九九九AAA热视频| 99九九在线观看免费| 久久婷婷亚洲| 大香蕉人人人| 五月天激情美女久久| 97操碰碰无码视频| 激情综合色播| 婷婷丁香五月天小说| 激情AV中文| 亚洲综合另类| 色婷婷久久| 五月婷婷六月丁香色| 大香蕉婷婷久久| 人妻体体内射精一区二区| 99这里有精品| 五月丁香激情婷婷| 26UUU亚洲欧美| 狠狠第四色| 无遮羞AV| 成人电影一区| 天天人人人人人人人人人人人| 丁香激惜男女| 99这里有精品视频3| 欧美男女婷婷| 9精品久久999| 曰韩少妇内射免费播放| 五月天亭亭俺也| 亚洲欧洲中文日韩久久AV乱码| 国产精品18久久久| 337p大胆噜噜噜噜噜91Av| 激情综合五月开心狠狠| 亚洲综合色色| 婷婷之六月丁香| 色色激情五月| 婷婷综合网性| 婷婷五月丁香色综合| 黄色片久久| 久久538| 六月丁香婷婷综合狠狠爱夜夜爱| 婷婷五月综合亚洲| 久久亚洲激情五码| 激情丁香图片| 99热99re6国产在线播放| 国产乱码久久| 99re热精品视频国| 華人性愛AV在線| 97视频.干com| 国产欧美第五十五页| 在线超碰91| 婷婷综合国产| 亚洲国产网址| 国产亚洲成AV人片在线| 综合五月丁香97| 草榴视频黄色网| 色五月丁香com| 天天插天天射| 激情丁香五月婷婷| 久久久亚洲精品一区二区三区浴池| 丁香五月天综合| 日韩欧美成人片| 日本狠狠干| 免费视频99| 99热免费看| 五月天深爱激情网| 深爱激情五月婷婷| 色播播五月天| 99热偷拍| AV中文在线| 丁香五月激情欧欧美| av在线资源| 色播五月丁香| 日日操夜夜爽白洁| 五月婷六月天| 99热这里只有精品8| 噜噜噜久久| 婷婷五月天天爽| 91色综合网| 国产91视频| 伊人久久婷婷| 9l视频自拍9l九色成人| 五月丁香婷婷钟和色图| 天堂久久大香蕉| 久久久月丁香| www.91九色| 五月丁香六月婷| 亚洲色涩视频| 热99只有里视频| 可以看的AV| 91九色中文| 国产在线黄色| 久久人妻精品| 久草婷婷视频| 操一区| 久久人妻乱子伦| 成人婷婷五月天| 99精品7| 五月婷婷啪啪啪啪| 99热老网站| 免费看欧美成人A片无码| 亚洲亚洲人成综合网络| 超爽内射| 婷婷五月天AV网| 99er在线观看| 色色色五月婷| 精品亚洲国产成人A片在线鸭王| 日本eVa一区=区视频| 五月婷久久综合| 情色婷婷五月天| 激情q青青草在线婷婷| 丁香五月综合亚洲| 涩五月婷婷| 伊人91| 91热在线观看视频| 久鲁鲁色网| 五月天激情久色| 婷婷六月综合基地| 色综啪啪网| 婷婷欧美激情综合| 新精品99| 激情www| 五月丁香 狠狠爱| 9色在线视频| 五月婷婷丁香伦理网| 小视频久久久aaa| 91婷婷| 99se丁香| 激情深爱婷婷网| 婷婷狠狠干| 99色视频| 日韩操啪| 色综合色欲综合天天免费| 天天色视频| 极品人妻VIDEOSSS人妻| 亚洲人妻av| 国精产品一区二区三区| 超碰在线91| 久久婷婷网址| 五月丁香直播| 亚洲午夜一区二区| ww超碰在线| 天天摸天天肏| 亚洲成人在线综合| 日本99婷婷| 婷婷五月天激情在线观看 | 久久婷婷五月综合精品蜜芽| 色婷婷五月天不卡| 极品少妇XXXX精品少妇偷拍| 99久久精| 国产激情久久久| 无码 av电影| 热九九精品| 婷婷激情图片| 色九九九综合| 激情都市五月天| 99爱视频在线| 九月久久婷婷| www.99情趣网| 九九精品大香蕉| 99热 免费| 欧美婷婷| 亚洲视频久久| 日婷婷久久开心| 2018夜夜草| 日韩无码一区二区三区四区| 日本天天色| 综合久久综合久久| 九九自拍网| 国产精品视频网| 色情激情五月| 亚洲久久天堂| 五月丁香成人| 五月丁香色综合| 日日爱678| 人妻激情综合| 六月婷婷av| 久久伦乱| 亚洲超碰在线| 五月婷婷激情网| 超碰av在线| 丁香激情五月| 97操碰碰无码视频| 色综合天堂| 4399在线观看免费高清黄色视频| 91干在线| 啪啪操操| 色婷婷欧美| 激情性爱网站| 婷婷99热| 在线成人网站| 色色五月婷婷| 日韩AV色色色| 9久操| 久久丁香综合| 99久久九九| 色播五月网| 色五月涩涩婷婷蜜桃| 香蕉久久国产AV一区二区| 久久婷婷五月天激情四射| 人人干女人| 另类激情四射| www99热| AV伊人青草丁香六月| 亚洲日日日| 九九热10| 九九综合五月欧美| 伊人激情综合网| 9精品一区| 日日夜夜狠狠| 九九热视频精品2| 色色99| 噜噜噜色噜噜| 丁香五月天婷婷91| 久久精品婷婷| 丁香六月婷婷高清| 五月天怕怕| 99热免费精品| 久久亚洲精品成人无码网站导航| OYIWbGcPu8H| 久久久无码精品成人A片小说 | 毛片新网地| 人操91在线| 思思99久久| 大香蕉九九| 国产精品久久久久久喷浆| 婷婷五月花西瓜| 超碰在线观看9| 激情综合网色播五月| 婷婷丁香五另类网站| 欧美激情 日韩无码 婷婷 五月天| 熟女网站久久| 九九热这里只有精品12| 9久久婷婷国产综合精品性色| 九九人人操| 伊人婷婷五月天av| 九九热99视频在线| 久久小说网| 五月天激情视频| 天天开心天天色| 色五月婷婷777| 看全色黄大色大片| 热久久视频99| 色噜噜综合网| 亚洲性爱AV| 天天干天天干天天干天天干天| 六月色五月天天婷婷| 一本九九色| 囯产精品久久欠久久久久久九大| 开心五月婷婷激情网| 婷婷成人AV| 人妻久久久| 日日夜夜天天综合| 99热国产在| 综合激情肏逼网| 202丰满熟女妇大| 荷兰av一级| 夜夜做天天爽| 另类激情五月| 日本久久色| 久久六月天| 性色99| 婷婷久久欧美| 91艹人| 熟女色色一区二区| 色婷婷99| 婷婷丁香色五月| 欧洲激情精品婷婷| 激情五月亚洲| 米奇激情婷婷| 五月综合亚洲色| 67久久| 五月花婷婷| AAAA网站| 婷婷五月天激情五月天| 天天综合干| 婷婷五月天影院| 51XX嘿嘿午夜无码| 在线sebiav精品视频| 久久精品99国产精品日本| 538任你爽| 丁香五月婷婷五月天| 5月丁香六月情| 另类激情五月| 国产97色在线 | 日韩| www.91AV.com| 色播激情婷婷| 七月丁香婷婷 色色| 激情六月丁香| 国产免费一区二区三区三州老师F1F1.CC | 成人版视频在线观看| 人碰人人人玩91| 亚洲日本激情| 日本99在线| 国产色香蕉精品五夜婷| 色色97丁香婷婷五月天| 超碰人人在线观看| 六月婷婷天堂| www。久久久久一b。Cc| 亚洲精品色| 伊人在线视频| 在线另类| 国产精产国品一二三在观看| 人妻熟人中文字幕一区二区| 国产特级毛片AAAAAAA高清| 五月婷六月| 91超级碰在线| 亚洲免费观看高清完整版AV线| 俺去也五月| 亚洲精品婷婷| 91丨九色丨白浆秘| 99热日本| 美女五月天| 天天骑天天操| 五月婷婷影院| 丁香六月天婷婷色| 六月丁香啪| 色色影院黄大片| 激情久久 婷婷| 天天干,天天操,天天射| 人妻AV在线观看| 伦乱天堂| 免费99情趣网视频| 激情五月伊人婷婷| 开心五月婷| 五月丁香五月婷婷在线观看| 97五月久久丁香婷婷| 五月婷婷色影院| 91丨九色丨熟女丰满| 网色99| 国产无套精品一区二区| 无码少妇高潮喷水A片免费| 亚洲精品久久久久久久久久吃药| 欧美97超碰| 熟美女麻豆| 九色视频91疯狂| 婷婷开心深爱五月天| 五月深爱婷婷| 五月天开心激情综合网| 啪啪一区| 国产成人精品一区二三区熟女在线| 欧美成人AAA片一区国产精品| 五月婷婷综合激情小说| 丁香五月成人丝袜| 久99在线视频| 久草五月天电影网| 第五色婷婷| www99热| 免费看欧美成人A片无码| 丁香狠狠干| 99热高清在线| 色色色97| 丁香五月日啪| 精品国产va久久久| 五月天婷婷基地综合网| 五月天色影院| 香蕉久久五月| 综合精品99| 日韩欧美一级大黄网站| 丁香五月日本| 丁香婷婷色色| 色五月综合| 大香蕉天堂色| 色优久久| 丁香五月在线观看完整版| 色五月天电影| 丰满老熟妇BBBBB搡BBB| 亚洲成人av在线播放| 色五月婷婷五月丁香五月激情五月视频| 精品人妻久久久久久久| 五月婷婷激情中文字幕| 欧美顶级少妇做爰HD| av五月丁香婷婷网| 亚洲中文无码成人| 99亚洲视频| 国产精品日本一区二区在线播放| 国产激情av| 久久精品小视频| 成人婷99最新| 3p九色在线| 69热在线| 国产婷婷综合| 9九九久久精品无码专区| 中文字幕乱码亚洲精品一区| 欧美久久婷婷| 激情五月天伊人av| 国产成人精品一区二三区熟女在线| 99久久精品国产色欲| 亚洲激情五月婷婷日日| 久婷五月| 婷婷五月天AV| 五月天社区| 国产在线黄色| 国产午夜精品久久久观看| 欧美五月婷婷| 欧美操我| 欧美日本97| 青青热久精品视频在线观看| 91久久综合亚洲鲁鲁五月天| AV在线二十六页| 五月婷婷成人网首页| 九九九热精品| 91九色中文字幕女在线观看| 激情五月天综合| 久久AAAA片一区二区| 天天日天天做天天舔| www.色五月| 超碰A V在线| 亚州视频九九99| 99这里有精品视频| 五月丁香综合啪啪| 丁香五月婷婷亚洲综合精品| 五月停停色| 亚洲bt丁香五月天婷婷激情小说| 99热思思| 五月婷婷狠天天色综合| 99性爱| 婷久久| 婷婷五月情| 最新无码专区| 国产精品久久久60086| 国产真人做爰视频免费| 亚洲第一色网站| 99精品国产热久久91色欲| 97黑人精品区| 亚洲天堂大香蕉| 亚洲AV第二区国产精品| 色色色色色色色色色色色色色97| 99视频网址| 久久小视频| 久久免费试看120秒| 人人干人人操人人摸| 一级操逼内射在线视频| 极品人妻VIDEOSSS人妻| 六月婷婷日| 亚洲精品久久久久久久久久吃药| 美女精品一级不卡视频| 色婷婷88| 日韩啪啪网| 91人人爽狠狠狠| 五月丁香激情综合啪啪| 色色五月天网站| 中文字幕五月久久婷| 99狠狠操一| 无码区婷婷五月花开| 中文无码婷婷| 91婷婷色| 五月天婷婷小说| 怡红院院在线导航网| 激情综合五月丁香| 天天爽人人爽| 久婷狼色诱惑在线| 亚洲最大激情无码| 婷婷九月狠狠色| 爱操人妻| 天天色综和网| 五月天婷婷成人网| 激情五月婷婷色| 99热插| 婷婷丁香六月| 日韩av网站在线观看| 五月婷婷六月天| 婷婷五月天丁香| 日韩精品AV一区二区三区| 五月丁香爱婷婷深深| 亚洲精品国产A久久久久久| 六月久久狠狠| 99在线精品视频| 欧洲色色| 五月综合激情图片| 色丁香五月婷婷综合久久| 国产激情在线| 中文字幕+乱码+中文字幕在线观看| 丁香,开心成人,久久| 丁香婷婷基地| 26UUU一区二区| 婷婷五月丁香基| 婷婷五月花| 婷婷四月 成人 狠狠干| 婷婷丁香熟女| 日本精品99| 偷拍91九色| 99色热| 26uuu在线观看| 欧美性二区| 久久久久人妻网址| 婷婷久久夜| 任你日热视频| 亚洲亚洲人成综合网络| 日日干日日| 最新日本A片| 色色色色色色色色色色色色色色,网站| 久久99久久99精品免观看粉嫩| 久久99热这里只有| 婷婷综合九月| AA片在线观看视频在线播放| 91干在线| 亚洲激情网站| 开心久久xxx色| 亚洲AV成人精品网站在线播放| 91精品久久久久久| 丁香婷婷久久 | 丁香五月婷婷激情中文| 这里只有精品视频在线| 开心五月婷婷婷美女| 久热这里只有精品在线观看 | 欧美性生交xXxX久久久| 99热这里只有精品3| 五月天伊人av| 人妻AV在线观看| 亚洲中文AV| 亚洲精品99| 欧美婷婷色五月| 激情文学天天| 五月婷婷九| 婷婷色五月综合| 天天日夜夜拍| 色日本综合| 天天艹夜夜爽| 丁香久久| 另类精品视频在线观看| 久久久日韩特色特黄AAAA| 欧美久热| 人妻无码精品一区| 99久久精品国产色欲| 伦99热| 99热综合色图| 婷婷亚洲久久| 婷婷欠久少妇| 99国产精品久久久久久久久久久| 久操福利| 久久这里有精品视频| 五月婷婷激情网| 青青久久91| 婷婷色婷婷| 人人操AV| 色婷婷9| www.婷婷五月天| 五月天色婷婷激情| 色综合五月在线| 第四色色六月色综合| 自拍偷窥99热| 中文字幕在线视频播放| 99无码| 五月丁香久久| 丁香五月日韩| 外国碰视频网站97| 欧美日韩成人一区二区| 99精品无码| 五月婷婷av| 九九热这里只有精品在线观看| 思思热久久婷婷五月天| 色五月婷婷五月丁香五月激情五月视频 | AA片在线观看视频在线播放| 五月天激情四射| 欧美六月| 91操片| 色婷婷五月综合在线| 午夜丁香综合婷婷| 五月丁香六月婷婷久久肏| 97色色网| 色五月婷婷在线| 91碰| 久久机热/这里只有精品| 国产激情久久| 91chinese在线| 久久综合五月天| 亚洲日韩一页精品发布| 婷婷五月丁香综合亚洲| 另类亚洲电影| 婷婷五月丁香超碰| 一起草Av| 色婷婷五月天天天天天| 色五月丁香激情视频| 高清无码中文字幕aVDV| 天天热夜夜操| 人妻久久久久久久 | 亚洲熟妇AV乱码在线观看| 538在线精品| 97luluse| www.色九月| 五月丁香啪啪网| 综合激情五月丁香9999久久精| 欧洲99视频在线| 丁香婷婷人妻综合网| 五月丁香久久久日婷婷久久婷婷日 | 成人做爰A片免费看网站找不到了| 成人无码精品1区2区3区免费看| 亚洲欧美综合7777色亭亭| 第1影院之五月婷婷| 色婷婷成人网| 这里只精品| 五月天激情无码高清| 五月婷婷之综合激情| 欧美va视频| 激情五月婷婷| 婷婷情色五月| 日本久久99久久| 久久激情天堂| 天天综合久久| 五月深爱网| 国产成人AV在线播放| 激情五月天综合网| 影音先锋一区二区资源站 | 国产阿姨日皮艹逼内射视频| 懂色AⅤ| www.99热视频| 色婷婷网| 在线不卡的视频| 色婷婷狠狠爱| 人妻五月天激情开心网| 亚洲综合色网| 大学生高潮无套内谢视频| 涩玖玖免费视频| 婷婷五月丁香五月| 99re这里只有精品首页| 丁香六月激情| 久久婷婷丁香花综合网| 五月丁香激情四射| 开心五月综合激情综合五月| 99无码黄色视频| 九九在线精点品| 九九在线91| 开心六月婷| 久 久9 9 热 视 频| 97久久久久| 97碰碰草| 天天爽成人综合网站| 婷婷丁香色情五月天| 精品久久人妻| 亚洲AVDVD| 久久五月激情网| 五月天涩涩| 精品一区二区三区免费毛片爱| 草草影院爱爱| 亚洲综合色丁香五月天| 激情久久五月天| 狠狠色综合五月人人| 久久婷综合| 欧美综合激情五月| 色噜噜狠狠一区二区三区| 久热伊人91| 五月总合激情网| 久久视频这里有精品99| 搡BBBB搡BBB搡18| 激情文学久久| 五月开心久久| 99热综合在线观看| 九九热视频网站| 色色激情网| 丁香五月综合激情久久潮喷| 人人干天天操五月丁香| 大香蕉啪啪啪| 久久婷五月综合| 中文字幕乱轮| 激情人妻蜜夜系列区| 婷婷免费精品视频| 色色免费网站| 久久九九99.www| 婷婷综合网伊人| 亚洲欧美婷婷五月色综合| 久婷婷婷| 久久怡红院| 久久天堂女人| 米奇影视五月天| 五月天社区| 五月婷婷在线丁香| 丁香五月婷婷五月| 久久久久久18| 婷婷情色激情| 99精品国产在热久久| 五月丁香美女| 综合色色色| 97中文在线| 五月综合激情| 五月丁香网站| 99久精品视频| 在线资源av-超碰中文在线-成人AV| 色五月色综合| 国产成人AV| 97久久香草精品视频| 99热这里只有精| AV伊人青草丁香六月| se99视频| 色色婷婷五月天| 久久久性爱视频| 99九九中文字幕视频| 五月婷婷丁香综合| 久久密臀婷婷| 五月丁香六月婷婷开心网| 人妻视频一区而且二区| 深爱五月日韩| 九 九九九AV| 五月综合六月婷婷| 丁香婷婷影院| 热久久99热欧美国产亚洲| 亚洲不卡123| 狠狠操狠狠操AV| 欧美日本高清视频99| 亚洲无码99| 在线观看免费狠狠色丁香香综合| 97操碰视频| 久久综合99| 五月综合视频| 亚洲看av的网站| 综合久久十三| 一起草性爱不卡视频| 国内久久亭亭| 亚洲五月天婷婷| 五月激情精品视频| 精品国产AV色一区二区深夜久久| 天天色天天舔天天爱天天爽| 五月丁香综合久久夜夜| www色五月| 再綫Av免费視品| 久久一级AV| 日日操,天天操| 五月天伊人久久| yellow视频在线观看91| 俺来也综合网精品一区| 欧美丰满熟妇BBB久久久| 丁香色播五月天| 以及AA大片看看| 国语精品探花| 六月撸婷婷| 狠狠色成人影片| 久九色| 校花娇喘呻吟校长陈若雪视频| 丁香婷婷在线| 成人AV中文字幕| 色婷婷色99国产综合精品| 森林影视大全,最好看的2019年视频| 丁香婷婷久| 热99在线精品| 久久多色| 99激情| 久婷婷久草| 操婷婷基地| 97操碰| 亭亭五月天黑人2014| 色婷婷亚洲在线观看| 五月天激情国产综合婷婷婷| 婷婷丁香五月天哟啪| 五月天大香蕉av| 99热66| 狠狠88综合久久久久噜噜噜| 色135综合网| 亚洲无码色| 色综合九九色综合88| 婷婷丁香社区| 天天爱天天秀天天做| 香蕉婷婷色五月| 在线99精品| 天天爽天天| 超碰人人91| 襙逼网| VA色婷婷| 丁香婷婷久久五月天| 久热91| 特级西西4444www无码| 热中文字幕| www五月天com| 日本欧美成人片AAAA| 欧美久久网| 日日舔夜夜操| 五月天天丁香婷婷在线中| 一起草av在线观看| 欧美三级巜人妻互换| 超碰99久久| 天天爽天天摸人妻综合网| 久久99这里只有精品| 9热在线观看| 亚洲性爱AV在线| 99综合免费视频| 99精品在这里| 久热99| 开心五月婷婷婷美女| 国内自拍97在线| 免费看欧美成人A片无码| 成人版视频在线观看| 亚洲综合狠狠艹| 99re这里只有精品9| …亚洲黄色在线播放日韩、av中文a…| 婷婷久久色五月婷婷久久久| 99精品网| 婷婷久月| 五月天开心网| 色色免费网战视频| 99热九九这里只有精品10| 玖玖无码中文| 九色在线观看91av| 五月婷婷黄网站大全| 亚洲亚洲人成综合网络| 99热久| 色综合色色| 九九re精品视频在线观看| 伊人色欲五月天| 激情99。| 99 热| 一级片sese片.COM| 五月婷婷亚洲| 激情AV在线| 99噜噜噜| 99热销国产这里有精品| 久久久五月天婷婷成人网| 五月成人丁香av91| 婷婷在线五月综合| 亚洲午夜成人av电影网| 免费超碰在线观看| 色999;丁香五月| 这里只有精品视频99| 欧洲色| 日日夜夜爽| 婷婷丁香综合成人| 成人视频婷婷| 激情六月一二| 精品久久66| www夜夜操com| 天天操夜夜爽歪歪| 久久视频在线| 成人AV在线网站| 丁香五月瑟瑟| 天天噪夜夜爽| 26uuuavcom| 日韩av干| 天天操屄网| 丁香午夜天| 91日日日| www.婷婷,com| 任你草| 天天爱天天操| 天天爽天天爽| 久久人妻熟女一区二区| 五月天婷婷偷拍| 色综合女人99| 色五月,com| 色婷婷香蕉丁丁网| 九九视屏| av色婷婷| 久久视这里只有精品| 色综合爱综合| 久久久久99精品成人片| 五月丁香色| 亚洲综合另类| 精品人人操| 99热只有| 激情五月丁香五月| 五月天激情四射| 淫视馆av三区| 伊人大香蕉在线视频| 久久免费丁香| 第2色五月婷| 色青五月天| 人妻少妇色综合| 久久婷婷影院| 五月婷婷激情综合| 丁香五月狠狠在线观看| 五月天伊人久久| 999热在线视频| 丁香婷婷五月天色播| 色色五月婷婷丁香| 色99在线视频| 日本99视频| www...com黄在线观看| 97婷婷狠狠久久综合9色| 这里只有精品日韩| 五月丁香婷婷中文网| 色噜噜狠噜噜视频| 成人看片网站| 无码成人AAAAA毛片AI换脸| 337久久| 2013AV天堂| 天天做天天爱天天爽夜夜揉| 97色伦另类图片小说视频| 看久久性爱视频| 大香蕉五月婷婷| 亚洲 在线 另类| 天天色综| 精品在线网站| 婷婷五月天影视| enecarbon-materials.comWu染请涟系Bao护@wip1688| 亚洲av成人在线| 色五月丁香网| txt五月激情四射网综合俺也来了| 久久婷婷五月综合成人d啪| 97涩涩丁香五月天| 婷婷成人五月天成人文学小说| 高清无码视频网址| 超碰2021| 五月激情五月丁香| 色婷婷AV久久久久久久| 九九热视频在线观看| 日韩AV在线免费| 五月天激日本色情在线| 五月丁六月香| 色99视频| 97人人看一| 久久婷婷亚洲五月天| 色五月天堂| 91无码一起草| 久久久jd| 婷婷五月天第四色| 五月天成人免费视频| 九九美女视频| 狠狠色丁香婷婷基地| 91碰超| 色99久草在线| 九九热色视频| 色九亚洲| 亚州成人综合在线| 欧美成人热| 五月婷婷中文字幕| www.91五月| 丁香五月天AV在线| 色婷婷五月在线| 内射爽无广熟女亚洲| 热996精品在线观看| 日日干夜夜撸夜夜骑| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇| 婷婷内射视频在线| 99啪在线视频| www 五月天 com| 婷婷久久色| 啪啪 综合网| 激情六月丁| 日韩中文欧美| 亚洲sesesese| 国产成人综合在线| 婷婷综合在线视频| 日日操天天| 狠狠精品干练久久久无码中文字幕| 九色自拍| 99精品视频在线观看| 久碰久| 丁香五月欧美色综合| 精品一二三区久久AAA片| 亚洲va欧美| 六月丁香婷婷综合狠狠爱夜夜爱| 五月天婷婷Av| 97好吊操| 精品国产AV色一区二区深夜久久| 丁香五月亚综合图片| 丁香午夜天| 狠狠色 综合色区| 五月天三级| 91在线日| 五月婷婷导航| 婷婷五月天综合中文| 国产日产亚洲系列最新| 婷婷天天色| 五月婷啪啪| 日韩超碰在线| 高清国产AV| 色五月婷婷亚洲最大| 97偷拍对白视频| 少妇人妻凹凸视频| 久久AV无码精品人妻系列试探| 丁香五月aV| 国外亚洲成AV人片在线观看| 色综合爱综合| 国产毛多水多女人A片| 丁香婷婷综合五月天| 久热9| site:pzdcoin.com| 色色色综合网| 欧美大奶熟女噜噜噜噜| 色爱综合网| 丁香五月婷婷姐| www.色婷婷.com| 综合激情五月天| 综合久| 亚洲乱码成人| 丁香花社区av| 精品五月天| 激情婷婷视频在线| 五月婷婷婷婷网| 六月丁香AV| 亚洲六月婷婷| 99日本黄站| 五月婷婷婷| 亚洲欧洲自拍图片专区五月天| 亚洲亚洲人成综合网络| 狠狠干激情五月| 久久人人添人人爽添人人片αV| 婷婷丁香人妻天天| 玖玖婷婷五月| 九九99精品| VA国产在线综合网站| 日韩艹比| 丁香五月激情五月开心五月| 六月丁香婷婷爱| 91无码高清| 99色综合网| 中文毛片无遮挡高潮免费| 亚洲色综合性| 综合网狠狠| 99热在线精品观看| 综合婷婷六月| 99丁香五月| 美国十月色婷婷在线观看| 99热新网址| 777精品久无码人妻蜜桃| 日日鲁鲁夜夜爽爽| 色色五月综合| 99久在线精品| 成人深爱丁香五月| 狠狠爱婷婷五月天| 玖玖午夜视频| 99久久久国产大片| 噢美99| 欧美天堂久久| 天天日天天狠狠操| 久久丁香综合香蕉| 丁香五月在线自慰| 久久av电影| 婷五月天| 亚洲超碰在线| 色五月首页| 色五月婷婷久久| 激情婷婷丁香五月| 亚洲色婷婷五月天| 婷五月天在线草| 午夜免费高清AV片| 丁香五月成人|