欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Zabbix監(jiān)控Nginx實(shí)戰(zhàn):Agent端配置與狀態(tài)頁(yè)采集全解析

Zabbix監(jiān)控Nginx實(shí)戰(zhàn):Agent端配置與狀態(tài)頁(yè)采集全解析 先說結(jié)論Zabbix 監(jiān)控 Nginx最關(guān)鍵的環(huán)節(jié)不在 Server 端怎么寫監(jiān)控項(xiàng)而在 Agent 端怎么把 Nginx 的實(shí)時(shí)狀態(tài)穩(wěn)定采集上來。很多人裝了一堆組件最后發(fā)現(xiàn)數(shù)據(jù)過不來問題大多出在 Nginx 狀態(tài)頁(yè)沒開、Agent 配置文件沒改對(duì)、自定義監(jiān)控項(xiàng)寫錯(cuò)這三個(gè)地方。這篇文章適合兩類人。一類是剛開始接觸 Zabbix想用 Agent 方式給 Nginx 加監(jiān)控的新手另一類是已經(jīng)把 Zabbix Server 跑起來但搞不清客戶端、狀態(tài)頁(yè)、自定義 key 之間關(guān)系的人??赐曛竽隳馨错樞虼畛鲆粭l完整鏈路Nginx 暴露狀態(tài)頁(yè)Agent 執(zhí)行采集命令Zabbix Server 通過 key 拿到數(shù)據(jù)最終在 Web 界面看到指標(biāo)曲線和告警。下面按實(shí)際落地順序拆一遍。1. 先把Zabbix監(jiān)控Nginx的數(shù)據(jù)鏈路拆清楚1.1 Agent在監(jiān)控鏈路里到底干什么Zabbix 監(jiān)控 Nginx 可以有多種方式比如直接用 SNMP、用 Zabbix Agent、或者讓 Zabbix Server 主動(dòng)去請(qǐng)求 HTTP 接口。最常見、也最適合多數(shù)企業(yè)內(nèi)部場(chǎng)景的就是Zabbix Agent方式。Agent 本質(zhì)上是一個(gè)安裝在被監(jiān)控機(jī)器上的小服務(wù)。它負(fù)責(zé)做三件事接收 Zabbix Server 或 Zabbix Proxy 發(fā)來的數(shù)據(jù)請(qǐng)求執(zhí)行本地的采集命令、腳本或從狀態(tài)頁(yè)讀取數(shù)據(jù)把結(jié)果返回給 Server 端。所以Agent 不是直接“連”上 Nginx而是起到了一個(gè)翻譯和采集的作用。Nginx 本身不會(huì)主動(dòng)告訴 Zabbix “我的并發(fā)連接是多少”Agent 需要自己去讀 Nginx 暴露出來的狀態(tài)信息然后轉(zhuǎn)換成 Zabbix 能識(shí)別的數(shù)值。理解這條鏈路非常重要。很多人直接照著網(wǎng)上配置往配置文件里寫了幾行UserParameter發(fā)現(xiàn)沒數(shù)據(jù)就以為是 Zabbix 的問題。實(shí)際上往往是 Nginx 狀態(tài)頁(yè)本身打不開或者 Agent 所在用戶沒有權(quán)限執(zhí)行 curl又或者 key 名稱寫錯(cuò)了導(dǎo)致 Server 端拿不到結(jié)果。1.2 基礎(chǔ)監(jiān)控項(xiàng)可以直接用高級(jí)指標(biāo)要靠狀態(tài)頁(yè)或腳本如果你只是監(jiān)控“進(jìn)程在不在”那 Zabbix 自帶的模板和內(nèi)置 key 就夠了。比如用proc.num[nginx]或proc.num[nginx.exe]判斷 Nginx 進(jìn)程數(shù)量用system.cpu.load看 CPU 負(fù)載用net.if.in、net.if.out看網(wǎng)卡流量。這些不需要改動(dòng) Nginx 配置Agent 裝上之后就能用。但如果你想監(jiān)控 Nginx 的業(yè)務(wù)指標(biāo)比如當(dāng)前活躍連接數(shù)總連接數(shù)總請(qǐng)求數(shù)每秒請(qǐng)求數(shù)Reading、Writing、Waiting 的數(shù)量那一定要開啟 Nginx 的stub_status模塊并配置一個(gè)狀態(tài)頁(yè)。然后通過 Agent 的UserParameter去讀取解析。這里有一個(gè)常見誤解以為 Zabbix 官方模板會(huì)自動(dòng)采集這些數(shù)據(jù)。實(shí)際上官方模板里包含這些監(jiān)控項(xiàng)但前提是 Agent 端已經(jīng)裝好了 Nginx 狀態(tài)頁(yè)采集腳本或自定義 key。模板只是“裝了 CPU 插座”還得你自己把“電源線”接上。1.3 環(huán)境準(zhǔn)備和判斷標(biāo)準(zhǔn)準(zhǔn)備環(huán)境時(shí)先確認(rèn)以下條件Zabbix Server 已經(jīng)安裝并運(yùn)行Web 界面可以打開被監(jiān)控的 Nginx 服務(wù)器能訪問 Zabbix Server/Serve 端也能訪問 Agent 的監(jiān)聽端口Agent 版本盡量和 Server 主版本接近避免低版本 agent 不支持某些 keyNginx 編譯時(shí)帶上了--with-http_stub_status_module或者本身就是發(fā)行版默認(rèn)編譯好的版本如果是 Docker 部署的 Nginx也要確認(rèn)容器內(nèi)是否有 curl、grep、awk 這些基礎(chǔ)命令后面腳本采集時(shí)會(huì)用到。其中“Agent 版本和 Server 版本盡量一致”這條很多人會(huì)忽略。雖然 Zabbix Agent 大體上向后兼容但高版本 Server 搭配特別老的 Agent可能出現(xiàn)監(jiān)控項(xiàng)顯示“不支持”的情況。建議落地前先統(tǒng)一版本。如果只是學(xué)習(xí)測(cè)試單機(jī)部署一臺(tái) VM 就夠如果要進(jìn)生產(chǎn)建議把 Zabbix Server 和 Agent 分別部署在不同機(jī)器上避免性能干擾。2. Agent端安裝和基礎(chǔ)配置決定后面少踩一半坑2.1 安裝方式選擇Zabbix Agent 的安裝方式取決于操作系統(tǒng)。常見的有使用發(fā)行版官方倉(cāng)庫(kù)或 Zabbix 官方倉(cāng)庫(kù)安裝下載源碼編譯安裝使用 Docker 容器運(yùn)行 agent如果是 Windows Nginx還需要安裝 Windows 版本的 agent。安裝時(shí)最好不要用“從網(wǎng)上隨手找個(gè)包”的方式因?yàn)?Zabbix 官方倉(cāng)庫(kù)會(huì)根據(jù)你使用的系統(tǒng)版本提供對(duì)應(yīng)的 agent 包依賴也能自動(dòng)處理。具體安裝命令這里不給死版本因?yàn)椴煌到y(tǒng)和 Zabbix 版本的倉(cāng)庫(kù)地址差異很大。建議參考官方安裝文檔或者直接看倉(cāng)庫(kù)安裝提示按照“添加官方倉(cāng)庫(kù) - 刷新包列表 - 安裝 zabbix-agent”的順序走。安裝完成后先不著急改配置確認(rèn) agent 二進(jìn)制文件已經(jīng)存在。which zabbix_agentd或者zabbix_agentd --version如果命令能打印出版本信息說明安裝成功。這一步能提前發(fā)現(xiàn)“安裝到一半缺依賴”“架構(gòu)不對(duì)”等問題。2.2 修改Agent配置文件Agent 的主配置文件一般叫zabbix_agentd.conf在 Linux 上常見路徑有/etc/zabbix/zabbix_agentd.conf、/usr/local/etc/zabbix_agentd.conf。Windows 上通常安裝在 agent 安裝目錄下。需要重點(diǎn)關(guān)注這幾個(gè)參數(shù)參數(shù)作用填寫建議Server允許向本 Agent 請(qǐng)求數(shù)據(jù)的 Zabbix Server 或 Proxy IP寫 Server 的實(shí)際 IP不要寫 0.0.0.0ServerActiveAgent 主動(dòng)連接 Server 的地址用于主動(dòng)模式同樣寫 Server IP 和端口HostnameAgent 在 Server 端注冊(cè)或顯示的主機(jī)名必須和 Web 界面創(chuàng)建的主機(jī)名一致UnsafeUserParameters是否允許自定義 key 包含特殊字符或帶參數(shù)如果自定義命令很簡(jiǎn)單可以設(shè)為 0如果帶參數(shù)、管道最好設(shè)為 1UserParameter自定義監(jiān)控項(xiàng) key 和采集命令可以寫在單獨(dú)文件里引用一個(gè)常見的問題是同時(shí)配置了Server和ServerActive但 Hostname 寫錯(cuò)了。結(jié)果就是 Zabbix Server 能看到主機(jī)但數(shù)據(jù)全斷斷續(xù)續(xù)。原因是被動(dòng)模式下 Server 根據(jù) IP 來找 Agent主動(dòng)模式下 Agent 要上報(bào)自己的 Hostname兩套機(jī)制的校驗(yàn)方式不一樣。我給你一個(gè)比較穩(wěn)妥的配置習(xí)慣先只配置被動(dòng)模式也就是Server和Hostname確認(rèn) zabbix_get 能取到數(shù)據(jù)后再按需開啟主動(dòng)模式不要一上來就同時(shí)開兩個(gè)模式排查起來不方便。2.3 啟動(dòng)與連通性驗(yàn)證配置文件改完后重啟 Agent 服務(wù)。systemctl restart zabbix-agent確認(rèn)進(jìn)程狀態(tài)systemctl status zabbix-agent然后看 Agent 日志確認(rèn)沒有報(bào)錯(cuò)。日志位置通常在/var/log/zabbix/zabbix_agentd.log。如果 Agent 和服務(wù)在同一臺(tái)機(jī)器可以用zabbix_get命令模擬 Server 拉取數(shù)據(jù)。zabbix_get -s 127.0.0.1 -k agent.ping返回1代表 Agent 活著。返回超時(shí)或cannot connect就要檢查端口監(jiān)聽和防火墻。接下來用同樣方式測(cè)試 Nginx 相關(guān)的內(nèi)置 key比如zabbix_get -s 127.0.0.1 -k proc.num[nginx]如果返回?cái)?shù)字說明 Agent 部署正常已經(jīng)能獲取系統(tǒng)數(shù)據(jù)。到這里基礎(chǔ)的 Agent 鏈路算通了。3. Nginx狀態(tài)頁(yè)開啟核心指標(biāo)都從這里來3.1 檢查Nginx是否帶stub_status模塊Nginx 的stub_status是官方自帶的一個(gè)模塊但很多源碼編譯的 Nginx 默認(rèn)并沒有把它帶上。所以第一步是先確認(rèn)。看已安裝 Nginx 是否包含該模塊nginx -V 21 | grep stub_status如果有輸出說明模塊已經(jīng)編譯進(jìn)去了。如果沒有輸出有兩種處理方式重新編譯 Nginx在 configure 參數(shù)中加上--with-http_stub_status_module如果用的是發(fā)行版默認(rèn) Nginx可以檢查是否已經(jīng)默認(rèn)帶了這個(gè)模塊。比如某些 Linux 發(fā)行版的 nginx 包會(huì)默認(rèn)包含。重新編譯相對(duì)麻煩尤其會(huì)影響現(xiàn)有 Nginx 的平滑升級(jí)。建議先在測(cè)試環(huán)境驗(yàn)證不要直接在線上操作。如果線上 Nginx 是別人裝的你也不清楚編譯參數(shù)那就先跑nginx -V看看結(jié)果。3.2 配置location /nginx_status在 Nginx 配置中增加一個(gè)狀態(tài)頁(yè) location。常見做法是新增一個(gè)獨(dú)立配置文件或者在server塊中新增 location。location /nginx_status { stub_status on; access_log off; allow 127.0.0.1; deny all; }這里最重要的不是stub_status on;而是allow和deny的訪問控制。默認(rèn)情況下這個(gè)頁(yè)面會(huì)暴露 Nginx 當(dāng)前所有連接和請(qǐng)求狀態(tài)。如果不做限制外網(wǎng)可以隨便訪問等于泄露了服務(wù)運(yùn)行基礎(chǔ)信息。所以一般只允許本機(jī)或內(nèi)網(wǎng)監(jiān)控網(wǎng)段訪問。如果 Agent 和 Nginx 在同一臺(tái)機(jī)器allow 127.0.0.1就夠了。如果 Agent 要從另一臺(tái)機(jī)器抓取就把a(bǔ)llow換成監(jiān)控網(wǎng)段但這樣會(huì)對(duì) Nginx 暴露一個(gè) HTTP 端點(diǎn)必須在防火墻層面做好限制。有些朋友會(huì)問不是 Agent 本機(jī)采集嗎為什么還要允許局域網(wǎng)因?yàn)槿绻愕牟杉_本是跑在 Agent 本機(jī)通過http://127.0.0.1/nginx_status訪問那確實(shí)只需要允許本機(jī)。但如果你嘗試從 Zabbix Server 直接用 HTTP agent 監(jiān)控 Nginx那就必須允許 Server IP。本文統(tǒng)一采用 Agent 本機(jī)采集的方式所以只允許 127.0.0.1 最穩(wěn)。配置完成后重載 Nginx。nginx -t nginx -s reload3.3 本地curl驗(yàn)證輸出格式在 Agent 本機(jī)執(zhí)行curl http://127.0.0.1/nginx_status正常情況下會(huì)看到類似這樣的輸出Active connections: 12 server accepts handled requests 100 100 200 Reading: 0 Writing: 1 Waiting: 11四行數(shù)據(jù)的含義第一行當(dāng)前活躍連接數(shù)第二行三個(gè)計(jì)數(shù)器的標(biāo)題第三行總接受連接數(shù)、總握手連接數(shù)、總請(qǐng)求數(shù)第四行正在讀取請(qǐng)求頭的連接數(shù)、正在寫入響應(yīng)的連接數(shù)、空閑等待請(qǐng)求的連接數(shù)。如果 curl 返回空或者 403、404先查 Nginx 配置是否真正生效再查防火墻。403 通常是 allow/deny 規(guī)則問題404 通常是 location 路徑或配置文件沒加載。4. 自定義監(jiān)控項(xiàng)把status頁(yè)轉(zhuǎn)換成Zabbix能識(shí)別的數(shù)據(jù)4.1 用UserParameter定義KeyAgent 拿到 Nginx 狀態(tài)頁(yè)內(nèi)容之后還需要把它解析成獨(dú)立指標(biāo)。Zabbix 是通過自定義 key 來實(shí)現(xiàn)的。在/etc/zabbix/zabbix_agentd.d/目錄下新建一個(gè)配置文件比如userparameter_nginx.conf寫入U(xiǎn)serParameternginx.active,curl -s http://127.0.0.1/nginx_status | grep Active | awk {print $NF} UserParameternginx.requests,curl -s http://127.0.0.1/nginx_status | sed -n 3p | awk {print $3} UserParameternginx.reading,curl -s http://127.0.0.1/nginx_status | grep Reading | awk {print $2} UserParameternginx.writing,curl -s http://127.0.0.1/nginx_status | grep Writing | awk {print $4} UserParameternginx.waiting,curl -s http://127.0.0.1/nginx_status | grep Waiting | awk {print $6}注意這里的命令里用到了管道和grep所以UnsafeUserParameters需要設(shè)為1否則 Agent 可能拒絕執(zhí)行這類帶特殊字符的命令。配置完重啟 Agentsystemctl restart zabbix-agent用zabbix_get測(cè)試zabbix_get -s 127.0.0.1 -k nginx.active如果返回?cái)?shù)字說明自定義 key 已經(jīng)生效。4.2 用腳本代替多條命令上面的寫法雖然簡(jiǎn)單但每條 key 都執(zhí)行一次 curl而且解析邏輯各不相同。如果有 5 個(gè)指標(biāo)每次采集都要重復(fù)請(qǐng)求 5 次狀態(tài)頁(yè)。雖然對(duì)單機(jī)來說影響不大但會(huì)讓監(jiān)控?cái)?shù)據(jù)點(diǎn)的時(shí)間不完全一致尤其是 active、connections、requests 三個(gè)值是不同時(shí)間快照畫圖時(shí)可能看到輕微波動(dòng)。更好的方式是寫一個(gè)采集腳本一次請(qǐng)求拿到所有值再按需輸出。#!/bin/bash STATUS$(curl -s http://127.0.0.1/nginx_status) case $1 in active) echo $STATUS | grep Active | awk {print $NF} ;; requests) echo $STATUS | sed -n 3p | awk {print $3} ;; reading) echo $STATUS | grep Reading | awk {print $2} ;; writing) echo $STATUS | grep Writing | awk {print $4} ;; waiting) echo $STATUS | grep Waiting | awk {print $6} ;; *) echo UNKNOWN ;; esac把這個(gè)腳本放到/usr/local/bin/nginx_status.sh并加執(zhí)行權(quán)限chmod x /usr/local/bin/nginx_status.sh然后配置 userparameterUserParameternginx.status[*],/usr/local/bin/nginx_status.sh $1這樣在 Zabbix Server 端可以用nginx.status[active]、nginx.status[waiting]讀取不同指標(biāo)每次采集只請(qǐng)求一次 Nginx 狀態(tài)頁(yè)。這類腳本方案適合指標(biāo)多、采集頻率高的場(chǎng)景。缺點(diǎn)是腳本出了問題排查難度更大所以腳本里盡量減少對(duì)系統(tǒng)命令路徑的依賴。4.3 主動(dòng)模式和被動(dòng)模式對(duì)自定義key的影響自定義 key 本身不區(qū)分主動(dòng)還是被動(dòng)兩種模式都支持。區(qū)別在于被動(dòng)模式Zabbix Server 發(fā)起 TCP 連接向 Agent 請(qǐng)求 keyAgent 執(zhí)行命令返回結(jié)果。適合監(jiān)控項(xiàng)不多、Server 并發(fā)壓力不大的場(chǎng)景。主動(dòng)模式Agent 每隔一段時(shí)間主動(dòng)去向 Server 獲取監(jiān)控項(xiàng)列表然后執(zhí)行并上報(bào)結(jié)果。適合監(jiān)控項(xiàng)很多、網(wǎng)絡(luò)分區(qū)復(fù)雜的場(chǎng)景。如果你使用主動(dòng)模式ServerActive必須配置正確并且 Agent 能訪問 Server 的 10051 端口。同時(shí) Hostname 必須和 Web 界面創(chuàng)建的主機(jī)名完全一致否則 Agent 上報(bào)的數(shù)據(jù)找不到歸屬主機(jī)。在測(cè)試階段建議先使用被動(dòng)模式因?yàn)閦abbix_get就是模擬被動(dòng)模式的請(qǐng)求排錯(cuò)更直觀。5. Server端把主機(jī)和監(jiān)控項(xiàng)綁定起來5.1 在Web界面添加主機(jī)Zabbix Server 裝好并配置好 Agent 后登錄 Web 界面在“數(shù)據(jù)采集 - 主機(jī)”里創(chuàng)建新主機(jī)。需要填寫的內(nèi)容主機(jī)名稱必須與 Agent 配置里的Hostname一致可見名稱可以自定義顯示在頁(yè)面上模板可以先選擇自帶模板測(cè)試連接性群組選一個(gè)已有主機(jī)組或者新建一個(gè) Nginx 組Interface選擇 Agent填寫被監(jiān)控機(jī)器 IP 地址端口默認(rèn) 10050。創(chuàng)建時(shí)如果勾選了“添加后啟用”保存后主機(jī)應(yīng)該會(huì)出現(xiàn)在可用主機(jī)列表里。很多人第一次配置時(shí)會(huì)把“主機(jī)名稱”和“可見名稱”混在一起。實(shí)際上主機(jī)名稱是 Zabbix 內(nèi)部用于匹配 Agent 上報(bào)的標(biāo)識(shí)必須嚴(yán)格對(duì)應(yīng)可見名稱可以隨便寫。如果主機(jī)名稱填錯(cuò)主動(dòng)模式下數(shù)據(jù)絕對(duì)不來被動(dòng)模式下有時(shí)還能通過 IP 匹配所以這個(gè)坑要記住。5.2 關(guān)聯(lián)模板或手動(dòng)添加監(jiān)控項(xiàng)Zabbix 官方提供了 Nginx by Zabbix agent 模板里面已經(jīng)定義好了監(jiān)控項(xiàng)和觸發(fā)器。如果你的 Agent 端已經(jīng)配好了對(duì)應(yīng)的自定義 key直接關(guān)聯(lián)模板就能看到數(shù)據(jù)。關(guān)聯(lián)模板之后建議先看“最新數(shù)據(jù)”。如果監(jiān)控項(xiàng)顯示“不支持”說明模板里引用的 key 在 Agent 端并沒有定義要么是自定義配置文件沒生效要么是 key 名稱不匹配。不使用模板的情況下也可以手動(dòng)創(chuàng)建監(jiān)控項(xiàng)字段示例名稱Nginx 活躍連接數(shù)類型Zabbix agent鍵值nginx.status[active]信息類型數(shù)字無正負(fù)更新時(shí)間30s手動(dòng)創(chuàng)建的好處是靈活壞處是每臺(tái)主機(jī)都要配一遍效率低。建議至少?gòu)哪0彘_始再按需修改。5.3 最新數(shù)據(jù)驗(yàn)證添加監(jiān)控項(xiàng)后等一兩個(gè)更新周期再到“監(jiān)測(cè) - 最新數(shù)據(jù)”里查看。判斷標(biāo)準(zhǔn)有數(shù)值且持續(xù)更新鏈路完全通顯示不支持Agent 執(zhí)行命令失敗或 key 名稱不對(duì)顯示“不支持”但 zabbix_get 正常檢查 Server 端 Agent 配置的 IP 和端口有數(shù)據(jù)但一直不變檢查腳本是否用了緩存或者 Nginx 狀態(tài)頁(yè)是否更新異常。有時(shí)候 Agent 端剛改了自定義配置需要等 Agent 重啟后才會(huì)重新加載。如果發(fā)現(xiàn)改了配置但沒生效先確認(rèn)是否重啟了 zabbix-agent。我用 zabbix_get 排查時(shí)會(huì)習(xí)慣在前面加一個(gè)timeouttimeout 5 zabbix_get -s 192.168.1.10 -k nginx.status[active]加上 timeout 可以避免命令長(zhǎng)時(shí)間卡住尤其當(dāng)腳本內(nèi)部頻繁請(qǐng)求外部地址時(shí)。生產(chǎn)上不建議讓監(jiān)控采集命令永久阻塞Zabbix Agent 本身有 timeout 限制但腳本內(nèi)部如果卡在某個(gè)命令上也會(huì)拖慢采集。6. 數(shù)據(jù)沒到、不支持、為0時(shí)按這個(gè)順序排查6.1 Agent狀態(tài)不可達(dá)現(xiàn)象Zabbix Server 頁(yè)面顯示主機(jī)離線zabbix_get -s 目標(biāo)IP -k agent.ping超時(shí)或 cannot connect。排查順序先確認(rèn)目標(biāo) IP 是否通ping 目標(biāo)IP確認(rèn) Agent 端口監(jiān)聽是否正常ss -lntp | grep 10050確認(rèn)防火墻是否放行端口Linux 檢查firewalld或iptables確認(rèn) Zabbix Server 能否連接到該端口用telnet 目標(biāo)IP 10050或nc -vz 目標(biāo)IP 10050如果前面都正???Agent 日志可能有配置錯(cuò)誤或啟動(dòng)失敗。大多數(shù)“不可達(dá)”不是 Zabbix Server 的問題而是防火墻或者 Agent 沒啟動(dòng)。6.2 監(jiān)控項(xiàng)顯示不支持現(xiàn)象agent.ping正常但 Nginx 相關(guān)監(jiān)控項(xiàng)顯示“不支持”。在 Agent 本機(jī)執(zhí)行zabbix_get -s 127.0.0.1 -k nginx.status[active]如果返回非數(shù)字或報(bào)錯(cuò)繼續(xù)看key 名稱是否和 Server 端完全一致自定義配置文件是否生效腳本是否有執(zhí)行權(quán)限腳本里的 curl 是否能訪問 Nginx 狀態(tài)頁(yè)Agent 日志里是否有cannot run command之類的記錄。這一層最常見的問題有兩個(gè)一個(gè)是UnsafeUserParameters0導(dǎo)致帶管道或參數(shù)字符的命令被攔截另一個(gè)是腳本權(quán)限不對(duì)Agent 執(zhí)行腳本時(shí)沒有執(zhí)行權(quán)限返回空值。6.3 數(shù)據(jù)為0或長(zhǎng)時(shí)間不變?nèi)绻?zabbix_get 能返回?cái)?shù)字但 Web 界面數(shù)據(jù)為 0 或不變可能的原因監(jiān)控項(xiàng)類型設(shè)置錯(cuò)誤比如把整數(shù)項(xiàng)配置成字符型更新周期太長(zhǎng)短時(shí)間內(nèi)看不到變化Agent 端腳本使用了緩存文件但緩存文件沒有及時(shí)更新Nginx 狀態(tài)頁(yè)的數(shù)值確實(shí)沒變化尤其是 Reading/Writing/Waiting請(qǐng)求量低的時(shí)候波動(dòng)很小。遇到這種問題先把監(jiān)控項(xiàng)改成 10s 更新間隔觀察同時(shí)把采集腳本手動(dòng)執(zhí)行幾次對(duì)比結(jié)果。如果手動(dòng)執(zhí)行有變化而 Zabbix 一直取舊值多半是 Agent 端緩存或 Server 端歷史數(shù)據(jù)存儲(chǔ)延遲。6.4 檢查權(quán)限和SELinux這個(gè)坑在 Linux 生產(chǎn)環(huán)境中非常普遍。如果 Agent 和 Nginx 都在同一臺(tái)機(jī)器Agent 執(zhí)行 curl 訪問http://127.0.0.1/nginx_status一般沒問題。但如果 SELinux 開啟可能會(huì)有連接被拒的情況。排查時(shí)先看/var/log/audit/audit.log有沒有 denied 記錄。有的話可以采用兩種方式放通相關(guān)端口或者把 SELinux 臨時(shí)轉(zhuǎn)為 permissive 測(cè)試。不要一上來就永久關(guān)閉 SELinux先確認(rèn)是不是它的原因。Zabbix Agent 默認(rèn)以zabbix用戶運(yùn)行這個(gè)用戶對(duì) Nginx 狀態(tài)頁(yè)的訪問是走 HTTP 協(xié)議的不涉及文件系統(tǒng)權(quán)限但要在操作系統(tǒng)層面允許它建立本地網(wǎng)絡(luò)連接。如果連本機(jī)回環(huán)都被限制curl 會(huì)返回空。7. 從單臺(tái)試跑到批量部署還要補(bǔ)三件事7.1 批量部署Agent單機(jī)跑通后批量監(jiān)控也別急著手工逐臺(tái)配置。建議提前準(zhǔn)備好 Agent 配置文件模板和安裝腳本利用自動(dòng)化運(yùn)維工具分發(fā)安裝。批量部署時(shí)每臺(tái)機(jī)器需要變化的內(nèi)容主要有兩個(gè)Hostname和Server。Server通常都指向同一個(gè) Zabbix ServerHostname則建議用機(jī)器名或業(yè)務(wù)名方便識(shí)別。如果沒有自動(dòng)化工具可以寫一個(gè)簡(jiǎn)單的 Shell 腳本在一批機(jī)器上執(zhí)行安裝、寫入配置、啟動(dòng)服務(wù)。關(guān)鍵點(diǎn)在于腳本要冪等重復(fù)執(zhí)行不會(huì)產(chǎn)生重復(fù)監(jiān)控項(xiàng)或配置沖突。7.2 模板復(fù)用和指標(biāo)命名規(guī)范批量部署前先定義一套統(tǒng)一的監(jiān)控項(xiàng)命名規(guī)范。比如nginx.active nginx.requests nginx.reading nginx.writing nginx.waiting不要每臺(tái)機(jī)器都用不同的 key 名。否則后面加圖形、加聚合、加告警時(shí)工作量會(huì)翻好幾倍。在 Zabbix 里一套完整的 Nginx 監(jiān)控模板應(yīng)該包含監(jiān)控項(xiàng)連接數(shù)、請(qǐng)求數(shù)、Reading、Writing、Waiting觸發(fā)器活躍連接數(shù)過高、請(qǐng)求數(shù)異常下降、Nginx 進(jìn)程數(shù)小于 1圖形連接數(shù)和請(qǐng)求數(shù)趨勢(shì)圖聚合原型如果需要按集群視圖查看可以配置聚合監(jiān)控項(xiàng)。模板設(shè)計(jì)好之后所有新主機(jī)直接關(guān)聯(lián)模板避免人工逐條添加監(jiān)控項(xiàng)。7.3 監(jiān)控頻率與告警閾值的取舍Nginx 的指標(biāo)采集頻率不建議太高。默認(rèn) 30 秒到 1 分鐘已經(jīng)足夠尤其是請(qǐng)求數(shù)、活躍連接數(shù)這類指標(biāo)本身就是瞬時(shí)快照采集頻率高并不能提高準(zhǔn)確性反而會(huì)增加 Agent 和 Server 的負(fù)擔(dān)。告警閾值要根據(jù)實(shí)際業(yè)務(wù)來定。比如活躍連接數(shù)超過某個(gè)值就告警但不同服務(wù)器的性能差異很大最好先采集一周數(shù)據(jù)再看基線請(qǐng)求數(shù)突然掉到接近 0可能是 Nginx 掛了也可能是業(yè)務(wù)本身陷入了低谷Reading、Writing 長(zhǎng)期偏高說明可能有大文件傳輸或慢客戶端不一定是故障。我在實(shí)際項(xiàng)目中用過的最不后悔的一個(gè)習(xí)慣是剛開始只采集不告警。先積累一兩周數(shù)據(jù)再根據(jù)真實(shí)基線設(shè)定閾值否則很容易被誤報(bào)刷屏。7.4 日志和備份最后補(bǔ)一個(gè)容易被忽略的點(diǎn)Agent 端自定義配置和腳本要納入版本管理不能只留在機(jī)器上。否則重裝機(jī)器后監(jiān)控配置就很難原樣恢復(fù)了。Zabbix 本身的模板、主機(jī)、監(jiān)控項(xiàng)配置也要定期導(dǎo)出備份。監(jiān)控系統(tǒng)一旦配置多了重新手搭非常痛苦。備份不只是保護(hù)數(shù)據(jù)也是在保護(hù)自己的運(yùn)維效率。如果只是學(xué)習(xí)按默認(rèn)配置跑通就可以了如果要長(zhǎng)期維護(hù)那就把日志、輸出目錄、模板備份和權(quán)限控制都提前整理好后面真的會(huì)省很多事。踩過幾次之后我發(fā)現(xiàn)Zabbix 監(jiān)控 Nginx 的坑很少在“功能不夠”上多半是前置環(huán)境不一致、狀態(tài)頁(yè)訪問受限、自定義 key 書寫習(xí)慣不統(tǒng)一。把這幾條理順整個(gè)監(jiān)控鏈路就穩(wěn)了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷午夜精品久久久| http://www.lingjunshare.com/ | 丁香婷婷性爱| 五月天婷婷青青草| 超碰99在线观看| 欧美性生交A片免费看| 天天色综合网吨吧| 婷婷五月天无码熟女| 色婷婷色和| 久热这里只有| 人人做天天爱| 丁香五月成人论坛| 大香蕉综合| 日日操日日干| 禁片二区| 国产肥白大熟妇BBBB视频| 这里只有精品在线视频在线观看| 久久久五月激| 免费精品66| 九色无码| 99 福利 导航| 色婷婷狠狠禁久久| 色优久久| 91啪啪视频| 欧美va亚洲va在线播放| 成人必爱视| 无码橾| 无码激情AAAAA片-区区| 五月天国产| 东京热人妻一区二区三区在线| 狠狠干在线| 丁香五月婷婷香| 五月婷婷,六月激情| 激情丁香五月天图片| 丁香五月婷婷基地| 99在线精品视频| 影音先锋偷偷色男人站| 人人草人人爱| 色欲一区二区三区精品A片| 激情五月天综合图片小说网站| 色噜噜夜夜夜综合网| httpwww色com日本| 欧美A级成人婬片免费看理论| 九九九九国产| 六月婷婷激情| 婷婷五月天丁香社区| 婷婷五月丁香网| 日日噜噜久久婷婷五月天 | 精品欧美一区二区三区久久久| 91丁香五月| AV五月婷婷露脸| 26uuu亚洲欧美另类| 久久九区| WWW.天天日| 久久婷婷五月综合伊人| 热久久91| 九九99在线免费在线观看视频| 97丁香婷婷| 五月婷婷激情啪啪| 玖玖九九9999在线观看视频精品| 亚洲无码性爱| 五月天伊人久久| 超级久久久| www.丁香黄色五月天人与| 色色国产| 亚洲亚洲人成综合网络| 日本eVa一区=区视频| 天天爽天天爽| 成人αV视频免费观看| 午夜性做爰电影| 日韩操人| 中国女人做爰A片| 第五色婷婷| 五月婷婷影院| 思思久久99热只有频精品66| 婷婷五月天综合亚洲| 风流少妇A片一区二区蜜桃| 97色色视频| 99热这里只有精品22| 精品成人久久久久久久_一二三四视| 久9无码视频| 五月婷久久草| 成人短视频在线| 天天射天天干天插色综合| 超热久碰.com| 国产激情视频在线观看| www。五月天。com| 五月情婷婷| 狠狠色综合久久| 天天爽天天爽视频| 99精品综合视频| 少妇性按摩无码中文A片| 五月丁香色婷婷| 狠狠干狠狠干| 最熟少妇乱码| 色色是色N一| 五月丁香色婷婷伊人| 六月婷婷五月丁香首页| 欧美VA在线| 婷婷丁香五月综合| 国产SUV精品一区二区6| 欧美人人女女精品综合五月天| 伊人网啪啪| 亚洲色碰| 天天橾夜夜爽| 婷婷五月天激情网| 94干大香蕉| 色婷久九| 天天日天天操天天干| 色五开心五月五月深深爱| 国产美女视频久| 中文字幕在线资源| 日韩日比视频在线| 99久久婷婷五月综合| 久久精彩免费视频| 欧美在线ee日韩| 综合狠狠干| 婷婷激情五月天网站| 五月婷婷免费| 九九碰九九爱97超碰| 大香蕉啪啪啪| 久久伦乱| 五月天激情av| 六月丁丁香| 亚洲欧洲一二| 激情五月综合色婷婷| www.99成人视频| 91热在线| 欧美婷婷综合网| 黄色片区子| 啪啪色激情五月天| 99热这里只有精品99| 亚洲色另类| H亚洲| 亭亭色色五月天| 久草xx性爱视频| 欧美 日韩 成人在线| 这里只有精品久久| 色欲天天综合网| 激情五月婷在线精品| 激情五月天天狠狠久久| 婷婷五月丁香综合亚洲| 天天日人人| 久久久无码精品成人A片小说| 国产FREESEXVIDEOS性中国| 免费观看2018www黄色操逼网站| 婷婷五月丁香av网站| 天天干夜晚夜操| 国产美女无遮挡裸体毛片A片| 久超超碰| 99在线热视频| 嫩草视频观看| 五月天激情无码| 天天干,夜夜爽| 婷婷色吧| 日狠狠| 久久精品A片777777| 欧美在线干| 激情五月婷婷综合| 伊人大蕉香| 亚洲欧洲自拍图片专区五月天| 91人妻人人做人碰人人爽九色| 这里只有精品99www| 日韩久久视频| 99在线公开视频| 丁香五月色欲| 久久天堂女人| 婷婷噜噜| 六月婷婷最新网址| 综合久久99| 97久久久久久久久久久| 三十路磁力链接| 色五月婷婷影院| 综合伊人久久| 五月婷婷亚洲| 色啪网| 荷兰av一级| 夜色爱爱亚洲| 五月在线| 超碰在线国产9| 区区欧美你爱| www.久操| 五月丁香花视频| 综合婷| 五月婷婷六月丁香综合| 色 五月 天 婷婷 丁香 九月| 久久99成人性爱高清视频| 免费视频WWW在线观看网站| 五月婷婷在线丁香| 国产美女无遮挡裸体毛片A片| 久久永久网址| 666555。COm毛片| 亚洲VA欧美VA| 亚洲亚洲人成综合网络| 99热中国| 99热九九在线| 九九aV| 久久99精品视频| www.99精品视频| 国产va视频| 婷婷九月丁香天堂丁香天堂| 97久久精品| 99在线视频播放| www.maotanji.com| 天天插天天狠| 精品少妇人妻AV无码专区偷人| 激情纯色婷婷五月天在线不卡视频| 亚洲色五月| 激情亚洲色图片丁香综合| 成人午夜天| 九九一综合精品| 99年操人人爽| 色色色com| 久久久久久久久久久97| 天天综合网站| 丁香五月婷婷手机| 中美日韩成人在线| 欧美日韩成卜| 2017人人操| 99精品久久| 激情六月天| 永久AⅤ1| 91九色国产| 99热这里只有精品8| 思思热在线视频99| 99精品人人| 99色婷婷视频| 激情黄色五月天| 超碰人人妻| 色婷精品91| 国产日批视频免费播放| 色婷婷五月影视| 丁香五月天婷婷中文字幕| 九九99热久久精品66中文字幕| 亚洲成人免费电影| 91精品综合久久久久久五月丁香| 六月丁香深深爱综合网| Aaa久久| 婷婷五月天久久久| 激情五月图| 精品五月花| 亚洲黄色精品| 99性爱视频网站| 中文字幕在线免费| 亚洲影院婷婷色| 综合啪啪| 五月丁香六月婷婷综合网站| 丁香五月天信号| www,999日本色| 免费国产视频| 人人操人人爱丁香五月| www.99热在线| 久久久久久久久久久久久久久久一道本| 五月婷婷丁香五月| 九九色99| 丁香五月综合激情久久潮喷| 久综合| 成人在线二区| 天天操综合网| 91日韩在线| av五月天婷婷丁香| 天天人人天天爽| 日韩欧美成人片| WW婷婷五月天com| 大香蕉综合| 五月激情久久综合网| 九热视频| 日韩av网站在线观看| AA片在线观看视频在线播放| 亚洲性受XXXX五月丁香| www五月天com| 99视频日韩| 久久免费精彩视频| 99热官网| 欧美婷婷五月丁香| 大香蕉精品视频| 免费视频这里只有精品| 五月涩涩网| 婷婷香香五月| 超碰99热精品| 91pornav在线| 丁香五月婷婷天堂大香蕉| 久久综合五月天激情小说网站| 亚洲综合成人网| 日日操人人操| 亚洲丁香五月综合| 精a品a视a频| 日本在线99| 不卡成人免费| 亚洲传媒在线观看| 婷婷五月综合丁香久久| 婷婷五月丁香青青草在线| 丁香六月综合激情| 五月天婷婷影院| 五月丁香综合激情| 五月草视频| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 美日韩成人| 婷婷久久精品| 香蕉大综综综合久久| 五月婷婷很很色| 嫩草AV久久伊人妇女超级A| 亚洲天天| 五月天色色色| 农村熟妇高潮精品A片| 九九亚洲视频| 97色吧| 久久精品一区二区三区四区| 婷婷丁香成人色综合| a免费在线| 九九热123| 一区二区三区四日本| 精品欧美性爱超级爽| 国产小精品| XX色综合| 五月天小说激情| 超级碰碰一区| 欧美天天搞| 激情中文在线| 色婷婷小说| 色婷婷久久| 丁香无月在线观看| 天天日夜夜操五月| 亚洲va欧美va天堂v国产综合| 97 A I色色| 五月婷在线观看| 久久婷婷五月天| 69久久99精品久久久久婷婷| 丁香五月欧美| 成人AV播放| 深爱激情五月天| 亚洲乱码精品久久久久..| 无码日本精品XXXXXXXXX | 无码人妻丰满熟妇奶水区码| 丁香婷婷五月天成人| 久久中国毛毛片爱久久| 五月婷婷九| 久99久99精品免| 操一区| 天插天啪天啪天啪| 91婷婷色五月| 青青久久五月| 六月丁香花婷婷| 6080av| 婷婷色综合| 99久久久久| 欧美色偷偷大香| 影音先锋色婷婷| 亚洲成人电影aaaa| 五月丁香六月激情综合| 亚洲黄网AV| 97超碰在线免费观看| 色色色99韩| 成人综合伍月天| 99热在线观看| 亚洲天堂有码| 久色姿源| 大香蕉五月天| 婷婷五月欧美| 五月丁香六月婷婷综合免| 亚洲无码99| 在线日韩视频| jiujiujiuwuyuetian| 久久av电影| 91综合色| 另类图片五月天激情| 五月激情丁香五月| 97色女人在线| 最新国产AV| 久热这里只有精品3| 国产午夜精品久久久观看| av九九| www九月婷婷| 欧美成人无码高清一区二区三区| 色婷婷五月天成人网| 影音先锋 萱萱| 97热视频| www久久艹| 色婷婷丁香女女| 91操操| 天天干天天做| 天天透天天干| 少妇人妻综合色6699| 九九热视频在线观看| 玖玖午夜视频| 久久99网| 日本久久极品| 色噜噜狠狠插综合| 嫩模草| 五月天激情小说电影| 成人电影在线免费试看| 97自拍99| 五月丁香色综合| 91丨九色丨首页| 久久亚洲网| 色噜噜婷婷| 久久9热| 天天做天天爱天天要| 噼里啪啦在线观看免费完整版视频| 六月婷婷综合激情| 99热亚洲精品| 久久精品99久久| 丁香五月在线观看| 狠狠草网| 五月天婷综合| 97久久草草超级碰碰碰| 丁香五月欧美成人| 国产激情视频在线观看| 五月色婷婷综合| 婷婷五月电影院| 亚洲av成人在线| 97极品在线| 五月婷婷六月丁香五月| 黄色激情久久| 五月天婷婷基地| 青青草原亚洲天堂| 日日操日日撸| 精品无码人妻一区| 怡红院AV亚洲一区二区三区H| 99色最新在线视频| 91九九九九| 激情都市五月天| 黄桃AV无码免费一区二区三区 | 丁香五月色综合色播五月| 五月天激情小说网| 伊人五月人妻精品| 另类婷婷五月天啪帕帕| 久久99热在线观看| 日韩AV片| 久久久五月天| 五月综合激情综合久| 五月婷婷 激情按摩| 狠狠五月天激情| 一区二区无码视频| 亚洲精品在线视频| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 国产99热在线看| 公的粗大挺进了我的密道| 五月色导航| 激情98色婷婷五| 欧美人妻一区二区| 久9视频| 综合色色网| 色 丁香婷婷| 国内精品99| 天天色天天日| 人人草成人视频| 男女啪啪做爰高潮无遮挡| 亚洲狠狠狠| 五月久久网| 激情五月天综合网| 丁香五月激情综合啪啪| 99色热视频| 五月天丁香| 婷婷亚洲在线| 99A级片| 五月激情影院| 日日操日日撸| 久久er+| 嫩草哈哈操| 91日本在线| 亚洲五月丁| 岛国资源站| 狠狠干夜夜干| 五月丁六月香| 久久婷婷成人视频| 开心久久网婷婷| 丁香五月播播| 免费观看欧美成人AA片爱我多深| 四虎成人精品永久免费AV九九| 丁香六月婷婷久久综合| 女人被男人吃奶到高潮| 五月丁香六月婷婷免费视频| 六月婷婷久久| AV在线不卡播放| 欧美色色色色色色色色色色| 97婷婷丁香五月| 玖玖婷婷色五月| 白人荫道BBWBBB大荫道| av在线免费播放| 五月丁香色狠狠干大屄| 91精品久久久久久77777| 日韩二区搞逼插逼毛片| 五月婷婷综合网| 久久视频这里99| se99视频| 五月天婷婷无码视频| 五月天激情小说| 久久99网| 激情综合播播| 国产色色视频| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 99爱在线| 精品无码久久久久久久久| 69久久99精品久久久久婷婷| 99亚洲无码| 日本a片网址| www.久久久久久| 九色综合网| 99热这里只有精| 亚洲成人中心| 夜夜谢天天干| 噜噜久| 婷婷亚洲激情在线观看视频 | 9色在线| 精品九九网| 激情人妻蜜夜系列区| www激情| 天天综合五月天| 青青草原精品久久| WWW.桔色成人.COM| 清色五月天| 亚洲sesesese| 婷婷色播婷婷| 91热在线| 天天摸天天肏| 超碰成人在线观看| 激情床戏| enecarbon-materials.comWu染请涟系Bao护@wip1688 | WWW,婷婷,COM| 这里只有精品久| 天干天天干天天天天天| 99热国内| 综合在线丁香五月| 激情小说五月天中文字幕| 涩涩五月天综合| 99热自拍| 99re这里只有精品99| 色噜噜夜夜夜综合网| 日韩情色在线观看| 欧美操逼天堂| 激情av在线| 日韩视频女神99| 五月天婷婷涩涩| 久久婷婷桃花五月天| 成人免费超碰| 99热精品超碰| 久久综合影院| 丁香五月婷婷啪啪啪| 日韩成人中文字幕| 九九黄色网| 色婷婷小说| 无码se| 中文字幕婷婷五月天| 狠狠干五月天婷婷网| 五月天激情综合首页| 色色综合成人网| 天天爽天天爽天天爽天天爽天天爽天天爽天天| 色波激情五月天| 婷婷五月天天| 五月婷婷狠狠干| 色婷婷色五月天| 五月丁香综合激情网| 五月在线| 91碰视频| 亚洲视频一区| 丁香五月激情啪啪综合| 久久玖玖综合| 色婷婷五月开心六月综合| 激情文学 综合 色| 久热这里只有精品视频6| 天天做天天爱天天综合网| 五月婷婷之婷婷| 91凹凸在线| 亚洲色五月| 粉嫩AV久久一区二区三区| 久久九九激情五月天 | 婷婷激情伍月网| 国外亚洲成AV人片在线观看| 狠狠噪| 五月婷av| 色五月天丁香| 免费试看小视频 99| 六月婷婷在线| 色色婷婷五月天| 国外亚洲成AV人片在线观看| 一区二区aV电影免费看| 色情婷婷| 色五月丁香五月婷婷五月成人网 | 色色免费网站| www.丁香六月婷婷久久天堂影院.con| 性爱网六月丁香| 五月大香蕉| 色五月开心开心五月激情五月| www.henhengan| 日本色色色| www免费在线视频| 综合五月丁香六月婷婷| 亚洲俩性性爱图片久久第六页| 五月婷婷六月基地| 99热18| www九九免费视频| 久久久久亚洲AV成人无码电影| 五婷婷六月合| 99热免费精品| 精品热青草| 成人丁香五月| 丁香色婷婷| 91久久久久久久| 色婷婷综合丁香五月天| 激情五月婷婷欧美极品| 丁香五月婷婷五月天| 99这里有精品| 日本三久久| 日日懆天天懆| 亚洲va综合va国产va中文| 五月天堂六月丁香亚州中文字幕久久| 综合久久婷婷五月丁香| 婷婷综合一二三| 99久久人妻精品无码二区| 丁香五月777| 亚洲综合婷婷| 人妻精品一区二区三区| 大香蕉啪啪啪啪啪啪| 99在线观看视频蜜臀| 五月丁香激情综合| 久久九九激情五月天 | www.久久爱| 黄色AAAAAAA| 综合激情五月丁香| 操操操操操操婷婷五月天| 无码色色| 欧美槡BBBB槡BBB少妇| WWW久久久| 激情综合网五月天| 大香蕉婷婷婷| 亚洲 小说 欧美 激情 另类| 99成人在线观看| 色欧美影院| 五月色丁香视频精品| 熟妇内谢69XXXXXA片| 亚洲1区| 丁香六月婷| 婷婷丁香五月天色色| 激情纯色婷婷五月天在线不卡视频| 91久久婷婷| 久综合九| 开心五月婷婷| 久久嘟嘟丁香| 五月天色丁香| 91精品综合久久久五月天| 日本性激情色播| 99国产精品久久久久久久久久久| 五月丁香A片| 色色色干| 热久久91| 婷婷五月天久久久| 97人人操人人爽| 成人一级片| 99男人天堂| 婷婷色片| 人人人操| 超碰99在线观看| 91偷拍视频| 97香蕉碰碰人妻国产欧美| 99re热在线观看| 丁香五月成人婷婷| 五月丁香婷婷激情影院欧美| 中文久久婷婷| 久热 91| 亚洲精品成人| 99热九九这里只有精品| 99久视频| 婷婷 激情 五月| 亚洲亚洲人成综合网络| 激情黄色小说五月天| 久草婷婷在线| 欧美成人A片AAA片在线播放| 丁香狠狠操| 激情九九六月激情免费视频| 激情婷婷五月| 五月丁香婷婷综合网| 深爱丁香网| 风流少妇A片一区二区蜜桃 | 无码人妻少妇色欲AV一区二区| 婷婷的五月天另类视频| 伊人婷婷大香蕉在线| 五月之婷婷| 国产亚洲色婷婷久久99精品9j| 四月婷婷五月丁香| 99在线69| 精品一二三区久久AAA片| 插插五月天| 国产三级在线播放| 六月婷婷久久| 婷婷五月天视| 青青草青青草五月天| 激情综合色播| 久色网址| 中国女人做爰A片| 精品久久66| 手机在线日韩视频中文字幕| 99re思思久久| 操操操操操电影网| 五月激情射| 色婷婷亚洲婷婷| 无码激情精品色婷婷久久久久| 91丨九色丨国产打屁股网站| 伊人五月婷婷| 涩涩涩婷婷| 1234操逼网| 伊人激情影院| 天堂草在线看www| 亚洲99综合| 欧美69久成人做爰视频| 另类小说色婷婷| ay2区| 免费在线观看av网站| 日本高清久| 96人人操人人操人人| 大香蕉久久伊人网| 激情五月天影院| 五月天婷网| 成人网站在线观看视频| 九九爱精品网站| 色综合丁香| 另类综合国产| 久热伊人| 欧美婷婷综合| 欧美人与性动交CCOO| 精品国产a| 日本天天操| 婷婷天天色| 99区视频| 五月色婷婷影院| 春色激情| 婷婷五月在线观看| 这里只有精品久久| 97色色色色色色色色色色色色色| 91碰| 亚洲第一影院高清无码网站| 亚洲爆乳无码精品AAA片蜜桃| 可以免费观看的AV| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 激情六月丁| www.五月天婷婷姐姐| 亚洲天堂爱爱| 五月丁香婷婷激情四射迷人| 成人国产欧美大片一区| 婷婷在线免费| 亚洲人人操| 天天日天天日天天搞| 国产色丁香| 婷婷六月视频| AV变态另类一区二区| 精品无码久久久久久久久| 亚洲免费99| 色爱五月天| 精品少妇蜜臀91| 色婷婷久久综合久色| 午夜激情婷婷| 五月婷婷综合影院| 久久玖玖99| 无码激情AAAAA片-区区| 五月天色婷婷综合| 人人操AV| 欧美精品啪啪| 欧美成人精品A片免费一区99| 五月综合影院| 五月天激情Av| 国产欧美婷婷五月| 人妻爽爽爽久久久久久久久| 97操在线视频| 久操大| 色色色地址| 玖玖99精品视频| 日韩啪图| HD久久精品视频| 九九色插| 天天婬色综合| 日本天堂网站99| 91色情播放| 色婷婷五月综合在线| 午夜丁香六月婷| 日韩无码一区二区三区四区| 色色日韩| 婷婷久久五月| 五月丁香久久综合| 99热在线99| 草美女在线观看视频在线播放| 婷婷五月天在线看| 影音先锋按摩| 丁香九月综合| ri电影在线| 五月婷婷中字在线| 丁香五月大片| 米奇影视资源婷婷狠狠色激情欧美五月丁香| 九九热在视频| 天天干夜夜b| 国产一区男女| 天天舔天天摸视频| 五月天开心激情综合网| 五月激情影院| 丁香五月欧美激情| 色五月综合网| 久碰视频| 丁香五月天AV在线 | 99色免费观看全部| 噜噜噜狠狠色综合| 黄桃AV无码免费一区二区三区| 色综合久久之分久久| 五月丁香久久综合91| 一区二区乱视频码| 黄色一级影片| 性爱综合网| 久久婷出差欧美色两性综合网| 婷婷五月丁香婷婷| 色婷婷丁香| 国产精品日日躁夜夜躁| 亚洲色频| 丁香五月激情图片婷婷| 怡红院成人AV| 激情丁香社区| 亚洲综合干| 色色色色色网站| 99九九玖玖| 99热免费| 狠狠色综合久久久久| 99久久精品国产色欲| 淫视馆aV二区一区| 九九热这里只有精品12| 这里只有精品免费| 99久热| 99久久九九视频| 麻豆精品| 五月丁香激情片| 亚洲最大五月天成人网| 97人妻碰碰碰久久香蕉| 另类图片五月天婷婷| 亚洲丁香五月| 激情九月婷婷| 婷婷97色| 婷婷午夜丁香| 1995年关宝慧版蜘蛛女| 六月婷婷色色色| 丁香五月婷婷五月| 操婷婷基地| 婷婷色色五月天| 开心五月综合| 9久久精品| 丁香婷婷五月色综合| 欧美天堂久久| 狠狠色噜噜狠狠狠888了| 色五月激情综合| 国精产品一区一区三区免费视频| 久久九九婷婷| 亚洲激情电影五月天色婷婷丁香一起草 | 五月天激情久色| 五月婷婷啪啪网| 一级AV片| 久久婷婷伊人| 999热在线视频| 日日夜夜狠狠| 玖玖婷婷视频| 六月丁香深深爱| 色婷婷激情| 国产干逼片| 五月天色色激情综合| 激情欧美五月丁香| 风流少妇A片一区二区蜜桃| 丁香五月婷婷Av| 日韩精品色| 日本久久精品| 啪啪东京热| 国产美女最新VA在线免费观看| 91精品在线看| 99人人干人人操| 国产裸舞福利资源在线视频| 日韩欧美成人片| 婷婷五月丁香成人网| Se.婷婷五月天| 日韩在线视频中文字幕| 另类亚洲电影| 亚洲五月天综合| 99精品久久| 国产综合81p| av网站中文| 天天日天天舔| 九月婷婷综合| 97超碰在线免费观看| 啪啪日本欧美| 五月 丁香 欧美| 99久久网站| www..999热久| 日日干日日| www网站在线观看| 天天日,夜夜爽| 99热自拍| 亚洲色网址| AV在线免费播放| 日本va欧美va国产激情| a免费在线| 亚州日本欧州韩美高青高潮一| 深爱综合网| 欧美日朝成人| av久热| 激情五月色婷婷| 五月丁香六月婷婷色日| 色九九九综合| 日夜夜久久| 91精品激情9| 五月婷婷丁香大陆免费| 99热成人| 婷婷色色综合激情| 亚洲色色色| 夜夜骑日日操| 久/久精品99看9| 五月激情婷婷图片基地| 人人干人人看| 午夜色色色极品视频| 99爱精品| 人人操Av| 亚洲日韩一页精品发布| 天干干夜夜操| 91av传媒高清在线视频网| 色狠狠综合网| 97五月婷| 天天天天天久久久久久| 久久桃花网色婷婷| 激情五月天www| 色九月丁香婷婷蜜桃在线观看| www.色五月天.com| 国产原创视频91九色| 五月情婷婷| 婷婷亚洲久久| 色婷天天| 五月天丁香六月综合| 日本欧美成人片AAAA| 伊人青草成人| 香蕉97碰碰碰欧美| 国产VA亚洲VA96| 久色88| 六月丁香综合| 婷婷五月天成人五月天| 99精品视频在线观看| 26uuu91| www99精品亚| 久久视频婷婷| 激情网站五月| 国产偷人爽久久久久久老妇APP| 五月天激情婷婷丁香| 丁香五月 无码| 九热免费视频| 色久婷婷五月| 99se丁香| 五月激情综合网| AV九九| 亚洲12p| 久久久这里有精品| 久久性操| 五月婷婷五月天| 五月丁香激情深爱婷婷| 中文久久婷婷| 性爱视频久久| 五月婷婷狠狠干| pom538精品视频| 五月婷婷丁香啪啪| 八戒青柠影视剧在线观看| 五月天另类小说久久小说网| 久久超视频| 26uuu国产| 深爱激清网| 日本99久久| 亚洲激情四谢| 中文字幕,综合,91| 综合xx网| 婷婷色五月天色| 丁香六月婷婷| 久久成人人妻| 色狠狠狠干| 色爱爱综合网| 丁香婷婷深情五月亚洲| 秋霞三及片| 97碰啪啪| 超碰成人影视| 丁香色婷婷五月天| 香蕉AV777XXX色综合一区| 人人摸人人操人人爽| 尤物一区二区| 91美女被操| 日本成人小说婷婷六月| 成人在线视频网| 久久成人亚洲欧美电影| 天天干天干| 五月天涩涩| 26uuu色噜噜精品一区| 日本欧特黄色刺激一区影视久精品无码| 日本一级一级一级一级| 五月婷婷啪啪啪啪| 五月天婷婷六月激情网| 99视频在线观看视频| 国产美女无遮挡裸体毛片A片 | ww超碰在线| 狠狠色婷婷777| av色色国产| 久久五月激情网| 婷婷五月天激情综合| 色综合视频在线| 婷婷五月天精品| 99精品色| 秋霞电影理论| 99五月丁香丁| www狠狠com| 99视频综合| 久久98| 色五月婷婷在线| 骚。com| 中文无码精品一区二区三区| 婷婷综合色色| 九九中文字幕九| 草草色情综合网| 六月婷婷五月丁香| 97人人做| 很很干天天干| 岛国av电影网站| 人人亚洲| 日韩999| 超碰97久久| 欧美性生交XXXXX无码小说| 成人丁香五月天Av| 99精品视频免费观看,| 怡红院 久久| 日韩成人AV在线播放| www,久久久人人| 亚洲国产精品VA在线看黑人| 小视频久久久aaa| 九九99精品视频| 岛国AV网站| 操逼福利视频| 久久激情综合| 婷婷五月av| 色综合久久综合中文综合网| 婷婷欧美| 亚洲五月天狠狠| 婷婷五月激情基地| 色五月丁香五月激情五月激情| 九九99九九99| 日韩在线99| 9热在线观看| 99re在线免费视频| 99热人人操人人操| 婷婷五月天av小说| 人人艹艹艹| 亚洲日本韩国| 嫩BBB槡BBBB搡BBBB| www色五月| 特级西西4444www无码| 玖玖综合色| www.97碰碰com| 99re在线视频| 99噜噜| 五月天成人综合| 激情六月色| 综合噜噜| 99性色| 99只有这里有精品在线视频| 五月草视频| 天天碰夜夜爽| 久久精品这里只有精品免费首页| 婷婷五月六| 中文AV网站| 婷婷五月天视频| 欧美激情VA永久在线播放| 99无码黄色视频| 丁香五月成人网| 在线观看av网站| 青青草轻轻操| 老司机伊人| 九月婷婷| 九九色综合| 婷婷丁香久久| 日本不卡高字幕在线2019| 色婷婷呢狠禁久禁| 玖玖婷婷免费| 六月丁香婷婷综合影院| 99精品97| 插逼综合网| 色婷婷黄色网络| 婷婷五月激情丁香激情| 五月丁香在线精品| 色综合色综合网| 天天日日夜夜| 丁香五月天天高清在线| 五月综合婷婷五月| 婷婷六月激情| 五月丁香久久| 欧美私人家庭影院| 婷婷五月综合基地| 色私五月婷婷| 色婷婷五月天中文字幕| 很很干在线视频| 色五月在线观看| 婷婷丁香花五月天| www.久久爱| 9|人妻人人操| 五月丁香少妇| 另类在线| 婷婷色丁香五月| 少妇搡BBBB搡BBB搡毛茸茸 | 91精品国产91久久久久青草| 中文字幕永久在线| 丁香社92视频| 久久久香| WWW、日本色丁香、co m| 丁香六月情| 直接看的av| 五月天开心色色网| 日本99在线视频| 99热精品网| 综合激情深爱| 天天久久狠狠色综合| 日本欧美成人片AAAA| 免费观看日韩成人av| 淫视馆aV二区一区| 蜜臀av在线成人电影| 99在线视频精品| 国产美女无遮挡裸体毛片A片 | 日本成人噜噜| 婷婷色啪| 婷婷亚洲激情在线观看视频| 狠狠干无码| 亚洲激情综合| 国产黄色av| 这里只有精品,日韩视频| 色七七色九九| 亚洲va成人va成人va在线观看| 99在线看视频| 久久色在线视频| 综合图片色色| 五月激情视频| 《久久综合九色综合97婷婷| 亚洲久久视频| 夜夜骑福利资源| 日韩AV大全| 五月天丁香欧美激情| va中文资源在线观看| 月婷婷婷婷五月| 少妇AB又爽又紧无码网站| 久久久性爱网| 97色伦另类图片小说视频 | 色五月天在线观看| 色五月天 丁香| 五月婷婷六月丁| 久久五月天激情| 99热这里只有精品在线播放| 婷婷五月AV| 婷婷五月丁香成人网| 丁香婷婷五月天校园春色| 五月天婷婷视频| 青草视频在线观看视频| 婷婷色九月| 天干夜夜操| 亚洲视频在线观看| 超碰人人超碰| 99精品性爱| 国外亚洲成AV人片在线观看| 色停停香蕉视频| 日日夜夜天天综合| 在线18av | 亚洲黄色影视| 噜噜狠狠色综合久| 婷婷色网址| oVV4WIB3vFi8D| 一区二区成人电影| 婷婷色情五月| 综合激情深爱| 99久久九九| 色激情五月| 日日天天干| 亚洲综合视频八| 婷婷免费成人视频| 狠狠做深爱婷婷久久综合一区| 亚洲激情五月| 久久成人人妻| 538在线精品| 五月丁香va| 色五月AV| www99热| 超碰99资源站| 久久婷婷草| 久久九九热视频| 久婷婷久草| 五月天成人网婷婷| www.狠狠操| 青青操绿aaa一区日v| 六月婷婷五月天| 久久东京热婷婷五月| 九色无码| 97色色综合| 丁香婷婷五月| 人妻五月天激情开心网| 日日夜夜久| 性爱五月婷| 久久机热这里只有精品| 婷婷综合九色伊人| 五月激情基地| 99人人爽| 婷婷五月AA五月在线| 婷婷五月花| hd五月婷婷在线| 青草视频在线播放| 婷婷九月色| 天天综合网站| 99er国产| 大战熟女丰满人妻AV| 久操操| 99热综合| 九月婷婷综合八月丁香在线观看| www.夜夜操| 丁香五月天激情小说| 美国少妇性做爰| 综合网五月天123| 亚洲国产黄色电影| 色色亚洲五月天| 五月天丁香欧美激情| 成人一区在线观看| 伊人玖玖网| 五月丁香久久综合| 色综合色综合网| 亚洲热手机在线观看| 免费看欧美成人A片无码| 婷婷色色播五月天| 中文字幕日本最新乱码视频 | 婷五月天六| 青草少妇激情| 国内一级精品| 伊人五月天在线| 五月婷婷熟女| 偷拍99在线视频观看| 99久在线精品99re8| 五月丁香花激情综合网| 婷婷综合| 五月丁香在线国产| 91精品刘玥| 久色大| 激情小说五月天社区丁香| 538在线精品| 深爱五月最新网址| 91精品久久久久久久久| www.99视频| 午夜无码精品色综合久久| 综合激情在线观看| 最新色色五月天| 色播五月丁香婷婷| 亚洲图色五月天| 丁香五月影院| 天天婷婷操| 超碰丁香五月| 婷婷综合在线| 青青福利网| wWW九九在线播放| 五月天成人免费视频| 丁香综合网| 97色片| 综合久久激情久久| 丁香六月婷婷五月婷婷| 婷婷激情肏屄网| 日韩AC在线免费观看| 爆乳熟妇一区二区三区爆乳| 色噜噜,噜噜色| 狠狠狠狠狠狠草| 婷婷色中文字幕| 66精品成人免费网站在线观看| 狠狠色噜噜狠狠狠狠综合| 五月丁香在线| 狠狠干婷婷|