欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Zabbix監(jiān)控Nginx沒(méi)數(shù)據(jù)?核心問(wèn)題往往在狀態(tài)頁(yè)與agent采集鏈路上

Zabbix監(jiān)控Nginx沒(méi)數(shù)據(jù)?核心問(wèn)題往往在狀態(tài)頁(yè)與agent采集鏈路上 上個(gè)月幫同事排查一套 Zabbix 監(jiān)控 Nginx 數(shù)據(jù)一直為空的問(wèn)題。一開(kāi)始我們都把注意力放在 Zabbix Web 端反復(fù)檢查模板、主機(jī)、宏折騰了一上午。最后才發(fā)現(xiàn)真正斷掉的環(huán)節(jié)是 Nginx 的 stub_status 狀態(tài)頁(yè)根本沒(méi)有暴露出來(lái)agent 自然也就拿不到任何數(shù)據(jù)。更讓我意外的是同事的配置是從一篇兩三年前的教程里抄來(lái)的那篇教程里的模板名稱、agent 類型和現(xiàn)在的環(huán)境已經(jīng)對(duì)不上。這不是個(gè)案。Zabbix 監(jiān)控 Nginx 這件事最常見(jiàn)的坑不是 Zabbix 不會(huì)裝而是安裝配置流程里塞滿了舊資料。所以下面我不打算只給一個(gè)固定命令序列而是想把 Zabbix 監(jiān)控 Nginx 的鏈路重新拆一遍Nginx 怎么暴露狀態(tài)agent 怎么讀到數(shù)據(jù)模板怎么匹配以及當(dāng)你拿到一臺(tái)新機(jī)器時(shí)應(yīng)該按什么順序驗(yàn)證。核心判斷只有一句——真正決定這套監(jiān)控能不能跑通的往往不是 Zabbix 本身而是 Nginx 狀態(tài)頁(yè)、agent 采集和模板匹配這三個(gè)環(huán)節(jié)有沒(méi)有全部連上。1. 先想清楚Zabbix 監(jiān)控 Nginx 到底在監(jiān)控什么1.1 表面是進(jìn)程存活本質(zhì)是連接和請(qǐng)求很多入門教程會(huì)把 Zabbix 監(jiān)控 Nginx 簡(jiǎn)單理解成“Nginx 掛了就報(bào)警”。這個(gè)理解不算錯(cuò)但太單薄。Nginx 是應(yīng)用入口它的價(jià)值不在于進(jìn)程起沒(méi)起來(lái)而在于它當(dāng)前扛了多少連接、請(qǐng)求處理得是否順暢、有沒(méi)有異常堆積。Zabbix 之所以能監(jiān)控 Nginx核心不是直接讀進(jìn)程狀態(tài)而是通過(guò) Nginx 自身的狀態(tài)接口或模塊拿到一組結(jié)構(gòu)化指標(biāo)。最常見(jiàn)的數(shù)據(jù)源是 Nginx 官方自帶的 stub_status 模塊。打開(kāi)狀態(tài)頁(yè)后你會(huì)看到類似這樣的一小段文本Active connections: 3 server accepts handled requests 12 12 15 Reading: 0 Writing: 1 Waiting: 2這幾個(gè)數(shù)字的含義值得記住Active connections當(dāng)前活躍連接數(shù)。acceptsNginx 啟動(dòng)以來(lái)成功接受的連接總數(shù)。handled成功處理的連接總數(shù)。正常情況下 accepts 和 handled 應(yīng)該接近。requests總請(qǐng)求數(shù)。Reading / Writing / Waiting分別表示正在讀請(qǐng)求頭、正在寫響應(yīng)、以及空閑 keep-alive 連接的數(shù)量。這些指標(biāo)能幫你看清什么比如 Reading 長(zhǎng)時(shí)間很高說(shuō)明請(qǐng)求堆積在讀取階段背后可能是客戶端沒(méi)有把請(qǐng)求發(fā)完整Waiting 大量存在不是壞事只能說(shuō)明 keep-alive 連接占著資源accepts 和 handled 差距持續(xù)增大則可能說(shuō)明有連接在中間環(huán)節(jié)被丟掉。1.2 為什么很多“監(jiān)控沒(méi)數(shù)據(jù)”其實(shí)和 Zabbix 無(wú)關(guān)排查過(guò)幾次就會(huì)發(fā)現(xiàn)Zabbix 監(jiān)控 Nginx 沒(méi)數(shù)據(jù)絕大多數(shù)原因不在 Zabbix要么是 Nginx 狀態(tài)頁(yè)沒(méi)開(kāi)啟要么是狀態(tài)頁(yè)返回的是 HTML 而不是純文本要么是 agent 訪問(wèn)不到狀態(tài)頁(yè)要么是模板里的宏路徑和實(shí)際路徑不一致。Zabbix 本身只是在按固定周期向 agent 要數(shù)據(jù)agent 再去請(qǐng)求 Nginx 狀態(tài)頁(yè)。這一條數(shù)據(jù)鏈上有任何一個(gè)環(huán)節(jié)斷了儀表盤就永遠(yuǎn)是空的。所以我建議把這條鏈路拆成三段來(lái)理解Nginx 負(fù)責(zé)提供數(shù)據(jù)agent 負(fù)責(zé)搬運(yùn)數(shù)據(jù)Zabbix 負(fù)責(zé)展示和告警。后兩段的問(wèn)題通常都有日志可查反而是第一段最容易被人忽略。很多“監(jiān)控沒(méi)數(shù)據(jù)”的案例其實(shí)和你選的模板、版本的關(guān)聯(lián)沒(méi)有想象中那么大問(wèn)題往往出在數(shù)據(jù)源這一層。2. Nginx 側(cè)的狀態(tài)頁(yè)配置先把數(shù)據(jù)源打開(kāi)2.1 先確認(rèn)模塊再改配置順序不要反Nginx 狀態(tài)頁(yè)依賴 http_stub_status_module 這個(gè)模塊。問(wèn)題在于不是所有 Nginx 環(huán)境都默認(rèn)包含它。源碼編譯安裝時(shí)如果沒(méi)有帶 --with-http_stub_status_module后面想加模塊就得重新編譯發(fā)行版?zhèn)}庫(kù)里的 nginx 通常已經(jīng)包含這個(gè)模塊但不同發(fā)行版、不同倉(cāng)庫(kù)之間也可能有差異容器鏡像則更不一定一些精簡(jiǎn)鏡像會(huì)把用不到的模塊裁掉。所以第一步是確認(rèn)模塊存在。常見(jiàn)做法是查看編譯參數(shù)nginx -V 21 | tr \n | grep stub_status如果輸出里能看到 http_stub_status_module說(shuō)明模塊沒(méi)問(wèn)題。如果什么都沒(méi)有就不要繼續(xù)往下配狀態(tài)頁(yè)了先解決模塊問(wèn)題。否則你配置再正確curl 訪問(wèn)時(shí)也只能看到 404。注意有些系統(tǒng)里 nginx 不在 PATH 中可能需要寫全路徑比如/usr/local/nginx/sbin/nginx -V或者先執(zhí)行which nginx確認(rèn)一下。2.2 一個(gè)穩(wěn)妥的 stub_status 配置示例確認(rèn)模塊存在后再修改 Nginx 配置。常見(jiàn)的做法是在一個(gè) server 塊里加一個(gè) location只讓狀態(tài)頁(yè)從指定路徑訪問(wèn)server { listen 80; server_name _; location /nginx_status { stub_status; allow 127.0.0.1; allow 192.168.10.0/24; deny all; } }這里有幾個(gè)細(xì)節(jié)要說(shuō)明。location /nginx_status是精確匹配避免掩蓋其他路徑規(guī)則stub_status;是常見(jiàn)寫法如果你看到的舊教程里寫的是stub_status on;通常也能兼容但更推薦按當(dāng)前版本的標(biāo)準(zhǔn)寫法來(lái)allow 和 deny 用來(lái)限制來(lái)源 IP避免狀態(tài)頁(yè)暴露到公網(wǎng)。雖然狀態(tài)頁(yè)內(nèi)容看起來(lái)不敏感但泄露給外界等于給攻擊者多一個(gè)信息采集入口沒(méi)有理由不做限制。寫完配置后先檢查配置再重載nginx -t nginx -s reload # 如果使用 systemd 管理也可以寫成 systemctl reload nginx然后用 curl 驗(yàn)證curl -s http://127.0.0.1/nginx_status如果能看到開(kāi)頭那段純文本說(shuō)明 Nginx 側(cè)已經(jīng)通了。注意curl 的來(lái)源 IP 要和 allow 規(guī)則匹配否則你會(huì)看到 403。2.3 容器化和非默認(rèn)端口環(huán)境的特殊點(diǎn)如果你的 Nginx 跑在容器里情況會(huì)稍微復(fù)雜一點(diǎn)。agent 要么和 Nginx 在同一個(gè)容器內(nèi)要么通過(guò)容器 IP 或映射端口訪問(wèn)狀態(tài)頁(yè)。容器內(nèi)的 Nginx 如果只監(jiān)聽(tīng)了容器內(nèi)部端口agent 在宿主機(jī)上直接 curl 127.0.0.1 是拿不到響應(yīng)的。這類問(wèn)題用 curl 驗(yàn)證時(shí)最容易暴露但很多人會(huì)誤以為是自己配置寫錯(cuò)了。另外狀態(tài)頁(yè)不一定只能放在 80 端口。有的環(huán)境為了安全和便于管理會(huì)把狀態(tài)頁(yè)放在 8080 或單獨(dú)一個(gè) server 塊里。這樣的設(shè)計(jì)沒(méi)問(wèn)題但模板里的宏就要跟著改。這里的重點(diǎn)是先想清楚 agent 要從哪個(gè)地址訪問(wèn) Nginx然后保證這個(gè)地址上的 TCP 連通性和 ACL 都允許。不要只在 Zabbix 里把宏改來(lái)改去主機(jī)上卻訪問(wèn)不到。我在很多環(huán)境里見(jiàn)過(guò)一種最隱蔽的錯(cuò)誤狀態(tài)頁(yè)本身配置正確但 allow 規(guī)則只放行了 127.0.0.1agent 卻通過(guò)內(nèi)網(wǎng) IP 去訪問(wèn)狀態(tài)頁(yè)。agent 請(qǐng)求時(shí)Nginx 看到的來(lái)源 IP 是內(nèi)網(wǎng)地址命中 deny all于是返回 403監(jiān)控項(xiàng)自然拿不到數(shù)據(jù)。所以配置 allow 時(shí)要想著 agent 會(huì)從哪個(gè) IP 過(guò)來(lái)而不是只寫 127.0.0.1。3. Zabbix agent 這一層不是安裝了就行3.1 配置 Server 地址和 Hostname一致性是第一原則Nginx 狀態(tài)頁(yè)通了之后才輪到 agent。agent 安裝本身不復(fù)雜麻煩的是配置。以最常見(jiàn)的 zabbix-agent 為例配置文件里幾個(gè)關(guān)鍵參數(shù)一定要理解Server192.168.10.20 ServerActive192.168.10.20 Hostnameweb01Server 和 ServerActive 不是一回事。Server 是被動(dòng)模式下允許從 Zabbix Server 拉取 item 的地址白名單ServerActive 是主動(dòng)模式下 agent 向哪個(gè) Zabbix Server 或 Proxy 上報(bào)數(shù)據(jù)的地址。如果你只配置了 Serveragent 就會(huì)等 Server 來(lái)問(wèn)如果你用了主動(dòng)模式ServerActive 也要填。很多舊教程只寫一個(gè)值換到新環(huán)境就出問(wèn)題。比這更容易出錯(cuò)的是 Hostname。Zabbix Web 端添加主機(jī)時(shí)填的主機(jī)名必須和 agent 配置里的 Hostname 保持一致。如果 Web 端寫的是 web01agent 里配的是 nginx-web-1那么即使在 Zabbix 里能看到主機(jī)監(jiān)控項(xiàng)也始終是 no data。在新版本 agent 里你還會(huì)看到HostnameItemsystem.hostname這樣的配置意思是讓 agent 用系統(tǒng)本身的 hostname 作為上報(bào)名稱。這個(gè)機(jī)制可以避免手工維護(hù) Hostname但前提是系統(tǒng) hostname 必須和 Zabbix Web 里的主機(jī)名一致。所以不管用哪種方式原則都是同一個(gè)兩邊名字要對(duì)上。3.2 agent 與 agent2模板和 key 可能不一樣這里要說(shuō)一個(gè)“和過(guò)去不一樣”比較明顯的點(diǎn)現(xiàn)在 Zabbix 官方推薦使用 Zabbix agent 2也就是 agent2。agent2 不僅在采集能力上更豐富還支持一些內(nèi)置插件但對(duì)應(yīng)的模板、監(jiān)控項(xiàng) key 和舊 agent 不完全一樣。在 Zabbix Web 里搜索 Nginx 時(shí)你可能會(huì)看到多個(gè)模板有些名字類似 Nginx by HTTP有些類似 Nginx by Zabbix agent 2。如果你在主機(jī)上裝的是 agent2卻鏈接了舊 agent 版本的模板可能會(huì)出現(xiàn) unsupported item。反過(guò)來(lái)也一樣。所以我的建議是在鏈接模板之前先打開(kāi)模板里的監(jiān)控項(xiàng)預(yù)覽看它使用的采集類型是 Zabbix agent、HTTP agent還是依賴 agent2 插件。確認(rèn)它跟你實(shí)際安裝的 agent 類型對(duì)得上再鏈接。這一步只要花兩分鐘卻可以省掉后面一晚上的排查時(shí)間。agent 和 agent2 的服務(wù)名也不一樣常見(jiàn)的有 zabbix-agent、zabbix-agent2系統(tǒng)服務(wù)名可能是 zabbix-agentd.service 或 zabbix-agent2.service。啟動(dòng)服務(wù)后用systemctl status看一下是否 active再看一眼日志路徑常見(jiàn)的是/var/log/zabbix/下面。出現(xiàn)問(wèn)題時(shí)日志里通常直接會(huì)告訴你 key 不支持還是連接失敗。3.3 用 zabbix_get 快速驗(yàn)證采集鏈路在 Web 端排查前可以先在 Zabbix Server 上用 zabbix_get 做一次最直接的驗(yàn)證確認(rèn) agent 是否正常工作zabbix_get -s 192.168.10.11 -k agent.ping如果返回 1說(shuō)明 Server 能連上 agent。如果返回值不是 1就別急著去 Web 端看模板先解決網(wǎng)絡(luò)、端口和 Hostname 問(wèn)題。agent.ping 是通用探活 key驗(yàn)證通過(guò)后再去模板里找到你想測(cè)的監(jiān)控項(xiàng) key比如和 Nginx 狀態(tài)頁(yè)相關(guān)的 key繼續(xù)用 zabbix_get 測(cè)試。不同版本、不同模板的 key 名稱會(huì)有差異所以這里不列具體 key但思路是一樣的先用 curl 確認(rèn)狀態(tài)頁(yè)存在再用 zabbix_get 確認(rèn) agent 能取到值最后才去 Web 端看圖表。鏈路從底層往上逐層打通比在界面上猜效率高得多。4. 在 Zabbix Web 端鏈接模板別被舊截圖帶偏4.1 模板名稱已經(jīng)變過(guò)好幾輪Zabbix 的模板策略在過(guò)去幾年變化很大。這次部署里我在模板列表里搜索 nginx出來(lái)的已經(jīng)不是早期教程里那張截圖上的名字了。官方模板按采集方式做了拆分有的走 HTTP agent有的走 Zabbix agent有的專門適配 agent2。這本身是好事但如果你照著一個(gè)兩三年前的教程去選模板很可能選錯(cuò)。我的建議是以當(dāng)前 Zabbix 版本實(shí)際加載的模板列表為準(zhǔn)不要憑記憶點(diǎn)。鏈接模板后立刻去“監(jiān)測(cè) – 最新數(shù)據(jù)”里過(guò)濾這個(gè)主機(jī)等一到兩個(gè)更新周期看有沒(méi)有數(shù)據(jù)進(jìn)來(lái)。如果 Zabbix 的刷新周期是 30 秒或 1 分鐘通常幾分鐘內(nèi)就能看到。另外一個(gè)主機(jī)通常只需要鏈接一個(gè)對(duì)應(yīng)當(dāng)前采集方式的 Nginx 模板不需要把所有 Nginx 模板全鏈接上。鏈接多個(gè)模板并不會(huì)讓數(shù)據(jù)更豐富反而會(huì)讓監(jiān)控項(xiàng)沖突、重復(fù)告警排查起來(lái)也更亂。4.2 宏參數(shù)路徑、協(xié)議、端口都是變量模板鏈接后還有一層容易被忽略宏參數(shù)。官方 Nginx 模板里通常會(huì)定義一組宏用來(lái)告訴 agent 去哪個(gè)地址、哪個(gè)路徑、用什么協(xié)議獲取狀態(tài)頁(yè)。常見(jiàn)宏名可能包括{$NGINX.SCHEME}、{$NGINX.PORT}、{$NGINX.STUB_STATUS.PATH}具體名稱以你當(dāng)前模板為準(zhǔn)。它們的作用就是把狀態(tài)頁(yè)的訪問(wèn)信息從監(jiān)控項(xiàng)中抽出來(lái)這樣同一套模板可以復(fù)用在不同的 Nginx 主機(jī)上。如果你的狀態(tài)頁(yè)地址不是默認(rèn)值就不用改監(jiān)控項(xiàng)直接在主機(jī)層級(jí)覆蓋宏就行。比如狀態(tài)頁(yè)路徑是 /nginx_status 而不是 /status就在主機(jī)的宏里把對(duì)應(yīng)宏改成實(shí)際路徑。改完后等下一次采集生效再看最新數(shù)據(jù)。要注意的是宏的生效范圍有層級(jí)全局宏、模板宏、主機(jī)宏。主機(jī)宏優(yōu)先級(jí)最高。如果模板里已經(jīng)定義了默認(rèn)值主機(jī)上沒(méi)改也沒(méi)關(guān)系但如果狀態(tài)頁(yè)地址做了修改一定要記得改對(duì)應(yīng)主機(jī)的宏而不是只在模板里改一個(gè)默認(rèn)值因?yàn)槟0迥J(rèn)值會(huì)影響所有鏈接該模板的主機(jī)。還有一個(gè)容易出錯(cuò)的地方狀態(tài)頁(yè)地址如果是 https但宏里用的是 http監(jiān)控項(xiàng)會(huì)一直返回錯(cuò)誤。這種問(wèn)題在視覺(jué)上非常隱蔽因?yàn)?Nginx 和 agent 都正常只有協(xié)議不匹配。4.3 驗(yàn)證模板是否能出數(shù)據(jù)鏈接模板和配好宏之后不要直接離開(kāi)頁(yè)面。花一分鐘做兩件事第一到主機(jī)監(jiān)控項(xiàng)列表里看有沒(méi)有出現(xiàn)紅色 error 狀態(tài)的監(jiān)控項(xiàng)第二到最新數(shù)據(jù)里過(guò)濾該主機(jī)確認(rèn)有非空數(shù)據(jù)。如果看到 error 狀態(tài)的監(jiān)控項(xiàng)先點(diǎn)擊進(jìn)去看錯(cuò)誤信息。常見(jiàn)的有 unsupported item key、Cannot connect to [...]: 10060、Connection refused 這類。每一條錯(cuò)誤信息其實(shí)都指向了數(shù)據(jù)鏈路的具體環(huán)節(jié)比你在外面猜模板要快得多。如果最新數(shù)據(jù)里有值但看起來(lái)不對(duì)比如 Reading 是 0、Writing 是 0也不要慌先用 curl 手動(dòng)看一次狀態(tài)頁(yè)確認(rèn)源數(shù)據(jù)里就是這些值然后判斷是 Nginx 本身空閑還是采集路徑不對(duì)。如果源數(shù)據(jù)是對(duì)的Zabbix 只是如實(shí)展示不用改 Zabbix。5. 沒(méi)數(shù)據(jù)的排查鏈路按順序查別亂試5.1 四個(gè)環(huán)節(jié)從上到下檢查如果你最終面對(duì)的是一臺(tái)沒(méi)數(shù)據(jù)的 Nginx 主機(jī)不要先懷疑 Zabbix更不要反復(fù)重新鏈接模板。按下面的順序逐層排查通常能在十分鐘內(nèi)定位問(wèn)題。第一層Nginx 狀態(tài)頁(yè)是否可訪問(wèn)。curl -s http://127.0.0.1:80/nginx_status如果 curl 能返回純文本進(jìn)入下一層。如果返回 403、404 或 HTML 頁(yè)面問(wèn)題在 Nginx 側(cè)。第二層agent 能否讀到狀態(tài)頁(yè)。注意 agent 的運(yùn)行身份和權(quán)限。你可以切換到 agent 運(yùn)行用戶或者用 sudo 模擬執(zhí)行同樣的 curl 命令確認(rèn) agent 視角下能訪問(wèn)。如果 agent 在容器里還要確認(rèn)容器網(wǎng)絡(luò)。第三層Server 和 agent 之間是否連通且 Hostname 匹配。zabbix_get -s agent_ip -k agent.ping如果 zabbix_get 返回 1說(shuō)明網(wǎng)絡(luò)層通。然后再確認(rèn) Web 端主機(jī)名和 agent Hostname 一致。第四層模板宏和監(jiān)控項(xiàng)是否匹配。打開(kāi)監(jiān)控項(xiàng)列表查看具體監(jiān)控項(xiàng)的 key、宏替換后的實(shí)際地址用測(cè)試功能跑一次。如果返回錯(cuò)誤根據(jù)錯(cuò)誤信息調(diào)整宏。這個(gè)順序的核心思路是先確定是哪一層壞了再?zèng)Q定修哪里。不要在不知道哪一層出問(wèn)題的時(shí)候改配置改來(lái)改去只會(huì)讓狀態(tài)更亂。5.2 高頻錯(cuò)誤對(duì)照表下面這張表基本覆蓋了 Zabbix 監(jiān)控 Nginx 時(shí)最容易遇到的幾類現(xiàn)象現(xiàn)象常見(jiàn)原因處理思路狀態(tài)頁(yè) curl 返回 404沒(méi)有配置 location 或模塊缺失先查 nginx -V 里的 stub_status 模塊狀態(tài)頁(yè) curl 返回 403allow/deny 沒(méi)有放行 agent 來(lái)源 IP調(diào)整 allow 規(guī)則思考 agent 從哪個(gè) IP 訪問(wèn)監(jiān)控項(xiàng)顯示 unsupported itemagent 版本或模板類型不匹配確認(rèn)是 agent 還是 agent2換對(duì)應(yīng)模板或 key最新數(shù)據(jù)一直是空Hostname 不匹配、宏路徑不對(duì)、采集周期長(zhǎng)檢查主機(jī)名一致性測(cè)試宏替換后的地址監(jiān)控項(xiàng)返回 Connection refusedagent 未啟動(dòng)、端口不通、防火墻攔截systemctl status 看服務(wù)再用 zabbix_get 驗(yàn)證狀態(tài)頁(yè)返回的是 HTML 而非純文本location 配置被其他規(guī)則截獲檢查 server 塊順序確認(rèn)精確匹配位置這張表不是讓你背下來(lái)而是給你一個(gè)參考坐標(biāo)。遇到問(wèn)題時(shí)先看現(xiàn)象再判斷屬于哪一層然后去對(duì)應(yīng)位置檢查。5.3 沉淀一個(gè)“四層驗(yàn)收清單”最后一個(gè)能長(zhǎng)期復(fù)用的經(jīng)驗(yàn)把 Zabbix 監(jiān)控 Nginx 的鏈路固定成一張驗(yàn)收清單每次新接入一臺(tái) Nginx 主機(jī)時(shí)按順序過(guò)一遍。Nginx 狀態(tài)層模塊存在、location 配置正確、curl 返回純文本、allow 已放行 agent 來(lái)源 IP。Agent 采集層服務(wù)已啟動(dòng)、配置了正確的 Server/ServerActive、Hostname 與 Web 端一致、zabbix_get 驗(yàn)證 agent.ping 返回 1。Server 接入層Web 端主機(jī)存在、agent 接口可達(dá)、主機(jī)名匹配。模板匹配層鏈接了適配 agent 類型的 Nginx 模板、宏路徑/協(xié)議/端口正確、最新數(shù)據(jù)出現(xiàn)非空值。這個(gè)清單不是固定不變的但它能幫你把一次復(fù)雜的排查變成一次順序的確認(rèn)。以后不管是三臺(tái)機(jī)器還是三十臺(tái)機(jī)器先讓這種驗(yàn)證順序變成肌肉記憶再談自動(dòng)化。6. 適用邊界這套方案不是所有 Nginx 環(huán)境都適合6.1 適合誰(shuí)Zabbix 監(jiān)控 Nginx 這套方案適合的場(chǎng)景其實(shí)很清楚你已經(jīng)在用 Zabbix手里是一批長(zhǎng)期存在的虛擬機(jī)或物理機(jī)核心關(guān)注的是連接數(shù)、請(qǐng)求數(shù)、握手狀態(tài)等基礎(chǔ)指標(biāo)。這種情況下引入一套新的監(jiān)控系統(tǒng)成本遠(yuǎn)大于收益直接在 Zabbix 里接 Nginx 模板是最順的路。從我個(gè)人經(jīng)驗(yàn)看當(dāng)一個(gè)團(tuán)隊(duì)已經(jīng)用 Zabbix 管了幾百臺(tái)機(jī)器再為了 Nginx 單獨(dú)部署一套 Prometheus、Grafana反而不劃算。不是因?yàn)?Prometheus 不好而是你的告警、權(quán)限、儀表盤、值班流程都已經(jīng)長(zhǎng)在 Zabbix 上了新增一套系統(tǒng)意味著要同時(shí)維護(hù)兩套監(jiān)控體系的賬號(hào)、存儲(chǔ)和告警規(guī)則。6.2 不適合誰(shuí)反過(guò)來(lái)如果你的環(huán)境是大量短生命周期容器Nginx 實(shí)例像 Pod 一樣隨時(shí)擴(kuò)縮容Zabbix 這種以主機(jī)為單位的管理模型就會(huì)變得很吃力。每來(lái)一個(gè)新實(shí)例都要?jiǎng)?chuàng)建主機(jī)、鏈接模板、維護(hù) Hostname規(guī)模一大這些動(dòng)作本身就是運(yùn)維負(fù)擔(dān)。另外如果業(yè)務(wù)需要按 URL、按狀態(tài)碼、按 upstream 做細(xì)粒度 SLA 分析單靠 Zabbix 的 Nginx 狀態(tài)頁(yè)數(shù)據(jù)也不夠。狀態(tài)頁(yè)給的是連接數(shù)和請(qǐng)求總數(shù)拿不到每個(gè)接口的響應(yīng)時(shí)間分布。這種需求更適合讓 Nginx 輸出 access log 結(jié)構(gòu)化、再送進(jìn)時(shí)序數(shù)據(jù)庫(kù)或者日志系統(tǒng)或者直接采用具有服務(wù)發(fā)現(xiàn)能力的監(jiān)控方案。這不是說(shuō) Zabbix 不能做擴(kuò)展而是說(shuō)你要先判斷值不值得。任何方案都有維護(hù)成本Zabbix Nginx 監(jiān)控的優(yōu)勢(shì)是簡(jiǎn)單直接代價(jià)是深度有限。認(rèn)清這個(gè)邊界比盲目堆監(jiān)控項(xiàng)更重要。6.3 重要的不是某一個(gè)命令而是適應(yīng)變化的能力回到標(biāo)題里那半句“和過(guò)去有一點(diǎn)不同”。這句話其實(shí)很適合用來(lái)概括這類監(jiān)控方案的常態(tài)Nginx 的編譯參數(shù)在變agent 從舊版走向 agent2模板名稱和宏定義在變安裝方式從裸機(jī)走向容器。過(guò)兩年你再回頭看今天這篇文章里的具體配置很可能又有出入。但有一點(diǎn)不會(huì)變數(shù)據(jù)從 Nginx 到 agent 再到 Server 這條鏈路的邏輯是穩(wěn)定的。你只要掌握了“先 curl 狀態(tài)頁(yè)、再 zabbix_get 探活、最后看模板宏”的驗(yàn)證順序無(wú)論版本怎么升級(jí)你都能在最短時(shí)間內(nèi)判斷出問(wèn)題出在哪一層。這才是比某一條命令更有價(jià)值的東西。所以我的長(zhǎng)期建議是不要只收藏某個(gè)版本的配置片段而是順手把自己的環(huán)境、模板名稱、宏定義、驗(yàn)證命令寫成一個(gè)簡(jiǎn)短文檔或腳本。下次再遇到 Nginx 監(jiān)控沒(méi)數(shù)據(jù)你不是回去翻舊教程而是打開(kāi)自己的排查清單?;氐介_(kāi)頭那個(gè)案例。我們最后做的事情其實(shí)很簡(jiǎn)單把 stub_status 狀態(tài)頁(yè)配置好allow 規(guī)則放行 agent 來(lái)源 IP再把 Web 端主機(jī)名和 agent Hostname 改成一致。數(shù)據(jù)在第二個(gè)更新周期就出現(xiàn)了。整個(gè)過(guò)程沒(méi)有任何懸案只是之前分散在不同教程里的經(jīng)驗(yàn)沒(méi)有串成一條完整的鏈路。Nginx 側(cè)會(huì)變、Zabbix 會(huì)變、模板會(huì)變但驗(yàn)證順序不會(huì)變。下次再看到最新數(shù)據(jù)為空時(shí)不要急著在界面上反復(fù)點(diǎn)先打開(kāi)一個(gè)終端curl 一下?tīng)顟B(tài)頁(yè)很多時(shí)候答案早就寫在響應(yīng)里了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
伊人狠狠综合| 天天干天天插| 婷婷六月插屄激情| 久久9热| 97久久视频| 久久五月天黄色五月天色网址| 无语停婷丁香网| 久久女人天堂| 欧美色色网| 亚洲1区| 亚洲精品白浆高清久久久久久| 天天操夜夜橾| 九九热思思热| 广东99色在线| 久久婷婷五月天懂色| 亚洲色综合| 天天高潮夜夜爽| 99久在线精品99re8| 无码人妻丰满熟妇奶水区码| 婷婷狠狠操| 丁香五月在线| 亚洲精品国产精品乱码不99| 一本久久亚洲五月婷婷| 丁香婷婷激情综合五月激情| 欧美丁香五月97色| 久久青青日本视频| 激情五月综合网丁| 亚洲激情另类| 五月婷婷片| 天天橾夜夜爽| 丁香五月中文字幕久色| 这里只有精品99www| 欧美日韩国产伦精品日韩人妻一| 艹B高清无码| 色99在线| 婷婷99中文字幕| 天天狠狠色| 最新激情五月天| 五月丁香色婷婷色| 99热性色| 婷丁香五月天| 2015超碰| 亚洲成人网站在线播放| www.99精品视频| 中文字幕操比影片| 五月停视频天堂| 色丁香久久| 亚洲婷婷欧美婷婷| 色五月婷婷五月天| 免费黄色AV| a久久免费视频| 婷婷五月深情丁香深爱日韩| 婷婷五月深情丁香深爱日韩| 久热视频A.| www一起操| 成人免费网站免费看| 日本不卡高字幕在线2019| 色欲天天综合| 天天操综合网| 五月丁香成人网| 天天爽天天干| 国产古装妇女野外A片| 天天日天天舔| 免费看成人AA片无码视频吃奶| 五月开心久久| 无码人妻少妇色欲AV一区二区| 99热在线精品观看| 少妇性BBB搡BBB爽爽爽视頻| 日本久久久97| 亚州操逼网| 大天天伊人| 99精品女人天堂| 99超碰在线免费| 天堂网色婷婷| 九九99九九99偷拍视频免费看| 97碰碰在线观看视频| 婷婷中文网站| 99热综合网| 99热1| 97视频.干com| 99热在线99| 色五月涩涩婷婷蜜桃| 五丁香激情综合| 婷婷激情蜜桃玖玖丁香| 丁香六月色婷婷| 婷婷综合五月天亚洲综合| 99无码黄色视频| www.操.com| 人人色婷婷| 99re在线视频| 五月丁香亭亭| 亚洲色图在线视频| 这里只有精品视频国产| 五月天婷婷在线播放| 午夜爱爱网站| 欧美内射AAAAAAXXXXX| 免费无码毛片一区二区A片| 国产人妻777人伦精品HD| 成人国产欧美大片一区| 中文字幕婷婷在线| 日韩草草草草草草草草草草草草| 天天日夜夜帕| 婷婷五月天精品| www.狠狠| 二级黄色毛片| 激情婷婷五六月天| 五月丁香啪啪啪| 香蕉综合在线| 色综合99无码| 深夜激情网| 天天摸天天日天天舔| 色偷偷五月天| 春色激情| 天天爱天天做天天舔| 激情99在线视频| 亚洲人妻av| 丰满人妻妇伦又伦精品国产| 日本色婷婷| 五月色情网| 久久精品性爱| 国产操逼视频网站| 婷婷丁香五月激情中文字幕版| 丁香六月久| 久久伊人大香蕉| 色婷婷8| 99热日韩| 香蕉婷婷色五月| 九月丁香婷婷| 久久狠狠欧美| 人妻人人操| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | www.99精品视频| 五月丁香婷成人网| 久久久99久久| AV操一操| 操操综合网婷婷| 日产精品一线二线三线芒果| 丁香五月花影院| 亚洲九N| 国产精品18久久久| 精品欧美性爱超级爽| 99热这里有精品| 久久激情网| 99re视频在线播放| 天天综合在线网| 丁香五月网址| 五月丁香六月欧美综合网站| 北京熟妇搡BBBB搡BBBB| 欧美日韩色色| 婷五月天丁香婷五月| 久久婷婷东京热大香樵| 影音先锋一区二区三区| 九九99免费理论| 粉嫩av懂色av蜜臀av熟妇| 成年人夜夜喷水| 99久在线观看| 欧日韩AV| 婷婷五月天精品| 操骚货在线| 五月天久久网站| 8区视频在线| 婷婷99狠狠| 色色射| 激情久久久| 欧美韩国日本| 丁香五月天天| 精品五月丁香| 五月天俺去也| 97色婷婷成人综合在线观看| 狠狠干,狠狠操| 91久久久久久| 五月丁香综合伦理片| 五月丁香色色网| 久在线综合69| 五月天丁香| 亚洲成人av在线播放| 91人人爽久久涩噜噜噜| 日韩在线一级| 亚洲天天| 九九Av| 99亚洲视频| 婷婷丁香18| 《久久综合九色综合97婷婷| 亚洲丁香花色| 婷婷综合五月激情| 伊人久久大香天蕉亚洲特级| 激情五月天在线视频| 日本3级片偷拍网站| 五月婷婷欧美| 天天日夜夜夜操操操操| 亚洲AV永久无码影院黑人| 婷婷五月天激情电影小说| 五月亭亭色| 人人播| 伊人激情综合网| 天天做天天爱| 五月婷婷成人w| 伊人大香蕉爱聚| 九九亚洲视频| 性韩日色婷婷五月天激情啪啪XXX| 亚洲婷婷五月天| 九九这里只这里只有精品| 五月天综合网| 性爱视频久久| 丁香五月天天日| 一本色道久久综合狠狠躁一二三 | 丁香五月天激情网| 在线你懂的亚洲欧| 欧美激情综合色综合啪啪五月| 伊人狠狠狠综合| 婷婷五月天在线综合| 99婷婷色| 日韩无码专区| 五月天婷婷视频30| 日日爱678| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | www。五月天。com| 1024手机在线观看看片_日韩精品| 亚洲色网址| 丁香五月综合在线播放| 九九热欧美| 婷婷色色亚洲| 久久三级视频| 午夜色丁香| 六月丁香婷婷视频综合在线观看| 色色婷婷婷丁香五月天| 婷婷五月综合在线| 综合久| 色色亚卅| yazhou seshipin| 国产婷婷五月| 天天日日| 99热久久这里只有精品| 色久九| ss99热| aa久久| 在线18av | 四虎成人精品永久免费AV九九| 五月丁香拍拍激情综合| 激情综合播播| 激情综合啪啪| 五月婷婷啪啪啪| 丁香婷婷五月综合欧美另类| 国产肥白大熟妇BBBB视频| 激情六月丁香| 99热久97| 色婷婷丁香社综合| av五月丁香婷婷网| 天堂网亚洲色图| 综合网天天| 国产免费一区二区三区三州老师F1F1.CC | 五月婷婷色| 丁香五月91| 天天爽天天干天天| 亚洲99手机免费看视频| 亚洲小视频免费播放| 人人操大| 91嫩草久久| 美女被操一区二区| 中文字幕丰满孑伦无码专区 | 9 1 A v久久久| 久cao香蕉影院| 激情开心五月天| 日本一毛片| 亚洲精品国产精品乱码视99| 狠狠色综合网| 丁香五月最新地址| 99久久这里只有精品| 这里只有精品视频一区| 久久婷婷五月综合色丁香| 第四色五月激情网| 狠狠色综合777| 成人短视频在线| 婷婷丁香九月| 久久精品性爱视频,| 亚洲午夜AV| 婷婷九月激情| 月婷婷亚洲| 五月丁香va| 天天摸天天爽| 色综合色综合网| 天天色综合网吨吧| 丁香五月AV| 婷婷五月伦理网站| 91精品综合久久婷婷九色| 丁香婷婷五月天在线视频| 99热99热在线| 久久婷婷精品| 丁香五月成人网| 啪啪啪大香蕉| 六月婷婷天堂| 色五月婷婷操逼| 日韩ac不卡无码| 激情综合网五月在线播放| 91九色在线| 色婷婷色五月另类综合| 色婷婷色人人射| 天天做天天干天天综合网| 色五月婷婷91在线| 中文字幕日产A片在线看| 九九热99热| 掩去也综合五月视频| 大香蕉啪啪网| 天天日天天日天天搞| 亚洲精品又粗又大又爽A片 | 久久久久思思热| 玖玖99精品视频| 久久a热| 一区二区乱码视频| 另类图片五月天| 婷婷丁香五月六月激情| 99色| 性做久久久久久久免费看| 人妻熟人中文字幕一区二区| 久久久18| 色色色色色综合| 97在线视频观看| 亚洲无AV在线中文字幕| 婷婷五月天综合久久日| 丁香五月亚洲AV| 激情综合网激情五月欧美| 十月丁香九月婷婷综合| 婷婷五月丁香五月| 日本乱论99| 国产九九一区二区三区| 开心色播色五月婷婷| 久久这里有精品| 五月天伊人网| 婷婷影院欧美| 婷婷丁香基地在线| 久久99热这里只有精品| 亚洲蜜乳AV| 99爱视频精品在线观看| 婷婷九月综合| 天天色五月婷婷91久久久久久久| WWW.五月天9999| 五月婷婷丁香俺日污视频| www.婷婷.com| 天天综合久久| http://www.sd-xiangsu.com/| 激情伊人五月天| 婷婷基地成人五月天| 91碰视频| 久久色五月天| 成人VAV视频在线观看| 男人天堂伊人五月丁香| 五月天色丁香| 91精品在线看| 99ri视频在线播放| 大香蕉在线99热| 99热超碰| 五月丁香综合激情| 国产激情在线| 五月天开心激情综合网| 久久久噜噜噜操操操| jiujiu无码五区| 九九99免费理论| 婷婷激情综合色五月久久91| 丁香五月激情六月综合| 日本人妻伦在线中文字幕| 久操热线| 超碰99在线观看| 亚洲蜜乳AV| 欧美激情综合色综合色| 婷婷五月成人社区| 999影院成人在线影院| 大伊香蕉精品视频在线| 婷色成人| 青青草青青草五月天| 狠狠色婷婷777| 免费亚洲婷婷五月| 99九九视频| 久久免费婷婷视频| 东京热人妻一区二区三区在线| 激情综合色婷婷啪啪六月天| 操逼综合激情网| www.操逼comm| 丁香五月婷婷影视先锋| 玖玖精品视频| 99在线公开视频| 色99热| 91九色大屁股| 六月丁香激情网| 天天操B| 九九亚洲综合| 大香蕉婷婷| 午夜丁香婷婷| 婷婷五月天六月综合| 色五月综合| 激情五月深爱五月| 超碰免费人| 五月天开心成人网| 日本成人内射| 激情五月丁香六月综合AVXXXX| 国产真实乱了老女人视频 | 亚洲xx网| 国产成人网站在线观看| 99爱视频在线免费观看| 激情五月婷婷色色| 久久久18| 天天色天天噜| 欧美性猛交99久久久99| 五月丁香大香蕉| 天天日天天摸天天| 亚洲欧洲一二| 丁香五月人妻| 五月WWW| 午夜丁香 婷婷| 日韩AV片| 夜夜操少妇| 综合久久六月| 91久热| 五月丁六月香av| 精品九九久久| 久久激情网| 久久综合伊人综合在线| 婷婷大乡焦噜噜| 99热8| WWW.桔色成人.COM| 91成人视频| 国产成人精品一区二三区熟女在线| 激情五月,深深爱五月| 99热超碰天堂网| 丁香五月色情| 天天色综合网1| 欧美在线看| 99热这里| 久草性爱| WWW,五月| 婷婷九月色| 色色网站毛片| 97婷婷狠狠| 亚洲射激情| 婷婷色色欧美| 欧美日韩色色| 丁香六月婷婷久久综合| 五月丁香婷婷综合| 久久久久久久久久久久久久人妻视频| 亚洲AV永久无码影院黑人| 人人摸人人搞| 色噜噜五月天| 精品久久艹| 99热6这里只有精品6| 婷婷丁香五月在线观看91| 婷婷激情九月| 亚州色色色| 亚洲精99| 婷婷激情伍月网| 色婷婷AⅤ| 国产精品成人AV在线观看春天| 天天操夜夜操| 五月花激情| 五月婷婷新网站| 五月婷婷性爱视频| 91 久热| a久久| 亚洲色另类| 天天天天做夜夜夜夜做| 五月综合婷婷开心网| 天天操婷婷| 五月丁香日逼| 思思热99er| 大战熟女丰满人妻AV| 婷婷在线视频| 色色色色色综合| 99热青青草| 九九视频在线观看| 婷婷性爱五月天| 99久久er| 天天搞天天色综合| 性生活视频98791| 亚洲女婷婷五月基地综合久久久| 亭亭丁香aV| 色青青电影色五月| 大香蕉五月天婷婷| 思思热久久艹| 九九综合九九| 操一区| 五月久视频| 六月丁香VA| 婷婷基地爱| 热久久国产视频| 婷婷五月天六月综合| 亚洲激情亚洲激情 | 五月天久久综合婷婷丁香| 五月婷婷伊人久久| 深爱激情五月婷婷| 欧美Va婷色| 色婷婷五月天成人网| 久久这里有精品| 99性爱视频| 天天日夜夜曹| 久草婷婷| 99热在线观看| 极品五月天| 91性人人| 久久久久妻| 五月激情四射婷婷丁香| 久婷婷久草| 天天舔天天摸视频| 五月丁香六月婷婷在线观看| 波多野结衣AV无码Porn| 婷婷久久久| 91一起操| 99热官网精品在线| 二色AV| 久一这里有精品国产| 亚洲五月丁| 久久人妻情侣| 九九色插| 中文字幕日本最新乱码视频| 久久久久久人妻| 五月婷婷二月丁香| 色婷五月天网站| 久久久人妻久久久| 久青操| 91在线精品一区二区| 人人草人人舔| 97人人草| 婷综合| 久久婷婷五月天蜜桃| 婷婷精品在线| 天天成人综合| 亚洲热手机在线观看| 亚洲色激情| 亚洲无码九九九| 成人av在线网| 久久久久亚洲AV无码网影音先锋| 色婷婷社区| 日韩精品色| 99精品久久| 六月婷久久| 夜夜爱爱亚洲| 久99久视频精选| 亚洲AV久久久久久久久久久久久久久久| 五月天激情综合网| 色五月人妻| 天天操无码| 我淫我色婷婷五月天激情四射| 九久9精品| 五月婷av| 狠狠五月天| 99精在线| 97五月天| 麻豆AV一区二区三区| A久久| 色播五月网| 色色色色色色色色网站| 色噜噜狠狠一区二区三区| 九九色99| 色五月成人| 人人爽天天爽| 可以直接看的av| 99热精品中文字幕| 美日韩成人| 天天色粽合合合合合合合| 人妻久久久久久久 | 蜜乳.comcom| 丁香五月成人论坛| 最新无毒无码AV| 久9精品视频在线| 久久视屏这里只有久久| 欧美性爱五月天| 黄色99热| 久草热在线视频| 婷婷色五月大香蕉在线| 六月综和久久| 99噜噜噜在线播放| 九九热再线九九视频免费在线观看| 91免费看片| 91n网站cad入口在线观看| 五月丁香六月婷精品视频| 99视频在线| 大香蕉精品视频| 激情五月天综合网| 色激情五月| 亚洲丁香婷婷丁香五月天激情| 99爱在线| 青青草原福利在线| 99久高清视频| 66成人网| 99大香蕉| 亚洲AV中文在线| 精品人妻在线| 人妻22p| 亚洲中文字幕av| 超碰在线99| 亚洲免费看片| 色婷视频| 开心五月丁香啪| 深夜婷婷 丁香| 丁香五月天五码婷婷| 国产又色又爽又黄又免费| 精品牛仔裤超碰| 日韩淑女人妻luan伦激情精品一区二| 玖玖婷婷婷丁香五月| 日本欧美成人片AAAA| 日本久久精品18| 成人视频一区| 国产亚洲色婷婷99精品| 极品人妻XXXXOOOO| 日日狠狠久久偷偷四色综合免费| 丁香五月综合无码趴趴| 久久激情五月天| 色婷丁香| 人妻丰满精品一区二区A片| 激情六月五月婷婷综合网| 中文字幕在线免费看线人| 色五月视频无码播放| 大香蕉丁香五月| 可以免费观看的AV| 久久综合婷婷五月| AA丁香综合激情| 丁香五月综合激情久久潮喷| 97啪在线观看视频| 橾逼网| 婷婷激情四射网| 色欲一区二区三区精品A片| 亚洲五月婷婷在线| 大香蕉啪啪啪啪啪啪| 婷婷五月天啪啪| 六月大香蕉| 人妻人人操| 色5月婷婷| 丁香婷婷五月色成人网站| 亚洲五月婷婷| 久久久久久性爱视频| 黄色三级日本| 色色色色色色色五月| 五月婷婷啪啪| www·五月天| 丁香五月777| 精品一区二区三区免费毛片爱| 五月天中文字幕在线婷婷| 哇嘎成人久久| 国产乱子轮XXX农村| 色五月丁香六月欧美综合| 久久九色| 中文字幕天天干| 狼人久草| 婷婷中文字幕| 五月婷婷m| 丁香五月婷婷激情四射| 亚洲国产精品VA在线看黑人| 五月婷啪啪| 丁香六月爱综合| 成人av免费观看| 成人无码精品1区2区3区免费看| 这里只有精品9| 金桔一区二区ab地址| 青青操成人福利| www九九热| 婷婷五月天激情基地| 26UUU一区二区| 色色综合网www| 久久久精品色| 五月婷丁香| 1995年关宝慧版蜘蛛女| 丁香婷婷五月天校园春色| 婷婷欧美激情| 大香蕉AV电影在线| 丁香五月婷婷色| 久久五月丁香婷婷| 亭亭五月丁香五月天激情| 五月丁香婷中文字幕| 九九热婷婷| 91呦呦呦| 丁香婷婷老熟女综合网| 99啪啪| 五月大香蕉| 操操自拍| 99riAV国产精品视频| 激情五月天无人视频在线| 婷婷色婷婷亚洲成人| 91在线操| 日本毛片内射| 五月天另类小说久久小说网| 影音先锋高清无码资源网| 天天插天天干| 婷婷五月成人| 天天色天天| 九九人人操| 人人妻人人澡| 五月丁香六月婷婷在线| 六月色播| 新激情五月天天在线网| 国产av天天插天天操天天爽| 久久A V无码视频| 丁香五月婷婷激情中文| 免费精品99| 中美月韩免费A片| 99色视频| 97人人射| 51精品国自产在线| 人妻VideOssS人妻高清| 九月av在线| 五月婷婷视频| 亚洲小视频免费播放| 久久九九综合| 99re26视频| 激情综合文学| 婷婷色综合av| 开心六月丁香五月婷婷| 色和综合网| 噜噜久| 成人网站免费在线播放| 亚洲黄色影视| 亚洲 六月 综合| 亚洲天堂无码| 综合网色| 精品无码99| av在线激情| 北京熟妇搡BBBB搡BBBB| 丁香五月中文字幕久色| 日韩人妻在线观看| 色五月激情综合网| 色婷婷基地| 久久9久| 中文字幕1区2区。| 天天在线XXX| 午夜色婷婷| 久久与婷婷| 亚洲成人AV电影网| 日韩一级片| 久婷婷五月丁香在线观看| 开心五月婷婷| 狠狠草在线观看| 97碰久久| 被强行糟蹋的女人A片| 五月天色影院| 五月激情精品视频| 五月天婷婷激情在线色图| 久碰视频| 99综合婷婷五月| 91精品国产色猫| 丁香六月婷婷久久综合| 久久六月天| 伊人网大香| 成人亚洲精品久久久久| 91操片| 婷婷五月天激情视频| 日本美女上人| 69精品人人人人| 久久伊人9| 亚洲另类婷婷五月综合| 久99热| 丁香五月九九| 五月天丁香久久综合| www.色综合| 97色色综合| 九九色婷婷| 日本久久久97| 综合99在线| 人人综合久| 丁香,开心成人,久久| 六月婷婷激情图片| 丁香五月婷婷视频| http://www.com久久久精品一区| 亚洲熟女色| 人妻操在线看| 狠狠精品干练久久久无码中文字幕| 视频久久9| 婷婷五月色综合| 五月婷婷激情| 色久女| 99久在线精品99re8热| 色狠狠色噜噜AV天堂五区| 久久99久久99精品免观看粉| 成人五月天视频播放| 丁香婷婷综合激情五月色| 中文资源在线a | 激情性五月天免费小说视频| 亚洲成av人影院| 99热加勒比| 天天艹夜夜艹| 婷婷久久色| 婷婷丁香激情| 91成人品| 天天操天天插| 天天日天天摸| 久久机热/这里只有精品| 欧美日本一区二区三区| 日本熟女一区二区| 米奇影视五月天| 五月伊人视频在线看| 色激情综合狠狠婷婷| anquye伊人| 亚洲情综合五月天| 精品色| 99热婷婷| 国产女人十八水真多1| 激情丁香久久| 思思热99热| 色婷五月| 天天爽天天爽| 五月婷色丁香| 91在线人| 婷婷久久色| 色五月,婷婷大香蕉| 色综合色综合色综合色综合| 99资源在线视频| 国产免费一区二区三区三州老师F1F1.CC | 人人人舔人人人操人人人摸人人人97| 精品一区久热| 无月播播激情在线观看视频| 亚洲一二三网| 丁香六月狠狠干| 六月激情婷婷| 久久小视频| 天天舔天天摸天天射| 亚洲在线网站| 色婷婷激情| -91九色大屁股| 天天舔天天爽| 五月天婷婷视频30| 激情五月丁香色色去久久| 9l视频自拍9l九色9l成人| 激情六月丁香| 色爽干| 天天爽免费视频| 色色综合激情| 久久性爱视频网站| 亚洲成人黄色网| 五月丁香色婷基地综合久久| www超碰| 午夜性爱影视一区77| 亚洲人人艹| 狠狠干婷婷| 夜夜操少妇| 国产亚洲成AV人片在线| 99精品在线播放| 五月深爱婷婷| 人人爽欧美婷婷久久久五月丁香| 99热国产精品| 伍月婷丁香花全集| 久久久99视频| 综合aV在线| 伊人五月婷婷| 狠狠色狠狠鲁| 五月丁香婷婷婷激情爱爱| 五月天综合在线| 五月激情综合美女久久| 大香蕉婷婷| 激情婷婷激情在线不卡| 婷婷欧美综合| 欧洲免费视频色| 亚洲天堂热| 五月四色激情| 九九人人操| 日本色狠狠| 五月婷婷与六月丁香图片激情| 果冻传媒A片一二三区| 婷婷五月综合视频| 亚洲网站在线鸭子av| 亚洲AV日韩AV永久无码网站| 色色射| 色五开心五月五月深深爱| 色色婷| 精品九九婷婷| 久久久99精品免费观看| 亚洲AV免费在线| 亚城区在线| 亚洲第一色色色色| 色人久夂| 婷婷日韩| 538在线精品| 91久久九久久九久久九久久九久久| 色5月婷婷| 天天日夜夜高潮| 99碰| 色丁香五月婷婷综合久久| 91久久久久久久久18| EEUSS鲁片一区二区三区| 亚洲另类婷婷五月综合| 欧美性二区| 丁香五月综合婷婷| 精品九九网| 香蕉久日夜| 日韩九九| 久久大香蕉同僚| 激情婷婷色五月| 婷婷玉月丁香五月在线视频| 国产成人VA| 五月丁香| 日本精品99网站| 五月婷天堂视频| 乱精品一区字幕二区| 天天爽天天操| 日本一毛片| 久操综合| 六月丁香婷婷综合狠狠爱夜夜爱| 丁香五月天成人| 婷婷五月亚洲综合| 久大香蕉| 国产三级片91| 91久久免费| 久久久久五月丁香| 日韩成人影片在线观看| 99久久婷婷国产综合精品电影| 久操操| 伊人网大香| 久草性爱| 欧美影院婷婷| 丁香婷婷五月综合色情| www.91.com黄| 99热青青草| 久久久精品人妻录| 开心激情五月天网| 婷婷五月天亚洲五码| 九九热精品在线| 丁香婷婷五月色成人网站| 激情五月天综合网| 精品爆操| 婷婷六月色开 | 极品少妇XXXX精品少妇偷拍| 97福利视频| 小香蕉av| www.色五月| 久久综合五月天激情小说网站| 五月色亭丁香| 激情久久 婷婷| 久久天堂网| 91精品又长又大又粗又爽又猛| 日本在线99| AV在线观看网站| 99久久婷婷国产综合精品青桔| henhencao国产在线| 天天 青草 丝袜制服 在线| 欧美英丁香开心快乐六月天网| 日韩五月丁香| 欧美三级欧美一级| 丁香五月天色婷婷| 激情五月天色色网| 亚洲AV在线免费看| 狠狠一日| 欧美日韩国产日本精品四虎网网站物| xxxx五月天色色| 激情久久肏屄视频| 新五月天婷婷激情电影| 亚洲小视频| 91干在线| 激情婷婷丁香五月| 婷婷九色| 六月亚洲婷婷6月中文字幕| 丁香六月激情网C0W| 丁香五月AV| 国产精品色色| 图片区 小说区 区 亚洲五月| 亚洲成人无码专区| 淫五月停停| 日韩久综合| 婷婷激情综合无月| 天天玩夜夜操| 五月天综合色| 色播五月丁香综合| 婷婷六月丁香开心深深爱| 伊人丁香花综合影院| 另类激情五月在线视频欧美| 99人人干| 亚洲第二AV| 九九人妻福利| 色XX综合网| 91色久| 亚洲XX网| 激情综合网激情五月欧美| 欧美日韩成人在线网| 青青草国产亚洲精品久久| 色亭亭丁香五月天| 亚洲欧洲另类| 五月丁香天堂网| 婷婷九月色| 99精品高潮| 夜夜天天久久婷婷| 99久在线观看| 久草x色在线观看99| 色婷婷亚洲婷婷| 99re这里| 欧美情色一区| 亚洲综合在线视频| 啪啪 综合网| 99精品免费| 五月丁香六月婷婷啪啪| 色色色色色色色色综合网| 91丨九色丨东北熟女| 爆乳熟女一区二区三区爆乳| 激情五月婷婷丁香综合网| 26uuu成人网| 射久久丁香五月| 亚洲精品五月| 天天做天天爱| 亚洲在线综合| 色婷婷五月天激情在线观看| 欧美色综合天天久久综合精品| 成人免费在线电影| 人草人人| co超碰在线观看| 在线观看五月婷婷网| 婷香五月| 97丁香五月| 五月人妻婷婷视频| 婷婷五月丁香激情图片| 丁香激情六月天婷婷| 激情深爱五月天| 91色久| 欧美性爱中文字幕| 亚洲操B视频| 综合久久五月天| 抽插特写| 色婷婷丁香五月天激情综合网| 日韩婷婷| 久久久久久久丁香五月天婷婷| 丁香五月人妻| 91色在线 | 日韩| 婷婷亚洲五月| 婷婷色基地在线看 | 99激情视频| 久久久久妻| 婷婷五月激情综合| 国产免费一区二区在线A片视频| 五月婷六月| 超碰在线99热| 五月丁香啪啪网| 99在线视频精品| 综合99久久| 91丨九色丨大屁股| 五月丁香啪啪| 久久视频这里都是精品| 丁香五月天啪啪| 另类图片激情五月天| 九九丁香社区欧美激情| 久久九精品| 丁香六月成人| 天天爽天天干| 婷婷激情综合色五月久久91| 欧美日韩AAAA| 久久久久久久久久久97| 欧美色久| 国产成人网址| 国产精品日本一区二区在线播放| 激情五月天之五月婷婷| 第四色五月天| 婷婷丁香五月天小说| 色色丁香婷婷五月天| 色婷婷先锋| 99在线精品观看99| 亚洲日韩一页精品发布| 激情五月狠狠| 五月天婷婷伊人| 99色在线视频| 丁香婷婷啪啪啪| 亚洲天堂九九九| 九九精品综合| 五月综合视频在线| 国产麻豆视频| 日本天天色| 激情四射五月天| 嫩草AV久久伊人妇女超级A| 操操操操操电影网| 成人一区在线观看| 色婷婷小说网| 九九aV| 一本色道久久88综合日韩精品| 久色中文| 无码A片一区二区免费| 97色婷| 99在这里有精品| 欧美天堂久久| 人人干av| 性生活久久朋友人妻| 伊人9在线| 99re热视频这里只精品| 五月天婷婷乱论小说| 99热超碰在线| 免费V片在线| 婷婷五月天av| 色婷婷先锋| 婷婷久久综合久| 丁香五月大香蕉在线99| 九九热这里| 婷婷一本和五月丁香| 日本三级网址| www.狠狠狠.com| 人人操女人| 最近中文字幕大全免费版在线 | 人人操人人添人人摸97| 色综合伊人网| 丁香五月成人婷婷| 天天日狠狠| 超碰在线观看成人视| 日韩一区二区A片免费观看| 天天爱天天做天天| 激情综合婷婷五月| 无码动漫AV| 婷婷丁香社区| www.91操| 久狠日av| ss99热| 婷婷久久久| 激情五月天福利| aV直接看| 五月叮香啪| 俺去也五月天| 色婷婷综合中心| 97碰久久| 久久婷婷综合拍| 激情玖玖sh| 狠狠干狠狠干| 超碰人人操在线| 天天狠狠夜夜狠狠2023| 国产色五月| 色色色视频| 精品婷婷五| 影视av久久久噜噜噜噜噜三级| 另类激情中文| 97超碰在线免费观看| 狠狠干伊人| 色婷婷六月开心中文字| 五月丁香六月激情综合网| 综合久久综合五月天婷婷| 综合色色五月| 色999;丁香五月| 婷婷91| 五月婷婷啪啪| 午夜九九九九九九九九九九九九九| 欧美婷婷五月| 激情五月婷婷在线区| 超碰99在线观看| 97九色视频| 五月天久久综合| 久久婷婷夜| 婷婷五月激情视频网| 欧美日本99| 91婷婷丁香五月亚洲| 无码人妻丰满熟妇奶水区码| 久久婷婷五月天| 中文AV在线播放| 久久色五月天综合网| 九九操综合网| 91精品国产综合久久密臀| 久久五月丁香激情综合| 色色色色色色色综合| 日本五月丁香| 开心五激情网| 热99久久这里只有精品| 狠狠色性| 狠狠第四色| 欧美 日韩 成人 在线| 色色综合激情| 大香蕉啪啪网| 亚洲网站在线鸭子av| 99热最新| 97在线精品| 婷婷久久久| 99操| 秋霞黄色一级久久| 天天肏屄夜夜爽| 天天狠狠插| AV五月丁香| 激情综合丁| 人草人人| 五月婷婷激情中文字幕| 亚洲AV网址| 五月天社区| 少妇2做爰HD韩国电影| 性av| 丁香五月伊人| 色婷婷五月成人网| www色婷婷| 日韩成人AV在线| 97色色色色| 草做免费在线观看| 5月婷婷6月六月丁香| 色噜噜狠狠色综合成人网| 粉嫩av懂色av蜜臀av熟妇| 色播丁香| 五月天婷婷激情六月久久| 亚洲国产精品二二三三区| 日本在线观看aaa 99| 另类视屏| 掩去也综合五月视频| 色婷婷丁香五月天在线视频| 久久婷婷五月天综合| 香蕉人在线香蕉人在线 | 久久久com| 国产精品国产成人国产三级| 成人性生活免费观看。| 岛国资源站| 91超碰在线观看| 久久这里只有精品16| 色五月六月| 大香蕉九九| 97caop| 操日视频| 亚洲色婷婷99一9|| 五月网网站| 99亚洲视频| 波多野结衣不卡AV| 色噜久| 五月天综合缴情网网站0| 色五月丁香婷婷在线观看| 激情五月婷婷综合| 成人做爰黄A片免费看直播室男男 久草热8精品视频在线观看 | www.狠狠操| 大战熟女丰满人妻AV| 99精品一二三四视频| 亚洲开心激情网| 99精品热视频| 亚洲亚洲人成综合网络| 91疯狂操操操操| 色五月av伊人| 人妻22p| 久久久久9久无码视频| 亚洲在线操| 日本va欧美va欧美| 婷婷五月天成人网| 9热在线视频| 五月婷婷久久开心网| 99热只有| 丁香五月亚洲综合| 97色碰| 久久久噜噜噜久久人妻| 亚洲无码99| 乱码操操| www.henhengan| 色优久久| 99资源在线视频| 亚洲色模骚货| 亚洲超碰在线| 综合色影院| 97韩国久久电影院| 五月婷婷啪啪| 人人超碰99| 色综合色综合色综合高潮| 国产婷婷综合在线免费视频| 99热这里只有精品66| 97在线/日本| 三级大香蕉网| 狠狠精品干练久久久无码中文字幕 | 亚州色色色| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 日本人妻丁香婷婷久久寝取熟女五月| 久久久久9999| 九九久久高清| 色99网站| av网站免费在线| 艹| 八戒青柠影视剧在线观看| ay2区| 97色婷| 另类视频综合| 欧美激情VA永久在线播放| 殴美97色| 亚洲久久婷婷| 丁香五月天堂婷婷| WWW五月天| 亚洲免费看片| 99热在线观看免费中文| 成人午夜无码视频| 91精品综合久久久久久五月天| 六月丁香婷婷开心综合基地| 91九九| 亚洲另类婷婷五月丁香在线播放| 九九热精品| 人妻激情视频| 婷婷色六月| 色青五月天|