欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Zabbix監(jiān)控Nginx沒(méi)數(shù)據(jù)?核心問(wèn)題往往在狀態(tài)頁(yè)與agent采集鏈路上

Zabbix監(jiān)控Nginx沒(méi)數(shù)據(jù)?核心問(wèn)題往往在狀態(tài)頁(yè)與agent采集鏈路上 上個(gè)月幫同事排查一套 Zabbix 監(jiān)控 Nginx 數(shù)據(jù)一直為空的問(wèn)題。一開(kāi)始我們都把注意力放在 Zabbix Web 端反復(fù)檢查模板、主機(jī)、宏折騰了一上午。最后才發(fā)現(xiàn)真正斷掉的環(huán)節(jié)是 Nginx 的 stub_status 狀態(tài)頁(yè)根本沒(méi)有暴露出來(lái)agent 自然也就拿不到任何數(shù)據(jù)。更讓我意外的是同事的配置是從一篇兩三年前的教程里抄來(lái)的那篇教程里的模板名稱、agent 類型和現(xiàn)在的環(huán)境已經(jīng)對(duì)不上。這不是個(gè)案。Zabbix 監(jiān)控 Nginx 這件事最常見(jiàn)的坑不是 Zabbix 不會(huì)裝而是安裝配置流程里塞滿了舊資料。所以下面我不打算只給一個(gè)固定命令序列而是想把 Zabbix 監(jiān)控 Nginx 的鏈路重新拆一遍Nginx 怎么暴露狀態(tài)agent 怎么讀到數(shù)據(jù)模板怎么匹配以及當(dāng)你拿到一臺(tái)新機(jī)器時(shí)應(yīng)該按什么順序驗(yàn)證。核心判斷只有一句——真正決定這套監(jiān)控能不能跑通的往往不是 Zabbix 本身而是 Nginx 狀態(tài)頁(yè)、agent 采集和模板匹配這三個(gè)環(huán)節(jié)有沒(méi)有全部連上。1. 先想清楚Zabbix 監(jiān)控 Nginx 到底在監(jiān)控什么1.1 表面是進(jìn)程存活本質(zhì)是連接和請(qǐng)求很多入門教程會(huì)把 Zabbix 監(jiān)控 Nginx 簡(jiǎn)單理解成“Nginx 掛了就報(bào)警”。這個(gè)理解不算錯(cuò)但太單薄。Nginx 是應(yīng)用入口它的價(jià)值不在于進(jìn)程起沒(méi)起來(lái)而在于它當(dāng)前扛了多少連接、請(qǐng)求處理得是否順暢、有沒(méi)有異常堆積。Zabbix 之所以能監(jiān)控 Nginx核心不是直接讀進(jìn)程狀態(tài)而是通過(guò) Nginx 自身的狀態(tài)接口或模塊拿到一組結(jié)構(gòu)化指標(biāo)。最常見(jiàn)的數(shù)據(jù)源是 Nginx 官方自帶的 stub_status 模塊。打開(kāi)狀態(tài)頁(yè)后你會(huì)看到類似這樣的一小段文本Active connections: 3 server accepts handled requests 12 12 15 Reading: 0 Writing: 1 Waiting: 2這幾個(gè)數(shù)字的含義值得記住Active connections當(dāng)前活躍連接數(shù)。acceptsNginx 啟動(dòng)以來(lái)成功接受的連接總數(shù)。handled成功處理的連接總數(shù)。正常情況下 accepts 和 handled 應(yīng)該接近。requests總請(qǐng)求數(shù)。Reading / Writing / Waiting分別表示正在讀請(qǐng)求頭、正在寫響應(yīng)、以及空閑 keep-alive 連接的數(shù)量。這些指標(biāo)能幫你看清什么比如 Reading 長(zhǎng)時(shí)間很高說(shuō)明請(qǐng)求堆積在讀取階段背后可能是客戶端沒(méi)有把請(qǐng)求發(fā)完整Waiting 大量存在不是壞事只能說(shuō)明 keep-alive 連接占著資源accepts 和 handled 差距持續(xù)增大則可能說(shuō)明有連接在中間環(huán)節(jié)被丟掉。1.2 為什么很多“監(jiān)控沒(méi)數(shù)據(jù)”其實(shí)和 Zabbix 無(wú)關(guān)排查過(guò)幾次就會(huì)發(fā)現(xiàn)Zabbix 監(jiān)控 Nginx 沒(méi)數(shù)據(jù)絕大多數(shù)原因不在 Zabbix要么是 Nginx 狀態(tài)頁(yè)沒(méi)開(kāi)啟要么是狀態(tài)頁(yè)返回的是 HTML 而不是純文本要么是 agent 訪問(wèn)不到狀態(tài)頁(yè)要么是模板里的宏路徑和實(shí)際路徑不一致。Zabbix 本身只是在按固定周期向 agent 要數(shù)據(jù)agent 再去請(qǐng)求 Nginx 狀態(tài)頁(yè)。這一條數(shù)據(jù)鏈上有任何一個(gè)環(huán)節(jié)斷了儀表盤就永遠(yuǎn)是空的。所以我建議把這條鏈路拆成三段來(lái)理解Nginx 負(fù)責(zé)提供數(shù)據(jù)agent 負(fù)責(zé)搬運(yùn)數(shù)據(jù)Zabbix 負(fù)責(zé)展示和告警。后兩段的問(wèn)題通常都有日志可查反而是第一段最容易被人忽略。很多“監(jiān)控沒(méi)數(shù)據(jù)”的案例其實(shí)和你選的模板、版本的關(guān)聯(lián)沒(méi)有想象中那么大問(wèn)題往往出在數(shù)據(jù)源這一層。2. Nginx 側(cè)的狀態(tài)頁(yè)配置先把數(shù)據(jù)源打開(kāi)2.1 先確認(rèn)模塊再改配置順序不要反Nginx 狀態(tài)頁(yè)依賴 http_stub_status_module 這個(gè)模塊。問(wèn)題在于不是所有 Nginx 環(huán)境都默認(rèn)包含它。源碼編譯安裝時(shí)如果沒(méi)有帶 --with-http_stub_status_module后面想加模塊就得重新編譯發(fā)行版?zhèn)}庫(kù)里的 nginx 通常已經(jīng)包含這個(gè)模塊但不同發(fā)行版、不同倉(cāng)庫(kù)之間也可能有差異容器鏡像則更不一定一些精簡(jiǎn)鏡像會(huì)把用不到的模塊裁掉。所以第一步是確認(rèn)模塊存在。常見(jiàn)做法是查看編譯參數(shù)nginx -V 21 | tr \n | grep stub_status如果輸出里能看到 http_stub_status_module說(shuō)明模塊沒(méi)問(wèn)題。如果什么都沒(méi)有就不要繼續(xù)往下配狀態(tài)頁(yè)了先解決模塊問(wèn)題。否則你配置再正確curl 訪問(wèn)時(shí)也只能看到 404。注意有些系統(tǒng)里 nginx 不在 PATH 中可能需要寫全路徑比如/usr/local/nginx/sbin/nginx -V或者先執(zhí)行which nginx確認(rèn)一下。2.2 一個(gè)穩(wěn)妥的 stub_status 配置示例確認(rèn)模塊存在后再修改 Nginx 配置。常見(jiàn)的做法是在一個(gè) server 塊里加一個(gè) location只讓狀態(tài)頁(yè)從指定路徑訪問(wèn)server { listen 80; server_name _; location /nginx_status { stub_status; allow 127.0.0.1; allow 192.168.10.0/24; deny all; } }這里有幾個(gè)細(xì)節(jié)要說(shuō)明。location /nginx_status是精確匹配避免掩蓋其他路徑規(guī)則stub_status;是常見(jiàn)寫法如果你看到的舊教程里寫的是stub_status on;通常也能兼容但更推薦按當(dāng)前版本的標(biāo)準(zhǔn)寫法來(lái)allow 和 deny 用來(lái)限制來(lái)源 IP避免狀態(tài)頁(yè)暴露到公網(wǎng)。雖然狀態(tài)頁(yè)內(nèi)容看起來(lái)不敏感但泄露給外界等于給攻擊者多一個(gè)信息采集入口沒(méi)有理由不做限制。寫完配置后先檢查配置再重載nginx -t nginx -s reload # 如果使用 systemd 管理也可以寫成 systemctl reload nginx然后用 curl 驗(yàn)證curl -s http://127.0.0.1/nginx_status如果能看到開(kāi)頭那段純文本說(shuō)明 Nginx 側(cè)已經(jīng)通了。注意curl 的來(lái)源 IP 要和 allow 規(guī)則匹配否則你會(huì)看到 403。2.3 容器化和非默認(rèn)端口環(huán)境的特殊點(diǎn)如果你的 Nginx 跑在容器里情況會(huì)稍微復(fù)雜一點(diǎn)。agent 要么和 Nginx 在同一個(gè)容器內(nèi)要么通過(guò)容器 IP 或映射端口訪問(wèn)狀態(tài)頁(yè)。容器內(nèi)的 Nginx 如果只監(jiān)聽(tīng)了容器內(nèi)部端口agent 在宿主機(jī)上直接 curl 127.0.0.1 是拿不到響應(yīng)的。這類問(wèn)題用 curl 驗(yàn)證時(shí)最容易暴露但很多人會(huì)誤以為是自己配置寫錯(cuò)了。另外狀態(tài)頁(yè)不一定只能放在 80 端口。有的環(huán)境為了安全和便于管理會(huì)把狀態(tài)頁(yè)放在 8080 或單獨(dú)一個(gè) server 塊里。這樣的設(shè)計(jì)沒(méi)問(wèn)題但模板里的宏就要跟著改。這里的重點(diǎn)是先想清楚 agent 要從哪個(gè)地址訪問(wèn) Nginx然后保證這個(gè)地址上的 TCP 連通性和 ACL 都允許。不要只在 Zabbix 里把宏改來(lái)改去主機(jī)上卻訪問(wèn)不到。我在很多環(huán)境里見(jiàn)過(guò)一種最隱蔽的錯(cuò)誤狀態(tài)頁(yè)本身配置正確但 allow 規(guī)則只放行了 127.0.0.1agent 卻通過(guò)內(nèi)網(wǎng) IP 去訪問(wèn)狀態(tài)頁(yè)。agent 請(qǐng)求時(shí)Nginx 看到的來(lái)源 IP 是內(nèi)網(wǎng)地址命中 deny all于是返回 403監(jiān)控項(xiàng)自然拿不到數(shù)據(jù)。所以配置 allow 時(shí)要想著 agent 會(huì)從哪個(gè) IP 過(guò)來(lái)而不是只寫 127.0.0.1。3. Zabbix agent 這一層不是安裝了就行3.1 配置 Server 地址和 Hostname一致性是第一原則Nginx 狀態(tài)頁(yè)通了之后才輪到 agent。agent 安裝本身不復(fù)雜麻煩的是配置。以最常見(jiàn)的 zabbix-agent 為例配置文件里幾個(gè)關(guān)鍵參數(shù)一定要理解Server192.168.10.20 ServerActive192.168.10.20 Hostnameweb01Server 和 ServerActive 不是一回事。Server 是被動(dòng)模式下允許從 Zabbix Server 拉取 item 的地址白名單ServerActive 是主動(dòng)模式下 agent 向哪個(gè) Zabbix Server 或 Proxy 上報(bào)數(shù)據(jù)的地址。如果你只配置了 Serveragent 就會(huì)等 Server 來(lái)問(wèn)如果你用了主動(dòng)模式ServerActive 也要填。很多舊教程只寫一個(gè)值換到新環(huán)境就出問(wèn)題。比這更容易出錯(cuò)的是 Hostname。Zabbix Web 端添加主機(jī)時(shí)填的主機(jī)名必須和 agent 配置里的 Hostname 保持一致。如果 Web 端寫的是 web01agent 里配的是 nginx-web-1那么即使在 Zabbix 里能看到主機(jī)監(jiān)控項(xiàng)也始終是 no data。在新版本 agent 里你還會(huì)看到HostnameItemsystem.hostname這樣的配置意思是讓 agent 用系統(tǒng)本身的 hostname 作為上報(bào)名稱。這個(gè)機(jī)制可以避免手工維護(hù) Hostname但前提是系統(tǒng) hostname 必須和 Zabbix Web 里的主機(jī)名一致。所以不管用哪種方式原則都是同一個(gè)兩邊名字要對(duì)上。3.2 agent 與 agent2模板和 key 可能不一樣這里要說(shuō)一個(gè)“和過(guò)去不一樣”比較明顯的點(diǎn)現(xiàn)在 Zabbix 官方推薦使用 Zabbix agent 2也就是 agent2。agent2 不僅在采集能力上更豐富還支持一些內(nèi)置插件但對(duì)應(yīng)的模板、監(jiān)控項(xiàng) key 和舊 agent 不完全一樣。在 Zabbix Web 里搜索 Nginx 時(shí)你可能會(huì)看到多個(gè)模板有些名字類似 Nginx by HTTP有些類似 Nginx by Zabbix agent 2。如果你在主機(jī)上裝的是 agent2卻鏈接了舊 agent 版本的模板可能會(huì)出現(xiàn) unsupported item。反過(guò)來(lái)也一樣。所以我的建議是在鏈接模板之前先打開(kāi)模板里的監(jiān)控項(xiàng)預(yù)覽看它使用的采集類型是 Zabbix agent、HTTP agent還是依賴 agent2 插件。確認(rèn)它跟你實(shí)際安裝的 agent 類型對(duì)得上再鏈接。這一步只要花兩分鐘卻可以省掉后面一晚上的排查時(shí)間。agent 和 agent2 的服務(wù)名也不一樣常見(jiàn)的有 zabbix-agent、zabbix-agent2系統(tǒng)服務(wù)名可能是 zabbix-agentd.service 或 zabbix-agent2.service。啟動(dòng)服務(wù)后用systemctl status看一下是否 active再看一眼日志路徑常見(jiàn)的是/var/log/zabbix/下面。出現(xiàn)問(wèn)題時(shí)日志里通常直接會(huì)告訴你 key 不支持還是連接失敗。3.3 用 zabbix_get 快速驗(yàn)證采集鏈路在 Web 端排查前可以先在 Zabbix Server 上用 zabbix_get 做一次最直接的驗(yàn)證確認(rèn) agent 是否正常工作zabbix_get -s 192.168.10.11 -k agent.ping如果返回 1說(shuō)明 Server 能連上 agent。如果返回值不是 1就別急著去 Web 端看模板先解決網(wǎng)絡(luò)、端口和 Hostname 問(wèn)題。agent.ping 是通用探活 key驗(yàn)證通過(guò)后再去模板里找到你想測(cè)的監(jiān)控項(xiàng) key比如和 Nginx 狀態(tài)頁(yè)相關(guān)的 key繼續(xù)用 zabbix_get 測(cè)試。不同版本、不同模板的 key 名稱會(huì)有差異所以這里不列具體 key但思路是一樣的先用 curl 確認(rèn)狀態(tài)頁(yè)存在再用 zabbix_get 確認(rèn) agent 能取到值最后才去 Web 端看圖表。鏈路從底層往上逐層打通比在界面上猜效率高得多。4. 在 Zabbix Web 端鏈接模板別被舊截圖帶偏4.1 模板名稱已經(jīng)變過(guò)好幾輪Zabbix 的模板策略在過(guò)去幾年變化很大。這次部署里我在模板列表里搜索 nginx出來(lái)的已經(jīng)不是早期教程里那張截圖上的名字了。官方模板按采集方式做了拆分有的走 HTTP agent有的走 Zabbix agent有的專門適配 agent2。這本身是好事但如果你照著一個(gè)兩三年前的教程去選模板很可能選錯(cuò)。我的建議是以當(dāng)前 Zabbix 版本實(shí)際加載的模板列表為準(zhǔn)不要憑記憶點(diǎn)。鏈接模板后立刻去“監(jiān)測(cè) – 最新數(shù)據(jù)”里過(guò)濾這個(gè)主機(jī)等一到兩個(gè)更新周期看有沒(méi)有數(shù)據(jù)進(jìn)來(lái)。如果 Zabbix 的刷新周期是 30 秒或 1 分鐘通常幾分鐘內(nèi)就能看到。另外一個(gè)主機(jī)通常只需要鏈接一個(gè)對(duì)應(yīng)當(dāng)前采集方式的 Nginx 模板不需要把所有 Nginx 模板全鏈接上。鏈接多個(gè)模板并不會(huì)讓數(shù)據(jù)更豐富反而會(huì)讓監(jiān)控項(xiàng)沖突、重復(fù)告警排查起來(lái)也更亂。4.2 宏參數(shù)路徑、協(xié)議、端口都是變量模板鏈接后還有一層容易被忽略宏參數(shù)。官方 Nginx 模板里通常會(huì)定義一組宏用來(lái)告訴 agent 去哪個(gè)地址、哪個(gè)路徑、用什么協(xié)議獲取狀態(tài)頁(yè)。常見(jiàn)宏名可能包括{$NGINX.SCHEME}、{$NGINX.PORT}、{$NGINX.STUB_STATUS.PATH}具體名稱以你當(dāng)前模板為準(zhǔn)。它們的作用就是把狀態(tài)頁(yè)的訪問(wèn)信息從監(jiān)控項(xiàng)中抽出來(lái)這樣同一套模板可以復(fù)用在不同的 Nginx 主機(jī)上。如果你的狀態(tài)頁(yè)地址不是默認(rèn)值就不用改監(jiān)控項(xiàng)直接在主機(jī)層級(jí)覆蓋宏就行。比如狀態(tài)頁(yè)路徑是 /nginx_status 而不是 /status就在主機(jī)的宏里把對(duì)應(yīng)宏改成實(shí)際路徑。改完后等下一次采集生效再看最新數(shù)據(jù)。要注意的是宏的生效范圍有層級(jí)全局宏、模板宏、主機(jī)宏。主機(jī)宏優(yōu)先級(jí)最高。如果模板里已經(jīng)定義了默認(rèn)值主機(jī)上沒(méi)改也沒(méi)關(guān)系但如果狀態(tài)頁(yè)地址做了修改一定要記得改對(duì)應(yīng)主機(jī)的宏而不是只在模板里改一個(gè)默認(rèn)值因?yàn)槟0迥J(rèn)值會(huì)影響所有鏈接該模板的主機(jī)。還有一個(gè)容易出錯(cuò)的地方狀態(tài)頁(yè)地址如果是 https但宏里用的是 http監(jiān)控項(xiàng)會(huì)一直返回錯(cuò)誤。這種問(wèn)題在視覺(jué)上非常隱蔽因?yàn)?Nginx 和 agent 都正常只有協(xié)議不匹配。4.3 驗(yàn)證模板是否能出數(shù)據(jù)鏈接模板和配好宏之后不要直接離開(kāi)頁(yè)面。花一分鐘做兩件事第一到主機(jī)監(jiān)控項(xiàng)列表里看有沒(méi)有出現(xiàn)紅色 error 狀態(tài)的監(jiān)控項(xiàng)第二到最新數(shù)據(jù)里過(guò)濾該主機(jī)確認(rèn)有非空數(shù)據(jù)。如果看到 error 狀態(tài)的監(jiān)控項(xiàng)先點(diǎn)擊進(jìn)去看錯(cuò)誤信息。常見(jiàn)的有 unsupported item key、Cannot connect to [...]: 10060、Connection refused 這類。每一條錯(cuò)誤信息其實(shí)都指向了數(shù)據(jù)鏈路的具體環(huán)節(jié)比你在外面猜模板要快得多。如果最新數(shù)據(jù)里有值但看起來(lái)不對(duì)比如 Reading 是 0、Writing 是 0也不要慌先用 curl 手動(dòng)看一次狀態(tài)頁(yè)確認(rèn)源數(shù)據(jù)里就是這些值然后判斷是 Nginx 本身空閑還是采集路徑不對(duì)。如果源數(shù)據(jù)是對(duì)的Zabbix 只是如實(shí)展示不用改 Zabbix。5. 沒(méi)數(shù)據(jù)的排查鏈路按順序查別亂試5.1 四個(gè)環(huán)節(jié)從上到下檢查如果你最終面對(duì)的是一臺(tái)沒(méi)數(shù)據(jù)的 Nginx 主機(jī)不要先懷疑 Zabbix更不要反復(fù)重新鏈接模板。按下面的順序逐層排查通常能在十分鐘內(nèi)定位問(wèn)題。第一層Nginx 狀態(tài)頁(yè)是否可訪問(wèn)。curl -s http://127.0.0.1:80/nginx_status如果 curl 能返回純文本進(jìn)入下一層。如果返回 403、404 或 HTML 頁(yè)面問(wèn)題在 Nginx 側(cè)。第二層agent 能否讀到狀態(tài)頁(yè)。注意 agent 的運(yùn)行身份和權(quán)限。你可以切換到 agent 運(yùn)行用戶或者用 sudo 模擬執(zhí)行同樣的 curl 命令確認(rèn) agent 視角下能訪問(wèn)。如果 agent 在容器里還要確認(rèn)容器網(wǎng)絡(luò)。第三層Server 和 agent 之間是否連通且 Hostname 匹配。zabbix_get -s agent_ip -k agent.ping如果 zabbix_get 返回 1說(shuō)明網(wǎng)絡(luò)層通。然后再確認(rèn) Web 端主機(jī)名和 agent Hostname 一致。第四層模板宏和監(jiān)控項(xiàng)是否匹配。打開(kāi)監(jiān)控項(xiàng)列表查看具體監(jiān)控項(xiàng)的 key、宏替換后的實(shí)際地址用測(cè)試功能跑一次。如果返回錯(cuò)誤根據(jù)錯(cuò)誤信息調(diào)整宏。這個(gè)順序的核心思路是先確定是哪一層壞了再?zèng)Q定修哪里。不要在不知道哪一層出問(wèn)題的時(shí)候改配置改來(lái)改去只會(huì)讓狀態(tài)更亂。5.2 高頻錯(cuò)誤對(duì)照表下面這張表基本覆蓋了 Zabbix 監(jiān)控 Nginx 時(shí)最容易遇到的幾類現(xiàn)象現(xiàn)象常見(jiàn)原因處理思路狀態(tài)頁(yè) curl 返回 404沒(méi)有配置 location 或模塊缺失先查 nginx -V 里的 stub_status 模塊狀態(tài)頁(yè) curl 返回 403allow/deny 沒(méi)有放行 agent 來(lái)源 IP調(diào)整 allow 規(guī)則思考 agent 從哪個(gè) IP 訪問(wèn)監(jiān)控項(xiàng)顯示 unsupported itemagent 版本或模板類型不匹配確認(rèn)是 agent 還是 agent2換對(duì)應(yīng)模板或 key最新數(shù)據(jù)一直是空Hostname 不匹配、宏路徑不對(duì)、采集周期長(zhǎng)檢查主機(jī)名一致性測(cè)試宏替換后的地址監(jiān)控項(xiàng)返回 Connection refusedagent 未啟動(dòng)、端口不通、防火墻攔截systemctl status 看服務(wù)再用 zabbix_get 驗(yàn)證狀態(tài)頁(yè)返回的是 HTML 而非純文本location 配置被其他規(guī)則截獲檢查 server 塊順序確認(rèn)精確匹配位置這張表不是讓你背下來(lái)而是給你一個(gè)參考坐標(biāo)。遇到問(wèn)題時(shí)先看現(xiàn)象再判斷屬于哪一層然后去對(duì)應(yīng)位置檢查。5.3 沉淀一個(gè)“四層驗(yàn)收清單”最后一個(gè)能長(zhǎng)期復(fù)用的經(jīng)驗(yàn)把 Zabbix 監(jiān)控 Nginx 的鏈路固定成一張驗(yàn)收清單每次新接入一臺(tái) Nginx 主機(jī)時(shí)按順序過(guò)一遍。Nginx 狀態(tài)層模塊存在、location 配置正確、curl 返回純文本、allow 已放行 agent 來(lái)源 IP。Agent 采集層服務(wù)已啟動(dòng)、配置了正確的 Server/ServerActive、Hostname 與 Web 端一致、zabbix_get 驗(yàn)證 agent.ping 返回 1。Server 接入層Web 端主機(jī)存在、agent 接口可達(dá)、主機(jī)名匹配。模板匹配層鏈接了適配 agent 類型的 Nginx 模板、宏路徑/協(xié)議/端口正確、最新數(shù)據(jù)出現(xiàn)非空值。這個(gè)清單不是固定不變的但它能幫你把一次復(fù)雜的排查變成一次順序的確認(rèn)。以后不管是三臺(tái)機(jī)器還是三十臺(tái)機(jī)器先讓這種驗(yàn)證順序變成肌肉記憶再談自動(dòng)化。6. 適用邊界這套方案不是所有 Nginx 環(huán)境都適合6.1 適合誰(shuí)Zabbix 監(jiān)控 Nginx 這套方案適合的場(chǎng)景其實(shí)很清楚你已經(jīng)在用 Zabbix手里是一批長(zhǎng)期存在的虛擬機(jī)或物理機(jī)核心關(guān)注的是連接數(shù)、請(qǐng)求數(shù)、握手狀態(tài)等基礎(chǔ)指標(biāo)。這種情況下引入一套新的監(jiān)控系統(tǒng)成本遠(yuǎn)大于收益直接在 Zabbix 里接 Nginx 模板是最順的路。從我個(gè)人經(jīng)驗(yàn)看當(dāng)一個(gè)團(tuán)隊(duì)已經(jīng)用 Zabbix 管了幾百臺(tái)機(jī)器再為了 Nginx 單獨(dú)部署一套 Prometheus、Grafana反而不劃算。不是因?yàn)?Prometheus 不好而是你的告警、權(quán)限、儀表盤、值班流程都已經(jīng)長(zhǎng)在 Zabbix 上了新增一套系統(tǒng)意味著要同時(shí)維護(hù)兩套監(jiān)控體系的賬號(hào)、存儲(chǔ)和告警規(guī)則。6.2 不適合誰(shuí)反過(guò)來(lái)如果你的環(huán)境是大量短生命周期容器Nginx 實(shí)例像 Pod 一樣隨時(shí)擴(kuò)縮容Zabbix 這種以主機(jī)為單位的管理模型就會(huì)變得很吃力。每來(lái)一個(gè)新實(shí)例都要?jiǎng)?chuàng)建主機(jī)、鏈接模板、維護(hù) Hostname規(guī)模一大這些動(dòng)作本身就是運(yùn)維負(fù)擔(dān)。另外如果業(yè)務(wù)需要按 URL、按狀態(tài)碼、按 upstream 做細(xì)粒度 SLA 分析單靠 Zabbix 的 Nginx 狀態(tài)頁(yè)數(shù)據(jù)也不夠。狀態(tài)頁(yè)給的是連接數(shù)和請(qǐng)求總數(shù)拿不到每個(gè)接口的響應(yīng)時(shí)間分布。這種需求更適合讓 Nginx 輸出 access log 結(jié)構(gòu)化、再送進(jìn)時(shí)序數(shù)據(jù)庫(kù)或者日志系統(tǒng)或者直接采用具有服務(wù)發(fā)現(xiàn)能力的監(jiān)控方案。這不是說(shuō) Zabbix 不能做擴(kuò)展而是說(shuō)你要先判斷值不值得。任何方案都有維護(hù)成本Zabbix Nginx 監(jiān)控的優(yōu)勢(shì)是簡(jiǎn)單直接代價(jià)是深度有限。認(rèn)清這個(gè)邊界比盲目堆監(jiān)控項(xiàng)更重要。6.3 重要的不是某一個(gè)命令而是適應(yīng)變化的能力回到標(biāo)題里那半句“和過(guò)去有一點(diǎn)不同”。這句話其實(shí)很適合用來(lái)概括這類監(jiān)控方案的常態(tài)Nginx 的編譯參數(shù)在變agent 從舊版走向 agent2模板名稱和宏定義在變安裝方式從裸機(jī)走向容器。過(guò)兩年你再回頭看今天這篇文章里的具體配置很可能又有出入。但有一點(diǎn)不會(huì)變數(shù)據(jù)從 Nginx 到 agent 再到 Server 這條鏈路的邏輯是穩(wěn)定的。你只要掌握了“先 curl 狀態(tài)頁(yè)、再 zabbix_get 探活、最后看模板宏”的驗(yàn)證順序無(wú)論版本怎么升級(jí)你都能在最短時(shí)間內(nèi)判斷出問(wèn)題出在哪一層。這才是比某一條命令更有價(jià)值的東西。所以我的長(zhǎng)期建議是不要只收藏某個(gè)版本的配置片段而是順手把自己的環(huán)境、模板名稱、宏定義、驗(yàn)證命令寫成一個(gè)簡(jiǎn)短文檔或腳本。下次再遇到 Nginx 監(jiān)控沒(méi)數(shù)據(jù)你不是回去翻舊教程而是打開(kāi)自己的排查清單?;氐介_(kāi)頭那個(gè)案例。我們最后做的事情其實(shí)很簡(jiǎn)單把 stub_status 狀態(tài)頁(yè)配置好allow 規(guī)則放行 agent 來(lái)源 IP再把 Web 端主機(jī)名和 agent Hostname 改成一致。數(shù)據(jù)在第二個(gè)更新周期就出現(xiàn)了。整個(gè)過(guò)程沒(méi)有任何懸案只是之前分散在不同教程里的經(jīng)驗(yàn)沒(méi)有串成一條完整的鏈路。Nginx 側(cè)會(huì)變、Zabbix 會(huì)變、模板會(huì)變但驗(yàn)證順序不會(huì)變。下次再看到最新數(shù)據(jù)為空時(shí)不要急著在界面上反復(fù)點(diǎn)先打開(kāi)一個(gè)終端curl 一下?tīng)顟B(tài)頁(yè)很多時(shí)候答案早就寫在響應(yīng)里了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷色影院| 国产色99| 超碰AV成人| 97干在线观看视频| 天天干天天操天天上| 亚洲av成人一区二区电影在线| 五月婷婷在线观看黄| 婷婷激情肏屄网| 大香蕉视频婷婷| 婷婷久久五月丁香| 国产亚洲精品久久一区二区三区| 亚洲激情网站| 99热在线中文字幕| 丁香久色| 九九热10| 婷婷丁香成人在线视频| 在线观看熟女少妇| 婷婷五月综合婷婷| 97色色婷婷| 久久丁香婷婷五月| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 婷婷激情人妻| 色爱综合五月| Caoporn公开| 激情五月五月婷婷| 欧美色色色色色| 伊人久久五月天综合| 伊人激情| 天天爽成人综合网站| 五月天婷婷狠狠| 丁香五月花| 超碰在线人人| 99亚洲精品| 天天射影院| 天天操夜夜爱| 日本社区五月天激情| 蜜臀av无码久久久久久久久 | 色婷婷色99国产综合精品| 色色六月| 九伊人网| 一起草AV| 五月天婷婷在看| 欧美丁香婷婷天天操| 97婷婷丁香| 日本情色一区二区| 久久久大香蕉| 九九热这里只有精品556| 久久xx| 色女人久久| 婷婷五月天VI| 色五月欧美| www.日韩艹| 久久久宗合| 97久久五月丁香婷婷| 大香蕉丁香婷婷| 东京热五月婷婷| 51精品国自产在线| 韩国19 主播内部福利vip免费播放| 婷婷丁香五月基地| 九九综合久久| 亚洲行行色色| 亚洲欧洲国产精品| 亚洲精品又粗又大又爽A片| 国产又黄又爽又色的免费| 日产精品一线二线三线芒果| 七七色综合| www.九九婷婷| 色色色色热热| 久播影院免费观看电视剧大全最新网| 婷婷五月综合色拍| 日本不卡高字幕在线2019| 国产日产亚系列精品版优势| 国产91九色| 操操天堂| 俺也高清无码高清视频| 色99网站| 高清免费在线视频| 99热99在线| 婷婷丁香五另类网站| 激情婷婷五月天在线观看| 久热视频这里只有精品| 九九色精品| 成人精品视频99在线观看免费| 丁香五月婷婷av影院| 人妻六月天| 伊人婷婷大香蕉| 天天做天天视天天谢| 五月天伊人日日噜影片AV| 色婷婷久久综合中文久久一本| 青青草原亚洲天堂| 五月婷婷色色网址| 免费试看小视频 99| 五月婷视屏在线观看| 六月婷婷激情图片| 丁香五月婷婷社区| 综合在线网| 色色色色色色色色综合网| 久久丁香五月| 丁香五月最新网址| 天天爽天天做| 丁香六月婷婷久久综合| 超碰在线免费| 少妇人妻人伦A片| 少妇性按摩无码中文A片| 亚洲视频久久| 六月丁香激情综合| .青娱乐天天操B| 综合狠狠干| 互月天综合| 久热欧美| 婷婷丁香五月91| 婷婷爱综合| 日日撸夜夜操| 97超碰欧美中文字幕| 激情五月婷婷欧美极品| 久久免费精彩视频| 2015好吊操| 婷婷综合网| 五月色综合| www.综合久久.com| 99色视频| h亚洲| 婷婷五月天视频在线观看| 综合激情在线视频| 久久婷婷五月综合啪| 99久久思思| 99热精品中文字幕| 天天日天天舔天天摸| 六月综合在线| www.久久久久久久久久久| 天天舔天天摸天天射| 男女免费视频999| 99热在线观看成人| 丁香婷在线| 日日干夜夜干| 中文人妻主播久久| 超碰99在线观看| 亚洲综合视频网| 99re这里| 成人综合视频在线| 激情久久肏屄视频| 天天操天天日天天爱| 日日夜夜干| 玖玖99婷婷| 79精品在线视频| 日本色道视频网站| 六月色日韩| 天天操天天曰| 99惹精品视频| 91在线观看www| 五月婷久久在线| 国产午夜成人AV在线播放| 六月色婷婷色| 成人美女网| 婷婷五月天国产手机在线视频观看| 欧美99热| 色激情综合狠狠婷婷| 婷婷激情五月| 五月色婷婷激情| 99热国产在线| 26uuu精品一区二区| 91九九热| 久久久.COM| 亚洲AV日韩无码| 婷婷五月天综合久久| 国产黄色一级片| 婷婷五月丁香色综合| 久色激情| 欧美电影在线观看| 婷婷色六月| 激情久久网 | 综合五月丁香六月婷婷| 超碰不卡在线| 狠狠精品干练久久久无码中文字幕 | 大香蕉视频99| 欧美va视频| 中文字幕在线播放视频| 操B无码视频国语| 亚洲第一精品成人999久久精品| 一区操| 99精吕视频在线观看了| 大香蕉五月天婷婷| 色香蕉婷婷| 人人爽天天爽| 青青夜夜狠狠夜夜狠狠| 久久亭亭电影| 99九九精品| 深爱激情网婷婷| 91人妻九色大屁股| 五月激情影视| 亚洲另类视频| 美女婷婷六月色| 日日操夜夜擼| 五月丁香色| 激情五月天免费视频| 涩涩婷婷五月| 丁香色婷婷色手机免费在线| www.99视频| 亚洲VA在线| 99精品国产在热久久婷婷| 91操操| 5月丁香六月婷婷| 综合99视频| 五月丁香在线| 九九99久久| 伊人狠狠操| 日本色久| 婷婷五月丁香人妻无码高清| 97高清国语自产拍| 欧美在线干| 蜜乳国产网站| 丁香色啪综合| 婷婷成人网五月天| 五月色婷婷中文字幕| 亚洲乱码日产精品BD在线观看| 婷婷色色欧美| 思思热在线视频99| 激情五月第四色| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 久久婷婷五月综合色和| 五月丁香亭亭成人电影| 好好干Av| 激情久久综合| 97人人做| 中文字幕AV网址| 色狠狠色噜噜AV天堂五区| 欧美婷婷五月天| 久久老码第一| www.激情.com.| 四川操逼站| 天天日夜夜| 97五月天| 婷婷涩涩五月天| 婷婷色网站| 先锋男人99资源| 婷婷五月综合社区| 91人操| 丁香婷婷综合影院| 丁香亭亭激情四射| 丁香五月婷婷影视先锋| 97超碰,人人舔,人人操,人人摸 | 热久视频| 狠狠激情五月天| 日日婷婷不卡| 麻豆五月丁香婷婷| 国产裸舞表演WWWW| 婷婷色欧美激情| 26uuuavcom| 欧洲婷婷五月天| 99re这里只有精品9| 婷婷五月天综合网| 九九国产视频| 婷婷五月激情的图片| 国产激情AV| 色噜噜夜夜夜综合网| 丁香五月WWW| 婷婷狠狠爱| 五月天婷婷色播综合在线| 成人无码髙潮喷水A片| 九九热AV| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 亚洲精品白浆高清久久久久久| 99re8这里只有精品99re8热视频| 五月天激情国产综合婷婷婷| 成人国产欧美大片一区| 日B日潘金莲BB| 五月婷婷综合在线亚洲视频| 操比激情五月| 日本视频99| 91精品婷婷国产综合久久| 大香蕉久操| 日本综合久久| 我要射综合| 婷婷五月天在线观看免费| 天天爽免费视频| 婷婷金品综合视频| 色色婷婷丁香| 黄色视频网站在线播放| 99热资源在线| 五月激情精品视频| 日日干天天爽| 五月天婷婷小说| 乱岳熟女50岁| 97丁香五月| 欧美99热| 深爱五月婷| 人妻少妇色综合| 超碰在线91| 人妻丰满精品一区二区A片| 丁香六月天婷婷色| 婷婷综合色图| 丁香五月天激情网| 91啪啪| BBWCUCKOLD精品熟妇| 婷婷丁香五月在线观看91| 97超级碰碰碰| 色综合久久天天综合网| 色综合久久88色综合天天看| 亚洲乱码日产精品BD| 99久久高清视频| 嫩草视频在线观看| 五月丁香狠狠| 色狠狠色| 婷婷人人操| 欧美色播综合在线观看| 国产免费一区二区三区三州老师F1F1.CC| 婷婷狠狠操| 91久久久久| 99欧州偷拍视频| 丁香五月婷婷成人色区| 日本久久综合| 月色色综合婷婷网| 就去涩涩丁香五月天| 97色啪| 日韩国产在线精品| 色香蕉影院| www,26uuu,c0m,色情| 五月天国产| 久久九九re热| 五月天成人在线播放丁香| 色久女| 99热超碰人| 激情小说五月天社区丁香| 五月天色婷婷网| 天天艹夜夜艹| 色爱综合网| 亚洲色五月婷婷| 尤物一区二区| 天天插天天插天天日| 婷婷久久色| 日本欧美成人片AAAA| 成人在线网| 欧美精品18| 激情综合色五月丁香| 色人久久| 九九99久久| 一级精品999WWW| 欧美色爱五月天| 免看黄大片AA | 99小视频| 五月婷婷婷| 天天操天天曰天天射| 婷婷五月天天aV| 99精品国产在热久久| 日韩欧美颜射| 五月婷婷色五月| 97资源欧美日韩大香蕉超碰一区| 久久狠狠干| 色播五月丁香综合| av人人干| 91婷婷在线观看| 人草人人| 国内久久久精品99| 玖玖在线| 超碰大香蕉网| 欧美性爱五月天| 婷婷涩五月| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | AV中文在线| 天天弄天天爽| 九九热精品视频在线观看| www九九热| 99精品自拍| 爆乳熟妇一区二区三区爆乳| 99婷婷| 五月天综合网| 超碰在线99| www.五月天婷婷.com| 婷婷五月色| 日韩欧美一区二区三区四区| 国产高潮A片羞羞视频涩涩| 色情五月丁香婷婷网| 五月丁香六月色| 天天做天天视天天谢| 天天做天天爽| 婷婷五月天亚洲图片| 色五天综合| 99r这里| 五月天激情日色在线| 婷婷开心五月| 120分钟婬片免费看| 丁香六月情| 婷婷色五月综合丁香| 丁香五月天社区| 五月天婷婷丁香花| 三级99热| 51国精产品自偷自偷综合| 第四色五月激情网| 丁香伊人五月色婷婷五十路| 99操视频| 狠狠撸激情综合丁香五月天俺来啦| 久99久视频精品| 79精品视频在线观看,| 日韩另类在线观看| 精品夜夜澡人妻无码AV| 久久丁香五月天| 久草A片| 久久人妻视频| 精品99视频| 九九热这里有精品视频| 涩涩激情五月婷婷| 中文av网站| 五月丁激情| 另类少妇人与禽zOZZ0性伦| 草做免费在线观看| 五月六月婷| 久久婷婷五月综合色奶水99啪| 婷婷五月天激情在线| 人人插9| 色一情一乱一乱一区9| 婷婷射图| 嫩草哈哈操| 日韩精品一品二区三区的使用体验 | 色五月激情基地| 九九精品re免费视频| 五月丁香综合激情网| 日韩五月婷婷| 熟女激情网| 婷婷五月天VI| 九九综合色| 五月婷激情| 操操操av| 激情综合网五月丁香| 激情文学综合婷婷五月天丁香花| 九九黄色网| 五月天精品视频| 日本本土色网第一区| 丁香五月婷婷激情中文| 少妇大叫太大太粗太爽了A片| 天天爽天天| 狠狠操.COM| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 亚洲亚洲亚洲AAAAAA| 91精品久久久久| 久久五月天 91| 日韩操人| 日本欧美成人片AAAA| 五月婷婷激情| 婷婷性福五月天| 色综合久久88色综合中文字幕| 久久人人看| 99久久.www| 两性婷婷丁香五月| 国产人妻777人伦精品HD| 色5月婷婷色| 色五月丁香婷婷在线观看| tingtingzonghewang| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 91超碰在线观看| 婷婷五月激情五月丁香五月| 激情五月天色色色| 丁香五月九九| 免费人人操| 成人视频免费观看高清完整版在线观看| www.狠狠操| 99热思思| 五月天色综合| 婷婷成人基地| 国产精品电| 四川BBB搡BBB爽爽视频| 狠狠色综合五月人人| 丁香五月综合| 97高清国语自产拍| 7777国产盗摄农村女人| 五月天开心色色网| 99啪啪骑| 4399在线观看免费高清黄色视频| 丁香六月婷婷久久高清| 日本久久婷| 五月丁香六月婷| 日本久久婷| 九月婷婷久久| AV天堂淫乩| 亚洲激情高潮| 国产色五月| 五月天综合图片| 丁香五月欧美激情| 婷婷六月色开 | 色色色天堂网| 色婷婷五月色| 五月天激情综合网站| 开心深爱五月天| 午夜九九电影| 五月天婷婷7米| 婷婷 伊人 久久| 啪啪 综合网| 亚洲免费看片| 国精产品一区一区三区免费视频| 日本天堂网站99| 精品操逼一区二区| 五月婷婷色综图片| 五月花成人网| 天天日天天干天天操| 色婷婷狠| 九月丁香八月婷婷加勒比| 99久久偷拍视频| 国产精品视频免费看| 伊人婷婷青青cao| 色色丁香五月婷婷| 色偷偷色婷婷| 欧美成人AAA片一区国产精品| av在线免费播放观看| 婷婷综合网性| 五月天四色房丁香| 久久多色| 一级黄色片看看| 综合另类视频| 好激情在线综合网| 日本超碰在线| www。五月,com| av色婷婷| 夜夜爽天操| 大香蕉综合网| 性爱网六月丁香| 亚洲综合视频天天精品| 色99网| 久久精品这里只有精品免费首页| 色亭亭九月| 四虎成人精品永久免费AV九九| 五月丁六月香av| 蜜桃人妻无码AV天堂三区| 丁香五月色| 成人色图情色成人网 www.5b5b5bcom 五月天 | 人妻久久久久久| 久久性视频| 免费V片在线| 桃色Av色哟哟| www.射伊蕉婷婷| 欧美成人AAA片一区国产精品| 91疯狂操操操操| 色五月天成人在线| 婷婷五月天社区| 亚洲AV无码影院| 丁香五月激情六月综合| 综合久久99| 色九九七七| 五月丁香六月婷婷玖玖| 九九色精品| 色综合大香蕉| 国产这里只有精品| 激情五月天福利| 深爱五月天婷综合| 亚洲中文字幕av| 干一干xxxx| 久久黄色片| 成人av在线网| 亚洲综合视频一下| 婷婷在线播放| 99热6这里之有精品| 婷婷无码视频| 狠狠爱婷婷爱| 日韩人妻无码精品| 色婷婷天堂| 五月婷婷第四色| 91在线观看九区| 无码激情精品色婷婷久久久久| 久久九九色| 超碰人人干| 999热在线视频| 久久综合色五月| 色五月成人| 激情熟女网| 欧美丁香婷婷五月天| 夜色热久| 久久五月天激情| 人妻在线观看视频| 亚洲a色| 9l久久久视频| 深爱激情丁香| 久久9热| 人人干女人| 夜夜久久综合网| 五月婷婷丁香五月婷婷丁香| 婷婷五月18永久免费网站| 综合五月网| 九九色情网五月天| 色五月成人| 成人婷99最新| 五月综合久久| 丁香桃色综合网| 亚洲亚洲人成综合网络| 日本激情五月天‘| 五月婷婷综合性爱噜噜| 97干视频| 夜夜操夜夜爽| 超碰色热| 综合色色婷婷| 免费国产VA国产免费| 粉嫩AV久久一区二区三区| 婷婷五月天伊人网在线观看视频| 91主播在线| 日日干日日| 超碰成人免费| 9久热精品在线视频| 综合图区激情| 99九九99九九九视频精彩| 久久99热这里只有精品| 手机激情网| 五月开心啪啪| 六月婷婷五月丁香| 涩涩涩.com| 亚洲成人在线综合| 黑人糟蹋人妻HD中文字幕| 午夜婷婷五月天在线| 色色婷婷婷丁香五月天| 五月天婷婷小说| 精品久久久久久久人妻| 五月天丁香婷婷社区| 久久综合人妻| 九九九九这里只有精品| 日本三级日本三级99| 在线观看国产高清视频免费网站| 99久久6| www色婷婷| 婷婷在线网| 午夜丁香综合婷婷| 丁香激情六月天婷婷| 99内射视频| 丁香久久| 色情五月天丁香社区| 99在线爽| 开心五月婷婷婷美女| 无码日本精品XXXXXXXXX | 激情综合网五月| 丁香六月婷婷五月天| 996黄色片| 99久久99久久综合| 五月婷婷色播| 久久A V无码视频| www.激情.com.| www.色情五月天.com| 久草五月| 日韩成人网址| 99∨VTV| 热久久66| 婷婷,五月天,丁香,第一| av人人操| 狠狠干五月| 久久丁香五月天| 综合色影院| 丁香六月无码| 九九视频精品在线免费| 日本妈妈乱| 色婷婷69| 一起肏在线视频| 丁香五月婷婷国产av| 激情综合网五月天| 久99久视频| 五月丁香影视| 日本成人噜噜噜| 中文网av| 六月婷婷激情小说网| 久久九九免费大视频| 久久综合中文| 五月天久久www| 久久五月天免费网站| 西西4r午夜剧场| 操操操B| 在线观看免费视频| 99网| 91久久精品国产91性色TV| 综合五月天| 91精品综合久久久久久五月丁香| 丁香婷婷色色| 欧美三级欧美一级| 久久综合丁香| 91爱啪啪| 99热啪啪| 99在线观看精品视频| 丁香大香蕉| 91干视频| 久99视频在线观看| 六月色色| 久久久人妻| 亚洲色另类| 4399成人黄A片| 另类小说色婷婷| 丁香在线视频| 熟女人妻一区二区三区免费看| 狠狠干狠狠干| 日韩在线观看网址| 精品婷婷丁香五| 激情淫乱男女| 97色啪| 日本久久精品| 日本在线视频手机播放五月婷| 色五月丁香总合网| 丁香五月AV综合激情| 这里只有精品在线播放| 天天婷婷色六月| 五月激情小说| 538在线精品| 青草视频在线观看视频| 亚洲av另类在线观看| 美女伊人久久| 久久99久久99久久99人受| 久久网站免费亚洲| 开心五月丁香啪| 99免费热视频在线| 久久久com| 大地9中文在线观看免费高清| 欧美黄色一级录像| 日韩无码系列| 色色网站免费在线视频| 99性感视频| 六月天婷婷| 色五月激情网| 五月婷护士| 日本久久婷婷| 五月婷婷网久久| 第五色婷婷| 99热这里只有精品8| 国产一级视频a| 六月激情丁香一道本7777| 97精品综合久久| 九九九九九九九热| 综合久久综合久久| 色99综合色88| 91Chinese在线| 小视频一区 | www色哟哟| 超碰成人电影| 五月婷婷丁香色播网| 久操人妻| 五月婷久草| 久久九九视频网站| 日韩三级高清无码| A片试看50分钟做受视频| 久久天堂婷婷五月| 色。 日日日| 欧日韩成人| 99久久超级| 激情婷婷| 久久性爱视频| 五月综合激情啪啪啪啪啪| 亚洲色图45p| 六月五月婷婷| 91九色在线| 爆乳熟女一区二区三区爆乳| 五月激情基地| 国产超碰在线| 婷婷综合五月天| 99操逼| 最新高清无码专区| 丁香五月激情六月欧亚激情综合导航| 五月婷婷五月天在线| 99热这里都是精品| 丁香五月婷婷超碰在线| 五月丁香激情综合| 色婷婷啪啪综合网| 久久只这里有精品| 国产激情视频在线观看| 在线网黄| 永久免费一区二区三区| 另类图片五月天激情| 丁香久色| 99热精品在线观看| 思思久久99热| 91精品久久久久久| 9 99免费视频| XX色综合| 日本三日本三级少妇三级66| 亚洲99视频| 激情综合网激情五月天| 婷婷放心五日爱| 色五月天激情| 国产 亚洲 在线| www,色婷婷| 天天肏高清在线| 天天色视频| 青青草网武则天| 五月激情综合美女久久| 狠狠色婷婷综合开心影视| 丁香五月天激情小说| 国产午夜精品AV一区二区麻豆| av九九| 色婷婷五月综合| 人妻22p| 狠狠色婷婷7777久| 丁香五月激情宗合网| 91超级碰碰| 噜噜视频| 美臀自射自家人妻| www.色五月| 只有久久精品免费| www.丁香黄色五月天人与| 色五月婷婷啪啪五月| 五月婷三级片| 亚州操人在线视频| 六月色激情| 丁香五月婷婷AV| 亚洲av免费在线| 欧美人妻一区二区| 婷婷六月婷婷| 26uuu成人网| 天天艹夜夜艹| www.五月婷婷久久.com| 人妻av在线| 亚洲俩性性爱图片久久第六页| 国产精品久久久久久久久久久久| 亚洲 小说 欧美 激情 另类| 人妻视频一区而且二区| 五月丁香色六月激情干大屄| 原琪琪色影院| 激情五月天丁香| 久久99这里只有精品视频| 五月婷婷激情啪啪| 色婷婷丁香五月| 亚洲综合久| 亚洲妇女熟BBW| 狠狠五月天激情| 久久精品99久久| 成人丁香五月天| 五月婷婷综合网在线播放| 一级片操逼视频| 天天天操天天天日| 婷婷九月亚洲| 深爱激情五月天| 九九久热| 五月婷婷激情| 日本不卡高字幕在线2019| 丁香五月亚洲| 天天色图| 4438亚洲欧美| 婷婷五月天小说| 丁香五月天激情婷婷丁香六月 | 日韩六六久久电影| 久9精品| 99热日本| 丁香五月婷综合网| 久久9视频| chaopengdaxiangjiao| 丁香五月天激情综合| 激情小说五月天社区丁香| WW婷婷五月天com| 伊人玖玖网| 激情丁香五月婷| 91主播在线| 色九九综合| 五月天久久婷婷| 91狠狠综合久久久| 日本在线观看aaa 99| 激情五月天色色| 色五月首页| 丁香无月在线观看| 东北黄色一级| 99ER热精品视频| 五月色婷婷影院| 色婷婷色五月综合| 五月天丁香六月综合| 色综合婷婷99| 久久五月综合| 五月天偷拍| 99热综合在线观看| 婷婷丁香五月综合| 少妇婷婷五月天| caop视频| 五月丁香婷婷久久| 99er精品视频| 狠狠艹狠狠艹| 六月色播| 欧美色偷偷大香| 久久9热好| 日韩在线观看亚洲| 欧美久久婷婷| 婷婷伊人激情婷婷| 色婷婷五月天av在线| www.久久久久久| 亚洲日韩操B| www99热| 99久热| 日韩久热| 亚洲无码99| 激情www| 亚洲人人操BD| www.com操| 第四色色六月色综合| 五月婷婷国产| 九九九九中文字幕| 99ER热精品视频| 五月天激情小说| 丁香五月综合| 五月丁香色情| 色玖玖综合网| 开心深爱激情网| 99热国产这里只有精品| 激情综合网亚洲色图| 99在线精品观看99| www.久久99| 九月婷婷久久| 九九色色| 免费视频舔| 九九热在线观看6| 91久久久久久| AV激情五月| 99成人网一区| 五月天激情综合网俺也去| 久热婷婷| 色色日韩| 婷婷五月激情六月丁香| 青青热久久综合| 亚洲性图一区二区三区| 国产裸舞福利资源在线视频| 色婷婷五月天天天天天| 婷婷日| 五月丁香色狠狠干大屄| 六月五月婷婷| 久久婷婷六月综合综合色| 婷婷无码五月天| 色碰碰| 天天日天天干天天操| 五月丁香久久| 国产欧美日韩综合精品一区二区| 碰97 久| 亚洲天堂玖玖| 天堂久久性| 五月丁香综合| 午夜性爱影视一区77| 伊人久久五月天| 日本狠狠网| 久99视频| 国产XXXX搡XXXXX搡麻豆| 色香蕉婷婷| 久久宗合影| 五月婷婷丁香| 婷婷五月开心中文字幕在线| 六月丁香色婷婷| www.色综合.com| 婷婷五月天激情小说| 亚洲成人AV电影在线| 无码字幕中文| 丁香五月色网| 夜夜躁狠狠| 色色综合网络| 九九99九九99| 夜夜爽77777妓女免费下载| av一区二区电影免费在线观看| 九九亚洲视频| 色综合色综合婷婷热| 亚洲另类电影| 五月婷婷偷| 久久草婷婷丁香网站| 99热福利| 丁香婷婷久久综合在线| 国产免费一区二区三区三州老师F1F1.CC | 丁香五月激情视频在线| 婷婷婷婷婷婷婷五月丁香| 五月色网| 婷婷丁香色女人| 日韩欧美一级大黄网站| 色色婷婷综合网| 激情四射网| 玖玖色综合色| 99精品自拍| 久久婷婷五月天亚洲欧美| 五月丁香激情综合网| 超碰国产一区| 日韩好吊操| 噜噜噜久久| 亚洲日韩操B| 久久婷婷五月综合| 99热6色| 欧美电影在线播放| 日韩啪| 色婷婷久久综合丁香五月| 五月婷婷在线视频| 91九色中文| 天天日夜夜爽。| 婷婷五月av| 五月丁香婷草| 久久99性爱视频| 欧美黑人巨大性生话| 996er热| 激情五月天激情小说| 国产乱妇无乱码大黄AA片| 色婷婷啪啪啪啪啪啪| 婷婷成人小说综合| 丁香婷婷久久| 91九色国产| 天天干天天干天天| 婷婷五月综合中文字幕| 狠狠做五月婷婷| 久久9精品| 丁香五月婷婷天堂大香蕉| 久色国产| 曰韩少妇内射免费播放| 一区色色色色网| 99激情| 色婷婷无吗| 丁香六月天婷婷开心综合| 97在线精品| 99热大全在线观看| 色播六月| 日本天堂爱爱| 五月天啪啪啪| 国产亚洲99久久精品熟女| 五月丁香在线偷拍视频| 亚洲激情av| 婷婷六月激情小说网| 伊人99热| 色综合色五月| 成人在线不卡| 日本色图综合| 91丨九色丨熟女丰满| 97日本在线| 人妻久久久久久久| 丁香五月天亚洲综合| 欧美婷婷五月| 人人操9| 亚洲va在线| 亚洲av电影网站| 五月丁香花开综合网| 无毒黄色网址| 五月开心深深爱激情综合 | 人人干天天舔| 五月综合久久| 亚洲AV激情五月综合网| 国产精产国品一二三在观看| 精品无码色| 深爱五月天| 狠狠干青青草| 丁香五月激情五月色综合| 少妇人妻综合色6699| 日韩精品一曲二曲三曲四曲五曲| 丁香5月婷婷| 99热很操老逼| 午夜成人综合| 91狠狠色| 亚洲成人网站在线观看| 狠狠色综合777| j五月香在线| 色色色色色色色色网站| 伊人玖玖综合| 91se在线视频| 亚洲色婷婷婷婷人人爽| 婷婷丁香成人色综合| 国产偷人妻精品一区| 任你擦免费视频| 久久香蕉影院| 五月婷婷这里都是精品| 99精品丁香五月| 夜夜谢天天干| 97九色| 欧美搡BBBBB摔BBBBB| www.激情五月天| WWW.久久久久久久| 五月丁香激情啪啪| 天天色域综合网| 婷婷射综合| 9久久精品| 婷婷5月九九| 婷婷情色五月天| 99热精品在线播放| 九九99一区| 久九色| 超碰成人公开| 六月天婷婷| 丁香五月网络网络| 99操网站| 九九av| 五月婷婷我| 99免费热视频在线| 欧洲MV日韩MV国产| 色噜噜狠噜噜视频| www久久五月com| 成人网站高清无码| 婷婷伊人网| 色五月婷婷五月天激情综合| AV在线观看网站| 国产免费性爱| 婷婷的久久网站| 久久久五月婷婷| 婷婷色情网| se色婷婷视频| 亚洲天堂热| 色女伊人| 夜夜人妻五月天| 啪啪东京热| 大地资源色婷婷视频在线| 99色热视频在线| 五月色欧洲| 日韩一级A片黄色| 蒲京久久无码视频| 另类图片五月天| a久久| 六月丁香五月激情婷婷| 人妻AV在线| 精品一区二区三区三区| 欧美日本日韩| 亚洲视频二区| 99色色色色| 狠狠操天天操天天操| 丁香六月色婷婷| 丁香六月综合激| 99久久99综合| 亚洲综合五月天婷婷| 九九在线精品| 婷婷五月天论坛| 色久在| 久久女婷| 狠狠色丁香久久婷婷综合五月| 99精品偷自拍| 五月丁香在线| 九九RE视频在线精品| 熟女激情五月天| 日日做天天操夜夜爽| 99热综合在线| 香蕉狠狠爱视频| 丁香玖玖视频大全| 婷婷五月激情在线| 中字幕视频在线永久在线观看免费| 国产成人网| 伊人婷婷大香蕉| www.婷婷五月天| 婷婷五月天狠狠搞干| 天天cha成人综合网| 婷婷五月天777| 亚洲性受XXXX五月丁香| 婷婷射丁香| 六月丁香六月婷婷欧美| 久久 中文 日本| 久久久久久9热不雅视频| 精品人妻在线免费观看| 嫩草AV久久伊人妇女超级A| 亚洲成人免费电影| 香蕉婷婷| 丁香五月婷婷啪啪| www.五月天| 激情五月色婷婷| 99视频在线精品| 婷婷五月天伊人网| 天天插天天爽| 久久丁香五月婷婷| 99久久99九九99九九九| 三级三久久线久久99久目本WW| 亚洲日日日| 色婷婷丁香五月| 在线日韩视频| 97人人干| 97精品人人A片免费看| 成人午夜天| 99视频综合| 伊人影院久久网| 超碰成人AV| 日韩成人电影在线播放| 婷婷精品在线| 狠狠干五月天婷婷网| 激情五月天婷婷久久久久久久久久久| 99这里有精品久久97| 人人超碰99| 狠狠色狠狠鲁| 天天 青草 丝袜制服 在线| 色婷婷色情| 蜜桃五月天| 久久玖玖综合| 九九久久五月天| 极品人妻VideOssS人妻| 免费看欧美成人A片无码| 亚洲亚洲人成综合网络| BlACKEDRAW视频一区二区| 九九中文字幕九| 99热这里都是精品| 九热在线这里有精品6| 久久在线人妻| 婷婷色五月婷| 婷婷综合| 9精品久久999| 97人妻碰碰碰碰碰久久久久久| 色欲九区| 日本在线视频手机播放五月婷| 天天拍久久| 四月婷婷五月丁香| 91精品综合久久久久久五月丁香| 91碰碰碰| 变态另类色图| www.91久久| 久久在线人妻| 五月婷婷天堂| 强辱丰满人妻HD中文字幕| 欧美色偷偷大香| 色九月| 69色色视频| www色五月| 综合色在线| 色综合九九| 婷婷激情网五月天| 天天综合五月| 欧美日本韩国亚洲| 激情五月婷婷视频一区二区三区| 華人性愛AV在線| 婷婷五月天激情丁香| 91狠狠综合久久久| 丁香婷婷欧美综合| 无码啪啪| 久色国产| jiZZdr| 成人免费网站免费看| 激情综合网络插| 婷婷五月天激情开心网| 成人做爰A片免费看视频| 久久午夜丁香| 婷婷 激情 五月| 五月婷婷六月丁香| 国产精品色情AAAAA片软件| 先锋资源91| 国产在线另类五月婷婷| 超碰激情网| 五月婷婷 自拍| 99这里精品| 97亚洲婷婷| 碰碰人人人| 婷婷色五月激情| 婷婷射综合| 色婷婷第四色| 思思色综合网站| 99爱这里只有精品免费视频| 激情五月天色色色| 婷婷丁香五月激情图片| Av大香蕉| 激情婷婷五月天丁香| 色婷綜合网| 五月婷婷婷婷| 91丨九色丨熟女| 99视频这里只有精品10| 全部老头和老太XXXXX| 日韩亚洲视频| 超碰人人99| 精品自拍99| 天天干天天 亚洲| 爱射综合| 91操熟女| 亚洲婷婷欧美婷婷| 午夜丁香久久久久久| 五月情四婷婷| 五月婷婷丁香六月| 色婷婷久久综合| 成人网在线视频| 九九久久高清| 天天插,天天射| 久月久在线视频| 99色丁香婷婷综合网| 99这里只有精品|v| 色99热| 99在线免费视频播放| 99热99网| 激情图片五月天| 九九精品热| 五月丁香综合| 99热婷婷| 色99视频| 亚洲AV人人操| 色九亚洲| 婷婷人人操| 伊人婷婷大香蕉| 婷婷免费无马| 超碰超碰在线| 成人视频一区| se99视频| 婷婷五月天受日本法律保护| 久热99| 欧洲永久精品| 99亚洲精品| 色婷丨日丨天丨综合久久| 精品一二三区久久AAA片| 国产美女最新VA在线免费观看| 久久性爱99国产|