欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

夜鶯監(jiān)控+categraf:Linux監(jiān)控部署、配置與排障實(shí)戰(zhàn)指南

夜鶯監(jiān)控+categraf:Linux監(jiān)控部署、配置與排障實(shí)戰(zhàn)指南 做運(yùn)維這些年我越來越覺得“監(jiān)控”是件挺反直覺的事情你搭它的時候總覺得“沒多大必要”等線上真的出了事故、翻日志翻到懷疑人生的時候又開始后悔當(dāng)時怎么沒把指標(biāo)體系建得再細(xì)一點(diǎn)。尤其是Linux服務(wù)器一多CPU飆了、磁盤滿了、進(jìn)程悄悄掛了這種事靠人肉盯根本盯不過來。所以我想把最近在用的這套方案——夜鶯監(jiān)控加categraf采集器——從頭到尾梳理一遍包括部署、配置、常見問題排查和那些文檔里不太會寫的坑。如果你正準(zhǔn)備給團(tuán)隊搭一套能用、不折騰、還看得住事的監(jiān)控系統(tǒng)這篇文章應(yīng)該能讓你少走不少彎路。這套組合的核心邏輯其實(shí)很簡單categraf負(fù)責(zé)從各個Linux節(jié)點(diǎn)上采數(shù)據(jù)夜鶯監(jiān)控Nightingale負(fù)責(zé)存儲、展示、告警。categraf是夜鶯生態(tài)下的采集器但它本身也支持Prometheus協(xié)議、influxdb協(xié)議采集能力并不局限于夜鶯自家設(shè)備。你完全可以把它理解成一個更現(xiàn)代化的Telegraf或者node_exporter只不過配置方式、插件管理、數(shù)據(jù)上報方式都做了很多打磨。整條鏈路跑起來之后服務(wù)器的基礎(chǔ)指標(biāo)、中間件指標(biāo)、業(yè)務(wù)自定義指標(biāo)都能統(tǒng)一收口再配上告警規(guī)則誰出了問題一目了然。這篇文章主要面向兩類人一是剛接觸Linux系統(tǒng)監(jiān)控、想從零搭一套監(jiān)控體系的運(yùn)維新人二是已經(jīng)在用Prometheus或者其他采集器、但覺得維護(hù)成本偏高、想換一個更順手方案的進(jìn)階玩家。我會把架構(gòu)思路、安裝步驟、配置項含義、故障排查方法都講清楚盡量做到你是照著操作就能跑起來的程度。1. 監(jiān)控體系總體設(shè)計與組件分工在動手部署之前先把整體架構(gòu)捋清楚后面排錯才能有方向。很多人搭監(jiān)控喜歡“先裝上再說”裝上之后指標(biāo)出不來就懵了其實(shí)就是沒理解數(shù)據(jù)到底是怎么流動的。1.1 夜鶯監(jiān)控能做什么、和Prometheus有什么關(guān)系夜鶯監(jiān)控從產(chǎn)品形態(tài)上看是一個完整的可觀測性平臺覆蓋了指標(biāo)采集、數(shù)據(jù)存儲、可視化、告警通知這幾大塊。它早期版本直接兼容Prometheus的配置和概念比如你可以把Prometheus里的scrape_config遷過來也可以用PromQL查詢數(shù)據(jù)這就讓很多原本在Prometheus生態(tài)里做監(jiān)控的團(tuán)隊遷移成本很低。在v5之后的版本里夜鶯逐步做了自己的數(shù)據(jù)模型和告警引擎但核心思路還是“類Prometheus”指標(biāo)由采集器抓取或推送存儲進(jìn)時序數(shù)據(jù)庫再通過統(tǒng)一的查詢語言做展示和告警。和直接用Prometheus相比夜鶯的優(yōu)勢主要體現(xiàn)在兩端一是告警管理更貼近國內(nèi)團(tuán)隊的使用習(xí)慣內(nèi)置了值班、升級、靜默、聚合等功能二是有原生的大盤管理和用戶權(quán)限體系多人協(xié)作時不用自己再造一套。而且夜鶯的部署方式是“中心化”的服務(wù)端只需要部署一套所有agent上報到同一套后端規(guī)模上來之后維護(hù)成本不會線性增長。當(dāng)然這不是說夜鶯能完全替代Prometheus如果你現(xiàn)有的生態(tài)里已經(jīng)大量使用Prometheus Operator、各類exporter保留Prometheus做數(shù)據(jù)采集把夜鶯作為統(tǒng)一展示和告警入口也是常見做法。1.2 categraf在整個鏈路里的位置categraf在鏈路里扮演的角色簡單說就是“數(shù)據(jù)入口”。它跑在每一臺需要監(jiān)控的Linux機(jī)器上負(fù)責(zé)采集CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)、進(jìn)程、日志等指標(biāo)然后通過HTTP上報給中心端的時序數(shù)據(jù)庫。和傳統(tǒng)Telegraf相比categraf最讓我喜歡的一點(diǎn)是它原生支持多種上報格式既能以Prometheus格式暴露metrics端點(diǎn)又能直接推送到VictoriaMetrics、M3DB這類存儲還能兼容夜鶯自己的數(shù)據(jù)格式。這樣設(shè)計的好處是你不需要在采集層做格式轉(zhuǎn)換下游怎么方便就怎么接。categraf的插件體系也值得一提。它內(nèi)置了大量input插件像cpu、mem、disk、net、system、procstat、exec等都在其中。每個插件對應(yīng)一個配置文件放在conf目錄下的input.xxx文件夾里默認(rèn)都帶了一份示例配置你只需要按需打開或修改。這種“一個插件一個目錄”的設(shè)計比Telegraf那種集中式配置要直觀不少排查問題的時候直接看對應(yīng)插件的conf文件就行。1.3 這套組合適合什么場景我不是說所有監(jiān)控需求都應(yīng)該無腦上這一套但它確實(shí)很適合幾類典型場景。第一種是中小團(tuán)隊機(jī)器規(guī)模在幾十到幾百臺之間需要一個輕量、不依賴太多外部組件的監(jiān)控方案。第二種是已經(jīng)用了Prometheus、但告警和看盤管理比較痛苦、想讓開發(fā)和運(yùn)維都能方便地看到系統(tǒng)狀態(tài)的團(tuán)隊。第三種是想把“采集、存儲、告警、通知”完全打通不想在自己拼一堆開源組件之間做膠水層的團(tuán)隊。如果你們團(tuán)隊本身已經(jīng)有成熟的Prometheus Grafana Alertmanager鏈路而且運(yùn)行得很穩(wěn)定那其實(shí)沒有必要強(qiáng)行切換到夜鶯。但如果你正在選型或者對現(xiàn)狀不滿意夜鶯 categraf這套組合在易用性和完整度上確實(shí)是目前國內(nèi)開源方案里很能打的一個。2. 環(huán)境準(zhǔn)備與部署安裝好了架構(gòu)層面聊清楚了下面進(jìn)入實(shí)操環(huán)節(jié)。這部分我會按照服務(wù)端和客戶端分開講服務(wù)端負(fù)責(zé)存儲和展示客戶端就是categraf采集器。2.1 服務(wù)端準(zhǔn)備MySQL、Redis、VictoriaMetrics、n9e夜鶯服務(wù)端依賴幾個組件MySQL存元數(shù)據(jù)、Redis做緩存、VictoriaMetrics或M3DB等存時序數(shù)據(jù)最后是夜鶯自身進(jìn)程n9e。我這里以二進(jìn)制部署為例因?yàn)檫@種方式最容易理解各組件之間的關(guān)系排查問題也更方便。首先是MySQL。版本建議選5.7或8.0裝好之后創(chuàng)建一個獨(dú)立的庫比如數(shù)據(jù)庫名可以讓夜鶯初始化腳本自動建也可以手動建好再導(dǎo)入。不論哪種方式都要保證字符集是utf8mb4不然有些告警內(nèi)容或標(biāo)簽值會報編碼錯誤。Redis用默認(rèn)配置即可主要是給告警引擎和session用的如果服務(wù)端和Redis不在同一臺機(jī)器記得bind地址要改成內(nèi)網(wǎng)IP或者單獨(dú)配置訪問控制。然后是VictoriaMetrics。這個組件我強(qiáng)烈建議單獨(dú)部署不要和夜鶯進(jìn)程混在一起跑因?yàn)闀r序數(shù)據(jù)的寫入量比較大混在一起容易互相影響。VictoriaMetrics的單機(jī)版安裝非常簡單解壓后執(zhí)行帶storageDataPath參數(shù)的啟動命令即可。它默認(rèn)監(jiān)聽8428端口categraf會上報到這個端口。這里有個細(xì)節(jié)夜鶯是支持配置多個數(shù)據(jù)源的但默認(rèn)情況下的時序庫地址就是指VictoriaMetrics的寫入和查詢地址我一般會檢查一下夜鶯的etc/config.toml里Prometheus部分的配置是否和VictoriaMetrics實(shí)際端口一致。最后是n9e進(jìn)程本身。解壓安裝包之后通常需要導(dǎo)入數(shù)據(jù)庫表結(jié)構(gòu)再修改config.toml里的MySQL、Redis、時序庫連接信息最后啟動n9e訪問/health接口確認(rèn)服務(wù)正常。夜鶯服務(wù)端的初始化步驟官方文檔寫得很詳細(xì)但有一個細(xì)節(jié)容易漏如果你用的是MySQL 8.0要注意默認(rèn)認(rèn)證插件是caching_sha2_password老版本的Go驅(qū)動可能不支持建議在創(chuàng)建用戶時指定mysql_native_password。2.2 categraf客戶端安裝categraf安裝就更直接了。從GitHub或網(wǎng)盤拉取對應(yīng)CPU架構(gòu)的二進(jìn)制壓縮包解壓到指定目錄比如/opt/categraf。目錄里有兩個核心部分一個是categraf可執(zhí)行文件另一個是conf配置目錄。conf目錄下默認(rèn)有config.toml全局配置和一個叫inputs的目錄里面按插件名分了子目錄每個子目錄里放著相應(yīng)插件的配置文件。安裝完成后先別急著啟動先改全局配置里的幾個關(guān)鍵項一是上報地址也就是夜鶯服務(wù)端或VictoriaMetrics的地址二是采集器自身的主機(jī)名和標(biāo)簽這決定了你之后在夜鶯上看到這臺機(jī)器叫什么名字、帶哪些標(biāo)簽。我習(xí)慣上會把region、env這種通用標(biāo)簽打在全局配置里這樣在多機(jī)房或多環(huán)境混部的時候篩選起來特別方便。改完配置之后可以先用單次模式啟動一次驗(yàn)證配置是否正確。categraf支持直接運(yùn)行categraf --test這樣類似telegraf的測試模式它會采集一次數(shù)據(jù)并輸出結(jié)果。看到stdout里有一行行數(shù)據(jù)打印出來就可以把categraf注冊成systemd服務(wù)正式跑起來了。2.3 客戶端到服務(wù)端的連通性驗(yàn)證雖然這一步看起來很簡單但很多問題都出在這里。categraf啟動后如果配置的上報地址是VictoriaMetrics可以直接在服務(wù)器上執(zhí)行curl -s http://服務(wù)端IP:8428/api/v1/query?queryup來查一下有沒有這個采集目標(biāo)的數(shù)據(jù)。如果返回的結(jié)果是空的說明categraf的數(shù)據(jù)根本沒進(jìn)到存儲里。這個時候需要排查三層網(wǎng)絡(luò)通不通、端口通不通、數(shù)據(jù)格式對不對。網(wǎng)絡(luò)和端口層面主要是查防火墻和selinux。很多云服務(wù)器默認(rèn)安全組只放行了常用端口8428、17000這類監(jiān)控端口容易被漏掉。另外categraf上報如果走的是獨(dú)立agent端口還要確認(rèn)agent監(jiān)聽端口有沒有放行。數(shù)據(jù)格式層面的問題通常表現(xiàn)為categraf日志里報連接失敗或者返回非200狀態(tài)碼。這時可以把categraf日志級別調(diào)到debug它會打印出完整的HTTP請求地址和響應(yīng)碼很快就能定位是URL拼錯了還是鑒權(quán)沒過。3. 采集器核心配置與指標(biāo)接入安裝跑通只是第一步真正的重頭戲在于配置采集器讓數(shù)據(jù)符合你的監(jiān)控需求。這一部分我挑幾個最重要的配置項和插件展開講講覆蓋大部分人的日常所需。3.1 categraf全局配置詳解categraf的全局配置在conf/config.toml里。你打開這個文件最先看到的會是一個[global]配置段里面有hostname、labels、interval等參數(shù)。interval是采集周期默認(rèn)15秒如果你對實(shí)時性要求高可以改成10秒、5秒但要注意采集頻率提高之后對機(jī)器和時序庫的壓力也會加大建議從默認(rèn)值開始等需要時再調(diào)。接下來的[writer_opt]和[[writers]]配置段決定了數(shù)據(jù)往哪發(fā)。[[writers]]這里可以配置多個輸出端每個輸出端有url、basic_auth等字段。我們?nèi)粘S玫降膱鼍坝袃煞N一種是直接把數(shù)據(jù)寫到VictoriaMetrics的Prometheus協(xié)議接口另一種是寫到夜鶯的collector端再由夜鶯統(tǒng)一轉(zhuǎn)發(fā)。前者更直接后者多了一層緩沖和認(rèn)證。如果你用前者寫法類似[[writers]] url http://127.0.0.1:8428/api/v1/write # basic_auth [用戶名, 密碼]這里要特別提醒的是url末尾的路徑別寫錯。VictoriaMetrics兼容Prometheus remote write的接口路徑是/api/v1/write很多人習(xí)慣性寫成/api/v1/prom/write或者/api/v1/import導(dǎo)致數(shù)據(jù)一直寫不進(jìn)去。這個坑我踩過不止一次排查的時候繞了大半天才發(fā)現(xiàn)是路徑問題。另外全局配置里還有[log]段、[http]段、[aha]段。[log]控制日志輸出路徑和級別排錯時建議把level改成debug正常運(yùn)行時改成info或warn。[http]段可以開啟一個本地HTTP端口用來暴露categraf自身的運(yùn)行指標(biāo)和pprof信息。我一般會開啟這個端口后面排查采集器本身性能問題時非常有用。3.2 常用插件配置CPU、內(nèi)存、磁盤、進(jìn)程categraf的inputs目錄下每個插件子目錄里都有對應(yīng)的配置文件。幾個最常用的我分別說一下關(guān)鍵參數(shù)。CPU采集對應(yīng)的目錄是input.cpu主要配置是collect_per_cpu和collect_cpu_time這兩個布爾值。如果你只關(guān)心整體CPU使用率collect_per_cpu可以設(shè)為false減少指標(biāo)數(shù)量如果想看每個邏輯核的使用率就設(shè)為true。內(nèi)存采集對應(yīng)input.mem配置相對簡單基本沒有需要改的參數(shù)默認(rèn)采集的就是能直接用于畫圖和告警的內(nèi)存使用率、可用內(nèi)存等指標(biāo)。磁盤采集對應(yīng)input.disk和input.diskio。這里的坑稍多一是mounted fs類型要選對比如你不需要采集proc、sysfs、tmpfs這類虛擬文件系統(tǒng)二是ignore_fs或者mount_point的過濾規(guī)則要配置好否則會有大量重復(fù)指標(biāo)上報。我通常會把ignore_fs設(shè)成tmpfs|devtmpfs|overlay|squashfs避免出現(xiàn)一堆云主機(jī)里掛載的無意義文件系統(tǒng)。diskio那邊默認(rèn)采集所有塊設(shè)備如果機(jī)器上有很多云盤或loop設(shè)備指標(biāo)數(shù)量會偏大建議用devices過濾一下。進(jìn)程監(jiān)控是很多人會忽略、但實(shí)際很實(shí)用的一個插件對應(yīng)input.procstat。它可以按進(jìn)程名或者pid文件監(jiān)控具體進(jìn)程的運(yùn)行狀態(tài)、CPU、內(nèi)存、線程數(shù)、文件句柄數(shù)等。配置里最關(guān)鍵的是pattern字段用來匹配進(jìn)程名。例如監(jiān)控nginx進(jìn)程[[instances]] pattern nginx這個插件設(shè)置好了以后進(jìn)程“活著但端口掛了”“進(jìn)程起來了但CPU占用異常高”這類問題就能第一時間暴露出來。我還習(xí)慣配合一個exec插件做自定義腳本采集比如自定義采集某個日志文件大小、某個隊列長度、某個API的響應(yīng)時間categraf會定期執(zhí)行腳本并把腳本輸出的格式解析成指標(biāo)。這種方式擴(kuò)展性很強(qiáng)而且不需要重新編譯采集器。3.3 數(shù)據(jù)上報與指標(biāo)驗(yàn)證配置好插件之后重啟categraf服務(wù)等待一個采集周期然后去查詢數(shù)據(jù)確認(rèn)。如果數(shù)據(jù)直接寫到VictoriaMetrics可以用PromQL查詢驗(yàn)證比如curl -g http://127.0.0.1:8428/api/v1/query?querymem_used_percent返回結(jié)果里應(yīng)該能看到當(dāng)前機(jī)器的內(nèi)存使用率。這時再去夜鶯的“指標(biāo)查詢”頁面切到PromQL查詢模式輸入同樣的表達(dá)式如果也能查到那就說明鏈路已經(jīng)通了。如果夜鶯頁面查不到而VictoriaMetrics里能查到問題大概率在夜鶯的數(shù)據(jù)源配置或者時序庫地址不一致上如果兩邊都查不到回categraf日志里看是否有采集錯誤或上報錯誤。另外有一個小習(xí)慣我強(qiáng)烈建議養(yǎng)成給新增的采集指標(biāo)都配上host標(biāo)簽或env標(biāo)簽。很多人剛開始搭監(jiān)控時不注意標(biāo)簽規(guī)范化等機(jī)器多了以后查詢和告警里寫標(biāo)簽匹配規(guī)則時會特別痛苦。標(biāo)簽這玩意兒前期花半小時設(shè)計好后面能省無數(shù)個早晨。4. 告警規(guī)則與監(jiān)控面板采集器把數(shù)據(jù)送進(jìn)來只是基礎(chǔ)監(jiān)控系統(tǒng)真正產(chǎn)生價值的地方在告警和可視化。夜鶯在這兩塊的體驗(yàn)做得比較貼近用戶直覺我講講常用的配置思路。4.1 告警規(guī)則配置夜鶯的告警規(guī)則配置入口在“告警管理”模塊。新建告警規(guī)則時有幾個關(guān)鍵字段需要理解清楚規(guī)則名稱、PromQL、告警級別、執(zhí)行頻率、持續(xù)時間、通知組。PromQL是你首先要寫對的東西。比如想告警CPU使用率超過90%持續(xù)5分鐘表達(dá)式可以寫成cpu_usage_idle 10注意categraf的CPU指標(biāo)通常是cpu_usage_idle空閑率不是直接的usage率所以“使用率超過90%”要反過來寫。這個細(xì)節(jié)很多人沒注意直接寫cpu_usage 90發(fā)現(xiàn)數(shù)據(jù)永遠(yuǎn)是空的其實(shí)是字段名或者語義反了。執(zhí)行頻率和持續(xù)時間要配合好。我一般建議執(zhí)行頻率設(shè)置成一分鐘持續(xù)時間設(shè)置成5分鐘。這樣既不會因?yàn)樗矔r抖動頻繁報警也不會因?yàn)榈却龝r間太長錯過故障窗口。告警級別和通知渠道方面夜鶯支持接入釘釘、企業(yè)微信、郵件、Webhook等每種渠道都能綁定到不同的告警級別。實(shí)際操作時我把P0級別的告警同時發(fā)到電話/IM和郵件P2級別只發(fā)到IM群這樣可以讓緊急問題盡快觸達(dá)核心人員又不至于讓普通故障把大家手機(jī)震麻。還有一個容易被忽略的點(diǎn)是“告警恢復(fù)通知”。夜鶯默認(rèn)會在告警恢復(fù)后發(fā)送恢復(fù)通知這一項建議保持開啟。沒有恢復(fù)通知的話值班同事經(jīng)常得在告警群里猜“現(xiàn)在到底好了沒有”體驗(yàn)很糟糕。4.2 內(nèi)置大盤與自定義面板夜鶯自帶了一些官方大盤模板比如Linux主機(jī)監(jiān)控、MySQL監(jiān)控等。如果只是看基礎(chǔ)指標(biāo)直接用內(nèi)置大盤就夠了。但內(nèi)置大盤的布局不一定符合你團(tuán)隊的習(xí)慣我一般會再復(fù)制一份做調(diào)整。夜鶯的大盤編輯是所見即所得的模式新增圖表時核心還是PromQL比如展示CPU使用率趨勢100 - cpu_usage_idle變量面板功能也很有用比如給大盤設(shè)置一個host的變量然后圖表里用$host去過濾。這樣你一套大盤就能看所有機(jī)器不用每臺機(jī)器建一個面板。面板類目比較多的時候建議按“主機(jī)監(jiān)控、中間件監(jiān)控、業(yè)務(wù)監(jiān)控、告警統(tǒng)計”分組。分組清晰了新人上手找面板的成本會低很多。4.3 指標(biāo)保留周期與存儲策略存儲策略這塊很多人一開始不在乎等數(shù)據(jù)量大了才頭疼。VictoriaMetrics單機(jī)版默認(rèn)會保留所有數(shù)據(jù)如果不設(shè)置retentionPeriod參數(shù)磁盤會越用越多。建議在啟動VictoriaMetrics時加上-retentionPeriod3或者6單位是月根據(jù)自己的實(shí)際需求設(shè)置保存時長?;A(chǔ)監(jiān)控指標(biāo)保留3個月一般夠了如果要做趨勢分析、容量規(guī)劃可以保留更長時間但要確保磁盤容量足夠。另外要注意存儲目錄的磁盤空間監(jiān)控。時序數(shù)據(jù)在指標(biāo)數(shù)量大、采集頻率高的情況下增長很快如果磁盤滿了VictoriaMetrics寫入會報錯categraf的數(shù)據(jù)就開始積壓。我踩過一次磁盤寫滿的坑最后的教訓(xùn)是給監(jiān)控存儲單獨(dú)掛一塊盤并且把這塊盤的磁盤使用率納入基礎(chǔ)告警規(guī)則里誰滿了第一時間告警出來。5. 常見問題排查與實(shí)操避坑這一章我梳理一下實(shí)際操作里出現(xiàn)頻率比較高的幾類問題每個問題都按照“現(xiàn)象-排查思路-解決辦法”的格式寫方便你到時候直接對著查。5.1 啟動失敗與配置加載失敗categraf啟動時報錯最常見的是配置文件格式不正確。TOML格式對縮進(jìn)和引號的要求比較嚴(yán)格稍不注意就解析失敗。啟動時報錯信息里一般會指向具體的行號你直接打開對應(yīng)文件看那一行附近有沒有多了或少了引號、方括號。還有可能是某插件配置文件里引用了不存在的模塊名這時categraf會提示unknown input。解決辦法是進(jìn)入conf/inputs目錄仔細(xì)核對插件目錄名和配置文件里的type字段是否一致。另一種情況是systemd啟動失敗日志顯示沒有權(quán)限讀取某配置文件。這通常是因?yàn)閏ategraf運(yùn)行的workdir配置不對它內(nèi)部很多相對路徑是相對于當(dāng)前工作目錄的。如果用了systemd托管在service文件里要顯式指定WorkingDirectory/opt/categraf否則categraf會去當(dāng)前的默認(rèn)目錄下找conf自然找不到。5.2 數(shù)據(jù)不顯示從采集到查詢逐層排查這個問題發(fā)生的頻率排第一。一臺機(jī)器加了監(jiān)控結(jié)果夜鶯大盤上一個指標(biāo)都沒有怎么排查按照數(shù)據(jù)流方向逐層確認(rèn)第一步確認(rèn)categraf進(jìn)程正常。執(zhí)行systemctl status categraf或者直接看進(jìn)程列表。如果進(jìn)程不在回看啟動日志。第二步確認(rèn)categraf有沒有采集到數(shù)據(jù)。用--test模式手動跑一次插件看看是否有指標(biāo)輸出。第三步確認(rèn)數(shù)據(jù)有沒有上報??碿ategraf日志里有沒有write error或者網(wǎng)絡(luò)超時的記錄或者到VictoriaMetrics的接口上查一下最近時間戳有沒有新數(shù)據(jù)寫入。第四步確認(rèn)夜鶯查詢鏈路。在夜鶯的指標(biāo)查詢頁面用裸指標(biāo)名查詢查看是否返回數(shù)據(jù)。如果裸查詢有數(shù)據(jù)但面板上沒數(shù)據(jù)就檢查面板的PromQL表達(dá)式和變量過濾是否正確。實(shí)際上很多“數(shù)據(jù)不顯示”的問題最后定位出來都是標(biāo)簽過濾條件寫多了面板的變量host選了A而指標(biāo)上的host標(biāo)簽是B自然查不到。這種情況不是監(jiān)控壞了是查詢條件不一致。建議新手在排查這類問題時先不加任何過濾條件查原始指標(biāo)等看到數(shù)據(jù)了再逐步添加條件一步步縮小范圍。5.3 網(wǎng)絡(luò)與防火墻問題導(dǎo)致的寫不進(jìn)去categraf日志里如果反復(fù)出現(xiàn)connection refused或者timed out多半是網(wǎng)絡(luò)層面的問題。先ping一下服務(wù)端IP再telnet一下目標(biāo)端口。如果是云主機(jī)除了系統(tǒng)防火墻還要檢查安全組如果是物理機(jī)檢查iptables規(guī)則。還有一個我經(jīng)常踩的坑服務(wù)端VictoriaMetrics監(jiān)聽的是127.0.0.1而不是0.0.0.0導(dǎo)致客戶端根本連不上。這個可以通過ss -lntp來確認(rèn)確保監(jiān)聽地址是0.0.0.0或者內(nèi)網(wǎng)IP。另外要注意HTTP代理的影響。有些服務(wù)器設(shè)置了http_proxy環(huán)境變量categraf的上報請求有可能走了代理而代理又不通內(nèi)網(wǎng)地址。這種問題表現(xiàn)得很隱蔽日志里看著是網(wǎng)絡(luò)超時但服務(wù)端和客戶端本機(jī)網(wǎng)絡(luò)都正常。解決辦法是在啟動categraf的systemd服務(wù)里取消代理環(huán)境變量或者在配置文件的網(wǎng)絡(luò)相關(guān)部分明確不走代理。5.4 告警沒有觸發(fā)或者重復(fù)告警告警配置好了但不觸發(fā)先檢查PromQL在夜鶯查詢頁面能不能查出數(shù)據(jù)。如果查詢有數(shù)據(jù)檢查告警規(guī)則里的“持續(xù)時間”設(shè)置持續(xù)時間是5分鐘意味著指標(biāo)連續(xù)5分鐘都滿足條件才告警中間任何一次恢復(fù)到正常都會重新計時這是很多新人困惑的地方。如果查詢沒數(shù)據(jù)那說明告警對象本身就沒有指標(biāo)需要回到數(shù)據(jù)采集層面排查。重復(fù)告警也很常見。夜鶯默認(rèn)會對同一規(guī)則的同一告警對象做去重但如果你配置了多個告警規(guī)則同時匹配同一指標(biāo)或者通過夜鶯的“內(nèi)置指標(biāo)”和自定義指標(biāo)重復(fù)配置了相似的規(guī)則就會造成告警風(fēng)暴。解決辦法是定期梳理告警規(guī)則保持規(guī)則盡量精簡。再補(bǔ)充一個告警靜默的場景某臺機(jī)器做計劃內(nèi)維護(hù)導(dǎo)致CPU持續(xù)飆高這時與其關(guān)掉告警規(guī)則不如給這臺機(jī)器添加一個靜默策略。夜鶯支持按機(jī)器標(biāo)簽設(shè)置靜默時間段時間到了自動恢復(fù)不會出現(xiàn)“維護(hù)了三天、忘了開告警第四天才能發(fā)現(xiàn)”的尷尬局面。6. 從量到質(zhì)監(jiān)控體系的優(yōu)化心得平臺跑起來、告警響起來之后工作還沒完。我在實(shí)際運(yùn)營這套系統(tǒng)的過程中慢慢總結(jié)出幾條經(jīng)驗(yàn)寫在這里供你參考。6.1 資源占用與采集頻率的平衡categraf本身用Go寫的資源占用很小在普通2C4G的機(jī)器上默認(rèn)配置下CPU占用通常在1%以內(nèi)內(nèi)存占用在100MB左右。但是當(dāng)你啟用了大量插件尤其是procstat、exec這類需要反復(fù)掃描系統(tǒng)信息的插件時資源占用會有明顯上升。我建議在上線之前在測試機(jī)上看一下top輸出確認(rèn)categraf的CPU和內(nèi)存占用是否符合預(yù)期。如果采集頻率比較激進(jìn)比如5秒一次而且同時開了很多插件可以考慮把頻率放寬到10秒或15秒這通常不會對告警及時性造成明顯影響但能顯著降低負(fù)載。還有一個容易忽略的資源點(diǎn)是文件句柄數(shù)。categraf會打開很多設(shè)備文件、socket連接如果機(jī)器ulimit設(shè)置得過低運(yùn)行時間長了可能報too many open files。建議在systemd服務(wù)文件里設(shè)置LimitNOFILE65535或者更大。6.2 資產(chǎn)梳理與標(biāo)簽規(guī)范隨著機(jī)器數(shù)量增長你會發(fā)現(xiàn)標(biāo)簽規(guī)范化是監(jiān)控系統(tǒng)后期最重要的資產(chǎn)。每一臺機(jī)器上報的數(shù)據(jù)都應(yīng)該帶有固定的標(biāo)簽機(jī)房、環(huán)境、業(yè)務(wù)線、角色。比如一臺Web服務(wù)器標(biāo)簽可以設(shè)計成idccn-east-1, envprod, serviceweb, rolenginx。這樣在做聚合和過濾的時候一條PromQL就能快速圈定范圍。標(biāo)簽規(guī)范建議在第一次部署時就定好并且要求所有新增機(jī)器嚴(yán)格遵循。我在實(shí)際工作中見到太多團(tuán)隊因?yàn)闆]有規(guī)范后面寫告警篩選條件時只能靠機(jī)器名模糊匹配效率極低。還有一點(diǎn)categraf全局標(biāo)簽和插件獨(dú)立標(biāo)簽不要互相覆蓋改動標(biāo)簽時先想清楚會影響哪些存量告警規(guī)則避免一改標(biāo)簽告警全失效。6.3 最后一點(diǎn)個人經(jīng)驗(yàn)說實(shí)話監(jiān)控系統(tǒng)這個東西搭建只是開始后面大量的時間其實(shí)是花在“規(guī)則調(diào)優(yōu)”和“數(shù)據(jù)質(zhì)量治理”上。我的體會是不要追求一次把所有指標(biāo)都采全、把所有告警都配上而是先鋪一個最小可用集合CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)、關(guān)鍵進(jìn)程。跑一段時間觀察哪些告警是有價值的、哪些是噪音再逐步增加更多的中間件和業(yè)務(wù)指標(biāo)。先把鏈路弄通再慢慢做厚這個路徑是最穩(wěn)的。我還習(xí)慣在夜鶯上建一塊“告警統(tǒng)計”大盤用來匯總每天、每周的告警數(shù)量、Top告警對象、告警恢復(fù)耗時。通過這個大盤能比較直觀地發(fā)現(xiàn)哪些機(jī)器總是出問題、哪些告警規(guī)則一直在吵但沒人處理然后定期做一輪治理。監(jiān)控不是用來“嚇人”的它是幫你提前發(fā)現(xiàn)風(fēng)險的信號系統(tǒng)。希望這套夜鶯加categraf的方案能讓你在遇到故障的時候少一點(diǎn)手忙腳亂多一點(diǎn)從容排查的底氣。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
激情五月天小说| 99在线观看视频| 久色精品| 国产精品色色色色| 日本系列_4页_777FP| 天天拍天天操| 综合伊人久久| 天天碰天天插天天操| 狠狠色婷婷7777久综合| 国产人妻777人伦精品HD| 999影院成人在线影院| 69精品人人人人人人| 成人av免费观看| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 亚洲中文乱字字幕在线永久| 夜夜干天天干| 亚洲性色XXXXX| www,久久久人人| 五月婷婷AV| 秋霞影音91人妻久久| 98永久精品| 日韩丰满少妇无码内射| 高清无码视频网址| 亚洲美女高潮久久久久久69| 五月激情黄色小说| 色婷婷激情小说网| 婷婷伊人无码| 久久伦乱| 九月丁香八月婷婷加勒比| www.夜夜操| 99噜噜噜在线播放| 五月丿香啪啪| 一起操最新网址| 九九久久综合| AAA久久| 五月激情精品视频| 欧美天天五月丁香免费观看| 婷婷欧美偷拍综合| 九九色播五月丁香| 五月丁香久久综合色| 超碰人人在线| jiZZdr| 狠狠操狠狠做| 99热这里只有精品98| 99噜噜噜| 久99热在线观看| 中文字幕丰满乱孑伦无码专区 | 狠狠艹狠狠艹| 综合激情五月四射婷婷| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 五月天丁香成人| 婷婷综合中文| 丁香六月婷婷操逼网| 五月婷婷色| 99热在线精品观看| 大香蕉大香蕉在线影院| 99热大| 五月婷婷香蕉| 日韩欧美性爱| av操B网站| 色99色| 大香蕉伊人久久| 五月天成人综合| www.婷婷,com| 五月激情六月婷婷| 丁香五月日啪| 激情合网婷婷| 亚洲欧美国产高清vA在线播放| 久久黄色免费视频| 九九久久综合网站| 无码区婷婷五月花开| 狠狠干夜夜干| 99亚洲天堂| 激情五月婷婷综合| 婷婷五月天堂| 婷婷伊人| 热91久| 风流少妇A片一区二区蜜桃| 开心激情婷婷| 伊人九九九久| 欧美色色色色色| 色五月婷婷影视| 婷婷色六月| 五月婷久久草| 久久久久久久综合狠狠综合| 五月丁香六月婷婷综合伊人| 婷婷五月天成人网站| Va另类视频| 91人妻视频| 亚洲五月天色色| 超碰啪啪网| 九9九9无码| 99色精品| 久久6这里只有精品| 中文不卡一二三区| 亚洲免费婷婷| 九九99在线免费在线观看视频| 99亚州综合精品成人网| 婷婷99视频在线| 色婷婷播放| www:99热视频| 亚洲色色在线| 婷婷婷婷婷开心无码播放| 色J香五月天| 九九热精品| 久月婷婷| 五月婷狠狠| 丁香六月婷婷开心婷婷网| 色综合大香蕉| 五月丁香狠狠| 激情五月天网| 国产精品国产| 色狠狠综合网| 五月婷婷六月丁香综合| 万月丁香狠狠爱| 国产肥白大熟妇BBBB视频| 狠狠干狠狠操狠狠爱| 免费成人中文字幕| 九九热再线九九视频免费在线观看 | 玖玖资源站蜜臀| 九九婷婷综合| 久久人妻少妇嫩草AV| 99综合成人视频在线观看| 99在线视频免费| 超碰99热| 亚洲在线播放| 亚洲成人电影aaaa| 四色五月婷婷| 新激情婷婷| www.91婷婷| 五月天色婷婷视频| 激情婷婷六月天| 日韩AC在线免费观看| 99碰网站| 激情小说视频图片| 天天躁日日躁狠狠躁日日躁2022年5月9日 | 99在线综合视频| 99精品视频在线观看免费| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 五月婷婷黄色毛片| 日本熟妇人妻在线| 六月天婷婷| 香蕉中文在线| 婷婷五月天在婷| www.久久久久久久| 色婷亚洲五月丁香| 婷婷色5月激情网| 91综合国免费久入| 亚洲无aV在线中文字幕| 人人爱人人摸人人澡| 热久久这里只有精品| 屁股翘好撅高迎合跪趴| 思思热久久阴99| 激情网第四色| 亚洲精品又粗又大又爽A片 | 这里只有精品视频视频在线观看| www.超碰在线| 婷婷无码视频| www.色婷婷.com| 久久婷婷六月综合国际| 5月丁香婷婷| 91干视频| 久久久久久久久久久44| 日本婷婷| 国产免费av在线| 草做免费在线观看| 五月婷婷 婷婷五月 一区二区 久久久| 久99热| 五月天色不卡| 91嫩草久久| 中国激情网| 精品9197碰| 丁香五月色色| 99熟女| 色婷婷色综合激情91| 这里只有精品免费视频在线观看| 永久天堂日本| 九九视频这里只有精品| 久久婷婷六月综合综合| 伊人五月天婷婷| 免费做A爰片77777| 色婷婷色五月丁香| 91a片爽| 五月天开心婷婷久久 | 超碰日韩人妻在线| 99这里只有精彩视频| 婷婷爱五月天| 婷婷色五月综合丁香| 97精品综合久久| www.yw色| 丁香五月婷婷啪啪| 久久6这里只有精品| 色婷婷狠狠18禁| 噜噜色五月| 狠狠搞狠狠操| 国产黄色一级片| 午夜丁香婷婷| 大香蕉久久草| 亚洲激情五月| 免费观看的AV| 91av视频在线观看最新网址| 99re视频在线播放| 91丨九色丨东北熟女| 26uuu亚洲| 五月天色播网| 综合久久十三| 久久性刺激| 七七九色| 欧美激情综合| 第四色婷婷色五月| 成人啪啪色婷婷久| 激情婷婷六月天| 精品99久久久久成人网站免费| 五月婷婷狠天天色综合| 风流少妇A片一区二区蜜桃| 全国最新疫情| www,com,五月色色| 丁香五月电影| 婷婷五月丁香激情色情| 丁香婷婷综合影院| 亚州色婷婷| 婷婷六月丁香在线| 永久天堂日本| 九九性爱网| 在线婷婷| 久久五月婷| 九九爱看亚洲| 欧美图片丁香五月天| 九九免费视频| 看国产探花操逼三级片| 99热婷婷| 日本eVa一区=区视频| 天天干天天干天天干天天干天| 丁香五月婷婷婷桃花影院| 香蕉婷婷色五月| 色综合激情| 人妻丰满精品一区二区A片| 色丁香婷婷| 色v综合网| 久久五月丁香综合17C| 久久97久久99久久综合欧美| 亚洲视频操| 婷婷五月天激情偷拍| 欧美日韩色色| 亚洲1区| 亚洲综合婷婷六月丁香五月| 久操大| 91碰碰| 自拍盗摄 另类| www.婷婷五月天.com| 精品香蕉99久久久久网站| 日韩在线婷婷五月天综合| 日本啪啪天堂| 婷婷久久图片| 久久se 综合网| 婷婷九月激情| 亚洲色优| 色五月天激情| 久草热久草在线视频| 久久婷婷五月草视频在线播放| 色婷婷女优有码五月亭| 在线播放人妻| 久久久中文| 天天日天天摸| 人人爱人人添| 久久狠色噜噜狠狠狠狠97| 午夜丁香综合婷婷| 激情碰碰碰| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 狠狠狠狠狠狠| 色欲婷婷五月天| 丁香五月无码| 色情激情五月| AV天堂淫乩| 激情五月,激情综合网| 风流少妇A片一区二区蜜桃| 婷婷五月天激情电影| 开心五月丁香啪| 色999亚洲人成色| 色婷婷激情五月天| 97在线视频 欧美| 五月激情婷婷在线| 丁香六月婷婷综合激情欧美| 狠狠色噜噜狠狠狠狠综合| 九九热再线九九视频免费在线观看 | OYIWbGcPu8H| 国产亚洲在线| 五月天伊人| 久久婷婷五月天| 天天操综合网站| 人色五月天婷婷| 操操碰| 非洲一级AV| 9一精品视频观看| 日本操B视频| 网站免费一站二站| 色情五月综合婷婷| 五月婷婷丁香六月| 婷婷久久五月天| 操碰99| 五月丁香网站| 夜色综合网| 日韩精品在线观看9| 99热综合| 国产免费性爱| A短视频免费在线观看| 亚洲视频在线观看| 婷婷色色欧美综合网| 国产精品国产成人国产三级| 69精品人人人人| 伊人91| 婷婷五月天久久久| 97操碰| 丁香五月激情综合| 五月丁香婷婷成人网| 99热这里是精品| 色五月综合网| 日日.c| 狠狠色狠狠操| 日韩一区二区A片免费观看| 91精品综合久久久久久五月丁香| 久久激情五月网| 久久久er热| 丁香综合婷婷开心激情网| 免费黄色片子| 超碰av天堂| 大香蕉狼人久久| 丁香五月婷婷亚洲色图| 五月天综合| 久久婷婷色综合| 婷婷色中文字幕| 深爱五月月天| 亚洲激情区| 97在线干| 激情婷婷色色| 色色婷五月天| 大香蕉AV电影在线| 97日在线视频| 成人在线网址| 嫩草AV久久伊人妇女超级A| 色五月激情五月| 99人妻碰碰久久久禁片| 四川操逼站| 亚洲av成人在线| 五月婷婷深深爱爱| 色99网| 99热国产这里只有精品| 国产在线中文字幕| 五月天婷婷婷| 97色婷婷五月天| 色五月丁香五月激情五月激情| 六月丁香成人| 久久这里都是精品| 色九区| 日韩熟女啪啪视频| 97操在线视频| 99热在线这里只有精品| 区美毛片子| 激情综合网五月婷婷| 五月婷婷电影院| 国产激情综合五月久久| 欧美人人超级碰| 丁香婷婷啪啪| 五月婷婷自拍视频| 五月天婷婷色综合| 欧美六月婷婷| 99热99ai| 六月婷婷色综合| 激情综合婷婷| 亚洲成AV人片在线观看| 九九热这里只有精品5| 青青草视频福利| 丁香五月婷婷AV| 成人无码髙潮喷水A片| 婷婷五月激情综合啪啪| 色五月在线| 丁香五月婷婷五月| 欧美婷婷色| 任你擦免费视频| 操逼123网| 久久久婷婷婷| 日本视频欧美观看免费| 丁香五月亚洲综合| 久久伊人9| 91超级碰碰| 色婷婷啪啪| 丁香五月成人论坛| 九九热超碰| www.久久99精品| 丁香啪啪| 色情丁香五月婷婷精品| www.玖玖婷婷在线| 色婷婷中文| 99在线视频播放| 狠狠狠狠狠草| 六月丁丁香| 97在线视频人妻九色| 99操逼| 亚洲婷婷五月天| 色情婷婷。| 丁香五月开心婷婷| 婷婷五月花.97| 日韩好吊操| 久久婷丁香五月| 97爱艹婷婷开心丁香激情综合| 婷婷五月天中文字幕| 99精品久久久久久久婷婷久久| 丁香五月婷婷影院| 淫视馆AV在线| 五月 成人 婷婷| 涩玖玖免费视频| 五月丁香激情深爱婷婷| 七月丁香婷婷 色色| 99热欧| 日韩欧美一级大黄网站| 中文字幕精品在线观看| 99熟女啪啪视频| 亚洲激情五月| 九九这里都是精品| 97日日碰碰| 日日操,夜夜爽| 这里只有精品视频在线| 国产乱码久久| 少妇综合网| www.99在线| 亚洲激情综合网| 欧美性久| 4399在线日本A片| 亚洲XX网| 欧美色图天堂网| 日日干天天射| 人妻久久久| 成人五月天丁香| 婷婷丁香宗合888| 5月婷婷6月六月丁香| 97色射| 五月天色网站| 五月天婷婷丁香人人操91| 26uuu亚洲精品国产| 欧美A片在线视频免费观看| 婷婷综合激情五月综合| 色婷婷播放| 婷婷五月天狠狠| 国产三级在线播放| 免费亚洲婷婷| 婷婷五月天堂| 天天爽天天干| 婷婷在线午夜| 久操香蕉| 噜噜噜久久| 国产成人高清| 亚洲AV成人在线| 色9色| 色欲天天综合网| 丁香五月狠狠在线观看| 91色综合网站在线| 五月色影院| 九九色大香蕉| 久久激情视频| 性天天中文网| www98日本小时间到了| 九九热精品视频| 丁香婷婷免费| 一级性感毛片| 五月天啪啪啪| 六月激情婷婷综合| 婷婷新网址| 97婷婷丁香| 99热线观看9| 这里只有精品视频99| 亚色网站小视频| 久久久久久久久久久久久久久久一道本| 五月天天爱| 久草A片| 夜夜夜叫天天天做| 日韩久综合| 欧美成人A片AAA片在线播放| 色天天综合成人网| 免费黄色AV| 五月丁香综合| 婷婷成人视频| 五月婷婷成人网首页| 欧美色偷偷大香| 曰曰久久| 五月婷AV| 成人五月天综合网| 玖玖综合色区在线观看| 久久99精品久久只有精品| 婷婷激情综合网| 激情伊人网| 五月丁香六月| 婷婷五月激情欧美| 激情五月少妇| 丁香五月天信号| 九九热青青草| 丰满少妇乱A片无码| 丁香五月成人| 综合图区激情| 色婷婷AV在线| 日本在线观看aaa 99| 色99网站| 天天干,天天日| 我爱宗和色| 久久久久99精品成人网站| 办公室少妇激情呻吟A片在线观看| 深爱激情综合网| 久久久久久久久久久久久久人妻视频 | 久久视频婷婷视频| 91超碰人人操| 伊人大香蕉在线视频| 99色婷婷| 亚洲激情网| 激情五月婷婷色色| 六月婷婷色综合| 这里只有精彩视频| 丁香六月无码| 五月色欧洲| 婷婷激情人妻| 777久久久| 色噜噜丁香| 超碰在线人妻| 99精品性爱| 五月婷婷影院| 五月天综合视频网| 开心五月婷婷在线| 五月丁香综合久久| 九月丁香婷婷综合激情| www.91色| 婷婷丁香色情| 六月婷婷色色色| 日韩不卡123| 精品一二三区久久AAA片 | 久久九网| 艹B高清无码| www.丁香五月| 久久婷婷视频| 99久久网站| 黄网免费看| 婷婷五月天在线视频网站| 综合视频五月| 久热最新视频 | 激情五月天色| 区区久久妻| 97操碰视频| 色五月婷婷91| 操日视频| 五月婷激情影院| 色婷婷影| 99精品一二三四视频| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 丁香五月天堂网| 六月婷婷色综合| 五月丁香婷婷色| 五月丁香影院| 亚洲激情久久| 5月婷婷激情6月| 久久视频婷婷视频| 丁香5月啪啪| 色五月丁香婷婷综合| 五月丁香激情综合欧美| 色丁香婷婷美女视频网站| 97婷婷丁香五月天激情图片| www.天天色综合| 五月婷婷色播视频| 日本婷婷丁香五月| 青青草视频福利| 啪啪五月天啪啪| 狠狠操天天操天天操| 99久久综合网| 五月深爱激情网| 欧美人妻一区二区| 97色婷婷五月天| 思思 热 99| 人人草人人看| 九九aV| 久久激情网| 久久免片| 九色PORNY9l原创自拍| 久热这里只有精品6| 天天色亚洲| 婷婷五月天成人网| 亚洲欧美日韩另类| 天天色丁香| 五月天激情播播网| 日日艹思思热| 婷婷五月天久久| 综合色久| 超碰丁香五月| 色99在线| 五月婷婷婷婷婷| 免费观看的av| 99这里只有精品| 婷婷五月天淫荡| 久久新地此| 亚洲综合在线伊人婷| 狠狠色婷婷丁香六月| 五月丁香六月婷婷视频| 久久草大香蕉| 新激情婷婷| 久久精品99久久久久久| 五月综合777| 五月婷婷在线视频| 色婷婷丁香五月| 久草婷| 五月激情综合网| 五月丁激情| 99热免费| 丁香五月在线观看| 91碰操| 亚洲操操| www.com五月天| 激情丁香五月| 97五月婷婷| 五月丁香999| 激情五月六月| 免费无码毛片一区二区A片| 欧美日韩成人在线免费| 五月丁香色五月| 色婷婷日本| 99网| 色综合区| 情趣视频66| 五月天婷婷色色| 嫩草视频观看| 中文字幕 久久9999| 综合久久影院| 色婷婷AV在线观看| 婷五月天在线草| 五月天丁香久久| 五月天婷婷综合色| 开心深爱五月天| 99综合网| 丁香婷婷五月激情四射网| 99视频这里只有免费精品| 久久这里只有精品99| 国外亚洲成AV人片在线观看| 色情综合| 五月 激情视频| 一本久久婷婷| 色婷婷五月天激情综合| 日韩色色视频| 色婷婷成人网| 狠狠狠狠狠干| 色综合9| 色狠狠伊人久久五月丁香| 五月天大香蕉| 五月婷六月| 99热在线只有精品| 久777| 色久婷婷网| 日日天天干| 操逼六区| 啪啪色区| 欧美日韩国产伦精品日韩人妻一| 51avj视频大全| 国产,欧美,学生妹,视频| 五月婷婷色播视频| 九九婷婷网五月天| 色婷五月| 热99在线精品| 97久操视频| 激情五月丁香六月综合AVXXXX| 亚洲精品V天堂中文字幕| 99er这里只有精品视频| 色色色色色色网站| 秋霞免费三级片| 婷色五月天| 182TV亚洲| 五月天淫乱视频| 激情久久网 | 成人在线99| 婷婷在线免费| 综合色五月| 啊V视频在线观看| www.91操| 人妻自慰在线| 五月天社区| 色爱综合网| 99热都是精品| 久久多色| 久久99网| 色久婷婷网| 狠狠精品干练久久久无码中文字幕| 国产五月丁香在线| 精品人妻伦九区久久AAA片| 天天日夜夜B久久| 无码日本精品XXXXXXXXX| 婷婷九月激情| 婷婷综合中文| 天天爽夜夜爽夜夜爽精品视频| 97超碰欧美中文字幕| 丁香五月天激情综合| 超碰资源在线| 色噜噜狠狠色综合日日| www.夜夜夜| 九九色网专区| 丁香婷婷基地| 五月丁香性爱| 91Chinese在线| 五月丁香激情综合网官网| 青青久久五月| 五月天成人综合| 99热这里| 双性美人被调教到喷水A片| 五月丁香六月婷婷综合伊人| 日本在线wwww| 天天色播| 精品国产va久| 99资源人人| 丁五月激情视频免费| 五月丁香久久综合| 人人艹艹艹| 欧美成人性爱网| 婷婷午夜丁香| 高潮毛片又色又爽免费| 天天精品视频免费观看| 五月天丁香网| 大香蕉 婷婷| 999久久久国产精品| 九九热这里只有精品首页| 婷婷伊人网| 丁香五月开心五月激情| 99精品热视频| 91色呦哟| 色99自拍| 99九九视屏| 在线观看亚洲视频影院| 国产人妻人伦精品一区二区| 六月丁香六月婷婷欧美| 色区久久| 婷婷五月娱乐在线| 丁香五月天之婷婷影院| 丁香五月婷婷在线观看| 激情四射五月天偷偷看婷婷| 伊人久热91| 综合色色婷婷| 亚洲夜夜操| 婷婷99狠狠躁天天躁| 99riAV成人在线视频| 日本三级黄色大片| 噜噜噜久久亚洲精品国产品91| 操97| 激情精品久久| 五月丁香影院| 丁香婷婷六月| 伊人婷婷色激情丁香| 日韩九区| 激情婷| 日韩一级一片内射视频4K| 91一起操| 97欧美在线| 天天日夜夜帕| 激情综合网激情五月欧美| 婷婷丁香69精华| 99色久| 老师高潮流白浆喷水的A片| 色久天| 久久九九国产精品怡红院| sewuyue第四色| 色婷婷丁香五月天| 天天干天天曰天天射| 色五月丁香com| 六月激情婷婷| 丁香五月AV| 狠狠撸激情综合丁香五月天俺来啦| 丁香婷最新动态| 91久久五月天| 六月丁香激情| 色色色色色色色色色色色色色色,网站| 日日夜夜天天| 大香蕉伊人久久| 日韩在线观看亚洲| 天天做夜夜爽| 中文乱子伦视频| 九九视频精品这里只有| 久久综合九九| 色婷婷免费观看| 99ri视频在线播放| www.com任你艹| 色婷婷91激情小说| 婷婷情色开心五月天99| 九九热视频在线观看| 婷婷五月色| 亚韩在线视频| 日本一级特黄大片AAAAA级| 丁香色五月天| 国产午夜一区二区三区| 婷婷五月激情视频| 久久五月激情| 五月天停停成人网| 涩涩涩.com| 丁香五月欧美色综合| 丁香婷停五月激情综合深爱| 婷五月丁香| 九九免费精品在线视频| 七七九九色色| 天天爽,天天操。| 丁香六月色婷婷欧美| sesesesezonghe| 热99国产精品| 丁香五月花婷婷开心| 色婷婷XXXXX| 日本怕怕视频| 欧美在线骚货| 99热6这里之有精品| 婷婷色五月天第7色| 六月丁香婷婷天堂| 婷婷丁香五月欧美人| 婷婷五月天成人基地| 亚洲激情免费视频| 深爱激情婷| 五月婷婷综合丁香视频| 舔色婷婷| 婷婷综合精品| 伊人婷婷五月天| 99热精品在线播放| 三级三久久线久久99久目本WW| 五月婷婷六月天| 国产精品久久久久久久久久| 亚洲三A| 欲色人妻| 在线视频99| 91啪啪视频| 99热热九九| 婷婷综合在线观看视频| 开心激情播播五月天| 色色色网站| 99啪啪视频| 97人人操人人干| 影音先锋91网站在线观看| 亚洲黄色操逼| 五月婷婷,狠狠操| www色色com| 一个色的综合| 婷婷久久草| 五夜婷婷| 久久婷婷丁香六月天| 第四色婷婷丁香五月| 婷婷中文在线| 深夜婷婷 丁香| 91婷婷丁香五月| 狠狠另类视频| 深爱激情五月天| 亚洲久热| 69人人操人人爽| 色私五月婷婷| 精品国产va久久久久久久| 激情婷婷五月天日本系列| 五月婷婷成人| 五月天伊人| 婷婷五月天丁香久久| 97碰久久| 五月激情综合深爱| 91一起艹| 99色爱| 激情爱爱网站超大免费| 深夜婷婷五月丁香| 久久久噜噜噜久久人妻| 99久久99九九九99九他书对| 91操人人操| xx久久| 69激情小说| 亚洲AV网址| 666555。COm毛片| 亚洲AV网址| 婷婷激情五月综合在线视频| 久久92| 五月婷婷色在线| 全高清无码视頻| 五月丁香黄色| 五月婷视频久久| 色婷婷综合网站| 国产成人亚洲综合A∨婷婷| 久草婷妨| 久热这里这里有精品| 色情成人五月天| 欧美性生交XXXXX无码小说| 麻豆雪千夏| 五月婷婷干| AV中文在线| 青青色com久久| 婷婷5月天av| 五月天激情啪啪| 人人色人人弄人人操| 激情綜合網址| 9久热这里只有精品| 欧美色色色色色| 日韩无码人妻一区二区| 五月丁香色狠狠干大屄| 思思久久精品| 91色逼| 色色综合网络| 99超超碰| www,久久久| 丁香婷婷基地| 九月丁香久久网| 婷婷五月天视| 婷婷久久网| 97热久久五月婷婷| 婷婷丁香五月高清| 国产精品久久久久久喷浆| 天天骑日日爽| 97干网站| 婷婷丁香成人五月天| 开心激情播播五月天| AV色色天堂中文| 99热这里只有精品33| 丁香五月婷婷基地| www色婷婷久久综合久色| 婷婷丁香18| 色狠狠五月天| 久久久性爱视频| 久久伊人大香蕉| 婷婷五月av| 九九色图| 另类在线| 五月婷婷六月丁香| 一本道综合网| 日韩操逼小电影| 51精品国自产在线| www,婷婷五月天777me,com| 99久久九九| 欧美成人无码一区二区三区| 色婷婷99| 激情五月天啪啪| 99精品国产乱码久久久人妻| 五月丁香激情综合网官网| 久久久天堂国产精品女人| 亚洲色婷婷婷婷人人爽| 久99久热只有精品国产99| 狠狠爱青青草| 色婷婷久久综合丁香五月| 国产AV网页| 久久538| 婷婷大乡焦噜噜| 日本超碰在线| 亚洲va日| 97caop| 噜噜色com| 婷婷五月天精品| 91久久综合亚洲鲁鲁五月天| 国产精品电影| 天天色粽合合合合合合合| 六月丁香五月激情网| 天天色综合综合| 丁香啪啪中文字幕| 色99视频| 日本片日本片祼观看网站在线看中文版网页在线看 | 五月天婷婷视频小说| 婷婷色色丁香五月天| 夜夜夜夜夜操| 婷婷区日本| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 天天玩夜夜操| 狠狠丁香| 日产精品久久久久久久蜜臀| 五月天激情视频五月天| 亚洲人人操| 99热地址| 日日日影院| 黑人熟妇一区二区三区| 久热这里只有精品6| 五月天婷婷色播在线网| 国产亚洲色婷婷久久99精品9j| 五月婷啪| 91婷婷五月天综合视频| 蜜桃婷婷狠狠久久综合| 丁香五月成人社区| 天天肏天天爽夜夜爽| 波多野结衣AV无码Porn| 婷婷五月花| 五月天,激情四射,婷婷频道| 久草 天堂| 国产又色又爽又黄又免费| 色视频五月天| 性色人人爽| 婷婷九九色| 99色在线视频| 99er6热在线观看精品6| 五月丁香色| 九九色网专区| 色播综合| 婷婷丁香五月天中文字幕| 狠狠久久婷五月| 天天日中文| www.婷婷五月天| 激情 婷婷 丁香五月天| 亚欧州精品视频| 怎么样可以看免费的一级av| 国产成人在线精品| 天天情色五月天| 91viP在线看| 五月激情婷婷偷拍| 五月丁香影视| 99久久五月婷婷| 色综合xx| 九色视频91疯狂| 午夜激情四射影院| 色情综合| 色日本综合| 婷婷播播五月天| 日本色道视频网站| 久久99精品久| 人人操AV| 丁香五月欧美激情| 日韩欧美一级大黄网站| 日操| 成人婷婷| 激情超碰网| 亚洲亚洲人成综合网络| 五月丁香婷婷色色| 丁香五月Av| 丁香五月老师| 另类图片天天影视在线观看| 久久久五月天婷婷成人网| 嫩草AV久久伊人妇女超级A| av在线激情| 丁香五月婷婷六月| 丁香五月激情月| 丁香五月亚洲激情婷婷射| 日韩av网站在线观看| 狠狠久久婷五月综合色| 久久精品99| 五月伊人网| 激情综合网五月婷婷| 久久婷婷在线| 婷婷色5月天在线。| 色色婷婷丁香| 色综合中文色综合网| 九月性爱网| 嫩草AV久久伊人妇女超级A| 激情五月天影院| 色婷| 日韩 中文 欧美| 五月丁香婷婷AV| 人人人va亚洲视频在线| 天天日夜夜夜操操操操| 天天日天天狠狠操| 日本色色色| 五月伊人网| 五月丁香激情四射| 日本人人干| 99碰视频| 91视频综合网| 冬月かえでAV无码播放| 五月婷久久综合| 五月激情婷婷偷拍| 五月刺激丁香月综合| 激情五月黄色| 欧美黄色一级录像| 热热色色五月天婷婷| 性生生活大片又黄又| 国产毛多水多女人A片| 亚洲色五月| 无码少妇高潮喷水A片免费| 亚洲色婷婷| 91精品久久久久久77777| 日本婷婷| 婷婷啪啪| 欧美成人AAA片一区国产精品| 欧美大肥婆大肥BBBBB| 欧洲色区| 激情五月婷婷| 五月婷婷丁香91| 97日本在线播放| 操逼亚洲天堂| 人妻在线观看视频| 久热久re| 色婷婷色| 色哟哟www| 婷婷五月电影院| 99久热| 色六月丁香婷婷狠狠干| 婷婷 亚洲图片 丁香| 久99久热只有精品国产99| 伊人婷婷色激情丁香| 丁香五月综合网亚洲综合欧美狠狠| 婷婷五月天成人网站| 成人五月天视频| 色噜噜五月天| 丁香五月电影| 大香蕉九九| 成人无码髙潮喷水A片| 中文字幕人妻一区二区| 激情婷婷五月天丁香| 99re热99| 深爱丁香网| 开心五月婷| 五月婷婷综合丁香视频| 久久92| 久草热在线视频| 中文字幕免费高清电视剧| 67久久| 欧美VA视频| 1024人妻| 天插天啪天啪天啪| 开心婷婷丁香五月| 五月丁香婷婷在线| 99免费在线视频| 婷婷六月偷拍| 婷婷五月色综合| 五月天另类小说亚洲| 另类小说五月天综合网| 激情六月色| 思思久久精品| 伊人五月婷| 91精产品自偷自偷综合| 婷婷五月天受日本法律保护| 99热精国产这里只有精品| 色播五月婷婷| 99色在线视频| 高清免费在线视频| 久久五月网| 亚洲婷婷丁香五月亚洲| 五月天亚洲综合网| 激情五月天色播| 色播色丁香五月| 91viP在线看| 97久久久久久久久久久| 国产.亚洲.欧洲视频在线| 袁子仪视频观看| 欧美成人色婷婷| 性爱视频久久| 亚洲婷婷综合视频| 婷婷五月天成人五月天| 丁香六月婷婷综合啪啪| 99视频内射三四| 中文字幕丰满乱孑伦无码专区 | 色色丁香激情五月| 在线观看中文字幕| 超级碰碰碰久久网站视频| 97久久超碰| 99成人精品视频| 精品人妻伦一二三区久久| 五月色婷丁香| 96人人操人人操人人| 丁香五月在线观看| 全部老头和老太XXXXX| 天堂色色色| 亚洲激情视频网| 激情婷婷色色| 久久33视频| 久婷婷五月丁香在线观看| 99热这里只有精品5| 大战熟女丰满人妻AV| 丁香午夜天| 成人做爰A片免费看网站找不到了| 久久一级免费黄色片| 欧美日韩AAAAA| 26.uuu丁香五月婷婷| 激情五月综合网丁| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 亚洲无码色色| 免费看欧美成人A片无码| 丁香激情久久| 色婷婷www| 99视频这里有精品| 久久99免费视屏| 五月丁香香蕉| 激情婷婷五月丁香啪啪啪| 九九热这里有精品视频| 久久婷婷内射| 精品操逼一区二区| 五月丁香六月婷婷综合免| 日韩九区| 99热在线看片| 九九视频这里有精品| 国产成人精品亚洲线观看| www.婷婷五月天.com| 一丁香五月天月AV| 久草婷妨| 色婷五月天网站| 激情综合网激情五月天| 色五月色五天色情网| 另类激情综合| 日本熟女啪啪| 婷婷开心综合人妻小说网址| 婷婷亚洲综合| 日韩一级片| 久久大香蕉同僚| 六月激情网| 99久久大片| 热热色色五月天婷婷| 五月婷免费视频久久久| 日本三级韩三级99久久| 久久草大香蕉| 91热在线| 欧美大香蕉视频| 婷婷五月色情| 日本97久久久精品| 六月激情婷婷| 色五月,婷婷大香蕉| 这里只有免费精品| 七七久久婷婷| 五月婷婷网站| 99久99久| 色五月丁香五月婷婷五月成人网 | 婷婷五月天国产手机在线视频观看| 婷婷五月激情丁香| 久久久这里都是精品| AV中文在线| 亚洲精品亚洲人成人网| www.色综合| 91久久久久久| 五月天婷婷在线视频| 天天艹天天综合网| 天天做夜夜爽| 丁香五月自拍| 99国产精品久久久久久久久久久 | 日本欧美成人片AAAA| 思思视频久久| 99精品在线| 婷婷深爱五月亚洲综合| 强辱丰满人妻HD中文字幕| 久久 这里只有精品1| 五月天操逼激情| 五月婷婷啪啪啪啪| 香蕉五月婷婷| 99热66| 超碰无码318604| 色999五月色| 亚洲精品网站色视频| 亚洲乱码精品久久久久..| 思思久久96热在精品国产,| 久婷狼色诱惑在线| 久色婷婷200| 99人人操人人操人人精| 五月婷婷丁香| 99热国内| 日韩中出视频| 少妇搡BBBB搡BBB搡毛茸茸 | 9999三级片| 国产精品色色| 欧美性丁香色色五月天| 东北熟女高潮99综合99| 亚洲激情综合| 久久99久久99精品免视看婷婷| 综合激情五月丁香| 五月涩涩网| 婷婷色片| 深爱激情丁香| 这里只有免费的精品| 亚洲婷婷综合视频| 大香蕉五月丁香| 色97综合婷婷天天色| 操逼视频网址| 久99视频在线观看| 亚洲色激婷| 波多野结衣成人作品在线| 五月婷婷色综图片| 就99这里只有精品| 天天久久婷婷| 99ri视频| 色久五月| 久久加勒比| 亚洲色五月| www激情婷婷com| 五月丁香网视频| 欧美天堂婷婷日韩| 激情床戏| 密乳视频| 六月婷婷久久| 9久久狠狠的| 婷婷涩涩五月天| 激情综合网,婷婷| 欧美伊人9|