欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Linux系統(tǒng)指標監(jiān)控實戰(zhàn):從Load Average到故障排查

Linux系統(tǒng)指標監(jiān)控實戰(zhàn):從Load Average到故障排查 服務器凌晨2點40分告警群突然彈出一條消息某業(yè)務節(jié)點load average連續(xù)15分鐘超過8。大半夜爬起來看監(jiān)控面板CPU使用率明明只有60%內存也沒滿磁盤I/O看著還正常但load就是降不下來。這種場景干過運維的都懂——監(jiān)控指標永遠不是缺數(shù)據(jù)而是數(shù)據(jù)太多了關鍵是你得知道哪些數(shù)據(jù)能信、哪些數(shù)據(jù)該怎么組合著看。這篇東西就是把我在Linux系統(tǒng)指標監(jiān)控這條路上踩過的坑、總結過的判斷邏輯、沉淀下來的排查套路一次性梳理清楚。適合剛接手Linux運維的初學者也適合那些已經(jīng)有兩年左右經(jīng)驗、但每次出問題還是靠猜的同行??赐昴隳芨忝靼兹轮笜吮澈蟮降资鞘裁?、哪些指標組合起來才能還原真實故障、以及遇到異常時用什么順序去查才不白忙活。1. 監(jiān)控的本質讀懂內核給你留下的“體檢報告”很多人用top看CPU、用free看內存用壞了也沒想過一個問題這些數(shù)字到底從哪來的搞懂這一點后面所有的排查思路都會順很多。1.1 一切指標都來自兩個虛擬文件系統(tǒng)Linux里有個說法叫“一切皆文件”系統(tǒng)指標也一樣。你敲top看到的那些數(shù)據(jù)本質上都是內核實時把系統(tǒng)狀態(tài)寫入/proc和/sys這兩個虛擬文件系統(tǒng)里然后再由工具去讀取、計算、格式化展示給你。舉幾個最常用的/proc/statCPU總使用率、各核使用率、上下文切換次數(shù)、開機時間全在這里。/proc/meminfo內存總量、空閑量、緩存量、Swap用量free命令顯示的原始數(shù)據(jù)源。/proc/loadavg1分鐘、5分鐘、15分鐘的負載均值load average三兄弟的老家。/proc/pid/status某個進程的內存占用、線程數(shù)、狀態(tài)排查單進程問題時首查。/proc/diskstats每塊磁盤的讀寫次數(shù)、讀寫扇區(qū)數(shù)、I/O耗時iostat的底層數(shù)據(jù)源。/sys/block/設備/stat新一代磁盤I/O統(tǒng)計接口很多新工具基于它。所以當監(jiān)控數(shù)據(jù)出現(xiàn)異常時第一步永遠不是懷疑工具而是直接看原始文件。比如top顯示的CPU使用率和你預期不符那就cat /proc/stat算一遍比如內存明明顯示還有幾個G卻觸發(fā)OOM那就看/proc/meminfo里available和free的差值。技巧養(yǎng)成直接讀/proc的習慣。監(jiān)控工具可能因為采樣間隔、計算方式、版本差異給你不同的數(shù)字但內核不會騙人。排查到后期所有爭論最后都要回到原始文件上裁決。1.2 指標監(jiān)控的正確打開方式看趨勢別盯瞬時值我剛做運維那會兒服務器一告警就沖上去跑top盯著刷新那個瞬間的數(shù)字猜問題。后來被師傅罵了一頓才明白瞬時值只能告訴你“現(xiàn)在有異?!钡嬖V不了你“異常是從什么時候開始的”“持續(xù)了多久”“是在變好還是惡化”。而這些才是定位問題的關鍵線索。量化地說一次合格的故障排查至少要還原出異常前15分鐘到異常出現(xiàn)后30分鐘的指標曲線。沒有歷史數(shù)據(jù)的情況下你只能靠猜有趨勢數(shù)據(jù)你可以直接看拐點。拐點對應的往往就是變更操作比如發(fā)布、擴容、配置修改。所以無論用商業(yè)監(jiān)控平臺、開源監(jiān)控系統(tǒng)還是命令行工具一定要讓數(shù)據(jù)有“時間維度”。單看top那一刻的值意義非常有限。2. CPU指標拆解load average與CPU使用率兩個最容易混淆的指標CPU這塊是運維面試和實操中最愛考、也最容易出誤會的地方。核心就三個概念load average、CPU使用率、上下文切換。把它們徹底分開看CPU問題就解決了一半。2.1 load average到底算的是什么很多人把load average當成CPU使用率看這是最大的誤區(qū)。load average在Linux里表示的是系統(tǒng)中處于可運行狀態(tài)和不可中斷睡眠狀態(tài)的進程平均數(shù)。直白點說它不僅統(tǒng)計了正在用CPU的進程還把等待I/O的進程也算了進去。這就是為什么磁盤卡住、網(wǎng)絡文件系統(tǒng)掛起時哪怕CPU閑著load也能飆升到幾十。/proc/loadavg里的三個數(shù)字分別代表1分鐘、5分鐘、15分鐘的平均負載。判斷系統(tǒng)是否過載不能只看1分鐘值要看15分鐘值是否在持續(xù)上升以及三個值的相對關系1分鐘 5分鐘 15分鐘負載正在上升需要關注。1分鐘 5分鐘 15分鐘負載正在下降說明之前的壓力已經(jīng)在緩解。三個值都比較高且接近系統(tǒng)已經(jīng)持續(xù)高負載運行屬于穩(wěn)態(tài)過載。至于多高算高不是拍腦袋定閾值而是拿CPU核數(shù)做參考load高于核數(shù)說明有進程在排隊低于核數(shù)說明CPU資源尚有富余。一臺4核機器load到8那排隊情況已經(jīng)很嚴重了一臺64核機器load到8可能還在健康區(qū)間。2.2 從/proc/stat理解CPU時間片CPU使用率的計算邏輯比很多人想象中復雜因為Linux的CPU是分時復用的每個核在一秒內會交替執(zhí)行用戶態(tài)代碼、內核態(tài)代碼、處理中斷、進入IO等待剩下的時間才閑著。看/proc/stat的前幾行CPU那一行的數(shù)字從左到右分別對應user用戶態(tài)時間、nice低優(yōu)先級用戶態(tài)時間、system內核態(tài)時間、idle空閑時間、iowaitIO等待時間、irq硬中斷時間、softirq軟中斷時間、steal被虛擬機管理程序搶占的時間。top里的us、sy、wa、st就是這么來的us高用戶態(tài)程序在密集計算比如Java應用跑滿GC、Python腳本死循環(huán)、大量正則匹配。sy高內核態(tài)時間占比大多半是系統(tǒng)調用頻繁常見于大量文件讀寫、網(wǎng)絡收發(fā)、或進程頻繁創(chuàng)建銷毀。wa高CPU在等磁盤I/O返回這是磁盤性能瓶頸的典型信號但SSD時代要結合await細節(jié)看后面會單獨說。st高虛擬化場景下宿主機在搶CPU資源云服務器上出現(xiàn)st走高往往是鄰居VM在拼命。注意如果你用云服務器看到CPU使用率不高但業(yè)務很卡先查st。很多云廠商的監(jiān)控面板看不到steal值得上機器敲top按數(shù)字1展開每個核的狀態(tài)。2.3 上下文切換被忽視的CPU隱性殺手上下文切換cs可以理解為CPU在多個進程/線程之間來回切換的開銷。切換本身不干任何實際工作純粹是“換人的成本”。排查這個問題的完整鏈路是這樣的先用top看整體cs值如果常年每秒幾十萬次一定有問題。用vmstat 1觀察cs列同時看r運行隊列和b阻塞進程判斷切換是不是因為線程太多導致的。用pidstat -w 1定位到具體進程看哪個進程的cswch自愿上下文切換和nvcswch非自愿上下文切換在飆升。如果是nvcswch高說明進程在等待時間片CPU不夠用如果是cswch高且伴隨大量線程創(chuàng)建多半是編程層面的問題比如線程池無腦開線程、協(xié)程調度異常。我處理過最典型的一個案例某Java服務的線程數(shù)從200慢慢漲到8000上下文切換每秒上百萬次但每個核的CPU使用率都不高。業(yè)務表現(xiàn)為接口響應越來越慢排查了半天根因是消息隊列消費邏輯里一個鎖等待導致線程大量阻塞阻塞線程又不斷重試把CPU時間全耗在線程切換上了。3. 內存、磁盤與網(wǎng)絡三個容易被誤讀的指標CPU只是性能問題的冰山一角。內存、磁盤、網(wǎng)絡這三個模塊的指標讀法坑更多。3.1 free命令的正確用法available才是真正能用的內存看內存第一反應用free -h這一步?jīng)]錯但錯就錯在很多人盯著free這一列看。free列顯示的是“完全空閑的物理內存”而Linux對內存的使用策略是“能用就絕不閑著”——空閑內存會被用來做文件緩存buff/cache下次讀文件直接命中緩存能快好幾個數(shù)量級。真正需要關注的是available這一列。它表示“在不觸發(fā)Swap的情況下還能分配給新進程的內存量”包含了可回收的緩存部分。free低不是問題available長期為0才是問題。跟內存相關的常見誤判有幾個只看free不看available一臺free只有200M但available還有8G的機器運行狀態(tài)可能是完全健康的。Swap一用就慌Swap并非洪水猛獸少量使用說明內存吃緊但還能扛。真正要警惕的是Swap持續(xù)走高且伴隨頻繁的swap in/out用vmstat 1看si、so列這代表物理內存已經(jīng)耗盡系統(tǒng)在靠磁盤硬撐性能會斷崖式下跌。忽略內存的分配趨勢用/proc/meminfo里的MemAvailable字段畫趨勢線比看任何監(jiān)控面板的瞬時值都有用。排查內存問題還有一個利器ps aux --sort-rss | head -20按物理內存占用排序一分鐘內就能找到內存大戶。再進一步用pmap -x 進程號看某個進程內部各段內存的分布能定位到是堆內存還是棧內存還是映射文件撐爆的。3.2 磁盤I/OSSD時代iowait還可靠嗎以前機械硬盤時代磁盤慢CPU等磁盤導致wa飆升這個指針很好用?,F(xiàn)在SSD普及了磁盤快了很多iowait作為瓶頸信號的靈敏度也下降了——因為磁盤響應已經(jīng)快到CPU基本等不到它。判斷磁盤是不是瓶頸我現(xiàn)在的完整套路是三步iostat -x 1看每塊盤的%util。這個值的含義是磁盤設備忙的時間占比理論上100%就是極限但注意SSD有并行處理能力util到100%不代表性能到頂要看實際的IOPS和帶寬是否達到硬盤規(guī)格上限??碼wait平均I/O響應時間。機械盤await明顯超過20ms就有問題了SSD應該穩(wěn)定在個位數(shù)毫秒。如果await高但util不高說明單個I/O處理慢可能是磁盤硬件開始老化或隊列配置不當。用iotop看具體是哪些進程在產(chǎn)生I/O。很多時候磁盤慢不是磁盤本身的問題而是某個進程在做全表掃描、日志瘋狂輸出或者備份任務在搶占帶寬。這里有一個近些年SSD時代很值得注意的現(xiàn)象util和await都說正常但業(yè)務還是慢。這時候要看的是I/O的“并發(fā)度”也就是隊列深度iostat -x里的avgqu-sz。低并發(fā)下延遲正常、高并發(fā)下延遲飆升這種情況通常要檢查文件系統(tǒng)掛載參數(shù)、塊設備調度算法比如mq-deadline和none的選擇而不是一味加硬件。3.3 網(wǎng)絡指標丟包、重傳率與軟中斷網(wǎng)絡層面的監(jiān)控容易被兩個盲區(qū)坑到。第一個盲區(qū)是只盯帶寬使用率不看丟包和重傳。帶寬跑滿說明吞吐需求大但丟包率上升往往是網(wǎng)卡緩沖區(qū)不夠或者防火墻規(guī)則攔截TCP重傳率上升則直接意味著網(wǎng)絡質量在變差響應會莫名變慢。排查鏈路是ifconfig或ip -s link看每個網(wǎng)卡的RX/TX drop和error計數(shù)這兩個值持續(xù)增長說明底層有丟包。netstat -s或ss -s看TCP層的重傳、亂序、超時計數(shù)。抓包工具tcpdump對比抓一下重點看是否有大量重傳包集中在某個連接上。第二個盲區(qū)是網(wǎng)絡軟中斷。高流量場景下網(wǎng)卡收包會觸發(fā)軟中斷softirq如果軟中斷都擠在某個CPU核上處理會出現(xiàn)“一個核跑滿、其他核閑著”的奇葩景象。排查命令是top里按1看每個核的使用率再用cat /proc/interrupts看中斷在各個核上的分布。發(fā)現(xiàn)問題后用irqbalance服務或者手動設置中斷親和性echo二進制掩碼到/smp_affinity把中斷分散到多個核上。順帶說一個運維里很容易被忽略的小點多塊網(wǎng)卡綁定時如果驅動不帶RSSReceive Side Scaling多隊列功能單隊列網(wǎng)卡在高PPS場景下天然會軟中斷集中。這是硬件選型問題監(jiān)控指標只能暴露改不了。4. 一次完整故障排查從收到告警到定位根因的實操鏈路光講指標不串一遍實戰(zhàn)等于紙上談兵。我拿最近處理的一個案例走一遍完整的排查流程這個案例很有代表性——初步看起來像CPU問題實際根子在磁盤而且中間還踩了個監(jiān)控數(shù)據(jù)滯后的坑。4.1 告警與第一波基礎檢查某天下午3點監(jiān)控提示一臺數(shù)據(jù)庫從庫負載異常load average 15分鐘值從0.5漲到6而且還在緩步上升。CPU使用率只有40%內存正常。我第一反應是查最近的變更記錄——結果沒有發(fā)布、沒有配置變更、沒有備份任務在跑。這本身就說明了問題一個沒有變更的系統(tǒng)突然負載升高說明外部流量變了或者內部某個隱藏任務被觸發(fā)了?;A排查命令走一遍uptime # 確認負載趨勢 top # 看CPU/內存瞬時狀態(tài)按1看每核 vmstat 1 5 # 看r、b、cs、si、so、wa的變化趨勢 iostat -x 1 5 # 看磁盤util、await、avgqu-sz free -h # 看內存水位結果有個發(fā)現(xiàn)很關鍵iostat里sda這塊盤的util只有15%看起來完全正常但avgqu-sz達到了12——隊列深度非常高說明有大量請求在排隊只是盤本身處理能力還在。這就是典型的“util正常、隊列異?!彼矔r數(shù)據(jù)差點把我?guī)?.2 用歷史數(shù)據(jù)還原拐點這就是為什么我在第1節(jié)強調趨勢數(shù)據(jù)的重要性。我直接調出sysstat采集的歷史數(shù)據(jù)sar命令看前一個小時的數(shù)據(jù)sar -q -f /var/log/sa/sa$(date %d) | head -50 # 歷史負載 sar -b -f /var/log/sa/sa$(date %d) | head -50 # 歷史磁盤隊列 sar -d -f /var/log/sa/sa$(date %d) | head -50 # 歷史磁盤塊設備數(shù)據(jù)出來之后真相就清楚了磁盤隊列從下午2點40分開始異常而load是在2點50分開始爬升的——隊列異常比負載異常提前了10分鐘。這說明問題源頭是I/O不是CPU。至于15:00的告警那已經(jīng)是整個鏈條走完后的結果了。經(jīng)驗監(jiān)控系統(tǒng)的告警永遠滯后于問題的真正起點。所以排查時一定要回看歷史數(shù)據(jù)找“最早偏離正常值的那個時間點”而不是從告警時間開始查。告警時間只是閾值被擊穿的時間。4.3 定位到具體進程與內核行為確認是磁盤隊列問題后接下來就得找誰在發(fā)I/O。iotop排第一的是一個之前沒見過的進程PID是23085I/O讀寫一直在百分之三四十徘徊。ps一看是某個數(shù)據(jù)分析團隊臨時跑的一個Python腳本在持續(xù)掃一張大表并寫臨時文件。按理說下一步是直接kill掉并找團隊負責人確認。但為了定位更徹底我用pidstat看了下這個進程的行為細節(jié)pidstat -d 1 5 -p 23085 # 按進程看I/O統(tǒng)計 pidstat -w 1 5 -p 23085 # 看這個進程的上下文切換結果發(fā)現(xiàn)這個進程不光在做I/O還在頻繁創(chuàng)建臨時文件——讀一大塊、寫一個臨時文件、再刪掉循環(huán)往復。這帶來的后果是文件系統(tǒng)元數(shù)據(jù)操作暴增元數(shù)據(jù)操作又要反復讀寫日志塊設備最終把整個塊設備的請求隊列給擠滿了。這也是為什么有時候單看某個進程的I/O量不大但整個系統(tǒng)卻I/O擁塞——因為元數(shù)據(jù)操作的開銷是隱性的不體現(xiàn)在按字節(jié)計量的I/O吞吐里卻實打實占用了隊列深度。4.4 處理與復盤清單處理方式不復雜和團隊確認腳本不是線上任務后kill掉進程觀察10分鐘負載回落到0.3隊列恢復正常。這個案子的復盤清單值得記錄下來監(jiān)控告警閾值只能作為觸發(fā)條件不能作為故障起點的依據(jù)。util指標正常不代表磁盤健康必須結合隊列深度、await和進程級I/O行為綜合判斷。臨時任務一定要納入進程管理不能直接在業(yè)務機器上裸跑腳本。系統(tǒng)的變化有三個來源變更、流量、隱藏任務。排查時按這個順序排除能少走很多彎路。5. 從命令到監(jiān)控體系手工排查之外的工具鏈搭建手工排查能力是基本功但生產(chǎn)環(huán)境不可能靠人肉盯top。這套監(jiān)控體系怎么搭、工具怎么選決定了你的運維是“救火型”還是“預防型”。5.1 采集層sysstat是永遠逃不開的基礎無論用不用開源監(jiān)控系統(tǒng)每臺Linux機器都應該裝sysstat。它就是sar、iostat、mpstat、pidstat這些命令的集合包而且自帶cron定時采集把歷史數(shù)據(jù)落到/var/log/sa/目錄默認保留一個月。裝好sysstat之后有件事必須做確認采集周期。默認配置是每10分鐘采一次這個粒度對故障復盤來說太稀了。我習慣把周期調到每2分鐘一次歷史保留60天。做法是改/etc/cron.d/sysstat里的調用參數(shù)以及/etc/sysstat/sysstat中的HISTORY變量。有歷史數(shù)據(jù)之后日常運維就有了“先問過去再看現(xiàn)在”的底氣。半夜被叫起來的時候第一件事永遠是跑sar -q -f /var/log/sa/sa昨天的日期看昨天的指標是否已經(jīng)出現(xiàn)偏離經(jīng)常能省下大把時間。5.2 實時層atop和htop兩個值得常駐的工具實時排查場景我推薦兩個比top好用得多的工具atop和htop各自有獨特的優(yōu)勢。atop最厲害的地方是全量采樣——它記錄每秒鐘每個進程的CPU、內存、磁盤、網(wǎng)絡數(shù)據(jù)并且可以按時間軸回放。相當于系統(tǒng)自帶了一個“行車記錄儀”故障發(fā)生后還能倒回去看故障期間每個進程到底干了什么。這個能力在追查那種“幽靈負載”問題時價值極高。htop強在交互體驗和多核展示。按F5能看到進程樹按H能看到線程按M按內存排序、按P按CPU排序比top原生體驗好太多。作為日常巡檢的第一落點htop能讓你用最短時間建立起對系統(tǒng)整體狀態(tài)的感知。5.3 開源監(jiān)控系統(tǒng)選型核心是采集口徑與告警能力監(jiān)控系統(tǒng)的選型比較說到底不是比功能列表長短而是比三個維度采集口徑是否靈活、告警規(guī)則是否能自定義復雜邏輯、故障發(fā)生時能否快速定位指標曲線。維度Prometheus GrafanaZabbix云廠商自帶監(jiān)控采集方式拉模式客戶端暴露指標接口推模式agent主動上報agent上報指標靈活度高可自定義Exporter采集任何數(shù)據(jù)中模板為主低預設指標項告警能力基于PromQL的復雜告警規(guī)則觸發(fā)器表達式強大簡單閾值適合基礎場景歷史數(shù)據(jù)默認本地存儲可對接遠端存儲數(shù)據(jù)庫存儲清理麻煩一般保留數(shù)天到數(shù)十天上手成本中高需要理解指標模型低模板一鍵導入零成本以我在生產(chǎn)環(huán)境的經(jīng)驗來看Prometheus陣營目前是主流方向核心原因是它的指標模型和Kubernetes天然契合Exporter生態(tài)也很豐富——node_exporter就能覆蓋絕大多數(shù)系統(tǒng)指標Redis、MySQL、Nginx這些中間件也都有對應的Exporter。但有一個坑必須提醒任何監(jiān)控系統(tǒng)都要先驗證采集數(shù)據(jù)的準確性。我踩過的例子是node_exporter的磁盤指標和iostat的數(shù)值大概率存在偏差因為兩者對I/O統(tǒng)計的口徑不完全一致如果告警規(guī)則直接基于Prometheus的數(shù)值設置可能出現(xiàn)磁盤明明已經(jīng)很慢了但告警沒觸發(fā)的情況。實踐中的做法是雙軌驗證新裝監(jiān)控系統(tǒng)后手動用iostat、free、top對比連續(xù)采樣一周確認數(shù)據(jù)一致性然后再設置告警閾值。這一步不能省。5.4 告警設計不是越靈敏越好而是要減少“無意義告警”告警這塊我見過的極端案例是有人把告警閾值設置得極其激進結果一天收幾百條通知最后團隊集體屏蔽告警群——這比沒有監(jiān)控還危險。合理的告警設計原則有三條告警要反映業(yè)務風險而非指標波動。CPU偶爾飆到90%只要1分鐘就回落不值得打擾人持續(xù)15分鐘高于80%才需要關注。所以告警規(guī)則必須有持續(xù)時間條件不能只看瞬時值。告警必須附帶上下文信息。一條合格的告警應該包含異常指標當前值、正常基線的參考值、異常開始時間、相關進程或設備的定位信息。沒有上下文的告警收到的人也不知道該干什么。告警要有分層和升級機制。P0級核心業(yè)務不可用直接打電話P1級資源逼近瓶頸發(fā)即時消息P2級趨勢性風險進日報匯總。該用電話通知的不要用群消息該用日報沉淀的不要半夜震鈴。6. 長期維護中的經(jīng)驗補遺時間同步、日志關聯(lián)與自省講完主線的監(jiān)控方法還有幾個邊角料環(huán)節(jié)看著小實際在生產(chǎn)環(huán)境里經(jīng)常絆人一跤。6.1 時間同步所有監(jiān)控數(shù)據(jù)的“隱形地基”監(jiān)控系統(tǒng)里所有數(shù)據(jù)都帶時間戳故障復盤更是依賴時間軸對齊。如果服務器時間不準輕則日志和監(jiān)控對不上號重則分布式環(huán)境下事件順序完全錯亂。所以時間同步這件事應該被當作監(jiān)控體系的一部分來維護。檢查方法很簡單timedatectl status # 查看時間同步狀態(tài) chronyc sources -v # chrony環(huán)境下查看同步源狀態(tài) ntpq -p # 老版ntp環(huán)境下查看同步源狀態(tài)注意用ntpdate做一次性校時的服務器時間會跳變跳變期間如果正好在發(fā)日志和監(jiān)控數(shù)據(jù)時間戳會對不齊。推薦用chrony做漸進式校時通過調整時鐘頻率讓時間慢慢對齊而不是瞬間跳變。生產(chǎn)服務器全部配置好ntp并且開啟定期校驗這個動作要寫進服務器初始化清單里不能靠人肉一臺一臺檢查。6.2 日志指標聯(lián)動監(jiān)控數(shù)字背后是具體事件指標監(jiān)控只能告訴你“系統(tǒng)變成了什么樣”日志分析才能告訴你“為什么變成這樣”。實戰(zhàn)中最高效的配合方式就是指標異常時立即把對應時間窗的日志拉出來關聯(lián)。系統(tǒng)日志方面關注/var/log/messages下是否有內核報錯、OOM記錄、磁盤I/O錯誤應用日志方面用journalctl --since和--until按時間窗過濾重點看錯誤堆棧點和指標拐點的對應關系。日常大家可以有意識地訓練這個習慣每次處理完一個故障反問自己如果下次只看指標曲線能不能猜出問題類型逐步做到看到磁盤util上升就自動聯(lián)想到去看哪幾個日志文件形成肌肉記憶效率會高很多。6.3 監(jiān)控自身的成本與盲區(qū)監(jiān)控也要有成本意識。我在生產(chǎn)環(huán)境見過node_exporter部署過量導致指標采集本身消耗了可觀I/O的情況也見過把日志采集到Elasticsearch再查監(jiān)控指標這種重方案把運維復雜度推高數(shù)倍的配置。指標采集密度不是越密越好2秒一個點對絕大多數(shù)場景都夠用默認配置往往才是性價比最優(yōu)解。還有一個盲區(qū)是很多監(jiān)控系統(tǒng)默認不覆蓋的指標比如進程級別的線程數(shù)、文件描述符數(shù)量fd、TCP連接狀態(tài)分布。這些指標對排查實際問題非常關鍵卻經(jīng)常在監(jiān)控面板上看不到。建議至少在每臺機器上配好ss -s的定期采樣、進程fd數(shù)的監(jiān)控告警。別小看fd數(shù)——很多“連接數(shù)過多”“莫名無法創(chuàng)建新連接”的故障根因都是某個進程把文件描述符耗盡。最后再分享一點監(jiān)控這套東西工具永遠在演進今天講的具體命令和參數(shù)可能過兩年就有替代品但底層思維不會變先理解內核暴露了哪些數(shù)據(jù)再想清楚這些數(shù)據(jù)組合起來能說明什么問題最后形成自己的排查路徑。如果你剛入行在把監(jiān)控平臺建好之前先把20個最常用的指標命令敲熟能解釋清楚每個字段的含義和數(shù)據(jù)來源。有了這個基礎后面不管接觸什么監(jiān)控系統(tǒng)、什么新工具都能很快看穿它背后的邏輯。我個人習慣是每隔一段時間就會翻一翻手頭機器的/proc/stat和/proc/meminfo對照監(jiān)控面板驗證數(shù)字是否一致。這么做看起來有點笨但恰恰是這種“笨功夫”幫我在多次故障中第一個發(fā)現(xiàn)問題所在。監(jiān)控能力沒有捷徑把基本功練扎實比安裝再多花哨的工具都管用。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
金品在线视频99| 99噜噜噜| 色综合网页| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 久久久久久久久久91| 影音先锋天天日| 五月天婷婷久草丁香| 亚洲视频码| 一区二区你懂的| 91综合视频丁香| 91黄色五月天视频| 五月伊人网| 久久久人妻| 狠狠摸狠狠摸| 激情综合啪啪| 色999亚洲人成色| 深爱激情五月天| 大香蕉人妻| 青青草成人网| 思思久久99热只有频精品66| 在线观看日韩12345区| 色吧婷婷五月亚洲| 丁香狠狠操| 日本123区日韩欧美不卡在线看| av最新在线| 草草影院爱爱| www.丁香五月| 久久香蕉婷婷五月天| 99久久思思| 欧美丁香五月天| 色五月成人网| 九九九九这里只有精品| 亚洲五月天激情| 久青操| 九九AV在线| 色色色色五月| 少妇性按摩无码中文A片| 超碰婷婷色| 婷婷色综合中心站| 丰满少妇猛烈A片免费看观看| 精品一二三区久久AAA片| 任你躁XXXXX麻豆精品| 日本一级淫| 羞羞嫩草视频| 91久久精品无码一区二区三区| 淫视馆aV二区一区| 成 久久| 久久少妇视频| 欧美在线干| 激情五月婷婷| 婷婷九九色| 91久久综合亚洲噜噜成人在线| 91九色精品熟女内射| 综合婷婷六月| 99热精品中文字幕| 亚洲色网址| av国产精品| 婷婷色综合中心站| 综合久| 婷婷大美在线| 狠狠色成人影片| 狠狠干狠狠色| 日韩一本操| 色吊丝av中文字幕| 婷婷丁香射射| 日屌日日操日日色| 五月叮香啪| 玩熟女五十AV一二三区| 蜜乳AV成人| 五月天com| 无码 av电影| 丁香五月综合久久| 久久小视频免费| dingxiangtingtingliuyue| 激情婷婷五月天| 婷婷五月激情网| 成人丁香婷婷| 狠狠综合网| 色香五月天| 久久九九色| 激情综合网五月| 亚洲精品久久久无码| 午夜性做爰电影| 99啪视频在线观看| 高清激情av在线观看| 丁香婷婷五月综合影院| 91久久久久久| 久久99精品久久久久久青青AR| 综合久久婷婷| 狠狠做婷婷| 色色激情网| 黄网在线免费| 国产亚洲99久久精品| 亚洲色婷婷网站| 欧美色性色好| 天天肏在线| 日本色久| 夜夜夜夜做天天天做无码视频| 六月色婷婷色| 天天精品视频免费观看| 激情丁香五月| 99日在线视频| 精品久久久久久久久久久久人妻| 国产成人在线精品| www99精品亚| 亚洲成人网站在线观看| 开心激情播播五月天| 婷婷五月六月丁香| 久久五月丁香| 激情五月婷| 日韩无码乱轮| 激情五月婷婷网在线观看| 99久久综合| 日本丁香五月| 色99自拍| 战争与艾拉电影免费观看| 丁香五月天婷婷激情| 婷婷啪啪| 久久久久9| 涩五月色婷婷| 91久久久久久久久久18| 青青草轻轻操| 婷婷色五月天在线| av网址在线播放| 五月婷婷丁香| WWW,五月| 超级碰 久久9| 婷婷五月丁香五月天| 五月婷婷激情日本| 久久久久久久久久久久久久久久久精典| 91中文在线| 国产成人精品一区二区三区视频| 欧美WW在线网| www,26uuu,c0m,色情| 99色视频| 久久综合中文| 六月丁香网| 99婷五月| 婷婷深爱色五月| 丁香婷婷网| 色综合偷拍| 久久久久99精品成人片| 五月丁香啪啪网| 韩国19 主播内部福利vip免费播放| 久久性爱网站| 色婷婷小说| 久久激情五月天| 婷婷va| 色99视频| 激情九月婷婷| 久久婷婷亚洲| 9精品视频在线观看| 天天日日夜夜爽。| 沈娜娜av| 久久这里只有精品视频1| 1024人妻| 五月婷婷色播视频| 99视频在线精品| 色欲影香| 日韩色五月| 69精品人妻不卡视频| 天天射综合网夜夜操| 色五月播五月| 久久这里只精品66| 中文AV网| 色10月婷婷视频| 99热在线精品播放| 大香蕉天堂| 五月婷婷草| 久久182| 婷婷综合色五月天| 不卡成人免费| 国产精品五月天婷婷| 欧美顶级少妇做爰HD| av在线超清中文| 丁香五月综合激情性爱 | 一起草性爱不卡视频| 婷婷丁香九色| 天天爽天天爽夜夜爽| 嫩草AV久久伊人妇女超级A| www久久99com| 丁香五月偷拍| 久热这里只有精品6官网亚洲| 大香蕉啪啪| 9l视频自拍9l视频自拍九色学生| 五月天激情综合| 五月天婷婷亚洲| 丁香六月色婷婷| 91九色 熟| 五月激情久久综合网| 91嫩草国产线观看亚洲一区二区| 亚洲五月天婷婷在线| 九九婷婷激情综合网| 丁香五月aV| 99国产精品白浆在线观看免费| 丁香五月婷婷少妇| 亚洲精品白浆高清久久久久久| 再次出发二| 99视频精品| 99色在线| 五月天精品| 99热在线免费观看精品| 成人 在线观看国产| 久久久婷丁香五月| 欧美综合激情| 婷婷五月六月| 国产脫衣舞一区二区三区| 婷婷丁香97| www色色色com| 风流少妇A片一区二区蜜桃| 色七色九九| 婷婷五月在线视频| 综合五月天天天天天五月| 激情操逼婷婷| 婷婷深爱五月| 成人在线不卡| 狠狠色综合网| 免费观看的AV| 综合玖玖偷拍| av九九| 色久婷婷五月| 久久桃花网色婷婷| 一级二级香港秋霞欧美欧美秋霞| 伊人玖玖综合| 综合大香蕉| 综合婷婷| av在线播放网站| 亚洲人人操BD| 六月婷婷久久| 九九精品热| 天天做综合网色综合| 国产69久久久欧美黑人A片| 激情五月丁香在线观看直播| 丁香五月天堂网AV| 亚洲色五月| 激情综合网之激情五月| 伊人狼人干| 亚洲视频色婷婷| 久久久99婷婷久久久久久| 五月丁香五月综合欧美| 婷婷激情啪啪| 色综合视频| 日韩中文欧美| 日本成人小说婷婷六月| 久久久婷丁香五月天激情综合| www.99视频| 丁香五月婷婷动漫| 色99免费视频中文| 九九色影院| 五月丁香六月花| 高清国产AV| 五月丁香婷婷六月| 99爱免费视频| 伊人五月婷婷| 精品亚洲国产成AV人片传媒| 99热精品免费| 久久久er热| 在线精品97| 天堂久久婷婷| 深爱激情五月天婷婷网| www.com任你艹| 丁香六月情| 这里只有精品视频看看| 天天操五月天| 成人综合网站| 97热在线精品| 五月天婷爱综合| 亚洲 欧洲 国产 伦综合| 色色激情| 丁香五月六月婷婷殴美综合| 日韩久久视频| 欧类av怡春院| 99啪| 五月丁香六月婷婷在线播放| 1024手机在线观看看片_日韩精品| 色噜噜婷婷| 久久久久人妻中文| 五月丁香激情综合网| 精品人妻伦一二三区久久| 天天xxxxxx天天日| 激情五月天噢美| 久久5 9视频免费观看| 91人操| 99re在线观看视频| 婷婷狠狠操| 青草青草视频2免费观看| 丁香五月天激情综合| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 激情九月婷婷| 成人丁香五月| 开心五月丁香综合久久| www.henhenl| 亚洲色无码A片一区二区麻豆| 少妇人妻人伦A片| 丁香五月另类小说在线阅读| 婷婷五月综激情| 色色欧美。| 综合色五月天| 天天久综合| 亚洲精99| 激情综合婷婷| 亚洲中文字幕在线观看| 99热最新| 六九色综合婷婷五月天| 久久伊人日日夜夜| 五月香蕉婷婷| 天天爱天天操| 五月激情丁香啪啪| 99re思思精品在线观看| Av狠狠色丁香婷| 婷婷五月18永久免费视频| 丁香色婷婷| 7777久久亚洲中文字幕| 婷婷久久免费看| 亚洲综合色婷婷| AAA久久久AAA久久久AAA| 激情美女五月天激情在线| 123草逼网| 99啪视频在线观看| 99爱免费在线视频| 婷婷综合久久| AV九九| 激情综合99| 六月色婷婷综合影视| 成人性爱无码| 久久婷婷五月综合色丁香花| 狠狠色丁香婷婷综合久久97AV| 亚洲操操| 99热亚洲精品| 五月天激情网图片| 欧美激情久| 久久A V无码视频| 成人国产欧美大片一区| 99在线观看这里都是精品| 欧美激情VA永久在线播放| 激情色色| 99久久婷婷国产综合精品草原| 激情网第九色| 99热思思| 爱草视频在线观看| 超碰日韩人妻在线| 五月天激情Av| 大香蕉在线99热| 日逼免费视频| 亚洲综合网在线| 天天干天天色天天干| 色婷婷六月| 日日干干天天干| 激情五月天天| www99热| 操碰99在线视频观看| 婷婷五月天性| 色综合久久久无码中文字幕999| 99高级会所久久| 8090在线影视少妇| 天天干天天干天天干天天干天天干天天| 天天操综合网| 26uuu欧美亚洲日韩| 亚洲综合网在线| 婷婷五月综合视频| 久久九九re热| 丁香六月婷婷综合| 青青日韩| 久热 91| 色综合综合色| 国产欧美性成人精品午夜| 天天插天天很| 欧美在线ee日韩| 天天干天天操天天爽| 色婷婷丁香综合中文字幕| 婷婷人人操| 激情六| 成人精品视频99在线观看免费| 99r这里| 五月天激情小说| 五月色网| 亚州操操| www.激情| 婷婷丁香激情综合色情| 一级七香蕉| 久久怡红院| 久久婷婷激情视频| 六月激情久久婷婷| 五月丁香久久色| 综合久久99| 日韩综合大黄| 超碰免费大香蕉| 天天日天天操心| 成人在线99| 久久五月天激情婷婷| 色婷婷亚洲综合av| 国产精品第一国产精品| 思思热视频| 另类激情五月天。| 久久日韩婷婷五月| 亚洲第一成人无码A片| 九色啦蜜臀| 九九av| 久久全色| 97超碰,人人舔,人人操,人人摸| 色婷婷88| ss视频xx91| AV电影在线播放| 丁香婷婷久久五月天| AV在线免费播放| 国产精品色色色色| 婷丁香久综合| 色五月天丁香婷婷| 婷婷成人av| 亚洲超碰在线| 色婷婷亚洲婷婷在线观看| 丁香5月啪啪| 天天综合天综合| 先锋男人99资源| 秋霞网在线观看理论91| 五月丁香怕啪啪| 伊人大香蕉毛片| 亚洲激情在线| www夜夜操| 五月丁香六月婷婷的女人| 国产做爰视频免费播放| 五月婷在线观看| 性生活久久人妻| av婷婷丁香 六月| 色狠狠综合网| 久久加勒比| 伊人喵咪a V| 欧美三9久九观看| 综合网亚洲| 久操激情| 99精品视频网站| AV成人在线播放| 久久 天天| 99热在线观看精品| 夜丁香五月婷婷| 九九色99| 第四色婷婷五月| 婷婷五月AA五月在线| 激情五月黄色小说| 狠狠五月天婷婷| 深爱婷婷基地| 一夜福利不卡| 热久久66| 久久人妻人人槡| 天天爽,天天操。| 成人羞羞啪啪 全 视频| 亚洲色激婷| 久久婷婷欧美| 色五月天本日| 99九无网码| 婷婷色网站| 天天日综合| 91Chinese在线| 思思热视频在线| 天堂成人A片永久免费网站 | 中文字幕无码人妻少妇免费视频| 久久婷婷丁香花综合网| 五月色丁香婷婷综合| 影院久久久| 激情婷婷丁香色五月| 97视频.干com| 久草久青福利| 5月婷婷五月天| 亚洲色婷婷| 亚洲色五月| 噼里啪啦完整版中文在线观看| 无码激情AAAAA片-区区| 久久久噜噜噜操操操| 婷婷五月丁香香蕉| 色五月大香蕉| 九月婷婷丁香| 五月天色五月| 久色网| 色yeye色综合| 伊人99热| 婷婷五月天成人基地| 97色色网| 五月丁香影院| 97成人丁香| www.婷婷五月天| 综合激情五月综合激情五月激情1| 这里只有精彩亚洲视频推荐| 99热在线精品播放| 日韩av一区二区在线/日产精品久久久 | 久9久成人精品视频| 91九色精品熟女内射| 99久久久精品| 婷婷激情五月天网站| 99色色色色| 综合色播| 超碰com| 色欲日日躁| 自拍偷窥99热| 99热在线播放精品| 熟女乱论网| 天天干天天干天天干| 色狠狠色噜噜AV天堂五区| 天天综合久久| 婷婷六月色情| 日韩999| 丁香五月大香蕉AV| 日本精品。999| 色噜噜97视频在线观看| 精品热青草| 色五月丁香五月五月婷婷| 激情小说五月天| 婷婷在线日韩综合| 色色网站观看| 91婷色| 九色无码| 深爱五月天| 激情五月婷婷她| 97五月天婷婷| 少妇真实被内射视频三四区| 激情综合自拍五月婷婷色五月| 97九色| 色色五月婷婷久久| www.婷婷.com| 日韩日比视频| 五月色综合网| www99xxxx五月丁| 五月丁香在线婷婷美女| 婷婷五月天国产性感美女演员久久久久| 六月婷婷日| 香蕉人妻AV久久久久天天| 91精品熟女| 五月婷婷色| 妻久久久久| 中文字幕人妻熟女在线| 色吧五月婷婷六月丁香| 国产乱人偷精品人妻A片| 插插干干干色| www.丁香六月婷婷久久天堂影院.con| 五月婷六月丁| 日本欧美啪啪| 99久在线精品99re5热视频| 美女xx不卡| www.五月天婷婷| 丁香五月天狠狠操| 久久女人天堂| 99热这里只有精品268| 久99热| 色五月激情综合| 五月天大香蕉av| 亚洲激情97五月天| 久久综合播放| 九热视频| 国产五月婷| 久久亭亭电影| 玖玖在线视| 91婷婷| 少妇性按摩无码中文A片| 五月综合影院| 五月天自拍网| 婷婷五月天精品| 伊人五月天综合网| 99精品在线观看视频| 91久久久久| 亚洲五月天伊人| 综合色久| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 这里只有精品免费在线视频| 婷婷情色五月天| 五月五月婷婷| 婷婷亚洲综合| 婷婷五月六月| 91精品久久久久、久五月天| 五月天婷婷Av| 能直接看的av网站| 久久久婷婷色五月资源网| 狠狠色 综合色区| 精品成人在线| 狠狠狠狠狠操| 欧美69久成人做爰视频| 九九视频热| 久热在线中文字幕色999舞 | www久| 婷婷情色五月天| 欧美精产国品一二三区| 综合激情婷婷| 久久婷婷六月综合综合| 婷婷丁香五月天在线视频| 99免费视频| 激情图片亚洲| 91蝌蚪窝视频在线| 五月丁香花婷婷玉莉AV| 色情婷婷久久五月天| 日本久久人| 任你爽精品免费视频6| 99操视频| 亚洲综合婷婷五月| 最近韩国日本免费高清观看| 欧美性爱5月天天天看| 天天操天天插天天射| 色爱综合网| 玖玖资源站国产| 久久久国产精品黄毛片| 夜夜骑日日夜夜| 婷婷五月综合网激情| 免费在线观看欧美激情xx小视频| 亚欧州精品视频| 九九热精品| 亚洲、热| 天天肏视频| 精品亚洲国产成AV人片传媒| 婷婷成年人免费视频| 亚洲综合五月天| 婷婷五月天论坛| 91热久| 国产这里只有精品| 久久免费视频62| 51XX午夜影福利| 亚洲中文字幕在线观看| 9久热在线视频精品| 2020久久婷婷五月| 人操人人| 亚洲午夜AV| 99热费观看| 超碰免费大香蕉| 日本乱子人伦在线视频| 色五月天成人| 丁香五月香蕉在线| 日本精品干| 天天综合网站| 色五月天成人| 国产婷婷综合| 96精品久久久久久久久| 大香蕉丁香婷婷| 久久丁香五月天| 玖玖热视频| 成人狠狠成人狠狠成人狠狠成人狠狠| 午夜亚洲国产精品av一区二区| 丁香婷婷天堂| 丁香五月激情综合| 一区二区成人电影| 婷婷 色 丁香 夜| 天天婷婷操| 六月婷欧美| 久久精品噜噜噜成人A∨色欲| 九色视频91| 久久久久er热| 丁香五月婷婷啪啪啪| 99热精品99| 狠狠干在线| 99精品7| 欧美成人无码一区二区三区| 超碰成人电影| 丁香五月WWW| 五月婷婷性爱网| 国产精品a无线| 91久久婷婷| 成人网在线视频| 婷婷六月久久| 色情激情五月婷婷| 久久激丁香| 九九碰九九爱97超碰| 精品人妻伦一二三区久久| 色情久久久| 久青操| 中文字幕 中文字幕明步| 无码色色色色色| 五月丁香精品| 日韩操逼大片| 97人人操人人| 色啪综合| 26uuu视频欧美| 99re热精品视频国| 国产成人网| 五月五婷婷网| 99re思思精品视频在线观看| 99热久久这里只有精品| 久久机热这里只有 | 久久婷婷五月| 日本不卡一区二区三区| 婷婷五月激情黄色| 婷婷五月综合性爱| 最近中文字幕2019视频1| 51国精产品自偷自偷综合| 色中色综合| 五月天激情婷婷| 五月激情六月婷婷| 五月婷婷手机在线| 丁香六月婷婷综合缴| 无码人妻一区| 狠狠人妻色综合| 五月丁香黄色视频| 26uuu| 激情婷婷丁香五月| 欧美日韩中国| 久久久18| 26uuu欧美亚洲日韩| www.色擼擼.com| 免费亚洲婷婷五月| 丁香六月婷婷久久综合| 性综合网| 久久久这里有精品| 久久五月婷婷综合网| 综合色在线| 超级97碰碰| 狠狠搞五月天| 五月婷婷无码专区| 色五月激情综合| 久久99网站| 久久久天堂国产精品女人| 久久5 9视频免费观看| 激情婷婷五月综合| 婷婷五月天丁香| 丁香五月婷婷性爱| 丁香五月激情视频| 五月丁香无码| 99精品国产在热久久| 二级黄色毛片| 日日色五月天| 五月综合丁香婷婷| 亚洲成人无码专区| 色婷婷91| 亚洲精品五十一区| 女高怪谈在线观看| 97精品综合| 亚洲99一级无嗎特制在线| 99干日本| 亚洲丁香五月美女| 婷婷五月天视频| 少妇高潮呻吟A片免费看软件 | 六月激情久久婷婷| 成人免费在线电影| 日韩欧美不卡| www.粉嫩av.com| 婷婷五月天激情电影小说| 婷婷丁香五月综合| 97大香蕉五月天| 翔田千里 50岁 无码| 91精品国产综合久久密臀| 啪啪综合| 九九热99精品| 午夜不卡成人一区二区| 超碰人妻在线| 综合网色综合| 狠狠色婷婷丁香六月| 国产在线黄色| 色色色色色色色色色色色色色色,网站| 99热欧美在线观看| 国产精品日日躁夜夜躁| 免费在线观看av网站| 久久色频| 色情婷婷五月天| AA片在线观看视频在线播放| 久久三级视频| 玖玖综合色| 一区二区乱视频码| 五月丁香色婷婷基地| 九九亚洲| 中美月韩免费A片| 99热免| 天天色综网| 色婷婷在线综合色播网| 亚州色色色| w婷婷五月婷婷w| 五月天狠狠网| 久久久久视剧HD| www.十八禁不禁AV.com| 色婷婷丁香五月| 欧美色图45678| 日韩久久色| 丁香婷婷色色| 日韩啊啊啊| 丁香五月婷婷婷桃花影院| 五月停停丁香| av免费在线看不卡无毒| 狠狠干五月丁香| 色情综合网| 婷婷六月丁香色| 九九色逼| 狠狠色激情综合| 亚洲精品V天堂中文字幕| 琪琪理论片| 五月在线| 婷婷亚洲五| 激情五月综合| 伊人9在线| 99视频网址| 久久激情天堂| 综合激情五月丁香| 丁香婷婷六月激情文学 | 欧美25p| 婷婷激情伍月网| 色婷婷基地| 七七九九色色| 日韩色色色色| 久久婷婷五月综合色播| 国产毛片欧美毛片久久久| 九九热这里只有精品12| 六月丁香AV| www.五月天| 九九九九大香蕉| 九九色人| 99视频精品视频| 夜夜干天天干| 一级黄色操B| 婷婷八月丁香激情综合| 五月丁香啪啪综合| 婷婷亚洲综合| 97好吊操| 九九www| 激情六月综合| 五月丁香六月婷婷亚洲激情综合| 婷婷五月丁香性爱| 久久久五月五丁香| 婷婷的激情五月| 蜜臀AV在线观看| 99青青草| 91久久久久久久久| Blackedraw视频一区二区| 国产成人99久久亚洲综合精品| 丝袜激情网| 一区二区三区视频| 五月婷婷六月丁香综合| 国产精品美女| 超碰v| 可以看的av网站| 99热 这里只有精品 国产 日韩| 色色欧美色色色| 激情五月婷| 久久er视频6| 国产精品VIDEOSSEX久久发布| 思思国产99| 色999五月色| 久久六月婷婷| 五月丁香色| 欧美天天干天天草| 国产成人精品一区二区三区视频| 丁香五月先锋| 只有久久精品免费| 亚洲激情在线| 97se在线视频| 成人精品视频99在线观看免费| 狠狠干在线| 五月丁香六月婷婷中合网| 丁香五婷| 国产在线网| 久久东京热婷婷五月| 天天久久综合| 丁香五月电影| 婷婷桃色网| site:pnnrt.com| 人妻久久久久久久久久| 色色网站免费在线视频| 九九视屏| 九九热狼人| 狠狠色成人影片| 丁香五月婷婷在线| 色 五月俺去也| 亚洲成人一区| 色色五月丁香婷婷综合| 亚洲亚洲人成综合网络| 色噜噜综合网| 综合色色婷婷| 五月丁香六月激情啪| 色小说婷婷五月天天天| 久久综合性| 97丁香五月| 成人久碰| 亚洲xx在线| 嫩草AV久久伊人妇女超级A| 日韩啪啪视频| 婷婷99狠狠| 婷婷综合色播网| 99热这里只有精品69| 亚洲五月丁香综合网| 青青草轻轻操| 熟女91九色| 国产女生爱爱AA| 又大又粗九一在线| 无码99| 96丁香六月婷婷蜜桃综合久久| 久久综合婷婷五月| 五月在线| 亚洲激情综合免费| 天天综合天天玩夜夜玩天天玩夜夜玩 | 五月天停停日日| 综合激情九月婷婷,激情综合婷婷中文字| 1000部毛片A片免费观看| 丁香六月啪啪| 无码人妻电影| 99热这里只有精品8| 五月丁香啪啪伦理电影| 婷婷伊人久久综合| 这里只有精品99www| 丁香女人五月天| 永久的网站AAAA | 色五月人妻| 欧美丁香婷婷五月| 青青草五月天| 婷婷五月天AV在线| 激情婷婷久久| 婷婷精品在线| 五月丁香婷婷欧美| 五月丁香天天| 五月天激情图| 俺也去在线视频| 天天操天天曰| 五月婷婷草| 五月丁香激情婷婷| 日韩人妻无码专区| 婷婷五月影院| 一级AV片| 久草嫩草在线观看| 五月天狠狠色| 亚洲操操| 美女主播野战视步页| 婷婷五月骚厕所| 天天操夜夜操| 五月婷婷之综合激情| 青青草免费公开视频| 婷婷碰碰| 欧美精品99| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 亚洲精品无码一区二区| 男人的天堂在线婷婷| 吊色AV男人的天堂| 久久只有精品| 婷婷久久草| 成人丁香五月| 无码少妇高潮喷水A片免费| 久久免费干| 99色视频在线观看最新| 激情综合五月色在线| 999影院成人在线影院| 色玖玖导航| 伊人婷婷五月天| 综合色、色综合| www.99久久久久99| 天天五月丁香五月| 久久久精品人妻录| 99超级碰免费视频| 婷婷在线网| 97性视频| 日日懆天天懆| 91操熟女| 99久久婷婷国产综合亚洲| 婷婷五月天综合网| 五月丁香在线婷婷美女| 激情五月丁香五月| 婷婷五月精品| 99热国品免费| 狠狠激情五月天| 99久久极情精品一区| 蜜臀av 粉嫩av 懂色av| 综合玖玖性爱免费视频| 五月天激情婷婷小说| 五月婷婷与六月丁香图片激情| 99国产精品久久久久久久久久久| 91要啪| 日撸夜撸日操| 五月婷婷激情| 五月天堂婷婷| 99热都是精品| 欧美性爱丁香五月| 亚洲激情综合| 五月天成人网在线观看| 丁香五月色情| 97亚洲婷婷| 人妻精品久久久久久| 五月婷婷激情五月| 婷婷内射视频在线| 夜夜操天天干| 狠狠精品干练久久久无码中文字幕| 五月天激情影院| 亚洲激情另类| 狠狠色色色| 久久视屏这里只有久久| 婷婷五月天亚洲综合| 综合 激情 婷婷| 九月丁香婷婷综合激情| 99爱爱| 五月丁香婷婷啪啪综合| 丁香五月五月婷婷五月天激情四射| 99热综合| 亚洲国产精品五月天| 久久婷五月婷| 在线不卡中文字幕| 亚洲婷婷免费| 色综合婷婷99| 激情小说之五月| 色欲一区二区三区精品A片| 蜜桃婷婷五月| 97色婷婷成人综合在线观看| 五月天婷综合| 婷婷五月色激情欧美激情| 9999热免费视频视频| www.俺去也com| 婷婷成人基地| 婷婷五月丁香高清无码| 五月天婷婷色| 六月丁香婷婷网| 乱岳熟女50岁| 伊人婷婷激情| 第九色区av天堂| 99热这里只有精品手机在线观看| 日韩人妻无码专区| Xx色综合| 91 九色大美女| 色色婷婷综合网| 久久九九热38| 激情网婷婷婷| 日韩成人影片在线观看| 开心五月深爱婷婷| WWW.久久久久久久久久久久久| 天天爱天天做天天操| 热久69| 激情婷婷久久| 91成人电影| 婷婷久久综合| 亚洲精品乱码久久久久久按摩观| 五月综合色| 久久99热精品a片在线观看| 97操碰视频| 五月丁香婷婷色| 202丰满熟女妇大| 这里只有精品视频一区| 九九热91| 99热6精品| 九九在线免费观看| 丁香婷婷六月| 色综合五月| 97干在线视频| 中文字幕成人网站| 成人va在线播放| 91精品婷婷国产综合久久| 91人人爽久久涩噜噜噜| 色婷婷色| 五月婷婷丁香| 日日操,天天操| 日韩在线观看亚洲| 日本色婷婷| av人人操| 丁香六月婷婷综合激情欧美| 婷婷亚洲天堂| 丁香五月天论坛| 亚洲性受XXXX五月丁香| 九月婷婷在线视频| 26uuu精品一区二区| 天天肏屄夜夜爽| a毛片二逼wwwwwwwwww| 亚州色婷婷| 日本九九热| 天天操无码| 97日韩无套内| 亚洲国产成人在线| 99视频热| 久久免费精品小视频| 五月九九综合| 成人丁香五月| 婷婷五月亚洲一本在线丁香| www99精品| www.99.色| 久久婷五月| 天天综合色丁香| 日日撸天天干| 亚洲99综合| 91人妻人人操| 激情婷婷五月天| 天天操天天插| 俺去也在线www色官网| 先锋五月婷婷丁香草草| 91日婷婷在线| 乱精品一区字幕二区| 五月婷婷偷拍| 亚洲色亚洲精品| 狠狠色婷婷丁香六月| 欧美婷婷日本| 国内在线99视频| 五月婷婷激情综合| 久热 91| 五月丁香淫淫婷婷婷| 色色色99韩| 九色视频91| 婷婷色偷拍| 区欧美日韩成人| 无码AV免费精品一区二区三区| 婷婷情色五月天| 日本色色色| 99视频精品全部免费观看| 永久的网站AAAA | 亚洲情欲| 综合久久影院| 丁香六月婷婷| 橾逼网| 激情婷婷五月天日本系列| 色婷婷五月天激情久久| 成人日韩欧美| 99爽视频| 在线观看免费狠狠色丁香香综合| 美女视频图片久久91| 丰满少妇猛烈A片免费看观看| 婷婷五月色播| 五月综合视频| 欧美人妻一区二区| 91精品久久久久久久| 五月丁香婷婷深深爱| 天天综合中文| 五月综合婷婷五月| 久久婷婷综合五月天| 超碰1999| 99亚州综合精品成人网| 热热久久99| 五月天,激情四射,婷婷频道| 这里只有精品在线免费视频| 婷婷五月天激情影片| 丁香六月激情蜜桃| 五区毛片七区毛片| 色婷婷九月| 婷婷五月天免费视频| 岛国av电影网站| 九九色综合视频| 亚洲激情婷婷| 亚洲精品视频电影| 色婷婷操逼| 九九热这里只有精品6| 五月丁香久久| 开心五月色婷婷综合开心网| 中文成人在线| 丁香88AV五月婷婷| 婷婷五月天亚洲综合网| 国产婷婷久久| 欧美天堂久久| 久久这里这里有精品免费视频| 热久久77777| 五月婷婷婷婷婷婷艺术| 九九性视频| 天天日天天插| 亚洲情欲| 丰满少妇乱A片无码| 丁香五月激情图片婷婷| 丁香色情五月综合激情| 成人AV中文字幕| 丁香色六月| 五月色导航| 岛国AV网| 日夜操B| 嫩BBB搡BBBB榛BBBB| 亚洲中文AV网站| 丁香六月在线综合| 色婷婷aV四虎| 一级黄在线| 五月天综合色| 激情婷婷色色| 99色热视频| 天天艹夜夜艹| 青草五月天| www.99精品日操伊人乱碰在线| www.99热精品99.com| 91操人视频| 婷婷五月天综合中文| 久久精品4| 亚洲精品国产熟女久久久| 日本理论久久| 亚洲性受XXXX五月丁香| 婷婷五月天成人综合网| 激情丁香婷婷| 日韩不卡123| 色综合色综合网| 丁香五月天天高清在线| 婷婷综合激情| www.99.色| 五月色情婷婷| 色婷婷五月天久久| 农村熟妇高潮精品A片| 丁香五月婷婷大香蕉| 婷婷五月激情基地| 婷婷六月色开 | 五月婷婷色五月| 色99超碰| 天天日夜夜草进麻麻的子宫| 色五月婷婷操逼| 香港九九六区八区99| 五月天婷婷色在线视频免费观看 | 丁香五月在线观看完整版| 思思精品视频| 欧美在线视频免费播放| 韩国久久少妇视屏| 五月色综合| 国产精品操| 久久婷婷五月综合伊人| 丁香五月在线观看| 大香蕉Av在线| 99热这里只有精品官网| 99在线观看| 色播婷婷五月天| 狠狠插狠狠操| 丁香五月影| 99热思思在线观看| 五月丁香亚洲综合| 97视频.干com| 99热精品在线观看| 一区操| 战争与艾拉电影免费观看| 天天爽天天| 97色色色色| www激情| 五月丁香无码| 97色啪| 久久婷婷五月综合啪| 亚洲va在线∨a天堂va欧美va| 九七色色六月丁香| 日本天天综合| 日本丁香五月| 久久人人看| 日本美女上人| 4438激情网| 91九色欧美| 婷婷五月无码| 天天操婷婷| 啪啪东京热| 人人爽天天爽| 丁香六月av| 狠狠狠色激情综合适合| 影音先锋综合网| 丰满熟女人妻一区二区三| 色级婷婷| 亚洲激情综合| 婷婷色操| 91操片| 草草视频91| 天天色粽合合合合合合合| 如何安全看伊人婷婷| 天天操夜夜操| 国产精品噜噜在线视频| 国精产品一区一区三区免费视频| 秋霞电影理论| 亚洲成人在线电影网站| 99精品视频网站| 人人搡人人| av网址在线| www.婷婷五月天,com| 色色99| 婷婷激情五月综合丁香社| 91九九热| www.激情| 99re热视频这里只有综合亚洲| 开心五月深爱五月| 五月天亚洲最大成人| 丁香六月丁香婷婷激情| 91色情播放| 精品99在线| 日韩啪啪网| 久久机热思思热| 丁香五月777| 开心激情站| 国产色五月婷婷| 婷婷五月天亚洲综合| 五月天另类激情在线| 婷婷五月色亚洲| 大香蕉久久婷婷| 99热免费| 色操b| 超碰成人在线观看| 黄桃AV无码免费一区二区三区| 激情综合色婷婷六月天| 欧美色99| 国产看真人毛片爱做A片| 激情婷婷五月| 开心婷婷五月激情网小说| 国产精品黑丝| 夜夜操天天干| 五月天婷婷丁香六月|