欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

nmon離線性能監(jiān)控實(shí)戰(zhàn):從安裝采集到Excel圖表分析瓶頸

nmon離線性能監(jiān)控實(shí)戰(zhàn):從安裝采集到Excel圖表分析瓶頸 服務(wù)器性能出問題的時(shí)候大多數(shù)人第一反應(yīng)是跑一把top看一眼CPU是不是爆了然后就沒有然后了。真正要定位一個(gè)問題光有這幾秒的瞬時(shí)數(shù)據(jù)完全不夠需要的是連續(xù)幾個(gè)小時(shí)的監(jiān)控曲線CPU到底在哪個(gè)時(shí)間點(diǎn)飆升內(nèi)存是逐步被吃光還是突然跳變磁盤I/O高峰和業(yè)務(wù)高峰是否重疊。nmon這套工具恰恰就是為這種場(chǎng)景設(shè)計(jì)的而且它天生適合離線環(huán)境——單個(gè)可執(zhí)行文件不依賴重型環(huán)境采集完的數(shù)據(jù)還能直接落成文件帶回本地用Excel分析。這篇文章就完整走一遍在CentOS 7內(nèi)網(wǎng)機(jī)器上離線安裝nmon配置后臺(tái)定時(shí)采集再把nmon數(shù)據(jù)轉(zhuǎn)換成Excel能用的格式最后做成圖表來定位性能瓶頸?;A(chǔ)判斷先說一下這套方案適合誰(shuí)搞運(yùn)維的、做系統(tǒng)交付的、還有在做壓測(cè)和性能調(diào)優(yōu)的開發(fā)特別是那些服務(wù)器在隔離內(nèi)網(wǎng)、既不能隨便外聯(lián)也沒法用軟件源的場(chǎng)景??赐赀@篇文章你至少能解決兩件事一是知道怎么在沒有網(wǎng)的環(huán)境里把nmon跑起來二是知道采集到的那些看起來亂糟糟的文本數(shù)據(jù)怎么變成一張直觀的Excel圖表。1. 方案選型與總體思路1.1 為什么偏偏選 nmon 而不是其它監(jiān)控命令Linux下的性能監(jiān)控命令不少top、vmstat、iostat、sar各個(gè)都能輸出指標(biāo)但它們?cè)陔x線、需要長(zhǎng)期采集的場(chǎng)景里各有各的別扭。top適合臨時(shí)瞄一眼數(shù)據(jù)不落盤想回放歷史趨勢(shì)基本靠截圖vmstat和iostat能看實(shí)時(shí)信息也可以定時(shí)輸出但是指標(biāo)維度偏單一CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)要湊齊得同時(shí)開好幾個(gè)終端還得自己手工對(duì)齊時(shí)間軸sar相對(duì)完整但默認(rèn)依賴sysstat包離線環(huán)境下裝依賴本身就是個(gè)麻煩事而且默認(rèn)配置未必覆蓋你要監(jiān)控的維度。nmon不一樣它在設(shè)計(jì)上就很貼合“一個(gè)工具管到底”的思路。安裝包本身是一個(gè)二進(jìn)制文件拷過去就能執(zhí)行交互模式下按幾個(gè)快捷鍵就能看到CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)、進(jìn)程等十幾類信息采集模式下可以后臺(tái)連續(xù)記錄輸出一個(gè)自描述格式的.nmon文件里面把每類指標(biāo)按區(qū)塊組織好后續(xù)拿到辦公機(jī)上用表格軟件打開或者交給第三方分析器全鏈路都是通的。我實(shí)測(cè)下來nmon的采集對(duì)系統(tǒng)本身的影響也比較小默認(rèn)2秒一個(gè)采樣點(diǎn)只增加極小的CPU開銷在性能問題排查的場(chǎng)景下可以接受。我把常見的監(jiān)控工具做了一個(gè)簡(jiǎn)單對(duì)比方便你判斷自己的場(chǎng)景到底選誰(shuí)。工具實(shí)時(shí)查看長(zhǎng)期采集指標(biāo)維度離線部署難度數(shù)據(jù)后續(xù)處理top強(qiáng)弱CPU、內(nèi)存、進(jìn)程為主低差vmstat中中CPU、內(nèi)存、IO低中iostat中中磁盤IO低中sar中強(qiáng)覆蓋面廣高依賴sysstat中nmon強(qiáng)強(qiáng)CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)、進(jìn)程等極低強(qiáng)適合Excel如果你的需求是“某一個(gè)時(shí)間窗口內(nèi)發(fā)生了什么、當(dāng)時(shí)各維度資源是啥狀態(tài)”nmon的綜合成本最低。它不僅在采集階段省心在數(shù)據(jù)分析階段也少折騰這一點(diǎn)到后面講Excel處理時(shí)體會(huì)會(huì)更明顯。1.2 離線場(chǎng)景下的完整落地鏈路離線環(huán)境做監(jiān)控最容易卡住的地方不是工具本身而是“怎么把工具弄進(jìn)去”和“怎么把數(shù)據(jù)弄出來”。內(nèi)網(wǎng)服務(wù)器出于安全考慮通常不開放外網(wǎng)訪問也沒有配可用的軟件源鏡像這時(shí)候直接執(zhí)行yum install是不現(xiàn)實(shí)的你需要先在能聯(lián)網(wǎng)的機(jī)器上把安裝包準(zhǔn)備好再通過運(yùn)維通道傳進(jìn)去。整個(gè)方案的鏈路我分成五步第一步在聯(lián)網(wǎng)主機(jī)上獲取nmon的二進(jìn)制包同時(shí)確認(rèn)它依賴的動(dòng)態(tài)庫(kù)有哪些第二步把二進(jìn)制包傳到離線服務(wù)器的指定目錄賦予可執(zhí)行權(quán)限并做一次干凈運(yùn)行驗(yàn)證第三步根據(jù)監(jiān)控需求計(jì)算采樣間隔和采樣次數(shù)用nmon的后臺(tái)采集模式輸出數(shù)據(jù)文件第四步把.nmon文件傳回本地辦公機(jī)做格式轉(zhuǎn)換得到Excel可以直接識(shí)別的表格第五步在Excel里繪制趨勢(shì)圖結(jié)合業(yè)務(wù)時(shí)間點(diǎn)分析瓶頸。這里面每一步都有能踩的坑比如64位系統(tǒng)和32位二進(jìn)制不兼容、缺少動(dòng)態(tài)庫(kù)導(dǎo)致執(zhí)行時(shí)報(bào)錯(cuò)、crontab里寫相對(duì)路徑導(dǎo)致定時(shí)任務(wù)跑不起來、采集文件積攢太多把磁盤寫滿等等。文章主體部分我會(huì)把每一個(gè)環(huán)節(jié)的做法和替代方案都講透盡量讓你照著操作一遍就能完整跑通。2. 離線安裝包準(zhǔn)備與安裝驗(yàn)證2.1 在聯(lián)網(wǎng)主機(jī)上準(zhǔn)備安裝包nmon的發(fā)布形式有幾種最常見的是直接提供各個(gè)平臺(tái)編譯好的二進(jìn)制壓縮包里面已經(jīng)包含了多種CPU架構(gòu)和系統(tǒng)版本對(duì)應(yīng)的可執(zhí)行文件另一種是打包成rpm適合通過包管理工具安裝。離線環(huán)境下我更推薦直接拿二進(jìn)制因?yàn)樗灰蕾囅到y(tǒng)的包管理數(shù)據(jù)庫(kù)拷過去就能當(dāng)綠色工具用rpm方式反而多一步依賴檢查。在聯(lián)通的臨時(shí)主機(jī)上最簡(jiǎn)單的獲取方式是用yumdownloader把rpm包拉下來。這個(gè)命令本身來自yum-utils如果機(jī)器上沒有可以先裝上然后執(zhí)行下面這段yum install -y yum-utils mkdir -p /tmp/nmon_pkg yumdownloader nmon --resolve --destdir/tmp/nmon_pkg執(zhí)行完以后/tmp/nmon_pkg目錄下會(huì)出現(xiàn)nmon的rpm包以及它依賴的其它包比如ncurses-libs。--resolve這個(gè)參數(shù)很關(guān)鍵它會(huì)把nmon運(yùn)行所需的動(dòng)態(tài)庫(kù)依賴一起拉下來省得你在離線服務(wù)器上裝到一半發(fā)現(xiàn)缺庫(kù)。如果機(jī)器能訪問軟件源里的所有擴(kuò)展倉(cāng)庫(kù)也可以直接把整個(gè)依賴樹打包。實(shí)際生產(chǎn)環(huán)境中大量服務(wù)器是連軟件源都不通的。這種情況下我的做法是找一臺(tái)和離線服務(wù)器操作系統(tǒng)版本相同、且能聯(lián)機(jī)的跳板機(jī)在跳板機(jī)上執(zhí)行上面的命令然后用scp把rpm包推到內(nèi)網(wǎng)服務(wù)器上。操作系統(tǒng)版本盡量一致因?yàn)椴煌姹緦?duì)glibc和ncurses的版本要求有差異跨大版本容易翻車。如果你拿到的不是rpm包而是一個(gè)zip格式的壓縮包解壓以后會(huì)看到一堆帶系統(tǒng)后綴的二進(jìn)制文件比如帶_x86_64_centos7后綴的那個(gè)就是CentOS 7 64位對(duì)應(yīng)的版本。選定的文件單獨(dú)抽出來剩下的一概不管。2.2 上傳、安裝與快速驗(yàn)證先把準(zhǔn)備好的二進(jìn)制文件傳到目標(biāo)服務(wù)器。內(nèi)網(wǎng)環(huán)境常見的通道是堡壘機(jī)加跳板或者直接通過運(yùn)維網(wǎng)絡(luò)傳文件。上傳完成后放到一個(gè)約定好的目錄比如/opt/nmon方便統(tǒng)一管理。如果是rpm形式安裝命令很簡(jiǎn)單rpm -ivh /tmp/nmon_pkg/nmon*.rpmrpm裝完以后可執(zhí)行文件一般會(huì)放到/usr/bin/nmon下面直接用nmon命令就能啟動(dòng)。如果是綠色二進(jìn)制方式需要手動(dòng)賦予執(zhí)行權(quán)限chmod x /opt/nmon/nmon_x86_64_centos7 ln -s /opt/nmon/nmon_x86_64_centos7 /usr/bin/nmon做完軟鏈接以后nmon命令在任何目錄下都能直接調(diào)用后面寫crontab也就省心。下一步做驗(yàn)證直接在終端敲nmon如果屏幕上出現(xiàn)了從上到下的實(shí)時(shí)數(shù)據(jù)面板說明二進(jìn)制能跑動(dòng)態(tài)庫(kù)也都齊了。提示如果執(zhí)行時(shí)提示找不到共享庫(kù)文件最常見的原因是ncurses庫(kù)缺失或版本不對(duì)。CentOS 7離線環(huán)境里可以先嘗試rpm -qa | grep ncurses看看已安裝的版本正常情況下系統(tǒng)自帶的ncurses-libs就能滿足要求只有那種被極度裁剪過的基礎(chǔ)鏡像才需要手動(dòng)補(bǔ)裝。驗(yàn)證結(jié)束時(shí)按q退出交互界面就能回到命令行。到這里離線安裝環(huán)節(jié)就算收尾了后面要做的所有采集和分析都建立在這個(gè)能正常運(yùn)行的二進(jìn)制之上。3. nmon 數(shù)據(jù)采集實(shí)操3.1 交互模式快速查看系統(tǒng)狀態(tài)啟動(dòng)nmon之后它是一個(gè)全屏交互界面底層按鍵控制顯示哪些數(shù)據(jù)。剛進(jìn)去默認(rèn)只顯示基礎(chǔ)信息這時(shí)候可以按下面的常用鍵來切換視圖按c顯示CPU的每核心使用率以及整體匯總按m顯示物理內(nèi)存和交換分區(qū)的使用情況按d顯示磁盤組的讀寫速率和繁忙度按n顯示各網(wǎng)卡的收發(fā)包和速率按t顯示系統(tǒng)最耗CPU的進(jìn)程列表按V顯示虛擬內(nèi)存相關(guān)統(tǒng)計(jì)。交互模式適合在線排查比如接到報(bào)警說某臺(tái)機(jī)器CPU滿載登上去敲nmon按c和t一秒鐘之內(nèi)就能看到是哪個(gè)進(jìn)程在吃CPU非常直接。不過它有一個(gè)局限一旦退出nmon數(shù)據(jù)就全沒了沒法回溯之前十分鐘發(fā)生了什么。所以但凡要做周期性觀測(cè)或者事后分析就必須切換到后臺(tái)采集模式。真正到性能分析的時(shí)候我習(xí)慣的流程是先在交互模式下快速看一眼當(dāng)前狀態(tài)然后立刻啟動(dòng)后臺(tái)采集讓它連續(xù)記錄一段時(shí)間這樣既有現(xiàn)場(chǎng)快照又有完整曲線兩邊信息互相印證。3.2 后臺(tái)采集模式的參數(shù)設(shè)計(jì)與原理解讀nmon的后臺(tái)采集模式核心就一句話定期把各項(xiàng)指標(biāo)追加寫入文件跑夠指定次數(shù)后自動(dòng)退出。命令格式如下nmon -f -s 5 -c 720 -m /var/log/nmon這里-f表示后臺(tái)寫文件模式輸出文件會(huì)自動(dòng)按主機(jī)名和時(shí)間戳命名比如xxx_220601_1530.nmon-s 5表示每5秒采集一次-c 720表示總共采集720次-m指定輸出目錄。5秒乘以720次正好是3600秒也就是一小時(shí)。如果你想要不同的采集時(shí)長(zhǎng)記住這個(gè)公式采集間隔秒數(shù)乘以采集次數(shù)等于總時(shí)長(zhǎng)秒數(shù)。參數(shù)選型沒有絕對(duì)標(biāo)準(zhǔn)主要看你的分析粒度。如果是排查偶發(fā)性問題間隔定為10秒或30秒就夠了太密的采樣點(diǎn)除了讓文件變大、分析時(shí)圖表?yè)頂D并沒有額外價(jià)值如果是壓測(cè)現(xiàn)場(chǎng)需要看秒級(jí)抖動(dòng)那就用2到5秒的間隔。內(nèi)存和磁盤這類指標(biāo)變化相對(duì)平滑不需要過密采樣而CPU占比突發(fā)性很強(qiáng)想抓住瞬態(tài)峰值就最好用5秒以內(nèi)的間隔。實(shí)際使用中nmon采集進(jìn)程會(huì)常駐在前臺(tái)即使-f也不能真正后臺(tái)化。如果你希望它完全脫離終端運(yùn)行可以在命令前加nohup讓它轉(zhuǎn)向后臺(tái)執(zhí)行?,F(xiàn)在的系統(tǒng)服務(wù)里很多人會(huì)把它做成systemd服務(wù)來托管但離線二進(jìn)制配合nohup已經(jīng)足夠應(yīng)付大多數(shù)臨時(shí)采集需求不需要把復(fù)雜度提得太高。采集文件的大小也和采樣頻率成正比。按5秒間隔采集一天文件大概在幾十MB上下按1秒間隔會(huì)大得多。對(duì)長(zhǎng)期監(jiān)控來說我的建議是先算一下磁盤余量再把輸出目錄掛到有獨(dú)立空間的分區(qū)避免把根目錄撐爆。3.3 定時(shí)采集與文件管理策略很多場(chǎng)景下監(jiān)控不是一次性任務(wù)而是一天24小時(shí)、連續(xù)一周甚至更久的例行工作。比如你想觀察業(yè)務(wù)高峰期的資源變化提前預(yù)判擴(kuò)容時(shí)機(jī)就需要每天固定時(shí)段采集。這時(shí)候crontab是比手工執(zhí)行更靠譜的選擇。在crontab里加一行比如每天早8點(diǎn)開始采集8小時(shí)每10秒一個(gè)采樣點(diǎn)0 8 * * * /usr/bin/nmon -f -s 10 -c 2880 -m /var/log/nmon /dev/null 2110秒乘以2880次就是28800秒正好8小時(shí)。注意crontab里的執(zhí)行命令最好寫絕對(duì)路徑包括nmon路徑和輸出目錄路徑否則容易出現(xiàn)任務(wù)執(zhí)行了但文件不知道寫到哪去的情況這類問題一會(huì)兒到常見問題部分細(xì)說。長(zhǎng)期跑下來/var/log/nmon目錄會(huì)積累大量文件。我建議寫一個(gè)簡(jiǎn)單的清理腳本配合crontab執(zhí)行比如只保留最近30天的.nmon文件。腳本不復(fù)雜核心就是把超過保留天數(shù)的文件刪掉find /var/log/nmon -name *.nmon -mtime 30 -delete運(yùn)維實(shí)踐里還有一個(gè)很多人忽略的點(diǎn)監(jiān)控文件本身也要有統(tǒng)一的命名和歸檔習(xí)慣。nmon默認(rèn)按主機(jī)名和時(shí)間命名如果你的服務(wù)器命名混亂建議在采集腳本里對(duì)生成文件做一次重命名加上環(huán)境和業(yè)務(wù)標(biāo)簽比如帶上應(yīng)用名縮寫和內(nèi)網(wǎng)IP的最后一段這樣后續(xù)從幾十臺(tái)機(jī)器收集來的數(shù)據(jù)放到一起時(shí)一眼就能分辨出是哪臺(tái)機(jī)器哪天的采集結(jié)果。4. nmon 數(shù)據(jù)解析與 Excel 化處理4.1 nmon 文件格式到底長(zhǎng)什么樣拿到.nmon文件以后直接用文本編輯器打開你會(huì)發(fā)現(xiàn)它不是二進(jìn)制亂碼而是結(jié)構(gòu)化的文本里面每一行以AAA開頭后面跟著指標(biāo)區(qū)塊名和數(shù)據(jù)。這種設(shè)計(jì)的精妙之處在于它把不同類型的數(shù)據(jù)用區(qū)塊隔離開解析的時(shí)候只要按區(qū)塊名取值就行后續(xù)無論是寫腳本轉(zhuǎn)換還是交給現(xiàn)成工具成本都很低。舉個(gè)最典型的結(jié)構(gòu)AAA,procx,Linux,221201,1530,09,3.10.0-957.el7.x86_64 AAA,CPU001,12,6,80,2 AAA,CPU_ALL,5,3,90,2 AAA,MEM,MemoryMB,2048000,2048000,0,0,0,0,1274374,... AAA,NET,eth0,0,0,0,0,0,0,0,0,... AAA,DISKBUSY,sda,12.5第一行是元數(shù)據(jù)包含主機(jī)名、系統(tǒng)版本、采集起始時(shí)間和內(nèi)核版本CPU_ALL后面的數(shù)字分別是用戶態(tài)占比、系統(tǒng)態(tài)占比、空閑占比等MEM后面是各種內(nèi)存總量、可用量NET后面跟著收發(fā)包字節(jié)數(shù)DISKBUSY那類行則是磁盤繁忙度。字段順序在不同版本的nmon里會(huì)有細(xì)微差異所以做轉(zhuǎn)換腳本的時(shí)候不能硬編碼列序號(hào)我后面給出的腳本會(huì)更穩(wěn)健地按區(qū)塊處理。用Excel直接打開這個(gè)文件不是不行但體驗(yàn)很差因?yàn)槲谋纠锎罅吭畔⑿小⒉煌笜?biāo)的列寬不齊而且時(shí)間戳格式對(duì)Excel不友好做圖表時(shí)軸上的時(shí)間點(diǎn)會(huì)對(duì)不齊。所以中間必須經(jīng)過一個(gè)轉(zhuǎn)換環(huán)節(jié)。4.2 用腳本把 nmon 轉(zhuǎn)成規(guī)整的 CSV轉(zhuǎn)換的思路并不復(fù)雜讀原始文件按行區(qū)分區(qū)塊把每個(gè)區(qū)塊內(nèi)相同指標(biāo)的行攢起來最后輸出成若干列。為了實(shí)用性重點(diǎn)提取CPU_ALL、MEM、DISKBUSY、NET這幾個(gè)最常見區(qū)塊就夠了其它細(xì)節(jié)指標(biāo)可以按需擴(kuò)展。下面這個(gè)腳本是我在實(shí)際項(xiàng)目中用過的簡(jiǎn)化版用Python3編寫核心邏輯做了幾處穩(wěn)健性處理比如不管區(qū)塊行首是否有空格都先strip把各種字段保留為文本防止Excel把前導(dǎo)零吞掉。import csv import sys def parse_nmon(path): # 收集各區(qū)塊的全部行 blocks {} with open(path, r, encodingutf-8, errorsignore) as f: for line in f: line line.strip() if line.startswith(AAA): parts line.split(,) tag parts[1] blocks.setdefault(tag, []).append(parts) return blocks def convert(input_path, output_path): blocks parse_nmon(input_path) # 只處理關(guān)心的幾個(gè)核心區(qū)塊 wanted (CPU_ALL, MEM, DISKBUSY, NET) selected {tag: blocks[tag] for tag in wanted if tag in blocks} times [] col_data {} for tag, rows in selected.items(): for parts in rows: if len(parts) 5: continue ts parts[2] times.append(ts) col_data.setdefault(tag, []).append(parts[3:]) # 按時(shí)間點(diǎn)對(duì)齊輸出 with open(output_path, w, newline) as f: w csv.writer(f) header [time] for tag in selected: sample_len len(col_data[tag][0]) if col_data[tag] else 0 header.extend([{}_{}.format(tag, idx) for idx in range(sample_len)]) w.writerow(header) row_count len(times) for i in range(row_count): row [times[i]] for tag in selected: if i len(col_data[tag]): row.extend(col_data[tag][i]) w.writerow(row) if __name__ __main__: source sys.argv[1] target source.replace(.nmon, .csv) convert(source, target)運(yùn)行方式也很簡(jiǎn)單python3 nmon2csv.py server_221201_1530.nmon運(yùn)行完以后Excel打開這個(gè)CSV就能看到規(guī)整的表第一列是時(shí)間后面每一列對(duì)應(yīng)一個(gè)采集指標(biāo)。如果覺得指標(biāo)列還是太雜可以在腳本里把需要的列單獨(dú)挑出來只留CPU用戶態(tài)、系統(tǒng)態(tài)、空閑率、內(nèi)存總量、可用量、磁盤總線忙綠比這些核心指標(biāo)。注意如果.nmon文件是從Windows環(huán)境傳輸過來的文本行尾可能帶了\r回車符打開前最好用dos2unix轉(zhuǎn)換成LF否則CSV的表格會(huì)被弄出多余空行。站點(diǎn)上還有一些現(xiàn)成的第三方Excel分析宏原理上就是替你做了解析和制圖導(dǎo)出的圖表更豐富。但我個(gè)人體驗(yàn)是自己手握一個(gè)轉(zhuǎn)換腳本更靈活起碼可以按自己的口徑去定義指標(biāo)也不會(huì)被宏的安全設(shè)置卡住。5. Excel 圖表制作與性能瓶頸分析5.1 核心指標(biāo)怎么選才不會(huì)看花眼一個(gè).nmon文件轉(zhuǎn)換出來指標(biāo)列可能有幾十列如果全部丟進(jìn)Excel做折線圖結(jié)果就是一坨毛線什么也解讀不出來。實(shí)際分析時(shí)我的習(xí)慣是先明確問題域再挑重點(diǎn)維度通常從四個(gè)方向入手。CPU維度只看兩個(gè)指標(biāo)CPU_ALL里的用戶態(tài)占比和系統(tǒng)態(tài)占比。用戶態(tài)高說明應(yīng)用或者計(jì)算任務(wù)吃CPU系統(tǒng)態(tài)高往往意味著系統(tǒng)調(diào)用頻繁、鎖競(jìng)爭(zhēng)或者內(nèi)核態(tài)模塊在消耗資源兩類原因?qū)?yīng)的排查方向完全不同。內(nèi)存維度優(yōu)先看可用內(nèi)存的絕對(duì)值以及swap的讀寫量這兩個(gè)指標(biāo)能反映內(nèi)存是否真的吃緊。磁盤維度看DISKBUSY的百分比配合CPU的等待占比能夠區(qū)分磁盤I/O瓶頸和純CPU計(jì)算瓶頸。網(wǎng)絡(luò)維度看收發(fā)包速率和錯(cuò)誤包數(shù)量判斷是否存在流量異常。選指標(biāo)時(shí)還有一個(gè)容易被忽略的地方字段單位。內(nèi)存的原始值在nmon里是MB網(wǎng)絡(luò)速率可能是KB/s如果混在一張圖里數(shù)量級(jí)差著上千倍小塊數(shù)據(jù)會(huì)被大塊數(shù)據(jù)直接壓成一條直線。遇到這種情況要么分開成兩張圖要么用Excel的次坐標(biāo)軸讓兩條曲線各用各的刻度。5.2 Excel 折線圖制作與坐標(biāo)軸對(duì)齊技巧轉(zhuǎn)換出來的CSV文件用Excel打開后做圖表的步驟并不復(fù)雜。先選中時(shí)間列和你想看的指標(biāo)列插入折線圖然后調(diào)整X軸格式。這里有一個(gè)實(shí)戰(zhàn)小技巧如果時(shí)間列是1530這種HHMMSS文本格式不要直接當(dāng)坐標(biāo)軸用先把它轉(zhuǎn)成常規(guī)時(shí)間格式否則圖表橫軸要么出現(xiàn)1800這種超大的數(shù)要么被錯(cuò)誤當(dāng)作文本排序。最簡(jiǎn)單的處理方式是在CSV轉(zhuǎn)換腳本里就把時(shí)間格式化成Excel認(rèn)識(shí)的HH:MM:SS字符串再在Excel里把該列設(shè)置為時(shí)間格式。插入圖表時(shí)橫軸選擇該列生成的折線就會(huì)按采集時(shí)間均勻鋪開。如果中間有斷點(diǎn)檢查原始.nmon文件里是不是某一次采集沒寫進(jìn)去這種斷點(diǎn)往往對(duì)應(yīng)操作系統(tǒng)負(fù)載過高導(dǎo)致nmon進(jìn)程短暫卡死。多指標(biāo)對(duì)比時(shí)建議先做一張“總覽圖”把CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)的關(guān)鍵指標(biāo)都放上去用次坐標(biāo)軸區(qū)分量級(jí)發(fā)現(xiàn)哪個(gè)維度有異常趨勢(shì)再單獨(dú)抽出來做局部放大。分析長(zhǎng)期數(shù)據(jù)的時(shí)候可以用數(shù)據(jù)透視表把小時(shí)數(shù)據(jù)聚合觀察是否存在每天固定時(shí)間重復(fù)出現(xiàn)的高峰這比盯著原始秒級(jí)數(shù)據(jù)看更抓重點(diǎn)。5.3 從一個(gè)異常曲線反推瓶頸的分析方法有一次我處理過一個(gè)典型場(chǎng)景某個(gè)業(yè)務(wù)系統(tǒng)每天下午兩點(diǎn)左右響應(yīng)變慢應(yīng)用日志里沒有明顯報(bào)錯(cuò)但用戶端感覺明顯延遲。運(yùn)維同事在服務(wù)器上臨時(shí)起了nmon采集頻率30秒一次連續(xù)跑了三天。把Excel圖表拉出來以后每天下午兩點(diǎn)這條時(shí)間軸附近CPU的用戶態(tài)占比并不高但等待占比從5%一下跳到40%以上對(duì)應(yīng)的磁盤繁忙度也同步?jīng)_高到90%左右。這個(gè)匹配關(guān)系說明瓶頸不在CPU計(jì)算而在磁盤I/O。再往下深挖發(fā)現(xiàn)那個(gè)時(shí)間點(diǎn)正好是定時(shí)數(shù)據(jù)備份任務(wù)啟動(dòng)的窗口備份任務(wù)對(duì)大目錄做全量掃描并寫盤把I/O帶寬基本吃滿。后來把備份任務(wù)挪到業(yè)務(wù)低峰期響應(yīng)時(shí)間的報(bào)警就消失了。這個(gè)過程里Excel圖表的作用就是把三個(gè)獨(dú)立的指標(biāo)按照同一時(shí)間軸擺在一起讓相關(guān)性一目了然。如果只看實(shí)時(shí)top或者分段日志很難把磁盤繁忙和系統(tǒng)卡頓這兩件事關(guān)聯(lián)起來。所以做分析的時(shí)候不要只畫一張孤立的指標(biāo)曲線而是盡量把CPU等待、磁盤IO、網(wǎng)絡(luò)速率放在同一個(gè)時(shí)間窗口里對(duì)照這樣才更容易找出真正的因果鏈。6. 常見問題與避坑指南6.1 現(xiàn)場(chǎng)高頻問題速查表離線環(huán)境安裝和后續(xù)采集踩坑的密集程度遠(yuǎn)比想象中高。下面這張表匯總了我見過的大多數(shù)問題每一行都對(duì)應(yīng)一個(gè)真實(shí)發(fā)生過的場(chǎng)景。現(xiàn)象常見原因解決辦法執(zhí)行nmon提示Permission denied二進(jìn)制文件沒有可執(zhí)行權(quán)限chmod x 對(duì)應(yīng)二進(jìn)制提示error while loading shared libraries: libncurses.so.5ncurses動(dòng)態(tài)庫(kù)缺失或版本不匹配檢查ncurses-libs是否已安裝rpm -q ncurses-libs界面能打開但數(shù)字不刷新終端類型不對(duì)部分SSH客戶端對(duì)全屏刷新支持差換用標(biāo)準(zhǔn)終端或xterm重新連接后啟動(dòng)nmon找不到輸出文件crontab看起來沒執(zhí)行cron環(huán)境變量PATH里沒有nmon路徑crontab中寫完整路徑 /usr/bin/nmon采集文件內(nèi)容正常但Excel打開亂序文本行尾回車符來自Windows批量傳輸用dos2unix處理后再轉(zhuǎn)換或改傳輸模式為binarynmon運(yùn)行報(bào)date相關(guān)的錯(cuò)誤服務(wù)器系統(tǒng)時(shí)間異?;驎r(shí)間同步服務(wù)未工作先校準(zhǔn)系統(tǒng)時(shí)間再重啟nmon采集采集文件越積越大磁盤空間告急沒有配置清理策略用find按mtime定期清理并評(píng)估采集頻率兩個(gè)不同平臺(tái)的二進(jìn)制傳錯(cuò)下載包里面對(duì)應(yīng)的是另一個(gè)架構(gòu)的版本確認(rèn)uname -m結(jié)果選擇匹配的二進(jìn)制這張表里最容易被忽略的是crontab路徑問題。crontab啟動(dòng)時(shí)加載的PATH很精簡(jiǎn)并不包含/opt/nmon這類自定義目錄。之前有人把nmon放在/opt/nmon下crontab里只寫了nmon -f -s 30 -c 120任務(wù)確實(shí)在跑但系統(tǒng)找不到命令文件一個(gè)都沒有生成。改成寫全絕對(duì)路徑以后問題立刻解決。6.2 長(zhǎng)期監(jiān)控的幾條實(shí)操心得在做長(zhǎng)期nmon監(jiān)控的時(shí)候我總結(jié)了幾條經(jīng)驗(yàn)未必在官方文檔里看得到但實(shí)際幫過我不少忙。第一條正式部署前先做短周期小批量驗(yàn)證。不管你計(jì)劃用30秒還是5秒的采樣間隔先跑個(gè)兩分鐘的測(cè)試采集確認(rèn)文件能正常生成再用Excel打開確認(rèn)格式對(duì)最后才掛到crontab里長(zhǎng)期跑。每次調(diào)整參數(shù)都這樣來一遍能省掉大量來回排查的時(shí)間。第二條命名規(guī)范要提前定好。nmon默認(rèn)的文件名帶主機(jī)名但如果你的服務(wù)器命名沒有業(yè)務(wù)含義數(shù)據(jù)混在一起根本分不清。我的做法是把采集腳本里加上環(huán)境名前綴比如在腳本里執(zhí)行一次重命名把文件統(tǒng)一整理為app_web01_20220601.nmon這種格式這樣后續(xù)歸檔和檢索都高效。第三條采集目錄要和系統(tǒng)根目錄分離。長(zhǎng)期監(jiān)控必然產(chǎn)生文件如果/var/log所在分區(qū)本來就緊張監(jiān)控?cái)?shù)據(jù)會(huì)在不知不覺中把磁盤吃出一塊隱患。把采集目錄掛到獨(dú)立分區(qū)或者至少給/var/log單獨(dú)留足空間這是成本極低但收益明顯的一條。第四條數(shù)據(jù)傳回本地時(shí)盡量壓縮傳輸。一個(gè)高頻率采集的nmon文件可能幾十MB如果每天都要從幾十臺(tái)服務(wù)器拉回來帶寬開銷不小。先gzip或使用壓縮工具壓一遍再傳能減少大半體積本地解壓后再分析流程完全不受影響。最后再說點(diǎn)實(shí)在的按上面這套流程走下來從離線安裝到Excel圖表分析工具鏈其實(shí)非常輕一個(gè)可執(zhí)行文件、一個(gè)轉(zhuǎn)換腳本、一個(gè)Excel模板就構(gòu)成了一條完整的性能排查流水線。我個(gè)人在使用中的一個(gè)體會(huì)是nmon的價(jià)值不止在于“能看到實(shí)時(shí)狀態(tài)”更在于“采集成本足夠低、數(shù)據(jù)形態(tài)足夠開放”讓后續(xù)分析有充分的自由度。你完全可以先把這套流程跑通再根據(jù)自己服務(wù)器的實(shí)際情況去定義指標(biāo)口徑和制圖模板時(shí)間長(zhǎng)了甚至可以沉淀出一套適合自己團(tuán)隊(duì)的性能分析套路。真到了線上出故障、需要快速翻歷史曲線的時(shí)候你會(huì)發(fā)現(xiàn)提前布置nmon絕對(duì)是一件高性價(jià)比的事。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷五月精品在线| 777精品久无码人妻蜜桃| 激情婷婷九月| 亚洲成人在线免费| 色丁香综合影院| 国产肥白大熟妇BBBB视频| 五月天a婷婷伊人| 性av| 天天干夜夜谢| 国产VA播放| 亚洲国产精品SUV| 婷婷丁香五月天亚洲| 婷婷色狠狠| 停婷丁五月在线| 97欧美在线| 变态另类9| 久久只有精| 极品人妻VIDEOSSS人妻| 这里只有精品在线视频在线观看| 人人人操Av| 欧美顶级少妇做爰HD| 丁香五月久久综合| 激情四射网| 亚洲超碰在线| 26UUU欧美| 玖玖爱伊人| 国产人妻人伦精品一区二区| 婷婷五月天播播| 九九色影院| 色五月色综合| 五月天激情网图片 - 百度| 91狠狠综合久久久| 99re在线视频精品,这里只有精品18,| 综合啪啪| 成人做爰A片免费看网站找不到了| 激情图片99| 婷婷五月天av小说| 亚洲色区17| www.婷婷com| 婷婷五月天丁香| 久久综合99| WWW.99视频| 99综合| 五月婷婷网站| 丁香狠狠色婷婷久久无码视频| 五月婷婷花| 久久婷婷五月综合色播| 五月丁香婷婷成人综合网| 狠色狠色综合久久| 玖玖婷婷五月天| 丁香六月婷婷综合欧美| 激情久久丁香| 91狠狠综合久久| 婷婷五月影院| 天天日色情| 婷婷五月天国产传媒| 五月婷婷亚洲天堂97色婷婷| 免费V片在线| 日本nghangse中文字幕| 伊人网大香| 开心激情站| 婷婷五月天色色| 九九热黄色| 大香蕉啪啪| 中文字幕在线观看视频www| 天天射综合网站| 五月婷婷久久综合| 超碰亚洲欧美| 中文字幕激情综合| 婷婷五月丁香超碰| 欧美综合激情五月丁香| 色综合色综合色综合色综合| 99热在线只有精品| 色色97丁香婷婷五月天| 亚洲天堂久久| 国产成人亚洲综合A∨婷婷| AV中文字幕夜夜操b天天摸bb| 国产精品A片在线| 久综合九| 五月丁香五月天现场视频| 开心激情综合| 丁香五月影视| 婷婷五月天视| 99久久五月婷婷| 九色视频91疯狂| 九九碰九九爱97超碰| 欧美日韩成卜| 丁香五月婷婷色情综合| 亚洲性爱区无码区| 久久99网站| AAA级久久久精品| 婷婷丁香五月社区亚洲| 91综合在线| 婷婷五月激情片| 99re思思热久久| 五月综合激情| 婷婷激情五月呦呦| 五月综合亚洲色| 丁香六月天婷婷开心综合| 天天综合网站| 婷婷碰碰| 精品无码av丁香五月激情| 婷婷五月深爱五月| 丁香五月电影| 五月停停999| 五月丁综合在线观看| 色五月天在线观看| 五月天全国最大成人网| 99爽视频| 久久婷婷资源| 天天射天天射一道本日本社区 | 开心五月婷婷激情| 大香蕉天堂色| 婷婷综合成人五月天| 亚洲天天操| 久久久激情| 亚洲另类AV| 噜噜色天天开心| 久久五月婷天天干| av国产精品| 91啪啪网| 色婷婷五月天偷拍| 99re资源在线视频导航| 色噜噜,噜噜色| 五月天操逼网| 五月亭亭欧美女人| 婷婷涩涩五月天| 国产精品18久久久| 久久久久久久丁香五月天婷婷| 婷婷色基地| 色色婷婷五月| 九九色热| 97艹| 99热插| 91互操| www999日韩精品| 91婷婷丁香| 婷婷亚洲天堂| 激情婷婷另类| 久久久久人妻| 五月天另类综合网| 五月综合缴情网| 五月激情综合深爱| 激情宗合网激情五月天| 日韩无码专区| 丁香婷婷五月天校园春色| 久久婷婷综合国产| 久久久久99精品成人网站| 开心五月深爱五月丁香五月激情五月| 色婷婷成人做爰A片免费看网站| 五月婷婷激情久久| 91精品久久久久久| 久热99| 91色色色视频| 秋霞A V毛片| 天天插天天玩天天干| 亚洲一色色色色色色色色| 操一操插一插| 超碰免费成人| 婷婷中文字幕欧美| 97干免费视频| 五月天激情综合10p| 天天插,天天射| 日本WWW九九九| 欧美激情综合色综合啪啪五月| 九九黄色网| 这里只有精品日韩| 中文字幕丰满孑伦无码专区| 国产乱妇乱子伦| 久久综合99综合| 五月婷婷色男女| 色婷五月天| 丁香九月婷| 五月天精品综合| 热久久99热欧美国产亚洲| 久久99激情| 国产 码在线成人网站| 天天色2017| 五月久久网| oumeisesewang| 天天爽天天日天天舔| 成人网站免费在线播放| 激情五月成年| 爱射综合| 思思热视频在线| 亚洲亚洲激情| 五月丁香六月| 久久密臀婷婷| 亚洲无码九九九| A网在线欧洲| 五月天操逼激情| 五月丁香激情六月| 啪啪 综合网| 婷婷色影院| 极品色丁香| 99激情视频| 深爱激情网噜噜色| 六月丁香色色| 97夫妻超碰| 婷婷亚洲色| 97人操| 秋霞性爱AV| 再綫Av免费視品| 久久久久久久11111111111| 丁香五月五月婷婷欧美大香蕉| 第四色婷婷五月| 婷婷国产五月天17c| 亚洲激情综合| 99高级会所久久| 91大操| 无码色| 天天插天天狠| 9色免费网| 色综合色色| 人妻肉射免费观看| 婷婷丁香五另类网站| 这里有精品| 五月天综合在线观看| 日本 欧美在线| 三人荫蒂添的好舒服A片| 五月婷婷婷婷婷| 久久婷婷久久| 婷婷丁香大香蕉| 九九这里是免费的视频5| 丁香六月婷婷综合激情欧美| 五月丁香婷婷99| 26uuu亚洲| 六月色丁香中文字幕| 99亚洲视频| 99热官网| 欧美日综合| 婷婷五月丁香成人| 五月天丁香六月综合| 激情四射亚洲| 五月天色色网站| 丁香六月婷婷综合缴| 久久xxxx| 天天舔天天摸| 九九精品在线网| 六月丁香久久| 色综合香蕉| 1000部毛片A片免费观看| 九色无码| 欧美日韩AAA| www.99热| 99热主页日本| 色婷婷五月影视| 久久er99热精品一区二区| 99爱视频免费| 五月天六月婷| 色婷五月| 欧美25p| 热婷婷av| 97日本在线播放| 亚州色色色| 99热这里只有精品青草| www夜夜操wwwcon| 亚洲综合字幕色色| 婷婷精品在线| 中文字幕精品在线观看| www.五月丁香| 日韩黄色AV无码| 久久久天堂国产精品女人| 99色干| 天天夜夜爽| 婷婷综合五月天激情| AV五月丁香| 欧美婷婷综合| 亚洲AV永久无码影院黑人| 日本视频久久| 日韩av一区二区在线/日产精品久久久| 99久久综合网| 99热91| 五月天婷婷伊人| 热99AV网站| 99色热视频| 丁香五月综合色婷婷| 婷婷五月天激情综合| 亚洲精品444久久久久久| 综合久久激情久久| 午夜微拍福利| 日韩无码系列| 欧美啪啪9| 99热线观看9| 色射7856五月天激情四射| 九九精品9| 丁香五月欧美婷婷综合| 色婷婷在线电影| 做爰丰满少妇1313| 丁香婷婷狠狠97| 开心五月色婷婷综合开心网| 亚洲黄网AV| 国产精品久久久久久喷浆| 少妇AB又爽又紧无码网站| 狠狠干综合| 九九av| 97色吧| 色噜噜狠狠色综无码久久合欧美| 免费视频在线观看的网站| 白人荫道BBWBBB大荫道| 4399无码视频二区| 日韩美女在线视频19| 无码九九九九| 操久久网| 五月婷婷熟女| 可以免费看AV网站| 国产欧美va| 天天日 天天草| 一级精品999WWW| 色综合色五月| 国产精品第一国产精品| 伊人激情综合| 五月婷婷激情久久| 好吊操这里只有精品| 五月丁香婷婷激情在线| 欧美Va日本Va| 99操99| 狠狠干,狠狠操| 国产一级视频a| 九月婷婷人人操人人舔人人爱| 丁香五夜激情四射夜夜夜| 亚洲四色五月| 伊人五月天综合网| 这里只有精彩亚洲视频推荐| 蜜臀av粉嫩av懂色av| 亚洲成人在线免费| 99国产在线精品视频| 久久XX日本综合| 99热插| 亚洲婷婷五月天在线激情综合网| 中文字幕 久久9999| 午夜五月天| 99日在线视频| 久久五月婷天天干| 婷婷色五月丁香六月欧美啪| 国产资源91在线| 天天日日夜夜| 丰满少妇猛烈A片免费看观看| 色综合久久无码| 五月婷婷色综图片| 五月丁香激情深爱婷婷| 九九99免费理论| 激情又色又爽又黄的A片 | 男人的天堂五月丁香| 九九热视频在线观看| 高清无码视频网址| 五月婷av| 开心五月丁香综合久久| 99啪99| 伊人综合网站| 婷婷色在线视频| 丁香五月视频在线观看| 99热丁香| 97在线天堂| 色综合婷婷| 69激情小说| 欧美精品啪啪| 色婷婷五月综合色婷婷| 99久热这里有精品| 99视频网址| 五月开心播播网| 欧美性久| 都市激情五月婷婷亚洲| WWW.国产| 激情四射五月天| www.开心激情| 免费看欧美成人A片无码| 91色逼| 色六月视频| 五月丁香六月激情综合| 婷婷五月天丁香社区| 五月丁香亚洲综合网| 97香蕉久久超级碰碰高清版| AV免费在线网站| 五月情婷婷五月| 色综合久久天天综合网| 亚洲婷婷激情综合激情999精品| 激情综合网五月天天| 91视频五月丁香| 婷婷激情五月呦呦| 开心久久爱五月天| 免费视频无码| 五月天婷婷色色| 国产性爱一级| 青青久久大香蕉| 婷婷五月丁香伊人网| 午夜免费试看| 亲子乱AV一区二区三区下载| 久久久五月五丁香| www.无码com| 五月花亭亭| 五月激情在线| 五月婷婷六月丁| 日韩欧美颜射| 91色婷婷综合久久中文字幕二区| 96精品久久久久久久久| 久久婷婷五月天激情四射| 丁香五月婷婷色播艳门照| 色婷婷基地 | 免费国产VA国产免费| 丁香五月色色| 色五月综合激情| 婷婷五月天网址| 91视频久久久| 超碰人人91| 97在线日本| 丁香五月五婷| av人人操| 亚洲激情网| 91九色成人原创视频| 久久99美女精彩视频| 丁香五月天堂婷婷| 国产精品成人av在线观看春天| 极品少妇高潮啪啪AV无码| 只有精品视频在线观看| 成人国产欧美大片一区| 欧美综合五月丁香五月天| 成人综合网站| 久久五月婷天天干| 九热视频免费观看| 最新av在线观看| 在线成人网址| 久久HD| 99热6这里只有精品6| 丁香六月啪啪| 中文字幕 久久9999| Av狠狠色丁香婷| 男女久久婷婷五月天| 曰本久久女| 99热在线这里| 99网址在线看| 国产激情久久| 九九综合久久| 六月婷欧美| 精品激情| 婷婷五月天激情综合| 任你躁XXXXX麻豆精品| 丁香五月六月欧美| 激情五月色综合网| 五月天婷婷小说| 亚洲五月天综合| 亚洲激情Av| 超碰男人色| 天天日天天添| 亚洲欧美成人在线观看| 91AV婷婷| 六月婷伊人| 精品热青草| 天天操婷婷| 五月婷婷黄色| 国产乱人偷精品人妻A片| 看国产探花操逼三级片| 国产成人+综合亚洲+天堂| 五月天伊人| 俺也高清无码高清视频| 精品久热| 精品日本视频444| 久久免费精彩视频| 亚洲性图一区二区三区| 婷婷久久色| 色婷婷97| 婷婷五月深深爱| 久久婷婷五月综合成人d啪| 99热亚洲| 国产激情综合五月久久| 精品色情一区二区三区四区| 一起草日本| 性一交一乱一交A片久久四色| peg 2区三区四区的| 七七色综合| 91超级碰| 婷婷狠狠色| 99色6爱9热| 丁香狠狠操| 激情五月天色色网| 五月精品| 亚洲九九在线| 婷婷丁香射射| 日本色久| 五六月婷婷久久| 99视频内射三四| 丁香婷婷视频一区二区| 丁香五月情色| 操人久久| 99久热在线精品99re6热| 任你草| 99热免费看| 激情综合五月激情| 亚洲av成人在线| 亚洲精品**不卡在线播he| 可以直接看的AV| 婷婷五月天激情免费在线观看| 狠狠色婷婷在线| 色婷婷四色| 亚洲乱码精品久久久久..| www热久久yy9| 五月天色婷婷网| 夜夜躁狠狠| 色欲久久久久久综合网综合网| 免费看欧美成人A片无码| 久久伊人大香蕉| 国产偷人妻精品一区| 激情纯色婷婷五月天在线不卡视频| 婷婷六月丁香欧美视频在线| 天天综合色丁香| 久久精品五月天| 伦乱人妻| 久久婷婷一级片| 婷婷五月天基地| 久久久久久综合88| 欧美色色色色色色| 狠狠摸狠狠摸| 五月丁香六月成人| 五月婷婷综合久久| 久热播这里只有精品| 国产成人VA| 91久操| 国产.亚洲.欧洲视频在线| 五月天婷婷丁香人人操91| 校花娇喘呻吟校长陈若雪视频| 这里只有精品视频99| 99热天堂| 久久总和99| 狠狠色综合网| 婷婷色导航| 99爱在线精品视频免费观看| 丁香六月婷婷一区二区三区| 激情五月丁香六月综合AVXXXX| 中文字幕 久久9999| 日本在线免费中文com.| 五月婷丁香在线视频在线| 狠狠看狠狠| 色婷婷五月天av在线| 激情综合区| 91色五月| 色狠狠激情五月| 思思视频久久| 美女要搞搞天天搞搞搞网站| 婷婷大美在线| 欧美亚洲操逼| 开心激情播播五月天| 亚洲经典小视频| 日日做天天操夜夜爽| 色 五月婷婷基地| 天天爽曰日爽| 激情综合色播| 99视频在线播放大全| 99爱精品| 综合网亚洲| 大香蕉综合在线| 99色在线| 日韩精品呦呦va| 99热精品网| 婷婷午夜综合| 五月丁香婷婷综合在线| 婷婷在线午夜| 婷婷99狠狠躁| 91色色色| 国产FREESEXVIDEOS性中国| 欧美情色一区| 婷婷五月色惰| 色欲人妻综合aaaaaaaa网| ri电影在线| 深爱激情久久| 综合五月婷婷| 婷婷五月天小说网| 国产成人AV不卡| 婷婷丁香五月天操逼| 色色综合激情| 综合欧美五月婷婷| 久热这里只有精品在线| 婷婷久久综| 人人播| 狠狠婷婷色综合| 日韩 mm 不卡| 丁香婷最新动态| 丁香五月天婷婷久久| 色色五月婷婷丁香| 丁香五月久久| 亚洲六月综合激情久久下卡| 91久久九久久九久久九久久九久久| 天天肏视频| 五月丁香人人婷婷在线观看| 婷婷色在线视频| 大香蕉九九| 五月婷婷性爱网| 操操人人| 婷婷中文字暮| 色综合五月天| 色婷婷五月天无码视频| 五月婷婷 欧美| 开心激情网五月| 婷婷中文字幕| 色吊丝中文字幕| 99热最新地址在线| 五月综合激情视频在线| 亚洲婷婷五月天| 激情五月综合久久| 婷婷五月激情欧美大胆视频| 久久婷婷色| 综合久久婷婷99| 丁香五月婷婷黑人妻黄色电影院| 狠狠色综合网站| 99啪啪视频| 色99xx| 色丁香五月天射婷婷爱婷婷| 色五月丁香五月| JAPANRCEP老熟妇乱子伦视频| 啪啪九九色| 综合丁香婷婷五月天| 99热a片免| 老师的粉嫩小又紧水又多A片视频 粉嫩AV久久一区二区三区 | 婷婷区日本| AV色婷婷| AV大片在线观看| 色五月xxx| 97丁香五月| 九九九九热99超碰| 婷久看人爽| 色久九| 超碰色人妾| 丰满人妻一区三区三区| 大香蕉五月天| 新97人人上人人| 99爱视频在线| 91av视频| 婷婷五月激情在线| 97亚洲视频在线| 色婷婷丁香网| 啪啪91| 欧美三级黄色片久久| 夜夜操,天天撸| 嫩草极品| VA国产在线综合网站| 丁香六月啪| 婷婷色吧| 精品久久人妻| 91丨九色丨国产在线| 五月天激情开心网| 五月丁香六月片| 凹凸探花电影| 久热这里| 2020久久婷婷五月| 99热只有| 五月婷成人网| 香蕉久久国产AV一区二区 | 激情丁香六月| 大香蕉99热| 日日干日日| 黄色99热| 欧美色五月| 色月丁| 色五月婷婷五月天激情综合| 亚洲成人AV一区在线观看| A A色色| 丁香婷婷五月份| 婷婷激情五月天色| 国产熟妇乱子伦hd| www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | 大香蕉网站,大香蕉综合| 婷婷欧美激情| 色婷婷五月天成人网| 久久hd| 激情五月婷黄版| 色五月婷婷1| 六月婷婷色色色| 久久伦乱| 99久久激情视频| 91精品丝袜久久久久久| 天天操天天操天天操天天操天天操| 色五月综合网| 久操操| 婷婷丁香视频| 婷综合六月| 亚洲激情五月天| 亚洲成人超碰| 九九热在线精品| 激情六月五月婷婷综合网| 婷婷色情 | 大地资源色婷婷视频在线| 爆乳熟女-区二区三区| 天天日天天摸| 五月丁香另类图片| 亚洲中文字幕在线观看| 亚洲激情97五月天| 婷婷五月综合色拍| 久久五月视频| 丁香婷婷十月| 久大香蕉| 极品人妻VIDEOSSS人妻| 久久99性爱| 色综合久久99色| 大香蕉九九| 色色色色区| 色综合婷婷| 五月情综合| 婷婷五月欧美| 久久六月综合| AV79| 综合久久97| 国产真人做爰视频免费| 色婷婷小说网| 思思99热在线| AV中文字幕夜夜操b天天摸bb| 亚洲五月天激情| 看婷婷五月天网| 久久se 综合网| 五月99久久| 欧美色骚婷婷五月天| 日韩精品在线观看9| 99自拍视频网站| 色婷婷综合中心| 久久视频婷婷| 亚洲精品又粗又大又爽A片| 日本婷婷| 天天做天天爱天天爽在| av第一二区| 丁香九月婷婷| 五月婷婷丁香啪啪| 这里只有精品在线播放| 人人97碰| 五月丁香六月停停停| 激情亚洲网| 五月丁香AV在线| 思思99热这里只有精品| 激情色情五月天| 欧美精品99久久久| 日本高清久| 久香草视频在线观看| 五月丁香婷婷久久| 久久久久久久久久久久久久久久久精典| 五月天色色色| 91午夜激情| 视频这里只有精品16| 激情综合无码| 色月丁| 激情五月婷婷老师| 六月丁香网| 婷婷五月天天爽| 久热a| 婷丁五月| 97超碰人人操| 五月婷婷导航| 久热视频97AV在线观看| 欧美色综合天天久久综合精品 | 婷婷五月天免费99| 99爱爱| 另类激情综合| 五月婷婷在线视频观看| 狠狠五月天激情| 五月色婷婷影视在线电影| 亚洲精品国产setv| 五月婷婷婷综合网| 人人妻人人澡人人爽| 97伦乱| 国产人妻人伦精品一区二区| 激情五月天丁香| 性爱久久| 天天天天天天操| 2025年最新亚洲在线欧美| 婷婷五月天深爱| 亚洲婷婷五月天综合| 激情综合啪啪| 日本啪啪网| 99综合熟女| yazhochengrenavwang| 久久成人亚洲欧美电影| 亚洲色图欧美色图日本视频| 疯狂做受XXXX高潮A片动画| 天天爽夜爽| 九九热只有精品| 99视频久久| 超碰色综合| 五月婷激情影院| 97碰碰在线观看视频| 狠狠干天天日| 婷婷成人五月天成人文学| 99热网站| 狠狠操狠狠操| 久久小视频| 色色日本欧美| 欧美日本黄色| 激情综合网址| 99啪啪| 激情婷婷丁香| 久久久婷婷| 乱精品一区字幕二区| 少妇高潮A片无套内谢麻豆传| 五月丁香综合激情| 精品一二三区久久AAA片| 黑人糟蹋人妻HD中文字幕| 国产做A爰片毛片A片美国| 国产精品第一国产精品| 狠狠一日| 九九激情视频| 五月丁香六月激情综合| 五月丁香婷婷色| 激情综合综合综合| 99热在线中文字幕| 中文字幕性爱丰满| 狠狠草狠狠草| 97丁香婷婷| www.激情五月| 午夜不卡久久精品无码免费| 色色色宗合网| 五月婷婷日| 99ri在线| 狠狠干2007| 综合五月天完整| 精品爆操| 亚洲色另类| 天天久综合网永久入口18| 婷婷丁香综合在线| 97在线/亚洲| 婷婷五月亚洲激情| 五月婷婷色吧!| 日韩无码色色| 久久激情视频| 久久99国产综合精品免费| 人碰人人人玩91| 久热久操久热久草国产91| 99热老司机| 亚洲激情网站无码| 五月婷婷丁香狠狠撸久久| 五月丁香婷婷深深爱| 婷婷激情社区| www.91五月| 天堂久久性| 丁香女人五月天| 五月婷婷无码| 色色网站| 婷婷五月天最新网址| 五月丁香啪啪综合| 亚洲精| 2020日日干| 99噜噜噜在线播放| 91精品视频男人的天堂| 无码色色色色色| 色狠狠色噜噜噜a天堂一区| 热99免费在线| 亚洲在线免费成人| 色婷婷免费视频| 夜夜操少妇| 久久婷婷五月天激情四射| 亚洲中文字幕在线观看| 日本三级色| 成人片久久网站| 狠狠干天天日| 男男野外做爰全过程69| 五月婷婷丁香啪啪| 岛国av网| 婷婷五月天激情小说| 婷婷99视频在线| 六月婷婷激情图片| www,av好吊操| 在线不卡视频| 亚洲无码11| 色婷婷影音| 这里只有精品免费| 综合超碰熟| 婷婷六月丁香色| 最新av在线观看| 黄色激情网站在线观看| 丁香五月天激情网址| 色婷婷激情| 久久AV无码精品人妻系列试探| 99噜噜| 色丁香影院| 天天日夜夜| 综合久久影院| 玖玖资源站中文| 九九视频在线观看视频6 | 99在线观看精品| 色色色色色网站| 欧美成人AAA片一区国产精品| 五月丁香久久久久| 99亚州综合精品成人网| 日本精品人妻无码77777| 色婷五月天| 天天干天天爽| AV在线二十六页| 狠狠操在线视频| 综合网色| 超碰狠狠操| 婷婷午夜综合| 久久婷婷综合色丁香| 五月天激情中文字幕| 九色婷婷| 99小视频在线| 久九色| 玖玖婷婷五月| 五月激情站| 亚洲啪啪自拍| 六月丁香五月激情婷婷| 无码人妻少妇色欲AV一区二区| 99操中文视频| 爆乳熟妇一区二区三区爆乳| 国精产品一区二区三区| 这里只有精彩亚洲视频推荐| 鲁鲁色五月| 五月天婷婷六月| 天天干天天爽| 丁香五月香蕉在线| 天天干夜夜想| 99啪啪视频| 97久久久| 婷婷综合五月| 五月丁香人妻| 、激情六月天| 久久婷婷六月综合综合| 婷婷她六月天| 伊人婷婷五月天| 亚洲操操| 九九热在线精品视频| 婷婷中文字幕| 色情五月综合婷婷| 五月欧美色播| 久久激情五月| 婷婷综合五月天激情| 国产精品美女久久久久AV超清| 婷婷五六月丁香| 人妻久久久久久| 日日色五月天| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 九九这里都是精品| 91日综合欧美| 这里只有精品久久| 97干在线播放| 久久婷色| 欧亚洲在线高清视频| 99热这里只有精品5| 思思久ren热| av一级棒av| 97色色在线视频| www.99热这里精品| 婷婷精品在线| 欧美五月丁香啪啪响视频| 欧洲第一无人区观看| 丁香五月婷婷乱| 亚洲啪| 九九在线视频| 久热91| 国产成人精品一区二三区熟女在线| 极品 少妇 内射| www.色欲丁香婷婷| 丁香久月| 五月天激情综合首页| 99国产精品久久久久久久久久久| 99精品爱| 99热 在线播放| yellow视频在线观看91| 久热这里只有精品3| 777精品久无码人妻蜜桃| 99热这里只有精品最新网址| 特级操b片| 操骚货在线| 一级A片天天操夜夜操| 狠狠综合色网| 综合激情视频| 99.色| www.99精品视频| 欧美激情VA永久在线播放| 欧美婷婷五月天综合| 99热精品10| 五月丁香六月婷综合成人综合| 天天天天天天天操| 棕合影院色色| 亚洲精品V天堂中文字幕| 国产婷婷五月色情综合| 超碰亚洲天堂| 丁香六月成人| 九九色图| 影音先锋 婷婷| 久久香蕉丁香| AA片在线观看视频在线播放| 免费视频99| 九九热再线九九视频免费在线观看| 中文字幕人妻一区二区| 国产成人av在线播放| 日韩六十路91性交电影| 激情人妻综合| 91精品久久久久久久久久| 香蕉人在线香蕉人在线 | 立川无码av| 久久综合五月婷婷| 丁香五月色| 久久精品人妻| 六月色狠狠色| 综合久久高清| 丁香五月激情久久麻豆| 色综合区| 天天日天天干天天插天天射| 五月丁香狠狠爱| 丁香婷婷久久综合在线| 亚洲天堂热| 丁香五月中文字幕色播| 婷婷深爱五月天在线| www.sebowuyue| 日本视频不卡123区| 色色丁香婷婷| 99热免费精品| 精品无码色欲AV| 色色色婷婷五月| 啪啪啪丁香五月| 日本久久精品| 色婷天天| 这里只有精品在线观看视频| 五月天播播综合| 久久久久久久97| 丁香五月综合激情久久潮喷| 中文字幕欧美日韩VA免费视频| 五月婷婷亚洲| 嫩草乱码一区三区四区| 人妻videos人妻高清| 91久久| 99日在线观看视频| 色就色94欧美setu| 五月香婷婷| 丁香午夜天| 色天堂A| 五月天亭亭俺也| 五月婷婷九| 蜜桃婷婷丁香五月天狠狠久久综合| 99re视频在线播放| 91日韩美女被插视频| 97人人操人人拍| 中文字幕 中文字幕明步| 五月丁香五月婷婷| 婷婷成人综合| 丁香婷婷六月| 思思国产99| 26UUU精品一区二区c〇m| 色五月激情问网站| 久久伊人大香蕉| 色情五月天丁香社区| 大香伊人婷婷| 狠狠色噜噜色狠狠狠综合色| 日本久久激情| 无码91中文字幕| 久久久99精品免费观看| 日本色婷婷| 亚洲热综合| a网站免费观看| 成人网站在线观看视频| 五月天婷婷网站888| 天天天天干| 色99在线视频| www.com五月天| 国产午夜一区二区三区| 日屌日日操日日色| 国产成人99久久亚洲综合精品| 欧美色色色| 久久 这里只有精品1| 亚洲尤物在线| 99久久er| 丁香激情婷婷网| 五月色婷婷激情| 日日操,夜夜爽| 婷婷五月天成人基地| 天天爽夜夜爽天天爽夜夜爽| 热99热9| 毛片色五月| 五月天播播中文字幕| 五月丁香六月色| 超碰不卡在线| 婷婷久久网| 色五月av| 国产熟妇的荡欲午夜视频| 久久综合久色欧美综合狠狠| .青娱乐天天操B| 色婷婷狠狠禁久久| 日韩五月婷婷| 日本视频99| 996热| 五月天婷婷久久日| 亚洲综合五月天综合| 97色婷婷五月天| 思思热视频| 超碰操网| 九九激情网| 操操综合网婷婷| 99热 在线播放| 色碰碰| 欧美婷婷六月丁香综合色| 都市激情五月婷婷综合| 狠狠操狠狠干综合| 这里只有精品无码| 99啪啪视频| 国产精品第一国产精品| 91午夜婷婷狠狠久久综合9色| 葵花AV在线| 97久人人| 五月婷婷激情刺激| 天天操夜夜玩!| 五月丁香天堂网| 五月婷婷欧美| www.天天干| 久久99激情五月天| 激情六月天婷婷| av婷婷丁香 六月| 日日懆天天懆| 久99在线视频| 天天日天天爽| 91在线观看www| 九九综合九九| 丁香五月天婷婷中文| 一级性爱视频| 色婷婷影视| 五月天福利影院导航| 亚州综合色| 五月噜噜噜色综合| va亚洲中文在线| 99re热在线视频| 无遮羞AV| 久久草中文日韩欧美| 激情五月综合ì香亚洲| 成年人最刺激的综合网| 色狠狠综合| 亚洲国产色婷婷| 思思热国产视频| 狠狠干综合网| 99热在线精品观看| av操B网站| 99综合| 亚洲色情网站| 久久久久婷婷| 4399欧美另类视频| 久久人妻爱爱| 在线中文亚洲| 超碰成人公开| 91啪啪视频| 噜噜噜久久亚洲精品国产品91| 五月天综合婷婷| AV网在线观看| 久久在线视频只有这里有精品| 天天摸天天透天天舔| 丁香五月婷婷基地| 成人综合视频在线| 欧美色色色| 狠狠干在线| 丁香天堂夜| 我要色综合五月婷婷| 91超碰在线观看| 九色激情| 另类色视频| 97五月久久丁香婷婷| 激情亚洲五月| WWW,色五月| 99色在线观看视频| 天天色2017| 五月丁香 六月婷婷a| 欧美日韩成人在线网站| 超碰九热| 欧美精品久久久久久视频观看| 日本色色网站| 丁香亚洲色综合| 天天操夜夜夜拍拍拍| 综合色播| 色婷婷在线影院| 色婷婷九月| 99精品偷自拍| 99精品激情| 婷婷射综合| 婷婷色五月天色| 成年人99热| 熟妇无码乱子成人精品| 六月丁香久久| 麻豆雪千夏| 久久日韩婷婷五月| 婷婷五月六月激情| 久久久亚洲精品一区二区三区浴池| 成人看片网站| 婷婷丁香激情综合色情| 狠狠色狠狠爱| 79精品视频| 久久九网| 在线A色| 国产亚洲成AV人片在线观黄桃| 色色色色色热| 日韩婷婷| 女婷久久| 欧美 日韩 成人在线| 久久图色4| 久久婷婷六月综合综合色| 日韩野外 无套| 艾小青av| 五月婷婷丁香91| 亚洲看av的网站| 无码成人AAAAA毛片AI换脸| 九九精品片一| 综合色99| 第四色色六月色综合| 五月丁香黄色视频| 日韩人妻无码专区| 996热| 婷婷色综合| 五月婷婷成人| 色五月xxx| 中文字幕 码精品视频网站| 99色在线观看免费| 日韩一级片| 5月色亭亭视频| 国产精品久久久久久久久久| www婷婷亚洲| 久久久亚洲精品一区二区三区浴池 | 日日夜夜天天综合| 午夜色丁香| 日韩黄色电影| 婷婷九九| 九九热99热| 丁香六月色婷婷欧美| 亚洲第一综合| 丁香五月AV综合激情| 婷婷激情五月呦呦| 婷婷综合爱| 天堂久久大香蕉| 99亚洲视频| 97人人射| 六月婷婷综合| 色婷婷丁香AV综合| 色综合网页| 色噜噜狠噜噜视频| 日本久久视频| 99免费在线| 亚洲激情电影五月天色婷婷丁香一起草| 亚洲V国产V欧美V久久久久久| 97碰 在线视频观看| 色噜噜伊人| 99人妻碰碰久久久禁片| 啪啪六月婷婷| 婷婷色五月开心五月| 99亚洲天堂| 天天草婷婷五月| 99视频免费播放| 狠狠操狠狠插| 无码se| 无人区码一码二码三码医生系列| 亚洲九九99精品视频在线播放| 久久182| 五月婷久久| 亚洲婷婷丁香五月亚洲| 五月天婷婷色综合| 91九色熟女| 久久久久久久久久久久久久人妻视频 | 丁香六月婷婷高清| 久草婷婷视频| 九色视频91| 成人婷婷五月天| 成片免费观看大全| 日韩黄黄| 久久机热这里只有| 亚洲AV免费国产电影| 天天操天天插| 五月婷婷丁香色吧网| 9l视频自拍9l九色9l成人| 色色五月丁香| 日日日日操| 丁香六月啪| 五月四色激情| 9999三级片| 色亭亭五月天网扯| 人人综合91网| 91狠狠色丁香婷婷综合久久精品| 色婷婷综合网站| 97在线精品| 啪啪视频99|