欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

CPU占用率高排查:從top到perf的Linux實(shí)戰(zhàn)指南

CPU占用率高排查:從top到perf的Linux實(shí)戰(zhàn)指南 簡(jiǎn)介面向Linux運(yùn)維工程師的高CPU占用問(wèn)題排查實(shí)戰(zhàn)文檔聚焦系統(tǒng)負(fù)載飆高時(shí)的定位與處理思路。資源系統(tǒng)梳理兩種常用排查方法一種通過(guò)top排序后結(jié)合top -H、線程ID轉(zhuǎn)十六進(jìn)制、jstack查看線程狀態(tài)另一種通過(guò)ps -mp獲取線程耗時(shí)并排序再結(jié)合jstack打印堆棧二者均能快速鎖定異常線程與相關(guān)代碼。文檔還融入真實(shí)生產(chǎn)案例演示Java進(jìn)程CPU占用率達(dá)到300%時(shí)的完整排查過(guò)程從初始top發(fā)現(xiàn)PID到最終定位線程堆棧避免盲目重啟服務(wù)同時(shí)介紹Zabbix、Nagios、阿里云監(jiān)控及“王教授”運(yùn)維工具的告警機(jī)制強(qiáng)調(diào)監(jiān)控前置與主動(dòng)發(fā)現(xiàn)的價(jià)值。資源為單個(gè)PDF文件大小147KB內(nèi)容精煉、操作命令明確適合運(yùn)維人員和后端開(kāi)發(fā)者隨時(shí)查閱文中方法無(wú)需圖形界面可直接在純命令行環(huán)境實(shí)踐。已有4448人學(xué)習(xí)下載對(duì)日常系統(tǒng)維護(hù)和故障應(yīng)急具有實(shí)際參考意義。1. CPU占用率高的排查先定位再動(dòng)手別把玄學(xué)當(dāng)性能分析Linux系統(tǒng)中CPU占用率偏高可能是運(yùn)維群里出現(xiàn)頻率最高的告警。很多人的第一反應(yīng)是登錄服務(wù)器敲top看到哪個(gè)進(jìn)程%CPU高就kill -9哪個(gè)這套流程在壓測(cè)環(huán)境能交差到了生產(chǎn)環(huán)境經(jīng)常會(huì)翻車(chē)同一個(gè)進(jìn)程的 CPU 統(tǒng)計(jì)跟監(jiān)控平臺(tái)對(duì)不上或者機(jī)器 load 已經(jīng)快拉滿top里 CPU 占用卻不到 60%。本文把一套在服務(wù)器上反復(fù)用的排查思路拆開(kāi)講怎么從進(jìn)程定位到線程、從用戶態(tài)挖到內(nèi)核態(tài)、再?gòu)默F(xiàn)場(chǎng)判斷該調(diào)業(yè)務(wù)還是調(diào)資源適合負(fù)責(zé)后臺(tái)服務(wù)和容器平臺(tái)的開(kāi)發(fā)運(yùn)維也適合準(zhǔn)備 linux 面試題的同學(xué)在紙上把整套流程推演一遍。2. 用 top、ps、mpstat 把高占用進(jìn)程和線程揪出來(lái)2.1 top 里的三個(gè)數(shù)%CPU、load average、us/sy 的正確讀法top是大家最熟的 linux 常用命令但多數(shù)人只看了兩個(gè)數(shù)第一行的 load average 和進(jìn)程列表里的%CPU。這兩個(gè)數(shù)恰恰最容易誤讀。load average 后面的三個(gè)值分別代表過(guò)去 1 分鐘、5 分鐘、15 分鐘的平均活躍進(jìn)程數(shù)?;钴S進(jìn)程包含正在運(yùn)行的 R 狀態(tài)進(jìn)程和等待 IO 的 D 狀態(tài)進(jìn)程所以 load 高不等于 CPU 高。一臺(tái) 4 核機(jī)器如果 load 是 4.0大致可以認(rèn)為跑滿但如果進(jìn)程都在等磁盤(pán)load 到 8 也可能%CPU只有 20%。判斷是否 CPU 問(wèn)題要以 CPU 狀態(tài)行和%CPU為準(zhǔn)load 只用來(lái)感受整體壓力趨勢(shì)。CPU 狀態(tài)行里重點(diǎn)看 us(user)、sy(system)、wa(iowait)、si(softirq)、st(steal)。us 高是業(yè)務(wù)代碼消耗sy 高是系統(tǒng)調(diào)用或內(nèi)核態(tài)消耗wa 高要轉(zhuǎn)向磁盤(pán)排查si 高要懷疑網(wǎng)絡(luò)包處理st 高則要考慮虛擬化宿主機(jī)搶占。進(jìn)入top后先按數(shù)字鍵1把 CPU 展開(kāi)成每個(gè)物理核的視圖如果只有個(gè)別核打滿說(shuō)明問(wèn)題可能出在單線程或中斷綁核后續(xù)排查方向完全不一樣。進(jìn)程列表默認(rèn)按 CPU 排序但按P可以強(qiáng)制排序按H可以切換成線程視圖按c顯示完整命令行。這里花一分鐘記住top -H -p PID這個(gè)組合它會(huì)直接進(jìn)入某個(gè)進(jìn)程的線程視圖是定位單線程熱點(diǎn)最快的入口。2.2 ps 的 %CPU 只是平均值線程級(jí)視角要交給 pidstat很多新手只靠ps aux看 CPU這是第一個(gè)坑ps 報(bào)告的是進(jìn)程從啟動(dòng)到現(xiàn)在的平均 CPU 占用不是當(dāng)前實(shí)時(shí)值。一個(gè)剛崩潰重啟的進(jìn)程哪怕現(xiàn)在把 CPU 打滿ps里也可能只顯示個(gè)位數(shù)百分比。所以ps適合拿來(lái)確認(rèn)進(jìn)程存在、PID、父子關(guān)系不適合判斷當(dāng)前熱點(diǎn)。我一般會(huì)分兩步。第一步用ps做粗篩把所有進(jìn)程按 CPU 占用排序看一眼到底哪個(gè)進(jìn)程可疑ps -eo pid,ppid,%cpu,%mem,user,comm --sort-%cpu | head -n 20-e表示所有進(jìn)程-o指定輸出列--sort-%cpu按 CPU 占用從高到低排序。這條命令 1 秒出結(jié)果適合在 CPU 飆高時(shí)先用它定一個(gè)嫌疑進(jìn)程再用下面這條看該進(jìn)程內(nèi)部的線程pidstat -u -t -p 12345 1 5pidstat來(lái)自 sysstat 包-u表示監(jiān)控 CPU-t顯示線程級(jí)別詳情-p 12345指定進(jìn)程 PID最后的1 5表示每秒采樣一次、共采樣 5 次。輸出里每行對(duì)應(yīng)一個(gè)線程%usr是用戶態(tài)占用%system是內(nèi)核態(tài)占用%CPU是線程整體占用TID是線程號(hào)。這樣定位出來(lái)的線程號(hào)可以直接對(duì)照jstack、perf的調(diào)用棧結(jié)果把問(wèn)題從“進(jìn)程層面”壓到“線程層面”。這里有個(gè)很重要的換算概念單個(gè)線程的%CPU上限就是 100%相當(dāng)于占滿一個(gè)邏輯核一個(gè)進(jìn)程顯示 300%說(shuō)明它內(nèi)部有 3 個(gè)線程在并行跑滿。后續(xù)不管用perf還是看 Java 線程棧都要以 TID 為單位去對(duì)而不是用 PID。2.3 mpstat 看核間分布單核打滿和全核打滿是兩種病判斷完線程下一步要知道 CPU 壓力是不是均勻分布在所有核上。這決定了你要查的是單線程代碼問(wèn)題、綁核問(wèn)題還是多線程并發(fā)資源耗盡。命令是mpstatmpstat -P ALL 1 3-P ALL展示所有 CPU 核1 3表示每秒輸出一次、輸出三次。返回的表格里每一行是一個(gè) CPU 核的實(shí)時(shí)占用%usr、%sys、%irq、%soft、%steal分別對(duì)應(yīng)不同來(lái)源??吹降慕Y(jié)果通常歸成兩類(lèi)。一類(lèi)是某個(gè)核長(zhǎng)期超過(guò) 90%其他核卻很悠閑這種大概率是單線程的邏輯寫(xiě)在關(guān)鍵路徑上或者內(nèi)核把中斷都塞給了一個(gè)核另一類(lèi)是每個(gè)核都高這種要么是多線程死循環(huán)要么是鎖競(jìng)爭(zhēng)導(dǎo)致所有線程都在自旋等待要么是宿主機(jī) CPU 超賣(mài)。還有一種容易被忽略的情況業(yè)務(wù)進(jìn)程每個(gè)核都只有 30% 左右但 CPU 總占用加起來(lái)很高。這種分布常見(jiàn)于日志寫(xiě)入、壓縮、序列化這類(lèi)影子開(kāi)銷(xiāo)多的服務(wù)。不要只盯著最高的核看要按“總 CPU 時(shí)間消耗”去算賬。觀察現(xiàn)象可能原因下一步動(dòng)作單核打滿其他核空閑單線程密集計(jì)算、中斷綁核查代碼熱點(diǎn)、查 /proc/interrupts所有核同步打滿多線程死循環(huán)、鎖競(jìng)爭(zhēng)perf 采樣看內(nèi)核態(tài)函數(shù)各核 20%~40% 但總量高日志、壓縮、序列化等影子開(kāi)銷(xiāo)逐一核對(duì)輔助進(jìn)程與內(nèi)核線程%steal 明顯偏高虛擬機(jī) CPU 被宿主機(jī)搶占檢查云主機(jī)規(guī)格與鄰居負(fù)載3. 從進(jìn)程態(tài)挖到內(nèi)核態(tài)perf、vmstat 與中斷風(fēng)暴的排查路徑3.1 perf top 看熱點(diǎn)函數(shù)數(shù)據(jù)比直覺(jué)靠譜進(jìn)程和線程定位完了只知道“誰(shuí)”在燒 CPU還不知道“為什么”。這時(shí)候再猜就屬于玄學(xué)直接把采樣工具掛上去看內(nèi)核和用戶態(tài)函數(shù)分布。最簡(jiǎn)單的是perf topperf top -p 12345它會(huì)按 CPU 采樣頻率對(duì)當(dāng)前進(jìn)程的熱點(diǎn)函數(shù)實(shí)時(shí)排序默認(rèn)帶調(diào)用棧展開(kāi)功能??吹接脩魬B(tài)函數(shù)名基本能判斷是不是死循環(huán)看到內(nèi)核態(tài)函數(shù)名也能猜個(gè)大概方向。比如native_queued_spin_lock_slowpath出現(xiàn)頻率很高多半是自旋鎖競(jìng)爭(zhēng)do_softirq相關(guān)函數(shù)高要轉(zhuǎn)向網(wǎng)絡(luò)包處理finish_task_switch高說(shuō)明線程切換本身消耗了大量 CPU進(jìn)程內(nèi)線程數(shù)可能太多。如果希望保存下來(lái)慢慢分析可以用采樣方式perf record -g -p 12345 -- sleep 10 perf report-g記錄調(diào)用棧-p指定進(jìn)程-- sleep 10表示采 10 秒就自動(dòng)結(jié)束。perf report進(jìn)入交互界面后會(huì)生成一張熱點(diǎn)調(diào)用樹(shù)按回車(chē)逐級(jí)展開(kāi)能看到完整調(diào)用鏈。這條鏈路比任何日志都能說(shuō)明問(wèn)題。需要注意兩點(diǎn)。第一內(nèi)核符號(hào)可能需要 root 權(quán)限才能讀全普通用戶經(jīng)??吹揭欢裑unknown]生產(chǎn)環(huán)境可以臨時(shí)用 root 執(zhí)行受限命令后退出不要長(zhǎng)期掛 root daemon。第二Java、Go 這類(lèi) JIT 或運(yùn)行時(shí)語(yǔ)言perf 直接看到的用戶態(tài)符號(hào)往往是運(yùn)行時(shí)自身配合jstack或py-spy把 TID 翻譯成業(yè)務(wù)線程名才算是閉環(huán)。3.2 vmstat 的 r 列和 cs 列上下文切換為什么會(huì)飆升perf能看函數(shù)級(jí)但很多機(jī)房環(huán)境不方便裝額外工具此時(shí)vmstat是個(gè)不需要安裝的備選。執(zhí)行vmstat 1 5關(guān)注五列r、cs、us、sy、wa。r 是當(dāng)前處于可運(yùn)行狀態(tài)的進(jìn)程數(shù)如果這個(gè)值持續(xù)大于 CPU 核數(shù)說(shuō)明有一批進(jìn)程在排隊(duì)CPU 確實(shí)不夠用cs 是每秒上下文切換次數(shù)這個(gè)值正常情況下每核幾百到一千多超過(guò)兩三萬(wàn)就要警惕進(jìn)程線程可能像抽風(fēng)一樣在搶時(shí)間片us 和 sy 分別是用戶態(tài)與內(nèi)核態(tài)的 CPU 時(shí)間占比wa 是 IO 等待占比。我最常碰到的場(chǎng)景是CPU 占用看著不高us 只有 20%但 sy 占了 40%cs 數(shù)值異常高。這種往往是短生命周期線程大量創(chuàng)建銷(xiāo)毀或者定時(shí)器、信號(hào)觸發(fā)太頻繁導(dǎo)致 CPU 大量浪費(fèi)在“切換”而不是“干活”上。排查時(shí)用pidstat -w -t -p PID 1 5看每個(gè)線程的 cswch/s(自愿切換) 和 nvcswch/s(非自愿切換)自愿切換過(guò)多說(shuō)明線程在等待鎖或 IO非自愿切換過(guò)多說(shuō)明時(shí)間片不夠、線程數(shù)超過(guò)核數(shù)太多。3.3 把 D 狀態(tài)進(jìn)程和 iowait 從 CPU 占用里剝出去很多人把 load 高和 CPU 高混為一談?wù)鎸?shí)世界里有大量 load 很高但 CPU 閑置的場(chǎng)景。罪魁禍?zhǔn)淄ǔJ?D 狀態(tài)進(jìn)程也就是不可中斷睡眠狀態(tài)典型情況是進(jìn)程在等磁盤(pán) IO 或 NFS 響應(yīng)。D 狀態(tài)進(jìn)程會(huì)計(jì)入 load average但不消耗 CPU 時(shí)間片所以top里 CPU 占用看著不高機(jī)器卻卡得不行。排查命令很簡(jiǎn)單ps -eo pid,stat,wchan:30,comm | awk $2 ~ /^D/ {print}wchan:30顯示進(jìn)程當(dāng)前等待的內(nèi)核函數(shù)名能看到它究竟卡在哪個(gè)內(nèi)核函數(shù)上。比如卡在wait_on_page_bit說(shuō)明在等內(nèi)存頁(yè)回寫(xiě)卡在nfs相關(guān)函數(shù)說(shuō)明遠(yuǎn)端存儲(chǔ)有問(wèn)題??吹揭欢?D 狀態(tài)進(jìn)程時(shí)不要再調(diào) CPU 配置先去查磁盤(pán)iostat -x 1看%util和svctm或者確認(rèn) NFS 掛載點(diǎn)是否可達(dá)。3.4 中斷風(fēng)暴ksoftirqd 和網(wǎng)卡多隊(duì)列還有一種 CPU 高是中斷帶來(lái)的表面上找不到用戶態(tài)進(jìn)程但top里 si(軟中斷) 或者 hi(硬中斷) 不低同時(shí) ksoftirqd 內(nèi)核線程占用會(huì)飆上去。這個(gè)場(chǎng)景在流量型服務(wù)上很常見(jiàn)網(wǎng)卡每收一個(gè)包就觸發(fā)一次中斷如果小包特別多中斷處理本身吃掉的 CPU 可能比業(yè)務(wù)代碼還多。先看中斷是否集中在某個(gè)核上cat /proc/interrupts左側(cè)是中斷號(hào)各列對(duì)應(yīng)每個(gè) CPU 核收到的中斷次數(shù)。如果網(wǎng)卡相關(guān)中斷號(hào)只在 CPU0 上漲說(shuō)明當(dāng)前驅(qū)動(dòng)或配置把所有網(wǎng)絡(luò)中斷都綁到了第一個(gè)核這就是單核被打滿但其他核空閑的原因之一。常見(jiàn)做法是先確認(rèn)網(wǎng)卡是否支持多隊(duì)列用網(wǎng)卡工具查看隊(duì)列數(shù)量然后調(diào)整隊(duì)列數(shù)與 CPU 核數(shù)匹配讓多個(gè)核分?jǐn)偸瞻袛?。如果是虛擬化環(huán)境且驅(qū)動(dòng)不支持多隊(duì)列可以嘗試開(kāi)啟 RPS/RFS 這類(lèi)軟件分發(fā)機(jī)制讓軟中斷均勻分散到各核避免單核成為瓶頸。這類(lèi)問(wèn)題的后續(xù)驗(yàn)證也很直接mpstat -P ALL里各核%soft是否趨于均勻且用戶態(tài)業(yè)務(wù) CPU 是否順勢(shì)降下來(lái)。4. 對(duì)高 CPU 問(wèn)題的常見(jiàn)處置手段從鎖競(jìng)爭(zhēng)到進(jìn)程配額4.1 死循環(huán)和忙等從熱點(diǎn)函數(shù)到止損措施代碼里出現(xiàn)死循環(huán)或忙等是 CPU 高最直接的原因。perf top顯示某個(gè)用戶態(tài)函數(shù)長(zhǎng)期壓在頂部基本就能下結(jié)論。處理順序應(yīng)該是先止損、再定位、后修復(fù)。止損手段要看服務(wù)形態(tài)。能快速回滾的版本直接回滾不能回滾的臨時(shí)把并發(fā)調(diào)低比直接 kill 進(jìn)程更安全因?yàn)?kill 會(huì)中斷所有請(qǐng)求影響面更大。常見(jiàn)做法是先用kill -STOP PID暫停進(jìn)程確認(rèn)現(xiàn)場(chǎng)影響范圍后再?zèng)Q定是否kill -TERM。kill -9是最后的選擇因?yàn)樗唤o進(jìn)程清理連接和釋放內(nèi)存的機(jī)會(huì)可能留下半關(guān)閉的 socket 或臟數(shù)據(jù)。止血后再按語(yǔ)言選工具C/C 用perf看調(diào)用棧Java 服務(wù)用jstack -l PID抓線程棧多抓幾次對(duì)比是不是同一個(gè)方法卡住Python 服務(wù)可用py-spy dump --pid PID拿到當(dāng)前正在執(zhí)行的 Python 函數(shù)名。定位到具體函數(shù)后再改代碼不要不停重啟重啟只是把黑匣子又蓋回去了。4.2 鎖競(jìng)爭(zhēng)線程數(shù)不是越大越好另一個(gè)高發(fā)原因是鎖競(jìng)爭(zhēng)?,F(xiàn)象很典型CPU 占用高業(yè)務(wù)吞吐卻上不去perf top中自旋鎖相關(guān)函數(shù)排在前列火焰圖里鎖等待區(qū)域又寬又矮。很多人第一反應(yīng)是加線程實(shí)際上在高 CPU 密集場(chǎng)景下線程數(shù)遠(yuǎn)超核數(shù)就會(huì)產(chǎn)生大量上下文切換和鎖自旋CPU 全部耗在等鎖上活沒(méi)干多少。這類(lèi)問(wèn)題要先看鎖的粒度。把大鎖拆成細(xì)鎖、用讀寫(xiě)鎖代替互斥鎖、減少持鎖期間的操作都是常用手段。線程池大小也不是簡(jiǎn)單 2 倍核數(shù)就合理CPU 密集場(chǎng)景通常設(shè)為核數(shù)或核數(shù)加一IO 密集場(chǎng)景再放寬。這個(gè)問(wèn)題也是 linux 面試題里反復(fù)出現(xiàn)的給你一個(gè)四核機(jī)器線程池開(kāi) 100 個(gè)線程跑純計(jì)算吞吐能提升嗎答案是不能反而可能因?yàn)殒i競(jìng)爭(zhēng)和切換開(kāi)銷(xiāo)讓性能下降。如果代碼一時(shí)改不動(dòng)可以先用taskset把進(jìn)程綁定到固定核上限制它與其他進(jìn)程爭(zhēng)搶但這只適用于單實(shí)例或?qū)ρ舆t不敏感的服務(wù)多實(shí)例場(chǎng)景慎用。4.3 日志滾輪和壓縮讓日志進(jìn)程成了 CPU 大戶很多 CPU 高的問(wèn)題不在業(yè)務(wù)進(jìn)程而在日志鏈路上。新裝的 Linux 系統(tǒng)更容易踩這個(gè)坑systemd-journald 默認(rèn)把每個(gè)服務(wù)的輸出都收進(jìn) journal如果某個(gè)程序瘋狂打日志journald 的 CPU 會(huì)先飆起來(lái)。接著是舊日志壓縮歸檔日志越大壓縮進(jìn)程消耗越高。排查時(shí)別只盯業(yè)務(wù)進(jìn)程把systemd-journald、rsyslogd、logrotate的 CPU 都看一遍pidstat -u -p $(pidof systemd-journald) 1 5如果 journald 占用顯著先看是不是有服務(wù)一條條刷屏把日志級(jí)別調(diào)上去或者把無(wú)關(guān)輸出重定向到 /dev/null。journald 側(cè)可以調(diào)整/etc/systemd/journald.conf里的SystemMaxUse限制總?cè)罩救萘縍ateLimitIntervalSec和RateLimitBurst控制單位時(shí)間最多接收多少條日志修改后重啟 journald 生效。rsyslog 同步寫(xiě)盤(pán)壓力大時(shí)可以改成異步隊(duì)列或者按日志量調(diào)整滾動(dòng)策略避免一個(gè)日志文件膨脹到幾百兆后再一次性壓縮。這個(gè)環(huán)節(jié)經(jīng)常被忽略屬于排查順序里性價(jià)比很高的一步。4.4 用 systemd 配額給失控進(jìn)程設(shè)上限當(dāng)進(jìn)程暫時(shí)殺不得、代碼又改不動(dòng)可以先把它的 CPU 占用限制住保住同一臺(tái)機(jī)器上其他服務(wù)。systemd 管理服務(wù)可以直接用運(yùn)行時(shí)命令systemctl set-property your-service.service CPUQuota150%CPUQuota150%表示最多使用 1.5 個(gè)核的 CPU 資源底層對(duì)應(yīng) cgroup 的 cpu.max 配額150% 實(shí)際是 150000/100000 的比例關(guān)系。設(shè)置后立即生效重啟也會(huì)保留。想臨時(shí)看一下效果再?zèng)Q定去留可以執(zhí)行同樣的命令把配額改回空值去除限制。對(duì)不在 systemd 管理下的進(jìn)程可以用cpulimit -p PID -l 50這類(lèi)用戶態(tài)工具它通過(guò)暫停和恢復(fù)進(jìn)程來(lái)控制 CPU適合應(yīng)急但不適合精度要求高的場(chǎng)景。要記住配額只是止損不是修復(fù)長(zhǎng)時(shí)間用配額壓著有問(wèn)題的進(jìn)程會(huì)讓延遲劣化且難以察覺(jué)還是要留出時(shí)間窗處理根因。4.5 虛擬機(jī) CPU steal宿主機(jī)搶走了本該屬于你的 CPU云服務(wù)器和虛擬化環(huán)境里還有一種“假高占用”的根因不在你機(jī)器內(nèi)部而在宿主機(jī)超賣(mài)。mpstat輸出里的%steal字段或者top狀態(tài)行里的st代表虛擬機(jī)申請(qǐng) CPU 時(shí)間但被宿主機(jī)調(diào)度延后的比例。如果%steal持續(xù)超過(guò) 10%應(yīng)用的 CPU 占用和延遲都會(huì)肉眼可見(jiàn)地惡化但你在虛機(jī)里查任何進(jìn)程都查不出問(wèn)題。這種場(chǎng)景的處理思路很簡(jiǎn)單不要調(diào)業(yè)務(wù)參數(shù)先調(diào)整部署位置。常見(jiàn)做法是遷移到低負(fù)載宿主機(jī)或者在購(gòu)買(mǎi)資源時(shí)選擇限制超賣(mài)比例的實(shí)例規(guī)格。如果服務(wù)跨多臺(tái)機(jī)器優(yōu)先把流量切走如果無(wú)法遷移可以嘗試把業(yè)務(wù)線程的調(diào)度優(yōu)先級(jí)調(diào)低減少被宿主機(jī)搶占時(shí)的連鎖抖動(dòng)但這個(gè)措施效果有限。判斷 CPU 高之前先看%steal能省掉后面一整輪業(yè)務(wù)層排查。5. CPU占用率排查避坑5 個(gè)容易翻車(chē)的誤判場(chǎng)景5.1 top 顯示占用正常但機(jī)器整體卡成 PPT現(xiàn)象top里各核%CPU只有 20% 左右但敲命令明顯卡頓SSH 窗口響應(yīng)延遲好幾十秒。原因CPU 狀態(tài)行里的 us、sy 都不高時(shí)要回看 load average 和 wa。常見(jiàn)根因是磁盤(pán) IO 飽和進(jìn)程大量進(jìn)入 D 狀態(tài)排進(jìn) run queueload 被頂高而 CPU 真正花在“等 IO”上而不是“算”上CPU 百分比自然不高。解決用iostat -x 1看磁盤(pán)%util用ps -eo pid,stat | grep D數(shù) D 狀態(tài)進(jìn)程確認(rèn)后再?zèng)Q定擴(kuò)容磁盤(pán)、遷移數(shù)據(jù)還是排查慢存儲(chǔ)。不要把突破點(diǎn)放在 CPU 上那條路是死的。5.2 一個(gè)進(jìn)程顯示 300% 或 800%以為是 bug 或中毒現(xiàn)象進(jìn)程列表里某個(gè)進(jìn)程%CPU顯示超過(guò) 100%甚至 900%第一反應(yīng)是數(shù)值異?;蜻M(jìn)程被種了礦機(jī)。原因top和pidstat的%CPU都是按核歸一化的100% 代表一個(gè)邏輯核打滿。多線程進(jìn)程的多個(gè)線程并行運(yùn)行占用多個(gè)核總和超過(guò) 100% 是完全正常的。解決用top -H -p PID切到線程視圖確認(rèn)是多個(gè)線程各占一部分還是某個(gè)線程單獨(dú)占滿。按 H 切換后如果所有線程加起來(lái)和進(jìn)程總占用對(duì)得上說(shuō)明是并行計(jì)算而非異常如果單個(gè)線程超過(guò) 100%反而要先懷疑進(jìn)程綁核或者多個(gè)線程綁定同一個(gè)核再去查業(yè)務(wù)是否正常。5.3 strace 一掛上去CPU 占用反而降了現(xiàn)象現(xiàn)場(chǎng)怎么看怎么可疑strace 跟蹤幾秒后CPU 占用以肉眼可見(jiàn)速度下降讓人以為是誤報(bào)。原因strace 會(huì)攔截每次系統(tǒng)調(diào)用讓原本高頻的系統(tǒng)調(diào)用變慢整個(gè)程序的執(zhí)行節(jié)奏被拉低CPU 占用自然降下來(lái)。這不代表問(wèn)題自動(dòng)消失是干擾工具改變了測(cè)量對(duì)象。解決遇到這種情況就不要再用strace -p PID做長(zhǎng)時(shí)跟蹤改用短窗口采集比如timeout 5 strace -f -c -p PID只看匯總統(tǒng)計(jì)或者換用perf采樣它對(duì)程序時(shí)序的影響小得多。記住排查工具的副作用本身也是排查的一部分。5.4 監(jiān)控平臺(tái)顯示 CPU 90%登錄服務(wù)器看卻不到 30%現(xiàn)象監(jiān)控告警 CPU 持續(xù) 90%但 SSH 上去執(zhí)行top和mpstat占用率只有 30% 左右兩邊數(shù)據(jù)對(duì)不上。原因監(jiān)控平臺(tái)通常按 1 分鐘或 5 分鐘周期聚合會(huì)把高峰期和低峰期平均top看的是當(dāng)前瞬間值兩者采樣窗口不同本來(lái)就有差異。另一個(gè)常見(jiàn)原因是監(jiān)控統(tǒng)計(jì)的是 cgroup 視圖而top看的是整機(jī)視圖容器場(chǎng)景尤其明顯。解決先把自己采集的周期拉長(zhǎng)用pidstat -u 1 60連續(xù)記錄一分鐘看平均 CPU 和監(jiān)控平臺(tái)是否接近再確認(rèn)容器里用top時(shí)是否已經(jīng)進(jìn)入了對(duì)應(yīng)容器的 PID namespace。數(shù)據(jù)對(duì)不齊時(shí)以長(zhǎng)時(shí)間連續(xù)采樣為準(zhǔn)不要拿一個(gè)瞬間值反駁監(jiān)控平臺(tái)。5.5 內(nèi)存回收被誤判為 CPU 問(wèn)題現(xiàn)象us 和 sy 都不高但 kswapd 內(nèi)核線程 CPU 起高系統(tǒng)整體響應(yīng)也變慢。原因內(nèi)存接近上限時(shí)內(nèi)核要反復(fù)掃描內(nèi)存頁(yè)做回收這個(gè)過(guò)程消耗 CPU 時(shí)間還會(huì)觸發(fā)直接回收進(jìn)而阻塞進(jìn)程。CPU 高只是表面現(xiàn)象根因在內(nèi)存。解決順手看free -h和vmstat的 si、so 兩列si/so 持續(xù)不為零說(shuō)明已經(jīng)發(fā)生換頁(yè)。用dmesg -T | tail看有沒(méi)有 oom 相關(guān)記錄有的話優(yōu)先處理內(nèi)存泄漏和調(diào)低緩存上限而不是給 CPU 加配。內(nèi)存問(wèn)題偽裝成 CPU 問(wèn)題的比例不低CPU 排查的前三個(gè)步驟里應(yīng)該帶一眼內(nèi)存。6. 把排查流程固化成一個(gè)采集腳本再對(duì)照驗(yàn)證結(jié)果第一次排查 CPU 高時(shí)憑記憶敲命令容易漏項(xiàng)等現(xiàn)場(chǎng)過(guò)去了再補(bǔ)采集就晚了。我現(xiàn)在養(yǎng)成的習(xí)慣是提前在機(jī)器上備一個(gè)采集腳本任何一個(gè)環(huán)節(jié)告警都先讓它抓現(xiàn)場(chǎng)。以下這個(gè)腳本會(huì)在當(dāng)前目錄生成帶時(shí)間戳的快照文件涵蓋 load、CPU 狀態(tài)、進(jìn)程排行、線程排行四個(gè)維度#!/bin/bash stamp$(date %Y%m%d_%H%M%S) outdir/tmp/cpu_debug mkdir -p $outdir { echo snapshot $stamp uptime echo ----- CPU state ----- top -bn1 | head -n 8 echo ----- process top ----- ps -eo pid,ppid,%cpu,%mem,user,comm --sort-%cpu | head -n 15 echo ----- thread top ----- pidstat -u -t 1 1 | sort -k 9 -r | head -n 15 } $outdir/snapshot_${stamp}.txt echo saved to $outdir/snapshot_${stamp}.txttop -bn1是非交互模式只取一次快照pidstat -u -t 1 1采樣一秒鐘內(nèi)的線程占用用sort -k 9 -r按第 9 列%CPU排序。腳本要在疑似 CPU 高的第一時(shí)間執(zhí)行越早越能抓到當(dāng)時(shí)的真實(shí)負(fù)載而不是事后補(bǔ)測(cè)的近似值。如果問(wèn)題持續(xù)而反復(fù)還可以用一段時(shí)間的趨勢(shì)記錄替代快照pidstat -u -t -p 12345 5 120 /tmp/cpu_debug/pidstat_$stamp.log 每 5 秒采一次、持續(xù) 10 分鐘后臺(tái)運(yùn)行對(duì)比不同時(shí)段的線程熱點(diǎn)變化能看出是持續(xù)打滿還是周期性脈沖。驗(yàn)證解決效果時(shí)不要只比較單個(gè)進(jìn)程的 CPU 百分比要對(duì)照三組指標(biāo)負(fù)載狀態(tài)下降、上下文切換 cs 回落、應(yīng)用側(cè)延遲或吞吐恢復(fù)。CPU 占用降下來(lái)但請(qǐng)求延遲更差了說(shuō)明只是把熱點(diǎn)壓住、根因沒(méi)動(dòng)。我現(xiàn)在每次調(diào)整完配置都會(huì)先抓十分鐘的pidstat記錄和修復(fù)前的數(shù)據(jù)并排看確認(rèn)業(yè)務(wù)指標(biāo)也一起好轉(zhuǎn)才算結(jié)束。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月婷婷成人| 九九综合色| 五月天婷婷xxx| 天天干天天操天天爽| 久久av电影| 成人五月天视频| 男人先锋久久| 久久丁香五月天| 色婷婷五月天| 色婷婷六月| 玖玖激情五月天| 天天干天天拍| 丁香五月综合| 99热这里| 这里只有久久精99| 99爱99操| 思思热在线观看| 在线视频你懂得| 免费黄色片子| 俺五月| 五月丁香激情综合网| 婷婷综合激情| 欧美久久网| 色综合视频在线| 99热久久这里只有精品| 99热精品在线播放| 日韩中文字幕| 91久久国产综合久久| 婷婷深爱网| 五月婷婷丁香六月| 特黄三级片| 五月婷在线观看| 少妇被下春药玩弄A片| 激情伊人| 夜夜做天天爽| 99精品视频在线6| 99久久99视频只有精品| AAA久久久| 婷婷五月天电影网| 五月情婷婷| 国产毛片精品一区二区色欲黄A片| 国产成人精品一区二区三区视频 | 梁铮版蜘蛛女在线观看| 中文字幕在线资源| 97色色色色色色色色色色色色色| 五月婷婷综合影院| 伊人网碰碰| 五月天综合在线| 久久精彩免费视频| 天天天天干| 99色婷婷视频| 久久久久久婷| www.99在线| 天天日日人| 国产真人做爰视频免费| 91九色中文字幕女在线观看| 99 热国产在| 在线观看免费人成视频无码| 秋霞AV淫| 成人色情五月天婷婷丁香| 久草婷婷在线| 可以免费观看的AV| 大香蕉欧美在线| WWW.激情| 婷婷综合影院| 色就色94欧美setu| 人人干av| 七七九色| 夜夜爽天操| 91久久综合亚洲噜噜成人在线| 久操97| 激情综合区| 影音先锋91网站在线观看| 日本熟女二区| 五月丁香天堂网婷婷| 色五月婷婷AV| 操碰久| 丁香五月激情五月| 日日做天天操夜夜爽| 欧美精品A片一区在线观看| 99热这里只有精品在线观看| 婷婷五月,偷窥偷拍网| 狠狠色婷婷丁香六月| 99日视频在线| 国内自拍97在线| 免费婷婷| 婷婷性福五月天| 丁香五月色色色色| 六月婷婷视频| 嫩草视频| 日本在线播放97| 久久色情| 亚洲综合视频网| 婷婷深爱网| 狠狠搞五月天| 五月丁香福利| 婷婷五月AV| 婷婷五月成人社区| 极骚大香蕉伊人| 久久久精品色| 五月天综合视频| www久久五月com| 国产精品久久久爽爽爽麻豆色哟哟| 欧美天天草人人草| 国产午夜精品AV一区二区麻豆| 182TV大香蕉| 影音先锋 91工厂| 大香蕉AV在线| 97超级碰碰碰| 国产一区18| 五月天社区婷婷| 天天日夜夜爽| 狠狠狠狠狠| 成人av在线网址| 五月天激情视频五月天| 华人在线免费| 五月丁香六月婷婷久久| 丁香婷婷五月| 色噜噜狠狠色综无码久久合欧美 | 久久99热这里只有精品| 五月丁香另类图片| 丁香婷婷六月男男| 丁香六月激情综合| 婷婷五月丁香欧洲| 综合久久影院| 99久热| 丁香九月综合激情| 第四色五月婷婷| 日批在线看| 丁香五月天AV在线| 丁香五月天色| 第六色在线| Av性爱网站| 日韩性视频| 色婷婷久久综合| 久热超碰91| 97久久五月丁香婷婷| 色色五月激情| 精品在线网站| 婷婷五月激情四月综合| 色播五月丁香综合| 久久丁香久久| 欧美性爱五月天| 久久精品人妻| 色三级色三级| 狠狠色婷婷7777久| 免费看欧美成人A片无码| 色五月综合| 五月天精品| 婷婷操逼| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 99热精品中文字幕| 99热在线精品观看| 五月天婷婷小说| 日日夜夜狠狠| www.lchjjc.com| 丁香五月色激情| 五月丁香 狠狠爱| 99在线免费视频播放| 4399精品一区二区| 亚洲综合视频网| av网址在线| 大香蕉狼人久久| 日本三级网址| 五月天日日操夜夜操 | 第六色在线| Jh7Uf088VHafNm| 亚洲激情精品| 色五月丁香五月| 99热免费在线| 99久久喉9| 国产婷婷五月| 日本美女上人| 久婷婷久草| WWW.色婷婷.COM| 思思热AV| 99热6精品| 拍真实国产伦偷精品| 五月婷A V在线| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 色婷婷综合中心| 天天天天天天天操| 99色综合网| 天天干天天插| 狠狠草网| 99热www.| 夜夜操狠狠操| www.五月天| 亚洲免费成人电影AV| 五月丁香久久综合色| 另类专区在线观看| 久久九九蜜| 激情综合网激情五月天| 亚洲精品白浆高清久久久久久| 五月天丁香看婷婷| 婷婷六月激情小说网| 五月丁香伊人网| 日本天天操| 99久久婷婷| 色色五月婷婷网| 五月天另类图片区99| 色波激情五月天| 激情小说五月欧美亚洲丁香| 久久丁香五月天| 猫咪伊人AV| 欧美天天搞| 久9热| 26UUU欧美激情一区二区| 久久天天| 亚洲操女| 免费99情趣网视频| 成人av在线网站| 久久人妻少妇嫩草AV| 婷婷五月色图| www色五月天| 99热免费| 久久3级片| 一本久道综合99| 婷婷六月开心网| 免费看成人747474九号视频在线观看| 狠狠干最新地址| 色天堂在线| 成年人99热| 大香蕉综合在线| WWW、日本色丁香、co m| 久99| 欧美久久婷婷| 色原狠狠综合| 色99欧洲色19| 久草热8精品视频在线观看 | 97碰精品| 六月五月久久丁香| 亚洲日日日| 97碰 在线视频观看| 二色AV| ji'qing'luan'ren'lun| 99综合| 天色色综合网| 五月五丁香婷婷| 超碰人人在线| 91精品国产99久久久久久天美| 99热日| 99热只有这里有精品| 激情婷婷丁香五月| 六月丁香深深爱综合网| 99欧州偷拍视频| 亚洲宗合激情| 天堂五月婷婷| 开心婷婷五月| 色综合久久天天综合网| 九九热免费视频| 成人无码精品1区2区3区免费看| 亚洲超级碰| 激情五月婷在线精品| 日本99视频| 色婷婷免费观看| 五月丁香六月色| 狠狠爱成人综合网| 久久深爱激情网| 久久精品99国产精品日本| 91ncom.色| 青青草成人网| 97久久久免费福利网址| 人人草人人爱| 五月丁香久久呀| 亚洲热综合| 色九九九综合| 婷婷国产成人| 色婷婷综合影院| 人妻久久人妻久久第一区| 婷婷丁香五月天熟女丝袜| 五月丁香婷婷成人综合网| 人妻人人操| 国产AV熟妇人震精品一品二区| 色色丁香激情五月| 成人五月天综合网| 伊人热婷婷| 超碰免费在线| 91色在线/日韩| 99re66热这里只有精品| 亚洲色9| 五月天成人在线视频网站| 9+1视频网址| 婷婷久久五月丁香| 开心婷婷中文字慕| 极品少妇XXXX精品少妇偷拍| 亚洲 无码 中文字幕 中出| 五月天激情四射| 4399在线观看免费高清电视剧| 99色在线视频| 五月天婷婷在看| 色狠狠色噜噜AV天堂五区| 婷婷成人综合五月| 色玖玖网| 激情综合婷婷| 久久婷出差欧美色两性综合网| 天天干一干| 操嫩逼电影| av在线婷婷| 久久人妻高清中文| 97九色视频| 狠狠爱综合网| 婷婷激情五月吧| 狠狠色噜噜狠狠狠狠综合| 日本a片网址| 99久热| 五月情婷婷五月| 99超超碰| 色女人久久| 国产激情久久久| 婷婷五月天色| 婷婷五月天精品| 91色九| 天天日天天色| 天天操天爱综合| 97干在线看| 91日本在线| 精品五月丁香| 五月天激情黄色网址| 91色逼| 亚洲色精彩| 丰满少妇乱A片无码| 亚洲综合干| 亚洲综合色婷| 97九色| 丁香伊人激情| 99小视频在线观看| 日日夜夜狠狠| 另类激情五月在线视频欧美| 日日夜夜狠狠婷婷色| 超碰国产在线播放| 成人 在线 日韩| www..com色爱| 在线视频99| site:pnnrt.com| 天天草天天日| 久久久WWW| 午夜成人片400| 亚洲六月色| 五月天丁香网| 一级性爱大片| 丁香五月婷婷88在线| 久久免费少妇高潮99精品| 欧美狠狠色| 1024人妻| 色开心五月丁香| 婷婷色五月天在线| 夜夜骑天天操| 五月天自拍网| 欧洲毛片基地c区| 综合久久十三| 久久99精品视频| 激情五月婷婷六月丁香| 婷婷成人综合免费视频| 婷婷久久影院| 日韩黄在免| 99re在线精品视频| 精品亚洲VA网站| 在线va网站| 色婷婷最新域名| 婷婷五月天激情小说| 婷婷色五月丁香六月欧美啪| 国产精品噜噜在线视频| 狠狠香蕉| 92国产福利| 五月丁香综合色婷婷| 婷婷婷婷婷婷婷五月丁香| 日日操日日干| 九月婷婷久久久| 色婷婷人人| 开心深爱激情网| 六月婷婷五月天| 五月婷婷开心激情六月蜜桃| 色婷婷操逼| 真实熟女-91九色| 婷婷五月影院| 五月天色区| 超碰人人操| 九色无码| 色色色精品无码区| 五月天啪啪| 97五月婷婷| 久久五月婷综合| 99精品无码| 中文久久婷婷| 96丁香六月婷婷蜜桃综合久久| 插少妇综合网| 六月色婷婷欧美| 国产 亚洲 在线| 99热大| 玩熟女五十AV一二三区| 久久视频在线视频| 最近免费中文字幕大全高清大全1 免费看欧美成人A片无码 | 超碰国产AV| 另类综合国产| 国产一级婬片毛片| 色婷婷五月天成人网| 婷婷射图| 九热视频在线精品15| 丁香花五月天社区| 性按摩玩人妻HD中文字幕| 五月天激情丁香| 日本九九九九| 色五月天婷婷| 啪啪一区| 成人做爰高潮A片免费视频| 久草婷| 久久XX| 日本九九视频| 婷婷久久五月| 色99视频| 丁香六月婷婷久久综合| 深爱激情六月天| 日韩色五月| 99黄色性生活| 久久五月激情综合| 欧美色99| 亚洲精品网站色视频| 黄色成人网站在线播放| 婷婷色中文字幕| 久久久五月天| 五月天丁香综合久久国产| aaaa.黄| 在线观看996精品| 免费V片在线| 国产女人十八水真多1| 色婷婷AV久久| 第四色五月婷婷| 色色色色色色色色色色色色色97| 97碰啪啪| 六月综和久久| 天天免费日日夜夜夜夜| 婷婷va| 天天五月天综合网址| 日本va欧美va国产激情| 久热这里| 99久久99热这里只有精品| 五月丁香激情在线| 五月天国产| 丁香五月综合激情性爱| 五月天婷婷激情在线色图| 91丨九色丨熟女高潮| 极品人妻VIDEOSSS人妻| 蜜臀久久99精品久久久久久酒店| 97丁香视频| 大香蕉九九热| 天天综合色丁香| 襙比视频| 在线1青婷| 五月综合婷婷五月| 99热在线只有精品| aaaa久久| 久久婷婷五月丁香网| 婷婷五月丁香综合亚洲 | 色婷婷五月天在线观看| 九色综合网| 久超免费视频| 97干97色| 色五月久久成人婷婷| 色五月婷婷五月丁香五月| 午夜丁香五月天综合| 国产精品色婷婷久久久精品| 精品人妻伦一二三区久| 99热最新国内| 色婷婷久久久| 亚洲色综久久五月| 色老久久| 日本99热| 色综合99色| 色色色色色色色色色色色色色97| 五月丁香六月综合情在线观看 | 五月综合激情| 精品国产乱码久久久久久免费| 99精品久| 久久综合激情五月天| 青青草护士中出内射-欧美电影在线天堂新版| 五月丁香婷婷伊人| 97久久精品| 精品夜夜澡人妻无码AV| 婷婷五月综合色中文字幕| 97人人干| 婷婷五月综合激情免费| 啪啪91| 丁香五月在线自慰| 免费黄色视频网址| 秋霞午夜理论| 操操自拍| 午夜丁香久久久久久| 91viP在线看| 色偷偷狠狠| 激情av| 色婷婷狠狠18yy| 99热自拍| 丁香六月激情综合| 五月丁久久| 色婷婷狠| 99精品福利视频| 久久草大香蕉| 激情淫乱男女| 五月四色婷婷| 国产成人网站在线观看| 九热久| 天天色五月| AV在线观看网站| 性做爰1一7伦| 五月天激情啪啪| 激情 婷婷 丁香五月天| 99热这里只有精品8| 人妻操逼视频| 久久久久久久,99精品视频| eeuss人妻| 五月丁香五月综合欧美| 99色人| 婷婷色丁香五月| 五月婷婷深爱六月| 五月婷婷综合网| 国产免费一区二区三区三州老师F1F1.CC| 噜色精品| 天天拍天天操| 99精品久久久久久久婷婷| 六月婷婷九月丁香亚洲综合| 国产亚洲精品AAAAAAA片| 9久久婷婷国产综合精品性色| 99久久免费精品| 九九视频在线| 中文久久婷婷| 天天天日天天天干| 99热久久这里只有精品| 天天弄天天爽| 婷婷免费视频| 国产91资源在线| 久综合网| www.jiujiujiu| 色综合狠狠色| 五月丁香六月婷婷色日| 99热大| 婷婷五月天天| 熟妇人妻中文字幕无码老熟妇| 国产91九色| 人。妻久久| 久久99久久99久久99| 深爱婷婷色| 日本久久99| 777色婷婷爱五月| 六月丁香激情网| 操操人人| 亚洲人妻av| 182TV亚洲| 亚洲综合另类| 97人妻人人| 五月婷婷狠天天色综合| 亚洲精品久久久无码| 亚洲久久视频| 无码日本精品XXXXXXXXX| 九九人妻福利| 久久er99热精品一区二区| 99热无码精品| 五月丁香| 99 热国产在| 婷婷五月天小说网| 夜夜躁狠狠 | 噜噜视频| 99热加勒比| 丁香五月婷婷色播艳门照| 久9综合| 天天视频亚洲| 伊人玖玖婷婷| 综合色色网| AV在线观看网站| 久婷婷色| enecarbon-materials.com污K127封锁请涟系@wip1688 | 超碰二区| 丁香婷婷精品视频| 51精品国自产在线| 婷婷五月天六月| 99精品偷自拍| 五月婷婷婷婷网| 五月丁香久久丝袜啪啪| 五月丁香六月婷综合成人综合 | 操操操操操电影网| 99久久色| 999婷婷综合| 狠狠爱综合网| 亚洲情综合五月天| 狠狠干伊人| 五月天婷婷丁香人人操91| 综合网激情| 91精品国产99久久久久久天美| 91狠狠色丁香婷婷综合久久精品| 99热日韩这里只有精品| 丁香婷婷影院| 超碰91人人操| 97自拍视频在线| 国产小精品| 99精品22| 5五月综合网亚洲| 婷婷五月天黄色| 婷婷五月天无码视频| 少妇AB又爽又紧无码网站| 天天射综合网夜夜操| 久99久视频精品| 天天干天天色综合| 久99| 激情内射人妻1区2区3区| 日本社区五月天激情| 182TV亚洲| www久久久| 久热视频这里只有精品| 操97| 97干在线视频精品店| 热久久这里只有精品| 婷婷五月激情网站| Caoub青青超碰 | 激情五月天之五月婷婷| 九色视频这里只有精品| 成人综合视频网址| 在线视频另类| 亚洲成人电影aaaa| 9久久精品视频| 久久99网站| 久久这里只有精品16| 亚洲无码激情| 亚洲色色色| 综合激情综合啪啪| 久久激情五月网| 一起草性爱不卡视频| 丁香五月综合色婷婷| 丁香五月花| 97色欧美| 五月天堂在线| 丁香五月激情宗合网| 午夜天堂一区人妻| 色欲婷婷五月天| 亚洲色 视频| 伊人91| 亚洲区1| 超碰在线看| 99热成人在线观看| 激情小说五月丁香在线视频观看视频| 久超免费视频| a在线观看| 日本九婷婷| 丁香五月天激情综合网| 91操碰| 五月丁香激情啪啪网| 99国产精品久久久久久久久久久| 亚洲六月色婷婷| 色婷婷五月天不卡| 激情婷婷人妻| 九九伊人网| 久久五月婷综合| 丁香六月啪啪啪| 五月天欧美 另类小说| 五月天婷婷涩涩| 五月激情婷婷丁香| 少妇人妻人伦A片| 精品免费99| 丁香五月天激情婷婷丁香六月| 99九九视频| 亚洲AV成人无码精品| EEUSS鲁片一区二区三区| 五月丁香啪啪啪综合网| 五月激情六月丁香| 日韩爱操视频| 九月丁香久久网| 華人性愛AV在線| 亚洲婷婷91丁香| 久久婷婷的综合色丁香五月| 果冻传媒A片一二三区| 97色色色| 天天日,天天干,天天操| 97人人操| 婷婷五月色| 亚洲天码视频www蛋播视频| 婷婷 激情 五月| 这里只有精品在线视频精品| 国产熟女一区二区三区五月婷| 欧美操我| 精品一区二区三区三区| 黄急一级视频| 国精产品一区一区三区免费视频| 九九色热| 超碰操网| 4399成人黄A片| 久草大| 色婷婷基地| www一区二区三区| 亚洲小说欧美激情| 91人妻视频| 五月花婷婷在线精品视频| 五月香婷婷| 久久免费丁香| 中文字幕网站在线观看| 很很色丁香久久停停| 国产精品99久久久久久久女警| 操人91| 天天插天天爽| 91久操| 婷婷五月天在线观看| 五月天综合网| 色色色色综合网| 99视频内射三四| 天天色播| 国产肥白大熟妇BBBB视频| 9精品久久999| 色五月在线综合| se婷97| 老师高潮流白浆喷水的A片| 春色激情| 99在线视频操999| 99在线视频观看| 超碰99成人在线| 免费成人网在线观看| 九九久久高清| 97操在线视频| 第二色AⅤ| 五月丁香婷婷国产精品综合| 色婷婷影音| 激情图片婷婷| 五月天综合影院| 激情五月婷婷丁香综合网| 欧美韩日AAA网站| 婷婷丁香五| 人妻VideOssS人妻| 五月丁香中文| 五月婷婷基地| 色狠狠色噜噜AV天堂五区| 开心激情站| 九久久九精品视频| 国产超碰人人| 婷婷丁香五月天综合AV| 狠色色狠网| 激情婷婷五月女| 五月婷在线色视频| 五月激情六月综合| 超碰成人免费| 色婷| 人人爱天天摸摸天天爱| 丁香五月98| 91人人爽久久涩噜噜噜| 色情五月婷| 涩综合网| 九热...av| 中文字幕在线免费看线人| 超碰久热| 日韩乱轮AV| 久久色午夜在线导航| 免费观看全黄做爰的视频| 在线成人视频免费| 一起草AV| 97综合在线| 欧美色色色| 99热最新| 97丁香视频| 亚洲第一成人无码A片| 色色a| 亚洲人妻电影| 久草五月天| 无码一区二区三区四区五区91c| 亚洲精品成人| 亚洲精品亚洲人成人网| 91人人爱| 92国产福利| 日本九九视频| 婷婷色婷婷亚洲成人| 99色在线视频| 天天爱综合网| 日本欧美成人片AAAA| 影院久久久| 97艹| 噜综合| 呦呦v线| 天天射天天射一道本日本社区| 婷婷性爱无码视频| 天天久综合网永久入口18| 日本熟妇乱妇熟色A片蜜桃| 激情丁香五月| 97人妻超级碰碰碰碰碰| 黄色av网站在线免费播放| 免费无码毛片一区二区A片| 大香久久伊人网| 99热这里只有精品最新| 开心五月激情五月丁香五月婷婷| 亚洲无码九九| 操日视频| 大香蕉婷婷丁香视频在线| 国产毛片精品一区二区色欲黄A片| 久热亚洲| 久9热| 日本久久天堂| 色婷婷888| 99热午夜精品| 免费精品99| 天堂婷婷丁香六月网| 激情五月网站| 色色综合激情| 丁香六月丁香婷婷激情 | 538任你爽| VfJxEwPH| 五月日韩中文字幕| 五月天丁香六月综合| 丁香五月激情综合| 九九婷| 99热 免费| 337p大胆噜噜噜噜噜91Av| 2021日韩无码| 色婷亚洲| 亚洲成人AV电影在线| 色五月丁香六月资源站| 偷拍五月丁香| 欧美久久久中文字幕| 九九视频这里是精品五月| 91男同| 日韩肏屄网| 色色COm| 久久婷婷丁香花综合网| 五月天婷婷色| 日韩人妻在线观看| 激情婷婷视频在线| 亚洲精品五月| 久久视频在线视频| 丁香五月激情宗合网| 强伦轩人妻一区二区电影| 九月婷婷在线观看| 日韩99色99| 亚洲日本韩国| www.夜夜夜| 91丨九色丨大屁股| 婷婷激情四射| 99热综合| 国产色视频网站2| 久久久久久人妻久久久久久久久久人妻久久久| 五月婷婷色欲| ss99热| 国精产品一区一区三区免费视频| 欧美va视频不用播放器的va视频网| 97在线视频观看| 国产成人网| 99色性爰网络| 色色精品色| 五月亭亭开心网| 丁香五月手机在线| 九九99九九99九九99视频网| 伊人色综合影院视频| 久久综合激情| 婷婷激情肏屄网| 免费做A爰片77777| 成人精品一区二区三区四区五区 | 狠狠人妻久久久久久综合丁香| 国产AV一区二区三区日韩| 丁香六月婷婷综情欧美| 婷婷丁香久久| 襙比视频| 成人国产欧美大片一区| 色色aⅤ網| 狠狠色噜噜狠狠狠狠狠色综合久久| 亚洲五月情| 另类视频一区| 亚洲另类婷婷综合| 色五月丁香伊人五月| 在线观看视频1区| 99久久大片| 99这里有精品免费| 婷婷丁香久久| 婷婷激情肏屄网| 色色激情网| 久久机热这里只有精品免费视频| 久久久久久人妻| 婷婷五月综合在线视频| 五月婷婷 婷婷五月 一区二区 久久久| 亚洲色色在线| 大香蕉在线99热| 激情五月婷婷综合| 色444综合网| 超碰网站在线观看| 五月丁香中文婷婷中文| 超碰超碰在线| 久这里只有精品| 99婷五月| 激情久久久久久久久久| 五月丁香啪啪网| 亚洲乱码日产精品BD| 夜夜撸日日骑| 99精品在线观看视频| 五月天婷婷激情| 综合色综合| 国产一区18| 色色色99| 91婷婷五月天综合视频| 激情亚洲色图片丁香综合| 丁香五月六月婷婷自拍| 99,色| 色爱99| 婷婷综合激情| 激情av在线| 五月丁香久久丝袜啪啪| 四虎99热在线观看网站| 五月丁香婷在线| 狠狠干狠狠色| 久久er这里只有精品| 操操碰| 99热在线网站| 久久怡红院| 99re26视频| 欧美三级视频| 性爱网五月天| 思思热精品在线观看| 99精品网站| 激情五月天伊人影院| 手机旧版看人妻1025| 天天谢天天操| 婷婷综合精品| 91在线操逼视频| 五月天婷婷基地综合网| 色墦五月丁香| 91919191919久久成人视频| 日本色超碰| 99玖玖人人| 91精品久久久久久久久| 无码se| 狠狠爱综合网| 久久婷婷五月综合97色一本| 五月天婷婷六月激情网| 天天摸日日舔狠狠添婷婷婷 | WWW色色色COm| 丁香五月婷婷基地| 综合图片色色| 婷婷激情小说网| 91九色PORNY中文啦| 激情综合网色播五月| 激情五月开心五月丁香五月| 97干在线| 人人超碰99| 精品久热| 色婷精品91| 色五月亚洲开心网| 思思热天天看| 六月丁香狠狠爱| 九九九九精品精| 五月丁香中文| 另类小说婷婷色| 综合色五月| 五月天丁香啪啪网| 九色视频91疯狂| 九九爱激情| www.婷婷网| 手机在线日韩视频中文字幕| 成人精品视频99在线观看免费| 五月天婷综合| 欧美激情综合色丁香婷婷五月天| 九月婷婷综合八月丁香在线观看| 亚洲精品乱码久久久久久按摩观| 欧类av怡春院| 亚洲综合1024| 日本欧美成人片AAAA| 九色PORNY9l原创自拍| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 色婷婷综合视频| 久久激情五月婷婷| 天天插天天| 开心激情色婷婷五月天| 婷婷在线精品| 激情综合网五月| H亚洲| 三十熟女| 五月婷婷激情网| 夜夜操狠狠操| 亚洲综合婷婷六月丁香五月| 99热这里只有精品手机在线观看| 亚洲天堂啪啪| 婷婷久久免费| 黄页免费一级视频懂色| 无码字幕中文| 琪琪色五月婷婷老师| 五月激情综合网| 97人妻碰碰碰久久香蕉| 婷婷色av| 色五月亚洲五月天| 精品人妻伦一二三区久久| 日本九九九九| 99九九精品视频| 日本天堂免费99| 六月丁香色婷婷| 婷婷香五月| 99re这里只有精品在线观看| 久久五月丁香综合17C| 九九成人高清视频| 99热无码精品| 深爱 五月天| 熟女激情网| 第四色激情网| 91久久婷婷| 激情久久丁香| 黑人熟妇一区二区三区| 98永久精品| 九月婷婷在线观看| 99ri视频在线观看| 中文字幕第四色.999| 韩国中文字幕91| 亚洲成人影视在线| 婷婷激情久久| 好大好粗嗯啊-一级黄色大片免费观看-成人AV| 国产免费一区二区三州老师F1……| 婷婷激情社区| 婷婷五月激情欧美| 91Chinese在线| 九九热在线99| 亚洲色热| 97福利视频| 操九色| 中文字幕AV在线| 激情五月综合网| 色五月综合网| 丁香五月激情婷婷| 亚洲精品99| 国产精品扒开腿做爽爽爽A片唱戏| 538在线精品| 欧美一级色| 99久视频| 欧洲MV日韩MV国产| 婷婷婷婷午夜| 综合色五月亭亭| 免费日本aⅴ中文字幕| 91超级碰碰碰| 亚洲色综合| 色丁香五月婷婷| 五月四色激情| 五月婷婷久久网| 影音先锋男人女人| www.97视频| 色五月色五天色情网址| 欧美亚洲成人在线| 五月丁香婷婷在线| www.99热最新视频8| 婷婷色五月丁香六月欧美啪| 国产成人av在线| 激情五月天婷婷图| 99丁香五月婷| 欧美美女国产日韩一区二区久| 另类图片 五月激情| 一起草性爱不卡视频| 狠狠五月激情丁香六月| 激情五月天视频| 久久5 9视频免费观看| 色婷婷精| 日本乱论99| 啪啪激情综合| 色五月涩涩婷婷蜜桃| 婷婷五月六月激情| 色哟哟www| 丁香五月在线播放| 超碰色热| 婷婷久久五月天丁香| 99热九九这里只有精品| 色婷丨日丨天丨综合久久| 夜夜干夜夜操| 97干视频在线| 亚洲妇女熟BBW| 97操| 97干在线| 66精品成人免费网站在线观看| 碰97久久| 538在线精品| 2021日韩无码| 亚洲精品99| 久久这里只有精品22| 色五月婷婷av| www.丁香六月婷婷久久天堂影院.con| 国产视频福利| oVV4WIB3vFi8D| 五月的丁香六月的婷婷| 五月天天综合| 国产伦亲子伦亲子视频观看| 五月婷久久久| 色婷婷色五月丁香| 色婷婷超碰| 色婷婷影院| 99热香港| 久久婷婷五月草视频在线播放| 成人.在线日韩| 色五月大香蕉婷婷| 熟女激情网| 婷婷激情丁香六月| 久99久在线观看| 九九综合影音先锋| 超碰三级片| 亚洲小说欧美激情| www激情| 色五月色开心开心五月| 丁香五月婷婷久久综合激情网| 六月丁香久久| 伊人婷婷大香蕉| 操91综合网| 人人澡天天色天天做| 婷婷五月免费视频| 69精品人人人人| 97干综合网| 天天五月香欧美| 久久这里只有精品热在99| 色婷婷在线视频| 九九99热精品| 99在线爽| 久久9精品| 天天综合区| 五月亚洲激情| 色噜噜狠狠色综无码久久合欧美| 99热免费在线| 日本丁香久在线| 特级片神马电影| 五月丁香亭亭| 五月丁香婷久久| 日日干夜夜撸夜夜骑| 六月天婷婷| 色色99| 免费黄色视频网址| www.婷婷六月天| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 久热综合| 九九爱精品网站| 丁香五月aV| 色五月天婷婷| 1234操逼网| 淫荡工a| 99精品偷自拍| 性爱综合网| 色婷婷国产精品综合在线观看| 国内9l视频自拍老熟女九色| 蜜臀A∨在线水帘洞| 日韩成人综合网| 99热天堂| 亚洲六月婷婷| 丁香五月色色婷| 99热精品综合| 中国女人做爰A片| 欧洲永久精品| www热久久yy9| 久久天堂女人| 99青青草| 九九在线精品| 樱花99视频| 爆乳熟妇一区二区三区爆乳照片| www热久久yy9| 久狠日av| 碰碰碰97国产| 亚洲精99| av大香蕉| 任你爽视频| 99九九99九九九视频精彩| 99久久婷婷综合| 五月婷婷网站| 免费日本aⅴ中文字幕| 五月天天综合| 丁香五月天久久| 五月天成人在线| 久久人妻少妇嫩草AV| 亚洲中文字幕网| 狠狠色综合网站久久久久| 九九99免费视频| 成人 视频免费观看网站| 色婷婷777狠狠| 久久综合丁香| 丁香五月婷婷基地| 99热这里只有精品55| 久久久久久久11111111111| 久久这里99| 亚洲丁香婷婷| 五月丁香六月婷婷综合网缴情| 双性美人被调教到喷水A片| 青青草深爱激情网| 天天日天天舔| 婷婷六月中文字幕| 国产AV一区二区三区最新精品| 99久久精彩视频。| 久久婷色| 久碰视频| 婷婷色网| 中文字幕在线不卡| 色综合九九| 人妻中文在线| 伦乱美欧| 婷婷五月激情综合| 夜夜做天天爽| 丁香五月伊人| 五月天天爽| 丁香五月婷婷Av| 综合久| 91九色精品熟女内射| 五月天啪啪啪| 久久色五月| 97人人射| 国产精品色色色色| 99热www| 色婷婷丁香五月| 丁香五月性| 成人无码精品1区2区3区免费看 | 久久人妻www| 2017人人操| 五月激情小说网| 性爱AV天堂| 99热热热99精品婷婷| 亚洲日日操| 婷婷丁香宗合888| 五月天综合在线| 婷婷五月丁香婷婷| 97干干干丁香| 五月天婷婷丁香| 亚洲AV人人操| 丰满少妇猛烈A片免费看观看| 伊人婷婷青青cao| 伊人在线视频| 六月婷婷啪啪| 丁香婷婷五月激情综合| 久久在线视频免费观看| 五月天全国最大成人网| 亚洲婷婷丁香五月| 棕合影院色色| 婷婷五月情色| 丁香六月综合激| 伊人综合网站| 我爱婷婷五月天综合88| 91视频综合网| 激情伊人五月天| 九九综合精品| 大香人妻| 天天色天天操天天射| 久99热| 婷婷久久免费| 婷婷久久五月天| 开心激情播播五月天| 色噜噜狠狠色综合成人99| 999热在线视频| 婷婷开心综合人妻小说网址| 激情综合九| 九九热10| 久久深爱激情网| 天天久久狠狠色综合| 婷婷狠狠干| 久久精品视频99| 丁香激激情网| 蜜臀av粉嫩av懂色av| 婷婷激情九月| 五月婷婷视频ab| 三级黄网站| 爱99干99| 日韩淑女人妻luan伦激情精品一区二| 丁香六月婷月91婷月| 欧美色色日韩| 丰满少妇猛烈A片免费看观看| 开心婷婷五月| 五月天色婷婷视频| 伊人久久大香线蕉av最新| 欧美日韩99| 五月婷婷影视| 久久久www| 91日婷婷在线| 久热 91| 亚洲熟妇AV综合网五月丁香伊人 | 成人无码髙潮喷水A片| 日本成人噜噜噜| 婷婷丁香五月激情中文字幕版| 五月天婷综合| 在线观看免费人成视频无码| 综合性爱网| 五月天激情.com| 丁香婷婷五月天网站| 五月天丁香成人|