欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Linux 性能優(yōu)化實(shí)戰(zhàn):CPU / 內(nèi)存 / IO / 網(wǎng)絡(luò)全鏈路調(diào)優(yōu),線上可直接落地

Linux 性能優(yōu)化實(shí)戰(zhàn):CPU / 內(nèi)存 / IO / 網(wǎng)絡(luò)全鏈路調(diào)優(yōu),線上可直接落地 文章目錄第一章:CPU使用率100%排查??核心判斷(top看%Cpu)??工具鏈??標(biāo)準(zhǔn)排查步驟??實(shí)戰(zhàn)案例案例1:Nginx+PHP?FPM案例2:Java應(yīng)用CPU 100%??關(guān)鍵注意點(diǎn)第二章: CPU高,但找不到高CPU進(jìn)程?結(jié)論先行第一層:故障現(xiàn)象第二層:兩個(gè)根因第三層:排查步驟(面試口述版)第四層:兩個(gè)典型案例第五層:踩坑關(guān)鍵點(diǎn)第三章: D不可中斷進(jìn)程 Z僵尸進(jìn)程排查(增加代碼通俗注解版)一、進(jìn)程狀態(tài)速覽二、故障根因D狀態(tài)(iowait高)Z僵尸進(jìn)程三、排查命令步驟1)全局觀察2)排查D狀態(tài)/iowait高3)排查Z僵尸進(jìn)程四、經(jīng)典案例(D+Z同時(shí)出現(xiàn),附代碼說明)五、高頻踩坑點(diǎn)第四章: 資深運(yùn)維面試|CPU性能優(yōu)化 4道深度面試題Q1:線上定位出CPU性能瓶頸之后,你完整的優(yōu)化閉環(huán)思路是什么?很多人找到瓶頸直接改代碼上線,會(huì)踩哪些坑?Q2:同樣CPU使用率100%,us用戶態(tài)高 和 sys內(nèi)核態(tài)高,你的分析思路?分別對(duì)應(yīng)哪些典型線上場景?Q3:CPU優(yōu)化手段有:代碼算法優(yōu)化、緩存、CPU親和性綁定、cgroup限制CPU。生產(chǎn)環(huán)境如何取舍?各自適用場景?哪些手段不能隨便亂用?Q4:怎么理解「過早優(yōu)化是萬惡之源」?結(jié)合運(yùn)維實(shí)戰(zhàn),什么情況該優(yōu)化,什么情況堅(jiān)決不要做優(yōu)化???終面綜合大題(可用于壓軸)第五章: Linux CPU性能Q1:線上CPU打滿,簡述完整故障排查閉環(huán),你會(huì)重點(diǎn)規(guī)避哪些坑?Q2:us高與sys高,分別代表什么?列舉典型場景與排查手段Q3:線上負(fù)載很高,但CPU idle還有20?30%,us/sy/wa都正常,請(qǐng)分析原因,能不能直接做CPU綁定?Q4:CPU優(yōu)化有算法優(yōu)化、緩存、CPU親和性、cgroup限制CPU;生產(chǎn)如何取舍,哪些手段慎用?Q5:perf采樣遇到哪些常見坑?(容器、Java、閾值、swapper)第六章: Linux虛擬內(nèi)存(終面)Q1:簡述Linux虛擬內(nèi)存核心原理,為什么要設(shè)計(jì)虛擬內(nèi)存?Q2:malloc底層brk、mmap分配機(jī)制,區(qū)別、優(yōu)缺點(diǎn)?Q3:free命令如何解讀?free、buff/cache、available有哪些線上坑?Q4:top VIRT / RES / SHR / %MEM含義,生產(chǎn)排查踩坑?Q5:內(nèi)存壓力下Linux三種內(nèi)存回收;OOM、oom_score、oom_adj原理?Q6:伙伴系統(tǒng)、slab分配器,slab是否用于用戶態(tài)malloc???SRE高頻拓展面試題Q7?1:缺頁異常分為哪幾類?Q7?2:HugePage大頁適合什么業(yè)務(wù)?有哪些生產(chǎn)代價(jià)?Q7?3:容器內(nèi)執(zhí)行free,顯示的是容器內(nèi)存還是宿主機(jī)整機(jī)?Q7?4:什么是內(nèi)部碎片、外部碎片???面試口述收尾(資深運(yùn)維必背)第七章: Buffer與Cache 資深運(yùn)維面試Q1:請(qǐng)講清楚Linux Buffer、Page Cache(buff/cache)區(qū)別?free命令中buff/cache是什么?Q2:`free`里`available`、`free`有什么本質(zhì)區(qū)別?很多運(yùn)維看到free很小就緊張,對(duì)不對(duì)?Q3:`echo 3 /proc/sys/vm/drop_caches`作用?線上生產(chǎn)環(huán)境能不能隨便執(zhí)行?3代表什么?Q4:slab中SReclaimable與SUnreclaim區(qū)別,會(huì)體現(xiàn)在free輸出哪里?Q5:vmstat中bi、bo是什么指標(biāo)?結(jié)合buffer/cache解釋寫文件流程。??SRE拓展深挖題Q6:怎么理解臟頁dirty page?臟頁過多會(huì)有什么線上問題?Q7:buff/cache持續(xù)占用很高,業(yè)務(wù)內(nèi)存充足,需要手動(dòng)drop_caches釋放嗎?Q8:free、vmstat數(shù)據(jù)來源于哪里???面試一句話收尾第八章: 系統(tǒng)Page Cache緩存 資深SRE面試題Q1:怎么評(píng)估系統(tǒng)頁緩存(page cache)的好壞?cachestat/cachetop/pcstat各自作用?O_DIRECT直接IO為什么cachetop看不到大量緩存未命中?Q2:線上業(yè)務(wù)IO慢,cachetop顯示進(jìn)程READ_HIT%=100%,但是業(yè)務(wù)讀延遲依舊很高,請(qǐng)分析原因與排查步驟?Q3:free看到buff/cache占用很高,free內(nèi)存很小,運(yùn)維要不要手動(dòng)執(zhí)行`echo 3 /proc/sys/vm/drop_caches`清理緩存?線上有什么風(fēng)險(xiǎn)?什么場景才適合執(zhí)行???面試一句話收尾??面試官備用深挖題第九章: 內(nèi)存泄漏 資深SRE面試題Q1:什么是內(nèi)存泄漏?堆、棧、數(shù)據(jù)段、文件映射段,哪些會(huì)發(fā)生內(nèi)存泄漏?線上內(nèi)存泄漏會(huì)帶來哪些連鎖危害?Q2:線上懷疑存在內(nèi)存泄漏,請(qǐng)描述完整排查流程,memleak工具原理,容器環(huán)境會(huì)遇到什么坑?Q3:C語言業(yè)務(wù)進(jìn)程RES持續(xù)上漲,怎么區(qū)分是真內(nèi)存泄漏還是偽泄漏?列舉常見偽泄漏場景。??面試口述收尾??面試官備用深挖題第十章: Linux內(nèi)存故障排查 資深SRE面試Q1:線上收到內(nèi)存告警,請(qǐng)描述完整排查思路,核心看哪些指標(biāo),如何區(qū)分是進(jìn)程、緩存、slab、Swap導(dǎo)致的壓力?Q2:什么是major主缺頁、minor次缺頁?線上指標(biāo)升高分別是什么現(xiàn)象,對(duì)業(yè)務(wù)有什么影響?Q3:Linux內(nèi)存調(diào)優(yōu)有哪些常用手段?哪些參數(shù)/命令生產(chǎn)環(huán)境嚴(yán)禁隨意操作,會(huì)帶來業(yè)務(wù)抖動(dòng)??面試速記小結(jié)(口述小結(jié),背完直接收尾)第十一章: 磁盤IO性能 資深SRE面試題Q1:線上業(yè)務(wù)接口響應(yīng)慢,top觀察iowait很高,請(qǐng)描述完整排查鏈路,關(guān)鍵工具與核心指標(biāo)?Q2:strace -p 綁定進(jìn)程PID,pidstat確認(rèn)該進(jìn)程大量寫IO,但是strace抓不到write調(diào)用,會(huì)是什么原因?Q3:iostat關(guān)鍵指標(biāo)%util、await、aqu?sz,解釋含義;哪些誤區(qū)容易誤導(dǎo)排障??面試速記小結(jié)第十二章: 數(shù)據(jù)庫慢查詢(系統(tǒng)層+MySQL層)資深SRE面試Q1:業(yè)務(wù)接口訪問MySQL,響應(yīng)耗時(shí)十幾秒,top看到iowait很高,請(qǐng)描述完整排查流程Q2:strace拿到mysqld的線程fd,直接把線程號(hào)傳給lsof卻查不到文件,是什么坑?Q3:除了SQL缺少索引,還有哪些外部系統(tǒng)因素,會(huì)導(dǎo)致MySQL查詢突然變慢??面試速記小結(jié)第十三章: Redis響應(yīng)延遲 資深SRE面試Q1:業(yè)務(wù)調(diào)用Redis查詢接口,查詢操作但接口響應(yīng)很慢,top看到iowait高,但iostat磁盤%util并不高,請(qǐng)描述完整排查鏈路Q2:容器內(nèi)運(yùn)行Redis,strace看到fdatasync耗時(shí)高,如何確認(rèn)這個(gè)fd對(duì)應(yīng)的socket還是磁盤文件?會(huì)遇到什么容器坑?Q3:iowait高,但iostat中磁盤%util不高,是什么原因??面試速記小結(jié)第十四章: Linux IO瓶頸快速定位 資深SRE面試Q1:線上業(yè)務(wù)變慢,收到iowait告警,請(qǐng)描述你快速定位IO瓶頸的完整套路?Q2:磁盤IO四大核心指標(biāo)是什么?考察時(shí)容易踩哪些誤區(qū)?Q3:文件系統(tǒng)層面有哪些容易忽略的IO性能指標(biāo)??面試速記結(jié)論第十五章: Linux網(wǎng)絡(luò)基礎(chǔ)與性能 資深SRE面試Q1:簡述Linux數(shù)據(jù)包收發(fā)完整流程Q2:衡量網(wǎng)絡(luò)性能核心指標(biāo)有哪些,分別含義?Q3:線上網(wǎng)絡(luò)變慢排查,你的排查步驟??面試速記小結(jié)第十六章:C10K / C1000K / C10M 速記?? 塔尖一句話一、三階段核心對(duì)比二、必背4個(gè)概念三、生產(chǎn)7大故障(按出題頻率排序)四、監(jiān)控必查命令(脫口而出)五、面試黃金收尾話術(shù)第十七章 tcpdump + Wireshark 面試一頁紙(3道面試題+總結(jié))面試題1:ping 訪問域名,單條ICMP延遲很小,但整個(gè)ping命令執(zhí)行耗時(shí)很長,可能是什么原因?如何定位解決?面試題2:線上服務(wù)器如何使用tcpdump和Wireshark做網(wǎng)絡(luò)故障排查,講完整操作流程,重點(diǎn)參數(shù)?面試題3:抓包中看到TCP斷開連接出現(xiàn)3個(gè)包,不是傳統(tǒng)的四次揮手,請(qǐng)解釋原理?一頁紙核心總結(jié)第十八章 DDoS(SYN?Flood)??核心概念??三大指標(biāo)?軟中斷 softirq??識(shí)別惡意流量(SYN洪水)??緩解手段iptablessysctl內(nèi)核調(diào)優(yōu)(寫入/etc/sysctl.conf,sysctl -p生效)分層防御??完整故障鏈路??面試必背短句第一章:CPU使用率100%排查??核心判斷(top看%Cpu)指標(biāo)高問題方向us/ni用戶業(yè)務(wù)代碼(死循環(huán)、大量計(jì)算、Java GC頻繁)sy內(nèi)核、頻繁系統(tǒng)調(diào)用、內(nèi)核線程wa磁盤IO瓶頸hi/si硬/軟中斷風(fēng)暴top按數(shù)字1,查看每個(gè)CPU核使用率??工具鏈top:定位高CPU進(jìn)程PID,默認(rèn)3s采樣pidstat 1 5:進(jìn)程細(xì)分 %usr / %system / %CPUperf(線上優(yōu)先,不中斷業(yè)務(wù))# 實(shí)時(shí)看熱點(diǎn)函數(shù)、調(diào)用棧perftop-g-pPID# 離線保存,適合轉(zhuǎn)瞬即逝問題perf record-g-pPID# Ctrl+C結(jié)束perf report??容器場景perf出現(xiàn)16進(jìn)制地址:宿主機(jī)生成perf.data,docker cp拷貝進(jìn)容器內(nèi)執(zhí)行report解析?GDB不適合線上:會(huì)暫停業(yè)務(wù)進(jìn)程Java專屬工具# 打印所有線程堆棧,定位高CPUJava線程jstackPID# 統(tǒng)計(jì)JVM各個(gè)內(nèi)存區(qū)域jstat-gcPID1000??標(biāo)準(zhǔn)排查步驟top觀察CPU分項(xiàng),確認(rèn)用戶態(tài)/內(nèi)核態(tài)/IO問題獲取高CPU進(jìn)程PID(top / pidstat)若是Java進(jìn)程:top?H -p PID找到高消耗線程tid,轉(zhuǎn)16進(jìn)制,配合jstack定位Java代碼;也可以使用perf采樣非Java進(jìn)程:perf采樣定位熱點(diǎn)函數(shù)根據(jù)函數(shù)/堆棧定位業(yè)務(wù)源碼,確認(rèn)根因(死循環(huán)、大量循環(huán)計(jì)算、頻繁FullGC等)修改代碼/配置,壓測驗(yàn)證修復(fù)效果??實(shí)戰(zhàn)案例案例1:Nginx+PHP?FPM現(xiàn)象:php?fpm進(jìn)程CPU打滿,us98%ab壓測:ab -c10 -n10000 http://ip:10000top確認(rèn)php?fpm占用CPUperf top -g -p PID找到sqrt為熱點(diǎn)源碼:單次請(qǐng)求百萬次循環(huán)執(zhí)行sqrt,遺留測試代碼刪除循環(huán),QPS從11提升至2237案例2:Java應(yīng)用CPU 100%現(xiàn)象:Java進(jìn)程CPU持續(xù)100%,us占比極高排查流程:top發(fā)現(xiàn)Java進(jìn)程PID=2345,CPU占用接近100%top -H -p 2345,發(fā)現(xiàn)線程tid=2368CPU占比很高tid轉(zhuǎn)16進(jìn)制:printf "%x\n" 2368→940jstack 2345 jstack.log,在日志搜索0x940堆棧定位業(yè)務(wù)代碼:for無限死循環(huán),沒有sleep;或者集合大數(shù)據(jù)遍歷補(bǔ)充:如果jstat?gc觀察到頻繁FullGC,CPU高是內(nèi)存泄漏導(dǎo)致,優(yōu)先排查內(nèi)存問題??關(guān)鍵注意點(diǎn)CPU使用率是一段時(shí)間采樣差值計(jì)算的平均值,不同工具采樣間隔不一樣,對(duì)比要保持間隔統(tǒng)一/proc/stat原始數(shù)據(jù)是開機(jī)累計(jì)值,不能直接拿來算使用率偶發(fā)瞬時(shí)CPU沖高,登錄現(xiàn)場已消失:依靠監(jiān)控 + perf record離線采樣Java使用perf:需要安裝perf符號(hào),否則只能看到j(luò)vm內(nèi)部符號(hào);jstack更適合定位Java業(yè)務(wù)代碼問題/////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////第二章: CPU高,但找不到高CPU進(jìn)程?結(jié)論先行系統(tǒng)CPU整體很高,但top/pidstat看不到高CPU進(jìn)程,90%是短時(shí)進(jìn)程,其次是進(jìn)程反復(fù)崩潰重啟。第一層:故障現(xiàn)象top全局us/sy高,id低;但所有進(jìn)程CPU占比都很低top看到大量R(Running)運(yùn)行態(tài)進(jìn)程,PID快速不停變化pidstat所有進(jìn)程CPU加起來遠(yuǎn)小于系統(tǒng)總CPU第二層:兩個(gè)根因短時(shí)進(jìn)程(最常見):業(yè)務(wù)代碼exec/system/ProcessBuilder調(diào)用外部命令,進(jìn)程生命周期極短,小于工具采樣間隔,top/pidstat抓不到,海量頻繁創(chuàng)建銷毀累積消耗CPU。進(jìn)程反復(fù)崩潰重啟:程序崩潰,被監(jiān)控/K8s反復(fù)拉起,初始化邏輯消耗CPU,進(jìn)程存活時(shí)間很短。第三層:排查步驟(面試口述版)top:看全局CPU,重點(diǎn)觀察R狀態(tài)進(jìn)程數(shù)量、PID是否漂移;有execsnoop優(yōu)先執(zhí)行,直接捕獲exec調(diào)用,拿到子進(jìn)程和父PID;沒有execsnoop,用perf全系統(tǒng)采樣,必須加-a,不能指定PIDperf record-ag-gperf reportpstree追溯父進(jìn)程,定位業(yè)務(wù)服務(wù);審查源碼外部命令調(diào)用,查看dmesg/容器日志確認(rèn)是否崩潰重啟。第四層:兩個(gè)典型案例PHP:http請(qǐng)求exec調(diào)用stress,權(quán)限報(bào)錯(cuò)快速退出,大量短時(shí)進(jìn)程吃滿CPU。Java:ProcessBuilder高頻調(diào)用shell腳本,腳本執(zhí)行完立刻退出,Java主進(jìn)程CPU占用并不高。第五層:踩坑關(guān)鍵點(diǎn)perf排查短時(shí)進(jìn)程不能帶?p指定PID,必須?a全系統(tǒng)采樣,swapper是空閑內(nèi)核進(jìn)程直接忽略;top/pidstat是采樣平均值工具,進(jìn)程壽命短于采樣間隔就捕獲不到;容器perf符號(hào)缺失:perf.data復(fù)制進(jìn)容器內(nèi)做report解析。面試一句話總結(jié):CPU高找不到進(jìn)程,優(yōu)先懷疑短時(shí)進(jìn)程,用perf -a全系統(tǒng)抓,不要指定進(jìn)程PID。///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////第三章: D不可中斷進(jìn)程 Z僵尸進(jìn)程排查(增加代碼通俗注解版)面試/線上速查,現(xiàn)象:iowait高、負(fù)載上漲、大量D/Z進(jìn)程一、進(jìn)程狀態(tài)速覽狀態(tài)含義關(guān)鍵影響R運(yùn)行/就緒CPU調(diào)度隊(duì)列D不可中斷睡眠,等待硬件IO拉高平均負(fù)載,kill?9無效Z僵尸,子進(jìn)程已退出,父未回收資源耗盡PID,無法新建進(jìn)程;kill僵尸本身無效S可中斷睡眠正常等待事件,可被信號(hào)喚醒I內(nèi)核線程空閑態(tài)不會(huì)拉高負(fù)載T暫停/調(diào)試跟蹤gdb、SIGSTOP觸發(fā)重點(diǎn):短時(shí)D屬于正常;大量持續(xù)D、持續(xù)增長Z屬于故障。二、故障根因D狀態(tài)(iowait高)業(yè)務(wù)O_DIRECT直接IO,繞過pagecache頁緩存,直接操作物理磁盤,磁盤慢導(dǎo)致進(jìn)程阻塞D狀態(tài);??通俗:不使用內(nèi)存緩存,每一次讀都直接訪問硬盤,硬盤速度遠(yuǎn)慢于內(nèi)存,CPU大量時(shí)間等待磁盤返回。perf看到blkdev_direct_IO內(nèi)核函數(shù)就是證據(jù)。本地磁盤故障、RAID異常;NFS存儲(chǔ)服務(wù)端卡死,客戶端進(jìn)程阻塞IO。Z僵尸進(jìn)程fork()創(chuàng)建子進(jìn)程,父進(jìn)程未調(diào)用wait/waitpid回收子進(jìn)程退出狀態(tài);未注冊(cè)SIGCHLD信號(hào)處理函數(shù);子進(jìn)程退出速度快于父進(jìn)程處理。??通俗:子進(jìn)程干完活退出,父進(jìn)程代碼沒執(zhí)行“收尸”邏輯,子進(jìn)程就變成僵尸。父進(jìn)程退出,僵尸由init(1)自動(dòng)收割。三、排查命令步驟1)全局觀察top# 看load、wa(iowait),看S列D/Z;按1看各CPUdstat1# 同時(shí)對(duì)比CPU iowait與磁盤讀寫流量2)排查D狀態(tài)/iowait高pidstat -d 1全局看進(jìn)程IO讀寫;進(jìn)程轉(zhuǎn)瞬變?yōu)榻┦瑂trace無法attach,用全系統(tǒng)perf采樣(不加?p)perf record-ag-gperf report忽略swapper內(nèi)核空閑進(jìn)程;看到blkdev_direct_IO代表開啟直接磁盤IO。D狀態(tài)進(jìn)程kill?9殺不掉,需等待IO返回,硬件故障極端情況只能重啟。3)排查Z僵尸進(jìn)程ps-e-ostat,ppid,pid,cmd|grepZ# 拿到僵尸PID、父PPIDpstree-aps僵尸PID# 向上追溯父進(jìn)程臨時(shí)緩解:重啟父進(jìn)程,init自動(dòng)回收僵尸;根治:代碼增加wait/waitpid或SIGCHLD信號(hào)處理。四、經(jīng)典案例(D+Z同時(shí)出現(xiàn),附代碼說明)現(xiàn)象:iowait打滿,負(fù)載高,同時(shí)僵尸進(jìn)程持續(xù)增多;dstat確認(rèn)wa升高伴隨大量磁盤讀;pidstat?d看到app大量讀盤;進(jìn)程D狀態(tài)后迅速變成Z,strace attach失??;perf全系統(tǒng)采樣發(fā)現(xiàn)blkdev_direct_IO;?問題代碼:open(disk, O_RDONLY|O_DIRECT|O_LARGEFILE, 0755);開啟O_DIRECT繞過內(nèi)存緩存,大量直接磁盤IO,iowait飆升。?修復(fù):刪除O_DIRECT參數(shù),走操作系統(tǒng)頁緩存,iowait恢復(fù)。僵尸根因:wait()寫在死循環(huán)外面,代碼永遠(yuǎn)執(zhí)行不到//錯(cuò)誤:wait放在死循環(huán)外面,永遠(yuǎn)跑不到for(;;){for(inti=0;i2;i++){fork();}sleep(5);}while(wait(status)0);//?修復(fù):wait移入循環(huán)內(nèi)部,每輪循環(huán)回收子進(jìn)程for(;;){for(inti=0;i2;i++){fork();}while(wait(status)0);sleep(5);}wait挪入循環(huán),子進(jìn)程退出后立刻被回收,不再生成僵尸。五、高頻踩坑點(diǎn)iowait高≠磁盤瓶頸:少量IO也會(huì)拉高wa,必須結(jié)合實(shí)際磁盤讀寫量判斷;kill僵尸進(jìn)程不起作用,僵尸已經(jīng)死亡,必須處理父進(jìn)程;perf報(bào)告swapper是內(nèi)核空閑進(jìn)程,直接忽略;父進(jìn)程為1號(hào)init還殘留僵尸,業(yè)務(wù)無解,大概率內(nèi)核bug,只能重啟機(jī)器。?面試一句話總結(jié):D狀態(tài)優(yōu)先排查IO:直接IO(O_DIRECT)、本地磁盤、NFS,kill?9無效;僵尸不要?dú)⒔┦旧恚ㄎ桓高M(jìn)程,代碼做好子進(jìn)程回收。////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////第四章: 資深運(yùn)維面試|CPU性能優(yōu)化 4道深度面試題考察:實(shí)戰(zhàn)閉環(huán)、權(quán)衡取舍、線上踩坑,金字塔答題,包含問題+完整參考答案+深挖追問+追問完整答案Q1:線上定位出CPU性能瓶頸之后,你完整的優(yōu)化閉環(huán)思路是什么?很多人找到瓶頸直接改代碼上線,會(huì)踩哪些坑??完整參考答案(金字塔)結(jié)論先行:CPU優(yōu)化不是找到瓶頸就直接改,必須走「確認(rèn)瓶頸→量化基線→方案選型→對(duì)比驗(yàn)證→評(píng)估副作用」完整閉環(huán);直接改代碼上線最大風(fēng)險(xiǎn):誤判根因、優(yōu)化帶來副作用、無法證明優(yōu)化收益。確認(rèn)真瓶頸,區(qū)分根因與衍生現(xiàn)象。很多指標(biāo)高只是現(xiàn)象,不是根源。例如iowait升高只是現(xiàn)象,根源是O_DIRECT直接IO;軟中斷CPU高是現(xiàn)象,根源是大量網(wǎng)絡(luò)小包。不能針對(duì)現(xiàn)象做優(yōu)化,要解決背后的根因。建立雙維度基線。不能只看系統(tǒng)CPU使用率;同時(shí)采集**業(yè)務(wù)指標(biāo)(QPS、延遲、錯(cuò)誤率)**和系統(tǒng)指標(biāo)(CPU、上下文切換)作為優(yōu)化前基準(zhǔn)。壓測客戶端要與業(yè)務(wù)服務(wù)隔離部署,防止壓測工具本身消耗資源,污染測試數(shù)據(jù)。多方案選型,綜合權(quán)衡。不能只看性能提升幅度,綜合評(píng)估:改造成本、代碼復(fù)雜度、可維護(hù)性、優(yōu)化副作用;拒絕拿來主義,不追求一步到位解決全部問題?;叶闰?yàn)證,對(duì)比優(yōu)化前后。不僅看系統(tǒng)資源指標(biāo),重點(diǎn)校驗(yàn)業(yè)務(wù)指標(biāo),防止出現(xiàn)CPU降了,但接口延遲升高這類負(fù)優(yōu)化。風(fēng)險(xiǎn)防控,警惕過早優(yōu)化。沒有真實(shí)業(yè)務(wù)壓力,不要提前堆砌緩存、異步、CPU綁定這類復(fù)雜邏輯,徒增維護(hù)成本。實(shí)戰(zhàn)坑舉例:直接對(duì)進(jìn)程做CPU綁定,業(yè)務(wù)流量波動(dòng)大時(shí),會(huì)破壞內(nèi)核調(diào)度均衡,出現(xiàn)單核打滿其余核空閑,整體性能反而變差。??面試官深挖追問 + 參考答案追問:優(yōu)化后CPU使用率降下來,但業(yè)務(wù)接口延遲反而升高,可能有哪些原因?答:① 優(yōu)化手段帶來額外開銷:例如引入緩存,增加鎖、緩存淘汰邏輯;② CPU綁定導(dǎo)致調(diào)度失衡,任務(wù)集中在個(gè)別CPU核,隊(duì)列排隊(duì);③ 算法優(yōu)化雖然降低CPU,但增加IO/鎖等待;④ 并發(fā)線程/進(jìn)程數(shù)量被限制,請(qǐng)求排隊(duì)堆積;⑤ 內(nèi)核參數(shù)調(diào)整,犧牲延遲換取CPU利用率。追問:怎么區(qū)分觀測到的指標(biāo)是根因,還是衍生現(xiàn)象?舉一個(gè)線上實(shí)際例子。答:根因是源頭,衍生現(xiàn)象是根因引發(fā)的結(jié)果。解決根因,衍生現(xiàn)象會(huì)自動(dòng)消失。例子:大量短時(shí)fork子進(jìn)程,會(huì)導(dǎo)致sys CPU高,sys高是現(xiàn)象;真正根因是業(yè)務(wù)頻繁調(diào)用exec創(chuàng)建短時(shí)進(jìn)程。修復(fù)業(yè)務(wù)不再頻繁創(chuàng)建進(jìn)程,sys CPU自然下降,而不是去調(diào)內(nèi)核參數(shù)壓制sys指標(biāo)。追問:如果環(huán)境不允許做完整壓測,只能線上灰度,基線數(shù)據(jù)該怎么獲?。看穑孩?取優(yōu)化前一段時(shí)間監(jiān)控歷史作為基線,保證流量、時(shí)間段盡量對(duì)齊;② 采用灰度發(fā)布,一部分實(shí)例優(yōu)化,一部分實(shí)例保持原樣,做同環(huán)境對(duì)照;③ 對(duì)比兩組實(shí)例的業(yè)務(wù)、系統(tǒng)指標(biāo);④ 小流量逐步放量,一旦指標(biāo)異常立刻回滾。Q2:同樣CPU使用率100%,us用戶態(tài)高 和 sys內(nèi)核態(tài)高,你的分析思路?分別對(duì)應(yīng)哪些典型線上場景??完整參考答案(金字塔)結(jié)論先行:us高代表業(yè)務(wù)用戶態(tài)消耗CPU;sys高代表內(nèi)核態(tài)開銷;二者排查方向完全不同,先分清指標(biāo),再選擇工具定位。us(用戶態(tài)CPU高):CPU消耗來自業(yè)務(wù)代碼邏輯典型場景:死循環(huán)、高復(fù)雜度算法、大量計(jì)算、頻繁正則表達(dá)式、Java頻繁Full GC;工具:perf top -g -p pid定位業(yè)務(wù)熱點(diǎn)函數(shù);Java配合jstack、jstat -gc。sys(系統(tǒng)CPU高):CPU消耗來自內(nèi)核,由系統(tǒng)調(diào)用、上下文切換、中斷引發(fā)典型場景:大量fork/exec短時(shí)進(jìn)程;頻繁鎖競爭;海量細(xì)小系統(tǒng)調(diào)用;軟硬中斷風(fēng)暴;進(jìn)程數(shù)量多導(dǎo)致頻繁上下文切換;工具:perf record -ag -g做全系統(tǒng)采樣看內(nèi)核調(diào)用棧;pidstat -w觀察上下文切換;execsnoop捕獲短時(shí)exec調(diào)用。??重要坑:短時(shí)進(jìn)程場景,top、pidstat抓不到高CPU進(jìn)程,必須全系統(tǒng)perf采樣,不能指定?p pid。實(shí)戰(zhàn)區(qū)分小技巧:us高優(yōu)先懷疑業(yè)務(wù)代碼;sys高優(yōu)先懷疑系統(tǒng)調(diào)用、進(jìn)程創(chuàng)建、中斷,不要上來就修改業(yè)務(wù)代碼。??面試官深挖追問 + 參考答案追問:Java服務(wù)sys系統(tǒng)CPU很高,你會(huì)一步步怎么排查?答:① 先看pidstat -w,觀察自愿/非自愿上下文切換,如果非自愿切換很高,線程過多、爭搶CPU;② 使用perf record -ag -g全系統(tǒng)采樣,看內(nèi)核調(diào)用棧,看是系統(tǒng)調(diào)用、線程創(chuàng)建、鎖、還是中斷消耗;③ execsnoop排查是否Java通過ProcessBuilder大量創(chuàng)建外部短時(shí)子進(jìn)程;④ 查看JVM配置:線程數(shù)量是否過多;⑤ 排除硬件層面中斷風(fēng)暴。追問:為什么短時(shí)進(jìn)程,指定perf -p PID抓不到問題?答:短時(shí)進(jìn)程生命周期極短,執(zhí)行完立刻退出。perf-p需要進(jìn)程存活才能附著采樣;等執(zhí)行perf命令時(shí)進(jìn)程已經(jīng)消亡。必須?a全系統(tǒng)采樣,捕獲系統(tǒng)內(nèi)全部事件,不綁定特定PID。追問:sys高,但是沒有看到大量fork,還會(huì)有什么可能性?答:① 海量細(xì)小系統(tǒng)調(diào)用,如頻繁read/write、epoll_wait;② 大量線程上下文切換,線程數(shù)量過多;③ 硬中斷、軟中斷風(fēng)暴(網(wǎng)絡(luò)包量大);④ 頻繁鎖競爭,內(nèi)核態(tài)自旋鎖消耗;⑤ 內(nèi)存缺頁異常頻繁。Q3:CPU優(yōu)化手段有:代碼算法優(yōu)化、緩存、CPU親和性綁定、cgroup限制CPU。生產(chǎn)環(huán)境如何取舍?各自適用場景?哪些手段不能隨便亂用??完整參考答案(金字塔)結(jié)論先行:優(yōu)先應(yīng)用層業(yè)務(wù)邏輯優(yōu)化,其次緩存;系統(tǒng)層面CPU綁定、
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久成人天| 丁香色六月婷婷| 另类激情综合| 五月天色导航婷婷资源婷婷| 国产成人亚洲综合亚洲| 精品一二三区久久AAA片| 天天久久综合| www.久久久久久久| 狠狠爱深色婷婷综合| 丁香成人五月天| 天天爽夜夜爽夜夜爽精| 综合久久高清| 久久精彩视频99| 97干视频在线| 欧洲亚洲精品| 99er视频在线| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 五月花婷婷| 99亚洲大片精品永久在线观看| 国产资源在线视频| 久久天堂女人| 熟妇人妻中文字幕无码老熟妇| 成人免费黄色短视频| ji'qi'luan'ren'lun| 九色91国产| 啪啪日本欧美| 五月婷婷av在线| 色玖玖爱| 国产无人区大片| 热无码A∨| 欧美图片丁香五月天| 99精品热| 99热在线观看免费精品| 可以看的AV| 开心激情五月天网| 思思热在线视频99| 99热这里只有精品50| 五月婷婷色情| 午夜亚洲国产精品av一区二区| 丁香婷婷天堂| 色就色94欧美setu| 欧美69久成人做爰视频| 五月天激情国产综合婷婷婷| 五月天久久久| 国产又黄又爽又色的免费| 婷婷九月激情| 色香蕉影院| 婷婷丁香五月亚洲综合网在线视频观看| 激情综合啪啪啪| 日本超碰在线| 亚洲操操操| 六月婷婷私欲| 久久开心五月婷婷| 这里只有精品网| 日日鲁鲁夜夜爽爽| 亚洲婷婷丁香五月视频| 新精品99| 美女天天爽| 亚洲色99综合天堂| 久久思思精品| 综合色影| 嫩模aV在线| 久久日韩婷婷五月| 99热销国产这里有精品| 色日本综合| 91婷婷丁香五月亚洲| 思思热在线观看| 成人在线不卡| 久久人妻久久| 日韩精品AV一区二区三区| 99这里只有精品视频| 色婷婷狠狠爱| 婷婷五月影院| 色婷婷久久7777| 以及AA大片看看| 九九色婷婷五月天| 在线超碰91| 婷婷五月天首页激情| 丁香五月婷婷色| 五月丁香网站在线播放| 情久久综合五月天| 99ri视频| 人妻丰满精品一区二区A片| 成人无码髙潮喷水A片| 成熟妇人A片免费看网站| 极品少妇XXXX精品少妇偷拍| 久草婷妨| 激情久久久久久久久| 欧美性爱日韩性爱| 婷婷中文字幕| 伊人狠狠操| 99热6色| 天天干天干| 99久热这里只有精品| 人人爱人人草| 99热超碰| 天天综合色99| 91超碰在线观看| 五月丁香六月综合情在线观看| 成人短视频在线观看| 久久婷婷丁香五月一二三| 五月婷婷亚洲天堂激情在线| 99er免费在线观看| 日韩AV大全| 丁香五月成人在线| 狠狠香蕉| 97luluse| 人妻狠狠操| 思思热国产视频| ...婷婷国产成人亚洲日韩| 久久激情综合| 五月婷婷综合精品| 五月天婷婷影院| 亚洲亚洲人成综合网络| AV在线大香蕉| 色婷婷色人人射| 97婷婷在线视频| 大香蕉久久草| 婷婷综合五月天激情| 这里只有精品视频看看| 97av在线视频| 色99婷婷五月天| 另类视频一区| 九九热这里| 99re思思热久久| 人人操9| 99网址在线看| 国产精品激情五月天色婷婷| 婷婷五月天久久久| 色五月中文字幕| 亚洲五月天,激情视频| 国产在线另类五月婷婷| 五月激情综合网| 精品欧美一区二区三区久久久| 91国产精品视频播放| 久久精品4| caopeng97日韩| 婷婷综合在线观看视频| 另类小说五月天| 久久精品日| 99久久婷婷国产综合精品青桔| 91久久婷婷人人澡草| 久九色| 久久综合五月情| 91久久婷婷| 天天做天天爱天天做| 久9热| 激情内射人妻1区2区3区| 婷婷色五月大香蕉在线观看| 天天天天天天天操| 熟妇内谢69XXXXXA片| 综合性爱网| 色五月天综合| 无码少妇高潮喷水A片免费| 丁香五月黄色| 五月婷婷基地| 丁香五月天堂亚洲社区| 色六月天| 亚洲人人操| 亚洲视频另类| 久久99热久久99精品| 丁香五月婷婷基地| 久久九九99.www| 五月婷婷综合色啪| 亚洲精品色| 婷婷的99视频网站| 久久久久久综合88| 成人毛片在线免费观看| 成人短视频在线免费观看| 亚洲性爱99| 久色大| 内射 无码 伊人| WWW丁香五月| 久久作爱| 全高清无码视頻| 安息电影在线观看完整版| AA久久| 日韩成人综合| 欧美综合激情丁香五月六月婷| 香蕉影院色| 天天日夜夜夜操操操操| 我淫我色婷婷五月天激情四射| 无码一区二区三区四区五区| www.超碰在线| 99色看这里只有精品| 国产在线黄色| 欧美三级黄色片久久| 97热这里只有精品| 婷婷色在线视频| 五月婷婷成人| 91丁香五月| 91成人性爱视频| 丁香六月成人网| 丁香五月六月激情| 9999热在线观看| 69婷婷丁香午夜| 午夜不卡久久精品无码免费| 六月丁香婷婷尤物| 久久男人网婷婷| 成人九九视频| 国产美女主播vip| 欧美日本国产欧美日本韩国99| 日日舔夜夜操| 9久国产| 人人综合久| 玖玖在线| 疯狂做受XXXX高潮A片| 狠狠久久婷五月综合色| 丁香五月婷婷操逼| 五月开心深深爱激情综合 | 亚洲五月丁香综合网| 五月激情六月宗合| 亚洲色色图片| 97涩婷婷婷婷基地| 色噜噜狠噜噜视频| 久久精品五月天| 国产67194| 超碰免费人妻| 91色呦哟| 香蕉操亚洲| 久久婷五月婷| 欧美综合五月天婷婷tin| 深爱五月天 开心网| 疯狂做受XXXX高潮A片| 涩涩网五月天| 日本三级中国三级99| 五月婷婷五月天在线| 99热亚洲| 婷婷狠狠干| 亚洲精品99| 天天日日夜夜| 激情五月天婷婷在线网址发给我| 日本综合色色| 五月停性愛| 99这里只有精品| 97亚洲色 torrent magnet| 婷婷五月影院| 在线中文亚洲| 丁香五月,激情五月,深爱五月| 超碰免费人人肏| 综合五月网| 五月婷亚洲精品AV天堂| 人妻在线观看视频| 久久久久9| 国产色五月| 99人人操人人操人人精| 激情婷婷丁香| 久久作爱| 久久99热这里只有精品| 五月天激情小说| 99热伊人综合| 色色射| 97热久久| 思思 热 99| 国熟女视频| 夜夜骑日日夜夜| 神马欧美精| 夜夜骑操AV| 丁香色五月婷婷| 深夜男女福利刺激影院一区完整| 欧美va国产va| 天天搡日日搡aaaaⅩ| 国产成人精品一区二三区熟女在线| 婷婷天天婷婷天天澡| 日韩精品999| 操人无码| 99久久九九| 五月婷六月丁| 午夜丁香六月婷| 另类视屏| 92久操视频| 99噜噜噜在线播放| 激情色色色| 色久丁香五| Av性爱网站| 玖玖在线| 任你擦免费视频| 亚洲精品V天堂中文字幕| www.色婷婷| 亚洲尤物在线| 婷五月天天| 婷色视频| 国产免费av在线| 性爱激情久久| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | www.99热在线| 无码人妻AV久久久一区二区三区| 精品人妻一区| 69婷婷丁香午夜| 午夜婷婷丁香| 热99这里只是精品| 激情综合网丁香| 久久超级碰碰| 黄色成人网站在线播放| 婷婷五月天大香蕉在线视频观看| 97碰碰久久| 免费看欧美成人A片无码| 色综合com| 99热无码| 激情综合丁香五月| 婷婷九月丁香| 99精品在这里| 日日夜夜噜噜爽爽| 97成人丁香| 天天干天天干天天操| 五月激情天天干| 极品 少妇 内射| 婷婷伊人久久| 国产xxxxx在线观看| 六月丁香大香蕉| 91色吧网| 色综合久久天天综合网| 最新热中文字幕| www.久久| 人妻AV在线| 大香蕉人妻| 大香蕉婷婷五月天| 丁香 婷婷 激情 综合 五月| 丁香婷婷丁香五月欧美人| 五月天婷婷久久日| 思思久久96热在精品国产,| 欧美天天干五月丁香| 一根材五月婷成人| 婷婷金品综合视频| 久久久久激情| 色欲天天综合网| 国产人妻人伦精品一区二区| 亚洲mm免费| 日日夜夜九九| 996热re视频精品视频| 啪啪婷婷五月天激情| 99激情网| 色婷婷4| 五月综合在线婷婷图片| 开心五月婷婷99| 婷婷色五月丁香六月欧美啪| 色啪综合| 久久一级AV| 国产精品第一国产精品| 日韩黄色AV无码| 欧美三日本三级少妇三99| 另类在线| 99小视频网站| 综合久久9| 五月天激情网图片| 人操91在线| www.日本91| 色欲天天综合| www.狠狠狠.com| 六月丁香成人网| 五月开心深爱激情网| 伊人五月天在线| 六月婷婷av| 国产精品国产成人国产三级 | 久久五月婷婷丁香| 人妻射精AV| 天天插天天草人人玩| 丁香综合网| 99热66| 色情五月综合婷婷| 欧美日韩中国| 色人五月婷婷| rr天天操| 欧美电影在线观看| 热久久色| 激情五月综合免费| 久久久ww| 91久久人人操| 26uuu色噜噜精品一区| 丁香色综合| 丁香六月狠狠干| 农村熟妇高潮精品A片| 丁香六月av| 亚洲精品欧洲精品| 九九热精品99| 国产精品一区在线观看你懂的| 九九99偷拍视频| 五月丁香久久呀| 爱草视频在线观看| 久久伊人大香蕉| 91国产精品视频播放| 色五月首页| 五月草影视| 丁香五月影院| 五月天福利影院导航| 91超级碰| 人妻久久久久久| 欧美三级巜人妻互换| 成人在线不卡| 婷婷精品性性性性性性性| 日韩欧美成人片| 在线视频婷婷| 狠狠肏综合网| 色婷婷亚洲精品天天综| 色噜噜五月天| 五月天婷婷在线播放| 搡BBBB搡BBB搡18| 国产免费av在线| 亚洲激情丁香五月天色| 激情综合久久| 丁香五月婷婷AV| 丁香婷婷五月基地| 国产毛片欧美毛片久久久| 另类图片激情五月| 99热| 光棍影院日韩精品| 99亚洲日韩| 免费超碰在线观看| 天天综合干| 中文AV网| 五月丁香美女视频| 五月丁香啪啪网| 久久久99视频| 99超级碰免费视频| 天天天久久久| 99ri精品| 99热精品少| 26uuu最新地址| 8区视频在线| 婷婷五月天网| 热99在线精品| 五月六月伦理| 99精品视频推荐| 影音先锋777xfplay色资源网站| 9国产在线视频| 开心婷婷五月激情网小说| 武则天精品久久| 婷五月天| www、色色色| 99热伊人综合| 综合网视频| 久久五月天 91| 天堂草在线看www| 97超美国视频在线观看| 丁香五月婷婷手机| 综合网精品99| 亚洲人成人五月天| 色婷婷瘦婷婷日韩| 九九亚洲视频| 婷婷欧美色| 五月丁香五月婷婷| 国产探花AV在线| 成人中文网| 九九爱看亚洲| 九 九九九AV| 色五月丁香伊人五月| 黄色AAAAAAA| 五月天婷婷在线播放| 丁香五月黄色| 丁香六月在线| 婷婷五月丁综合| 丁香五月婷婷综合激情啪啪啪啪啪啪啪 | 影音先锋91网站在线观看| 爱草视频在线观看| 9久热在线精品| 亚洲视频色婷婷| 激情视频综合| 亚洲第一综合| 婷婷五月天精品| 97操操操| 色无婷婷| 婷婷五月丁香欧洲| 六月综和久久| 国产亚洲av片| 人人操AV| 2025色婷婷| www.婷婷亚洲基地| 久久五月天激情| 久色婷婷200| 久久五月激情| 婷婷综合九色伊人| 一级黄色影片| 97婷婷五月天| 国产片天天爽夜夜爽| 99久| 久久99网站| 99久久综合精品五月天| 九九青草热| 精品久久99码| www,色色色网站| 激情操逼婷婷| 色噜噜狠狠狠综合曰曰曰| 五月丁香花激情综合网| 成人做爰高潮A片免费视频 | 色五月丁香婷婷综合| 999九九九久久久99HD| 色婷婷丁香五月| 开心五月天激情| 97干在线| 九月丁香八月婷婷久久综合久97| 成人精品视频99在线观看免费| 色五月丁香五月天| 深爱开心激情网| 丁香五月婷婷Av| 做爰丰满少妇1313| 伊人玖玖婷婷| www.henhengan| 狠色狠色狠狠色综合网| 激情久久久久久久久| 亚洲激情四射色| 色婷婷小说| 骚。com| 久久婷婷成人视频| 五月婷婷啪啪啪| 天堂久久久久天堂网| 亚洲热久久| 欧美性爱中文字幕| 色五月激情婷婷| 操人妻90p| 综合激情在线| 日本精品干| 婷婷色影音天| 亚洲无码色| 99碰碰| 日日撸夜夜操| 99色最新在线视频网站| 久久色在线视频| 色碰碰| 99啪啪骑| 激情综合五月丁香六月婷婷| 99色免费观看全部| 日欧一片内射VA在线影院| 超碰人人艹| 婷婷五月天网址| 99热免费看| 色婷婷五月婷婷五月婷婷五月| 亚洲操操| 亚洲色五月| 色婷婷六月天| 激情AV在线| 丁香婷婷成年| 青青草原亚洲久| 亚洲无AV在线中文字幕| 99这里有精品视频| 亚洲亚洲人成综合网络| www.zbzhongsen.com| 操人91| 中文字幕婷婷| 久婷婷| 久久婷婷综合基地| 久久婷婷91| 久久丁香五月| 99热这里都是精品| 丁香综合网| 亚洲色啪| 五月丁香在线| 天天色粽合合合合合合合| 欧美性爱五月天| 秋霞电影一级黄| 婷色五月| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 91久久久久久| 少妇激情五月天| 天天干天干| 伊人五月天| 天天色天天日| 色婷婷成人做爰A片免费看网站| 亚洲婷婷五月天| 免费视频WWW在线观看网站| 伊人综合网站| 日本44久久在线| 亚洲国产黄色电影| 伊人五月综合网| 激情综合网激情五月天| 欧美成性色| 婷婷丁香五| www.91有码.com| 思思re99视频在线观看| 五月婷婷色播| 婷婷五月激情网| 婷婷五月丁香基地| 大香伊人久色| 综合激情sV| 久久激情五月婷婷| 久久视频婷婷视频| 五月婷av| 在线另类视频| 亚洲中文字幕在线观看| 99热免费18| 色综合视频| 婷婷六月丁香在线| 99热这里只有精品官网| 日韩一级网站| 午夜天堂一区人妻| 欧洲区自拍| 99热主页日本| 六月伊人婷婷| 婷婷成人五月天成人文学| 97碰在线视频| 婷婷综合中文字幕| 久久9热| 五月香蕉综合| 丰满熟女人妻一区二区三| 天天搡日日搡aaaaⅩ| 欧美搡BBBBB摔BBBBB| 老师高潮流白浆喷水的A片| 黄色一极大片| 玖玖在线资源视频| 天天天在线观看| 婷婷五月天色色| 在线超碰精品| 婷婷丁香五月天欧美| 天天舔天天操| 色情五月婷婷| 欧美乱码国产一级A片| 丁香蜜臀黄色婷婷五月天| 五月丁香婷在线| 亚洲操逼网| 超碰色热| 成人五月天综合网| 久久玖玖综合| 天天碰夜夜操| 狠狠操综合| 五月婷天天搞视频| 噜噜噜狠狠色综合| 1024成人在线观看| 久久婷婷五月天激情唯美| 久久久WWW| 九九99精品视品| 91狠狠色色丁香婷婷综合久久| 九九九午夜影院成人| 久久久久亚洲AV无码网影音先锋| 婷婷丁香色五月天| 99 频99热国里只有精品| 色五月婷婷五月天| 色色9 9| WWW丁香五月| 五月天色色婷婷| www婷婷色| 国产色丁香| 亚洲人人操| 婷婷久久色五月婷婷久久久| 天天色综合色色色色色。| 五月天婷婷免费视频| 日本三级成人秘书精品片| 久久99免费视屏| 人人摸人人| 亚洲综合五月天婷婷| www色婷婷久久综合久色 | 99精品激情| 色色无码| 久久丁香九| 色婷婷六月天在线| AA片在线观看视频在线播放| 欧美99热| 97干在线视频| 99在线资源| 婷婷激情五月天亚洲综合| 九热视频| 久久五月婷婷电影| 激情五月综合网最新| 色综合色色色色| 五月丁香亚洲婷婷| 67194中文在线| 西瓜美女a片| 最近中文字幕2019视频1| 久久曰曰| 综合色色色| 国产成人精品一区二三区熟女在线| 成人日韩欧美| 欧美在线97| 五月婷婷啪啪啪| 久婷五月| 97在线精品视频| 久久大香蕉同僚| 九月婷婷综合网| 丁香婷婷色情| 久久婷婷五月综合伊人| 在线中文字幕av| 97人人操在线| 婷婷天天色| 99综合免费视频| 五月婷婷香| 婷婷爱在线观看| 久久精品性爱| 婷婷亚洲丁香五月| 激情涩播| www.99视频| 亚洲午夜一区二区| 激情婷婷丁香五月天| 激情綜合網址| 超碰成人在线观看| 五月婷色| 少妇搡BBBB搡BBB搡毛茸茸| 色婷婷婷综合五月天| 人妻丰满精品一区二区A片| www.婷婷,com| 九九九AAA热视频| 亚洲热综合| 猫咪伊人久久| 天天插天天日| 99色色最新视频| 91fuliwang| 天天爽天天| 亚洲第一黄网| 免费看成人AA片无码视频吃奶| 国产99视频永久免费| 亚洲天堂色| 九九热精品99| 开心 五月 综合| 国产又粗又大又爽又黄| 五月激情婷婷女| 超碰国产在线观看| 亚洲午夜AV| 色婷亚洲| 伊人色综合影院视频| 天天做天天爱天天高潮| 丁香六月婷婷综合啪啪| 日韩啪| 熟女人妻一区二区三区免费看| 久久这里只有国产视频| 欧美超级视频97| 丁香六月婷婷| 久久五月天激情| 大香蕉精品视频| 精品人妻午夜一区二区三区四区 | www超碰| 很很干五月天| 成年人夜夜喷水| 欧美黑人巨大性生话| 婷婷深爱五月天| 99热99网| 久久日曰| 疯狂做受XXXX高潮A片| 天天做天天爱天天要| 大香蕉久热| 国产熟妇乱子伦hd| WWW.婷婷五月天.COM| 9999色色色色| 黄色AV日韩| 激情 久久 婷婷| 操一区| 日本激情五月天‘| 激情另类综合| 丁香五月大香蕉AV| 免费无码毛片一区二区A片| 狠狠99| 思思久久思思| 婷婷伊人中文字幕| 人妖色AV色综合| 九九视频在线观看视频6 | 五月婷婷深深爱| 婷婷综合在线观看视频| 激情五月综合网| 在线观看亚洲AV| 97超碰免费超级在线观看| 综激情网| 99久久五月婷婷| 九九一综合精品| 婷婷综合久久| 日本丁香久在线| 狠狠一日| 少妇被躁爽到高潮无码文| 色婷婷激情| 久久A区B区| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 色色丁香婷婷| 开心婷婷五月| 996热re视频精品视频这里| 四虎成人精品永久免费AV九九| 激情电影五月婷婷| 亚洲最大成人综合网720P| 日韩成人电影AV| 九九热精品| 激情五月四色| 亚洲中文乱字字幕线在永久| 国产永久一二一起草| 99er6免费视频热播| 亚洲综合另类| 日韩成人电影Av| 色开心五月婷婷丁香HD| 国产免费性爱| 青青草国产亚洲精品久久| 99在线精品视频在线观看| 婷婷国产成人| 99热免费在线| 亚洲综合激情五月| 性99网站| 深爱激情69热| 天天免费日日夜夜夜夜| 可以直接看的AV网站| 激情校园 亚洲| 婷婷色色网| 伊人婷婷青青cao| 99热综合在线| 日韩狠狠色| 色五月激情| 人人爽欧美婷婷久久久五月丁香| 超碰自拍天堂| 久久九九一區| 丁香五月婷婷99| 久久五月天免费网站| 九九综合图片网| 丁香五月婷婷综合91| 五月激情婷婷四射| 激情 婷婷| 丁香婷婷色情| 久久停停超碰| 天天爱天天做天天日| 色色丁香| 99热精品网| 日韩一区二区三区无码| 狠色狠色综合久久| 婷婷五月天在线观看免费 | 开心婷婷中文字慕| 99视频这里只有免费精品| 狠狠色婷婷在线| 2050人人操免费工开爱| 五六月丁香激情视频| 亚洲性爱日韩无码| 女人天堂 AV| 婷婷五月天伊人| 日韩色五月| 狠狠色狠狠操| 国产精产国品一二三在观看| 婷婷五月天在线观看| 婷婷中文字幕| 色优久久| 97色射| 97人操人免费视频| 超碰久热| 米奇影视资源777狠狠色婷婷五月天激情网| 去干网最新版本亚洲版| 99色在线观看| 九九大香蕉黄色影院| 激情五月综合网最新| 激情99| 天天色天天操天天射| 超级碰碰视频无码| 激情久久久久久| 日日日,com| 日日狠狠久久偷偷四色综合免费| 思思精品视频| 中文AV在线观看| 99色色视频| 182无码| 99人人干人人| 九九人妻福利| 婷婷爱五月天人人爱| 激情综合国产| 国产乱人偷精品人妻A片| 99热人人操人人操| 99热思思久| 丁香激情婷婷网| 色婷久九| 国产婷伊人| 欧美日韩国产伦精品日韩人妻一| 五月婷婷激情四季| 天天插AV丝袜中| 天天插天天爽| 91人人妻人人操人人爽| 99热日韩| 丁香婷婷色情社区成人小说| 亚洲六月婷婷| 激情五月天婷婷播播久久综合91| 99啪啪网| 五月天激情图| 91九色丨国产丨爆乳| 婷婷色色综合| 婷婷五月激情欧美| 婷婷丁香基地在线| 天天干天天色综合| 五月婷九九草| 婷婷在线操| 五月丁香六月成人| 亚洲AV日韩在线观看| 九九色图| 热99re| 五月婷婷影| Av免费网站在线| 天天在线天天综合网色| 热99在线精品| 美女被操一区二区| 激情小说婷婷小说| 生活片五区| 亚洲mm免费| 天天爱天天做综合| 五月婷婷丁香| 五月情涩综合婷婷| A色色| 丁香五月天综合| 综合色网站| 色五月视频,小说| www久久久| 激情婷婷久久| 日本五月天激情| 色欧美色色色| .操區COm| 久久婷婷六月综合| 9九色首页| 欧美日韩AAAA| 99久久九九视频| 五月激情丁香六月狠狠干| 亚洲欧美丁香五月天亚洲欧美| 超碰在线免费观看3 9| 思思视频这里是精品| 97视频.干com| 91精品婷婷国产综合| 这里只有精品网| 婷婷五月天久草在线| 天天AV导航网| 久久99久久99久久99人受| 色婷婷欧美| 六月婷婷色色色| 丁香伊人五月色婷婷五十路| 亚洲婷婷激情五月天| 最近中文字幕2019视频1| 久久久性爱视频| 另类 在线| 狠狠综合久久综合| 亚洲激情婷婷| 亚洲情欲久久| 五月开心激情| 五月婷视频在线观看| 洗浴中心操B视频| 久久婷婷原创视频| 99.色| 变态 另类 在线 | 成人午夜无码视频| 激情99| 婷婷丁香成人| 日本 欧美在线| 久久久.COM| www.婷婷五月天| 色丁香五月婷婷| 五月婷婷啪啪啪| 久久久中文| 色五月大香蕉| 亚洲精品亚洲人成人网| 99er这里只有精品视频| 色综合久| 五月丁香六月色情网欧美| 国产精品久久久爽爽爽麻豆色哟哟| 亚洲俩性性爱图片久久第六页| 日日操夜夜撸| 丁香婷婷六月激情| 日韩av手机在线观看| 亚洲正能量欧美| 伊人久久五月天| 激情碰碰碰| 激情五月天婷婷丁香| 丁香五月色五月| 中文字幕在线播放视频| 91久久久久久| 国产在这里只有精品| 五月婷婷亚洲天堂激情在线| 操骚货在线| 天天噜天天爱| 天堂二区| 中文av网| 久久婷婷精品| www.婷婷六月天| 狠狠操在线视频| 国内9l视频自拍老熟女九色| 九九热最新| WWW久久久| 国产精品第一国产精品| 久久这里只有精品无码| wwww.色婷婷| 久久艹99| 亚洲色五月天在线| 99碰碰碰| 99热这里只有精彩| 五月婷婷熟女| 婷婷久久影院| 538在线精品| 开心五月丁香啪| 停停六月 综合| 99综合| 黄涩毛片| 一级二级色大片| 九九视频在线观看| aaa日韩| 99热销国产这里有精品| 开心激情婷婷| 五月天啪啪| 看黄的网站18禁| 99国产99| www.超碰| 激情婷婷丁香色五月| 色婷婷久久综| 97精品人人A片免费看| 色色色色色网| WWW,色五月| 1024你懂的欧美曰韩| 综合五月婷婷| 五月天色婷婷激情| 天天五月丁香五月| 久久女人九九| 99超级碰免费视频| 五月婷婷六月情| Av性爱网| 黄色精品五月婷婷| 亚洲中字AV电影在线网站| www.五月婷婷久久.com| www婷婷色情网| xxxx久| 久久人妻超碰一区| 五月花激情| 999热在线视频| 综合五月草| 91丨人妻丨国产丨丝袜| 疯狂做受XXXX高潮A片| 六月份天丁香婷婷| 五月婷六月丁香| 大香蕉五月天婷婷| 天天躁日日躁狠狠躁日日躁2022年5月9日| 婷婷五月天网| 五月色精品| 依人大香蕉| 九月激情综合婷婷| AAA级久久久精品| 亚洲日日操| 五月丁香免费看| 丁香五月网| 欧美精品999| 碰碰操91| 色五月婷婷在线观看第一页舔| AV在线大香蕉| 天天干狠狠| 亚洲综合网激情小说| 婷婷精品在线| wwww.色婷婷| 日逼影音先锋男人AV资源站| 色婷婷成人| 国产白丝在线一区| 婷婷王月天影院| 成人欧美Va| 色五月婷婷激情综合网| 婷婷色丁香五月| 中文字幕人妻AV| 中文字幕日本最新乱码视频 | 五月天久久网站| 中文字幕高清av| 极品少妇XXXX精品少妇偷拍| 国产在这里只有精品| 激情av在线| 激情五月天婷婷在线网址发给我| 99热这里有精品2| 色欲五月天| av在线观看免费| 欧美在线看| 91se在线视频| 丁香五月六月| 俺去也综合| 九九激情视频| 九九色热视频| 婷婷中文字幕版| 五月夜丁香| 色婷婷狠狠干| 激情五月天婷婷久久久久久久久久久| 色婷婷免费观看| 97热这里精品在线视频| 久久婷婷七月丁香| 午夜伊人大香蕉| www.金莲av| 婷婷色五月大香蕉在线| 色青青电影色五月| 91 九色大美女| www.wuyuetian啪啪| 荫道BBWBBB高潮潮喷| 性欧美大战久久久久久久83| 丁香婷婷综合激情五月色| 国产国产乱老熟女视频网站97| 99热亚洲精品| 久久激情五月婷婷| 丁香五月天电影| 久久久久人妻精品| 久久性爱视频| 五月丁香影院| 深夜婷婷 丁香| 激情涩播| 激情五月婷婷色色| 99re青青草| 丁香五月天天| 亚洲最大在线| 9999久久久久| 丁香久久AV| 婷婷涩涩网| 丁香五月停停av| 久久久久思思热| 丁香六月天| 色婷婷www| 大香蕉520| 五月天开心色色网| 色色图五月天| 色色色在线| 久久婷婷亚洲| 亚洲色五月天是什么| A色色| 五月丁六月香| 人人操AV| 99视频精品| 99干免费视频| 丁香五月婷婷99| 久久色婷婷| 婷婷深爱五月天在线| 伊人色欲五月天| enecarbon-materials.com污K127封锁请涟系@wip1688 | 99色网站| 五月丁香激情啪啪| 伊人99久久| 老妇操B| 成人天天爽| 日夜夜天天| 91se在线观看| 大香网伊人久久综合| 666555。COm毛片| 99热日| 激情文学 综合 色| 五月花丁香婷婷| 丁香色五月婷婷| 九九热在线精品视频| 任你弄在线视频免费| 亚洲婷婷激情综合激情999精品| 91九色网| 天天干天天色天天干| 在线网黄| 超碰成人公开| 91艹人| 丁香六月 人妻| 六月激情婷婷| 91狠狠色丁香婷婷综合久久精品| 黄色aa观看aaguochan| 五月婷精品| 久久久久人妻中文| 97香蕉久久超级碰碰高清版| 狠狠精品干练久久久无码中文字幕| 玖玖@三月天天丁香婷婷| 色丁香久久| 丁香五月五月婷婷五月天激情四射| www.五月天色色.com| 日韩性爱AV| 欧美视频五区| 五月婷六月天| 五月丁香六月日逼| 99热6精品| 色婷婷六月| 人人搡人人| 五月丁香在线国产| 超碰爱爱爱| 天天拍天天操| 91精品婷婷国产综合| 五月天婷婷激情小说| 久操婷婷| 欧美婷婷九月| 色婷婷五月丁香在线观看| 99啪99| 激情涩播| 综合五月丁香久久| 久9无码视频| 久久婷婷综合五月| 婷五月天天| 丁香五月六月综合欧美| 国产精品久久久久久喷浆| 婷婷五月色情天| 热久久99热欧美国产亚洲| 日韩久久成人| 美女被操一区二区| 26uuu.| 狠狠爱婷婷丁香| 色吧网综合| 亚洲激情视频网| 五月综合久久| 亚洲婷婷五月| 一二三区视频韩国| 亚洲超碰在线| 九九aV| 欧美五月婷婷| 色婷婷久久9.com| 秋霞电影理论| 深爱激情五月网| 色月九九| 天天做夜夜爽| 婷婷五月激情小说| 婷婷香五月综合激情| AA丁香综合激情| 天堂A∨在线| 超碰com| 91久久国产综合久久| 丁香六月五月婷婷| 国产99久久久国产精品免费看| 欧洲永久精品| 五月丁香综合在线| 亚洲六月色婷婷| 婷婷五月天天爽| 香蕉97碰碰碰超视精品| 婷婷情色激情| 精品综合网在线| 新五月天婷婷激情电影| 日韩成人无码| 色婷婷色久综| 日本久久网| 99久久99热| 五月婷婷六月激情| 久久这里只有国产| 九九热精品| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 五月天五月婷五月激情网| 九月色婷婷| 色婷婷视频| 八戒青柠影视剧在线观看| 久久五月天激情美女| 婷婷午夜天| 99er这里只有精品| www.久久99| 婷婷色网| 青草五月天| 精品国产人人爱人人| 国产精品久久久久久久久久免费 | 超碰国产在线观看| 五月丁香久久激情网| 久久九网| 久久久久久人妻久久久久久久久久人妻久久久| 色婷婷激情五月天丁香| 这里只有精彩视| 99人人看| 日韩啊啊啊| 五月色丁香| 天天日综合| 亚洲妇女熟BBW| 九九在线免费观看| 日逼影音先锋男人资源站| 亚洲人妻五月丁香婷婷| 国产综合丁香五月天| 91人碰| 人人操AV| 丁香六月婷| 色婷婷丁香网| 少妇大叫太大太粗太爽了A片| 久久五月天激情视频| 操碰99在线视频观看| 婷婷婷婷婷婷婷婷| 五月婷婷av| 大陆极品少妇内射AAAAAA| 在线观看玖玖资源免费观看| 久艹久| 99热日本| 密臀久久| 亚洲婷婷综合视频| 91人人操人人| 狠狠色丁香久久久婷| 午夜无码熟熟妇丰满人妻| ji'qi'luan'ren'lun| 久久婷婷夜| 亚洲九九夜夜| 天天天天色天天天天天干| 色婷婷综合丁香五月天| 色婷婷成人| 天天综合永久| 99热很操老逼| 五月天色丁香| 99热精品6| 久久激情天堂| 色婷婷成人做爰A片免费看网站 | 激情性爱五月天| 成人国产欧美大片一区| 色丁香影院| 九九伊人网| 激情综合文学| 色五月婷婷91| 婷婷丁香六月激情综合| 情一色一乱一伦一91A| 人妻中文在线| 久久人妻久久| 色婷婷成人丁香|