欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

On-CPU 與 Off-CPU:Linux 性能分析雙視角與延遲排查

On-CPU 與 Off-CPU:Linux 性能分析雙視角與延遲排查 1. 先把 On-CPU 和 Off-CPU 這兩個詞掰開揉碎性能分析這件事做得久了會發(fā)現(xiàn)一個很尷尬的現(xiàn)象很多人拿到一臺卡頓的機(jī)器第一反應(yīng)是 top、ps、然后開 perf 抓火焰圖看到 CPU 使用率不高、火焰圖也沒幾個尖峰就得出系統(tǒng)沒問題的結(jié)論。但業(yè)務(wù)方還在催接口還是慢。問題出在哪出在只看了線程跑在 CPU 上的那段時間忽略了線程不在 CPU 上的那段更漫長的時間。Linux 性能分析里的 On-CPU 和 Off-CPU說的就是把一個線程的完整生命周期切成兩半來看On-CPU 是線程真正占用處理器執(zhí)行指令的時間Off-CPU 是線程雖然活著、但沒有被處理器執(zhí)行的時間。這兩塊時間加起來才是一個請求從進(jìn)來到返回的真實(shí)墻鐘耗時。我做過的排查里至少有六成的性能問題根子在 Off-CPU 上等鎖、等磁盤 IO、等網(wǎng)絡(luò)回包、等定時器、等被喚醒調(diào)度。而大家習(xí)慣用的工具幾乎全是為 On-CPU 設(shè)計的。這就導(dǎo)致一個結(jié)構(gòu)性盲區(qū)——你越用 On-CPU 的工具越會把注意力放在計算熱點(diǎn)上越容易漏掉阻塞點(diǎn)。所以這篇內(nèi)容想聊的就是怎么把這兩半時間都量出來、怎么看、怎么改。適合已經(jīng)會用 top、perf 這類基礎(chǔ)工具但遇到CPU 不高卻很慢的場景會卡住的運(yùn)維、后端開發(fā)和 SRE也適合剛接觸 Linux 性能調(diào)優(yōu)、想建立一套完整分析框架的朋友。1.1 一個類比餐廳后廚和等位區(qū)把服務(wù)器想象成一家餐廳CPU 核心就是廚師線程就是一道道待做的菜。On-CPU 時間相當(dāng)于廚師正在灶臺前顛勺的時間Off-CPU 時間是這道菜從點(diǎn)單到出餐之間廚師沒碰它的所有時間——可能是在等配菜送過來等 IO可能是灶臺被別的菜占著等鎖也可能是廚師被叫去處理別的單子、這道菜就擱在一邊調(diào)度延遲。只統(tǒng)計廚師顛勺的時長你會覺得后廚效率挺高但顧客感受到的是從點(diǎn)單到上菜的完整等待。這兩者之間的差距就是 Off-CPU 分析要填的坑。理解了這層類比后面所有的工具和指標(biāo)其實(shí)都是在回答兩個問題廚師到底在哪個灶臺上花了多少時間On-CPU 熱點(diǎn)以及這道菜在沒被烹飪的時候究竟卡在哪一步Off-CPU 阻塞點(diǎn)。1.2 為什么只盯 On-CPU 會系統(tǒng)性誤判CPU 使用率是個比值分子是忙的時間分母是總時間。當(dāng)系統(tǒng)大量線程都在睡覺等待時這個比值天然就低看起來很閑。但這恰恰可能是最糟的狀態(tài)線程數(shù)開了一堆每個都在等同一個資源吞吐上不去延遲還高。這類問題在 On-CPU 視角里幾乎隱身因?yàn)閴焊鶝]有多少指令在跑。更麻煩的是一些常見結(jié)論會把人帶偏。比如CPU 使用率低說明負(fù)載輕可以再壓一壓實(shí)際可能是下游某個依賴把請求全堵住了再比如火焰圖沒熱點(diǎn)所以代碼沒問題實(shí)際瓶頸在 syscall 睡眠或者 futex 等待上采樣器根本沒采到什么棧。所以建立 On-CPU 和 Off-CPU 的雙視角不是為了多學(xué)幾個命令而是為了堵住這個判斷漏洞。1.3 把線程時間賬本拆開一個線程從被創(chuàng)建到退出它的時間可以粗略拆成三塊Running在 CPU 上跑、Runnable就緒但在等 CPU、Sleeping睡眠等某個事件。Running 就是 On-CPU后兩者合起來是 Off-CPU。這里有個容易被忽視的細(xì)節(jié)Runnable 狀態(tài)本身也是一種浪費(fèi)它說明 CPU 不夠分或者調(diào)度策略讓某些線程遲遲輪不上。很多偶發(fā)尖刺就是 Runnable 排隊造成的。把這三塊量化出來你就能給任何一次慢請求做一個耗時歸因表多少時間在算多少時間在等鎖多少時間在等 IO多少時間在等調(diào)度。歸因清楚了優(yōu)化方向基本就是明牌。接下來的章節(jié)我會先講 On-CPU 怎么采得準(zhǔn)再講 Off-CPU 怎么把等待棧抓出來最后給一個從現(xiàn)象到修復(fù)的完整推演。2. On-CPU 分析采樣、火焰圖與熱點(diǎn)定位On-CPU 分析的目標(biāo)很明確找出線程把時間花在了哪些代碼路徑上。主流做法是基于定時中斷的采樣sampling而不是插樁計數(shù)因?yàn)椴蓸訉π阅苡绊懶 ⒛芊从痴鎸?shí)分布也不需要改代碼。采樣器每隔一個固定周期打斷一次 CPU抓下當(dāng)前的調(diào)用棧攢夠樣本數(shù)之后按棧聚合就得到了調(diào)用分布的近似。樣本越多統(tǒng)計越穩(wěn)。2.1 perf 采樣機(jī)制和幾個必須懂的參數(shù)Linux 上最通用的采樣工具就是 perf。它依賴內(nèi)核的 perf_event 子系統(tǒng)和硬件/軟件 PMU能按時間頻率或事件計數(shù)觸發(fā)采樣。一條典型的抓取命令是這樣perf record -F 99 -g -p 12345 -- sleep 30 perf script perf.out ./stackcollapse-perf.pl perf.out perf.folded ./flamegraph.pl perf.folded oncpu.svg幾個參數(shù)值得掰扯清楚。-F 99 表示每秒采樣 99 次。為什么不是 100因?yàn)檎麛?shù) 100 容易和系統(tǒng)里其他 100Hz 的周期任務(wù)比如某些定時器產(chǎn)生鎖相采出來的樣本會偏向某個固定相位導(dǎo)致分布失真。99 是個質(zhì)數(shù)能打散這種共振。-g 是抓完整調(diào)用棧沒有它你只能看到最頂層的函數(shù)看不到是誰調(diào)用的定位就沒有上下文。-- sleep 30 是限定采集時長用 sleep 而不是直接 Ctrl-C是為了讓腳本化更穩(wěn)定、退出更干凈。還有兩個參數(shù)在排查特定問題時很關(guān)鍵-e 可以指定事件默認(rèn)是 cycles但你也可以換成 cache-misses、branch-misses 來抓特定瓶頸--call-graph dwarf 會在用戶態(tài)棧難以回溯時改用 DWARF 調(diào)試信息展開代價是開銷更大、產(chǎn)出更大。一般先默認(rèn) fpframe pointer跑一遍棧斷了再考慮 dwarf。注意perf 的內(nèi)核棧符號來自 /proc/kallsyms用戶態(tài)符號需要帶調(diào)試信息的二進(jìn)制。生產(chǎn)環(huán)境經(jīng)常遇到符號被 strip 掉的情況采出來全是十六進(jìn)制地址白忙一場。動手前先確認(rèn)目標(biāo)進(jìn)程有沒有 debuginfo 或者帶符號的構(gòu)建產(chǎn)物。2.2 火焰圖怎么讀哪些形狀代表什么問題火焰圖的橫軸是樣本占比不是時間順序縱軸是調(diào)用深度每一塊是一個棧幀塊越寬說明該函數(shù)在采樣里出現(xiàn)得越多。讀圖的核心心法就一句先找最寬的葉子再看它是被誰調(diào)用的。最寬的葉子通常是實(shí)際的 CPU 消耗大戶但它的元兇可能在它的調(diào)用者那一層——比如一個通用的序列化函數(shù)很寬但真正的問題是某個業(yè)務(wù)邏輯反復(fù)調(diào)它。幾種典型形狀對應(yīng)不同問題。平頂山形狀底部寬、頂層一排差不多的寬塊通常是循環(huán)或批處理在反復(fù)執(zhí)行同類操作優(yōu)化點(diǎn)是降復(fù)雜度或加緩存。塔尖形狀某一層特別寬下面迅速收窄說明有個單點(diǎn)函數(shù)吃滿了 CPU直接盯它。斷層形狀中間某層突然很窄說明采樣在這個函數(shù)里分布稀疏要么是它執(zhí)行快要么是棧在那斷了需要配合 dwarf 或檢查符號。2.3 符號丟失、棧截斷和 JIT 代碼這三類坑實(shí)話說On-CPU 分析最容易翻車的不是命令不會敲而是采出來的東西沒法看。第一類坑是符號丟失解決方式是裝對應(yīng)版本的 debuginfo 包或者用perf buildid-list確認(rèn) build-id 能不能對上 debug 文件。第二類坑是棧截斷frame pointer 被編譯器優(yōu)化掉了-fomit-frame-pointer 是很多發(fā)行版的默認(rèn)這時候要么重新編譯加 -fno-omit-frame-pointer要么切到 dwarf 模式。深度太深時 perf 默認(rèn)只抓一部分??梢杂?-call-graph dwarf,65528加大棧大小。第三類坑是 JIT 代碼Java、Node、部分 Go 場景都會遇到采出來是一堆[JIT]或者匿名地址。Java 的解法是掛 perf-map-agent讓 JIT 編譯時把方法地址映射寫到 /tmp/perf-PID.mapperf 就能解析更省事的做法是直接用 async-profiler 抓 CPU 火焰圖它對 JIT 代碼的映射是內(nèi)建的。Node 可以用--perf-basic-prof之類的方式輸出映射表。這類工作如果一開始沒規(guī)劃好事后補(bǔ)會很難受建議在部署階段就把符號和映射準(zhǔn)備好。3. Off-CPU 分析把等待這件事量化聊完 On-CPU重頭戲來了。Off-CPU 分析要回答的是線程沒在跑的時候到底在等什么等了多久。傳統(tǒng)思路是插樁記錄每個阻塞點(diǎn)的進(jìn)入和退出時間但這要求改代碼、而且覆蓋不到內(nèi)核路徑。更優(yōu)雅的做法同樣是跟蹤切換內(nèi)核每次發(fā)生上下文切換時都會記錄誰被換下、誰被換上如果我們在這兩個時刻打點(diǎn)就能算出每個線程兩次被調(diào)度之間隔了多久并且抓下它被換下時的調(diào)用棧——那個棧就是它睡覺的原因。3.1 線程離開 CPU 的幾種典型原因歸納一下線程從 Running 變成 Off-CPU常見就這幾類。第一類是睡眠等待主動調(diào)用會睡眠的 syscall 或同步原語比如 read/write 阻塞、futex 等待、nanosleep。第二類是等鎖包括用戶態(tài)自旋鎖的退化、互斥量、文件鎖內(nèi)核里 futex 是重災(zāi)區(qū)。第三類是等 IO包括磁盤、網(wǎng)絡(luò)、管道很多時候表現(xiàn)為 epoll_wait 或 read 阻塞。第四類是被搶占時間片用完或被高優(yōu)先級線程擠下去這時候線程還是 Runnable只是沒輪上。前幾類是 Sleeping第四類是 Runnable。區(qū)分它們很重要Sleeping 說明有外部依賴拖著優(yōu)化方向是縮短依賴或并發(fā)化Runnable 說明 CPU 資源或調(diào)度配置有問題優(yōu)化方向是加資源或調(diào)優(yōu)先級、綁核。很多分析工具會把兩者混在總 Off-CPU 時間里看的時候要留意能不能拆開。3.2 offcputime 與 wakeuptime等待棧和喚醒鏈BCC 工具集里的 offcputime 是最常用的入口。它會跟蹤上下文切換統(tǒng)計每個線程 Off-CPU 的累計時長并按被換下時的棧聚合offcputime -df -p 12345 30 offcpu.folded flamegraph.pl --colorio --titleOff-CPU Time --countnameus offcpu.folded offcpu.svg參數(shù)含義-d 打印分隔符方便后續(xù)折疊-f 輸出折疊格式直接喂給火焰圖腳本-p 限定進(jìn)程最后一個數(shù)字是采集秒數(shù)。得到的 Off-CPU 火焰圖跟 On-CPU 長得像但橫軸寬度是阻塞時長微秒讀法是哪個棧把線程卡住得最久。offcputime 解決的是線程在哪睡但它不回答誰把它叫醒的。這時候就要請出 wakeuptime。它把阻塞棧和喚醒棧拼在一起直接告訴你A 線程在某個 futex 上睡了 200ms是被 B 線程喚醒的。這個信息非常值錢因?yàn)樗岩蚬溄o串起來了——很多鎖競爭的根因不是持鎖線程慢而是持鎖線程被別的更慢的操作卡住了。wakeuptime -p 12345 30實(shí)測下來wakeuptime 在排查線程池互相等待、上游把下游拖死的場景里特別好用。缺點(diǎn)是對復(fù)雜調(diào)用棧的輸出會比較長需要配合過濾看。3.3 runqlat被忽視的調(diào)度延遲前面說過 Runnable 狀態(tài)是獨(dú)立的一類浪費(fèi)量化它主要靠 runqlat老版本叫 runqslower。它統(tǒng)計任務(wù)從進(jìn)入就緒隊列到真正被調(diào)度執(zhí)行之間的延遲分布輸出是直方圖runqlat -m -P 10-m用毫秒做單位-P按進(jìn)程聚合。看這個輸出主要看長尾如果 p99 到了幾十毫秒說明某些線程經(jīng)常在就緒隊列里等很久CPU 飽和或者有 CPU 密集任務(wù)在搶。這類延遲在應(yīng)用層往往表現(xiàn)為莫名的抖動而且因?yàn)樗幌?CPU 時間常規(guī)監(jiān)控根本看不到。線上偶發(fā)毛刺排查runqlat 是我必開的一個工具。注意offcputime 統(tǒng)計的時長里其實(shí)已經(jīng)隱含包含了 Runnable 的等待因?yàn)榫€程從被換下到再次被換上中間可能既有睡眠也有排隊。要精確拆開需要同時看 offcputime 和 runqlat用差值估算。睡了 100ms 里有 80ms 是在排隊這種結(jié)論只能靠兩個工具配合才能得出。4. 一次真實(shí)排查的完整推演講完工具來走一遍完整流程比干講參數(shù)有用得多。以下是我處理過的一個典型場景做了脫敏和簡化但思路和步驟是原樣的。4.1 現(xiàn)象描述和初步假設(shè)現(xiàn)象某服務(wù)接口在壓測時 p99 從 20ms 漲到 900ms但機(jī)器 CPU 使用率只有 25%IO 也不高監(jiān)控上看不出明顯異常。單看資源指標(biāo)這臺機(jī)器簡直空閑得可以去度假。這種資源不緊張但延遲爆炸的形態(tài)基本可以判定瓶頸在 Off-CPU而且大概率是排隊或者鎖不是計算。先立幾個假設(shè)一是線程池被某個慢調(diào)用占滿新請求只能排隊二是某個共享資源連接池、緩存、鎖成了串行點(diǎn)三是 GC 或者定時任務(wù)周期性搶占導(dǎo)致抖動。接下來逐個驗(yàn)證。4.2 用 On-CPU 排除計算密集第一步還是先排除計算問題畢竟它最好查。抓 30 秒 On-CPU 火焰圖perf record -F 99 -g -p $(pgrep -f myapp | head -1) -- sleep 30 perf script | ./stackcollapse-perf.pl | ./flamegraph.pl oncpu.svg結(jié)果很干凈最寬的葉子占不到 5%沒有任何函數(shù)吃滿。這就基本排除了 CPU 熱點(diǎn)也側(cè)面印證問題在等待。同時看了一眼 On-CPU 的采樣總數(shù)30 秒 99Hz 應(yīng)該接近 3000 個樣本實(shí)際只采到不到 800 個——這個差值本身就是信號大量時間線程根本沒在跑采樣器采不到。4.3 用 Off-CPU 定位到鎖競爭接下來抓 Off-CPUoffcputime -df -p $(pgrep -f myapp | head -1) 30 offcpu.folded flamegraph.pl --colorio --titleOff-CPU --countnameus offcpu.folded offcpu.svg火焰圖一出來最寬的一條棧非常顯眼從業(yè)務(wù)入口一路到pthread_mutex_lock再往下是futex_wait累計阻塞時間占了總 Off-CPU 時間的六成以上。也就是說大量線程都堵在同一把鎖上。順著棧找到那個 mutex 對應(yīng)的代碼位置是一個本以為讀多寫少的共享配置緩存實(shí)際每次刷新都會整表加寫鎖而刷新又調(diào)用了下游接口一旦下游慢鎖就持很久。再用 wakeuptime 確認(rèn)喚醒鏈wakeuptime -p $(pgrep -f myapp | head -1) 30輸出清楚地顯示喚醒這些等鎖線程的正是那個持鎖的刷新線程而刷新線程自己又阻塞在下游網(wǎng)絡(luò)讀上。到這里因果鏈完整了下游慢 → 刷新線程持鎖時間長 → 其他線程全堵在鎖上 → 請求排隊 → p99 爆炸。4.4 驗(yàn)證與修復(fù)驗(yàn)證方式很直接給共享緩存的刷新邏輯改成先算好再原子替換指針也就是讀路徑無鎖、寫路徑只做一次指針交換把持鎖時間從整個下游調(diào)用縮到指針賦值。改完復(fù)壓p99 回落到 30ms 以內(nèi)Off-CPU 火焰圖上那條 futex_wait 的寬度基本消失了。這次排查的價值不在于用了多高級的工具而在于先用 On-CPU 排除、再用 Off-CPU 定位、最后用 wakeuptime 串因果這個固定套路。你把這套順序記下來遇到類似問題就不用靠猜了。5. 環(huán)境準(zhǔn)備與工具選型的一些硬門檻工具再好環(huán)境不支持也白搭。Off-CPU 這類分析工具大多基于 eBPF對內(nèi)核版本和權(quán)限有實(shí)打?qū)嵉囊筇崆按_認(rèn)能省掉很多抓耳撓腮的時間。5.1 內(nèi)核版本與 eBPF 能力自檢先看內(nèi)核版本uname -roffcputime、wakeuptime 這類工具依賴掛載 kprobe 的能力實(shí)踐上建議內(nèi)核 4.15 以上5.x 更穩(wěn)。4.9 到 4.14 之間有些工具能跑但偶有兼容問題。檢查內(nèi)核配置grep -E CONFIG_BPF|CONFIG_BPF_SYSCALL|CONFIG_KPROBE /boot/config-$(uname -r)幾個關(guān)鍵項要能查到BCC 工具集才能正常工作。如果是最小化安裝的發(fā)行版可能連 bcc-tools 包都沒裝。5.2 安裝 BCC 與依賴主流發(fā)行版基本都有現(xiàn)成包# Debian/Ubuntu 系 sudo apt-get install bpfcc-tools linux-headers-$(uname -r) # RHEL/CentOS 系 sudo yum install bcc-tools kernel-devel-$(uname -r)裝完工具一般在/usr/sbin或者/usr/share/bcc/tools下可能帶-bpfcc后綴。perf 和火焰圖腳本另裝perf 跟內(nèi)核版本綁定最好用包管理器裝避免自己編譯出坑FlameGraph 是一堆 Perl 腳本clone 下來即可。5.3 容器和虛擬化環(huán)境的特殊處理容器環(huán)境里有兩個必踩的坑。第一是 PID 命名空間容器里看到的 PID 和宿主機(jī)不是一回事perf 和 bcc 工具如果跑在宿主機(jī)上得用宿主機(jī)的 PID用docker top或者ps -eLf | grep去定位。BCC 的-p參數(shù)接受的是它所在命名空間里的 PID跑在容器內(nèi)就填容器內(nèi) PID。第二是權(quán)限eBPF 傳統(tǒng)上要 root5.8 以后有了 CAP_BPF 和 CAP_PERFMON 可以降權(quán)但生產(chǎn)上多數(shù)還是用 root 或者 privileged 容器。虛擬化環(huán)境里硬件 PMU 事件可能不可用perf 的部分功能會退化但軟件事件cpu-clock和采樣依然可用Off-CPU 工具基于 kprobe 基本不受影響。這一點(diǎn)在云主機(jī)上不需要太擔(dān)心。提示如果 offcputime 報 HINT: ... failed to attach 之類的錯誤先確認(rèn)內(nèi)核開了 CONFIG_BPF 相關(guān)選項再確認(rèn)自己沒有在受限的 seccomp 環(huán)境里跑。有些安全加固過的環(huán)境會禁用 bpf() 系統(tǒng)調(diào)用。6. 常見問題與排查技巧速查把經(jīng)常遇到的坑整理成一張表排查時直接對號入座比翻文檔快?,F(xiàn)象可能原因排查手段處理方式On-CPU 火焰圖全是地址符號二進(jìn)制被 strip 或缺 debuginfoperf buildid-list對比安裝 debuginfo 包或帶符號重編采樣樣本數(shù)遠(yuǎn)低于預(yù)期線程大量 Off-CPU對比預(yù)期樣本數(shù)轉(zhuǎn) Off-CPU 分析Java 棧顯示為[JIT]JIT 代碼無符號映射檢查/tmp/perf-PID.map掛 perf-map-agent 或換 async-profileroffcputime 棧斷在中間棧展開深度不足看棧頂部是否有斷裂dwarf 模式或加大棧參數(shù)Off-CPU 圖里大量 idle/swapper采集到空閑任務(wù)觀察最寬塊的名字用-p限定進(jìn)程或加過濾p99 抖動但 CPU 不高調(diào)度延遲長尾runqlat -m -P查 CPU 飽和或綁核調(diào)優(yōu)先級等鎖時間長但持鎖者不慢持鎖者被下游卡住wakeuptime看喚醒鏈縮短持鎖范圍或改無鎖容器內(nèi)工具報 PID 找不到命名空間不一致docker top核對用對應(yīng)命名空間的 PIDeBPF 工具 attach 失敗內(nèi)核能力或 seccomp 限制查內(nèi)核 config 和安全策略換環(huán)境或提權(quán)這張表里我最想強(qiáng)調(diào)的兩行是采樣樣本數(shù)遠(yuǎn)低于預(yù)期和等鎖時間長但持鎖者不慢。前者是一個很隱蔽的信號很多人看到 CPU 不高就直接放棄 perf 了其實(shí)差值本身就在告訴你答案后者是翻身常犯的錯——盯著等鎖的人看忽略了叫醒他們的人。把這兩個視角建立起來絕大多數(shù)詭異延遲都能找到入口。再補(bǔ)幾個實(shí)操心得。第一采集時長別太短Off-CPU 事件往往稀疏10 秒可能采不到幾次建議至少 30 秒長尾問題可以拉到幾分鐘。第二采樣時盡量復(fù)現(xiàn)問題場景空跑采集沒意義要壓測就邊壓邊采。第三火焰圖看的是分布不是順序別試圖從圖里讀出時間先后要看先后得用 trace 類工具。第四perf script產(chǎn)出的中間文件可能很大幾十秒采集幾百 MB 是常事注意磁盤空間和后續(xù)處理的內(nèi)存占用。7. 一些踩坑之后才明白的經(jīng)驗(yàn)最后聊點(diǎn)工具之外的東西都是實(shí)打?qū)嵅瘸鰜淼?。剛接觸 Off-CPU 分析時我老想找一個命令搞定后來發(fā)現(xiàn)這套分析的價值恰恰在于組合On-CPU 排除計算、offcputime 找阻塞點(diǎn)、wakeuptime 串因果、runqlat 補(bǔ)調(diào)度四個環(huán)節(jié)缺一個結(jié)論就可能偏。還有一個體會是Off-CPU 時間不是越低越好而是越可解釋越好。有些等待是設(shè)計使然比如正常的網(wǎng)絡(luò) RTT、必要的批量攢批這些等待是劃算的真正要干掉的是那些沒必要的、可以并發(fā)化的、因?yàn)閷?shí)現(xiàn)缺陷被放大的等待。所以別追求把 Off-CPU 壓到零先追求能說清楚每一段等待花在哪、值不值。另一個容易忽略的點(diǎn)是采樣開銷。eBPF 工具在高頻事件上比如上下文切換特別頻繁的系統(tǒng)本身也會產(chǎn)生可觀測的額外負(fù)載采集的時候要留意對被分析進(jìn)程的影響別把觀察行為變成了干擾因素。壓測對比時最好先跑一次不采集的基線再跑采集版本把采集開銷從結(jié)果里扣掉不然容易冤枉代碼。再分享一個小技巧如果線上不方便跑 root 工具可以先從/proc/PID/status里的 voluntary_ctxt_switches 和 nonvoluntary_ctxt_switches 看趨勢兩個值漲得快說明上下文切換頻繁O(jiān)ff-CPU 問題概率大這就是個零成本的先行指標(biāo)用來決定要不要上重武器很夠用。這套東西我用了好幾年越用越覺得它不是什么高深技術(shù)就是把線程到底在干嘛這個問題拆成兩半來回答的樸素方法。工具會隨內(nèi)核版本變理解On-CPU 加 Off-CPU 等于完整墻鐘時間這個賬本關(guān)系才是長期管用的東西。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
超碰在线人人| 五月天伊人| 欧美三级巜人妻互换| 九九中文字幕九| 婷婷另类开心| 超碰狠狠操| 丁香五月天大香蕉啪啪| 99热在线里有精品| www.超碰| www.91在线观看| 激情六月一二| 色五月亚洲| aaaaa黄色| 五月婷婷六月情| 婷婷五月欧美综合| 丁香九月激情在线视频| 色综合播放| 大香蕉五月丁香| BlACKEDRAW视频一区二区| 综合色99| 婷婷五月天激情电影| 97日本操| 青草视频在线蜜臀| www.色婷婷| 亚洲九九婷婷| 日日噜狠狠色综合久| 超碰人妻公开在线| 五月 丁香 欧美| 五月丁香六月婷婷久久| 熟女网站久久| 99玖玖在线视频| 九九99热精品| 色丁香五月婷婷在线| 97精品人人A片免费看| 天天爽爽日日做做| 亚洲精品午夜国产va久久成人| 97碰碰在线观看视频| 9999热这里只有精品| 九九在线视频| 99这里只有精品视频免费| 五月激情在线| 东京热免费视频网站| 99视频只有这里精品| AA片在线观看视频在线播放| 九九在线免费观看| 嫩BBB槡BBBB搡BBBB| 99精品成人无码A片观看金桔| 五月婷婷久久久| 婷婷五月天网| 超碰97久久| 性色视频| 亚洲色图在线视频| 新激情五月天天在线网| 丁香五月色五月| 影音先锋777xfplay色资源网站| 久久ri精品| 欧美性爱特黄一级aaaassss| 少妇人妻丰满做爰XXX| 亚州激情网| 国产亚洲99久久精品| 婷婷亚洲久久| 丁香五月伊人| 香蕉网久久| 六月丁香综合| www.射伊蕉婷婷| 啪啪色区| 99热碰碰热| 狠狠久久婷五月| 婷婷色五月开心五月| 激情六月天婷婷| 奇米四色五月天| 五月婷婷六月开心| 久七香蕉| 97AV在线视频| 欧洲99视频在线| 色五月丁香五月| 六月成人网| 色9色| 婷婷视频网| 中文字幕婷婷五月天| 色五月婷婷五月| AV色五月婷婷| 538在线精品| 狠狠干五月丁香| 欧类av怡春院| 婷婷激情五月天小说校园| 91女人18毛片水多国产| 亚洲综合五月天| 国产女人十八水真多1| 开心五月色婷婷综合开心网| 视频在线免费观看欧洲乱码| 婷婷丁香花五月天| 伊人五月天男人的天堂在线| 亚洲激情网| 婷婷色婷婷| 婷婷五月天色网久| 逼逼AV| 久久xx| 久久艹网| 欧美日韓成人亚洲精品另类| 伊人热在线大香蕉| 五月天开心婷婷激情网站| 五月丁香激情综合啪啪| 婷婷深爱五月| 国产高清RV综合aVa| 久久99大| 狠狠操狠狠插| 五月天色色激情综合| 九九99精品视频在线观看| 欧洲亚洲免费视频9| 青草视频在线观看视频| 精品人妻久久久久| 亚洲成人AV在线观看| 五月天色婷婷综合| 久久在线人妻| 久久综合色五月| 97碰在线视频| 九六五月天婷婷| 9l视频自拍九色9l黑人| 成人五月天丁香婷| 五月丁香激情婷婷综合字幕| 激情丁香五月| 婷婷丁香熟妇综合网| 涩综合在线| 1024亚洲无码| 五月天激情四射网站| 99色热| 丁香激情五月天| 丁香五月天激情AV| 免费看无码视频A级| 玖玖综合色| 777.色色| 婷婷黄色五月| 色综合五月天| 亚洲色无码| 国产操B视频| 色色色综合网| 天天做天天爱天天做| 超级碰91| 婷婷六月综合激情| 激情五婷网| 久99久热| 亚洲无码 图片区| 99热8| 99热在线观看免费中文| 亚洲欧洲美女在线观| 啪啪色区| 色综合久久88色综合天天人守婷| 东京热免费视频网站| 99色在线视频| 色色色色色综合| 色丁香久久| 久久A极片| 思思热在线视频精品| 99视频这里只有免费精品| 久99| 人妻久久久久久久| 久久亚洲网| 97干资源在线观看| 99爱精品| 深爱婷婷网| 99热免费网站| 激情五月天第四色| 少妇性按摩无码中文A片| 丁香五月电影| 99热久只有精品首页| 久久久久久久久久久jjjj| 精品久久9| 99热只有精品在线观看| 色色婷婷五月天| 日日躁夜夜躁狠狠久久AV| 很很干夜夜干| 天天日天天干天天爱| 欧美69色| BBWCUCKOLD精品熟妇| 人人草人人看| xxx日本东京热| 天天插天天射天天干| 熟妇内谢69XXXXXA片| 狠狠干,狠狠操| 国内裸舞二区| 香蕉婷婷色五月| 五月婷婷爽爽爽| www.97碰碰com| 26UUU在线观看| 欧美丁香五月97色| 精品国产a| 五月丁香色婷婷| 久久激情五月天| 国产激情综合| 久久一级片| 中文字幕日产A片在线看| 久久婷五月综合| 日逼免费视频| 激情综合网络插| 色玖玖玖| 色吧99| 天天日天天舔| 99久在线精品| 日婷婷久久开心| 五月婷婷天天色| 婷婷五月丁香综合激情| 狠狠干狠狠操狠狠爱| 激情五月天网站| 久久99激情| 丁香婷婷五色月| www.色99| 色综合中文色综合网| 国产国产乱老熟女视频网站97| 99人妻碰碰碰久久久久视| 中文字幕日韩无码制服诱或| ww亚洲ww在线观看| 天天综合色99| 婷色天堂| 青柠影视免费高清电视剧| 淫视馆AV在线| 久久a热| 丁香婷五月| 九月婷婷| 五月丁香无码| 婷婷七月丁香色色| 99久久終合| 国产黄大片在线观看画质优化| 久色网址| 激情九色| 婷婷狠狠操| 九九热这里只有精品9| 夜夜撸日日操| 丁香五月久久| 91avse| 狠狠干夜夜干| 丁香六月无码播放| 逼逼AV| 五月婷丁香| 玖玖婷婷色| 狠狠色噜噜狠狠狠狠狠色综合久久| 亚洲午夜AV| 婷婷丁香97| 婷婷爱五月| 天天爽日日爽夜夜爽| 深爱激情五月天色婷婷| 热久久成人| 99热在线观看精品| 9久久AV| 五月天大香焦| 成人性生活免费观看。| 大香蕉在九| 六月丁香五月婷婷| 婷婷丁香五月综合| 天天爽天天操| 99热都是精品| 人妻无码精品一区| 99精品久久| 亚洲六月色婷婷| 人人播| 婷婷五月天激情文学| 第四色婷婷五月| 欧日韩AV| 人妻久久做| 六月激情婷婷| 国产67194| 丁香六月婷婷久久高清| 996热re视频精品视频| 99久久玖玖| 综合激情在线观看| 玖玖色资源| 色五月中文字幕| 99热官网精品在线| 亚洲精品成人片在线播| WWW·色色色·COM| 九九人人自拍| 五月婷婷亚洲| 婷婷五月丁香综合| 狠狠操综合| 日本在线视频www色| 在线另类视频| 综合激情五月丁香| 色色热99| 婷婷色五月亚洲| 96人人操人人操人人| 五月亭亭六月色| 99re这里只有精品99| 日本老女人黄页在线播放| 五月天色色网站| 久久久久久久久久8888| 九九热这里只有精品首页| 丁香五月1页| 丁香五月1页| 亚洲区,视频区,视频区免费| 色五月涩涩婷婷蜜桃| 五月天婷基地| 丁香成人综合| 一级二级香港秋霞欧美欧美秋霞| 丁香五月激情啪啪| 婷婷丁香六月| 婷婷五月综合在线| 亚洲激情在线| 国外亚洲成AV人片在线观看| 久久婷婷五月综合| 高潮毛片又色又爽免费| 天天揷综合网| 久久久噜噜噜操操操| 一区操| 亚洲色五月婷婷| 五月亭亭欧美女人| 97在线碰| sisi热国产| 激情五月六月丁香| 开心网五月色婷婷| 久久伊人婷婷| 色综合色| 亚洲mm免费| 国内自拍1区| 色婷婷久久7777| 色综合久久综合| 9精品视频在线| 色五月成人| 激情综合五月激情17| 色综合色欲综合天天免费| 色婷婷六月精品| 天天日日夜夜爽。| 91成人视频| 99这里只有| 婷婷五月天激情小说| 666555。COm毛片| 7777久久亚洲中文字幕| 亚欧州精品视频| 天天开心天天色| www.狠狠色.com| 五月天久久丁香| 综合婷婷五月天| 91超级碰| AV五月丁香| 九九香蕉网| 五月天社区| 日本三级99人妇网站| 久久大香免费| 丁香婷婷啪啪| 怡红院视频| 熟妇人妻中文字幕无码老熟妇| 色五月成人| 99热激情| 色婷婷91激情小说| 丁香五月婷婷88在线| 四色永久成人网站| 在线观看免费狠狠色丁香香综合| 99精品小视频| 亚洲无码影音| 亚洲 在线 性爱 | 色五月丁香五月| 五月天婷综合| 婷婷五月av| www.91五月| 久热这里这里有精品| 亚洲激情综| 99久久97| 五月丁花色综合网| 国自产拍偷拍精品啪啪一区二区| 性色人人爽| 九九干视频| 九九热99在线视频| 99成人精品视频| 日本熟妇乱妇熟色A片蜜桃| 丁香六月婷婷激情综合| 97人人草| 激情综合无码| 综合久久97| 亚洲综合一区二区| 日韩aaaaa| 日韩久久日| 天天干天天操天天上| 亚洲色五月| 毛片网站谁有| 伊人在线视频| AV色五月婷婷| 九九视频这里只有精品| 狠狠色综合网| 婷婷午夜| 97天堂| 97超碰人人操| 国产综合色婷婷精品久久| 丁香五月婷婷AV在线| 九九99九九精品视频| 热的无码综合视频| 婷婷五月丁香综合网| 青青草护士中出内射-欧美电影在线天堂新版| 色播五月天激情| 九九九这里只有精品| 大香蕉久| 五月天丁香六月综合| 91精品国产91久久久久青草| WWW.99热| 91丨九色丨东北熟女| 色色色国产| 日韩在线观看亚洲| 碰碰操91| 色五月五月婷婷| 99在线一区| 天天狠天天叉| 久久婷婷资源| 人人草人人舔| 91人人操.COM| 久久亚洲激情五码| www久久五月com| 夜夜爽天天干| 开心婷婷五月激情网小说| 五月天婷婷久久| 激情5月舔| 五月综合视频| 天天爽天天日人人爱| 丁香激情五月天| 色婷婷婷综合五月天| http:色情日本com| 丁香综合网| 国内9l视频自拍老熟女九色| 丁香婷婷深情五月亚洲| 97AV人人插人人操| 婷婷六月综合基地| 五月天丁香网| 人妻中文在线| 九九人人自拍| 久久婷婷色| 九月婷婷综合| 国产精自产拍久久久久久蜜| 99re热久久| 狠狠干.com| 深爱1激情网| Www.se.久久| 丁香五月六月综合欧美| 日韩人妻无码精品| 五月天伊人网| 五月激情开心婷婷| 色婷婷呢狠禁久禁| 久久久精品人妻录| 欧美亚洲成人在线| 成人 视频免费观看网站| 99在线播放视频| 色色射| 热久久77777| 国产人妻777人伦精品HD| 天天操,天天插| 久久月天堂| 久色大| 久热成人| 久久AAAA片一区二区| 丁香五月天视频在线播放| 丁香五月色色婷| 五月丁香色婷婷久久| 97色婷| 中国丰满熟女A片免费观| 久热这里只有精品66| 无码人妻一区二区一牛影视| 七七九色| 开心六月婷| 国产AV一区二区三区最新精品| 五月综合缴情网| 久久嘟嘟丁香| 亚洲色网络| 午夜青草资源| .comwww在线观看免费操| 亚洲婷婷丁香| 欧美在线骚货| 久热精品9999| 成人视频婷婷| 91精品婷婷国产综合久久| 97色婷婷| 欧美成人A片AAA片在线播放| 丁香五月另类色婷婷麻豆| 99久久九九| 五月丁香五月天现场视频| 婷婷第一页| 狠狠做深爱婷婷久久综合一区| 久久狠色噜噜狠狠狠狠97| 任你弄在线视频免费| 五月天久久91| 亚洲综合婷婷| 草了bav视频在线观看| 丁香六月婷婷色XXXXX| 欧美人人操| 天堂无码人妻精品AV一区| 玖玖资源站中文| 97视频久久| 国产熟妇的荡欲午夜视频| 99视频这里只有精品10| 99在线观看| WW婷婷五月天com| 五月天综合网| 99热这只有| 91碰操| 亚洲操操| 丁香久久久| 另类 在线| 操操碰| 天天草比天天爽| 亚洲综合成人网| 秋霞AV吧| 五月丁香啪啪啪综合网| 99热精这里只有精品| 久久婷婷五月综合啪| 超碰av在线| 亚洲综合五月天婷婷| 激情视频婷婷五月花| 婷婷伊人综合| 五月婷婷之综合激情| 婷婷五月丁香久久| 日本九九九九| 久久综合站| 91超级碰| 婷婷五月天激情基地| 九九综合色| 伊人大香蕉毛片| 久久婷婷激情| 久热精品视频| 九九热99re8热免费观看| 9l视频自拍九色9l黑人| 这里有精品| 五月天激情小说欧美激情| 久久这里只有精彩| 色五月婷婷影视| 婷婷色色五月天| 色播播婷婷| 成人片久久网站| 婷婷五月天大香蕉| 午夜不卡久久精品无码免费| www.五月婷婷久久.com| 天天爽夜夜爽天天爽夜夜爽| 久久中文人妻系列| 嫩草视频观看| WwW色婷婷| 4399成人黄A片| 天天爽天天日天天舔| site:hcxsz888.com| 任你干嘛免费视频播放| 亚洲日本韩国| 五月丁香琪琪| 五月深爱激情网| 色色综合成人网| 97久操| 国产69久久久欧美黑人A片 | 五月丁香综合激情网| 亚洲狠狠婷婷综合久久久| 99爱99操| www,99热在线观看| 东京热免费视频| 91日视频| 色婷婷社区| 五月婷婷狠天天色综合| 99色干| 激情五月天福利| 欧美精品XXXXBBBB| 亚洲无码成人| 日日综合网| 狠狠人妻久久久久久综合丁香| 亚洲av成人在线| 在线不卡的视频| 激情又色又爽又黄的A片| 中文字幕av久久爽一区| 天天综合网在线| 色婷婷AV五月天| AV色五月婷婷| 精品牛仔裤超碰| www.九九婷婷| 丁香婷婷成年| 图片区 小说区 区 亚洲五月| av网址在线| 亚州精品久久久久AV无码| 丁香五月天在线视频| 91精品综合久久婷婷九色| 成人性生活免费观看。| 男男野外做爰全过程69| 亚洲激情另类| 日韩黄黄| 色综合久久88色综合天天看| 夜夜干夜夜操| 婷婷激情五月天在线| 翔田千里aV中文字幕| 97超碰人人操| 狠狠色丁香婷婷久久综合| 色播激情婷婷| 五月丁香婷婷激激激综合网色播| 狠狠色丁香99| 五月天婷婷午夜丁香| 色色免费网站| 欧洲亚洲午夜| 91 九色 入口| 久草嫩草在线观看| 黄色av网站在线免费播放| 熟女人妻一区二区三区免费看| 亚洲另类电影| 久操综合| 五月丁香六月激情综合| 五月丁香婷婷六月| 洗浴中心操B视频| 思思久久96热在精品国产,| 六月婷婷成人| 婷婷激情肏屄网| 思思热久久艹| 色色色婷婷五月| 98永久精品| 超碰在线观看成人视| 色婷婷影视99| 久久久五月天婷婷| 丁香五月亚洲综合丝袜| 伊人99久久| 午夜伊人大香蕉| 怡红院AV亚洲一区二区三区H| 婷婷五月天福利| 99免费视频| 丁香婷婷影院| 五月婷婷啪啪| 丁香六月婷| 久久机热/这里只有精品| 五月丁香啪啪啪综合网| 成人婷99最新| 亚洲六月色婷婷| 影音先锋天天日| 99视频这里有精品| 成功精品影院| 丁香婷婷性久久| 亚洲人成色A777777在线观看| 26uuu成人网| www.天天日| 色99在线观看| 色婷婷亚洲婷婷在线观看| 婷婷网五月天| 美国十月色婷婷在线观看| 天天日天天干天天操| 亚洲精品永久久久久久| 久久久无码精品成人A片小说| 女人天堂AV| 性爱久久| 日日操夜夜爽| 色婷婷五月综合在线| 丁香午夜天| 天天色天天日| 国产97色在线 | 日韩| 超碰猛烈的性猛交| 99自拍网| 色色a| 香蕉久久国产AV一区二区| 99热在线播放| 欧美色图片88| 婷婷五月激情欧美大胆视频| 97热这里只有精品| 婷婷五月激情综合| 高清无码网址| 成人午夜视频精品一区| 三年高清大片免费观看国语| 色啦啦视频| 免费V片在线| 亚洲免费av观看| 成人中文字幕在线| 色婷久久| 天天舔夜夜操www com| 综合激情网| 欧美综合五月丁香六月婷| 噜噜久| 色色色99| 精品婷婷| 亚洲激情久久| 久久久久久99日本| 丁香久久九九99| 激情av在线| 91精品婷婷国产综合久久| 国产乱码久久| 激情五月丁香五月| 欧美99热| 色噜噜婷婷| 五月色综合| 久机视频这只有精品| 婷婷丁香六月| 五月停停99| 久久九精品| 97人人干人人操| 26uuu.| 青青福利网| 九九婷婷网五月天| 婷婷五月电影院| 99精品综合| 色综啪啪网| 91日精品| 一起草AV| 久热这里只有精品99re,久热这里只有精品7 | 天堂久久婷婷| 婷婷亚洲综合| 五月婷婷黄色网址| 色九九七七| 九九人妻福利| 伊人五月天婷婷| www.色婷婷| 99热都是精品| AV中文网| 天堂爱啪啪| 天天摸.天天mo| 欧美va亚洲va在线播放| 蜜臀99精品| 色五月大香蕉| 99热热热天天人人人超超碰| 综合一区二区三区| 五月激情丁香久久综合网| 婷婷五月丁香六月天亚洲综合| 99久久久久久www| 久久婷婷热| 婷婷桃色网| 综合久久综合久久| 色婷婷五月天激情综合| 色色色色色色色色色色色色色97| 69精品人人人人| 色婷婷91激情小说| 六月婷婷激情图片| 天天干夜夜欢| 9久久婷婷国产综合精品性色| 九九视频在线观看视频6 | 丁香五夜激情四射夜夜夜| 丁香五月天堂| 色五月五月天| 五月久久婷婷丁香| 国产精品涩涩涩视频网站| 欧美婷婷精品激| 开心婷婷五月激情网小说| 婷婷丁香人妻天天久久| 五月天另类小说| 99热草草| 九九色影院| 激情五月婷婷综合网| 一区二区免费看| 久久久国产精品黄毛片| 婷婷五月天丁香社区| 另类图片五月天婷婷| 人人操av| 99热久久这里只有精品| 色五月婷婷1| 欧美综合婷婷欧美综| 综合图片色色| 亚洲精品一区无码A片| 色www.con| 日本在线免费中文com.| 激情六月天| 大地资源色婷婷视频在线| 婷婷玖玖五月天| 精品国产va久久久久久久| 丁香 久久| 日本熟妇乱妇熟色A片蜜桃| 九九色大香蕉| 日日撸日日操| 五月天久久婷婷| 青青999| 在线,国产,色,热视频| 狠狠穞A片一區二區三區| 99国产精品白浆在线观看免费| 久久9久久| 99热只有精品在线观看| 91狠狠综合久久久| 99日本视频在线观看专区| 狠狠看狠狠| 丁香五月天社区| 大伊香蕉精品视频在线| 婷婷色丁香五月| 五月丁香六月婷婷无码| 国精产品一区一区三区免费视频| 久青操| 丁香五月婷婷欧美成人色图| 久草热在线视频| 九九久久高清| 午夜无码精品色综合久久| 91丨九色丨东北熟女| 亚洲成片在线观看| 五月天自拍视频| 九九亚洲视频| 色综合久网| 99久久综合网| 99热这里只有精品66| 啪啪东京热| 亚洲十月婷婷综合| 大香蕉九九| 蜜臀99久久精品久久久久| 欧洲激情五月天| 婷婷激情四射| 婷婷六月综合基地| 蜜桃婷婷丁香| 99爱在线视频| AV在线观看网站| 色色色色网站| 丁香五月大香蕉在线99| 丁香五月综合激情久久潮喷| 欧美色宗和激情| 1024在线观看免费视频| 狠狠擼综合| 丁香六月五月天| 狠狠爱五月婷婷| 亚洲视频图片婷婷五月| 中文字幕免费高清电视剧| 五月久久丁香| 99亚洲综合| 99久久9| 九九热精品99| 婷婷五月天电影区小说区| 影音先锋91在线资源站| 蜜臀A∨在线水帘洞| 婷婷操逼| 色碰碰| 色噜噜狠狠色综无码久久合欧美| 五月婷婷综合色啪首页| 五月丁香六月停停| 丁香五月av| 99爱视频精品| 丁香六月色婷婷| 日韩操女| 噜噜网免费视频| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 婷婷影院A成人| 激情综合五月激情17| 99热精品在线播放| a九九热www| 五月天激情丁香| 久久密臀婷婷| 99re这里只有精品首页| 欧美性做爰大片免费看办公室| 成人在线日韩| 五月丁香六月成人| 超碰国产av| 天天干天天日天天操| 久久综合55| 日本性激情色播| 日本熟妇乱妇熟色A片蜜桃| 婷婷第六色| 丁香六月婷婷色XXXXX| 久99久视频| 六月婷婷av| 色婷六月| 六月色婷婷| 婷婷五月天中文字幕| 婷婷五月激情丁香| 亚洲图色五月天| 日夜夜久久| 伊人狼人干| 欧美婷婷五月天综合| 国产免费性爱| 婷婷五月婷婷五月天| 白人荫道BBWBBB大荫道| 九九综合久久丁香婷婷,开心激情综合网| 色爱亚洲| 婷婷五月丁香av网站| 成人精品在线观看| 九九久久精品| 天天操天天操天天操天天操天天操| 婷婷伊人网| 色欲婷婷五月天| 婷婷五月天激情综合| 91黄操| 99A级片| 九九99免费视频| 亚洲啪啪视频| 欧美日朝成人| 超碰av在线| 欧美25p| 狠狠色丁香久久久婷| se99视频| 爱之国产色情综合| 九九成人视频| 综合狠狠干| 日本二级毛片二级毛片| 婷婷亚洲五月色综合| 91黄色五月天视频| 久久人妻伊人| 天天色综| 五月激情网站| 996精品热视频| 26uuu欧美| 91要啪| 亚洲欧美综合7777色婷婷| 日本久久99| 天天日夜夜| 激情播丁香| 大色鬼综合| 久久99久久久| 国产精品国产| 狠狠操综合| 26UUU精品一区二区| 日韩a热| 日本欧美成人片AAAA| 蜜臀嫩草| 久久伊人婷| 五月婷婷激情日本| 久久久99视频| 99视频| 五月婷婷色综图片| 天堂伊人干| 五月婷婷综合精品| 亚洲爱婷婷| 日本久久人人| 天天射影| 免费无码毛片一区二区A片| A网在线欧洲| 色婷婷五月影视| 99九九玖玖| 1024日韩| 人妻丰满精品一区二区A片| 国产色五月婷婷| 91丨人妻丨国产丨丝袜| 夜夜躁婷婷AV| www久| 九九综合| 天天综合网网欲色| 综合五月丁香六月婷婷| 97av在线视频| 婷婷色色综合激情| 人五月天婷婷喷水| 五月婷婷色五月| 91爱操| 婷婷五月天网| 夜夜做夜夜愛| 五月婷婷,狠狠操| 超碰av在线| 婷婷深爱色五月| av一区二区电影免费在线观看| 激情五月婷婷| 五月色综合网欧美网| 强辱丰满人妻HD中文字幕| 婷婷五月天另类网站| 久人人操| 99免费| 天天色色婷婷| 久热精品在看| 久久婷五月| 六月婷伊人| 涩涩激情五月婷婷| 日韩AV片| 久久在这里有精品| 五月丁香婷久久| 97色片| 开心婷婷五月天电影院| YW无码| 婷婷丁香97| 五月天另类综合网| 午夜福利8055| 噜噜五月天综合| 欧美激情2025| 久99在线视频| 内射人妻视频国内| 日本色爽| 26uuu国自产精品| 香蕉视频性爱BB做爱| 亚洲 视频 导航 一区| 丁香六月婷婷开心| 香蕉久久五月| 99热综合网| 狠狠五月天婷婷| 亚洲精品444久久久久久| 99自拍视频在线| 成 久久| 丁香 久久| 无码少妇高潮喷水A片免费| 深爱激清网| 丁香五月天无码AV| 色色9 9| 五月丁香成人| hd五月婷婷在线| 26UUU欧美| 99精品22| 婷婷综合五月| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 国产乱子轮XXX农村| 99热一区| 人妻性爱| 免费观看2018www黄色操逼网站| 亚洲婷婷免费| 色色综合网络| 99re66热这里只有精品| 99久久综合狠狠综合久久| 色六月婷婷| 丁香涩涩五月天| 亚洲免费观看高清完整版AV线| 国产成人精品123区免费视频| 精品人妻一区| 99热 在线观看| 伊人久久大香线蕉AV最新午夜| 五月婷婷综合视频| 激情五月婷婷开心网| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | www.色九月| 无码AV免费精品一区二区三区| 婷婷丁香18| 人妻操逼| AAA久久久AAA久久久AAA| 亚洲A片成人无码久久精品青桔| 天天综合色丁香| 婷婷激情五月综合基地| 久久色五月| 久久婷婷七月丁香| 九九黄色网| 俺去也五月天婷婷| 另类色视频| 九九热在线99| 五月婷婷爽爽爽| 色婷婷网| 五月丁香六月婷婷综合| 99 热| 国产亚洲99久久| 丁香五月花| 色色色国产| 日操夜撸| sS丁香五月婷婷| 天天肏天天肏天天肏| 国产一区二区av免费| 成人视频一区| 五月婷婷六月丁香激情| 99久久99热| 情色婷婷五月天| 区欧美日韩成人| 色狠狠综合| 欧美影院| 伊人色综在线| 丁香五月图片| 色婷婷久久综| 久久久91精品| 成人丁香五月| 日日爱激情| 丁香久色| 日本三级日本三级三级人妇四虎| 精品五月花| 五月天激情小说网| 丁香五月91| 99热在线这里| 青青草护士中出内射-欧美电影在线天堂新版 | 婷婷六月久久| 99热这里只有精品9| 亚洲看av的网站| 久久XX| 久久日韩婷婷五月| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 影音先锋AV资源男人站| 中文字幕在线观看视频www| 激情综合色图| 久狠日av| www婷婷色情网| 99热综合| 影音先锋91| 日本97人人| 五月网站| 色偷偷综合| 超碰日日操| 五月草视频| 欧美毛片www| 天天搽天天射| 91综合国免费久入| 国产小网站| 亚洲午夜国产成人电影VA国产欧…| 五月婷婷久久综合| 丁香九月婷| 亚洲激情另类| 99热日韩| 久久99久久99精品免视看婷婷| 丁香五月花婷婷开心| 中文精品在| CAOBIBI| 在线综合亚洲欧美65| 国产乱子轮XXX农村| 日日操夜夜爽| AV在线观看网站| 丁香婷婷情色五月天| www.丁香五月| w婷婷五月婷婷w| 激情婷婷五月天网址| 五月丁香久久| 精品久久9| 99ri在线播放| 九月大香蕉| 色色9 9| 偷偷与邻居做爰完整视频| 97五月天| 色婷婷99| 97狠狠色| www.五月天婷婷| 婷色五月天| 五月叮香啪| 日日日日操| 五月天激情综合10p| 五月丁香婷中文字幕| va中文资源在线观看| 五月亭亭六月色| 狠狠色婷婷7777久| 97欧美在线| 九九色播五月丁香| 久久九九re热| 激情淫乱男女| 婷婷亚州综合| 4438全国最大视频成人网站在线观看| 99五月香婷婷丁香在线视频| 免费观看全黄做爰的视频| 91久热| 天天插天天射| 久99| 婷婷五月av| 91性高潮久久久久久久久| 五月天激情婷婷| 久久性爱视频网站| 99色热| 色五月网址| 国产操碰| caop在线| 欧美影院婷婷| 97超碰人人操| 国产在线黄色| 日本色99| 五月天丁香综合| 婷婷中文无码| 中文字幕在线日亚洲9| 久久婷五月婷| 久综合网| 九月婷婷综合| 丁香五月天激情综合| 人人摸人人| 99在线精品视频| www.丁香五月| 国产成人精品亚洲线观看| 99网| 日本乱子人伦在线视频| A片试看120分钟做受图片| 青青草大香| 99干免费视频| 久久五月热| 色综合色综合色综合| 日本97久久久精品| 久久jiuwww| 97热精品| 亲子乱AV一区二区三区下载| 久久激情视频| 99er这里只有精品视频| 综合五月草 | 亚洲综合欧美色丁香婷婷888月图片| 青青操日本摸摸看看| 五月伊人婷婷999| 六月色激情| 五月婷婷色色色| 91人妻色色网| 婷婷久久五月| 色噜噜狠狠色综合日日免费| 五月天婷婷久久综合| 丁香五月第四色88| Www,五月天| 亚洲国产精品VA在线看黑人| 日本激情91| 久热九九| 亚洲午夜av| 国产肥白大熟妇BBBB视频| 丁香五月激情久久麻豆| 久草婷妨| 亚洲AV另类| 久久久久亚洲AV成人无码电影| 日韩成人网址| 色婷婷色五月另类综合| 午夜 外网 精品 在线| 婷婷激情网五月天| 日日.c| 成人视频在线免费播放| 色色五月婷| 激情综合五月| 激情五月婷婷综合秋霞| www网站在线观看| 五月丁香婷婷啪啪网| 色婷婷成人网| 五月丁香爱婷婷深深| 婷婷综合成人五月天| 久久99热久久99精品| 日韩在线五月天婷婷| 亚洲va国产va天堂va综合va| 六月婷婷av| 婷婷色导航| 天天激情站| 激情综合婷婷久久| 亚洲婷婷基地| 丁香五月激情六月欧亚激情综合导航 | 青柠影视免费高清电视剧| 99热午夜精品| 99人人看| 夜夜 操无码| 亚洲视频色色| 婷婷五月天亚洲综合| 欧美丁香婷婷五月| 婷婷金品综合视频| 国产精品99久久久久久久女警| 丁香五月激情图片婷婷| 亚洲欧洲美女在线观| 99国产97在线,| 国产1区2区3区| 99在线观看亚洲| 丁香五月丁香伊人| 996er热| 六月丁香久久| 精国产品一区二区三区A片| 五月桃花网综合| 色天使色婷婷| 婷婷四月 成人 狠狠干| 开心五月婷婷在线| 97色色综合| 色5月婷婷| 伊人大香蕉爱聚| 亚韩在线视频| 五月丁香少妇A| 无码人妻一区| 五月丁香无码| 噼里啪啦完整版中文在线观看 | 免费播放片大片| 色播播五月天| yw国产AV| 大香蕉婷婷久久| 色另类五月天| 丁香五月五月婷婷| 激情五月天在线视频| 琪琪色网在线| 激情综合国产| 亚洲综合网激情小说| 国产婷婷五月在线视频| 久久精品五月天| 无码日本精品XXXXXXXXX | 激情av网| 538午夜激情| 婷婷五月18永久免费视频| 超碰激情网| 五月天网址在线刘玥| 色色色区| 欧美激情五月天在线观看| 天天干天天操天天拍| 五月婷婷深深爱| 4399在线观看免费高清毛片| 亚洲av网站| 射久久丁香五月| 亚洲熟女色| 国产99久久久国产精品免费看| 久久免费丁香| 性 色 婷婷| 五月丁香偷拍| 天天干,天天日| 丁香婷婷老司机久操| 婷婷色亚洲| 婷婷五月美女直播| 午夜丁香婷婷| 日本网站久久| 成人色五月天婷婷| 婷婷色5月激情网| 久久综合婷婷| 2015在线中文字幕| 久久99这里只有精品| 婷婷六月激情综合| 五月开心久久| 欧美一线视频| 久久这里只有精品07 | 欧美激情五月天| 日本欧美啪啪| 久久在这里有精品| 99热这里只有精品8| 99精品在线播放| 五月天激情啪啪| 色五月丁香激情| 日本一级| 欧美A片在线视频免费观看| 天天爽人人综合免费7799| 九九热99精品在线| 久久丁香五月婷婷| tingtingseav| 人妻操逼视频。| 婷婷六月天激情| 亚洲亚洲人成综合网络| www.婷婷亚洲基地| 天天天天天天噜|