欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Linux進(jìn)程管理全解析:從task_struct到調(diào)度與僵尸進(jìn)程

Linux進(jìn)程管理全解析:從task_struct到調(diào)度與僵尸進(jìn)程 你有沒有遇到過這種情況線上服務(wù)沒多少用戶量CPU 卻飆得離譜或者你 fork 完子進(jìn)程后父子進(jìn)程的打印順序完全不按你預(yù)期的來又或者一個程序明明不復(fù)雜卻頻繁卡頓、僵尸進(jìn)程堆積。這些問題看著五花八門追根溯源全部指向同一個領(lǐng)域——Linux 進(jìn)程管理。這篇內(nèi)容我會從內(nèi)核視角把進(jìn)程管理這條鏈路完整梳理一遍重點(diǎn)拆解兩個核心環(huán)節(jié)進(jìn)程是如何被創(chuàng)建的以及創(chuàng)建之后調(diào)度器又是如何決定“誰先跑、誰后跑、跑多久”的。同時會延伸到進(jìn)程退出、回收和僵尸進(jìn)程這些工程實(shí)戰(zhàn)中一定會踩到的場景基本覆蓋了從創(chuàng)建到調(diào)度、再到銷毀的完整生命周期。適合正在學(xué) Linux 內(nèi)核原理的學(xué)生也適合那些寫多進(jìn)程服務(wù)、做性能排查時經(jīng)常需要面對進(jìn)程模型的開發(fā)者和運(yùn)維。1. 進(jìn)程在Linux里到底是什么——從task_struct說起1.1 “進(jìn)程”不是抽象概念它就是一個結(jié)構(gòu)體實(shí)例教科書上說“進(jìn)程是運(yùn)行中的程序”這句話沒錯但對內(nèi)核開發(fā)者來說太朦朧了。在 Linux 內(nèi)核里進(jìn)程的本質(zhì)就是一塊數(shù)據(jù)一個叫task_struct的結(jié)構(gòu)體實(shí)例。內(nèi)核每創(chuàng)建一個進(jìn)程都會kmalloc出一塊內(nèi)存初始化一個task_struct然后把這個結(jié)構(gòu)體掛到全局任務(wù)鏈表上。進(jìn)程的切換、調(diào)度、信號處理、資源統(tǒng)計(jì)說白了都是在對這塊數(shù)據(jù)做操作。你ps看到一行輸出背后就是遍歷這一堆task_struct節(jié)點(diǎn)然后把字段打印成表格。task_struct是一個非常龐大的結(jié)構(gòu)體包含的字段有幾百個按職責(zé)大致可以分成這幾類職責(zé)代表字段作用狀態(tài)與調(diào)度state、se、prio、static_prio、normal_prio、rt_priority表示進(jìn)程當(dāng)前狀態(tài)、調(diào)度實(shí)體、優(yōu)先級內(nèi)存管理mm、active_mm指向進(jìn)程地址空間描述符文件系統(tǒng)fs、files記錄根目錄、當(dāng)前工作目錄、打開的文件表信號處理sigpending、signal掛起信號和信號處理函數(shù)身份與權(quán)限cred、uid、gid記錄用戶態(tài)身份和權(quán)限相關(guān)信息時間與統(tǒng)計(jì)start_time、utime、stime啟動時間、用戶態(tài)/內(nèi)核態(tài) CPU 時間資源限制rlim進(jìn)程可使用的資源上限用生活里的類比來說每個進(jìn)程像是一個在公司里的員工task_struct就是他的完整檔案袋。檔案里寫著他是誰、在哪個部門調(diào)度器、住哪內(nèi)存、負(fù)責(zé)什么項(xiàng)目文件描述符、上面有多少領(lǐng)導(dǎo)權(quán)限權(quán)限體系。調(diào)度器做決策的時候看的不是“人”就是這份檔案。1.2 在 Linux 里進(jìn)程和線程沒有那么涇渭分明很多人問“Linux 進(jìn)程和線程到底怎么區(qū)分”。答案可能會顛覆你的認(rèn)知在內(nèi)核視角下進(jìn)程和線程沒有本質(zhì)區(qū)別它們都是task_struct。區(qū)別只在于clone()系統(tǒng)調(diào)用時傳入哪些共享標(biāo)志如果父子進(jìn)程共享地址空間CLONE_VM、共享文件表CLONE_FILES、共享信號處理器CLONE_SIGHAND那看起來就是一個“線程組”里的多個線程。如果不共享這些東西各自擁有獨(dú)立的地址空間和資源這就是傳統(tǒng)意義上的“進(jìn)程”。所以 Linux 里的線程準(zhǔn)確叫法是輕量級進(jìn)程Lightweight Process。你平時用ps -eLf可以看到一個進(jìn)程對應(yīng)的多個線程每行一個task_structLWP 就是線程 ID。我實(shí)際排查線程問題時踩過一個坑用top看某個進(jìn)程 CPU 占用不高但整個系統(tǒng)負(fù)載很高。后來用top -H -p PID按線程查看才發(fā)現(xiàn)是其中一個線程在死循環(huán)。這就是因?yàn)檫M(jìn)程是一種“資源容器”CPU 調(diào)度其實(shí)是針對于線程內(nèi)核可調(diào)度實(shí)體進(jìn)行的并不以進(jìn)程為最小單位。2. 進(jìn)程的誕生fork、寫時復(fù)制與執(zhí)行流切換2.1 fork 的語義調(diào)用一次返回兩次Linux 創(chuàng)建進(jìn)程最經(jīng)典的方式就是fork()。這個系統(tǒng)調(diào)用的語義在大學(xué)課本里就寫著調(diào)用一次返回兩次。如果是父進(jìn)程成功調(diào)用fork()內(nèi)核會在父進(jìn)程的地址空間基礎(chǔ)上復(fù)制一份子進(jìn)程的task_struct然后讓父進(jìn)程返回子進(jìn)程的 PID讓子進(jìn)程返回 0。這樣程序里就能通過返回值判斷自己是父還是子#include stdio.h #include unistd.h int main() { pid_t pid fork(); if (pid 0) { perror(fork); return 1; } if (pid 0) { printf(子進(jìn)程PID%d父進(jìn)程PID%d\n, getpid(), getppid()); } else { printf(父進(jìn)程PID%d子進(jìn)程PID%d\n, getpid(), pid); } sleep(1); return 0; }編譯運(yùn)行g(shù)cc -o fork_demo fork_demo.c ./fork_demo你會發(fā)現(xiàn)輸出兩行但順序不一定固定。父和子誰先運(yùn)行完全由調(diào)度器決定。如果你假設(shè)父進(jìn)程一定先執(zhí)行大概率會寫出有并發(fā) Bug 的程序。fork 失敗的情況也得留意。最常見的原因是進(jìn)程數(shù)達(dá)到RLIMIT_NPROC限制或者內(nèi)存不足申請不到內(nèi)核態(tài)數(shù)據(jù)結(jié)構(gòu)。線上服務(wù)器如果 fork 頻繁報 EAGAIN首先去查是不是某個系統(tǒng)服務(wù)把進(jìn)程數(shù)打滿了。2.2 寫時復(fù)制COW為什么 fork 可以這么快早期 Unix 的fork()確實(shí)會完整復(fù)制父進(jìn)程的地址空間包括所有物理頁。后來工程師們想明白一個關(guān)鍵問題fork 之后絕大多數(shù)情況是緊接著調(diào)用exec()加載新程序父進(jìn)程的整個地址空間很快就會被覆蓋丟棄前面復(fù)制那么多頁純屬浪費(fèi)。于是內(nèi)核引進(jìn)了寫時復(fù)制Copy-on-Write機(jī)制。原理一句話概括fork 的時候內(nèi)核不會復(fù)制父進(jìn)程的物理頁只是把父進(jìn)程的頁表復(fù)制一份并把父子進(jìn)程頁表中所有可寫頁表項(xiàng)標(biāo)記為只讀。父子進(jìn)程的虛擬地址此時映射到同一個物理頁。誰先嘗試寫這個頁面誰就會觸發(fā)缺頁異常內(nèi)核在異常處理里做真正的物理頁復(fù)制、更新頁表權(quán)限然后重放這條寫指令。這個過程快在哪fork 本身只需要復(fù)制頁表不需要復(fù)制物理內(nèi)存時間復(fù)雜度大大下降。只有實(shí)際發(fā)生寫入的頁面才會被復(fù)制很多“復(fù)制后不寫”的場景開銷為零。如果 fork 后立刻exec()幾乎不會觸發(fā)缺頁復(fù)制開銷極小。這也是為什么一些 Web 服務(wù)器喜歡用 fork 模型每次都復(fù)制一個很大的進(jìn)程出來但在 exec 之前只做很少的操作整體成本可控。2.3 fork 的變體與 exec工程里到底怎么用真實(shí)工程里直接用裸fork()的情形其實(shí)不算多因?yàn)榇蠖鄶?shù)語言運(yùn)行時會自己做封裝。但你理解原理之后看 C/C 里的pthread_create、Python 的multiprocessing底層就不虛了。fork()有三個值得注意的親戚系統(tǒng)調(diào)用行為典型場景fork()復(fù)制進(jìn)程配合 COW父子獨(dú)立地址空間經(jīng)典進(jìn)程創(chuàng)建vfork()不復(fù)制頁表父進(jìn)程阻塞子進(jìn)程共享父進(jìn)程地址空間直到子進(jìn)程 exec 或退出嵌入式/內(nèi)存受限環(huán)境現(xiàn)在基本被 forkCOW 替代clone()通過 flags 精細(xì)控制父子共享哪些資源pthread_create的底層實(shí)現(xiàn)再來看exec系列。這里有個常見誤區(qū)exec 不是創(chuàng)建進(jìn)程而是替換進(jìn)程。execve()系列系統(tǒng)調(diào)用execl、execlp、execvp等會把當(dāng)前進(jìn)程的代碼段、數(shù)據(jù)段、堆、棧全部換成新可執(zhí)行文件的內(nèi)容但進(jìn)程的 PID、打開的文件描述符默認(rèn)情況下等保持原樣。所以整個生命周期是fork()創(chuàng)建新進(jìn)程。子進(jìn)程調(diào)用exec()加載目標(biāo)可執(zhí)行程序。父進(jìn)程wait()回收子進(jìn)程。這條鏈路從 Unix 時代延續(xù)至今Linux 上跑任何程序的本質(zhì)都是這一套組合拳。提示很多人分不清“執(zhí)行一個程序”和“創(chuàng)建一個進(jìn)程”。執(zhí)行程序必然先創(chuàng)建進(jìn)程或者復(fù)用當(dāng)前進(jìn)程但創(chuàng)建進(jìn)程之后不一定 exec。比如環(huán)境變量設(shè)置、命令行解析這些邏輯都得在 exec 之前做好準(zhǔn)備。3. 調(diào)度器的核心機(jī)制vruntime、CFS與調(diào)度類3.1 調(diào)度器演進(jìn)從遍歷所有進(jìn)程到紅黑樹選最左節(jié)點(diǎn)說完了進(jìn)程怎么來接下來是主角調(diào)度器。它的任務(wù)可以濃縮成一句話——多個進(jìn)程都在可運(yùn)行隊(duì)列里CPU 到底給誰。Linux 調(diào)度器歷史上經(jīng)歷過三個階段O(n) 調(diào)度器2.4 時代每次調(diào)度都要遍歷整個運(yùn)行隊(duì)列計(jì)算每個進(jìn)程的優(yōu)先級、當(dāng)前狀態(tài)等。進(jìn)程數(shù)量多了以后調(diào)度本身消耗的 CPU 時間線性上升這在高負(fù)載服務(wù)器上完全不可接受。O(1) 調(diào)度器2.6 早期引入 active / expired 兩個優(yōu)先級數(shù)組調(diào)度時間變成常數(shù)級。它更重視響應(yīng)速度但對“公平性”的理解比較粗暴交互式進(jìn)程體驗(yàn)不穩(wěn)定。CFS完全公平調(diào)度器2.6.23 之后不再用優(yōu)先級數(shù)組而是維護(hù)一棵紅黑樹用虛擬運(yùn)行時間vruntime作為鍵值每次取最左葉子節(jié)點(diǎn)作為下一個運(yùn)行進(jìn)程。名字叫“完全公平”但實(shí)際是通過權(quán)重實(shí)現(xiàn)“按比例公平”不是絕對平均?,F(xiàn)在的 6.x 內(nèi)核又在 CFS 基礎(chǔ)上引入了 EEVDF最早虛擬截止時間優(yōu)先理念有些變化但 CFS 的虛擬時間模型依然是理解這一切的地基所以我們從 CFS 講起。3.2 核心概念vruntime 是怎么算出來的CFS 的關(guān)鍵變量是vruntime翻譯過來叫“虛擬運(yùn)行時間”。每個進(jìn)程更準(zhǔn)確說是每個調(diào)度實(shí)體都維護(hù)一個自己的vruntime。進(jìn)程運(yùn)行的時間越長vruntime就越大。內(nèi)核每次選擇下一個進(jìn)程時就從紅黑樹里挑出vruntime最小的那個進(jìn)程來運(yùn)行。這樣做的好處很直觀哪個進(jìn)程欠的 CPU 時間最多就先補(bǔ)給他。vruntime的增長速度并不是簡單的 1:1而是經(jīng)過權(quán)重?fù)Q算delta_vruntime delta_exec * NICE_0_LOAD / se_load其中NICE_0_LOAD 1024se_load是當(dāng)前進(jìn)程的權(quán)重。權(quán)重的來源就是 nice 值。nice 值范圍是 -20 到 19內(nèi)核里通過一張靜態(tài)映射表把它轉(zhuǎn)換成權(quán)重nice 值權(quán)值-2088761-109546010245335101101915從這個表格能看到兩個要點(diǎn)。第一nice 0 的進(jìn)程權(quán)重就是 1024vruntime增長速度和真實(shí)運(yùn)行時間一致。第二nice 值每降低一級權(quán)重約增加 1.25 倍每提高一級權(quán)重約減少 0.8 倍。但權(quán)重差不是均勻的。nice 0 到 nice 19 權(quán)重相差約 68 倍。所以如果一個 nice 0 的進(jìn)程和一個 nice 19 的進(jìn)程同時競爭一個 CPUnice 19 的進(jìn)程幾乎跑不動它的vruntime漲得飛快很快就被紅黑樹推到右邊。為了讓你更直觀地感受假設(shè) nice 0 進(jìn)程運(yùn)行 1ms它的vruntime增加 1ms同樣是 1ms 運(yùn)行時間nice 19 進(jìn)程的vruntime增加約1 * 1024 / 15 ≈ 68ms。這就是“低優(yōu)先級進(jìn)程得到更少 CPU”在數(shù)學(xué)上的精確表達(dá)。3.3 為什么是紅黑樹而不是鏈表或數(shù)組這個問題我面試時經(jīng)常被問到。原因很樸素CFS 需要頻繁做兩種操作——插入新喚醒的進(jìn)程、刪除運(yùn)行中的進(jìn)程、找出最小vruntime節(jié)點(diǎn)。鏈表查找最小值是 O(n)數(shù)組插入刪除涉及移動都不適合大量進(jìn)程的場景。紅黑樹能在 O(log n) 時間內(nèi)完成插入、刪除、查找最小節(jié)點(diǎn)平衡操作又能控制樹的深度保證最壞情況下性能也可接受。實(shí)際代碼里調(diào)度器直接把紅黑樹的最左葉子節(jié)點(diǎn)作為下一個要運(yùn)行的進(jìn)程。這棵樹的根在 per-CPU 運(yùn)行隊(duì)列的cfs_rq結(jié)構(gòu)里如果兩個 CPU 上各有一個cfs_rq調(diào)度就是各跑各的只有發(fā)生負(fù)載均衡時才會把進(jìn)程從忙的 CPU 遷移到閑的 CPU。3.4 調(diào)度類不同需求的進(jìn)程走不同的“車道”CFS 管的是普通進(jìn)程但 Linux 里還活著多種調(diào)度需求。為了靈活處理內(nèi)核把調(diào)度器代碼抽象成了“調(diào)度類”sched_class每個task_struct都會掛到某個調(diào)度類下面。從高優(yōu)先級到低優(yōu)先級核心調(diào)度類大致如下調(diào)度類優(yōu)先級典型用途stop_sched_class最高停止 CPU、CPU 熱插拔等內(nèi)核內(nèi)部任務(wù)dl_sched_class高Deadline 調(diào)度嚴(yán)格保證最晚完成時間用于實(shí)時任務(wù)rt_sched_class較高SCHED_FIFO / SCHED_RR傳統(tǒng)實(shí)時調(diào)度fair_sched_class中CFS普通進(jìn)程idle_sched_class最低每個 CPU 的空閑進(jìn)程調(diào)度器選擇進(jìn)程時會從高優(yōu)先級調(diào)度類開始找只有當(dāng)前調(diào)度類沒有可運(yùn)行任務(wù)才會往下走。這就是為什么實(shí)時進(jìn)程能搶占普通進(jìn)程的原因rt_sched_class 在 fair_sched_class 前面。rt 調(diào)度類內(nèi)部又有兩種策略SCHED_FIFO先進(jìn)先出。相同優(yōu)先級的任務(wù)先到先跑沒有時間片的概念直到任務(wù)自己阻塞或退出或者更高優(yōu)先級的任務(wù)出現(xiàn)。SCHED_RR時間片輪轉(zhuǎn)。同優(yōu)先級的任務(wù)輪流運(yùn)行時間片用完就排到隊(duì)尾。用實(shí)時策略時要特別謹(jǐn)慎。如果系統(tǒng)里有一個 SCHED_FIFO 的死循環(huán)進(jìn)程普通進(jìn)程包括 shell、監(jiān)控程序完全得不到 CPU系統(tǒng)看起來就像死機(jī)了鍵盤和鼠標(biāo)都無響應(yīng)。這也是為什么設(shè)置實(shí)時策略需要 root 權(quán)限或CAP_SYS_NICE權(quán)限。3.5 上下文切換的代價為什么更推薦線程調(diào)度器做出決策后就要執(zhí)行上下文切換。這個操作不是簡單切換寄存器而是要保存當(dāng)前進(jìn)程的 CPU 現(xiàn)場恢復(fù)下一個進(jìn)程的現(xiàn)場。進(jìn)程間的上下文切換開銷更大因?yàn)閮蓚€進(jìn)程有不同的地址空間內(nèi)核需要切換內(nèi)核棧。切換 CR3 寄存器使 MMU 指向新進(jìn)程的頁表。刷新 TLBTranslation Lookaside Buffer。重置流水線狀態(tài)新進(jìn)程的指令和數(shù)據(jù)基本都在冷緩存里后續(xù)訪問會頻繁 miss。線程之間切換就好一些它們共享地址空間CR3 不變TLB 也基本不用全部刷新只是切換棧、寄存器、指令指針。所以在高并發(fā)場景里線程模型往往比進(jìn)程模型有更好的上下文切換性能。我在做性能優(yōu)化時測過一個處理服務(wù)用進(jìn)程模型每秒只能承受約 2 萬請求換成線程模型以后接近 5 萬主要差距就是上下文切換的 TLB miss 少了很多。4. 優(yōu)先級、nice值與CPU綁定不知道這些命令等于白搭4.1 nice 值給低優(yōu)先級進(jìn)程“讓路”在用戶態(tài)絕大多數(shù)進(jìn)程都是普通進(jìn)程走 CFS。你能直接用到的干預(yù)手段就是 nice 值。nice名字本身就很有意思——“禮貌”。你的進(jìn)程越禮貌nice 值越大越把 CPU 讓給別人。啟動時指定 nice 值nice -n 10 ./cpu_bound_process對已運(yùn)行的進(jìn)程調(diào)整renice -n 5 -p 1234這里有個很實(shí)際的規(guī)則普通用戶只能把 nice 值調(diào)高讓優(yōu)先級更低不能調(diào)低讓優(yōu)先級更高。比如你自己啟動一個進(jìn)程你可以把自己的進(jìn)程從 nice 0 改成 nice 10但不能改成 nice -10因?yàn)檎{(diào)低優(yōu)先級會搶占其他用戶進(jìn)程的資源內(nèi)核不讓你這么干。只有 root 或者有CAP_SYS_NICE權(quán)限的進(jìn)程才能隨便調(diào)。從實(shí)測角度一個 nice 0 的 CPU 密集進(jìn)程和一個 nice 19 的 CPU 密集進(jìn)程在單核上跑nice 19 的進(jìn)程能被分配到的 CPU 時間會少到讓任務(wù)幾乎無法完成。做批處理任務(wù)時經(jīng)常用 nice 調(diào)低優(yōu)先級避免影響了線上服務(wù)的響應(yīng)。4.2 chrt實(shí)時調(diào)度策略的正確用法如果你需要嚴(yán)格保障某個任務(wù)的最壞情況響應(yīng)時間普通 CFS 滿足不了可以考慮實(shí)時調(diào)度策略。chrt就是設(shè)置實(shí)時策略和優(yōu)先級的工具# 以 SCHED_FIFO 策略運(yùn)行優(yōu)先級 50 chrt -f 50 ./realtime_task # 以 SCHED_RR 策略運(yùn)行優(yōu)先級 30 chrt -r 30 ./realtime_task # 查看當(dāng)前進(jìn)程的調(diào)度策略 chrt -p $$實(shí)時優(yōu)先級范圍是 1~99數(shù)字越大優(yōu)先級越高。普通進(jìn)程的 nice 值范圍是 -20~19和這個實(shí)時優(yōu)先級完全是兩套體系不要混淆。什么場景適合用實(shí)時調(diào)度音頻采集、工業(yè)控制、高頻交易這種對抖動極其敏感的任務(wù)它們需要的是“到了時間就必須運(yùn)行”的硬保證。普通 Web 服務(wù)完全沒必要用了反而有風(fēng)險。我親眼見過有人給一個日志處理進(jìn)程設(shè)了 SCHED_FIFO 高優(yōu)先級結(jié)果它占住 CPU 不放數(shù)據(jù)庫主進(jìn)程餓死整個服務(wù)雪崩。實(shí)時優(yōu)先級不是越高越好它的本質(zhì)是搶占權(quán)必須控制使用范圍。4.3 taskset 與 NUMA綁核要不要用再往下一層是 CPU 親和性CPU affinity。用taskset可以把進(jìn)程綁定到指定的 CPU 核心上# 將進(jìn)程綁定到 CPU0 和 CPU1 taskset -c 0,1 ./cpu_bound # 綁定到 CPU0~3 的任意核心 taskset -c 0-3 ./cpu_bound # 修改已有進(jìn)程的綁定 taskset -pc 0 1234綁核的價值主要體現(xiàn)在緩存和 NUMA 上。如果一個進(jìn)程在多核之間來回遷移它的熱數(shù)據(jù)在 L1/L2 緩存里反復(fù)失效性能損耗明顯。綁定到固定核心后一級二級緩存能保持相對熱度。在 NUMA 架構(gòu)下進(jìn)程訪問本地內(nèi)存和遠(yuǎn)端內(nèi)存的延遲差距能達(dá)到數(shù)倍把進(jìn)程綁定到內(nèi)存所在節(jié)點(diǎn)的本地 CPU 上能顯著降低內(nèi)存訪問延遲。但綁核也不是越多越好。綁定后調(diào)度器就不能在這個進(jìn)程上做負(fù)載均衡了。如果該 CPU 核心本身已經(jīng)很忙其他核心很閑綁核反而會浪費(fèi)算力。我的建議是先不要綁核用性能分析工具比如perf觀察確認(rèn)緩存 miss 和遠(yuǎn)程內(nèi)存訪問是瓶頸再考慮綁定別一上來就綁。5. 進(jìn)程的“身后事”退出、回收與僵尸進(jìn)程5.1 從 exit 到 do_exit進(jìn)程退出到底清理了什么進(jìn)程退出不是簡單的“內(nèi)存釋放”。當(dāng)進(jìn)程調(diào)用exit()或者從 main 函數(shù)返回時內(nèi)核會執(zhí)行do_exit()整個清理過程大概涵蓋釋放用戶態(tài)地址空間mm銷毀頁表和物理頁面。關(guān)閉進(jìn)程打開的所有文件描述符。釋放文件系統(tǒng)相關(guān)結(jié)構(gòu)當(dāng)前目錄引用等。向父進(jìn)程發(fā)送 SIGCHLD 信號喚醒正在 wait 的父進(jìn)程。把進(jìn)程狀態(tài)設(shè)置為僵尸ZOMBIE保留最小信息等待父進(jìn)程回收。注意最后一步。進(jìn)程死了但task_struct并沒有立刻消失。它會以一個僵尸狀態(tài)繼續(xù)留在進(jìn)程表里直到父進(jìn)程調(diào)用wait()或waitpid()來讀取退出狀態(tài)。5.2 僵尸進(jìn)程為什么內(nèi)核不立刻清干凈新同學(xué)第一次看到僵尸進(jìn)程時通常會問既然進(jìn)程都結(jié)束了為什么不立刻回收掉答案是父進(jìn)程有權(quán)知道子進(jìn)程的退出碼。比如一個子進(jìn)程因?yàn)槟承┬r?yàn)失敗而退出退出碼是 3。父進(jìn)程需要拿到這個 3 來判斷子進(jìn)程為什么退出。內(nèi)核必須有地方存這個退出碼又不能為此保留整個地址空間所以就在進(jìn)程表里留下一個最小化的task_struct里面主要是 PID、退出碼、資源統(tǒng)計(jì)、時間統(tǒng)計(jì)。所以僵尸進(jìn)程占用的資源其實(shí)很少它本身沒問題。真正的問題在于如果父進(jìn)程一直不 wait僵尸進(jìn)程就會一直累積。大量僵尸會消耗 PID 表項(xiàng)讓系統(tǒng)無法創(chuàng)建新進(jìn)程。同時運(yùn)維看top的時候滿屏 zombie會嚴(yán)重影響排障判斷。一個經(jīng)典的制造僵尸進(jìn)程的 C 代碼是這樣的#include stdio.h #include unistd.h #include sys/wait.h int main() { pid_t pid fork(); if (pid 0) { // 子進(jìn)程立即退出 return 0; } // 父進(jìn)程不調(diào)用 wait直接掛起 sleep(30); return 0; }編譯運(yùn)行后另開一個終端執(zhí)行ps -el | awk $2 Z你就能看到狀態(tài)為 Z 的僵尸進(jìn)程。父進(jìn)程睡 30 秒后退出僵尸會被系統(tǒng)收養(yǎng)并回收就消失了。5.3 排查和清理僵尸進(jìn)程的實(shí)戰(zhàn)流程在線上服務(wù)器碰到僵尸進(jìn)程第一步不是急著 kill而是理清父子關(guān)系。推薦按這個順序排查# 1. 找出所有僵尸進(jìn)程 ps -el | awk $2 Z # 或 top -b -n 1 | grep zombie # 2. 看僵尸進(jìn)程的父進(jìn)程是誰 ps -o ppid -p zombie_pid # 3. 看父進(jìn)程到底在干什么 ps -fp ppid處理方式取決于父進(jìn)程的情況如果父進(jìn)程是我們的服務(wù)進(jìn)程那問題大概率是代碼里 fork 了子進(jìn)程卻沒有調(diào)用 wait或者只 wait 了一個、另一個沒處理。正確做法是補(bǔ)上waitpid(-1, NULL, WNOHANG)循環(huán)。如果父進(jìn)程是可以安全的重啟或 kill 的進(jìn)程直接把父進(jìn)程 kill 掉它的孤兒進(jìn)程們會被 systemd 收養(yǎng)systemd 會循環(huán) wait 回收僵尸自然消失。如果父進(jìn)程是不能動的重要進(jìn)程可以用SIGCHLD信號處理器或者現(xiàn)成的子進(jìn)程管理器來做回收。提示硬 kill 僵尸進(jìn)程kill -9 zombie_pid是沒有意義的。內(nèi)核里它已經(jīng)“死”了kill 信號不會起任何作用。能做的只有從父進(jìn)程層面去 wait或者干掉父進(jìn)程讓子進(jìn)程被收養(yǎng)。5.4 孤兒進(jìn)程父進(jìn)程沒了誰來管和僵尸進(jìn)程經(jīng)常一起出現(xiàn)的是孤兒進(jìn)程——父進(jìn)程先退出子進(jìn)程還在運(yùn)行。正常情況下子進(jìn)程的父進(jìn)程字段ppid會被改成 1也就是被 init 進(jìn)程現(xiàn)在一般是 systemd收養(yǎng)。systemd 作為祖先會在子進(jìn)程退出時主動調(diào)用wait完成回收。所以孤兒進(jìn)程只要不自己掛住一般不會變僵尸。在容器化環(huán)境里有個細(xì)節(jié)值得注意容器往往沒有完整的 init 進(jìn)程如果容器里的 1 號進(jìn)程不是專門負(fù)責(zé)收尸的 init就可能導(dǎo)致容器內(nèi)的孤兒進(jìn)程沒人回收積累成僵尸。這也是很多容器基礎(chǔ)鏡像額外引入tini之類 init 程序的原因。5.5 不可中斷睡眠 D 狀態(tài)和僵尸不是一回事排查進(jìn)程狀態(tài)時除了 Z還經(jīng)常會看到 D不可中斷睡眠狀態(tài)。D 狀態(tài)通常意味著進(jìn)程正在等待內(nèi)核態(tài) IO比如等待磁盤寫入完成、等待 NFS 響應(yīng)這期間信號殺不掉它因?yàn)閮?nèi)核正在做一些不能半途而廢的操作。大量 D 狀態(tài)進(jìn)程基本說明底層 IO 子系統(tǒng)出問題了比如存儲卡死、網(wǎng)絡(luò)文件系統(tǒng)超時。這種情況排查重點(diǎn)不在進(jìn)程層而是去查存儲和網(wǎng)絡(luò)。我處理過一例 MySQL 實(shí)例無響應(yīng)ps一看幾十個 D 狀態(tài)線程最后定位到是底層存儲設(shè)備故障和數(shù)據(jù)庫配置沒什么關(guān)系。結(jié)尾一點(diǎn)個人體會進(jìn)程管理這塊內(nèi)容學(xué)的時候確實(shí)枯燥但每次線上出問題最后都會回到這些基礎(chǔ)概念。我自己排查過不少 CPU 飆高、服務(wù)掛起的問題最開始的判斷往往不是代碼邏輯而是先看進(jìn)程狀態(tài)、調(diào)度策略、優(yōu)先級這幾個入口。其中 fork 和 wait 的配合、僵尸進(jìn)程和孤兒進(jìn)程的機(jī)制、實(shí)時調(diào)度策略的使用邊界這三個點(diǎn)踩過坑以后就再也忘不掉了。如果你剛接觸 Linux建議不要只盯著top那一排數(shù)據(jù)而是抽時間親手跑一遍 fork、wait、taskset、chrt 的示例看看進(jìn)程狀態(tài)在ps -el里怎么變化。只要把這些實(shí)驗(yàn)做一遍你對“進(jìn)程是怎么活過來又是怎么被安排運(yùn)行的”這件事的理解會比看十篇文章都深刻。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
中文字幕在线日亚州9| 综合网天天| 色五月婷婷影院| 五月丁香在线综合| 成人看片网站| 欧美激情综合色综合啪啪五月| 99这里只有精品| 精品久久久人妻| 婷婷伊人视婷婷婷| 可以免费观看的av网址| 狠狠做五月| 五月婷婷欧美激情| 欧美日韩大黄| 在线一起草av| 色婷婷婷综合五月天| 色99在线观看| 日韩欧美一级大黄网站| 久久99热这里只频精品6学生| 色月九九| 国色天香成人网| 丁香五月综合福利视频导航| 99re热视频这里只有综合亚洲| 成人AV在线中文版| 99r这里| 婷婷香蕉香| www天天爽| 热久久婷婷| 亚洲第一精品成人999久久精品| 婷婷五月天基地| 丁香五月激情网| 玖操97| 色久女| 久久婷婷一级片| 26uuu精品一区二区| 这里有精品2| 色色激情五月天| 久久99三级在线视频| 九九热在线视频| 玖玖婷婷综合| 婷婷在线播放| 狠狠操天天干| 人妻内射视频| 五月天激情丁香| 少妇丁香婷婷 | 五月色导航| 91日日日| 五月天婷婷情色| 亚洲无码影片| 狠狠色噜噜狠狠狠狠狠色综合久久| 开心婷婷五月| 182TV大香蕉| 丁香五月激情澎湃一区| 人人爽人人爽人人爽人人爽| 操逼在线视频| 色五月综合激情| 五月开心婷婷| 欧美成人性爱网| 久色网五月| 秋霞午夜理论 | 九九久久99| 久久色天堂| 五月丁香综合激情网| 涩涩婷婷五月| 久久久久久人妻久久久久久久久久人妻久久久 | 色必久悠悠影院| 97成人丁香婷婷| 国产熟女大叫受不了| 99日视频在线| 激情久久肏屄视频| 久久亚洲婷婷综合色五月| 任我肏| 激情婷婷在线中文字幕| 91一起艹| 激情丁香婷婷五月天| 五月色丁香| 99热一本久道| 天天综合网~91| 日本熟女啪啪| 色婷婷久久综合| 久99| 九月色婷婷综合| 五月丁香婷中文| 欧美激情五月综合| 热99只有里视频| 99热九九在线| 婷婷五月综合啪| 99在线精品视频| 色女人久久| 久久久性爱视频| 婷婷九月丁香| 亚洲V国产V欧美V久久久久久| 丁香五月天啪啪| 国产精品久久久爽爽爽麻豆色哟哟| 国产精品涩涩涩视频网站| 超碰99热| 五月婷婷先锋| 另类天堂| 蜜臀嫩草| 色五月色五天色情网| 九九久久精品| 色五月AV| 九九无码| 99超在线| av中文在线| 婷婷综合九月| 五月天基地| 丁香五月婷婷啪啪视频| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 狠狠穞A片一區二區三區| 天天做天天爱天天爽在| 激情五婷网| 丁香久久九九99| 久久久.COM| eeuus五月婷| 超碰大香蕉网| AV性爱在线| 五月天婷婷高清无码| 五月婷婷高清| 五月婷婷 欧美| 伊人婷婷大香蕉| 丁香97综合| 99色综合| 成人做爰A片免费看视频| 狠狠色婷婷色| 99热日本| 五月丁香激情综合| 在线观看996精品| 国产操B| 亚洲视频一区| 丁香婷婷九月在线| yw国产AV| 丁香5月激情网| 91chinese在线| 色五月综合网| 亚洲最大在线| 免费97碰碰| 激情五月久久| 超碰在线精品| 五月花免费视频| 日韩在线9| 婷婷综合五月| 日韩综合久| 丁香美女五月天婷婷| 99爱视频在线| 综合一区二区三区| 婷婷激情综合| 99精品国产在热久久| www99热| 18久久| 伊人在线视频| 五月婷婷激情综合av| 日本丁香五月| 91丨九色丨大屁股| 99热综合| 精品少妇人妻AV无码专区偷人| 97操在线资源| 激情五月网站| 成人国产欧美大片一区| 69堂午夜视频最新地址| 五月激情在线| 五月丁香久人妻中文| 五月激情婷婷在线| 牛牛色av| www.五月丁香| 久久 中文 日本| 六月天丁婷婷| 琪琪色五月婷婷老师| 亚洲AV免费在线| 天天爱天天爽| 六月婷婷综合激情| 五月天丁香婷婷社区| 色色色色色日韩午夜激情 | 激情五月天婷婷久久久久久久久久久| 久久在这里99| 激情五月综合网最新| 婷婷基地爱| 五月婷婷操操| 日夜夜久久| 六月丁香啪啪啪| 99熟女啪啪视频| 亚洲天码视频www蛋播视频| 成人国产欧美大片一区| 青青草搞屄视频网站| 99久热这里只有精品| 激情网 五月天| 六月香五月婷| 伊人婷婷色| 丁香五月天之婷婷影院| 五月婷婷久久网| 91综合国免费久入| 2050人人操免费工开爱 | 网站免费一站二站| 99精品国产在热久久| 九月婷婷人人操人人舔人人爱| 久久刺激网| 色五月无码| 婷婷精品性性性性性性性| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 色五月激情五月| 26uuu精品一区二区| 不卡在线视频| 荷兰av一级| 六月色激情| 国产3p露脸普通话对白| 91精品综合久久久五月天| 九九久久五月天| 日日撸天天干| 中美日韩成人在线| 久久婷婷综合国产| 成人精品在线观看| 五月丁查人人| 天天做天天爱高潮片| 99热国产| 日韩五月丁香| 色五月婷婷婷婷婷婷婷婷婷婷| 久久九九99| 久久ww| 亚洲精品又粗又大又爽A片| 婷婷婷狠狠| 成人av中文字幕| 五月停亭六月,六月停亭的英语| 第四色五月激情网| 99这里有精品视频| 99色五月| 麻豆AV一区二区三区| 互月天综合| 狠狠狠狠狠狠草| 9久热这里只有精品| 丁香五月婷婷99| AV在线免费播放| 九九精品在线视频观看| 色操综合| 超碰高清在线| 婷婷五月天视频在线观看| 五月婷婷综合天天操| 九九热精品| 欧美Va婷色| www五月婷婷88导航| 91丨九色丨43老版熟女| 狠狠色大香蕉| 99内射视频| 欧美在线视频99| 桃色Av色哟哟| 欧美超碰人人| 爱久久小说下载网| 国产精品人成A片一区二区| 婷婷五月丁香激情图片| 久久这里只有欧美| 99ri网站在线观看| 丁香五月在线观看完整版| 五月天开心网| 婷婷激情五月天7| 欧美天堂久久| 九色七七| 欧美日韩99| 欧美噜噜久久久XXX| 超碰在线个人观看| 九月丁香八月婷婷加勒比| 开心婷婷五月综合| 丁香五月色色色色| 婷婷午夜| 91中文在线| 另类视在线| 人人操人| 婷婷情爱五月天6| 九一娱乐在线观看视频| 99热这里只有精品国产精品| 国产精品久久久久久久久久免费| 思思99精品视频| 丁香五月天色婷婷| 99在线免费视| 屁股翘好撅高迎合跪趴| 韩国久久少妇视屏| 亚洲成人丁香花| 人人人操97| 丁香88AV五月婷婷| 五月婷婷影| 五月婷护士| 99无码免费视频| 丁香婷婷久久 | 九九热在线视频观看| 婷婷五月综合色小姐小说| 五月丁香激情综合网官网| 色色色五月婷婷| 久久最新色色色| 操一区| 99热99思午夜精品| 国产亚洲精品AAAAAAA片| 成人五月天在线观看| 丁香五月婷婷六月| 色婷婷丁香五月天在线视频| 免费色婷婷| 亚洲成人在线五月天| 久久五月天丁香花| 久久婷狠狠色| 99热久只有精品首页| 五月婷婷激情久久| 五月亭亭六月激情| 婷婷六月激情综合| 99热资源在线| 99免费在线| 久久小视频免费| 少妇高潮呻吟A片免费看软件| 狠狠香蕉| 婷婷综合激情| 午夜不卡成人一区二区| 91碰九色| 91久久99久久91熟女精品| 激情深愛五月視頻| 久久38视频| 亚洲成人噜噜| 九九99免费视频| 激情丁香五月| 99这里只有| 天天操加勒比| 97精品人人A片免费看| 99性爱视频网站| 五月花激情网| 韩国情人在线电视剧免费观看高清版全集| 丁香婷婷九月在线| 综合在线色婷婷| 久久久久8888| 激情操逼婷婷| www.婷婷五月天.com| 色情五月综合婷婷| 成人精品一区日本无码网| 操嫩逼电影| 日韩免费99| 欧美影院婷婷| 伊人网色婷婷五月天| 毛v一区二区视频| www.精品99| 久久这里这里有精品免费视频| 影音先锋五月婷婷| 色婷婷视频在线| www,五月丁,com| 狠狠色丁香婷婷五月| 九九RE视频在线精品| 伊人国产婷婷五月天| 亚洲视频无| 色婷婷五月天在线观看| 丁香婷婷社区| 国产片色| 播五月婷婷开心| 超碰99成人在线| 九九色逼| 丁香婷婷深情五月亚洲| 色婷婷六月激情| 丁香花婷婷五月天| 色呦精品| 五月天婷婷基地| 开心激情网在线| 在线va网站| 久久婷婷网址| 国产亚洲精品AAAAAAA片| 九九热精品视频在线观看| 中文字幕视频在线播放| 国产欧美大香蕉一区| 色综合婷婷| 五月丁香少妇A| 五月婷在线影院| www,99视频| 五月99久久| 久久精品小视频| 久久精品婷婷| 九九人人看| 日本乱子人伦在线视频| AV中文在线| 狠狠色精品综合| 婷婷放心五日爱| 丁香 亚洲 久久| 欧美三级巜人妻互换| 天天做天天爱天天玩| 五月婷婷中文网| 91欧美| 激情五月婷婷她| 色综合色色色色色| 色色色精品无码区| 精品久久9| 8050一级网| 亚洲午夜av| 婷婷五月天综合久久| 99这里有精品视频视频| 久久婷出差欧美色两性综合网| 激情无码网| 国产又爽又猛又粗的视频A片| 六月婷婷av| 五月婷婷免费在线视频| 另类五月激情| 天天综合网网欲色| 日逼免费视频| 天天添天天摸天天天天做| 99久久免费性爱视频`| 强伦轩人妻一区二区电影| 国产99久9在线+|+传媒| 综合久久十三| 国产精品久久久久久喷浆| 五月丁香六月激情欧美综合| 天天天天干| 婷婷五月综合在线视频| 久久这里只有精品视频26| 激情网站五月| 五月丁香| 中文网AV| 七七九九色色| 九九热这里有精品视频| 这里有精品99| 国产成人av在线| 日本一级特黄大片AAAAA级| 99热在线看片| 免费亚洲成人电影AV| 精品自拍97| 五月婷婷电影院| 色日本颜射| 五月综合影院| Va另类视频| 99久久精品网| 可似看的AV| 久热网在线视频| 色色网五月激情| 亚洲亚洲亚洲AAAAAA| 极品五月天| 亚洲色vA| 人人摸人人摸| av久热| 成片免费观看视频大全| AAA久久| 国内外色色色色色成人视频| 丰满少妇猛烈A片免费看观看| 开心激情站| 丰满人妻妇伦又伦精品国产| 思思干精品| 丁香五月婷婷少妇| 激情久久久久久久久久久| 婷婷丁香97| 亚洲区,视频区,视频区免费| 婷婷五月AA五月在线| 99在线观看精彩视频| 亚洲丁香五月美女| 五月婷婷之综合激情| 丁香六月婷婷久久综合| 依人大香蕉| 五月丁香| 日韩AV在线免费| 亚洲欧洲小视频9| 操人视频91| 亚洲av免费在线| 就要去操亚洲成人精品五月天丁香婷婷| 天天搞夜夜六| 五月丁香无码| 五月丁香色| 九九久久99| 婷婷综合仓库中文| 午夜成人综合| 99热99色| 婷婷五月丁香青青草在线| 日韩国产AV播放| 禁片二区| 超碰精品在线| 激情小说之五月| 五月综合激情视频在线| 人人操AV| Av在线不卡一区| 色婷婷色九月| 六月婷婷色五月| 五月丁香五月婷婷在线观看| 久久99久久99精品免视看婷| 日韩av变天就操逼不卡区| 综合久久综合综合| 丁香五月婷婷久久久| 俺去也在线www色官网| 涩涩五月天| 丁香六月婷婷| 在线不卡中文字幕| 婷婷五月情色| 色色色婷婷五月| 国产欧美日韩综合精品一区二区| 免费成人中文字幕| 婷婷丁香色五月天久久88| 人人爽亚洲| 九九青青草成人| 婷婷97色| 日本熟妇精品99| 五月丁香激情在线| 91狠狠色丁香婷婷综合久久精品| 丁香婷婷激情四射五月| www久久五月com| 夜夜骑夜夜操| 五月婷婷爽爽爽| 色色五月天丁香| 五月激情基地| 99热最新网址| 毛片新网地| 色欲五月婷婷| 丁香五月天社区| 99五月婷| 欧美激情五月| 亚洲精品无码一区二区| 殴美激情综合网| 九九热这里只有精品9| 久9久9热久热| 综合超碰熟| 天天爽天天日人人爱| 亚洲色五月| 性天天中文网| 99亚洲精品| 激情综合国产| 丁香五月激情图片| 天天插天天射| 日韩人妻在线观看| 欧美xx激情视频在线观看| 狠狠色综合网| 婷婷导航| 天天肏在线观看| 成人免费超碰| 丁香五月婷婷丫| 色狠狠综合| CAOBIBI| 五月婷婷综合激情| 久久婷婷色| 欧美精品啪啪| 五月婷婷激情日本| 五月天丁香花婷婷| 97久久香草精品视频| 99久re热视频精品98| 99精品偷拍视频| 丁香色情五月综合网站| 日产精品一线二线三线芒果| 天天色情站| 午夜免费试看| 欧美97色| VA色婷婷| 9999三级片| 夜夜撸夜夜骑| 丁香五月www| 婷婷五月天亚洲丁香| 色爱综合网| 大香蕉五月天| 精品在线网站| WWW99热| 色婷六月| 激情伊人网| WWW,五月| 加勒比久热| 婷婷丁香色情五月天| av操逼网| 日日夜夜天天爽| 欧美色男人网站| 色婷婷成人在线| 色5月婷婷| 金桔一区二区ab地址| 黄色五月婷婷| 性一交一乱一交A片久久四色| 午夜成人网站在线观看| 日本欧美国产| 综合色色网| 色五月色五天色情网| 色欲婷婷五月天| 日韩不卡DvD| 综合久久97| 日韩成人中文字幕| 国产伊人五月天| 丁香六月婷婷| 99色啊| 日本熟妇乱妇熟色A片蜜桃| 久久久久综合激动五月天| 狠狠综合网| 激情AV| 婷婷免费视频| 日日天天天| 日韩精品AV一区二区三区| 天天做天天干天天综合网| 亚洲熟妇AV乱码在线观看| 九六五月天婷婷| 丁香亚洲色综合| 青草五月天| 91精品婷婷国产综合| 伊人久久99| 久久久精品99亚洲综合| 亚洲亚洲人成综合网络| 婷婷丁香五月综合激情小说| 激情五月九九九| 天天肏高清在线| www.99在线| 亚洲中文乱字字幕在线永久| 色97综合婷婷天天色| 久久婷婷九月国产精品| 538在线精品| 久久电影4399| 婷婷五月天av| 日日艹思思热| 百度4399有码精品V在线观看| 九九亚洲| 欧美激情 日韩无码 婷婷 五月天| 亚洲亚洲人成综合网络| 这里只有久久精99| 亚洲精品视频在线播放| 亚洲A片成人无码久久精品青桔| 人人草人人视| 成人在线网| 亚洲V国产V欧美V久久久久久| 九九视频这里有精品| 特级操b片| 五月天开心网| 婷婷五月天成人小说| 激情五月丁香六月综合AVXXXX| www.91在线观看| 九九热a| 欧美性生交XXXXX无码小说| 99在线精品视频免费观看20| AV五月丁香| 久久综合久色欧美综合狠狠| 97丁香五月| 丁香色六月婷婷| 久操大屁股女人av| 婷婷色综合| http://www.sd-xiangsu.com/| 九色PORNY自拍成人精彩视频| 嫩BBB搡BBBB榛BBBB| 激情网婷婷五月天| 思思色播| 一区操| 99色精品| 久久99成人性爱高清视频| 五月综合激情| 五月丁香婷婷激情图片| 婷婷六月啪啪| 色色色色色色网站| 激情婷婷亚洲五月| 99热亚洲| 五月婷婷久久爱| 婷婷五月成人有| 99天堂网最新| 日韩成人无码| 色婷婷综合久久久久| 综合久久五月| 在线观看的av| 校园春色亚洲色| 婷婷中文字幕| 噜噜视频| 日夜夜天天| 色丁香五月婷婷| 狼人伊人干| 亚洲色色色| 九色视频91疯狂| 五月综合缴情网| 丁香色六月婷婷| 久久色五月| 色呦呦在线| 91chinese在线| 天天影院色| 五月天婷婷五月| 六月丁香婷婷综合色播| www.五月婷婷.com| 亚洲第一影院高清无码网站| 中文字幕婷婷9月天| 综合网亚洲| 久操97| 五月婷婷开心丁香| 天天日夜夜草进麻麻的子宫| 日韩成人av在线| 精品二区| 激情内射人妻1区2区3区| 久久激情网| 99热碰碰| 成人va视频| 丁香五月婷婷俺也要去| 久久99热 这里有精品| 中文网AV| 大香蕉520| 国产视频福利| 丁香五月手机视频| 九热av| 琪琪色综合网站| 99在线精品免费视频| 欧美三级欧美一级| 激情av在线| www.婷婷五月| www.henhengan| 日韩操| 天堂爱爱| 亚洲天堂亚洲色色色| 91综合在线| 色色激情网| 色婷婷免费视频| 香蕉网久久| 狠狠九九婷婷韩| 色欲色香综合网站| 激情五月天婷婷色色色色色色色色色色色| 依人大香蕉在钱1| 久久婷婷综合五月| 亚洲狠狠丁香婷婷香蕉| 久久婷婷五月丁香蜜桃网| 超碰在线免费观看日韩| 五月婷婷丁香日韩在线| av操B网站| 丁香五月桃花在线激情综合| 丁香婷婷婷| 欲色人妻| 日韩美女羞羞网站在线观看| 在线观看免费狠狠色丁香香综合| 操比激情五月综合| 欧美色久| 色九九综合| 婷婷开心深爱五月天| 五月丁婷香| 女同激情久久av久久| 亚洲成人高清在线| 丁香九月婷| 青草青草久热这里只有精品| 欧美激情性做爰免费视频| 久久久天堂国产精品女人| 一本色道久久88综合日韩精品| 日韩综合成人| 婷婷丁香综合色AV| 91色在线| 五月色在线| tingting五月天亚洲| 日韩一区二区三区无码| 天天色综合网吨吧| 综合图片色色| 精品人人操| 97久久久| 天天射天天操天天干| 日日噜噜久久婷婷五月天| 日韩精品超碰在线观看| 激情视频婷婷五月花| 99热99热在线观看| 五月天婷婷开心| 色五月丁香六月婷婷| jiqingliuyuetian| 国产免费一区二区三区三州老师F1F1.CC| 人人97碰| 噼里啪啦在线观看免费完整版视频| 黄色国久久| 色婷婷丁香社综合| 丁香五月久久| 99热骚货| 99久久五月婷婷| 亚洲综合色色色| 人妻第九页| 天天干天天操天天射| 成人网站免费在线播放| 色五月婷婷少妇人妻| 六月丁香婷婷六月激情综合| 99超级碰碰| 五月激情视频| 热99一二三| 亚洲综合在线视频| 中文字幕性爱丰满| 亚洲旡码| AV成人在线网站| 色五月欧美| 99热成人精品| 久久久精品人妻| 日本九九九九| 九月激情婷婷丁香| 91操片| 天天干天天色天天干| 任你搞网站| 99性爱视频| 综合激情在线观看| 开心五月激情站| 综合激情在线| 五月婷婷激情色情网| 99这里热| 国产精品99久久久久久久女警| 久久机热探花| 天天摸,天天爽| 激情第四色| 亚洲中文字幕在线观看| 国产精品视频| 激情五月,深深爱五月| 九九热99熟女| 五月美女婷婷风骚| 色婷婷五月天中文字幕| 开心激情综合| 国产精品色情AAAAA片软件| 99热在线观看精品| 久色资源网| 色五月婷婷网| 丁香五月综合激情啪啪| 亚洲成人va| 丁香五月婷婷基地| 婷婷色操| 日韩十国产极品久久| 中文字幕在线免费观看视频| 操人精品| 激情五月www| 丝袜大香蕉| 婷婷久久五月天丁香| 深夜A片| 天天日天天操心| 五月婷婷六月天| 天天插插天天| 欧美精品中文字幕亚洲专区| 婷婷和五月天| 五月综合视频| YW无码| 99热这里只有精品2016| 激情五月色婷婷| 91久久精品无码一区二区三区| 五月丁香婷婷成人综合网| 色婷婷影院| 五月丁香六月色| 六月丁香色婷婷| 天堂伊人干| www.国产亚洲69ty.久久久久久久久久久久| 熟女激情五月天| 五月婷婷香蕉| 激情网第四色| 日本一级黄色电影| 玖玖在线视频福利| 久久作爱| 日本久久视频| 免费看欧美成人A片无码| av操B网站| 色欲五月天| 色婷婷久久| 99热这里只有精品268| 91婷色| 婷婷色偷拍| 五月天精品视频| 99爱在线| 情婷婷五月天| 97碰精品| 国产精品婷婷午夜在线观看| 伊人久久大香线蕉精品| 婷婷在线午夜| 91操人人操| 五月丁香九九九综合| 激情丁香婷婷| 九九热这里精品| 欧美日韩99| 久久色频| 婷婷综合视频| 婷婷五月天六月综合| 中文字幕网伦射乱中文| 亚州激情网站无码| 精品一二三区久久AAA片| 这里只有精品,日韩视频| 99色色网| 久久99热这里只有精品23| 激情五月天色播| 广东99色在线| 国产精品第一国产精品| 天天爽天天爽夜夜爽| 一区二区成人电影免费播放| 五月天激情综合10p| 色欲五月丁香| 综合六月激情婷婷| www.夜夜操| 婷婷六月丁香久| 91精品激情9| 久久思思热视频| 欧美一黄一色一乱一伦| 日日操人人操| 色五月在线综合| 吉澤明步Av一區二區| 久久九九亚洲| 五月丁香六月婷婷久久肏| 91丨九色丨丰满人妖| 9久久精品| www.狠狠操.co m| 性按摩玩人妻HD中文字幕| 99热这里只有精品69| 狠狠爱五月婷婷综合六月| 久久99热这里只有精品| 噜噜操操| 五月亭亭开心网| 婷婷五月激情热播| 国产亚洲精品久久久久久郑州 | www.超碰| 操一操| 久久9RE热视频精品98| 五月丁香影院| WWW99热| 天天爽天天爽| 久播影院免费观看电视剧大全最新网| 色色色色色综合| 五月天婷婷视频小说| 爱射综合| 操老逼综合网| 天天爱天天操| 久久五月天色婷婷| 五月婷视频| 五月婷婷六月情| 天堂久久精品| 操骚货在线| 亚洲九九99精品视频在线播放| 五月婷婷亚洲色图| 九九色综合| 日日操,夜夜撸| 色人久夂| 丁香网站| 亚洲操B| 狠狠操综合| 日韩青青| 婷婷性爱影院| 色五月成人在线| 99丁香五月婷| 亚洲亚洲人成综合网络| 在线观看亚洲AV| 五月丁香成人日| 激情婷婷五月天丁香| 五月丁香自拍| 大狠狠在线| wWW九九在线播放| 六月婷婷激情| 播五月开心婷婷欧美综合| 26uuu国自产精品| 97碰久久| 大战熟女丰满人妻AV| 99热精品在线在线| 插插网爽妇五月丁香| 天堂网色色| av国产精品| 婷婷丁香人妻天天爽| 久久色五月天| 丁香五月激情月| 丁香五月色情| 99久久精品国产色欲| 91dy.av| 亚韩在线视频| 久久婷婷五月综合伊人| 67194成I人在线观看线路1| 五月婷婷激情久久| 五月丁香天堂| 极品色丁香| 丁香伊人网| 欧美性猛交AAAA片黑人 | 亚洲操操操| 欧州婷婷五月天综合| 婷婷中文字幕网| 婷婷六月色| 亚洲av网址| 九九九九国产| 丁香五月婷婷丫| 婷婷激情五月| 婷婷五月天情色| 日韩成人AV在线播放| 五月丁香综合中文| 色狠狠色狠狠| 欧亚成人A片一区二区| 亚洲在线激情婷婷五月| 色五月首页| 丁香婷婷五月人体| 亚洲va欧洲va国产va不卡| 欧美激情综合色综合啪啪五月| 在线五月婷| 亚洲乱码w在线观看| 久草五月天| 日日夜夜噜噜爽爽| 影音先锋91网站在线观看| 精品无码人妻一区| 99re热在线视频观看| 亚洲成av人影院| 啪啪啪五月天| 久久婷婷五月综合色丁香花| 五月激情五月丁香| 这里精品| 精品一区久热| 五月天激情综合10p| 色噜婷婷| 婷婷色五月天在线观看| 亚洲性色XXXXX| 国产亚洲99久久精品熟| 婷婷五月精品中文字幕| 99综合网| 五月丁香综合久久| 久操大| 婷婷五月天激情综合深爱| 啪啪六月婷婷| 大香蕉啪啪啪| 2025年最新亚洲在线欧美| 123草逼网| 九九热99视频在线| 综合色图婷婷| 激情综合网五月| 狠狠色五月| 激情亚洲五月| 久久久久久综合88| 久久久久97| 亚洲国产黄色电影| 婷婷久热| 99热超碰| 殴美综合激情五月天免费视频| 18av天堂| 97在线日本| 殴美日韩成人| 97婷婷五月激情六月丁香伊人| 最新av在线观看| 天天日日综合| 婷婷激情网五月天| 欧美噜噜免费观看| www..999热久| 色玖玖导航| 丁香六月激情| 狠狠艹狠狠艹| 婷婷五月天视频在线观看| 五月丁香视频在线观看| 五月婷婷婷婷网| 丁香婷婷人妻综合网| 婷婷丁香五月91| 欧洲亚洲免费视频9| 婷婷五月天AV在线| 久久婷婷五月综合激情国产| 大香网伊人久久综合| 99在线观看视频| 99久久婷婷国产综合精品草原| 玖玖伦理电影| www.天天日| 99热九九在线| 二人电影免费版在线观看| 超碰在线免费| 九九国产精视频| 啪啪综合网| 色五月丁香一区在线| 色五月婷婷大香蕉| 熟女少妇内射日韩亚洲| 亚洲激情色色| 人妻激情久久| WWW.色婷婷.COM| 51XX嘿嘿午夜无码| www,色婷婷| 婷婷久久五月| 亚洲视频在线观看| 亚洲天码视频www蛋播视频| 99视频色在线观看| www.粉嫩av.com| 97超碰99热99| 婷婷 丁香 精品| 天天做天天视天天谢| A级毛片高清免费不卡播放谢谢谢谢| 日欧一片内射VA在线影院| 26UUU精品一区二区| 久久久思思热| 99re这里只有精品9| 色色五月丁香| 啪啪色激情五月天| av中文在线| 狠狠草狠狠草| 色噜噜狠狠色综合网| 五月天综合色| 婷婷狠狠爱| 99热只有精品在线播放| 婷婷深爱五月丁香网| 天天色,天天日,天天做| 五月婷婷色色色| 五月丁香六月激情| 丁香五月性爱爱五月| 中文字幕丰满乱孑伦无码专区 | 99国产精品久久久久久久久久久 | 五月丁香啪啪综合网| 五月天婷婷在线播放| 婷婷99视频在线| 色情五月丁香婷婷网| 婷婷五月中文字幕国产| 天天射天天射一道本日本社区| 亚洲丁香五月在线观看| 一本道综合网| 开心婷婷中文字慕| 战争与艾拉电影免费观看| 日本片日本片祼观看网站在线看中文版网页在线看 | 久久综合99| 九月丁香婷婷网| 激情久久久久久久久久久| 欧美噜噜免费观看| 99ri精品在线| 久操操| 日韩人人操| 亚洲人人操BD| 婷婷五月色| AV大片在线观看| 激情五月综合色婷婷| 五月激情啪啪| 五月天综合在线| 色五月激情网| 色色激情网| 亚洲欧美成人在线观看| 思思久久99热| 精国产品一区二区三区A片| 狠狠色丁香五月婷巨| 免费无码毛片一区二区A片| 色色免费网站| 操人妻AV| 成人网址在线观看| 五月天婷婷AV| 91精品久久久久久| 激情网站综合五月天| 综合激情视频| 色婷婷久久视屏| 六月婷婷色宗合| 亚洲成人免费电影| 97热久久| 久久99激情丁香婷婷小说网| 欧美97p| 婷婷天堂伊人| 久久婷婷五月综合色奶水99啪| 五月天激情四射网站| 91九九| 亚洲五月天综合| 超碰在线观看caop| 色婷婷社区| 26uuu色五月| 丁香婷婷成人在线播放| 毛片九九九九九九九九18| 婷婷五月天狠狠搞干| 超碰在线播放免费观看| 五月天偷拍| 色天天综合天天综合频道。| 日本一道久久| 婷婷色五月婷婷姐妹| 日本狠狠干| 久久视网36| 天天日天天操心| 美女100%露全身无挡网站| 嫩草AV久久伊人妇女超级A| 人人爱人人草| www.色综合| 精品亚洲国产成人A片在线鸭王| 日本a片网址| 色级停停| 五月开心久久| 丁香5月激情网| 久久久久久婷| 亚洲综合婷婷六月丁香五月| 亚洲综合九九| 日本色五月| 色噜久| 色综合色欲综合天天免费| 激情综合色婷婷啪啪六月天| 琪琪色综合网站| 丁香蜜臀黄色婷婷五月天| 五月婷婷中文| 五月天婷婷Av| 99超级碰免费视频| 九九热最新地址| 天天爽天天做| 深爱激情网噜噜色| 午夜青草资源| 天天曰夜夜爽| 91av视频| 九九综合九九| 日韩成人精品一区久久久久| .青娱乐天天操B| 米奇影视资源婷婷狠狠色激情欧美五月丁香 | 婷婷六月啪啪| 九九香蕉网| 99热99热不卡| 视频久久9| 色播播五月天| 久久婷婷五月免费视频| 久久久久婷婷五月热综合| 亚洲无AV在线中文字幕| 婷婷色五月91啪啪| 国产免费AV网站| 免费亚洲婷婷五月| 性爱视频久久| 丁香激情网| 五月丁香综合| 亚洲色碰| 色综合久久88色综合天天看| 99精品久久久久| 婷婷的色色五月天| 美欧日韩国产成人在战| 狼友视频在线观看18| 综合啪啪| 91精品综合久久久久久五月丁香| 人妻丰满精品一区二区A片| 国产五月视频| 色婷小说| 怡红院91a√| 99riAV国产精品视频| 另类激情五月天。| 在线区区区| 色情丁香五月天| 久久99这里只有精品视频| 丁香五月亚洲婷婷| 日本天天色| 色~性~乱~伦~噜| 久操婷婷| 久热一区| 亚洲偷| 一本九九色| 男人天堂99| 丁香花五月天| 五月婷在线播放| 五月婷婷六月丁香综合| 五月丁香综合啪啪| 欧美槡BBBB槡BBB少妇| 99热欲| 91精品婷婷国产综合| 天搞天天天天天| 欧美日韩aaaa| 五月停停999| 丰满老熟妇BBBBB搡BBB| 在线亚洲综合网| 26.uuu丁香五月婷婷| 丁香五月婷婷成人综合| 久热网在线视频| 泰州成人视频| 欧美日本国产| 91操片| 免费观看的AV| 人妻肉射免费观看| 狠狠狠狠狠狠色| 8090在线影视少妇| 丁香五月天天| 婷婷热婷婷色| 日本狠狠干| 538在线精品| 99操不停| 四色永久成人网站| 射久久丁香五月| 玖玖资源在线视频| 丁香影院五月综合| 操笔无码| 热久国产| 婷婷丁香无码专区| 思恩热国产视频右线观看| 99热最新| 人妻av在线| www.91.com黄| 国产五月天激情小说| 久久精品婷婷| 综合www色| 天天舔天天| 久久a热| 色欲影香| 五月婷婷九月婷婷九月婷婷| 超碰人人色| 婷婷五月色播放| 麻豆雪千夏| 无码网站视频| 亚洲成人AV电影在线| 丁香综合婷婷开心激情网| 婷婷色片| 久久久久久久久久久-久五月天婷婷| 九九九九九九综合| av免费人人| 国产成人精品一区二三区熟女在线| 综合九九久久| 五月丁香六月婷婷亚洲激情综合| 激情五月丁香五月| 激情五月婷婷啪啪| 色女伊人| 婷婷中文综合网| 丁香亚洲婷婷五月| 天天插天天插| 99视频这里只有免费精品| 丁香五月欧美午夜视频| 96色婷婷| 色五月婷婷影院| 日日夜夜九九| 婷婷色五月色妇| 免费无码毛片一区二区A片| 97欧美在线| www综合久久| 天天草比天天爽| 色婷婷色综合| 五月婷色啪| 五月天啪啪网| 思思久久99热只有频精品66| 乱乱av| 五月婷婷丁香六月在线|