欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網運營的一線實戰(zhàn)洞察。

Linux PID 0/1/2 深度解析:內核啟動與容器 PID 1

Linux PID 0/1/2 深度解析:內核啟動與容器 PID 1 Linux 上敲一條ps -ef第一列數(shù)字從 1 開始排2 是kthreadd緊接著ksoftirqd、kworker、migration一串帶方括號的內核線程再往后才是systemd、sshd、nginx這些熟面孔。不少人第一次認真盯著這份列表看心里都會冒出同一個疑問0 號進程跑哪兒去了內核源碼里明明有創(chuàng)建它的代碼為什么在進程列表里翻不到這個問題的答案其實就是整條 Linux 啟動過程最核心的一段鏈路。Linux 系統(tǒng)里進程與 PID 的對應關系是每個從業(yè)者的基本功而 PID 0、PID 1、PID 2 這三個特殊號段剛好把從內核第一條 C 指令到第一個用戶態(tài)程序的完整路徑串了起來。搞清楚它們的關系你就能回答一連串平時很容易被含糊帶過的問題為什么/proc/0不存在、為什么systemd一定是 1 號、為什么內核線程的父進程都是 2、容器里的 PID 1 又為什么跟宿主機的不一樣。這篇文章面向三類人剛接手 Linux 服務器、想補上底層認知的運維同學準備面試、被問過init 是怎么起來的的后端開發(fā)以及需要定制啟動流程、精簡系統(tǒng)鏡像的嵌入式工程師。下面按身份識別 → 源碼鏈路 → 動手驗證 → 故障排查 → 落地場景的順序展開每個環(huán)節(jié)我都會給出可以直接復制執(zhí)行的命令和關鍵源碼位置。1. 三個特殊 PID 的身份卡與職責邊界1.1 為什么 /proc 目錄里死活找不到 PID 0先說結論PID 0 不是一個可以被調度、被殺死、被觀察的常規(guī)進程它是內核為兩個用途預留的特殊編號。第一個用途是承載那份靜態(tài)定義的init_task結構體它位于內核源碼init/init_task.c長這樣struct task_struct init_task INIT_TASK(init_task); EXPORT_SYMBOL(init_task);這份結構體在編譯期就被塞進內核數(shù)據(jù)段沒有經過動態(tài)內存分配也沒有走正規(guī)的 PID 分配流程。正規(guī)的 PID 分配是alloc_pid()把新進程掛進init_pid_ns的 IDR 索引結構而init_task的 pid 字段直接被初始化為 0壓根沒進哈希表。/proc的目錄項是按 PID 命名空間里的哈希表生成的表里沒有它自然也就沒有/proc/0。同理find_task_by_vpid(0)返回空kill 0發(fā)的其實是給當前進程組而不是 0 號進程。第二個用途是每個 CPU 上的idle 線程。多核機器上每個邏輯核都得有一個沒事干時待著的執(zhí)行流用來在 CPU 空閑時執(zhí)行指令讓它進入低功耗狀態(tài)或者直接把核讓出去。這些 idle 線程在fork_idle()里創(chuàng)建pid 同樣被寫成 0命令名格式是swapper/NN 是 CPU 編號。提示top里那個id百分比列展示的就是 idle 線程在跑的時長占比但 idle 線程本身不會作為一個進程出現(xiàn)在top的進程列表里因為它沒有/proc目錄項采不到它的統(tǒng)計。這就解釋了一個常見的困惑有人用cat /proc/0/status報No such file or directory用ls /proc | sort -n | head發(fā)現(xiàn)最小的數(shù)字是 1然后就懷疑是不是自己環(huán)境被裁剪過。沒有任何正常的 Linux 都是這樣。想看 idle 線程的蹤跡去/proc/sched_debug或者top按1展開每核視圖能看到swapper名字掛在各個核下面。還有個小細節(jié)值得記住init_task同時也是內核進程鏈表的鏈表頭。內核里遍歷所有進程用的for_each_process()起點就是init_task因為那份結構體的tasks字段在鏈接時被初始化成一個自環(huán)。所以內核代碼里必須有一個 PID 0 存在哪怕它在用戶空間完全不可見——它是整個進程數(shù)據(jù)結構世界的地基。1.2 PID 1 與 PID 2 同源分流一次內核線程創(chuàng)建兩種人生rest_init()里有兩次關鍵的kernel_thread()調用前后腳創(chuàng)建了兩個進程它們分別拿到 PID 1 和 PID 2然后在極短的時間內走上完全不同的道路。拿到PID 1的那個進程函數(shù)入口是kernel_init。它最初也是一個徹頭徹尾的內核線程——沒有用戶態(tài)地址空間跑在內核棧上。但它接下來會做一件事通過run_init_process()去execve一個用戶空間的程序把整個進程的地址空間替換掉。execve不改變 PID于是 PID 1 從內核線程平滑過繼成了用戶態(tài)第一個進程。執(zhí)行完這步之后它就是你我熟悉的systemd或者sysvinit、OpenRC、s6視發(fā)行版而定。拿到PID 2的那個進程函數(shù)入口是kthreadd。它這輩子都不會執(zhí)行execve永遠留在內核態(tài)任務只有一個充當所有內核線程的生產車間。內核模塊、驅動、子系統(tǒng)需要后臺線程時不直接調用底層創(chuàng)建接口而是把請求塞進kthread_create_list鏈表喚醒kthreadd由它統(tǒng)一在create_kthread()里 fork 出新的內核線程。所以你會看到ksoftirqd/0、kworker/0:0、kswapd0、kblockd這些家伙的父進程全是 2。對比項PID 0PID 1PID 2內核符號init_task/fork_idlekernel_initkthreadd創(chuàng)建方式編譯期靜態(tài)定義 每核fork_idlekernel_thread/user_mode_threadkernel_thread父進程無PID 0PID 0是否進入用戶態(tài)否是通過execve否終身內核態(tài)/proc是否可見不可見可見可見調度優(yōu)先級最低純 idle普通普通典型命令名swapper/Nsystemd/initkthreadd這張表建議直接記住面試被問到PID 0 是什么的時候能一口氣把靜態(tài)定義和 idle 兩個身份都說出來基本就穩(wěn)了。很多人只知道第一個身份答完就卡住了。1.3 三者之間的父子與繼承關系到底怎么算從血緣上看PID 1 和 PID 2 的父進程都是 0。這不是嘴上說說內核里寫得明明白白——rest_init()里那段代碼是在start_kernel()的調用上下文里跑的而start_kernel()的執(zhí)行流最終會變成 idle 線程也就是 PID 0。換句話說先有 00 生了 1 和 2然后 0 退居幕后去當 idle。這個順序有個硬性要求必須先創(chuàng)建 PID 1再創(chuàng)建 PID 2。原因寫在內核注釋里——init 進程本身后續(xù)會需要創(chuàng)建內核線程如果先把它調度起來而kthreadd還沒就緒kthread_create()就會卡死。所以rest_init()里的寫法是創(chuàng)建kernel_init后立刻給它打上PF_NO_SETAFFINITY標志并綁到啟動核上創(chuàng)建kthreadd并記錄kthreadd_task指針最后用complete(kthreadd_done)通知kernel_init兄弟就位了你可以繼續(xù)了。你可以在自己的機器上直接驗證這層關系grep -E ^(Name|Pid|PPid) /proc/1/status grep -E ^(Name|Pid|PPid) /proc/2/status兩臺正常的機器上這兩條命令的PPid都會輸出 0。這是最直接的證據(jù)——用戶空間里唯一允許父進程是 0的進程就是這兩個。從繼承關系上看兩者分叉之后又各自開枝散葉。PID 1 是所有用戶態(tài)進程的祖先容器里的除外后面會講PID 2 是所有內核線程的祖先。你隨便挑一個內核線程看它的PPid基本都是 2除非它被顯式改過父進程。反過來除了 PID 1 和 PID 2任何進程的PPid都不可能是 0一旦你發(fā)現(xiàn)有第三個進程的父進程是 0那這臺機器就值得好好查一查了。2. 從內核第一條指令到第一個用戶進程的完整鏈路2.1 上電到 start_kernel 之間機器都干了些什么要理解 0/1/2 的誕生得先把鏡頭往前拉一點。按下電源之后CPU 從一個固定的物理地址開始取指跑的是主板固件傳統(tǒng) BIOS 或現(xiàn)在的 UEFI。固件做完自檢、枚舉設備、初始化內存控制器然后按啟動順序找到可引導設備把上面的引導加載程序絕大多數(shù)發(fā)行版用 GRUB2讀到內存里執(zhí)行。GRUB2 的工作分兩段。第一段很小塞在磁盤頭部作用是把自己更大的第二段加載進來。第二段讀配置文件把用戶選中的內核鏡像和配套的initramfs或initrd一起載入內存然后跳進內核入口。這一階段常被忽略的一件事是內核鏡像并不是裸的 ELF 可執(zhí)行文件它前面套了一層自解壓頭啟動時會先在臨時緩沖區(qū)里把壓縮過的內核decompress_kernel()展開屏幕上那行Decompressing Linux... Parsing ELF... done.就是它干的活。解壓完成后才跳到真正的start_kernel()。這個函數(shù)在init/main.c里是整個內核在架構無關層面上的總裝配線做的事包括設置啟動 CPU 狀態(tài)、解析架構相關的硬件信息、初始化內存管理、初始化中斷和時鐘、打開控制臺從這里開始printk才有輸出、初始化虛擬文件系統(tǒng)緩存、掛載最初的proc和sysfs骨架。所有這些跑完之后它做的最后一件事是調用rest_init()。這一刻進程號段 0、1、2 的分配正式拉開序幕。順帶提一句內核啟動參數(shù)的傳遞路徑GRUB 里linux那行后面跟的參數(shù)會被內核的unknown_bootoption()收集起來其中init、rdinit、initcall_debug、panic這些會被單獨識別并落到對應變量里。這就給后面定制啟動流程留了口子。2.2 rest_init 里的三段關鍵代碼決定了 0/1/2 的誕生順序rest_init()加注釋也就二三十行但每一段都值得逐句看。按現(xiàn)代 6.x 內核的寫法主干大致是這樣noinline void __ref __noreturn rest_init(void) { struct task_struct *tsk; int pid; rcu_scheduler_starting(); pid user_mode_thread(kernel_init, NULL, CLONE_FS); rcu_read_lock(); tsk find_task_by_pid_ns(pid, init_pid_ns); tsk-flags | PF_NO_SETAFFINITY; set_cpus_allowed_ptr(tsk, cpumask_of(smp_processor_id())); rcu_read_unlock(); numa_default_policy(); pid kernel_thread(kthreadd, NULL, NULL, CLONE_FS | CLONE_FILES); rcu_read_lock(); kthreadd_task find_task_by_pid_ns(pid, init_pid_ns); rcu_read_unlock(); system_state SYSTEM_SCHEDULING; complete(kthreadd_done); schedule_preempt_disabled(); cpu_startup_entry(CPUHP_ONLINE); }第一段創(chuàng)建kernel_init它拿到PID 1。注意這里用的是user_mode_thread較新內核引入早期版本就是kernel_thread差別在于前者會為新線程準備好一套能順利切到用戶態(tài)的上下文比如合適的信號處理和 TLS 狀態(tài)。緊接著的PF_NO_SETAFFINITY加set_cpus_allowed_ptr組合是把 init 死死釘在啟動 CPU 上——因為此時sched_init_smp()還沒跑跨核遷移的邏輯不可靠讓 init 亂跑會出問題。這是一個典型的啟動早期只能串行、不能并行的約束。第二段創(chuàng)建kthreadd它拿到PID 2。PID 號的分配是單調遞增的中間沒有任何其他alloc_pid()調用插隊所以 2 號這個位置非常穩(wěn)定。創(chuàng)建完立刻把返回的任務結構指針存到全局變量kthreadd_task里后面所有kthread_create()都是靠這個指針對著它發(fā)喚醒。第三段是收尾。system_state SYSTEM_SCHEDULING標記調度器可用complete(kthreadd_done)解開 PID 1 那邊的等待然后調用schedule_preempt_disabled()主動讓出一次 CPU。這次讓出的結果很關鍵當前執(zhí)行流從正在跑 start_kernel 的上下文正式降格為 idle 線程也就是 PID 0之后它進入cpu_startup_entry(CPUHP_ONLINE)在do_idle()里循環(huán)等待。所以整個過程用一句話概括start_kernel()親手創(chuàng)建了 1 號和 2 號然后自己變成了 0 號。0 號是父但它是最后一個確定身份的這個時間上的微妙之處是很多人理解錯的地方——他們會以為內核先有 0 再有 1實際上代碼順序是先 fork 出 1 和 2最后才落地成 0。注意fork_idle()給其他 CPU 創(chuàng)建 idle 線程是在kernel_init里通過smp_init()觸發(fā)的那已經是 1 號進程的工作了。也就是說0 號進程創(chuàng)建了 1 號1 號又為自己造了一堆兄弟 0 號這個循環(huán)關系挺有意思畫進程樹的時候會看到多個swapper/N。2.3 kernel_init 的長跑從內核線程到 execve 用戶程序PID 1 拿到號碼之后并不輕松它要干完一大堆初始化才能去執(zhí)行用戶程序。它在kernel_init()里做的第一件事是等wait_for_completion(kthreadd_done)確認 2 號就位。然后進入kernel_init_freeable()這是初始化工作的主戰(zhàn)場。這一大段里有幾個關鍵動作值得單拎出來smp_prepare_cpus()和smp_init()把其他 CPU 拉起來。每個核起來的過程中都會調fork_idle()造一個 idle 線程這就是swapper/1、swapper/2的來源。workqueue_init()初始化工作隊列。內核里大量異步任務靠工作隊列干活而工作隊列自己也是靠內核線程驅動的所以它得等kthreadd就緒才能跑。do_basic_setup()這里面會依次跑完各級initcall也就是驅動和子系統(tǒng)的初始化函數(shù)。你在dmesg里看到的網卡探測到磁盤識別到基本都是這一階段打出來的。打開/dev/console內核通過ksys_open(/dev/console, O_RDWR, 0)把標準輸入輸出接到控制臺然后用兩次ksys_dup(0)把 fd 1 和 fd 2 也指向它。這一步失敗會打一行Warning: unable to open an initial console.是個值得留意的排障線索。光有日志還不夠直接看代碼順序更直觀。下面是這個環(huán)節(jié)的骨架static noinline void __init kernel_init_freeable(void) { gfp_allowed_mask __GFP_BITS_MASK; set_mems_allowed(node_states[N_MEMORY]); smp_prepare_cpus(setup_max_cpus); workqueue_init(); do_pre_smp_initcalls(); smp_init(); sched_init_smp(); do_basic_setup(); if (ksys_open((const char __user *) /dev/console, O_RDWR, 0) 0) pr_err(Warning: unable to open an initial console.\n); (void) ksys_dup(0); (void) ksys_dup(0); if (!ramdisk_execute_command) ramdisk_execute_command /init; /* ... */ }初始化做完了kernel_init()就要去執(zhí)行用戶態(tài)程序了。它會按一個明確的優(yōu)先級順序嘗試一串路徑rdinit指定的程序默認是/initinit內核參數(shù)指定的程序/sbin/init/etc/init/bin/init/bin/sh只要其中一個能成功execvePID 1 就切換成了用戶態(tài)程序后面的全部跳過。如果全試一遍都失敗內核會打出一行非常經典的報錯然后 panicKernel panic - not syncing: No working init found. Try passing init option to kernel.這句幾乎每個做過嵌入式或者救援修復的人都見過。遇到它基本可以斷定根文件系統(tǒng)掛錯了、init 二進制被刪了、或者動態(tài)鏈接庫缺失導致execve返回ENOENT。一個小技巧是先用init/bin/sh啟動進去之后手工排查比對著黑屏猜要高效得多。這里有個細節(jié)容易被忽略run_init_process()內部調的是kernel_execve()是 exec 不是 fork。所以 PID 1 從內核線程變成用戶態(tài)進程的過程中號碼一直沒變。如果當初寫的是 fork 加 exec那用戶態(tài)的 init 就會是 3 號或者更大整個系統(tǒng)的進程號約定就亂了。2.4 initramfs 與 switch_rootPID 1 號碼為什么始終不變現(xiàn)在幾乎沒有發(fā)行版會直接從物理根文件系統(tǒng)啟動中間都夾了一層initramfs。原因是內核要知道怎么訪問真正的根設備得先有對應的驅動——比如 LVM、軟 RAID、磁盤加密、NVMe 控制器——而這些驅動往往以模塊形式存在模塊又躺在根文件系統(tǒng)上雞生蛋的問題就來了。initramfs就是用來打破這個死循環(huán)的它是一個由cpio打包、被內核解壓到rootfs一個tmpfs里的小型根文件系統(tǒng)包含必要的驅動模塊和一套腳本。所以真實流程是兩段第一段內核把initramfs解開掛到臨時的rootfs上PID 1 執(zhí)行里面的/init由dracut或initramfs-tools生成。這個/init是個 shell 腳本負責加載模塊、掃描磁盤、激活 LVM 和加密卷、找到真正的根設備并掛載到/sysroot之類的臨時掛載點最后執(zhí)行switch_root。第二段switch_root做的事情是把當前根目錄切換成新掛載的那個真實根文件系統(tǒng)刪掉舊的tmpfs內容騰出內存然后exec真實根上的 init 程序。同樣地這里也是 exec 而不是 fork所以 PID 1 從頭到尾沒有換過號碼。一個直接的驗證方式是看/proc/1/status里的Pid從 initramfs 階段到系統(tǒng)完全啟動這個數(shù)字一直是 1變的只是comm字段先是init后來變成systemd。如果你想看看實際的 initramfs 里都有什么可以這樣操作lsinitrd /boot/initramfs-$(uname -r).img | head -40 # RHEL/CentOS/Fedora lsinitramfs /boot/initrd.img-$(uname -r) | head -40 # Debian/Ubuntu手工解開一份出來讀/init腳本是理解啟動流程最快的路徑之一。我第一次這么干的時候才發(fā)現(xiàn)里面處理加密卷、處理多路徑設備的邏輯比想象中復雜得多也理解了不少啟動卡住的現(xiàn)場到底卡在哪個環(huán)節(jié)。3. 上手驗證把 PID 0/1/2 的痕跡一條條挖出來3.1 用 /proc 里的 PPid 字段反推父子關系理論講完接下來動手。/proc/pid/status里的PPid字段是驗證父子關系最直接的入口因為它是內核從任務結構里直接讀出來的沒法被用戶態(tài)偽造除非進程主動通過prctl之類的接口改但 PID 1 和 2 不會。grep -E ^(Name|Pid|PPid|Uid) /proc/1/status /proc/2/status正常輸出大致是/proc/1/status:Name: systemd /proc/1/status:Pid: 1 /proc/1/status:PPid: 0 /proc/2/status:Name: kthreadd /proc/2/status:Pid: 2 /proc/2/status:PPid: 0看到PPid: 0就對了。接著可以順手確認一下所有內核線程的父進程都是 2ps -eo pid,ppid,comm | awk $2 2 | head -20ps的comm列對內核線程會顯示成[kthreadd]、[ksoftirqd/0]、[kworker/0:0]這種帶方括號的形式方括號是ps用來標記這個進程沒有用戶空間命令行的約定。想驗證這一點直接讀它的cmdlinecat /proc/2/cmdline | wc -c # 輸出 0 readlink /proc/2/exe # 報錯No such file or directory兩個命令的結果都印證了同一個事實內核線程沒有用戶態(tài)可執(zhí)行文件自然也就沒有可執(zhí)行的命令行。反過來看 PID 1cat /proc/1/cmdline | tr \0 ; echo readlink -f /proc/1/exe第一個命令一般會輸出/sbin/init或者/usr/lib/systemd/systemd第二個會給出實際二進制路徑。如果這里讀出來的是別的東西那這臺機器就值得查了。3.2 pstree 與 ps 配合看清 kthreadd 的整個家族看單點不如看全貌。pstree是展示進程父子關系最順手的工具加-p參數(shù)把 PID 帶上pstree -p 1 | head -30 pstree -p 2 | head -40第一條命令看的是用戶態(tài)那棵樹systemd下面掛著systemd-journald、systemd-udevd、dbus-daemon、sshd等等這些是典型的用戶態(tài)服務。第二條命令看的是內核線程那棵樹kthreadd下面掛著一大堆方括號名字每個都是內核某個子系統(tǒng)的后臺工作者。對內核線程做分類整理挺有用我平時習慣用這條ps -eo pid,ppid,comm | awk $2 2 {print $3} | sort | uniq -c | sort -rn | head -20輸出會告訴你哪些內核線程被創(chuàng)建得最多。一般kworker數(shù)量最多因為工作隊列按 CPU、按類型普通、高優(yōu)先級、內存回收等各開一條線程核數(shù)一多線程數(shù)就上去了。這個數(shù)字本身還是個體檢指標如果kworker數(shù)量異常多可能存在阻塞型驅動或者頻繁觸發(fā)的定時任務。再補一條看線程和進程區(qū)別的命令。ps -eLf會把線程也展開同一個進程的多個線程 PID 相同但 LWP 不同ps -eLf | head -20內核線程其實是只有一個線程的進程的特例它們共享內核頁表沒有獨立用戶地址空間。3.3 觀測啟動耗時定位 init 階段的慢點知道 PID 1 是誰之后自然會想知道它啟動花了多久、慢在哪里。systemd-analyze家族是最方便的入口systemd-analyze systemd-analyze blame | head -20 systemd-analyze critical-chain第一條給出內核階段和用戶空間階段各自的耗時第二條按耗時從長到短列出各個 unit第三條畫出關鍵依賴鏈。三者配合能從不同角度定位啟動慢的原因。不過systemd-analyze的前提是系統(tǒng)用systemd當 PID 1。如果是嵌入式環(huán)境或者容器鏡像里用的是busybox init就得換個思路——加內核參數(shù)initcall_debuglinux /vmlinuz root/dev/sda2 initcall_debug ignore_loglevel重啟后dmesg里會為每個initcall輸出一行帶耗時的記錄類似calling ahci_pci_driver_init0x0/0x1b 1 initcall ahci_pci_driver_init0x0/0x1b returned 0 after 12736 usecs把所有行抓出來按耗時排序就能看出哪個驅動拖了后腿dmesg | grep initcall.*returned | sed s/.*returned // | sort -rn | head -20這套方法在排查嵌入式設備開機十幾秒的問題上非常好使。常見的結果是某個存儲控制器驅動在做復位等待或者某個網絡驅動在等 PHY 鏈路單點就可能占掉幾秒。3.4 容器環(huán)境下的 PID namespace那個假 PID 1容器里ps看到 1 號進程是應用自身的進程很多人在這個場景下會產生困惑——難道容器把宿主機的 init 換了沒有這是PID 命名空間的效果。PID 命名空間讓一組進程看到一套獨立的 PID 編號。容器啟動時runc之類的運行時把應用進程放進新的命名空間這個進程在容器內部看來是 1 號但在宿主機上分配的還是一個普通的、可能幾千號的大數(shù)字。你可以這樣驗證# 在容器外 docker inspect --format {{.State.Pid}} 容器名 # 在容器內 cat /proc/1/status | grep -E Pid|NSpid容器內的NSpid字段會同時列出兩套編號比如NSpid: 1234 1前面那個是宿主機視角的 PID后面那個是容器內視角的 PID。這個字段在排查容器進程和宿主機監(jiān)控對應關系的時候特別有用——宿主機上top看到的某個高 CPU 進程通過NSpid就能對應回具體是哪個容器里的哪個服務。還有個必須注意的坑容器里的 1 號進程只是命名空間內的 init不具備全局 init 的特殊保護。全局 init 有SIGNAL_UNKILLABLE標志內核會攔掉大部分發(fā)給它的信號容器 init 沒有這個待遇除非用--init配了 tini 或者顯式注冊了信號處理。這直接導致了下一章要講的那些容器一啟動就退出的經典問題。4. 圍繞這三個 PID 的高頻故障與排查套路4.1 PID 1 退出意味著什么以及如何避免全局 PID 1 一旦退出內核會立刻 panic報錯信息是Kernel panic - not syncing: Attempted to kill init! exitcode0x00000000這不是嚇唬人的措辭而是內核在do_exit()里對全局 init做的硬性判定。邏輯上也說得通init 是所有用戶態(tài)進程的祖先它沒了剩下的進程全成了孤兒系統(tǒng)的運行語義就崩了與其處于不確定狀態(tài)不如直接停住。但要注意內核攔的是全局 init。在 PID 命名空間內的 init 退出不會觸發(fā) panic只會讓這個命名空間里的進程收到SIGKILL然后一起死掉——容器退出的機制就是這個。所以排障時要先分清是哪種場景init 退出后的表現(xiàn)排查方向宿主機 / 物理機內核 panic屏幕卡死檢查/sbin/init是否損壞、根文件系統(tǒng)是否只讀、關鍵庫是否缺失容器pid namespace容器退出退出碼通常為 137 或 init 進程的退出碼檢查容器主進程是否正常 daemon 化、信號是否正確轉發(fā)initramfs 階段打印No working init found后 panic檢查rdinit/init參數(shù)、initramfs 是否完整容器場景下最常見的兩個坑第一把服務做成啟動后自己 fork 到后臺然后父進程退出父進程一退PID 1 沒了容器直接結束第二只寫了CMD /app/start.sh腳本里沒做exec導致 PID 1 是 shell 而不是應用腳本收到SIGTERM后不會轉發(fā)給子進程docker stop要等超時才被殺。正確做法是在腳本最后一行用exec /app/server讓應用直接接管 PID 1。4.2 僵尸、孤兒與信號回收的坑父子關系帶來的另一個麻煩是進程回收。子進程退出后內核不會馬上把它的任務結構釋放掉得等父進程調用wait()或waitpid()來讀取退出狀態(tài)否則它就變成僵尸Z狀態(tài)占著 PID 號和一小塊內核內存不放。那如果父進程先死了呢剩下的子進程就成了孤兒內核會通過find_new_reaper()給它們找一個新爸爸。默認規(guī)則是往上找最終落到全局 initPID 1頭上。所以你在服務器上看到一堆PPid是 1 的進程很多時候它們原本是有爹的爹死了才被 init 收養(yǎng)。這條規(guī)則現(xiàn)在有了例外。Linux 支持PR_SET_CHILD_SUBREAPER這個 prctl 標志某個進程可以聲明自己愿意當中間層收養(yǎng)者。systemd就是這么干的——它給每個用戶會話設了 subreaper這樣會話里的孤兒進程會被會話級的管理進程收走而不是全部涌向 PID 1。這個設計的實際意義在于面向用戶的進程可以拿到更準確的退出通知也避免 PID 1 被大量收養(yǎng)和回收請求淹沒。排查孤兒和僵尸的常用組合ps -eo pid,ppid,stat,comm | awk $3 ~ /^Z/ ps -eo pid,ppid,stat,comm | awk $2 1 $3 !~ /^Z/ | head -20第一條找僵尸第二條找被 init 收養(yǎng)的孤兒。如果僵尸數(shù)量持續(xù)增長說明有父進程從來不回收子進程這時候要么修代碼要么給它設個 subreaper 兜住如果孤兒數(shù)量異常多往往意味著有服務在反復 fork 并崩潰。提示寫自動化腳本的時候subprocess.Popen之后一定要配對wait()或communicate()否則在長時間運行的服務里僵尸會一點點累積最后把進程表塞滿。4.3 PID 耗盡與 pid_max 的調整邊界PID 是有限的。上限由/proc/sys/kernel/pid_max決定32 位系統(tǒng)上默認 3276864 位系統(tǒng)上默認也是 32768但可以調到 4194304。查看和調整cat /proc/sys/kernel/pid_max sysctl -w kernel.pid_max4194304調大之后有個副作用如果同時開著kernel.pid_max和kernel.threads-max的監(jiān)控會發(fā)現(xiàn)內核用于索引 PID 的 IDR 結構變大占用的內存會略有增加但通常可以忽略。更需要注意的是不要在有大量短生命周期任務、又用了 IPsec 或者某些依賴高位 PID 的老代碼的系統(tǒng)上亂調歷史上有過因為 PID 超過某個閾值導致兼容性問題的案例。PID 耗盡的典型報錯是-bash: fork: retry: Resource temporarily unavailable看到它先別急著調pid_max。真正的根因可能是這幾種某進程在瘋狂 fork比如 shell 循環(huán)出 bug、爬蟲并發(fā)失控、cron 里的腳本沒有互斥、僵尸進程堆積占號、ulimit -u設得太低限制了單用戶進程數(shù)。按這個順序排查ps -eo pid,user,comm | awk {print $2} | sort | uniq -c | sort -rn | head ps -eo stat | grep -c ^Z ulimit -u第一條看哪個用戶在占號第二條數(shù)僵尸第三條看用戶級限制。定位到源頭再去改參數(shù)比盲目調大上限靠譜得多。4.4 常見疑問速查表含 PID 名稱歧義說明圍繞這三個編號我被問過的問題重復率很高干脆整理成表疑問結論驗證方式/proc/0為什么不存在PID 0 未經過alloc_pid()不在命名空間哈希表里ls /proc | sort -n | headps為什么看不到 0 號沒有/proc目錄項ps數(shù)據(jù)源就是/procps -eo pid | sort -n | head每個 CPU 的 idle 線程 PID 是幾都是 0命令名swapper/Ncat /proc/sched_debug | grep -i swapperkthreadd一定是 2 號嗎現(xiàn)代內核中穩(wěn)定是 2因為 PID 分配單調遞增且中間無插入grep PPid /proc/2/status為什么內核線程父進程是 2所有kthread_create()請求都由kthreadd落地ps -eo pid,ppid,comm | awk $22收到kill -9 1會怎樣全局 init 有SIGNAL_UNKILLABLE保護信號被忽略在測試機上用非 root 試觀察返回容器里的 PID 1 是宿主機的嗎不是是 PID 命名空間內的獨立編號grep NSpid /proc/1/status怎么確認當前 init 是哪個程序讀/proc/1/exe和/proc/1/commreadlink -f /proc/1/exe最后補一個容易造成搜索混淆的點操作系統(tǒng)里的 PID 是 Process ID自動化控制里的 PID 是 Proportional-Integral-Derivative。這兩者除了縮寫一樣毫無關系。你在搜索引擎里搜pid 算法、位置式 pid、增量式 pid、pid 控制器出來的全是控制理論內容講的是用比例、積分、微分三項去擬合誤差曲線用在電機調速、溫度控制、無人機姿態(tài)穩(wěn)定上。而搜linux pid、進程 pid、ppid才是操作系統(tǒng)這一側。寫技術文檔的時候最好把全稱寫清楚不然讀者很容易被帶偏我自己就曾經在一個內部 wiki 里把兩邊的鏈接混著貼過后來被同事吐槽了很久。5. 把這些知識落到實際工作里5.1 定制最小 init 與內核啟動參數(shù)理解了 PID 1 的選取順序就能反過來控制啟動行為。最常用的兩個參數(shù)是init和rdinit它們的優(yōu)先級不一樣rdinit只對 initramfs 里的/init生效如果設了它內核會優(yōu)先嘗試這個路徑init會在 initramfs 交接完之后在真實根文件系統(tǒng)上執(zhí)行兩者都不給的時候內核按/sbin/init、/etc/init、/bin/init、/bin/sh的順序試。在 GRUB 里臨時加參數(shù)很簡單選中啟動項按e找到linux那行末尾追加CtrlX啟動。做救援的時候我最常用的組合是init/bin/bash rw它能讓你在幾乎沒有任何服務啟動的情況下拿到一個 root shell用來改密碼、修配置文件、檢查磁盤。需要注意的是這種方式進來之后沒有systemd幫忙掛載文件系統(tǒng)/proc、/sys可能是空的得手工掛mount -t proc proc /proc mount -t sysfs sysfs /sys如果是做嵌入式產品把 PID 1 換成一個自己寫的極簡程序也很常見。核心要求只有幾條永遠不要退出、正確回收孤兒進程循環(huán)waitpid(-1, ...)、把收到的信號轉發(fā)給子進程、在收到SIGTERM時有序關停。這幾十行代碼寫好了整個系統(tǒng)的最小化就能再往前推一步。5.2 用 PID 樹排查資源異常與可疑進程線上出問題的時候進程樹往往是第一手線索。CPU 或者內存突然飆高先做這三步top -o %CPU -b -n 1 | head -20 ps -eo pid,ppid,%cpu,%mem,comm --sort-%cpu | head -20 pstree -p 可疑PID前兩條定位到具體進程第三條把它放回進程樹里看。很多時候單個進程看起來人畜無害但往上追兩層會發(fā)現(xiàn)它是一個失控腳本的孫子進程或者是某個已經崩潰但沒退出的服務殘留。這種順藤摸瓜的排查方式比盯著單個進程看有效得多。還有一類場景是排查可疑進程。判斷依據(jù)可以是進程的可執(zhí)行文件路徑指向/tmp或者/dev/shm正常服務不會放這兒、PPid是 1 但找不到對應的 systemd unit、進程名的拼寫和正常系統(tǒng)進程只差一兩個字符、/proc/pid/exe指向的文件已被刪除readlink會帶(deleted)后綴。這幾條組合起來看基本能篩出絕大多數(shù)異常。ls -l /proc/*/exe 2/dev/null | grep deleted systemctl status $(cat /proc/pid/comm)5.3 容器 init 與 subreaper 的取舍建議容器場景下要不要加一個 init 進程一直有爭議。我的建議是按應用類型分如果容器里跑的是單一前臺進程并且它自己正確處理了SIGTERM、自己wait了子進程那就沒必要加。多一層反而增加信號轉發(fā)的復雜度和調試成本。前提是CMD用的是 exec 形式不要讓 shell 擋在前面。如果應用會產生后臺子進程、或者會在運行中 fork 出短命進程比如調用外部命令做一次任務強烈建議加。用docker run --init或者 compose 里寫init: trueDocker 會注入一個極小的 init。它干的事就是回收僵尸、轉發(fā)信號正好補上應用自己懶得做的那部分。如果容器是給開發(fā)人員用的交互環(huán)境比如一個基礎的開發(fā)鏡像那就更應該加否則 shell 里隨手起的后臺進程會一直堆著。這里有個容易踩的細節(jié)加了--init之后容器內的 PID 1 就不再是應用本身而是那個小 init應用的 PID 變成 2。這時候如果應用邏輯里有硬編碼我是 1 號的判斷例如判斷收到某個信號時該怎么處理行為會變。線上切之前最好先在測試環(huán)境驗證一遍信號路徑?;仡^看這一整條鏈路從rest_init()里的兩次kernel_thread()到kernel_init一路做完initcall再execve成systemd再到kthreadd默默孵化出幾百個內核線程這三個編號其實各管一攤0 號是數(shù)據(jù)和調度的地基1 號是用戶世界的入口2 號是內核后臺的車間。我在實際調試中養(yǎng)成了一個習慣拿到一臺不熟悉的機器先敲三條命令——grep PPid /proc/1/status、ps -eo pid,ppid,comm | awk $22 | wc -l、readlink -f /proc/1/exe。第一條確認父子關系沒被改過第二條大致知道內核線程規(guī)模第三條確認 init 是什么。三秒鐘就能對這臺機器的啟動形態(tài)有個基本判斷比翻配置文件快得多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
EEUSS鲁片一区二区三区| 亚洲成人综合网在线免费观看| 久一这里有精品国产| 青青草国产亚洲精品久久| 婷婷丁香五月综合激情小说| 色色日韩| 久久色五月天| 中文字幕91,综合| 少妇人妻偷人精品无码视频新浪| 色综合久久天天综合网| 国产VA亚洲VA96| 久久免费9| 亚洲精品无码99热| 丁香激情五月天| 丁香五月婷婷呀| 91精品91久久久久77777| 天天插天天插| 婷婷色情六月| 天天摸天天高潮天天爽| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 色婷婷97| 大香蕉九九操| 99A片| 丁香久月| 亚洲 精品 综合 精品| 日日影院 | 天天干夜夜想| www.丁香五月| 五月婷婷无码专区| 影音先锋女人av鲁色资源网小说免费| 久99久视频| 天天揷综合网| 亚洲三A| 丁香六月情| 色五月婷婷内射| 五月丁香综合啪啪啪啪啪| 超碰免费电影| 9 1 A v久久久| 婷婷五月激情综合| 99综合| 色五月激情| 六月天六月婷| 色5月婷婷| 五月婷婷丁香大陆免费| 国产日韩欧美性生活| 99九九玖玖| 99热九九九九| 97亚洲精品| 五月婷婷综合网| 99热新网址| 五月亭亭六月天| 99久久婷婷五月天| 草草色情综合网| 91久久99久久91熟女精品| 久久这里有精品| 婷婷丁香综合| 激情五月丁香亭亭| 天堂综合久久| 99热资源在线| 中文激情网| 4399人妻无码久久久| 婷婷色五月色| 婷婷网五月| 91九色精品女同系列| 91在线精品一区二区| 国产肥白大熟妇BBBB视频| 99热99色| 免费三级黄色| 精品一二三区久久AAA片| 91色久| yellow视频在线观看91| 大香蕉综合| 五月婷激情| 欧美影院婷婷| 性一交一乱一交A片久久四色| 超碰人人干| 丁香六月婷婷综合啪啪| 五月丁香综合中文| www.色婷婷.com| 婷婷六月久久综合导航| 99噜噜噜在线播放| 丁香六月激情国产| 婷婷午夜综合| 秋霞三级影视资源| 99青青草| 香蕉综合在线| 少妇人妻人伦A片| 日本欧美成人片AAAA| 精品亚洲国产成AV人片传媒| 国产又爽又猛又粗的视频A片| 国产精品久久久久久久久久免费| 超碰人人在线观看| 中文超碰视在线| 五月九九综合| 综合色99| 综合狠狠干| 九九99在线观看视频| 五月丁香婷婷综合久久| 激情综合五月.....| 亚洲第一视频 久久| 热99AV网站| 亚洲日日操| 中文资源在线a | 精品无码色欲AV| 激情五月综合视频| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 97操碰98| 久久婷婷激情| 丁香六月婷婷基地| 五月情涩综合婷婷| 色播五月婷婷综合| 五月天婷综合| 色婷婷小说网| 亚洲欧洲一二| 99热精品在线播放观看| 丁香五月天堂网| 26UUU欧美激情一区二区| 五月丁香久| 五月丁香六月婷综合成人综合| 婷婷导航| 99啪啪骑| 九九精品片一| 狠狠草狠狠草| 99热精品在线| 97欧美在线| 9久国产| 午夜亚洲国产精品av一区二区| PORNY九色9l自拍视频成人| 五月亭亭六月色| 激情五月婷婷在线| 婷婷丁香18| 91猫咪国产在线播放| 久久久激情视频| 99色热视频| 欧美视频五区| 在线sebiav精品视频| 五月天激情综合在线| 色综色五月天婷婷| 高清无码网址| 青草青草久热这里只有精品| 久色大| 99ER热精品视频| 色色九九五月天 | 爱草视频在线观看| 婷婷五月色| 日本色超碰| 深爱五月婷婷开心中文字幕| 五月丁香久久综合| 久久9RE热视频精品98| 狠狠色五月激情| 五月婷婷色五月| 久久国产一区二区三区| 无码中文一区二区三区| 国产色色视频| 久久婷五月天| 五月丁香婷婷啪啪| 碰碰人人漕| 亚洲AAAA网| 日韩AV大全| 国产中文字幕在线视频免费观看| 综合在线丁香五月| 亚洲妇女熟BBW| 久久六月天| 婷婷干五月综合在线播放| 九热视频| 91色婷婷综合久久中文字幕二区| 91se在线视频| 国产午夜精品一区二区| 淫水导航| 91操女| www.99在线| 五月丁香在线看| www.yw尤物| 日本久久性| 九九机热| 五月天婷婷激情六月久久| 琪琪秋霞| 99热欧美| 五月天五月色婷婷综合| 欧美性爱五月天| 碰久久精品w| 另类图片婷婷五月天| 久久婷婷影院| 激情深爱综合| 丰满少妇猛烈A片免费看观看| 婷婷五月天改成什么了| 丰满女老板BD高清A片| 超碰免费人人| 亚洲黄色影视| 99色色网| 亚洲欧美成人在线| 天天做综合| 99精品久久| 9色在线| 尔尔AV一区| 91日精品| 国产激情视频在线观看| 日韩狠狠色婷婷| 情色五月天网站| 99热在线观看精品| 丁香六月婷| 天天射夜夜爽| 99热这里只有精品免费| 亚洲色爽| 久久99jiu9| A久久| 国产超碰人人| 激情小说婷婷| 五月综合影院| 99精品九九| 婷婷无码五月天| 98色花堂98t.R| 99九九综合久久九九| 久久刺激网| 99热这里只有精品9| 久久国产高清| 婷婷五月天久久久| 丁香五月天导航| 丁香六月天之亚州热女| 五月天丁香久久综合 | 综合玖玖性爱免费视频| 大香蕉AV电影在线| 色婷婷网| 日日夜夜爽| 五月丁香六月激情| 色婷婷最新域名| 99热这里是精品| 丁香六月婷婷综合啪啪| 国产亚洲精品AAAAAAA片| 丁香五月婷婷色偷偷| A√天堂网在线| 色五月婷婷在线| 午夜精品人妻无码一区二区三区 | 免费看无码视频A级| 欧美日韩99| 日日干日日色| 欧美在线ee日韩| 日韩三级高清无码| 丁香五月丐人妻| 国产av天天插天天操天天爽| 久久久久9| 三区激情四射av| 五月激情久久| 国产成人精品亚洲线观看| 五月婷婷和六月| 五月花激情网| 久爱综合| 可以免费观看的av| 久久天天| 激情综合网之激情五月| 国产精品国产| 97色 五月天丁香| 99热精品中文字幕| 亚洲AV第二区国产精品| 99网99热| 噜噜五月天综合| 开心五月综合激情综合五月| 91操色| 尤物一区二区| 九九热精品在线| 欧州色色| 五月天五月色| 天天插天天插天天操| 五月丁香亭亭A片| 日本系列_4页_777FP| 婷婷五月天少妇| 精品综合爱| 色五月婷婷五月| 国模淫穴色图| 久久久月丁香| 国产乱码久久| 99天堂网| 夜夜 操无码| 毛片九九九九九九九九18| 伊人久久大香网| 久热99| 亚洲AV成人在线| 另类专区在线| 色情综合网| 久久综合九九| 五月天色社区| 天天搞天天色综合| 色色丁香色五月| 精品影院| 午夜性做爰电影| 99免费热视频在线| 啪啪99| 午夜电影网VA内射| 五月丁香狠狠地噜噜噜噜| 日本精品在线噜噜噜| 婷婷五月激情五月丁香五月| 五月婷婷色在线| 色噜噜综合网| 国产精品日日躁夜夜躁| 女高怪谈在线观看| 五月丁香婷婷伊人| 久久开心五月婷婷| 停停五月天激情网| 99热这里全都是精品| 婷婷五月电影| www激情| 2015好吊操| 91久久婷婷| 色婷大香蕉| 99热这里| 久热一区| 久久五月婷综合| aⅤ79成人片| 色色色网站| 四月婷婷丁香| 99婷婷| 五月激情综合网| 五月婷婷五月天天| 免费啪啪啪网站| 欧美97色| 婷婷色五月亚洲| 99热有精品在线观看| 激情五月婷婷五月丁香五月开心五月| 啊V视频在线观看| 91九色国产| 99热这里只有精品21| 国产五月视频| 98永久精品| 亚洲色婷婷| 玖玖资源天天无码| 九热视频精品| 性做久久久久久久免费看| 激情五月天色播| 婷婷五月丁香基地| 99色色网| 精品一区二区三区四区五区六区介绍 | 色九月综合网| 欧美性猛交XXXX乱大交极品| 99九九玖玖| 五月情综合| 99亚洲精美视频在线观看| 99re6在线视频精品免费| 婷婷五月天美女21p| 五月伊人综合| 香蕉婷婷色五月| 热91久| 五月丁香婷婷色色色| 五月丁香亚洲五月| 99五月丁香丁| 色婷婷久久天天性爱| 97自拍视频在线| 9久久精品| 这里只有九九精品| 亚洲视频色婷婷| 99re在线观看| 美欧日韩国产成人在战| 9l久久久视频| 97色射| 婷婷五月丁香五月| 97人人干人人操| 丁香五月天欧洲在线| 亚洲成人va| 中文字幕视频在线播放| 97操碰日本女人| 性色欲情 网站| 五月天婷婷激情小说电影| 在线另类| 婷婷婷久久久| 天天摸色吧天天摸色吧| 性无码专区无码| AV成人在线播放| 久久精品国产色| 熟女啪啪视频| 婷婷自拍| 操逼综合网| 超碰只有精品在线| www.色五月| 99re这里| 久久码久久无清| 99综合网| 婷婷五月丁香综合人妻| 少妇被下春药玩弄A片| 婷婷五月AV| 五月婷在线观看| 99免费视频网| 丁香婷婷激情网站| 亚洲成人噜噜| 精品人妻久久久久| 五月丁香色| 丁香五月无码| 婷婷丁香五月在线播放| 五月天婷婷激情在线色图| 丁香5月婷婷| 国产99视频永久免费| 丁香八月综合激情| 日逼免费视频| 天天爽日日爽夜夜爽| 小视频一区| 色色日韩无码| 丁香六月婷婷综合啪啪| 丁香五月婷婷亚洲天堂| 插插干干干色| 色5月婷婷| 六月婷久久| 色婷婷五月综合在线| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 9l视频自拍9l九色成人| 欧美激情综合| 亚洲中文字幕网| 超碰人人艹| 久久香蕉丁香| 久久精品婷婷| 日本va欧美va欧美va精品| 久久伊人9| 最新AV在线观看| 色婷婷社区| 丁香五月激情五月| 欧美在线视频99| 久久婷婷五月综合啪| 99精品一二三四视频| 丁香五月婷婷久久综合激情网 | 五月婷婷婷婷| 情色婷婷五月天| 久久亚洲婷婷| 色玖玖| 亚洲日韩乱码一区二区三区四区 | 五月天色导航| 开心激情播播五月天| 久久a热| www.激情.com.| 日本九九网| 天天搞天天色综合| 久久综合五月| 四虎成人精品永久免费AV九九| 婷婷婷久久久| 丁香五月婷婷性爱| 青青福利网| 五月婷婷丁香网| 五月久久婷婷天堂视频| 国产成人+综合亚洲+天堂| 久九男女天堂| 久久久久久久久久久97| 五月色婷婷亚洲 | 亚洲色另类| 激情综合啪啪| 99视频这里有精品| 91无码高清| 五月丁香A片| 99re思思热这里| 99热只有这里有精品| 91热久久| 热99色| 超碰在线综合| 2025最新亚洲激情在线| 思思热视频| 色爱五月天| 综合色五月亭亭| 一起肏在线视频| 99re熱| 无码网站视频| 激情开心五月天| 亚洲瑟瑟精品在线| 五月综合激情视频在线| 99色综合| 婷婷色五月情| 99精品网址| 丁香五月婷婷超碰在线| 精品少妇蜜臀91| 熟女91九色| 97人人草| 天天干天天干天天| 亚洲 在线 性爱 | 九九热最新| 五月婷在线影院| 色很很96| 亚洲综合五月天| www.天天干| 婷婷激情五月天小说| 五月丁香婷婷福利| 99色在线| 亚洲av综合在线| 五月丁香拍拍激情综合| 激情婷婷久久| 五月天小说激情| 亚洲中文字幕网| 五月丁香婷婷潮喷中文字幕| 色久婷婷五月| 熟女网站久久| 色婷婷91激情小说| 99∨VTV| 青青草轻轻操| 丁香五月亚综合图片| 成人日韩欧美| 丁香五月天.com| 99热个人在线| 开心五月婷婷激情| 97久久久久| 66精品成人免费网站在线观看| 性一交一乱一交A片久久四色| 色综合中文综合网| 色欲一区二区三区精品A片| 成人 视频免费观看网站| 成人αV视频免费观看| 婷婷四色五月| 欧美在线视频免费播放| 5月婷婷五月天| 丁香五月另类小说在线阅读| 六月色色| 免费婷婷| 国产成人在线不卡AV| 精品99*| 97色色色| 久99热| 大香蕉伊人久久| 欧美狠狠色| 99爱在线观看视频| 五月婷AV| 五月涩涩网| 六月丁香射婷婷欧美色图片| 热九九精品| www.久久久久久久| 亚洲人人96@| 亚洲性爱日韩无码| 99久久性爱| 91chinese在线| 五月停停99| 国产看真人毛片爱做A片| 久色资源| 97综合在线| 97九色视频| 色色网站日本91| 色高清无码视频| 丰满少妇猛烈A片免费看观看| 亚洲视频a| 99热这里只有精品2| 丁香五月日韩| 99久re热视频精品98| 五月婷婷久久大香蕉| 五月婷婷激情日本| 亚洲色图五月丁香| 4399在线日本A片| 久久9精品视频| 超碰在线9| 九九热99免费视频| 日本色色色| 婷婷综合色色| 亚洲操B| 丁香婷婷人妻| 极品人妻VIDEOSSS人妻| 99热免费观看| 久久激情网| 日韩无码色色| 五月天婷婷深深爱| 五月丁香六月激情啪| 五月天色婷婷基地| 五月Huangsewang| 99精品爱| 日日噜噜久久婷婷五月天| 亚洲色视频| 91在线视频综合| 熟女激情网| 五月婷婷六月丁香免费| 国产精品99久久久久久久女警| 久久婷狠狠色| 亚洲AV网址| 久久er视频6| 婷婷大美在线| 亚洲AV色婷婷人禽五月天| 五月婷婷六月丁香在线| 色99网| 涩五月婷婷| 久久92| 久久 婷婷 五月天| 99久久国产成人精品| 成人在线二区| 无码色| 六月丁香深深爱综合网| 91性交在线播放| 日日天天干| 99九九99九九九视频精彩| 五月婷婷色五月| 能看的AV网站| 婷婷色色欧美| 色偷偷综合| 久热这里只有精品视频6| 欧美激情-区二区三区| 丁香色成人| 丁香六月 婷婷六月| 色色色九九九五月婷婷| 91人操人人人操人| 五月天婷婷在看| 久久婷婷大香蕉| 97九色| 人人爱天天摸摸天天爱| 97性高潮久久久| 狠狠综合网| 婷婷五月天AV激情| 偷拍91九色| www.夜夜騎夜夜狠| 天天综合 99久久婷婷| www色婷婷| 婷婷五月天激情基地| 国产熟女一区二区三区五月婷| 欧美交换配乱吟粗大25P| 色婷婷久综合久久一本国产AV| 99自拍视频网站| 日韩AV无码影片| 991国产精选视频在线播放下载| 五月婷婷与六月丁香图片激情| 雪千夏麻豆| 五月天大香蕉| 久久人妻www| 九九这里只有精品在线视频| 一级七香蕉| 色狠狠综合| 开心五月网| 色色亚洲无码| 六月丁香色色色| 日本操B视频| 91美女被操| 99热久草| 99亚洲综合| 99人妻碰碰碰久久久久视| 丁香六月激情综合| 亚洲婷婷久久综合| 深爱1激情网| 久久视这里只有精品| 色婷婷无吗| 538在线精品| 超碰97干| 精品成人a v无码内射| 六月激情婷婷色| 久久综合首页| 亚洲激情Av| 中文字幕按摩做爰| 亚洲精品国产成人AV在线| 五月丁香另类网| 丁香婷婷六月婷婷六月婷婷六月婷婷| 91精品又长又大又粗又爽又猛| 狠狠干五月| 色五月 五月婷婷| 夜夜骑夜夜撸| 色爱终和网| 噜综合| 亚洲色图45p| 婷婷五月天网址| 三级大香蕉网| 久久亚洲精品成人无码网站导航| 97精品综合久久| 大香蕉人人人| 丁J香六月首页| A片试看120分钟做受图片| 99久热这里只有精品| 亚洲第一综合| 噜噜色婷婷| 久久这里只有国产视频| 五月天欧美 另类小说| 天天射影| 淫视馆aV二区一区| 成年人夜夜喷水| 久久久久99精品成人网站| 日逼影音先锋AV男人资源站| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | AV在线资源| 天天操综合网| 五月丁香五月婷婷在线观看| 婷婷深爱网| www.思思99热| 久婷婷久草| oumeisesewang| 综合激情五月四射婷婷| 五月综合久久| 五月天丁香六月综合| 91碰视频| 大香蕉婷婷色| 伊人99热| 天天曰夜夜爽| 色八月婷婷| 婷婷五月亚洲激情| 五月色婷婷亚洲| 天天色综和网| 77799热| 伦乱美欧| 五月丁香婷婷婷婷综合网| 日韩一66精品| 婷婷色色播五月天| 久久五月婷婷开心网| 日在线V视频在线播放| 丁香五月激情六月综合| 狠狠干狠狠干狠狠干狠狠干| 99精品7| 婷婷五月天激情五月天网站| 快色t v在线入口| 99热这里只有精品官网| 26uuu另类亚洲欧美日本一| 五月色精品| 日韩十国产极品久久| 九九精品视频在线6| 婷婷五月美女直播| 另类小说色婷婷| www999日韩精品| 婷婷色导航| 久久婷婷亚洲| 免费无码毛片一区二区A片| 国外亚洲成AV人片在线观看| 99爱在线| 亚洲综合另类| 色五月激情视频在线综合| 99rewww| 激情狠狠丁香月| 无码任你操| 99A级片| 六月婷婷综合| 亚洲激情四射色| 99玖玖视频| 超碰色色综合| 这里只有精品视频国产| 小视频一区| 久久99网| 亚洲中文乱字字幕在线永久| 欧美成人AAA片一区国产精品| 日韩欧美性爱| 97精品欧美91久久久久久久| 色综合久久五月| 99热这里只有精品官网| 日韩人妻无码精品| 青青草国产亚洲精品久久| 六六久久黄色| 丁香九月综合激情| 亚洲激情五月婷婷日日| 激情五月六月婷婷| 天天噜噜| 久9久视频精品| 在线中文亚洲| 日韩婷婷五月天| 综合色播| 五月天啪啪| 伊人青涩网| 97人人操人人爽| 狠狠干五码| 久热黄色| 久草婷婷网| 五月婷婷天堂| 天天cha成人综合网| 123草逼网| 少妇高潮呻吟A片免费看软件| 丁香九色不卡aaa| 超碰91在线| 丁香五月色情av| 爱操人妻| 色婷五月天综合网| 综合激情站| 91色色色视频| 婷婷丁香77777| 色小说五月天| 国产精产国品一二三在观看| 涩 五月 婷婷 狠狠| 再次出发二| 丁香六月激情综合| 日本不卡一区二区三区| 99A级片| 开心综合激情综合| 99热66| 玖玖99精品视频| 人人天堂操| 久久婷婷综合网| 99热爆在线| 色婷婷黄色网络| 九九無妻| 五月激香蕉网| 亚洲无码成人网| 丁香五月天堂网| 色婷婷丁香女女| 蜜桃婷婷五月| 免费视频WWW在线观看网站| 《久久综合九色综合97婷婷| 甈吧vv| 五月天色色网站| 婷婷综合伊人| 九九無妻| 精品人妻伦一二三区久久| 四虎婷婷五月天| 国产阿姨日皮艹逼内射视频| 激情六月丁香综合| 操笔无码| 丁香五月日本| 丁香五月婷婷亚洲另类| 色青青视频| www.人人操人人看人人想人人摸 人人人人操,COM | 亚洲精品视频电影| 色99自拍| 操久久网| 婷婷五月激情热播| 五月激情六月| 婷婷六月丁香1| 玖操97| 五月丁香婷婷激情澎湃四射| 丁香五月婷婷色播艳门照| 久久机热这里只有精品| 五月婷婷啪啪啪啪| 99热精品无码| 日本激情91| 亚洲AV免费在线| 五月天激情久久| 狠狠狠狠狠| 久久黄色片| 国内精品免费一区二区2009| 国产SUV精品一区二区883| 色婷婷五月天| 9|人妻人人操| 亚洲 欧洲 国产 伦综合| 九九综合网色全集 | 99综合| 大香蕉婷婷久久| 337p大胆噜噜噜噜噜91Av| 青草五月天| 精品无码久久久久久久久 | 婷婷激情97| 久人操| 在线视频你懂得| 人人爱天天摸摸天天爱| 色五月丁香六月婷婷| 六月综合婷婷开心伊人| 久久久久久综合88| 202丰满熟女妇大| 日韩人妻在线播放| 爆乳熟女一区二区三区爆乳| 只有精品视频在线观看| 精品99只有。| 天天草天天爽| 思思久久99| 色五月丁香A欧美com| 激情综合在线播放| 色婷五月婷婷| 日日夜夜狠狠干| 性生活视频98791| 丁香六月婷婷久久综合| 成人视频免费观看高清完整版在线观看| 亚洲无aV在线中文字幕| 久久66er久久| 丁香五月婷在线观看| 丁香五月综合激情性爱| 丁香五月色| 五月天激情综合网| 激情五月天噢美| 六月丁香社区| 午夜大香蕉| 一本色道久久综合狠狠躁一二三| 91精品国产日韩91久久久久久国模| 五月婷五月婷伊人伊人五月婷| 狠狠五月激情婷婷直播片| 色婷婷免费视频| 综合久久丁丁香婷| 五月天开心色情网| 热成人网| 五月丁香六月婷婷久久| 神马久久五月天| 亚洲丁香花色| 激情色色色| 久久人妻精品| 任你搞网站| 精品怡红九九九| 欧美婷婷| 午夜日韩久久久网站| 电影蜘蛛女| 开心五月天激情网| 成人做爰高潮A片免费视频| 色www.con| 久热最新视频| 久久婷婷青草五月天| 99精品大片| 丁香网站| 五月丁香另类图片| www激情五月天| 久久婷婷伊人| 六月久久婷婷| 超碰熟女拍拍| 国产精品美女久久久久AV超清 | 婷婷五月天影院| 激情五月,激情综合网| 五月丁香狠狠爱| 丁香五月激情棕合| 99精品大片| 激情五月婷婷| 97色色-99久久| 五月天激情四射网站| 北条麻妃伊人| 夜夜天天久久婷婷| 激情五月婷婷五月| 久操福利| 色五月激情五月开心五月| 婷婷五月天天| 性爱在线播放av| 97香蕉久久超级碰碰高清版 | 日韩精品色| 亚洲va综合va国产va中文| 自拍偷窥99热| 99热免费| bukadeavzaixian| 色五月亚洲开心网| 激情玖玖sh| 亚洲亚洲激情| 开心激情综合| 婷婷五月天丁香花| 亚洲成人AV在线观看| 91久草五月天婷婷| 中文乱子伦视频| 99ri网站在线观看| 99热这里只有精品2016| 中文字幕无码人妻少妇免费视频| 五月丁香婷婷网网网网| 五月婷婷激情久久| 国产精品成人在线| 丁香花五月天激情| 99视频九九热| 噜噜操操| 日韩高清成人| 亚洲av成人在线| 99日本在线| 啪啪激情网| 成人av中文字幕| 激情九月婷婷| 在线99热| 亚洲综合激情五月久久| 婷婷综合欧美| 久久九色| 久久国产性爱A V| 天天操综合网| 情情五月天色| 欧美色片中文字幕久久久久| 这里只有精品久| 久久久久久久91| 色五月六月| 伊人久久综合| 久久五月网| 色色操| 69精品人人人人| 狠色狠色狠色狠色狠色网| 天天狠狠综合精区| 99视频只有这里精品| 色色色天堂网| 日韩成人电影在线播放| 久久婷婷伊人| 久久婷婷热| 丁香五月婷婷色综合基地| 日本精品人妻无码77777| 激情美女五月天激情在线| 午夜激情四射影院| 婷婷综合成人| 综合色色婷婷| 人妻AV中文系列| 婷婷五月丁香六月天亚洲综合| 92久操视频| 五月天丁香综合久久国产| 99热只有精品综合| 久久人妻熟女一区二区| 亚洲五月色| 五月丁香六月婷婷成人| 婷婷五月天成人网| 很很干五月天| 海外网站专业操老外| 色婷婷九月| www.狠狠色.com| www.cao.com久久| 日本色色网站| 夜夜涩涩涩| 99色在线观看视频者| 国产日韩欧美性爱| 色情性爱视频网址| 久久91久久精品久久| 亚洲色色色| 五月丁香综合啪啪啪啪啪| 激情五月天婷婷播播久久综合91| 人人爱摸视频| WWW色综合| 无语停婷丁香网| 黄色三级日本| 色婷丨日丨天丨综合久久| 亚洲国产网站| 婷婷亚洲综合| 丁香六月成人| 色丁香五月天射婷婷爱婷婷| 91嫩草国产线观看亚洲一区二区| 日韩在线视频中文字幕| 日韩一66精品| 99色免费| 精国产品一区二区三区A片 | 五月激情啪啪啪| 九九热在线观看视频网站| 4399伦理午夜| 丰满少妇猛烈A片免费看观看| 婷婷色导航| 免費亭亭成人| 丁香玖玖视频大全| 国产一区二区三区影院| 狠狠干综合| 深爱五月天 开心网| 色狠狠999综合| 成人国产网站在线免费看| 五月色丁香| 久久久久人妻中文| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 丁香午月AV中文字幕| 丁香五月婷婷高清| 五月丁香成人网| 激情丁香六月| 亚洲婷婷激情五月天| 丁香五月亚洲激情婷婷射| 热久久婷婷| 激情综合五月婷婷| 大香蕉伊人99| 激情99在线视频| 九九热这里有精品23| 亚洲成人中心| a免费在线| 噜噜在线| 97操在线视频| 五月丁香五月婷婷| 久久久久99精品成人片| www.天天色综合| 激情五月色综合网| 果冻传媒A片一二三区| 大香蕉人妻| 99色干| 草综合14| 欧美综合激情五月天| 亚洲色色在线| 亚洲欧洲另类| 国产激情在线| 91精品视频男人的天堂| 色色网站毛片| 亚洲色婷婷| 五月天婷婷激情小说电影| 超碰在线超碰| 这里只有精品1| 99热这里只有精品最新| 狠狠五月丁香色婷| 天天婷婷综合| 欧美色婷婷| 色啪影院| 大香蕉网站,大香蕉综合| 影音先锋 一区| 色婷狠狠| 亚洲天堂AV综合网| 香蕉久日夜| 狠狠色综合五月人人| 免费无码毛片一区二区A片| 99在线观看精品视频| 五月婷婷99热| 秋霞A V毛片| 亚洲天堂啪啪| 色天堂在线| 色欧美影院| 九九 激情 网| 99.N在线视频| 天堂久久婷婷| 99九九综合久久九九| 超碰a女人的天堂| 婷婷五月天丁香社区| 丁香五月欧美| 99热成人精品网站| 色色五月婷婷久久| www激情网站| 啪啪夜久久| 五月丁香婷草| 色五月婷婷av| 婷婷五月深情丁香深爱日韩| 五月天婷婷激情网| 天天做天天爱天天日| 色视频2025| 色综合爱综合| 久久综合天天综合| 五月深爱激情网| 日日天天干| 五月停停999| 大香蕉婷婷丁香视频在线| 激情性爱五月天| 婷婷天天色| AA片在线观看视频在线播放| 丰满少妇猛烈A片免费看观看 | 99视频综合| 日韩av高清| 久久九九99桃花视频| 婷婷丁香花五月天| 狠狠搞五月天| 婷婷六月网| va亚洲中文在线| 五月天桃色深爱网| 91欧美日韩综合| 国产激情综合| 超极99精品| 九色地址91视频| 久久色情| 五月婷婷中文网| 天天日天天干天天天| 超碰免费大香蕉| 综合久久99| 亚洲A片成人无码久久精品青桔| 婷婷天堂伊人| 日韩黄色网络| 综合五月草| 都市激情五月婷婷亚洲| 亚洲婷婷欧美婷婷| 五月天婷婷在线观看| 99精品偷自拍| 久久九精品| 五月天国产成人| 思思热99在线视频| 在线观看亚洲视频影院| 熟女色专区| 秋霞三及片| 国产成人av在线播放| 精品无码久久久久久久久 | 九九色大香蕉| 99久热这里有精品| 激情小说婷婷五月| 久久免片| 久久男人网婷婷| 亚洲AV成人精品日韩在线播放| 手机看片日日做夜夜| 丁香五月激情婷婷婷婷在线观看| www.五月.com| 丁香五月天日韩无码| 午夜色婷婷| 青草激情在线| 九九色逼| 亚洲AV久久久久久久久久久久久久久久| 大香蕉五月天婷婷丁香91| 久久黄色免费视频| 婷婷六月色| 亚洲无AV在线中文字幕| 99久久五月丁香野外| 人妻性爱| 日日干日日| 欧美三级巜人妻互换| 超碰在线免费9| 五月天成人手机在线视频| 九九99精品视频| 不卡在线中文字幕无| 色婷婷欧美| 天天天天爽爽天干| www.91久久| 成人免费在线电影| 天天久久综合| 尔尔AV一区| 狠狠色婷婷7777久综合| 天干天天干天天天天天| 婷婷久久五月天丁香| 五月天婷婷青青草| 丁香六月婷婷一区| 综合性爱网| 超碰国产一区| 立川无码av| 亚洲综合草草| 婷婷丁香五月视频| 色另类五月天| 久热人妻| www久久久久久| 色五月天网| 丁香五月在线播放| 丁香色成人| 99色色色色| 天天日天天久久青青| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 在线视频区| 婷婷激情五月天综合| 9色在线视频| 综合色视频| 久草xx性爱视频| 香蕉久久国产AV一区二区| 国产成人av在线| 色播丁香| 日本色色网站| 人人人舔人人人操人人人摸人人人97 | 天天爽天天摸| 蜜臀AV在线观看| 亚洲成人网无码| 999热在线视频| caopeng97人人| 六月丁香久久| 久久久精品婷婷五月天| 六月香五月婷| 91欧美| 亚洲无码成人网| 九九热欧美| 日本九九视频| 日本成人噜噜噜| 操操操91| 天天色激情| www.seqingwuyuetian| 天天爽,天天操。| 成人午夜无码视频| 97色色-99久久| 五月叮香啪| 久久曰曰| 九九性视频| 99视频自拍| 91一起操| 99精品在线播放| 欧美婷婷五月丁香| 欧美99热| 五月丁香久久| 久热视频A.| 91一起操| 六月婷婷网| 少妇高潮呻吟A片免费看软件| 亚洲精品五十一区| 精品一二三区久久AAA片| 嫩草综合网| 丁香五月激情久久麻豆| 五月婷婷婷婷婷婷艺术| 五月婷视频| 九九爱激情| 色天堂操| 久久香蕉丁香| 激情五月天色网站| 五月丁香六月婷婷久久| 只有精品在线观看| 天堂成人A片永久免费网站| 丁香五月天激情| 婷婷五月综合欧美在线播放| 人妻熟人中文字幕一区二区| 五月天五月色| 欧美三级大片AA在线看| 丁香五月天论坛| 日本人人草草| 91久久久久久久| 丁香五月婷婷啪| 色狠狠色噜噜AV天堂五区| 这里只有精品视频在线看| 伊人成综合五月婷婷| 激情婷婷五月天| 欧美操人| 国产做爰视频免费播放| 热成人网| 九热电影av| 99热超碰在线| 亚洲婷婷月丁香五月| 丁香五月天大香蕉啪啪| 开心五月网 | 五月婷婷久久大片| 五月天婷婷乱论小说| 色综合区| 欧美丰满熟妇BBB久久久| 激情五月天www| 干一干xxxx| 99网| 六月天丁婷婷| 五月丁香激| 婷婷五月花| 综合久久六月| 日韩综合天堂| 日本欧美成人片AAAA| 欧美成人色婷婷| www.99视频| 国产AV影片| 五月狠狠| 热99精品视频观看| 九九精品婷| 婷婷五月天伊人| 久久欧洲综合网| 婷婷99视频精品| 苗黎美女四级成人版一级二级毛片| 欧美性丁香色色五月天干干| 婷婷五月色播网| 综合福利网| 91婷婷丁香| 亚洲综合在线丁香五月| 日本色天堂| 精品99*| 五月婷婷丁香在线|