欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Linux fork函數(shù)詳解:返回值、COW寫(xiě)時(shí)復(fù)制與僵尸進(jìn)程排查

Linux fork函數(shù)詳解:返回值、COW寫(xiě)時(shí)復(fù)制與僵尸進(jìn)程排查 第一次看到fork這個(gè)函數(shù)我盯著那句“調(diào)用一次返回兩次”琢磨了挺久——一個(gè)函數(shù)怎么可能有兩次返回后來(lái)在內(nèi)核源碼里把kernel_clone到copy_process這條路走了一遍才算真正把這件事想通。它難懂不是因?yàn)楦拍钣卸嘈醵且驗(yàn)樗荒_踩在用戶態(tài) API 和內(nèi)核調(diào)度器的交界處你在 C 代碼里看到的只是一行函數(shù)調(diào)用背后卻是整個(gè)進(jìn)程地址空間的復(fù)制、頁(yè)表的重新登記、調(diào)度實(shí)體的插入。Linux 的 fork 函數(shù)幾乎是所有多進(jìn)程程序的起點(diǎn)從 shell 執(zhí)行命令、Nginx 拉起 worker、到你自己寫(xiě)的批量任務(wù)分發(fā)腳本底層都是同一套東西。這篇文章我想寫(xiě)給兩類人一類是剛學(xué)完操作系統(tǒng)課本、知道“fork 會(huì)復(fù)制進(jìn)程”但一寫(xiě)代碼就蒙的同學(xué)另一類是在項(xiàng)目里被僵尸進(jìn)程、緩沖區(qū)重復(fù)輸出、子進(jìn)程不受控這些問(wèn)題咬過(guò)、想把這套機(jī)制徹底捋順的開(kāi)發(fā)者。我會(huì)從內(nèi)核實(shí)現(xiàn)路徑、返回值語(yǔ)義、代碼實(shí)操、參數(shù)取舍一路講到排查實(shí)錄代碼都能直接跑坑也都標(biāo)出來(lái)。1. fork 的本質(zhì)一次調(diào)用為何有兩次返回1.1 從用戶態(tài)看它只是三個(gè)整數(shù)之一從調(diào)用者角度看fork的接口簡(jiǎn)單到幾乎沒(méi)有任何可配置項(xiàng)——沒(méi)有參數(shù)沒(méi)有任何 flag只返回一個(gè)pid_t。這個(gè)返回值分三種情況必須先記牢因?yàn)楹竺?90% 的 bug 都源于這里判斷錯(cuò)了返回值出現(xiàn)在哪個(gè)進(jìn)程含義 0父進(jìn)程這個(gè)值是剛創(chuàng)建出來(lái)的子進(jìn)程 PID 0子進(jìn)程說(shuō)明“我就是那個(gè)新進(jìn)程”沒(méi)有別的信息 -1父進(jìn)程創(chuàng)建失敗原因看errno有一點(diǎn)很容易被忽略子進(jìn)程拿到的 0 不是“子進(jìn)程的 PID 是 0”而是一個(gè)標(biāo)記位。子進(jìn)程想知道自己的 PID 得調(diào)getpid()想知道爹是誰(shuí)得調(diào)getppid()。我見(jiàn)過(guò)不少人寫(xiě)成if (pid 0) { /* 子進(jìn)程 */ }邏輯反了還不報(bào)錯(cuò)程序在多核機(jī)器上跑出來(lái)的結(jié)果飄忽不定排查半天才發(fā)現(xiàn)是分支寫(xiě)反。#include stdio.h #include unistd.h #include sys/types.h int main(void) { pid_t pid fork(); if (pid 0) { perror(fork); return 1; } else if (pid 0) { printf(child : pid%d ppid%d\n, getpid(), getppid()); } else { printf(parent: pid%d child%d\n, getpid(), pid); } return 0; }編譯就用gcc -Wall -O0 fork_demo.c -o fork_demo加-Wall是習(xí)慣編譯器對(duì)fork相關(guān)的返回值未檢查會(huì)給出提示能擋掉一批低級(jí)錯(cuò)誤。1.2 內(nèi)核里那條路從系統(tǒng)調(diào)用到copy_process用戶態(tài)的一次fork()最終會(huì)落到內(nèi)核的sys_forkx86-64 上走_(dá)_x64_sys_fork再進(jìn)到kernel_clone。這個(gè)名字在不同內(nèi)核版本里變過(guò)老版本叫_do_fork5.x 之后統(tǒng)一成kernel_clone。真正干重活的是copy_process它按順序做了這么幾件事dup_task_struct復(fù)制一份task_struct和內(nèi)核棧此時(shí)父子進(jìn)程的描述符已經(jīng)存在但內(nèi)容還很“空”。一系列權(quán)限與配額檢查RLIMIT_NPROC限制、系統(tǒng)級(jí)線程數(shù)上限、用戶進(jìn)程數(shù)上限任何一項(xiàng)超了就直接返回錯(cuò)誤。sched_fork給新任務(wù)初始化調(diào)度實(shí)體把它掛到調(diào)度器上但此時(shí)還沒(méi)真正運(yùn)行。copy_files、copy_fs、copy_sighand這幾項(xiàng)大多是增加引用計(jì)數(shù)而不是深拷貝。打開(kāi)的文件表、信號(hào)處理函數(shù)表、工作目錄這些父子共享同一份內(nèi)核對(duì)象。copy_mm這是最重的一步復(fù)制內(nèi)存描述符、遍歷所有 VMA、復(fù)制頁(yè)表并把父子雙方的頁(yè)表項(xiàng)統(tǒng)統(tǒng)改成只讀。alloc_pid分配一個(gè)新的 PID。wake_up_new_task把子進(jìn)程放進(jìn)運(yùn)行隊(duì)列等調(diào)度器挑中它。父進(jìn)程在kernel_clone返回處拿到子進(jìn)程 PID子進(jìn)程不是“返回”到這個(gè)位置而是被調(diào)度到時(shí)從ret_from_fork這條棧幀直接跳回用戶態(tài)返回值寄存器被填成 0。所以“一次調(diào)用兩次返回”這個(gè)說(shuō)法其實(shí)有點(diǎn)誤導(dǎo)——它不是同一個(gè)函數(shù)返了兩遍而是兩個(gè)獨(dú)立的執(zhí)行流各自從內(nèi)核態(tài)穿越回用戶態(tài)只是它們穿越前在同一段內(nèi)核代碼里待過(guò)。1.3 為什么不做全量拷貝COW 的取舍邏輯如果fork真的把父進(jìn)程幾百 MB 內(nèi)存整塊復(fù)制一遍那創(chuàng)建一個(gè)進(jìn)程的開(kāi)銷會(huì)大到?jīng)]法用。早期的確是這個(gè)思路fork后緊跟execve的場(chǎng)景浪費(fèi)極其嚴(yán)重——復(fù)制了一大堆馬上要被覆蓋的內(nèi)存。寫(xiě)時(shí)復(fù)制Copy-On-Write簡(jiǎn)稱 COW就是為了解決這個(gè)浪費(fèi)copy_mm復(fù)制頁(yè)表時(shí)父子進(jìn)程的頁(yè)表項(xiàng)指向同一批物理頁(yè)只是把這些頁(yè)的權(quán)限位從可寫(xiě)改成只讀同時(shí)在task_struct里把頁(yè)標(biāo)記成 COW 頁(yè)。真正的復(fù)制推遲到有人寫(xiě)的那一刻。任意一方寫(xiě)入觸發(fā)缺頁(yè)異常內(nèi)核發(fā)現(xiàn)這是個(gè) COW 頁(yè)才分配新物理頁(yè)、把原內(nèi)容拷過(guò)去、改回可寫(xiě)然后重新執(zhí)行那條指令。這個(gè)設(shè)計(jì)的精妙之處在于只讀的父子進(jìn)程幾乎零成本只有真正被修改過(guò)的頁(yè)才付出復(fù)制代價(jià)。但 COW 不是沒(méi)有成本。fork的耗時(shí)和進(jìn)程當(dāng)前占用的虛擬內(nèi)存成正比因?yàn)轫?yè)表本身要復(fù)制。粗算一下x86-64 上普通頁(yè)是 4KB一個(gè)占 1GB 內(nèi)存的進(jìn)程大約有 26 萬(wàn)個(gè)頁(yè)表項(xiàng)每個(gè) PTE 8 字節(jié)光頁(yè)表數(shù)據(jù)就是 2MB 左右再加上遍歷 VMA 的時(shí)間。所以你會(huì)發(fā)現(xiàn)一個(gè)現(xiàn)象——空進(jìn)程fork微秒級(jí)就完了幾百 MB 的服務(wù)進(jìn)程fork一次可能要好幾個(gè)毫秒。這個(gè)結(jié)論直接影響了后面的選型判斷。注意COW 讓父子共享物理頁(yè)但邏輯上是兩個(gè)獨(dú)立的地址空間。子進(jìn)程里的malloc返回值在父進(jìn)程里沒(méi)有任何意義別指望用這個(gè)地址跨進(jìn)程傳數(shù)據(jù)那需要共享內(nèi)存或者管道。2. 執(zhí)行流、競(jìng)爭(zhēng)與繼承那些課本上不講清楚的事2.1 父子誰(shuí)先跑答案是“不知道”fork返回之后父進(jìn)程和子進(jìn)程誰(shuí)先被 CPU 執(zhí)行完全由調(diào)度器決定沒(méi)有任何順序保證。在多核機(jī)器上兩個(gè)進(jìn)程大概率是真并行在單核上時(shí)間片怎么分也看調(diào)度策略。這意味著任何依賴“父進(jìn)程先執(zhí)行完再輪到子進(jìn)程”的代碼都是錯(cuò)的。我踩過(guò)的第一個(gè)坑就出在這里一個(gè)父進(jìn)程里 fork 之后立刻往共享的文件描述符寫(xiě)數(shù)據(jù)子進(jìn)程也寫(xiě)結(jié)果兩次實(shí)驗(yàn)跑出來(lái)的內(nèi)容順序完全不一樣。當(dāng)時(shí)以為是文件系統(tǒng)的問(wèn)題其實(shí)是執(zhí)行順序不確定。正確的處理方式是顯式同步——用waitpid等子進(jìn)程結(jié)束用管道通信用信號(hào)量互斥而不是靠“大概會(huì)先跑我”。#include stdio.h #include unistd.h #include sys/wait.h int main(void) { pid_t pid fork(); if (pid 0) { printf(child working\n); _exit(0); } int status 0; waitpid(pid, status, 0); printf(child exited, status%d\n, WEXITSTATUS(status)); return 0; }子進(jìn)程退出用_exit而不是exit這是個(gè)細(xì)節(jié)但很重要。exit會(huì)執(zhí)行atexit注冊(cè)的函數(shù)、刷新 stdio 緩沖區(qū)而這些緩沖區(qū)是從父進(jìn)程繼承來(lái)的如果父進(jìn)程 fork 前有沒(méi)刷新的內(nèi)容子進(jìn)程exit時(shí)又刷一遍輸出就重復(fù)了。_exit直接走系統(tǒng)調(diào)用跳過(guò)所有這些用戶態(tài)清理干凈利落。2.2 文件描述符繼承共享的不只是“編號(hào)”fork之后子進(jìn)程會(huì)得到父進(jìn)程所有打開(kāi)文件描述符的副本但這里有個(gè)特別容易誤解的地方復(fù)制的是描述符不是文件對(duì)象。父子雙方各自的 fd 編號(hào)可能不同但它們指向同一個(gè)struct file而struct file里存著文件偏移量。后果很直觀父進(jìn)程讀了 100 字節(jié)子進(jìn)程接著讀會(huì)從第 101 字節(jié)開(kāi)始而不是從頭讀。寫(xiě)文件同理兩邊交替寫(xiě)會(huì)互相覆蓋偏移。我在做一個(gè)日志切分的小工具時(shí)就被這個(gè)咬過(guò)父子都往同一個(gè)日志文件追加結(jié)果日志里出現(xiàn)了大片空洞——因?yàn)閮蛇叾荚谟胠seek挪同一個(gè)偏移量。想避免這個(gè)問(wèn)題常規(guī)做法是父子需要獨(dú)立讀寫(xiě)位置時(shí)子進(jìn)程 fork 之后自己重新open一次文件或者應(yīng)用層用O_APPEND打開(kāi)讓每次寫(xiě)都由內(nèi)核原子地定位到文件末尾或者干脆別讓多個(gè)進(jìn)程寫(xiě)同一個(gè)文件改成各自寫(xiě)各自的后續(xù)再合并。除了文件描述符子進(jìn)程還會(huì)繼承當(dāng)前工作目錄、信號(hào)處理方式SIG_IGN和自定義處理函數(shù)都繼承但未處理的信號(hào)會(huì)重置為默認(rèn)、umask、環(huán)境變量、資源限制。這些在寫(xiě)守護(hù)進(jìn)程的時(shí)候會(huì)集中爆發(fā)問(wèn)題。2.3 多線程進(jìn)程里 fork 的隱藏雷區(qū)這是我認(rèn)為最需要單獨(dú)拎出來(lái)說(shuō)的一條。fork只會(huì)復(fù)制調(diào)用它的那個(gè)線程其他線程在子進(jìn)程里全都不存在。但問(wèn)題來(lái)了那些線程持有的互斥鎖、條件變量、讀寫(xiě)鎖狀態(tài)是被原樣復(fù)制過(guò)去的。如果 fork 的瞬間某個(gè)鎖正被另一個(gè)線程持有那么在子進(jìn)程里這把鎖永遠(yuǎn)處于“被鎖住”的狀態(tài)而持有者已經(jīng)不存在了任何試圖加鎖的代碼都會(huì)永久阻塞。規(guī)避方式有三條路按推薦程度排fork 完立刻 execve。這是最安全的姿勢(shì)execve會(huì)把整個(gè)用戶態(tài)地址空間換掉鎖的狀態(tài)也一并消失。絕大多數(shù)“fork 后要干事”的場(chǎng)景其實(shí)都該走這條路。fork 之前保證沒(méi)有其他線程在跑比如在程序啟動(dòng)早期就把需要 fork 的邏輯做完。用pthread_atfork注冊(cè) prepare/parent/child 三個(gè)鉤子在 fork 前后手動(dòng)加解鎖。這套機(jī)制能解決問(wèn)題但很容易寫(xiě)成死鎖尤其是涉及多把鎖的時(shí)候加鎖順序稍不注意就翻車(chē)。提示如果你的程序用了線程池同時(shí)又有 fork 子進(jìn)程的需求請(qǐng)優(yōu)先考慮把子進(jìn)程部分改成獨(dú)立進(jìn)程或者獨(dú)立的服務(wù)不要在同一進(jìn)程里混用?;煊脦?lái)的調(diào)試成本遠(yuǎn)高于拆開(kāi)的改造成本。3. 動(dòng)手實(shí)操?gòu)淖钚?Demo 到可用的進(jìn)程管理3.1 循環(huán) fork 的 2 的 n 次方陷阱先看一段看起來(lái)人畜無(wú)害的代碼for (int i 0; i 3; i) { fork(); printf(pid%d, i%d\n, getpid(), i); }很多人以為這會(huì)產(chǎn)生 3 個(gè)子進(jìn)程加 1 個(gè)父進(jìn)程。實(shí)際結(jié)果是 8 個(gè)進(jìn)程。原因在于fork之后父進(jìn)程繼續(xù)循環(huán)子進(jìn)程也從 fork 的下一行繼續(xù)執(zhí)行于是它也進(jìn)入下一輪循環(huán)并且再次 fork。每一輪都把當(dāng)前進(jìn)程數(shù)翻倍3 輪就是 23 8。這個(gè)行為本身沒(méi)錯(cuò)是很多人對(duì)“子進(jìn)程從哪開(kāi)始執(zhí)行”的理解有偏差。子進(jìn)程不是從main重頭開(kāi)始而是從fork返回點(diǎn)繼續(xù)。如果確實(shí)需要?jiǎng)?chuàng)建 N 個(gè)并列的工作進(jìn)程比如預(yù)派生模型正確寫(xiě)法是在子進(jìn)程里立刻跳出循環(huán)#define WORKERS 4 for (int i 0; i WORKERS; i) { pid_t pid fork(); if (pid 0) { perror(fork); break; } if (pid 0) { worker_loop(i); /* 子進(jìn)程干活不再進(jìn)入下一輪 */ _exit(0); } } /* 父進(jìn)程在這里統(tǒng)一 wait */關(guān)鍵就是if (pid 0)分支里干完活直接_exit絕不落回循環(huán)體。這個(gè)模式叫預(yù)派生pre-forkNginx 的 worker 模型、老式 Apache 的 prefork 都是這個(gè)思路。好處是每個(gè) worker 獨(dú)立壞處是 worker 數(shù)在啟動(dòng)時(shí)就固定了得配合平滑重啟來(lái)調(diào)整。3.2 用 fork execve 寫(xiě)一個(gè)迷你 shell想真正理解 fork最好的練習(xí)是寫(xiě)一個(gè)能跑命令的 shell。它的核心邏輯只有四步讀一行、切參數(shù)、fork、子進(jìn)程 exec。#include stdio.h #include stdlib.h #include string.h #include unistd.h #include sys/wait.h #define MAXLINE 1024 int main(void) { char line[MAXLINE]; while (fgets(line, sizeof(line), stdin) ! NULL) { line[strcspn(line, \n)] \0; if (line[0] \0) continue; if (strcmp(line, exit) 0) break; char *argv[64]; int argc 0; char *tok strtok(line, ); while (tok ! NULL argc 63) { argv[argc] tok; tok strtok(NULL, ); } argv[argc] NULL; pid_t pid fork(); if (pid 0) { perror(fork); continue; } if (pid 0) { execvp(argv[0], argv); perror(execvp); /* 只有 exec 失敗才會(huì)走到這里 */ _exit(127); } int status 0; waitpid(pid, status, 0); if (WIFEXITED(status)) { printf([exit %d]\n, WEXITSTATUS(status)); } else if (WIFSIGNALED(status)) { printf([killed by signal %d]\n, WTERMSIG(status)); } } return 0; }幾個(gè)值得說(shuō)的點(diǎn)。execvp會(huì)自己去PATH里找可執(zhí)行文件所以直接敲ls就能跑。execvp成功的話永遠(yuǎn)不會(huì)返回返回值只在失敗時(shí)有用失敗后必須_exit(127)用 127 是 shell 界的慣例表示“命令沒(méi)找到”。waitpid拿到的status是個(gè)打包值不能直接當(dāng)退出碼用得用WIFEXITED、WEXITSTATUS、WIFSIGNALED這些宏去拆。我第一次寫(xiě)的時(shí)候直接printf(%d, status)輸出 256 讓我困惑了很久——其實(shí)真實(shí)退出碼是 1因?yàn)橥顺龃a存在高 8 位。這個(gè) shell 還很粗糙不支持管道、重定向、后臺(tái)任務(wù)但骨架已經(jīng)對(duì)了。想支持管道就需要在 fork 之前先pipe()然后兩個(gè)子進(jìn)程分別把dup2把讀端寫(xiě)端接到標(biāo)準(zhǔn)輸入輸出上這是個(gè)很好的練手項(xiàng)目。3.3 并行任務(wù)分發(fā)怎么定并發(fā)數(shù)再給一個(gè)更貼近實(shí)際工作的例子——把一批耗時(shí)任務(wù)拆給多個(gè)子進(jìn)程并行跑。這個(gè)模式在數(shù)據(jù)預(yù)處理、批量轉(zhuǎn)碼、壓測(cè)腳本里特別常見(jiàn)。#include stdio.h #include unistd.h #include sys/wait.h #define JOBS 4 static void do_work(int id) { sleep(1); /* 模擬耗時(shí)計(jì)算 */ printf(job %d done by pid %d\n, id, getpid()); } int main(void) { pid_t pids[JOBS]; for (int i 0; i JOBS; i) { pid_t pid fork(); if (pid 0) { perror(fork); pids[i] -1; continue; } if (pid 0) { do_work(i); _exit(0); } pids[i] pid; } for (int i 0; i JOBS; i) { if (pids[i] 0) { int status 0; waitpid(pids[i], status, 0); printf(child %d reaped, status%d\n, pids[i], WEXITSTATUS(status)); } } return 0; }并發(fā)數(shù)怎么定我的經(jīng)驗(yàn)是別超過(guò) CPU 邏輯核數(shù)。純計(jì)算型任務(wù)進(jìn)程數(shù)等于核數(shù)時(shí)吞吐最高再多只會(huì)增加上下文切換和內(nèi)存壓力??梢杂胹ysconf(_SC_NPROCESSORS_ONLN)拿到當(dāng)前可用核數(shù)再乘一個(gè)系數(shù)I/O 密集型任務(wù)等待磁盤(pán)、網(wǎng)絡(luò)系數(shù)取 2 到 4CPU 密集型任務(wù)系數(shù)取 1每個(gè)子進(jìn)程內(nèi)存占用大比如幾百 MB還得反過(guò)來(lái)壓低數(shù)量防止觸發(fā) OOM。另外要注意waitpid的回收順序。上面這段代碼是按創(chuàng)建順序回收的如果第 0 個(gè)任務(wù)特別慢后面三個(gè)早就跑完了也得等著。想做到“誰(shuí)先完誰(shuí)先回收”用waitpid(-1, status, 0)循環(huán)回收任意子進(jìn)程或者干脆用SIGCHLD信號(hào)處理。4. 資源、參數(shù)與選型什么時(shí)候該用 fork什么時(shí)候不該4.1 fork 失敗的兩種典型 errnofork返回 -1 時(shí)errno最常見(jiàn)的兩個(gè)值是EAGAIN和ENOMEM含義完全不同排查方向也不一樣。EAGAIN表示“資源暫時(shí)不夠”通常是進(jìn)程數(shù)配額打滿了。要檢查幾個(gè)地方RLIMIT_NPROC用ulimit -u看、系統(tǒng)級(jí)kernel.pid_max、kernel.threads-max還有 cgroup 里的pids.max。在容器環(huán)境里跑最容易撞的是 cgroup 的 pids 限制從宿主機(jī)上看一切正常容器里怎么都 fork 不出來(lái)。我遇到過(guò)的一次就是容器 pids 上限設(shè)得太小業(yè)務(wù)里但凡有個(gè) fork 都失敗日志里只留一行“Resource temporarily unavailable”查了半天才定位到配額。ENOMEM則是內(nèi)存不夠。注意這不一定是物理內(nèi)存耗盡也可能是因?yàn)?COW 機(jī)制下內(nèi)核需要為新進(jìn)程分配task_struct和內(nèi)核棧同時(shí)在復(fù)制頁(yè)表時(shí)需要申請(qǐng)內(nèi)存。內(nèi)存緊張時(shí)一個(gè)本身不大的進(jìn)程 fork 也可能失敗。這時(shí)候該看的是dmesg里有沒(méi)有 OOM 相關(guān)記錄以及/proc/meminfo的CommitLimit和Committed_AS。堆棧上還有一個(gè)坑內(nèi)核棧默認(rèn)不大歷史上是 8KB某些配置下更小fork本身不占用戶棧但如果你的代碼在fork前遞歸很深子進(jìn)程復(fù)制的是整個(gè)地址空間的映射雖然 COW 不會(huì)立刻復(fù)制物理頁(yè)但虛擬地址空間的布局是完全一致的棧溢出風(fēng)險(xiǎn)同樣被繼承過(guò)去。4.2 fork、vfork、clone、posix_spawn 怎么選這四個(gè)東西經(jīng)常被放在一起比較但它們的定位差別很大接口地址空間典型用途注意事項(xiàng)fork完全復(fù)制COW通用進(jìn)程創(chuàng)建大內(nèi)存進(jìn)程下耗時(shí)隨內(nèi)存增長(zhǎng)vfork與父進(jìn)程共享父進(jìn)程阻塞fork 后立刻 exec 的老場(chǎng)景子進(jìn)程不能 return只能_exit或 execclone可精細(xì)控制共享哪些資源實(shí)現(xiàn)線程、命名空間隔離參數(shù)復(fù)雜直接用的場(chǎng)景不多posix_spawn內(nèi)部實(shí)現(xiàn)可能用 vfork/clone單純想“起個(gè)程序”接口受限不適合 fork 后跑自定義邏輯選型上的判斷其實(shí)很簡(jiǎn)單如果你 fork 之后馬上就要 execve那就用posix_spawn它在 glibc 里會(huì)走clone(CLONE_VM | CLONE_VFORK)省掉整個(gè)頁(yè)表復(fù)制的開(kāi)銷在大內(nèi)存進(jìn)程里差距非常明顯。我在一個(gè)占內(nèi)存接近 1GB 的服務(wù)里把fork exec換成posix_spawn創(chuàng)建子進(jìn)程的耗時(shí)從毫秒級(jí)降到了幾十微秒級(jí)效果立竿見(jiàn)影。如果 fork 之后子進(jìn)程要跑一段自己的 C 邏輯改環(huán)境、設(shè)權(quán)限、接著算那還是老老實(shí)實(shí)fork。vfork不要碰它的約束太苛刻稍微寫(xiě)錯(cuò)一點(diǎn)就是未定義行為而且現(xiàn)代 glibc 的fork已經(jīng)在很多場(chǎng)景下優(yōu)化得夠好了。如果你需要的是“共享地址空間的并發(fā)”那你其實(shí)想要的是線程應(yīng)該用pthread_create而不是clone。clone是給需要做命名空間隔離、實(shí)現(xiàn)容器運(yùn)行時(shí)這類底層工具準(zhǔn)備的。4.3 內(nèi)存開(kāi)銷的實(shí)測(cè)感受我自己做過(guò)一個(gè)粗略的對(duì)比測(cè)試在同一臺(tái)機(jī)器上讓一個(gè)進(jìn)程分別占用 10MB、100MB、500MB 匿名內(nèi)存然后各 fork 1000 次記錄平均耗時(shí)。數(shù)量級(jí)上的結(jié)論是10MB 時(shí) fork 大約在幾十微秒100MB 時(shí)漲到一兩百微秒500MB 時(shí)到了毫秒級(jí)。這個(gè)增長(zhǎng)主要來(lái)自頁(yè)表復(fù)制和 VMA 遍歷跟寫(xiě)入多少數(shù)據(jù)無(wú)關(guān)。這個(gè)結(jié)論有很實(shí)際的指導(dǎo)意義如果你的服務(wù)常駐內(nèi)存很大就不要在熱路徑上頻繁 fork。要么改成常駐的 worker 池啟動(dòng)時(shí)一次性 fork 好之后靠任務(wù)隊(duì)列分發(fā)要么改用線程池要么在 fork 前盡量減少不必要的內(nèi)存映射。反之如果進(jìn)程很小比如一個(gè)命令行小工具fork 的開(kāi)銷基本可以忽略不用過(guò)度設(shè)計(jì)。5. 常見(jiàn)問(wèn)題與排查實(shí)錄5.1 僵尸進(jìn)程不是“沒(méi)死透”是“沒(méi)人收尸”子進(jìn)程結(jié)束后內(nèi)核不會(huì)立刻把它的task_struct全部釋放因?yàn)楦高M(jìn)程可能還需要讀取退出狀態(tài)。這個(gè)狀態(tài)叫僵尸態(tài)Z。只要父進(jìn)程調(diào)用了wait或waitpid狀態(tài)被讀取資源才會(huì)真正回收。如果父進(jìn)程一直不回收僵尸會(huì)越積越多。單個(gè)僵尸占的內(nèi)存不多主要是一個(gè)task_struct加內(nèi)核棧但 PID 是有限的數(shù)量堆上去之后新的 fork 就會(huì)返回EAGAIN。用ps aux | grep Z能一眼看到或者ps -eo stat,pid,ppid,comm | awk $1 ~ /^Z/。處理方式有幾種按場(chǎng)景選同步回收waitpid(pid, status, 0)適合明確知道要等哪個(gè)子進(jìn)程的場(chǎng)合。異步回收注冊(cè)SIGCHLD處理函數(shù)在處理函數(shù)里循環(huán)waitpid(-1, NULL, WNOHANG)直到返回 0 或 -1。注意SIGCHLD可能合并所以必須用循環(huán) WNOHANG不能只 wait 一次。主動(dòng)放棄如果確實(shí)不關(guān)心子進(jìn)程結(jié)果可以顯式忽略signal(SIGCHLD, SIG_IGN)在某些系統(tǒng)上這會(huì)讓子進(jìn)程退出時(shí)自動(dòng)被回收不用父進(jìn)程操心。但要注意這會(huì)影響到所有子進(jìn)程其他需要waitpid的地方就拿不到狀態(tài)了。#include signal.h #include sys/wait.h #include unistd.h static void on_sigchld(int sig) { (void)sig; int saved_errno errno; while (waitpid(-1, NULL, WNOHANG) 0) { /* 循環(huán)回收所有已退出的子進(jìn)程 */ } errno saved_errno; } int main(void) { struct sigaction sa; sa.sa_handler on_sigchld; sigemptyset(sa.sa_mask); sa.sa_flags SA_RESTART | SA_NOCLDSTOP; sigaction(SIGCHLD, sa, NULL); /* ... 業(yè)務(wù)邏輯 ... */ return 0; }信號(hào)處理函數(shù)里保存和恢復(fù)errno是個(gè)細(xì)節(jié)因?yàn)樾盘?hào)隨時(shí)可能打斷正在進(jìn)行的系統(tǒng)調(diào)用處理函數(shù)里如果改了errno回到被打斷的地方邏輯就亂了。SA_RESTART的作用是讓被信號(hào)打斷的系統(tǒng)調(diào)用自動(dòng)重啟減少EINTR的處理負(fù)擔(dān)。另一個(gè)容易被忽略的角色是孤兒進(jìn)程。父進(jìn)程先于子進(jìn)程退出子進(jìn)程就被“過(guò)繼”給initPID 1或者某些系統(tǒng)里的 subreaper由它負(fù)責(zé)回收。這本身不是問(wèn)題但如果你的程序里子進(jìn)程依賴父進(jìn)程做清理工作父進(jìn)程一死子進(jìn)程就成了沒(méi)人管的野進(jìn)程。做守護(hù)進(jìn)程或者熱重啟的時(shí)候要特別小心這一點(diǎn)。5.2 緩沖區(qū)重復(fù)輸出一個(gè)經(jīng)典到不能再經(jīng)典的坑這段代碼把輸出重定向到文件你會(huì)看到兩行hello#include stdio.h #include unistd.h int main(void) { printf(hello); /* 沒(méi)有換行 */ fork(); return 0; }原因在于 stdio 的緩沖策略。輸出到終端時(shí)是行緩沖遇到\n才刷輸出到文件時(shí)是全緩沖緩沖區(qū)滿了才刷。printf(hello)沒(méi)有換行內(nèi)容就躺在用戶態(tài)緩沖區(qū)里沒(méi)發(fā)出去。fork復(fù)制地址空間時(shí)這份緩沖區(qū)內(nèi)容原樣復(fù)制到了子進(jìn)程。父子進(jìn)程各自正常退出exit觸發(fā)刷新于是同一個(gè) hello 被寫(xiě)了兩次。這個(gè)坑的隱蔽之處在于同樣的代碼在終端上跑是正常的一重定向到日志文件就出問(wèn)題。所以排查時(shí)如果發(fā)現(xiàn)“日志里怎么有重復(fù)行”先看看是不是在fork前有沒(méi)刷新的輸出。規(guī)避手段很成熟fork之前調(diào)用fflush(NULL)把所有的輸出緩沖刷干凈或者子進(jìn)程一律用_exit而不是exit或者在每個(gè)printf后面老實(shí)加\n。這三條里我推薦后兩條組合使用_exit應(yīng)該成為肌肉記憶。5.3 常見(jiàn)問(wèn)題速查表把上面這些以及一些零散的問(wèn)題匯總一下方便對(duì)著查現(xiàn)象最可能的原因排查/解決fork返回 -1EAGAIN進(jìn)程數(shù)達(dá)到RLIMIT_NPROC或 cgroup pids 上限ulimit -u查容器 pids.maxfork返回 -1ENOMEM內(nèi)核內(nèi)存不足無(wú)法分配task_struct或頁(yè)表看dmesg、/proc/meminfo子進(jìn)程跑完不退出ps顯示Z父進(jìn)程未回收加waitpid或SIGCHLD處理日志出現(xiàn)重復(fù)行fork 前 stdio 緩沖區(qū)未刷新fork 前fflush(NULL)子進(jìn)程用_exit循環(huán)里 fork 出 2^n 個(gè)進(jìn)程子進(jìn)程落回循環(huán)子進(jìn)程分支結(jié)束后立刻_exit父子寫(xiě)同一文件內(nèi)容錯(cuò)亂共享文件偏移量用O_APPEND或各自 open或分文件子進(jìn)程里加鎖永遠(yuǎn)阻塞多線程下 fork鎖被其他線程持有改成 fork 后立即 exec或用pthread_atfork子進(jìn)程變成孤兒無(wú)人清理父進(jìn)程先退出用 subreaper 或?qū)iT(mén)的 supervisor子進(jìn)程繼承了不該有的 fdfd 默認(rèn)被繼承fork 后關(guān)閉無(wú)關(guān) fd或用O_CLOEXEC最后一條值得展開(kāi)說(shuō)一句。O_CLOEXEC這個(gè)標(biāo)志非常有用打開(kāi)文件或套接字時(shí)帶上它這個(gè) fd 會(huì)在 exec 時(shí)自動(dòng)關(guān)閉避免子進(jìn)程意外持有不該持有的連接。在長(zhǎng)連接多的服務(wù)里如果 fork 出來(lái)的子進(jìn)程繼承了所有 socket一方面浪費(fèi) fd另一方面連接關(guān)閉的時(shí)機(jī)變得難以判斷。從代碼層面統(tǒng)一給open、socket、pipe2加CLOEXEC是個(gè)好習(xí)慣成本幾乎為零。還有一個(gè)排查技巧不確定子進(jìn)程到底繼承了哪些 fd可以在子進(jìn)程里ls -l /proc/自進(jìn)程PID/fd一眼看清楚。同理/proc/PID/status里的Threads、VmRSS/proc/PID/task/下的線程列表都是排查這類問(wèn)題的一手信息。養(yǎng)成看/proc的習(xí)慣比裝一堆工具快得多。6. 我在實(shí)際項(xiàng)目里攢下的幾條經(jīng)驗(yàn)寫(xiě)到這里分享幾個(gè)文檔里不太會(huì)提、但確實(shí)節(jié)省過(guò)時(shí)間的做法。第一給每個(gè) fork 出來(lái)的子進(jìn)程起個(gè)可識(shí)別的名字。Linux 上可以調(diào)prctl(PR_SET_NAME, worker-xxx)這樣ps和top里就能看明白哪個(gè)進(jìn)程在干什么而不是一堆同名進(jìn)程排在那。出問(wèn)題時(shí)省下來(lái)的定位時(shí)間遠(yuǎn)超當(dāng)初寫(xiě)這幾行代碼的成本。第二在子進(jìn)程的入口處打一行帶 PID 的日志并且立刻setpgid或調(diào)整會(huì)話。這能讓日志里的 PID 和進(jìn)程樹(shù)對(duì)應(yīng)起來(lái)尤其是在子進(jìn)程會(huì)再 fork 的場(chǎng)景下沒(méi)有這層標(biāo)記日志會(huì)亂成一鍋粥。做后臺(tái)任務(wù)的時(shí)候順手把子進(jìn)程放到獨(dú)立的進(jìn)程組后面想整組發(fā)信號(hào)終止也方便。第三不要吝嗇waitpid的循環(huán)寫(xiě)法。我見(jiàn)過(guò)太多“只 wait 一次”的代碼在子進(jìn)程密集退出的場(chǎng)景下漏回收慢慢積累成僵尸。統(tǒng)一寫(xiě)成while (waitpid(-1, st, WNOHANG) 0)配合SA_RESTART這套模板可以直接抄。第四大內(nèi)存進(jìn)程優(yōu)先考慮換掉模型。如果發(fā)現(xiàn)每次 fork 都有明顯卡頓先別急著調(diào)內(nèi)核參數(shù)問(wèn)問(wèn)自己“這個(gè) fork 真的必要嗎”。預(yù)派生進(jìn)程池、線程池、獨(dú)立的常駐服務(wù)這三種方案在絕大多數(shù)場(chǎng)景下都比“按需 fork”更穩(wěn)。fork這個(gè)接口看著古老但它承載的語(yǔ)義——地址空間復(fù)制、文件描述符繼承、執(zhí)行流分叉——至今沒(méi)有被替代。把它的返回值、COW、回收機(jī)制這三件事吃透后面再看clone、看容器運(yùn)行時(shí)怎么隔離命名空間、看 shell 怎么執(zhí)行管道都會(huì)順很多。我現(xiàn)在寫(xiě)涉及多進(jìn)程的代碼開(kāi)工前會(huì)先在紙上畫(huà)一遍父子關(guān)系標(biāo)清楚哪個(gè) fd 誰(shuí)負(fù)責(zé)關(guān)、哪條路誰(shuí)負(fù)責(zé) wait畫(huà)完之后 bug 就少了一大半。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷综合色五月天| 韩国97天堂| 婷婷五月激情片| 中日韩美欧成人一区二区精品在线| 丁香五月综合福利视频导航| 92久操视频| 色婷婷精品视频| 六月丁香久久| 婷婷视频在线| 国产26uuu| 丁香六月啪啪啪| 九九热超碰| 亚洲99手机免费看视频| 99精品久久久久久久| 婷婷丁香激情综合色情| http://www.lingjunshare.com/ | eeuus五月婷| 丁香五月六月婷婷自拍| 色噜久| 91seav| 久热这里这里有精品| 五月婷婷av在线| 日韩色五月| 综合视频久久| 综合色、色综合| 激情六月丁| 激情四射五月天| 夜精品无码A片一区二区蜜桃 | 激情综合网五月在线播放| 亚洲激情久久| 99热在线看片| 丁香五月人妻熟女| 91人妻人人做人碰人人爽九色| www,天天干| 第四色婷婷色五月| 97碰碰人人| 五月婷婷深深爱| 有哪些A片网站| 婷婷激情人妻| 色级停停| 色99网| 婷婷色播六月无码| 日韩在线视频网站| 日本在线观看aaa 99| 久久婷婷伊人| 99色视频在线| 极品嫩草| 九九色精品| 五月丁香六月婷综合成人综合| 天天综合五月| 97自拍视频网| 欧美性生交XXXXX无码小说 | 色播激情| AA片在线观看视频在线播放| 秋霞A V毛片| 丁香五月天婷婷久久| 五月激情久久| 熟妇内谢69XXXXXA片| 五月天开心婷婷激情网站 | 九九视屏| 久久久精品色色色| 就爱干 在线| 爆乳熟妇一区二区三区爆乳| 色99视| 人妻久久久久久| 99热这里只有精| 美女五月天婷婷| www.97干视频| 影音先锋91视频| 91操操| 亚洲综合另类| 99热免费精品| 99久久99热这里只有精品| 在线播放成人网站| 五月丁香久久综合色| 亚洲色色香蕉| 五月天色官网| 六月丁香啪| 五月婷婷导航| 久久久久九九九九视屏小说88| AV九九| 狼友超碰| 狠狠色综合网| 色婷婷狠狠干芒果TV| 婷婷六月丁香开心深深爱| 99婷婷五月天激情| 激情五月九九九| 97精品人人A片免费看| 91精品无码| www.激情五月天| 九九热黄色| 综合激情在线观看| 97成人超碰免| 久久男人网婷婷| 成人做爰A片免费看视频| 青青草原伊人网| 婷婷丁香人妻天天久久| 丁香五月在线观看完整版| 五月天天天操天天爽夜夜操| 激情视频婷婷五月花| 婷久久久| 亚洲av电影网站| 99热久久这里只有精品| 国内外色色色色色成人视频| 久久538| 婷婷97碰碰| 九九九九这里只有精品| 性日本精品| 最新亚洲色色网| 国产成人VA| 99在线视频精品| 色999五月色| 色五月婷婷五月天| 久久人妻视步| 婷婷瑟瑟五月天| 五月综合激情综合久| 国产五月丁香在线| mmm1717.6dbm人人爱人人操| 国产激情综合五月| 亚洲精品乱码久久久久久综合| 久久综合中文| 色六月丁香婷婷啪啪啪| 天天做天天爱天天爽夜夜揉| 韩日在线熟女| 超碰日韩成人| 九月丁香网婷婷| 色一色综合| 强辱丰满人妻HD中文字幕| 五月婷在线| 综合婷婷| 男女啪啪做爰高潮无遮挡| 99精品成人无码A片观看金桔| 成年人丁香五月| 久9热| 9l视频自拍9l视频自拍九色学生| 色婷婷婷婷| 亚洲 视频 导航 一区| 五月婷婷开心五月| 五月丁香自拍| 亚州色色色| 99综合免费视频| 国产Va视频| www.激情在线| 99色视频在线观看| 五月丁香六月婷婷的女人| 亚洲人妻一区二区| 激情五月天激情小说| 丁香五月天成人| 性色视频| 五月婷婷久久大香蕉| 天天干电影| 色色无码| 五月婷婷六月丁香| 中字幕视频在线永久在线观看免费| 天天日天天操心| 性爱久久| 91中文狠狠综合| 中文字幕网伦射乱中文| 综合网精品99| 亚洲成人九九九| 久久大香免费| 99婷婷| 欧美A级网站| 久久这里都是精品免费| 色愛综合网| 日韩抽插操逼| 视色综合| 五月激情婷婷综合| 婷婷午夜| 97五月婷| 五月天社区婷婷丁香社区| 99热1| 香蕉久久国产av一区二区| 色色吧综合| 99色综合| 人人操人av| 激情五月小说婷婷| 九九热精品| 天天日日夜夜| 婷婷综合中文| 99久久玖玖| 激情五月婷婷| 精品少妇蜜臀91| 99精品小视频| 久久九九@| 婷婷狠狠操| 国产黄大片在线观看画质优化| 久久综合66| 狠狠综合区| www.99热视频| www.丁香黄色五月天人与| 六月婷婷九月丁香亚洲综合| 人人操AV| 五月婷婷亚洲天堂97色婷婷| 欧美性猛交99久久久99| 99热20| 天天狠狠色综合| 激情五月婷黄版| 午夜色婷婷| 成 人片 黄 色 大 片| 国产黄色大片| 97精品欧美91久久久久久久| Va另类视频| 天天爽天天摸| 色色色色热| 极骚大香蕉伊人| 五他月天啪啪啪| 99日本在线| 婷婷五月天,影院| 五月丁香六月婷婷无码| 亚洲另类电影| 综合色吧| 五月开心婷婷| 在线另类| 婷婷久久爱| 91久久久久久久久久久| 亚洲视频图片婷婷五月| 亚洲久久激情| 伊人久久综合| 激情五月婷婷伊人| 成人精品在线| 综合久久首页| 五月激情视频网| 九九99热| 婷婷五月五月丁香| 色综合夜夜| 婷婷五月花西瓜| 97 A I色色| 色五月综合激情网| 99在线免费视频| 婷婷五月天亚洲激情戏精品| 99这里只有| 五月婷婷黄网站大全| 99热爱爱干干日| 色丁香五月婷婷在线| 中文字幕 码精品视频网站| 中文成人在线| 丁香六月激情综合| 丁香五月电影| 北条麻妃九九九国产精品视频| 色婷婷中文在线| 伊人丁香花综合影院| 99亚洲视频| 曰韩五月丁香色婷婷无码| 九九综合九九| 另类激情中文| 色九九中文字幕| 超碰人人操在线| 26uuu另类亚洲欧美日本一| 亚洲五月婷婷| 激情五月天啪啪| 婷婷五月天激情AV影院| 99色视频| 99热在线观看免费中文| 激情综合国产| 欧美毛卡| 日日爽日日爽| 91人妻人人操| 天天色伊人| 99热人人| 日韩精品一品二区三区的使用体验| 丁香五月亚洲婷婷| 26uuu欧美| 久久激情五月婷婷| 五月激情小说| 激情啪啪五月天| 激情婷婷狠狠干| 日狠狠| 色婷婷综合在线| 五月欧美色色五月| 国产乱妇无乱码大黄AA片| 欧美在线干| 丁香六月久久| 成人 九九九九| 激情狠狠丁香月| 久久久久久欧美精品se一二三四| 久久大香蕉视频| 久久婷婷激情视频| 超碰免费人人肏| 激情伊人五月婷婷久久| 亚洲激情久久| AAAA亚洲| 色九九综合| 日本人妻A片成人免费看片| 丁香六月激情| 九九综舍久久| 色欲婷婷五月天丁香| 99婷婷综合| 这里只有九九精品| http:色情日本com| 91操操操| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 色丁香婷婷| 六月激情婷婷综合| 婷婷五月草| 97人人操人人拍| 六月婷婷国产| 99视频日韩| 一级A片天天操夜夜操| 国产3p露脸普通话对白| 亚洲瑟瑟精品在线| 丁香五月婷婷激情97| 激情五月综合ì香亚洲| 日韩国产在线精品| 五月婷婷欧美激情| 人人97操| 另类激情五月在线视频欧美| 9精品视频在线观看| 人妻自慰在线| 五月天色五月| xx色综合| 日本91在线播放| 国产精品国产VA片国产| 色婷婷六月| 五月天色五月天| 538在线精品| 婷婷五月天无码熟女| 国产乱子轮XXX农村| 99久久a线观| 夜夜骑夜夜撸| 婷婷五月天av网| 天天色播| 色丁香婷婷美女视频网站| 亚洲网站观看视频| 亚城区在线| 人人97操| 久久作爱| 91高潮喷水久久久久久久久| 色色AV色色色东莞| 伊人网碰碰| 99热热这里只精品996小说| 综合色影| 色婷网| www。88热在线视频免费观看| 开心五月深爱五月| 激情五月婷婷综合色播小说| 狠狠情色| 五月天婷婷久久视频| 五月丁香婷婷激情在线视频| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 操97在线观看| 五月天伊人| 中文字幕97超级碰| 大香蕉五月天婷婷| 亚洲综合狠狠艹| av五月丁香婷婷网| 97碰| 色狠狠六月| 亚洲激情Av| 99狠狠| 欧美天天爽| 婷婷六月色| 天天情色五月天| 去色色五月天| 久草婷婷| 99色在线观看| 另类激情码| 99热激情| 99re鈥哸鈥唙| 九九热这里只有精品23| 97成人操| 91丨九色丨国产打屁股| 综合深爱五月| 9久久精品| 91色色五月天| 91热在线| 性生活视频98791| 爽极品色| 99超碰欧美| 国产精品成人AV在线| 久久久久久久久久久久久久人妻视频| 久99久视频精选| 超碰人人在线| 涩五月色婷婷| 人人色人人摸人人看| 久久44| 成人国产综合| 五月天婷婷视频30| 色色99| 一级内射毛片| 婷婷五月激情图片| 99热精品在这里| 亚洲深喉AV| 99玖玖在线视频| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 超碰成人公开| 激情色播| 丁香五月婷婷视频| 五月永久激情| 中文激情网| 99爱在线| 色五月亚洲| 日日夜夜狠狠| 另类国产综合| 六月丁香深深爱综合网| 97成人在线视频精品| 六月婷婷综合| 婷婷五月丁香啪啪| 亚洲成人噜噜| 激情婷婷五月天伊人在线观看| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 丁香五月影院| 五月色色色| 色~性~乱~伦~噜| 99人妻碰碰久久久禁片| 香蕉久久国产AV一区二区| 五月丁香色婷婷综合| 激情婷婷色色| 九伊人网| 刘玥精品一区| 国产精品涩涩涩视频网站| 五月天开心网| 婷婷五月骚厕所| 九九人妻福利| 婷婷五月天激情小说| 激情九九六月激情免费视频| 五月天婷婷成人资源站| 激情丁香五月婷| 综合色影| 久久伊人婷| 欧美性猛交99久久久久99按摩| 九九aV| 色综合色色| 激情综合网亚洲色图| 天天开心天天色| 另类国产区| 91久久网站| 操操啪| 久久久久久综合88| 99啪啪网| www色五月| 五六月丁香激情视频| 26UUU| 九色91视频| 天堂在线婷婷| 永久天堂日本| 久99久视频精品| 国外亚洲成AV人片在线观看| 激情深爱五月天| 色婷婷888| 日韩五月丁香| 亚洲第79页| 狠狠色狠狠色综合日日91| 国产欧美婷婷| 热的五码久久精品| 六月丁香婷婷五月天| 色99热| 色婷婷激情五月天| 亚洲色综合色网| 久久男人网婷婷| 7EzOBIhNq85TO| www.狠狠| 色婷婷成人| 99这里只有| 色色色色色色色色五月先| 99操99| 狠狠狠狠狠狠色| 色婷婷精品视频| 97婷婷久久丁香| 97碰 在线视频观看| 久久人妻超碰一区| 91人久| 图片区 小说区 区 亚洲五月| 五月天婷婷久久| 久久久久久人妻| 九九视频这里只有精品| 夜夜撸天天操| 色吧综合网| 婷婷综合在线| 成人无码精品1区2区3区免费看| 狠狠色婷婷| 超碰99在线观看| 9l视频自拍9l九色成人| 九九色色| 亚洲av| 大香蕉色婷婷伊人在线| 91黄色五月天视频| 国产三级在线播放| 99热在线看片| 色九月婷婷综合| 51成人| 久草天堂| 五月丁香激情综合啪| WWW、日本色丁香co m| 久久er+| 婷婷五月丁香基| 蜜桃婷婷丁香| 亭亭五月色男人| 欧洲亚洲精品| 精品在线网站| 婷婷五月天综合在线| 操一区| 国外亚洲成AV人片在线观看| 99热午夜精品| 男人視頻站| 影音先锋毛片网站| 五月天操逼激情| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 五月草影视| 五月婷婷在线免费| 成人av在线电影| 夜夜爽天天干| 亚洲愉拍99热成人精品| 影院久久久| 91精产品自偷自偷综合| 99 热国产在| 99高级会所久久| 丁香五月 六月婷婷首页| 九九精品网| 五月天婷综合| 人妻人人操| 91无码色色| 97在线视频 欧美| 婷婷丁香宗合888| 丁香六月激| 777丁香六月青青草婷婷综合久月 五月丁香综合伦理片 | 国产免费AV网站| 这里只有精品热| 天天免费日日夜夜夜夜| 狠狠爱婷婷丁香| 中文av网站| 夜夜嗨一区二区三区直播内容| 国产色色色色色| 大香蕉五月天婷婷丁香91| 久久视这里只有精品| 五月婷婷之六月丁香| 五月婷婷中文字幕| 九九色色| 日碰日| 精品女人九九九| 激情涩涩网| 色五狠狠| 久久伊人大香蕉| 夜夜操加勒比| 七七九色| 色情网综合| 激情图片久久| 色播五月丁香婷婷| 播播网色播播| 五月婷婷影院| 一起草av在线观看| 五月婷婷综合色啪| 天天插天天射| 成人精品视频99在线观看免费| 狠狠色丁香久久综合婷婷亚洲成人福利 | 色99综合色88| 婷婷成人综合| www.狠狠干com| 激情99| 熟女人妻视频| 玖玖爱资源站| 午夜电影网VA内射| 婷婷亚洲天堂| 婷婷伊人綜合中文| 中文字幕婷婷五月天| 久色资源网| 思思久久精品| 亚洲免费av观看| 99久久黄色顶级视频| 五月成人天| 五月婷丁香| 五月婷婷,六月婷婷| 婷婷激情五月天综合| 五月丁香婷婷成人网| 超碰91在线| 人妖色AV色综合| 思思久久精品视频| 五月婷婷偷拍| 一本到不卡高清DVD| 色婷婷电影| 日韩色五月| 六月色色| 国产操B视频| 色性日本| 五月天综合网| 久久99网址| 精品久久久久久久人妻| 99在线免费视频| 国内久久久精品99| 五月丁香六月情婷婷久久| 99综合网| 人人插9| 激情 婷婷 插| 婷婷五月天成人| 五月天婷婷社区久久综合| 五月欧美色色五月| 婷婷久久五月| 99在线视频播放| 色五月综合激情| 天天日天天插| 六月婷婷色综合| 天天摸天天舔| 91狼友视频在线观看| www.25五月婷婷| 激情六月丁香| 色综合狠狠色| 色婷婷丁香五月综合| 人人操av| 婷婷丁香五月天综合AV| 狼人婷婷综合| 激情综合网站| 夜夜做夜夜愛| 激情内射人妻1区2区3区| 婷婷激情四射| 99热在线中文字幕| 亚洲激情五月| 婷婷五月激情在线视频| 九九无码AV| 天天天操天天天爰| 色综合激情| 台湾无码A片一区二区| 色噜噜狠狠插综合| 99色在线观看视频者| 精品国产va久久久久久久| 久久丁香| 丁香五月婷婷基地| 97精品自拍| 色综合香蕉| 色99网| 九九色黄色| 久热a| 99精品视频在线观看| 丁香六月色婷婷欧美| 大香网伊人久久综合| 2017人人操| 激情五月婷婷五月| 39视频第二区| 欧美丁香婷婷五月天| 欧美,日韩成人在线| 婷婷娱乐丁香综合网| 乱岳熟女50岁| 五月婷婷激情在线| 婷婷五月天综合小说网| 日本色99网站| 丁香五月乱中文字幕| 五月天丁香久久综合| 久久 这里只有精品1| 国产精品久久久久久妇女6080| 天天色综合色色色色色。| 久久人人妻| aaaaa黄色| 五月天另类小说| 操一区| www.婷婷.com| 五月六月丁香激情视频| 婷婷五月色| 久久亚洲婷婷综合色五月| 天天干一干| 五月丁香五月丁香| 国色天香成人网| 亚洲 在线 性爱| 久久五月婷6 9| 思思99re这里只有| 99久久97| 国产婷婷五月色情综合| 成人AV网站在线| 中文字幕丰满人妻无码专区| 91尤物九色在线| 337p大胆噜噜噜噜噜91Av| 久久伊人婷婷| 色五月婷婷老师| 99热99热在线观看| 婷婷五月花.97| 日日操日日爽| 伊人三级激情| www.99热视频| 亚洲激情综合色站| 男男野外做爰全过程69| 丁香婷婷十月| 丁香五婷| www.zbzhongsen.com| 丁香六月婷婷一区| 国产精品第一国产精品| 思思精品热在线| 激情啪啪五月天| 欧美啪啪9| 亚洲综合激情五月久久| 亚洲成av人影院| 色狠狠色噜噜噜a天堂一区| 丁香五月久久社区| 色色激情网| 99,色| 偷偷与邻居做爰完整视频| 天天狠狠色| 99色视| 色综合久久天天综合网| 激情小说五月丁香在线视频观看视频| 国产av一区二区三区| 色婷五月天激情| 丁香五月区| 狠狠操狠狠爱| a久久免费视频| 激情性爱五月| 亚洲综合在线视频| 思思精品热在线| 五月婷婷丁香大陆免费| 99久热| 婷婷五月天六月| 九九99精品视频在线观看| 99热免费精品热久久66| 日操熟女| 婷婷伊人综合中文字幕| 亚洲色色图片| 青青色com久久| 色婷婷香蕉| 丁香五月AV综合激情| 久久婷婷东京热大香樵| 欧美婷婷五月丁香| 婷婷激情网五月天| 九热久| 噼里啪啦在线观看免费完整版视频| 新伍月婷婷| 亚洲av免费在线| 五月开心播播网| 五月天婷婷影院| 丁香五月 综合| 91熟妇大香蕉| 日本色五月| Www,五月天| 任你爽视频| 天堂美国久久| 五月丁香婷婷啪啪| 天天射综合网夜夜操| 在线成人网址| 日韩人妻白浆视频系列| 五月婷婷天堂| 色五月天激情| 在线不卡视频| 五月天大香蕉婷| 久久六月综合| 五月天婷婷在线播放| 狠狠色噜噜狠狠色噜噜噜999| 色九九九综合| 婷婷五月综合在线| 丁香五月婷婷AV在线| XXXX岛国| 综合狠狠干| 国产麻豆视频| 六月丁香啪啪| 人人射人人高潮| 色五月激情问网站| 97亚洲婷婷| 久久婷婷五月综合色欧美| 成人 在线 日韩| 综合图区激情| 激情综合自拍五月婷婷色五月| 日本在线视频看se99| 久久精品99国产精品日本| 色噜噜五月天| 激情久久综合网| 天天玩夜夜操天天爽| 亚洲精品成人片在线播| 成人无码髙潮喷水A片| AV在线大香蕉| 噜噜色com| 九九99视频精品| 色婷婷超碰| 欧美日韩婷婷五月天| 久热免费| 五月婷婷深深爱爱| 黑人熟妇一区二区三区| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 国产看真人毛片爱做A片| 亚洲熟女色| 婷婷五月天电影区小说区| bbwcuckold精品熟妇| 久久丁香五月| 五月天婷婷激情四射综合| 色欲一区二区三区精品A片| 青青草原亚洲天堂| 亚洲成人在线五月天| 丁香五月瑟瑟| 婷婷色激情网| 大香蕉五月天婷婷丁香91| 99热欲| 97精品人人A片免费看| 九九热在线99| 亚洲AV网址| 这里只有精品免费视频| 另类国产综合| 色色色在线播放| 亚洲精品视频在线播放| av激情在线| 狠狠色婷婷丁香五月| 日韩人妻AV在线| 久碰视频| 久久久久久人妻| 99在线视频精品| 中文av网| 色五XX| 开心五月婷婷在线| 色五月婷婷五月久久| 青草网在线观看| 五月婷啪| WWW色色色COm| 婷婷五月色图| 大香AV| 六月婷婷AV| 99热99日天天干| 五月天丁香婷婷视频网址| 日本欧美成人片AAAA| 色婷婷色99国产综合精品| 激情色播| 久热婷婷| 色情五月综合婷婷| 久久婷婷啪啪视频| 超碰免费大香蕉| 激情五月天开心| 久久a热| 婷婷精品性视频| 丁香六月伊人| 色久五月天| 久热网站| 久久性刺激| 色婷婷色综合激情91| 一起草aV| 91色干| 色狠狠综合入口| 婷婷综合日本| 夜夜爱影院| 九九大香蕉黄色影院| 99亚洲精美视频在线观看| 综合九九久久| 激情九色| 色天使色婷婷| 九九热10| 久操人妻| 99re99在线看| 婷婷丁香视频在线观看免费 | 久久激情五月网| 99热综合色图| 99日本在线| 男女99免费视频| 亚洲婷婷视频| 一夜福利不卡| 五月丁香综合久久| 五月婷婷丁香五月婷婷| 亚洲综合婷婷六月丁香五月| 婷婷丁香色无五月| 色香欲综合| www.9797国产| 99人妻碰碰碰久久久久禁片| 五月丁香六月欧美综合网站| 色五月综合网| 国产AV一区二区三区日韩| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品| 午夜天天精品视频| 天天婬色综合| 国产精品国产| 婷婷的99视频网站| 久久婷婷五月国产色综合激情| 色激情综合狠狠婷婷| 五月色导航| 99热色在线精品| 婷婷五月天开心网| 91九色熟女| 97色色色| 五月日韩中文字幕| 青青操成人福利| 国产精品美女| 婷婷五月激情四月综合| 99综合婷婷五月| 丁香五月婷婷在线视频| 六月丁香激情| 日韩无码专区| 开心五月婷婷激情| 久久婷婷五月天大香蕉| 六月婷婷最新网址| 无码人妻电影| 婷婷天天舔| 天天搞天天色综合| 久久婷婷内射| 精品久久99| 淫视馆av三区| 久9无码视频| 亚洲丁香婷婷五月天综合色| 9999色色色色| 色丁香五月婷婷| 开心激情综合| 久久五月婷综合| 91精产一区三区免费观看| 婷婷色五月激情| 激情亚洲色图片丁香综合| 六月丁香激情网| 日韩999| 精品国产一区二区三区四区阿崩| 九九美女视频| 99热超碰| 丁香六月无码| 久婷| 色五月激情五月| 日韩色色一区| 精a品a视a频| www.亭亭五月天| www.五月婷婷.com| 99热国品| 婷婷久久精品| 五月丁香直播| 亚洲无码色| 另类专区在线观看| 婷婷五月欧美AA片免费| www.zbzhongsen.com| 激情五月五月五月婷婷| 国产精品国产| http:色情日本com| 婷婷五月天网址| 六月色婷婷欧美| 久久久天天啊| 婷婷丁香五月综合| 中文成人在线| 亚洲激情免费久久| 久久综合五月天| 最近韩国日本免费高清观看| 九九综合图片网| 五月婷婷深深爱爱| 日日操夜夜爽| 国产美女无遮挡裸体毛片A片| 欧美在线视频9| 九九热这里精品| 久久五月天综合| 色婷婷小说| 4399人妻无码久久久| 六月婷婷狠狠做| 日韩成人AV在线| 天天肏天天舔AV| www.激情.com.| 色播激情五月天| 99久re热视频精品98| 五月亭亭色| 狠狠狠激情网| 色一情一乱一乱一区91| 男女啪啪视频久 9| 噜一噜免费视频| 天天做天天爽| 99燥99日| 亚洲激情综合| 5月婷婷6月六月丁香| 另类少妇人与禽zOZZ0性伦| www.婷婷.com| 日本五月视频| 婷婷九月色| 91凹凸在线| 五月天激情av| 婷婷色情小说| 俺去也五月天| 狠狠色噜噜狠狠| 婷婷丁香五月欧美人| 色综合色色| 丁香五月天亚洲综合| jiujiu无码五区| 99热偷拍| HD久久精品视频| 99色播| 日日爽日日| 韩国19 主播内部福利vip免费播放| 五月天婷婷乱| 天天操天天操天天操天天操天天操| 激情五月份婷婷| 久久aaaa片一区二区| 天天操天天插| 五月丁香激情四射| 五月天婷婷深深爱| 激情丁香五月婷婷| 色情综合| 婷婷五月天在线视频网站| 99欧美热| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 激情五月婷婷六月丁香| 人妻丰满精品一区二区A片| 日韩色色色色色| 亚洲操操操| AV在线免费观看不卡| 99rewww| 五月丁香| 色综合久久综合中文综合网| 五月婷婷丁香瑟瑟视频| 五月天婷婷婷| 色小说婷婷五月天天天| 婷婷久久五月天| 久99久热| 婷婷五月天免费视频| 色婷婷激情Av久久久| 色色婷五月天| 久久精品这里只有精品免费首页| 欧美天堂久久| 超碰人人干| 久久激情婷婷| 久久免费婷婷视频| 深爱五月天| 99,色| 五月天婷婷色色| www久久艹| 2025天天日爽| 婷婷久久婷婷| jiqingliuyuetian| 亚洲av电影在线| 麻豆五月丁香婷婷| 国产精品久久久久久久久久免费 | 思思re99视频在线观看| 99热国内精品| 女人被男人吃奶到高潮| 色级婷婷| 五月开心深爱激情网| 内射 无码 伊人| 激情 婷婷 插| 久久se 综合网| 亚洲性图一区二区| 97色婷婷| 色综合久久天天综合网| 国产99久久久国产精品免费看 | 婷婷爱在线观看| www久| 99操逼| 天天艹夜夜艹| 久久97| 丁香六月综合| 狠狠操天天操| 欧美色五月| 天天激情视频| 亚洲日本韩国| 丁香五月婷婷呀| 成人无码精品1区2区3区免费看| 色婷婷久久| 亚洲综合五月| 热久久77777| 五月婷婷五月天| 天天色伊人| 日本一級黃色一級片| 色婷婷五月天成人网| 婷婷婷婷婷婷婷婷婷婷丁香| www.激情五月天| 99热九九九九| 舔色婷婷| 色激情五月| 丁香五婷婷| 日韩高清久久| 97色久| 日韩成人网址| 综合五月婷婷| 在线五月色播| 国产精品久久久久久喷浆| 综合五月天婷婷色| 丁香啪啪中文字幕| 97色色综合| 91ncm视频| 婷婷的99视频网站| 伊人久久婷婷| 五月综合激情| 婷婷丁香视频| 色欲AVV| 99热精品无码| 久久视频婷婷| 激情久久五月天| 色狠狠激情五月| 八戒青柠影视剧在线观看| 99热在线这里只有精品| 亚洲视频码| 亚洲人人操| 97资源欧美日韩大香蕉超碰一区| 久久五月丁香| 亚洲综合网激情五月天| 婷婷五月丁香基| 伊人在线视频| 日韩大片艹艹| 中文字幕视频在线播放| 99热这里只有99| 99亚州综合精品成人网| 天天日夜夜高潮| 亚洲AV久久久久久久久久久久久久久久| 色偷偷色婷婷| 99在线精品视频| 91狠狠综合久久久久久| 久8色色| 9久久网| 日日色综合| 久久这里99| 91oumei| 激情五月小说婷婷| 九玖欧洲亚洲| 久久婷婷亚洲无码一起| 五月激情站| 婷婷六月天亚州| 欧美色色色色色色色色色色| 婷婷六月综合激情| 岛国av电影网站| 天天综合五月| www.99色| 天天插AV丝袜中| 超碰人人艹| 免费无码毛片一区二区A片| 婷婷五月天电影区小说区| 色婷婷AAA| 中文字幕丰满孑伦无码专区| 可以免费看AV网站| 97在线视频人妻九色| 一起草AV| 激情六月日韩| 欧美黑人大吊| 在线观看免费观看在线9久| 九九热这里| 天天色情站| 9久热在线精品| 亚洲操操| 欧美激情综合色综合| 亚洲综合网 665566| 三人荫蒂添的好舒服A片| 丁香六月欧美| 婷婷国产综合| 亚洲av电影在线| 五月天久久婷婷| A A色色| 丁香五月综合婷婷| 婷婷丁香六月天| 激情5月婷婷| 99热99成人| 久久婷婷五月综合网| 久久久久久综合88| 丁香婷婷六月在线资源观看| 五月天婷婷香蕉狠狠超碰综合| 丰满人妻一区二区三区| 激情五月婷婷老师| 日本99热| 日韩在线观看网址| 91要啪| 丁香五月天精品| 91超级碰在线视频| 99热免费| 99这里有精品视频| 日日色五月天| 丁香婷婷欧美综合| 色色色99| 99色免费视频| 婷色五月| cao视频,现在观看| 91狠狠综合久久久| 日本WWW九九九| 久久成人性爱| 五月婷婷久久久久| 国产婷伊人| 五月天激情小说| 99视频这里只有精品10| 狠狠88综合久久久久噜噜噜| 热99精品视频| 国产精产国品一二三在观看| 亚洲丁香五月天视频| 99热99免费| www.久久爱| 超碰99热在线观看| 艳妇野外情欲放荡HD| 国产亚洲99久久精品| 四色五月婷婷| 678五月丁香亚洲综合| 婷婷亚洲影院| 综合网狠狠| 少妇人妻人伦A片| 另类精品视频在线观看| 99热这里只有是亚洲国产| 激情五月深爱五月| 偷偷操99| YW无码| 成人国产欧美大片一区| 天天色播| 丁香五月在线观看| 99热这里只有精品50| 五月花综合网| 丁香五月欧美色综合| 久久久久9久无码视频| 五月婷婷综合在线| 婷婷色五月婷| 天天综合天天玩夜夜玩天天玩夜夜玩| 色婷婷久久| 大香蕉中文| YW无码| 国产精产国品一二三在观看| 俺去也综合| 色综合综合色| 色视频五月天| 五月婷婷在线网站| 操操操av| 欧美天堂久久| 丁香五月激情月| 色五月综合激情网| 国产精品18久久久| 九九Av| 97人人操人人| 99热地址| 精品A√| 婷婷五月天人妻| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 婷婷色情五月| 色噜噜狠狠狠狠色综合久欧美| 狠狠精品干练久久久无码中文字幕| 婷婷爱五月天人人爱| 婷婷丁香午夜综合影视| 成人精品在线| 久久资源网五月婷| www.99热这里精品 | 日本成人噜噜噜噜噜| 激情综合青草| 久久婷婷影院| 婷婷五月AV| 六月丁香色色| 九九九九九九毛片| 人人操婷婷| 在线观看日韩12345区| 大香焦啪啪啪| 欧美性猛交AAAA片黑人 | 日本狠狠色| 日日噜噜夜夜狠狠久久丁香六月| 色噜噜狠狠色综合日日| www.日韩国产| 色婷婷五月天在线观看| 婷婷色五月丁香六月欧美啪| 亚洲va欧洲va国产va不卡| 丁香六月天婷婷开心综合| 丁香五月天殴美激情| 五月色婷婷综合丁香精品无遮挡| 亚洲中文无码成人| 婷婷五月天堂网| 婷婷色综合| 婷婷丁五月| 丁香五月六月久久综合| 91丨九色丨大屁股| 色香蕉影院| 丁香婷婷人妻| 激情深爱综合| 亚洲夜五月| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 色色综合网站| 搡BBBB搡BBB搡18| 日本精品人妻无码77777| 九九99九九精品免费| 国产午夜成人AV在线播放| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 久久久久久久五月| 少妇婷婷五月天| 99久久玖玖| 大香蕉婷婷丁香视频在线| av国产精品偷| 五月丁香六月婷综合成人综合| 色9999日韩国产| 综合五月草| 狠狠艹狠狠艹| 五月天婷婷青青| 久久人妻高清中文| 超碰1999| 秋霞AV淫| 婷婷黄色| 性色五月天| 国产精产国品一二三在观看| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 国产乱子轮XXX农村| 性一交一乱一交A片久久四色| 五月天大香蕉| 中字幕视频在线永久在线观看免费| 色婷丁香91| 无码一级片| 色五月婷婷激情基地| 97操碰视频| 五月天婷婷基地丁香| 五月婷色丁香| 欧美Va在线| 五月天婷婷影院影院观看| 五月婷六月| 六月婷婷色综合| 综合AV网|