欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Linux系統(tǒng)編程實戰(zhàn):從epoll、內(nèi)存管理到崩潰排查的硬核指南

Linux系統(tǒng)編程實戰(zhàn):從epoll、內(nèi)存管理到崩潰排查的硬核指南 簡介《Linux系統(tǒng)編程實戰(zhàn)技巧》對應的是杰克-本尼·佩爾松所著的《Linux系統(tǒng)編程技術(shù)》一書面向有一定 Linux 基礎(chǔ)、希望深入系統(tǒng)級編程的開發(fā)者。書中從環(huán)境搭建講起逐步覆蓋共享庫構(gòu)建與使用、終端輸入輸出控制、進程間通信、多線程編程以及調(diào)試技巧等主題并以實際案例和練習引導讀者動手編寫高效、健壯的 Linux 程序強調(diào)在實踐中鞏固概念幫助讀者理解原理后直接應用到日常開發(fā)與問題排查。壓縮包內(nèi)為 1 個 PDF 文件大小約 4.82MBPDF 格式便于跨設(shè)備閱讀、檢索和批注適合自主學習或工作查閱。目前已有 102 人學習說明其內(nèi)容在開發(fā)者群體中具備一定參考價值。通過系統(tǒng)閱讀讀者能補齊系統(tǒng)編程知識短板把握共享庫、進程協(xié)作、終端控制與多線程等關(guān)鍵點掌握從基礎(chǔ)概念到實戰(zhàn)排錯的核心技能為后續(xù)深入服務(wù)端開發(fā)與內(nèi)核機制打下扎實基礎(chǔ)。1. 項目概述與核心價值1.1 為什么現(xiàn)在還要學系統(tǒng)編程先拋個觀點在云原生、容器化、Serverless 鋪天蓋地的今天Linux 系統(tǒng)編程不僅沒過時反而成了區(qū)分“調(diào)包俠”和“真工程師”的分水嶺。很多人會用 Python、Go 寫業(yè)務(wù)但遇到性能瓶頸、詭異崩潰、內(nèi)存泄漏就抓瞎了——因為不會看底層。系統(tǒng)編程的本質(zhì)就是直接跟內(nèi)核打交道理解進程、內(nèi)存、文件、信號、IPC 這些抽象概念背后的真實機制。我經(jīng)常打一個比方用高級語言寫業(yè)務(wù)相當于開自動擋汽車踩油門就走做系統(tǒng)編程相當于你親自調(diào)發(fā)動機、變速箱你得知道每個擋位什么時候換、離合器怎么配合。這個過程固然辛苦但一旦你掌握了再看上層框架、中間件會有一覽眾山小的感覺。這門技術(shù)最典型的應用場景一是基礎(chǔ)設(shè)施類項目數(shù)據(jù)庫、消息隊列、存儲引擎、網(wǎng)絡(luò)代理二是性能敏感型服務(wù)網(wǎng)關(guān)、推薦引擎、實時流處理三是嵌入式與邊緣計算物聯(lián)網(wǎng)網(wǎng)關(guān)、智能設(shè)備。待遇普遍不低但門檻也擺在那里核心卡點就是系統(tǒng)編程能力。這篇實戰(zhàn)總結(jié)不是來給你念 man 手冊的而是把我在實際項目中高頻踩坑、反復驗證過的關(guān)鍵知識點拎出來結(jié)合具體場景講清楚“為什么”。文章會覆蓋時間處理、內(nèi)存管理、文件 I/O、錯誤處理、崩潰排查等幾個硬核方向每個都給到可落地的代碼片段和排查命令??赐瓴桓艺f讓你脫胎換骨但至少能在遇到同類問題時少走幾個大彎。1.2 這篇文章適合誰有 C/C 基礎(chǔ)、正在轉(zhuǎn)向 Linux 服務(wù)端開發(fā)的工程師是這篇文章最核心的閱讀人群。如果你是剛學完《Unix 環(huán)境高級編程》前幾章、對文件描述符和進程概念有了模糊認識但還沒在真實項目里練過手的階段那正好。另外準備面試后端崗位、被問到“進程和線程的區(qū)別”“select 和 epoll 的差異”這類問題時只能背答案的朋友同樣適合讀一讀——我會從原理層面幫你把這些知識點打穿而不是停留在面經(jīng)口訣上。如果你已經(jīng)在寫業(yè)務(wù)代碼但對 strace、gdb、perf 這類工具僅限于聽說那這篇文章的實操部分會給你清楚的入手路徑。底層原理配合工具鏈雙管齊下才能真正把知識變成排查問題的能力。對于純運維或純前端背景的朋友這篇文章可能有一定深度但不必勸退——遇到不懂的系統(tǒng)調(diào)用直接 man 一下或者查內(nèi)核源碼注釋養(yǎng)成查一手資料的習慣比看二手博客強得多。2. 內(nèi)容整體設(shè)計與技術(shù)選型思路2.1 項目實戰(zhàn)中的技術(shù)棧與系統(tǒng)監(jiān)控回到一個實際的系統(tǒng)編程項目里來聊。比如我們要做一個高并發(fā)的日志采集代理需要從多個網(wǎng)絡(luò)連接讀取數(shù)據(jù)、解析、批量寫入磁盤。這個項目看起來簡單但真正實現(xiàn)時技術(shù)選型處處是坑每一處都體現(xiàn)系統(tǒng)編程的核心功力。技術(shù)棧上幾個核心選擇是這樣的語言選 C 而不是 C日志代理的核心在于 I/O 吞吐和內(nèi)存控制C 的 runtime 更輕、可控性更強配合內(nèi)核 API 直來直去幾乎沒有隱藏開銷。C 標準庫確實方便但異常安全、模板展開帶來的二進制膨脹在低配嵌入式環(huán)境下并不劃算。I/O 模型選 epoll 而不是多線程面對大量并發(fā)連接為每個連接起一個線程上下文切換開銷會吃掉不少 CPU。epoll 配合非阻塞 I/O 加事件驅(qū)動是 Linux 下處理高并發(fā)的最優(yōu)模型沒有之一。存儲層不直接裸寫磁盤無論你多自信OS 的頁緩存page cache優(yōu)化比你手寫的任何緩沖機制都成熟。正確的姿勢是高頻寫入先進入用戶態(tài)緩沖區(qū)積累一批或定時落盤利用 write 或 pwrite 的“拷貝到內(nèi)核頁緩存即返回”的特性把性能壓力交給內(nèi)核的 pdflush 機制去刷盤。監(jiān)控方式最直觀的就是 /proc 文件系統(tǒng)。不要小看這個虛擬文件系統(tǒng)它幾乎是內(nèi)核狀態(tài)的全景窗口。比如/proc/{pid}/status 可以看進程內(nèi)存分布VmRSS、VmPeak/proc/{pid}/io 能統(tǒng)計真實讀寫字節(jié)數(shù)/proc/loadavg 反映系統(tǒng)整體負載。排查文件描述符泄漏直接看 /proc/{pid}/fd 目錄的符號鏈接數(shù)量。我調(diào)試很多問題第一步就是進去掃一眼這個目錄比盲目上工具高效得多。2.2 為什么選這套方案避開了什么坑選這套方案核心邏輯是減少不可控的間接層。多線程模型看似直覺但坑在同步。鎖競爭、條件變量誤喚醒、死鎖、ABA 問題隨便一個都能讓你調(diào)幾個通宵。而單線程 epoll 模型配合非阻塞 I/O天然規(guī)避了并發(fā)帶來的數(shù)據(jù)競爭問題——一個線程按順序處理所有就緒事件根本不需要鎖。這種模型的確定性極強出了問題也容易復現(xiàn)。另外沒有盲目引入第三方庫。很多新手一上來就找 libevent、libuv但底層邏輯沒搞通之前這些庫就是個黑盒。你在 epoll 層犯了語義錯誤比如沒有處理 EPOLLRDHUP、對 EPOLLERR 響應不正確換個庫同樣會有問題而且更難查。先把系統(tǒng)調(diào)用層面的手冊讀透再談抽象。這里補一個操作系統(tǒng)層面的背景epoll 之所以高效核心在于內(nèi)核維護了一個就緒鏈表應用程序只需要等待自己關(guān)注的事件被觸發(fā)無需每次遍歷大量文件描述符。這個機制網(wǎng)上的文章一搜一大把我不再展開。實際操作中建議多看看內(nèi)核源碼中 fs/eventpoll.c 的注釋理解水平會高出一大截。3. 核心細節(jié)解析與實操要點3.1 時間處理你代碼里的 time 可能是錯的先來個開胃菜——時間處理。這個問題看著基礎(chǔ)但坑極深。系統(tǒng)編程中經(jīng)常碰到的一個需求是“計算某段邏輯耗時”很多人寫代碼直接用clock()或者gettimeofday()然后發(fā)現(xiàn)結(jié)果忽大忽小神秘莫測。先說結(jié)論性能統(tǒng)計一律用 clock_gettime(CLOCK_MONOTONIC)不要用 gettimeofday 或 time。因為 CLOCK_MONOTONIC 不受系統(tǒng)時間跳變影響——NTP 校時、運維手動改時間都不會干擾它它只記錄系統(tǒng)上電以來流逝的時間。再深一層clock()返回的是進程占用 CPU 的時間而非墻鐘時間。如果你的程序有大量 sleep 或 I/O 等待clock()統(tǒng)計出來的數(shù)值會嚴重偏小幾乎等于沒測。這個細節(jié)面試經(jīng)??紝嶋H開發(fā)中也極容易中招。#include stdio.h #include time.h static inline double now_ts(void) { struct timespec ts; clock_gettime(CLOCK_MONOTONIC, ts); return ts.tv_sec ts.tv_nsec / 1e9; } int main(void) { double start now_ts(); // 模擬業(yè)務(wù)處理 for (volatile int i 0; i 100000000; i); double end now_ts(); printf(elapsed: %.6f s\n, end - start); return 0; }注意結(jié)構(gòu)體timespec的tv_nsec單位是納秒不是微秒。很多人在這個單位換算上翻車把 1000 當 1000000 用結(jié)果性能數(shù)據(jù)放大了 1000 倍。這種問題一旦跑在監(jiān)控告警上能把整個團隊帶溝里。3.2 內(nèi)存分配malloc 的背后不是簡單的堆再聊聊內(nèi)存管理。很多 C/C 程序員對 malloc 的理解停留在“從堆上分配一塊內(nèi)存”這個層面但實際上當你調(diào)用 malloc(1024) 時內(nèi)核可能根本沒有給你分配真實的物理內(nèi)存頁。Linux 下 glibc 的 malloc 對小塊內(nèi)存默認閾值通常是 128KB 以內(nèi)走 brk通過調(diào)整堆頂指針滿足分配大塊內(nèi)存走 mmap由內(nèi)核在進程地址空間找一個空閑區(qū)域映射。關(guān)鍵點是mmap 出來的內(nèi)存在首次訪問時才觸發(fā)缺頁異常由內(nèi)核真正分配物理頁。所以你的程序申請了 1GB 內(nèi)存但 RSS駐留內(nèi)存可能只有幾百 MB——這就是著名的內(nèi)存惰性分配。這個機制本身是優(yōu)化但也是坑源。在高并發(fā)服務(wù)中如果大量使用 mmap 分配內(nèi)存又頻繁釋放會產(chǎn)生大量頁表操作造成性能抖動。對于需要高頻分配釋放對象的場景正確做法是維護自己的內(nèi)存池或者使用 tcmalloc / jemalloc 這類現(xiàn)代分配器。它們通過線程本地緩存降低鎖競爭性能提升很明顯。# 查看進程實際物理內(nèi)存占用RSS cat /proc/{pid}/status | grep -E VmRSS|VmPeak # 查看內(nèi)存映射分布 cat /proc/{pid}/maps | head -n 20以上命令在線上排查內(nèi)存問題時極常用。若發(fā)現(xiàn) VmPeak 遠大于 VmRSS說明存在大量申請但未實際使用的內(nèi)存——可能是預留型分配也可能是內(nèi)存泄漏的早期信號需要結(jié)合 pmap 判斷具體映射區(qū)域。3.3 文件 I/O 的幾個隱身殺手文件 I/O 看起來簡單open、read、write 三板斧但實際項目里有一堆隱形陷阱。第一個坑是未處理部分讀寫。read/write 被信號中斷EINTR或者實際讀寫字節(jié)數(shù)小于請求字節(jié)數(shù)的場景非常普遍。尤其是在管道、socket、慢速設(shè)備上write 幾乎不可能一次寫完所有數(shù)據(jù)。必須寫循環(huán)重試邏輯這是一個合格系統(tǒng)程序員的基本素養(yǎng)。ssize_t writen(int fd, const void *buf, size_t n) { const char *p buf; size_t left n; while (left 0) { ssize_t nw write(fd, p, left); if (nw 0) { if (errno EINTR) // 被信號打斷重試 continue; return -1; // 其他錯誤交給調(diào)用方處理 } left - nw; p nw; } return n; }第二個坑是 forgot O_CLOEXEC。在 fork exec 的模型中如果你 open 一個文件描述符時沒有指定 O_CLOEXEC那么 exec 執(zhí)行新程序后這個 fd 默認會保持打開狀態(tài)。如果新程序的某個庫恰好在某路徑下創(chuàng)建文件或者加鎖就可能產(chǎn)生隱性的沖突。現(xiàn)代的寫法是 open 時一律加 O_CLOEXEC除非你明確需要跨 exec 傳遞 fd。第三個坑是 fclose 的返回值沒人檢查。fclose 不只是釋放用戶態(tài)緩沖它還會嘗試把緩沖區(qū)內(nèi)剩余數(shù)據(jù) flush 到內(nèi)核并檢查是否落盤成功。很多人寫完文件直接 fclose 不查返回值結(jié)果磁盤滿、NFS 斷連導致數(shù)據(jù)丟失程序還不知情。寫關(guān)鍵數(shù)據(jù)時fclose 之后請務(wù)必檢查返回值。4. 實操過程與核心環(huán)節(jié)實現(xiàn)4.1 從零搭建一個非阻塞回顯服務(wù)為了把上面的理論串起來這里帶大家手寫一個極簡的 epoll 回顯服務(wù)。它監(jiān)聽 TCP 端口收到什么就原樣返回什么。麻雀雖小但 epoll 的核心用法全在里面——從我多年的經(jīng)驗來看這個練手項目搞定后再看 Nginx、Redis 的事件循環(huán)代碼會輕松特別多。先列出關(guān)鍵代碼再逐行解釋#include stdio.h #include stdlib.h #include string.h #include unistd.h #include errno.h #include sys/socket.h #include netinet/in.h #include sys/epoll.h #include fcntl.h #define MAX_EVENTS 64 #define BUF_SIZE 4096 static int set_nonblock(int fd) { int flags fcntl(fd, F_GETFL, 0); if (flags -1) return -1; return fcntl(fd, F_SETFL, flags | O_NONBLOCK); } int main(void) { int lfd socket(AF_INET, SOCK_STREAM, 0); int opt 1; setsockopt(lfd, SOL_SOCKET, SO_REUSEADDR, opt, sizeof(opt)); struct sockaddr_in addr { .sin_family AF_INET, .sin_addr.s_addr htonl(INADDR_ANY), .sin_port htons(9000) }; bind(lfd, (struct sockaddr *)addr, sizeof(addr)); listen(lfd, 128); set_nonblock(lfd); int epfd epoll_create1(0); struct epoll_event ev {.events EPOLLIN, .data.fd lfd}; epoll_ctl(epfd, EPOLL_CTL_ADD, lfd, ev); struct epoll_event events[MAX_EVENTS]; char buf[BUF_SIZE]; for (;;) { int n epoll_wait(epfd, events, MAX_EVENTS, -1); for (int i 0; i n; i) { int fd events[i].data.fd; if (fd lfd) { // 有新連接到達 int cfd accept4(lfd, NULL, NULL, SOCK_NONBLOCK); if (cfd 0) { ev.events EPOLLIN | EPOLLRDHUP; ev.data.fd cfd; epoll_ctl(epfd, EPOLL_CTL_ADD, cfd, ev); } } else { if (events[i].events EPOLLRDHUP) { close(fd); continue; } ssize_t r read(fd, buf, sizeof(buf)); if (r 0) { write(fd, buf, r); // 回顯 } else if (r 0) { close(fd); } else { if (errno ! EAGAIN errno ! EWOULDBLOCK) { close(fd); } } } } } return 0; }幾個必須劃重點的細節(jié)第一accept4 帶 SOCK_NONBLOCK 一步到位。如果先 accept 再單獨調(diào) fcntl 設(shè)置非阻塞在高并發(fā)場景下存在一個時間窗口該 fd 仍處于阻塞模式。如果這個窗口內(nèi)該連接變得非?;钴S你的事件循環(huán)可能在 accept 返回后、設(shè)置非阻塞前阻塞在讀操作上整個服務(wù)就卡死了。這個問題在教科書里很少被強調(diào)但在生產(chǎn)環(huán)境很容易栽跟頭。第二EPOLLRDHUP 必須監(jiān)聽。很多人只關(guān)注 EPOLLIN忽略了連接關(guān)閉事件。其實對端關(guān)閉連接時Epoll 會同時觸發(fā) EPOLLIN但當你 read 返回 0 時才處理意味著至少多一次系統(tǒng)調(diào)用。如果對端是半關(guān)閉shutdown 寫端你的 read 可能永遠不返回 0連接泄漏就發(fā)生了。加上 EPOLLRDHUP內(nèi)核會在對端關(guān)閉連接的第一時間通知你處理更優(yōu)雅。第三read 返回 -1 時要區(qū)分 EAGAIN 和真正的錯誤。EAGAIN/EWOULDBLOCK 表示當前沒有數(shù)據(jù)可讀這是非阻塞模式下的正常情況忽略即可。其他錯誤ECONNRESET、EPIPE 等才需要關(guān)閉連接。這個判斷順序?qū)懛戳藭霈F(xiàn)大量無效的 close 調(diào)用白白丟失連接。編譯這段代碼gcc -O2 -o echo echo.c ./echo # 另開終端測試 echo hello | nc 127.0.0.1 9000 # 輸出 hello4.2 利用 strace 動態(tài)追蹤系統(tǒng)調(diào)用詳情寫完回顯服務(wù)如果本地測試正常但懷疑某些場景有異常怎么辦strace 就是最犀利的工具它通過 ptrace 機制攔截進程的所有系統(tǒng)調(diào)用讓你看到用戶態(tài)和內(nèi)核態(tài)之間的每一次交互。# 跟蹤新啟動的進程 strace -f -e tracenetwork,read,write -o /tmp/echo.log ./echo # 或者跟蹤正在運行的進程 strace -p 12345 -f -e traceall -o /tmp/echo_attach.log跟蹤日志里的關(guān)鍵信息如何解讀以 accept 為例如果日志里出現(xiàn)大量EAGAIN說明事件循環(huán)里確實在讀非就緒的 fd——這本身是設(shè)計使然但如果密集出現(xiàn)說明事件注冊邏輯可能有問題fd 沒有正確地從 epoll 移除。再比如看到write(...) -1 EPIPE說明對端已關(guān)閉但你仍在寫通常需要處理 SIGPIPE 信號或使用 MSG_NOSIGNAL 標志。有一個使用技巧先 strace 看系統(tǒng)調(diào)用序列再結(jié)合代碼邏輯定位比單純看日志高效得多。很多詭異的問題日志里全是歲月靜好strace 一跑就原形畢露。特別是超時類問題在 strace 輸出里你能清楚看到 poll/ppoll/epoll_wait 的等待時長簡潔明了。提示strace 有性能開銷不能長時間在生產(chǎn)環(huán)境開啟。它適合臨時追蹤某個可疑進程定位問題后立刻關(guān)閉。4.3 gdb 調(diào)試崩潰與段錯誤系統(tǒng)編程最常見的崩潰就是段錯誤Segmentation Fault。定位段錯誤很多人第一反應是看 core dump 文件這沒問題但如果 core 開關(guān)沒開或者 core 文件巨大無比就得靠 gdb 現(xiàn)場調(diào)試了。# 編譯時開啟 -g 保留調(diào)試符號-O0 關(guān)閉優(yōu)化便于單步調(diào)試 gcc -g -O0 -o echo echo.c # 用 gdb 啟動 gdb ./echo # 在 gdb 中運行 (gdb) run # 崩潰后查看?;厮?(gdb) bt # 查看當前幀源碼 (gdb) list # 查看某個變量/內(nèi)存 (gdb) info locals (gdb) x/16xb buf這里必須強調(diào)一個我在實踐中反復驗證的經(jīng)驗崩潰兩次的現(xiàn)象往往才是 root cause。第一次崩潰可能發(fā)生在任意位置但第二次崩潰基本能穩(wěn)定暴露真正的問題因為此時數(shù)據(jù)結(jié)構(gòu)已經(jīng)被污染成穩(wěn)定狀態(tài)。所以線上遇到偶現(xiàn)段錯誤不要急著重啟盡量保留現(xiàn)場用 gdb attach 上去看看。此外當沒有 gdb 環(huán)境時也需要看懂核心轉(zhuǎn)儲文件里到底發(fā)生了什么。一個常見組合# 查看 core 文件的堆棧概要 gdb ./echo /var/lib/systemd/coredump/core.echo.12345 (gdb) thread apply all bt這個命令會列出所有線程的棧能快速判斷問題發(fā)生在哪個線程是主事件循環(huán)還是某個 worker。多線程程序崩潰時所有線程棧都打出來非常關(guān)鍵——問題線程的??赡懿皇亲铒@眼的那個但通過觀察鎖等待關(guān)系和資源訪問模式就能定位。4.4 日志與監(jiān)控沒有觀測就沒有降級最后是日志。系統(tǒng)編程的程序往往運行在無人值守的服務(wù)器上日志就是你的眼睛。但日志怎么寫是有講究的。首先盡量使用異步日志避免磁盤 I/O 阻塞業(yè)務(wù)線程。其次日志必須有級別DEBUG/INFO/WARN/ERROR且可動態(tài)調(diào)整——生產(chǎn)環(huán)境默認 INFO排查問題時臨時降級到 DEBUG不需要重啟進程。如果追求更精細的操作可以自己實現(xiàn)一個信號鉤子收到 SIGUSR1 時提升日志級別收到 SIGUSR2 時恢復。這種設(shè)計在線上運維中非常實用。這里補充一個可以“抄作業(yè)”的小方案日志落盤路徑/var/log/yourapp/app.log軟鏈到當前版本目錄日志輪轉(zhuǎn)用 logrotate每天切割 保留 7 天超過大小強制輪轉(zhuǎn)核心指標通過 /proc/{pid}/fd 統(tǒng)計連接數(shù)、通過 /proc/{pid}/status 統(tǒng)計內(nèi)存、通過 epoll_wait 返回值統(tǒng)計事件吞吐量全部定時打印到日志一旦做到以上幾點出現(xiàn)問題大概率能通過日志鏈路直接定位不需要頻繁登錄機器。5. 常見問題與排查技巧實錄5.1 連接數(shù)暴漲時出現(xiàn)“Too many open files”現(xiàn)象服務(wù)運行一段時間后日志里飄著Too many open files新連接無法 accept。排查思路先看當前進程打開了多少 fdls /proc/{pid}/fd | wc -l再確認系統(tǒng)限制ulimit -n兩者對比若接近或達到上限就是 fd 泄漏最可能的原因和解決代碼里accept返回的 fd 在某條分支上忘記 close比如 read 返回異常時沒關(guān)相對隱蔽的是epoll_ctl刪除 fd 失敗卻沒有 close 這個 fd還有一個容易忽略的點select/poll時代程序換到 epoll 后對 close 行為沒做調(diào)整——epoll 里 fd 被 close 時自動從監(jiān)聽列表移除但如果你繼續(xù)沿用舊的“兩段式刪除”寫法就可能在刪除時拿到已關(guān)閉 fd 編號的復用誤刪其他連接推薦預防手段在代碼里周期性統(tǒng)計 fd 總數(shù)并輸出日志設(shè)置明確告警閾值而不是等到了系統(tǒng)上限才被動發(fā)現(xiàn)。另外建議給每個可能持有 fd 的結(jié)構(gòu)體增加magic字段close 后置 0后續(xù)任何訪問都先校驗快速定位重復釋放問題。5.2 讀數(shù)據(jù)時遇到 EINTR 和 EAGAIN 的處理迷惑場景非阻塞 socket 編程時read 返回 -1errno 分別等于 EINTR 和 EAGAIN很多新手表示一臉懵。區(qū)分說明EINTR系統(tǒng)調(diào)用被信號中斷只是暫時的重新調(diào)用一次就行。常見觸發(fā)場景是終端 CtrlC、定時信號或者調(diào)試器介入。EAGAIN/EWOULDBLOCK資源暫時不可用比如 socket 接收緩沖區(qū)為空不是錯誤。非阻塞模式下這是常態(tài)直接忽略或者回到 epoll_wait 等待下一輪事件。經(jīng)驗法則這兩種錯誤碼都要“繼續(xù)等”但 EINTR 是立即重試EAGAIN 是回到事件循環(huán)。如果循環(huán)里對 EINTR 重寫時還帶著 sleep等于是人為給自己的服務(wù)加了延遲如果 EAGAIN 被當成異常直接 close就會出現(xiàn)連接無故斷開的問題。用本章代碼里的 writen 函數(shù)配合 EPOLLOUT 事件基本能覆蓋多數(shù)場景。// 正確姿勢收到 EAGAIN 就停止寫入等待 EPOLLOUT 事件 if (errno EAGAIN || errno EWOULDBLOCK) { // 將 fd 注冊到 epoll監(jiān)聽 EPOLLOUT ev.events EPOLLIN | EPOLLOUT; epoll_ctl(epfd, EPOLL_CTL_MOD, fd, ev); break; }5.3 多線程 vs 多進程的選型糾結(jié)這個問題幾乎每個系統(tǒng)編程初學者都會困惑。簡單說幾條經(jīng)得住實戰(zhàn)檢驗的建議多線程適合共享大量狀態(tài)線程間通信成本低任務(wù)粒度小線程池能夠高效復用單機多核并行計算一進程內(nèi)搞定多進程適合需要高可靠性隔離一個子進程崩潰不影響主進程模塊間權(quán)限不同希望用不同 UID 運行某個第三方庫不安全不想讓它污染主進程地址空間我的實操心得能用單線程 epoll 解決的問題絕不上多線程。曾經(jīng)有項目用 4 個線程處理 2 萬個連接光鎖競爭就損失了 30% 的吞吐量。后來改成多進程模型每個進程各管各的 fd 集合再配合 SO_REUSEPORT 做內(nèi)核級負載均衡性能直接翻倍。這個思路在 Nginx、Envoy 等生產(chǎn)級項目里已經(jīng)被反復驗證是真實有效的擴展路徑。5.4 服務(wù)器對時與時間戳亂象一個容易讓人崩潰的 bug服務(wù)日志時間偶發(fā)跳變、晚于實際時間、或者出現(xiàn)負耗時。根因代碼混用了 CLOCK_REALTIME墻上時鐘和 CLOCK_MONOTONIC單調(diào)時鐘。CLOCK_REALTIME 會隨 NTP 校時、手動調(diào)整發(fā)生跳變導致耗時計算瞬間變負。修改方案命脈指標統(tǒng)一使用 CLOCK_MONOTONIC日志展示附帶北京時間就單獨調(diào)用 localtime_r 轉(zhuǎn)換 CLOCK_REALTIME 的輸出。二者不要混在一個計算鏈路里。補充一個技巧如果某個功能只是想計算一次超時可以使用 timerfd_create epoll把超時管理交給內(nèi)核不需要自己開定時線程。這種設(shè)計更利于事件循環(huán)的一致性——同一套事件循環(huán)里既管理 fd又管理定時器代碼結(jié)構(gòu)更整潔。5.5 崩潰時沒有 core 文件怎么辦問題程序段錯誤了但 /var/lib/systemd/coredump/ 里啥也沒有。排查順序ulimit -c是否為 0如果是改成ulimit -c unlimited/proc/sys/kernel/core_pattern是否被 systemd 接管如果是確認 systemd-coredump 服務(wù)存在且運行代碼是否調(diào)用過signal(SIGSEGV, SIG_IGN)或者其他方式屏蔽了默認行為如果現(xiàn)場不好復現(xiàn)也可以直接讓程序在崩潰時自己打印?;厮荨J褂?backtrace 函數(shù)族和 backtrace_symbols_fd 寫到 stderr 或者日志文件能夠快速離線定位。#include execinfo.h #include unistd.h #include signal.h void crash_handler(int sig) { void *frames[32]; int n backtrace(frames, 32); backtrace_symbols_fd(frames, n, STDERR_FILENO); _exit(1); } // main 函數(shù)里注冊 signal(SIGSEGV, crash_handler); signal(SIGABRT, crash_handler);注意backtrace 在異步信號處理函數(shù)中不保證完全安全但多數(shù)場景下足夠用來做初步定位。生產(chǎn)環(huán)境最好還是借助 core dump 文件做完整分析。6. 寫在最后的實踐總結(jié)系統(tǒng)編程這門手藝書看百遍不如手過一遍。這篇文章里提到的每個問題幾乎都是我在真實項目里踩過的坑——有些坑是用一個通宵換來的教訓有的則是用線上事故的代價買回來的經(jīng)驗。所以我想用自己的實踐體會收個尾。首先一定要養(yǎng)成“先 strace再 gdb最后翻源碼”的排查習慣。很多時候崩潰現(xiàn)場類問題strace 記錄的系統(tǒng)調(diào)用序列比任何日志都有說服力先確認進程究竟做了什么再打開源碼分析為什么這么做效率會高很多。其次內(nèi)核文檔和 man 手冊永遠是第一手資料。網(wǎng)上博客魚龍混雜不少內(nèi)容都是互相抄抄到最后連參數(shù)名都被改錯了。碰到不清楚的系統(tǒng)調(diào)用優(yōu)先查一下對應 man page 的 “NOTES” 和“BUGS” 段落里面的警告信息非常值錢。更進一步直接看內(nèi)核源碼的注釋和提交記錄往往能發(fā)現(xiàn)很多設(shè)計者的真實意圖。最后系統(tǒng)編程是一場長期主義。它對人的心智模型要求很高需要你同時理解 CPU 調(diào)度、內(nèi)存管理、I/O 協(xié)議棧等一堆底層知識。但正是這種“難”才構(gòu)成了行業(yè)壁壘。今天文章里的 epoll 模型、內(nèi)存惰性分配、EINTR 處理、core dump 排查都只是冰山一角。接下來你可以擴展的方向是把單線程 epoll 升級為多進程 SO_REUSEPORT 的架構(gòu)自己實現(xiàn)一個簡單的線程池比較不同調(diào)度策略的優(yōu)劣深入研究一下 io_uring看看下一代異步 I/O 是怎么把系統(tǒng)調(diào)用開銷降到極致的。如果你正好在學這些內(nèi)容遇到具體問題卡住了歡迎帶著棧信息和 strace 日志來交流——好的問題往往比答案更值得討論。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月激情偷拍| 1024AV视频| 干婷婷五月天| 人碰91| 激情五月色婷婷| 婷婷四月 成人 狠狠干| 色五月大香蕉婷婷| 日本视频不卡123区| 5月婷婷视频网站综合| co超碰在线观看| WWW,五月| 开心激情站婷婷五月天| 色五月婷婷激情综合网| 秋霞A V毛片| 久久综合久色欧美综合狠狠| 婷婷五月情| 婷婷五月精品中文字幕| 五月丁香婷婷网网网网| 激情综合色| 婷婷日本在线| 久婷狼色诱惑在线| 超pen个人视频97| 日韩av在线免费观看| 婷婷五月综合色拍| 超碰精品国产首页| 日韩AC在线免费观看| 激情五月婷婷视频一区二区三区| 天天综合五月| 婷婷丁香97| 六月色色综合| 99这里只有免费的小视频在线观看| 9久久久| 一起草av| 亚洲乱码日产精品BD在线观看| 五月婷婷激情综合| 五月天婷婷成人| 激情婷婷五六月天| 天天爽—爽| 久久婷综合网| 亚洲成人中心| 五月丁香操婷逼| 亚洲日比视频| 国产三级在线播放| 色婷婷啪啪| 综合色图婷婷| 精品香蕉99久久久久网站| 久久最新色| 99免费热视频| 99激情视频| 亚洲最大五月六月丁香婷婷| 亚洲99精品欧美一区| 五月色婷婷AV| 久久黄色片| 99色热视频| 五月婷五月婷伊人伊人五月婷| 成人AV中文字幕| 99在线小视频| 91精品久久久久久久久久久久| 欧美久人人| Www.se.久久| 亚洲成人AV高清字幕| 120分钟婬片免费看| 五月丁香啪啪激情| 99热婷婷| 色婷小说| 五夜丁香| 日韩色色小视频| 超碰免费在线| 激情5月天天天| 六月色色婷婷| 狠狠色丁香| 久久婷婷五月综合啪| www开心激情网| 丁香五月婷婷天激情| 激情婷婷五六月天| 99色亚洲| 国产成人亚洲综合A∨婷婷| 91色色色18| 色婷婷久久| 婷婷久久综合| av一区二区电影免费在线观看| 亚洲亚洲人成综合网络| 五月久久| 色欲Av五月天| 熟女激情五月天 | 婷婷狠狠18禁久久| 狠狠爱综合| 99久在线精品99re8| 五月激情小说| 亚洲最大视频网站| 99re这里只有精品9| 成人色五月天| 色玖玖综合网| 91国产精品视频播放| 9久久久| 91超级碰人人操| 激情四射婷婷色色色| 丁香九月激情| 天天日天天日天天搞| 久久激情网| 五月天婷婷影院| 亚洲亚洲人成综合网络| 激情图片婷婷丁香五月| 五月天婷婷久色| 天堂草在线看www| 另类激情五月在线视频欧美| 91919191919久久成人视频| 高清 码 免费看片短视频| 五月丁香拍拍激情综合| 狠狠色噜噜狠狠狠狠综合| 中文字幕无码人妻少妇免费视频| 99热99极品观看| 亚洲综合99| 五月丁香婷婷人体| 99热官网精品在线| 午夜AV网| 婷婷六月中文字幕| 亚洲色综合| 色播激情| 天天色综合综合| 婷婷综合网| 99se丁香| 婷婷激情五月天综合| 热99在线| 日韩小视频在线99| 久久久区区一久久久久久| 九九干视频| 超碰在线caop| 天天在线久久综合| 26uuu国产| 91视频久久久| 婷婷五月丁香五月| 极品五月天| 色五月成人婷婷| 久久爱婷婷| 午夜不卡久久精品无码免费| 色综合爱综合| 精品国产AV色一区二区深夜久久| 激情久久肏屄视频| 色综合五月| 思思re最新视频| 久久五月丁香| 九九伊人网| 91艹人| 日韩十国产极品久久| 人妻22p| 中文字幕,综合,91| 这里只有精品免费观看网占| www.色五月| 五月丁香 啪啪| 亚洲精品激情| 色婷婷综合在线| 九九热这里只有精品一| 久久怡红院| 欧美熟女99| 久久婷婷色综合| 玖色色综合| 精品A√| 婷婷在线日韩综合| 天天爽天天摸天天爱| www.97视频| 国产色丁香| 五月天播播| 亚洲成人另类| 九月丁香| 久久久月丁香| 五月色亭丁香| 色五月丁香婷婷久草| 99 福利 导航| 五月丁香人妻| 五月婷色色| 99啪啪视频| 91爱操| 激情五月婷黄版| 五月激情婷婷国产精品久久久久久| 六月丁香六月婷婷欧美| 亚洲AV综合网| 久久五月婷6 9| www婷婷亚洲| 国产精品扒开腿做爽爽爽A片唱戏 亚洲爆乳无码精品AAA片蜜桃 | 天天搡日日搡aaaaⅩ| 日韩AV一区二区三区| 五月综合激情视频| www.婷婷五月.com| 色婷婷五月综合在线| 99热青青草| 五月婷婷丁香六月| 激情五月婷婷五月| 亚洲激情97五月天| 97操视频| 激情内射人妻1区2区3区| 婷婷久久久久久久| caopeng97人人| 日韩无码专区| 人人干AV| 日韩操女| 亚洲天天| 五月色婷婷综合丁香精品无遮挡| 热99色| 四色五月婷婷| 激情丁香网| 婷婷丁香综合在线| 色综合五月天| 先锋资源婷婷| www开心激情网| 96精品国产综合久久久久久| 天天操夜夜操| 久久婷婷久久| 激情丁香五月婷婷啪啪| 婷婷激情五月| 婷婷五月另类网站| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 性生活久久朋友人妻| 亚洲av午夜精品一区二区| 五月色婷| 亚洲va在线| 五月天婷婷色综合| 91九色在线| 丁香伊人综合| 开心五月婷婷五月| 大香伊人婷婷影院| AA片在线观看视频在线播放| 国产67194| dingxiangtingtingliuyue| 色狠狠综合网| 丁香五月成人自拍| 4399无码视频| 狠狠干,狠狠操| 丁香五月五月婷婷| 九九精品网| 99热网站| 97干视频| 国产日韩av片| 婷婷九九色| 久久九九爽| 玖玖资源站视频| 99精品自拍| 99热人人操人人操| 五月婷婷黄色网址| 中文字幕乱码亚洲精品一区| 26uuu国产| 亚洲第一综合| 天天澡天天狠天天天做| 色色COm| 中海油常州环保涂料有限公司| 在线99精品| 久久性爱99国产| 1024人妻| 婷婷五月激情综合| 色五月超碰| 激情小说视频图片网| 婷婷五月天伊人在线| 丁香五月欧美激情| 99操逼| 2017人人操| 丁香婷婷九月在线| 中文幕无线码中文字蜜桃| 丁香六月婷婷综合啪啪| 日韩啊啊啊| 婷婷综合六月| 俺去也综合| 天天操天天谢| va中文资源在线观看| 日本欧美在线| 色综合视频| 高清国产一级婬片a免费| 久久XX日本综合| 中字幕视频在线永久在线观看免费 | 人妻啪啪啪| 色玖玖爱| 婷婷亚洲天堂| 亚洲狠狠爱婷婷| 九九视频在线观看视频6| 狠狠综合网| 97精品在线| 色五月婷婷AV| 91操熟女| 天天色五月| 九九99在线观看视频| 久久婷婷热| 亚洲操逼网| 久久婷五月婷| 少妇婷婷五月天| 日日干综合| 欧日美女Va| 夜夜躁狠狠 | 色狠狠六月| 天天摸天天高潮天天爽| 婷婷中文字幕| 99精品在线播放| 亚洲午夜av| 9色91视频| 蜜臀av 粉嫩av 懂色av| 婷婷色片| 97人人草| 久久3级片| 影院久久久| 欧美久久网| 另类激情码| 玖玖资源站国产| 影音先锋xfplay资源男人网| 久色婷婷200| www999日韩精品| 天天天天天天操| 丰满人妻妇伦又伦精品国产| www久久久久久久久久久久久久久久久| 亚洲黄网在线| 国产成人综合在线| www.夜夜騎夜夜狠| 国产激情综合五月久久| 婷婷五月综合网激情| 操人久久| 亚洲色色色色| 26uuu精品国产| 五月天色五月| 婷婷丁香五月综合久久| 日韩九九视频| 五月婷婷丁香五月| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 天天爱天天操| 97五月婷婷| 色色色99| 九九亚洲| OYIWbGcPu8H| 97操操操| 五月丁香六月激情| 国内熟女黄色系列| 国产日批视频| 婷婷性爱网| 色五月情| 五月丁香久久| 亚洲网站999| 日韩免费视频| 亚洲丁香花色| 终合激情网| 亚洲中文字幕在线观看| Av大香蕉| 91色逼| 少妇高潮呻吟A片免费看软件| 欧美日韩中国| 婷婷六月丁香激情| 久久AV电影| 精品人妻久久久久久| 99热精品免费| 操一区| www.99情趣网| 9久久狠狠的| 五月婷视频久久| 99久热| 99综合99| 欧美色色色色色| 97干干干丁香| 久久久久久丁香五月| 99在线精品视频| 人人操插| 99热在线观看精品| 大香蕉九九| 色五月婷婷五月天| 另类 在线| 99re这里只有精品视频了| 婷婷色中文字幕| 婷婷七月丁香色色| 日本啪啪网| 色情五月天导航| 毛片毛片毛片毛片| 中文中文在线| 99热这里有精品2| 色色亚洲| 亚洲精品性色| 欧美久久久中文字幕| 欧美97p| 97av在线视频| 天天拍久久| 丁香激情五月天| 婷婷成人网五月天| 色色国产| 六月婷婷色宗合| 91色性感五月婷婷丁香| 五月天色五月| 色色操| 婷婷色基地在线看 | 天天爽天天| 美女va| 大香蕉久久| 日韩五月天婷婷| 电影91久久久| 丁香婷婷色五月激情综合| 狠狠 久久| 五月亭亭网成人在线视频| 97干视频在线| 久色网| 天天肏天天插| AⅤ在线播放网| 天天日综合| 日韩av网站在线观看| 五月婷婷婷丁香播| 亚洲第一色网站| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 五月天婷婷色| 青草少妇激情| 久久这里精彩免费在线观看| 图片区 小说区 区 亚洲五月| 热99久久这里只有精品| 97日在线视频| 免费看欧美成人A片无码| 开心五月天激情网站| 性爱七区| 久久久99精品免费观看| 五月婷婷亚洲色视频| 久草A片| 五月丁香六月激情| 中文AV网站| 五月丁香啪啪啪免费看| 色婷婷影| 国产69精品久久久久999小说| 九久久婷婷| 这里只有精品在线视频在线观看| www.久久爱| 国产人妻人伦精品一区二区| 亚洲精品无码久久| 夜丁香五月婷婷| 五月停亭六月,六月停亭的英语 | 99精品在线观看视频| 第四色婷婷色五月| 日本三级中文字幕| 99福利视频导航| 伊人婷婷综合| 日本五月婷婷| 婷婷激情综合网| 日韩精品一品二区三区的使用体验| 六月丁香网| 免费观看的婷婷五月视频在线| 97色碰| 亚洲午夜成人av电影网| 色色无码| 五月色影院| 色 色 色综合com| 五月天成人伊人| 人妻AV在线观看| 天天色中文字幕女优AV| 午夜少妇在线观看视频| 五月天亭亭俺也| 久久金品黃色| 亚洲激情精品| 大香蕉院线| 亚洲操操| 在线亚洲综合| 丁香99| 公的粗大挺进了我的密道| 久久性爱视频| 婷婷性福五月天| 99.色| 97成人丁香婷婷| 激情综合色图| 丁香六月激情四射| 色婷婷综合成人| 丁香婷婷久久五月天| 九九热在线精品视频| 大香蕉久久久| 91人人网| 亚洲成人网站在线| 99热性色| 国产综合81p| 亚洲成人精品三区| 日本色超碰| 大香蕉丁香婷婷| 99视频在线观看地址| 五月婷在线观看| 91九色无码日韩| 婷婷色六月| 五月婷婷丁香俺日污视频| 五月天激情美女久久| 亚洲第精品| 久热这里精品免费| 99爱精品视频| 丁香六月婷婷| 超碰成人免费| 狠狠操狠狠| 久久激情五月婷婷| 99网| 五月丁香综合色婷婷| 97碰碰免费.视频| tingtingseav| 九九综合网色全集 | 深爱综合网| 色五月激情五月| 亚洲视频图片婷婷五月| 久久久久久久人妻| 啪啪一区| 色色六月| 久热中文字幕| 狠狠操.com| 久久五月网| 综合网五月天123| 精品福利911| 精品久久66| 五月婷婷亚洲色视频| 五月婷婷成人| 五月综合久久| 欧美va| 色偷偷五月天| 免费婷婷| 欧洲MV日韩MV国产| www.久久久久久久久久久| 色九月婷婷丁香| 夜夜 操无码| 91热er| 婷婷五月天激情五月天深爱五月天| 五月婷婷五月丁香| www.99热| 国产操逼网站| www.99婷婷| 午夜性爱影视一区77| 欧美美美女性色视频| 外国碰视频网站97| 久久免费少妇高潮99精品| 欧美碰碰| 天天射影| 九九99香蕉在线视频播放| 99爱在线免费视频| 激情五月天色色色| 久久亚洲婷婷综合色五月| 99精品爱| 九九色精品| 在线中文字幕免费视频| 婷婷五月天最新综合你懂的 | 中文字幕av在线| www.色擼擼.com| 玖玖爱资源站| 97碰91| 五月丁香六月婷婷亚洲天堂网站| 思思热国产| 六月 丁香 视频| 色99xx| 五月噜噜噜色综合| 性色天| 亚洲国产精品二二三三区 | 久久网站免费亚洲| 操97免费超级视频| 五月久久丁香| 色五月视频无码播放| 庭庭久久内射| 中文AV网站| 天天弄天天爽| www.99热视频| 26uuu色五月| 蜜乳.comcom| 五月丁香成年黄色| 亚洲国产黄色电影| 久久这里都是精品视频| 久久激情五月婷婷| 久久精品视频99| 天天干天天射色综合| 99综合| 丁香天堂夜| 欧美激情综合| 久久五月网| 激情五月婷婷开心网| 国产成人AV在线| 五月丁香综合中文| 人人草开心五月天| cao视频,现在观看| 丁香五月综合在线观看| 亚洲乱码日产精品BD| 久热久色| 深爱激情五月婷婷| 中文字幕不卡+婷婷五月| 激情五月婷婷丁香| 精品自拍97| caopeng超碰| 91丨九色丨国产打屁股| 97操碰碰无码视频| 伊久久婷婷| 天堂爱啪啪| 婷婷五月色天| 色五月激情综合| 六月综合婷婷开心伊人| 人妻五月天激情开心网| 色婷婷五月天偷拍| 中文字幕激情综合| 狠狠做深爱婷婷久久综合一区| 成人在线不卡| 五月丁香色婷婷| 二人电影免费版在线观看| 夜夜躁爽日日| 涩涩涩,com| 亚洲五月天激情| 久婷婷色| 在线婷婷| 天天综合久久| 成人做爰A片免费看视频| 日韩五月天婷婷| 久久综合99综合| 激情五月色婷婷| 日本三日本三级少妇三级66| 另类图片婷婷五月天| 99久久喉9| 婷婷五月天免费视频在线观看| 久热伊人| 五月丁香六月激情综合| 狠狠88综合久久久久噜噜噜| 色色色色热热| 久久99三级在线视频| 日韩在线视频中文字幕| 99九无网码| 天天爽夜夜操| 婷婷色在线视频| 香蕉国产2013| 婷婷丁香成人网址| 色天堂操| 一本色道久久综合狠狠躁小说| 777久久综合视频| 97五月婷| 亚洲精品视频在线播放| 天天摸天天舔天天爽| 九九九激情综合| 国产色色色色| 91蜜桃婷婷狠狠久久综合9色| 少妇性按摩无码中文A片 | 91欧美日韩综合| 国产做爰视频免费播放| 五月成人天| 丁香婷婷五月综合影院| 国产毛片欧美毛片久久久| www,av好吊操| 国产欧美日韩性爱| 久久丁香网| 97精品自拍| 日日夜夜青青草| 亚洲精品成人片在线播| 开心五月激情网| 久久成人人妻| 99热免费精品热久久66| 99热一本久道| 疯狂做受XXXX高潮A片| 婷婷五月色播| 五月婷婷六月激情网| 另类伊人婷婷| 欧美日韩成人综合9| 亚洲成人AV在线播放| 99在线国| 久久最新色| 色色网站免费在线视频| 亚洲第二AV| 高清无码网址| 久机视频这只有精品| 天天日日综合| 色婷五月天网站| 中文字幕在线播放视频| 久久aaaaa| 一起草AV入口| 天天色色天天| 视频一二区| 日日日影院| www久久五月com| 91热99| 97人人操人人操人人操人人| 免费无码毛片一区二区A片| 九九这里是免费的视频5| xxx.色婷婷| 天天开心AV色综合婷婷五月天| 色播婷婷五月天| 99热99| 熟女色色一区二区| 大地资源色婷婷视频在线| 97操视频| 天堂久久性| 婷婷五月天色| 久久激情五月网| 婷婷五月丁香婷婷| 综合久色五月| 亚洲色9| 天天射综合网站| 影音先锋一区| 8区视频在线| 久9精品| 五月天停婷基地| 婷婷六月久久| 玖玖婷婷婷丁香五月| 在线一起草av| 日本99婷婷| 美女久久天堂| 嫩草视频。| 丁香色色五月| 日韩啪图| 色五月婷婷1| 色五月大| 久久HD| 亚洲中文字幕av| 久久婷婷色| 国产成人综合网| 九九99九九精品视频| www.丁香五月| 九九久热| 五月丁香综合影院| 丁香六月啪啪啪| 亚洲精品色| 五月丁香成人网| 激情影院免费视频婷婷五月天| 亚洲射激情| α久久| 99热在线这里| 狠狠五月激情丁香六月| 午夜成人AV在线| 一级黄色影片| 国产在线激情视频| 色综合网页| 九月丁香八月婷婷久久综合久97| 另类视在线| 婷婷五月天AV| 99热这里有精品2| 99热国产这里只有精品| 日韩 中文 欧美| 99久久网站| seuuu婷婷| 色婷婷文字幕| 亚洲区,视频区,视频区免费| 五月激情久久综合| 色色色色色综合| 国产性爱亚洲是图| 69凹凸成人综合网| 久久的爱大香蕉| 大香蕉综合在线| 五月色天五月色| 九九在线视频| 99精品在线观看| 五月丁香综合网| 精品99视频| 色五月无码| 天堂草在线观看| 色综合久久久久| 91在线操逼视频| 激情五月天啪啪| 天天日人人| 久久九九热视频| 五月天婷婷激情小说电影| 91a片爽| 婷婷在线免费| 欧美人妻一区二区| 五月天婷婷社区| 三级99热| 爱的综合网| 99A级片| 日韩青青| 亚洲婷婷月丁香五月| 色婷婷久久7777| 男女99免费视频| 涩婷婷五月天| 图片区 小说区 区 亚洲五月| 综合精品99| 亚洲成人AV在线播放| 99热这里只有是亚洲国产| 丁香色五月天| 97五月天婷婷综合激情网| 99热只有精品在线播放| 开心五月综合激情网| 亚州成人综合在线| 色久在| 激情五月丁香六月综合AVXXXX| 亚洲九N| 看婷婷五月天网| 六月婷婷五月天| 色一情一乱一乱一区91Av| 91丨九色丨丰满人妖| 婷婷.com| 黄网在线免费观| 91viP在线看| 99婷婷国产最新视频| www.久久99精品| 97干婷婷五月天| 色婷婷丁香五月| 日本久热| www.日韩国产| 久久狠婷婷| 色色亚洲视频| 中文字幕婷婷在线| 色99热| 国产精品成av人在线视午夜片| 爱草视频在线观看| 99热这里是精品| 成人五月天在线观看| 九九热av| 99久久久| 亚洲五月天激情| 五月天社区| 九九青青草成人| 超碰九色| 思思热视频在线| 九九热黄色| 婷婷午夜精品久久久| 天堂爱啪啪| 婷婷五月天视频免费在线观看| AV网在线观看| 欧美性爱五月天| 另类亚洲视频| 日本一级一片免费视频| 秋霞AV美国| 99色干| 思思热天天看| 欧美一级色| 二人电影免费版在线观看| 91精品综合久久久久久五月丁香| 欧美色婷婷| 久久色频| 久久丁香| 中文字幕性爱丰满| 人人97操| 九九精品综合| 这里只有精品日韩| 婷婷中文字幕| 亚洲狠狠操| 综合久久综合五月天婷婷| www.天天干| 99久久久久| 日韩成人综合网| 婷婷丁香视频在线观看免费 | 亚洲激情五月| 深夜男女福利刺激影院一区| 色婷婷综合网站| 国产六月婷婷| 五月刺激丁香月综合| 中国激情网| 精品欧美一区二区三区久久久 | 五月天激情综合首页| 亚洲最大成人综合网720P| 玖玖婷婷色五月| 9视频在线成人网站| 色五月婷婷青娱乐| 99热国产| 天天cha成人综合网| 996er热| 成人片在线播放| 婷婷色网| 97人人操com| 丁香花色色网| 涩涩涩婷婷| 日本五月婷婷| 婷婷六月色| 日本久久久97| 久久久久激情| 五月丁香六月婷婷亚洲激情综合| 五月婷婷丁香俺日污视频| 99热爱爱干干日| 久久怡红院| 青青草婷婷久久| 六月丁香激情综合网| 天天综合色综合| 五月丁香色婷婷| 全部老头和老太XXXXX| bukadeavzaixian| 婷婷五月av| 激情五月天免费视频| 久久五月激情综合| 全部老头和老太XXXXX| 亚洲成片在线观看| 情欲综合网| 精品人妻伦一二三区久久| 久久激情网| 五月丁香色色色| 色视频2025| 亚洲色优| 国产精品18久久久| 婷婷丁香五月综合网| 婷婷精品免费久久| 99热99热不卡| 天天天天操| 日本视频欧美观看免费| 久久五月天综合视频网站| 操b视频在线观看一区二区| 五月天激情综合网| 婷婷激情鹿城五月天| 99狠狠操一| 色色色五月天婷婷| 五月丁香日本一抹本| 五月激情婷婷在线| 欧洲色区| 二色AV| 五月婷婷综合在线视频小说| 天天插天天射| 欧美激情综合色综合啪啪五月| 婷婷五月丁香久久| 色欲久久综合| 2017狠狠干| 五月天最新网| 图片区 小说区 区 亚洲五月| 狠狠第四色| 日日操,夜夜撸| 操碰97| 激情综合五| 天天综合中文| 色狠狠婷婷| 久久这里只有精彩| 在线天堂9| 男人天堂 久久| anquye五月| 99亚洲天堂| 欧美啪啪9| 婷婷六月丁| 99久操视频| 丁香婷婷免费| 久色视频| 99综合一区| 五月天婷婷AV| 久久九九婷婷| 丁香五月天的网址。| 欧美性爱五月天| 99热老网站| 色九月婷婷丁香| 日本97人人| 五月丁香 啪啪啪| www.99热| 丁香五月自拍| 久热91| 五月天亚洲图片婷婷| 五月丁香啪综合| 黄色激情久久| 五月丁香六月成人| 久久激情五月网| 久色大| 丁香五月天婷婷91| 五月婷婷亚洲| 亚洲视频无| www五月天com| 丁香五月激情欧美| 色五月激情网| 日本精品干| 六月色婷婷| 99操久久| 91操碰| 六月丁香婷婷视频综合在线观看| 欧美婷婷五月丁香| 亚洲午夜精品久久久久久人妖| 久久99网站| 91人操人人人操人| 色综合99| 欧美婷婷六月丁香综合色连续高潮抽搐| 日本久热| 亚洲精品色色| 色婷婷深爱五月| 色婷婷综合网站| 五月丁香六月欧美综合| 国产精产国品一二三在观看| 婷婷深爱五月亚洲综合| www五月婷婷| 丁香五月综合在线观看| 3DAV亚洲香蕉久久 一区二区| 色婷婷狠狠| 婷婷午夜综合| 亚洲AV免费在线| 婷婷六月综合在线| 性爱激情综合网| 337午夜福利| 色五月大| 激情五月丁香五月| 99色啊| 丁香深五月婷婷| 婷婷五月婷婷| 大香蕉五月天婷婷| 午夜精品久久久久久久爽| 天天夜天天色天天| 久久网址99热| 怡红院视频| 六月丁香深深爱| ww超碰在线| 婷婷丁香宗合888| 大香蕉九操| CHINESE熟女老女人HD视频| 亚洲精品性色| 日韩在线一级| 伊人在线视频| 亚洲婷婷乱乱丁香| 无码橾| 五月丁香| 情趣视频66| 久久婷综合| 丁香五月综合网| 欧洲亚洲午夜| 狠狠五月天婷婷| 夜夜爱爱亚洲| 九九热在线精品| 日撸夜撸日操| 婷婷五月花| 国产亚洲精品久久久久久久久动漫| 色婷婷AV五月天| 99玖玖在线视频| 免费视频无码| 99久久99热这里只有精品| 99热综合色图| 99热这里有精品| 国产精品色婷婷久久久精品| 99热欧美在线观看| 久9热插入| 开心五月婷婷激情| 天天干天天干天天操| 、激情六月天| 亚洲色色五月| 婷婷综合| 亚洲五月婷婷| 婷婷播播五月天| 97碰久久| 无码成人播放器| 五月天激情四射| 伊人深爱综合| 思思久ren热| 光棍影院日韩精品| 精品人妻午夜一区二区三区四区| 久久精品99久久久久久| 人妻肉射免费观看| 五月丁香婷婷在线| 婷婷久久图片| 全部老头和老太XXXXX| 色五月播五月| 五月丁香五月天现场视频| 婷婷午夜精品久久久| 思思热在线视频精品| 五月亭亭六月色| 9热在线视频| 五月天社区婷婷| 狠狠做深爱婷婷久久综合一区| 无码人妻一区| 久久在线人妻| 新久久五月天激情| 五月丁香五月丁香五月丁香五月丁香91| 日日夜夜天天| 亚洲国产成人综合| 久久丁香综合| 丁香五月第四色88| 涩涩涩,com| 久99| 蜜乳人妻一区二区三区| 91超级碰碰碰| 超碰AV在线| 婷婷五月天在线视频网站| 停停五月天激情网| 五月婷久久| 丁香婷最新动态| 六月婷婷av| www.久久9| 色婷婷av综合网| 九九XX视频| 亚洲国产精品VA在线看黑人| 亚洲中文字幕网| 婷色五月| 久久3p| 亚洲成人超碰| 久久丁香五月天| 婷婷五月激情视频在线| 日日操,夜夜爽| 色青青五月| 色色婷五月天| 欧美美女国产日韩一区二区久| 97极品在线| 中文字幕97超级碰| 97干在线看| 91视频综合网| 五月天基地| 亚州色综合| 99久久五月丁香野外| 日本操B片| 停停六月 综合| 丁香婷婷久久综合在线| 97人人操人人插| 狼人伊人干| 超碰妻人人| 色444综合网| 亚洲视频另类| 特黄三级又爽又粗又大| 五月丁香综合久久夜夜| 骚逼视频一区2区| 久久9热综合| 久久九九经典| 婷婷丁香婷婷97| 哇嘎成人久久| 色色婷婷色色| 婷婷伊人综合中文字幕| 91一起艹| 久久久这里都是精品| 伦乱美欧| 激情图片婷婷| 五月草影视| 天天草天天摸| 五月婷婷五月丁香| 日本色99| 五月丁香777| 欧美成人猛片AAAAAAA| 91性交在线播放| 激情碰碰碰| 色吊丝永久访问网址| 玖玖爱综合网| 亚洲天天免费| Jh7Uf088VHafNm| 99免费在线| 狠狠色丁香婷婷久久综合| 超碰9| 色婷婷六月| www,婷婷,com| 色五月婷婷AV| www.色99| 九九色99| 色五月av| 色婷丁香五月| 五月婷AV| 婷婷五月天国产| 五月天激情小说网| 精品爱欲五| 小色小蛇伊人婷婷色香五月| 级情九色| 久久五月婷婷开心网| 五月天综合| 99热97| 六月丁香婷婷爱| 色婷婷AⅤ| 翔田千里 50岁 无码| 久久这里面只有精品视频| 色5月婷婷| AV在线观看网站| 99激情视频| 18久久| 婷婷偷拍网| 人人妻久久妻| 婷婷丁香五月亚洲| 亚洲乱码日产精品BD| 蜜臀av粉嫩av懂色av| 欧美va精品va老师va| 婷婷噜噜| 开心激情综合| av一区二区电影免费在线观看| 97人人看| 丁香香五月激情免费视频| 天天综合中文| 四色五月婷婷| 激情久久综合网| 久久网站免费亚洲| 免费视频99| 操人91| 99热碰碰| 婷婷色香六月综合激情| 色综合综合网| 少妇激情五月天| 国内熟女黄色系列| 综合大香蕉| 激情综合婷婷| 色欲丁香| 97色一二三| VA婷婷| 五月婷婷激情综合av| 成人无码髙潮喷水A片| 久久婷婷五月综合成人d啪| 婷婷丁香五月天狠狠| 欧美日韩99| 五月天大香蕉视频| 激情五月综合色婷婷| 九九热自拍| 激情色情五月天| 国产阿姨日皮艹逼内射视频 | 日本欧美成人片AAAA| 久久五月天色婷婷| 99久久婷婷五月天| 色婷婷五月综合| 日本情色一区二区| 精品九九视频在线观看| 日韩婷婷| 99操免费视频| 天天做天天爱天天玩夜夜爽| 超碰99在线| 涩综合网| 人人草人人舔| 香蕉久久五月| 深爱激情网婷婷| 婷婷久久网| 久久人人九| 五月天激情www| 天堂在线伊久| xx色综合| 色五月婷婷久久| 六月丁香av| 26uuu欧美宗合| 中文字幕乱码亚洲精品一区| 91在线视频综合| 天天爽天天日天天舔| 伊人无码高清| 99re这里只有精品国产99| 91超碰在线播放| 欧美久久网| 五月婷婷综合丁香视频| 久久综合综合综合| 另类激情五月| 国产人妻777人伦精品HD| 可以免费观看的av网址| 99久久婷婷国产综合精品草原| 日本色色网站| 亚洲天堂色色| 亚洲成人AV一区在线观看| 天天综合网亚洲网站| 666555。COm毛片| 色高清无码视频| 九九综合| 五月天婷婷丁香花| 婷婷久久五月天| 国产精品五月丁香| 日本综合久久| 99热欧| 26uuu成人网| 丁香亭亭久久| 婷婷激情图片| 久久黄色免费视频| 丁香色婷婷| 婷丁香五月天| 激情五月天丁香| 婷婷性爱无码视频| 噼里啪啦完整版中文在线观看| 日韩AAA| 成人国产欧美大片一区| 黄色AAAA韩国guochansanji| 天天日人人| 五月婷婷影视| 狠狠狠狠操| 另类图片五月天婷婷| 五月婷婷六月丁香色| 人妻激情视频| aaa久久| 玖热精品综合视频| 六月色色| 欧美va| 大鸡巴伊人网| h在线看免费版在线看| 综合网网欲色| 五月丁香性爱| 色玖玖导航| 99无码视频| 激情五月黄色小说| 无码激情AAAAA片-区区| 五月婷婷综合潮喷| 九九热99久久99| 丁香婷婷五月色成人网站| 超碰免费人妻| 婷婷在线视频| 伊人狠狠操| 国产成人AV在线播放| 婷婷综合网站| 五月丁香网站在线播放| 99视频综合| 亚洲免费观看高清完整版AV线| 欧美五月婷婷| 日韩免费视频| 天天爽综合网| 久9热在线视频| 少妇真实被内射视频三四区| 日韩欧美骚货| 激情性爱五月| 丁香五月婷婷基地| 日日肏天天操| 色婷婷情片| 丁香五月天啪啪| 久热播这里只有精品| 色色色区| 另类专区在线观看| 婷婷色播综合五月| 欧美在线视频9| 91丨九色丨43老版熟女| 丁香五月天欧美在线| 欧美色色色色色色色色| 丁香六月激情综合| www.99热. com这里只有精品| 变态另类9| 九九视频在线观看视频6|