欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Epoll 高并發(fā)實(shí)戰(zhàn):ET模式、事件循環(huán)與內(nèi)核協(xié)同設(shè)計(jì)

Epoll 高并發(fā)實(shí)戰(zhàn):ET模式、事件循環(huán)與內(nèi)核協(xié)同設(shè)計(jì) 1. 為什么 Epoll 不是“另一個(gè) select”而是 Linux 高并發(fā)網(wǎng)絡(luò)服務(wù)的底層支點(diǎn)很多人第一次接觸 Epoll是在某次面試被問(wèn)到“select/poll/epoll 區(qū)別”時(shí)臨時(shí)背下的三行對(duì)比select 有 1024 文件描述符限制poll 沒(méi)上限但每次都要遍歷全部 fdepoll 使用紅黑樹(shù) 就緒鏈表時(shí)間復(fù)雜度 O(1)。背完就以為懂了——結(jié)果一寫(xiě)真實(shí)服務(wù)CPU 占用飆到 95%連接數(shù)剛過(guò) 3000 就開(kāi)始丟包日志里全是accept() failed: Too many open files和epoll_ctl: Bad file descriptor。我當(dāng)年在某實(shí)驗(yàn)室做模擬項(xiàng)目X 的實(shí)時(shí)數(shù)據(jù)分發(fā)模塊時(shí)就栽在這上面用 epoll_wait 寫(xiě)了個(gè)“看似完美”的事件循環(huán)壓測(cè)時(shí)發(fā)現(xiàn)每秒只能處理 1.2 萬(wàn)請(qǐng)求而同樣機(jī)器上跑的 Nginx 輕松扛住 8 萬(wàn) QPS。后來(lái)花三天重讀內(nèi)核源碼注釋、抓包分析系統(tǒng)調(diào)用耗時(shí)、逐行比對(duì) strace 日志才真正明白Epoll 不是一個(gè) API而是一套圍繞 Linux 內(nèi)核事件通知機(jī)制構(gòu)建的協(xié)同協(xié)議。它要求用戶空間代碼必須嚴(yán)格遵循內(nèi)核的調(diào)度邏輯否則再“高效”的接口也會(huì)退化成輪詢。關(guān)鍵詞不是“epoll_create”“epoll_ctl”“epoll_wait”這三個(gè)函數(shù)而是邊緣觸發(fā)ET與水平觸發(fā)LT的語(yǔ)義邊界、就緒狀態(tài)的原子性維護(hù)、fd 生命周期與事件注冊(cè)的強(qiáng)一致性、以及內(nèi)核-用戶空間零拷貝就緒隊(duì)列的消費(fèi)節(jié)奏。這四個(gè)點(diǎn)才是決定你寫(xiě)的服務(wù)器是能跑在生產(chǎn)環(huán)境還是只配當(dāng)教學(xué) Demo 的分水嶺。它不解決“怎么寫(xiě)一個(gè) echo server”它解決的是“當(dāng) 10 萬(wàn)個(gè) TCP 連接同時(shí)發(fā)送 64 字節(jié)心跳包時(shí)你的主線程如何在 1ms 內(nèi)完成所有讀取、解析、響應(yīng)且不漏掉任何一個(gè) fd 的 EPOLLIN 事件”。這不是編程技巧問(wèn)題是系統(tǒng)級(jí)協(xié)同思維問(wèn)題。如果你現(xiàn)在還在用 while(1) { epoll_wait(...); for(each fd in events) { read(); write(); } } 這種教科書(shū)式寫(xiě)法那恭喜你已經(jīng)站在了高并發(fā)性能懸崖邊上——而這個(gè)懸崖恰恰是絕大多數(shù)人根本沒(méi)意識(shí)到自己正站在上面。2. Epoll 的真實(shí)工作流從內(nèi)核事件注入到用戶空間消費(fèi)的完整閉環(huán)要理解 Epoll 為什么快不能只看用戶態(tài) API必須把內(nèi)核態(tài)和用戶態(tài)當(dāng)成一個(gè)整體來(lái)看。我們以一次典型的客戶端發(fā)包 → 服務(wù)端收包 → 服務(wù)端回包流程為例拆解整個(gè)事件生命周期首先內(nèi)核網(wǎng)絡(luò)棧收到一個(gè) TCP 數(shù)據(jù)包后會(huì)將其放入對(duì)應(yīng) socket 的接收緩沖區(qū)sk-sk_receive_queue。此時(shí)如果該 socket 已被 epoll 實(shí)例監(jiān)控即已調(diào)用 epoll_ctl(EPOLL_CTL_ADD)內(nèi)核會(huì)檢查該 socket 是否處于“可讀就緒”狀態(tài)——判斷依據(jù)不是“緩沖區(qū)非空”而是“緩沖區(qū)中有效數(shù)據(jù)長(zhǎng)度 ≥ 應(yīng)用層上次 read() 后剩余的可讀字節(jié)數(shù)”。這個(gè)細(xì)節(jié)極其關(guān)鍵很多開(kāi)發(fā)者誤以為只要 recv buffer 有數(shù)據(jù)epoll 就會(huì)通知其實(shí)不然。內(nèi)核會(huì)維護(hù)一個(gè) per-socket 的就緒狀態(tài)位sk-sk_epoll_mask只有當(dāng)該位被置為 EPOLLIN 且尚未被用戶空間消費(fèi)時(shí)才會(huì)將該 fd 加入就緒鏈表。接著當(dāng)用戶調(diào)用 epoll_wait() 時(shí)內(nèi)核并不遍歷所有被監(jiān)控的 fd而是直接返回就緒鏈表rdllist中的節(jié)點(diǎn)。這個(gè)鏈表由內(nèi)核在數(shù)據(jù)到達(dá)、連接建立、錯(cuò)誤發(fā)生等事件觸發(fā)時(shí)通過(guò) __ep_poll_callback() 函數(shù)原子地插入。重點(diǎn)來(lái)了這個(gè)插入操作發(fā)生在軟中斷上下文softirq且全程無(wú)鎖使用 lockless list。這意味著從數(shù)據(jù)包抵達(dá)網(wǎng)卡到 fd 出現(xiàn)在 epoll_wait 返回?cái)?shù)組中中間沒(méi)有進(jìn)程調(diào)度、沒(méi)有上下文切換、沒(méi)有內(nèi)存屏障開(kāi)銷——這是 epoll 時(shí)間復(fù)雜度 O(1) 的物理基礎(chǔ)。然后用戶空間拿到 events 數(shù)組后開(kāi)始逐個(gè)處理。這里出現(xiàn)第一個(gè)分叉點(diǎn)如果是 LT 模式只要該 fd 的 recv buffer 中仍有數(shù)據(jù)下次 epoll_wait 就會(huì)再次返回它而 ET 模式下內(nèi)核只保證“至少通知一次”之后無(wú)論緩沖區(qū)是否還有數(shù)據(jù)都不會(huì)再通知除非該 fd 再次發(fā)生新的 I/O 事件比如又有新包到達(dá)。這就引出了 ET 模式的鐵律必須一次性把當(dāng)前就緒的 fd 讀/寫(xiě)到 EAGAIN 或 EWOULDBLOCK。我見(jiàn)過(guò)太多人寫(xiě) ET 模式代碼時(shí)在 read() 返回 n 0 后就直接 break結(jié)果后續(xù)數(shù)據(jù)永遠(yuǎn)卡在內(nèi)核緩沖區(qū)epoll 再也不通知——因?yàn)閮?nèi)核認(rèn)為“你已經(jīng)知道它可讀了你自己沒(méi)讀完怪不了我”。最后當(dāng)用戶調(diào)用 close() 關(guān)閉一個(gè)被 epoll 監(jiān)控的 fd 時(shí)內(nèi)核會(huì)自動(dòng)從紅黑樹(shù)中刪除該節(jié)點(diǎn)并從就緒鏈表中移除如果存在。但這里有個(gè)經(jīng)典陷阱如果在 epoll_wait 返回后、處理該 fd 前另一個(gè)線程或信號(hào)處理函數(shù)提前 close() 了它那么后續(xù)對(duì)該 fd 的 read/write 將觸發(fā) EBADF 錯(cuò)誤而 epoll_ctl(EPOLL_CTL_DEL) 可能因 fd 已失效而失敗。這就是為什么所有健壯的 epoll 服務(wù)都必須在事件處理前加一層 fd 有效性校驗(yàn)或者采用引用計(jì)數(shù) 延遲回收機(jī)制。提示不要依賴 epoll_wait 的 timeout 參數(shù)做“定時(shí)任務(wù)”。它的精度受系統(tǒng) HZ 影響且在高負(fù)載下可能嚴(yán)重漂移。真正的定時(shí)器應(yīng)使用 timerfd_create() 配合 epoll讓內(nèi)核在指定時(shí)間點(diǎn)主動(dòng)向 epoll 就緒鏈表注入一個(gè)事件。3. ET 模式下的生死線一次性讀寫(xiě)到底的硬核實(shí)現(xiàn)與邊界處理ETEdge Triggered模式是 Epoll 性能的命脈也是絕大多數(shù)崩潰和丟包的源頭。它的設(shè)計(jì)哲學(xué)很樸素內(nèi)核只負(fù)責(zé)“通知事件發(fā)生了”不負(fù)責(zé)“通知事件還持續(xù)著”。這就像門鈴——按一下你聽(tīng)見(jiàn)了進(jìn)去開(kāi)門如果門沒(méi)關(guān)嚴(yán)風(fēng)又把它吹開(kāi)了門鈴不會(huì)自動(dòng)再響一次。你得自己盯著門縫或者等下一次有人按。所以ET 模式下處理一個(gè)就緒 fd 的唯一正確姿勢(shì)就是用循環(huán)讀/寫(xiě)直到系統(tǒng)調(diào)用返回 EAGAINLinux或 EWOULDBLOCKPOSIX 兼容。但“循環(huán)讀”遠(yuǎn)比聽(tīng)起來(lái)復(fù)雜。我們以讀取一個(gè) TCP socket 為例寫(xiě)出工業(yè)級(jí)安全的 ET 讀取函數(shù)ssize_t safe_read_et(int fd, void *buf, size_t count) { ssize_t total 0; ssize_t n; char *ptr (char *)buf; while (total count) { n read(fd, ptr total, count - total); if (n 0) { total n; } else if (n 0) { // 對(duì)端關(guān)閉連接這是合法的 EOF return total 0 ? total : 0; } else { if (errno EINTR) { continue; // 被信號(hào)中斷重試 } else if (errno EAGAIN || errno EWOULDBLOCK) { // 真正的“讀完”標(biāo)志退出循環(huán) break; } else { // 真實(shí)錯(cuò)誤如 ECONNRESET, EIO 等 return -1; } } } return total; }這段代碼看著簡(jiǎn)單但藏著三個(gè)必須死磕的細(xì)節(jié)第一EINTR 的處理不是可選項(xiàng)是必選項(xiàng)。在 Linux 下任何阻塞式系統(tǒng)調(diào)用包括 read都可能被信號(hào)中斷。如果不處理 EINTR一次 SIGALRM 就可能導(dǎo)致本該讀 1024 字節(jié)的請(qǐng)求只讀了 32 字節(jié)就跳出循環(huán)后續(xù)數(shù)據(jù)永遠(yuǎn)滯留在內(nèi)核緩沖區(qū)epoll 再也不通知——因?yàn)?ET 模式下內(nèi)核認(rèn)為“我已經(jīng)告訴過(guò)你有數(shù)據(jù)了”。第二必須區(qū)分 EAGAIN/EWOULDBLOCK 和其他錯(cuò)誤。很多新手會(huì)寫(xiě)if (n 0 errno ! EAGAIN) return -1;這在大多數(shù)情況下沒(méi)問(wèn)題但忽略了 EINTR。更危險(xiǎn)的是有些網(wǎng)絡(luò)庫(kù)如舊版 libevent會(huì)把 EINTR 當(dāng)作普通錯(cuò)誤拋出導(dǎo)致連接被意外關(guān)閉。第三read() 返回 0 的含義必須精確理解。它只代表對(duì)端執(zhí)行了 close() 或 shutdown(SHUT_WR)不代表本端不能繼續(xù)寫(xiě)。但在 HTTP/1.1 Keep-Alive 場(chǎng)景下如果讀到 0意味著請(qǐng)求體已完整接收可以立即構(gòu)造響應(yīng)并 write() 回去。我曾經(jīng)在一個(gè)長(zhǎng)連接網(wǎng)關(guān)項(xiàng)目中因?yàn)闆](méi)正確處理 read()0導(dǎo)致客戶端發(fā)送完 POST 請(qǐng)求后服務(wù)端遲遲不回包最終超時(shí)斷連。寫(xiě)操作同理但更隱蔽。ET 模式下 write() 也可能只寫(xiě)部分?jǐn)?shù)據(jù)就返回 EAGAIN。此時(shí)你不能丟棄剩余數(shù)據(jù)必須緩存到該連接的 output buffer 中并在下次該 fd 變?yōu)?EPOLLOUT 就緒時(shí)繼續(xù)發(fā)送。這就引出了“寫(xiě)就緒”的觸發(fā)條件只有當(dāng) socket 發(fā)送緩沖區(qū)sk-sk_write_queue有足夠空間容納待發(fā)送數(shù)據(jù)時(shí)內(nèi)核才會(huì)置位 EPOLLOUT。所以一個(gè)常見(jiàn)的優(yōu)化是在連接剛建立時(shí)accept 后先嘗試 write() 一次如果返回 EAGAIN再 epoll_ctl(EPOLL_CTL_MOD, EPOLLOUT)否則等真正需要發(fā)數(shù)據(jù)時(shí)再注冊(cè)。這樣避免了為每個(gè)連接都默認(rèn)監(jiān)聽(tīng) EPOLLOUT節(jié)省內(nèi)核事件表空間。注意不要在 ET 模式下對(duì)同一個(gè) fd 同時(shí)監(jiān)聽(tīng) EPOLLIN 和 EPOLLOUT。這會(huì)導(dǎo)致大量虛假的 EPOLLOUT 事件因?yàn)榘l(fā)送緩沖區(qū)大部分時(shí)間都是有空間的極大增加 epoll_wait 的返回事件數(shù)抵消 ET 的性能優(yōu)勢(shì)。正確的做法是只在有數(shù)據(jù)要發(fā)且上次 write() 返回 EAGAIN 時(shí)才臨時(shí)注冊(cè) EPOLLOUT發(fā)完立刻 EPOLL_CTL_DEL 或 MOD 回只監(jiān)聽(tīng) EPOLLIN。4. 生產(chǎn)環(huán)境的七宗罪那些讓 Epoll 服務(wù)器在凌晨三點(diǎn)崩潰的隱藏陷阱理論再完美也架不住生產(chǎn)環(huán)境的毒打。我在某跨平臺(tái)系統(tǒng)中維護(hù)一個(gè)基于 Epoll 的設(shè)備管理服務(wù)上線半年遇到過(guò)七類幾乎無(wú)法復(fù)現(xiàn)、但每次爆發(fā)都導(dǎo)致大面積設(shè)備失聯(lián)的“幽靈故障”。它們都不在教科書(shū)里卻真實(shí)存在于每一行 C 代碼的縫隙中第一宗罪驚群效應(yīng)Thundering Herd的變種。你以為只有 accept() 才有驚群錯(cuò)。在多線程模型中如果多個(gè)工作線程同時(shí)阻塞在同一個(gè) epoll fd 上當(dāng)一個(gè)新連接到達(dá)時(shí)內(nèi)核會(huì)喚醒所有線程但只有一個(gè)能成功 accept()其余線程在 accept() 時(shí)會(huì)返回 EAGAIN。這本身沒(méi)問(wèn)題但問(wèn)題在于這些被喚醒又失敗的線程會(huì)立即重新進(jìn)入 epoll_wait()形成高頻空轉(zhuǎn)。在 32 核機(jī)器上這會(huì)導(dǎo)致 CPU 占用率瞬間拉滿而真正干活的線程反而搶不到調(diào)度權(quán)。解決方案不是加鎖而是用 eventfd 創(chuàng)建一個(gè)“任務(wù)分發(fā)管道”主線程 accept 后write() 一個(gè)整數(shù)到 eventfd由 epoll_wait 監(jiān)控該 eventfd 的工作線程來(lái)領(lǐng)取任務(wù)。第二宗罪TIME_WAIT 連接吞噬端口。當(dāng)服務(wù)作為客戶端頻繁連接后端時(shí)本地端口會(huì)大量進(jìn)入 TIME_WAIT 狀態(tài)默認(rèn) 60 秒。一個(gè)端口只能屬于一個(gè) socket65535 個(gè)端口很快耗盡。net.ipv4.ip_local_port_range可以擴(kuò)大范圍但治標(biāo)不治本。真正有效的方案是在 connect() 前對(duì) socket 設(shè)置SO_LINGER選項(xiàng)linger.l_onoff1, linger.l_linger0強(qiáng)制發(fā)送 RST 終止連接跳過(guò) TIME_WAIT。當(dāng)然這會(huì)犧牲 TCP 的可靠性保證只適用于你完全信任后端服務(wù)可用性的場(chǎng)景。第三宗罪大文件傳輸時(shí)的 sendfile() 與 epoll 沖突。sendfile() 是零拷貝利器但它的行為與 epoll 事件不兼容。當(dāng)你對(duì)一個(gè) socket 調(diào)用 sendfile() 傳輸一個(gè) 100MB 文件時(shí)內(nèi)核會(huì)直接從文件頁(yè)緩存復(fù)制到 socket 發(fā)送緩沖區(qū)。但如果發(fā)送緩沖區(qū)滿了sendfile() 會(huì)阻塞而此時(shí) epoll 并不會(huì)通知 EPOLLOUT——因?yàn)?sendfile() 是同步阻塞調(diào)用它繞過(guò)了 epoll 的事件注冊(cè)機(jī)制。結(jié)果就是主線程卡死所有其他連接無(wú)人處理。正確做法是用 splice() 替代 sendfile()或者將大文件切分成 64KB 塊用普通 write() EPOLLOUT 事件驅(qū)動(dòng)發(fā)送。第四宗罪SIGPIPE 信號(hào)的無(wú)聲扼殺。當(dāng)對(duì)端已關(guān)閉連接你還往 socket write()默認(rèn)會(huì)觸發(fā) SIGPIPE 信號(hào)進(jìn)程直接退出。很多服務(wù)沒(méi)設(shè)置signal(SIGPIPE, SIG_IGN)結(jié)果半夜某個(gè)異常斷連的客戶端就把整個(gè)服務(wù)干掉了。這不是 bug是設(shè)計(jì)——但生產(chǎn)環(huán)境必須顯式忽略。第五宗罪mmap() 內(nèi)存映射文件與 epoll 的頁(yè)錯(cuò)誤競(jìng)爭(zhēng)。如果用 mmap() 映射一個(gè)大日志文件然后在 epoll_wait() 期間訪問(wèn)未加載到內(nèi)存的頁(yè)會(huì)觸發(fā) page fault進(jìn)而導(dǎo)致進(jìn)程被掛起等待磁盤(pán) IO。此時(shí) epoll_wait() 也跟著掛起所有網(wǎng)絡(luò)事件停滯。解決方案在 mmap() 后立即調(diào)用madvise(addr, len, MADV_WILLNEED)預(yù)加載頁(yè)面。第六宗罪UDP socket 的“偽就緒”。UDP 沒(méi)有連接概念一個(gè) recvfrom() 調(diào)用就能讀取整個(gè)數(shù)據(jù)報(bào)。但 epoll 對(duì) UDP 的就緒判斷是基于“接收緩沖區(qū)中是否有至少一個(gè)完整的數(shù)據(jù)報(bào)”。如果客戶端發(fā)來(lái)一個(gè) 2000 字節(jié)的 UDP 包而你的 recvfrom() 緩沖區(qū)只有 1024 字節(jié)那么這次調(diào)用會(huì)截?cái)鄶?shù)據(jù)但 epoll 仍認(rèn)為該 fd “已就緒”下次還會(huì)返回它——因?yàn)槟銢](méi)讀完“一個(gè)完整數(shù)據(jù)報(bào)”。這會(huì)導(dǎo)致無(wú)限循環(huán)。必須用MSG_TRUNC標(biāo)志先探測(cè)包長(zhǎng)再分配足夠緩沖區(qū)。第七宗罪epoll_ctl() 的內(nèi)存屏障缺失。在多線程環(huán)境下如果線程 A 正在修改某個(gè)連接的業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)線程 B 同時(shí)調(diào)用 epoll_ctl(EPOLL_CTL_DEL) 刪除該 fd而兩者之間沒(méi)有內(nèi)存屏障可能導(dǎo)致線程 A 讀到臟數(shù)據(jù)或崩潰。標(biāo)準(zhǔn)解法用 pthread_mutex_t 保護(hù) fd 的整個(gè)生命周期或者用 RCURead-Copy-Update機(jī)制但這需要深入內(nèi)核知識(shí)。提示用ss -s命令隨時(shí)查看 socket 統(tǒng)計(jì)重點(diǎn)關(guān)注TCP: inuse當(dāng)前 TCP 連接數(shù)、orphan孤兒 socket 數(shù)、twTIME_WAIT 數(shù)。當(dāng)tw接近inuse的 2 倍時(shí)就要警惕端口耗盡風(fēng)險(xiǎn)。5. 從單線程到百萬(wàn)連接Epoll 架構(gòu)演進(jìn)的四個(gè)真實(shí)階段一個(gè) Epoll 服務(wù)的成長(zhǎng)不是一蹴而就的而是隨著業(yè)務(wù)壓力被迫經(jīng)歷四次痛苦的架構(gòu)重構(gòu)。我在模擬項(xiàng)目X 的三年迭代中完整走過(guò)了這四個(gè)階段每個(gè)階段都伴隨著一次線上事故和一周的深度復(fù)盤(pán)階段一單線程 Reactor 5000 連接這是最經(jīng)典的模型一個(gè)線程一個(gè) epoll fd一個(gè)事件循環(huán)。所有 accept、read、parse、write 都在這個(gè)線程里串行執(zhí)行。優(yōu)點(diǎn)是簡(jiǎn)單、無(wú)鎖、調(diào)試方便缺點(diǎn)是 CPU 成為絕對(duì)瓶頸。當(dāng)解析一個(gè) JSON 請(qǐng)求需要 50us而 QPS 達(dá)到 2 萬(wàn)時(shí)僅解析就吃掉 100% CPU。這個(gè)階段的代碼核心就是一個(gè) while 循環(huán)while (!shutdown_flag) { nfds epoll_wait(epoll_fd, events, MAX_EVENTS, -1); for (i 0; i nfds; i) { if (events[i].data.fd listen_fd) { handle_accept(); } else { handle_client_event(events[i].data.fd, events[i].events); } } }此時(shí)handle_client_event()必須是純計(jì)算型不能有任何阻塞 IO如數(shù)據(jù)庫(kù)查詢、HTTP 調(diào)用。一旦引入整個(gè)服務(wù)就雪崩。階段二半同步/半異步5000 ~ 5 萬(wàn)連接為了解耦計(jì)算和 IO引入工作線程池。主線程只負(fù)責(zé) epoll_wait 和 accept將新連接或就緒事件封裝成 task放入無(wú)鎖隊(duì)列如 ring buffer由 worker 線程消費(fèi)。這里的關(guān)鍵突破是worker 線程不再持有 epoll fd它們只做業(yè)務(wù)邏輯完成后通過(guò) pipe 或 eventfd 通知主線程 write() 響應(yīng)。這樣主線程的 epoll_wait() 不會(huì)被業(yè)務(wù)耗時(shí)拖慢。但問(wèn)題隨之而來(lái)task 隊(duì)列的生產(chǎn)和消費(fèi)速度不匹配。當(dāng)突發(fā)流量到來(lái)隊(duì)列積壓內(nèi)存暴漲。解決方案是在主線程中加入“背壓”機(jī)制當(dāng)隊(duì)列長(zhǎng)度超過(guò)閾值臨時(shí)停止 accept()并返回503 Service Unavailable而不是讓隊(duì)列無(wú)限增長(zhǎng)。階段三多 Reactor5 萬(wàn) ~ 50 萬(wàn)連接單個(gè) epoll fd 的性能天花板在 30~50 萬(wàn)事件/秒取決于 CPU 主頻和內(nèi)核版本。要突破必須橫向擴(kuò)展。主流方案是一個(gè) Acceptor 線程只 listen/acceptN 個(gè) IO 線程每個(gè)持有一個(gè)獨(dú)立的 epoll fd負(fù)責(zé)一組連接的 read/writeM 個(gè)計(jì)算線程處理業(yè)務(wù)邏輯。連接分配策略至關(guān)重要。我們測(cè)試過(guò)三種輪詢分配簡(jiǎn)單但不均衡短連接多的業(yè)務(wù)會(huì)導(dǎo)致某些 IO 線程過(guò)載Hash 分配fd % N穩(wěn)定但擴(kuò)容困難一致性 Hash最優(yōu)但實(shí)現(xiàn)復(fù)雜。最終選擇了“fd % N” 運(yùn)行時(shí)熱遷移當(dāng)某線程負(fù)載持續(xù) 80%將部分連接的 fd 通過(guò) epoll_ctl(EPOLL_CTL_MOD) 遷移到其他線程。這需要所有 IO 線程共享一個(gè)全局連接池用 RCU 保護(hù)并實(shí)現(xiàn)跨線程的 fd 傳遞協(xié)議。階段四DPDK 用戶態(tài)協(xié)議棧 50 萬(wàn)連接當(dāng)內(nèi)核協(xié)議棧成為瓶頸如 SYN Flood 攻擊下內(nèi)核 conntrack 表耗盡就必須繞過(guò)內(nèi)核。這時(shí)Epoll 本身已無(wú)意義因?yàn)榫W(wǎng)絡(luò)包根本不到內(nèi)核。我們接入 DPDK用輪詢方式從網(wǎng)卡收包在用戶態(tài)解析 TCP/IP自己維護(hù)連接狀態(tài)機(jī)再將就緒的“虛擬連接”事件通過(guò) shared memory ring buffer 推送給業(yè)務(wù)線程。Epoll 在這里退化為一個(gè)“內(nèi)部事件總線”的消費(fèi)者只負(fù)責(zé)協(xié)調(diào)用戶態(tài)各模塊間的通信。這個(gè)階段代碼量爆炸式增長(zhǎng)但 QPS 從 50 萬(wàn)提升到 200 萬(wàn)延遲從 100us 降到 15us。代價(jià)是失去所有內(nèi)核網(wǎng)絡(luò)功能如 iptables、conntrack、TCP 重傳所有協(xié)議棧邏輯必須自己實(shí)現(xiàn)和調(diào)優(yōu)。這四個(gè)階段沒(méi)有優(yōu)劣之分只有是否匹配當(dāng)前業(yè)務(wù)規(guī)模。強(qiáng)行跳過(guò)階段二上階段三只會(huì)讓代碼變成一團(tuán)無(wú)法維護(hù)的意大利面條。Epoll 的威力不在于它多快而在于它清晰地暴露了系統(tǒng)瓶頸所在——當(dāng)你發(fā)現(xiàn) epoll_wait() 的平均耗時(shí)從 0.1us 漲到 10us你就該知道是時(shí)候重構(gòu)了。6. 調(diào)試 Epoll 的終極武器strace、eBPF 與自定義內(nèi)核探針寫(xiě)好 Epoll 代碼只是第一步讓它在生產(chǎn)環(huán)境穩(wěn)定運(yùn)行靠的是強(qiáng)大的可觀測(cè)性。我整理了一套經(jīng)過(guò)千錘百煉的調(diào)試組合拳覆蓋從開(kāi)發(fā)到線上應(yīng)急的全場(chǎng)景第一層strace —— 系統(tǒng)調(diào)用的 X 光片這是最基礎(chǔ)也最有效的工具。啟動(dòng)服務(wù)時(shí)加上strace -T -tt -e traceepoll_wait,epoll_ctl,accept,read,write,close -p pid 21 | grep -E (epoll|accept|read|write)-T 顯示每次系統(tǒng)調(diào)用耗時(shí)-tt 顯示微秒級(jí)時(shí)間戳。你會(huì)看到類似epoll_wait(3, [{EPOLLIN, {u325, u645}}], 1024, -1) 1 0.000012read(5, GET /health HTTP/1.1\r\n, 8192) 22 0.000003如果發(fā)現(xiàn)某個(gè) epoll_wait() 耗時(shí)長(zhǎng)達(dá) 10ms而返回事件數(shù)為 0那基本可以斷定你的事件循環(huán)里有阻塞操作如 sleep、數(shù)據(jù)庫(kù)查詢?nèi)绻?read() 耗時(shí) 50ms說(shuō)明內(nèi)核緩沖區(qū)數(shù)據(jù)量巨大或者磁盤(pán) IO 拖累如 mmap 了大文件。第二層eBPF —— 內(nèi)核內(nèi)部的實(shí)時(shí)監(jiān)控strace 只能看到用戶態(tài)視角而 eBPF 可以深入內(nèi)核。用 bpftrace 寫(xiě)一個(gè)腳本監(jiān)控所有 epoll_wait 的返回值分布#!/usr/bin/env bpftrace uprobe:/lib/x86_64-linux-gnu/libc.so.6:epoll_wait { epoll_wait_count count(); epoll_wait_latency hist(arg2); // arg2 是返回耗時(shí)納秒 }運(yùn)行后你會(huì)得到一個(gè)直方圖清楚看到 99% 的 epoll_wait 耗時(shí)在 1us 以內(nèi)但有 0.1% 超過(guò) 100us——這就是性能毛刺的來(lái)源。再結(jié)合bpftrace -e kprobe:tcp_v4_do_rcv { bytes hist(args-skb-len); }可以確認(rèn)是否是大包導(dǎo)致處理延遲。第三層自定義內(nèi)核探針 —— 定向爆破當(dāng) eBPF 也無(wú)法定位時(shí)就得祭出終極手段在內(nèi)核源碼中添加 printk。比如你想確認(rèn)某個(gè) fd 為什么沒(méi)被加入就緒鏈表就在fs/eventpoll.c的ep_poll_callback()函數(shù)開(kāi)頭加printk(KERN_INFO ep_poll_callback: fd%d, revents0x%x, state%d\n, ep_item_to_file(epi)-f_inode-i_ino, revents, sk-sk_state);然后重新編譯內(nèi)核模塊無(wú)需重裝內(nèi)核用insmod加載。這種方法侵入性強(qiáng)但精準(zhǔn)無(wú)比。我曾用它發(fā)現(xiàn)一個(gè) bug當(dāng) socket 處于 TCP_CLOSE_WAIT 狀態(tài)時(shí)內(nèi)核錯(cuò)誤地清除了 sk-sk_epoll_mask導(dǎo)致即使對(duì)端發(fā) FINepoll 也不通知。第四層火焰圖 —— 全局性能熱點(diǎn)用 perf record 采集 60 秒perf record -e cpu-clock -g -p pid -- sleep 60然后生成火焰圖perf script | stackcollapse-perf.pl | flamegraph.pl epoll_flame.svg在圖中如果epoll_wait節(jié)點(diǎn)下面堆著大量的json_parse或mysql_query那就說(shuō)明業(yè)務(wù)邏輯阻塞了事件循環(huán)——這是架構(gòu)層面的問(wèn)題不是 Epoll 的鍋。注意線上環(huán)境禁用 strace -p因?yàn)樗鼤?huì)暫停目標(biāo)進(jìn)程導(dǎo)致服務(wù)不可用。應(yīng)使用perf或ebpf這類低開(kāi)銷工具。對(duì)于關(guān)鍵服務(wù)建議在啟動(dòng)時(shí)就集成 eBPF 監(jiān)控模塊將關(guān)鍵指標(biāo)epoll_wait 平均耗時(shí)、最大事件數(shù)、ET 模式下 EAGAIN 次數(shù)暴露為 Prometheus metrics實(shí)現(xiàn)分鐘級(jí)告警。7. 我的 Epoll 開(kāi)發(fā)清單一份寫(xiě)了十年、仍在更新的避坑手冊(cè)這份清單是我從 2014 年第一次用 Epoll 寫(xiě)聊天服務(wù)器到今天維護(hù)百萬(wàn)級(jí)設(shè)備連接網(wǎng)關(guān)累計(jì)踩過(guò)的所有坑、熬過(guò)的所有夜、改過(guò)的所有 bug濃縮成的 12 條血淚準(zhǔn)則。它不講原理只告訴你“什么必須做什么絕對(duì)不能做”永遠(yuǎn)用 EPOLLET永遠(yuǎn)不用 EPOLLLT。LT 模式看似簡(jiǎn)單實(shí)則是性能黑洞。它讓你產(chǎn)生“我處理完了”的錯(cuò)覺(jué)而內(nèi)核在背后默默積累就緒事件直到某次 epoll_wait 返回上千個(gè)重復(fù) fdCPU 瞬間拉滿。ET 是唯一生產(chǎn)環(huán)境選擇。每個(gè) fd 必須設(shè)置 non-blocking。int flags fcntl(fd, F_GETFL, 0); fcntl(fd, F_SETFL, flags | O_NONBLOCK);。這是 ET 模式的前提沒(méi)有商量余地。accept() 返回的 new_fd必須立即設(shè)置 non-blocking再立即 epoll_ctl(ADD)。順序不能錯(cuò)。如果先 ADD 再 set non-blocking中間窗口期可能導(dǎo)致內(nèi)核在 fd 還是 blocking 狀態(tài)時(shí)就觸發(fā) EPOLLINread() 阻塞。ET 模式下read() 和 write() 必須循環(huán)到 EAGAIN/EWOULDBLOCK。寫(xiě)一個(gè)宏#define READ_UNTIL_EAGAIN(fd, buf, len) do { ... } while(0)所有讀操作都用它杜絕手誤。絕不在線程間直接傳遞 fd。fd 是進(jìn)程級(jí)資源跨線程使用必須確保其生命周期被正確管理。要么用引用計(jì)數(shù)要么用消息隊(duì)列傳遞 fd 的“邏輯標(biāo)識(shí)”由目標(biāo)線程自己 open() 或 dup()。epoll_ctl(DEL) 失敗時(shí)不要 panic也不要 retry。如果返回 EBADF說(shuō)明 fd 已關(guān)閉這是正?,F(xiàn)象如果返回 ENOENT說(shuō)明本來(lái)就沒(méi)注冊(cè)忽略即可。retry 可能導(dǎo)致競(jìng)態(tài)。為每個(gè)連接分配獨(dú)立的讀寫(xiě)緩沖區(qū)大小至少 64KB。小緩沖區(qū)會(huì)導(dǎo)致頻繁的 EAGAIN增加 epoll_wait() 調(diào)用次數(shù)大緩沖區(qū)則減少系統(tǒng)調(diào)用但增加內(nèi)存占用。64KB 是 Linux 默認(rèn) socket 緩沖區(qū)大小最穩(wěn)妥。在 fork() 子進(jìn)程前必須先 close() epoll fd。否則子進(jìn)程會(huì)繼承該 fd導(dǎo)致父進(jìn)程 epoll_wait() 時(shí)子進(jìn)程也在等事件被隨機(jī)分發(fā)邏輯徹底混亂。用 SO_REUSEPORT 替代 SO_REUSEADDR。當(dāng)需要多進(jìn)程監(jiān)聽(tīng)同一端口時(shí)SO_REUSEPORT 讓內(nèi)核在多個(gè) socket 間負(fù)載均衡而 SO_REUSEADDR 只是允許 bind() 重用地址實(shí)際仍由一個(gè)進(jìn)程處理所有連接。記錄每個(gè)連接的創(chuàng)建時(shí)間、最后活躍時(shí)間、已讀字節(jié)數(shù)、已寫(xiě)字節(jié)數(shù)。這些數(shù)據(jù)不用于業(yè)務(wù)只用于診斷。當(dāng)出現(xiàn)連接泄漏時(shí)按“最后活躍時(shí)間”排序一眼就能看出是哪個(gè)模塊忘了 close()。在程序啟動(dòng)時(shí)用 getrlimit(RLIMIT_NOFILE, rlim) 檢查并設(shè)置 ulimit -n。不要假設(shè)系統(tǒng)默認(rèn)值夠用。rlim.rlim_cur rlim.rlim_max 1048576; setrlimit(RLIMIT_NOFILE, rlim);這行代碼應(yīng)該出現(xiàn)在 main() 的第一行。最后也是最重要的一條Epoll 不是銀彈它是把雙刃劍。它給你極致的性能也要求你承擔(dān)極致的責(zé)任。當(dāng)你寫(xiě)出一個(gè)完美的 Epoll 服務(wù)器時(shí)你不是在調(diào)用一個(gè) API你是在和 Linux 內(nèi)核簽訂一份契約——你承諾嚴(yán)格遵守它的事件語(yǔ)義它承諾給你 O(1) 的就緒通知。違背契約的代價(jià)不是程序崩潰而是你在凌晨三點(diǎn)對(duì)著 1000 行 strace 日志試圖理解為什么一個(gè) fd 的 EPOLLIN 事件被內(nèi)核悄悄吞掉了。這份清單我每年都會(huì)刪掉幾條加上幾條。刪掉的是已經(jīng)被內(nèi)核修復(fù)的舊 bug加上的是新業(yè)務(wù)場(chǎng)景挖出的新陷阱。Epoll 的世界沒(méi)有終點(diǎn)只有不斷逼近內(nèi)核真相的旅程。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九九99热久久精品66中文字幕| 婷婷五月激情热播| 九九热精品| av五月丁香| 色永久| 免费黄色片子| 青青草六月丁香| 在线18av | 五月天激情日色在线| 4399无码视频| 天天插天天干| 五月婷五月婷伊人伊人五月婷| 丁香六月色婷婷| 伊九九三级区| 欧美日韩99| peg 2区三区四区的| 午夜色婷婷| 国产99美少妇| 99青青草99| 丁香六月婷婷综合在线| 丁香五月婷婷图片综合| 婷婷性色| 丁香婷婷六月激情文学 | 欧美色必爱| 色99欧洲色19| 91热在线| 免费黄网不卡AV| 99热在线观看这里只有精品| 成人丁香五月| 97久久人人| 亚洲色色色| 五月天成人网婷婷| 啪啪操超碰| 色色五月天丁香| 久久精彩综合视频| 91狼友视频在线观看| 天天做天天爱综合| 丁香五月激情婷婷| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 六月丁香网| 另类图片激情五月天| 一级黄在线| 亚洲免费婷婷| 色婷婷婷婷成人网| 久婷自拍视频| 99热这里都是精品| 七七色色综合| 婷婷五月天日日日干干干| 特黄三级又爽又粗又大| 五月婷婷影院| 第六色在线| 欧美碰碰碰| 99精品在线| a色色片| 欧美日本国产| 婷婷六月综合激情| 丁香五月六月激情久久| 99热成人精品| 日本高清久| 丁香五月激情综合| 91视频一起草| 人妻无码精品一区| 99er6| www.久久99精品| 亚洲综合另类| 色噜噜狠狠狠综合曰曰曰| 五月丁香久久久久| 丁香婷婷婷婷十二月在线观看视频| 色久影院| 99国产视频网| 99精品热视频只有精品10| 色五月丁香A欧美com| 亚洲色爱综合| 思思热在线视频99| 色五月丁香总合网| 亚洲天堂啪啪| 五月婷免费视频| 亚洲视频一区| 狠狠香蕉| 精品乱码久久久久| www五月天激情com| 九九九午夜影院成人| 婷婷国产五月天17c| 五月婷婷六月天| 婷婷婷婷婷婷婷婷| 亚洲国产va| 婷婷色亚洲| 丁香五月激情欧美| 久久se 综合网| 婷婷99狠狠| 丁香五月第四色88| 婷婷影院A成人| 婷婷伊人| 五月天操逼网| 99啪啪网| 骚。com| 色六月丁香婷婷狠狠干| 五月色丁香综合| 狠狠色丁香久久| 色婷婷中文| 99精品在线| 中美日韩成人在线| 色在线99| 狠狠色狠狠| 亚美欧色影院| 中文乱子伦视频| 深爱五月亚洲| 久色网五月| 人妻性爱| 99 这里只有精品| 91操人| 99日精品视频| 成人精品人妻| 东京热免费视频| www.刺激色网站www.| 五月久久丁香| 六月婷婷天堂| 五月天激情日色在线| 精品一区二区三区四区五区六区| 日本狠狠干| 婷香五月激情视频| 国产乱人偷精品人妻A片| 久久99网| 婷婷丁香社区| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 五月天黄色激情小说| 五月婷婷干干干| 狠狠色丁香久久婷婷综合五月| 久久性爱网| 风流少妇A片一区二区蜜桃 | 久热这里只有精品在线观看| 26uuu国自产精品| 97精品综合久久| 国产免费AV在线| 9色在线视频| 天天搡日日搡aaaaⅩ| 97色色综合| 五月丁香婷婷成人版| 激情婷| 婷婷94s| 九九99九九精品视频| 99人人爽| 激情综合另类| 97干免费视频| 婷婷九月色| 综合天天综合| 亚洲激情区| 狠狠干伊人| www开心激情网| 五月花丁香婷婷| 天天干com| 亚洲热久久| 99在线精品在线视频| 婷婷丁香五月,狠狠综合| 五月婷婷精品无在线| 激情黄色小说五月天| 夜夜撸天天日| 伊人婷婷大香蕉| 色99在线观看| 色情综合| 开心婷婷五月| 婷婷六月久久| 五月天婷婷AV| 欧美va亚洲va| 人人爱国产| 色偷偷色婷婷| 五月丁香亭亭| 热九九九九| 大天天伊人| 九九激情综合| 久久这里只有精品16| 亚洲激情97五月天| 丁香色五月天| 91久女| 性爱网六月丁香| 九九精品综合| 丁香婷婷啪啪啪| 天天爽夜夜爽天天爽夜夜爽| 日本色婷婷| 色婷婷导航| 九九热最新| 极品少妇XXXX精品少妇偷拍| 大香蕉75线| 丁香五月色五月| 久操b网| 亚洲五月综合色播| 婷婷五月综合激情| 国产黄色av| 婷婷视频网| 久久婷婷七月丁香| 狠狠狠狠狠狠色| 五月亚洲激情| 91丨九色丨熟女|新版| 综合AV在线| 极品人妻VIDEOSSS人妻| 91九色在线视频| 婷婷五月天成人动漫| 97 A I色色| 日韩另类| 国产亚洲av片| 国产阿姨日皮艹逼内射视频| www.五月天社区| 91超碰在线观看| 亚洲A片成人无码久久精品青桔| www91色网站| 九九色热| 五月天综合网| 天天射天天操天天干| 精品九九网| 99啪啪| 99热这里有精品24| 99超级碰免费视频| 39视频第二区| 激情五月图| 丁香六月情| 99自拍网| 五月婷婷久久久久| 99热在线精品观看| 色无婷婷| 99久热在线精品| 午夜丁香五月天综合| 色婷婷电影网| 色九月婷婷| 五月婷色啪| 婷婷五月天色播| 九色PORNY在线精品酒店| 五月婷人妻| 超碰九九热| 精品一区久热| 国产永久一二一起草| www夜夜| AⅤ网站在线看| 思思99久久| 五月天俺去也| www.玖玖九| 第四色五月激情网| 色婷婷基地| 综合网色综合| 五月天精品视频| 色狠狠综合| 色情久久久| 九九热视| 婷婷五月天国产性感美女演员久久久久| 丁香成人五月天| 亚洲日日日| 激情五月婷婷中文字幕| 欧美日韩成人| 久久99热这里| 另类在线| 天天色天天干天天插| 天天日夜夜拍| 中文字幕成人| 人妻操逼视频| 免费视频舔| 五月开心深爱激情网| 中字幕视频在线永久在线观看免费| 色色丁香婷婷| 超碰狠狠操| 97视频.干com| 色99在线| 婷婷色片| 婷婷激情综合| 婷婷五月色综合| 五月婷婷五月色| Caoub青青超碰| 亚洲婷婷乱乱丁香| 99热在线观看| 婷婷五月天论坛| 色色五月丁香| 天堂婷婷五月在线| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 婷婷深爱五月亚洲综合| 久久这里有精品| 丁香婷婷五月综合影院| 国产免费一区二区三州老师F1F1| 久久久WWW| 无码人妻电影| 九九视频在线观看视频6| 色婷婷黄色网络| 亚洲色频| 亚洲AAA| 午夜不卡久久精品无码免费| 欧美婷婷色五月| 日本黄色三级片内射| 插少妇综合网| 激情婷婷五月在线合集| 婷婷五月天色| 伊人久久大香蕉网| 欧美色五月| 玖玖在线视频福利| 婷婷色情 | 欧美成性色| 丁香婷婷色五月| 婷婷五月天影视| 亚洲偷| 五月丁香婷婷潮喷中文字幕| 超碰猛烈的性猛交| 综合网亚洲| 九九热只有精品6| 九九在线精品| 五月色色激情网| 大香蕉人人人| 丁香五月av| 亚洲第一色色色色| 九色成人AV在线| 这里只有精品视频一区| 超级碰碰一区| 亚洲不卡欧洲| 色综合久| 99综合| 激情亚洲色图片丁香综合| 久色婷婷200| 天堂网亚洲色图| 99久在线观看| 五月天婷婷导航| 丁香啪啪中文字幕| 91九色精品熟女内射| 99热国产这里只有| 色黄啪啪| 99这里只有精品视频| 深爱激情九九五月天 | 色婷婷婷综合五月天| 五月天婷婷自拍图片在线观看| 久久久天堂国产精品女人| 日韩综合大黄| 丁香五月婷婷超碰在线| 天天插操| 六月丁香中文字幕| 我要色综合五月婷婷| AV在线免费观看不卡| 天天搞天天色综合| 国产美女精品| 91狠狠色| 99热www| 婷婷开心激情| 伊人狠狠操| 激情图片99| 思思久久精品| 久久538| 天天日日人| 丁香av网| 国产毛片欧美毛片久久久| 五月丁香五月婷婷在线观看| 亚洲精99| 五月天成人综合| 五月天婷婷深深爱| 婷婷六月丁香在线| 五月天色站| 亚洲爆乳无码精品AAA片蜜桃| 噜噜噜久久亚洲精品国产品91| 91性高潮久久久久久久久| 欧美色激情四射| 亚洲黄色影视| 亚洲天堂aaa| 激情五月天在线观看色婷婷| www.久久婷婷| www久久久久久久久久久久久久久久久| 色婷婷伊人| 成人丁香婷婷五月天| 亚洲综合一区二区| 婷婷九九色| 亚洲综合成人网| 丁香婷五月天开心六月| renrencaoni| 91精产一区三区免费观看| 亚洲精品久久久久久久久久吃药| 极品另类| 色丁香五月| 综合激情五月丁香| 激情综合网丁香| 99九九热视频| 婷婷激情啪啪| 九九色黄色| 婷婷五月综合激情| 婷婷丁香人妻天天爽| 激情综合网色播五月| 翔田千里无码| 激情的五月| 91久操| 久久9999| 97在线日本| 岛国AV网站| 99热精品在线播放观看| 亚洲视99| 青青草性爱视频| 六月色播| 任你操精品免费| 久久99网| 91大神在线免费看视频全集男男一起操| 极品人妻VIDEOSSS人妻| 99在线精品观看99| 99超级碰免费视频| 欧美精品999| www.激情| 日日干天天爽| 婷婷五月天综合在线| 久久综合五月天| www,超碰| 开心五月深爱五月| 色色色com| caop在线视频| 九九色色| www.色综合| 99操| 99这里都是精品| 亚洲超碰在线| 97啪啪| 夜夜爽天天爽| 免费黄色视频网址| 国产亚洲精品AAAAAAA片| 播播网色播播| 蜜桃人妻无码AV天堂三区| www.91久久| 另类小说色婷婷| 五月激情小说| 99精品偷自拍| a级毛片一区二区免费视频| 五月天丁香婷婷久久九| 葵花AV在线| 色婷婷色五月综合| 噜噜色五月| 色婷婷激情| 日韩在线9| 丁香五月首页| 天天操天天爽天天爱| 色色亚卅| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 久久九九热视频| 丁香六月欧美| 五月婷婷久久久| 91操人视频| 午夜一区| httpwww色com日本| 丁香五月综合首页| 成人片在线播放| 欧亚色色| 激情五月天色爱| 婷婷五月天激情基地| 欧美这里只有精品| 六月丁香色色| 天天插天天干| 另类国产欧美视频| 五月婷婷激情性爱| 五月婷婷成人网首页| 亚洲九九99精品视频在线播放| 精品人妻久久久| 五月天夜夜爱夜夜操| Www,五月天| 能直接看的av网站| www.色99| 超碰婷婷色| 伊人五月婷婷国产视频| 九九热这里只有精品首页| Va另类视频| 色亚洲激情| 日韩免费乱轮网站| 美英法精品无码免费视频| 色五月婷婷五月天| 欧美成人AAA片一区国产精品| 精品婷婷丁香五| 影音先锋一区| 99爱免费视频| 五月丁香综合激情| 98色丁香五月婷婷综合网| 色色五月婷婷| 日本色视| 中国女人做爰A片| 九九十99视频| 丁香五月 六月婷婷首页| 五月色丁香| 亚洲性爱AV在线| 婷婷综合视频| 五月丁香激情深爱婷婷| 99热这里只有精品4| 久久久久久9热不雅视频| 日本三级大片| 色婷五月天| 怡红院AV亚洲一区二区三区H| 色五月大| 丁香五月天成人| 99热在线观看免费精品| 丁香五月激情网| 婷婷六月久久| 久久这里只有精品热在99| 成人在线免费网址| 色婷婷丁香五月丁香| 91色综合网| 中文字幕操比影片| 五月丁香婷婷AV天堂| 99riAv1国产在线观看| 99@久久@99精品视频| 六月色婷婷色| 成人婷婷| 看逼中文字幕| 欧洲第一久色| 国产一二区爆乳_1国产日韩一区二区三-成人AV | 色人久久| 丁香五月区| 久久99网| 99热99这里有免费的精品| 99这里只有精品|v| 99热国内精品| 成人免费高清在线播放| 夜色爱爱亚洲| 五月精品免费XXX| 操操啪| 在线视频另类| 91狠狠综合网| 婷婷99狠狠躁天天躁中文| 这里只有精彩视| 夜精品无码A片一区二区蜜桃 | 大香蕉网站,大香蕉综合| 久久全色| 久久六月天| 九九热9| 色综合色欲综合天天免费 | 五月丁香色综合| 色色色婷婷五月| 色无码| 3DAV亚洲香蕉久久 一区二区| 黄涩毛片| 免费观看全黄做爰的视频| 丁香六月婷婷综情欧美| 激情欧美五月丁香| 91丨九色丨43老版熟女| www久久99| 五月丁香自拍| 亚洲黄色精品| 超碰人人超碰| 99热最新| 99re66热这里只有精品| 99热这里只有精品66| A片一曲| 99人碰碰碰| 五月天婷婷香蕉狠狠超碰综合| 久狠狠| 综合九九久久| 91美女被操| 久久性刺激| 99在线免费视频| 丁香五月激情啪| 99久久精品色老| 五月婷婷黄色| 99久久精| 五月丁香色综合| 日本婷婷综合精品| 久草婷婷在线| 丁香六月婷婷色XXXXX| 美女91一起草| 日韩久久色| 亚洲黄色影视| 九九视频在线观看视频6 | 日日噜噜久久婷婷五月天| 日本人妻伦在线中文字幕| 色五月婷婷久久爱| 又大又粗九一在线| 性天天中文网| 91久久九色| 色哟哟www| 久久久久激情| 另类视频在线| 婷婷六月婷婷| 影音先锋秋秋五月婷婷| 天天噜噜| 亚洲操逼片| 日日操天天操| 精品色色网| 国产精品成人网址| 激情婷婷久久| Av狠狠色丁香婷| 极品少妇高潮啪啪AV无码| 婷婷五月六月丁香综合| 九月色婷婷综合| 九色91国产| 成人日韩欧美| 亚洲电影在线观看| 综合久久99| 激情五婷网| 久久久久9| 五月天激情婷婷小说| 亚洲AV日韩AV永久无码网站| 日本99在线视频| 色一情一乱一伦一区二区三区| 婷婷色色播五月天| 欧美超碰人人| 思思久久99| 亚洲五月丁| 人妻中文av| 久草天堂| 狠狠狠狠操| 99热性色| 久久综合九九| 五月天久久婷婷| 亚洲免费看片| 色综合色综合网| 婷婷爱五月天人人爱| 国产日韩av片| 超碰亚洲欧美| 久久伦乱| 综合激情网| 婷婷色偷拍| 久久狠狠干| 激情小说 五月天| 991精品在线视频| 99热婷婷| 啪啪色区| 亚洲久久婷婷丁香五月天| 色色亚洲99com| 色欲天天综合网| 青青福利网| 五月天婷婷影院| 5月丁香美女影院| 激情五月丁香六月综合AVXXXX| 蜘蛛女免费观看完整版高清电影| 婷婷丁香www视频日本韩国| 99性爱| 99热免| 这里只有精品偷拍| 色五月婷婷自拍| 日本熟妇乱妇熟色A片蜜桃| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 五月天狠狠色| 免費观看aV在线网址| 91狠狠色| 激情www| 欧美综合激情五月丁香| 免费国产视频| 2020日日干| 天天在线天天综合网色| 九九狠狠干| 丁香婷婷五月色综合| 一本久道综合色婷婷五月| 婷婷五月视屏| 99成人精品| 超碰91av| 精品久久婷婷| 操草草草| 国产精产国品一二三在观看| 五月天色图| 激情五月色播五月| 激情五月婷在线精品| 婷婷在线播放av| 9 99免费视频| 丁香97综合| 九月丁香婷婷| 97色婷婷| 五月丁香六月激情综合| 五月天婷婷在线视频| 九九视频精品在线免费| 五月花综合网| 丁香五月天导航| enecarbon-materials.com污K127封锁请涟系@wip1688 | 色婷婷aV四虎| 亚洲中文字幕AV在线| 超碰精品在线| 久久五月婷| 精品久久久999| 色色色色色色色色网站| 日夜夜天天| 色色婷五月天| 这里只有精9| 五月亭亭六月色| 操碰99| 五月香蕉婷婷| www.日本91| jiuse91在线| 丁香啪啪中文字幕| 亚州男人天堂婷婷五月| 99热这里全都是精品| 亚洲综合网 665566| 五月丁香婷婷导航视频| 日本色爽| 丁香婷婷社区| 婷婷涩涩五月天| 久久玖玖综合| 91视频五月丁香| 五月婷婷AV| 婷婷五月色播| 日本99在线| 丁香婷婷色五月激情综合| 影音先锋777xfplay色资源网站| 天天爽天天草| 婷婷五月中文在线视频| 五月天最新网| 色五月播五月| 欧美三日本三级少妇三99| 国产精品国产| 影视av久久久噜噜噜噜噜三级| 99热综合网| 九九色图| 亚洲操人| 久久国产一区二区三区| ..真实国产乱子伦毛片 | www.狠狠| 影音先锋男士资源网一区| 五月丁小婷婷激情四射| 久草婷婷视频| 无码yw| 国产成人av在线| 性日本激情| 激情综合4月| 天天射射夜| 五月婷婷色吧!| 99热这里只有精品3| 亚洲色热| 久久九九免费视频| 欧美性生交XXXXX无码小说| 荫道BBWBBB高潮潮喷| aaaa久久| 91嫩草久久| www.五月婷婷久久.com| 五月天丁香啪啪综合| 亚洲小说欧美激情| 丁香婷婷视频在线| 亚洲色图五月丁香| 人人草人人舔| 玖玖99婷婷| 色色九九五月天 | 婷婷va| 啪啪综合网| 天天人人天天爽| 天天日天天干天天插天天射| 女人天堂AV| 五月天色五月| 久草免费福利视频| 日良久久| AⅤ色区| 五月天天久久香| 99久久激情视频| 狠狠干五月| 天天肏高清在线| 婷婷丁香五月亚洲17cao| 五月天婷婷综合色| 丁香五月情| 婷婷六月激情啪啪| 色五月婷婷网| 最近中文字幕大全免费版在线 | 色综啪啪啪啪啪啪| 熟女色专区| 人人爽亚洲| 日韩黄黄| 67194线路二在线观看| 欧美性交一区二区三区| 99热综合在线| 噜噜色com| 综合网五月| 婷婷五月天综合久久日美女| 99综合免费视频| 狠色狠色综合久久| 亚洲色99| 日韩美一级毛卡片| 丁香五月激情婷婷视频| 天天色综合网1| 91狠狠综合久久| 啪啪九九色| 99热在线爱| 99视频精品在线| 色99在线| 99视频在线播放大全| 森林影视大全,最好看的2019年视频 | 亚洲色爽| www.99精品在线| 色级停停| 91丨九色丨大屁股| 成年人丁香五月| 97碰碰碰免费公开在线视频| 丁香五月中文字幕| AV五月婷婷露脸| 禁欲电影完整版在线播放| 99色日本| 欧美婷婷色五月| 五月天婷婷激情| 99ri视频在线观看| 天天操天天爽天天爱| 91婷婷色五月| 天堂久久大香蕉| 97涩涩丁香五月天| 开心婷婷五月| 91肏| 天天狠狠六月婷丁香影院| 亚洲日韩乱码一区二区三区四区| 色婷婷88| 欧美综合激情丁香五月六月婷| 六月婷婷激情| 亭亭五月丁香综合欧美| 婷婷五月激情图片| 大香蕉网 久久| 亚州激情在线视频| 国产成人网| 激情亭亭五月| 丁香五月区| 亚洲成av人影院| 伊人五月天综合网| 激情五月丁香社区| 久久影视婷婷五月| 人人爱人人摸人人澡| 色一情一乱一伦一区二区三区| 亭亭色色五月天| 丁香久久久| 婷婷五月影院| 亚洲天堂色| xxx综合在线| 婷婷五月天激情四射| 婷婷五月丁香五月| 激情婷婷五月| 亚洲小电影在线观看黄999| 激情内射p| 午夜微拍福利| 中文字幕 久久9999| 国产在线aaa片一区二区99| 色性综合| 久久人妻精品| 色就是色婷婷五月亚洲激情| 九九色色| 激情婷婷色色| 深夜男女福利刺激影院一区完整| 久久婷婷婷| 欧美乱码国产一级A片| 丁香五月婷婷99| 亚洲色网络| 99热99| 99这里只有精品视频| 亚洲AV永久无码影院黑人| 婷婷中文字暮| 99re在线免费视频| 久色欧美| 性爱网六月丁香| 99久在线精品99re8热| 91精品啪| 六月天婷婷| 成人综合视频在线| 久操无码| 久久er视频6| 丁香色婷婷五月天| 337p大胆噜噜噜噜噜91Av| 99热99干| 五月婷婷xxx| 亚洲婷婷五月天| 免费的日逼视频| 无码日本精品XXXXXXXXX | 五月天激情日色在线| 伊人丁香五月天丁香在线婷| 五月婷婷激情综合视频| 日本色超碰| 五月激情影院| 黄色精品五月婷婷| 欧洲色| 日本婷婷网| 日韩ww| 五月婷婷六月综合| 五月天婷婷爱| 夜夜夜夜夜操| 婷婷色播综合五月| 超碰97在线观看免费| 人妻久久久久久久 | 婷婷综合激情| 青青草搞屄视频网站| 影音先锋日本三级资源| 婷婷丁香人妻天天久久| 99re久热只有精品6在线直播.com| 激情另类综合| 成人婷婷五月天| 欧美A片在线视频免费观看| 99热这里只有精品9| 另类亚洲2| 国产乱妇无乱码大黄AA片| 99人人操人人摸| 日本99色| 性综合网| 婷婷五月天激情综合深爱激情| 麻豆精品| 丰满人妻一区二区三区| 五月婷婷色吧!| 99伊人性爱在线影院| 色色色色综合| 久久人妻在线| 99综合熟女| 丁香五月天堂网| 激情小说之五月| 婷婷玖玖五月天| 五月综合久久| 九九99视频| 青草青草久热这里只有精品| 无码91中文字幕| 1024操逼视频| 五月婷婷天天色| 大香蕉婷婷五月| 伊人五月天男人的天堂在线| 九一九九黄色| 伊人99热| 五月色丁香视频精品| 91男同| 婷婷情色五月| 丁香激情网| 天天色天天舔天天爱天天爽| 狼人婷婷久久| 丁香五月婷婷欧美性爱| 五月激情六月丁香| 五月丁香婷色| 丁香蜜臀黄色婷婷五月天| 国产精品久久久久9999小说 | 久久婷婷色色| 99re思思热这里| 色月九九| 婷婷五月天桃花网| 丁香五月性| dingxiangtingtingliuyue| 草草视频91| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 大大香蕉综合在线| 婷婷激情六月| 色屌丝中文字幕| 五月丁香va| 日本操碰碰| 丁香综合日产精品久久| 人人爽天天爽| 婷婷综合伊人丁香| 色五月丁香六月资源站| 婷婷中文字幕在线| 夫妇交换刺激做爰| www色色com| 韩国天天婷婷| 色五月激情五月丁香五月婷婷啪啪综合 | av高清无码| 五月婷婷激情久久| 综合激情视频| 五月丁香六月婷婷玖玖| 大香蕉九九| 99热只有精品在线| 婷婷丁香18| 久操热线| 亚洲精品国产成人AV在线| 96五月丁香熟女| 色婷婷五月基地在线| 成人五月天丁香婷| 超碰AV成人| 久热伊人91| 人妻丰满精品一区二区A片| 亚洲国产成人综合| 精品99视频| 五月天成人小说网| 这里只有精品久| 精品乱码视频| 五月丁香花视频| 欧美色色日韩| 久久色大香蕉| 色婷婷丁香A片区毛片区女人区| 九九九九国产| XX久久| 色婷婷久久综合中文久久一本| 我要射综合| 无码激情AAAAA片-区区| 欧美激情综合色综合啪啪五月| 99热在线看| 久久人妻视步| 开心五月深爱五月丁香五月激情五月| 最新激情五月天| 天天操夜夜啊| 色五月天.con| 丁香五月婷婷狠狠色| 热五月婷婷| 99亚洲精美视频在线观看| 丁香五月亚洲综合丝袜| 激情人妻蜜夜系列区| 国产欧美精品AAAAAA片| 五月天激情四射| 久久久噜噜噜久久人妻| 成人短视频在线| 91碰在线| 丁香婷婷五月六月久久| 另类图片激情五月| 婷婷丁香激情综合色情| 天天做天天爽| 丁香五月先锋| 色色色地址| 综合五月婷婷| 婷婷五月色情天| 激情五月天激情小说| 五月天激情AV| 5月丁香婷婷激情网| 色五月婷婷五月天激情综合| 99热6色| 亚洲视色| 99热这里只有精品9| 96丁香六月婷婷蜜桃综合久久| 丁香色五月婷婷| 丁香婷婷激情五月天无毒不卡蜜桃| 激情五月丁香五月| 五月婷婷影院| 国产精品色色| 97香蕉碰碰人妻国产欧美| 狠狠干婷婷| 亭亭玉月丁香| 婷婷丁香社区| 五月开心播播网| 丁香五月伊人| 久久综合香蕉国产国产蜜臀AV| 婷婷色基地在线看| 铁牛TV人妻| 99精品久久久久久久婷婷| 深爱婷婷基地| 情五月亚洲婷婷| 小视频一区 | 亚洲国产精品二二三三区 | 色九月欧美| 99操中文视频| 五月人人丁香婷婷五月人人丁香| 亚洲色婷婷网站| 天天干天天爽天天操| 国产色色视频| 欧美 日韩 成人 在线| 天天操比比| 乱岳熟女50岁| 亚洲色区17| 日日操夜夜操无码免费| 五月丁香香蕉| 天天日夜夜夜操操操操| 五月情婷婷| 99热爱爱干干日| 99免费在线视频| 中文字幕婷婷9月天| 六月婷婷最新网址| 婷婷伊人综合中文字幕| 色色亚洲无码| 丁香婷婷六月在线资源观看| 天天天在线观看| 深爱激情五月天| 深爱1激情网| 99男人的天堂| 精品久热| 九九九九成人| 久久婷婷青草五月天| 热热久久久久久久久| 五月天久久www| 色婷五月天| 丁香综合伊人AV| 五月天综合影院| 亚洲美女高潮久久久久久69| 久热久| 欧亚中文A V| 香蕉久久国产AV一区二区| 五月婷婷丁香伦理网| 丁香五月在线观看| 99碰网站| 五月婷婷成人| 一起草日本| 99爱视频在线免费观看| 开心激情婷婷| 色婷婷综合网| 狠狠综合久久| 久天综合| 五月天色区| 日韩国产AV播放| 99精品在| 人妻体体内射精一区二区| 人妻射精AV| 色综合久久久久| 中美日韩成人在线| 久久婷婷五月天激情| 黄色99热| 天天摸天天做天天爱天天爽| 五月天啪啪网| 婷婷五月天激情影片| 91碰碰碰| 九九热亚洲中文在线观看免费| 级情九色| 无码啪啪| 91久久1118| 天天噜日日噜综合无码| 婷婷五月丁香综合激情| 97人人搞| 五月天婷婷社区| 婷五月天丁香婷五月| 婷婷五月丁香六月| 九九热99在线视频| 亚洲视色| 97久操视频| 中文av网站| 久热亚洲| 久久婷婷五月天激情| 97黑人精品区| 99毛片| 国产精品日日躁夜夜躁| 97人人操在线| 久久五月天婷婷| 99久久久久| 婷婷五月小说色综合| 激情色色色| 99热久只有精品首页| 五月天激情国产综合婷婷婷| 天天日狠狠| 五月天久久色| 99热在线免费| 99热日本精品| 色在线99| 99狠狠| 91精品无码| www.超碰| 99热久| 丁香五月天无码| 狠狠爱五月婷婷综合六月| 无月播播激情在线观看视频| 中国操逼99| 人人草开心五月天| 91日综合欧美| 天天日 天天草| 黄色热99| 色婷丁香五月| 少妇AB又爽又紧无码网站| 丰满人妻一区三区三区| 丁香五月婷婷国产在线| 色五婷婷开心缴| 亚州操操| 欧美天堂久久| 高清无码.com| 日韩成人精品中文字幕电影| 97干在线看| 色欲天天综合| 天天色情站| 欧美成人一区二区三区在线视频| 久久机热思思热| 好色婷婷| WWW久久久| 五月色婷婷影视在线电影| 99色在线观看视频者| 五月天婷婷久久视频| 婷婷五月花| 五月天激情网图片| 五月综合六月婷婷| 丁香密臀AV激情网| 日韩高清成人| 色综合播放| 丁香六月欧美| 丁香五月91| AV美美午夜| 涩 五月 婷婷 狠狠| 91精品久久久久久久| 成人五月天在线视频在线观看| 色在线免费观看| 在线观看欧美| 99er免费在线观看| 激情九九九九| 丁香婷婷五月天激情四射| 国产视频久色| 日本一级大片| 99性视频| 亚洲经典小视频| 国产 亚洲 在线| 免费看欧美成人A片无码| 亚洲天天操| 五月丁香色色综合| 久久久久9久无码视频| 五月丁香婷婷色色色| 婷婷丁香五另类网站| 狠狠色噜噜狠狠亚洲A∨| 天天干天干| 亚洲最大五月天成人网| 亚洲AV网站在线观看| 成人无码髙潮喷水A片| www.婷婷五月| 99热在线爱| 亚洲国产成人AV在线| 婷婷狠狠操| 五月丁香六月婷婷视频| 99成人网一区| 日本色超碰| 激情综合网五月激情| 精品国产va久久久| 深爱激情中文五月天av| 奇米色大香蕉| 超碰免费人人| 色播五月天激情| 人人色性网| 大香蕉中文| 狠狠色色色| 九月丁香婷婷| 思思久久99热只有频精品66| 色婷婷影视| 色原狠狠综合| 无码99| 丁香激情网| 夜夜夜叫天天天做| 999婷婷综合| 婷婷色网址| 亚洲黄色影视| 六月激情网| 中文无码精品一区二区三区| 黄色成人网站在线播放| 狠狠婷婷色综合| 99精品亚洲| 五月天成人网在线观看| www.天天色综合| 99精品视频推荐| 五月婷婷视频| 色五月婷婷老师| 五月婷婷啪啪综合网| 另类国产综合| 99热大全在线观看| 激情五月丁香色色去久久| 99久久综合网| 再次出发二| 国产脫衣舞一区二区三区| 亚洲精品一区中文字幕乱码| 97香蕉久久超级碰碰高清版| 色色网五月激情| 色综合xx| 日日噜噜夜夜狠狠久久丁香六月| 99ri网站在线观看| 丁香六月婷婷| 五月婷久久| 丁香六月婷婷五月婷婷| www.一区二区三区| 婷婷五月综合在线| 99热播放| 欧美va在线| 五月天婷婷色播在线网| 激情五月天婷婷激情| 五月天色欧美| 亚洲无码影音| 2018国产大陆天天弄| 九九这里都是精品| www.婷婷| 五月天婷婷在线AN| 五月成人网天天| 五月天综合缴情网网站0| 五月激情综合网| 大香蕉婷婷丁香| 久久久香港| 激情综合色婷婷啪啪五月天| 五月天色综合| 99热思思| 五月婷色色| 人妻激情在线| 99热官网| 久久九九热视频| 丁香五月网在线观看| 日日鲁鲁夜夜爽爽| www.99热视频在线观看| 九九久久综合| WWW久久久| 女同激情久久av久久| 夜夜久久综合网| 黄色毛片精品| 97成人视频| 国产一级黄色影片,| 熟女强人妻一区二区三区四区无| 99操视频| 婷婷伊人网| 大香网伊人久久综合| 婷婷五月天av| 天堂A∨在线| 九月激情网| 日韩啪啪视频| 99热这里都是精品| 激情六月丁香| www.婷婷亚洲基地| 九九热在线视频| 26uuu最新地址| 婷婷五月天开心网| 淑女丝袜bi操逼123| 老司机伊人| 色色色色色色网站| 99视频在线观看网址| 五月丁香六月婷婷色日| 色情婷婷五月天| 婷婷色婷婷|