欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

高并發(fā)網(wǎng)絡服務核心:Epoll-Reactor模式原理與實戰(zhàn)

高并發(fā)網(wǎng)絡服務核心:Epoll-Reactor模式原理與實戰(zhàn) 寫服務端程序這些年最大的一個感悟就是連接多了以后真正卡住你的往往不是CPU也不是內(nèi)存而是事件怎么被組織起來。很多人一上來就寫while(1) { accept(); handle(); }幾千連接時勉強能跑幾萬連接時直接崩問題就出在模型上。這篇就聊聊Linux下非常經(jīng)典的一套組合拳Epoll-Reactor模式它把epoll這個事件通知機制和Reactor這個事件分發(fā)架構(gòu)揉在一起解決高并發(fā)網(wǎng)絡服務的核心問題。讀完你不僅能理解為什么主流的網(wǎng)絡框架都長這樣還能自己動手搭出一個能處理上萬連接的骨架后面要加協(xié)議解析、加業(yè)務邏輯都是在這個結(jié)構(gòu)上做文章。1. Epoll-Reactor模式要解決的核心問題1.1 傳統(tǒng)模型為什么扛不住高并發(fā)先回到最原始的阻塞IO時代。最早的網(wǎng)絡服務寫法很直白主線程accept()一個連接然后創(chuàng)建一個線程去處理這個連接的讀寫。這個模型在小并發(fā)下確實好用邏輯直觀、排查方便但連接數(shù)一旦上來幾個問題就特別突出。第一個問題是線程數(shù)量失控。每個連接一個線程1萬個連接就是1萬個線程每個線程默認??臻g就有8MB光棧內(nèi)存就把虛擬地址空間吃沒了更不要說線程切換的上下文開銷。第二個問題是阻塞調(diào)用浪費資源。線程在recv()上等數(shù)據(jù)時CPU完全是空閑的這本身倒也不致命但大量空閑線程擠在一起調(diào)度器會很累。第三個問題是accept()本身就很容易變成瓶頸。后來大家改用select和poll。這類IO多路復用模型的好處是一個進程可以同時監(jiān)視很多個socket你在收到事件通知后就知道哪些fd可讀可寫不再需要為每個連接配一個線程。但這倆老家伙也有硬傷select的連接數(shù)被FD_SETSIZE限制在1024你要調(diào)大還得重新編譯內(nèi)核每次調(diào)用都要把整個fd集合從用戶態(tài)拷到內(nèi)核態(tài)再拷回來O(n)的遍歷開銷在1萬連接以上特別明顯。epoll的出現(xiàn)把這些煩心事一次性解決了。它的核心是三個接口epoll_create1()創(chuàng)建實例epoll_ctl()增刪改監(jiān)視的fdepoll_wait()等待就緒事件。內(nèi)核里維護一棵紅黑樹和一個就緒鏈表你每次只需要處理真正有事件的fd復雜度從O(n)降到O(1)而且沒有fd數(shù)量上限。這玩意兒一出來C10K問題在代碼層面才算是真正有了可行的解法。但這里有個很容易被忽略的點epoll只解決事件通知這件事它告訴你第1000號fd可讀了可它不告訴你接下來該怎么辦。誰來accept()新連接誰來讀取數(shù)據(jù)讀到數(shù)據(jù)之后誰來解析、誰來處理業(yè)務、誰來回包這些活兒如果全部堆在epoll_wait返回后的一個循環(huán)里代碼很快就會亂成一鍋粥而且一旦某個fd的處理邏輯卡住整個進程的監(jiān)視循環(huán)就癱了。1.2 引入Reactor模式讓事件有自己的崗位分工Reactor模式解決的就是事件來了以后怎么辦的問題。它的核心思想很簡單把事件的檢測和事件的處理徹底拆開由統(tǒng)一的中心器負責監(jiān)聽和分發(fā)各個業(yè)務模塊只負責處理分配到自己頭上的事件。用個生活化的類比。你開了一家餐廳門口有個迎賓員他的職責只有一個看到有客人來了把他們領到對應的餐臺通知對應的服務員去接待。迎賓員自己不炒菜不端盤子不結(jié)賬。炒菜是后廚的事端菜是服務員的事結(jié)賬是收銀臺的事。這個迎賓員就是Reactorepoll就是他那雙眼睛而每一個具體的連接就是一位等著被服務的客人。對應到代碼世界經(jīng)典的Reactor模式里有這么幾個角色事件源即連接套接字fd它是一切的起點。事件多路分發(fā)器epoll組件負責向Reactor登記事件、等待事件出現(xiàn)。Reactor核心可以理解為一個事件循環(huán)它調(diào)用epoll_wait()拿到就緒事件然后根據(jù)事件的類型調(diào)用對應的事件處理器。Acceptor專門處理有新連接到來這一類事件做accept()操作把新的fd登記進epoll。事件處理器負責業(yè)務邏輯比如讀數(shù)據(jù)、解碼、處理、編碼、寫回細分還能拆出讀Handler和寫Handler。這套結(jié)構(gòu)的好處是每個模塊只干一件事。epoll只做事件通知Reactor只做分發(fā)業(yè)務邏輯全部封裝在Handler里。你想換協(xié)議只要改Handler不用動事件循環(huán)你想調(diào)并發(fā)模型把單線程Reactor換成多線程ReactorAcceptor和Handler的代碼基本不用動。這種低耦合在你項目迭代到中后期時才真正體會到有多爽??赡苡腥藭栔苯釉谝粋€死循環(huán)里拿到事件、然后switch(event.type)去處理不行嗎行小項目完全行。但你看accept()要處理讀數(shù)據(jù)要處理寫數(shù)據(jù)要處理超時連接要處理異常斷開要處理每個分支越來越長任何一個人加邏輯都可能碰壞另一條線。Reactor模式的意義就是把這些開關的角色預先定死讓架構(gòu)穩(wěn)定住。2. Epoll細節(jié)不能含糊觸發(fā)模式、事件封裝與線程模型2.1 水平觸發(fā)LT和邊沿觸發(fā)ET兩種模式的實戰(zhàn)差異用epoll時有兩種觸發(fā)模式很多人卡在ET上其實理解透了特別簡單。水平觸發(fā)Level-TriggeredLT是默認模式。它就像你手機上的消息通知只要你有未讀消息它就一直提醒你不管你看沒看。對應到socket上只要緩沖區(qū)里還有數(shù)據(jù)沒讀完epoll_wait()每次都會把這個fd返回給你就算你只讀取了1個字節(jié)剩下的數(shù)據(jù)還會在下一次等待中再次觸發(fā)。這種模式實現(xiàn)簡單不容易漏數(shù)據(jù)但缺點是如果數(shù)據(jù)量大而你每次又讀得少同一個fd會被反復喚醒浪費一點CPU。邊沿觸發(fā)Edge-TriggeredET則是只在狀態(tài)變化時通知一次。就像門鈴你按一下它響一聲門開了再關上它不會因為你一直站在門口就反復響。對應到socket上只有新數(shù)據(jù)到達時它才觸發(fā)一次之后就算緩沖區(qū)里還有些許數(shù)據(jù)沒讀完epoll也不會再提醒你除非又有新數(shù)據(jù)到達。這種模式效率高每一次喚醒都是有增量但代價是你必須一次把緩沖區(qū)里的數(shù)據(jù)全部讀干凈否則就會把沒處理完的數(shù)據(jù)悶在緩沖區(qū)里客戶端等著響應服務端傻等通知形成死鎖一樣的狀態(tài)。實際編碼中兩種模式對代碼結(jié)構(gòu)的影響不小我整理了一下區(qū)別對比項水平觸發(fā)LT邊沿觸發(fā)ET默認狀態(tài)epoll默認模式需要通過EPOLLET顯式開啟未處理數(shù)據(jù)是否重復通知會反復提醒直到讀完不會只在狀態(tài)變化時提醒一次讀取要求讀到recv返回0為止即可允許分次必須循環(huán)讀到EAGAIN否則數(shù)據(jù)殘留編寫難度低適合入門和邏輯簡單場景高對狀態(tài)管理要求更嚴格觸發(fā)頻率高存在無效喚醒低理論效率更高適用場景業(yè)務簡單、需要穩(wěn)妥的做法高吞吐、機器資源吃緊的網(wǎng)絡服務這里有個非常普遍的認知誤區(qū)有人說ET一定比LT快所以無腦上ET。實際上在高版本內(nèi)核里LT和ET的損耗差距極小真正拉開差距的是事件被喚醒的頻次和每次處理數(shù)據(jù)的方式。如果你的業(yè)務是小包高頻通信LT反而省心如果你做的是大數(shù)據(jù)量傳輸ET配合正確的讀取循環(huán)性能上限確實更高。個人建議剛開始實現(xiàn)Reactor骨架的時候先用LT把事件分發(fā)、連接管理這些邏輯跑通后面再切換到ET做專項優(yōu)化。一次把兩件事都做好出問題了很難排查。2.2 單線程Reactor、多線程Reactor、主從Reactor怎么選Reactor模式里另一個繞不開的問題Reactor循環(huán)本身跑在哪個線程里業(yè)務Handler又跑在哪個線程里先看最簡單的單線程Reactor。Reactor、Acceptor、所有連接的Handler全部擠在一個線程里。流程是epoll_wait()返回一批事件依次執(zhí)行對應處理。這個模型最大的優(yōu)點是代碼簡單沒有鎖也很少出現(xiàn)并發(fā)問題對一個連接的處理永遠是串行的。但缺點同樣致命任何一個Handler中的阻塞操作都會讓整個服務停止響應。比如某個Handler里做了數(shù)據(jù)庫查詢、磁盤IO、或者一個sleep()那這個線程的所有其他連接就全部排隊等著相當于整個服務按下了暫停鍵。所以單線程Reactor只適用于業(yè)務極輕、不涉及阻塞調(diào)用的場景比如簡單的網(wǎng)關轉(zhuǎn)發(fā)、協(xié)議探測服務。再進一步多線程Reactor。Reactor主循環(huán)還是獨占一個線程這線程只做事件分發(fā)和accept()新連接但Handler接到事件后不再直接處理業(yè)務而是把任務丟給工作線程池。線程池里的線程負責真正的讀數(shù)據(jù)、解碼、業(yè)務計算、編碼與寫操作。這種模型把監(jiān)聽的線程和干活的線程分開來事件循環(huán)永遠不會被業(yè)務阻塞。代價是一個連接上的讀和寫可能落在不同的工作線程上需要處理好同步問題而且多個線程同時處理不同連接時共享數(shù)據(jù)要考慮加鎖或用無鎖結(jié)構(gòu)。再往后還有主從Reactor多線程模型。它把Reactor本身也拆成兩種主Reactor只負責管理監(jiān)聽套接字、接受新連接子Reactor負責管理已連接套接字上的IO事件。也就是主Reactor拿著監(jiān)聽fdaccept()出來的新fd分配給某個子Reactor去管理每個子Reactor有自己獨立的epoll實例和線程。這種架構(gòu)在繁重連接場景下能更好地利用多核也是很多工業(yè)級網(wǎng)絡框架采用的方案一個主線程Hold住監(jiān)聽socket多個子線程各自跑一個Reactor循環(huán)業(yè)務線程池再兜底。選擇建議先從實際項目出發(fā)連接量大、業(yè)務簡單比如轉(zhuǎn)發(fā)、心跳維護選主從ReactorIO事件分散到多個線程里最劃算。連接量中等、業(yè)務復雜比如涉及本地數(shù)據(jù)庫選多線程Reactor把阻塞業(yè)務從主循環(huán)里摘出去。純學習、或者連接量就幾百單線程Reactor完全夠用先把這套框架理解透再說。3. 動手搭一個Epoll-Reactor服務端骨架3.1 整體結(jié)構(gòu)設計組件劃分和職責邊界寫代碼之前先把模塊結(jié)構(gòu)定清楚這是整個Reactor能跑起來的關鍵。我這個項目里分了五個核心組件每個都有明確的職責。EventLoop是最核心的類內(nèi)部封裝一個epoll實例并且提供注冊、修改、刪除fd事件的方法主循環(huán)loop()里調(diào)用epoll_wait()并循環(huán)處理就緒事件。Channel則是fd和事件回調(diào)的封裝一個Channel對應一個fd它知道自己關心什么事件也持有事件觸發(fā)時該調(diào)用的回調(diào)函數(shù)指針。Acceptor專門負責監(jiān)聽套接字持有監(jiān)聽fd對應的Channel一旦監(jiān)聽到可讀事件就執(zhí)行accept()并創(chuàng)建新的連接對象。TcpConnection代表一個已建立的連接內(nèi)部有讀緩沖、寫緩沖以及對應fd的Channel它處理的是這個連接上的可讀可寫事件。ThreadPool是業(yè)務線程池EventLoop收到事件后把耗時操作交給它去跑。組件之間的協(xié)作流程用文字描述是這樣一條線進程啟動時先創(chuàng)建EventLoop再創(chuàng)建Acceptor并注冊監(jiān)聽fdEventLoop進入循環(huán)后epoll_wait()阻塞等待一旦監(jiān)聽fd可讀Acceptor的Channel回調(diào)被觸發(fā)執(zhí)行accept()新fd封裝成TcpConnection把它注冊到這個EventLoop上當這個新fd可讀時TcpConnection的Channel回調(diào)觸發(fā)讀取數(shù)據(jù)、做初步解析把耗時的業(yè)務邏輯派發(fā)到ThreadPoolThreadPool處理完后把回包數(shù)據(jù)放進TcpConnection的寫緩沖觸發(fā)可寫事件由EventLoop統(tǒng)一寫出。這個流程走的其實是典型的事件驅(qū)動鏈路事件從內(nèi)核產(chǎn)生經(jīng)過epoll、EventLoop、Channel一路派發(fā)到業(yè)務代碼。整個鏈路里沒有任何一個CPU在空轉(zhuǎn)等待只要沒人阻塞事件循環(huán)吞吐就能持續(xù)跑起來。3.2 核心實現(xiàn)EventLoop封裝與事件循環(huán)先看EventLoop里最容易出錯的封裝。很多新手會把epoll_create、epoll_ctl、epoll_wait散落在各處調(diào)用出了錯都不知道哪里漏了fd。我這里把這些全部收口在一個類里。class EventLoop { public: EventLoop() { epfd_ epoll_create1(EPOLL_CLOEXEC); if (epfd_ 0) { throw std::runtime_error(epoll_create1 failed); } } ~EventLoop() { close(epfd_); } // 核心聲明注冊或更新某個fd關注的事件 void updateChannel(Channel* ch) { struct epoll_event ev; memset(ev, 0, sizeof(ev)); ev.events ch-events(); ev.data.ptr ch; // 關鍵把Channel指針直接掛在事件上 int op ch-isRegistered() ? EPOLL_CTL_MOD : EPOLL_CTL_ADD; if (epoll_ctl(epfd_, op, ch-fd(), ev) 0) { // 這里要格外小心ADD失敗時應該做清理和日志 } ch-setRegistered(true); } void removeChannel(Channel* ch) { // 使用EPOLL_CTL_DEL從epoll中摘除fd epoll_ctl(epfd_, EPOLL_CTL_DEL, ch-fd(), nullptr); ch-setRegistered(false); } void loop() { while (!quit_) { int nready epoll_wait(epfd_, events_, kMaxEvents, 1000); for (int i 0; i nready; i) { Channel* ch static_castChannel*(events_[i].data.ptr); uint32_t revents events_[i].events; ch-handleEvent(revents); } } } private: int epfd_; bool quit_ false; struct epoll_event events_[1024]; static const int kMaxEvents 1024; };這里有個設計細節(jié)很多人忽略為什么用epoll_event.data.ptr而不是data.fd因為事件處理的回調(diào)邏輯存在于Channel對象里如果你只存fd拿到事件后還得再找映射關系等于多一次查表。把Channel指針直接塞進data.ptr里epoll_wait()一回來就立刻拿到完整的處理對象省掉一層查找。這跟很多框架里把連接對象指針掛到事件上的做法一模一樣。另外注意epoll_create1(EPOLL_CLOEXEC)。很多老代碼用epoll_create(0)然后忘了設置FD_CLOEXEC一旦服務端程序fork子進程子進程里會意外繼承一個epoll實例fd泄漏問題就這么埋下了。個人建議所有創(chuàng)建fd的地方都要考慮CLOEXEC不只epollsocket創(chuàng)建時也一樣用SOCK_CLOEXEC。這是生產(chǎn)環(huán)境壓測過幾十萬連接后才會在意的細節(jié)本地寫著寫著可能根本發(fā)現(xiàn)不了。Channel的核心代碼也很短但要保證它足夠通用class Channel { public: Channel(int fd, uint32_t events, EventCallback readCb, EventCallback writeCb) : fd_(fd), events_(events), readCb_(std::move(readCb)), writeCb_(std::move(writeCb)) {} void handleEvent(uint32_t revents) { // 優(yōu)先處理異常事件 if (revents (EPOLLERR | EPOLLHUP | EPOLLRDHUP)) { if (closeCb_) closeCb_(); return; } if (revents EPOLLIN) { if (readCb_) readCb_(); } if (revents EPOLLOUT) { if (writeCb_) writeCb_(); } } int fd() const { return fd_; } uint32_t events() const { return events_; } bool isRegistered() const { return registered_; } void setRegistered(bool v) { registered_ v; } private: int fd_; uint32_t events_; bool registered_ false; EventCallback readCb_; EventCallback writeCb_; EventCallback closeCb_; };要重點提醒的是事件掩碼的判斷順序。EPOLLERR和EPOLLHUP并不需要你注冊epoll會自動上報所以handleEvent里第一步必須把它摘出來否則你永遠等不到正常的讀寫回調(diào)。EPOLLRDHUP表示對端正常關閉寫半?yún)^(qū)有的服務會在這一支里做對端關閉的清理能省掉一次無意義的recv。3.3 從新連接到業(yè)務分發(fā)Acceptor與TcpConnectionAcceptor做的事情很單純而且極重要它的可讀回調(diào)就是整個服務的入口。監(jiān)聽socket是可讀的說明有新的連接請求到達此時你調(diào)用accept4()取出新fd再把它包裝成TcpConnection注冊到EventLoop中。class Acceptor { public: Acceptor(EventLoop* loop, uint16_t port) : loop_(loop) { listenFd_ socket(AF_INET, SOCK_STREAM | SOCK_NONBLOCK | SOCK_CLOEXEC, 0); // 綁定端口、設置SO_REUSEADDR、監(jiān)聽的代碼省去 channel_ std::make_uniqueChannel( listenFd_, EPOLLIN, [this]() { handleNewConnection(); }, nullptr ); loop_-updateChannel(channel_.get()); } void handleNewConnection() { struct sockaddr_in peerAddr{}; socklen_t len sizeof(peerAddr); while (true) { int connFd accept4(listenFd_, (struct sockaddr*)peerAddr, len, SOCK_NONBLOCK | SOCK_CLOEXEC); if (connFd 0) { if (errno EAGAIN) break; // LT模式下一定要做這個判斷 // EMFILE、ECONNABORTED等錯誤分別處理 break; } auto conn std::make_sharedTcpConnection(loop_, connFd, peerAddr); // 連接對象交給連接管理器持有防止被析構(gòu) } } };兩個細節(jié)在這里值得停下來細說。第一accept()要用循環(huán)一次處理完當前已經(jīng)排隊的連接。高并發(fā)時可能同時到來幾十個連接請求如果你一次只accept一個就走剩下的連接會在內(nèi)核排隊等下次事件。多等一個epoll周期對延遲影響很大。第二connFd一定要設置非阻塞最好是accept4()直接帶SOCK_NONBLOCK|SOCK_CLOEXEC一步到位。因為在ET模式下你后面要循環(huán)讀數(shù)據(jù)非阻塞是必須的阻塞fd在循環(huán)讀不到數(shù)據(jù)時會卡死整個線程這是血淚教訓。TcpConnection的讀回調(diào)是業(yè)務的第一步。它先從socket讀到緩沖區(qū)然后走業(yè)務分發(fā)void TcpConnection::handleRead() { char buf[65536]; ssize_t n read(fd_, buf, sizeof(buf)); if (n 0) { inputBuffer_.append(buf, n); // 丟給線程池處理業(yè)務邏輯注意這里不能直接做耗時的業(yè)務 if (messageCb_) { messageCb_(shared_from_this(), inputBuffer_); } } else if (n 0) { // 對端關閉觸發(fā)連接清理回調(diào) if (closeCb_) closeCb_(); } else { if (errno ! EAGAIN errno ! EWOULDBLOCK) { // 真正的讀錯誤如ECONNRESET if (errorCb_) errorCb_(); } } }注意shared_from_this的用法TcpConnection必須繼承std::enable_shared_from_this否則你在回調(diào)里拿不到安全的shared_ptr連接對象可能在處理過程中被析構(gòu)懸空指針問題防不勝防。這是C寫網(wǎng)絡服務最容易出的內(nèi)存級bug。3.4 定時器與空閑連接管理Reactor架構(gòu)里最后一塊拼圖一個正經(jīng)的網(wǎng)絡服務離不開超時管理??蛻舳诉B上了握完手發(fā)了一個請求之后就沒動靜了如果服務端不清理這個fd會一直占著連接數(shù)遲早被僵尸連接吃光。處理超時最優(yōu)雅的做法是把定時器也做成事件源。Linux提供了timerfd_create()你可以創(chuàng)建一個定時器fd并把它注冊到epoll里讓它參與事件循環(huán)。這樣定時器到期后會像一個普通fd的可讀事件一樣被epoll_wait喚醒代碼可以統(tǒng)一走Channel回調(diào)。int tfd timerfd_create(CLOCK_MONOTONIC, TFD_NONBLOCK | TFD_CLOEXEC); struct itimerspec its{}; its.it_value {5, 0}; // 5秒后第一次到期 its.it_interval {5, 0}; // 之后每5秒到期一次 timerfd_settime(tfd, 0, its, nullptr); // 將這個tfd封裝成Channel注冊到EventLoop但是項目里如果只用timerfd做粗粒度心跳檢測還好要是業(yè)務大量依賴精確到毫秒的定時任務專門為每個task建一個timerfd就不合適了fd數(shù)量會失控。更實際的做法是在EventLoop里維護一個最小堆或時間輪每次epoll_wait之前計算最近的一個超時時間把超時作為epoll_wait的timeout參數(shù)傳進去epoll_wait返回后再檢查所有超時任務并執(zhí)行回調(diào)。這套做法復用能力強也避免額外fd開銷。我項目早期用的是timerfd后來定時器任務多了以后果斷換成了最小堆方案一下子清爽很多。空閑連接的判斷邏輯也很簡單每次連接上有讀寫活動時更新最后活躍時間定時器任務掃描時凡是過了閾值比如30秒還沒活動的連接直接調(diào)用close回調(diào)并且從EventLoop和連接管理器中雙重剔除。當連接管理器里只剩一堆死緩存時再想靠硬編碼去清理代價就大了。4. 實測中一定會踩的坑和排查技巧4.1 ET模式下的讀不完和數(shù)據(jù)殘留第一次把LT切換到ET大概率會遇到一個問題服務端處理完一批數(shù)據(jù)后下一次不觸發(fā)了客戶端卻還在等響應。原因就是我前面說的ET只在狀態(tài)變化時通知你讀數(shù)據(jù)時沒有把緩沖區(qū)的數(shù)據(jù)一次讀完剩下的數(shù)據(jù)憋在里面直到新數(shù)據(jù)到來才有可能觸發(fā)。解決這個問題的方法已經(jīng)約定俗成在ET模式下讀事件觸發(fā)后循環(huán)調(diào)用read直到返回EAGAIN。EAGAIN不是錯誤它表示當前已無數(shù)據(jù)可讀是讀干凈了的信號。寫事件同理寫緩沖區(qū)滿了以后ET模式不會再次觸發(fā)你需要在每次寫完數(shù)據(jù)后主動檢查緩沖區(qū)是否還有殘留有殘留就給fd注冊EPOLLOUT事件只有等到可寫事件觸發(fā)時才繼續(xù)把剩余數(shù)據(jù)寫完寫完再注銷EPOLLOUT。這套寫好一次、沒寫完再注冊、寫完注銷的狀態(tài)機邏輯是ET模式下最容易出bug的地方建議把讀寫流程精簡到極致再上ET。4.2 epoll驚群問題從多線程到EPOLLEXCLUSIVE多個線程或進程在同一個監(jiān)聽socket上同時調(diào)用epoll_wait當新連接到達時所有等待者都可能被喚醒但只有一個能成功accept這就是驚群。早期Linux上這個問題非常嚴重后來內(nèi)核引入了EPOLLEXCLUSIVE標志給event它能讓事件喚醒時只通知等待隊列里的一個線程從而解決大部分驚群問題。實際項目中還有另一個思路SO_REUSEPORT讓多個進程各自創(chuàng)建監(jiān)聽socket都綁定同一個端口內(nèi)核在連接到來時做負載均衡分配到不同的監(jiān)聽socket上。這樣每個進程各查各的epoll互不干擾在nginx這類多進程模型里是很常見的調(diào)度方式。不過SO_REUSEPORT在同機多進程場景里會帶來fd分發(fā)不均勻的可能性連接數(shù)來得很猛時內(nèi)核的hash可能傾斜需要配合定期重載或監(jiān)控調(diào)整。無論用哪種方案測試環(huán)境一定要模擬高并發(fā)驗證光看代碼是看不出隱藏問題的。4.3 事件回調(diào)里絕對不能做耗時操作這個坑我見過太多次了代碼邏輯看著沒問題壓測一上就卡成PPT。根源都是一樣的在Channel的可讀回調(diào)里直接做了數(shù)據(jù)庫查詢、文件IO、加密計算等耗時操作整個事件循環(huán)被拖住了。記住一個原則事件循環(huán)線程只做收發(fā)數(shù)據(jù)、編解碼、分發(fā)任務這幾件事。凡是可能阻塞超過毫秒級別的操作一律丟到線程池。這里還有一個細節(jié)線程池返回結(jié)果也要小心如果工作線程處理完業(yè)務后直接去調(diào)用TcpConnection的回寫方法這是典型的跨線程調(diào)用。如果此時工作線程持有鎖而主循環(huán)線程也在操作這個連接就會產(chǎn)生競態(tài)。成熟的方案是把寫回動作通過任務隊列放回EventLoop所在線程執(zhí)行這也是很多網(wǎng)絡框架里queueInLoop機制的核心作用。寫回必須由EventLoop線程執(zhí)行這是一個鐵律。4.4 蹚過的坑速查表從fd泄漏到EPOLLHUP把高頻踩坑整理成一張表排查時可以按圖索驥。這些坑有些是運行時才暴露的有些是壓測到臨界點才翻車的每一條我都付出過不小的代價。癥狀根因排查辦法進程fd數(shù)持續(xù)上漲不回收連接關閉后忘了從epoll刪除或close fd用ls /proc/進程pid/fd觀察fd數(shù)量結(jié)合日志看哪些連接沒走關閉流程高頻連接后出現(xiàn)段錯誤TcpConnection對象被提前釋放回調(diào)還在用確保連接類繼承enable_shared_from_this回調(diào)中全用shared_ptr持有必要時延遲釋放單線程Reactor偶發(fā)無響應某個handler中出現(xiàn)了阻塞調(diào)用用strace -p 進程號看卡在哪個系統(tǒng)調(diào)用上重點檢查SQL、磁盤IOET模式下偶發(fā)丟包讀事件到達后沒有循環(huán)讀到EAGAIN代碼里搜索read確認ET路徑有沒有循環(huán)沒循環(huán)的無腦加上epoll_wait頻繁返回但CPU極高LT模式下小包反復觸發(fā)每次只讀一點點轉(zhuǎn)換為ET模式或者每次讀事件至少讀完一次緩沖里所有數(shù)據(jù)連接close后仍接到EPOLLHUP事件對端異常關閉服務端沒及時處理掛起狀態(tài)在handleEvent里對EPOLLHUP分支立刻做清理別等可讀事件accept后新連接不工作accept出來的fd沒有改成非阻塞或沒有正確注冊進epoll檢查accept4的標志位并確認updateChannel里EPOLL_CTL_ADD執(zhí)行成功這幾條排查思路看起來零散但底層邏輯都是相通的網(wǎng)絡服務里的每一個fd、每一個事件都是一個狀態(tài)機任何環(huán)節(jié)漏了狀態(tài)轉(zhuǎn)移最終都會表現(xiàn)為連接卡住或者內(nèi)存瘋長。排查的時候先看fd有沒有被正確處置再看事件有沒有被正確分發(fā)最后才懷疑業(yè)務邏輯順序反了很容易兜圈子。4.5 從這套架構(gòu)出發(fā)的擴展方向和調(diào)試技巧到這里Epoll-Reactor模式的骨架和踩坑經(jīng)驗都已經(jīng)梳理得比較完整了。如果要再往深處走有幾個方向是這個模式天然適合擴展的在TcpConnection之上疊加一層編解碼器就能從TCP裸數(shù)據(jù)升級出HTTP、WebSocket或者自定義二進制協(xié)議Reactor框架本身完全不需要變動把連接狀態(tài)中的心跳檢測和重連機制抽成獨立服務做成一個獨立的子Reactor能進一步優(yōu)化整體連接管理能力針對大量只讀不寫的空閑連接可以引入智能關閉策略用時間輪管理空閑連接淘汰策略更精準。調(diào)試這套系統(tǒng)的時候我還想分享一個小技巧比任何日志都好使開啟內(nèi)核的網(wǎng)絡監(jiān)控功能。壓測時如果發(fā)現(xiàn)連接異常先看ss -tnp確認TCP狀態(tài)配合tcpdump抓包能立刻分清楚是服務端的epoll分發(fā)問題還是傳輸層的握手、丟包問題。代碼層面的日志不要只記錄業(yè)務信息要把每個連接的新建、可讀、關閉事件也記錄下鏈路一旦出問題你可以把一條連接的生命周期完整拼出來排查效率能高好幾倍。另外有條件的話用高并發(fā)的壓測工具在獨立機器上跑壓力測試不要在開發(fā)機上壓網(wǎng)絡協(xié)議棧的干擾項太多了。壓力和代碼調(diào)試一定要分開環(huán)境不然數(shù)據(jù)根本不可信你會被噪聲折磨到懷疑人生。這套架構(gòu)我從大文件傳輸服務、網(wǎng)關代理到協(xié)議測試工具前后用過不少次。每次寫新服務時我都是拿著同一個EventLoop骨架往里填不同的Handler和業(yè)務邏輯很快就能出一個可運行、可壓測的版本。相比從零開始堆代碼這種模式化的開發(fā)方式省下的不只是時間更是后期排障時的理智。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天舔天天插天天干| 色婷精品91| 婷婷五月天涩涩| 成片免费观看大全| 狠狠综合网| 久色视频首页| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 狠狠色丁香99| 亚洲无码99| 91一起操| 99riav 亚洲| 9热在线视频| 99免费热视频在线| 久8色色| 婷婷丁香五月婷婷| 欧美激情综合色综合啪啪五月| 青草青草视频2免费观看| 丁香五月婷婷操逼| 7777激情基地| 国产精品国产| 99rewww| 五月丁香六月花| 99综合| 六月丁香婷| 成人午夜天| 人操人人| 天插天啪天啪天啪| 色99网站| 国产精品岛国片在线观看免费| 色婷久久| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | www.色五月| 色婷婷六月开心中文字| 9色在线| 欧美大片免费观看| 中文字幕在线免费观看视频| 青草激情综合| 亚洲精品又粗又大又爽A片| 九九热99在线视频| 激情小说五月天中文字幕| 激情综合五月开心狠狠| 激情人妻蜜夜系列区| 婷婷六月天天| 五月天另类图片| 人妻无码精品一区| 欧美丁香五月| 国产婷婷五月天| 99在线热| 亚洲国产黄色电影| 久久网站观看免费欧洲国产 | 婷婷色啪| 五月丁香婷婷基地| 九九综合影音先锋| 激情六月下句是什么| 久久婷婷五月天蜜桃| 99久热| 久热婷婷在线视频| 乱色色色| 久99999热视频在线观看免费| 五月天丁香成人社| 九九视频在线观看| 9l视频自拍九色9l黑人| 91九色首页| 黄色短视频在线观看| 伊人婷婷青青cao| 五月婷婷中文字幕| 97婷婷五月| 99re思思| 欧美丁香婷婷五月| 丁香五月综合婷婷| 丁香五月人妻| 91精品啪| 天天激情| 就爱日五月天| 色五月婷婷成人视频| 激情五月婷婷| 久久sp免费视频| 五月丁香综合激情在线观看| 婷婷色五月天在线观看| 婷婷五月AV| 五月天.com| 久久综合九色综合97婷婷| 91狠狠综合久久久久久| 婷婷五月天久久| 在线91日韩| 好激情在线综合网| 综合色在线| Xx色综合| 久久亚洲激情五码| 9久久精品| 99热成人| 丁香五月色五月| 亚洲天码视频www蛋播视频| 国产亚洲成AV人片在线观黄桃| 丁香六月啪| 五月天激情网图片| 婷婷激情人妻| av在线观看网站| 94干大香蕉| www色五月天| 亚洲乱码日产精品BD| 午夜婷婷丁香| h在线看免费版在线看| 色玖玖综合网| 伊人激情| 掩去也综合五月视频| 五月婷婷激情久久| 色综合色| 成人深爱丁香五月| 伊人无码高清| 怡红院院在线导航网| 网站免费一站二站| 丁香五月亚洲AV| 男人天堂99| 任你搞网站| 天堂久久婷婷| 久久婷婷色| www.99婷婷| 丁香婷婷色九月| 六月色播| 久久精品99久久| 人人干99| 亚洲欧美婷婷五月色综合| 欧美熟女99| 欧美丁香五月97色| 婷婷五月天成人网| 久久婷婷欧美| 亚洲欧洲一二| 丁香九月婷婷综合| site:901-07.com| www.久久久久| 色五月婷婷啪啪五月| 五月激香蕉网| 深爱激情综合| 久久97| 成人 在线 日韩| 色综合色五月| 五月天婷婷综合网| 丁香五月六月婷婷殴美综合| 成人电影在线免费试看| 色婷五月天| 99热国内| 99干在线视频| 97精品自拍| 五月婷婷激情综合| 99精品网| 色大综合| 亚洲黄色av网站| 色色日本欧美| 深爱五月综合网| 国产小网站| 五月天操逼激情| 丁香五月天堂婷婷| 殴美日韩成人| 99在线观看| 性色人人爽| 99亚洲综合| 婷婷激情蜜桃玖玖丁香| 九九婷婷网五月天| 亚洲愉拍99热成人精品| 国产毛片精品一区二区色欲黄A片| 九九视频在线观看视频6 | 国产JK精品白丝AV在线观看| 91操女| 日本一级黄色片。| 天天综合影院| 九九Av| 丁香五月激动深爱欧美| 五月丁香综合网| 日本97在线| 色色色五月婷婷| 色五月开心五月激情五月| 嫩模草| 五月天色区| 色婷婷激情五月天| 婷婷综合网站| 久久视频这里99| 婷婷五月中文字幕| 色五月激情五月| 六月丁香五月天| 九九热这里只有精品23| 99热天堂| 婷婷五月情| www.zbzhongsen.com| 色色五月天婷婷| 国产性爱在线| 在线99热| 五月激情综合美女久久| 99爱欧美| 97婷婷狠狠| 久热在线中文字幕色999舞| 国产在这里只有精品| 五月花综合网| 久9免费视频| 九九无码| AV网站免费在线| 五月色欧洲| 激情綜合網址| 91夫妻网站九色| 九九无码| 五月婷婷福利| 五月天播播| 婷婷五月天综合网| 99色综合| 91色逼| 色色日韩无码| 亚洲色涩视频| 日韩人妻无码精品| 久久精品五月| 五月天婷a在线| 亚洲永久四色| 综合五月婷婷| 五月天激情.com| 9色在线| 伊人网碰碰| 狠狠色婷婷丁香六月| 六月婷婷七月丁香| 久婷自拍视频| 99久久欧美| 丁香五月天堂| 国产真人做爰视频免费| 99精品无码网站| 九九色大香蕉| 亭亭五月色男人| 亚洲人人操| 成人做爰高潮A片免费视频| 五月丁香婷婷啪啪网| 亚洲激情免费久久| 色五月六月| 九色porny在线观看激情四射| 婷婷五月色花丁香社区| 中文成人在线| 婷婷香蕉视频| 五月婷婷激情四月| 丁香8月手机综合| 91九色首页| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 超爽内射| 色五月丁香六月欧美综合| 91九色国产| 色婷婷丁香社综合| 九热视频免费观看| 日韩 mm 不卡| 久艹久| 俺去也婷婷| 五月婷婷久久综合| 狠狠干天天内射| 久久五月视频| 婷婷99中文字幕| 日韩五月婷婷| www,超碰| 久久久久99精品成人网站| 五月天播播中文字幕| 欧洲色区| 九九热九九热精品| 99精品国产在热久久| 色综合久久88色综合天天人守婷| 日本一级黄色电影| 婷婷在线播放av| 丁香五月区| 综合色色综合| 9久精品视频| 狠狠色婷| 九九视频在线观看| 97热久久五月婷婷| 精品一区二区三区免费毛片爱| 丁香婷婷五月六月久久| 91碰| 草草视频91| 99精品久久久| 色色网站| 97精品综合| 另类视频五月天| 五月婷婷激情久久| 99精品亚洲| www色色com| 丁香色综合| 激情四射网| 伊人久久大香蕉网| 日本91在线| 曰曰久久| 五月天com| 综合激情站| 五月婷婷深深爱爱| 香蕉伊人综合| www.minyis.com【JT】实力收量可预付QQ2101460746 | 奇米色大香蕉| 香蕉人在线香蕉人在线 | 香蕉大综综综合久久| 五月婷婷六月丁香玖玖玫瑰91| 婷婷五月丁香色播| 伊人综合色干| 综合婷婷| www.五月天婷婷姐姐| 丁香婷婷色五月合集| 四色女婷婷| 五月丁香六月婷婷久久久综合| 婷婷五月天美女视频| 激情五月天婷婷视频| 日日激情网| 韩国三级五月天婷婷。| 97碰碰视频| 婷婷五月丁香91| 日韩九区| 天天天天天色| 亚洲综合视频天天精品| 亚洲小视频免费播放| 热九九精品| 成人必爱视| 热久久66| 婷婷在线激情| 久草热在线视频| 中国丰满熟女A片免费观| 天天色视频| 六月丁香五月婷婷| 激情综合五月婷婷| 婷婷久热| 综合色色五月| 91疯狂操操操操| 久久99婷婷| 亚洲激情 久久| 丁香五月23111| 亚洲精品永久久久久久| 五月激情影院| 色135综合网| 一本久久婷婷| 五月丁香成人网| 婷婷五月亚洲激情| 亚洲综合色色色| 9久久久久久久久久久| 五月婷婷天| 激情文学综合婷婷五月天丁香花| 狠狠色丁香婷婷五月| 激情久久久久| 久99热| 色婷婷亚洲精品天天综| 激情五月天网| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 亚洲AV网站在线观看| 婷婷丁香成人在线视频| 极品另类| 色婷青青| 九九99免费视频| 丁香五月天av| 人妻av在线| 婷婷五月天综合亚洲| 偷拍91九色| 凹凸7777操操操| 深爱激情六月| 久热99| 婷婷综合色| 色色五月天婷婷| se婷97| 成人一级片| 色婷婷五月综合在线| 最新va在线播放| 丁香五月影院| 激情综合九月| 色五月影视| 丁香五月激情综合| 久久精品系列| 激情五月亚洲| av在线资源| 极品九九九九九九| 色色网站免费观看| www九九热| 影音先锋 一区| 人人舔人人色人人高潮| 99综合免费视频| 日本性视频| 看婷婷五月天网| 五月婷婷网站| 一本大道熟女人妻中文字幕在线| 婷婷久久五月| 99色色网| 日韩人人操| 久久激情综合| 色婷婷五月在线| 婷婷久久婷婷| 婷婷六月五月天综合| 色五月成人| 久久91久久91色欲精品| 天天爽天天日天天舔| 激情综合五月| 婷婷五月天激情四射| 五月丁香婷婷成人网| 自拍盗摄 另类| 色综合色综合网| 色色色色色五月丁香| 色狠狠色综合| 婷婷色情 | www.色色五月天.com| 97色色在线视频| 大地资源色婷婷视频在线| 日本啪啪网| 婷婷精品性视频| 久久激情中文| 婷婷五月天.com| www激情| 色www.con| 日日夜夜爽| 色五月在线播放| 色婷婷超碰| 青草少妇激情| 爆乳熟女-区二区三区| 色狠狠六月| 色色婷婷丁香| 91一起操| 欧美色97| 91一道本| 丁香五月婷婷基地| 日本97在线| 亚洲这里只有精品| 久久一级免费黄色片| 婷婷六月激情在线视频| 久久国产一区二区三区| 综合激情五月丁香| 大陆极品少妇内射AAAAAA| 五月天婷婷黄色视频| www.99视频| 婷婷射丁香| 色综合久久中文| 色 五月 天 婷婷 丁香 九月| 超碰国产AV| 日欧大屏操| 一起草日本| 天天爽天天干天天| 97碰操| 亚艹艹| 日本片日本片祼观看网站在线看中文版网页在线看 | 成人看片网站| 最新日本A片| 99热66| 国产色丁香| 天天色天天操天天射| 乱码操操| 久久婷婷亚洲| 色婷婷六月激情| 免费看欧美成人A片无码| 丁香色六月婷婷| 丁香六月综合激情| 色高清无码视频| 91.www综合| 欧美综合在线五月天色婷婷| 九九色热| 五月婷婷自拍视频| 性爱激情小说AV五月丁香花| 人妻视频在线| 66精品国产成人| 在线观看欧美| 天天操天天插| 全高清无码视頻| 天天干com| 五月天综合| 在线不卡的视频| 天天爱夜夜爽| 久99久精品视频| www色色com| 九九热这里只有精品556| 五月天色社区| 狠狠婷婷爱| 99免费在线| 激情五月天99色| 97碰碰视频在线观看免费| 操久久网| 国产精品扒开腿做爽爽爽A片唱戏| 五月婷婷之六月丁香| 国产精女同一区二区三区久| 五月天伊人久久久久| 九九AV在线| 亚洲AV免费在线| 99色热综合| 9热久久在线| 日韩欧洲亚洲| 色婷婷色久综| 综合久久丁丁香婷| 色综合五月| www婷婷| 丁香五月影院| 99热这里有精力| 91精品国产99久久久久久天美| 激情五月天综合网| 日本在线免费中文com.| 国产亚洲成人综合| 激情小说五月天| 亚洲色婷婷99一9|| www.综合久久| 六月丁香网| 久久A V无码视频| 99热青青草| 99re6在线视频精品免费| 日韩精品二三区| 久99久在线| 亚洲精品国产A久久久久久| 天天做天天摸| 婷婷五月四狠狠| 女同在线9| 色噜噜狠狠色综合成人99| WWW丁香五月| 日韩丁香涩| 五月天播播| 春色激情| 丁香五月影院| 伊人AV五月婷| 五月激情日本在线| 丁香婷婷婷五月综合色情| 99热这| 久热精品视频| 婷婷和五月天| 五月天怕怕| 99热99在线| 99re热视频这里只精品| 袁子仪视频观看| 91xxxx九色| 久久精品国产一区二区三区四区| 五月天社区| 五月天久久婷婷| 91免费啪视频| 色欲久久综合| 国精产品一区一区三区有限公司杨 | 九九免费精品| 99综合网| 4399欧美另类视频| 这里只有精品96| 91人人爽狠狠狠| 性99网站| 天天干,天天舔| 亚洲综合欧美色丁香婷婷888月图片| 亚洲综合99| 色情婷婷五月天| 亚洲看av的网站| 色色九区| 国产精品电| 日韩另类| 婷五月天| 中文字幕久久一区二区三区 | 任我干视频在线观看| 老司机伊人| 夜夜骑夜夜操| 六月丁香婷婷天堂| 99视频只有精品| 色婷婷激情| 九九精品视频在线观看| 五月丁香 啪啪啪| ww亚洲ww在线观看| 97超碰在线免费观看| 婷婷六月丁香五月图区| 婷婷久久综合久| av在线观看免费| 永久精品| 天天色色天天| 99综合激情久久精品久久| 再次出发二| 五月停亭六月,六月停亭的英语| 色婷婷综合丁香五月天| 亚洲综合色婷婷文学| 久99热| 亚洲欧洲午夜成人精品av| 狠狠色噜噜狠狠| 丁香六月激情综合网| 日本精品99网站| 99在线热视频| 日韩操女| 97日本在线| 另类婷婷五月天啪帕帕| 亚洲成人在线在线| 久久人妻熟女一区二区| 五月丁香综合| 五月天婷婷色色| 色色色色色色色色网站| 天天日 天天草| 99热这里只有免费精品| 婷婷5月九九| 91精品电影18T| 激情综合网五月在线播放| 婷婷97碰碰| 色婷婷激情四射视频| 婷婷色一二三区波多野结衣| 丁香社92视频| a片在线免费观看一区| 红桃91人妻爽人妻爽| 五月天天丁香婷婷| 国产真实乱了老女人视频 | 婷婷夜夜夜夜| 日本九九热| 五月天婷爱综合| 夜夜夜叫天天天做| 五月亭亭综合五码| 99综合色| 丁香五月婷婷基地| WWW,五月| 激情婷婷网| 亚洲视频在线网| 1024久婷| 百度4399有码精品V在线观看| 99热99思午夜精品| 五月天伊人久久| 九九99在线视频| jiujiujiuwuyuetian| 大香蕉婷婷久久| 婷婷五月天综合网| 天天天久久久| 婷婷丁香人妻天久久| 激情五月激情综合俺也去婷婷小说| eeuss人妻| 久1色色| 婷婷六月天精品| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 色色色五月| 七七色色综合| 激情婷婷久久| 亚洲色色色色色色色色色| 99久久99视频只有精品| 先锋资源996| 夜夜操天天爽| 日日干天天| 亚洲av免费在线| 五月天综合网| 1024亚洲无码| 91人人爽人人操| 婷五月天六| 久久99久久久| 热99国产精品| 婷婷五月天影视| 天天爽天天摸人妻综合网| 婷婷日欧美在线观看| 婷婷色操| 婷婷欧美| 老司机视频lsj爱就色| 日本三级网址| 久久九区| 五月天婷婷青青| 日本久久性| 丁香六月婷婷综情欧美| 99精品视频免费观看,| 天天爽,夜夜爽| 91热久久| 欧美槡BBBB槡BBB少妇| 久久久精品婷婷五月天| 9 1在线视频| 亚洲高清在线| 亚洲第一色网站| 女人天堂 AV| 丁香大香蕉| 精品影院| 中文在线成人| 青青草a在线| 婷婷亚洲欧美丁香五月| 九九99精品视频在线观看| 强辱丰满人妻HD中文字幕| 久久天堂色| 九九国产视频| 人人人操97| 婷婷五月丁香啪啪| 日韩黄在免| 探花搜索结果 - 黄上黄| 婷婷偷拍网| 丁香五月综合在线视频| 九九热视频精品| 五月激情四射网站| 99色热视频| 亚洲日韩26uuu| 亚洲婷婷激情综合激情999精品| 五月婷婷综合激情| 激情婷婷五月少妇| 99在线视频精品| 熟女网站久久| 亚洲九九99精品视频在线播放| 26uuu精品一区二区| 五月丁香婷中文字幕| 香蕉婷婷色五月| 亚洲热热视频| 色婷婷色五月综合| 伊人婷婷激情| 亚洲中文字幕av| 在线视频婷婷| 婷婷射丁香| 色色五月婷婷丁香| 色情综合网| 婷婷综合久久| 91亚洲视频| 久久黄A片| 婷婷五月天久久| 粉嫩AV久久一区二区三区| 久久加勒比| 婷婷激情五月天亚洲综合| 99久久综合网| 99热99| 玖操97| 永久精品| 婷婷97C| 亚洲五月六丁香激情| √天堂资源在线人妻熟女| 婷婷综合中文字幕| sS丁香五月婷婷| 五月天亚洲综合网| 丁香五月婷婷激情97| 丁香五月激情综合| 色私五月婷婷| 色色网91| 亚洲性色XXXXX| 色色婷婷五月天| 激情五月婷黄版| 午夜电影网VA内射| 久久精品国产一区二区三区四区| 久久综合综合久久| 激情丁香五月婷婷| 99操不停| 婷婷激情五月综合丁| 狠狠色婷婷7777久| 五月婷婷无码| 婷婷色网站| 91视频综合网| 久久66精品| 大学生高潮无套内谢视频| 影音先锋91| 久色婷婷200| 99久久超级| 爱草视频在线| 国产精品99久久久久久久女警| 欧美日朝成人| 五月天综合久久| 九九青草热| 五月丁香在线精品| 婷婷五月激情网| 99re免费精品视频| 丁香五月婷婷亚洲综合精品| 射琪琪| 久久金品黃色| www.lchjjc.com| 色国产五月| 婷婷中文字幕| 亚州精品色情在线观看| 色色a| www.超碰| 99热99ai| 操人无码| 99热久久这里只有精品| 人妻久久久| 他改变了拜占庭| 无码色色色| 黄网在线播放| 天天玩夜夜操| 久久久妻人人人| 日本欧美成人片AAAA| 91欧美| 五月激情站| 亚洲人妻av| 亚洲色99| 色五月丁香五月激情五月激情| 九九综合色| 涩五月婷婷| 99综合视频| 涩涩涩,com| 日本猛少妇色XXXXX猛叫| 开心婷婷五月天电影院| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 精品久久久人妻| 97成人在线视频精品| 殴美日韩成人| 9 1超碰九色| 色婷婷六月| 成人深爱丁香五月| 91九色最新视频| 丁香五月综合亚洲| 婷婷影院欧美| 五月丁香激| 婷婷激情人妻| 久久精典| 婷婷亚洲五| 51精品国自产在线| 天天爽天天草| 色综合综合综合| 亭亭五月色男人| 日韩有码久久| 久久性爱视频| 丁香六月色婷婷欧美| 欧类av怡春院| www.五月天激情| 日本WWW九九九| 日韩亚洲视频| 五月丁香六月婷婷在线小说视频| 日本精品人妻无码77777| 激情五月天www| 久色88| 人妻内射视频| 色五月视频无码播放| 丁XX 成人| 天天色综和网| 五月婷A V在线| 五月天亚洲色| 91色噜噜狠狠狠狠色综合| 亚洲色热| 这里只有精品在线免费视频| 久久99看免费| 久久只有18视频| 天色综合网站| www激情网站| 另类图片五月天| 久鲁鲁色网| 久久密臀婷婷| 超碰人人操人人干| 久久精品小视频| 操人视频91| 99热免费| 一本久道综合色婷婷五月| 激情黄色小说色五月| 99在线免费视频| 丁香六月无码| 亚洲网视屏| 超碰在线日夜| 日本九九视频| 手机看片日日做夜夜| 色综合香蕉| 色综合五月天| av五月天婷婷丁香| 综合色久| 色吊丝99| 欧美色五月| 五月丁香做爱视频| 超碰av在线| 色综久久久| 色爱亚洲| 久久婷婷综合五月趴| 久久狠婷婷| 色综合天天| 99综合网| 色五月丁香激情视频| 黑人熟妇一区二区三区| 内射爽无广熟女亚洲| 激情六月丁| 激情5月婷婷狠狠干| 色99免费视频中文| 五月婷婷激情网| 99热这里只| 日本色婷婷综合| 98色丁香五月婷婷综合网| www激情| 99久久久| Xx色综合| 五月天激情四射网站| 五月Huangsewang| 国产激情视频在线观看| 天天谢天天操| 五月天 综合 在线| 激情综合在线观看| 九九99九九精品免费| 在线观看的av| 男女久久婷婷五月天| 丁香久久综合| 97超级免费无码| 操91| 成人丁香| 婷婷五月伦理| 热99精品视频观看| 日韩啪| 色噜噜狠狠色综无码久久合欧美| 精品人妻久久久| 九九热a| 超碰人人99| 精品日本视频444| 久久久久久久久久8888| 91婷婷五月天嫩女| 午夜婷婷五月天在线| 色五月丁香五月激情五月激情| 超级碰碰碰97免费| 婷婷色情 | 99ri在线| 九九亚洲| 婷婷丁香五月在线播放| 丁香六月婷婷综合麻豆| 狠狠做五月| 色色五月天丁香婷婷| 性按摩玩人妻HD中文字幕| www.婷婷五月| 婷婷五月综合社区| 婷婷五月伦理| 日韩五月天婷婷| 99久久99视频只有精品| 五月丁香婷婷色色色| 激情五月丁香五月综合| 国产成人精品亚洲线观看| 国产无套精品一区二区| 丁香五月人妻| 色女伊人| 日韩十国产极品久久| 伊人日日干| 另类亚洲2| 激情五月天综合网| 97五月婷婷| 99热免费18| 色啪久| 婷婷五月天天| 国产SUV精品一区二区883| 人妻久久久久久| 伊人久久大香线蕉av最新| 俺去也五月天婷婷| 成人五月天视频播放| 人人看人人摸人人| 欧美性色五月天| 日韩五月天婷婷| 综合逼五月激情婷婷| 在线观看熟女少妇| 激情小说五月天社区丁香| 操碰91| 五月婷婷大香蕉| 99综合视频| 婷婷久久五月天| 中文字幕黄色电影网址| 亚洲色综合色网| 26uuu成人网| 亚洲天堂色| 九色综合五月天婷五月| 女同在线9| 色狠狠色综合久久久绯色aⅴ影视| 99精品久久| 无码人妻少妇色欲AV一区二区| 日韩无码专区| 欧美成人精品A片免费一区99| 99这里只有精品|v| 天天影院色| 五月天激情网站| 激情开心五月天| 夜夜撸日日操| 夜夜骑夜夜撸| 婷婷视频网| 中文人妻AV久久人妻18| 无码少妇高潮喷水A片免费| 亚洲中文字幕在线观看| 亚洲欧洲另类图片| 亚洲妇女熟BBW| 搡BBBB搡BBB搡五十| 丁香五月婷婷天激情| 337久久| 亚洲在线成人| 激情啪啪五月天| 狠狠操狠狠| 天天插天天射| 久久精品99国产精品日本| 日韩无码专区| 丁香狠狠色婷婷久久无码视频| 激情小说色五月| 五月婷婷欧洲| 99超碰人人| 九月婷婷激情| 丁香五月天AV在线| 亚洲综合干| 六月丁香激情综合| 激情五月天婷婷丁香| 爽极品色| 操人无码| 丁香五月天久久| 久久九九九九| 91热久久| 亚洲色婷婷网站| 激情五月丁香综合网站| 五月婷婷六月丁香| 五月婷婷天| 99啪啪| 五月丁香久久久| 玖玖爱导航| 国产激情久久久| 秋霞网在线观看理论91| 天天综合天综合| WWW免费视频碰碰碰碰| 日本丁香五月| 色.五月综合网| 超碰国产在线观看| 亚洲另类电影| 五月丁香六月色婷婷| www.com五月天| 免费黄色片子| 在线中文AV| 丁香五月婷婷天堂大香蕉| 婷婷丁香射射| 99热99干| 日本综合久久| 大色鬼综合| 久久99精品久久久久久三级| 久久婷婷激情五月天一区二区| 婷婷五月天成人基地| 熟女网站久久| 五月天婷婷基地| 亚洲国产另类av| 丁香五月香蕉在线| 99久久免费精品| 婷婷成人视频| 国产精品色| 久久日曰| 婷婷五月天激情四射五月天激情| 人妻精品久久久久久| 九九性爱网| 久久久五月天| 欧美啪啪五月天| 免费AAAAA网| 99re热视频这里只精品5| 五月天伊人网| 五月丁香| 操日本三片99| 婷婷 激情 五月| 五月婷婷日| 夫妇交换刺激做爰| 人人操女人| 五月丁香婷婷久久| 超碰在线免费9| 色五月六月| 葵花AV在线| 五月天色播网| 99性爱| 天天拍夜夜爽日日| 女人天堂久久| 国产亚洲精品久久久久苍井松| 丁香五月天堂亚洲社区| 99噜噜噜在线播放| 五月天婷婷无码| 天天操婷婷| 九九Y精品热播| 五月丁香激情五月天| 欧美激情五月天| 婷婷五月天天| 国产激情在线| 国产精品蜜臀99| 色婷婷狠狠| 人人搡人人| 色婷婷丁香五月丁香| 国产成人av在线播放| 亚洲人人操| 久久多色| 五月丁香免费看| 熟妇人妻中文字幕无码老熟妇| 青996青| www.99热. com这里只有精品| 丁香五月欧美| 九九精品热播| 五月天激情社区| 亚洲激情四射| 99在线观看视频| 五月丁香婷爱在线| 成人做爰A片免费看视频| 亚洲综合五月天婷婷丁香| 美英法精品无码免费视频| 97色碰| 婷婷的99视频网站| 色婷婷丁香五月天在线观看| 草了bav视频在线观看| 天天日天天做天天舔| www.天天干| 激情婷婷护士激情| 呦呦v线| 超碰人人在线| w婷婷五月婷婷w| 久久久噜噜噜久久人妻| 久久加勤综合| 五月色欧洲| 激情色色色| 大香蕉99| 激情五月天色播| 婷婷WWW久久| 干亚洲天堂| 婷婷免费视频| www.婷婷,com| 人人干av| 综合久久首页| 五月 婷婷 成人| 国产精产国品一二三在观看| 99久久久| 丁香五月开心亚洲| 婷婷五月a| 激情六月日韩| 久久久久久久91| 开心五月婷婷激情网| 99热这里只有精品8| 99热都是精品| 黄色三级日本| 国产avapp 网| 久久婷婷六月综合综合色| 九月性爱网| 精品久久久久久久人妻| 丁香五月激动深爱欧美| 五月亭亭六月激情| 乱精品一区字幕二区| 国产裸舞福利资源在线视频| 99热精品在线观看| 天天肏屄夜夜爽| 欧美槡BBBB槡BBB少妇| 色综合久久五月| 久热大香蕉| 激情综合色五月六月婷婷| 五月激情小说| 美女激情婷婷| 美女婷婷激情亚洲| 色99综合视频| 91在线人| 婷婷五月视屏| 色噜噜五月丁香婷婷| 综合图片色色| 九九热婷婷| 五月天丁香婷| 伊人超碰| 五月丁香六月婷婷网| 这里只有精彩小视频视频网站| 成人av中文字幕| 中文字幕综合网| www.99视频| 99精品视频免费在线播放| 五月天久久久| 婷婷激情五月天在线视频| 五月色情| 久久这里只有国产视频| 91丨九色丨老熟女激情| 久久婷婷亚洲五月天| 日日操夜夜擼| 99愛国产| 九月色婷婷综合亚洲| 亚洲视色| 1024操逼视频| 成人五月丁香社区| 天天情天天狠天天透| 五月婷婷六月天| 天天cha成人综合网| 五月丁香亭亭A片| 天天透天天爱| 五月色色网| 亚洲欧美婷婷五月色综合| 免费精品66| 热日韩欧美| 射久久丁香五月| 久99视频| 婷婷情色开心五月天99| 久久婷婷五月天综合| 婷婷涩涩五月天| 婷婷成人五月天| 婷婷成人综合五月| 99热 在线播放| 97久久久| 亚洲丁香五月美女| 五月丁香A片| 97人人干| 色五月视频无码播放| 婷婷爱五月| 亚洲a色| 五月天小说激情| 激情丁香久久久久久| 五月婷婷综合网| 色了色综合| 伊人九九热| 色婷婷影视| 五月天婷婷中文字幕在线播放| 欧美色久| 婷婷丁香社区| 综合色色婷婷| 五月丁香亭亭操逼| 丰满老熟妇BBBBB搡BBB| 这里只有精品免费| 久久曰曰| 久久这里只有精品视频15| 玖玖在线| 婷婷成人丁香色情基地30 | 噜噜操操| 丁香五月激情综合| 婷婷五月天天天| 天天久久人人| 日韩AV在线免费| 99性视频| 婷婷五月综合激情免费视频| 六月婷久久| 人人摸人人| 六月丁香婷婷综合在线| 黄色99视频| 日韩成人电影Av| 天天爽天天| 99视频精品全部观看10| 亚洲午夜精品久久久久久人妖| 91日综合欧美| 五月综合视频| 深爱五月婷婷| 日韩人妻无码一区二区| 婷婷五月中文字幕| 人妻丰满精品一区二区A片| 丁香激情五月| 丁香婷五月天| 亚洲成人AV在线播放| 久久久久久五月天| 五月丁香六月婷婷成人电影| 色综合久久天天综合网| 五月丁香黄色| 久在热99| 欧美色五月| 99精品热| 五月综合婷婷网| 色色丁香婷婷| 嫩草视频。| 日日干夜夜干| 婷婷丁香亚洲色综合91| 一区二区三区四区无码| 97色色婷婷| 哇嘎成人久久| 日本黄色一级| 色五月AV| 月婷婷婷婷五月| 伊人狠狠综合| 六月丁香婷| 日本97在线| 婷婷97色| 这里只有精品视频在线| 五月婷婷之婷婷| 欧美综合五月丁香五月天| 99re这里只有精品99| 久久色五月天| 日韩不卡123| 成人做爰A片免费看视频| 欧美三级欧美一级| 99视频精品全部观看10| 五月丁香天堂网婷婷| 97亚洲色 torrent magnet| AAA久久久AAA久久久AAA| 五月婷婷婷色| 性一交一乱一交A片久| 色五月婷婷综合| 欧美日韩成人高清在线| jiqingliuyuetian| 狠狠 婷婷| 亚洲激情亚洲激情 | 九九热精品在线| 99人人操人人摸| 婷婷5月开心6月| 人妻性操逼中文字幕 国产| 久综合| 激情五月天婷婷色色色色色色色色色色色 | 91精品刘玥| 亚洲精品白浆高清久久久久久 | 亚洲操B视频| 91丨九色丨丰满人妖| 久久偷拍综合五月天| 丁香五月狠狠综合欧美| 噜综合| 久久五月激情| 五月婷婷深深爱| 丁香婷婷综合色五月激情国产基地| 97操操网| 五月婷婷丁香六月| www.婷婷六月天| 男女99免费视频| 92久久| 五月丁香影院| 思思久久精品| 开心五月婷婷在线视频免费观看| 五月天婷婷自拍图片在线观看| 99热爱爱干干日| 五月婷婷狠狠干| 人人爽欧美婷婷久久久五月丁香| 久久久五月天婷婷成人网| 丁香五月大香蕉在线99| 国外亚洲成AV人片在线观看 | 五月丁香综合色婷婷| 中国女人做爰A片| 公的粗大挺进了我的密道| www婷婷| AAA久久| 六月婷婷色| 五月激情综合网| 六月 丁香 视频| 欧美色婷婷| 99综合视频一体| 99热成人| 中文字幕日产A片在线看|