欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Qt工程集成Reactor+epoll+線程池實(shí)現(xiàn)高并發(fā)網(wǎng)絡(luò)服務(wù)

Qt工程集成Reactor+epoll+線程池實(shí)現(xiàn)高并發(fā)網(wǎng)絡(luò)服務(wù) C 后端開發(fā)進(jìn)階為什么繞不開“Reactor epoll 線程池”這套組合如果你寫過 Qt 客戶端接觸過網(wǎng)絡(luò)通信或多線程編程大概率已經(jīng)感受到單靠 QThread 和信號槽處理高并發(fā)連接時代碼會變得越來越別扭線程切換開銷高、事件響應(yīng)不直接、資源管理容易失控。這幾年服務(wù)端框架都在提“事件驅(qū)動”“非阻塞 I/O”底層核心其實(shí)就是這套模型。不過很多人第一次接觸“Reactor”“epoll”“線程池”這幾個詞時都是碎片化地學(xué)知道 epoll 比 select 性能好知道線程池能復(fù)用線程知道 Reactor 是個事件處理模型但三者在工程上到底怎么協(xié)同卻說不太清楚。尤其是 Qt 開發(fā)者一方面享受著 Qt 事件循環(huán)帶來的便利另一方面又擔(dān)心它與高性能 I/O 模型結(jié)合時的兼容性和復(fù)雜度很容易卡在“看懂了概念卻寫不出能跑通的工程代碼”這一步。這篇文章會從一個具體問題出發(fā)如何用 Qt 的事件循環(huán)框架集成一個基于 epoll 的 Reactor 模型并用線程池處理重邏輯任務(wù)。我會用通俗的語言拆解三個核心概念然后給出一個可以直接編譯運(yùn)行的最小工程演示事件監(jiān)聽、事件分發(fā)、任務(wù)異步執(zhí)行三個環(huán)節(jié)如何串起來。最后還會補(bǔ)齊常見問題排查和工程最佳實(shí)踐。讀完這篇文章你應(yīng)該能夠獨(dú)立評估自己的項(xiàng)目是否適合這套架構(gòu)并且有能力在 Qt 工程里動手實(shí)現(xiàn)一個簡單的 Reactor 網(wǎng)絡(luò)服務(wù)雛形。1. 這套技術(shù)組合到底解決了什么問題先直說結(jié)論Reactor epoll 線程池解決的是高并發(fā)場景下“如何用有限的資源處理海量事件”的問題。它不只是一個面試熱點(diǎn)更是現(xiàn)代 C 網(wǎng)絡(luò)服務(wù)端的主流設(shè)計骨架。沒有這套組合時傳統(tǒng)方案是多線程 阻塞 I/O。來一個連接分配一個線程線程里面阻塞讀取數(shù)據(jù)。這種模型有兩個明顯問題。第一線程是昂貴的資源。每個線程都有獨(dú)立的??臻g通常默認(rèn)是 8MB 的虛擬內(nèi)存線程切換還有上下文切換開銷。當(dāng)連接數(shù)上升到幾千甚至幾萬時系統(tǒng)資源會迅速耗盡。第二線程大部分時間在空等。一個連接如果沒有數(shù)據(jù)到達(dá)對應(yīng)線程就阻塞在 read 或 recv 上CPU 時間片被白白消耗在調(diào)度上。連接 10000 個每個連接 1 秒來一次心跳大量線程實(shí)際上處于休眠狀態(tài)但系統(tǒng)仍然要為它們付出管理代價。引入 epoll 之后模型發(fā)生了根本變化所有連接的 I/O 事件都由一個線程統(tǒng)一監(jiān)聽真正有數(shù)據(jù)到達(dá)的 socket 才會被通知。這個“通知”的過程不再遍歷全部 socket而是由內(nèi)核幫你維護(hù)一個就緒列表。這就是 O(1) 級別事件通知能力的來源。引入線程池是為了解決另一個問題Reactor 事件循環(huán)線程不能做耗時操作。如果在一個事件的回調(diào)里執(zhí)行數(shù)據(jù)庫查詢、文件解析、復(fù)雜計算就會阻塞事件循環(huán)導(dǎo)致后續(xù)所有連接的事件響應(yīng)延遲。線程池把耗時任務(wù)從事件循環(huán)里剝離出去讓事件循環(huán)保持“輕、快、不阻塞”。所以這套組合的本質(zhì)是用 epoll 讓一個線程管住海量連接用 Reactor 把事件分發(fā)做得清晰用線程池把耗時任務(wù)隔離出去。三者各管一段彼此配合。很多 Qt 初學(xué)者會把 QThread 當(dāng)作并發(fā)問題的“萬能藥”但實(shí)際工程中線程不是越多越好。你應(yīng)該以“事件驅(qū)動 有限線程池”為設(shè)計目標(biāo)而不是“每個連接一個線程”。2. 先用明白 Reactor它是一個事件處理框架不只是一個類Reactor 這個名字聽起來抽象其實(shí)它的核心思想非常樸素有一個循環(huán)在持續(xù)等待事件事件到來后調(diào)用對應(yīng)的處理函數(shù)處理完畢回到循環(huán)繼續(xù)等待下一個事件。如果用類比理解它就是餐廳里的“服務(wù)鈴”??腿税聪骡彿?wù)員過來響應(yīng)處理完這一桌的需求繼續(xù)等待下一桌按鈴。沒有鈴時服務(wù)員不需要挨個去問每桌客人需不需要服務(wù)。在代碼層面Reactor 通常包含幾個角色事件源Event Source文件描述符fd比如 socket、管道、事件標(biāo)志。事件多路分發(fā)器Demultiplexer在 Linux 下最常見的就是 epoll它負(fù)責(zé)監(jiān)聽多個 fd并告訴你哪些 fd 已經(jīng)就緒。事件處理器EventHandler針對不同事件調(diào)用不同處理邏輯。事件循環(huán)Event Loop不斷調(diào)用 epoll_wait拿到就緒事件后分發(fā)給對應(yīng)處理器。// Reactor 事件循環(huán)的骨架理解這個結(jié)構(gòu)是重點(diǎn) while (true) { int readyCount epoll_wait(epollFd, events, MAX_EVENTS, timeout); for (int i 0; i readyCount; i) { auto handler handlers[events[i].data.fd]; handler-handleEvent(events[i].events); } }這段骨架代碼是在 Linux 系統(tǒng)編程層面理解 Reactor 的最小入口。它明確告訴你事件循環(huán)線程永遠(yuǎn)無法被耗時任務(wù)占據(jù)否則 epoll_wait 不會在預(yù)期時間內(nèi)返回。在 Qt 環(huán)境中Reactor 的思想有幾個對應(yīng)物。QEventLoop 本身就是一個事件循環(huán)QSocketNotifier 可以監(jiān)聽 socket 的可讀可寫事件。但 Qt 的事件循環(huán)底層不一定使用 epoll在 Linux 上 Qt 其實(shí)會優(yōu)先嘗試使用 glib 的上下文集成而且它對底層事件的封裝對開發(fā)者是屏蔽的。如果你需要在 Qt 工程里精確控制 I/O 多路復(fù)用通常會自己管理一個線程在該線程中創(chuàng)建 epoll 實(shí)例而不是把 epoll 直接塞進(jìn)主線程的 QEventLoop 里。這個判斷很重要Qt 可以承載 Reactor 的工程結(jié)構(gòu)但 epoll 的線程最好獨(dú)立管理并通過 Qt 的信號槽或自建的線程安全隊列把結(jié)果傳回主線程。這是集成時最容易做錯的地方。3. epoll 為什么快以及和 select/poll 的直觀對比epoll 是 Linux 內(nèi)核提供的 I/O 事件通知機(jī)制核心能力是讓一個線程同時監(jiān)聽大量文件描述符并且只關(guān)注真正就緒的那些。要理解 epoll 的優(yōu)勢最好的方式是和 select、poll 做對比。select 的工作方式是把所有 fd 集合從用戶態(tài)拷貝到內(nèi)核態(tài)內(nèi)核逐個檢查 fd 狀態(tài)再把結(jié)果拷回用戶態(tài)。fd 越多線性掃描的成本越高而且 fd 數(shù)量還受 FD_SETSIZE 限制通常是 1024。poll 采用了鏈表結(jié)構(gòu)突破了 fd 數(shù)量限制但它仍然需要把所有 fd 傳給內(nèi)核并且返回后你必須遍歷整個數(shù)組才能知道哪些 fd 就緒。連接一萬個每次執(zhí)行 poll 都是 O(N) 的掃描。epoll 不同。它維護(hù)了一個由內(nèi)核管理的興趣列表你只需要通過 epoll_ctl 告訴內(nèi)核“我關(guān)心哪個 fd 的哪些事件”之后等待時內(nèi)核負(fù)責(zé)把就緒事件放到一個就緒鏈表里epoll_wait 返回時你只需要處理就緒鏈表里的 fd 即可。性能與活躍連接數(shù)有關(guān)與總連接數(shù)無關(guān)。用一個表來直觀對比對比項(xiàng)selectpollepollfd 數(shù)量限制有限1024 左右基本無限制基本無限制事件獲取方式遍歷全部 fd遍歷全部 fd直接拿到就緒鏈表時間復(fù)雜度O(N)O(N)O(就緒事件數(shù))內(nèi)核態(tài)用戶態(tài)拷貝每次拷貝全部 fd每次拷貝全部 fd通過 mmap 等方式減少拷貝跨平臺支持廣支持較廣Linux 專屬epoll 還提供了兩種觸發(fā)模式這在實(shí)際工程中很容易踩坑。水平觸發(fā)Level-TriggeredLT只要 fd 上有未處理的數(shù)據(jù)epoll_wait 每次都會返回該 fd。優(yōu)點(diǎn)是編程簡單不要求一次性把數(shù)據(jù)讀完。缺點(diǎn)是如果你處理太慢會被同一個 fd 反復(fù)喚醒。邊緣觸發(fā)Edge-TriggeredET只有當(dāng) fd 的狀態(tài)發(fā)生變化比如從無數(shù)據(jù)變?yōu)橛袛?shù)據(jù)時epoll_wait 才會返回該 fd。你必須一次性把數(shù)據(jù)讀完否則會丟失后續(xù)數(shù)據(jù)到達(dá)的通知。ET 模式配合非阻塞 I/O 是高性能服務(wù)器的常見配置但它對代碼的嚴(yán)謹(jǐn)性要求更高。在 Qt 工程里如果你只是想在項(xiàng)目中引入 epoll 做實(shí)驗(yàn)建議先從 LT 模式開始跑通完整流程后再嘗試 ET。LT 模式產(chǎn)生的 bug 更少更適合初學(xué)者建立正確的心智模型。4. 線程池不是“有線程就并發(fā)”那么簡單的資源治理線程池的核心價值在于復(fù)用線程和削峰填谷。反復(fù)創(chuàng)建和銷毀線程是有代價的線程池提前創(chuàng)建一批工作線程把任務(wù)放入隊列由線程循環(huán)取出并執(zhí)行。這樣既減少了線程創(chuàng)建開銷也限制了并發(fā)線程數(shù)量避免系統(tǒng)資源被極端峰值打穿。線程池通常由三個部分組成任務(wù)隊列存放待執(zhí)行的任務(wù)。工作線程組一組處于等待狀態(tài)的線程。調(diào)度器負(fù)責(zé)任務(wù)入隊、線程喚醒和資源回收。在 C 標(biāo)準(zhǔn)庫中從 C11 開始提供了 std::thread從 C17 開始加入了 std::scoped_lock而 C20 則提供了 std::jthread。但標(biāo)準(zhǔn)庫一直沒有直接提供線程池實(shí)現(xiàn)。所以工程實(shí)踐中要么自己封裝線程池要么依賴 Qt 的 QThreadPool要么引入第三方庫。Qt 的 QThreadPool 是一個成熟的線程池實(shí)現(xiàn)配合 QRunnable 使用非常方便。但在高頻、低延遲的網(wǎng)絡(luò)服務(wù)場景中QThreadPool 的調(diào)度粒度和信號槽傳遞方式可能不夠直接。很多 C 服務(wù)端工程師更傾向于自己維護(hù)一個基于 std::thread 和 std::queue std::condition_variable 的線程池因?yàn)檫@樣可控性最高。一個最小線程池通常長這樣// 文件路徑ThreadPool.h #pragma once #include atomic #include condition_variable #include functional #include mutex #include queue #include thread #include vector class ThreadPool { public: explicit ThreadPool(size_t threadCount) : stop_(false) { for (size_t i 0; i threadCount; i) { workers_.emplace_back([this] { while (true) { std::functionvoid() task; { std::unique_lockstd::mutex lock(queueMutex_); condition_.wait(lock, [this] { return stop_ || !tasks_.empty(); }); if (stop_ tasks_.empty()) { return; } task std::move(tasks_.front()); tasks_.pop(); } task(); } }); } } ~ThreadPool() { { std::unique_lockstd::mutex lock(queueMutex_); stop_ true; } condition_.notify_all(); for (auto worker : workers_) { worker.join(); } } template typename Func void enqueue(Func func) { { std::unique_lockstd::mutex lock(queueMutex_); if (stop_) { return; } tasks_.emplace(std::forwardFunc(func)); } condition_.notify_one(); } private: std::vectorstd::thread workers_; std::queuestd::functionvoid() tasks_; std::mutex queueMutex_; std::condition_variable condition_; std::atomicbool stop_; };這個線程池實(shí)現(xiàn)雖然精簡但已經(jīng)包含了任務(wù)隊列、互斥鎖、條件變量和線程回收機(jī)制。在實(shí)際項(xiàng)目中通常還需要支持返回任務(wù)結(jié)果、任務(wù)優(yōu)先級、動態(tài)調(diào)整線程數(shù)等能力。線程池面臨的真正挑戰(zhàn)是任務(wù)隊列的阻塞策略。如果任務(wù)隊列是無界的當(dāng)任務(wù)產(chǎn)生速度遠(yuǎn)超消費(fèi)速度時內(nèi)存會被任務(wù)對象占滿。如果隊列是有界的任務(wù)入隊時隊列已滿該怎么辦這個問題在面試中經(jīng)常出現(xiàn)也就是“線程池的阻塞隊列選擇”。工程上常見的方案有拋出異常、丟棄任務(wù)、阻塞調(diào)用方、由調(diào)用線程直接執(zhí)行等方式。更穩(wěn)妥的設(shè)計是為任務(wù)隊列設(shè)置容量上限配合拒絕策略告警?;氐?Qt 場景當(dāng)你用一個 Reactor 線程監(jiān)聽事件然后想把某個耗時任務(wù)丟給線程池時最安全的做法是在任務(wù)函數(shù)內(nèi)部捕獲所有異常并通過信號或回調(diào)把結(jié)果傳回主線程而不是直接操作 Qt Widget 或 QMainWindow。Qt 的 UI 操作必須在主線程執(zhí)行這是跨線程開發(fā)的紅線。5. 環(huán)境準(zhǔn)備與前置條件為了跑通下面的示例你需要準(zhǔn)備以下環(huán)境操作系統(tǒng)Linux因?yàn)?epoll 是 Linux 系統(tǒng)調(diào)用Windows 不支持編譯器GCC 或 Clang要求支持 C17 標(biāo)準(zhǔn)Qt 版本Qt 5.12 或更高示例核心不依賴 Qt 特有機(jī)制但工程結(jié)構(gòu)使用 Qt 的項(xiàng)目組織方式CMake3.10 或更高如果你的機(jī)器還沒有安裝 Qt可以到 Qt 官網(wǎng)獲取對應(yīng)版本的安裝包。安裝完成后在 CMake 里通過 find_package 找到 Qt 組件。下面是一個 CMakeLists.txt 的最小配置示例# 文件路徑CMakeLists.txt cmake_minimum_required(VERSION 3.10) project(QtReactorDemo VERSION 1.0) set(CMAKE_CXX_STANDARD 17) set(CMAKE_CXX_STANDARD_REQUIRED ON) set(CMAKE_AUTOMOC ON) set(CMAKE_AUTORCC ON) set(CMAKE_AUTOUIC ON) find_package(Qt5 COMPONENTS Core Network Widgets REQUIRED) add_executable(QtReactorDemo main.cpp ReactorServer.h ReactorServer.cpp ThreadPool.h ) target_link_libraries(QtReactorDemo Qt5::Core Qt5::Network Qt5::Widgets )Linux 下編譯這個工程之前請確認(rèn)內(nèi)核版本支持 epoll2.6 之前的內(nèi)核不支持現(xiàn)在絕大多數(shù)發(fā)行版都沒問題。如果使用虛擬機(jī)要注意網(wǎng)絡(luò)設(shè)備模式對 socket 行為的影響最好先使用回環(huán)地址 127.0.0.1 測試。6. 核心流程拆解如何把 epoll 和線程池裝進(jìn) Qt 工程從架構(gòu)層面看集成方案分成四步。第一步規(guī)劃線程邊界。我們至少要設(shè)計兩個線程域主線程運(yùn)行 QApplication/QCoreApplication負(fù)責(zé) UI 或業(yè)務(wù)邏輯接收線程池回傳的結(jié)果。Reactor 線程獨(dú)立創(chuàng)建運(yùn)行 epoll 事件循環(huán)不直接做耗時任務(wù)。如果業(yè)務(wù)負(fù)載很重可以在 Reactor 線程中再拆分一部分線程處理 accept、read、write另一部分線程池處理計算任務(wù)。但最小示例只需要一個 Reactor 線程加一個線程池。第二步創(chuàng)建 Reactor 線程。在 Qt 中最簡單的方式不是繼承 QThread而是使用 std::thread 啟動一個函數(shù)讓函數(shù)內(nèi)部運(yùn)行 epoll 循環(huán)。QThread 在這里并不是必需的因?yàn)?epoll 循環(huán)完全不用 Qt 事件循環(huán)。用 std::thread 可以減少和 Qt 線程模型的耦合。第三步管理 socket 生命周期。所有被 epoll 監(jiān)聽的 fd 需要維護(hù)在 Reactor 線程內(nèi)部的數(shù)據(jù)結(jié)構(gòu)中。注意不要在多個線程中同時操作同一個 fd 的 epoll_ctl 調(diào)用否則可能出現(xiàn)難以排查的競態(tài)問題。第四步與主線程通信。當(dāng) Reactor 線程處理完網(wǎng)絡(luò) I/O需要通知主線程時可以使用 Qt 的信號槽也可以使用自定義的線程安全隊列。需要注意的是從非 Qt 線程發(fā)送信號時必須使用 Qt::QueuedConnection或者通過 QMetaObject::invokeMethod 來安全地調(diào)用主線程對象的方法。下面用簡單的文字流程描述一次完整的事件處理客戶端連接到達(dá)監(jiān)聽 fd 變成可讀。epoll_wait 返回該事件。Reactor 線程調(diào)用 accept 接收新連接并把新連接的 fd 加入 epoll 監(jiān)聽列表??蛻舳税l(fā)送業(yè)務(wù)數(shù)據(jù)。新連接 fd 變?yōu)榭勺xepoll_wait 再次返回。Reactor 線程讀取數(shù)據(jù)解析出業(yè)務(wù)請求。Reactor 線程把數(shù)據(jù)包封裝成一個任務(wù)提交給線程池。線程池空閑線程取出任務(wù)執(zhí)行得到響應(yīng)內(nèi)容。Reactor 線程通過線程安全隊列或信號拿到響應(yīng)把它寫回客戶端 fd。整個鏈路中第 6 步到第 8 步之間Reactor 線程沒有執(zhí)行任何耗時操作這是系統(tǒng)保持高性能的關(guān)鍵。7. 完整示例ReactorServer 實(shí)現(xiàn)下面給出一個可以在 Linux 上編譯運(yùn)行的完整示例。它會在本機(jī) 8080 端口建立 TCP 服務(wù)用 epoll 監(jiān)聽事件收到客戶端請求后把處理邏輯丟給線程池完成后返回一條帶線程 ID 的響應(yīng)。為了在 Qt 工程中演示跨線程回傳這里選擇簡潔的回調(diào) 原子計數(shù)方式避免引入過多 Qt 信號槽代碼。實(shí)際項(xiàng)目中你可以將回調(diào)替換為跨線程信號但思想完全一致。7.1 ThreadPool 頭文件// 文件路徑ThreadPool.h #pragma once #include atomic #include condition_variable #include functional #include mutex #include queue #include thread #include vector class ThreadPool { public: explicit ThreadPool(size_t threadCount) : stop_(false) { for (size_t i 0; i threadCount; i) { workers_.emplace_back([this] { while (true) { std::functionvoid() task; { std::unique_lockstd::mutex lock(queueMutex_); condition_.wait(lock, [this] { return stop_ || !tasks_.empty(); }); if (stop_ tasks_.empty()) { return; } task std::move(tasks_.front()); tasks_.pop(); } task(); } }); } } ~ThreadPool() { { std::unique_lockstd::mutex lock(queueMutex_); stop_ true; } condition_.notify_all(); for (auto worker : workers_) { worker.join(); } } template typename Func void enqueue(Func func) { { std::unique_lockstd::mutex lock(queueMutex_); if (stop_) { return; } tasks_.emplace(std::forwardFunc(func)); } condition_.notify_one(); } private: std::vectorstd::thread workers_; std::queuestd::functionvoid() tasks_; std::mutex queueMutex_; std::condition_variable condition_; std::atomicbool stop_; };7.2 ReactorServer 頭文件// 文件路徑ReactorServer.h #pragma once #include atomic #include functional #include mutex #include thread #include unordered_map #include ThreadPool.h class ReactorServer { public: using OnClientMessage std::functionvoid(const std::string ); ReactorServer(int port, size_t threadCount 4); ~ReactorServer(); void start(); void stop(); void setMessageHandler(OnClientMessage handler); private: void eventLoop(); void handleAccept(int listenFd, int epollFd); void handleRead(int clientFd, int epollFd); int listenFd_ -1; int epollFd_ -1; int port_ 0; std::atomicbool running_{false}; std::thread reactorThread_; ThreadPool pool_; OnClientMessage handler_; };7.3 ReactorServer 實(shí)現(xiàn)文件// 文件路徑ReactorServer.cpp #include ReactorServer.h #include arpa/inet.h #include errno.h #include fcntl.h #include netinet/in.h #include string.h #include sys/epoll.h #include sys/socket.h #include unistd.h #include iostream ReactorServer::ReactorServer(int port, size_t threadCount) : port_(port), pool_(threadCount) {} ReactorServer::~ReactorServer() { stop(); } void ReactorServer::setMessageHandler(OnClientMessage handler) { handler_ std::move(handler); } void ReactorServer::start() { if (running_) { return; } // 1. 創(chuàng)建監(jiān)聽 socket listenFd_ ::socket(AF_INET, SOCK_STREAM | SOCK_NONBLOCK, 0); if (listenFd_ 0) { std::cerr socket create failed: strerror(errno) std::endl; return; } int opt 1; setsockopt(listenFd_, SOL_SOCKET, SO_REUSEADDR, opt, sizeof(opt)); sockaddr_in addr; memset(addr, 0, sizeof(addr)); addr.sin_family AF_INET; addr.sin_addr.s_addr htonl(INADDR_ANY); addr.sin_port htons(port_); if (::bind(listenFd_, reinterpret_castsockaddr *(addr), sizeof(addr)) 0) { std::cerr bind failed: strerror(errno) std::endl; ::close(listenFd_); listenFd_ -1; return; } if (::listen(listenFd_, 128) 0) { std::cerr listen failed: strerror(errno) std::endl; ::close(listenFd_); listenFd_ -1; return; } // 2. 創(chuàng)建 epoll 實(shí)例 epollFd_ ::epoll_create1(0); if (epollFd_ 0) { std::cerr epoll_create1 failed: strerror(errno) std::endl; ::close(listenFd_); listenFd_ -1; return; } epoll_event ev; memset(ev, 0, sizeof(ev)); ev.events EPOLLIN; ev.data.fd listenFd_; if (::epoll_ctl(epollFd_, EPOLL_CTL_ADD, listenFd_, ev) 0) { std::cerr epoll_ctl add listen fd failed std::endl; ::close(epollFd_); ::close(listenFd_); listenFd_ -1; return; } running_ true; reactorThread_ std::thread([this] { eventLoop(); }); std::cout Reactor server started on port port_ std::endl; } void ReactorServer::stop() { if (!running_) { return; } running_ false; // 通過關(guān)閉監(jiān)聽 fd 和 epoll fd 觸發(fā) eventLoop 返回 if (listenFd_ 0) { ::close(listenFd_); listenFd_ -1; } if (epollFd_ 0) { ::close(epollFd_); epollFd_ -1; } if (reactorThread_.joinable()) { reactorThread_.join(); } } void ReactorServer::eventLoop() { constexpr int MAX_EVENTS 64; epoll_event events[MAX_EVENTS]; while (running_) { // 超時設(shè)為 100ms可以定期檢查 running_ 狀態(tài) int n ::epoll_wait(epollFd_, events, MAX_EVENTS, 100); if (n 0) { if (errno EINTR) { continue; } std::cerr epoll_wait error: strerror(errno) std::endl; break; } for (int i 0; i n; i) { int fd events[i].data.fd; uint32_t eventMask events[i].events; if (fd listenFd_) { handleAccept(fd, epollFd_); } else { if (eventMask (EPOLLERR | EPOLLHUP)) { ::close(fd); continue; } if (eventMask EPOLLIN) { handleRead(fd, epollFd_); } } } } std::cout Reactor event loop exited std::endl; } void ReactorServer::handleAccept(int listenFd, int epollFd) { while (true) { sockaddr_in clientAddr; socklen_t clientLen sizeof(clientAddr); int clientFd ::accept4(listenFd, reinterpret_castsockaddr *(clientAddr), clientLen, SOCK_NONBLOCK); if (clientFd 0) { if (errno EAGAIN || errno EWOULDBLOCK) { break; } if (errno EINTR) { continue; } std::cerr accept error: strerror(errno) std::endl; break; } char ip[INET_ADDRSTRLEN] {0}; inet_ntop(AF_INET, clientAddr.sin_addr, ip, sizeof(ip)); std::cout New connection from ip : ntohs(clientAddr.sin_port) std::endl; epoll_event ev; memset(ev, 0, sizeof(ev)); ev.events EPOLLIN | EPOLLET; // 邊緣觸發(fā) ev.data.fd clientFd; if (::epoll_ctl(epollFd, EPOLL_CTL_ADD, clientFd, ev) 0) { std::cerr epoll_ctl add client fd failed std::endl; ::close(clientFd); } } } void ReactorServer::handleRead(int clientFd, int epollFd) { char buffer[4096]; std::string request; // ET 模式需要循環(huán)讀取直到 EAGAIN while (true) { ssize_t n ::read(clientFd, buffer, sizeof(buffer)); if (n 0) { request.append(buffer, n); } else if (n 0) { // 對方關(guān)閉 ::epoll_ctl(epollFd, EPOLL_CTL_DEL, clientFd, nullptr); ::close(clientFd); std::cout Client closed: clientFd std::endl; return; } else { if (errno EAGAIN || errno EWOULDBLOCK) { break; } if (errno EINTR) { continue; } ::epoll_ctl(epollFd, EPOLL_CTL_DEL, clientFd, nullptr); ::close(clientFd); return; } } if (request.empty()) { return; } std::cout Received request.size() bytes from fd clientFd std::endl; // 把響應(yīng)計算丟給線程池避免阻塞事件循環(huán) int targetFd clientFd; std::string payload request; pool_.enqueue([this, targetFd, payload]() { // 獲取線程 ID方便演示 auto tid std::this_thread::get_id(); std::string response echo[ payload ] handled by thread std::to_string(reinterpret_castunsigned long long(tid) % 1000); // 響應(yīng)寫回。此處簡單用 ::send生產(chǎn)環(huán)境需考慮寫緩沖和非阻塞寫法 ::send(targetFd, response.data(), response.size(), 0); }); }7.4 main.cpp// 文件路徑main.cpp #include ReactorServer.h #include QCoreApplication #include QTimer #include csignal #include iostream static std::atomicbool g_stopFlag{false}; int main(int argc, char *argv[]) { QCoreApplication app(argc, argv); int port 8080; if (argc 1) { port std::atoi(argv[1]); } ReactorServer server(port, 4); server.setMessageHandler([](const std::string msg) { std::cout [handler] msg std::endl; }); server.start(); // 用 QTimer 周期性檢查運(yùn)行狀態(tài)方便安全退出 QTimer timer; QObject::connect(timer, QTimer::timeout, []() { if (g_stopFlag) { server.stop(); app.quit(); } }); timer.start(500); std::cout Qt Reactor demo running. Press CtrlC to stop. std::endl; return app.exec(); }代碼中有幾個要點(diǎn)需要解釋。第一為什么使用 accept4可以直接在接受連接時設(shè)置為非阻塞避免額外調(diào)用 fcntl減少一次系統(tǒng)調(diào)用。第二ET 模式下循環(huán)讀取的意義。邊緣觸發(fā)只通知一次如果不在一次通知里把所有數(shù)據(jù)讀完剩余數(shù)據(jù)不會再觸發(fā)可讀事件。因此代碼在 handleRead 里用了 while 循環(huán)一直讀到 EAGAIN 為止。這里即使業(yè)務(wù)上是短請求也建議養(yǎng)成循環(huán)讀取的習(xí)慣。第三線程池里直接調(diào)用 ::send 寫回響應(yīng)。嚴(yán)格說這不是最佳做法因?yàn)?send 在緩沖區(qū)滿時可能阻塞線程池線程。但作為最小演示它會讓你更直觀地看到“I/O 事件循環(huán)不阻塞、任務(wù)在池中執(zhí)行”的效果。生產(chǎn)環(huán)境中更穩(wěn)妥的做法是把響應(yīng)發(fā)送也放入一套非阻塞發(fā)送隊列。第四stop 的優(yōu)雅退出策略。這里通過關(guān)閉 epollFd 讓 epoll_wait 返回錯誤從而退出循環(huán)。更優(yōu)雅的方案是創(chuàng)建一個 eventfd 或管道在 stop 時寫入數(shù)據(jù)喚醒事件循環(huán)。如果你的工程需要長時間運(yùn)行建議把事件循環(huán)的喚醒改成 eventfd 方式。7.5 編譯與運(yùn)行在 Linux 終端中執(zhí)行以下命令mkdir build cd build cmake .. make -j$(nproc) ./QtReactorDemo如果編譯過程中遇到找不到 Qt5 組件的問題請檢查 CMAKE_PREFIX_PATH 是否指向 Qt 安裝目錄。例如cmake .. -DCMAKE_PREFIX_PATH/opt/Qt/5.15.2/gcc_64運(yùn)行后你可以打開另一個終端用 nc 命令測試echo hello reactor | nc 127.0.0.1 8080預(yù)期輸出中會包含以下關(guān)鍵信息Reactor server started on port 8080 New connection from 127.0.0.1:xxxxx Received 13 bytes from fd8 echo[hello reactor ] handled by thread 123注意nc 發(fā)送的字符串可能包含換行符所以 echo 后的內(nèi)容會多出一個換行這是正常的。關(guān)鍵在于接收、線程池處理、響應(yīng)寫回三個環(huán)節(jié)都能正常工作。如果運(yùn)行時報錯第一步可以這樣排查查看端口是否被占用使用netstat -tlnp | grep 8080或ss -tlnp。如果被占用換一個端口。確認(rèn)防火墻沒有屏蔽本機(jī)回環(huán)默認(rèn) 127.0.0.1 不會受防火墻影響但如果你用遠(yuǎn)程 IP 測試請確認(rèn)安全組規(guī)則。觀察控制臺是否打印了Reactor server started。如果沒有檢查 bind 和 listen 的錯誤信息。8. 常見問題與排查思路在實(shí)際集成過程中下面幾個問題出現(xiàn)的頻率非常高這里整理成排查表。問題現(xiàn)象可能原因排查方式解決方案epoll_wait 被信號打斷返回 -1EINTR查看 errno是否等于 EINTR在循環(huán)中捕獲 EINTR 并 continue客戶端連接建立后服務(wù)端收不到數(shù)據(jù)連接 fd 被阻塞或 ET 模式?jīng)]有循環(huán)讀檢查 accept4 是否設(shè)置了 SOCK_NONBLOCK檢查 handleRead 是否為循環(huán)讀取統(tǒng)一使用非阻塞 fd讀到 EAGAIN 才退出QCoreApplication 一退出Reactro 線程崩潰析構(gòu)順序問題Reactro 線程還在使用已銷毀的 epoll fd 或 Qt 對象gdb 查看崩潰堆棧在 app.quit 前先 stop server提供 stop 接口先停 Reactor 線程再退出 Qt 事件循環(huán)線程池任務(wù)執(zhí)行耗時過長全部線程卡住線程池線程數(shù)太少或任務(wù)自身發(fā)生死鎖打印線程池任務(wù)隊列長度和線程狀態(tài)為線程池增加任務(wù)隊列長度告警重新評估線程數(shù)和任務(wù)拆分方式響應(yīng)順序和請求順序不一致多線程并發(fā)執(zhí)行任務(wù)日志記錄請求序號和響應(yīng)序號如果業(yè)務(wù)強(qiáng)依賴順序?qū)ν贿B接做串行化處理send 返回 EAGAIN 導(dǎo)致數(shù)據(jù)丟失寫緩沖區(qū)滿非阻塞 socket 需要排隊發(fā)送不做處理會丟包引入寫緩沖隊列在 EPOLLOUT 事件中繼續(xù)發(fā)送程序中同時處理 Qt 信號和 epoll 事件時偶發(fā)崩潰跨線程訪問同一個 socket fd 或 Qt 對象檢查日志中是否在非 Qt 線程操作 UI定義清晰的線程模型禁止跨線程直接訪問未經(jīng)同步的對象這些問題的共同根源往往是“線程模型沒有理清”。寫這種網(wǎng)絡(luò)服務(wù)代碼時不要把 epoll fd、連接 fd、線程池狀態(tài)看得太簡單。每發(fā)生一次崩潰先問自己這個變量被哪些線程訪問了是否有鎖保護(hù)生命周期是否清晰9. 在 Qt 工程中落地的工程建議這部分是對真實(shí)生產(chǎn)環(huán)境的經(jīng)驗(yàn)總結(jié)不是概念堆砌。9.1 線程模型先于代碼設(shè)計在動手寫代碼之前先畫出線程邊界圖。你的工程里至少要有這些角色主線程Qt 事件循環(huán)管理 UI 和業(yè)務(wù)入口I/O 線程運(yùn)行 epoll 事件循環(huán)建議只做事件分發(fā)和少量輕邏輯工作線程池執(zhí)行耗時任務(wù)如果業(yè)務(wù)量繼續(xù)擴(kuò)大可以把 I/O 線程擴(kuò)展成多個按連接哈希分配到不同 I/O 線程。但首要原則是一個 fd 同一時間只能在一個線程中處理通過 epoll 監(jiān)聽關(guān)系決定歸屬。遷移 fd 時要小心競態(tài)。9.2 信號槽跨線程必須謹(jǐn)慎Qt 的信號槽默認(rèn)在發(fā)送者線程執(zhí)行除非連接方式為 Qt::QueuedConnection。當(dāng)你在非 Qt 線程需要通知主線程時推薦使用 QMetaObject::invokeMethod 指定 QueuedConnection或者直接調(diào)用 signal 時設(shè)置連接類型。千萬不要假設(shè)“只在 Qt 對象里加鎖就安全”Qt 對象的事件循環(huán)與鎖機(jī)制是兩回事。9.3 網(wǎng)絡(luò)數(shù)據(jù)包處理需要分幀上面示例中直接按 read 到的字節(jié)作為請求。真實(shí)項(xiàng)目中TCP 是字節(jié)流沒有天然消息邊界。你需要自定義協(xié)議頭比如“4 字節(jié)長度 消息體”并在讀取時進(jìn)行粘包和半包處理。這是網(wǎng)絡(luò)編程最基本也最重要的基本功。9.4 使用 eventfd 喚醒事件循環(huán)如果你需要優(yōu)雅退出強(qiáng)烈建議注冊一個 eventfd 到 epoll 監(jiān)聽列表。stop 時向 eventfd 寫入數(shù)據(jù)事件循環(huán)會正常退出而不是依賴關(guān)閉 epollFd 這種“準(zhǔn)暴力”方式。這樣能保證正在處理的事件被正確回收。9.5 線程池的異常吞掉問題線程池執(zhí)行函數(shù)一旦拋出未捕獲異常std::thread 會默認(rèn)調(diào)用 std::terminate整個程序會崩潰。在線程池的任務(wù)四周包一層 try-catch 是必要防御?;蛘咧辽賹惓2东@后傳入日志系統(tǒng)。pool_.enqueue([this, targetFd, payload]() { try { // 業(yè)務(wù)邏輯 } catch (const std::exception e) { std::cerr task error: e.what() std::endl; } catch (...) { std::cerr task unknown error std::endl; } });9.6 性能監(jiān)控與壓測不要以為實(shí)現(xiàn)了模型就萬事大吉。發(fā)布前必須用工具驗(yàn)證。最簡單的方式是使用abApacheBench或wrk做 HTTP 壓測對于原生 TCP 協(xié)議可以寫一個壓測客戶端模擬多個并發(fā)連接。重點(diǎn)觀察QPS 或每秒請求數(shù)。事件循環(huán)線程的 CPU 占用率。如果它接近 100%說明事件分發(fā)層有瓶頸。線程池任務(wù)隊列積壓量。如果持續(xù)增長說明線程池容量不足。響應(yīng)延遲的 P99。不要只看平均延遲。9.7 如何用 Qt 組件輔助調(diào)試Qt 的 QLoggingCategory 非常適合做分類日志。你在 ReactorServer 中可以按模塊區(qū)分日志方便線上排查Q_LOGGING_CATEGORY(lcReactor, app.reactor) Q_LOGGING_CATEGORY(lcPool, app.pool)這樣在 main.cpp 中通過設(shè)置環(huán)境變量即可打開指定模塊日志QT_LOGGING_RULESapp.reactor.debugtrue;app.pool.debugtrue ./QtReactorDemo這個技巧在大型 Qt 工程中非常實(shí)用它讓你不需要改代碼就能靈活控制日志粒度。10. 何時你并不需要這套架構(gòu)最后說點(diǎn)實(shí)際的。Reactor epoll 線程池不是萬能的也不是所有項(xiàng)目都需要它。如果你的 Qt 程序只是一個客戶端工具偶爾連接幾個服務(wù)器那么直接用 QTcpSocket 和 QThreadPool 就足夠了。QSocketNotifier 已經(jīng)幫你處理了底層事件再用原生 epoll 屬于重復(fù)造輪子。如果你的項(xiàng)目是服務(wù)端但并發(fā)連接數(shù)長期只有幾百epoll 帶來的提升也不如代碼可維護(hù)性重要。使用 Qt 的 QTcpServer 線程池開發(fā)效率更高跨平臺性更好。需要引入這套架構(gòu)的典型場景是長連接數(shù)量大比如物聯(lián)網(wǎng)設(shè)備接入網(wǎng)關(guān)。每個連接空閑時間遠(yuǎn)大于活躍時間心跳?;蠲芗P枰趩螜C(jī)上支撐上萬個 socket 連接。業(yè)務(wù)方明確要求自研網(wǎng)絡(luò)層以便精確控制收發(fā)緩沖區(qū)和背壓。從個人技術(shù)成長角度理解這套模型的價值不取決于你是否立刻用它。它幫助你看懂很多開源項(xiàng)目比如 Muduo、Boost.Asio、Netty 的設(shè)計思路。當(dāng)你看代碼時不再只看到一堆類而是能看到“事件循環(huán)在哪里、哪個線程在跑、任務(wù)如何被轉(zhuǎn)移”你的 C 后端水平就會真正上一個臺階。下一步建議你親自做一個練習(xí)把這個最小示例改成不使用 Qt 組件的純 C 版本并加入 HTTP 解析能力。之后再嘗試把監(jiān)聽 accept、讀事件、寫事件分別拆成三個 handler模擬 Muduo 的 架構(gòu)風(fēng)格。這個過程比看十篇文章都有用。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产毛片精品一区二区色欲黄A片| 99九九热视频免费| 69激情小说| 色婷婷成人做爰A片免费看网站 | 丁香五月无码| 五月丁香六月婷婷激情四射| 色播五月综合网| 激情五月天99色| 婷婷五月AV| 开心五月网| 五月丁香婷婷基地| 欧美人与性动交CCOO| 色色色777| 丁香六月色香蕉视频| 色色色色色色网站| 99色视频在线观看| 91久久国产综合久久| 亚州色色色| 日韩无码性爱| 五月婷婷婷| 色婷婷导航| 日本99热| 丁香五月婷婷成人综合| 91碰操| 天天日,天天射,天天舔| 天天做天天爱天天爽在| 色99网| 综合激情五月天| 色色精品色| www色色色com| 亚洲色无码| 婷婷五月激情综合啪啪| 精品成人久久久久久久_一二三四视| 玖玖爱资源站| 99ER热精品视频| 九九热这里只有精品31| 狼人狠狠操| 激情五月天电影| 亚洲人人操| 97色五月天| 99网址在线观看| 五月丁香中文字幕| 久久五月天色婷婷| 五月色丁香婷婷综合| 成人va视频| 97操在线视频| 日韩在线视频9色| 五月丁香性| 久草A片| 天天天天干| 97色色色色色色色色色色色色色| 五月丁香婷婷啪啪综合| 99热18| 99热这里只有精品在线播放| 婷婷亚洲日本| 加勒比日本一区二区三区| 婷婷丁香六月| 婷婷五月天播播| 五月丁香| 亚洲精品中文字幕成人片| 五月丁香六月香香蕉| 精品一区二区三区四区五区六区介绍 | 996热| 丁香五月天婷婷久久综合| 九九婷婷五月天| 无码髙清| 亚洲色婷婷五月| 9|无码久久久久久| 热久91| 欧美婷婷五月丁香| 亚洲综合色网| 99热精品6| 99日本黄站| 丰满少妇猛烈A片免费看观看 | 99热中文字幕久久| 丁香婷婷综合五月天| 日韩久久欧亚| 丁香性爱在线视频| 久久久性爱视频| 婷婷六月伊人| 婷婷五月情色| 久久婷婷青草五月天| 人人肏逼视频在线一区二区| 中文字幕日产A片在线看| 五月久久婷婷成人网| www.99热国产| 热中文字幕| www色综合亚洲92| 丁香六月婷| 中文字幕在线免费| 色综合久久综合| 国产精自产拍久久久久久蜜| 99热这里只有精品在线| 久热中文字幕| 色婷婷激情四射视频| 日日爽日日操| 婷婷香香五月| 综合网色| 丁香五月影视| 怡春院久操| 91人妻人人操| 五月婷婷色在线| 99精品免费视频| 九九热精品| 噜噜噜噜在线| 五月婷在线色视频| er99免费视频在线| 丁香久久五月天视频在线观看| 五月综合久久| 综合大香蕉| 激情丁香五月AV| 99国产精品白浆在线观看免费 | 狠狠综合网| 女高怪谈在线观看| 99日韩网站| 亚洲色情一区二区三区四区| 伊人婷婷99热精品| 五月天大香蕉av| 另类小说五月天| 亚洲激情婷婷| www.99视频| 爆乳熟妇一区二区三区爆乳照片| 日韩色久| 久久9视频| 五月天激情综合| 五月婷婷丁香瑟瑟视频| 五月激情婷婷丁香天堂| 五月婷婷激情网| www.五月天社区| 婷婷丁香五月激情图片| 久久综合天天综合| 五月天,激情四射,婷婷频道| 婷婷干五月综合在线播放| 亚洲噜色| 色色五月婷婷丁香| 五月天婷婷在线播放| 天天操狠狠操| 婷婷五月天激情开心网| 久久久久网站| 国产精品久久..4399| 伊人久久大香蕉网| 五月花激情| 亚洲高清在线| 大地资源色婷婷视频在线 | 九九热九九| 天天插天天插| 久久婷婷色| 精品人人操| 久久久91| 欧美成人AAA片一区国产精品| 性爱久久| 国产精品久久久久久久久久| 狠狠色婷婷综合开心影视| 国产操B| www.com久久久久久久久久久久久久久久久| 五月天电影网| 婷婷久久婷婷| 五月婷婷黄色| 日日婷婷不卡| 色婷狠狠| 婷婷丁香熟妇综合网| 老司机伊人| 九九色热| 黄色aa观看aaguochan| 亚洲AV永久无码影院黑人| 6 9式性爱视频在线播放| 丁香六月欧美| 综合色99| 亚洲人妻一区二区| 我去色色网五雨天| 极品人妻VIDEOSSS人妻| www.91AV.com| 五月天丁香成人社| 国产精品在线视频| 色狠狠色噜噜AV天堂五区消防| 色噜噜狠狠一区二区三区| 丁香五月天狠狠| 97久久久久| 91精品久久久久| 国产做A爰片毛片A片美国| 九九成人电影婷婷| 大香蕉婷婷色| 深爱1激情网| 七七色色综合| 久久精品无码一区| 99九无网码| 亚洲小视频免费播放| 五月婷婷丁香大陆免费| 欧美一级操逼视频| 五月天婷婷久久| 超碰亚洲欧美| 婷婷综合网站| 五月综合色播播丁香婷婷| 五月天开心激情综合网| 色99视频| 激情五月色婷婷| 亚洲中文无码成人| 九九热婷婷| 五月丁香六月天| 日韩AV免费看| 成人Av在线大片| 99色最新在线视频| 色九月婷婷丁香| 久色网| 久久精品日| 大香蕉啪啪啪| 开心婷婷五月| 久久婷婷丁香花综合网| 99天堂网| 久久五月天综合| 丁香五月激情网| 91九九精品| 色婷婷五月天亚洲| 国产精品色婷婷久久久精品| 337久久| 欧美久久婷婷| 26uuu精品一区二区| 五月丁香激情啪啪| 96精品久久久久久久久| 久久综合五月| 97午夜一区二区| 色丁香五月天射婷婷爱婷婷| 五月天停婷基地| 国产精品久久久久久喷浆| 久久久久8888| 婷婷五月天无码| 五月丁香久久| 天天爱天天做天天日| 夜夜操,天天撸| 91热爆在线| 色婷久| 开心五月综合| 久久人人做人人妻人人玩精品va| 99色视| 激情五月婷婷| 色 五月 天 婷婷 丁香 九月| 亚洲色小说在线综合| 五月香婷婷| 色约约视频一区二区三区四区五区| 99热99在线| 九九热99免费视频| 丁香五月最新网址| 99操逼| 成人午夜视频精品一区| 秋霞学生妹一二级| 亚州美女| 丁香激情五月综合网| 色色五月婷婷久久| 成人av观看| 91人人爽久久涩噜噜噜| 狠狠色婷婷综合开心影视| 色七色九九| 久色网| 婷婷趴趴| 97人人操| 激情久久久久| 综合婷婷| 久青青久| 成人无码髙潮喷水A片| 丁香五月在线自慰| 色碰碰| www,色综合| www.夜夜.com| 狠狠色婷| 日日色综合| 亚洲一二三网| 综合久久五月天| 伊人网色婷婷五月天| 婷婷的五月天另类视频| 亚洲第一成人无码A片| 亚洲五月天综合色| 欧美精品XXXXBBBB| 欧美猛片| 九九精品9| 色5月婷婷| 色五月,com| 久久婷婷欧美| 在线一起草av| 亚洲精品在线视频| 久久久激情视频| 99ri在线| 激情综合五月激情| 小香蕉av| 色五月婷婷激情| 丁香亭亭激情四射| 高清无码网址| 婷婷射图| 26uuu国产| 丁香五月天激情婷婷丁香六月| 狠狠五月天| 色婷婷久久综合久色| 色综合五月天| 日本AAAAAAAAAAAAAA片| 大伊香蕉玖玖爱| 色99日韩| 99高级会所久久| 亚洲综合网在线| 九九热视频免费的| 人妻五月天激情开心网| 丁香婷婷网| 色婷婷久久| 婷婷久久久| 深爱激情久久| 婷丁香五月天| 啪啪综合网| 婷婷五月天受日本法律保护| 天天综合天综合久久网| 操骚货在线| 色综合久久88色综合天天看| 99视频只有精品| 天天射天天射一道本日本社区 | 成人国产综合| 亚洲精品久久久久AV无码| 亚洲天堂AAA| 色色五月天 亚洲| 日日杆天天| 久九色| 婷婷五月花| 丁香婷婷五月综合影院| 激情綜合網址| 丁香激情五月天| 插插五月天| 国产婷婷五月| 久久五月视频| 婷婷深爱五月| 草美女在线观看视频在线播放| 日本激情综合| 五月丁香婷草| 亚洲中字AV电影在线网站| 91婷婷五月天嫩女| 五五月丁香花激情综合网| 爱爱网址9| 色色com| 日韩操人| 精品九九久久| 五月丁香婷婷欧美| 欧美成人色婷婷| 7777激情基地| 伊人青涩网| 亚洲热综合| 国产资源91在线| 99热播放| 丁香五月婷婷少妇| 五月天丁香| WWW.婷婷| 中文aV网| 欧美日朝成人| 色播激情五月天| 久热伊人| www:99热视频| 日韩在线看AV| 人人干人人看| 玖玖婷婷色五月| 六月丁香深深爱| 天堂久久婷婷| 色停停影院五月天| 熟女少妇内射日韩亚洲| 夜夜骑夜夜操| 97视频91| 日本五月婷婷| 五月婷婷婷婷婷婷艺术| 激情综合女人网五月播播| 综合久久综合五月天婷婷| 久久97| 欧美五月丁香| 丁香婷婷五月六月天| 香蕉国产2013| 五月丁香五月丁香五月丁香五月丁香91| 开心激情网在线| 99热手机在线精品| 99热精地址| 色婷婷狠狠干| 日韩一级片| 欧美日韩五月婷婷| 禁片二区| 淫视馆av三区| 日韩黄色影院| 久碰视频| 丁香婷婷六月| 中文字幕成人| 黄色五月婷婷| 久久九九国产精品怡红院| 欧美婷婷五月激情| 精品色情一区二区三区四区| 97九色| 九九99在线| 亚洲综合色成丁香五月色| 婷婷导航| 久久九九热视频| 亚洲婷婷欧美婷婷| 婷婷九月丁香| 日韩aaaaa| 狠狠干五月丁香综合网| 色婷婷a三区麻| 久热婷婷综合| 少妇高潮呻吟A片免费看软件| 久婷| 婷婷色九月| 久婷五月| 久久婷五月综合| 婷婷五月激情视频在线| 欧美激情凹凸丁香网| 天天噜天天爱| 色婷婷五月天天天做| 玖玖在线视频福利| 91久久婷婷| 九九99九九99九九99视频网| 亚洲在线资源| 超碰在线精品| 亚洲精品99| www.精品99| 日本三级中国三级99| 国产婷婷综合| 99久在线观看| 色五月激情网| 99热免费精品热久久66| 五月婷婷这里都是精品| 99九九视屏| 婷婷五月丁香在线观看| 99这里只有精品在线| 五月婷婷开心激情六月蜜桃| 亭亭五月天黑人2014| 丁香五月天啪啪激情综合网| 99av视频| 日韩在线一级| 六月丁香色色| 激情婷婷| 激情内射人妻1区2区3区| 五月天电影网| 一月婷婷色色| 99热最新| 日本不卡一区二区三区| 操逼视频网址| 色情五月天丁香社区| 婷婷久久综| 丁香六月婷婷综合| 无码一区二区日韩| 五月婷婷深爱六月| 夜夜爱网站| 五月婷婷偷拍| 五月丁香婷婷综合网| 丁香六月天| 99热这里有精品| 日本色99网站| 丁香五月在线自慰| 九九爱这里只有精品| 日批在线看| 婷婷五月天堂一本在线| 99这里只有精品| 欧美在线干| 五月激情天| 丁香色婷婷色手机免费在线| av免费在线网站| 大香蕉中文| 婷五月天天| 六月五月久久丁香| 色噜噜狠噜噜视频| 五月开心网| 超碰在线日夜| 成人电影AV在线观看| 久久中文人妻系列| 丁香五月激情五月开心五月| 91超级碰碰碰| 五月丁香久久久| 婷婷五月天久久久| 91人人人人人| 国产精品色婷婷99久久精品| 婷久看人爽| 婷婷五月另类网站| 五月综合久久| 激情丁香久久| 操操操av| www,超碰| 久久综合久色欧美综合狠狠| 久久久性爱网| 激情婷婷六月| 九九色影视| 一本色综合色| 99九色视频在线观看| 人人色AV| 噜噜操操| 香蕉久日夜| 久久9视频欧美| 五月婷婷免费| 超碰99在线| 五月婷婷香蕉| 激情深爱婷婷网| 九九久久五月天综合伊人| 五月天激情网站| 久久婷婷五月天| 玖玖99精品视频| 丁香五月 无码| 日本久久久97| a色色色色色| 亚洲欧美国产高清vA在线播放| 五月天婷婷久久| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 91要啪| 伦99热| 99在线精品视频| 婷婷五月情天| 亚洲妇女熟BBW| 操逼六区| 色99网站| 欧美色激情四射| 色欲人妻综合aaaaaaaa网| 天天插,天天射| 色婷婷在线视频| 九九人人自拍| 亚洲欧美一区二区三区爱爱动图| 人妻内射一区二区在线视频| 久热 91| 五月丁香婷婷潮喷中文字幕| 日本欧美成人片AAAA | 婷婷五月丁香伊人网| 日本欧美成人片AAAA| 农村熟妇高潮精品A片| 久久超级碰视频| 日日操天天爽| 婷婷视频网| 九九99九九99九九99视频网| 综合一本道| 欧美三级巜人妻互换| 色色色色色色色色五月先| 欧美色色网| 99精品视频免费观看近期发布| 五月丁香综合啪啪| 亚洲成人高清在线| 五月丁香激情综合啪啪| 色色色com| 91 久热| 思思久久思思| 97干干干丁香| 六月丁香深深爱| 五月综合久久| 色五月开心婷婷| 色五月琪琪| 九九人人自拍| 色呦呦美女| 色婷婷五月天在线观看| 五月婷婷久久爱| 天天操天天操天天操| 99热| 色五月婷婷在线视频| 天天日天天插| www.av视频xx999.com| 日本三级黄色大片| 人妻熟妇国产精品| 99视频在线播放大全| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 丁香五月婷婷啪| 99在线精品免费视频| 97碰碰在线看视频免费| 中文无码婷婷| 激情av| 日日干天天爽| 91精品电影18T| 丁香成人五月天| 天天爽在线视频| 99精色| 婷五月天天| 婷婷丁香六月天| 六月亚洲婷婷6月中文字幕| 五月天另类激情在线| 亚洲小视频免费播放| 日日撸夜夜操| 另类图片五月天婷婷| 国产日韩欧美| 色狠狠色噜噜噜a天堂一区| AV在线免费观看不卡| 婷婷五月天在线综合| 伊人激情网| 综合成人小说婷婷| 情色五月天网站| 五月婷色| 激情婷婷色小说| 无码人妻AV久久久一区二区三区| 天天操夜夜肏| 99热在线播放精品| 夜色综合网| 五月婷婷黄色| 婷婷久久综合| 深爱五月最新网址| 婷婷丁香黄色| 五月婷精品| 婷婷丁香六月综合激情站| 国产69久久久欧美黑人A片| 五月丁香六月停停| 日韩美女羞羞网站在线观看| 欧美色色色| 五月夜丁香| 五月天激情日色在线| 久久婷婷五月综合激情国产| 五月六月婷婷激情网| 国产真实乱对白精彩| www.激情五月天| 高清国产AV| 国产无套精品一区二区| 五月天婷婷导航| 色丁香五月婷婷综合久久| 五月婷啪啪| 亚洲激情 久久| 久久日婷婷| 色五月婷婷av| 99色看| 激情五月天的婷婷| 国产成人精品亚洲线观看| 激情五月综合网最新| 91人人操人人爱| 深爱五月天| 成人精品亚洲性爱| 涩综合在线| 31色区视频免费看| 色色色色色色网站| 色女伊人| 丁香五月自拍| 婷婷丁香五月天大香蕉| 99精品免费| 亚洲欧州色情在线观看| 五月丁香色色网| 婷婷六月激情综合| 996热| 久久婷婷五月草视频| 色域五月婷婷丁香| 99超碰欧美| 久操大香蕉| 亚洲色综合性| 丁香五月网络网络| 狠狠干在线| 五月天成人在线视频网站| 久久成人人妻| www.国产亚洲69ty.久久久久久久久久久久| 香蕉99网| 色婷网| 激情小说婷婷| 思思热久久久久思思热| 色欲婷婷五月天丁香| 人人操人人爱丁香五月| 亚洲五月婷婷| 激情五月天99色| 国产欧美熟妇另类久久久| 97丁香五月| 欧美激情五月| 九九热10| 日本精品99网站| 天堂网亚洲色图| 久久综合婷婷| 色综合久| 婷婷六月色| 精品成人无码A片观看香草视频| 97色婷婷成人综合在线观看| 亚洲精品成人片在线播| 色婷婷成人色网| 五月天偷拍| 丁香色成人| 啪啪亚洲综合| 青青草六月丁香| 五月天婷婷一起草| 久久久久9| 色婷综合| 色婷婷五月综合激情中文字幕| 97人人干| 99热国产精品| 国产激情av| 亚洲色A| 色亚洲婷婷| 激情综合自拍五月婷婷色五月| 亚洲AV第二区国产精品| 婷五月天| 日本丰满久久| 久操香蕉| 99久久九九视频| 色婷婷影视| 婷婷五月天精品| 99九九精品视频| 中文av网| 婷婷六月天激情| 久久这里只| 丁香五月六月激情| 99亚洲综合| 热的国产99热| 天天骑日日爽| 亚洲区,视频区,视频区免费| 中文字幕在线资源| 综合色99| 东京热免费视频| 香蕉综合在线| 婷婷综合网| 97啪啪| 91操熟女| 99久久精| 九九av| 日韩成人精品中文字幕| 91久久婷婷| 操操碰| 五月天激情丁香| 久久六月天| 久久这里有精品| 色婷婷九月| 九九99精品| 丁香六月激情综合| 国产日产亚洲系列最新| 婷婷五月激情黄色| 丁香五月伊人| 91久久日日| 大香焦啪啪啪| av大片在线| 伊人丁香五月天丁香在线婷| 影音先锋AV资源男人站| 亚洲色五月婷婷| 色综合视频| 96精品久久久久久久久| 日韩成人电影AV| VA五月激情在线| 天天婷婷操| 丁香五月第四色88| 色亚洲激情| 9l视频自拍9l视频自拍九色学生| 婷婷五月天堂| 久久亚洲婷婷| 中文字幕网伦射乱中文| 新激情五月天| 丁香五月大香蕉AV| 大香蕉五月天婷婷| 婷婷爱综合| 日日操日日射| 亚洲综合五月天婷婷| 99爽视频| 国外亚洲成AV人片在线观看| 六六久久黄色| 九月影院義母在线播放| 午夜九九电影| h在线看免费版在线看| 五月丁香影院| 亚洲影院婷婷色| 五月婷婷99热| 五月天婷婷永久免费视频| 五月婷婷丁香俺日污视频| 99色色网| 色婷婷电影网| 日本色超碰| 色五月天堂| 人妻第九页| 2022久久婷婷| 婷婷丁五月| 激情小说之五月| 色丁香五月| 久草五月天| 婷婷丁香熟女| 日本99视频精品免费播放| 免费AAAAA网| 俺去啦综合网| 婷婷五月色激情欧美激情| 开心五月天激情网| 色婷婷色和| 五月天丁香综合| 亚州日本欧州韩美高青高潮一| 色综合久久88色综合天天| √天堂资源在线人妻熟女| 亚洲五月婷婷| 2021日韩无码| 婷婷色色狠狠| 亚洲激情另类| 荡乳尤物3HP1V5| 亚洲综合在线网站| 狠色狠色狠色狠色狠色网| 日本欧美国产| 6 9式性爱视频在线播放| 日韩五月婷婷| 亚洲AV综合在线观看| 色色综合网。| 777.色色| 五月婷婷无码| 婷婷五月天综合AV| 四月婷婷丁香| 免费看欧美成人A片无码| 色综合大香蕉| 婷婷丁香五月天激情| 久久大香蕉丁香| 精品婷婷五| 五月婷中文字幕| 狠狠 久久| 日本九九热| 激情开心五月天| 91热在线| 丁香五月天视频| 五月色亭丁香| 五月丁香久久久| 六月天婷婷| 狠狠丁香| 亚州操操| 色婷婷精品视频| 亚洲va欧美va国产综合久久久| 狠狠狠狠狠| 777影视理论片大全在线观看| 婷婷涩五月| 久久婷婷五月天| 久久天堂色| 播五月丁香六月| chaopengdaxiangjiao| a69在线视频| 思思精品视频| 99热18| 1024人妻| 99热99色| 99在线观看| 久久婷婷啪啪视频| 五月天色综合| 色婷婷A| 五月丁香激| 99日精品视频| 五月天激情啪啪| 色五月婷婷激情基地| 亚洲精品大片| 91jiuseshunv| 久久婷婷六月综合综合色| 五月天另类小说久久小说网| 激情五月婷婷综合色播小说| 万月丁香狠狠爱| 开心五月婷| 九九热9| 婷婷色成人| 超碰无码老师| www.狠狠艹| www,色综合| 久久五月天网| a九九热www| 99热99干| 综合网色| 五月丁香综合啪啪| 五月亚洲激情| 欧美色片中文字幕久久久久| 婷婷成人小说综合| 久久九九99.www| 性爱视频99| 第四色网婷婷| 精品久久久999| 99性视频| 激情综合五月婷婷| 操日本人妻视频| 五月婷婷黄网站大全| 这里只有精品免费观看网占| 天堂在线伊久| 欧美色婷婷| 超碰色综合| 婷婷五月天亚洲| 亚洲色色图片| 六月五月天婷婷涩播在线| 五月丁香六月婷婷综合| 丁香五月天天| 亚洲色啪| 天天做天天爱天天爽在| www.91五月| se影音资源在线观看| 色偷偷色婷婷| 色婷婷久久| 色 五月俺去也| Av在线资源| 五月丁香自拍| 久久久久久久五月婷婷六月丁香综合,开心激情综合网 | 狠狠操在线视频| 99热资源在线| 婷婷久草| 久操欧美在线观看97| 99re思思热久久| 五月天丁香综合| 丁香激情五月天| 深爱激情网五月天| 国产av基地| 欧美性做爰大片免费看办公室 | 婷婷五月天激情文学| 久久久久综合激动五月天| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 99热这里| 六月丁香激情网| 欧美在线干| 逼特逼在线免费播放| 五月天精品| 婷丁五月| www网站在线观看| 综合久久婷婷| 99热99这里有免费的精品| 久久图色4| 人人操AV| 成人丁香五月天| 99欧美| 日本三级第一页| 啪啪激情网| 婷婷激情五月综合丁| 操逼视频一区| 黑人巨粗进入警花疼哭A片| 日本美女五月天| 日本精品。999| 中文字幕网站在线观看| 777精品久无码人妻蜜桃| 色播五月网| 日日日日做夜夜夜夜无码| 成人片在线免费看| 中文字幕在线观看视频www| 激情深爱五月| 综合激情五月丁香9999久久精| 99玖玖精品| AV电影在线播放| 天天爽天天日| 韩国婷婷丁香五月| 91成人品| 婷婷五月开心六月AV| 天天做天天爱天天爽| 99这里只有精品|v| 日韩砖区| 丁香婷婷五月色成人网站| 九九婷| 人人爱国产| 伊人五月天在线| 婷婷开心青青草| 成人av在线电影| 国产女人十八水真多1| 久久怡红院| 91avse| 久久五月天激情| xx色综合| 五月婷婷综合激情网| 九九综合五月欧美| 无码激情AAAAA片-区区| 色999亚洲人成色| 人人操五月天| 五月婷婷久久网| www.五月天婷婷.com| 9福利性视频欧美| 五月婷性爱| 婷婷成人基地| 色播五月婷婷| 婷婷狠狠18禁久久| 26uuu欧美日本| 26uuu欧美亚洲日韩| 五月丁香亚洲校园欧美| 99人人操人人操人人精| 久草五月丁香婷婷综合| 国产国产乱老熟女视频网站97| 九九色热| 婷婷五月综合社区| 五月婷婷在线免费| 丁香婷婷色五月天| 五月永久激情| 99这里有精品免费| 99久久网站| 久大香蕉| WWW·色色色·COM| 色综合色综合色综合| 玖玖婷婷色欲| 国产日产亚系列精品版优势| 久久综合激情| 天天色视频| 丁香五月91| 五月天丁香婷婷社区| www,天天干| 久久视频这里99| 亚洲精品五月| 婷婷丁香五月天小说| 热无码A∨| 天天人人综合| 欧洲激情网站| 精品99这里有| 桃色五月婷婷| 嫩草AV久久伊人妇女超级A| 色一情一乱一乱一区91| 99在线免费视频| 91热视频色网站| 成人视频在线免费播放| 国产免费一区二区三州老师F1F1……| www.com在线操视频免费观看| 久久91久久精品久久| 在线中文AV| 大香蕉在线99热| 国产精品男人AV不卡| 伊人99久久| 刘玥精品一区| 色综合网页| 亚洲综合欧美色丁香婷婷888月图片| 五月婷婷先锋| 丁香五月天激情四射网络不好| 久久九九99.www| 91综合在线观看首页| 9久热在线精品| 久久日九九| 色综合色色色色| 久热大香蕉| 99热91| 99热最新| 中国丰满熟女A片免费观| 免费视频在线观看的网站| 久久中文网| 色亭亭九月| 狠狠色丁香婷婷| 丁香五月AV| 九九九九国产| 香蕉婷婷色五月| 激情婷婷综合| 99色在线观看| 久久六月天| 五月丁香激情综合啪啪| 久久99综合| 丁香五月av| 婷婷99综合| 五月天色欧美| 9久热在线视频精品| 亚洲啪视频| 五月激情综合激情五月| 热99热9| 婷婷五月六月丁香| 色碰碰视频| 久碰视频| 欧美,日韩成人在线| 亚洲秘 无码一区二区三区妃光/1| 色婷婷97| bbwcuckold精品熟妇| 综合久久五月| 五月综合色| 五月丁香五月婷婷| 狠狠色综合五月人人| 97在线/日本| 99久视频| 色婷婷狠狠色| 婷婷亚洲综合| 丁香五月天激情综合| 亚洲精品V天堂中文字幕| 97ai婷婷| 日本三级大片| 狠狠狠五月婷婷六月丁香| 日本天天色| 婷婷五月在线视频| 伊人网色婷婷五月天| www.sebowuyue| 亚洲精品操一操、噜一噜、摸一摸、爽| 亚洲综合婷婷六月丁香五月| 色婷婷综合亚洲| 99国产精品久久久久久久久久久 | 三男玩一女三A片| 激情av网| 《诡秘之主》在线观看| 热成人网| 色婷婷99| www.婷婷久久五月天| 狠狠丁香| 综合五月天婷婷色| 99视频久久| 久草x色在线观看99 | 久久精品4| ..真实国产乱子伦毛片| 极品色丁香| 操嫩逼电影| 台湾无码A片一区二区| 国外亚洲成AV人片在线观看| 日韩在线一级| WwW天天干| 人妻aV在线| 青青草伊人婷婷| 大香蕉啪啪| www.精品久9| 激情色中文| 丁香五月成人婷婷| 亚洲深喉aV| 婷婷永久在线| 欧美色爱五月天| 日本三级大片| 五夜丁香| 五月丁香激情在线| 久热99| 亚州色综合| 伊人婷婷激情| 精品成人久久久久久久_一二三四视| 色色色com| 丁香婷婷人妻| 99.N在线视频| 色婷婷很很十八禁| 99免费视频久久| 丁香五月婷婷综合精品素人| 国产精品电| 99热 这里只有精品 国产 日韩| 天天综合中文| 欧美内射AAAAAAXXXXX| 99久.| 在线综合网| 丁香婷婷AV| 夜夜人妻五月天| 丁香六月狠狠干| 欧美五月婷婷综合| 色婷婷五月基地在线| 综合色情网| 美腿丝袜AV天堂网| www五月天激情com| 伊人五月天| 丁香六月综合激情| 久久99大全| 影院久久久| 五月丁香六月停停| 五月天色五月| 免费AV播放| 天天综合五月| 五月婷婷黄| 夜夜操,天天撸| 99在线精品免费视频| 婷香五月网在线| 97AV在线视频| 五月婷激情影院| 99热这里只有精品青草| 超碰2021| 激情五月天免费视频| 性一交一乱一交A片久| www,8050,午夜三级| 久操福利| 91超级碰在线| 亚洲五月天另类小说图片| 精品自拍97| 六月婷婷国产| 欧美A级成人婬片免费看理论| 99激情视频热| 九热视频| 狠狠色噜噜狠狠色噜噜噜999| 五月丁香六月香香蕉| 欧美日韩成人一区二区| 亚洲精品婷婷| 东北黄色一级| 五月天色丁香| 国产成人亚洲综合亚洲| 精品五月天| 97se在线视频| 欧美日本va| www.九九婷婷| 激情欧美丁香五月| 色色色色色日韩午夜激情 | 婷婷婷婷婷开心无码播放| 97久久精品视频| 五月天婷婷丁香社区| 色综久久久| 99re视频精品| 色婷大香蕉| 亚洲狠狠干| 九九九九无码| 婷婷爱五月天| 五月天婷综合| 日本久久人| 色色色婷婷五月| 91精品久久久久久77777| 九月婷婷久久久| 狠狠操狠狠操| 99久久国产宗和精品1上映| 被强行糟蹋的女人A片| 天天摸夜夜爽天天做| 日日爽日日| 色青五月天| 超碰在线9| 五月婷婷基地| 色婷婷综合视频| 桃色伊人在线| 96自拍视频九色在线观看| 天天操天天日天天爽| 五月天婷婷无码| 天天综合网在线| 大香蕉久久久| 五月婷婷在线视频| 五月丁香拍拍激情综合| 色青青电影色五月| 丁香五月婷婷在线观看| 99九九在线视频| 色吧五月| 婷婷五月天无码视频| 色色五月婷婷狠狠| 色色色色色网站| 91精品综合久久婷婷九色| 91婷婷| www婷婷亚洲| 婷婷五月丁香成人网| 性色天| 五月丁香啪| 六月成人网| 婷婷六月丁香五月| 五月丁香无码| 性爱综合网| 丁香婷婷成人在线播放| 超碰国产av| 五月丁香六月色| 国产99视频永久免费| 国产精品A片在线| 五月婷婷六月丁香综合| 久久九九免费大视频| 日本91在线播放| 久久人人九| 色色亚洲无码| 变态另类色图 | 亚洲婷婷五月天| 99精品视频免费在线播放| 午夜伊人大香蕉| 欧美日韩成人在线观看| 激情综合青草| 婷婷综合国产| 97综合在线| 五月丁香色婷婷基地| av无码电影| 色情综合网| 天天干天干| 91久久婷婷| 91九色偷拍| 五月丁香六月香香蕉| 无码 av电影| 天天婷婷操| 蜜桃婷婷狠狠久久综合| 激情五月天在线视频| WWW.开心五月天.COM| 丁香密臀AV激情网| 国产美女无遮挡裸体毛片A片| 丁香五月天天高清在线| 久久亚洲婷婷| 超碰免费人人肏| 五月婷婷色色| 婷婷.com| 色就是色婷婷五月亚洲激情| 丁香五月婷婷综合激情啪啪啪| 色婷婷亚洲婷婷| 婷婷伊人久久综合| 大香蕉伊人久久| 日本A片一区| 丁香激情五月| 婷婷性福五月天| 五月丁香拍拍激情综合| 1024操逼视频| 婷婷视频在线| 大香蕉五月丁香| 有哪些A片网站| 激情无码五月天| 9热在线观看| 疯狂做受XXXX高潮A片| av色婷婷| 深爱1激情网| 五月综合视频在线| 91色在线 | 日韩| 婷婷色五月综合| 亚洲五月天色| 成人在线日韩欧美| 超碰在线网站9| 久99热| 99视频在线| 色婷綜合网| 天天操天天日天天爱| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 五月丁香va| 欧美婷婷日本| 9色免费网| 欧美激情综合五月色丁香| 婷婷六月色| 九九在线视频| 欧美激情-区二区三区| 丁香六月婷婷综合色| 九洲一级A片| 伊人久久大香线蕉AV最新午夜| 久久小说网| 激情五月天影院| 五月天激情小说网| 六月婷婷九月丁香亚洲综合| 777久久综合视频| 亚洲网视屏| 亚州综合色| 色色色丁香| 伊人五月婷| 国产亚洲成AV人片在线观黄桃| 亚洲视频99|