欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

從零拷貝到Kafka:sendfile、mmap與性能調(diào)優(yōu)實(shí)踐

從零拷貝到Kafka:sendfile、mmap與性能調(diào)優(yōu)實(shí)踐 1. 把“零拷貝”這三個字先拆開看零拷貝技術(shù)這個詞經(jīng)常被講得玄乎其實(shí)它壓根不是“沒有拷貝”而是把 CPU 參與的數(shù)據(jù)搬運(yùn)次數(shù)降到最低。只要數(shù)據(jù)還在磁盤和網(wǎng)卡之間流動DMA 那次拷貝就繞不開硬件總線上的電信號總得走一趟。所以更準(zhǔn)確的說法是“減少 CPU 拷貝與上下文切換”而“零拷貝”只是這組優(yōu)化手段的統(tǒng)稱涵蓋 mmap、sendfile、splice、DMA gather 等一整套內(nèi)核提供的接口。我做后端這些年發(fā)現(xiàn)一個現(xiàn)象很多人背得下“Kafka 快是因為零拷貝”但真讓他畫一次 Consumer 拉消息的完整數(shù)據(jù)流就卡殼了。而這類問題在排查線上性能瓶頸時非常致命——你以為是零拷貝沒生效實(shí)際上是 TLS 加密讓 sendfile 退化成了普通讀寫你以為是磁盤扛不住實(shí)際上是消費(fèi)者 fetch 太碎導(dǎo)致小包滿天飛。這篇內(nèi)容就圍繞零拷貝技術(shù)、常見幾種實(shí)現(xiàn)方案的取舍以及 Kafka 里到底哪條鏈路在用哪套方案展開順帶把“Kafka 為什么快”這件事講透別只停留在背結(jié)論的層面。適合誰看寫過 Java 或者做過服務(wù)端開發(fā)、用過消息隊列但沒深挖過底層、想在面試或者調(diào)優(yōu)時有話可說的同學(xué)也適合做數(shù)據(jù)管道、日志采集、文件服務(wù)的從業(yè)者因為零拷貝在那些場景里比在消息隊列里更常用。下面所有的數(shù)字和結(jié)論都基于 Linux 平臺的常規(guī)實(shí)現(xiàn)其他平臺會有差異我會在涉及的地方點(diǎn)出來。1.1 一次普通的文件發(fā)送數(shù)據(jù)到底走了幾趟先不看 Kafka就看最樸素的需求把服務(wù)端磁盤上一個大文件通過 Socket 發(fā)給客戶端。用 Java 寫出來大概是這樣FileInputStream fis new FileInputStream(data.log); byte[] buf new byte[8192]; Socket socket serverSocket.accept(); OutputStream os socket.getOutputStream(); int n; while ((n fis.read(buf)) ! -1) { os.write(buf, 0, n); }這段代碼邏輯沒毛病但底層發(fā)生的事比看上去多得多。read()和write()是兩個系統(tǒng)調(diào)用每一次都要從用戶態(tài)切進(jìn)內(nèi)核態(tài)處理完再切回用戶態(tài)。光這一套來回就是兩次上下文切換整個流程跑下來是四次切換用戶進(jìn)程調(diào)用read()陷入內(nèi)核態(tài)內(nèi)核通過 DMA 把磁盤數(shù)據(jù)搬進(jìn)內(nèi)核的頁緩存page cache這次是DMA 拷貝內(nèi)核把頁緩存里的數(shù)據(jù)復(fù)制到用戶態(tài)傳進(jìn)來的buf數(shù)組這次是CPU 拷貝read()返回切回用戶態(tài)用戶進(jìn)程調(diào)用write()再次陷入內(nèi)核態(tài)內(nèi)核把用戶buf里的數(shù)據(jù)復(fù)制到 Socket 發(fā)送緩沖區(qū)又是CPU 拷貝內(nèi)核通過 DMA 把 Socket 緩沖區(qū)的數(shù)據(jù)搬到網(wǎng)卡DMA 拷貝write()返回切回用戶態(tài)。算下來總共4 次拷貝2 次 DMA 2 次 CPU4 次上下文切換。這里最虧的是第 3 步和第 6 步 —— 數(shù)據(jù)在用戶態(tài)和內(nèi)核態(tài)之間被白搬了兩趟用戶進(jìn)程其實(shí)壓根沒對數(shù)據(jù)做任何加工它只是當(dāng)了回搬運(yùn)工。對 8KB 的小文件來說這點(diǎn)開銷無所謂但當(dāng)你在做視頻分發(fā)、日志投遞、備份同步這類動輒 GB 級的傳輸時這兩次純粹的內(nèi)存拷貝會把 CPU 的 L1/L2 緩存沖得一塌糊涂內(nèi)存帶寬也被吃掉一大塊。這里有個容易混淆的點(diǎn)DMA 拷貝也是拷貝只是不占 CPU。所謂“零拷貝”從來不承諾省掉 DMA它省的是 CPU 和上下文切換。1.2 四次上下文切換的隱性開銷上下文切換的成本常被低估。一次切換不只是保存寄存器、切換頁表那么簡單它還會污染 CPU 緩存 —— 用戶態(tài)剛預(yù)熱好的數(shù)據(jù)內(nèi)核態(tài)處理時可能就被換出去了等你切回來緩存命中率掉一大截。高頻的 read/write 循環(huán)會把這個代價放大成一個顯著的性能拐點(diǎn)。我做個粗算假設(shè)單次上下文切換在 1 微秒量級傳 10GB 數(shù)據(jù)每次 8KB那就是 130 萬次 read 130 萬次 write約 520 萬次切換折算下來光切換就接近 5 秒的 CPU 時間這還不算兩次 CPU 拷貝吃掉的帶寬。在壓測里這個差距非常直觀同樣硬件用傳統(tǒng) read/write 走文件轉(zhuǎn)發(fā)吞吐可能卡在幾百 MB/s 且 CPU 某一個核直接跑滿換成 sendfile 之后CPU 占用能掉到原來的三分之一以下吞吐反而翻倍。這就是為什么零拷貝不是一個“錦上添花”的優(yōu)化而是大流量場景下的必選項。它把原本由 CPU 承擔(dān)的搬運(yùn)工作交給內(nèi)核和網(wǎng)卡硬件去做讓 CPU 騰出手來干真正需要它的事。1.3 零拷貝省掉的到底是什么把上面那張流程圖的賬重新算一遍真正無法消除的是兩次 DMA磁盤到頁緩存、緩沖到網(wǎng)卡可消除的是兩次 CPU 拷貝另外如果能讓用戶態(tài)完全不參與上下文切換也能從四次壓到兩次甚至更少。所以“零拷貝”這個名字有點(diǎn)營銷味它真實(shí)的含義是數(shù)據(jù)在內(nèi)核態(tài)內(nèi)部完成流轉(zhuǎn)用戶態(tài)不再復(fù)制一份完整的數(shù)據(jù)副本。數(shù)據(jù)依然要從磁盤到內(nèi)存、從內(nèi)存到網(wǎng)卡但那條“磁盤 → 內(nèi)核 → 用戶 → 內(nèi)核 → 網(wǎng)卡”的之字形路徑被拉直成了“磁盤 → 內(nèi)核 → 網(wǎng)卡”。理解到這一層你就明白零拷貝有一個隱含前提你不需要修改數(shù)據(jù)內(nèi)容。一旦你要對數(shù)據(jù)做加工加密、壓縮、格式轉(zhuǎn)換、內(nèi)容過濾就必須把數(shù)據(jù)撈到用戶態(tài)零拷貝立刻失效。這一點(diǎn)在后面講 Kafka 用不了零拷貝的場景時會反復(fù)出現(xiàn)非常關(guān)鍵。2. 常見實(shí)現(xiàn)方案對比四條路線怎么選Linux 內(nèi)核提供的零拷貝接口不止一個它們面向的場景并不一樣選錯了不僅沒收益還可能更慢。下面把主流四種拆開講mmapwrite、sendfile、sendfileDMA gather、splice。每一種我都標(biāo)出它的拷貝次數(shù)和適用范圍方便你對照自己的業(yè)務(wù)做判斷。2.1 mmap write內(nèi)存映射的取巧路線mmap()的思路是把內(nèi)核頁緩存的一段區(qū)域映射到用戶進(jìn)程的地址空間里。映射建立之后用戶程序讀寫那塊虛擬地址實(shí)際讀寫的就是頁緩存內(nèi)核不需要再做第二份拷貝。用 mmap 重寫前面的發(fā)送邏輯FileChannel channel FileChannel.open(Paths.get(data.log), StandardOpenOption.READ); MappedByteBuffer mapped channel.map(FileChannel.MapMode.READ_ONLY, 0, channel.size()); SocketChannel socketChannel SocketChannel.open(addr); while (mapped.hasRemaining()) { socketChannel.write(mapped); }這條路徑上發(fā)生的事DMA 把磁盤數(shù)據(jù)搬進(jìn)頁緩存mmap建立映射無拷貝write()時內(nèi)核把頁緩存內(nèi)容復(fù)制進(jìn) Socket 緩沖區(qū)CPU 拷貝最后 DMA 到網(wǎng)卡??傆? 次拷貝2 DMA 1 CPU4 次上下文切換。相比傳統(tǒng)方案省掉了一次 CPU 拷貝但write()那一步的拷貝還在因為 Socket 緩沖區(qū)是另一塊內(nèi)存內(nèi)核不能直接把頁緩存的頁掛上去。mmap 的優(yōu)點(diǎn)在于用戶態(tài)能讀寫數(shù)據(jù)。你可以一邊映射一邊改內(nèi)容改完直接write不用來回拷貝。所以它適合那種“要檢查或微調(diào)數(shù)據(jù)但不希望整塊復(fù)制”的場景比如某些協(xié)議解析、內(nèi)存數(shù)據(jù)庫的持久化文件。缺點(diǎn)是映射的建立和銷毀有成本頁緩存被長期占用大文件映射還可能觸發(fā)缺頁中斷風(fēng)暴而且munmap時機(jī)不好控制的話容易造成內(nèi)存回收壓力。2.2 sendfile把文件句柄直接交給內(nèi)核sendfile()在 Linux 2.2 引入它的設(shè)計目標(biāo)非常明確把一個文件描述符的內(nèi)容直接倒進(jìn)另一個描述符通常是 Socket用戶態(tài)完全不參與數(shù)據(jù)。ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);這一下把 read/write 那套徹底甩開了。內(nèi)核內(nèi)部的處理是DMA 把數(shù)據(jù)從磁盤讀進(jìn)頁緩存然后內(nèi)核把頁緩存內(nèi)容復(fù)制進(jìn) Socket 緩沖區(qū)最后 DMA 發(fā)給網(wǎng)卡。一共3 次拷貝2 DMA 1 CPU但上下文切換只剩2 次—— 用戶進(jìn)程發(fā)起sendfile進(jìn)內(nèi)核處理完返回中間不需要回用戶態(tài)。這個方案的收益非常明顯CPU 拷貝少了一次上下文切換少了一半而且整個邏輯走的是內(nèi)核單一路徑緩存局部性也好。Java 里的FileChannel.transferTo()在 Linux 上最終就落到sendfile系統(tǒng)調(diào)用上這是后面理解 Kafka 的關(guān)鍵。不過 sendfile 2.2 的初版有個限制它只允許in_fd是文件、out_fd是 Socket反向不行而且用戶態(tài)拿不到數(shù)據(jù)只能“盲發(fā)”。想對內(nèi)容做半點(diǎn)處理這條路就斷了。2.3 sendfile DMA gather真正的零 CPU 拷貝Linux 2.4 對 sendfile 做了一次關(guān)鍵升級如果網(wǎng)卡支持分散聚集Scatter-Gather DMA內(nèi)核就不再把頁緩存的內(nèi)容復(fù)制到 Socket 緩沖區(qū)而是只把數(shù)據(jù)的內(nèi)存地址和長度描述符一個指針加長度的小結(jié)構(gòu)追加到 Socket 緩沖區(qū)后面最后由網(wǎng)卡的 DMA 引擎按照描述符列表直接從頁緩存把數(shù)據(jù)攢起來發(fā)走。這次優(yōu)化把最后那一次 CPU 拷貝也干掉了數(shù)據(jù)流變成DMA磁盤→頁緩存 DMA gather頁緩存→網(wǎng)卡2 次拷貝2 次上下文切換CPU 完全不參與數(shù)據(jù)搬運(yùn)。這才是真正意義上的“零拷貝”。代價是對硬件有要求網(wǎng)卡得支持 SG-DMA而且 Socket 緩沖區(qū)得能存描述符而不是數(shù)據(jù)本身?,F(xiàn)在主流的服務(wù)器網(wǎng)卡基本都支持所以你在生產(chǎn)環(huán)境上跑 Kafka 或者 Nginx 做靜態(tài)文件分發(fā)走的通常就是這一條。注意硬件不支持 SG-DMA 時內(nèi)核會自動退化回 2.2 那條路徑功能不受影響但性能打折。判斷方法可以看ethtool -k 網(wǎng)卡名里的scatter-gather是否開啟。2.4 splice 與管道方案兩個 fd 之間的搬運(yùn)工splice()是后來補(bǔ)上的一塊拼圖它解決的是 sendfile 早期只能“文件到 Socket”這一個方向的問題。splice 的做法是借助一個內(nèi)核管道pipe作為中轉(zhuǎn)在兩個任意類型的文件描述符之間移動數(shù)據(jù)全程在內(nèi)核態(tài)完成管道里流動的同樣只是頁的引用而不是數(shù)據(jù)副本。典型用法是先把數(shù)據(jù) splice 到管道再從管道 splice 到 Socket。它適合的場景比較特殊比如需要在兩個 Socket 之間做純轉(zhuǎn)發(fā)、或者構(gòu)建代理服務(wù)。不過在標(biāo)準(zhǔn)的“文件發(fā)給客戶端”路徑上sendfile 更直接splice 多了一次管道操作優(yōu)勢不明顯。2.5 四種方案的橫向?qū)Ρ扰c選型建議把上面的分析壓成一張表選型時對著看就行方案數(shù)據(jù)拷貝次數(shù)上下文切換用戶態(tài)能否處理數(shù)據(jù)典型適用場景read write42 DMA 2 CPU4 次能小文件、需要對內(nèi)容加工mmap write32 DMA 1 CPU4 次能可直接改映射區(qū)需要讀寫數(shù)據(jù)、內(nèi)存映射文件sendfile32 DMA 1 CPU2 次不能文件直發(fā)、靜態(tài)資源分發(fā)sendfile DMA gather22 DMA2 次不能大文件分發(fā)、消息隊列讀路徑splice管道中轉(zhuǎn)22 DMA2 次不能代理轉(zhuǎn)發(fā)、任意 fd 之間搬運(yùn)我個人的判斷邏輯很簡單要不要改數(shù)據(jù)。如果答案是“要”就從 mmap 和 read/write 里挑數(shù)據(jù)量小就別折騰直接 read/write 更省心如果答案是“不要”那 sendfile 系列基本是最優(yōu)解能上 DMA gather 就上不能也夠用。splice 屬于“sendfile 覆蓋不到的方向”時的備選日常業(yè)務(wù)里碰到的機(jī)會不多。還有一個常被忽略的點(diǎn)零拷貝不是免費(fèi)的午餐。它省了 CPU但把壓力轉(zhuǎn)移到了頁緩存上——大量文件走 sendfile 會迅速吃掉 page cache擠占其他進(jìn)程的文件緩存空間。所以在內(nèi)存吃緊的機(jī)器上它帶來的收益可能被緩存淘汰的開銷抵消掉一部分這個后面講調(diào)優(yōu)時會再提。3. Kafka 里的零拷貝它用的是哪一條路線聊完通用方案回到 Kafka。很多人只知道“Kafka 用了零拷貝”但具體用在哪、用的是什么、什么情況下用不了說得清楚的不多。我把這條鏈路拆成三段消息怎么落到磁盤、broker 怎么把消息吐給消費(fèi)者、索引文件為什么走的是另一套。3.1 消息從生產(chǎn)到落盤的這一段其實(shí)沒有零拷貝先糾正一個常見誤解零拷貝發(fā)生在消費(fèi)路徑上不是生產(chǎn)路徑上。生產(chǎn)者發(fā)消息過來broker 收到的是一個字節(jié)流它需要做格式校驗、分配 offset、可能還要按批次重新組裝成日志格式這些操作都需要數(shù)據(jù)在用戶態(tài)可訪問所以這一段是普通的網(wǎng)絡(luò)讀寫加內(nèi)存操作沒有零拷貝可言。不過生產(chǎn)路徑另有它的優(yōu)化手段順序追加寫和批量落盤。每條消息不是單獨(dú)一次write而是攢成一個批次batch追加到當(dāng)前活躍的日志段文件末尾這樣磁盤磁頭或者說 SSD 的寫入單元幾乎不需要尋道。順序?qū)懙耐掏履鼙入S機(jī)寫高出一個數(shù)量級這一點(diǎn)對 Kafka 的整體性能貢獻(xiàn)其實(shí)比零拷貝還大 —— 只是零拷貝更容易被拿來講故事。落盤之后消息就靜靜躺在日志段文件里等著被消費(fèi)者拉取。真正的表演從這時開始。3.2 消費(fèi)者拉取時transferTo 把數(shù)據(jù)直接推給網(wǎng)卡消費(fèi)者發(fā) fetch 請求過來broker 的處理邏輯大致是定位到對應(yīng)的日志段文件從指定 offset 開始讀取一段數(shù)據(jù)然后寫回 Socket。如果這一段用普通方式實(shí)現(xiàn)就是“讀文件到堆內(nèi)存 → 寫 Socket”前面算過四次拷貝四次切換。Kafka 沒這么干。Java NIO 給FileChannel提供了transferTo(position, count, targetChannel)方法在 Linux 上它會被 JVM 映射到sendfile系統(tǒng)調(diào)用。Kafka 的日志讀取層封裝了一個TransferableChannel抽象明文連接PLAINTEXT的實(shí)現(xiàn)類在transferFrom里直接調(diào)用fileChannel.transferTo(...)把日志段文件和 Socket 通道接起來。Java 層面的調(diào)用形態(tài)大致是這樣// 簡化示意把日志段文件的一段區(qū)間直接推進(jìn) Socket long position segmentStartOffset relativeOffset; long count Math.min(remainingBytes, maxFetchBytes); fileChannel.transferTo(position, count, socketChannel);注意這里沒有byte[] buffer沒有read也沒有write數(shù)據(jù)從頁緩存直接被內(nèi)核推向網(wǎng)卡。Java 代碼里只出現(xiàn)了一個文件通道和一個 Socket 通道用戶態(tài)從頭到尾沒碰過消息體。所以 Kafka 的消費(fèi)鏈路實(shí)際是sendfile DMA gather那條路線磁盤 → 頁緩存DMA頁緩存描述符進(jìn) Socket 緩沖區(qū)網(wǎng)卡 DMA 按描述符取數(shù)發(fā)走。CPU 只負(fù)責(zé)發(fā)起調(diào)用和控制流程不搬數(shù)據(jù)。這就是為什么一臺普通配置的 broker 能扛住幾十萬條每秒的出口流量而 CPU 使用率還不高 —— 它壓根沒在干搬運(yùn)的活。順便說一個實(shí)操中很值得注意的細(xì)節(jié)transferTo單次能傳的字節(jié)數(shù)有上限超過之后會分批循環(huán)調(diào)用。所以真正的日志段文件再大也沒關(guān)系內(nèi)核會一段一段地推。但如果你看到transferTo返回 0 而數(shù)據(jù)還沒傳完那通常意味著 Socket 發(fā)送緩沖區(qū)滿了屬于正常的背壓不是 bug。3.3 為什么 Kafka 選 sendfile 而不是 mmap看到這里可能有人問既然 mmap 也能省一次拷貝而且用戶態(tài)還能訪問數(shù)據(jù)Kafka 為什么不用 mmap 讀日志原因很實(shí)在mmap 省的是拷貝但省不掉上下文切換和頁表開銷。mmap 路徑下每次發(fā)送依然是write()系統(tǒng)調(diào)用四次切換照舊而且大規(guī)模映射文件會帶來兩個麻煩一是頁表項暴漲二是內(nèi)存不足時觸發(fā)缺頁中斷在 GC 敏感或者內(nèi)存吃緊的機(jī)器上這種抖動很難受。Kafka 的日志文件是按段滾動、長期保留、體量巨大的映射一堆 GB 級文件對它來說不是好主意。反過來說Kafka 明確知道自己“不需要修改消息內(nèi)容” —— broker 的職責(zé)就是存和轉(zhuǎn)消息體的解析交給客戶端。這個前提太適合 sendfile 了無加工、大塊連續(xù)、目標(biāo)就是網(wǎng)絡(luò)。選型邏輯和前面那張表完全一致。3.4 索引文件反而用的是 mmap有意思的是Kafka 并沒有完全拋棄 mmap它把 mmap 用在了另一個地方偏移量索引文件和時間戳索引文件。這些索引文件的特點(diǎn)是小而碎——每條記錄只有 8 字節(jié)或 16 字節(jié)查詢時需要頻繁按 offset 定位。如果每次都走系統(tǒng)調(diào)用去讀開銷全在切換上。Kafka 用MappedByteBuffer把索引文件映射進(jìn)內(nèi)存查的時候直接在內(nèi)存里做二分查找省掉了系統(tǒng)調(diào)用這一層。索引文件本身不大默認(rèn)每 4KB 日志對應(yīng)一條索引映射帶來的內(nèi)存壓力可控正好揚(yáng)長避短。所以準(zhǔn)確的表述是Kafka 的消息數(shù)據(jù)走 sendfile索引數(shù)據(jù)走 mmap。兩套方案各用在它最擅長的地方這才是合理的工程取舍而不是“Kafka 用了零拷貝”這種一句話概括。理解了這一點(diǎn)你對零拷貝的理解才算從“聽說過”進(jìn)到了“會用”。4. Kafka 為什么這么快零拷貝只是其中一塊拼圖標(biāo)題里帶了“Kafka 為什么這么快”那就得說實(shí)話把性能全歸給零拷貝是偷懶的歸因。零拷貝確實(shí)在消費(fèi)鏈路上貢獻(xiàn)很大但 Kafka 的高吞吐是好幾層設(shè)計疊加出來的結(jié)果。這一章逐層拆開順便說清楚零拷貝在什么情況下會失效——這部分內(nèi)容比“它很快”有用得多。4.1 順序?qū)懠禹摼彺娲疟P這一關(guān)被繞過去了Kafka 消息落盤是純追加永遠(yuǎn)寫在文件末尾。機(jī)械盤上順序?qū)懙耐掏驴梢缘綆装?MB/sSSD 上更不用說這和隨機(jī)寫的差距是數(shù)量級的。而且現(xiàn)代操作系統(tǒng)會把空閑內(nèi)存全拿來做 page cacheKafka 寫入時數(shù)據(jù)先進(jìn)頁緩存由內(nèi)核異步刷盤生產(chǎn)者感知到的延遲很低。這里有個很妙的聯(lián)動寫的時候數(shù)據(jù)進(jìn)頁緩存消費(fèi)的時候 sendfile 直接從頁緩存讀如果消息剛寫進(jìn)來就被消費(fèi)典型的實(shí)時管道場景整個鏈路一次磁盤 IO 都不需要發(fā)生全程在內(nèi)存里完成。這個“寫緩存 零拷貝讀緩存”的組合才是 Kafka 吞吐數(shù)字好看的直接原因。4.2 批量、壓縮與分區(qū)并行把固定開銷攤薄單條消息走一次網(wǎng)絡(luò)請求代價太高Kafka 從協(xié)議層面就強(qiáng)制批量生產(chǎn)者端有batch.size和linger.ms控制攢批broker 端按批次存儲消費(fèi)者端一次 fetch 也拉一批。批次越大每次請求的固定開銷網(wǎng)絡(luò)往返、系統(tǒng)調(diào)用、鎖競爭被攤得越薄。壓縮也是同理而且壓縮有個額外好處數(shù)據(jù)在磁盤上和在網(wǎng)絡(luò)上都是壓縮態(tài)broker 不解壓直接原樣轉(zhuǎn)發(fā)。壓縮比越高實(shí)際走零拷貝的字節(jié)數(shù)越少網(wǎng)絡(luò)和磁盤壓力同步下降。這就是為什么在日志采集這類文本重復(fù)度高的場景里開lz4或者zstd之后吞吐能明顯往上跳一截。再疊加分區(qū)一個 topic 分成多個 partition分散在不同 broker 上生產(chǎn)消費(fèi)都并行。這一層是水平擴(kuò)展的邏輯和零拷貝無關(guān)但對整體吞吐的貢獻(xiàn)同樣巨大。4.3 零拷貝失效的四種典型情況這一段是我最想讓你記住的因為它決定了你在線上遇到“Kafka 變慢”時該往哪查。第一種開啟 TLS/SSL 加密。這是最常見的失效原因。sendfile 的前提是數(shù)據(jù)原樣進(jìn)網(wǎng)卡可一旦要加密就必須把數(shù)據(jù)撈到用戶態(tài)做加解密運(yùn)算零拷貝直接退化成普通讀寫。所以同一個集群PLAINTEXT 端口和 SSL 端口的吞吐差距可能有一倍以上CPU 占用也完全不同。這不是配置問題是原理決定的只能靠加機(jī)器或者換加密方案來消化。第二種broker 端做消息格式轉(zhuǎn)換。當(dāng)生產(chǎn)者和消費(fèi)者使用的消息格式版本不一致broker 需要把日志里的消息反序列化再按目標(biāo)格式重新序列化。這個過程中數(shù)據(jù)必須進(jìn)用戶態(tài)零拷貝自然用不上。老版本集群升級期間這種情況很常見日志格式統(tǒng)一之后就好了。第三種消費(fèi)端 fetch 請求太碎。每次只拉幾百字節(jié)transferTo還沒來得及發(fā)揮作用就結(jié)束了系統(tǒng)調(diào)用的固定開銷占比反而升高。表現(xiàn)出來就是 broker 的 CPU 不高、網(wǎng)絡(luò)包數(shù)量巨大、吞吐上不去。調(diào)大fetch.min.bytes和fetch.max.wait.ms讓消費(fèi)者多等一會兒攢夠數(shù)據(jù)效果立竿見影。第四種客戶端和服務(wù)端壓縮算法不一致導(dǎo)致重壓縮。如果生產(chǎn)者用 gzip、broker 配置要求 zstdbroker 就得解壓再壓數(shù)據(jù)全程在用戶態(tài)走一遍。統(tǒng)一壓縮算法是必須遵守的紀(jì)律。4.4 一份可直接抄的參數(shù)清單下面這些參數(shù)是我在實(shí)際調(diào)優(yōu)里改動最頻繁的幾個列出來方便對照。默認(rèn)值不一定適合你的場景特別是磁盤和網(wǎng)絡(luò)差異大的機(jī)器。參數(shù)作用位置調(diào)整思路num.io.threadsbroker處理請求的 IO 線程數(shù)通常設(shè)為磁盤數(shù)量的倍數(shù)num.network.threadsbroker網(wǎng)絡(luò)收發(fā)線程數(shù)高并發(fā)拉取場景適當(dāng)增加log.segment.bytesbroker日志段大小默認(rèn) 1GB小段利于清理但索引更碎socket.send.buffer.bytesbrokerSocket 發(fā)送緩沖區(qū)配合大流量拉取適當(dāng)調(diào)大compression.typetopic / broker全鏈路統(tǒng)一文本類首選 lz4 或 zstdbatch.size/linger.ms生產(chǎn)者攢批大小與等待時間兩者互相制約fetch.min.bytes消費(fèi)者單次拉取最小字節(jié)數(shù)調(diào)大可顯著減少請求數(shù)replica.fetch.max.bytesbroker副本同步單次拉取上限大消息場景要留意調(diào)參這件事有個基本順序先看瓶頸在哪一層磁盤、網(wǎng)絡(luò)、CPU、GC再動對應(yīng)的參數(shù)一次只改一個維度并留出觀察窗口。上來就把十幾個參數(shù)一起改出了問題根本定位不到是哪一項引起的。5. 動手驗證怎么確認(rèn)零拷貝真的生效了理論講完落到操作上。零拷貝這種東西最怕“以為自己開了”所以得能驗證。下面是我常用的幾個手段從輕到重排列都能在測試環(huán)境跑。5.1 用系統(tǒng)調(diào)用跟蹤看 sendfile 有沒有被調(diào)用最直接的辦法是盯系統(tǒng)調(diào)用。在 broker 進(jìn)程上掛一個跟蹤過濾出 sendfile# 跟蹤指定進(jìn)程的 sendfile 調(diào)用統(tǒng)計調(diào)用次數(shù)與傳輸字節(jié)數(shù) sudo strace -f -c -e tracesendfile,read,write -p broker_pid如果消費(fèi)壓力上來之后sendfile的調(diào)用次數(shù)和返回字節(jié)數(shù)同步增長而read/write的增長相對平緩基本可以確認(rèn)零拷貝在正常工作。反過來如果read和write的調(diào)用量異常高就要懷疑是不是走了加密端口、或者消費(fèi)者拉得太碎。更細(xì)一點(diǎn)可以用-T參數(shù)看每次調(diào)用的耗時如果單次sendfile動輒幾百微秒通常是 Socket 緩沖區(qū)滿了在等屬于背壓信號而不是性能問題。# 顯示每次調(diào)用的耗時 sudo strace -T -e tracesendfile -p broker_pid5.2 對比測試加密端口與明文端口的吞吐差異想直觀感受零拷貝的價值做一組對照實(shí)驗最有效。同一個 topic、同樣的消息量和消費(fèi)者邏輯只改連接端口分別跑一次壓測記錄吞吐和 broker 的 CPU 使用率。我的經(jīng)驗是在消息體較大比如 10KB 以上、消費(fèi)吞吐打滿的情況下SSL 端口的 broker CPU 占用會明顯高于明文端口吞吐則低一截而當(dāng)消息很小、瓶頸在請求數(shù)量而非字節(jié)數(shù)時兩者的差距會縮小因為此時主要開銷是每次請求的固定成本零拷貝省下的那點(diǎn)拷貝量占比不高。這個對比能幫你建立一個判斷力什么時候該為加密付出性能代價什么時候可以把加密放在鏈路的兩端而不在 broker 上做。5.3 一套完整的驗證流程把上面的手段串成流程照著做一遍就能把這條鏈路摸清準(zhǔn)備一個單分區(qū) topic寫入固定大小比如 1KB 和 100KB 各一組的消息若干 GB啟動消費(fèi)者用kafka-consumer-perf-test之類的工具跑滿記錄吞吐基線同時用strace -c觀察 sendfile 的調(diào)用量和字節(jié)數(shù)用iostat -x 1看磁盤利用率用sar -n DEV 1看網(wǎng)卡吞吐如果寫入后立刻消費(fèi)觀察磁盤讀是否接近零說明數(shù)據(jù)全在頁緩存里換到 SSL 端口重復(fù)步驟 2 到 5對比兩組數(shù)據(jù)。跑完之后你會對“零拷貝貢獻(xiàn)了多少、頁緩存貢獻(xiàn)了多少、加密損失了多少”有一個量化的認(rèn)識比看十篇文章都管用。提示測試機(jī)上的頁緩存會干擾結(jié)果兩組實(shí)驗之間記得清理或者用不同的文件集否則第二組可能全程命中緩存數(shù)據(jù)不可比。6. 常見問題與排查技巧實(shí)錄這一章是我踩過的坑和幫別人排查過的典型問題整理成速查形式。很多時候你以為是零拷貝失效實(shí)際問題在別處。6.1 典型問題速查表現(xiàn)象可能原因排查動作處理方式broker CPU 高但吞吐低走的是加密端口零拷貝退化確認(rèn)客戶端連接協(xié)議換明文端口或把加密放到鏈路兩端網(wǎng)絡(luò)包數(shù)量巨大平均包很小消費(fèi)者 fetch 過于頻繁看fetch.min.bytes配置調(diào)大最小拉取字節(jié)數(shù)和等待時間磁盤讀 IO 很高頁緩存未命中消費(fèi)落后于寫入對比寫入與消費(fèi)的時間差增加消費(fèi)者并行度或提前預(yù)熱消費(fèi)延遲抖動大日志段滾動、索引重建看段大小與滾動頻率調(diào)整log.segment.bytes大消息吞吐驟降單次拉取上限不夠被拆成多次看fetch.max.bytes同步調(diào)大服務(wù)端與客戶端上限升級后性能下降消息格式不一致觸發(fā)轉(zhuǎn)換檢查日志格式版本統(tǒng)一格式版本避免 broker 端轉(zhuǎn)換6.2 三個容易踩的坑坑一把零拷貝當(dāng)成萬能藥。有些場景數(shù)據(jù)本來就要加工比如要在服務(wù)端做內(nèi)容脫敏、字段提取、格式轉(zhuǎn)換這時硬套 sendfile 是套不上的強(qiáng)行設(shè)計只會讓架構(gòu)變扭。判斷標(biāo)準(zhǔn)還是那一句數(shù)據(jù)要不要改。要改就別惦記零拷貝把加工邏輯放在鏈路的其他環(huán)節(jié)更合理??佣欢⒅?broker不管消費(fèi)者。零拷貝發(fā)生在 broker 向消費(fèi)者發(fā)數(shù)據(jù)的那一段如果消費(fèi)者自己處理慢、拉取間隔長broker 側(cè)再快也沒用。我見過太多案例最后瓶頸在消費(fèi)端的反序列化和業(yè)務(wù)處理上調(diào) broker 參數(shù)完全無效。壓測時一定要把消費(fèi)端的能力單獨(dú)測出來??尤雎晕募到y(tǒng)與磁盤類型。順序?qū)懠恿憧截愡@套組合在網(wǎng)絡(luò)存儲或者某些虛擬化磁盤上的表現(xiàn)會打折扣因為底層可能不滿足順序?qū)懙募僭O(shè)。部署前先跑一輪基線測試別直接拿云上共享存儲和本地 SSD 的數(shù)據(jù)互相套用。6.3 我個人的幾條實(shí)操心得第一條先量化再優(yōu)化??吹酵掏虏恍邢确智迨?IO 密集還是 CPU 密集。如果是 IO 等待占主導(dǎo)零拷貝相關(guān)的東西大概率不是瓶頸往磁盤和網(wǎng)絡(luò)容量上找原因更快。第二條把頁緩存當(dāng)成容量來規(guī)劃。零拷貝的收益很大程度依賴頁緩存命中所以 broker 所在機(jī)器的內(nèi)存要給足不要把堆內(nèi)存開得過大把操作系統(tǒng)緩存擠沒了。堆外內(nèi)存和頁緩存之間是要搶資源的這個平衡點(diǎn)需要根據(jù)消息體大小和消費(fèi)時效來調(diào)。第三條加密場景提前算好成本。如果合規(guī)要求全鏈路加密那就別指望零拷貝的收益容量規(guī)劃按普通轉(zhuǎn)發(fā)的模型來算留出足夠的 CPU 余量。反過來如果能接受在邊緣節(jié)點(diǎn)做加解密broker 內(nèi)部走明文性能會好很多。第四條驗證比配置重要。參數(shù)配上去不代表生效用strace看一眼 sendfile 有沒有真的在跑往往能省下幾個小時的瞎猜。這套方法我后來用在文件服務(wù)、靜態(tài)資源分發(fā)上同樣有效凡是懷疑零拷貝沒起作用的場合先抓一把系統(tǒng)調(diào)用再說。最后分享一個觀察真正把零拷貝用好的系統(tǒng)用戶態(tài)代碼往往特別薄 —— 它只負(fù)責(zé)控制流程不碰數(shù)據(jù)本體。這個設(shè)計思路本身就值得借鑒不管你做的是消息隊列、文件服務(wù)還是數(shù)據(jù)管道減少不必要的數(shù)據(jù)經(jīng)過用戶態(tài)通常都能換來實(shí)打?qū)嵉男阅芴嵘?。至于具體選 sendfile 還是 mmap回到那句判斷要不要改數(shù)據(jù)。不需要改就讓它一路走內(nèi)核。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
在线观看欧美| 精品一二三区久久AAA片| 色婷婷大香蕉| 五月天另类激情在线| 操你av| 综合色色网| 性色婷婷| 五月婷婷免费| 久99| 99热碰碰| 内射 无码 伊人| 日韩99视频| 九九热视频精品2| WWW.五月com| 一本久道综合色婷婷五月| 99re热视频这里只有综合亚洲| 五月婷丁香| 伊人9999| 亚洲成色综合网站免费观看| 67194成I人在线观看线路1| 国产日韩精品SUV| 超碰猛烈的性猛交| 丁香婷婷成人网站| 激情五月四色| 米奇影视资源777狠狠色婷婷五月天激情网| 色九月婷婷丁香| 大香蕉伊人久久| 停婷丁五月在线| 丁香六月 人妻| 99热加勒比| 亚洲中文字幕在线观看| 色五月激情网| 我爱大香蕉| 色五月婷婷小说亚洲中文字幕组| 色天天狠狠干| 天天色天天爱天天舔| 欧美精品A片一区在线观看| 色婷婷成人做爰A片免费看网站 | 日韩啪图| 97色射| 99色热| 久久九九网| 亚洲九九99精品视频在线播放| 色色色国产| 国产99久9在线| 超碰碰碰碰| 丁香花色色网| 日韩欧美颜射| 丁香婷婷啪啪| 色噜噜狠狠色综合日日| 玖玖色综合| 色色色综合| 日日.c| 午夜九九电影| 激情文学天天| 丁香五月大片| 五月天激情日色在线| 97亚洲色 torrent magnet| 99亚洲精品视频| 国产操B| 亚洲乱码日产精品BD| 丁香六月天| 人妻精品一区二区三区| 婷婷丁香人妻天天爽| 99热99美国在线观看| 99热精品在线免费观看| 日本在线99| 婷婷五月丁香色综合| 五月天激情综合| 色婷婷小说网| 五月婷婷六月丁香| 色婷婷影视| www.狠狠| 五月丁香婷婷成人网| 成人美女网| 国产婷婷婷| 日韩在线观看网址| 99久久.www| 97久久久免费福利网址| www99热| 久久久久久久综合狠狠综合| 激情五月丁香在线观看直播| 精品国产va久久久| 日本久热| 婷婷五月天av| 五月婷婷9| 丁香花操逼| 激情五月份婷婷| 亚洲综合色激情色五月| 97色色婷婷五月天| 天天插夜夜爽| 五月天com| 婷婷五月综合社区| 精品夜夜澡人妻无码AV| 婷婷性爱五月天丁香网| 人妻激情在线| 色五月婷婷开心| 丁香五月区| 色婷婷狠狠| 婷婷丁香九月| 五月四色激情| 久久99久久久久久| 丁香五月六月激情| 色婷婷导航| 九九热精品| 狠狠久久婷五月综合色| 五月色婷| 五月婷婷丁香狠狠撸久久| 亚洲五月天激情| 夜夜撸夜夜骑| 色婷婷久久视屏| 九九色逼| 青青草成人网| 久久性爱99国产| 色停停影院五月天| www.色综合.com| 开心丁五月| 丁香婷婷在线| 婷婷成人五月天| 熟女人妻视频| 婷婷丁香五月综合| 99热精品在这里| 色激情综合| 超碰91在线| 人人操婷婷| 国产一级片| 久热中文字幕在线线观看 | 色五月激情网| avv在线| 婷婷色五月噜噜| 九九热视频免费的| 丝袜激情网| 亚洲V国产V欧美V久久久久久| 91N 一起草| 久操热线| 另类五月激情| 亚洲精品无AMM毛片| 色色色色色日韩午夜激情 | 激情五月天网| 日韩美女羞羞网站在线观看| 操熟女成人网| 国产黄大片在线观看画质优化| 色娸娸综合网| 久久久噜噜噜久久人妻| 色婷婷成人色网| 欧美极品999| 日日.c| 情欲禁地| 日韩抽插操逼| 天天综合网站| 久操人妻| 丁香五月激情啪| 亚洲国产精品VA在线看黑人 | 91人人爱| 婷婷综合成人五月天| 婷婷99中文字幕| 色色婷婷综合| 五月婷婷偷拍| 婷婷久久99| 超级碰碰97在线| VA色婷婷| 婷婷六月啪啪| 人人操AV| 六月丁香婷| 五月丁香婷婷色播无码| 99热这里只有精品86| 无码少妇高潮喷水A片免费| 五月天成人综合| 五月天婷婷视频30| 99久久婷婷国产综合亚洲| 三级三久久线久久99久目本WW| 亚洲第一综合| 亚洲4区国产欧美| wwwC0maV五月花| 色色五月婷婷| 亚洲天堂AAA| 色99视频| 日本婷婷综合精品| 中文字幕网伦射乱中文| 五月天全国最大成人网| 天天色五月婷婷91久久久久久久| 可以观看的AV| 在线超碰精品| 久久五月丁香| 人伦30P| 97人人操在线| 久久婷婷五月天激情四射| 欧美性爱专区| 99综合| 亚洲国产网站| 激情五月婷婷五月| 婷婷五月丁香综合| 亚洲精品99| 99久久99热| 色婷视频| va亚洲中文在线| 婷婷五月综合丁香久久| 99热综合| 五月丁香久久综合| 69精品人人人人| 婷婷丁香五月天综合网| a毛片二逼wwwwwwwwww| 婷婷5月天av| 色婷婷色99国产综合精品| 丁香五月激情宗合网| 99热只有这里有精品| 超碰成人黄色网| 夜夜爽天天| 噼里啪啦在线观看免费完整版视频| 丁香五月婷婷色综合基地| 麻豆AV一区二区三区| 久久婷婷五月天激情| 丁香六月综合| 这里只有精品视频在线| 久久最新色色色| www.99热| 激情五月丁香亭亭| 日韩婷婷| 丁香六月激情网C0W| 婷婷黄色网| 色五月综合| 日本婷婷在线| 97干在线观看| 黄色aaaaa| 天堂综合久久 | 白度黄视频| 丁香五月婷婷www..com| 国产精品色一哟哟| 色五月婷婷影院| 色色婷婷综合| 丁香五月天在线观看视频| 天天插天天| 嫩草综合网| 综合色在线| 五月婷久久综合| 色99在线| 色噜噜,噜噜色| 婷色天堂| 久草天堂| 丁香五月婷婷色情综合| 991精品在线视频| 99视频在线观看视频| AV六月丁香| 色五月色五天色情网| 日韩人妻无码一区二区| 黄色网址五月婷婷| 人妻少妇色综合| 激情久久综合网| 超碰色色综合| 玖玖九九9999在线观看视频精品| 黄网免费观看| 婷婷五月丁香五月天| 五月婷婷网站| 婷婷六月激情综合| 丁香网五月网| 久久99精品久久久久久三级| 欧美va亚洲va在线播放| 婷婷五月天AV| 影音先锋一区二区三区| 婷婷五月天激情诱惑| 无码色色色色色| 日韩有码一区| 大地9中文在线观看免费高清| 亭亭五月丁香五月天激情| 色很很96| 六月婷婷av| 九月丁香婷婷基地| 亚洲热久久| 久色五月婷婷综合| 午夜理论片最新午夜理论剧| 99欧美| 在线不卡AC| 色婷婷88| 色婷婷激情| 五月天伊人日日噜影片AV| 九热免费视频| 91视频免费后入强操| 成人做爰A片免费看视频| 婷婷色在线观看| 蜜乳国产网站| 丁香五月骚喷水视频| 色婷网| 91人人妻人人操| 国产日产亚系列精品版优势 | 99在线精品视频免费观看20| 婷婷久久六月费| 91肏| 大香蕉久热| 色综合色综合色综合| 99色在线| 97久久超碰| 中文字幕黄色片| 丁香五月天中文字幕| 五月丁香网站在线播放| www.婷婷网| 99ri久久| 99操九九网| WWW.桔色成人.COM| 年轻的妺妺伦理HD中文| 九九AV| www.99久久久| 91黄址| 久久婷丁香五月| 五月天久久婷婷| 91se在线视频| 婷婷五月深情丁香深爱日韩| 伊人五月天日日夜夜久久久天天| 这里只精品| 操操啪| 综合啪啪| 26uuu.| 欧美日本综合网| 婷婷99狠狠躁天天躁中文| 色婷婷91激情小说| 欧美日本高清视频99| 色婷婷激情五月天丁香| 大大香蕉综合在线| 人人干人人操外国| 丁香六月激情毛片| 午夜成人AV在线| 天堂爱啪啪| 激情五月婷| 久久综合性| 中文字幕在线日亚洲9| www.狠狠| 丁香五月亚洲婷婷| www.狠狠艹| 五月色婷婷AV| 天天爽天天干| 亚洲成人超碰| 久久人妻精品| 9|在线观看视频| 日韩精品一区二区刘| 91色在线 | 日韩| 色九月国产| 亚洲第一成人无码A片| 99热在线精品观看| 99久久思思| 人人舔人人| 色五月偷偷| 亚洲视频99| 五月天激情小说| 久久精品视频99| 婷婷丁香六月天| 成人.在线日韩| WWW.HENHENL.| 天天看A片| 色综合五月婷婷狠狠干| 色五月五月天色婷婷色五月| 色欲天天综合网| 五月天婷婷久久| 精品久9| 丁香五月最新网址| 天天色一道本综合婷婷| 人妻久久久久久久 | 无码任你操| 日本啪啪网| 另类激情五月在线视频欧美| 日韩成人精品中文字幕| 天天综合五月天| 亚洲人成网亚洲欧洲无码久久| 亚洲五月婷天天操| 九九无码| 五月天色丁香| 99热只有精品在线| 777丁香六月青青草婷婷综合久月 五月丁香综合伦理片 | 综合网激情| 99精品在线观看| 久久五月天影院| 综合久久影院| 91婷婷丁香| 欧美97p| 五月婷精品| 狠狠色综合网| www.五月天婷婷| 婷婷九月激情网| 五月丁香六月婷婷网| 国产精品成人在线| 色五月婷婷天堂| 久久久人妻不卡| 九九性视频| 狠狠狠狠狠干| 婷婷99热| 久久久五月激| 亚洲成人综合在线| 欧美天堂久久| 久久九九免费视频| 99在线精品免费视频| 888久久久| 快乐激情五月色婷婷| 亚洲中文乱字字幕线在永久| 亚州色色色| 久草婷婷视频| 色五月婷婷大| 久久精彩免费视频| 思思热闹这里只有精品| 日韩欧美成人片| 色五月噜噜| 综合激情五月综合激情五月激情1| 色情综合网| 亚洲激情AV| 久久综合影院| 婷婷五月天激情综合深爱| 亚洲激情97五月天| 婷婷丁香花五月天| 亚洲精品乱码久久久久99| 五月丁香六月成人| 久久婷婷午夜| 狠狠久久婷五月综合色| 五月婷婷激情| 国产精品成人在线| 久色网| 超碰AV成人| 伊人久久大香网| 五月天综合在线| 爱iii做iiii日日| 天天色,天天操,天天射| 99热这里只有精品99| 超碰不卡在线| 色五月欧美| 婷久久综合| 丁香五月婷婷成人色区| 性一交一乱一交A片久| 色999五月色| 99精品在线| 亚洲成Av人片乱码色第1集| 日本五月视频| 亚洲中文AV网站| 国产婷婷五月天| 大香蕉 婷婷| 这里只有精品视频看看| 99热综合在线观看| 五月激情婷婷开心| 99精品久久久久久| 欧美成人色婷婷| 激情涩播| 亚洲精品性色| 99精品网址| 激情五月五月婷婷| 人人操女人| 99色在线视频| 九九碰九九爱97超| 欧洲色区| 天天舔天天摸视频| 色爱综合五月| 五月丁香激情四射| 超碰免费99| 婷婷香蕉| 玖玖精品视频99| 欧美久久久中文字幕| www.亭亭五月天| 婷婷六月天| 色婷婷综合影院| 久久综合播放| 操碰91| 亚洲小电影在线观看黄999| www婷婷| 久久久精品AV| 99热综合| 激情综合另类| xxxx久| 天天爽天天摸天天爱| 色婷婷女优有码五月亭| 超碰日日操| 婷婷综合欧美| 先锋影音男人的天堂AV| 99色色色色| 九热免费视频| 风流少妇A片一区二区蜜桃| AAA亚洲AV| 停停五月色宗合| 成人网站在线观看视频| 亚色网站小视频| 任你弄在线视频免费| 99爱视频| 欧美A级网站| 777米奇影视第四色| 六月婷婷在线视频| 五月丁香色色综合| 婷婷色六月| 丁香成人五月天| 色婷婷激情视频| 九伊人网| 日韩成人无码| 超碰在线9| 丁香五月婷婷呀| 久久婷婷色综合老司机| 色婷婷基地| 婷婷成人丁香色情基地30| 色婷婷久久视屏| 99九九在线精品热动漫| 五月丁香婷婷激情图片| 91狠狠色丁香婷婷综合久久| www夜夜操com| 久久黄色网扯| 色噜噜狠狠色综合网| 色欲一区二区三区精品A片| 久久九九色| 色狠狠狠干| 色很久综合| 婷婷综合在线| 五月婷婷黄色| 另类激情首页| 狠狠另类视频| 十区AV| 亚洲婷婷五月天| 99综合一区| 欧美大片免费播放器| 天天色天天日天天舔| 国产va在线视频| 丁香婷婷影院| 免费无码毛片一区二区A片| 可以看的av网站| 婷婷色香六月综合激情| 亚洲国产网站| 久cao香蕉影院| 丁香五月激情网| 俺去也在线www色官网| AV伊人青草丁香六月| 一起肏在线视频| 色吧婷婷五月亚洲| 日日夜夜干| 97色婷| 丁香五月成人婷婷| 丁香婷婷噜噜| 99热这里只有免费精品| 情涩婷婷五月天| 欧洲亚洲最新精品| 五月丁香六月婷婷啪啪综合 | 五月激情婷婷丁香天堂| 噜噜噜精品欧美成人在线观看| 五月丁香六月激情综合网| 亚洲一级AV在线免费播放| 九九99精品免费播放| 欧美五月婷婷| 五月成人天| 伊人婷婷青青cao| AV在线大香蕉| www.精品久9| 在线不卡的视频| 成人无码髙潮喷水A片| 伊人91| 亚洲va综合va国产va中文| 99er精品视频| 精品久久久久久久人妻| 国产精品久久7777777精品无码| 久久亚洲色导航| 婷婷五月天视| 99精品视频网站| 婷婷免费视频| 91在线操| 亚洲另类视频| 九九色色| 1024手机在线观看看片_日韩精品| 啪到高潮激情丁香五月| 亚洲天堂青草| 夜夜综合色| 日韩99色99| 亚洲激情综合| 久9无码视频| 五月婷婷啪| 久久99综合网| 二色AV| 天天射美女| 五月天网站亭亭| 激情五月婷婷啪啪| 日韩AV大全| www.夜夜| Av九九| 人人爽在线视频综合网| 熟女网站久久| 色综合久久88| 中文网av| 色综合久久88色综合天天看| 91久久免费| 九色综合网| 超碰免费观看| 中文字幕黄色电影网址| 99精品人人| 九九色逼| 亚洲婷婷丁香五月视频| 天天干天干| 五月天啪啪网| 丁香六月久| 99久久婷婷精品视频| 欧美97p| 中文字幕有多少字| 成人精品人妻| 亭亭玉月丁香| 婷婷色五月91啪啪| 六月激情网| 色99无码| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 久久五月六月| 天天摸人人摸| 99热在线中文字幕| 国产熟妇的荡欲午夜视频| 精品香蕉99久久久久网站| 991自拍视频| 丁香五月香蕉| 日韩久久这里只有精品| 五月婷婷色影院| 午夜天堂一区人妻| 狠狠爱深色婷婷综合| 激情综合色播| 久久女婷| 在线不卡的视频| 婷婷五月综激情| 情婷婷五月天在线| 亚洲色五月婷婷| 色欲婷婷五月天| 色五月婷婷婷婷| 97婷婷丁香| 色色色色色色色色色影院| 激情亭亭五月| 亚洲乱码成人| 婷婷射图| 美女视频图片久久91| 激情av| 深爱1激情网| 五月天伊人网| 东京热免费视频网站| 国产精品五月丁香| 五月丁香啪啪激情| 天天操精品| 六月激情婷婷综合| 大香蕉综合网| 99热在线看片| www.99热. com这里只有精品| 涩五月婷婷| 亚洲亚洲人成综合网络| 最新高清无码专区| 在线中文字幕免费视频| 色情五月婷婷| 色久综合| 亚洲综合婷婷六月丁香五月| 天天玩天天摸| 无码激情| 五月天激情美女久久| 色玖玖导航| 日本熟女啪啪| 五月色婷婷激情| 99无码视频| 99免费热视频在线| 丁香五月六月婷婷综合| 九九99热精品| 五月婷婷激清网| 亚洲精品视频在线播放| 中文字幕在线播放视频| 97碰碰在线观看视频| 五月丁香亭亭A片| 97色色色色色色色色色色色色色| 亚洲激情网| 色色色色五月天| 99热免费| 久久亭亭电影| 伊人婷婷五月| 五月天激情色色| 色婷婷六月激情| 激情性爱五月天网页| 老司机日日夜夜青草| 国外亚洲成AV人片在线观看| 久久小说网| 久久久GOGO无码啪啪艺术| 99国产精品久久久久久久久久久 | 日本九九九九九九| 丁香综合网| 国产又色又爽又黄又免费| 伍月婷丁香婷| 天天插天天干| 草美女在线观看视频在线播放| 91ncm视频| 久久综合影院| 久久久精品AV| 久操热| 日韩人妻无码专区| 91婷婷丁香五月天免费视频网站| 日本美女上人| 五月天大香蕉| 激情开心五月天| 77799热| 久久精品一区二区三区四区| 婷婷色五月色妇| 国产高清av黄色看片| 天天射天天射一道本日本社区 | 国产精品天天狠天天看| 午夜无码精品色综合久久| 丁香五月激情五月| 五月丁香六月婷婷亚洲激情综合| 精品亚洲国产成AV人片传媒| 丁香五月停停av| 婷婷97C| 第四色首页| 九月色婷婷综合| 色九月婷婷综合| 9 1在线视频| 51XX午夜影福利| 亚洲综合字幕色色| 熟女人妻一区二区三区免费看| 天天cha成人综合网| 激情AV综合| 日日杆天天| 996er热| 99熟女| 丁香五月欧美色综合| 丁香五月婷婷高清| 免费黄色视频网址| 丁香五月天激情综合网| 五月丁香六月婷婷久久| 超碰人人操人人干| 狠狠狠人妻| 中文字幕亚洲-区久久99婷婷| 色婷天天| 色综合xx| 丁香 亚洲 久久| 天天操天天操天天操天天操天天操| 婷婷综合五月天激情| 亚洲天堂碰碰婷婷| 亚洲热视频在线| 另类激情五月天| 97久久久久| 碰超亚洲| 99热这里只有精品在线| 丁香色五月天| 天天日人人| 久热超碰91| 久久丁香五月| 婷婷噜噜| 第四色激情网| 婷婷五月在线视频| 婷婷6月综合网| 五月丁香天堂| 五月天丁香| 99综合| 狠狠擼综合| 1区2区视频| 久久久宗合视频88| 亚洲激情婷婷| 九九视频这里只有精品| 五月花成人网| 草一草avb| 婷婷香蕉视频| 1024操逼| 99精品网| 99riAv1国产在线观看| www.色擼擼.com| 激情文学 综合 色| 91精品又长又大又粗又爽又猛| 亚洲愉拍99热成人精品| 无码任你操| 色爱99| 深爱五月网| 色婷婷五月天激情在线播放| 色欲婷婷五月天| 六月色婷婷综合影视| 丁香五月影| 久久五月天婷婷| 色久女| 五月色综合网| 丁香五月六月激情久久| 26uuu欧美亚洲日韩| 玖玖视频福利| 久久婷五月综合| 亚洲爱婷婷| 久婷婷久草| 亚洲亚洲人成综合网络| 香蕉久久国产AV一区二区| 天天综合网91| 成人va视频| 终合激情网| 狠色狠色综合久久| 午夜九九电影| 五月丁香六月婷婷在线小说视频| 久久丁香| 婷婷亚洲影院| 丁香九月激情| 伊人www22综合色| 99热超碰天堂网| 久久婷婷的综合色丁香五月| 亚洲一二三网| 五月丁香婷婷五月色| 亚洲精品第一色色色色色色| 天天干,夜夜爽| 丁香五月天堂网| 丁香激情网| 伊人五月天在线| 青草久久五月婷伊人| 婷婷五月天伊人在线| 色九九综合| 色啪影院| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 噜噜精品| 五月激激激情综合网| 五月天五月婷五月激情网| 婷婷丁香五月噜噜噜| 五月丁香婷婷六月天| 停停色综合伊人| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 五月丁香色色综合| 综合久久99| 久久这里只精品66| 亚州激情网站无码| 伊人青草成人| 99免费视频精品| 五月婷婷开心亚州在线| 色色色色色色网站| 丁香五月AV| AV堂狠狠干| 99色色网站| 五月丁香婷婷激情在线| 五月天成人在线| 婷婷涩涩五月天| 五月激情婷婷国产精品久久久久久| 可以直接看的av| 99九九热在线观看| 婷婷狠狠操| www.婷婷六月天| 色五月丁香A欧美com| 五月丁香久久激情综合| 91性人人| 97热视频| 99热这里只有精品98| 五月 丁香 欧美| 天天爽综合| 色播五月婷婷| 五月丁香综合在线| 欧美精品在线观看| 色婷婷四虎| 六月丁香综合| 婷婷六月色| 色综合xx| 亚洲六月婷婷| 五月婷在线| 五月丁香| 91热久| 久久视频婷婷视频| www,欧美干干干干干干| 日本色色视频| 一本久道综合色婷婷五月| 成人国产欧美大片一区| 亚洲欧美国产A片免费观看| 激情婷婷五月| 日逼免费视频 | 国产小网站| 97人人射| 五月开心激情网| 99热青青草| 成人做爰高潮A片免费视频| 五月J香蕉婷婷| 丁香婷婷色色| 婷婷六月丁香色| 丁香激情五月| 无码免费人妻A片AAA毛片西瓜| 激情综合另类| peg 2区三区四区的| 亭亭五月色男人| 99热这里是精品| 午夜在线成人网站免费观看| 99久.| 123日本不卡在线| 色呦呦美女| 秋霞电影理论| 日韩成人综合网| 五月天婷婷青青草| 五月天社区| 激情五月开心五月丁香五月| 五月婷婷成人| 欧美色色日韩| 五月激情综合五月| 99精品在线观看视频| 激情98色婷婷五| 久久色婷婷| 天天操夜夜爽歪歪| 亚洲综合五月天婷婷丁香| caopeng97人人| 色青青五月| AA丁香综合激情| 1囯产午夜仑鲁鲁| 色情五月天首页| 婷婷亚洲天堂| CAOBIBI| 99久久精品网| 国产亚洲在线观看| 亚洲操精品| 五月婷婷基地| AA片在线观看视频在线播放| 婷婷五月天激情网| 激情小说婷婷| 国产欧美精品AAAAAA片| 思思热天天看| 棕合影院色色| 亚洲色综合色网| 婷婷五月综合激情小说| 国产色色视频| 丁香六月啪啪啪| 婷婷五月情| 91人人看| 精品色色网| 久久五月综合| 色色综合无码| 丁香五月婷婷激情网| 99热99在线精品| www.五月丁香av| 99久久九九| 超碰超碰在线| 色色色色色色色色色色色色色97| 高清a片基地| 丁香成人综合| 五月婷婷性爱| 婷婷色婷婷亚洲成人| 大香蕉99热| 欧美内射AAAAAAXXXXX| 性爱动图国产麻豆一区二区三区 | 婷婷五月天综合激情| 超碰在线观看9| 综合九九中文字幕| 99热色精品| 丁香五月很很肏| 亚洲婷婷激情五月天| 久久久久久久11111111111| 久久性爱视频免费| 少妇人妻人伦A片| 狠狠艹狠狠艹| 九月丁香| 天天噜天天爱| 公的粗大挺进了我的密道| 亚洲丁香婷婷五月天综合色| 五月丁香六月婷| 五月婷俺去也| 思思久久精品| 久久综合这里只有精品1| 思思热精品在线| 97人人射| 丁香五月社区| 五月婷婷色丁香| 无码人妻精品一区二区蜜桃色欲| 五月天社区| 色婷婷视频在线| 日日骑夜夜撸| 国产美女无遮挡裸体毛片A片| 99在线观看这里都是精品| 国产成人精品一区二区三区视频 | 欧美人与性动交CCOO| 五月婷婷和六月| 久久人人妻| 99爱欧美| 能看的AV| 91小黄书网址在线观看| 欧美一级毛卡片无码| 99看片| 色五月婷婷综合在线| 亚洲美女高潮久久久久久69| 青草青草久热这里只有精品| www.久久爱| 99热精品一区| 欧美日韩成卜| 激情五月色播五月| 色色五月天丁香婷婷| 思思热精品在线视频| 丁香五月亭亭六月综合激情网| ..真实国产乱子伦对白在线_欧 | 97超碰在线免费观看| 人妻狠狠操| 亚洲亚洲人成综合网络| www.开心激情| 国产精品操| 色五月丁香五月| 26UUU在线观看| 天天透天天干| 人妻人人操| 亚洲五月天,激情视频| 成人午夜天| 五月丁香婷婷成人网| 五月丁香婷婷综合视频| 五月丁香综合在线| 99只有这里是精品| 人人操操| 9999久久久久| 五月婷婷婷婷| 丁香五月婷婷激情小说| 婷婷色色网站| 黄色成人网站在线播放| 性小说五月天| 人妻激情网| 五月丁香综合在线| 激情五月天www| 九九色欲网| 亚洲12p| 婷婷五月天网址| 欧美激情xxxXX| 亚洲国产黄色电影| 九月激情综合婷婷| 欧美色骚婷婷五月天| 久久婷婷六月综合| 九九久久99| 国产美女无遮挡裸体毛片A片| 99国产精品久久久久久久久久久 | 色色五月天 亚洲| 香蕉人在线香蕉人在线 | 综合久久97| www.色五月| 色婷婷免费观看| 欧美Va在线| 91viP在线看| 九九成年视频| 久久人人看| 国内外色色色色色成人视频| 日本ww亚洲| 丁香五月婷婷高清| 超碰狠狠操| 99精品视频在线观看| 亚洲性天天| 激情 婷婷| AV大片在线播放| 日本久久综合| 色色色com| 激情久久五月网| 久久精品婷婷| 色婷亚洲| 草草色情综合网| 婷婷五月情| 婷婷色操| 五月激情六月婷婷| 久这里只有精品99| 久久 中文 日本| 激情综合久久| 婷婷五月丁香91| av操一操| RenRenSe在线视频网站| 欧日美女Va| 在线你懂的亚洲欧| 野外99热| 五月婷婷影视| 337午夜福利| 久久98| 丁香久久| 99热这里只有精品99| 婷婷五点亚洲| 人人爱天天摸摸天天爱| 人人爱操| 99色久| 亚洲黄网在线| 九九九九精品精| 香蕉视频91| 开心婷婷五月中文字幕组| 九色视频这里只有精品| 五月婷婷激情综合在线| 国产综合色婷婷精品久久| 欧美啪啪9| 亚洲婷婷丁香五月| 91九色 熟| 丁香五月天91| 五月日韩中文字幕| 国产成人精品一区二三区熟女在线| 国产午夜一区二区三区| 91久久综合亚洲鲁鲁五月天| 色偷偷色婷婷| 99性视频| 五月天久久网站| 99热99热不卡| 综合色色婷婷| 丁香婷婷啪啪啪| 六月丁香五月激情婷婷| 丁香五月狠狠综合欧美| 欧美激情xxxXX| 第二色AⅤ| 99惹| 中文字幕丰满乱孑伦无码专区| 97综合在线| 97人妻碰碰碰久| 91久久1118| 激情丁香婷婷六月天| 久久五月丁香婷婷| jiqingtaose五月天| 九九AV| 欧美欧盟性爱网| 五月丁香色色综合| 五月丁香激情婷婷综合字幕| 五月婷丁香在线视频在线| 婷婷黄色五月天在线视频| 五月色丁香成人| 色五月开心五月激情五月| 丁香八月综合激情| 99热这里只有的精品视| 丁香 婷婷 亚洲 熟女| 天天日,天天插| 国产美女视频久| 99热最新精品| 九月丁香| 五月婷婷色| 大香蕉综合视频在线| 99爱在线| 婷婷激情五月视频| 8区视频在线| 久久这里只精品66| 丁香五月综合福利视频导航| 99er6| 色色网站免费观看| 婷婷婷婷婷开心无码播放| 99热亚洲| 99色综合| www.99操.com| 久操97| 成片免费观看视频大全| 色色色色色色色综合| 色情久久久| 99综合视频| 99亚州综合精品成人网| 中文字幕免费高清电视剧| 五月婷无码| 婷婷九月亚洲| 久热这里这里有精品| 色五月婷婷在线视频| 99热这里只有精品3| 欧美狠狠色| 五月色婷婷影院| 狠狠干综合| www.久久久久久久久久.com| 亚洲色图五月丁香| caopeng超碰| 欧美激情综合色综合色| 9l视频自拍九色9l视频在线观看| 综合网亚洲| 97超碰9久热婷婷热| 欧美六月| 色色亚卅| 91丨九色丨熟女| 久久久亚洲精品一区二区三区浴池 | 五月综合激情| 激情骚五月| 91精品久久久久久综合五月天| 丁香六月婷婷高清| 99色色视频| 免费看欧美成人A片无码| 9 1在线视频| 思思视频精品| 天天色天天日天天舔| 一本色道久久88综合日韩精品| 狠狠 久久| 涩涩涩,com| 五月天色五月| 五月天激情国产综合婷婷| 激情综合色婷婷啪啪五月天| 欧美精产国品一二三区| 五月丁香基地| 婷婷五月天综合在线| 五月天婷婷激情四射综合| 日韩色色小视频| 天天日本夜夜谢| 亚洲国产无线乱码在线观看| 日本99在线| 婷婷涩五月天综合| 婷婷综合网| YW无码| 深爱开心五月天| 六月久久婷婷| 九色综合网| 亚洲色爽| 在线成人网址| 日本丰满久久| 狠狠婷婷爱| 日本99视频| 日都一级A片| 99在线观看这里都是精品| 久久金品黃色| 伊人九九68| 99在线爽| 综合久久综合| 7777精品伊人久久久大香线蕉最新版| 久久6这里只有精品| 国产精品视频| 日日操夜夜操中国无码| 色色网站免费观看| 丁香色婷婷| 狠狠爱婷婷丁香| 五月天激情小说欧美激情| 国产偷人爽久久久久久老妇APP | 六月丁香色色色| 天天色天天爱天天爽| 日日夜夜天天| 777色婷婷爱五月| 九九青草热| 亚洲视频码| 亚洲狠狠操| 国产精品国产成人国产三级| 九九九九国产| www,超碰| 色婷婷综合影院| 干婷婷五月天| 五月天色色色| 丁香五月在线人妻| 丁香五月婷婷超碰在线| 夜夜爱网站| 久久婷婷五月激情综合| 久久停停超碰| 婷婷午夜天| 亚洲综合激情五月久久| 色涩影院六月丁香| XXXX岛国| 操人久久| 欧美黄色一级录像| 色色九九五月天| 成人久久天天x资源站| 五月婷婷成人| www.99热在线| 色婷婷aV四虎| 十月色综合| 午夜亚洲AV日韩无码| 丁香久久AV| 亚洲精品又粗又大又爽A片| 狠狠操之狠狠操| 丁香婷婷激情| 華人性愛AV在線| 99在线免费观看| 天天日夜夜夜操操操操| 欧美丰满熟妇BBB久久久| 激情的五月| 色五月激情五月| 婷婷成人综合免费视频| 婷婷大香蕉| 婷婷色五月亚洲| 最新无毒无码AV| 99久久综合精品五月天| 久久成人亚洲欧美电影| 天天操天天日天天操| 综合超碰熟| yazhouzonghesese| 国产毛片精品一区二区色欲黄A片| 玖玖九九99| 色婷婷五月天无码视频| 26uuu亚洲欧美日本| 超碰啪啪网| 婷婷娌伦网| 精品久久9| 亚洲综合久| 99资源在线视频| 六月综合婷婷开心伊人| 99超在线| 欧美顶级少妇做爰HD| 天天日天天舔天天摸| 久久激情视频| 日本激情五月天‘| 日本三级成人秘书精品片| 激情婷婷狠狠干| 五月婷婷综合天天操| 九九大香蕉黄色影院| 99热乎| 六月婷婷色综合| 激情网狠狠干| 狠狠ri| 综合色影院| 亚洲精品乱码久久久久久按摩观| 国产亚洲精品AAAAAAA片| 五月花综合视频| 色综合久久44| 天天爽天天爽| 午夜激情五月天| 99热在线精品观看| 国产精品天天狠天天看| 婷婷五月天激情AV影院| 久久网婷婷| 激情五月天色色| 思思热精品在线视频| 人人草成人视频| 九九九九这里只有精品| 色99网|