欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網運營的一線實戰(zhàn)洞察。

Python零拷貝實戰(zhàn):用sendfile/splice重構高并發(fā)網絡I/O棧

Python零拷貝實戰(zhàn):用sendfile/splice重構高并發(fā)網絡I/O棧 1. 為什么Python在高并發(fā)網絡下總是差一口氣我最早注意到這個問題是在做一個文件分發(fā)服務的時候。單臺機器用Go寫的版本能輕松跑滿萬兆網卡而Python實現的版本CPU占用已經接近100%吞吐量卻只有前者的三分之一左右。當時第一反應是Python太慢一度動了換語言重寫的念頭。但后來仔細排查才發(fā)現問題的核心根本不在于解釋器執(zhí)行字節(jié)碼的速度而在于數據在用戶態(tài)和內核態(tài)之間反復拷貝的次數。Python每一次read()調用數據都要從內核緩沖區(qū)復制到用戶態(tài)緩沖區(qū)等應用處理完再通過write()復制回內核緩沖區(qū)。對于純轉發(fā)的場景比如HTTP靜態(tài)文件服務、代理轉發(fā)、消息隊列的持久化寫入數據根本沒有必要經過用戶態(tài)。一次本來只需要兩次DMA拷貝就能完成的數據搬運硬生生多出了兩次CPU參與的內存拷貝。數據量小的時候差距不明顯一旦單次傳輸超過幾十KB、連接數上來這幾趟多余的拷貝就是壓垮性能的最后一根稻草。這也是為什么大文件傳輸場景下Python表現特別糟糕假設傳輸1GB文件標準read/write路徑會產生約2GB的用戶態(tài)內存拷貝量而CPU每做一次內存拷貝都要占用時鐘周期和總線帶寬。內核態(tài)和用戶態(tài)之間的上下文切換次數同樣驚人每一次系統(tǒng)調用都可能觸發(fā)調度、緩存失效和TLB刷新。把這一切疊在一起問題就遠不是解釋器慢能解釋的了。這篇文章我不會去講那些用C擴展繞過GIL的戲法而是聚焦在真正能解決數據搬運問題的一套方案上利用Linux內核提供的sendfile和splice等零拷貝系統(tǒng)調用在Python中通過os.sendfile和socket組合對網絡I/O路徑做一次徹底的棧重構。最終效果是我在實測環(huán)境里單連接大文件傳輸的CPU占用降低了約70%吞吐量提升了2-4倍整體系統(tǒng)的并發(fā)支撐能力也有質的改善。這套思路不光適用于文件傳輸任何數據從A口進、B口出的服務——反向代理、日志中轉、流媒體切片——都有直接借鑒價值。2. 先把零拷貝這件事徹底說透2.1 傳統(tǒng)I/O路徑中那趟多余的郵差要理解零拷貝的價值得先看清傳統(tǒng)路徑的每一站。假設一個最簡單的靜態(tài)文件發(fā)送場景磁盤上的file.bin要通過Socket發(fā)給遠程客戶端用Python寫出來的標準代碼大致是with open(file.bin, rb) as f: while chunk : f.read(65536): conn.sendall(chunk)這行代碼在這中間到底發(fā)生了什么先看f.read(65536)這一步數據從磁盤進入內核頁緩存Page Cache這是一次DMA拷貝。然后內核把數據從Page Cache復制到read()調用指定的用戶態(tài)緩沖區(qū)這是一次CPU拷貝。數據到達用戶態(tài)之后conn.sendall(chunk)又發(fā)起一次系統(tǒng)調用內核把用戶態(tài)緩沖區(qū)的數據復制到內核Socket發(fā)送緩沖區(qū)這又是一次CPU拷貝。最后網卡驅動從Socket緩沖區(qū)把數據通過DMA搬運到網卡這才真正出得去。一趟流程下來4次拷貝2次DMA、2次CPU參與中間還穿插著4次用戶態(tài)-內核態(tài)模式切換。其中兩次CPU拷貝純粹是把數據搬進用戶態(tài)再搬出去應用代碼根本沒有對數據進行任何加工。這就像寄一封信你不打開信封郵差卻非得把信取出來給你過目一遍再塞回去重新封好才繼續(xù)送——純粹的浪費。2.2 零拷貝的真實含義繞開用戶態(tài)這趟折返零拷貝的核心思路不是不做拷貝而是減少甚至消除需要CPU參與的、經過用戶態(tài)的內存拷貝。內核里真正無法省掉的兩份拷貝是磁盤到Page Cache、Page Cache到網卡這兩段DMA拷貝——DMA是硬件直接做的數據搬運不消耗CPU指令周期效率極高。通過零拷貝我們把兩次CPU拷貝和對應的上下文切換直接省掉。Linux提供兩條主流路徑sendfile()直接在Page Cache和Socket緩沖區(qū)之間建立數據傳輸通道內核幫你完成數據搬運。適合磁盤文件直接發(fā)往Socket這種場景這是最經典的一趟直達。splice()更底層的機制在兩個文件描述符之間移動數據且不需要任何一方是磁盤文件。它借助管道這個數據中轉站在不經過用戶態(tài)的情況下完成流轉。只要能拿到文件描述符splice就能在它們之間搬運數據比如從Socket到Socket、從設備到Socket。sendfile本身其實可以被視為splice的特化實現但兩者在Python中的可用性和使用方式有差異。生產環(huán)境里優(yōu)先用os.sendfile因為它在Python 3.3之后被納入標準庫跨平臺支持也相對穩(wěn)定Linux、macOS、FreeBSD都有。splice沒有直接的Python標準庫封裝需要通過ctypes或者像pyroute2這類庫來間接調用系統(tǒng)調用門檻略高但靈活性更強。下表是兩條路徑的能力對比特性sendfilesplice數據源限制必須支持mmap的文件磁盤文件任意文件描述符Socket、設備、管道目標限制通常為Socket任意文件描述符Python標準庫支持os.sendfile開箱即用無直接封裝需ctypes或第三方庫大文件傳輸效率極高尤其適合文件分發(fā)高適合管道式的數據流轉多線程安全性加鎖后可靠注意管道緩沖區(qū)壓力和消費速度2.3 數據路徑重構一套完整的無拷貝鏈路用sendfile重構之后同樣是一個文件發(fā)送場景數據路徑變成了磁盤到Page CacheDMA拷貝然后內核直接把Page Cache中的數據段交給Socket緩沖區(qū)不經過用戶態(tài)最后DMA到網卡。全程只有兩次拷貝、兩次上下文切換CPU參與度大幅降低。有人會問sendfile在傳輸大文件時內部是不是一次性把整個文件塞進Socket緩沖區(qū)不是內核會按照Socket緩沖區(qū)的大小自動分片循環(huán)搬運。傳給內核的count參數是指最多搬運多少字節(jié)而不是一次性搬完。這個細節(jié)在后面寫代碼時很重要——一個文件可能是好幾個TB但每次搬運的內存占用完全可控。更值得留意的一點是Page Cache是內核全局共享的。如果同一個文件被N個并發(fā)連接同時請求傳統(tǒng)read/write路徑每個連接都要做一次Page Cache - 用戶態(tài) - Socket緩沖區(qū)的拷貝sendfile路徑下第一份數據從磁盤讀入Page Cache的DMA拷貝只發(fā)生一次后續(xù)所有連接都從已緩存的Page直接搬運到各自SocketCPU拷貝直接消滅。這也是為什么CDN和靜態(tài)文件服務器幾乎都會把sendfile作為標配——它天然解決了多位讀者共享同一份熱數據的效率問題。3. 動手重構從標準庫API到完整實現3.1 環(huán)境準備與內核特性確認動手之前先確認運行環(huán)境的Linux內核支持相關系統(tǒng)調用。sendfile從Linux 2.2就開始存在絕大多數發(fā)行版都穩(wěn)得很。splice從Linux 2.6.23加入主流服務器內核基本也都支持。要確認當前內核版本可以用uname -r # 例如輸出6.8.0-40-genericPython側的標準庫接口更簡單os.sendfile在Python 3.3起就內置了。我用的參考測試環(huán)境是Python 3.11 Ubuntu 22.04內核5.15在Debian、CentOS、Rocky等系統(tǒng)上的行為基本一致。有一點需要提前提醒macOS雖然也有os.sendfile但行為與Linux有差異它要求目標必須是一個真Socket文件描述符且不支持某些深層次參數Windows則根本沒有這個API。如果你要在生產環(huán)境部署務必確認目標服務器是Linux不要在Windows容器上白白踩坑。3.2 用os.sendfile替換read/write循環(huán)先看最基礎的文件到Socket發(fā)送實現。傳統(tǒng)寫法是import socket def send_file_classic(sock: socket.socket, file_path: str) - None: with open(file_path, rb) as f: while chunk : f.read(65536): sock.sendall(chunk)換成os.sendfile后代碼是這樣import os import socket def send_file_zero_copy(sock: socket.socket, file_path: str) - None: with open(file_path, rb) as f: offset 0 file_size os.fstat(f.fileno()).st_size while offset file_size: sent os.sendfile(sock.fileno(), f.fileno(), offset, file_size - offset) if sent 0: # 說明暫時沒有更多空間可寫需要等Socket可寫 sock.wait_writable() # select/poll/epoll 觸發(fā) offset sent注意幾個關鍵點os.sendfile(out_fd, in_fd, offset, count)的前兩個參數順序容易記混——第一個是輸出文件描述符這里是Socket第二個是輸入文件描述符這里是磁盤文件。offset是文件中的起始位置。每次調用后必須手動累加已發(fā)送的字節(jié)數下次從新位置繼續(xù)。count是單次最多發(fā)送的字節(jié)數傳file_size - offset是一次性聲明我要把剩下的全部發(fā)完但實際返回值可能小于count因為Socket緩沖區(qū)可能暫時不夠用。返回0時不能簡單當作EOF在Socket阻塞的情況下返回0也可能意味著內核暫時拒絕繼續(xù)寫。這時候必須等待Socket變?yōu)榭蓪憼顟B(tài)再繼續(xù)調用否則會死循環(huán)空轉。等待可寫的寫法可以用selectors模塊封裝import selectors def wait_writable(sock: socket.socket) - None: selector selectors.DefaultSelector() selector.register(sock, selectors.EVENT_WRITE) events selector.select(timeoutNone) selector.unregister(sock)這段邏輯對于大文件傳輸尤其重要。文件有50GB一次調用肯定發(fā)不完中途Socket緩沖區(qū)會周期性變滿如果不等待可寫就反復調用sendfile會出現兩種情況要么sendfile頻繁返回0導致CPU忙輪詢要么直接觸發(fā)BlockingIOError。顯式等待可寫能確保每次sendfile都是在確實有空間時發(fā)起效率高得多。3.3 splice更自由的管道式零拷貝splice在Python里沒有現成標準庫需要手動封裝系統(tǒng)調用。我推薦直接通過ctypes調用libc中的splice實現方式如下import ctypes import os import socket libc ctypes.CDLL(libc.so.6, use_errnoTrue) # splice(fd_in, off_in, fd_out, off_out, len, flags) _splice libc.splice _splice.argtypes [ ctypes.c_int, ctypes.POINTER(ctypes.c_long), # off_in (可為NULL) ctypes.c_int, ctypes.POINTER(ctypes.c_long), # off_out (可為NULL) ctypes.c_size_t, ctypes.c_uint, ] _splice.restype ctypes.c_ssize_t def splice(fd_in: int, fd_out: int, length: int, flags: int 0) - int: result _splice(fd_in, None, fd_out, None, length, flags) if result 0: errno ctypes.get_errno() raise OSError(errno, os.strerror(errno)) return result使用場景一Socket到Socket的數據中轉。假設你在寫一個TCP代理讀到的數據不加工直接轉發(fā)到上游——按照傳統(tǒng)方式要先recv到用戶態(tài)再send出去兩次CPU拷貝純屬多余。用splice中間的管道緩沖區(qū)和用戶態(tài)緩沖區(qū)都繞開了import os def pipe_splice_socks(src_sock, dst_sock, pipe_fds, chunk_size65536): pipe_fds 是用 os.pipe() 創(chuàng)建的一對文件描述符 total 0 while True: # 先從 src_sock splice 到 管道寫端 n splice(src_sock.fileno(), pipe_fds[1], chunk_size) if n 0: break total n # 再從 管道讀端 splice 到 dst_sock while n 0: written splice(pipe_fds[0], dst_sock.fileno(), n) if written 0: raise OSError(splice write failed) n - written return total注意splice必須經由管道中轉這是Linux的設計約束。每次拼接的單位不要超過管道容量Linux管道默認64KB但也不是越小越好太小會放大系統(tǒng)調用次數太大則可能因為流控導致阻塞。實際測試中16KB到64KB之間的塊大小表現最穩(wěn)定。使用場景二磁盤文件到Socket的發(fā)送。其實這類場景我建議直接上sendfilesplice也能做但sendfile語法更簡潔、標準庫支持更穩(wěn)。只有一種情況值得考慮用splice你需要在傳輸過程中做即使不解析數據也要介入的處理比如限速、部分轉發(fā)、多目標扇出。splice的flags參數里有一個常被忽略的SPLICE_F_MOVE值1它暗示內核可以嘗試復用頁而不是復制頁在特定場景下能進一步減少拷貝。不過SPLICE_F_MOVE的效果依賴內核具體實現很多版本上它和普通路徑表現一致不用過度追求。3.4 融合成一個完整服務把上面的思路整合起來一個基于sendfile的靜態(tài)文件服務器可以做到非常精簡同時兼顧大文件與并發(fā)。我給出一個可直接運行的版本關鍵設計是每個連接一個線程線程內循環(huán)調用os.sendfile直到文件全部發(fā)送完畢。import os import socket import threading from pathlib import Path BASE_DIR Path(/srv/static) CHUNK 1024 * 1024 # 單次最多1MB避免單次調用占用過高 def handle_client(conn: socket.socket, client_addr): try: request conn.recv(4096).decode(utf-8, errorsignore) if not request: return path_part request.split(\r\n, 1)[0].split( , 2)[1] file_path (BASE_DIR / path_part.lstrip(/)).resolve() # 安全校驗必須位于 BASE_DIR 內 if not str(file_path).startswith(str(BASE_DIR.resolve())): conn.sendall(bHTTP/1.1 403 Forbidden\r\nContent-Length: 0\r\n\r\n) return if not file_path.is_file(): conn.sendall(bHTTP/1.1 404 Not Found\r\nContent-Length: 0\r\n\r\n) return file_size file_path.stat().st_size conn.sendall( fHTTP/1.1 200 OK\r\nContent-Length: {file_size}\r\n fContent-Type: application/octet-stream\r\n\r\n.encode() ) fd file_path.open(rb).fileno() # 保持文件句柄打開直到傳輸結束 offset 0 while offset file_size: sent os.sendfile(conn.fileno(), file_path.open(rb).fileno(), offset, min(CHUNK, file_size - offset)) if sent 0: conn.wait_writable() # 等待可寫 offset sent except (ConnectionResetError, BrokenPipeError): pass finally: conn.close() def start_server(host0.0.0.0, port8080): server socket.socket(socket.AF_INET, socket.SOCK_STREAM) server.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) server.bind((host, port)) server.listen(128) print(fserve on {host}:{port}) while True: conn, addr server.accept() threading.Thread(targethandle_client, args(conn, addr), daemonTrue).start()但要明確提醒這個每連接一線程的模型在Python的GIL約束下面對數千個長連接時會遇到線程上下文切換開銷過大的問題。更好的方向是結合asyncioloop.run_in_executor或者直接把零拷貝發(fā)送放到獨立線程池中。sendfile本身是同步阻塞的不適合直接丟進事件循環(huán)里把等待可寫這件事交給事件循環(huán)來調度才是優(yōu)雅做法。4. 實測對比性能提升背后的數據真相4.1 測試方法與關鍵參數為了驗證零拷貝的真實收益我做了一組控制變量的對比測試。測試環(huán)境是硬件Intel Xeon 8核 / 16GB內存系統(tǒng)Ubuntu 22.04內核5.15對象一個512MB的隨機生成文件客戶端同一內網的另一臺機器使用curl或自寫多連接壓測腳本對比三種實現經典read/write分塊發(fā)送64KB塊os.sendfile單線程發(fā)送協程線程池封裝后的os.sendfile并發(fā)發(fā)送我采用的是最簡單的測量方式先用perf stat看CPU開銷同時記錄端到端傳輸時間和總吞吐。為避免第一次請求的Page Cache冷啟動干擾結果同一文件先發(fā)送一遍預熱正式測試跑三遍取中位數。4.2 直觀結果CPU占用與吞吐量的逆轉單連接傳輸512MB文件的對比結果相當震撼實現方式平均耗時秒CPU占用率吞吐量MB/s經典read/write3.85約42%單核133os.sendfile1.21約11%單核423并發(fā)sendfile4線程1.15約36%多核分擔445有一個數據特別值得琢磨4線程并發(fā)方案明明多花了線程資源端到端時間卻沒有顯著縮短。原因在于單連接的數據傳輸瓶頸已經從CPU拷貝轉移到了磁盤I/O和網絡帶寬。512MB文件、萬兆內網環(huán)境下經典路徑的瓶頸是CPU在搬運數據sendfile路徑下CPU已經徹底空閑出來了瓶頸順理成章地變成了磁盤連續(xù)讀速度或者對端接收效率。后續(xù)我用兩個并發(fā)連接各傳512MB整個萬兆鏈路才被真正壓滿單核CPU依舊不到30%。更直觀的對比是CPU耗時曲線。經典實現里每次read和sendall都伴隨內核態(tài)切換perf統(tǒng)計中copy_user_enhanced_fast_string這類函數占掉了大量采樣點sendfile實現里這類采樣幾乎清零取而代之的是__sendfile64和網絡驅動相關調用。4.3 連接級穩(wěn)定性慢客戶端場景的坑說到網絡傳輸有個真實場景必須單獨提出來說慢客戶端。如果對端接收窗口極小比如只有64KB的接收緩沖區(qū)而服務端一上來就用1MB的count調用os.sendfile內核會根據Socket發(fā)送緩沖區(qū)實際可用空間調整實際發(fā)送量函數返回數會小于count。這一點在協議感知上沒有問題但如果你在服務端代碼里粗心地以為返回值count才算成功你的日志里就會出現各種傳輸中斷的假錯誤。我在壓力測試中就踩過這個坑用一臺低配虛擬機當客戶端模擬高延遲網絡服務端日志頻繁出現sent65536、count1048576這類不匹配數據。一開始我還懷疑sendfile有bug后來逐步打印返回值和errno才明白這是Socket擁塞控制的正常表現返回值永遠只是這一次被派發(fā)下去的字節(jié)數不代表對端已經收到。對應用層來說只需保證循環(huán)調用直到累計發(fā)送量等于文件大小即可不需要也絕對不能做任何發(fā)送完成后驗證對端收到的額外邏輯。另外sendfile在TCP連接上觸發(fā)EPIPEBroken Pipe錯誤時會直接拋出ConnectionResetError或BrokenPipeError。這個必須捕獲否則一個客戶端中途斷線會導致整個線程異常終止。5. 棧重構的設計取舍從手寫循環(huán)到事件驅動5.1 為什么需要重新設計網絡棧而不是只換一個函數很多看過上面代碼的讀者會問既然os.sendfile那么簡單把生產代碼里所有read/write替換成它不就完事了真相遠沒有那么簡單。零拷貝只是數據搬運鏈路上的一個環(huán)節(jié)網絡棧的重構意味著整個并發(fā)模型、錯控邏輯和緩沖策略都要跟著調整。舉一個我在實踐中的例子。原來的服務是經典多線程模型每個連接分配一個線程線程內部用阻塞Socket做read/write。這個模型在連接數低于500時還能穩(wěn)定運行但零拷貝追求的是高帶寬下的高效一旦把連接數拉升到3000以上線程上下文切換和GIL競爭立刻成了新的瓶頸。單純換函數解決不了第二個瓶頸。我的重構思路是把數據搬運從業(yè)務線程中徹底剝離交給一個專門的事件循環(huán)來調度。整體架構分為三層連接層使用asyncio管理連接生命周期處理握手、超時、斷線。搬運層封裝os.sendfile和splice為協程友好的異步任務通過asyncio.wrap_fd或loop.run_in_executor把阻塞調用交給線程池。策略層決定哪些數據走零拷貝路徑、哪些數據必須經過用戶態(tài)加工。只有完全透傳的數據流才有資格走零拷貝。5.2 asyncio sendfile融合實現直接給一個可行的異步發(fā)送實現。注意os.sendfile本身是阻塞調用直接放進事件循環(huán)會卡住整個loop所以必須跑到線程池中執(zhí)行import asyncio import functools import os async def sendfile_async(loop, output_fd, input_fd, offset, count): 通過線程池執(zhí)行sendfile避免阻塞事件循環(huán) return await loop.run_in_executor( None, functools.partial( os.sendfile, output_fd, input_fd, offset, count, ), ) async def send_file_over_asyncio(writer, file_path: str, loopNone): loop loop or asyncio.get_running_loop() with open(file_path, rb) as f: offset 0 file_size os.fstat(f.fileno()).st_size fd_out writer.get_extra_info(socket).fileno() while offset file_size: try: sent await sendfile_async( loop, fd_out, f.fileno(), offset, file_size - offset ) except BlockingIOError: await asyncio.sleep(0) # 讓其他任務運行 continue if sent 0: await asyncio.sleep(0.001) # 避免忙輪詢 continue offset sent class Sender: def __init__(self, loop): self.loop loop async def _wait_writable(self, writer): 核心技巧只有在Socket可寫時才派發(fā)sendfile sock writer.get_extra_info(socket) future self.loop.create_future() def on_writable(): if not future.done(): future.set_result(None) self.loop.add_writer(sock.fileno(), on_writable) try: await future finally: self.loop.remove_writer(sock.fileno()) async def send_file(self, writer, file_path): with open(file_path, rb) as f: offset 0 file_size os.fstat(f.fileno()).st_size while offset file_size: sent await sendfile_async( self.loop, writer.get_extra_info(socket).fileno(), f.fileno(), offset, file_size - offset, ) if sent 0: await self._wait_writable(writer) offset sent這段代碼里有幾個細節(jié)值得反復推敲BlockingIOError發(fā)生在Socket發(fā)送緩沖區(qū)完全滿、且Socket被設定為非阻塞模式時。asyncio默認會把連接設為非阻塞所以必須處理這個異常而不是拋給上層。await asyncio.sleep(0)不能替代add_writer等待。前者的本質是主動讓出執(zhí)行權但下一次sendfile仍然可能立刻觸發(fā)BlockingIOError后者的意思是I/O就緒后再喚醒沒有浪費任何輪詢周期。Writer對象需要通過get_extra_info(socket)拿到原始Socket指針然后調用其fileno()。不要試圖用writer.sock——不存在這個屬性。在這個模型中數據搬運不再依賴每個連接一個線程而是由事件循環(huán)統(tǒng)一調度真正阻塞的sendfile調用被分散到線程池執(zhí)行整個loop不會被某一個慢客戶端拖死。改造完成后我在保持2000個長連接的同時還能持續(xù)推送大文件服務端整體CPU占用只比空閑時高了不到8%。5.3 為什么要給是否走零拷貝留一條判定路徑零拷貝也不是萬能的它有一個硬約束數據不能被修改。一旦業(yè)務邏輯需要對內容做任何形式的加工——壓縮、加密、加統(tǒng)一響應頭、做流量審計——數據就必須回到用戶態(tài)。此時硬套sendfile反而畫蛇添足。我的策略層做一個簡單的判定函數def should_use_zero_copy(path: str, content_type: str) - bool: # 大文件且媒體類型適合透傳 if os.path.getsize(path) 1 * 1024 * 1024: return False # 小文件走普通路徑即可省得折騰 if content_type not in {application/octet-stream, video/mp4, audio/mpeg}: return False # 需要改寫內容的不走零拷貝 return True判定邏輯依據很簡單小于1MB的文件零拷貝的收益根本不明顯——一次普通read/write耗時微秒級省下兩次CPU拷貝的收益在總延遲里占比太小。而大文件、純透傳場景是零拷貝的主場這才值得動用它。這個判定函數放在請求入口處每次請求只需一次stat調用性能開銷可以忽略。6. 踩坑實錄零拷貝代碼中最容易翻車的五個細節(jié)零拷貝的收益很容易看到但它對底層的依賴也更深稍不留神就會踩進一些隱蔽的坑里。我把自己實測中踩過的、以及幫別人排查過的五類問題集中列出來具備典型性。6.1 sendfile的第一個參數順序把輸出描述符寫在前面、輸入描述符寫在后面這個順序真的特別容易被搞反。你可以用help(os.sendfile)看一眼簽名sendfile(out_fd, in_fd, offset, count)第一個是發(fā)送目標Socket第二個是讀取源文件。當初我重構代理轉發(fā)邏輯時誤寫成sendfile(file_fd, sock_fd, ...)報錯信息又晦澀OSError: [Errno 9] Bad file descriptor排查了很久才發(fā)現是參數順序反了。如果你也看到這個錯誤先檢查參數順序。6.2 文件句柄必須保持打開狀態(tài)os.sendfile要求輸入文件已經打開且處于可讀狀態(tài)。很多人習慣用with open(...) as f:的上下文管理器一旦縮進結束文件描述符立即關閉。如果把os.sendfile調用放在with塊外面會直接拋出OSError: [Errno 9] Bad file descriptor。正確的做法是確保整個傳輸循環(huán)期間文件句柄保持打開。6.3 不要混淆返回值與已確認字節(jié)數大規(guī)模并發(fā)壓測時若依賴返回值count來判斷是否發(fā)送完畢一定會在慢客戶端場景翻車。再次強調sendfile的返回值是本次內核實際上接受并派發(fā)到Socket緩沖區(qū)的字節(jié)數不是協議層的確認值。TCP的確認是異步的應用層無權也不應該同步感知。唯一的判斷依據是自己維護的offset是否到達文件末尾。6.4 ModuleNotFoundError背后的系統(tǒng)調用降級在macOS上os.sendfile雖然能調用但行為參數與Linux大不相同某些flags會直接不被支持。而更隱蔽的是某些老舊Linux發(fā)行版比如CentOS 7早期內核3.10上雖然系統(tǒng)調用存在但如果文件系統(tǒng)是NFS、FUSE一類的特殊掛載可能不支持sendfile操作拋出EINVAL。遇到這類錯誤建議在代碼里做一個能力探測def sendfile_supported(fd_in: int, fd_out: int) - bool: try: import os os.sendfile(fd_out, fd_in, 0, 0) return True except OSError as e: return e.errno not in (22, 38) # EINVAL / ENOSYS6.5 零拷貝與TLS是一對天然冤家使用TLS/SSL封裝Socket時sendfile基本無法工作。TLS要求應用層加密數據這本身就違背了數據不過用戶態(tài)的初衷。實際測試中在SSL套接字上調用os.sendfile多數情況下會直接得到ENOTSUP。如果你的服務既有普通HTTP也有HTTPS需要在協議層就分流HTTP走零拷貝HTTPS走普通路徑。一個折中方案是把TLS終止在Nginx或Envoy等代理層由代理負責卸載TLS然后通過內網明文連接把文件交給Python后端處理。這變相把TLS和業(yè)務解耦了。7. 設計一套完整的零拷貝I/O棧從代碼到配置把上面的技術片段組合起來一套可落地的完整I/O棧設計可以總結為以下組件和原則。這里給出的配置是我在多個項目中反復驗證后的推薦值。7.1 架構總覽與關鍵組件管道Pipe是splice的中樞。每個需要中轉的連接對預分配兩個管道一個用于請求轉發(fā)一個用于響應轉發(fā)。管道的創(chuàng)建用os.pipe()默認容量64KB不需要額外調整但要注意數據量和管道容量的適配。Socket的緩沖區(qū)大小直接影響sendfile單次搬運量。把發(fā)送緩沖區(qū)調大到256KB以上sendfile的單次發(fā)送量才能吃滿1MB的count參數。默認的16KB-64KB緩沖區(qū)會限制每次返回的字節(jié)數無故增加循環(huán)次數。在Python中調整sock.setsockopt(socket.SOL_SOCKET, socket.SO_SNDBUF, 256 * 1024) sock.setsockopt(socket.SOL_SOCKET, socket.SO_RCVBUF, 256 * 1024)流量控制和背壓不能依賴橋接模塊自行處理。在splice場景中管道寫端產生一個背壓信號時依賴管道緩沖區(qū)自然回退——也就是說對端不發(fā)數據時本端sendfile返回0你需要等待可寫事件。如果業(yè)務流程需要消息級別限速可在splice循環(huán)內手動控制塊大小和間隔。7.2 給生產環(huán)境的一份參數清單以下是我經過多次壓測后確定的推薦配置值可直接抄作業(yè)參數推薦值說明sendfile單次count256KB-1MB太小則循環(huán)數多、系統(tǒng)調用頻繁太大則可能壓制背壓響應splice塊大小16KB-64KB匹配管道容量避免單次寫入過多導致阻塞等待Socket發(fā)送緩沖區(qū)256KB給內核更多空間搬運數據減少返回0的頻率線程池大小CPU核數*2run_in_executor的合理上限過大反而增加切換成本連接超時60-120秒避免慢客戶端長期占用線程池配額文件打開方式os.open(path, os.O_RDONLY)不經過Python內建的文件對象層少一層包裝7.3 和常見替代方案的具體比較重構過程中大家都繞不開一個對比為什么不直接用Nginx、Caddy這類原生支持零拷貝的靜態(tài)服務器而要寫Python這里必須承認如果項目只做靜態(tài)文件分發(fā)直接用Nginx是最佳方案沒有之一。Python介入的意義在于那些Nginx做不了或不好做的地方動態(tài)權限校驗、多路數據源匯聚、與業(yè)務系統(tǒng)深度集成。這類場景下用Python接管數據通道零拷貝就是必要的性能兜底。另一個常被提出的方案是用Cython或C擴展來封裝sendfile調用。實測下來純Python的os.sendfile開銷已經極低本質就是一次系統(tǒng)調用包裝C擴展優(yōu)化不了主要矛盾。更值得投入精力的方向是用io_uring這類異步I/O框架但那需要內核5.1和更高的開發(fā)成本不是所有團隊都值得引入。8. 進階玩法零拷貝與網絡協議棧的更多交互8.1 結合TCP_NODELAY與Nagle算法sendfile默認在內核中按TCP棧策略發(fā)送數據包和Nagle算法默認開啟配合時可能產生小包合并延遲。如果服務對低延遲有要求比如實時交互或流媒體分片播放建議顯式關閉Naglesock.setsockopt(socket.IPPROTO_TCP, socket.TCP_NODELAY, 1)但注意關掉Nagle后小包可能會增多輕微增加網絡總流量。對文件傳輸這類大包場景影響很小可以放心開啟。8.2 配合TCP_CORK提升批次效率Linux特有的TCP_CORK選項可以用來軟木塞住TCP發(fā)送隊列讓內核把多個sendfile調用產生的數據合并成更大的TCP段再發(fā)送。典型場景是響應頭和數據體分開發(fā)送時先sendall響應頭然后設置CORK之后連續(xù)多次sendfile最后解除CORK內核會把這堆數據合成一個更完整的TCP段發(fā)出去減少小包傳輸次數。# 偽代碼示意 sock.setsockopt(socket.IPPROTO_TCP, socket.TCP_CORK, 1) sock.sendall(header_bytes) os.sendfile(sock.fileno(), file_fd, offset, count) sock.setsockopt(socket.IPPROTO_TCP, socket.TCP_CORK, 0)8.3 在大流量下觀察內核行為sendfile在內核中執(zhí)行的路徑最終主要落入do_sendfile和splice機制中中間還涉及管道緩沖區(qū)的動態(tài)調整。如果想看清零拷貝是否真正生效可以用bpftrace追蹤sendfile系統(tǒng)調用bpftrace -e kprobe:do_sendfile { [comm] count(); }更實用的方式是直接觀察系統(tǒng)調用次數。同樣傳輸一個512MB文件strace -c python server.py結果里read/write路徑的read和write系統(tǒng)調用通常是上萬個sendfile路徑下sendfile調用次數只有幾千次。這個數量級的差異就是零拷貝最直觀的證據。9. 最后這套重構思路還能遷移到哪些場景零拷貝的原理和這套重構方法落實到代碼里不只是加速文件傳輸這一個用途。我在項目里陸續(xù)把它遷移到了三個其他場景效果同樣明顯。第一個是日志中轉服務。原先的架構是Python進程接收各個服務打來的日志寫進本機文件再同步到集中存儲。數據鏈路是網絡 - 用戶態(tài) - 文件每個字節(jié)都過一遍用戶態(tài)。改用splice后Socket進來的數據直接落進文件目標中間不經過Python業(yè)務代碼日志接收服務的CPU占用從40%峰值降到了5%左右。第二個是消息隊列的持久化落盤。Kafka、RabbitMQ等原生客戶端都做了很多優(yōu)化但用Python自研的消息管道里消息從Socket收進來、落到磁盤純粹是透傳路徑完全可以用splice打通。第三個是圖像和視頻切片分發(fā)。給監(jiān)控平臺做視頻回放時大文件按段切分后高頻讀取每一段都可走sendfile整體并發(fā)能力提升非常可觀?;仡^總結這套重構的核心心法把數據搬運和業(yè)務處理徹底解耦能讓內核做的就讓內核做業(yè)務代碼只碰真正需要碰的數據。這個原則不局限于Python不局限于文件傳輸它是網絡服務性能優(yōu)化的一條通用路徑。如果你正在被網絡吞吐上不去、CPU快打滿了這類問題困擾我建議從一條最簡單的文件發(fā)送鏈路入手改造用os.sendfile把第一個版本跑通再逐步引入事件循環(huán)和并發(fā)控制。當你親手看到系統(tǒng)調用次數斷崖式下降、CPU占用曲線明顯走平的時候你對性能瓶頸在哪里的理解就比絕大多數只會在應用層打轉的人要深刻一個層級了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香网五月天| 婷婷五月在线视频| 97超碰在线观看免费| 岛国AV网站| 久久久久久久久久久久63| 色噜噜狠狠色综无码久久合欧美 | 色色五月婷| 色国产五月| 97日本在线播放| 思思热视频在线观看| AV无码免费| 天天精品视频免费观看| Www.婷婷五月| 五月天婷婷爱| 中国女人做爰A片| 精品51XX| 六月婷婷av| 丁香五月婷婷基地| 99视频在线精品免费观看2| 99精品国产在热久久婷婷| 五月婷婷av| tingting五月天亚洲| 影音先锋男士资源网一区| 色天五月天在线观看视频| 久久婷婷综合网| 99久久综合| 色六月视频| 正宗黄色毛片| 九月色婷婷| 战争与艾拉电影免费观看| 丁香激情五月少妇| 久久激情视频| 五月天激情婷婷| 日日爱678| 丁香色婷婷色手机免费在线| 色5月婷婷色| 丁香激惜男女| www.久久久.com| 五月婷婷开心激情六月蜜桃| 超碰在线综合| 免费无码毛片一区二区A片| 五月婷婷六月丁香综合| 丁香五月天激情网址| 激情综合网婷婷五夜| 丁香六月综合激情| 五月香蕉综合| 秋霞AV美国| 99久在线观看| 激情小说五月欧美亚洲丁香| 丁香色五月直播| 热久综合| 九九热在线视频观看| 五月天婷婷久久综合| 免费九九热| 欧美日韩精品人妻狠狠躁免费视频| 色五月天成人| 日韩激情人伦人| 开心五月婷婷婷美女| 国产亚洲精品久久久久久郑州| 亚洲最大五月六月丁香婷婷| 91精品电影18T| 婷婷激情啪啪| 久9综合| 丁香五月网址| 亚洲第一第二网站| 色婷婷五月网| 98毛片| 婷婷99丁香| 天天爽天天爽| 国产99久久久| 久久99热免费最新版| 婷婷的五月天另类视频| 五月综合丁香婷婷| 婷婷色色宗合网| 91操人视频| 日韩人妻在线观看| 久久综合五月天| 俺也去综合| 激情丁香五月天综合| 日韩成人综合| 婷五月天| 丁香五月天堂亚洲社区| 日韩av变天就操逼不卡区| av中文在线| 99riAv1国产在线观看| 级人人91| 婷婷五月天97干| 久久九九色| 五月丁香综合中文| 天天做天天爱天天高潮| 五月丁香婷婷AV| 婷婷深爱网| 丁香五月自拍| 丁香六月婷月91婷月| 思思99久久| 2021日韩无码| 91精品综合久久久久久五月天| 欧美成人AAA片一区国产精品| 色色国产| 99热婷婷| 狠狠操狠狠插| 激情五月婷婷| 色五月情| 国产AV影片| 狠狠操狠狠| 亚洲综合99| 97久久人人操| 超碰在线看| 亚洲精品视频电影| 亚洲另类婷婷综合| 丁香六月婷婷久久综合| 色色色com| 99热综合| 操人无码| 国产精品天天狠天天看| 岛国在线观看91| 97精品综合| 亚洲综合五月天| 五月丁香婷婷啪啪| 99热亚洲| 丁香婷婷综合激情五月色| 日日夜夜狠狠| 国产无遮挡又黄又爽免费网站| 亚洲无码99| www激情| 泰州成人视频| 日本乱子人伦在线视频| 日韩在线观看网址| 综合久久综合五月天婷婷| 91无码色色| 91 影音先锋| 日本色色影片| 久久天天| 五月天操逼网| 思思久久99| 激情丁香五月婷婷| 超碰成人黄色网| 婷婷婷狠狠| 亚洲六月色| 天堂美国久久| 69色婷婷| 亚洲美女高潮久久久久久69| 欧美狠狠草| 狠狠操天天操| 五月天激情久色| 操一操| 另类五月激情| 超碰成人在线观看| 九九色色| 91色欲综合| 丁香五月激情月| 亚洲操B视频| www久久艹| 日韩成人av在线| 五月丁香婷婷福利| 婷婷五月天另类网站| 99精品大片| 在线只有精品| 五月天激情小说网| 97人人操人人插| 亭亭丁香97| 99伊人性爱在线影院| 国产1区2区3区| 99久久精| 99热在线观看这里只有精品| 五月天激情四射网站| 狠狠干夜夜干| 91热久88| 99精品久久久久久久婷婷| 99惹在线精品免费观看| 丁香五月中文字幕久色| 婷婷色九月| 激情综合网五月| 亚洲精品V天堂中文字幕| 九九丁香社区欧美激情| 99热亚洲精品| 色色六月| 日韩性视频| 色婷婷中文字母五月丁香| 99热99精品在线观看| 色五月在线观看| 激情婷婷五月| 日韩久久成人| 日本色99| 囯产精品一品二区三区| 美女激情综合| 欧美婷婷色| 99热99| 久久大香蕉| 黄页大全十八禁| 天天射影院| 狠狠操天天干| 久久日韩婷婷五月| 思思视频这里是精品| 五月色网| 国产精品色| 99热国产在线| 丁香六月啪啪| 激情五月丁香六月综合AVXXXX| 成人在线网| 婷婷D区| 久久五月婷婷丁香| 欧美另类五月激情| 男女99免费视频| 日韩无码AV电影网站| 91在线操| 六月丁香婷婷开心综合基地| 九九综合色| 婷婷大香焦| 99色网站| 丁香六月亭亭久久综合| 欧洲色色| 五月婷婷激情性爱| 99re8这里只有精品99re8热视频| 色噜噜狠狠色综无码久久合欧美| 欧美网站视频4399| 亚洲99在线视频| 97操操操| 另类图片五月天激情| 婷婷综合久久| 婷婷五月婷婷| 青青久久五月| 婷婷六月丁香在线| www,com,五月色色| 五月天天久久香| 婷婷丁香久久| 9精品在线| 97色婷婷五月天| 久色网| 97操碰在线97| 色婷婷婷综合五月天| 无码动漫av| 操操操97| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 狠狠色精品综合| 99色婷婷视频| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 亚洲色色图片| 人人摸人人摸| 五月婷在线影院| 婷婷五月六月丁香综合| 熟女人妻一区二区三区免费看| yellow视频在线观看91| 久久狠狠干| 欧美情色一区| 婷婷六月网| 色停停香蕉视频| 97偷拍在线视频| 丁香六月婷婷高清| 亚洲激情网| 啪啪操超碰| 国产资源91在线| 噼里啪啦完整版中文在线观看| 91久久| 婷婷午夜天| 久久久久亚洲AV综合| 色婷婷小说| 狠狠色五月天| 色婷大香蕉| 六月丁香五月激情网| 人妻操逼视频| 综合激情五月丁香| 人妻精品在线| www.色综合.com| 天天做好综合色| 亚洲日韩成人三级av| 久久这里只精品66| 九九在线精点品| 亚洲久热| 开心 五月 综合| 99在线热| 亚洲精品视频在线播放| 亚洲另类婷婷综合| www999日韩精品| 五月婷婷在线免费观看| 无码九九九九| 第五色婷婷| 婷婷六久久| 久久婷婷亚洲五月天| 99热综合| 五月激激网w'w'w| 日日夜夜天天| 久久亚洲网| 五月天激情久久| 五月色婷| www.夜夜操.com| 丁香婷婷黄网站| 五月婷婷激情| 亚洲精品电影| 狠狠草在线观看| 丁香大香蕉| 99久热在线精品| 毛片新网地| enecarbon-materials.com污K127封锁请涟系@wip1688 | 中文字幕无线久必| 五月丁香AV在线| 久草婷婷网| 五月天激情日色在线| 亚洲国产精品VA在线看黑人| 久久五月婷婷开心网| 风流少妇A片一区二区蜜桃| 99极品视频| 天天日夜夜| 五月天婷婷在线观看精品男人| 二色av| 电影爱拉战争免费观看| 国产乱妇乱子在线播视频播放网站| 99人这里只有精品| 日99网站| 色五月婷婷影院| 中文字幕五月久久婷婷| 欧美在线操| 97在线碰| 99精品免费| 激情婷婷丁香色五月综合| 无码少妇高潮喷水A片免费 | 天天在线天天综合网色| 天天天天天天操| 玖玖综合玖玖| 人妻AV在线观看| 超碰免费人妻| 99精品在线| 99热这里只有精品亚洲| 91无码一起草| 伊人玖玖网| 久久婷婷色色| 五月天精品| 丁香5月啪啪| 丁香婷婷综合影院| 91无码视频| 91精品综合久久久久久五月丁香| 国产成人精品一区二三区熟女在线| 五月婷婷免费在线观看| 伊人久热91| 99热在线看片| 五月香蕉综合| 91热在线观看视频| 色情五月天丁香社区| 天天久综合网永久入口17v| 热99这就是精品视频| 99热6这里之有精品| 丁香花大香蕉婷婷综合| 色激情五月| 婷婷五月天色| 99热8在线| 天天综合网在线| 五月丁香啪综合| 九九这里只有精品| 色色免费网战视频| 日本熟妇精品99| 色色色综合| 26uuu欧美激情另类| 丁香五月天激情四射网| 天天爱天天操| 五月天婷婷无码视频| 天天肏在线观看| 婷婷色色五月| 久久爱婷婷| 99色天堂| 久久视9精| 九九99热| 九九婷婷五月天影视| 亚洲婷婷综合视频| 天天草天天爽| 五月激情六月综合| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 五月丁香六月婷| 精品国产一区二区三区四区阿崩 | 激情综合网五月| 日韩黄黄| 国产肏屄大片| 亚洲无AV在线中文字幕| 色在线99| www.人人操人人看人人想人人摸 人人人人操,COM | 婷婷色综合av| 丁香五月婷婷亚洲综合精品在线| 色欲影香| 久久五月婷天天干| 激情五月天视频| 五月丁香天堂网婷婷| 国内久久亭亭| 国产肥白大熟妇BBBB视频| 五月婷婷丁香五月婷婷丁香| 五月天三级| 九九色院| 日本婷婷激情四射中文字幕在线观看| www.色五月| 丁香五月亚洲天堂| 99在线观看亚洲| 久久九九亚洲| 欧美69久成人做爰视频| 99九色视频在线观看| 天天综合亚洲综合| 99 热国产在| 丁香五月激情五月色综合| 一起草性爱不卡视频| 久久久精品人妻录| 五月激情精品视频| 操操人人| 天天肏天天肏| 午夜天天精品视频| 99爱视频在线观看| 久久3p| 色婷婷五月综合在线| 九九热中文| 大香蕉丁香婷婷| 99精品在这里| 狠狠干五月天| 五月天成人网婷婷| 91色久| 色婷婷小视频| 成功精品影院| 色婷婷先锋| 六月丁香激情综合| 美女亚洲五月丁香| 色婷婷久久久| 少妇婷婷五月天| 人妻丰满精品一区二区A片| 超碰激情网| 色五月首页| 亚洲性受XXXX五月丁香| 久久伊人9| 激情五月天。| 中文中文在线| 五月天精品| 丁香 亚洲 久久| 久久亚洲婷婷| 五月激情久久综合| 五月婷婷新网站| 射区导航| 亚洲色图日韩网址| 中文不卡av| 97色干| 色噜噜狠狠色综合成人网| 亚洲激情精品| 国产精品久久久久久五月天加勒比| 蜜臀丁香黄色婷婷五月天| 激情五月份婷婷| 婷色影院| 成人在线观看精品| 噼里啪啦完整版中文在线观看| 九月激情网| 婷婷五月天av| 激情五月婷婷开心网| 亚洲天堂AAA| 五月婷婷xxx| 999激情视频| 99啪在线| 激情五月九九九| 琪琪色五月婷婷老师| www久久99| 超碰chaompinm| 激情综合一| 色五月婷婷五月天激情综合| 美英法精品无码免费视频| 婷婷色五月亚洲| 亚洲第一黄网| 婷婷激情九月| 五月婷婷偷拍| 99黄色在线视频精品熟女| 久婷婷五月天影院| 五月婷婷九九热| 9|在线观看视频| 天天色中文字幕女优AV| 激情五月天天| 播丁香五月婷婷欧美| 双性美人被调教到喷水A片| 婷婷亚洲综合| a久久| 夜夜骑夜夜撸| 久久综合五月天| 婷婷丁香六月| 婷婷五月天色| 99久久久久| 另类激情中文| 色色操| 色婷婷五月天| 无码成人AAAAA毛片AI换脸| 九九99精品视频在线观看| 伊人五月天在线| 狠狠狠狠狠狠狠狠| 99亚洲精品视频| 久久机热/这里只有精品| 99re热视频这里只精品| 婷婷五月天网| 免费看欧美成人A片无码| 成人视频网| 天天插天天插| 国产性爱在线| 黄色高清无码| 啪啪东京热| 99热狠狠操| 99在线免费视频| 五月丁香婷婷综合网| 色色婷| 天天狠狠婷婷在线| 婷婷五月天色丁香| 午夜精品777| 久久九精品| 婷婷五月天美女视频| 激情五月亚洲| 九九热这里只有精品6| 色五月婷婷五月天| 婷婷综合五月| 拍真实国产伦偷精品| 免费观看欧美成人AA片爱我多深| 五月激情综合网婷婷| 狠狠爱五月婷婷综合六月| 成片免费观看大全| 亚洲婷婷久久综合| 91操操| 欧洲亚洲免费视频9| 丁香五月色综合色播五月| 五月丁香欧美| 国产成人亚洲综合A∨婷婷| 国产97色在线 | 日韩| 色播五月丁香| 国产偷人爽久久久久久老妇APP | 丁香五月激动深爱欧美| 草榴视频黄色网| 玖色色综合| AV在线大香蕉| 情五月亚洲婷婷| 丁香五月天成人| 婷婷五月影院| 久久久性爱视频| 极品人妻VIDEOSSS人妻| 狠狠色狠狠色综合日日91| 99狠狠操一| 久操大香蕉| 婷婷性爱无码视频| 99色色网| 久操热线| 免费观看全黄做爰的视频| 九久热| 五月 成人 婷婷| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 九热视频这里只有精品| 天天干,夜夜爽| 91九色精品熟女内射| 色偷偷AV亚洲男人的天堂| 色就色94欧美setu| 欧美色久| 天天拍夜夜爽| 91婷婷色| 国产乱人偷精品人妻A片| 综合激情九月婷婷,激情综合婷婷中文字| 五月丁香婷婷成人版| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 亚洲成人电影在线免费观看| 亚洲成人AV在线观看| 天堂五月婷婷| 久热这里只有| 国产激情综合| 亚洲婷婷激情综合激情999精品| 日韩无码专区| 五月花婷婷丁香| 亚洲另类电影| 久热99视频在线观看| 99热在线观看精品| 久久这里99| 成人免费在线电影| 亚洲电影在线观看| 成人网在线视频| 人妻系列久久久久久久久久久| 亚洲精品激情| 丁香久久| 青青草原爱爱网| 婷婷五月天色| 99色在线观看视频| 五月天亭亭俺也| 99在线免费视频播放| 99热九九这里只有精品| 婷婷综合精品视频97| www五月| 好大好粗嗯啊-一级黄色大片免费观看-成人AV | 五月婷婷伊| 淫视馆aV二区一区| 2025色婷婷| 五月综合色| 婷婷五月激情五月丁香五月| 婷婷丁香五月精品| 婷婷五月天黄色| 97超级碰人人| 日本色频| 五月婷婷草| co超碰在线观看| 淫视馆aV二区一区| 色综合色| 婷婷在线中文字幕| aaaaaa片| 97色片| 狠狠ri| 久思思热视频在线观看| 五月天天天天天天天天天天天天天天天婷婷婷 | 深爱婷婷丁香五月激情| 午夜少妇在线观看视频| 婷婷午夜综合| 亚洲激情.com| 国产精品a无线| 色婷婷丁香九月| 人人人操97| 91九色精品熟女内射| 亚洲四色五月| 狠狠狠狠狠操| 九九色综合| 日韩综合久久| 激情五月丁香亭亭| 刘玥精品一区| 日本三级毛片| 色婷婷影音| 国内外色色色色色成人视频| 色婷婷色九月| 国产26uuu| 成人在线二区| 色婷婷五月基地在线| 综合久| 肏日网在线看| 五月天玖玖狠狠色色| 超碰99热| 久久99婷婷| 色色色网站| 五月丁香婷婷狠狠操| 只有精品视频在线观看| 在线色色| 日本在线视频播放91| 久久精品视频在这里有| 久久久久久久91| 五月丁香激情综合六月涩涩爱| 79精品视频在线观看,| 在线你懂的亚洲欧| 五月狠狠| 激情av在线| 五月丁香在线观看| 久久久久久久五月| 激情网五月| 九月婷婷激情久久| 五月天停停基地| 中文中文在线| 五月天婷婷在看| 亚洲激情久久| 色色色色色级无码| 国产又黄又爽又色的免费| 思思99热热热99| 97人人草| 丁香五月天导航| 亚洲天堂热| 婷婷五月天久久综合88| 婷婷五月天视频| 丁香花五月天激情| 人伦30P| 五月天丁香成人| 激情四射婷婷色色色| 色五婷婷开心缴| 999精品久久久久久久| 99精品视频网站| 91美女啪啪| 99热中文字幕久久| 亚洲视频久久| 99热只有这里有精品| 色综啪啪啪啪啪啪| 五月婷婷六月情| 天堂综合久| 最新va在线播放| 99玖玖在线视频| 激情啪啪五月| 九九热这里只有精品7| 婷婷五月激情丁香| 99热这里只有精品国产免费| 天天操夜夜操| 丁香五月婷婷乱| 97碰碰久久| 久久人妻伦理| 九九色区| 五月丁香亚洲综合| 这里只有视频精品| 天天日天天久久青青| 色婷婷色五月综合| 91窝窝| 五月久久婷婷天堂视频| 91干| 久久久天堂国产精品女人| 五月婷婷久久爱| 99cao婷婷| 五月天亚洲色| 五月丁香激情婷婷| 丁香激情网| 九九一综合精品| 五月色情婷婷| 人人妻人人澡| 热99精品视频在线观看| 精品亚洲国产成AV人片传媒| 久久 视频这里只有精总| 9久久精品视频| 欧美内射AA| 丁香五月AV综合| 六六久久黄色| 无码动漫av| 六月婷婷深深爱| 亚洲狠狠色丁香婷婷综合久久| 婷婷精品综合| 日韩成人电影在线播放| 国产成人+综合亚洲+天堂| 天天日天天做天天操| 国产色99| 激情色色色| 久久性爱网站| 97干在线看| 99热网站| 九九热这里只有国产精品| 超碰色人妾| 99久久激情视频| 亚洲激情四射色| 加勒比日本一区二区三区| 99热在线中文字幕| 五月色无码| 久久天堂女人| AV中文在线| 一本道综合网| 五月婷免费视频| 日本高清久久| 五月婷网站| a九九热www| 欧美性生交XXXXX无码小说| 久久视频这里99| 九九色色色| 婷婷五月天小说| 丁香五月婷婷在线观看| 五月婷婷免费在线| 99在线视频观看| 亚洲av日韩无码| 天天干天天日天天插 | 99噜噜噜在线播放| 婷婷五月激情小说| 丁香六月色香蕉视频| 壅壅儕家a| 色五月婷婷久久| 婷婷五月天亚洲图片| 色丁香五月| 国产古装妇女野外A片| 噜噜噜久久| 狠狠五月天婷婷| 五月婷婷色啪| 全部老头和老太XXXXX| 国产精品美女| 三级大香蕉网| 五月丁香婷婷色| 草久私拍| 成人精品在线观看| 99亚州综合精品成人网| 丁香婷婷色五月| 国产91在线视频| 亚洲国产成人在线| 99视频精品全部免费观看| 色婷婷综合久久久久| 欧美性爱丁香五月| 伊人久久99| 99re鈥哸鈥唙| 欧美色骚婷婷五月天| 婷婷丁香五月91| 色青青电影色五月| 婷婷伊人网| 色色网站在线| 五月婷婷色男女| 久草性爱| 日韩AV免费| 欧美经典片免费观看大全| 久99久99精品免| 五月天夜夜爱夜夜操| 97天堂| 97超级操操| 人人色人人弄人人操| 色婷婷视频| 国产激情综合五月久久| 婷婷五月丁香色情| 五月天亚洲图片婷婷| 久热久操久热久草国产91| 久久婷婷五月天大香蕉| 丁香五月av| 99热大香蕉| 国产精品色婷婷AV综合色色| 丁香九月综合| 婷婷五月天综合久久| 超级碰 久久9| 人妻第九页| 婷婷五月天福利| 91人人爽狠狠狠| 婷婷久久色| 亚洲综合五月天综合| 色色色色色热| 色婷婷888| 欧美日韩五月婷婷| 婷婷丁香大香蕉| 久久9热好| 操碰91| 天天久久狠狠色综合| 天天摸天天做天天爱天天爽| 日本成人小说婷婷六月| 情婷婷五月天在线| 色色色色热热| 91九色国产| www.久久婷婷| 欧美日本国产| 九九亚洲天堂| 精品夜夜澡人妻无码AV| 五月天成人综合| 五月色色色| 日韩一级网站| 五月丁香六月婷婷网| 丁香五月丁香伊人| 色黑鬼导航| 99自拍视频| 丁香五月手机在线| 五月天婷婷伊人| 99九九热视频免费| 婷婷丁香五月天色色| 久9综合| 激情小说色五月| 亚洲视频一区| 中文字幕有多少字| 国产暴力强伦轩1区二区小说| 九月丁香| 欧美日综合| 色色婷婷五月| 九月色婷婷| 另类小说五月天| 色九月婷婷| 五月天色社区| 国产综合色婷婷精品久久| 丁香六月天| 66成人网| 国产激情在线| 色狠狠综合网| 在线成人网站| 天天玩夜夜操| 天天天天干| 深爱激情五月网| 九九無妻| 九九无码| 大香蕉啪啪啪| 婷婷香草网| 久草婷婷网| 性爱111111| 久久资源综合| 亚洲视频码| 欧美69色| 婷婷五月色惰| 激情综合网激情五月天| 91碰在线| 国产韩日亚洲美州欧亚综合在线| 99久久亚洲精品视频| 视频这里只有精品| mmm1717.6dbm人人爱人人操| 五月婷婷色播网| 深爱激情AV| 婷婷五月天日日日干干干| 久久机只有这里精品| 99青青草| 能看的av网站| 久久伦乱| 这里只有精品在线观看视频| 婷婷久久大香蕉| 最近中文字幕大全免费版在线| 国产精品日本一区二区在线播放| 久热婷婷综合| 九热av| 大香蕉Av在线| 91狠狠综合久久| 丁香丁香激情网| 六月婷婷亚洲| 天天色视频| 婷婷久久久| 激情丁香婷婷| 91九色超碰| 婷婷黄色五月| 免费黄色片子| 五月婷婷视频啪啪美女| 日本久久爱| 色五月婷婷大香蕉| 三级三久久线久久99久目本WW| 国产又黄又爽又色的免费| 丁香婷婷影院| 色偷偷色婷婷| 99精品热视频只有精品10| 26uuu激情五月天| 99热这里只有精品22| 99精品视频偷拍| 婷婷五月婷婷| 午夜伊人大香蕉| 激情熟女网| 99自拍视频在线| 综合色天天| 亭亭五月色男人| 超碰操网| 国产露脸150部国语对白| 极品嫩草| 4399在线日本A片| 妻久久久久| 日日.c| 久久伊人大香蕉| 国产精品18久久久| 区啪精品| 久久婷婷色| 三级大香蕉网| 十一月婷婷激情四射| 涩涩五月天| 碰超亚洲| 97久久草草超级碰碰碰| 激情五月综合六月丁香婷婷狠狠干| 五月深爱激情网| 亚洲不卡| 日韩艹比| 丁香婷婷五月综合影院| 九九热思思热| 久久亚洲天堂| 亚洲第一成人无码A片| 超色欲天天| 免费日韩99| 精品乱码久久久久| 五月丁香网站| 欧美成人AAA片一区国产精品| www.色色com| 日本三级韩三级99久久| 色婷婷a三区麻| 久久视频婷婷| 欧美性生交XXXXX无码小说| 人妻中文字幕网| 婷婷丁香五月天色播网站| 九九热视频精品| 久久人妻精品| 色九月综合网| 五月激情四射婷婷丁香| 久久金品黃色| 婷婷综合视频| 国产成人综合电影| 在线你懂的亚洲欧| 久久精品永久免费| 五月天伊人| 天天射影院| 亚洲成人中心| 天天天天天天天操| 日本啪啪网| 伊人婷婷99热精品| 91九色网| 五月婷婷综合在线视频小说| 9久精品| 超碰在线观看9| 天插天啪天啪天啪| 另类视频在线| 九九九九九九九九九九九九九国产精品| 六月婷婷俺也去| 丁五月激情视频免费| av亚洲国产小电影| 婷婷五月天堂| 欧美日本va| 99热在线观看| 97干视频| 五月丁香六月综合激情无码软件亮点| 婷婷色导航| 99九九玖玖| 婷婷五月综合视频| 欧美精品999| 国产亚洲网站在线| 五月婷婷我| 五月天激情婷婷| 黄色一级影片| 婷婷激情六月天视频| 天天操夜夜操| 激情四射婷婷| 五月六月婷婷| 亚洲色无码A片一区二区麻豆| 激情久久综合| 99综合| 精品热九九| 婷婷五月天亚洲天堂| 婷婷激情综合网| 激情五月综合久久| 欧美综合在线五月天色婷婷| 午夜丁香婷婷| 婷婷五月天综合网| 日本丁香五月| 就爱日五月天| 五月天婷婷伊人| 六月丁香啪啪啪| 久久超级碰碰| 色播播五月| 五月丁香婷婷钟和色图| tingting五月天亚洲| 伊人久久婷婷| 精品久久9| 美国色五月天婷婷资源站| 无码 av电影| 丁香五月 综合| 九九色逼| 久久精品五月天| 天天日天天草| 婷婷色狠狠| 婷婷夜夜夜夜| 久久亚洲婷婷| 欧美在线看| 五月丁香在线| 综合久久首页| 五月丁香六月婷婷亚洲视频| 91精品久久久久久久久久| 狠狠色噜噜狠狠色噜噜噜999| 久久综合干| 婷婷色在线视频| www.婷婷五月天.com| 人妻熟女一区二区AV| 亚洲性爱干干| 夜夜谢天天干| 91丨九色丨43老版熟女| 亚洲AV成人在线| 婷婷五月天Av| 激情丁香九九五月综合网| 色五月97| 天天插天天爽| 99精品视频推荐| 人妻内射视频| ...婷婷五月综合不卡,国产在线手机| 婷婷开心六月| 美女被肏网站在线看| 激情五月天色婷婷| www.99操.com| 日韩欧美四五区| 办公室少妇激情呻吟A片在线观看| 亚洲精品乱码久久久久久综合| 日本色婷婷| 五月婷婷内射网| 婷婷五月天av| 久久这里只有精品07 | 丰满人妻一区二区三区| 色99免费视频中文| 日本久久人| 亚洲天堂大香蕉| 996er热| 99热爱爱干干日| 五月婷婷久久综合| 91日韩在线| 99热综合网| 狠狠干五月天婷婷网| 激情六月婷婷| 玖玖99福利| 激情婷婷| 九九热手机在线视频| 一本久久婷婷| 色五月在线观看| 色婷婷五月成人网| 色在线99| 亚洲综合九九| 婷婷综合五月天| 亚洲Va成人| 在线只有精品| 狠狠色丁香婷婷综合久久97AV| 激情5月婷婷| 婷婷夜夜操| 99人人操人人操人人精| 成人在线网址| 九九Y精品热播| 丁香久久| 2016日日夜夜操| 99视频在线精品免费观看2| www.色婷婷| 日本综合色图| 激情五月婷婷综合视频| 97亚洲精品| 五月天另类激情在线| 国产熟女一区二区三区五月婷| 色久综合| 亚洲尤物在线| 亚洲视频在线网| 国产毛片精品一区二区色欲黄A片| 91精品国产99久久久久久天美| 婷婷综合在线| 天天插夜夜爽| 伊人丁香在线| 秋霞三及片| 色情婷| 99热在线播放| 天天碰天天插天天操| 手机在线视频观看9| 婷婷久热| 婷婷五月天 偷拍| 665566 无码| 丁香婷婷色九月| 六月色婷婷色| 亚洲三A| 婷婷狠狠干| 九久9精品| 亚洲欧洲中文日韩久久AV乱码| 婷婷5月九九| 國語久久婷| 丁香五月天堂| 开心激情网五月| 五月丁香六月婷综合成人综合| 大香蕉伊人久久| 夜夜操天天爽| 黄色五月婷| 久久国产色| 丁香婷婷六月激情综合| 日韩国产在线免费观看| 五月丁香综合| 婷婷丁香人妻天天| 中文字幕AV在线播放| 亚洲网在线观看| 色五月婷婷网| 亚洲丁香五月天在线视频| 成人在线免费网址| 亚洲人妻AV| 五月六月激情| www色五月| 尤物一区二区| 五月天激情四射网站| www.狠狠操.co m| www.激情五月天.con| 婷婷深爱五月| 日韩99色99| 激情五月天视频| 精品久久久中文字幕大豆网推荐理由| 少妇人妻人伦A片| 亚洲欧洲色色| 亚洲成Av人片乱码色第1集| 日本天天操| 五月天桃色深爱网| 婷激情五月天视频导航| 九久热| 97在线精品| 色色综合视频| 9色在线| www.色欲丁香婷婷| 激情五月婷婷网| 999影院成人在线影院| 久久婷婷色| 91色欲综合| 国产欧美日韩综合精品一区二区| 激情六月婷婷| 另类图片 五月激情| 夜夜AVV| 99精品久久| 色婷婷先锋| 久热这里只有精品99re,久热这里只有精品7 | 五月婷婷综合激情| 天天操天天国产三级片处女学生妹| 久久精品99| 婷婷色色网| 九九九这里只有精品| 久久精品熟女亚洲AV麻豆| 久久女婷| 亚洲精品大片| 成人网站免费sxj| 九九综合九九| 六月丁香成人| 亚洲国产精品VA在线看黑人| 99只有这里有精品在线视频| 五月丁香综合伦理片| 色综合久久综合中文综合网| 中文字幕不卡网站| 91啪啪视频| 99无码精品| 婷婷丁香综合| 五月激情五月丁香| 成人av观看| 日本丰满久久| 精品欧美一区二区三区久久久| 色五月天丁香| 天天操天天干天天日| 五月婷AV| 五月天婷亚洲天综合网综合| 91色噜噜狠狠狠狠色综合| 五月丁香色色网| 91色噜噜狠狠狠狠色综合| www.99热. com这里只有精品| 激情婷婷丁香五月天小说| 国产美女无遮挡裸体毛片A片 | site:publishdd.com| 五月丁香网视频| 婷婷五月丁香香蕉| 五月丁香色欲| 成人精品视频99在线观看免费| 91人人操.COM| 欧美激情综合五月色丁香| 青草热视频这里只有精品| 69精品人人人人| 91超级碰在线视频| 视频1区2区| 亚洲欧美成人在线观看| 极品少妇高潮啪啪AV无码| 岛国AV网| 99精品在线观看视频| 日本色爽| 在热视频精品| www.91有码.com| 久久在线视频只有这里有精品| 亚洲av成人在线| 第五婷婷伊人丁香| 伦乱人妻| 9色资源在线| 成人中文网| www.五月天| 亚洲日韩一页精品发布| 久久国产色| 99在线观看视频| 婷婷丁香五月天激情| 热成人网| 日韩乱玛久久| 激情伊人六| 狠狠操.com| 久久久妻人人人| 婷婷色情网| 久久久婷婷五月亚洲97号色| 操碰久| 色色色色色日韩午夜激情 | 丁香六月激| 五月婷婷啪| 亚洲AV综合网| 狠狠干综合网| aaa9区免费在线观看| 国产综合丁香五月天| 九九九九九九九九九九九九九国产精品| 伊人99久久| 精品成人在线| 5月丁香美女影院| 久久久天堂国产精品女人| 年轻的妺妺伦理HD中文| www.丁香五月| 久久丁香五月婷婷| 五月婷视频| 天天色粽合合合合合合合| 久久亚洲婷婷| 天天做天天爱天天爽| 丁香五月在线观看| 99热手机在线精品| 亚洲六月色| 99精品在线| 天天操天天插| 另类激情五月| 91久久久久久| 婷婷六月久久综合导航| 97碰在线视频| 亚洲五月婷婷| 激情四射五月天| 99在线精品免费视频| 婷婷综合中文| 日本精品人妻无码77777| 五月天婷a在线| 第四色色六月色综合| 日韩情色在线观看| 激情五月色综合网| A片一曲| 综合五月草 | 婷婷五月天首页| 狠色色狠网| 五月天激情无码| 五月天播播| 欧美色97| 色九区| 激情六月天| 伊人无码高清| 91se精品国产| 色婷综合| 第四色五月婷婷| 色噜噜狠狠色综合成人99| 色天天综合天天综合频道。| 日韩抽插操逼| 99在线观看视频精品| www.夜夜夜|