欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

RK3588零拷貝跨進(jìn)程通信:dma-buf與共享內(nèi)存實戰(zhàn)指南

RK3588零拷貝跨進(jìn)程通信:dma-buf與共享內(nèi)存實戰(zhàn)指南 1. 為什么邊緣AI設(shè)備上跨進(jìn)程通信成了性能瓶頸先說結(jié)論在RK3588這套平臺上做邊緣AI視覺最容易被忽視又最影響整體吞吐量的往往不是模型推理本身而是“把一幀圖像從采集進(jìn)程送到推理進(jìn)程”這一跳。很多人拿到RK3588開發(fā)板第一件事就是跑YOLOv8模型用RKNN轉(zhuǎn)完NPU推理速度確實漂亮一幀幾毫秒到十幾毫秒。但真正把整個pipeline串起來——攝像頭采集、圖像預(yù)處理、模型推理、結(jié)果上報——就會發(fā)現(xiàn)幀率對不上。排查半天CPU占用不高NPU也沒滿問題就出在進(jìn)程間傳輸那幾份圖像拷貝上。以常見的架構(gòu)為例采集進(jìn)程從MIPI CSI或USB攝像頭拿到RAW圖或YUV圖送到推理進(jìn)程做RKNN推理。如果兩個進(jìn)程用共享內(nèi)存做通信常規(guī)做法是發(fā)送方把圖像數(shù)據(jù)寫進(jìn)共享內(nèi)存接收方再從共享內(nèi)存讀出來。這一寫一讀就是兩次內(nèi)存拷貝。圖像分辨率一旦上到1080P甚至4KRGBA格式一幀就是8MB到33MB按30fps算光拷貝帶寬就要吃掉幾百MB/s到1GB/s的量級。再加上緩存一致性開銷、鎖競爭、調(diào)度延遲整個系統(tǒng)的實時性立刻被拖垮。所以“零拷貝”這個詞在邊緣AI視覺場景里不是錦上添花而是剛需。所謂零拷貝不是真的不拷貝而是盡量減少數(shù)據(jù)在內(nèi)存里的復(fù)制次數(shù)尤其是避免“內(nèi)核態(tài)-用戶態(tài)”之間和“用戶態(tài)-用戶態(tài)”之間的重復(fù)搬運。這篇文章就專門拆解在RK3588上實現(xiàn)零拷貝跨進(jìn)程通信的完整思路和實操過程適合正在做邊緣AI視覺設(shè)備、多進(jìn)程架構(gòu)、實時視頻管線的開發(fā)者參考。2. 平臺底子RK3588的硬件架構(gòu)和內(nèi)存模型決定了該怎么通信2.1 RK3588的異構(gòu)計算單元和內(nèi)存路徑RK3588是瑞芯微的旗艦級SoC采用8核CPU4×Cortex-A76 4×Cortex-A55內(nèi)置ARM Mali-G610 GPU還有6 TOPS算力的NPU。視覺相關(guān)的硬件單元包括圖像信號處理器ISP支持多路MIPI CSI輸入輸出YUV或RAW數(shù)據(jù)。視頻編解碼單元VPU支持H.264/H.265硬編解碼。顯示控制器VOP支持多圖層疊加。外設(shè)接口PCIe、USB3.0、千兆以太網(wǎng)、SATA等。這套異構(gòu)架構(gòu)決定了RK3588天然適合做多進(jìn)程協(xié)同的邊緣AI設(shè)備——采集進(jìn)程、推理進(jìn)程、顯示進(jìn)程、聯(lián)網(wǎng)進(jìn)程各干各的通過IPC通信。關(guān)鍵點在于內(nèi)存路徑。RK3588的CPU、GPU、NPU、VPU都通過總線連接到DDR控制器共享同一片物理內(nèi)存。這意味著理論上我們可以讓NPU直接讀取采集進(jìn)程寫入的內(nèi)存區(qū)域而不需要額外的DMA搬運。零拷貝的基礎(chǔ)就是利用這個統(tǒng)一內(nèi)存模型。2.2 傳統(tǒng)跨進(jìn)程通信為什么慢傳統(tǒng)IPC方式在邊緣AI場景下的問題很明顯通信方式延遲量級是否適合圖像傳輸主要瓶頸Unix Domain Socket幾十微秒到幾百微秒不適合大數(shù)據(jù)量數(shù)據(jù)需要多次內(nèi)核態(tài)拷貝消息隊列毫秒級不適合數(shù)據(jù)大小限制、多次拷貝共享內(nèi)存樸素實現(xiàn)微秒級適合但有拷貝開銷每個收發(fā)周期至少有2次內(nèi)存拷貝Binder/DBus毫秒級不適合序列化、反序列化開銷大以Unix Domain Socket為例發(fā)送方調(diào)用send()時數(shù)據(jù)從用戶態(tài)緩沖區(qū)拷貝到內(nèi)核態(tài)socket緩沖區(qū)接收方調(diào)用recv()時再從內(nèi)核態(tài)緩沖區(qū)拷貝到用戶態(tài)緩沖區(qū)。這一趟下來每幀圖像至少兩次拷貝。4K圖像30fps時光拷貝耗時就能占到CPU單核資源的10%~20%。樸素的共享內(nèi)存方案雖然避免了內(nèi)核態(tài)參與但發(fā)送方寫入共享內(nèi)存、接收方讀取共享內(nèi)存仍是兩次用戶態(tài)拷貝。對于8K/4K視覺應(yīng)用這個開銷依然肉疼。2.3 dma-buf零拷貝的真正核心Linux內(nèi)核提供了dma-buf機制專門用于設(shè)備間或設(shè)備與用戶態(tài)之間共享內(nèi)存緩沖區(qū)且支持顯式同步。它的核心價值是緩沖區(qū)可以在不同設(shè)備之間傳遞而數(shù)據(jù)不需要在內(nèi)存中被復(fù)制。每個設(shè)備拿到的是同一個物理內(nèi)存區(qū)域的句柄fd各自通過DMA或MMU映射訪問。在RK3588平臺上dma-buf的應(yīng)用非常自然VPU編碼后的碼流可以直接通過dma-buf傳給網(wǎng)絡(luò)協(xié)議棧打包發(fā)送。ISP采集的圖像可以使用dma-buf導(dǎo)出NPU推理進(jìn)程通過dma-buf導(dǎo)入直接訪問同一塊物理內(nèi)存。顯示控制器可以直接掃描dma-buf中的圖像數(shù)據(jù)省掉GPU合成的一整輪拷貝。但普通應(yīng)用層進(jìn)程不能直接創(chuàng)建dma-buf必須通過設(shè)備節(jié)點或驅(qū)動幫忙。好在Linux提供了兩條路使用/dev/dma_heap/system或/dev/udmabuf等機制創(chuàng)建dma-buf。使用DRMDirect Rendering Manager的DMA-BUF接口通過/dev/dri/renderD128節(jié)點創(chuàng)建。RK3588的BSP內(nèi)核默認(rèn)開啟了dma-heap和udmabuf這給了我們很大的操作空間可以直接在用戶態(tài)創(chuàng)建一塊dma-buf然后在進(jìn)程間傳遞它的fd。3. 方案選型零拷貝跨進(jìn)程通信的技術(shù)路徑對比3.1 方案一dma-buf fd傳遞推薦這是最正統(tǒng)的零拷貝路徑。核心思路進(jìn)程A創(chuàng)建一個dma-buf緩沖區(qū)通過dma-heap或DRM。將dma-buf映射到進(jìn)程A的地址空間寫入圖像數(shù)據(jù)。把dma-buf對應(yīng)的fd通過Unix Domain Socket的SCM_RIGHTS輔助消息發(fā)送給進(jìn)程B。進(jìn)程B收到fd后通過mmap映射到自己的地址空間直接讀取圖像數(shù)據(jù)。整個過程物理內(nèi)存只有一份兩個進(jìn)程各自通過頁表映射到同一塊物理地址數(shù)據(jù)本身不搬家。fd傳遞的只是文件描述符的引用開銷極小。3.2 方案二共享內(nèi)存 內(nèi)存池 原子操作同步如果不想碰dma-buf的復(fù)雜性可以用傳統(tǒng)共享內(nèi)存配合內(nèi)存池管理。每個緩沖區(qū)在共享內(nèi)存區(qū)域中通過引用計數(shù)管理進(jìn)程間通過原子操作同步讀寫狀態(tài)。這種方案每幀仍有一次memcpy但配合雙緩沖或環(huán)形緩沖可以把拷貝和推理重疊起來性能也夠用。零拷貝程度不是完全零拷貝但通過“一次memcpy 異步流水線”把拷貝開銷隱藏起來工程上往往更實用。3.3 方案三ION內(nèi)存舊內(nèi)核RK3588老版本BSP內(nèi)核可能還保留IONInternal Memory Allocator接口。新內(nèi)核推薦用dma-heapION正在被逐步淘汰。如果開發(fā)板的內(nèi)核版本較老需要確認(rèn)ION節(jié)點是否存在如果存在也可用但新項目建議直接上dma-heap。3.4 方案四pipe vmsplice splice不推薦splice()系統(tǒng)調(diào)用可以把管道作為中轉(zhuǎn)實現(xiàn)內(nèi)核態(tài)直接搬運但本質(zhì)上是“零用戶態(tài)拷貝”內(nèi)核內(nèi)存之間仍需要DMA搬運而且對于大批量圖像數(shù)據(jù)傳輸管道造成的喚醒開銷和調(diào)度延遲很大。這個方案適合小包數(shù)據(jù)流不適合大幀圖像。3.5 橫向?qū)Ρ群瓦x型建議方案零拷貝程度實現(xiàn)復(fù)雜度實時性RK3588適用性dma-buf fd傳遞完全零拷貝中高高最推薦共享內(nèi)存 內(nèi)存池一次memcpy低中中工程上常用ION完全零拷貝高高老內(nèi)核專用splice管道內(nèi)核零拷貝中低不推薦圖像傳輸我的建議如果你做的是demo只想快速把效果跑通可以先上方案二把memcpy優(yōu)化到極致比如用NEON指令優(yōu)化拷貝、保證內(nèi)存對齊。但如果你做的是產(chǎn)品需要長期穩(wěn)定地跑4K/30fps或更高幀率的視覺管線直接上方案一dma-buf fd傳遞一步到位。省得后面架構(gòu)再返工。4. 實操RK3588上基于dma-buf的零拷貝跨進(jìn)程通信4.1 環(huán)境準(zhǔn)備和內(nèi)核配置檢查在動手之前先確認(rèn)開發(fā)板內(nèi)核是否支持所需功能。RK3588的官方BSP內(nèi)核5.10版本一般默認(rèn)開啟以下配置# 檢查dma-heap支持 ls /dev/dma_heap/ # 通常會有 system 和 linux,cma 兩個heap # 檢查DRM render節(jié)點 ls /dev/dri/ # 會有 renderD128 等節(jié)點如果/dev/dma_heap/不存在需要檢查內(nèi)核配置CONFIG_DMABUF_HEAPSy CONFIG_DMABUF_HEAPS_SYSTEMy CONFIG_DMABUF_HEAPS_CMAy如果沒有開啟需要重新編譯內(nèi)核或在設(shè)備樹中使能。對于絕大多數(shù)RK3588開發(fā)板出廠系統(tǒng)已經(jīng)默認(rèn)開啟。4.2 dma-buf的創(chuàng)建和映射創(chuàng)建一個dma-buf緩沖區(qū)的方式有很多最直接的是通過/dev/dma_heap/system。Linux 5.10提供了DMA_HEAP_IOCTL_ALLOCioctl命令#include linux/dma-heap.h #include fcntl.h #include sys/ioctl.h #include sys/mman.h int alloc_dma_buf(size_t size) { int heap_fd open(/dev/dma_heap/system, O_RDWR); if (heap_fd 0) { perror(open dma_heap); return -1; } struct dma_heap_allocation_data data { .len size, .fd_flags O_RDWR | O_CLOEXEC, }; int ret ioctl(heap_fd, DMA_HEAP_IOCTL_ALLOC, data); close(heap_fd); if (ret 0) { perror(DMA_HEAP_IOCTL_ALLOC); return -1; } return data.fd; // 這就是dma-buf的文件描述符 }拿到fd后通過mmap映射到本進(jìn)程地址空間就可以直接讀寫圖像數(shù)據(jù)void *map_dma_buf(int dmabuf_fd, size_t size) { void *addr mmap(NULL, size, PROT_READ | PROT_WRITE, MAP_SHARED, dmabuf_fd, 0); if (addr MAP_FAILED) { perror(mmap dmabuf); return NULL; } return addr; }MAP_SHARED很關(guān)鍵它保證了多個進(jìn)程映射同一塊dma-buf時看到的物理內(nèi)存是一致的。4.3 通過Unix Domain Socket傳遞fd進(jìn)程間傳遞fd標(biāo)準(zhǔn)做法是使用Unix Domain Socket的SCM_RIGHTS輔助消息。這里有一個容易踩坑的點普通send()只傳數(shù)據(jù)SCM_RIGHTS要用sendmsg()配合struct msghdr一起發(fā)送。發(fā)送端核心代碼#include sys/socket.h #include sys/un.h void send_fd(int sock_fd, int fd_to_send) { struct msghdr msg {0}; char buf[CMSG_SPACE(sizeof(int))] {0}; struct iovec iov {0}; char dummy F; // 至少需要發(fā)送一個字節(jié)的數(shù)據(jù) iov.iov_base dummy; iov.iov_len 1; msg.msg_iov iov; msg.msg_iovlen 1; msg.msg_control buf; msg.msg_controllen sizeof(buf); struct cmsghdr *cmsg CMSG_FIRSTHDR(msg); cmsg-cmsg_len CMSG_LEN(sizeof(int)); cmsg-cmsg_level SOL_SOCKET; cmsg-cmsg_type SCM_RIGHTS; memcpy(CMSG_DATA(cmsg), fd_to_send, sizeof(int)); if (sendmsg(sock_fd, msg, 0) 0) { perror(sendmsg); } }接收端核心代碼int recv_fd(int sock_fd) { struct msghdr msg {0}; char buf[CMSG_SPACE(sizeof(int))] {0}; struct iovec iov {0}; char dummy; iov.iov_base dummy; iov.iov_len 1; msg.msg_iov iov; msg.msg_iovlen 1; msg.msg_control buf; msg.msg_controllen sizeof(buf); if (recvmsg(sock_fd, msg, 0) 0) { perror(recvmsg); return -1; } struct cmsghdr *cmsg CMSG_FIRSTHDR(msg); if (!cmsg || cmsg-cmsg_type ! SCM_RIGHTS) { fprintf(stderr, no fd received\n); return -1; } int received_fd; memcpy(received_fd, CMSG_DATA(cmsg), sizeof(int)); return received_fd; }注意dummy這個字節(jié)必須有。如果sendmsg只發(fā)SCM_RIGHTS而不附加任何數(shù)據(jù)很多內(nèi)核實現(xiàn)會直接丟棄fd。我在RK3588上實測確實遇到過收不到fd的情況加上一個空字節(jié)后一切正常。這是一個很容易被坑的細(xì)節(jié)。4.4 完整的數(shù)據(jù)流串聯(lián)把上面幾個部分拼起來一個完整的零拷貝管線是Camera采集進(jìn)程通過V4L2抓幀得到圖像數(shù)據(jù)。采集進(jìn)程通過DMA_HEAP_IOCTL_ALLOC分配dma-bufmmap映射把圖像數(shù)據(jù)寫入這塊內(nèi)存。采集進(jìn)程通過Unix Socket將dma-buf fd發(fā)送給推理進(jìn)程。推理進(jìn)程recv_fd拿到fdmmap映射直接把這幀圖像傳給RKNN推理接口RKNN支持從dma-buf物理地址直接讀取輸入。推理完成后如果需要顯示可以把結(jié)果圖像所在dma-buf fd再傳給顯示進(jìn)程或直接發(fā)給/dev/dri/card0做KMS顯示。這里特別說明一下RKNN的dma-buf支持。RKNN Toolkit的C API提供了rknn_create_mem接口可以導(dǎo)入外部dma-buf或物理連續(xù)內(nèi)存。當(dāng)RKNN的輸入類型設(shè)置為RKNN_TENSOR_TYPE_DMA_BUF時NPU可以直接從dma-buf中讀取數(shù)據(jù)省掉一次拷貝。實測這種方式比普通的rknn_inputs方式省掉約2~3ms/幀的內(nèi)存拷貝時間視圖像大小和內(nèi)存頻率而定。4.5 dma-buf同步和緩存一致性零拷貝還有一個隱藏問題緩存一致性。當(dāng)你寫入了dma-buf接收方比如NPU讀的時候需要確保寫操作已經(jīng)對讀方可見。CPU Cache和NPU/GPU的緩存可能是分離的直接訪問同一塊物理內(nèi)存可能讀到臟數(shù)據(jù)。Linux提供DMA_BUF_IOCTL_SYNCioctl來解決這個問題。寫入方在寫完數(shù)據(jù)后調(diào)用sync讀取方在讀取前調(diào)用sync#include linux/dma-buf.h void dmabuf_sync(int dmabuf_fd) { struct dma_buf_sync sync { .flags DMA_BUF_SYNC_RW, }; ioctl(dmabuf_fd, DMA_BUF_IOCTL_SYNC, sync); }比較細(xì)膩的做法是分方向如果只有CPU寫、設(shè)備讀寫完后調(diào)DMA_BUF_SYNC_END寫方向觸發(fā)CPU cache flush。設(shè)備寫完后CPU要讀讀之前調(diào)DMA_BUF_SYNC_START讀方向觸發(fā)cache invalidation。這個細(xì)節(jié)在RK3588上不同使用方式需要不同處理。如果你只是做純CPU進(jìn)程間的共享內(nèi)存替代品且兩個進(jìn)程都在CPU上跑那么普通共享內(nèi)存就夠了不太需要sync。但一旦涉及NPU、GPU、VPU必須處理緩存同步否則會出現(xiàn)“圖像花屏、數(shù)據(jù)不對、偶發(fā)錯誤”等疑難雜癥。5. 共享內(nèi)存 內(nèi)存池的務(wù)實替代方案5.1 為什么還要講這個方案dma-buf雖然好但有一個現(xiàn)實問題在普通Linux系統(tǒng)上不是所有設(shè)備驅(qū)動都支持dma-buf導(dǎo)入導(dǎo)出。如果你用的是第三方USB攝像頭UVC協(xié)議圖像數(shù)據(jù)是由攝像頭驅(qū)動直接放到UVC驅(qū)動的緩沖區(qū)里這個緩沖區(qū)能不能導(dǎo)出為dma-buf取決于驅(qū)動實現(xiàn)。Rockchip的UVC驅(qū)動通常支持但第三方閉源驅(qū)動就不一定了。另外dma-buf的調(diào)試相對麻煩出了問題很難直接從用戶態(tài)看出是哪一步丟的。做產(chǎn)品時排障成本也是成本。所以在工程上“共享內(nèi)存 內(nèi)存池 一次memcpy”的方案仍然大量存在于實際設(shè)備中。它雖然不是嚴(yán)格零拷貝但通過精心設(shè)計可以讓memcpy時間不再成為瓶頸。5.2 內(nèi)存池的核心設(shè)計思路共享內(nèi)存區(qū)域劃成多個大小相等的buffer slot每個slot頭部存放一個元數(shù)據(jù)頭包含幀序號數(shù)據(jù)長度時間戳狀態(tài)標(biāo)志空閑/寫入中/可讀/讀取中生產(chǎn)者從池中取一個空閑slot寫入圖像數(shù)據(jù)更新狀態(tài)為可讀消費者輪詢或通過條件變量/信號量感知新幀讀取該slot用完重置為空閑。生產(chǎn)者和消費者之間需要同步常見做法原子變量 __sync_val_compare_and_swap做無鎖競爭?;蛘咧苯佑靡粋€共享內(nèi)存中的互斥鎖pthread_mutex_t設(shè)置在共享內(nèi)存中配合PTHREAD_PROCESS_SHARED屬性。這里我想特別提醒跨進(jìn)程使用pthread_mutex_t時必須在初始化時設(shè)置PTHREAD_PROCESS_SHARED否則默認(rèn)是進(jìn)程內(nèi)鎖跨進(jìn)程加鎖會讓行為未定義。我記得第一次寫這個的時候忘了設(shè)結(jié)果兩個進(jìn)程互相卡死查了很久才發(fā)現(xiàn)是鎖屬性問題。5.3 一次memcpy的優(yōu)化技巧既然無法完全消除memcpy那就把這次memcpy優(yōu)化到極致內(nèi)存對齊確保緩沖區(qū)起始地址和大小都按64字節(jié)對齊可用posix_memalign分配共享內(nèi)存段或者直接在共享內(nèi)存頭里設(shè)計對齊處理。RK3588的CPU是ARM Cortex-A76/A55NEON向量加載一次可以處理128位對齊后能跑滿內(nèi)存帶寬。使用NEON優(yōu)化拷貝比memcpy更快的手寫NEON拷貝實測能提升20%~30%void neon_copy(void *dst, void *src, size_t size) { uint8_t *d dst; uint8_t *s src; size_t i 0; // 一次拷貝16字節(jié) for (; i 16 size; i 16) { uint8x16_t data vld1q_u8(s i); vst1q_u8(d i, data); } // 剩余字節(jié) memcpy(d i, s i, size - i); }核心綁定將生產(chǎn)者和消費者線程分別綁定到大核CPU避免調(diào)度抖動導(dǎo)致cache失效。RK3588有4個A76大核合理分配后能顯著降低延遲。這個方案實現(xiàn)簡單、調(diào)試容易性能也足夠撐住1080P30fps的視覺應(yīng)用。所以如果你的目標(biāo)是“快速穩(wěn)定地上線”我建議從這里開始。6. RK3588上的實際性能對比和踩坑記錄6.1 實測數(shù)據(jù)為了不紙上談兵我在一塊RK3588開發(fā)板上做了實驗。測試條件如下系統(tǒng)RK3588官方BSP Linux 5.10CPU4×A76 4×A55固定在大核圖像1080P RGBA1920×1080×4 ≈ 8.3MB/幀幀率30fps內(nèi)存LPDDR4X4通道測試三種方案。方案一sendmsgrecvmsg通過Unix Socket傳輸圖像數(shù)據(jù)每次sendmsg發(fā)送整幀。實測延遲約800微秒~1.5毫秒/幀CPU占用單核約35%。方案二共享內(nèi)存 memcpy一次拷貝整個8.3MB。實測拷貝時間約2.2毫秒/幀普通memcpyNEON優(yōu)化后約1.5毫秒/幀。加上同步和進(jìn)程切換開銷總延遲約3~4毫秒/幀CPU占用單核約20%。方案三dma-buf fd傳遞。實測fd接收和映射時間約0.1毫秒/幀加上進(jìn)程調(diào)度開銷總延遲約0.3~0.5毫秒/幀CPU占用幾乎可以忽略。表格匯總方案每幀延遲CPU占用備注Socket直傳0.8~1.5ms35%有多次內(nèi)核拷貝共享內(nèi)存memcpy3~4ms20%一次memcpy 1.5msdma-buffd0.3~0.5ms5%完全零拷貝數(shù)據(jù)很好看但注意dma-buf的方案里幀數(shù)據(jù)的讀寫仍然在采集和推理階段各發(fā)生一次只是我們把這部分開銷分?jǐn)偟搅司唧w的業(yè)務(wù)邏輯中而不是額外的通信拷貝。這一點想先說明白免得大家拿到數(shù)字后誤會。6.2 踩坑1dma-buf的mmap映射不是所有場景都穩(wěn)dma-buf通過DMA_HEAP_IOCTL_ALLOC分配的內(nèi)存屬于系統(tǒng)堆或CMA區(qū)域。系統(tǒng)堆分配的內(nèi)存是物理非連續(xù)的但dma-buf框架通過scatterlist來處理通常沒問題。但是如果你分配的buffer很大比如4K幀33MB系統(tǒng)堆可能分配失敗這時需要用CMA heapint heap_fd open(/dev/dma_heap/linux,cma, O_RDWR);CMA區(qū)域是物理連續(xù)的適合大塊分配。但CMA有上限如果同時跑多個4K流可能不夠用。遇到分配失敗時先別急著懷疑代碼檢查一下CMA大小cat /proc/meminfo | grep Cma默認(rèn)RK3588的CMA可能是256MB或512MB看BSP配置。4K60fps雙路同時采集的話建議調(diào)大CMA。6.3 踩坑2V4L2的buffer導(dǎo)出必須是MMAP模式如果你想讓V4L2采集到的buffer直接導(dǎo)出為dma-buf必須在VIDIOC_REQBUFS時設(shè)置memory V4L2_MEMORY_MMAP然后通過VIDIOC_EXPBUF導(dǎo)出fd。不能使用V4L2_MEMORY_USERPTR或V4L2_MEMORY_DMABUF來導(dǎo)出。struct v4l2_exportbuffer expbuf; memset(expbuf, 0, sizeof(expbuf)); expbuf.type V4L2_BUF_TYPE_VIDEO_CAPTURE; expbuf.index buffer_index; if (ioctl(fd, VIDIOC_EXPBUF, expbuf) 0) { perror(VIDIOC_EXPBUF); } // expbuf.fd 就是導(dǎo)出的dma-buf fd拿到fd后可以直接通過SCM_RIGHTS發(fā)送給推理進(jìn)程。這樣采集進(jìn)程連mmap都省了直接從dma-buf寫到NPU。這是最徹底的零拷貝路徑也是Rockchip官方SDK demo在用的方式。6.4 踩坑3接收方mmap后忘記munmap導(dǎo)致內(nèi)存泄漏dma-buf的mmap和普通mmap一樣進(jìn)程退出時必須munmap否則fd泄漏。尤其在一個長時間運行的邊緣設(shè)備上如果每幀都做mmap/unmap而忘記釋放幾天后內(nèi)存就被吃光了。最佳實踐是初始化階段一次性mmap好之后復(fù)用同一個映射地址不要每幀都map/unmap。6.5 踩坑4RKNN導(dǎo)入dma-buf時的size對齊要求RKNN的rknn_create_mem對size有對齊要求一般是4KB對齊。如果你傳遞的dma-buf size不是頁面大小的整數(shù)倍rknn_create_mem可能失敗或讀越界。建議在分配dma-buf時直接按頁面大小向上取整size_t aligned_size (size 4095) ~4095;6.6 踩坑5不要讓所有進(jìn)程都綁同一個大核RK3588有4個A76大核和4個A55小核但A55的頻率低、帶寬也比A76低不少。如果采集進(jìn)程、推理進(jìn)程全部綁定到同一個大核上調(diào)度器會失衡導(dǎo)致實際幀率不升反降。合理分配是采集進(jìn)程綁CPU0A76推理進(jìn)程綁CPU2A76通信線程綁CPU3A76網(wǎng)絡(luò)/日志之類的后臺任務(wù)放A55核這樣A76大核干活A(yù)55核跑低負(fù)載任務(wù)整體負(fù)載均衡。7. 數(shù)據(jù)幀語義擴(kuò)展讓零拷貝的效益在整條管線里滾起來7.1 從處理器間通信擴(kuò)展到渲染和編碼管線零拷貝的價值如果只停留在“采集到推理”這一跳其實有點浪費。RK3588的強大之處在于多個硬件加速單元可以協(xié)作。舉個例子一塊dma-buf采集進(jìn)程寫入后推理進(jìn)程直接讓NPU讀取顯示進(jìn)程通過DRM/KMS直接把它作為primary layer掃描輸出編碼進(jìn)程通過VPU硬編碼直接從同一塊內(nèi)存摳數(shù)據(jù)編碼這樣一條流水線下來連共享內(nèi)存數(shù)據(jù)結(jié)構(gòu)的層層轉(zhuǎn)換都省了。實際做室內(nèi)監(jiān)控設(shè)備時我把采集到的YUV幀直接通過dma-buf傳到顯示進(jìn)程做本地預(yù)覽同時傳到推理進(jìn)程做檢測編碼進(jìn)程另行讀取。整個系統(tǒng)同時跑預(yù)覽、檢測、錄像三路任務(wù)CPU占用還是很低。具體做法是V4L2采集到的buffer導(dǎo)出dma-buf fd后同時復(fù)制這個fd給多個進(jìn)程而不是分別復(fù)制數(shù)據(jù)。fd只是引用計數(shù)不影響實際內(nèi)存。這就是Linux里dma-buf的引用計數(shù)模型帶來的好處。7.2 結(jié)合RTSP推流的注意點如果你的系統(tǒng)還要做RTSP推流很多人選擇把H.264/H.265編碼后的碼流通過TCP發(fā)出去。這看起來繞不開數(shù)據(jù)拷貝但其實編碼器輸出的是dma-bufRockchip VPU的編解碼buffer碼流通常不經(jīng)過CPU直接進(jìn)內(nèi)存這部分不會太影響性能。真正影響性能的是RTSP協(xié)議棧如果做了自帶的TCP發(fā)送緩沖拷貝那也就認(rèn)了——畢竟這是網(wǎng)絡(luò)協(xié)議棧的開銷不是跨進(jìn)程通信能優(yōu)化的范圍。但如果你用進(jìn)程內(nèi)RTSP服務(wù)可以直接引用編碼輸出的buffer不需要復(fù)制。如果你用獨立的RTSP進(jìn)程那么編碼碼流跨進(jìn)程時用我們上面講的SCM_RIGHTS傳fd的方式同樣適用——碼流很小幾KB到幾百KB但能省則省。7.3 接入ROS2場景的取舍現(xiàn)在不少機器人項目把RK3588當(dāng)主控跑ROS2來做節(jié)點間通信。ROS2的默認(rèn)DDS實現(xiàn)Fast DDS或Cyclone DDS用的是共享內(nèi)存?zhèn)鬏擲hared Memory Transport對大數(shù)據(jù)吞吐的支持其實不錯。但DDS的共享內(nèi)存走的是它自己管理的buffer不會自動使用dma-buf所以從RKNN推理進(jìn)程發(fā)布圖像話題時仍然要先把圖像數(shù)據(jù)拷到DDS共享內(nèi)存段里。如果你的機器人系統(tǒng)對實時性要求極高比如在運動控制里同時做視覺檢測我建議不要走DDS傳大圖而是用dma-buf直接做端到端傳輸只把推理結(jié)果坐標(biāo)、類別、置信度這種小消息交給DDS。這樣的架構(gòu)既兼顧了模塊解耦又把大數(shù)據(jù)量隔離在零拷貝通道里不會拖垮整體通信。8. 常見問題速查與排障建議8.1 常見問題表現(xiàn)象可能原因排障建議open /dev/dma_heap/system失敗內(nèi)核未開啟dma-heap檢查內(nèi)核配置重新編譯DMA_HEAP_IOCTL_ALLOC返回ENOMEMCMA內(nèi)存不足檢查/proc/meminfo的Cma總量接收方收不到fd發(fā)送方?jīng)]帶dummy數(shù)據(jù)確認(rèn)sendmsg至少有1字節(jié)iov數(shù)據(jù)圖像花屏、部分幀亂碼緩存一致性問題在每次寫/讀之間調(diào)用DMA_BUF_IOCTL_SYNCRKNN推理結(jié)果異常dma-buf size未對齊按4KB對齊分配sizemmap后訪問Segmentation faultdma-buf生命周期管理錯誤確認(rèn)生產(chǎn)者進(jìn)程未提前關(guān)閉fd多路采集時幀率掉到10fpsCMA不足或總線帶寬瓶頸調(diào)整CMA大小降低分辨率進(jìn)程退出后內(nèi)存泄漏忘記munmap或close fd檢查smem -p確認(rèn)駐留內(nèi)存8.2 如何快速定位是不是拷貝導(dǎo)致的性能瓶頸如果你不確定當(dāng)前系統(tǒng)的性能瓶頸是不是跨進(jìn)程通信可以用一個很簡單的實驗驗證關(guān)掉推理進(jìn)程的輸出只測采集進(jìn)程單獨跑時的CPU占用和幀率。打開跨進(jìn)程傳輸?shù)评磉M(jìn)程只做空轉(zhuǎn)。如果第二步比第一步多了大量CPU占用說明傳輸路徑有優(yōu)化空間。更直接的方式是用perf top或gprof看熱點如果熱點里出現(xiàn)memcpy、copy_page、__copy_user之類的函數(shù)說明內(nèi)存拷貝正在消耗大量CPU。這時候就值得上零拷貝方案了。我在實際調(diào)試一個4K30fps項目時用perf top看到memcpy占了CPU總用量的18%優(yōu)化為dma-buf之后這個數(shù)字直接降到1%以下效果立竿見影。8.3 判斷dma-buf是否真正生效的技巧如果你擔(dān)心自己的代碼并沒有真正走零拷貝路徑可以在接收進(jìn)程里通過/proc/self/fdinfo/fd查看dma-buf的參考計數(shù)和映射信息cat /proc/self/fdinfo/10如果顯示dma-buf相關(guān)字段說明這個fd確實是dma-buf。還可以用dmabuf_sync前后時間戳對比確認(rèn)是否真的沒有數(shù)據(jù)拷貝。最笨也最準(zhǔn)的方法是在內(nèi)存映射地址上放置一個特定的magic pattern發(fā)送前寫入接收方讀取驗證。如果內(nèi)容完全一致且沒有經(jīng)過顯式memcpy說明路徑是零拷貝的。8.4 建議先跑通的Demo路徑如果你是第一次接觸dma-buf我不建議直接硬剛RKNN的獨有接口。先把“創(chuàng)建dma-buf → sendmsg傳fd → recv_fd → mmap → 讀寫驗證”這個最小鏈路跑通再逐步把圖像數(shù)據(jù)塞進(jìn)去。這個最小鏈路大概只需要300行C代碼在RK3588開發(fā)板上半小時就能跑通。跑通之后你對dma-buf的信任度會完全不一樣。很少有人能一次把dma-buf鏈路寫對因為它涉及Linux系統(tǒng)編程的多個層次。我在多臺RK3588開發(fā)板上做過驗證遇到最多的問題依次是“mmap后數(shù)據(jù)不一致”、“fd傳遞失敗”、“CMA內(nèi)存不足”這三類。解決完這三類問題你的零拷貝鏈路基本就穩(wěn)了。9. 后續(xù)擴(kuò)展方向與個人實操心得如果這個零拷貝通道已經(jīng)穩(wěn)定跑起來了我建議你再往下擴(kuò)展這幾個方向多生產(chǎn)者多消費者模型把單路采集擴(kuò)展到多路攝像頭dma-buf的引用計數(shù)天然支持多個消費者但同步策略要仔細(xì)設(shè)計否則會引入鎖競爭。結(jié)合RKNN的多模型推理共享buffer如果一臺設(shè)備上同時跑YOLOv8檢測和姿態(tài)估計可以讓兩個模型共享同一份輸入dma-buf省掉兩份輸入拷貝。讓顯示和編碼直接消費推理結(jié)果有些可視化需求要把檢測框畫在圖像上常規(guī)做法是CPU把框畫上去再拷到顯示buffer。實際上如果你用GPU做繪制且GPU支持導(dǎo)入dma-buf可以直接在dma-buf上做覆蓋再讓VOP掃描顯示這樣連繪制和顯示之間的拷貝也省了。在我做過的幾個RK3588邊緣AI項目中早早上零拷貝方案的項目后期擴(kuò)展都很輕松。反而是那些一開始圖省事用Socket傳圖像的項目每到幀率提不上去、CPU占用爆炸的時候就得回來重構(gòu)通信層拆東墻補西墻。最后再分享一個小技巧。/dev/dma_heap/system分配的內(nèi)存和普通用戶態(tài)內(nèi)存一樣受CPU MMU管理。但如果你想給NPU用一定要確保RKNN初始化時設(shè)置的輸入內(nèi)存物理地址和dma-buf的實際物理地址一致。我的做法是在分配dma-buf后用dma_buf_phys接口查詢物理地址打印出來和RKNN日志里報的輸入地址做對照兩邊一致才放心。這是一個很樸素但非常有效的排障手段。零拷貝跨進(jìn)程通信這個話題說大不大說小不小。它不像模型結(jié)構(gòu)那樣值得反復(fù)研究也不像訓(xùn)練技巧那樣能刷榜單但它決定了你整個系統(tǒng)能不能穩(wěn)定跑滿硬件性能。在RK3588這套平臺上回頭好好算一下你每幀圖像經(jīng)過了多少次不必要的拷貝優(yōu)化掉它們你就能把多出來的那些CPU時間留給真正需要算力的業(yè)務(wù)邏輯。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
六月婷婷中文字幕| se99热久久一本| 五月婷婷 激情五月| 色原狠狠综合| 欧美性猛交AAAA片黑人 | 婷婷五月综合在线视频| 久久九九综合| 2015WWW永久免费观看播放| 亚洲国产精品VA在线看黑人| 色五月大| 色婷婷亚洲精品天天综| 日本人妻丁香婷婷久久寝取熟女五月| www.sebowuyue| 97色碰| 精品,99| 久久综合爱| 久久91久久精品久久| 播五月开心婷婷欧美综合| 第四色色六月色综合| 亚洲色区17| 婷婷五月天综合久久| 久久婷婷五月综合激情国产| 亚洲精久久| 丁香97综合| www.夜夜操| 久久婷婷五月天激情四射| 插少妇综合网| 五月婷婷开心色伊人| 成人永久免费视频在线观看| 91干网| 色久婷婷五月| 久9免费视频| 97日韩无套内| 欧美成人一区二区三区在线视频 | 丁香五月婷婷激情蜜桃| 色亚洲婷婷| 香蕉久久国产AV一区二区| Av在线资源| 久热婷婷| 婷婷婷婷婷婷婷五月丁香| 婷婷爱综合| 国产激情视频在线观看| 97视频.干com| 色五月,婷婷大香蕉| AA片在线观看视频在线播放| 国自产拍偷拍精品啪啪一区二区| 开心五月激情网| 天天综合精品| 思思99久久| 久久人妻www| 狠狠干总合| 久久激情网| 色播五月天婷婷老师| 久久综合66| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 97久久人人人干| 超碰免费在线| 亚洲综合在线视频| 大伊香蕉精品视频在线| 碰超亚洲| 97久操| 91大操| 亚洲欧洲中文日韩久久AV乱码| 五月婷婷婷| 91精品国产91久久久久青草| 99精品在这里| 亚洲日韩一页精品发布| 就去色色五月丁香婷婷久久久| 丁香五月花| 婷婷九月色| 色优久久| 涩综合在线| 免费九九热| 无码人妻激情| 99热久只有| 草操AV在线| 色婷五月婷婷| 婷婷五月骚厕所| 狠狠色噜噜色狠狠狠综合久久成人波 | 五月开心色| 欧美3AaAa大片| 99热免费网站| 热99re| 婷婷十月丁香| 九九无码| 丁香在线视频| 97伦乱| 婷婷婷五月香蕉| 五月婷婷丁香网| jiujiujiuwuyuetian| 超碰色色综合| 人妻videos人妻高清| 婷婷五月久久| 九月丁香亭亭| yazhoujiqingav| 九月婷婷人人操人人舔人人爱| 微拍92| 久99精品视频| A一级操| 操一操插一插| 激情小说五月天| 色婷婷19| 婷婷丁香成人色综合| 九月婷婷综合在线| 久久99热这里只有| 99这里只有精| 日日夜夜狠狠| 九九热婷婷| 中文字幕婷婷五月天| 天天综合天天做天天综合| 亚洲日日操| 大香蕉久艹| 另类小说色婷婷| 亚洲综合网在线| 久久一操| 青草视频在线蜜臀| 丁香花色色网| 一本到不卡高清DVD| 日本色久| 婷婷五月天激情综合网| 婷婷综合在线| www.一起草av| 开心四月婷婷在线色播播| 五月丁香婷婷开心| 成人综合网站| 性一交一乱一交A片久久四色| 五月婷婷就去色| 5月丁香婷婷激情网| 五月激情小说网| 天天躁日日躁狠狠躁日日躁2022年5月9日| 婷婷性爱影院| 99精品性爱| www.26uuu.com亚洲电影| 亚洲AV成人无码电影| 中文字幕AV在线| 人人做人人看人人摸| 欧日韩成人| 农村熟妇高潮精品A片| 91亚洲天堂| 五月婷婷新网站| 曰日爽日日操| 婷婷五月天AV网| 看国产探花操逼三级片| 成人无码精品1区2区3区免费看| 五月宗合激情网| 激情综合五月天| 日本视频久久| 秋霞三级影视资源| 五月丁香婷婷基地| 九九AV在线| 婷婷亚洲色| 丰满人妻一区二区三区| 精品激情| 丁香九月婷婷综合| 欧美三日本三级少妇三99| 26UUU精品一区二区c〇m| 色色色婷婷五月天| 日本色99| 中文AV在线播放| 在线中文AV| 久久色情| 色婷婷电影网| 丁香色婷婷| 99精品在线观看视频| 99热10在线高清播放| 亚洲色色图片| 大香蕉综合| 伊人激情啪啪| 99久久99九九九99九他书对| 97色久| 五月亚洲| 碰碰碰91| www.色综合.com| 久久婷婷桃花五月天| 天天干-天天日| 色情五月婷婷| 大香蕉伊人久久| 激情五月婷婷| 九九热大香蕉| 婷婷五月激情图片| 99热 这里只有精品 国产 日韩| 色丁香五月| 综合久久综合综合| 久久最新色| 久久综合伊人77777蜜臀| 婷婷五月在线播放| 五月天久久www| 丁香五月激情网| 五月天婷婷色色网| 玖玖资源在线视频| 国产精品久久久99视频| 国产又黄又爽又色的免费| 丁香五月天导航| 思思精品视频| 综合视频五月| www99xxxx五月丁| 天天操天天曰| 成人短视频在线| 91九色丨国产丨爆乳| 影音先锋毛片网站| 99这里都是精品| 激情深爱婷婷网| 五月激情天| 青青草护士中出内射-欧美电影在线天堂新版| 国产日韩欧美性爱| www.26uuu.com亚洲电影| 超碰免费人人肏| 五月婷婷在线播放| 99在线观看视频| 九九操操| 九九成人精品| 大香蕉娱乐| 天天做天天爱天天爽| 99人人操人人操人人精| www.99在线| 人人干人人操人人摸人人做| 色婷婷香蕉丁丁网| 51国精产品自偷自偷综合| 婷婷基地成人五月天| 日产精品久久久久久久蜜臀| 免费观看的婷婷五月视频在线| 激情图片婷婷丁香五月| 99热这里只有精| 激情五月六月丁香| 日本婷婷在线| 激情视频网址| 日本色五月| 亚洲区视频| 9久热| 五月色丁香激情| 丁香五月婷婷99| 婷婷五月天激情文学| 亚洲综合干| 91日综合欧美| 欧美大肥婆大肥BBBBB| 久热这里只有精品视频免费观看| 婷婷伊人网| 琪琪色网在线| 99热亚洲| 狠狠综合网| 丁香五月综合高清在线| 五月伊人婷婷999| 亚洲av骚货| 天天色天天爱天天爽| 五月丁香网站| 日本综合九九| 99久久99九九99九九九| 亚洲婷婷五月天| 婷婷五月在线综合| 91网站黄| 开心五月激情五月丁香五月婷婷| 神马欧美精| 欧美成人精品A片免费一区99| 色色色无码| 激情综合五月激情17| 91九色 熟| 五月丁香色色网| 婷婷五月天成人影片| 影音先锋色婷婷| 男人的天堂婷婷色五月| 狠狠干,狠狠操| 五月天婷婷激情小说电影| 色情五月天小说| 婷婷色情五月| 97成人在线视频| 99视频在线| 99热首页| www激情com| 亚洲日韩人妻操逼| 亚洲日韩国产黑丝黑丝AVAV一区二区三区| 国产成人高清| 伊人九九综合| 中文字幕综合色| 丁香五月婷婷色| 五月婷婷偷拍| 婷婷六月色开 | 婷婷色一二三区波多野结衣| 中文字幕一色哟哟哟哟| 天天插天天插| 天天爽天天干| av色色国产| 夜夜久久综合网| 激情六月婷| 婷婷五月播| 天天综合五月| 五月婷婷深深爱| 狠狠色噜噜狠狠亚洲A∨| ..真实国产乱子伦毛片| 免费无码毛片一区二区A片| 成人AV免费观看| 亭亭玉月丁香| 婷婷深爱五月| 六月丁香激情网| 五月天综合区| 天天干肏夜夜| 久色五月婷婷综合| 丁香伊人综合| 五月天激情婷婷丁香| 久久er+| 熟女色专区| 五月婷精品| wWW九九在线播放| 狠狠综合区| 欧美激情-区二区三区| 色欧美色色色| 亚洲天堂制| 亚洲欧美综合7777色亭亭| 亚洲欧洲中文日韩久久AV乱码| 99久久九九| 99色性爰网络| 日日爽夜夜爽| 色色五月婷婷| 狠狠久久婷五月综合色| 97涩婷婷婷婷基地| 色五月偷偷| 成人毛片在线免费观看| 8区视频在线| 色欲影香| 成人五月天婷婷| 五月丁香综合啪啪| 五丁香激情综合| 丁香六月激情综合网| 婷婷综合成人五月天| 天天操九九插| 婷婷五月天电影区小说区| 天天爽夜夜爽天天爽夜夜爽| AA丁香综合激情| 婷婷人人操| 婷婷色五月天在线观看| 亚洲精品又粗又大又爽A片| 国产精品天天狠天天看| 中文字幕不卡网站| 色婷久九| www.精品99| 五月天激情婷婷丁香| 97婷婷五月| 久久久久er热| 婷婷六月色| 精品一二三区久久AAA片| 亚洲乱码日产精品BD| 一本久久婷婷| 婷婷久久五月天丁香| 秋霞三级色戒| 激情五月天在线视频| 最新va在线播放| 另类在线| 丁香婷婷六月| 激情文学久久| 色婷婷裸体色性在线| 久久婷婷五月| AA片在线观看视频在线播放| 成人在线高清| 99色色网站| 99小视频网站| 久久伊人五月天| 婷婷色婷婷| 久热99中文字幕| 99热精品99| 亚洲五月六丁香激情| 五月天色婷婷伊人网| 丁香 久久| 狠狠爱综合网| 射久久丁香五月| 婷婷综合另类小说| 五月丁香在线| 天天干人人奸97| 国产午夜精品一区二区| 伊人狠狠综合| 日韩色色视频| 日熟女| 婷婷大美在线| 成人日韩欧美| 五月婷婷丁香网| 伊人大香五月天| 色婷婷精品| 激情五月天色色网| 伊人久久婷| 亚洲婷婷成人五月天| 秋霞A V毛片| 综合色七七| 亚洲av网站| 国语精品探花| 日本欧美成人片AAAA| 丁香蜜臀黄色婷婷五月天| 五月婷婷免费| 日本色色色| 超碰人人99| 色国产五月| 在线中文字幕视频| 99热日| 天天干天天操天天爱| 思思热精品在线视频| 在线成人av播放| 深爱网深爱综合网| 五月综合激情网| 91精品又长又大又粗又爽又猛| 丁香五月婷婷精品视频| 狠狠干狠狠干| 91欧美| AVDV久久| 亚洲av成人一区二区电影在线| 日韩亚洲视频| 日本99在线视频| 伊人超碰在线| 五月丁香黄色视频| 久久六月综合| 人人添人人| 亚洲激情网| 7超碰自拍| 婷婷成人五月天| 另类国产欧美视频| 婷婷五月另类网站| 亚州精品成人片| 五月天婷婷高清无码| 嫩草AV久久伊人妇女超级A| 色综合久久88色综合天天99| www.99久久久| 免费黄色视频网址| 五月天另类小说| 五月婷婷啪啪网| 26uuu丁香婷婷五月| 亚洲人成网站999久久久综合| 亚洲色色色色| 7777久久亚洲中文字幕| 精品五月天| 伊人99久久| 国产性色蜜乳| 任你爽在线视频| 五月丁香六月欧美| 99精品久久久久久久久| 噜噜国产| 大香蕉99热| 九月丁香亭亭| 精品在线| 无码人妻少妇色欲AV一区二区| 婷婷欧美色| 天天插天天射| 六月色色婷婷| 丁香五月天久久| 丁香五月激情澎湃一区| 日韩精品VIP| 桃色激情网| 99精品女人天堂| www.日韩国产| 天天爽在线视频| 99热99色| 九九综合久久| 99精品久久久久| 午夜成人AV在线| www色婷婷| 99re这里只有| 亚洲久久婷婷| www.久久久久久久久久久| 伊人在线视频| 五月婷视频久久| 天天操夜夜操| 六月丁香VA| 高清无码网址| 97色干| 中文字幕欧美日韩VA免费视频| 五月婷婷之六月丁香| 五月丁香久久激情综合| 婷婷五月丁香综合| 六月米奇色综合| 亚洲色区17| 天天操加勒比| 婷婷成人五月天一区| 人人操人人妻| 色999;丁香五月| 婷婷丁香五月精品| 九伊人网| 色婷婷在线视频| 激情六月一二| 色婷婷综合视频| 99精品偷自拍| 激情綜合網址| 日夜夜天天| 色婷婷久久视屏| 99精品综合| 色区域网站视频| 九月婷婷色色| 管管補管管紱| 色欲色香综合网站| 成人在线日韩| 国产成人AV在线播放| 激情精品久久| 天天综合久久| 色六月 婷婷| caop在线视频| 五月婷婷激情综合网 | 在线资源av-超碰中文在线-成人AV | 五月丁香六月婷综合成人综合 | 国产av一区二区三区| 丁香婷婷九月| 婷婷丁香五月综合激情小说| www久久99com| 色五月偷偷| 精品久久久久成人码免费动漫| 色五月五月婷婷| 99热在线里有精品| 亚洲中文字幕网| 久久九九思思| 久久久久婷婷| 婷婷五月天久久| 五月丁香拍拍激情综合| 亚洲av成人在线| 亚洲成AV人片在线观看| 五月丁香影视| 天天爱天天操| 九九热视频思思| 国产亚洲精品人人| 久久性操| 九九人人看| 五月婷婷亚洲天堂97色婷婷| 九九色热| 婷婷丁香十月| 综合网五月| 欧美综合丁香网| 99re这里只有精品99| 9伊人网| 国产99久久久国产精品免费看| 91精品在线看| 久久五月天网| 99免费视频网| 五月成人网天天| 婷婷爱综合| 色五月婷婷色| 婷婷五月天Av| 五月丁香六月天| 五月丁香基地| 97五月天婷婷| 五月天中文网| 激情都市五月天| 亚洲天堂亚洲色色色| 五月丁香婷婷综合视频| 欧美成人日韩| 丁香五月天激情四射网| 亚洲婷婷丁香五月| 国产人人操| a性生活久久无| 蜜乳久AV| 大香蕉久久综合网| www.wuyuetian啪啪| 99热精品在线| 丁香五月婷婷啪啪| 直接看的av| 成人av免费观看| 伊人五月婷婷| 五月天综合在线| 久久激情五月天| 99久超碰| 婷婷色网| 色婷婷激情| 久热伊人| 国产午夜精品一区二区三区四区| 99久久国产宗和精品1上映| 99精品视频在线观看| 五月天婷婷影院| 粉嫩AV久久一区二区三区| 天天爱天天操| 色婷婷综合久久| 丁香六月成人| 激情丁香五月AV| 五月天婷婷激情四射综合| 色播激情| 久久看婷婷| 99色视频在线观看最新| 激情五月婷黄版| 五月天激情国产综合婷婷婷| 亚洲精品国产A久久久久久| 久久精品A片777777| 亚洲精品a成人在线播放| 91性交在线播放| 亚洲天堂色| www.激情五月天.con| 97成人在线视频| 99九精品| 婷婷精品| 精品九九视频| 久久这里只有精品热在99| 99热这里都是精品| 日日夜夜狠狠| 99亚洲精品综合在线 | 超碰久热| 婷婷丁香六月激情综合| 久久偷拍综合五月天| 五月婷婷天堂| 亚洲视频一区| 国精产品一区二区三区| 色久播播| 五月丁香六月激情综合欧美| 9|无码久久久久久| 国产麻豆视频| 伊人色综合影院视频| 六月丁香五月婷婷首页| 五月丁香亚洲综合| 久草热在线视频| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 五月婷婷熟女| 99热99热在线观看| 岛国AV网| 色婷婷网| 天堂久久大香蕉| 另类图片天天影视在线观看| 天天久久综合| 中文字幕av在线| 国产精产国品一二三在观看| 99热 在线播放| 99色婷婷| WWW,五月| 国产FREESEXVIDEOS性中国| 免费无码毛片一区二区A片| 九九99在线视频| 青草性爱视频| 五月天激情综合| 国产毛片欧美毛片久久久| 色五月六月| 婷婷久久五月| 熟女国产在线一区二区三区四区| 亚洲操逼片| 天天色综合综合| 亭亭五月色男人| 99超级超级超级碰| 婷婷五月天激情偷拍| 色色色综合网| 亚洲色图欧美色图日本视频| 99久久久久| 婷婷五月丁香综合人妻| 99综合| 综合色影| 九九精品在线观看视频6| 99日韩| ′久久99一| 米奇影视五月天| 狠狠穞A片一區二區三區| 视频在线免费观看欧洲乱码| 99久久er| 蜜桃五月天| 99久久网站| 婷婷天天日婷婷| 国产又爽又猛又粗的视频A片| 色婷婷A| 99国产小视频| 日本V在线观看不卡视频网站| 337p大胆噜噜噜噜噜91Av| 国产在这里只有精品| 亚洲黄网AV| 久久久久久天天日天天爱| 久久久五月五丁香| 婷婷五月a| 日韩欧美四五区| 夜夜躁爽日日| 亚洲性受XXXX五月丁香| 三级三久久线久久99久目本WW| 婷婷丁香黄色| 婷婷激情5月| 少妇大叫太大太粗太爽了A片| 黄网在线免费观看| 日本一道久久| 玖玖综合网| 天天色亚洲| 色吊丝99| 婷婷色色丁香| 五月婷婷开心综合| 色五月美女| 人妻久久久久久久久妻久久久久| 天天操夜夜操| 婷婷激情鹿城五月天| 五月婷婷丁香| 丁香婷婷六月激情| 一二线视频 另类| 五月丁香成人| 婷婷综合性爱网| 亚洲国产精品成人va在线观看| 少妇做爰免费视看片| 五月天激情网图片 - 百度| 亚洲国产99| 五月丁香在线视频观看| 久久综合激情| 天天网站天天爽| 午夜不卡久久精品无码免费| 五月丁香拍拍激情综合| 日本无码专区| 色狠狠色综合| 日韩久综合| 9久热免费视频99| 激情五月综合网最新| 久婷五月| 侠女刀之记忆电影在线看免费| 久热大香蕉| 这里只有精品,日韩视频| 少妇被躁爽到高潮无码文| 婷婷丁香六月激情综合| 欧美日本国产| 婷婷娌伦网| 久久伊人婷婷| 天天干天天爽| 久久99热精品a片在线观看| 五月天婷婷色综合| 99九九视频| 激情五月婷婷综合| 精品国产一区二区三区四区阿崩| 五月天社区狠狠| 4438国产免费看| 伊人婷婷大香蕉| 天天日天天做天天舔| 99热久| 色天天综合| 激情五月最新网址| 欧美色99| 亚洲在线激情婷婷五月| 影音先锋一区二区资源站| 五月丁香成人小说| 日本熟女视频一区二区| 91干网站| 人人九色| 五月亭亭六月激情| 欧美日韩五月婷婷| 欧美激情综合色综合啪啪五月| 26uuu激情五月天| 9色免费网| 久久五月综合| 成片免费观看大全| 99视频自拍| 噜噜噜噜在线| 99re热99| 婷婷五月性感| 婷婷六月啪啪| 天天舔天天摸天天透| 色情久久久| 丰满老熟妇BBBBB搡BBB| 色欲婷婷五月天丁香| 99小精品| 婷婷终合色图| 乱精品一区字幕二区| 久热99视频在线观看| 日韩操人| 在线免费观看激情视频| 色婷婷六月天| 婷婷色片| 人人人操B超碰| 狠狠色丁香| www久久久久久久| 色情五月婷婷| 久久精品这里只有精品免费首页| 亚洲精99| www亚洲无码| 精品一二三区久久AAA片| 激情综合五月| 中文字幕 久久9999| 超碰人人艹| 色综啪啪啪啪啪啪| 99在线精品免费视频| 婷婷五月色综合| 婷婷五月天激情五月天| 99热精品在线播放观看| 9人人操人人看| 一区二区你懂的| 成人精品视频99在线观看免费| 夜夜资源站| 99热的无码| 六月激情婷婷色| 激情婷婷在线中文字幕| 久久日曰| 五月激情四射网站| 五月天偷拍| 日本91在线| 九九在线这里只有精品视频| 五月婷婷久久爱| 思思热这里只有精品视频666| 亚洲国产网站| 婷婷伊人综合| 欧美三9久九观看| 99这里有精品| 久色网| 中文久久婷婷| 亚洲色网络| 亚洲五月天婷婷综合| 婷婷五月激情六月丁香 | 开心五月婷婷在线| 亚色网站小视频| 五月激情视频| 91一起操| av在线观看免费| WWW·色色色·COM| 亚州精品成人片| 色吧99| 91av视频| 无毒黄色网址| 婷婷视频在线碰| 亚洲精品第一色色色色色色| 91人人人人人| 久爱综合| 久久婷婷原创视频| 色色综合网。| 高清 码 免费看片短视频| 欧美三级韩国三级日本三斤| 超碰无码老师| 久久五月天 91| 99在线爽| 五月激情婷婷国产精品久久久久久| Www.Av网9| AV操一操| 日本天堂免费99| 99视频在线播放大全| 激情婷婷五月综合| 激情啪啪五月天| 色色五月丁香婷婷综合| 国产黄色一级片| 91精品无码久久久久久五月天| 成人永久免费视频在线观看| 色域五月婷婷丁香| 大香蕉婷婷| 包操45分钟网站| 色播五月丁香综合| 中文国产五月天| 五月丁香色狠狠干大屄| 中国激情网| 五月天天天天天天天天天天天天天天天婷婷婷| 亚洲五月停停| 色婷婷五月天在线观看| 激情婷婷久久| 天天干天天干天天| A片试看50分钟做受视频| 色五月,com| 99久久終合| 综合激情在线| 激情婷婷内射| 66精品成人免费网站在线观看| 五月婷婷人妻| 97干视频在线| 激情五月综合亚洲另类| 江苏少妇性BBB搡BBB爽爽爽 | 日本色狠狠| 日本久久婷婷| 激情五月丁香五月| 日操熟女| 区美毛片子| 26uuu.| 天天综合网网欲色| 丁香六月激情四射| 啪啪综合网| 综合六月久久| 国产色网站| 99在线观看精彩视频| 五月丁香六月婷婷亚洲视频| 六月婷婷色色色| 色情综合| 久久日曰| site:xiongshengzz.com| 色噜噜在线| 婷婷天天日婷婷| 97干97色| 无码成人AAAAA毛片AI换脸| 欧美一线视频| 99 色色吧| 美女天天爽| 久久伊人大香蕉| 成人免费网站免费看| 久久99视频| 成人精品99| 亚洲色五月| 丁香婷婷综合影院| 亚洲精品欧洲精品| 人人九色| www色哟哟| 欧美美女国产日韩一区二区久| 久操97| 91精品刘玥| 亚州欧美国产久精国产99综合视频| 另类图片五月天| 国产午夜成人免费看片无遮挡| 色色激情五月| 97韩国久久电影院| www.精品99| 婷婷丁香五月天激情四射| www.五月婷婷久久.com| 亚洲激情视频网| 亚洲第一综合| 国产真人做爰视频免费| 91精品婷婷国产综合| 操操操操操操婷婷五月天| 天天操夜夜肏| 99九九精品| AV成人在线播放| 婷婷丁香激情五月| 99久久久99久久91熟女| 777久久久| 丁香五月婷婷色| 狠狠CAO日日穞夜夜穞AV| 丁香五月婷婷六月婷婷| 日本激情91| 久久综合色五月| 一级黄色尤物综合视频手机在线观看| 超碰亚洲欧美| 丁香五月激情欧欧美| 色五月丁香婷婷| 亚洲激情综合网| 在线中文亚洲| 五月天停停日日| 天天做天天爱天天爽综合网| 丁香深五月婷婷| wwwC0maV五月花| 无码少妇高潮喷水A片免费| 六月丁香成人| 久久香蕉影院| 这里只有精品热| 久久久五月天| 99精品视频在线6| 婷婷综合网站| WWW丁香五月| 色综合久久久久| www久久五月com| 99热这里| 色色色99韩| 色婷婷香蕉| 天天日夜夜B久久| 色婷婷久久| 99热国内| 久久一级AV| 99在线国| 五月丁香 狠狠爱| 免费五月婷婷网| 国产第99页| 久久 天天| 成人在线综合| 91干| 婷婷激情丁香五月婷婷激情丁香五月婷婷 | 久久婷婷五月综合激情国产 | 色婷婷狠狠18yy| 婷婷五月综合视频免费播放| 色情五月| 激情综合九月| 婷婷五月播| 天天干天天做| 丁香婷五月天| 久久成人亚洲欧美电影| 丁香六月欧美| 香蕉婷婷色五月| 99热精品在这里| 丁香五月天激情婷婷丁香六月| 国产又黄又爽又色的免费| 五月丁香亚洲综合网| 97色碰碰公开视频| 五月丁香色综合| 久色网| 国产全是老熟女太爽了| 这里只有精品免费视频在线观看| 久艹久| 天天操无码| 丁香六月婷婷综合激情欧美| 日本无码专区| 久久婷婷五月天蜜桃| 伊人色综合影院视频| 成人片在线播放| 色综色五月天婷婷| 人妻aV在线| 99久在线精品99re8热| 婷婷五月天论坛| 七七色色综合| 99在线精品观看99| www.ppypp| 超碰猛烈的性猛交| 99综合视频一体| 另类综合婷婷五月天欧美视频| 丁香五月色五月| 开心激情站| 久久金品黃色| 激情五月激情综合俺也去婷婷小说| 五月丁香婷婷成人网| 五月天com| 九月丁香婷婷综合激情| 婷婷9月天| 婷婷视频网| 只有久久精品免费| 丁香五月激情啪| 欧美日本免费一道免费视频| 色99在线| 五月丁香WWW| 国产成人AV在线播放| 成人无码精品1区2区3区免费看| 色停停五月天| 只有精品视频在线观看| 色九九九综合| 99久热| 五月综合无码| 五月丁香综合激情在线观看| 色婷婷文字幕| 国产精品18久久久| 久久婷婷五月综合激情国产| 狠色狠色狠色狠色狠色网| 色情婷| 五月婷婷操操| 婷婷五月天AV| 99热99热在线| 亚洲色五月天是什么| 五月丁香婷婷成人版| av大片在线| 97色色色色色| 五月天综合在线观看视频| 26uuu美女三级视频| 九九热婷婷| 九月丁香婷婷基地| 玖玖热视频| 色五月综合| 色婷婷影音| 综合亚洲色色| 91丁香五月| 色吧99| 亚洲欧洲中文日韩久久AV乱码| www.91.com黄| 桃色激情网| 这里只有精品视频看看| 好好干Av| 爽极品色| 婷婷久久五月天中文字幕在线观看| 国产美女无遮挡裸体毛片A片| 九九五月天| 色婷婷久久| 婷婷色成人| 狠狠999| 欧洲永久精品| 亚洲精品成人| 欧美图片丁香五月天| 色色热日| 五月丁香六月激情| 欧美成人精品A片免费一区99| 97碰在线| yellow视频在线观看91| 五月丁香啪啪| 啪到高潮激情丁香五月| 插插五月天| 五月丁香 久久久| 人人亚洲| site:hcxsz888.com| 久久婷婷五月综合伊人| 4438成人电影| 色五月大香蕉婷婷| 97在线日韩| 丁香八月综合激情| 七月丁香婷婷 色色| 欧美性生交xXxX久久久| 在线理论片| 夜精品无码A片一区二区蜜桃| 五月丁香六月激情| 天天婷婷综合亚洲亚洲| 色999亚洲人成色| 婷婷久热| 99黄色性生活| 婷婷丁香在线| 丁香五月婷久久| 色婷婷大香蕉| 婷婷色情网| 久久9精品| 久久久婷| 天天爽天天| 五月天婷婷小说| 成人精品一区日本无码网| 亚洲亚洲人成综合网络| 少妇2做爰HD韩国电影| 丰满少妇乱A片无码| 午夜天堂一区人妻| 欧美性生交XXXXX无码小说| 久久久99精品免费观看| 欧美婷婷色| 九九久久9 9在线观看| 色婷婷啪啪综合网| 婷婷久久婷婷| 人妻激情在线| 亚洲AV成人在线| 开心五月天私房婷婷| 99综合婷婷五月| 国产热精品| 97色色色视频| 天天日本夜夜谢| 男人天堂99| 五月婷婷综合网| 99热在线观看| 强奸幻女毛片| 婷婷趴趴| 天天色月| 激情丁香五月激情婷婷| www.99成人视频| 伊人玖玖网| 国产无套精品一区二区| 久久99国产综合精品免费| 亚洲激情四射色| 国产永久一黄| 狠狠久久婷五月| 日本色婷婷综合| va亚洲中文在线| 欧美色色色色色色色色色色| 99热这里只有精品2| 五月丁香久久| 91亚洲视频| 九九九色综合| 中文不卡一二三区| 99九九视频| 久久伊人五月天| 熟女人妻视频| 久久天堂精品| 久去色色| 99re这里只有精品视频了| 婷婷久久精品| 国产肥白大熟妇BBBB视频| WWW.五月com| 久久久www| 丁香婷婷啪啪啪| 玖玖五月丁香| 人人操AV| 91综合在线观看首页| 69精品人人人人| 婷婷五月天亚洲综合网| 日本九九视频| 97碰碰碰免费公开在线视频| 亚洲精品成人片在线播| 亚洲国产色婷婷| 激情综合丁香五月| 夜夜躁爽日日| 月丁香久久久| 天天射夜夜爽| 色婷婷五月视频| 五月丁香网站| 色色色五月天激情资源| 五月天婷婷黄色视频| 99操逼| 久/久精品99看9| 99噜噜噜| 清色五月天| 狠狠人妻色综合| 婷婷丁香六月天| www.久久久.com| 色婷婷五月天综合网| 久久精品99| 在线超碰精品| 第二色AⅤ| 97五月久久丁香婷婷| 成人亚洲精品久久久久| 天堂久久精品| 激情五婷网| 三男玩一女三A片| 欧美综合五月丁香六月婷| 韩国久久少妇视屏| 五月天色区| 久久久久婷| 久久思思热视频| 久热99| 玖玖爱综合网| 婷婷五月亚洲一本在线丁香| 九九aV| 亚洲成人综合在线| 国产精品人妻在线网址| 成人婷婷桔色| 99久久久久久| 婷婷色六月| 天天射天天射一道本日本社区| 五月婷婷,六月丁香| 亚洲无码黄色| 激情婷婷网| 国产成人精品一区二三区熟女在线| 美女黄频aⅴ视频| 婷婷涩涩五月天| 亚洲午夜在线视频| 人人爱干人人爱草| 91精品久久久久久久| 涩 五月 婷婷 狠狠| 人妻操在线看| 无码人妻AV久久久一区二区三区 | 五月婷婷六月丁香玖玖玫瑰91| 亚洲精品一二三| 久久久久久久久久久久久久人妻视频| 综激情网| 九月综合| 五月婷婷啪啪| 日本少妇AA一级特黄大片| www.激情五月天com| 51精品国自产在线| 九九sese| 天天综合色| 婷婷五月天堂网| 色综合色| 91在线日| 五月婷亚洲精品AV天堂| 婷婷爱爱蜜臀天天操| 丁香六月婷婷| www.AV在线| 婷婷五月天开心网| 99操九九网| 99re热视频| 青草五月天| 婷婷射丁香| 丁香六月婷婷综合激情欧美| 91精品久久久久久久久久久久| 99色热视频在线| 热久久婷婷| 丁香五月激情在线| 久久99日本精品视频免费观看| 深夜激情网| 不卡的AV网站| 狠狠干伊人| 日韩AV在线电影| 99热在线观看精品| 激情五月婷婷她| av操一操| 激情久久婷婷| 欧洲一区二区| 五月天丁香网| 99操逼| anquye伊人| 亚洲视频在线观看| 国产精品蜜臀99| 黄色网址五月婷婷| 亚洲天堂aaa| 亚洲AV免费国产电影| 狠狠爱婷婷| 激情五月婷婷| 99亚洲视频| 怡红院院在线导航网| 国产日产亚系列精品版优势| 婷婷五月天激情AV影院| 伊人狼人干| 五月天婷婷丁香| 激情综合国产| 狠狠色狠狠操| 伊人久久激情图区五月| 99精品偷自拍| 人人摸人人干人人做| 国产99久9在线| 久婷| WWW.天天日| AA片在线观看视频在线播放| 五月天激情婷婷丁香| 涩五月丝袜婷婷| 五月丁香影院| 日日噜噜夜夜狠狠久久丁香六月| 中文字幕在线免费观看视频| 激情二色月| 五月天大香蕉av| 婷婷五月天激情小说| 色色婷| 亚洲亚洲人成综合网络| 婷婷五月天久久久| 超碰资源在线| 天天做天天爱天天高潮| 开心五月婷| 97人人搞| 天天狠狠夜夜狠狠2023| A一级操| 婷婷丁香婷婷97| 日本久久天堂| 亚洲激情五月丁香久久久久| 久久这里只| 久久久27操| 色色五月婷婷| 色亚洲激情| 天天情天天狠天天透| 丁香婷婷综合激情五月色| 婷婷激情五月综合| 婷婷五月69| www.婷婷五月.com| 九九Av| 翔田千里无码| 欧美三级黄色片久久| 99re热视频这里只精品| 99精品无码| 五月天婷婷爱丁香中文字幕|