欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

RK3588同源多任務(wù)調(diào)度:NPU/GPU/CPU協(xié)同,讓多路視覺(jué)流穩(wěn)跑不掉幀

RK3588同源多任務(wù)調(diào)度:NPU/GPU/CPU協(xié)同,讓多路視覺(jué)流穩(wěn)跑不掉幀 1. “同源”這兩個(gè)字才是RK3588多任務(wù)調(diào)度的核心我最早看到“同源多任務(wù)調(diào)度”這個(gè)詞的時(shí)候第一反應(yīng)是這不就是多線程嗎RK3588有8個(gè)CPU核再配上NPU、GPU、RGA這些協(xié)處理器把任務(wù)丟給不同的核去跑就是調(diào)度有什么好單獨(dú)拿出來(lái)講的直到真正在板子上做視覺(jué)應(yīng)用被NPU算力瓶頸、GPU管線沖突、以及多路視頻流同時(shí)進(jìn)來(lái)時(shí)的資源爭(zhēng)搶反復(fù)打臉之后我才明白“同源”這兩個(gè)字的份量。先解釋一下我理解的“同源”。在RK3588上做邊緣AI視覺(jué)同一個(gè)模型文件比如yolov8的rknn版本可以被加載到三種不同的執(zhí)行后端NPU、GPU、CPU。所謂同源指的是模型權(quán)重、模型結(jié)構(gòu)來(lái)自同一個(gè)來(lái)源但推理任務(wù)可以分發(fā)到不同的算力單元上執(zhí)行。這跟“異源”是兩回事異源往往是不同模型跑在不同芯片上比如用NPU跑檢測(cè)、用GPU跑分割、用CPU跑分類而同源是同一份rknn模型在同一個(gè)系統(tǒng)里被多路任務(wù)共用NPU跑不過(guò)來(lái)的時(shí)候GPU兜底CPU再兜底并且這些推理請(qǐng)求由一個(gè)統(tǒng)一的調(diào)度器來(lái)分發(fā)。這里就有一個(gè)很多人會(huì)忽略的問(wèn)題RK3588的NPU雖然是6 TOPS算力但它不是無(wú)限并行的。NPU內(nèi)部有3個(gè)核心Core官方文檔里寫的“3 TOPs per core”但在實(shí)際使用中3個(gè)核心不是隨便就能同時(shí)被不同進(jìn)程打滿的尤其是用了RKNN Toolkit生成的模型默認(rèn)情況下一個(gè)應(yīng)用只會(huì)占用一個(gè)NPU core。如果同時(shí)跑多路YOLOv8檢測(cè)NPU core 0可能已經(jīng)100%滿載core 1和core 2還在閑著但你的代碼就是沒(méi)讓它們干活。這時(shí)候同源多任務(wù)調(diào)度要解決的第一個(gè)問(wèn)題就是怎么把模型的一路推理請(qǐng)求分發(fā)到不同的NPU核心上并讓它們真正并發(fā)執(zhí)行。我在開發(fā)板上做過(guò)一次很直接的對(duì)比同一份yolov8s.rknn用單核連續(xù)跑4路RTSP視頻流每路畫面對(duì)應(yīng)一個(gè)獨(dú)立線程結(jié)果NPU占用率直接頂?shù)?00%GPU和CPU幾乎沒(méi)參與平均每幀推理耗時(shí)從16ms飆到45ms視頻開始卡頓改成同源調(diào)度把4路推理請(qǐng)求通過(guò)調(diào)度器拆到NPU雙核 GPUCPU做預(yù)處理兜底同樣4路視頻流每幀推理耗時(shí)穩(wěn)定在20ms左右雖然單幀沒(méi)有單核單路那么快但整機(jī)吞吐量高了一倍以上。這就是我寫這篇文章的起因。這篇文章面向的是已經(jīng)跑通過(guò)RK3588基礎(chǔ)環(huán)境、準(zhǔn)備做多路視覺(jué)任務(wù)的開發(fā)者或者正在為“模型在開發(fā)板上跑得太慢”“多路視頻流一來(lái)就掉幀”頭疼的朋友。我會(huì)把同源多任務(wù)調(diào)度的完整思路、調(diào)度器設(shè)計(jì)、以及我在RK3588上實(shí)測(cè)的數(shù)據(jù)和踩過(guò)的坑都整理出來(lái)重點(diǎn)講清楚三個(gè)問(wèn)題為什么同源能提高整體吞吐調(diào)度器的優(yōu)先級(jí)和隊(duì)列怎么設(shè)計(jì)以及雙核NPU并發(fā)和GPU接入時(shí)最容易被忽略的坑。2. 先把四路算力盤清楚NPU雙核、GPU與CPU的實(shí)際承擔(dān)角色在寫調(diào)度代碼之前必須先把RK3588的算力資源摸清楚。我見過(guò)不少人犯同一個(gè)錯(cuò)誤把所有AI推理全部丟給NPU然后把NPU跑滿之后剩下的活兒丟給CPUGPU完全閑置。這樣不算調(diào)度只能叫“讓NPU硬扛”。2.1 RK3588算力架構(gòu)里真正能跑模型的單元有哪些RK3588的關(guān)鍵算力單元是這幾塊6 TOPS NPU3核單核約2 TOPSMali-G610 MP4 GPU4核支持部分通用計(jì)算但生態(tài)不如NPU成熟4個(gè)Cortex-A76大核 4個(gè)Cortex-A55小核2個(gè)RGA圖像處理加速單元可以做縮放、格式轉(zhuǎn)換、鏡像等這里要特別說(shuō)明一下RGA。它不是跑AI模型的但它承擔(dān)了預(yù)處理圖像resize、crop、顏色空間轉(zhuǎn)換這些臟活。我們做視覺(jué)任務(wù)時(shí)模型輸入往往是640x640或320x320而攝像頭輸入是1920x1080或2688x1520如果不經(jīng)過(guò)RGA直接用CPU做resizeCPU占用率會(huì)高得離譜。同源多任務(wù)調(diào)度中我把RGA當(dāng)作獨(dú)立的“第5路算力”來(lái)規(guī)劃它不參與推理但參與整個(gè)pipeline調(diào)度器必須給RGA任務(wù)預(yù)留帶寬。GPU在RK3588上跑AI模型的選擇不多。RKNN Toolkit生成的模型可以直接跑NPU但GPU推理需要走OpenCL。我實(shí)測(cè)過(guò)用GPU跑yolov8s的rknn轉(zhuǎn)onnx再轉(zhuǎn)OpenCL的方案單幀推理時(shí)延大概在35~50ms比NPU單核16~25ms慢不少但在NPU滿載時(shí)GPU可以作為次級(jí)執(zhí)行端把積壓的任務(wù)消化掉。這里要提醒一點(diǎn)GPU在RK3588上和顯示共用一套資源如果上面還跑著QT界面或HDMI輸出GPU做AI推理會(huì)拖累顯示性能所以在調(diào)度器里GPU執(zhí)行端的優(yōu)先級(jí)必須低于NPU并且要設(shè)置任務(wù)超時(shí)。CPU的A76大核就更好理解了。RKNN推理在CPU模式下其實(shí)不是直接跑模型而是用RKNN的模擬層去執(zhí)行速度很慢我實(shí)測(cè)yolov8s在A76上單幀推理要150~250ms基本只能做兜底。但CPU在調(diào)度器里的角色不止推理它還負(fù)責(zé)視頻解碼、圖像預(yù)處理、調(diào)度邏輯、以及部分后處理比如NMS、目標(biāo)跟蹤關(guān)聯(lián)。所以調(diào)度器給CPU分配任務(wù)時(shí)要區(qū)分“推理任務(wù)”和“非推理任務(wù)”。2.2 算力分工的指導(dǎo)原則慢設(shè)備不能拖垮快設(shè)備設(shè)計(jì)調(diào)度器之前我給自己定了一條原則每一類任務(wù)都有一個(gè)“主執(zhí)行端”和一個(gè)“備執(zhí)行端”主執(zhí)行端跑不過(guò)來(lái)時(shí)才降級(jí)到備執(zhí)行端。這就像一條高速公路NPU是主車道GPU是應(yīng)急車道CPU是輔路不能一上來(lái)就把所有車都堵在輔路上。我的分配策略如下任務(wù)類型主執(zhí)行端備執(zhí)行端適用場(chǎng)景YOLOv5s/v8s檢測(cè)NPU Core 0/1GPU / CPU多路RTSP實(shí)時(shí)檢測(cè)輕量分類模型小于20MBNPU Core 2CPU A76人體屬性、車輛顏色圖像縮放/格式轉(zhuǎn)換RGACPU NEON所有視頻幀預(yù)處理后處理NMS/跟蹤C(jī)PU A76CPU A55所有檢測(cè)結(jié)果過(guò)濾分割類模型GPUOpenCLNPU Core 2慢速場(chǎng)景不要求實(shí)時(shí)我一再?gòu)?qiáng)調(diào)“同源”就是因?yàn)橥粋€(gè)模型在NPU、GPU、CPU上都有一份執(zhí)行上下文調(diào)度器才能在這三者之間自由切換任務(wù)。如果模型只部署到NPU那GPU和CPU根本沒(méi)資格接任務(wù)說(shuō)什么調(diào)度都是空話。3. 一個(gè)真正能跑起來(lái)的同源調(diào)度器請(qǐng)求隊(duì)列、優(yōu)先級(jí)與線程池我最初想得很簡(jiǎn)單寫一個(gè)全局任務(wù)隊(duì)列NPU空閑就丟給NPUGPU空閑就丟給GPU。但跑起來(lái)之后發(fā)現(xiàn)判斷“空閑”本身就很困難而且RKNN推理是阻塞式API一個(gè)線程在調(diào)用rknn_run的時(shí)候其他線程看不到它的“忙閑”狀態(tài)只能通過(guò)互斥鎖硬等。這會(huì)導(dǎo)致一個(gè)嚴(yán)重問(wèn)題一個(gè)線程在NPU上跑推理時(shí)另一個(gè)線程即使想用NPU的另一個(gè)核也被同一把鎖擋住了。3.1 RLS調(diào)度器的核心設(shè)計(jì)后來(lái)我設(shè)計(jì)了一個(gè)輕量級(jí)的RLSRequest-Level Scheduler模塊它不修改RKNN底層驅(qū)動(dòng)只在應(yīng)用層做請(qǐng)求分發(fā)。核心數(shù)據(jù)結(jié)構(gòu)是這樣typedef struct rk_aiot_request { uint32_t req_id; // 請(qǐng)求ID自增 const char *model_name; // 模型標(biāo)識(shí)同源模型共用 int task_type; // 0detect 1classify 2segment int priority; // 0最高3最低 uint64_t arrival_ts; // 請(qǐng)求到達(dá)時(shí)間 uint64_t deadline_us; // 期望完成的時(shí)間上限 int exec_target; // 分配結(jié)果0NPU0 1NPU1 2GPU 3CPU void *input_data; // 輸入幀指針 void *private_ctx; // 模型上下文指針 struct rk_aiot_request *next; } rk_aiot_request_t;每個(gè)請(qǐng)求從視頻流線程進(jìn)來(lái)之后先進(jìn)入全局請(qǐng)求隊(duì)列調(diào)度線程每隔5ms做一次批量分發(fā)。這里的優(yōu)化點(diǎn)是批量分發(fā)比逐個(gè)分發(fā)吞吐高得多。我實(shí)測(cè)過(guò)調(diào)度線程每5ms輪詢一次4路視頻流ping-pong式發(fā)請(qǐng)求比每來(lái)一幀就立刻調(diào)度一次CPU占用率降低了12%因?yàn)闇p少了線程切換和鎖競(jìng)爭(zhēng)。分發(fā)邏輯不復(fù)雜但優(yōu)先級(jí)策略值得展開說(shuō)priority 0人機(jī)交互類比如觸摸屏點(diǎn)擊框選目標(biāo)必須立刻響應(yīng)直接插隊(duì)到NPU Core 0。priority 1實(shí)時(shí)檢測(cè)類比如視頻流里的入侵檢測(cè)要求幀率大于15fps分配到當(dāng)前負(fù)載最低的執(zhí)行端。priority 2上報(bào)類比如每隔幾秒做一次車流統(tǒng)計(jì)不要求實(shí)時(shí)放到低優(yōu)先級(jí)隊(duì)列等NPU或GPU閑下來(lái)再執(zhí)行。priority 3后臺(tái)離線分析比如抓拍圖片入庫(kù)前的屬性分析直接放到CPU A55執(zhí)行幾乎不影響主流程。3.2 任務(wù)動(dòng)態(tài)分發(fā)其實(shí)最難的是“下次別走錯(cuò)門”分發(fā)到哪個(gè)執(zhí)行端不能只看當(dāng)前負(fù)載還得看“上一次這個(gè)模型在哪個(gè)端執(zhí)行”。這里面有個(gè)性能陷阱RKNN模型上下文在NPU上需要8~30ms的初始化時(shí)間但上下文建好之后同一份上下文的重復(fù)推理非???。如果你的調(diào)度器每次都把一個(gè)任務(wù)分發(fā)到不同的執(zhí)行端那就等于每次都要重新做上下文初始化性能不升反降。所以我在調(diào)度器里加了親和性策略每個(gè)模型維護(hù)一個(gè)“最近執(zhí)行端”的字段新請(qǐng)求到達(dá)時(shí)優(yōu)先嘗試最近執(zhí)行端只有當(dāng)最近執(zhí)行端的待處理隊(duì)列超過(guò)閾值比如隊(duì)列里積壓了超過(guò)3個(gè)請(qǐng)求才把新請(qǐng)求分發(fā)給其他執(zhí)行端。這就好像一個(gè)人干活手里的活兒沒(méi)堆積完就別打斷他換了別人來(lái)又要重新熟悉工具。我在4路視頻流上實(shí)測(cè)時(shí)這個(gè)親和性策略對(duì)吞吐的貢獻(xiàn)非常大。沒(méi)有親和性時(shí)系統(tǒng)每秒鐘能處理約20幀4路每路5fps加上親和性每秒能處理28~32幀。原因就是上下文初始化的開銷被攤薄了NPU執(zhí)行端大部分時(shí)間在做純推理而不是重建上下文。4. 雙核NPU并發(fā)與RKNN異步標(biāo)志跑yolov8實(shí)測(cè)的數(shù)據(jù)變化要說(shuō)RK3588同源多任務(wù)調(diào)度里最核心的實(shí)戰(zhàn)環(huán)節(jié)就是把同一份yolov8模型加載到NPU的兩個(gè)核上并發(fā)執(zhí)行。RKNN官方SDK從RKNN Toolkit 1.6開始支持NPU Core的分配控制很多人不知道這個(gè)特性把兩個(gè)NPU核當(dāng)成一顆用等于浪費(fèi)了一半算力。4.1 RKNN_FLAG_ASYNC_MASK 與 zero-copy 的配合加載模型時(shí)需要設(shè)置RKNN的flag和核心掩碼。下面是我在C環(huán)境里用的關(guān)鍵配置// 創(chuàng)建RKNN上下文 rknn_context ctx_npu0; rknn_context ctx_npu1; // 分別加載同一份rknn模型到兩個(gè)上下文 rknn_init(ctx_npu0, model_data, model_size, RKNN_FLAG_ASYNC_MASK, nullptr); rknn_init(ctx_npu1, model_data, model_size, RKNN_FLAG_ASYNC_MASK, nullptr); // 通過(guò)set_core_mask把這兩個(gè)上下文綁定到不同NPU核 uint32_t core_mask_0 1; // core 0 uint32_t core_mask_1 2; // core 1 rknn_set_core_mask(ctx_npu0, core_mask_0); rknn_set_core_mask(ctx_npu1, core_mask_1); // 推理時(shí)使用異步標(biāo)志 rknn_run(ctx_npu0, inputs, outputs, RKNN_FLAG_ASYNC_MASK); // 同步等待結(jié)果 rknn_wait(ctx_npu0, outputs);注意這里有個(gè)大坑rknn_init同一個(gè)模型文件兩次等于在NPU上創(chuàng)建了兩份權(quán)重副本。如果你的模型文件是80MB兩份就是160MBDDR要能扛得住。yolov8s的rknn模型大約40~50MB兩份大概100MB對(duì)RK3588的8GB內(nèi)存版本沒(méi)問(wèn)題但4GB版本就會(huì)緊張。后面我會(huì)單獨(dú)講權(quán)重復(fù)用的問(wèn)題。4.2 yolov8s在四種執(zhí)行模式下的實(shí)測(cè)數(shù)據(jù)我使用baseline rknn的yolov8s模型輸入640x640做4路RTSP視頻流的人體檢測(cè)對(duì)比了四種執(zhí)行方案。這里把實(shí)測(cè)數(shù)據(jù)放出來(lái)執(zhí)行方案平均單幀推理耗時(shí)4路總幀率NPU占用率整機(jī)CPU占用率備注單上下文單核串行42ms約10fpscore0 100%35%最容易寫的代碼但掉幀嚴(yán)重雙上下文雙核無(wú)調(diào)度器26ms約15fpscore0/core1各60~70%48%提升明顯但有任務(wù)積壓雙上下文雙核調(diào)度器20ms約20fpscore0/core1各75%41%調(diào)度器把負(fù)載壓得非常平雙核NPU GPU兜底18ms約24fpscore0/core1各80%GPU 30%52%整體吞吐最高但功耗也最高需要說(shuō)明這里的“平均單幀推理耗時(shí)”是4路視頻流里的平均單幀延遲不是單路獨(dú)占時(shí)的推理延遲。單路獨(dú)占時(shí)yolov8s在RK3588 NPU上大約16~18ms這個(gè)大家應(yīng)該都比較熟悉。從數(shù)據(jù)能看出雙核并發(fā)不是簡(jiǎn)單地把單核翻倍因?yàn)檫€有輸入排隊(duì)、內(nèi)存拷貝、后處理這些開銷。再加上調(diào)度器之后收益的一部分來(lái)自負(fù)載均衡另一部分來(lái)自親和性策略減少了上下文切換。GPU兜底帶來(lái)的吞吐提升只多了4fps但CPU占用率直接從41%漲到52%因?yàn)镺penCL路徑需要CPU做大量?jī)?nèi)存搬運(yùn)。于是我在實(shí)際部署時(shí)默認(rèn)關(guān)掉GPU兜底只在NPU過(guò)載時(shí)動(dòng)態(tài)開啟。4.3 一個(gè)容易誤判的現(xiàn)象異步標(biāo)志不是開了就“真異步”RKNN的RKNN_FLAG_ASYNC_MASK這個(gè)標(biāo)志名字里有“ASYNC”但我用了很久才摸清它的脾氣。它解決的不是“調(diào)用線程不阻塞”而是“NPU執(zhí)行過(guò)程中CPU可以繼續(xù)做別的事”。如果你在rknn_run之后立刻調(diào)用rknn_wait那其實(shí)和同步執(zhí)行沒(méi)區(qū)別CPU還是會(huì)等著。真正的異步用法是發(fā)起rknn_run之后CPU馬上去處理上一批已經(jīng)完成的推理結(jié)果然后再回來(lái)rknn_wait當(dāng)前這一批。我在調(diào)度器里把這種“流水線”思路落實(shí)成三塊緩沖區(qū)緩沖A正在NPU上推理緩沖B正在做后處理緩沖C正在被視頻流線程填充輸入數(shù)據(jù)。三個(gè)區(qū)互不重疊CPU、NPU、解碼器才能并行起來(lái)。這也是我覺(jué)得“同源多任務(wù)調(diào)度”里最有工程價(jià)值的部分不是調(diào)度器本身多復(fù)雜而是它把RK3588的每個(gè)算力單元都當(dāng)成一個(gè)獨(dú)立的流水線級(jí)來(lái)用同一份模型在算力鏈路上從頭到尾沒(méi)有真正的空閑等待。5. 上下文復(fù)用時(shí)最容易踩的坑權(quán)重拷貝、NPU句柄與CPU線程綁定這部分是實(shí)打?qū)嵉慕?jīng)驗(yàn)匯總。同源多任務(wù)調(diào)度最大的優(yōu)勢(shì)是“同一份模型多端復(fù)用”但也正因?yàn)閺?fù)用會(huì)踩到一些單模型部署時(shí)永遠(yuǎn)不會(huì)出現(xiàn)的問(wèn)題。5.1 兩次rknn_init等于雙倍權(quán)重拷貝4GB板子怎么辦如果你的開發(fā)板內(nèi)存是4GB版本一定要謹(jǐn)慎使用“創(chuàng)建兩套上下文”的方式。我在8GB板子上做雙核NPU并發(fā)沒(méi)覺(jué)得內(nèi)存緊張后來(lái)?yè)Q到4GB板子測(cè)試一個(gè)yolov8s.rknn加載兩份系統(tǒng)可用內(nèi)存直接從900MB掉到300MB再疊加4路視頻流的緩沖直接觸發(fā)OOM進(jìn)程被殺掉重啟。解決這個(gè)問(wèn)題有兩個(gè)方向。第一個(gè)方向是改用RKNN Toolkit Framework的Zero-Copy功能讓兩個(gè)上下文盡可能共享模型權(quán)重段但RKNN底層對(duì)零拷貝的支持和模型結(jié)構(gòu)相關(guān)不是所有模型都能吃到紅利。第二個(gè)方向更通用4GB板子上不要做“兩份NPU上下文”改成一個(gè)上下文調(diào)度器強(qiáng)制串行另一個(gè)模型跑GPU或CPU。實(shí)驗(yàn)數(shù)據(jù)告訴我4GB板子上雙NPU并發(fā)的內(nèi)存壓力遠(yuǎn)大于吞吐收益不如混合執(zhí)行端方案劃算。5.2 npu句柄的線程安全問(wèn)題別跨線程亂調(diào)rknn_apiRKNN官方文檔不太強(qiáng)調(diào)這件事但我把血淚史寫在這里同一個(gè)rknn_context的rknn_run和rknn_wait不能在不同的線程里并發(fā)調(diào)用。我最初想用“一個(gè)線程把輸入丟進(jìn)rknn_run另一個(gè)線程立刻rknn_wait”的方式提高吞吐結(jié)果跑了一個(gè)多小時(shí)系統(tǒng)隨機(jī)報(bào)RKNN_ERR_PARAM_INVALID有時(shí)候直接段錯(cuò)誤。后來(lái)查了SDK源碼才發(fā)現(xiàn)rknn_context內(nèi)部的命令緩沖區(qū)不是線程安全的。正確做法是每個(gè)執(zhí)行上下文綁定一個(gè)專屬工作線程比如NPU0上下文只被線程A調(diào)用NPU1上下文只被線程B調(diào)用調(diào)度器通過(guò)隊(duì)列把請(qǐng)求投遞給對(duì)應(yīng)線程而不是直接跨線程調(diào)API。這樣一來(lái)RKNN調(diào)用全部單線程化吞吐靠多個(gè)執(zhí)行端并行撐起來(lái)而不是靠單執(zhí)行端內(nèi)多線程并發(fā)。5.3 CPU側(cè)的線程綁核實(shí)時(shí)性提升比想象中大我在跑調(diào)度器時(shí)把后處理線程綁到A76大核CPU 4~7把視頻解碼線程綁到A55小核CPU 0~3這樣大核不會(huì)被解碼中斷打攪小核也不會(huì)因?yàn)榕芎筇幚矶D。用pthread_setaffinity_np做綁核代碼很簡(jiǎn)單cpu_set_t cpuset; CPU_ZERO(cpuset); CPU_SET(4, cpuset); // 綁定到CPU4A76大核 pthread_setaffinity_np(pthread_self(), sizeof(cpuset), cpuset);實(shí)測(cè)效果調(diào)度線程的響應(yīng)波動(dòng)從±8ms下降到±2ms。這個(gè)優(yōu)化其實(shí)不復(fù)雜但在多任務(wù)調(diào)度系統(tǒng)里特別管用因?yàn)檎{(diào)度器如果自身抖動(dòng)過(guò)大后面所有執(zhí)行端的負(fù)載估計(jì)都會(huì)失真。6. 路由策略與內(nèi)存占用同源多任務(wù)比“一模型一進(jìn)程”到底省在哪最后聊一個(gè)很多人忽略的問(wèn)題既然多任務(wù)調(diào)度這么麻煩我能不能簡(jiǎn)單粗暴一點(diǎn)每路視頻流起一個(gè)獨(dú)立進(jìn)程每個(gè)進(jìn)程獨(dú)立加載一份模型互不干擾答案是可以但代價(jià)非常大。我做過(guò)對(duì)比測(cè)試4路視頻流每路一個(gè)進(jìn)程每個(gè)進(jìn)程各加載一份yolov8s.rknn總內(nèi)存占用從單進(jìn)程調(diào)度方案的約650MB漲到約1.6GB。多出來(lái)的這1GB就是四個(gè)進(jìn)程各自持有的模型權(quán)重、RKNN內(nèi)部緩沖區(qū)、以及重復(fù)的預(yù)處理中間結(jié)果。在同源多任務(wù)調(diào)度方案里模型權(quán)重只保留一份公共副本各路任務(wù)通過(guò)調(diào)度器共享同一份模型上下文只有輸入輸出緩沖區(qū)和后處理結(jié)果是各自獨(dú)立的。這在大內(nèi)存場(chǎng)景下不算致命但在邊緣設(shè)備上內(nèi)存每多出1GB就意味著散熱、功耗、穩(wěn)定性全面受影響。調(diào)度器的路由時(shí)機(jī)也非常重要。我的原則是調(diào)度決策要在預(yù)處理之前而不是推理之前。幀從攝像頭抓進(jìn)來(lái)后先根據(jù)當(dāng)前各執(zhí)行端的負(fù)載決定這幀交給NPU、GPU還是CPU然后再做對(duì)應(yīng)的輸入格式轉(zhuǎn)換。如果等預(yù)處理完再?zèng)Q定一旦發(fā)現(xiàn)NPU忙要轉(zhuǎn)給GPU就得重新做一次格式轉(zhuǎn)換白費(fèi)功夫。這個(gè)細(xì)節(jié)讓我的整體pipeline延遲降了約3ms/幀。再補(bǔ)充一個(gè)我自己覺(jué)得很有用的收尾技巧把調(diào)度器的狀態(tài)導(dǎo)出來(lái)通過(guò)串口或者日志定期打印一張“各執(zhí)行端任務(wù)分布圖”包含每個(gè)端已經(jīng)處理的總請(qǐng)求數(shù)、當(dāng)前隊(duì)列積壓數(shù)、平均處理時(shí)延。初期調(diào)優(yōu)時(shí)我在RK3588上同時(shí)跑兩路模型任務(wù)一張4路視頻流的調(diào)度拓?fù)鋱D就能很快看出哪一路在偷懶、哪一路過(guò)載。這類診斷信息用RKNN自己的profiler很難直接拿到因?yàn)閜rofiler只關(guān)注單模型的NPU執(zhí)行細(xì)節(jié)不管應(yīng)用層的請(qǐng)求分發(fā)。7. 關(guān)于RK3588調(diào)試流程和固件版本的一些提醒調(diào)度器寫完能不能跑其實(shí)還取決于你板子上的環(huán)境和固件。我調(diào)試RK3588的過(guò)程中遇到過(guò)幾次特別困惑的事代碼沒(méi)問(wèn)題但NPU推理結(jié)果一直不對(duì)后來(lái)發(fā)現(xiàn)是固件里的NPU驅(qū)動(dòng)版本太老和RKNN Toolkit生成的模型版本不匹配。這類問(wèn)題很難靠看日志定位因?yàn)楦骷议_發(fā)板的系統(tǒng)鏡像版本五花八門有時(shí)候同一個(gè)RKNN版本在不同板子上表現(xiàn)都不一樣。我現(xiàn)在的做法是上車第一件事先確認(rèn)四樣?xùn)|西NPU驅(qū)動(dòng)版本dmesg | grep rknpu或者直接cat /sys/kernel/debug/rknpu/versionRKNN Toolkit版本跟模型轉(zhuǎn)換環(huán)境嚴(yán)格對(duì)應(yīng)不要在PC上用了新版轉(zhuǎn)換板子上還跑老版runtime系統(tǒng)鏡像版本強(qiáng)烈建議用開發(fā)板廠商提供的最新官方固件自己裁剪的內(nèi)核有時(shí)會(huì)把RKNPU的dts節(jié)點(diǎn)配置錯(cuò)內(nèi)存帶寬壓力跑業(yè)務(wù)時(shí)用perf或top盯著CPU使用率如果整機(jī)CPU一直處于80%以上先查是不是解碼和RGA擠占了NPU的DDR帶寬電源也是個(gè)大坑。RK3588在NPU滿載GPU滿載4路視頻解碼同時(shí)工作時(shí)功耗上得很快。我用的開發(fā)板在12V 2A供電下整機(jī)高負(fù)載跑10分鐘就會(huì)觸發(fā)降頻NPU頻率從1.0GHz掉到0.7GHz推理時(shí)延大幅增加。后來(lái)?yè)Q成12V 3A電源穩(wěn)態(tài)功耗才穩(wěn)住。電源不足導(dǎo)致的“假性卡頓”容易被誤判成調(diào)度器問(wèn)題排查時(shí)要先排除。從我的經(jīng)驗(yàn)看RK3588作為一塊邊緣AI開發(fā)板性能和靈活性在同類設(shè)備里是第一梯隊(duì)。但“算力”和“實(shí)際能用的算力”之間隔著系統(tǒng)、驅(qū)動(dòng)、調(diào)度器、內(nèi)存管理這一堆工程問(wèn)題。同源多任務(wù)調(diào)度不是銀彈它解決的是多路任務(wù)共享同一份模型資源時(shí)的調(diào)度效率問(wèn)題如果你的業(yè)務(wù)只有一路視頻流老老實(shí)實(shí)單核NPU跑就是最優(yōu)解。但只要有超過(guò)兩路的視覺(jué)任務(wù)進(jìn)來(lái)這個(gè)調(diào)度器思路的價(jià)值就會(huì)立刻體現(xiàn)出來(lái)。希望這篇文章能幫你少走我之前走過(guò)的彎路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久久ww| 人人摸人人| 大香蕉综合在线| 99视频在线| 少妇高潮A片无套内谢麻豆传| 欧美激情五月天在线观看| 久久婷婷五月天丁香| 日日爽日日| 黄网免费看| 农村熟妇高潮精品A片| 狠狠狠狠狠操| 无码一区二区三区四区五区| 色婷婷成人做爰A片免费看网站 | 激情六月天| 99视频在线观看视频| 1级欧美日韩| 丁香婷婷大香蕉| 色五月亚洲五月天| 啊v视频在线观看| 日韩AV在线影片| 五月天激情久久| 色综合色综合色综合高潮| 五月婷婷色啪| 婷婷五月天首页激情| 男女99免费视频| 天天日天天干天天插天天射| 五月婷婷成人w| 中文字幕av在线播放| 三人荫蒂添的好舒服A片| 综合久久综合久久| 色在线99| 亚洲va综合va国产va中文| 天天操天天操综合| 色婷婷成人丁香| 免费观看2018www黄色操逼网站| 色狠狠综合| 婷婷五月激情的图片| 亚洲开心激情网| 天天综合网~91综合网| 伊人狠狠色婷婷综合丁香一区| 538在线精品| www久久艹| 大地资源色婷婷视频在线| 色五月激情视频在线综合| 狠狠九九婷婷韩| 激情内射人妻1区2区3区| 色色五月天婷婷丁香| 亚洲 小说 欧美 激情 另类| 天天爽,天天操。| 五月婷婷丁香综合| 99超级碰免费视频| 久久婷婷成人视频| 精品国产va久久久久久久| 色婷婷久久综合| 大香久久伊人网| www.金莲av| 久久婷色| 色.五月综合网| 成人做爰高潮A片免费视频| 日日色综合| 琪琪色五月天| 婷婷五月天激情网| 欧美这里只有精品| 天天操夜夜操| 婷婷五月在线影院| 性爱五月婷婷| 婷婷六月激情| 婷婷丁香视频在线观看免费| 五月深爱婷婷| 天天婷婷色六月| 色丁香婷婷| 天天视频亚洲| 婷婷五月丁香啪啪| 亚洲欧美成人在线| 五月丁香色停停啪啪啪| 玖玖婷婷婷丁香五月| 91人人人人人人人| 中文AV在线播放| 婷婷欧美综合| 99热久只有| 亚洲 精品 综合 精品| 五月天婷婷黄色视频| se99高清无码| 免费视频这里只有精品| 97视频91| 丁香婷婷五月份| 日本激情综合| 激情五月婷婷啪啪| 五月丁香色色综合| 一区二区传媒视频| 中文精品在| 色五月综合网| 五月天激情网图片| 丁香五月天中文字幕| 九月婷婷人人操人人舔人人爱| 香焦网五月天| 婷婷五月丁香性爱| 俺五月| 五月天激情四射| 乱乱av| 色五月婷婷婷婷| 熟妇人妻中文字幕无码老熟妇| 欧美97p| 99ree6| 久草婷婷网| 色婷青青| 色婷婷国产精品综合在线观看| 怡红院一二三| 天天肏夜夜肏| .comwww在线观看免费操| 色五月天丁香婷婷| 97色女人在线| 亚洲视频一区| 五月丁香六月成人| 99热网址| 夜夜操天天爽| 五月婷婷,狠狠操| 26uuu成人网| 天天日狠狠| 色色丁香五月天社区| 色五月天婷婷| 狠狠干在线视频| 9色在线视频| 日本欧美国产| 开心五月激情五月丁香五月婷婷| 天堂AV在线看| 五月激情在线| 色综合视频| 综合激情啪啪| 夜夜大香蕉婷婷丁香| 激情综合色| 九九伦子片| 五月丁香六月婷婷久久| 五月婷婷色播| 人妻激情综合| 色久综合| 啪啪东京热| 亚洲五月婷天天操| 久久久人妻| 99人人干人人| 青草激情综合| 丁香五月婷婷高清| 五月天婷婷视频30| 9久热在线视频| 丁香五月婷婷色五月| 9l视频自拍九色9l视频在线观看| 婷婷色一二三区波多野结衣| www久热com| 人人播| 99久久新视频| 五月天成人在线视频网站| 日韩一区二区A片免费观看 | 91干在线视频| www.五月激情红色| 伊人五月天综合网| 久久久噜噜噜久久人妻| 久久综合九九| 丁香五月婷婷基地| 丁香五月色综合色播五月| 狠狠综合网| 狠狠色噜噜狠狠| 久久婷婷综合五月趴| 四川女人毛多水多A片| 9.1综合网| 色五月欧美| 久久久精品99| 久久色五月| AV成人在线播放| 精品一二三区久久AAA片| 99这里只有精品| 九九色99| 婷婷九月综合| 五月婷婷色播| 婷婷天堂站| 五月天婷爱综合| 亚洲视频在线观看| 人人干AV| 五月日韩中文字幕| 五月天成人手机在线视频| 操99| 五月天激情国产综合婷婷婷就去爱| AA丁香综合激情| 色婷| 久久亚洲婷婷综合色五月| 激情五月丁香五月| 五月丁香va| 激情五月天在线视频| 五月天大香蕉视频| 99热99极品观看| 精品99视频| 97色色综合| 91婷婷伊人牛牛| 久久伦乱| 丁香婷婷射| 国产精产国品一二三在观看| 天天色宗合| 国产永久一黄| 久久婷.com| 亚洲精品视频在线| 国内自拍97在线| 另类五月激情| www,久久久| 99热99美国在线观看| 久99热在线观看| 青青草激情网| 五月婷婷六月丁香在线视频| 超碰人人操人人干| 狠狠干五月| 99久久免费精品| 色色国产| 狠狠干狠狠干| 婷婷丁香久久五月综合| 国产精品噜噜在线视频| av免费在线观看0| 强伦轩人妻一区二区电影| 人妻激情综合| 97色射| 丁香六月欧美| 伊人五月久久| 非洲一级AV| 丁香五月色| 天天干天天操天天上| 国产女生爱爱AA| 六月婷婷中文字幕| 亚洲丁香五月美女| 91人人操人人爱| 操碰91| 伊人五月网| 99热色精品| 亚洲丁香五月在线观看| 99精品热视频只有精品10| 90色免费视频| 久久免费精彩视频| 狠狠色噜噜狠狠| 亚洲中文无码成人| 99操无码视频观看| 黄色毛片精品| 色综合色香蕉网| 性热视频99精品| xxxx五月| 天搞天天天天天| 五月丁香五月丁香五月丁香五月丁香91| 久久婷婷色| 伊人狠狠干| 婷丁香久综合| av九九| 六月婷婷最新网址| 激情综合五月丁香六月婷婷| 国产亚洲在线观看| 超碰精品在线| 国产午夜精品一区二区| www.99成人视频| 俺也去婷婷五月天第五色| 丁香婷婷综合影院| 久久婷婷免费| 大香蕉 婷婷| XX色综合| 一级黄色影片| www.婷婷六月天| 怡红院 久久| 久久婷中文字幕| 无码AV免费精品一区二区三区| 国产精品热搜丁香五月婷婷| 天天婷婷天天| 青青草护士中出内射-欧美电影在线天堂新版 | 婷婷五月天影院| 婷婷十月丁香| 亚洲婷婷91丁香| 沈娜娜av| 在线免费观看激情视频| 欧在线一区| 色逼综合网| 久热99| 99热老网站| 婷婷五月天激情小说| 六月丁香婷婷尤物| www夜夜| 99热综合网| 不卡影院午夜理论片| 五月花成人网| 天天狠狠插| 99色最新在线视频| www.色窝| 久久网思思| 色婷婷激情小说网| 久久一二三视频| 天天综合天天玩夜夜玩天天玩夜夜玩 | 天天影视天天爽天天草| 开心网五月色婷婷| 综合网啪| 99小视频网站| 色99在线观看| 欧美99| 色综合色综合网| 激情综合五月| 成熟妇人A片免费看网站| 狠狠综合网| 99这里只有精品| 99色色网| 久久R激情| 人妻丰满精品一区二区A片| 99在线免费视频| 五月婷丁香| 婷婷久久综合| 一区=区操屄高清大全av| 91熟妇大香蕉| 色爱综合网| 97色干| 久热精品9999| 亚洲免费看片| 色五月激情综合| 婷婷五月天电影区小说区| 99久在线精品99re8热| 婷婷色六月| 国产一区男女| 五月婷婷九九热| 久久99视频| 丁香五月婷婷影院| 五月做爱| www.婷婷| 五月亭亭性| 91久久| 五月丁香婷婷AV| 久久精品人妻| 任你日视频| 国产超碰在线| 99视频在线观看网址| 精品欧美性爱超级爽| 丁香97综合| 伊人久久大香网| 五月社区婷婷激情| 日日夜夜干| 婷婷欧美| 成人αV视频免费观看| 性爱激情久久| 天天色天天色天天色天天色天天色天天色| 亚洲成人婷婷| 九九一区| 玖玖在线视频| 天天做天天爱天天爽综合网| 日本色色色| 亚洲AV成人在线观看| 日韩色久| 色色射| 五月花婷婷| 蜜乳久AV| 99re这里只有精品9| 婷婷五点亚洲| 北条麻妃九九九国产精品视频| 成人毛片在线免费观看| 五月天电影网| 日韩精品AV一区二区三区| 一区二区你懂的| Se.婷婷五月天| 伊人五月天在线| 99热这里只有精品9| 亚洲啪啪自拍| 亚洲性爱99在线| 激情五月天影院| 91色在线 | 日韩| 色五月婷婷在线视频| 色色免费网站| 五月婷婷丁香日韩在线| 天天cha成人综合网| 久热这里只有精品99re| 色色免费网站| 色哟哟www| 26uuu成人网| 天天搞天天色综合| 综合网啪| 91色在线 | 日韩| 99re在线这里只有精品视频首页| 亚洲精品久久久久久久久久飞鱼 | 综合网激情| 日日做A爰片久久毛片A片英语| 91无码高清| 怡红院精品视频久久久久久久久| 无码免费人妻A片AAA毛片西瓜| 免费黄色视频网址| 996er热| 日韩性视频| 99久视频| 婷婷五月丁香五月丁香| 五月婷婷久久综合| 亚洲色欲欧美一区二区三区| 九九99久久精品| 2015WWW永久免费观看播放| 五月天婷婷色小说| 超碰成人公开| 欧美国产一区二区三区| 色婷婷亚洲在线观看| 婷婷金品综合视频| 91婷婷五月丁香碰| 蜜臀丁香黄色婷婷五月天| 久久999久久999久久999久久| 国产色色色色色| 天堂A∨在线| 久久9视频欧美| WWW,五月| 色五月综合| 亚洲激情 久久| 伊人久久婷婷| 婷婷无码视频| 97热久久五月婷婷| 天天干夜夜想| 狠狠久综合| 色婷婷基地 | 天天免费日日夜夜夜夜| 26UUU欧美激情一区二区| 亚洲成人av在线播放| 啪色综合| 99精品热| 久久久久这里只有精品| 凹凸探花电影| 九九九九九九毛片| 五月天另类激情在线| 深爱五月天 开心网| AV色婷婷| 蜜乳久AV| 99热主页日本| www.色婷婷。com| 婷婷久久天堂网| 亚洲无码播放| 深爱激情四射| 97成人在线视频精品| 狠狠色婷婷7777久| 超碰免费人| 97婷婷五月| 任你日热视频| 国产小精品| 综合网啪| SS丁香五月婷婷| 9福利性视频欧美| 五月婷婷综合激情| 亚洲mm色| 婷婷六月丁香五月| 日韩成人精品中文字幕| 色五月大香蕉婷婷| 97在线观看| www.久久久.com| 99热这里只是精品| 99热这只有| 中文字幕无码成人电影| 欧美婷婷丁香五月社区| 久久激情五月| 天天射影视综合网| 五月丁香啪啪网| 久久国产成人9999久久久久| 天天色天天操天天射| 婷婷五月天黄色小说| 婷婷六月丁香开心深深爱| 婷婷天堂综合网| 亚洲精品又粗又大又爽A片| 狠狠色噜噜狠狠狠888| 五月丁色AV| 91oumei| 粉嫩AV久久一区二区三区| 五月丁香六月激情| 色五月激情婷婷| 国产精品大香蕉| www.91在线观看| 亚洲黄色影视| 97视频91| 婷婷五月天综合网| 丁香六月婷婷色播| 五月天播播| 一本伊人色婷| 色婷婷六月开心中文字| 色青青五月| 91超级碰碰碰| 先锋五月婷婷丁香草草| 欧美内射AA| 91婷婷丁香五月| 久久青青日本视频| 日韩AV一区二区三区| 大地资源色婷婷视频在线 | 中文字幕成人| 大陆肏屄视频| 色性五月天| 伦99热| 欧美色骚婷婷五月天| 五月色婷婷中文字幕| 久久五月天免费网站| 五月婷婷综合在线视频| 碰碰人人人| 艳妇野外情欲放荡HD| 丁香婷婷五月天激情四射| 久久女婷| 超碰成人免费| 精品夜夜澡人妻无码AV| 丰满少妇猛烈A片免费看观看| 狠狠操狠狠插| 中国女人做爰A片| 91性高潮久久久久久久久| 五月丁香六月激情在线| 亚洲视频伍月婷婷| 99热这里只有精品8| 婷婷综合精品视频97| 五月综合缴情网| 99色在线| 九九视频在线观看视频6 | 日本一级黄色电影| 国产成人精品一区二三区熟女在线| 伊人网色婷婷五月天| 99热最新国内| 操碰久| 综合AV在线| 五月开心婷婷网| 婷婷五月在线免费| 六月婷婷狠狠做| 热99只有里视频| 永久免费一区二区三区| 天天干,天天日| 婷婷成人基地| 日本三日本三级少妇三级66| 区美毛片子| 中文字幕婷婷五月天| 热无码A∨| www.久久66| 色综合丁香婷婷| se99视频| 六月丁香婷婷爱| 午夜婷婷久久 | 婷婷狠狠久久| 五月天激情社区| 婷婷.com| 女同激情久久av久久| 亚洲精品婷婷| 91九色无码内射| 五月丁香婷婷中文| 婷婷五月天久久| 成人日韩欧美| 大香蕉福利导航| 伊人玖玖精品| 九九这里精品| 国产在线中文字幕| 欧美久久久中文字幕| 六月婷综合| 丁香婷婷人妻| 丁香五月激情啪啪| 精品夜夜澡人妻无码AV| 9有码中文| 久久奄也去色色网站| www.色婷婷.com| 亚洲色综合| 亚洲午夜电影| A片试看50分钟做受视频| 婷婷丁香大香蕉| 成人片在线播放| 这里只有精品视频一区| 五月天综合在线| 玖玖九九9999在线观看视频精品| 五月天堂婷婷| 色爱综合网| 超碰啪啪网| 视频这里只有精品| 色婷婷六月天| 操碰99在线视频观看| 九九热这里只有精品556| 久久伦乱| 婷婷伊人綜合| 久久婷婷啪啪视频| 亚洲色频| 婷婷五月天久草在线| 超碰人人色| 婷婷五月精品中文字幕| 色婷婷很很丝袜| 噜噜色五月| 日韩人妻无码精品| 激情性爱网站| av操一操| 精品国婬伦V无码久久久| 婷婷丁香水多多视频| 成人视屏在线观看| 九九热99视频在线| 免费观看的婷婷五月视频在线| 国产欧美精品AAAAAA片| 美女亚洲五月丁香| 色色色热| 亚洲丁香五月深爱五月| 高清无码网址| 婷婷在线视频| 99精品在这里| 色狠狠色| 日韩成人中文字幕| 久久曰曰| 丁香六月婷婷久久综合| 久久激情网| 日本久久婷| 97色啪| 在线只有精品| 激情视频网址| 婷婷午夜精品久久久| 99热网站| 99热 在线播放| 激情婷婷五月基地| 五月色丁香婷婷综合| 99爱视频| 久操大| 99热99久久| 久久Xx| 亚洲成人AV在线播放| xx久久| 久久六月天| 激情五月天激情网| 丁香伍月婷电影全集| 五月天激情AAAA| 97操碰98| 色播五月婷婷| 五月婷av| 激情综合五月婷婷| 国精产品一区二区三区| 9 1大香蕉| 看片视频在线免费日产在线看| 久久机热探花| 五月婷婷开心网| 超碰国产在线| 激情五月天综合网| 天天色综合网吨吧| aaa9区免费在线观看| 99久久久久久www| www激情| 久99久视频精品| 人人噜天天上| 日本97在线视频| www99热| 欧美美女国产日韩一区二区久| 中文字幕在线免费看线人| 五月天亚洲最大成人| 婷婷五月丁香综合网| 日日噜狠狠色| 亚洲愉拍99热成人精品| 伊人久久激情图区五月| 五月丁香综合色婷婷| 69色色视频| 日本妈妈乱| 91丨九色丨首页| 五月婷婷激情中文字幕| 成人色情五月天婷婷丁香| 久久久久久久,99精品视频| 99久久综合网| 婷婷五月天欧美图片在线播放电驴| 五月天婷婷色情| 国产精品色| 五月丁香黄色视频| 日日日,com| 操97免费超级视频| 色色综合网www| 久久综合五月天| 婷婷五月色网| 狠狠综合久久| 性色av大香综合| 麻豆WWWCOM内射软件| 狠狠爱五月婷婷| 翔田千里无码| 六月婷婷色综合| 伊人成综合五月婷婷| 婷婷99狠狠躁天天久久久九九九| 久久婷婷色| 俺也高清无码高清视频| 亚洲欧洲色色| 538任你爽| 国产老熟妇亲子乱对白| 亚洲永远av在线播放| 六月婷婷五月丁香| 婷婷综合色图| 亚洲另类视频| 久久人妻视步| 色丁香五月综合网| 天天日日天天| 丁香五月婷婷无码AV| 99久久亚洲国产| 香蕉久久国产AV一区二区| 丁香色综合| AV操操操| 五月色天情| 熟女五月天久久综合| 五月色亭丁香| 九九精品网站| 五月婷中文字幕| 久久久精品99| 亚洲婷婷综合视频| 狠狠综合色网| 超碰永久在线| 中文AⅤ大全| 国产免费性爱| 国产偷人爽久久久久久老妇APP| 久久精彩视频| 丁香六月情| 久久久久久丁香五月| 五月丁六月香av| 99热6这里只有精品6| 99在线观看亚洲| av婷婷丁香 六月| 99精品激情| 九九热黄色| 网色99| 97se视频在线| 五月总合激情网| 婷婷五月天最新综合你懂的| 大香蕉久久伊人婷婷五月丁香| 色五月成人| 一区二区三区视频| 九九99视频精品| 色七色九九| 婷婷综合| 激情深爱婷婷网| 亚洲99一级无嗎特制在线| 色婷婷四色| 精品久久婷婷| 午夜激情婷婷| 激情无码五月天| 亚洲综合99| aaaaaa片| 蜜乳国产网站| 狠狠干在线| 9月色婷婷| 五月婷在线| 91久久综合亚洲鲁鲁五月天| 九九免费视频| 狠狠精品干练久久久无码中文字幕| 疯狂做受XXXX高潮A片动画| BlACKEDRAW视频一区二区| 色婷婷AⅤ| 91碰| 婷婷五月天亚洲激情戏精品| 99re最新地址| 婷婷五月天激情小说| 天堂成人A片永久免费网站| 天堂美国久久| 亚洲成人av在线| 日韩五月婷婷| 开心五月激情网| 99热免| 男人操女人高潮91视频| 丁香五月天婷婷91| 国产激情综合| 天天射天天射一道本日本社区| 色五月天成人| 色五月综合网| 99九九免费精品| 丁香蜜臀黄色婷婷五月天| www.俺去也com| www.henhenl| 免费视频WWW在线观看网站| 美女久久天堂| 六月丁香激情综合网| 99热这里只有免费| 丁香五月婷婷在线| 区啪精品| 色的色综合| www.日韩艹| 黄色AAAAA| 97人人射| 国产日产亚系列精品版优势| 99re在线视频精品,这里只有精品18,| 思思久热| www.婷婷| 人人性久久| 国产成人+亚洲+欧洲| 99爱在线免费视频| 无码九九九九| 夜夜夜叫天天天做| 国产精品VIDEOSSEX久久发布| 99碰视频| 这里只有精品视频在线看| 久久98| 天天色99| Www.狠狠| 精品国产一区二区三区四区阿崩| 女同激情久久av久久| 夜色综合网| 五月婷婷综合天天操| 六月激情久久婷婷| 玖玖无码中文| 国产女生爱爱AA| 婷婷五月天亚洲天堂| www.久久久.com| 久久日曰| 91免费在线视频6| 色色五月丁香| 另类在线| 9久久久久久久久久久| 国产在线视频1234| 久久99激情丁香婷婷小说网| 日韩成人不卡| 久久婷婷六月综合资源| 五月丁香婷婷成人网| WWW久久久| 99热日| 91性人人| 五月丁香中文字幕| 午夜丁香六月婷| 丁香五月激情婷婷婷婷在线观看| 国产亚洲99久久精品熟| 亚洲九九在线| 久9热在线免费观看| 久久99久久99精品免观看软件| 啊v视频在线观看| 婷婷综合网| 五月天开心激情综合网| 色婷婷久久| 久久99久久99精品免观看粉嫩| 丁香五月 无码| www一区二区三区| 91操黄| 九九热视频思思| 日韩AV中文字幕在线| 玖玖热视频| 99热高清在线| 97操碰碰无码视频| 久久这里只精品66| 亚洲妇女熟BBW| 五月丁香六月激情综合啪啪| 久久人妻少妇嫩草AV| www.ppypp| 伊人久热91网| 五月婷婷丁香啪啪| 99ri在线观看视频| 久草热在线视频| 成人婷婷桔色| 密着浓厚中出乚交尾GvG935| 婷婷五月丁香在线视频| 婷婷久久内射| 国产成人网| 成人婷婷桔色| 9 1大香蕉| 欧美五月婷婷| 超碰三级秋霞| 影音先锋男人女人| 日韩另类在线观看| 五月色婷婷在线观看| 亚洲欧洲中文日韩久久AV乱码| 91精品电影18T| 五月婷婷久久网| 夜夜操天天干| 九色91美女| 超碰97人人操| 色五月婷婷五月丁香五月激情五月视频| 六月丁香婷| 五月丁花色综合网| www.婷婷.com| 五月天开心网| 开心色五月天久久久久久久| 色碰碰| 97色射| 九九色大香蕉| 亚洲欧洲色色| 大香伊人婷婷| 天天日天天舔| 激情五月,激情综合网| 婷婷射综合| 99热人人艹| 亚洲成人AV在线观看| 色小说婷婷五月天天天| 国产美女主播vip| 熟妇人妻中文字幕无码老熟妇| 开心深爱激情网| 97啪啪| 免费观看的av| 。久久久久久久久久久久久久人妻| 色婷婷色综合激情91| 夜夜操狠狠操| 丁香 久久| 开心激情色婷婷五月天| 九热视频| 丁香五月情色| 91操在线视频| 人人操婷婷| 久久99精品久久只有精品| 九九热手机在线视频| 婷婷99中文字幕| 五月丁香婷婷啪啪网| 疯狂做受XXXX高潮A片动画| 婷婷在线激情| 99久久99热这里只有精品| 婷婷五月丁香啪啪| 91人人看| 欧美 日韩 人妻 高清 中文| 激情图片五月天| 激情网五月天| 久久五月激情| 婷婷丁香五月,狠狠综合| 亚洲激情综合| 久热亚洲| 少妇被躁爽到高潮无码文| 热99在线| 91碰在线| 五月丁香六月色| 亚城区在线| 少妇婷婷五月天| 色五月婷婷中文字幕| 五月天婷婷爱| www.久9| WWW.亚洲无码| 中文字幕在线观看视频www| 久99久在线观看| 天天爽,夜夜爽| 婷婷成人综合五月| 九色色| 婷婷五月天影视| 天天摸.天天mo| 丁香六月婷婷缴情欧美| 五月丁香A片| 久久艹99| 丁香影院五月综合| A片试看120分钟做受视频红杏 | 色婷婷激情视频| 天天操天天插| 国产一区二区av免费| 人妻人人操| 丁香色五月天| 人人操AV| AV中文在线| 婷婷五月天丁香花| 综合图片色色| 99九九在线观看免费| 五月丁香六月婷婷激情网| 26uuu| 97操视频| 久久久18| 色色色成人网| 最近中文字幕大全免费版在线 | 风流少妇A片一区二区蜜桃| 日本久久网| 色狠狠婷婷| 婷婷丁香五月综合久久| 91大神在线免费看视频全集男男一起操| 影音先锋AV男人站| 99在线播放| 丁香六月婷婷色播| 亚洲AV网址| 成人在线视频网| 国产xxxxx在线观看| www.婷婷| 99riAV国产精品视频| 亚洲精品久久久久久久久久飞鱼 | www婷婷| 五月婷婷六月丁香综合| 五月亚洲激情| 色婷婷a三区麻| 婷婷五月在线视频| 激情五月丁香五月| 五月综合色| 国产偷人爽久久久久久老妇APP| 五月日韩中文字幕| 免费V片在线| 丁香五月天啪啪| 婷婷久久五月| 五月婷综合网| 婷婷五月婷| 婷婷丁香97| 亚洲操逼网| 丁香婷婷AV| 六月 丁香 视频| 成人在线综合| 国产午夜成人AV在线播放| 亚洲午夜国产成人电影VA国产欧…| 婷婷激情97| 色欲AVV| 淫荡A片| 亚洲国产婷婷色五月| 操日挥操日日| 午夜电影网VA内射| 亚洲另类日本| 亚洲五月天激情| 天天射天天操天天干| 超碰九九热| 五月天综合网| 开心综合激情综合| 熟女网站久久| 精品热青草| 久久刺激网| 狠狠五月丁香色婷| 久久性刺激| 先锋影音av色五月天资源站| 丁香五月最新网址| 色婷婷内射| 色五月综合在线| 色婷婷色99国产综合精品| 久久99精品久久久久久青青AR| 五月婷婷婷色| 五月天激情黄色小说在线观看| 丁香六月婷婷综合啪啪| 久久五月丁香| 五月婷婷色色网址| 热热久久精品视频| 成人在线日韩欧美| 成人做爰黄A片免费看直播室男男 久草热8精品视频在线观看 | 99九九在线| 99热在这里只有免费精品| 影音先锋色婷婷| 成人无码免费一区二区中文| 国产成人av在线| 丁香五月影院| 日B日潘金莲BB| 在线看九一V图片| 亚洲字幕AV一区二区三区四区| 激情视频综合| 五月婷婷丁香六月在线| 五月婷婷基地| 在线网黄| 天天AV导航网| 久久综合激情| www.jiujiujiu| 亚洲第79页| 97在线99| 综合激情五月四射婷婷| 99亚洲视频| 少妇做爰免费视看片| 9l视频自拍9l九色成人| 人人摸人人| 婷婷婷狠狠| 五月婷婷六月丁| 91婷婷丁香五月| 性色av大香综合| 五月婷婷综合精品| 国产看真人毛片爱做A片| 欧美日韓成人亚洲精品另类| 亚洲AV成人精品日韩在线播放| www. 五月. com| 五月天色视频| AA片在线观看视频在线播放 | 五月天色婷婷成人| 精品一二三区久久AAA片| 亚洲成人在线免费| 九九热欧美| 丁香五月123| 婷婷五月视屏| 五月香蕉网| 五月婷天天搞视频| 九色激情网| 五月婷婷六月情| 97AV人人插人人操| 天天干天天干天天干天天干天| 天天日天天久久青青| 婷五月丁香俺| 婷婷五月天成人| 丁香综合伊人| 91丨九色丨熟女丰满| 99精品久久久久| 战争与艾拉电影免费观看| 五月丁香色停停啪啪啪| 久久婷婷丁香六月天| 五月综合激情啪啪啪啪啪| 都市激情小说婷婷| 99ER热精品视频| 激情五月综合网| 在线99热| 深爱激情五月天色婷婷| 熟女少妇内射日韩亚洲| 日批在线看| av中文在线| 亚洲人成网亚洲欧洲无码久久| 开心五月六月婷婷| 国产AV一区二区三区日韩| 亚洲视频在线观看99| 色色色综合网| 久久久99精品| 国产综合A片| 伊人久久婷| 激情五月天久久丁香| 婷婷久久五月天| 手机AVAV天堂看网| 色婷婷丁香AV综合| 婷婷六月花| 婷婷丁香91| 操99| 激情综合网,婷婷| 久操乱| 99久热这里只有精品| 亚洲六月婷婷| 色色激情五月天| www.99色| 亚洲欧美在线观看| 电影蜘蛛女| 日韩欧美成人一区二区三区| 五月丁香五月综合欧美| 久月丁香爱婷婷综合| 99色免费观看全部| 丁香五月开心亚洲| 熟女激情网| 亚洲精品九九| 成人在线日韩| 六月婷婷久久| 五月婷婷开心深| 久久日婷婷| 欧美影院婷婷| 婷婷五月天激情免费在线观看| 人人干99| 丁香操逼| 亚洲无码99| 日韩欧美一级大黄网站| 九九综合九九| 26uuu欧美日本| 狠狠狠狠狠狠狠狠| 激情五月天婷婷| 婷婷色网址| 婷婷五月天丁香| 婷婷六月啪啪| 2025中文在线视频字幕免费观看| 超级碰碰碰久久网站| 亚洲天堂99| 开心五月网| wwwC0maV五月花| 99热日韩| 婷婷99视频在线| www.夜夜操.com| 五月婷婷丁香五月亚洲色| 亚洲av网站| 午夜色婷婷| 狠狠干在线| 欧美色六月婷婷| 青青久久五月| 精品一二三区久久AAA片| 五月婷婷激情中文字幕| 青草热视频这里只有精品| 超碰免费成人| 九九综合色综合| 免费日本aⅴ中文字幕| 99r久久这里只有精品| 九洲一级A片| 亚洲天堂碰碰婷婷| 日韩成人不卡| 天天插综合| 婷婷五月天av| 久久五月天婷婷| 欧亚色色| 中文字幕欧美久久| 色婷婷五月综合色婷婷| 天天日日人| 丁香婷婷色九月| 五月婷婷综合网| 久99| 草草视频91| 99ri精品在线| 青青福利网| 9这里只有精品| 丁香五月婷婷动漫| 天天草天天舔| site:wpjngj.com| 丁香婷婷性爱| 91黄操| 69热在线| 婷婷五月香蕉| 丁香六月婷婷久久综合| 久草性爱| 六月激情网| 超碰丁香五月| 91在线97视频| 亚洲愉拍99热成人精品| 久久婷婷五月天| 91se视频| 国产伦亲子伦亲子视频观看| 丁香六月婷婷缴情欧美| 欧美S码亚洲码精品M码| 91超碰人人操| 亚洲色网络| 亚洲乱码日产精品BD在线观看| 婷婷久久网| 丁香激情四射| 99热这里只有精品8| 日韩成人电影AV| 99性爱视频| 亚洲无AV在线中文字幕| 精品一二三区久久AAA片| 五月天婷婷基地| 狠狠操狠狠色| 丁香99| 国产avapp 网| 99色网站| 色五月婷婷婷婷婷婷婷婷婷婷| 丁香五月影院| 九九爱看亚洲| 激情五月丁香六月婷婷| 96丁香六月婷婷蜜桃综合久久| 激情五月综合亚洲另类| 狼人婷婷久久| 色婷婷成人| 99色热| 成人精品视频99在线观看免费| 亚洲操逼网| 青草视频在线观看视频| 四色永久成人网站| 亚洲中文字幕AV在线| 亚洲人成网站999综合| 98热精品| 亚洲熟女色| 丁香婷停五月激情综合深爱| 淫荡综合网| 97人人干人人操| 婷婷色播婷婷| 天堂婷婷综合| 啪啪五月综合| 激情六| 久久婷婷欧美| 五月天丁香综合| 丁香五月天堂| 人人妻人人澡人人爽| 97操碰在线视频| 五月婷久久| 亚洲精品午夜国产va久久成人| 任你爽精品免费视频6| 色情五月婷婷| 97sese婷婷| 大香蕉综合| 五月激情婷婷在线| AA丁香综合激情| 成人中文网| 久久婷婷五月综合色丁香| 热的国产,热的综合,热的有码| 99热这里有精品2| 亚洲免费在线观看岛国| 久久综合激情五月天| 五月丁香六月婷婷不卡免费无码| 99久久精品国产色欲| 天天插天天爱| 丁香五月色情av| 综合激情在线| 人人视频色| 欧美精产国品一二三区| 丁香五月婷婷av影院| 影音先锋四区| 婷婷综合网伊人| 久热黄色| 婷婷五月激情综合网| www.五月婷婷| 99色一| 久99视频在线观看| 七七久久综合| 色婷婷基地在线| 中文字幕,综合,91| 粉嫩AV久久一区二区三区| 丁香五月婷婷天堂大香蕉| 狠狠做五月婷婷| 精品久久久人妻| 996黄色片| 玖玖99福利| 五月婷婷丁香啪啪| 色域五月丁香| 狠狠色丁香五月婷巨| 亚州操操| 另类图片五月天婷婷| 久99久99精品免| 26uuu亚洲欧美另类| 婷婷五月天av| 九九热婷婷| 丁香涩涩五月天| 99re热视频这里只精品| 曰曰久久| 亚洲精色| 丁香五月天社区| 激情网五夜婷婷| 26uuu精品一区二区| www.久久99精品| 婷婷五六日| 婷婷亚洲综合| 91肏| 国产成人+亚洲+欧洲| 热久综合| 狠狠肏综合网| 狠狠狠狠狠狠狠狠| av大片在线| 天天夜夜六月丁香五月婷婷老师| 天天做天天爽| 五月婷婷黄色|