欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

RK3588部署YOLOv8:從交叉編譯到ARM端NPU推理全流程

RK3588部署YOLOv8:從交叉編譯到ARM端NPU推理全流程 第一次在RK3588開(kāi)發(fā)板上部署YOLOv8我被一個(gè)最基礎(chǔ)的報(bào)錯(cuò)卡了整整一下午。在x86 PC上編譯得好好的推理程序scp到板卡后一執(zhí)行屏幕冷冰冰彈出一句cannot execute binary file: Exec format error。那一刻我才徹底想明白R(shí)K3588的嵌入式AI開(kāi)發(fā)第一道門檻根本不是模型訓(xùn)練也不是NPU算子而是先把“交叉編譯與ARM端運(yùn)行”這條鏈路走通。這篇內(nèi)容我會(huì)把整條鏈路從原理到實(shí)戰(zhàn)完整講透為什么RK3588項(xiàng)目繞不開(kāi)交叉編譯、工具鏈和sysroot怎么搭、CMake工具鏈文件怎么寫(xiě)、YOLOv8模型怎么從ONNX轉(zhuǎn)成RKNN再編譯部署到ARM端以及我第一次跑ARM端推理程序時(shí)踩過(guò)的那些真實(shí)坑。適合剛拿到RK3588開(kāi)發(fā)板、想在板卡上跑通AI模型的開(kāi)發(fā)者也適合被“交叉編譯”四個(gè)字勸退的嵌入式入門同學(xué)參考。1. 為什么RK3588的AI項(xiàng)目繞不開(kāi)交叉編譯先別急著在板卡上裝gcc拿到RK3588開(kāi)發(fā)板的第一天很多人的反應(yīng)和我一樣直接在板卡上裝個(gè)build-essential然后git clone一個(gè)AI工程就開(kāi)始make。我承認(rèn)這種思路對(duì)小工具完全可行我甚至在板卡上編譯過(guò)nginx、sqlite3這類純C項(xiàng)目?jī)煞昼姵鼋Y(jié)果本地直接跑。但AI推理工程屬于另一類物種在板卡上直接編譯你會(huì)很快撞到三堵墻。1.1 板卡直接編譯的“可行區(qū)”和“禁區(qū)”第一堵墻是硬件資源。RK3588的常見(jiàn)配置是4GB/8GB內(nèi)存加32GB eMMCCPU是4個(gè)Cortex-A76大核加4個(gè)Cortex-A55小核。跑業(yè)務(wù)它確實(shí)強(qiáng)但讓它去編譯以O(shè)penCV、ONNX Runtime、RKNN Runtime為依賴的推理工程內(nèi)存8GB的板卡在編譯到一半時(shí)經(jīng)常OOMswap寫(xiě)滿之后系統(tǒng)直接卡死。AI工程依賴的不只是兩三個(gè)庫(kù)往往是protobuf、abseil、libcurl、openblas這一長(zhǎng)串每個(gè)第三方庫(kù)都要源碼編譯幾個(gè)小時(shí)是常態(tài)板卡全核拉滿時(shí)溫度沖到80度以上降頻之后速度更慢。第二堵墻是工程化問(wèn)題。你不可能每次改了代碼都把整個(gè)依賴樹(shù)重編一遍更不可能讓團(tuán)隊(duì)成員每人都拿一塊板卡去編譯。交叉編譯環(huán)境只要在PC上搭好同一個(gè)工具鏈文件可以被CI復(fù)用任何人拉下來(lái)都能產(chǎn)出相同架構(gòu)的二進(jìn)制這是可重復(fù)構(gòu)建的基本前提。第三堵墻才是本質(zhì)目標(biāo)架構(gòu)不同。PC是x86_64RK3588是aarch64兩者指令集不兼容。你在PC上用gcc直接編譯出的ELF文件板卡內(nèi)核根本不認(rèn)。所以“交叉編譯”不是可選項(xiàng)而是RK3588這類ARM平臺(tái)AI項(xiàng)目的必選項(xiàng)。1.2 交叉編譯的本質(zhì)一份代碼兩種架構(gòu)交叉編譯說(shuō)白了就是讓運(yùn)行在x86上的編譯器生成目標(biāo)架構(gòu)為aarch64的機(jī)器碼。編譯器本身跑在宿主機(jī)host上但它的編譯目標(biāo)target是板卡的ARM架構(gòu)。這也是“交叉”二字的來(lái)源host和target不一致。一套完整的交叉編譯工具鏈不只是gcc一個(gè)命令而是由三部分協(xié)作交叉編譯器負(fù)責(zé)把C/C源碼翻譯成目標(biāo)架構(gòu)匯編交叉binutils負(fù)責(zé)匯編和鏈接生成aarch64格式的ELF交叉sysroot則提供了目標(biāo)系統(tǒng)上的頭文件和運(yùn)行庫(kù)。很多新手的誤區(qū)在于以為交叉編譯器自帶全套目標(biāo)系統(tǒng)庫(kù)。實(shí)際上默認(rèn)工具鏈的sysroot非常精簡(jiǎn)只有l(wèi)ibc、libstdc這些基礎(chǔ)庫(kù)OpenCV、ONNX Runtime這類業(yè)務(wù)庫(kù)必須你自己準(zhǔn)備并放進(jìn)sysroot或通過(guò)編譯參數(shù)指定搜索路徑。1.3 動(dòng)手前先記錄板卡的系統(tǒng)指紋交叉編譯的第一紀(jì)律是“編譯環(huán)境和運(yùn)行環(huán)境版本對(duì)齊”。如果你在PC上用了太新的glibc生成的程序拿到板卡上跑經(jīng)常會(huì)見(jiàn)到類似GLIBC_2.34 not found的報(bào)錯(cuò)。所以在搭建環(huán)境之前先在板卡上記下三條信息uname -a確認(rèn)內(nèi)核架構(gòu)和版本cat /etc/os-release確認(rèn)板卡系統(tǒng)版本比如Ubuntu 22.04還是Debian 12ldd --version確認(rèn)glibc版本這一步看似瑣碎但后面所有環(huán)境配置都以這三條為基準(zhǔn)。板卡系統(tǒng)版本決定你要找哪種rootfs做sysrootglibc版本決定工具鏈最高能用到什么程度。我在項(xiàng)目里會(huì)把這三條輸出拷貝到一個(gè)版本檔案文件里后面排查問(wèn)題直接對(duì)著查效率高很多。2. 搭一套真正可復(fù)用的交叉編譯環(huán)境工具鏈、sysroot與CMake工具鏈文件交叉編譯環(huán)境的核心是三個(gè)東西工具鏈、sysroot、工程構(gòu)建配置。工具鏈負(fù)責(zé)“能編”sysroot負(fù)責(zé)“編完能跑”CMAKE_TOOLCHAIN_FILE負(fù)責(zé)“編得明白”。三者缺一不可。2.1 工具鏈選型glibc工具鏈 vs musl工具鏈如果你的RK3588板卡刷的是Ubuntu或Debian系統(tǒng)首選Ubuntu官方源里的gcc-aarch64-linux-gnu。安裝命令很簡(jiǎn)單sudo apt update sudo apt install gcc-aarch64-linux-gnu g-aarch64-linux-gnu裝完驗(yàn)證一下aarch64-linux-gnu-gcc -v輸出里Target: aarch64-linux-gnu就說(shuō)明交叉編譯器正常。這個(gè)工具鏈默認(rèn)的sysroot在/usr/aarch64-linux-gnu目錄下里面只有最基礎(chǔ)的C/C運(yùn)行庫(kù)。如果你經(jīng)常被glibc版本問(wèn)題折磨可以了解另一條路線musl交叉工具鏈。musl庫(kù)的優(yōu)勢(shì)是支持完全靜態(tài)鏈接編譯出來(lái)的二進(jìn)制除了內(nèi)核接口外不依賴系統(tǒng)上任何.so文件拷到任何同架構(gòu)的Linux系統(tǒng)都能跑。代價(jià)是靜態(tài)鏈接體積較大且glibc生態(tài)中部分涉及NSS用戶認(rèn)證、DNS解析的庫(kù)在靜態(tài)鏈接下會(huì)有兼容問(wèn)題。表格對(duì)比一下兩種工具鏈的適用場(chǎng)景對(duì)比項(xiàng)glibc工具鏈musl工具鏈系統(tǒng)兼容性依賴目標(biāo)板卡glibc版本不依賴靜態(tài)鏈接可帶走動(dòng)態(tài)鏈接體積小共享系統(tǒng)庫(kù)大全打進(jìn)一個(gè)二進(jìn)制多線程性能成熟穩(wěn)定略遜但對(duì)大多數(shù)AI場(chǎng)景不敏感最適場(chǎng)景板卡是Ubuntu/Debian按架構(gòu)對(duì)齊板卡是最小rootfs、容器、長(zhǎng)期運(yùn)行的獨(dú)立部署我個(gè)人的習(xí)慣是板卡跑Ubuntu 22.04就用glibc工具鏈把“運(yùn)行時(shí)庫(kù)版本對(duì)齊”作為紀(jì)律做好只有遇到不可避免的版本沖突而且沒(méi)法用sysroot解決時(shí)才用musl靜態(tài)鏈接兜底。2.2 把板卡環(huán)境完整“搬”過(guò)來(lái)sysroot的兩種準(zhǔn)備方式sysroot決定了編譯器在鏈接和編譯時(shí)能看到哪些頭文件、哪些動(dòng)態(tài)庫(kù)。兩個(gè)可選方式方式一從運(yùn)行中的板卡直接同步。在執(zhí)行同步的板卡上先裝好所有打算使用的運(yùn)行庫(kù)回到PC上執(zhí)行rsyncrsync -avz --exclude/proc/* --exclude/sys/* --exclude/dev/* --exclude/tmp/* --exclude/run/* root板卡IP:/usr /opt/rk3588-sysroot再把板卡的/lib目錄也同步一份因?yàn)椴糠謩?dòng)態(tài)鏈接器路徑在/lib下rsync -avz root板卡IP:/lib /opt/rk3588-sysroot方式二使用官方rootfs。從Rockchip官方wiki或Ubuntu cdimage下載aarch64架構(gòu)的Ubuntu 22.04 rootfs壓縮包解壓到/opt/rk3588-sysroot。這種方式更干凈便于版本管理。無(wú)論哪種方式最終sysroot目錄下要能看到usr/include、usr/lib/aarch64-linux-gnu、lib/ld-linux-aarch64.so.1這些關(guān)鍵路徑??截愅陝?wù)必檢查軟鏈接是否完整很多.so都是符號(hào)鏈接rsync默認(rèn)帶-a參數(shù)會(huì)保留但如果手動(dòng)cp就容易斷鏈鏈接器會(huì)報(bào)找不到庫(kù)。2.3 CMake工具鏈文件一次配置百次復(fù)用交叉編譯環(huán)境下我強(qiáng)烈建議用CMake而不是直接手寫(xiě)gcc命令行。AI工程依賴復(fù)雜CMake的find_package機(jī)制能自動(dòng)在sysroot里找?guī)煺翌^文件省去一大堆手動(dòng)路徑。下面這個(gè)工具鏈文件我用了很久可以照抄set(CMAKE_SYSTEM_NAME Linux) set(CMAKE_SYSTEM_PROCESSOR aarch64) set(CMAKE_C_COMPILER aarch64-linux-gnu-gcc) set(CMAKE_CXX_COMPILER aarch64-linux-gnu-g) set(CMAKE_SYSROOT /opt/rk3588-sysroot) set(CMAKE_FIND_ROOT_PATH /opt/rk3588-sysroot) set(CMAKE_FIND_ROOT_PATH_MODE_PROGRAM NEVER) set(CMAKE_FIND_ROOT_PATH_MODE_LIBRARY ONLY) set(CMAKE_FIND_ROOT_PATH_MODE_INCLUDE ONLY) set(CMAKE_FIND_ROOT_PATH_MODE_PACKAGE ONLY) set(CMAKE_CXX_FLAGS -marcharmv8.2-afp16 -O2)三個(gè)MODE選項(xiàng)是重點(diǎn)PROGRAM NEVER表示查程序時(shí)只在宿主機(jī)找編譯工具本身必須用PC上的LIBRARY和INCLUDE ONLY則表示庫(kù)和頭文件只從sysroot里找防止混入宿主機(jī)的x86庫(kù)。用的時(shí)候在工程里指定cmake -DCMAKE_TOOLCHAIN_FILE../toolchain/aarch64-linux-gnu.cmake ..armv8.2-a是RK3588支持的ARM架構(gòu)級(jí)別啟用fp16對(duì)AI預(yù)處理有實(shí)際收益。如果不確定可以用-marcharmv8-a保守一些兼容性更好。2.4 不用重新編譯OpenCV從板卡側(cè)“摳”庫(kù)的省力做法OpenCV是AI推理程序中幾乎必帶的依賴。很多人一上來(lái)就在PC上交叉編譯OpenCV說(shuō)實(shí)話源碼編OpenCV四五個(gè)小時(shí)起步非常痛苦。省力的做法是在板卡上直接裝好Ubuntu官方源的OpenCVsudo apt install libopencv-dev然后把板卡上對(duì)應(yīng)文件拷回sysrootrsync -avz root板卡IP:/usr/include/opencv4 /opt/rk3588-sysroot/usr/include/ rsync -avz root板卡IP:/usr/lib/aarch64-linux-gnu/libopencv* /opt/rk3588-sysroot/usr/lib/aarch64-linux-gnu/只要板卡系統(tǒng)的glibc、gcc版本和你的交叉工具鏈在可接受范圍內(nèi)這種方式能省掉一整天的編譯時(shí)間。要注意的是拷過(guò)來(lái)的庫(kù)必須是aarch64版本絕不能把PC宿主機(jī)上的x86 OpenCV拷進(jìn)去那種錯(cuò)誤非常隱蔽編譯能過(guò)但鏈接一堆符號(hào)找不到。3. 第一個(gè)跑在RK3588上的程序Hello World的完整交付閉環(huán)在你把YOLOv8塞進(jìn)板卡之前先用五分鐘左右跑通一個(gè)Hello World。這一步練的是“交叉編譯—檢查—傳輸—運(yùn)行”的閉環(huán)后面所有AI工程都是這個(gè)閉環(huán)的放大版。3.1 交叉編譯的四步閉環(huán)編譯、檢查、傳輸、運(yùn)行寫(xiě)一個(gè)最簡(jiǎn)單的入口#include iostream int main() { std::cout hello rk3588 std::endl; return 0; }然后交叉編譯aarch64-linux-gnu-g hello.cpp -o hello編譯完先別急著傳先看文件類型file hello輸出里應(yīng)該有ELF 64-bit LSB executable, ARM aarch64??吹紸RM aarch64就說(shuō)明指令集對(duì)了如果看到x86-64說(shuō)明調(diào)用的是本機(jī)gcc而不是交叉編譯器。接著傳輸scp hello root板卡IP:/root/ssh到板卡執(zhí)行./hello這個(gè)“控制臺(tái)打印成功”就是你的第一個(gè)RK3588可運(yùn)行程序。3.2 用readelf和ldd在PC端提前排查運(yùn)行依賴動(dòng)態(tài)庫(kù)依賴問(wèn)題是最容易在ARM端翻車的但很多依賴問(wèn)題在PC端就能提前看見(jiàn)。交叉編譯完成后在PC上用readelf查看依賴表readelf -d hello | grep NEEDED你會(huì)看到libstdc.so.6、libc.so.6這一類的NEEDED條目。這些對(duì)應(yīng)的.so文件在你的sysroot里要有在目標(biāo)板卡的系統(tǒng)庫(kù)目錄里也要有。缺了哪個(gè)板卡上運(yùn)行就會(huì)報(bào)cannot open shared object file。這一步相當(dāng)于“部署前體檢”不要在scp傳過(guò)去之后才被報(bào)錯(cuò)打臉。3.3 ARM端第一次開(kāi)機(jī)后的最小運(yùn)行環(huán)境清單新板卡到手裝完系統(tǒng)后有幾個(gè)步驟必須做否則后面?zhèn)鞒绦?、跑模型都?huì)很別扭擴(kuò)容分區(qū)很多出廠鏡像只用了SD卡或eMMC的一部分空間用df -h確認(rèn)必要時(shí)resize2fs。開(kāi)啟SSH并設(shè)置固定IP交叉編譯流程需要頻繁傳輸文件SSH是基礎(chǔ)固定IP避免每次重連都要查地址。更換軟件源把a(bǔ)pt源切換成國(guó)內(nèi)鏡像板卡上apt update和安裝依賴庫(kù)的速度差好幾倍。配置swap內(nèi)存4GB的版本在跑AI推理時(shí)swap能救急。建議創(chuàng)建一個(gè)2GB以上的swapfile。安裝基礎(chǔ)運(yùn)行時(shí)庫(kù)根據(jù)你的工程依賴提前在板卡上apt安裝對(duì)應(yīng)的運(yùn)行庫(kù)版本。這些事不復(fù)雜但最好在部署前搞定而不是在編譯傳輸完成之后才開(kāi)始處理否則很容易把“環(huán)境配置問(wèn)題”和“程序問(wèn)題”混在一起排查。4. YOLOv8部署到RK3588的完整鏈路模型轉(zhuǎn)換、推理程序編譯與運(yùn)行前面環(huán)境鋪墊完了這才進(jìn)入正文主題如何在RK3588上實(shí)際部署YOLOv8。我走的是“ONNX導(dǎo)出—RKNN量化—C推理程序—ARM端運(yùn)行”這條完整鏈路這也是RK3588上利用NPU的主流路徑。4.1 先決定推理路徑純CPU、NCNN還是RKNN NPU在RK3588上部署YOLOv8有三條常見(jiàn)路線推理路徑模型格式硬件利用率部署成本典型延遲參考ONNX Runtime CPUONNX僅CPU低YOLOv8s約100ms以上NCNNNCNN參數(shù)/二進(jìn)制CPUNEON優(yōu)化中YOLOv8s約60-80msRKNN NPURKNNNPU優(yōu)先高需量化校準(zhǔn)YOLOv8s約30-50msn模型更低我對(duì)新手的建議是先把ONNX Runtime或NCNN路線跑通驗(yàn)證模型的輸入輸出流程、圖片預(yù)處理、后處理NMS這些邏輯都沒(méi)問(wèn)題再轉(zhuǎn)RKNN上NPU。很多人的誤區(qū)是一上來(lái)直接轉(zhuǎn)RKNN結(jié)果前向沒(méi)問(wèn)題后處理數(shù)據(jù)錯(cuò)位了排查起來(lái)非常痛苦因?yàn)榉植磺迨悄P娃D(zhuǎn)換問(wèn)題還是代碼問(wèn)題。如果確定要上NPU接著往下看RKNN流程。4.2 RKNN模型轉(zhuǎn)換YOLOv8的ONNX到RKNN量化流程RK3588的NPU只能運(yùn)行Rockchip的RKNN格式模型所以第一步是把YOLOv8的ONNX轉(zhuǎn)為RKNN。rknn-toolkit2跑在x86 PC的Python環(huán)境里目標(biāo)板卡上只需要runtime庫(kù)。轉(zhuǎn)換腳本核心部分from rknn.api import RKNN rknn RKNN() rknn.config(target_platformrk3588, mean_values[[0, 0, 0]], std_values[[255, 255, 255]]) rknn.load_onnx(modelyolov8s.onnx) rknn.build(do_quantizationTrue, datasetdataset.txt) rknn.export_rknn(yolov8s.rknn)dataset.txt里放幾十張有代表性的圖片路徑用于量化校準(zhǔn)。量化后模型體積極大縮小以YOLOv8n為例原始FP32的ONNX約20多MB量化后可能只有10MB左右。量化校準(zhǔn)圖片的選擇很關(guān)鍵一定不要隨便放幾張風(fēng)景圖最好從你的真實(shí)業(yè)務(wù)場(chǎng)景里挑否則量化損失可能超出預(yù)期。轉(zhuǎn)換完成后在PC端可以做一次NPU模擬推理驗(yàn)證rknn-toolkit2支持模擬環(huán)境運(yùn)行結(jié)果這個(gè)驗(yàn)證能提前攔住80%的模型轉(zhuǎn)換問(wèn)題。4.3 交叉編譯最小RKNN推理程序的組織方式轉(zhuǎn)換好RKNN模型后需要寫(xiě)一個(gè)C程序調(diào)用RKNN Runtime API。工程目錄參考yolov8_rk3588/ ├── CMakeLists.txt ├── src/ │ └── detect.cpp ├── include/ │ └── librknn_api.h ├── third_party/ │ └── rknpu2/ │ ├── librknn_api.h │ └── librknnrt.so └── models/ └── yolov8s.rknnCMakeLists.txt的核心部分cmake_minimum_required(VERSION 3.16) project(yolov8_rk3588 CXX) set(CMAKE_TOOLCHAIN_FILE /opt/rk3588-sysroot/toolchain/aarch64-linux-gnu.cmake) find_package(OpenCV REQUIRED COMPONENTS core imgproc) add_executable(detect src/detect.cpp) target_include_directories(detect PRIVATE include third_party/rknpu2) target_link_directories(detect PRIVATE third_party/rknpu2) target_link_libraries(detect PRIVATE ${OpenCV_LIBS} rknnrt)程序里的調(diào)用流程簡(jiǎn)化為rknn_init加載模型rknn_query查詢輸入輸出的維度和格式把圖像resize成640x640并轉(zhuǎn)BGR2RGB調(diào)用rknn_inputs_set輸入數(shù)據(jù)rknn_run執(zhí)行推理最后rknn_outputs_get取出張量再在CPU上做后處理解析。YOLOv8的輸出維度需要格外小心常見(jiàn)的是(1, 84, 8400)這樣的張量其中84是4個(gè)邊界框坐標(biāo)加80個(gè)類別得分8400是不同尺度特征圖鋪平的錨點(diǎn)數(shù)量。也有的導(dǎo)出方式會(huì)分成三個(gè)不同尺度的輸出。解析時(shí)一定要按實(shí)際的張量布局來(lái)遍歷這是新手最容易統(tǒng)計(jì)錯(cuò)維度導(dǎo)致結(jié)果全亂的地方。4.4 首版運(yùn)行指標(biāo)綁定大核、記錄幀率和延遲程序能在板卡上跑通后先別急著優(yōu)化把一個(gè)基礎(chǔ)版本的性能指標(biāo)記錄下來(lái)。RK3588的大小核調(diào)度對(duì)推理性能影響巨大默認(rèn)情況下線程可能被塞到A55小核上浪費(fèi)CPU算力。啟動(dòng)時(shí)用taskset綁定大核taskset -c 4-7 ./detectRK3588的CPU拓?fù)渫ǔJ?-3為A55小核4-7為A76大核但不同開(kāi)發(fā)板可能調(diào)整先lscpu確認(rèn)一下。記錄指標(biāo)時(shí)至少要量三段圖像預(yù)處理耗時(shí)、模型推理耗時(shí)、后處理NMS耗時(shí)。我實(shí)測(cè)下來(lái)YOLOv8的NMS在ARM CPU上的消耗經(jīng)常和模型推理一樣大因?yàn)橐闅v8400個(gè)候選框做過(guò)濾。如果你的延遲瓶頸在NMS一個(gè)很有效的優(yōu)化是先把置信度低的候選框提前濾掉再進(jìn)NMS候選框數(shù)量可能從8400降到幾百后處理時(shí)間大幅縮短。5. ARM端首次運(yùn)行的翻車現(xiàn)場(chǎng)我踩過(guò)的五個(gè)真實(shí)問(wèn)題部署AI模型到ARM端第一次能一路順暢跑通反而是小概率事件。下面這幾個(gè)問(wèn)題我全部真實(shí)遇到過(guò)每一個(gè)都能讓程序從“好像沒(méi)問(wèn)題”瞬間變成“完全不可用”。5.1 Exec format error別急著懷疑人生先f(wàn)ile這個(gè)報(bào)錯(cuò)我在開(kāi)頭提過(guò)這是最基礎(chǔ)的架構(gòu)不匹配錯(cuò)誤。你把x86的可執(zhí)行文件拷貝到ARM板卡內(nèi)核直接拒絕執(zhí)行提示exec format error。解決辦法不是重新編譯一百次而是記住一個(gè)動(dòng)作編譯產(chǎn)物第一次傳輸之前必須file檢查。file ./detect輸出顯示ARM aarch64就執(zhí)行顯示x86-64就停下來(lái)檢查工具鏈配置。這個(gè)習(xí)慣養(yǎng)成后能幫你省掉大量排查時(shí)間。很多看起來(lái)神秘的運(yùn)行報(bào)錯(cuò)本質(zhì)上都是編譯階段架構(gòu)錯(cuò)了運(yùn)行階段再怎么查都查不到原因。5.2 GLIBC版本和動(dòng)態(tài)庫(kù)路徑編譯態(tài)與運(yùn)行態(tài)的“兩岸對(duì)話”這是最隱蔽也最常見(jiàn)的ARM端問(wèn)題。一個(gè)典型場(chǎng)景你在PC上用較新的Ubuntu版本安裝了交叉工具鏈工具鏈在編譯時(shí)默認(rèn)找的是它自帶的sysroot這個(gè)sysroot里的glibc可能比板卡的新。于是程序傳過(guò)去之后運(yùn)行時(shí)報(bào)出/lib/aarch64-linux-gnu/libc.so.6: version GLIBC_2.34 not found你的程序在編譯態(tài)和運(yùn)行態(tài)各自拿著一份不同時(shí)代的glibc完全對(duì)不上。解決方向有兩個(gè)一是確保工具鏈的sysroot與板卡系統(tǒng)同版本二是用musl工具鏈靜態(tài)鏈接。動(dòng)態(tài)庫(kù)路徑問(wèn)題則是另一類高頻坑。比如程序依賴libopencv_world.so.405而板卡上這個(gè)庫(kù)不在默認(rèn)搜索路徑里運(yùn)行時(shí)會(huì)直接報(bào)cannot open shared object file。我推薦的做法是給可執(zhí)行文件設(shè)置RPATH讓它在自己所在目錄找共享庫(kù)patchelf --set-rpath $ORIGIN ./detect這樣部署時(shí)把可執(zhí)行文件、RKNN模型、依賴的.so都放在同一個(gè)目錄就能完整帶包走不用指望板卡上的路徑對(duì)不對(duì)。5.3 Segfault與隨機(jī)花屏ARM上的內(nèi)存對(duì)齊紀(jì)律ARM架構(gòu)對(duì)內(nèi)存對(duì)齊比x86嚴(yán)格得多尤其在開(kāi)了NEON/SIMD優(yōu)化之后。程序在PC上跑幾千張圖都沒(méi)事傳到RK3588上一跑就Segmentation fault或者輸出圖像偶爾花屏大概率是內(nèi)存對(duì)齊和越界訪問(wèn)問(wèn)題。我遇到過(guò)的一個(gè)真實(shí)案例圖像預(yù)處理時(shí)把每行像素按width對(duì)齊到4字節(jié)結(jié)果忘了某些格式的每行通道數(shù)是3字節(jié)對(duì)齊導(dǎo)致內(nèi)存越界寫(xiě)入表現(xiàn)就是程序“時(shí)而崩潰時(shí)而圖像錯(cuò)位”。這種問(wèn)題用gdb在崩潰點(diǎn)看backtrace能定位但如果崩潰概率低就要靠代碼審查。建議所有涉及圖像Buffer的操作統(tǒng)一用連續(xù)內(nèi)存分配并做對(duì)齊比如用posix_memalign分配64字節(jié)對(duì)齊的內(nèi)存這對(duì)NEON優(yōu)化尤其重要。5.4 功耗墻和大小核調(diào)度跑起來(lái)和跑得快是兩碼事程序能穩(wěn)定運(yùn)行之后性能不達(dá)標(biāo)的時(shí)候該查什么第一查核第二查溫第三查內(nèi)存帶寬。RK3588的8個(gè)核分為A76大核和A55小核。默認(rèn)調(diào)度器在負(fù)載不高時(shí)可能把推理線程放在小核上延遲翻倍。綁定大核是第一步taskset -c 4-7 ./detect第二查溫度。A76大核全開(kāi)跑AI模型開(kāi)發(fā)板不裝散熱片半小時(shí)內(nèi)就會(huì)撞到溫度墻CPU頻率從2.4GHz一路降到1.2GHz甚至更低。判斷是否降頻可以看cat /sys/devices/system/cpu/cpu*/cpufreq/scaling_cur_freq如果頻率明顯下降先解決散熱問(wèn)題再加一個(gè)綁核策略否則程序性能永遠(yuǎn)跑不滿。第三是內(nèi)存帶寬。RK3588的內(nèi)存帶寬雖然不錯(cuò)但多線程推理時(shí)經(jīng)常出現(xiàn)“線程加了一倍幀率紋絲不動(dòng)”的現(xiàn)象這是因?yàn)閮?nèi)存帶寬先觸頂了。這時(shí)候與其堆線程不如優(yōu)化數(shù)據(jù)拷貝比如復(fù)用輸入輸出Buffer避免每次推理都重新malloc和memcpy。5.5 VPU、MIPI屏這些周邊部署節(jié)奏要提前留余量項(xiàng)目后期你大概率會(huì)遇到視頻解碼和顯示相關(guān)的問(wèn)題。RK3588的VPU是獨(dú)立硬件編解碼模塊支持H.264/H.265硬編硬解4K甚至8K都能處理。AI推理的輸入端如果來(lái)自視頻流交給VPU硬解比CPU軟解省出大量算力但使用VPU需要額外引入rockchip_mpp庫(kù)這也是交叉編譯環(huán)境里容易被忽略的一塊。另外如果你在RK3588 Linux下適配MIPI屏幕無(wú)論是MIPI DSI顯示屏還是MIPI CSI攝像頭通常都需要在設(shè)備樹(shù)或overlay里配置對(duì)應(yīng)節(jié)點(diǎn)。板卡出廠默認(rèn)可能只適配了HDMI輸出換上MIPI屏幕后啟動(dòng)沒(méi)顯示先別慌去查dts、查dmesg里的panel相關(guān)日志必要時(shí)做設(shè)備樹(shù)overlay。這類外設(shè)適配最好提前做不要等到AI推理全部調(diào)完才想起來(lái)搞屏幕。6. 讓ARM端問(wèn)題不再難復(fù)現(xiàn)三種調(diào)試手段和一套部署習(xí)慣交叉編譯和ARM部署的調(diào)試一直有“黑盒感”因?yàn)樵诎蹇ㄉ锨胓db并不總方便性能數(shù)據(jù)也不如PC直觀。但實(shí)際工作中只要用好遠(yuǎn)程調(diào)試和性能工具問(wèn)題定位效率可以接近在PC上調(diào)試。6.1 gdbserver與gdb-multiarch跨平臺(tái)遠(yuǎn)程斷點(diǎn)調(diào)試板卡上安裝gdbserver宿主機(jī)安裝調(diào)試器。在板卡上啟動(dòng)gdbserver :2345 ./detect然后在PC端進(jìn)入gdbgdb-multiarch ./detect (gdb) target remote 板卡IP:2345 (gdb) break src/detect.cpp:120 (gdb) continue這樣你可以在PC上一邊看源碼一邊打斷點(diǎn)板卡只負(fù)責(zé)真實(shí)驗(yàn)收所有調(diào)試體驗(yàn)和本地gdb幾乎一樣。用這個(gè)方式定位Segfault尤其有效一條backtrace就能看到崩潰點(diǎn)的完整調(diào)用鏈。6.2 perf、top與/proc/cpuinfo性能問(wèn)題定位三板斧性能不達(dá)標(biāo)時(shí)我一般按順序做三件事。第一用perf看程序熱點(diǎn)perf stat ./detect第二用top -H看線程占用的CPU核確認(rèn)推理線程到底跑在哪個(gè)核上是否如預(yù)期綁到大核。第三配合/proc/cpuinfo里的CPU current frequency循環(huán)采樣判斷算力是否被功耗墻限制。這三個(gè)工具配合起來(lái)基本能定位90%的“為什么跑不快”問(wèn)題。是CPU算力不夠、線程沒(méi)綁核、還是硬件降頻一眼就能分辨。6.3 一份長(zhǎng)期有效的部署清單與版本檔案習(xí)慣我建議在項(xiàng)目里固定一份部署清單記錄以下內(nèi)容板卡系統(tǒng)版本和內(nèi)核版本交叉工具鏈版本sysroot來(lái)源是從板卡rsync還是官方rootfs各依賴庫(kù)在目標(biāo)板卡上的安裝方式apt包還是手動(dòng)拷貝路徑RKNN模型轉(zhuǎn)換時(shí)使用的rknn-toolkit2版本和轉(zhuǎn)換參數(shù)這些問(wèn)題在項(xiàng)目剛搭建時(shí)很清晰但一個(gè)月后再回來(lái)重構(gòu)或者給同事交接時(shí)如果沒(méi)有任何記錄幾乎等于從頭再來(lái)。所謂“環(huán)境不好復(fù)現(xiàn)”通常都是因?yàn)橐婚_(kāi)始沒(méi)記錄。最后再分享一個(gè)我自己的習(xí)慣每次拿到一塊新的RK3588開(kāi)發(fā)板我會(huì)先把五條信息寫(xiě)進(jìn)項(xiàng)目根目錄的版本檔案里板卡系統(tǒng)版本、內(nèi)核版本、glibc版本、工具鏈gcc版本、sysroot來(lái)源。YOLOv8或任何AI模型部署到RK3588時(shí)問(wèn)題鏈里大約一半都是版本不一致引起的而版本不一致的根源往往是當(dāng)時(shí)偷懶沒(méi)記錄。交叉編譯本身不復(fù)雜復(fù)雜的是讓編譯側(cè)、板卡側(cè)和運(yùn)行庫(kù)長(zhǎng)期保持同頻。把這個(gè)動(dòng)作變成肌肉記憶后面所有部署都會(huì)順暢許多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99熟女视频| 亚洲六月婷婷| 久久久精品婷婷五月天| 国产成人精品亚洲线观看| 综合网激情| 国产五月婷| 九九精品在线视频观看| 久草视频一,二三四| 操操综合网婷婷| 丁香五月天堂网| 欧美日本黄色| 六月色婷婷| 严洲天天插| 五月天六月丁香| 色色色在线| 九九色网| 99干日日干| 婷婷欧美| 色色色9| 五月天播播| 丁香五月丁香伊人| 情五月亚洲婷婷| 五月丁香六月激情| 中国女人内射6XXXXX| 五月天综合网| 国产综合色婷婷精品久久| 欧美日韩AAAA| 欧洲第一久色| 国产精品成人av在线观看春天| 九月婷婷综合八月丁香在线观看 | 噜噜色噜噜网| 伊人AV五月婷| 五月婷婷开心丁香| 婷婷五月天激情综合网| 五月丁香欧美综合免费视频| 激情丁香淫荡婷婷| 亚洲激情 久久| 色色色激情| AV操逼网| 午夜亚洲国产精品av一区二区| 五月天婷婷色色首页| 123日本不卡在线| 99热在线观看| 亚洲精品久久久无码| www.五月天婷婷| 久操人妻| 五月丁香天堂网| 久久婷婷综合基地| 五月天堂婷婷| www九九| 久操97| 思思热思在线精品视频| 激情丁香婷婷六月天| 大香蕉综合在线| 五月综合丁香婷婷| www.五月婷婷| 五月丁香香蕉| 丁香丁婷五月激情| 五月丁香婷婷无码中文| 思思99热在线| 激情图片婷婷| 九九热99精品| 丁香五月激情视频| 五月丁香六月情亚洲| WWW、日本色丁香、co m| 婷婷激情五月天在线视频| 亚州激情网| 亚洲天堂99| 97碰碰视频在线观看| 九九婷婷综合| 亚洲成人一区| 五月丁香六月婷婷综合在线| 安息电影在线观看完整版| site:xmssd.com| 九色PORNY9l原创自拍| 97人人操| 五月色色色| 五月天婷婷网站888| 色久女| 日本三级中国三级99| www.99热在线观看| 欧美色五月| 一起草av| 婷婷六月开心网| 婷婷 激情 五月| 婷婷瑟五月天久久综合| 丁香婷婷久久老熟女综合网| 狠狠激情五月天| 五月色天情| 十月色综合| 亚洲视频色婷婷| 开心激情五月天网| 激情久久久久久| 超碰97免费在线| 九九久久99精品免费观看www| 九九热视频99| 五月婷婷丁香六月| 91紱請| 婷婷五月性感| 东北黄色一级| 久久婷狠狠色| www。狠狠干。com| 91精品无码| 丁香激情久久| 色噜噜狠狠色综合伊人| 人人干AV| 六月激情婷婷| 网色99| 亚洲九九视频| 一级操逼大片| 婷婷五月综合色中文字幕| 99草视频在线观看| 色色色五月婷婷| 99热永久在线观看| 久久婷婷五月草视频| 婷婷丁香五月天狠狠| 思思 热 99| 99综合色| 九月丁香婷婷综合| 麻豆AV一区二区三区| 任你躁XXXXX麻豆精品| av五月天婷婷丁香| 婷婷激情在线| 久久6这里只有精品| 五月婷婷丁香六月在线| 婷婷的色色五月天| 狠狠干综合| 免费观看全黄做爰的视频| 欧美久久久中文字幕| 日韩精品99久久| 五月婷中文字幕| 密黄站| 日韩av大全| 性五月激情| 五月天天天开心激情网| 99在线小视频| 99九九视频| 欧美成人AAA片一区国产精品| 亚洲日比视频| 色婷| 丁香激情六月天婷婷| 久久婷婷五月综合色和| 久久综合性| A片试看50分钟做受视频| 国产一级黄色影片,| 五月天AV大香蕉| 337p大胆噜噜噜噜噜91Av| WWW·天天操·视频?| 五月丁香六月婷婷综合伊人| 五月丁香激情综合啪啪| 婷婷色婷婷| 久久综合五月天激情小说网站| 伊人久久综合| 五月激情四射婷婷丁香| 99re这里| 天天干天天拍| 午夜福利8055| 婷婷五月成人有| 天天爽天天草| 丁香五月婷婷啪啪啪| 欧美韩国日本| 伊人婷婷五月天av| 婷婷五月丁香狠狠| 99免费在线视频| 色色com| 丁香六月婷婷| 在线播放 精品| 久久色五月| 怡红院院在线导航网| 丁香五月乱中文字幕| 国产精品社区| 狠狠婷婷色综合| 9精品视频在线观看| 丁香色六月婷婷| 日本熟女内射| 六月婷婷中文字幕| 一本狠婷婷综合| 久久久久久欧美精品se一二三四| 婷婷五月天在婷| Av九九| 久久精品一区二区三区四区| 五月婷婷熟女| 丁香五月婷婷在线视频| 大香蕉啪啪啪| 色婷婷最新域名 | 亚洲五月婷天天操| 婷婷91| 天天综合天综合久久网| 五月丁香综合啪啪| 色色亚洲视频| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 97人凄人人操人人爽| 狠狠色性| 久久婷婷伊人| www.91AV.COM| 天天日狠狠| 色婷婷最爱五月| 俺去也综合| 丁香久久| 91九色无码日韩| 99热这里只有精品13| 婷婷色在线播放| 国产精品美女久久久久AV超清| 激情綜合網址| 亚洲小视频| 天天综合在线网| 琪琪狠狠干| 色色五月天婷婷| 亚美欧色影院| 亚洲精品国产A久久久久久| 九九狠狠干| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 91干视频| αV电影| 开心六月丁香五月婷婷| 99热在线观看| 99精品丰满| 人妻狠狠操| 婷婷五月天播播| 成人精品一区日本无码网| 99碰视频| 婷婷色成人| 五月婷婷丁香五月| 无码区婷婷五月花开| 激情五月亚洲| 伊人综合网站| 丁香五月欧美成人| 99色色网| 日本波多野结衣视频| 色五月丁香总合网| 99性视频| 超碰93在线观看| 这里只有精品视频在线看| 天天爽天天日天天舔| 综合婷婷| 97在线/亚洲| 噜噜色com| 色婷婷成人做爰A片免费看网站| 久久性刺激| 五月丁香狠狠| 嫩草AV久久伊人妇女超级A| 五月色婷婷中文字幕| 九九色综合视频| 另类少妇人与禽zOZZ0性伦| 啪啪六月婷婷| AV人人操| 丁香婷婷综合影院| 亚洲国产成人裸舞| 日本精品久久久久中文字幕| 亚洲婷婷在线播放十月| 综合99综合久久久久久久| 97操碰日本女人| 夜夜噜夜夜奇| www.五月天| 天天搡日日搡aaaaⅩ| 人。妻久久| 一本大道嫩草AV无码专区| 丁香色五月 97干| 婷婷深爱五月| 99在线看片| 久久996re热这里只有精品无码| 99爱在线精品视频免费观看| 久操综合| 色五月色图| 久热re在线视频| 五月天婷婷高清无码| 高清无码网址| 中文字幕天天干| 秋霞电影理论| 桃色成人网| 激情深爱五月婷婷| 狠狠干无码| 久久久久久99精品无码| 影音先锋天天日| 99视频日韩| 五月天久久成人| 久久婷婷热| 综合激情婷婷| 五月丁香婷婷色| 日韩 中文 欧美| 激情综合网激情五月天| 久久激情婷婷| 天天做天天爱天天爽综合网| 亚洲 成人 电影av在线观看| 丁香五月另类小说| 久9草在线观看视频| 五月婷婷深爱六月| 懂色av粉嫩av蜜臀av| 99高级会所久久| 色情五月综合婷婷| 婷婷五月成人色综合| 久久99久久99精品免视看婷婷| 大香蕉五月天婷婷丁香91| 5五月综合网亚洲| 91趴趴| 九九热精品6| 久久5 9视频免费观看| 久久婷婷五月天激情| 天天射影院| 人人色性网| 久久ww| 精品久色| 亚洲激情五月| 国产精品人妻在线网址| 无码99| 在线99精品| 丁香六月情| 4438全国最大视频成人网站在线观看| 五月婷婷开心综合| 丁香狠狠操| 婷婷综合精品视频97| 男同色五月开心五月激情五月| 影音先锋 91工厂| 亚洲亚洲人成综合网络| 天天色天天噜| 婷婷碰碰| 五月婷婷五月天激情网| 一起肏在线视频| 亚洲人成色A777777在线观看| 97五月天婷婷综合激情网| 日本爆乳片手机在线播放| 九九色区| 狼友视频在线观看18| 国产三级片91| 五月婷婷色| 99色在线观看免费| 蜜桃人妻无码AV天堂三区| 丁香五月成人论坛| 大香蕉色婷婷伊人在线| 五月天色婷婷伊人网| 国产探花一片区| 国产偷人妻精品一区| 亚洲av无码精品色午夜| 五月丁香琪琪| 成人做爰A片免费看网站找不到了| 二色av| 天天婷婷天天| 亚洲操逼网| 天天射综合网站| 超碰在线91| 激情五月天在线观看婷婷| 国产激情综合五月久久| 99久久精品网| 婷婷久久在线| 久久精品4| 香蕉综合在线| 噼里啪啦在线观看免费完整版视频| 五月色 亚洲| 久久大大香| 色婷婷小说| 色五月中文字幕| 99.N在线视频| 狠狠操狠狠爱| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 这里只有精品9| 久操人| 五月天综合网| 久久无码激情视频| 极品精品一区二区三区在线| 丁香五月成人社区| www.精品99| 亚洲婷婷五月天| 另类丁香五月天区图| 激情综合视频| 丁香久久久| 狠狠综合网| www.久久爱| AV天堂婷婷五月天| 六月色激情| 啪啪一区| 亚洲综合五月天综合| 91a片爽| 狠狠色大香蕉| 九九精品网站| 香蕉综合在线| 99在线观看免费精品视频| 熟女色色一区二区| 婷婷五月天天爽| 日本色道视频网站| 99免费超碰在线| 五月天综合在线观看| 亚洲AV综合在线观看| 亚洲另类在线观看| 婷婷激情五月色综合| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 免费在线a| 日本三级黄色大片| 襙逼网| 人碰91| 激情五月综合网最新| 婷婷色播色五月五色五月天色妇| 人妻有码乱操| 五月丁香婷婷基地| 国产一区男女| 久久婷五月综合| 91超碰人人操| 五月天婷婷婷| 九月婷婷| 丁香九月激情在线视频| 丁香五月91| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 午夜 外网 精品 在线| 丁香深五月婷婷| 超碰9| 亚洲天堂AV免费片| 色婷婷激情五月天| 天天操夜夜操| 色五月激情五月开心五月| 性爱先锋AV| 久99久视频| 五月丁香天天| 黄色一级影片| 风流少妇A片一区二区蜜桃| 五月婷综合| 五月婷婷在线短视频| 久久9情免费| 久久艹99| 人人干Av| 99热偷拍| 色婷婷91激情小说| 日本va欧美va国产激情| 婷婷五月婷| 99re66热这里只有精品| 婷婷色基地在线看| 色色99| 婷婷伊人网| 26uuu视频欧美| 天天色凹凸| 丁香五月激情综合| 精品A√| 色情五月天视频网| 曰本aaaaaa丈片| 色偷偷综合| 狠狠xx| 狠狠色婷婷7| 五月天婷婷涩涩| 九九热免费视频| 色婷婷狠狠18| 色综合天天网| 婷婷五月综激情| 免费看欧美成人A片无码| 丁香五月在线播放| 日韩无码人妻一区二区三区综合| 久久久香| 丝袜熟女一区二区三区| 五月丁香综合啪啪| 98永久精品| 呦呦v线| 日韩99无码| 91操片| 五月天激情无码专区| 玖玖国产视频一区| 99热一本久道| 尤物一区二区| WWW.婷婷| 噜一噜在线| 森林影视大全,最好看的2019年视频 | 97人人射| 精品网站:999WWW| 狠狠操在线视频| 激情黄色小说色五月| 九九热9| 26UUU精品一区二区| 色综合色色| 熟女五月天久久综合| 五月色婷婷中文字幕| 校园春色亚洲色| 九九热精品| 舔色婷婷| 亚洲精品久久久久久久久久吃药| 性爱先锋AV| 婷婷五月色惰| 五月四色激情| 开心五月深爱五月| 97色色婷婷| 欧美黄色AA片哗啦啦啦| 99在线视频精品| 日韩欧美五月丁综合| 久久天堂婷婷五月| www.91五月| 99性爱视频| 天天综合五月天| 色五月亚洲开心网| 亚洲婷婷月丁香五月| 九九婷婷综合| 97成人超碰免| 婷婷狠狠干| AV性爱网| 久久久精品人妻录| www婷婷亚洲| 黄网在线免费观看| 伊人网啪啪| www.色欲丁香婷婷| 成人做爰A片免费看网站找不到了| 色色色999| 亚洲激情另类| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪| 五月激情婷婷六月丁香| 色色精品色| 91人人操人人爱| 色五月色情| 日韩艹比| 色色色综合网| 色婷婷小说网| 色色吧综合| 天天影院色| 亚洲成人噜噜| 一级A片天天操夜夜操| 久久这有这里精品| 99在线观看视频免费| 超碰成人在线观看| 任你擦免费视频| 九九热99精品| 男女激情久久| 九九婷婷激情综合网| 九九热精品视频在线观看| 婷婷久久网| 色婷另类| 激情婷婷六月天| 日日爱699| 99热99精品在线观看| 九九免费精品在线视频| 婷婷丁香六月五月天| 色婷婷导航| 欧美日韩成人一区二区| 伊人9在线| 亚洲视频1区| 精品AV无码超碰| 日日噜噜夜夜狠狠久久丁香五月| 国产AV一区二区三区最新精品| 九九色色| 天天草天天爽| 狠狠色成人影片| 99久久婷婷| 亚洲无码成人| 久久女人天堂| caop在线| 九九热自拍| 操操自拍| 综合激情五月婷婷| 无码髙清| 久re热视频| 欧美大道不卡| 97欧美在线| 五月激情小说| 99久久久久久www| 日本美女五月天| 亚洲美女网Va| 婷婷大乡焦噜噜| 欧美在线视频免费播放| 五月天综合在线| 五月天亚洲色| 99热8| 日日干天天| 天天色噜| 99精品在线观看视频| 久久激情五月婷婷| 婷婷综合视频| 99久久www| 精品久久久999| 97人人看| 九九热在线视频观看| 丁香五月六月综合激情| 激情综合婷婷| 中文字幕按摩做爰| 欧美成人一区二区三区在线视频| 岛国在线观看91| 婷婷五月丁香综合亚洲| 色播色丁香五月| 亚洲黄色av网站| 丁香五月大香蕉AV| WWW久| 99热天堂| 激情综合区| 九九99久久| 26uuu国产色| 婷久看人爽| 五月天全国最大成人网| 国精产品一区二区三区| 五月丁香在线看| 亚洲热视频| 五月天社区婷婷丁香社区| 干一干xxxx| 婷婷五月激情图片| 天天狠狠夜夜狠狠2023| 激情五月婷| 黑人巨粗进入警花疼哭A片| 婷婷影院A成人| 99热伊人综合| 大香蕉Av在线| 九九操操| 侠女刀之记忆电影在线看免费| 天天婷婷操| 热99re| 色五月丁香伊人五月| 婷婷五月色激情欧美激情| 91黄操| 亭亭五月丁香五月天激情| 九九99久久| 黄急一级视频| 日本欧美啪啪| 五月丁香激情婷婷| 婷婷色五月婷婷姐妹| 丁香婷婷五月天色播| 婷婷中文字暮| 97精品自拍视频| 91超级碰| 婷婷成人基地| 婷婷五月另类网站| 婷婷五月天激情电影| 91干| 色婷婷4| 天天操天天日天天操| 天天插天天日| 午夜婷婷| 国精产品一区一区三区免费视频| 91在线看片| 99日精品视频| 精品视频这里只有精品| 色婷婷香蕉丁丁网| 丁香五月天之婷婷影院| 97人人草| 电影91久久久| 五月天丁香综合在线| 特黄三级片| 五月六月激情婷婷| 激情综合五月婷婷六月丁香| 色婷婷狠狠18禁| 国产小精品| 久久婷婷桃花五月天| 国产激情av| 五月色亭丁香| 国产精品成人av在线观看春天| 狠狠色丁香婷婷久久综合| 五月天激情视频| 大香伊人久色| 日韩在线观看亚洲| 99re思思在线视频| 一级二级香港秋霞欧美欧美秋霞| 欧美大香蕉视频| 大香蕉婷婷| 色婷婷狠狠禁久久| 久久永久视频| 久久婷婷色丁香| 久久久免费精彩视频| 可以免费观看的AV| 婷婷六月偷拍| 亚洲美女高潮久久久久久69| 丁香色播五月天| 天天综合网站| 五月丁香影视| 一区操| 国产精品久久久久久白浆色欲| 五月丁香久久综合精品| 国产精品美女| 韩国真做片在线观看| 青青草网武则天| 99热大全在线观看| 天天草比天天爽| 狠狠干无码| 日韩野外 无套| 婷婷九月激情| AV天堂婷婷五月天| www.91.com黄| 丁香五月之久操视频| 亚洲午夜电影| 久色姿源| 色爱99| 成人综合网站| 欧美色色色色色色色色色色| 97深爱伊人综合| 天天综合网在线| 色五月综合| 在线99色| 狠狠搞综合色| 99精品视频偷拍| 日韩成人不卡| 大香蕉520| 毛片毛片毛片毛片| 来吧亚洲综合网| 色都都狠狠色都都色综合色| 99在线精品视频免费| se影音资源在线观看| 五月天综合在线| 色五月97| 开心四月婷婷在线色播播| 色噜噜狠狠色综无码久久合欧美| 婷婷丁香五月激情| 人妻激情久久| 99精品在线观看视频| 免费无码毛片一区二区A片| 五月丁香自拍| 六月丁香婷婷在线波多| 97操操| 99久久精品国产色欲| 粉嫩AV久久一区二区三区| 99久久久久久www| 99热骚货| 亚洲热久久| 婷婷激情五月天桃花网| 亚洲久久视频| 99九九热在线观看| 婷婷激情六月中文| 五月激情六月| www.色婷婷.com| 依人大香蕉在钱1| 婷婷香香五月| 美国十月色婷婷在线观看| 最近中文字幕2019视频1| 亚洲午夜视频| 丁香五月婷婷激情中文| 97色色婷婷| 男人的天堂五月丁香| 五月丁香六月婷婷久久久综合| 人妻久久久久久久| 亚洲av无码精品色午夜| 伍月婷丁香花全集| 久久草大香蕉| 色欲九区| 国产色色色色| 在线18av | 激情婷婷五月天。| 99超级碰碰| 艾小青av| 五月丁香婷婷色| 成人av在线网站| 怡红院一二三| 刘玥av在线| 看婷婷五月天网| 五月天 婷 欧美亚洲| 婷婷中文字幕欧美| 99精品视频在线6| 婷香五月| 日本乱论99| 天天天天天天噜| 日韩操人| www.99视频| 五月天狠狠色| 曰本aaaaaa丈片| 亚洲九九九九| 日韩1区2区| 色99自拍| 亚洲VA口| 欧美日韩国产成人在线| 天天插轮理| 91丨九色丨东北熟女| 色色丁香婷婷| 99热免费| 丁香婷婷久久综合在线| 九九热这里只有精品31| 成人免费120分钟啪啪| 天天做天天爱天天爽夜夜揉| 五月天丁香综合| 玖玖99精品视频| 九九九九这里只有精品| A片天天| 五月天婷婷网站| 丁香五月影院| 色五月首页| 色婷婷中文在线| 伊人婷婷五月天av| 99热这里只有精品3| 精品一区久热| 丁香五月激情六月综合| 狠狠的日| 五月丁香六月色婷| 色99视频| 婷婷五月电影| 久久激情天堂| 日本99视频精品免费播放| 婷婷五月天精品| 日韩99无码| 五月丁香婷中文| 嫩BBB槡BBBB搡BBBB| 五月天婷综合网站| 色五月婷婷五月| 在线播放成人网站| 久久久激情视频| 中日韩美欧成人一区二区精品在线| 99亚洲综合| 亚洲综合婷婷| 性爱网久久| 这里只有精品免费视频| 91丨九色丨东北熟女| 99操视频| 亚洲五月婷| 色色丁香婷婷| 91玖玖| 在线99热| 97精品综合久久| 第四色激情网| 成人视频一区| 狠狠狠狠狠狠狠狠| www.yw尤物| 五月丁香黄色视频| 久久久久久久五月婷婷六月丁香综合,开心激情综合网 | 噜噜噜久久| 中文在线成人| 激情久久久久久久久久| AV无码免费| 日本WWW九九九| 久婷久婷| 色婷婷免费观看| 97色婷婷成人综合在线观看| 激情丁香婷婷| 综合激情五月天| 婷婷色五月天在线| 六月五月丁香五月欧美| av中文在线| 激情婷婷五月天网址| 国自产拍偷拍精品啪啪一区二区| 欧美激情xxxXX| 大陆极品少妇内射AAAAAA| 狠狠干2007| 91av传媒高清在线视频网| 久久在线人妻| 国产原创视频91九色| 91人人爽久久涩噜噜噜| 久久机热探花| 99爱在线视频| 婷婷免费无马| 超碰免费在线| 丁香五月综合久久八| 亚洲中文字幕在线观看| 夜夜天天久久婷婷| 69热91天堂| 婷婷丁香五月在线播放| 六月色婷婷综合影视| 99色| 色九网| 激情五月天网站| 色综合xx| 99热最新| 中文字幕丰满乱孑伦无码专区| 精品一二三区久久AAA片| 97色伦另类图片小说视频| 新激情五月天| 天天日日综合| 国产精品色婷婷久久久精品| 久久婷婷综合网| 成人色五月天婷婷| 91狠狠色丁香婷婷综合久久| 精品色色网| 久久99草五月婷婷| 久久综合五月天| AV操逼网| 九九激情网| 五月婷婷之激情五月| 狠狠色婷婷综合开心影视| 五月婷婷成人| 色婷婷久久综合| 久久婷婷亚洲| 婷婷狠狠五月综合| 久久精彩视频99| 99九九在线精品热动漫| 久久免费精品小视频| 操碰97| 丁香五月冃欧美| 91 九色 入口| 色婷操逼| 综合激情网五月激情| 91久久日日| 亚洲热视频在线| 91黄址| 婷婷五月成人| 婷婷十月丁香| 91精品久久久久久久久| 天天色亚洲| 亚洲色域网| 久久激情婷婷| 色色热| 色久播播| 不卡在线中文字幕无| 色五月丁香婷婷在线观看| www.综合久久.com| 9久精品| 可以免费看的av网站| 五月丁香九九| 级情九色| 欧美丁香六月激情视频| 最新久久99视频网站| 综合久久综合久久| 伊人五月婷婷| www.1024久久| 九九aV| 人色五月天婷婷| 五月天婷婷激情四射综合| 九热精品| 天天草天天爱| 丁香五月97视频| 思思re99视频在线观看| 六月色色婷婷| 99九九中文字幕视频| 看片视频在线免费日产在线看| 久久人妻高清中文| 插逼综合网| 精国产品一区二区三区A片| 99无码黄色视频| 66精品国产成人| 丁香五月婷婷综合啪啪| 丁香六月激情| 成人深爱丁香五月| 亚洲天堂九九九| 婷婷五月综合网| 5月婷婷五月天| 少妇高潮一区二区三区99欧美| 激情性爱五月天网页| 亚欧州精品视频| 天干干夜夜操| 三级99热| 激情婷婷| 丁香五月天色婷婷| 亚洲日本激情| 九九综合88| 天天日夜夜| 色欲色香伊人| 色99免费视频中文| 99热网站| 日操夜撸| 丁香婷婷激情综合五月激情| 色亭亭九月| 婷婷色导航| 五月天激情小说婷婷基地| 女婷久久| 黄色网址五月婷婷| 91热爆在线| AV国产有码| 99热国内精品| 亚洲宗合激情| 六月丁香久久| 日韩精品二三区| 亚洲综合在线伊人婷| 青青草99re| 天天干一干| 五月婷婷色五月| 中文av网站| 五月婷色丁香| 亚洲无码成人| 久久涩视频| 色999亚洲人成色| 黄色AAAAA| 天天色天天爽| 狠狠色丁香婷婷| 国产毛多水多女人A片| 色丁香五月婷婷| 欧洲日韩一区二区三区| 丁香五月激情啪| 天天综合区| site:pnnrt.com| 丁香婷婷色五月激情综合| 婷婷激情综合无月| 99久久99视频| 狠狠色综合五月人人| 综合婷婷| 色深爱五月| 狠狠干天天内射| AV动漫不卡无码免费| 伊人丁香五月天丁香在线婷| 日韩欧美一级大黄网站| 天天爽天天干天天| A一级操| www.五月丁香| 九七色色六月丁香| 99视频这里有精品| 久久丁香五月| 中文字幕簧片| 久久综合干| 综合久久8| 777精品久无码人妻蜜桃| 99啪99| 五月婷婷人妻| 26uuu色噜噜精品一区| 99日精品视频| 国产精品黑丝| 五月天综合网| 亚洲视频二区| 99久在线精品99re8热| 爱草视频在线| 91精品久久久久久77777| 综合 蜜月 婷婷| 超碰日韩成人| 99网| 午夜婷婷久久| 五月天久久综合婷婷丁香| 琪琪理论片| 色综合丁香婷婷| 九九热这里只有精品9| 99性爱| 五月婷婷亚洲| 第四色婷婷丁香五月| 欧美成人网婷婷综合在线| 九九99久久| 99啪啪网| 99资源人人| 成人AV在线中文版| 亚洲精品成人| 午夜一区| 人人爱摸视频| 丁香五月五婷| 激情五月天婷婷久久久久久久久久久| 午夜爱爱网站| 激情色情五月天| 婷婷色色综合| 激情五月天丁香| 欧美影院婷婷| 五月婷婷六月丁香五月| 狠色色狠网| 激情五月天无码| 丁香五月婷婷五月天在线| 久久婷婷色情7777网站| 色吊操色妞| A片试看120分钟做受图片| 久99热| 99久久9| 97五月久久丁香婷婷| 真实亲子乱子伦高清在线观看| 日本成人噜噜噜噜噜| 婷婷 久综合| 99色婷婷视频| 人妻激情在线| 婷婷色五月天色| 丁香五月停停av| 三年高清大片免费观看国语| 天天日天天色| 亚洲旡码| 色射7856五月天激情四射| 亚洲成人丁香花| 91紱請| 亚洲丁香花色| 激情五月天婷婷五月天| 超碰在线视屏| 天堂网啪啪| 五月激情婷婷丁香天堂| 婷婷丁香综合| 日韩欧美四五区| 久久亚洲精品成人无码网站导航| 亚洲AV免费在线| 99久久玖玖| 伦99热| 五月丁香六月婷婷综合| 1024欧美看片| 五月婷婷影视| 99热99艹在线观看| 久久性爱视频| 北京熟妇搡BBBB搡BBBB| 国产毛片精品一区二区色欲黄A片| 婷婷六月啪啪| 日韩AV片| 久久99激情| 人人摸人人| 丁香六月婷婷色XXXXX| 五月网在线| 国产精品久久久60086| 久久五月婷婷开心网| 丁香五月天色| 久去色色| 激情综合4月| 色视频2025| 婷婷久久综合久| 日本三级大片| 久久婷婷五月综合| 99啪啪视频| 婷婷五月丁香久久| 91九色丨国产丨爆乳| 五月丁香无码| 国产在线黄色| www.婷婷亚洲基地| 九九99免费视频| 大香蕉久| 五月婷中文字幕| 97超碰人人操| av网址在线| 在线另类视频| 超碰日韩成人| 51精品国自产在线| 日韩一级一片内射视频4K| 亚洲深喉aV| 熟女强人妻一区二区三区四区无| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 伊人久久婷| 婷婷六月天天| 久久总和99| 久久久99免费视频| WWW99热| 色婷婷综合久久久久| 成人亚洲精品| 五月天婷婷色| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 99热18| 色婷婷五月影视| 伊人五月天综合网| 五月天五月色婷婷综合| 99精品色色| 丁香五月第九色| 人妻熟妇六区| 爱婷婷五月| 新伍月婷婷| www.99视频| 亚洲九九视频| 九九热最新| 庭庭久久内射| 狠狠操综合| 99日韩| 精品影院| 婷婷五月色综合香五月| 国产探花一片区| 婷婷终合色图| 操人久久| 综合久| 婷婷五月丁香六月伊人网| 开心激情色婷婷五月天| 超碰AAAAAAV| 99热视精品| 色五月婷婷小说亚洲中文字幕组| 五月丁香成年黄色| 国产成人综合在线| 激情五月天视频| 欧洲色区| www.金莲av| 人妻中文字幕精品| 久久看婷婷| 丁香五月精品视频| 色五月天综合| 天天谢天天操| 深爱五月婷婷| 日韩另类| 色婷婷丁香五月| 婷婷久综合| 免费成人网在线观看| www.97碰碰com| 久热99| 婷婷五月天AV激情| 色色色国产| 97干视频在线| 直接看的av| 这里只有精品视频| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 在线日本www| 黄色一极大片| 色狠狠色| 婷婷丁香第一页| 无月播播激情在线观看视频| 夜夜爱网站| 日韩啪啪视频| 99这里都是精品| yw国产AV| ′久久99一| WWW,色五月| 婷婷色色播五月天| 天天干天干| 99ri视频| 国产又爽又猛又粗的视频A片| 美女视频图片久久91| 久青操| 五月婷婷亚洲天堂激情在线| 久久网思思| 99热只有| 丁香五月手机在线| 伊人大综合| 狠狠爱五月婷婷| 婷婷五月花免费视频在线| SS丁香五月婷婷| 青草少妇激情| 另类视频综合| 国产美女无遮挡裸体毛片A片| 一级黄色操B| www色婷婷| 五月天五月色| 天天爽天天| 五月天激情视频| 最新无毒无码AV| 99热超碰天堂网| 丁香五月婷婷亚洲人| 开心五月综合| 激情五月天啪啪| 欧美成人精品A片免费一区99| 嫩草视频。| 日本一级特黄大片AAAAA级| WWW.五月天9999| 天天天天爽爽天干| 婷婷精品视频| 五月开心播播网| 4438国产免费看| 五月天婷婷一起草| 丁香社区婷婷五月| 26UUU欧美激情一区二区| 婷婷五月天激情网| 91无码色色| 黄色高清无码| 婷婷爱爱蜜臀天天操| 99热这里有精品6| 色欲一二三| 人妻久久久久久久 | 亚洲AV日韩在线观看| 青青草tp| 日本成人噜噜噜噜噜| 99热综合色图| 精品一二三区久久AAA片| 欧在线一区| 婷婷激情五月| 五月丁香狠狠| 99久久久99久久91熟女| 99婷五月| 久久综合综合久久| 婷婷五月天熟妇| 婷婷五月激情欧美| 色.五月综合网| 影音先锋四区| 色小说五月婷婷| aa久久| 丁香五月婷婷色综合| 精品在线网站| 亚洲五月天天| 青青草轻轻操| 欧美69久成人做爰视频| 97极品在线| 亚洲综合色丁香婷婷六月| 色婷精品91| 久久se 综合网| 色玖玖爱| 日本不卡五月婷婷丁香| 色婷婷五月在线| www.婷婷com| 人人操AV| 婷婷五月伦理网站| 开心五月网 | 丁香九月久久| 伊人深爱综合| 任你草| 任你搞免费视频观看| 精品久热| 精品五月天| 99re在线播放| 五月天激情四射网站| 九九热99精品在线| 99色综合网| 99久久婷婷综合| 五月丁香婷婷无码中文| 激情五月天开心总和网| 99婷婷| 精品网站:999WWW| 天天综合网亚洲综合网| 五月丁香啪啪啪综合网| 久久婷婷艹| 开心久久xxx色| 999久久久国产精品| 91无码一区人妻A片蜜| 久久9久| 99精品视频网站| 精品一二三区久久AAA片| 成人电影在线免费试看| 久久婷婷在线| 五月婷婷六月色| 色五月婷婷AV| 国产成人va在线| 五月天婷婷色色| 婷婷玖玖丁香| 99视频在线观看视频| 99免费| av成人在线播放| 婷婷五月综合在线视频| 天天干天天干天天干天天干天| 久久精品噜噜噜成人A∨色欲| 亚洲热综合网在线观看| 久久久性爱视频| 国产91九色|