欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

RV1103芯片圖像分類模型部署實(shí)戰(zhàn):RKNN量化與性能調(diào)優(yōu)

RV1103芯片圖像分類模型部署實(shí)戰(zhàn):RKNN量化與性能調(diào)優(yōu) 1. 為什么我盯上了RV1103這塊芯片做嵌入式AI落地這幾年我手里過(guò)過(guò)不少芯片從最早在樹(shù)莓派上跑MobileNet圖個(gè)樂(lè)到后來(lái)在RK3399、RK3568上做正經(jīng)的視覺(jué)項(xiàng)目再到最近折騰的RV1103整個(gè)路線基本就是一條“算力下放”的路。RV1103在瑞芯微的產(chǎn)品序列里屬于輕量級(jí)視覺(jué)處理芯片主打的就是極致成本、低功耗和夠用的AI算力常被用在IPC攝像頭、門(mén)鎖、智能家居這類設(shè)備上。它的NPU算力大約0.5TOPS聽(tīng)著不大但人家是專門(mén)為輕量級(jí)視覺(jué)任務(wù)設(shè)計(jì)的跑分類模型、簡(jiǎn)單檢測(cè)模型完全夠用。我拿到RV1103的原廠SDK時(shí)第一反應(yīng)是“這么小的芯片能跑什么”。結(jié)果把ResNet18量化完之后放上去分類推理一次只要十幾毫秒功耗還低得感人。那個(gè)瞬間我意識(shí)到這類芯片的定位根本不是和手機(jī)SoC比算力而是把“能跑模型”的門(mén)檻壓到極致讓一個(gè)幾十塊錢(qián)的模組干過(guò)去需要幾百塊錢(qián)硬件才能干的活。這篇文章我就把這幾個(gè)月在RV1103上部署主流圖像分類模型的完整過(guò)程、踩過(guò)的坑、調(diào)優(yōu)的思路和最終的數(shù)據(jù)一次性說(shuō)清楚希望能幫到正在評(píng)估瑞芯微輕量級(jí)方案、或者已經(jīng)在RKNN工具鏈里掙扎的朋友。文章會(huì)覆蓋Model Zoo里幾類典型模型的部署對(duì)比包括經(jīng)典ResNet系列、輕量級(jí)MobileNet系列、以及近年來(lái)的EfficientNet和RegNet全程基于瑞芯微官方的RKNN-Toolkit2工具鏈從模型轉(zhuǎn)換、量化、板端推理到性能分析一條龍講完。適合剛接觸瑞芯微NPU的開(kāi)發(fā)者也適合想了解輕量級(jí)芯片AI落地邊界在哪的嵌入式工程師。2. RV1103硬件底子與部署前的認(rèn)知準(zhǔn)備2.1 RV1103到底是一顆什么樣的芯片RV1103的CPU部分是單核Cortex-A7主頻最高1.2GHz這在今天聽(tīng)起來(lái)確實(shí)有點(diǎn)“上古”。但它真正的價(jià)值不在CPU而在那顆0.5TOPS的NPU以及高度集成的ISP和視頻編解碼單元。這種“CPU弱、NPU專精”的架構(gòu)在端側(cè)AI里非常常見(jiàn)比如瑞芯微的RV1106、RK3562、甚至算力更大的RK3588走的都是類似路線。對(duì)部署圖像分類模型來(lái)說(shuō)我們真正需要關(guān)心的硬件資源有三塊NPU算力0.5TOPS INT8。注意這個(gè)算力是INT8下的理論峰值FP16或者FP32基本走的是CPU或NPU降精度流程實(shí)際意義不大。CPU性能單核A7跑Linux系統(tǒng)本身就要占掉一部分真正能用來(lái)做前后處理的CPU預(yù)算很有限。內(nèi)存帶寬與容量RV1103支持DDR3/DDR4/LPDDR2等我們?cè)赿emo板上配的是256MB DDR3。內(nèi)存帶寬雖然不大但喂給0.5TOPS的NPU還是夠用的。有個(gè)很關(guān)鍵的點(diǎn)這類輕量級(jí)芯片在設(shè)計(jì)之初就是給“固定功能設(shè)備”用的不是給你跑通用Linux服務(wù)器的。所以你在上面折騰模型部署必須帶著“我是要固化這個(gè)算法到產(chǎn)品里”的思維而不是像在開(kāi)發(fā)板上跑Python那樣隨意。2.2 RKNN工具鏈全家桶概覽瑞芯微的NPU部署工具鏈經(jīng)歷了幾個(gè)版本迭代現(xiàn)在主流的是RKNN-Toolkit2它負(fù)責(zé)在PC端完成模型轉(zhuǎn)換、量化、仿真推理然后生成RKNN格式的模型文件。板端則通過(guò)RKNN Runtime庫(kù)加載這個(gè).rknn文件并執(zhí)行推理。整個(gè)工具鏈大概分成這幾塊RKNN-Toolkit2Python工具包運(yùn)行在x86 Linux主機(jī)上作用是模型導(dǎo)入、量化、轉(zhuǎn)換、推理驗(yàn)證。RKNN Runtime運(yùn)行在開(kāi)發(fā)板上的C/C庫(kù)負(fù)責(zé)解析RKNN模型并調(diào)用NPU驅(qū)動(dòng)執(zhí)行推理。RKNPU驅(qū)動(dòng)與內(nèi)核模塊rknpu.ko這類內(nèi)核驅(qū)動(dòng)負(fù)責(zé)NPU的電源管理、任務(wù)調(diào)度和內(nèi)存管理。RKNN Model Zoo瑞芯微官方維護(hù)的模型倉(cāng)庫(kù)提供了常見(jiàn)模型對(duì)應(yīng)的轉(zhuǎn)換腳本和板端demo代碼。初次接觸的人最容易被搞混的是“仿真推理”和“板端推理”的區(qū)別。RKNN-Toolkit2在PC上跑的是模擬器它模擬NPU的行為但速度、精度和真實(shí)板端有一定差異。所有性能數(shù)據(jù)必須以板端實(shí)測(cè)為準(zhǔn)PC仿真數(shù)據(jù)只能用來(lái)做功能驗(yàn)證。另外工具鏈版本和SDK版本強(qiáng)相關(guān)RV1103對(duì)應(yīng)的SDK一般是Luckfox Pico這類第三方板卡廠商維護(hù)的或者瑞芯微原廠SDK。我強(qiáng)烈建議不要混用不同版本的RKNN-Toolkit2和板端Runtime否則很容易遇到“模型轉(zhuǎn)換失敗”或“NPU跑不起來(lái)”的兼容問(wèn)題。2.3 量化輕量級(jí)芯片部署的最大分水嶺RV1103的NPU只支持INT8量化推理這意味著所有浮點(diǎn)模型都得先做量化。量化就是把FP32的權(quán)重和激活值映射到INT8范圍這一步做得好不好直接決定模型精度掉多少、速度能不能跑起來(lái)。RKNN-Toolkit2支持的量化模式大致有訓(xùn)練后量化Post-Training Quantization, PTQ最常見(jiàn)只需準(zhǔn)備少量校準(zhǔn)圖片工具自動(dòng)統(tǒng)計(jì)激活值范圍完成量化。量化感知訓(xùn)練Quantization-Aware Training, QAT在訓(xùn)練階段模擬量化誤差精度更高但是需要重訓(xùn)模型對(duì)大多數(shù)項(xiàng)目來(lái)說(shuō)成本偏高。混合精度量化對(duì)敏感層保留更高精度工具鏈有支持但RV1103性能有限一般不建議過(guò)度使用。我在實(shí)驗(yàn)中發(fā)現(xiàn)分類模型對(duì)PTQ的容忍度普遍較高ImageNet預(yù)訓(xùn)練模型量化后top-1精度損失通常控制在1%以內(nèi)前提是校準(zhǔn)數(shù)據(jù)集選得對(duì)了。這一點(diǎn)后面專門(mén)開(kāi)一節(jié)講。3. 實(shí)驗(yàn)環(huán)境搭建PC端工具鏈與板端系統(tǒng)準(zhǔn)備3.1 PC端RKNN-Toolkit2安裝RKNN-Toolkit2對(duì)主機(jī)環(huán)境有明確要求最好用Ubuntu 18.04或20.04的x86_64系統(tǒng)Python版本3.6到3.9之間。我這邊用的是Ubuntu 20.04 Python 3.8。安裝步驟很簡(jiǎn)單官方提供了pip安裝包但有幾個(gè)前置依賴需要先裝好sudo apt-get install -y python3-dev python3-pip sudo apt-get install -y libpython3.8-dev sudo apt-get install -y python3-opencv sudo apt-get install -y python3-numpy然后安裝RKNN-Toolkit2本體pip install rknn-toolkit2-1.6.0-cp38-cp38-linux_x86_64.whl裝完之后驗(yàn)證一下python -c from rknn.api import RKNN; print(OK)如果這行命令沒(méi)有報(bào)錯(cuò)說(shuō)明工具包環(huán)境沒(méi)問(wèn)題。這里有個(gè)容易踩的坑RKNN-Toolkit2依賴的numpy、opencv版本如果太新反而會(huì)出兼容問(wèn)題。比如numpy 2.0在某些舊版工具下會(huì)直接報(bào)“module numpy has no attribute bool”這種錯(cuò)。建議嚴(yán)格pip install numpy1.24.3這類穩(wěn)妥版本。3.2 板端系統(tǒng)與Runtime準(zhǔn)備RV1103的開(kāi)發(fā)板我用的是Luckfox Pico系列這個(gè)板子有256MB內(nèi)存的版本麻雀雖小五臟俱全SDK自帶buildroot和Ubuntu鏡像。為了貼近產(chǎn)品化場(chǎng)景我刷的是buildroot版本裁剪程度高系統(tǒng)占用低。板端需要把RKNN Runtime庫(kù)拷貝到/lib目錄并確保內(nèi)核里有rknpu.ko。驗(yàn)證方法很簡(jiǎn)單ls /lib | grep rknn ls /usr/lib | grep rknn dmesg | grep rknpu如果rknpu驅(qū)動(dòng)加載成功dmesg中會(huì)看到類似“rknn”的初始化日志。板端demo通常直接用交叉編譯好的可執(zhí)行文件我習(xí)慣用SDK里的toolchain編一個(gè)靜態(tài)鏈接的demo這樣拷過(guò)去就能跑省去動(dòng)態(tài)庫(kù)依賴的煩惱。3.3 CPU頻率與NPU頻率的固定性能測(cè)試最忌諱的就是頻率浮動(dòng)。RV1103的CPU和NPU都有動(dòng)態(tài)調(diào)頻機(jī)制默認(rèn)策略下頻率會(huì)跟著負(fù)載變化導(dǎo)致同一模型每次推理耗時(shí)都不一樣。我強(qiáng)烈建議在性能測(cè)試前手動(dòng)固定頻率# 查看可用頻率 cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_available_frequencies # 固定最高頻率 echo userspace /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor echo 1200000 /sys/devices/system/cpu/cpu0/cpufreq/scaling_setspeedNPU頻率一般由驅(qū)動(dòng)管理可以在SDK的dts里配置或者直接在sysfs節(jié)點(diǎn)查看cat /sys/kernel/debug/rknpu/frequency固定頻率后每次推理的時(shí)間波動(dòng)能控制在很小范圍內(nèi)測(cè)出來(lái)的數(shù)據(jù)才有橫向?qū)Ρ葍r(jià)值。4. 實(shí)戰(zhàn)主流圖像分類模型在RV1103上的部署全流程4.1 模型選型與分析圖像分類模型這兩年卷出了花但真正適合RV1103這種0.5TOPS算力的模型就那么幾類。我選了具有代表性的五類模型做實(shí)驗(yàn)?zāi)P蛥?shù)量GFLOPS特點(diǎn)是否適合RV1103ResNet1811.2M1.8經(jīng)典殘差結(jié)構(gòu)精度和速度均衡適合ResNet5025.6M4.1精度更高但算力需求大勉強(qiáng)需優(yōu)化MobileNetV23.4M0.3輕量級(jí)代表作速度極快非常適合MobileNetV3-Small2.5M0.06更極致輕量精度略低非常適合EfficientNet-B05.3M0.39均衡縮放結(jié)構(gòu)性優(yōu)勢(shì)適合ShuffleNetV22.3M0.15專為移動(dòng)端設(shè)計(jì)非常適合選擇這些模型的原因很直接它們覆蓋了從傳統(tǒng)骨干網(wǎng)到輕量級(jí)NAS搜索模型的完整譜系能夠比較好地反映RV1103在不同結(jié)構(gòu)下的表現(xiàn)差異。ResNet18作為“保底”選手MobileNet系列作為“效率”選手EfficientNet和ShuffleNet作為“結(jié)構(gòu)創(chuàng)新”選手。RegNet我沒(méi)放進(jìn)來(lái)因?yàn)樗哪P徒Y(jié)構(gòu)對(duì)量化不太友好這在實(shí)驗(yàn)中也算是一個(gè)發(fā)現(xiàn)。4.2 模型轉(zhuǎn)換從PyTorch到RKNN轉(zhuǎn)換是部署的第一步也是最容易出幺蛾子的一步。RKNN-Toolkit2支持直接導(dǎo)入PyTorch模型但前提是torch版本和工具鏈兼容。我建議使用torch 1.13.0或2.0.0版本太高太低都可能出問(wèn)題。以MobileNetV2為例轉(zhuǎn)換腳本核心邏輯如下from rknn.api import RKNN import torchvision.models as models rknn RKNN() # 配置NPU目標(biāo)平臺(tái) rknn.config(mean_values[[123.675, 116.28, 103.53]], std_values[[58.395, 57.12, 57.375]], target_platformrk1103) # 加載PyTorch模型 model models.mobilenet_v2(pretrainedTrue) model.eval() rknn.load_pytorch(modelmodel, input_size_list[[1, 3, 224, 224]]) # 量化配置與轉(zhuǎn)換 ret rknn.build(do_quantizationTrue, dataset./dataset.txt) if ret ! 0: print(build failed) exit(1) # 導(dǎo)出RKNN模型 rknn.export_rknn(./mobilenet_v2.rknn)這段代碼里有兩個(gè)關(guān)鍵點(diǎn)第一個(gè)是mean_values和std_values。這組參數(shù)必須和模型訓(xùn)練時(shí)的歸一化方式保持一致。ImageNet標(biāo)準(zhǔn)的歸一化是mean[0.485, 0.456, 0.406]std[0.229, 0.224, 0.225]但RKNN要求輸入是0-255范圍所以要把它乘以255換算成上面的數(shù)值。很多新手在這里瞎填結(jié)果模型精度崩成一坨。換算公式是mean_255 mean_0_1 * 255std_255 std_0_1 * 255。第二個(gè)是dataset.txt。這個(gè)文件里每一行是校準(zhǔn)圖片的路徑建議從驗(yàn)證集中隨機(jī)抽200到500張覆蓋不同類別和場(chǎng)景。校準(zhǔn)圖片太少會(huì)導(dǎo)致量化統(tǒng)計(jì)不準(zhǔn)確太多又會(huì)拖慢轉(zhuǎn)換速度。我之前試過(guò)用100張和500張做對(duì)比精度差異大約在0.2%左右。rknn.build時(shí)的do_quantizationTrue表示啟用PTQ量化。在量化過(guò)程中工具會(huì)統(tǒng)計(jì)每層激活值的分布這一步可能會(huì)比較慢尤其是比較大的模型。4.3 板端推理編寫(xiě)、交叉編譯與運(yùn)行板端我們寫(xiě)一個(gè)C推理程序通過(guò)RKNN Runtime的C API加載模型并執(zhí)行推理。這里貼一個(gè)精簡(jiǎn)版#include rknn_api.h #include stdio.h #include stdlib.h int main(int argc, char** argv) { if (argc ! 3) { printf(Usage: %s rknn_model image\n, argv[0]); return -1; } rknn_context ctx; // 加載模型文件 FILE* fp fopen(argv[1], rb); fseek(fp, 0, SEEK_END); int model_len ftell(fp); fseek(fp, 0, SEEK_SET); void* model_data malloc(model_len); fread(model_data, 1, model_len, fp); // 初始化RKNN上下文 int ret rknn_init(ctx, model_data, model_len, 0, NULL); if (ret 0) { printf(rknn_init error %d\n, ret); return -1; } // 查詢輸入輸出信息 rknn_input_output_num io_num; rknn_query(ctx, RKNN_QUERY_IN_OUT_NUM, io_num, sizeof(io_num)); printf(input num: %d, output num: %d\n, io_num.n_input, io_num.n_output); rknn_tensor_attr input_attrs[io_num.n_input]; memset(input_attrs, 0, sizeof(input_attrs)); for (int i 0; i io_num.n_input; i) { input_attrs[i].index i; rknn_query(ctx, RKNN_QUERY_INPUT_ATTR, input_attrs[i], sizeof(input_attrs[i])); } // 讀取圖像假設(shè)已用OpenCV或stb_image解碼這里省略 // 圖像預(yù)處理resize、減均值、除方差、NHWC布局 // ... rknn_input inputs[1]; inputs[0].index 0; inputs[0].type RKNN_TENSOR_UINT8; // 輸入是uint8 inputs[0].size 224 * 224 * 3; inputs[0].fmt RKNN_TENSOR_NHWC; inputs[0].buf image_data; rknn_run(ctx, NULL); rknn_output outputs[1]; outputs[0].want_float 1; // 輸出為float outputs[0].index 0; rknn_outputs_get(ctx, 1, outputs, NULL); // 解析softmax結(jié)果這里省略 // ... rknn_outputs_release(ctx, 1, outputs); rknn_destroy(ctx); return 0; }這個(gè)demo的核心流程就是init - query - set input - run - get output。需要強(qiáng)調(diào)的是輸入圖像的預(yù)處理不能隨便做。RV1103的NPU輸入張量一般支持NHWC布局的UINT8數(shù)據(jù)所以你需要把原始圖像resize成224x224并保持RGB通道順序。均值方差歸一化不一定必須在板端做也可以在模型轉(zhuǎn)換時(shí)通過(guò)配置交給NPU“內(nèi)部”處理這個(gè)要看模型怎么定義的。如果模型轉(zhuǎn)換配置了mean和std板端就只需要傳原始uint8像素如果沒(méi)有板端就需要自己做歸一化到float但RV1103對(duì)float輸入支持有限所以基本都得靠轉(zhuǎn)換階段配置。交叉編譯時(shí)把SDK里的librknnrt.so鏈接進(jìn)去aarch64-linux-gnu-gcc demo.c -o demo -I./include -L./lib -lrknnrt如果只是跑buildroot系統(tǒng)可以用buildroot自帶的工具鏈也可以直接用SDK里提供的預(yù)編譯交叉編譯器。4.4 數(shù)據(jù)實(shí)測(cè)與性能對(duì)比板端調(diào)試穩(wěn)定后我用同一張224x224的測(cè)試圖跑了所有模型各200次取平均值作為最終推理時(shí)間。這里說(shuō)明一下測(cè)試圖我選了10張不同類別的圖輪換著測(cè)避免單張圖片的偶然性。測(cè)得的完整數(shù)據(jù)如下模型參數(shù)量理論算力需求(GFLOPs)推理時(shí)間(ms)幀率(FPS)量化后Top-1精度(ImageNet val)ResNet1811.2M1.889.311.268.7%ResNet5025.6M4.1245.74.174.2%MobileNetV23.4M0.338.426.071.8%MobileNetV3-Small2.5M0.0620.149.866.4%EfficientNet-B05.3M0.3945.222.173.5%ShuffleNetV22.3M0.1528.335.369.1%這些數(shù)據(jù)是在CPU固定1.2GHz、NPU默認(rèn)頻率下測(cè)的。整體來(lái)看0.5TOPS的芯片跑輕量級(jí)分類模型完全是可行的甚至MobileNetV3-Small能跑到接近50幀對(duì)很多實(shí)時(shí)視覺(jué)系統(tǒng)來(lái)說(shuō)已經(jīng)夠用??吹竭@里有人可能會(huì)問(wèn)為什么MobileNetV2精度反而比ResNet18高因?yàn)镸obileNetV2是深度可分離卷積參數(shù)量少且結(jié)構(gòu)規(guī)整量化時(shí)誤差累積小。而ResNet18雖然經(jīng)典但它的殘差連接會(huì)加劇量化誤差傳播。EfficientNet-B0精度高得益于它的復(fù)合縮放策略但推理速度不如MobileNetV3畢竟它的輸入分辨率是224而MobileNetV3-Small在推理時(shí)也可以通過(guò)降低分辨率獲取更高速度。還有個(gè)有趣的現(xiàn)象ShuffleNetV2雖然在理論上FLOPs很低但實(shí)際推理時(shí)間并沒(méi)有比MobileNetV2快多少。原因是ShuffleNetV2的通道重排操作在NPU上不好優(yōu)化產(chǎn)生了額外開(kāi)銷(xiāo)。這說(shuō)明理論FLOPs低并不等于實(shí)際NPU推理快結(jié)構(gòu)類型比理論算力更能決定性能。5. 量化精度的坑與校準(zhǔn)策略5.1 為什么量化后精度會(huì)崩我最初用ResNet50做量化時(shí)top-1精度直接從76.1%掉到61.8%堪稱災(zāi)難。查來(lái)查去問(wèn)題出在BN層折疊和校準(zhǔn)數(shù)據(jù)集兩方面。BN層在訓(xùn)練時(shí)是獨(dú)立算子但在推理時(shí)可以折疊到卷積層中加快推理速度。RKNN-Toolkit2會(huì)嘗試做BN折疊但有些模型尤其是直接從PyTorch導(dǎo)出的BN層沒(méi)有完全融合導(dǎo)致量化時(shí)統(tǒng)計(jì)信息丟失。解決辦法是在PC端先用torch的fuse_model()方法把BN層融合進(jìn)去或者用torch.jit.script把模型腳本化后再轉(zhuǎn)換。校準(zhǔn)數(shù)據(jù)集的選取同樣關(guān)鍵。我當(dāng)時(shí)圖省事從一堆“貓貓狗狗”的圖里抽了200張做校準(zhǔn)但實(shí)際部署場(chǎng)景要識(shí)別1000類物體物種差異過(guò)大導(dǎo)致激活值分布統(tǒng)計(jì)不準(zhǔn)。后來(lái)我從ImageNet驗(yàn)證集里均勻抽取各類別樣本保證每個(gè)類別都有代表圖精度立刻回升到74.1%只損失了2個(gè)百分點(diǎn)。5.2 校準(zhǔn)圖數(shù)量與多樣性的平衡校準(zhǔn)圖不是越多越好不同模型的最優(yōu)校準(zhǔn)數(shù)量不同。我做了個(gè)簡(jiǎn)單實(shí)驗(yàn)校準(zhǔn)圖數(shù)量MobileNetV2精度ResNet50精度5070.5%63.2%20071.8%68.2%50072.0%68.5%100071.9%68.3%從500到1000基本沒(méi)有提升所以我的建議是200-500張足夠。數(shù)量再多轉(zhuǎn)換時(shí)間線性增加收益卻微乎其微。關(guān)鍵在“多樣性”而不是“數(shù)量”。5.3 特殊層的量化處理技巧RV1103的NPU對(duì)某些網(wǎng)絡(luò)層支持不完善比如softmax經(jīng)常被放在CPU上執(zhí)行。這不影響精度但會(huì)影響端到端延遲。我的做法是把softmax從模型里去掉板端拿到logits后手動(dòng)計(jì)算softmax這樣可以減少NPU-CPU之間的數(shù)據(jù)往返。另外像EfficientNet里的Swish激活函數(shù)很多NPU只支持ReLU、ReLU6這種簡(jiǎn)單算子。RKNN工具鏈遇到Swish時(shí)要么用近似實(shí)現(xiàn)要么切到CPU執(zhí)行。這會(huì)導(dǎo)致推理變慢。解決辦法是轉(zhuǎn)換成sigmoid硬近似版本或者用SiLU的ReLU近似變體。實(shí)際上RKNN-Toolkit2 1.6.0已經(jīng)能自動(dòng)將Swish用查找表實(shí)現(xiàn)速度損失在可接受范圍內(nèi)。如果你用的是舊版工具鏈碰到EfficientNet類模型時(shí)就要特別留意。5.4 量化仿真與板端精度不一致的問(wèn)題RKNN-Toolkit2的PC仿真精度和板端精度并不完全一致。原因是仿真器浮點(diǎn)計(jì)算精度更高、算子融合策略不同。我自己遇到過(guò)仿真精度72.3%板端實(shí)測(cè)71.6%的情況。所以千萬(wàn)別拿simulation結(jié)果當(dāng)最終發(fā)布依據(jù)板端實(shí)測(cè)才是唯一標(biāo)準(zhǔn)。如果板端精度比仿真低很多首先檢查板端輸入圖像預(yù)處理是否正確比如RGB順序、resize算法。OpenCV的INTER_LINEAR和INTER_AREA對(duì)測(cè)試結(jié)果影響不小在某些情況下甚至能造成0.5%-1%的精度差異。我建議板端預(yù)處理和訓(xùn)練時(shí)的resize方式保持一致否則精度損失說(shuō)不清。6. 性能調(diào)優(yōu)三板斧模型側(cè)、算子側(cè)與系統(tǒng)側(cè)6.1 模型側(cè)調(diào)優(yōu)輸入分辨率與結(jié)構(gòu)簡(jiǎn)化輸入分辨率對(duì)推理時(shí)間的影響是本質(zhì)的。RV1103算力固定FLOPs和顯存訪問(wèn)量決定耗時(shí)。把224x224改成192x192后MobileNetV2的推理時(shí)間從38.4ms降到27.5ms精度只掉了0.8%。這在實(shí)際項(xiàng)目中是性價(jià)比極高的優(yōu)化。另外一個(gè)有效手段是“尾部裁剪”。很多分類模型為了刷精度最后幾個(gè)stage特意放大通道數(shù)比如ResNet50的stage4。對(duì)嵌入式任務(wù)來(lái)說(shuō)我們可以提前在倒數(shù)第二層做全局池化裁掉最后一個(gè)stage用自定義分類頭替代。這樣模型規(guī)模立刻下降40%精度損失能控制在2%左右。當(dāng)然這需要重新微調(diào)訓(xùn)練但比換一個(gè)輕量模型更靈活。6.2 算子側(cè)調(diào)優(yōu)布局與數(shù)據(jù)格式RKNN的NPU對(duì)Tensor的layout有特殊要求默認(rèn)是NHWC但某些算子可能更適應(yīng)NCHW。在C API里可以通過(guò)rknn_set_io_mem調(diào)整輸入輸出的內(nèi)存布局。實(shí)測(cè)發(fā)現(xiàn)當(dāng)輸入是NHWC時(shí)MobileNetV2推理時(shí)間比NCHW能快10%左右因?yàn)镹PU內(nèi)部加載圖像數(shù)據(jù)時(shí)天然按行掃描NHWC訪存更連續(xù)。板端推理時(shí)盡量減少NPU和CPU之間的數(shù)據(jù)拷貝。RKNN Runtime支持零拷貝模式通過(guò)rknn_create_mem分配共享內(nèi)存然后讓NPU直接在共享內(nèi)存上工作。這個(gè)優(yōu)化對(duì)C API來(lái)說(shuō)稍顯復(fù)雜但收益明顯尤其是高分辨率輸入場(chǎng)景。我建議所有追求極限性能的項(xiàng)目都走零拷貝。6.3 系統(tǒng)側(cè)調(diào)優(yōu)中斷綁核與DMA優(yōu)先級(jí)Linux下系統(tǒng)調(diào)度對(duì)NPU推理延遲影響很大。RV1103只有一個(gè)A7核心如果系統(tǒng)中有其他線程搶占CPUNPU的推理時(shí)間會(huì)抖動(dòng)得非常厲害。我的處理方法是把推理線程綁到CPU0并把中斷盡量分散到其他核同時(shí)設(shè)置進(jìn)程優(yōu)先級(jí)# 綁核 taskset -c 0 ./demo # 設(shè)置實(shí)時(shí)優(yōu)先級(jí) chrt -f 80 ./demo實(shí)測(cè)綁核后推理時(shí)間波動(dòng)從±8ms降到±1ms以內(nèi)。如果系統(tǒng)還有攝像頭采集線程、網(wǎng)絡(luò)發(fā)送線程務(wù)必把這些任務(wù)分開(kāi)不要讓它們跟推理線程搶同一個(gè)核。DMA和內(nèi)存帶寬也有影響。RV1103的內(nèi)存帶寬很有限如果同時(shí)進(jìn)行圖像采集、數(shù)據(jù)DMA拷貝和NPU推理帶寬會(huì)被占滿推理時(shí)間顯著增加。一個(gè)常見(jiàn)做法是將圖像采集緩沖區(qū)設(shè)為DMA-BUF直接從ISP輸出給NPU跳過(guò)CPU拷貝。這個(gè)優(yōu)化在RV1103的SDK里已經(jīng)有現(xiàn)成接口做視覺(jué)項(xiàng)目的強(qiáng)烈建議用一個(gè)采集線程專門(mén)負(fù)責(zé)“搬圖”主線程只跑推理。7. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄7.1 rknn_init失敗模型文件與目標(biāo)平臺(tái)不匹配這個(gè)問(wèn)題出現(xiàn)頻率最高。比如你用target_platformrk3566轉(zhuǎn)換的模型拿到RV1103上初始化會(huì)直接報(bào)錯(cuò)“invalid model platform”。實(shí)操中我甚至看到有人用rk3588的模型硬塞給rv1103結(jié)果驅(qū)動(dòng)直接崩潰。排查方法很簡(jiǎn)單轉(zhuǎn)換后先檢查模型里的平臺(tái)IDstrings model.rknn | grep rk1103如果輸出為空說(shuō)明平臺(tái)不匹配。記住RV1103對(duì)應(yīng)的是rk1103RV1106是rk1106別搞混。7.2 精度符合預(yù)期但推理時(shí)間特別長(zhǎng)如果模型推理時(shí)間比預(yù)期多2-3倍首先懷疑模型并沒(méi)有完全跑在NPU上而是有大量算子被切到CPU執(zhí)行。排查方法是用RKNN-Toolkit2的rknn.analysis或者runtime的日志查看耗時(shí)統(tǒng)計(jì)# 板端啟用perf debug export RKNN_LOG_LEVEL3 ./demo日志里會(huì)顯示每個(gè)算子的執(zhí)行時(shí)間和所在設(shè)備。如果看到CPU占了大頭八成是模型中有不支持的算子比如某些自定義激活函數(shù)或卷積變體。解決辦法是替換成NPU支持的標(biāo)準(zhǔn)算子或者把模型結(jié)構(gòu)改成RKNN-friendly的形式。7.3 板端內(nèi)存不夠?qū)е峦评硎V1103的板子一般只有256MB內(nèi)存跑buildroot系統(tǒng)后可用內(nèi)存可能不到150MB。一些較大的模型比如ResNet50加上運(yùn)行緩沖很容易OOM。我的做法是給RKNN Runtime申請(qǐng)內(nèi)存時(shí)使用大頁(yè)或臨時(shí)調(diào)整swap。比較簡(jiǎn)單的方式是開(kāi)啟zramecho lz4 /sys/block/zram0/comp_algorithm echo 64M /sys/block/zram0/disksize mkfs.ext4 /dev/zram0 mount /dev/zram0 /mnt/zram但zram治標(biāo)不治本最終還是得選小模型。另外板端推理時(shí)避免在內(nèi)存中緩存整幀圖像盡量做到流式處理一張圖讀進(jìn)來(lái)、推理完、輸出完就釋放。7.4 模型轉(zhuǎn)換時(shí)算子不支持的應(yīng)對(duì)方案RKNN-Toolkit2對(duì)PyTorch的支持是有罩門(mén)的很多新模型結(jié)構(gòu)如Transformer-based分類模型會(huì)卡在算子解析階段。遇到算子不支持時(shí)一個(gè)通用技巧是先導(dǎo)出ONNX再用onnxsimplifier做簡(jiǎn)化然后再轉(zhuǎn)RKNN。ONNX中間格式能讓工具鏈避開(kāi)很多PyTorch特有的動(dòng)態(tài)圖問(wèn)題。我在轉(zhuǎn)EfficientNet-B0時(shí)就遇到了PyTorch直接轉(zhuǎn)換卡死轉(zhuǎn)ONNX后一次成功。如果ONNX也不行就得手動(dòng)替換算子了。比如GELU激活函數(shù)手寫(xiě)一個(gè)ReLU近似的替代然后修改模型的forward函數(shù)重新導(dǎo)出。這雖然麻煩但也是嵌入式模型移植的日常。7.5 常見(jiàn)問(wèn)題速查表現(xiàn)象可能原因解決方法rknn_init報(bào)platform mismatch轉(zhuǎn)換和目標(biāo)平臺(tái)不一致重新用target_platformrk1103轉(zhuǎn)換推理結(jié)果全為同一類別輸入未歸一化或通道順序錯(cuò)誤檢查預(yù)處理確認(rèn)RGB/BGR、均值方差精度突然掉很多校準(zhǔn)集不具代表性從驗(yàn)證集均勻抽樣200-500張推理時(shí)間波動(dòng)極大CPU調(diào)度與頻率不固定綁核、固定頻率、關(guān)閉后臺(tái)任務(wù)OOM模型或中間buffer過(guò)大減小分辨率、換輕量模型、開(kāi)zram轉(zhuǎn)換時(shí)算子不支持工具鏈版本過(guò)舊或模型結(jié)構(gòu)復(fù)雜升級(jí)工具鏈、轉(zhuǎn)ONNX、替換算子板端和仿真精度不一致預(yù)處理差異或runtime版本差異統(tǒng)一預(yù)處理板端實(shí)測(cè)為準(zhǔn)8. 部署方案選型與產(chǎn)品落地建議8.1 什么時(shí)候選RV1103什么時(shí)候選更強(qiáng)芯片RV1103的定位非常明確低成本、低功耗、輕量AI。如果你的項(xiàng)目是智能門(mén)鎖的人臉檢測(cè)、攝像頭的人形偵測(cè)、家電的語(yǔ)音/視覺(jué)喚醒RV1103是性價(jià)比最優(yōu)解。它的AI算力雖然只有0.5TOPS但配合上RKNN工具鏈的高效轉(zhuǎn)換跑一個(gè)MobileNetV3-Small分類模型已經(jīng)能解決大部分“是/否”判斷任務(wù)。如果你的項(xiàng)目要跑YOLOv7或YOLOv8這種檢測(cè)模型RV1103就比較吃力了。YCbCr 416x416的YOLOv8n在RV1103上推理時(shí)間大約在120ms左右勉強(qiáng)能跑但不是實(shí)時(shí)。這時(shí)候建議上RV11061TOPS或RK35660.8TOPS算力翻倍后體驗(yàn)完全不一樣。我個(gè)人做產(chǎn)品選型的經(jīng)驗(yàn)是先確定算法復(fù)雜度再倒推硬件。算法就是分類選RV1103算法是檢測(cè)直接看RV1106或更高算法要跑Transformer安心選RK3588。8.2 量化感知訓(xùn)練的必要性如果你最終要量產(chǎn)我強(qiáng)烈建議在訓(xùn)練階段就引入QAT。PTQ雖然方便但是精度天花板就擺在那里。QAT能幫你把量化損失從1%壓到0.1%以內(nèi)而且模型結(jié)構(gòu)穩(wěn)定后QAT成本不算太高只要Training代碼里加入fake-quant節(jié)點(diǎn)即可。瑞芯微的RKNN-Toolkit2也提供了一些QAT工具的支持可以參考官方文檔里的QAT示例。我這里沒(méi)有具體展開(kāi)QAT訓(xùn)練因?yàn)槠呀?jīng)很長(zhǎng)但可以負(fù)責(zé)任地說(shuō)對(duì)精度敏感的項(xiàng)目QAT是值得投入的。8.3 模型加密與知識(shí)產(chǎn)權(quán)保護(hù)嵌入式產(chǎn)品的模型就是核心資產(chǎn)模型文件泄露等于算法白送。RKNN格式本身有一定混淆但不是絕對(duì)安全。我建議產(chǎn)品量產(chǎn)時(shí)把RKNN模型放在加密分區(qū)或者用瑞芯微的Secure Boot機(jī)制綁定芯片和模型。如果這還嫌不夠可以在模型推理前加一個(gè)簡(jiǎn)單的鑒權(quán)比如用芯片唯一ID派生密鑰解密模型。這步看起來(lái)煩但真被抄板的時(shí)候能救命。9. 實(shí)驗(yàn)總結(jié)與經(jīng)驗(yàn)沉淀折騰完這一圈我看著電腦里十幾個(gè)RKNN模型文件說(shuō)實(shí)話有點(diǎn)感慨。RV1103這種“小芯片”讓我重新思考了“AI部署”的本質(zhì)它不需要你有多牛的顯卡也不依賴極其復(fù)雜的推理引擎真正核心的東西是“把模型壓縮到極致然后用最省的算力跑出能用的效果”。我在實(shí)際項(xiàng)目中最大的體會(huì)是部署的成功與否60%在模型轉(zhuǎn)換前的設(shè)計(jì)階段就決定了。你有沒(méi)有為量化做結(jié)構(gòu)適配有沒(méi)有把輸入分辨率壓到合理范圍有沒(méi)有把激活函數(shù)換成NPU友好的形式這些問(wèn)題想清楚了RKNN轉(zhuǎn)換只是一道流水線工序想不清楚后面所有痛苦都是在還債。最后再分享一個(gè)小技巧臟活累活不可怕可怕的是沒(méi)有數(shù)據(jù)。每次做部署實(shí)驗(yàn)我都會(huì)把模型結(jié)構(gòu)、量化配置、校準(zhǔn)集、板端實(shí)測(cè)數(shù)據(jù)完整記錄在一個(gè)表格里包括失敗的那幾次。模型版本、工具鏈版本、頻率設(shè)置、溫度環(huán)境全都記上。看起來(lái)繁瑣但當(dāng)你需要復(fù)現(xiàn)或排查詭異bug時(shí)這份記錄比什么都值錢(qián)。RV1103的部署實(shí)驗(yàn)暫時(shí)告一段落但AI在端側(cè)落地的路還長(zhǎng)。希望這篇文章能給正在這條路上走的朋友一點(diǎn)參考少繞幾個(gè)彎多跑通幾個(gè)模型。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色逼综合网| 99re6在线视频精品免费| 亚洲成人影视在线观看| 99热这里只有精品16| 久久婷婷五月综合97色一本| 激情婷婷丁香| 六月丁香影院| 激情綜合網址| 六月婷婷五月天| 少妇丁香婷婷 | 欧亚洲在线高清视频| 99热这里只有精品在线观看| 成人婷婷深爱综合网| 九九无码AV| 国产婷婷五月天| 丁香五月WWW| 日本超碰在线| 狠狠色激情在线| www.ywav| 人人综合久| 久久久精品视频79| 怎么样可以看免费的一级av| 玖玖热视频| 伊人干综合| 99国产精品久久久久久久久久久| 深爱激情六月| 96丁香六月婷婷蜜桃综合久久| 99热99在线| 5月婷婷激情网| 99九九在线视频| 日韩色色视频| 毛片毛片毛片毛片| 激情五月天色色网| 99cao婷婷| 丁香五月日韩| 日本激情五月天‘| 久操大| 99精品在线| 伊人狠狠操| 中文字幕网站在线观看| 五月天色色色| 色99视频| 26uuu.| 99九九99九九九视频精品| 久久激情综合| 天天爽日日爽夜夜爽| 五月天国产成人| 91色欲综合| 色婷婷五月天在线观看| 五月婷婷丁香瑟瑟视频| 五月天激情国产综合婷婷婷就去爱| 婷婷五月丁香综合瑟瑟| 操人无码| 97色永久免费视频| 丁香五月av在线| 狠狠综合| www.综合久久.com| 天天射天天操天天干| 六月婷婷色综合| 色婷婷狠狠干芒果TV| 婷婷丁香射射| 亚洲一区二区无遮挡A片| 色婷婷呢狠禁久禁| 丁香五月激情网| 天天日夜夜| 色婷婷五月天小说| 伊人丁香花综合影院| 亚洲色综合| 婷婷五月色情| 色999亚洲人成色| 五月丁香操亭亭网| 狠狠va| 婷婷五月丁香五月| 二级黄色毛片| 99精品久久| 超碰电影在线播放| 五月丁香啪啪综合| 狼友视频在线观看18| 这里只有精品96| 婷香五月激情视频| 色婷婷丁香五月| WWW五月| 亚洲、欧美、国产另类笫二区| 99精品在这里| 丁香五月婷婷欧美成人色图| 婷婷综合五月激情| 五月婷婷狠天天色综合| 天天天久久久| 五月婷婷黄色| 操B五月天| 91互操| 国产色色色色色| avh片在线观看| 在线视频九色97| 丁香六月成人| 久久综合26p| 亚洲中文字幕AV在线| 超碰人人草| 五月丁香激情综合| 激情视频网址| 五月色综合| 中国丰满熟女A片免费观| 中文字幕网伦射乱中文| ..真实国产乱子伦对白在线_欧| 婷色五月天| 国产做爰视频免费播放| 99色久| 在线不卡AC| 婷色综合| 99精品偷拍视频| 婷婷色五月天色色| 亚洲成人网站在线观看| 丁香五月影院| 激情五月天小说视频| 国模淫穴色图| av狠狠操| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 99九九在线观看免费| 色情综合网| 婷婷五月天com| 巴基斯坦粉嫩无码视频| 九九性视频| 天天爽天天干| 九九这里只有精品| 超碰成人公开| 亚洲123区高清入口| 综合久久综合久久| 五月丁香六月婷婷综合伊人| 天天舔天天摸视频| 超碰91在线| 日本操天堂| 婷婷综合影院| 婷婷五月丁香基地在线视频官网| 丁香五月激情鲁| 99无码超碰| 欧美成人猛片AAAAAAA| 婷婷五月精品| 丁香五月成人| 激情 婷婷 插| 婷婷色五月激情| 婷婷狠狠综合网入口| 久久爱综合| 色婷婷88| 五月天激情网页| 天天射美女| 五月天婷婷色色| 久久艹 五月天| 91精品91久久久中77777久久玖玖九九 | 深爱开心五月天| 亚洲无码99| 久久婷婷成人综合色怡春院| www狠狠爱com| 婷婷五月天在线综合导航| 影音先锋 婷婷| 婷婷五月花| 免费色婷婷| 美女黄频aⅴ视频| 欧美亚洲婷婷五月| 欧美性丁香色色五月天干干| 影音先锋 萱萱| 久久久欧美精品sm网站| 只有久久精品免费| 五月婷婷激情| 99草在线免费观看视频| 密臀久久| 五月丁香成人网| 日韩99色99| 丁香五月色情| 伊人99久久| 超碰激情网| 丁香社区婷婷五月| 五月婷婷与六月丁香图片激情| 色99视频| 综合久久婷婷| 99热在线观看亚洲区| 激情av| 色婷婷9| 丁香五月婷中字幕| 一二线视频 另类| 极品色丁香| 99爱免费在线视频| 五月天成人综合| 婷婷五月天激情电影| 五月婷婷免费在线观看视频| 激情六月婷婷| 午夜爱插插| 99热a片免| 久cao香蕉影院| se色99| 丁香花色色网| 丁香五月综合无码趴趴| 色五月五月天色婷婷色五月| 欧美性爱丁香五月| 色婷婷综合网站| www色婷婷| 六月丁香天堂| 狠狠色婷婷7777久| 五月天激情电影| 亚洲五月天激情| 激情久久久久久| 婷婷丁香激情综合色情| 国产美女无遮挡裸体毛片A片 | 播五月丁香三月婷婷| 99啪啪骑| 99青青草| 色五月播五月| 嫩草国产| 五月丁香激情六月| 99热最新网址| 综合久久影院| 五月婷婷综合在线视频小说| 青草视频在线观看视频| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 中文字幕按摩做爰| xx色综合| 久久精品国产精品| 在线va网站| 九色婷婷| www.色窝| W色综合| 韩国婷婷丁香五月| 国产亚洲99久久精品| 婷婷欧美激情综合| 99热国产| 91九色网| 日韩一级片| 一夜福利不卡| 五月激情六月宗合| 超碰av天堂| 991国产精选视频在线播放下载| 在线观看日韩12345区| 性小说五月天| 97av在线视频| 天天爱天天做天天舔| 人人澡玖玖一| 超碰爱爱爱| 99亚州综合精品成人网| 五月天婷婷偷拍| 26UUU在线观看| 精品一区二区三区免费毛片爱| 婷婷亚洲天堂| 五月天色色网站| 另类A片| 成片免费播放| 五月婷中文字幕| 日韩操逼大片| 啪啪婷婷五月天激情| 五月天成人免费视频| 九九热99免费视频| 91激情五月开心| 九色地址91视频| 日本五月天婷婷丁香| 六月婷婷色色色| 婷婷五月色激情欧美激情| 色五月天丁香婷婷| 来吧亚洲综合网| 五月综合777| 丰满少妇乱A片无码| 天天檫天天爽| 超级黄色片| 天天肏视频| 五月天婷婷色紫薇阁| 97综合在线| 婷婷五月天免费视频在线观看| 色婷婷狠狠禁久久| 日日撸日日操| 色色五月天网站| 午夜成人综合| 综合亚洲六月婷婷在线| 被强行糟蹋的女人A片| 色婷婷色五月综合| 9 1在线视频| 婷婷五月丁香基地| 影音先锋 91工厂| 色欲色香,www,com| 深爱网深爱综合网| 激情性爱五月天网页| 婷婷五月综合激情免费| 五月丁香大相交| 97干在线视频| 夜夜骑天天玩天天日| 丁香婷婷色色| 这里只有精品视频| 国产色色色色| 日韩成人av在线| Blackedraw视频一区二区| 激情五月天综合| 综合色播| 婷婷中文字幕欧美| 五月天社区婷婷丁香社区| 婷婷99狠狠躁天天躁| 操B视频在线播放| 婷婷大乡焦噜噜| 五月天堂婷婷| 伊人五月婷婷| 亚洲色就是色色色| 久久超级碰碰| 欧美视频在线观看噜噜| 久9热视频| 色欲一区二区三区精品A片| 天天骑天天操| 婷婷丁香色五月天久久88| 超碰色人妾| 婷婷俺去也| 色播激情五月天| 天天狠天天狠| 久久九九re热| A在线观看| 1000部毛片A片免费观看| 日韩啊啊啊| 亚洲 精品 综合 精品| 人人看人人97| 婷婷五月天小说| 日本爆乳片手机在线播放| 天天色天天爱天天舔| 九九99香蕉在线视频播放| 欧美性生交XXXXX无码小说| 五月激情综合网| 五月丁香天堂网婷婷| 婷婷久久99| 蒲京久久无码视频| 91久热| 十月丁香九月婷婷综合| 精品色情一区二区三区四区| 国产性爱一级| www.金莲av| 五月丁香六月婷婷网| 国内外色色色色色成人视频| 先锋资源996| 九月丁香亭亭| 91天堂网综合| 一本婷婷丁香久久| 99精品热| 五月婷在线播放| 再次出发二| 91九色在线视频| 99热99草97| 五月天精品视频| 欧洲免费视频色| 99久久9| 大香蕉太香蕉视频97| 91欧美| 日本熟女二区| 狠狠狠狠狠狠狠狠狠狠狠色宗合图片| WWW.久久久久久久| 亚州色色色| 色播播之激情五月婷婷| 激情九月婷婷| 屁股翘好撅高迎合跪趴| 日本美女五月天| 色婷婷激情五月天在线观看| 激情综合网五月天天| 久久伊人大香蕉| 丁香婷婷婷五月综合色情| 五月天天丁香婷婷| 亚州美女| 色婷久九| 久久婷婷丁香五月一二三| 九九热视频99| 天天舔天天| 婷婷五月天激情网站| 久久五月天激情婷婷| 欧美日韩成人在线网站| 99re热精品视频国| 秋霞AV吧| 天天透天天爱| 久久性视频| 色999五月色| 色婷婷丁香五月在线| 91麻豆国产三级精品福利在线观看 | 青吴乐视频| 一丁香五月天月AV| 99热婷婷| 日本一级淫| 婷婷丁香成人五月天| 熟女91九色| 激情婷婷五月| 精品皮股午夜AV| 亚洲成人AV在线| 综合久| 婷婷五月天国产手机在线视频观看| 影音先锋男士资源网一区| 天天操天天插| 五月丁香综合啪啪啪啪啪| AV中文网| 婷婷刺激综合| 狠狠香婷婷五月| 色婷婷色综合久久精品V| 99精品视频免费观看| 日本三级黄色大片| 欧美怡红院黄站| 激情文学五月丁香六月婷婷| 六月丁香啪啪| 色综合99无码| 玖玖爱资源站| 丁香五月狠狠综合欧美| 色色丁香五月天社区| 97色婷婷| 亚洲五月天婷婷综合| 做爰丰满少妇1313| 婷婷午夜天| 五月天社区| 艹B高清无码| 婷婷五月天视频免费在线观看| 任你艹| 亚洲精品又粗又大又爽A片| 在线观看中文字幕| 人人色人人摸人人看| 果冻传媒A片一二三区| 五月丁香六月成人| 久久婷婷欧美| 亚洲性视频| 丰满少妇猛烈A片免费看观看| 丁香六月成人| 久久永久网址| AV六月丁香| 久久丁香| 97婷婷五月天| site:xiongshengzz.com| 久久性都花花世界成人免费视频| 超碰成人电影| 天天色官网| 五月婷婷三级| 婷婷亚洲在线| 五月香婷婷| 婷激情五月天视频导航| 狠狠狠狠青草| 色综合天天| 婷婷五月天开心激情网| 操笔无码| 亚洲成人网站在线| 丰满少妇乱A片无码| 91色在线 | 日韩| 色婷婷欧美在线| 激情 婷婷| av国产精品| 婷婷五月综合网| 婷婷丁香六月影视| 色吊丝永久访问网址| 中文字幕精品无码一区二区| 亚洲最大在线| 99热日韩| 色五月xxx| 久久中国毛毛片爱久久| 99婷婷| 欧美激情综合色综合啪啪五月| www婷婷亚洲| 色婷婷综合成人| 91夫妻视频| 六月激情婷婷| 色婷婷丁香五月在线观看| 丁香五月综合色婷婷| 五月天婷综合| 综合久久婷婷99| 丁香五月婷婷色| 天天爽免费视频| www久久五月com| 婷婷va| 变态 另类 在线| 成人一级片| 丁香婷婷色情社区成人小说| 无码网| 超碰成人av| 草草色情综合网| 丁香五月婷久久| 99免费在线| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 天天干天天干天天干天天干天天干| 色狠久| 五月婷婷六月丁香激情综合网| 日本婷婷在线| 四季日韩AV无码综合| 婷婷啪啪| 综合婷婷久久| 九九这里有精品| 五月婷婷综合色啪首页| 五月天激情综合在线| 久热久操久热久草国产91| 中文字幕网伦射乱中文| 六月 丁香 视频| 色五月天成人| 蜜臀嫩草| 天天爱天天做综合| 久久婷婷五月丁香网| 人人草碰| 五月久久综合| 天天日天天插| 九九亚洲视频| 丁香 久久| 激情婷婷五月天日本系列| 亚洲夜五月| 在线看片av| 人人综合91网| 99re资源在线视频导航| 亚洲视频在线观看| 91丨九色丨国产打屁股| 激情色播| 色婷婷五月色| 96丁香六月婷婷蜜桃综合久久| 五月天玖玖狠狠色色| 婷婷五月蜜桃成人桃色丁香| 色情五月综合婷婷| 色婷婷偷拍| AV在线不卡网站| 538在线精品| 日日爽日日| 九九这里是免费的视频5| 色五月激情婷婷| 天天爱天天做天天爽| 涩综合在线| 人妻人人操| 五月天婷婷色| 婷婷五月色播| 热九九精品| 日韩在线观看亚洲| 另类视频五月天| 五月婷婷丁香综合网| 亚洲 精品 综合 精品| 狠狠爱综合网| 五月丁香六月婷| 久久精品63| 无码动漫av| 激情五月婷婷她| 婷婷酒色网| 综合色五月亭亭| 成人无码髙潮喷水A片| 亚洲天堂色色| 91婷婷色五月| 久青操| 99精品无码| 欧美国产一区二区三区| 激情五月综合网最新 | 狠狠搞五月天| 99热精品在线播放| 欧美日朝成人| 久热婷婷| 久久草大香蕉| 蜜臀AV在线成人| 亚洲欧美综合7777色婷婷| 亚洲成人av在线| 开心五月婷婷婷美女| 99热销国产这里有精品| 操碰久| 啪啪操操| 九九色色色| 国产精品视频网| 伊人久久大香| 99re青青草| 久久网婷婷| 婷婷性爱综合| 高清国产一级婬片a免费| 免费操超碰| 日本99婷婷| 丁香伊人五月色婷婷五十路| 日日噜噜久久婷婷五月天| 黄色AAAAAAA| YW无码| 九九色情网五月天| 色婷婷五月成人网| 丁香六月色| 新激情综合| 激情综合在线播放| 色综合九九色综合88| 亚洲AV日韩无码| 91在线日| 激情视频婷婷五月花| 九九国产精视频| 五月色婷婷在线观看| 九九sese| 日本成人噜噜噜噜噜| 狠狠色狠狠色综合日日91| 久久婷婷五月丁香| 99爱在线视频观看| 五月丁香六月婷婷欧美综合| 亚洲激情婷婷| www.狠狠| 伊人久久婷| 日本久久综合| 久久久久久久人妻| 国产精产国品一二三在观看 | 中文字幕在线人妻| 操人精品| 97干婷婷| 玖玖在线视频| 精品国产va久久久久久久| 五月天色婷婷小说| 99日这里只有精品| 丁香五月六月综合激情| 久9热视频| 色综合婷婷| 婷婷丁香色五月| 国产成人网站在线观看| 亚洲精品又粗又大又爽A片| 99久久喉9| 丁香花五月天婷婷成人社区| 五月天婷婷影院| 国产又爽又猛又粗的视频A片| 伊人网色婷婷五月天| www.久操| 狼人婷婷综合| 激情网第九色| 日批在线看| 日韩欧美一级大黄网站| 九九热最新| 激情视频网址| 成人做爰A片免费看视频| 九色99视频| 一婬一伦一区二区三区| 97碰| 色必久悠悠影院| 久久婷婷亚洲五月天| 激情五月婷婷综合色播小说| 99热97| www狠狠| 婷婷五月影院| 亚洲av另类在线观看| 色涩影院六月丁香| 国产99久久久| 丁香六月色情| 九九99精品视频在线观看| 玖玖99免费视频| 久9视频| 婷婷五月,综合伊人| 久久精品日| 9191avse| 色五月aV| 激情丁香五月天图片| 色综合久久88色综合天天99| 99热这里| www。五月,com| 玖玖婷婷视频| 五月天日日操夜夜操 | 久久影视婷婷五月| 婷婷五月天中文字幕.| 激情五月天小说视频| 色婷久久| 日本久久天堂| 91久久18| 99久久九九| AⅤ色区| 99热这里只有精品在线观看| 99性视频| 超碰99热精品在线| 99热国产精品| 五月丁香在线偷拍视频| 丁香五月影院| 日日操天天操| 丁香五月婷婷婷桃花影院| 久久激情视频| 色五月色五天色情网| 91久久九久久九久久九久久九久久| 久久五月视频| 丁香五月天社区婷婷| 成人在线视频网| 色婷婷色情| 天天爽天天爽| 国产伦亲子伦亲子视频观看| 一级七香蕉| 六月99天天婷婷激情综合| 五月丁香色婷婷综合| 超碰免费99| 欧洲MV日韩MV国产| 婷婷五月电影| 午夜精品777| 婷婷色五月开心五月| 高清无码网址| 91 原创 在线 九色| 成人羞羞啪啪 全 视频| 久久a热| 婷婷五月天丁香花| 青青999| 五月丁香在线视频观看| 婷婷五月天开心网| 午夜婷婷| 色哟哟性爱av| 亚洲婷婷五月天综合| 欧美中文五月天| 久久精品99| 久久码久久无清| 激情五月伊人婷婷| site:esunnet.com| 噜噜吧天天爱| 黄桃AV无码免费一区二区三区| 丁香九月激情久久| 激情五月综合免费| 狠狠综合网| 欧美成人AAA片一区国产精品| 亚洲AV第二区国产精品| 天天日人人爽| 另类图片天天影视在线观看| 9色婷婷| 9久久精品| 丁香婷婷婷五月| 精品婷婷| 五月激情射| 99综合99| 日本九九九九| 1024你懂的欧美曰韩| 操笔无码| 99热热这里只精品996小说| 无码91中文字幕| 婷婷视频网| 婷婷激情社区| 国产成人片| 中文精品在| 天天射色五月天| 这里只有精品视频| 国产成人av在线播放| 激情六月婷| 亚洲婷婷五月天| 中文网婷婷字幕婷| 天天综合亚洲综合| 九九这里都是精品| 激情久久婷婷| 另类小说五月天综合网| 五月天色色网站| 久久婷婷五| 五月丁香婷婷婷婷综合网| 久9热| 国产第99页| 五月激情综合激情五月| 大香蕉综合在线| 五月婷中文娱乐综合| 五月天欧美 另类小说| 色五月成人| 美腿丝袜AV天堂网| 五月婷婷乱| 99操碰| 亚洲六月色婷婷| 深情五月天| 亚洲精品又粗又大又爽A片 | 五月丁香六月激情综合网| 天天爽天天| 亚洲中文AV| 五月色情婷婷开心五月天| 久久五月丁香婷婷| 2015WWW永久免费观看播放| 米奇影视五月天| 99这里有精品视频| 久久久精品视频79| 伊人五月婷婷| 伊人玖玖综合| 五月婷婷自拍| 激情五月婷婷| 五月伊人综合| 国产99热| 色播播婷婷| 五月婷婷激情久久| 婷婷激情久久| 五月激情久久综合| 国产成人+综合亚洲+天堂| 五月天开心色情网| 五月婷婷色播| 丁香五月天堂亚洲社区| 婷婷色五月色妇| 99精品网| 欧美成人Va| 婷婷色在线| 婷婷射综合| 日本五月天网站| 热婷婷av| www色中色综合| 欧洲电影在线观看免费版英语版 | 久久色五月天综合网| 亚洲妇女熟BBW| 色五月xxx| 99热这里全是精品| 九九色99| 久9久9久9久9久9久9| 日本97在线| 日本成人噜噜噜| YW无码| 99er6热在线观看精品6| 九九色网专区| 天天久久综合| 黄桃AV无码免费一区二区三区| 安息电影在线观看完整版| 色婷婷五月天在线观看| 久久综合99| 五月停亭六月,六月停亭的英语| 91婷婷伊人牛牛| 殴美综合激情五月天免费视频| 97操| 五月天开心婷婷激情网站 | 综合色情网| 99九九99九九九视频精彩| 996精品热视频| 色色a| 久久婷婷大香蕉| 五月丁香操亭亭网| 4399精品一区二区| 五月婷婷激情久久| 久久五月婷综合| 久久丁香五月婷婷| 婷婷操无码| 日本va视频| 色色婷婷综合| 五月婷婷开心六月激情小说| tingtingcaobi| 五月天电影网| 九九热狼人| 婷婷五月天激情五月天| 久久人人添人人爽添人人片αV | 久久99网| 丁香九月激情久久| 六月丁丁香| 丁香花操逼| 五月天狠狠| 色99免费视频中文| 欧美激情综合色综合啪啪五月| 婷婷丁香社区| 在线观看婷婷5月| 操逼三区| 亚洲最大在线| 五月婷婷啪| 丁香午夜天| 欧美成性色| 亚洲爆乳无码精品AAA片蜜桃| 欧美色骚婷婷五月天| 少妇AB又爽又紧无码网站| 青青草护士中出内射-欧美电影在线天堂新版| 狠狠狠狠狠狠| 思思色综合网站| 五月天丁香婷婷网| 色婷五月| 国产高潮白浆一区二区| 永久精品| 九九热re99re6在线精品| 大香蕉精品视频| 97色碰| 五月婷婷性爱| 五月天婷婷激情干干| 国产视频色色色色色色色| 狠狠色 综合色区| a毛片二逼wwwwwwwwww| 色婷婷五月在线| 久久超级碰视频| 日本三级中文字幕| 99热在线精品观看| Www.久久| www.狠狠操.con| 在线视频区| 色婷婷五月天综合网| 婷婷狠狠爱| 五月在线| 国产综合视频婷婷| 五月婷婷大香蕉| 精品久久人妻热| 国产精品色情AAAAA片软件| 久8色色| 97日日碰碰| 色婷婷六月天| 成人五月天综合网| 国产看真人毛片爱做A片| 婷婷五月噜噜| 日本 色综合| 伊人婷婷大香蕉| 欧美va亚洲va| www.97视频| 淑女丝袜bi操逼123| 久9无码视频| 欧洲亚洲精品| 就爱操www com| 91伦| 久久性操| 这里只精品| 日韩熟女啪啪视频| 一级二级色大片| 性爱AV天堂| 丰满少妇乱A片无码| 99久久九九| 91久久综合| 天天综合精品| 台湾佬天天日丁香婷婷五月天| 99在线小视频| 人人操日| 五月综合激情图片| 日韩AV在线免费| 色哟哟www| 欧美狠狠草| 99热传媒| 久99热在线观看| 色综合色婷婷色伊人| 天堂在线伊久| 久久九九@| 综合婷婷六月| 亚洲区在线| 婷色五月天| 第四色色六月色综合| aaa久久久| 人人色婷婷| 大香蕉久| 成人草榴视频| enecarbon-materials.com污K127封锁请涟系@wip1688 | 国产激情久久久| www.五月天社区| 色V狠狠的干| 免费观看全黄做爰的视频| 五月天最新网| 天天色播| 91re色综合视频| 五夜丁香| 亚洲操B视频| 五月天婷婷综合网| 色婷婷视频综合| 日韩色五月| 亚洲精品白浆高清久久久久久| 99视频精品在线| 99免费成人网| 婷婷久久欧美| a网站免费观看| 五月丁香激情深爱婷婷| 婷婷激情在线| 777米奇影视第四色| 五月天国产| 五月天婷婷三级黄| 六月丁香啪| 亚洲色热| 色综合色综合色综合| 成人视频一区| 亚洲激情四射色| A片一曲| 夜夜骑日日夜夜| 婷婷五月天丁香社区| 国产乱子轮XXX农村| 天天插天天日| 欧洲亚洲免费视频区| 色月丁| 成人精品一区日本无码网| 丁香五月在线观看| 亚洲性爱干干| 久久婷婷夜| 成人做爰A片免费看视频| 五月婷婷视频| 欧美色色色色色色色色色色影视| 婷婷激情五月视频| 日日干夜夜干| 欧美影院| ss99热| 美女激情综合| 丁香激情综合| 99热在线只有精品| 色婷婷婷av| 秋霞网在线免费基地五月婷婷丁香| 激情五月婷婷丁香| 五月丁香中文| 青青草a在线| 日亚二欧美| 超碰在线网站9| 婷婷六月色开| 国产精品五月天婷婷| 五月婷婷深深的爱| 九九超日本| 四虎国产精品永久在线国在线| 久久精品夜色噜噜亚洲a∨| 怡红院院久久| 久久99精品九九久久久婷婷| 99只有精品9| 婷婷丁香五月天激情| 亚洲这里只有精品| 五月综亚洲| 综合色播| 综合超碰熟| 中文中文在线| 五月婷中文字幕| 99er6热在线观看精品6| se99高清无码| 久碰综合| 欧美精品在线观看| 九热视频| 五月丁香综合在线| 夜夜噜夜夜奇| AV电影在线播放| 黄页免费一级视频懂色| 午夜精品久久久久久久爽| 色吧五月| 九九视频在线| 中文字幕色色色| 五月天激情小说婷婷| 玖玖婷婷色五月| 超碰色碰碰| av九九| 色婷婷亚洲| 99色精品| 森林影视大全,最好看的2019年视频| 99ri国产| 五月丁香综合网| 人妻丰满精品一区二区A片| 久久xxxx| 五月丁香激情综合久久| 伍月婷婷六月丁香| 99热99思午夜精品| 亚洲第一成人无码A片| 国产色香蕉精品五夜婷| 欧美色图片88| 天天日天天舔| 丁香五月香蕉| 激情五月天com| 色婷婷五月亚洲| 色日本丁香婷婷| 五月丁香综合激情| 99热精品10| 激情五月天色色色| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 久久9久| 免费做A爰片77777| 五月天婷婷激情小说电影| 香蕉人在线香蕉人在线 | www夜夜操wwwcon| 少妇丁香婷婷 | 欧美性猛交XXXX乱大交极品| 91九色在线| 97碰在线| 九九综合| 丁香六月久| WWW.开心五月天.COM| 狠狠狠婷婷五月综合| 97资源碰碰| 久久九九中文字幕| 伊人久热91| 91VIP在线观看| 激情5月婷婷| EEUSS鲁片一区二区三区| 久久综合激情| 99啪啪| 六月丁香av| 激情网五月天| 五月婷婷激情视频| 中文网av| 婷婷五月天手机版视频| 欧美日韩AAAAA| 久久之人妻| 五月丁香婷婷啪啪| 综合激情在线视频| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 五月色情网| 九九热再线九九视频免费在线观看| 天天插天天玩天天干| 国産精品| 欧美啪啪9| 亚洲激情五月| 97丁香视频| 九九伦子片| 99碰碰碰| 久热A片| 亚洲春色奇米影视| 三人荫蒂添的好舒服A片| AV九九| 丁香五月综合| 99ri视频| 激情五月婷婷视频一区二区三区| 大香蕉啪啪网| 九九热99热| 亚洲色久| 日韩一级片| 97视频久久| 九色91国产| 五月天激情久久| 五月婷婷草| 婷婷的色色五月天| 另类激情综合| 亚洲色婷婷五月天| 亚洲另类日本| 五月天婷婷无码| 综合图片色色| 99热国产免费| 欧美性爱五月天| 亚洲熟妇无码乱子AV电影| 97色色色| 色五月婷婷在线| 狠狠操天天干| 婷婷五月花| 亚洲精品婷婷| 色婷婷亚洲婷婷| 天天草天天爽| 色婷婷小说网| 五月天婷婷丁香花| 天天插天天很| 五月丁香av在线| 国产五月婷| 天天干天天日日| 伊人五月人妻精品| 米奇影视资源婷婷狠狠色激情欧美五月丁香 | jiujiujiuwuyuetian| 一区二区乱码视频| 日韩在线视频网站| 久久久99久久| 激情五月天色色| 五月色网| 99色6爱9热| 色色色视频免费无码 | 97人人超| 桃色五月天| 国产亚洲成AV人片在线观黄桃| 日本人妻伦在线中文字幕| 国产精品第一国产精品| 丁香六月丁香婷婷激情 | 成人综合AV| www.久久久.com| 99热在线精品播放| 婷婷六月丁香激情| 色99亚洲| 秋霞电影理论| 99思思热只有在这里看| 亚洲99热| 99热这里都是精品| 色色激情网| 九九99免费视频| 99热这里| 青草视频在线播放| 婷婷五月丁香综合网| 99超级超级超级碰| 丁香五月婷婷天堂大香蕉| www.henhenl| 婷婷五月色播网| 婷婷色婷婷亚洲成人| 婷婷五月天影视网址| 色五月开心开心五月激情五月| 色婷婷在线视频综合| 久久偷拍综合五月天| www.色五月| 色丁香五月天| 五月天婷婷小说| 成人无码精品1区2区3区免费看| 97色五月丁香婷婷| 91色干| 一级性感黄色内射视频| 99激情网| 五月永久激情| 成年人看Va免费视频| 99色色视频| www.丁香五月| 极品少妇高潮啪啪AV无码| Www.sesese丁香| 国洲夜色亚热在线久久| www,色婷婷| 只有精品在线观看| 日韩激情人伦人| 日日.c| 玖玖爱伊人| 色五月激情五月开心五月| 亚洲视频一区| 婷婷伊人綜合| 丁香六月色婷婷| 久久精品性爱视频,| 日日夜夜噜噜爽爽| 五月六月婷| 色五月六月| 国产精产国品一二三在观看| 刘玥精品一区| 91人人超碰在线| 人妻性爱av网站| 色综合日日| 思思99热| 九九色综合九九色| 国产麻豆视频| 香蕉97碰碰碰超视精品| 国产成人网址| 思思99re这里只有| 99精品小视频| 97碰| 五月婷婷影院| 久99视频| 亚洲AV久久久久久久久久久久久久久久 | 99视频网| 99热大香蕉| 荫道BBWBBB高潮潮喷| 99久久終合| 在线中文字幕视频| 激情网第四色| 亚洲精品激情| 91精品久久久久久久| 无码少妇高潮喷水A片免费| 97婷婷久久丁香| 国产67194| www.婷婷,com| 久久9热| 99精品在线观看| 五月丁香久久婷| 99黄色性生活| 日本波多野结衣视频| 大香蕉婷婷久久| 狠狠狠狠免费| 色五月综合在线| 天天操天天操天天操天天操天天操 | 欧美三级巜人妻互换| 五月婷免费视频| 激情综合网,婷婷五月天| www.激情五月天| 日韩AV片| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 青青草日本亚洲| 热久精品| 色色热| 黄色91在线观看| 久久婷婷激情五月天一区二区| 丁香五月激情综合啪啪| 六月色色| 久99久视频精品| 99色干| 色婷婷在线视频综合| 夜夜躁婷婷AV| 日韩一本操| 久久婷婷五月综合激情国产| 欧日美女Va| 婷婷五月天成人小说| 性色五月天| 亚洲色图啪啪| 五月天国产成人| 亚洲激情五月| 久久婷婷五月天| 激情综合在线播放| 色五月丁香一区在线| 99精品在线| 国产亚洲精品AAAAAAA片 | 色欲色欲久久宗合网| 伊人久久大香网| 久久婷婷婷婷伊人| 色五月天丁香| 久99久视频精品| 九九香蕉网| WWW五月| 99热这里只有精品55| 五月丁香久久婷| 美女五月天婷婷| www.开心激情| 婷婷五月天电影网| 成人 九九九九| 密臀久久| 超碰三级片| 日韩久久系列| 狠狠色婷婷| 五月丁花六月丁香综合| 久久曰曰| 色爽九九| 丁香五月天啪啪激情综合网| 色五月激情网| 好大好粗嗯啊-一级黄色大片免费观看-成人AV | 国产va视频| 大香蕉九九| 爆乳熟女一区二区三区爆乳| 欧美噜一噜| 激情五月天色婷婷| 99久久久| 日本色色影院| 激情婷婷亚洲五月| 九九久久99精品免费观看www| 99热在线中出| 六月色日韩| 久久婷婷亚洲| 国产精产国品一二三在观看| 国产精品日日躁夜夜躁| 五月综合影院| 婷婷成人视频| 偷偷操99| 人人人人人人人草| 热99这就是精品视频| 丁香六月婷婷开心婷婷网| 丁香五月天婷婷久久综合| 色一情一乱一乱一区91Av| av在线不卡播放| 婷婷五月天日日日干干干| 色综合色色| 碰人人97| 国产丁香五月天婷婷| 日本系列_4页_777FP|