欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

ZCU104上使用Vitis-AI部署YOLOv5:從模型量化到DPU運(yùn)行全流程

ZCU104上使用Vitis-AI部署YOLOv5:從模型量化到DPU運(yùn)行全流程 做FPGA端的深度學(xué)習(xí)部署Vitis-AI基本是繞不開的一條技術(shù)路線。這篇文章把我最近在ZCU104上跑通YOLOv5的完整過程記錄下來從Pytorch訓(xùn)練好的模型權(quán)重開始到量化校準(zhǔn)再到編譯成DPU可執(zhí)行的xmodel每一步都展開講清楚。代碼我已經(jīng)整理開源想直接照著做的朋友可以到我的GitHub倉庫里找倉庫里的腳本和文章里用到的完全一致。內(nèi)容適合剛接觸Vitis-AI、準(zhǔn)備把目標(biāo)檢測模型部署到Zynq UltraScale平臺(tái)的開發(fā)者參考也適合已經(jīng)在Xilinx生態(tài)里摸爬滾打、想快速評(píng)估YOLOv5在DPU上效果的同行。這個(gè)系列我打算寫三篇第一篇就是現(xiàn)在這篇重點(diǎn)解決模型怎么從Pytorch變成DPU能跑的xmodel這一核心問題。很多朋友卡在這個(gè)環(huán)節(jié)要么是Docker環(huán)境起不來要么是量化時(shí)算子不兼容報(bào)錯(cuò)要么是編譯完發(fā)現(xiàn)精度掉得沒法看。這些坑我基本都踩了一遍文章里會(huì)逐個(gè)說明原因和解決辦法。1. 整體方案設(shè)計(jì)與選型思路1.1 為什么選ZCU104 Vitis-AI而不是 Jetson 或嵌入式NPU做邊緣端目標(biāo)檢測硬件方案其實(shí)很多。NVIDIA Jetson系列生態(tài)成熟跑YOLOv5幾乎零門檻TensorRT加速效果也出色但功耗和整板成本都比較高而且在嚴(yán)苛的工業(yè)環(huán)境下散熱和可靠性不一定滿足要求。嵌入式NPU比如瑞芯微RK3588、算能BM1684性價(jià)比很高但模型適配受限于各類工具鏈想做自定義圖像采集、協(xié)議解析、電機(jī)控制這類邏輯時(shí)NPU的通用性就不夠。ZCU104的優(yōu)勢在于它是Zynq UltraScale MPSoCPS側(cè)有四個(gè)ARM A53核PL側(cè)有可編程邏輯DPU相當(dāng)于在PL里例化出來的專用CNN加速IP。這意味著卷積推理可以卸載到DPU上而圖像采集、幀處理、NMS后處理、外部接口通信這些完全可以在PS側(cè)自己控制。如果你需要的是一個(gè)既能跑AI、又能靈活控制外設(shè)的邊緣計(jì)算平臺(tái)ZCU104就是比Jetson更適合的選擇。Vitis-AI是AMD/Xilinx官方提供的AI推理加速工具鏈它解決的問題很直接你不用自己寫RTL去實(shí)現(xiàn)卷積也不用費(fèi)勁學(xué)HLS去折騰矩陣運(yùn)算只需要把訓(xùn)練好的模型丟給工具鏈量化、編譯之后就能在DPU上跑起來。整個(gè)流程從Pytorch模型到最終在板卡上運(yùn)行鏈路非常清晰而且官方鏡像把所有依賴都封裝好了很大程度上降低了FPGA開發(fā)的門檻。當(dāng)然它的學(xué)習(xí)曲線并沒有完全消失——量化原理、算子支持范圍、DPU架構(gòu)選擇這些知識(shí)如果不懂遇到問題還是會(huì)一頭霧水。1.2 端到端流程拆解訓(xùn)練、量化、編譯、部署整個(gè)技術(shù)路徑可以分成四個(gè)階段訓(xùn)練階段在Pytorch框架下完成YOLOv5模型的訓(xùn)練得到浮點(diǎn)權(quán)重文件這一步有官方Y(jié)OLOv5倉庫可以用也可以在自己數(shù)據(jù)集上微調(diào)。量化階段用Vitis-AI提供的vai_q_pytorch工具以少量真實(shí)圖片作為校準(zhǔn)集統(tǒng)計(jì)網(wǎng)絡(luò)各層激活值的動(dòng)態(tài)范圍把FP32參數(shù)映射到INT8。編譯階段用vai_c_xir工具把量化后的模型編譯成DPU指令流的xmodel文件這一階段會(huì)指定具體的DPU架構(gòu)例如ZCU104上的DPUCZDX8G。部署階段在ZCU104上運(yùn)行Vitis AI Runtime加載xmodel執(zhí)行推理PS側(cè)CPU負(fù)責(zé)圖像預(yù)處理和結(jié)果后處理。文章后面所有內(nèi)容都圍繞這條主線展開。我在實(shí)際開發(fā)中比較建議先跑通一個(gè)最簡單的分類模型再上YOLOv5這種結(jié)構(gòu)復(fù)雜的檢測模型這樣可以把工具鏈不熟和模型適配問題分開排查。當(dāng)然如果你已經(jīng)有一定基礎(chǔ)直接按本文流程操作也沒有問題。2. 環(huán)境準(zhǔn)備與必備概念2.1 主機(jī)端環(huán)境搭建Ubuntu Docker Vitis-AI鏡像Vitis-AI官方推薦在Docker容器里完成量化和編譯原因很簡單不同版本的工具鏈依賴差異很大Docker鏡像把CUDA、Pytorch、nndct等一堆依賴固定好避免污染主機(jī)環(huán)境也方便版本切換。我自己的習(xí)慣是單獨(dú)劃分一個(gè)工作目錄把模型文件、數(shù)據(jù)集、輸出產(chǎn)物都掛載進(jìn)容器這樣即使容器重建也不會(huì)丟數(shù)據(jù)。主機(jī)環(huán)境建議Ubuntu 18.04或20.04先安裝Docker然后拉取官方鏡像。Vitis-AI 1.4是比較經(jīng)典的穩(wěn)定版本新項(xiàng)目也可以考慮2.5或3.0版本但不同版本的命令和算子支持會(huì)有差異本文以1.4版本為例說明# 拉取鏡像根據(jù)實(shí)際網(wǎng)絡(luò)環(huán)境選擇合適的源 docker pull xilinx/vitis-ai:1.4.130 # 啟動(dòng)容器掛載工作目錄 docker run -it \ -v /home/user/vitis_ai_workspace:/workspace \ xilinx/vitis-ai:1.4.130 \ bash進(jìn)入容器后激活Pytorch環(huán)境conda activate vitis-ai-pytorch這一步很關(guān)鍵Vitis-AI容器里同時(shí)內(nèi)置了TensorFlow2、TensorFlow1、Pytorch、Caffe等多個(gè)環(huán)境如果不激活pytorch環(huán)境就執(zhí)行vai_q_pytorch命令會(huì)直接提示找不到命令。我用的是1.4版本自帶的python3.7 pytorch 1.8組合實(shí)際測試下來和官方Y(jié)OLOv5 v5.0版本的代碼兼容性比較好。2.2 核心概念速通量化、編譯、DPU、xmodel在動(dòng)手之前一定要把幾個(gè)基本概念搞明白否則后面連錯(cuò)誤提示都看不懂。量化就是把浮點(diǎn)模型轉(zhuǎn)成定點(diǎn)模型。FP32精度下每個(gè)參數(shù)占4字節(jié)而DPU的DSP單元做INT8定點(diǎn)乘加運(yùn)算更高效FP32轉(zhuǎn)INT8之后模型體積縮小到原來的四分之一推理速度大幅提升。量化的數(shù)學(xué)本質(zhì)是找一個(gè)浮點(diǎn)實(shí)數(shù)r和整數(shù)q之間的映射關(guān)系q round(r / scale) zero_point其中scale和zero_point是根據(jù)每一層參數(shù)的取值范圍算出來的。Vitis-AI在量化時(shí)會(huì)在校準(zhǔn)階段統(tǒng)計(jì)激活值的分布從而確定合適的scale和zero_point。編譯不是普通程序員理解的源碼變機(jī)器碼在Vitis-AI里編譯是把已經(jīng)量化的模型進(jìn)一步轉(zhuǎn)換成DPU的指令流同時(shí)做算子融合和內(nèi)存調(diào)度優(yōu)化。DPU認(rèn)識(shí)的不是PyTorch的算子圖而是一套專用的AI指令最終產(chǎn)物是xmodel文件。DPU是Xilinx提供的可配置CNN加速IP核在ZCU104上用的典型配置是DPUCZDX8G。你可以在Vivado里例化DPU核設(shè)置不同的架構(gòu)參數(shù)比如能放幾個(gè)卷積核、支持多大的輸入圖像然后綜合出FPGA比特流。軟件側(cè)的模型編譯必須和硬件側(cè)的DPU架構(gòu)匹配否則編譯出來的xmodel在板子上根本加載不了。2.3 YOLOv5模型準(zhǔn)備與針對(duì)性預(yù)處理YOLOv5本身是Pytorch框架下非常成熟的目標(biāo)檢測工程模型主體由CSPDarknet骨干網(wǎng)絡(luò)、PANet特征融合層和YOLO檢測頭組成。準(zhǔn)備模型時(shí)我建議直接用官方v5.0分支訓(xùn)練自己的權(quán)重或者先用官方預(yù)訓(xùn)練權(quán)重yolov5s.pt走通整個(gè)流程后續(xù)再換自定義數(shù)據(jù)。量化編譯階段用到的模型文件是PyTorch的.pt/.pth權(quán)重不是ONNX這一點(diǎn)要特別注意。有一個(gè)針對(duì)Vitis-AI的關(guān)鍵修改必須在量化前完成YOLOv5默認(rèn)使用SiLU激活函數(shù)也就是Swish但DPUCZDX8G對(duì)SiLU的支持很有限量化和編譯時(shí)大概率會(huì)報(bào)Unsupported Op錯(cuò)誤。我的處理方式是把模型結(jié)構(gòu)中的SiLU全部替換成ReLU雖然理論上會(huì)讓模型表達(dá)能力略降一些但實(shí)際測試下來精度損失很小而且能順利在DPU上部署。如果你是自己訓(xùn)練模型建議在訓(xùn)練階段就直接把激活函數(shù)換掉比如在模型定義里把SiLU改成ReLU再訓(xùn)練這樣從源頭避免麻煩。輸入圖像的預(yù)處理也必須和訓(xùn)練時(shí)保持一致。YOLOv5在預(yù)處理時(shí)會(huì)對(duì)圖像做letterbox等比縮放后填充灰邊然后歸一化到0到1之間量化校準(zhǔn)階段給模型喂的數(shù)據(jù)必須完全按這個(gè)流程來否則量化統(tǒng)計(jì)出的激活值范圍是不準(zhǔn)確的最終部署精度會(huì)受到牽連。3. 量化流程詳解從FP32到INT83.1 為什么必須做量化以及它帶來的收益ZCU104上的DPU本質(zhì)上就是一個(gè)定點(diǎn)運(yùn)算引擎INT8是它的核心工作精度。如果不做量化直接把FP32模型扔給工具鏈編譯編譯根本不會(huì)通過即便強(qiáng)行部署也會(huì)因?yàn)橛?jì)算資源開銷巨大而性能慘不忍睹。量化帶來的收益體現(xiàn)在三個(gè)層面一是模型體積壓縮一個(gè)70MB左右的FP32模型量化后約17.5MB對(duì)片上存儲(chǔ)有限的嵌入式設(shè)備來說這個(gè)差別很關(guān)鍵二是推理速度提升INT8的定點(diǎn)乘加在DSP上可以流水線執(zhí)行實(shí)測在ZCU104上YOLOv5s的推理延遲比FP32模擬運(yùn)行快好幾倍三是功耗降低FPGA上INT8運(yùn)算的單位能耗遠(yuǎn)低于浮點(diǎn)運(yùn)算。當(dāng)然量化不是免費(fèi)的它一定帶來精度損失。所以整個(gè)量化流程里最重要的事情就是控制精度損失這是Vitis-AI使用中最核心的經(jīng)驗(yàn)之一。量化誤差主要來源于參數(shù)和激活值在轉(zhuǎn)INT8時(shí)的舍入誤差以及極端分布數(shù)值被截?cái)?。Vitis-AI的解決方案是在校準(zhǔn)階段用真實(shí)數(shù)據(jù)來統(tǒng)計(jì)每一層的動(dòng)態(tài)范圍從而確定合適的量化參數(shù)讓舍入誤差盡量小。3.2 校準(zhǔn)數(shù)據(jù)集的選取直接決定量化精度校準(zhǔn)集是量化時(shí)用來統(tǒng)計(jì)激活值分布的小批量真實(shí)圖片。很多人在這一步不重視隨手拿幾張圖就校準(zhǔn)了結(jié)果量化后模型幾乎不可用。根據(jù)我的測試和官方建議校準(zhǔn)集一般取200到500張左右比較合適圖片要覆蓋真實(shí)場景中的典型情況不同光照、不同目標(biāo)尺寸、不同背景復(fù)雜度的樣本都盡量包含。如果太少統(tǒng)計(jì)出的數(shù)值范圍有偏差如果太多校準(zhǔn)時(shí)間長而且收益會(huì)遞減。我自己在項(xiàng)目里通常先從驗(yàn)證集中隨機(jī)抽樣300張圖片再手動(dòng)檢查一遍圖片多樣性確保不會(huì)集中在某幾個(gè)場景。同時(shí)要注意校準(zhǔn)圖片的預(yù)處理必須和訓(xùn)練完全一致。比如YOLOv5訓(xùn)練時(shí)用了letterbox和歸一化那校準(zhǔn)階段也必須是同樣的操作不能讓模型看到與訓(xùn)練時(shí)差異很大的數(shù)據(jù)分布。校準(zhǔn)集的載體路徑我放在一個(gè)文本文件里每行一張圖片的路徑。后面量化命令會(huì)讀取這個(gè)文件。組batch時(shí)建議batch_size設(shè)為1避免多張圖統(tǒng)計(jì)時(shí)個(gè)別異常值對(duì)量化參數(shù)造成干擾。3.3 量化執(zhí)行使用vai_q_pytorch一行命令完成Vitis-AI針對(duì)Pytorch模型的量化工具是vai_q_pytorch它封裝了nndct的量化器。在激活好vitis-ai-pytorch環(huán)境后基本用法如下vai_q_pytorch quantize \ --model ./float/yolov5s.pth \ --input_size 1,3,640,640 \ --batch_size 1 \ --dataset ./data/calib_list.txt \ --data_preprocess ./data/calib_dataloader.py \ --save_dir ./quant_res拆開說幾個(gè)重要參數(shù)。--model指定的是浮點(diǎn)權(quán)重文件路徑--input_size是模型輸入尺寸YOLOv5默認(rèn)640x640按batch,channel,height,width的順序?qū)?-dataset是剛才說的校準(zhǔn)圖片路徑列表文件--data_preprocess是一個(gè)Python腳本路徑里面實(shí)現(xiàn)和訓(xùn)練階段一致的數(shù)據(jù)預(yù)處理邏輯--save_dir是輸出目錄量化產(chǎn)物會(huì)寫到這個(gè)目錄下。如果你希望更精細(xì)地控制量化過程也可以直接使用Vitis-AI提供的Pytorch API來做from pytorch_nndct.apis import torch_quantizer # 校準(zhǔn)階段 quantizer torch_quantizer(calib, float_model, input_tensor, device) quant_model quantizer.quant_model # 在若干batch數(shù)據(jù)上執(zhí)行forward讓工具統(tǒng)計(jì)各層激活范圍 run_calibration(quant_model) # 測試階段 quantizer torch_quantizer(test, float_model, input_tensor, device) quant_model quantizer.quant_model evaluate(quant_model) # 導(dǎo)出xmodel quantizer torch_quantizer(deploy, float_model, input_tensor, device) quant_model quantizer.quant_model quantizer.export_xmodel()API方式的好處是可以在量化前后分別加載模型做精度評(píng)估這在排查量化導(dǎo)致精度嚴(yán)重下降的問題時(shí)很有用。命令行方式則更適合標(biāo)準(zhǔn)化流程我個(gè)人的項(xiàng)目里兩種方式都保留排查問題用API方式正式流程用命令行方式。等命令跑完quant_res目錄下會(huì)生成quantized_model.xmodel等文件。這里要特別提醒有些版本的vai_q_pytorch在量化模式下不會(huì)生成xmodel需要在deploy模式下才能導(dǎo)出不過最新版命令行工具一般會(huì)自動(dòng)完成這一步。3.4 量化后模型精度評(píng)估如何科學(xué)地確認(rèn)精度損失量化完成不等于任務(wù)結(jié)束必須對(duì)量化后的模型做一輪精度評(píng)估和目標(biāo)檢測的mAP指標(biāo)一起對(duì)比。我的流程是在驗(yàn)證集上分別跑浮點(diǎn)模型和量化模型算出兩套mAP如果差值在可接受范圍內(nèi)比如mAP0.5下降不超過2%就繼續(xù)編譯部署如果精度掉得厲害就需要返工。不同任務(wù)對(duì)精度損失的容忍度不同目標(biāo)檢測一般比圖像分類更敏感。我自己的經(jīng)驗(yàn)是如果mAP0.5下降超過5%說明校準(zhǔn)集可能沒有覆蓋足夠多的場景或者模型里某些層對(duì)量化特別敏感。你可以使用Vitis-AI提供的量化分析工具或日志查看每一層的量化敏感度優(yōu)先保留對(duì)精度影響大的層為更高精度其他層用INT8。當(dāng)然更簡單的做法是先嘗試把校準(zhǔn)集從200張?jiān)黾拥?00張?jiān)僦匦铝炕槐楹芏鄷r(shí)候問題就解決了。4. 模型編譯與部署產(chǎn)物生成4.1 編譯命令詳解指定ZCU104架構(gòu)量化出來的模型還要通過編譯變成DPU實(shí)際執(zhí)行的文件。ZCU104開發(fā)板上我們需要指定DPUCZDX8G架構(gòu)。在Vitis-AI容器里編譯命令如下vai_c_xir \ --xmodel ./quant_res/quantized_model.xmodel \ --arch /opt/vitis_ai/compiler/arch/dpuv2/ZCU104/ZCU104.json \ --net_name yolov5s_zcu104 \ --output_dir ./compiled_model--xmodel指定量化模型的路徑--arch指定DPU架構(gòu)描述文件這個(gè)JSON文件告訴編譯器ZCU104上DPU支持哪些運(yùn)算、內(nèi)存帶寬、指令長度等參數(shù)。如果你用的是其他板卡比如ZCU102或KV260就要換對(duì)應(yīng)路徑下的JSON文件千萬不能混用。--net_name就是生成的xmodel網(wǎng)絡(luò)名稱--output_dir決定編譯產(chǎn)物保存路徑。編譯完成后目錄里會(huì)生成類似yolov5s_zcu104.xmodel的文件。這個(gè)文件就是最終要拷到ZCU104上加載的模型文件。編譯階段的核心工作是對(duì)計(jì)算圖做算子融合和內(nèi)存規(guī)劃比如把卷積后面的批歸一化和ReLU融合到卷積運(yùn)算內(nèi)部這在DPU上是硬件級(jí)別的優(yōu)化能顯著減少指令數(shù)和內(nèi)存訪問次數(shù)。4.2 DPU硬件配置與架構(gòu)匹配問題編譯時(shí)指定的架構(gòu)必須與ZCU104里實(shí)際例化的DPU核保持一致。如果你在Vivado里創(chuàng)建DPU核時(shí)選擇了DPUCZDX8G_ISA1_B4096那么arch路徑下對(duì)應(yīng)的JSON也要匹配這個(gè)指令集架構(gòu)ISA。如果軟件編譯的ISA和硬件DPU的ISA不匹配板卡運(yùn)行時(shí)加載xmodel會(huì)直接報(bào)錯(cuò)這在Vitis-AI里是非常典型的部署錯(cuò)誤。常見的ZCU104配置有B4096和B512等這些參數(shù)描述了DPU中并發(fā)計(jì)算單元的數(shù)量可以理解為DPU的算力檔位。B4096計(jì)算能力強(qiáng)占用FPGA資源多最高時(shí)鐘頻率可能上不去B512資源占用小頻率更穩(wěn)但算力相對(duì)低。對(duì)于YOLOv5s來說B4096是比較均衡的選擇INT8下的理論算力能跑到2TOPS左右實(shí)際幀率視輸入尺寸而定。DPU頻率的設(shè)置也影響性能。我在Vivado配置DPU核時(shí)選擇300MHz或者更高的頻率但如果PL側(cè)的時(shí)序收斂不好就降到270MHz否則系統(tǒng)跑起來可能有偶發(fā)錯(cuò)誤排查起來非常痛苦。Vivado綜合后會(huì)用報(bào)時(shí)序問題的路徑這時(shí)候通過降低DPU頻率來收時(shí)序是最快的方法。4.3 輸出產(chǎn)物說明xmodel、指示文件與部署準(zhǔn)備編譯輸出的xmodel文件是二進(jìn)制格式包含DPU指令流和模型權(quán)重?cái)?shù)據(jù)。除此之外編譯日志和元信息文件也值得關(guān)注。日志里的total instruction count和total memory footprint可以用來粗略估算推理延遲和資源占用。我在項(xiàng)目里會(huì)用一張表對(duì)比不同輸入尺寸下的編譯結(jié)果配置項(xiàng)建議值備注輸入尺寸640x640精度優(yōu)先速度會(huì)慢一些輸入尺寸320x320速度優(yōu)先精度會(huì)下降DPU架構(gòu)B4096平衡資源占用和算力編譯架構(gòu)文件ZCU104.json必須匹配硬件DPU配置量化方式INT8對(duì)稱默認(rèn)配置大多數(shù)場景足夠部署到ZCU104之前還需要把對(duì)應(yīng)版本的Vitis AI RuntimeVART放到板卡上。官方的Petalinux鏡像里已經(jīng)預(yù)編譯好了runtime也可以自己編譯。runtime版本必須和編譯時(shí)的Vitis-AI版本嚴(yán)格對(duì)齊否則會(huì)出現(xiàn)版本不匹配的報(bào)錯(cuò)。這一步比較容易忽略很多人在板子上跑不起來xmodel檢查后發(fā)現(xiàn)是runtime版本和主機(jī)編譯工具鏈版本對(duì)不上。5. 常見問題與排查技巧實(shí)錄5.1 算子不支持SiLU激活函數(shù)引發(fā)的不兼容這是我在量化時(shí)遇到的第一個(gè)報(bào)錯(cuò)Unsupported Ops: aten::silu。原因在前面說過ZCU104上的DPUCZDX8G指令集不直接支持SiLU激活。解決辦法是把YOLOv5模型里所有SiLU替換成ReLU。需要注意替換的位置不止一處YOLOv5的CSPDarknet骨干里有多處SiLU如果不小心漏掉一個(gè)量化還是會(huì)報(bào)錯(cuò)。建議在修改后用腳本掃描一遍模型定義確保沒有遺漏。5.2 量化后精度下降嚴(yán)重從校準(zhǔn)集和預(yù)處理兩個(gè)方向排查量化后mAP掉點(diǎn)通常有以下幾類原因校準(zhǔn)集規(guī)模太小校準(zhǔn)圖片預(yù)處理與訓(xùn)練不一致模型里有某些層對(duì)量化非常敏感輸入圖像尺寸和訓(xùn)練時(shí)不匹配。我的排查順序是先擴(kuò)充校準(zhǔn)集數(shù)量再檢查預(yù)處理代碼然后考慮對(duì)敏感層做更高精度的保護(hù)最后才考慮改模型結(jié)構(gòu)。大多數(shù)情況到第二步就能解決我遇到過一次因?yàn)閐ataloader里忘了做letterbox而是直接resize導(dǎo)致校準(zhǔn)數(shù)據(jù)分布偏移量化后精度慘不忍睹排查了半天才定位到預(yù)處理的問題。5.3 編譯錯(cuò)誤架構(gòu)文件版本與容器版本不匹配如果你在編譯時(shí)發(fā)現(xiàn)報(bào)錯(cuò)提示JSON架構(gòu)文件里沒有對(duì)應(yīng)算子定義通常是Vitis-AI容器版本和arch文件版本不匹配。解決方法是重新拉取和arch文件配套的容器版本或者直接在容器里使用默認(rèn)路徑下的arch文件而不是到處拷貝網(wǎng)上找來的JSON。這個(gè)坑在多人協(xié)作或者在網(wǎng)上搜索教程時(shí)很容易踩因?yàn)橥粋€(gè)ZCU104的JSON在不同版本里的字段有細(xì)微差異。5.4 部署時(shí)加載xmodel失敗版本對(duì)齊和ISA匹配是重點(diǎn)板卡端最常見的問題是加載xmodel失敗。首先是runtime版本必須和主機(jī)端Vitis-AI版本一致其次就是前面反復(fù)強(qiáng)調(diào)的DPU ISA匹配。如果平臺(tái)報(bào)錯(cuò)提示xmodel is not compatible with the DPU基本可以確定是編譯時(shí)的arch配置和板上DPU硬件配置不一致。另外檢查一下ZCU104鏡像里是否已經(jīng)正確加載了DPU驅(qū)動(dòng)裸機(jī)部署和Petalinux部署在這個(gè)環(huán)節(jié)略有不同。5.5 性能不達(dá)標(biāo)不只是DPU頻率的問題如果部署后幀率不理想不只是調(diào)高DPU頻率就能解決。模型輸入尺寸、DPU配置、PS側(cè)預(yù)處理代碼的寫法、是否合理使用多線程都會(huì)影響整體性能。我建議在硬件允許的前提下把YOLOv5的輸入從640x640降到416x416測試一下通常延遲能下降接近一半對(duì)很多檢測場景來說精度依然夠用。另外預(yù)處理如果全部放在PS側(cè)串行執(zhí)行會(huì)成為瓶頸建議使用NEON優(yōu)化或者直接改成多線程并行。排查以上問題時(shí)我習(xí)慣先把問題拆成主機(jī)端和板卡端兩段來定位。量化、編譯階段的報(bào)錯(cuò)留在Docker里反復(fù)驗(yàn)證部署階段的報(bào)錯(cuò)再到板子上調(diào)試不要混在一起排查否則思路很容易亂。再說一個(gè)非常容易踩的坑Vitis-AI官方文檔里推薦的Docker鏡像非常大如果網(wǎng)速不好拉取時(shí)間很長。我一般會(huì)在同一個(gè)鏡像基礎(chǔ)上維護(hù)一個(gè)自己的tag把數(shù)據(jù)集、腳本、編譯產(chǎn)物都放在掛載目錄里這樣每次啟動(dòng)容器不需要重新下載鏡像也不要頻繁提交新鏡像既省時(shí)間又避免容器膨脹。如果你按著這個(gè)流程走通了你會(huì)發(fā)現(xiàn)Vitis-AI本身并沒有想象中那么神秘核心就是量化、編譯、部署三步。真正花時(shí)間的地方全在細(xì)節(jié)上算子兼容性、校準(zhǔn)集質(zhì)量、預(yù)處理一致性、版本對(duì)齊。這一篇讓你在主機(jī)端得到了可部署的xmodel。下一步就是在ZCU104上加載它跑起推理了這部分涉及VART API的調(diào)用、YOLOv5檢測頭的輸出解析、NMS后處理的實(shí)現(xiàn)內(nèi)容比量化編譯還要細(xì)碎一些我放到系列第二篇里詳細(xì)講。我個(gè)人在實(shí)際項(xiàng)目里的體會(huì)是先把模型側(cè)這一關(guān)理順了runtime的工程量其實(shí)不大真正花時(shí)間的往往是在調(diào)試輸入圖像顯示不對(duì)、坐標(biāo)偏移這類不起眼的問題上。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久人妻伦理| 啪啪啪大香蕉| 538午夜激情| 99精品在线| 久久久久久欧美精品se一二三四| 91妻人人爽人人看片| 操操操操操电影网| 97超碰在线免费观看| 九九热av| 亚洲五月色| 久久久久激情网| 国产99久久久| 丁香六月婷婷姐网| anquye伊人| 激情综合另类| 五月丁香影院| 色色丁香婷婷| 久久少妇视频| 天天爱天天做天天爽| 婷婷伊人视婷婷婷| 国产做爰视频免费播放| 五月天成人综合| 婷婷色香六月综合激情| Www99热| 天天插综合网| 欧美乱码国产一级A片| 伍月婷丁香婷| 婷久久| 亚洲中文字幕在线观看| 午夜九九九九九九九九九九九九九| AV伊人青草丁香六月| 午夜亚洲AV日韩无码| 成人va视频| 久久综合网免费视频| 伊久大香蕉| 九九综合伊人| 色婷精品91| 六月婷婷国产| 我要色综合五月婷婷| 99热加勒比| 色五月亚洲| AV在线大香蕉| 91碰超| 99re思思在线视频| www.天天色综合| 中文av在线观看| 九九视频这里只有精品| 成人av中文字幕| 日日狠夜夜狠| 天天草天天日| 色色综合视频| 亚洲经典小视频| 五月综合色| 天天操五月天| 久久超级碰视频| 色婷婷8| www.婷婷五月| 深爱五月激情| 久久婷婷五月| 久久ab| 午夜婷婷久久| 啊v视频在线观看| 亚洲精品国产精品乱码视99| 色五月天在线| 国产精品婷婷午夜在线观看| 99热这里只有免费| 天天色五月| 97综合在线| 9l视频自拍九色9l视频在线观看| 玖玖在线视| 97久久五月丁香婷婷| 综久久久| 九九热10| 亚洲丁香婷婷五月天综合色| 中海油常州环保涂料有限公司| 色天堂在线| 最新久久99视频网站| 亚洲久久天堂| 色天堂操| 午夜色婷婷| 91ncm视频| 色九九丁香九月色九九色| 内射 无码 伊人| 久久五月天激情| 91无码一区人妻A片蜜| 另类小说五月天| 色婷婷色99国产综合精品| 婷婷五月丁香六月| 五月天综合视频| 久久女婷| 密着浓厚中出乚交尾GvG935| 婷婷自拍| jiujiu热在线视频| 99热99这里有免费的精品| 美女婷婷六月色| 欧美三级级99久久| 精品激情| 日日夜夜噜噜爽爽| 超碰a女人的天堂| 久久天天| 五月激情在线| 人人叉久| 夜夜涩涩涩| 色婷婷最爱五月| 久久奄也去色色网站| 丁香香五月激情免费视频| 国内裸舞二区| 五月丁香六月婷婷网站| 大香蕉婷婷丁香视频在线| 日本色色图| 可以免费观看的AV| 色九九丁香九月色九九色| 婷婷在线中文字幕| 婷婷五月色影视先锋| 97人人操人人干| 婷婷黄色五月天在线视频| 五月五丁香婷婷| www.av骚货| 日撸夜撸日操| 91色久| 天天日日夜夜| 九九人人自拍| 极品 少妇 内射| 色婷婷五月视频| 玖玖爱伊人| 五月婷婷成人w| 久久人妻人人槡| 这里有精品| 国产色色视频| www色哟哟| 激情五月天婷婷丁香| 九色七七| 久久免费视频62| 深爱开心激情| 在线中文AV| 丁香五月婷婷天堂大香蕉| 9久精品视频| http://www.lingjunshare.com/ | 五月丁香天堂网| 五月婷婷导航| 内射 无码 伊人| 91操片| 久久 这里只有精品1| 五月丁香六月成人| 思思精品视频| 99热99精品| 思思热再线视频| 久久香蕉丁香| 日韩人人操| 欧美日韩99| 26uuu欧美激情另类| 人人操97| 丁香 亚洲 久久| 视色网在线播放| 五月天激情国产综合婷婷| 美女五月天| 中文字幕丰满乱孑伦无码专区| 第四色激情网| 超碰国产AV| 91狼友视频在线观看| 婷婷啪啪| 99爱视频| 九月丁香欧美综合| 五月丁香六月婷婷在线播放| 五月天综合| 99啪在线| 深爱激清网| 超碰久热| 日韩综合天堂| 99热这里都是精品| 67194成I人在线观看线路1| 久久9热好| 99这里都是精品6| 日本久久人| 久久久久9久无码视频| 青青草色在线视频观看| 99re热视频这里只精品5| 99精品偷自拍| 青青操avbb| 91九色精品女同系列| 婷婷激情四射五月天| 99色1| 伊人五月天在线| 婷婷丁香五月91| 天天插综合| 丁香五月婷中字在线| 美妞av| 99亚洲精品视频| 1024成人在线观看| 91干在线| 91超碰在线观看| 噜噜狠狠色| 激情综合五月丁香六月婷婷| 五月天狠狠草| 99久久高清视频| 99热精地址| 五月婷婷六月少妇激情| 日美三级| 激情综合99| 久人操| 色色亚洲视频| 色五婷婷| 婷婷色导航| 丁香九月综合| 日韩AV免费电影在线播放| 777丁香六月青青草婷婷综合久月| 亚洲激情五月| 狠狠色无码| 国产午夜成人AV在线播放| 六月丁香婷婷色狠狠久久| 九月丁香亭亭| 99热国产在| 五月天色色色| 狠狠色婷婷六月激情网| 久久婷婷人人| 久久久18| 日日夜夜爽| 日本在线wwww| 色五月综合激情| 婷婷色婷婷| 99热这里只有精品4| 天天 青草 制服丝袜 在线| 精品人妻伦一二三区久久| 久久日婷婷| 五月婷婷激情综合网| 国产真实乱了老女人视频| 色青青视频| 丁香操逼| 99久在线精品99re8热| 婷婷丁香五月av| 99国产精品久久久久久久久久久| 青草青青草| 激情综合色婷婷啪啪六月天| 丁香六月啪啪| 色播播婷婷| 九热久| 俺去也综合| 日日干夜夜撸夜夜骑| 任你干aa| 九色自拍| 日韩操| 成人午夜免费电影| 国产精自产拍久久久久久蜜| 99热在线观看免费精品| 九九热在视频| www.婷婷,com| 91精品久久久久久久久久| 99热6色| 韩国19 主播内部福利vip免费播放| 99ri在线| 久热大香蕉| 成熟妇人A片免费看网站| 亚洲夜夜操| 五月丁香久人妻中文| AV九九| 丁香五月亚综合图片| 色色色色色五月丁香| 久久五月丁香| 色五月 五月婷婷| 97人人干| 台湾无码A片一区二区| 亚洲激情综合| www.99热视频| 《蜘蛛女》梁铮1995| 婷婷五月天最新综合你懂的| www热久久yy9| 五月激香蕉网| 丁香婷婷啪啪| 九九九九国产| 夜夜撸夜夜骑| 99er视频在线| 天天搞夜夜叫| 91九色首页| 拍色综合| 五月天社区| 五月天婷婷综合网| 色欲天天综合| 丁香无五月网| 日韩乱轮AV| 亚洲AV人人操| 99精品视频在线观看| 九九九干精品| 最近中文字幕2019视频1| 五月丁香综合| 狠狠干,狠狠操| 开心五月丁香婷婷| 五月丁香视频在线观看| 丁香五月综合高清在线| 五月婷婷偷拍| wWW九九在线播放| 99欧美精品99日本精品| 字幕网AV中文字幕| 欧美性色A片免费免费观看的 | 六月天婷婷| 熟女网站久久| 欧美日韩123| 丁香五月天视频在线播放| 99这里只有免费的小视频在线观看| av免费在线网站| 另类五月激情| 日韩一级淫乱片一区二区三区| 丁香网站| 免费看欧美成人A片无码| 亚洲日韩一页精品发布| 99热99精品| 思思热AV| 激情五月婷婷综合视频| 色婷婷五月综合在线| 日韩色色小视频| 丁香六月综合激情| 亚洲色色色色色色色色色| 天天干天天曰天天射| 超碰人人妻| ZpRSw| 丁香六月婷婷色XXXX| 亚洲精品视频在线播放| 99久久久久| 五月婷婷激情综合av| 成人网站免费sxj| 日本熟女视频一区二区| 五月婷人妻| 综合99久久天天综合| 色区久久| 激情综合网激情五月天| 北京熟妇搡BBBB搡BBBB| 亚洲愉拍99热成人精品| 九九99偷拍视频| 丁香五月婷婷影视先锋| 色噜噜五月天| 日韩成人电影在线播放| 激情五月婷黄版| 久久五月天婷婷| 五月停停999| 色婷婷丁香综合中文字幕| 色欲久久久久久综合网综合网| 久久人五月| 大香蕉大香蕉在线影院| 丁香五月亚洲激情婷婷射| 五月丁香综合啪啪| 6080av| 欧美婷婷五月天综合| 五月综合色播播丁香婷婷| 激情五月天色爱| 综合久久六月| 超碰色综合| 夜夜爽天天干| 五月婷久久久久综合| 综合久久首页| 91久久久久久久久| 天天操夜夜玩!| 天天摸天天日天天舔| 亚洲成人在线五月天| 狠狠色成人影片| 丁香伊人网| 日日操夜夜撸| 婷婷丁香综合色AV| 99re思思热在线视频| www.日本久久videos| 97激情五月天| 欧美日韩一区二区三区四区| 天天操婷婷| 五月综合激情婷婷六月色窝| 色婷婷瘦婷婷日韩| 婷婷五月天影视网址| 婷婷五月视频| 久久机热/这里只有精品| 草了bav视频在线观看| 99精品偷拍视频| 啪啪夜久久| 久久五月天激情婷婷| 六月婷婷国产| 色婷婷视频在线| 91啪啪| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 天堂网亚洲色图| 久久婷丁香五月| 婷婷久久国产视频| 六月婷婷综合激情| 欧洲综合一区| 精品久久二6| 五月丁香花激情综合网| 欧美性爱五月天| 91久久久久| 激情五月婷婷综合| 色色色色色网| 色逼综合网| 九九性爱网| 丁香五月婷婷色五月| 丁香九月综合| 色情五月| 激情五月婷婷中文字幕| 久久婷婷五月天| 久久久久久久久久久jjjj| 亚洲在线成人| 手机AVAV天堂看网| 天天日综合| 黄网在线免费观| 亚洲精品国产成人AV在线| 色播丁香婷婷五月激情| 少妇性按摩无码中文A片| 色五月偷偷| 天天爽天天透天天爱| 六月婷婷av| 超碰妻人人| 丁香五月激情六月欧亚激情综合导航| www.maotanji.com| 丁香久久九九99| 伊人五月婷婷| av性爱在线| www.minyis.com【JT】实力收量可预付QQ2101460746 | 色婷婷五月天天天天天天天天天| 亚洲性爱电影| 六月激情丁香一道本7777| ss99热| 天天日,天天插| 国产色99| 五月天六月色| 久在线综合69| 五月天狠狠草| 超碰免费人人肏| 99极品视频| 丁香六月婷婷色XXXXX| 丁香九色不卡aaa| 五月天婷婷乱| 久久艹 五月天| 五月丁香五月丁香| 伊人久久大香网| 九九精品亚洲| 婷婷综合一二三| 五月天AV大香蕉| 五月天精品视频| 丁香婷婷影院| 五月丁香婷婷深深爱| 久9热插入| 狠狠狠五月婷婷六月丁香| 欧美色色色色色| av在线播放网址| 女人被男人吃奶到高潮| 99综合一区| 丁香五月人妻| 伊人久久五月天| 91干| 婷婷亚洲五| 天天做天天爱| 狠狠五月丁香色婷| 婷婷五月天97干| 五月色丁香国产在线视频| 人人草人人舔| sewuyuejiqingwang| 97碰碰碰免费公开在线视频| 五月婷婷九| 欧美精品狠狠色丁香婷婷| 久久免费视频62| 三级黄色大片视频| 久久这里只| 2021日韩无码| 深爱激情综合| 婷婷色影院| 五月婷婷性爱| 天天操天天操| 五月色激情综合网| 激情综合在线观看| 五月丁香色色综合| 五月婷婷六月激情| 丁香五月婷婷激情尤物| 亚洲艹网| seuuu婷婷| 丁香婷婷综合影院| 激情av在线| 狠狠操狠狠爱| 婷婷碰碰| 六月丁香啪啪| 亚洲丁香网| 成人AV片播放| 99日韩| 狠狠五月天婷婷| 182tv992tv人之初午夜免费观看| 五月婷婷色激情| 婷婷五月丁香青青草在线| 99热精品在线播放| 激情五月综合久久| 色丁香五月婷婷| 天天做天天爱天天综合网| 99热爱爱干干日| 大香蕉久久| 五月激情基地| 婷婷综合色| 国产精产国品一二三在观看| 人人九色| WWW.桔色成人.COM| 97色图片中文字幕视频在线观看 | www.日韩国产| 狠狠色婷婷7| 五月九九综合| 激情综合一| 色性五月天| 五月色网| 最新高清无码专区| 91丨九色丨白浆秘| 99成人免费视频| 久热 91| 婷婷五月天av| 激情深爱综合| 日本97在线| 三级毛片视频| 婷婷五月花| 婷婷丁香五月天色区| 69综合在线| 五月丁香激情综合网| 色五月激情婷婷| 深夜男女福利刺激影院一区| 色婷婷玖玖影院| 中文成人在线| 99在线精品免费视频| 欧美成人精品老美女噜噜噜| 夜夜骑操AV| 人人操91色| 色色99| 亚洲午夜一区二区| 天天干天天操| 激情五月综合六月丁香婷婷狠狠干| 91精品91久久久中77777久久玖玖九九| http:色情日本com| 中文av网站| 日本五月天网站| 亚州精品色情无码A片| 久久99日本精品视频免费观看| 五月丁香婷婷综合| 色播五月| 欧美色99| 97九色视频| 99视频在线精品免费观看2| 九九视频这里是精品五月| 99ri国产| 一起草无码| 欧美超碰亚洲| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 国产黄色在线观看| 狠狠精品干练久久久无码中文字幕| 99久.| 亚洲综合五月天| WWW、日本色丁香、co m| 久久综合丁香五月| 亚洲无码成人网| 免费成人网在线观看| 五月天激情四射| 婷婷激情四射| 任你爽视频| 亚洲综合色色| 色99色| www.9797国产| 五月综合色| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 超碰激情网| 色五月婷婷综合在线| 日本99婷婷| 一本九九色| 人人草碰| WWW色色色COm| 天天爽人人综合免费7799| 国产成人av在线播放| 欧美在线操| 操人91| 日本欧美在线| 婷婷五月天久久| 日本一级| 开心五月网 | 久久婷婷五月综合网| 中文字幕成人网站| 99热国产免费| 99啪| 欧美性丁香色色五月天干干| 婷婷五月天av| Aaa久久| 色婷小说| 26uuu精品一区二区| 亚洲乱码在线观看| 大香蕉五月婷婷| 丁香六月啪啪| 三级成人网站| 久久久久久人妻久久久久久久久久人妻久久久| 久久人妻精品| 97色色色| 91操碰| 欧美成人精品A片免费一区99| 九九无码| 99视频| 五月丁香另类网| 婷婷玖玖丁香| 玖热精品综合视频| 婷婷激情区| 99视频只有这里精品| 欧洲亚洲精品| 日本va欧美va国产激情| 日韩二区搞逼插逼毛片| 久草狼人| 丁香激情合作五月| 色情免费视频播放| 91精品国产99久久久久久天美| 色综合激情| 91久热| 五月综合激情网| 综合伊人久久| 精品无码人妻一区| 五月婷婷五月丁香| 超碰在线99| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 九九九九九九九热| 色五月婷婷操逼| 国产精产国品一二三在观看| 在线99色| 婷婷激情鹿城五月天| 可以直接看的AV| 五月丁香亚洲综合| 婷婷性爱五月天丁香网| 97人人操人人| 天天日天天干天天插天天射| 婷婷六月色| 九九成人电影婷婷| 在线播放成人网站| 五月激情久久综合网| 97人凄人人操人人爽| 日韩AV免费看| 久久亚洲婷婷| 婷婷伊人网| 色色婷| 久久综合播放| 五月天久久综合婷婷丁香| 99色在线观看| 国产性爱一级| 色欲AV导航| 精品人妻一区二区| 好色婷婷| 26uuu欧美宗合| 99视频这里有精品| 亚洲免费av在线| 思思re视频在线| 26UUU精品一区二区| 99免费偷拍视频| 婷婷免费无视频| 丁香六月婷婷久久综合| 亚洲超级碰| 99热777| 色偷偷AV亚洲男人的天堂| 激情婷婷久久| 婷婷六月激情| 激情婷婷护士激情| 涩涩婷婷五月| 蜜桃人妻无码AV天堂三区| 成人一级片| 久久机热/这里只有精品| 欧美性生交A片免费看| 狠狠干狠狠色| 久操人妻| 51成人| 久久人人妻| 啪啪日本欧美| 五月丁香色婷婷熟女| 99综合视频一体| 久久九色| 久久婷婷五月天懂色| 热久69| 欧美激情综合色综合色| 成人草榴视频| 丁香久色| 熟妇人妻中文字幕无码老熟妇| 色色综合成人网| 91超碰在线观看| 一本狠婷婷综合| 免费播放99性爱视频| 嫩草极品| 激情五月六月丁香| 91夫妻视频| 国产欧美日韩一区二区三区| 性爱视频久久| 久久视频这里都是精品| 亚洲综合激情五月久久| 六月丁香五月婷婷首页| 性色做爰片在线观看WW| 天天射综合网天天插| 精品亚洲国产成AV人片传媒| AV 3P| 第四色在线观看| 综合五月亭亭9| 97色婷婷| 伊人狠狠综合| 新激情婷婷| 天天干狠狠操| 国产精女同一区二区三区久| 噜噜五月天综合| 色色丁香五月天社区| 亚洲综合五月| 91色综合网| 五月丁香影院| 夜夜操夜夜爽| 九九热最新| 五月天色婷婷av| 大伊香蕉精品视频在线| 亚洲色婷婷五月| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 超碰av在| 91婷婷五月天嫩女| 五月丁香琪琪| 天天爱天天操| 特级片神马电影| 牛牛色av| 日本色色色| 色五月丁香五月五月婷婷| 一本色道久久88综合日韩精品| 99爱免费视频在线观看| 美女91一起草| 丁香花五月天激情| 国产超碰在线| 国产精品第一国产精品| 五月天婷婷综合免费| 超碰人人超碰| 熟妇人妻中文字幕无码老熟妇| 久久人妻高清中文| wWW九九在线播放| 狠狠狠狠狠狠| 色偷偷狠狠| 欧美激情中文字幕| 五月丁香| 色色色com| 伊人久久婷| 99精品视频在线观看| 九九亚洲视频| 天天色综和网| 色吊操色妞| 色色综合网站| 婷婷五月天成人小说| 91 九色 熟女| 91亚洲视频| 999热在线视频| 亚洲综合五月天综合| 综合激情sV| 激情久久久| xfplayav在线| 91丨九色丨白浆秘| 国内自拍97在线| 成片免费观看视频大全| 天插天啪天啪天啪| 狠狠99| 丁香六月激情国产| 黄色99视频| 婷婷色色丁香| 国产精品天天狠天天看| 色色五月天丁香婷婷| 亚洲色欲AAAAAA| 天天肏夜夜肏| 超碰99热在线观看| 99精品国产乱码久久久人妻| 丁香五月香蕉| 97五月天婷婷| 人人色婷婷五月天| 黄色激情久久| 国产女生爱爱AA| 色色国产| 99在线视频精品| 99热成人在线| 情五月亚洲婷婷| 婷婷亚洲综合| 色色色色色综合| 免费看欧美成人A片无码| 五月天开心色情网| 久久这里只有精品1| 色色色五月婷婷| Www.狠狠| 色吧网91| 久久久99精品免费观看| 六月婷婷激情| 啄木鸟丝袜美女福利视频| 日韩中文欧美| 激情五婷网| AVV黄| 婷婷五月综合色小姐小说| 图片区 小说区 区 亚洲五月 | 婷婷天堂视频| 性爱五月婷| 五月丁香婷婷五月色| 91精品综合久久久久久五月丁香| 9l视频自拍9l九色成人| 日亚二欧美| 欧美综合五月丁香五月天| 性爱在线播放av| 超碰人人干| 欧美综合五月丁香六月婷| 热99色| 午夜精品久久久久久久爽| 开心五月深爱五月| 色五月婷婷视频| 色色五月婷婷| 99色婷婷视频| 久99视频在线观看| 色播jjjj| 日日夜夜天天| 97影院一级片| 久操干| 91肏肏肏| 91互操| 亚洲午夜AV| jiujiuxiangjiaowang| 欧美色婷婷| 天天日夜夜| 久久这里只有精品99| 91精品久久久久久| 99热偷拍| 99视频精品在线| 五月丁香六月欧美综合网站| 99久热| 婷婷 伊人 久久| 综合日本婷婷| 丁香九月激情在线视频| .精品久久久麻豆国产精品| 六月丁香啪啪啪| 日韩无码专区| 亚洲国产精品VA在线看黑人| Www.狠狠| 精品一二三区久久AAA片| 囯产精品一品二区三区| 97人人操com| 激情五月婷婷综合视频| 天天摸天天舔天天爽| 婷婷丁香五月天色播网站| 九九99久久| 成人深爱丁香五月| 操逼巨乳91| 成人AV免费观看| 人妻视频在线| 久99热| 婷婷五月天改成什么了| 五月婷婷综合色啪| 97好吊操| 九九婷婷五月天| 久超超碰| 91啪啪视频| 成人五月天综合网| 亚洲人人艹| 91人人操人人| 99视频这里只有免费精品| 天天做天天爱天天爽在| 五月丁香色婷婷综合| 99视频| 激情五月天在线视频| 国产亚洲精品AAAAAAA片| 成人国产网| 日本三级第一页| www.99热精品| 伊人婷婷五月天| 激情五月天色| 欧洲免费视频色| 狠狠色综合精品视频在线| 97碰久久| 国产亚洲精品久久久久苍井松 | 九九99精品视频在线观看| 啪啪色激情五月天| 永久地址 色| 人人操插| 亚洲日日操| 99热1| 欧美色骚婷婷五月天| 婷婷五月天a| 色婷婷五月天激情在线观看| 成人深爱丁香五月| 激情久久天天| 久久9热| 九九人妻福利| 超碰狠狠色| 97视频.干com| 五月丁香六月婷婷啪啪| 婷婷五月天涩涩| 99视频色在线观看| 天天色五月| 区欧美日韩成人| 日韩久热| 五月天天堂久久| 色色婷婷五月天| 欧美色图天堂网色| 色综合av超碰| 五月婷婷激情日本| 国产精品电影| 婷婷五月免费视频| 丁香啪啪| 色色色在线观看| 91操碰| 久久九九综合| 亚洲AV成人在线观看| 久久久天堂国产精品女人| 91无码一区人妻A片蜜| 9久久网| 丁香五月大香蕉| 五月婷婷中文网| 天天日夜夜草进麻麻的子宫| 五月天狠狠色| 丰满少妇猛烈A片免费看观看| 67194中文在线| 老妇操B| 99色啊| 开心激情网五月天| av狠狠操| 涩五月婷婷| 欧美va| 99干日本| 国产精品人成A片一区二区| 伊人色五月| 色色网站在线免费观看视频| 色天堂A| 免费超碰在线| 五月丁香六月色情网欧美| 五月丁香影院| 国产精品A片在线| 丁香六月激情综合| 26uuu欧美| 三男玩一女三A片| 99 热| 五月久久婷婷丁香| 亚洲 欧洲 国产 伦综合| 深爱网深爱综合网| 亚洲永久免费| 五月刺激丁香月综合| 热的五码久久精品| 亚洲色五月| 99热主页日本| 久久婷婷五月丁香网| 久婷首页| 亚洲婷婷五月天| 99视频在线播放大全| 色五月综合网| 密臀av无码人妻精品| 九九色综合视频| 色婷狠狠| 久久A V无码视频| 伊人婷婷福利网| 欧美日本一区二区三区| A片试看120分钟做受视频红杏 | 96精品国产综合久久久久久| 婷婷六月天亚州| 婷婷久久综合| 六月婷婷七月丁香| 精品成人无码A片观看香草视频| 丁香六月久久| 亚洲av骚货| 亚洲俩性性爱图片久久第六页| 极品人妻VIDEOSSS人妻| 婷婷五月天激情视频| 久久全色| 另类精品视频在线观看| 亚欧州精品视频| 97碰碰视频在线观看| 久久婷婷五月激情综合| 五月婷婷在线综合| 丁香五月伊人| 五月激情婷婷丁香| 久久五月婷综合网| 综合网网欲色| 一点色成人网| 开心五月深爱激情| 91婷婷丁香| 丁香五月AV| 日日夜夜噜噜爽爽| 婷婷五月丁香香蕉| 99免费在线视频| 婷婷五月天激情四射| av大片在线| 丁香婷婷五月综合色情| 久久这里只精品66| 九九精品9| 日韩久热| 天天日天天做天天操| 国产成人在线精品| www.韩日视频| 激情九月婷婷| 婷婷丁香97| 丁香五月天欧美| 中文网AV| 久久中国毛毛片爱久久| 日韩视频99| 婷婷五月丁香网| 99re99热| 久草 天堂| 第五婷婷伊人丁香| 久久综合激情| 久久久大香蕉| 99热这里只有精品青草| www.五月天婷婷姐姐| 六月丁香久久| 五月停亭六月,六月停亭的英语| 激情色情五月天| 婷婷亚洲影院| 另类精品视频在线观看| 五月天综合激情网| 亚洲综合丁香婷婷六月天| 可以免费观看的av网址| 991精品在线视频| 亚洲AV第二区国产精品| 九九九九九999999| 99爱视频免费| 色综合99| 欧美性生交XXXXX无码小说| 亚洲中文乱字字幕在线永久| 久久性视频| 色五月婷婷色| 99re这里只有| 五月天激情四射| 五月丁香综合激情网| 激情五月婷黄版| 日本九九视频| 97se视频在线| 五月丁香六月激情综合| 婷婷丁香十月| 五月婷婷六月色| 超碰人人在线| 丁香激情网| 91啦丨九色丨刺激中文| AVV黄| 色狠狠综合网| 婷婷六月丁香激情| 五月天伊人综合| 中文字幕欧美久久| 九九久久高清| 婷婷久久久久| 激情婷婷另类| 深情五月天| 国产毛片精品一区二区色欲黄A片| 午夜丁香| 婷婷激情五月天色| 九九热在线视频观看| 五月天社区| 国产肥白大熟妇BBBB视频| 久久九久久| 五月天婷婷xxx| 嫩BBB槡BBBB搡BBBB视频| 九九精品综合| 久久er99热精品一区二区 | 天天综合五月天| 色婷婷成人在线| 色久天| 亚洲色色色色| 色婷久| 亚洲无码影音| 久久黄色网扯| 噜噜噜精品欧美成人在线观看| 婷婷五月天激情电影| 三级黄色大片视频| 五月五月婷婷| 99爱这里只有精品| 色一情一乱一乱一区91Av| 色色色色色日韩午夜激情 | 嫩BBB搡BBBB榛BBBB| 久久精品9| 人人干天天操五月丁香| 亚洲AV网站| 热99免费在线| 亚洲色爽| 99亚州综合精品成人网| 五月丁香啪综合| 强伦轩人妻一区二区电影| 色色欧美。| 五月永久激情| 色婷婷久久| 九久9精品| 99热9| 91九色超碰正在播放| 久噜久噜| YW无码| A色色| a网站免费观看| 991精品在线视频| 久久激情网| 91婷婷五月丁香碰| 天天射夜夜骑| 精品国产AV色一区二区深夜久久| 樱花99视频| 国产精品久久久久久久久久免费| 日日操夜夜爽天天天| 国精产品一区一区三区免费视频| 激情五月婷婷在线区| 丁香五月天久久| 成 久久| 色婷婷综合丁香五月天| 少妇人妻人伦A片| 大香蕉久久久久| 中国女人内射6XXXXX| 国产另类综合| 九九色插| 天天爽天天| 日韩超碰在线| 五月婷婷六月丁香| 成人看片网站| 成人美女网| 久久国产一区二区三区| 五月丁香激情综合网| 99激情在线| av色色国产| 婷婷久久免费看| 激情婷婷22月间| 五月婷婷av| 婷婷五月天激情综合深爱激情| 无遮挡国产高潮视频免费观看| 丁香五月激情啪啪| 99日逼视频| 亚洲熟妇AV乱码在线观看| 丁香色婷婷| 久久婷婷热| 久综合4| a在线观看| 91精品久久久久久综合五月天| 色五月色五天色情网| 久久98| 成人网在线视频| 五月永久激情| 另类精品视频在线观看| 5月丁香美女影院| 免费亚洲成人电影AV| 五月婷婷欧美| 五月丁香六月婷婷操操操| 99热这里只有精品国产免费| 丁香密臀AV激情网| 亚洲xx在线| 大香蕉久久视频久久视频| 激情婷婷六月天| 国产五月婷| 天天久综合网永久入口17v| 色婷婷五月综合激情中文字幕| 99在线精品观看99| 激情色情五月天| 五月婷婷狠狠干| 婷婷丁香激情五月天色色| 开心亚洲久久开心| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 97碰碰草| 久cao香蕉影院| 五月天偷拍| 99色 | 婷婷五月天伊人| 色色网站免费| 亚洲操人| 久久综合中文| 亚洲有码在线视频| 国外亚洲成AV人片在线观看| 伊人久久99| 狠狠狠色激情综合适合| 婷婷五月天亚洲| 思思热视频| 久久 天天| 97在线刺激| 天天影院色| 99成人| 超碰在线超碰| 日日夜夜天天| 99热免费| 亚洲xx在线| 成人AV综合在线| 日本色频| 久久久99精品| 国产一二三四五六七八视频| 日韩aaa| 午夜色婷婷| 白人荫道BBWBBB大荫道| 五月婷婷久久爱| www.henhenl| 丁香婷婷免费| 人人摸人人摸| 色婷婷电影| 婷婷丁香九色| 影音先锋色婷婷| 五月丁香六月停停| 国产美女视频久| 啊V视频在线观看| 超碰在线观看三级片| 涩 五月 婷婷 狠狠| 久色视频首页| 亚洲人妻五月丁香婷婷| 99综合久久| 亚洲99精品九九在线| 日韩伊人大香蕉| 99区视频| 色婷婷亚洲六月婷婷中文字幕| 青草视频在线观看视频| 超碰人人99| 天天爱天天做天天爽| 综合网色| 9有码中文| 天天cha成人综合网| 五月天天综合| 婷婷丁香第一页| 亚洲丁香五月| 国产精品男人AV不卡| 色五月婷婷 成人| 五月色综合| av在线免费播放观看| 婷婷色中文字幕| 一级A片天天操夜夜操| 五月丁香啪啪综合| 丁香六月av| 婷婷激情五月天小说| 久操乱| 色~性~乱~伦~噜| 这里只有精品无码| 九九九激情网| 91超级碰| 久艹大香蕉| 色婷婷AV在线| 色 五月 天 婷婷 丁香 九月| 黄色AAAAA| 色五月色情| 色偷偷色婷婷| 99热在线爱| 天天爽天天日| 超碰在线中文字幕| 五月婷在线| 久久久久久99精品无码| 最新va在线播放| 影音先锋91男人资源在线播放| 婷婷五月视屏| 婷婷五月天午夜激情影院| 久久久性爱视频| 九月丁香欧美综合| 色爱终和网| 九九爱精品网站| 婷婷伊人五月天| 五月婷婷综合性爱噜噜| 超碰国产AV| 操操操B| 日操夜撸| 99啪| 牛牛热这里只有jingpin| 婷婷五月免费观看| 丁香五月婷婷国产在线| 丁香五月天婷婷中文字幕| 久一网站| 国产一级片| 九九在线这里只有精品视频| 99热免费精品| 四川女人毛多水多A片| 色婷婷五月天在线观看| 五月天天天综合| 五月婷婷色欲| 噜噜狠狠色| 99操| 九九干视频| 五月婷婷丁香| 丁香五月天激情综合| 韩国情人在线电视剧免费观看高清版全集| 99丁香五月| 精品成人在线观看| 热99热9| 狠狠色狠狠干| 五月婷婷www| 97精品综合久久| 五月天狠狠色| 五月丁香婷婷中文网| 人人操99| 天天操天天国产三级片处女学生妹| 5月婷婷6月六月丁香| 五月丁香婷婷成人伊人网| 国产操B视频| 亚洲精级| 全部老头和老太XXXXX| 色色五月婷| 99热骚货| 日本99视频精品免费播放| 北京熟妇搡BBBB搡BBBB| 免费黄色视频网址| 五月天天久久香| 婷婷五月天久久|