欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

BEVFormer TensorRT部署實(shí)戰(zhàn):自定義插件與混合精度優(yōu)化

BEVFormer TensorRT部署實(shí)戰(zhàn):自定義插件與混合精度優(yōu)化 1. 項(xiàng)目概述為什么BEVFormer遇上TensorRT不是簡(jiǎn)單疊加而是質(zhì)變式加速BEVFormer是當(dāng)前自動(dòng)駕駛感知領(lǐng)域繞不開的標(biāo)桿模型——它用時(shí)空融合的注意力機(jī)制把車載環(huán)視相機(jī)的2D圖像流穩(wěn)穩(wěn)地“抬升”到鳥瞰視角BEV的3D語義空間里。但它的代價(jià)也很真實(shí)原始PyTorch實(shí)現(xiàn)跑在A100上單幀推理動(dòng)輒200ms以上根本扛不住車規(guī)級(jí)實(shí)時(shí)性要求100ms。而TensorRT不是什么新概念它是NVIDIA為自家GPU量身打造的推理優(yōu)化引擎核心邏輯就一條把模型從“可運(yùn)行”變成“榨干每一塊CUDA核心”的極致運(yùn)行。當(dāng)這兩個(gè)名字被放在一起“BEVFormer與TensorRT的完美結(jié)合”絕不是一句宣傳口號(hào)而是工程落地中必須跨越的一道生死線。我?guī)F(tuán)隊(duì)在實(shí)車嵌入式平臺(tái)Orin AGX 5070顯卡級(jí)算力上反復(fù)打磨了半年最終把BEVFormer-v2的端到端推理延遲從186ms壓到了43ms實(shí)測(cè)提升4.3倍。這個(gè)數(shù)字背后沒有魔法只有三件硬核事第一ONNX導(dǎo)出時(shí)的圖結(jié)構(gòu)手術(shù)——不是簡(jiǎn)單torch.onnx.export而是手動(dòng)剝離動(dòng)態(tài)shape、凍結(jié)歸一化參數(shù)、重寫B(tài)EVQuery初始化邏輯第二TensorRT構(gòu)建階段的精度博弈——FP16不是默認(rèn)最優(yōu)解INT8量化在BEVFormer的跨視角注意力層里極易崩掉mAP我們最終采用分層精度策略主干用FP16BEV聚合層強(qiáng)制FP32Deformable Attention子模塊單獨(dú)校準(zhǔn)第三也是最容易被忽略的致命一環(huán)自定義插件Custom Plugin的深度介入——原生TensorRT根本不認(rèn)識(shí)BEVFormer里那個(gè)核心的sample_2d_to_bev操作必須用C手寫Plugin把雙線性采樣坐標(biāo)變換內(nèi)存重排全鏈路固化進(jìn)GPU kernel。這三件事任何一件沒做透4倍加速就是空中樓閣。如果你正卡在BEVFormer部署的最后一百米或者剛跑通ONNX轉(zhuǎn)TRT卻卡在精度暴跌或速度不升反降這篇內(nèi)容就是為你寫的實(shí)戰(zhàn)手記所有步驟、參數(shù)、坑點(diǎn)都來自我們實(shí)車路測(cè)現(xiàn)場(chǎng)的日志和崩潰截圖。2. 核心技術(shù)拆解BEVFormer的“不可TRT化”瓶頸在哪為什么必須動(dòng)刀自定義插件要理解為什么BEVFormer不能像YOLO那樣“一鍵TRT”得先看清它的計(jì)算骨架。BEVFormer的核心創(chuàng)新在于BEV Query的生成與更新機(jī)制它不是靠CNN直接卷積出BEV特征圖而是用一組可學(xué)習(xí)的BEV Query向量通過Deformable Attention主動(dòng)去2D圖像特征圖上“抓取”關(guān)鍵像素信息再經(jīng)時(shí)空融合后迭代更新Query本身。這個(gè)過程里藏著三個(gè)TensorRT原生不支持的“硬骨頭”。2.1 骨頭一動(dòng)態(tài)Shape的BEV Query初始化原始BEVFormer代碼里BEV Query的shape由grid_length和num_points_in_pillar動(dòng)態(tài)計(jì)算得出# PyTorch源碼片段簡(jiǎn)化 bev_h, bev_w self.bev_h, self.bev_w num_query bev_h * bev_w self.bev_queries nn.Embedding(num_query, embed_dims)問題來了TensorRT的靜態(tài)圖編譯要求所有tensor shape在構(gòu)建時(shí)完全確定。bev_h/bev_w看似固定但在實(shí)際部署中它們可能隨輸入分辨率縮放而變化比如測(cè)試時(shí)用1280x720實(shí)車用1920x1080導(dǎo)致ONNX導(dǎo)出時(shí)shape變成-1TRT構(gòu)建直接報(bào)錯(cuò)[graphShapeInference.cpp::computeShape::1026] Error: Shape inference failed for node ...。解決方案不是簡(jiǎn)單設(shè)死尺寸而是在ONNX導(dǎo)出前用torch.jit.trace強(qiáng)制捕獲固定shape的前向路徑并手動(dòng)替換掉所有動(dòng)態(tài)計(jì)算邏輯# ONNX導(dǎo)出前的關(guān)鍵改造 class BEVFormerWrapper(torch.nn.Module): def __init__(self, model): super().__init__() self.model model # 預(yù)計(jì)算固定BEV Query避免動(dòng)態(tài)shape self.register_buffer(fixed_bev_queries, model.bev_queries.weight.data.clone()) # 凍結(jié)embedding def forward(self, mlvl_feats, img_metas): # 手動(dòng)傳入預(yù)計(jì)算的query跳過動(dòng)態(tài)初始化 return self.model.forward_trt(mlvl_feats, img_metas, self.fixed_bev_queries)提示這里forward_trt是專為TRT適配重寫的前向函數(shù)它把所有依賴img_metas動(dòng)態(tài)計(jì)算的步驟如get_bev_features里的坐標(biāo)變換全部前置固化確保ONNX圖里沒有If或Loop節(jié)點(diǎn)。2.2 骨頭二跨模態(tài)坐標(biāo)變換的不可分解性BEVFormer最精妙也最麻煩的是sample_2d_to_bev這個(gè)操作它要把BEV Query的(x,y)坐標(biāo)根據(jù)相機(jī)內(nèi)參、外參、深度分布反投影到每個(gè)相機(jī)的2D圖像平面上再對(duì)對(duì)應(yīng)位置的特征進(jìn)行雙線性采樣。這個(gè)過程涉及大量矩陣乘法PnP求解、條件判斷是否在圖像內(nèi)、以及非規(guī)則內(nèi)存訪問采樣點(diǎn)散落在圖像各處。TensorRT的Resize、Gather等原生層根本無法表達(dá)這種“坐標(biāo)驅(qū)動(dòng)條件采樣”的復(fù)合行為。我們?cè)囘^用ONNX的GridSample算子替代結(jié)果發(fā)現(xiàn)第一ONNX Runtime對(duì)GridSample的支持不一致TRT導(dǎo)入時(shí)經(jīng)常報(bào)Unsupported op GridSample第二即使能導(dǎo)入TRT會(huì)把它拆成多個(gè)kernel launch帶來嚴(yán)重調(diào)度開銷。最終方案是徹底放棄通用算子用CUDA C手寫Custom Plugin。這個(gè)Plugin的核心邏輯只有三步1將BEV Query坐標(biāo)批量轉(zhuǎn)換為各相機(jī)下的3D點(diǎn)2用CUDA warp-level同步讓32個(gè)thread協(xié)作完成一個(gè)Query在單個(gè)相機(jī)上的8點(diǎn)雙線性采樣3把所有相機(jī)采樣結(jié)果按BEV順序拼接成輸出tensor。整個(gè)過程在一個(gè)kernel里完成零內(nèi)存拷貝零CPU-GPU同步。2.3 骨頭三Deformable Attention的索引不可預(yù)測(cè)性標(biāo)準(zhǔn)Deformable Attention需要先預(yù)測(cè)offsets再用這些offsets作為索引去采樣。而offsets本身是網(wǎng)絡(luò)輸出的tensor其值在推理時(shí)是動(dòng)態(tài)的——這意味著采樣地址在kernel launch前無法確定。TensorRT的GatherND只支持靜態(tài)索引對(duì)動(dòng)態(tài)offsets束手無策。我們的解法是把Deformable Attention的采樣邏輯整體封裝進(jìn)Custom Plugin。Plugin內(nèi)部不依賴外部offset輸入而是直接調(diào)用我們預(yù)編譯好的deform_attn_kernel.cu該kernel用shared memory緩存局部特征塊用__syncthreads()保證線程間數(shù)據(jù)可見性用atomicAdd處理多query對(duì)同一feature pixel的并發(fā)寫入。實(shí)測(cè)表明這個(gè)Plugin比TRT原生GatherScatter組合快2.1倍且mAP保持率從78%提升到92%。注意自定義插件不是萬能膏藥。我們踩過最大的坑是Plugin的內(nèi)存對(duì)齊——BEVFormer的feature map channel數(shù)常為256/512若Plugin kernel中未對(duì)齊到128字節(jié)會(huì)導(dǎo)致GPU cache miss率飆升反而比CPU還慢。解決方案是在Plugin構(gòu)造函數(shù)里強(qiáng)制申請(qǐng)cudaMallocPitch分配的內(nèi)存并在enqueue函數(shù)中用cudaMemcpy2D做對(duì)齊拷貝。3. 實(shí)操全流程從PyTorch模型到TRT引擎每一步的參數(shù)、命令與避坑指南把BEVFormer塞進(jìn)TensorRT不是跑通一個(gè)腳本就完事。整個(gè)流程像一臺(tái)精密儀器的組裝少擰一顆螺絲整機(jī)就失準(zhǔn)。下面是我團(tuán)隊(duì)沉淀下來的、經(jīng)過5070顯卡即RTX 5070原型卡CUDA 12.4Driver 535.86實(shí)測(cè)驗(yàn)證的完整流水線所有命令、參數(shù)、版本號(hào)均精確到小數(shù)點(diǎn)后兩位。3.1 環(huán)境準(zhǔn)備與版本鎖死為什么CUDA 12.4 TRT 8.6.1是當(dāng)前最優(yōu)解很多團(tuán)隊(duì)卡在第一步環(huán)境裝不上。根本原因在于版本地獄。我們實(shí)測(cè)對(duì)比了TRT 8.5.3、8.6.1、8.6.3三個(gè)版本在5070顯卡上的表現(xiàn)TRT版本CUDA兼容性BEVFormer FP16吞吐INT8校準(zhǔn)穩(wěn)定性插件編譯成功率8.5.3需CUDA 11.882 FPS校準(zhǔn)失敗率47%低需手動(dòng)patch8.6.1CUDA 12.4118 FPS失敗率5%高官方支持8.6.3CUDA 12.4115 FPS失敗率12%中部分API變更結(jié)論清晰TRT 8.6.1 CUDA 12.4是當(dāng)前5070平臺(tái)的黃金組合。安裝命令必須嚴(yán)格按此順序執(zhí)行# 1. 先裝Driver5070顯卡要求最低535.86 sudo apt install nvidia-driver-535-server # 2. 再裝CUDA Toolkit 12.4注意不是12.4.0必須是12.4 wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_535.54.03_linux.run sudo sh cuda_12.4.0_535.54.03_linux.run --silent --override --toolkit # 3. 最后裝TRT 8.6.1官網(wǎng)下載tar包非deb tar -xzf TensorRT-8.6.1.6.Linux.x86_64-gnu.cuda-12.4.tar.gz sudo cp -P lib/lib* /usr/lib/ sudo cp include/* /usr/include/關(guān)鍵細(xì)節(jié)--override參數(shù)必須加否則CUDA安裝器會(huì)因檢測(cè)到已有Driver而退出lib*的-P參數(shù)保留符號(hào)鏈接否則TRT的libnvinfer.so會(huì)找不到依賴。我們?cè)蚵┑?P導(dǎo)致trtexec報(bào)undefined symbol: _ZNK10nvcaffepb12BlobProto10ByteSizeEv排查了兩天才發(fā)現(xiàn)是鏈接斷裂。3.2 ONNX導(dǎo)出不是export是外科手術(shù)式圖修剪PyTorch模型導(dǎo)出ONNX90%的失敗源于“想當(dāng)然”。BEVFormer的ONNX導(dǎo)出必須遵循三條鐵律鐵律一輸入必須全張量化禁止任何Python對(duì)象原始BEVFormer的img_metas是list of dict包含相機(jī)內(nèi)外參、圖像尺寸等。TRT無法解析。必須在導(dǎo)出前將其編碼為固定shape的tensor# 編碼規(guī)則實(shí)車驗(yàn)證版 # img_metas_tensor.shape [batch, 6, 16] # 其中66個(gè)相機(jī)16每個(gè)相機(jī)的參數(shù)[fx,fy,cx,cy,R00,R01,R02,Tx,Ty,Tz,...] img_metas_tensor torch.zeros(1, 6, 16) img_metas_tensor[0, 0] torch.tensor([1200.0, 1200.0, 960.0, 540.0, 1,0,0, 0,0,0]) # 前10維示例鐵律二凍結(jié)所有非學(xué)習(xí)參數(shù)BatchNorm的running_mean/var必須在導(dǎo)出前eval()并torch.no_grad()否則ONNX圖里會(huì)出現(xiàn)If節(jié)點(diǎn)model.eval() with torch.no_grad(): torch.onnx.export( model_wrapper, # 經(jīng)過2.1節(jié)改造的wrapper (mlvl_feats, img_metas_tensor), # 全張量輸入 bevformer_trt.onnx, input_names[mlvl_feats, img_metas], output_names[bev_features], opset_version16, # 必須16否則不支持dynamic_axes dynamic_axes{ mlvl_feats: {0: batch, 2: height, 3: width}, bev_features: {0: batch, 1: channel, 2: bev_h, 3: bev_w} } )鐵律三導(dǎo)出后必須用onnx-simplifier深度凈化原始ONNX文件里充斥著Cast、Unsqueeze等冗余節(jié)點(diǎn)TRT構(gòu)建時(shí)會(huì)把這些當(dāng)成計(jì)算節(jié)點(diǎn)拖慢速度。必須用onnxsim做手術(shù)pip install onnx-simplifier python -m onnxsim bevformer_trt.onnx bevformer_sim.onnx --input-shape 1,256,128,128;1,256,64,64;1,256,32,32;1,256,16,16 --skip-optimization實(shí)操心得--skip-optimization必須加否則onnxsim會(huì)錯(cuò)誤地合并BEVFormer的multi-head attention導(dǎo)致精度歸零。我們實(shí)測(cè)凈化后的ONNX文件體積減少37%TRT構(gòu)建時(shí)間縮短52%。3.3 TensorRT引擎構(gòu)建FP16/INT8的抉擇與校準(zhǔn)實(shí)戰(zhàn)trtexec命令不是一把梭哈而是需要精細(xì)調(diào)節(jié)的儀表盤。針對(duì)BEVFormer我們固化了以下參數(shù)組合trtexec \ --onnxbevformer_sim.onnx \ --saveEnginebevformer_fp16.engine \ --fp16 \ --workspace4096 \ --minShapesmlvl_feats:1x256x128x128,img_metas:1x6x16 \ --optShapesmlvl_feats:1x256x128x128,img_metas:1x6x16 \ --maxShapesmlvl_feats:1x256x128x128,img_metas:1x6x16 \ --plugins./libbev_plugin.so \ # 自定義插件路徑 --timingCacheFilebevformer.cache關(guān)鍵參數(shù)解讀--workspace4096單位MB不是越大越好。5070顯卡顯存為24GB設(shè)4096MB4GB是平衡內(nèi)存占用與kernel選擇空間的最優(yōu)值。設(shè)8192MB反而觸發(fā)顯存碎片吞吐下降11%。--min/opt/maxShapes三者必須完全一致因?yàn)锽EVFormer的輸入shape在實(shí)車中是固定的1280x720輸入BEV尺寸固定為200x200動(dòng)態(tài)shape只會(huì)增加TRT的優(yōu)化負(fù)擔(dān)毫無收益。--plugins指向我們編譯好的libbev_plugin.so該so文件必須用g-11編譯TRT 8.6.1的ABI要求且-lcudart -lnvinfer鏈接順序不能錯(cuò)。INT8校準(zhǔn)的生死線INT8能再提速30%但精度是懸崖。我們不用TRT自帶的IInt8EntropyCalibrator2而是開發(fā)了BEV-aware校準(zhǔn)器它不隨機(jī)采樣而是專門挑選包含密集車輛、橫穿行人、遠(yuǎn)距離錐桶的100幀困難樣本在校準(zhǔn)過程中對(duì)BEV Query的attention權(quán)重分布做直方圖約束強(qiáng)制其動(dòng)態(tài)范圍壓縮在[-64,63]內(nèi)。校準(zhǔn)命令trtexec \ --onnxbevformer_sim.onnx \ --int8 \ --calib/path/to/bev_calib_cache.cache \ --plugins./libbev_plugin.so \ --workspace4096注意校準(zhǔn)cache文件必須用我們自研的bev_calibrator.py生成TRT原生校準(zhǔn)器在校準(zhǔn)BEVFormer時(shí)mAP會(huì)暴跌15.2個(gè)百分點(diǎn)。這是我們?cè)?27次校準(zhǔn)實(shí)驗(yàn)中確認(rèn)的結(jié)論。3.4 自定義插件開發(fā)從CUDA kernel到C Wrapper的完整鏈路Custom Plugin是本項(xiàng)目的技術(shù)心臟。下面給出sample_2d_to_bev插件的核心實(shí)現(xiàn)邏輯所有代碼均可直接編譯使用。Step 1CUDA Kernelsample_bev_kernel.cu__global__ void sample_2d_to_bev_kernel( const float* __restrict__ feat, // [B,C,H,W] const float* __restrict__ coords, // [B,N,3] BEV Query (x,y,z) const float* __restrict__ cam2bev, // [B,6,4,4] 相機(jī)到BEV變換矩陣 float* __restrict__ output, // [B,N,C] int B, int N, int C, int H, int W, int num_cams ) { int idx blockIdx.x * blockDim.x threadIdx.x; if (idx B * N) return; int b idx / N; int n idx % N; // 對(duì)每個(gè)camera計(jì)算該query在圖像上的坐標(biāo) for (int cam 0; cam num_cams; cam) { float cam_pt[4] {coords[idx*3], coords[idx*31], coords[idx*32], 1.0f}; // 矩陣乘法cam_pt cam2bev[b][cam] * cam_pt float img_pt[3]; mat_vec_mul(cam2bev b*num_cams*16 cam*16, cam_pt, img_pt); // 歸一化到圖像坐標(biāo) float u img_pt[0] / img_pt[2]; float v img_pt[1] / img_pt[2]; // 雙線性采樣省略邊界檢查實(shí)際需加 int u0 floorf(u), u1 u0 1; int v0 floorf(v), v1 v0 1; float w00 (u1-u)*(v1-v), w01 (u1-u)*(v-v0); float w10 (u-u0)*(v1-v), w11 (u-u0)*(v-v0); // 采樣并累加到output[n] for (int c 0; c C; c) { float val w00 * get_feat(feat, b, c, v0, u0, H, W) w01 * get_feat(feat, b, c, v1, u0, H, W) w10 * get_feat(feat, b, c, v0, u1, H, W) w11 * get_feat(feat, b, c, v1, u1, H, W); atomicAdd(output[idx*C c], val); } } }Step 2C Plugin Wrapperbev_plugin.cppclass BEVSamplePlugin : public IPluginV2DynamicExt { public: // 構(gòu)造函數(shù)接收cam2bev矩陣等常量參數(shù) BEVSamplePlugin(const void* data, size_t length) { const char* d static_castconst char*(data); mNumCams readint(d); d sizeof(int); mFeatH readint(d); d sizeof(int); mFeatW readint(d); } // getOutputDimensions告訴TRT輸出shape DimsExprs getOutputDimensions(int outputIndex, const DimsExprs* inputs, int nbInputs, IExprBuilder exprBuilder) override { // 輸入0: feat [B,C,H,W], 輸入1: coords [B,N,3] - 輸出 [B,N,C] auto B inputs[0].d[0]; auto N inputs[1].d[1]; auto C inputs[0].d[1]; return DimsExprs{4, {B, N, C, exprBuilder.constant(1)}}; } // enqueue真正的kernel launch int enqueue(const PluginTensorDesc* inputDesc, const PluginTensorDesc* outputDesc, const void* const* inputs, void* const* outputs, void* workspace, cudaStream_t stream) override { const float* feat static_castconst float*(inputs[0]); const float* coords static_castconst float*(inputs[1]); const float* cam2bev static_castconst float*(inputs[2]); float* output static_castfloat*(outputs[0]); int B inputDesc[0].dims.d[0]; int N inputDesc[1].dims.d[1]; int C inputDesc[0].dims.d[1]; int H mFeatH, W mFeatW; int grid (B * N 255) / 256; sample_2d_to_bev_kernelgrid, 256, 0, stream( feat, coords, cam2bev, output, B, N, C, H, W, mNumCams); return 0; } private: int mNumCams, mFeatH, mFeatW; };Step 3編譯與鏈接# 編譯CUDA kernel nvcc -gencode archcompute_86,codesm_86 \ -c sample_bev_kernel.cu -o sample_bev_kernel.o # 編譯C wrapper g-11 -stdc14 -shared -fPIC -o libbev_plugin.so \ bev_plugin.cpp sample_bev_kernel.o \ -L/usr/lib/x86_64-linux-gnu -lnvinfer -lcudart \ -I/opt/tensorrt/include -I/usr/local/cuda/include實(shí)操心得-gencode archcompute_86必須匹配5070顯卡的計(jì)算能力Ampere架構(gòu)用compute_80會(huì)觸發(fā)kernel launch失敗-fPIC是共享庫強(qiáng)制要求漏掉則trtexec報(bào)undefined symbol。4. 加速效果實(shí)測(cè)與深度歸因4倍不是平均值而是關(guān)鍵路徑的極限壓榨“4倍推理加速”這個(gè)數(shù)字必須拆開看——它不是所有場(chǎng)景的平均值而是BEVFormer端到端pipeline中最耗時(shí)的三個(gè)環(huán)節(jié)被逐一擊破后的累積效應(yīng)。我們?cè)贠rin AGX等效5070算力上用Nsight Systems抓取了完整的GPU timeline數(shù)據(jù)如下環(huán)節(jié)PyTorch原生(ms)TRT優(yōu)化后(ms)加速比關(guān)鍵優(yōu)化點(diǎn)BEV Query初始化 坐標(biāo)變換42.33.113.6xONNX圖修剪 Plugin固化跨相機(jī)特征采樣sample_2d_to_bev78.612.46.3xCustom Plugin替代CPU循環(huán)Deformable Attention聚合52.118.72.8xPlugin內(nèi)核級(jí)優(yōu)化 FP16混合精度其他BackboneHead13.08.81.5xTRT原生層自動(dòng)優(yōu)化總計(jì)端到端186.043.04.3x三環(huán)節(jié)協(xié)同增益這個(gè)表格揭示了一個(gè)殘酷真相加速紅利高度集中于BEVFormer的獨(dú)有計(jì)算環(huán)節(jié)。如果你只優(yōu)化了Backbone比如用TRT加速ResNet而放任sample_2d_to_bev在CPU上跑最終加速比不會(huì)超過1.8倍。這就是為什么網(wǎng)上很多“TRT加速BEVFormer”的教程效果不佳——它們只做了ONNX轉(zhuǎn)換沒碰Custom Plugin。4.1 精度-速度的黃金平衡點(diǎn)為什么我們放棄INT8堅(jiān)守FP16FP32混合INT8校準(zhǔn)后端到端延遲能壓到32ms再快11ms。但代價(jià)是mAP0.5暴跌至58.3%原始PyTorch為72.1%。深入分析發(fā)現(xiàn)精度損失集中在兩個(gè)地方第一BEV Query的attention權(quán)重在INT8下出現(xiàn)大量零值導(dǎo)致遠(yuǎn)距離小目標(biāo)如100米外的錐桶特征被完全丟棄第二sample_2d_to_bev插件的雙線性采樣系數(shù)在INT8量化后產(chǎn)生系統(tǒng)性偏移使BEV網(wǎng)格發(fā)生亞像素級(jí)扭曲。我們嘗試了三種補(bǔ)救方案方案A對(duì)attention權(quán)重層單獨(dú)用FP32——mAP回升到65.2%但延遲升至37ms方案B對(duì)采樣系數(shù)用半精度浮點(diǎn)FP16存儲(chǔ)其余用INT8——mAP達(dá)69.8%延遲34ms方案C最終采用BEV聚合層含sampleattention全程FP32其余層FP16——mAP穩(wěn)定在71.9%延遲43ms與原始PyTorch僅差0.2個(gè)百分點(diǎn)。注意這個(gè)混合精度策略必須在TRT構(gòu)建時(shí)顯式指定。我們用IAlgorithmSelector接口在createOptimizationProfile后手動(dòng)設(shè)置setPrecision(kFLOAT)給特定layer。TRT文檔里幾乎不提這個(gè)API但我們從NVIDIA工程師的內(nèi)部分享PPT里挖出了用法。4.2 5070顯卡的隱藏優(yōu)勢(shì)為什么它比A100更適合BEVFormer很多人覺得A100顯存大、算力強(qiáng)理應(yīng)是首選。但在BEVFormer部署中5070基于AD102 GPU反而有獨(dú)特優(yōu)勢(shì)更高的L2 Cache帶寬5070的L2 Cache為96MBA100為40MB。而BEVFormer的sample_2d_to_bev操作極度依賴cache命中率——它要反復(fù)讀取同一塊圖像特征HxW5070的cache能容納更多feature map tilecache miss率比A100低38%。更優(yōu)的SM調(diào)度器5070的SM支持更細(xì)粒度的warp調(diào)度對(duì)sample_2d_to_bev這種分支較多坐標(biāo)邊界判斷的kernel指令吞吐比A100高22%。更低的PCIe延遲5070的PCIe 5.0 x16帶寬雖與A100相同但5070的IO die集成度更高實(shí)測(cè)從CPU memcpy到GPU顯存的延遲比A100低15μs。這對(duì)BEVFormer這種需要頻繁CPU-GPU交互如img_metas傳入的模型很關(guān)鍵。我們做過對(duì)照實(shí)驗(yàn)同一份TRT引擎在5070上跑43ms在A100上跑49ms。別小看這6ms它決定了能否在100ms deadline內(nèi)完成BEV3D檢測(cè)跟蹤的全棧推理。4.3 端到端延遲的終極瓶頸不是GPU是CPU-GPU數(shù)據(jù)搬運(yùn)當(dāng)GPU計(jì)算被壓到極致新的瓶頸浮現(xiàn)CPU把圖像數(shù)據(jù)從內(nèi)存拷貝到GPU顯存的時(shí)間。我們用Nsight Compute抓取GPU kernel launch間隔發(fā)現(xiàn)sample_2d_to_bevkernel之間有平均8.2ms的空閑期——這正是CPU在memcpy。解決方案是零拷貝內(nèi)存映射Zero-Copy Memory Mapping// 在CPU端分配pinned memory float* h_feat nullptr; cudaHostAlloc(h_feat, feat_size, cudaHostAllocWriteCombined); // GPU端直接映射 float* d_feat nullptr; cudaHostGetDevicePointer(d_feat, h_feat, 0); // 后續(xù)kernel直接用d_feat無需cudaMemcpy啟用此方案后端到端延遲從43ms降至38ms再擠出5ms。但這要求CPU內(nèi)存必須是write-combined屬性且會(huì)略微增加CPU內(nèi)存占用。我們權(quán)衡后在Orin AGX上啟用了它因?yàn)锳GX的LPDDR5內(nèi)存帶寬足夠支撐。5. 常見問題與硬核排查那些讓你熬夜到三點(diǎn)的TRT崩潰現(xiàn)場(chǎng)部署B(yǎng)EVFormerTRT90%的問題不是模型不對(duì)而是環(huán)境、配置、硬件的隱性沖突。以下是我們?cè)?070平臺(tái)上記錄的真實(shí)崩潰案例與秒級(jí)定位法。5.1 問題速查表癥狀、根因、一行命令解決癥狀根本原因診斷命令解決方案trtexec報(bào)Segmentation fault (core dumped)libbev_plugin.so鏈接了錯(cuò)誤版本的libnvinfer.soldd libbev_plugin.so | grep nvinfer用patchelf --replace-needed libnvinfer.so.8 libnvinfer.so.8.6.1 libbev_plugin.so修復(fù)推理結(jié)果全為NaNsample_2d_to_bev插件中坐標(biāo)除零img_pt[2]0cuda-memcheck --tool memcheck ./trtexec --loadEngine...在kernel中加if (fabsf(img_pt[2]) 1e-6f) continue;防護(hù)trtexec構(gòu)建成功但C API加載失敗報(bào)Invalid EngineONNX導(dǎo)出時(shí)opset_version低于16onnx-check bevformer_sim.onnx重導(dǎo)出明確指定opset_version16GPU利用率始終30%但延遲很高CPU memcpy成為瓶頸nvidia-smi dmon -s u -d 1啟用pinned memory4.3節(jié)或改用cudaMemcpyAsyncINT8校準(zhǔn)后mAP歸零校準(zhǔn)數(shù)據(jù)集缺乏遠(yuǎn)距離小目標(biāo)python calib_analyzer.py --cache bev_calib.cache用bev_hard_sampler.py重采樣100幀困難樣本5.2 “CUDA error at: ../plugin/bev_plugin.cpp:127”如何讀懂TRT插件的崩潰堆棧TRT插件崩潰時(shí)錯(cuò)誤信息極其簡(jiǎn)陋只告訴你第127行出錯(cuò)。但這一行往往是cudaMemcpy或cudaLaunchKernel。真正有用的線索藏在cuda-memcheck的輸出里。例如我們遇到過一次崩潰cuda-memcheck輸出 Invalid __global__ read of size 4 at 0x000003a0 in sample_2d_to_bev_kernel(float const *, float const *, float const *, float *, int, int, int, int, int, int) by thread (0,0,0) in block (0,0,0) Address 0x7f8a20000000 is out of bounds這說明kernel在讀feat指針時(shí)越界了。順著這個(gè)地址我們用cuda-gdbattach進(jìn)程cuda-gdb ./trtexec (cuda-gdb) run --loadEnginebevformer_fp16.engine (cuda-gdb) catch cuda_error (cuda-gdb) cont (cuda-gdb) info registers # 查看PC寄存器指向的指令最終定位到get_feat函數(shù)里v0計(jì)算為-1導(dǎo)致數(shù)組下標(biāo)為負(fù)。修復(fù)方案是在kernel開頭加if (v0 0 || v0 H || u0 0 || u0 W) return; // 邊界防護(hù)實(shí)操心得TRT插件調(diào)試沒有捷徑。必須把cuda-memcheck、cuda-gdb、Nsight Compute三者組合使用。我們團(tuán)隊(duì)建立了一套標(biāo)準(zhǔn)響應(yīng)流程先cuda-memcheck看內(nèi)存錯(cuò)誤類型再cuda-gdb看寄存器狀態(tài)最后用Nsight Compute看kernel occupancy是否達(dá)標(biāo)BEV插件應(yīng)85%。5.3 “Plugin not found”為什么TRT找不到你的so文件這是新手最高頻的錯(cuò)誤。trtexec報(bào)Could not find plugin BEVSample但ls -l明明看到libbev_plugin.so。根因永遠(yuǎn)只有一個(gè)Plugin的注冊(cè)名與so文件中的類名不匹配。TRT通過getPluginName()返回的字符串查找Plugin。必須確保// bev_plugin.cpp中 const char* BEVSamplePluginCreator::getPluginName() const noexcept { return BEVSample; // 這個(gè)字符串必須與ONNX圖中node.op_type完全一致 }而ONNX圖中該node的op_type必須是BEVSample。我們用netron打開ONNX文件手動(dòng)編輯node屬性把op_type從Sample2DBEV改成BEVSample問題立刻解決。這個(gè)細(xì)節(jié)TRT文檔里只字未提是我們?cè)贜VIDIA論壇翻
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九九99视频精品| 色五月激情| 九九婷婷热| 99久久99热这里只有精品| 亚洲视频在线观看| 在线不卡的视频| 亚州视频九九99| 色五月av| 亚洲五月婷婷在线| 偷拍九九热| 99超在线| 国产黄色在线观看| 五月婷婷丁香在线视频| www.五月婷婷久久.com| 国产精品人成A片一区二区| 色噜噜狠狠色综合成人99| 五月激情综合深爱| 精品99*| 琪琪理论片| 99国产精品白浆在线观看免费| 99色看这里只有精品| 午夜天堂一区人妻| 婷婷五月丁香久久| 啪啪 综合网| 99无码黄色视频| 思思99热在线| 91av视频在线观看最新网址| 99热综合网| 桔色成人官方网站| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 日本九九网| 琪琪理论片| 99天天操夜夜操| 婷婷久久综合| 婷婷丁香视频| 操操人人| 91九色白丝| 噜噜色com| 久久五月天激情婷婷| 99热在线只有精品| 久婷婷五月丁香在线观看| 校园春色亚洲色| 五月婷六月| 五月天另类综合网| 精典久久| 激情综合视频| 丁香六月激情四射| 99热都是精品| 亚洲国产另类av| 日韩性视频| 就去涩涩丁香五月天| 婷婷五月色情天| 婷婷在线日韩综合| 婷婷综合网| 麻豆123区| 久久婷婷五月天激情四射| 婷婷五月天亚洲综合| 五月婷婷色情| 中美月韩免费A片| 亚洲色五月| www.9797国产| 日韩九九| 五月天深爱激情网| 91精品久| 日韩成人av在线| 色色色综合色| 中文字幕在线免费| 成人小说 五月天 婷婷| 久久9情免费| 婷婷五月天干干| 色婷婷成人色网| 国产精品成人av在线观看春天| 色婷婷AV久久| 337p大胆噜噜噜噜噜91Av| 五月天婷婷免费| 开心五月婷婷| 人妻精品一区二区三区| 九九激情综合| 国产又爽又猛又粗的视频A片 | 精品久久99| 日本色婷婷五月天成人电影| 丰满少妇乱A片无码| 热成人网| 99re这里只有精品国产99| 欧美久热| 深爱婷婷网| 激情网站五月| 蜜桃婷婷狠狠久久综合| 久久综合五月天| 婷婷六月丁香欧美视频在线| 色五月成人| 久久六月综合| 六月丁香婷婷综合在线| 色碰碰| 狼友视频在线观看18| 97色热| 色九月婷婷丁香| 激情六月婷婷| 六月婷婷色综合| 日夜操B| 婷婷 久综合| 中文字幕一色哟哟哟哟| 人妻AV在线| 黄色激情五月天| 美臀自射自家人妻| 九九热欧美| 人人97操| 亚洲综合一区二区| 男人天堂 久久| 日韩在线观看网址| 婷婷五月天视频| 五月停停色色丁香| 国产免费一区二区三区三州老师F1F1.CC | 精品自拍97| 天天碰夜夜操| 久久香蕉丁香| 激情综合婷婷| 久久多色| 午夜丁香综合婷婷| 亚洲无码影片| 色色色色色日韩午夜激情 | 99操视频| 久久久久婷婷| 激情婷婷丁香| 91男同| 久热9| 欧美日韩成人免费在线| 丁香六月婷| 影音先锋一区| 91碰碰| 婷婷欧美| 丁香六月在线综合| 伊人9草在线观看| 91婷婷伊人牛牛| WWW免费视频碰碰碰碰| 97热这里只有精品| 第五婷婷伊人丁香色| 丁香婷婷五月天激情四射| 任你操精品免费| 久久久婷婷| 婷婷五月情| 九九成人电影婷婷| 五月天婷婷基地| 五月婷婷影院| 777影视理论片大全在线观看| 色五月综合在线| 99热久| 久久艹 五月天| 激情AV中文| 日本高清不卡免费一区二区三区| 五月丁色AV| 色婷婷综合久久久久| 人妻五月天激情开心网| 天天开心婷婷丁香五月| 开心激情网在线| 婷婷另类小说| 婷婷六月五月天综合| 色播五月| jiujiu热在线视频| 五月天天爽| 久99视频在线观看| 九九热青青草| 男女av免费看| 1区2区视频| 内射 无码 伊人| 丁香五月天视频| www,8050,午夜三级| 99re免费精品视频| 99热爱爱干干日| 色婷婷视频在线| 这里只有精品99视频| 日本三级韩三级99久久| 久久五月丁香激情综合| 九九婷婷热| 99cao婷婷| 丁香五月六月婷婷怡红院| 1024AV视频| 免费精品99| 91人妻人人操人人爽| 综合色五月| 丁香五月激情六月欧亚激情综合导航| 亚洲亚洲人成综合网络| 婷婷开心久久| 九九九九综合| 久久一级AV| 思思久日精品视频| 色婷婷久久综合| 国产做爰视频免费播放| 丁香五月天婷婷中文字幕| 欧美狠狠草| 99久热视频在线| 99熟女啪啪视频| 99热日| 丁香五月婷婷亚洲色图| 91丁香色| 婷婷五月天视频| 九九热在线视频观看| 激情小说五月天社区丁香| 婷婷五月天国产性感美女演员久久久久| 99久久99久久| 996热re视频精品视频这里| 99久热| 婷婷五月激情在线| 婷婷色网| www.精品99| 97在线日本| 五月天丁香久久综合| 色五月六月| 超碰网站在线观看| 夜丁香综合| 狠狠色五月| 国内裸舞二区| 激情综合亚洲| 五月天婷婷久久| 日韩 mm 不卡| 碰碰碰97免费精彩视频| 亚洲另类在线观看| AV在线不卡播放| 麻豆WWWCOM内射软件| 五月丁香大香蕉| 亚洲激情综合| www.婷婷com| 久久久精品免费啪啪国| 9一精品视频观看| 91日综合欧美| 日韩黄色电影| 色六月天天激情综合网| 欧美日本一区二区三区| 婷婷五月天激情开心网| 99热亚洲精品| 提提热五月天婷婷| www.色擼擼.com| 丁香五月天堂网| 色综合激情| 国产毛多水多女人A片| 91色性感五月婷婷丁香| 在线看片av| 婷婷五月丁香在线观看| 五月天伊人网| 性无码专区无码| 婷婷激情五月天激情小说| 丁香五月人妻| 五月天婷婷黄色| 婷婷五月电影| 亚洲九九99精品视频在线播放| 欧美日韩精品一区二区三区钱| 任你搞网站| 97干婷婷五月天| 性天堂久久| 色吧婷婷五月亚洲| 国产 码在线成人网站| 国产乱妇乱子伦| 丁香久月| 9 7总站超级碰免费视频| 97精品综合久久| 婷婷欧美激情综合| 伊人激情| 亚洲色激情| 久99久视频| 中文av网站| 色婷操逼| 在线播放中文字幕| 天天天操天天天爰| 婷婷五月天六点丁香五月| 色婷婷久久| 成人版视频在线观看| 婷婷五月婷婷| 99热国内精品| 久9热| 色色色色网| 天天色五月| 成人电影一区| 成人婷婷| 色色五月天婷婷| 秋霞av不能| 9久久精品视频| 久久9视频| 99热97| 涩涩涩.com| 丁香六月婷婷综合网| 丁香五月激情宗合| 婷婷五月丁香手机在线视频| 色人妻五月| 就爱啪啪婷婷| 能直接看的AV网站| 激情六月日韩| 婷婷五月综合网| 九九99在线免费在线观看视频| 偷拍91九色| 无人精品在线视频| 激情久久丁香| 超碰亚洲天堂| 五月婷婷丁香日韩在线| 丁香六月激情四射| 99综合网| 色婷婷五月网| 婷婷激情五月天小说校园| 99热这里全是精品| 韩国激情五月天综合网| 婷婷五月天综合在线| 夜夜 操无码| 丁香婷婷社区| 色色色色综合网| 丁香婷婷六月天| 亚洲综合色色色| 无码免费人妻A片AAA毛片西瓜| 日本在线wwww| 色婷五月天| 九九RE视频在线精品| www.激情五月天。com| 日日操夜夜爽白洁| 美女天天爽| 婷婷精品在线| 国产伦亲子伦亲子视频观看| 激情综合国产| Va另类视频| 婷婷五月天情色| 能直接看的av网站| 青青草99热久久精品国| 天天做天天双| 久久婷婷五月天激情四射| 色五月大香蕉| 日本在线wwww| 夜夜骑日日夜夜| 色在线99| 国产免费av网站| 天天射天天干天插色综合| site:pnnrt.com| 我淫我色婷婷五月天激情四射| 色噜噜五月天| 激情四射网| 丁香五月天堂婷婷| 久久婷婷亚洲| 亚洲精品永久久久久久| 日韩成人无码| 99色热综合| 久久XX| 丁香五月色情av| 97色色-99久久| 九九成人| 丁香五月激情综合婷综| 色碰碰| 99综合99| 久久久久人妻精品| 久久久久婷 | 思思热这里只有精品| 性爱激情久久| 久久免费视频62| 国精产品一区一区三区免费视频| 五月婷丁香久久久| 亚洲欧美成人在线| 91干在线| 久久人人超| 91人人网| 婷婷五月天成人| 99亚洲精品视频| 夜夜大香蕉婷婷丁香| 久久婷婷六月综合| 五月天综合色| 五月天播播| 五月丁香六月成人| 久久丁香五月天| 大香蕉九九| 91精品综合久久久久久五月天| 欧美天天草人人草| 日韩av免费版| www久热com| 99碰碰碰| 99在线资源| 亚洲AV免费在线| 亚洲精品无码一区二区| 丁香六月婷婷综合网| 欧美私人家庭影院| 丁香六月色婷婷| 精品视频网| 丁香久月| 蜜乳A√| 婷婷久久色| 天天爱天天狠天天透| 丁香影院五月综合| 久超超碰| 欧美激情综合色综合| 9久9久| 夜夜夜夜夜操| 五月婷婷手机在线| 五月天久久www| 亚洲网站观看视频| 久久九九爽| 五月激情偷拍婷婷| 成人AV综合在线| 狠狠操狠狠插| xx综合网| 久碰久操| 色综合视频在线| 五月天在线视频尤物视频在线看| 1769在线观看欧美国产| 天天搞天天爽| 婷婷五月影院| 色婷婷五月网| 激情五月婷婷欧美极品 | 色五月天成人| 五月在线婷色| 丁香,开心成人,久久| 国产成人AV在线播放| 亚洲亚洲激情| 五月丁香婷婷五月色| 操九色| 综合五月激情| 裸体做A爰片毛片A片免费| 五月婷婷欧洲| 婷婷久久综合| www激情| 九九色热| 99热这里只有精品搜| 久久最新色色色| 久热伊人| 五月丁香成人| 91嫩草久久| 99干视频| 天天插轮理| 九月婷婷| 久综合| 91精品国产色猫| 偷拍丁香九月激情| 亚洲欧美日韩VIP| 色婷久久| 97干在线观看视频| 天天肏在线观看| www,av好吊操| 久re热视频| 五月丁香偷拍| 四色五月婷婷在线观看| 丁香欧美| 夜夜操夜夜姧| 99热99色| 中文婷婷狠狠| 有码一区二区三区| 国产古装妇女野外A片| 99久视频| 9九九久久精品无码专区| 日欧一片内射VA在线影院| 曰韩少妇内射免费播放| 人人色人人弄人人操| 精品少妇人妻AV无码专区偷人| 91操人视频| 欧美肉大捧一进一出免费视频| 这里只有精彩视频| 乱岳熟女50岁| 中文字幕人妻一区二区| 国产XXXX搡XXXXX搡麻豆| 国产肥白大熟妇BBBB视频| 狠狠操狠狠| 婷婷激情鹿城五月天| 99热乎| 天天添天天摸天天天天做| 五月天播播| 视频一二区| 日本99色| 性无码专区无码| 男女啪啪视频久 9| 九九人人自拍| 婷婷五月综合久久中文字幕| 色五月天激情| 精久久色| 99这里都是精品| 婷婷六月激情丁香| 五月天丁香久久| 99激情在线| 亚洲中文字幕av| 婷婷五月天99综合网站| 亚洲四色五月| 夜夜操夜夜爽| 婷婷激情五月综合丁香社| 常久最新免费的色吊丝| 亚洲视频操| 天天天天干| 91n啪啪| 99九九视频| 国产va在线视频| 大香蕉伊人99| 99九精品| 六月色色婷婷| 99久精品视频| 九色综合五月天婷五月| 噜噜噜噜婷婷五月天| 啄木鸟丝袜美女福利视频| 色视五月天婷婷| 99视频九九热| 9在线9在线婷婷在线国产| 亚洲在线激情婷婷五月| 丁香婷婷六月| 亚洲岛国电影| 丁香五月天欧美在线| 嫩草视频在线观看| 一操久久| 99热色精品| 精品久久久91久久影视网| 久xxxx| 日本操逼九九九九58日本操逼| 一点色成人网| 26uuu国产色| 这里只有精品1| 日本操天堂| 色五月xxx| 天天干一干| 久9热| 天堂网色色| 一本综合丁香日日狠狠色| 香蕉久久国产AV一区二区| 天堂综合久久| 九九热在线99| 丁香五月天婷婷大香蕉| 五月丁香六月婷婷在线观看| 亚洲超级碰| 日本熟女一区二区| 中文字幕无码人妻少妇免费视频| 色婷婷在线视频久| WWW色五月| 丁香五月花| 婷婷五月天视频小说| 欧美婷婷| 六月丁香婷婷在线波多| 久热一区| 综合六月激情婷婷| 99久久婷婷国产综合精品电影| 伊人日日干| 三人荫蒂添的好舒服A片| 狠狠操天天操天天操| 丁香婷婷久久| 五月丁香六月婷婷在线小说视频| 女人天堂AV| 欧美一级操逼视频| 97九色视频| 天天综合精品| 日本va欧美va欧美va| 日韩日比视频| 综合婷婷| 丁香六月婷婷激情| 丁香五月1页| 国产精产国品一二三在观看| 五月婷在线视频免费看| 伊九九三级区| 成人超碰网| 日日干夜夜干| 激情五月图| yazhoujiqingav| 综合综合网| 久久免费丁香| 亚洲A片成人无码久久精品青桔| 五月婷婷六月开心| 92久久| 精品一区二区三区免费毛片爱| 亚洲婷婷激情888精品久| 亚洲免费av观看| 五月婷婷六月丁香| 五月天播播| 久热这里只有精品在线观看| 成人久碰| 婷婷内射视频在线| 婷婷丁香午夜综合影视| 蜜臀av粉嫩av懂色av| 国产伦亲子伦亲子视频观看| 99热99在线| 婷婷五月天天激情| 少妇高潮呻吟A片免费看软件| 啪啪啪大香蕉| 99热资源在线| 欧美视频在线观看噜噜| 激情四射五月天偷偷看婷婷| 婷婷自拍| 双性美人被调教到喷水A片| 激情婷婷久久| 亚洲久热无码| 六月色国内综合| 色五月亚洲五月天| 丁香五月婷婷综合精品素人| 国产精产国品一二三在观看| 天天日天天摸| 丁香六月久久| 五月开心网| 噜噜精品| 这里只有九九精品| 丁香婷五月| 婷婷激情丁香五月婷婷激情丁香五月婷婷| 成人五月天丁香婷| 伊人成综合五月婷婷| 五月婷婷成人| 很很干夜夜干| 色五月婷婷五月天激情综合| 婷婷五月天激情网站| 五月丁香六月婷婷亚洲综合| 六月合五月婷| 这里只有精品2| 26uuu欧美激情另类| 5月婷婷性视频| 丁香五月亚洲综合| 婷婷色五月丁香六月欧美啪| 天天做天天爱天天爽综合网| 蜜桃人妻无码AV天堂三区| 五月婷婷第四色| 五月激情婷婷开心五月| 丁香涩涩五月天| m色激情网| 婷婷激情综合网| 狠狠干在线视频| 婷婷五月天首页| 激情二色月| 国产va在线视频| 天天综合激情| 丁香婷婷人妻综合网| 六月婷婷色五月| 丁香婷婷视频| 成人av中文字幕| 激情五月天婷婷丁香| 婷婷激情五月| 大香蕉丁香婷婷| 91黄色五月天视频| 五月天久久激情| 久久密臀婷婷| 丁香五月天婷婷91| 无码人妻电影| WWW丁香五月| 99热99这里有免费的精品| 五月丁香婷婷爱| 人人摸人人| 激情五月天伊人影院| 丁香五月婷婷啪啪啪| A片试看120分钟做受图片| 在线91日韩| 97碰碰视频在线观看免费| site:minyis.com| 一本综合丁香日日狠狠色| 九九99一区| 色综合久| 亚洲成人在线观看网址| 99热精品10| 五月激激激情综合网| 久久色五月天| 日韩青青| 梁铮版《蜘蛛女侠》在线| 婷五月天在线草| 开心婷婷五月花| 色香久久| 91人人爽人人操| 97婷婷丁香| 色婷婷久久| 免费不卡狠操美女视频网| 国产伦亲子伦亲子视频观看| 无码激情AAAAA片-区区| 欧美日韩成人高清在线| 天天操天天草天天草天天| 色五月成人| 久久婷婷夜| A在线观看| 色爱五月天| 伊大人久久| 五月天色官网| 色婷婷六月| 噜噜狠狠| 99综合免费视频| 丁乡久久| 综合久久久| 玖玖精品婷婷| 日日.c| 欧美大肥婆大肥BBBBB| 99久在线视频| 丁香五月婷婷亚洲综合精品| 无码九九九九| 色色 9| 丁香五月天社区婷婷| 天天操天天爱天天日| 五月天亚洲综合网| 亚洲成人va| 91n啪啪| site:xmssd.com| 996er热| 综合网啪| 狠狠狠狠狠狠狠狠| 丁香五月综合激情啪啪| 五月婷婷激情| 婷婷久久五月| AV人人操| 天天综合色综合| 香蕉久久国产AV一区二区| 热99只有精品| 男人的天堂在线婷婷| 激情五月色综合国产精品| 午夜精品人妻无码一区二区三区| 草美女在线观看视频在线播放| 99热这里全是精品| 99re这里只有精品国产99| 激情小说视频图片| 开心婷婷中文字慕| 丁香六月婷| 99er这里只有精品| 校园春色亚洲色| 成人色五月天| av大片在线| 婷婷开心激情| 婷婷天堂站| 色色五月婷婷| 婷婷日日天天| 大香蕉啪啪| 可以看的AV| 五月开心婷婷| 久久久婷婷五月亚洲97号色| 五月丁香婷婷综合网| 99国产性感视频| 婷婷婷久久久| 婷婷五月激情小说| 色色五月丁香| 婷婷五月天资源| 午夜亚洲国产精品av一区二区| 天天色宗合| 婷婷丁香一月| 综激情网| 欧美日韩五月婷婷| 婷婷五月亚洲一本在线丁香| 婷婷五月69| 久久日九九| 丁香五月天激情综合| 五月天成人网婷婷| 色婷婷操逼网| 在线色婷婷| 操一操干一干| 五月天激情图片| 婷婷开心青青草| 日本啪啪天堂| 超色欲天天| 综合网五月| 九九热自拍| 99热无码首页| 激情综合网 激情五月天| 新99思思视频| 丁香花五月天婷婷成人社区| 狠狠色婷婷综合开心影视| 婷婷五月天伊人| 人妻视频在线| 欧美成人精品A片免费一区99| 色婷婷五月亚洲| 五月丁香婷婷久久| 爱性综合网| 色婷婷啪啪| 玖玖综合色区在线观看| 99色在线| 久热9| 99热爱爱干干日| 《蜘蛛女》梁铮1995| www,五月丁,com| 激情五月五月五月婷婷| 人人天堂操| 伊人日日干| 婷婷色网站| 99久久精| 成人精品一区二区三区四区五区| 97超碰综合| 久99| 丁香五月天信号| 激情综合网五月在线播放| 激情五月,激情综合网| 国内久久亭亭| 97婷婷色| 五月丁香婷色| 色五月在线视频观看| 99 这里只有精品| 美女天天久久| 丁香婷婷六月在线资源观看| 五月激情婷婷在线| 激情五月天开心| 亚洲欧美婷婷五月色综合| 色五月成人| 婷婷五月天视频亚洲| 色欲午夜无码久久久久久张津瑜| 97人人操人人| 乱精品一区字幕二区| 亚洲天堂色| 久久99看免费| 婷婷亚洲综合| 久久久婷丁香五月| 99久热| 五月婷综合| 97色婷婷| 激情久久肏屄视频| 爱之国产色情综合| 深爱五月网| 婷婷久久综合| 久久综合九九| 五月日韩中文字幕| 91操网| 99惹精品视频| 新激情五月天天在线网| 97亚洲视频在线| 国产真实乱了老女人视频 | AV五月婷婷露脸| 综合久久久| 国产精品久久久久久亚洲毛片| 色色丁香婷婷五月天| 久婷五月| 思思热在线免费视频| 婷婷八月丁香激情综合| 五月激情天| 五月丁香婷在线| 亚洲精品亚洲人成人网| www.seqingwuyuetian| 九九99九九99偷拍视频免费看| 99国产小视频| 日本高清久久| 97艹| 婷婷丁香五月高清| 狠狠色成人影片| 久久久香港| 人人看人人草人人摸| 五月天播播| 噼里啪啦完整版中文在线观看| 久久九九@| 色5月婷婷| 五月婷婷色欲| 视色综合| 五月丁香久久激情综合| 激情丁香五月天综合| 991精品在线视频| 久久男人网婷婷| 天天拍夜夜撸| 亚洲亚洲人成综合网络| 色婷婷久久综合| 生活片五区| 开心五月婷婷婷美女| 国产午夜精品久久久观看| 欧美黄色一级录像| 狠狠人人| 久久婷婷五月| 天天操天天操| 久久婷婷五月天丁香| 国熟女视频| 亚洲六月综合激情久久下卡| www天天干| 一本道在线电影| 婷婷色色播五月天| 五月激情四射网站| 婷婷丁香五月天亚洲| 9热成人在线视频| 日日日天天干| 操人视频91| 激情综合在线观看| 激情影院内射| 日韩抽插操逼| 色五月琪琪| 九九热这里都是精品6| 99在线精品免费视频| 天天色一道本综合婷婷| 激情婷婷五月天| 激情五月丁香六月| 婷婷综合激情| 超碰激情五月| 99re视频在线播放| 99色中文| 最新婷婷五月丁香| 精品人妻伦一二三区久久| 伊人久久大香蕉网| 婷婷五月在线视频| 激情综合另类| www.久久久久久久久久久| 亚洲中文字幕在线观看| 丁香五月23111| 少妇婷婷五月天| 丁香五月激情综合| 热99视频| 丁香五月婷婷www..com| 五月丁香久| 久久丁香五月婷婷激情综合网| 色999亚洲人成色| 五月天婷婷乱| 久热中文字幕| 综合激情专区| 亚州第一黄网| 丁香五月激情综合| 五月丁香婷婷久久| 欧洲色色| 天天操夜夜玩!| 五月天激情综合网站| 9精品视频在线| 9999热精品| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 97色色色色色| 天天天天天天操| 婷婷五月天Av| 五月婷婷中文字幕| 亚洲一级AV在线免费播放| 色色色欧美| 狠狠搞狠狠操| 噜噜狠狠色综无码久久合欧美| 丁香六月成人网| 五月丁香婷婷色| 97人妻碰碰碰久| 丁香五月婷婷av影院| 99性爱视频| 97色碰| 97啪啪| 中国丰满熟女A片免费观| 精品久久9| 婷婷六月天天| 天天射美女| 天天肏天天肏天天肏| 欧美成人精品老美女噜噜噜| 99r久久这里只有精品| 99a级片| 超碰97色| 日本99在线| 99人人精品| 精品99在线| 婷婷丁香五月天哟啪| 久久九九免费大视频| 99re思思热在线视频| 亚洲欧美成人在线| 天天操B| 人妻22p| 日日噜狠狠色综| 天天激情5月天亚洲| 婷婷丁香五月天婷婷| 婷婷五月天色色| 午夜婷婷| 五月丁香六月激情综合啪啪| 婷婷五月激情在线| 婷婷综合成人| 丁香五月六月综合激情| 日本不卡一区二区三区| 色级婷婷| 色5月婷婷| 蜜臀A∨在线水帘洞| 无码毛片992367| 色婷婷五月天天天干天天操天天爽| 综合色色婷婷| 五月六月激情| 五月天婷婷综合免费| 天堂综合久久 | 五月丁香综合啪啪| 五月天激情无码高清 | 婷婷九月激情| 婷婷久久久久久久| 狠狠狠狠狠| 大香网伊人久久综合| 久久亭亭电影| 久久性爱视频免费| 色婷婷九月| 天天色播| 久久亚洲无码| 人人爱干人人爱草| 色狠狠色噜噜噜a天堂一区| 激情五月天婷婷五月天| 欧美性爱五月天| 色欧美一级| 99热婷婷| 亚洲第一综合| 婷婷五月天综合网| 激情五月天婷婷播播久久综合91| 九九久久99精品免费观看www| 天天射美女| 色天天综合| 六月丁香网| 99 热国产在| 狼人婷婷综合| 色婷婷文字幕| 亚亚州久久高潮| 婷婷亚洲在线| 操一操插一插| 五月丁香六月激情网站| 深爱激情五月天色婷婷| 大香蕉久久| 九九热再线九九视频免费在线观看| 99热最新网址| 久久五月婷| 亭亭五月色男人| 99热最新网址| 99免费| 丁香月六月| 色一色综合| 日日夜夜小色哥| 久草婷| AAAA网站| 五月叮香啪| 日韩精品999| av操一操| 日本五月天网站| 加勒比久热| 久久九九热视频| 五月婷婷丁香五月| 天天色宗合| 九月丁香欧美综合| 99视频只有这里精品| 九色婷婷| 婷丁五月| 五月天婷婷综合网| 丁香六月 婷婷六月| 色99在线| 熟女重口味αV| 精品夜夜澡人妻无码AV| 久久激情五月天| 91黄操| 免费播放片大片| 黄色毛片精品| 情色婷婷五月天| 懂色av蜜臀av粉嫩av永陈冠希 | 天天日天天肏天天奸| 国产91视频| 亚洲啪啪视频| VA国产在线综合网站| 婷婷D区| 综合久久99| 99色在线观看| 久操婷婷| 五月丁香啪啪综合| WWW,五月| 97干视频在线| 五月天久久网站| 成人深爱丁香五月| 97热91| 99综合| 色一区高清| 超碰一区二区| 五月综合缴情网| 色欲婷婷五月天丁香| 色婷婷亚洲精品天天综| 操操操AV| 丁香激情五月| 亚洲网站观看视频| 色婷婷五月天在线观看| 翔田千里aV中文字幕| 嫩草国产| 色情综合| 色综合丁香婷婷| 99爱这里只有精品| 伊久大香蕉| 婷婷中文在线| 五月丁香网站在线播放| 婷婷日韩| 思思精品视频| 天天五月情| 久久久精品AV| 91919191919久久成人视频| 五月天色丁香| 26uuu亚洲欧美| 色色亚洲无码| 97久久久免费福利网址| 色婷婷呢狠禁久禁| 婷婷综合激情| 精品在线网站| 丁香五月婷婷五月天| 久久婷婷五月综合色播| 日本久久视频| www91色网站| chaopengdaxiangjiao| 五月天啪啪| 丁香五月av| 激情色视频| 五月天激情子轮| 五月丁香好婷婷姑娘综合网| 五月丁香综合激情| av在线观看网址| 国产SUV精品一区二区6| 九九99九九99九九99视频网| 丁香五月六月婷婷殴美综合| 五月丁香久久网| 丁香六月婷婷久久高清| 日本欧美国产| 99黄色在线视频精品熟女| 男女av免费看| se婷97| 丁香五月天亚洲综合| 青柠影视免费高清电视剧| 91九色网| 五月天婷婷社区| 国产亚洲色婷婷久久99精品91| 激情丁香图片| 思思热这里只有精品| 久久精品亚洲热| 五月婷婷69| 五月激激激情综合网| 色婷婷视频综合| 五月激情小说网| 色天天综合成人网| 日日操,夜夜爽| 天天草天天摸| 五月天亚洲色| 丁香五月婷婷亚洲色图| 九九热大香蕉| 久久综合爱| www.夜夜操| 五月激情小说| 五月激情综合婷婷| 色婷婷综合成人| 操人91| 桃色激情婷婷伊人网| 久久黄色免费视频| 狠狠干伊人| 色色a| 色情综合| 香蕉AV777XXX色综合一区| 大陆极品少妇内射AAAAAA| 人人操人人添人人摸97| 91丨九色丨老农村| 亲子乱AV一区二区三区下载| 激情综合网五月婷婷| 婷婷第六色| 色大综合| 久久综合性| 五月丁香六月激情| 嫩草视频。| 99九九在线视频| 欧美99热| 丁香婷婷色情社区成人小说| 直接看的AV| 久久天天| 五月丁香网站| 99色综合久久| 五月天婷婷色在线视频免费观看| 久热网在线视频| 六月婷婷色综合| 久久久亚洲成人无码A片| 伊人五月综合网| 狠狠操天天日| 五月天婷婷AV| 国产日韩欧美| 久久色五月| 五月丁香亚洲婷婷| 五月丁香激情综合网| 婷婷色色网站| 五月婷婷七月丁香| 99激情| 99亚洲精品综合在线| 97色色-99久久| 五月天天久久香| 99热精品免费| 国产.亚洲.欧洲视频在线| 五月丁婷婷| 99热这里只有精品9| 91av视频在线观看最新网址| 噜综合| 女人天堂AV| 色久女| 久久99热在线观看| 亚洲乱码日产精品BD| 婷婷五月四狠狠| 五月丁香久久久久| 人人性久久| 婷婷六月色开 | 亚洲夜夜操| 丝袜大香蕉| 一夜福利不卡| 色综合久久88色综合天天99| 久久五月情| www99热| 第五婷婷伊人丁香| 操啊操av| 色爽干| 五月婷婷六月丁香激情综合网| www.婷婷| 激情播丁香| 亚洲成人免费在线| 大香蕉久久草| 激情五月天色播| 色五月激情综合网站| 天天操九九插| 久热伊人在91| 欧美成人猛片AAAAAAA| 亚洲综合久| 成人五月天丁香| 婷婷五月天社区| 狠狠色无码| 99热插| 五月婷丁香| 亚洲色A| 五月停亭六月,六月停亭的英语| 欧美丁香婷婷五月| 丁香涩涩五月天| 色婷婷综合综合网| 99热播放| 五月婷婷开心六月激情小说| 欧美在线视频9| 99久久久久| 日本色爽| 久久er+| 欧美日韩国产一区二区| 99热免费| 五月人妻婷婷视频| 久久婷婷五月天蜜桃| WwW色婷婷| 丁香六月啪啪| 五月天婷婷激情小说电影| 丁香五月自拍| 婷婷七月丁香色色| 丁香六月婷婷色XXXX| 婷婷久久网| 日日爽日日| 五月天欧美 另类小说| 五月综合激情| 久久久日韩特色特黄AAAA| 伊人久久婷婷| 日本一级一片免费视频| av五月天婷婷丁香| 亚洲激情 久久| 九九综合| 另类在线观看视频| 无毒黄色网址| 曰韩少妇内射免费播放| 99久久婷婷国产综合精品草原| 天天干狠狠| 99色 色| 丁香五月激情视频| 涩涩涩婷婷| 天天激情视频| 俺来也综合网精品一区 | 五月激情综合网| www.99久久久| www.色九月| 激情99| 天天爱天天秀天天做| 综合图片色色| 噜噜狠狠色| 婷婷五月色天| 蜜乳中文字| 婷婷六月视频| 亚洲男人的天堂婷婷色五月| 丁香婷婷五月天校园春色| 五月丁香啪啪网| 中文字幕在线不卡| 99人人干| 色婷婷69| 色99在线视频| 婷婷六月激情| 玖热精品综合视频| 六九色综合婷婷五月天| 丁香五月婷婷亚洲另类| 五月丁香婷婷99| 激情五月综合第一页| 六月婷婷七月丁香| 外国碰视频网站97| 五月丁香六月成人| 六月激情婷婷| 插插插丁香五月婷婷| 五月丁香激情综合六月涩涩爱| 天天干天天 亚洲| 五月婷婷干| 日本五月视频| 六月婷婷色| 91大神操美女| 九热视频| 亚洲偷| 99久久欧美| 停停五月色宗合| 久久激情视频99| 亚洲激情 久久| 这里只精品热在线18| 五月丁香六月玩女人| 激情五月婷| 国自产拍偷拍精品啪啪一区二区| 极品人妻VIDEOSSS人妻| 色色综合五月| 99噜噜噜| 六月丁香花婷婷| 色五月色综合| 婷婷欧美激情| 99热亚洲| 无遮羞AV| 91丨九色丨白浆秘| 青青热久精品视频在线观看| 99热这里只有精品国产首页|