欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

TensorRT加速TensorFlow模型推理:層融合、FP16與動(dòng)態(tài)shape實(shí)戰(zhàn)

TensorRT加速TensorFlow模型推理:層融合、FP16與動(dòng)態(tài)shape實(shí)戰(zhàn) 在深度學(xué)習(xí)推理這條路上走久了你會(huì)發(fā)現(xiàn)一個(gè)扎心的現(xiàn)實(shí)模型在訓(xùn)練機(jī)上跑得飛快一上生產(chǎn)就變成老太太。尤其用 TensorFlow 訓(xùn)練完模型部署到 GPU 推理時(shí)明明顯存占用很高幀率卻上不去。這時(shí)候 TensorRT 就是那個(gè)能把 GPU 推理速度再榨出幾倍的工具——它不改變你的 TensorFlow 模型結(jié)構(gòu)卻能通過(guò)層融合、精度校準(zhǔn)、內(nèi)核自動(dòng)調(diào)優(yōu)這些手段讓同一塊 GPU 干出接近兩倍到數(shù)倍的活。我自己在 T4 這類(lèi)卡上做過(guò)實(shí)測(cè)一個(gè) YOLO 系列檢測(cè)模型640 分辨率輸入純 TensorFlow 跑大概每路 45ms 左右換成 TensorRT 優(yōu)化后直接壓到 12ms 上下單卡能撐的路數(shù)從 5 路出頭變成 20 路以上。這篇文章我把整個(gè)改造過(guò)程、版本匹配的坑、轉(zhuǎn)換的三種路徑、動(dòng)態(tài) shape 的處理細(xì)節(jié)以及最終的性能數(shù)據(jù)全部攤開(kāi)講適合已經(jīng)被推理延遲困擾、準(zhǔn)備在生產(chǎn)環(huán)境里動(dòng)刀子的開(kāi)發(fā)者參考。1. 為什么要?jiǎng)?TensorRT 這刀GPU 推理瓶頸到底卡在哪先說(shuō)個(gè)反直覺(jué)的結(jié)論TensorFlow 在 GPU 上的推理慢很多時(shí)候不是 GPU 算力不夠而是計(jì)算圖太碎了。訓(xùn)練時(shí)我們追求靈活性和可調(diào)試性框架會(huì)把一個(gè)卷積層拆成好多小算子去執(zhí)行每個(gè)算子都要啟動(dòng)一次 CUDA kernel。而 kernel 啟動(dòng)是有開(kāi)銷(xiāo)的——這個(gè)開(kāi)銷(xiāo)在毫秒級(jí)模型里往往占了大頭。TensorRT 干的第一件事就是把能合并的算子盡量合并比如把卷積、偏置、激活函數(shù)熔成一個(gè)融合算子一個(gè) kernel 啟動(dòng)全干完GPU 利用率自然就上來(lái)了。理解這個(gè)原理你才能明白為什么 TensorRT 能帶來(lái)質(zhì)的飛躍而不是簡(jiǎn)單的 10% 提升。我用兩個(gè)數(shù)字來(lái)說(shuō)話(huà)一個(gè) ResNet50 的推理圖里TensorFlow 默認(rèn)展開(kāi)后大概有上百個(gè)算子節(jié)點(diǎn)而 TensorRT 優(yōu)化完可能只剩下三四十個(gè)融合節(jié)點(diǎn)。算子少了kernel 啟動(dòng)次數(shù)少了GPU 深層次的流水線(xiàn)才能吃飽。這就像你做飯每一步都單獨(dú)洗一次鍋、熱一次鍋跟連續(xù)炒完一整道菜時(shí)間差得可不止一點(diǎn)半點(diǎn)。它對(duì)不同模型的收益差別也很大。CNN 類(lèi)模型因?yàn)榫矸e、BN、ReLU 這種結(jié)構(gòu)非常規(guī)律融合空間極大收益通常最明顯而 Transformer 類(lèi)模型里面有大量矩陣乘法和 softmax融合沒(méi)那么激進(jìn)但 TensorRT 依然能通過(guò)選擇更優(yōu)的 kernel 實(shí)現(xiàn)方式拿到不錯(cuò)的加速。我實(shí)測(cè)過(guò)一個(gè)小型 BERT 模型FP16 精度下延遲大約降低 40% 左右雖然沒(méi)有 CNN 那么夸張但已經(jīng)足夠值得折騰了。另外還必須提精度這一層TensorRT 支持 FP32、FP16、INT8 三種精度。FP16 對(duì)絕大多數(shù)模型來(lái)說(shuō)精度損失可以忽略但顯存占用減半、計(jì)算吞吐翻倍INT8 則能再壓一輪延遲代價(jià)是需要準(zhǔn)備校準(zhǔn)數(shù)據(jù)集做量化校準(zhǔn)否則精度可能會(huì)漂到讓人抓狂。這里建議新手先別碰 INT8FP16 往往已經(jīng)能解決大部分痛點(diǎn)。從部署架構(gòu)角度講TensorRT 也不是要你重寫(xiě)整個(gè)服務(wù)。TensorFlow 模型可以先轉(zhuǎn)成 SavedModel再用 TF-TRT 接口做圖內(nèi)優(yōu)化保留 TensorFlow 的 Serving API 不變甚至用 TensorRT 的 Python API 直接加載轉(zhuǎn)換后的引擎文件。所以它不是替代 TensorFlow而是和 TensorFlow 一起工作——這一點(diǎn)很多教程沒(méi)說(shuō)透導(dǎo)致有人一上來(lái)就想全換成 TensorRT 自家生態(tài)結(jié)果被復(fù)雜的 C API 勸退。我這篇文章走的路線(xiàn)是盡量少改代碼讓圖優(yōu)化自動(dòng)發(fā)生先講環(huán)境匹配再講轉(zhuǎn)換路徑最后講怎么調(diào)優(yōu)和避坑。2. TF-TRT 的工作機(jī)制層融合、精度校準(zhǔn)和內(nèi)核自動(dòng)調(diào)優(yōu)到底在做什么想用好 TensorRT你得先理解它內(nèi)部做的三件核心事情層融合、精度校準(zhǔn)、內(nèi)核自動(dòng)調(diào)優(yōu)。這不是黑魔法是有明確技術(shù)邏輯的。2.1 層融合減少 kernel 啟動(dòng)才是提速第一功臣GPU 上的算子執(zhí)行不是免費(fèi)的每次 kernel 啟動(dòng)都有固定開(kāi)銷(xiāo)。TensorFlow 的圖執(zhí)行模式會(huì)把一個(gè)卷積層拆分為 conv2d、bias_add、relu 等多個(gè)節(jié)點(diǎn)每個(gè)節(jié)點(diǎn)都觸發(fā)獨(dú)立 kernel。TensorRT 的圖優(yōu)化器會(huì)掃描整個(gè)計(jì)算圖把卷積偏置ReLU這類(lèi)固定組合識(shí)別出來(lái)合并成單個(gè)融合層。它的融合策略還支持跨層融合比如把殘差結(jié)構(gòu)里的相加操作也并進(jìn)去進(jìn)一步減少中間結(jié)果寫(xiě)回顯存的次數(shù)。這種融合對(duì)顯存帶寬的節(jié)省同樣重要。融合前的結(jié)構(gòu)每一層都產(chǎn)生一個(gè)中間張量寫(xiě)入全局顯存下一層再讀出來(lái)融合后中間張量直接留在寄存器或共享內(nèi)存里訪(fǎng)問(wèn)速度快幾個(gè)數(shù)量級(jí)。帶寬受限的模型比如 YOLO 這種高分辨率輸入在融合后延遲驟降很大一部分功勞就在這里。2.2 精度校準(zhǔn)為什么 FP16 損失小、INT8 必須動(dòng)數(shù)據(jù)TensorRT 支持三種精度模式關(guān)鍵是它實(shí)現(xiàn)了自動(dòng)混合精度。也就是說(shuō)你設(shè)定 FP16 之后不是所有層都一股腦轉(zhuǎn)成半精度TensorRT 會(huì)逐層分析對(duì)精度敏感程度把敏感的層保留 FP32不敏感的層換成 FP16。這種策略保證了絕大多數(shù)模型在 FP16 下精度和原始 FP32 幾乎一致。INT8 就不一樣了。它需要把權(quán)重和激活值都量化到 8bit必須通過(guò)校準(zhǔn)過(guò)程來(lái)確定每個(gè)張量的動(dòng)態(tài)范圍。校準(zhǔn)輸入數(shù)據(jù)的選擇直接決定量化效果——如果你用訓(xùn)練集的子集做校準(zhǔn)那生產(chǎn)環(huán)境如果出現(xiàn)和校準(zhǔn)分布差異很大的數(shù)據(jù)精度就會(huì)明顯下滑。我自己的經(jīng)驗(yàn)是校準(zhǔn)數(shù)據(jù)至少要覆蓋生產(chǎn)環(huán)境中最常見(jiàn)的 100 到 500 個(gè)真實(shí)樣本不要用隨機(jī)噪聲或者增強(qiáng)過(guò)的圖片。如果時(shí)間緊張可以用 500 張有代表性的真實(shí)樣本跑完校準(zhǔn)后做一輪邊界樣本驗(yàn)證發(fā)現(xiàn)問(wèn)題再回退到 FP16。2.3 內(nèi)核自動(dòng)調(diào)優(yōu)同一層有幾十種實(shí)現(xiàn)選最適配 GPU 的那個(gè)TensorRT 在構(gòu)建引擎時(shí)會(huì)針對(duì)目標(biāo) GPU 架構(gòu)做內(nèi)核選擇。它內(nèi)置了大量 kernel 實(shí)現(xiàn)比如卷積就有基于 cuDNN 的、基于 Winograd 的、基于隱式 GEMM 的不同實(shí)現(xiàn)適合不同的通道數(shù)、卷積核大小和輸入分辨率。構(gòu)建時(shí)它會(huì)做 benchmark挑出當(dāng)前設(shè)備上耗時(shí)最短的版本記錄下來(lái)。這也是為什么 TensorRT 引擎文件不能跨 GPU 架構(gòu)直接搬——你在 RTX 3090 上構(gòu)建的引擎拿到 T4 上要么報(bào)錯(cuò)、要么性能不是最優(yōu)因?yàn)閮?nèi)核選擇是針對(duì)設(shè)備做的。這個(gè)機(jī)制也解釋了為什么轉(zhuǎn)換過(guò)程本身需要花時(shí)間。我第一次構(gòu)建一個(gè) YOLO 模型引擎的時(shí)候等待時(shí)間接近兩分鐘因?yàn)?TensorRT 要把各種 kernel 組合全部試一遍。這點(diǎn)耐心必須有它是一次性成本后面加載引擎就是秒級(jí)的事了。3. 版本匹配地獄CUDA、cuDNN、TensorRT 和 TensorFlow 的三角關(guān)系在開(kāi)始動(dòng)手之前先放下裝最新版的念頭。TensorRT 加速 TensorFlow 推理這件事最大的坑不在算法而在版本兼容性。我見(jiàn)過(guò)太多人在這一步卡一周甚至直接放棄。這里把版本匹配的邏輯一次說(shuō)透。3.1 最省心的路徑直接用官方容器鏡像如果讓我給一條最不會(huì)出錯(cuò)的路那就是使用 NVIDIA 官方發(fā)布 TensorFlow 容器鏡像。鏡像里面 CUDA、cuDNN、TensorRT 和 TensorFlow 的版本是官方測(cè)試過(guò)的組合開(kāi)箱即用。比如 nvcr.io/nvidia/tensorflow:24.01-tf2-py3 這個(gè)標(biāo)簽里面內(nèi)置了 TensorRT 8.6、TensorFlow 2.15、CUDA 12.3 這些配套組件。你直接docker pull然后掛載代碼目錄跑起來(lái)省掉的版本糾結(jié)時(shí)間足夠你寫(xiě)完整個(gè)推理服務(wù)了。當(dāng)然生產(chǎn)環(huán)境不一定允許用容器那就得手工安裝。手工安裝的核心原則是先定 TensorRT 版本再反推 CUDA 和 cuDNN最后找 TensorFlow 版本。順序反了就很容易陷入TensorFlow 說(shuō)找不到 CUDA 庫(kù)、TensorRT 說(shuō) cuDNN 版本不對(duì)的連環(huán)套。3.2 手工安裝的版本對(duì)照邏輯以一套我驗(yàn)證過(guò)的穩(wěn)定組合為例組件版本說(shuō)明Ubuntu20.04 / 22.04系統(tǒng)影響編譯兼容性建議 20.04 及以上CUDA11.8 或 12.1看 GPU 驅(qū)動(dòng)支持的最高版本驅(qū)動(dòng)向下兼容cuDNN8.6.0必須和 CUDA 版本配套別混搭TensorRT8.5.x / 8.6.x選擇與 CUDA 版本對(duì)應(yīng)的 deb 包TensorFlow2.10 ~ 2.152.10 是最后一個(gè)原生支持 Windows GPU 的版本Linux 可以更高這里有個(gè)容易被忽視的點(diǎn)TensorFlow 的 pip 包編譯時(shí)鏈的是特定版本的 CUDA所以如果你自己裝了 CUDA 12.1但 TensorFlow 2.15 編譯時(shí)用的是 11.8運(yùn)行時(shí)它會(huì)去找 11.8 的庫(kù)找不到就報(bào)錯(cuò)。解決辦法是安裝 TensorFlow 對(duì)應(yīng)的 CUDA 版本或者在容器里規(guī)避。這也是我推薦容器的重要原因。Ubuntu 下安裝 TensorRT 的 deb 包流程我貼一下方便你需要手工操作時(shí)參考# 以 Ubuntu 20.04 CUDA 11.8 為例 # 1. 配置 NVIDIA 官方源 sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/3bf863cc.pub sudo add-apt-repository deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/ / sudo apt-get update # 2. 安裝 TensorRT以 8.5.3 版本為例 sudo apt-get install tensorrt8.5.3.1-1cuda11.8 sudo apt-get install python3-libnvinfer8.5.3.1-1cuda11.8 # 3. 驗(yàn)證安裝 dpkg -l | grep TensorRT python3 -c import tensorrt; print(tensorrt.__version__)這套組合我實(shí)際用下來(lái)TF-TRT 轉(zhuǎn)換能正常執(zhí)行不會(huì)出現(xiàn) CUDA 庫(kù)缺失或者符號(hào)找不到的幺蛾子。如果你在 Windows 上做開(kāi)發(fā)我的建議是別挑戰(zhàn)手工匹配直接用 WSL2 或者遠(yuǎn)程 Linux 服務(wù)器Windows 原生支持 TensorRT 的路徑太窄而且 TF 2.10 以后官方基本放棄 Windows GPU 原生支持了。3.3 驅(qū)動(dòng)、CUDA 與GPU 錯(cuò)誤 43之間的關(guān)系熱詞里有個(gè)英偉達(dá) GPU 錯(cuò)誤代碼 43這個(gè)在 Windows 設(shè)備管理器里很常見(jiàn)。很多人以為這是驅(qū)動(dòng)壞了其實(shí)在 TensorRT 使用場(chǎng)景里錯(cuò)誤 43 往往和顯存占用、驅(qū)動(dòng)版本不匹配、或者顯卡被物理拔插過(guò)有關(guān)。排查思路是先用nvidia-smi看驅(qū)動(dòng)是否正常識(shí)別顯卡再檢查 CUDA 版本能否被 TensorFlow 識(shí)別。# 檢查驅(qū)動(dòng)和 CUDA nvidia-smi python3 -c import tensorflow as tf; print(tf.config.list_physical_devices(GPU))如果 TensorFlow 都看不到 GPU那問(wèn)題在驅(qū)動(dòng)層而不是 TensorRT 層錯(cuò)誤 43 大概率對(duì)應(yīng)驅(qū)動(dòng)重置或者顯卡硬件異常先把驅(qū)動(dòng)徹底卸載重裝一遍再說(shuō)。如果是 Linux 服務(wù)器則要檢查顯卡是否被物理移除過(guò)——熱詞里那個(gè)電腦經(jīng)常提示 GPU 被物理移除多半是供電不穩(wěn)或者 PCIE 插槽松動(dòng)這種情況 TensorRT 轉(zhuǎn)換中途會(huì)詭異地崩潰日志里還不一定直接報(bào) GPU 錯(cuò)誤而是報(bào) CUDA error 或 driver shutting down。4. 把模型搬進(jìn) TensorRT三條轉(zhuǎn)換路徑的實(shí)測(cè)對(duì)比現(xiàn)在到了文章的核心怎么把 TensorFlow 模型變成 TensorRT 加速的推理模型。我實(shí)測(cè)過(guò)三條主流路徑各自適用場(chǎng)景不同這里全部展開(kāi)說(shuō)。4.1 路徑一TF-TRT 圖內(nèi)優(yōu)化最省事的上車(chē)方式TF-TRT 的全稱(chēng)是 TensorFlow-TensorRT 集成它在 TensorFlow 計(jì)算圖層面做工作加載 SavedModel把圖中能被 TensorRT 優(yōu)化的子圖替換成 TensorRT 引擎節(jié)點(diǎn)剩余部分繼續(xù)走 TensorFlow。代碼量極小非常適合已有 TensorFlow Serving 部署、想快速提性能的場(chǎng)景。核心代碼長(zhǎng)這樣import tensorflow as tf from tensorflow.python.compiler.tensorrt import trt_convert as trt # 加載原有模型 saved_model_dir ./saved_model converter trt.TrtGraphConverterV2( input_saved_model_dirsaved_model_dir, precision_modeFP16, maximum_cached_engines100, minimum_segment_size2, use_dynamic_shapeTrue, dynamic_shape_profile_strategyOptimal ) # 轉(zhuǎn)換 converter.convert() # 構(gòu)造輸入簽名再保存 def my_input_fn(): yield (tf.zeros([1, 640, 640, 3], dtypetf.float32),) converter.build(input_fnmy_input_fn) converter.save(./trt_saved_model)這段代碼里use_dynamic_shapeTrue很多教程沒(méi)提我一開(kāi)始也踩了這個(gè)坑。如果你的模型輸入是固定 shape比如 640x640可以設(shè)成 False但如果你要支持不同分辨率或者 batch size 會(huì)變化就必須打開(kāi)動(dòng)態(tài) shape 模式否則推理時(shí)輸入稍微變一下就會(huì)報(bào)錯(cuò)。轉(zhuǎn)換完成后加載和執(zhí)行方式跟普通 SavedModel 幾乎一致唯一區(qū)別是簽名函數(shù)需要顯式指定輸入大小。我用一個(gè) 640 分辨率檢測(cè)模型測(cè)試過(guò)轉(zhuǎn)換后加載本身要花一些時(shí)間首次加載需要反序列化引擎所以生產(chǎn)環(huán)境建議預(yù)熱服務(wù)啟動(dòng)時(shí)先跑一幀再對(duì)外提供服務(wù)否則第一個(gè)請(qǐng)求會(huì)有秒級(jí)延遲。4.2 路徑二TFLite INT8 量化時(shí)順便用 TensorRT不直接走 ONNX 中轉(zhuǎn)說(shuō)實(shí)話(huà)TFLite 主要是給邊緣設(shè)備用的和 TensorRT 的 GPU 高性能路線(xiàn)不太搭。如果你在服務(wù)端用 GPU更推薦的路徑是TensorFlow → ONNX → TensorRT。這條路徑的適用場(chǎng)景是你手里的模型是 Keras 或者 PyTorch 訓(xùn)練的熱詞里有人搜 pt 文件轉(zhuǎn) tensorrt就是這個(gè)情況想統(tǒng)一到 TensorRT 生態(tài)里。步驟拆開(kāi)是這樣的# 1. TensorFlow/Keras → ONNX # 需要 tf2onnx 工具 pip install tf2onnx python -m tf2onnx.convert --saved-model ./saved_model --output model.onnx --opset 11 # 2. ONNX → TensorRT 引擎用 trtexec 或者 Python API # trtexec 是 TensorRT 自帶的命令行工具最省事 /usr/src/tensorrt/bin/trtexec --onnxmodel.onnx \ --saveEnginemodel_fp16.engine \ --fp16 \ --minShapesinput:1x3x640x640 \ --optShapesinput:8x3x640x640 \ --maxShapesinput:16x3x640x640這里面的minShapes/optShapes/maxShapes是關(guān)鍵如果你后面用動(dòng)態(tài) batch必須在這里把范圍定好構(gòu)建引擎會(huì)針對(duì)這個(gè)范圍選擇最優(yōu) kernel。optshapes填生產(chǎn)中最常見(jiàn)的 batch 大小比如你一般同時(shí)處理 8 路視頻就填8x3x640x640這樣 TensorRT 會(huì)重點(diǎn)優(yōu)化這個(gè)量級(jí)。ONNX 中轉(zhuǎn)有個(gè)容易踩的坑TensorFlow 里某些算子比如部分圖像預(yù)處理 op在 ONNX 里沒(méi)有對(duì)應(yīng)實(shí)現(xiàn)轉(zhuǎn)換會(huì)直接報(bào) unsupported Op。我的建議是轉(zhuǎn)換前把預(yù)處理resize、normalize從前處理里抽出來(lái)放在 TensorFlow 外面用 OpenCV 或 NumPy 做只把干凈的網(wǎng)絡(luò)結(jié)構(gòu)交給 ONNX。這樣既減小模型體積也避免轉(zhuǎn)換失敗。4.3 路徑三Runtime API 手動(dòng)構(gòu)建引擎自由度最高的硬核路線(xiàn)前兩條路徑是框架幫你干活最后這條是你自己控制一切。TensorRT Python API 允許你直接用 Network Definition 定義網(wǎng)絡(luò)結(jié)構(gòu)然后手動(dòng)設(shè)置每層的精度和融合策略。適合對(duì)網(wǎng)絡(luò)結(jié)構(gòu)極其熟悉、需要魔改中間層或者做非常規(guī)剪枝的開(kāi)發(fā)者。我基于實(shí)際經(jīng)驗(yàn)建議除非你真的很懂 TensorRT 的層語(yǔ)義否則別走這條路。因?yàn)槭謩?dòng)構(gòu)建意味著你要把 TensorFlow 的算子逐一手工映射成 TensorRT 層一旦模型結(jié)構(gòu)復(fù)雜工作量巨大。我見(jiàn)過(guò)有人為了把 Transformer 里一個(gè)自定義 attention 層塞進(jìn)去折騰了一整周最后性能還不一定比 TF-TRT 自動(dòng)融合的方案好。如果確實(shí)需要手動(dòng)構(gòu)建推薦的方式是先把模型轉(zhuǎn) ONNX然后用 TensorRT 的 ONNX parser 加載 ONNX 文件再手動(dòng)修改import tensorrt as trt logger trt.Logger(trt.Logger.WARNING) builder trt.Builder(logger) network builder.create_network(1 int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH)) parser trt.OnnxParser(network, logger) with open(model.onnx, rb) as f: parser.parse(f.read()) config builder.create_builder_config() config.max_workspace_size 1 30 # 1GB config.set_flag(trt.BuilderFlag.FP16) engine builder.build_serialized_network(network, config) with open(model.engine, wb) as f: f.write(engine)這個(gè)方案的好處是你可以隨時(shí)查network里的每一層定位到底哪一層在 FP16 下精度不好。壞處是相關(guān) API 的文檔偏少很多參數(shù)得靠試錯(cuò)。我建議先跑通前兩條路徑把性能基線(xiàn)摸清楚再?zèng)Q定要不要?jiǎng)舆@個(gè)手術(shù)。5. 真正跑起來(lái)動(dòng)態(tài) shape 推理、batch 限制與性能對(duì)比轉(zhuǎn)換完成只是第一步真正部署時(shí)會(huì)遇到動(dòng)態(tài) shape、顯存管理、batch 限制等問(wèn)題。這一段全是實(shí)戰(zhàn)中跑出來(lái)的細(xì)節(jié)。5.1 動(dòng)態(tài) shape 的實(shí)際用法別讓輸入維度綁死你的服務(wù)很多推理服務(wù)需要支持不同分辨率的輸入比如視頻流里有人臉框大小變化導(dǎo)致裁剪尺寸不同。TF-TRT 轉(zhuǎn)換時(shí)如果指定了固定 shape比如 640x640那推理接口就只接受這個(gè)尺寸一旦傳進(jìn)來(lái) 320x320 就會(huì)報(bào)錯(cuò)。解決方案就是前面提到的use_dynamic_shapeTrue加dynamic_shape_profile_strategy。但動(dòng)態(tài) shape 也有代價(jià)引擎構(gòu)建時(shí)因?yàn)橐紤]多種 shape 的組合kernel 選擇會(huì)更保守性能會(huì)比固定 shape 差 5% 到 10% 左右。所以我的建議是如果你的生產(chǎn)輸入分辨率確實(shí)固定比如攝像頭就是 1920x1080 縮放成 640x640那就用固定 shape拿滿(mǎn)全部性能只有非固定場(chǎng)景才開(kāi)動(dòng)態(tài) shape。別因?yàn)閯?dòng)態(tài)聽(tīng)起來(lái)高級(jí)就盲目開(kāi)啟。5.2 batch 設(shè)置的學(xué)問(wèn)吞吐和延遲的取舍batch 是另一個(gè)影響性能的關(guān)鍵變量。推理服務(wù)的 batch 可以分成兩種單幀處理的延遲優(yōu)先模式和多幀批量處理的吞吐優(yōu)先模式。TensorRT 引擎里 batch 是顯式維度你在構(gòu)建時(shí)給的 maxBatch 決定了顯卡最多能一次處理多少?gòu)垐D。實(shí)測(cè)下來(lái)batch 從 1 提到 8單幀平均延遲反而會(huì)下降——因?yàn)?GPU 計(jì)算資源被更充分地利用每個(gè) kernel 的開(kāi)銷(xiāo)被攤薄到了多張圖上。但 batch 提到 16 以上有可能因?yàn)轱@存限制導(dǎo)致 TensorRT 構(gòu)建或運(yùn)行時(shí) OOM。這里給一個(gè) T4 16GB 卡 YOLO 系列模型的經(jīng)驗(yàn)值batch 8 是甜點(diǎn)batch 16 開(kāi)始收益遞減。5.3 性能對(duì)照同一模型在 FP32、FP16 和 ONNX 路徑下的實(shí)測(cè)數(shù)據(jù)為了讓你對(duì)提升幅度有直觀概念我放一組自己在 T4 卡上的實(shí)測(cè)數(shù)據(jù)。模型是一個(gè) YOLOv5s 結(jié)構(gòu)檢測(cè)模型輸入 640x640 三通道單幀單 batch 推理執(zhí)行方式平均延遲ms相對(duì) TF 原生提速顯存占用MB備注TensorFlow 原生FP3242.61.0x2350冷啟動(dòng)后多輪取均值TF-TRT 優(yōu)化FP1612.83.3x1320精度下降可忽略O(shè)NNX→TensorRTFP1611.93.6x1280與 TF-TRT 差距不大ONNX→TensorRTINT87.65.6x860校準(zhǔn)后 mAP 降約 0.3%從數(shù)據(jù)能看出兩件事第一FP16 的提速已經(jīng)非??捎^3 倍以上的提升足夠讓很多場(chǎng)景直接緩解性能瓶頸。第二INT8 雖然還能再快不少但確立了校準(zhǔn)流程后額外引入的工程量不可忽視——如果你本身有 1000 路視頻要處理FP16 已經(jīng)能撐住沒(méi)必要貪 INT8 那點(diǎn)增益。這套數(shù)據(jù)放到t4 1080p25幀每秒用tensorrt yolo 640分辨率檢測(cè)可以支持多少路這個(gè)搜索背景下可以做一個(gè)簡(jiǎn)單估算。1080p25 意味著每路攝像頭的處理周期是 40ms一年按 25fps 算就是每幀 40ms 內(nèi)必須處理完。用 FP16 引擎單幀 12.8ms 的耗時(shí)每路 GPU 占用約 32% 的計(jì)算時(shí)間一個(gè) T4 卡理論上可以支撐 3 路左右但這是并發(fā)而非純串行實(shí)際做多路視頻流時(shí)通常利用 CUDA 流來(lái)實(shí)現(xiàn)并發(fā)把 batch 合并到多個(gè)流中T4 上我實(shí)測(cè)可以穩(wěn)定支持 12 到 16 路 1080p25 檢測(cè)具體取決于預(yù)處理和后處理的資源占用。這個(gè)數(shù)據(jù)可以作為你規(guī)劃設(shè)計(jì)時(shí)的參考基線(xiàn)。5.4 顯存管理TensorRT 引擎加載后的一級(jí)緩存與運(yùn)行時(shí)分配TensorRT 引擎加載后有顯存占用、推理時(shí)還有臨時(shí)工作區(qū)顯存workspace這兩者是兩回事。不少人在部署時(shí)看到顯存占用突然漲到幾個(gè) GB以為是內(nèi)存泄漏其實(shí)是 workspace 設(shè)計(jì)的。前面構(gòu)建代碼里的config.max_workspace_size 1 30就是給推理工作區(qū)設(shè)置上限的——這個(gè)值設(shè)多大取決于 GPU 顯存余量建議顯存緊張時(shí)調(diào)小到 256MB 甚至 128MB性能損失通常不大但能騰出空間給多路并發(fā)。我在項(xiàng)目里遇到過(guò) GPU 顯存被其他進(jìn)程占滿(mǎn)導(dǎo)致 TensorRT 構(gòu)建失敗的情況。排查思路很簡(jiǎn)單先nvidia-smi看顯存占用如果看到殘留的 python 進(jìn)程占了大量顯存用kill -9清理。多環(huán)境共用顯卡時(shí)建議設(shè)置CUDA_VISIBLE_DEVICES環(huán)境變量把進(jìn)程隔離到指定卡上避免互相干擾。6. 踩坑實(shí)錄錯(cuò)誤 43、精度漂移和那些午夜驚魂最后必須聊踩坑。TensorRT 項(xiàng)目里沒(méi)有踩過(guò)坑的人是幸運(yùn)的踩過(guò)坑但沒(méi)解決的人已經(jīng)轉(zhuǎn)行了。我把遇到過(guò)的幾類(lèi)典型問(wèn)題整理出來(lái)按排查鏈路講這樣你遇到相似問(wèn)題時(shí)能順著思路找而不是盲猜。6.1 轉(zhuǎn)換時(shí)報(bào) Cannot find TensorRT library 或 libnvinfer.so 缺失這個(gè)問(wèn)題的根因很直接TensorFlow 運(yùn)行時(shí)找不到 TensorRT 的動(dòng)態(tài)庫(kù)。雖然你裝了 TensorRT但庫(kù)路徑?jīng)]加進(jìn)LD_LIBRARY_PATH。要注意 pip 安裝的 TensorFlow 默認(rèn)不綁定 TensorRT你需要確保libnvinfer.so和libnvinfer_plugin.so在動(dòng)態(tài)鏈接器的搜索路徑里。# 出問(wèn)題先用這條命令確認(rèn)庫(kù)是否存在 find / -name libnvinfer.so* 2/dev/null # 如果存在把路徑導(dǎo)出來(lái) export LD_LIBRARY_PATH/usr/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH # 如果不存在說(shuō)明 TensorRT 根本沒(méi)裝成功 sudo apt-get install tensorrt python3-libnvinfer另一種隱蔽情況是機(jī)器里同時(shí)存在多個(gè) TensorRT 版本比如顯卡驅(qū)動(dòng)自帶的組件和 deb 包裝的有沖突庫(kù)倒是找到了但版本不對(duì)運(yùn)行時(shí)報(bào) symbol not found。這時(shí)候用ldd檢查 Python 擴(kuò)展實(shí)際鏈接的庫(kù)路徑逐一排除冗余版本。6.2 GPU 錯(cuò)誤 43 與 TensorRT 運(yùn)行時(shí)崩潰的排查鏈路Windows 下錯(cuò)誤 43 前面提過(guò)Linux 下的表現(xiàn)往往不是報(bào) 43而是 TensorRT 引擎構(gòu)建到一半崩潰或者運(yùn)行時(shí) CUDA error。我遇到過(guò)一次特別詭異的情況同樣的代碼在 A 機(jī)器構(gòu)建引擎成功在 B 機(jī)器卻反復(fù)崩潰報(bào)錯(cuò)還指向 cuDNN。排查鏈路是這樣的第一步檢查兩臺(tái)機(jī)器的 GPU 是否同一架構(gòu)。我用nvidia-smi -q | grep Architecture看了一下發(fā)現(xiàn) B 機(jī)器是較老的 Pascal 架構(gòu)而我在 A 機(jī)器上構(gòu)建 TensorRT 時(shí)用了針對(duì) Ampere 的優(yōu)化引擎拿到 Pascal 上直接不兼容。這個(gè)問(wèn)題的通用解法是在目標(biāo)部署機(jī)上重新構(gòu)建引擎或者構(gòu)建時(shí)設(shè)置builder_platform相關(guān)選項(xiàng)讓引擎盡可能通用犧牲一點(diǎn)性能。第二步檢查驅(qū)動(dòng)版本。有些老的驅(qū)動(dòng)和 CUDA 12.x 不兼容導(dǎo)致運(yùn)行時(shí)找不到入口符號(hào)。把驅(qū)動(dòng)升級(jí)到支持你所用 CUDA 版本的最低穩(wěn)定版同時(shí)別忘記重啟機(jī)器驅(qū)動(dòng)加載是否完整必須以重啟后的nvidia-smi輸出為準(zhǔn)。第三步如果上述兩步都沒(méi)問(wèn)題可以考慮顯存故障。跑一遍bandwidthTest或者deviceQueryCUDA 自帶的示例程序如果設(shè)備查詢(xún)本身出錯(cuò)基本可以斷定硬件有問(wèn)題TensorRT 什么的先放一邊。6.3 精度漂移FP16 下某些模型輸出變成 NaN 或錯(cuò)檢大多數(shù)模型 FP16 沒(méi)問(wèn)題但如果你碰上對(duì)精度極端敏感的模型尤其是層數(shù)極深、激活值動(dòng)態(tài)范圍很大的網(wǎng)絡(luò)FP16 可能導(dǎo)致梯度或推理輸出異常。在你依賴(lài) TF-TRT 自動(dòng)精度分配時(shí)它通常能規(guī)避大部分問(wèn)題但無(wú)法保證 100%。排查思路是先做精度對(duì)比用 TensorFlow 原生 FP32 推理結(jié)果作為基準(zhǔn)逐層或整體比較 TensorRT 輸出的數(shù)值差異。如果你用的是 Python API可以在轉(zhuǎn)換時(shí)打開(kāi)層級(jí)精度診斷如果用的是 TF-TRT可以設(shè)置precision_modeFP16的同時(shí)給特定層通過(guò)set_layer_node_precision手動(dòng)降回 FP32。我遇到過(guò)一個(gè)更隱蔽的情況模型的輸入歸一化方式不對(duì)。TensorFlow 訓(xùn)練時(shí)預(yù)處理是將像素值除以 255但我在 TensorRT 側(cè)直接喂原始 0~255 的 uint8 數(shù)據(jù)導(dǎo)致數(shù)值范圍差了 255 倍FP16 下這種大動(dòng)態(tài)范圍直接觸發(fā)精度問(wèn)題。排查后把預(yù)處理修正到和訓(xùn)練一致問(wèn)題立刻消失。所以記住先檢查預(yù)處理鏈路再懷疑 TensorRT 精度策略。6.4 一次奇怪的 5% 性能回退竟是因?yàn)?CPU 預(yù)處理成了瓶頸某次我優(yōu)化完 GPU 推理延遲降到 12ms但整個(gè)服務(wù)端到端延遲還是 60ms怎么都降不下去。一開(kāi)始懷疑 TensorRT 沒(méi)生效后來(lái)用nvprof或nsight compute一看GPU 空閑時(shí)間占了 80%瓶頸根本不在這里。真正的問(wèn)題是我的圖像解碼、resize、歸一化全在 CPU 上串行跑成了新瓶頸。解決思路是做預(yù)處理流水線(xiàn)并行用 OpenCV 的imread GPU 側(cè)的tf.image或者 CUDA 工具把 resize 和 normalize 移到 GPU 上或至少用多線(xiàn)程預(yù)取下一幀和當(dāng)前幀的推理重疊。優(yōu)化之后端到端延遲從 60ms 降到 24msGPU 空閑時(shí)間也大幅減少。這個(gè)經(jīng)驗(yàn)非常重要模型推理提速之后原來(lái)的次要瓶頸會(huì)變成主要瓶頸你必須重新審視整條鏈路。7. 從 TF-TRT 到多路并發(fā)部署一個(gè)可供參考的生產(chǎn)架構(gòu)聊完單模型加速最后落到實(shí)際部署層面。熱詞里很多人搜gpu租用、gpu計(jì)算資源分配說(shuō)明大家已經(jīng)意識(shí)到模型優(yōu)化完只是第一步怎么榨干 GPU 才是最終目的。這里給出我生產(chǎn)環(huán)境中用的一套相對(duì)成熟的思路供你參考。7.1 用 CUDA Stream 實(shí)現(xiàn)多路視頻并發(fā)推理多路視頻場(chǎng)景最大的特點(diǎn)是每一路都需要獨(dú)立處理但 GPU 計(jì)算可以共享。如果一路一路串行推理GPU 利用率很低T4 上 16 路 1080p25 檢測(cè)基本跑不贏。我的做法是引入 CUDA Stream 機(jī)制將多個(gè) batch 的推理放到不同的 stream 上執(zhí)行讓它們并行提交給 GPU由 GPU 調(diào)度器按需分配計(jì)算資源。TensorRT 的引擎執(zhí)行本身是異步的配合 stream 就能實(shí)現(xiàn)第一路在算前處理時(shí)第二路同時(shí)在進(jìn)行卷積計(jì)算的流水線(xiàn)效果。一個(gè)注意點(diǎn)多路并發(fā)不是簡(jiǎn)單地把 batch 翻倍。每個(gè) stream 里的推理仍然保持較小的 batch比如 2~4這樣既能讓 GPU 吃飽又不會(huì)因?yàn)閱?batch 過(guò)大導(dǎo)致某一路的延遲抖動(dòng)加劇。實(shí)測(cè) T4 上 YOLO 640 輸入、FP16 引擎4 個(gè) stream 每 stream batch 2整體吞吐比單流 batch 8 還要高約 15%原因就在于流之間可以提高整體的 kernel 重疊率。7.2 預(yù)熱、多進(jìn)程和顯存隔離的經(jīng)驗(yàn)值生產(chǎn)服務(wù)啟動(dòng)后第一次推理特別慢這個(gè)是 TensorRT 引擎加載、cuDNN 初始化、CUDA context 創(chuàng)建疊加的結(jié)果。我的經(jīng)驗(yàn)是在服務(wù)真正接受流量前, 先跑一次熱身推理加載引擎后立刻用一個(gè) dummy 輸入跑幾幀讓 CUDA context 初始化完畢。這個(gè)熱身過(guò)程大約需要 500ms 到 2 秒不等但對(duì)線(xiàn)上延遲穩(wěn)定性非常重要。多進(jìn)程部署時(shí)要注意每個(gè)進(jìn)程都會(huì)創(chuàng)建獨(dú)立的 CUDA context 和 TensorRT engine 實(shí)例顯存占用是疊加的。所以我通常不用進(jìn)程數(shù)去硬頂 CPU 核數(shù)而是根據(jù)顯存余量反推假設(shè)每進(jìn)程占用 1.3GB一張 16GB 的 T4 卡單卡最多跑 10 個(gè)進(jìn)程左右再多就要 OOM。更可控的方式是單進(jìn)程多線(xiàn)程配合前面說(shuō)的 CUDA Stream讓一個(gè)進(jìn)程管理多路流減少顯存浪費(fèi)。7.3 引擎文件的保存與跨機(jī)復(fù)用架構(gòu)匹配就可用但別貪TensorRT 引擎文件.engine 或 .plan可以序列化保存但前面說(shuō)了它綁定 GPU 架構(gòu)和 TensorRT 版本。同一個(gè)集群里如果硬件完全一致那引擎文件直接拷過(guò)去加載即可如果硬件不一致必須在目標(biāo)機(jī)上重新構(gòu)建。為了平衡靈活性和加載速度我采用了一種混合策略保存 ONNX 中間文件在每臺(tái)部署機(jī)上首次啟動(dòng)時(shí)自動(dòng)構(gòu)建引擎并緩存到本地磁盤(pán)以后直接加載緩存。這樣既不需要提前知道每臺(tái)機(jī)器的架構(gòu)也不會(huì)每次啟動(dòng)都重新構(gòu)建。自動(dòng)構(gòu)建的邏輯可以做得簡(jiǎn)單一點(diǎn)import os engine_cache ./engine_cache os.makedirs(engine_cache, exist_okTrue) def load_or_build_engine(onnx_path, precisionFP16): import hashlib key hashlib.md5((onnx_path precision trt.__version__).encode()).hexdigest()[:16] cache_path os.path.join(engine_cache, f{key}.engine) if os.path.exists(cache_path): with open(cache_path, rb) as f: return f.read() # 構(gòu)建邏輯省略... engine build_engine(onnx_path, precision) with open(cache_path, wb) as f: f.write(engine) return engine這個(gè)方案的另一個(gè)好處是模型更新后ONNX 文件變了hash 自然不同會(huì)自動(dòng)觸發(fā)重新構(gòu)建不需要手動(dòng)清理緩存。7.4 從單卡到多卡gpu計(jì)算資源分配的一個(gè)簡(jiǎn)單框架當(dāng)你單卡優(yōu)化完成接下來(lái)就是橫向擴(kuò)展的問(wèn)題。多卡環(huán)境下最簡(jiǎn)單的任務(wù)分配方式是按路數(shù)切分比如 32 路視頻4 張 T4 卡每張卡分 8 路。路數(shù)和卡的映射可以先用固定公式做card_index stream_index % num_cards簡(jiǎn)單但有效。如果想更精細(xì)可以引入一個(gè)簡(jiǎn)單的調(diào)度器實(shí)時(shí)記錄每張卡的顯存占用和推理延遲把新請(qǐng)求分配到負(fù)載最低的卡上。在云上租用 GPU 時(shí)我習(xí)慣先把單卡能力測(cè)準(zhǔn)能撐幾路、延遲多少然后倒推需要租幾卡。比如 100 路 1080p25 檢測(cè)單卡穩(wěn) 16 路那至少需要 7 卡考慮冗余和峰值余量我建議租 8 卡。別按單卡能跑 20 路這種理論值去算實(shí)測(cè)數(shù)據(jù)永遠(yuǎn)比理論值靠譜。最后再分享一個(gè)實(shí)用的運(yùn)維技巧GPU 推理服務(wù)上線(xiàn)后持續(xù)監(jiān)控顯存占用和卡上實(shí)際利用率的差異。你會(huì)發(fā)現(xiàn)當(dāng)多路視頻并發(fā)不高時(shí)顯存占用率很低但利用率卻可能從 30% 跳到 90%這說(shuō)明 TensorRT 已經(jīng)把計(jì)算的吞吐拉滿(mǎn)了。如果利用率一直壓在 30% 以下多半是 CPU 預(yù)處理、IO 或者調(diào)度邏輯卡了脖子別急著再優(yōu)化模型先往上下游找找。這條經(jīng)驗(yàn)我用了很多年幾乎每次都能定位到真正的瓶頸。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
极品五月天| 少妇口诉沐足视频播放器网址| 天天日日夜夜| www.99精品日操伊人乱碰在线| 亚洲AVwwwwwww| 五月久久婷婷天堂视频| 丁香伊人激情| 色香欲综合| 一起草无码视频| 99天堂在线观看免费视频| 五月丁香成人视频| 五月婷婷无码专区| 亚洲小视频免费看| 9色操| 99精品综合视频| 亚洲婷婷月丁香五月| 色播五月丁香婷婷| 丁香五月av| 99热精品在线| 日日操无码| www.婷婷五月| 26uuu亚洲精品国产| 久久Xx| 操骚货在线| 蜜臀久久99精品久久久久久酒店| 日韩超碰在线| 伍月婷丁香花全集| 婷婷丁香激情综合色情| 夜夜人妻五月天| 五月丁香啪啪网| 91视频人人做97| 九九性视频| 夜夜夜夜夜操| 激情丁香六月| 夜夜操,天天撸| 天天草婷婷五月| 26.uuu丁香五月婷婷| 综合av在线| 亭亭五月色男人| 深爱激情五月婷婷| 五月情色天| 操一操插一插| 深爱激情网五月天| 九九99一区| 久久五月丁香伊人青草| 99热最新精品| 丁香五月天色综合| 五月天色婷好好| 色婷婷国产精品综合在线观看| 第四色色色色色丁香五月天| 99爱在线| 九色PORNY在线精品酒店| 疯狂做受XXXX高潮A片| 久青操| 依人大香蕉| 成熟妇人A片免费看网站| 97久久精品| 婷婷五月天激情视频| 久久性爱视频网站| 开心五月深爱五月婷| 婷婷五月天亚洲天堂| 五月丁香在线综合| 丁香六月婷婷缴情欧美| 色婷婷综合久色AV五色最新| 五月天婷婷基地综合网| 亚洲中文AV网站| 婷婷激情四射| 另类图片天天影视在线观看| www综合久久| 亚洲爱爱无码婷婷色五月| 97碰| 久人人操| 久久人妻少妇嫩草AV| 91丨九色丨高潮丰满日本| 色五月婷婷五月天| 六月丁香啪啪啪| 婷婷五月天成人网| 天堂AV三级| 婷婷在线视频| 性爱人人网| 综合精品啪啪| 国产无人区大片| 996精品热视频| 三级黄网站| 天天搽天天射| 久久久久久人妻久久久久久久久久人妻久久久 | 天堂婷婷五月在线| 色欲婷婷五月天丁香| www.lchjjc.com| 小视频在线亚洲| 伊人久久大香网| 九九久久免费视频44| 26uuu91| 色五月婷婷中文字幕在线观看 | 丁香伊人五月色婷婷五十路| 人妻久久久久久久久久久| 亚洲精品白浆高清久久久久久| 99碰超| 超碰在线综合| 婷婷在线综合| 99精品自拍| 婷婷成人在线| 无码色| 岛国午夜视频| 天天日天天草| 超碰在线超碰| 亚洲成人免费在线| 五月激情丁香五月| 大香蕉久久| 九九精品在线视频观看| 欧美25p| 色婷婷亚洲| 99狠狠操一| 婷婷九色| 亚洲精品无人区| 96丁香婷婷九月蜜桃综合久久| 黄色av网站在线免费播放| 日本久久超碰| 可以免费看的AV网站| 色色色成人网| 久久性刺激| 日本无va视频| 色丁香五月| 综合久久五月| 激情 婷婷 丁香五月天| 色99色| 色一情一乱一乱一区9| 人妻av在线| 337午夜福利| 色婷操逼| 激情五月,激情综合网| 91精品熟女| 久色激情| 日韩综合久久| 亚洲六月婷婷| 丁香六月狠狠干| 天天爽夜夜爽夜爽精品| 五月婷婷丁香狠狠撸久久| 亚洲六月色| 婷婷综合网站| 超碰97免费在线| 97色天堂| 五月丁香激情综合欧美| 九九青草热| 这里只有精品视频免费在线观看| 国产欧美婷婷| 第四色色色色色丁香五月天| www.五月天色色.com| 九九RE视频在线精品| 九九热只有精品| 七七九九色色| 丁香五月 激情文学| 久久人妻视频| 天天草人人摸| 婷婷综合玖玖五月| 人妻人人操| 丁香五月婷婷久久久| 日本熟妇乱妇熟色A片蜜桃| 丁香丝袜五月| 色婷另类| 俺去也五月天| 色9999日韩国产| 婷婷九九| 久热这里只有精品性色AV| 婷婷色在线观看| 五月丁香婷草| 思思热视频在线观看| 狠狠香蕉| 乱精品一区字幕二区| 色噜噜,噜噜色| 五月天桃色深爱网| 五月天欧美 另类小说| 韩国真做片在线观看| 激情精品久久| 超碰人人艹| 五月天天丁香婷婷在线中| 丁香五月婷婷啪啪视频| 亚洲色综合| 天堂婷婷丁香六月网| 久久婷婷六月综合综合| 九九黄色网| 涩婷婷五月天| 五月六月丁香激情视频| 婷婷黄色五月| 六月丁香好婷婷| 丁香五月777| 99热免费精品| 免费视频99| av婷婷丁香 六月| 亚洲最大在线| 4438亚洲欧美| 天堂久久精品| 夜夜操夜夜姧| 五月天色色网站| www.主妇. com| 99啪| 久久人妻视步| 五月丁香美女视频| 丁香五月激情图片婷婷| 夜色综合网| 九色视频91疯狂| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 亚洲自拍天堂| 婷婷无五月无码视频| 色无码| 九九免费视频在线| 国产乱人偷精品人妻A片| 中文字幕av在线播放| 五月激情综合网| 99re思思久久| 日逼免费视频 | 丁香五月天激情免费在线观看AV777| 久久永久网址| 啪啪黄页网| 无码激情AAAAA片-区区| 日韩AV大全| 丁香婷婷人妻综合网| 婷婷激情六月综合| 久操人| 99视频| 九九综合图片网| 精品人妻伦一二三区久久| 激情网第九色| 丁香狠狠色婷婷久久无码视频| 伊人久久大香蕉网| 婷婷色色婷婷| 夜夜夜夜夜操| 五月婷婷九| 亚洲乱啪| 开心激情婷婷| 99精品视频偷拍| 九九久久99| 色色色色色五月| 色婷婷成人做爰A片免费看网站| 九九热在线观看视频| 狠狠狠激情网| 日本4399天堂中出| 天天天天天天操| 五月婷婷五月色| 亚洲性色XXXXX| 天天日夜夜高潮| 99久热在线精品| 午夜丁香丁香婷婷| 五月天激情网址| 激情五月天婷婷播播久久综合91 | 午夜成人综合| 久久婷婷五月天激情四射| 久久99这里只有精品视频| 日本精品99| 九九美女视频| 青青999| 丁香六月天婷婷色| www。五月,com| 97干在线| 国外亚洲成AV人片在线观看| 亚洲亚洲人成综合网络| 99热国品| 久久大香蕉丁香| 色五月大香蕉| 女人被躁到高潮嗷嗷叫小| 婷婷六月丁| 9久久婷婷国产综合精品性色| 五月婷婷综合久久| 婷婷午夜天| 婷婷丁香五月综合激情小说| 六月丁香色婷婷| 开心综合激情综合| 日本色爽| 婷婷五月天黄色| 99综合一区| 婷婷射丁香| 五月天无码| 91狠狠色| 丁香五月婷婷呀| Av性爱网站| 美女亚洲五月丁香| 日本色色色| 国产免费av在线| 国产精品色婷婷久久久精品| 九九AV在线| 好看的国产精品| 夜夜 操无码| 伊人午夜综合色啪| WWW.99热| 国产亚洲AV人片在线| 99热这里有精品| 日本欧美成人片AAAA| 久热大香蕉| 九九色色| 婷婷六久久| www.激情五月天.com| 99碰在线视频| 一逼色综合| 在线观看996精品| 亚洲色人妻| 久久九九@| 丁香六月啪啪啪| 99人妻碰碰碰久久久久禁片| aa久久| 九九色影院| 婷婷午夜天| 另类图片天天影视在线观看| 婷婷激情六月| av网站不卡在线| 99热草草| 久久伦乱| 欧美丁香六月在线观看视频| 亚洲激情97五月天| 婷婷五月丁香91| 99热免费精品| 超碰成人黄色网| 丁香操逼| 激情五月激情综合网| 色色色色热| www.日韩国产| 一本婷婷丁香久久| 99久久国产宗和精品1上映| 日日日日做夜夜夜夜无码| 婷婷操逼网| 欧美丁香婷婷五月天| 99∨VTV| 五月婷婷色| 亚洲av无码精品色午夜| 五月丁香综合啪啪| 14色综合婷婷| 超碰婷婷色| 婷婷五月激情在线| 91综合在线| 婷婷色情小说| 久久婷色| 91九色 熟| 婷婷爱爱蜜臀天天操| 久久99这里| 五月涩涩网| 五月久久婷婷成人网| 无码区婷婷五月花开| www.狠狠| 射久久丁香五月| 五月天五月色婷婷综合| 黄色激情五月天| 99色天堂| 996黄色片| 狠狠色婷婷777| 2050人人操免费工开爱| 色色色网站| 五月停停大香蕉| 五月婷婷碰碰| 6080av| 狠狠干狠狠色| 久久9精品| 亚洲美女网Va| 五月天偷拍| 欧美在线干| 久久99大全| .肏屄视频一区二区| 色婷婷4| 久热9| 婷婷综合日本| 五月综合色| 碰超亚洲| 五月色丁香视频精品| 成人在线观看国产| 丁香六月天之亚州热女 | 激情综合视频| 色婷婷五月天小说| 亚洲国产网址| 五月综合色| 射区导航| 99这里只有精品|v| 涩涩五月天综合| 五月天大香蕉| 婷婷四月 成人 狠狠干| 成人做爰A片免费看视频| 亚洲综合激情五月久久| 9色视频在线| 婷婷国产欧美97| www五月天com| 久久婷婷色| 亚洲五月停停| …亚洲黄色在线播放日韩、av中文a…| 深爱婷婷色| 欧洲亚洲免费视频9 | 人妻少妇色综合| 日本乱子人伦在线视频| 综合97五月| 色婷婷成人| 久久婷婷综合国产| 五月天大香蕉AV| 婷婷五月天,影院| 欧美成人精品A片免费一区99| 婷婷中文字幕| 日韩啪啪网| 啪啪黄页网| 激情六月五月婷婷综合网| 亚洲热久久| 人妻五月天激情开心网| 五月天第四色开心色播| 色99日韩| 亚洲另类电影| 99久精品| 丁香久久AV| 五月婷婷啪啪网| 一本道在线电影| 婷婷她六月天| 怡红院视频| 性爱人人网| 丁香五月婷婷色| 激情五月激情综合网| 五月丁香福利| 日本在线视频www色| 婷婷五月天国产传媒| 伊人青草成人| 九九热最新| 五月丁香福利| 99婷婷| Www99热| 五月婷婷 激情五月| 色五月婷婷综合| 碰97久久| 五月天色图| 99啪| 狠狠综合网| 色色综合热| 色五月成人在线| 欧美黑人巨大性生话| 激情婷婷五月天| 99人人干| 香蕉婷婷色五月| www.狠狠操| 欧美天天爽| 婷婷久久五月天| 99热综合网| 日本久久婷| 色色激情网| 九九精品综合| 色六月天天激情综合网| 欧美成人AAA片一区国产精品| 天天噜天天爱| 最近中文字幕2019视频1| 五月丁香综合网色欲| 秋霞成人毛片一级A片| 丁香久久九九99| 五月丁香婷婷免费视频| 婷婷五月天奸女| 99视频在线| 性五月激情| 五月天大香蕉| 色情五月天首页| www,婷婷,com| 看片视频在线免费日产在线看| 成人一区在线观看| 成人av在线网站| 丁香五月天在线视频| 国产毛片欧美毛片久久久| 狠狠色狠狠色综合日日91| 狼人伊人天堂| 99热99精品| 中文字幕在线免费| 亚洲天天| 五月丁香激情深爱婷婷| 亚洲超级碰| 五月婷啪| 色亚洲色宗合| 激情亭亭五月| 九九99精品视频在线观看| 这里只有精品热| 色99久草在线| 91一起艹| 五月婷婷co.m| av第一二区| 亚洲色综合| 五月激情综合五月| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 婷婷导航| 日韩av变天就操逼不卡区| 人妻无码精品一区| 深爱激情中文五月天av| 激情五月天色色色| 色人久久| 天天爱天天操| 五月婷婷深爱六月| 一级性感黄色内射视频| 五月婷婷丁香日韩在线| 99久久九九| 天天狠狠插| 激情五月婷黄版| 中文无码婷婷| www激情五月天| 日韩成人网址| 婷婷色情五月| 国产午夜精品AV一区二区麻豆| 五月婷婷婷| site:hcxsz888.com| 国产精品成人网址| 亚洲综合九九| 丁香五月婷婷久久久| 免费观看日韩成人av| 九九精品热| 玖玖资源站中文| 九九久久五月天| 日本久久色| 天天色色天天| 日本狠狠网| 加勒比色色| 日本婷婷在线| 五月婷婷性爱视频| 伊人婷婷大香蕉在线| 99热这里只有精品在线| 5月丁香六月婷婷| 五月丁香美女| 色婷婷久久久| 99色精品| 久久精品噜噜噜成人A∨色欲| 欧美搡BBBBB摔BBBBB| 大香蕉五月天婷婷| 狠狠色丁香婷婷久久综合| 国产精品蜜臀99| 99精品无码视频| 婷婷色色丁香五月天| 九九久久偷拍| 婷婷综合中文字幕| 91偷拍视频| 色婷婷狠狠| 欧美性色五月天| 操操操av| 日韩综合久久| 国产婷婷五月天| 五月天激情网页| 99这里只有精品8| 久久久com| 停停五月色宗合| 永久天堂日本| 91啦丨九色丨刺激中文| 九色成人AV在线| 天天插天天爱| 青草激情综合| 色婷婷丁香五月天| 草做免费在线观看| www,五月天激情| 色久五月| 丁香五月av在线| 夜夜爽日日躁| 五月婷婷另类| 6月丁香婷婷| 五月婷视频久久| 久久综合性| 玖玖爱伊人| 99国产97在线,| 久操香蕉| 欧美激情-区二区三区| 欧美色激情四射| www.色婷婷| 色色激情| 精品一二三区久久AAA片| 无码啪啪| 色婷婷综合视频| 婷婷色婷婷| 欧美S码亚洲码精品M码| 丁香五月婷婷啪啪视频| 在线不卡的视频| 久久婷婷激情久久| 久久受www免费人成| 91九九九九九九| 涩涩激情五月婷婷| A在线观看| 伊九九三级区| 丁香五色月婷婷网| 五月丁香六月婷婷开心网| 天天插AV丝袜中| 26uuu另类亚洲欧美日本一| 色婷婷激情五月天| A在线观看| 久久久久久人妻| 噼里啪啦在线观看免费完整版视频| 精品国产一区二区三区四区阿崩| 人人操婷婷| 金品在线视频99| 九九热这里只有精品556| 97综合在线| 国产精品久久欧美久久一区| 色婷婷狠狠禁久久| 婷婷少妇激情| 婷婷五月天伦理| 色久免费| 99精彩视频| 丁香婷婷六月天| 亚洲成人在线播放| 丁香九色不卡aaa| 日本三级韩三级99久久| 全国最新疫情| 亚洲丁香五月天视频| 天天狠天天叉| 五月做爱| 色域五月婷婷丁香| 这里只有精品99www| 天天日,天天插| 狠狠香蕉| 青草激情综合| 婷婷五月天亚洲综合网| 日韩成人综合网| 精品福利911| 一丁香五月天月AV| 99热免费| 婷婷激情视频| www.色五月天.com| 99视频内射三四| 久久婷婷六月综合| 久re热视频| 激情文学天天| 五月婷婷在线视频观看| www.五月天| 五月天激情亚洲| 色婷婷电影| 五月婷婷之美女图片| 色色色色五月天| 潘金莲AAAAAAAAAA| 成人操呦av| 五月天婷婷视频30| 日本一级黄色电影| 久久久性爱视频| 亚洲国产色色| AV九九| 99免费青青蜜臀| 丁香六月中文| 久热9| 丁香婷婷欧美综合| 丁香五月网站| www.六月丁香看AV| 天天综合网站| 热99国产精品| 色色色在线观看| 久综合九综合99| 丁香五月网络网络| 秋霞A V毛片| 午夜天天精品视频| 婷婷五月天伊人在线| A1片久久久| 丁香五月 性爱| 丁香五月日本| 免费黄色AV| 亚洲无码免费看| 99久久成人| 99精品视频免费观看| www.五月天色色色| 极品人妻videosss人妻| 99热在线观看免费精品| 亚洲成人丁香花| 六月伊人婷婷| 婷婷五月天成人网| 色五月丁香总合网| 亚洲天天操| 五月婷婷六月天| 五月天激情四射网站| 黄色aa观看aaguochan| 五月天婷婷网站| 五月天激情亚洲| 色色免费网站| 五月天另类激情在线| 97操碰日本女人| 激情综合网,五月| 亚洲午夜av| 九九热青青草| 婷婷亚洲五月| 婷婷五月天性爱视频| 婷婷综合五月色播| 裸体做A爰片毛片A片免费| 婷婷综合网| 久久狠狠干| 全高清无码视頻| 婷婷欧美综合| 热久69| 天天爽天天草| 狠狠色综合五月人人| 五月色婷婷AV| 国内精品99| 五月开行婷婷色五月| 9热网站| 狠狠狠五月婷婷六月丁香| 99在线精品免费视频| 五月丁香日本一抹本| 思思热视频在线| 五月天狠狠网站| AV中文在线| 五月天激情在线视频| 亚洲成av人影院| 97五月天婷婷午夜| 女人高潮内射99精品| 很操日本7| 色99色| 夜夜天天久久婷婷| 丁香五月婷婷综合激情哟哟哟| 五月婷六月天| 99玖玖人人| 玖玖五月丁香| 9 99免费视频| 91婷婷丁香| 丁香五月天激情四射网| 天天摸天天肏| 色99视| 色色操| 五月婷婷六月基地| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 五月丁香综合精品欧美| 久久久精品色色色| 亚洲AV网址| 色婷视频| 婷婷色五月综合| 99色视| 玖玖色综合网| 5月丁香综合网| 99综合97| 婷婷的99视频网站| 操逼福利视频| www.99精品视频| 色情五月综合婷婷| 丁香五月狠狠综合欧美| 99精品丰满| 婷婷五月天堂| 五月伊人综合| 91超级碰人人操| 日韩中文欧美| 五月好婷婷| 日本超碰在线| 亚洲视频综合网| 97色啪| 九九热这里只有精品5| 亚洲色五月| 五月婷婷丁香婷婷| 日韩ac不卡无码| 97人碰人操| 五月天综合久久| 激情综合网 激情五月天| 日本色图综合| 99热精品在线观看| 五月婷婷综合在线观看| 午夜亚洲国产精品av一区二区| 欧美性生交XXXXX无码小说| 丁香六月婷婷| 夜夜夜天天操| 一级性感毛片| 激情婷婷五月天| 99re这里有精品手机在线| 一级精品999WWW| 成人AV片播放| 性爱久久| 日本超碰在线| 亚洲第一精品网站| 色五月开心五月激情五月| 在线综合啪| 色九月| 精品人妻伦| 五月激情网站| 五月丁香综合网| 裸体做A爰片毛片A片免费| 婷婷欧美激情综合| 婷婷伊人久久综合| 99热精品在线播放观看| 国产偷人爽久久久久久老妇APP | 99综合色色色| 精品牛仔裤超碰| 丁香五月伊人| 精品爱欲五| 天天干夜晚夜操| 五月花婷婷最新| 综合五月草| 婷婷丁香花五月天| 亚洲视频码| 婷婷丁香综合网| 欧美色五月| 五月天无码视屏播放| 国产成人综合亚洲| 天天色视频| 丁香花色色网| 日本三久久| 婷婷久久丁香| 色五月婷婷影院| 亚洲一区二区无码蜜乳av| 色情·com| 性爱先锋AV| 色色色色色五月丁香| 久久天堂色| 99久久人人| 中文字幕在线视频播放| 狠狠插.com| 狠狠CAO日日穞夜夜穞AV| 色婷婷综合网站| 亚洲色网络| 91婷婷色| 久久久久激情| 99热人人| 99热国产| 狠狠色综合网站久久久久| 天天射影院| 色五月激情五月天| 国产欧美va| 五月天影院| 5月婷婷性视频| 婷婷五月激情欧美大胆视频| 色必久悠悠影院| 99久久a线观| 亚洲中文无码成人| 五月天无码视屏播放| 91九色在线| 9有码中文| 色播婷婷大香蕉| 婷婷五月天丁香社区| Www99热| 国产三级在线播放| 婷婷国产五月天17c| 国产成人片| 99九九视频| 天天色综网| 成人精品在线| 久久这里99| 亚洲mm色| 婷婷五月天黄色小说| 狠狠草综合网| 婷婷五月天激情AV影院| 五月天激情无码| 激情九色| 九九这里都是精品| 99精品视频在线观看| 99精日本久久| 日韩高清久久| 九热免费视频| 婷香五月网在线| www.五月激情红色| 99热无码首页| www.婷婷六月天| 91久久久久久久| 91操碰| 丁香五月久久| 亚洲99热| 色色色在线| 亚洲小视频免费看| 99性爱精品| 猫咪伊人久久| 天天日日夜夜| 婷婷色一二三区波多野结衣| 一级二级色大片| 久久最新色色色| 五月婷婷丁香av| 激情五月天社区| 这里只有精品免费| 五月婷婷深深爱| 狠狠插.com| 99热加勒比| 激情五月激情综合网一级丸片 | 五月丁香婷中文| 色色五月天激情| 色欲婷婷夜夜| 五月天婷婷婷| 网站免费一站二站| 婷婷久久五月| www.婷婷五月天,com| 日韩亚洲视频| 天天做 天天爱| 五月激情综合网| 久热一区| 97人人看| 天天 青草 丝袜制服 在线| 99色精品| 国精产品一区一区三区免费视频| 99色日本| www.伊人天堂偷偷婷婷| 亚洲情色一区| 97午夜一区二区| 国产成人AV在线| 日本欧美国产| 色婷五月天| 97日本操| 五月伊人综合| 久久色情综合免费网站| 色婷婷久久| 九九热青青草| ...婷婷国产成人亚洲日韩| 国产美女视频久| 爱99干99| 久久久激情| 5月婷婷6月六月丁香| 91操人视频| 婷婷五月综合中文字幕| 五月婷婷 欧美| 久9精品视频| 伊人在线大香蕉网| 91操熟女| 激情五月天色播| 日本操B视频在线观看| 色愛综合网| 91日视频| 伊人久久大香| 欧美综合五月丁香五月天| 天天干,天天日| 亚洲婷婷丁香| 99热这里精品| 久月久在线视频| 丁香五月婷婷动漫| 丁香五月天堂| 99色视频在线观看最新| 五月天婷婷激情综合| AV片一区在线观看| 97色久| 国产精品国产| 大香蕉天堂色| 热久久66| 99久久久久| 99综合网| 黄网在线免费观看| 婷婷五月色图| 婷婷五月天影视首页| 色综合女人99| 日日操日日干| 成人无码精品1区2区3区免费看| 欧美 日韩 成人在线| 婷婷丁香五月综合网上| 久久婷青青草原| 99爱免费在线观看| 五月丁香色婷婷| 日本色道视频网站| 激情综合网五月婷婷| 另类激情五| 色在线99| 久久久ww| 色播婷婷五月天| 狠狠人妻色综合| 激情五月天激情五月天| 婷婷久久色| 日日色综合| www.色色com| 丁香婷婷影院| 色婷婷色| 人人妻人人澡| 日韩精品超碰在线观看| 天天日综合| 视频1区2区| 无码色| 热婷婷av| 五月丁香五月综合欧美| 91热视频| 婷婷五月天视频亚洲| www久久久久| 五月婷婷开心综合| 99er热精品视频| 久久婷婷综合五月趴| 欧美性交一区二区三区| 国产美女视频久| 最新久久网址| 久久激情天堂| 亭亭色色五月天| 亚洲超碰在线| 激情深爱婷婷网| 无码激情AAAAA片-区区| 丁香五月婷婷色播艳门照| 伊人影院久久网| 高清无码入口| 一月婷婷色色| 久热只有精品| 五月丁香成人| 色yeye色综合| 丁香五月婷婷超碰在线| 操碰99| 丁香六月五月天| 这里只有精品视频222| 五月婷婷性爱| 激情五月视频| 97在线/亚洲| 国产一级片| 99ER热精品视频| 天天爽天天做| 婷婷综合伊人| 九九RE视频在线精品| 人人爱天天摸摸天天爱| 亚洲AV日韩AV永久无码网站| 9久久久久| 婷婷五月综合欧美在线播放| 日本wwww在线| 国产成人av在线播放| 99精品久久| 亚洲精品一区无码A片| 丁香五月激情啪啪| 综合色图区| 日韩艹比| 欧美日韩成人在线观看| 五月婷婷深深爱爱| 九九九九成人| AV中文在线| 草婷婷在线| 狠狠久综合| 日本99视频| 天天撸天天干天天插| 婷婷五月色情天| 思思久久99热只有频精品66| 色色a| 狠狠狠狠免费| 2021日韩无码| 亚洲精品无码一区二区| 日本va欧美va国产激情| 亚洲婷婷视频| 五月久久综合| 狠狠操狠狠爱| 激情五月四色| 丁香五月亚洲激情婷婷射| 日本熟妇乱妇熟色A片蜜桃| 久久hd| 亚洲激情 久久| 激情丁香社区| 亚洲丁香网| 久久久久9999| 狠狠色噜噜狠狠亚洲A∨| www.激情五月| 99精品爱| wWW九九在线播放| 操操操97| a网站免费观看| 精品亚洲VA网站| 日韩一区二区在线播放| 五月婷婷|欧美| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 99久久99久久综合| 五月丁六月香| 欧美激情xxxXX| 9久久久久| 激情五月天99色| 日韩AV在线影片| 天天日夜夜拍| 99色综合| 天天舔日日肏夜夜爽| 亚洲久久视频| 九九99免费视频| 美国天天操无码| 欧美特大片黄| 久久HD| 久久9久| 九九综合久久| 丁香花五月天| 婷婷五月天中文字幕.| 久久99综合网| 1024欧美看片| 九九成人视频| 人人操99| 五月天婷婷免费| 狠狠另类视频| 色婷婷电影网| 久久婷婷五月综合色奶水99啪| 色五月丁香A欧美com | 97色五月婷婷在线| 亚洲综合五月天| 日本视频99| 婷婷五月色| 婷婷丁香综合| 任你操精品免费| 免费AV在线网址| 国产黄色大片| 五月丁香婷婷狠狠操| 九九热精品| 91狠狠综合网| 噜噜狠狠色综合久| 欧美色色色色色| 色婷婷亚洲精品天天综| 婷婷五月天偷拍| 婷婷色色播五月天| 激情美女五月天| 五月激情丁香五月| 五月丁香美女视频| 中文字幕成人| 丁香婷婷久久| 色婷婷婷av| 五月丁香怕啪啪| 天天看片日日夜夜| 激情综合网之激情五月| 久久99网站| 五月丁香综合啪啪| AV动漫不卡无码免费| 婷婷网影院| 久久精品99久久| 激情婷婷丁香五月天| 好看的国产精品| 99热黄| 一区二区无码视频| 丁香五月婷婷www..com| 九九综合网| 婷婷激情久久| 色五月色五天色情网址| 丁香五月亚洲综合| 九九九激情网| 日韩AV免费电影在线播放| www久久久久久久久久久久久久久久久| 超碰色碰碰| 精品热青草| 任你搞免费视频观看| 99热欲| 另类激情四射| 97在线精品| 欧美五月婷婷| 天天综合网、天天综合色| 日韩草草草草草草草草草草草草| 国产精品色色666| 天天狠狠色噜噜| 激情五月狠狠| 色香久久| 高清无码入口| 欧洲MV日韩MV国产| 亚洲中文AV网站| 婷婷综合另类| 黄色五月婷婷| 99re这里只有精品国产99| 五月丁香成人版| 五月婷婷婷| 五月丁香大香蕉| 成人无码髙潮喷水A片| 97人人干视频| 五月99久久| 伊人碰碰婷婷| 一起草av| 婷婷射图五月天| 99这里都是精品| 色色色色色色色色五月先| 亚洲成人av在线播放| 色五月激情| 日本三级成人秘书精品片| 欧美123区免| 99热综合在线| 成人五月天在线视频在线观看 | 99小视频在线| 色久免费| 99在线观看精品| 三男玩一女三A片| 自拍视频在线观看9| 99色色网| 天天操夜夜玩!| 任你操精品免费| 国产做爰视频免费播放| 久久99jiu9| 夜夜爽天天| VA婷婷亚洲| 91婷婷在线| 五月丁香色停停啪啪啪| 91操在线视频| 婷婷丁香五月噜噜噜| 日本久热| 99精品丁香五月| 啪啪激情综合| 国产,欧美,日韩,性爱| 九九99精品视频| 日日操夜夜擼| 9 99免费视频| 五月色丁香激情| 婷婷色在线| 日韩AV一区二区三区| 久久精品国产色| 欧美色频| 色一色综合| 99re99在线看| 激情图片五月天| 成熟妇人A片免费看网站| 色婷婷69| 亚洲婷婷丁香五月视频| 综合色播| 日本97在线| 天天操九九插| 日日夜夜干| 九九干视频| 天天xxxxxx天天日| 激情丁香五月| 亚洲不卡| 五月天亭亭俺也| 一本大道伊人AV久久综合| 久久三级视频| 婷婷无码五月天| av一级棒av| 99久久网站| 五月婷婷成人| 婷婷五月精品| 婷婷色系婷色| 婷婷激情五月天小说校园| 五月天婷婷成人网| 九九九九国产| 67194中文字幕| 奇米色大香蕉| 小视频一区| 九九色婷婷| AV在线免费播放| 婷婷无码五月天| 青青色com久久| 婷婷亚洲五月色综合| 五月丁香六月激情| 五月开心婷婷网| 99爱在线精品视频免费观看| 久久久久久久久久91| 五月丁香六月婷婷成人电影| 日本97人人| 天天插天天| 中文字幕无码人妻少妇免费视频 | http://www.lingjunshare.com/| 五月激情影院| 九九99免费视频| 六月婷婷开心| 丁香五月伊人| 伊人天天色| 99性爱视频| 六月丁香成人| 亚洲人人操| 激情无码五月天| 99热这里只有精品青草| 人人97碰| 色噜噜狠狠色综合成人网| 99久精品视频| 色婷婷综合影院| www.99热在线| 99九九视频精彩在线| 狠狠se| 五月天婷婷久久| 影视av久久久噜噜噜噜噜三级| 久9无码视频| 一起草无码| 激情综合在线观看| 99色婷婷| www.五月婷婷.com| 婷婷色情网| 91性高潮久久久久久久久| 91九九| 激情综合五月| 99'无码| 99热久久这里只有精品| 婷婷丁香五月综合激情小说| 在线一起草av| 色综合久久88色综合天天看| 六月婷婷最新网址| 色五月婷婷五月天| 色5月婷婷色| 激情色色色| 五月丁香激情综合网| 激情另类综合| 五月婷丁香花| 久久婷婷五月综合色丁香花| 丁香婷婷五月基地| 一区二区三区XXXXXX| 51国精产品自偷自偷综合| 亚洲综合在线播放| 99久久激情视频| 日本www五月婷婷| 人人操超碰| 五月色天情| 国产97色在线 | 日韩| 色综合色综合网| 安息电影在线观看完整版| 久久怡红院| 丁香五月综合在线观看| 婷婷五月天AV在线| 欧美久久婷婷| 99'无码| 激情婷婷五月丁香啪啪啪| 少妇人妻人伦A片| 99免费综合网| 国产操B| 精品99在线| 狠狠va| 国产精女同一区二区三区久| 婷婷 伊人 久久| www.五月激情.com| 色网站9| 久9久9热久热| 中文字幕丁香五月| 青青草原亚洲久| 久久性爱视频这里只有精品| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇|